大数据生成脚本
① linux下如何用脚本实现大数据量的文件中快速的把三列内容输出其中前两列内容
不用for循环，直接awk。awk本身就是逐行处理文件的。
awk'{print$1FS$2}'myfileFS: Field Separator，字段分隔符。
② 怎么使用java导出大数据为xml文件
dom4j可以试试，不知道你的数据量有多大，如果太大的话，我没试过
xml文件是有规律的，你可以把要导出的数据构造一下，
我有个简单的代码
packagecom.test.xml;
importjava.io.FileWriter;
importjava.io.IOException;
importjava.io.Writer;
importorg.dom4j.Document;
importorg.dom4j.DocumentHelper;
importorg.dom4j.Element;
importorg.dom4j.io.OutputFormat;
importorg.dom4j.io.XMLWriter;
publicclassDom4JXML{
publicvoidcreateXML(){
//用工厂类创建一个document实例
Documentdoc=DocumentHelper.createDocument();
//创建根元素emps
ElementrootEle=doc.addElement("emps");
//添加注释
rootEle.addComment("这是一个dom4j生成的xml文件");
//emps根节点下创建一个emp节点
ElementempEle=rootEle.addElement("emp");
//emp添加属性id="1"
empEle.addAttribute("id","1");
//emp节点下创建一个name节点
ElementnameEle=empEle.addElement("name");
//name节点下创建一个文本节点zhangsan
nameEle.setText("zhangsan");
//再为name节点创建一个兄弟节点
ElementsexEle=empEle.addElement("sex");
sexEle.setText("man");
//将document中的内容写入文件中
try{
Writerout=newFileWriter("F:\emps.xml");
//格式化输出,类型IE浏览一样
OutputFormatformat=OutputFormat.createPrettyPrint();
//OutputFormatformat=OutputFormat.createCompactFormat();
format.setEncoding("UTF-8");
//创建写出对象
XMLWriterwriter=newXMLWriter(out,format);
writer.write(doc);
writer.close();
System.out.println("生成emps.xml成功。");
}catch(IOExceptione){
//TODOAuto-generatedcatchblock
e.printStackTrace();
System.out.println("失败了。");
}
}
publicstaticvoidmain(String[]args){
newDom4JXML().createXML();
}
}
然而从xml文件中解析以后的数据收集可以用SAX试试看
我这里有个简单的例子
packagecom.test.xml;
importorg.xml.sax.Attributes;
importorg.xml.sax.SAXException;
importorg.xml.sax.helpers.DefaultHandler;
{
publicvoidstartDocument()throwsSAXException{
System.out.println("起始文挡");
}
publicvoidendDocument()throwsSAXException{
System.out.println("结束文挡");
}
publicvoidcharacters(char[]ch,intstart,intlength)throwsSAXException{
StringcharString=newString(ch,start,length);
System.out.println("字符:"+charString);
}
publicvoidstartElement(StringnamespaceURI,StringlocalName,StringqName,Attributesatts)throwsSAXException{
System.out.println("起始元素:"+qName);
for(inti=0;i<atts.getLength();i++){
System.out.println("属性值:"+atts.getValue(i));
}
}
publicvoidendElement(StringnamespaceURI,StringlocalName,StringqName)throwsSAXException{
System.out.println("结束元素:"+qName);
}
}
packagecom.test.xml;
importjavax.xml.parsers.SAXParser;
importjavax.xml.parsers.SAXParserFactory;
publicclassBooks{
/**
*@paramargs
*/
publicstaticvoidmain(String[]args)throwsException{
//TODO自动生成方法存根
SAXParserFactoryfactory=SAXParserFactory.newInstance();
SAXParserparser=factory.newSAXParser();
parser.parse("booksamp.xml",newSAXParseHandler());
}
}
③ 如何用易语言制作脚本
第一个问题：易语言的脚本，如果你说的指让文件执行任务的代码，你你双击那个就可以了
第二个问题：建立一个时钟，设置周期（1秒=1000毫秒，）然后双击时钟，输入代码：
模拟按键 (#回车键, , )
第三个问题：如果你是要按键后台的对某个窗口起作用的，就取它的窗口句柄
④ navicat怎么执行大数据的sql脚本快
你用cmd命令导出 cmd命令进行导入 这样会比用工具快些
执行mysqlmp -uroot -p123456 数据库名 >c:\aaa.sql导出数据库
然后还原
输入mysql -uroot -p 输入密码后回车
3、选择数据库 use 数据库名
4、进行还原数据库 source c:\aaa.sql 等待完成
⑤ 实时生成并下载大数据量的EXCEL文件，用php如何实现
对于任何一个网站肯定是少不了下载功能，常见的下载功能有图片、视频、Excel表格，如果文件比较小的话，那么不会遇到任何的问题，但是当文件信息而超明银过了PHP的最大内存，那么在这个时候它就会有的内存溢出的问题。
那么它们是因为什么而发生的？对于这个过程的原理才是埋碧我们应该真正要去弄明白的事情
下载大数据量的EXCEL文件为何要报错？
PHP在下载大Excel表格的时候，那么首先它是需要去把MySQL的数据从硬盘上面读取到内存，但读取它是一次性载入到我们的内存，如果说它一次性载入的数据量远远大于最大内存，然后再来执行浏览器的业务下载。那么这个时候它就会发生我们这个内存溢出。
就比如：说我们现在有100M的数据量，但是我们PHP内存最大只有64M，那么这个它肯定是装不了的，我们可以把那个内存比喻为一个水杯，这个水杯的容量比喻为内存，现在杯子最大容量为64L。你要存放100L。肯定放不下
大事化小，小事化了。拆分成段
从上面可以看到文件下载，它是分为两步，首先是载入内存然后执行浏览器的输出下载，那么既然大型文件一次性载入不了，那可以采用“大事化小，小事化了”思路，我们可以实现边写边下载，也激液宴就是分批次的读取与写入。
因为用户的话，只要最终拿到这个文件就可以，对于浏览器的下载原理不需要关心。只需要给到文件下载提示给用户即可，然后后端在实时的分批次的写入到要下载的文件当中。
实现思路步骤：
1、一设置浏览器下载Excel需要的Header
2、打开php://output流，并设置写入文件句柄。
注：(php://output,是一个可写的输出流，允许程序像操作文件一样将输出写入到输出流中，PHP会把输出流中的内容发送给web服务器并返回给发起请求的浏览器)
3、获取数据库所有数据量，并设置每次查询的条数，通过这两个值计算分批查询的次数
4、基于分批查询的次数循环查询数据库，然后写入到文件中，同时清除本次操作变量内存，刷新缓冲到浏览器，让浏览器的文件始终实时保持到最新的大小
注：刷新用ob_flush、flush()PHP的I/O流
在这里我们用到了PHP的一个IO的输入输出，也就是我们常用的
php://inputphp://output。php://input
php://input可以读取原始的POST数据。相较于$form-data”.
注：p>php://output是一个只写的数据流，允许你以print和echo一样的方式写入到输出缓冲区。
综上：实现思维与原理很重要如有感悟，欢迎在线咨询