采集器源码

‘壹’ 火车头采集器 可以采集网站源码吗

可以试试用八爪鱼采集器对网页的源码进行采集，
八爪鱼采集器用的是可视化的采集模块，
操作比起其他采集器更加的便捷，技术没什么基础的，
通过简单的学习就可以自己采集需要的数据了，
挺不错的一个软件你可以试试看。
http://rj..com/soft/detail/35629.html

‘贰’ 什么是带采集的网站源码

采集就是按照一定的规则自动采集别人网站上的文章，现在大多cms网站都有采集功能，如果没有的可以用一些采集软件，比如火车头、狂人采集器等等！不过采集会影响网络对自己网站的收录，严重话还会导致降权甚至K站，所以，建议网站初期用下采集，当正式步入轨道以后就停止，自己更新高质量文章，当然，如果是做垃圾站就无所谓了！

‘叁’ 网站数据采集开始代码跟结束代码怎么看

要看你用什么软件采集哈，写法不一样的。

要查找开始与结束的标识，打开网页看源代码，在你采集目标网页的列表（或内容页）前后分别找出唯一的那一段html，以supesite的写法为例: 开始的html[list]结束的html。然后采集器会截取这两段html之间的东西。

‘肆’ 数据采集源代码从哪里获得

数据爬虫代码如果自己去开发爬虫技术爬取时间跟人力起码需要在一年左右。现在有一些平台是专门提供这些接口服务，可以直接调用现成的数据获得数据。
以下是一些数据开放平台：
1.京东获取单个商品价格接口:
1.//ps:商品ID这么获取:http://item.jd.com/954086.html
2.http://p.3.cn/prices/mgets?skuIds=J_商品ID&type=1

2.淘宝商品搜索建议:
1.http://suggest.taobao.com/sug?code=utf-8&;q=商品关键字&callback=cb
2.//ps:callback是回调函数设定

3.全网商品比价接口：
1.慢慢买比价API免费接口
2.比一比价API免费接口
3.历史价格查询比价接口

4.快递接口:
1.//ps:快递公司编码:申通="shentong" EMS="ems" 顺丰="shunfeng" 圆通="yuantong" 中通="zhongtong" 韵达="yunda" 天天="tiantian"
2.汇通="huitongkuaidi" 全峰="quanfengkuaidi" 德邦="debangwuliu" 宅急送="zhaijisong"
3.http://www.kuaidi100.com/query?type=快递公司代号&postid=快递单号

5.网络接口:
1.http://ke..com/api/openapi/BaikeLemmaCardApi?scope=103&;format=json&appid=379020&bk_key=关键字&bk_length=600
2.//查询出错示例如下：查看原始页面 {"error_code":"20000","error_msg":"search word not found"}音乐接口

6.虾米音乐接口
1.http://kuang.xiami.com/app/nineteen/search/key/歌曲名称/diandian/1/page/歌曲当前页?_=当前毫秒&callback=getXiamiData

7.QQ空间音乐接口
1.http://qzone-music.qq.com/fcg-bin/cgi_playlist_xml.fcg?uin=QQ号码&json=1&g_tk=1916754934

‘伍’ 我想采集一个网站的数据，为什么源码里面没有这部分东西

有些数据 是通过外部调用 或者js跳转等形式展示的
一般的采集工具 或者说 一般的操作能力
只适合采集 一眼就能看到的代码
所以会找不到

其实只要浏览器能显示的 可以说都可以做到

‘陆’ 万能采集网站php源码

可以参考以下几种方法：

方法一：file_get_contents获取

spanstyle="white-space:pre"?/span$url="";

spanstyle="white-space:pre"?/span$fh=file_get_contents

('');spanstyle="white-space:pre"?/spanecho$fh;

方法二：使用fopen获取网页源代码

spanstyle="white-space:pre"?/span$url="";

spanstyle="white-space:pre"?/span$handle=fopen($url,"rb");

spanstyle="white-space:pre"?/span$contents="";

spanstyle="white-space:pre"?/spanwhile(!feof($handle)){

spanstyle="white-space:pre"??/span$contents.=fread($handle,8192);

spanstyle="white-space:pre"?/span}

spanstyle="white-space:pre"?/spanfclose($handle);

spanstyle="white-space:pre"?/spanecho$contents;//输出获取到得内容。

方法三：使用CURL获取网页源代码

$url="";

$UserAgent='Mozilla/4.0(compatible;MSIE7.0;WindowsNT6.0;SLCC1;.NETCLR2.0.50727;.NETCLR3.0.04506;.NETCLR3.5.21022;.NETCLR1.0.3705;.NETCLR1.1.4322)'

$curl=curl_init();?//创建一个新的CURL资源

curl_setopt($curl,CURLOPT_URL,$url);?//设置URL和相应的选项

curl_setopt($curl,CURLOPT_HEADER,0);?//0表示不输出Header，1表示输出

curl_setopt($curl,CURLOPT_RETURNTRANSFER,1);?//设定是否显示头信息,1显示，0不显示。//如果成功只将结果返回，不自动输出任何内容。如果失败返回FALSE

curl_setopt($curl,CURLOPT_SSL_VERIFYPEER,false);

curl_setopt($curl,CURLOPT_SSL_VERIFYHOST,false);

curl_setopt($curl,CURLOPT_ENCODING,'');?//设置编码格式，为空表示支持所有格式的编码

//header中“Accept-Encoding:”部分的内容，支持的编码格式为："identity"，"deflate"，"gzip"。

curl_setopt($curl,CURLOPT_USERAGENT,$UserAgent);

curl_setopt($curl,CURLOPT_FOLLOWLOCATION,1);

//设置这个选项为一个非零值(象“Location:“)的头，服务器会把它当做HTTP头的一部分发送(注意这是递归的，PHP将发送形如“Location:“的头)。

$data=curl_exec($curl);

echo$data;

//echocurl_errno($curl);//返回0时表示程序执行成功

curl_close($curl);?//关闭cURL资源，并释放系统资源

拓展资料

PHP（外文名:PHP:HypertextPreprocessor，中文名：“超文本预处理器”）是一种通用开源脚本语言。语法吸收了C语言、Java和Perl的特点，利于学习，使用广泛，主要适用于Web开发领域。PHP独特的语法混合了C、Java、Perl以及PHP自创的语法。它可以比CGI或者Perl更快速地执行动态网页。

用PHP做出的动态页面与其他的编程语言相比，PHP是将程序嵌入到HTML（标准通用标记语言下的一个应用）文档中去执行，执行效率比完全生成HTML标记的CGI要高许多；PHP还可以执行编译后代码，编译可以达到加密和优化代码运行，使代码运行更快。

‘柒’ 八爪鱼采集器可以下载网站整站的源码和数据库吗

下载你没有权限登录的网站源码和数据库，除非渗透入侵进去才能做到。互联网上流传的合法工具。没有任何一个工具可以做到，包括八爪鱼。

不过可以使用整站下载工具，可以把HTML代码和样式图片下载下来。作为离线浏览和样式学习还是有工具的。如：iis7整站下载