c网络爬虫源码

A. 怎么在DOS下用c语言写网络爬虫

• 获取cspider_t。

• 自定义user agent，cookie，timeout，proxy以及抓取线程和解析线程的最大数量。

• 添加初始要抓取的url到任务队列。

• 编写解析函数和数据持久化函数。

• 启动爬虫。
  

例子

先来看下简单的爬虫例子，会在后面详细讲解例子。

• #include<cspider/spider.h>



• /*


• 自定义的解析函数，d为获取到的html页面字符串


• */


• void p(cspider_t *cspider, char *d, void *user_data) {



• char *get[100];


• //xpath解析html


• int size = xpath(d, "//body/div[@class='wrap']/div[@class='sort-column area']/div[@class='column-bd cfix']/ul[@class='st-list cfix']/li/strong/a", get， 100);



• int i;


• for (i = 0; i < size; i++) {


• //将获取到的电影名称，持久化


• saveString(cspider, get[i]);


• }



• }


• /*


• 数据持久化函数，对上面解析函数中调用的saveString()函数传入的数据，进行进一步的保存


• */


• void s(void *str, void *user_data) {


• char *get = (char *)str;


• FILE *file = (FILE*)user_data;


• fprintf(file, "%s ", get);


• return;


• }



• int main() {


• //初始化spider


• cspider_t *spider = init_cspider();


• char *agent = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:42.0) Gecko/20100101 Firefox/42.0";


• //char *cookie = "bid=s3/yuH5Jd/I; ll=108288; viewed=1130500_24708145_6433169_4843567_1767120_5318823_1899158_1271597; __utma=30149280.927537245.1446813674.1446983217.1449139583.4; __utmz=30149280.1449139583.4.4.utmcsr=accounts.douban.com|utmccn=(referral)|utmcmd=referral|utmcct=/login; ps=y; [email protected]; dbcl2=58742090:QgZ2PSLiDLQ; ck=T9Wn; push_noty_num=0; push_doumail_num=7; ap=1; __utmb=30149280.0.10.1449139583; __utmc=30149280";



• //设置要抓取页面的url


• cs_setopt_url(spider, "so.tv.sohu.com/list_p1100_p20_p3_u5185_u5730_p40_p5_p6_p77_p80_p9_2d1_p101_p11.html");


• //设置user agent


• cs_setopt_useragent(spider, agent);


• //cs_setopt_cookie(spider, cookie);


• //传入解析函数和数据持久化函数的指针


• cs_setopt_process(spider, p, NULL);


• //s函数的user_data指针指向stdout


• cs_setopt_save(spider, s, stdout);


• //设置线程数量


• cs_setopt_threadnum(spider, DOWNLOAD, 2);


• cs_setopt_threadnum(spider, SAVE, 2);


• //FILE *fp = fopen("log", "wb+");


• //cs_setopt_logfile(spider, fp);


• //开始爬虫


• return cs_run(spider);


• }

B. 网络爬虫 spider

“网络蜘蛛”或者说“网络爬虫”，是一种能访问网站并跟踪链接的程序，通过它，可快速地画出一个网站所包含的网页地图信息。本文主要讲述如何使用java编程来构建一个“蜘蛛”，我们会先以一个可复用的蜘蛛类包装一个基本的“蜘蛛”，并在示例程序中演示如何创建一个特定的“蜘蛛”来扫描相关网站并找出死链接。 Java语言在此非常适合构建一个“蜘蛛”程序，其内建了对HTTP协议的支持，通过它可以传输大部分的网页信息；其还内建了一个HTML解析器，正是这两个原因使Java语言成为本文构建“蜘蛛”程序的首选。 文章后面例1的示例程序，将会扫描一个网站，并寻找死链接。使用这个程序时需先输入一个URL并单击“Begin”按钮，程序开始之后，“Begin”按钮会变成“Cancel”按钮。在程序扫描网站期间，会在“Cancel”按钮之下显示进度，且在检查当前网页时，也会显示相关正常链接与死链接的数目，死链接将显示在程序底部的滚动文本框中。单击“Cancel”按钮会停止扫描过程，之后可以输入一个新的URL；如果期间没有单击“Cancel”，程序将会一直运行直到查找完所有网页，此后，“Cancel”按钮会再次变回“Begin”，表示程序已停止。 下面将演示示例程序是如何与可复用“Spider”类交互的，示例程序包含在例1的CheckLinks类中，这个类实现了ISpiderReportable接口，如例2所示，正是通过这个接口，蜘蛛类才能与示例程序相交互。在这个接口中，定义了三个方法：第一个方法是“spiderFoundURL”，它在每次程序定位一个URL时被调用，如果方法返回true，表示程序应继续执行下去并找出其中的链接；第二个方法是“spiderURLError”，它在每次程序检测URL导致错误时被调用（如“404 页面未找到”）；第三个方法是“spiderFoundEMail”，它在每次发现电子邮件地址时被调用。有了这三个方法，Spider类就能把相关信息反馈给创建它的程序了。 在begin方法被调用后，“蜘蛛”就开始工作了；为允许程序重绘其用户界面，“蜘蛛”是作为一个单独的线程启动的。点击“Begin”按钮会开始这个后台线程，当后台线程运行之后，又会调用“CheckLinks”类的run方法，而run方法是由Spider对象实例化时启动的，如下所示： spider = new Spider(this); spider.clear(); base = new URL(url.getText()); spider.addURL(base); spider.begin(); 首先，一个新的Spider对象被实例化，在此，需要传递一个“ISpiderReportable”对象给Spider对象的构造函数，因为“CheckLinks”类实现了“ISpiderReportable”接口，只需简单地把它作为当前对象（可由关键字this表示）传递给构造函数即可；其次，在程序中维护了一个其访问过的URL列表，而“clear”方法的调用则是为了确保程序开始时URL列表为空，程序开始运行之前必须添加一个URL到它的待处理列表中，此时用户输入的URL则是添加到列表中的第一个，程序就由扫描这个网页开始，并找到与这个起始URL相链接的其他页面；最后，调用“begin”方法开始运行“蜘蛛”，这个方法直到“蜘蛛”工作完毕或用户取消才会返回。 当“蜘蛛”运行时，可以调用由“ISpiderReportable”接口实现的三个方法来报告程序当前状态，程序的大部分工作都是由“spiderFoundURL”方法来完成的，当“蜘蛛”发现一个新的URL时，它首先检查其是否有效，如果这个URL导致一个错误，就会把它当作一个死链接；如果链接有效，就会继续检查它是否在一个不同的服务器上，如果链接在同一服务器上，“spiderFoundURL”返回true，表示“蜘蛛”应继续跟踪这个URL并找出其他链接，如果链接在另外的服务器上，就不会扫描是否还有其他链接，因为这会导致“蜘蛛”不断地浏览Internet，寻找更多、更多的网站，所以，示例程序只会查找用户指定网站上的链接。 构造Spider类 前面已经讲了如何使用Spider类，请看例3中的代码。使用Spider类及“ISpiderReportable”接口能方便地为某一程序添加“蜘蛛”功能，下面继续讲解Spider类是怎样工作的。 Spider类必须保持对其访问过的URL的跟踪，这样做的目的是为了确保“蜘蛛”不会访问同一URL一次以上；进一步来说，“蜘蛛”必须把URL分成三组，第一组存储在“workloadWaiting”属性中，包含了一个未处理的URL列表，“蜘蛛”要访问的第一个URL也存在其中；第二组存储在“workloadProcessed”中，它是“蜘蛛”已经处理过且无需再次访问的URL；第三组存储在“workloadError”中，包含了发生错误的URL。 Begin方法包含了Spider类的主循环，其一直重复遍历“workloadWaiting”，并处理其中的每一个页面，当然我们也想到了，在这些页面被处理时，很可能有其他的URL添加到“workloadWaiting”中，所以，begin方法一直继续此过程，直到调用Spider类的cancel方法，或“workloadWaiting”中已不再剩有URL。这个过程如下： cancel = false; while ( !getWorkloadWaiting().isEmpty() && !cancel ) { Object list[] = getWorkloadWaiting().toArray(); for ( int i=0; (i<list.length)&&!cancel; i++="" )=""> processURL((URL)list[i]); } 当上述代码遍历“workloadWaiting”时，它把每个需处理的URL都传递给“processURL”方法，而这个方法才是真正读取并解析URL中HTML信息的。 读取并解析HTML Java同时支持访问URL内容及解析HTML，而这正是“processURL”方法要做的。在Java中读取URL内容相对还比较简单，下面就是“processURL”方法实现此功能的代码： URLConnection connection = url.openConnection(); if ( (connection.getContentType()!=null) &&!connection.getContentType().toLowerCase().startsWith("text/") ) { getWorkloadWaiting().remove(url); getWorkloadProcessed().add(url); log("Not processing because content type is: " + connection.getContentType() );

C. 我想用c编写一个爬虫程序，可是看完一本c语言教程后，还是觉得只会编写一些计算类的小代码，要学会编写

想做爬虫程序不是学完语言就行了，是要学很多东西的，你可以查一查大学计算机专业有哪些课程。
做爬虫可以学学java语言。
《网络机器人Java编程指南》
开源的爬虫产品

http://www.oschina.net/project/tag/64/spider?lang=19&os=0&sort=view&p=1

D. 我想学习网络爬虫，哪位高手能给我发代码c、C++都可以，先谢谢了。邮箱：[email protected]

C#特别适合于构造蜘蛛程序，这是因为它已经内置了HTTP和多线程的能力，而这两种能力对于蜘蛛程序来说都是非常关键的。下面是构造一个蜘蛛程序要解决的关键问题：⑴ HTML分析：需要某种HTML解析器来分析蜘蛛程序遇到的每一个页面。
⑵ 页面处理：需要处理每一个下载得到的页面。下载得到的内容可能要保存到磁盘，或者进一步分析处理。
⑶ 多线程：只有拥有多线程能力，蜘蛛程序才能真正做到高效。
⑷ 确定何时完成：不要小看这个问题，确定任务是否已经完成并不简单，尤其是在多线程环境下。
一、HTML解析
提供的HTML解析器由ParseHTML类实现，使用非常方便：首先创建该类的一个实例，然后将它的Source属性设置为要解析的HTML文档：
以下是代码片段：
ParseHTMLparse=newParseHTML();
parse.Source="HelloWorld";
接下来就可以利用循环来检查HTML文档包含的所有文本和标记。通常，检查过程可以从一个测试Eof方法的while循环开始：
以下是代码片段：
while(!parse.Eof())
{
charch=parse.Parse();
Parse方法将返回HTML文档包含的字符它返回的内容只包含那些非HTML标记的字符，如果遇到了HTML标记，Parse方法将返回0值，表示现在遇到了一个HTML标记。遇到一个标记之后，我们可以用GetTag()方法来处理它。
以下是代码片段：
if(ch==0)
{
HTMLTagtag=parse.GetTag();
}
一般地，蜘蛛程序最重要的任务之一就是找出各个HREF属性，这可以借助C#的索引功能完成。例如，下面的代码将提取出HREF属性的值(如果存在的话)。
以下是代码片段：
Attributehref=tag["HREF"];
stringlink=href.Value;
获得Attribute对象之后，通过Attribute.Value可以得到该属性的值。
二、处理HTML页面
下面来看看如何处理HTML页面。首先要做的当然是下载HTML页面，这可以通过C#提供的HttpWebRequest类实现：
以下是代码片段：
HttpWebRequestrequest=(HttpWebRequest)WebRequest.Create(m_uri);
response=request.GetResponse();
stream=response.GetResponseStream();
接下来我们就从request创建一个stream流。在执行其他处理之前，我们要先确定该文件是二进制文件还是文本文件，不同的文件类型处理方式也不同。下面的代码确定该文件是否为二进制文件。
以下是代码片段：
if(!response.ContentType.ToLower().StartsWith("text/"))
{
SaveBinaryFile(response);
returnnull;
}
stringbuffer=""，line;
如果该文件不是文本文件，我们将它作为二进制文件读入。如果是文本文件，首先从stream创建一个StreamReader，然后将文本文件的内容一行一行加入缓冲区。
以下是代码片段：
reader=newStreamReader(stream);
while((line=reader.ReadLine())!=null)
{
buffer+=line+"rn";
}
装入整个文件之后，接着就要把它保存为文本文件。
以下是代码片段：
SaveTextFile(buffer);
下面来看看这两类不同文件的存储方式。
二进制文件的内容类型声明不以"text/"开头，蜘蛛程序直接把二进制文件保存到磁盘，不必进行额外的处理，这是因为二进制文件不包含HTML，因此也不会再有需要蜘蛛程序处理的HTML。下面是写入二进制文件的步骤。
首先准备一个缓冲区临时地保存二进制文件的内容。
以下是代码片段：
byte[]buffer=newbyte[1024];
接下来要确定文件保存到本地的路径和名称。如果要把一个myhost.com网站的内容下载到本地的c:test文件夹，二进制文件的网上路径和名称是，则本地路径和名称应当是c:testimageslogo.gif。与此同时，我们还要确保c:test目录下已经创建了images子目录。这部分任务由convertFilename方法完成。
以下是代码片段：
stringfilename=convertFilename(response.ResponseUri);
convertFilename方法分离HTTP地址，创建相应的目录结构。确定了输出文件的名字和路径之后就可以打开读取Web页面的输入流、写入本地文件的输出流。
以下是代码片段：
StreamoutStream=File.Create(filename);
StreaminStream=response.GetResponseStream();
接下来就可以读取Web文件的内容并写入到本地文件，这可以通过一个循环方便地完成。
以下是代码片段：
intl;
do
{
l=inStream.Read(buffer，0，
buffer.Length);
if(l>0)
outStream.Write(buffer，0，l);
}
while(l>0);
三、多线程
我们用DocumentWorker类封装所有下载一个URL的操作。每当一个DocumentWorker的实例被创建，它就进入循环，等待下一个要处理的URL。下面是DocumentWorker的主循环：
以下是代码片段：
while(!m_spider.Quit)
{
m_uri=m_spider.ObtainWork();
m_spider.SpiderDone.WorkerBegin();
stringpage=GetPage();
if(page!=null)
ProcessPage(page);
m_spider.SpiderDone.WorkerEnd();
}
这个循环将一直运行，直至Quit标记被设置成了true(当用户"Cancel"按钮时，Quit标记就被设置成true)。在循环之内，我们调用ObtainWork获取一个URL。ObtainWork将一直等待，直到有一个URL可用这要由其他线程解析文档并寻找才能获得。Done类利用WorkerBegin和WorkerEnd方法来确定何时整个下载操作已经完成。
从图一可以看出，蜘蛛程序允许用户自己确定要使用的线程数量。在实践中，线程的最佳数量受许多因素影响。如果你的机器性能较高，或者有两个处理器，可以设置较多的线程数量;反之，如果网络带宽、机器性能有限，设置太多的线程数量其实不一定能够提高性能。
四、任务完成了吗?
利用多个线程同时下载文件有效地提高了性能，但也带来了线程管理方面的问题。其中最复杂的一个问题是：蜘蛛程序何时才算完成了工作?在这里我们要借助一个专用的类Done来判断。
首先有必要说明一下"完成工作"的具体含义。只有当系统中不存在等待下载的URL，而且所有工作线程都已经结束其处理工作时，蜘蛛程序的工作才算完成。也就是说，完成工作意味着已经没有等待下载和正在下载的URL。
Done类提供了一个WaitDone方法，它的功能是一直等待，直到Done对象检测到蜘蛛程序已完成工作。下面是WaitDone方法的代码。
以下是代码片段：
publicvoidWaitDone()
{
Monitor.Enter(this);
while(m_activeThreads>0)
{
Monitor.Wait(this);
}
Monitor.Exit(this);
}
WaitDone方法将一直等待，直到不再有活动的线程。但必须注意的是，下载开始的最初阶段也没有任何活动的线程，所以很容易造成蜘蛛程序一开始就立即停止的现象。为解决这个问题，我们还需要另一个方法WaitBegin来等待蜘蛛程序进入"正式的"工作阶段。一般的调用次序是：先调用WaitBegin，再接着调用WaitDone，WaitDone将等待蜘蛛程序完成工作。下面是WaitBegin的代码：
以下是代码片段：
publicvoidWaitBegin()
{
Monitor.Enter(this);
while(!m_started)
{
Monitor.Wait(this);
}
Monitor.Exit(this);

在《爬虫/蜘蛛程序的制作（C#语言）》一文中，已经介绍了爬虫程序实现的基本方法，可以说，已经实现了爬虫的功能。只是它存在一个效率问题，下载速度可能很慢。这是两方面的原因造成的：
1.分析和下载不能同步进行。在《爬虫/蜘蛛程序的制作（C#语言）》中已经介绍了爬虫程序的两个步骤：分析和下载。在单线程的程序中，两者是无法 同时进行的。也就是说，分析时会造成网络空闲，分析的时间越长，下载的效率越低。反之也是一样，下载时无法同时进行分析，只有停下下载后才能进行下一步的 分析。问题浮出水面，我想大家都会想到：把分析和下载用不同的线程进行，问题不就解决了吗？
2.只是单线程下载。相信大家都有用过网际快车等下载资源的经历，它里面是可以设置线程数的（近年版本默认是10，曾经默认是5）。它会将文件分成 与线程数相同的部分，然后每个线程下载自己的那一部分，这样下载效率就有可能提高。相信大家都有加多线程数，提升下载效率的经历。但细心的用户会发现，在 带宽一定的情况下，并不是线程越多，速度越快，而是在某一点达到峰值。爬虫作为特殊的下载工具，不具备多线程的能力何以有效率可谈？爬虫在信息时代的目 的，难道不是快速获取信息吗？所以，爬虫需要有多线程（可控数量）同时下载网页。
好了，认识、分析完问题，就是解决问题了：
多线程在C#中并不难实现。它有一个命名空间：System.Threading，提供了多线程的支持。
要开启一个新线程，需要以下的初始化：
ThreadStart startDownload = new ThreadStart( DownLoad );
//线程起始设置：即每个线程都执行DownLoad()，注意：DownLoad()必须为不带有参数的方法
Thread downloadThread = new Thread( startDownload ); //实例化要开启的新类
downloadThread.Start();//开启线程
由于线程起始时启动的方法不能带有参数，这就为多线程共享资源添加了麻烦。不过我们可以用类级变量（当然也可以使用其它方法，笔者认为此方法最简单易用）来解决这个问题。知道开启多线程下载的方法后，大家可能会产生几个疑问：
1.如何控制线程的数量？

2.如何防止多线程下载同一网页？

3.如何判断线程结束？

4.如何控制线程结束？
下面就这几个问题提出解决方法：
1.线程数量我们可以通过for循环来实现，就如同当年初学编程的打点程序一样。
比如已知用户指定了n（它是一个int型变量）个线程吧，可以用如下方法开启五个线程。
Thread[] downloadThread;
//声名下载线程，这是C#的优势，即数组初始化时，不需要指定其长度，可以在使用时才指定。
这个声名应为类级，这样也就为其它方法控件它们提供了可能
ThreadStart startDownload = new ThreadStart( DownLoad );
//线程起始设置：即每个线程都执行DownLoad()
downloadThread = new Thread[ n ];//为线程申请资源，确定线程总数
for( int i = 0; i < n; i++ )//开启指定数量的线程数
{

downloadThread[i] = new Thread( startDownload );//指定线程起始设置

downloadThread[i].Start();//逐个开启线程

}
好了，实现控制开启线程数是不是很简单啊？
2.下面出现的一个问题：所有的线程都调用DonwLoad()方法，这样如何避免它们同时下载同一个网页呢？
这个问题也好解决，只要建立一下Url地址表，表中的每个地址只允许被一个线程申请即可。具体实现：
可以利用数据库，建立一个表，表中有四列，其中一列专门用于存储Url地址，另外两列分别存放地址对应的线程以及该地址被申请的次数，最后一列存放 下载的内容。（当然，对应线程一列不是必要的）。当有线程申请后，将对应线程一列设定为当前线程编号，并将是否申请过一列设置为申请一次，这样，别的线程 就无法申请该页。如果下载成功，则将内容存入内容列。如果不成功，内容列仍为空，作为是否再次下载的依据之一，如果反复不成功，则进程将于达到重试次数 （对应该地址被申请的次数，用户可设）后，申请下一个Url地址。主要的代码如下（以VFP为例）：
<建立表>

CREATE TABLE (ctablename) ( curl M , ctext M , ldowned I , threadNum I )
&&建立一个表ctablename.dbf，含有地址、文本内容、已经尝试下载次数、
线程标志（初值为-1，线程标志是从0开始的整数）四个字段

<提取Url地址>

cfullname = (ctablename) + '.dbf'&&为表添加扩展名

USE (cfullname)

GO TOP

LOCATE FOR (EMPTY( ALLTRIM( ctext ) ) AND ldowned < 2 AND
( threadNum = thisNum OR threadNum = - 1) )
&&查找尚未下载成功且应下载的属于本线程权限的Url地址，thisNum是当前线程的编号，
可以通过参数传递得到

gotUrl = curl

recNum = RECNO()

IF recNum <= RECCOUNT() THEN &&如果在列表中找到这样的Url地址

UPDATE (cfullname) SET ldowned = ( ldowned + 1 ) , threadNum =
thisNum WHERE RECNO() = recNum &&更新表，将此记录更新为已申请，即下载次数加1，
线程标志列设为本线程的编号。
<下载内容>

cfulltablename = (ctablename) + '.dbf'

USE (cfulltablename)

SET EXACT ON

LOCATE FOR curl = (csiteurl) && csiteurl是参数，为下载到的内容所对应的Url地址

recNumNow = RECNO()&&得到含有此地址的记录号

UPDATE (cfulltablename) SET ctext = (ccontent) WHERE RECNO() =
recNumNow &&插入对应地址的对应内容
<插入新地址>

ctablename = (ctablename) + '.dbf'

USE (ctablename)

GO TOP

SET EXACT ON

LOCATE FOR curl = (cnewurl) &&查找有无此地址

IF RECNO() > RECCOUNT() THEN &&如果尚无此地址

SET CARRY OFF

INSERT INTO (ctablename) ( curl , ctext , ldowned , threadNum )
VALUES ( (cnewurl) , "" , 0 , -1 ) &&将主页地址添加到列表
好了，这样就解决了多线程中，线程冲突。当然，去重问题也可以在C#语言内解决，只根建立一个临时文件（文本就可以），保存所有的Url地址，差对它们设置相应的属性即可，但查找效率可能不及数据库快。

共2页
3.线程结束是很难判断的，因为它总是在查找新的链接。用者认为可以假设：线程重复N次以后还是没有能申请到新的Url地址，那么可以认为它已经下载完了所有链接。主要代码如下：
string url = "";

int times = 0;

while ( url == "" )//如果没有找到符合条件的记录，则不断地寻找符合条件的记录

{

url = getUrl.GetAUrl( …… );//调用GetAUrl方法，试图得到一个url值

if ( url == "" )//如果没有找到

{

times ++;//尝试次数自增

continue; //进行下一次尝试

}
if ( times > N ) //如果已经尝试够了次数，则退出进程

{

downloadThread[i].Abort; //退出进程

}
else//如果没有尝试够次数

{

Times = 0; //尝试次数归零处理

}

//进行下一步针对得到的Url的处理

}
4.这个问题相对简单，因为在问题一中已经建议，将线程声名为类级数组，这样就很易于控制。只要用一个for循环即可结束。代码如下：
for( int i = 0; i < n; i++ )//关闭指定数量n的线程数

{

downloadThread[i].Abort();//逐个关闭线程

}
好了，一个蜘蛛程序就这样完成了，在C#面前，它的实现原来如此简单。
这里笔者还想提醒读者：笔者只是提供了一个思路及一个可以实现的解决方案，但它并不是最佳的，即使这个方案本身，也有好多可以改进的地方，留给读者思考。
最后说明一下我所使用的环境：
winXP sp2 Pro

VFP 9.0

Visual Studio 2003 .net中文企业版

E. 各位好，有谁做过网络蜘蛛（爬虫）啊可以提供C语言的源代码给我不啊能帮我解释一下更好，谢谢！

网上又好多，可以自己下载啊。http://bbs.chinaunix.net/thread-2163118-1-1.html

F. 求一份C++ HTTP 网络爬虫源码 最好是基于Socket,自己写的有点问题,程序是正确的 但是效率好像有点低

基于Socket,自己写的有点问题俺发给你一篇。

G. 基于c语言的爬虫项目（网络词典），获取用户的英文字符串，通过网络爬虫通信实现翻译，求思路代码~

你现在“UI的简单的客服端和服务端通信”大体用到哪些头文件（技术）？

H. C++ 获取网页真实源码

Ajax,我是用webbrowser,
var htmldocument = (mshtml.HTMLDocument)wb.Document.DomDocument;
string Content = htmldocument.documentElement.outerHTML;

I. 有人有简单爬虫源码可以学习吗

爬虫学习之一个简单的网络爬虫

概述

这是一个网络爬虫学习的技术分享，主要通过一些实际的案例对爬虫的原理进行分析，达到对爬虫有个基本的认识，并且能够根据自己的需要爬到想要的数据。有了数据后可以做数据分析或者通过其他方式重新结构化展示。

什么是网络爬虫

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。via网络网络爬虫
网络蜘蛛（Web spider）也叫网络爬虫（Web crawler）[1]，蚂蚁（ant），自动检索工具（automatic indexer），或者（在FOAF软件概念中）网络疾走（WEB scutter），是一种“自动化浏览网络”的程序，或者说是一种网络机器人。它们被广泛用于互联网搜索引擎或其他类似网站，以获取或更新这些网站的内容和检索方式。它们可以自动采集所有其能够访问到的页面内容，以供搜索引擎做进一步处理（分检整理下载的页面），而使得用户能更快的检索到他们需要的信息。via维基网络网络蜘蛛

以上是网络和维基网络对网络爬虫的定义，简单来说爬虫就是抓取目标网站内容的工具，一般是根据定义的行为自动进行抓取，更智能的爬虫会自动分析目标网站结构类似与搜索引擎的爬虫，我们这里只讨论基本的爬虫原理。

###爬虫工作原理

网络爬虫框架主要由控制器、解析器和索引库三大部分组成，而爬虫工作原理主要是解析器这个环节，解析器的主要工作是下载网页，进行页面的处理，主要是将一些JS脚本标签、CSS代码内容、空格字符、HTML标签等内容处理掉，爬虫的基本工作是由解析器完成。所以解析器的具体流程是：

入口访问->下载内容->分析结构->提取内容

分析爬虫目标结构

这里我们通过分析一个网站[落网：http://luoo.net] 对网站内容进行提取来进一步了解！

第一步 确定目的
抓取目标网站的某一期所有音乐

第二步 分析页面结构
访问落网的某一期刊，通过Chrome的开发者模式查看播放列表中的歌曲，右侧用红色框线圈出来的是一些需要特别注意的语义结构，见下图所示：

以上红色框线圈出的地方主要有歌曲名称，歌曲的编号等，这里并没有看到歌曲的实际文件地址，所以我们继续查看，点击某一个歌曲就会立即在浏览器中播放，这时我们可以看到在Chrome的开发者模式的Network中看到实际请求的播放文件，如下图所示：

根据以上分析我们可以得到播放清单的位置和音乐文件的路径，接下来我们通过python来实现这个目的。

实现爬虫

Python环境安装请自行Google

主要依赖第三方库

Requests（http://www.python-requests.org） 用来发起请求
BeautifulSoup（bs4） 用来解析HTML结构并提取内容
faker（http://fake-factory.readthedocs.io/en/stable/）用来模拟请求UA（User-Agent）

主要思路是分成两部分，第一部分用来发起请求分析出播放列表然后丢到队列中，第二部分在队列中逐条下载文件到本地，一般分析列表速度更快，下载速度比较慢可以借助多线程同时进行下载。
主要代码如下:

#-*- coding: utf-8 -*-'''by sudo rm -rf http://imchenkun.com'''import osimport requestsfrom bs4 import BeautifulSoupimport randomfrom faker import Factoryimport Queueimport threadingfake = Factory.create()luoo_site = 'http://www.luoo.net/music/'luoo_site_mp3 = 'http://luoo-mp3.kssws.ks-cdn.com/low/luoo/radio%s/%s.mp3'proxy_ips = [ '27.15.236.236' ] # 替换自己的代理IPheaders = { 'Connection': 'keep-alive', 'User-Agent': fake.user_agent() }def random_proxies(): ip_index = random.randint(0, len(proxy_ips)-1) res = { 'http': proxy_ips[ip_index] } return resdef fix_characters(s): for c in ['<', '>', ':', '"', '/', '\\', '|', '?', '*']: s = s.replace(c, '') return sclass LuooSpider(threading.Thread): def __init__(self, url, vols, queue=None): threading.Thread.__init__(self) print '[luoo spider]' print '=' * 20 self.url = url self.queue = queue self.vol = '1' self.vols = vols def run(self): for vol in self.vols: self.spider(vol) print '\ncrawl end\n\n' def spider(self, vol): url = luoo_site + vol print 'crawling: ' + url + '\n' res = requests.get(url, proxies=random_proxies()) soup = BeautifulSoup(res.content, 'html.parser') title = soup.find('span', attrs={'class': 'vol-title'}).text cover = soup.find('img', attrs={'class': 'vol-cover'})['src'] desc = soup.find('div', attrs={'class': 'vol-desc'}) track_names = soup.find_all('a', attrs={'class': 'trackname'}) track_count = len(track_names) tracks = [] for track in track_names: _id = str(int(track.text[:2])) if (int(vol) < 12) else track.text[:2] # 12期前的音乐编号1~9是1位（如：1~9），之后的都是2位 1~9会在左边垫0（如：01~09） _name = fix_characters(track.text[4:]) tracks.append({'id': _id, 'name': _name}) phases = { 'phase': vol, # 期刊编号 'title': title, # 期刊标题 'cover': cover, # 期刊封面 'desc': desc, # 期刊描述 'track_count': track_count, # 节目数 'tracks': tracks # 节目清单(节目编号，节目名称) } self.queue.put(phases)class LuooDownloader(threading.Thread): def __init__(self, url, dist, queue=None): threading.Thread.__init__(self) self.url = url self.queue = queue self.dist = dist self.__counter = 0 def run(self): while True: if self.queue.qsize() <= 0: pass else: phases = self.queue.get() self.download(phases) def download(self, phases): for track in phases['tracks']: file_url = self.url % (phases['phase'], track['id']) local_file_dict = '%s/%s' % (self.dist, phases['phase']) if not os.path.exists(local_file_dict): os.makedirs(local_file_dict) local_file = '%s/%s.%s.mp3' % (local_file_dict, track['id'], track['name']) if not os.path.isfile(local_file): print 'downloading: ' + track['name'] res = requests.get(file_url, proxies=random_proxies(), headers=headers) with open(local_file, 'wb') as f: f.write(res.content) f.close() print 'done.\n' else: print 'break: ' + track['name']if __name__ == '__main__': spider_queue = Queue.Queue() luoo = LuooSpider(luoo_site, vols=['680', '721', '725', '720'],queue=spider_queue) luoo.setDaemon(True) luoo.start() downloader_count = 5 for i in range(downloader_count): luoo_download = LuooDownloader(luoo_site_mp3, 'D:/luoo', queue=spider_queue) luoo_download.setDaemon(True) luoo_download.start()

以上代码执行后结果如下图所示


Github地址：https://github.com/imchenkun/ick-spider/blob/master/luoospider.py

总结

通过本文我们基本了解了网络爬虫的知识，对网络爬虫工作原理认识的同时我们实现了一个真实的案例场景，这里主要是使用一些基础的第三方Python库来帮助我们实现爬虫，基本上演示了网络爬虫框架中基本的核心概念。通常工作中我们会使用一些比较优秀的爬虫框架来快速的实现需求，比如scrapy框架，接下来我会通过使用Scrapy这类爬虫框架来实现一个新的爬虫来加深对网络爬虫的理解！

J. python爬虫怎么获取动态的网页源码

一个月前实习导师布置任务说通过网络爬虫获取深圳市气象局发布的降雨数据，网页如下：

心想，爬虫不太难的，当年跟zjb爬煎蛋网无（mei）聊（zi）图的时候，多么清高。由于接受任务后的一个月考试加作业一大堆，导师也不催，自己也不急。

但是，导师等我一个月都得让我来写意味着这东西得有多难吧。。。今天打开一看的确是这样。网站是基于Ajax写的，数据动态获取，所以无法通过下载源代码然后解析获得。

从某不良少年写的抓取淘宝mm的例子中收到启发，对于这样的情况，一般可以同构自己搭建浏览器实现。phantomJs，CasperJS都是不错的选择。

导师的要求是获取过去一年内深圳每个区每个站点每小时的降雨量，执行该操作需要通过如上图中的历史查询实现，即通过一个时间来查询，而这个时间存放在一个hidden类型的input标签里，当然可以通过js语句将其改为text类型，然后执行send_keys之类的操作。然而，我失败了。时间可以修改设置，可是结果如下图。

为此，仅抓取实时数据。选取python的selenium，模拟搭建浏览器，模拟人为的点击等操作实现数据生成和获取。selenium的一大优点就是能获取网页渲染后的源代码，即执行操作后的源代码。普通的通过 url解析网页的方式只能获取给定的数据，不能实现与用户之间的交互。selenium通过获取渲染后的网页源码，并通过丰富的查找工具，个人认为最好用的就是find_element_by_xpath("xxx")，通过该方式查找到元素后可执行点击、输入等事件，进而向服务器发出请求，获取所需的数据。

[python]view plain

• #coding=utf-8

• fromtestStringimport*

• fromseleniumimportwebdriver

• importstring

• importos

• fromselenium.webdriver.common.keysimportKeys

• importtime

• importsys

• default_encoding='utf-8'

• ifsys.getdefaultencoding()!=default_encoding:

• reload(sys)

• sys.setdefaultencoding(default_encoding)

• district_navs=['nav2','nav1','nav3','nav4','nav5','nav6','nav7','nav8','nav9','nav10']

• district_names=['福田区','罗湖区','南山区','盐田区','宝安区','龙岗区','光明新区','坪山新区','龙华新区','大鹏新区']

• flag=1

• while(flag>0):

• driver=webdriver.Chrome()

• driver.get("hianCe/")

• #选择降雨量

• driver.find_element_by_xpath("//span[@id='fenqu_H24R']").click()

• filename=time.strftime("%Y%m%d%H%M",time.localtime(time.time()))+'.txt'

• #创建文件

• output_file=open(filename,'w')

• #选择行政区

• foriinrange(len(district_navs)):

• driver.find_element_by_xpath("//div[@id='"+district_navs[i]+"']").click()

• #printdriver.page_source

• timeElem=driver.find_element_by_id("time_shikuang")

• #输出时间和站点名

• output_file.write(timeElem.text+',')

• output_file.write(district_names[i]+',')

• elems=driver.find_elements_by_xpath("//span[@onmouseover='javscript:changeTextOver(this)']")

• #输出每个站点的数据，格式为：站点名，一小时降雨量，当日累积降雨量

• foreleminelems:

• output_file.write(AMonitorRecord(elem.get_attribute("title"))+',')

• output_file.write(' ')

• output_file.close()

• driver.close()

• time.sleep(3600)

• 文件中引用的文件testString只是修改输出格式，提取有效数据。

[python]view plain

• #Encoding=utf-8

• defOnlyCharNum(s,oth=''):

• s2=s.lower()

• fomart=',.'

• forcins2:

• ifnotcinfomart:

• s=s.replace(c,'')

• returns

• defAMonitorRecord(str):

• str=str.split(":")

• returnstr[0]+","+OnlyCharNum(str[1])



• 一小时抓取一次数据，结果如下：