爬虫C语言

① python爬虫是什么

爬虫一般指网络资源的抓取，通过编程语言撰写爬虫工具，抓取自己想要的数据以及内容。而在众多编程语言之中，Python有丰富的网络抓取模块，因此成为撰写爬虫的首选语言，并引起了学习热潮。
Python作为一门编程语言而纯粹的自由软件，以简洁清晰的语法和强制使用空白符号进行语句缩进的特点受到程序员的喜爱。用不同编程语言完成一个任务，c语言一共要写1000行代码，java要写100行代码，而Python只需要20行，用Python来完成编程任务代码量更少，代码简洁简短而且可读性强。
Python非常适合开发网络爬虫，因为对比其他静态编程语言，Python抓取网页文档的接口更简洁;对比其他脚本语言，Python的urllib2包提供了较为完整的访问网页文档的API。
Python爬虫的工作流程是什么?
Python爬虫通过URL管理器，判断是否有待爬URL，如果有待爬URL，通过调度器进行传递给下载器，下载URL内容，通过调度器传送给解释器，解析URL内容，将有价值数据和新的URL列表通过调度器传递给应用程序，输出价值信息的过程。
Python是一门非常适合开发网络爬虫的语言，提供了urllib、re、json、pyquery等模块，同时还有很多成型框架，比如说Scrapy框架、PySpider爬虫系统等，代码十分简洁方便，是新手学习网络爬虫的首选语言。

② c语言和python哪个好入门

从开始看Python到现在也有半个多月了，前后看了Python核心编程和Dive into
Python两本书。话说半个月看两本，是个人都知道有多囫囵吞枣，这也是因为我暂时没有需求拿这个做大型开发，主要是平时的小程序test用一用。所以

我的策略是，整体浏览，用到时候现查。话说这核心编程第一版太古老了，老在讲2.2之前的东西，我看的翻译电子版，翻译得也不好，很晦涩。看完这个后还有
点云里雾里，看网上人家说DIP好，啄木鸟还有免费电子文档，就找来看这个。怎么说呢，讲的比核心编程好，但不适合第一次看的初学者。我之所以觉得讲得
好，是因为看核心编程，有些概念还有些模糊，看了这本书就明白不少了。要是初学者上来就看这本，保证不好理解。

下面就是在学习的过程中，在翻阅资料的过程中，总结的一些C和python比较明显的不同之处，有大方向的，也有细节的。肯定没有总结完，比如动态

函数，lambda这些，我都懒得往上写了。实际上，作为两种完全不同的语言，下面这些差异只是冰山一角而已。权当抛砖引玉吧，至少应该对和我有相同研究

兴趣，正在考虑是否学习另一门语言的朋友有点帮助。此文也算是DIP的学习笔记吧。顺带说一句，要是有朋友了解，可以帮忙推荐一下实战性强的Python
教材，语言这东西，不多练手，光比划，是不可能学好的。

学习目的

我的以后的研究方向是嵌入式，显然，C语言是我的主要语言。我不是一个语言爱好者，我以前觉得，对于做研究而不是应用的人来说，了解多门语言，不如

精通一门语言。之所以去看python，主要还是因为python更有利于快速开发一些程序，也是因为现在认识到，研究和应用是不能分离的。个人以为，要
想在计算机工程的竞争中立足，必须懂C语言。因为真正要做高性能编程,
不可能将机器的体系架构抛到脑后让Python虚拟机（或Java虚拟机等）帮你搞定所有底层。越来越多的CPU
core，越来越恐怖的内存性能瓶颈，对于上层开发人员来说，无所谓，但是对高性能程序开发人员来说，这些是无法透明的。很多应用，还是自己掌控比较有
效。这些场合中，汇编和C还是不可替代的。但是，光知道C是不够的，掌握一门面向对象语言，相对更高层的语言，不仅对以后的个人发展有利，也会对自己的技
术认识产生帮助。

如果要问对我来说谁更重要，我觉得还是C更重要。C的学习曲线更陡，貌似简单，实际上到处都是陷阱，看上去比较简单低效的程序，也不是学1，2个月

就能搞定的。谈到优化的深层次和难度嘛，需要的功底是按年算的。但是一旦你C语言的基础打好了，对计算机的理解，对其他语言的理解都是大有裨益的。比如，

如果你有C基础，可以说，学过1天python，就能写的出来一些不短的程序。后面的优化也不是什么大不了的算法，都是非常基本的语句换来换去。当然这里
不是说 Python不好，实际上，上层应用，Python比C方便的不是一个层次。

很多人觉得，既然懂C了，那么进一步掌握C＋＋应该是水到渠成，但C++不是C的超集，而我又不喜欢C＋＋的繁琐和巨大，所以才决定看一看Python。我很喜欢Python的优雅与快捷。

语言类型

和C不一样，Python是一种动态类型语言，又是强类型语言。这个分类怎么理解呢？大概是可以按照下列说明来分类的：

静态类型语言

一种在编译期间就确定数据类型的语言。大多数静态类型语言是通过要求在使用任一变量之前声明其数据类型来保证这一点的。Java和 C 是静态类型语言。

动态类型语言

一种在运行期间才去确定数据类型的语言，与静态类型相反。Python 是动态类型的，因为它们确定一个变量的类型是在您第一次给它赋值的时候。

强类型语言

一种总是强制类型定义的语言。Java 和 Python 是强制类型定义的。您有一个整数，如果不明确地进行转换 ，不能将把它当成一个字符串。

弱类型语言

一种类型可以被忽略的语言，与强类型相反。VBScript 是弱类型的。在 VBScript 中，您可以将字符串 ‘12′ 和整数 3 进行连接得到字符串’123′，然后可以把它看成整数 123 ，所有这些都不需要任何的显示转换。

对象机制

具体怎么来理解这个“动态确定变量类型”，就要从Python的Object对象机制说起了。Objects（以下称对象）是Python对于数据

的抽象，Python中所有的数据，都是由对象或者对象之间的关系表示的，函数是对象，字符串是对象，每个东西都是对象的概念。每一个对象都有三种属性：

实体，类型和值。理解实体是理解对象中很重要的一步，实体一旦被创建，那么就一直不会改变，也不会被显式摧毁，同时通常意义来讲，决定对象所支持的操作方

式的类型（type，包括number，string，tuple及其他）也不会改变，改变的只可能是它的值。如果要找一个具体点的说明，实体就相当于对

象在内存中的地址，是本质存在。而类型和值都只是实体的外在呈现。然后Python提供一些接口让使用者和对象交互，比如id(）函数用来获得对象实体的
整形表示（实际在这里就是地址），type()函数获取其类型。

这个object机制，就是c所不具备的，主要体现在下面几点：

1 刚才说了，c是一个静态类型语言，我们可以定义int a, char
b等等，但必须是在源代码里面事先规定。比如我们可以在Python里面任意一处直接规定a =
“lk”，这样，a的类型就是string，这是在其赋值的时候才决定的，我们无须在代码中明确写出。而在C里面，我们必须显式规定char *a =
“lk”，也就是人工事先规定好a的类型

2 由于在C中，没有对象这个概念，只有“数据的表示”，比如说，如果有两个int变量a和b，我们想比较大小，可以用a ＝＝
b来判断，但是如果是两个字符串变量a和b，我们就不得不用strcmp来比较了，因为此时，a和b本质上是指向字符串的指针，如果直接还是用＝＝比较，
那比较的实际是指针中存储的值——地址。

在Java中呢，我们通过使用 str1 == str2 可以确定两个字符串变量是否指向同一块物理内存位置，这叫做“对象同一性”。在 Java 中要比较两个字符串值，你要使用 str1.equals(str2)。

然后在Python中，和前两者都不一样，由于对象的引入，我们可以用“is”这个运算符来比较两个对象的实体，和具体对象的type就没有关系
了，比如你的对象是tuple也好，string也好，甚至class也好，都可以用”is”来比较，本质上就是“对象同一性”的比较，和Java中
的＝＝类似，和 C中的pointer比较类似。Python中也有＝＝比较，这个就是值比较了。

3
由于对象机制的引入，让Python的使用非常灵活，比如我们可以用自省方法来查看内存中以对象形式存在的其它模块和函数，获取它们的信息，并对它们进行
操作。用这种方法，你可以定义没有名称的函数，不按函数声明的参数顺序调用函数，甚至引用事先并不知道名称的函数。 这些操作在C中都是不可想象的。

4 还有一个很有意思的细节，就是类型对对象行为的影响是各方面的，比如说，a = 1; b =
1这个语句中，在Python里面引发的，可能是a，b同时指向一个值为1的对象，也可能是分别指向两个值为1的对象。而例如这个语句，c = []; d
= []，那么c和d是肯定指向不同的，新创建的空list的。没完，如果是”c = d =
[]“这个语句呢？此时，c和d又指向了相同的list对象了。这些区别，都是在c中没有的。

最后，我们来说说为什么python慢。主要原因就是function call
overhead比较大。因为所有东西现在都是对象了，contruct 和destroy 花费也大。连1 + 1 都是 function
call，像’12′+’45′ 这样的要 create a third string object, then calls the string
obj’s __add。可想而知，速度如何能快起来？

列表和数组

分析Python中的list和C中的数组总是很有趣的。相信可能一些朋友和一样，初学列表的时候，都是把它当作是数组来学的。最初对于list和数组区别的定性，主要是集中在两点。首先，list可以包含很多不同的数据类型，比如

["this", 1, "is", "an", "array"]

这个List，如果放在C中，其实是一个字符串数组，相当于二维的了。

其次呢，list有很多方法，其本身就是一个对象，这个和C的单纯数组是不同的。对于List的操作很多样，因为有方法也有重载的运算符。也带来一些问题，比如下面这个例子：

加入我们要产生一个多维列表，用下面这个语句

A = [[None] * 2] * 3

结果，A的值会是

[[None, None], [None, None], [None, None]]

初一看没问题，典型的二维数组形式的列表。好，现在我们想修改第一个None的值，用语句

A[0][0] = 5

现在我们再来看看A的值：

[[5, None], [5, None], [5, None]]

发现问题没有？这是因为用 * 来复制时，只是创建了对这个对象的引用，而不是真正的创建了它。 *3 创建了一个包含三个引用的列表，这三个引用都指向同一个长度为2的列表。其中一个行的改变会显示在所有行中，这当然不是你想要的。解决方法当然有，我们这样来创建

A = [None]*3
for i in range(3):
A[i] = [None] * 2

这样创建了一个包含三个不同的长度为2的列表。

所以，还是一直强调的，越复杂的东西，越灵活，也越容易出错。

代码优化

C是一个很简单的语言，当我们考虑优化的时候，通常想得也很简单，比如系统级调用越少越好（缓冲区机制），消除循环的低效率和不必要的系统引用，等
等，其实主要都是基于系统和硬件细节考虑的。而Python就完全不一样了，当然上面说的这些优化形式，对于Python仍然是实用的，但由于
Python的语法形式千差万别，库和模块多种多样，所以对于语言本身而言，就有很多值得注意的优化要点，举几个例子吧。

比如我们有一个list L1，想要构建一个新的list L2，L2包括L1的头4个元素。按照最直接的想法，代码应该是

L2 = []
for i in range[3]:
L2.append(L1[i])

而更加优化和优美的版本是

L2 = L1[:3]

再比如，如果s1..s7是大字符串(10K+)，那么join([s1,s2,s3,s4,s5,s6,s7])就会比
s1+s2+s3+s4+s5+s6+s7快得多,因为后者会计算很多次子表达式，而join()则在一次过程中完成所有的复制。还有，对于字符串操作，
对字符串对象使用replace()方法。仅当在没有固定字符串模式时才使用正则表达式。

所以说，以优化为评判标准，如果说C是短小精悍，Python就是博大精深。

include和import

在C语言中的include非常简单，因为形式单一，意义明确，当你需要用到外部函数等资源时，就用include。而Python中有一个相似的
机制，就是import。乍一看，这两个家伙挺像的，不都是我们要用外部资源（最常见的就是函数或者模块（Python））时就用这个来指明么？其实不

然，两者的处理机制本质区别在于，C中的include是用于告诉预处理器，这个include指定的文件的内容，你都给我当作在本地源文件中出现过。而

import呢，不是简单的将后面的内容*直接*插入到本地里面去，这玩意更加灵活。事实上，几乎所有类似的机制，Python都比C灵活。这里不是说C
不好，C很简练，我其实更喜欢C。

简单说说这个灵活性。import在python中有三种形式，import X, from X import *( or a,b,c……),
X = __import__(’x')。最常用的是第二种，因为比较方便，不像第一种那样老是用X.mole来调用模块。from X
import *只是import那些public的mole(一般都是不以__命名的模块)，也可以指定a,b,c来import。

什么时候用哪一种形式呢？应该说，在大多数的模块文档里，都会明确告诉你应该用哪种形式。如果需要用到很多对象，那么from X import
*可能更合适一些，但是，就目前来看，大多数第三方Python库都不推荐使用from molename import *
这种格式。这样做会使引入者的namespace混乱。很多人甚至对于那些专门设计用于这种模式的模块（包括Tkinter,
threading和matplot）都不采用这种方式。而如果你仅仅需要某个对象类a，那么用from X import a比用import
X.a更好，因为以后你调用a的函数直接用a.function()既可以了，不用加X。

如果你连自己希望import的模块都不知道怎么办？请注意，此时Python的优势就体现出来了，我们可以用
__import__(mole)来调用mole，其中这个mole是字符串，这样，可以在运行时再决定，你到底要调用什么mole。举
个例子：

def classFromMole (mole, Name):
mod = __import__ (mole)
return getattr (mod, Name)

这里，定义了一个函数classFromMole，你可以在代码的任何时候调用它，

o = classFromMole (MoleOfTheClass, NameOfTheAttribute)()

只需要传入字符串形式的你希望import的模块MoleOfTheClass和其中属性的名字NameOfTheAttribute（当然可以是数据也可以是方法），就能调用了，这个名字字符串不用事先指定，而是根据当时运行的情况来判断。

顺带说一句，Python中import的顺序也有默认规定，这个和C中的include有点类似，因为我们一般都是先include系统文件，再
include自己的头文件（而且还有<>和“”的区别）。Python中呢，一般应该按照以下顺序import模块：

1. 标准库模块 — 如 sys, os, getopt 等

2. 第三方模块

3. 本地实现的模块。

全局变量

这里谈全局变量呢，倒不是说Python和c的全局变量概念不同，他们的概念是相同的。只是在使用机制上，是有一些差异的。举个例子：

– mole.py –
globalvar = 1

def func():
print globalvar
# This makes someglobal readonly,
# any attempt to write to someglobal
# would create a new local variable.

def func2():
global globalvar
globalvar = 2
# this allows you to manipulate the global
# variable

在 func这个函数中，globalvar是只读的。如果你使用了globalvar =
xxx这种赋值语句，Python会重新创造一个新的本地对象并将新值赋给它，原来的对象值不变。而在func2函数中，由于我们事先申明了
globalvar是global的，那么此时的更改就直接在全局变量上生效。

③ 如何优雅地使用c语言编写爬虫

大家在平时或多或少地都会有编写网络爬虫的需求。一般来说，编写爬虫的首选自然非python莫属，除此之外，java等语言也是不错的选择。选择上述语言的原因不仅仅在于它们均有非常不错的网络请求库和字符串处理库，还在于基于上述语言的爬虫框架非常之多和完善。良好的爬虫框架可以确保爬虫程序的稳定性，以及编写程序的便捷性。所以，这个cspider爬虫库的使命在于，我们能够使用c语言，依然能够优雅地编写爬虫程序。
爬虫的特性
配置方便。使用一句设置函数，即可定义user agent，cookie，timeout，proxy以及抓取线程和解析线程的最大数量。
程序逻辑独立。用户可以分别定义爬虫的解析函数，和数据持久化函数。并且对于解析到的新url，用户可以使用cspider提供的addUrl函数，将其加入到任务队列中。
便捷的字符串处理。cspider中提供了基于pcre的简单的正则表达式函数，基于libxml2的xpath解析函数，以及用于解析json的cJSON库。
高效的抓取。cspider基于libuv调度抓取线程和解析线程，使用curl作为其网络请求库。
使用cspider的步骤
获取cspider_t。
自定义user agent，cookie，timeout，proxy以及抓取线程和解析线程的最大数量。
添加初始要抓取的url到任务队列。
编写解析函数和数据持久化函数。
启动爬虫。
例子
先来看下简单的爬虫例子，会在后面详细讲解例子。
#include<cspider/spider.h>

/*
自定义的解析函数，d为获取到的html页面字符串
*/
void p(cspider_t *cspider, char *d, void *user_data) {

char *get[100];
//xpath解析html
int size = xpath(d, "//body/div[@class='wrap']/div[@class='sort-column area']/div[@class='column-bd cfix']/ul[@class='st-list cfix']/li/strong/a", get， 100);

int i;
for (i = 0; i < size; i++) {
//将获取到的电影名称，持久化
saveString(cspider, get[i]);
}

}
/*
数据持久化函数，对上面解析函数中调用的saveString()函数传入的数据，进行进一步的保存
*/
void s(void *str, void *user_data) {
char *get = (char *)str;
FILE *file = (FILE*)user_data;
fprintf(file, "%s\n", get);
return;
}

int main() {
//初始化spider
cspider_t *spider = init_cspider();
char *agent = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:42.0) Gecko/20100101 Firefox/42.0";
//char *cookie = "bid=s3/yuH5Jd/I; ll=108288; viewed=1130500_24708145_6433169_4843567_1767120_5318823_1899158_1271597; __utma=30149280.927537245.1446813674.1446983217.1449139583.4; __utmz=30149280.1449139583.4.4.utmcsr=accounts.douban.com|utmccn=(referral)|utmcmd=referral|utmcct=/login; ps=y; [email protected]; dbcl2=58742090:QgZ2PSLiDLQ; ck=T9Wn; push_noty_num=0; push_doumail_num=7; ap=1; __utmb=30149280.0.10.1449139583; __utmc=30149280";

//设置要抓取页面的url
cs_setopt_url(spider, "so.tv.sohu.com/list_p1100_p20_p3_u5185_u5730_p40_p5_p6_p77_p80_p9_2d1_p101_p11.html");
//设置user agent
cs_setopt_useragent(spider, agent);
//cs_setopt_cookie(spider, cookie);
//传入解析函数和数据持久化函数的指针
cs_setopt_process(spider, p, NULL);
//s函数的user_data指针指向stdout
cs_setopt_save(spider, s, stdout);
//设置线程数量
cs_setopt_threadnum(spider, DOWNLOAD, 2);
cs_setopt_threadnum(spider, SAVE, 2);
//FILE *fp = fopen("log", "wb+");
//cs_setopt_logfile(spider, fp);
//开始爬虫
return cs_run(spider);
}
例子讲解
cspider_t *spider = init_cspider();获取初始的cspider。cs_setopt_xxx这类函数可以用来进行初始化设置。其中要注意的是: cs_setopt_process(spider,p,NULL);与cs_setopt_save(spider,s,stdout);，它们分别设置了解析函数p和数据持久化函数s，这两个函数需要用户自己实现，还有用户自定义的指向上下文信息user_data的指针。
在解析函数中，用户要定义解析的规则，并对解析得到的字符串可以调用saveString进行持久化，或者是调用addUrl将url加入到任务队列中。在saveString中传入的字符串会在用户自定义的数据持久函数中得到处理。此时，用户可以选择输出到文件或数据库等。
最后调用cs_run(spider)即可启动爬虫。
具体的API参数可在这里查看

④ 除了python可以爬虫还有哪些编程语言可以爬虫

能够做网络爬虫的编程语言很多，包括PHP、Java、C/C++、Python等都能做爬虫，都能达到抓取想要的数据资源。针对不同的环境，我们需要了解他们做爬虫的优缺点，才能选出合适的开发环境。

（一）PHP
网络爬虫需要快速的从服务器中抓取需要的数据，有时数据量较大时需要进行多线程抓取。PHP虽然是世界上最好的语言，但是PHP对多线程、异步支持不足，并发不足，而爬虫程序对速度和效率要求极高，所以说PHP天生不是做爬虫的。

（二）C/C++
C语言是一门面向过程、抽象化的通用程序设计语言，广泛应用于底层开发，运行效率和性能是最强大的，但是它的学习成本非常高，需要有很好地编程知识基础，对于初学者或者编程知识不是很好地程序员来说，不是一个很好的选择。当然，能够用C/C++编写爬虫程序，足以说明能力很强，但是绝不是最正确的选择。

（三）Java
在网络爬虫方面，作为Python最大的对手Java，拥有强大的生态圈。但是Java本身很笨重，代码量大。由于爬虫与反爬虫的较量是持久的，也是频繁的，刚写好的爬虫程序很可能就不能用了。爬虫程序需要经常性的修改部分代码。而Java的重构成本比较高，任何修改都会导致大量代码的变动。

（四）Python
Python在设计上坚持了清晰划一的风格，易读、易维护，语法优美、代码简洁、开发效率高、第三方模块多。并且拥有强大的爬虫Scrapy，以及成熟高效的scrapy-redis分布式策略。实现同样的爬虫功能，代码量少，而且维护方便，开发效率高。