爬蟲C語言

① python爬蟲是什麼

爬蟲一般指網路資源的抓取，通過編程語言撰寫爬蟲工具，抓取自己想要的數據以及內容。而在眾多編程語言之中，Python有豐富的網路抓取模塊，因此成為撰寫爬蟲的首選語言，並引起了學習熱潮。
Python作為一門編程語言而純粹的自由軟體，以簡潔清晰的語法和強制使用空白符號進行語句縮進的特點受到程序員的喜愛。用不同編程語言完成一個任務，c語言一共要寫1000行代碼，java要寫100行代碼，而Python只需要20行，用Python來完成編程任務代碼量更少，代碼簡潔簡短而且可讀性強。
Python非常適合開發網路爬蟲，因為對比其他靜態編程語言，Python抓取網頁文檔的介面更簡潔;對比其他腳本語言，Python的urllib2包提供了較為完整的訪問網頁文檔的API。
Python爬蟲的工作流程是什麼?
Python爬蟲通過URL管理器，判斷是否有待爬URL，如果有待爬URL，通過調度器進行傳遞給下載器，下載URL內容，通過調度器傳送給解釋器，解析URL內容，將有價值數據和新的URL列表通過調度器傳遞給應用程序，輸出價值信息的過程。
Python是一門非常適合開發網路爬蟲的語言，提供了urllib、re、json、pyquery等模塊，同時還有很多成型框架，比如說Scrapy框架、PySpider爬蟲系統等，代碼十分簡潔方便，是新手學習網路爬蟲的首選語言。

② c語言和python哪個好入門

從開始看Python到現在也有半個多月了，前後看了Python核心編程和Dive into
Python兩本書。話說半個月看兩本，是個人都知道有多囫圇吞棗，這也是因為我暫時沒有需求拿這個做大型開發，主要是平時的小程序test用一用。所以

我的策略是，整體瀏覽，用到時候現查。話說這核心編程第一版太古老了，老在講2.2之前的東西，我看的翻譯電子版，翻譯得也不好，很晦澀。看完這個後還有
點雲里霧里，看網上人家說DIP好，啄木鳥還有免費電子文檔，就找來看這個。怎麼說呢，講的比核心編程好，但不適合第一次看的初學者。我之所以覺得講得
好，是因為看核心編程，有些概念還有些模糊，看了這本書就明白不少了。要是初學者上來就看這本，保證不好理解。

下面就是在學習的過程中，在翻閱資料的過程中，總結的一些C和python比較明顯的不同之處，有大方向的，也有細節的。肯定沒有總結完，比如動態

函數，lambda這些，我都懶得往上寫了。實際上，作為兩種完全不同的語言，下面這些差異只是冰山一角而已。權當拋磚引玉吧，至少應該對和我有相同研究

興趣，正在考慮是否學習另一門語言的朋友有點幫助。此文也算是DIP的學習筆記吧。順帶說一句，要是有朋友了解，可以幫忙推薦一下實戰性強的Python
教材，語言這東西，不多練手，光比劃，是不可能學好的。

學習目的

我的以後的研究方向是嵌入式，顯然，C語言是我的主要語言。我不是一個語言愛好者，我以前覺得，對於做研究而不是應用的人來說，了解多門語言，不如

精通一門語言。之所以去看python，主要還是因為python更有利於快速開發一些程序，也是因為現在認識到，研究和應用是不能分離的。個人以為，要
想在計算機工程的競爭中立足，必須懂C語言。因為真正要做高性能編程,
不可能將機器的體系架構拋到腦後讓Python虛擬機（或Java虛擬機等）幫你搞定所有底層。越來越多的CPU
core，越來越恐怖的內存性能瓶頸，對於上層開發人員來說，無所謂，但是對高性能程序開發人員來說，這些是無法透明的。很多應用，還是自己掌控比較有
效。這些場合中，匯編和C還是不可替代的。但是，光知道C是不夠的，掌握一門面向對象語言，相對更高層的語言，不僅對以後的個人發展有利，也會對自己的技
術認識產生幫助。

如果要問對我來說誰更重要，我覺得還是C更重要。C的學習曲線更陡，貌似簡單，實際上到處都是陷阱，看上去比較簡單低效的程序，也不是學1，2個月

就能搞定的。談到優化的深層次和難度嘛，需要的功底是按年算的。但是一旦你C語言的基礎打好了，對計算機的理解，對其他語言的理解都是大有裨益的。比如，

如果你有C基礎，可以說，學過1天python，就能寫的出來一些不短的程序。後面的優化也不是什麼大不了的演算法，都是非常基本的語句換來換去。當然這里
不是說 Python不好，實際上，上層應用，Python比C方便的不是一個層次。

很多人覺得，既然懂C了，那麼進一步掌握C＋＋應該是水到渠成，但C++不是C的超集，而我又不喜歡C＋＋的繁瑣和巨大，所以才決定看一看Python。我很喜歡Python的優雅與快捷。

語言類型

和C不一樣，Python是一種動態類型語言，又是強類型語言。這個分類怎麼理解呢？大概是可以按照下列說明來分類的：

靜態類型語言

一種在編譯期間就確定數據類型的語言。大多數靜態類型語言是通過要求在使用任一變數之前聲明其數據類型來保證這一點的。Java和 C 是靜態類型語言。

動態類型語言

一種在運行期間才去確定數據類型的語言，與靜態類型相反。Python 是動態類型的，因為它們確定一個變數的類型是在您第一次給它賦值的時候。

強類型語言

一種總是強制類型定義的語言。Java 和 Python 是強制類型定義的。您有一個整數，如果不明確地進行轉換 ，不能將把它當成一個字元串。

弱類型語言

一種類型可以被忽略的語言，與強類型相反。VBScript 是弱類型的。在 VBScript 中，您可以將字元串 『12′ 和整數 3 進行連接得到字元串』123′，然後可以把它看成整數 123 ，所有這些都不需要任何的顯示轉換。

對象機制

具體怎麼來理解這個「動態確定變數類型」，就要從Python的Object對象機制說起了。Objects（以下稱對象）是Python對於數據

的抽象，Python中所有的數據，都是由對象或者對象之間的關系表示的，函數是對象，字元串是對象，每個東西都是對象的概念。每一個對象都有三種屬性：

實體，類型和值。理解實體是理解對象中很重要的一步，實體一旦被創建，那麼就一直不會改變，也不會被顯式摧毀，同時通常意義來講，決定對象所支持的操作方

式的類型（type，包括number，string，tuple及其他）也不會改變，改變的只可能是它的值。如果要找一個具體點的說明，實體就相當於對

象在內存中的地址，是本質存在。而類型和值都只是實體的外在呈現。然後Python提供一些介面讓使用者和對象交互，比如id(）函數用來獲得對象實體的
整形表示（實際在這里就是地址），type()函數獲取其類型。

這個object機制，就是c所不具備的，主要體現在下面幾點：

1 剛才說了，c是一個靜態類型語言，我們可以定義int a, char
b等等，但必須是在源代碼裡面事先規定。比如我們可以在Python裡面任意一處直接規定a =
「lk」，這樣，a的類型就是string，這是在其賦值的時候才決定的，我們無須在代碼中明確寫出。而在C裡面，我們必須顯式規定char *a =
「lk」，也就是人工事先規定好a的類型

2 由於在C中，沒有對象這個概念，只有「數據的表示」，比如說，如果有兩個int變數a和b，我們想比較大小，可以用a ＝＝
b來判斷，但是如果是兩個字元串變數a和b，我們就不得不用strcmp來比較了，因為此時，a和b本質上是指向字元串的指針，如果直接還是用＝＝比較，
那比較的實際是指針中存儲的值——地址。

在Java中呢，我們通過使用 str1 == str2 可以確定兩個字元串變數是否指向同一塊物理內存位置，這叫做「對象同一性」。在 Java 中要比較兩個字元串值，你要使用 str1.equals(str2)。

然後在Python中，和前兩者都不一樣，由於對象的引入，我們可以用「is」這個運算符來比較兩個對象的實體，和具體對象的type就沒有關系
了，比如你的對象是tuple也好，string也好，甚至class也好，都可以用」is」來比較，本質上就是「對象同一性」的比較，和Java中
的＝＝類似，和 C中的pointer比較類似。Python中也有＝＝比較，這個就是值比較了。

3
由於對象機制的引入，讓Python的使用非常靈活，比如我們可以用自省方法來查看內存中以對象形式存在的其它模塊和函數，獲取它們的信息，並對它們進行
操作。用這種方法，你可以定義沒有名稱的函數，不按函數聲明的參數順序調用函數，甚至引用事先並不知道名稱的函數。 這些操作在C中都是不可想像的。

4 還有一個很有意思的細節，就是類型對對象行為的影響是各方面的，比如說，a = 1; b =
1這個語句中，在Python裡面引發的，可能是a，b同時指向一個值為1的對象，也可能是分別指向兩個值為1的對象。而例如這個語句，c = []; d
= []，那麼c和d是肯定指向不同的，新創建的空list的。沒完，如果是」c = d =
[]「這個語句呢？此時，c和d又指向了相同的list對象了。這些區別，都是在c中沒有的。

最後，我們來說說為什麼python慢。主要原因就是function call
overhead比較大。因為所有東西現在都是對象了，contruct 和destroy 花費也大。連1 + 1 都是 function
call，像』12′+』45′ 這樣的要 create a third string object, then calls the string
obj』s __add。可想而知，速度如何能快起來？

列表和數組

分析Python中的list和C中的數組總是很有趣的。相信可能一些朋友和一樣，初學列表的時候，都是把它當作是數組來學的。最初對於list和數組區別的定性，主要是集中在兩點。首先，list可以包含很多不同的數據類型，比如

["this", 1, "is", "an", "array"]

這個List，如果放在C中，其實是一個字元串數組，相當於二維的了。

其次呢，list有很多方法，其本身就是一個對象，這個和C的單純數組是不同的。對於List的操作很多樣，因為有方法也有重載的運算符。也帶來一些問題，比如下面這個例子：

加入我們要產生一個多維列表，用下面這個語句

A = [[None] * 2] * 3

結果，A的值會是

[[None, None], [None, None], [None, None]]

初一看沒問題，典型的二維數組形式的列表。好，現在我們想修改第一個None的值，用語句

A[0][0] = 5

現在我們再來看看A的值：

[[5, None], [5, None], [5, None]]

發現問題沒有？這是因為用 * 來復制時，只是創建了對這個對象的引用，而不是真正的創建了它。 *3 創建了一個包含三個引用的列表，這三個引用都指向同一個長度為2的列表。其中一個行的改變會顯示在所有行中，這當然不是你想要的。解決方法當然有，我們這樣來創建

A = [None]*3
for i in range(3):
A[i] = [None] * 2

這樣創建了一個包含三個不同的長度為2的列表。

所以，還是一直強調的，越復雜的東西，越靈活，也越容易出錯。

代碼優化

C是一個很簡單的語言，當我們考慮優化的時候，通常想得也很簡單，比如系統級調用越少越好（緩沖區機制），消除循環的低效率和不必要的系統引用，等
等，其實主要都是基於系統和硬體細節考慮的。而Python就完全不一樣了，當然上面說的這些優化形式，對於Python仍然是實用的，但由於
Python的語法形式千差萬別，庫和模塊多種多樣，所以對於語言本身而言，就有很多值得注意的優化要點，舉幾個例子吧。

比如我們有一個list L1，想要構建一個新的list L2，L2包括L1的頭4個元素。按照最直接的想法，代碼應該是

L2 = []
for i in range[3]:
L2.append(L1[i])

而更加優化和優美的版本是

L2 = L1[:3]

再比如，如果s1..s7是大字元串(10K+)，那麼join([s1,s2,s3,s4,s5,s6,s7])就會比
s1+s2+s3+s4+s5+s6+s7快得多,因為後者會計算很多次子表達式，而join()則在一次過程中完成所有的復制。還有，對於字元串操作，
對字元串對象使用replace()方法。僅當在沒有固定字元串模式時才使用正則表達式。

所以說，以優化為評判標准，如果說C是短小精悍，Python就是博大精深。

include和import

在C語言中的include非常簡單，因為形式單一，意義明確，當你需要用到外部函數等資源時，就用include。而Python中有一個相似的
機制，就是import。乍一看，這兩個傢伙挺像的，不都是我們要用外部資源（最常見的就是函數或者模塊（Python））時就用這個來指明么？其實不

然，兩者的處理機制本質區別在於，C中的include是用於告訴預處理器，這個include指定的文件的內容，你都給我當作在本地源文件中出現過。而

import呢，不是簡單的將後面的內容*直接*插入到本地裡面去，這玩意更加靈活。事實上，幾乎所有類似的機制，Python都比C靈活。這里不是說C
不好，C很簡練，我其實更喜歡C。

簡單說說這個靈活性。import在python中有三種形式，import X, from X import *( or a,b,c……),
X = __import__(』x')。最常用的是第二種，因為比較方便，不像第一種那樣老是用X.mole來調用模塊。from X
import *只是import那些public的mole(一般都是不以__命名的模塊)，也可以指定a,b,c來import。

什麼時候用哪一種形式呢？應該說，在大多數的模塊文檔里，都會明確告訴你應該用哪種形式。如果需要用到很多對象，那麼from X import
*可能更合適一些，但是，就目前來看，大多數第三方Python庫都不推薦使用from molename import *
這種格式。這樣做會使引入者的namespace混亂。很多人甚至對於那些專門設計用於這種模式的模塊（包括Tkinter,
threading和matplot）都不採用這種方式。而如果你僅僅需要某個對象類a，那麼用from X import a比用import
X.a更好，因為以後你調用a的函數直接用a.function()既可以了，不用加X。

如果你連自己希望import的模塊都不知道怎麼辦？請注意，此時Python的優勢就體現出來了，我們可以用
__import__(mole)來調用mole，其中這個mole是字元串，這樣，可以在運行時再決定，你到底要調用什麼mole。舉
個例子：

def classFromMole (mole, Name):
mod = __import__ (mole)
return getattr (mod, Name)

這里，定義了一個函數classFromMole，你可以在代碼的任何時候調用它，

o = classFromMole (MoleOfTheClass, NameOfTheAttribute)()

只需要傳入字元串形式的你希望import的模塊MoleOfTheClass和其中屬性的名字NameOfTheAttribute（當然可以是數據也可以是方法），就能調用了，這個名字字元串不用事先指定，而是根據當時運行的情況來判斷。

順帶說一句，Python中import的順序也有默認規定，這個和C中的include有點類似，因為我們一般都是先include系統文件，再
include自己的頭文件（而且還有<>和「」的區別）。Python中呢，一般應該按照以下順序import模塊：

1. 標准庫模塊 — 如 sys, os, getopt 等

2. 第三方模塊

3. 本地實現的模塊。

全局變數

這里談全局變數呢，倒不是說Python和c的全局變數概念不同，他們的概念是相同的。只是在使用機制上，是有一些差異的。舉個例子：

– mole.py –
globalvar = 1

def func():
print globalvar
# This makes someglobal readonly,
# any attempt to write to someglobal
# would create a new local variable.

def func2():
global globalvar
globalvar = 2
# this allows you to manipulate the global
# variable

在 func這個函數中，globalvar是只讀的。如果你使用了globalvar =
xxx這種賦值語句，Python會重新創造一個新的本地對象並將新值賦給它，原來的對象值不變。而在func2函數中，由於我們事先申明了
globalvar是global的，那麼此時的更改就直接在全局變數上生效。

③ 如何優雅地使用c語言編寫爬蟲

大家在平時或多或少地都會有編寫網路爬蟲的需求。一般來說，編寫爬蟲的首選自然非python莫屬，除此之外，java等語言也是不錯的選擇。選擇上述語言的原因不僅僅在於它們均有非常不錯的網路請求庫和字元串處理庫，還在於基於上述語言的爬蟲框架非常之多和完善。良好的爬蟲框架可以確保爬蟲程序的穩定性，以及編寫程序的便捷性。所以，這個cspider爬蟲庫的使命在於，我們能夠使用c語言，依然能夠優雅地編寫爬蟲程序。
爬蟲的特性
配置方便。使用一句設置函數，即可定義user agent，cookie，timeout，proxy以及抓取線程和解析線程的最大數量。
程序邏輯獨立。用戶可以分別定義爬蟲的解析函數，和數據持久化函數。並且對於解析到的新url，用戶可以使用cspider提供的addUrl函數，將其加入到任務隊列中。
便捷的字元串處理。cspider中提供了基於pcre的簡單的正則表達式函數，基於libxml2的xpath解析函數，以及用於解析json的cJSON庫。
高效的抓取。cspider基於libuv調度抓取線程和解析線程，使用curl作為其網路請求庫。
使用cspider的步驟
獲取cspider_t。
自定義user agent，cookie，timeout，proxy以及抓取線程和解析線程的最大數量。
添加初始要抓取的url到任務隊列。
編寫解析函數和數據持久化函數。
啟動爬蟲。
例子
先來看下簡單的爬蟲例子，會在後面詳細講解例子。
#include<cspider/spider.h>

/*
自定義的解析函數，d為獲取到的html頁面字元串
*/
void p(cspider_t *cspider, char *d, void *user_data) {

char *get[100];
//xpath解析html
int size = xpath(d, "//body/div[@class='wrap']/div[@class='sort-column area']/div[@class='column-bd cfix']/ul[@class='st-list cfix']/li/strong/a", get， 100);

int i;
for (i = 0; i < size; i++) {
//將獲取到的電影名稱，持久化
saveString(cspider, get[i]);
}

}
/*
數據持久化函數，對上面解析函數中調用的saveString()函數傳入的數據，進行進一步的保存
*/
void s(void *str, void *user_data) {
char *get = (char *)str;
FILE *file = (FILE*)user_data;
fprintf(file, "%s\n", get);
return;
}

int main() {
//初始化spider
cspider_t *spider = init_cspider();
char *agent = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:42.0) Gecko/20100101 Firefox/42.0";
//char *cookie = "bid=s3/yuH5Jd/I; ll=108288; viewed=1130500_24708145_6433169_4843567_1767120_5318823_1899158_1271597; __utma=30149280.927537245.1446813674.1446983217.1449139583.4; __utmz=30149280.1449139583.4.4.utmcsr=accounts.douban.com|utmccn=(referral)|utmcmd=referral|utmcct=/login; ps=y; [email protected]; dbcl2=58742090:QgZ2PSLiDLQ; ck=T9Wn; push_noty_num=0; push_doumail_num=7; ap=1; __utmb=30149280.0.10.1449139583; __utmc=30149280";

//設置要抓取頁面的url
cs_setopt_url(spider, "so.tv.sohu.com/list_p1100_p20_p3_u5185_u5730_p40_p5_p6_p77_p80_p9_2d1_p101_p11.html");
//設置user agent
cs_setopt_useragent(spider, agent);
//cs_setopt_cookie(spider, cookie);
//傳入解析函數和數據持久化函數的指針
cs_setopt_process(spider, p, NULL);
//s函數的user_data指針指向stdout
cs_setopt_save(spider, s, stdout);
//設置線程數量
cs_setopt_threadnum(spider, DOWNLOAD, 2);
cs_setopt_threadnum(spider, SAVE, 2);
//FILE *fp = fopen("log", "wb+");
//cs_setopt_logfile(spider, fp);
//開始爬蟲
return cs_run(spider);
}
例子講解
cspider_t *spider = init_cspider();獲取初始的cspider。cs_setopt_xxx這類函數可以用來進行初始化設置。其中要注意的是: cs_setopt_process(spider,p,NULL);與cs_setopt_save(spider,s,stdout);，它們分別設置了解析函數p和數據持久化函數s，這兩個函數需要用戶自己實現，還有用戶自定義的指向上下文信息user_data的指針。
在解析函數中，用戶要定義解析的規則，並對解析得到的字元串可以調用saveString進行持久化，或者是調用addUrl將url加入到任務隊列中。在saveString中傳入的字元串會在用戶自定義的數據持久函數中得到處理。此時，用戶可以選擇輸出到文件或資料庫等。
最後調用cs_run(spider)即可啟動爬蟲。
具體的API參數可在這里查看

④ 除了python可以爬蟲還有哪些編程語言可以爬蟲

能夠做網路爬蟲的編程語言很多，包括PHP、Java、C/C++、Python等都能做爬蟲，都能達到抓取想要的數據資源。針對不同的環境，我們需要了解他們做爬蟲的優缺點，才能選出合適的開發環境。

（一）PHP
網路爬蟲需要快速的從伺服器中抓取需要的數據，有時數據量較大時需要進行多線程抓取。PHP雖然是世界上最好的語言，但是PHP對多線程、非同步支持不足，並發不足，而爬蟲程序對速度和效率要求極高，所以說PHP天生不是做爬蟲的。

（二）C/C++
C語言是一門面向過程、抽象化的通用程序設計語言，廣泛應用於底層開發，運行效率和性能是最強大的，但是它的學習成本非常高，需要有很好地編程知識基礎，對於初學者或者編程知識不是很好地程序員來說，不是一個很好的選擇。當然，能夠用C/C++編寫爬蟲程序，足以說明能力很強，但是絕不是最正確的選擇。

（三）Java
在網路爬蟲方面，作為Python最大的對手Java，擁有強大的生態圈。但是Java本身很笨重，代碼量大。由於爬蟲與反爬蟲的較量是持久的，也是頻繁的，剛寫好的爬蟲程序很可能就不能用了。爬蟲程序需要經常性的修改部分代碼。而Java的重構成本比較高，任何修改都會導致大量代碼的變動。

（四）Python
Python在設計上堅持了清晰劃一的風格，易讀、易維護，語法優美、代碼簡潔、開發效率高、第三方模塊多。並且擁有強大的爬蟲Scrapy，以及成熟高效的scrapy-redis分布式策略。實現同樣的爬蟲功能，代碼量少，而且維護方便，開發效率高。