網路爬蟲c語言

A. 為什麼c語言不適合寫爬蟲

開發效率低

B. c語言可以做什麼

1、C語言可以做嵌入式開發。
2、C語言可以寫漂亮的界面。以windows開發為例，你可以學習《windows程序設計（第五版）》，學完就可以寫出界面來。還有一滲拿些開源庫界面庫畝鬧，例如soui也是用C寫出來的。
3、C語言可以做伺服器開發，現在的游戲伺服器端大多都是C/C++開發的。《windows核心編程》裡面的例子就是用C寫的。
4、C語言可以寫游戲。cocos2d-x就是C/C++寫的。DirectX也是。
5、C語言可以寫驅動程序。windows下各種硬體驅動叢耐搭都是C/C++寫的。騰訊游戲保護軟體（TP）也是驅動程序。
6、C語言可以寫外掛。想學寫外掛的童鞋們可以看看鬱金香的外掛編程視頻教程。
7、C語言可以做視頻圖片流媒體處理。有興趣的朋友可以學習一下ffmpeg、live555、sdl等開源庫。
8、C語言可以做網頁和爬蟲相關的編程。想了解的同學可以去看gsoap、libcur等相關開源庫。
9、C語言可以進行黑客編程。配合匯編獲取隨機地址、調shellcode等。

C. 我想用c編寫一個爬蟲程序，可是看完一本c語言教程後，還是覺得只會編寫一些計算類的小代碼，要學會編寫

想做爬蟲程序不是學完語言就行了，是要學很多東西的，你可以查一查大學計算機專業有哪些課程。
做爬蟲可以學學java語言。
《網路機器人Java編程指南》
開源的爬蟲產品

http://www.oschina.net/project/tag/64/spider?lang=19&os=0&sort=view&p=1

D. python和C語言哪個難

python相對而言要簡單的多，而且python有很多工具庫，這意味著有很多功能你不需要自己再開發，直接用就好

E. 可以一邊學python爬蟲一邊學c語言嗎

不建議這個學習規劃。
建議先學習C語言，但不用學的很深。C語言是面向過程的，這思想適用於任何程序語言。
然後大致學習一下python的基礎語法，再了解一下面向對象的編程思想。
最後再來學習爬蟲，期間還需要了解html/js/css
當然這個屬於系統的學習，可以深度的掌握爬蟲技術。
如果你只是先爬一下簡單的數據，使用度不高，那就無所謂，一些爬蟲框架，其實就是配置一些簡單的參數，使用節點提取函數，如果自學能力強，確實是很簡單，可以直接學習。

F. Python為什麼叫爬蟲

爬蟲一般是指網路資源的抓取，由於Python的腳本特性，易於配置對字元的處理非常靈活，Python有豐富的網路抓取模塊，因此兩者經常聯系在一起Python就被叫作爬蟲。爬蟲可以抓取某個網站或者某個應用的內容提取有用的價值信息。還可以模擬用戶在瀏覽器或者app應用上的操作行為，實現程序自動化。
Python為什麼叫爬蟲？
Python作為一門編程語言而言純粹的自由軟體，以簡潔清晰的語法和強制使用空白符進行語句縮進的特點從而深受程序員的喜愛。用不同編程語言完成一個任務：c語言一共要寫1000行代碼；java要寫100行；Python則只需要寫20行的代碼。若使用Python來完成編程任務編寫代碼量更少，代碼簡潔簡短且可讀性更強，一個團隊進行開發的時候編寫代碼效率會更快，開發效率高讓工作變得更加高效。

Python非常適合開發網路爬蟲的編程語言，相比於其他靜態編程語言，Python抓取網頁文檔的介面更簡潔;相比於其他動態腳本語言，Python的urllib2包提供了較為完整的訪問網頁文檔的API。Python中有優秀的第三方包可以高效實現網頁抓取，並可用極短的代碼完成網頁的標簽過濾功能。

Python爬蟲的構架組成：

爬蟲構架

1、URL管理器：管理待爬取的url集合和已爬取的url集合，傳送待爬取的url給網頁下載器；

2、網頁下載器：爬取url對應的網頁，存儲成字元串，傳送給網頁解析器；

3、網頁解析器：解析出有價值的數據，存儲下來，同時補充url到URL管理器。

Python的工作流程則：

Python爬蟲通過URL管理器，判斷是否有待爬URL，如果有待爬URL，通過調度器進行傳遞給下載器，下載URL內容，並通過調度器傳送給解析器，解析URL內容，並將價值數據和新URL列表通過調度器傳遞給應用程序，並輸出價值信息的過程。

Python是一門非常適合開發網路爬蟲的編程語言，提供了如urllib、re、json、pyquery等模塊，同時又有很多成型框架，如Scrapy框架、PySpider爬蟲系統等。代碼十分的簡潔方便，是新手學習網路爬蟲首選編程語言。爬蟲是指網路資源的抓取，因為Python的腳本特性，Python易於配置，對字元的處理也非常靈活，加上Python有豐富的網路抓取模塊，所以兩者經常聯系在一起，Python語言更適合新手學習。

G. 怎麼在DOS下用C語言寫網路爬蟲

• 獲取cspider_t。

• 自定義user agent，cookie，timeout，proxy以及抓取線程和解析線程的最大數量。

• 添加初始要抓取的url到任務隊列。

• 編寫解析函數和數據持久化函數。

• 啟動爬蟲。
  

例子

先來看下簡單的爬蟲例子，會在後面詳細講解例子。

• #include<cspider/spider.h>



• /*


• 自定義的解析函數，d為獲取到的html頁面字元串


• */


• void p(cspider_t *cspider, char *d, void *user_data) {



• char *get[100];


• //xpath解析html


• int size = xpath(d, "//body/div[@class='wrap']/div[@class='sort-column area']/div[@class='column-bd cfix']/ul[@class='st-list cfix']/li/strong/a", get， 100);



• int i;


• for (i = 0; i < size; i++) {


• //將獲取到的電影名稱，持久化


• saveString(cspider, get[i]);


• }



• }


• /*


• 數據持久化函數，對上面解析函數中調用的saveString()函數傳入的數據，進行進一步的保存


• */


• void s(void *str, void *user_data) {


• char *get = (char *)str;


• FILE *file = (FILE*)user_data;


• fprintf(file, "%s ", get);


• return;


• }



• int main() {


• //初始化spider


• cspider_t *spider = init_cspider();


• char *agent = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:42.0) Gecko/20100101 Firefox/42.0";


• //char *cookie = "bid=s3/yuH5Jd/I; ll=108288; viewed=1130500_24708145_6433169_4843567_1767120_5318823_1899158_1271597; __utma=30149280.927537245.1446813674.1446983217.1449139583.4; __utmz=30149280.1449139583.4.4.utmcsr=accounts.douban.com|utmccn=(referral)|utmcmd=referral|utmcct=/login; ps=y; [email protected]; dbcl2=58742090:QgZ2PSLiDLQ; ck=T9Wn; push_noty_num=0; push_doumail_num=7; ap=1; __utmb=30149280.0.10.1449139583; __utmc=30149280";



• //設置要抓取頁面的url


• cs_setopt_url(spider, "so.tv.sohu.com/list_p1100_p20_p3_u5185_u5730_p40_p5_p6_p77_p80_p9_2d1_p101_p11.html");


• //設置user agent


• cs_setopt_useragent(spider, agent);


• //cs_setopt_cookie(spider, cookie);


• //傳入解析函數和數據持久化函數的指針


• cs_setopt_process(spider, p, NULL);


• //s函數的user_data指針指向stdout


• cs_setopt_save(spider, s, stdout);


• //設置線程數量


• cs_setopt_threadnum(spider, DOWNLOAD, 2);


• cs_setopt_threadnum(spider, SAVE, 2);


• //FILE *fp = fopen("log", "wb+");


• //cs_setopt_logfile(spider, fp);


• //開始爬蟲


• return cs_run(spider);


• }