當前位置：首頁 » 操作系統 » c爬蟲源碼

c爬蟲源碼

發布時間: 2022-05-03 11:52:52

『壹』 如何優雅地使用c語言編寫爬蟲

前言
大家在平時或多或少地都會有編寫網路爬蟲的需求。一般來說，編寫爬蟲的首選自然非python莫屬，除此之外，java等語言也是不錯的選擇。選擇上述語言的原因不僅僅在於它們均有非常不錯的網路請求庫和字元串處理庫，還在於基於上述語言的爬蟲框架非常之多和完善。良好的爬蟲框架可以確保爬蟲程序的穩定性，以及編寫程序的便捷性。所以，這個cspider爬蟲庫的使命在於，我們能夠使用c語言，依然能夠優雅地編寫爬蟲程序。
爬蟲的特性
配置方便。使用一句設置函數，即可定義user agent，cookie，timeout，proxy以及抓取線程和解析線程的最大數量。
程序邏輯獨立。用戶可以分別定義爬蟲的解析函數，和數據持久化函數。並且對於解析到的新url，用戶可以使用cspider提供的addUrl函數，將其加入到任務隊列中。
便捷的字元串處理。cspider中提供了基於pcre的簡單的正則表達式函數，基於libxml2的xpath解析函數，以及用於解析json的cJSON庫。
高效的抓取。cspider基於libuv調度抓取線程和解析線程，使用curl作為其網路請求庫。
使用cspider的步驟
獲取cspider_t。
自定義user agent，cookie，timeout，proxy以及抓取線程和解析線程的最大數量。
添加初始要抓取的url到任務隊列。
編寫解析函數和數據持久化函數。
啟動爬蟲。
例子
先來看下簡單的爬蟲例子，會在後面詳細講解例子。
#include<cspider/spider.h>

/*
自定義的解析函數，d為獲取到的html頁面字元串
*/
void p(cspider_t *cspider, char *d, void *user_data) {

char *get[100];
//xpath解析html
int size = xpath(d, "//body/div[@class='wrap']/div[@class='sort-column area']/div[@class='column-bd cfix']/ul[@class='st-list cfix']/li/strong/a", get， 100);

int i;
for (i = 0; i < size; i++) {
//將獲取到的電影名稱，持久化
saveString(cspider, get[i]);
}

}
/*
數據持久化函數，對上面解析函數中調用的saveString()函數傳入的數據，進行進一步的保存
*/
void s(void *str, void *user_data) {
char *get = (char *)str;
FILE *file = (FILE*)user_data;
fprintf(file, "%s\n", get);
return;
}

int main() {
//初始化spider
cspider_t *spider = init_cspider();
char *agent = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:42.0) Gecko/20100101 Firefox/42.0";
//char *cookie = "bid=s3/yuH5Jd/I; ll=108288; viewed=1130500_24708145_6433169_4843567_1767120_5318823_1899158_1271597; __utma=30149280.927537245.1446813674.1446983217.1449139583.4; __utmz=30149280.1449139583.4.4.utmcsr=accounts.douban.com|utmccn=(referral)|utmcmd=referral|utmcct=/login; ps=y; [email protected]; dbcl2=58742090:QgZ2PSLiDLQ; ck=T9Wn; push_noty_num=0; push_doumail_num=7; ap=1; __utmb=30149280.0.10.1449139583; __utmc=30149280";

//設置要抓取頁面的url
cs_setopt_url(spider, "so.tv.sohu.com/list_p1100_p20_p3_u5185_u5730_p40_p5_p6_p77_p80_p9_2d1_p101_p11.html");
//設置user agent
cs_setopt_useragent(spider, agent);
//cs_setopt_cookie(spider, cookie);
//傳入解析函數和數據持久化函數的指針
cs_setopt_process(spider, p, NULL);
//s函數的user_data指針指向stdout
cs_setopt_save(spider, s, stdout);
//設置線程數量
cs_setopt_threadnum(spider, DOWNLOAD, 2);
cs_setopt_threadnum(spider, SAVE, 2);
//FILE *fp = fopen("log", "wb+");
//cs_setopt_logfile(spider, fp);
//開始爬蟲
return cs_run(spider);
}
例子講解
cspider_t *spider = init_cspider();獲取初始的cspider。cs_setopt_xxx這類函數可以用來進行初始化設置。其中要注意的是: cs_setopt_process(spider,p,NULL);與cs_setopt_save(spider,s,stdout);，它們分別設置了解析函數p和數據持久化函數s，這兩個函數需要用戶自己實現，還有用戶自定義的指向上下文信息user_data的指針。
在解析函數中，用戶要定義解析的規則，並對解析得到的字元串可以調用saveString進行持久化，或者是調用addUrl將url加入到任務隊列中。在saveString中傳入的字元串會在用戶自定義的數據持久函數中得到處理。此時，用戶可以選擇輸出到文件或資料庫等。
最後調用cs_run(spider)即可啟動爬蟲。
具體的API參數可在這里查看
總結
趕快使用cspider爬蟲框架來編寫爬蟲吧！如果在使用過程中發現bug，歡迎反饋。

望採納，謝謝

『貳』 網路爬蟲 spider

「網路蜘蛛」或者說「網路爬蟲」，是一種能訪問網站並跟蹤鏈接的程序，通過它，可快速地畫出一個網站所包含的網頁地圖信息。本文主要講述如何使用Java編程來構建一個「蜘蛛」，我們會先以一個可復用的蜘蛛類包裝一個基本的「蜘蛛」，並在示常式序中演示如何創建一個特定的「蜘蛛」來掃描相關網站並找出死鏈接。 Java語言在此非常適合構建一個「蜘蛛」程序，其內建了對HTTP協議的支持，通過它可以傳輸大部分的網頁信息；其還內建了一個HTML解析器，正是這兩個原因使Java語言成為本文構建「蜘蛛」程序的首選。 文章後面例1的示常式序，將會掃描一個網站，並尋找死鏈接。使用這個程序時需先輸入一個URL並單擊「Begin」按鈕，程序開始之後，「Begin」按鈕會變成「Cancel」按鈕。在程序掃描網站期間，會在「Cancel」按鈕之下顯示進度，且在檢查當前網頁時，也會顯示相關正常鏈接與死鏈接的數目，死鏈接將顯示在程序底部的滾動文本框中。單擊「Cancel」按鈕會停止掃描過程，之後可以輸入一個新的URL；如果期間沒有單擊「Cancel」，程序將會一直運行直到查找完所有網頁，此後，「Cancel」按鈕會再次變回「Begin」，表示程序已停止。 下面將演示示常式序是如何與可復用「Spider」類交互的，示常式序包含在例1的CheckLinks類中，這個類實現了ISpiderReportable介面，如例2所示，正是通過這個介面，蜘蛛類才能與示常式序相交互。在這個介面中，定義了三個方法：第一個方法是「spiderFoundURL」，它在每次程序定位一個URL時被調用，如果方法返回true，表示程序應繼續執行下去並找出其中的鏈接；第二個方法是「spiderURLError」，它在每次程序檢測URL導致錯誤時被調用（如「404 頁面未找到」）；第三個方法是「spiderFoundEMail」，它在每次發現電子郵件地址時被調用。有了這三個方法，Spider類就能把相關信息反饋給創建它的程序了。 在begin方法被調用後，「蜘蛛」就開始工作了；為允許程序重繪其用戶界面，「蜘蛛」是作為一個單獨的線程啟動的。點擊「Begin」按鈕會開始這個後台線程，當後台線程運行之後，又會調用「CheckLinks」類的run方法，而run方法是由Spider對象實例化時啟動的，如下所示： spider = new Spider(this); spider.clear(); base = new URL(url.getText()); spider.addURL(base); spider.begin(); 首先，一個新的Spider對象被實例化，在此，需要傳遞一個「ISpiderReportable」對象給Spider對象的構造函數，因為「CheckLinks」類實現了「ISpiderReportable」介面，只需簡單地把它作為當前對象（可由關鍵字this表示）傳遞給構造函數即可；其次，在程序中維護了一個其訪問過的URL列表，而「clear」方法的調用則是為了確保程序開始時URL列表為空，程序開始運行之前必須添加一個URL到它的待處理列表中，此時用戶輸入的URL則是添加到列表中的第一個，程序就由掃描這個網頁開始，並找到與這個起始URL相鏈接的其他頁面；最後，調用「begin」方法開始運行「蜘蛛」，這個方法直到「蜘蛛」工作完畢或用戶取消才會返回。 當「蜘蛛」運行時，可以調用由「ISpiderReportable」介面實現的三個方法來報告程序當前狀態，程序的大部分工作都是由「spiderFoundURL」方法來完成的，當「蜘蛛」發現一個新的URL時，它首先檢查其是否有效，如果這個URL導致一個錯誤，就會把它當作一個死鏈接；如果鏈接有效，就會繼續檢查它是否在一個不同的伺服器上，如果鏈接在同一伺服器上，「spiderFoundURL」返回true，表示「蜘蛛」應繼續跟蹤這個URL並找出其他鏈接，如果鏈接在另外的伺服器上，就不會掃描是否還有其他鏈接，因為這會導致「蜘蛛」不斷地瀏覽Internet，尋找更多、更多的網站，所以，示常式序只會查找用戶指定網站上的鏈接。 構造Spider類 前面已經講了如何使用Spider類，請看例3中的代碼。使用Spider類及「ISpiderReportable」介面能方便地為某一程序添加「蜘蛛」功能，下面繼續講解Spider類是怎樣工作的。 Spider類必須保持對其訪問過的URL的跟蹤，這樣做的目的是為了確保「蜘蛛」不會訪問同一URL一次以上；進一步來說，「蜘蛛」必須把URL分成三組，第一組存儲在「workloadWaiting」屬性中，包含了一個未處理的URL列表，「蜘蛛」要訪問的第一個URL也存在其中；第二組存儲在「workloadProcessed」中，它是「蜘蛛」已經處理過且無需再次訪問的URL；第三組存儲在「workloadError」中，包含了發生錯誤的URL。 Begin方法包含了Spider類的主循環，其一直重復遍歷「workloadWaiting」，並處理其中的每一個頁面，當然我們也想到了，在這些頁面被處理時，很可能有其他的URL添加到「workloadWaiting」中，所以，begin方法一直繼續此過程，直到調用Spider類的cancel方法，或「workloadWaiting」中已不再剩有URL。這個過程如下： cancel = false; while ( !getWorkloadWaiting().isEmpty() && !cancel ) { Object list[] = getWorkloadWaiting().toArray(); for ( int i=0; (i<list.length)&&!cancel; i++="" )=""> processURL((URL)list[i]); } 當上述代碼遍歷「workloadWaiting」時，它把每個需處理的URL都傳遞給「processURL」方法，而這個方法才是真正讀取並解析URL中HTML信息的。 讀取並解析HTML Java同時支持訪問URL內容及解析HTML，而這正是「processURL」方法要做的。在Java中讀取URL內容相對還比較簡單，下面就是「processURL」方法實現此功能的代碼： URLConnection connection = url.openConnection(); if ( (connection.getContentType()!=null) &&!connection.getContentType().toLowerCase().startsWith("text/") ) { getWorkloadWaiting().remove(url); getWorkloadProcessed().add(url); log("Not processing because content type is: " + connection.getContentType() );

『叄』 怎麼在DOS下用C語言寫網路爬蟲

  • 獲取cspider_t。

  • 自定義user agent，cookie，timeout，proxy以及抓取線程和解析線程的最大數量。

  • 添加初始要抓取的url到任務隊列。

  • 編寫解析函數和數據持久化函數。

  • 啟動爬蟲。

    • 例子

    先來看下簡單的爬蟲例子，會在後面詳細講解例子。

  • #include<cspider/spider.h>


  • /*

  • 自定義的解析函數，d為獲取到的html頁面字元串

  • */

  • void p(cspider_t *cspider, char *d, void *user_data) {


  • char *get[100];

  • //xpath解析html

  • int size = xpath(d, "//body/div[@class='wrap']/div[@class='sort-column area']/div[@class='column-bd cfix']/ul[@class='st-list cfix']/li/strong/a", get， 100);


  • int i;

  • for (i = 0; i < size; i++) {

  • //將獲取到的電影名稱，持久化

  • saveString(cspider, get[i]);

  • }


  • }

  • /*

  • 數據持久化函數，對上面解析函數中調用的saveString()函數傳入的數據，進行進一步的保存

  • */

  • void s(void *str, void *user_data) {

  • char *get = (char *)str;

  • FILE *file = (FILE*)user_data;

  • fprintf(file, "%s ", get);

  • return;

  • }


  • int main() {

  • //初始化spider

  • cspider_t *spider = init_cspider();

  • char *agent = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:42.0) Gecko/20100101 Firefox/42.0";

  • //char *cookie = "bid=s3/yuH5Jd/I; ll=108288; viewed=1130500_24708145_6433169_4843567_1767120_5318823_1899158_1271597; __utma=30149280.927537245.1446813674.1446983217.1449139583.4; __utmz=30149280.1449139583.4.4.utmcsr=accounts.douban.com|utmccn=(referral)|utmcmd=referral|utmcct=/login; ps=y; [email protected]; dbcl2=58742090:QgZ2PSLiDLQ; ck=T9Wn; push_noty_num=0; push_doumail_num=7; ap=1; __utmb=30149280.0.10.1449139583; __utmc=30149280";


  • //設置要抓取頁面的url

  • cs_setopt_url(spider, "so.tv.sohu.com/list_p1100_p20_p3_u5185_u5730_p40_p5_p6_p77_p80_p9_2d1_p101_p11.html");

  • //設置user agent

  • cs_setopt_useragent(spider, agent);

  • //cs_setopt_cookie(spider, cookie);

  • //傳入解析函數和數據持久化函數的指針

  • cs_setopt_process(spider, p, NULL);

  • //s函數的user_data指針指向stdout

  • cs_setopt_save(spider, s, stdout);

  • //設置線程數量

  • cs_setopt_threadnum(spider, DOWNLOAD, 2);

  • cs_setopt_threadnum(spider, SAVE, 2);

  • //FILE *fp = fopen("log", "wb+");

  • //cs_setopt_logfile(spider, fp);

  • //開始爬蟲

  • return cs_run(spider);

  • }

『肆』 為什麼c語言不適合寫爬蟲

開發效率低

『伍』 有人有簡單爬蟲源碼可以學習嗎

爬蟲學習之一個簡單的網路爬蟲

概述

這是一個網路爬蟲學習的技術分享，主要通過一些實際的案例對爬蟲的原理進行分析，達到對爬蟲有個基本的認識，並且能夠根據自己的需要爬到想要的數據。有了數據後可以做數據分析或者通過其他方式重新結構化展示。

什麼是網路爬蟲

網路爬蟲（又被稱為網頁蜘蛛，網路機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。via網路網路爬蟲
網路蜘蛛（Web spider）也叫網路爬蟲（Web crawler）[1]，螞蟻（ant），自動檢索工具（automatic indexer），或者（在FOAF軟體概念中）網路疾走（WEB scutter），是一種「自動化瀏覽網路」的程序，或者說是一種網路機器人。它們被廣泛用於互聯網搜索引擎或其他類似網站，以獲取或更新這些網站的內容和檢索方式。它們可以自動採集所有其能夠訪問到的頁面內容，以供搜索引擎做進一步處理（分檢整理下載的頁面），而使得用戶能更快的檢索到他們需要的信息。via維基網路網路蜘蛛

以上是網路和維基網路對網路爬蟲的定義，簡單來說爬蟲就是抓取目標網站內容的工具，一般是根據定義的行為自動進行抓取，更智能的爬蟲會自動分析目標網站結構類似與搜索引擎的爬蟲，我們這里只討論基本的爬蟲原理。

###爬蟲工作原理

網路爬蟲框架主要由控制器、解析器和索引庫三大部分組成，而爬蟲工作原理主要是解析器這個環節，解析器的主要工作是下載網頁，進行頁面的處理，主要是將一些JS腳本標簽、CSS代碼內容、空格字元、HTML標簽等內容處理掉，爬蟲的基本工作是由解析器完成。所以解析器的具體流程是：

入口訪問->下載內容->分析結構->提取內容

分析爬蟲目標結構

這里我們通過分析一個網站[落網：http://luoo.net] 對網站內容進行提取來進一步了解！

第一步 確定目的
抓取目標網站的某一期所有音樂

第二步 分析頁面結構
訪問落網的某一期刊，通過Chrome的開發者模式查看播放列表中的歌曲，右側用紅色框線圈出來的是一些需要特別注意的語義結構，見下圖所示：

以上紅色框線圈出的地方主要有歌曲名稱，歌曲的編號等，這里並沒有看到歌曲的實際文件地址，所以我們繼續查看，點擊某一個歌曲就會立即在瀏覽器中播放，這時我們可以看到在Chrome的開發者模式的Network中看到實際請求的播放文件，如下圖所示：

根據以上分析我們可以得到播放清單的位置和音樂文件的路徑，接下來我們通過Python來實現這個目的。

實現爬蟲

Python環境安裝請自行Google

主要依賴第三方庫

Requests（http://www.python-requests.org） 用來發起請求
BeautifulSoup（bs4） 用來解析HTML結構並提取內容
faker（http://fake-factory.readthedocs.io/en/stable/）用來模擬請求UA（User-Agent）

主要思路是分成兩部分，第一部分用來發起請求分析出播放列表然後丟到隊列中，第二部分在隊列中逐條下載文件到本地，一般分析列錶速度更快，下載速度比較慢可以藉助多線程同時進行下載。
主要代碼如下:

#-*- coding: utf-8 -*-'''by sudo rm -rf http://imchenkun.com'''import osimport requestsfrom bs4 import BeautifulSoupimport randomfrom faker import Factoryimport Queueimport threadingfake = Factory.create()luoo_site = 'http://www.luoo.net/music/'luoo_site_mp3 = 'http://luoo-mp3.kssws.ks-cdn.com/low/luoo/radio%s/%s.mp3'proxy_ips = [ '27.15.236.236' ] # 替換自己的代理IPheaders = { 'Connection': 'keep-alive', 'User-Agent': fake.user_agent() }def random_proxies(): ip_index = random.randint(0, len(proxy_ips)-1) res = { 'http': proxy_ips[ip_index] } return resdef fix_characters(s): for c in ['<', '>', ':', '"', '/', '\\', '|', '?', '*']: s = s.replace(c, '') return sclass LuooSpider(threading.Thread): def __init__(self, url, vols, queue=None): threading.Thread.__init__(self) print '[luoo spider]' print '=' * 20 self.url = url self.queue = queue self.vol = '1' self.vols = vols def run(self): for vol in self.vols: self.spider(vol) print '\ncrawl end\n\n' def spider(self, vol): url = luoo_site + vol print 'crawling: ' + url + '\n' res = requests.get(url, proxies=random_proxies()) soup = BeautifulSoup(res.content, 'html.parser') title = soup.find('span', attrs={'class': 'vol-title'}).text cover = soup.find('img', attrs={'class': 'vol-cover'})['src'] desc = soup.find('div', attrs={'class': 'vol-desc'}) track_names = soup.find_all('a', attrs={'class': 'trackname'}) track_count = len(track_names) tracks = [] for track in track_names: _id = str(int(track.text[:2])) if (int(vol) < 12) else track.text[:2] # 12期前的音樂編號1~9是1位（如：1~9），之後的都是2位 1~9會在左邊墊0（如：01~09） _name = fix_characters(track.text[4:]) tracks.append({'id': _id, 'name': _name}) phases = { 'phase': vol, # 期刊編號 'title': title, # 期刊標題 'cover': cover, # 期刊封面 'desc': desc, # 期刊描述 'track_count': track_count, # 節目數 'tracks': tracks # 節目清單(節目編號，節目名稱) } self.queue.put(phases)class LuooDownloader(threading.Thread): def __init__(self, url, dist, queue=None): threading.Thread.__init__(self) self.url = url self.queue = queue self.dist = dist self.__counter = 0 def run(self): while True: if self.queue.qsize() <= 0: pass else: phases = self.queue.get() self.download(phases) def download(self, phases): for track in phases['tracks']: file_url = self.url % (phases['phase'], track['id']) local_file_dict = '%s/%s' % (self.dist, phases['phase']) if not os.path.exists(local_file_dict): os.makedirs(local_file_dict) local_file = '%s/%s.%s.mp3' % (local_file_dict, track['id'], track['name']) if not os.path.isfile(local_file): print 'downloading: ' + track['name'] res = requests.get(file_url, proxies=random_proxies(), headers=headers) with open(local_file, 'wb') as f: f.write(res.content) f.close() print 'done.\n' else: print 'break: ' + track['name']if __name__ == '__main__': spider_queue = Queue.Queue() luoo = LuooSpider(luoo_site, vols=['680', '721', '725', '720'],queue=spider_queue) luoo.setDaemon(True) luoo.start() downloader_count = 5 for i in range(downloader_count): luoo_download = LuooDownloader(luoo_site_mp3, 'D:/luoo', queue=spider_queue) luoo_download.setDaemon(True) luoo_download.start()

以上代碼執行後結果如下圖所示


Github地址：https://github.com/imchenkun/ick-spider/blob/master/luoospider.py

總結

通過本文我們基本了解了網路爬蟲的知識，對網路爬蟲工作原理認識的同時我們實現了一個真實的案例場景，這里主要是使用一些基礎的第三方Python庫來幫助我們實現爬蟲，基本上演示了網路爬蟲框架中基本的核心概念。通常工作中我們會使用一些比較優秀的爬蟲框架來快速的實現需求，比如scrapy框架，接下來我會通過使用Scrapy這類爬蟲框架來實現一個新的爬蟲來加深對網路爬蟲的理解！

『陸』 開源爬蟲框架各有什麼優缺點

首先爬蟲框架有三種

  1. 分布式爬蟲：Nutch

  2. JAVA單機爬蟲：Crawler4j，WebMagic，WebCollector

  3. 非JAVA單機爬蟲：scrapy

第一類:分布式爬蟲

優點：

  1. 海量URL管理

  2. 網速快

缺點：

  1. Nutch是為搜索引擎設計的爬蟲，大多數用戶是需要一個做精準數據爬取（精抽取）的爬蟲。Nutch運行的一套流程里，有三分之二是為了搜索引擎而設計的。對精抽取沒有太大的意義。

  2. 用Nutch做數據抽取，會浪費很多的時間在不必要的計算上。而且如果你試圖通過對Nutch進行二次開發，來使得它適用於精抽取的業務，基本上就要破壞Nutch的框架，把Nutch改的面目全非。

  3. Nutch依賴hadoop運行，hadoop本身會消耗很多的時間。如果集群機器數量較少，爬取速度反而不如單機爬蟲。

  4. Nutch雖然有一套插件機制，而且作為亮點宣傳。可以看到一些開源的Nutch插件，提供精抽取的功能。但是開發過Nutch插件的人都知道，Nutch的插件系統有多蹩腳。利用反射的機制來載入和調用插件，使得程序的編寫和調試都變得異常困難，更別說在上面開發一套復雜的精抽取系統了。

  5. Nutch並沒有為精抽取提供相應的插件掛載點。Nutch的插件有隻有五六個掛載點，而這五六個掛載點都是為了搜索引擎服務的，並沒有為精抽取提供掛載點。大多數Nutch的精抽取插件，都是掛載在「頁面解析」(parser)這個掛載點的，這個掛載點其實是為了解析鏈接（為後續爬取提供URL），以及為搜索引擎提供一些易抽取的網頁信息(網頁的meta信息、text)

  6. 用Nutch進行爬蟲的二次開發，爬蟲的編寫和調試所需的時間，往往是單機爬蟲所需的十倍時間不止。了解Nutch源碼的學習成本很高，何況是要讓一個團隊的人都讀懂Nutch源碼。調試過程中會出現除程序本身之外的各種問題(hadoop的問題、hbase的問題)。

  7. Nutch2的版本目前並不適合開發。官方現在穩定的Nutch版本是nutch2.2.1，但是這個版本綁定了gora-0.3。Nutch2.3之前、Nutch2.2.1之後的一個版本，這個版本在官方的SVN中不斷更新。而且非常不穩定（一直在修改）。

第二類:JAVA單機爬蟲

優點：

  1. 支持多線程。

  2. 支持代理。

  3. 能過濾重復URL的。

  4. 負責遍歷網站和下載頁面。爬js生成的信息和網頁信息抽取模塊有關，往往需要通過模擬瀏覽器(htmlunit,selenium)來完成。

缺點：

設計模式對軟體開發沒有指導性作用。用設計模式來設計爬蟲，只會使得爬蟲的設計更加臃腫。

第三類:非JAVA單機爬蟲

優點：

  1. 先說python爬蟲，python可以用30行代碼，完成JAVA

  2. 50行代碼乾的任務。python寫代碼的確快，但是在調試代碼的階段，python代碼的調試往往會耗費遠遠多於編碼階段省下的時間。

  3. 使用python開發，要保證程序的正確性和穩定性，就需要寫更多的測試模塊。當然如果爬取規模不大、爬取業務不復雜，使用scrapy這種爬蟲也是蠻不錯的，可以輕松完成爬取任務。

缺點：

  1. bug較多，不穩定。

『柒』 我想用c編寫一個爬蟲程序，可是看完一本c語言教程後，還是覺得只會編寫一些計算類的小代碼，要學會編寫

想做爬蟲程序不是學完語言就行了，是要學很多東西的，你可以查一查大學計算機專業有哪些課程。
做爬蟲可以學學java語言。
《網路機器人Java編程指南》
開源的爬蟲產品

http://www.oschina.net/project/tag/64/spider?lang=19&os=0&sort=view&p=1

『捌』 網路爬蟲原理 c/c++用到線程池沒

正常我們訪問一個網頁的時候web伺服器返回的是一段文本，文本里可能帶有別的網頁、圖片的url。爬蟲的原理就是用一段程序去訪問這個網頁，按一定規則去解析文本里的內容，發現url可以繼續去訪問這個url，新網頁里又有別的網頁的url，這樣就可以一直爬下去。通常我們需要記錄爬過的url，防止重復爬同一個網頁，如果你要限定只爬某個網站內的內容，可以自行判斷url是否是這個網站內的。
至於是否用到線程池，或者說是否用到線程，這個看自己需求，用一個線程來爬也是沒問題的。

『玖』 python爬蟲怎麼獲取動態的網頁源碼

一個月前實習導師布置任務說通過網路爬蟲獲取深圳市氣象局發布的降雨數據，網頁如下：

心想，爬蟲不太難的，當年跟zjb爬煎蛋網無（mei）聊（zi）圖的時候，多麼清高。由於接受任務後的一個月考試加作業一大堆，導師也不催，自己也不急。

但是，導師等我一個月都得讓我來寫意味著這東西得有多難吧。。。今天打開一看的確是這樣。網站是基於Ajax寫的，數據動態獲取，所以無法通過下載源代碼然後解析獲得。

從某不良少年寫的抓取淘寶mm的例子中收到啟發，對於這樣的情況，一般可以同構自己搭建瀏覽器實現。phantomJs，CasperJS都是不錯的選擇。

導師的要求是獲取過去一年內深圳每個區每個站點每小時的降雨量，執行該操作需要通過如上圖中的歷史查詢實現，即通過一個時間來查詢，而這個時間存放在一個hidden類型的input標簽里，當然可以通過js語句將其改為text類型，然後執行send_keys之類的操作。然而，我失敗了。時間可以修改設置，可是結果如下圖。

為此，僅抓取實時數據。選取python的selenium，模擬搭建瀏覽器，模擬人為的點擊等操作實現數據生成和獲取。selenium的一大優點就是能獲取網頁渲染後的源代碼，即執行操作後的源代碼。普通的通過 url解析網頁的方式只能獲取給定的數據，不能實現與用戶之間的交互。selenium通過獲取渲染後的網頁源碼，並通過豐富的查找工具，個人認為最好用的就是find_element_by_xpath("xxx")，通過該方式查找到元素後可執行點擊、輸入等事件，進而向伺服器發出請求，獲取所需的數據。

[python]view plain

  • #coding=utf-8

  • fromtestStringimport*

  • fromseleniumimportwebdriver

  • importstring

  • importos

  • fromselenium.webdriver.common.keysimportKeys

  • importtime

  • importsys

  • default_encoding='utf-8'

  • ifsys.getdefaultencoding()!=default_encoding:

  • reload(sys)

  • sys.setdefaultencoding(default_encoding)

  • district_navs=['nav2','nav1','nav3','nav4','nav5','nav6','nav7','nav8','nav9','nav10']

  • district_names=['福田區','羅湖區','南山區','鹽田區','寶安區','龍崗區','光明新區','坪山新區','龍華新區','大鵬新區']

  • flag=1

  • while(flag>0):

  • driver=webdriver.Chrome()

  • driver.get("hianCe/")

  • #選擇降雨量

  • driver.find_element_by_xpath("//span[@id='fenqu_H24R']").click()

  • filename=time.strftime("%Y%m%d%H%M",time.localtime(time.time()))+'.txt'

  • #創建文件

  • output_file=open(filename,'w')

  • #選擇行政區

  • foriinrange(len(district_navs)):

  • driver.find_element_by_xpath("//div[@id='"+district_navs[i]+"']").click()

  • #printdriver.page_source

  • timeElem=driver.find_element_by_id("time_shikuang")

  • #輸出時間和站點名

  • output_file.write(timeElem.text+',')

  • output_file.write(district_names[i]+',')

  • elems=driver.find_elements_by_xpath("//span[@onmouseover='javscript:changeTextOver(this)']")

  • #輸出每個站點的數據，格式為：站點名，一小時降雨量，當日累積降雨量

  • foreleminelems:

  • output_file.write(AMonitorRecord(elem.get_attribute("title"))+',')

  • output_file.write(' ')

  • output_file.close()

  • driver.close()

  • time.sleep(3600)

  • 文件中引用的文件testString只是修改輸出格式，提取有效數據。

    • [python]view plain

  • #Encoding=utf-8

  • defOnlyCharNum(s,oth=''):

  • s2=s.lower()

  • fomart=',.'

  • forcins2:

  • ifnotcinfomart:

  • s=s.replace(c,'')

  • returns

  • defAMonitorRecord(str):

  • str=str.split(":")

  • returnstr[0]+","+OnlyCharNum(str[1])


  • 一小時抓取一次數據，結果如下：
閱讀全文

與c爬蟲源碼相關的資訊

熱點內容
傳奇腳本刷怪 發布：2024-10-06 11:57:47 瀏覽：261
c語言輸入小寫輸出大寫 發布：2024-10-06 11:49:57 瀏覽：361
金立手機伺服器異常是什麼原因 發布：2024-10-06 11:49:48 瀏覽：699
python多線程假的 發布：2024-10-06 11:37:09 瀏覽：723
自己動手構造編譯 發布：2024-10-06 11:35:11 瀏覽：550
c語言編譯器win10 發布：2024-10-06 11:33:35 瀏覽：971
安卓手機里的自動備份是什麼 發布：2024-10-06 11:30:16 瀏覽：714
想買電腦配置要注意哪些 發布：2024-10-06 11:21:50 瀏覽：542
滴滴雲存儲 發布：2024-10-06 11:17:37 瀏覽：767
精通android游戲開發 發布：2024-10-06 11:16:54 瀏覽：801
© Design www.ultimate-communications.com 2015-2022
本站內容源自於網路，如遇問題可聯系相關處理。