腳本爬蟲

Ⅰ 爬蟲之類的腳本一般開多少個線程比較好其實

開發網路爬蟲應該選擇Nutch、Crawler4j、WebMagic、scrapy、WebCollector還是其他的？這里按照我的經驗隨便扯淡一下：上面說的爬蟲，基本可以分3類：1.分布式爬蟲：Nutch
2.java單機爬蟲：Crawler4j、WebMagic、WebCollector
3. 非JAVA單機爬蟲：scrapy
第一類：分布式爬蟲
爬蟲使用分布式，主要是解決兩個問題：
1）海量URL管理
2）網速
現在比較流行的分布式爬蟲，是Apache的Nutch。但是對於大多數用戶來說，Nutch是這幾類爬蟲里，最不好的選擇，理由如下：
1）Nutch是為搜索引擎設計的爬蟲，大多數用戶是需要一個做精準數據爬取（精抽取）的爬蟲。Nutch運行的一套流程里，有三分之二是為了搜索引擎而設計的。對精抽取沒有太大的意義。也就是說，用Nutch做數據抽取，會浪費很多的時間在不必要的計算上。而且如果你試圖通過對Nutch進行二次開發，來使得它適用於精抽取的業務，基本上就要破壞Nutch的框架，把Nutch改的面目全非，有修改Nutch的能力，真的不如自己重新寫一個分布式爬蟲框架了。
2）Nutch依賴hadoop運行，hadoop本身會消耗很多的時間。如果集群機器數量較少，爬取速度反而不如單機爬蟲快。

Ⅱ Google的Go語言能不能寫網路爬蟲腳本

PHP 的優點： 1.語言比較簡單，PHP 是非常隨意的一種語言。寫起來容易讓你把精力放在你要做的事情上，而不是各種語法規則等等。 2.各種功能模塊齊全，這里分兩部分： 1.網頁下載：curl 等擴展庫; 2.文檔解析：dom、xpath、tidy、各種轉碼工具，可能跟題主的問題不太一樣，我的爬蟲需要提取正文，所以需要很復雜的文本處理，所以各種方便的文本處理工具是我的大愛。總之容易上手。 缺點： 1.並發處理能力較弱：由於當時 PHP 沒有線程、進程功能，要想實現並發需要借用多路服用模型，PHP 使用的是 select 模型。實現其來比較麻煩，可能是因為水平問題我的程序經常出現一些錯誤，導致漏抓。 python：優點： 1.各種爬蟲框架，方便高效的下載網頁; 2.多線程、進程模型成熟穩定，爬蟲是一個典型的多任務處理場景，請求頁面時會有較長的延遲，總體來說更多的是等待。多線程或進程會更優化程序效率，提升整個系統下載和分析能力。 3.GAE 的支持，當初寫爬蟲的時候剛剛有 GAE，而且只支持 Python ，利用 GAE 創建的爬蟲幾乎免費，最多的時候我有近千個應用實例在工作。 缺點： 1.對不規范 HTML 適應能力差：舉個例子，如果一個頁面裡面同時有 GB18030 字元集的中文和 UTF-8 字元集的中文，Python 處理起來就沒有 PHP 那麼簡單，你自己需要做很多的判斷工作。當然這是提取正文時的麻煩。 Java 和 C++ 當時也考察過，相對腳本語言比較麻煩，所以放棄。 總之，如果開發一個小規模的爬蟲腳本語言是個各方面比較有優勢的語言。如果要開發一個復雜的爬蟲系統可能 Java 是個增加選項， C++ 我感覺寫個模塊之類的更加適合。對於一個爬蟲系統來說，下載和內文解析只是基本的兩個功能。真正好的系統還包括完善的任務調度、監控、存儲、頁面數據保存和更新邏輯、排重等等。爬蟲是一個耗費帶寬的應用，好的設計會節約大量的帶寬和伺服器資源，並且好壞差距很大。

Ⅲ 怎麼使用python腳本運行多個scrapy爬蟲

1、創建多個spider，
scrapy
genspider
spidername
domain
scrapy
genspider
CnblogsHomeSpider
cnblogs.com
通過上述命令創建了一個spider
name為CnblogsHomeSpider的爬蟲，start_urls為
、查看項目下有幾個爬蟲scrapy
list
[root@bogon
cnblogs]#
scrapy
list
CnblogsHomeSpider
CnblogsSpider
由此可以知道我的項目下有兩個spider，一個名稱叫CnblogsHomeSpider，另一個叫CnblogsSpider。

Ⅳ Python爬蟲和Python腳本有什麼區別

本質上都是一段程序代碼，
python
是動態語言，腳本是對其的叫法。
爬蟲是代碼在實際業務功能上的一種叫法

Ⅳ 在用python編寫網頁爬蟲腳本時出現 UnicodeEncodeError怎麼辦，求高人指點，代碼及運行結果如下圖

我都鑽到桌子底下了也沒看見， 圖呢？

Ⅵ 怎麼使用python腳本運行多個scrapy爬蟲

我也遇到了這個問題，我的解決方法是，先將列表按照時間排序後再抓取，每次抓取完記錄最後一條的url，下載再抓取時，遇到這個url，抓取就自動退出。如果解決了您的問題請採納！如果未解決請繼續追問！

Ⅶ 如何寫爬蟲腳本進行網頁文本挖掘採集需要的

我用前嗅的ForeSpider數據採集軟體，採集過京東的商品評論和商品信息，並且能夠在軟體里進行數據挖掘和分類、統計、數據分析。 ForeSpider內部集成了數據挖掘的功能，可以快速進行聚類分類、統計分析等，採集結果入庫後就可以形成分析報表。

Ⅷ 如何用python用idea編寫爬蟲腳本

intellij公司出了針對python的ide pycharm,intellij idea是針對java的，
快捷鍵以及界面都很統一的，你可以下pycharm試試看

Ⅸ 怎麼使用python腳本運行多個scrapy爬蟲

1、創建多個spider， scrapy genspider spidername domain
scrapy genspider CnblogsHomeSpider cnblogs.com

通過上述命令創建了一個spider name為CnblogsHomeSpider的爬蟲，start_urls為 、查看項目下有幾個爬蟲scrapy list
[root@bogon cnblogs]# scrapy list
CnblogsHomeSpider
CnblogsSpider

由此可以知道我的項目下有兩個spider，一個名稱叫CnblogsHomeSpider，另一個叫CnblogsSpider。

Ⅹ python爬蟲如何保存進度下次執行腳本時能恢復

抓取的話你肯定有自己設定的抓取順序，在報錯或停止或線程死掉時候記錄最後抓取的url，待再次打開時從這開始。
如果這比較難實現，可以用傳統辦法，記錄下抓取的url，作為己抓過的數據，待再次運行程序時進行比較跳過這些即可。