python爬蟲假死

㈠ 為什麼都說爬蟲PYTHON好

選擇Python作為實現爬蟲的語言，其主要考慮因素在於：
(1) 抓取網頁本身的介面
相比其他動態腳本語言(如Perl、Shell)，Python的urllib2包提供了較為完整的訪問網頁文檔的API;相比與其他靜態編程語言(如Java、C#、C++)，Python抓取網頁文檔的介面更簡潔。
此外，抓取網頁有時候需要模擬瀏覽器的行為，很多網站對於生硬的爬蟲抓取都是封殺的。這時我們需要模擬User Agent的行為構造合適的請求，譬如模擬用戶登錄、模擬Session/Cookie的存儲和設置。在Python里都有非常優秀的第三方包幫你搞定，如Requests或Mechanize。
(2) 網頁抓取後的處理
抓取的網頁通常需要處理，比如過濾Html標簽，提取文本等。Python的Beautiful Soup提供了簡潔的文檔處理功能，能用極短的代碼完成大部分文檔的處理。
其實以上功能很多語言和工具都能做，但是用Python能夠幹得最快、最干凈，正如這句「Life is short，you need Python」。
(3) 開發效率高
因為爬蟲的具體代碼根據網站不同而修改的，而Python這種靈活的腳本語言特別適合這種任務。
(4) 上手快
網路上Python的教學資源很多，便於大家學習，出現問題也很容易找到相關資料。另外，Python還有強大的成熟爬蟲框架的支持，比如Scrapy。