防爬蟲演算法

『壹』 網路爬蟲是什麼具體要學哪些內容

簡單來講，爬蟲就是一個探測機器，它的基本操作就是模擬人的行為去各個網站溜達，點點按鈕，查查數據，或者把看到的信息背回來。就像一隻蟲子在一幢樓里不知疲倦地爬來爬去。

你可以簡單地想像：每個爬蟲都是你的「分身」。就像孫悟空拔了一撮汗毛，吹出一堆猴子一樣。

你每天使用的網路，其實就是利用了這種爬蟲技術：每天放出無數爬蟲到各個網站，把他們的信息抓回來，然後化好淡妝排著小隊等你來檢索。
搶票軟體，就相當於撒出去無數個分身，每一個分身都幫助你不斷刷新 12306 網站的火車余票。一旦發現有票，就馬上拍下來，然後對你喊：土豪快來付款。

那麼，像這樣的爬蟲技術一旦被用來作惡有多可怕呢？

正好在上周末，一位黑客盆友御風神秘兮兮地給我發來一份《中國爬蟲圖鑒》，這哥們在騰訊雲鼎實驗室主要負責加班，順便和同事們開發了很多黑科技。比如他們搞了一個威脅情報系統，號稱能探測到全世界的「爬蟲」都在做什麼。

我吹著口哨打開《圖鑒》，但一分鍾以後，我整個人都不好了。

我看到了另一個「平行世界」：

就在我們身邊的網路上，已經密密麻麻爬滿了各種網路爬蟲，它們善惡不同，各懷心思。而越是每個人切身利益所在的地方，就越是爬滿了爬蟲。

看到最後，我發現這哪裡是《中國爬蟲圖鑒》，這分明是一份《中國焦慮圖鑒》。

這是爬蟲經常光顧的微博地址。

『貳』 如何應對網站反爬蟲策略如何高效地爬大量數據

由於互聯網大數據越來越火熱，應用python進行數據收集變成了很多公司分析數據信息的方式，在使用爬蟲多次爬取相同平台網站時，通常都會出現被平台網站的反爬蟲措施給封禁ip的情況，以便解決這一問題，爬蟲工作者通常都是用一下這幾種方法：
爬蟲代理避免爬蟲封禁
1、減慢爬取速度，降低針對目標平台網站造成的壓力，但會降低單位時間類的抓取量。
2、偽造cookies，若從瀏覽器中能夠正常訪問一個頁面，則能夠將瀏覽器中的cookies復制過來應用
3、偽造User-Agent，在請求頭中把User-Agent設成瀏覽器中的User-Agent，來偽造瀏覽器訪問。
4、應用代理商http代理IP，應用代理IP之後能夠讓爬蟲偽裝自己的真實IP。
針對python爬蟲來說，有時候業務量繁重，分布式爬蟲是最好的提升效率方式，而分布式爬蟲又迫切需要數目眾多的IP資源，這一點免費IP是滿足不了的，並且免費代理通常不提供高匿名的代理IP，因此不提議大家應用免費的代理IP。以便節約前期成本而應用免費ip代理，最終只會因為免費ip的劣質而導致苦不堪言，反倒因小失大。