防爬虫算法

‘壹’ 网络爬虫是什么具体要学哪些内容

简单来讲，爬虫就是一个探测机器，它的基本操作就是模拟人的行为去各个网站溜达，点点按钮，查查数据，或者把看到的信息背回来。就像一只虫子在一幢楼里不知疲倦地爬来爬去。

你可以简单地想象：每个爬虫都是你的“分身”。就像孙悟空拔了一撮汗毛，吹出一堆猴子一样。

你每天使用的网络，其实就是利用了这种爬虫技术：每天放出无数爬虫到各个网站，把他们的信息抓回来，然后化好淡妆排着小队等你来检索。
抢票软件，就相当于撒出去无数个分身，每一个分身都帮助你不断刷新 12306 网站的火车余票。一旦发现有票，就马上拍下来，然后对你喊：土豪快来付款。

那么，像这样的爬虫技术一旦被用来作恶有多可怕呢？

正好在上周末，一位黑客盆友御风神秘兮兮地给我发来一份《中国爬虫图鉴》，这哥们在腾讯云鼎实验室主要负责加班，顺便和同事们开发了很多黑科技。比如他们搞了一个威胁情报系统，号称能探测到全世界的“爬虫”都在做什么。

我吹着口哨打开《图鉴》，但一分钟以后，我整个人都不好了。

我看到了另一个“平行世界”：

就在我们身边的网络上，已经密密麻麻爬满了各种网络爬虫，它们善恶不同，各怀心思。而越是每个人切身利益所在的地方，就越是爬满了爬虫。

看到最后，我发现这哪里是《中国爬虫图鉴》，这分明是一份《中国焦虑图鉴》。

这是爬虫经常光顾的微博地址。

‘贰’ 如何应对网站反爬虫策略如何高效地爬大量数据

由于互联网大数据越来越火热，应用python进行数据收集变成了很多公司分析数据信息的方式，在使用爬虫多次爬取相同平台网站时，通常都会出现被平台网站的反爬虫措施给封禁ip的情况，以便解决这一问题，爬虫工作者通常都是用一下这几种方法：
爬虫代理避免爬虫封禁
1、减慢爬取速度，降低针对目标平台网站造成的压力，但会降低单位时间类的抓取量。
2、伪造cookies，若从浏览器中能够正常访问一个页面，则能够将浏览器中的cookies复制过来应用
3、伪造User-Agent，在请求头中把User-Agent设成浏览器中的User-Agent，来伪造浏览器访问。
4、应用代理商http代理IP，应用代理IP之后能够让爬虫伪装自己的真实IP。
针对python爬虫来说，有时候业务量繁重，分布式爬虫是最好的提升效率方式，而分布式爬虫又迫切需要数目众多的IP资源，这一点免费IP是满足不了的，并且免费代理通常不提供高匿名的代理IP，因此不提议大家应用免费的代理IP。以便节约前期成本而应用免费ip代理，最终只会因为免费ip的劣质而导致苦不堪言，反倒因小失大。