脚本爬虫

Ⅰ 爬虫之类的脚本一般开多少个线程比较好其实

开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？这里按照我的经验随便扯淡一下：上面说的爬虫，基本可以分3类：1.分布式爬虫：Nutch
2.java单机爬虫：Crawler4j、WebMagic、WebCollector
3. 非JAVA单机爬虫：scrapy
第一类：分布式爬虫
爬虫使用分布式，主要是解决两个问题：
1）海量URL管理
2）网速
现在比较流行的分布式爬虫，是Apache的Nutch。但是对于大多数用户来说，Nutch是这几类爬虫里，最不好的选择，理由如下：
1）Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取（精抽取）的爬虫。Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的。对精抽取没有太大的意义。也就是说，用Nutch做数据抽取，会浪费很多的时间在不必要的计算上。而且如果你试图通过对Nutch进行二次开发，来使得它适用于精抽取的业务，基本上就要破坏Nutch的框架，把Nutch改的面目全非，有修改Nutch的能力，真的不如自己重新写一个分布式爬虫框架了。
2）Nutch依赖hadoop运行，hadoop本身会消耗很多的时间。如果集群机器数量较少，爬取速度反而不如单机爬虫快。

Ⅱ Google的Go语言能不能写网络爬虫脚本

PHP 的优点： 1.语言比较简单，PHP 是非常随意的一种语言。写起来容易让你把精力放在你要做的事情上，而不是各种语法规则等等。 2.各种功能模块齐全，这里分两部分： 1.网页下载：curl 等扩展库; 2.文档解析：dom、xpath、tidy、各种转码工具，可能跟题主的问题不太一样，我的爬虫需要提取正文，所以需要很复杂的文本处理，所以各种方便的文本处理工具是我的大爱。总之容易上手。 缺点： 1.并发处理能力较弱：由于当时 PHP 没有线程、进程功能，要想实现并发需要借用多路服用模型，PHP 使用的是 select 模型。实现其来比较麻烦，可能是因为水平问题我的程序经常出现一些错误，导致漏抓。 python：优点： 1.各种爬虫框架，方便高效的下载网页; 2.多线程、进程模型成熟稳定，爬虫是一个典型的多任务处理场景，请求页面时会有较长的延迟，总体来说更多的是等待。多线程或进程会更优化程序效率，提升整个系统下载和分析能力。 3.GAE 的支持，当初写爬虫的时候刚刚有 GAE，而且只支持 Python ，利用 GAE 创建的爬虫几乎免费，最多的时候我有近千个应用实例在工作。 缺点： 1.对不规范 HTML 适应能力差：举个例子，如果一个页面里面同时有 GB18030 字符集的中文和 UTF-8 字符集的中文，Python 处理起来就没有 PHP 那么简单，你自己需要做很多的判断工作。当然这是提取正文时的麻烦。 Java 和 C++ 当时也考察过，相对脚本语言比较麻烦，所以放弃。 总之，如果开发一个小规模的爬虫脚本语言是个各方面比较有优势的语言。如果要开发一个复杂的爬虫系统可能 Java 是个增加选项， C++ 我感觉写个模块之类的更加适合。对于一个爬虫系统来说，下载和内文解析只是基本的两个功能。真正好的系统还包括完善的任务调度、监控、存储、页面数据保存和更新逻辑、排重等等。爬虫是一个耗费带宽的应用，好的设计会节约大量的带宽和服务器资源，并且好坏差距很大。

Ⅲ 怎么使用python脚本运行多个scrapy爬虫

1、创建多个spider，
scrapy
genspider
spidername
domain
scrapy
genspider
CnblogsHomeSpider
cnblogs.com
通过上述命令创建了一个spider
name为CnblogsHomeSpider的爬虫，start_urls为
、查看项目下有几个爬虫scrapy
list
[root@bogon
cnblogs]#
scrapy
list
CnblogsHomeSpider
CnblogsSpider
由此可以知道我的项目下有两个spider，一个名称叫CnblogsHomeSpider，另一个叫CnblogsSpider。

Ⅳ Python爬虫和Python脚本有什么区别

本质上都是一段程序代码，
python
是动态语言，脚本是对其的叫法。
爬虫是代码在实际业务功能上的一种叫法

Ⅳ 在用python编写网页爬虫脚本时出现 UnicodeEncodeError怎么办，求高人指点，代码及运行结果如下图

我都钻到桌子底下了也没看见， 图呢？

Ⅵ 怎么使用python脚本运行多个scrapy爬虫

我也遇到了这个问题，我的解决方法是，先将列表按照时间排序后再抓取，每次抓取完记录最后一条的url，下载再抓取时，遇到这个url，抓取就自动退出。如果解决了您的问题请采纳！如果未解决请继续追问！

Ⅶ 如何写爬虫脚本进行网页文本挖掘采集需要的

我用前嗅的ForeSpider数据采集软件，采集过京东的商品评论和商品信息，并且能够在软件里进行数据挖掘和分类、统计、数据分析。 ForeSpider内部集成了数据挖掘的功能，可以快速进行聚类分类、统计分析等，采集结果入库后就可以形成分析报表。

Ⅷ 如何用python用idea编写爬虫脚本

intellij公司出了针对python的ide pycharm,intellij idea是针对java的，
快捷键以及界面都很统一的，你可以下pycharm试试看

Ⅸ 怎么使用python脚本运行多个scrapy爬虫

1、创建多个spider， scrapy genspider spidername domain
scrapy genspider CnblogsHomeSpider cnblogs.com

通过上述命令创建了一个spider name为CnblogsHomeSpider的爬虫，start_urls为 、查看项目下有几个爬虫scrapy list
[root@bogon cnblogs]# scrapy list
CnblogsHomeSpider
CnblogsSpider

由此可以知道我的项目下有两个spider，一个名称叫CnblogsHomeSpider，另一个叫CnblogsSpider。

Ⅹ python爬虫如何保存进度下次执行脚本时能恢复

抓取的话你肯定有自己设定的抓取顺序，在报错或停止或线程死掉时候记录最后抓取的url，待再次打开时从这开始。
如果这比较难实现，可以用传统办法，记录下抓取的url，作为己抓过的数据，待再次运行程序时进行比较跳过这些即可。