爬虫技术python

A. python为什么叫爬虫

爬虫一般是指网络资源的抓取，由于Python的脚本特性，易于配置对字符的处理非常灵活，Python有丰富的网络抓取模块，因此两者经常联系在一起Python就被叫作爬虫。爬虫可以抓取某个网站或者某个应用的内容提取有用的价值信息。还可以模拟用户在浏览器或者app应用上的操作行为，实现程序自动化。
Python为什么叫爬虫？
Python作为一门编程语言而言纯粹的自由软件，以简洁清晰的语法和强制使用空白符进行语句缩进的特点从而深受程序员的喜爱。用不同编程语言完成一个任务：c语言一共要写1000行代码；java要写100行；Python则只需要写20行的代码。若使用Python来完成编程任务编写代码量更少，代码简洁简短且可读性更强，一个团队进行开发的时候编写代码效率会更快，开发效率高让工作变得更加高效。

Python非常适合开发网络爬虫的编程语言，相比于其他静态编程语言，Python抓取网页文档的接口更简洁;相比于其他动态脚本语言，Python的urllib2包提供了较为完整的访问网页文档的API。Python中有优秀的第三方包可以高效实现网页抓取，并可用极短的代码完成网页的标签过滤功能。

Python爬虫的构架组成：

爬虫构架

1、URL管理器：管理待爬取的url集合和已爬取的url集合，传送待爬取的url给网页下载器；

2、网页下载器：爬取url对应的网页，存储成字符串，传送给网页解析器；

3、网页解析器：解析出有价值的数据，存储下来，同时补充url到URL管理器。

Python的工作流程则：

Python爬虫通过URL管理器，判断是否有待爬URL，如果有待爬URL，通过调度器进行传递给下载器，下载URL内容，并通过调度器传送给解析器，解析URL内容，并将价值数据和新URL列表通过调度器传递给应用程序，并输出价值信息的过程。

Python是一门非常适合开发网络爬虫的编程语言，提供了如urllib、re、json、pyquery等模块，同时又有很多成型框架，如Scrapy框架、PySpider爬虫系统等。代码十分的简洁方便，是新手学习网络爬虫首选编程语言。爬虫是指网络资源的抓取，因为Python的脚本特性，Python易于配置，对字符的处理也非常灵活，加上Python有丰富的网络抓取模块，所以两者经常联系在一起，Python语言更适合新手学习。

B. 除了python可以爬虫还有哪些编程语言可以爬虫

能够做网络爬虫的编程语言很多，包括PHP、Java、C/C++、Python等都能做爬虫，都能达到抓取想要的数据资源。针对不同的环境，我们需要了解他们做爬虫的优缺点，才能选出合适的开发环境。

（一）PHP
网络爬虫需要快速的从服务器中抓取需要的数据，有时数据量较大时需要进行多线程抓取。PHP虽然是世界上最好的语言，但是PHP对多线程、异步支持不足，并发不足，而爬虫程序对速度和效率要求极高，所以说PHP天生不是做爬虫的。

（二）C/C++
C语言是一门面向过程、抽象化的通用程序设计语言，广泛应用于底层开发，运行效率和性能是最强大的，但是它的学习成本非常高，需要有很好地编程知识基础，对于初学者或者编程知识不是很好地程序员来说，不是一个很好的选择。当然，能够用C/C++编写爬虫程序，足以说明能力很强，但是绝不是最正确的选择。

（三）Java
在网络爬虫方面，作为Python最大的对手Java，拥有强大的生态圈。但是Java本身很笨重，代码量大。由于爬虫与反爬虫的较量是持久的，也是频繁的，刚写好的爬虫程序很可能就不能用了。爬虫程序需要经常性的修改部分代码。而Java的重构成本比较高，任何修改都会导致大量代码的变动。

（四）Python
Python在设计上坚持了清晰划一的风格，易读、易维护，语法优美、代码简洁、开发效率高、第三方模块多。并且拥有强大的爬虫Scrapy，以及成熟高效的scrapy-redis分布式策略。实现同样的爬虫功能，代码量少，而且维护方便，开发效率高。

C. python爬虫要学多久

python爬虫要学三个月到半年。

自学的话，根据每个人的情况来说，学习周期是不同的，如果没有任何基础，零基础小白进行Python学习的话，需要先进行简单的Python基础知识学习，就需要三个月左右的时间，再进行爬虫知识的学习，少则半年左右。

如果参加Python培训的话，从入门到精通，学习周期五个月就可以了，学习内容更加系统化，符合企业用人需求，选择的应用领域更广泛。

含义

1、python不是只可以做爬虫的，很多语言都可以，尤其是 java，同时掌握它们和拥有相关开发经验是很重要的加分项。

2、大部分的公司都要求爬虫技术有一定的深度和广度，深度就是类似反反爬、加密破解、验证登录等等技术；广度就是分布式、云计算等等，这都是加分项。

3、爬虫，不是抓取到数据就完事了，如果有数据抽取、清洗、消重等方面经验，也是加分项。

4、一般公司都会有自己的爬虫系统，而新进员工除了跟着学习以外常做的工作就是维护爬虫系统，这点要有了解。

D. python爬虫是干嘛的

爬虫技术是一种自动化程序。

爬虫就是一种可以从网页上抓取数据信息并保存的自动化程序，它的原理就是模拟浏览器发送网络请求，接受请求响应，然后按照一定的规则自动抓取互联网数据。

搜索引擎通过这些爬虫从一个网站爬到另一个网站，跟踪网页中的链接，访问更多的网页，这个过程称为爬行，这些新的网址会被存入数据库等待搜索。简而言之，爬虫就是通过不间断地访问互联网，然后从中获取你指定的信息并返回给你。而我们的互联网上，随时都有无数的爬虫在爬取数据，并返回给使用者。

爬虫技术的功能

1、获取网页

获取网页可以简单理解为向网页的服务器发送网络请求，然后服务器返回给我们网页的源代码，其中通信的底层原理较为复杂，而Python给我们封装好了urllib库和requests库等，这些库可以让我们非常简单的发送各种形式的请求。

2、提取信息

获取到的网页源码内包含了很多信息，想要进提取到我们需要的信息，则需要对源码还要做进一步筛选。可以选用python中的re库即通过正则匹配的形式去提取信息，也可以采用BeautifulSoup库（bs4）等解析源代码，除了有自动编码的优势之外，bs4库还可以结构化输出源代码信息，更易于理解与使用。

3、保存数据

提取到我们需要的有用信息后，需要在Python中把它们保存下来。可以使用通过内置函数open保存为文本数据，也可以用第三方库保存为其它形式的数据，例如可以通过pandas库保存为常见的xlsx数据，如果有图片等非结构化数据还可以通过pymongo库保存至非结构化数据库中。