pycurlpython
‘壹’ python爬虫需要安装哪些库
一、 请求库
1. requests
requests 类库是第三方库，比 Python 自带的 urllib 类库使用方便和
2. selenium
利用它执行浏览器动作，模拟操作。
3. chromedriver
安装chromedriver来驱动chrome。
4. aiohttp
aiohttp是异步请求库，抓取数据时可以提升效率。
二、 解析库
1. lxml
lxml是Python的一个解析库，支持解析HTML和XML，支持XPath的解析方式，而且解析效率非常高。
2. beautifulsoup4
Beautiful Soup可以使用它更方便的从 HTML 文档中提取数据。
3. pyquery
pyquery是一个网页解析库，采用类似jquery的语法来解析HTML文档。
三、 存储库
1. mysql
2. mongodb
3. redis
四、 爬虫框架scrapy
Scrapy 是一套异步处理框架，纯python实现的爬虫框架，用来抓取网页内容以及各种图片
需要先安装scrapy基本依赖库，比如lxml、pyOpenSSL、Twisted
‘贰’ Python编程网页爬虫工具集介绍
【导语】对于一个软件工程开发项目来说，一定是从获取数据开始的。不管文本怎么处理，机器学习和数据发掘，都需求数据，除了通过一些途径购买或许下载的专业数据外，常常需求咱们自己着手爬数据，爬虫就显得格外重要，那么Python编程网页爬虫东西集有哪些呢?下面就来给大家一一介绍一下。
1、 Beautiful Soup
客观的说，Beautifu Soup不完满是一套爬虫东西，需求协作urllib运用，而是一套HTML / XML数据分析，清洗和获取东西。
2、Scrapy
Scrapy相Scrapy, a fast high-level screen scraping and web crawling framework
for
Python.信不少同学都有耳闻，课程图谱中的许多课程都是依托Scrapy抓去的，这方面的介绍文章有许多，引荐大牛pluskid早年的一篇文章：《Scrapy
轻松定制网络爬虫》，历久弥新。
3、 Python-Goose
Goose最早是用Java写得，后来用Scala重写，是一个Scala项目。Python-Goose用Python重写，依靠了Beautiful
Soup。给定一个文章的URL, 获取文章的标题和内容很便利，用起来非常nice。
以上就是Python编程网页爬虫工具集介绍，希望对于进行Python编程的大家能有所帮助，当然Python编程学习不止需要进行工具学习，还有很多的编程知识，也需要好好学起来哦，加油!
‘叁’ python十大必学模块是什么
这个不能一概而论的，据说python目前高达27万+个库，看你学习的方向必学模块也有不同，简单列举：
1、网络通用方面：
urllib-网络库
requests-网络库
pycurl– 网络库
httplib2– 网络库
RoboBrowser– 浏览网页
MechanicalSoup-一个与网站自动交互Python库
socket– 底层网络接口
2、爬虫方面：
grab– 爬虫框架
scrapy– 网络爬虫框架，不支持Python3
pyspider–爬虫系统。
cola– 爬虫框架
portia– 可视化爬虫
lxml– 高效HTML/ XML处理库
cssselect– 解析DOM树和CSS选择器。
pyquery– 解析DOM树和jQuery选择器。
html5lib– 根据WHATWG规范生成HTML/ XML文档的DOM
feedparser– 解析RSS/ATOM feeds。
MarkupSafe– 为XML/HTML/XHTML提供了安全转义的字符串。
xhtml2pdf– 将HTML/CSS转换为PDF。
untangle– XML文件转Python对象
xpinyin– 将中国汉字转为拼音
tablib– 数据导出为XLS、CSV、JSON、等格式的模块
textract– 从文件中提取文本
messytables– 解析表格数据
rows– 常用数据接口
Office
python-docx– 读取，查询和修改docx文件
xlwt/xlrd– 从Excel文件读取写入数据和格式信息
PDF
Markdown
Python-Markdown– 一个用Python实现的John Gruber的Markdown。
3、HTML/XML解析方面：
4、文件处理方面：