pycurlpython
『壹』 python爬蟲需要安裝哪些庫
一、 請求庫
1. requests
requests 類庫是第三方庫，比 Python 自帶的 urllib 類庫使用方便和
2. selenium
利用它執行瀏覽器動作，模擬操作。
3. chromedriver
安裝chromedriver來驅動chrome。
4. aiohttp
aiohttp是非同步請求庫，抓取數據時可以提升效率。
二、 解析庫
1. lxml
lxml是Python的一個解析庫，支持解析HTML和XML，支持XPath的解析方式，而且解析效率非常高。
2. beautifulsoup4
Beautiful Soup可以使用它更方便的從 HTML 文檔中提取數據。
3. pyquery
pyquery是一個網頁解析庫，採用類似jquery的語法來解析HTML文檔。
三、 存儲庫
1. mysql
2. mongodb
3. redis
四、 爬蟲框架scrapy
Scrapy 是一套非同步處理框架，純python實現的爬蟲框架，用來抓取網頁內容以及各種圖片
需要先安裝scrapy基本依賴庫，比如lxml、pyOpenSSL、Twisted
『貳』 Python編程網頁爬蟲工具集介紹
【導語】對於一個軟體工程開發項目來說，一定是從獲取數據開始的。不管文本怎麼處理，機器學習和數據發掘，都需求數據，除了通過一些途徑購買或許下載的專業數據外，常常需求咱們自己著手爬數據，爬蟲就顯得格外重要，那麼Python編程網頁爬蟲東西集有哪些呢?下面就來給大家一一介紹一下。
1、 Beautiful Soup
客觀的說，Beautifu Soup不完滿是一套爬蟲東西，需求協作urllib運用，而是一套HTML / XML數據分析，清洗和獲取東西。
2、Scrapy
Scrapy相Scrapy, a fast high-level screen scraping and web crawling framework
for
Python.信不少同學都有耳聞，課程圖譜中的許多課程都是依託Scrapy抓去的，這方面的介紹文章有許多，引薦大牛pluskid早年的一篇文章：《Scrapy
輕松定製網路爬蟲》，歷久彌新。
3、 Python-Goose
Goose最早是用Java寫得，後來用Scala重寫，是一個Scala項目。Python-Goose用Python重寫，依靠了Beautiful
Soup。給定一個文章的URL, 獲取文章的標題和內容很便利，用起來非常nice。
以上就是Python編程網頁爬蟲工具集介紹，希望對於進行Python編程的大家能有所幫助，當然Python編程學習不止需要進行工具學習，還有很多的編程知識，也需要好好學起來哦，加油!
『叄』 python十大必學模塊是什麼
這個不能一概而論的，據說python目前高達27萬+個庫，看你學習的方向必學模塊也有不同，簡單列舉：
1、網路通用方面：
urllib-網路庫
requests-網路庫
pycurl– 網路庫
httplib2– 網路庫
RoboBrowser– 瀏覽網頁
MechanicalSoup-一個與網站自動交互Python庫
socket– 底層網路介面
2、爬蟲方面：
grab– 爬蟲框架
scrapy– 網路爬蟲框架，不支持Python3
pyspider–爬蟲系統。
cola– 爬蟲框架
portia– 可視化爬蟲
lxml– 高效HTML/ XML處理庫
cssselect– 解析DOM樹和CSS選擇器。
pyquery– 解析DOM樹和jQuery選擇器。
html5lib– 根據WHATWG規范生成HTML/ XML文檔的DOM
feedparser– 解析RSS/ATOM feeds。
MarkupSafe– 為XML/HTML/XHTML提供了安全轉義的字元串。
xhtml2pdf– 將HTML/CSS轉換為PDF。
untangle– XML文件轉Python對象
xpinyin– 將中國漢字轉為拼音
tablib– 數據導出為XLS、CSV、JSON、等格式的模塊
textract– 從文件中提取文本
messytables– 解析表格數據
rows– 常用數據介面
Office
python-docx– 讀取，查詢和修改docx文件
xlwt/xlrd– 從Excel文件讀取寫入數據和格式信息
PDF
Markdown
Python-Markdown– 一個用Python實現的John Gruber的Markdown。
3、HTML/XML解析方面：
4、文件處理方面：