python爬蟲資料庫
A. python中的爬蟲框架有哪些呢
實現爬蟲技術的編程環境有很多種，Java、Python、C++等都可以用來爬蟲。但很多人選擇Python來寫爬蟲，為什麼呢？因為Python確實很適合做爬蟲，豐富的第三方庫十分強大，簡單幾行代碼便可實現你想要的功能。更重要的，Python也是數據挖掘和分析的好能手。那麼，Python爬蟲一般用什麼框架比較好？
一般來講，只有在遇到比較大型的需求時，才會使用Python爬蟲框架。這樣的做的主要目的，是為了方便管理以及擴展。本文我將向大家推薦十個Python爬蟲框架。
1、Scrapy：Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。它是很強大的爬蟲框架，可以滿足簡單的頁面爬取，比如可以明確獲知url pattern的情況。用這個框架可以輕松爬下來如亞馬遜商品信息之類的數據。但是對於稍微復雜一點的頁面，如weibo的頁面信息，這個框架就滿足不了需求了。它的特性有：HTML, XML源數據 選擇及提取 的內置支持；提供了一系列在spider之間共享的可復用的過濾器(即 Item Loaders)，對智能處理爬取數據提供了內置支持。
2、Crawley：高速爬取對應網站的內容，支持關系和非關系資料庫，數據可以導出為JSON、XML等。
3、Portia：是一個開源可視化爬蟲工具，可讓使用者在不需要任何編程知識的情況下爬取網站！簡單地注釋自己感興趣的頁面，Portia將創建一個蜘蛛來從類似的頁面提取數據。簡單來講，它是基於scrapy內核；可視化爬取內容，不需要任何開發專業知識；動態匹配相同模板的內容。
4、newspaper：可以用來提取新聞、文章和內容分析。使用多線程，支持10多種語言等。作者從requests庫的簡潔與強大得到靈感，使用Python開發的可用於提取文章內容的程序。支持10多種語言並且所有的都是unicode編碼。
5、Python-goose：Java寫的文章提取工具。Python-goose框架可提取的信息包括：文章主體內容、文章主要圖片、文章中嵌入的任何Youtube/Vimeo視頻、元描述、元標簽。
6、Beautiful Soup：名氣大，整合了一些常用爬蟲需求。它是一個可以從HTML或XML文件中提取數據的Python庫。它能夠通過你喜歡的轉換器實現慣用的文檔導航,查找,修改文檔的方式.Beautiful Soup會幫你節省數小時甚至數天的工作時間。Beautiful Soup的缺點是不能載入JS。
7、mechanize：它的優點是可以載入JS。當然它也有缺點，比如文檔嚴重缺失。不過通過官方的example以及人肉嘗試的方法，還是勉強能用的。
8、selenium：這是一個調用瀏覽器的driver，通過這個庫你可以直接調用瀏覽器完成某些操作，比如輸入驗證碼。Selenium是自動化測試工具，它支持各種瀏覽器，包括 Chrome，Safari，Firefox等主流界面式瀏覽器，如果在這些瀏覽器裡面安裝一個 Selenium 的插件，可以方便地實現Web界面的測試. Selenium支持瀏覽器驅動。Selenium支持多種語言開發，比如 Java，C，Ruby等等，PhantomJS 用來渲染解析JS，Selenium 用來驅動以及與Python的對接，Python進行後期的處理。
9、cola：是一個分布式的爬蟲框架，對於用戶來說，只需編寫幾個特定的函數，而無需關注分布式運行的細節。任務會自動分配到多台機器上，整個過程對用戶是透明的。項目整體設計有點糟，模塊間耦合度較高。
10、PySpider：一個國人編寫的強大的網路爬蟲系統並帶有強大的WebUI。採用Python語言編寫，分布式架構，支持多種資料庫後端，強大的WebUI支持腳本編輯器，任務監視器，項目管理器以及結果查看器。Python腳本控制，可以用任何你喜歡的html解析包。
B. Python爬蟲（七）數據處理方法之JSON
JSON 指的是 JavaScript 對象表示法（JavaScript Object Notation），是輕量級的文本數據交換格式，且具有自我描述性，更易理解。
JSON看起來像python類型（列表，字典）的字元串。
在之前的文章中，我們說到了怎麼用response的方法，獲取到網頁正確解碼後的字元串。如果還有不懂的，可以先閱讀 Python爬蟲（三）Requests庫 。接下來以有道翻譯為例子，說說怎麼通過網頁解碼後的字元串，提取到翻譯結果。
再結合上述有道翻譯的例子，得到字典類型的返回結果，並提取出來翻譯結果。
將上述例子的dict_json換成str字元串，再寫入文本中。
執行完上述的程序，會得到一個fanyi.txt的文件，其結果如下：{"type": "ZH_CN2EN", "errorCode": 0, "elapsedTime": 1, "translateResult": [[{"src": "\u4eba\u751f\u82e6\u77ed\uff0c\u6211\u7528python", "tgt": "Life is too short, I use python"}]]}。這樣子的一份文檔，中文部分顯示的是二進制，且格式非常不利於閱讀，這並不是我們想要的結果。好在json.mps()為我們提供的兩個方法，以幫助我們更好閱讀文檔。
1.ensure_ascii，能夠讓中文顯示成中文；
2.indent，能夠讓下一行在第一行的基礎上空格。
其用法如下：
C. python爬蟲用什麼庫
以下是爬蟲經常用到的庫
請求庫
1. requests
requests庫應該是現在做爬蟲最火最實用的庫了，非常的人性化。有關於它的使用我之前也寫過一篇文章 一起看看Python之Requests庫 ，大家可以去看一下。
2.urllib3
urllib3是一個非常強大的http請求庫，提供一系列的操作URL的功能。
3.selenium
自動化測試工具。一個調用瀏覽器的 driver，通過這個庫你可以直接調用瀏覽器完成某些操作，比如輸入驗證碼。
對於這個庫並非只是Python才能用，像JAVA、Python、C#等都能夠使用selenium這個庫
4.aiohttp
基於 asyncio 實現的 HTTP 框架。非同步操作藉助於 async/await 關鍵字，使用非同步庫進行數據抓取，可以大大提高效率。
這個屬於進階爬蟲時候必須掌握的非同步庫。有關於aiohttp的詳細操作，可以去官方文檔：https://aiohttp.readthedocs.io/en/stable/
Python學習網- 專業的python自學、交流公益平台！
解析庫
1、beautifulsoup
html 和 XML 的解析,從網頁中提取信息，同時擁有強大的API和多樣解析方式。一個我經常使用的解析庫，對於html的解析是非常的好用。對於寫爬蟲的人來說這也是必須掌握的庫。
2、lxml
支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高。
3、pyquery
jQuery 的 Python 實現，能夠以 jQuery 的語法來操作解析 HTML 文檔，易用性和解析速度都很好。
數據存儲
1、pymysql
官方文檔：https://pymysql.readthedocs.io/en/latest/
一個純 Python 實現的 MySQL 客戶端操作庫。非常的實用、非常的簡單。
2、pymongo
官方文檔：https://api.mongodb.com/python/
顧名思義，一個用於直接連接 mongodb 資料庫進行查詢操作的庫。
3、redismp
redis-mp是將redis和json互轉的工具；redis-mp是基於ruby開發，需要ruby環境，而且新版本的redis-mp要求2.2.2以上的ruby版本，centos中yum只能安裝2.0版本的ruby。需要先安裝ruby的管理工具rvm安裝高版本的ruby。
D. Python什麼爬蟲庫好用
請求庫：
1. requests 這個庫是爬蟲最常用的一個庫
2. Selenium Selenium 是一個自動化測試工具，利用它我們可以驅動瀏覽器執行特定的動作，如點擊、下拉等操作 對於一些用JS做誼染的頁面來說，這種抓取方式是非常有效的。
3.ChomeDrive 安裝了這個庫，才能驅動Chrome瀏覽器完成相應的操作
4.GeckoDriver 使用W3C WebDriver兼容客戶端與基於Gecko的瀏覽器進行交互的代理。
5.PhantomJS PhantomJS 是一個無界面 、可腳本編程的 WebKit 瀏覽器引擎，它原生支持多種Web標准：Dom操作，css選擇器，json，Canvas以及SVG。
6.aiohttp 之前接收requests庫是一個阻塞式HTTP請求庫，當我們發送一個請求後。程序會一直等待伺服器響應，直到伺服器響應後，程序才會最下一步處理。其實，這個過程比較耗時間。如果程序可以在等待的過程中做一些其他的事情，如進行請求的調度，響應的處理等，那麼爬蟲的效率就會比之前的那種方式有很大的提升。 而aiohttp就是這樣一個提供非同步web服務的庫。使用說這個庫用起來還是相當方便的。
解析庫：
1.lxml lxml是python的一個解析庫，這個庫支持HTML和xml的解析，支持XPath的解析方式，而且效率也是非常高的，深受廣大程序員的熱愛
2.Beautiful Soup Beautiful Soup也是python里一個HTML或XMl的解析庫，它可以很方便的懂網頁中提取數據，擁有強大的API和多種解析方式。
3.pyquery 同樣是一個強大的網頁解析工具，它提供了和 jQuery 類似的語法來解析HTML 文梢，
資料庫：
1.mysql 資料庫
2.MongoDB Mo goDB 是由 ＋＋語言編寫的非關系型資料庫， 是一個基於分布式文件存儲的開源資料庫系統內容存儲形式類似 JSON 對象，它的欄位值可以包含其他文檔、數組及文檔數組，非常靈活
3.Redis 是一個基於 存的高效的非關系型資料庫，
存儲庫：
1.PyMySOL
2.PyMongo
3.redis-py
4.RedisDump
web庫：
1.Flask 是一個輕量級的Web服務程序，它簡單，易用，靈活
2.Tornado 是一個支持非同步的Web框架，通過使用非阻塞I/O流，可以支持成千上萬的開放式連接。
E. python的爬蟲框架有哪些
實現爬蟲技術的編程環境有很多種，Java、Python、C++等都可以用來爬蟲。但很多人選擇Python來寫爬蟲，為什麼呢？因為Python確實很適合做爬蟲，豐富的第三方庫十分強大，簡單幾行代碼便可實現你想要的功能。更重要的，Python也是數據挖掘和分析的好能手。
高效的Python爬蟲框架。分享給大家。
1.Scrapy
Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。。用這個框架可以輕松爬下來如亞馬遜商品信息之類的數據。
2.PySpider
pyspider 是一個用python實現的功能強大的網路爬蟲系統，能在瀏覽器界面上進行腳本的編寫，功能的調度和爬取結果的實時查看，後端使用常用的資料庫進行爬取結果的存儲，還能定時設置任務與任務優先順序等。
3.Crawley
Crawley可以高速爬取對應網站的內容，支持關系和非關系資料庫，數據可以導出為JSON、XML等。
4、Portia：是一個開源可視化爬蟲工具，可讓使用者在不需要任何編程知識的情況下爬取網站！簡單地注釋自己感興趣的頁面，Portia將創建一個蜘蛛來從類似的頁面提取數據。簡單來講，它是基於scrapy內核；可視化爬取內容，不需要任何開發專業知識；動態匹配相同模板的內容。
5.Newspaper
Newspaper可以用來提取新聞、文章和內容分析。使用多線程，支持10多種語言等。
6、Python-goose：Java寫的文章提取工具。Python-goose框架可提取的信息包括：文章主體內容、文章主要圖片、文章中嵌入的任何Youtube/Vimeo視頻、元描述、元標簽。
7.Grab
Grab是一個用於構建Web刮板的Python框架。藉助Grab，您可以構建各種復雜的網頁抓取工具，從簡單的5行腳本到處理數百萬個網頁的復雜非同步網站抓取工具
8、selenium：這是一個調用瀏覽器的driver，通過這個庫你可以直接調用瀏覽器完成某些操作，比如輸入驗證碼。
F. python爬蟲是幹嘛的
爬蟲技術是一種自動化程序。
爬蟲就是一種可以從網頁上抓取數據信息並保存的自動化程序，它的原理就是模擬瀏覽器發送網路請求，接受請求響應，然後按照一定的規則自動抓取互聯網數據。
搜索引擎通過這些爬蟲從一個網站爬到另一個網站，跟蹤網頁中的鏈接，訪問更多的網頁，這個過程稱為爬行，這些新的網址會被存入資料庫等待搜索。簡而言之，爬蟲就是通過不間斷地訪問互聯網，然後從中獲取你指定的信息並返回給你。而我們的互聯網上，隨時都有無數的爬蟲在爬取數據，並返回給使用者。
爬蟲技術的功能
1、獲取網頁
獲取網頁可以簡單理解為向網頁的伺服器發送網路請求，然後伺服器返回給我們網頁的源代碼，其中通信的底層原理較為復雜，而Python給我們封裝好了urllib庫和requests庫等，這些庫可以讓我們非常簡單的發送各種形式的請求。
2、提取信息
獲取到的網頁源碼內包含了很多信息，想要進提取到我們需要的信息，則需要對源碼還要做進一步篩選。可以選用python中的re庫即通過正則匹配的形式去提取信息，也可以採用BeautifulSoup庫（bs4）等解析源代碼，除了有自動編碼的優勢之外，bs4庫還可以結構化輸出源代碼信息，更易於理解與使用。
3、保存數據
提取到我們需要的有用信息後，需要在Python中把它們保存下來。可以使用通過內置函數open保存為文本數據，也可以用第三方庫保存為其它形式的數據，例如可以通過pandas庫保存為常見的xlsx數據，如果有圖片等非結構化數據還可以通過pymongo庫保存至非結構化資料庫中。
G. 如何用Python爬取數據
方法/步驟
在做爬取數據之前，你需要下載安裝兩個東西，一個是urllib,另外一個是python-docx。
7
這個爬下來的是源代碼，如果還需要篩選的話需要自己去添加各種正則表達式。