pythonrest框架

⑴ python web開發用什麼框架

對初學者來說，循序漸進是最重要的，我推薦學習 Flask（Welcome | Flask (A Python Microframework)）

Flask 很輕，花很少的成本就能夠開發一個簡單的網站。非常適合初學者學習。
Flask 框架學會以後，可以考慮學習插件的使用。例如使用 WTForm + Flask-WTForm 來驗證表單數據，用 sqlAlchemy + Flask-SQLAlchemy 來對你的資料庫進行控制。
BTW：果殼網基於 Flask 開發的。
另外也簡單介紹下其他框架：
1. Django。如樓上所說，是一個全能型框架。目前 Django 的使用面還是很廣的，有學習的價值，但是不建議初學者學習，因為要學習的東西太多了，一下子難以吸收會失去興趣。當然，Django 的目的是為了讓開發者能夠 快速 地開發一個網站，它提供了很多模塊，其中我最喜歡的就是 admin 模塊，http://your.site.com/admin 就進入了網站的後台（內置的哦~）方便地對數據進行操作，等等。。。。因此，如果對 Django 熟悉的話，papapa 一下子就寫好一個網站的原型了。
2. Tornado。傳說中性能高高的框架。Tornado 是一個很好的框架，支持非同步處理的功能，這是它的特點，其他框架不支持。另外一點是，Tornado 的設計似乎更注重 RESTful URL。但 Tornado 提供了網站基本需要使用的模塊外，剩下的則需要開發者自己進行擴展。例如資料庫操作，雖然內置了一個 database 的模塊（後來獨立出去了，現在叫做 torndb，bdarnell/torndb · GitHub）但是不支持 ORM，快速開發起來還是挺吃力的。如果需要 ORM 支持的話，還需要自己寫一層將 SQLAlchemy 和 Tornado 聯系起來，而且這里還有一個坑。
BTW：知乎就是基礎 Tornado 開發的。
3. Bottle。Bottle 和 Flask 都屬於輕量級的 Web 框架。但是 Bottle 似乎落寞了。我覺得跟他的 API 設計有關系。個人認為 Bottle 使用起來不那麼順手，因此也用得少。這里不做太多介紹。
4. web.py。也是很輕的一個框架，使用不多，也不做介紹。
5. web2py。我看樓上都沒有對這個框架做介紹。這個框架是 Google 在 web.py 基礎上二次開發而來的，兼容 GAE 。性能據說很高，曾經用他來做自己的主頁，感覺也還不錯。缺點同樣是對擴展支持不太好，需要自己進行擴展。
6. Quixote。著名的 豆瓣 就是基於 Quixote 開發的。跟上面幾個框架不同，Quixote 的路由會有些特別。另外 Quixote 的性能據說也好。

⑵ Python幾種主流框架比較

從GitHub中整理出的15個最受歡迎的Python開源框架。這些框架包括事件I/O，OLAP，Web開發，高性能網路通信，測試，爬蟲等。x0dx0ax0dx0aDjango: Python Web應用開發框架x0dx0a Django 應該是最出名的Python框架，GAE甚至Erlang都有框架受它影響。Django是走大而全的方向，它最出名的是其全自動化的管理後台：只需要使用起ORM，做簡單的對象定義，它就能自動生成資料庫結構、以及全功能的管理後台。x0dx0ax0dx0aDiesel：基於Greenlet的事件I/O框架x0dx0a Diesel提供一個整潔的API來編寫網路客戶端和伺服器。支持TCP和UDP。x0dx0ax0dx0aFlask：一個用Python編寫的輕量級Web應用框架x0dx0a Flask是一個使用Python編寫的輕量級Web應用框架。基於Werkzeug WSGI工具箱和Jinja2 x0dx0a模板引擎。Flask也被稱為「microframework」，因為它使用簡單的核心，用extension增加其他功能。Flask沒有默認使用的數x0dx0a據庫、窗體驗證工具。x0dx0ax0dx0aCubes：輕量級Python OLAP框架x0dx0a Cubes是一個輕量級Python框架，包含OLAP、多維數據分析和瀏覽聚合數據（aggregated data）等工具。x0dx0ax0dx0aKartograph.py：創造矢量地圖的輕量級Python框架x0dx0a Kartograph是一個Python庫，用來為ESRI生成SVG地圖。Kartograph.py目前仍處於beta階段，你可以在virtualenv環境下來測試。x0dx0ax0dx0aPulsar：Python的事件驅動並發框架x0dx0a Pulsar是一個事件驅動的並發框架，有了pulsar，你可以寫出在不同進程或線程中運行一個或多個活動的非同步伺服器。x0dx0ax0dx0aWeb2py：全棧式Web框架x0dx0a Web2py是一個為Python語言提供的全功能Web應用框架，旨在敏捷快速的開發Web應用，具有快速、安全以及可移植的資料庫驅動的應用，兼容Google App Engine。x0dx0ax0dx0aFalcon：構建雲API和網路應用後端的高性能Python框架x0dx0a Falcon是一個構建雲API的高性能Python框架，它鼓勵使用REST架構風格，盡可能以最少的力氣做最多的事情。x0dx0ax0dx0aDpark：Python版的Sparkx0dx0a DPark是Spark的Python克隆，是一個Python實現的分布式計算框架，可以非常方便地實現大規模數據處理和迭代計算。DPark由豆瓣實現，目前豆瓣內部的絕大多數數據分析都使用DPark完成，正日趨完善。x0dx0ax0dx0aBuildbot：基於Python的持續集成測試框架x0dx0a Buildbot是一個開源框架，可以自動化軟體構建、測試和發布等過程。每當代碼有改變，伺服器要求不同平台上的客戶端立即進行代碼構建和測試，收集並報告不同平台的構建和測試結果。x0dx0ax0dx0aZerorpc：基於ZeroMQ的高性能分布式RPC框架x0dx0a Zerorpc是一個基於ZeroMQ和MessagePack開發的遠程過程調用協議（RPC）實現。和 Zerorpc 一起使用的 Service API 被稱為 zeroservice。Zerorpc 可以通過編程或命令行方式調用。x0dx0ax0dx0aBottle: 微型Python Web框架x0dx0a Bottle是一個簡單高效的遵循WSGI的微型python Web框架。說微型，是因為它只有一個文件，除Python標准庫外，它不依賴於任何第三方模塊。x0dx0ax0dx0aTornado：非同步非阻塞IO的Python Web框架x0dx0a Tornado的全稱是Torado Web Server，從名字上看就可知道它可以用作Web伺服器，但同時它也是一個Python Web的開發框架。最初是在FriendFeed公司的網站上使用，FaceBook收購了之後便開源了出來。x0dx0ax0dx0awebpy: 輕量級的Python Web框架x0dx0a webpy的設計理念力求精簡（Keep it simple and powerful），源碼很簡短，只提供一個框架所必須的東西，不依賴大量的第三方模塊，它沒有URL路由、沒有模板也沒有資料庫的訪問。x0dx0ax0dx0aScrapy：Python的爬蟲框架x0dx0a Scrapy是一個使用Python編寫的，輕量級的，簡單輕巧，並且使用起來非常的方便。

⑶ python的web框架哪個好

python在web開發方面有著廣泛的應用。鑒於各種各樣的框架，對於開發者來說如何選擇將成為一個問題。為此，我特此對比較常見的幾種框架從性能、使用感受以及應用情況進行一個粗略的分析。

1 Django

Django是一個開放源代碼的Web應用框架，由Python寫成。採用了MTV的框架模式，即模型M，模板T和視圖V。它最初是被開發來用於管理勞倫斯出版集團旗下的一些以新聞內容為主的網站的，即是CMS（內容管理系統）軟體。Django與其他框架比較，它有個比較獨特的特性，支持orm，將資料庫的操作封裝成為python，對於需要適用多種資料庫的應用來說是個比較好的特性。不過這種特性，已經有其他庫完成了，sqlalchemy.

2 Flask

Flask是一個使用 Python 編寫的輕量級 Web 應用框架。其 WSGI 工具箱採用 Werkzeug ，模板引擎則使用 Jinja2 。Flask使用 BSD 授權。

Flask也被稱為 「microframework」 ，因為它使用簡單的核心，用 extension 增加其他功能。Flask沒有默認使用的資料庫、窗體驗證工具。

Flask 很輕，花很少的成本就能夠開發一個簡單的網站。非常適合初學者學習。Flask 框架學會以後，可以考慮學習插件的使用。例如使用 WTForm + Flask-WTForm 來驗證表單數據，用 SQLAlchemy + Flask-SQLAlchemy 來對你的資料庫進行控制。

推薦學習《python教程》

3 Tornado

Tornado是一種 Web 伺服器軟體的開源版本。Tornado 和現在的主流 Web 伺服器框架（包括大多數 Python 的框架）有著明顯的區別：它是非阻塞式伺服器，而且速度相當快。

得利於其 非阻塞的方式和對epoll的運用，Tornado 每秒可以處理數以千計的連接，因此 Tornado 是實時 Web 服務的一個 理想框架。不過現在與眾多的框架比較，Tornado已經被拋在了後面，Django已經超過了它，更不說其他框架了，只能說Tornado使用純python開發的性能還是不能與其他框架藉助於cython開發的性能相比。

4 web.py

web.py 是一個Python 的web 框架，它簡單而且功能強大。web.py 是公開的，無論用於什麼用途都是沒有限制的。而且相當的小巧，應當歸屬於輕量級的web 框架。但這並不影響web.py 的強大，而且使用起來很簡單、很直接。在實際應用上，web.py 更多的是學術上的價值，因為你可以看到更多web 應用的底層，這在當今「抽象得很好」的web 框架上是學不到的 ：）

5 Aiohttp

高性能非同步web框架，既有客戶端的也有服務端的，還支持web-socket

6 Sanic

與flask類似，並支持非同步

7 Vibora

旨在成為最快的python web框架。vibora的高性能依賴於 cython實現的uvloop非同步框架及cython實現的http_parser, 再加上一些cython構建的web組件，比如 模板，user-route等。目前還處於測試階段。

8 Bottle

Bottle是一個簡單高效的遵循WSGI的微型python Web框架。說微型，是因為它只有一個文件，除Python標准庫外，它不依賴於任何第三方模塊。

9 Falcon

Falcon是一個構建雲API的高性能Python框架，它鼓勵使用REST架構風格，盡可能以最少的力氣做最多的事情。

10 weppy

性能優於flask的一個全棧web框架。

⑷ Python的爬蟲框架有哪些

向大家推薦十個Python爬蟲框架。

1、Scrapy：Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。它是很強大的爬蟲框架，可以滿足簡單的頁面爬取，比如可以明確獲知url pattern的情況。用這個框架可以輕松爬下來如亞馬遜商品信息之類的數據。但是對於稍微復雜一點的頁面，如weibo的頁面信息，這個框架就滿足不了需求了。它的特性有：HTML, XML源數據 選擇及提取 的內置支持；提供了一系列在spider之間共享的可復用的過濾器(即 Item Loaders)，對智能處理爬取數據提供了內置支持。

2、Crawley：高速爬取對應網站的內容，支持關系和非關系資料庫，數據可以導出為JSON、XML等。

3、Portia：是一個開源可視化爬蟲工具，可讓使用者在不需要任何編程知識的情況下爬取網站！簡單地注釋自己感興趣的頁面，Portia將創建一個蜘蛛來從類似的頁面提取數據。簡單來講，它是基於scrapy內核；可視化爬取內容，不需要任何開發專業知識；動態匹配相同模板的內容。

4、newspaper：可以用來提取新聞、文章和內容分析。使用多線程，支持10多種語言等。作者從requests庫的簡潔與強大得到靈感，使用Python開發的可用於提取文章內容的程序。支持10多種語言並且所有的都是unicode編碼。

5、Python-goose：Java寫的文章提取工具。Python-goose框架可提取的信息包括：文章主體內容、文章主要圖片、文章中嵌入的任何Youtube/Vimeo視頻、元描述、元標簽。

6、Beautiful Soup：名氣大，整合了一些常用爬蟲需求。它是一個可以從HTML或XML文件中提取數據的Python庫。它能夠通過你喜歡的轉換器實現慣用的文檔導航,查找,修改文檔的方式.Beautiful Soup會幫你節省數小時甚至數天的工作時間。Beautiful Soup的缺點是不能載入JS。

7、mechanize：它的優點是可以載入JS。當然它也有缺點，比如文檔嚴重缺失。不過通過官方的example以及人肉嘗試的方法，還是勉強能用的。

8、selenium：這是一個調用瀏覽器的driver，通過這個庫你可以直接調用瀏覽器完成某些操作，比如輸入驗證碼。Selenium是自動化測試工具，它支持各種瀏覽器，包括 Chrome，Safari，Firefox等主流界面式瀏覽器，如果在這些瀏覽器裡面安裝一個 Selenium 的插件，可以方便地實現Web界面的測試. Selenium支持瀏覽器驅動。Selenium支持多種語言開發，比如 Java，C，Ruby等等，PhantomJS 用來渲染解析JS，Selenium 用來驅動以及與Python的對接，Python進行後期的處理。

9、cola：是一個分布式的爬蟲框架，對於用戶來說，只需編寫幾個特定的函數，而無需關注分布式運行的細節。任務會自動分配到多台機器上，整個過程對用戶是透明的。項目整體設計有點糟，模塊間耦合度較高。

10、PySpider：一個國人編寫的強大的網路爬蟲系統並帶有強大的WebUI。採用Python語言編寫，分布式架構，支持多種資料庫後端，強大的WebUI支持腳本編輯器，任務監視器，項目管理器以及結果查看器。Python腳本控制，可以用任何你喜歡的html解析包。

以上就是分享的Python爬蟲一般用的十大主流框架。這些框架的優缺點都不同，大家在使用的時候，可以根據具體場景選擇合適的框架。

⑸ Python中的爬蟲框架有哪些呢

實現爬蟲技術的編程環境有很多種，Java、Python、C++等都可以用來爬蟲。但很多人選擇Python來寫爬蟲，為什麼呢？因為Python確實很適合做爬蟲，豐富的第三方庫十分強大，簡單幾行代碼便可實現你想要的功能。更重要的，Python也是數據挖掘和分析的好能手。那麼，Python爬蟲一般用什麼框架比較好？
一般來講，只有在遇到比較大型的需求時，才會使用Python爬蟲框架。這樣的做的主要目的，是為了方便管理以及擴展。本文我將向大家推薦十個Python爬蟲框架。
1、Scrapy：Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。它是很強大的爬蟲框架，可以滿足簡單的頁面爬取，比如可以明確獲知url pattern的情況。用這個框架可以輕松爬下來如亞馬遜商品信息之類的數據。但是對於稍微復雜一點的頁面，如weibo的頁面信息，這個框架就滿足不了需求了。它的特性有：HTML, XML源數據 選擇及提取 的內置支持；提供了一系列在spider之間共享的可復用的過濾器(即 Item Loaders)，對智能處理爬取數據提供了內置支持。
2、Crawley：高速爬取對應網站的內容，支持關系和非關系資料庫，數據可以導出為JSON、XML等。
3、Portia：是一個開源可視化爬蟲工具，可讓使用者在不需要任何編程知識的情況下爬取網站！簡單地注釋自己感興趣的頁面，Portia將創建一個蜘蛛來從類似的頁面提取數據。簡單來講，它是基於scrapy內核；可視化爬取內容，不需要任何開發專業知識；動態匹配相同模板的內容。

4、newspaper：可以用來提取新聞、文章和內容分析。使用多線程，支持10多種語言等。作者從requests庫的簡潔與強大得到靈感，使用Python開發的可用於提取文章內容的程序。支持10多種語言並且所有的都是unicode編碼。
5、Python-goose：Java寫的文章提取工具。Python-goose框架可提取的信息包括：文章主體內容、文章主要圖片、文章中嵌入的任何Youtube/Vimeo視頻、元描述、元標簽。
6、Beautiful Soup：名氣大，整合了一些常用爬蟲需求。它是一個可以從HTML或XML文件中提取數據的Python庫。它能夠通過你喜歡的轉換器實現慣用的文檔導航,查找,修改文檔的方式.Beautiful Soup會幫你節省數小時甚至數天的工作時間。Beautiful Soup的缺點是不能載入JS。
7、mechanize：它的優點是可以載入JS。當然它也有缺點，比如文檔嚴重缺失。不過通過官方的example以及人肉嘗試的方法，還是勉強能用的。
8、selenium：這是一個調用瀏覽器的driver，通過這個庫你可以直接調用瀏覽器完成某些操作，比如輸入驗證碼。Selenium是自動化測試工具，它支持各種瀏覽器，包括 Chrome，Safari，Firefox等主流界面式瀏覽器，如果在這些瀏覽器裡面安裝一個 Selenium 的插件，可以方便地實現Web界面的測試. Selenium支持瀏覽器驅動。Selenium支持多種語言開發，比如 Java，C，Ruby等等，PhantomJS 用來渲染解析JS，Selenium 用來驅動以及與Python的對接，Python進行後期的處理。
9、cola：是一個分布式的爬蟲框架，對於用戶來說，只需編寫幾個特定的函數，而無需關注分布式運行的細節。任務會自動分配到多台機器上，整個過程對用戶是透明的。項目整體設計有點糟，模塊間耦合度較高。
10、PySpider：一個國人編寫的強大的網路爬蟲系統並帶有強大的WebUI。採用Python語言編寫，分布式架構，支持多種資料庫後端，強大的WebUI支持腳本編輯器，任務監視器，項目管理器以及結果查看器。Python腳本控制，可以用任何你喜歡的html解析包。

⑹ python爬蟲框架哪個好用

爬蟲框架中比較好用的是 Scrapy 和PySpider。pyspider上手更簡單，操作更加簡便，因為它增加了 WEB 界面，寫爬蟲迅速，集成了phantomjs，可以用來抓取js渲染的頁面。Scrapy自定義程度高，比 PySpider更底層一些，適合學習研究，需要學習的相關知識多，不過自己拿來研究分布式和多線程等等是非常合適的。

PySpider

PySpider是binux做的一個爬蟲架構的開源化實現。主要的功能需求是：

抓取、更新調度多站點的特定的頁面

需要對頁面進行結構化信息提取

靈活可擴展，穩定可監控

pyspider的設計基礎是：以python腳本驅動的抓取環模型爬蟲

通過python腳本進行結構化信息的提取，follow鏈接調度抓取控制，實現最大的靈活性

通過web化的腳本編寫、調試環境。web展現調度狀態

抓取環模型成熟穩定，模塊間相互獨立，通過消息隊列連接，從單進程到多機分布式靈活拓展

pyspider的架構主要分為 scheler（調度器）, fetcher（抓取器）, processor（腳本執行）：

各個組件間使用消息隊列連接，除了scheler是單點的，fetcher 和 processor 都是可以多實例分布式部署的。 scheler 負責整體的調度控制

任務由 scheler 發起調度，fetcher 抓取網頁內容， processor 執行預先編寫的python腳本，輸出結果或產生新的提鏈任務（發往 scheler），形成閉環。

每個腳本可以靈活使用各種python庫對頁面進行解析，使用框架API控制下一步抓取動作，通過設置回調控制解析動作。

⑺ django rest framework中文介紹

注意：這是版本3的文檔。還提供了版本2的文檔。

Django REST framework 是一個強大且靈活的工具包，用以構建Web APIs。
為什麼要使用REST framework？

REST framework is a collaboratively(合作地) funded project(基金項目). If you use REST framework commercially（商業化的） we strongly（強烈） encourage（建議） you to invest(投資) in its continued development(可持續發展) by signing up for a paid plan .(注冊付費計劃)

Every single（每次簡單） sign-up helps us make REST framework long-term financially（財政上） sustainable(財務上可持續發展)

Many thanks to all our wonderful sponsors (贊助商), and in particular to our premium backers(優質的支持者), Rover , Sentry , Stream , Machinalis , and Rollbar .
（非常感謝我們所有的優秀贊助商，特別是我們的優秀支持者， Rover , Sentry , Stream , Machinalis , and Rollbar .
）

REST framework 有以下的要求：

Python (2.7, 3.2, 3.3, 3.4, 3.5，3.6)
Django (1.7+, 1.8, 1.9，,2.0)

下面是可選的包：

Install using pip , including any optional packages you want...（使用pip安裝，包括任何你想要的可選包裹...）

...or clone the project from github.（或者從GitHub復制項目）

Add 'rest_framework' to your INSTALLED_APPS setting.

If you're intending to use the browsable API you'll probably also want to add REST framework's login and logout views. Add the following to your root urls.py file.（如果您打算使用可瀏覽的API，您可能還需要添加REST框架的登錄和注銷視圖。將以下內容添加到您的根urls.py文件中。）

Note that the URL path can be whatever you want.（注意，url路徑可以是任何你想要的。）

Let's take a look at a quick example of using REST framework to build a simple model-backed API.讓我們來看看一個使用REST framework構建一個簡單模型支持api的快速示例。

We'll create a read-write API for accessing information on the users of our project.（我們將創建一個讀寫api，用於訪問項目用戶的信息。）

Any global settings for a REST framework API are kept in a single configuration dictionary named REST_FRAMEWORK . Start off by adding the following to your settings.py mole:（REST framework api的任何全局設置都保存在一個名為「rest_wramework」的配置詞典中。首先在「環境」模塊中添加以下內容：）

Don't forget to make sure you've also added rest_framework to your INSTALLED_APPS .（別忘了確保你已經在「INSTALLED_APPS」中添加了「rest_framework」。）

We're ready to create our API now. Here's our project's root urls.py mole:（我們准備好創建我們的api了。這是我們項目的根源 urls.py 模塊：）

You can now open the API in your browser at http://127.0.0.1:8000/ , and view your new 'users' API. If you use the login control in the top right corner you'll also be able to add, create and delete users from the system.（現在，您可以在瀏覽器中輸入『http://127.0.0.1:8000/』打開api，並查看您的新「用戶」api。如果您使用右上角的登錄控制項，您也可以從系統中添加、創建和刪除用戶。）

Can't wait to get started? The quickstart guide is the fastest way to get up and running, and building APIs with REST framework.（等不及要開始了？快速啟動指南是最快的建立和運行的方式，並建立REST framework的apis。）

The tutorial will walk you through the building blocks that make up REST framework. It'll take a little while to get through, but it'll give you a comprehensive understanding of how everything fits together, and is highly recommended reading.（本教程將幫助您完成組成REST框架的構建塊。這需要一點時間來完成，但是它會給你一個全面的理解如何把一切結合起來，並強烈推薦閱讀。）

There is a live example API of the finished tutorial API for testing purposes, available here .這里有一個用於測試目的的完成教程API的實例化API，這里可獲得

The API guide is your complete reference manual to all the functionality provided by REST framework.（API指南是您對REST框架提供的所有功能的完整參考手冊）

General guides to using REST framework.（使用REST框架的一般指南。）

See the Contribution guidelines for information on how to clone the repository, run the test suite and contribute changes back to REST Framework.（有關如何克隆存儲庫、運行測試套件以及向REST框架貢獻更改的信息，請參閱貢獻指南。）

For support please see the REST framework discussion group , try the #restframework channel on irc.freenode.net , search the IRC archives , or raise a question on Stack Overflow , making sure to include the 'django-rest-framework' tag.（要獲得支持，請參閱REST框架討論組，在IRC .freenode.net上嘗試#restframework通道，搜索IRC檔案，或者對Stack Overflow提出問題，確保包含「django-rest-framework」標簽。）

For priority support please sign up for a professional or premium sponsorship plan .（如需優先支持，請注冊專業或優質贊助計劃。）

For updates on REST framework development, you may also want to follow the author on Twitter.（對於REST框架開發的更新，您可能還希望在Twitter上跟隨作者。）

Follow @_tomchristie

If you believe you』ve found something in Django REST framework which has security implications, please do not raise the issue in a public forum .

Send a description of the issue via email to [email protected] . The project maintainers will then work with you to resolve any issues where required, prior to any public disclosure.

Copyright (c) 2011-2017, Tom Christie All rights reserved.

Redistribution and use in source and binary forms, with or without modification, are permitted provided that the following conditions are met:

Redistributions of source code must retain the above right notice, this list of conditions and the following disclaimer. Redistributions in binary form must reproce the above right notice, this list of conditions and the following disclaimer in the documentation and/or other materials provided with the distribution.

THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.

⑻ python的爬蟲框架有哪些

實現爬蟲技術的編程環境有很多種，Java、Python、C++等都可以用來爬蟲。但很多人選擇Python來寫爬蟲，為什麼呢？因為Python確實很適合做爬蟲，豐富的第三方庫十分強大，簡單幾行代碼便可實現你想要的功能。更重要的，Python也是數據挖掘和分析的好能手。
高效的Python爬蟲框架。分享給大家。
1.Scrapy
Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。。用這個框架可以輕松爬下來如亞馬遜商品信息之類的數據。
2.PySpider
pyspider 是一個用python實現的功能強大的網路爬蟲系統，能在瀏覽器界面上進行腳本的編寫，功能的調度和爬取結果的實時查看，後端使用常用的資料庫進行爬取結果的存儲，還能定時設置任務與任務優先順序等。
3.Crawley
Crawley可以高速爬取對應網站的內容，支持關系和非關系資料庫，數據可以導出為JSON、XML等。
4、Portia：是一個開源可視化爬蟲工具，可讓使用者在不需要任何編程知識的情況下爬取網站！簡單地注釋自己感興趣的頁面，Portia將創建一個蜘蛛來從類似的頁面提取數據。簡單來講，它是基於scrapy內核；可視化爬取內容，不需要任何開發專業知識；動態匹配相同模板的內容。
5.Newspaper
Newspaper可以用來提取新聞、文章和內容分析。使用多線程，支持10多種語言等。
6、Python-goose：Java寫的文章提取工具。Python-goose框架可提取的信息包括：文章主體內容、文章主要圖片、文章中嵌入的任何Youtube/Vimeo視頻、元描述、元標簽。
7.Grab

Grab是一個用於構建Web刮板的Python框架。藉助Grab，您可以構建各種復雜的網頁抓取工具，從簡單的5行腳本到處理數百萬個網頁的復雜非同步網站抓取工具
8、selenium：這是一個調用瀏覽器的driver，通過這個庫你可以直接調用瀏覽器完成某些操作，比如輸入驗證碼。