pythonrest框架

⑴ python web开发用什么框架

对初学者来说，循序渐进是最重要的，我推荐学习 Flask（Welcome | Flask (A Python Microframework)）

Flask 很轻，花很少的成本就能够开发一个简单的网站。非常适合初学者学习。
Flask 框架学会以后，可以考虑学习插件的使用。例如使用 WTForm + Flask-WTForm 来验证表单数据，用 sqlAlchemy + Flask-SQLAlchemy 来对你的数据库进行控制。
BTW：果壳网基于 Flask 开发的。
另外也简单介绍下其他框架：
1. Django。如楼上所说，是一个全能型框架。目前 Django 的使用面还是很广的，有学习的价值，但是不建议初学者学习，因为要学习的东西太多了，一下子难以吸收会失去兴趣。当然，Django 的目的是为了让开发者能够 快速 地开发一个网站，它提供了很多模块，其中我最喜欢的就是 admin 模块，http://your.site.com/admin 就进入了网站的后台（内置的哦~）方便地对数据进行操作，等等。。。。因此，如果对 Django 熟悉的话，papapa 一下子就写好一个网站的原型了。
2. Tornado。传说中性能高高的框架。Tornado 是一个很好的框架，支持异步处理的功能，这是它的特点，其他框架不支持。另外一点是，Tornado 的设计似乎更注重 RESTful URL。但 Tornado 提供了网站基本需要使用的模块外，剩下的则需要开发者自己进行扩展。例如数据库操作，虽然内置了一个 database 的模块（后来独立出去了，现在叫做 torndb，bdarnell/torndb · GitHub）但是不支持 ORM，快速开发起来还是挺吃力的。如果需要 ORM 支持的话，还需要自己写一层将 SQLAlchemy 和 Tornado 联系起来，而且这里还有一个坑。
BTW：知乎就是基础 Tornado 开发的。
3. Bottle。Bottle 和 Flask 都属于轻量级的 Web 框架。但是 Bottle 似乎落寞了。我觉得跟他的 API 设计有关系。个人认为 Bottle 使用起来不那么顺手，因此也用得少。这里不做太多介绍。
4. web.py。也是很轻的一个框架，使用不多，也不做介绍。
5. web2py。我看楼上都没有对这个框架做介绍。这个框架是 Google 在 web.py 基础上二次开发而来的，兼容 GAE 。性能据说很高，曾经用他来做自己的主页，感觉也还不错。缺点同样是对扩展支持不太好，需要自己进行扩展。
6. Quixote。着名的 豆瓣 就是基于 Quixote 开发的。跟上面几个框架不同，Quixote 的路由会有些特别。另外 Quixote 的性能据说也好。

⑵ Python几种主流框架比较

从GitHub中整理出的15个最受欢迎的Python开源框架。这些框架包括事件I/O，OLAP，Web开发，高性能网络通信，测试，爬虫等。x0dx0ax0dx0aDjango: Python Web应用开发框架x0dx0a Django 应该是最出名的Python框架，GAE甚至Erlang都有框架受它影响。Django是走大而全的方向，它最出名的是其全自动化的管理后台：只需要使用起ORM，做简单的对象定义，它就能自动生成数据库结构、以及全功能的管理后台。x0dx0ax0dx0aDiesel：基于Greenlet的事件I/O框架x0dx0a Diesel提供一个整洁的API来编写网络客户端和服务器。支持TCP和UDP。x0dx0ax0dx0aFlask：一个用Python编写的轻量级Web应用框架x0dx0a Flask是一个使用Python编写的轻量级Web应用框架。基于Werkzeug WSGI工具箱和Jinja2 x0dx0a模板引擎。Flask也被称为“microframework”，因为它使用简单的核心，用extension增加其他功能。Flask没有默认使用的数x0dx0a据库、窗体验证工具。x0dx0ax0dx0aCubes：轻量级Python OLAP框架x0dx0a Cubes是一个轻量级Python框架，包含OLAP、多维数据分析和浏览聚合数据（aggregated data）等工具。x0dx0ax0dx0aKartograph.py：创造矢量地图的轻量级Python框架x0dx0a Kartograph是一个Python库，用来为ESRI生成SVG地图。Kartograph.py目前仍处于beta阶段，你可以在virtualenv环境下来测试。x0dx0ax0dx0aPulsar：Python的事件驱动并发框架x0dx0a Pulsar是一个事件驱动的并发框架，有了pulsar，你可以写出在不同进程或线程中运行一个或多个活动的异步服务器。x0dx0ax0dx0aWeb2py：全栈式Web框架x0dx0a Web2py是一个为Python语言提供的全功能Web应用框架，旨在敏捷快速的开发Web应用，具有快速、安全以及可移植的数据库驱动的应用，兼容Google App Engine。x0dx0ax0dx0aFalcon：构建云API和网络应用后端的高性能Python框架x0dx0a Falcon是一个构建云API的高性能Python框架，它鼓励使用REST架构风格，尽可能以最少的力气做最多的事情。x0dx0ax0dx0aDpark：Python版的Sparkx0dx0a DPark是Spark的Python克隆，是一个Python实现的分布式计算框架，可以非常方便地实现大规模数据处理和迭代计算。DPark由豆瓣实现，目前豆瓣内部的绝大多数数据分析都使用DPark完成，正日趋完善。x0dx0ax0dx0aBuildbot：基于Python的持续集成测试框架x0dx0a Buildbot是一个开源框架，可以自动化软件构建、测试和发布等过程。每当代码有改变，服务器要求不同平台上的客户端立即进行代码构建和测试，收集并报告不同平台的构建和测试结果。x0dx0ax0dx0aZerorpc：基于ZeroMQ的高性能分布式RPC框架x0dx0a Zerorpc是一个基于ZeroMQ和MessagePack开发的远程过程调用协议（RPC）实现。和 Zerorpc 一起使用的 Service API 被称为 zeroservice。Zerorpc 可以通过编程或命令行方式调用。x0dx0ax0dx0aBottle: 微型Python Web框架x0dx0a Bottle是一个简单高效的遵循WSGI的微型python Web框架。说微型，是因为它只有一个文件，除Python标准库外，它不依赖于任何第三方模块。x0dx0ax0dx0aTornado：异步非阻塞IO的Python Web框架x0dx0a Tornado的全称是Torado Web Server，从名字上看就可知道它可以用作Web服务器，但同时它也是一个Python Web的开发框架。最初是在FriendFeed公司的网站上使用，FaceBook收购了之后便开源了出来。x0dx0ax0dx0awebpy: 轻量级的Python Web框架x0dx0a webpy的设计理念力求精简（Keep it simple and powerful），源码很简短，只提供一个框架所必须的东西，不依赖大量的第三方模块，它没有URL路由、没有模板也没有数据库的访问。x0dx0ax0dx0aScrapy：Python的爬虫框架x0dx0a Scrapy是一个使用Python编写的，轻量级的，简单轻巧，并且使用起来非常的方便。

⑶ python的web框架哪个好

python在web开发方面有着广泛的应用。鉴于各种各样的框架，对于开发者来说如何选择将成为一个问题。为此，我特此对比较常见的几种框架从性能、使用感受以及应用情况进行一个粗略的分析。

1 Django

Django是一个开放源代码的Web应用框架，由Python写成。采用了MTV的框架模式，即模型M，模板T和视图V。它最初是被开发来用于管理劳伦斯出版集团旗下的一些以新闻内容为主的网站的，即是CMS（内容管理系统）软件。Django与其他框架比较，它有个比较独特的特性，支持orm，将数据库的操作封装成为python，对于需要适用多种数据库的应用来说是个比较好的特性。不过这种特性，已经有其他库完成了，sqlalchemy.

2 Flask

Flask是一个使用 Python 编写的轻量级 Web 应用框架。其 WSGI 工具箱采用 Werkzeug ，模板引擎则使用 Jinja2 。Flask使用 BSD 授权。

Flask也被称为 “microframework” ，因为它使用简单的核心，用 extension 增加其他功能。Flask没有默认使用的数据库、窗体验证工具。

Flask 很轻，花很少的成本就能够开发一个简单的网站。非常适合初学者学习。Flask 框架学会以后，可以考虑学习插件的使用。例如使用 WTForm + Flask-WTForm 来验证表单数据，用 SQLAlchemy + Flask-SQLAlchemy 来对你的数据库进行控制。

推荐学习《python教程》

3 Tornado

Tornado是一种 Web 服务器软件的开源版本。Tornado 和现在的主流 Web 服务器框架（包括大多数 Python 的框架）有着明显的区别：它是非阻塞式服务器，而且速度相当快。

得利于其 非阻塞的方式和对epoll的运用，Tornado 每秒可以处理数以千计的连接，因此 Tornado 是实时 Web 服务的一个 理想框架。不过现在与众多的框架比较，Tornado已经被抛在了后面，Django已经超过了它，更不说其他框架了，只能说Tornado使用纯python开发的性能还是不能与其他框架借助于cython开发的性能相比。

4 web.py

web.py 是一个Python 的web 框架，它简单而且功能强大。web.py 是公开的，无论用于什么用途都是没有限制的。而且相当的小巧，应当归属于轻量级的web 框架。但这并不影响web.py 的强大，而且使用起来很简单、很直接。在实际应用上，web.py 更多的是学术上的价值，因为你可以看到更多web 应用的底层，这在当今“抽象得很好”的web 框架上是学不到的 ：）

5 Aiohttp

高性能异步web框架，既有客户端的也有服务端的，还支持web-socket

6 Sanic

与flask类似，并支持异步

7 Vibora

旨在成为最快的python web框架。vibora的高性能依赖于 cython实现的uvloop异步框架及cython实现的http_parser, 再加上一些cython构建的web组件，比如 模板，user-route等。目前还处于测试阶段。

8 Bottle

Bottle是一个简单高效的遵循WSGI的微型python Web框架。说微型，是因为它只有一个文件，除Python标准库外，它不依赖于任何第三方模块。

9 Falcon

Falcon是一个构建云API的高性能Python框架，它鼓励使用REST架构风格，尽可能以最少的力气做最多的事情。

10 weppy

性能优于flask的一个全栈web框架。

⑷ Python的爬虫框架有哪些

向大家推荐十个Python爬虫框架。

1、Scrapy：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。它是很强大的爬虫框架，可以满足简单的页面爬取，比如可以明确获知url pattern的情况。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面，如weibo的页面信息，这个框架就满足不了需求了。它的特性有：HTML, XML源数据 选择及提取 的内置支持；提供了一系列在spider之间共享的可复用的过滤器(即 Item Loaders)，对智能处理爬取数据提供了内置支持。

2、Crawley：高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。

3、Portia：是一个开源可视化爬虫工具，可让使用者在不需要任何编程知识的情况下爬取网站！简单地注释自己感兴趣的页面，Portia将创建一个蜘蛛来从类似的页面提取数据。简单来讲，它是基于scrapy内核；可视化爬取内容，不需要任何开发专业知识；动态匹配相同模板的内容。

4、newspaper：可以用来提取新闻、文章和内容分析。使用多线程，支持10多种语言等。作者从requests库的简洁与强大得到灵感，使用Python开发的可用于提取文章内容的程序。支持10多种语言并且所有的都是unicode编码。

5、Python-goose：Java写的文章提取工具。Python-goose框架可提取的信息包括：文章主体内容、文章主要图片、文章中嵌入的任何Youtube/Vimeo视频、元描述、元标签。

6、Beautiful Soup：名气大，整合了一些常用爬虫需求。它是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间。Beautiful Soup的缺点是不能加载JS。

7、mechanize：它的优点是可以加载JS。当然它也有缺点，比如文档严重缺失。不过通过官方的example以及人肉尝试的方法，还是勉强能用的。

8、selenium：这是一个调用浏览器的driver，通过这个库你可以直接调用浏览器完成某些操作，比如输入验证码。Selenium是自动化测试工具，它支持各种浏览器，包括 Chrome，Safari，Firefox等主流界面式浏览器，如果在这些浏览器里面安装一个 Selenium 的插件，可以方便地实现Web界面的测试. Selenium支持浏览器驱动。Selenium支持多种语言开发，比如 Java，C，Ruby等等，PhantomJS 用来渲染解析JS，Selenium 用来驱动以及与Python的对接，Python进行后期的处理。

9、cola：是一个分布式的爬虫框架，对于用户来说，只需编写几个特定的函数，而无需关注分布式运行的细节。任务会自动分配到多台机器上，整个过程对用户是透明的。项目整体设计有点糟，模块间耦合度较高。

10、PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。Python脚本控制，可以用任何你喜欢的html解析包。

以上就是分享的Python爬虫一般用的十大主流框架。这些框架的优缺点都不同，大家在使用的时候，可以根据具体场景选择合适的框架。

⑸ Python中的爬虫框架有哪些呢

实现爬虫技术的编程环境有很多种，Java、Python、C++等都可以用来爬虫。但很多人选择Python来写爬虫，为什么呢？因为Python确实很适合做爬虫，丰富的第三方库十分强大，简单几行代码便可实现你想要的功能。更重要的，Python也是数据挖掘和分析的好能手。那么，Python爬虫一般用什么框架比较好？
一般来讲，只有在遇到比较大型的需求时，才会使用Python爬虫框架。这样的做的主要目的，是为了方便管理以及扩展。本文我将向大家推荐十个Python爬虫框架。
1、Scrapy：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。它是很强大的爬虫框架，可以满足简单的页面爬取，比如可以明确获知url pattern的情况。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面，如weibo的页面信息，这个框架就满足不了需求了。它的特性有：HTML, XML源数据 选择及提取 的内置支持；提供了一系列在spider之间共享的可复用的过滤器(即 Item Loaders)，对智能处理爬取数据提供了内置支持。
2、Crawley：高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。
3、Portia：是一个开源可视化爬虫工具，可让使用者在不需要任何编程知识的情况下爬取网站！简单地注释自己感兴趣的页面，Portia将创建一个蜘蛛来从类似的页面提取数据。简单来讲，它是基于scrapy内核；可视化爬取内容，不需要任何开发专业知识；动态匹配相同模板的内容。

4、newspaper：可以用来提取新闻、文章和内容分析。使用多线程，支持10多种语言等。作者从requests库的简洁与强大得到灵感，使用Python开发的可用于提取文章内容的程序。支持10多种语言并且所有的都是unicode编码。
5、Python-goose：Java写的文章提取工具。Python-goose框架可提取的信息包括：文章主体内容、文章主要图片、文章中嵌入的任何Youtube/Vimeo视频、元描述、元标签。
6、Beautiful Soup：名气大，整合了一些常用爬虫需求。它是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间。Beautiful Soup的缺点是不能加载JS。
7、mechanize：它的优点是可以加载JS。当然它也有缺点，比如文档严重缺失。不过通过官方的example以及人肉尝试的方法，还是勉强能用的。
8、selenium：这是一个调用浏览器的driver，通过这个库你可以直接调用浏览器完成某些操作，比如输入验证码。Selenium是自动化测试工具，它支持各种浏览器，包括 Chrome，Safari，Firefox等主流界面式浏览器，如果在这些浏览器里面安装一个 Selenium 的插件，可以方便地实现Web界面的测试. Selenium支持浏览器驱动。Selenium支持多种语言开发，比如 Java，C，Ruby等等，PhantomJS 用来渲染解析JS，Selenium 用来驱动以及与Python的对接，Python进行后期的处理。
9、cola：是一个分布式的爬虫框架，对于用户来说，只需编写几个特定的函数，而无需关注分布式运行的细节。任务会自动分配到多台机器上，整个过程对用户是透明的。项目整体设计有点糟，模块间耦合度较高。
10、PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。Python脚本控制，可以用任何你喜欢的html解析包。

⑹ python爬虫框架哪个好用

爬虫框架中比较好用的是 Scrapy 和PySpider。pyspider上手更简单，操作更加简便，因为它增加了 WEB 界面，写爬虫迅速，集成了phantomjs，可以用来抓取js渲染的页面。Scrapy自定义程度高，比 PySpider更底层一些，适合学习研究，需要学习的相关知识多，不过自己拿来研究分布式和多线程等等是非常合适的。

PySpider

PySpider是binux做的一个爬虫架构的开源化实现。主要的功能需求是：

抓取、更新调度多站点的特定的页面

需要对页面进行结构化信息提取

灵活可扩展，稳定可监控

pyspider的设计基础是：以python脚本驱动的抓取环模型爬虫

通过python脚本进行结构化信息的提取，follow链接调度抓取控制，实现最大的灵活性

通过web化的脚本编写、调试环境。web展现调度状态

抓取环模型成熟稳定，模块间相互独立，通过消息队列连接，从单进程到多机分布式灵活拓展

pyspider的架构主要分为 scheler（调度器）, fetcher（抓取器）, processor（脚本执行）：

各个组件间使用消息队列连接，除了scheler是单点的，fetcher 和 processor 都是可以多实例分布式部署的。 scheler 负责整体的调度控制

任务由 scheler 发起调度，fetcher 抓取网页内容， processor 执行预先编写的python脚本，输出结果或产生新的提链任务（发往 scheler），形成闭环。

每个脚本可以灵活使用各种python库对页面进行解析，使用框架API控制下一步抓取动作，通过设置回调控制解析动作。

⑺ django rest framework中文介绍

注意：这是版本3的文档。还提供了版本2的文档。

Django REST framework 是一个强大且灵活的工具包，用以构建Web APIs。
为什么要使用REST framework？

REST framework is a collaboratively(合作地) funded project(基金项目). If you use REST framework commercially（商业化的） we strongly（强烈） encourage（建议） you to invest(投资) in its continued development(可持续发展) by signing up for a paid plan .(注册付费计划)

Every single（每次简单） sign-up helps us make REST framework long-term financially（财政上） sustainable(财务上可持续发展)

Many thanks to all our wonderful sponsors (赞助商), and in particular to our premium backers(优质的支持者), Rover , Sentry , Stream , Machinalis , and Rollbar .
（非常感谢我们所有的优秀赞助商，特别是我们的优秀支持者， Rover , Sentry , Stream , Machinalis , and Rollbar .
）

REST framework 有以下的要求：

Python (2.7, 3.2, 3.3, 3.4, 3.5，3.6)
Django (1.7+, 1.8, 1.9，,2.0)

下面是可选的包：

Install using pip , including any optional packages you want...（使用pip安装，包括任何你想要的可选包裹...）

...or clone the project from github.（或者从GitHub复制项目）

Add 'rest_framework' to your INSTALLED_APPS setting.

If you're intending to use the browsable API you'll probably also want to add REST framework's login and logout views. Add the following to your root urls.py file.（如果您打算使用可浏览的API，您可能还需要添加REST框架的登录和注销视图。将以下内容添加到您的根urls.py文件中。）

Note that the URL path can be whatever you want.（注意，url路径可以是任何你想要的。）

Let's take a look at a quick example of using REST framework to build a simple model-backed API.让我们来看看一个使用REST framework构建一个简单模型支持api的快速示例。

We'll create a read-write API for accessing information on the users of our project.（我们将创建一个读写api，用于访问项目用户的信息。）

Any global settings for a REST framework API are kept in a single configuration dictionary named REST_FRAMEWORK . Start off by adding the following to your settings.py mole:（REST framework api的任何全局设置都保存在一个名为“rest_wramework”的配置词典中。首先在“环境”模块中添加以下内容：）

Don't forget to make sure you've also added rest_framework to your INSTALLED_APPS .（别忘了确保你已经在“INSTALLED_APPS”中添加了“rest_framework”。）

We're ready to create our API now. Here's our project's root urls.py mole:（我们准备好创建我们的api了。这是我们项目的根源 urls.py 模块：）

You can now open the API in your browser at http://127.0.0.1:8000/ , and view your new 'users' API. If you use the login control in the top right corner you'll also be able to add, create and delete users from the system.（现在，您可以在浏览器中输入‘http://127.0.0.1:8000/’打开api，并查看您的新“用户”api。如果您使用右上角的登录控件，您也可以从系统中添加、创建和删除用户。）

Can't wait to get started? The quickstart guide is the fastest way to get up and running, and building APIs with REST framework.（等不及要开始了？快速启动指南是最快的建立和运行的方式，并建立REST framework的apis。）

The tutorial will walk you through the building blocks that make up REST framework. It'll take a little while to get through, but it'll give you a comprehensive understanding of how everything fits together, and is highly recommended reading.（本教程将帮助您完成组成REST框架的构建块。这需要一点时间来完成，但是它会给你一个全面的理解如何把一切结合起来，并强烈推荐阅读。）

There is a live example API of the finished tutorial API for testing purposes, available here .这里有一个用于测试目的的完成教程API的实例化API，这里可获得

The API guide is your complete reference manual to all the functionality provided by REST framework.（API指南是您对REST框架提供的所有功能的完整参考手册）

General guides to using REST framework.（使用REST框架的一般指南。）

See the Contribution guidelines for information on how to clone the repository, run the test suite and contribute changes back to REST Framework.（有关如何克隆存储库、运行测试套件以及向REST框架贡献更改的信息，请参阅贡献指南。）

For support please see the REST framework discussion group , try the #restframework channel on irc.freenode.net , search the IRC archives , or raise a question on Stack Overflow , making sure to include the 'django-rest-framework' tag.（要获得支持，请参阅REST框架讨论组，在IRC .freenode.net上尝试#restframework通道，搜索IRC档案，或者对Stack Overflow提出问题，确保包含“django-rest-framework”标签。）

For priority support please sign up for a professional or premium sponsorship plan .（如需优先支持，请注册专业或优质赞助计划。）

For updates on REST framework development, you may also want to follow the author on Twitter.（对于REST框架开发的更新，您可能还希望在Twitter上跟随作者。）

Follow @_tomchristie

If you believe you’ve found something in Django REST framework which has security implications, please do not raise the issue in a public forum .

Send a description of the issue via email to [email protected] . The project maintainers will then work with you to resolve any issues where required, prior to any public disclosure.

Copyright (c) 2011-2017, Tom Christie All rights reserved.

Redistribution and use in source and binary forms, with or without modification, are permitted provided that the following conditions are met:

Redistributions of source code must retain the above right notice, this list of conditions and the following disclaimer. Redistributions in binary form must reproce the above right notice, this list of conditions and the following disclaimer in the documentation and/or other materials provided with the distribution.

THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.

⑻ python的爬虫框架有哪些

实现爬虫技术的编程环境有很多种，Java、Python、C++等都可以用来爬虫。但很多人选择Python来写爬虫，为什么呢？因为Python确实很适合做爬虫，丰富的第三方库十分强大，简单几行代码便可实现你想要的功能。更重要的，Python也是数据挖掘和分析的好能手。
高效的Python爬虫框架。分享给大家。
1.Scrapy
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。
2.PySpider
pyspider 是一个用python实现的功能强大的网络爬虫系统，能在浏览器界面上进行脚本的编写，功能的调度和爬取结果的实时查看，后端使用常用的数据库进行爬取结果的存储，还能定时设置任务与任务优先级等。
3.Crawley
Crawley可以高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。
4、Portia：是一个开源可视化爬虫工具，可让使用者在不需要任何编程知识的情况下爬取网站！简单地注释自己感兴趣的页面，Portia将创建一个蜘蛛来从类似的页面提取数据。简单来讲，它是基于scrapy内核；可视化爬取内容，不需要任何开发专业知识；动态匹配相同模板的内容。
5.Newspaper
Newspaper可以用来提取新闻、文章和内容分析。使用多线程，支持10多种语言等。
6、Python-goose：Java写的文章提取工具。Python-goose框架可提取的信息包括：文章主体内容、文章主要图片、文章中嵌入的任何Youtube/Vimeo视频、元描述、元标签。
7.Grab

Grab是一个用于构建Web刮板的Python框架。借助Grab，您可以构建各种复杂的网页抓取工具，从简单的5行脚本到处理数百万个网页的复杂异步网站抓取工具
8、selenium：这是一个调用浏览器的driver，通过这个库你可以直接调用浏览器完成某些操作，比如输入验证码。