pythonwebget

⑴ 纯 python 写一个 Web 框架，就是这么简单

造轮子是最好的一种学习方式，本文尝试从0开始造个Python Web框架的轮子，我称它为 ToyWebF 。

本文操作环境为：MacOS，文中涉及的命令，请根据自己的系统进行替换。

ToyWebF的简单特性：

下面我们来实现这些特性。

首先，我们需要安装gunicorn，回忆一下Flask框架，该框架有内置的Web服务器，但不稳定，所以上线时通常会替换成uWSGI或gunicorn，这里不搞这个内置Web服务，直接使用gunicorn。

我们创建新的目录与Python虚拟环境，在该虚拟环境中安装gunicorn

在啥都没有的情况下，构建最简单的Web服务，在ToyWebF目录下，创建app.py与api.py文件，写入下面代码。

运行 gunicorn app:app 访问 http://127.0.0.1:8000 ，可以看见 Hello, World! ，但现在请求体中的参数在environ变量中，难以解析，我们返回的response也是bytes形式。

我们可以使用webob库，将environ中的数据转为Request对象，将需要返回的数据转为Response对象，处理起来更加直观方便，直接通过pip安装一下。

然后修改一下API类的 __call__方法 ，代码如下。

上述代码中，通过webob库的Request类将environ对象（请求的环境信息）转为容易处理的request，随后调用handle_request方法对request进行处理，处理的结果，通过response对象返回。

handle_request方法在ToyWebF中非常重要，它会匹配出某个路由对应的处理方法，然后调用该方法处理请求并将处理的结果返回，在解析handle_request前，需要先讨论路由注册实现，代码如下。

其实就是将路由和方法存到self.routes字典中，可以通过route装饰器的形式将路由和方法关联，也可以通过add_route方法关联，在app.py中使用一下。

因为url中可以存在变量，如 @app.route("/hello/{name}") ，所以在匹配时，需要进行解析，可以使用正则匹配的方式进行匹配，parse这个第三方库已经帮我们实现了相应的正则匹配逻辑，pip安装使用一下则可。

这里定义find_handler方法来实现对self.routes的遍历。

了解了路由与方法关联的原理后，就可以实现handle_request方法，该方法主要的路径就是根据路由调度对应的方法，代码如下。

在该方法中，首先实例化webob库的Response对象，然后通过self.find_handler方法获取此次请求路由对应的方法和对应的参数，比如。

它将返回hello方法对象和name参数，如果是 /hello/二两 ，那么name就是二两。

因为route装饰器可能装饰器的类对象，比如。

此时self.find_handler方法返回的hanler就是个类，但我们希望调用的是类中的get、post、delete等方法，所以需要一个简单的判断逻辑，通过inspect.isclass方法判断handler如果是类对象，那么就通过getattr方法获取类对象实例的中对应的请求方法。

如果类对象中没有该方法属性，则抛出该请求类型不被允许的错误，如果不是类对象或类对象中存在该方法属性，则直接调用则可。

此外，如果方法的路由并没有注册到self.routes中，即404的情况，定义了defalut_response方法返回其中内容，代码如下。

如果handle_request方法中调度的过程出现问题，则直接raise将错误抛出。

至此，一个最简单的web服务就编写完成了。

回顾Flask，Flask可以支持HTML、CSS、javaScript等静态文件，利用模板语言，可以构建出简单但美观的Web应用，我们让TopWebF也支持这一功能，最终实现图中的网站，完美兼容静态文件。

Flask使用了jinja2作为其html模板引擎，ToyWebF同样使用jinja2，jinja2其实实现一种简单的DSL（领域内语言），让我们可以在HTML中通过特殊的语法改变HTML的结构，该项目非常值得研究学习。

首先 pip install jinja2 ，然后就可以使用它了，在ToyWebF项目目录中创建templates目录，以该目录作为默认的HTML文件根目录，代码如下。

首先利用jinja2的FileSystemLoader类将file system中的某个文件夹作为loader，然后初始化Environment。

在使用的过程中（即调用template方法），通过get_template方法获得具体的某个模板并通过render方法将对应的内容传递给模板中的变量。

这里我们不写前端代码，直接去互联网中下载模板，这里下载了Bootstrap提供的免费模板，可以自行去 https://startbootstrap.com/themes/freelancer/ 下载，下载完后，你会获得index.html以及对应的css、jss、img等文件，将index.html移动到ToyWebF/templates中并简单修改了一下，添加一些变量。

然后在app.py文件中为index.html定义路由以及需要的参数。

至此html文件的支持就完成了，但此时的html无法正常载入css和js，导致页面布局非常丑陋且交互无法使用。

接着就让ToyWebF支持css、js，首先在ToyWebF目录下创建static文件夹用于存放css、js或img等静态文件，随后直接将前面下载的模板，其中的静态文件复制到static中则可。

通过whitenoise第三方库，可以通过简单的几行代码让web框架支持css和js，不需要依赖nginx等服务，首先 pip install whitenoise ，随后修改API类的 __init__ 方法，代码如下。

其实就是通过WhiteNoise将self.wsgi_app方法包裹起来，在调用API的 __call__ 方法时，直接调用self.whitenoise。

此时，如果请求web服务获取css、js等静态资源，WhiteNoise会获取其内容并返回给client，它在背后会匹配静态资源在系统中对应的文件并将其读取返回。

至此，一开始的网页效果就实现好了。

web服务如果出现500时，默认会返回 internal server error ，这显得比较丑，为了让框架使用者可以自定义500时返回的错误，需要添加一些代码。

首先API初始化时，初始self.exception_handler对象并定义对应的方法添加自定义的错误

在handler_request方法进行请求调度时，调度的方法执行逻辑时报500，此时不再默认将错误抛出，而是先判断是否有自定义错误处理。

在app.py中，自定义错误返回方法，如下。

custom_exception_handler方法只返回自定义的一段话，你完全可以替换成美观的template。

我们可以实验性定义一个路由来看效果。

Web服务的中间件也可以理解成钩子，即在请求前可以对请求做一些处理或者返回Response前对Response做一下处理。

为了支持中间件，在TopWebF目录下创建middleware.py文件，在编写代码前，思考一下如何实现？

回顾一下现在请求的调度逻辑。

1.通过routes装饰器关联路由和方法 2.通过API.whitenoise处理 3.如果是请求API接口，那么会将参数传递给API.wsgi_app 4.API.wsgi_app最终会调用API.handle_request方法获取路由对应的方法并调用该方法执行相应的逻辑

如果希望在request前以及response后做相应的操作，那么其实就需要让逻辑在API.handle_request前后执行，看一下代码。

其中add方法会实例化Middleware对象，该对象会将当前的API类实例包裹起来。

Middleware.handle_request方法其实就是在self.app.handle_request前调用self.process_request方法处理request前的数据以及调用self.process_response处理response后的数据，而核心的调度逻辑，依旧交由API.handle_request方法进行处理。

这里的代码可能会让人感到疑惑， __call__ 方法和handle_request方法中都有self.app.handle_request(request)，但其调用对象似乎不同？这个问题暂时放一下，先继续完善代码，然后再回来解释。

接着在api.py中为API创建middleware属性以及添加新中间件的方法。

随后，在app.py中，自定义一个简单的中间件，然后调用add_middleware方法将其添加。

定义好中间件后，在请求调度时，就需要使用中间件，为了兼容静态文件的情况，需要对css、js、ing文件的请求路径做一下兼容，在其路径中加上/static前缀

紧接着，修改API的 __call__ ，兼容中间件和静态文件，代码如下。

至此，中间件的逻辑就完成了。

但代码中依旧有疑惑，Middleware类中的 __call__ 方法和handle_request方法其调用的self.app到底是谁？

为了方便理解，这里一步步拆解。

如果没有添加新的中间件，那么请求的调度逻辑如下。

在没有添加中间件的情况下，self.app其实就是API本身，所以 middleware.__call__ 中的self.app.handle_request就是调用API.handle_request。

如果添加了新的中间件，如上述代码中添加了名为SimpleCustomMiddleware的中间件，此时的请求调度逻辑如下。

因为注册中间件时，Middleware.add方法替换了原始Middleware实例中的app对象，将其替换成了SimpleCustomMiddleware，而SimpleCustomMiddleware也有app对象，SimpleCustomMiddleware中的app对象，才是API类实例。

在请求调度的过程中，就会触发Middleware类的handle_request方法，该方法就会执行中间件相应的逻辑去处理request和response中的数据。

当然，你可以通过Middleware.add方法添加多个中间件，这就会构成栈式调用的效果，代码如下。

启动web服务后，其执行效果如下。

⑵ python 怎么搭建简单的web服务器

利用Python自带的包可以建立简单的web服务器。在DOS里cd到准备做服务器根目录的路径下，输入命令：x0dx0apython -m Web服务器模块 [端口号，默认8000]x0dx0a例如：x0dx0apython -m SimpleHTTPServer 8080x0dx0a然后就可以在浏览器中输入x0dx0ah ttp://loca lhost:端口号/路径x0dx0a来访问服务器资源。 x0dx0a例如：x0dx0ah ttp://local host:808 0/index.h tm（当然index.htm文件得自己创建）x0dx0a其他机器也可以通过服务器的IP地址来访问。x0dx0ax0dx0a这里的“Web服务器模块”有如下三种：x0dx0ax0dx0aBaseHTTPServer: 提供基本的Web服务和处理器类，分别是HTTPServer和BaseHTTPRequestHandler。x0dx0aSimpleHTTPServer: 包含执行GET和HEAD请求的SimpleHTTPRequestHandler类。x0dx0aCGIHTTPServer: 包含处理POST请求和执行CGIHTTPRequestHandler类。

⑶ Python 有哪些好的 Web 框架

python的web框架很多
django (大而全，模板，orm都自带)
flask (pocoo出品，比属精品，自带jinja2模板，可以替换)
web.py (这个我没用过，作者自杀，白瞎了一个高手)
bottle (只有一个文件的框架，需要自己构建整个开发体系)
uliweb (中国人开发的，也很不错)
Tornado (异步框架，适合长连接，比如在线聊天之类的)

Python框架虽然说是百花齐放，但仍然有那么一家是最大的，它就是Django。Django为人所称道的地方主要有：
①完美的文档，Django的成功，我觉得很大一部分原因要归功于Django近乎完美的官方文档（包括Django book）。
②
全套的解决方案，Django象Rails一样，提供全套的解决方案（full-stack framework + batteries
included），基本要什么有什么（比如：cache、session、feed、orm、geo、auth），而且全部Django自己造，开发网
站应手的工具Django基本都给你做好了，因此开发效率是不用说的，出了问题也算好找，不在你的代码里就在Django的源码里。
③强大的URL路由配置，Django让你可以设计出非常优雅的URL，在Django里你基本可以跟丑陋的GET参数说拜拜。
④自助管理后台，admin interface是Django里比较吸引眼球的一项contrib，让你几乎不用写一行代码就拥有一个完整的后台管理界面。

⑷ 请教，python web.py查询数据库返回的结果是列表还是字典

我常用pymssql连接M$SQL服务器, 没用过pyodbc, 但按理应该都差不多。
若用pymssql, 从数据库中取数据的过程如下:

import pymssql

connect_setting = {
'host': '127.0.0.1',
'user': 'sa',
'password': '',
'database': 'master',
'charset': 'gb18030'
}

conn = pymssql.connect(**connect_setting)
curr = conn.cursor()
curr.execute("select list, name from nlist")
result = [(lst, name) for lst, name in curr]
curr.close()
conn.close()

关于"如何查询,list的每个值在数据库中对应的Name“
若库表中的数据像下面的样子:
id, name:
1, 'python'
2, 'perl'
3, 'c'
4, 'java'
且每行id是唯一值, 将从数据库表中拿到的数据放到一个字典中:
curr.execute("select id, name from nlist")
dd = dict([(id, name) for id, name in curr])

lst = [1,2,3,4,5,6]
用dd进行转换
[(i, dd.get(i)) for i in lst]
==>
[(1, 'python'), (2, 'perl'), (3, 'c'), (4, 'java'), (5, None), (6, None)]

or

[dd.get(i, i) for i in lst]
==>
['python', 'perl', 'c', 'java', 5, 6]

⑸ 如何在 virtualenv 环境下搭建 Python Web

安装组件库

第一步安装所需要的存储库，因为打算用到虚拟环境，用到 pip 安装和管理 Python 组件，所以先更新本地包，然后安装组件：
sudo apt-get update
sudo apt-get install python-pip python-dev nginx

创建虚拟环境 virtualenv

在一个系统中创建不同的 Python 隔离环境，相互之间还不会影响，为了使系统保持干净，遂决定用 virtualenv 跑应用程序，创建一个容易识别的目录，开始安装，再创建项目目录 super，然后激活环境：
sudo pip install virtualenv
mkdir ~/supervisor && cd ~/supervisor
virtualenv super
source super/bin/activate

安装 Flask 框架

好了，现在在虚拟环境里面，开始安装 Flask 框架，flask 依赖两个库 werkzeug 和 jinjia2, 采用 pip 方式安装即可, pip 是一个重要的工具，Python 用它来管理包：
pip install flask

先用 Flask 写一个简单的 Web 服务 myweb.py ，因为后面要做一些测试，所以设置了几个请求：
from flask import Flask
app = Flask(__name__)
@app.route('/')
def index():
return 'hello world supervisor gunicorn '
@app.route('/1')
def index1():
return 'hello world supervisor gunicorn ffffff'
@app.route('/qw/1')
def indexqw():
return 'hello world supervisor gunicorn fdfdfbdfbfb '
if __name__ == '__main__':
app.debug = True
app.run()

启动 Flask 看看！
python myweb.py

在浏览器中访问 http://127.0.0.1:5000 就可以看到了“几个路径都试一试”

用 Gunicorn 部署 Python Web

现在我们使用 Flask 自带的服务器，完成了 Web 服务的启动。生产环境下，Flask 自带的服务器，无法满足性能要求。所以我们这里采用 Gunicorn 做 wsgi 容器，用来部署 Python，首先还是安装 Gunicorn：
pip install gunicorn

当我们安装好 Gunicorn 之后，需要用 Gunicorn 启动 Flask，Flask 用自带的服务器启动时，Flask 里面的
name 里面的代码启动了 app.run()。而这里我们使用 Gunicorn，myweb.py 就等同于一个库文件，被 Gunicorn
调用，这样启动：
gunicorn -w 4 -b 0.0.0.0:8000 myweb:app

其中 myweb 就是指 myweb.py，app 就是那个 wsgifunc 的名字，这样运行监听 8000 端口，原先的 5000 端口并没有启用，-w 表示开启多少个 worker，-b 表示 Gunicorn 开发的访问地址。

想要结束 Gunicorn 只需执行 pkill Gunicorn，但有时候还要 ps 找到 pid 进程号才能
kill。可是这对于一个开发来说，太过于繁琐，因此出现了另外一个神器
---supervisor，一个专门用来管理进程的工具，还可以管理系统的工具进程。

安装 Supervisor
pip install supervisor
echo_supervisord_conf > supervisor.conf # 生成 supervisor 默认配置文件
gedit supervisor.conf # 修改 supervisor 配置文件，添加 gunicorn 进程管理

在 supervisor.conf 底部下添加 myweb.py 的配置 `/home/wang/supervisor/super` 是我的项目目录”

[program:myweb]
command=/home/wang/supervisor/super/bin/gunicorn -w 4 -b 0.0.0.0:8000 myweb:app
directory=/home/wang/supervisor
startsecs=0
stopwaitsecs=0
autostart=false
autorestart=false
user=wang
stdout_logfile=/home/wang/supervisor/log/gunicorn.log
stderr_logfile=/home/wang/supervisor/log/gunicorn.err

supervisor 的基本使用命令：
supervisord -c supervisor.conf
supervisorctl -c supervisor.conf status 查看supervisor的状态
supervisorctl -c supervisor.conf reload 重新载入 配置文件
supervisorctl -c supervisor.conf start [all]|[appname] 启动指定/所有 supervisor 管理的程序进程
supervisorctl -c supervisor.conf stop [all]|[appname] 关闭指定/所有 supervisor 管理的程序进程

supervisor 还有一个 web 的管理界面，可以激活。更改下配置：
[inet_http_server] ; inet (TCP) server disabled by default
port=127.0.0.1:9001 ; (ip_address:port specifier, *:port for alliface)
username=wang ; (default is no username (open server)
password=123 ; (default is no password (open server))

[supervisorctl]
serverurl=unix:///tmp/supervisor.sock ; use a unix:// URL for a unix socket
serverurl=http://127.0.0.1:9001 ; use an http:// url to specify an inet socket
username=wang ; should be same as http_username if set
password=123 ; should be same as http_password if set
;prompt=mysupervisor ; cmd line prompt (default "supervisor")
;history_file=~/.sc_history ; use readline history if available

现在可以使用 supervsior 启动 gunicorn 啦。运行命令:
supervisord -c supervisor.conf

浏览器访问 http://127.0.0.1:9001 可以得到 supervisor 的 web 管理界面，访问 http://127.0.0.1:8000 可以看见 gunicorn 启动的返回的页面。

配置 Nginx

前面我们已经在系统环境下安装了 Nginx, 安装好的 Nginx 二进制文件放在 /usr/sbin/ 文件夹下，接下来使用
Supervisor 来管理 Nginx。这里需要注意一个问题，权限问题。Nginx 是 sudo 的方式安装，启动的适合也是 root
用户，那么我们现在也需要用 root 用户启动 supervisor。在 supervisor.conf 下添加配置文件：
[program:nginx]
command=/usr/sbin/nginx
startsecs=0
stopwaitsecs=0
autostart=false
autorestart=false
stdout_logfile=/home/wang/supervisor/log/nginx.log
stderr_logfile=/home/wang/supervisor/log/nginx.err

好了，都配置完之后，启动 supervisor：
supervisord -c supervisor.conf

访问页面，也可以用 ab 进行压力测试：
ab -c 100 -n 100 http://127.0.0.1:8000/qw/1

-c 用于指定压力测试的并发数, -n 用于指定压力测试总共的执行次数。

安装 Python 探针

搭建好了 web，想实时监控应用数据，有什么好的工具，用 OneAPM 的 Python 探针试试，
首先也是安装 Python 探针：
pip install -i http://pypi.oneapm.com/simple --upgrade blueware

根据 License Key 生成配置文件：
blueware-admin generate-config (License Key) = blueware.ini

由于是在虚拟环境下，所以要特别注意路径，修改 supervisor.conf 里面两项：
[program:myapp]
command = /home/wang/supervisor/super/bin/blueware-admin run-program /home/wang/supervisor/super/bin/gunicorn -w 4 -b 0.0.0.0:8000 myapp:app
environment = BLUEWARE_CONFIG_FILE=blueware.ini

重启应用
supervisorctl # 进入命令行
supervisor> reload # 重新加载

向上面一样访问页面，也可以用 ab 进行压力测试
几分钟后有下图，可以看到页面加载时间，web 事物，页面吞吐量，其中后面是设置自定义事物“Business Transaction”。