mockhttppython

❶ python怎么做服务器伪装HTTP协议

用Python的httplib模块，模拟浏览器发送或接受信息。

如何模拟浏览器发送或接受信息？哈，那就要下一个firefox插件，firebug，然后你通过这个插件可以看到浏览器每次请求的时候都发送了些神马表单，XML等等。httplib模块有相应的方法来模拟这些东西，然后向你要的站点构造相应的url请求的可以了。

❷ 说说这篇我为什么从python转向go

恩看了这篇我为什么从python转向go，
看来作者也是 KSO 轻办公/企业快盘团队的。作为快盘从无到有时期的工程师之一（总是被潇洒哥说他们改我留下的 bug ），又恰好是
Python/Go 双修（大雾其实我是 Rust 党），其实一开始我是拒绝的，ang ang ang，那就随手写一点把。

一段段来吧，首先作者说 Python 是动态语言

python是一门动态语言，不是强类型系统。对于一个变量，我们有时候压根不知道它是什么类型，然后就可能出现int + string这样的运行时错误。

在python里面，可以允许同名函数的出现，后一个函数会覆盖前一个函数，有一次我们系统一个很严重的错误就是因为这个导致的。

事实上，如果是静态检查，pylint 和 pyflakes 是可以做这件事的，虽然不能和 go
那种静态编译型语言比，但也足够了。如果没记错的话，阿通当年是要求全组都在提交前做静态检查的。我认为这种问题更多的应该是人员素质上来避免，毕竟葱头
也说过，代码自己写的就要多回头看看，看能不能重构，能不能做更好。不是说偷懒不行，但是从中得出 Python
动态特性太灵活，Python：怪我咯看

另外，函数作为第一对象，在 Python 中是 feature，Go 要写个 mock，简直虐得不要不要的。

其实这个一直是很多人吐槽python的地方，不过想想，python最开始是为了解决啥问题而被开发出来的看我们硬是要将他用到高性能服务器开发上面，其实也是有点难为它。

如果没记错，无论是轻办公还是快盘，是重 IO 不重 CPU，最大耗时是数据块加密那块，我在的时候是 java 写的。另外高性能服务器选 Go 也是虐得不要不要的，各种小心翼翼避免 GC。大多数极端情况下，pypy 的性能足矣胜任了，我认为这不算充分条件。

python的GIL导致导致无法真正的多线程，大家可能会说我用多进程不就完了。但如果一些计算需要涉及到多进程交互，进程之间的通讯开销也是不得不考虑的。

其实，Python 有宏可以绕开这个 GIL，但是呢架构设计得好其实可以避免的，到异步那块我会说。

无状态的分布式处理使用多进程很方便，譬如处理http请求，我们就是在nginx后面挂载了200多个django server来处理http的,但这么多个进程自然导致整体机器负载偏高。

但即使我们使用了多个django进程来处理http请求，对于一些超大量请求，python仍然处理不过来。所以我们使用openresty，将高频次的http请求使用lua来实现。可这样又导致使用两种开发语言，而且一些逻辑还得写两份不同的代码。

如果推测没错，你们现在还在用五年前写的 Gateway看那个基于 django route
的流量分发层看四年前我离开的时候已经小范围的使用 Flask+Gevent Demo 测试过了，无论是性能还是负载都比同步模型的 django
有优势。如果还是 django
这套的话，我只能说比较遗憾，毕竟当年金山新员工大赛头牌就是我和几个小伙伴写的实时同步在线文档编辑系统，用的就是这套技术。

因此这是个工程问题，并非语言问题。 Python 提供给了你了这么多工具，硬要选一个传统的，Old fashion 的，Python：怪我咯看

django的网络是同步阻塞的，也就是说，如果我们需要访问外部的一个服务，在等待结果返回这段时间，django不能处理任何其他的逻辑（当然，多线程的除外）。如果访问外部服务需要很长时间，那就意味着我们的整个服务几乎在很长一段时间完全不可用。

为了解决这个问题，我们只能不断的多开django进程，同时需要保证所有服务都能快速的处理响应，但想想这其实是一件很不靠谱的事情。

同步模型并非不行，因为 overhead 足够低，很多业务场景下用同步模型反而会取得更好的效果，比如豆瓣。同步模型最大的问题是对于 IO 密集型业务等待时间足够长，这时候需要的不是换语言 ，而是提醒你是不是架构要改一下了。

虽然tornado是异步的，但是python的mysql库都不支持异步，这也就意味着如果我们在tornado里面访问数据库，我们仍然可能面临因为数据库问题造成的整个服务不可用。

tornado 是有这个问题，但是 gevent 已经解决了。我在 node.js 的某问题下曾经回答过，对于 node
而言，能选择的异步模型只有一个，而 Python 就是太多选择了。另外 pypy+tornado+redis
可以随意虐各种长连接的场景，比如我给我厂写过的一个 push service。

其实异步模型最大的问题在于代码逻辑的割裂，因为是事件触发的，所以我们都是通过callback进行相关处理，于是代码里面就经常出现干一件事情，传一个callback，然后callback里面又传callback的情况，这样的结果就是整个代码逻辑非常混乱。

这个还真不是，如果说没有 ES6 的 JavaScript，可能真有 Callback hell，但这是 Python 啊！Python
早就实现了左值绑定唉，yield 那姿势比某些天天吹的语言不知道高到哪里去了，当然我说的是完整版的 Python3 yield。即便是不完整的
Python 2 yield 用于异步表达式求值也是完全足够的，tornado 的 gen.coroutine 啊。

同步形态写异步，在 Python 实力强的公司里面早普及了，这是个工程问题，并非语言问题。当然把这种事怪在 Python 身上，Python：怪我咯看

python没有原生的协程支持，虽然可以通过gevent，greenlet这种的上patch方式来支持协程，但毕竟更改了python源码。另外，python的yield也可以进行简单的协程模拟，但毕竟不能跨堆栈，局限性很大，不知道3.x的版本有没有改进。

无论是 Gevent 还是 Greenlet 均没修改 Python 源码，事实上这货已经成为了 Py2 coroutine 的标准，加上豆瓣开源出来的greenify，基本上所有的库都可以平滑的异步化，包括 MySQL 等 C 一级的 lib。自从用上这套技术后，豆瓣的 Python dev 各种爽得不要不要的。

当我第一次使用python开发项目，我是没成功安装上项目需要的包的，光安装成功mysql库就弄了很久。后来，是一位同事将他整个python目录打包给我用，我才能正常的将项目跑起来。话说，现在有了docker，是多么让人幸福的一件事情。

而部署python服务的时候，我们需要在服务器上面安装一堆的包，光是这一点就让人很麻烦，虽然可以通过puppet，salt这些自动化工具解决部署问题，但相比而言，静态编译语言只用扔一个二进制文件，可就方便太多了。

恰好我又是在开发基于 docker 的平台， docker 还真不是用来做部署这事的。首先， Python 是有 virtualenv
这个工具的，事实上对比包管理和包隔离，Python 比 Go 高得不知道哪里去了。Python 跟 Git 谈笑风生的时候， Go 的 dev
们还得考虑我怎样才能使得 import 的包稳定在一个版本上（当然现在有很多第三方方案）。Virtualenv + Pip 完全可以实现
Python 部署自动化，所以这个问题我认为是，工具链选取问题。毕竟是个十几年的老妖怪了，Python
啥情况没见过啊，各种打包工具任君选择，强行说 Python 部署不方便，Python：怪我咯看

python非常灵活简单，写c几十行代码才能搞定的功能，python一行代码没准就能解决。但是太简单，反而导致很多
同学无法对代码进行深层次的思考，对整个架构进行细致的考量。来了一个需求，啪啪啪，键盘敲完开速实现，结果就是代码越来越混乱，最终导致了整个项目代码
失控。

曾经知乎有个帖子问 Python 会不会降低程序员编程能力，
我只能说这真的很人有关。你不去思考深层次的东西怪语言不行是没道理的，那好，Go 里面 goroutine 是怎么实现的，一个带 socket 的
goroutine
最小能做到多少内存，思考过看任何语言都有自己的优势和劣势，都需要执行者自己去判断，一味的觉得简单就不会深入思考这是有问题的。另外，代码混乱我认为
还是工程上的控制力不够，豆瓣有超过10W行的 Python 实现，虽然不说很完美，大体上做到了不会混乱这么个目标。

还有，C 写几十行搞定的 Python 一行解决这绝对是重大 feature，生产力啊，人员配置啊，招人培养的成本啊，从工程上来说，Python 在这一块完全是加分项，不是每个项目都要求极致的并发，极致的效率，做工程很多时候都是要取舍的。

虽然java和php都是最好的编程语言（大家都这么争的），但我更倾向一门更简单的语言。而openresty，虽然性
能强悍，但lua仍然是动态语言，也会碰到前面说的动态语言一些问题。最后，前金山许式伟用的go，前快盘架构师葱头也用的go，所以我们很自然地选择了
go。

Openresty 用 lua 如果按照动态语言的角度去看，还真算不上，顶多是个简单点的 C。许式伟走的时候大多数都是
CPP，葱头目前我还不知道他创业用的是什么写的，不过他肯定没语言倾向。当年无论是 leo 还是 ufa，一个用 Python 一个用
Java， 他都是从工程实际来选择使用什么样的语言。

error，好吧，如果有语言洁癖的同学可能真的受不了go的语法，尤其是约定的最后一个返回值是error。

这其实是 Go style，无论是 go fmt 还是 error style，Go 其实是想抹平不同工程师之间的风格问题。不再为了一个缩进和大括号位置什么的浪费时间。这种方法并不是不好，只是我个人觉得没 rust 那种返回值处理友善。

GC，java的GC发展20年了，go才这么点时间，gc铁定不完善。所以我们仍然不能随心所欲的写代码，不然在大请求量下面gc可能会卡顿整个服务。所以有时候，该用对象池，内存池的一定要用，虽然代码丑了点，但好歹性能上去了。

1.4 开始 go 就是 100% 精确 GC 了，另外说到卡顿啊，完全和你怎么用对象有关，能内联绝不传引用大部分场景是完全足够的，这样 gc 的影响程度会最低。实在想用池……只能说为啥不选 Java。

天生的并行支持，因为goroutine以及channel，用go写分布式应用，写并发程序异常的容易。没有了蛋疼的callback导致的代码逻辑割裂，代码逻辑都是顺序的。

这是有代价的，goroutine 的内存消耗计算（当然1.3还是1.4开始得到了很大的改善，内存最小值限制已经没了），channel
跨线程带来的性能损耗（跨线程锁），还有对 goroutine 的控制力几乎为 0
等。总之这种嘛，算不上是杀手级特性，大家都有，是方便了一点，但也有自己的弊端。比如我们用 go 吧，经常就比较蛋疼 spawn 出去的
goroutine 怎么优美的 shutdown，反而有时候把事情做复杂化了。

性能，go的性能可能赶不上c，c++以及openresty，但真的也挺强悍的。在我们的项目中，现在单机就部署了一个go的进程，就完全能够胜任以前200个python进程干的事情，而且CPU和MEM占用更低。

我不严谨的实测大概 gevent+py2 能达到同样逻辑 go 实现的 30%~40%，pypy+tornado 能达到
80%~90%，混合了一些计算和连接处理什么的。主要还是看业务场景吧，纯粹的 CPU bound 当然是 go 好，纯粹的 IO bound
你就是用 C 也没用啊。

运维部署，直接编译成二进制，扔到服务器上面就成，比python需要安装一堆的环境那是简单的太多了。当然，如果有cgo，我们也需要将对应的动态库给扔过去。

我们现在根据 glibc 所处的 host 版本不同有2套编译环境，看上去是部署简单了，编译起来坑死你。另外虽然说 disk 便宜，这几行代码就几M了，集群同步部署耗时在某些情况下还真会出篓子。

开发效率，虽然go是静态语言，但我个人感觉开发效率真的挺高，直觉上面跟python不相上下。对于我个人来说，最好的
例子就是我用go快速开发了非常多的开源组件，譬如ledisdb，go-mysql等，而这些最开始的版本都是在很短的时间里面完成的。对于我们项目来
说，我们也是用go在一个月就重构完成了第一个版本，并发布。

❸ python http接口测试脚本怎么写

根据Testcase的具体业务逻辑用事先准备好的测试数据去调用封装好的API接口,验证实际返回结果是否与预期返回结果一致.
测试数据可以以各种形式存放,如Excel数据表:
TestCaseName uname method Expected Result
TestCase1 aaaa GET ....
TestCase2 aaaa POST ....
TestCase3 bbbb GET ....
... ... ... ....

❹ python mock怎么测试数据库

你这个测试只是告诉你mock是做什么用的。mock 的真正意义在于简化测试环境。假如你现在要测试一个，但是你有不想构建数据库环境就可以用mock模拟数据库的返回结果。

❺ python mock和patch的区别

patch 函数会返回一个 mock 内部的类实例，这个类是class _patch

❻ python 开发经验怎么xie

当我开始学习Python的时候，有些事我希望我一早就知道。我花费了很多时间才学会这些东西。我想要把这些重点都编纂到一篇文章当中。这篇文章的目标读者，是刚刚开始学习Python语言的有经验的程序员，想要跳过前几个月研究Python使用的那些他们已经在用的类似工具。包管理和标准工具这两节对于初学者来说同样很有帮助。
我的经验主要基于Python 2.7，但是大多数的工具对任何版本都有效。
如果你从来没有使用过Python，我强烈建议你阅读Python introction，因为你需要知道基本的语法和类型。
包管理
Python世界最棒的地方之一，就是大量的第三方程序包。同样，管理这些包也非常容易。按照惯例，会在 requirements.txt 文件中列出项目所需要的包。每个包占一行，通常还包含版本号。这里有一个例子，本博客使用Pelican：

1
2
3

pelican==3.3
Markdown
pelican-extended-sitemap==1.0.0

Python 程序包有一个缺陷是，它们默认会进行全局安装。我们将要使用一个工具，使我们每个项目都有一个独立的环境，这个工具叫virtualenv。我们同样要安装一个更高级的包管理工具，叫做pip，他可以和virtualenv配合工作。
首先，我们需要安装pip。大多数python安装程序已经内置了easy_install（python默认的包管理工具），所以我们就使用easy_install pip来安装pip。这应该是你最后一次使用easy_install 了。如果你并没有安装easy_install ，在linux系统中，貌似从python-setuptools 包中可以获得。
如果你使用的Python版本高于等于3.3， 那么Virtualenv 已经是标准库的一部分了，所以没有必要再去安装它了。
下一步，你希望安装virtualenv和virtualenvwrapper。Virtualenv使你能够为每个项目创造一个独立的环境。尤其是当你的不同项目使用不同版本的包时，这一点特别有用。Virtualenv wrapper 提供了一些不错的脚本，可以让一些事情变得容易。

1

sudo pip install virtualenvwrapper

当virtualenvwrapper安装后，它会把virtualenv列为依赖包，所以会自动安装。
打开一个新的shell，输入mkvirtualenv test 。如果你打开另外一个shell，则你就不在这个virtualenv中了，你可以通过workon test 来启动。如果你的工作完成了，可以使用deactivate 来停用。

IPython
IPython是标准Python交互式的编程环境的一个替代品，支持自动补全，文档快速访问，以及标准交互式编程环境本应该具备的很多其他功能。
当你处在一个虚拟环境中的时候，可以很简单的使用pip install ipython 来进行安装，在命令行中使用ipython 来启动

另一个不错的功能是”笔记本”，这个功能需要额外的组件。安装完成后，你可以使用ipython notebook，而且会有一个不错的网页UI，你可以创建笔记本。这在科学计算领域很流行。

测试
我推荐使用nose或是py.test。我大部分情况下用nose。它们基本上是类似的。我将讲解nose的一些细节。
这里有一个人为创建的可笑的使用nose进行测试的例子。在一个以test_开头的文件中的所有以test_开头的函数，都会被调用：

1
2

def test_equality():
assert True == False

不出所料，当运行nose的时候，我们的测试没有通过。

1
2
3
4
5
6
7
8
9
10
11
12
13

(test)jhaddad@jons-mac-pro ~VIRTUAL_ENV/src$ nosetests
F
======================================================================
FAIL: test_nose_example.test_equality
----------------------------------------------------------------------
Traceback (most recent call last):
File "/Users/jhaddad/.virtualenvs/test/lib/python2.7/site-packages/nose/case.py", line 197, in runTest
self.test(*self.arg)
File "/Users/jhaddad/.virtualenvs/test/src/test_nose_example.py", line 3, in test_equality
assert True == False
AssertionError
----------------------------------------------------------------------

nose.tools中同样也有一些便捷的方法可以调用

1
2
3

from nose.tools import assert_true
def test_equality():
assert_true(False)

如果你想使用更加类似JUnit的方法，也是可以的：

1
2
3
4
5
6
7
8
9
10

from nose.tools import assert_true
from unittest import TestCase
class ExampleTest(TestCase):
def setUp(self): # setUp & tearDown are both available
self.blah = False
def test_blah(self):
self.assertTrue(self.blah)

开始测试：

1
2
3
4
5
6
7
8
9
10
11
12
13
14

(test)jhaddad@jons-mac-pro ~VIRTUAL_ENV/src$ nosetests
F
======================================================================
FAIL: test_blah (test_nose_example.ExampleTest)
----------------------------------------------------------------------
Traceback (most recent call last):
File "/Users/jhaddad/.virtualenvs/test/src/test_nose_example.py", line 11, in test_blah
self.assertTrue(self.blah)
AssertionError: False is not true
----------------------------------------------------------------------
Ran 1 test in 0.003s
FAILED (failures=1)

卓越的Mock库包含在Python 3 中，但是如果你在使用Python 2，可以使用pypi来获取。这个测试将进行一个远程调用，但是这次调用将耗时10s。这个例子显然是人为捏造的。我们使用mock来返回样本数据而不是真正的进行调用。

1
2
3
4
5
6
7
8
9
10
11
12
13
14

import mock
from mock import patch
from time import sleep
class Sweetness(object):
def slow_remote_call(self):
sleep(10)
return "some_data" # lets pretend we get this back from our remote api call
def test_long_call():
s = Sweetness()
result = s.slow_remote_call()
assert result == "some_data"

当然，我们的测试需要很长的时间。

1
2
3
4
5

(test)jhaddad@jons-mac-pro ~VIRTUAL_ENV/src$ nosetests test_mock.py
Ran 1 test in 10.001s
OK

太慢了！因此我们会问自己，我们在测试什么？我们需要测试远程调用是否有用，还是我们要测试当我们获得数据后要做什么？大多数情况下是后者。让我们摆脱这个愚蠢的远程调用吧：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

import mock
from mock import patch
from time import sleep
class Sweetness(object):
def slow_remote_call(self):
sleep(10)
return "some_data" # lets pretend we get this back from our remote api call
def test_long_call():
s = Sweetness()
with patch.object(s, "slow_remote_call", return_value="some_data"):
result = s.slow_remote_call()
assert result == "some_data"

好吧，让我们再试一次：

1
2
3
4
5
6

(test)jhaddad@jons-mac-pro ~VIRTUAL_ENV/src$ nosetests test_mock.py
.
----------------------------------------------------------------------
Ran 1 test in 0.001s
OK

好多了。记住，这个例子进行了荒唐的简化。就我个人来讲，我仅仅会忽略从远程系统的调用，而不是我的数据库调用。
nose-progressive是一个很好的模块，它可以改善nose的输出，让错误在发生时就显示出来，而不是留到最后。如果你的测试需要花费一定的时间，那么这是件好事。
pip install nose-progressive 并且在你的nosetests中添加--with-progressive
调试
iPDB是一个极好的工具，我已经用它查出了很多匪夷所思的bug。pip install ipdb 安装该工具，然后在你的代码中import ipdb; ipdb.set_trace()，然后你会在你的程序运行时，获得一个很好的交互式提示。它每次执行程序的一行并且检查变量。

python内置了一个很好的追踪模块，帮助我搞清楚发生了什么。这里有一个没什么用的python程序：

1
2
3

a = 1
b = 2
a = b

这里是对这个程序的追踪结果：

1
2
3
4
5
6
7

(test)jhaddad@jons-mac-pro ~VIRTUAL_ENV/src$ python -m trace --trace tracing.py 1 ?
--- molename: tracing, funcname: <mole>
tracing.py(1): a = 1
tracing.py(2): b = 2
tracing.py(3): a = b
--- molename: trace, funcname: _unsettrace
trace.py(80): sys.settrace(None)

当你想要搞清楚其他程序的内部构造的时候，这个功能非常有用。如果你以前用过strace，它们的工作方式很相像
在一些场合，我使用pycallgraph来追踪性能问题。它可以创建函数调用时间和次数的图表。

最后，objgraph对于查找内存泄露非常有用。这里有一篇关于如何使用它查找内存泄露的好文。
Gevent
Gevent 是一个很好的库，封装了Greenlets，使得Python具备了异步调用的功能。是的，非常棒。我最爱的功能是Pool，它抽象了异步调用部分，给我们提供了可以简单使用的途径，一个异步的map()函数：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

from gevent import monkey
monkey.patch_all()
from time import sleep, time
def fetch_url(url):
print "Fetching %s" % url
sleep(10)
print "Done fetching %s" % url
from gevent.pool import Pool
urls = ["http://test.com", "http://bacon.com", "http://eggs.com"]
p = Pool(10)
start = time()
p.map(fetch_url, urls)
print time() - start

非常重要的是，需要注意这段代码顶部对gevent monkey进行的补丁，如果没有它的话，就不能正确的运行。如果我们让Python连续调用 fetch_url 3次，通常我们期望这个过程花费30秒时间。使用gevent：

1
2
3
4
5
6
7
8

(test)jhaddad@jons-mac-pro ~VIRTUAL_ENV/src$ python g.py
Fetching http://test.com
Fetching http://bacon.com
Fetching http://eggs.com
Done fetching http://test.com
Done fetching http://bacon.com
Done fetching http://eggs.com
10.001791954

如果你有很多数据库调用或是从远程URLs获取，这是非常有用的。我并不是很喜欢回调函数，所以这一抽象对我来说效果很好。

❼ Python课程内容都学习什么啊

贺圣军Python轻松入门到项目实战（经典完整版）（超清视频）网络网盘

链接: https://pan..com/s/1C9k1o65FuQKNe68L3xEx3w

若资源有问题欢迎追问~