python36urllib
‘壹’ python怎么做接口测试工具
之前使用过urllib和urllib2做接口测试，在做的途中，感觉使用urllib2直接进行的get，post 请求并没有那么好用。作为测试人员，所需要的测试工具应当以方便为第一要务，测试的耗时只要是真正的无人值守，耗时不是太久的都可以接受。所以，本人又尝试了一个新的包：requests。
Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的，所以它比 urllib 更加 Pythoner。更重要的一点是它支持 Python3 ！推荐一篇文章，上面有该包的详细说明传送门，以下只会写到我用到的部分，所以更多的了解需要自己去搜资料
好了，我们开始吧！！
接口测试中重要的部分：
1.get和post方法
2.用到的参数
3.请求头
4.cookie
5.日志输出
6.如何调试你的程序--借助fiddler
按照以上的顺序，我将一一说明我的搞法，因为编码能力有限，所以可能看着很low
一、get和post
requests包很好的实现了post和get方法，示例：
1 import requests2 response_get = requests.get(url, data, headers, cookies)3 response_post = requests.post(url, data, headers, cookies)
其他的访问方式如put，head等等，用法几乎都是如此，因为没用到，所以省略
现在一般的接口返回值有页面和json俩种，按照需求，可以分别使用response.text或者response.content获取，text获取的是unicode类型的返回值，而content返回值是str类型，所以我一般使用content来获取返回值，因为这样获取的返回值可以直接使用正则或者in的方式来验证返回值结果是否正确。
我自己为了实现接口的自动访问，所以又在requests上面加了一层封装，就像下面这样：
三、cookie
一款产品的接口测试中必定会使用登录状态，需要使用cookie实现，之前写过使用cookiejar获取cookie，requests中获取cookie的方法更为简单，不过首先你得知道是哪个接口set了cookie，不过一般是登录啦。登录接口访问之后set了cookie，那好，就去调用登录接口，然后拿到搞回来的cookie:
# 只需要这样！！login = requests.post(login_url, data=login_data, headers=login_header)
cookie = login.cookies
这个cookie就是登录状态了，拿着随便用，需要登录的就直接cookies=cookies
四、日志输出
这里注意看第二步中接口数据，有接口描述，也有接口是啥，第一步中又把content做成返回值了，具体拼接方式自己想吧，东西全有了，想写啥写啥，还可以加上获取本地时间的api获取接口运行时间，log文件该长啥样是门学问，这里就不献丑了。
五、借用fiddler调试你的脚本
requests允许使用代理访问，这有啥用，真有！fiddler是一款截包改包的工具，而且通过扩展可以进行请求间的比对，这样让你的程序访问的请求和真正正确的请求作对比，为啥我的程序访问出错？是不是缺了请求头？参数是不是丢了？cookie是不是少了？很容易看出来。写法如下：
proxies = { "http": "http://127.0.0.1:8888", "https": "http://127.0.0.1:8888"}
requests.post(url, proxies=proxies)
这样就可以走代理了，除fiddler以外还有charles和burp suite可以使用，具体看个人喜好吧。
‘贰’ python3 已经安装了requests模块，还是会提示MoleNotFoundError: No mole named 'urllib3'
先把已将安装的requests模块删除
打开python3x.exe文件的安装目录
‘叁’ python linux怎么操作
1. os 模块
1.1. os模块的exec方法族
Python的exec系统方法同Unix的exec系统调用是一致的。这些方法适用
于在子进程中调用外部程序的情况，因为外部程序会替换当前进程的代码，不会返回。( 这个看了点 help(os) --> search
"exec" 的相关介绍，但是没太搞明白咋使用)
1.2. os模块的system方法
system方法会创建子进程运行外部程序，方法只返回外部程序的运行结果。这个方法比较适用于外部程序没有输出结果的情况。
[python]
view plain
>>> import os
>>> os.system("echo \"Hello World\"") # 直接使用os.system调用一个echo命令
Hello World ——————> 打印命令结果
0 ——————> What's this ? 返回值？
>>> val = os.system("ls -al | grep \"log\" ") # 使用val接收返回值
-rw-r--r-- 1 root root 6030829 Dec 31 15:14 log ——————> 此时只打印了命令结果
>>> print val
0 ——————> 注意，此时命令正常运行时，返回值是0
>>> val = os.system("ls -al | grep \"log1\" ")
>>> print val
256 ——————> 使用os.system调用一个没有返回结果的命令，返回值为256～
>>>
注意：上面说了，此方法脂肪会外部程序的结果，也就是os.system的结果，所以如果你想接收命令的返回值，接着向下看～
1.3. os模块的popen方法
当需要得到外部程序的输出结果时，本方法非常有用，返回一个类文件对象，调用该对象的read()或readlines()方法可以读取输出内容。比如使用urllib调用Web API时，需要对得到的数据进行处理。os.popen(cmd) 要得到命令的输出内容，只需再调用下read()或readlines()等 如a=os.popen(cmd).read()
[python]
view plain
>>> os.popen('ls -lt') # 调用os.popen（cmd）并不能得到我们想要的结果
<open file 'ls -lt ', mode 'r' at 0xb7585ee8>
>>> print os.popen('ls -lt').read() # 调用read()方法可以得到命令的结果
total 6064
-rwxr-xr-x 1 long long 23 Jan 5 21:00 hello.sh
-rw-r--r-- 1 long long 147 Jan 5 20:26 Makefile
drwxr-xr-x 3 long long 4096 Jan 2 19:37 test
-rw-r--r-- 1 root root 6030829 Dec 31 15:14 log
drwxr-xr-x 2 long long 4096 Dec 28 09:36 pip_build_long
drwx------ 2 Debian-gdm Debian-gdm 4096 Dec 23 19:08 pulse-gylJ5EL24GU9
drwx------ 2 long long 4096 Jan 1 1970 orbit-long
>>> val = os.popen('ls -lt').read() # 使用变量可以接收命令返回值
>>> if "log" in val: # 我们可以使用in来判断返回值中有木有一个字符串
... print "Haha,there is the log"
... else:
... print "No,not happy"
...
Haha,there is the log
2. commands 模块
使用commands模块的getoutput方法，这种方法同popend的区别在于popen返回的是一个类文件对象，而本方法将外部程序的输出结果当作字符串返回，很多情况下用起来要更方便些。
主要方法:
* commands.getstatusoutput(cmd) 返回(status, output)
* commands.getoutput(cmd) 只返回输出结果
* commands.getstatus(file) 返回ls -ld file的执行结果字符串，调用了getoutput，不建议使用此方法
[python]
view plain
long@zhouyl:/tmp/tests$ python
Python 2.7.3 (default, Jan 2 2013, 16:53:07)
[GCC 4.7.2] on linux2
Type "help", "right", "credits" or "license" for more information.
>>> import commands
>>> commands.getstatusoutput('ls -lt') # 返回(status, output)
(0, 'total 5900\n-rwxr-xr-x 1 long long 23 Jan 5 21:34 hello.sh\n-rw-r--r-- 1 long long 147 Jan 5 21:34 Makefile\n-rw-r--r-- 1 long long 6030829 Jan 5 21:34 log')
>>> commands.getoutput('ls -lt') # 返回命令的输出结果（貌似和Shell命令的输出格式不同哈～）
'total 5900\n-rwxr-xr-x 1 long long 23 Jan 5 21:34 hello.sh\n-rw-r--r-- 1 long long 147 Jan 5 21:34 Makefile\n-rw-r--r-- 1 long long 6030829 Jan 5 21:34 log'
>>> commands.getstatus('log') # 调用commands.getoutput中的命令对'log'文件进行相同的操作
'-rw-r--r-- 1 long long 6030829 Jan 5 21:34 log'
>>>
3. subprocess模块
根据Python官方文档说明，subprocess模块用于取代上面这些模块。有一个用Python实现的并行ssh工具—mssh，代码很简短，不过很有意思，它在线程中调用subprocess启动子进程来干活。
[python]
view plain
>>> from subprocess import call
>>> call(["ls", "-l"])
subprocess与system相比的优势是它更灵活（你可以得到标准输出，标准错误，“真正”的状态代码，更好的错误处理，等..）。我认为使用os.system已过时，或即将过时。
‘肆’ 如何用Python抓取动态页面信息
解决思路：
有一个思路最为简单的思路可以动态解析页面信息。urllib不可以解析动态信息，但是浏览器可以。在浏览器上展现处理的信息其实是处理好的HTML文
档。这为我们抓取动态页面信息提供了很好的思路。在Python中有一个很有名的图形库——PyQt。PyQt虽然是图形库，但是他里面
QtWebkit。这个很实用。谷歌的Chrome和苹果的Safari都是基于WebKit内核开发的，所以我们可以通过PyQt中得QtWebKit
把页面中的信息读取加载到HTML文档中，再解析HTML文档，从HTML文档中提取我们想用得信息。
所需材料：
作者本人实用Mac OS X。应该在Windows和Linux平台也可以采用相同的办法。
1、Qt4 library
Library，而不是Creator。Library在Mac的默认安装路径下，应该是/home/username/Developor/，不要改变Qt4的默认安装路径。否则可能安装失败。
官方网址：http://qt-project.org/downloads
2、SIP、PyQt4
这两个软件可以在在PyQt的官网找到。下载的是它的源码。Mac和Linux需要自己编译。
下载地址是：http://www.riverbankcomputing.co.uk/software/pyqt/download
在终端切换到文件解压后的目录中。
在终端中输入
python configure.py
make
sudo make install
进行安装编译。
SIP和PyQt4两个安装方法相同。但是PyQt4依赖SIP。所以先安装SIP再安装PyQt4
1、2两步完成之后，Python的PyQt4的模块就安装好了。在Python shell中输入import PyQt4看看能不能找到PyQt4的模块。
3、Spynner
spynner是一个QtWebKit的客户端，它可以模拟浏览器，完成加载页面、引发事件、填写表单等操作。
这个模块可以在Python的官网找到。
下载地址: https://pypi.python.org/pypi/spynner/2.5
解压后，cd到安装目录，然后输入sudo python configure.py install安装该模块。
这样Spynner模块就安装完成了，在python shell中试试import spynner看看该模块有没有安装完成。
Spynner的简单使用
Spynner的功能十分强大，但是由于本人能力有限，就介绍一下如何显示网页的源码吧。
#! /usr/bin/python
#-*-coding: utf-8 -*-
import spynner
browser = spynner.Browser()
#创建一个浏览器对象
browser.hide()
#打开浏览器，并隐藏。
browser.load("http://www..com")
#browser 类中有一个类方法load，可以用webkit加载你想加载的页面信息。
#load(是你想要加载的网址的字符串形式)
print browser.html.encode("utf-8")
#browser 类中有一个成员是html，是页面进过处理后的源码的字符串.
#将其转码为UTF-8编码
open("Test.html", 'w+').write(browser.html.encode("utf-8"))
#你也可以将它写到文件中，用浏览器打开。
browser.close()
#关闭该浏览器
通过这个程序，就可以比较容易的显示webkit处理的页面HTML源码了。
spynner应用
下面介绍一下spynner的简单应用，通过简单的程序，可以获取你在浏览器中看到的页面的全部图片。用HTMLParser、BeautifulSoup等都可以完成HTMLParser文档的解析。而我选择HTMParser。
#!/usr/bin/python
import spynner
import HTMLParser
import os
import urllib
class MyParser(HTMLParser.HTMLParser):
def handle_starttag(self, tag, attrs):
if tag == 'img':
url = dict(attrs)['src']
name = os.path.basename(dict(attrs)['src'])
if name.endswith('.jpg') or name.endswith('.png') or name.endswith('gif'):
print "Download.....", name
urllib.urlretrieve(url, name)
if __name__ == "__main__":
browser = spynner.Browser()
browser.show()
browser.load("http://www.artist.cn/snakewu1994/StyleBasis_Four/en_album_607236.shtml")
Parser = MyParser()
Parser.feed(browser.html)
print "Done"
browser.close()
通过这个程序，可以下载你在页面上看到的全部图片。简单的几行程序就完成了这个艰巨的任务。实现了图片的批量处理。这真是Python语言的优势，再艰巨的任务交给第三方吧。
‘伍’ 如何避免python中的while循环卡死
你没贴代码，也不好说明什么问题。在进行Web请求时，必须设定超时。这里推荐使用urllib2，它的urlopen函数可以设定超时时间。程序“卡死”有可能是这个原因。内置库本身不太可能导致卡死。
一些会大量消耗内存的程序，最好有一个重启机制。因为内存泄露的问题很难避免。运行时间长了有可能会消耗很多内存。一些开源程序就是采用一个不干活的主进程监控，子进程干活。这样即使子进程有了问题，可以使用主进程重建流程。持续运行的程序可以考虑这种方法。
望采纳！
‘陆’ Python有哪些好用的语言翻译方法
1 import re
2 import urllib.parse, urllib.request
3 import hashlib
4 import urllib
5 import random
6 import json
7 import time
8 from translate import Translator
非python自带的库，如python google translator，需要手动安装，命令pip install mole_name。
1. 网络翻译
1 appid = 'your_appid'
2 secretKey = 'your_secretKey'
3 url_ = 'http://api.fanyi..com/api/trans/vip/translate'
4
5 def translateBai(text, f='ja', t='zh'):
6 salt = random.randint(32768, 65536)
7 sign = appid + text + str(salt) + secretKey
8 sign = hashlib.md5(sign.encode()).hexdigest()
9 url = url_ + '?appid=' + appid + '&q=' + urllib.parse.quote(text) + '&from=' + f + '&to=' + t + \
10 '&salt=' + str(salt) + '&sign=' + sign
11 response = urllib.request.urlopen(url)
12 content = response.read().decode('utf-8')
13 data = json.loads(content)
14 result = str(data['trans_result'][0]['dst'])
15 print(result)
参数：text--待翻文本，f--初始语言，t--目标语言，后面方法类似。
2. 有道翻译
1 url_you = 'http://fanyi.you.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=' \
2 'http://www.you.com/'
3 dict = {}
4 dict['type'] = 'AUTO'
5 dict['doctype'] = 'json'
6 dict['xmlVersion'] = '1.8'
7 dict['keyfrom'] = 'fanyi.web'
8 dict['ue'] = 'UTF-8'
9 dict['action'] = 'FY_BY_CLICKBUTTON'
10 dict['typoResult'] = 'true'
11
12 def translateYou(text):
13 global dict
14 dict['i'] = text
15 data = urllib.parse.urlencode(dict).encode('utf-8')
16 response = urllib.request.urlopen(url_you, data)
17 content = response.read().decode('utf-8')
18 data = json.loads(content)
19 result = data['translateResult'][0][0]['tgt']
20 print(result)
参数主要由字典dict指定，发现没有地方可以指定语言（可能是我没找到），测试结果是不管输入什么语言的文本，输出均是中文。
3. 谷歌翻译
1 url_google = 'http://translate.google.cn'
2 reg_text = re.compile(r'(?<=TRANSLATED_TEXT=).*?;')
3 user_agent = r'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ' \
4 r'Chrome/44.0.2403.157 Safari/537.36'
5
6 def translateGoogle(text, f='ja', t='zh-cn'):
7 values = {'hl': 'zh-cn', 'ie': 'utf-8', 'text': text, 'langpair': '%s|%s' % (f, t)}
8 value = urllib.parse.urlencode(values)
9 req = urllib.request.Request(url_google + '?' + value)
10 req.add_header('User-Agent', user_agent)
11 response = urllib.request.urlopen(req)
12 content = response.read().decode('utf-8')
13 data = reg_text.search(content)
14 result = data.group(0).strip(';').strip('\'')
15 print(result)
和上面两种方法一样，采用的是访问网页的形式来进行翻译。
还有一种是利用python谷歌翻译模块Translator：
1 def translateGoogle2(text):
2 result = translator.translate(text)
3 print(result)
4. 测试代码
测试过程：
翻译5个字串为一个小的单位，输出消耗时间；
循环10次为一个大的单位，输出消耗时间；
对不同的语言字串和循环次数做过多次测试，发现情况基本类似，所以这里选择了10次。
1 text_list = ['こんにちは', 'こんばんは', 'おはようございます', 'お休(やす)みなさい', 'お元気(げんき)ですか']
2
3 time_ = 0
4 time_you = 0
5 time_google = 0
6 time_google2 = 0
7
8 for i in list(range(1, 11)):
9 time1 = time.time()
10 for text in text_list:
11 translateBai(text)
12 time2 = time.time()
13 print('网络翻译第%s次时间：%s' % (i, time2 - time1))
14 time_ += (time2 - time1)
15
16 time1 = time.time()
17 for text in text_list:
18 translateYou(text)
19 time2 = time.time()
20 print('有道翻译第%s次时间：%s' % (i, time2 - time1))
21 time_you += (time2 - time1)
22
23 time1 = time.time()
24 for text in text_list:
25 translateGoogle(text)
26 time2 = time.time()
27 print('谷歌翻译第%s次时间：%s' % (i, time2 - time1))
28 time_google += (time2 - time1)
29
30 time1 = time.time()
31 for text in text_list:
32 translateGoogle2(text)
33 time2 = time.time()
34 print('谷歌2翻译第%s次时间：%s' % (i, time2 - time1))
35 time_google2 += (time2 - time1)
36
37
38 print('网络翻译时间：%s' % (time_ / 10))
39 print('有道翻译时间：%s' % (time_you / 10))
40 print('谷歌翻译时间：%s' % (time_google / 10))
41 print('谷歌2翻译时间：%s' % (time_google2 / 10))
‘柒’ 求python大神！！！Traceback (most recent call last):这是什么错误
这是python种错误的跟踪信息。
调用f1()出错了，错误出现在文件XXX.py的第8行代码，错误来源第4行：
File "XXX.py", line 4, in f1
return 1 / int(s)
return 1 / int(s)出错了，找到了错误的源头。
解决方法：
import urllib.request代码改为res=response.read().decode('UTF-8')#读取网页内容，用utf-8解码成字，执行命令pip install xxxx(缺失的包，例如lxml)
或者修改最后一行，将原本的sys.exit(_main())改为sys.exit(_main__._main())
python常用的内置数据类型：
1、数字(number)
用于存储数值。python3支持4种类型的数字：int(整数类型)、foat(浮点型）、bool（布尔类型）、complex（复数类型)。
2、字符串(string)
由数值、字母、下划线组成的一串字符，可以使用单引号(')、双引号(")和三引号(''')指定字符串，使用"+"号可以连接两个字符串
3、列表(list)
一维列表，变长、其内容可以进行修改。
列表是任何对象的有序集合，用“[]”标识。元素之间用逗号隔开，列表中的元素即可以是数字或字符串，也可以是列表。每个列表中的元素都是从0开始计算的。列表可以通过“列表对象.列表方法(参数)”的方式调用
‘捌’ 如何用Python爬虫获取那些价值博文
过程大体分为以下几步：
1. 找到爬取的目标网址；
2. 分析网页，找到自已想要保存的信息，这里我们主要保存是博客的文章内容；
3. 清洗整理爬取下来的信息，保存在本地磁盘。
打开csdn的网页，作为一个示例，我们随机打开一个网页：
http://blog.csdn.net/u013088062/article/list/1。
可以看到，博主对《C++卷积神经网络》和其它有关机计算机方面的文章都写得不错。
1#-*-coding:UTF-8-*-
2importre
3importurllib2
4importsys
5#目的：读取博客文章，记录标题，用Htnl格式保存存文章内容
6#版本：python2.7.13
7#功能：读取网页内容
8classGetHtmlPage():
9#注意大小写
10def__init__(self,strPage):
11self.strPapge=strPage
12#获取网页
13defGetPage(self):
14req=urllib2.Request(self.strPapge)#建立页面请求
15rep=req.add_header("User-Agent","Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/38.0.2125.122Safari/537.36SE2.XMetaSr1.0")
16try:
17cn=urllib2.urlopen(req)#网页请求
18page=cn.read()#读网页
19uPage=page.decode("utf-8")#网页编码
20cn.close()
21returnuPage
22excepturllib2.URLError,e:#捕获异常
23print'URLError:',e.code
24return
25excepturllib2.HTTPError,e:#捕获异常
26print'HTTPError:'+e.reason
27return
28returnrePage
29#正则表达式，获取想要的内容
30classRePage():
31#正则表达式提取内容，返回链表
32defGetReText(self,page,recode):
33rePage=re.findall(recode,page,re.S)
34returnrePage
35#保存文本
36classSaveText():
37defSave(self,text,tilte):
38try:
39t="blog\"+tilte+".html"
40f=file(t,"a")
41f.write(text)
42f.close()
43exceptIOError,e:
44printe.message
45if__name__=="__main__":
46s=SaveText()
47#文件编码
48#字符正确解码
49reload(sys)
50sys.setdefaultencoding("utf-8")#获得系统的默认编码
51#获取网页
52page=GetHtmlPage("http://blog.csdn.net/u013088062/article/list/1")
53htmlPage=page.GetPage()
54#提取内容
55reServer=RePage()
56reBlog=reServer.GetReText(htmlPage,r'.*?(s.+?)')#获取网址链接和标题
57#再向下获取正文
58forrefinreBlog:
59pageHeard="http://blog.csdn.net/"#加链接头
60strPage=pageHeard+ref[0]
61tilte=ref[1].replace('[置顶]',"")#用替换的功能去除杂的英文
62tilte=tilte.replace("
","").lstrip().rstrip()
63#获取正文
64htmlPage=GetHtmlPage(strPage)
65htmlPageData=htmlPage.GetPage()
66reBlogText=reServer.GetReText(htmlPageData,'(.+?)')
67#保存文件
68fors1inreBlogText:
69s1='
'+s1
70s.Save(s1,tilte)
‘玖’ python matplotlib 错误
把你代码贴出来