python实现https
A. python 正则表达式怎么提取以https开头的字符串
输入的字符串格式是？给个输入例子，有助于给出有效的具体方案。
B. python请求https怎么搞
import requests
response=requests.get(httpsUrl,verify=False)
C. Python怎么抓https的包
burp有个插件叫gason，可以直接把请求的数据包发送给sqlmap来测试注入，get/post均可
也有国内的安全研究者开发了burp的插件可以很方便的和sqlmap结合起来
D. 如何 https python
用requests和urllib2报的错误信息是一样，可见它们都是基于相同的底层api操作的，比如基于TLS的socket连接。到这里的时候我怀疑这个问题不是python代码写的有问题，可能是操作系统级别的设置错了。
E. Python 爬取https的登录界面，怎么爬取成功，谢谢
之前写的一直没成功，原因是用的不是HTTPS相关的函数。这次仔细研究了一下，有几个需要注意的点，一个是POST模拟登陆的时候，header中的cookie值，不同的网站应该会有不同的要求；另一个是GET页面的时候，是需要加上POST得到的response中的set-cookie的。这样才能利用登陆的成功。
写完POST和GET页面后，顺便写了个简单的命令行实现。
importhttplib,urllib
importurllib2
importcookielib
importsys
file_text="build_change.txt"
resultTable=dict()
host='buuuuuuu.knight.com'
defLogin(username,password,csrf=''):
url='/login/'
values={
'username':username,
'password':password,
'next':'',
'csrfmiddlewaretoken':csrf,
}
headers={
'User-Agent':'Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/35.0.1916.114Safari/537.36',
'Content-Type':'application/x-www-form-urlencoded',
'Connection':'keep-alive',
'Cookie':'csrftoken=%s'%csrf,
'Referer':'https://buuuuuuu.knight.com/login/',
'Origin':'https://buuuuuuu.knight.com',
'Content-Type':'application/x-www-form-urlencoded',
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
}
values=urllib.urlencode(values)
conn=httplib.HTTPSConnection(host,443)
conn.request("POST",url,values,headers)
response=conn.getresponse()
print'Login:',response.status,response.reason
'''
hdata=response.getheaders()
foriinxrange(len(hdata)):
forjinxrange(len(hdata[i])):
printhdata[i][j],
'''
returnresponse.getheader("set-cookie")
defGetHtml(_url,cookie):
get_headers={
'Host':'xxxxx.knight.com',
'Connection':'keep-alive',
'Cache-Control':'max-age=0',
'Cookie':cookie,
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'User-Agent':'Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/35.0.1916.114Safari/537.36',
'Accept-Language':'zh-CN,zh;q=0.8,en;q=0.6',
}
conn=httplib.HTTPSConnection(host)
conn.request("GET",_url,None,get_headers)
res2=conn.getresponse()
print"Get%s:"%_url,res2.status,res2.reason
'''
hdata1=res2.getheaders()
foriinxrange(len(hdata1)):
forjinxrange(len(hdata1[i])):
printhdata1[i][j],
'''
data=res2.read()
fp=open("build_change.txt","w")
fp.write(data)
fp.close()
defParseHtml():
fp=open(file_text,"r")
content=fp.readline()
_pos=0
whilecontent:
ifcontent.find("class="change-body"")>=0:
topic=content.split(">")
resultTable[_pos]=topic[1]
whilecontent:
content=fp.readline()
resultTable[_pos]=resultTable[_pos]+content
ifcontent.find("</div>")>=0:
_pos=_pos+1
break
content=fp.readline()
fp.close()
print"Parsehtmlsuccess."
defGenerateResultTxt():
f=open("build_change_result.txt","w")
forminresultTable.keys():
f.write("------------------------------------------------------------------------------------------- ")
f.write(resultTable[m])
f.close()
print"Generateresultsuccess:build_change_result.txt."
defHelp():
print'-h:help'
print'-u:username(must)'
print'-p:password(must)'
print'-c:csrftoken(optional)'
print'-s:sandboxbuildid(must)'
print'Forexample:'
print'[1]pythonBuildChange.py-h'
print'[2]pythonBuildChang.py-uu-pp-ss1s2'
print'[3]pythonBuildChang.py-uu-pp-cc-ss1s2'
defParseParam(com):
length=len(com)
username=""
password=""
csrf=""
sid1=""
sid2=""
iflength==2orlength==8orlength==10:
ifcom[1]=='-h':
Help()
foriinrange(1,length):
ifcom[i]=='-u'andi<(length-1):
username=com[i+1]
i+=1
elifcom[i]=='-p'andi<(length-1):
password=com[i+1]
i+=1
elifcom[i]=='-c'andi<(length-1):
csrf=com[i+1]
i+=1
elifcom[i]=='-s'andi<(length-2):
sid1=com[i+1]
sid2=com[i+2]
i+=2
ifusername==""orpassword==""orsid1==""orsid2=="":
print'[Error]Parametererror!'
print'[Error]Youcanuse"pythonBuildChange.py-h"toseehowcanusethisscript.'
else:
ifcsrf=="":
cookie=Login(username,password)
else:
cookie=Login(username,password,csrf)
_url="//changelog//between//%s//and//%s/"%(sid1,sid2)
GetHtml(_url,cookie)
ParseHtml()
GenerateResultTxt()
#C:Python27python.exeC:UsersknightDesktopuildBuildChange.py-uxux-pKKKKKKKK-s18594091858525
if__name__=="__main__":
ParseParam(sys.argv)
F. 如何实现python接口，的https
今天写代码时碰到一个问题，花了几个小时的时间google，基本上把google搜索的前几页内容都一一看了下，问题最终是解决了，不过过程挺曲折的，所以把这个过程记下来以便以后参考之。
原因是以下一段代码引起的：
?
12
import urllib2urllib2.urlopen('https://xxxx.com')
本来这段代码很简单的，就是请求一个https的连接，可是报以下错误：
?
1
urllib2.URLError:
第一反应是https证书问题产生的，如是以'python ssl' 为关键字google后，看到大家都在用'requests'这个python组件做http请求客户端，就像java里面的httpclient组件一样，如果安装完request包后，改成如下代码：
?
12
import requestsrequests.get('https://xxx.com')
还是报以下错误：
?
1
requests.exceptions.SSLError:
[Errno 1] _ssl.c:504: error:140773E8:SSL routines:SSL23_GET_SERVER_HELLO:reason(1000)
可以看出来，用requests和urllib2报的错误信息是一样，可见它们都是基于相同的底层api操作的，比如基于TLS的socket连接。到这里的时候我怀疑这个问题不是python代码写的有问题，可能是操作系统级别的设置错了。如下直接在shell客户端运行如下测试脚本：
?
1
wget
https://xxx.com
果然报如下错误：
?
12
OpenSSL:
error:140773E8:SSL routines:SSL23_GET_SERVER_HELLO:reason(1000)无法建立
SSL 连接。
到这里我怀疑是openssl安装有问题，更新到最新版本后还是一样，然后在浏览器里访问是可以的，所以应该不是openssl有问题。继续google.......，就发现有人也遇到过这种问题，说是连接SSL服务器时SSL的版本不对，如是用如下代码测试不同的SSL版本，看是不是这个问题:
?
12345
curl
-1 https://xxx.com curl
-2 https://xxx.com curl
-3 https://xxx.com
分别用上面的三句脚本去测试连接情况，发现第三种可以连接正常（-1,2,3，数字分别代码tlsv1,sslv2,sslv3三个不同的SSL版本）。说明这个https连接所在的服务器是基于SSLV3版本的。找到的问题，就很容易知道怎么改写python代码了。
?
123456789
class MyAdapter(HTTPAdapter): def init_poolmanager(self,
connections, maxsize): self.poolmanager= PoolManager(num_pools=connections, maxsize=maxsize, ssl_version=ssl.PROTOCOL_SSLv3) s= requests.Session()s.mount('https://',
MyAdapter())#所有的https连接都用ssl.PROTOCOL_SSLV3去连接s.get('https://xxx.com')
urllib2实现：
?#
custom HTTPS opener, banner's oracle 10g server supports SSLv3 onlyimport httplib,
ssl, urllib2, socketclass HTTPSConnectionV3(httplib.HTTPSConnection): def __init__(self,*args,**kwargs): httplib.HTTPSConnection.__init__(self,*args,**kwargs) def connect(self): sock= socket.create_connection((self.host,self.port),self.timeout) if self._tunnel_host: self.sock= sock self._tunnel() try: self.sock= ssl.wrap_socket(sock,self.key_file,self.cert_file,
ssl_version=ssl.PROTOCOL_SSLv3) except ssl.SSLError,
e: print("Trying
SSLv3.") self.sock= ssl.wrap_socket(sock,self.key_file,self.cert_file,
ssl_version=ssl.PROTOCOL_SSLv23) class HTTPSHandlerV3(urllib2.HTTPSHandler): def https_open(self,
req): return self.do_open(HTTPSConnectionV3,
req)#
install openerurllib2.install_opener(urllib2.build_opener(HTTPSHandlerV3())) if __name__== "__main__": r= urllib2.urlopen("htANPROD1/bwskfcls.P_GetCrse") print(r.read())
可以看到这两种方案的原理都是一样，就是自定义连接处理器，改变连接时ssl的版本号。
G. python 链接https安装什么软件
今天写代码时碰到一个问题，花了几个小时的时间google，
首先需要安装openssl，更新到最新版本后，在浏览器里看是否可访问，如果是可以的，所以应该不是openssl有问题。
然后使用 curl尝试访问
curl -v
可以查看ssl版本，如果不能访问，尝试更换ssl版本
1
2
3
4
5
curl
-1
curl
-2 h
curl
-3
分别用上面的三句脚本去测试连接情况，发现第三种可以连接正常（-1,2,3，数字分别代码tlsv1,sslv2,sslv3三个不同的SSL版本）。说明这个https连接所在的服务器是基于SSLV3版本的。找到的问题，就很容易知道怎么改写Python代码了。
1
2
3
4
5
6
7
8
9
class MyAdapter(HTTPAdapter):
def init_poolmanager(self,
connections, maxsize):
self.poolmanager
= PoolManager(num_pools=connections,
maxsize=maxsize,
ssl_version=ssl.PROTOCOL_SSLv3)
s
= requests.Session()
s.mount('https://',
MyAdapter())#所有的https连接都用ssl.PROTOCOL_SSLV3去连接
s.get('')
urllib2实现：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
#
custom HTTPS opener, banner's oracle 10g server supports SSLv3 only
import httplib,
ssl, urllib2, socket
class HTTPSConnectionV3(httplib.HTTPSConnection):
def __init__(self,
*args,
**kwargs):
httplib.HTTPSConnection.__init__(self,
*args,
**kwargs)
def connect(self):
sock
= socket.create_connection((self.host,
self.port),
self.timeout)
if self._tunnel_host:
self.sock
= sock
self._tunnel()
try:
self.sock
= ssl.wrap_socket(sock,
self.key_file,
self.cert_file,
ssl_version=ssl.PROTOCOL_SSLv3)
except ssl.SSLError,
e:
print("Trying
SSLv3.")
self.sock
= ssl.wrap_socket(sock,
self.key_file,
self.cert_file,
ssl_version=ssl.PROTOCOL_SSLv23)
class HTTPSHandlerV3(urllib2.HTTPSHandler):
def https_open(self,
req):
return self.do_open(HTTPSConnectionV3,
req)
#
install opener
urllib2.install_opener(urllib2.build_opener(HTTPSHandlerV3()))
if __name__
== "__main__":
r
= urllib2.urlopen("https://ui2web1.apps.uillinois.e/BANPROD1/bwskfcls.P_GetCrse")
print(r.read())
可以看到这两种方案的原理都是一样，就是自定义连接处理器，改变连接时ssl的版本号。
H. Python如何使用https请求
是发送请求吧，要发送请求的话，可以去网上下载request库，自行调用，然后可以去csdn寻找使用方法，python内部是不支持发送网络请求包的哦QwQ。
I. 如何入门 Python 爬虫
链接：https://pan..com/s/1wMgTx-M-Ea9y1IYn-UTZaA
课程简介
毕业不知如何就业？工作效率低经常挨骂？很多次想学编程都没有学会？
Python 实战：四周实现爬虫系统，无需编程基础，二十八天掌握一项谋生技能。
带你学到如何从网上批量获得几十万数据，如何处理海量大数据，数据可视化及网站制作。
课程目录
开始之前，魔力手册 for 实战学员预习
第一周：学会爬取网页信息
第二周：学会爬取大规模数据
第三周：数据统计与分析
第四周：搭建 Django 数据可视化网站
......