python设置cookie
‘壹’ python异步中aiohttp获取不到正确的Set-cookies值
python异步中aiohttp获取不到正确的Set-cookies值
这几天学习了python的异步请求,想修改之前写的代码提高请求效率,但遇到一个包含set-cookie返回的请求无法获取正确的cookie值
原程序关键代码(单线程)(重点看print()输出内容):
def enter_study(num, course): # 进入每个课群的每个课程记录每个章节url
global lesson_url # 章节
header['Referer'] = re.search(r'http.*?course', qun_course_url[num][course]).group() + 's'
print(session.cookies) # 打印当前网站的cookies
print('
')
while True:
try:
request = session.get(qun_course_url[num][course], headers=header, timeout=3) # 进入课程
print(request.cookies)
print(session.cookies) # 打印当前网站的cookies
input()
break
except Exception as e:
print('进入课程学习重试中。。。')
continue
update_time(1)
update_time(2)
temp_list = []
for x in re.findall(r'/courses/YOOCS*/">', request.text):
temp_list.append('https://xueyuan.yooc.me' + x[:-2]) # 该课程有多少章节
lesson_url[num][course] = temp_
运行结果(cookies中间空白处因为涉及用户信息所以屏蔽了):
修改后的出现问题的代码(异步)(重点看print()输出内容):
async def enter_study(num, course, header): # 进入每个课群的每个课程记录每个章节url
async with aiohttp.ClientSession(cookies=cookie) as session:
header['Referer'] = re.search(r'http.*?course', qun_data[num][2][course]).group() + 's'
#打印请求前的cookie记录
print(session.cookie_jar.filter_cookies())
async with session.get(qun_data[num][2][course], headers=header) as html: # 进入课程
update_time(1)
update_time(2)
print('
')
print(html.cookies)#打印Set-cookie信息
print()
#打印请求后的cookie记录
print(print(session.cookie_jar.filter_cookies()))
if str(html.cookies).find('Set-Cookie') > -1:
save_cookie_record['Set-Cookie'] = html.cookies
rep_text = await html.text(encoding='utf-8')
temp_list = []
for x in re.findall(r'/courses/YOOCS*/">', rep_text):
temp_list.append('https://xueyuan.yooc.me' + x[:-2]) # 该课程有多少章节
qun_data[num][2][course] = temp_
运行结果(请求后返回的set-cookies信息没有更新):
该程序是用一个cookie字典来保存cookie值的,需要通过请求后的set-cookie值来更新我的cookie字典,为什么用在异步请求上却不行呢?
‘贰’ python获取cookie后怎么模拟登陆网站
运行平台:Windows
Python版本:Python3.x
IDE:Sublime text3
一、为什么要使用Cookie
Cookie,指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密)。
比如说有些网站需要登录后才能访问某个页面,在登录之前,你想抓取某个页面内容,登陆前与登陆后是不同的,或者不允许的。
使用Cookie和使用代理IP一样,也需要创建一个自己的opener。在HTTP包中,提供了cookiejar模块,用于提供对Cookie的支持。
三、总结
获取成功!如果看过之前的笔记内容,我想这些代码应该很好理解吧。
‘叁’ python测试接口时需要登录怎么解决
有些网页需要你登录之后才可以访问,你需要提供账户和密码。
只要在发送http请求时,带上含有正常登陆的cookie就可以了。
1.首先我们要先了解cookie的工作原理。
Cookie是由服务器端生成,发送给User-Agent(一般是浏唤皮览器),浏览器会将Cookie的key/value保存到某个目录下的文本文件内,下次请求同一网站时就发送该Cookie给服务器(前提是浏览器设置为启用cookie)。Cookie名称和值可以由服务器端开发自己定义,对于JSP而言也可以直接写入jsessionid,这样服务器可以知道该用户是否合法用户以及是否需要重新登录等。
2.之后我们要获取和尘差到用户正常登录的cookie.
python提供了cookieJar的库,只要兄拍把cookieJar的实例作为参数传到urllib2的一个opener里面。
然后访问一次登录的页面,cookie就已经保存下来了。之后通过这个实例访问所有的页面都带有正常登陆的cookie了。
以人人网为例子。
Python代码
#encoding=utf-8
importurllib2
importurllib
importcookielib
defrenrenBrower(url,user,password):
#登陆页面,可以通过抓包工具分析获得,如fiddler,wireshark
login_page="hLogin.do"
try:
#获得一个cookieJar实例
cj=cookielib.CookieJar()
#cookieJar作为参数,获得一个opener的实例
opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
#伪装成一个正常的浏览器,避免有些web服务器拒绝访问。
opener.addheaders=[('User-agent','Mozilla/4.0(compatible;MSIE6.0;WindowsNT5.1)')]
#生成Post数据,含有登陆用户名密码。
data=urllib.urlencode({"email":user,"password":password})
#以post的方法访问登陆页面,访问之后cookieJar会自定保存cookie
opener.open(login_page,data)
#以带cookie的方式访问页面
op=opener.open(url)
#读取页面源码
data=op.read()
returndata
exceptException,e:
printstr(e)
#访问某用户的个人主页,其实这已经实现了人人网的签到功能。
printrenrenBrower("httm/home","用户名","密码")