当前位置:首页 » 编程语言 » pythonurllib方法

pythonurllib方法

发布时间: 2024-10-27 17:30:55

python3中使用urllib进行https请求

刚入门python学习网络爬虫基础,我使用的python版本是python3.6.4,学习的教程参考 Python爬虫入门教程

python3.6的版本已经没有urllib2这个库了,所以我也不需要纠结urllib和urllib2的区别和应用场景

参考这篇官方文档 HOWTO Fetch Internet Resources Using The urllib Package 。关于http(s)请求一般就get和post两种方式较为常用,所以写了以下两个小demo,url链接随便找的,具体场景具体变化,可参考注释中的基本思路

POST请求:

GET请求:

注意,
使用ssl创建未经验证的上下文,在urlopen中需传入上下文参数
urllib.request.urlopen(full_url, context=context)
这是Python 升级到 2.7.9 之后引入的一个新特性,所以在使用urlopen打开https链接会遇到如下报错:
ssl.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:777)
所以,当使用urllib.urlopen打开一个 https 链接时,需要先验证一次 SSL 证书
context = ssl._create_unverified_context()
或者或者导入ssl时关闭证书验证
ssl._create_default_https_context =ssl._create_unverified_context

热点内容
华为手机视频在哪个文件夹 发布:2025-01-12 02:56:54 浏览:715
电脑qq音乐缓存音乐 发布:2025-01-12 02:55:27 浏览:344
手机没改密码为什么密码变了 发布:2025-01-12 02:55:24 浏览:811
继承者下载22下载ftp 发布:2025-01-12 02:44:06 浏览:354
数据库换格式 发布:2025-01-12 02:44:02 浏览:461
一起编程地球 发布:2025-01-12 02:42:43 浏览:875
无法设置kms服务器地址怎么办 发布:2025-01-12 02:42:36 浏览:526
android任务 发布:2025-01-12 02:36:07 浏览:634
家用办公学习电脑要什么配置 发布:2025-01-12 02:27:00 浏览:913
十一代思域劲动有哪些配置 发布:2025-01-12 02:26:56 浏览:417