當前位置:首頁 » 編程語言 » pythonurllib方法

pythonurllib方法

發布時間: 2024-10-27 17:30:55

python3中使用urllib進行https請求

剛入門python學習網路爬蟲基礎,我使用的python版本是python3.6.4,學習的教程參考 Python爬蟲入門教程

python3.6的版本已經沒有urllib2這個庫了,所以我也不需要糾結urllib和urllib2的區別和應用場景

參考這篇官方文檔 HOWTO Fetch Internet Resources Using The urllib Package 。關於http(s)請求一般就get和post兩種方式較為常用,所以寫了以下兩個小demo,url鏈接隨便找的,具體場景具體變化,可參考注釋中的基本思路

POST請求:

GET請求:

注意,
使用ssl創建未經驗證的上下文,在urlopen中需傳入上下文參數
urllib.request.urlopen(full_url, context=context)
這是Python 升級到 2.7.9 之後引入的一個新特性,所以在使用urlopen打開https鏈接會遇到如下報錯:
ssl.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:777)
所以,當使用urllib.urlopen打開一個 https 鏈接時,需要先驗證一次 SSL 證書
context = ssl._create_unverified_context()
或者或者導入ssl時關閉證書驗證
ssl._create_default_https_context =ssl._create_unverified_context

熱點內容
刷鞋解壓嗎 發布:2025-03-18 15:05:11 瀏覽:789
大眾輝昂中配車型有什麼配置 發布:2025-03-18 14:51:11 瀏覽:399
筆記本電腦上怎麼關閉代理伺服器 發布:2025-03-18 14:23:50 瀏覽:341
明日之後武士什麼配置 發布:2025-03-18 14:22:22 瀏覽:350
華為終端雲伺服器怎麼樣 發布:2025-03-18 14:14:18 瀏覽:229
飢荒聯機版如何自己開伺服器 發布:2025-03-18 14:04:41 瀏覽:58
9p什麼時候升級安卓 發布:2025-03-18 14:00:51 瀏覽:420
為什麼安攝像頭顯示配置沖突 發布:2025-03-18 13:59:09 瀏覽:227
安卓手機在哪裡看攔截 發布:2025-03-18 13:52:21 瀏覽:222
用伺服器怎麼掙錢 發布:2025-03-18 13:47:50 瀏覽:600