python的urllib2
『壹』 python2.7有urllib2嗎
python2版本都是有的
到了python3版本,也是有的,只不過名字換掉了
『貳』 python3.4沒有 urllib2
py3版本之後urllib模塊合並為urllib.request了。
原先的一些函數方法變化不大,只是多加了一個request而已。比如urllib.request.urlopen()
參考:http://www.cnblogs.com/Lands-ljk/p/5447127.html
『叄』 python的httplib,urllib和urllib2的區別及用
功能上沒什麼區別吧,httlib2比urllib更進一步把,比如在長鏈接支持方面,運行速度方面更優越一點兒,適用情況差不多。 個人感覺pycurl更強大一點。
『肆』 python urllib2模塊 在哪裡下載
urllib2是python自帶的模塊,不需要下載。
urllib2在python3.x中被改為urllib.request
『伍』 python urllib2的用法
urllib2 默認會使用環境變數 http_proxy 來設置 HTTP Proxy。如果想在程序中明確控制 Proxy 而不受環境變數的影響,可以使用下面的方式:
import urllib2
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'IP:8080'})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
opener = urllib2.build_opener(proxy_handler)
else:
opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)
這里要注意的一個細節,使用 urllib2.install_opener() 會設置 urllib2 的全局 opener 。這樣後面的使用會很方便,但不能做更細粒度的控制,比如想在程序中使用兩個不同的 Proxy 設置等。比較好的做法是不使用 install_opener 去更改全局的設置,而只是直接調用 opener 的 open 方法代替全局的 urlopen 方法。
『陸』 python 中的urllib與urllib2區別在那啊!
可以把urllib2當作urllib的擴增,比較明顯的優勢是urllib2.urlopen可以接受Request對象作為參數,從而可以控制HTTP Request的header部。
做HTTP Request時應當盡量使用urllib2庫,但是urllib.urlretrieve函數以及urllib.quote等一系列quote和unquote功能沒有被加入urllib2中,因此有時也需要urllib的輔助。
『柒』 python urllib2 加頭問題
defopenUrl(url):
url='http://'+url
req=urllib2.Request(url)
req.add_header('User-agent','Mozilla/5.0(WindowsNT6.2;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/33.0.1707.0Safari/537.36')
response=urllib2.urlopen(req)
the_page=response.read()
printthe_page
printresponse.geturl()
printresponse.info()
printresponse.headers
你試試哈,訪問網頁我一般用urllib2來做,這代碼我都用過的,模擬瀏覽器的話,一般就在header里的 User-agent里指定就可以了,至於其他,除非你訪問的網頁有特定的寫法(比如,'Accept-Encoding',只能用'gzip'或者deflate,不能通用)
『捌』 python3.4沒有urllib2怎麼辦
python 3.x中urllib庫和urilib2庫合並成了urllib庫。
其中urllib2.urlopen()變成了urllib.request.urlopen()
urllib2.Request()變成了urllib.request.Request()
『玖』 python2.7 怎樣集成 urllib2
python最惡心的地方就在於它的版本和配置了,特別是安裝第三方包的時候經常會出現莫名其妙的錯誤,又不懂。
所以只能不斷的切來切去的。
今天學習python爬蟲,其中Python2.7使用了urllib和urllib2,python3的urllib結合了py2.7的兩部分。但是電腦不知為什麼又安裝不了py3的urllib,好煩。出現下面的錯誤。
python2.7和python3主要是模塊的位置變化地方較多。
其中python2.7的urllib和urllib2的區別一下:
urllib2可以接受一個Request類的實例來設置URL請求的headers,urllib僅可以接受URL。這意味著,你不可以通過urllib模塊偽裝你的User Agent字元串等(偽裝瀏覽器)。
urllib提供urlencode方法用來GET查詢字元串的產生,而urllib2沒有。這是為何urllib常和urllib2一起使用的原因。
urllib2模塊比較優勢的地方是urlliburllib2.urlopen可以接受Request對象作為參數,從而可以控制HTTP Request的header部。
但是urllib.urlretrieve函數以及urllib.quote等一系列quote和unquote功能沒有被加入urllib2中,因此有時也需要urllib的輔助。
『拾』 python3.4沒有urllib2
Python3.x以上版本里的urllib模塊已經發生改變,此處的urllib都應該改成urllib.request。
例如要寫成這樣:
import urllib.request
web = urllib.request.urlopen('http://www..com')
f = web.read()
print(f)