pythonurllib2下載
Ⅰ python如何實現文件的下載，請盡量詳細，高分！！！
import os,urllib.request,re
os.chdir(r'd:')
data = urllib.request.urlopen(url).read()
with open(filename, 'wb') as f:
f.write(data)
url就是你要下載的文件鏈接，filename就是下載後保存的文件名。這段代碼是把文件下載在d盤根目錄下，你可以自己修改。
不過是單線程的，想要多線程下載，比較復雜，我沒有試過，這個下載小文件還是沒有問題的。
Ⅱ python如何讀取網頁中的數據
用Beautiful Soup這類解析模塊：
Beautiful Soup 是用Python寫的一個HTML/XML的解析器，它可以很好的處理不規范標記並生成剖析樹(parse tree)；
它提供簡單又常用的導航(navigating)，搜索以及修改剖析樹的操作；
用urllib或者urllib2(推薦)將頁面的html代碼下載後，用beautifulsoup解析該html；
然後用beautifulsoup的查找模塊或者正則匹配將你想獲得的內容找出來，就可以進行相關處理了，例如：
html='<html><head><title>test</title></head><body><p>testbody</p></body></html>'
soup=BeautifulSoup(html)
soup.contents[0].name
#u'html'
soup.comtents[0].contents[0].name
#u'head'
head=soup.comtents[0].contents[0]
head.parent.name
#u'html'
head.next
#u'<title>test</title>
Ⅲ python 下載文件到文件夾下的問題
open文件的時候就可以設置文件的路徑，比如，這里改成
open(r'd:\download\google.gif', 'wb').write(rs)
就保存到那個文件夾下了。
Ⅳ 為什麼我下載的Python3.6，urllib包裡面沒有urlopen方法
Python3.x以上版本里的urllib模塊已經發生改變，此處的urllib都應該改成urllib.request。
例如要寫成這樣：
import urllib.request
web = urllib.request.urlopen('http://www..com')
f = web.read()
print(f)
Ⅳ python3.4沒有 urllib2
py3版本之後urllib模塊合並為urllib.request了。
原先的一些函數方法變化不大，只是多加了一個request而已。比如urllib.request.urlopen（）
參考：http://www.cnblogs.com/Lands-ljk/p/5447127.html
Ⅵ python urllib2模塊 在哪裡下載
urllib2是python自帶的模塊，不需要下載。
urllib2在python3.x中被改為urllib.request
Ⅶ python3中怎麼沒有urllib2
urllib2是python2自帶的模塊，不需要下載。
urllib2在python3.x中被改為urllib ,你直接輸入urllib就可以了
>>>importurllib
下圖是我電腦上的Python3.5版本的
Ⅷ Python3.xx中寫爬蟲，下載圖片除了urlretrieve方法，還有什麼庫的什麼方法呢
Part 1. urllib2
urllib2是Python標准庫提供的與網路相關的庫，是寫爬蟲最常用的一個庫之一。
想要使用Python打開一個網址，最簡單的操作即是：
your_url = "http://publicdomainarchive.com/"html = urllib2.urlopen(your_url).read()12
這樣所獲得的就是對應網址(url)的html內容了。
但有的時候這么做還不夠，因為目前很多的網站都有反爬蟲機制，對於這么初級的代碼，是很容易分辨出來的。例如本文所要下載圖片的網站http://publicdomainarchive.com/，上述代碼會返回HTTPError: HTTP Error 403: Forbidden錯誤。
那麼，在這種情況下，下載網路圖片的爬蟲（雖然只有幾行代碼，但一個也可以叫做爬蟲了吧，笑），就需要進一步的偽裝。
要讓爬蟲偽裝成瀏覽器訪問指定的網站的話，就需要加入消息頭信息。所謂的消息頭信息就是在瀏覽器向網路伺服器發送請求時一並發送的請求頭(Request Headers)信息和伺服器返回的響應頭(Response Headers)信息。
例如，使用FireFox打開http://publicdomainarchive.com/時所發送的Request Headers的部分內容如下：
Host:"publicdomainarchive.com/"User-Agent:"Mozilla/5.0 (Windows NT 10.0; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0"Accept:"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"...1234
還有一些其他屬性，但其中偽裝成瀏覽器最重要的部分已經列出來了，即User-Agent信息。
要使用Headers信息，就不能再僅僅向urlopen方法中傳入一個地址了，而是需要將HTTP Request的Headers封裝後傳入：
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0'}req = urllib2.Request(url = url, headers = headers)content = urllib2.urlopen(req).read()123
這樣，就獲得了網站的html內容。
接下來，就需要從html去獲取圖片的鏈接。
Part 2. HTMLParser
HTMLParser是Python提供的HTML解析庫之一。
但Python提供的這個類中很多方法都沒有實現，因而基本上這個庫只負責進行解析，但解析完了什麼都不做。所以如果需要對HTML中的某些元素進行加工的話，就需要用戶自己去實現其中的一些方法。本文僅實現其中的handle_starttag方法：
class MyHTMLParser(HTMLParser): #繼承HTMLParser類
def __init__(self): #初始化
HTMLParser.__init__(self) def handle_starttag(self, tag, attrs):
#參數tag即由HTMLParser解析出的開始標簽，attrs為該標簽的屬性
if tag == "img": #下載圖片所需要的img標簽
if len(attrs) == 0: pass
else: for (variable, value) in attrs: #在attrs中找到src屬性，並確定其是我們所要下載的圖片，最後將圖片下載下來（這個方法當然也有其他的寫法）
if variable == "src" and value[0:4] == 'http' and value.find('x') >= 0:
pic_name = value.split('/')[-1] print pic_name
down_image(value, pic_name)123456789101112131415
Part 3. 下載圖片
從handle_starttag方法中，我們已經獲得了圖片的url，那麼，最後一步，我們要下載圖片了。
當然，要獲得網路上的圖片，自然也需要向伺服器發送請求，一樣需要用到urllib2這個庫，也需要用到上面所用到的請求頭。
以下是down_image()方法的主要代碼：
binary_data = urllib2.urlopen(req).read()
temp_file = open(file_name, 'wb')
temp_file.write(binary_data)
temp_file.close()1234
因為這次打開的網址是個圖片，所以urllib2.urlopen(req).read()所獲取的就是圖片的數據，將這些數據需要以二進制的方式寫入本地的圖片文件，即將圖片下載下來了。
因為圖片的url的最後一部分是圖片的名字，所以可以直接用做本地的文件名，不用擔心命名沖突，也不用擔心後綴不符，很是方便。
Part 4. getFreeImages.py
這個下載圖片的腳本的完整代碼如下：
import urllib2,osfrom HTMLParser import HTMLParser
class MyHTMLParser(HTMLParser):
def __init__(self):
HTMLParser.__init__(self) #self.links = {}
def handle_starttag(self, tag, attrs):
#print "Encountered the beginning of a %s tag" % tag
if tag == "img": if len(attrs) == 0: pass
else: for (variable, value) in attrs: if variable == "src" and value[0:4] == 'http' and value.find('x') >= 0:
pic_name = value.split('/')[-1] print pic_name
down_image(value, pic_name)def down_image(url,file_name):
global headers
req = urllib2.Request(url = url, headers = headers)
binary_data = urllib2.urlopen(req).read()
temp_file = open(file_name, 'wb')
temp_file.write(binary_data)
temp_file.close()if __name__ == "__main__":
img_dir = "D:\\Downloads\\domain images"
if not os.path.isdir(img_dir):
os.mkdir(img_dir)
os.chdir(img_dir) print os.getcwd()
url = ""
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0'}
all_links = []
hp = MyHTMLParser() for i in range(1,30):
url = 'http://publicdomainarchive.com/public-domain-images/page/' + str(i) + '/'
req = urllib2.Request(url = url, headers = headers)
content = urllib2.urlopen(req).read()
hp.feed(content)
hp.close()041424344454647484950
Ⅸ python3.4沒有urllib2
Python3.x以上版本里的urllib模塊已經發生改變，此處的urllib都應該改成urllib.request。
例如要寫成這樣：
import urllib.request
web = urllib.request.urlopen('http://www..com')
f = web.read()
print(f)
Ⅹ python ,urllib2下載一個網頁文件，下載文件中文亂碼，該如何轉換成正常數據呢如圖
網頁一般是utf-8的編碼，你輸出出來用gbk或gb2312的編碼試試