python爬圖
① python 怎麼把爬到的圖片保存下來
#建立單級目錄
filename=r'E:\NASDownload\視頻\一行代碼爬視頻\爬取圖片以此
for i in range(0,len(imageinfo)):
path="{}{}{}{}".format(filename,'\\',i,'.jpg')
res=requests.get(url=imageinfo[i]).content
time.sleep(5)
with open(path,'wb') as f:
f.write(res)
f.close()
② 想用python爬取網頁上的圖片,但無法用select()方法定點陣圖片的源地址
是的可以撒入爬去獲得。
③ python爬取驗證碼圖片,遇到驗證碼src屬性為完整的網址應該怎麼做
爬蟲中手動輸入驗證碼方法無法獲取圖片src地址
驗證碼在html中圖片標簽內容:
<class=「verCodeImg」 src="/kaptcha.jpg?v=0.234724039578059" οnclick=「verCode(this)」>
< class=「verCodeImg」 src="/kaptcha.jpg?v=0.234724239578059" οnclick=「verCode(this)」>
可知獲取到驗證碼的src地址就能動態的獲得驗證碼
因為驗證碼是動態的!動態的!動態的!
用動態爬取網頁的方法:
要用到selenium庫
其實獲得了驗證碼的src地址,我還是沒能成功登陸
因為即使是相同的鏈接點進去,每一次刷新都會有不同的驗證碼
通過動態網頁打開是一張
解析src地址出來是另一張
④ python3 爬取圖片異常的原因
我們在下載文件時,一會會採取urlretrieve或是requests的get方式,
from urllib.request import urlretrieve
urlretrieve(self.url, filename="xxx.png")
但對於連續下載,各個文件保存是需要時間的,而程序運行永運是快於存儲的,我懷疑這是水管里流水速度與缸的大小不合適的原因,那可以試試下面這種方式:
r = requests.get(url, stream=True)
with open(local_filename, 'wb') as f:
for chunk in r.iter_content(chunk_size=1024):
if chunk: # filter out keep-alive new chunks
f.write(chunk)
f.flush()
⑤ 如何用python爬取mm131圖片
簡單,就三步(第二步核心!)
定義item類
開發spider類
開發pipeline
具體信息可從 瘋狂python講義 書中學到(任何錯誤或數據分析)
⑥ python 爬取圖片,沒有後綴名
首先你要安裝Pillow這個庫,它可以幫助你獲取這個圖片的類型。
importcStringIO,urllib2,time
fromPILimportImage
url='http://mmbiz.qpic.cn/mmbiz/KrBnGnvYojpichqTUY5X3g/0'
req=urllib2.urlopen(url)
data=req.read()
tmpIm=cStringIO.StringIO(data)
im=Image.open(tmpIm)
tm='%s.%s'%(int(time.time()),im.format.lower())
withopen(tm,'wb')asfp:
fp.write(data)
給分吧,哈啊哈。
如果解決了您的問題請採納!
如果未解決請繼續追問!
⑦ Python如何爬取百度圖片
幾乎所有的網站都會有反爬機制,這就需要在爬取網頁時攜帶一些特殊參數,比如:user-agent、Cookie等等,可以在寫代碼的時候用工具將所有參數都帶上。
⑧ python爬取圖片時候url地址是下載圖片時報錯了
你的參數可能不對,你可以加個teace來看看,在報錯的第二十二行前,看一下參數是什麼,type看一下類型再說。
希望懂的回答能幫到你
是
⑨ python如何利用requests和bs4爬取圖片
目標網站網址呢?網址發出來我看一下
每個網站的HTML結構不一樣,解析代碼就不一樣,要針對不同的網站編寫不同的代碼
編寫爬蟲代碼前還要評估目標網站是否需要登錄,數據是否有加密等諸多問題
⑩ 如何使用python爬取到高清原圖
#-*-coding:utf8-*-
#2013.12.3619:41wnlo-c209
#抓取dbmei.com的圖片。
frombs4importBeautifulSoup
importos,sys,urllib2
#創建文件夾,昨天剛學會
path=os.getcwd() #獲取此腳本所在目錄
new_path=os.path.join(path,u'豆瓣妹子')
ifnotos.path.isdir(new_path):
os.mkdir(new_path)
defpage_loop(page=0):
url='http://www.dbmeizi.com/?p=%s'%page
content=urllib2.urlopen(url)
soup=BeautifulSoup(content)
my_girl=soup.find_all('img')
#加入結束檢測,寫的不好....
ifmy_girl==[]:
printu'已經全部抓取完畢'
sys.exit(0)
printu'開始抓取'
forgirlinmy_girl:
link=girl.get('src')
flink='http://www.dbmeizi.com/'+link
printflink
content2=urllib2.urlopen(flink).read()
withopen(u'豆瓣妹子'+'/'+flink[-11:],'wb')ascode:#在OSC上現學的
code.write(content2)
page=int(page)+1
printu'開始抓取下一頁'
print'the%spage'%page
page_loop(page)
page_loop()
print"~~~~~~~~~~~~~~~~~~~~~~~~~~END~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~"
#為了避免雙擊的時候直接一閃退出,在最後面加了這么一句
raw_input("Press<Enter>ToQuit!")