python爬蟲圖片

❶ python爬蟲圖片 在目錄中存在圖片1 跳過該圖片1，繼續寫入圖片2的代碼

給你一個代碼借鑒下：

#!/usr/bin/python3
#-*-coding:utf-8-*-

importrequests
importre
importos

Header={"User-Agent":"Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/38.0.2125.104Safari/537.36"}

defpicture_get(picture_url):
try:
root="E:/pic/"
path=root+url.split('/')[-1]
ifnotos.path.exists(root):#目錄不存在創建目錄
os.mkdir(root)
ifnotos.path.exists(path):#文件不存在則下載
r=requests.get(picture_url,headers=Header)
f=open(path,"wb")
f.write(r.content)
f.close()
print("文件下載成功")
else:
print("文件已經存在")
except:
print("獲取失敗")

❷ 如何使用python爬取到高清原圖

#-*-coding:utf8-*-
#2013.12.3619:41wnlo-c209
#抓取dbmei.com的圖片。

frombs4importBeautifulSoup
importos,sys,urllib2

#創建文件夾，昨天剛學會
path=os.getcwd()				#獲取此腳本所在目錄
new_path=os.path.join(path,u'豆瓣妹子')
ifnotos.path.isdir(new_path):
	os.mkdir(new_path)


defpage_loop(page=0):
	url='http://www.dbmeizi.com/?p=%s'%page
	content=urllib2.urlopen(url)

	soup=BeautifulSoup(content)

	my_girl=soup.find_all('img')

#加入結束檢測，寫的不好....
	ifmy_girl==[]:
		printu'已經全部抓取完畢'
		sys.exit(0)

	printu'開始抓取'
	forgirlinmy_girl:
		link=girl.get('src')
		flink='http://www.dbmeizi.com/'+link
		
		printflink
		content2=urllib2.urlopen(flink).read()
		withopen(u'豆瓣妹子'+'/'+flink[-11:],'wb')ascode:#在OSC上現學的
			code.write(content2)
	page=int(page)+1
	printu'開始抓取下一頁'
	print'the%spage'%page
	page_loop(page)
	
page_loop()
print"~~~~~~~~~~~~~~~~~~~~~~~~~~END~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~"
#為了避免雙擊的時候直接一閃退出，在最後面加了這么一句
raw_input("Press<Enter>ToQuit!")

❸ linux下python怎麼寫爬蟲獲取圖片

跟linux有什麼關系，python是跨平台的，爬取圖片的代碼如下：

import urllib.requestimport osimport randomdef url_open(url):
req=urllib.request.Request(url) #為請求設置user-agent,使得程序看起來更像一個人類
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0') #代理IP，使用戶能以不同IP訪問，從而防止被伺服器發現
'''iplist=['1.193.162.123:8000','1.193.162.91:8000','1.193.163.32:8000']
proxy_support=urllib.request.ProxyHandler({'http':random.choice(iplist)})
opener=urllib.request.build_opener(proxy_support)
opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.154 Safari/537.36 LBBROWSER')]

urllib.request.install_opener(opener)'''

response=urllib.request.urlopen(req)
html=response.read() return htmldef get_page(url):

html=url_open(url).decode('utf-8')
a=html.find('current-comment-page')+23
b=html.find(']',a) #print(html[a:b])
return html[a:b]def find_imgs(url):
html=url_open(url).decode('utf-8')
img_addrs=[]

a=html.find('img src=') while a!=-1:
b=html.find('.jpg',a,a+140) if b!=-1: if html[a+9]!='h':
img_addrs.append('http:'+html[a+9:b+4]) else:
img_addrs.append(html[a+9:b+4]) else:
b=a+9

a=html.find('img src=',b) for each in img_addrs:
print(each+'我的列印') return img_addrsdef save_imgs(folder,img_addrs):
for each in img_addrs: #print('one was saved')
filename=each.split('/')[-1] with open(filename,'wb') as f:
img=url_open(each)
f.write(img)def download_mm(folder='ooxx',pages=10):
os.mkdir(folder)
os.chdir(folder)

url=""
page_num=int(get_page(url)) for i in range(pages):
page_num=page_num-1
page_url=url+'page-'+str(page_num)+'#comments'
img_addrs=find_imgs(page_url)
save_imgs(folder,img_addrs)if __name__=='__main__':
download_mm()

完成

運行結果

❹ Python如何爬取百度圖片

幾乎所有的網站都會有反爬機制，這就需要在爬取網頁時攜帶一些特殊參數，比如：user-agent、Cookie等等，可以在寫代碼的時候用工具將所有參數都帶上。

❺ 寫python爬蟲時,想抓圖片的原圖

點圖片之前開啟firebug，切換到網路標簽，看看你點圖片的時候發生了什麼。
然後模仿那個http請求。
重新看了一下圖，好像沒那麼麻煩。
下面那個img標簽里的 data-src 不就是原圖地址？

❻ python圖片爬蟲怎麼運行不出來，大嬸們幫著看看

你畫個圖別人也不知道你的tree的數據結構，你要寫出這個tree在python中是如果表達的，才能寫對應的遍歷代碼埃 如果解決了您的問題請採納！ 如果未解決請繼續追問

❼ python爬蟲，抓取一個頁面中所有鏈接內的文字和圖片並保存在本地怎麼

並不是所有的網站結構都是一樣的，你說的功能大體可以用Python實現，但並沒有寫好的通用代碼，還需要根據不同的網頁去做調試。

❽ 使用Python爬蟲下載圖片，得到的圖片不顯示

你需要檢查一下你的結果，看看是否請求成功了。可能伺服器返回的並不是一個圖片，但是你強制給他寫入到圖片格式文件中了，所以沒辦法顯示。
你可以通過輸出response或者使用抓包軟體來檢查。

❾ 用Python爬蟲爬取的圖片怎麼知道圖片有沒有水印

看啊 眼睛是能判斷的

❿ Python爬蟲爬取圖片這個報錯怎麼處理

你好！你的錯誤原因在於html頁面獲取到的img標簽src屬性中的鏈接，可能是因為src中的url格式是這樣的：

<imgsrc="//hao123.com/xxx/xxx/xxx/"></img>

這樣獲取到的鏈接都沒有帶上協議：http或者https。而導致程序拋出ValueError的錯誤異常。

因為正常的url格式應該類似這樣的：https://www..com/

即 協議://用戶名:密碼@子域名.域名.頂級域名:埠號/目錄/文件名.文件後綴?參數=值#標志

參考網頁鏈接

可將代碼中第一個for循環中download_links.append修改為：

forpic_taginsoup.find_all('img'):
pic_link=pic_tag.get('src')
download_links.append('http:'+pic_link)