python爬图
① python 怎么把爬到的图片保存下来
#建立单级目录
filename=r'E:\NASDownload\视频\一行代码爬视频\爬取图片以此
for i in range(0,len(imageinfo)):
path="{}{}{}{}".format(filename,'\\',i,'.jpg')
res=requests.get(url=imageinfo[i]).content
time.sleep(5)
with open(path,'wb') as f:
f.write(res)
f.close()
② 想用python爬取网页上的图片,但无法用select()方法定位图片的源地址
是的可以撒入爬去获得。
③ python爬取验证码图片,遇到验证码src属性为完整的网址应该怎么做
爬虫中手动输入验证码方法无法获取图片src地址
验证码在html中图片标签内容:
<class=“verCodeImg” src="/kaptcha.jpg?v=0.234724039578059" οnclick=“verCode(this)”>
< class=“verCodeImg” src="/kaptcha.jpg?v=0.234724239578059" οnclick=“verCode(this)”>
可知获取到验证码的src地址就能动态的获得验证码
因为验证码是动态的!动态的!动态的!
用动态爬取网页的方法:
要用到selenium库
其实获得了验证码的src地址,我还是没能成功登陆
因为即使是相同的链接点进去,每一次刷新都会有不同的验证码
通过动态网页打开是一张
解析src地址出来是另一张
④ python3 爬取图片异常的原因
我们在下载文件时,一会会采取urlretrieve或是requests的get方式,
from urllib.request import urlretrieve
urlretrieve(self.url, filename="xxx.png")
但对于连续下载,各个文件保存是需要时间的,而程序运行永运是快于存储的,我怀疑这是水管里流水速度与缸的大小不合适的原因,那可以试试下面这种方式:
r = requests.get(url, stream=True)
with open(local_filename, 'wb') as f:
for chunk in r.iter_content(chunk_size=1024):
if chunk: # filter out keep-alive new chunks
f.write(chunk)
f.flush()
⑤ 如何用python爬取mm131图片
简单,就三步(第二步核心!)
定义item类
开发spider类
开发pipeline
具体信息可从 疯狂python讲义 书中学到(任何错误或数据分析)
⑥ python 爬取图片,没有后缀名
首先你要安装Pillow这个库,它可以帮助你获取这个图片的类型。
importcStringIO,urllib2,time
fromPILimportImage
url='http://mmbiz.qpic.cn/mmbiz/KrBnGnvYojpichqTUY5X3g/0'
req=urllib2.urlopen(url)
data=req.read()
tmpIm=cStringIO.StringIO(data)
im=Image.open(tmpIm)
tm='%s.%s'%(int(time.time()),im.format.lower())
withopen(tm,'wb')asfp:
fp.write(data)
给分吧,哈啊哈。
如果解决了您的问题请采纳!
如果未解决请继续追问!
⑦ Python如何爬取百度图片
几乎所有的网站都会有反爬机制,这就需要在爬取网页时携带一些特殊参数,比如:user-agent、Cookie等等,可以在写代码的时候用工具将所有参数都带上。
⑧ python爬取图片时候url地址是下载图片时报错了
你的参数可能不对,你可以加个teace来看看,在报错的第二十二行前,看一下参数是什么,type看一下类型再说。
希望懂的回答能帮到你
是
⑨ python如何利用requests和bs4爬取图片
目标网站网址呢?网址发出来我看一下
每个网站的HTML结构不一样,解析代码就不一样,要针对不同的网站编写不同的代码
编写爬虫代码前还要评估目标网站是否需要登录,数据是否有加密等诸多问题
⑩ 如何使用python爬取到高清原图
#-*-coding:utf8-*-
#2013.12.3619:41wnlo-c209
#抓取dbmei.com的图片。
frombs4importBeautifulSoup
importos,sys,urllib2
#创建文件夹,昨天刚学会
path=os.getcwd() #获取此脚本所在目录
new_path=os.path.join(path,u'豆瓣妹子')
ifnotos.path.isdir(new_path):
os.mkdir(new_path)
defpage_loop(page=0):
url='http://www.dbmeizi.com/?p=%s'%page
content=urllib2.urlopen(url)
soup=BeautifulSoup(content)
my_girl=soup.find_all('img')
#加入结束检测,写的不好....
ifmy_girl==[]:
printu'已经全部抓取完毕'
sys.exit(0)
printu'开始抓取'
forgirlinmy_girl:
link=girl.get('src')
flink='http://www.dbmeizi.com/'+link
printflink
content2=urllib2.urlopen(flink).read()
withopen(u'豆瓣妹子'+'/'+flink[-11:],'wb')ascode:#在OSC上现学的
code.write(content2)
page=int(page)+1
printu'开始抓取下一页'
print'the%spage'%page
page_loop(page)
page_loop()
print"~~~~~~~~~~~~~~~~~~~~~~~~~~END~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~"
#为了避免双击的时候直接一闪退出,在最后面加了这么一句
raw_input("Press<Enter>ToQuit!")