python爬去图片
① python 怎么把爬到的图片保存下来
#建立单级目录
filename=r'E:\NASDownload\视频\一行代码爬视频\爬取图片以此
for i in range(0,len(imageinfo)):
path="{}{}{}{}".format(filename,'\\',i,'.jpg')
res=requests.get(url=imageinfo[i]).content
time.sleep(5)
with open(path,'wb') as f:
f.write(res)
f.close()
② python爬取图片时候url地址是下载图片时报错了
你的参数可能不对,你可以加个teace来看看,在报错的第二十二行前,看一下参数是什么,type看一下类型再说。
希望懂的回答能帮到你
是
③ linux下python怎么写爬虫获取图片
跟linux有什么关系,python是跨平台的,爬取图片的代码如下:
import urllib.requestimport osimport randomdef url_open(url):
req=urllib.request.Request(url) #为请求设置user-agent,使得程序看起来更像一个人类
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0') #代理IP,使用户能以不同IP访问,从而防止被服务器发现
'''iplist=['1.193.162.123:8000','1.193.162.91:8000','1.193.163.32:8000']
proxy_support=urllib.request.ProxyHandler({'http':random.choice(iplist)})
opener=urllib.request.build_opener(proxy_support)
opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.154 Safari/537.36 LBBROWSER')]
urllib.request.install_opener(opener)'''
response=urllib.request.urlopen(req)
html=response.read() return htmldef get_page(url):
html=url_open(url).decode('utf-8')
a=html.find('current-comment-page')+23
b=html.find(']',a) #print(html[a:b])
return html[a:b]def find_imgs(url):
html=url_open(url).decode('utf-8')
img_addrs=[]
a=html.find('img src=') while a!=-1:
b=html.find('.jpg',a,a+140) if b!=-1: if html[a+9]!='h':
img_addrs.append('http:'+html[a+9:b+4]) else:
img_addrs.append(html[a+9:b+4]) else:
b=a+9
a=html.find('img src=',b) for each in img_addrs:
print(each+'我的打印') return img_addrsdef save_imgs(folder,img_addrs):
for each in img_addrs: #print('one was saved')
filename=each.split('/')[-1] with open(filename,'wb') as f:
img=url_open(each)
f.write(img)def download_mm(folder='ooxx',pages=10):
os.mkdir(folder)
os.chdir(folder)
url=""
page_num=int(get_page(url)) for i in range(pages):
page_num=page_num-1
page_url=url+'page-'+str(page_num)+'#comments'
img_addrs=find_imgs(page_url)
save_imgs(folder,img_addrs)if __name__=='__main__':
download_mm()
完成
运行结果
④ Python如何爬取百度图片
几乎所有的网站都会有反爬机制,这就需要在爬取网页时携带一些特殊参数,比如:user-agent、Cookie等等,可以在写代码的时候用工具将所有参数都带上。
⑤ 想用python爬取网页上的图片,但无法用select()方法定位图片的源地址
是的可以撒入爬去获得。
⑥ python3 爬取图片异常的原因
我们在下载文件时,一会会采取urlretrieve或是requests的get方式,
from urllib.request import urlretrieve
urlretrieve(self.url, filename="xxx.png")
但对于连续下载,各个文件保存是需要时间的,而程序运行永运是快于存储的,我怀疑这是水管里流水速度与缸的大小不合适的原因,那可以试试下面这种方式:
r = requests.get(url, stream=True)
with open(local_filename, 'wb') as f:
for chunk in r.iter_content(chunk_size=1024):
if chunk: # filter out keep-alive new chunks
f.write(chunk)
f.flush()
⑦ python爬取动漫图片无法用request找到图片链接
你爬取的确实是源代码
F12看element的图片是js模板动态生成的。
给个提示,源码的最底部有 "var DATA =" 这个后面跟的一堆数据存的才是你需要的
⑧ 如何用python实现爬取微博相册所有图片
三种方案:
1.直接用Python的requests库直接爬取,不过这个需要手动做的事情就比较多了,基本上就看你的Python功力了
2.使用scrapy爬虫框架,这个框架如果不熟悉的话只能自己先去了解下这个框架怎么用
3.使用自动测试框架selemium模拟登录操作,及图片爬取,这个对于大多数会点Python编码的人来说是最好的选择了,他比较直观的能看到怎么去获取数据
每种方案的前提都是你必须有一定基础的编码能力才行,不是随便一个人就能用的
⑨ python爬取验证码图片,遇到验证码src属性为完整的网址应该怎么做
爬虫中手动输入验证码方法无法获取图片src地址
验证码在html中图片标签内容:
<class=“verCodeImg” src="/kaptcha.jpg?v=0.234724039578059" οnclick=“verCode(this)”>
< class=“verCodeImg” src="/kaptcha.jpg?v=0.234724239578059" οnclick=“verCode(this)”>
可知获取到验证码的src地址就能动态的获得验证码
因为验证码是动态的!动态的!动态的!
用动态爬取网页的方法:
要用到selenium库
其实获得了验证码的src地址,我还是没能成功登陆
因为即使是相同的链接点进去,每一次刷新都会有不同的验证码
通过动态网页打开是一张
解析src地址出来是另一张
⑩ python如何利用requests和bs4爬取图片
目标网站网址呢?网址发出来我看一下
每个网站的HTML结构不一样,解析代码就不一样,要针对不同的网站编写不同的代码
编写爬虫代码前还要评估目标网站是否需要登录,数据是否有加密等诸多问题