python下载url

A. 求教python,如何用python自动下载文件

可以使用requests模块完成下载

#--------------------第一种：使用headers携带cookie-----------------------------
#coding=utf-8
importrequests

headers={
	'User-Agent':'Mozilla/5.0(WindowsNT6.1;Win64;x64),
	'Cookie':'你的cookies',
}
#发起请求，获取二进制数据
html_str=requests.get(url,headers=headers).content
#写入文件,采用二进制写入文件
withopen('路径/文件名.后缀'，'wb')asf:
	f.write(html_str)
#--------------------第二种：在requests直接携带--------------------------------
#coding=utf-8
importrequests

headers={
	'User-Agent':'Mozilla/5.0(WindowsNT6.1;Win64;x64),
}
cookies={你的cookies，这里必须是以键值对，也就是字典的形式}
#发起请求，获取二进制数据
html_str=requests.get(url,headers=headers,cookies=cookies).content
#写入文件,采用二进制写入文件
withopen('路径/文件名.后缀'，'wb')asf:
	f.write(html_str)

B. 请教如何用python下载文件到本地

知道文件的url地址就用urllib模块的urlretrieve函数。urllib.urlretrieve(url,
filename)filename是要保存到本地的文件名。函数后面还有2个可选参数，要用就看帮助文档吧。多线下载的话，每一线程要指定下载服务器上文件的哪一块。http协议中head里可以指定Range。下面用的是urllib2模块request
=
urllib2.Request(url)request.add_header("Range",
"bytes=%d-%d"%(1024,
204)
#指定下载文件的范围opener
=
urllib2.build_opener()data
=
opener.open(request).read()现在data里面就是文件的1024字节到2048字节的内容。

C. python爬虫怎么获取到的网站的所有url

首先我们可以先获取要下载图片的整个页面信息。
getjpg.py
#coding=utf-8
import
urllib
def
getHtml(url):
page
=
urllib.urlopen(url)
html
=
page.read()
return
html
print
html
Urllib
模块提供了读取web页面数据的接口，我们可以像读取本地文件一样读取www和ftp上的数据。首先，我们定义了一个getHtml()函数:
urllib.urlopen()方法用于打开一个URL地址。
read()方法用于读取URL上的数据，向getHtml()函数传递一个网址，并把整个页面下载下来。执行程序就会把整个网页打印输出。

D. Python爬虫怎么获取下一页的URL和网页内容

用浏览器调试工具，如firebug，查看点击下一页时的http请求，再用python模拟就行了。

E. python 根据规律生成url列表然后在下载 做一个爬虫

importrequests

forindexinrange(000000000000,999999999999):
try:
filename="%s.doc"%index
url='http://188.161.79.8/qiongzhong/document/downloadFile.jsp?FILENAME='+filename
r=requests.get(url)
withopen(filename,"wb")ascode:
code.write(r.content)
exceptException,e:
print(str(e))
continue#出现异常忽略

F. python如何实现文件的下载，请尽量详细，高分！！！

import
os,urllib.request,re
os.chdir(r'd:')
data
=
urllib.request.urlopen(url).read()
with
open(filename,
'wb')
as
f:
f.write(data)
url就是你要下载的文件链接，filename就是下载后保存的文件名。这段代码是把文件下载在d盘根目录下，你可以自己修改。
不过是单线程的，想要多线程下载，比较复杂，我没有试过，这个下载小文件还是没有问题的。

G. python如何下载环境

先来区分几个在Python基础学习中比较容易混淆的工具，然后帮助大家一步步修改镜像源，完成环境的搭建，下面一起来看看吧！

1、概念区分

对于刚刚开始学习Python的零基础小白来说，可能很容易就会对Pycharm、Python解释器、conda安装、pip安装这个几个概念混淆。下面跟着我来逐一认识一下它们：

（1）Pycharm是Pytho开发的集成开发环境(Integrated Development Environment，简称IDE)，它本身无法执行Python代码。

（2）Python解释器才是真正执行代码的工具，pycharm里可设置Python解释器，一般我们可去Python官网下载Python3.7或Python3.8版本；如果安装过anaconda ，它里面必然也包括一个某版本的Python解释器；Pycharm配置Python解释器选择哪一个都可以。

（3）anaconda是把python所有常用包的合集，并提供给我们使用 conda 命令非常非常方便的安装各种Python包。

（4）conda安装：我们安装过anaconda软件后，就能够使用conda命令下载anaconda源里(比如中科大镜像源)的包。

（5）pip安装：也是一种类似于conda安装的python安装方法，如果用过Centos系统，它就像yum安装一样。

2、修改镜像源

在使用安装 conda 安装某些包会出现慢或安装失败问题，最有效方法是修改镜像源为国内镜像源。之前都选用清华镜像源，但是2019年后已停止服务。推荐选用中科大镜像源。

先查看已经安装过的镜像源，cmd窗口执行命令：

conda config --show

查看配置项 channels ，如果显示带有 tsinghua ，则说明已安装过清华镜像。

channels:

https://mirrors.tuna.tsinghua.e.cn/tensorflow/linux/cpu/

https://mirrors.tuna.tsinghua.e.cn/anaconda/cloud/msys2/

https://mirrors.tuna.tsinghua.e.cn/anaconda/cloud/conda-forge/

https://mirrors.tuna.tsinghua.e.cn/anaconda/pkgs/free/

https://mirrors.tuna.tsinghua.e.cn/anaconda/cloud/pytorch/

下一步，使用 conda config --remove channels url地址 删除清华镜像，如下命令删除第一个。然后，依次删除所有镜像源

conda config --remove channels https://mirrors.tuna.tsinghua.e.cn/tensorflow/linux/cpu/

添加目前可用的中科大镜像源：

conda config --add channels https://mirrors.ustc.e.cn/anaconda/pkgs/free/

并设置搜索时显示通道地址：

conda config --set show_channel_urls yes

确认是否安装镜像源成功，执行 conda config --show ，找到 channels 值为如下：

channels:

https://mirrors.ustc.e.cn/anaconda/pkgs/free/

defaults

以上就是分享的Python基础学习之环境搭建的全部学习内容，大家都看懂了吗？希望本文的分享能帮到大家！

H. python爬取图片时候url地址是下载图片时报错了

你的参数可能不对，你可以加个teace来看看，在报错的第二十二行前，看一下参数是什么，type看一下类型再说。
希望懂的回答能帮到你
是

I. Python爬虫是什么

爬虫一般指网络资源的抓取，通过编程语言撰写爬虫工具，抓取自己想要的数据以及内容。而在众多编程语言之中，Python有丰富的网络抓取模块，因此成为撰写爬虫的首选语言，并引起了学习热潮。
Python作为一门编程语言而纯粹的自由软件，以简洁清晰的语法和强制使用空白符号进行语句缩进的特点受到程序员的喜爱。用不同编程语言完成一个任务，C语言一共要写1000行代码，Java要写100行代码，而Python只需要20行，用Python来完成编程任务代码量更少，代码简洁简短而且可读性强。
Python非常适合开发网络爬虫，因为对比其他静态编程语言，Python抓取网页文档的接口更简洁;对比其他脚本语言，Python的urllib2包提供了较为完整的访问网页文档的API。
Python爬虫的工作流程是什么?
Python爬虫通过URL管理器，判断是否有待爬URL，如果有待爬URL，通过调度器进行传递给下载器，下载URL内容，通过调度器传送给解释器，解析URL内容，将有价值数据和新的URL列表通过调度器传递给应用程序，输出价值信息的过程。
Python是一门非常适合开发网络爬虫的语言，提供了urllib、re、json、pyquery等模块，同时还有很多成型框架，比如说Scrapy框架、PySpider爬虫系统等，代码十分简洁方便，是新手学习网络爬虫的首选语言。

J. Python如何下载请求的url指向文件，例如这样的： http://edi.chi/Print.dofileId=123

#!/usr/bin/envpython
#-*-coding:utf-8-*-
importrequests

print('start')
url=r'问号前面的网址'
parms={
'fileId':'123'
}
try:
r=requests.post(url,data=parms)
print(r.text)
exceptExceptionase:
print(e)