url编码python3
1. url编码问题在python中怎么解决
最近在抓取一些js代码产生的动态数据，需要模拟js请求获得所需用的数据，遇到对url进行编码和解码的问题，就把遇到的问题总结一下，有总结才有进步，才能使学到的知识更加清晰。对url进行编码和解码，python提供了很方便的接口进行调用。
url中的query带有特殊字符（不是url的保留字）时需要进行编码。当url中带有汉字时，需要特殊的处理才能正确编码，以下都只针对这种情形，当然也适用于纯英文字符的url。
(1) url编码：
import urllib
url = 'wd=哈哈' #如果此网站编码是gbk的话，需要进行解码，从gbk解码成unicode，再从Unicode编码编码为utf-8格式。
url = url.decode('gbk', 'replace')
print urllib.quote(url.encode('utf-8', 'replace'))
结果: 3a%2f%2ftest.com%2fs%3fwd%3d%e5%93%88%e5%93%88
(2) url解码:
import urllib
encoded_url = est.com%2fs%3fwd%3d%e5%93%88%e5%93%88'
print urllib.unquote(encoded_url).decode('utf-8', 'replace').encode('gbk', 'replace') #反过来
函数调用的参数以及结果都是utf-8编码的，所以在对url编码时，需要将参数串的编码从原始编码转换成utf-8，
对url解码时，需要将解码结果从utf-8转换成原始编码格式。
依据网站采用的编码不同，或是gbk或是utf-8，赋赋予不同的编码，进行不同的url转码。GBK格式，一个中文字符转为%xx%xx，共两组；utf-8格式，一个中文字符转为%xx%xx%xx，共三组。
>>>importsys,urllib
>>>s='杭州'
>>>urllib.quote(s.decode(sys.stdin.encoding).encode('gbk'))
%BA%BC%D6%DD
>>>urllib.quote(s.decode(sys.stdin.encoding).encode('utf8'))
'%E6%9D%AD%E5%B7%9E'
a="墨西哥女孩被拐4年接客4万次生的孩子成为人质-搜狐新闻"
printurllib.quote(urllib.quote(a))
[python]view plain
进行两次编码转换后，会变为：%25E5%25A2%25A8%25E8%25A5%25BF%25E5%2593%25A5%25E5%25A5%25B3%25E5%25AD%25A9%25E8%25A2%25AB%25E6%258B%25904%25E5%25B9.................................................................................这样的形式。
同样需要两次解码后才能得到中文。
最近用python写了个小爬虫自动下点东西，但是url 是含中文的，而且中文似乎是 gbk 编码然后转成 url的。举个例子吧，我如果有个unicode字符串“历史上那些牛人们.pdf”，那么我转换成url之后是，
t="%20%E5%8E%86%E5%8F%B2%E4%B8%8A%E9%82%A3%E4%BA%9B%E7%89%9B%E4%BA%BA%E4%BB%AC.pdf"，
但是对方网站给的是 s="%C0%FA%CA%B7%C9%CF%C4%C7%D0%A9%C5%A3%C8%CB%C3%C7.PDF"
>>>print urllib.unquote("%C0%FA%CA%B7%C9%CF%C4%C7%D0%A9%C5%A3%C8%CB%C3%C7.PDF").decode('gbk').encode('utf-8')
>>>历史上那些牛人们.PDF
2. python 3.2 urllib.request请求百度首页，得到的结果用各种编码都是乱码，为什么
data不是utf8编码的，至少第一个字节不是合法的utf8编码；
3. python3 代码怎样关闭url与ssl属性校验
importurllib.request
importssl
url="httpsurl"
header=headers={
"User-Agent":"Mozilla/5.0(Macintosh;IntelMacOSX10_7_0)AppleWebKit/535.11(KHTML,likeGecko)Chrome/17.0.963.56Safari/535.11"
}
request=urllib.request.Request(url,headers=header)
context=ssl._create_unverified_context()#忽略ssl证书验证
res=urllib.request.urlopen(request,context=context)
print(res.read().decode("utf8"))
4. python url编码两次怎么结
面是中文的情况（比如‘丽江'），url的地址编码却是'%E4%B8%BD%E6%B1%9F'，因此需 要做一个转换。这里我们就用到了模块urllib。
?
1
2
3
4
5
6
7
8
>>> import urllib
>>> data = '丽江'
>>> print data
丽江
>>> data
'\xe4\xb8\xbd\xe6\xb1\x9f'
5. python3中为什么urlparse.urljoin没有了
python3对urllib和urllib2进行了重构，拆分成了urllib.request, urllib.response, urllib.parse, urllib.error等几个子模块，这样的架构从逻辑和结构上说更加合理。
urljoin现在对应的函数是urllib.parse.urljoin
6. python3爬虫urllib.request.urlopen("网址").read() 本来是utf-8，为什么还要加上urlencode（“utf-8”）
你这行代码是不需要urlencode()的。
对于返回的request对象，其read()方法获得的其实是一个字节流对象，而非字符串对象，所以这时需要调用该字节流对象的decode()方法，按指定编码方式进行解码。
至于urlencode()，这是urllib中的一个函数，它的作用是将字符串进行url编码。这个编码其实就是个转义的过程，将那些因可能造成解释器误会或安全问题而不适合出现在请求中的符号进行转义，并且把超出url编码表的字符降维。
7. python中quote函数是什么意思，怎么用
quote函数一般用于处理URL链接里的特殊字符，比如一些非ASCII列表中的字母。
位置：该函数在Python27中位于urllib模块下，在Python3中应该是向下移动一级目录，位于urllib.parse模块中。
功能：替换字符串string中的一些特殊字符，并使用%xx的方式替换该特殊字符（xx为该字符的（uft-8）十六进制数值）。正常字符ascii字母a-z，数字，还有符号'_.-'是不会被替换的。当然使用函数的第二个参数（默认值为/）可以指定哪些字符也不需要替换。
例子：
>>>urllib.quote('/test')
'/test'
>>>urllib.quote('/test',safe='')
'%2Ftest'#2F为/的uft-8的hex值。其他：函数的第一个参数为需要转换的字符串，格式应该为str或者bytes。
函数的第三个字符为编码方式。
8. python字符串与url编码的转换实例
python字符串与url编码的转换实例
今天小编就为大家分享一篇python字符串与url编码的转换实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
主要应用的场景
爬虫生成带搜索词语的网址
1.字符串转为url编码
import urllib
poet_name = "李白"
url_code_name = urllib.quote(poet_name)
print url_code_name
#输出
#%E6%9D%8E%E7%99%BD
2.url编码转为字符串
import urllib
url_code_name = "%E6%9D%8E%E7%99%BD"
name = urllib.unquote(url_code_name)
print name
#输出
#李白
以上这篇python字符串与url编码的转换实例就是小编分享给大家的全部内容了篇文章的全部内容了，希望本文的内容对大家的学习或者工作能带来一定的帮助
9. python怎么将url的中文怎么转码
先引入urllib模块
假如我们要对下面的url进行转码，注意观察各种字符的变化
使用quote方法，进行转码
我们看看转码得到的结果：
我们想要得到原先的url，可以使用quote的逆函数unquote
得到反转码以后的url，我们看到这种方法并没有返回中文字符。
10. Python3 如何对url解码
url编码：
import urllib
url = 'http://test.com/s?wd=哈哈' #如果此网站编码是gbk的话，需要进行解码，从gbk解码成unicode，再从Unicode编码编码为utf-8格式。
url = url.decode('gbk', 'replace')
print urllib.quote(url.encode('utf-8', 'replace'))