python解码编码
⑴ 如何设置python的编码格式为utf-8
重装了系统(ubuntu 14.04)原来正常可用的OpenERP项目在切换到开发者模式的时候报错:
UnicodeDecodeError: 'ascii' codec can't decode byte 0x?? in position 1: ordinal not in range(128)
而在服务器上的项目正常可用,其原因是由于python的默认编码设置为ascii,可以用以下命令查看:
import sys
sys.getdefaultencoding()
解决方案有两种:
1. 在项目启动文件中添加设置字符为utf8:
import sys
reload(sys)
sys.setdefaultencoding('utf8')
2. 在python的lib文件夹下的sitecustomize.py文件中添加代码:(我的文件位于/usr/lib/python2.7)
import sys
reload(sys)
sys.setdefaultencoding('utf8')
try:
import apport_python_hook
except ImportError:
pass
else:
apport_python_hook.install()
relaod(sys)一句是必须的
⑵ 12:字符串加密、解密
编码： 将计算机中的字符串按照一定的顺序表示成二进制数据的过程
各国字符编码都不一样：
1、计算机-> 表示[英文字母、数字、部分特殊符号]-> ascii编码 [0~256]
2、万国码，统一字符编码[号称可以统一全球范围内任何语言的表示方式]
任何语言中的任何数据，都可以使用一个字符来表示 unicode编码
3、中国有GB2312-> GBK -> GB18030
4、数据传输编码：unicode transfer format 8 bit [UTF-8]
python中的编码解码：
要命的规则：字符串的编码解码，一直都是任何语言中一个难点和重点
任何字符串->都是由字节组成的！
python3中：字符：(str)；字节(bytes)
字符->字节：encode 编码：将一个字符串编码成计算机可以操作的二进制数据
字节->字符：decode 解码：将一个二进制数据按照指定的编码~解码成自然数据
什么是加密： 将一个明文数据，按照指定的算法，运算得到一个其他的可以隐藏真实信息的密文数据，这个过程称为加密；处理的算法称为加密算法；用到的关键数据称为密钥
什么是解密： 按照指定的算法和关键数据，将一个密文数据进行逆向运算得到正确的明文数据的过程成为解密操作
（1）、单向加密算法：只能加密，不能解密的算法
如：用户账号密码(单向加密)存储，此时任何人都不能查看该用户的明文密码
流程->用户输入明文密码->加密->和存储的密文密码进行比较->相等-成功
单向散列加密算法-> MD5加密
单项哈希加密算法-> SHAX加密
（2）、双向加密算法：可以加密，加密的数据可以解密得到明文数据
使用在更多的场景；数据进行加密传输->目标地址->解密得到明文数据进行处理
对称加密：加密和解密使用相同的秘钥；
非对称加密：加密和解密使用不同的秘钥；如HTTPS传输数据
hashlib主要提供字符加密功能，将md5和sha模块整合到了一起，支持md5,sha1, sha224, sha256, sha384, sha512等算法
注意： hashlib 加密啊的字符串类型为二进制编码，直接加密字符串会报如下错误：
有两种方式可以将字符串转化为二进制数据
⑶ Python怎么能简单实现Base64编码和解码
Base64编码是一种“防君子不防小人”的编码方式。广泛应用于MIME协议，作为电子邮件的传输编码，生成的编码可逆，后一两位可能有“=”，生成的编码都是ascii字符。
优点：速度快，ascii字符，肉眼不可理解
缺点：编码比较长，非常容易被破解，仅适用于加密非关键信息的场合
Python Base64编码和解码示例：
>>> import base64
>>> s = '我是字符串'
>>> a = base64.b64encode(s)
>>> print a
ztLKx9fWt/u0rg==
>>> print base64.b64decode(a)
我是字符串
⑷ python怎么知道一个字符串的编码方式
字符串的编码，有很多种如utf-8，gb2312，gbk，gb18030，bz2，zlib，big5，bzse64
python 对编码的处理有两个方法，decode()和 encode()方法
a='你好'
b='python'
printa.decode('utf-8').encode('gbk')##decode方法把字符串转换为unicode对象，然后通过encode方法转换为指定的编码字符串对象
printb.decode('utf-8')##decode方法把字符串转换为unicode对象
所以要让python（或者说机器）来识别字符串的编码，是一件很困难的事。编码就是汉字和整数之间的对应，同一个整数，可以在不同的编码中，都有对应的汉字。比如下面的例子，比特流'xe6xb0xb4xe5xa3xb6'在四种编码中都有对应的汉字，但只有在utf-8编码下，它对应的汉字才有意义。我们可以一眼看出这点，可是要让计算机做到这点，就很难了。
>>>s='水壶'
>>>s
18:'xe6xb0xb4xe5xa3xb6'
>>>printunicode(s,'big5')
瘗游ㄥ
>>>printunicode(s,'gbk')
姘村6
>>>printunicode(s,'gb2312')
姘村6
>>>printunicode(s,'utf-8')
水壶
⑸ python str与bytes编码解码
下面一张图搞懂编码、解码、编码表之间的关系。
不难看出，它们是一种根据编码表进行翻译、映射的过程：
实际上，字符串类型只有encode()方法，没有decode()方法，而bytes类型只有decode()方法而没有encode()方法。
二进制格式的数据也常称为裸数据(raw data)，所以str数据经过编码后得到raw data，raw data解码后得到的str。
上面说了，编码是将字符数据转换成字节数据(raw data)，解码是将字节数据转换成字符数据。在Python中字符数据也就是字符串，即str类型，字节数据也就是bytes类型或bytearray类型。
编码时，可以使用字节类型的构造方法bytes()、bytearray()来构造字节，也可以使用str类型的encode()方法来转换。
解码时，可以使用str类型的构造方法str()来构造字符串，也可以使用bytes、bytearray()类型的decode()方法。
另外需要注意的是，编码和解码的过程中都需要指定编码表(字符集)，默认采用的是utf-8字符集。
例如，使用encode()的方式将str编码为bytes数据。
使用bytes()和bytearray()将str构造成bytes或bytearray数据，这两个方法都要求str->byte的过程中给定编码。
实际上，bytes()、bytearray()这两个方法构造字节数据的时候还有点复杂，因为可以从多个数据源来构造，比如字符串、整数值、buffer。如何使用这两个方法构造字节数据，详细内容参考help(bytes)和help(bytearray)给出的说明，这里给几个简单示例。
构造bytes的方式：
构造bytearray的方式：
解码是字节序列到str类型的转换。
例如，使用decode()方法进行解码"我"字，它的utf-8的编码对应为"\xe6\x88\x91"：
使用str()进行转换。
当编码、解码的过程使用了不同的(不兼容的)编码表时，就会出现乱码。所以，解决乱码的唯一方式是指定对应的编码表进行编码、解码。
例如，使用utf-8编码"我"字，得到一个bytes序列，然后使用gbk解码这个bytes序列。
这里报错了，因为utf-8的字节序列里有gbk无法解码的字节。如果使用文本编辑器一样的工具去显化这个过程，得到的将是乱码字符。
原文地址： https://www.cnblogs.com/f-ck-need-u/p/10185965.html
⑹ Python字符编码使用什么码
Python 2.x 和 Python 3.x 的字符编码存在较大的区别。下面将分别介绍它们的编码原理及相关内容。
Python 2.x 字符编码
在 Python 2.x 中，str 类型默认使用 ASCII 编码。ASCII 编码是在 1960 年代初开发的一种编码方式，用于将英文字母、数字、符号等字符表示为字节。由于 ASCII 编码只使用了 7 位二进制数，因此只能表示 128 种字符。
当需要使用非 ASCII 字符时，在 str 类型前添加 u 前缀，即可将字符串转换为 Unicode 类型，如下所示：
str1 = 'hello' # 默认使用 ASCII 编码
str2 = u'你好' # 使用 Unicode 编码
Python 3.x 字符编码
在 Python 3.x 中，str 类型默认使用 Unicode 编码，即 Python 2.x 中的 Unicode 类型。Unicode 编码是一种支持全球范围内的字符集，裤岁正能够表示几乎所有语言的字符，包括汉字、日文、希腊字母等。
为了支持字节和 Unicode 类型之间的转换，Python3.x 新增了 bytes 类型。bytes 类型与 str 类型的区别在于，bytes 类型会自动将字符串转雀猛换成字节，而 str 类型会自动将字节转换成字符串。
bytes 类型使用 b 前缀表示，如下所示：
str1 = 'hello' # 默认使用胡悔 Unicode 编码，即 Python 2.x 中的 Unicode 类型
str2 = b'hello' # 使用 bytes 类型
编码原理及注意事项
字符编码的原理在于将字符转换为二进制表示，以便计算机能够处理。
ASCII 编码使用 7 位二进制数对字符进行编码，而 Unicode 编码使用 16 位或 32 位二进制数对字符进行编码。
在 Python 中，可以使用 encode 方法将 Unicode 字符串转换为字节类型，使用 decode 方法将字节类型转换为 Unicode 字符串。编码方式有多种，如 UTF-8、GBK、Unicode 等，需要根据实际业务需求进行选择。
UTF-8 编码是一种常用的 Unicode 字符编码方式，它使用变长字节对字符进行编码，能够表示几乎所有的字符。GBK 编码是一种用于汉字编码的字符集，只能表示中文字符。
Python 3.x 默认使用 UTF-8 编码，因此在读取文件或进行网络传输时，需要明确指定编码方式以避免出现乱码等问题。
总结
由于字符编码十分复杂，涉及到的知识点较多，因此学习时需要耐心且注意细节。在使用 Python 进行编程时，需要根据实际情况选择合适的编码方式，以避免出现乱码等问题。
希望我的回答能够对您有所帮助！
⑺ url编码问题在python中怎么解决
最近在抓取一些js代码产生的动态数据，需要模拟js请求获得所需用的数据，遇到对url进行编码和解码的问题，就把遇到的问题总结一下，有总结才有进步，才能使学到的知识更加清晰。对url进行编码和解码，python提供了很方便的接口进行调用。
url中的query带有特殊字符（不是url的保留字）时需要进行编码。当url中带有汉字时，需要特殊的处理才能正确编码，以下都只针对这种情形，当然也适用于纯英文字符的url。
(1) url编码：
import urllib
url = 'wd=哈哈' #如果此网站编码是gbk的话，需要进行解码，从gbk解码成unicode，再从Unicode编码编码为utf-8格式。
url = url.decode('gbk', 'replace')
print urllib.quote(url.encode('utf-8', 'replace'))
结果: 3a%2f%2ftest.com%2fs%3fwd%3d%e5%93%88%e5%93%88
(2) url解码:
import urllib
encoded_url = est.com%2fs%3fwd%3d%e5%93%88%e5%93%88'
print urllib.unquote(encoded_url).decode('utf-8', 'replace').encode('gbk', 'replace') #反过来
函数调用的参数以及结果都是utf-8编码的，所以在对url编码时，需要将参数串的编码从原始编码转换成utf-8，
对url解码时，需要将解码结果从utf-8转换成原始编码格式。
依据网站采用的编码不同，或是gbk或是utf-8，赋赋予不同的编码，进行不同的url转码。GBK格式，一个中文字符转为%xx%xx，共两组；utf-8格式，一个中文字符转为%xx%xx%xx，共三组。
>>>importsys,urllib
>>>s='杭州'
>>>urllib.quote(s.decode(sys.stdin.encoding).encode('gbk'))
%BA%BC%D6%DD
>>>urllib.quote(s.decode(sys.stdin.encoding).encode('utf8'))
'%E6%9D%AD%E5%B7%9E'
a="墨西哥女孩被拐4年接客4万次生的孩子成为人质-搜狐新闻"
printurllib.quote(urllib.quote(a))
[python]view plain
进行两次编码转换后，会变为：%25E5%25A2%25A8%25E8%25A5%25BF%25E5%2593%25A5%25E5%25A5%25B3%25E5%25AD%25A9%25E8%25A2%25AB%25E6%258B%25904%25E5%25B9.................................................................................这样的形式。
同样需要两次解码后才能得到中文。
最近用python写了个小爬虫自动下点东西，但是url 是含中文的，而且中文似乎是 gbk 编码然后转成 url的。举个例子吧，我如果有个unicode字符串“历史上那些牛人们.pdf”，那么我转换成url之后是，
t="%20%E5%8E%86%E5%8F%B2%E4%B8%8A%E9%82%A3%E4%BA%9B%E7%89%9B%E4%BA%BA%E4%BB%AC.pdf"，
但是对方网站给的是 s="%C0%FA%CA%B7%C9%CF%C4%C7%D0%A9%C5%A3%C8%CB%C3%C7.PDF"
>>>print urllib.unquote("%C0%FA%CA%B7%C9%CF%C4%C7%D0%A9%C5%A3%C8%CB%C3%C7.PDF").decode('gbk').encode('utf-8')
>>>历史上那些牛人们.PDF
⑻ python默认的字符编码是什么
Python的默认编码是ASCII格式：
ASCII(American Standard Code for Information Interchange)，是一种单字节的编码。计算机世界里一开始只有英文，而单字节可以表示256个不同的字符，可以表示所有的英文字符和许多的控制符号；
源代码文件中，如果有用到非ASCII字符，则需要在文件头部进行字符编码的声明，如下：#-*- coding: UTF-8 -*-
实际上Python只检查#、coding和编码字符串，其他的字符都是为了美观加上的。另外，Python中可用的字符编码有很多，并且还有许多别名，还不区分大小写，比如UTF-8可以写成u8。