pythonutfgbk

A. python3.4 编码有哪些

Python3中的编码问题前，第一个段落对字节、ASCII与Unicode与UTF-8等进行基本介绍，如果不对这几种编码犯头晕，可直接跳过。
ASCII与Unicode与UTF-8与GBK

首先从老大哥说起。跟很多人一样，大学读了这么久，久仰ASCII编码的大名。要说这个老大哥，我们再先从字节说起。一个字节包括八个比特位，每个比特位表示0或1，一个字节即可表示从00000000到11111111共2^8=256个数字。一个ASCII编码使用一个字节（除去字节的最高位作为作奇偶校验位），ASCII编码实际使用一个字节中的7个比特位来表示字符，共可表示2^7=128个字符。比如那时写C语言的程序，就经常要背下ASCII编码中的01000001（即十进制的65）表示字符‘A’，01000001加上32之后的01100001（即十进制的97）表示字符‘a’。现在打开Python，调用chr和ord函数，我们可以看到Python为我们对ASCII编码进行了转换。

第一个00000000表示空字符，因此ASCII编码实际上只包括了
字母、标点符号、特殊符号等共127个字符。因为ASCII是在美国出生的，对于由字母组成单词进而用单词表达的英文来说也是够了。但是中国人、日本人、
韩国人等其他语言的人不服了。中文是一个字一个字，ASCII编码用上了浑身解数256个字符都不够用。

因此后来出现了Unicode编码。Unicode编码通常由两个字节组成，共表示256*256个字符，即所谓的UCS-2。某些偏僻字还会用到四个字节，即所谓的UCS-4。也就是说Unicode标准也还在发展。但UCS-4出现的比较少，我们先记住：最原始的ASCII编码使用一个字节编码，但由于语言差异字符众多，人们用上了两个字节，出现了统一的、囊括多国语言的Unicode编码。

在Unicode中，原本ASCII中的127个字符只需在前面补一个全零的字节即可，比如前文谈到的字符‘a’：01100001，在Unicode中变成了00000000 01100001。不久，美国人不开心了，吃上了世界民族之林的大锅饭，原本只需一个字节就能传输的英文现在变成两个字节，非常浪费存储空间和传输速度。

人们再发挥聪明才智，于是出现了UTF-8编码。因为针对的是空间浪费问题，因此这种UTF-8编码是可变长短的，从英文字母的一个字节，到中文的通常的三个字节，再到某些生僻字的六个字节。解决了空间问题，UTF-8编码还有一个神奇的附加功能，那就是兼容了老大哥的ASCII编码。一些老古董软件现在在UTF-8编码中可以继续工作。

注意除了英文字母相同，汉字在Unicode编码和UTF-8编码中通常是不同的。比如汉字的‘中’字在Unicode中是01001110
00101101，而在UTF-8编码中是11100100 10111000
10101101。

我们祖国母亲自然也有自己的一套标准。那就是GB2312和GBK。当然现在挺少看到。通常都是直接使用UTF-8。记得我唯一一次看到GB编码的网页，是一个成人网站。

Python3中的默认编码

Python3中默认是UTF-8，我们通过以下代码：

import sys

sys.getdefaultencoding()

可查看Python3的默认编码。

Python3中的encode和decode

Python3中字符编码经常会使用到decode和encode函数。特别是在抓取网页中，这两个函数用的熟练非常有好处。我的理解，encode的作用，使我们看到的直观的字符转换成计算机内的字节形式。decode刚好相反，把字节形式的字符转换成我们看的懂的、直观的、“人模人样”的形式。如下图。

\x表示后面是十六进制，\xe4\xb8\xad即是二进制的11100100 10111000
10101101。也就是说汉字‘中’encode成字节形式，是11100100 10111000
10101101。同理，我们拿11100100
10111000 10101101也就是\xe4\xb8\xad来decode回来，就是汉字‘中’。完整的应该是b'\xe4\xb8\xad'，在Python3中，以字节形式表示的字符串则必须加上前缀b，也就是写成上文的b'xxxx'形式。

前文说的Python3的默认编码是UTF-8，所以我们可以看到，Python处理这些字符的时候是以UTF-8来处理的。因此从上图可以看到，就算我们通过encode('utf-8')特意把字符encode为UTF-8编码，出来的结果还是相同：b'\xe4\xb8\xad'。

明白了这一点，同时我们知道UTF-8兼容ASCII，我们可以猜想大学时经常背诵的‘A’对应ASCII中的65，在这里是不是也能正确的decode出来呢。十进制的65转换成十六进制是41，我们尝试下：

b'\x41'.decode()

结果如下。果然是字符‘A’

Python3中的编码转换

据说字符在计算机的内存中统一是以Unicode编码的。只有在字符要被写进文件、存进硬盘或者从服务器发送至客户端（例如网页前端的代码）时会变成utf-8。但其实我比较关心怎么把这些字符以Unicode的字节形式表现出来，露出它在内存中的庐山正面目的。这里有个照妖镜：

xxxx.encode/decode('unicode-escape')

输出如下

b'\\u4e2d'还是b'\u4e2d，一个斜杠貌似没影响。同时可以发现在shell窗口中，直接输'\u4e2d'和输入b'\u4e2d'.decode('unicode-escape')是相同的，都会打印出汉字‘中’，反而是'\u4e2d'.decode('unicode-escape')会报错。说明说明Python3不仅支持Unicode，而且一个‘\uxxxx’格式的Unicode字符可被辨识且被等价于str类型。

如果我们知道一个Unicode字节码，怎么变成UTF-8的字节码呢。懂了以上这些，现在我们就有思路了，先decode，再encode。代码如下：

xxx.decode('unicode-escape').encode()

测试如下：

可以看到最后输出的UTF-8字节与上面的相同。尝试成功。所以其他的编码之间的转换，大概也是如此。

最后的扩展

还记得刚刚那个ord吗。时代变迁，老大哥ASCII被人合并，但ord还是有用武之地。试试ord('中')，输出结果是20013。20013是什么呢，我们再试试hex(ord('中'))，输出结果是'0x4e2d'，也就是20013是我们在上文见面了无数次的x4e2d的十进制值。这里说下hex，是用来转换成十六进制的函数，学过单片机的人对hex肯定不会陌生。

最后的扩展，在网上看到的他人的问题。我们写下类似于'\u4e2d'的字符，Python3知道我们想表达什么。但是让Python读取某个文件的时候出现了'\u4e2d'，是不是计算机就不认识它了呢？后来下文有人给出了答案。如下：

import codecs

file = codecs.open( "a.txt", "r", "unicode-escape" )

u = file.read()

print(u)

B. 如何修改python文件的编码格式

可以知道的是，文本文件的默认编码并不是utf8。
我们打开一个文本文件，并点击另存为

2
我们在新窗口的编码一栏看到默认编码是ANSI。先不管这个编码是什么编码，但是通过下拉列表我们知道，这种编码不是utf8。

END
编码测试
1
对于Python里面的中文显示，我们常常使用utf8和gbk的编码。对于这两种编码笔者就不介绍了，总之都是专门可以处理中文的编码方式啦。

2
我们首先对文本文件测试了gbk解码。我们发现，此编码下文本文件内容可以正常显示，但是使用utf8解码，程序出错，抛出decodeError异常

3
同样的，我们对Python脚本文件测试了utf8解码。我们发现，此编码下文本文件内容可以正常显示，但是使用gbk解码，中文部分出现乱码

4
测试说明，对于文本文件需要使用gbk解码，而对于脚本文件需要utf8解码，也就是说，文本文件是gbk编码的，而脚本则是utf8

C. python2.7 utf-8转gbk 乱码

windows的本地默认编码是cp936（gbk编码），Windows中直接打印utf-8的字符串是乱码
将你文件申明为UTF-8保存
#coding:utf-8

def respeak(self):
cText =pyperclip.paste()
gt = cText.decode('utf-8').encode('gbk')

self.ui.mainT.setText(QtCore.QString(gt))

D. Python | 璁剧疆PyCharm鏀鎸佷腑鏂

Python链夊緢澶氱涓夋柟瀹夎呭寘锛屽ぇ澶氶兘涓嶈兘鐩存帴鏀鎸佷腑鏂囩紪镰併备綔涓哄紑鍙戠幆澧幂殑PyCharm链夊繀瑕佸崟镫鐜拌韩璇存硶銆
PyCharm閰岖疆
PyCharm榛樿Python鑴氭湰缂栫爜鏄疷TF-8锛屾垜浠灏嗗叾璁剧疆涓篏BK锛 杩涘叆filesetting锛屽湪杈揿叆妗嗘悳绱encoding

淇濆瓨璁剧疆骞堕吨钖疨yCharm锛岃繖镙烽粯璁ょ紪镰佸氨鐢熸晥浜嗭纴鍙鍦ㄥ彸涓嬭掓煡鐪

Python 2
绗旇呬娇鐢ㄧ殑Python鐗堟湰鏄2.7.11銆侾ython 2 镄勪腑鏂囨敮鎸侀渶瑕佸仛涓や欢浜嬶细 鈶犲湪浠ｇ爜鍓岖澧炲姞浠ｇ爜锛 # -*-coding:gbk-*- 鈶″湪涓鏂囧墠锷爑鍓岖紑锛屽傦细 u"浣犲ソ"

杩愯屼唬镰侊纴妫镆ユ槸钖﹀凡鎴愬姛鏀鎸佷腑鏂囧瓧绗

Python 3
绗旇呬娇鐢ㄧ殑Python鐗堟湰鏄3.5.1銆侾ython 3 镄勪腑鏂囨敮鎸佸彧闇瑕佸仛涓浠朵簨鍗冲彲锛 鈶犲湪浠ｇ爜鍓岖澧炲姞浠ｇ爜锛 # -*-coding:gbk-*-

E. Python字符编码使用什么码

Python 2.x 和 Python 3.x 的字符编码存在较大的区别。下面将分别介绍它们的编码原理及相关内容。

Python 2.x 字符编码

在 Python 2.x 中，str 类型默认使用 ASCII 编码。ASCII 编码是在 1960 年代初开发的一种编码方式，用于将英文字母、数字、符号等字符表示为字节。由于 ASCII 编码只使用了 7 位二进制数，因此只能表示 128 种字符。

当需要使用非 ASCII 字符时，在 str 类型前添加 u 前缀，即可将字符串转换为 Unicode 类型，如下所示：

str1 = 'hello' # 默认使用 ASCII 编码

str2 = u'你好' # 使用 Unicode 编码

Python 3.x 字符编码

在 Python 3.x 中，str 类型默认使用 Unicode 编码，即 Python 2.x 中的 Unicode 类型。Unicode 编码是一种支持全球范围内的字符集，裤岁正能够表示几乎所有语言的字符，包括汉字、日文、希腊字母等。

为了支持字节和 Unicode 类型之间的转换，Python3.x 新增了 bytes 类型。bytes 类型与 str 类型的区别在于，bytes 类型会自动将字符串转雀猛换成字节，而 str 类型会自动将字节转换成字符串。

bytes 类型使用 b 前缀表示，如下所示：

str1 = 'hello' # 默认使用胡悔 Unicode 编码，即 Python 2.x 中的 Unicode 类型

str2 = b'hello' # 使用 bytes 类型

编码原理及注意事项

• 字符编码的原理在于将字符转换为二进制表示，以便计算机能够处理。

• ASCII 编码使用 7 位二进制数对字符进行编码，而 Unicode 编码使用 16 位或 32 位二进制数对字符进行编码。
  

• 在 Python 中，可以使用 encode 方法将 Unicode 字符串转换为字节类型，使用 decode 方法将字节类型转换为 Unicode 字符串。编码方式有多种，如 UTF-8、GBK、Unicode 等，需要根据实际业务需求进行选择。
  

• UTF-8 编码是一种常用的 Unicode 字符编码方式，它使用变长字节对字符进行编码，能够表示几乎所有的字符。GBK 编码是一种用于汉字编码的字符集，只能表示中文字符。
  

• Python 3.x 默认使用 UTF-8 编码，因此在读取文件或进行网络传输时，需要明确指定编码方式以避免出现乱码等问题。
  

总结

由于字符编码十分复杂，涉及到的知识点较多，因此学习时需要耐心且注意细节。在使用 Python 进行编程时，需要根据实际情况选择合适的编码方式，以避免出现乱码等问题。

希望我的回答能够对您有所帮助！

F. 请问，python打开中文字符文件，但显示不出中文怎么办

一般是编码格式的问题，python内部默认的编码格式是utf-8，常见的文本编码格式是utf-8,gbk。编码格式不不一致就会乱码。可以在代码前面申明编码格式。

G. python utf8 gbk 编码问题

你是不是想在python里把中文变成链接中%E5%BE%85这种形式？直接用urllib.urlencode({'word':'中文'})方法
而显示\xe5\xbe\x85\是因为你没有使用read()方法，加上后变成：'待解析网页'.decode('gbk').encode('utf-8').read()，就是你熟悉的中文了。
不过，'待解析网页'.decode('gbk').encode('utf-8')这句我要吐槽一下，网页明显是utf-8编码，你在文件开头声明utf-8编码就可以了，这一句是多余的。在这基础上读取网页直接用 '待解析网页'.read()

H. python print中文乱码问题 win10 Python2

python2字符串编码的问题，如果要输出中文可以使用u前缀，这样就可以直接使用了

a=u'你好'
printa

这样就可以了

I. python怎么知道一个字符串的编码方式

字符串的编码，有很多种如utf-8，gb2312，gbk，gb18030，bz2，zlib，big5，bzse64

python 对编码的处理有两个方法，decode()和 encode()方法

a='你好'
b='python'
printa.decode('utf-8').encode('gbk')##decode方法把字符串转换为unicode对象，然后通过encode方法转换为指定的编码字符串对象
printb.decode('utf-8')##decode方法把字符串转换为unicode对象

所以要让python（或者说机器）来识别字符串的编码，是一件很困难的事。编码就是汉字和整数之间的对应，同一个整数，可以在不同的编码中，都有对应的汉字。比如下面的例子，比特流'xe6xb0xb4xe5xa3xb6'在四种编码中都有对应的汉字，但只有在utf-8编码下，它对应的汉字才有意义。我们可以一眼看出这点，可是要让计算机做到这点，就很难了。

>>>s='水壶'
>>>s
18:'xe6xb0xb4xe5xa3xb6'
>>>printunicode(s,'big5')
瘗游ㄥ
>>>printunicode(s,'gbk')
姘村6
>>>printunicode(s,'gb2312')
姘村6
>>>printunicode(s,'utf-8')
水壶

J. Python 编码转换与中文处理

python 中的 unicode 是让人很困惑、比较难以理解的问题. 这篇文章 写的比较好， utf-8是 unicode的一种实现方式，unicode、gbk、gb2312是编码字符集.

Python 默认脚本文件都是 ANSCII 编码的，当文件 中有非 ANSCII 编码范围内的字符的时候就要使用" 编码指示 "来修正一个 mole 的定义中，如果.py文件中包含中文字符（严格的说是含有非anscii字符），则需要在第一行或第二行指定编码声明： # -*- coding=utf-8 -*- 或者 #coding=utf-8
其他的编码如：gbk、gb2312也可以；否则会出现:

先说一下python中的字符串类型，在python中有两种字符串类型，分别是 str 和 unicode ，他们都是basestring的派生类；

在str的文档中有这样的一句话：

也就是说在读取一个文件的内容，或者从网络上读取到内容时，保持的对象为str类型；如果想把一个str转换成特定编码类型，需要把str转为Unicode,然后从unicode转为特定的编码类型如：utf-8、gb2312等。

unicode 转为 gb2312,utf-8等,使用 encode(encoding)

utf-8,GBK转换为 unicode 使用 unicode(s,encoding) 或者 s.decode(encoding)

普通的 str 转为 unicode,

如果直接执行s.encode('gb2312')会发生什么？

这里会发生一个异常：Python 会自动的先将 s 解码为 unicode ，然后再编码成 gb2312。因为解码是python自动进行的，我们没有指明解码方式，python 就会使用 sys.defaultencoding 指明的方式来解码。很多情况下 sys.defaultencoding 是 ANSCII，如果 s 不是这个类型就会出错。
拿上面的情况来说，我的 sys.defaultencoding 是 anscii，而 s 的编码方式和文件的编码方式一致，是 utf8 的，所以出错了:

对于这种情况，我们有两种方法来改正错误：

s = '中文'
s.decode('utf-8').encode('gb2312') ```

import sys
reload(sys) # Python2.5 初始化后会删除 sys.setdefaultencoding 这个方法，我们需要重新载入
sys.setdefaultencoding('utf-8')
str = '中文'
str.encode('gb2312')

print open("Test.txt").read()

import codecs
print open("Test.txt").read().decode("utf-8")

Traceback (most recent call last):
File "ChineseTest.py", line 3, in <mole>
print open("Test.txt").read().decode("utf-8")
UnicodeEncodeError: 'gbk' codec can't encode character u'ufeff' in position 0: illegal multibyte sequence

import codecs
data = open("Test.txt").read()
if data[:3] == codecs.BOM_UTF8:
data = data[3:]
print data.decode("utf-8")

s = "中文"
print unicode(s, "utf-8")

Traceback (most recent call last):
File "ChineseTest.py", line 3, in <mole>
s = unicode(s, "utf-8")
UnicodeDecodeError: 'utf8' codec can't decode bytes in position 0-1: invalid data

s = "中文"
print unicode(s, "gbk")

s = "中文"
print unicode(s, "cp936")