当前位置:首页 » 编程语言 » pythonutf8gbk

pythonutf8gbk

发布时间: 2022-07-16 12:20:32

python处理不同编码utf8和gbk的问题

有。
使用chardet库。它会去猜测文本文件的编码,并返回形如:
编码类型:utf-8
置信度:0.9
这样的结果,也就是说chardet断定该文件有90%的可能性是utf-8编码的。
不过chardet的缺陷就是,它不能完全100%确定文件的编码类型。
目前我的做法是,如果置信度超过0.95,那么就认定chardet的判断结果是正确的。否则,再加上一些人机交互操作进行判断。

目前,chardet库官网提供的版本只适用于Python 2,如果您使用的是Python 3.x,我可以另外上传一个。

㈡ 怎么在Python里使用UTF-8编码

概述
在python代码即.py文件的头部声明即可
解析
py文件中的编码
Python
默认
脚本文件
都是
ANSCII
编码的,当文件
中有非
ANSCII
编码范围内的字符的时候就要使用"编码指示"来修正一个
mole
的定义中,如果.py文件中包含中文字符(严格的说是含有非anscii字符),则需要在第一行或第二行指定编码声明:
#
-*-
coding=utf-8
-*-
#coding=utf-8
#
以上两种选其一即可
其他的编码如:gbk、gb2312也可以;否则会出现:
SyntaxError:
Non-ASCII
character
'\xe4'
in
file
test.py
on
line
3,
but
no
encoding
declared;
see
http://www.python.org/peps/pep-0263.html
for
details
python中的编码与解码
先说一下python中的字符串类型,在python中有两种字符串类型,分别是
str

unicode,他们都是basestring的
派生类

str类型是一个包含
Characters
represent
(at
least)
8-bit
bytes的序列;
unicode
的每个
unit
是一个
unicode
obj;
在str的文档中有这样的一句话:
The
string
data
type
is
also
used
to
represent
arrays
of
bytes,
e.g.,
to
hold
data
read
from
a
file.
也就是说在读取一个文件的内容,或者从网络上读取到内容时,保持的对象为str类型;如果想把一个str转换成特定编码类型,需要把str转为Unicode,然后从unicode转为特定的编码类型如:utf-8、gb2312等。
拓展内容
utf-8编码
UTF-8(8-bit
Unicode
Transformation
Format)是一种针对Unicode的可变长度
字符编码
,也是一种
前缀码
。它可以用来表示Unicode标准中的任何字符,且其编码中的第一个字节仍与ASCII兼容,这使得原来处理ASCII字符的软件无须或只须做少部分修改,即可继续使用。因此,它逐渐成为电子邮件、网页及其他存储或发送文字的应用中,优先采用的编码。
UTF-8使用一至六个字节为每个字符编码(尽管如此,2003年11月UTF-8被RFC
3629重新规范,只能使用原来Unicode定义的区域,U+0000到U+10FFFF,也就是说最多四个字节):
1、128个US-ASCII字符只需一个字节编码(Unicode范围由U+0000至U+007F)。
2、带有附加符号的拉丁文、
希腊文

西里尔字母
、亚美尼亚语、
希伯来文

阿拉伯文
、叙利亚文及它拿字母则需要两个字节编码(Unicode范围由U+0080至U+07FF)。
3、其他
基本多文种平面
(BMP)中的字符(这包含了大部分
常用字
,如大部分的汉字)使用三个字节编码(Unicode范围由U+0800至U+FFFF)。
4、其他极少使用的Unicode
辅助平面
的字符使用四至六字节编码(Unicode范围由U+10000至U+1FFFFF使用四字节,Unicode范围由U+200000至U+3FFFFFF使用五字节,Unicode范围由U+4000000至U+7FFFFFFF使用六字节)。
对上述提及的第四种字符而言,UTF-8使用四至六个字节来编码似乎太耗费资源了。但UTF-8对所有常用的字符都可以用三个字节表示,而且它的另一种选择,UTF-16编码,对前述的第四种字符同样需要四个字节来编码,所以要决定UTF-8或UTF-16哪种编码比较有效率,还要视所使用的字符的分布范围而定。不过,如果使用一些传统的压缩系统,比如DEFLATE,则这些不同编码系统间的的差异就变得微不足道了。若顾及传统压缩算法在压缩较短文字上的效果不大,可以考虑使用Unicode标准压缩格式(SCSU)。
互联网工程工作小组(IETF)要求所有互联网协议都必须支持UTF-8编码。互联网邮件联盟(IMC)建议所有电子邮件软件都支持UTF-8编码。

㈢ 如何修改python文件的编码格式

可以知道的是,文本文件的默认编码并不是utf8。
我们打开一个文本文件,并点击另存为
2
我们在新窗口的编码一栏看到默认编码是ANSI。先不管这个编码是什么编码,但是通过下拉列表我们知道,这种编码不是utf8。
END
编码测试
1
对于Python里面的中文显示,我们常常使用utf8和gbk的编码。对于这两种编码笔者就不介绍了,总之都是专门可以处理中文的编码方式啦。
2
我们首先对文本文件测试了gbk解码。我们发现,此编码下文本文件内容可以正常显示,但是使用utf8解码,程序出错,抛出decodeError异常
3
同样的,我们对Python脚本文件测试了utf8解码。我们发现,此编码下文本文件内容可以正常显示,但是使用gbk解码,中文部分出现乱码
4
测试说明,对于文本文件需要使用gbk解码,而对于脚本文件需要utf8解码,也就是说,文本文件是gbk编码的,而脚本则是utf8

㈣ python 判断一个字符能否用gbk和utf8编码

使用chardet库。它会去猜测文本文件的编码,并返回形如:
编码类型:utf-8
置信度:0.9
这样的结果,也就是说chardet断定该文件有90%的可能性是utf-8编码的。
不过chardet的缺陷就是,它不能完全100%确定文件的编码类型。
目前我的做法是,如果置信度超过0.95,那么就认定chardet的判断结果是正确的。否则,再加上一些人机交互操作进行判断。

目前,chardet库官网提供的版本只适用于Python 2,如果您使用的是Python 3.x,我可以另外上传一个。

㈤ python 中文 gbk utf8是什么

是不是这个意思,在第一行出现 -*- coding:utf-8 -*- 或者是 -*- coding:gbk -*- 如果是这样的话意思是你的编码里面出现的中文或者亚洲的文字,需要使用你所指定的编码,这样才能正确的把文字输入或输出。

㈥ python中gbk、utf-8、ascii、Unicode的关系是什么

gbk是中文编码,utf-8和unicode一样是通用编码,ascii和前三者不是一类的。
一般都是用utf-8,一般不会出问题。

㈦ python2.7 utf-8转gbk 乱码

windows的本地默认编码是cp936(gbk编码),Windows中直接打印utf-8的字符串是乱码
将你文件申明为UTF-8保存
#coding:utf-8

def respeak(self):
cText =pyperclip.paste()
gt = cText.decode('utf-8').encode('gbk')

self.ui.mainT.setText(QtCore.QString(gt))

㈧ python utf8 gbk 编码问题

你是不是想在python里把中文变成链接中%E5%BE%85这种形式?直接用urllib.urlencode({'word':'中文'})方法
而显示\xe5\xbe\x85\是因为你没有使用read()方法,加上后变成:'待解析网页'.decode('gbk').encode('utf-8').read(),就是你熟悉的中文了。
不过,'待解析网页'.decode('gbk').encode('utf-8')这句我要吐槽一下,网页明显是utf-8编码,你在文件开头声明utf-8编码就可以了,这一句是多余的。在这基础上读取网页直接用 '待解析网页'.read()

热点内容
e框架php 发布:2025-03-07 09:01:00 浏览:78
php表单自动提交 发布:2025-03-07 08:56:09 浏览:504
安卓怎么连接电脑用鼠标 发布:2025-03-07 08:52:55 浏览:311
大数据与数据库的关系 发布:2025-03-07 08:48:20 浏览:288
取幂C语言 发布:2025-03-07 08:43:10 浏览:488
高考解压性 发布:2025-03-07 08:43:10 浏览:690
搜狐广告服务器是什么 发布:2025-03-07 08:36:45 浏览:147
csgo稳定fps要什么配置 发布:2025-03-07 08:35:01 浏览:404
matlab粒子群优化算法 发布:2025-03-07 08:13:49 浏览:250
编译原理翻译 发布:2025-03-07 08:08:01 浏览:593