当前位置:首页 » 编程语言 » gb2312转utf8python

gb2312转utf8python

发布时间: 2022-03-01 07:21:04

❶ micropython中怎么将gb2312编码的字节流变成中文

micropython中好像还没有unicode方面的支持,中文解码也还没有。
不过可以参考这样的想法,GB2312编码的汉字都是双字节,ASC码都是大于127的.这样如果连续两个字符都是大于127的,就可以当成一个汉字处理。

❷ python怎么把ASNI(GB2312)转换成UTF-8

#!/usr/bin/envpython3
fromchardetimportdetect
fn='a.txt'
withopen(fn,'rb')asf:
s=f.read()
coding=detect(s)['encoding']
print('coding:{}'.format(coding))
print('content:{}'.format(s.decode(coding).rstrip()))
newf='b.txt'
withopen(newf,'wb')asf:
f.write(s.decode(coding).encode('utf8'))
print('done!convertcodingtoutf-8andwirtecontentin`{}`'.format(newf))

如果报ImportError那就

pipinstallchardet

def 你理解代码后自己整合吧

❸ python 解析xml 是不是只能解析编码格式为utf-8的gb2312不行吗

据我了解,minidom只支持utf-8文件的解析,所以在解析之前不管用什么方法,最好确保文件是utf-8格式的,话说python的文本操作通常用utf-8都是没什么问题的,其它编码方式多多少少都有些麻烦,所以生成文件的时候尽量少用中文编码!

❹ 如何处理python编码转换时的UnicodeDecodeError异常

原始编码错误,比如原始是utf8,你当成gb2312解就报这个错,LZ也可以搜一下我的回答。有一些类似问题

❺ python 如何将windows-1252转换为utf-8

巧了 , 我也碰到这个问题 . 不过我那个是标着 gb2312 , 代码 检测 出来是 window-1252 , 实际上是 gb18030

❻ 我在写一个python的网络爬虫,写入记事本的内容都是乱码如何使写入的数据以utf8或者gb2312的码制写入。

我从自己一个utf8的爬虫程序里面摘的。

程序开头:

#!/usr/bin/envpython
#-*-coding:utf8-*-
importurllib
importurllib2
importstring
importre
importsys
type0=sys.getfilesystemencoding()#解决中文乱码问题


后面做抓取程序的时候全部加上decode和encode。

pos1=text.find(term.decode("utf-8").encode(type0))


在输入到txt的时候相应的分隔符也要decode和encode:

f.write(info+'!'.decode("utf-8").encode(type0))


希望能帮到你。

❼ 用python抓取编码为gb2312的网页,结果抓取的都是乱码 怎样才能将它弄成正常的HTML格式

你试试下面的代码

#!/usr/bin/envpython
#-*-coding:utf8-*-

importurllib2

req=urllib2.Request("http://www..com/")
res=urllib2.urlopen(req)
html=res.read()
res.close()

html=unicode(html,"gb2312").encode("utf8")
printhtml

❽ python3怎样把gb2312的文件转换成utf-8格式

str.decode("gb2312").encode("utf-8")
decode
是解码,把一直的gb2312格式转换为中间格式unicode,encode再转换为你需要的utf-8

❾ 怎么在Python里使用UTF-8编码

概述

在python代码即.py文件的头部声明即可

解析

py文件中的编码

Python 默认脚本文件都是 ANSCII 编码的,当文件 中有非 ANSCII 编码范围内的字符的时候就要使用"编码指示"来修正一个 mole 的定义中,如果.py文件中包含中文字符(严格的说是含有非anscii字符),则需要在第一行或第二行指定编码声明:

# -*- coding=utf-8 -*-

#coding=utf-8

# 以上两种选其一即可

其他的编码如:gbk、gb2312也可以;否则会出现:

SyntaxError: Non-ASCII character 'xe4' in file test.py on line 3, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

python中的编码与解码

先说一下python中的字符串类型,在python中有两种字符串类型,分别是 str 和 unicode,他们都是basestring的派生类;

str类型是一个包含Characters represent (at least) 8-bit bytes的序列;

unicode 的每个 unit 是一个 unicode obj;

在str的文档中有这样的一句话:

    The string data type is also used to represent arrays of bytes, e.g., to hold data read from a file.

也就是说在读取一个文件的内容,或者从网络上读取到内容时,保持的对象为str类型;如果想把一个str转换成特定编码类型,需要把str转为Unicode,然后从unicode转为特定的编码类型如:utf-8、gb2312等。

拓展内容

utf-8编码

UTF-8(8-bit Unicode Transformation Format)是一种针对Unicode的可变长度字符编码,也是一种前缀码。它可以用来表示Unicode标准中的任何字符,且其编码中的第一个字节仍与ASCII兼容,这使得原来处理ASCII字符的软件无须或只须做少部分修改,即可继续使用。因此,它逐渐成为电子邮件、网页及其他存储或发送文字的应用中,优先采用的编码。

UTF-8使用一至六个字节为每个字符编码(尽管如此,2003年11月UTF-8被RFC 3629重新规范,只能使用原来Unicode定义的区域,U+0000到U+10FFFF,也就是说最多四个字节):

1、128个US-ASCII字符只需一个字节编码(Unicode范围由U+0000至U+007F)。

2、带有附加符号的拉丁文、希腊文、西里尔字母、亚美尼亚语、希伯来文、阿拉伯文、叙利亚文及它拿字母则需要两个字节编码(Unicode范围由U+0080至U+07FF)。

3、其他基本多文种平面(BMP)中的字符(这包含了大部分常用字,如大部分的汉字)使用三个字节编码(Unicode范围由U+0800至U+FFFF)。

4、其他极少使用的Unicode辅助平面的字符使用四至六字节编码(Unicode范围由U+10000至U+1FFFFF使用四字节,Unicode范围由U+200000至U+3FFFFFF使用五字节,Unicode范围由U+4000000至U+7FFFFFFF使用六字节)。

对上述提及的第四种字符而言,UTF-8使用四至六个字节来编码似乎太耗费资源了。但UTF-8对所有常用的字符都可以用三个字节表示,而且它的另一种选择,UTF-16编码,对前述的第四种字符同样需要四个字节来编码,所以要决定UTF-8或UTF-16哪种编码比较有效率,还要视所使用的字符的分布范围而定。不过,如果使用一些传统的压缩系统,比如DEFLATE,则这些不同编码系统间的的差异就变得微不足道了。若顾及传统压缩算法在压缩较短文字上的效果不大,可以考虑使用Unicode标准压缩格式(SCSU)。

互联网工程工作小组(IETF)要求所有互联网协议都必须支持UTF-8编码。互联网邮件联盟(IMC)建议所有电子邮件软件都支持UTF-8编码。

❿ python爬虫中,格式为gb2312的HTML在decode('utf-8')时出错。求解。

#coding=utf-8
import urllib2
url='http://bbs.hupu.com/12321671.html'
html=urllib2.urlopen(url)
content=html.read().decode("gbk").encode("utf-8")
print content
html.close()

热点内容
罗布乐思账号密码手机号多少 发布:2025-01-11 18:00:55 浏览:401
在广州什么配置的车才能跑滴滴 发布:2025-01-11 18:00:52 浏览:891
安卓手机哪个生态好 发布:2025-01-11 17:56:01 浏览:272
数据库数据的一致性 发布:2025-01-11 17:30:45 浏览:708
手机怎么设置手势安卓 发布:2025-01-11 17:15:54 浏览:965
威能壁挂炉解压阀 发布:2025-01-11 17:15:53 浏览:560
突破服务器ip限制 发布:2025-01-11 17:11:23 浏览:819
支付宝上传凭证 发布:2025-01-11 17:10:29 浏览:877
怎么打开行李箱的密码锁 发布:2025-01-11 17:09:51 浏览:594
苹果怎么删除id账号和密码 发布:2025-01-11 17:09:50 浏览:785