python编码识别
⑴ python编码的问题
ot=os.listdir("F:")
printot
测试了下上面这两条语句,中文命名的文件夹列表显示如下:
['xd2xf4xc0xd6', 'xcdxbcxc6xac']
这不叫乱码,只是以utf-8编码表示中文字符串。你的本意是想要得到['abc', 'bcd', '音乐', '图片']这种形式的输出,但是实际显示却是utf-8编码。
假设我们创建一个列表 ot = ['abc', 'bcd', '音乐', '图片'],并且文件开头定义了以utf-8格式进行编码。那么在内存里列表对象ot存储的是'abc', 'bcd', 'xd2xf4xc0xd6', 'xcdxbcxc6xac'这四个值。
为什么英文字符还是英文,中文字符就变成“乱码”了呢?因为计算机不是人,它是看不懂'音乐'和'图片'这几个汉字字符的,它只认识字符的编码值。对于多种编码来说,键盘上那些英文字符编码值都是一样的。中文则不一样。
为什么打印字符串显示出了中文,打印列表的时候显示的却是utf-8编码?print 的作用是把计算机可理解的对象以人类可以理解的方式打印出来,具体显示结果跟你要打印的对象有关,打印的是字符串,显示的就是人类语言表示的字符串对象,打印的是列表,显示的就是列表对象本身,也即该列表里存储的值。
printot表示打印一个列表对象ot,打印的是列表本身,所以它里面的项以什么形式存储的就以
什么形式显示。
⑵ python怎么知道一个字符串的编码方式
字符串的编码,有很多种如utf-8,gb2312,gbk,gb18030,bz2,zlib,big5,bzse64
python 对编码的处理有两个方法,decode()和 encode()方法
a='你好'
b='python'
printa.decode('utf-8').encode('gbk')##decode方法把字符串转换为unicode对象,然后通过encode方法转换为指定的编码字符串对象
printb.decode('utf-8')##decode方法把字符串转换为unicode对象
所以要让python(或者说机器)来识别字符串的编码,是一件很困难的事。编码就是汉字和整数之间的对应,同一个整数,可以在不同的编码中,都有对应的汉字。比如下面的例子,比特流'xe6xb0xb4xe5xa3xb6'在四种编码中都有对应的汉字,但只有在utf-8编码下,它对应的汉字才有意义。我们可以一眼看出这点,可是要让计算机做到这点,就很难了。
>>>s='水壶'
>>>s
18:'xe6xb0xb4xe5xa3xb6'
>>>printunicode(s,'big5')
瘗游ㄥ
>>>printunicode(s,'gbk')
姘村6
>>>printunicode(s,'gb2312')
姘村6
>>>printunicode(s,'utf-8')
水壶
⑶ Python基本编码格式
1、一般来说,声明编码格式在脚本中是必需的。2、如果Python源码文件没有声明编码格式,Python解释器会默认使用ASCII编码。但出现非ASCII编码的字符,Python解释器就会报错。
1、Python 采用代码缩进和冒号( : )来区分代码块之间的层次。2、在 Python 中,对于类定义、函数定义、流程控制语句、异常处理语句等,行尾的冒号和下一行的缩进,表示下一个代码块的开始,而缩进的结束则表示此代码块的结束。3、Python 中实现对代码的缩进,可以使用空格或者 Tab 键实现。但无论是手动敲空格,还是使用 Tab 键,通常情况下都是采用 4 个空格长度作为一个缩进量(默认情况下,一个 Tab 键就表示 4 个空格)。4、对于 Python 缩进规则,初学者可以这样理解,Python 要求属于同一作用域中的各行代码,它们的缩进量必须一致,但具体缩进量为多少,并不做硬性规定。
正确示例代码:
错误示例代码:
Python中使用 # 进行注释,我们在使用# 的时候,# 号后面要空一格在行内注释的时候,中间应该至少加两个空格
print("你好,世界") # 注释
** 使用的一般性原则:**
1、在二元运算符两边各空一格,算术操作符两边的空格可灵活使用,但两侧务必要保持一致2、不要在逗号、分号、冒号前面加空格,但应该在它们后面加(除非在行尾)3、函数的参数列表中,逗号之后要有空格4、函数的参数列表中,默认值等号两边不要添加空格5、左括号之后,右括号之前不要加添加空格6、参数列表, 索引或切片的左括号前不应加空格
使用的一般性原则:
1、编码格式声明、模块导入、常量和全局变量声明、顶级定义和执行代码之间空两行2、顶级定义之间空两行,方法定义之间空一行3、在函数或方法内部,可以在必要的地方空一行以增强节奏感,但应避免连续空行
1、导入总应该放在文件顶部,位于模块注释和文档字符串之后,模块全局变量和常量之前。
2、导入应该按照从最通用到最不通用的顺序分组,分组之间空一行:
3、每个 import 语句只导入一个模块,尽量避免一次导入多个模块
命名规范这一块的大家应该都比较熟悉了,但是不同的编程语言之间的明明规范也是有所区别的~
Python命名建议遵循的一般性原则:
引号使用的一般性原则:
Python跟其他几个主流编程语言的分号使用区别很大Python的代码末尾不需要加分号,而Java和C#等都需要添加
不要在行尾添加分号,也不要用分号将两条命令放在同一行,例如:
Python学习日记
⑷ Python判断字符串有多少bit(2023年最新解答)
导读:今天首席CTO笔记来给各位分享关于Python判断字符串有多少bit的相关内容,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!
python3字符串都是什么编码编码
字符串是一种数据类型,但是,字符串比较特殊的是还有一个编码问题。
因为计算机只能处理数字,如果要处理文本,就必须先把文本转换为数字才能处理。最早的计算机在设计时采用8个比特(bit)作为一个字节(byte),所以,一个字节能表示的最大的整数就是255(二进制11111111=十进制255),如果要表示更大的整数,就必须用更多的字节。比如两个字节可以表示的最大整数是65535,4个字节可以表示的最大整数是4294967295。
由于计算机是美国人发明的,因此,最早只有127个字母被编码到计算机里,也就是大小写英文字母、数字和一些符号,这个编码表被称为ASCII编码,比如大写字母A的编码是65,小写字母z的编码是122。
Unicode
Unicode把所有语言都统一到一套编码里,这样就不会再有乱码问题了。
Unicode标准也在不断发展,但最常用的是用两个字节表示一个字符(如果要用到非常偏僻的字符,就需要4个字节)。现代操作系统和大多数编程语言都直接支持Unicode。
现在,捋一捋ASCII编码和Unicode编码的区别:ASCII编码是1个字节,而Unicode编码通常是2个字节。
字母A用ASCII编码是十进制的65,二进制的01000001;
字符0用ASCII编码是十进制的48,二进制的00110000,注意字符Ɔ'和整数0是不同的;
汉字已经超出了ASCII编码的范围,用Unicode编码是十进制的20013,二进制的0100111000101101。
如果把ASCII编码的A用Unicode编码,只需要在前面补0就可以,因此,A的Unicode编码是0000000001000001。
新的问题又出现了:如果统一成Unicode编码,乱码问题从此消失了。但是,如果你写的文本基本上全部是英文的话,用Unicode编码比ASCII编码需要多一倍的存储空间,在存储和传输上就十分不划算。
所以,又出现了把Unicode编码转化为“可变长编码”的UTF-8编码。UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6个字节,常用的英文字母被编码成1个字节,汉字通常是3个字节,只有很生僻的字符才会被编码成4-6个字节。如果你要传输的文本包含大量英文字符,用UTF-8编码就能节省空间:
字符
ASCII
Unicode
UTF-8
A??01000001??0000000001000001??01000001?
中??x??0100111000101101??111001001011100010101101?
从上面的表格还可以发现,UTF-8编码有一个额外的好处,就是ASCII编码实际上可以被看成是UTF-8编码的一部分,所以,大量只支持ASCII编码的历史遗留软件可以在UTF-8编码下继续工作。
搞清楚了ASCII、Unicode和UTF-8的关系,我们就可以总结一下现在计算机系统通用的字符编码工作方式:
在计算机内存中,统一使用Unicode编码,当需要保存到硬盘或者需要传输的时候,就转换为UTF-8编码。
用记事本编辑的时候,从文件读取的UTF-8字符被转换为Unicode字符到内存里,编辑完成后,保存的时候再把Unicode转换为UTF-8保存到文件:
浏览网页的时候,服务器会把动态生成的Unicode内容转换为UTF-8再传输到浏览器:
所以你看到很多网页的源码上会有类似metacharset="UTF-8"/的信息,表示该网页正是用的UTF-8编码。
Python的字符串
在最新的Python3版本中,字符串是以Unicode编码的,也就是说,Python的字符串支持多语言,例如:
print('包含中文的str')
包含中文的str
对于单个字符的编码,Python提供了ord()函数获取字符的整数表示,chr()函数把编码转换为对应的字符:
ord('A')65
ord('中')20013
chr(66)'B'chr(25991)'文'
如果知道字符的整数编码,还可以用十六进制这么写str
'u4e26587'//中文
byte
由于Python的字符串类型是str,在内存中以Unicode表示,一个字符对应若干个字节。如果要在网络上传输,或者保存到磁盘上,就需要把str变为以字节为单位的bytes。
Python对bytes类型的数据用带b前缀的单引号或双引号表示:
x=b'ABC'
要注意区分'ABC'和b'ABC',前者是str,后者虽然内容显示得和前者一样,但bytes的每个字符都只占用一个字节。
以Unicode表示的str通过encode()方法可以编码为指定的bytes,例如:
'ABC'.encode('ascii')
b'ABC''中文'.encode('utf-8')
b'xe4xb8xadxe6x96x87''中文'.encode('ascii')
Traceback(mostrecentcalllast):
File"stdin",line1,inmoleUnicodeEncodeError:'ascii'codeccan-1:ordinalnotinrange(128)
纯英文的str可以用ASCII编码为bytes,内容是一样的,含有中文的str可以用UTF-8编码为bytes。含有中文的str无法用ASCII编码,因为中文编码的范围超过了ASCII编码的范围,Python会报错。
在bytes中,无法显示为ASCII字符的字节,用x##显示。
反过来,如果我们从网络或磁盘上读取了字节流,那么读到的数据就是bytes。要把bytes变为str,就需要用decode()方法:
b'ABC'.decode('ascii')'ABC'b'xe4xb8xadxe6x96x87'.decode('utf-8')'中文'
要计算str包含多少个字符,可以用len()函数
len('ABC')3
len('中文')2
len()函数计算的是str的字符数,如果换成bytes,len()函数就计算字节数
len(b'ABC')3
len(b'xe4xb8xadxe6x96x87')6
len('中文'.encode('utf-8'))6
1个中文字符经过UTF-8编码后通常会占用3个字节,而1个英文字符只占用1个字节。
在操作字符串时,我们经常遇到str和bytes的互相转换。为了避免乱码问题,应当始终坚持使用UTF-8编码对str和bytes进行转换。
Python源代码也是一个文本文件,所以,当你的源代码中包含中文的时候,在保存源代码时,就需要务必指定保存为UTF-8编码。当Python解释器读取源代码时,为了让它按UTF-8编码读取,我们通常在文件开头写上这两行
#!/usr/bin/envpython3#-*-coding:utf-8-*-
第二行注释是为了告诉Python解释器,按照UTF-8编码读取源代码,否则,你在源代码中写的中文输出可能会有乱码。
格式化:
在Python中,采用的格式化方式和C语言是一致的,用%实现,举例如下:
format%(...params)
'Hello,%s'%'world''Hello,world''Hi,%s,youhave$%d.'%('Michael',1000000)'Hi,Michael,youhave$1000000.'
%运算符就是用来格式化字符串的。在字符串内部,%s表示用字符串替换,%d表示用整数替换,%x表示16进制整数,有几个%?占位符,后面就跟几个变量或者值,顺序要对应好。如果只有一个%?,括号可以省略。
格式化整数和浮点数还可以指定是否补0和整数与小数的位数:
'%2d-%02d'%(3,1)Ɖ-01''%.2f'%3.1415926Ɖ.14'
有些时候,字符串里面的%是一个普通字符怎么办?这个时候就需要转义,用%%来表示一个%:
'growthrate:%d%%'%7'growthrate:7%'
day-04总结python字符串
1.什么是字符串
序列,有序,不可变的
用单引号或者双引号任意字符集,
2,字符串中的字符
普通字符:ན','sdfsdfsd','++(**^%$#@@','发技术规范举案说法'
'''
python中的字符采用的是unicode编码
1.什么是编码
就是数字和字符的一一对应的,其中字符对应的数字就是字符的编码
a-97
b-98
2.编码方式
ASCII码表:针对数字字符,字母字符(26个小写字母和26个大写字母),一些英文中对应的符号进行编码
小写字母要大于大写字母的编码值,采用一个字节对字符进行编码,只能对128个字符进行编码
Unicode码:Unicode码包含了ASCII码表,同时能够对世界上所有语言对应的符号进行编码,
采用两个字节进行编码,能够编码65536个字符
3.两个函数
chr(编码值)--将字符编码值转化为字符
ord(字符)--获取字符对应的编码值
中文编码范围0x4e00~~~~~0x9fa5
一旦一个字符串确定了,那么字符串中每个字符的位置就确定了,而且每个字符会对应一个表示其位置和顺序的下标值
1,下标(索引)
字符串中的每一个字符都有一个下标,代表在字符串中的位置
下标范围是:0到字符串长度---10(代表第一个字符的位置)
-1~字符串长度-1(代表字符串中最后一个字符的位置)
'abc'#''
获取单个字符
语法:字符串[下标]--获取字符串中指定下标对应的字符
说明字符串--可以是字符串常量,也可以是字符串变量
[]---固定写法
下标--字符的下标,不能越界。
获取部分字符
语法:字符串[开始下标:结束下标:步长]
步长--一个整数
功能:从开始下标获取到结束下标前位置,每次下标值增加步长,结果是字符串
注意:当步长是整数,开始下标对应的字符要在结束下标的前面
当步长是负数,开始下标对应的字符要在结束下标的后面
方法2:字符串[开始下表:结束下标](相当于步长是一)
获取部分字符,省略下标
获取部分字符的时候开始下标和结束下标都可以省略
a.开始下标省略
字符串[:结束下标:步长]或者字符串[:结束下表]
字符串是正数:从字符串开头开始往后获取
字符串是负数:从字符串结尾开始往前获取
结束下标省略
字符串[开始下标::步长]
步长是正数,从开始下标从前往后获取到字符串最后
步长是负数,从开始下标从后往前获取到字符串开始
,加法运算
字符串1+字符串2将两个字符串拼接在一起,产生一个新的字符串
乘法运算
字符串*n(正整数):字符串中的内容重复n次产生一个新的字符串
比较运算符
a.==!=
字符串1==字符串2---------判断两个字符串是否相等
b.,,=,=(所有的大写字母编码都比小写的编码小)
两个字符串比较大下:从第一个开始,找到第一对不同的字符,然后比较他们的编码值的大小
in和notin
字符串1in字符串2:判断字符串2是否包含字符串1
字符串1notin字符串2:判断字符串2是否不包含字符串1
len函数
len(序列)-------获取序列的长度
len(字符串)----获取字符串中字符的个数
str函数
str(数据):将数据转换成字符串
其他数据转换成字符串
所有的数据都可以转换成字符串,转换的时候就是在数据的值的最外面加引号
补充:系统对应的类型名不能用来给变量命名
字符串转其他类型
字符串转整数:int(字符串)去掉引号后本身就是个整数的字符串才能转
字符串转浮点型:Float(字符串)
字符串转布尔:boll(字符串),除了空串会转化成False,其他的都会转化成True
格式字符串
指的是字符串中通过格式占位符来表示字符串中变化,然后后面再通过其他的值来给占位符赋值
含有格式占位符的字符串%(占位符对应的值)
说明:
含有格式占位符有固定写法,可以有多个
%----固定写法
()----里面值的个数要和前面的格式占位符一一对应
%d--整数
%s--字符串
%f--小数
%c--字符(可以将数字转换成字符)
字符串.capitalize()-将字符串第一个字符转换成大写
2.字符串对齐
字符串.center(width,fillchar)-居中
字符串.ljust(width,fillchar)-左对齐
字符串.rjust(width,fillchar)-右对齐
width-正整数,表示新的字符串的宽度
fillchar-字符,填充字符串
字符串.isalpha若字符串至少有一个字符,并且所有字符都是字母就返回True,否则返回False
字符串。isdigit()若字符串中只包含数字就返回True,否则返回False
若字符串中只包含数字字符,则返回True,否则返回False
3.join(seq)
字符串1.join(字符串2):将字符串1的内容插入到字符串2的每个字符之间
max(字符串)编码最大
min(字符串)
count(str)|返回str在string里面出现的次数
|islower()|如果字符串中包含至少一个区分大小写的字符,并且所有这些(区分大小写的)字符都是小写,则返回True,否则返回False
expandtabs(tabsize=8)|把字符串string中的tab符号转为空格,tab符号默认的空格数是8。
|isspace()|如果字符串中只包含空白,则返回True,否则返回False
endswith(suffix)|检查字符串是否以obj结束,如果beg或者end指定则检查指定的范围内是否以obj结束,如果是,返回True,否则返回False.
python判断字符串有几个字符字符串长度
通过内置方法len()来计算字符串的长度,注意这个计算的是字符的长度。
aa='afebb'
bb='你'
printlen(aa)
printlen(bb)
python语言中如何判断一个字符串有多少位str=raw_input('随便输入点什么')
long=len(str)
如果我输入的是123456
len是一个内建函数,会计算我str这个变量输入了几个字符
最后long就等于6
结语:以上就是首席CTO笔记为大家整理的关于Python判断字符串有多少bit的相关内容解答汇总了,希望对您有所帮助!如果解决了您的问题欢迎分享给更多关注此问题的朋友喔~
⑸ python3读文件编码错误怎么办
在python3中系统默认编码是unicode,读取文件经常会编码错误导致报错。
首先先确认要读取文件的编码,可这样操作:
记事本打开文本文件,点击“文件”-“另存为”查看编码:
importcodecs
f=codecs.open(r"test.txt","r","gbk")
print(f.read())
f.close()
(示例的文件是ANSI所以使用GBK读取)
以上就可以正确读取想要的文件了
⑹ python有哪几种编码方式
第一种:ASCII码。是基于拉丁字母的一套电脑编码系统,主要用于显示现代英语和其他西欧语言,它是现今最通用的单字节编码系统,并等同于国际标准IS/IEC
646。
由于计算机是美国人发明的,因此,最早只有127个字母被编码到计算机李,也就是大小写英文字母、数字和一些符号,这个编码表被称为ASCII编码,比如大写字母A的编码是65,小写字母a的编码是97,后128个称为扩展ASCII码。
第二种:GBK和GB2312。能在计算机中显示中文字符是至关重要的,然而ASCII表里一个偏旁部首都没有,所以我们需要一个关于中文和数字对应的关系表,一个字节只能最多表示256个字符,用处理中文显然一个字节是不够的,所以我们需要采用两个字节来表示,所以中国制定了GB2312编码,用来将中文编写进去。
第三种:Unicode。因为各个国家都有一套自己的编码,所以无法避免冲突,因此Unicode诞生了。它可以把所有语言都统一到一套编码里,这样就不会存在乱码问题了,现代操作系统和大多数编程语言都直接支持Unicode。
第四种:UFT-8。基于节约的原则,出现了把Unicode编码转化为可变长编码的UTF-8编码。而UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6个字节,常用的英文字母被编码成一个字节,汉字通常是3个字节,只有很生僻的字符才会被编码成4-6个字节,如果你要传输的文本包含大量英文字符,用UTF-8编码就能节省空间。
⑺ Python文件处理里encoding和encode有事区别,bytes类型是什么意思
python问题我来回答你。
首先你要知道的是,字符串在Python内部的表示是unicode(统一码、万国码)编码,很多编程语言都是这么设计的,各个国家通用编码,因此,在做编码转换时,通常需要以unicode作为中间编码,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。
decode的作用是将其他编码的字符串转换成unicode编码,如str1.decode('gb2312'),表示将gb2312编码的字符串str1转换成unicode编码。
encode的作用是将unicode编码转换成其他编码的字符串,如str2.encode('gb2312'),表示将unicode编码的字符串str2转换成gb2312编码。
因此,转码的时候一定要先搞明白,字符串str是什么编码,然后decode成unicode,然后再encode成其他编码。
bytes类型是 Python 3.x版本新增的数据类型,在 Python 2.x 中是不存在的。字符串是以字符为单位进行处理的,bytes类型是以字节为单位处理的。
bytes 只负责以字节序列的形式(二进制形式)来存储数据,至于这些数据到底表示什么内容(字符串、数字、图片、音频等),完全由程序的解析方式决定。
说白了,bytes 只是简单地记录内存中的原始数据,至于如何使用这些数据,bytes 并不在意,你想怎么使用就怎么使用,bytes 并不约束你的行为。
bytes 类型的数据非常适合在互联网上传输,可以用于网络通信编程;bytes 也可以用来存储图片、音频、视频等二进制格式的文件。
举个例子:
b = b'' # 创建一个空的bytes
b = byte() # 创建一个空的bytes
b = b'hello' # 直接指定这个hello是bytes类型
b = bytes('string',encoding='编码类型') #利用内置bytes方法,将字符串转换为指定编码的bytes
b = str.encode('编码类型') # 利用字符串的encode方法编码成bytes,默认为utf-8类型
bytes.decode('编码类型'):将bytes对象解码成字符串,默认使用utf-8进行解码。