python字符串编码判断
① python 判断一个字符能否用gbk和utf8编码
使用chardet库。它会去猜测文本文件的编码，并返回形如：
编码类型：utf-8
置信度：0.9
这样的结果，也就是说chardet断定该文件有90%的可能性是utf-8编码的。
不过chardet的缺陷就是，它不能完全100%确定文件的编码类型。
目前我的做法是，如果置信度超过0.95，那么就认定chardet的判断结果是正确的。否则，再加上一些人机交互操作进行判断。
目前，chardet库官网提供的版本只适用于Python 2，如果您使用的是Python 3.x，我可以另外上传一个。
② python判断字符串中是否只有ASCII编码字符
ascii字符长度只有8位，而其他编码的字符往往有16位或32位
利用这一点可以进行判断
将字符串解码成unicode，判断长度是否与解码前相同
#-*-coding:utf-8-*-
a='中国123'
b=a.decode('utf-8')
printa,len(a)==len(b)
a='abc'
b=a.decode('utf-8')
printa,len(a)==len(b)
③ python 判断一个字符串是什么编码
字符串的编码，有很多种如utf-8，gb2312，gbk，gb18030，bz2，zlib，big5，bzse64 python 对编码的处理有两个方法，decode()和 encode()方法 a = '你好'b = 'python'print a.decode('utf-8').encode('gbk')##decode方法把字符串转换为unicode对象，然后通过encode方法转换为指定的编码字符串对象print b.decode('utf-8')##decode方法把字符串转换为unicode对象所以要让python（或者说机器）来识别字符串的编码，是一件很困难的事。编码就是汉字和整数之间的对应，同一个整数，可以在不同的编码中，都有对应的汉字。比如下面的例子，比特流'\xe6\xb0\xb4\xe5\xa3\xb6'在四种编码中都有对应的汉字，但只有在utf-8编码下，它对应的汉字才有意义。我们可以一眼看出这点，可是要让计算机做到这点，就很难了。 >>> s = '水壶'>>> s18: '\xe6\xb0\xb4\xe5\xa3\xb6'>>> print unicode(s, 'big5')瘗游ㄥ>>> print unicode(s, 'gbk')姘村6>>> print unicode(s, 'gb2312')姘村6>>> print unicode(s, 'utf-8')水壶
④ python怎么判断中文字符编码
#!/usr/bin/env python
# -*- coding:GBK -*-
"""汉字处理的工具:
判断unicode是否是汉字，数字，英文，或者其他字符。
全角符号转半角符号。"""
__author__="internetsweeper <[email protected]>"
__date__="2007-08-04"
def is_chinese(uchar):
"""判断一个unicode是否是汉字"""
if uchar >= u'\u4e00' and uchar<=u'\u9fa5':
return True
else:
return False
def is_number(uchar):
"""判断一个unicode是否是数字"""
if uchar >= u'\u0030' and uchar<=u'\u0039':
return True
else:
return False
def is_alphabet(uchar):
"""判断一个unicode是否是英文字母"""
if (uchar >= u'\u0041' and uchar<=u'\u005a') or (uchar >= u'\u0061' and uchar<=u'\u007a'):
return True
else:
return False
def is_other(uchar):
"""判断是否非汉字，数字和英文字符"""
if not (is_chinese(uchar) or is_number(uchar) or is_alphabet(uchar)):
return True
else:
return False
def B2Q(uchar):
"""半角转全角"""
inside_code=ord(uchar)
if inside_code<0x0020 or inside_code>0x7e: #不是半角字符就返回原来的字符
return uchar
if inside_code==0x0020: #除了空格其他的全角半角的公式为:半角=全角-0xfee0
inside_code=0x3000
else:
inside_code+=0xfee0
return unichr(inside_code)
def Q2B(uchar):
"""全角转半角"""
inside_code=ord(uchar)
if inside_code==0x3000:
inside_code=0x0020
else:
inside_code-=0xfee0
if inside_code<0x0020 or inside_code>0x7e: #转完之后不是半角字符返回原来的字符
return uchar
return unichr(inside_code)
def stringQ2B(ustring):
"""把字符串全角转半角"""
return "".join([Q2B(uchar) for uchar in ustring])
def uniform(ustring):
"""格式化字符串，完成全角转半角，大写转小写的工作"""
return stringQ2B(ustring).lower()
def string2List(ustring):
"""将ustring按照中文，字母，数字分开"""
retList=[]
utmp=[]
for uchar in ustring:
if is_other(uchar):
if len(utmp)==0:
continue
else:
retList.append("".join(utmp))
utmp=[]
else:
utmp.append(uchar)
if len(utmp)!=0:
retList.append("".join(utmp))
return retList
if __name__=="__main__":
#test Q2B and B2Q
for i in range(0x0020,0x007F):
print Q2B(B2Q(unichr(i))),B2Q(unichr(i))
#test uniform
ustring=u'中国 人名a高频A'
ustring=uniform(ustring)
ret=string2List(ustring)
print ret
以上转自http://hi..com/fenghua1893/item/d1a71d5ac47ffdcfd3e10cd1
这个问题是做 MkIV 预处理程序时搞定的，就是把一个混合了中英文混合字串分离为英文与中文的子字串，譬如，将 ”我的 English 学的不好“ 分离为 “我的"、" English ” 与 "学的不好" 三个子字串。
1. 中英文混合字串的统一编码表示中英文混合字串处理最省力的办法就是把它们的编码都转成 Unicode，让一个汉字与一个英文字母的内存位宽都是相等的。这个工作用 Python 来做，比较合适，因为 Python 内码采用的是 Unicode，并且为了支持 Unicode 字串的操作，Python 做了一个 Unicode 内建模块，把 string 对象的全部方法重新实现了一遍，另外提供了 Codecs 对象，解决各种编码类型的字符串解码与编码问题。
譬如下面的 Python 代码，可实现 UTF-8 编码的中英文混合字串向 Unicode 编码的转换：# -*-
coding:utf-8 -*-
a = "我的 English 学的不好"
print type(a),len (a), a
b = unicode (a, "utf-8")
print type(b), len (b), b字符串 a 是 utf-8 编码，使用 python 的内建对象 unicode 可将其转换为 Unicode 编码的字符串 b。上述代码执行后的输出结果如下所示，比较字串 a 与字串 b 的长度，显然 len (b) 的输出结果是合理的。<type 'str'> 27 我的 English 学的不好
<type 'unicode'> 15 我的 English 学的不好要注意的一个问题是 Unicode 虽然号称是“统一码”，不过也是存在着两种形式，即：
UCS-2：为 16 位码，具有 2^16 = 65536 个码位； UCS-4：为 32 位码，目前的规定是其首字节的首位为 0，因此具有 2^31 = 2147483648 个码位，不过现在的只使用了 0x00000000 － 0x0010FFFF 之间的码位，共 1114112 个。
使用Python sys 模块提供的一个变量 maxunicode 的值可以判断当前 Python 所使用的 Unicode 类型是 UCS-2 的还是 UCS-4 的。import sys
print sys.maxunicode若 sys.maxunicode 的值为 1114111，即为 UCS-4；若为 65535，则为 UCS-2。
2. 中英文混合字串的分离一旦中英文字串的编码获得统一，那么对它们进行分裂就是很简单的事情了。首先要为中文字串与英文字串分别准备一个收集器，使用两个空的字串对象即可，譬如 zh_gather 与 en_gather；然后要准备一个列表对象，负责按分离次序存储 zh_gather 与 en_gather 的值。下面这个 Python 函数接受一个中英文混合的 Unicode 字串，并返回存储中英文子字串的列表。def split_zh_en (zh_en_str):
zh_en_group = []
zh_gather = ""
en_gather = ""
zh_status = False
for c in zh_en_str:
if not zh_status and is_zh (c):
zh_status = True
if en_gather != "":
zh_en_group.append ([mark["en"],en_gather])
en_gather = ""
elif not is_zh (c) and zh_status:
zh_status = False
if zh_gather != "":
zh_en_group.append ([mark["zh"], zh_gather])
if zh_status:
zh_gather += c
else:
en_gather += c
zh_gather = ""
if en_gather != "":
zh_en_group.append ([mark["en"],en_gather])
elif zh_gather != "":
zh_en_group.append ([mark["zh"],zh_gather])
return zh_en_group上述代码所实现的功能细节是：对中英文混合字串 zh_en_str 的遍历过程中进行逐字识别，若当前字符为中文，则将其添加到 zh_gather 中；若当前字符为英文，则将其添加到 en_gather 中。zh_status 表示中英文字符的切换状态，当 zh_status 的值发生突变时，就将所收集的中文子字串或英文子字串添加到 zh_en_group 中去。
判断字串 zh_en_str 中是否包含中文字符的条件语句中出现了一个 is_zh () 函数，它的实现如下：def is_zh (c):
x = ord (c)
# Punct & Radicals
if x >= 0x2e80 and x <= 0x33ff:
return True
# Fullwidth Latin Characters
elif x >= 0xff00 and x <= 0xffef:
return True
# CJK Unified Ideographs &
# CJK Unified Ideographs Extension A
elif x >= 0x4e00 and x <= 0x9fbb:
return True
# CJK Compatibility Ideographs
elif x >= 0xf900 and x <= 0xfad9:
return True
# CJK Unified Ideographs Extension B
elif x >= 0x20000 and x <= 0x2a6d6:
return True
# CJK Compatibility Supplement
elif x >= 0x2f800 and x <= 0x2fa1d:
return True
else:
return False这段代码来自 jjgod 写的 XeTeX 预处理程序。
对于分离出来的中文子字串与英文子字串，为了使用方便，在将它们存入 zh_en_group 列表时，我对它们分别做了标记，即 mark["zh"] 与 mark["en"]。mark 是一个 dict 对象，其定义如下：mark = {"en":1, "zh":2}如果要对 zh_en_group 中的英文字串或中文字串进行处理时，标记的意义在于快速判定字串是中文的，还是英文的，譬如：for str in zh_en_group:
if str[0] = mark["en"]:
do somthing
else:
do somthing
⑤ python 怎么查看当前字符串的编码格式
查看当前字符串的编码格式的代码为：Type "now", "right", "credits" or "license" for more information.
⑥ python怎么知道一个字符串的编码方式
字符串的编码，有很多种如utf-8，gb2312，gbk，gb18030，bz2，zlib，big5，bzse64
python 对编码的处理有两个方法，decode()和 encode()方法
a='你好'
b='python'
printa.decode('utf-8').encode('gbk')##decode方法把字符串转换为unicode对象，然后通过encode方法转换为指定的编码字符串对象
printb.decode('utf-8')##decode方法把字符串转换为unicode对象
所以要让python（或者说机器）来识别字符串的编码，是一件很困难的事。编码就是汉字和整数之间的对应，同一个整数，可以在不同的编码中，都有对应的汉字。比如下面的例子，比特流'xe6xb0xb4xe5xa3xb6'在四种编码中都有对应的汉字，但只有在utf-8编码下，它对应的汉字才有意义。我们可以一眼看出这点，可是要让计算机做到这点，就很难了。
>>>s='水壶'
>>>s
18:'xe6xb0xb4xe5xa3xb6'
>>>printunicode(s,'big5')
瘗游ㄥ
>>>printunicode(s,'gbk')
姘村6
>>>printunicode(s,'gb2312')
姘村6
>>>printunicode(s,'utf-8')
水壶
⑦ Python处理字符串必备方法
字符串是Python中基本的数据类型，几乎在每个Python程序中都会使用到它。
▍1、Slicing
slicing切片，按照一定条件从列表或者元组中取出部分元素（比如特定范围、索引、分割值）
▍2、****strip()
strip()方法用于移除字符串头尾指定的字符（默认为空格或换行符）或字符序列。
在使用strip()方法时，默认去除空格或换行符，所以#号并没有去除。
可以给strip()方法添加指定字符，如下所示。
此外当指定内容不在头尾处时，并不会被去除。
第一个 前有个空格，所以只会去取尾部的换行符。
最后strip()方法的参数是剥离其值的所有组合，这个可以看下面这个案例。
最外层的首字符和尾字符参数值将从字符串中剥离。字符从前端移除，直到到达一个不包含在字符集中的字符串字符为止。
在尾部也会发生类似的动作。
▍3、****lstrip()
移除字符串左侧指定的字符（默认为空格或换行符）或字符序列。
同样的，可以移除左侧所有包含在字符集中的字符串。
▍4、rstrip()
移除字符串右侧指定的字符（默认为空格或换行符）或字符序列。
▍5、****removeprefix()
Python3.9中移除前缀的函数。
和strip()相比，并不会把字符集中的字符串进行逐个匹配。
▍6、removesuffix()
Python3.9中移除后缀的函数。
▍7、****replace()
把字符串中的内容替换成指定的内容。
▍8、****re.sub()
re是正则的表达式，sub是substitute表示替换。
re.sub则是相对复杂点的替换。
和replace()做对比，使用re.sub()进行替换操作，确实更高级点。
▍9、****split()
对字符串做分隔处理，最终的结果是一个列表。
当不指定分隔符时，默认按空格分隔。
此外，还可以指定字符串的分隔次数。
▍10、****rsplit()
从右侧开始对字符串进行分隔。
▍11、****join()
string.join(seq)。以string作为分隔符，将seq中所有的元素(的字符串表示)合并为一个新的字符串。
▍12、****upper()
将字符串中的字母，全部转换为大写。
▍13、****lower()
将字符串中的字母，全部转换为小写。
▍14、capitalize()
将字符串中的首个字母转换为大写。
▍15、****islower()
判断字符串中的所有字母是否都为小写，是则返回True，否则返回False。
▍16、isupper()
判断字符串中的所有字母是否都为大写，是则返回True，否则返回False。
▍17、****isalpha()
如果字符串至少有一个字符并且所有字符都是字母，则返回 True，否则返回 False。
▍18、isnumeric()
如果字符串中只包含数字字符，则返回 True，否则返回 False。
▍19、isalnum()
如果字符串中至少有一个字符并且所有字符都是字母或数字，则返回True，否则返回 False。
▍20、count()
返回指定内容在字符串中出现的次数。
▍21、****find()
检测指定内容是否包含在字符串中，如果是返回开始的索引值，否则返回-1。
此外，还可以指定开始的范围。
▍22、rfind()
类似于find()函数，返回字符串最后一次出现的位置，如果没有匹配项则返回 -1。
▍23、startswith()
检查字符串是否是以指定内容开头，是则返回 True，否则返回 False。
**
**
▍24、****endswith()
检查字符串是否是以指定内容结束，是则返回 True，否则返回 False。
▍25、****partition()
string.partition(str)，有点像find()和split()的结合体。
从str出现的第一个位置起,把字符串string分成一个3 元素的元组(string_pre_str,str,string_post_str)，如果string中不包含str则 string_pre_str==string。
▍26、center()
返回一个原字符串居中，并使用空格填充至长度width的新字符串。
▍27、ljust()
返回一个原字符串左对齐，并使用空格填充至长度width的新字符串。
▍28、rjust()
返回一个原字符串右对齐，并使用空格填充至长度width的新字符串。
▍29、f-Strings
f-string是格式化字符串的新语法。
与其他格式化方式相比，它们不仅更易读，更简洁，不易出错，而且速度更快！
▍30、swapcase()
翻转字符串中的字母大小写。
▍31、zfill()
string.zfill(width)。
返回长度为width的字符串，原字符串string右对齐，前面填充0。
参考文献： https://mp.weixin.qq.com/s/9cuO-KL3g9ldqRGGZBVnjw
⑧ Python判断字符串中是否有中文字符
defis_chinese(s):
ifs>=u'u4e00'ands<=u'u9fa5':
returnTrue
else:
returnFalse
给你这个判断中文字符的函数，用到字符串上就可以了。
⑨ python字符串乱码怎么办
字符串在python内部的表示是unicode编码。
因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。
decode的作用是将其他编码的字符串转换成unicode编码，如string1.decode('utf-8')，表示将utf-8编码的字符串string1转换成unicode编码。
encode的作用是将unicode编码转换成其他编码的字符串，如string2.encode('utf-8')，表示将unicode编码的字符串string2转换成utf-8编码。
如果一个字符串已经是unicode了，再进行解码则将出错，因此通常要对其编码方式是否为unicode进行判断：
isinstance(string3, unicode) #用来判断string3是否为unicode编码
用非unicode编码形式的string3来encode也会报错。
推荐学习《Python教程》！