python字元串編碼判斷

① python 判斷一個字元能否用gbk和utf8編碼

使用chardet庫。它會去猜測文本文件的編碼，並返回形如：
編碼類型：utf-8
置信度：0.9
這樣的結果，也就是說chardet斷定該文件有90%的可能性是utf-8編碼的。
不過chardet的缺陷就是，它不能完全100%確定文件的編碼類型。
目前我的做法是，如果置信度超過0.95，那麼就認定chardet的判斷結果是正確的。否則，再加上一些人機交互操作進行判斷。

目前，chardet庫官網提供的版本只適用於Python 2，如果您使用的是Python 3.x，我可以另外上傳一個。

② python判斷字元串中是否只有ASCII編碼字元

ascii字元長度只有8位，而其他編碼的字元往往有16位或32位

利用這一點可以進行判斷

將字元串解碼成unicode，判斷長度是否與解碼前相同

#-*-coding:utf-8-*-
a='中國123'
b=a.decode('utf-8')
printa,len(a)==len(b)

a='abc'
b=a.decode('utf-8')
printa,len(a)==len(b)

③ python 判斷一個字元串是什麼編碼

字元串的編碼，有很多種如utf-8，gb2312，gbk，gb18030，bz2，zlib，big5，bzse64 python 對編碼的處理有兩個方法，decode()和 encode()方法 a = '你好'b = 'python'print a.decode('utf-8').encode('gbk')##decode方法把字元串轉換為unicode對象，然後通過encode方法轉換為指定的編碼字元串對象print b.decode('utf-8')##decode方法把字元串轉換為unicode對象所以要讓python（或者說機器）來識別字元串的編碼，是一件很困難的事。編碼就是漢字和整數之間的對應，同一個整數，可以在不同的編碼中，都有對應的漢字。比如下面的例子，比特流'\xe6\xb0\xb4\xe5\xa3\xb6'在四種編碼中都有對應的漢字，但只有在utf-8編碼下，它對應的漢字才有意義。我們可以一眼看出這點，可是要讓計算機做到這點，就很難了。 >>> s = '水壺'>>> s18: '\xe6\xb0\xb4\xe5\xa3\xb6'>>> print unicode(s, 'big5')瘞游ㄥ>>> print unicode(s, 'gbk')姘村6>>> print unicode(s, 'gb2312')姘村6>>> print unicode(s, 'utf-8')水壺

④ python怎麼判斷中文字元編碼

#!/usr/bin/env python
# -*- coding:GBK -*-

"""漢字處理的工具:
判斷unicode是否是漢字，數字，英文，或者其他字元。
全形符號轉半形符號。"""

__author__="internetsweeper <[email protected]>"
__date__="2007-08-04"

def is_chinese(uchar):
"""判斷一個unicode是否是漢字"""
if uchar >= u'\u4e00' and uchar<=u'\u9fa5':
return True
else:
return False

def is_number(uchar):
"""判斷一個unicode是否是數字"""
if uchar >= u'\u0030' and uchar<=u'\u0039':
return True
else:
return False

def is_alphabet(uchar):
"""判斷一個unicode是否是英文字母"""
if (uchar >= u'\u0041' and uchar<=u'\u005a') or (uchar >= u'\u0061' and uchar<=u'\u007a'):
return True
else:
return False

def is_other(uchar):
"""判斷是否非漢字，數字和英文字元"""
if not (is_chinese(uchar) or is_number(uchar) or is_alphabet(uchar)):
return True
else:
return False

def B2Q(uchar):
"""半形轉全形"""
inside_code=ord(uchar)
if inside_code<0x0020 or inside_code>0x7e: #不是半形字元就返回原來的字元
return uchar
if inside_code==0x0020: #除了空格其他的全形半形的公式為:半形=全形-0xfee0
inside_code=0x3000
else:
inside_code+=0xfee0
return unichr(inside_code)

def Q2B(uchar):
"""全形轉半形"""
inside_code=ord(uchar)
if inside_code==0x3000:
inside_code=0x0020
else:
inside_code-=0xfee0
if inside_code<0x0020 or inside_code>0x7e: #轉完之後不是半形字元返回原來的字元
return uchar
return unichr(inside_code)

def stringQ2B(ustring):
"""把字元串全形轉半形"""
return "".join([Q2B(uchar) for uchar in ustring])

def uniform(ustring):
"""格式化字元串，完成全形轉半形，大寫轉小寫的工作"""
return stringQ2B(ustring).lower()

def string2List(ustring):
"""將ustring按照中文，字母，數字分開"""
retList=[]
utmp=[]
for uchar in ustring:
if is_other(uchar):
if len(utmp)==0:
continue
else:
retList.append("".join(utmp))
utmp=[]
else:
utmp.append(uchar)
if len(utmp)!=0:
retList.append("".join(utmp))
return retList

if __name__=="__main__":
#test Q2B and B2Q
for i in range(0x0020,0x007F):
print Q2B(B2Q(unichr(i))),B2Q(unichr(i))

#test uniform
ustring=u'中國 人名a高頻A'
ustring=uniform(ustring)
ret=string2List(ustring)
print ret

以上轉自http://hi..com/fenghua1893/item/d1a71d5ac47ffdcfd3e10cd1

這個問題是做 MkIV 預處理程序時搞定的，就是把一個混合了中英文混合字串分離為英文與中文的子字串，譬如，將 」我的 English 學的不好「 分離為 「我的"、" English 」 與 "學的不好" 三個子字串。
1. 中英文混合字串的統一編碼表示中英文混合字串處理最省力的辦法就是把它們的編碼都轉成 Unicode，讓一個漢字與一個英文字母的內存位寬都是相等的。這個工作用 Python 來做，比較合適，因為 Python 內碼採用的是 Unicode，並且為了支持 Unicode 字串的操作，Python 做了一個 Unicode 內建模塊，把 string 對象的全部方法重新實現了一遍，另外提供了 Codecs 對象，解決各種編碼類型的字元串解碼與編碼問題。
譬如下面的 Python 代碼，可實現 UTF-8 編碼的中英文混合字串向 Unicode 編碼的轉換：# -*-
coding:utf-8 -*-
a = "我的 English 學的不好"
print type(a),len (a), a
b = unicode (a, "utf-8")
print type(b), len (b), b字元串 a 是 utf-8 編碼，使用 python 的內建對象 unicode 可將其轉換為 Unicode 編碼的字元串 b。上述代碼執行後的輸出結果如下所示，比較字串 a 與字串 b 的長度，顯然 len (b) 的輸出結果是合理的。<type 'str'> 27 我的 English 學的不好
<type 'unicode'> 15 我的 English 學的不好要注意的一個問題是 Unicode 雖然號稱是「統一碼」，不過也是存在著兩種形式，即：
UCS-2：為 16 位碼，具有 2^16 = 65536 個碼位； UCS-4：為 32 位碼，目前的規定是其首位元組的首位為 0，因此具有 2^31 = 2147483648 個碼位，不過現在的只使用了 0x00000000 － 0x0010FFFF 之間的碼位，共 1114112 個。
使用Python sys 模塊提供的一個變數 maxunicode 的值可以判斷當前 Python 所使用的 Unicode 類型是 UCS-2 的還是 UCS-4 的。import sys
print sys.maxunicode若 sys.maxunicode 的值為 1114111，即為 UCS-4；若為 65535，則為 UCS-2。

2. 中英文混合字串的分離一旦中英文字串的編碼獲得統一，那麼對它們進行分裂就是很簡單的事情了。首先要為中文字串與英文字串分別准備一個收集器，使用兩個空的字串對象即可，譬如 zh_gather 與 en_gather；然後要准備一個列表對象，負責按分離次序存儲 zh_gather 與 en_gather 的值。下面這個 Python 函數接受一個中英文混合的 Unicode 字串，並返回存儲中英文子字串的列表。def split_zh_en (zh_en_str):

zh_en_group = []
zh_gather = ""
en_gather = ""
zh_status = False

for c in zh_en_str:
if not zh_status and is_zh (c):
zh_status = True
if en_gather != "":
zh_en_group.append ([mark["en"],en_gather])
en_gather = ""
elif not is_zh (c) and zh_status:
zh_status = False
if zh_gather != "":
zh_en_group.append ([mark["zh"], zh_gather])
if zh_status:
zh_gather += c
else:
en_gather += c
zh_gather = ""

if en_gather != "":
zh_en_group.append ([mark["en"],en_gather])
elif zh_gather != "":
zh_en_group.append ([mark["zh"],zh_gather])

return zh_en_group上述代碼所實現的功能細節是：對中英文混合字串 zh_en_str 的遍歷過程中進行逐字識別，若當前字元為中文，則將其添加到 zh_gather 中；若當前字元為英文，則將其添加到 en_gather 中。zh_status 表示中英文字元的切換狀態，當 zh_status 的值發生突變時，就將所收集的中文子字串或英文子字串添加到 zh_en_group 中去。
判斷字串 zh_en_str 中是否包含中文字元的條件語句中出現了一個 is_zh () 函數，它的實現如下：def is_zh (c):
x = ord (c)
# Punct & Radicals
if x >= 0x2e80 and x <= 0x33ff:
return True

# Fullwidth Latin Characters
elif x >= 0xff00 and x <= 0xffef:
return True

# CJK Unified Ideographs &
# CJK Unified Ideographs Extension A
elif x >= 0x4e00 and x <= 0x9fbb:
return True
# CJK Compatibility Ideographs
elif x >= 0xf900 and x <= 0xfad9:
return True

# CJK Unified Ideographs Extension B
elif x >= 0x20000 and x <= 0x2a6d6:
return True

# CJK Compatibility Supplement
elif x >= 0x2f800 and x <= 0x2fa1d:
return True

else:
return False這段代碼來自 jjgod 寫的 XeTeX 預處理程序。
對於分離出來的中文子字串與英文子字串，為了使用方便，在將它們存入 zh_en_group 列表時，我對它們分別做了標記，即 mark["zh"] 與 mark["en"]。mark 是一個 dict 對象，其定義如下：mark = {"en":1, "zh":2}如果要對 zh_en_group 中的英文字串或中文字串進行處理時，標記的意義在於快速判定字串是中文的，還是英文的，譬如：for str in zh_en_group:
if str[0] = mark["en"]:
do somthing
else:
do somthing

⑤ python 怎麼查看當前字元串的編碼格式

查看當前字元串的編碼格式的代碼為：Type "now", "right", "credits" or "license" for more information.

⑥ python怎麼知道一個字元串的編碼方式

字元串的編碼，有很多種如utf-8，gb2312，gbk，gb18030，bz2，zlib，big5，bzse64

python 對編碼的處理有兩個方法，decode()和 encode()方法

a='你好'
b='python'
printa.decode('utf-8').encode('gbk')##decode方法把字元串轉換為unicode對象，然後通過encode方法轉換為指定的編碼字元串對象
printb.decode('utf-8')##decode方法把字元串轉換為unicode對象

所以要讓python（或者說機器）來識別字元串的編碼，是一件很困難的事。編碼就是漢字和整數之間的對應，同一個整數，可以在不同的編碼中，都有對應的漢字。比如下面的例子，比特流'xe6xb0xb4xe5xa3xb6'在四種編碼中都有對應的漢字，但只有在utf-8編碼下，它對應的漢字才有意義。我們可以一眼看出這點，可是要讓計算機做到這點，就很難了。

>>>s='水壺'
>>>s
18:'xe6xb0xb4xe5xa3xb6'
>>>printunicode(s,'big5')
瘞游ㄥ
>>>printunicode(s,'gbk')
姘村6
>>>printunicode(s,'gb2312')
姘村6
>>>printunicode(s,'utf-8')
水壺

⑦ Python處理字元串必備方法

字元串是Python中基本的數據類型，幾乎在每個Python程序中都會使用到它。

▍1、Slicing

slicing切片，按照一定條件從列表或者元組中取出部分元素（比如特定范圍、索引、分割值）

▍2、****strip()

strip()方法用於移除字元串頭尾指定的字元（默認為空格或換行符）或字元序列。

在使用strip()方法時，默認去除空格或換行符，所以#號並沒有去除。

可以給strip()方法添加指定字元，如下所示。

此外當指定內容不在頭尾處時，並不會被去除。

第一個 前有個空格，所以只會去取尾部的換行符。

最後strip()方法的參數是剝離其值的所有組合，這個可以看下面這個案例。

最外層的首字元和尾字元參數值將從字元串中剝離。字元從前端移除，直到到達一個不包含在字元集中的字元串字元為止。

在尾部也會發生類似的動作。

▍3、****lstrip()

移除字元串左側指定的字元（默認為空格或換行符）或字元序列。

同樣的，可以移除左側所有包含在字元集中的字元串。

▍4、rstrip()

移除字元串右側指定的字元（默認為空格或換行符）或字元序列。

▍5、****removeprefix()

Python3.9中移除前綴的函數。

和strip()相比，並不會把字元集中的字元串進行逐個匹配。

▍6、removesuffix()

Python3.9中移除後綴的函數。

▍7、****replace()

把字元串中的內容替換成指定的內容。

▍8、****re.sub()

re是正則的表達式，sub是substitute表示替換。

re.sub則是相對復雜點的替換。

和replace()做對比，使用re.sub()進行替換操作，確實更高級點。

▍9、****split()

對字元串做分隔處理，最終的結果是一個列表。

當不指定分隔符時，默認按空格分隔。

此外，還可以指定字元串的分隔次數。

▍10、****rsplit()

從右側開始對字元串進行分隔。

▍11、****join()

string.join(seq)。以string作為分隔符，將seq中所有的元素(的字元串表示)合並為一個新的字元串。

▍12、****upper()

將字元串中的字母，全部轉換為大寫。

▍13、****lower()

將字元串中的字母，全部轉換為小寫。

▍14、capitalize()

將字元串中的首個字母轉換為大寫。

▍15、****islower()

判斷字元串中的所有字母是否都為小寫，是則返回True，否則返回False。

▍16、isupper()

判斷字元串中的所有字母是否都為大寫，是則返回True，否則返回False。

▍17、****isalpha()

如果字元串至少有一個字元並且所有字元都是字母，則返回 True，否則返回 False。

▍18、isnumeric()

如果字元串中只包含數字字元，則返回 True，否則返回 False。

▍19、isalnum()

如果字元串中至少有一個字元並且所有字元都是字母或數字，則返回True，否則返回 False。

▍20、count()

返回指定內容在字元串中出現的次數。

▍21、****find()

檢測指定內容是否包含在字元串中，如果是返回開始的索引值，否則返回-1。

此外，還可以指定開始的范圍。

▍22、rfind()

類似於find()函數，返回字元串最後一次出現的位置，如果沒有匹配項則返回 -1。

▍23、startswith()

檢查字元串是否是以指定內容開頭，是則返回 True，否則返回 False。

**
**

▍24、****endswith()

檢查字元串是否是以指定內容結束，是則返回 True，否則返回 False。

▍25、****partition()

string.partition(str)，有點像find()和split()的結合體。

從str出現的第一個位置起,把字元串string分成一個3 元素的元組(string_pre_str,str,string_post_str)，如果string中不包含str則 string_pre_str==string。

▍26、center()

返回一個原字元串居中，並使用空格填充至長度width的新字元串。

▍27、ljust()

返回一個原字元串左對齊，並使用空格填充至長度width的新字元串。

▍28、rjust()

返回一個原字元串右對齊，並使用空格填充至長度width的新字元串。

▍29、f-Strings

f-string是格式化字元串的新語法。

與其他格式化方式相比，它們不僅更易讀，更簡潔，不易出錯，而且速度更快！

▍30、swapcase()

翻轉字元串中的字母大小寫。

▍31、zfill()

string.zfill(width)。

返回長度為width的字元串，原字元串string右對齊，前面填充0。

參考文獻： https://mp.weixin.qq.com/s/9cuO-KL3g9ldqRGGZBVnjw

⑧ Python判斷字元串中是否有中文字元

defis_chinese(s):
ifs>=u'u4e00'ands<=u'u9fa5':
returnTrue
else:
returnFalse

給你這個判斷中文字元的函數，用到字元串上就可以了。

⑨ python字元串亂碼怎麼辦

字元串在python內部的表示是unicode編碼。
因此，在做編碼轉換時，通常需要以unicode作為中間編碼，即先將其他編碼的字元串解碼（decode）成unicode，再從unicode編碼（encode）成另一種編碼。

decode的作用是將其他編碼的字元串轉換成unicode編碼，如string1.decode('utf-8')，表示將utf-8編碼的字元串string1轉換成unicode編碼。

encode的作用是將unicode編碼轉換成其他編碼的字元串，如string2.encode('utf-8')，表示將unicode編碼的字元串string2轉換成utf-8編碼。
如果一個字元串已經是unicode了，再進行解碼則將出錯，因此通常要對其編碼方式是否為unicode進行判斷：
isinstance(string3, unicode) #用來判斷string3是否為unicode編碼
用非unicode編碼形式的string3來encode也會報錯。
推薦學習《Python教程》！