python中文處理
1. python中中文字元串怎麼處理
如果處理的字元串中出現中文表示的字元，要想不出錯，就得轉成unicode編碼了。具體的方法有：
1、decode()，將其他邊編碼的字元串轉換成unicode編碼，如str1.decode('gb2312')，表示將gb2312編碼的字元串str1轉換成unicode編碼；
2、encode()，將unicode編碼轉換成其他編碼的字元串，如str2.encode('gb2312')，表示將unicode編碼的字元串str2轉換成gb2312編碼；
3、unicode()，同decode()，將其他編碼的字元串轉換成unicode編碼，如unicode(str3, 'gb2312')，表示將gb2312編碼的字元串str3轉換成unicode編碼。
轉碼的時候一定要先搞明白字元串str是什麼編碼，然後decode成unicode，最後再encode成其他編碼。
另外，對一個unicode編碼的字元串在進行解碼會出錯，所以在編碼未知的情況下要先判斷其編碼方式是否為unicode，可以用isinstance(str, unicode)。
不僅是中文，以後處理含非ascii編碼的字元串時，都可以遵循以下步驟：
1、確定源字元的編碼格式，假設是utf8；
2、使用unicode()或decode()轉換成unicode編碼，如str1.decode('utf8')，或者unicode(str1, 'utf8');
3、把處理後字元串用encode()編碼成指定格式。
2. Python 編碼轉換與中文處理
python 中的 unicode 是讓人很困惑、比較難以理解的問題. 這篇文章 寫的比較好， utf-8是 unicode的一種實現方式，unicode、gbk、gb2312是編碼字元集.
Python 默認腳本文件都是 ANSCII 編碼的，當文件 中有非 ANSCII 編碼范圍內的字元的時候就要使用" 編碼指示 "來修正一個 mole 的定義中，如果.py文件中包含中文字元（嚴格的說是含有非anscii字元），則需要在第一行或第二行指定編碼聲明： # -*- coding=utf-8 -*- 或者 #coding=utf-8
其他的編碼如：gbk、gb2312也可以；否則會出現:
先說一下python中的字元串類型，在python中有兩種字元串類型，分別是 str 和 unicode ，他們都是basestring的派生類；
在str的文檔中有這樣的一句話：
也就是說在讀取一個文件的內容，或者從網路上讀取到內容時，保持的對象為str類型；如果想把一個str轉換成特定編碼類型，需要把str轉為Unicode,然後從unicode轉為特定的編碼類型如：utf-8、gb2312等。
unicode 轉為 gb2312,utf-8等,使用 encode(encoding)
utf-8,GBK轉換為 unicode 使用 unicode(s,encoding) 或者 s.decode(encoding)
普通的 str 轉為 unicode,
如果直接執行s.encode('gb2312')會發生什麼？
這里會發生一個異常：Python 會自動的先將 s 解碼為 unicode ，然後再編碼成 gb2312。因為解碼是python自動進行的，我們沒有指明解碼方式，python 就會使用 sys.defaultencoding 指明的方式來解碼。很多情況下 sys.defaultencoding 是 ANSCII，如果 s 不是這個類型就會出錯。
拿上面的情況來說，我的 sys.defaultencoding 是 anscii，而 s 的編碼方式和文件的編碼方式一致，是 utf8 的，所以出錯了:
對於這種情況，我們有兩種方法來改正錯誤：
s = '中文'
s.decode('utf-8').encode('gb2312') ```
import sys
reload(sys) # Python2.5 初始化後會刪除 sys.setdefaultencoding 這個方法，我們需要重新載入
sys.setdefaultencoding('utf-8')
str = '中文'
str.encode('gb2312')
print open("Test.txt").read()
import codecs
print open("Test.txt").read().decode("utf-8")
Traceback (most recent call last):
File "ChineseTest.py", line 3, in <mole>
print open("Test.txt").read().decode("utf-8")
UnicodeEncodeError: 'gbk' codec can't encode character u'ufeff' in position 0: illegal multibyte sequence
import codecs
data = open("Test.txt").read()
if data[:3] == codecs.BOM_UTF8:
data = data[3:]
print data.decode("utf-8")
s = "中文"
print unicode(s, "utf-8")
Traceback (most recent call last):
File "ChineseTest.py", line 3, in <mole>
s = unicode(s, "utf-8")
UnicodeDecodeError: 'utf8' codec can't decode bytes in position 0-1: invalid data
s = "中文"
print unicode(s, "gbk")
s = "中文"
print unicode(s, "cp936")
3. 如何利用Python對中文進行分詞處理
python做中文分詞處理主要有以下幾種：結巴分詞、NLTK、THULAC
1、fxsjy/jieba
結巴的標語是：做最好的 Python 中文分片語件，或許從現在來看它沒做到最好，但是已經做到了使用的人最多。結巴分詞網上的學習資料和使用案例比較多，上手相對比較輕松，速度也比較快。
結巴的優點：
支持三種分詞模式
支持繁體分詞
支持自定義詞典
MIT 授權協議
2、THULAC：一個高效的中文詞法分析工具包
前兩天我在做有關於共享單車的用戶反饋分類，使用jieba分詞一直太過零散，分類分不好。後來江兄給我推薦了THULAC： 由清華大學自然語言處理與社會人文計算實驗室研製推出的一套中文詞法分析工具包 。THULAC的介面文檔很詳細，簡單易上手。
THULAC分詞的優點：
能力強。利用規模最大的人工分詞和詞性標注中文語料庫（約含5800萬字）訓練而成，模型標注能力強大。
准確率高。該工具包在標准數據集Chinese Treebank（CTB5）上分詞的F1值可達97.3％，詞性標注的F1值可達到92.9％
速度較快。同時進行分詞和詞性標注速度為300KB/s，每秒可處理約15萬字。只進行分詞速度達到1.3MB/s，速度比jieba慢
Python 解決中文編碼問題基本可以用以下邏輯：
utf8（輸入） ——> unicode（處理） ——> （輸出）utf8
Python 裡面處理的字元都是都是unicode 編碼，因此解決編碼問題的方法是把輸入的文本（無論是什麼編碼）解碼為（decode）unicode編碼，然後輸出時再編碼（encode）成所需編碼。
由於處理的一般為txt 文檔，所以最簡單的方法，是把txt 文檔另存為utf-8 編碼，然後使用Python 處理的時候解碼為unicode（sometexts.decode('utf8')），輸出結果回txt 的時候再編碼成utf8（直接用str() 函數就可以了）。
4. python 處理中文 源文件 什麼 編碼
概括、從python1.6開始就可以處理unicode字元了。
一、幾種常見的編碼格式。
1.1、ascii，用1個位元組表示。
1.2、UTF-8,用1個至三個位元組表示，表示ascii碼時只佔用1個位元組，ascii編碼是UTF-8的子集。
1.3、UTF-16,用2個位元組表示，在python中，unicode的含義就是UTF-16。
二、python源文件的編碼與解碼，我們寫的python程序從產生到執行的過程如下：
編輯器---->源代碼---->解釋器---->輸出結果
2.1、編輯器決定源代碼的編碼格式（在編輯器中設定）
2.2、也必須要解釋器知道源代碼的編碼格式（很遺憾很難從編碼的數據獲知源文件的編碼格式）
2.3、補充：在Windows下當用UltraEdit把源代碼存成UTF-8時，會在文件中記錄BOM標志（不必祥究）這樣ActivePython解釋器會自動識別源文件是UTF-8格式，但是如果用eclipse編輯源文件，雖然在編輯器中指定文件編碼為UTF-8,但是因為沒有記入BOM標志，所以必須在源文件開始處加上#coding=utf-8，用注釋來提示解釋器源文件的編碼方式挺有意思。
2.4、舉例：例如我們要向終端輸出"我是中國人"。
#coding=utf-8 告訴python解釋器用的是utf-8編碼，我用的是eclipse+pydev print "我是中國人" #源文件本身也要存成UTF-8編碼
三、編碼的轉換，兩種編碼的轉換要用UTF-16作為中轉站。
舉例：如果有一個文本文件jap.txt,裡面有內容 "私は中國人です。"，編碼格式是日文編碼SHIFT_JIS，
還有一個文本文件chn.txt,內容是"中華人民共和國"，編碼格式是中文編碼GB2312。
我們如何把兩個文件里的內容合並到一起並存儲到utf.txt中並且不顯示亂碼呢，可以採用把兩個文件的內容都轉成UTF-8格式，因為UTF-8里包含了中文編碼和日文編碼。
#coding=utf-8 try: JAP=open("e:/jap.txt","r") CHN=open("e:/chn.txt","r") UTF=open("e:/utf.txt","w") jap_text=JAP.readline() chn_text=CHN.readline() #先decode成UTF-16,再encode成UTF-8 jap_text_utf8=jap_text.decode("SHIFT_JIS").encode("UTF-8") #不轉成utf-8也可以 chn_text_utf8=chn_text.decode("GB2312").encode("UTF-8")#編碼方式大小寫都行utf-8也一樣 UTF.write(jap_text_utf8) UTF.write(chn_text_utf8) except IOError,e: print "open file error",e
四、Tk庫支持ascii,UTF-16,UTF-8
#coding=utf-8 from Tkinter import * try: JAP=open("e:/jap.txt","r") str1=JAP.readline() except IOError,e: print "open file error",e root=Tk() label1=Label(root,text=str1.decode("SHIFT_JIS")) #如果沒有decode則顯示亂碼 label1.grid() root.mainloop()
以上是學習python處理python編碼的基本過程
5. 如何解決Python中文問題
python的中文問題一直是困擾新手的頭疼問題，Python的發行版至今尚未包括任何中文支持模塊。當然，幾乎可以確定的是，在將來的版本中，python會徹底解決此問題，不用我們這么麻煩了。 筆者使用的是2.5版本。Python的版本可以通過調用sys模塊的sys.version查看。在幾個月的學習中，主要遇到以下問題：
1. print列印中文的問題：
在編輯器中輸入一段測試代碼：
s=』測試』
print s
運行結果如下：
Non-ASCII character '\xb2' in file c:\Documents and Settings\Administrator\桌面\2.py on line 1, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details: 2.py, line 1, pos 0
原因是如果文件里有非ASCII字元，需要指定編碼聲明。把2.py文件的編碼重新改為utf-8，並加上編碼聲明：
# -*- coding: utf-8 -*-
s=』測試』
print s
運行後可以正確列印中文。
2.中文路徑的問題。
在D盤下保存一個名字為『中文.txt『的文件。運行如下測試代碼：
# -*- coding: utf-8 -*-
f=open('D:\\中文.txt', 'r')
print f.read()
運行結果如下：
IOError: [Errno 2] No such file or directory: 'D:\\\xe4\xb8\xad\xe6\x96\x87.txt'
字元串有很多的編碼，不同的系統和平台有各自的編碼 ，為了實現系統或平台之間的信息交互可能需要編碼轉換。這里只需要先使用UNICODE編碼一下，這樣再讀取中文路徑就不會有問題了：
復制代碼
# -*- coding: utf-8 -*-
path='D:\\中文.txt'
spath=unicode(path , "utf8")
f=open(spath,'r')
print f.read()
復制代碼
然後就可以正確顯示文件內容
總結：
所有的中文顯示問題都可以歸結為編碼問題，遇到其他類似的問題，那隻能仔細看文檔，靠你的經驗，靠你多做測試。而且根據python所報出來的錯誤一般也可以判斷出來。那麼當發現需要編碼轉換時，剩下的就是如何正確進行碼制轉換。
為了正確處理多語言文本，Python在2.0版後引入了Unicode字元串。從那時起，Python語言中的字元串就分為兩種：一種是2.0版之前就已經使用很久的傳統Python字元串，一種則是新的Unicode字元串。在Python語言中，一般的解決辦法是使用unicode()內建函數對一個傳統Python字元串進行「解碼」，得到一個Unicode字元串，然後又通過Unicode字元串的encode()方法對這個Unicode字元串進行「編碼」，將其「編碼」成為傳統Python字元串。