python字元串編碼轉換

Ⅰ python 字元串格式的unicode編碼轉中文

 python對於Unicode編碼可以使用decode進行轉換成中文：

>>> str = b'\xe8\xb4\xb9\xe8\x84\x91\xe5\xad\x90'

>>> str.decode('utf-8')

'費腦子'

如果是字元串類型的Unicode編碼沒辦法直接用decode進行轉換：

>>> str ="\\xe8\\xb4\\xb9\\xe8\\x84\\x91\\xe5\\xad\\x90"

>>> str.decode('utf-8')

Traceback (most recent call last):

  File "<stdin>", line 1, in <mole>

AttributeError: 'str' object has no attribute 'decode'

處理方式：

>>> str = eval("b" + "\"" + str + "\"")

>>> str.decode('utf-8')

'費腦子'

Ⅱ Python 編碼轉換與中文處理

python 中的 unicode 是讓人很困惑、比較難以理解的問題. 這篇文章 寫的比較好， utf-8是 unicode的一種實現方式，unicode、gbk、gb2312是編碼字元集.

Python 默認腳本文件都是 ANSCII 編碼的，當文件 中有非 ANSCII 編碼范圍內的字元的時候就要使用" 編碼指示 "來修正一個 mole 的定義中，如果.py文件中包含中文字元（嚴格的說是含有非anscii字元），則需要在第一行或第二行指定編碼聲明： # -*- coding=utf-8 -*- 或者 #coding=utf-8
其他的編碼如：gbk、gb2312也可以；否則會出現:

先說一下python中的字元串類型，在python中有兩種字元串類型，分別是 str 和 unicode ，他們都是basestring的派生類；

在str的文檔中有這樣的一句話：

也就是說在讀取一個文件的內容，或者從網路上讀取到內容時，保持的對象為str類型；如果想把一個str轉換成特定編碼類型，需要把str轉為Unicode,然後從unicode轉為特定的編碼類型如：utf-8、gb2312等。

unicode 轉為 gb2312,utf-8等,使用 encode(encoding)

utf-8,GBK轉換為 unicode 使用 unicode(s,encoding) 或者 s.decode(encoding)

普通的 str 轉為 unicode,

如果直接執行s.encode('gb2312')會發生什麼？

這里會發生一個異常：Python 會自動的先將 s 解碼為 unicode ，然後再編碼成 gb2312。因為解碼是python自動進行的，我們沒有指明解碼方式，python 就會使用 sys.defaultencoding 指明的方式來解碼。很多情況下 sys.defaultencoding 是 ANSCII，如果 s 不是這個類型就會出錯。
拿上面的情況來說，我的 sys.defaultencoding 是 anscii，而 s 的編碼方式和文件的編碼方式一致，是 utf8 的，所以出錯了:

對於這種情況，我們有兩種方法來改正錯誤：

s = '中文'
s.decode('utf-8').encode('gb2312') ```

import sys
reload(sys) # Python2.5 初始化後會刪除 sys.setdefaultencoding 這個方法，我們需要重新載入
sys.setdefaultencoding('utf-8')
str = '中文'
str.encode('gb2312')

print open("Test.txt").read()

import codecs
print open("Test.txt").read().decode("utf-8")

Traceback (most recent call last):
File "ChineseTest.py", line 3, in <mole>
print open("Test.txt").read().decode("utf-8")
UnicodeEncodeError: 'gbk' codec can't encode character u'ufeff' in position 0: illegal multibyte sequence

import codecs
data = open("Test.txt").read()
if data[:3] == codecs.BOM_UTF8:
data = data[3:]
print data.decode("utf-8")

s = "中文"
print unicode(s, "utf-8")

Traceback (most recent call last):
File "ChineseTest.py", line 3, in <mole>
s = unicode(s, "utf-8")
UnicodeDecodeError: 'utf8' codec can't decode bytes in position 0-1: invalid data

s = "中文"
print unicode(s, "gbk")

s = "中文"
print unicode(s, "cp936")

Ⅲ Python如何將Unicode中文字元串轉換成 string字元串

Unicode字元串可以用多種方式編碼為普通字元串，假設unicodestring = u"Hello world"，依照所選擇的編碼(encoding)，如下：

1、#將Unicode轉換成普通的Python字元串:"編碼(encode)"。

(3)python字元串編碼轉換擴展閱讀：

Python轉換字元和字元串的原因：為了處理不適合用ASCII字元集表示的數據。

在以ASCII碼為中心的語言和環境中，位元組和字元被當做相同的事物。由於一個位元組只能有256個值，這些環境就受限為只支持256個字元Unicode碼，另一方面，有數萬個字元，那意謂著每個Unicode字元佔用多個位元組，因此，你需要在字元和位元組之間作出區別。

（1）UTF-8編碼能處理任何的Unicode字元。它也是與ASCII碼向後兼容的，因此一個純粹的ASCII碼文件也能被考慮為一個UTF-8文件，而且一個碰巧只使用ASCII碼字元的 UTF-8文件和擁有同樣字元的ASCII碼文含歷件是相同的。

這個特性使得UTF-8的向後兼容性非常好,尤其使用較舊的Unix工具時。UTF-8 無疑地是在 Unix上的占優勢的編碼。它主要的弱點是對東方文字是非常低效的。

（2）UTF-16編碼在微軟的操作系統和Java環境下受到偏愛。它對西方語言是比較低效,但對於東方語言是更有效率的。一個UTF-16 的變體有時叫作UCS-2 。

（3）ISO-8859編碼系列是256個字元的ASCII碼的超集。他談謹搜們不能夠支援所有的Unicode碼字元;他們只能支援一些特別的語言或語言家族。

ISO-8859-1,也既Latin-1,包括大多數的西歐和非洲語言,但是不含阿拉伯語。ISO-8859-2,也既Latin-2,包括許多東歐的語言,像是匈牙利語和波蘭語。

Ⅳ Python中中文字元串怎麼處理

如果處理的字元串中出現中文表示的字元，要想不出錯，就得轉成unicode編碼了。具體的方法有：
1、decode()，將其他邊編碼的字元串轉換成unicode編碼，如str1.decode('gb2312')，表示將gb2312編碼的字元串str1轉換成unicode編碼；
2、encode()，將unicode編碼轉換成其他編碼的字元串，如str2.encode('gb2312')，表示將unicode編碼的字元串str2轉換成gb2312編碼；
3、unicode()，同decode()，將其他編碼的字元串轉換成unicode編碼，如unicode(str3, 'gb2312')，表示將gb2312編碼的字元串str3轉換成unicode編碼。
轉碼的時候一定要先搞明白字元串str是什麼編碼，然後decode成unicode，最後再encode成其他編碼。
另外，對一個unicode編碼的字元串在進行解碼會出錯，所以在編碼未知的情況下要先判斷其編碼方式是否為unicode，可以用isinstance(str, unicode)。
不僅是中文，以後處理含非ascii編碼的字元串時，都可以遵循以下步驟：
1、確定源字元的編碼格式，假設是utf8；
2、使用unicode()或decode()轉換成unicode編碼，如str1.decode('utf8')，或者unicode(str1, 'utf8');
3、把處理後字元串用encode()編碼成指定格式。

Ⅳ python字元串與url編碼的轉換實例

python字元串與url編碼的轉換實例
今天小編就為大家分享一篇python字元串與url編碼的轉換實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
主要應用的場景
爬蟲生成帶搜索詞語的網址

1.字元串轉為url編碼
import urllib
poet_name = "李白"
url_code_name = urllib.quote(poet_name)
print url_code_name
#輸出
#%E6%9D%8E%E7%99%BD

2.url編碼轉為字元串
import urllib
url_code_name = "%E6%9D%8E%E7%99%BD"
name = urllib.unquote(url_code_name)
print name
#輸出
#李白
以上這篇python字元串與url編碼的轉換實例就是小編分享給大家的全部內容了篇文章的全部內容了，希望本文的內容對大家的學習或者工作能帶來一定的幫助

Ⅵ python str與bytes編碼解碼

下面一張圖搞懂編碼、解碼、編碼表之間的關系。

不難看出，它們是一種根據編碼表進行翻譯、映射的過程：

實際上，字元串類型只有encode()方法，沒有decode()方法，而bytes類型只有decode()方法而沒有encode()方法。

二進制格式的數據也常稱為裸數據(raw data)，所以str數據經過編碼後得到raw data，raw data解碼後得到的str。

上面說了，編碼是將字元數據轉換成位元組數據(raw data)，解碼是將位元組數據轉換成字元數據。在Python中字元數據也就是字元串，即str類型，位元組數據也就是bytes類型或bytearray類型。

編碼時，可以使用位元組類型的構造方法bytes()、bytearray()來構造位元組，也可以使用str類型的encode()方法來轉換。

解碼時，可以使用str類型的構造方法str()來構造字元串，也可以使用bytes、bytearray()類型的decode()方法。

另外需要注意的是，編碼和解碼的過程中都需要指定編碼表(字元集)，默認採用的是utf-8字元集。

例如，使用encode()的方式將str編碼為bytes數據。

使用bytes()和bytearray()將str構造成bytes或bytearray數據，這兩個方法都要求str->byte的過程中給定編碼。

實際上，bytes()、bytearray()這兩個方法構造位元組數據的時候還有點復雜，因為可以從多個數據源來構造，比如字元串、整數值、buffer。如何使用這兩個方法構造位元組數據，詳細內容參考help(bytes)和help(bytearray)給出的說明，這里給幾個簡單示例。

構造bytes的方式：

構造bytearray的方式：

解碼是位元組序列到str類型的轉換。

例如，使用decode()方法進行解碼"我"字，它的utf-8的編碼對應為"\xe6\x88\x91"：

使用str()進行轉換。

當編碼、解碼的過程使用了不同的(不兼容的)編碼表時，就會出現亂碼。所以，解決亂碼的唯一方式是指定對應的編碼表進行編碼、解碼。

例如，使用utf-8編碼"我"字，得到一個bytes序列，然後使用gbk解碼這個bytes序列。

這里報錯了，因為utf-8的位元組序列里有gbk無法解碼的位元組。如果使用文本編輯器一樣的工具去顯化這個過程，得到的將是亂碼字元。

原文地址： https://www.cnblogs.com/f-ck-need-u/p/10185965.html

Ⅶ Python ascii 編碼 怎麼轉化為utf-8編碼

實現代碼如下：

a='abce'
#printtype(a)
b=a.decode("ascii")
#printtype(b)
c=a.decode("ascii").encode("utf-8")
#printtype(c)

在python中進行編碼轉換都是通過unicode作為中間值實現的。所以要先decode成unicode字元，然後再使用encode轉換成utf-8編碼的str。可以把注釋取消了，看下轉換過程中的類型。