python字典原理

⑴ python中文分詞的原理你知道嗎

中文分詞，即 Chinese Word Segmentation，即將一個漢字序列進行切分，得到一個個單獨的詞。表面上看，分詞其實就是那麼回事，但分詞效果好不好對信息檢索、實驗結果還是有很大影響的，同時分詞的背後其實是涉及各種各樣的演算法的。

中文分詞與英文分詞有很大的不同，對英文而言，一個單詞就是一個詞，而漢語是以字為基本的書寫單位，詞語之間沒有明顯的區分標記，需要人為切分。根據其特點，可以把分詞演算法分為四大類：

基於規則的分詞方法

基於統計的分詞方法

基於語義的分詞方法

基於理解的分詞方法

下面我們對這幾種方法分別進行總結。

基於規則的分詞方法

這種方法又叫作機械分詞方法、基於字典的分詞方法，它是按照一定的策略將待分析的漢字串與一個「充分大的」機器詞典中的詞條進行匹配。若在詞典中找到某個字元串，則匹配成功。該方法有三個要素，即分詞詞典、文本掃描順序和匹配原則。文本的掃描順序有正向掃描、逆向掃描和雙向掃描。匹配原則主要有最大匹配、最小匹配、逐詞匹配和最佳匹配。

最大匹配法（MM）。基本思想是：假設自動分詞詞典中的最長詞條所含漢字的個數為 i，則取被處理材料當前字元串序列中的前 i 個字元作為匹配欄位，查找分詞詞典，若詞典中有這樣一個 i 字詞，則匹配成功，匹配欄位作為一個詞被切分出來；若詞典中找不到這樣的一個 i 字詞，則匹配失敗，匹配欄位去掉最後一個漢字，剩下的字元作為新的匹配欄位，再進行匹配，如此進行下去，直到匹配成功為止。統計結果表明，該方法的錯誤率 為 1/169。

逆向最大匹配法（RMM）。該方法的分詞過程與 MM 法相同，不同的是從句子（或文章）末尾開始處理，每次匹配不成功時去掉的是前面的一個漢字。統計結果表明，該方法的錯誤率為 1/245。

逐詞遍歷法。把詞典中的詞按照由長到短遞減的順序逐字搜索整個待處理的材料，一直到把全部的詞切分出來為止。不論分詞詞典多大，被處理的材料多麼小，都得把這個分詞詞典匹配一遍。

設立切分標志法。切分標志有自然和非自然之分。自然切分標志是指文章中出現的非文字元號，如標點符號等；非自然標志是利用詞綴和不構成詞的詞（包 括單音詞、復音節詞以及象聲詞等）。設立切分標志法首先收集眾多的切分標志，分詞時先找出切分標志，把句子切分為一些較短的欄位，再用 MM、RMM 或其它的方法進行細加工。這種方法並非真正意義上的分詞方法，只是自動分詞的一種前處理方式而已，它要額外消耗時間掃描切分標志，增加存儲空間存放那些非 自然切分標志。

最佳匹配法（OM）。此法分為正向的最佳匹配法和逆向的最佳匹配法，其出發點是：在詞典中按詞頻的大小順序排列詞條，以求縮短對分詞詞典的檢索時 間，達到最佳效果，從而降低分詞的時間復雜度，加快分詞速度。實質上，這種方法也不是一種純粹意義上的分詞方法，它只是一種對分詞詞典的組織方式。OM 法的分詞詞典每條詞的前面必須有指明長度的數據項，所以其空間復雜度有所增加，對提高分詞精度沒有影響，分詞處理的時間復雜度有所降低。

此種方法優點是簡單，易於實現。但缺點有很多：匹配速度慢；存在交集型和組合型歧義切分問題；詞本身沒有一個標準的定義，沒有統一標準的詞集；不同詞典產生的歧義也不同；缺乏自學習的智能性。

基於統計的分詞方法

該方法的主要思想：詞是穩定的組合，因此在上下文中，相鄰的字同時出現的次數越多，就越有可能構成一個詞。因此字與字相鄰出現的概率或頻率能較好地反映成詞的可信度。可以對訓練文本中相鄰出現的各個字的組合的頻度進行統計，計算它們之間的互現信息。互現信息體現了漢字之間結合關系的緊密程度。當緊密程 度高於某一個閾值時，便可以認為此字組可能構成了一個詞。該方法又稱為無字典分詞。

該方法所應用的主要的統計模型有：N 元文法模型（N-gram）、隱馬爾可夫模型（Hiden Markov Model，HMM）、最大熵模型（ME）、條件隨機場模型（Conditional Random Fields，CRF）等。

在實際應用中此類分詞演算法一般是將其與基於詞典的分詞方法結合起來，既發揮匹配分詞切分速度快、效率高的特點，又利用了無詞典分詞結合上下文識別生詞、自動消除歧義的優點。

基於語義的分詞方法

語義分詞法引入了語義分析，對自然語言自身的語言信息進行更多的處理，如擴充轉移網路法、知識分詞語義分析法、鄰接約束法、綜合匹配法、後綴分詞法、特徵詞庫法、矩陣約束法、語法分析法等。

擴充轉移網路法

該方法以有限狀態機概念為基礎。有限狀態機只能識別正則語言，對有限狀態機作的第一次擴充使其具有遞歸能力，形成遞歸轉移網路 （RTN）。在RTN 中，弧線上的標志不僅可以是終極符（語言中的單詞）或非終極符（詞類），還可以調用另外的子網路名字分非終極符（如字或字串的成詞條件）。這樣，計算機在 運行某個子網路時，就可以調用另外的子網路，還可以遞歸調用。詞法擴充轉移網路的使用， 使分詞處理和語言理解的句法處理階段交互成為可能，並且有效地解決了漢語分詞的歧義。

矩陣約束法

其基本思想是：先建立一個語法約束矩陣和一個語義約束矩陣， 其中元素分別表明具有某詞性的詞和具有另一詞性的詞相鄰是否符合語法規則， 屬於某語義類的詞和屬於另一詞義類的詞相鄰是否符合邏輯，機器在切分時以之約束分詞結果。

基於理解的分詞方法

基於理解的分詞方法是通過讓計算機模擬人對句子的理解，達到識別詞的效果。其基本思想就是在分詞的同時進行句法、語義分析，利用句法信息和語義信息來處理歧義現象。它通常包括三個部分：分詞子系統、句法語義子系統、總控部分。在總控部分的協調下，分詞子系統可以獲得有關詞、句子等的句法和語義信息來對分詞歧義進行判斷，即它模擬了人對句子的理解過程。這種分詞方法需要使用大量的語言知識和信息。目前基於理解的分詞方法主要有專家系統分詞法和神經網路分詞法等。

專家系統分詞法

從專家系統角度把分詞的知識（包括常識性分詞知識與消除歧義切分的啟發性知識即歧義切分規則）從實現分詞過程的推理機中獨立出來，使知識庫的維護與推理機的實現互不幹擾，從而使知識庫易於維護和管理。它還具有發現交集歧義欄位和多義組合歧義欄位的能力和一定的自學習功能。

神經網路分詞法

該方法是模擬人腦並行，分布處理和建立數值計算模型工作的。它將分詞知識所分散隱式的方法存入神經網路內部，通過自學習和訓練修改內部權值，以達到正確的分詞結果，最後給出神經網路自動分詞結果，如使用 LSTM、GRU 等神經網路模型等。

神經網路專家系統集成式分詞法

該方法首先啟動神經網路進行分詞，當神經網路對新出現的詞不能給出准確切分時，激活專家系統進行分析判斷，依據知識庫進行推理，得出初步分析，並啟動學習機制對神經網路進行訓練。該方法可以較充分發揮神經網路與專家系統二者優勢，進一步提高分詞效率。

以上便是對分詞演算法的基本介紹。

⑵ python字典的特點和用處

字典的特點：

字典的每個健值的展現方式是：key:value用冒號分割；鍵值之間為逗號分割；整個字典用大括弧｛｝將鍵值括起來；

鍵值可以是任意類型的對象；

鍵必須是唯一的；

鍵是不可變的；
字典的作用:
字典（日常生活中的字典和Python字典）旨在讓你能夠輕松地找到特定的單詞（鍵），以獲悉其定義（值）。

在很多情況下，使用字典都比使用列表更合適。下面是Python字典的一些用途：

表示棋盤的狀態，其中每個鍵都是由坐標組成的元組；

存儲文件修改時間，其中的鍵為文件名；

數字電話/地址簿。

⑶ Python中的字典是什麼

字典（Dictionary）

• 字典也是Python語言中經常使用的一種數據類型。跟列表類似，字典是另外一種可存儲任意類型的數據，並且字典儲存的數據也是可以修改的。

• 不同於列表的是，字典每個基本元素都包括兩個部分：鍵（key） 和 鍵對應的值（value）。

鍵和值之間用冒號(:)分割，每對元素之間用逗號(,)分割，整個字典的數據在大括弧{}中，格式如下所示：

• d = {"key1" : 1, "key2" : "hi", "key3":[]}



• 在字典中，鍵的內容是不可重復的。鍵為不可變數據類型，值可以是任何數據類型。在這里，鍵只支持字元串類型。

• 字典最大的優勢就是能在海量數據下利用「鍵」快速查找出想要的值，當有很多數據需要存儲的時候，我們給每個值都打個標簽，也就是「鍵」；想要調用這個值時，字典能夠利用這個標簽快速幫我們找到它。但是如果標簽重復了，字典不知道哪個值才是對的，就會報錯哦~

• 列表是根據排序來記錄每項的值，但是字典是沒有順序的，所以同一字典，每次列印出的排序可能是不同的。「鍵」才是調用字典的關鍵元素。

• 字典是基礎的數據類型，所以變數也可以被賦值為字典。

  

⑷ Python3的元組，字典，列表，集合有什麼聯系和區別

4個都是python的數據結構。
元組和列表的底層實現是一樣的，本質都是把一堆東西放在一排，區別在於元祖放完後就不能改了。
你把字典理解成我們普通用的字典就可以了，而集合就是把字典的所有value都設置成None。字典和集合的底層實現原理是一樣的，但初學者不必關注這個原理。集合與數學中的集合有相同性質，比如唯一性，對比字典中key的唯一性來理解一下。
比方：你遇到一個沒見過的字，查查看是不是標準的漢字，這就是集合的作用，集合只關注有沒有的問題；如果是標准漢字，你要看看這個字的意思，這就是字典的作用；你現在找來一個漢字，打算組成成語，然後再找幾個字，向第一個漢字左右放，就是列表的作用；一旦發現一個成語，就固定不變了，字和字的排列都不能改，這就是元祖。

⑸ python字典和列表區別有哪些

列表

1.任意對象的有序集合

列表是一組任意類型的值，按照一定順序組合而成的。

2.通過偏移讀取

組成列表的值叫做元素(Elements)。每一個元素被標識一個索引，第一個索引是0，序列的功能都能實現。

3.可變長度，異構以及任意嵌套

列表中的元素可以是任意類型，甚至是列表類型，也就是說列表可以嵌套。

4.可變的序列

支持索引、切片、合並、刪除等等操作，它們都是在原處進行修改列表。

5.對象引用數組

列表可以當成普通的數組，每當用到引用時，Python總是會將這個引用指向一個對象，所以程序只需處理對象的操作。當把一個對象賦給一個數據結構元素或變數名時，Python總是會存儲對象的引用，而不是對象的一個拷貝。

相關推薦：《Python教程》

字典

1.通過鍵而不是偏移量來讀取

字典就是一個關聯數組，是一個通過關鍵字索引的對象的集合，使用鍵-值（key-value）進行存儲，查找速度快。

2.任意對象的無序集合

字典中的項沒有特定順序，以「鍵」為象徵。

3.可變長、異構、任意嵌套

同列表，嵌套可以包含列表和其他的字典等。

4.屬於可變映射類型

因為是無序，故不能進行序列操作，但可以在遠處修改，通過鍵映射到值。字典是唯一內置的映射類型（鍵映射到值的對象）。

5.對象引用表

字典存儲的是對象引用，不是拷貝，和列表一樣。字典的key是不能變的，list不能作為key，字元串、元祖、整數等都可以。

和list比較，dict有以下幾個特點：

1.查找和插入的速度極快，不會隨著key的增加而增加。

2.需要佔用大量的內存，內存浪費多。

而list相反：

1.查找和插入的時間隨著元素的增加而增加。

2.佔用空間小，浪費內存很少。

所以，dict是用空間來換取時間的一種方法。

⑹ python裡面的字典有什麼用

字典是另一種可變容器模型，可存儲任意類型對象。

字典的每個鍵值 key-value 對用冒號 : 分割，每個鍵值對之間用逗號 , 分割，整個字典包括在花括弧 {} 中 ,格式如下所示：

d = {key1 : value1, key2 : value2 }

鍵一般是唯一的，必須是不可變的，如字元串，數字或元組。值不需要唯一，可以取任何數據類型。

在需要使用hash時，就需要用到字典。
比如在統計字元個數時，可以使用字典。
d = {}
for char in strs:
d[char] = d.get(char, 0) + 1

⑺ python中字典的使用方法怎麼樣的

字典理解如下
另一個非常有用的 Python 內建數據類型是 字典 （參見 Mapping Types — dict ）。字典在某些語言中可能稱為 聯合內存 （ associative memories ）或 聯合數組 （ associative arrays ）。序列是以連續的整數為索引，與此不同的是，字典以 關鍵字 為索引，關鍵字可以是任意不可變類型，通常用字元串或數值。如果元組中只包含字元串和數字，它可以作為關鍵字，如果它直接或間接的包含了可變對象，就不能當作關鍵字。不能用列表做關鍵字，因為列表可以用索引、切割或者 append() 和 extend() 等方法改變。
理解字典的最佳方式是把它看作無序的鍵： 值對 （key:value 對）集合，鍵必須是互不相同的（在同一個字典之內）。一對大括弧創建一個空的字典： {} 。初始化列表時，在大括弧內放置一組逗號分隔的鍵：值對，這也是字典輸出的方式。
字典的主要操作是依據鍵來存儲和析取值。也可以用 del 來刪除鍵：值對（key:value）。如果你用一個已經存在的關鍵字存儲值，以前為該關鍵字分配的值就會被遺忘。試圖從一個不存在的鍵中取值會導致錯誤。
對一個字典執行 list(d.keys()) 將返回一個字典中所有關鍵字組成的無序列表（如果你想要排序，只需使用 sorted(d.keys()) ）。[2] 使用 in 關鍵字（指Python語法）可以檢查字典中是否存在某個關鍵字（指字典）。

⑻ python dict怎麼實現的

Python中dict對象是表明了其是一個原始的Python數據類型，按照鍵值對的方式存儲，其中文名字翻譯為字典，顧名思義其通過鍵名查找對應的值會有很高的效率，時間復雜度在常數級別O(1).dict底層實現（推薦學習：Python視頻教程）
在Python2中，dict的底層是依靠哈希表(Hash Table)進行實現的，使用開放地址法解決沖突.
所以其查找的時間復雜度會是O(1).
Dict的操作實現原理（包括插入、刪除、以及緩沖池等）
首先介紹：PyDictObject對象的元素搜索策略：
有兩種搜索策略，分別是lookdict和lookdict_string，lookdict_string就是lookdict在對於PyStringObject進行搜索時的特殊形式，那麼通用的搜索策略lookdict的主要邏輯是：
（1）對第一個entry的查找：
a)根據hash值獲得entry的索引
b)若entry處於unused態，則搜索結束；若entry所指向的key與搜索的key相同，則搜索成功
c)若當前entry處於mmy態，則設置freeslot（這里的freeslot是可以返回作為下一個立即可用的地址來存儲entry）
d)檢查Active態的entry，若其key所指向的值與搜索的值相同，則搜索成功
（2）對剩餘的探測鏈中的元素的遍歷查找：
a)根據所採用的探測函數，獲得探測鏈上的下一個待檢查的entry
b)檢查到一個unused態的entry，表明搜索失敗：
如果freeslot不為空，則返回freeslot；否則返回unused態的entry
c)檢查entry的key與所搜索的key的引用是否相同，相同則搜索成功，返回entry
d)檢查entry的key與所搜索的key的值是否相同，相同則搜索成功，返回entry
e)遍歷過程中，發現mmy態的entry，且freeslot未設置，則設置freeslot
接下來是：PyDictObject對象的元素插入與刪除的策略：
需要首先用到搜索策略，搜索成功，則直接將值進行替換，搜索失敗，返回unused態或mmy態的entry，設置key、value和hash值，並且根據目前插入的元素情況進行ma_table的大小的調整（調整的依據就是裝載率，根據是否大於2/3來進行調整）；刪除也是類似，先計算hash值，然後搜索相應的entry，搜索成功，刪除entry中維護的元素，將entry從Active態修改為mmy態

在PyDictObject的實現過程中，會用到緩沖池，在PyDictObject對象被銷毀的時候，才開始接納被緩沖的PyDictObject對象，定義的緩沖池可接納的對象數量是80個，創建新PyDictObject對象的時候，如果緩沖池中有，則可以直接從緩沖池中取出使用
更多Python相關技術文章，請訪問Python教程欄目進行學習！以上就是小編分享的關於python dict怎麼實現的的詳細內容希望對大家有所幫助，更多有關python教程請關注環球青藤其它相關文章！

⑼ 一直不明白python字典的key是怎麼回事

python字典其實就是python的鍵值對集合。鍵也就是key，相當於一個標簽，舉個通俗易懂的例子，字典相當於順風快遞的倉庫，每一個鍵值對相當於一個包裹，key就是包裹上的地址，可以讓你方便地找到包裹，值即value，就是包裹裡面的東西。
希望可以幫助你

⑽ python的字典有什麼用

字典相當於一種廣義的數組，內部可以是任意類型。鍵可以看成是廣義的下標。字典中各項的順序是不重要的。字典的好處是查找特別方便快捷。
PYTHON的字典，可以存放真正的字典。