python分詞

⑴ 怎麼給python安裝結巴分詞

pip安裝
下載包後放到python的目錄下
大約記得是Lib/sxxxx-txxxx/這

⑵ python中文分詞後如何去重

1. 基於Trie樹結構實現高效的詞圖掃描，生成句子中漢字所有可能成詞情況所構成的有向無環圖（DAG)

2. 採用了動態規劃查找最大概率路徑, 找出基於詞頻的最大切分組合

3. 對於未登錄詞，採用了基於漢字成詞能力的HMM模型，使用了Viterbi演算法！

⑶ Python中文分詞的原理你知道嗎

中文分詞，即 Chinese Word Segmentation，即將一個漢字序列進行切分，得到一個個單獨的詞。表面上看，分詞其實就是那麼回事，但分詞效果好不好對信息檢索、實驗結果還是有很大影響的，同時分詞的背後其實是涉及各種各樣的演算法的。

中文分詞與英文分詞有很大的不同，對英文而言，一個單詞就是一個詞，而漢語是以字為基本的書寫單位，詞語之間沒有明顯的區分標記，需要人為切分。根據其特點，可以把分詞演算法分為四大類：

基於規則的分詞方法

基於統計的分詞方法

基於語義的分詞方法

基於理解的分詞方法

下面我們對這幾種方法分別進行總結。

基於規則的分詞方法

這種方法又叫作機械分詞方法、基於字典的分詞方法，它是按照一定的策略將待分析的漢字串與一個「充分大的」機器詞典中的詞條進行匹配。若在詞典中找到某個字元串，則匹配成功。該方法有三個要素，即分詞詞典、文本掃描順序和匹配原則。文本的掃描順序有正向掃描、逆向掃描和雙向掃描。匹配原則主要有最大匹配、最小匹配、逐詞匹配和最佳匹配。

最大匹配法（MM）。基本思想是：假設自動分詞詞典中的最長詞條所含漢字的個數為 i，則取被處理材料當前字元串序列中的前 i 個字元作為匹配欄位，查找分詞詞典，若詞典中有這樣一個 i 字詞，則匹配成功，匹配欄位作為一個詞被切分出來；若詞典中找不到這樣的一個 i 字詞，則匹配失敗，匹配欄位去掉最後一個漢字，剩下的字元作為新的匹配欄位，再進行匹配，如此進行下去，直到匹配成功為止。統計結果表明，該方法的錯誤率 為 1/169。

逆向最大匹配法（RMM）。該方法的分詞過程與 MM 法相同，不同的是從句子（或文章）末尾開始處理，每次匹配不成功時去掉的是前面的一個漢字。統計結果表明，該方法的錯誤率為 1/245。

逐詞遍歷法。把詞典中的詞按照由長到短遞減的順序逐字搜索整個待處理的材料，一直到把全部的詞切分出來為止。不論分詞詞典多大，被處理的材料多麼小，都得把這個分詞詞典匹配一遍。

設立切分標志法。切分標志有自然和非自然之分。自然切分標志是指文章中出現的非文字元號，如標點符號等；非自然標志是利用詞綴和不構成詞的詞（包 括單音詞、復音節詞以及象聲詞等）。設立切分標志法首先收集眾多的切分標志，分詞時先找出切分標志，把句子切分為一些較短的欄位，再用 MM、RMM 或其它的方法進行細加工。這種方法並非真正意義上的分詞方法，只是自動分詞的一種前處理方式而已，它要額外消耗時間掃描切分標志，增加存儲空間存放那些非 自然切分標志。

最佳匹配法（OM）。此法分為正向的最佳匹配法和逆向的最佳匹配法，其出發點是：在詞典中按詞頻的大小順序排列詞條，以求縮短對分詞詞典的檢索時 間，達到最佳效果，從而降低分詞的時間復雜度，加快分詞速度。實質上，這種方法也不是一種純粹意義上的分詞方法，它只是一種對分詞詞典的組織方式。OM 法的分詞詞典每條詞的前面必須有指明長度的數據項，所以其空間復雜度有所增加，對提高分詞精度沒有影響，分詞處理的時間復雜度有所降低。

此種方法優點是簡單，易於實現。但缺點有很多：匹配速度慢；存在交集型和組合型歧義切分問題；詞本身沒有一個標準的定義，沒有統一標準的詞集；不同詞典產生的歧義也不同；缺乏自學習的智能性。

基於統計的分詞方法

該方法的主要思想：詞是穩定的組合，因此在上下文中，相鄰的字同時出現的次數越多，就越有可能構成一個詞。因此字與字相鄰出現的概率或頻率能較好地反映成詞的可信度。可以對訓練文本中相鄰出現的各個字的組合的頻度進行統計，計算它們之間的互現信息。互現信息體現了漢字之間結合關系的緊密程度。當緊密程 度高於某一個閾值時，便可以認為此字組可能構成了一個詞。該方法又稱為無字典分詞。

該方法所應用的主要的統計模型有：N 元文法模型（N-gram）、隱馬爾可夫模型（Hiden Markov Model，HMM）、最大熵模型（ME）、條件隨機場模型（Conditional Random Fields，CRF）等。

在實際應用中此類分詞演算法一般是將其與基於詞典的分詞方法結合起來，既發揮匹配分詞切分速度快、效率高的特點，又利用了無詞典分詞結合上下文識別生詞、自動消除歧義的優點。

基於語義的分詞方法

語義分詞法引入了語義分析，對自然語言自身的語言信息進行更多的處理，如擴充轉移網路法、知識分詞語義分析法、鄰接約束法、綜合匹配法、後綴分詞法、特徵詞庫法、矩陣約束法、語法分析法等。

擴充轉移網路法

該方法以有限狀態機概念為基礎。有限狀態機只能識別正則語言，對有限狀態機作的第一次擴充使其具有遞歸能力，形成遞歸轉移網路 （RTN）。在RTN 中，弧線上的標志不僅可以是終極符（語言中的單詞）或非終極符（詞類），還可以調用另外的子網路名字分非終極符（如字或字串的成詞條件）。這樣，計算機在 運行某個子網路時，就可以調用另外的子網路，還可以遞歸調用。詞法擴充轉移網路的使用， 使分詞處理和語言理解的句法處理階段交互成為可能，並且有效地解決了漢語分詞的歧義。

矩陣約束法

其基本思想是：先建立一個語法約束矩陣和一個語義約束矩陣， 其中元素分別表明具有某詞性的詞和具有另一詞性的詞相鄰是否符合語法規則， 屬於某語義類的詞和屬於另一詞義類的詞相鄰是否符合邏輯，機器在切分時以之約束分詞結果。

基於理解的分詞方法

基於理解的分詞方法是通過讓計算機模擬人對句子的理解，達到識別詞的效果。其基本思想就是在分詞的同時進行句法、語義分析，利用句法信息和語義信息來處理歧義現象。它通常包括三個部分：分詞子系統、句法語義子系統、總控部分。在總控部分的協調下，分詞子系統可以獲得有關詞、句子等的句法和語義信息來對分詞歧義進行判斷，即它模擬了人對句子的理解過程。這種分詞方法需要使用大量的語言知識和信息。目前基於理解的分詞方法主要有專家系統分詞法和神經網路分詞法等。

專家系統分詞法

從專家系統角度把分詞的知識（包括常識性分詞知識與消除歧義切分的啟發性知識即歧義切分規則）從實現分詞過程的推理機中獨立出來，使知識庫的維護與推理機的實現互不幹擾，從而使知識庫易於維護和管理。它還具有發現交集歧義欄位和多義組合歧義欄位的能力和一定的自學習功能。

神經網路分詞法

該方法是模擬人腦並行，分布處理和建立數值計算模型工作的。它將分詞知識所分散隱式的方法存入神經網路內部，通過自學習和訓練修改內部權值，以達到正確的分詞結果，最後給出神經網路自動分詞結果，如使用 LSTM、GRU 等神經網路模型等。

神經網路專家系統集成式分詞法

該方法首先啟動神經網路進行分詞，當神經網路對新出現的詞不能給出准確切分時，激活專家系統進行分析判斷，依據知識庫進行推理，得出初步分析，並啟動學習機制對神經網路進行訓練。該方法可以較充分發揮神經網路與專家系統二者優勢，進一步提高分詞效率。

以上便是對分詞演算法的基本介紹。

⑷ 基於 Python 的中文分詞方案那種比較好

我沒用過python語言寫的分詞程序。
分詞這種功能屬於計算密集型功能，需要大量計算，python不適合這種場合，可以考慮python調用c庫。

⑸ 如何在python中對excel文本進行分詞

不管你要做什麼樣的效果，首先你要讀取出來Excel的內容。或者你可以問下微軟是否支持Excel中文分詞。

⑹ 如何用python對文章中文分詞並統計詞頻

1、全局變數在函數中使用時需要加入global聲明
2、獲取網頁內容存入文件時的編碼為ascii進行正則匹配時需要decode為GB2312，當匹配到的中文寫入文件時需要encode成GB2312寫入文件。
3、中文字元匹配過濾正則表達式為ur'[\u4e00-\u9fa5]+',使用findall找到所有的中文字元存入分組
4、KEY，Value值可以使用dict存儲，排序後可以使用list存儲
5、字元串處理使用split分割，然後使用index截取字元串，判斷哪些是名詞和動詞
6、命令行使用需要導入os,os.system(cmd)

⑺ 如何對excel表格里的詞結巴分詞python

#-*-coding:utf-8-*-
importjieba
'''''
Createdon2015-11-23
'''

defword_split(text):
"""
Splitatextinwords.
(word,location).
"""
word_list=[]
windex=0
word_primitive=jieba.cut(text,cut_all=True)
forwordinword_primitive:
iflen(word)>0:
word_list.append((windex,word))
windex+=1
returnword_list

definverted_index(text):
"""
CreateanInverted-.
{word:[locations]}
"""
inverted={}
forindex,wordinword_split(text):
locations=inverted.setdefault(word,[])
locations.append(index)
returninverted


definverted_index_add(inverted,doc_id,doc_index):
"""
AddInvertd-Indexdoc_indexofthedocumentdoc_idtothe
Multi-DocumentInverted-Index(inverted),
usingdoc_idasdocumentidentifier.
{word:{doc_id:[locations]}}
"""
forword,locationsindoc_index.iteritems():
indices=inverted.setdefault(word,{})
indices[doc_id]=locations
returninverted

defsearch_a_word(inverted,word):
"""
searchoneword
"""
word=word.decode('utf-8')
ifwordnotininverted:
returnNone
else:
word_index=inverted[word]
returnword_index

defsearch_words(inverted,wordList):
"""
searchmorethanoneword
"""
wordDic=[]
docRight=[]
forwordinwordList:
ifisinstance(word,str):
word=word.decode('utf-8')
ifwordnotininverted:
returnNone
else:
element=inverted[word].keys()
element.sort()
wordDic.append(element)
numbers=len(wordDic)
inerIndex=[0foriinrange(numbers)]
docIndex=[wordDic[i][0]foriinrange(numbers)]
flag=True
whileflag:
ifmin(docIndex)==max(docIndex):
docRight.append(min(docIndex))
inerIndex=[inerIndex[i]+1foriinrange(numbers)]
foriinrange(numbers):
ifinerIndex[i]>=len(wordDic[i]):
flag=False
returndocRight
docIndex=[wordDic[i][inerIndex[i]]foriinrange(numbers)]
else:
minIndex=min(docIndex)
minPosition=docIndex.index(minIndex)
inerIndex[minPosition]+=1
ifinerIndex[minPosition]>=len(wordDic[minPosition]):
flag=False
returndocRight
docIndex=[wordDic[i][inerIndex[i]]foriinrange(numbers)]

defsearch_phrase(inverted,phrase):
"""
searchphrase
"""
docRight={}
temp=word_split(phrase)
wordList=[temp[i][1]foriinrange(len(temp))]
docPossible=search_words(inverted,wordList)
fordocindocPossible:
wordIndex=[]
indexRight=[]
forwordinwordList:
wordIndex.append(inverted[word][doc])
numbers=len(wordList)
inerIndex=[0foriinrange(numbers)]
words=[wordIndex[i][0]foriinrange(numbers)]
flag=True
whileflag:
ifwords[-1]-words[0]==numbers-1:
indexRight.append(words[0])
inerIndex=[inerIndex[i]+1foriinrange(numbers)]
foriinrange(numbers):
ifinerIndex[i]>=len(wordIndex[i]):
flag=False
docRight[doc]=indexRight
break
ifflag:
words=[wordIndex[i][inerIndex[i]]foriinrange(numbers)]
else:
minIndex=min(words)
minPosition=words.index(minIndex)
inerIndex[minPosition]+=1
ifinerIndex[minPosition]>=len(wordIndex[minPosition]):
flag=False
break
ifflag:
words=[wordIndex[i][inerIndex[i]]foriinrange(numbers)]
returndocRight


if__name__=='__main__':
doc1="""
中文分詞指的是將一個漢字序列切分成一個一個單獨的詞。分詞就是將連續的字序列按照一定的規范
重新組合成詞序列的過程。我們知道，在英文的行文中，單詞之間是以空格作為自然分界符的，而中文
只是字、句和段能通過明顯的分界符來簡單劃界，唯獨詞沒有一個形式上的分界符，雖然英文也同樣
存在短語的劃分問題，不過在詞這一層上，中文比之英文要復雜的多、困難的多。
"""

doc2="""
存在中文分詞技術，是由於中文在基本文法上有其特殊性，具體表現在：
與英文為代表的拉丁語系語言相比，英文以空格作為天然的分隔符，而中文由於繼承自古代漢語的傳統，
詞語之間沒有分隔。古代漢語中除了連綿詞和人名地名等，詞通常就是單個漢字，所以當時沒有分詞
書寫的必要。而現代漢語中雙字或多字詞居多，一個字不再等同於一個詞。
在中文裡，「詞」和「片語」邊界模糊
現代漢語的基本表達單元雖然為「詞」，且以雙字或者多字詞居多，但由於人們認識水平的不同，對詞和
短語的邊界很難去區分。
例如：「對隨地吐痰者給予處罰」，「隨地吐痰者」本身是一個詞還是一個短語，不同的人會有不同的標准，
同樣的「海上」「酒廠」等等，即使是同一個人也可能做出不同判斷，如果漢語真的要分詞書寫，必然會出現
混亂，難度很大。
中文分詞的方法其實不局限於中文應用，也被應用到英文處理，如手寫識別，單詞之間的空格就不很清楚，
中文分詞方法可以幫助判別英文單詞的邊界。
"""

doc3="""
作用
中文分詞是文本挖掘的基礎，對於輸入的一段中文，成功的進行中文分詞，可以達到電腦自動識別語句含義的效果。
中文分詞技術屬於自然語言處理技術范疇，對於一句話，人可以通過自己的知識來明白哪些是詞，哪些不是詞，
但如何讓計算機也能理解？其處理過程就是分詞演算法。
影響
中文分詞對於搜索引擎來說，最重要的並不是找到所有結果，因為在上百億的網頁中找到所有結果沒有太多的意義，
沒有人能看得完，最重要的是把最相關的結果排在最前面，這也稱為相關度排序。中文分詞的准確與否，常常直接
影響到對搜索結果的相關度排序。從定性分析來說，搜索引擎的分詞演算法不同，詞庫的不同都會影響頁面的返回結果
"""

doc4="""
這種方法又叫做機械分詞方法，它是按照一定的策略將待分析的漢字串與一個「充分大的」機器詞典中的詞條進行配，
若在詞典中找到某個字元串，則匹配成功（識別出一個詞）。按照掃描方向的不同，串匹配分詞方法可以分為正向
匹配和逆向匹配；按照不同長度優先匹配的情況，可以分為最大（最長）匹配和最小（最短）匹配；常用的幾種
機械分詞方法如下：
正向最大匹配法（由左到右的方向）；
逆向最大匹配法（由右到左的方向）；
最少切分（使每一句中切出的詞數最小）；
雙向最大匹配法（進行由左到右、由右到左兩次掃描）
還可以將上述各種方法相互組合，例如，可以將正向最大匹配方法和逆向最大匹配方法結合起來構成雙向匹配法。
由於漢語單字成詞的特點，正向最小匹配和逆向最小匹配一般很少使用。一般說來，逆向匹配的切分精度略高於
正向匹配，遇到的歧義現象也較少。統計結果表明，單純使用正向最大匹配的錯誤率為，單純使用逆向
最大匹配的錯誤率為。但這種精度還遠遠不能滿足實際的需要。實際使用的分詞系統，都是把機械分詞
作為一種初分手段，還需通過利用各種其它的語言信息來進一步提高切分的准確率。
一種方法是改進掃描方式，稱為特徵掃描或標志切分，優先在待分析字元串中識別和切分出一些帶有明顯特徵
的詞，以這些詞作為斷點，可將原字元串分為較小的串再來進機械分詞，從而減少匹配的錯誤率。另一種方法
是將分詞和詞類標注結合起來，利用豐富的詞類信息對分詞決策提供幫助，並且在標注過程中又反過來對分詞
結果進行檢驗、調整，從而極大地提高切分的准確率。
對於機械分詞方法，可以建立一個一般的模型，在這方面有專業的學術論文，這里不做詳細論述。
"""

doc5="""
從形式上看，詞是穩定的字的組合，因此在上下文中，相鄰的字同時出現的次數越多，就越有可能構成一個詞。
因此字與字相鄰共現的頻率或概率能夠較好的反映成詞的可信度。可以對語料中相鄰共現的各個字的組合的頻度
進行統計，計算它們的互現信息。定義兩個字的互現信息，計算兩個漢字的相鄰共現概率。互現信息體現了
漢字之間結合關系的緊密程度。當緊密程度高於某一個閾值時，便可認為此字組可能構成了一個詞。這種方法
只需對語料中的字組頻度進行統計，不需要切分詞典，因而又叫做無詞典分詞法或統計取詞方法。但這種方法
也有一定的局限性，會經常抽出一些共現頻度高、但並不是詞的常用字組，例如「這一」、「之一」、「有的」、
「我的」、「許多的」等，並且對常用詞的識別精度差，時空開銷大。實際應用的統計分詞系統都要使用一部基本
的分詞詞典（常用詞詞典）進行串匹配分詞，同時使用統計方法識別一些新的詞，即將串頻統計和串匹配結合起來，
既發揮匹配分詞切分速度快、效率高的特點，又利用了無詞典分詞結合上下文識別生詞、自動消除歧義的優點。
另外一類是基於統計機器學習的方法。首先給出大量已經分詞的文本，利用統計機器學習模型學習詞語切分的規律
（稱為訓練），從而實現對未知文本的切分。我們知道，漢語中各個字單獨作詞語的能力是不同的，此外有的字常
常作為前綴出現，有的字卻常常作為後綴（「者」「性」），結合兩個字相臨時是否成詞的信息，這樣就得到了許多
與分詞有關的知識。這種方法就是充分利用漢語組詞的規律來分詞。這種方法的最大缺點是需要有大量預先分好詞
的語料作支撐，而且訓練過程中時空開銷極大。
到底哪種分詞演算法的准確度更高，目前並無定論。對於任何一個成熟的分詞系統來說，不可能單獨依靠某一種演算法
來實現，都需要綜合不同的演算法。例如，海量科技的分詞演算法就採用「復方分詞法」，所謂復方，就是像中西醫結合
般綜合運用機械方法和知識方法。對於成熟的中文分詞系統，需要多種演算法綜合處理問題。
"""

#BuildInverted-Indexfordocuments
inverted={}
documents={'doc1':doc1,'doc2':doc2,'doc3':doc3,'doc4':doc4,'doc5':doc5}
fordoc_id,textindocuments.iteritems():
doc_index=inverted_index(text)
inverted_index_add(inverted,doc_id,doc_index)

#Searchoneword
aWord="分詞"
result_a_word=search_a_word(inverted,aWord)
ifresult_a_word:
result_a_word_docs=result_a_word.keys()
print"'%s'isappearedat"%(aWord)
forresult_a_word_docinresult_a_word_docs:
result_a_word_index=result_a_word[result_a_word_doc]
forindexinresult_a_word_index:
print(str(index)+''),
print"of"+result_a_word_doc
print""
else:
print"Nomatches!
"

#Searchmorethanoneword
words=["漢語","切分"]
result_words=search_words(inverted,words)
ifresult_words:
print("["),
foriinrange(len(words)):
print("%s"%(words[i])),
print("]areappearedatthe"),
forresult_words_docinresult_words:
print(result_words_doc+''),
print"
"
else:
print"Nomatches!
"

#Searchphrase
phrase="中文分詞"
result_phrase=search_phrase(inverted,phrase)
ifresult_phrase:
result_phrase_docs=result_phrase.keys()
print"'%s'isappearedatthe"%(phrase)
forresult_phrase_docinresult_phrase_docs:
result_phrase_index=result_phrase[result_phrase_doc]
forindexinresult_phrase_index:
print(str(index)+''),
print"of"+result_phrase_doc
print""
else:
print"Nomatches!
"

⑻ 如何利用Python對中文進行分詞處理

python做中文分詞處理主要有以下幾種：結巴分詞、NLTK、THULAC
1、fxsjy/jieba
結巴的標語是：做最好的 Python 中文分片語件，或許從現在來看它沒做到最好，但是已經做到了使用的人最多。結巴分詞網上的學習資料和使用案例比較多，上手相對比較輕松，速度也比較快。
結巴的優點：
支持三種分詞模式
支持繁體分詞
支持自定義詞典
MIT 授權協議

2、THULAC：一個高效的中文詞法分析工具包
前兩天我在做有關於共享單車的用戶反饋分類，使用jieba分詞一直太過零散，分類分不好。後來江兄給我推薦了THULAC： 由清華大學自然語言處理與社會人文計算實驗室研製推出的一套中文詞法分析工具包 。THULAC的介面文檔很詳細，簡單易上手。
THULAC分詞的優點：
能力強。利用規模最大的人工分詞和詞性標注中文語料庫（約含5800萬字）訓練而成，模型標注能力強大。
准確率高。該工具包在標准數據集Chinese Treebank（CTB5）上分詞的F1值可達97.3％，詞性標注的F1值可達到92.9％
速度較快。同時進行分詞和詞性標注速度為300KB/s，每秒可處理約15萬字。只進行分詞速度達到1.3MB/s，速度比jieba慢

Python 解決中文編碼問題基本可以用以下邏輯：
utf8（輸入） ——> unicode（處理） ——> （輸出）utf8
Python 裡面處理的字元都是都是unicode 編碼，因此解決編碼問題的方法是把輸入的文本（無論是什麼編碼）解碼為（decode）unicode編碼，然後輸出時再編碼（encode）成所需編碼。
由於處理的一般為txt 文檔，所以最簡單的方法，是把txt 文檔另存為utf-8 編碼，然後使用Python 處理的時候解碼為unicode（sometexts.decode('utf8')），輸出結果回txt 的時候再編碼成utf8（直接用str() 函數就可以了）。

⑼ 在python 環境下，使用結巴分詞，自動導入文本，分詞，提取關鍵詞.腳本 大俠給個

#-*-coding:UTF-8-*-

importjieba

__author__='lpe234'


seg_list=jieba.cut("我來到北京天安門",cut_all=True)
print','.join(seg_list)

...
Loadingmodelfromcache/var/folders/sv//T/jieba.cache
我,來到,北京,天安,天安門
Loadingmodelcost0.433seconds.
.

Processfinishedwithexitcode0

⑽ python 怎麼對分詞標注詞性

支持三種分詞模式：
精確模式，試圖將句子最精確地切開，適合文本分析；
全模式，把句子中所有的可以成詞的詞語都掃描出來, 速度非常快，但是不能解決歧義；
搜索引擎模式，在精確模式的基礎上，對長詞再次切分，提高召回率，適合用於搜索引擎分詞。