中文分詞php

① php 分詞，搜索引擎，技術

你好，很高興為你解答：

如果你僅僅是要把長句中的單詞分出來，那是很簡單的：

<?php
$str="GoogleTranslateforBusiness!";
$str=preg_replace("{.|,|;|:|'|"|?|!|<|>|(|)}","",$str);//移除所有標點符號
$arr=array_unique(explode("",$str));//以空格分割，並去重
var_mp($arr);
?>

以下是一段測試文本：

(asseeninCorPerl),"something"(inthiscase,output"Hi,I'maPHPscript!").<?phpand?>"PHPmode."
-,.,.,andthenthere'.
,.Don''sfeatures.Youcanjumpin,inashorttime,.
AlthoughPHP'sdevelopmentisfocusedonserver-sidescripting,youcandomuchmorewithit.Readon,andseemoreintheWhatcanPHPdo?section,.

輸出結果：

Instead,of,lots,commands,to,output,HTML,as,seen,in,C,or,Perl,PHP,pages,contain,with,embedded,code,that,does,something,this,case,Hi,Im,a,script,The,is,enclosed,special,start,and,end,processing,instructions,php,,allow,you,jump,into,out,modeWhat,distinguishes,from,like,client-side,javaScript,the,executed,on,server,generating,which,then,sent,client,would,receive,results,running,but,not,know,what,underlying,was,You,can,even,configure,your,web,process,all,files,theres,really,no,way,users,tell,have,up,sleeveThe,best,things,using,are,it,extremely,simple,for,newcomer,offers,many,advanced,features,professional,programmer,Dont,be,afraid,reading,long,list,PHPs,short,time,writing,scripts,few,hoursAlthough,development,focused,server-side,scripting,do,much,more,Read,see,What,section,go,right,introctory,tutorial,if,only,interested,programming

使用sort()對其進行排序：

C,Dont,HTML,Hi,Im,Instead,JavaScript,PHP,PHPs,Perl,Read,The,What,You,a,advanced,afraid,all,allow,and,are,as,be,best,but,can,case,client,client-side,code,commands,configure,contain,development,distinguishes,do,does,embedded,enclosed,end,even,executed,extremely,features,few,files,focused,for,from,generating,go,have,hoursAlthough,if,in,instructions,interested,into,introctory,is,it,jump,know,like,list,long,lots,many,modeWhat,more,much,newcomer,no,not,of,offers,on,only,or,out,output,pages,php,process,processing,professional,programmer,programming,reading,really,receive,results,right,running,script,scripting,scripts,section,see,seen,sent,server,server-side,short,simple,sleeveThe,something,special,start,tell,that,the,then,theres,things,this,time,to,tutorial,underlying,up,users,using,was,way,web,what,which,with,would,writing,you,your

-----------------------------------
如有疑問歡迎追問！
滿意請點擊右上方【選為滿意回答】按鈕么么噠 o(∩_∩)o

② PHP中文分詞應用到搜索的例子

中文分詞，首先對您輸入的搜索關鍵字進行分詞，然後資料庫中本來就存在一個索引表，就像個詞典，然後當你進行搜索的時候就用你的詞去和那本字典對比，得到索引結果表，然後通過id類似於偏移地址，得到真正的數據源地址，反饋回來，這是我平時做搜索的方法，希望對你有用。順便插播個小廣告bbs.45net.cn。有時間捧個人場。O(∩_∩)O~

③ 中文分詞的常見項目

功能性能 功能描述：1.新詞自動識別
對詞典中不存在的詞，可以自動識別，對詞典的依賴較小；
2.詞性輸出
分詞結果中帶有豐富的詞性；
3.動態詞性輸出
分詞結果中的詞性並非固定，會根據不同的語境，賦予不同的詞性；
4.特殊詞識別
比如化學、葯品等行業詞彙，地名、品牌、媒體名等；
5.智能歧義解決
根據內部規則，智能解決常見分詞歧義問題；
6.多種編碼識別
自動識別各種單一編碼，並支持混合編碼；
7.數詞量詞優化
自動識別數量詞； 性能介紹：處理器：AMD Athlon II x2 250 3GHZ
單線程大於833KB/s，多線程安全。 一個PHP函數實現中文分詞。使分詞更容易，使用如下圖:
Paoding（庖丁解牛分詞）基於Java的開源中文分片語件，提供lucene和solr 介面，具有極 高效率和 高擴展性。引入隱喻，採用完全的面向對象設計，構思先進。
高效率：在PIII 1G內存個人機器上，1秒可准確分詞 100萬漢字。
採用基於 不限制個數的詞典文件對文章進行有效切分，使能夠將對詞彙分類定義。
能夠對未知的詞彙進行合理解析。
僅支持Java語言。 MMSEG4J基於Java的開源中文分片語件，提供lucene和solr 介面：
1．mmseg4j 用 Chih-Hao Tsai 的 MMSeg 演算法實現的中文分詞器，並實現 lucene 的 analyzer 和 solr 的TokenizerFactory 以方便在Lucene和Solr中使用。
2．MMSeg 演算法有兩種分詞方法：Simple和Complex，都是基於正向最大匹配。Complex 加了四個規則過慮。官方說：詞語的正確識別率達到了 98.41%。mmseg4j 已經實現了這兩種分詞演算法。 盤古分詞是一個基於.net 平台的開源中文分片語件，提供lucene(.net 版本) 和HubbleDotNet的介面
高效：Core Duo 1.8 GHz 下單線程 分詞速度為 390K 字元每秒
准確：盤古分詞採用字典和統計結合的分詞演算法，分詞准確率較高。
功能：盤古分詞提供中文人名識別，簡繁混合分詞，多元分詞，英文詞根化，強制一元分詞，詞頻優先分詞，停用詞過濾，英文專名提取等一系列功能。 jcseg是使用Java開發的一個中文分詞器，使用流行的mmseg演算法實現。
1。mmseg四種過濾演算法，分詞准確率達到了98.4%以上。
2。支持自定義詞庫。在lexicon文件夾下，可以隨便添加/刪除/更改詞庫和詞庫內容，並且對詞庫進行了分類，詞庫整合了《現代漢語詞典》和cc-cedict辭典。
3。詞條拼音和同義詞支持，jcseg為所有詞條標注了拼音，並且詞條可以添加同義詞集合，jcseg會自動將拼音和同義詞加入到分詞結果中。
4。中文數字和分數識別，例如："四五十個人都來了，三十分之一。"中的"四五十"和"三十分之一"，並且jcseg會自動將其轉換為對應的阿拉伯數字。
5。支持中英混合詞的識別。例如：B超，x射線。
6。支持基本單字單位的識別，例如2012年。
7。良好的英文支持，自動識別電子郵件，網址，分數，小數，百分數……。
8。智能圓角半形轉換處理。
9。特殊字母識別：例如：Ⅰ，Ⅱ
10。特殊數字識別：例如：①，⑩
11。配對標點內容提取：例如：最好的Java書《java編程思想》，『暢想杯黑客技術大賽』，被《,『,「,『標點標記的內容。
12。智能中文人名識別。中文人名識別正確率達94%以上。
jcseg佩帶了jcseg.properties配置文檔，使用文本編輯器就可以自主的編輯其選項，配置適合不同應用場合的分詞應用。例如：最大匹配分詞數，是否開啟中文人名識別，是否載入詞條拼音，是否載入詞條同義詞……。 friso是使用c語言開發的一個中文分詞器，使用流行的mmseg演算法實現。完全基於模塊化設計和實現，可以很方便的植入到其他程序中，例如：MySQL，PHP等。並且提供了一個php中文分詞擴展robbe。
1。只支持UTF-8編碼。【源碼無需修改就能在各種平台下編譯使用，載入完20萬的詞條，內存佔用穩定為14M。】。
2。mmseg四種過濾演算法，分詞准確率達到了98.41%。
3。支持自定義詞庫。在dict文件夾下，可以隨便添加/刪除/更改詞庫和詞庫詞條，並且對詞庫進行了分類。
4。詞庫使用了friso的Java版本jcseg的簡化詞庫。
5。支持中英混合詞的識別。例如：c語言，IC卡。
7。很好的英文支持，電子郵件，網址，小數，分數，百分數。
8。支持阿拉伯數字基本單字單位的識別，例如2012年，5噸，120斤。
9。自動英文圓角/半形，大寫/小寫轉換。
並且具有很高的分詞速度：簡單模式：3.7M/秒，復雜模式：1.8M/秒。

④ 計算機畢業設計的源代碼

之前看到很多同學都在找論文的源代碼，我收藏了個網站，鍵盤論文網，上面有很多計算機專業的畢業設計，包含了對應的源代碼，你參考下吧

之前的一篇文章，關於php中文分詞技術的

摘要：
論文以站內中文全文搜索技術為背景,結合PHP(PHP:Hypertext Preprocessor)在實踐領域中對Web應用的性能和內存消耗的要求,提出了一種純PHP的以預索引字典為基礎的輕量高效的站內中文搜索引擎的解決力案。

主要內容：通過索引器在資料庫中保存生成的站內全文數據的帶權重索引和詞頻權重索引,檢索器基於此全文數據可以按多個類別的權重定義計算相關度得到搜索結果,表示器將結果高亮排序返回給搜索用戶完成搜索功能。
一個基於海量字典的中文分詞器作為中文數據處理的核心,將中英文及數字信息正確的切分並使得索引器可以進行按詞彙權重索引,實現豐富靈活的搜索或索引相關功能。

文章針對PHP站內中文搜索技術中最突出的三個方面進行研究。

1)輕量高效的PHP中文搜索框架設計,並統一考慮了檢索器和索引器的中文分詞問題,使得索引和搜索時處理同樣的分詞結果。這樣,在以較小的代價保證分詞器90%以上准確度的同時,對不準確的分詞結果具有很好的容忍度,保證了PHP應用的輕量性和可用性。對實踐中對性能非常敏感的Web應用的設計開發有一定的借鑒意義。

2)對站內數據的搜索結果提出了一種多權重因素的相關度計算的方法,該方法在傳統的關鍵字權重相關度的基礎上,結合HTML標記進行權重識別和統計,並通過文檔屬性和統計數據等類別增加了用戶可干涉的相關度權重因素,有力地保障了搜索結果的有效性,提升了用戶的站內搜索體驗。

3)為了提升中文分詞的質量,並同時解決PHP應用在處理海量詞典時的性能和內存消耗的問題,本文通過優化的分詞匹配演算法和創新性地在PHP中文分詞中使用B-Tree預索引詞典,以數量達53萬多個的UTF-8簡繁體中文詞彙在保證了較好的分詞結果的同時保持了中文搜索的輕量性和高效性。並在實踐中證明具有良好的可用性和通用性,具有較低的演算法時間復雜度。
創新點：
本文結合PHP技術以及搜索引擎、中文分詞等理論背景,對PHP領域內實現輕量高效的站內中文搜索提出了行之有效的分析解決方法。
隨著Web應用的持續發展和PHP普遍應用、中文信息處理需求的持續增長,本文所論述的方法對PHP相關范圍內的中文搜索或索引相關功能都有一定的指導意義。

同時,隨著先進的搜索引擎技術模型的演進,本文所做的分析研究為中文站內搜索的普適性應用進行了一項有意義的探索。

你參考下吧

⑤ php 一般使用什麼中文分詞擴展

Robbe是建立在Friso中文分詞器上的一個高性能php中文分詞擴展，除了提供了基本的分詞函數以外，還提供一些編碼轉換函。
Robbe完整版本(PHP測試程序, 開發幫助文檔, WinNT下php各版本的dll文件)下載:code.google.com/p/robbe

一. 關於Robbe:
robbe是建立在friso中文分詞上的一個高性能php中文分詞擴展。了解friso

1.目前最高版本：friso 1.6.0，【源碼無需修改即可在各平台下編譯運行】

2.mmseg四種過濾演算法，分詞准確率達到了98.41%。

3.詳細功能，請訪問friso官方首頁：friso [code.google.com/p/friso]

二. Robbe分詞速度:
測試環境：2.8GHZ/2G/Ubuntu

簡單模式：3.1M/秒

復雜模式：1.4M/秒

（因為php中的大量字元串的復制，性能比friso有些下降）。

⑥ 請教下，PHP文章標題的自動分詞（Tag）是怎麼做的

文章分詞需要程序來完成給你推薦個工具，你看看是不是你需要的分詞，這個是靈玖軟體推出的你可以找一下。