後綴樹演算法

『壹』 論文查重用了什麼演算法

知網查重的演算法是

使用計算機開展知網查重識別的研究首先要對數字文檔進行分析處理,而數字文檔又可分為兩種類別,即:自然語言文本和形式語言文本。形式語言文本比較典型的是計算機程序源代碼,雖然抄襲的案例較多,但因其具有規范的語法和語句結構特點,相對比較容易分析處理,針對此類抄襲識別的研究也較早。而自然語言文本(如:論文等)復制檢測原理的出現比程序復制檢測晚了20年。
②1993年,美國亞利桑那大學的Manber提出了「近似指紋」概念,基於此提出了sif工具,用基於字元串匹配的方法來度量文件之間的相似性。美國斯坦福大學的Brin等人首次提出了COPS系統與相應演算法,其後提出的SCAM原型對此進行了改進了。SCAM借鑒了信息檢索技術中的向量空間模型,使用基於詞頻統計的方法來度量文本相似性。香港理工大學的Si和Leong等人採用統計關鍵詞的方法來度量文本相似性,建立了CHECK原型,並首次在相似性度量中引入文檔的結構信息。到了2000年,Monostori等人用後綴樹來搜尋字元串之間的最大子串,建立了MDR原型。在此之前,全美國的教育工作者們現已懂得綜合運用課堂書寫段落樣本、互聯網搜索工具和反剽竊技術三結合手段遏制欺騙的源頭。
③ 對於中文論文的抄襲識別,存在更大的困難。漢語與英文不同,它以字為基本的書寫單位,詞與詞之間沒有明顯的區分標記,因此,中文分詞是漢語文檔處理的基礎。漢語文本抄襲識別系統首先需要分詞作為其最基本的模塊,因此,中文文本自動分詞的好壞在一定程度上影響抄襲識別的准確性。同時計算機在自然語言理解方面有欠缺,而抄襲又不僅僅局限於照抄照搬式的,很難達到准確的抄襲識別。所以解決中文論文抄襲識別問題還不能全盤照搬國外技術。北京郵電大學張煥炯等用編碼理論中漢明距離的計算公式計算文本相似度。中科院計算所以屬性論為理論依據,計算向量之間的匹配距離,從而得到文本相似度。程玉柱等以漢字數學表達式理論為基礎,將文本相似度計算轉換為空間坐標系中向量夾角餘弦的計算問題。西安交通大學的宋擒豹等人開發了CDSDG系統,採用基於詞頻統計的重疊度度量演算法在不同粒度計算總體語義重疊度和結構重疊度。此演算法不但能檢測數字正文整體非法復制行為,而且還能檢測諸如子集復制和移位局部復制等部分非法復制行為。晉耀紅基於語境框架的相似度計算演算法,考慮了對象之間的語義關系,從語義的角度給出文本之間的相似關系。大連理工大學的金博、史彥軍、滕弘飛針對學術論文的特有結構,對學術論文進行篇章結構分析,再通過數字指紋和詞頻統計等方法計算出學術論文之間的相似度。張明輝針對重復網頁問題提出了基於段落的分段簽名近似鏡像新演算法。鮑軍鵬等基於網格的文本復制檢測系統提出了語義序列核方法的復制檢測原理。金博、史彥軍、滕弘飛少給出了一個基於語義理解的復制檢測系統架構,其核心是以知網詞語相似度計算為基礎,並將應用范圍擴大到段落。聶規劃等基於本體的論文復制檢測系統利用語義網本體技術構建論文本體和計算論文相似度。
請繼續關註上學吧論文查重（http://www.shangxueba.cn），更多有關論文檢測信息盡在其中。

『貳』 PageRank演算法實現好友推薦(演算法原理)

對於社交系統與電商網站，推薦系統佔有很重要的位置，當數據量越來越大的時候，用戶無法確定該選擇什麼商品，因此在電商系統中需要按照興趣或者相似度給用戶推薦相應的商品。相應的，在一個大型社交網路平台中，睜喚手對於一些用戶，我們希望推薦一些知名度較高，活躍度較高或者感興趣的用戶，比如一些明星，歌手，演員等等。在社交網路中，PageRank演算法有著廣泛的應用，因此，本篇文章主要介紹其原理。

對於大部分社交系統來說，如果只是簡單的獲取好友的信息遠遠不夠，我們可以通過獲取好友的好友的信息來擴展用戶的朋友圈，使得信息量更加豐富，本項目中使用PageRank演算法來完成二級鄰居，然後按照Rank排序，選擇Top5用戶實現用戶的好友的好友的推薦。

PageRank演算法由Google的創始人拉里·佩奇和謝爾·布林於1998年發明.這項技術設計之初是為了體現網頁的相關性和重要性,在搜索引擎優化操作中經常被用來評估網頁優化的成效因素之一.

從技術上看,搜索引擎需要解決以下三個問題:

本質就是一個爬蟲問題,通過爬蟲獲取整個互聯網的數據

關鍵在於快速找到.

它的實現方式有: 倒排索引，簽名文件，後綴樹等。我們最熟悉的是 倒排索引 。(並不熟悉,以後有機會再看)

排序是Google的搜索引擎能夠興起的一個決定性因素。

對網頁排序有很多種方式，我們來看三種：

就是原封不懂地把索引到的鏈接直接返回給用戶，缺點就不說了，想找自己感興趣的內容估計要費不少功夫。

這種方式是一種只從關鍵詞出現的次數和位置進行排序的方法。該方法以一個關鍵詞與網頁的相關度大小作為排序標准，而關鍵詞在網頁的相關度大小作為排序標准，而關鍵詞在網頁中的相關度則由它在網頁中出現的頻次和位置兩方面加權計算得出。

缺點也很明顯，容易出現刷分的情況，整篇文章中大量地刷關鍵詞就能提高排名。

真正找到計算網頁自身質量的完美的數學模型是Google的創始人拉里佩奇和謝爾蓋布林。 下一節講一下原理。

我們模擬一個悠閑的上網者，上網者首先隨機選擇一個網頁打開，然後在這個網頁上呆了幾分鍾後，跳轉到該網頁所指向的鏈接，這樣無所事事、漫無目的地在網頁上跳來跳去，PageRank就是估計這個悠閑的上網者分布在各個網頁上的概率，這個概率就代表這個網頁的重鏈大要性.

PageRank主要基於兩個重要的假設：

如果一篇文章被越來越多的人引用，那麼這篇文章可能就是一篇經典之作，如果這篇文章引用了其他的論文，那麼一定程度上這篇被引用的文章也是一篇很好的文章。應用到社交網路中，如果一個好友被更多的人關注，那麼說明該好友有很高的知名度和活躍度，那麼，我們可以將該好友推薦給用戶。

基於這兩個假設,我們可以總結出PageRank演算法的核心:

如下圖,可以更好的表達PageRank演算法的思想:

由上圖可知,每個頁面將自己的一部分rank傳遞給某個頁面，我們可悉嫌以通過計算傳遞給某個頁面的所有rank值的和來計算出它的rank值，當然，不可能是通過一次計算完成，我們剛開始可以給每個頁面賦予一個初始rank值，比如 1/N(N為頁面總數) ，通過迭代計算得到該頁面的rank值。

迭代計算停止的條件為:

使用有向圖表示:

這個例子中只有四個網頁，如果當前在A網頁，那麼悠閑的上網者將會各以1/3的概率跳轉到B、C、D，這里的3表示A有3條出鏈，如果一個網頁有k條出鏈，那麼跳轉任意一個出鏈上的概率是1/k，同理D到B、C的概率各為1/2，而B到C的概率為0。

我們在做計算的時候會將該圖表示成一個二維的矩陣，我們做一個轉換，就會變成下圖的矩陣形式。 M(i,j) 表示j節點指向i節點的概率 ，一般來說每列和為1。

生成的 轉移矩陣 非常簡單, 矩陣的每一列代表該頂點所代表的頁面除以對應頁面的出鏈數得到的 。

有了轉移矩陣，我們可以來定義行向量 V ， V 的第i個分量記錄 對應的Rank值，因此一次Rank的更新可以表示為：

在演算法的第一輪計算中，我們假設上網者在每一個網頁的概率都是相等的，即1/n，於是初試的概率分布就是一個所有值都為1/n的n維列向量 ，用 去右乘轉移矩陣M，就得到了第一步之後上網者的概率分布向量 ,得到一個nX1的矩陣 ， 這個 一輪迭代計算出來的PageRank值 。下面是 的計算過程：

得到了 後，再用 去右乘M得到 ，一直下去，即 , 最終V會收斂 .

不斷的迭代，最終得到結果.

但是在迭代計算中，我們需要考慮如下兩大阻力： Dead End 和 Spider Trap ：

Dead End就是指一個頁面只有入鏈但是沒有出鏈，這時轉移矩陣M的一列為零，導致最後結果為零。這時web不是強連通的，即存在某一類節點不指向別人，如下圖的D。這個時候我們的演算法就會出問題了，它不滿足收斂性了。

為什麼不滿足收斂性了？

Spider Trap指頁面的所有出鏈都指向自己，這樣會使迭代結果中只有自己的頁面的Rank值很高。其他頁面的Rank值為零。

要克服上面兩個問題，我們需要將迭代計算公式做如下轉變。我們可以加入一個 隨機跳轉 機制.

即假設每個頁面有很小概率擁有一個指向其他頁面的鏈接。

表現出來就是：其他頁面本來傳遞給一個頁面的Rank值需要做一個折扣，作為補償，可能需要一個頁面指向該頁面並且傳遞Rank值給該頁面，該跳轉的概率為β，因此表達式變為：

其中,N為頁面總數; e 為一個N維且各個分量都是1的向量;β通過經驗得知一般設為0.15.

此時的計算結果過程為:

有機會再寫,先空著

『叄』 數據結構中的是樹形的結構有哪些，演算法叫什麼名字

基礎類：二叉搜索（排序）樹，線索二叉樹，哈夫曼樹（最優二叉樹），二叉堆
平衡樹類：AVL，紅黑樹，2-3樹，2-3-4樹，B樹，B+樹，B-樹，treap，SBT。
優先隊列類：左高樹（左偏樹，可並堆，斜堆），雙端堆，斐波那契堆
集合類：並查集
區間樹類：線段樹，劃分樹，歸並樹，樹狀數組
字母樹類：字典樹，後綴樹。AC自動機演算法
動態樹類：伸展樹
計算幾何類：KD-tree （塊狀樹），4叉樹
RMQ轉LCA：笛卡爾樹
圖論相關：最小生成樹，無根樹
其它：敗者樹，博弈樹

『肆』 字元串匹配的傳統演算法

傳統的匹配演算法
串匹配演算法雖然發展了幾十年，然而非常實用的演算法是近年才出現。串匹配問題的研究存在理論研究和實際應用的脫節。那些專門從事演算法研究的學者關心的只是理論上看起來很美妙的演算法——具有很好的時間復雜度。而開發人員只追求實際應用中盡可能快的演算法。兩者之間從不注意對方在干什麼。將理論研究和實際應用結合的演算法(如BNDM演算法)只是近年才出現。在實際應用中常常很難找到適合需求的演算法——這樣的演算法實際上是存在的，但是只有資深專家才比較了解。考慮如下情況，一位軟體開發人員，或者一位計算生物學家，或者一位研究人員，又或者一位學生，對字元串匹配領域並沒有深入了解，可是現在需要處理一個文本搜索問題。那些汗牛充棟的書籍使得閱讀者淹沒在各種匹配演算法的海洋中，卻沒有足夠的知識選擇最適用的演算法。最後，常常導致這樣的局面：選擇一種最簡單的演算法加以實現。這往往導致很差的性能，從而影響整個開發系統的質量。更糟糕的是，選擇了一個理論上看起來很漂亮的演算法，並且花費了大量精力去實現。結果，卻發現實際效果和一個簡單演算法差不多，甚至還不如簡單演算法。因此，應該選用一種「實用」演算法，即在實際應用中性能較好，並且一個普通程序員能在幾小時內完成演算法的實現代碼。另外，在字元串匹配研究領域中，一個人所共知的事實是「演算法的思想越簡單，實際應用的效果越好」。
傳統的串匹配演算法可以概括為前綴搜索、後綴搜索、子串搜索。代表演算法有KMP，Shift-And，Shift-Or，BM，Horspool，BNDM，BOM等。所用到的技術包括滑動窗口、位並行、自動機、後綴樹等。

『伍』 面試會出哪些經典演算法題

如下：

1、排序演算法∶快速排序、歸並排序、計數排序

2、搜索演算法∶回溯、遞歸、剪枝技巧

3、圖論∶最短路、最小生成樹、網路流建模

4、動態規劃：背包問題、最長子序列、計數問題

5、基礎技巧：分治、倍增、二分、貪心

6、數組與鏈表：單/雙向鏈表、跳舞鏈

7、棧與隊列

8、樹與圖：最近公共祖先、並查集

9、哈希表

10、堆：大/小根堆、可並堆

11、字元串∶字典樹、後綴樹

演算法簡介：

演算法（Algorithm）是指解題方案的准確而完整的描述，是一系列解決問題的清晰指令，演算法代表著用系統的方法描述解決問題的策略機制。也就是說，能夠對一定規范的輸入，在有限時間內獲得所要求的輸出。

如果一個演算法有缺陷，或不適合於某個問題，執行這個演算法將不會解決這個問題。不同的演算法可能用不同的時間、空間或效率來完成同樣的任務。一個演算法的優劣可以用空間復雜度與時間復雜度來衡量。

演算法中的指令描述的是一個計算，當其運行時能從一個初始狀態和（可能為空的）初始輸入開始，經過一系列有限而清晰定義的狀態，最終產生輸出並停止於一個終態。一個狀態到另一個狀態的轉移不一定是確定的。隨機化演算法在內的一些演算法，包含了一些隨機輸入。

形式化演算法的概念部分源自嘗試解決希爾伯特提出的判定問題，並在其後嘗試定義有效計算性或者有效方法中成形。

這些嘗試包括庫爾特·哥德爾、Jacques Herbrand和斯蒂芬·科爾·克萊尼分別於1930年、1934年和1935年提出的遞歸函數，阿隆佐·邱奇於1936年提出的λ演算，1936年Emil Leon Post的Formulation 1和艾倫·圖靈1937年提出的圖靈機。即使在當前，依然常有直覺想法難以定義為形式化演算法的情況。