鏈接分析演算法

1. 如何理解網頁分析演算法

網頁分析演算法可以歸納為基於網路拓撲、基於網頁內容和基於用戶訪問行為三種類型。
1 基於網路拓撲的分析演算法
基於網頁之間的鏈接，通過已知的網頁或數據，來對與其有直接或間接鏈接關系的對象（可以是網頁或網站等）作出評價的演算法。又分為網頁粒度、網站粒度和網頁塊粒度這三種。
1.1 網頁(Webpage)粒度的分析演算法
PageRank和HITS演算法是最常見的鏈接分析演算法，兩者都是通過對網頁間鏈接度的遞歸和規范化計算，得到每個網頁的重要度評價。PageRank演算法雖然考慮了用戶訪問行為的隨機性和Sink網頁的存在，但忽略了絕大多數用戶訪問時帶有目的性，即網頁和鏈接與查詢主題的相關性。針對這個問題，HITS演算法提出了兩個關鍵的概念：權威型網頁（authority）和中心型網頁（hub）。
基於鏈接的抓取的問題是相關頁面主題團之間的隧道現象，即很多在抓取路徑上偏離主題的網頁也指向目標網頁，局部評價策略中斷了在當前路徑上的抓取行為。文獻提出了一種基於反向鏈接（BackLink）的分層式上下文模型（Context Model），用於描述指向目標網頁一定物理跳數半徑內的網頁拓撲圖的中心Layer0為目標網頁，將網頁依據指向目標網頁的物理跳數進行層次劃分，從外層網頁指向內層網頁的鏈接稱為反向鏈接。
1.2 網站粒度的分析演算法
網站粒度的資源發現和管理策略也比網頁粒度的更簡單有效。網站粒度的爬蟲抓取的關鍵之處在於站點的劃分和站點等級(SiteRank)的計算。SiteRank的計算方法與PageRank類似，但是需要對網站之間的鏈接作一定程度抽象，並在一定的模型下計算鏈接的權重。
網站劃分情況分為按域名劃分和按IP地址劃分兩種。文獻討論了在分布式情況下，通過對同一個域名下不同主機、伺服器的IP地址進行站點劃分，構造站點圖，利用類似PageRank的方法評價SiteRank。同時，根據不同文件在各個站點上的分布情況，構造文檔圖，結合SiteRank分布式計算得到DocRank。文獻證明，利用分布式的SiteRank計算，不僅大大降低了單機站點的演算法代價，而且克服了單獨站點對整個網路覆蓋率有限的缺點。附帶的一個優點是，常見PageRank 造假難以對SiteRank進行欺騙。
1.3 網頁塊粒度的分析演算法
在一個頁面中，往往含有多個指向其他頁面的鏈接，這些鏈接中只有一部分是指向主題相關網頁的，或根據網頁的鏈接錨文本表明其具有較高重要性。但是，在PageRank和HITS演算法中，沒有對這些鏈接作區分，因此常常給網頁分析帶來廣告等雜訊鏈接的干擾。在網頁塊級別(Blocklevel)進行鏈接分析的演算法的基本思想是通過VIPS網頁分割演算法將網頁分為不同的網頁塊(page block)，然後對這些網頁塊建立pagetoblock和blocktopage的鏈接矩陣，分別記為Z和X。於是，在pagetopage圖上的網頁塊級別的PageRank為Wp=X×Z；在blocktoblock圖上的BlockRank為Wb=Z×X。已經有人實現了塊級別的PageRank和HITS演算法，並通過實驗證明，效率和准確率都比傳統的對應演算法要好。
2 基於網頁內容的網頁分析演算法
基於網頁內容的分析演算法指的是利用網頁內容（文本、數據等資源）特徵進行的網頁評價。網頁的內容從原來的以超文本為主，發展到後來動態頁面（或稱為hidden web）數據為主，後者的數據量約為直接可見頁面數據（PIW，publiclyIndexable Web）的400~500倍。另一方面，多媒體數據、Web Service等各種網路資源形式也日益豐富。因此，基於網頁內容的分析演算法也從原來的較為單純的文本檢索方法，發展為涵蓋網頁數據抽取、機器學習、數據挖掘、語義理解等多種方法的綜合應用。本節根據網頁數據形式的不同，將基於網頁內容的分析演算法，歸納以下三類：第一種針對以文本和超鏈接為主的無結構或結構很簡單的網頁；第二種針對從結構化的數據源（如RDBMS）動態生成的頁面，其數據不能直接批量訪問；第三種針對的數據界於第一和第二類數據之間，具有較好的結構，顯示遵循一定模式或風格，且可以直接訪問。
2.1 基於文本的網頁分析演算法
1) 純文本分類與聚類演算法
很大程度上借用了文本檢索的技術。文本分析演算法可以快速有效的對網頁進行分類和聚類，但是由於忽略了網頁間和網頁內部的結構信息，很少單獨使用。
2) 超文本分類和聚類演算法

2. 風靡全球的十大演算法

作者 | George Dvorsky

編譯 | 深度學習這件小事

1 排序演算法

所謂排序，就是使一串記錄，按照其中的某個或某些關鍵字的大小，遞增或遞減的排列起來的操作。排序演算法，就是如何使得記錄按照要求排列的方法。排序演算法在很多領域得到相當地重視，尤其是在大量數據的處理方面。一個優秀的演算法可以節省大量的資源。

穩定的

冒泡排序（bubble sort） — O(n^2） 雞尾酒排序(Cocktail sort，雙向的冒泡排序) — O(n^2） 插入排序（insertion sort）— O(n^2) 桶排序（bucket sort）— O(n); 需要 O(k) 額外空間 計數排序(counting sort) — O(n+k); 需要 O(n+k) 額外空間 合並排序（merge sort）— O(nlog n);需要 O(n) 額外空間 原地合並排序— O(n^2) 二叉排序樹排序 （Binary tree sort） — O(nlog n)期望時間； O(n^2)最壞時間；需要 O(n) 額外空間 鴿巢排序(Pigeonhole sort)— O(n+k); 需要 O(k) 額外空間 基數排序（radix sort）— O(n·k); 需要 O(n) 額外空間 Gnome 排序— O(n^2) 圖書館排序— O(nlog n) withhigh probability，需要（1+ε)n額外空間

不穩定的

選擇排序（selection sort）— O(n^2) 希爾排序（shell sort）— O(nlog n) 如果使用最佳的現在版本 組合排序— O(nlog n) 堆排序（heapsort）— O(nlog n) 平滑排序— O(nlog n) 快速排序（quicksort）— O(nlog n) 期望時間，O(n^2) 最壞情況；對於大的、亂數列表一般相信是最快的已知排序 Introsort—O(nlog n) Patience sorting— O(nlog n+k) 最壞情況時間，需要額外的 O(n+ k) 空間，也需要找到最長的遞增子串列（longest increasing subsequence）

不實用的

Bogo排序— O(n× n!) 期望時間，無窮的最壞情況。 Stupid sort— O(n^3); 遞歸版本需要 O(n^2)額外存儲器 珠排序（Bead sort） — O(n) or O（√n)，但需要特別的硬體 Pancake sorting— O(n)，但需要特別的硬體 stooge sort——O（n^2.7）很漂亮但是很耗時

2 傅立葉變換與快速傅立葉變換

傅立葉是一位法國數學家和物理學家，原名是JeanBaptiste Joseph Fourier(1768-1830), Fourier於1807年在法國科學學會上發表了一篇論文，論文里描述運用正弦曲線來描述溫度分布，論文里有個在當時具有爭議性的決斷：任何連續周期信號都可以由一組適當的正弦曲線組合而成。當時審查這個論文拉格朗日堅決反對此論文的發表，而後在近50年的時間里，拉格朗日堅持認為傅立葉的方法無法表示帶有稜角的信號，如在方波中出現非連續變化斜率。直到拉格朗日死後15年這個論文才被發表出來。誰是對的呢？拉格朗日是對的：正弦曲線無法組合成一個帶有稜角的信號。但是，我們可以用正弦曲線來非常逼近地表示它，逼近到兩種表示方法不存在能量差別，基於此，傅立葉是對的。為什麼我們要用正弦曲線來代替原來的曲線呢？如我們也還可以用方波或三角波來代替呀，分解信號的方法是無窮多的，但分解信號的目的是為了更加簡單地處理原來的信號。用正餘弦來表示原信號會更加簡單，因為正餘弦擁有原信號所不具有的性質：正弦曲線保真度。一個正餘弦曲線信號輸入後，輸出的仍是正餘弦曲線，只有幅度和相位可能發生變化，但是頻率和波的形狀仍是一樣的。且只有正餘弦曲線才擁有這樣的性質，正因如此我們才不用方波或三角波來表示。

3 Dijkstra 演算法

Dijkstra演算法是典型的演算法。Dijkstra演算法是很有代表性的演算法。Dijkstra一般的表述通常有兩種方式，一種用永久和臨時標號方式，一種是用OPEN, CLOSE表的方式，這里均採用永久和臨時標號的方式。注意該演算法要求圖中不存在負權邊。

4 RSA演算法變換

RSA是目前最有影響力的公鑰加密演算法，它能夠抵抗到目前為止已知的絕大多數密碼攻擊，已被ISO推薦為公鑰數據加密標准。今天只有短的RSA鑰匙才可能被強力方式解破。到2008年為止，世界上還沒有任何可靠的攻擊RSA演算法的方式。只要其鑰匙的長度足夠長，用RSA加密的信息實際上是不能被解破的。但在分布式計算和量子計算機理論日趨成熟的今天，RSA加密安全性受到了挑戰。

5 安全哈希演算法

一種對輸入信息（例如消息）進行摘要的演算法。摘要過程能夠完成下列特點：不同的輸入信息絕對不會具有相同的指紋：相近輸入信息經過摘要之後的輸出信息具有較大的差異，同時計算上很難生產一個與給定輸入具有相同指紋的輸入。（即不可逆）。

6 整數因式分解

這是在計算機領域被大量使用的數學演算法，沒有這個演算法，信息加密會更不安全。該演算法定義了一系列步驟，得到將一合數分解為更小因子的質數分解式。這被認為是一種FNP問題，它是NP分類問題的延伸，極其難以解決。許多加密協議（如RSA演算法）都基於這樣一個原理：對大的合數作因式分解是非常困難的。如果一個演算法能夠快速地對任意整數進行因式分解，RSA的公鑰加密體系就會失去其安全性。量子計算的誕生使我們能夠更容易地解決這類問題，同時它也打開了一個全新的領域，使得我們能夠利用量子世界中的特性來保證系統安全。

7 鏈接分析

鏈接分析，源於對Web結構中超鏈接的多維分析。當前其應用主要體現在網路信息檢索、網路計量學、數據挖掘、Web結構建模等方山。作為Google的核心技術之一，鏈接分析演算法應用已經顯現出j驚人的商業價值。

8 比例積分微分演算法

你是否曾經用過飛機、汽車、衛星服務或手機網路？你是否曾經在工廠工作或是看見過機器人？如果回答是肯定的，那麼你應該已經見識過這個演算法了。大體上，這個演算法使用一種控制迴路反饋機制，將期望輸出信號和實際輸出信號之間的錯誤最小化。無論何處，只要你需要進行信號處理，或者你需要一套電子系統，用來自動化控制機械、液壓或熱力系統，這個演算法都會有用武之地。可以這樣說，如果沒有這個演算法，現代文明將不復存在。

9 數據壓縮演算法

在現今的電子信息技術領域，正發生著一場有長遠影響的數字化革命。由於數字化的多媒體信息尤其是數字視頻、音頻信號的數據量特別龐大，如果不對其進行有效的壓縮就難以得到實際的應用。因此，數據壓縮技術已成為當今數字通信、廣播、存儲和多媒體娛樂中的一項關鍵的共性技術。

10 隨機數生成

在統計學的不同技術中需要使用隨機數，比如在從統計總體中抽取有代表性的樣本的時候，或者在將實驗動物分配到不同的試驗組的過程中，或者在進行蒙特卡羅模擬法計算的時候等等。

3. WEB超鏈分析演算法的WEB超鏈分析演算法

搜索引擎Google最初是斯坦福大學的博士研究生Sergey Brin和Lawrence Page實現的一個原型系統[2]，現在已經發展成為WWW上最好的搜索引擎之一。Google的體系結構類似於傳統的搜索引擎，它與傳統的搜索引擎最大的不同處在於對網頁進行了基於權威值的排序處理，使最重要的網頁出現在結果的最前面。Google通過PageRank元演算法計算出網頁的PageRank值，從而決定網頁在結果集中的出現位置，PageRank值越高的網頁，在結果中出現的位置越前。
2.1.1PageRank演算法
PageRank演算法基於下面2個前提：
前提1：一個網頁被多次引用，則它可能是很重要的；一個網頁雖然沒有被多次引用，但是被重要的網頁引用，則它也可能是很重要的；一個網頁的重要性被平均的傳遞到它所引用的網頁。這種重要的網頁稱為權威（Authoritive）網頁。
前提2：假定用戶一開始隨機的訪問網頁集合中的一個網頁，以後跟隨網頁的向外鏈接向前瀏覽網頁，不回退瀏覽，瀏覽下一個網頁的概率就是被瀏覽網頁的PageRank值。
簡單PageRank演算法描述如下：u是一個網頁，是u指向的網頁集合，是指向u的網頁集合，是u指向外的鏈接數，顯然=| | ，c是一個用於規范化的因子（Google通常取0.85），（這種表示法也適用於以後介紹的演算法）則u的Rank值計算如下：
這就是演算法的形式化描述，也可以用矩陣來描述此演算法，設A為一個方陣，行和列對應網頁集的網頁。如果網頁i有指向網頁j的一個鏈接，則，否則=0。設V是對應網頁集的一個向量，有V=cAV，V為A的特徵根為c的特徵向量。實際上，只需要求出最大特徵根的特徵向量，就是網頁集對應的最終PageRank值，這可以用迭代方法計算。
如果有2個相互指向的網頁a，b,他們不指向其它任何網頁，另外有某個網頁c，指向a，b中的某一個，比如a，那麼在迭代計算中，a，b的rank值不分布出去而不斷的累計。如下圖：
為了解決這個問題，Sergey Brin和Lawrence Page改進了演算法，引入了衰退因子E(u)，E(U)是對應網頁集的某一向量，對應rank的初始值，演算法改進如下：
其中，=1，對應的矩陣形式為V』=c(AV』+E)。
另外還有一些特殊的鏈接，指向的網頁沒有向外的鏈接。PageRank計算時，把這種鏈接首先除去，等計算完以後再加入，這對原來計算出的網頁的rank值影響是很小的。
Pagerank演算法除了對搜索結果進行排序外，還可以應用到其它方面，如估算網路流量，向後鏈接的預測器，為用戶導航等[2]。
2.1.2演算法的一些問題
Google是結合文本的方法來實現PageRank演算法的[2]，所以只返回包含查詢項的網頁，然後根據網頁的rank值對搜索到的結果進行排序，把rank值最高的網頁放置到最前面，但是如果最重要的網頁不在結果網頁集中，PageRank演算法就無能為力了，比如在 Google中查詢search engines，像Google，Yahoo，Altivisa等都是很重要的，但是Google返回的結果中這些網頁並沒有出現。 同樣的查詢例子也可以說明另外一個問題，Google，Yahoo是WWW上最受歡迎的網頁，如果出現在查詢項car的結果集中，一定會有很多網頁指向它們，就會得到較高的rank值， 事實上他們與car不太相關。
在PageRank演算法的基礎上，其它的研究者提出了改進的PageRank演算法。華盛頓大學計算機科學與工程系的Matthew Richardson和Pedro Dominggos提出了結合鏈接和內容信息的PageRank演算法，去除了PageRank演算法需要的前提2，增加考慮了用戶從一個網頁直接跳轉到非直接相鄰的但是內容相關的另外一個網頁的情況[3]。斯坦大學計算機科學系Taher Haveliwala提出了主題敏感（Topic-sensitive）PageRank演算法[4]。斯坦福大學計算機科學系Arvind Arasu等經過試驗表明，PageRank演算法計算效率還可以得到很大的提高[22]。 PageRank演算法中對於向外鏈接的權值貢獻是平均的，也就是不考慮不同鏈接的重要性。而WEB的鏈接具有以下特徵：
1.有些鏈接具有注釋性，也有些鏈接是起導航或廣告作用。有注釋性的鏈接才用於權威判斷。
2.基於商業或競爭因素考慮，很少有WEB網頁指向其競爭領域的權威網頁。
3.權威網頁很少具有顯式的描述，比如Google主頁不會明確給出WEB搜索引擎之類的描述信息。
可見平均的分布權值不符合鏈接的實際情況[17]。J. Kleinberg[5]提出的HITS演算法中引入了另外一種網頁，稱為Hub網頁，Hub網頁是提供指向權威網頁鏈接集合的WEB網頁，它本身可能並不重要，或者說沒有幾個網頁指向它，但是Hub網頁確提供了指向就某個主題而言最為重要的站點的鏈接集合，比一個課程主頁上的推薦參考文獻列表。一般來說，好的Hub網頁指向許多好的權威網頁；好的權威網頁是有許多好的Hub網頁指向的WEB網頁。這種Hub與Authoritive網頁之間的相互加強關系，可用於權威網頁的發現和WEB結構和資源的自動發現，這就是Hub/Authority方法的基本思想。
2.2.1HITS演算法
HITS（Hyperlink－Inced Topic Search）演算法是利用Hub/Authority方法的搜索方法，演算法如下：將查詢q提交給傳統的基於關鍵字匹配的搜索引擎．搜索引擎返回很多網頁，從中取前n個網頁作為根集(root set)，用S表示。S滿足如下3個條件：
1．S中網頁數量相對較小
2．S中網頁大多數是與查詢q相關的網頁
3．S中網頁包含較多的權威網頁。
通過向S中加入被S引用的網頁和引用S的網頁將S擴展成一個更大的集合T．
以T中的Hub網頁為頂點集Vl，以權威網頁為頂點集V2，Vl中的網頁到V2中的網頁的超鏈接為邊集E，形成一個二分有向圖SG=(V1，V2，E)。對V1中的任一個頂點v，用h(v)表示網頁v的Hub值，對V2中的頂點u，用a(u)表示網頁的Authority值。開始時h(v)=a(u)=1，對u執行I操作修改它的a(u)，對v執行O操作修改它的h(v)，然後規范化a（u），h（v），如此不斷的重復計算下面的操作I，O，直到a（u），h（v）收斂。（證明此演算法收斂可見）
I 操作： （1） O操作： （2）
每次迭代後需要對a(u),h(v)進行規范化處理：
式(1)反映了若一個網頁由很多好的Hub指向，則其權威值會相應增加(即權威值增加為所有指向它的網頁的現有Hub值之和)。式(2)反映了若一個網頁指向許多好的權威頁，則Hub值也會相應增加(即Hub值增加為該網頁鏈接的所有網頁的權威值之和)。
和PageRank演算法一樣，可以用矩陣形式來描述演算法，這里省略不寫。
HITS演算法輸出一組具有較大Hub值的網頁和具有較大權威值的網頁。
2.2.2HITS的問題
HITS演算法有以下幾個問題：
1．實際應用中，由S生成T的時間開銷是很昂貴的，需要下載和分析S中每個網頁包含的所有鏈接，並且排除重復的鏈接。一般T比S大很多，由T生成有向圖也很耗時。需要分別計算網頁的A/H值，計算量比PageRank演算法大。
2．有些時候，一主機A上的很多文檔可能指向另外一台主機B上的某個文檔，這就增加了A上文檔的Hub值和B上文檔的Authority，相反的情況也如此。HITS是假定某一文檔的權威值是由不同的單個組織或者個人決定的，上述情況影響了A和B上文檔的Hub和Authority值[7]。
3．網頁中一些無關的鏈接影響A，H值的計算。在製作網頁的時候，有些開發工具會自動的在網頁上加入一些鏈接，這些鏈接大多是與查詢主題無關的。同一個站點內的鏈接目的是為用戶提供導航幫助，也與查詢主題不甚無關，還有一些商業廣告，贊助商和用於友情交換的鏈接，也會降低HITS演算法的精度[8]。
4．HITS演算法只計算主特徵向量，也就是只能發現T集合中的主社區（Community），忽略了其它重要的社區[12]。事實上，其它社區可能也非常重要。
5．HITS演算法最大的弱點是處理不好主題漂移問題（topic drift）[7,8]，也就是緊密鏈接TKC（Tightly-Knit Community Effect）現象[8]。如果在集合T中有少數與查詢主題無關的網頁，但是他們是緊密鏈接的，HITS演算法的結果可能就是這些網頁，因為HITS只能發現主社區，從而偏離了原來的查詢主題。下面討論的SALSA演算法中解決了TKC問題。
6．用HITS進行窄主題查詢時，可能產生主題泛化問題[5,9]，即擴展以後引入了比原來主題更重要的新的主題，新的主題可能與原始查詢無關。泛化的原因是因為網頁中包含不同主題的向外鏈接，而且新主題的鏈接具有更加的重要性。
2.2.3HITS的變種
HITS演算法遇到的問題，大多是因為HITS是純粹的基於鏈接分析的演算法，沒有考慮文本內容，繼J. Kleinberg提出HITS演算法以後，很多研究者對HITS進行了改進，提出了許多HITS的變種演算法，主要有：
2.2.3.1Monika R. Henzinger和Krishna Bharat對HITS的改進
對於上述提到的HITS遇到的第2個問題，Monika R. Henzinger和Krishna Bharat在[7]中進行了改進。假定主機A上有k個網頁指向主機B上的某個文檔d，則A上的k個文檔對B的Authority貢獻值總共為1,每個文檔貢獻1/k，而不是HITS中的每個文檔貢獻1，總共貢獻k。類似的，對於Hub值，假定主機A上某個文檔t指向主機B上的m個文檔，則B上m個文檔對t的Hub值總共貢獻1，每個文檔貢獻1/m。I，O操作改為如下
I 操作：
O操作：
調整後的演算法有效的解決了問題2，稱之為imp演算法。
在這基礎上，Monika R. Henzinger和Krishna Bharat還引入了傳統信息檢索的內容分析技術來解決4和5，實際上也同時解決了問題3。具體方法如下，提取根集S中的每個文檔的前1000個詞語，串連起來作為查詢主題Q，文檔Dj和主題Q的相似度按如下公式計算：
，，=項i在查詢Q中的出現次數，
=項i在文檔Dj中的出現次數，IDFi是WWW上包含項i的文檔數目的估計值。
在S擴展到T後，計算每個文檔的主題相似度，根據不同的閾值（threshold）進行刷選，可以選擇所有文檔相似度的中值，根集文檔相似度的中值，最大文檔相似度的分數，如1/10，作為閾值。根據不同閾值進行處理，刪除不滿足條件的文檔，再運行imp演算法計算文檔的A/H值，這些演算法分別稱為med，startmed，maxby10。
在此改進的演算法中，計算文檔的相似度時間開銷會很大。
2.2.3.2ARC演算法
IBM Almaden研究中心的Clever工程組提出了ARC（Automatic Resource Compilation）演算法，對原始的HITS做了改進，賦予網頁集對應的連結矩陣初值時結合了鏈接的錨（anchor）文本，適應了不同的鏈接具有不同的權值的情況。
ARC演算法與HITS的不同主要有以下3點：
1．由根集S擴展為T時，HITS只擴展與根集中網頁鏈接路徑長度為1的網頁，也就是只擴展直接與S相鄰的網頁，而ARC中把擴展的鏈接長度增加到2，擴展後的網頁集稱為增集（Augment Set）。
2．HITS演算法中，每個鏈接對應的矩陣值設為1，實際上每個鏈接的重要性是不同的，ARC演算法考慮了鏈接周圍的文本來確定鏈接的重要性。考慮鏈接p－>q，p中有若干鏈接標記，文本1<a href=」q」>錨文本</a>文本2，設查詢項t在文本1，錨文本，文本2，出現的次數為n（t），則w（p，q）=1+n（t）。文本1和文本2的長度經過試驗設為50位元組[10]。構造矩陣W，如果有網頁i－>j ，Wi,j=w（i，j），否則Wi,j=0，H值設為1，Z為W的轉置矩陣，迭代執行下面3個的操作：
（1）A=WH （2）H=ZA （3）規范化A，H
3．ARC演算法的目標是找到前15個最重要的網頁，只需要A/H的前15個值相對大小保持穩定即可，不需要A/H整個收斂，這樣2中迭代次數很小就能滿足，[10]中指出迭代5次就可以，所以ARC演算法有很高的計算效率，開銷主要是在擴展根集上。
2.2.3.3Hub平均（ Hub－Averaging－Kleinberg）演算法
Allan Borodin等在[11]指出了一種現象，設有M+1個Hub網頁，M+1個權威網頁，前M個Hub指向第一個權威網頁，第M+1個Hub網頁指向了所有M+1個權威網頁。顯然根據HITS演算法，第一個權威網頁最重要，有最高的Authority值，這是我們希望的。但是，根據HITS，第M+1個Hub網頁有最高的Hub值，事實上，第M+1個Hub網頁既指向了權威值很高的第一個權威網頁，同時也指向了其它權威值不高的網頁，它的Hub值不應該比前M個網頁的Hub值高。因此，Allan Borodin修改了HITS的O操作：
O操作： ，n是(v,u)的個數
調整以後，僅指向權威值高的網頁的Hub值比既指向權威值高又指向權威值低的網頁的Hub值高，此演算法稱為Hub平均（Hub－Averaging－Kleinberg）演算法。
2.2.3.4閾值（Threshhold—Kleinberg）演算法
Allan Borodin等在[11]中同時提出了3種閾值控制的演算法，分別是Hub閾值演算法，Authority閾值演算法，以及結合2者的全閾值演算法。
計算網頁p的Authority時候，不考慮指向它的所有網頁Hub值對它的貢獻，只考慮Hub值超過平均值的網頁的貢獻，這就是Hub閾值方法。
Authority閾值演算法和Hub閾值方法類似，不考慮所有p指向的網頁的Authority對p的Hub值貢獻，只計算前K個權威網頁對它Hub值的貢獻，這是基於演算法的目標是查找最重要的K個權威網頁的前提。
同時使用Authority閾值演算法和Hub閾值方法的演算法，就是全閾值演算法 PageRank演算法是基於用戶隨機的向前瀏覽網頁的直覺知識，HITS演算法考慮的是Authoritive網頁和Hub網頁之間的加強關系。實際應用中，用戶大多數情況下是向前瀏覽網頁，但是很多時候也會回退瀏覽網頁。基於上述直覺知識，R. Lempel和S. Moran提出了SALSA（Stochastic Approach for Link-Structure Analysis）演算法[8]，考慮了用戶回退瀏覽網頁的情況，保留了PageRank的隨機漫遊和HITS中把網頁分為Authoritive和Hub的思想，取消了Authoritive和Hub之間的相互加強關系。
具體演算法如下：
1．和HITS演算法的第一步一樣，得到根集並且擴展為網頁集合T，並除去孤立節點。
2．從集合T構造無向圖G』=（Vh，Va，E）
Vh = { sh | s∈C and out-degree(s) > 0 } ( G』的Hub邊).
Va = { sa | s∈C and in-degree(s) > 0 } (G』的Authority邊).
E= { (sh , ra) |s－>r in T}
這就定義了2條鏈，Authority鏈和Hub鏈。
3．定義2條馬爾可夫鏈的變化矩陣，也是隨機矩陣，分別是Hub矩陣H，Authority矩陣A。
4．求出矩陣H，A的主特徵向量，就是對應的馬爾可夫鏈的靜態分布。
5．A中值大的對應的網頁就是所要找的重要網頁。
SALSA演算法沒有HITS中相互加強的迭代過程，計算量遠小於HITS。SALSA演算法只考慮直接相鄰的網頁對自身A/H的影響，而HITS是計算整個網頁集合T對自身AH的影響。
實際應用中，SALSA在擴展根集時忽略了很多無關的鏈接，比如
1．同一站點內的鏈接，因為這些鏈接大多隻起導航作用。
2．CGI 腳本鏈接。
3．廣告和贊助商鏈接。
試驗結果表明，對於單主題查詢java，SALSA有比HITS更精確的結果，對於多主題查詢abortion，HITS的結果集中於主題的某個方面，而SALSA演算法的結果覆蓋了多個方面，也就是說，對於TKC現象，SALSA演算法比HITS演算法有更高的健壯性。
2.3.1BFS（Backword Forward Step）演算法
SALSA演算法計算網頁的Authority值時，只考慮網頁在直接相鄰網頁集中的受歡迎程度，忽略其它網頁對它的影響。HITS演算法考慮的是整個圖的結構，特別的，經過n步以後，網頁i的Authority的權重是，為離開網頁i的的路徑的數目，也就是說網頁j<>i，對i的權值貢獻等於從i到j的路徑的數量。如果從i到j包含有一個迴路，那麼j對i的貢獻將會呈指數級增加，這並不是演算法所希望的，因為迴路可能不是與查詢相關的。
因此，Allan Borodin等[11]提出了BFS（Backward Forward Step）演算法，既是SALSA的擴展情況，也是HITS的限制情況。基本思想是，SALSA只考慮直接相鄰網頁的影響，BFS擴展到考慮路徑長度為n的相鄰網頁的影響。在BFS中，被指定表示能通過路徑到達i的結點的集合，這樣j對i的貢獻依賴就與j到i的距離。BFS採用指數級降低權值的方式，結點i的權值計算公式如下：
=|B(i)|+ |BF(i)| +|BFB(i)|+……+||
演算法從結點i開始，第一步向後訪問，然後繼續向前或者向後訪問鄰居，每一步遇到新的結點加入權值計算，結點只有在第一次被訪問時加入進去計算。 D.Cohn and H.Chang提出了計算Hub和Authority的統計演算法PHITS（Probabilistic analogue of the HITS）[12]。他們提出了一個概率模型，在這個模型裡面一個潛在的因子或者主題z影響了文檔d到文檔c的一個鏈接，他們進一步假定，給定因子z，文檔c的條件分布P(c|z)存在，並且給定文檔d，因子z的條件分布P（z|d）也存在。
P(d) P(z|d) P(c|z) ，其中
根據這些條件分布，提出了一個可能性函數（likelihood function）L,
，M是對應的連結矩陣
然後，PHITS演算法使用Dempster等提出的EM演算法[20]分配未知的條件概率使得L最大化，也就是最好的解釋了網頁之間的鏈接關系。演算法要求因子z的數目事先給定。Allan Borodin指出，PHITS中使用的EM演算法可能會收斂於局部的最大化，而不是真正的全局最大化[11]。D. Cohn和T. Hofmann還提出了結合文檔內容和超鏈接的概率模型[13]。 Allan Borodin等提出了完全的貝葉斯統計方法來確定Hub和Authoritive網頁[11]。假定有M個Hub網頁和N個Authority網頁，可以是相同的集合。每個Hub網頁有一個未知的實數參數，表示擁有超鏈的一般趨勢，一個未知的非負參數，表示擁有指向Authority網頁的鏈接的趨勢。每個Authoritive網頁j，有一個未知的非負參數，表示j的Authority的級別。
統計模型如下，Hub網頁i到Authority網頁j的鏈接的先驗概率如下給定：
P（i，j）=Exp（+）/（1+Exp（+））
Hub網頁i到Authority網頁j沒有鏈接時，P（i，j）=1/（1+Exp（+））
從以上公式可以看出，如果很大（表示Hub網頁i有很高的趨勢指向任何一個網頁），或者和都很大（表示i是個高質量Hub，j是個高質量的Authority網頁），那麼i－>j的鏈接的概率就比較大。
為了符合貝葉斯統計模型的規范，要給2M+N個未知參數（，，）指定先驗分布，這些分布應該是一般化的，不提供信息的，不依賴於被觀察數據的，對結果只能產生很小影響的。Allan Borodin等在中指定滿足正太分布N（μ，）,均值μ=0，標准方差δ=10，指定和滿足Exp（1）分布，即x>=0，P(>=x)=P(>=x)=Exp（－x）。
接下來就是標準的貝葉斯方法處理和HITS中求矩陣特徵根的運算。
2.5.1簡化的貝葉斯演算法
Allan Borodin同時提出了簡化的上述貝葉斯演算法，完全除去了參數，也就不再需要正太分布的參數μ，δ了。計算公式變為：P（i，j）=/（1+），Hub網頁到Authority網頁j沒有鏈接時，P（i，j）=1/(1+)。
Allan Borodin 指出簡化的貝葉斯產生的效果與SALSA演算法的結果非常類似。 上面的所有演算法，都是從查詢項或者主題出發，經過演算法處理，得到結果網頁。多倫多大學計算機系Alberto Mendelzon, Davood Rafiei提出了一種反向的演算法，輸入為某個網頁的URL地址，輸出為一組主題，網頁在這些主題上有聲望（repution）[16]。比如輸入，www.gamelan.com，可能的輸出結果是「java」，具體的系統可以訪問htpp://www.cs.toronto.e/db/topic。
給定一個網頁p，計算在主題t上的聲望，首先定義2個參數，滲透率和聚焦率，簡單起見，網頁p包含主題項t，就認為p在主題t上。
是指向p而且包含t的網頁數目，是指向p的網頁數目，是包含t的網頁數目。結合非條件概率，引入，，是WEB上網頁的數目。P在t上的聲望計算如下：
指定是既指向p有包含t的概率，即，顯然有
我們可以從搜索引擎（如Altavista）的結果得到，, ,WEB上網頁的總數估計值某些組織會經常公布，在計算中是個常量不影響RM的排序，RM最後如此計算：
給定網頁p和主題t，RM可以如上計算，但是多數的情況的只給定網頁p，需要提取主題後計算。演算法的目標是找到一組t，使得RM（p，t）有較大的值。TOPIC系統中是抽取指向p的網頁中的錨文本的單詞作為主題（上面已經討論過錨文本能很好描述目標網頁，精度很高），避免了下載所有指向p的網頁，而且RM（p，t）的計算很簡單，演算法的效率較高。主題抽取時，還忽略了用於導航、重復的鏈接的文本，同時也過濾了停止字（stop word），如「a」，「the」，「for」，「in」等。
Reputation演算法也是基於隨機漫遊模型的（random walk），可以說是PageRank和SALSA演算法的結合體。
3.鏈接演算法的分類及其評價
鏈接分析演算法可以用來提高搜索引擎的查詢效果，可以發現WWW上的重要的社區，可以分析某個網站的拓撲結構，聲望，分類等，可以用來實現文檔的自動分類等。歸根結底，能夠幫助用戶在WWW海量的信息裡面准確找到需要的信息。這是一個正在迅速發展的研究領域。
上面我們從歷史的角度總結了鏈接分析演算法的發展歷程，較為詳細的介紹了演算法的基本思想和具體實現，對演算法的存在的問題也做了討論。這些演算法有的處於研究階段，有的已經在具體的系統實現了。這些演算法大體可以分為3類，基於隨機漫遊模型的，比如PageRank，Repution演算法，基於Hub和Authority相互加強模型的，如HITS及其變種，基於概率模型的，如SALSA，PHITS，基於貝葉斯模型的，如貝葉斯演算法及其簡化版本。所有的演算法在實際應用中都結合傳統的內容分析技術進行了優化。一些實際的系統實現了某些演算法，並且獲得了很好的效果，Google實現了PageRank演算法，IBM Almaden Research Center 的Clever Project實現了ARC演算法，多倫多大學計算機系實現了一個原型系統TOPIC，來計算指定網頁有聲望的主題。
AT&T香農實驗室的Brian Amento在指出，用權威性來評價網頁的質量和人類專家評價的結果是一致的，並且各種鏈接分析演算法的結果在大多數的情況下差別很小[15]。但是，Allan Borodin也指出沒有一種演算法是完美的，在某些查詢下，結果可能很好，在另外的查詢下，結果可能很差[11]。所以應該根據不同查詢的情況，選擇不同的合適的演算法。
基於鏈接分析的演算法，提供了一種衡量網頁質量的客觀方法，獨立於語言，獨立於內容，不需人工干預就能自動發現WEB上重要的資源，挖掘出WEB上重要的社區，自動實現文檔分類。但是也有一些共同的問題影響著演算法的精度。
1．根集的質量。根集質量應該是很高的，否則，擴展後的網頁集會增加很多無關的網頁，產生主題漂移，主題泛化等一系列的問題，計算量也增加很多。演算法再好，也無法在低質量網頁集找出很多高質量的網頁。
2．噪音鏈接。WEB上不是每個鏈接都包含了有用的信息，比如廣告，站點導航，贊助商，用於友情交換的鏈接，對於鏈接分析不僅沒有幫助，而且還影響結果。如何有效的去除這些無關鏈接，也是演算法的一個關鍵點。
3．錨文本的利用。錨文本有很高的精度，對鏈接和目標網頁的描述比較精確。上述演算法在具體的實現中利用了錨文本來優化演算法。如何准確充分的利用錨文本，對演算法的精度影響很大。
4．查詢的分類。每種演算法都有自身的適用情況，對於不同的查詢，應該採用不同的演算法，以求獲得最好的結果。因此，對於查詢的分類也顯得非常重要。
結束語：當然，這些問題帶有很大的主觀性，比如，質量不能精確的定義，鏈接是否包含重要的信息也沒有有效的方法能准確的判定，分析錨文本又涉及到語義問題，查詢的分類也沒有明確界限。如果演算法要取得更好的效果，在這幾個方面需要繼續做深入的研究，相信在不久的將來會有更多的有趣和有用的成果出現。