霍演算法

『壹』 貪心演算法：最小生成樹，霍夫曼編碼

連通圖： 在無向圖中，若任意兩個頂點vi與vj都有路徑相通，則稱該無向圖為連通圖。
強連通圖（Strongly Connected Graph） 是指在有向圖G中，如果對於每一對vi、vj，vi≠vj，從vi到vj和從vj到vi都存在路徑，則稱G是強連通圖。
連通網： 在連通圖中，若圖的邊具有一定的意義，每一條邊都對應著一個數，稱為權；權代表著連接連個頂點的代價，稱這種連通圖叫做連通網。
生成樹： 一個連通圖的生成樹是指一個連通子圖，它含有圖中全部n個頂點，但只有足以構成一棵樹的n-1條邊。一顆有n個頂點的生成樹有且僅有n-1條邊，如果生成樹中再添加一條邊，則必定成環。
最小生成樹： 在連通網的所有生成樹中，所有邊的代價和最小的生成樹，稱為最小生成樹。
示例：
分別使用 Kruskal演算法 和 Prim演算法 ，找出下圖的最小生成樹。

使用變長編碼表對源符號（如文件中的一個字母）進行編碼，其中變長編碼表是通過一種評估來源符號出現機率的方法得到的，出現機率高的字母使用較短的編碼，反之出現機率低的則使用較長的編碼，這便使編碼之後的字元串的平均長度、期望值降低，從而達到無損壓縮數據的目的。
具體步驟
1.將信源符號的概率按減小的順序排隊。
2.把兩個最小的概率相加，並繼續這一步驟，始終將較高的概率分支放在右邊，直到最後變成概率1。
3.畫出由概率1處到每個信源符號的路徑，順序記下沿路徑的0和1，所得就是該符號的霍夫曼碼字。
4.將每對組合的左邊一個指定為0，右邊一個指定為1（或相反）。
示例：
假設字元a,b,c,d,e出現的概率分別為1/2,1/4,1/8,1/16,1/16。
1.求出各字元哈夫曼編碼表。
2.假設一個文件有1,000,000個字元，求出編碼之後文件的位元組長度。

A:0
B:10
C:110
D:1110
E:1111
a所佔長度l1為：（1,000,000/2） 1
b所佔長度l2為：（1,000,000/4） 2
c所佔長度l3為：（1,000,000/8） 3
d所佔長度l4為：（1,000,000/16） 4
e所佔長度l5為：（1,000,000/16）*4
文件的總長度l = l1 + l2 + l3 + l4 + l5 = 1875000

『貳』 有損壓縮演算法

基本的分為兩大類：有損和無損。
有損壓縮：主要是一些量化演算法，比如a率，u率，lloyds最優量化。
無損壓縮：主要是一些編碼演算法，比如子帶編碼，差分編碼，哈夫曼編碼等。
另外時頻變換雖然沒壓縮效果，但是是很好的壓縮工具，比如fft，dct等。
最後就是壓縮感知稀疏重建等。
由於信息丟失意味著在誤差和比特率之間進行一些權衡，我們首先考慮失真度量---例如，平方誤差。本文引入了不同的量化器，每個量化器都具有不同的失真行為。許多有損數據壓縮演算法開發的數學基礎是隨機過程的研究。

介紹：

當圖像直方圖相對平坦時，使用無損壓縮技術（例如，霍夫曼編碼，算術編碼，LZW）的圖像數據的壓縮比較低。對於需要更高壓縮比的多媒體應用中的圖像壓縮，通常採用有損方法。在有損壓縮中，壓縮圖像通常與原始圖像不同，但在感知上與原始圖像近似。為了定量描述近似值與原始數據的接近程度，需要某種形式的失真度量。

失真測量：

失真度量是一種數學量，它使用一些失真標准指定近似值與其原始值的接近程度。在查看壓縮數據時，很自然地會根據原始數據和重建數據之間的數值差異來考慮失真。 然而，當要壓縮的數據是圖像時，這樣的度量可能不會產生預期的結果。

例如，如果重建的圖像與原始圖像相同，只是它被向右移動一條垂直掃描線，那麼普通的人類觀察者將難以將其與原始圖像區分開，因此可以得出結論：失真很小。 然而，當以數字方式執行計算時，由於重建圖像的各個像素的大的變化，我們發現大的失真。問題是我們需要一種感知失真的測量，而不是一種更天真的數值方法。然而，對感知扭曲的研究超出了本書的范圍。

在已經定義的許多數值失真度量中，我們提出了圖像壓縮中最常用的三種。如果我們對平均像素差異感興趣，則經常使用均方誤差（MSE）。 它被定義為

『叄』 有8個待編碼的符號A,B,C,D,E,F,G，H,使用霍夫曼編碼演算法

1、將A到H按其概率的大小，從上到下依次排列寫出。
2、每次都將兩個最小的概率合並成一個概率，然後重新按概率從大到小排列。
例如：第一次需要將H(0.01)和G(0.03)合並，合並後概率為0.04，這時從大到小排列0.04最小，且有兩個0.04,一個為F的概率，一個為H和G合並後的概率。此時，再將兩個0.04合並，重復以上步驟。
3、重復步驟2，直至概率合並為1。
4、將被合並的兩個消息分支分別賦予0和1。
5、從概率為1的一頭向其自身概率一頭讀數。
具體答案：
A 1
B 011
C 010
D 001
E 0001
F 00001
G 000001
H 000000

『肆』 大概描述一下霍夫森林和霍夫投票演算法，謝謝~

霍夫森林（houghforests）

霍夫森林是隨機森林和霍夫投票在計算機視覺中的應用，用在物體檢測，跟蹤和動作識別。主要特點是：

（1）每個葉子節點都是一個判別性的碼本，對到達這個葉子節點的patch做出一個預測：它來自前景的概率是多少？它距離物體中心有多遠？

（2）在節點分裂的時候，隨機選擇類別不純度或是偏移量不純度：