貝葉斯演算法

1. 貝葉斯分類演算法和樸素貝葉斯演算法的區別

為了測試評估貝葉斯分類器的性能,用不同數據集進行對比實驗是必不可少的. 現有的貝葉斯網路實驗軟體包都是針對特定目的設計的,不能滿足不同研究的需要. 介紹了用Matlab在BNT軟體包基礎上建構的貝葉斯分類器實驗平台MBNC,闡述了MBNC的系統結構和主要功能,以及在MBNC上建立的樸素貝葉斯分類器NBC,基於互信息和條件互信息測度的樹擴展的貝葉斯分類器TANC,基於K2演算法和GS演算法的貝葉斯網路分類器BNC. 用來自UCI的標准數據集對MBNC進行測試,實驗結果表明基於MBNC所建構的貝葉斯分類器的性能優於國外同類工作的結果,編程量大大小於使用同類的實驗軟體包,所建立的MBNC實驗平台工作正確、有效、穩定. 在MBNC上已經進行貝葉斯分類器的優化和改進實驗,以及處理缺失數據等研究工作.

2. 如何理解貝葉斯公式

貝葉斯定理由英國數學家貝葉斯 ( Thomas Bayes 1702-1761 ) 發展，用來描述兩個條件概率之間的關系，比如 P(A|B) 和 P(B|A)。按照乘法法則，可以立刻導出：P(A∩B) = P(A)*P(B|A)=P(B)*P(A|B)。如上公式也可變形為：P(B|A) = P(A|B)*P(B) / P(A)。
例如：一座別墅在過去的 20 年裡一共發生過 2 次被盜，別墅的主人有一條狗，狗平均每周晚上叫 3 次，在盜賊入侵時狗叫的概率被估計為 0.9，問題是：在狗叫的時候發生入侵的概率是多少？

我們假設 A 事件為狗在晚上叫，B 為盜賊入侵，則以天為單位統計，P(A) = 3/7，P(B) = 2/(20*365) = 2/7300，P(A|B) = 0.9，按照公式很容易得出結果：P(B|A) = 0.9*(2/7300) / (3/7) = 0.00058。

3. 貝葉斯分類演算法中的那個公式怎麼解釋

1. 收集大量的垃圾郵件和非垃圾郵件，建立垃圾郵件集和非垃圾郵件集。 2. 提取郵件主題和郵件體中的獨立字元串，例如 ABC32，￥234等作為TOKEN串並統計提取出的TOKEN串出現的次數即字頻。按照上述的方法分別處理垃圾郵件集和非垃圾郵件集中的所有郵件。 3. 每一個郵件集對應一個哈希表，hashtable_good對應非垃圾郵件集而hashtable_bad對應垃圾郵件集。表中存儲TOKEN串到字頻的映射關系。 4. 計算每個哈希表中TOKEN串出現的概率P=（某TOKEN串的字頻）/（對應哈希表的長度）。 5. 綜合考慮hashtable_good和hashtable_bad，推斷出當新來的郵件中出現某個TOKEN串時，該新郵件為垃圾郵件的概率。數學表達式為： A 事件 ---- 郵件為垃圾郵件； t1,t2 …….tn 代表 TOKEN 串 則 P （ A|ti ）表示在郵件中出現 TOKEN 串 ti 時，該郵件為垃圾郵件的概率。 設 P1 （ ti ） = （ ti 在 hashtable_good 中的值） P2 （ ti ） = （ ti 在 hashtable_ bad 中的值） 則 P （ A|ti ） =P2 （ ti ） /[ （ P1 （ ti ） +P2 （ ti ） ] ； 6. 建立新的哈希表hashtable_probability存儲TOKEN串ti到P（A|ti）的映射 7. 至此，垃圾郵件集和非垃圾郵件集的學習過程結束。根據建立的哈希表 hashtable_probability可以估計一封新到的郵件為垃圾郵件的可能性。 當新到一封郵件時，按照步驟2，生成TOKEN串。查詢hashtable_probability得到該TOKEN 串的鍵值。 假設由該郵件共得到N個TOKEN 串，t1,t2…….tn,hashtable_probability中對應的值為 P1 ， P2 ， ……PN ， P(A|t1 ,t2, t3……tn) 表示在郵件中同時出現多個TOKEN串t1,t2……tn時，該郵件為垃圾郵件的概率。 由復合概率公式可得 P(A|t1 ,t2, t3……tn)=（P1*P2*……PN）/[P1*P2*……PN+（1-P1）*（1-P2）*……（1-PN）] 當 P(A|t1 ,t2, t3……tn) 超過預定閾值時，就可以判斷郵件為垃圾郵件。

4. 樸素貝葉斯演算法是什麼

樸素貝葉斯方法是在貝葉斯演算法的基礎上進行了相應的簡化，即假定給定目標值時屬性之間相互條件獨立。

也就是說沒有哪個屬性變數對於決策結果來說佔有著較大的比重，也沒有哪個屬性變數對於決策結果佔有著較小的比重。雖然這個簡化方式在一定程度上降低了貝葉斯分類演算法的分類效果，但是在實際的應用場景中，極大地簡化了貝葉斯方法的復雜性。

樸素貝葉斯分類（NBC）是以貝葉斯定理為基礎並且假設特徵條件之間相互獨立的方法，先通過已給定的訓練集，以特徵詞之間獨立作為前提假設，學習從輸入到輸出的聯合概率分布，再基於學習到的模型，輸入X求出使得後驗概率最大的輸出Y。

個人貢獻：

貝葉斯在數學方面主要研究概率論。他首先將歸納推理法用於概率論基礎理論，並創立了貝葉斯統計理論，對於統計決策函數、統計推斷、統計的估算等做出了貢獻。1763年發表了這方面的論著，對於現代概率論和數理統計都有很重要的作用。貝葉斯的另一著作《機會的學說概論》發表於1758年.貝葉斯所採用的許多術語被沿用至今。

他對統計推理的主要貢獻是使用了"逆概率"這個概念，並把它作為一種普遍的推理方法提出來。貝葉斯定理原本是概率論中的一個定理，這一定理可用一個數學公式來表達，這個公式就是著名的貝葉斯公式。

5. 貝葉斯公式是什麼

貝葉斯定理由英國數學家貝葉斯(ThomasBayes1702-1761)發展，用來描述兩個條件概率之間的關系，

例如：一座別墅在過去的20年裡一共發生過2次被盜，別墅的主人有一條狗，狗平均每周晚上叫3次，在盜賊入侵時狗叫的概率被估計為0.9，問題是：在狗叫的時候發生入侵的概率是多少？我們假設A事件為狗在晚上叫，B為盜賊入侵，則P(A)=3/7，P(B)=2/(20·365)=2/7300，P(A|B)=0.9，按照公式很容易得出結果：

另一個例子，現分別有A，B兩個容器，在容器A里分別有7個紅球和3個白球，在容器B里有1個紅球和9個白球，現已知從這兩個容器里任意抽出了一個球，且是紅球，問這個紅球是來自容器A的概率是多少?假設已經抽出紅球為事件B，從容器A里抽出球為事件A，則有：P(B)=8/20，P(A)=1/2，P(B|A)=7/10，按照公式，則有：

貝葉斯公式為利用搜集到的信息對原有判斷進行修正提供了有效手段。在采樣之前，經濟主體對各種假設有一個判斷（先驗概率），關於先驗概率的分布，通常可根據經濟主體的經驗判斷確定(當無任何信息時，一般假設各先驗概率相同)，較復雜精確的可利用包括最大熵技術或邊際分布密度以及相互信息原理等方法來確定先驗概率分布。

6. 貝葉斯公式

作為一個規范的原理，貝葉斯法則對於所有概率的解釋是有效的；然而，頻率主義者和貝葉斯主義者對於在應用中概率如何被賦值有著不同的看法：頻率主義者根據隨機事件發生的頻率，或者總體樣本裡面的個數來賦值概率；貝葉斯主義者要根據未知的命題來賦值概率。一個結果就是，貝葉斯主義者有更多的機會使用貝葉斯法則。

7. 貝葉斯網路和貝葉斯分類演算法的區別

1、貝葉斯網路是：一種概率網路，它是基於概率推理的圖形化網路，而貝葉斯公式則是這個概率網路的基礎。貝葉斯網路是基於概率推理的數學模型,所謂概率推理就是通過一些變數的信息來獲取其他的概率信息的過程，基於概率推理的貝葉斯網路(Bayesian network)是為了解決不定性和不完整性問題而提出的，它對於解決復雜設備不確定性和關聯性引起的故障有很的優勢，在多個領域中獲得廣泛應用。
2、貝葉斯分類演算法是：統計學的一種分類方法，它是一類利用概率統計知識進行分類的演算法。在許多場合，樸素貝葉斯(Naïve Bayes，NB)分類演算法可以與決策樹和神經網路分類演算法相媲美，該演算法能運用到大型資料庫中，而且方法簡單、分類准確率高、速度快。
3、貝葉斯網路和貝葉斯分類演算法的區別：由於貝葉斯定理假設一個屬性值對給定類的影響獨立於其它屬性的值，而此假設在實際情況中經常是不成立的，因此其分類准確率可能會下降。為此，就衍生出許多降低獨立性假設的貝葉斯分類演算法，如TAN(tree augmented Bayes network)演算法。
貝葉斯分類演算法是統計學的一種分類方法，它是一類利用概率統計知識進行分類的演算法。在許多場合，樸素貝葉斯(Naïve Bayes，NB)分類演算法可以與決策樹和神經網路分類演算法相媲美，該演算法能運用到大型資料庫中，而且方法簡單、分類准確率高、速度快。
由於貝葉斯定理假設一個屬性值對給定類的影響獨立於其它屬性的值，而此假設在實際情況中經常是不成立的，因此其分類准確率可能會下降。為此，就衍生出許多降低獨立性假設的貝葉斯分類演算法，如TAN(tree augmented Bayes network)演算法。

8. 貝葉斯公式和全概率公式

貝葉斯定理公式：P(A|B)=P(B|A)*P(A)/P(B)
如上公式也可變形為：P(B|A)=P(A|B)*P(B)/P(A)

設實驗E的樣本空間為S,A為E的事件,B1,B2,...,Bn為S的一個劃分,且P(Bi)>0(i=1,2,...,n),則
P(A)=P(A|B1)*P(B1) + P(A|B2)*P(B2) + ... + P(A|Bn)*P(Bn).
上式稱為全概率公式。

9. 怎麼簡單理解貝葉斯公式

貝葉斯定理是關於隨機事件A和B的條件概率（或邊緣概率）的一則定理。其中P（A|B）是在B發生的情況下A發生的可能性。

貝葉斯定理也稱貝葉斯推理，早在18世紀，英國學者貝葉斯（1702～1761）曾提出計算條件概率的公式用來解決如下一類問題：假設H,H…，H互斥且構成一個完全事件，已知它們的概率P(H),i=1,2,…，n,現觀察到某事件A與H,H…，H相伴隨機出現，且已知條件概率P(A|H)，求P(H|A)。

按貝葉斯定理進行投資決策的基本步驟是：

1、列出在已知項目B條件下項目A的發生概率，即將P（A│B）轉換為P（B│A）；

2、繪制樹型圖；

3、求各狀態結點的期望收益值，並將結果填入樹型圖；

4、根據對樹型圖的分析，進行投資項目決策。