似然估計的演算法

㈠ 極大似然估計和EM演算法初步

本文來自我的個人博客 https://www.zhangshenghai.com/posts/1422/

極大似然估計是在知道結果的情況下，尋求使該結果出現可能性極大的條件，以此作為估計值。在維基網路中，極大似然估計的定義是這樣的：

首先從一個例子入手，假設我們需要調查某個地區的人群身高分布，那麼先假設這個地區人群身高服從正態分布 。注意，極大似然估計的前提是要假設數據總體的分布， 不知道數據分布是無法使用極大似然估計的 。假設的正態分布的均值和方差未知，這個問題中極大似然估計的目的就是要估計這兩個參數。

根據概率統計的思想，可以依據樣本估算總體，假設我們隨機抽到了1000個人，根據這1000個人的身高來估計均值 和方差 。

將其翻譯成數學語言：為了統計該地區的人群身高分布，我們獨立地按照概率密度 抽取了1000個樣本組成樣本集 ，我們想通過樣本集 來估計總體的未知參數 。這里概率密度 服從高斯分布 ，其中的未知參數是 。

那麼怎樣估算 呢？

這里每個樣本都是獨立地從 中抽取的，也就是說這1000個人之間是相互獨立的。若抽到 的概率是 ，抽到 的概率是 ，那麼同時抽到它們的概率就是 。同理，同時抽到這1000個人的概率就是他們各自概率的乘積，即為他們的聯合概率，這個聯合概率就等於這個問題的似然函數：

對 L 取對數，將其變成連加的，稱為對數似然函數，如下式：

對似然函數求所有參數的偏導數，然後讓這些偏導數為0，假設有n個參數，就可以得到n個方程組成的方程組，方程組的解就是似然函數的極值點了，在似然函數極大的情況下得到的參數值 即為我們所求的值：

極大似然估計是建立在這樣的思想上：已知某個參數能使這個樣本出現的概率極大，我們當然不會再去選擇其他小概率的樣本，所以乾脆就把這個參數作為估計的真實值。

和極大似然估計一樣，EM演算法的前提也是要假設數據總體的分布， 不知道數據分布是無法使用EM演算法的 。

概率模型有時既含有觀測變數，又含有隱變數。如果概率模型的變數都是觀測變數，那麼給定數據，可以直接用極大似然估計法，或貝葉斯估計法估計模型參數。但是，當模型含有隱變數時，就不能簡單地使用這些估計方法。EM演算法就是含有隱變數的概率模型參數的極大似然估計法，或極大後驗概率估計法。

函數：完全數據的對數似然函數 關於在給定觀測數據 和當前參數 下對未觀測數據 的條件概率分布 的期望

含有隱變數 的概率模型，目標是極大化觀測變數 關於參數 的對數似然函數，即

輸入：觀測隨機變數數據 ，隱隨機變數數據 ，聯合分布 ，條件分布 ；
輸出：模型參數

㈡ 概率論中的最大似然估計法的具體步驟是什麼舉例說明一下

http://..com/question/501531644.html
最大似然估計 是一種統計方法 ，它用來求一個樣本集的相關概率密度函數的參數。這個方法最早是遺傳學家以及統計學家羅納德·費雪 爵士在1912年至1922年間開始使用的。 「似然」是對likelihood 的一種較為貼近文言文的翻譯，「似然」用現代的中文來說即「可能性」。故而，若稱之為「最大可能性估計」則更加通俗易懂。 最大似然估計的原理 給定一個概率分布D ，假定其概率密度函數（連續分布）或概率聚集函數（離散分布）為f D ，以及一個分布參數θ ，我們可以從這個分布中抽出一個具有n 個值的采樣 ，通過利用f D ，我們就能計算出其概率： 但是，我們可能不知道θ 的值，盡管我們知道這些采樣數據來自於分布D 。那麼我們如何才能估計出θ 呢？一個自然的想法是從這個分布中抽出一個具有n 個值的采樣X 1 ,X 2 ,...,X n ，然後用這些采樣數據來估計θ . 一旦我們獲得 ，我們就能從中找到一個關於θ 的估計。最大似然估計會尋找關於 θ 的最可能的值（即，在所有可能的θ 取值中，尋找一個值使這個采樣的「可能性」最大化）。 這種方法正好同一些其他的估計方法不同，如θ 的非偏估計，非偏估計未必會輸出一個最可能的值，而是會輸出一個既不高估也不低估 的θ 值。 要在數學上實現最大似然估計法 ，我們首先要定義可能性 : 並且在θ 的所有取值上，使這個[[函數最大化。這個使可能性最大的值即被稱為θ 的最大似然估計 。 注意 這里的可能性是指不變時，關於θ 的一個函數。 最大似然估計函數不一定是惟一的，甚至不一定存在。

http://..com/question/237077915.html 給出了一個好例子。