當前位置:首頁 » 操作系統 » 似然估計的演算法

似然估計的演算法

發布時間: 2023-07-09 15:42:06

㈠ 極大似然估計和EM演算法初步

本文來自我的個人博客 https://www.zhangshenghai.com/posts/1422/

極大似然估計是在知道結果的情況下,尋求使該結果出現可能性極大的條件,以此作為估計值。在維基網路中,極大似然估計的定義是這樣的:

首先從一個例子入手,假設我們需要調查某個地區的人群身高分布,那麼先假設這個地區人群身高服從正態分布 。注意,極大似然估計的前提是要假設數據總體的分布, 不知道數據分布是無法使用極大似然估計的 。假設的正態分布的均值和方差未知,這個問題中極大似然估計的目的就是要估計這兩個參數。

根據概率統計的思想,可以依據樣本估算總體,假設我們隨機抽到了1000個人,根據這1000個人的身高來估計均值 和方差 。

將其翻譯成數學語言:為了統計該地區的人群身高分布,我們獨立地按照概率密度 抽取了1000個樣本組成樣本集 ,我們想通過樣本集 來估計總體的未知參數 。這里概率密度 服從高斯分布 ,其中的未知參數是 。

那麼怎樣估算 呢?

這里每個樣本都是獨立地從 中抽取的,也就是說這1000個人之間是相互獨立的。若抽到 的概率是 ,抽到 的概率是 ,那麼同時抽到它們的概率就是 。同理,同時抽到這1000個人的概率就是他們各自概率的乘積,即為他們的聯合概率,這個聯合概率就等於這個問題的似然函數:

對 L 取對數,將其變成連加的,稱為對數似然函數,如下式:

對似然函數求所有參數的偏導數,然後讓這些偏導數為0,假設有n個參數,就可以得到n個方程組成的方程組,方程組的解就是似然函數的極值點了,在似然函數極大的情況下得到的參數值 即為我們所求的值:

極大似然估計是建立在這樣的思想上:已知某個參數能使這個樣本出現的概率極大,我們當然不會再去選擇其他小概率的樣本,所以乾脆就把這個參數作為估計的真實值。

和極大似然估計一樣,EM演算法的前提也是要假設數據總體的分布, 不知道數據分布是無法使用EM演算法的

概率模型有時既含有觀測變數,又含有隱變數。如果概率模型的變數都是觀測變數,那麼給定數據,可以直接用極大似然估計法,或貝葉斯估計法估計模型參數。但是,當模型含有隱變數時,就不能簡單地使用這些估計方法。EM演算法就是含有隱變數的概率模型參數的極大似然估計法,或極大後驗概率估計法。

函數:完全數據的對數似然函數 關於在給定觀測數據 和當前參數 下對未觀測數據 的條件概率分布 的期望

含有隱變數 的概率模型,目標是極大化觀測變數 關於參數 的對數似然函數,即

輸入:觀測隨機變數數據 ,隱隨機變數數據 ,聯合分布 ,條件分布 ;
輸出:模型參數

㈡ 概率論中的最大似然估計法的具體步驟是什麼舉例說明一下

http://..com/question/501531644.html
最大似然估計 是一種統計方法 ,它用來求一個樣本集的相關概率密度函數的參數。這個方法最早是遺傳學家以及統計學家羅納德·費雪 爵士在1912年至1922年間開始使用的。 「似然」是對likelihood 的一種較為貼近文言文的翻譯,「似然」用現代的中文來說即「可能性」。故而,若稱之為「最大可能性估計」則更加通俗易懂。 最大似然估計的原理 給定一個概率分布D ,假定其概率密度函數(連續分布)或概率聚集函數(離散分布)為f D ,以及一個分布參數θ ,我們可以從這個分布中抽出一個具有n 個值的采樣 ,通過利用f D ,我們就能計算出其概率: 但是,我們可能不知道θ 的值,盡管我們知道這些采樣數據來自於分布D 。那麼我們如何才能估計出θ 呢?一個自然的想法是從這個分布中抽出一個具有n 個值的采樣X 1 ,X 2 ,...,X n ,然後用這些采樣數據來估計θ . 一旦我們獲得 ,我們就能從中找到一個關於θ 的估計。最大似然估計會尋找關於 θ 的最可能的值(即,在所有可能的θ 取值中,尋找一個值使這個采樣的「可能性」最大化)。 這種方法正好同一些其他的估計方法不同,如θ 的非偏估計,非偏估計未必會輸出一個最可能的值,而是會輸出一個既不高估也不低估 的θ 值。 要在數學上實現最大似然估計法 ,我們首先要定義可能性 : 並且在θ 的所有取值上,使這個[[函數最大化。這個使可能性最大的值即被稱為θ 的最大似然估計 。 注意 這里的可能性是指不變時,關於θ 的一個函數。 最大似然估計函數不一定是惟一的,甚至不一定存在。

http://..com/question/237077915.html 給出了一個好例子。

熱點內容
手柄編程 發布:2025-03-17 17:06:07 瀏覽:191
iphone重啟緩存 發布:2025-03-17 16:57:56 瀏覽:634
phpfloat 發布:2025-03-17 16:56:35 瀏覽:175
誅心演算法題 發布:2025-03-17 16:30:00 瀏覽:397
磁吸介面和安卓介面哪個好用 發布:2025-03-17 16:29:54 瀏覽:458
編程經典思想 發布:2025-03-17 16:27:45 瀏覽:621
崩壞腳本 發布:2025-03-17 16:22:39 瀏覽:50
敦煌的密碼在哪裡 發布:2025-03-17 16:19:21 瀏覽:898
編譯器決定程序運行的操作系統 發布:2025-03-17 16:17:47 瀏覽:705
android單詞 發布:2025-03-17 16:05:31 瀏覽:544