期望演算法
『壹』 期望最大演算法(EM)
1977年，DempSter首次提出EM演算法。
假設四種實驗結果，發生的概率依次為 ，且發生的次數為 ，求 的估計。
解：使用MLE，得到：
上式是關於 的一元三次方程，不易解。
因此，以下另作處理（引入隱變數）：
將第一部分 分為 ，且出現次數為 次
將第三部分 分為 ，且出現次數為 次；
則
(1)
現在，並不知道 （隱變數）的值，只能知道分布的信息， 服從的分布為二項分布，概率數值類似於條件概率，第一個的概率是用 除以 得到的，第二個同理：
其中， ，
第一步（E步）：求期望的目的是為了消去隱變數 。
;
代入(1)式，得到：
第二步（M步）：取最大值。
EM演算法使用迭代法來更新參數。 （精髓）
任意取 ，就可以開始按照上面的公式進行迭代了。
收斂性 ：
DempSter證明：在很一般的條件下，最後會收斂。（可以參考李航老師的《統計學習方法》）
解析解：能列出公式解決的，數值上是更准確的（相比迭代解），比如MLE就是列出公式求解。
迭代解：退而求其次，當解析解難求的時候，通過迭代逼近的方式，可以獲得令人滿意的解，比如EM就是為了解決當MLE遇到高次方程難以求解的時候，提出的方法。
問：給定參數 ，觀測變數 ，隱變數 ，如何估計參數 ？
從觀測序列，可以獲得：
此時，對數似然函數為：
由於包含和（積分）的對數，因此直接求解困難。
解析解困難，轉而使用迭代解：假設第i次迭代後的 為 ，由於我們希望似然函數 是增大的，即 。
此時，考慮兩者的差：
不等式右邊是 的下界，記為 ，那麼，使得下界盡可能大，即：
Algorithm: Estimation Maximum (EM)
舉例：以三硬幣模型為例。有A、B、C三枚硬幣，分別有 的概率為正面。每次試驗為：先投A硬幣，如果A為正面，則投B硬幣；否則，投C硬幣。最終，可以觀測到的結果為硬幣的正/反面，但是不知道是由B還是C投出的（隱變數）。問：如果某次試驗數為10的結果為：{1,1,0,1,0,0,1,0,1,1}，如何估計參數 ？
顯然，題目的 隱變數為A硬幣投出的結果，此時可以採用EM解法。
先從「E」入手，求解Q函數：
然後，逐一擊破：
回代 函數：
極大似然求導數，令其為0，能取得極值點：
令上式為0
------對應書(9.6)式
令上式為0
------對應書(9.7)式
令上式為0
------對應書(9.8)式
至此，只要根據當前迭代下的 ，就能得到不同 下標的 ，進而得到下一次迭代的 。
『貳』 數學期望怎麼求
離散型隨機變數的一切可能的取值xi與對應的概率P(=xi)之積的和稱為的數學期望（設級數絕對收斂），記為E。如果隨機變數只取得有限個值。隨機變數最基本的數學特徵之一。它反映隨機變數平均取值的大小。又稱期望或均值。它是簡單算術平均的一種推廣，類似加權平均。例如某城市有10萬個家庭，沒有孩子的家庭有1000個，有一個孩子的家庭有9萬個，有兩個孩子的家庭有6000個，有3個孩子的家庭有3000個， 則此城市中任一個家庭中孩子的數目是一個隨機變數，記為X，它可取值0，1，2，3，其中取0的概率為0.01，取1的概率為0.9，取2的概率為0.06，取3的概率為0.03，它的數學期望為0×0.01＋1×0.9＋2×0.06＋3×0.03等於1.11，即此城市一個家庭平均有小孩1.11個，用數學式子表示為：E(X)=1.11。 連續型 連續型隨機變數X的概率密度函數為f(x),若積分： 絕對收斂，則稱此積分值為隨機變數X的數學期望，記為： [編輯本段]數學期望的來由 早在17世紀，有一個賭徒向法國著名數學家帕斯卡挑戰，給他出了一道題目，題目是這樣的：甲乙兩個人賭博，他們兩人獲勝的機率相等，比賽規則是先勝三局者為贏家，贏家可以獲得100法郎的獎勵。錄比賽進行到第三局的時候，甲勝了兩局，乙勝了一局，這時由於某些原因中止了比賽，那麼如何分配這100法郎才比較公平？ 用概率論的知識，不難得知，甲獲勝的概率為1/2+(1/2)*(1/2)=3/4，或者分析乙獲勝的概率為(1/2)*(1/2)＝1/4。因此由此引出了甲的期望所得值為100*3/4=75法郎，乙的期望所得值為25法郎。 這個故事裡出現了「期望」這個詞，數學期望由此而來。 [編輯本段]數學期望的定義定義1： 按照定義,離散隨機變數的一切可能取值與其對應的概率P的乘積之和稱為數學期望,記為E.如果隨機變數只取得有限個值:x,、瓜、兀 源自: 擋土牆優化設計與風險決策研究——兼述黃... 《南水北調與水利科技》 2004年 勞道邦,李榮義 來源文章摘要：擋土牆作為一般土建工程的攔土建築物常用在閘壩翼牆和渡槽、倒虹吸的進出口過渡段,它的優化設計問題常被忽視。實際上各類擋土牆間的技術和經濟效益差別是相當大的。而一些工程的現實條件又使一些常用擋土牆呈現出諸多方面局限性。黃壁庄水庫除險加固工程的混凝土生產系統的擋土牆建設在優化設計方面向前邁進了一步,在技術和經濟效益方面取得明顯效果,其經驗可供同類工程建設參考。 定義2： 1 決定可靠性的因素常規的安全系數是根據經驗而選取的,即取材料的強度極限均值(概率理論中稱為數學期望)與工作應力均值(數學期望)之比 [編輯本段]計算隨機變數的數學期望值 在概率論和統計學中，一個離散性隨機變數的期望值（或數學期望、或均值，亦簡稱期望）是試驗中每次可能結果的概率乘以其結果的總和。換句話說，期望值是隨機試驗在同樣的機會下重復多次的結果計算出的等同「期望」的平均值。需要注意的是，期望值並不一定等同於常識中的「期望」——「期望值」也許與每一個結果都不相等。（換句話說，期望值是該變數輸出值的平均數。期望值並不一定包含於變數的輸出值集合里。） 單獨數據的數學期望值演算法 對於數學期望的定義是這樣的。數學期望 E(X) = X1*p(X1) + X2*p(X2) + …… + Xn*p(Xn) X1,X2,X3,……,Xn為這幾個數據，p(X1),p(X2),p(X3),……p(Xn)為這幾個數據的概率函數。在隨機出現的幾個數據中p(X1),p(X2),p(X3),……p(Xn)概率函數就理解為數據X1,X2,X3,……,Xn出現的頻率f(Xi).則： E(X) = X1*p(X1) + X2*p(X2) + …… + Xn*p(Xn) = X1*f1(X1) + X2*f2(X2) + …… + Xn*fn(Xn) 很容易證明E(X)對於這幾個數據來說就是他們的算術平均值。 我們舉個例子，比如說有這么幾個數： 1，1，2，5，2，6，5，8，9，4，8，1 1出現的次數為3次，占所有數據出現次數的3/12,這個3/12就是1所對應的頻率。同理，可以計算出f(2) = 2/12,f(5) = 2/12 , f(6) = 1/12 , f(8) = 2/12 , f(9) = 1/12 , f(4) = 1/12 根據數學期望的定義： E(X) = 1*f(1) + 2*f(2) + 5*f(5) + 6*f(6) + 8*f(8) + 9*f(9) + 4*f(4) = 13/3 所以 E(X) = 13/3, 現在算這些數的算術平均值： Xa = (1+1+2+5+2+6+5+8+9+4+8+1)/12 = 13/3 所以E(X) = Xa = 13/3
『叄』 鏈熸湜鍊箋佹柟宸鐨勮＄畻鍏寮忥紵
1銆佹湡鏈涘艱＄畻鍏寮忥細
E(X)=(n*M)/N [鍏朵腑x鏄鏍鋒湰鏁幫紝n涓烘牱鏈瀹歸噺錛孧涓烘牱鏈鎬繪暟錛孨涓烘諱綋涓鐨勪釜浣撴繪暟]錛屾眰鍑哄潎鍊礆紝榪欏氨鏄瓚呭嚑浣曞垎甯冪殑鏁板︽湡鏈涘箋
2銆佹柟宸璁＄畻鍏寮忥細
V(X)=X1^2*P1+X2^2*P2+...Xn^2*Pn-a^2 [榪欓噷璁綼涓烘湡鏈涘糫
鎵╁睍璧勬枡錛
鍦ㄧ粺璁″︿腑錛屽綋浼扮畻涓涓鍙橀噺鐨勬湡鏈涘兼椂錛屼竴涓緇忓父鐢ㄥ埌鐨勬柟娉曟槸閲嶅嶆祴閲忔ゅ彉閲忕殑鍊礆紝鐒跺悗鐢ㄦ墍寰楁暟鎹鐨勫鉤鍧囧兼潵浣滀負姝ゅ彉閲忕殑鏈熸湜鍊肩殑浼拌°
鍦ㄦ傜巼鍒嗗竷涓錛屾湡鏈涘煎拰鏂瑰樊鎴栨爣鍑嗗樊鏄涓縐嶅垎甯冪殑閲嶈佺壒寰併
鍦ㄧ粡鍏稿姏瀛︿腑錛岀墿浣撻噸蹇冪殑綆楁硶涓庢湡鏈涘肩殑綆楁硶鍗佸垎榪戜技銆
褰撴暟鎹鍒嗗竷姣旇緝鍒嗘暎錛堝嵆鏁版嵁鍦ㄥ鉤鍧囨暟闄勮繎娉㈠姩杈冨ぇ錛夋椂錛屽悇涓鏁版嵁涓庡鉤鍧囨暟鐨勫樊鐨勫鉤鏂瑰拰杈冨ぇ錛屾柟宸灝辮緝澶э紱褰撴暟鎹鍒嗗竷姣旇緝闆嗕腑鏃訛紝鍚勪釜鏁版嵁涓庡鉤鍧囨暟鐨勫樊鐨勫鉤鏂瑰拰杈冨皬銆傚洜姝ゆ柟宸瓚婂ぇ錛屾暟鎹鐨勬嘗鍔ㄨ秺澶э紱鏂瑰樊瓚婂皬錛屾暟鎹鐨勬嘗鍔ㄥ氨瓚婂皬銆
鏍鋒湰涓鍚勬暟鎹涓庢牱鏈騫沖潎鏁扮殑宸鐨勫鉤鏂瑰拰鐨勫鉤鍧囨暟鍙鍋氭牱鏈鏂瑰樊錛涙牱鏈鏂瑰樊鐨勭畻鏈騫蟲柟鏍瑰彨鍋氭牱鏈鏍囧噯宸銆傛牱鏈鏂瑰樊鍜屾牱鏈鏍囧噯宸閮芥槸琛￠噺涓涓鏍鋒湰娉㈠姩澶у皬鐨勯噺錛屾牱鏈鏂瑰樊鎴栨牱鏈鏍囧噯宸瓚婂ぇ錛屾牱鏈鏁版嵁鐨勬嘗鍔ㄥ氨瓚婂ぇ銆
鍙傝冭祫鏂欐潵婧愶細鐧懼害鐧劇-鏈熸湜鍊
鐧懼害鐧劇-鏂瑰樊
『肆』 鏁板︽湡鏈涙庝箞璁＄畻錛
E(X) = X1*p(X1) + X2*p(X2) + 鈥︹ + Xn*p(Xn)
X1,X2,X3,鈥︹,Xn涓鴻繖鍑犱釜鏁版嵁錛宲(X1),p(X2),p(X3),鈥︹p(Xn)涓鴻繖鍑犱釜鏁版嵁鐨姒傜巼鍑芥暟銆
闇瑕佹敞鎰忕殑鏄錛鏈熸湜鍊騫朵笉涓瀹氱瓑鍚屼簬甯歌瘑涓鐨勨滄湡鏈涒濃斺斺滄湡鏈涘尖濅篃璁鎬笌姣忎竴涓緇撴灉閮戒笉鐩哥瓑銆傦紙鎹㈠彞璇濊達紝鏈熸湜鍊兼槸璇ュ彉閲忚緭鍑哄肩殑騫沖潎鏁銆傛湡鏈涘煎苟涓嶄竴瀹氬寘鍚浜庡彉閲忕殑杈撳嚭鍊奸泦鍚堥噷銆傦級
濡傛灉X鏄榪炵畫鐨闅忔満鍙橀噺錛屽瓨鍦ㄤ竴涓鐩稿簲鐨勬傜巼瀵嗗害鍑芥暟錛堜篃灝辨槸璇翠竴涓闅忔満鍙橀噺鐨勮緭鍑轟笉浼氬獎鍝嶅彟涓涓闅忔満鍙橀噺鐨勮緭鍑恆傦級
渚嬪傦紝緹庡浗鐨勮疆鐩樹腑甯哥敤鐨勮疆鐩樹笂鏈38涓鏁板瓧錛屾瘡涓涓鏁板瓧琚閫変腑鐨勬傜巼閮芥槸鐩哥瓑鐨勩璧屾敞涓鑸鎶煎湪鍏朵腑鏌愪竴涓鏁板瓧涓婏紝濡傛灉杞鐩樼殑杈撳嚭鍊煎拰榪欎釜鏁板瓧鐩哥瓑錛岄偅涔堜笅璧岃呭彲浠ュ皢鐩稿綋浜庤祵娉35鍊嶇殑濂栭噾(鍘熸敞涓嶅寘鍚鍦ㄥ唴)錛岃嫢杈撳嚭鍊煎拰涓嬪帇鏁板瓧涓嶅悓錛屽垯璧屾敞灝辮緭鎺変簡銆
鑰冭檻鍒38縐嶆墍鏈夌殑鍙鑳界粨鏋滐紝鐒跺悗榪欓噷鎴戜滑鐨勮懼畾鐨勬湡鏈涚洰鏍囨槸鈥滆耽閽扁濓紝鍒欏洜姝わ紝璁ㄨ鴻耽鎴栬緭涓ょ嶉勬兂鐘舵佺殑璇濓紝浠1緹庡厓璧屾敞鎶間竴涓鏁板瓧涓婏紝鍒欒幏鍒╃殑鏈熸湜鍊間負錛氳耽鐨勨滄傜巼38鍒嗕箣1錛岃兘鑾峰緱35鍏冣濓紝鍔犱笂鈥滆緭1鍏冪殑鎯呭喌37縐嶁濓紝緇撴灉綰︾瓑浜-0.0526緹庡厓銆
涔熷氨鏄璇達紝騫沖潎璧鋒潵姣忚祵1緹庡厓灝變細杈撴帀5緹庡垎錛屽嵆緹庡紡杞鐩樹互1緹庡厓浣滆祵娉ㄧ殑鏈熸湜鍊間負 璐0.0526緹庡厓銆
『伍』 什麼是數學期望如何計算
數學期望是試驗中每次可能結果的概率乘以其結果的總和。
計算公式：
1、離散型：
離散型隨機變數X的取值為X1、X2、X3……Xn，p(X1)、p(X2)、p(X3)……p(Xn)、為X對應取值的概率，可理解為數據X1、X2、X3……Xn出現的頻率高f(Xi)，則：
