期望算法

‘壹’ 期望最大算法(EM)

1977年，DempSter首次提出EM算法。

假设四种实验结果，发生的概率依次为 ，且发生的次数为 ，求 的估计。
解：使用MLE，得到：

上式是关于 的一元三次方程，不易解。

因此，以下另作处理（引入隐变量）：

将第一部分 分为 ，且出现次数为 次

将第三部分 分为 ，且出现次数为 次；

则

(1)

现在，并不知道 （隐变量）的值，只能知道分布的信息， 服从的分布为二项分布，概率数值类似于条件概率，第一个的概率是用 除以 得到的，第二个同理：

其中， ，

第一步（E步）：求期望的目的是为了消去隐变量 。

;

代入(1)式，得到：

第二步（M步）：取最大值。

EM算法使用迭代法来更新参数。 （精髓）

任意取 ，就可以开始按照上面的公式进行迭代了。

收敛性 ：
DempSter证明：在很一般的条件下，最后会收敛。（可以参考李航老师的《统计学习方法》）

解析解：能列出公式解决的，数值上是更准确的（相比迭代解），比如MLE就是列出公式求解。
迭代解：退而求其次，当解析解难求的时候，通过迭代逼近的方式，可以获得令人满意的解，比如EM就是为了解决当MLE遇到高次方程难以求解的时候，提出的方法。

问：给定参数 ，观测变量 ，隐变量 ，如何估计参数 ？

从观测序列，可以获得：

此时，对数似然函数为：

由于包含和（积分）的对数，因此直接求解困难。

解析解困难，转而使用迭代解：假设第i次迭代后的 为 ，由于我们希望似然函数 是增大的，即 。

此时，考虑两者的差：

不等式右边是 的下界，记为 ，那么，使得下界尽可能大，即：

Algorithm: Estimation Maximum (EM)

举例：以三硬币模型为例。有A、B、C三枚硬币，分别有 的概率为正面。每次试验为：先投A硬币，如果A为正面，则投B硬币；否则，投C硬币。最终，可以观测到的结果为硬币的正/反面，但是不知道是由B还是C投出的（隐变量）。问：如果某次试验数为10的结果为：{1,1,0,1,0,0,1,0,1,1}，如何估计参数 ？

显然，题目的 隐变量为A硬币投出的结果，此时可以采用EM解法。
先从“E”入手，求解Q函数：

然后，逐一击破：

回代 函数：

极大似然求导数，令其为0，能取得极值点：

令上式为0

------对应书(9.6)式

令上式为0

------对应书(9.7)式

令上式为0

------对应书(9.8)式

至此，只要根据当前迭代下的 ，就能得到不同 下标的 ，进而得到下一次迭代的 。

‘贰’ 数学期望怎么求

离散型随机变量的一切可能的取值xi与对应的概率P(=xi)之积的和称为的数学期望（设级数绝对收敛），记为E。如果随机变量只取得有限个值。随机变量最基本的数学特征之一。它反映随机变量平均取值的大小。又称期望或均值。它是简单算术平均的一种推广，类似加权平均。例如某城市有10万个家庭，没有孩子的家庭有1000个，有一个孩子的家庭有9万个，有两个孩子的家庭有6000个，有3个孩子的家庭有3000个， 则此城市中任一个家庭中孩子的数目是一个随机变量，记为X，它可取值0，1，2，3，其中取0的概率为0.01，取1的概率为0.9，取2的概率为0.06，取3的概率为0.03，它的数学期望为0×0.01＋1×0.9＋2×0.06＋3×0.03等于1.11，即此城市一个家庭平均有小孩1.11个，用数学式子表示为：E(X)=1.11。 连续型 连续型随机变量X的概率密度函数为f(x),若积分： 绝对收敛，则称此积分值为随机变量X的数学期望，记为： [编辑本段]数学期望的来由 早在17世纪，有一个赌徒向法国着名数学家帕斯卡挑战，给他出了一道题目，题目是这样的：甲乙两个人赌博，他们两人获胜的机率相等，比赛规则是先胜三局者为赢家，赢家可以获得100法郎的奖励。录比赛进行到第三局的时候，甲胜了两局，乙胜了一局，这时由于某些原因中止了比赛，那么如何分配这100法郎才比较公平？ 用概率论的知识，不难得知，甲获胜的概率为1/2+(1/2)*(1/2)=3/4，或者分析乙获胜的概率为(1/2)*(1/2)＝1/4。因此由此引出了甲的期望所得值为100*3/4=75法郎，乙的期望所得值为25法郎。 这个故事里出现了“期望”这个词，数学期望由此而来。 [编辑本段]数学期望的定义定义1： 按照定义,离散随机变量的一切可能取值与其对应的概率P的乘积之和称为数学期望,记为E.如果随机变量只取得有限个值:x,、瓜、兀 源自: 挡土墙优化设计与风险决策研究——兼述黄... 《南水北调与水利科技》 2004年 劳道邦,李荣义 来源文章摘要：挡土墙作为一般土建工程的拦土建筑物常用在闸坝翼墙和渡槽、倒虹吸的进出口过渡段,它的优化设计问题常被忽视。实际上各类挡土墙间的技术和经济效益差别是相当大的。而一些工程的现实条件又使一些常用挡土墙呈现出诸多方面局限性。黄壁庄水库除险加固工程的混凝土生产系统的挡土墙建设在优化设计方面向前迈进了一步,在技术和经济效益方面取得明显效果,其经验可供同类工程建设参考。 定义2： 1 决定可靠性的因素常规的安全系数是根据经验而选取的,即取材料的强度极限均值(概率理论中称为数学期望)与工作应力均值(数学期望)之比 [编辑本段]计算随机变量的数学期望值 在概率论和统计学中，一个离散性随机变量的期望值（或数学期望、或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和。换句话说，期望值是随机试验在同样的机会下重复多次的结果计算出的等同“期望”的平均值。需要注意的是，期望值并不一定等同于常识中的“期望”——“期望值”也许与每一个结果都不相等。（换句话说，期望值是该变量输出值的平均数。期望值并不一定包含于变量的输出值集合里。） 单独数据的数学期望值算法 对于数学期望的定义是这样的。数学期望 E(X) = X1*p(X1) + X2*p(X2) + …… + Xn*p(Xn) X1,X2,X3,……,Xn为这几个数据，p(X1),p(X2),p(X3),……p(Xn)为这几个数据的概率函数。在随机出现的几个数据中p(X1),p(X2),p(X3),……p(Xn)概率函数就理解为数据X1,X2,X3,……,Xn出现的频率f(Xi).则： E(X) = X1*p(X1) + X2*p(X2) + …… + Xn*p(Xn) = X1*f1(X1) + X2*f2(X2) + …… + Xn*fn(Xn) 很容易证明E(X)对于这几个数据来说就是他们的算术平均值。 我们举个例子，比如说有这么几个数： 1，1，2，5，2，6，5，8，9，4，8，1 1出现的次数为3次，占所有数据出现次数的3/12,这个3/12就是1所对应的频率。同理，可以计算出f(2) = 2/12,f(5) = 2/12 , f(6) = 1/12 , f(8) = 2/12 , f(9) = 1/12 , f(4) = 1/12 根据数学期望的定义： E(X) = 1*f(1) + 2*f(2) + 5*f(5) + 6*f(6) + 8*f(8) + 9*f(9) + 4*f(4) = 13/3 所以 E(X) = 13/3, 现在算这些数的算术平均值： Xa = (1+1+2+5+2+6+5+8+9+4+8+1)/12 = 13/3 所以E(X) = Xa = 13/3

‘叁’ 链熸湜鍊笺佹柟宸镄勮＄畻鍏寮忥纻

1銆佹湡链涘艰＄畻鍏寮忥细

E(X)=(n*M)/N [鍏朵腑x鏄镙锋湰鏁帮纴n涓烘牱链瀹归噺锛孧涓烘牱链镐绘暟锛孨涓烘讳綋涓镄勪釜浣撴绘暟]锛屾眰鍑哄潎鍊硷纴杩椤氨鏄瓒呭嚑浣曞垎甯幂殑鏁板︽湡链涘笺

2銆佹柟宸璁＄畻鍏寮忥细

V(X)=X1^2*P1+X2^2*P2+...Xn^2*Pn-a^2 [杩欓噷璁綼涓烘湡链涘糫

镓╁𪾢璧勬枡锛

鍦ㄧ粺璁″︿腑锛屽綋浼扮畻涓涓鍙橀噺镄勬湡链涘兼椂锛屼竴涓缁忓父鐢ㄥ埌镄勬柟娉曟槸閲嶅嶆祴閲忔ゅ彉閲忕殑鍊硷纴铹跺悗鐢ㄦ墍寰楁暟鎹镄勫钩鍧囧兼潵浣滀负姝ゅ彉閲忕殑链熸湜鍊肩殑浼拌°

鍦ㄦ傜巼鍒嗗竷涓锛屾湡链涘煎拰鏂瑰樊鎴栨爣鍑嗗樊鏄涓绉嶅垎甯幂殑閲嶈佺壒寰併

鍦ㄧ粡鍏稿姏瀛︿腑锛岀墿浣挞吨蹇幂殑绠楁硶涓庢湡链涘肩殑绠楁硶鍗佸垎杩戜技銆

褰撴暟鎹鍒嗗竷姣旇缉鍒嗘暎锛埚嵆鏁版嵁鍦ㄥ钩鍧囨暟闄勮繎娉㈠姩杈冨ぇ锛夋椂锛屽悇涓鏁版嵁涓庡钩鍧囨暟镄勫樊镄勫钩鏂瑰拰杈冨ぇ锛屾柟宸灏辫缉澶э绂褰撴暟鎹鍒嗗竷姣旇缉闆嗕腑镞讹纴钖勪釜鏁版嵁涓庡钩鍧囨暟镄勫樊镄勫钩鏂瑰拰杈冨皬銆傚洜姝ゆ柟宸瓒婂ぇ锛屾暟鎹镄勬尝锷ㄨ秺澶э绂鏂瑰樊瓒婂皬锛屾暟鎹镄勬尝锷ㄥ氨瓒婂皬銆

镙锋湰涓钖勬暟鎹涓庢牱链骞冲潎鏁扮殑宸镄勫钩鏂瑰拰镄勫钩鍧囨暟鍙锅氭牱链鏂瑰樊锛涙牱链鏂瑰樊镄勭畻链骞虫柟镙瑰彨锅氭牱链镙囧嗳宸銆傛牱链鏂瑰樊鍜屾牱链镙囧嗳宸閮芥槸琛￠噺涓涓镙锋湰娉㈠姩澶у皬镄勯噺锛屾牱链鏂瑰樊鎴栨牱链镙囧嗳宸瓒婂ぇ锛屾牱链鏁版嵁镄勬尝锷ㄥ氨瓒婂ぇ銆

鍙傝冭祫鏂欐潵婧愶细锏惧害锏剧-链熸湜鍊

锏惧害锏剧-鏂瑰樊

‘肆’ 鏁板︽湡链涙庝箞璁＄畻锛

E(X) = X1*p(X1) + X2*p(X2) + 钬︹ + Xn*p(Xn)

X1,X2,X3,钬︹,Xn涓鸿繖鍑犱釜鏁版嵁锛宲(X1),p(X2),p(X3),钬︹p(Xn)涓鸿繖鍑犱釜鏁版嵁镄姒傜巼鍑芥暟銆

闇瑕佹敞镒忕殑鏄锛链熸湜鍊骞朵笉涓瀹氱瓑钖屼簬甯歌瘑涓镄勨沧湡链涒浓斺斺沧湡链涘尖濅篃璁镐笌姣忎竴涓缁撴灉閮戒笉鐩哥瓑銆傦纸鎹㈠彞璇濊达纴链熸湜鍊兼槸璇ュ彉閲忚緭鍑哄肩殑骞冲潎鏁銆傛湡链涘煎苟涓崭竴瀹氩寘钖浜庡彉閲忕殑杈揿嚭鍊奸泦钖堥噷銆傦级

濡傛灉X鏄杩炵画镄闅忔満鍙橀噺锛屽瓨鍦ㄤ竴涓鐩稿簲镄勬傜巼瀵嗗害鍑芥暟锛堜篃灏辨槸璇翠竴涓闅忔満鍙橀噺镄勮緭鍑轰笉浼氩奖鍝嶅彟涓涓闅忔満鍙橀噺镄勮緭鍑恒傦级

渚嫔傦纴缇庡浗镄勮疆鐩树腑甯哥敤镄勮疆鐩树笂链38涓鏁板瓧锛屾疮涓涓鏁板瓧琚阃変腑镄勬傜巼閮芥槸鐩哥瓑镄勚璧屾敞涓鑸鎶煎湪鍏朵腑镆愪竴涓鏁板瓧涓婏纴濡傛灉杞鐩樼殑杈揿嚭鍊煎拰杩欎釜鏁板瓧鐩哥瓑锛岄偅涔堜笅璧岃呭彲浠ュ皢鐩稿綋浜庤祵娉35鍊岖殑濂栭噾(铡熸敞涓嶅寘钖鍦ㄥ唴)锛岃嫢杈揿嚭鍊煎拰涓嫔帇鏁板瓧涓嶅悓锛屽垯璧屾敞灏辫緭鎺変简銆

钥冭槛鍒38绉嶆墍链夌殑鍙鑳界粨鏋滐纴铹跺悗杩欓噷鎴戜滑镄勮惧畾镄勬湡链涚洰镙囨槸钬滆耽阍扁濓纴鍒椤洜姝わ纴璁ㄨ鸿耽鎴栬緭涓ょ嶉勬兂鐘舵佺殑璇濓纴浠1缇庡厓璧屾敞鎶间竴涓鏁板瓧涓婏纴鍒栾幏鍒╃殑链熸湜鍊间负锛氲耽镄勨沧傜巼38鍒嗕箣1锛岃兘銮峰缑35鍏冣濓纴锷犱笂钬滆緭1鍏幂殑𨱍呭喌37绉嵝濓纴缁撴灉绾︾瓑浜-0.0526缇庡厓銆

涔熷氨鏄璇达纴骞冲潎璧锋潵姣忚祵1缇庡厓灏变细杈撴帀5缇庡垎锛屽嵆缇庡纺杞鐩树互1缇庡厓浣滆祵娉ㄧ殑链熸湜鍊间负 璐0.0526缇庡厓銆

‘伍’ 什么是数学期望如何计算

数学期望是试验中每次可能结果的概率乘以其结果的总和。

计算公式：

1、离散型：

离散型随机变量X的取值为X1、X2、X3……Xn，p(X1)、p(X2)、p(X3)……p(Xn)、为X对应取值的概率，可理解为数据X1、X2、X3……Xn出现的频率高f(Xi)，则：