似然估计的算法

㈠ 极大似然估计和EM算法初步

本文来自我的个人博客 https://www.zhangshenghai.com/posts/1422/

极大似然估计是在知道结果的情况下，寻求使该结果出现可能性极大的条件，以此作为估计值。在维基网络中，极大似然估计的定义是这样的：

首先从一个例子入手，假设我们需要调查某个地区的人群身高分布，那么先假设这个地区人群身高服从正态分布 。注意，极大似然估计的前提是要假设数据总体的分布， 不知道数据分布是无法使用极大似然估计的 。假设的正态分布的均值和方差未知，这个问题中极大似然估计的目的就是要估计这两个参数。

根据概率统计的思想，可以依据样本估算总体，假设我们随机抽到了1000个人，根据这1000个人的身高来估计均值 和方差 。

将其翻译成数学语言：为了统计该地区的人群身高分布，我们独立地按照概率密度 抽取了1000个样本组成样本集 ，我们想通过样本集 来估计总体的未知参数 。这里概率密度 服从高斯分布 ，其中的未知参数是 。

那么怎样估算 呢？

这里每个样本都是独立地从 中抽取的，也就是说这1000个人之间是相互独立的。若抽到 的概率是 ，抽到 的概率是 ，那么同时抽到它们的概率就是 。同理，同时抽到这1000个人的概率就是他们各自概率的乘积，即为他们的联合概率，这个联合概率就等于这个问题的似然函数：

对 L 取对数，将其变成连加的，称为对数似然函数，如下式：

对似然函数求所有参数的偏导数，然后让这些偏导数为0，假设有n个参数，就可以得到n个方程组成的方程组，方程组的解就是似然函数的极值点了，在似然函数极大的情况下得到的参数值 即为我们所求的值：

极大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率极大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。

和极大似然估计一样，EM算法的前提也是要假设数据总体的分布， 不知道数据分布是无法使用EM算法的 。

概率模型有时既含有观测变量，又含有隐变量。如果概率模型的变量都是观测变量，那么给定数据，可以直接用极大似然估计法，或贝叶斯估计法估计模型参数。但是，当模型含有隐变量时，就不能简单地使用这些估计方法。EM算法就是含有隐变量的概率模型参数的极大似然估计法，或极大后验概率估计法。

函数：完全数据的对数似然函数 关于在给定观测数据 和当前参数 下对未观测数据 的条件概率分布 的期望

含有隐变量 的概率模型，目标是极大化观测变量 关于参数 的对数似然函数，即

输入：观测随机变量数据 ，隐随机变量数据 ，联合分布 ，条件分布 ；
输出：模型参数

㈡ 概率论中的最大似然估计法的具体步骤是什么举例说明一下

http://..com/question/501531644.html
最大似然估计 是一种统计方法 ，它用来求一个样本集的相关概率密度函数的参数。这个方法最早是遗传学家以及统计学家罗纳德·费雪 爵士在1912年至1922年间开始使用的。 “似然”是对likelihood 的一种较为贴近文言文的翻译，“似然”用现代的中文来说即“可能性”。故而，若称之为“最大可能性估计”则更加通俗易懂。 最大似然估计的原理 给定一个概率分布D ，假定其概率密度函数（连续分布）或概率聚集函数（离散分布）为f D ，以及一个分布参数θ ，我们可以从这个分布中抽出一个具有n 个值的采样 ，通过利用f D ，我们就能计算出其概率： 但是，我们可能不知道θ 的值，尽管我们知道这些采样数据来自于分布D 。那么我们如何才能估计出θ 呢？一个自然的想法是从这个分布中抽出一个具有n 个值的采样X 1 ,X 2 ,...,X n ，然后用这些采样数据来估计θ . 一旦我们获得 ，我们就能从中找到一个关于θ 的估计。最大似然估计会寻找关于 θ 的最可能的值（即，在所有可能的θ 取值中，寻找一个值使这个采样的“可能性”最大化）。 这种方法正好同一些其他的估计方法不同，如θ 的非偏估计，非偏估计未必会输出一个最可能的值，而是会输出一个既不高估也不低估 的θ 值。 要在数学上实现最大似然估计法 ，我们首先要定义可能性 : 并且在θ 的所有取值上，使这个[[函数最大化。这个使可能性最大的值即被称为θ 的最大似然估计 。 注意 这里的可能性是指不变时，关于θ 的一个函数。 最大似然估计函数不一定是惟一的，甚至不一定存在。

http://..com/question/237077915.html 给出了一个好例子。