当前位置:首页 » 操作系统 » 似然估计的算法

似然估计的算法

发布时间: 2023-07-09 15:42:06

㈠ 极大似然估计和EM算法初步

本文来自我的个人博客 https://www.zhangshenghai.com/posts/1422/

极大似然估计是在知道结果的情况下,寻求使该结果出现可能性极大的条件,以此作为估计值。在维基网络中,极大似然估计的定义是这样的:

首先从一个例子入手,假设我们需要调查某个地区的人群身高分布,那么先假设这个地区人群身高服从正态分布 。注意,极大似然估计的前提是要假设数据总体的分布, 不知道数据分布是无法使用极大似然估计的 。假设的正态分布的均值和方差未知,这个问题中极大似然估计的目的就是要估计这两个参数。

根据概率统计的思想,可以依据样本估算总体,假设我们随机抽到了1000个人,根据这1000个人的身高来估计均值 和方差 。

将其翻译成数学语言:为了统计该地区的人群身高分布,我们独立地按照概率密度 抽取了1000个样本组成样本集 ,我们想通过样本集 来估计总体的未知参数 。这里概率密度 服从高斯分布 ,其中的未知参数是 。

那么怎样估算 呢?

这里每个样本都是独立地从 中抽取的,也就是说这1000个人之间是相互独立的。若抽到 的概率是 ,抽到 的概率是 ,那么同时抽到它们的概率就是 。同理,同时抽到这1000个人的概率就是他们各自概率的乘积,即为他们的联合概率,这个联合概率就等于这个问题的似然函数:

对 L 取对数,将其变成连加的,称为对数似然函数,如下式:

对似然函数求所有参数的偏导数,然后让这些偏导数为0,假设有n个参数,就可以得到n个方程组成的方程组,方程组的解就是似然函数的极值点了,在似然函数极大的情况下得到的参数值 即为我们所求的值:

极大似然估计是建立在这样的思想上:已知某个参数能使这个样本出现的概率极大,我们当然不会再去选择其他小概率的样本,所以干脆就把这个参数作为估计的真实值。

和极大似然估计一样,EM算法的前提也是要假设数据总体的分布, 不知道数据分布是无法使用EM算法的

概率模型有时既含有观测变量,又含有隐变量。如果概率模型的变量都是观测变量,那么给定数据,可以直接用极大似然估计法,或贝叶斯估计法估计模型参数。但是,当模型含有隐变量时,就不能简单地使用这些估计方法。EM算法就是含有隐变量的概率模型参数的极大似然估计法,或极大后验概率估计法。

函数:完全数据的对数似然函数 关于在给定观测数据 和当前参数 下对未观测数据 的条件概率分布 的期望

含有隐变量 的概率模型,目标是极大化观测变量 关于参数 的对数似然函数,即

输入:观测随机变量数据 ,隐随机变量数据 ,联合分布 ,条件分布 ;
输出:模型参数

㈡ 概率论中的最大似然估计法的具体步骤是什么举例说明一下

http://..com/question/501531644.html
最大似然估计 是一种统计方法 ,它用来求一个样本集的相关概率密度函数的参数。这个方法最早是遗传学家以及统计学家罗纳德·费雪 爵士在1912年至1922年间开始使用的。 “似然”是对likelihood 的一种较为贴近文言文的翻译,“似然”用现代的中文来说即“可能性”。故而,若称之为“最大可能性估计”则更加通俗易懂。 最大似然估计的原理 给定一个概率分布D ,假定其概率密度函数(连续分布)或概率聚集函数(离散分布)为f D ,以及一个分布参数θ ,我们可以从这个分布中抽出一个具有n 个值的采样 ,通过利用f D ,我们就能计算出其概率: 但是,我们可能不知道θ 的值,尽管我们知道这些采样数据来自于分布D 。那么我们如何才能估计出θ 呢?一个自然的想法是从这个分布中抽出一个具有n 个值的采样X 1 ,X 2 ,...,X n ,然后用这些采样数据来估计θ . 一旦我们获得 ,我们就能从中找到一个关于θ 的估计。最大似然估计会寻找关于 θ 的最可能的值(即,在所有可能的θ 取值中,寻找一个值使这个采样的“可能性”最大化)。 这种方法正好同一些其他的估计方法不同,如θ 的非偏估计,非偏估计未必会输出一个最可能的值,而是会输出一个既不高估也不低估 的θ 值。 要在数学上实现最大似然估计法 ,我们首先要定义可能性 : 并且在θ 的所有取值上,使这个[[函数最大化。这个使可能性最大的值即被称为θ 的最大似然估计 。 注意 这里的可能性是指不变时,关于θ 的一个函数。 最大似然估计函数不一定是惟一的,甚至不一定存在。

http://..com/question/237077915.html 给出了一个好例子。

热点内容
华为p系列手机哪个配置好 发布:2025-03-18 03:20:13 浏览:619
易语言连接access数据库 发布:2025-03-18 03:12:48 浏览:659
苗木源码 发布:2025-03-18 03:12:38 浏览:746
oracle卸载数据库 发布:2025-03-18 03:05:15 浏览:45
编译时生成固件怎么办 发布:2025-03-18 03:04:30 浏览:704
c语言breakcontinue 发布:2025-03-18 02:52:41 浏览:162
服务器云主机改成云电脑 发布:2025-03-18 02:46:11 浏览:423
php环境的搭建 发布:2025-03-18 02:44:47 浏览:491
java实现文件上传到ftp 发布:2025-03-18 02:43:25 浏览:402
编程出游戏 发布:2025-03-18 02:43:15 浏览:179