马尔科夫算法

㈠ 马尔可夫链的MRF

为了解决这些问题，我们提出一种新的分层 MRF 模型——半树模型，其结构和图15类似，仍然是四叉树，只是层数比完整的四叉树大大减少，相当于将完整的四叉树截为两部分，只取下面的这部分.模型最下层仍和图像 大小一致，但最上层则不止一个节点.完整的四叉树模型所具有的性质完全适用于半树模型，不同点仅在于最上层,完整的树模型从上到下构成 了完整的因果依赖性，而半树模型的层间因果关系被截断，该层节点的父节点及祖先均被删去，因此该层中的各 节点不具有条件独立性，即不满足上述的性质2,因而对这一层转为考虑层内相邻节点间的关系.半树模型和完 整的树模型相比，层次减少了许多，这样，层次间的信息传递快了，概率值也不会因为过多层次的逐层计算而小 到出现下溢.但第 0 层带来了新的问题，我们必须得考虑节点间的交互，才能得出正确的推导结果，也正是因为在 第 0 层考虑了相邻节点间的影响，使得该模型的块现象要好于完整的树模型.对于层次数的选取，我们认为不宜多，太多则达不到简化模型的目的，其优势体现不出来，但也不能太少，因为第0 层的概率计算仍然要采用非迭代的算法，层数少表明第0 层的节点数仍较多，计算费时，所以在实验中将 层数取为完整层次数的一半或一半稍少.
MPM 算法
3半树模型的 MPM 算法
图像分割即已知观测图像 y,估计 X 的配置，采用贝叶斯估计器，可由一个优化问题来表示：
?x = arg min [E C ( x,x ）′ | Y = y],x其中代价函数 C 给出了真实配置为 x 而实际分割结果为 x′时的代价.在已知 y 的情况下，最小化这一代价的期 望，从而得到最佳的分割.代价函数取法不同得到了不同的估计器，若 C(x,x′）=1?δ(x,x′）（当 x=x′时δ(x,x′）=1,否则 δ(x,x′）=0)得到的是 MAP 估计器，它意味着 x 和 x′只要在一个像素处有不同，则代价为 1,对误分类的惩罚比较重，汪西莉 等：一种分层马尔可夫图像模型及其推导算法
而在实际中存在一些误分类是完全允许的.若将半树模型的 MPM 算法记为 HT-MPM,它分为向上算法和向下算法两步，向上算法自下而上根据式⑵、 式 ⑶逐层计 算P(yd(s)|xs)和 P(xs,xρ(s)|yd(s)），对最下层 P(yd(s)|xs)=P(ys|xs). 向下算法自上 而下根据 式 ⑴逐层计算 P(xs|y)，对最上层由 P(x0|y)采样 x0⑴，…,x0(n),

㈡ 马尔科夫链与证明算法收敛性是什么关系

的让他今年通过纪念日

㈢ 与离散时间马尔可夫链

你想问的是马尔可夫链吗？还是想问离散时间系统？
机器学习算法中，马尔可夫链(Markov chain)是个很重要的概念。马尔可夫链（Markov chain），又称离散时间马尔可夫链（discrete-time Markov chain），因俄国数学家安德烈·马尔可夫（俄语：Андрей Андреевич Марков）得名，为状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质：下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。这种特定类型的“无记忆性”称作马尔可夫性质。马尔科夫链作为实际过程的统计模型具有许多应用。
在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。状态的改变叫做转移，与不同的状态改变相关的概率叫做转移概率。随机漫步就是马尔可夫链的例子。随机漫步中每一步的状态是在图形中的点，每一步可以移动到任何一个相邻的点，在这里移动到每一个点的概率都是相同的（无论之前漫步路径是如何的）。
离散时间系统是根据预先设定的算法规则，将输入离散时间信号转换为所要求的输出离散时间信号的特定功能装置。

㈣ 马尔可夫算法的规则

A -> apple
B -> bag
S -> shop
T -> the
the shop -> my brother
从不使用的 -> .终止规则

㈤ 马尔可夫决策过程的策略指标

策略是提供给决策者在各个时刻选取行动的规则，记作π=(π0，π1，π2，…， πn，πn+1…)，其中πn是时刻 n选取行动的规则。从理论上来说，为了在大范围寻求最优策略πn，最好根据时刻 n以前的历史，甚至是随机地选择最优策略。但为了便于应用，常采用既不依赖于历史、又不依赖于时间的策略，甚至可以采用确定性平稳策略。
衡量策略优劣的常用指标有折扣指标和平均指标。折扣指标是指长期折扣〔把 t时刻的单位收益折合成0时刻的单位收益的βt(β < 1)倍〕期望总报酬；平均指标是指单位时间的平均期望报酬。
采用折扣指标的马尔可夫决策过程称为折扣模型。业已证明：若一个策略是β折扣最优的，则初始时刻的决策规则所构成的平稳策略对同一β也是折扣最优的，而且它还可以分解为若干个确定性平稳策略，它们对同一β都是最优的，已有计算这种策略的算法。
采用平均指标的马尔可夫决策过程称为平均模型。业已证明：当状态空间S 和行动集A(i)均为有限集时，对于平均指标存在最优的确定性平稳策略；当S和（或）A(i)不是有限的情况,必须增加条件，才有最优的确定性平稳策略。计算这种策略的算法也已研制出来。

㈥ 有没有好一点的基于Markov马尔可夫算法的SIL验算软件

要说好的基于Markov马尔可夫算法的SIL验算软件，肯定首先选择歌略RiskCloud啊，他们可是这方面的首创，更是应急管局认可产品，所以选择他们的软件肯定没错！

㈦ 谁能帮我找一些关于马尔可夫模型的资料啊

摘 要：根据隐马尔可夫模型HMM的基本理论和算法设计了一个情感模型.该模型用E-HMM构成:子层(即低层)HMM由3个HMM组成,分别对应3种心理情绪状态.外部刺激经过子层初步识别,其输出组成高级层HMM的观察向量,经过高层HMM,确定情感输出,从而提高了模型的准确性.
关键词：隐马尔可夫模型;情感计算;情感模型
分类号：TP391.9 文献标识码：A
文章编号：1002-3186(2005)01-0061-04

作者简介：王玉洁,女,教授,主研方向为人工智能及机器人技术
作者单位：王玉洁（北京农学院基础科学系,北京,102206;北京科技大学信息工程学院,北京,100083）
王志良（北京科技大学信息工程学院,北京,100083）
陈锋军（北京科技大学信息工程学院,北京,100083）
王国江（北京科技大学信息工程学院,北京,100083）
王玉锋（北京科技大学信息工程学院,北京,100083）

参考文献：

[1]Picard R W. Affective computing[M]. MIT Press, London,England, 1997
[2]L R Rabiner. A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition. Proceedings of the IEEE, 1989,77(2) :257
[3]Chellappa R, Zhao W. Face Recognition: A Literature Survey. TO be submitted to ACM Journal of Computing Surveys, 2000
[4]Agazzi O,Kuo S. Hidden Markov Models Based Optical Character Recognition in Presence of Deterministic Transformation. Pattern Recognition, 1993,26 (12): 1813-1826
[5]Samaria F, Hatter A. Parameterisation of a Stochanastic Model for Human Face Identification. Sarasota, Florida: IEEE Workshop on Application of Computer Vision, 1994
[6]Nefian A V. A Hidden Markov Model-Based Approach for Face Detection and Recognition [PhD thesis]. school of Electrical and Computer Engineering, Georigia Institute of Technology, 1998
[7]Levin E, Pieraccini R. Dynamic Planar Warping for Optical Character Recognition. Proceeding of ICASSP92,1992, ( 3 ):149-152
[8]叶俊勇,汪同庆,彭健,杨波.基于伪二维隐马尔可夫模型的人脸识别.计算机工程,2003,(1):26-27

--------------------------------------------------------------------------------

题目 计算机系统入侵检测的隐马尔可夫模型
A Hidden Markov Model Used in Intrusion Detection
作者 谭小彬1 王卫平2 奚宏生1 殷保群1
TAN Xiao-Bin1, WANG Wei-Ping2, XI Hong-Sheng1, and YIN Bao-Qun1
单位 (中国科学技术大学自动化系 合肥 230027)； 2(中国科学技术大学商学院 合肥 230026) ([email protected]
1(Department of Automation, University of Science & Technology of China, Hefei 230027) 2(School of Business and Management, University of Science & Technology of China, Hefei 230026)
关键词 入侵检测；异常检测；隐马尔可夫模型(HMM)
intrusion detection; anomaly detection; hidden Markov model (HMM)
摘要 入侵检测技术作为计算机安全技术的一个重要组成部分，现在受到越来越广泛地关注.首先建立了一个计算机系统运行状况的隐马尔可夫模型(HMM)，然后在此模型的基础上提出了一个用于计算机系统实时异常检测的算法，以及该模型的训练算法.这个算法的优点是准确率高，算法简单，占用的存储空间很小，适合用于在计算机系统上进行实时检测.
As the key component of computer security technique, intrusion detection has received more and more attention. In this paper, an overview of research in anomaly detection is presented with emphasis on issues related to found a hidden Markov model (HMM) for the normal states of computer system, and an algorithm of anomaly detection is brought forward. The probability of observed sequence is computed and the average probability of a fixed length sequence is used as the metric of anomaly detection. To improve accuracy, an update algorithm for this hidden Markov model is also presented based on the forgetting factor. This method is not only useful in theory, but also can be used in practice to monitor the computer system in real time.

㈧ 马尔科夫链蒙特卡洛算法有现成的c++库吗

这是infoq上面最近的文章，说的是蒙特卡洛算法来解围棋问题。
目前比较主流方法，大概就是机器学习和神经网络了。

㈨ 如何用简单易懂的例子解释隐马尔可夫模型

和HMM模型相关的算法主要分为三类，分别解决三种问题：
1）知道骰子有几种（隐含状态数量），每种骰子是什么（转换概率），根据掷骰子掷出的结果（可见状态链），我想知道每次掷出来的都是哪种骰子（隐含状态链）。
这个问题呢，在语音识别领域呢，叫做解码问题。这个问题其实有两种解法，会给出两个不同的答案。每个答案都对，只不过这些答案的意义不一样。第一种解法求最大似然状态路径，说通俗点呢，就是我求一串骰子序列，这串骰子序列产生观测结果的概率最大。第二种解法呢，就不是求一组骰子序列了，而是求每次掷出的骰子分别是某种骰子的概率。比如说我看到结果后，我可以求得第一次掷骰子是D4的概率是0.5，D6的概率是0.3，D8的概率是0.2.第一种解法我会在下面说到，但是第二种解法我就不写在这里了，如果大家有兴趣，我们另开一个问题继续写吧。
2）还是知道骰子有几种（隐含状态数量），每种骰子是什么（转换概率），根据掷骰子掷出的结果（可见状态链），我想知道掷出这个结果的概率。
看似这个问题意义不大，因为你掷出来的结果很多时候都对应了一个比较大的概率。问这个问题的目的呢，其实是检测观察到的结果和已知的模型是否吻合。如果很多次结果都对应了比较小的概率，那么就说明我们已知的模型很有可能是错的，有人偷偷把我们的骰子给换了。
3）知道骰子有几种（隐含状态数量），不知道每种骰子是什么（转换概率），观测到很多次掷骰子的结果（可见状态链），我想反推出每种骰子是什么（转换概率）。
这个问题很重要，因为这是最常见的情况。很多时候我们只有可见结果，不知道HMM模型里的参数，我们需要从可见结果估计出这些参数，这是建模的一个必要步骤。
问题阐述完了，下面就开始说解法。（0号问题在上面没有提，只是作为解决上述问题的一个辅助）