高斯混合模型演算法

A. 什麼樣的高斯混合模型數據更適合em演算法

應該是「過擬合」了吧。雖然在em中沒有真正的「過擬合」一說，但是類別增多，每個數據點會以更高的概率分配到這些類別上。

B. 比較kmeans演算法和混合高斯模型，哪個模型的聚類效果更好

kmeans得到的index索引是一個列向量，假設聚類成類，則index中只有，，這幾個數

C. 最近在研究聲紋識別系統 演算法原理是高斯混合模型 請問有人知道哪本書里講了高斯混合模型嗎 急需啊

我建議用LABVIEW這個軟體，很全面，有你想要的東西

D. 使用k-means聚類演算法的優點是什麼使用高斯混合模型聚類演算法的優點是什麼

高斯混合模型就是用高斯概率密度函數（正態分布曲線）精確地量化事物，它是一個將事物分解為若乾的基於高斯概率密度函數（正態分布曲線）形成的模型。 高斯模型就是用高斯概率密度函數（正態分布曲線）精確地量化事物

E. 基於混合高斯模型的EM演算法在MATLAB中實現後，為什麼輸出的極大似然函數值隨著聚類個數的增多而變大

應該是「過擬合」了吧。雖然在EM中沒有真正的「過擬合」一說，但是類別增多，每個數據點會以更高的概率分配到這些類別上。

F. 高斯混合模型的初始化有哪些好的方法

這個問題估計很少有人會，你不用在問題標題後加個OpenCV，這個問題和繪圖庫無關，你可能得到有關混合高斯模型的論壇里看看，估計是演算法出錯或者是結果你沒有處理好

G. GMM模型是什麼

就是用高斯概率密度函數（正態分布曲線）精確地量化事物，將一個事物分解為若乾的基於高斯概率密度函數（正態分布曲線）形成的模型。GMMs已經在數值逼近、語音識別、圖像分類、圖像去噪、圖像重構、故障診斷、視頻分析、郵件過濾、密度估計、目標識別與跟蹤等領域取得了良好的效果。

對圖像背景建立高斯模型的原理及過程：圖像灰度直方圖反映的是圖像中某個灰度值出現的頻次，也可以認為是圖像灰度概率密度的估計。如果圖像所包含的目標區域和背景區域相比比較大，且背景區域和目標區域在灰度上有一定的差異，那麼該圖像的灰度直方圖呈現雙峰-谷形狀。

主要步驟

1、為圖像的每個像素點指定一個初始的均值、標准差以及權重。

2、收集N（一般取200以上，否則很難得到像樣的結果）幀圖像利用在線EM演算法得到每個像素點的均值、標准差以及權重）。

3、從N+1幀開始檢測，檢測的方法：

對每個像素點：

1）將所有的高斯核按照ω/σ降序排序

2）選擇滿足公式的前M個高斯核：M= arg min(ω/σ>T)

3）如果當前像素點的像素值在中有一個滿足：就可以認為其為背景點。

H. em演算法是什麼

最大期望演算法（Expectation-Maximization algorithm, EM），或Dempster-Laird-Rubin演算法，是一類通過迭代進行極大似然估計（Maximum Likelihood Estimation, MLE）的優化演算法 ，通常作為牛頓迭代法（Newton-Raphson method）的替代用於對包含隱變數（latent variable）或缺失數據（incomplete-data）的概率模型進行參數估計。
EM演算法的標准計算框架由E步（Expectation-step）和M步（Maximization step）交替組成，演算法的收斂性可以確保迭代至少逼近局部極大值 。EM演算法是MM演算法（Minorize-Maximization algorithm）的特例之一，有多個改進版本，包括使用了貝葉斯推斷的EM演算法、EM梯度演算法、廣義EM演算法等 。
由於迭代規則容易實現並可以靈活考慮隱變數，EM演算法被廣泛應用於處理數據的缺測值 ，以及很多機器學習（machine learning）演算法，包括高斯混合模型（Gaussian Mixture Model, GMM） 和隱馬爾可夫模型（Hidden Markov Model, HMM） 的參數估計。

I. 高斯演算法求分數

高斯混合模型GMM
首先介紹高斯分布的概率密度函數。一維高斯分布的概率密度函數如下：

多維變數X=(x1,x2,…xn)的聯合概率密度函數為：

這里引用李航《統計學習方法》書中的定義

簡而言之，GMM是多個高斯分布的加權和，並且權重α之和等於1 。

Sklearn
sklearn.mixture 是一個應用高斯混合模型進行非監督學習的包(支持 diagonal，spherical，tied，full 四種協方差矩陣)。GaussianMixture 對象實現了用來擬合高斯混合模型的期望最大 (EM) 演算法。它還可以為多變數模型繪制置信橢圓體，同時計算 BIC（Bayesian Information Criterion，貝葉斯信息准則）來評估數據中聚類的數量。詳情見Sklearn中文官網2.1. 高斯混合模型。

期望最大演算法EM
這里引用周志華《機器學習》書中的定義

上面是基本概念。關於數學公式推導，真心建議直接看吳恩達老師的課件。這里給出自己推導的結果

示例演示
演示GMM的使用。

import numpy as np
import matplotlib.pyplot as plt
from matplotlib.colors import LogNorm
from sklearn import mixture

n_samples = 300

# generate random sample, two components
np.random.seed(0)

# generate spherical data centered on (20, 20)
shifted_gaussian = np.random.randn(n_samples, 2) + np.array([20, 20])

# generate zero centered stretched Gaussian data
C = np.array([[0., -0.7], [3.5, .7]])
stretched_gaussian = np.dot(np.random.randn(n_samples, 2), C)

# concatenate the two datasets into the final training set
X_train = np.vstack([shifted_gaussian, stretched_gaussian])

# fit a Gaussian Mixture Model with two components
clf = mixture.GaussianMixture(n_components=2, covariance_type='full')
clf.fit(X_train)

# display predicted scores by the model as a contour plot
x = np.linspace(-20., 30.)
y = np.linspace(-20., 40.)
X, Y = np.meshgrid(x, y)
XX = np.array([X.ravel(), Y.ravel()]).T
Z = -clf.score_samples(XX)
Z = Z.reshape(X.shape)

CS = plt.contour(X, Y, Z, norm=LogNorm(vmin=1.0, vmax=1000.0),
levels=np.logspace(0, 3, 10))
CB = plt.colorbar(CS, shrink=0.8, extend='both')
plt.scatter(X_train[:, 0], X_train[:, 1], .8)

plt.title('Negative log-likelihood predicted by a GMM')
plt.axis('tight')
plt.show()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
運行結果

J. 混合高斯模型的高斯分布怎麼來的

params.win_size=CV_BGFG_MOG_WINDOW_SIZE;//初始化階段的幀數，這個參數的倒數就是我們知道的背景模型的更新率params.bg_threshold=CV_BGFG_MOG_BACKGROUND_THRESHOLD;//高斯背景閾值params.std_threshold=CV_BGFG_MOG_STD_THRESHOLD;//這個參數是當前面一個高斯權值的和的閾值，這樣的一個閾值用來判斷哪些是背景模型，哪些是前景的高斯函數，因為大家認為，不是所有的高斯分布都代表背景的，有部分代表前景params.weight_init=CV_BGFG_MOG_WEIGHT_INIT;//初始權重params.variance_init=CV_BGFG_MOG_SIGMA_INIT*CV_BGFG_MOG_SIGMA_INIT;//初始方差params.minArea=CV_BGFG_MOG_MINAREA;//最小面積,,這個參數是用來去噪的，當檢測的目標矩形區域的面積小於這個minArea時，就把它當噪音去掉，這個就是去掉小目標params.n_gauss=CV_BGFG_MOG_NGAUSSIANS;//高斯模型個數，這個參數看你用幾層高斯模型了，一般選3OpenCV的全稱是：。OpenCV是一個基於（開源）發行的跨平台計算機視覺庫，可以運行在Linux、Windows和MacOS操作系統上。它輕量級而且高效——由一系列C函數和少量C++類構成，同時提供了Python、Ruby、MATLAB等語言的介面，實現了圖像處理和計算機視覺方面的很多通用演算法。OpenCV用C++語言編寫，它的主要介面也是C++語言，但是依然保留了大量的C語言介面。該庫也有大量的Python,JavaandMATLAB/OCTAVE(版本2.5)的介面。這些語言的API介面函數可以通過在線文檔獲得。如今也提供對於C#,Ch,Ruby的支持。