em演算法實例

㈠ 數據分析中缺失值的處理

數據缺失在許多研究領域都是一個復雜的問題，對數據挖掘來說，缺失值的存在，造成了以下影響：
1.系統丟失了大量的有用信息
2.系統中所表現出的不確定性更加顯著，系統中蘊涵的確定性成分更難把握
3.包含空值的數據會使挖掘過程陷入混亂，導致不可靠的輸出

數據挖掘演算法本身更致力於避免數據過分擬合所建的模型，這一特性使得它難以通過自身的演算法去很好地處理不完整數據。因此，缺失值需要通過專門的方法進行推導、填充等，以減少數據挖掘演算法與實際應用之間的差距。

1.列表顯示缺失值 mice包 md.pattern( )

2.圖形探究缺失值 VIM包

3.用相關性探索缺失值

1.人工填寫
由於最了解數據的還是用戶自己，因此這個方法產生數據偏離最小，可能是填充效果最好的一種。然而一般來說，該方法很費時，當數據規模很大、空值很多的時候，該方法是不可行的。

2.特殊值填充
將空值作為一種特殊的屬性值來處理，它不同於其他的任何屬性值。如所有的空值都用「unknown」填充。這樣將形成另一個有趣的概念，可能導致嚴重的數據偏離，一般不推薦使用。

3.平均值填充
將信息表中的屬性分為數值屬性和非數值屬性來分別進行處理。如果空值是數值型的，就根據該屬性在其他所有對象的取值的平均值來填充該缺失的屬性值；如果空值是非數值型的，就根據統計學中的眾數原理，用該屬性在其他所有對象的取值次數最多的值(即出現頻率最高的值)來補齊該缺失的屬性值。另外有一種與其相似的方法叫條件平均值填充法（Conditional Mean Completer）。在該方法中，缺失屬性值的補齊同樣是靠該屬性在其他對象中的取值求平均得到，但不同的是用於求平均的值並不是從信息表所有對象中取，而是從與該對象具有相同決策屬性值的對象中取得。這兩種數據的補齊方法，其基本的出發點都是一樣的，以最大概率可能的取值來補充缺失的屬性值，只是在具體方法上有一點不同。與其他方法相比，它是用現存數據的多數信息來推測缺失值。

4.熱卡填充
對於一個包含空值的對象，熱卡填充法在完整數據中找到一個與它最相似的對象，然後用這個相似對象的值來進行填充。不同的問題可能會選用不同的標准來對相似進行判定。該方法概念上很簡單，且利用了數據間的關系來進行空值估計。這個方法的缺點在於難以定義相似標准，主觀因素較多。

5.K最近距離鄰法
先根據歐式距離或相關分析來確定距離具有缺失數據樣本最近的K個樣本，將這K個值加權平均來估計該樣本的缺失數據。
同均值插補的方法都屬於單值插補，不同的是，它用層次聚類模型預測缺失變數的類型，再以該類型的均值插補。假設X=(X1,X2…Xp)為信息完全的變數，Y為存在缺失值的變數，那麼首先對X或其子集行聚類，然後按缺失個案所屬類來插補不同類的均值。如果在以後統計分析中還需以引入的解釋變數和Y做分析，那麼這種插補方法將在模型中引入自相關，給分析造成障礙。

6.使用所有可能的值填充
用空缺屬性值的所有可能的屬性取值來填充，能夠得到較好的補齊效果。但是，當數據量很大或者遺漏的屬性值較多時，其計算的代價很大，可能的測試方案很多。

7.組合完整化方法
用空缺屬性值的所有可能的屬性取值來試，並從最終屬性的約簡結果中選擇最好的一個作為填補的屬性值。這是以約簡為目的的數據補齊方法，能夠得到好的約簡結果；但是，當數據量很大或者遺漏的屬性值較多時，其計算的代價很大。

8.回歸
基於完整的數據集，建立回歸方程（模型）。對於包含空值的對象，將已知屬性值代入方程來估計未知屬性值，以此估計值來進行填充，當變數不是線性相關或預測變數高度相關時會導致有偏差的估計（SPSS菜單里有這種方法）

9.期望值最大化方法
EM演算法是一種在不完全數據情況下計算極大似然估計或者後驗分布的迭代演算法。在每一迭代循環過程中交替執行兩個步驟：E步（Excepctaion step,期望步），在給定完全數據和前一次迭代所得到的參數估計的情況下計算完全數據對應的對數似然函數的條件期望；M步（Maximzation step，極大化步），用極大化對數似然函數以確定參數的值，並用於下步的迭代。演算法在E步和M步之間不斷迭代直至收斂，即兩次迭代之間的參數變化小於一個預先給定的閾值時結束。該方法可能會陷入局部極值，收斂速度也不是很快，並且計算很復雜。（SPSS菜單里有這種方法）

10.1多重插補原理
多值插補的思想來源於貝葉斯估計，認為待插補的值是隨機的，它的值來自於已觀測到的值。具體實踐上通常是估計出待插補的值，然後再加上不同的雜訊，形成多組可選插補值。根據某種選擇依據，選取最合適的插補值。

10.2多重填補在SPSS中的實現
10.2.1缺失模式分析
分析>多重歸因>分析模式

10.2.2缺失值的多重填充
分析>多重歸因>歸因缺失數據值

10.2.3採用填充後的數據建模

10.3多重填補在R中的實現（基於mice包）

實例：

11.C4.5方法
通過尋找屬性間的關系來對遺失值填充。它尋找之間具有最大相關性的兩個屬性，其中沒有遺失值的一個稱為代理屬性，另一個稱為原始屬性，用代理屬性決定原始屬性中的遺失值。這種基於規則歸納的方法只能處理基數較小的名詞型屬性。

就幾種基於統計的方法而言，刪除元組法和平均值填充法差於熱卡填充法、期望值最大化方法和多重填充法；回歸是比較好的一種方法，但仍比不上熱卡填充和期望值最大化方法；期望值最大化方法缺少多重填補包含的不確定成分。值得注意的是，這些方法直接處理的是模型參數的估計而不是空缺值預測本身。它們合適於處理無監督學習的問題，而對有監督學習來說，情況就不盡相同了。譬如，你可以刪除包含空值的對象用完整的數據集來進行訓練，但預測時你卻不能忽略包含空值的對象。另外，C4.5和使用所有可能的值填充方法也有較好的補齊效果，人工填寫和特殊值填充則是一般不推薦使用的。

補齊處理只是將未知值補以我們的主觀估計值，不一定完全符合客觀事實，在對不完備信息進行補齊處理的同時，我們或多或少地改變了原始的信息系統。而且，對空值不正確的填充往往將新的雜訊引入數據中，使挖掘任務產生錯誤的結果。因此，在許多情況下，我們還是希望在保持原始信息不發生變化的前提下對信息系統進行處理。
直接在包含空值的數據上進行數據挖掘，這類方法包括貝葉斯網路和人工神經網路等。

貝葉斯網路是用來表示變數間連接概率的圖形模式，它提供了一種自然的表示因果信息的方法，用來發現數據間的潛在關系。在這個網路中，用節點表示變數，有向邊表示變數間的依賴關系。貝葉斯網路僅適合於對領域知識具有一定了解的情況，至少對變數間的依賴關系較清楚的情況。否則直接從數據中學習貝葉斯網的結構不但復雜性較高（隨著變數的增加，指數級增加），網路維護代價昂貴，而且它的估計參數較多，為系統帶來了高方差，影響了它的預測精度。當在任何一個對象中的缺失值數量很大時，存在指數爆炸的危險。人工神經網路可以有效的對付空值，但人工神經網路在這方面的研究還有待進一步深入展開。人工神經網路方法在數據挖掘應用中的局限性。

多數統計方法都假設輸入數據是完整的且不包含缺失值，但現實生活中大多數數據集都包含了缺失值。因此，在進行下一步分析前，你要麼刪除，要麼用合理的數值代理它們，SPSS、R、Python、SAS等統計軟體都會提供一些默認的處理缺失值方法，但這些方法可能不是最優的，因此，學習各種各樣的方法和他們的分支就顯得非常重要。Little和Rubin的《Sstatistical Analysis With Missing Data 》是缺失值領域里經典的讀本，值得一看。