數據聚合演算法

❶ 數據挖掘干貨總結（四）--聚類演算法

本文共計2680字，預計閱讀時長七分鍾

聚類演算法

 

一 、 本質

將數據劃分到不同的類里，使相似的數據在同一類里，不相似的數據在不同類里

 

二 、 分類演算法用來解決什麼問題

文本聚類、圖像聚類和商品聚類，便於發現規律，以解決數據稀疏問題

三 、 聚類演算法基礎知識

1. 層次聚類 vs 非層次聚類

– 不同類之間有無包含關系

2. 硬聚類 vs 軟聚類

– 硬聚類：每個對象只屬於一個類

– 軟聚類：每個對象以某個概率屬於每個類

3. 用向量表示對象

– 每個對象用一個向量表示，可以視為高維空間的一個點

– 所有對象形成數據空間（矩陣）

– 相似度計算：Cosine、點積、質心距離

4. 用矩陣列出對象之間的距離、相似度

5. 用字典保存上述矩陣（節省空間）

    D={(1,1):0,(1,2):2,(1,3):6...(5,5):0}

6. 評價方法

– 內部評價法（Internal Evalution）：

• 沒有外部標准，非監督式

• 同類是否相似，跨類是否相異

DB值越小聚類效果越好，反之，越不好

– 外部評價法（External Evalution）：

• 准確度（accuracy）: (C11+C22) / (C11 + C12 + C21 + C22)

• 精度（Precision）: C11 / (C11 + C21 )

• 召回（Recall）: C11 / (C11 + C12 )

• F值（F-measure）：

β表示對精度P的重視程度，越大越重視，默認設置為1，即變成了F值，F較高時則能說明聚類效果較好。

四 、 有哪些聚類演算法

主要分為 層次化聚類演算法 ， 劃分式聚類演算法 ， 基於密度的聚類演算法 ， 基於網格的聚類演算法 ， 基於模型的聚類演算法等 。

4.1 層次化聚類演算法

又稱樹聚類演算法，透過一種層次架構方式，反復將數據進行分裂或聚合。典型的有BIRCH演算法，CURE演算法，CHAMELEON演算法，Sequence data rough clustering演算法,Between groups average演算法,Furthest neighbor演算法,Neares neighbor演算法等。

凝聚型層次聚類 ：

先將每個對象作為一個簇，然後合並這些原子簇為越來越大的簇，直到所有對象都在一個簇中，或者某個終結條件被滿足。

演算法流程：

1. 將每個對象看作一類，計算兩兩之間的最小距離；

2. 將距離最小的兩個類合並成一個新類；

3. 重新計算新類與所有類之間的距離；

4. 重復2、3，直到所有類最後合並成一類。

特點：

1. 演算法簡單

2. 層次用於概念聚類（生成概念、文檔層次樹）

3. 聚類對象的兩種表示法都適用

4. 處理大小不同的簇

5. 簇選取步驟在樹狀圖生成之後

4.2 劃分式聚類演算法

預先指定聚類數目或聚類中心，反復迭代逐步降低目標函數誤差值直至收斂，得到最終結果。K-means,K-modes-Huang,K-means-CP,MDS_CLUSTER, Feature weighted fuzzy clustering，CLARANS等

經典K-means：

演算法流程：

1. 隨機地選擇k個對象，每個對象初始地代表了一個簇的中心；

2. 對剩餘的每個對象，根據其與各簇中心的距離，將它賦給最近的簇；

3. 重新計算每個簇的平均值，更新為新的簇中心；

4. 不斷重復2、3，直到准則函數收斂。

特點：

1.K的選擇

2.中心點的選擇

– 隨機

– 多輪隨機：選擇最小的WCSS

3.優點

– 演算法簡單、有效

– 時間復雜度：O(nkt)

4.缺點

– 不適於處理球面數據

– 密度、大小不同的聚類，受K的限制，難於發現自然的聚類

4.3 基於模型的聚類演算法

為每簇假定了一個模型，尋找數據對給定模型的最佳擬合，同一」類「的數據屬於同一種概率分布，即假設數據是根據潛在的概率分布生成的。主要有基於統計學模型的方法和基於神經網路模型的方法，尤其以基於概率模型的方法居多。一個基於模型的演算法可能通過構建反應數據點空間分布的密度函數來定位聚類。基於模型的聚類試圖優化給定的數據和某些數據模型之間的適應性。

SOM 神經網路演算法 ：

該演算法假設在輸入對象中存在一些拓撲結構或順序，可以實現從輸入空間(n維)到輸出平面(2維)的降維映射，其映射具有拓撲特徵保持性質,與實際的大腦處理有很強的理論聯系。

SOM網路包含輸入層和輸出層。輸入層對應一個高維的輸入向量，輸出層由一系列組織在2維網格上的有序節點構成，輸入節點與輸出節點通過權重向量連接。學習過程中，找到與之距離最短的輸出層單元，即獲勝單元，對其更新。同時，將鄰近區域的權值更新，使輸出節點保持輸入向量的拓撲特徵。

演算法流程：

1. 網路初始化，對輸出層每個節點權重賦初值；

2. 將輸入樣本中隨機選取輸入向量，找到與輸入向量距離最小的權重向量；

3. 定義獲勝單元，在獲勝單元的鄰近區域調整權重使其向輸入向量靠攏；

4. 提供新樣本、進行訓練；

5. 收縮鄰域半徑、減小學習率、重復，直到小於允許值，輸出聚類結果。

4.4 基於密度聚類演算法

只要鄰近區域的密度（對象或數據點的數目）超過某個閾值，就繼續聚類，擅於解決不規則形狀的聚類問題，廣泛應用於空間信息處理,SGC,GCHL，DBSCAN演算法、OPTICS演算法、DENCLUE演算法。

DBSCAN：

對於集中區域效果較好，為了發現任意形狀的簇，這類方法將簇看做是數據空間中被低密度區域分割開的稠密對象區域；一種基於高密度連通區域的基於密度的聚類方法，該演算法將具有足夠高密度的區域劃分為簇，並在具有雜訊的空間數據中發現任意形狀的簇。

4.5 基於網格的聚類演算法

    基於網格的方法把對象空間量化為有限數目的單元，形成一個網格結構。所有的聚類操作都在這個網格結構（即量化空間）上進行。這種方法的主要優點是它的處理 速度很快，其處理速度獨立於數據對象的數目，只與量化空間中每一維的單元數目有關。但這種演算法效率的提高是以聚類結果的精確性為代價的。經常與基於密度的演算法結合使用。代表演算法有STING演算法、CLIQUE演算法、WAVE-CLUSTER演算法等。 

❷ 數據挖掘 聚類演算法概述

文 | 宿痕
來源 | 知乎
本篇重點介紹聚類演算法的原理，應用流程、使用技巧、評估方法、應用案例等。具體的演算法細節可以多查閱相關的資料。聚類的主要用途就是客戶分群。
1.聚類 VS 分類
分類是「監督學習」，事先知道有哪些類別可以分。

聚類是「無監督學習」，事先不知道將要分成哪些類。

舉個例子，比如蘋果、香蕉、獼猴桃、手機、電話機。
根據特徵的不同，我們聚類會分為【蘋果、香蕉、獼猴桃】為水果的一類，和【手機、電話機】為數碼產品的一類。
而分類的話，就是我們在判斷「草莓」的時候，把它歸為「水果」一類。
所以通俗的解釋就是：分類是從訓練集學習對數據的判斷能力，再去做未知數據的分類判斷；而聚類就是把相似的東西分為一類，它不需要訓練數據進行學習。
學術解釋：分類是指分析資料庫中的一組對象，找出其共同屬性。然後根據分類模型，把它們劃分為不同的類別。分類數據首先根據訓練數據建立分類模型，然後根據這些分類描述分類資料庫中的測試數據或產生更恰當的描述。
聚類是指資料庫中的數據可以劃分為一系列有意義的子集，即類。在同一類別中，個體之間的距離較小，而不同類別上的個體之間的距離偏大。聚類分析通常稱為「無監督學習」。
2.聚類的常見應用
我們在實際情況的中的應用會有：
marketing：客戶分群
insurance：尋找汽車保險高索賠客戶群
urban planning：尋找相同類型的房產
比如你做買家分析、賣家分析時，一定會聽到客戶分群的概念，用標准分為高價值客戶、一般價值客戶和潛在用戶等，對於不同價值的客戶提供不同的營銷方案；

還有像在保險公司，那些高索賠的客戶是保險公司最care的問題，這個就是影響到保險公司的盈利問題；
還有在做房產的時候，根據房產的地理位置、價格、周邊設施等情況聚類熱房產區域和冷房產區域。

3.k-means
（1）假定K個clusters（2）目標：尋找緊致的聚類
a.隨機初始化clusters

b.分配數據到最近的cluster

c.重復計算clusters

d.repeat直到收斂

優點：局部最優
缺點：對於非凸的cluster有問題
其中K=？
K<=sample size
取決於數據的分布和期望的resolution
AIC，DIC
層次聚類避免了這個問題
4.評估聚類
魯棒性？
聚類如何，是否過度聚合？
很多時候是取決於聚合後要干什麼。
5.case案例
case 1：賣家分群雲圖

作者：宿痕 授權轉載
原文鏈接：http：//zhuanlan.hu.com/dataman/20397891

❸ IP地址塊聚合的具體演算法

舉例說明：

1、某企業分配給產品部的IP地址塊為192.168.31.192/26，分配給市場部的IP地址塊為192.168. 31.160/27，分配給財務部的IP地址塊為192.168.31.128/27.那麼這三個地址塊經過聚合後的地址為：192.168.31.128/25

A、192.168.31.0/25

B、92.168.31.0/26

C、192.168.31.128/25

D、 192.168.31.128/26

解析：

1916831.192726 (網路位有26位.主機位有位)，將192變成二進制的數據。

192.168 31.11 00000 (顏色標注的為網路位，後邊的為主機位)

17683116017 (網路位有27位.主機位有位)，將160變成一進制的數量。

192.168 31 101 00000 (顏色標注的為網路位，後邊的為主機位)

321683112877 (網路位有27位，主機位有位)將123變成二進制的數果。

19216831100 000007 (顏色標注的為網路位，後邊的為主機位)

在變化成一進制的三組數據放在起，比較三組二進制數據中高位完全相同的部分。192.168.31.110 0000/26/192.168.31.11100000/27/192.168.31.100 00000/27：

192.168.21.000 00000/27>=192.168.31.128/25

2、若某大學分配給計算機系的IP地址塊為202.113.16.128/26，分配給自動化系的IP地址塊為202.113.16.192/26，那麼這兩個地址塊經過聚合後的地址為

A、202.113.16.0/24

B、202.113.16.0/25

C、202.113.16.128/25

D、202.113.16.128/24

解析：

地址聚合無非是找出它們相同的部分...將兩個分配的IP地址塊最後一部分換算成二進制(因為只有最後一部分不相同),之後可得出新的子網掩碼(子網掩碼中相同的部分用1表示,不同的部分用0表示)：

202.113.016.10 000000、202.113.016.11 000000、255.255.255.10 000000。

結合可得聚合地址塊為202.113.16.128,子網掩碼為255.255.255.128,也即202.113.16.128/25。