java聚類演算法

Ⅰ 做了這么多年java開發，如何快速轉行大數據

一、學習大數據是需要學習java和linux的

二、你有多年的java開發經驗，那麼可以直接跳過java課程部分，學習大數據技術！

三、分享一份大數據技術課程大綱供你了解參考

Ⅱ 聚類演算法有哪些

聚類演算法有：劃分法、層次法、密度演算法、圖論聚類法、網格演算法、模型演算法。

1、劃分法

劃分法(partitioning methods)，給定一個有N個元組或者紀錄的數據集，分裂法將構造K個分組，每一個分組就代表一個聚類，K<N。使用這個基本思想的演算法有：K-MEANS演算法、K-MEDOIDS演算法、CLARANS演算法。

2、層次法

層次法(hierarchical methods)，這種方法對給定的數據集進行層次似的分解，直到某種條件滿足為止。具體又可分為「自底向上」和「自頂向下」兩種方案。代表演算法有：BIRCH演算法、CURE演算法、CHAMELEON演算法等。

3、密度演算法

基於密度的方法(density-based methods)，基於密度的方法與其它方法的一個根本區別是：它不是基於各種各樣的距離的，而是基於密度的。這樣就能克服基於距離的演算法只能發現「類圓形」的聚類的缺點。代表演算法有：DBSCAN演算法、OPTICS演算法、DENCLUE演算法等。

4、圖論聚類法

圖論聚類方法解決的第一步是建立與問題相適應的圖，圖的節點對應於被分析數據的最小單元，圖的邊（或弧）對應於最小處理單元數據之間的相似性度量。因此，每一個最小處理單元數據之間都會有一個度量表達，這就確保了數據的局部特性比較易於處理。圖論聚類法是以樣本數據的局域連接特徵作為聚類的主要信息源，因而其主要優點是易於處理局部數據的特性。

5、網格演算法

基於網格的方法(grid-based methods)，這種方法首先將數據空間劃分成為有限個單元（cell）的網格結構,所有的處理都是以單個的單元為對象的。代表演算法有：STING演算法、CLIQUE演算法、WAVE-CLUSTER演算法。

6、模型演算法

基於模型的方法(model-based methods)，基於模型的方法給每一個聚類假定一個模型，然後去尋找能夠很好的滿足這個模型的數據集。通常有兩種嘗試方向：統計的方案和神經網路的方案。

(2)java聚類演算法擴展閱讀：

聚類分析起源於分類學，在古老的分類學中，人們主要依靠經驗和專業知識來實現分類，很少利用數學工具進行定量的分類。隨著人類科學技術的發展，對分類的要求越來越高，以致有時僅憑經驗和專業知識難以確切地進行分類，於是人們逐漸地把數學工具引用到了分類學中，形成了數值分類學，之後又將多元分析的技術引入到數值分類學形成了聚類分析。聚類分析內容非常豐富，有系統聚類法、有序樣品聚類法、動態聚類法、模糊聚類法、圖論聚類法、聚類預報法等。

在商業上，聚類可以幫助市場分析人員從消費者資料庫中區分出不同的消費群體來，並且概括出每一類消費者的消費模式或者說習慣。它作為數據挖掘中的一個模塊，可以作為一個單獨的工具以發現資料庫中分布的一些深層的信息，並且概括出每一類的特點，或者把注意力放在某一個特定的類上以作進一步的分析；並且，聚類分析也可以作為數據挖掘演算法中其他分析演算法的一個預處理步驟。

Ⅲ 聚類（Clustering）

無監督學習（Unsupervised learning） ：訓練樣本的標記信息是未知的，目標是為了揭露訓練樣本的內在屬性，結構和信息，為進一步的數據挖掘提供基礎。

· 聚類（clustering）

· 降維（dimensionality rection）

· 異常檢測（outlier detection）

· 推薦系統（recommendation system）

監督學習（supervised learning） ：訓練樣本帶有信息標記，利用已有的訓練樣本信息學習數據的規律預測未知的新樣本標簽

· 回歸分析（regression）

· 分類（classification）

聚類 ：物以類聚。按照某一個特定的標准（比如距離），把一個數據集分割成不同的類或簇，使得同一個簇內的數據對象的相似性盡可能大，同時不再同一個簇內的數據對象的差異性也盡可能的大。

簇 （或類cluster）：子集合。最大化簇內的相似性；最小化簇與簇之間的相似性。

聚類可以作為一個單獨過程，用於尋找數據內在分布結構，也可以作為其他學習任務前驅過程。

聚類和分類的區別：聚類是無監督學習任務，不知道真實的樣本標記，只把相似度搞得樣本聚合在一起；分類是監督學習任務，利用已知的樣本標記訓練學習器預測未知樣本的類別。

聚類相似度度量： 幾何距離

幾種距離度量方法：

· 歐式距離（Euclidean distance）:p=2的Minkowski距離， 

· Minkowoski距離：

  · 曼哈頓距離 （Manhattan distance）:p=1的Minkowski距離 

· 夾角餘弦 ：

` 相關系數 （Pearson correlation coefficient）： ,等式右面的x其實是 （x方向的均值），y其實是 （y方向的均值）,對於這個表達式很不友好，所以在此說明一下。

聚類類別：

· 基於劃分的聚類（partitioning based clustering）：k均值（K-means）, Mean shift

· 層次聚類（hierarchical clustering）：Agglomerative clustering, BIRCH

· 密度聚類（density based clustering）：DBSCAN

· 基於模型的聚類（model based clustering）：高斯混合模型（GMM）

· Affinity propagation

 · Spectral clustering

聚類原理：

劃分聚類（partition based clustering）：給定包含N個點的數據集，劃分法將構造K個分組；每個分組代表一個聚類，這里每個分組至少包含一個數據點，每個數據點屬於且只屬於一個分組；對於給定的K值，演算法先給出一個初始化的分組方法，然後通過反復迭代的的方法改變分組，知道准則函數收斂。

K均值演算法（Kmeans）:

` 給定樣本集：D={ , .... }, k均值演算法針對聚類所得簇：C={ , ... }

` 最小化平方差： ,其中：  簇 的質心，上面的2代表平方，下面的2代表范數2.

具體的K均值演算法過程 ：

1. 隨機選擇K個對子女給，每個對象出事地代表了一個簇的質心，即選擇K個初始質心；2. 對剩餘的每個對象，根據其與各簇中心的距離，將它賦給最近的簇；3. 重新計算每個簇的平均值。這個過程不斷重復，直到准則函數（誤差的平方和SSE作為全局的目標函數）收斂，直到質心不發生明顯的變化。

初始質心優化:Kmeans++：

輸入：樣本集D={ , ... } 聚類簇的數量K

選取初始質心的過程：

1. 隨機從m個樣本點中選擇一個樣本作為第一個簇的質心C1；2. 計算所有的樣本點到質心C1的距離： ;3. 從每個點的概率分布  中隨機選取一個點作為第二個質心C2。離C1越遠的點，被選擇的概率越大；4. 重新計算所有樣本點到質心的距離；5. 重復上述過程，直到初始的K個質心被選擇完成  ；按照Kmeans的演算法步驟完成聚類。

輸出：C= { , ... }

K均值演算法（Kmean）的優缺點 ：

優點：1. 簡單直觀，抑鬱理解實現；2. 復雜度相對比較低，在K不是很大的情況下，Kmeans的計算時間相對很短；3. Kmean會產生緊密度比較高的簇，反映了簇內樣本圍繞質心的緊密程度的一種演算法。

缺點：1. 很難預測到准確的簇的數目；2. 對初始值設置很敏感（Kmeans++）；3. Kmeans主要發現圓形或者球形簇，對不同形狀和密度的簇效果不好；4. Kmeans對雜訊和離群值非常敏感（Kmeadians對雜訊和離群值不敏感）

層次聚類（hierarchical clustering） ：

· 主要在不同層次對數據集進行逐層分解，直到滿足某種條件為止；

· 先計算樣本之間的距離。每次將距離最近的點合並到同一個類，然後再計算類與類之間的距離，將距離最近的類合並為一個大類。不停的合並，直到合成一個類。

· 自底向上（bottom-up）和自頂向下（top-down）兩種方法：

top-down： 一開始每個個體都是一個初始的類，然後根據類與類之間的鏈接（linkage）尋找同類，最後形成一個最終的簇

bottom-up：一開始所有樣本都屬於一個大類，然後根據類與類之間的鏈接排除異己，打到聚類的目的。

類與類距離的計算方法 ：

最短距離法，最長距離法，中間距離法，平均距離法

最小距離：

最大距離：

平均距離：

單鏈接（single-linkage）:根據最小距離演算法

全連接（complete-linkage）：根據最大距離演算法

均鏈接（average-linkage）：根據平均距離演算法

凝聚層次聚類具體演算法流程：

1. 給定樣本集，決定聚類簇距離度量函數以及聚類簇數目k；2. 將每個樣本看作一類，計算兩兩之間的距離；3. 將距離最小的兩個類合並成一個心類；4.重新計算心類與所有類之間的距離；5. 重復（3-4），知道達到所需要的簇的數目

層次聚類的優缺點：

優點：1.可以得到任意形狀的簇，沒有Kmeans對形狀上的限制；2. 可以發現類之間的層次關系；3.不要制定簇的數目

缺點：1. 通常來說，計算復雜度高（很多merge/split）；2.雜訊對層次聚類也會產生很大影響；3.不適合打樣本的聚類

密度聚類（density based clustering） :

  ` 基於密度的 方法的特點是不依賴於距離，而是依賴於密度，從而客服k均值只能發現「球形」聚簇的缺點

· 核心思想：只要一個區域中點的密度大於某個閾值，就把它加到與之相近的聚類中去

· 密度演算法從樣本密度的角度來考察樣本的可連接性，並基於可連接樣本不斷擴展聚類簇以獲得最終的聚類結果

· 對雜訊和離群值的處理有效

· 經典演算法：DBSCAN（density based spatial clutering of applications with noise）

DBSCAN 基於近鄰域（neighborhood）參數（ ）刻畫樣本分布的 緊密程度的一種演算法。

基本概念：

· 樣本集： D={ }

` 閾值： 

·  ：對樣本點 的 包括樣本集中與 距離不大於 的樣本

· 核心對象（core object）：如果 的 至少包含MinPts個樣本，那麼 就是一個核心對象 ,

假設MinPts=3,虛線標識為

·密度直達（directly density-reachable）:如果 位於 的 中，並且 是和新對象，那麼 由 密度直達

· 密度可達（density-reachable）：對 ,如果存在一串樣本點p1,p2.....pn =  ，pn =  ,且 由

` 密度直達,則稱 由 密度可達

· 密度相連：存在樣本集合中一點o,如果 和 均由O密度可達，那麼 和 密度相連

上圖中： 是核心對象，那麼從 出發， 由 密度直達； 由 密度可達； 與 密度相連。

DBSCAN演算法的過程：

1. 首先根據鄰域參數（ ）確定樣本集合D中所有的核心對象，存在集合P中。加入集合P的條件為 有不少於MinPts的樣本數。

2. 然後從核心對象集合P中任意選取一個核心對象作為初始點，找出其密度可達的樣本生成聚類簇，構成第一個聚類簇C1。

3. 將C1內多有核心對象從P中去除，再從更新後的核心對象集合任意選取下一個種子樣本。

4. 重復（2-3），直到核心對象被全部選擇完，也就是P為空集。

聚類演算法總結：

基於劃分的聚類：K均值（kmeans），kmeans++

層次聚類：Agglomerative聚類

密度聚類：DBSCAN

基於模型 的聚類：高斯混合模型（GMM）,這篇博客里咩有介紹

雖然稀里糊塗，但是先跟下來再說吧：

Ⅳ K-Means聚類演算法原理是怎麼樣的

問題：
姓名 身高 體重 眼睛
A 180 X 1.2
A X 140 X

A 180 140 X

A 168 120 1.5
姓名一樣，用java演算法，判斷出是兩個人？

Ⅳ 聚類演算法有哪些分類

聚類演算法的分類有：

1、劃分法

劃分法(partitioning methods)，給定一個有N個元組或者紀錄的數據集，分裂法將構造K個分組，每一個分組就代表一個聚類，K小於N。而且這K個分組滿足下列條件：

（1） 每一個分組至少包含一個數據紀錄；

（2）每一個數據紀錄屬於且僅屬於一個分組（注意：這個要求在某些模糊聚類演算法中可以放寬）；

2、層次法

層次法(hierarchical methods)，這種方法對給定的數據集進行層次似的分解，直到某種條件滿足為止。具體又可分為「自底向上」和「自頂向下」兩種方案。

例如，在「自底向上」方案中，初始時每一個數據紀錄都組成一個單獨的組，在接下來的迭代中，它把那些相互鄰近的組合並成一個組，直到所有的記錄組成一個分組或者某個條件滿足為止。

3、密度演算法

基於密度的方法(density-based methods)，基於密度的方法與其它方法的一個根本區別是：它不是基於各種各樣的距離的，而是基於密度的。這樣就能克服基於距離的演算法只能發現「類圓形」的聚類的缺點。

4、圖論聚類法

圖論聚類方法解決的第一步是建立與問題相適應的圖，圖的節點對應於被分析數據的最小單元，圖的邊（或弧）對應於最小處理單元數據之間的相似性度量。因此，每一個最小處理單元數據之間都會有一個度量表達，這就確保了數據的局部特性比較易於處理。圖論聚類法是以樣本數據的局域連接特徵作為聚類的主要信息源，因而其主要優點是易於處理局部數據的特性。

5、網格演算法

基於網格的方法(grid-based methods)，這種方法首先將數據空間劃分成為有限個單元（cell）的網格結構,所有的處理都是以單個的單元為對象的。這么處理的一個突出的優點就是處理速度很快，通常這是與目標資料庫中記錄的個數無關的，它只與把數據空間分為多少個單元有關。

代表演算法有：STING演算法、CLIQUE演算法、WAVE-CLUSTER演算法；

6、模型演算法

基於模型的方法(model-based methods)，基於模型的方法給每一個聚類假定一個模型，然後去尋找能夠很好的滿足這個模型的數據集。這樣一個模型可能是數據點在空間中的密度分布函數或者其它。它的一個潛在的假定就是：目標數據集是由一系列的概率分布所決定的。

通常有兩種嘗試方向：統計的方案和神經網路的方案。

(5)java聚類演算法擴展閱讀：

聚類演算法的要求：

1、可伸縮性

許多聚類演算法在小於 200 個數據對象的小數據集合上工作得很好；但是，一個大規模資料庫可能包含幾百萬個對象，在這樣的大數據集合樣本上進行聚類可能會導致有偏的結果。

我們需要具有高度可伸縮性的聚類演算法。

2、不同屬性

許多演算法被設計用來聚類數值類型的數據。但是，應用可能要求聚類其他類型的數據，如二元類型(binary)，分類/標稱類型（categorical/nominal），序數型（ordinal）數據，或者這些數據類型的混合。

3、任意形狀

許多聚類演算法基於歐幾里得或者曼哈頓距離度量來決定聚類。基於這樣的距離度量的演算法趨向於發現具有相近尺度和密度的球狀簇。但是，一個簇可能是任意形狀的。提出能發現任意形狀簇的演算法是很重要的。

4、領域最小化

許多聚類演算法在聚類分析中要求用戶輸入一定的參數，例如希望產生的簇的數目。聚類結果對於輸入參數十分敏感。參數通常很難確定，特別是對於包含高維對象的數據集來說。這樣不僅加重了用戶的負擔，也使得聚類的質量難以控制。

5、處理「雜訊」

絕大多數現實中的資料庫都包含了孤立點，缺失，或者錯誤的數據。一些聚類演算法對於這樣的數據敏感，可能導致低質量的聚類結果。

6、記錄順序

一些聚類演算法對於輸入數據的順序是敏感的。例如，同一個數據集合，當以不同的順序交給同一個演算法時，可能生成差別很大的聚類結果。開發對數據輸入順序不敏感的演算法具有重要的意義。