聚类算法的实例

① 有哪些常用的聚类算法

【聚类】聚类分析是直接比较各对象之间的性质，根据在对象属性中发现的描述对象及其关系的信息，将数据对象分组。其目标是，组内的对象相互之间是相似的（相关的），而不同组中的对象是不同的（不相关的）。组内的相似性（同质性）越大，组间差别越大，聚类就越好。

聚类的目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律，是无监督学习过程。在无监督学习中，训练样本标记信息是未知的。聚类试图将数据集中的样本划分为若干个通常不相交的子集，每个子集称为一个“簇”，每个簇可能对应于一些潜在的类别，这些类别概念对聚类算法而言事先是未知的，聚类过程仅能自动形成簇结构，簇所对应的概念语义需要由使用者来把握和命名。

② 分类和聚类的区别及各自的常见算法

1、分类和聚类的区别：
Classification (分类)，对于一个classifier，通常需要你告诉它“这个东西被分为某某类”这样一些例子，理想情况下，一个 classifier 会从它得到的训练集中进行“学习”，从而具备对未知数据进行分类的能力，这种提供训练数据的过程通常叫做supervised learning (监督学习)，
Clustering (聚类)，简单地说就是把相似的东西分到一组，聚类的时候，我们并不关心某一类是什么，我们需要实现的目标只是把相似的东西聚到一起。因此，一个聚类算法通常只需要知道如何计算相似度就可以开始工作了，因此 clustering 通常并不需要使用训练数据进行学习，这在Machine Learning中被称作unsupervised learning (无监督学习).
2、常见的分类与聚类算法
所谓分类，简单来说，就是根据文本的特征或属性，划分到已有的类别中。如在自然语言处理NLP中，我们经常提到的文本分类便就是一个分类问题，一般的模式分类方法都可用于文本分类研究。常用的分类算法包括：决策树分类法，朴素贝叶斯分类算法(native Bayesian classifier)、基于支持向量机(SVM)的分类器，神经网络法，k-最近邻法(k-nearestneighbor，kNN)，模糊分类法等等。
分类作为一种监督学习方法，要求必须事先明确知道各个类别的信息，并且断言所有待分类项都有一个类别与之对应。但是很多时候上述条件得不到满足，尤其是在处理海量数据的时候，如果通过预处理使得数据满足分类算法的要求，则代价非常大，这时候可以考虑使用聚类算法。
而K均值(K-mensclustering)聚类则是最典型的聚类算法(当然，除此之外，还有很多诸如属于划分法K中心点（K-MEDOIDS）算法、CLARANS算法；属于层次法的BIRCH算法、CURE算法、CHAMELEON算法等；基于密度的方法：DBSCAN算法、OPTICS算法、DENCLUE算法等；基于网格的方法：STING算法、CLIQUE算法、WAVE-CLUSTER算法；基于模型的方法)。

③ k均值聚类算法例题

第一轮
A1(2,10)
B1（5,8）,A3（8,4）,B2（7,5）,B3（6,4）,C2（4,9）
C1（1,2）,A2（2,5）
对应中心分别是（2,10),（6,6）,(1.5,3.5)
最后结果：
｛A1(2,10),B1（5,8）,C2（4,9）｝
｛A3（8,4）,B2（7,5）,B3（6,4）｝
｛C1（1,2）,A2（2,5）｝

④ 大数据分析之聚类算法

大数据分析之聚类算法
1. 什么是聚类算法
所谓聚类，就是比如给定一些元素或者对象，分散存储在数据库中，然后根据我们感兴趣的对象属性，对其进行聚集，同类的对象之间相似度高，不同类之间差异较大。最大特点就是事先不确定类别。
这其中最经典的算法就是KMeans算法，这是最常用的聚类算法，主要思想是:在给定K值和K个初始类簇中心点的情况下，把每个点(亦即数据记录)分到离其最近的类簇中心点所代表的类簇中，所有点分配完毕之后，根据一个类簇内的所有点重新计算该类簇的中心点(取平均值)，然后再迭代的进行分配点和更新类簇中心点的步骤，直至类簇中心点的变化很小，或者达到指定的迭代次数。
KMeans算法本身思想比较简单，但是合理的确定K值和K个初始类簇中心点对于聚类效果的好坏有很大的影响。
聚类算法实现
假设对象集合为D，准备划分为k个簇。
基本算法步骤如下：
1、从D中随机取k个元素，作为k个簇的各自的中心。
2、分别计算剩下的元素到k个簇中心的相异度，将这些元素分别划归到相异度最低的簇。
3、根据聚类结果，重新计算k个簇各自的中心，计算方法是取簇中所有元素各自维度的算术平均数。
4、将D中全部元素按照新的中心重新聚类。
5、重复第4步，直到聚类结果不再变化。
6、将结果输出。

核心Java代码如下：
/**
* 迭代计算每个点到各个中心点的距离，选择最小距离将该点划入到合适的分组聚类中，反复进行，直到
* 分组不再变化或者各个中心点不再变化为止。
* @return
*/
public List[] comput() {
List[] results = new ArrayList[k];//为k个分组，分别定义一个聚簇集合，未来放入元素。

boolean centerchange = true;//该变量存储中心点是否发生变化
while (centerchange) {
iterCount++;//存储迭代次数
centerchange = false;
for (int i = 0; i < k; i++) {
results[i] = new ArrayList<T>();
}
for (int i = 0; i < players.size(); i++) {
T p = players.get(i);
double[] dists = new double[k];
for (int j = 0; j < initPlayers.size(); j++) {
T initP = initPlayers.get(j);
/* 计算距离 这里采用的公式是两个对象相关属性的平方和，最后求开方*/
double dist = distance(initP, p);
dists[j] = dist;
}

int dist_index = computOrder(dists);//计算该点到各个质心的距离的最小值，获得下标
results[dist_index].add(p);//划分到对应的分组。
}
/*
* 将点聚类之后，重新寻找每个簇的新的中心点，根据每个点的关注属性的平均值确立新的质心。
*/
for (int i = 0; i < k; i++) {
T player_new = findNewCenter(results[i]);
System.out.println("第"+iterCount+"次迭代，中心点是："+player_new.toString());
T player_old = initPlayers.get(i);
if (!IsPlayerEqual(player_new, player_old)) {
centerchange = true;
initPlayers.set(i, player_new);
}

}

}

return results;
}
上面代码是其中核心代码，我们根据对象集合List和提前设定的k个聚集,最终完成聚类。我们测试一下，假设要测试根据NBA球员的场均得分情况，进行得分高中低的聚集，很简单，高得分在一组，中等一组，低得分一组。
我们定义一个Player类，里面有属性goal，并录入数据。并设定分组数目为k=3。
测试代码如下:
List listPlayers = new ArrayList();
Player p1 = new Player();
p1.setName(“mrchi1”);
p1.setGoal(1);
p1.setAssists(8);
listPlayers.add(p1);

Player p2 = new Player();
p2.setName("mrchi2");
p2.setGoal(2);
listPlayers.add(p2);

Player p3 = new Player();
p3.setName("mrchi3");
p3.setGoal(3);
listPlayers.add(p3);
//其他对象定义此处略。制造几个球员的对象即可。
Kmeans<Player> kmeans = new Kmeans<Player>(listPlayers, 3);
List<Player>[] results = kmeans.comput();
for (int i = 0; i < results.length; i++) {
System.out.println("类别" + (i + 1) + "聚集了以下球员：");
List<Player> list = results[i];
for (Player p : list) {
System.out.println(p.getName() + "--->" + p.getGoal()

}
}
算法运行结果：

可以看出中心点经历了四次迭代变化，最终分类结果也确实是相近得分的分到了一组。当然这种算法有缺点，首先就是初始的k个中心点的确定非常重要，结果也有差异。可以选择彼此距离尽可能远的K个点，也可以先对数据用层次聚类算法进行聚类，得到K个簇之后，从每个类簇中选择一个点，该点可以是该类簇的中心点，或者是距离类簇中心点最近的那个点。

⑤ 一种面向高维数据的集成聚类算法

一种面向高维数据的集成聚类算法
聚类集成已经成为机器学习的研究热点，它对原始数据集的多个聚类结果进行学习和集成，得到一个能较好地反映数据集内在结构的数据划分。很多学者的研究证明聚类集成能有效地提高聚类结果的准确性、鲁棒性和稳定性。本文提出了一种面向高维数据的聚类集成算法。该方法针对高维数据的特点，先用分层抽样的方法结合信息增益对每个特征簇选择合适数量比较重要的特征的生成新的具代表意义的数据子集，然后用基于链接的方法对数据子集上生成的聚类结果进行集成．最后在文本、图像、基因数据集上进行实验，结果表明，与集成前的K均值聚类算法及基于链接的聚类集成算法相比，该方法能有效的改善聚类结果。
引 言
聚类分析又称群分析，是根据“物以类聚”的道理对样品或指标进行分类的一种多元统计分析方法。它是一个将数据分到不同类或者簇的过程，所以同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性。聚类分析是机器学习、模式识别的一个最重要的研究方向之一，它是了解数据集的结构的一种最重要的手段，并已经成功的应用于数据挖掘、信息检索、语音识别、推荐系统等领域。
现实世界中的数据集具有各种形状和结构，不存在哪一种单一的算法对任何数据集都表现的很好[3]，没有一种聚类算法能准确揭示各种数据集所呈现出来的多种多样的形状和簇结构，每一种聚类算法都有其优缺点，对于任何给定的数据集，使用不同的算法都会有不同的结果，甚至对于同一种算法给定不同的参数都会有不同的聚类结果，自然分组概念内在的不明确性决定了没有一个通用的聚类算法能适用于任何数据集的聚类问题。此外，类存在多样性的特点，类具有不同的形状、大小、密度，而且类之间往往是相互重叠的，这样的问题在高维数据中更加明显，因为不相关的或者冗余的特征会使类的结构更加不明显。K均值算法[5]是一种应用广泛的最经典的聚类算法之一，它的特点之一就是随机选取初始的聚类中心，如果选取的中心点不同，聚类结果就可能产生很大的差异。K均值聚类算法对初始中心点的依赖性，导致K均值算法的聚类结果不稳定。在这种情况下，聚类集成应运而生，许多学者在这个领域进行了深入的研究。
聚类集成的目的在于结合不同聚类算法的结果得到比单个聚类算法更优的聚类。对聚类集体中的成员聚类的问题成为一致性函数问题，或叫做集成问题。很多学者证实通过聚类集成可以有效的提高像K均值聚类这些单一聚类算法的准确性、鲁棒性和稳定性.在现有的研究中，产生基聚类结果的方法有:
(1)使用同一种聚类算法，每次运行使用不同的参数和随机初始化；
(2)使用不同的聚类算法，如K均值产生多个不同的聚类;
(3)对数据集的子集聚类，子集通过不同采样像bagging、Sub-sampling等方法获得；
(4)在数据集的不同特征子集或在数据集的不同子空间的投影上聚类得到不同聚类结果构成聚类集体。我们的方法主要是对第四种聚类集成问题进行了深入研究，在数据集的不同子集上进行集成分析。对于高维数据来说，数据点为单位划分仍存在维数灾难的问题，维数灾难可能会引发这种现象，一个给定数据点与离它最近点的距离比与离它最远的数据点的距离近，所以我们引入同样的数据点但基于不同的特征子集就可能会避免这种问题。生成基聚类结果以后就是设计一致性函数对聚类结果集成，就是将聚类成员进行合并，得到一个统一的聚类结果。目前存在很多一致性函数，常用的有投票法、超图划分、基于共协矩阵的证据积累、概率积累等等，我们在文章中用了文献[1]中的方法，它是一种基于链接的方法。常规的集成方法往往基于一个由基聚类结果即这些数据基聚类结果内部的关系生成，忽略了这些结果之间的关系，所以Iam-on等利用簇之间的相似度来精炼集成信息矩阵。在高维数据中，我们将数据集的局部特征子集用作聚类成员与基于链接的集成聚类方法有效结合，解决了高维数据进行集成聚类的问题。
本文组织如下：第2节对聚类集成做了一个概述，并针对于高维数据这一特殊数据集提出了自己的集成聚类方法。第3节是本文的核心部分，它讲述了对特征进行分层抽样，并基于信息增益抽取出比较重要的具有代表意义的局部特征子集的过程，此外对传统的K均值算法的具体过程进行了简要的描述，然后引出了分层抽样的概念，用分层抽样的思想确定我们选择的特征的数目，最后给出了信息增益的定义，通过这个指标最终确定我们在每一个聚类簇中选择的特征；最后把我们前面的工作抽取局部特征子集与基于链接的方法结合起来形成了自己的算法描述；第4节首先对8个实际数据集包括文本、图像、基因数据进行描述，然后在这八个数据集上比较和分析了我们的方法(SSLB)和传统K均值算法和基于链接的聚类集成算法(LB)在四个聚类评价标准上的聚类性能；第5节是对全文的总结。
相关工作
聚类集成概述
聚类分析是按照某种相似性测度将多维数据分割成自然分组或簇的过程。聚类算法很多，但是没有一个万能的聚类算法能用于任何聚类问题，其原因在自然分组概念的内在不明确性以及类可以有不同的形状、大小、密度等，这个在高维数据中的问题更为明显，那些不相关的特征和冗余的特征会使类结构更加模糊。单个聚类存在的这些问题，引发了学者们对聚类集成的研究。首先由Strehl[12]等人提出”聚类集成”的概念，而后Gionis[13]等人也给出该问题的描述。杨草原等给聚类集成下了一个定义，认为聚类集成就是利用经过选择的多个聚类结果找到一个新的数据(或对象)划分，这个划分在最大程度上共享了所有输入的聚类结果对数据或对象集的聚类信息。
聚类集成的符号化形式为：假设数据集X有n个实例，X={x1,x2,…,xn},首先对数据集X使用M次聚类算法，得到M个聚类，?={?1,?2,…,?M}(下面称为聚类成员)，其中?i(i=1,2,…,M)为第i次聚类算法得到的聚类结果。然后用一致性函数T对?的聚类结果进行集成得到一个新的数据划分?’[1].
摘 要

图1聚类集成的基本过程。首先对数据集使用不同的聚类算法得到不同的划分，然后对这些划分用一致性函数合并为一个聚类结果P’
由上面的聚类集成过程可知，对一个数据集进行聚类集成，主要有两个阶段，第一个阶段是基聚类器对原始数据进行聚类，得到基聚类结果。第二个阶段是基聚类结果集成，根据聚类集成算法对前一个阶段采集的基聚类结果进行处理，使之能够最大限度地分享这些结果，从而得到一个对原始数据最好的聚类集成结果。
面向高维数据的集成聚类
信息时代互联网成为最大的信息聚集地，像Web文档、交易数据、基因表达数据、用户评分数据等等，这些成为聚类分析的主要研究对象，而这些数据的维度成千上万，甚至更高，这给聚类分析带来了极大的挑战。高维数据的聚类集成面临更多的问题。
传统的集成学习的第一步是产生多个基聚类结果，这一阶段是对数据集或者其子集反复进行聚类算法。现有的方法主要有：使用一个聚类算法，每次运行设置不同的参数和随机初始化；使用不同的聚类算法；对数据集的子集进行聚类；将数据集的特征空间投影到数据子空间。基聚类结果生成以后就开始对基聚类结果进行集成。一致性函数是一个函数或者是一个方法，它将聚类成员进行集成，得到一个统一的聚类结果。目前存在许多一致性函数，它大致可以分为:
(1)基于成对相似性的方法，它主要考虑的是所有的数据点对的关系的重现、
(2)基于超图划分的方法和(3)基于特征的方法，它是把聚类的集成转换为类标的集成。
针对高维数据的特点，我们选择基于相似性的方法对聚类结果进行集成，凝聚层次聚类算法是最经典的基于相似性方法，我们用了文献中的方法，他把SL凝聚聚类算法用来生成最终的划分。但是基于成对相似度的集成的过程都是一个比较粗糙的过程，集成的结果往往基于一个由基聚类结果即这些数据划分内部的关系生成，忽略了这些划分结果之间的关系，所以它使用了Iam-on[17]等利用簇之间的相似度来精炼集成信息矩阵，实验证明这种方法在很多数据集上表现很好，不仅增强了聚类稳定性也改善了聚类性能。由于我们研究的对象是高维数据，考虑到需要聚类的对象的维度很大，对完整的对象聚类一定会增加聚类算法的运行开销。这对基于链接的方法性能有所影响，因此，我们考虑对特征空间的局部特征子集进行聚类得到结果。经过上面的分析，我们引出自己的方法。我们对其中的基本步骤进行细化，我们的方法示意图如下：

我们方法的示意图，对聚类集成的过程进行了细化，描述了每一个过程的输入和输出
我们的方法就是针对高维数据的特点，对传统的聚类集成进行了一些改进，我们首先用前面提到的K均值算法对特征进行聚类，然后用信息增益来衡量不同簇中的特征的重要程度，而每个特征簇中的所抽取特征的数目nh由上面stratifiedsampling[18]的方法得到，最后利用信息增益选择top(nh)的特征。根据上述方法对特征进行降维，得到了最具代表的数据子集。数据子集的生成，变换K均值算法的k值，取k=2,3…√N(N为数据点的数目)生成不同的具有差异的数据子集，然后沿用[1]中的方法进行聚类集成，最后把这√N-2次的聚类结果进行最后一次集成得到我们最终的聚类结果。基于局部特征子集的生成方法内容在下一章详细讲述。
基于局部特征的数据子集生成方法
集成时使用哪种方法产生聚类成员一般从两个方面来考虑，一个是集成者的目的，一个是数据集的结构。在机器学习的实际应用中，我们面对的绝大多数都是高维数据。数据集的特征数量往往较多，可能存在不相关的特征，特征之间可能存在相互依赖，容易导致分析特征、训练模型的时间变长，甚至引发“维度灾难”，模型复杂推广能力下降。所以我们采用基于局部特征的数据子集生成方法。图3是我们生成局部特征的数据子集的示意图：

Fig. 3 The basic process of the generation of feature subset
首先我们用传统的K均值算法对数据集的特征进行聚类，然后对于不同的特征簇我们用信息增益来衡量它的重要性，不同的特征簇中我们应该筛选多少特征簇呢？分层抽样很好的解决了这个问题，分层抽样的思想是计算每个实例之间的相关性(用标准差、方差来衡量)，它认为类中的实例相关性比较大的可以选择较多的样本来代替当前类，类中相关性较小的就少选择一些实例来代替当前类的样本，根据分层抽样中计算出的特征簇的数目再利用信息增益这种衡量重要性的标准进行筛选后就得到了局部的特征子集。下面具体论述基于局部特征的数据子集生成方法中的关键技术。
k均值算法
K均值算法[5]是MacDueen提出的一个着名的聚类学习算法。它根据相似度距离迭代的更新向量集的聚类中心，当聚类中心不再变化或者满足某些停止条件，则停止迭代过程得到最终的聚类结果。K均值算法的具体步骤为：
(1) 随机选择k个数据项作为聚类中心；
(2) 根据相似度距离公式，将数据集中的每一项数据分配到离他最近的聚类中去；
(3) 计算新的聚类中心；
(4) 如果聚类中心没有发生改变，算法结束；否则跳转到第(2)步.
我们使用K均值算法对数据集的特征进行聚类，我们通过选取不同的k值进行特征聚类，然后用后面的分层抽样进行选择得到差异度比较明显的局部特征的数据子集作为后面的聚类集成的输入。
信息增益
对特征进行聚类后得到多个特征团，如何对它们进行特征选择，如何度量特征团中的特征的重要程度是我们面临的问题。信息增益是信息论中的一个重要概念，它被广泛应用在机器学习、数据挖掘领域，计算信息增益是针对一个特征项而言的，它通过统计某一个特征项t在类别C中出现与否的实例数来计算特征项t对类别C的信息增益，定义为：

其中P(ci)表示ci类实例在数据集中出现的概率，p(t)表示数据集中包含特征项t的实例数，p(ci|t)表示实例包含特征项t时属于ci类的条件概率，p(t ? )表示数据集中不包含特征项t的实例数，p(c_i |t ? )表示实例不包含特征项t时属于ci类的概率，m为类别数。信息增益考虑特征与类别信息的相关程度，认为信息增益值越大，其贡献越大。我们的方法采用信息增益来度量特征簇中的特征的重要程度。
分层抽样（Stratified sampling）
在对特征进行聚类后对特征进行选择，我们采用信息增益来度量每个特征簇中的特征的重要程度。但是每个特征簇我们选择多少个特征比较合适，这是分层抽样解决的问题。抽样的目的是在不影响聚类效果的情况下在已经分好或者聚好类的实例中，从每个类中抽取部分的样本来代替整个类。Stratifiedsampling[18]方法遵循的原则是：计算每个实例之间的相关性(用标准差、方差来衡量)，我们认为类中的实例相关性比较大的可以选择较小的样本来代替当前类，类中相关性较小的就多选择一些实例来代替当前类的样本。这个方法就是确定每个类中筛选的实例的数目。此方法中每个类的样本数目为：

其中nh是第h类应该抽取的实例数。n是预计抽取的总样本数，Nh是在总体样本中第h类的实例数，?h是第h类的标准差。通过(1)式我们就可以得到每个类中应该选择的实例数目。提出这中抽样方法的学者还对它的精确度、置信区间进行了分析，证明了它在不影响学习效果的情况下对可以对数据降维，提高学习效率。
在本文的方法中，我们先用前面提到的k均值算法对特征进行聚类，然后用信息增益来衡量不同簇中的特征的重要程度，而每个特征簇中的所抽取特征的数目nh由上面stratifiedsampling的方法得到，最后利用信息增益选择top(nh)的特征。根据上述方法对特征进行降维，得到了最具代表的数据子集，进行后面的数据集的聚类集成。
实验结果与分析
实验数据集
本文选用了8个数据集，包括文献[1]中的两个数据集：一个人工数据集Four-Gaussian[19]和一个被用来做基因数据聚类的真实数据集Leukemiadataset[20],另外就是六个真实数据集包括两个文本数据集，两个图像数据集，两个基因数据。表1给出了这些数据集的名称以及数据的样本、属性、类别数量。
Table 1 Number of instance, features and classes of datasets

实验分析
实验中，本文对比了三种分类算法包括传统的k-means算法，文献[1]中的LB算法以及我们实现的算法SSLB。聚类性能通过下面四个评价指标来衡量，表2给出了这四个评价指标[1]的具体描述：
Table 2 Name of measures, formulas

K为聚类结果中簇的数目，nk是属于第k个簇的数据点数目，d(xi,xj)是数据点xi和xj的距离，N是数据集中数据点的总数。n11是指在两个划分?’(正确的划分)和?中出现在相同簇中的数据线对的个数，n00是指在两个划分?’、?中中出现在不同簇中的数据点对的个数，n01表示在划分?中属于不同簇在另一个划分?’ 中属于同一个簇的数据点对数目，n10表示在划分?’中属于不同簇在另一个划分?中属于同一个簇的数据点对数目。
其中CP衡量的是在同一个簇中，所有数据点的数据点对的平均距离，越小越好。CA衡量的是与已经的类标相比，聚类正确的数据点数目，CA的范围是从0到1，越大越好。RI这个指标衡量存在于相同和不同簇中的点对数目，RI的值从0到1，越大越好，AR也是越大越好。
本文对这8个数据集进行聚类集成，聚类成员由k均值对特征聚类然后分层抽样产生的局部特征子集获得，聚类中心的个数为数据集的类别数。为了增加实验的可靠性，所有的实验结果为10次结果的平均值。对比试验采用原始的K均值聚类算法、基于链接(LB)的方法，与我们实现的方法(SSLB)进行比较。在表3中，我们把关键值都突出的表现出来，在这8个数据集上，SSLB有在四个评价指标上都表现出比较大的优势。
根据表四，比较集成前的K均值算法、LB方法和SSLB方法，可以看出，在数据集Four-Gaussian上，SSLB在四种评价指标上都可以看出，其聚类性能明显优于集成前的K均值算法和LB聚类集成算法。在两种文本数据集Tr31和Tr41上，我们的方法优势不是很明显，但是在前两个指标CP和CA上还是明显好于集成前的K均值聚类，与LB算法在这两个指标上性能相当，而且在这两个文本数据上，在RI和AR上集成前的K均值算法与LB和SSLB方法相比都存在优势。在两个图像数据集上，SSLB方法在CP这个评价指标上都远远好于集成前的K均值聚类算法和LB算法，但是在第二个评价指标和第三个评价指标上就比LB算法差一点。在基因数据Colon上SSLB再第一个聚类评价指标上仍然存在很大的优势，在聚类的准确率上，我们的方法与LB方法相当，但是明显优于集成前的K均值算法。在基因数据TOX-171上，我们的方法获得了最好的聚类集成性能，在四个聚类评价指标上，都远远好于集成前的K均值算法和LB算法。
下面我们逐一在这四个聚类评价标准比较集成前的K均值算法、SSLB算法和LB算法。图四、图五、图六、以及图七分别描述了集成前的K均值聚类、LB以及我们的方法SSLB在CP、CA、RI、AR上的表现。

聚类评价指标CP衡量的是在同一个簇中，所有数据点的数据点对的平均距离，越小越好。通过图四可以看出，在所有数据集上，我们的算法SSLB都存在很大的优势，比集成前的K-means算法以及LB算法在CP这个指标上都好，此外还能看出CP在不同的数据集上的差异还是比较大的，在Four-Gaussian上明显比其他数据集上差。

聚类评价指标CA衡量的是与已知的类标相比，聚类正确的数据点数目占总的数据点数目的比例，CA的范围是从0到1，越大越好。从图五可以看出我们的算法在数据集Four-Gaussian、Tr41、Colon和TOX-171上的聚类精度比集成前的K均值算法以及LB算法都要好，但是在Tr31以及两个图像数据集上的优势不大，这这个现象值得我们关注，也是我们接下来会研究的工作。

聚类评价指标RI衡量的是存在于相同和不同簇中的点对数目，RI的值从0到1，越大越好。从图六可以看出我们的算法在人工数据集Four-Gaussian以及几个基因数据集上的表现比较突出、但是在其他数据集上就处于弱势，而且可以看出集成前的K均值算法在所有的数据集在RI上的表现都比较好。

聚类评价指标AR衡量的也是存在于相同和不同簇中的点对数目，AR的值从0到1，越大越好。从图七可以看出我们的算法SSLB在大多数数据集上存在着优势，但是在数据集Leukemia、Tr41、Colon上的超过了集成前的K均值算法和我们的算法。这些现象和结果都是我们接下来的研究的重点。

综上所述，在几乎所有数据集上，在所有的聚类评价指标上我们的聚类集成算法SSLB好于集成前K均值算法的聚类效果，而且在大多数数据集上，我们的算法比LB算法存在一定的优势，尤其是在基因数据上的表现较为突出。但是在有的数据集上优势也不够明显，我们要继续分析这些数据结构上的特点和我们的算法可能存在的问题，这也是我们接下来研究的方向。
结 论
本文提出了一种面向高维数据的集成聚类方法。针对高维数据的特点，对传统的聚类集成进行了一些改进，首先对特征聚类然后基于分层抽样抽取特征子集，抽取到最具代表性的特征子集后用基于链接的方法进行聚类集成。并在8个实际数据集包括文本、图像、基因数据上进行实验，在这8个数据集上分析和比较了我们的方法和集成前的K均值算法以及基于链接的聚类集成算法在四个评价标准上的聚类性能，能够看出我们的算法在聚类性能上有一定改善。

⑥ 用于数据挖掘的聚类算法有哪些

一部专着的篇幅。即使是做综述性的介绍，一篇三五十页的论文也可以写成了。所以我一直想怎么能从头到尾把这个问题logically串连起来。正好这段时间我在修改我做的交易策略里面关于聚类的部分。就我的理解而言，如果想全面的了解聚类算法并对其进行区别和比较的话，最好能把聚类的具体算法放到整个聚类分析的语境中理解。那我接下来主要谈谈我的理解，就不搬弄教科书里的概念了。相似性衡量（similarity measurement）相似性衡量又可以细分为直接法和间接：直接法是直接求取input data的相似性，间接法是求取data中提取出的features的相似性。但无论是求data还是feature的相似性，方法都是这么几种：距离。距离主要就是指Minkovski距离。这个名字虽然听起来陌生，但其算法就是Lp norm的算法，如果是L1 norm，那就是绝对值/曼哈顿距离（Manhattan distance）；如果是L2 norm，那就是着名的欧式距离（Euclidean distance）了，也是应用最广泛的；如果，supremum距离，好像也有叫切比雪夫距离的，但就很少有人用了。另外，还有Mahalanobis距离，目前来看主要应用于Gaussian Mixture Model（GMM），还有Lance&Williams距离等等，但几乎没见过求距离的时候会专门用这个的。相似系数。主要有夹角余弦和相关系数。相关系数的应用也非常广泛，其主要优势是它不受原线性变换的影响，而且可以轻松地转换为距离，但其运算速度要比距离法慢得多，当维数很高的时候。

⑦ 聚类算法有哪些

聚类算法有：划分法、层次法、密度算法、图论聚类法、网格算法、模型算法。

1、划分法

划分法(partitioning methods)，给定一个有N个元组或者纪录的数据集，分裂法将构造K个分组，每一个分组就代表一个聚类，K<N。使用这个基本思想的算法有：K-MEANS算法、K-MEDOIDS算法、CLARANS算法。

2、层次法

层次法(hierarchical methods)，这种方法对给定的数据集进行层次似的分解，直到某种条件满足为止。具体又可分为“自底向上”和“自顶向下”两种方案。代表算法有：BIRCH算法、CURE算法、CHAMELEON算法等。

3、密度算法

基于密度的方法(density-based methods)，基于密度的方法与其它方法的一个根本区别是：它不是基于各种各样的距离的，而是基于密度的。这样就能克服基于距离的算法只能发现“类圆形”的聚类的缺点。代表算法有：DBSCAN算法、OPTICS算法、DENCLUE算法等。

4、图论聚类法

图论聚类方法解决的第一步是建立与问题相适应的图，图的节点对应于被分析数据的最小单元，图的边（或弧）对应于最小处理单元数据之间的相似性度量。因此，每一个最小处理单元数据之间都会有一个度量表达，这就确保了数据的局部特性比较易于处理。图论聚类法是以样本数据的局域连接特征作为聚类的主要信息源，因而其主要优点是易于处理局部数据的特性。

5、网格算法

基于网格的方法(grid-based methods)，这种方法首先将数据空间划分成为有限个单元（cell）的网格结构,所有的处理都是以单个的单元为对象的。代表算法有：STING算法、CLIQUE算法、WAVE-CLUSTER算法。

6、模型算法

基于模型的方法(model-based methods)，基于模型的方法给每一个聚类假定一个模型，然后去寻找能够很好的满足这个模型的数据集。通常有两种尝试方向：统计的方案和神经网络的方案。

(7)聚类算法的实例扩展阅读：

聚类分析起源于分类学，在古老的分类学中，人们主要依靠经验和专业知识来实现分类，很少利用数学工具进行定量的分类。随着人类科学技术的发展，对分类的要求越来越高，以致有时仅凭经验和专业知识难以确切地进行分类，于是人们逐渐地把数学工具引用到了分类学中，形成了数值分类学，之后又将多元分析的技术引入到数值分类学形成了聚类分析。聚类分析内容非常丰富，有系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法、图论聚类法、聚类预报法等。

在商业上，聚类可以帮助市场分析人员从消费者数据库中区分出不同的消费群体来，并且概括出每一类消费者的消费模式或者说习惯。它作为数据挖掘中的一个模块，可以作为一个单独的工具以发现数据库中分布的一些深层的信息，并且概括出每一类的特点，或者把注意力放在某一个特定的类上以作进一步的分析；并且，聚类分析也可以作为数据挖掘算法中其他分析算法的一个预处理步骤。

⑧ 聚类算法有哪几种

聚类分析计算方法主要有： 层次的方法(hierarchical method)、划分方法(partitioning method)、基于密度的方法(density-based method)、基于网格的方法(grid-based method)、基于模型的方法(model-based method)等。其中，前两种算法是利用统计学定义的距离进行度量。
k-means 算法的工作过程说明如下：首先从n个数据对象任意选择 k 个对象作为初始聚类中心;而对于所剩下其它对象，则根据它们与这些聚类中心的相似度(距离)，分别将它们分配给与其最相似的(聚类中心所代表的)聚类;然 后再计算每个所获新聚类的聚类中心(该聚类中所有对象的均值);不断重复这一过程直到标准测度函数开始收敛为止。一般都采用均方差作为标准测度函数. k个聚类具有以下特点：各聚类本身尽可能的紧凑，而各聚类之间尽可能的分开。
其流程如下：
(1)从 n个数据对象任意选择 k 个对象作为初始聚类中心;
(2)根据每个聚类对象的均值(中心对象)，计算每个对象与这些中心对象的距离;并根据最小距离重新对相应对象进行划分;
(3)重新计算每个(有变化)聚类的均值(中心对象);
(4)循环(2)、(3)直到每个聚类不再发生变化为止(标准测量函数收敛)。
优点： 本算法确定的K个划分到达平方误差最小。当聚类是密集的，且类与类之间区别明显时，效果较好。对于处理大数据集，这个算法是相对可伸缩和高效的，计算的复杂度为 O(NKt)，其中N是数据对象的数目，t是迭代的次数。
缺点：
1. K 是事先给定的，但非常难以选定;
2. 初始聚类中心的选择对聚类结果有较大的影响。

⑨ K-modes聚类算法的实例应用

是一种聚类算法，用于数据挖掘，算法本身没什么研究的，当然实际应用中还要考虑好多问题。总的来说，kmean算法对于一般的聚类任务还算可以。