近邻传播算法

❶ 各种遥感数据分类方法比较

常用的遥感数据的专题分类方法有多种，从分类判别决策方法的角度可以分为统计分类器、神经网络分类器、专家系统分类器等；从是否需要训练数据方面，又可以分为监督分类器和非监督分类器。

一、统计分类方法

统计分类方法分为非监督分类方法和监督分类方法。非监督分类方法不需要通过选取已知类别的像元进行分类器训练，而监督分类方法则需要选取一定数量的已知类别的像元对分类器进行训练，以估计分类器中的参数。非监督分类方法不需要任何先验知识，也不会因训练样本选取而引入认为误差，但非监督分类得到的自然类别常常和研究感兴趣的类别不匹配。相应地，监督分类一般需要预先定义分类类别，训练数据的选取可能会缺少代表性，但也可能在训练过程中发现严重的分类错误。

1.非监督分类器

非监督分类方法一般为聚类算法。最常用的聚类非监督分类方法是 K-均值（K-Means Algorithm）聚类方法（Duda and Hart，1973）和迭代自组织数据分析算法（ISODATA）。其算法描述可见于一般的统计模式识别文献中。

一般通过简单的聚类方法得到的分类结果精度较低，因此很少单独使用聚类方法进行遥感数据专题分类。但是，通过对遥感数据进行聚类分析，可以初步了解各类别的分布，获取最大似然监督分类中各类别的先验概率。聚类分析最终的类别的均值矢量和协方差矩阵可以用于最大似然分类过程（Schowengerdt，1997）。

2.监督分类器

监督分类器是遥感数据专题分类中最常用的一种分类器。和非监督分类器相比，监督分类器需要选取一定数量的训练数据对分类器进行训练，估计分类器中的关键参数，然后用训练后的分类器将像元划分到各类别。监督分类过程一般包括定义分类类别、选择训练数据、训练分类器和最终像元分类四个步骤（Richards，1997）。每一步都对最终分类的不确定性有显着影响。

监督分类器又分为参数分类器和非参数分类器两种。参数分类器要求待分类数据满足一定的概率分布，而非参数分类器对数据的概率分布没有要求。

遥感数据分类中常用的分类器有最大似然分类器、最小距离分类器、马氏距离分类器、K-最近邻分类器（K-Nearest neighborhood classifier，K-NN）以及平行六面体分类器（parallelepiped classifier）。最大似然、最小距离和马氏距离分类器在第三章已经详细介绍。这里简要介绍 K-NN 分类器和平行六面体分类器。

K-NN分类器是一种非参数分类器。该分类器的决策规则是：将像元划分到在特征空间中与其特征矢量最近的训练数据特征矢量所代表的类别（Schowengerdt，1997）。当分类器中 K=1时，称为1-NN分类器，这时以离待分类像元最近的训练数据的类别作为该像元的类别；当 K ＞1 时，以待分类像元的 K 个最近的训练数据中像元数量最多的类别作为该像元的类别，也可以计算待分类像元与其 K 个近邻像元特征矢量的欧氏距离的倒数作为权重，以权重值最大的训练数据的类别作为待分类像元的类别。Hardin，（1994）对 K-NN分类器进行了深入的讨论。

平行六面体分类方法是一个简单的非参数分类算法。该方法通过计算训练数据各波段直方图的上限和下限确定各类别像元亮度值的范围。对每一类别来说，其每个波段的上下限一起就形成了一个多维的盒子（box）或平行六面体（parallelepiped）。因此 M 个类别就有M 个平行六面体。当待分类像元的亮度值落在某一类别的平行六面体内时，该像元就被划分为该平行六面体代表的类别。平行六面体分类器可以用图5-1中两波段的遥感数据分类问题来表示。图中的椭圆表示从训练数据估计的各类别亮度值分布，矩形表示各类别的亮度值范围。像元的亮度落在哪个类别的亮度范围内，就被划分为哪个类别。

图5-1 平行六面体分类方法示意图

3.统计分类器的评价

各种统计分类器在遥感数据分类中的表现各不相同，这既与分类算法有关，又与数据的统计分布特征、训练样本的选取等因素有关。

非监督聚类算法对分类数据的统计特征没有要求，但由于非监督分类方法没有考虑任何先验知识，一般分类精度比较低。更多情况下，聚类分析被作为非监督分类前的一个探索性分析，用于了解分类数据中各类别的分布和统计特征，为监督分类中类别定义、训练数据的选取以及最终的分类过程提供先验知识。在实际应用中，一般用监督分类方法进行遥感数据分类。

最大似然分类方法是遥感数据分类中最常用的分类方法。最大似然分类属于参数分类方法。在有足够多的训练样本、一定的类别先验概率分布的知识，且数据接近正态分布的条件下，最大似然分类被认为是分类精度最高的分类方法。但是当训练数据较少时，均值和协方差参数估计的偏差会严重影响分类精度。Swain and Davis（1978）认为，在N维光谱空间的最大似然分类中，每一类别的训练数据样本至少应该达到10×N个，在可能的条件下，最好能达到100×N以上。而且，在许多情况下，遥感数据的统计分布不满足正态分布的假设，也难以确定各类别的先验概率。

最小距离分类器可以认为是在不考虑协方差矩阵时的最大似然分类方法。当训练样本较少时，对均值的估计精度一般要高于对协方差矩阵的估计。因此，在有限的训练样本条件下，可以只估计训练样本的均值而不计算协方差矩阵。这样最大似然算法就退化为最小距离算法。由于没有考虑数据的协方差，类别的概率分布是对称的，而且各类别的光谱特征分布的方差被认为是相等的。很显然，当有足够训练样本保证协方差矩阵的精确估计时，最大似然分类结果精度要高于最小距离精度。然而，在训练数据较少时，最小距离分类精度可能比最大似然分类精度高（Richards，1993）。而且最小距离算法对数据概率分布特征没有要求。

马氏距离分类器可以认为是在各类别的协方差矩阵相等时的最大似然分类。由于假定各类别的协方差矩阵相等，和最大似然方法相比，它丢失了各类别之间协方差矩阵的差异的信息，但和最小距离法相比较，它通过协方差矩阵保持了一定的方向灵敏性（Richards，1993）。因此，马氏距离分类器可以认为是介于最大似然和最小距离分类器之间的一种分类器。与最大似然分类一样，马氏距离分类器要求数据服从正态分布。

K-NN分类器的一个主要问题是需要很大的训练数据集以保证分类算法收敛（Devijver and Kittler，1982）。K-NN分类器的另一个问题是，训练样本选取的误差对分类结果有很大的影响（Cortijo and Blanca，1997）。同时，K-NN分类器的计算复杂性随着最近邻范围的扩大而增加。但由于 K-NN分类器考虑了像元邻域上的空间关系，和其他光谱分类器相比，分类结果中“椒盐现象”较少。

平行六面体分类方法的优点在于简单，运算速度快，且不依赖于任何概率分布要求。它的缺陷在于：首先，落在所有类别亮度值范围之外的像元只能被分类为未知类别；其次，落在各类别亮度范围重叠区域内的像元难以区分其类别（如图5-1所示）。

各种统计分类方法的特点可以总结为表5-1。

二、神经网络分类器

神经网络用于遥感数据分类的最大优势在于它平等地对待多源输入数据的能力，即使这些输入数据具有完全不同的统计分布，但是由于神经网络内部各层大量的神经元之间连接的权重是不透明的，因此用户难以控制（Austin，Harding and Kanellopoulos et al.，1997）。

神经网络遥感数据分类被认为是遥感数据分类的热点研究领域之一（Wilkinson，1996；Kimes，1998）。神经网络分类器也可分为监督分类器和非监督分类器两种。由于神经网络分类器对分类数据的统计分布没有任何要求，因此神经网络分类器属于非参数分类器。

遥感数据分类中最常用的神经网络是多层感知器模型（multi-layer percep-tron，MLP）。该模型的网络结构如图5-2所示。该网络包括三层：输入层、隐层和输出层。输入层主要作为输入数据和神经网络输入界面，其本身没有处理功能；隐层和输出层的处理能力包含在各个结点中。输入的结构一般为待分类数据的特征矢量，一般情况下，为训练像元的多光谱矢量，每个结点代表一个光谱波段。当然，输入结点也可以为像元的空间上下文信息（如纹理）等，或多时段的光谱矢量（Paola and Schowengerdt，1995）。

表5-1 各种统计分类器比较

图5-2 多层感知器神经网络结构

对于隐层和输出层的结点来说，其处理过程是一个激励函数（activation function）。假设激励函数为f（S），对隐层结点来说，有：

遥感信息的不确定性研究

其中，p_i为隐层结点的输入；h_j为隐层结点的输出；w为联接各层神经之间的权重。

对输出层来说，有如下关系：

遥感信息的不确定性研究

其中，h_j为输出层的输入；o_k为输出层的输出。

激励函数一般表达为：

遥感信息的不确定性研究

确定了网络结构后，就要对网络进行训练，使网络具有根据新的输入数据预测输出结果的能力。最常用的是后向传播训练算法（Back-Propagation）。这一算法将训练数据从输入层进入网络，随机产生各结点连接权重，按式（5-1）（5-2）和（5-3）中的公式进行计算，将网络输出与预期的结果（训练数据的类别）相比较并计算误差。这个误差被后向传播的网络并用于调整结点间的连接权重。调整连接权重的方法一般为delta规则（Rumelhart，et al.，1986）：

遥感信息的不确定性研究

其中，η为学习率（learning rate）；δ_k为误差变化率；α为动量参数。

将这样的数据的前向和误差后向传播过程不断迭代，直到网络误差减小到预设的水平，网络训练结束。这时就可以将待分类数据输入神经网络进行分类。

除了多层感知器神经网络模型，其他结构的网络模型也被用于遥感数据分类。例如，Kohonen自组织网络被广泛用于遥感数据的非监督聚类分析（Yoshida et al.，1994；Schaale et al.，1995）；自适应共振理论（Adaptive Resonance Theory）网络（Silva，S and Caetano，M.1997）、模糊ART图（Fuzzy ART Maps）（Fischer，M.M and Gopal，S，1997）、径向基函数（骆剑承，1999）等也被用于遥感数据分类。

许多因素影响神经网络的遥感数据分类精度。Foody and Arora（1997）认为神经网络结构、遥感数据的维数以及训练数据的大小是影响神经网络分类的重要因素。

神经网络结构，特别是网络的层数和各层神经元的数量是神经网络设计最关键的问题。网络结构不但影响分类精度，而且对网络训练时间有直接影响（Kavzoglu and Mather，1999）。对用于遥感数据分类的神经网络来说，由于输入层和输出层的神经元数目分别由遥感数据的特征维数和总的类别数决定的，因此网络结构的设计主要解决隐层的数目和隐层的神经元数目。一般过于复杂的网络结构在刻画训练数据方面较好，但分类精度较低，即“过度拟合”现象（over-fit）。而过于简单的网络结构由于不能很好的学习训练数据中的模式，因此分类精度低。

网络结构一般是通过实验的方法来确定。Hirose等（1991）提出了一种方法。该方法从一个小的网络结构开始训练，每次网络训练陷入局部最优时，增加一个隐层神经元，然后再训练，如此反复，直到网络训练收敛。这种方法可能导致网络结构过于复杂。一种解决办法是每当认为网络收敛时，减去最近一次加入的神经元，直到网络不再收敛，那么最后一次收敛的网络被认为是最优结构。这种方法的缺点是非常耗时。“剪枝法”（pruning）是另一种确定神经网络结构的方法。和Hirose等（1991）的方法不同，“剪枝法”从一个很大的网络结构开始，然后逐步去掉认为多余的神经元（Sietsma and Dow，1988）。从一个大的网络开始的优点是，网络学习速度快，对初始条件和学习参数不敏感。“剪枝”过程不断重复，直到网络不再收敛时，最后一次收敛的网络被认为最优（Castellano，Fanelli and Pelillo，1997）。

神经网络训练需要训练数据样本的多少随不同的网络结构、类别的多少等因素变化。但是，基本要求是训练数据能够充分描述代表性的类别。Foody等（1995）认为训练数据的大小对遥感分类精度有显着影响，但和统计分类器相比，神经网络的训练数据可以比较少。

分类变量的数据维对分类精度的影响是遥感数据分类中的普遍问题。许多研究表明，一般类别之间的可分性和最终的分类精度会随着数据维数的增大而增高，达到某一点后，分类精度会随数据维的继续增大而降低（Shahshahani and Landgrebe，1994）。这就是有名的Hughes 现象。一般需要通过特征选择去掉信息相关性高的波段或通过主成分分析方法去掉冗余信息。分类数据的维数对神经网络分类的精度同样有明显影响（Battiti，1994），但Hughes 现象没有传统统计分类器中严重（Foody and Arora，1997）。

Kanellopoulos（1997）通过长期的实践认为一个有效的ANN模型应考虑以下几点：合适的神经网络结构、优化学习算法、输入数据的预处理、避免振荡、采用混合分类方法。其中混合模型包括多种ANN模型的混合、ANN与传统分类器的混合、ANN与知识处理器的混合等。

三、其他分类器

除了上述统计分类器和神经网络分类器，还有多种分类器被用于遥感图像分类。例如模糊分类器，它是针对地面类别变化连续而没有明显边界情况下的一种分类器。它通过模糊推理机制确定像元属于每一个类别的模糊隶属度。一般的模糊分类器有模糊C均值聚类法、监督模糊分类方法（Wang，1990）、混合像元模型（Foody and Cox，1994；Settle and Drake，1993）以及各种人工神经网络方法等（Kanellopoulos et al.，1992；Paola and Schowengerdt，1995）。由于模糊分类的结果是像元属于每个类别的模糊隶属度，因此也称其为“软分类器”，而将传统的分类方法称为“硬分类器”。

另一类是上下文分类器（contextual classifier），它是一种综合考虑图像光谱和空间特征的分类器。一般的光谱分类器只是考虑像元的光谱特征。但是，在遥感图像中，相邻的像元之间一般具有空间自相关性。空间自相关程度强的像元一般更可能属于同一个类别。同时考虑像元的光谱特征和空间特征可以提高图像分类精度，并可以减少分类结果中的“椒盐现象”。当类别之间的光谱空间具有重叠时，这种现象会更明显（Cortijo et al.，1995）。这种“椒盐现象”可以通过分类的后处理滤波消除，也可以通过在分类过程中加入代表像元邻域关系的信息解决。

在分类过程中可以通过不同方式加入上下文信息。一是在分类特征中加入图像纹理信息；另一种是图像分割技术，包括区域增长/合并常用算法（Ketting and Landgrebe，1976）、边缘检测方法、马尔可夫随机场方法。Rignot and Chellappa（1992）用马尔可夫随机场方法进行SAR图像分类，取得了很好的效果，Paul Smits（1997）提出了保持边缘细节的马尔可夫随机场方法，并用于SAR图像的分类；Crawford（1998）将层次分类方法和马尔可夫随机场方法结合进行SAR图像分类，得到了更高的精度；Cortijo（1997）用非参数光谱分类对遥感图像分类，然后用ICM算法对初始分类进行上下文校正。

❷ MapRece之金庸的江湖人物分析项目

通过一个综合数据分析案例：”金庸的江湖——金庸武侠小说中的人物关系挖掘“，来学习和掌握MapRece程序设计。通过本项目的学习，可以体会如何使用MapRece完成一个综合性的数据挖掘任务，包括全流程的数据预处理、数据分析、数据后处理等。
1 任务1 数据预处理
1.1 任务描述
从原始的金庸小说文本中，抽取出与人物互动相关的数据，而屏蔽掉与人物关系无关的文本内容，为后面的基于人物共现的分析做准备。

1.2 关键问题
1.2.1 中文分词和人名提取
使用开源的Ansj_seg进行分词。Ansj_seg不仅支持中文分词，还允许用户自定义词典，在分词前，将人名列表到添加用户自定义的词典，可以精确识别金庸武侠小说中的人名。
但实际测试的时候发现，Ansj_seg分词会出现严重的歧义问题，比如“汉子”属于人名列表中的人名(nr)，但Ansj_seg可能会错误地将它分类为名词(n)。因此，如果根据词性提取人名，会导致最后提取的人名太少。解决方法是在提取人名的时候，需要在将人名加入用户自定义词典的同时，构造一个包含所有人名的字典，对分词的结果逐个进行测试，如果在字典里，就是人名。
1.2.2 文件传输
使用HDFS传递数据。考虑到人名列表文件已经存放在了HDFS里，所以使用HDFS的方式不需要移动人名列表文件，只需要在Configuration中设置文件在HDFS文件系统中的路径，然后在Mapper的setup()函数里调用HDFS的函数获取文件内容即可。
1.2.3 单词同现算法
两个单词近邻关系的定义：实验要求中已经说明，同现关系为一个段落。
段落划分：非常庆幸的是，小说原文中一个段落就是一行，因此，不需要自己定义FileInputFormat和RecordReader。
1.3 MapRece设计
1.3.1 Mapper

1.3.2 Recer

1.3.3 Driver

2 任务2 特征抽取：人物同现统计
2.1 任务描述
完成基于单词同现算法的人物同现统计。在人物同现分析中，如果两个人在原文的同一段落中困嫌出现，则认为两个人发生了一次同现关系。我们需要对人物之间的同现关系次数进行统计，同现关系次数越多，则说明两人的关系越密切。

2.2 关键问题
2.2.1 人名冗余
在同一段中，人名可能多次出现，任务一只负责提取出所有的人名，没有剔除多余的人名，任务必须在输出同现次数之前汪简手处理冗余人名。我的做法是在Mapper中创建一个集合，把所有人名放入集合中，集合会自动剔除冗余的人名。
2.2.2 同现次数统计
两个人物之间应该输出两个键值对，如“狄云”和“戚芳”，应该输出“<狄云，戚芳> 1”和“<戚芳，狄云> 1”。多个段落中允许输出相同的键值对，因此，Recer中需要整合具有相同键的输出，输出总的同现次数。
2.3 MapRece设计
2.3.1 Mapper

2.3.2 Recer

3 任务3 特征处理：人物关系图构建与特征归一化
3.1 任务描述
根据任务2人物之间的共现关系，生成人物之间的关系图。人物关系使用邻接表的形式表示，人物是顶点，人物之间关系是边，两个人的关系的密切程度由共现次数体现，共现次数越高，边权重越高。另外需要对共现次数进行归一化处理，确保某个顶点的出边权重和为1。

3.2 关键问题
3.2.1 确保人物的咐携所有邻居输出到相同结点处理
在Mapper结点将输入的键值对“<狄云，戚芳> 1”拆分，输出新的键值对“<狄云> 戚芳:1”，“狄云”的所有邻居会被分配给同一个Recer结点处理。
3.2.2 归一化
在Recer结点首先统计该人物与所有邻居同现的次数和sum，每个邻居的的同现次数除以sum就得到共现概率。为了提高效率，在第一次遍历邻居的时候，可以把名字和共现次数保存在链表里，避免重复处理字符串。
3.3 MapRece设计
3.3.1 Mapper

3.3.2 Recer

4.1 任务描述
经过数据预处理并获得任务的关系图之后，就可以对人物关系图作数据分析，其中一个典型的分析任务是：PageRank 值计算。通过计算 PageRank，我们就可以定量地获知金庸武侠江湖中的“主角”们是哪些。
4.2 PageRank原理
PageRank算法由Google的两位创始人佩奇和布林在研究网页排序问题时提出，其核心思想是：如果一个网页被很多其它网页链接到，说明这个网页很重要，它的PageRank值也会相应较高；如果一个PageRank值很高的网页链接到另外某个网页，那么那个网页的PageRank值也会相应地提高。
相应地，PageRank算法应用到人物关系图上可以这么理解：如果一个人物与多个人物存在关系连接，说明这个人物是重要的，其PageRank值响应也会较高；如果一个PageRank值很高的人物与另外一个人物之间有关系连接，那么那个人物的PageRank值也会相应地提高。一个人物的PageRank值越高，他就越可能是小说中的主角。
PageRank有两个比较常用的模型：简单模型和随机浏览模型。由于本次设计考虑的是人物关系而不是网页跳转，因此简单模型比较合适。简单模型的计算公式如下，其中Bi为所有连接到人物i的集合，Lj为认为人物j对外连接边的总数：

在本次设计的任务3中，已经对每个人物的边权值进行归一化处理，边的权值可以看做是对应连接的人物占总边数的比例。设表示人物i在人物j所有边中所占的权重，则PageRank计算公式可以改写为：

4.3.2 PageRanklter类
GraphBuilder将数据处理成可供迭代的格式，PageRank的迭代过程由PageRanklter类实现，包含一个Map和Rece过程。Map过程产生两种类型的<key,value>：<人物名，PageRrank值>，<人物名，关系链表>。第一个人物名是关系链表中的各个链出人物名，其PR值由计算得到；第二个人物名是本身人物名，目的是为了保存该人物的链出关系，以保证完成迭代过程。以上面的输出为例，则Map过程产生的键值对为<完颜萍, 1.0 0.005037>，<小龙女, 1.0 0.017632>，……，<一灯大师, #完颜萍:0.005037783;……>。
Rece过程将同一人物名的<key,value>汇聚在一起，如果value是PR值，则累加到sum变量；如果value是关系链表则保存为List。遍历完迭代器里所有的元素后输出键值对<人物名，sum#List>，这样就完成了一次迭代过程。
PR值排名不变的比例随迭代次数变化的关系图如下，由于我们考虑的是找出小说中的主角，所以只要关心PR值前100名的人物的排名的变化情况，可以看到迭代次数在10以后，PR值排名不变的比例已经趋于稳定了，所以基于效率考虑，选取10作为PR的迭代次数。
4.3.3 PageRankViewer类
当所有迭代都完成后，我们就可以对所有人物的PageRank值进行排序，该过程由PageRankViewer类完成，包含一个Map和Rece过程。Map过程只提取迭代过程输出结果中的人物名以及对应的PageRank值，并以PageRank值作为key，人物名作为value输出。为了实现PageRank值从大到小排序，需要实现DescFloatComparator类来重写compare方法以达成逆序排序。由于可能存在PageRank值相同的情况，所以还需要一个rece过程来把因PageRank值相同而汇聚到一起的人物名拆开并输出。

PageRankMapper

PageRankRecer

Driver类

5.1 任务描述
标签传播（Label Propagation）是一种半监督的图分析算法，他能为图上的顶点打标签，进行图顶点的聚类分析，从而在一张类似社交网络图中完成社区发现。在人物关系图中，通过标签传播算法可以将关联度比较大的人物分到同一标签，可以直观地分析人物间的关系。
5.2 标签传播算法原理
标签传播算法（Label Propagation Algorithm，后面简称LPA）是由Zhu等人于2002年提出，它是一种基于图的半监督学习方法，其基本思路是用已标记节点的标签信息去预测未标记节点的标签信息。LPA基本过程为：（1）每个结点初始化一个特定的标签值；（2）逐轮更新所有节点的标签，直到所有节点的标签不再发生变化为止。对于每一轮刷新，节点标签的刷新规则如下：对于某一个节点，考察其所有邻居节点的标签，并进行统计，将出现个数最多的那个标签赋值给当前节点。当个数最多的标签不唯一时，随机选择一个标签赋值给当前节点。
LPA与PageRank算法相似，同样需要通过迭代过程来完成。在标签传播算法中，节点的标签更新通常有同步更新和异步更新两种方法。同步更新是指，节点x在t时刻的更新是基于邻接节点在t-1时刻的标签。异步更新是指，节点x在t时刻更新时，其部分邻接节点是t时刻更新的标签，还有部分的邻接节点是t-1时刻更新的标签。若LPA算法在标签传播过程中采用的是同步更新，则在二分结构网络中，容易出现标签震荡的现象。在本次设计中，我们考虑到了两种更新方法，并进行了比较。
5.3 标签传播算法在maprece上的实现细节
5.3.1 LPAInit类
为实现LPA的迭代过程，需要先给每个人物赋予一个独特标签，标签初始化由LPAInit类完成，仅包含一个Map过程。标签由数字表示，Map过程由1开始，为每一个人物名赋予一个独特的标签。为了便于后面的可视化分析，我们需要把PageRank值和标签整合在一起，所以LPAInit的输入文件直接采用PageRank过程的输出文件，格式如下：

5.3.2 LPAIteration类
LPAIteration类完成标签的更新过程，其格式与LPAInit的输出格式一致，包含一个Map和Rece过程。Map过程对输入的每一行进行切割，输出四种格式的<key,value>：<人物名，关系链表>，<人物名，PageRank值>，<人物名，标签>，<链出人物名，标签#起点人物名>。第四种格式个键值对是为了将该节点的标签传给其所有邻居。
Rece过程对value值进行识别，识别可以通过Map过程把预先定义好的特殊字符如‘#’、‘@’来实现前缀到value上来实现。由于人物关系图中的各个边都是有权重的，并且代表两个人物的相关程度，所以标签更新过程不是用边数最多的标签而是权重最大标签来更新，我们可以预先把权重最大的若干个保存到一个链表中，如果存在多个权重相同的标签，则随机选取一个作为该人名新的标签。异步方法更新标签需要使用一个哈希表来存储已经更新标签的人物名和它们的新标签，并且在更新标签时使用该哈希表里面的标签。同步方法更新标签则不需要存储已更新的标签。
本次设计中比较了同步和异步更新两种方法，下图为标签不变的比例随迭代次数的变化。可以发现，异步收敛速度更快，只要6次迭代即可完全收敛，且标签不变的比例可达100%。而同步更新方法则不能达到100%，说明人物关系图中存在子图是二部子图。
5.3.3 LPAReorganize类
LPA算法迭代收敛后，所有人物名的标签不再变化，但是此时的标签排列是散乱的，需要把同一标签的人物名整合在一起。该过程由LPAReorganize类完成，包含一个Map和Rece过程。Map过程对输入的每一行进行切割，以<标签，人物名#PageRank值#关系链表>格式输出。Rece过程中，同一标签的人物名汇聚在一起，然后根据每个标签人物集合的大小从大到小排序，重新赋予标签（从1开始）。这样输出文件中同一标签的人物名就会聚集在一起。最后的输出格式如下：

5.3.2 LPAMapper类
LPAIteration类完成标签的更新过程，其格式与LPAInit的输出格式一致，包含一个Map和Rece过程。Map过程对输入的每一行进行切割，输出四种格式的<key,value>：<人物名，关系链表>，<人物名，PageRank值>，<人物名，标签>，<链出人物名，标签#起点人物名>。第四种格式个键值对是为了将该节点的标签传给其所有邻居。

5.3.2 LPARecer类
Rece过程对value值进行识别，识别可以通过Map过程把预先定义好的特殊字符如‘#’、‘@’来实现前缀到value上来实现。由于人物关系图中的各个边都是有权重的，并且代表两个人物的相关程度，所以标签更新过程不是用边数最多的标签而是权重最大标签来更新，我们可以预先把权重最大的若干个保存到一个链表中，如果存在多个权重相同的标签，则随机选取一个作为该人名新的标签。异步方法更新标签需要使用一个哈希表来存储已经更新标签的人物名和它们的新标签，并且在更新标签时使用该哈希表里面的标签。同步方法更新标签则不需要存储已更新的标签。

Driver类

6.1 可视化工具Gephi
Gephi是一款开源的跨平台的基于JVM的复杂网络分析软件。把PageRank和LPA的结果，转化为gexf格式，在Gephi中绘制图像并分析大数据实验结果，更加直观、易于理解。
gexf实际上是一种特殊的XML文件，python的gexf库提供了接口方便我们编辑和生成gexf文件，因此我们选择使用python处理PageRank和LPA的结果。顶点有两种属性，LPA生成的标签和PageRank计算的PR值，每条边的权重是PageRank计算出的值。在可视化的时候，标签决定顶点显示的颜色，PR值决定标签的
6.2 可视化预处理
编写一个python程序transform2xml.py，将数据分析部分得到的PR值，标签以及点连接关系处理成一个可供Gephi读取的gexf文件。
6.3 可视化结果

7 输出结果截图

7.2 同现次数统计

7.4 PageRank

❸ 遥感图像分类法

图像分类是与图像信息提取和增强不同的遥感图像处理中另一重要的方面，与图像增强后仍需人为解译不同，它企图用计算机做出定量的决定来代替人为视觉判译步骤。因此，分类处理后输出的是一幅专题图像。在此图像中，原来图像中的每一个象元依据不同的统计决定准则被划归为不同的地表覆盖类，由于是一种统计决定，必然伴随着某种错误的概率。因此，在逻辑上的合理要求是，对每一个象元所做的决定，应是使整个被分类面积即对大量单个象元的分类的某个错误判据为最小。

以下是几种常用的遥感图像分类方法：

1.最大似然分类（maximum likelihood classification）

最大似然分类是一种基于贝叶斯判别准则的非线性监督分类方法，需要知道已知的或确定的训练样区典型标准的先验概率P（w_i）和条件概率密度函数P（w_i，x）。P（w_i）通常根据各种先验知识给出或假定它们相等：P（w_ix）则是首先确定其分布形式，然后利用训练样本估计其参数。一般假设为正态分布，或通过数学方法化为正态分布。其判别函数集为：

D_i（x）=P（w_ix），i=1，2，…，m （2-2）

如果D_i（x）≥ D_j（x），则x属于w_i类。其中，j≠i，j=1，2，…，m。m为类别数。

从上述最大似然分类的说明看，其关键就在于已知类别的定义，先验概率的确定，参与分类的变量的好坏和结果误差评价。直到现在，最大似然分类至少还有两个缺点：一是事先大量人力已知光谱类的选择和定义：二是需要长时间的计算机分类计算时间。实际上这也使得最大似然分类法遥感应用受到了限制，因此许多人专门研究改进算法以便解决和缩减图像分类的时间，提高分类的精度。Solst和Lillesand（1991）为了解决已知类别定义消耗大量人力的缺点，发展了半自动训练法进行已知光谱类的定义。Fabio Maselli等（1992）利用Skidmore和Tumer提出的非参数分类器计算出各已知类训练集的先验概率，然后将它们插入常规的最大似然分类过程中进行分类。该方法融合了非参数和参数分类过程的优点，提高了分类的精度。

通常情况下，地形会影响到训练集数据，这样训练集光谱数据就偏离了最大似然分类的假设条件正态分布，从而常规的最大似然分类法在地形起伏较大的地区效果并不太好。为了解决这一问题，C.Conese和G.Maracchi和F.Maselli（1993）提出了一种改进的最大似然分类算法，即去掉每一类数据集中与第一主成分相关的信息（地形信息）然后再进行分类。通过试验，这种方法是有效的，分类精度得到了提高。

K.Arai（1993）用光谱和空间信息进行分类改进了最大似然分类方法。该方法简单易行，大大提高了正确分类的概率。C.Conese和Fabio Maselli（1992）用误差矩阵提高最大似然分类面积估计的精度。Irina Kerl（1996）加最大似然分类精度的一种方法，即多概率比较法。他对同一遥感数据的原始波段、主成分和植被指数的22种组合进行了最大似然分类，发现没有一种波段组合的分类能给出图像中所有土地利用类型的精确分类，每一波段组合仅对图像中的一两类土地利用类型分类有效。因此他提出将能有效区分出所要决定的土地利用类型的几个波段组合的分类结果进行组合来进行图像分类，并称这种方法为多概率比较法，这种方法的基础就是图像数据不同波段组合的分类结果之间分类概率大小的比较。应用这种方法提高了分类的精度。

2.最小距离分类（minimum distance classification）

最小距离分类是一种线性判别监督分类方法，也需要对训练区模式样本进行统计分析，是大似然分类法中的一种极为重要的特殊情况。最小距离分类在算法上比较简单，首先需选出要区分类别的训练样区，并且从图像数据中求出各类训练样区各个波段的均值和标准差，然后再计算图像中其他各个象元的灰度值向量到各已知类训练样区均值向量之间的距离。如果距离小于指定的阈值（一般取标准差的倍数），且与某一类的距离最近，就将该象元划归为某类。因此称为最小距离分类。该方法的精度主要取决于已知类训练样区的多少和样本区的统计精度。另外，距离度量的方法不同，分类的结果也不相同，常见的有：

（1）明氏距离（minkowski distance）

中亚地区高光谱遥感地物蚀变信息识别与提取

式中T_ij=-T_ij。

③经过①②步后，随机象元X被划归为正确的类。

另外，通过对参与计算变量的排序和部分一总和逻辑的考虑，可大大降低该算法计算的时间。与最小距离（欧氏距离）和最大似然分类器相比，整体平均分类器所用时间最少，分类精度与最小距离大致相同，对像农田面积和森林这样的名义类型的分类十分有效。

Haluk Cetin（1996）提出了一种分类方法：类间距离频率分布法（interclass distance frequency dis-tribution），这是多光谱数据非参数分类方法的一种。类间距离频率分布过程简单，是一种有力的可视化技术，它图形地显示多光谱数据和类分布。首先选择感兴趣的类，这些类的统计信息从典型的训练样区可获得。利用类的平均测量矢量计算多光谱数据中每个象元的距离，并存放在一个两维数据分布数组中。选择其他类的训练区，训练区数据的分布通过距离计算可获得。通过可视化地检查结果，建立分类查询表（look-up table），然后利用分类查询表进行多光谱图像数据的分类，具体细节请参见原文。

H.N.Srikanta Prakash等（1996）改进了遥感数据凝聚聚类分析，这是一种基于相互近邻概念，用来进行多光谱数据分类的非参数、层次、凝聚聚类分析算法。该方法定义了围绕象元的感兴趣区域（area of interest around each pixel），然后在它内部寻找分类时初始合并操作需要的k最近邻，将象元的特征值、波段值和象元的相对位置值一起考虑，提出了改进的距离量度，这样，大大减少了计算的时间和内存的需求，降低了分类的误差概率。

Steven E.Franklin和Bradley A.Wilson（1992）设计了3阶段分类器进行遥感图像的分类，它由一个基于四叉树的分割算子、一个高斯最小距离均值测试和一个包括辅助地理网数据和光谱曲线测量的最终测试构成。与最大似然分类技术相比，3阶段分类器的总体分类精度得到了提高，减少计算时间，另外仅需最少的训练样区数据（它们在复杂地形区很难获得）。