基于特征的图像匹配算法

A. 图像匹配的算法

迄今为止，人们已经提出了各种各样的图像匹配算法，但从总体上讲，这些匹配算法可以分成关系结构匹配方法、结合特定理论工具的匹配方法、基于灰度信息的匹配方法、基于亚像元匹配方法、基于内容特征的匹配方法五大类型 基于内容特征的匹配首先提取反映图像重要信息的特征，而后以这些特征为模型进行匹配。局部特征有点、边缘、线条和小的区域，全局特征包括多边形和称为结构的复杂的图像内容描述。特征提取的结果是一个含有特征的表和对图像的描述，每一个特征由一组属性表示，对属性的进一步描述包括边缘的定向和弧度，边与线的长度和曲率，区域的大小等。除了局部特征的属性外，还用这些局部特征之间的关系描述全局特征，这些关系可以是几何关系，例如两个相邻的三角形之间的边，或两个边之间的距离可以是辐射度量关系，例如灰度值差别，或两个相邻区域之间的灰度值方差或拓扑关系，例如一个特征受限于另一个特征。人们一般提到的基于特征的匹配绝大多数都是指基于点、线和边缘的局部特征匹配，而具有全局特征的匹配实质上是我们上面提到的关系结构匹配方法。特征是图像内容最抽象的描述，与基于灰度的匹配方法比，特相对于几何图像和辐射影响来说更不易变化，但特征提取方法的计算代价通常较，并且需要一些自由参数和事先按照经验选取的闭值，因而不便于实时应用同时，在纹理较少的图像区域提取的特征的密度通常比较稀少，使局部特征的提 取比较困难。另外，基于特征的匹配方法的相似性度量也比较复杂，往往要以特征属性、启发式方法及闭方法的结合来确定度量方法。基于图像特征的匹配方法可以克服利用图像灰度信息进行匹配的缺点，由于图像的特征点比象素点要少很多，因而可以大大减少匹配过程的计算量同时，特征点的匹配度量值对位置的变化比较敏感，可以大大提高匹配的精确程度而且，特征点的提取过程可以减少噪声的影响，对灰度变化，图像形变以及遮挡等都有较好的适应能力。所以基于图像特征的匹配在实际中的应用越来越广-泛。所使用的特征基元有点特征明显点、角点、边缘点等、边缘线段等。

B. 如何实现两张图片的匹配

一、特征点（角点）匹配
图像匹配能够应用的场合非常多，如目标跟踪，检测，识别，图像拼接等，而角点匹配最核心的技术就要属角点匹配了，所谓角点匹配是指寻找两幅图像之间的特征像素点的对应关系，从而确定两幅图像的位置关系。
角点匹配可以分为以下四个步骤：
1、提取检测子：在两张待匹配的图像中寻找那些最容易识别的像素点（角点），比如纹理丰富的物体边缘点等。
2、提取描述子：对于检测出的角点，用一些数学上的特征对其进行描述，如梯度直方图，局部随机二值特征等。检测子和描述子的常用提取方法有：sift，harris，surf，fast，agast，brisk，freak，brisk，brief/orb等。
3、匹配：通过各个角点的描述子来判断它们在两张图像中的对应关系，常用方法如 flann等。
4、消噪：去除错误匹配的外点，保留正确的匹配点。常用方法有KDTREE，BBF，Ransac，GTM等。
二、SIFT匹配方法的提出
为了排除因为图像遮挡和背景混乱而产生的无匹配关系的关键点，SIFT的作者Lowe提出了比较最近邻距离与次近邻距离的SIFT匹配方式：取一幅图像中的一个SIFT关键点，并找出其与另一幅图像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离得到的比率ratio少于某个阈值T，则接受这一对匹配点。因为对于错误匹配，由于特征空间的高维性，相似的距离可能有大量其他的错误匹配，从而它的ratio值比较高。显然降低这个比例阈值T，SIFT匹配点数目会减少，但更加稳定，反之亦然。
Lowe推荐ratio的阈值为0.8，但作者对大量任意存在尺度、旋转和亮度变化的两幅图片进行匹配，结果表明ratio取值在0. 4~0. 6 之间最佳，小于0. 4的很少有匹配点，大于0. 6的则存在大量错误匹配点，所以建议ratio的取值原则如下:
ratio=0. 4：对于准确度要求高的匹配；
ratio=0. 6：对于匹配点数目要求比较多的匹配；
ratio=0. 5：一般情况下。
三、常见的SIFT匹配代码
1、vlfeat中sift toolbox中的vl_ubcmatch.c使用的是普通的欧氏距离进行匹配（该SIFT代码贡献自Andrea
Vedaldi）。
2、Lowe的C++代码中使用的是欧氏距离，但是在matlab代码中为了加速计算，使用的是向量夹角来近似欧氏距离：先将128维SIFT特征向量归一化为单位向量（每个数除以平方和的平方根），然后点乘来得到向量夹角的余弦值，最后利用反余弦（acos函数）求取向量夹角。实验证明Lowe的办法正确率和耗时都很不错。
同样，也可以采用knnsearch函数求最近点和次近点：knnsearch采用euclidean距离时得到的结果与lowe采用的近似方法结果几乎一致，正好印证了模拟欧氏距离的效果。
3、Rob Hess的OpenSIFT采用了KDTREE来对匹配进行优化。
4、CSDN大神v_JULY_v实现了KDTREE+BBF对SIFT匹配的优化和消除错误匹配：从K近邻算法、距离度量谈到KD树、SIFT+BBF算法
- 结构之法 算法之道 - 博客频道 - CSDN.NET。
5、OpenCV中features2d实现的SIFT匹配有多种matcher：VectorDescriptorMatcher，BFMatcher（Brute-force descriptor matcher），FernDescriptorMatcher，OneWayDescriptorMatcher，FlannBasedMatcher 等等。目前只知道采用knnsearch，提供了多种距离度量方式，具体区别不懂。

C. 图像匹配的匹配分类

灰度匹配的基本思想:以统计的观点将图像看成是二维信号，采用统计相关的方法寻找信号间的相关匹配。利用两个信号的相关函数，评价它们的相似性以确定同名点。
灰度匹配通过利用某种相似性度量，如相关函数、协方差函数、差平方和、差绝对值和等测度极值，判定两幅图像中的对应关系。
最经典的灰度匹配法是归一化的灰度匹配 法，其基本原理是逐像素的把一个以一定大小的实时图像窗口的灰度矩阵，与参考图像的所有可能的窗口灰度阵列，按某种相似性度量方法进行搜索比较的匹配方法，从理论上说就是采用图像相关技术。
利用灰度信息匹配方法的主要缺陷是计算量太大，因为使用场合一般都有一定的速度要求，所以这些方法很少被使用。现在已经提出了一些相关的快速算法，如幅度排序相关算法，FFT相关算法和分层搜索的序列判断算法等。 特征匹配是指通过分别提取两个或多个图像的特征（点、线、面等特征），对特征进行参数描述，然后运用所描述的参数来进行匹配的一种算法。
基于特征的匹配所处理的图像一般包含的特征有颜色特征、纹理特征、形状特征、空间位置特征等。
特征匹配首先对图像进行预处理来提取其高层次的特征，然后建立两幅图像之间特征的匹配对应关系，通常使用的特征基元有点特征、边缘特征和区域特征。 特征匹配需要用到许多诸如矩阵的运算、梯度的求解、还有傅立叶变换和泰勒展开等数学运算。
常用的特征提取与匹配方法有：统计方法、几何法、模型法、信号处理法、边界特征法、傅氏形状描述法、几何参数法、形状不变矩法等。
基于图像特征的匹配方法可以克服利用图象灰度信息进行匹配的缺点，由于图像的特征点比较像素点要少很多，大大减少了匹配过程的计算量;同时，特征点的匹配度量值对位置的变化比较敏感，可以大大提高匹配的精确程度;而且，特征点的提取过程可以减少噪声的影响，对灰度变化，图像形变以及遮挡等都有较好的适应能力。所以基于图像特征的匹配在实际中的应用越来越广泛。所使用的特征基元有点特征(明显点，角点，边缘点等)，边缘线段等。 特征匹配与灰度匹配的区别：灰度匹配是基于像素的，特征匹配则是基于区域的，特征匹配在考虑像素灰度的同时还应考虑诸如空间整体特征、空间关系等因素。
特征是图像内容最抽象的描述，与基于灰度的匹配方法相比，特征相对于几何图像和辐射度影响来说更不易变化，但特征提取方法的计算代价通常较大，并且需要一些自由参数和事先按照经验选取的阀值，因而不便于实时应用。同时，在纹理较少的图像区域提取的特征的密度通常比较稀少，使局部特征的提取比较困难。另外，基于特征的匹配方法的相似性度量也比较复杂，往往要以特征属性、启发式方法及阀方法的结合来确定度量方法。

D. 基于特征的影像匹配算法有哪些

基于局部约束的方法：有区域匹配（主要是基于窗口）、特征匹配（基于特征点，如SIFT）、相位匹配（主要用滤波来做）。
基于全局约束的方法：主要有动态规划算法、图割算法、人工智能算法、协同算法、置信度传播算法、非线性扩散算法等。
那个发展史就找两本摄影测量的书或下几篇论文看看就知道了

E. 图像配准技术是怎么实现图像的特征匹配的

SIFT图像处理代码，必须和三个文件一起下载使用：基于SIFT特征的图像配准（Matlab源代码）、基于SIFT特征的图像配准（仿真图片）

使用SIFT特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需要3个以上的SIFT物体特征就足以计算出位置与方位。在现今的电脑硬件速度下和小型的特征数据库条件下，辨识速度可接近即时运算。SIFT特征的信息量大，适合在海量数据库中快速准确匹配。