基於圖像匹配演算法
1. 圖像匹配方法有哪些
圖像匹配的方法很多，一般分為兩大類，一類是基於灰度匹配的方法，另一類是基於特徵匹配的方法。
（1）基於灰度匹配的方法。也稱作相關匹配演算法，用空間二維滑動模板進行圖像匹配，不同演算法的區別主要體現在模板及相關准則的選擇方面。
（2）基於特徵匹配的方法。首先在原始圖像中提取特徵，然後再建立兩幅圖像之間特徵的匹配對應關系。常用的特徵匹配基元包括點、線、區域等顯著特徵。圖像特徵相比像素點數量殺過少很多，特徵間的匹配度量隨位置變化尖銳，容易找出准確的匹配位置，特徵提取能大大減少雜訊影響，對灰度變化、形變和遮擋有較強的適應力。
圖像匹配的任務就是尋找同一場景的兩幅或多幅圖像中像素點之間的對應關系。我們研究的圖像匹配方法主要是基於圖像特徵的方法，主要包括特徵提取、特徵描述和特徵匹配三步。SIFT方法是目前效果較好的經典匹配方法，在我們的研究過程中，均是採用SIFT方法作為基準來評價我們提出的演算法的。
2. 如何實現兩張圖片的匹配
一、特徵點（角點）匹配
圖像匹配能夠應用的場合非常多，如目標跟蹤，檢測，識別，圖像拼接等，而角點匹配最核心的技術就要屬角點匹配了，所謂角點匹配是指尋找兩幅圖像之間的特徵像素點的對應關系，從而確定兩幅圖像的位置關系。
角點匹配可以分為以下四個步驟：
1、提取檢測子：在兩張待匹配的圖像中尋找那些最容易識別的像素點（角點），比如紋理豐富的物體邊緣點等。
2、提取描述子：對於檢測出的角點，用一些數學上的特徵對其進行描述，如梯度直方圖，局部隨機二值特徵等。檢測子和描述子的常用提取方法有：sift，harris，surf，fast，agast，brisk，freak，brisk，brief/orb等。
3、匹配：通過各個角點的描述子來判斷它們在兩張圖像中的對應關系，常用方法如 flann等。
4、消噪：去除錯誤匹配的外點，保留正確的匹配點。常用方法有KDTREE，BBF，Ransac，GTM等。
二、SIFT匹配方法的提出
為了排除因為圖像遮擋和背景混亂而產生的無匹配關系的關鍵點，SIFT的作者Lowe提出了比較最近鄰距離與次近鄰距離的SIFT匹配方式：取一幅圖像中的一個SIFT關鍵點，並找出其與另一幅圖像中歐式距離最近的前兩個關鍵點，在這兩個關鍵點中，如果最近的距離除以次近的距離得到的比率ratio少於某個閾值T，則接受這一對匹配點。因為對於錯誤匹配，由於特徵空間的高維性，相似的距離可能有大量其他的錯誤匹配，從而它的ratio值比較高。顯然降低這個比例閾值T，SIFT匹配點數目會減少，但更加穩定，反之亦然。
Lowe推薦ratio的閾值為0.8，但作者對大量任意存在尺度、旋轉和亮度變化的兩幅圖片進行匹配，結果表明ratio取值在0. 4~0. 6 之間最佳，小於0. 4的很少有匹配點，大於0. 6的則存在大量錯誤匹配點，所以建議ratio的取值原則如下:
ratio=0. 4：對於准確度要求高的匹配；
ratio=0. 6：對於匹配點數目要求比較多的匹配；
ratio=0. 5：一般情況下。
三、常見的SIFT匹配代碼
1、vlfeat中sift toolbox中的vl_ubcmatch.c使用的是普通的歐氏距離進行匹配（該SIFT代碼貢獻自Andrea
Vedaldi）。
2、Lowe的C++代碼中使用的是歐氏距離，但是在matlab代碼中為了加速計算，使用的是向量夾角來近似歐氏距離：先將128維SIFT特徵向量歸一化為單位向量（每個數除以平方和的平方根），然後點乘來得到向量夾角的餘弦值，最後利用反餘弦（acos函數）求取向量夾角。實驗證明Lowe的辦法正確率和耗時都很不錯。
同樣，也可以採用knnsearch函數求最近點和次近點：knnsearch採用euclidean距離時得到的結果與lowe採用的近似方法結果幾乎一致，正好印證了模擬歐氏距離的效果。
3、Rob Hess的OpenSIFT採用了KDTREE來對匹配進行優化。
4、CSDN大神v_JULY_v實現了KDTREE+BBF對SIFT匹配的優化和消除錯誤匹配：從K近鄰演算法、距離度量談到KD樹、SIFT+BBF演算法
- 結構之法 演算法之道 - 博客頻道 - CSDN.NET。
5、OpenCV中features2d實現的SIFT匹配有多種matcher：VectorDescriptorMatcher，BFMatcher（Brute-force descriptor matcher），FernDescriptorMatcher，OneWayDescriptorMatcher，FlannBasedMatcher 等等。目前只知道採用knnsearch，提供了多種距離度量方式，具體區別不懂。
3. 圖像匹配的演算法
迄今為止，人們已經提出了各種各樣的圖像匹配演算法，但從總體上講，這些匹配演算法可以分成關系結構匹配方法、結合特定理論工具的匹配方法、基於灰度信息的匹配方法、基於亞像元匹配方法、基於內容特徵的匹配方法五大類型 基於內容特徵的匹配首先提取反映圖像重要信息的特徵，而後以這些特徵為模型進行匹配。局部特徵有點、邊緣、線條和小的區域，全局特徵包括多邊形和稱為結構的復雜的圖像內容描述。特徵提取的結果是一個含有特徵的表和對圖像的描述，每一個特徵由一組屬性表示，對屬性的進一步描述包括邊緣的定向和弧度，邊與線的長度和曲率，區域的大小等。除了局部特徵的屬性外，還用這些局部特徵之間的關系描述全局特徵，這些關系可以是幾何關系，例如兩個相鄰的三角形之間的邊，或兩個邊之間的距離可以是輻射度量關系，例如灰度值差別，或兩個相鄰區域之間的灰度值方差或拓撲關系，例如一個特徵受限於另一個特徵。人們一般提到的基於特徵的匹配絕大多數都是指基於點、線和邊緣的局部特徵匹配，而具有全局特徵的匹配實質上是我們上面提到的關系結構匹配方法。特徵是圖像內容最抽象的描述，與基於灰度的匹配方法比，特相對於幾何圖像和輻射影響來說更不易變化，但特徵提取方法的計算代價通常較，並且需要一些自由參數和事先按照經驗選取的閉值，因而不便於實時應用同時，在紋理較少的圖像區域提取的特徵的密度通常比較稀少，使局部特徵的提 取比較困難。另外，基於特徵的匹配方法的相似性度量也比較復雜，往往要以特徵屬性、啟發式方法及閉方法的結合來確定度量方法。基於圖像特徵的匹配方法可以克服利用圖像灰度信息進行匹配的缺點，由於圖像的特徵點比象素點要少很多，因而可以大大減少匹配過程的計算量同時，特徵點的匹配度量值對位置的變化比較敏感，可以大大提高匹配的精確程度而且，特徵點的提取過程可以減少雜訊的影響，對灰度變化，圖像形變以及遮擋等都有較好的適應能力。所以基於圖像特徵的匹配在實際中的應用越來越廣-泛。所使用的特徵基元有點特徵明顯點、角點、邊緣點等、邊緣線段等。
4. 在MATLAB的sift演算法中，怎麼用一個模板與多幅圖像進行匹配
(1) 尺度不變特徵變換（SIFT演算法）概要
是一種計算機視覺的演算法，用來偵測與描述影像中的局部性特徵，它在空間尺度中尋找極值點，並提取出其位置、尺度、旋轉不變數。
此演算法由 David Lowe 在1999年所發表，2004年完善總結。其應用范圍包含物體辨識、機器人地圖感知與導航、影像縫合、3D模型建立、手勢辨識、影像追蹤和動作比對。此演算法有其專利，專利擁有者為 英屬哥倫比亞大學。
局部影像特徵的描述與偵測可以幫助辨識物體，SIFT 特徵是基於物體上的一些局部外觀的興趣點而與影像的大小和旋轉無關。 對於光線、雜訊、些微視角改變的容忍度也相當高。基於這些特性，它們是高度顯著而且相對容易擷取，在母數龐大的特徵資料庫中，很容易辨識物體而且鮮有誤認。使用 SIFT特徵描述對於部分物體遮蔽的偵測率也相當高，甚至只需要3個以上的SIFT物體特徵就足以計算出位置與方位。在現今的電腦硬體速度下和小型的特徵資料庫條件下，辨識速度可接近即時運算。SIFT特徵的信息量大，適合在海量資料庫中快速准確匹配。
(2 ) Matlab代碼主要功能函數如下： match.m：測試程序
功能：該函數讀入兩幅（灰度）圖像，找出各自的 SIFT 特徵, 並顯示兩連接兩幅圖像中被匹配的特徵點（關鍵特徵點（the matched keypoints）直線（將對應特徵點進行連接）。判斷匹配的准則是匹配距離小於distRatio倍於下一個最近匹配的距離（ A match is accepted only if its distance is less than distRatio times the distance to the second closest match. 該程序返回顯示的匹配對的數量。（ It returns the number of matches displayed.） 調用實例： match('desk.jpg','book.jpg');
( 假如，想測試一個含有一本書的桌面的圖像 和一本書的圖像之間特徵匹配） 調用方法和參數描述：略。 注意：（1）圖像為灰度圖像，如果是彩色圖像，應該在調用前利用rgb2gray轉換為灰度圖像。
（2）參數distRatio 為控制匹配點數量的系數，這里取 0.6，該參數決定了匹配點的數量，在Match.m文件中調整該參數，獲得最合適的匹配點數量。 sift.m :尺度不變特徵變換（SIFT演算法）的核心演算法程序
功能：該函數讀入灰度圖像，返回SIFT 特徵關鍵點（ SIFT keypoints.） 調用方法和參數描述：
調用方式：[image, descriptors, locs] = sift(imageFile) 輸入參數（ Input parameters）:
imageFile: 圖像文件名.
輸出或返回參數（ Returned）:
image: 是具有double format格式的圖像矩陣
descriptors: 一個 K-by-128 的矩陣x, 其中每行是針對找到的K個關鍵特徵點（the K keypoints）的不變數描述子. 這個描述子（descriptor）是一個擁有128個數值並歸一化為單位長度向量.
locs: 是K-by-4 矩陣, 其中的每一行具有四個數值，表示關鍵點位置信息 (在圖像中的行坐標，列坐標（row, column) ，注意，一般圖像的左上角為坐標原點）, 尺度scale，高斯尺度空間的參數，其中該參數也決定了frame(結構）確定的圖像disk的大小, 最後一個參數是方向orientation). 方向參數的范圍是[-PI, PI] 單位為弧度.
appendimages.m: 該函數創建一個新的圖像分別包含兩個匹配的圖像和他們之間
的匹配對的連接直線. (3) 實際案例執行結果：
程序代碼使用matlab和c混合編程。用matlab打開文件中的sift_match.m文件，並執行。如下圖所示：