camshift演算法

『壹』 如何求壓縮後圖像與原始圖像相近程度

圖像相似度計算主要用於對於兩幅圖像之間內容的相似程度進行打分，根據分數的高低來判斷圖像內容的相近程度。

可以用於計算機視覺中的檢測跟蹤中目標位置的獲取，根據已有模板在圖像中找到一個與之最接近的區域。然後一直跟著。已有的一些演算法比如BlobTracking，Meanshift，Camshift，粒子濾波等等也都是需要這方面的理論去支撐。

還有一方面就是基於圖像內容的圖像檢索，也就是通常說的以圖檢圖。比如給你某一個人在海量的圖像資料庫中羅列出與之最匹配的一些圖像，當然這項技術可能也會這樣做，將圖像抽象為幾個特徵值，比如Trace變換，圖像哈希或者Sift特徵向量等等，來根據資料庫中存得這些特徵匹配再返回相應的圖像來提高效率。

下面就一些自己看到過的演算法進行一些演算法原理和效果上的介紹。

(1)直方圖匹配。

比如有圖像A和圖像B，分別計算兩幅圖像的直方圖，HistA，HistB，然後計算兩個直方圖的歸一化相關系數（巴氏距離，直方圖相交距離）等等。

這種思想是基於簡單的數學上的向量之間的差異來進行圖像相似程度的度量，這種方法是目前用的比較多的一種方法，第一，直方圖能夠很好的歸一化，比如通常的256個bin條的。那麼兩幅解析度不同的圖像可以直接通過計算直方圖來計算相似度很方便。而且計算量比較小。

這種方法的缺點:

1、直方圖反映的是圖像像素灰度值的概率分布，比如灰度值為200的像素有多少個，但是對於這些像素原來的位置在直方圖中並沒有體現，所以圖像的骨架，也就是圖像內部到底存在什麼樣的物體，形狀是什麼，每一塊的灰度分布式什麼樣的這些在直方圖信息中是被省略掉得。那麼造成的一個問題就是，比如一個上黑下白的圖像和上白下黑的圖像其直方圖分布是一模一樣的，其相似度為100%。

2、兩幅圖像之間的距離度量，採用的是巴氏距離或者歸一化相關系數，這種用分析數學向量的方法去分析圖像本身就是一個很不好的辦法。

3、就信息量的道理來說，採用一個數值來判斷兩幅圖像的相似程度本身就是一個信息壓縮的過程，那麼兩個256個元素的向量（假定直方圖有256個bin條）的距離用一個數值表示那麼肯定就會存在不準確性。

下面是一個基於直方圖距離的圖像相似度計算的Matlab Demo和實驗結果.
%計算圖像直方圖距離
%巴氏系數計演算法
M=imread('1.jpg');
N=imread('2.jpg');
I=rgb2gray(M);
J=rgb2gray(N);
[Count1,x]=imhist(I);
[Count2,x]=imhist(J);
Sum1=sum(Count1);Sum2=sum(Count2);
Sumup = sqrt(Count1.*Count2);
SumDown = sqrt(Sum1*Sum2);
Sumup = sum(Sumup);
figure(1);
subplot(2,2,1);imshow(I);
subplot(2,2,2);imshow(J);
subplot(2,2,3);imhist(I);
subplot(2,2,4);imhist(J);
HistDist=1-sqrt(1-Sumup/SumDown)

『貳』 計算機視覺中，目前有哪些經典的目標跟蹤演算法

跟蹤是一個很混亂的方向。

比如TLD、CT、Struct這些效果不錯的Tracker其實都不是單純的Tracker了。09年的時候我記得比較流行的是Particle Filtering， 或者一些MeanShift/CamShift的變形，比如特徵變了，比如對問題的假設變了。

後來突然出現一些tracking by detection的方法，之前的很多朋友就覺得這是耍流氓。比如TLD，嚴格的跟蹤演算法也許只是裡面的Forward/Backward Opitcal Flow的部分，但是效果很Impressive，所以不管怎樣，一下就火了。

之後所謂的跟蹤就不再是一個傳統的跟蹤問題，而是一個綜合的工程問題。online learning，random projection ，sparse learning的東西都加進來，大家其實到底是在做跟蹤還是在做檢測或者online learning，其實已經不重要，因為衡量的標準是你在某些public dataset上的精度。

但這些對實際的項目有沒有幫助呢？

這是個很有意思的地方，在很多時候，我們之所以需要跟蹤演算法，是因為我們的檢測演算法很慢，跟蹤很快。基本上當前排名前幾的跟蹤演算法都很難用在這樣的情況下，因為你實際的速度已經太慢了，比如TLD，CT，還有Struct，如果目標超過十個，基本上就炸了。況且還有些跟蹤演算法自己drift掉了也不知道，比如第一版本的CT是無法處理drift的問題的，TLD是可以的，究其原因還是因為檢測演算法比較魯棒啊……

實際中我覺得速度極快，實現也簡單的純跟蹤演算法居然是NCC和Overlap。

NCC很簡單，這個是對點進行的，對於區域也有很多變種，網上有一些相關的資源。

Overlap是我取的名字，一般用在裡面，假如你的攝像頭是靜止的，背景建模之後出來的前景可以是一個一個的blob，對相鄰兩幀的blob檢測是否Overlap就可以得到track。在一些真實場景下，這個演算法是非常有效的。關於背景template的問題在真實的裡面也是很好解決的。

坐在電腦前面調試代碼tuning 各種閾值讓跟蹤演算法在某一個幀下面不要drift的事情我是再也不想幹了。
順祝你2015幸福快樂。

『叄』 cvfitline用的什麼演算法

1、cvLoadImage：將圖像文件載入至內存；
2、cvNamedWindow：在屏幕上創建一個窗口；
3、cvShowImage：在一個已創建好的窗口中顯示圖像；
4、cvWaitKey：使程序暫停，等待用戶觸發一個按鍵操作；
5、cvReleaseImage：釋放圖像文件所分配的內存；
6、cvDestroyWindow：銷毀顯示圖像文件的窗口；
7、cvCreateFileCapture：通過參數設置確定要讀入的AVI文件；
8、cvQueryFrame：用來將下一幀文件載入內存；
9、cvReleaseCapture：釋放CvCapture結構開辟的內存空間；
10、cvCreateTrackbar：創建一個滾動條；
11、cvSetCaptureProperty：設置CvCapture對象的各種屬性；
12、cvGetCaptureProperty：查詢CvCapture對象的各種屬性；
13、cvGetSize：當前圖像結構的大小；
14、cvSmooth：對圖像進行平滑處理；
15、cvPyrDown：圖像金字塔，降采樣，圖像縮小為原來四分之一；
16、cvCanny：Canny邊緣檢測；
17、cvCreateCameraCapture：從攝像設備中讀入數據；
18、cvCreateVideoWriter：創建一個寫入設備以便逐幀將流寫入文件；
19、cvWriteFrame：逐幀將流寫入文件；
20、cvReleaseVideoWriter：釋放CvVideoWriter結構開辟的內存空間；
21、CV_MAT_ELEM：從矩陣中得到一個元素；
22、cvAbs：計算數組中所有元素的絕對值；
23、cvAbsDiff：計算兩個數組差值的絕對值；
24、cvAbsDiffS：計算數組和標量差值的絕對值；
25、cvAdd：兩個數組的元素級的加運算；
26、cvAddS：一個數組和一個標量的元素級的相加運算；
27、cvAddWeighted：兩個數組的元素級的加權相加運算(alpha運算)；
28、cvAvg：計算數組中所有元素的平均值；
29、cvAvgSdv：計算數組中所有元素的絕對值和標准差；
30、cvCalcCovarMatrix：計算一組n維空間向量的協方差；
31、cvCmp：對兩個數組中的所有元素運用設置的比較操作；
32、cvCmpS：對數組和標量運用設置的比較操作；
33、cvConvertScale：用可選的縮放值轉換數組元素類型；
34、cvCopy：把數組中的值復制到另一個數組中；
35、cvCountNonZero：計算數組中非0值的個數；
36、cvCrossProct：計算兩個三維向量的向量積(叉積)；
37、cvCvtColor：將數組的通道從一個顏色空間轉換另外一個顏色空間；
38、cvDet：計算方陣的行列式；
39、cvDiv：用另外一個數組對一個數組進行元素級的除法運算；
40、cvDotProct：計算兩個向量的點積；
41、cvEigenVV：計算方陣的特徵值和特徵向量；
42、cvFlip：圍繞選定軸翻轉；
43、cvGEMM：矩陣乘法；
44、cvGetCol：從一個數組的列中復制元素；
45、cvGetCols：從數據的相鄰的多列中復制元素；
46、cvGetDiag：復制數組中對角線上的所有元素；
47、cvGetDims：返回數組的維數；
48、cvGetDimSize：返回一個數組的所有維的大小；
49、cvGetRow：從一個數組的行中復制元素值；
50、cvGetRows：從一個數組的多個相鄰的行中復制元素值；
51、cvGetSize：得到二維的數組的尺寸，以CvSize返回；
52、cvGetSubRect：從一個數組的子區域復制元素值；
53、cvInRange：檢查一個數組的元素是否在另外兩個數組中的值的范圍內；
54、cvInRangeS：檢查一個數組的元素的值是否在另外兩個標量的范圍內；
55、cvInvert：求矩陣的逆；
56、cvMahalonobis：計算兩個向量間的馬氏距離；
57、cvMax：在兩個數組中進行元素級的取最大值操作；
58、cvMaxS：在一個數組和一個標量中進行元素級的取最大值操作；
59、cvMerge：把幾個單通道圖像合並為一個多通道圖像；
60、cvMin：在兩個數組中進行元素級的取最小值操作；
61、cvMinS：在一個數組和一個標量中進行元素級的取最小值操作；
62、cvMinMaxLoc：尋找數組中的最大最小值；
63、cvMul：計算兩個數組的元素級的乘積(點乘)；
64、cvNot：按位對數組中的每一個元素求反；
65、cvNormalize：將數組中元素進行歸一化；
66、cvOr：對兩個數組進行按位或操作；
67、cvOrs：在數組與標量之間進行按位或操作；
68、cvRece：通過給定的操作符將二維數組簡為向量；
69、cvRepeat：以平鋪的方式進行數組復制；
70、cvSet：用給定值初始化數組；
71、cvSetZero：將數組中所有元素初始化為0；
72、cvSetIdentity：將數組中對角線上的元素設為1，其他置0；
73、cvSolve：求出線性方程組的解；
74、cvSplit：將多通道數組分割成多個單通道數組；
75、cvSub：兩個數組元素級的相減；
76、cvSubS：元素級的從數組中減去標量；
77、cvSubRS：元素級的從標量中減去數組；
78、cvSum：對數組中的所有元素求和；
79、cvSVD：二維矩陣的奇異值分解；
80、cvSVBkSb：奇異值回代計算；
81、cvTrace：計算矩陣跡；
82、cvTranspose：矩陣的轉置運算；
83、cvXor：對兩個數組進行按位異或操作；
84、cvXorS：在數組和標量之間進行按位異或操作；
85、cvZero：將所有數組中的元素置為0；
86、cvConvertScaleAbs：計算可選的縮放值的絕對值之後再轉換數組元素的類型；
87、cvNorm：計算數組的絕對范數， 絕對差分范數或者相對差分范數；
88、cvAnd：對兩個數組進行按位與操作；
89、cvAndS：在數組和標量之間進行按位與操作；
90、cvScale：是cvConvertScale的一個宏，可以用來重新調整數組的內容，並且可以將參數從一種數
據類型轉換為另一種；
91、cvT：是函數cvTranspose的縮寫；
92、cvLine：畫直線；
93、cvRectangle：畫矩形；
94、cvCircle：畫圓；
95、cvEllipse：畫橢圓；
96、cvEllipseBox：使用外接矩形描述橢圓；
97、cvFillPoly、cvFillConvexPoly、cvPolyLine：畫多邊形；
98、cvPutText：在圖像上輸出一些文本；
99、cvInitFont：採用一組參數配置一些用於屏幕輸出的基本個特定字體；
100、cvSave：矩陣保存；
101、cvLoad：矩陣讀取；
102、cvOpenFileStorage：為讀/寫打開存儲文件；
103、cvReleaseFileStorage：釋放存儲的數據；
104、cvStartWriteStruct：開始寫入新的數據結構；
105、cvEndWriteStruct：結束寫入數據結構；
106、cvWriteInt：寫入整數型；
107、cvWriteReal：寫入浮點型；
108、cvWriteString：寫入字元型；
109、cvWriteComment：寫一個XML或YAML的注釋字串；
110、cvWrite：寫一個對象；
111、cvWriteRawData：寫入多個數值；
112、cvWriteFileNode：將文件節點寫入另一個文件存儲器；
113、cvGetRootFileNode：獲取存儲器最頂層的節點；
114、cvGetFileNodeByName：在映圖或存儲器中找到相應節點；
115、cvGetHashedKey：為名稱返回一個惟一的指針；
116、cvGetFileNode：在映圖或文件存儲器中找到節點；
117、cvGetFileNodeName：返迴文件的節點名；
118、cvReadInt：讀取一個無名稱的整數型；
119、cvReadIntByName：讀取一個有名稱的整數型；
120、cvReadReal：讀取一個無名稱的浮點型；
121、cvReadRealByName：讀取一個有名稱的浮點型；
122、cvReadString：從文件節點中尋找字元串；
123、cvReadStringByName：找到一個有名稱的文件節點並返回它；
124、cvRead：將對象解碼並返回它的指針；
125、cvReadByName：找到對象並解碼；
126、cvReadRawData：讀取多個數值；
127、cvStartReadRawData：初始化文件節點序列的讀取；
128、cvReadRawDataSlice：讀取文件節點的內容；
129、cvGetMoleInfo：檢查IPP庫是否已經正常安裝並且檢驗運行是否正常；
130、cvResizeWindow：用來調整窗口的大小；
131、cvSaveImage：保存圖像；
132、cvMoveWindow：將窗口移動到其左上角為x,y的位置；
133、cvDestroyAllWindow：用來關閉所有窗口並釋放窗口相關的內存空間；
134、cvGetTrackbarPos：讀取滑動條的值；
135、cvSetTrackbarPos：設置滑動條的值；
136、cvGrabFrame：用於快速將幀讀入內存；
137、cvRetrieveFrame：對讀入幀做所有必須的處理；
138、cvConvertImage：用於在常用的不同圖像格式之間轉換；
139、cvErode：形態腐蝕；
140、cvDilate：形態學膨脹；
141、cvMorphologyEx：更通用的形態學函數；
142、cvFloodFill：漫水填充演算法，用來進一步控制哪些區域將被填充顏色；
143、cvResize：放大或縮小圖像；
144、cvPyrUp：圖像金字塔，將現有的圖像在每個維度上都放大兩倍；
145、cvPyrSegmentation：利用金字塔實現圖像分割；
146、cvThreshold：圖像閾值化；
147、cvAcc：可以將8位整數類型圖像累加為浮點圖像；
148、cvAdaptiveThreshold：圖像自適應閾值；
149、cvFilter2D：圖像卷積；
150、cvCopyMakeBorder：將特定的圖像輕微變大，然後以各種方式自動填充圖像邊界；
151、cvSobel：圖像邊緣檢測，Sobel運算元；
152、cvLaplace：拉普拉斯變換、圖像邊緣檢測；
153、cvHoughLines2：霍夫直線變換；
154、cvHoughCircles：霍夫圓變換；
155、cvRemap：圖像重映射，校正標定圖像，圖像插值；
156、cvWarpAffine：稠密仿射變換；
157、cvGetQuadrangleSubPix：仿射變換；
158、cvGetAffineTransform：仿射映射矩陣的計算；
159、cvCloneImage：將整個IplImage結構復制到新的IplImage中；
160、cv2DRotationMatrix：仿射映射矩陣的計算；
161、cvTransform：稀疏仿射變換；
162、cvWarpPerspective：密集透視變換(單應性)；
163、cvGetPerspectiveTransform：計算透視映射矩陣；
164、cvPerspectiveTransform：稀疏透視變換；
165、cvCartToPolar：將數值從笛卡爾空間到極坐標(極性空間)進行映射；
166、cvPolarToCart：將數值從極性空間到笛卡爾空間進行映射；
167、cvLogPolar：對數極坐標變換；
168、cvDFT：離散傅里葉變換；
169、cvMulSpectrums：頻譜乘法；
170、cvDCT：離散餘弦變換；
171、cvIntegral：計算積分圖像；
172、cvDistTransform：圖像的距離變換；
173、cvEqualizeHist：直方圖均衡化；
174、cvCreateHist：創建一新直方圖；
175、cvMakeHistHeaderForArray：根據已給出的數據創建直方圖；
176、cvNormalizeHist：歸一化直方圖；
177、cvThreshHist：直方圖閾值函數；
178、cvCalcHist：從圖像中自動計算直方圖；
179、cvCompareHist：用於對比兩個直方圖的相似度；
180、cvCalcEMD2：陸地移動距離(EMD)演算法；
181、cvCalcBackProject：反向投影；
182、cvCalcBackProjectPatch：圖塊的方向投影；
183、cvMatchTemplate：模板匹配；
184、cvCreateMemStorage：用於創建一個內存存儲器；
185、cvCreateSeq：創建序列；
186、cvSeqInvert：將序列進行逆序操作；
187、cvCvtSeqToArray：復制序列的全部或部分到一個連續內存數組中；
188、cvFindContours：從二值圖像中尋找輪廓；
189、cvDrawContours：繪制輪廓；
190、cvApproxPoly：使用多邊形逼近一個輪廓；
191、cvContourPerimeter：輪廓長度；
192、cvContoursMoments：計算輪廓矩；
193、cvMoments：計算Hu不變矩；
194、cvMatchShapes：使用矩進行匹配；
195、cvInitLineIterator：對任意直線上的像素進行采樣；
196、cvSampleLine：對直線采樣；
197、cvAbsDiff：幀差；
198、cvWatershed：分水嶺演算法；
199、cvInpaint：修補圖像；
200、cvGoodFeaturesToTrack：尋找角點；
201、cvFindCornerSubPix：用於發現亞像素精度的角點位置；
202、cvCalcOpticalFlowLK：實現非金字塔的Lucas-Kanade稠密光流演算法；
203、cvMeanShift：mean-shift跟蹤演算法；
204、cvCamShift：camshift跟蹤演算法；
205、cvCreateKalman：創建Kalman濾波器；
206、cvCreateConDensation：創建condensation濾波器；
207、cvConvertPointsHomogenious：對齊次坐標進行轉換；
208、cvFindChessboardCorners：定位棋盤角點；
209、cvFindHomography：計算單應性矩陣；
210、cvRodrigues2：羅德里格斯變換；
211、cvFitLine：直線擬合演算法；
212、cvCalcCovarMatrix：計算協方差矩陣；
213、cvInvert：計算協方差矩陣的逆矩陣；
214、cvMahalanobis：計算Mahalanobis距離；
215、cvKMeans2：K均值；
216、cvCloneMat：根據一個已有的矩陣創建一個新矩陣；
217、cvPreCornerDetect：計算用於角點檢測的特徵圖；
218、cvGetImage：CvMat圖像數據格式轉換成IplImage圖像數據格式；
219、cvMatMul：兩矩陣相乘；