camshift算法

‘壹’ 如何求压缩后图像与原始图像相近程度

图像相似度计算主要用于对于两幅图像之间内容的相似程度进行打分，根据分数的高低来判断图像内容的相近程度。

可以用于计算机视觉中的检测跟踪中目标位置的获取，根据已有模板在图像中找到一个与之最接近的区域。然后一直跟着。已有的一些算法比如BlobTracking，Meanshift，Camshift，粒子滤波等等也都是需要这方面的理论去支撑。

还有一方面就是基于图像内容的图像检索，也就是通常说的以图检图。比如给你某一个人在海量的图像数据库中罗列出与之最匹配的一些图像，当然这项技术可能也会这样做，将图像抽象为几个特征值，比如Trace变换，图像哈希或者Sift特征向量等等，来根据数据库中存得这些特征匹配再返回相应的图像来提高效率。

下面就一些自己看到过的算法进行一些算法原理和效果上的介绍。

(1)直方图匹配。

比如有图像A和图像B，分别计算两幅图像的直方图，HistA，HistB，然后计算两个直方图的归一化相关系数（巴氏距离，直方图相交距离）等等。

这种思想是基于简单的数学上的向量之间的差异来进行图像相似程度的度量，这种方法是目前用的比较多的一种方法，第一，直方图能够很好的归一化，比如通常的256个bin条的。那么两幅分辨率不同的图像可以直接通过计算直方图来计算相似度很方便。而且计算量比较小。

这种方法的缺点:

1、直方图反映的是图像像素灰度值的概率分布，比如灰度值为200的像素有多少个，但是对于这些像素原来的位置在直方图中并没有体现，所以图像的骨架，也就是图像内部到底存在什么样的物体，形状是什么，每一块的灰度分布式什么样的这些在直方图信息中是被省略掉得。那么造成的一个问题就是，比如一个上黑下白的图像和上白下黑的图像其直方图分布是一模一样的，其相似度为100%。

2、两幅图像之间的距离度量，采用的是巴氏距离或者归一化相关系数，这种用分析数学向量的方法去分析图像本身就是一个很不好的办法。

3、就信息量的道理来说，采用一个数值来判断两幅图像的相似程度本身就是一个信息压缩的过程，那么两个256个元素的向量（假定直方图有256个bin条）的距离用一个数值表示那么肯定就会存在不准确性。

下面是一个基于直方图距离的图像相似度计算的Matlab Demo和实验结果.
%计算图像直方图距离
%巴氏系数计算法
M=imread('1.jpg');
N=imread('2.jpg');
I=rgb2gray(M);
J=rgb2gray(N);
[Count1,x]=imhist(I);
[Count2,x]=imhist(J);
Sum1=sum(Count1);Sum2=sum(Count2);
Sumup = sqrt(Count1.*Count2);
SumDown = sqrt(Sum1*Sum2);
Sumup = sum(Sumup);
figure(1);
subplot(2,2,1);imshow(I);
subplot(2,2,2);imshow(J);
subplot(2,2,3);imhist(I);
subplot(2,2,4);imhist(J);
HistDist=1-sqrt(1-Sumup/SumDown)

‘贰’ 计算机视觉中，目前有哪些经典的目标跟踪算法

跟踪是一个很混乱的方向。

比如TLD、CT、Struct这些效果不错的Tracker其实都不是单纯的Tracker了。09年的时候我记得比较流行的是Particle Filtering， 或者一些MeanShift/CamShift的变形，比如特征变了，比如对问题的假设变了。

后来突然出现一些tracking by detection的方法，之前的很多朋友就觉得这是耍流氓。比如TLD，严格的跟踪算法也许只是里面的Forward/Backward Opitcal Flow的部分，但是效果很Impressive，所以不管怎样，一下就火了。

之后所谓的跟踪就不再是一个传统的跟踪问题，而是一个综合的工程问题。online learning，random projection ，sparse learning的东西都加进来，大家其实到底是在做跟踪还是在做检测或者online learning，其实已经不重要，因为衡量的标准是你在某些public dataset上的精度。

但这些对实际的项目有没有帮助呢？

这是个很有意思的地方，在很多时候，我们之所以需要跟踪算法，是因为我们的检测算法很慢，跟踪很快。基本上当前排名前几的跟踪算法都很难用在这样的情况下，因为你实际的速度已经太慢了，比如TLD，CT，还有Struct，如果目标超过十个，基本上就炸了。况且还有些跟踪算法自己drift掉了也不知道，比如第一版本的CT是无法处理drift的问题的，TLD是可以的，究其原因还是因为检测算法比较鲁棒啊……

实际中我觉得速度极快，实现也简单的纯跟踪算法居然是NCC和Overlap。

NCC很简单，这个是对点进行的，对于区域也有很多变种，网上有一些相关的资源。

Overlap是我取的名字，一般用在里面，假如你的摄像头是静止的，背景建模之后出来的前景可以是一个一个的blob，对相邻两帧的blob检测是否Overlap就可以得到track。在一些真实场景下，这个算法是非常有效的。关于背景template的问题在真实的里面也是很好解决的。

坐在电脑前面调试代码tuning 各种阈值让跟踪算法在某一个帧下面不要drift的事情我是再也不想干了。
顺祝你2015幸福快乐。

‘叁’ cvfitline用的什么算法

1、cvLoadImage：将图像文件加载至内存；
2、cvNamedWindow：在屏幕上创建一个窗口；
3、cvShowImage：在一个已创建好的窗口中显示图像；
4、cvWaitKey：使程序暂停，等待用户触发一个按键操作；
5、cvReleaseImage：释放图像文件所分配的内存；
6、cvDestroyWindow：销毁显示图像文件的窗口；
7、cvCreateFileCapture：通过参数设置确定要读入的AVI文件；
8、cvQueryFrame：用来将下一帧文件载入内存；
9、cvReleaseCapture：释放CvCapture结构开辟的内存空间；
10、cvCreateTrackbar：创建一个滚动条；
11、cvSetCaptureProperty：设置CvCapture对象的各种属性；
12、cvGetCaptureProperty：查询CvCapture对象的各种属性；
13、cvGetSize：当前图像结构的大小；
14、cvSmooth：对图像进行平滑处理；
15、cvPyrDown：图像金字塔，降采样，图像缩小为原来四分之一；
16、cvCanny：Canny边缘检测；
17、cvCreateCameraCapture：从摄像设备中读入数据；
18、cvCreateVideoWriter：创建一个写入设备以便逐帧将流写入文件；
19、cvWriteFrame：逐帧将流写入文件；
20、cvReleaseVideoWriter：释放CvVideoWriter结构开辟的内存空间；
21、CV_MAT_ELEM：从矩阵中得到一个元素；
22、cvAbs：计算数组中所有元素的绝对值；
23、cvAbsDiff：计算两个数组差值的绝对值；
24、cvAbsDiffS：计算数组和标量差值的绝对值；
25、cvAdd：两个数组的元素级的加运算；
26、cvAddS：一个数组和一个标量的元素级的相加运算；
27、cvAddWeighted：两个数组的元素级的加权相加运算(alpha运算)；
28、cvAvg：计算数组中所有元素的平均值；
29、cvAvgSdv：计算数组中所有元素的绝对值和标准差；
30、cvCalcCovarMatrix：计算一组n维空间向量的协方差；
31、cvCmp：对两个数组中的所有元素运用设置的比较操作；
32、cvCmpS：对数组和标量运用设置的比较操作；
33、cvConvertScale：用可选的缩放值转换数组元素类型；
34、cvCopy：把数组中的值复制到另一个数组中；
35、cvCountNonZero：计算数组中非0值的个数；
36、cvCrossProct：计算两个三维向量的向量积(叉积)；
37、cvCvtColor：将数组的通道从一个颜色空间转换另外一个颜色空间；
38、cvDet：计算方阵的行列式；
39、cvDiv：用另外一个数组对一个数组进行元素级的除法运算；
40、cvDotProct：计算两个向量的点积；
41、cvEigenVV：计算方阵的特征值和特征向量；
42、cvFlip：围绕选定轴翻转；
43、cvGEMM：矩阵乘法；
44、cvGetCol：从一个数组的列中复制元素；
45、cvGetCols：从数据的相邻的多列中复制元素；
46、cvGetDiag：复制数组中对角线上的所有元素；
47、cvGetDims：返回数组的维数；
48、cvGetDimSize：返回一个数组的所有维的大小；
49、cvGetRow：从一个数组的行中复制元素值；
50、cvGetRows：从一个数组的多个相邻的行中复制元素值；
51、cvGetSize：得到二维的数组的尺寸，以CvSize返回；
52、cvGetSubRect：从一个数组的子区域复制元素值；
53、cvInRange：检查一个数组的元素是否在另外两个数组中的值的范围内；
54、cvInRangeS：检查一个数组的元素的值是否在另外两个标量的范围内；
55、cvInvert：求矩阵的逆；
56、cvMahalonobis：计算两个向量间的马氏距离；
57、cvMax：在两个数组中进行元素级的取最大值操作；
58、cvMaxS：在一个数组和一个标量中进行元素级的取最大值操作；
59、cvMerge：把几个单通道图像合并为一个多通道图像；
60、cvMin：在两个数组中进行元素级的取最小值操作；
61、cvMinS：在一个数组和一个标量中进行元素级的取最小值操作；
62、cvMinMaxLoc：寻找数组中的最大最小值；
63、cvMul：计算两个数组的元素级的乘积(点乘)；
64、cvNot：按位对数组中的每一个元素求反；
65、cvNormalize：将数组中元素进行归一化；
66、cvOr：对两个数组进行按位或操作；
67、cvOrs：在数组与标量之间进行按位或操作；
68、cvRece：通过给定的操作符将二维数组简为向量；
69、cvRepeat：以平铺的方式进行数组复制；
70、cvSet：用给定值初始化数组；
71、cvSetZero：将数组中所有元素初始化为0；
72、cvSetIdentity：将数组中对角线上的元素设为1，其他置0；
73、cvSolve：求出线性方程组的解；
74、cvSplit：将多通道数组分割成多个单通道数组；
75、cvSub：两个数组元素级的相减；
76、cvSubS：元素级的从数组中减去标量；
77、cvSubRS：元素级的从标量中减去数组；
78、cvSum：对数组中的所有元素求和；
79、cvSVD：二维矩阵的奇异值分解；
80、cvSVBkSb：奇异值回代计算；
81、cvTrace：计算矩阵迹；
82、cvTranspose：矩阵的转置运算；
83、cvXor：对两个数组进行按位异或操作；
84、cvXorS：在数组和标量之间进行按位异或操作；
85、cvZero：将所有数组中的元素置为0；
86、cvConvertScaleAbs：计算可选的缩放值的绝对值之后再转换数组元素的类型；
87、cvNorm：计算数组的绝对范数， 绝对差分范数或者相对差分范数；
88、cvAnd：对两个数组进行按位与操作；
89、cvAndS：在数组和标量之间进行按位与操作；
90、cvScale：是cvConvertScale的一个宏，可以用来重新调整数组的内容，并且可以将参数从一种数
据类型转换为另一种；
91、cvT：是函数cvTranspose的缩写；
92、cvLine：画直线；
93、cvRectangle：画矩形；
94、cvCircle：画圆；
95、cvEllipse：画椭圆；
96、cvEllipseBox：使用外接矩形描述椭圆；
97、cvFillPoly、cvFillConvexPoly、cvPolyLine：画多边形；
98、cvPutText：在图像上输出一些文本；
99、cvInitFont：采用一组参数配置一些用于屏幕输出的基本个特定字体；
100、cvSave：矩阵保存；
101、cvLoad：矩阵读取；
102、cvOpenFileStorage：为读/写打开存储文件；
103、cvReleaseFileStorage：释放存储的数据；
104、cvStartWriteStruct：开始写入新的数据结构；
105、cvEndWriteStruct：结束写入数据结构；
106、cvWriteInt：写入整数型；
107、cvWriteReal：写入浮点型；
108、cvWriteString：写入字符型；
109、cvWriteComment：写一个XML或YAML的注释字串；
110、cvWrite：写一个对象；
111、cvWriteRawData：写入多个数值；
112、cvWriteFileNode：将文件节点写入另一个文件存储器；
113、cvGetRootFileNode：获取存储器最顶层的节点；
114、cvGetFileNodeByName：在映图或存储器中找到相应节点；
115、cvGetHashedKey：为名称返回一个惟一的指针；
116、cvGetFileNode：在映图或文件存储器中找到节点；
117、cvGetFileNodeName：返回文件的节点名；
118、cvReadInt：读取一个无名称的整数型；
119、cvReadIntByName：读取一个有名称的整数型；
120、cvReadReal：读取一个无名称的浮点型；
121、cvReadRealByName：读取一个有名称的浮点型；
122、cvReadString：从文件节点中寻找字符串；
123、cvReadStringByName：找到一个有名称的文件节点并返回它；
124、cvRead：将对象解码并返回它的指针；
125、cvReadByName：找到对象并解码；
126、cvReadRawData：读取多个数值；
127、cvStartReadRawData：初始化文件节点序列的读取；
128、cvReadRawDataSlice：读取文件节点的内容；
129、cvGetMoleInfo：检查IPP库是否已经正常安装并且检验运行是否正常；
130、cvResizeWindow：用来调整窗口的大小；
131、cvSaveImage：保存图像；
132、cvMoveWindow：将窗口移动到其左上角为x,y的位置；
133、cvDestroyAllWindow：用来关闭所有窗口并释放窗口相关的内存空间；
134、cvGetTrackbarPos：读取滑动条的值；
135、cvSetTrackbarPos：设置滑动条的值；
136、cvGrabFrame：用于快速将帧读入内存；
137、cvRetrieveFrame：对读入帧做所有必须的处理；
138、cvConvertImage：用于在常用的不同图像格式之间转换；
139、cvErode：形态腐蚀；
140、cvDilate：形态学膨胀；
141、cvMorphologyEx：更通用的形态学函数；
142、cvFloodFill：漫水填充算法，用来进一步控制哪些区域将被填充颜色；
143、cvResize：放大或缩小图像；
144、cvPyrUp：图像金字塔，将现有的图像在每个维度上都放大两倍；
145、cvPyrSegmentation：利用金字塔实现图像分割；
146、cvThreshold：图像阈值化；
147、cvAcc：可以将8位整数类型图像累加为浮点图像；
148、cvAdaptiveThreshold：图像自适应阈值；
149、cvFilter2D：图像卷积；
150、cvCopyMakeBorder：将特定的图像轻微变大，然后以各种方式自动填充图像边界；
151、cvSobel：图像边缘检测，Sobel算子；
152、cvLaplace：拉普拉斯变换、图像边缘检测；
153、cvHoughLines2：霍夫直线变换；
154、cvHoughCircles：霍夫圆变换；
155、cvRemap：图像重映射，校正标定图像，图像插值；
156、cvWarpAffine：稠密仿射变换；
157、cvGetQuadrangleSubPix：仿射变换；
158、cvGetAffineTransform：仿射映射矩阵的计算；
159、cvCloneImage：将整个IplImage结构复制到新的IplImage中；
160、cv2DRotationMatrix：仿射映射矩阵的计算；
161、cvTransform：稀疏仿射变换；
162、cvWarpPerspective：密集透视变换(单应性)；
163、cvGetPerspectiveTransform：计算透视映射矩阵；
164、cvPerspectiveTransform：稀疏透视变换；
165、cvCartToPolar：将数值从笛卡尔空间到极坐标(极性空间)进行映射；
166、cvPolarToCart：将数值从极性空间到笛卡尔空间进行映射；
167、cvLogPolar：对数极坐标变换；
168、cvDFT：离散傅里叶变换；
169、cvMulSpectrums：频谱乘法；
170、cvDCT：离散余弦变换；
171、cvIntegral：计算积分图像；
172、cvDistTransform：图像的距离变换；
173、cvEqualizeHist：直方图均衡化；
174、cvCreateHist：创建一新直方图；
175、cvMakeHistHeaderForArray：根据已给出的数据创建直方图；
176、cvNormalizeHist：归一化直方图；
177、cvThreshHist：直方图阈值函数；
178、cvCalcHist：从图像中自动计算直方图；
179、cvCompareHist：用于对比两个直方图的相似度；
180、cvCalcEMD2：陆地移动距离(EMD)算法；
181、cvCalcBackProject：反向投影；
182、cvCalcBackProjectPatch：图块的方向投影；
183、cvMatchTemplate：模板匹配；
184、cvCreateMemStorage：用于创建一个内存存储器；
185、cvCreateSeq：创建序列；
186、cvSeqInvert：将序列进行逆序操作；
187、cvCvtSeqToArray：复制序列的全部或部分到一个连续内存数组中；
188、cvFindContours：从二值图像中寻找轮廓；
189、cvDrawContours：绘制轮廓；
190、cvApproxPoly：使用多边形逼近一个轮廓；
191、cvContourPerimeter：轮廓长度；
192、cvContoursMoments：计算轮廓矩；
193、cvMoments：计算Hu不变矩；
194、cvMatchShapes：使用矩进行匹配；
195、cvInitLineIterator：对任意直线上的像素进行采样；
196、cvSampleLine：对直线采样；
197、cvAbsDiff：帧差；
198、cvWatershed：分水岭算法；
199、cvInpaint：修补图像；
200、cvGoodFeaturesToTrack：寻找角点；
201、cvFindCornerSubPix：用于发现亚像素精度的角点位置；
202、cvCalcOpticalFlowLK：实现非金字塔的Lucas-Kanade稠密光流算法；
203、cvMeanShift：mean-shift跟踪算法；
204、cvCamShift：camshift跟踪算法；
205、cvCreateKalman：创建Kalman滤波器；
206、cvCreateConDensation：创建condensation滤波器；
207、cvConvertPointsHomogenious：对齐次坐标进行转换；
208、cvFindChessboardCorners：定位棋盘角点；
209、cvFindHomography：计算单应性矩阵；
210、cvRodrigues2：罗德里格斯变换；
211、cvFitLine：直线拟合算法；
212、cvCalcCovarMatrix：计算协方差矩阵；
213、cvInvert：计算协方差矩阵的逆矩阵；
214、cvMahalanobis：计算Mahalanobis距离；
215、cvKMeans2：K均值；
216、cvCloneMat：根据一个已有的矩阵创建一个新矩阵；
217、cvPreCornerDetect：计算用于角点检测的特征图；
218、cvGetImage：CvMat图像数据格式转换成IplImage图像数据格式；
219、cvMatMul：两矩阵相乘；