opencv算法原理

1. 如何利用opencv计算图像畸变系数，并进行校正与摄像机标定

如果知道图像，不知道相机还怎么通过相机来标定畸变？
1、只给定一张图片可以根据图像中相关特征进行标定，比如：图像中的某个物体具有直线性特点。一般是找出本来应当是直线的物体边缘，在其上取若干点，根据这些点将图像中的物体边缘重新校正为直线。简单讲就是利用： line is straight 这个原理。
2、目前最常用的张正友在1998年提出的一种标定方法，是通过二维标定板（平面标定板），根据小孔成像的原理，通过对 reprojection error 最小化进行非线性优化，来实现对相机的标定。并非根据看似高大上的训练集来标定。
当然他写这篇文章的目的不单单是为了校正畸变。畸变参数只是张正友相机标定法所求参数的一部分，即：两个径向畸变系数和两个切向畸变系数。

消除畸变的目的是让相机尽量地逼近针孔相机模型，这样相机成像时直线才会保持其直线性。一般常见的畸变校正算法都是根据这一原理来实现的。
当然，还有二般的情况。比如：图像中压根就没有直线性物体存在。我们该怎么办？还能进行标定吗？
答案是肯定的。可以利用对极约束，对图像畸变进行标定。不过，这需要至少两幅图像，而且这两幅图像必须是同一相机在短时间内拍摄得到。

2. opencv进阶1

在Opencv中人脸识别是基于Haar特征+Adaboost级联分类器来实现人脸识别的!

要理解这节内容,我们首先要明白什么是特征?

特征其实就是某个区域的像素点经过运算之后得到的结果! 例如haar特征其实就是用下图列出的模板在图像中滑动,计算白色区域覆盖的像素之和减去黑色区域覆盖的像素之和,运算出来的结果就是haar特征值!

Haar特征一般和Adaboost分类器结合在一起进行目标识别!

这里需要运动机器学习的知识! 不过值得庆幸的是Opencv已经为我们训练好了数据,并且已经提取出了人脸的特征,在opencv的源码中有相应的xml特征文件. 并且我们只需要调用opencv提供好的API即可快速完成人脸识别的功能!

核心api为:

实现步骤:

HSV(Hue, Saturation, Value)是根据颜色的直观特性由A. R. Smith在1978年创建的一种颜色空间, 也称六角锥体模型(Hexcone Model)。

这个模型中颜色的参数分别是：色调（H），饱和度（S），明度（V）

用角度度量，取值范围为0°～360°，从红色开始按逆时针方向计算，红色为0°，绿色为120°,蓝色为240°。它们的补色是：黄色为60°，青色为180°,品红为300°；

饱和度S表示颜色接近光谱色的程度。一种颜色，可以看成是某种光谱色与白色混合的结果。其中光谱色所占的比例愈大，颜色接近光谱色的程度就愈高，颜色的饱和度也就愈高。饱和度高，颜色则深而艳。光谱色的白光成分为0，饱和度达到最高。通常取值范围为0%～100%，值越大，颜色越饱和。

明度表示颜色明亮的程度，对于光源色，明度值与发光体的光亮度有关；对于物体色，此值和物体的透射比或反射比有关。通常取值范围为0%（黑）到100%（白）。

结论:

注意: 在opencv中,H、S、V值范围分别是[0,180]，[0,255]，[0,255]，而非[0,360]，[0,1]，[0,1]；

这里我们列出部分hsv空间的颜色值, 表中将部分紫色归为红色

[图片上传失败...(image-4f70f7-1563843266225)]
.jpg)

注意,这仅仅只能做一个比较粗糙的判定,按照我们人的正常思维,在傍晚临界点我们也无法判定当前是属于晚上还是白天!

在一张图片中,如果某个物体的颜色为纯色,那么我们就可以使用颜色过滤inRange的方式很方便的来提取这个物体.

下面我们有一张网球的图片,并且网球的颜色为一定范围内的绿色,在这张图片中我们找不到其它颜色也为绿色的图片,所以我们可以考虑使用绿色来提取它!

图片的颜色空间默认为BGR颜色空间,如果我们想找到提取纯绿色的话,我们可能需要写(0,255,0)这样的内容,假设我们想表示一定范围的绿色就会很麻烦!

所以我们考虑将它转成HSV颜色空间,绿色的色调H的范围我们很容易知道,剩下的就是框定颜色的饱和度H和亮度V就可以啦!

实现步骤:

图像二值化（ Image Binarization）就是将图像上的像素点的灰度值设置为0 或 255，也就是将整个图像呈现出明显的黑白效果的过程。

在数字图像处理中，二值图像占有非常重要的地位，图像的二值化使图像中数据量大为减少，从而能凸显出目标的轮廓。

[图片上传失败...(image-a31052-1563843266226)]

我们使用一个全局值作为阈值。但是在所有情况下这可能都不太好，例如，如果图像在不同区域具有不同的照明条件。在这种情况下，自适应阈值阈值可以帮助。这里，算法基于其周围的小区域确定像素的阈值。因此，我们为同一图像的不同区域获得不同的阈值，这为具有不同照明的图像提供了更好的结果。

除上述参数外，方法cv.adaptiveThreshold还有三个输入参数：

该 adaptiveMethod 决定阈值是如何计算的：

该 BLOCKSIZE 确定附近区域的大小和 Ç 是从平均值或附近的像素的加权和中减去一个常数。

采用日本人大津提出的算法,又称作最大类间方差法,被认为是图像分割中阈值选取的最佳算法,采用这种算法的好处是执行效率高!

<img src="./img2/otsu.jpg" width="500" />

如果我们把图像看作信号，那么噪声就是干扰信号。我们在采集图像时可能因为各种各样的干扰而引入图像噪声。在计算机中,图像就是一个矩阵, 给原始图像增加噪声, 我们只需要让像素点加上一定灰度即可.
f(x, y) = I(x, y) + noise

常见的噪声有椒盐噪声（salt and pepper noise），为什么叫椒盐噪声？因为图像的像素点由于噪声影响随机变成了黑点（dark spot）或白点（white spot）。这里的“椒”不是我们常见的红辣椒或青辣椒，而是外国的“胡椒”（香料的一种）。我们知道，胡椒是黑色的，盐是白色的，所以才取了这么个形象的名字.

接下来我们来生成10%的椒噪声和盐噪声:

我们还要注意，opencv的图像矩阵类型是uint8，低于0和高于255的值并不截断，而是使用了模操作。即200+60=260 % 256 = 4。所以我们需要先将原始图像矩阵和噪声图像矩阵都转成浮点数类型进行相加操作，然后再转回来。

3. 如何利用opencv实现彩色图像边缘检测算法

在opencv中显示边缘检测很简单，只需调用一个cvCanny函数，其使用的是Canny算法来实现对图像的边缘检测．
函数原型为：
void cvCanny( const CvArr* image,CvArr* edges,double threshold1,double threshold2, int aperture_size=3 );
第一个参数为待检测的图像，注意一点，其必须是灰度图．
第二个参数为输出的边缘图，其也是一个灰度图．
后三个参数与Canny算法直接相关，threshold1和threshold2 当中的小阈值用来控制边缘连接，大的阈值用来控制强边缘的初始分割，aperture_size算子内核大小，可以去看看Canny算法．
从彩色图到灰度图需要使用到cvCvtColor函数，其接受三个参数，第一为输入，第二为输出，第三个为转换的标识，我们这边是RGB到GRAY，使用的是CV_RGB2GRAY．
参考demo代码如下：

#include <iostream>

#include <string>
#include <sstream>
#include <opencv/cv.h>
#include <opencv/highgui.h>

using namespace std;

int String2int(const string& str_)
{
int _nre = 0;
stringstream _ss;
_ss << str_;
_ss >> _nre;
return _nre;
}

void DoCanny(const string& strFileName_)
{
//原彩色图片
IplImage* _pIplImageIn = cvLoadImage(strFileName_.data());

if (_pIplImageIn == NULL)
{
return;
}
//彩色图片转换成灰度图放置的图片
IplImage* _pIplImageCanny = cvCreateImage(cvGetSize(_pIplImageIn), _pIplImageIn->depth, 1);
cvCvtColor(_pIplImageIn, _pIplImageCanny, CV_RGB2GRAY);//CV_RGB2GRAY将rgb图转成灰度图
//只有边缘路径的图片
IplImage* _pIplImageOut = cvCreateImage(cvGetSize(_pIplImageIn), IPL_DEPTH_8U, 1);

//边缘检测只能作用于灰度图
if (_pIplImageCanny->nChannels != 1)
{
return;
}

//边缘检测操作
cvCanny(_pIplImageCanny, _pIplImageOut, 1, 110, 3);

cvNamedWindow("Src");
cvShowImage("Src", _pIplImageIn);
cvNamedWindow("Canny");
cvShowImage("Canny", _pIplImageOut);

cvWaitKey(0);

cvReleaseImage(&_pIplImageIn);
cvReleaseImage(&_pIplImageCanny);
cvReleaseImage(&_pIplImageOut);

cvDestroyWindow("Src");
cvDestroyWindow("Canny");

}

int main(int argc, char* argv[])
{
if (argc < 2)
{
cout << "You should give the filename of picture!" << endl;
return -1;
}
DoCanny(argv[1]);
return 0;
}