canny边缘检测算法

1. canny算法的算法的实现步骤

Canny边缘检测算法可以分为以下5个步骤： 应用高斯滤波来平滑图像，目的是去除噪声 找寻图像的强度梯度（intensity gradients） 应用非最大抑制（non-maximum suppression）技术来消除边误检（本来不是但检测出来是） 应用双阈值的方法来决定可能的（潜在的）边界 利用滞后技术来跟踪边界 1. 图像平滑（去噪声）
任何边缘检测算法都不可能在未经处理的原始数据上很好地工作，所以第一步是对原始数据与高斯 mask 作卷积，得到的图像与原始图像相比有些轻微的模糊（blurred）。这样，单独的一个像素噪声在经过高斯平滑的图像上变得几乎没有影响。以下为一个5X5高斯滤波器（高斯核，标准差delta=1.4），其中A为原始图像，B为平滑后的图像。


2. 寻找图像中的强度梯度
Canny算法的基本思想是找寻一幅图相中灰度强度变化最强的位置。所谓变化最强，即指梯度方向。平滑后的图像中每个像素点的梯度可以由Sobel算子（一种卷积运算）来获得（opencv中有封装好的函数，可以求图像中每个像素点的n阶导数）。首先，利用如下的核来分别求得沿水平（x）和垂直（y）方向的梯度G_X和G_Y。
K_{GX} = [-1 0 1 ; -2 0 2 ; -1 0 1], K_{GY} = {1 2 1 ; 0 0 0 ; -1 -2 -1}
之后便可利用公式来求得每一个像素点的梯度度量值（gradient magnitude，可能翻译得不准确）。
，有时为了计算简便，也会使用G_X和G_Y的无穷大范数来代替二范数。把平滑后的图像中的每一个点用G代替，可以获得如下图像。从下图可以看出，在变化剧烈的地方（边界处），将获得较大的梯度度量值G，对应的颜色为白色。然而，这些边界通常非常粗，难以标定边界的真正位置。为了做到这一点（参考非极大抑制Non-maximum suppression一节），还必须存储梯度方向，其公式如下图所示。也就是说在这一步我们会存数两块数据，一是梯度的强度信息，另一个是梯度的方向信息。

3. 非极大抑制Non-maximum suppression
这一步的目的是将模糊（blurred）的边界变得清晰（sharp）。通俗的讲，就是保留了每个像素点上梯度强度的极大值，而删掉其他的值。对于每个像素点，进行如下操作：
a) 将其梯度方向近似为以下值中的一个（0,45,90,135,180,225,270,315）（即上下左右和45度方向）
b) 比较该像素点，和其梯度方向正负方向的像素点的梯度强度
c) 如果该像素点梯度强度最大则保留，否则抑制（删除，即置为0）
为了更好的解释这个概念，看下图。

图中的数字代表了像素点的梯度强度，箭头方向代表了梯度方向。以第二排第三个像素点为例，由于梯度方向向上，则将这一点的强度（7）与其上下两个像素点的强度（5和4）比较，由于这一点强度最大，则保留。处理后效果如下图所示。

上图中，可以想象，边界处的梯度方向总是指向垂直于边界的方向，即最后会保留一条边界处最亮的一条细线。
4.双阈值（Double Thresholding）
经过非极大抑制后图像中仍然有很多噪声点。Canny算法中应用了一种叫双阈值的技术。即设定一个阈值上界和阈值下界（opencv中通常由人为指定的），图像中的像素点如果大于阈值上界则认为必然是边界（称为强边界，strong edge），小于阈值下界则认为必然不是边界，两者之间的则认为是候选项（称为弱边界，weak edge），需进行进一步处理。经过双阈值处理的图像如下图所示

上图中右侧强边界用白色表示，弱边界用灰色表示。
5.利用滞后的边界跟踪
这里就不细作解释了。大体思想是，和强边界相连的弱边界认为是边界，其他的弱边界则被抑制。
以上内容均翻译自参考文献【4】
上一个网络版本：
图像中的边缘可能会指向不同的方向，所以 Canny 算法使用 4 个 掩模（mask） 检测水平、垂直以及对角线方向的边缘。原始图像与每个 mask 所作的卷积都存储起来。对于每个点我们都标识在这个点上的最大值以及生成的边缘的方向。这样我们就从原始图像生成了图像中每个点亮度梯度图以及亮度梯度的方向。以下两个公式分别求取高斯滤波后图像的梯度幅值及其方向的表达式。这一步，也叫称为非极大抑制（Non-maximum suppression）。


3. 在图像中跟踪边缘
较高的亮度梯度比较有可能是边缘，但是没有一个确切的值来限定多大的亮度梯度是边缘多大又不是，所以 Canny 使用了滞后阈值。
滞后阈值（Hysteresis thresholding） 需要两个阈值，即高阈值与低阈值。假设图像中的重要边缘都是连续的曲线，这样我们就可以跟踪给定曲线中模糊的部分，并且避免将没有组成曲线 的噪声像素当成边缘。所以我们从一个较大的阈值开始，这将标识出我们比较确信的真实边缘，使用前面导出的方向信息，我们从这些真正的边缘开始在图像中跟踪 整个的边缘。在跟踪的时候，我们使用一个较小的阈值，这样就可以跟踪曲线的模糊部分直到我们回到起点。
一旦这个过程完成，我们就得到了一个二值图像，每点表示是否是一个边缘点。
一个获得亚像素精度边缘的改进实现是在梯度方向检测二阶方向导数的过零点，它在梯度方向的三阶方向导数满足符号条件。
滞后阈值也可以用于亚像素边缘检测。

2. 3种python3的canny边缘检测之静态，可调节和自适应

先看高级版的python3的canny的自适应边缘检测：

内容：

1 canny的边缘检测的介绍。

2 三种方法的canny的边缘检测，由浅入深地介绍：固定值的静态，可自调节的，自适应的。

说明：

1 环境：python3.8、opencv4.5.3和matplotlib3.4.3。

2 图片：来自品阅网正版免费图库。

3 实现自适应阈值的canny边缘检测的参考代码和文章：

上述的代码，本机均有报错，故对代码进行修改，注释和运行。

初级canny：

1 介绍：opencv中给出了canny边缘检测的接口，直接调用：

即可得到边缘检测的结果ret，其中，t1，t2是需要人为设置的阈值。

2 python的opencv的一行代码即可实现边缘检测。

3 Canny函数及使用：

4 Canny边缘检测流程：

去噪 --> 梯度 --> 非极大值抑制 --> 滞后阈值

5 代码：

6 操作和过程：

7 原图：

8 疑问：

ret = cv2.canny(img,t1,t2)，其中，t1，t2是需要人为设置的阈值，一般人怎么知道具体数值是多少，才是最佳的呀？所以，这是它的缺点。

中级canny：

1 中级canny，就是可调节的阈值，找到最佳的canny边缘检测效果。

2 采用cv2.createTrackbar来调节阈值。

3 代码：

4 操作和效果：

5 原图：

高级canny：

1 自适应canny的算法：

ret = cv2.canny(img,t1,t2)

即算法在运行过程中能够自适应地找到较佳的分割阈值t1，t2。

2 文件结构：

3 main.py代码：

4 dog.py代码：

5 bilateralfilt.py代码：

6 原图：

7 效果图：本文第一个gif图，此处省略。

小结：

1 本文由浅入深，总结的很好，适合收藏。

2 对于理解python的opencv的canny的边缘检测，很有帮助。

3 本文高级版canny自适应的算法参考2篇文章，虽然我进行代码的删除，注释，修改，优化等操作，故我不标注原创，对原作者表达敬意。

4 自己总结和整理，分享出来，希望对大家有帮助。

3. canny算法的最优边缘准则

Canny 的目标是找到一个最优的边缘检测算法，最优边缘检测的含义是：
(1)最优检测：算法能够尽可能多地标识出图像中的实际边缘，漏检真实边缘的概率和误检非边缘的概率都尽可能小；
(2)最优定位准则：检测到的边缘点的位置距离实际边缘点的位置最近，或者是由于噪声影响引起检测出的边缘偏离物体的真实边缘的程度最小；
(3)检测点与边缘点一一对应：算子检测的边缘点与实际边缘点应该是一一对应。
为了满足这些要求 Canny 使用了变分法（calculus of variations），这是一种寻找优化特定功能的函数的方法。最优检测使用四个指数函数项表示，但是它非常近似于高斯函数的一阶导数。

4. Canny算子的介绍

Canny边缘检测算子是John F. Canny于 1986 年开发出来的一个多级边缘检测算法。更为重要的是 Canny 创立了边缘检测计算理论（Computational theory of edge detection）解释这项技术如何工作。

5. 如何利用opencv实现彩色图像边缘检测算法

在opencv中显示边缘检测很简单，只需调用一个cvCanny函数，其使用的是Canny算法来实现对图像的边缘检测．
函数原型为：
void cvCanny( const CvArr* image,CvArr* edges,double threshold1,double threshold2, int aperture_size=3 );
第一个参数为待检测的图像，注意一点，其必须是灰度图．
第二个参数为输出的边缘图，其也是一个灰度图．
后三个参数与Canny算法直接相关，threshold1和threshold2 当中的小阈值用来控制边缘连接，大的阈值用来控制强边缘的初始分割，aperture_size算子内核大小，可以去看看Canny算法．
从彩色图到灰度图需要使用到cvCvtColor函数，其接受三个参数，第一为输入，第二为输出，第三个为转换的标识，我们这边是RGB到GRAY，使用的是CV_RGB2GRAY．
参考demo代码如下：

#include <iostream>

#include <string>
#include <sstream>
#include <opencv/cv.h>
#include <opencv/highgui.h>

using namespace std;

int String2int(const string& str_)
{
int _nre = 0;
stringstream _ss;
_ss << str_;
_ss >> _nre;
return _nre;
}

void DoCanny(const string& strFileName_)
{
//原彩色图片
IplImage* _pIplImageIn = cvLoadImage(strFileName_.data());

if (_pIplImageIn == NULL)
{
return;
}
//彩色图片转换成灰度图放置的图片
IplImage* _pIplImageCanny = cvCreateImage(cvGetSize(_pIplImageIn), _pIplImageIn->depth, 1);
cvCvtColor(_pIplImageIn, _pIplImageCanny, CV_RGB2GRAY);//CV_RGB2GRAY将rgb图转成灰度图
//只有边缘路径的图片
IplImage* _pIplImageOut = cvCreateImage(cvGetSize(_pIplImageIn), IPL_DEPTH_8U, 1);

//边缘检测只能作用于灰度图
if (_pIplImageCanny->nChannels != 1)
{
return;
}

//边缘检测操作
cvCanny(_pIplImageCanny, _pIplImageOut, 1, 110, 3);

cvNamedWindow("Src");
cvShowImage("Src", _pIplImageIn);
cvNamedWindow("Canny");
cvShowImage("Canny", _pIplImageOut);

cvWaitKey(0);

cvReleaseImage(&_pIplImageIn);
cvReleaseImage(&_pIplImageCanny);
cvReleaseImage(&_pIplImageOut);

cvDestroyWindow("Src");
cvDestroyWindow("Canny");

}

int main(int argc, char* argv[])
{
if (argc < 2)
{
cout << "You should give the filename of picture!" << endl;
return -1;
}
DoCanny(argv[1]);
return 0;
}