数字图像处理(20): 边缘检测算子(Canny算子)

刺骨的言语ヽ痛彻心扉 2022-01-31 22:57 442阅读 0赞

![20190702121552328.png_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70][]

**目录**

1 边缘检测算子分类

2 Canny算子

2.1 基本理论

2.2 代码示例

3 各类算子实验比较

参考资料

--------------------

前面已经介绍了 [边缘检测算子(Roberts算子、Prewitt算子、Sobel算子 和 Laplacian算子)][Roberts_Prewitt_Sobel_ _ Laplacian]， 下面会介绍Canny算子。介绍Canny算子之前，还是看一下边缘检测算子分类。

# 1 边缘检测算子分类 #

（1）一阶导数的边缘检测算子

通过模板作为核与图像的每个像素点做卷积和运算，然后选取合适的阈值来提取图像的边缘。常见的有Roberts算子、Sobel算子和Prewitt算子。

（2）二阶导数的边缘算子

依据于二阶导数过零点，常见的有Laplacian 算子，此类算子对噪声敏感。

（3）Canny算子

前面两类均是通过微分算子来检测图像边缘，还有一种就是Canny算子，其是在满足一定约束条件下推导出来的边缘检测最优化算子。

--------------------

# 2 Canny算子 #

## 2.1 基本理论 ##

John F.Canny于1986年发明了一个多级边缘检测算法——Canny边缘检测算子，并创立了边缘检测计算理论（Computational theory of edge detection），该理论有效地解释了这项技术的工作理论。

通常情况下边缘检测的目的是在保留原有图像属性的情况下，显著减少图像的数据规模。目前有多种算法可以进行边缘检测，虽然Canny算法年代久远，但可以说它是边缘检测的一种标准算法，而且仍在研究中广泛使用。

Canny算法是一种被广泛应用于边缘检测的标准算法，其目标是找到一个最优的边缘检测解或找寻一幅图像中灰度强度变化最强的位置。最优边缘检测主要通过低错误率、高定位性和最小响应三个标准进行评价。Canny算子的简要步骤如下：

（1）去噪声：应用高斯滤波来平滑图像，目的是去除噪声

（2）梯度：找寻图像的梯度

（3）非极大值抑制：应用非最大抑制技术来过滤掉非边缘像素，将模糊的边界变得清晰。该过程保留了每个像素点上梯度强度的极大值，过滤掉其他的值。

（4）应用双阈值的方法来决定可能的（潜在的）边界；

（5）利用滞后技术来跟踪边界。若某一像素位置和强边界相连的弱边界认为是边界，其他的弱边界则被删除。

Canny算子的具体步骤如下：

**1 去噪声**

边缘检测容易受到噪声的影像。因此，在进行边缘检测前，通常需要进行去噪。通常，使用高斯滤波来去除噪声，例如去高斯滤波的核大小为 5![\\times][times]5，公式如下所示：

![\\frac\{1\}\{273\}\\times \\left\[ \\begin\{matrix\} 1 & 4 & 7 & 4 & 1 \\\\ 4 & 16 & 26 & 16 & 4 \\\\ 7 & 26 & 41 & 26 & 7 \\\\ 4 & 16 & 26 & 16 & 4 \\\\ 1 & 4 & 7 & 4 & 1 \\\\ \\end\{matrix\} \\right\]][frac_1_273_times _left_ _begin_matrix_ 1 _ 4 _ 7 _ 4 _ 1 _ 4 _ 16 _ 26 _ 16 _ 4 _ 7 _ 26 _ 41 _ 26 _ 7 _ 4 _ 16 _ 26 _ 16 _ 4 _ 1 _ 4 _ 7 _ 4 _ 1 _ _end_matrix_ _right]

关于高斯滤波去除噪声可以参见博客：[图像平滑 (均值滤波、中值滤波和高斯滤波)][Link 1]

**2 梯度：找寻图像的梯度**

按照Sobel算子计算梯度幅值和方向，寻找图像的梯度。先将卷积模板分别作用![x][]和![y][]方向，再计算梯度幅值和方向，其公式如下所示：

![\{\{d\}\_\{x\}\}=\\left\[ \\begin\{matrix\} -1 & 0 & 1 \\\\ -2 & 0 & 2 \\\\ -1 & 0 & 1 \\\\ \\end\{matrix\} \\right\]\\begin\{matrix\} \{\} & \{\} & \{\} \\\\ \{\} & \{\} & \{\} \\\\ \{\} & \{\} & \{\} \\\\ \\end\{matrix\}\{\{d\}\_\{y\}\}=\\left\[ \\begin\{matrix\} -1 & -2 & -1 \\\\ 0 & 0 & 0 \\\\ 1 & 2 & 1 \\\\ \\end\{matrix\} \\right\]][d_x_left_ _begin_matrix_ -1 _ 0 _ 1 _ -2 _ 0 _ 2 _ -1 _ 0 _ 1 _ _end_matrix_ _right_begin_matrix_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _end_matrix_d_y_left_ _begin_matrix_ -1 _ -2 _ -1 _ 0 _ 0 _ 0 _ 1 _ 2 _ 1 _ _end_matrix_ _right]

![S=\\sqrt\{d\_\{x\}^\{2\}+d\_\{y\}^\{2\}\}][S_sqrt_d_x_2_d_y_2]

![\\theta =\\arctan (\\frac\{\{\{d\}\_\{y\}\}\}\{\{\{d\}\_\{x\}\}\})][theta _arctan _frac_d_y_d_x]

例如，下图为计算好的梯度和方向：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70][]

梯度的方向一般总是与边界垂直，梯度的方向被归为四类：垂直、水平和两个对角线（即，0度、45度、90度和135度四个方向）。

**3 非极大值抑制**

对于每个像素点，它进行如下操作：应用非最大抑制技术来过滤掉非边缘像素，将模糊的边界变得清晰。该过程保留了每个像素点上梯度强度的极大值，过滤掉其他的值。

1）将其梯度方向近似为以下值中的一个，包括0、45、90、135、180、225、270和315，即表示上下左右和45度方向。

2）比较该像素点和其梯度正负方向的像素点的梯度强度，如果该像素点梯度强度最大则保留，否则抑制（删除，即置为0）。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 2][]

**4 应用双阈值的方法来决定可能的（潜在的）边界**

经过非极大抑制后图像中仍然有很多噪声点。Canny算法中应用了一种叫双阈值的技术。即设定一个阈值上界和阈值下界（opencv中通常由人为指定的），图像中的像素点如果大于阈值上界则认为必然是边界（称为**强边界**，strong edge），小于阈值下界则认为必然不是边界，两者之间的则认为是候选项（称为**弱边界**，weak edge），需进行进一步处理。过程如下图所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 3][]

经过双阈值处理的图像如下图所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 4][]

**5 利用滞后技术来跟踪边界。若某一像素位置和强边界相连的弱边界认为是边界，其他的弱边界则被删除**

最后Canny算子检测到的边缘，如下图所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 5][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 6][]

## 2.2 代码示例 ##

在OpenCV中，**Canny()** 函数用法如下所示：

> **edges = Canny(image, threshold1, threshold2\[, edges\[, apertureSize\[, L2gradient\]\]\])**
> 
> 其中，参数：
> 
> mage 表示输入图像；
> 
> edges 表示输出的边缘图，其大小和类型与输入图像相同；
> 
> threshold1 表示第一个滞后性阈值；
> 
> threshold2 表示第二个滞后性阈值；
> 
> apertureSize 表示应用Sobel算子的孔径大小，其默认值为3；
> 
> L2gradient 表示一个计算图像梯度幅值的标识，默认值为false。

代码如下所示：

# -*- coding: utf-8 -*-
    import cv2
    import numpy as np
    import matplotlib.pyplot as plt
    
    # 读取图像
    img = cv2.imread('zxp.jpg')
    lenna_img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    
    # 灰度化处理图像
    grayImage = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    
    # 高斯滤波降噪
    gaussian = cv2.GaussianBlur(grayImage, (5, 5), 0)
    
    # Canny算子
    Canny = cv2.Canny(gaussian, 50, 150)
    
    # 用来正常显示中文标签
    plt.rcParams['font.sans-serif'] = ['SimHei']
    
    # 显示图形
    titles = [u'原始图像', u'Canny算子']
    images = [lenna_img, Canny]
    for i in range(2):
        plt.subplot(1, 2, i + 1), plt.imshow(images[i], 'gray')
        plt.title(titles[i])
        plt.xticks([]), plt.yticks([])
    plt.show()

运行结果如下图所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 7][]

--------------------

# 3 各类算子实验比较 #

边缘检测算法主要是基于图像强度的**一阶导数**和**二阶导数**，但导数通常对噪声很敏感，因此需要采用滤波器来过滤噪声，并调用图像增强或阈值化算法进行处理，最后再进行边缘检测。下面是采用高斯滤波去噪和阈值化处理之后（Canny检测之前没有阈值化处理），再进行边缘检测的过程，并对比了5种常见的边缘提取算法。

代码如下所示：

# -*- coding: utf-8 -*-
    import cv2
    import numpy as np
    import matplotlib.pyplot as plt
    
    # 读取图像
    img = cv2.imread('zxp.jpg')
    img_RGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)  # 转成RGB 方便后面显示
    
    # 灰度化处理图像
    grayImage = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    
    # 高斯滤波
    gaussianBlur = cv2.GaussianBlur(grayImage, (3, 3), 0)
    
    # 阈值处理
    ret, binary = cv2.threshold(gaussianBlur, 127, 255, cv2.THRESH_BINARY)
    
    # Roberts算子
    kernelx = np.array([[-1, 0], [0, 1]], dtype=int)
    kernely = np.array([[0, -1], [1, 0]], dtype=int)
    x = cv2.filter2D(binary, cv2.CV_16S, kernelx)
    y = cv2.filter2D(binary, cv2.CV_16S, kernely)
    absX = cv2.convertScaleAbs(x)
    absY = cv2.convertScaleAbs(y)
    Roberts = cv2.addWeighted(absX, 0.5, absY, 0.5, 0)
    
    # Prewitt算子
    kernelx = np.array([[1, 1, 1], [0, 0, 0], [-1, -1, -1]], dtype=int)
    kernely = np.array([[-1, 0, 1], [-1, 0, 1], [-1, 0, 1]], dtype=int)
    x = cv2.filter2D(binary, cv2.CV_16S, kernelx)
    y = cv2.filter2D(binary, cv2.CV_16S, kernely)
    absX = cv2.convertScaleAbs(x)
    absY = cv2.convertScaleAbs(y)
    Prewitt = cv2.addWeighted(absX, 0.5, absY, 0.5, 0)
    
    # Sobel算子
    x = cv2.Sobel(binary, cv2.CV_16S, 1, 0)
    y = cv2.Sobel(binary, cv2.CV_16S, 0, 1)
    absX = cv2.convertScaleAbs(x)
    absY = cv2.convertScaleAbs(y)
    Sobel = cv2.addWeighted(absX, 0.5, absY, 0.5, 0)
    
    # Laplacian算子
    dst = cv2.Laplacian(binary, cv2.CV_16S, ksize=3)
    Laplacian = cv2.convertScaleAbs(dst)
    
    # Canny算子
    Canny = cv2.Canny(gaussianBlur, 50, 150)
    
    
    
    
    # 用来正常显示中文标签
    plt.rcParams['font.sans-serif'] = ['SimHei']
    
    # # 显示图形
    plt.subplot(231), plt.imshow(img_RGB), plt.title('原始图像'), plt.axis('off')  # 坐标轴关闭
    plt.subplot(232), plt.imshow(Canny, cmap=plt.cm.gray), plt.title('Canny算子'), plt.axis('off')
    plt.subplot(233), plt.imshow(Roberts, cmap=plt.cm.gray), plt.title('Roberts算子'), plt.axis('off')
    plt.subplot(234), plt.imshow(Prewitt, cmap=plt.cm.gray), plt.title('Prewitt算子'), plt.axis('off')
    plt.subplot(235), plt.imshow(Sobel, cmap=plt.cm.gray), plt.title('Sobel算子'), plt.axis('off')
    plt.subplot(236), plt.imshow(Laplacian, cmap=plt.cm.gray), plt.title('Laplacian算子'), plt.axis('off')
    
    plt.show()

运行结果如下图所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 8][]

多测试几幅图像，看看效果

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 9][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 10][]

--------------------

# 参考资料 #

\[1\] https://blog.csdn.net/Eastmount/article/details/89056240

\[2\] [Python+OpenCV图像处理][Python_OpenCV]

\[3\] [冈萨雷斯. 数字图像处理(第三版)][.]

[20190702121552328.png_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]: /images/20220201/3b1ac731dcfc4751909a87cedeee7519.png
[Roberts_Prewitt_Sobel_ _ Laplacian]: https://xiongyiming.blog.csdn.net/article/details/89840396
[times]: https://private.codecogs.com/gif.latex?%5Ctimes
[frac_1_273_times _left_ _begin_matrix_ 1 _ 4 _ 7 _ 4 _ 1 _ 4 _ 16 _ 26 _ 16 _ 4 _ 7 _ 26 _ 41 _ 26 _ 7 _ 4 _ 16 _ 26 _ 16 _ 4 _ 1 _ 4 _ 7 _ 4 _ 1 _ _end_matrix_ _right]: https://private.codecogs.com/gif.latex?%5Cfrac%7B1%7D%7B273%7D%5Ctimes%20%5Cleft%5B%20%5Cbegin%7Bmatrix%7D%201%20%26%204%20%26%207%20%26%204%20%26%201%20%5C%5C%204%20%26%2016%20%26%2026%20%26%2016%20%26%204%20%5C%5C%207%20%26%2026%20%26%2041%20%26%2026%20%26%207%20%5C%5C%204%20%26%2016%20%26%2026%20%26%2016%20%26%204%20%5C%5C%201%20%26%204%20%26%207%20%26%204%20%26%201%20%5C%5C%20%5Cend%7Bmatrix%7D%20%5Cright%5D
[Link 1]: https://xiongyiming.blog.csdn.net/article/details/89788020
[x]: https://private.codecogs.com/gif.latex?x
[y]: https://private.codecogs.com/gif.latex?y
[d_x_left_ _begin_matrix_ -1 _ 0 _ 1 _ -2 _ 0 _ 2 _ -1 _ 0 _ 1 _ _end_matrix_ _right_begin_matrix_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _end_matrix_d_y_left_ _begin_matrix_ -1 _ -2 _ -1 _ 0 _ 0 _ 0 _ 1 _ 2 _ 1 _ _end_matrix_ _right]: https://private.codecogs.com/gif.latex?%7B%7Bd%7D_%7Bx%7D%7D%3D%5Cleft%5B%20%5Cbegin%7Bmatrix%7D%20-1%20%26%200%20%26%201%20%5C%5C%20-2%20%26%200%20%26%202%20%5C%5C%20-1%20%26%200%20%26%201%20%5C%5C%20%5Cend%7Bmatrix%7D%20%5Cright%5D%5Cbegin%7Bmatrix%7D%20%7B%7D%20%26%20%7B%7D%20%26%20%7B%7D%20%5C%5C%20%7B%7D%20%26%20%7B%7D%20%26%20%7B%7D%20%5C%5C%20%7B%7D%20%26%20%7B%7D%20%26%20%7B%7D%20%5C%5C%20%5Cend%7Bmatrix%7D%7B%7Bd%7D_%7By%7D%7D%3D%5Cleft%5B%20%5Cbegin%7Bmatrix%7D%20-1%20%26%20-2%20%26%20-1%20%5C%5C%200%20%26%200%20%26%200%20%5C%5C%201%20%26%202%20%26%201%20%5C%5C%20%5Cend%7Bmatrix%7D%20%5Cright%5D
[S_sqrt_d_x_2_d_y_2]: https://private.codecogs.com/gif.latex?S%3D%5Csqrt%7Bd_%7Bx%7D%5E%7B2%7D&plus;d_%7By%7D%5E%7B2%7D%7D
[theta _arctan _frac_d_y_d_x]: https://private.codecogs.com/gif.latex?%5Ctheta%20%3D%5Carctan%20%28%5Cfrac%7B%7B%7Bd%7D_%7By%7D%7D%7D%7B%7B%7Bd%7D_%7Bx%7D%7D%7D%29
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]: /images/20220201/4b84a8c3bf9f4c02aff60b16e76e5d4b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 1]: /images/20220201/d9630d4f52cd41cf900ffcc8b05399c9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 2]: /images/20220201/59950dab815a4dea93f02d39dd4a2ba9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 3]: /images/20220201/86077a35afdf4e37b1ae471a8187c50a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 4]: /images/20220201/2f975b4a70ab4dd48ff6b39a94c03638.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 5]: /images/20220201/e29fda5b46444598ac3e129d5bd1348b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 6]: /images/20220201/30bd6811ffd24f739c7642e541fad073.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 7]: /images/20220201/899541492ee846a7b1348b92e74d145b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 8]: /images/20220201/978e5596a01c4ce2823402cf85b8584a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 9]: /images/20220201/9c9fcce8a24a4f6cb4ae7b471d744f46.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 10]: /images/20220201/292fc3fc63d84c4e812878b2bf842694.png
[Python_OpenCV]: https://study.163.com/course/courseMain.htm?share=1&shareId=1034019066&courseId=1005317018&_trace_c_p_k2_=4e26b9e6debb43c8bc3ea3adbf7b4634
[.]: https://download.csdn.net/download/zaishuiyifangxym/10044192