初始卷积神经网络CNN

川长思鸟来 2023-05-31 10:10 12阅读 0赞

学习深度学习一定要学习CNN，而CNN的发展非常快，从 LeNet 到 AlexNet 到 VGG 到 GoogleNet 再到 ResNet 再到 DenseNet，学习这些经典的网络首先需要了解卷积神经网络的相关知识。

下图就是LeNet的网络结构，如果你不懂CNN，是完全不明白这到底是个什么东西的。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70]

--------------------

## Why CNN ##

首先，我们使用神经网络可以实现回归求解，图片的识别当然也是可以使用神经网络来求解。  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70 1][]

但之前我们使用了全连接的多层感知机，试想一下，一张图片RGB共3个channels，维度为1000 × 1000 × 3，那么输入就有300万之多，若每个输入单元与隐藏层的每个权重单元（假设共有1000个隐藏单元）进行相乘，那么最后矩阵大小就有1000 × 300万，即30亿个参数，这是一个非常巨大的数字，所以使用全连接网络是不现实的。

所以人们相出了一种卷积计算，先从边缘检测引入它。

--------------------

## 边缘检测示例 ##

从网上随便一张图片：  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70 2][]  
那么它的边缘检测就是吴磊的半身轮廓。因为图片由像素组成，所以每个轮廓的像素和周围的像素是不同的，如何进行检测呢？这就需要提到卷积运算了。

--------------------

## 二、重要概念 ##

### 1. 卷积运算 ###

卷积运算是将输入和核函数进行对应相乘并相加，图示如下：  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70 3][]

而卷积运算有以下重要的思想：

*  **稀疏交互**：边缘检测在整个图像上来说是稀疏的
 *  **参数共享**：权重被计算多次
 *  **等变表示**： f ( g ( x ) ) = g ( f ( x ) ) f(g(x)) = g(f(x)) f(g(x))=g(f(x))

### 2. 卷积层的组成 ###

卷积层由以下部分组成：

*  **卷积计算**：就是上面图片所示
 *  **卷积核kernel**
 *  **边界填充padding**
 *  **步长stride**

当图像输入大小为  n × n n×n n×n，卷积核大小为  f × f f×f f×f 时，输出的大小为  ( n − f + 1 ) × ( n − f + 1 ) (n-f+1) × (n-f+1) (n−f\+1)×(n−f\+1)  
当加入padding(  p p p )后，输出的大小为  ( n + 2 p − f + 1 ) × ( n + 2 p − f + 1 ) (n+2p-f+1) × (n+2p-f+1) (n\+2p−f\+1)×(n\+2p−f\+1)  
若加入stride(  s s s )，则输出的大小为  ⌊ ( n + 2 p − f ) s + 1 ⌋ × ⌊ ( n + 2 p − f ) s + 1 ⌋ \\lfloor\{\\frac\{(n+2p-f)\}\{s\}+1\}\\rfloor × \\lfloor\{\\frac\{(n+2p-f)\}\{s\}+1\}\\rfloor ⌊s(n\+2p−f)\+1⌋×⌊s(n\+2p−f)\+1⌋

### 3. 激活函数 ###

在LeNet中使用的是sigmoid，也可以使用tanh，但是到了AlexNet中提出了使用ReLU这个激活函数，为什么呢？因为它要比tanh更快达到低错误率。

### 4. Pooling ###

Pooling是为了提取一定区域的主要特征，并减少参数数量，一般采用两种池化层：**MaxPooling**和**AveragePooling**。  
下图采用的是MaxPooling：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70 4][]

--------------------

## 三、CNN结构组成 ##

1.  **卷积层Conv**
2.  **池化层Pooling**
3.  **全连接层FC**

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70]: /images/20230531/6b7145728dc649e5b3baa474e296026f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70 1]: /images/20230531/315efcb6ac25489da2c208509e45076a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70 2]: /images/20230531/d2decd970bea42ddaeb517375cb8d326.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70 3]: /images/20230531/e355d05e56bb45dba7e14f28eb667ce5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70 4]: /images/20230531/fddd637a3c5d4975ae46731a25ec7768.png