动图详细讲解 LeNet-5 网络结构

我不是女神ヾ 2022-01-05 03:53 813阅读 0赞

# LeNet-5 动图详细讲解网络结构 #

LeNet-5 是 [Yann LeCun][] 等人在1998年设计的用于手写数字识别的卷积神经网络，当年美国大多数银行就是用它来识别支票上面的手写数字的，它是早期卷积神经网络中最有代表性的实验系统之一。本文将重点讲解LeNet-5的网络参数计算和实现细节。

## 1. LeNet-5全貌 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70]  
LeNet-5是一个总共5层的卷积神经网络（一般输入层不计，两个卷积层 + 两个全连接层 + 输出层）。上图已经清晰的标明了各层神经网络的参数了，整理如下。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 1]  
这里推荐下面两个网站，可以动图的展示LeNet-5的计算过程。  
[2D效果 http://scs.ryerson.ca/~aharley/vis/conv/flat.html][2D_ http_scs.ryerson.ca_aharley_vis_conv_flat.html]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 2]  
[3D效果 http://scs.ryerson.ca/~aharley/vis/conv/][3D_ http_scs.ryerson.ca_aharley_vis_conv]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 3]

## 2. 超参数与计算量（FLOPs） ##

### 2.1 卷积层 ###

如果对卷积过程还不是很清楚的朋友可以参考 [卷积动图][Link 1]。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 4]  
对于卷积层，它的超参数就是对应的 kernel 的值和偏置项，比如对于上面的 C1 卷积层，输入为  32 ∗ 32 ∗ 1 32\*32\*1 32∗32∗1，这里 1 是输入的 channel，计为  C i n C\_\{in\} Cin，输出为  28 ∗ 28 ∗ 6 28\*28\*6 28∗28∗6，6 是输出的 channel。kernel 为  5 ∗ 5 ∗ C i n ∗ C o u t = 5 ∗ 5 ∗ 1 ∗ 6 5\*5\*C\_\{in\}\*C\_\{out\} = 5\*5\*1\*6 5∗5∗Cin∗Cout=5∗5∗1∗6。那么卷积操作的超参数量为：

*  超参数  
     P a r a = ( k m ∗ k n ＊ C i n + 1 ) ∗ C o u t = ( 5 ∗ 5 ∗ 1 + 1 ) ∗ 6 = 156 Para = (k\_m\*k\_n ＊C\_\{in\}+1)\*C\_\{out\} = (5\*5\*1+1)\*6 = 156 Para=(km∗kn＊Cin\+1)∗Cout=(5∗5∗1\+1)∗6=156

FLOPs(FLOating Point of operations) 就是执行卷积操作的过程中的浮点数操作，非严格来说，就是乘法操作的次数。如果单看前向传播，对于输出的特征图中的每一个值，都对应了　  k m ∗ k n ∗ C i n k\_m\*k\_n\*Cin km∗kn∗Cin 次乘法操作，所以总的 FLOPs 如下。其中　ｍ，ｎ是输出的特征图的 size。

*  FLOPs  
     F L O P s = k m ∗ k n ∗ C i n ∗ m ∗ n ∗ C o u t 　 ＝ 5 ∗ 5 ∗ 1 ∗ 28 ∗ 28 ∗ 6 = 117600 FLOPs = k\_m\*k\_n\*Cin\*m\*n\*Cout　＝5\*5\*1\*28\*28\*6 =117600 FLOPs=km∗kn∗Cin∗m∗n∗Cout　＝5∗5∗1∗28∗28∗6=117600

![在这里插入图片描述][20190622202429330.png]

### 2.2 池化层 ###

池化就是下采样（子抽样）过程，对图像进行子抽样，可以减少数据处理量同时保留有用信息。这里采用的是最大池化。对于最大池化操作来说，没有超参数。

### 2.３ 全连接层 ###

C5卷积层这一个卷积层比较特殊，因为S4输出的featuremap的size为  5 ∗ 5 5\*5 5∗5, 正好和卷积的kernel size相等，因此卷积结果的size  1 ∗ 1 1\*1 1∗1， 所以这里实质上是一个全连接层。因为 kernal size 的 channel 是120， 因此输出为  120 ∗ 1 ∗ 1 120 \*1\*1 120∗1∗1。

*  超参数

( 5 ∗ 5 ∗ 16 + 1 ) ∗ 120 = 48120 (5\*5\*16+1)\*120=48120 (5∗5∗16\+1)∗120=48120

*  FLOPs

120 ∗ 1 ∗ 1 ＊ 5 ∗ 5 ∗ 16 = 48000 120\*1\*1＊5\*5\*16=48000 120∗1∗1＊5∗5∗16=48000

## 3. 超参数的初始化 ##

前面计算了超参数的个数，但是对于每一个超参数，又是如何初始化的呢？初始化的方式很多，这里仅仅以caffe中关于Lenet-5的示例程序为例用的就是 Xiaver 方式。如果想了解更多初始化方式请参考　[深度学习中常用的参数初始化方法及caffe中的初始化方法介绍][caffe]。

## 4. 小结 ##

*  LeNet-5 是一个5层卷积神经网络
 *  总共有约6万（60790）个超参数
 *  随着网络越来越深，图像的高度和宽度在缩小，与此同时，图像的 channel 数量一直在增加。

[Yann LeCun]: http://yann.lecun.com/exdb/lenet/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70]: /images/20211230/454c54292910406da003dd89e7d010ad.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 1]: /images/20211230/b663e93ef6a043b2b0dc2de18f18478e.png
[2D_ http_scs.ryerson.ca_aharley_vis_conv_flat.html]: http://scs.ryerson.ca/~aharley/vis/conv/flat.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 2]: /images/20211230/f4795864d26b48dbada989705e0be295.png
[3D_ http_scs.ryerson.ca_aharley_vis_conv]: http://scs.ryerson.ca/~aharley/vis/conv/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 3]: /images/20211230/783ce75f508346438411463e57126197.png
[Link 1]: http://cs231n.github.io/assets/conv-demo/index.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 4]: /images/20211230/5fafd54ab0e047c5b328554d9aa0a18f.png
[20190622202429330.png]: /images/20211230/525c3ed69bbd430ba86466ba098801d8.png
[caffe]: https://blog.csdn.net/kuweicai/article/details/98790034