MobileNet 进化史：从 V1 到 V3（V1篇）

r囧r小猫 2023-06-16 14:59 12阅读 0赞

# MobileNet 进化史： 从 V1 到 V3（V1篇） #

这部分内容总共由如下 3 篇文章构成。

*  [MobileNet 进化史： 从 V1 到 V3（V1篇）][MobileNet _ _ V1 _ V3_V1]
 *  [MobileNet 进化史： 从 V1 到 V3（V2篇）][MobileNet _ _ V1 _ V3_V2]
 *  [MobileNet 进化史： 从 V1 到 V3（V3篇）][MobileNet _ _ V1 _ V3_V3]
 *  [MobileNet实战：基于 MobileNet 的人脸表情分类][MobileNet_ MobileNet]

## 1. 前言 ##

MobileNet V1 是 Andrew G. Howard（Google Inc.） 等人于 2017 年（其实是 2016 年先于 Xception 已经提出，但是直到 2017 年才挂到 arXiv 上）在 [MobileNets: Efficient Convolutional Neural Networks for Mobile Vision  
Applications][MobileNets_ Efficient Convolutional Neural Networks for Mobile Vision Applications] 中提出的一种网络结构，这种网络结构的特点是模型小，计算速度快，适合部署到移动端或者嵌入式系统中。

MobileNet V1 的关键是用深度可分卷积（depthwise separable convolutions） 替代了传统的卷积操作。其实这里隐含了一个问题是为什么这样可以使参数变少，计算量减小？原因很简单，因为卷积操作在模型中占了绝大多数的存储和计算资源。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70][]

上面是 AlexNet 中各个 layer 所占用的计算资源的情况，从图中可以非常清楚的看出卷积操作是占大头的，所以优化卷积操作是可以起到立竿见影的效果的。

## 2. 深度可分卷积 ##

对于传统的卷积操作，比如如下的卷及操作，假设：

*  操作前 feature size 为  H D ∗ W D ∗ M H\_D \* W\_D \* M HD∗WD∗M
 *  卷积核的 size 为  H K ∗ W K ∗ M ∗ N H\_K \* W\_K \* M \* N HK∗WK∗M∗N
 *  卷积后 feature size 为  H A ∗ W A ∗ N H\_A \* W\_A \* N HA∗WA∗N

其中  H A = H D − H K + 2 ∗ P a d d i n g s t r i d e + 1 H\_A = \\frac\{H\_D - H\_K + 2 \* Padding\}\{stride\} + 1 HA=strideHD−HK\+2∗Padding\+1,  W A W\_A WA 与  H A H\_A HA 类似。

也就是说经过传统的卷积操作之后，feature 的 size 发生了变化，具体来说是 hight，width 和 channel 发生了变化。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 1][]

![20191126232032759.png][]

那深度可分卷积就是将传统卷积分成了两个步骤：

*  Depthwise Convolutional Filters。  
    这一步中的 kernal size 为  H K ∗ W K ∗ 1 ∗ M H\_K \* W\_K \* 1 \* M HK∗WK∗1∗M，那么输出的 feature size 为  H A ∗ W A ∗ M H\_A \* W\_A \* M HA∗WA∗M，也就是说这里的卷积操作是对输入 feature 的单个通道， 对应一个  H K ∗ W K ∗ 1 H\_K \* W\_K \* 1 HK∗WK∗1 的 kernal 进行卷积操作，这一步仅仅改变了输入 feature 的 hight 和 width，而 channel 保持不变。
 *  Pointwise Convolutional Filters。  
    这一步中的 kernal size 为  1 ∗ 1 ∗ M ∗ N 1\* 1 \* M \* N 1∗1∗M∗N 那么输出的 feature size 为  H A ∗ W A ∗ N H\_A \* W\_A \* N HA∗WA∗N。显然这一步是用  1 ∗ 1 1\*1 1∗1 的卷积核来改变 feature 的 channel。

下面我们来对比一下标准卷积操作和深度可分卷积操作的计算量。

<table> 
 <thead> 
 <tr> 
 <th>名字</th> 
 <th>参数量</th> 
 <th>计算量</th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td>标准卷积</td> 
 <td> C a l s = H K ∗ W K ∗ M ∗ N Cal_s = H_K * W_K * M* N Cals=HK∗WK∗M∗N</td> 
 <td> P a r a s = H A ∗ W A ∗ N ∗ H K ∗ W K ∗ M Para_s =H_A * W_A * N * H_K * W_K * M Paras=HA∗WA∗N∗HK∗WK∗M</td> 
 </tr> 
 <tr> 
 <td>深度可分卷积</td> 
 <td> C a l d = H K ∗ W K ∗ 1 ∗ M + 1 ∗ 1 ∗ M ∗ N Cal_d = H_K * W_K * 1 * M + 1*1*M * N Cald=HK∗WK∗1∗M+1∗1∗M∗N</td> 
 <td> P a r a d = H A ∗ W A ∗ M ∗ H K ∗ W K + H A ∗ W A ∗ N ∗ 1 ∗ 1 ∗ M Para_d = H_A * W_A * M * H_K * W_K + H_A * W_A * N * 1*1*M Parad=HA∗WA∗M∗HK∗WK+HA∗WA∗N∗1∗1∗M</td> 
 </tr> 
 </tbody> 
</table>

因此有

C a l d C a l s = P a r a d P a r a s = 1 N + 1 H K ∗ W K \\frac\{Cal\_d\}\{Cal\_s\} = \\frac\{Para\_d\}\{Para\_s\} = \\frac\{1\}\{N\} + \\frac\{1\}\{H\_K\*W\_K\} CalsCald=ParasParad=N1\+HK∗WK1

如果取一个  3 ∗ 3 3\*3 3∗3 的卷积核，差不多是将计算量和参数量减少了9倍。  
从下图可以看出，将一个普通的卷积替换为深度可分卷积之后，可以引入更多的非线性。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 2][]

另外值得提一句的是深度可分卷积并不是 MobileNet 首次提出的，仅仅是利用这一变换来达到减少参数量和计算量的目的。

## 3. 缩放因子 ##

引入宽度  α \\alpha α 和分辨率  ρ \\rho ρ 缩放因子，他们的取值都是 0 到 1 之间，进一步缩小模型。具体来说  α \\alpha α 对输入和输出通道数进行压缩，而  ρ \\rho ρ 对 feature map size 进行压缩。

## 4. MobileNet V1 ##

关于 MobileNet V1 具体的网络结构可以参考 [netscope\_MobileNet\_V1][netscope_MobileNet_V1]。下面是 MobileNet V1 的网络架构图。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 3]  
通过观察，我们会发现 MobileNet V1 中没有用 pooling，而是用步长为2的卷积来达到相同的效果。另外针对移动端设备，可以采用 ReLU6 来取代 ReLU。

ReLU6 最早由 Alex（就是提出 AlexNet 的那个 Alex）于2010年提出，可以参考[Convolutional Deep Belief Networks on CIFAR-10][]。原文中的解释如下，说是有利于更快的学习稀疏特征，功力有限，不明白。

... First, we cap the units at 6, so our ReLU activation function is y = min(max(x, 0), 6). In our tests, this
    encourages the model to learn sparse features earlier. In the formulation of [8], this is equivalent to imagining
    that each ReLU unit consists of only 6 replicated bias-shifted Bernoulli units, rather than an infinute amount.
    We will refer to ReLU units capped at n as ReLU-n units.

还有一个解释说是因为 ReLU 输出范围为 0 到正无穷，如果激活值非常大，分布在一个很大的范围内，则低精度的 float16 无法很好地精确描述如此大范围的数值，带来精度损失。

## 5. 效果 ##

上面通过各种手段使模型轻量化，但是训练的效果还好吗？试验证明在减小模型的情况下，效果还是可以保证的。

![20191126232120657.png][]

## 6. 实操 ##

上面我们讲到了 MobileNet V1 中用到了深度可分离卷积和 ReLU6。其实这种思想可以推广到其他的网络中，比如 SSD-MobileNet。

对于深度可分离可以使用标准卷积的 group 功能来代替，但是计算效率会比较低。而ReLU6 可以直接用 ReLU 也可以，这样一来就可以在标准的 caffe 下面来跑 MobileNet V1 了。具体可以参考 [MobileNet-Caffe][]。

当然如果想要用深度可分离卷积和 ReLU6，需要下载相关代码并重新编译 caffe 。相关代码可以参考：

*  [DepthwiseConvolution][]
 *  [ReLU6][]

[MobileNet _ _ V1 _ V3_V1]: https://blog.csdn.net/kuweicai/article/details/103267230
[MobileNet _ _ V1 _ V3_V2]: https://blog.csdn.net/kuweicai/article/details/103267281
[MobileNet _ _ V1 _ V3_V3]: https://blog.csdn.net/kuweicai/article/details/103267389
[MobileNet_ MobileNet]: https://blog.csdn.net/kuweicai/article/details/103649065
[MobileNets_ Efficient Convolutional Neural Networks for Mobile Vision Applications]: https://arxiv.org/pdf/1704.04861.pdf
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191205203001340.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191126232000402.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp,size_16,color_FFFFFF,t_70
[20191126232032759.png]: https://img-blog.csdnimg.cn/20191126232032759.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20191126232054587.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp,size_16,color_FFFFFF,t_70
[netscope_MobileNet_V1]: http://ethereon.github.io/netscope/#/gist/2883d142ae486d4237e50f392f32994e
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20191205203836602.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp,size_16,color_FFFFFF,t_70
[Convolutional Deep Belief Networks on CIFAR-10]: http://www.cs.utoronto.ca/~kriz/conv-cifar10-aug2010.pdf
[20191126232120657.png]: https://img-blog.csdnimg.cn/20191126232120657.png
[MobileNet-Caffe]: https://github.com/shicai/MobileNet-Caffe
[DepthwiseConvolution]: https://github.com/yonghenglh6/DepthwiseConvolution
[ReLU6]: https://github.com/RuiminChen/Caffe-MobileNetV2-ReLU6