《ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design》论文笔记

我不是女神ヾ 2021-12-19 22:11 266阅读 0赞

# 1. 概述 #

> 导读：文章指出现有使用例如FLOPs作为网络计算复杂度度量的方式是不准确的，还应该考虑诸如内存访问开销（MAC）以及平台特性等因素。这篇文章在固定的平台下进行实验分析（度量为速度与延迟），并给出了一些具有使用价值的网络设计指导意见。同时还提出了ShuffleNet的改进版本ShuffleNet v2，在网络性能与精度之间权衡做到了当时的state-of-the-art。

下面是当时的网络在不同平台下的实验结果，从网络的精度、FLOPs、时间消耗上进行分析对比：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70]  
作者从中做出如下总结：

*  1）文章指出除了FLOPs之外额外的因素需要被考虑进来，比如Memory Access Cost（MAC），特别是在使用分组卷积的时候；此外模型的并行程度也是影响计算时间长短的因素；
 *  2）拥有相同FPLOs的模型会由于平台的关系拥有不同运行时间。在最新的CUDNN库中专门针对3x3的卷积进行了优化，在CNN网络中广泛使用的卷积分解并不会带来对应比例的速度提升；

# 2. 高效网络实践指导 #

这里使用MobileNet v2与ShuffleNet v1做为实验分析对象，在GPU（1080Ti）与ARM（高通810）上进行实验，得到这两个模型在两个平台上的运行时间分布对比，见图2所示  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 1]  
文中通过对比实验分析，得出了如下的网络设计指导意见：

*  1）**相同的channel宽度能最小化MAC**。现有的轻量级网络大多采用了深度可分离卷积，其一般的卷积核大小为1x1，其占据了较大的计算量。对于输入为 c 1 c\_1 c1输出为 c 2 c\_2 c2，特征图宽高为 w , h w,h w,h的卷积，其计算量为 B = h w c 1 c 2 B=hwc\_1c\_2 B=hwc1c2，对应的内存访问花销为 M A C = h w ( c 1 + c 2 ) + c 1 c 2 MAC=hw(c\_1+c\_2)+c\_1c\_2 MAC=hw(c1\+c2)\+c1c2，它们之间的关系可以表示为：  
     M A C ≥ 2 h w B + B h w MAC \\ge 2\\sqrt\{hwB\}+\\frac\{B\}\{hw\} MAC≥2hwB\+hwB  
    当且仅当在输入与输出channel数目相同的时候取到下限。当然这只是理论的分析，实际还需要考虑到平台上具体的实现形式。对此呢，文章在保持总的FLOPs不变的情况下变化输出与输出的channel比例得到其时间消耗的关系，见表1所示  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 2]
 *  2）**过多的分组卷积会增加MAC**。对于分组卷积其卷积的计算量为 B = h w c 1 c 2 g B=\\frac\{hwc\_1c\_2\}\{g\} B=ghwc1c2，其中g为分组的数量，则MAC与计算量之间的关系可以表示为：  
     M A C = h w ( c 1 + c 2 ) + c 1 c 2 g = h w c 1 + B g c 1 + B h w MAC=hw(c\_1+c\_2)+\\frac\{c\_1c\_2\}\{g\}=hwc\_1+\\frac\{Bg\}\{c\_1\}+\\frac\{B\}\{hw\} MAC=hw(c1\+c2)\+gc1c2=hwc1\+c1Bg\+hwB  
    从上面的关系可以看出睡着分组的增加MAC也是在增加的，对此进行的实验结果见表2所示  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 3]  
    **因而谨慎合适地选取分组的数量能够有效减少时间消耗，提升网络速度，这自然要在速度与网络性能上进行权衡。**
 *  3）**网络的破碎（分支结构）会减少并行化程度**。在类似于GoogLeNet与一些自动生成的网络结构里面多分支的结构是被广泛使用的，这样的结构对网络精度的提升是有帮助的，但是它会降低网络的效率，这是由于其对并行程度较高的GPU并不是很友好的。文中对分支结构对网络带来的影响做了实验分析，见表3所示  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 4]  
    4）**不可忽视的Element-wise操作**。这些操作诸如，ReLU、AddTensor、AddBias，虽然带来的计算量比较小，但是其占用的MAC是很大的。特别的，depthwise convolution卷积可以看做是MAC与FLOPs比值较高的例子。表4中对比了移除ReLU与shortcut对网络速度带来的影响，见表4  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 5]

# 3. 网络设计 #

Shuffle Unit  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 6]  
ShuffleNet v2版本网络结构：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 7]

# 3. 实验结果 #

首先，将文章提出的网络结构与现有的一些分类网络性能对比：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 8]  
大网络性能对比：  
![在这里插入图片描述][20190701004730858.png]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70]: /images/20211219/9e8f6d9c355f41b8805cbfda70f5e1ca.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 1]: /images/20211219/ca6f7cd9be2742289f3b47996becb300.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 2]: /images/20211219/28c19d5e33154be6bc9b89ffe898ca67.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 3]: /images/20211219/48b4ceab417c452ea66e598e79bc5123.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 4]: /images/20211219/5b76d3547bff496cacf70fc48ef791e7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 5]: /images/20211219/3fb193671fe94dcea20a213d7823476e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 6]: /images/20211219/719df3376e924237b0501ec3bf29b47a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 7]: /images/20211219/4c264c82fec24f49a6a13d0395a88d92.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 8]: /images/20211219/0037d1dd6f2d4907a3e41932361b1209.png
[20190701004730858.png]: /images/20211219/d7d5beca74024e6aa2ecd5383019dcb0.png