SENet（2017）

Love The Way You Lie 2022-09-05 01:53 212阅读 0赞

卷积核作为卷积神经网络的核心，通常被看作是在局部感受野上，将空间上（spatial）的信息和特征维度上（channel-wise）的信息进行聚合的信息聚合体。卷积神经网络由一系列卷积层、非线性层和下采样层构成，这样它们能够从全局感受野上去捕获图像的特征来进行图像的描述。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70]  
去学到一个性能非常强劲的网络是相当困难的，从空间维度层面来提升网络的性能，如Inception结构中嵌入了多尺度信息，聚合多种不同感受野上的特征来获得性能增益；在Inside-Outside网络中考虑了空间中的上下文信息；将Attention机制引入到空间维度上等。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 1]  
Squeeze-and-Excitation Networks（简称 SENet）显示的建模特征通道之间的相互依赖关系。采用全新的特征重标定策略，即通过学习的方式来自动获取到每个特征通道的重要程度，然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 2]  
Squeeze-and-Excitation（SE）block并不是一个完整的网络结构，而是一个子结构，可以嵌到其他分类或检测模型中，作者采用SENet block和ResNeXt结合在ILSVRC2017分类项目中拿到第一，在ImageNet数据集上将top-5 error降低到2.251%，原先的最好成绩是2.991%。

作者在文中将SENet block插入到现有的多种分类网络中，都取得了不错的效果。SENet的核心思想在于通过网络根据loss去学习特征权重，使得有效的feature map权重大，无效或效果小的feature map权重小的方式训练模型达到更好的结果。当然，SE block嵌在原有的一些分类网络中不可避免的增加了一些参数和计算量，但是在效果面前还是可以接受的。

下图是SE模块的示意图，给定一个输入 x x x，其特征通道数为 c 1 c\_1 c1，通过一系列卷积等一般变换后得到一个特征通道数为 c 2 c\_2 c2的特征。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 3]

Squeeze操作顺着空间维度来进行特征压缩，将每个二维的特征通道变成一个实数，这个实数某种程度上具有全局的感受野，并且输出的维度和输入的特征通道数像匹配。它表征着在特征通道上响应的全局分布，而且使得靠近输入的层也可以获得全局感受野，这在很多任务中都非常重要。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 4]

Excitation操作是一个类似于循环神经网络中门的机制。通过参数 w w w来为每个特征通道生成权重，其中参数 w w w被学习用来显示的建模特征通道间的相关性。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 5]

Reweight操作，将Excitation的输出的权重看作是进过特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定。  
![在这里插入图片描述][394751ccdb4e4ec3867704160bb21717.png]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 6]  
下图是将SE模块嵌入到Inception结构的一个示例，方框旁边的维度信息代表该层的输出。这里使用global average pooling作为squeeze操作，紧接着两个Fully Connected层组成一个Bottleneck结构取构建通道间的相关性，并输出和输入特征同样数目的权重。

*  首先将特征维度降低到输入的1/16。
 *  然后经过ReLU激活函数后再通过一个Fully Connected层升回到原来的维度。这样做比直接用一个Fully Connected层的好处在于：
    
     *  具有更多的非线性，可以更好的拟合通道间复杂的相关性；
     *  极大的减少了参数量和计算量。然后通过一个Sigmoid的门获得0~1之间归一化的权重。
 *  最后通过一个Scale的操作来将归一化后的权重加权到每个通道的特征上。

下图右图是将SE嵌入到ResNet模块中的一个例子，操作过程基本和SE-Inception一样，只不过是在Addition前对分支上Residual的特征进行了特征重标定。如果对Addition后主支上的特征进行重标定，由于在主干上存在0~1的scale操作，在网络较深BP优化时就会在靠近输入层容易出现梯度消散的情况，导致模型难以优化。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 7]

目前大多数的主流网络都是基于这两种类似的单元通过repeat方式叠加起来构造的。由此可见，SE模块可以嵌入到现在几乎所有的网络结构中。通过在原始网络结构的building block单元中嵌入SE模块，可以获得不同种类的SENet。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 8]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 9]  
SE模块很容易嵌入到其它网络中，作者为了验证SE模块的作用，在其它流行网络如ResNet和VGG中引入SE模块，测试其在ImageNet上的效果，如下表所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 10]  
可以看到所有网络在加入SE模块后分类准确度均有一定的提升。此外，作者还测试了SE模块在轻量级网络MobileNet和ShuffleNet上的效果，如下表所示，可以看到也是有效果提升的。  
![在这里插入图片描述][a0a156d5f5f24bc2816466ced4dc680d.png]  
最终作者采用了一系列的SENet进行集成，在ImageNet测试集上的top-5 error为2.251%，赢得了2017年竞赛的冠军。其中最关键的模型是SENet-154，其建立在ResNeXt模型基础上，效果如下表所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 11]

另外，由于在现有的GPU实现中，都没有对global pooling和较小计算量的Fully Connected进行优化，这导致在GPU上的运行时间SE-ResNet-50相对于ResNet-50有着约10%的增长。尽管如此，其理论增长的额外计算量仅仅不到1%，这与其在CPU运行时间上的增长相匹配（~2%）。可以看出，在现有网络架构中嵌入SE模块而导致额外的参数和计算量的增长微乎其微。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 12]

class SELayer(nn.Module):
        def __init__(self, channel, recution=16):
            super(SELayer, self).__init__()
            self.avg_pool = nn.AdaptiveAvgPool2d(1)
            self.fc = nn.Sequential(
                nn.Linear(channel, channel // reduction, bias=False),
                nn.ReLU(inplace=True),
                nn.Linear(channel // reduction, channel, bias=False),
                nn.Sigmoid()
            )
        def forward(self, x):
            b, c, _, = x.size()
            y = self.avg_pool(x).view(b, c)
            y = self.fc(y).view(b, c, 1, 1)
            return x * y.expand_as(x)

class SEBottleneck(nn.Module):
        expansion = 4
        def __init__(self, inplanes, planes, stride=1, downsample=None, reduction=16):
            super(SEBottleneck, self).__init__()
            self.conv1 = nn.Conv2d(inplanes, planes, kernel_size=1, bias=False)
            self.bn1 = nn.BatchNorm2d(planes)
            self.conv2 = nn.Conv2d(planes, planes, kernel_size=3, stride=stride, padding=1, bias=False)
            self.bn2 = nn.BatchNorm2d(planes)
            self.conv3 = nn.Conv2d(planes, planes * 4, kernel_size=1, bias=False)
            self.bn3 = nn.BatchNorm2d(planes * 4)
            self.relu = nn.ReLU(inplace=True)
            self.se = SELayer(planes * 4, reduction)
            self.downsample = downsample
            self.stride = stride
        def foward(self, x):
            residual = x
            out = self.conv1(x)
            out = self.bn1(out)
            out = self.relu(out)
             
            out = self.conv2(out)
            out = self.bn2(out)
            out = self.relu(out)
            
            out = self.conv3(out)
            out = self.bn3(out)
            out = self.se(out)
    
            if self.downsample is not None:
                residual = self.downsample(x)
    
            out += residual
            out = self.relu(out)
    
            return out

**参考资料**  
[深度学习——分类之SENet][SENet]  
[Momenta详解ImageNet 2017夺冠架构SENet][Momenta_ImageNet 2017_SENet]  
[最后一届ImageNet冠军模型：SENet][ImageNet_SENet]  
[SENet（Squeeze-and-Excitation Networks）算法笔记—通过学习的方式来自动获取到每个特征通道的重要程度，然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大…][SENet_Squeeze-and-Excitation Networks]  
[Momenta详解ImageNet 2017夺冠架构SENet][Momenta_ImageNet 2017_SENet 1]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70]: /images/20220829/2febb3ec692541eb806c43b94b76902f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 1]: /images/20220829/88343b5935f9429f983b11199c9df1a4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 2]: /images/20220829/a0290b985e8747a3a18ede3eb79aa48a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 3]: /images/20220829/0e58c8bdc8ae43b5adb66914c17fd4af.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 4]: /images/20220829/6113ed3cc6a6405fa83d0d7921fe6619.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 5]: /images/20220829/6801cc95410540aab45e6e6ee9f3a234.png
[394751ccdb4e4ec3867704160bb21717.png]: /images/20220829/6e372fdb78c5472abe5eaf3e0d8fdcb2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 6]: /images/20220829/492e5dd38dd248febdcab68e3b25cf57.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 7]: /images/20220829/46fe1827f87d4778a0bbc8d4e9543563.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 8]: /images/20220829/7e7eb706d8014272822156144915f5cd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 9]: /images/20220829/917de2f07cf84185877de445016a0610.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 10]: /images/20220829/c18104ab3c104b73804bde7417d212dc.png
[a0a156d5f5f24bc2816466ced4dc680d.png]: /images/20220829/e0c99f4718bd449b8f20280814d9d497.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 11]: /images/20220829/90e056c6accb4b1685783e27089c843f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0dWR5ZWJveQ_size_16_color_FFFFFF_t_70 12]: /images/20220829/a7085c302cf94ed98baed44b68faf292.png
[SENet]: https://zhuanlan.zhihu.com/p/33004957
[Momenta_ImageNet 2017_SENet]: https://www.cnblogs.com/bonelee/p/9030092.html
[ImageNet_SENet]: https://zhuanlan.zhihu.com/p/65459972
[SENet_Squeeze-and-Excitation Networks]: https://www.huaweicloud.com/articles/fbf7d9558c5b714960d2c0cb8990d7ab.html
[Momenta_ImageNet 2017_SENet 1]: https://baijiahao.baidu.com/s?id=1574593150997120&wfr=spider&for=pc