The Devil is in the Channels: Mutual-Channel Loss for Fine-Grained Image Classification

心已赠人 2022-12-11 07:59 100阅读 0赞

论文：[https://arxiv.org/pdf/2002.04264.pdf][https_arxiv.org_pdf_2002.04264.pdf]  
代码：[https://github.com/PRIS-CV/Mutual-Channel-Loss][https_github.com_PRIS-CV_Mutual-Channel-Loss]

# 1 总体思路 #

目标细粒度分类，由于子类别间的差异很小且类内差异很大，难度较普通图像分类更大。图1所示为细粒度图像分类数据集CUB-200\[1\]中的两个物种，加州鸥和北极鸥，从竖直方向的图片对比可以看出，两个不同物种长相非常相似，而从对比水平方向可知，同一物种由于姿态，背景以及拍摄角度的不同，存在较大的类内差异。 因此，要想顺利的对两个极为相似的物种进行细粒度分类，最重要的是在图像中找到能够区分这两个物种的区分性的区域块(discriminative part)，并能够对这些有区分性的区域块的特征进行较好的表示。  
![在这里插入图片描述][20200929162628828.png_pic_center]

图1 (a) 加州鸥

![在这里插入图片描述][20200929162642181.png_pic_center]

图1 (b) 北极鸥

由于深度卷积网络能够学习到非常鲁棒的图像特征表示，对图像进行细粒度分类的方法，大多都是以深度卷积网络为基础的，这些方法大致可以分为以下四个方向：

*  基于常规图像分类网络的微调方法；
 *  基于细粒度特征学习(fine-grained feature learning)的方法；
 *  基于目标块的检测(part detection)和对齐(alignment)的方法；
 *  基于视觉注意机制(visual attention)的方法

以上内容引用自：[https://zhuanlan.zhihu.com/p/53611407][https_zhuanlan.zhihu.com_p_53611407]

本文作者另辟蹊径，没有采用上述四种方法，而是从损失函数入手，保持网络结构不变，设计了一种称为MC-loss(multi-channel loss)的损失函数。

# 2 MC-loss #

作者提出的整体识别结构如下图所示，**结合了交叉熵损失和MC-loss**：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center]

图2

总体损失为交叉熵损失和MC-loss的加权和：  
![在这里插入图片描述][20200929163838973.png_pic_center]

上面公式中出现的F表示输入图像通过卷积网络后提取的特征。对于一副输入图像， F ∈ R N × H × W F \\in R^\{N \\times H \\times W\} F∈RN×H×W，N表示channel数量，H和W表示特征图的高和宽。

在MC-loss中，作者定义 N = c × ξ N = c \\times \\xi N=c×ξ， c c c表示数据集中的总类别数， ξ \\xi ξ表示用于表示每一个类的channel数， ξ \\xi ξ是一个超参数，但一般应大于2。

对于一个给定的目标类别 i i i，其特征可以表示为 F i ∈ R ξ × W H , i = 0 , 1 , ⋯   , c − 1 F\_i \\in R^\{\\xi \\times WH\},i = 0,1,\\cdots,c-1 Fi∈Rξ×WH,i=0,1,⋯,c−1。 F i F\_i Fi可以表示为：  
![在这里插入图片描述][20200929165222173.png_pic_center]  
获取各类别的特征后，特征集 F = \{ F 0 , F 1 , ⋯   , F c − 1 \} F = \\\{F\_0,F\_1,\\cdots,F\_\{c-1\}\\\} F=\{ F0,F1,⋯,Fc−1\}送入图2所示的两个分支分别计算两项损失。**交叉熵损失 L C E ( F ) L\_\{CE\}(F) LCE(F)鼓励网络提取有助于全局目标类别判别的特征。 L M C ( F ) L\_\{MC\}(F) LMC(F)则是关注不同的局部判别块的特征。**

MC-loss 由两部分组成，分别为 L d i s ( F ) L\_\{dis\}(F) Ldis(F)和 L d i v ( F ) L\_\{div\}(F) Ldiv(F)：  
![在这里插入图片描述][20200929163958968.png_pic_center]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 1]

图3

## 2.1  L d i s ( F ) L\_\{dis\}(F) Ldis(F) ##

L d i s ( F ) L\_\{dis\}(F) Ldis(F)中的dis表示 discriminality component。如上面所示，作者设计用 ξ \\xi ξ个channel的特征表示一个类别，**discriminality component要求这些特征关注某个特定的类别并且每个channel的特征要足够有判别力**。

L d i s ( F ) L\_\{dis\}(F) Ldis(F)可以表示成：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 2]  
GAP表示Global Average Pooling，全局平均池化；  
CCMP表示Cross-Channel Max Pooling，跨channel最大池化；  
CWA表示Channel-Wise Attention，给定每个channel的重要性。 M i = d i a g ( M a s k i ) M\_i = diag(Mask\_i) Mi=diag(Maski)， M a s k i ∈ R ξ Mask\_i \\in R^\{\\xi\} Maski∈Rξ是一个由0和1组成的mask，有 ⌈ ξ 2 ⌉ \\lceil \\frac\{\\xi\}\{2\} \\rceil ⌈2ξ⌉个1， ⌊ ξ 2 ⌋ \\lfloor \\frac\{\\xi\}\{2\} \\rfloor ⌊2ξ⌋个0。

**CWA**:  
CWA即使用Mask进行channel-attention，每次训练迭代中有一部分的channel不参与，迫使每一个channel都去学习足够有判别力的特征。相当于channel维度的dropout操作。CWA仅在训练过程中存在，推理时不使用。

**CCMP**：  
CCMP表示跨通道的最大池化操作，即在WH个空间位置选取各channel的最大值，即选取每一个空间位置上各channel的最大激活值。当然也可以使用跨通道平均池化，但平均池化等价于对各channel的激活值进行平均，不利于细粒度分类。

**GAP**：  
GAP是在空间维度进行平均池化，得到各类的预测结果。

**总体来说，discriminality component通过CWA迫使每个channel学习到的特征足够有判别力，通过CCMP选取各channel的最大响应，然后通过GAP获取各类别的预测结果。总体训练目标是使得各类别的 ξ \\xi ξ个channel学习得到的特征足够有能力进行类别判断**。

## 2.2  L d i v ( F ) L\_\{div\}(F) Ldiv(F) ##

L d i v ( F ) L\_\{div\}(F) Ldiv(F)表示diversity component，相当于计算各channel特征间的距离，从而得到所有channel的总体相似度。作者使用的方法相比于普遍使用的欧氏距离和KL散度计算量更小。

**diversity component的目的是同一类别的 ξ \\xi ξ个channel应该关注图像的不同区域，而不应该是同一类别的所有channel都关注最有判别力的区域**，相当于空间注意力机制。具体的实现为：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 3]先对特征的每一位置进行softmax操作，将其变为预测的类别。然后选取一个类别的 ξ \\xi ξ个channel中各空间位置的最大值，然后在空间位置上求和，得到各类别的预测概率在所有channel内的和。然后对各类别求均值，值越大表示模型对于所有类别，不同的channel都关注到了图像的不同区域。

**L d i v ( F ) L\_\{div\}(F) Ldiv(F)的物理意义表示模型对于数据集的所有类别，不同的channel都关注到了图像的不同区域，即取值越大越好**。

L d i v ( F ) L\_\{div\}(F) Ldiv(F)的取值上限为 ξ \\xi ξ，表示不同channel的特征注意到了图像的不同区域。 L d i v ( F ) L\_\{div\}(F) Ldiv(F)的取值下限为1，表示不同channel的特征注意到了图像的同一区域。如下图所示：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 4]

## 2.3 总结MC-Loss ##

MC-Loss通过 L d i s ( F ) L\_\{dis\}(F) Ldis(F)使得一个类别的 ξ \\xi ξ个channel都尽可能学习关于该类别的有判别力的特征，如图3(b)中一组 ξ \\xi ξ个channel的特征都变成了同一颜色；通过 L d i v ( F ) L\_\{div\}(F) Ldiv(F)使得各个channel都关注图像的不同空间位置，如图3(b)中一组 ξ \\xi ξ个channel的特征的不同位置都有了颜色加深的区域。总体实现了如下图所示的结果：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 5]

# 3 实验 #

**数据集**：  
![在这里插入图片描述][20200930090045427.png_pic_center]  
**参数设置**：  
每一个类别对应的 ξ \\xi ξ个通道是一个超参数，因为预训练的网络输出的channel数是固定的，作者为了在预训练网络上进行微调，设置了不同的类别具有不同数量的超参数，如使用VGG16作为预训练模型时，在CUB-200-2011数据集上，设置前88个类别各对应2个channel，后112个类别各对应3个channel。具体设置如下表所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 6]训练时设置超参数 u = 0.005 , λ = 10 u = 0.005,\\lambda = 10 u=0.005,λ=10。

**对比其他算法**：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 7]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 8]**消融研究**：  
消融研究中从头训练模型，每个类别设置同样数量的channel数，设置超参数 u = 1.5 , λ = 10 u = 1.5,\\lambda = 10 u=1.5,λ=10。

ξ \\xi ξ的取值：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 9] ξ = 3 \\xi = 3 ξ=3，分类效果和计算量都比较好。下面图给出了设置 ξ = 6 \\xi = 6 ξ=6时，学习到了过于冗余的特征。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 10]**对比其他损失函数**：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 11]**可视化**：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 12]  
用Grad-CAM做可视化，第一行可以看出不同的channel学习到了目标的不同区域帮助进行细粒度分类。第二行相比第一行可以看出，如果去掉 L d i v L\_\{div\} Ldiv，那么不同的channel关注到的感兴趣区域会比较接近。第三行标明如果去掉CWA，只有一个channel学习到了比较有判别力的特征，其余的两个通道学习到的特征的判别能力都很有限。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 13]  
MC-Loss-V2表示设置公式(6)为 L d i v v 2 ( F ) = h ( F i ) L\_\{div\_v2\}(F) = h(F\_i) Ldivv2(F)=h(Fi)，上表的实验结果表明MC-Loss-V2的效果不如MC-Loss。作者认为如果用公式(6)进行训练，那么不同类别的channel组之间相互影响，但MC-Loss-V2只考虑了一个类别，其他的channel组的diversity会受到损失。

# 4 代码分析 #

注意作者实现的CWA是通过在channel方向上应用最大池化实现的，具体为先对(N,C,H,W)的输入进行ttanspose操作，转化为 ( N , W , H , C ) (N,W,H,C) (N,W,H,C)，然后用于kernel大小为 ( 1 , ξ ) (1,\\xi) (1,ξ)的最大池化，实现在channel维度上的最大池化。代码为：

def forward(self, input):
            input = input.transpose(3,1)
    
    
            input = F.max_pool2d(input, self.kernel_size, self.stride,
                                self.padding, self.dilation, self.ceil_mode,
                                self.return_indices)
            input = input.transpose(3,1).contiguous()
    
            return input

[https_arxiv.org_pdf_2002.04264.pdf]: https://arxiv.org/pdf/2002.04264.pdf
[https_github.com_PRIS-CV_Mutual-Channel-Loss]: https://github.com/PRIS-CV/Mutual-Channel-Loss
[20200929162628828.png_pic_center]: /images/20221123/14b5e576843840be9ed0b8b2f13f2ddc.png
[20200929162642181.png_pic_center]: /images/20221123/dc4b144dd6a844d1ae1eb882be3c6e83.png
[https_zhuanlan.zhihu.com_p_53611407]: https://zhuanlan.zhihu.com/p/53611407
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/520af9d291624328bd2f30d7f0a84da1.png
[20200929163838973.png_pic_center]: /images/20221123/26e57b032ccb4062a87fde911b7360cf.png
[20200929165222173.png_pic_center]: /images/20221123/744a26efc2514b308d923702518da123.png
[20200929163958968.png_pic_center]: /images/20221123/cc95389124bb4325941cf57a50e5956f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/344d2a3aec104ff9afa54b54d76f4dd8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/2733e6ef71dd44b29f7a93d450add038.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/ede36c5468bd419a9a33a99e7865d29e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/a1117341a4f64595bcbefe46ff3b4d1f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221123/af5374beedc44c03bf022246a05364d4.png
[20200930090045427.png_pic_center]: /images/20221123/3d7a2c60e74243159521868089854f80.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221123/f0b82bdadc5547ff853d2750c9d85bda.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 7]: https://img-blog.csdnimg.cn/20200930091317824.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20221123/f3018c27dd7648a6a26eaba1290ac1e1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20221123/51d2d2118df24c34a5d6fd5dec041c16.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 10]: /images/20221123/abb9c62b28e64afa990dafdd3b7afc81.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 11]: /images/20221123/c7b7fd182a6a449492e8cdd01a6f6e1a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 12]: /images/20221123/75db27e8c72148a79528e58b16a000d5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nka25pZ2h0X2hhcHB5_size_16_color_FFFFFF_t_70_pic_center 13]: /images/20221123/ecc345aea4194aa2ba6ae6a36c3b6b92.png