《Libra R-CNN: Towards Balanced Learning for Object Detection》论文笔记

小灰灰 2023-06-26 12:25 7阅读 0赞

# 1. 概述 #

> 导读：这篇文章是对于检测网络训练过程中存在的问题进行了分析，分析明确指出检测网络在训练过程中会存在明显的不平衡问题，这里的不平衡问题大体分为3个层次：检测框采样机制层次、特征图层次、目标函数层次。对此，文章对于这些不同层次的不平衡问题进行了研究，并对每个层次的问题提出了对应的解决办法，这也是文章对应的创新点，它们分别是IoU-balanced sampling、balanced feature Pyramid以及balanced L1 loss。对于改进之后的检测器取名为Libra RCNN，其在MSCOCO数据集上相比带FPN的Faster RCNN以及RetinaNet分别提升了2.5与2个点的mAP。对应的代码已经merge到了mmdetection中了。

对于一个目标检测器训练其训练结果良好与否（充分发挥检测器的性能）有三个关键方面：

*  1）检测器对于检测框的选择是否具有代表性；
 *  2）检测器从输入图像抽取出来的特征是否被完全利用；
 *  3）检测器设计的损失函数是否最最优的；

以上的3点也是文章中进行分析的，也给出了对应的解决方法。其中对于上面提到的三个问题，可以对其进行简要的分析。

**区域采样层次的不平衡**  
在检测其中困难样本是对提升检测器的性能极具价值的，但是在传统的随机采样过程中会导致采样集合中的简单样本占据大多数，如下图所示：  
![在这里插入图片描述][20200101215356424.png]  
对应的解决办法有OHEM与Focal Loss。首先对于OHEM其可以选择出按照检测框的置信度选择出困难样本，但是这样的代价是较大的计算量与内存占用问题，而且这个方法对噪声并不鲁棒；Focal Loss在一阶段检测方法中被证明是很有效的，但是在两阶段的检测方法中收效是很小的，这是由于在RPN阶段就滤除掉了很多的负样本。  
**特征层次上的不平衡**  
为了对不同尺度的目标提供更好的适配，往往在检测网络中引入FPN类型的网络结构，实际也是证明将高低层次的信息互补会带来检测性能的提升。但是这些信息是被有效使用了么？对此文章进一步提升了对应部分的特征表达，提出了balanced Pyramid。  
**损失函数层次上的不平衡**  
检测器会存在两部分的损失：分类和边界框回归，一般这两部分的损失是如下图中的分布：  
![在这里插入图片描述][20200101215402750.png]  
这样的分布自然是不对等的，文章对此进行了研究，对检测框的损失函数在smooth L1的基础上进行调整得到balanced L1损失函数。

# 2. 方法 #

## 2.1 网络结构 ##

文章的网络结构见下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70]  
对应的三处改进在下面的内容中分开进行说明。

## 2.2 IoU balanced sampling ##

在下图中展示了不同采样方法中不同IoU框的分布情况：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 1]  
蓝色的条是随机采样的结果，由于原始采样空间中IoU低的占了大部分，自然随机采样的结果其也是占了绝大部分（70%）。在使用OHEM（橘黄色的条）之后样本的分布变化有了明显变化，大于0.05的框占到了60%，但是OHEM带来的问题也在前面分析过了，对此文章提出了IoU-Balanced Sampling的采样方法，这个方法更加简洁有效。

在随机采样过程中对于需要在数量为 M M M的集合中选择 N N N个困难样本，这每个困难样本被选择到的概率就是：  
 p = N M p=\\frac\{N\}\{M\} p=MN  
而现在文章对此进行了改进，将原始的采样集合划分为 K K K个区间，每个区间的候选样本数量为 M k M\_k Mk，还是假设总的采样数目不变，则采样的概率就变成了：  
 p k = N K ∗ 1 M k , k ∈ \[ 1 , K ) p\_k=\\frac\{N\}\{K\}\*\\frac\{1\}\{M\_k\},k\\in \[1, K) pk=KN∗Mk1,k∈\[1,K)  
通过这样的方式改变了原有采样的分布，并且实现简单，效果也很不错。其中 K K K的选择对应性能的影响见下表所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 2]

## 2.3 Balanced Feature Pyramid ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 3]  
文中说到的feature level的不平衡表现在高低 level特征的利用上，如何利用不同分辨率的特征，文中将其分为了四步：**rescaling，integrating，refining，strengthening**。

**rescaling & integrating**  
对于FPN的特征金字塔其特征用 \{ C 2 , C 3 , C 4 , C 5 \} \\\{C\_2,C\_3,C\_4,C\_5\\\} \{ C2,C3,C4,C5\}进行表示，它们的分辨率依次减小，而这些特征中表达是存在差异的，文中是利用上图中结构将这些特征进行整合，从而起到丰富与平衡特征的目的。例如，以 C 4 C\_4 C4作为基准，那么其它的层就进行插值与最大值池化归一化到 C 4 C\_4 C4对应的尺寸上来，然后再做简单的相加取平均操作：  
 C = 1 L ∑ l = l m i n l m a x C l C=\\frac\{1\}\{L\}\\sum\_\{l=l\_\{min\}\}^\{l\_\{max\}\}C\_l C=L1l=lmin∑lmaxCl  
就是这样简单的操作并没有引入什么超参数就可以实现，最终在AP上也得到了验证是有效的。

**refining & strengthening**  
rescaling后取平均提取到的的特征还可以进一步地refine成更discriminative，作者这里用到了non-local模块，paper中使用了**Gaussian non-local attention**增强integrate后的特征。

## 2.4 Balanced L1 Loss ##

在检测网络中网络的损失由两个部分组成：分类损失、边界框损失，它们通过参数 λ \\lambda λ进行调整，一般来讲分类的损失是大于边界的损失的。那么为了平衡的话比较直观的方法就是调整 λ \\lambda λ的值，但是这样会影响文章说的outlier（可以理解为困难样本）带来的梯度值，因为这些值本来就很大，这样就会导致训练过程的不稳定。而对于inlier（可以理解为简单样本）其梯度值只占到总梯度的30%，对此文章对原本的Smooth L1损失函数进行了改进。改进思想就是将原来的斜线部分掰弯，其曲线图为：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 4]  
对应的设计出来的梯度函数为：  
![在这里插入图片描述][20200101230959285.png]  
其中， α \\alpha α控制inlier的梯度幅度， γ \\gamma γ控制outlier，那么由梯度的公式那么就可以反推得到原始的函数形式：  
![在这里插入图片描述][20200101231447391.png]  
其中还有几个参数需要满足如下的关系：  
 α ∗ l n ( b + 1 ) = γ \\alpha\*ln(b+1)=\\gamma α∗ln(b\+1)=γ  
在文中将上面涉及到的参数设置为： α = 0.5 \\alpha=0.5 α=0.5， γ = 1.5 \\gamma=1.5 γ=1.5， b = e γ α b=e^\{\\frac\{\\gamma\}\{\\alpha\}\} b=eαγ。

# 3. 实验结果 #

性能比较：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 5]  
文中提到的改进对性能带来的影响：  
![在这里插入图片描述][20200101231836200.png]

[20200101215356424.png]: https://img-blog.csdnimg.cn/20200101215356424.png
[20200101215402750.png]: https://img-blog.csdnimg.cn/20200101215402750.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200101220601912.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200101220906502.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200101231924433.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200101222756286.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200101230933255.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk=,size_16,color_FFFFFF,t_70
[20200101230959285.png]: https://img-blog.csdnimg.cn/20200101230959285.png
[20200101231447391.png]: https://img-blog.csdnimg.cn/20200101231447391.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200101232036511.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk=,size_16,color_FFFFFF,t_70
[20200101231836200.png]: https://img-blog.csdnimg.cn/20200101231836200.png