【计算机视觉】CCV 2020 | “劫富济贫”：长尾数据的特征空间增强

叁歲伎倆 2023-09-27 16:32 12阅读 0赞

#### 文章目录 ####

*  一、贡献
 *  二、思路
 *  三、两个假设
 *  四、方法
 *   *  4.1 CAM（类激活图）
     *  4.2 可视化特征
     *  4.3 流程
 *  五、实验
 *  六、补充内容
 *   *  6.1 融合层的深度
     *  6.2 头部和尾部的划分

![在这里插入图片描述][45579e6411984db89803b2768fb0a526.png]

## 一、贡献 ##

对于没有充分表达的尾部类则需要额外的知识来补充，所以作者利用头部的类无关特征作为额外的知识来增强尾部类。

## 二、思路 ##

虽然深度学习取得了非常好的效果，但是有一个前提条件：所有的类都需要被很好的表达。如何量化数据的representation是一个有挑战的问题。

![在这里插入图片描述][d4fd9fed4eb64254b9b32614924a5795.png]

如图所示虽然一些方法可以调整决策边界，但是当尾部数据过少时，如何找到决策边界的正确调整方向是有挑战的。

因此，作者想通过augment的方法恢复尾部数据特征分布，并利用头部的信息实现这一过程。

![在这里插入图片描述][6e1949cf78774a5db38a5c50000ed52c.png]  
例如，图左侧只有中心红色点代表降维后的尾部数据，当数据过少时，通过简单移动决策边界无法得到最优解。图右侧代表数据充足时的决策边界。

## 三、两个假设 ##

头部的类通用（类别无关信息）特征有助于恢复尾部类的数据分布。由于在高级特征空间具有更“线性”的表示，可以提取类通用和类特定的特征，并重新混合生成新的样本。

## 四、方法 ##

### 4.1 CAM（类激活图） ###

简述：得到一个热力图（类激活图），都是0到1之间的数值，越接近1的部分代表对识别这个类越有帮助，也就是类相关特征，反之亦然。作者对类相关特征和类无光特征分别设定了两个阈值。

### 4.2 可视化特征 ###

![在这里插入图片描述][c915998e9b41425aa4b7e69afafefe98.png]

对于提取的类相关与无关特征可视化，可见无关特征更紧密，相关特征更具有代表性，也越容易分离。

### 4.3 流程 ###

![在这里插入图片描述][4a97c99133ba4b2eac914c19bcbf9b28.png]

正常训练得到数据的representation和分类器。利用第一步得到的representation训练CAM得到类别相关和无关特征，再利用得到的与尾部类最混淆类的类别无关特征和尾部数据做一个线性加权生成增强后的新尾部数据。作者认为在特征空间加权会减少噪声和偏差。做一个fine tuning。

![在这里插入图片描述][48069facde4d41dfbff385dd5984008d.png]

可以看到在验证集上有一个不错的提升。

## 五、实验 ##

CIFAR10、CIFAR100：

![在这里插入图片描述][dbba4bfaa486438c9b617c6cc3ddf199.png]

ImageNet、Places：  
![在这里插入图片描述][a07877519cc5451f9caa2c3b7aad70fa.png]

iNaturalist 2017、2018：  
![在这里插入图片描述][18da53dd167f4b08ae4da98a9690e006.png]

实验结果可能没有别的论文好，不错方法确实有效。

## 六、补充内容 ##

### 6.1 融合层的深度 ###

![在这里插入图片描述][54893f7225114fe59c33781e0e60ab58.png]  
可见，还是在Block4的时候效果偏好。作者认为在靠近输入端的特征图包含更多的空间信息，在增强样本时会引入额外的artifacts（我理解为人为噪声）。

### 6.2 头部和尾部的划分 ###

![在这里插入图片描述][9b42b86650834147850697f409a80309.png]  
实验证明头部数据占总样本的95%时效果最好。

[45579e6411984db89803b2768fb0a526.png]: https://img-blog.csdnimg.cn/45579e6411984db89803b2768fb0a526.png
[d4fd9fed4eb64254b9b32614924a5795.png]: https://img-blog.csdnimg.cn/d4fd9fed4eb64254b9b32614924a5795.png
[6e1949cf78774a5db38a5c50000ed52c.png]: https://img-blog.csdnimg.cn/6e1949cf78774a5db38a5c50000ed52c.png
[c915998e9b41425aa4b7e69afafefe98.png]: https://img-blog.csdnimg.cn/c915998e9b41425aa4b7e69afafefe98.png
[4a97c99133ba4b2eac914c19bcbf9b28.png]: https://img-blog.csdnimg.cn/4a97c99133ba4b2eac914c19bcbf9b28.png
[48069facde4d41dfbff385dd5984008d.png]: https://img-blog.csdnimg.cn/48069facde4d41dfbff385dd5984008d.png
[dbba4bfaa486438c9b617c6cc3ddf199.png]: https://img-blog.csdnimg.cn/dbba4bfaa486438c9b617c6cc3ddf199.png
[a07877519cc5451f9caa2c3b7aad70fa.png]: https://img-blog.csdnimg.cn/a07877519cc5451f9caa2c3b7aad70fa.png
[18da53dd167f4b08ae4da98a9690e006.png]: https://img-blog.csdnimg.cn/18da53dd167f4b08ae4da98a9690e006.png
[54893f7225114fe59c33781e0e60ab58.png]: https://img-blog.csdnimg.cn/54893f7225114fe59c33781e0e60ab58.png
[9b42b86650834147850697f409a80309.png]: https://img-blog.csdnimg.cn/9b42b86650834147850697f409a80309.png