Supervised Contrastive Replay 论文详解通过NCM分类器和图片回放实现增量学习

我会带着你远行 2023-01-18 04:21 83阅读 0赞

论文地址：[\[2103.13885\] Supervised Contrastive Replay: Revisiting the Nearest Class Mean Classifier in Online Class-Incremental Continual Learning (arxiv.org)][2103.13885_ Supervised Contrastive Replay_ Revisiting the Nearest Class Mean Classifier in Online Class-Incremental Continual Learning _arxiv.org]

Supervised contrastive replay: revisiting the nearest class mean classifier in online class-incremental continual learning

基于原始图片rehearsal的增量学习方法

**目录**

1.贡献点

2.方法

2.1 模型框架

2.2 NCM分类器

2.3 supervised contrastive learning(SCL)

2.4 supervised contrastive replay (SCR)

3.实验

4.总结

--------------------

# 1.贡献点 #

本文的方法是基于Rehearsal的增量学习方法。因为Memory之中的原始图片也经过了特征提取模块，所以本文基于的是直接存储原始图片的rehearsal方法。

**本文研究如何让特征提取模块提取出的特征更具判别性。**

在线增量任务，大量的研究说明NCM分类器会比softmax分类器取得更好的结果。通过作者的观测，进行了大量的NCM和softmax分类器的对比实验，得到了一些可靠的结果。

**本文提出了SCR(supervised contrastive replay)，这个方法可以让同类的样本在embedding空间更接近，不同类的样本在embedding空间距离更远。**

本文通过大量的实验对比，SCR的方法在多个数据集上，比SOTA方法具有更明显的优势。

可看效果：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70][]

基于不同特征回放的特征可视化，可以看出本文的方法SCR，可以取得较好的聚类效果。同类特征可视化后更近，不同类特征可视化之后更远，不清晰分类边界清晰。

# 2.方法 #

## 2.1 模型框架 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 1][]

训练过程中，训练的batch来自两个地方，一个来自于增量数据Bn，另一个来自于Memory， Bm，m存在于buffer之中。训练过程流程如下：输入经过encoder进行特征提取，再经过projection head然后送入 Supervised contrastive loss进行训练。相当于模型有两个网络，一个是特征提取模块，另一个映射模块。

test的过程，encoder之后的projection head映射模块被移除，直接将特征送入到NCM分类器中进行分类。

## 2.2 NCM分类器 ##

NCM分类器是近两年增量学习之中广泛采用的分类器，之所以采用NCM分类器，与CNN分类器的以下缺点有关：

1.  FC层和softmax分类器很容易被类别不均衡问题所困扰。
2.  task-recency bias : 模型总是偏向于最近训练过的任务。

根据本文的实验，

**NCM分类器与memory buffer相结合，会取得更好的效果。**

对比了SCR与supervised contrastive loss:同类的样本在embedding空间更接近，不同类的样本在embedding空间距离更远。

NCM分类相比softmax分类器的优点：

1.  分类器新类别到来之后，softmax分类器的FC层需要变化结构,NCM无需变化结构
2.  编码器权重与模型权重是耦合的，如果编码器的权重改变，则模型权重也需要跟着改变。NCM分类器对于encoder的变化时更加鲁棒，不用像FC层一样，要与encoder的权值绑定。
3.  task-recency bias 模型训练完成之后偏向于最近训练的task，NCM不会引入task- recency bias,因为各个任务在NCM之中是等权重的。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 2][]

后文实验Figure5可以看出，各种增量学习方法之中，NCM分类器的优势明显优于softmax分类器

## 2.3 supervised contrastive learning(SCL) ##

SCL的目的是，将同样类别的样本在embedding空间上的距离更近，不同类样本在embedding空间上的距离更远。

假定样本是x，经过增强Aug()后的样本x^=Aug(x), 编码网络Enc()将输入转化为超球R上的点。 r=Enc(x)∈R

投影网络将r投影为向量z  z=Proj(r) ∈R

相当于流程 样本x 数据增强x^,  编码网络Enc(),  投影网络 Proj()

物体经过编码网络和映射网络后的r和d都是超球面上的点

对应SCL loss是：

![20210430233902474.png][]

此loss的目的是，让当前样本与同类样本的投影距离更近，与非同类样本的投影距离更远。

1.  zi表示样本经过编码，投影之后的向量
2.  zp表示同类正样本经过编码，投影之后的向量
3.  zj表示非同类样本经过编码投影之后的向量
4.  tao是温度系数

## 2.4 supervised contrastive replay (SCR) ##

假定新任务batch为Bn，旧任务batch为Bm，（memory，旧任务从memory之中取出）,

训练过程通过SCL loss更新映射网络和编码网络的权重。包括Enc网络和Proj网络，

测试阶段删除掉Proj网络，相当于样本经过Enc网络之后的特征直接当作用于分类的特征。

算法框图如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 3][]

关于memory buffer如何存储和更新，不是此文探讨的重点，

因此此文参考了ASER方法，Dongsub shim: Online class-incremental continual with adversarial shapley value.  AAAI 2021和

GSS (NIPS 2019) : Gradient-Based Sample Selection, a replay method that diversifies the gradients of the samples in the replay memory

# 3.实验 #

figure 6显示了本文的方法和其他主流方法对比

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 4][]

关于SCR的消融实验：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 5][]

b是memory buffer的处理方式的对比，即选取什么样的特征存储于分类器之中，有点惊异， Random的memory选取方式效果最好，比GSS和ASER的方法都好。难道说明，GSS(NIPS2019)和ASER(AAAI2021)的方式居然不如随机抽取的方式好？

# 4.总结 #

将基于原始样本回放的方法与NCM分类器相结合，SCR的主要贡献在于提取出具有判别性的特征。

本文中值得注意的是，样本选取的方式，消融实验之中，居然memory buffer用随机的方式选取的准确率最好，比GSS(NIPS2019)和ASER(AAAI2021)的方式都好，有点反常，值得分析一下原因。

[2103.13885_ Supervised Contrastive Replay_ Revisiting the Nearest Class Mean Classifier in Online Class-Incremental Continual Learning _arxiv.org]: https://arxiv.org/abs/2103.13885
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70]: /images/20221021/6b2852a768304ef193625f926c5cb462.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 1]: /images/20221021/077a510b8dd44d7d9c6bd9bea977ebe5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 2]: /images/20221021/ee1daf70b20746d4a27658ca959eb6e5.png
[20210430233902474.png]: /images/20221021/12f16173c8124c0f968bda2a176f12fe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 3]: /images/20221021/59f2e544381d43a89df891a42568907f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 4]: /images/20221021/446015f7c5854b66b3ac52eeebc855ce.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 5]: /images/20221021/92eebd30c8764352a74b051f5f288cc9.png