TPCIL论文详解，基于持续改进分类器的增量学习Topology-Preserving Class-Incremental Learning,ECCV2020

你的名字 2023-01-19 14:00 120阅读 0赞

ECCV 2020

论文地址：[https://doi.org/10.1007/978-3-030-58529-7\_16][https_doi.org_10.1007_978-3-030-58529-7_16]

代码地址：论文中称，代码 will be released

西交大发表的。单看标题推测是运用Graph和拓扑学的知识来进行增量学习。基于正则化的增量学习方法。近两年很多论文都有类似想法，就是将CNN与Graph相结合来进行增量学习，用CNN提取模型特征，获得embedding信息，Graph网络用于学习特征之间的拓扑关系。

利用拓扑关系进行增量学习的相关论文：

CVPR2020 ，FSCIL Few-shot Class Incremental Learning。将NG网络运用到增量学习之中。

[FSCIL论文详解 Few-Shot Class-Incremental Learning， CVPR2020\_祥瑞的技术博客-CSDN博客][FSCIL_ Few-Shot Class-Incremental Learning_ CVPR2020_-CSDN]

ECCV2020，TPCIL，本篇，Topology Preserving Class-Incremental learning，同样的框架，即CNN+拓扑结构，部分内容换了一个写法。

[基于拓扑的增量学习Topology Preserving Class-Incremental learning论文详解ECCV2020\_祥瑞的技术博客-CSDN博客][Topology Preserving Class-Incremental learning_ECCV2020_-CSDN]

CVPR2021与本篇非常类似，Few-Shot Incremental Learning with Continually Evolved Classifiers，南洋理工大学提出，也是运用Graph的知识，将GAT(Graph Attention Network)用于增量学习。

[Few Shot Incremental Learning with Continually Evolved Classifiers论文详解 基于持续进化分类器的小样本类别增量学习CVPR2021\_祥瑞的技术博客-CSDN博客][Few Shot Incremental Learning with Continually Evolved Classifiers_ _CVPR2021_-CSDN]

**目录**

1.贡献点

2.方法

2.1总体方法

2.2 EHG(Elastic Hebbian Graph)

3.实验

4. 结论

--------------------

# 1.贡献点 #

本文提出了Topology Preserving Class Incremental Learning(TPCIL)框架，

运用 Elastic Hebbian Graph (EHG)来进行feature域的建模

运用Topology-preserving loss(TPL)促进EHG的学习。

直观来看，TPL对于学习的促进：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70][]

经过40个epoch的训练，TPCIL比LUCIR样本的feature获得了更高的收敛程度。

# 2.方法 #

## 2.1总体方法 ##

本文总体框架较为简单，相当于一个CNN加一个图模型G，G就是本文贡献点的Graph模型EHG(Elastic Hebbian Graph). Loss运用交叉熵和TPL相结合，TPL（Topology-Preserving）即用于训练G的loss，

![2021051021524822.png][]

交叉熵CE用于根据task t的样本X训练CNN参数和图模型G，TPL用于训练G和CNN。

对于EHG和CHL的作用粗略如下图所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 1][]

*  表示N个点的初始化的EHG，
 *  通过CHL，图形成了节点与节点之间的连接关系
 *  对CNN进行finetune,改变了特征空间上的点的位置
 *  但是TPL和EHG依然保持着之前的拓扑关系
 *  学习新类，则EHG会增加新的拓扑节点与链接关系

# 2.2 EHG(Elastic Hebbian Graph) #

本文为了建模方便，将feture space的特征转化到cosine空间。上划线表示正则化操作，转化为单位向量。EHG的公式如下：

![20210510214954620.png][]

此公式跟FSCIL的公式（Few-Shot Class-Incremental Learning，CVPR2020的公式一模一样。）意义就是新样本到来之后，用新样本更新所有的节点，越近的节点更新越多，越远的节点更新越少。文中涉及一些graph模型的推导，因此对graph不太熟悉，所以我在此将其跳过，只留下重点的结论。

文中所提的TPL（Topology-preserving Loss）经过推导后如下：

![20210510214954690.png][]

其中

![20210510214954654.png][]

*sij*![20210510214954688.png][]可以理解为样本*i*![20210510214954687.png][]和样本*j*![20210510214954685.png][]经过模型特征提取后在特征空间的余弦距离。*sij*![20210510214954686.png][]表示初始的余弦距离，*sij*![20210510214954530.png][]表示增量任务*t*![20210510214954687.png][]到来之后的余弦距离。TPL可以粗略的理解为，旧的*i*![20210510214954687.png][]和*j*![20210510214954655.png][]之间的关系和新的*i*![20210510214954686.png][]和*j*![20210510214954618.png][]之间的关系尽可能接近。从而保持拓扑结构的稳定。

因为博主没有其他公式推导的部分，对这个Graph网络了解也不多，所以公式的物理意义方面理解的不透彻。

# 3.实验 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 2][]

通过t-SNE可视化，新类的学习过程，特征空间上的点分的更开。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 3][]

可见本文方法优于其他同类的方法，仅次于联合训练。

# 4. 结论 #

思路：CNN+Graph模型

CNN提取特征，Graph模型提取模型之间的拓扑关系。

此思路作者发过一篇CVPR2020，经过变换又投了ICCV2020.

CVPR2020 ，FSCIL Few-shot Class Incremental Learning。将NG网络运用到增量学习之中。

[FSCIL论文详解 Few-Shot Class-Incremental Learning， CVPR2020\_祥瑞的技术博客-CSDN博客][FSCIL_ Few-Shot Class-Incremental Learning_ CVPR2020_-CSDN]

ECCV2020，TPCIL，本篇，Topology Preserving Class-Incremental learning，同样的框架，即CNN+拓扑结构，部分内容换了一个写法。

[基于拓扑的增量学习Topology Preserving Class-Incremental learning论文详解ECCV2020\_祥瑞的技术博客-CSDN博客][Topology Preserving Class-Incremental learning_ECCV2020_-CSDN]

近期不少将Graph模型用于增量学习的，效果都不错，均取得了SOTA结果。并且Graph在增量的运用较新，加入一定的可解释性，很好发论文。

[https_doi.org_10.1007_978-3-030-58529-7_16]: https://doi.org/10.1007/978-3-030-58529-7_16
[FSCIL_ Few-Shot Class-Incremental Learning_ CVPR2020_-CSDN]: https://blog.csdn.net/weixin_36474809/article/details/116176530
[Topology Preserving Class-Incremental learning_ECCV2020_-CSDN]: https://blog.csdn.net/weixin_36474809/article/details/116612061
[Few Shot Incremental Learning with Continually Evolved Classifiers_ _CVPR2021_-CSDN]: https://blog.csdn.net/weixin_36474809/article/details/116612960
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70]: /images/20221021/ec83574176434c518ab0335771ab4015.png
[2021051021524822.png]: /images/20221021/d804f47ecfa84c6486c8a5e831877a9f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 1]: /images/20221021/56bcb6a1f1094d248d51e84a111e892d.png
[20210510214954620.png]: /images/20221021/011d2cc4583b4a86ac68a4c0e596c8b4.png
[20210510214954690.png]: /images/20221021/46ff5ed722a54d8a94c6dd5f1a8d4d5e.png
[20210510214954654.png]: /images/20221021/6327fa6cf3864cf3a72b31b9ed745b73.png
[20210510214954688.png]: https://img-blog.csdnimg.cn/20210510214954688.png
[20210510214954687.png]: https://img-blog.csdnimg.cn/20210510214954687.png
[20210510214954685.png]: https://img-blog.csdnimg.cn/20210510214954685.png
[20210510214954686.png]: https://img-blog.csdnimg.cn/20210510214954686.png
[20210510214954530.png]: https://img-blog.csdnimg.cn/20210510214954530.png
[20210510214954655.png]: https://img-blog.csdnimg.cn/20210510214954655.png
[20210510214954618.png]: /images/20221021/62e64e6231a94f20bd030d7af3f41403.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 2]: /images/20221021/cca4d9a0bafb40ee8dbfead1a89f0350.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 3]: /images/20221021/c985515a8bf44d76b84d3bc89fa9170d.png