PODNet: Pooled Outputs Distillation for Small-Tasks Incremental Learning论文详解ECCV2020

灰太狼 2023-01-16 12:27 121阅读 0赞

ECCV2020

论文地址：[https://doi.org/10.1007/978-3-030-58565\_6][https_doi.org_10.1007_978-3-030-58565_6]

代码地址：[https://github.com/arthurdouillard/incremental learning.pytorch][https_github.com_arthurdouillard_incremental learning.pytorch]

**目录**

1.贡献点

2.方法

2.1 pool类型

2.2 POD（Pooled Outputs Distillation）方法

2.3 LSC（Local Similarity Classifier）

三、实验结果

3.1 消融实验

3.2 同类对比

四、评价

--------------------

基于样本回放的方法，同时基于知识蒸馏，本文改进了蒸馏的形式,定义了Pooled Output Distillation(POD)

# 1.贡献点 #

PODNet受到representation learning的启发。贡献点有两个

1.  spatial-based distillation-loss, 基于空间的蒸馏loss,改进了feature的蒸馏方法
2.  representation comprising multiple proxy vectors, 代理向量，改进了模型的分类器。

# 2.方法 #

## 2.1 pool类型 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70][]

不同的Pool方法，看图很好理解。GAP即global average pooling,相当于除了channel外的所有通道进行pooling.

## 2.2 POD（Pooled Outputs Distillation）方法 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 1][]

假定分类过程定义为：

![20210425231322682.png][]

h=f(x)定义为特征提取过程，g()可以被定义为分类器。这也是增量学习中常被采用的结构，即双阶段，一个分类器阶段，一个特征提取阶段。

本文提出POD(Pooled Outputs Distillation)算法，不仅将蒸馏用于特征提取阶段h=f()的最终输出，也应用于f()的中间过程(intermediate layer)。

![20210425231335379.png][]

即特征提取中的每一层都作为中间结果，用于kd，上标t表示task t,下标L表示模型第L层。

假定中间层的输出：

![20210425231344502.png][]

约束最强的就是pixel级别的蒸馏：

![20210425231503345.png][]

其他的蒸馏方式有channel级别，GAP级别，width级别，height级别

![20210425231541837.png][]

![20210425231541844.png][]

![20210425231541835.png][]

pixel级别的蒸馏对于模型限制比较严格，其他级别的对于模型限制相对较松，需要一个权衡，作者最终选用的是Spatial级别的蒸馏，相当于width和height层面蒸馏loss之和。

![20210425231610623.png][]

后文的实验中也证实了此种方法的蒸馏性能最佳。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 2][]

对于特征提取模型最终的特征，可以运用pixel级别的蒸馏

![20210425231707756.png][]

最终的蒸馏loss即最终模型的蒸馏和正常蒸馏的结合：

![20210425231707825.png][]

模型的loss可见图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 3][]

根据图中所示，特征提取阶段每层的特征进行spatial层面的蒸馏，最终的特征进行完整的蒸馏，最终分类器运用分类loss即可。

## 2.3 LSC（Local Similarity Classifier） ##

旧的分类任务，相当于fc分类器，用权重与feature进行点乘操作，但是根据UCIR(Learning a Unified Classifier Incrementally via Rebalancing, CVPR2019)的研究结果，fc层的分类器在增量训练后会倾向于训练更近的类别，即倾向于增量类，所以UCIR对分类器进行了改进。

![20210425231803944.png][]

分类器将fc层的点乘操作替换为了cosine相似度。

本文发现，如果只利用一个cos相似度的分类器，则不能很好的适应同一类别内多样性的需求，因此作者将之前的一个cos分类器分为了K个，相当于K个代理，以最终的k个cos分类器的分类结果来作为分类结果。

![20210425231803939.png][]

将分类器改进为此形式之后，搭配交叉熵loss即可取得不错的结果，作者又参考了NCA loss(Neighbourhood Components Analysis. NIPS2005)，类似于交叉熵loss的改进，这个loss可以取得更快的收敛速度。写为下面这种形式：

![20210425231803939.png][]

NCA loss照作者说的具有更快的收敛速度，但是可能并没有交叉熵实用，因为NCA loss早在2005年就被提出，但是目前依然没有被广泛采用，可能涉及到样本之间的关系，耗费运算或者存储。后文NCA 和交叉熵之间loss的消融实验提升并不明显，也没有谈及运算消耗，因此NCA loss可能是作者在凑贡献点，也有可能与LSC分类器结合可以取得较好的效果。

# 三、实验结果 #

## 3.1 消融实验 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 4][]

a是关于分类器的消融实验，LSC比直接的cosine分类器具有更好的效果，POD的加入能够取得更好的效果。

## 3.2 同类对比 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 5][]

均可以取得较好的效果。

# 四、评价 #

本文改进了蒸馏的形式，让蒸馏的对于模型的限定刚好不松不紧，适用于增量任务。

改进了分类器的loss形式，将cosine分类器与代理向量相结合，取得了不错的效果。

[https_doi.org_10.1007_978-3-030-58565_6]: https://doi.org/10.1007/978-3-030-58565_6
[https_github.com_arthurdouillard_incremental learning.pytorch]: https://github.com/arthurdouillard/incremental%20learning.pytorch
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70]: /images/20221022/020068b201c644a6a287663ac1c8434a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 1]: /images/20221022/64a49f3b7ca5402f89b2142e4dc17527.png
[20210425231322682.png]: /images/20221022/024983de01bb4d228dbac8577b936ec1.png
[20210425231335379.png]: /images/20221022/d201ee19be66422eadeee735e10ddac5.png
[20210425231344502.png]: /images/20221022/105202f0fa114d8d94aba49573896884.png
[20210425231503345.png]: /images/20221022/ea31033c0b284243a9aff85907f910b7.png
[20210425231541837.png]: /images/20221022/0edec899465142249e457d8c2dc210d9.png
[20210425231541844.png]: /images/20221022/dcd2d3aaa4a740049d69c4a7c6746a86.png
[20210425231541835.png]: /images/20221022/e7e496bf8ee54a228509b1ac56c16249.png
[20210425231610623.png]: /images/20221022/6973c1d74d154396bc641ac6da75790e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 2]: /images/20221022/f45ee16b8c894f7bb60579691f487977.png
[20210425231707756.png]: /images/20221022/670a174020634211ab8cdd4443e249a5.png
[20210425231707825.png]: /images/20221022/7381d7f3c4964dbb91803dc0e41f7b7c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 3]: /images/20221022/83d6a19c5165458e942e8cf5a59cc951.png
[20210425231803944.png]: /images/20221022/d0b3f7b8ab184f06915785b725851770.png
[20210425231803939.png]: /images/20221022/94e7468930894fca95eb446fca6faf7e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 4]: /images/20221022/2201c493c3c34e2a9223bacc90c8794e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 5]: /images/20221022/4637937104f34db1a94e58dd75272503.png