【Pytorch】prototypical network原型网络小样本图像分类简述及其实现

小咪咪 2022-08-28 12:00 309阅读 0赞

# 基本概念 #

小样本学习(Few-Shot Learning, FSL)任务，顾名思义，就是能够仅通过一个或几个示例就快速建立对新概念的认知能力。实现小样本学习的方式也有很多，比如：度量学习、数据增强、预训练模型、元学习等等，其中元学习是目前广泛使用的处理小样本学习问题的方法。

元学习(meta learning或learning to learn)，也称学会学习，元学习算法能够在学习不同任务的过程中积累经验，从而使得模型能够快速适应新任务。

元学习与一般的监督学习的区别：

一般的监督学习是在训练集上训练出一个函数映射 ![f][]，这个函数可以识别出哪张图片是狗，哪张是猫。输入是某张图片，输出是标签。

元学习算法则是让模型学会学习，即在训练集上学习出一个函数 ![F][]，![F][] 可以自动学习出一个函数 ![f^\*][f 1]，他可以分辨出哪张图片是狗，哪张是猫。![F][] 的输入是一个个的图片集合，输出是函数 ![f^\*][f 1]， ![f^\*][f 1] 的输入是某张图片，输出是标签。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASm5jaGlu_size_20_color_FFFFFF_t_70_g_se_x_16][]

> 可以这么理解使用元学习算法的小样本学习任务：我有一个数据集\{大象，老虎，狮子\}，小样本学习并非是让模型识别出哪个是老虎、大象或者狮子，而是学习出每个类别之间的差异，以便在新的数据集（比如：\{汽车、电视、沙发、鼠标\}）中更好的分类。

# 小样本学习图片分类的基本思想 #

为了更形式化评估元学习算法，在分类问题上，元学习的数据形式和一般监督学习的数据形式也有所不同，最小的数据点不再是一张图片，而是一个一个的小任务。每个小任务中有 ![N][] 个类别，每个类别有 ![K][] 张图片，我们称这些任务为**N-way K-shot图像分类任务**，一共有 ![episodes][] 个小任务。当K值很小时（一般K<10），该任务就是小样本图像分类任务了。当K=1时，该任务即为单样本图像分类任务。

除此之外我们还需要知道两个重要概念：

*  **支持集（Support Set）**：相当于每个小任务中的训练集，包含N个分类标签，每个标签有K张图片。
 *  **查询集（Query Set）**：相当于每个小任务中的测试集，包含Q张未分类的图片。

如下图，为一个**3-way 2-shot图像分类任务**，蓝色板块是支持集，绿色的是查询集：

**![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASm5jaGlu_size_20_color_FFFFFF_t_70_g_se_x_16 1][]**

注意，对于元学习而言，上图的3-way 2-shot图像分类任务只是一个数据点，完整的数据集及其训练集-测试集划分如下图所示：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASm5jaGlu_size_20_color_FFFFFF_t_70_g_se_x_16 2][]

# 元学习流派 #

**Black Box / Model-based**  
为小数据集场景专门制定一个能够快速变化参数的模型。代表作有：MANN，MetaNet等。

**Optimization Based**  
通过让模型快速优化自己的参数来实现小样本学习。代表作有：MAML，NAIL，Reptile等。

**Metric Based（基于度量的方法）**  
也是目前主流的方法，通过学习一个Encoder，将数据映射到一个表征空间，然后使用无参的Decoder来进行分类。代表作有Matching Network，**Prototypical Network**等。

# Prototypical Network基本原理 #

以一个episode为例，其中包含 \{狗，虫子，鸟\} 三个类别的图片。

1、首先，对支持集中的每张图片使用编码器  ![f\_\\varphi (x\_i)][f_varphi _x_i] 进行信息提取，学习到每张图片的Embedding编码表示。（编码器可以选择常规的卷积操作、resnet系列、vit等等）

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASm5jaGlu_size_20_color_FFFFFF_t_70_g_se_x_16 3][]

2、 然后对支持集的每个类别下的Embeddings做均值处理，得到每个类别的原型表示（class Prototype）。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASm5jaGlu_size_20_color_FFFFFF_t_70_g_se_x_16 4][]

3、对查询集中的图片进行分类。首先使用编码器 ![f\_\\varphi (x\_i)][f_varphi _x_i] 将查询集图片进行编码，得到该图片的Embedding向量表示。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASm5jaGlu_size_20_color_FFFFFF_t_70_g_se_x_16 5][]

4、然后拿着这个Embedding表示和类别原型进行相似度计算，也就是无参的解码过程。（相似度计算的方式很多，可以是欧氏距离或者余弦相似度等）

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASm5jaGlu_size_20_color_FFFFFF_t_70_g_se_x_16 6][]

5、计算完相似度后，往往还需要使用softmax将相似度激活成概率分布。

最终得到查询集图片的分类标签，然后和真实值标签做交叉熵loss，然后梯度反向传播即可完成一个episode的训练。

# Prototypical Network算法描述 #

1、假设原始数据集为D，对于每一个episode，包含一个支持集和一个查询集，即![D\_\{episode\}=D\_\{support\}\\cup D\_\{query\}=\\left \\\{ s\_i \\right \\\}^\{n\_s\}\_\{i=1\}\\cup \\left \\\{ q\_i \\right \\\}^\{n\_q\}\_\{i=1\}][D_episode_D_support_cup D_query_left _ s_i _right _n_s_i_1_cup _left _ q_i _right _n_q_i_1]  。

> 实现方法就是在原始数据集 D 中随机选取N个类别，每个类别选取K张图片，构成支持集，选取Q张图片，构成查询集，这样就组成了一个episode的小数据集。以此类推，构造 ![episodes][] 个小数据集。

2、 对每张图片，利用Encoder进行特征提取，即

![hs\_i=f\_\\varphi (s\_i)][hs_i_f_varphi _s_i]

![hq\_i=f\_\\varphi (q\_i)][hq_i_f_varphi _q_i]

3、计算出支持集中的每个类别的原型（prototype），即

![p\_\{c\_j\}=\\sum \_\{\\left \\\{ i|l\_\{s\_i\}=c\_j \\right \\\}\}hs\_i][p_c_j_sum _left _ i_l_s_i_c_j _right _hs_i]

其中，![l\_\{s\_i\}][l_s_i] 表示图片 ![s\_i][s_i] 的类别标签。

4、接下来计算每个查询集图片Embedding与每个类别的相似度，即

![p(\\widehat\{l\}\_\{q\_i\}=c\_j)=\\frac\{exp(sim(hq\_i,p\_\{c\_j\}))\}\{\\sum ^\{|c|\}\_\{k=1\}exp(sim(hq\_i,p\_\{c\_k\}))\}][p_widehat_l_q_i_c_j_frac_exp_sim_hq_i_p_c_j_sum _c_k_1_exp_sim_hq_i_p_c_k]

5、训练用的损失函数，公式如下：

![L\_\{q\_i\} = CrossEntropy(l\_\{q\_i\},\\widehat\{l\}\_\{q\_i\})][L_q_i_ _ CrossEntropy_l_q_i_widehat_l_q_i]

# Prototypical Network 的 Pytorch实现 #

prototypical network是有官方的论文实现的[【prototypical-network源码】][prototypical-network]，而且很多框架里自带原型网络的包，直接调用即可。

但是官方的论文源码比较难看，而且某些场景需要拆解组合时也不方便，因此这里我自己实现了一个精简版的原型网络[【我自己的代码复现】][Link 1]。

# 总结 #

一般来说**way与shot**和**准确率**的关系如下所示：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASm5jaGlu_size_20_color_FFFFFF_t_70_g_se_x_16 7][]

这个很好理解，一个episode中类别（way）越少，就越容易找出图片之间的异同，比如二分类就比十分类容易一些；一个episode中同一个类别的样本（shot）越多，就越容易找出图片之间的异同。

本质上来说，原型网络就是集成学习中的stacking思想。

--------------------

# 题外话 #

一般来说，对于一个稍微有点机器学习基础的小白，要想在一个未知的ML分支领域快速实现一个比较靠谱的实例（比如打一个小样本学习的算法挑战赛，但我从没接触过小样本学习）。总体步骤如下：

1.  先用搜索引擎搜索几个相关条目，大体了解这个领域是干什么的；
2.  找几篇这个领域最新的综述；
3.  找几篇最新的SOTA；
4.  看几个这个领域比较火的代码实例；
5.  添加自己的想法，落地实现并验证。

--------------------

参考资料：

综述性文章：

[https://arxiv.org/abs/2004.05439][https_arxiv.org_abs_2004.05439]

[【干货】如何通过元学习解决小样本图像分类任务 - 知乎][-]

[Meta Learning（元学习）\_哔哩哔哩\_bilibili][Meta Learning_bilibili]

SOTA性文章：

[https://arxiv.org/abs/1703.05175v2][https_arxiv.org_abs_1703.05175v2]

[TechBeat][]

简单的实例：

[https://arxiv.org/abs/1703.05175][https_arxiv.org_abs_1703.05175]

[元学习——原型网络(Prototypical Networks)\_hei653779919的博客-CSDN博客\_原型网络][Prototypical Networks_hei653779919_-CSDN]

[元学习—MAML模型Pytorch实现\_hei653779919的博客-CSDN博客][MAML_Pytorch_hei653779919_-CSDN]

[f]: https://latex.codecogs.com/gif.latex?f
[F]: https://latex.codecogs.com/gif.latex?F
[f 1]: https://latex.codecogs.com/gif.latex?f%5E*
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASm5jaGlu_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/f0ce03052ba14a0eb4da913672e669a2.png
[N]: https://latex.codecogs.com/gif.latex?N
[K]: https://latex.codecogs.com/gif.latex?K
[episodes]: https://latex.codecogs.com/gif.latex?episodes
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASm5jaGlu_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/e9dcbf198a204651be644ce551caf72b.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASm5jaGlu_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/a532a500046340eba3a2f60952c03556.png
[f_varphi _x_i]: https://latex.codecogs.com/gif.latex?f_%5Cvarphi%20%28x_i%29
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASm5jaGlu_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/5bcef3cceef24ab78e719ea383a79faf.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASm5jaGlu_size_20_color_FFFFFF_t_70_g_se_x_16 4]: /images/20220828/72de930842d84f6fa0c276e3d2c5c1b0.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASm5jaGlu_size_20_color_FFFFFF_t_70_g_se_x_16 5]: /images/20220828/220c4b8d19fc43f3a7a8a07f429b0d6c.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASm5jaGlu_size_20_color_FFFFFF_t_70_g_se_x_16 6]: /images/20220828/8567f6a6238a4155b75de844171b1194.png
[D_episode_D_support_cup D_query_left _ s_i _right _n_s_i_1_cup _left _ q_i _right _n_q_i_1]: https://latex.codecogs.com/gif.latex?D_%7Bepisode%7D%3DD_%7Bsupport%7D%5Ccup%20D_%7Bquery%7D%3D%5Cleft%20%5C%7B%20s_i%20%5Cright%20%5C%7D%5E%7Bn_s%7D_%7Bi%3D1%7D%5Ccup%20%5Cleft%20%5C%7B%20q_i%20%5Cright%20%5C%7D%5E%7Bn_q%7D_%7Bi%3D1%7D
[hs_i_f_varphi _s_i]: https://latex.codecogs.com/gif.latex?hs_i%3Df_%5Cvarphi%20%28s_i%29
[hq_i_f_varphi _q_i]: https://latex.codecogs.com/gif.latex?hq_i%3Df_%5Cvarphi%20%28q_i%29
[p_c_j_sum _left _ i_l_s_i_c_j _right _hs_i]: https://latex.codecogs.com/gif.latex?p_%7Bc_j%7D%3D%5Csum%20_%7B%5Cleft%20%5C%7B%20i%7Cl_%7Bs_i%7D%3Dc_j%20%5Cright%20%5C%7D%7Dhs_i
[l_s_i]: https://latex.codecogs.com/gif.latex?l_%7Bs_i%7D
[s_i]: https://latex.codecogs.com/gif.latex?s_i
[p_widehat_l_q_i_c_j_frac_exp_sim_hq_i_p_c_j_sum _c_k_1_exp_sim_hq_i_p_c_k]: https://latex.codecogs.com/gif.latex?p%28%5Cwidehat%7Bl%7D_%7Bq_i%7D%3Dc_j%29%3D%5Cfrac%7Bexp%28sim%28hq_i%2Cp_%7Bc_j%7D%29%29%7D%7B%5Csum%20%5E%7B%7Cc%7C%7D_%7Bk%3D1%7Dexp%28sim%28hq_i%2Cp_%7Bc_k%7D%29%29%7D
[L_q_i_ _ CrossEntropy_l_q_i_widehat_l_q_i]: https://latex.codecogs.com/gif.latex?L_%7Bq_i%7D%20%3D%20CrossEntropy%28l_%7Bq_i%7D%2C%5Cwidehat%7Bl%7D_%7Bq_i%7D%29
[prototypical-network]: https://github.com/jakesnell/prototypical-networks
[Link 1]: https://github.com/JnchinZ/Prototypical-Networks-for-image-classification
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASm5jaGlu_size_20_color_FFFFFF_t_70_g_se_x_16 7]: https://img-blog.csdnimg.cn/15c78514f5dc412dad9b0ec87b27a315.jpg?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBASm5jaGlu,size_20,color_FFFFFF,t_70,g_se,x_16
[https_arxiv.org_abs_2004.05439]: https://arxiv.org/abs/2004.05439
[-]: https://zhuanlan.zhihu.com/p/110075024
[Meta Learning_bilibili]: https://www.bilibili.com/video/BV1aT4y1u7e6
[https_arxiv.org_abs_1703.05175v2]: https://arxiv.org/abs/1703.05175v2
[TechBeat]: https://www.techbeat.net/talk-info?id=557
[https_arxiv.org_abs_1703.05175]: https://arxiv.org/abs/1703.05175
[Prototypical Networks_hei653779919_-CSDN]: https://blog.csdn.net/hei653779919/article/details/106595614
[MAML_Pytorch_hei653779919_-CSDN]: https://blog.csdn.net/hei653779919/article/details/109160631