Matching Networks for One Shot Learning （用于 One Shot Learning 的匹配网络）

一时失言乱红尘 2022-01-07 09:43 249阅读 0赞

# 1. 摘要 #

从少数几个样本中学习依然是机器学习 (Machine Learning, ML) 所面临的一个关键性挑战。尽管标准的有监督深度学习范式已经在视觉和语言等领域取得了重大的进展，但是它无法在只根据很少的数据快速学习新概念的问题上提供一个令人满意的解决方法。

本文提出的方法基于：

1.  基于深度神经网络特征的度量学习
2.  具有外部存储的记忆增强网络

本文提出的框架学习一个网络，来映射少量的有标签的 Support Set 样本和将一个无标签的样本映射到它的标签（预测），同时避免在适应新的类上面进行微调。文章还定义了语言和视觉任务下的 one-shot learning 问题，实验验证了方法在上述两个问题上的可行性和有用性。

（1）新的类；（2）每个类的训练样本只有一个；（3）学习一个网络映射输入空间到新的空间，比较相似度；  
这三个特征满足 few-shot learning，meta-learning 的基本特征，而且可以看成属于 meta-learning 中的度量学习 （metric learning）。

（推荐阅读以下链接，对理解本文很有帮助：[https://blog.csdn.net/weixin\_37589575/article/details/92801610][https_blog.csdn.net_weixin_37589575_article_details_92801610]）

# 2. 介绍 #

人类可以在具有很少的监督信息的情况下快速学习新的概念，例如一个小孩可以从书本上的单个图片推广归纳 “斑马” 的概念，然而我们最好的深度学习 (Deep Learning, DL) 模型却需要成百上千个样本。这个机器智能和人类智能的差距，推动鼓励我们来关注 one-shot learning 问题，其中每个类只有一个有标签的样本。

机器学习在语音、视觉和语言等领域取得了巨大的进展，但是它也有一个令人诟病的大问题，就是需要大量的数据。数据增强技术和正则化技术可以缓解在少量数据集情况下的 过拟合 (overfitting) 问题，但是并没有很好的解决它。另外，基于大数据集的学习过程十分缓慢，需要使用随机梯度下降 (Stochastic Gradient Descent, SGD) 进行大量的权重更新。这是因为我们的模型是一种参数化模型，其中训练样本需要缓慢地学习到模型的参数里面去。另一方面，许多非参数化方法可以快速吸收同化新的样本，同时不会遭遇灾难性的遗忘。其中有些方法（例如最近邻居）不需要任何训练，但是表现很依赖于所选择的度量。本文希望结合参数化方法和非参数化方法的优点，即快速获得新样本的概念，同时提供常见样本的卓越的泛化能力。

文章的创新点：

1.  模型层面：Matching Nets (MN)，使用注意力机制和存储记忆来快速学习。
2.  训练过程：Task 的概念，每个 task 模拟最后的 meta-testing 的任务，然后 switching the task from minibatch to minibatch，即一次训练几个任务 (minibatch)，重复很多次 (switching)。
3.  文章还定义了语言和视觉任务下的 one-shot learning 问题。

# 3. 模型 #

总体而言，我们的非参数化的方法基于两个组件：（1）模型架构基于具有记忆增强的神经网络，给定一个小的 Support Set  S S S，我们的模型定义了一个函数（或者叫做分类器） c S c\_\{S\} cS 来映射  S S S。（2）我们实行了一个专门用于 one-shot learning 的训练策略

## 3.1 模型架构 ##

文章借鉴了具有外部存储的记忆增强网络的想法，这些网络的模型通常是完全可微的，定义了一个“读取/访问“的矩阵，其中存储了对于解决手头任务很有帮助的信息。

本文将 one-shot learning 问题看成一个 set-to-set 问题（集合到集合问题），制定一个 set-to-set 框架解决 one-shot learning 问题。我们将映射  S → c S ( x ^ ) S \\rightarrow c\_\{S\}(\\hat\{x\}) S→cS(x^) 改为  P ( y ^ ∣ x ^ , S ) P(\\hat\{y\} | \\hat\{x\}, S) P(y^∣x^,S)，其中  S = \{ ( x i , y i ) \} i = 1 k S=\\left\\\{\\left(x\_\{i\}, y\_\{i\}\\right)\\right\\\}\_\{i=1\}^\{k\} S=\{ (xi,yi)\}i=1k 是  k k k 个图片-标签对， x ^ \\hat\{x\} x^ 是测试图片， y ^ \\hat\{y\} y^ 是我们的预测标签。 P P P 是一个参数化的神经网络。这里我们用 meta-learning 解释， S S S 就是我们一个 task 的 support set， x ^ \\hat\{x\} x^ 和  y ^ \\hat\{y\} y^ 一起组成我们这个 task 的 query set 中的一个测试样本。更换一个 task， S S S 变为  S ′ S^\\prime S′。这样面对我们需要测试的 meta-testing task 的时候，就只需要改变  S S S 和对应的  x ^ \\hat\{x\} x^ 即可，而神经网络  P P P 不用进行改变。预测过程即为：

>  arg ⁡ max ⁡ y P ( y ∣ x ^ , S ) \\arg \\max \_\{y\} P(y | \\hat\{x\}, S) argmaxyP(y∣x^,S)

我们模型计算  y ^ \\hat\{y\} y^ 最简单的形式是：

>  y ^ = ∑ i = 1 k a ( x ^ , x i ) y i \\hat\{y\}=\\sum\_\{i=1\}^\{k\} a\\left(\\hat\{x\}, x\_\{i\}\\right) y\_\{i\} y^=∑i=1ka(x^,xi)yi

其中  x i x\_\{i\} xi 和  y i y\_\{i\} yi 来自于 support set， a a a 是后续讨论的注意力机制。这个等式本质上描述了一个新类的输出是  S S S (Supprot set) 中标签的线性组合。不同的  a a a 可以有不同的解释，例如文中的核密度估计器，k-b 最近邻居。因此上述等式包含了 KDE 和kNN 等方法。还有一种视角就是，把  a a a 看成一种注意力机制， y i y\_\{i\} yi 作为一种与对应的  x i x\_\{i\} xi 绑定的记忆存储，这可以把上述等式看成一种关联存储器，即给定一个测试样本，我们找到  S S S 中对应的样本，然后索引它的标签作为我们的预测值。但是这与其他的注意力记忆存储机制不同，原因：（1）本质上我们的模型是非参数化的，随着 S S S 大小的增加，所使用的内存不变。因此函数形式定义下的分类器  C S ( x ^ ) C\_\{S\}(\\hat\{x\}) CS(x^)，可以很灵活，而且很容易地适应新的 support set。

### 3.1.1 注意力机制内核 ###

上一小节等式依赖于  a a a 的选择，注意力机制完全决定了分类器。最简单的一种形式是使用余弦距离  c c c 的 softmax，即  a ( x ^ , x i ) = e c ( f ( x ^ ) , g ( x i ) ) / ∑ j = 1 k e c ( f ( x ^ ) , g ( x j ) ) a\\left(\\hat\{x\}, x\_\{i\}\\right)=e^\{c\\left(f(\\hat\{x\}), g\\left(x\_\{i\}\\right)\\right)\} / \\sum\_\{j=1\}^\{k\} e^\{c\\left(f(\\hat\{x\}), g\\left(x\_\{j\}\\right)\\right)\} a(x^,xi)=ec(f(x^),g(xi))/∑j=1kec(f(x^),g(xj))，其中  f f f 和  g g g 是两个适当的神经网络（并且可能是同一个网络）来 embed (嵌入)  x ^ \\hat\{x\} x^ 和  x i x\_\{i\} xi。这里的选择是比较容易做出的，例如图像任务选择 CNN，语言任务使用 Word Embeding。

### 3.1.2 完全上下文 embedding ###

本文的一个创新点是重新解释了一个广泛使用的框架（具有外部存储的神经网络），从度量学习（metric learning）的角度上看  f f f 和  g g g 可以看为特征空间的提升。从某种意义上讲，对  x i x\_\{i\} xi 的映射和  S S S 中其他元素的映射相独立，并且 S S S 应该能够通过  f f f 改变我们对于  x ^ \\hat\{x\} x^ 的embed。

我们提出一个函数来映射集合中的元素，这个函数的输入是整个  S S S 和  x i x\_\{i\} xi。这在某些  x j x\_\{j\} xj 和  x i x\_\{i\} xi 很近的时候特别有用，可以通过改变我们 embed  x i x\_\{i\} xi 的函数来获益。文章使用一个具有读注意力机制的双向长短期记忆网络来在  S S S 的上下文的情况下编码  x i x\_\{i\} xi：

>  f ( x ^ , S ) = attL ⁡ STM ⁡ ( f ′ ( x ^ ) , g ( S ) , K ) f(\\hat\{x\}, S)=\\operatorname\{attL\} \\operatorname\{STM\}\\left(f^\{\\prime\}(\\hat\{x\}), g(S), K\\right) f(x^,S)=attLSTM(f′(x^),g(S),K)

其中  f ′ f^\\prime f′ 就是一个 CNN网络， g g g 是一个以集合  S S S 为输入的 CNN 网络， K K K 是固定的展开步数。

## 3.2 训练策略 ##

目标：我们的模型  P θ ( . ∣ x ^ , S ) P\_\{\\theta\}( . | \\hat\{x\}, S) Pθ(.∣x^,S) （其中  θ \\theta θ 是  f f f 和  g g g 的所有参数的综合，即整个模型的参数）必须可以在测试任务中的Support Set  S ′ S^\\prime S′ 中的类是训练时没有见过的类的情况下表现良好。

Task 的构建可以参考 Prototypical Networks:[https://blog.csdn.net/weixin\_37589575/article/details/92768668][https_blog.csdn.net_weixin_37589575_article_details_92768668] 中介绍的算法，这应该也是 meta-learning 构建 task 的范式。本文中 task 的概念有些差异，我做了一点点修改，用最符合 meta-learning 的理解：  T T T 是训练的类， L L L 是从  T T T 中采样出来的部分类作为一个 task 的类别（例如采样 N 个类，就是一个 N-way 的 task），然后采样属于  L L L 类的样本，每个类采样 K 个样本作为 Support Set， 这就是一个 K-shot 的 task，也就是文中的  S S S，然后再在属于  L L L 类的样本中采样样本作为 query set，也就是文中的  B B B。测试的时候面对的是新类（不属于  T T T 中的任何一类），就是文中的  T ′ T^\\prime T′。训练参数  θ \\theta θ 的过程为：

>  θ = arg ⁡ max ⁡ θ E L ∼ T \[ E S ∼ L , B ∼ L \[ ∑ ( x , y ) ∈ B log ⁡ P θ ( y ∣ x , S ) \] \] \\theta=\\arg \\max \_\{\\theta\} E\_\{L \\sim T\}\\left\[E\_\{S \\sim L, B \\sim L\}\\left\[\\sum\_\{(x, y) \\in B\} \\log P\_\{\\theta\}(y | x, S)\\right\]\\right\] θ=argmaxθEL∼T\[ES∼L,B∼L\[∑(x,y)∈BlogPθ(y∣x,S)\]\]

# 4. 其他 #

实验，相关工作，结论等请参考原论文。

# 5. 论文链接 #

《Matching networks for one shot learning》： [http://papers.nips.cc/paper/6385-matching-networks-for-one-shot-learning.pdf][http_papers.nips.cc_paper_6385-matching-networks-for-one-shot-learning.pdf].

[https_blog.csdn.net_weixin_37589575_article_details_92801610]: https://blog.csdn.net/weixin_37589575/article/details/92801610
[https_blog.csdn.net_weixin_37589575_article_details_92768668]: https://blog.csdn.net/weixin_37589575/article/details/92768668
[http_papers.nips.cc_paper_6385-matching-networks-for-one-shot-learning.pdf]: http://papers.nips.cc/paper/6385-matching-networks-for-one-shot-learning.pdf