Optimization as a model for few-shot learning. (优化一个模型，用于少样本学习) -- ICLR 2017 Oral 论文

我不是女神ヾ 2021-11-27 01:50 218阅读 0赞

### 目录 ###

*  1. 摘要
 *  2. 介绍
 *  3. 任务描述
 *   *  3.1 问题设置
 *  4. 模型
 *  4.1 模型描述
 *   *  4.2 具体细节
     *  4.2 参数共享和预处理
     *  4.3 训练
     *  4.4 梯度独立性假设
 *  5. 个人理解
 *  6. 其他
 *  7. 论文链接

# 1. 摘要 #

尽管深度神经网络已经在大数据领域取得了巨大的成功，但是他们通常在少样本学习任务上表现很糟糕。少样本任务需要分类器必须在仅看到每个类很少的样本后快速推广泛化。一般认为，在高容量的分类器中的基于梯度的优化算法需要 在大量样本上进行大量的迭代步骤 以取得良好的表现。本文提出了一个基于 LSTM 的 元学习者(meta-learner) 用以学习一个用于训练另一个在少样本情况下的 学习者(learner) 神经网络分类器的优化算法。我们模型的参数化允许我们的模型学习恰当的、专门用于只能进行一定量更新的参数更新方法。同时我们的模型为 学习者（learner） 网络，也就是分类器网络学习了一个通用的初始化，这个初始化可以帮助 学习者（learner） 网络在训练的时候快速收敛。

**为了更好理解，我把 学习者（learner） 改为 任务学习者（task learner） ， 元学习者（meta-learner） 不变。文中有的地方的 dataset 理解为 task 会更加符合 meta-learning 的哲学。**

（1）新的任务（新的类）；（2）训练样本很少；（3）学习一个优化过程和一个易于微调的初始化参数；  
这三个特征满足 few-shot learning，meta-learning 的基本特征，而且可以看成属于 meta-learning 中的学习微调 （Learning to Fine-Tune）。

（推荐阅读以下链接，对理解本文很有帮助：[https://blog.csdn.net/weixin\_37589575/article/details/92801610][https_blog.csdn.net_weixin_37589575_article_details_92801610]）

# 2. 介绍 #

深度学习在各种具有大量数据的任务上取得了巨大的成功，这些成就依赖于这些深度高容量模型需要大量的有标签数据以及大量的迭代更新的优化。但是这种优化在少样本情况下会崩塌。本文主要关注这个方面，我们没有很大的数据集，我们只有一少组有标记的数据，其中每个类别的样本只有很少的几个有标签。本文的动机不仅在于人类智能和深度学习之间的差异：人类甚至是小孩可以在看过一个给定目标的样本后做到快速的归纳泛化，而深度学习模型则需要大量的数据。并且如果模型具有这种能力将会有很多有用的用途：首先，可以缓解数据收集的麻烦；其次，有很多情况下，类别很多，但是每个类的样本很少，如果模型具有少样本学习的能力，那么可以很好地学习这种情况下的数据。

基于梯度下降的优化算法在少样本问题上失效的原因：

*  基于梯度下降的算法：momentum、adagrad、adadelta 以及 adam 等都不是专门设计以用于少样本少量参数更新迭代的。
 *  对于分离的多个任务，网络参数通常会从一个随机的初始化参数开始训练，这就严重影响了在少量参数更新迭代之后的表现。

迁移学习可以通过微调一个从另一个任务中预训练出来的模型来缓解这个问题，但是如果预训练的任务与目标任务之间的差异太大，那么预训练的收益很大大降低。因此我们需要一种系统的方法来训练一个 有益的共同的初始化 可以作为一个在少样本学习条件下好的训练起点。这不仅可以提供和迁移学习一样的好处，而且可以保证这个初始化是一个用于微调的最佳起点。

**元学习建议将学习问题制定为两层：**

**- 任务学习者（task-learner，或者文中的learner）：在每个独立的任务之中快速获取知识。**  
**- 元学习者（meta-learner）：从大量的任务中缓慢的学习和提取信息，这些信息用于指导任务学习者学习。**

本文旨在解决基于梯度优化的模型在少样本情况下问题，文章把少样本学习问题放在了元学习的框架下。

**- 文章提出了一个基于 LSTM 的元学习者，它被训练来用于优化任务学习者，任务学习者是一个分类器神经网络。**  
**- 元学习 LSTM 学习目标任务（meta-testing task）中的短期知识以及大量任务（meta-training tasks）中的长期知识。**

使用一个直接捕获的优化算法在少样本设置下的归纳泛化能力的目标，元学习者模型被训练以在每个任务上任务学习者分类器可以快速收敛到一个好的解决方案。另外，元学习者模型还可以为任务学习者学习一个任务共同的初始化，这个初始化中具有所有任务共享的基础知识。

# 3. 任务描述 #

**文中有很多地方的 dataset 我觉得理解为 task 会好很多。**  
文中的  D \\mathscr\{D\} D 指的其实就是一个任务， D m e t a − t r a i n \\mathscr\{D\}\_\{meta-train\} Dmeta−train， D m e t a − v a l i d a t i o n \\mathscr\{D\}\_\{meta-validation\} Dmeta−validation 和  D m e t a − t e s t \\mathscr\{D\}\_\{meta-test\} Dmeta−test 分别是用于训练，验证和测试的任务。 D D D 其实就是每个任务中的数据， D t r a i n D\_\{train\} Dtrain 和  D t e s t D\_\{test\} Dtest 就是我们常见的 support set 和 query set。

## 3.1 问题设置 ##

文中的问题还是最典型的 few-shot learning 问题的设置，就以 few-shot classification 问题为例。问题设置参考上面提到的博客或者博客: \[https://blog.csdn.net/weixin\_37589575/article/details/92768668\]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNzU4OTU3NQ_size_16_color_FFFFFF_t_70]  
这里为了方便读者和自己理解，对原论文的这一部分做了修改，用了最 meta-leaning 的解释，其实本质是一样的。

在 few-shot learning 中有一个术语叫做  N N N\-way  K K K\-shot 问题，简单的说就是我们需要分类的样本属于  N N N 个类中一种，但是我们每个类训练集中的样本只有  K K K 个，即一共只有  N ∗ K N \* K N∗K 个样本的类别是已知的（其实这就是 Support Set）。

在 Meta-learning 中之前学习的 task 我们称为 meta-training task，我们遇到的新的 task（包含新的类）称为 meta-testing task。因为每一个 task 都有自己的训练集和测试集，因此为了不引起混淆，我们把 task 内部的训练集和测试集一般称为 Support set 和 Query set。文中有一个特别经典的示意图，每一行就是一个 task，虚线之前的就是support set，虚线之后的就是 query set。图中问题是一个 5-way 1-shot 分类问题，每个任务有 5 个类，每个类只有一个样本，图中 query set 中有 2 个样本，这个数据是没有要求的，通常会设置为 15-20（5-way 1-shot 任务）以保证测试结果的有效性。注意：meta-test 任务中的类别和 meta-train 中的类别完全不同，也就是全新的类。

# 4. 模型 #

# 4.1 模型描述 #

对一个单一任务来说，我们的任务学习者的参数  θ \\theta θ 是在 support set 上面训练的。一种常规的梯度下降优化方法形式是：

>  θ t = θ t − 1 − α t ∇ θ t − 1 L t \\theta\_\{t\}=\\theta\_\{t-1\}-\\alpha\_\{t\} \\nabla\_\{\\theta\_\{t-1\}\} \\mathcal\{L\}\_\{t\} θt=θt−1−αt∇θt−1Lt

其中， θ t \\theta\_\{t\} θt 是第 t 次更新迭代之后的参数， α t \\alpha\_\{t\} αt 是第 t 步时的学习率， ∇ θ t − 1 L t \\nabla\_\{\\theta\_\{t-1\}\} \\mathcal\{L\}\_\{t\} ∇θt−1Lt 是使用第 t-1 次时候的参数  θ t − 1 \\theta\_\{t-1\} θt−1 时候的损失函数相对于  θ t − 1 \\theta\_\{t-1\} θt−1 的梯度，这里损失函数的下标 t 其实只是代表这个损失函数是我们这第 t 次更新时候的损失函数，而损失函数的计算和求梯度都是相对于上一次迭代完之后的参数  θ t − 1 \\theta\_\{t-1\} θt−1 的。

上述公式与 LSTM 中的单元状态（cell state）的更新很类似：

>  c t = f t ⊙ c t − 1 + i t ⊙ c ~ t c\_\{t\}=f\_\{t\} \\odot c\_\{t-1\}+i\_\{t\} \\odot \\tilde\{c\}\_\{t\} ct=ft⊙ct−1\+it⊙c~t

只要我们令： f t = 1 , c t − 1 = θ t − 1 , i t = α t , c ~ t = − ∇ θ t − 1 L t f\_\{t\}=1, c\_\{t-1\}=\\theta\_\{t-1\}, i\_\{t\}=\\alpha\_\{t\}, \\tilde\{c\}\_\{t\}=-\\nabla\_\{\\theta\_\{t-1\}\} \\mathcal\{L\}\_\{t\} ft=1,ct−1=θt−1,it=αt,c~t=−∇θt−1Lt。  
因此我们提出使用一个 LSTM 的元学习者来学习一个更新规则，其实这个更新规则可以看成一种新的类似于但不同于梯度下降的优化算法。

这里我们的更新规则包括对应梯度下降中的学习率以及初始化参数，但是注意这些都完全不一样了，**学习率对应 LSTM 中的输入门**，**初始化参数对应于记忆单元的初始化值，还有一个额外的遗忘门来补充梯度下降中上一次参数的系数**。这样可以自动的学习学习率，还可以对上一次的参数之前加一个参数（类似于正则化的效果，权重衰减）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNzU4OTU3NQ_size_16_color_FFFFFF_t_70 1]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNzU4OTU3NQ_size_16_color_FFFFFF_t_70 2]  
**用李宏毅老师的可见举个例子：图中 meta-learning 中的 training data 可以看成 RNN 中每一个时间点吃进去的数据（例如一个句子中的单词），然后 RNN memory 就是我们的  ϕ \\phi ϕ 和  θ \\theta θ，也就是初始化的参数对应记忆单元的初始值，每一次更新后的参数对应更新后的记忆单元。**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNzU4OTU3NQ_size_16_color_FFFFFF_t_70 3]  
这个图表明，我们还是在梯度下降，新的更新规则对应于一个上一时间段的参数系数和自动化的学习率。这里和标准的 LSTM 有个很大的差异就是，LSTM 中  c c c 和  x x x 是相互独立的，但是本文方法上一阶段的参数会用去求下一个 batch 的梯度，也就是下一阶段 LSTM 的另一个输入，因此是相关的。

## 4.2 具体细节 ##

**本文的问题：常用的基于梯度的优化面对少样本学习问题会崩溃。  
本文的思路：学习一种新的优化方法（更新规则），来在少样本学习任务上使用少量的样本和少量的更新迭代可以产生好的效果。**

LSTM 的单元状态就是任务学习者的参数： c t = θ t c\_\{t\}=\\theta\_\{t\} ct=θt，候选的单元状态是： c ~ t = ∇ θ t − 1 L t \\tilde\{c\}\_\{t\}=\\nabla\_\{\\theta\_\{t-1\}\} \\mathcal\{L\}\_\{t\} c~t=∇θt−1Lt。我们给出  i t i\_\{t\} it 和  f t f\_\{t\} ft 的参数化形式，这样元学习者可以通过更新过程确定最佳的值。

>  i t = σ ( W I ⋅ \[ ∇ θ t − 1 L t , L t , θ t − 1 , i t − 1 \] + b I ) i\_\{t\}=\\sigma\\left(\\mathbf\{W\}\_\{I\} \\cdot\\left\[\\nabla\_\{\\theta\_\{t-1\}\} \\mathcal\{L\}\_\{t\}, \\mathcal\{L\}\_\{t\}, \\theta\_\{t-1\}, i\_\{t-1\}\\right\]+\\mathbf\{b\}\_\{I\}\\right) it=σ(WI⋅\[∇θt−1Lt,Lt,θt−1,it−1\]\+bI)  
>  f t = σ ( W F ⋅ \[ ∇ θ t − 1 L t , L t , θ t − 1 , f t − 1 \] + b F ) f\_\{t\}=\\sigma\\left(\\mathbf\{W\}\_\{F\} \\cdot\\left\[\\nabla\_\{\\theta\_\{t-1\}\} \\mathcal\{L\}\_\{t\}, \\mathcal\{L\}\_\{t\}, \\theta\_\{t-1\}, f\_\{t-1\}\\right\]+\\mathbf\{b\}\_\{F\}\\right) ft=σ(WF⋅\[∇θt−1Lt,Lt,θt−1,ft−1\]\+bF)

这样学习率  i t = α t i\_\{t\}=\\alpha\_\{t\} it=αt 就成了一个关于 t-1 迭代次时的参数值  θ t − 1 \\theta\_\{t-1\} θt−1，当前的损失函数，当前损失函数相对于  θ t − 1 \\theta\_\{t-1\} θt−1 的梯度以及上一个学习率  i t − 1 i\_\{t-1\} it−1 的函数。这样元学习者就可以控制任务学习者在少样本学习任务上快速学习同时避免发散。  
对于  f t f\_\{t\} ft， 之前的梯度下降都是一个常数 1。但是假设我们的参数先于一个糟糕的局部最优解中，我们需要收缩当前的参数并忘掉部分之前的参数，才能更快的逃离这个局部最优解。例如在这个局部最优解时，损失函数很大但是梯度却很小。

这样，我们不仅学习了一个新的优化过程，并且还学习了一个  c 0 c\_\{0\} c0 作为我们任务学习者的初始化参数。这个初始化参数可以作为一个最佳的训练起点，可以加快优化过程。

最后就是其实不仅可以看成 LSTM 还可以看成 GRU，除了遗忘门和输入门的和不恒为 1 。

## 4.2 参数共享和预处理 ##

因为我们的模型需要一个元学习者 LSTM 学习更新一个深度神经网络。为了避免元学习者的参数爆炸，我们使用了一种参数共享 ---- 在任务学习者的梯度坐标上共享参数。这意味着每个坐标有自己的隐藏状态和单元状态值，但是 LSTM 的参数在坐标所有的坐标之间是一样的。这样就可以使用一个紧凑的 LSTM，并且具有一个额外的优点：**所有的坐标共享一个更新规则**，**但是更新规则又依赖于每个坐标在优化过程中的各自的历史。参数共享的实施：将输入作为一批梯度坐标和每个维度的损失输入  ( ∇ θ t , i L t , L t ) \\left(\\nabla\_\{\\theta\_\{t, i\}\} \\mathcal\{L\}\_\{t\}, \\mathcal\{L\}\_\{t\}\\right) (∇θt,iLt,Lt)。** **（也就是说所有维度的参数共享一个 LSTM 的更新规则，但是由于参数的梯度啊，初始化的不同，每个参数最终不会一样，这是因为如果一个参数一个 LSTM 那么内存会炸掉），这也是合理的，所有的梯度下降都是一个 rule，RMSPro 这些也只是学习率的调整，和考虑之前梯度的影响而已。**

又由于不同坐标的梯度和损失大小可能很不一样，所以我们进行了一个标准化以便元学习者可以在训练的时候恰当的使用它们。这个预处理可以调整梯度和损失，同时也能分类它们大小和符号所包含的信息（后者主要用于梯度）。

>  x → \{ ( log ⁡ ( ∣ x ∣ ) p , sgn ⁡ ( x ) )  if  ∣ x ∣ ≥ e − p ( − 1 , e p x )  otherwise  x \\rightarrow\\left\\\{\\begin\{array\}\{ll\}\{\\left(\\frac\{\\log (|x|)\}\{p\}, \\operatorname\{sgn\}(x)\\right)\} & \{\\text \{ if \}|x| \\geq e^\{-p\}\} \\\\ \{\\left(-1, e^\{p\} x\\right)\} & \{\\text \{ otherwise \}\}\\end\{array\}\\right. x→\{ (plog(∣x∣),sgn(x))(−1,epx) if ∣x∣≥e−p otherwise

## 4.3 训练 ##

标准的 meta-learning 训练过程：meta-testing 的任务和 meta-training 的任务相匹配。即在多个 meta-training tasks 上进行训练，然后学到我们需要的更新规则和初始化。面对一个新的 few-shot task 时，我们在这个任务的 support set 上面使用我们的更新规则对这个初始化参数进行优化更新，在 query set 上面进行性能评估。  
具体算法分析：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNzU4OTU3NQ_size_16_color_FFFFFF_t_70 4]  
首先是输入：元学习训练集，任务学习者 M 参数为  θ \\theta θ，元学习者 R 参数为  Θ \\Theta Θ。  
然后随机初始化  Θ \\Theta Θ ， Θ \\Theta Θ 可以理解为包含我们的更新规则和初始化参数。  
然后遍历 n 个元学习任务：从每个任务中采样出 support set 和 query set。从 support set 中批采样 T 次：  
每次过程：使用任务学习者当前参数计算损失函数，然后用当前的元学习者指导的更新规则来更新任务学习者的参数，迭代 T 次。  
在 query set 中，使用上面最后一次，也就是第 T 次更新之后的参数来计算损失函数，来更新元学习者的参数。  
注意一下： Support 上只更新**任务学习者**的参数，不更新元学习者参数。 Query 上则相反。我们可以理解 Support 上我们用**当前的更新规则去试验一下效果好不好**，然后在 Query 上我们在来更新**修改这个更新规则**。相当于 Support 中的信息会帮助我们来更新更新规则。

## 4.4 梯度独立性假设 ##

我们的公式包含一个隐藏假设： 就是任务学习者损失和梯度依赖于元学习者的参数。元学习者参数的梯度应该考虑这种依赖性，但是这会导致计算更加复杂。因此，本文对此做了一个简化假设：假设这些对梯度的贡献不重要且可以忽略，这使我们避免求 2 阶导数。  
看到这里，是不是想到了 MAML 啊，其实 MAML 应该就是在这篇论文上演变过来了的，有简化也有新增的考量。具体分析参考后续对基于微调元学习方法的总结博客

# 5. 个人理解 #

理解这篇论文，死死抓住这个脉络：  
**本文的问题：常用的基于梯度的优化方法面对少样本学习问题会崩溃。  
本文的思路：学习一种新的优化方法（更新规则），来在少样本学习任务上使用少量的样本和少量的更新迭代可以产生好的效果。同时一个额外的好处就是有一个好的初始化，可以将这个初始化作为训练起点，这样只需要少量的梯度更新就可以收敛到一个好的解决方案。**

# 6. 其他 #

这里有个实验很有趣，就是看 LSTM 的两个门的参数：  
![\*\*在这里插入图片描述\*\*][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNzU4OTU3NQ_size_16_color_FFFFFF_t_70 5]  
我们看到 forget 门一般都是 1，也就是上一次的参数的系数，但是学习率（Input 门）就变化很复杂，理论上应该比人设定的学习率会更适合少样本学习（学到了一些特殊的东西）。一个额外的思考，为什么 forget 都是 1，也就是基本没有权重衰减，也就是 L2 正则化基本没用，这是由于模型用的神经网络的初始化是在 0 附近的，因此 L2 的效果不明显。

其他实验，结论，相关工作等请参考原论文。

# 7. 论文链接 #

《Optimization as a model for few-shot learning》：[https://openreview.net/forum?id=rJY0-Kcll][https_openreview.net_forum_id_rJY0-Kcll]

[https_blog.csdn.net_weixin_37589575_article_details_92801610]: https://blog.csdn.net/weixin_37589575/article/details/92801610
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNzU4OTU3NQ_size_16_color_FFFFFF_t_70]: /images/20211126/470bd1ba37a44056ae197fa48855fc98.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNzU4OTU3NQ_size_16_color_FFFFFF_t_70 1]: /images/20211126/ad88eed8b5db47c5911619a399fc8cd3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNzU4OTU3NQ_size_16_color_FFFFFF_t_70 2]: /images/20211126/43d4fdadebda4e299c70b9157943a548.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNzU4OTU3NQ_size_16_color_FFFFFF_t_70 3]: /images/20211126/4712646961a84b309a4c1fe60a0cf22b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNzU4OTU3NQ_size_16_color_FFFFFF_t_70 4]: /images/20211126/ab0d59aad04a48ec834677629cf7d874.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNzU4OTU3NQ_size_16_color_FFFFFF_t_70 5]: /images/20211126/3460823a336b4573baea8e116cb5f310.png
[https_openreview.net_forum_id_rJY0-Kcll]: https://openreview.net/forum?id=rJY0-Kcll