文献 Large Scale Learning of General Visual Representations for Transfer 细节分析

比眉伴天荒 2023-07-20 10:43 65阅读 0赞

# Detailed Analysis #

## Big Models and Big Data ##

普遍的共识是模型越大，效果越好（无论是在上游任务还是在下游任务中）。为了评估模型容量和上游训练集大小对性能的影响，这篇文章做了不同容量的ResNet模型分别在ILSVRC-2012, ImageNet-21k and JFT-300M上进行训练，并在下游数据集中评估。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTI5ODI0_size_16_color_FFFFFF_t_70]  
ResNet-50x1, ResNet-50x3, ResNet-101x1, and ResNet-101x3. 对于最大的数据集，还使用了ResNet152x4.  
结论一：  
使用较大模型时，在大规模的数据集上效果更明显。  
结论二：  
第二个效果是：在小数据集上训练一个大模型的好处是有限的，在大数据集上训练一个小模型的好处也是有限的（甚至是负面的）。

因此，如果只使用具有通常容量的体系结构，则可以得出这样的结论：增大数据大小不会带来任何额外的好处。然而，对于更大的架构，如ResNet-101x3，在JFT-300M上预先训练的模型明显优于在ILSVRC-2012或ImageNet-21k上预先训练的模型。  
【这里应该是在原来的数据量充足的前提下 表述不是很严谨】

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTI5ODI0_size_16_color_FFFFFF_t_70 1]  
关键的是，我们还观察到，即使是在较小的下游数据集上，大的预训练模型也会带来更好的结果。

## Optimization on Large Datasets ##

如ImageNet-21k，与ILSVRC-2012的1.28M相比，它有1420万张图像。但是，从这样的大数据集中进行训练还没有既定的程序。这篇文章旨在解决这个缺点，并为在大型数据集上训练模型提供方法。

我们首先注意到，足够的计算预算对于在大数据集上训练性能模型至关重要。标准的ILSVRC-2012训练计划处理大约1亿张图像（128万张图像×90个epochs）。但是，如果对ImageNet-21k应用相同的计算预算，则生成的模型会导致ILSVRC-2012验证集的性能下降（图5，最左边图的左下部分）。然而，如同一图所示，通过增加计算预算，我们不仅恢复了ILSVRC-2012的性能，并明显优于它（我们增加了计算量）。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTI5ODI0_size_16_color_FFFFFF_t_70 2]  
大数据集训练的另一个重要方面是权值衰减参数。较低的权重衰减会导致明显的收敛加速（图5最右边的图，权重衰减1e-5）。但是，此设置最终会导致最终模型执行不足。这种违反直觉的行为源于权重衰减和标准化层的相互作用\[26,28\]。

权重衰减导致体重标准增加，进而导致有效学习率下降。最初，这种效应给人一种更快收敛的印象，但最终阻止了进一步的进展。需要足够大的重量衰减来避免这种影响。在整个论文中，对于上游训练，我们使用10-4\[13,14\]的标准权重衰减。

## Large Batches, Group Normalization and Weight Standardization ##

目前许多已知的大批量训练算法使用批量规范化（BN），它甚至是一个非常关键的工具。

因此，这篇文章研究了resnet中BN的替代方案，特别是组规范化（GN）\[49\]和权重标准化（WS）\[36\]。在我们的实验中，我们观察到结合GN和WN标准化可以恢复BN泛化性能，并且当用于大输入批量的训练时是稳定的。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTI5ODI0_size_16_color_FFFFFF_t_70 3]

## Tuning hyperparameters for transfer ##

为了确保我们的结果不会由于上游训练和下游测试数据之间的重叠而膨胀，我们进行了大量重复数据消除实验。对于每个上游训练数据集（JFT-300M、ImageNet-21k和ILSVRC-2012），我们从评估测试集中移除所有几乎重复的数据，并在消除重复的测试集中重新评估最佳模型。结果如表6所示：“Full”是原始测试集的精度，“Dedup”是测试集的精度，而“Dups”已删除几乎重复的。我们观察到，接近重复几乎不会影响我们的结果，因此我们在整个论文的完整测试集上报告结果，以便与之前公布的结果进行比较。注意，ILSVRC-2012的\[40\]和CIFAR的\[3\]之前报告了训练集和测试集之间的几乎重复。

# 关于小样本学习的讨论 #

为了在面对新的种类时获得良好的性能，人们提出了许多策略，并且每个类只使用几个示例，这就是小样本学习。  
元学习（Meta learning，metric learning，metric learning）技术被提出用来学习很少或没有标签的内容，如\[48,39,41\]。然而，最近的研究表明，一个简单的线性分类器在预先训练的表示或微调的基础上可以获得相似或更好的性能\[5,32\]。上游的预训练和下游的少量镜头学习通常在同一个域上进行，类标签不相交。我们的目标是找到一个通用的表示，它在转移到许多下游任务时工作良好。因此，我们不强制类在训练和测试期间分离，而是关注将一般表示从多个域转移到许多下游任务的有效性。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTI5ODI0_size_16_color_FFFFFF_t_70]: /images/20230528/0ae465e2d4f24336b101fcb45d3dc19b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTI5ODI0_size_16_color_FFFFFF_t_70 1]: /images/20230528/c14aeaa8f20349329b4d86681d958f4a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTI5ODI0_size_16_color_FFFFFF_t_70 2]: /images/20230528/5eff82179fbf46049291d6efac4affab.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTI5ODI0_size_16_color_FFFFFF_t_70 3]: /images/20230528/1932a884211f42f39376ce005af979f9.png