有限数据来训练GAN的一种思路

短命女 2022-11-06 09:56 18阅读 0赞

> 点击上方“**机器学习与生成对抗网络**”，关注星标
> 
> 获取有趣、好玩的前沿干货！

> 作者：Mayank Agarwal
> 
> 编译：ronghuaiyang AI公园  
>

**导读**

使用自适应增强判别器（ADA）来训练StyleGAN2。

生成对抗网络(GANs)的长期挑战之一是在很少数据的情况下训练它。小数据集的关键问题是识别器对训练样本的快速过拟合。鉴别器的工作是将其输入分类为假的或真的，但由于过拟合，它把除了训练数据集以外的所有东西都作为是假的。结果，生成器收到的反馈很少，无法改进它的生成，训练失败。在本文中，我们讨论了Karras等人的最近的工作，通过**自适应鉴别器增强来解决这个问题**。

![4f486aa8d46e7fe6655f52588377e3c0.png][]

图1，GAN的训练目标，将生成的图像分布x和真实的图像分布y匹配。左：x!=y，右：x=y

在深度学习的几乎所有领域，数据增强是防止过拟合的标准解决方案。例如，在旋转、噪声、模糊等条件下训练图像分类器，会导致在失真情况下这些语义保持不变性增加 —— 这是分类器非常需要的品质。然而，这并不能直接用于训练GANs，因为生成器将学习如何生成增强后的分布。这种对生成的样本的增强的“泄漏”是非常不可取的。

为了克服这种“泄漏”问题，作者提出了一种称为**随机鉴别器增强**的增强技术。他们只使用增强图像来评估鉴别器，并且在训练生成器时也这样做。鉴别器增强相当于在鉴别器上戴上失真镜，并要求生成器生成的图在通过失真镜观察时无法与训练集样本区分。

![ed86e635b822f2f426301ea8783c228c.png][]

图2，左：朴素的鉴别器增强，右：随机鉴别器增强

![c953558f5eff32f890fe274fd16ade79.png][]

图3，增强GAN训练目标 — 增强后的生成图像和真实图像的分布Tx和Ty匹配，左：Tx!=Ty，右: Tx=Ty

然而，这种方法只有在这种扭曲可以用数据空间上的概率分布的“可逆”变换来表示时才有效。重要的是要理解，这并不意味着在单个图像上执行的增强就必须是可逆的。例如，从概率分布的意义上讲，将输入图像的90%置为零这样极端的增强是可逆的，即使对人类来说，通过忽略黑色图像直到只剩下10%的图像，来推断原始分布是很容易的。

让我们借用文中的另一个例子来直观地理解可逆变换。从\{0,90,180,270\}度均匀选择的随机旋转是不可逆的(图4)：增强后无法辨别方向的差异。这里，生成器可以自由地生成上下颠倒的图像，因为在增强分布中，\{0,90,180,270\}度的相对位置是相同的。因此，尽管生成器学会了匹配增强的分布Tx和Ty，但匹配虚假和真实数据分布x和y的潜在目标仍然没有得到解决。

![f7a3af1f37405981e10136f2e7a5f787.png][]

图4，不可逆的例子：90度旋转

如果这个旋转仅以概率p<1进行(图2，右)：这增加了0度的出现率，现在只有生成的图像有正确的方向时，增强分布才能匹配(图5)。现在，当生成器试图生成颠倒的图像时，增强分布不再一致。因此，为了匹配转换后的分布Tx和Ty，生成器被迫匹配假分布x和真实分布y。

![d4d7637a0fa5dcc1821ee69beef05216.png][]

图5，可逆的例子：使用不均等概率的90度的旋转（p=0.8）

更一般地说，如果我们对生成的分布x和真实的分布y应用一个可逆变换T，那么为了匹配原始分布x和y，匹配增强分布Tx和Ty就足够了(图6)。

![3d9608dedbd46bd3faa2160ec5d652f5.png][]

图6，左：可逆变换，右：不可逆变换

理论上，如果增强操作T是可逆的，存在一个且只有一个增强分布Tx， 而且x不应该有“泄漏”。然而，在实践中，由于有限的样本的局限性，有限的网络表示能力，归纳偏差和训练动态，很高的p值导致了生成图像的增强的泄漏。作者还表明，p的最优值对数据集大小非常敏感。他们通过使过程自适应来解决对p进行昂贵的网格搜索的问题。在深入细节之前，让我们先了解如何在GANs中度量过拟合。

不同大小的数据集，在每种情况下训练开始以同样的方式，但最终优化停止了，并且FID开始上升(图8)。同时，开始的时候，鉴别器输出分布的和生成的图像重叠，但随着鉴别器(图7)变得越来越自信，这两个分布变得渐行渐远，并且，从FID开始恶化的点开始，随着分布的充分重叠，loss开始变得恒定。

![85a303a71f52cd06e4614fbb08efaa46.png][]

图7，随着训练的进行，鉴别器对于真实图像和生成图像的输出分布的重叠越来越小。

量化过拟合的标准方法是使用一个单独的验证集，并观察其相对于训练集的行为。当过拟合开始时，验证集的行为开始越来越像生成的图像，而真实样本和生成样本的鉴别器输出开始发散。从图8可以看出，对于较小的数据集，这种情况发生得更早。

![64a61e01d47130815a76ebb5de90d92c.png][]

图8，在不同大小的数据集训练过程中，FID和鉴别器原始logits的演变。

作者提出了两种似是而非的过拟合启发式方法来度量过拟合(图9)。第一个是启发式的r\*v，\*表示了验证集相对于训练集和生成的图像的输出。当训练集和验证集表现完全相同时，分子为0，因此r=0表示没有过拟合。当生成的和验证集行为完全相同时，分子和分母是相同的，因此r=1表示完全过拟合。

![f773e5546aa914d1226333ce186b0f10.png][]

图9，过拟合启发式描述

因为它假设在一个已经很小的数据集中存在一个单独的验证集，所以不可能计算r*v*启发式。因此，作者转向r*t*，它使用训练集的鉴别器预测为正的部分来识别过拟合，并随着训练的进展动态调整增强概率p：

*  r*t*太高→增加更多(增加p)
 *  r*t*过低→增加更少(减少p)

总之，作者提出了一种即插即用技术，通过引入一个应用增强的概率p来将不可逆转的图像增强转换为可逆变换。它们还提供了一种机制来自适应地调整这些增强，以改善GAN训练过程到最优状态。想要了解更多细节，推荐阅读原文。

—END—

英文原文：https://medium.com/swlh/training-gans-with-limited-data-22a7c8ffce78

**猜您喜欢：**

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![98eb0c7aecd0b369f996dedd82190c7d.png][]

[4f486aa8d46e7fe6655f52588377e3c0.png]: /images/20221023/21fd7df5e0784511b3bce7d2fb6af731.png
[ed86e635b822f2f426301ea8783c228c.png]: /images/20221023/787bf30fa5f14e2ebc285a61b7621f55.png
[c953558f5eff32f890fe274fd16ade79.png]: /images/20221023/938e27ba165b4a6c90e7e3e85353aeb3.png
[f7a3af1f37405981e10136f2e7a5f787.png]: /images/20221023/6316cee994c94ff197537afdf4d52cf6.png
[d4d7637a0fa5dcc1821ee69beef05216.png]: /images/20221023/2bdc8dc13e4b4f19b0e990dc28a59b2d.png
[3d9608dedbd46bd3faa2160ec5d652f5.png]: /images/20221023/cb61ad72b6784d89abaa1b8df6edef18.png
[85a303a71f52cd06e4614fbb08efaa46.png]: /images/20221023/dc64f4058f874d48b896a490ad997290.png
[64a61e01d47130815a76ebb5de90d92c.png]: /images/20221023/8081572deb68487ab0bcfcd14eb761ae.png
[f773e5546aa914d1226333ce186b0f10.png]: /images/20221023/d4c82acbc6934772a83ca626ef0a2bb9.png
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[98eb0c7aecd0b369f996dedd82190c7d.png]: /images/20221023/ab32aac090e7455a909db10974701c40.png