真二次元！动漫形象风格迁移

深藏阁楼爱情的钟 2022-10-08 14:26 416阅读 0赞

点击上方“**机器学习与生成对抗网络**”，关注星标

获取有趣、好玩的前沿干货！

文章：机器之心

> 一张输入人脸图像，竟能生成多样化风格的动漫形象。伊利诺伊大学香槟分校的研究者做到了，他们提出的全新 GAN 迁移方法实现了「一对多」的生成效果。

在 GAN 迁移领域，研究人员可以构建一个以人脸图像为输入并输出人脸动漫形象的映射。相关的研究方法已经出现了很多，如腾讯微视此前推出的迪士尼童话脸特效等等。

在迁移过程中，图像的内容（content）部分可能会被保留，但风格（style）部分必须改变，这是因为同一张脸在动画中能以多种不同的方式表示。这意味着：迁移过程是一个一对多的映射，该映射可以表示为一个函数，用于接受内容代码（即从人脸图像中恢复）和风格代码（这是一种潜变量）并生成动漫脸。但是，一些重要的限制条件必须遵守。

*  首先是控制（control）：通过改变输入人脸来改变动漫人脸的内容（如动漫人脸应该随着输入人脸的转头而转头）；
 *  其次是一致性（consistency）：使用相同潜变量渲染成动漫的真实人脸应在风格上高度匹配（如不改变潜变量的前提下，动漫人脸不会随输入人脸的转头而改变风格）；
 *  最后是覆盖范围（coverage）：每个动漫人脸都可以使用内容和风格的组合来获取，这样就可以利用所有可能的动漫形象。

在近日的一项研究中，来自伊利诺伊大学香槟分校的研究者提出了一种新的 GAN 迁移方法 GANs N’ Roses（简写为 GNR），这一多模态框架使用风格和内容对映射进行直接的形式化（formalization）。简单来讲，研究者展示了一种以人脸图像的内容代码为输入并输出具有多种随机选择风格代码的动漫形象。

![fcfd3f8c0cf8b6564bcc9aae766dfea6.png][]

*  论文地址：https://arxiv.org/pdf/2106.06561.pdf
 *  GitHub 项目地址：https://github.com/mchong6/GANsNRoses

从技术上来讲，研究者基于对内容与风格的简单和有效定义中得出了对抗性损失，它保证了映射的多样性，即可以从单一内容代码中生成多样化风格的动漫形象。在合理的假设下，这种映射不仅多样化，还能以输入人脸为条件正确地表示动漫形象的概率。相比之下，当前的多模态生成方法无法捕捉动漫中的风格。大量的定量实验表明，与 SOTA 方法相比，GNR 方法可以生成更多样风格的动漫形象。

GNR 的生成效果怎么样呢？我们可以先来看下 demo 图像戴珍珠耳环的少女的动漫形象：

![50f8ce0783f754ab476d37de5280c24e.png][]

目前，用户也可以试玩，只需上传自己的图像即可一键生成自己的动漫形象。机器之心用葡萄牙球星 C 罗的图片试了试生成效果，em……：

![19df9b9093e03c3af74999c7418e8675.png][]

试玩地址：https://gradio.app/hub/AK391/GANsNRoses

与此同时，在没有对视频进行任何训练的情况下，GNR 方法还可以实现视频到视频的迁移。

![e7f3de791cf0fa74970ceabfffe1219a.gif][]

**技术实现**

给定两个域![ff75f350fa80d7217f1e6cc0524b7055.png][] 、![f50b6887a68e2538c9f244b507ba6046.png][]![0496401e26b7fb35516ec8562994c931.png][]，目标是在![70df07b6a18b3bf211f636f0279b2847.png][]域中生成一组不同的![3d85bf8daaa69ba787d338c4cd79ab7d.png][]，使其具有与 x 相似的语义内容。该研究详细阐述了从域![4cb33a73cc58bba83783350dd5d1ac48.png][] 到![0ec089e4c64e2fc3ad47c76018d8ea39.png][]的转换细节。如图 2 所示，GANs N’ Roses 由一个编码器 E 和一个解码器 F 组成，这两个编码器可用于![6ce4fe8f3a5015e837fa1a910cbd7e11.png][]这两个方向。编码器 E 将图像 x 分解为内容编码 c(x) 和风格编码 s(x)。解码器 F 接收内容编码和风格编码，并从![d6bffeffa5c779b5d0cdd54514624c5f.png][] 生成合适的图像。

编码器和解码器共同形成了一个生成器。在运行时，通过向编码器传递图像来使用这个生成器，以保留生成的内容编码 c（x），获得一些其他相关的风格编码 s\_z，然后将这对编码传递给解码器。该研究希望最终动漫内容由内容代编码控制，风格由风格编码控制。

![9c2cde1686f16eacd8e44925227e5c01.png][]

*图 2 GANs N’ Roses*

但什么是内容，什么是风格？GANs N'Rose 的核心思想是将内容定义为事物所在的位置，将风格定义为事物的外观。这可以通过使用数据增强的思想来实现。选择一组相关的数据增强，在所有条件下：风格是不变的，内容是可变的。注意，这个定义是以数据增强为条件的——不同的数据增强集将导致不同的风格定义。

**确保风格的多样性**

为了确保用户可以得到不同风格的动漫，当前有三种策略：首先，可以简单地从随机选择的风格代码 s\_z 中生成；其次，解码器具有可以从解码器中恢复 s\_z 的属性；第三，可以编写一个确定的惩罚函数，强制不同风格代码的解码不同；但这些策略都不是令人满意的。

该研究对风格和内容的定义提供了一种新的方法。即必须学习一个映射 F(c, s; θ)，该映射采用内容编码 c 和风格编码 s 来生成动漫面孔。![97553924cac6dfee31dd254181575237.png][] 表示从数据中随机选择的单个图像，T(·) 表示对该图像应用随机选择的增强的函数，P(C) 表示内容编码的分布，P(Y) 表示真实动漫（等）的真实分布，![a2dad55e6a5a9a4c540b974f4f648444.png][]为生成的动漫图像。这里必须有 c(xi) ∼ P(C)。因为风格定义为在增强下不会改变的内容，合理选择的增强应该意味着 c(T(x\_i)) ∼ P(C) , 即对图像应用随机增强会导致内容编码是先前内容编码的示例。这个假设是合理的，如果它被严重违反，那么图像增强训练分类器将不起作用。

损失函数为：

![c11bf91e33d3d398c10c85a7909e0057.png][]

**实验结果**

在实验部分，该研究使用 batch 为 7，λ\_scon = 10, λ\_cyc = 20, λ\_adv = 1 进行实验。网络架构基于 StyleGAN2\[9\]，该架构风格编码的维度为 8。使用 Adam 优化器 \[12\] 对所有网络进行 300k 批次迭代，学习率为 0.002。在输入图像上使用的随机增强包括随机水平翻转、(−20,20)之间的旋转、缩放(0.9,1.1)、平移(0.1,0.1)、剪切(0.15)。图像被放大到 286 × 286，并随机裁剪为 256 × 256。数据集主要采用 selfie2anime 数据集 \[10\] 以及 AFHQ \[1\] 的附加实验。

**定性比较**

一般来说，当给定相同的源图像和不同的随机风格编码时，GNR 会产生不同的图像。风格编码驱动头发、眼睛、鼻子、嘴巴、颜色等的外观，而内容驱动姿势、面部大小、面部部位的位置等。图 4 显示，GNR 在质量和多样性方面优于其他 SOTA 多模态框架。

GNR 生成的图像具有不同的颜色、发型、眼睛形状、面部结构等，而其他框架则只能生成不同的颜色。

![4d0f62bb20b0789b50f4f1801bb0ebfb.png][]

*将多模态结果与 SOTA 迁移框架进行了比较。*

该研究还在图 5 中与 AniGAN \[14\] 进行了比较。请注意，即使 AniGAN 是在更大、更多样化的数据集上进行训练的，但是，该研究也能够生成具有更好的、更多样性的、更高质量的图像。此外，AniGAN 以 128 × 128 的分辨率生成，而该研究以 256 × 256 的分辨率生成。

![001d16794edc17859d9b988f6b3aa1d6.png][]

下图展示的消融实验显示了多样性鉴别器（Diversity Discriminator）在确保多样性输出方面起着重要作用（图 6），实验可得多样性鉴别器明显促进了 GNR 输出更具多样性、更真实的图像。

![2238b3c626fe5782cc485af80ee7a39e.png][]

**定量比较**

表 1 中使用多样性 FID、FID 和 LPIPS 对 GNR 进行了定量评估。在表 1 的所有实验中，研究发现 GNR 在所有指标上都明显优于其他 SOTA 框架。DFID 和 LPIPS 都关注图像的多样性，这些指标的得分从数量上证实了该研究生成图像的多样性优于其他框架。

![b59efae7b5a2fab74c9be0d5d0cf10ba.png][]

**视频到视频迁移**

该研究对风格和内容的定义是，当一张脸在一个框架中移动时，风格不应该改变，但内容会改变。特别是，内容对特征所在的位置进行编码，而风格对特征的外观进行编码。反过来，内容编码应该捕获所有帧到帧的运动，合成动漫视频，而不必训练时间序列。

该研究将 GNR 逐帧应用于人脸视频，然后将生成的帧组装成视频。图 3 第 2 行中的结果显示，GNR 产生根据源移动的图像，同时在时间上保持一致的外观。

![7de7511c0253fefe11a3f5a8304f7064.png][]

![6b7c1b0432893e2421d8046949e077f4.png][]

**猜您喜欢：**

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]**

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![b8cbdbbf9eff14ccee865d182f9d2836.png][]

[fcfd3f8c0cf8b6564bcc9aae766dfea6.png]: /images/20221005/45cb7901753f4e9fabd9adaf75be7f29.png
[50f8ce0783f754ab476d37de5280c24e.png]: /images/20221005/cbe9daca79304c95bc3ad71e5c784981.png
[19df9b9093e03c3af74999c7418e8675.png]: /images/20221005/8ccfeb3d0e7249fcaf6d6b953a249426.png
[e7f3de791cf0fa74970ceabfffe1219a.gif]: /images/20221005/0c19240411f44b4d8b69cb1df6df022f.png
[ff75f350fa80d7217f1e6cc0524b7055.png]: https://img-blog.csdnimg.cn/img_convert/ff75f350fa80d7217f1e6cc0524b7055.png
[f50b6887a68e2538c9f244b507ba6046.png]: https://img-blog.csdnimg.cn/img_convert/f50b6887a68e2538c9f244b507ba6046.png
[0496401e26b7fb35516ec8562994c931.png]: https://img-blog.csdnimg.cn/img_convert/0496401e26b7fb35516ec8562994c931.png
[70df07b6a18b3bf211f636f0279b2847.png]: https://img-blog.csdnimg.cn/img_convert/70df07b6a18b3bf211f636f0279b2847.png
[3d85bf8daaa69ba787d338c4cd79ab7d.png]: https://img-blog.csdnimg.cn/img_convert/3d85bf8daaa69ba787d338c4cd79ab7d.png
[4cb33a73cc58bba83783350dd5d1ac48.png]: https://img-blog.csdnimg.cn/img_convert/4cb33a73cc58bba83783350dd5d1ac48.png
[0ec089e4c64e2fc3ad47c76018d8ea39.png]: https://img-blog.csdnimg.cn/img_convert/0ec089e4c64e2fc3ad47c76018d8ea39.png
[6ce4fe8f3a5015e837fa1a910cbd7e11.png]: https://img-blog.csdnimg.cn/img_convert/6ce4fe8f3a5015e837fa1a910cbd7e11.png
[d6bffeffa5c779b5d0cdd54514624c5f.png]: /images/20221005/378ef3188d024379b4485b43bfa7f3f5.png
[9c2cde1686f16eacd8e44925227e5c01.png]: /images/20221005/059fb4cb1acb409da585180dc35bee25.png
[97553924cac6dfee31dd254181575237.png]: https://img-blog.csdnimg.cn/img_convert/97553924cac6dfee31dd254181575237.png
[a2dad55e6a5a9a4c540b974f4f648444.png]: /images/20221005/29251ab1a1914539a7c8d1481a4255a1.png
[c11bf91e33d3d398c10c85a7909e0057.png]: /images/20221005/d65e72e6a12e4efc924a3f6d2db266bc.png
[4d0f62bb20b0789b50f4f1801bb0ebfb.png]: /images/20221005/507e0c1606424c7f9f64275f00463dcf.png
[001d16794edc17859d9b988f6b3aa1d6.png]: /images/20221005/00abc620540c45e3bbd067b1990d3e36.png
[2238b3c626fe5782cc485af80ee7a39e.png]: /images/20221005/a74d974967c8452790df6130291fc33b.png
[b59efae7b5a2fab74c9be0d5d0cf10ba.png]: /images/20221005/97bc080c64044e559b48e4b7b13b8b53.png
[7de7511c0253fefe11a3f5a8304f7064.png]: /images/20221005/6c4df43e577c47ca932cb3ae07a95e7d.png
[6b7c1b0432893e2421d8046949e077f4.png]: /images/20221005/b8d9b9c860e0417baf590adb014fb943.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[b8cbdbbf9eff14ccee865d182f9d2836.png]: /images/20221005/be24e62db7124cf2bd434bc65645f10e.png