StyleGAN新升级 | 年龄迁移等人脸编辑（文末送书）

末蓝、 2022-10-10 06:18 252阅读 0赞

点击上方“**机器学习与生成对抗网络**”，关注星标

获取有趣、好玩的前沿干货！

文章来源 机器之心 编辑部

> 来自以色列特拉维夫大学的研究者在生成图像方面又有了新的升级，所用方法在保留源图像身份的同时，在细节编辑上实现了更精细的效果。

英伟达提出的风格迁移模型 StyleGAN 系列，一直是人们用来进行各类脑洞画图实验的流行工具。从生成二次元「老婆」，照片修图，到人物的卡通化，最近几年基于这种技术的应用不一而足。

然而 StyleGAN 也一直有着自己的不足，近年来的各种改进也未能让其在反向生成、细节编辑上实现精细的效果。什么时候我们才能让 AI 随心所欲地修改真人照片呢？

今年 6 月，这样的研究终于出现了。

在以色列特拉维夫大学的论文《Pivotal Tuning for Latent-based Editing of Real Images》中，研究人员通过添加一个简短的训练过程，让 StyleGAN 有了焕然一新的升级。

它的生成效果是这样的，生成更年轻和微笑的 Yann LeCun：

![ab5f074e2ddbd716e1f7a4655f696dcb.png][]

还有更年轻和面部旋转后的吴恩达：

![a6eff7ecd668ba8533b279dc8720b669.png][]

下图中，输入小威廉姆斯、小罗伯特 · 唐尼以及小丑等人的照片，经过处理后，生成了微笑、换发型、老年、张嘴、去胡须、摆 pose 等多样化的形象：

![6f1a2aaa0be55128618aca8330f57409.png][]

不得不说，效果看起来真不错！

**研究介绍**

最近，一波先进的面部编辑技术被提出，这些技术利用预训练 StyleGAN 的图像生成能力。要用这种方法成功地编辑图像，必须首先将图像投影到预先训练好的生成器域中。然而，事实证明，StyleGAN 的潜在空间在失真和可编辑性之间产生了内在的折衷，即在保持原始外观和改变其某些属性之间需要折中。

实际上，这意味着将保留 ID 的面部潜在空间编辑应用于生成器域之外的面部仍然具有挑战性。在本文中，来自以色列特拉维夫大学的研究者提出了一种方法来弥补这一差距。该研究稍微改变了生成器，使得一个域外的图像如实的被映射到一个域内的潜码。该研究一个关键的调整，一个简短的训练过程，保留域内潜在区域的编辑质量，同时改变其描述的身份和外观。

![836fef4bee41c397584a6a2d6ffa02a5.png][]

论文地址：https://arxiv.org/pdf/2106.05744.pdf

GitHub 地址：https://github.com/danielroich/PTI

Colab 地址：

https://colab.research.google.com/github/danielroich/PTI/blob/main/notebooks/inference\_playground.ipynb

在研究者提出的 PTI（Pivotal Tuning Inversion）中，初始反向潜码充当枢轴（pivotal），你可以围绕它微调生成器。同时，正则化项保持附近的身份信息不变，保持局部信息影响。这种训练过程最终会改变身份的外观特征，而不会影响编辑能力。为了补充这一点，该研究进一步表明，枢轴调整（pivotal tuning）还可以调整生成器以适应多个人脸，同时在域的其余部分引入可忽略的失真。

![81ff3922fbf90b273c3f48281483bb49.png][]

*PTI 方法的示意图。*

该研究主要是使用 StyleGAN 为真实图像提供生成高质量的编辑。由于 StyleGAN 的特性，可以对其生成的外观进行细微的局部更改，而不会损害其强大的编辑功能。因此，给定一张图像，可能外观看起来不正常（例如一个人处在极端的照明条件下，或浓妆艳抹，或夸张的发型和头饰），该研究建议在生成器的域内找到最近的可编辑点。然后这些点可以被拉向目标，对周围的域影响微乎其微，对其他域的影响也微乎其微。

**实验**

实验采用 StyleGAN2 生成器 ，对于面部图像，研究者使用在 FFHQ 数据集上预训练的生成器进行处理，并使用 CelebA-HQ 数据集进行评估。此外，该研究还收集了一些其他名人的图像，以突出显示该研究保持身份的能力。

研究者采用以下指标：像素级距离 MSE、感知相似度 LPIPS 、结构相似度 MS SSIM 、以及利用预训练的人脸识别网络实现身份相似度。结果如下表所示。可以得出在每个指标上，该研究都是最佳得分。

![fdff34eb219a6be61d8c10ca91e22d16.png][]

如下图所示，即使不考虑可编辑性，该研究的方法对所有的例子都获得了较好的重建效果，特别是域外的例子，因为该方法是唯一可以成功的重建具有挑战性的细节，如脸部绘画或手等细节。

![d7ad6962373c827200cfe68732d2b28b.png][]

此外，该研究提出的方法还能够重建很多细节，如妆容、光线、皱纹等。

![0479253e3afdb6707748d3cac9d84da1.png][]

图 6 显示了对 CelebA-HQ 数据集的编辑比较，演示了姿势（顶部）和微笑收敛（底部）编辑。由结果可得在 SG2 W + 上的编辑不会产生所需的效果，例如，底部行中的嘴没有闭合。SG2 和 e4e 实现了更好的编辑，但失去了原有的身份。PTI 在保持身份的同时实现了高质量的编辑。

![641aa9c7d3aac23cfab529908dc4ef2a.png][]

![3b9c199f8c536d103e383c9fe7fcc00b.png][]

### **【赠书福利】** ###

![b890f764dcdd6dae332008deb6ba68c3.png][]

编辑推荐

1.  全景：囊括GAN起源、发展和演变的全貌；
2.  插图：100余幅插图，图说GAN的原理；
3.  实战：10余种有代表性的GAN案例代码。

### **【活动】** ###

### **本次为大家免费寄送纸质正版图书！6月30日22点结束并开奖。** ###

**参与方法：**

1、文末点 **在看 **！

2、公众号后台、或者扫以下码，回复 **168**** **，参与抽奖！

![366f61ba960b2abc5657891d779679f2.png][]

**猜您喜欢：**

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]  **

**[CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总][CVPR 2021 _ GAN_3D]**

**[CVPR 2021 | 图像转换 今如何？几篇GAN论文][CVPR 2021 _ _ _GAN]**

[**【CVPR 2021】通过GAN提升人脸识别的遗留难题**][CVPR 2021_GAN]

[**CVPR 2021生成对抗网络GAN部分论文汇总**][CVPR 2021_GAN 1]

[**经典GAN不得不读：StyleGAN**][GAN_StyleGAN]

[**最新最全20篇！基于 StyleGAN 改进或应用相关论文**][20_ StyleGAN]

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![71e590ab7dbd54ed4c8ca40e561af510.png][]

[ab5f074e2ddbd716e1f7a4655f696dcb.png]: /images/20221005/994ff4efc5d84e3d96cc100d524663f7.png
[a6eff7ecd668ba8533b279dc8720b669.png]: /images/20221005/e62d2344ed7c499ebce7454f0f00c8ec.png
[6f1a2aaa0be55128618aca8330f57409.png]: /images/20221005/83fa951ac8da4f7993213d3d99b124d4.png
[836fef4bee41c397584a6a2d6ffa02a5.png]: /images/20221005/22835e6adc2c40f7beb7cf6224586488.png
[81ff3922fbf90b273c3f48281483bb49.png]: /images/20221005/892ce97adced46dd91039878905f62f5.png
[fdff34eb219a6be61d8c10ca91e22d16.png]: /images/20221005/3c07e1f64d6049a5b057f62be907f146.png
[d7ad6962373c827200cfe68732d2b28b.png]: /images/20221005/e8dbbe6480cc4aae87119e2bb7a2120c.png
[0479253e3afdb6707748d3cac9d84da1.png]: /images/20221005/ed450bc01c9a4cb9ac9a075edbe6297c.png
[641aa9c7d3aac23cfab529908dc4ef2a.png]: /images/20221005/901c38b5f80e4789a3790e58c3521b7b.png
[3b9c199f8c536d103e383c9fe7fcc00b.png]: /images/20221005/ef51956596ae4172b69ce0d10100c818.png
[b890f764dcdd6dae332008deb6ba68c3.png]: /images/20221005/c37806ce7ab347e2aa06ca4513357483.png
[366f61ba960b2abc5657891d779679f2.png]: /images/20221005/866ac92dd4d541968635cba6d0bbd60b.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[CVPR 2021 _ GAN_3D]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a41fac95dc8ec752351699318742fa502dfc945ce072567bb4bf0c59ce83049dc58c1a57d&idx=1&mid=2247492417&scene=21&sn=292be5e5fab52c5df5c94508b898da5a#wechat_redirect
[CVPR 2021 _ _ _GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4278c95dcb6ebd0ba346a11dc195a0ac4f7830f3a7cf69fcffc7057fa1bf3eaeb9386300&idx=1&mid=2247491779&scene=21&sn=f0a601ca66c01361709e6af8485f629b#wechat_redirect
[CVPR 2021_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4289c95dcb9f047c18e63b3be9d78e5e75f1d94dc80be34686ce6b4f22cdee2d7cc7f2ae&idx=1&mid=2247491634&scene=21&sn=427cb6bfd6868662f2b5ae1ac37f6072#wechat_redirect
[CVPR 2021_GAN 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bfe4c95e36f275332b31b993532b98d52acc76d26c15e2321de4cf52141510bee3ff96af&idx=1&mid=2247490911&scene=21&sn=671926492c3b36e3350db4963f7fcb16#wechat_redirect
[GAN_StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bedbc95e37cd709f583372918478ad8d3cff5309a85f3a940e7c0356050278f89d7e1c79&idx=2&mid=2247490656&scene=21&sn=bbe156fef077f23263b57e506ad43314#wechat_redirect
[20_ StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29b979c95e306f03b134809b16009d06aa0694b03da3368f84625de3700e6a56221d49d1bf&idx=1&mid=2247490498&scene=21&sn=324cfbbde362a728aa5336f4b200f7a3#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[71e590ab7dbd54ed4c8ca40e561af510.png]: /images/20221005/92dccb535eec41e7b03fef3d380c83b4.png