英伟达StyleGAN团队新作：分析脸部纹理

不念不忘少年蓝@ 2022-10-12 01:56 254阅读 0赞

点击上方“**机器学习与生成对抗网络**”，关注星标

获取有趣、好玩的前沿干货！

##### 杨净 发自 凹非寺 量子位 报道 | 公众号 QbitAI #####

换脸的GAN，还能有啥突破？

要不，分析个脸部纹理试试。

![60f43b80da4f61415167ff4d6cfae75c.png][]

不得不说，真有点科幻电影的赶脚~

这是英伟达最新推出GAN——**Alias-Free GAN**，号称更适合图片和视频生成。

尤其是他们之前推出的StyleGAN2相比。

![958a1d681facc5d4192b00d43b7ac819.gif][]

在很多细节上， 比如头发、皱纹的转换、移动都更加顺滑。

![b4ed49fff8bffda9201d874433f466c7.gif][]

我仔细看了看，确实如此。

以前的StyleGAN2，就像是某些固定的点粘在屏幕上，然后脸在屏幕下面移动。

而最新的GAN，则是所有细节全都一起移动。

![11feee269bac6be42c04e76530ba06e2.gif][]

对此，有网友表示，

> StyleGAN2出来后，不知道在此基础上还能有啥突破。
> 
> 结果现在一对比，StyleGAN2更像是拙劣的视频游戏特效。

![d15cc97c0f7c470abb618517c285178f.png][]

## 论文详情 ##

一个典型的GAN是这样处理脸部细节的。

首先提取一些粗糙、低分辨率的特征，通过上采样层分层细化。随后经过卷积层进行局部混合，并经由非线性映射层引入新的细节。

呈现出来的效果就像是，移动头部导致了鼻子的移动，而鼻子又会移动周围的皮肤毛孔。

![128bd64fb29c469d8facb29844225ea0.gif][]

###### **△**StyleGAN2 ######

但这些细节特征有很强的位置偏好。

也就是说，这些细节特征每移动到一个位置，都会在那里停留很久，才移去下一个位置。

依然给人一种不太自然的感觉~

就好比是某个毛孔被固定住了，其他细节绕着它原地摩擦~

用他们的话来说，就是纹理粘连（texture sticking）。

比如StyleGAN2生成的毛发，大多坚持在相同的坐标上，形成了水平的条纹。

![11bd0986429e4ab0878889fb33e25cf5.gif][]

本次则主要针对两种类型的移动——平移和旋转，Alias-Free-T和Alias-Free-R。

传统的GAN网络结构，包括卷积、上采样、下采样和非线性这几个方面，而Alias-Free GAN整架构，是在StyleGAN2基础上调整的。

![5134199536189b9dc677d26630e5dab8.png][]

大致是这样一个调整过程。

首先，为了便于对输入的图像进行连续的平移和转化，他们用傅里叶特征取代StyleGAN2中的输入常数。接着，删除了每个像素中的噪声输入，因为它们与特征转换无关。

此外，他们还降低了映射网络的深度，并禁用了混合正则化和路径长度正则化。最后取消了输出跳过连接。

在实践中，还对卷积权重进行了划分。各层遵循严格的2×上采样时间表，在每个分辨率下执行两层，使得上采样后特征图的数量减半。

结果表明，与StyleGAN2相比，Alias-Free GAN在FID分数上表现的更好。

![a5e333b73fc1475f081fbaa4e8b0eb87.png][]

（FID 用于评估GAN生成图像的质量，分数越低说明图像质量越高）

![d8663d0dbea474948889791c7c1705ee.gif][]

## 英伟达出品 ##

![832019b15b33aaa67e0de7db42acbb1f.png][]

一作**Tero Karras**，可能熟悉StyleGAN系列的看出来了。

这位也是StyleGAN系列的主要开发者。

![94e5c5bdf3d97cb0c73c34624afe14e8.png][]

目前Alias-Free GAN还未开源，GitHub上还没有任何内容。

研究人员表示，预计9月开源。

论文链接：  
https://nvlabs-fi-cdn.nvidia.com/alias-free-gan/alias-free-gan-paper.pdf  
参考链接：  
\[1\]https://news.ycombinator.com/item?id=27606347  
\[2\]https://nvlabs.github.io/alias-free-gan/  
\[3\]https://github.com/NVlabs/alias-free-gan

**猜您喜欢：**

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]  **

**[CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总][CVPR 2021 _ GAN_3D]**

**[CVPR 2021 | 图像转换 今如何？几篇GAN论文][CVPR 2021 _ _ _GAN]**

[**【CVPR 2021】通过GAN提升人脸识别的遗留难题**][CVPR 2021_GAN]

[**CVPR 2021生成对抗网络GAN部分论文汇总**][CVPR 2021_GAN 1]

[**经典GAN不得不读：StyleGAN**][GAN_StyleGAN]

[**最新最全20篇！基于 StyleGAN 改进或应用相关论文**][20_ StyleGAN]

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![680ea9bdda83c05b743dfd753db0bfdf.png][]

[60f43b80da4f61415167ff4d6cfae75c.png]: /images/20221005/8dd6f0147de140c9bfdf88f2592e9359.png
[958a1d681facc5d4192b00d43b7ac819.gif]: /images/20221005/00ddc8543d1642e9896babb03836637d.png
[b4ed49fff8bffda9201d874433f466c7.gif]: /images/20221005/00f32762362445f8926b687761f7967f.png
[11feee269bac6be42c04e76530ba06e2.gif]: /images/20221005/b007b77dbb464fdf8d47a008ec7bf0ce.png
[d15cc97c0f7c470abb618517c285178f.png]: /images/20221005/1c78dfa1826f4e72900632fe38050574.png
[128bd64fb29c469d8facb29844225ea0.gif]: /images/20221005/870fedf0c9c54fdaaf26daf73e8cd876.png
[11bd0986429e4ab0878889fb33e25cf5.gif]: /images/20221005/fb17a419e087412181ddad6842d4abf6.png
[5134199536189b9dc677d26630e5dab8.png]: /images/20221005/cab3ecb26fc84e80a86d68590df7c5fd.png
[a5e333b73fc1475f081fbaa4e8b0eb87.png]: /images/20221005/4be272bade7b40928b6d40df0a767f5d.png
[d8663d0dbea474948889791c7c1705ee.gif]: /images/20221005/8b845532b449476fa024513f6450cd07.png
[832019b15b33aaa67e0de7db42acbb1f.png]: /images/20221005/9f9f4470b4f94221a92083b7f00e4425.png
[94e5c5bdf3d97cb0c73c34624afe14e8.png]: /images/20221005/fa6bc8a918a040e1925ddd32d0ff5a65.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[CVPR 2021 _ GAN_3D]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a41fac95dc8ec752351699318742fa502dfc945ce072567bb4bf0c59ce83049dc58c1a57d&idx=1&mid=2247492417&scene=21&sn=292be5e5fab52c5df5c94508b898da5a#wechat_redirect
[CVPR 2021 _ _ _GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4278c95dcb6ebd0ba346a11dc195a0ac4f7830f3a7cf69fcffc7057fa1bf3eaeb9386300&idx=1&mid=2247491779&scene=21&sn=f0a601ca66c01361709e6af8485f629b#wechat_redirect
[CVPR 2021_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4289c95dcb9f047c18e63b3be9d78e5e75f1d94dc80be34686ce6b4f22cdee2d7cc7f2ae&idx=1&mid=2247491634&scene=21&sn=427cb6bfd6868662f2b5ae1ac37f6072#wechat_redirect
[CVPR 2021_GAN 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bfe4c95e36f275332b31b993532b98d52acc76d26c15e2321de4cf52141510bee3ff96af&idx=1&mid=2247490911&scene=21&sn=671926492c3b36e3350db4963f7fcb16#wechat_redirect
[GAN_StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bedbc95e37cd709f583372918478ad8d3cff5309a85f3a940e7c0356050278f89d7e1c79&idx=2&mid=2247490656&scene=21&sn=bbe156fef077f23263b57e506ad43314#wechat_redirect
[20_ StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29b979c95e306f03b134809b16009d06aa0694b03da3368f84625de3700e6a56221d49d1bf&idx=1&mid=2247490498&scene=21&sn=324cfbbde362a728aa5336f4b200f7a3#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[680ea9bdda83c05b743dfd753db0bfdf.png]: /images/20221005/db101d7178254b06ad9796ff533af3c5.png