AI还原李焕英老照片动态影像，致敬每一位妈妈

╰半夏微凉° 2022-11-04 00:55 203阅读 0赞

> 点击“**机器学习与生成对抗网络**”，关注星标
> 
> 获取有趣、好玩的前沿干货！

机器之心报道   **编辑：张倩**

> 「从我有记忆开始，妈妈就是中年妇女的模样，所以我会忘记，她也曾是花季少女。」

春节档上映的《你好，李焕英》让不少人在影院哭得稀里哗啦，它戳中了每个人心里最柔软的部分。有人看完电影之后会给妈妈打个电话，有人会拿出妈妈年轻时的照片，感叹一下爸爸的基因为什么要那么强大。

B 站知名 up 主大谷也是《你好，李焕英》的影迷之一，不过他做了一点不一样的事情：尝试用一系列 AI 技术修复了李焕英年轻时的黑白照片，不仅给照片上了色、提高了分辨率，还让照片中的人物动了起来。

![format_png][]

*原始黑白照片。*

![aHR0cHM6Ly9pbWctYmxvZy5jc2RuaW1nLmNuL2ltZ19jb252ZXJ0L2NiZTk4YTUwZTJlNDBhZTNkZDA3OGQ3YzRiMWI4ZmZjLmdpZg][]

*修复后的动态彩色照片。*

整个修复的流程并不复杂，涉及 AI 色彩还原、AI 清晰度增强、脸部精修、手绘微调等过程：

![aHR0cHM6Ly9pbWctYmxvZy5jc2RuaW1nLmNuL2ltZ19jb252ZXJ0LzZkZjM4ZDY5MTJiMGNmMGY4NWJjNmI2N2ExYjU0ZTAzLmdpZg][]

![aHR0cHM6Ly9pbWctYmxvZy5jc2RuaW1nLmNuL2ltZ19jb252ZXJ0LzQwZTVmNGYzYzAzMTBmNTI2MzZmMjQ4YzRhMDIxMGEyLmdpZg][]

![aHR0cHM6Ly9pbWctYmxvZy5jc2RuaW1nLmNuL2ltZ19jb252ZXJ0LzMyOTY4NGQxYzAwMTBiYTVkMWU1YjcyYWZjYTU2OWEwLmdpZg][]

最终的修复效果如下：

![aHR0cHM6Ly9pbWctYmxvZy5jc2RuaW1nLmNuL2ltZ19jb252ZXJ0Lzc5MDhiOTc3YThmOGU0MmRjNDU3ZWI5ZjRiMmNhMjQ3LmdpZg][]

大谷表示，他是偶然间看到了这张老照片，很有感触，于是试着用 AI 脑补还原了一下拍摄前的动态影像。不过，由于还原场景动态与上色是基于 AI 技术生成，具有一定的想象元素，因此不等于准确还原。

为了帮助大家掌握这项技能，大谷还公布了他用到的两个开源项目：飞桨 PaddleGAN 和 DFDNet。

**飞桨 PaddleGAN**

GAN 的全称是生成对抗网络，被「卷积网络之父」Yann LeCun（杨立昆）誉为「过去十年计算机科学领域最有趣的想法之一」，是近年来火遍全网、AI 研究者最为关注的深度学习算法方向之一。

GAN 在诸多领域都有着成功的应用，如图像生成 / 修复、超分辨率、图像噪声消除、换装 / 妆、图像风格迁移、文字 / 声音生成等，覆盖互联网、娱乐、游戏等各个行业。

为了给开发者提供经典及前沿的生成对抗网络高性能实现，并支撑开发者快速构建、训练及部署生成对抗网络，百度飞桨打造了一个图像生成模型库——PaddleGAN，覆盖 Pixel2Pixel、CycleGAN、StyleGAN2、PSGAN 等经典 GAN 模型，支持视频插帧、超分辨率、老照片 / 视频上色、视频动作生成等应用。

除了上面展示的视频修复，PaddleGAN 还能提供各类不同的图形影像生成、处理能力。人脸属性编辑能力能够在人脸识别和人脸生成基础上，操纵面部图像的单个或多个属性，实现换妆、变老、变年轻、变换性别、发色等，使得一键换脸成为可能 \*；\* 动作迁移能够实现肢体动作变换、人脸表情动作迁移等。

比如这样：

![aHR0cHM6Ly9pbWctYmxvZy5jc2RuaW1nLmNuL2ltZ19jb252ZXJ0LzdhNWZmMjhiOGNiMjA5YzFlYzM5NWYxZTIwNjFhZjFiLmdpZg][]

*让苏大强表达心中之痛，唱起 unravel（视频链接：https://www.bilibili.com/video/BV1Yy4y1r7DC）。*

这样：

![aHR0cHM6Ly9pbWctYmxvZy5jc2RuaW1nLmNuL2ltZ19jb252ZXJ0LzFkZmIyZDYxZmU3NWY2ZTM0MTQ2MGM0OGFlZGI5MjgwLmdpZg][]

![aHR0cHM6Ly9pbWctYmxvZy5jc2RuaW1nLmNuL2ltZ19jb252ZXJ0LzE2YzBlNGIwZDE3YjJlOGUzNzIyZWE2YmRlZmI4MzNlLmdpZg][]

还有这样：

![format_png 1][]

PaddleGAN 项目链接：https://github.com/PaddlePaddle/PaddleGAN/blob/develop/README\_cn.md

**DFDNet**

近年来，基于参考的人脸修复方法已经受到了很多关注，但这些方法大多需要来自相同身份的高质量的参考图像，因此只适用于有限的场景。为了解决这一问题，来自哈尔滨工业大学、香港大学等机构的研究者在《Blind Face Restoration via Deep Multi-scale Component Dictionaries》一文中提出了一种名为深度人脸字典网络（deep face dictionary network，DFDNet）的方法来指导退化观测（dgraded observation 的修复过程。

首先，作者使用 K-means，利用高质量图像为感知显著的人脸部位（如左 / 右眼、鼻子和嘴）生成深度字典。接下来，利用退化输入（degraded input），研究者从相应的字典中匹配和选择最相似的部位特征，并通过提出的字典特征迁移块（DFT）将高质量的细节迁移到输入上。最后，利用多尺度字典逐步实现从粗粒度到细粒度的修复。

实验结果表明，作者提出的方法在定性和定量评估中都能实现合理的性能。更加重要的是，该方法可以在不需要 identity-belonging 参考的情况下，利用真实的退化图像（degraded image）生成逼真、有前景的结果。以下是一些人脸修复效果展示：

![format_png 2][]

![format_png 3][]

![format_png 4][]

该网络的基本结构如下：

![format_png 5][]

![format_png 6][]

*网络主要包含两个部分：a. 从大量包含各种姿态和表情的高质量图像中离线生成多尺度组件字典。这部分使用 K-means 算法为每个部位（即左 / 右眼、鼻子和嘴）在不同尺度上生成 K 个簇；b. 修复过程和字典特征迁移（DFT）块，用于以渐进的方式提供参考细节。*

*  论文链接：https://arxiv.org/pdf/2008.00418.pdf
 *  项目链接：https://github.com/csxmli2016/DFDNet

*参考链接：*

*https://mp.weixin.qq.com/s/xSic1Tk93dk\_N1qMylymtg*

*https://www.bilibili.com/video/BV1wh411k7YN?p=1&share\_medium=iphone&share\_plat=ios&share\_source=WEIXIN\_MONMENT&share\_tag=s\_i×tamp=1613972331&unique\_k=KQGwoS *

**猜您喜欢：**

[**超100篇！CVPR 2020最全GAN论文梳理汇总！**][100_CVPR 2020_GAN]

[拆解组新的GAN：解耦表征MixNMatch][GAN_MixNMatch]

[StarGAN第2版：多域多样性图像生成][StarGAN_2]

[附下载 | 《可解释的机器学习》中文版][Link 1]

[附下载 |《TensorFlow 2.0 深度学习算法实战》][_TensorFlow 2.0]

[附下载 |《计算机视觉中的数学方法》分享][Link 2]

[《基于深度学习的表面缺陷检测方法综述》][Link 3]

[《零样本图像分类综述: 十年进展》][Link 4]

[《基于深度神经网络的少样本学习综述》][Link 5]

![format_png 7][]

[format_png]: /images/20221023/ea7f194e832f4ded8254ca5ff375beee.png
[aHR0cHM6Ly9pbWctYmxvZy5jc2RuaW1nLmNuL2ltZ19jb252ZXJ0L2NiZTk4YTUwZTJlNDBhZTNkZDA3OGQ3YzRiMWI4ZmZjLmdpZg]: /images/20221023/621dc709417e4ddc936eb6b3272c8903.png
[aHR0cHM6Ly9pbWctYmxvZy5jc2RuaW1nLmNuL2ltZ19jb252ZXJ0LzZkZjM4ZDY5MTJiMGNmMGY4NWJjNmI2N2ExYjU0ZTAzLmdpZg]: /images/20221023/f32c1169ae4448a2be00f3791bc17ee9.png
[aHR0cHM6Ly9pbWctYmxvZy5jc2RuaW1nLmNuL2ltZ19jb252ZXJ0LzQwZTVmNGYzYzAzMTBmNTI2MzZmMjQ4YzRhMDIxMGEyLmdpZg]: /images/20221023/47e67463214644baa626323bd24f0531.png
[aHR0cHM6Ly9pbWctYmxvZy5jc2RuaW1nLmNuL2ltZ19jb252ZXJ0LzMyOTY4NGQxYzAwMTBiYTVkMWU1YjcyYWZjYTU2OWEwLmdpZg]: /images/20221023/3b3082364489445d83db17d852b56a4d.png
[aHR0cHM6Ly9pbWctYmxvZy5jc2RuaW1nLmNuL2ltZ19jb252ZXJ0Lzc5MDhiOTc3YThmOGU0MmRjNDU3ZWI5ZjRiMmNhMjQ3LmdpZg]: /images/20221023/15196bde3c994d5e84c340c12125b4ff.png
[aHR0cHM6Ly9pbWctYmxvZy5jc2RuaW1nLmNuL2ltZ19jb252ZXJ0LzdhNWZmMjhiOGNiMjA5YzFlYzM5NWYxZTIwNjFhZjFiLmdpZg]: /images/20221023/a1d7cb1b2c26481798b52da8bee084f5.png
[aHR0cHM6Ly9pbWctYmxvZy5jc2RuaW1nLmNuL2ltZ19jb252ZXJ0LzFkZmIyZDYxZmU3NWY2ZTM0MTQ2MGM0OGFlZGI5MjgwLmdpZg]: /images/20221023/5cfc6be1062c4bcfac95a9eb9f731ef8.png
[aHR0cHM6Ly9pbWctYmxvZy5jc2RuaW1nLmNuL2ltZ19jb252ZXJ0LzE2YzBlNGIwZDE3YjJlOGUzNzIyZWE2YmRlZmI4MzNlLmdpZg]: /images/20221023/fb4be95cf42e4183b5c044db32b3a022.png
[format_png 1]: /images/20221023/eadf530916c0473a9d4b2f2a7f3da45f.png
[format_png 2]: /images/20221023/4ea5f9c2f49a4084924a76a969520db5.png
[format_png 3]: /images/20221023/0f29df2d98204d4abe85dc745d6ee4b5.png
[format_png 4]: /images/20221023/8008e9573161446e91ae4cf387b7536f.png
[format_png 5]: /images/20221023/92385a7304ae4ef3b77c81c0f152e5d8.png
[format_png 6]: /images/20221023/c1637ca8ead04ace98c306b97ce017ec.png
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[GAN_MixNMatch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aaa9c95e23bf3131249a8d008ce3acdff7c52c7f6be84d92c6d607ca804b5ceb2a4222e3&idx=1&mid=2247485458&scene=21&sn=9f562c1de84dada67268f88c72ff77ff#wechat_redirect
[StarGAN_2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29ab6ec95e22785abb2afbb2e2b1c95780a4d6bfceeb915118440b41a81769a8776dcc62b7&idx=1&mid=2247485909&scene=21&sn=048d1336b8083bac3755e27a1f968d06#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e2399a93dae3af3b13626643b18cf42842d1a7ada0de46486fa8b865aa2421d2f&idx=1&mid=2247485492&scene=21&sn=6f8af433521b5fee5aceab62e0111115#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a44fc95e2d597fc88ca7f10cae079f821deedb6f93b10f0985aa8f6f7c06e369d716f785&idx=1&mid=2247485172&scene=21&sn=f65b58ed3b4c1d09163271069dce4738#wechat_redirect
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a7e6c95e2ef0a6649c0c904fa28b61b4ac76774df4acdce8fff3a909369c7c2f8d22a4b5&idx=1&mid=2247484765&scene=21&sn=b1b9a9ef6c923abad6cf38364105264c#wechat_redirect
[format_png 7]: /images/20221023/dde5b546cf434561b4d3090ab1ed9c57.png