AI 修复：抗美援朝影像

╰半夏微凉° 2022-09-14 11:19 200阅读 0赞

点击上方“**机器学习与生成对抗网络**”，关注星标

获取有趣、好玩的前沿干货！

##### ‍‍   博雯 发自 凹非寺 量子位 报道 | 公众号 QbitAI #####

你对“历史”这个词的第一印象是什么？

很多人的脑海中最先冒出来的，或许是像下面这样粗糙颗粒、老旧模糊的黑白影片：

![278eedb3ee6d864e9f9e3973ed41d3c1.gif][]

###### **△**图源1951年纪录片《抗美援朝》 ######

但现在，在AI修复技术的帮助下，那些模糊的影片也能被赋予色彩：

![ce02573674f70045ffe15ab6d1406d60.gif][]

在听到最新一批在韩中国人民志愿军烈士遗骸将于9月2日被移送回国的消息之后，“AI修复师”**大谷Spitzer**便再一次用这种独特的方法，表达了自己的哀思。

而共青团中央官博也转发了这段AI上色后的特殊视频，并表示：

> 山河无恙，英雄不朽。

![9fa4a8faa6c4de36b431d86420b3d8b8.png][]

## 历史并非黑白无声 ##

就如同电影《你好，李焕英》中，那段仿佛“一脚踏入现实”的从黑白到彩色的镜头一样。

当这段70年前的纪录片染上色彩之时，我们这些观者也不禁有一种向历史踏近了一步的感觉。

有穿着绿色军装，**扛着红旗**前行的小战士们：

![72ef160b0d0482c56b8bf8b35a6ce711.gif][]

有挤在**绿皮火车**上，与自己的亲朋好友告别的军人们：![91aaef69275a2976b0ab91761a2c4d7d.gif][]

还有踩在**黄色土地**上，从鸭绿江上横跨而过的队伍：

![679ee2fb907d4b9ac42ae9fd2939c9f6.gif][]

制作者大谷Spitzer表示，“每次修复这些历史影像，都能给我带来很大的震撼”。

![b5177e6ecf41da87908c76ec27feb981.png][]

而在之前的“让革命先烈露出微笑”的项目中，他也解释了自己所认为的“AI修复的意义”：

> 我会把它定义成五分钟彼岸的一个概念。
> 
> 就是说，在这种纷繁复杂的现代社会中，可能抽个五分钟去看一段古代的影像，或者以前的影响，看看当时的古人们是如何生活的，他们所思所想是怎样的。

![f04f5a483ac9d1556e73100212c1e90a.png][]

## AI如何修复 ##

对于这次修复，大谷坦言，“技术难点在于多人物镜头的修复”。

因此，他使用了支持TensorFlow、Flink等多种计算框架的机器学习平台**PAI**。

在平台中，他增加了更多参考帧，并与其他的AI上色分辨率提升模型进行拼合，最终达到了很好的修复效果。

![0ba5a277d06e6e6fa39522f230e6d150.gif][]

而在之前的项目中，大谷Spitzer也对自己所使用的AI修复技术进行了详细解释。

比如，用于脸部高清增强的是**GAN先验嵌入式网络**，也就是GPEN（GAN prior embedded network）。

这一网络架构会将GAN先验网络嵌入到深度神经网络（DNN）中，并从中进行微调。

![30c0d1bbcfb4ca8de58b2594c1cf275f.png][]

上色的则是基于NoGAN技术的**DeOldify**，这种新型的GAN训练模型能够解决视频中物体闪烁等问题：

![ce6a891683a97e3d9ce85d37aa05c66e.gif][]

![32d8ff9b82f78f082268d2547ef33f79.gif][]

此外，还有负责视频帧插值的RIFE，用于脸部生成的Artbreeder，以及增加分辨率的Topaz Labs。

## 那些相隔百年的对视 ##

其实在AI修复技术愈发成熟的今天，已经有越来越多的项目开始用到这项技术。

比如大谷Spitzer在去年就做过“晚清时期的北京”影像修复，玩了一把百年前的“老北京Vlog”：

![4a7853d2962f23eefd5d6b9938aa1b2d.gif][]

而今年五月四日，央视还在AI修复节目《彩绘中国·觉醒》中展示了一段彩色的五四运动现场：

![41a1818f1415f8d805f660f350486520.gif][]

这一节目的执行编导说到他们为老影像进行修复上色的初衷，只是“想还原一段历史”。

> 因为当时的人们并非生活在黑白无声的世界里。
> 
> 我们所有的努力就是想向老影像致敬并以电影的体验方式呈现出来，以此把观众带入到那段时空当中去，感受一百年前人们的精神风貌。

这也正像是这位网友所说的那样：

> 我们周围的高技术越多，就越需要人的感情。

![c4b7150975dd024cd8a4f19de2d6deb9.png][]

最后附上完整视频：

参考链接：

\[1\]https://weibo.com/2395607675/KuLYKfPO7?filter=hot&root\_comment\_id=0&type=comment  
\[2\]https://www.qbitai.com/2020/05/14211.html  
\[3\]https://www.qbitai.com/2021/07/25886.html

本文来源：量子位，版权属于原作者，仅用于学术分享

**猜您喜欢：**

[**等你着陆！【GAN生成对抗网络】知识星球！**][GAN]

[**CVPR 2021专题1：GAN的改进**][CVPR 2021_1_GAN]

**[CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总][CVPR 2021 _ GAN_3D]**

**[CVPR 2021 | 图像转换 今如何？几篇GAN论文][CVPR 2021 _ _ _GAN]**

[**【CVPR 2021】通过GAN提升人脸识别的遗留难题**][CVPR 2021_GAN]

[**CVPR 2021生成对抗网络GAN部分论文汇总**][CVPR 2021_GAN 1]

[**经典GAN不得不读：StyleGAN**][GAN_StyleGAN]

[**最新最全20篇！基于 StyleGAN 改进或应用相关论文**][20_ StyleGAN]

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][_ _100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![870954cc39383fae531ba596ceea7678.png][]

[278eedb3ee6d864e9f9e3973ed41d3c1.gif]: /images/20220828/cd4d295567034b88a6cbeed58eec2737.png
[ce02573674f70045ffe15ab6d1406d60.gif]: /images/20220828/86dec767c0d044a3822cc06ff42e3957.png
[9fa4a8faa6c4de36b431d86420b3d8b8.png]: /images/20220828/2395db80e71042f387b7217c82e38afe.png
[72ef160b0d0482c56b8bf8b35a6ce711.gif]: /images/20220828/455b5f13cd7d48a4bf15cccbda254c2c.png
[91aaef69275a2976b0ab91761a2c4d7d.gif]: /images/20220828/298d4e8e7fc84ba2a413d10bffdb6e97.png
[679ee2fb907d4b9ac42ae9fd2939c9f6.gif]: /images/20220828/e1bdcb8f86ab477ba65a8e640a317f0c.png
[b5177e6ecf41da87908c76ec27feb981.png]: /images/20220828/540a4a352f9d447c908397bb609dc602.png
[f04f5a483ac9d1556e73100212c1e90a.png]: /images/20220828/072b5251c8e64c6aaea7f4ff94225c39.png
[0ba5a277d06e6e6fa39522f230e6d150.gif]: /images/20220828/047bdcecf08f4b679552c25345194069.png
[30c0d1bbcfb4ca8de58b2594c1cf275f.png]: /images/20220828/9ff3a4b64bf940009516e154b35d1e67.png
[ce6a891683a97e3d9ce85d37aa05c66e.gif]: /images/20220828/d32be64fad6b4aae81afc0666a4a0f75.png
[32d8ff9b82f78f082268d2547ef33f79.gif]: /images/20220828/e62e9f85836641b0afff6c5b74ef78ae.png
[4a7853d2962f23eefd5d6b9938aa1b2d.gif]: /images/20220828/04889caba0764bd3b5bcb098f021787d.png
[41a1818f1415f8d805f660f350486520.gif]: /images/20220828/aa7a14330c88408e8e2d20c963369d1a.png
[c4b7150975dd024cd8a4f19de2d6deb9.png]: /images/20220828/af8e2b9ec90a4aa9a0fd0ff505646b8c.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247493528&idx=1&sn=a6ad486ec02f36c97bc9a7c86f986765&chksm=fe2a4523c95dcc3526ebf62751f7a8f319082ed358f3a8c37e98188206f7d71daf2885028bf9&scene=21#wechat_redirect
[CVPR 2021_1_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247493902&idx=1&sn=14c01f114bd69bd6a94adf79296009c8&chksm=fe2a4bb5c95dc2a3c7ea2f02e430cd72ee4a200552cc74e323c0a3b6eac891c923e9b10d14ba&scene=21#wechat_redirect
[CVPR 2021 _ GAN_3D]: https://blog.csdn.net/moxibingdao/article/details/116773486
[CVPR 2021 _ _ _GAN]: https://blog.csdn.net/moxibingdao/article/details/115410691
[CVPR 2021_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247491634&idx=1&sn=427cb6bfd6868662f2b5ae1ac37f6072&chksm=fe2a4289c95dcb9f047c18e63b3be9d78e5e75f1d94dc80be34686ce6b4f22cdee2d7cc7f2ae&scene=21#wechat_redirect
[CVPR 2021_GAN 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247490911&idx=1&sn=671926492c3b36e3350db4963f7fcb16&chksm=fe29bfe4c95e36f275332b31b993532b98d52acc76d26c15e2321de4cf52141510bee3ff96af&scene=21#wechat_redirect
[GAN_StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247490656&idx=2&sn=bbe156fef077f23263b57e506ad43314&chksm=fe29bedbc95e37cd709f583372918478ad8d3cff5309a85f3a940e7c0356050278f89d7e1c79&scene=21#wechat_redirect
[20_ StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247490498&idx=1&sn=324cfbbde362a728aa5336f4b200f7a3&chksm=fe29b979c95e306f03b134809b16009d06aa0694b03da3368f84625de3700e6a56221d49d1bf&scene=21#wechat_redirect
[100_CVPR 2020_GAN]: https://blog.csdn.net/lgzlgz3102/article/details/107075585
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247485709&idx=2&sn=55a51c98ab48f393ba305c082ba0e4fe&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&scene=21#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247485091&idx=2&sn=f569d5d70c2e6c9cc567fbc5147787a4&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&scene=21#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247485635&idx=2&sn=90608bce32fe353cf3c64b39e3406bc3&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&scene=21#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247484959&idx=2&sn=563999cc8d48498beed00270844ceec4&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&scene=21#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247484929&idx=1&sn=523220858287ed3e6105919703c8e833&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&scene=21#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247485195&idx=2&sn=e3387067db29d1759755c6c2ea96c870&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&scene=21#wechat_redirect
[_ _100_CVPR 2020_GAN]: https://blog.csdn.net/lgzlgz3102/article/details/114860515
[Link 2]: https://blog.csdn.net/Yong_Qi2015/article/details/111714078
[870954cc39383fae531ba596ceea7678.png]: /images/20220828/1ae9e2296df14d80a4a546fbbb1d617f.png