百年老照片修复算法，那些高颜值的父母！

今天药忘吃喽~ 2022-12-10 15:00 227阅读 0赞

![百年老照片修复算法，那些高颜值的父母！][8280464de4c8cf78b60bcc9f09ffc052.png]

> 点赞再看，养成习惯，微信公众号搜索【JackCui-AI】关注这个爱发技术干货的程序员。本文 GitHub [Jack-Cherish/PythonPark][Jack-Cherish_PythonPark] 已收录，有一线大厂面试完整考点、资料以及我的系列文章。

## 一、前言 ##

你们家里，有没有高颜值的长辈老照片？

亦或是黑白、亦或是模糊，甚至是褶皱破损。

老照片承载着生命中的每一份意义，那是一代代人的回忆。

今天，Jack Cui 教大家**两个算法**，帮你搞定不清晰的、褶皱的老照片，黑白照片变彩照。

**模糊照片**，一键高清：

![百年老照片修复算法，那些高颜值的父母！][69574af0acfa65769d0983506f3b516b.png]

**褶皱照片**，一键复原：

![百年老照片修复算法，那些高颜值的父母！][ed3879f6780933c116357a442ff3795a.png]

**黑白照片**，一键上色：

![百年老照片修复算法，那些高颜值的父母！][a040d6c43f9ead02ab789887cddae562.png]

在这个人工智能的时代，**算法都能帮你搞定**！

## 二、算法 ##

模糊、褶皱[照片修复][Link 1]，是微软 2020 年最新的一篇 CVPR 文章：

「Bringing Old Photo Back to Life」

黑白照片上色，是一个经典上色老算法（2018年）：

「DeOldify」

### 1、Bringing Old Photo Back to Life ###

该文作者来自香港城市大学、微软亚洲研究院、微软云 + AI 、中国科学技术大学。

作者使用变分自动编码机（VAE）将图像变换到隐空间，并在隐空间进行图像恢复操作。

![百年老照片修复算法，那些高颜值的父母！][3de65ac25105370dabf054d315acbdcf.png]

听不懂，说人话！

举个例子，国际象棋大师观察棋盘 5 秒，就能记住所有棋子的位置，而常人是无法办到的。

但棋子的摆放必须是实战中的棋局（也就是棋子存在的内在规则），棋子随机摆放可不行。

象棋大师并不是记忆力优于我们，而是经验丰富，很擅于识别象棋模式，从而高效地记忆棋局。

自动编码机（VAE）就是「象棋大师」，它可以找到图片的内在规则（隐空间），然后通过自己的方式表示出来。

作者使用了两个 VAE：

第一个 VAE 用于将合成的老照片（模糊、磨损）进行编码到隐空间。

第二个 VAE 用于将对应的干净的老照片进行编码。

然后，在隐空间学习从污损的老照片到干净照片的映射。

就这样，实现了一个老照片的修复算法。

这个有点像在学习控制图片清晰、磨损的一个特征表示，通过控制这个特征，可以达到修复破损照片的目的。

论文的修复效果：

![百年老照片修复算法，那些高颜值的父母！][b8586462820628b05ccd77c38e688429.png]

算法开源，还有预训练模型，可以直接测试效果。

项目地址：

[https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life][https_github.com_microsoft_Bringing-Old-Photos-Back-to-Life]

项目依赖于「Synchronized-BatchNorm-PyTorch」，按照教程配置即可。

第一步，clone 工程：

git clone https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life

第二步，进入工程目录，clone 依赖项目：

cd Face_Enhancement/models/networks/
    git clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorch
    cp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm .
    cd ../../../
     
    cd Global/detection_models
    git clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorch
    cp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm .
    cd ../../

第三步，下载预训练模型。

cd Face_Detection/
    wget http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2
    bzip2 -d shape_predictor_68_face_landmarks.dat.bz2
    cd ../

然后分别下载 Global 和 Face\_Enhancement 的训练好的模型，并**解压**，放在对应目录下：

Global：

[https://facevc.blob.core.windows.net/zhanbo/old\_photo/pretrain/Global/checkpoints.zip][https_facevc.blob.core.windows.net_zhanbo_old_photo_pretrain_Global_checkpoints.zip]

Face\_Enhancement：

[https://facevc.blob.core.windows.net/zhanbo/old\_photo/pretrain/Face\_Enhancement/checkpoints.zip][https_facevc.blob.core.windows.net_zhanbo_old_photo_pretrain_Face_Enhancement_checkpoints.zip]

下载速度慢，或者嫌麻烦，可以下载我打包好的工程，拿来直接用！

**模型、代码、素材**，工程下载地址（提取码：jack）：

网盘链接：[https://pan.baidu.com/s/1jVjd8dS0j0AnWeFI-7l-eA][https_pan.baidu.com_s_1jVjd8dS0j0AnWeFI-7l-eA]

使用方法：

没有裂痕的图像修复，就是图片不清晰，可以用如下指令：

python run.py --input_folder [test_image_folder_path] \
                  --output_folder [output_path] \
                  --GPU 0

将你想修复的图片放到 \[test\_image\_folder\_path\] 目录下（自己指定），生成的图片会放到 \[output\_path\] 目录中。

对于裂痕的图片，需要额外增加一个参数，指令如下：

python run.py --input_folder [test_image_folder_path] \
                  --output_folder [output_path] \
                  --GPU 0 \
                  --with_scratch

这里需要注意的是，指定的路径需要使用**绝对路径**。

运行效果（点图查看）：

[![57afc0789ee2dd2852c98e9dec97415c.png][]][57afc0789ee2dd2852c98e9dec97415c.png 1]

### 2、DeOldify ###

「DeOldify」是一个图片上色算法。

曾经上过热搜的修复百年前老北京的影像，就是用的这个算法。

![百年老照片修复算法，那些高颜值的父母！][a040d6c43f9ead02ab789887cddae562.png]

一切都是现成的，用起来很简单。

DeOldify 就是一种对抗生成网络的应用。

其原理是使用 NoGAN 技术，它结合了 GAN 训练的优点，比如出色的上色效果，同时也消除了一些副作用，比如画面着色不稳定、闪烁的现象。

算法出了很久，算法原理教程应该很多，这里就不再累述，我们直接看怎么用吧。

项目地址：

[https://github.com/jantic/DeOldify][https_github.com_jantic_DeOldify]

需要配置的上文一样，安装一些库，然后下载模型权重文件。

项目工程页里详细说明了下载哪些文件，需要安装什么。

配置好后，在工程目录编写如下代码：

#NOTE:  This must be the first call in order to work properly!
    from deoldify import device
    from deoldify.device_id import DeviceId
    #choices:  CPU, GPU0...GPU7
    device.set(device=DeviceId.GPU0)
    
    import torch
    
    if not torch.cuda.is_available():
        print('GPU not available.')
        
    import fastai
    from deoldify.visualize import *
    import warnings
    warnings.filterwarnings("ignore", category=UserWarning, message=".*?Your .*? set is empty.*?")
    
    colorizer = get_image_colorizer(artistic=True)
    
    colorizer.plot_transformed_image("test_images/1.png", render_factor=10, compare=True)

test\_images/1.png 为要上色的图片，运行程序，就可以实现为黑白照片上色。

![百年老照片修复算法，那些高颜值的父母！][100d1235fd8f2a7c3289906c690ee968.png]

还是，**模型、代码、素材**都已打包，工程下载地址（提取码：jack）：

网盘链接：[https://pan.baidu.com/s/17sma\_a1ICJMY07KLnDpiww][https_pan.baidu.com_s_17sma_a1ICJMY07KLnDpiww]

打开 Jupyter 直接运行 run.ipynb 文件即可，生成的结果保存在 result\_images 文件夹中。

除了处理图片，为视频上色也不在话下。

## 三、总结 ##

家中，是否有一些黑白老照片？

![百年老照片修复算法，那些高颜值的父母！][6d1a2aec5f7c3cde7327a94be6388c77.png]

为长辈修复下他们的老照片，是惊喜，也是心意。时光一逝永不回，往事只能回味~

长辈如有惊艳到，记得回来转发、点赞哦！

我是 Jack Cui，一个爱发技术干货的程序员，我们下期见~

> 文章持续更新，可以微信公众号搜索【JackCui-AI】第一时间阅读，本文 GitHub [Jack-Cherish/PythonPark][Jack-Cherish_PythonPark] 已经收录，有大厂面试完整考点，欢迎Star。

[8280464de4c8cf78b60bcc9f09ffc052.png]: /images/20221123/f5f6ef946dbf4336a3b4bd8cb7fc3f4b.png
[Jack-Cherish_PythonPark]: https://github.com/Jack-Cherish/PythonPark
[69574af0acfa65769d0983506f3b516b.png]: /images/20221123/c5eff196144f421ea98ca2a057d8b10c.png
[ed3879f6780933c116357a442ff3795a.png]: /images/20221123/72b006cbcce54b1496e7feae0c432506.png
[a040d6c43f9ead02ab789887cddae562.png]: /images/20221123/c1454d3ca8744c42a45add945dd53e70.png
[Link 1]: https://cuijiahua.com/blog/tag/%E7%85%A7%E7%89%87%E4%BF%AE%E5%A4%8D/
[3de65ac25105370dabf054d315acbdcf.png]: /images/20221123/967d6d8f5e9949919d452d244d31c2f2.png
[b8586462820628b05ccd77c38e688429.png]: /images/20221123/4ec1d83a0a564a9ab599eeb8015f13f2.png
[https_github.com_microsoft_Bringing-Old-Photos-Back-to-Life]: https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life
[https_facevc.blob.core.windows.net_zhanbo_old_photo_pretrain_Global_checkpoints.zip]: https://facevc.blob.core.windows.net/zhanbo/old_photo/pretrain/Global/checkpoints.zip
[https_facevc.blob.core.windows.net_zhanbo_old_photo_pretrain_Face_Enhancement_checkpoints.zip]: https://facevc.blob.core.windows.net/zhanbo/old_photo/pretrain/Face_Enhancement/checkpoints.zip
[https_pan.baidu.com_s_1jVjd8dS0j0AnWeFI-7l-eA]: https://pan.baidu.com/s/1jVjd8dS0j0AnWeFI-7l-eA
[57afc0789ee2dd2852c98e9dec97415c.png]: /images/20221123/848b36d5171e4c0ca9283629607ae9c3.png
[57afc0789ee2dd2852c98e9dec97415c.png 1]: https://cuijiahua.com/wp-content/uploads/2020/09/dl-29-7.mp4
[https_github.com_jantic_DeOldify]: https://github.com/jantic/DeOldify
[100d1235fd8f2a7c3289906c690ee968.png]: /images/20221123/4ddcb716c0304735a979874f2fd44315.png
[https_pan.baidu.com_s_17sma_a1ICJMY07KLnDpiww]: https://pan.baidu.com/s/17sma_a1ICJMY07KLnDpiww
[6d1a2aec5f7c3cde7327a94be6388c77.png]: /images/20221123/52ac40cd3d954016ae1485a8afb52cb6.png