Python OpenCV 图像风格迁移(模仿名画)

冷不防 2022-05-08 19:18 425阅读 0赞

现在很多人都喜欢拍照（自拍）。有限的滤镜和装饰玩多了也会腻，所以就有 APP 提供了**模仿名画风格**的功能，比如 prisma、versa 等，可以把你的照片变成 **梵高、毕加索、蒙克** 等大师的风格。

![v2-36fa30453d1be000534d52fdbb88b369_b.jpg][]

这种功能叫做“**图像风格迁移**”，几乎都是基于 CVPR 2015 的论文《**A Neural Algorithm of Artistic Style**》和 ECCV 2016 的论文《**Perceptual Losses for Real-Time Style Transfer and Super-Resolution**》中提出的算法，以及后续相关研究的基础上开发出来的。

通俗来讲，就是借助于**神经网络**，预先将名画中的风格训练成出模型，在将其应用在不同的照片上，生成新的风格化图像。

![v2-e94990eecd99e2c0f0dd5a53e390e4fa_b.jpg][] 来自《A Neural Algorithm of Artistic Style》

而因为神经网络在计算机视觉方面的应用越来越广，著名的视觉开发库 OpenCV 在 3.3 版本中正式引入 **DNN（深度神经网络）**，支持 Caffe、TensorFlow、Torch/PyTorch 等主流框架的模型，可用以实现图像的识别、检测、分类、分割、着色等功能。  
我最近才发现在 OpenCV 的 Sample 代码中就有图像风格迁移的 Python 示例（原谅我的后知后觉），是基于 ECCV 2016 论文中的网络模型实现。所以，即使作为人工智能的菜鸟，也可以拿别人训练好的模型来玩一玩，体会下神经网络的奇妙。

（相关代码和模型的获取见文末）

OpenCV 官方代码地址： [https://github.com/opencv/opencv/blob/3.4.0/samples/dnn/fast\_neural\_style.py][https_github.com_opencv_opencv_blob_3.4.0_samples_dnn_fast_neural_style.py]

目录下通过执行命令运行代码：

python fast_neural_style.py --model starry_night.t7

`model` 参数是提供预先训练好的模型文件路径，OpenCV 没有提供下载，但给出的参考项目 [https://github.com/jcjohnson/fast-neural-style][https_github.com_jcjohnson_fast-neural-style] 中可以找到

其他可设置参数有：

*  `input` 可以指定原始图片/视频，如果不提供就默认使用摄像头实时采集。
 *  `width`、`height`，调整处理图像的大小，设置小一点可以提高计算速度。在我自己的电脑上，300x200 的转换视频可以达到 15 帧/秒。
 *  `median_filter` 中值滤波的窗口大小，用来对结果图像进行平滑处理，这个对结果影响不大。

执行后的效果（取自 jcjohnson/fast-neural-style）：

![v2-ebaf49631ca66c8faa702b57711dad72_b.jpg][] 原始图像![v2-c462312a54ce490daa2b757c88aa5c72_b.jpg][] ECCV16 models![v2-1b8200ee32746fbe8e31c42bfb4d9f02_b.jpg][] instance\_norm models

核心代码其实很短，就是 **加载模型 -> 读取图片 -> 进行计算 -> 输出图片**，我在官方示例基础上进一步简化了一下：

import cv2
    # 加载模型
    net = cv2.dnn.readNetFromTorch('the_scream.t7')
    net.setPreferableBackend(cv2.dnn.DNN_BACKEND_OPENCV);
    # 读取图片
    image = cv2.imread('test.jpg')
    (h, w) = image.shape[:2]
    blob = cv2.dnn.blobFromImage(image, 1.0, (w, h), (103.939, 116.779, 123.680), swapRB=False, crop=False)
    # 进行计算
    net.setInput(blob)
    out = net.forward()
    out = out.reshape(3, out.shape[2], out.shape[3])
    out[0] = 103.939
    out[1] = 116.779
    out[2] = 123.68
    out /= 255
    out = out.transpose(1, 2, 0)
    # 输出图片
    cv2.imshow('Styled image', out)
    cv2.waitKey(0)

另外还改了个多效果实时对比的版本（计算量大了，很卡顿），也一并上传在代码中。

![v2-e13ba404e7f133960381275c49dc3304_b.gif][]

PS：前两天看赵雷演唱会的时候我还说：他演唱会的背景 MV 大量使用了 图像二值化、边缘检测 等操作，让我想到以前数字图像处理课的大作业……现在图像风格迁移的效率达到了实时，想必以后也会经常被使用吧

获取文中相关代码和模型下载地址，请在公众号（**Crossin的编程教室**）对话中回复关键字 **名画**

════  
*其他文章及回答：*

欢迎微信搜索及关注：**Crossin的编程教室**

![154816tsh373rusgwbxs7w.png][]

[v2-36fa30453d1be000534d52fdbb88b369_b.jpg]: http://crossin-forum.b0.upaiyun.com/upload-by-code/20181015/v2-36fa30453d1be000534d52fdbb88b369_b.jpg
[v2-e94990eecd99e2c0f0dd5a53e390e4fa_b.jpg]: http://crossin-forum.b0.upaiyun.com/upload-by-code/20181015/v2-e94990eecd99e2c0f0dd5a53e390e4fa_b.jpg
[https_github.com_opencv_opencv_blob_3.4.0_samples_dnn_fast_neural_style.py]: https://link.zhihu.com/?target=https://github.com/opencv/opencv/blob/3.4.0/samples/dnn/fast_neural_style.py
[https_github.com_jcjohnson_fast-neural-style]: https://link.zhihu.com/?target=https://github.com/jcjohnson/fast-neural-style
[v2-ebaf49631ca66c8faa702b57711dad72_b.jpg]: http://crossin-forum.b0.upaiyun.com/upload-by-code/20181015/v2-ebaf49631ca66c8faa702b57711dad72_b.jpg
[v2-c462312a54ce490daa2b757c88aa5c72_b.jpg]: http://crossin-forum.b0.upaiyun.com/upload-by-code/20181015/v2-c462312a54ce490daa2b757c88aa5c72_b.jpg
[v2-1b8200ee32746fbe8e31c42bfb4d9f02_b.jpg]: http://crossin-forum.b0.upaiyun.com/upload-by-code/20181015/v2-1b8200ee32746fbe8e31c42bfb4d9f02_b.jpg
[v2-e13ba404e7f133960381275c49dc3304_b.gif]: http://crossin-forum.b0.upaiyun.com/upload-by-code/20181015/v2-e13ba404e7f133960381275c49dc3304_b.gif
[Python]: https://www.zhihu.com/question/20702054/answer/19022301
[Link 1]: https://zhuanlan.zhihu.com/p/25824007
[Link 2]: https://zhuanlan.zhihu.com/p/34685564
[debug]: https://zhuanlan.zhihu.com/p/45298171
[Python 1]: http://zhuanlan.zhihu.com/p/36064871
[Link 3]: https://zhuanlan.zhihu.com/p/44918640
[Link 4]: https://zhuanlan.zhihu.com/p/36581953
[Link 5]: http://zhuanlan.zhihu.com/p/29043669
[Link 6]: http://zhuanlan.zhihu.com/p/28726244
[Python 2]: https://zhuanlan.zhihu.com/p/37664927
[Link 7]: http://zhuanlan.zhihu.com/p/46396868
[requests]: https://zhuanlan.zhihu.com/p/38466193
[AI]: https://zhuanlan.zhihu.com/p/39937847
[154816tsh373rusgwbxs7w.png]: http://crossin-forum.b0.upaiyun.com/forum/201806/28/154816tsh373rusgwbxs7w.png