为艺术而生的惊艳算法

悠悠 2022-12-23 03:54 232阅读 0赞

![为艺术而生的惊艳算法][b321be065208ccb3c0b96ec505f23d8b.png]

> 来自：[https://cuijiahua.com/blog/2020/11/ai-6.html][https_cuijiahua.com_blog_2020_11_ai-6.html]

### 一、前言 ###

大家好，我是 Jack 。

周一，看到 arXiv 新发了一篇非常有趣的论文：「Stylized Neural Painting」。

看着很有意思，文章就先写出来了，这简直就是**为艺术而生的算法**，看下效果：

![为艺术而生的惊艳算法][ac0970c066c9ff32c2146b26eddad07d.gif]

你没看错，**算法根据我们提供的图片**，**自动一笔一划的创作油画**！

图像风格迁移算法，一直都有人研究，但之前的效果多少差点意思，而这个刚刚发表的「Stylized Neural Painting」效果有了不错的提升。

准备好的你画笔和键盘，今天继续手把手教学。

算法原理、环境搭建、效果实现，**一条龙服务**，尽在下文！

### 二、Stylized Neural Painting ###

论文提出了一种图片转画作的算法，生成的画作效果逼真，风格可控。

与以往图片风格迁移算法不同，算法是根据提供的图片推导作画的每一个笔划，做到了「**一笔一划**」的作画效果。

设计了新的**神经网络渲染器**，模拟矢量渲染器的行为，将笔画预测作为参数搜索过程，以最大限度提高输入和渲染输出之间的相似性。

用栅格化网络和阴影网络的双通道神经网络渲染器实现颜色和形状的解耦，该方法生成的图像无论在整体外观还是局部纹理上都具有较高的保真度。

![为艺术而生的惊艳算法][bfc632dccf8159545633c6896c6e352c.png]

右下角小图是原图，大图是算法转换的油画作品。

除了油画风格，还有水彩笔、记号笔的画风：

![为艺术而生的惊艳算法][6d72278706dfdf9790da0ec184781947.png]

还有颜色或纹理的风格迁移：

![为艺术而生的惊艳算法][d0b090853984f829423276da33e6938c.png]

更详细的内容，可以直接看 paper：

论文地址：[https://arxiv.org/abs/2011.08114][https_arxiv.org_abs_2011.08114]

## 三、效果测试 ##

Github 项目地址：[https://github.com/jiupinjia/stylized-neural-painting][https_github.com_jiupinjia_stylized-neural-painting]

第一步：搭建测试环境。

根据 Requirements.txt 安装依赖库即可，很简单。

![为艺术而生的惊艳算法][71b394d323d0843440b2f6a4ebe3bb0a.png]

没有什么特殊的库。

第二步：下载训练好的模型权重文件，一共有四个模型，我直接打包好了。

我将程序和权重文件都进行了打包，嫌麻烦，可以下载直接使用。

下载地址（提取码：jack）：

[https://pan.baidu.com/s/1i9OsVHmdIHZG2x3Sch2gBA][https_pan.baidu.com_s_1i9OsVHmdIHZG2x3Sch2gBA]

第三步：在工程目录，运行程序。

python demo_prog.py --img_path ./test_images/apple.jpg --canvas_color 'white' --max_m_strokes 500 --max_divide 5 --renderer oilpaintbrush --renderer_checkpoint_dir checkpoints_G_oilpaintbrush

img\_path：要输入的图片。

canvas\_color：可以理解为画板的背景颜色。

max\_m\_strokes 和 max\_divide：控制笔划的大小，画作最后的细致程度。

renderer：画作风格，可选参数有watercolor、markerpen、oilpaintbrush、rectangle。

renderer\_checkpoint\_dir：权重文件路径。

最终的生成效果会根据笔划，由少到多，保存在 output 文件夹里。

运行效果：

![为艺术而生的惊艳算法][0663e7d069300d65c2e17141998fc1df.gif]

运行在 RTX 2060 super 上，花费大约 5 分钟，最终效果：

![为艺术而生的惊艳算法][94321511ce5c2160b8ae14b66e90343d.png]

## 五、絮叨 ##

图解深度学习等技术教程，还在写，让我好好梳理一番，敬请期待！

我是 Jack ，我们下期见。

> 原文地址：[https://mp.weixin.qq.com/s/BnuNQYk4AXbyQpZFwu02qg][https_mp.weixin.qq.com_s_BnuNQYk4AXbyQpZFwu02qg]
> 
> 文章持续更新，可以微信公众号搜索【JackCui-AI】第一时间阅读，本文 GitHub [https://github.com/Jack-Cherish/PythonPark][https_github.com_Jack-Cherish_PythonPark] 已经收录，有大厂面试完整考点，欢迎Star。

[b321be065208ccb3c0b96ec505f23d8b.png]: /images/20221120/eff73aa1f66040b7852d695acde0a98a.png
[https_cuijiahua.com_blog_2020_11_ai-6.html]: https://cuijiahua.com/blog/2020/11/ai-6.html
[ac0970c066c9ff32c2146b26eddad07d.gif]: https://img-blog.csdnimg.cn/img_convert/ac0970c066c9ff32c2146b26eddad07d.gif
[bfc632dccf8159545633c6896c6e352c.png]: https://img-blog.csdnimg.cn/img_convert/bfc632dccf8159545633c6896c6e352c.png
[6d72278706dfdf9790da0ec184781947.png]: https://img-blog.csdnimg.cn/img_convert/6d72278706dfdf9790da0ec184781947.png
[d0b090853984f829423276da33e6938c.png]: https://img-blog.csdnimg.cn/img_convert/d0b090853984f829423276da33e6938c.png
[https_arxiv.org_abs_2011.08114]: https://arxiv.org/abs/2011.08114
[https_github.com_jiupinjia_stylized-neural-painting]: https://github.com/jiupinjia/stylized-neural-painting
[71b394d323d0843440b2f6a4ebe3bb0a.png]: https://img-blog.csdnimg.cn/img_convert/71b394d323d0843440b2f6a4ebe3bb0a.png
[https_pan.baidu.com_s_1i9OsVHmdIHZG2x3Sch2gBA]: https://pan.baidu.com/s/1i9OsVHmdIHZG2x3Sch2gBA
[0663e7d069300d65c2e17141998fc1df.gif]: https://img-blog.csdnimg.cn/img_convert/0663e7d069300d65c2e17141998fc1df.gif
[94321511ce5c2160b8ae14b66e90343d.png]: https://img-blog.csdnimg.cn/img_convert/94321511ce5c2160b8ae14b66e90343d.png
[https_mp.weixin.qq.com_s_BnuNQYk4AXbyQpZFwu02qg]: https://mp.weixin.qq.com/s/BnuNQYk4AXbyQpZFwu02qg
[https_github.com_Jack-Cherish_PythonPark]: https://github.com/Jack-Cherish/PythonPark