ICCV 2021: 手绘图变动画

逃离我推掉我的手 2022-09-11 02:23 167阅读 0赞

### 点击上方“**机器学习与生成对抗网络**”，关注星标  获取有趣、好玩的前沿干货！  ![926237e8748ef3609b587d1a3ba83c14.gif][] ###

### **  ****新智元报道****  ** ###

来源：arXiv 编辑：LRS

##### 【新智元导读】有了AI技术的加持以后，普通人借助各种辅助工具可以很容易地进行艺术创作！这次有一个AI公司带来了一个让手绘图动起来的app，现在已经开放测试体验，还发表了一篇论文来介绍具体使用的技术，相比以往的研究，准确率提升超10个点！ #####

手绘动画已经存在了超过100多年，即使在电子产品时代也是十分流行，可以使用绘图平板电脑或者数字软件进行手绘。

电子产品将手绘动画的制作过程也大大简化了，但仍然需要大量的手工操作，需要对每一帧进行绘制和编辑。

这些任务处于重复劳动和完全艺术创作的中间地带，也是AI辅助工具最擅长的领域：缓解重复劳动，辅助人类进行艺术创作。

目前商业的手绘辅助工具大多使用启发式算法，但效果十分有限，而且这些工具通常要求创作者以矢量格式进行绘制或使用复杂、特定的流程工作，这些限制可能会对最终生成作品的手绘感有所影响。

![b90b7d40f66df6a1c413a56817bf1b63.png][]

而深度学习方法比较适用于这种场景，神经网络模型可以很自然地把原始像素作为模型输入，但它的泛化性要弱一些，例如训练好的模型对于输入图像的size有要求，无法直接扩展到更高分辨率的情况，也无法利用到手绘图像的结构信息，特别是那些矢量信息。

针对这个问题，Cadmium公司最近在arxiv上传了一篇论文，介绍了一下他们的解决方法。研究人员主要关注学习光栅动画线条图（raster animation line drawings）序列之间的视觉对应（visual corresponding）关系。

![8e116e316d0b20991a9ed75666a1b8f7.png][]

论文地址：https://arxiv.org/abs/2109.0261

视觉对应是构建手绘动画辅助工具的基本模块，主要用于着色、中间处理和纹理等任务，这些任务也是创作动画流程中的主要非创造性工作。目前大量工作都在关注如何在像素层次上学习视觉对应，而很少去考虑线条层次的是视觉对应学习。

通过视觉对应信息，动画师可以对序列中的几帧进行着色或处理纹理，并在其余图像中复制相同的颜色，而无需重复上色。并且使用对应信息的相邻帧，可以自动生成新的中间帧，能够减少生成平滑运动所需的线条数量。

深度学习模型是一个数据驱动的问题解决方案，但由于模型设计上比较有难度，并且缺乏可用的带标签数据集，所以目前这方面还没有吸引太多人研究。

这个预期的模型应当具备5个能力：

1）能够在光栅（raster）输入上操作，并缩放至1920×1080及以上分辨率

2）在segment层面上产生视觉对应关系；

3）能够处理复杂的真实世界动画；

4）能够使用彩色图像作为数据进行有监督训练；

5）要做成交互式应用程序，速度要足够快。

这篇文章就提出了一个模型Animation Transformer (AnT)来解决这些问题。

与基于像素的视频跟踪方法需要大量注意力计算不同，AnT在线条图像中的线条封闭段上进行操作，并使用基于Transformer的架构来学习线条之间的空间和视觉关系。

![5d811937aa8d979021d5ffc2b65e5ab7.png][]

通过对这种表示进行操作，AnT不需要直接处理整张图片，也就很容易提高计算效率和内存利用率。并且这种方法可以扩展到4K图像甚至更高，使用前向匹配损失和循环一致性损失对AnT进行优化，使其能够在真实世界的动画数据集上进行训练，而无需完整的真实标签。

AnT模型的主要架构由三个模块组成：

**1、CNN主干网络用于提取每个segment的视觉特征**

**2、边界框编码器（bounding box encoder）**用于提取每个segment的位置embedding

**3、一个多路复用转换器（multiplex transformer）**用于学习segment和帧的全局结构并预测最终匹配矩阵

![7aea88e2a784d2440caa917356a98512.png][]

虽然位置和视觉特征是估计线段对应关系的基础，但经常出现的视觉特性不能仅通过局部特征来解决。

例如遮挡或变形会破坏单个片段的形状，或者可能存在多个片段相同的片段，例如眼睛，如果单独查看每个部分则无法区分。

![5c8edbb391eb252708a543dd198be952.png][]

并且一组动画线条通常包含属于同一语义部分的相邻线段组，但需要被分割为多个线段，因为前景中包含一个对象，但这些线段的轮廓线有可能和后面的对象相交（例如两个打架的小人）。

![6ee7ccd021cecb641f30371ac45cb5eb.png][]

![0ad484eaaab84e3c7f38a83bff02f6b8.png][]

为了能够从对应标签和颜色标签中学习，AnT使用了两个损失函数，既可以单独使用，也可以根据标签来源取平均。

**1、前向匹配损失（Forward match loss）：**为了促进模型直接使用视觉对应或颜色标签信息，研究人员使用数据集中预测的目标标签和真实目标标签之间的分类交叉熵损失。

在存在视觉对应标签的情况下，作为加权平均计算输入的目标标签和参考标签都是唯一的，所以模型可以直接将不正确的视觉对应最小化。

![aa19fc4cecdfa00743aec4e7cacfb626.png][]

但是，在有颜色标签的情况下，目标标签和参考标签可能是不唯一的，并且该模型仅最小化错误的颜色指定。这将导致模型学习到捷径并找到匹配项，这些匹配项将产生正确的颜色分配，但可能导致不正确的视觉对应。

**2、周期一致损失（cycle consistency loss）：**为了解决前向损失产生不正确视觉对应的问题，当存在有不唯一颜色标签的情况下，周期一致损失将阻止模型学习捷径匹配。并且不使用数据集中的参考标签，而是给唯一片段ID初始化一个随机向量，使用它们代替目标标签进行加权标签聚合。

![222c9ab4a57f12967bf1dc5eb8d6eca9.png][]

由于缺少公开可用的数据集，论文中使用了两个自用数据：

**1、合成数据集（Synthetic Dataset）：**为了训练AmT的分段对应标签，研究人员使用免费的3D模型在Cinema4D数据集中生成一个合成数据集。使用卡通着色器渲染线条图像，并通过为单个网格指定唯一ID来生成线段对应标签。角色通过不同的运动、变形和旋转来模拟实际动画。使用TurboSquid的11个3D角色模型，以1500x1500像素的分辨率为每个角色生成1000帧，总共生成11000帧。

**2、真实数据集（Real Dataset）：**由于动画师不局限于3D程序的限制，所以手绘动画比3D动画更具多样性和表现力，并且手绘动画包含更广泛的动画样式和角色设计。但对于视觉对应模型来说，它们并不能从3D程序的合成数据中训练。

为了解决这个问题，研究人员从17个不同的真实动画作品中收集了一个高分辨率手绘动画数据集，总共3578帧。每部作品的动画风格差异很大，但风格更接近美国和欧洲动画，数据集极其多样化，有数百个不同的人物。真实数据集没有唯一的对应标签，所以使用彩色图像中的段颜色来提取标签。与合成数据集相比，这个操作会产生非唯一的数字分段标签。

通过量化结果可以看出AnT的准确率提升了近10个点，比以往的模型都有较大提升。

![ccf5d88bbc2a5c174483640e7ce0ba0d.png][]

目前这项技术已经落地成产品，目前处于beta测试版，可以访问Cadmium的官网https://cadmium.app/申请体验。

![28230c573e69fd2230cea55117787a5a.png][]

参考资料：

https://arxiv.org/abs/2109.0261

**猜您喜欢：**

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]  **

**[CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总][CVPR 2021 _ GAN_3D]**

**[CVPR 2021 | 图像转换 今如何？几篇GAN论文][CVPR 2021 _ _ _GAN]**

[**【CVPR 2021】通过GAN提升人脸识别的遗留难题**][CVPR 2021_GAN]

[**CVPR 2021生成对抗网络GAN部分论文汇总**][CVPR 2021_GAN 1]

[**经典GAN不得不读：StyleGAN**][GAN_StyleGAN]

[**最新最全20篇！基于 StyleGAN 改进或应用相关论文**][20_ StyleGAN]

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![19119b4ede10910535a3801a203ed85e.png][]

[926237e8748ef3609b587d1a3ba83c14.gif]: /images/20220829/fefdc03d44534f19b0a8ff8318edfb94.png
[b90b7d40f66df6a1c413a56817bf1b63.png]: /images/20220829/e076df81db45418aa3d21ea440d042fa.png
[8e116e316d0b20991a9ed75666a1b8f7.png]: /images/20220829/7c91aad809d945efafe0fccf118144f7.png
[5d811937aa8d979021d5ffc2b65e5ab7.png]: /images/20220829/cac9be2f601548c4bc6c0f8bccbf0ae1.png
[7aea88e2a784d2440caa917356a98512.png]: /images/20220829/2f7d96904c964f59a2b8c220e459b680.png
[5c8edbb391eb252708a543dd198be952.png]: /images/20220829/3199184365f642ccad1f593f239ffc76.png
[6ee7ccd021cecb641f30371ac45cb5eb.png]: /images/20220829/fe0f471ed8cc4d71b3dc7e61cac97548.png
[0ad484eaaab84e3c7f38a83bff02f6b8.png]: /images/20220829/9ed6fdf7c3ef469daf5467f420044253.png
[aa19fc4cecdfa00743aec4e7cacfb626.png]: /images/20220829/dcec56e37e6a4b0484cecb398c95d9f9.png
[222c9ab4a57f12967bf1dc5eb8d6eca9.png]: /images/20220829/eb76c53084314d199449362a6ede9054.png
[ccf5d88bbc2a5c174483640e7ce0ba0d.png]: /images/20220829/869833f7a8024fdab82e023ebe7b8ef0.png
[28230c573e69fd2230cea55117787a5a.png]: /images/20220829/36706f6ba69c4f66a1a62e0d249a5816.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[CVPR 2021 _ GAN_3D]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a41fac95dc8ec752351699318742fa502dfc945ce072567bb4bf0c59ce83049dc58c1a57d&idx=1&mid=2247492417&scene=21&sn=292be5e5fab52c5df5c94508b898da5a#wechat_redirect
[CVPR 2021 _ _ _GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4278c95dcb6ebd0ba346a11dc195a0ac4f7830f3a7cf69fcffc7057fa1bf3eaeb9386300&idx=1&mid=2247491779&scene=21&sn=f0a601ca66c01361709e6af8485f629b#wechat_redirect
[CVPR 2021_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4289c95dcb9f047c18e63b3be9d78e5e75f1d94dc80be34686ce6b4f22cdee2d7cc7f2ae&idx=1&mid=2247491634&scene=21&sn=427cb6bfd6868662f2b5ae1ac37f6072#wechat_redirect
[CVPR 2021_GAN 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bfe4c95e36f275332b31b993532b98d52acc76d26c15e2321de4cf52141510bee3ff96af&idx=1&mid=2247490911&scene=21&sn=671926492c3b36e3350db4963f7fcb16#wechat_redirect
[GAN_StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bedbc95e37cd709f583372918478ad8d3cff5309a85f3a940e7c0356050278f89d7e1c79&idx=2&mid=2247490656&scene=21&sn=bbe156fef077f23263b57e506ad43314#wechat_redirect
[20_ StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29b979c95e306f03b134809b16009d06aa0694b03da3368f84625de3700e6a56221d49d1bf&idx=1&mid=2247490498&scene=21&sn=324cfbbde362a728aa5336f4b200f7a3#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[19119b4ede10910535a3801a203ed85e.png]: /images/20220829/8c8e8beec855483496e6ef036d8d4703.png