神奇的 Animal Matting 算法，毛发抠图不是事。

- 日理万妓 2022-12-20 06:06 117阅读 0赞

## 一、前言 ##

抠图是个体力活。

抠图最难的，就是处理毛发。

想没想过，有一天，算法直接帮你**自动抠图**？细致到毛发的那种！

![手残党抠图有救了，Animal Matting抠图算法][Animal Matting]

**毛发的分割都不是问题**！

新鲜热乎刚出炉的 Image Matting 算法，你值得拥有。

老规矩，今天，继续手把手教学。

算法原理、环境搭建、效果实现，**一条龙服务**，尽在下文！

## 二、Animal Matting ##

抠图问题的核心是精确地将图像或视频中的前景估计出来，对图像编辑，影片剪辑等都有很深的意义。

最新发表的论文 End-to-end Animal Image Matting ，**只需要一张图**，无需任何先验知识，即可实现端到端的抠图，效果**非常惊艳**。

论文提出了一个名为 GFM 的抠图模型，该模型可同时生成全局语义分割和局部 alpha mask。

同时，论文也开源了**第一个**自然动物图像抠像数据集 AM-2k，并设计了基于高分辨率背景数据集 BG-20k 的 RSSN 合成数据方法。

GFM 网络结构如下：

![手残党抠图有救了，Animal Matting抠图算法][Animal Matting 1]

网络结构：是一个编码解码器的结构，编码器由两个平行的解码器共享。

被共享的编码器：以在 ImageNet 上预训练的 ResNet-34 或 DenseNet-121 作为编码器。

Glance Decoder（GD）： 用于学习高层语义信息。在编码器的第四个模块之后，加入金字塔池化模块（PPM）输出全局上下文，用于GD中。

Focus Decoder (FD)：用于在低结构特征中提取细节。在编码器的第四个模块之后，加入桥联模块（BB）收敛不同域中的局部上下文。并结合U-net，将 FD 与编码器的对应模块进行跳跃连接，训练 FD。

最后，以不同的表征域，连接 GD 和 FD 的输出结果。

GFM-TT：以真实 alpha 掩摸膨胀和腐蚀的 3 类 trimap T 作为 GD 监督信号、以未知过渡域的 alpha 掩摸作为 FD 监督信号。

GFM-FT：以 2 类前景分割 mask 作为 GD 的监督信号、以未知过渡域的 alpha 掩膜作为 FD 监督信号。

GFM-BT：以 2 类背景分割 mask 作为 GD 的监督信号、以未知过渡域的 alpha 掩膜作为 FD 监督信号。

最后，通过协同合作抠图（CM），将上述三个不同的表征域的结果，进行合并，获得最终的 alpha 预测。

更详细的内容，可以直接看 paper：

论文地址：[https://arxiv.org/pdf/2010.16188.pdf][https_arxiv.org_pdf_2010.16188.pdf]

## 三、效果测试 ##

Github 项目地址：[https://github.com/JizhiziLi/animal-matting][https_github.com_JizhiziLi_animal-matting]

第一步：搭建测试环境。

根据 Requirements.txt 安装依赖库即可，很简单。

![手残党抠图有救了，Animal Matting抠图算法][Animal Matting 2]

第二步：下载训练好的模型权重文件。

下载地址（需翻墙）：[点击查看][Link 1]

第三步：在工程目录，运行程序。

python ./core/test_samples.py --cuda --arch="e2e_resnet34_2b_gfm_tt" --model_path="models/model_r34_2b_gfm_tt.pth" --pred_choice=3 --hybrid

samples 目录下的 original 目录保存原始图片；

samples 目录下的 result\_alpha 目录保存分割 mask ；

samples 目录下的 result\_color 目录保存提取结果。

我将程序和权重文件都进行了打包，嫌麻烦，可以下载直接使用。

下载地址（提取码：s6uh ）：

[https://pan.baidu.com/s/1xjBbj3iptZuPV8nlg9Dthw][https_pan.baidu.com_s_1xjBbj3iptZuPV8nlg9Dthw]

运行效果：

![手残党抠图有救了，Animal Matting抠图算法][Animal Matting 3]

运行速度很快，运行效果展示：

![手残党抠图有救了，Animal Matting抠图算法][Animal Matting 4]

## 四、最后 ##

算法只针对动物，想对人进行抠图，需要自己制作数据集以及训练模型。

> 文章持续更新，可以微信公众号搜索【JackCui-AI】第一时间阅读，本文 GitHub [https://github.com/Jack-Cherish/PythonPark][https_github.com_Jack-Cherish_PythonPark] 已经收录，有大厂面试完整考点，欢迎Star。

[Animal Matting]: /images/20221120/d65f0bdb01864ea7832381246e4d2b9a.png
[Animal Matting 1]: https://img-blog.csdnimg.cn/img_convert/eb085fd85d4f7385f3ea609b8ab546f1.png
[https_arxiv.org_pdf_2010.16188.pdf]: https://arxiv.org/pdf/2010.16188.pdf
[https_github.com_JizhiziLi_animal-matting]: https://github.com/JizhiziLi/animal-matting
[Animal Matting 2]: https://img-blog.csdnimg.cn/img_convert/5de58dd12e7dc2ee4002dc6d783ebede.png
[Link 1]: https://drive.google.com/u/0/uc?export=download&confirm=mOG3&id=1Y8dgOprcPWdUgHUPSdue0lkFAUVvW10Q
[https_pan.baidu.com_s_1xjBbj3iptZuPV8nlg9Dthw]: https://pan.baidu.com/s/1xjBbj3iptZuPV8nlg9Dthw
[Animal Matting 3]: https://img-blog.csdnimg.cn/img_convert/f2c6913d5bfc4f361f8141a2eaa1ac2a.gif
[Animal Matting 4]: https://img-blog.csdnimg.cn/img_convert/8e2e24d361036a24e12d5e23f7f71302.png
[https_github.com_Jack-Cherish_PythonPark]: https://github.com/Jack-Cherish/PythonPark