《Reviving Iterative Training with Mask Guidance for Interactive Segmentation》论文笔记

小鱼儿 2022-11-14 10:20 32阅读 0赞

参考代码：[ritm\_interactive\_segmentation][ritm_interactive_segmentation]

# 1. 概述 #

> 导读：这篇文章提出了一种无需back propagation的交互式分割方法，只需要提供简单的点击进行分割，在一次点击交互性能不满足的情况下还可以使用上一次的预测mask加上当前次的点击交互进行弥补。这篇文章于一般来讲的交互式分割方法差异不大（都是在分割网络的基础上进行改进而来），但是在细节的处理上比较恰当，如交互先验信息的引入方式/损失函数优化/交互先验信息如何融合等进行了讨论。此外，训练数据的质量和数据量也是影响性能的很关键部分，文章中作者使用了LVIS和COCO数据集。

使用文章的方法进行交互式分割，其使用过程可以参考下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70]

# 2. 方法设计 #

## 2.1 网络结构设计 ##

交互式分割算法一般会采用传统上的分割网络作为baseline，如DeepLabV3+/HRNet+OCR，在此基础上添加交互式分割需要的对应网络模块。  
对于交互式分割的backbone选择，作者是更加倾向于使用HRNet的，而不是ResNet，从实验的结果可以看出，其在性能表现上更好：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 2]

**交互式信息的编码：**  
文章中采用的交互式分割信息来自于点采样，对于这些点采样信息的表达，主要分为两种方法：2D的高斯分布（DT，distance transform）/一定半径的点（Disk，disk with a fixed radius），可见下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 3]  
对此，文章进行对比实验，两种交互信息的编码方式对性能的对比，实验结果指出后者是好于前者的，见下表所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 4]  
**交互信息的融合方式：**  
一般来讲ImageNet上预训练得到的模型输入的channel是3通道的，但是交互式分割中其需要的输入信息却不是3通道的（外加交互信息），对此一般情况下会将第一个卷积增加对应的channel数量，之后进行特征融合，见图3的Conv1E融合方式。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 5]  
但是这样的融合方式真的是对好的吗？对此，文章提出了两种变形DMF和Conv1S，其对性能的影响见上文中的表1所示。

## 2.2 交互中的采样策略 ##

在之前的交互式分割算法中，是随机地选择正负样本，其选择的过程并没有考虑它们之间的相关性，而在实际过程中是需要通过之前一系列采样的结果针对性去选择那些错分区域，从而提升分割的性能也将上一步的结果得以引入当前步的优化过程中。但是对于采样的策略文章也做了一些优化方法：

*  1）之前的方法会选择那些错误区域的中心位置作为采样点，但是在实际的交互过程中是很难满足的，因而当用户在选择那些边界上点作为新的采样之后会导致较差的结果和结果的不稳定。对此文章是将错误的区域进行形态学腐蚀，之后去选择腐蚀之后区域中的点；
 *  2）在每个训练batch中随机地去选择采样点，因而在 N i t e r s N\_\{iters\} Niters次采样过程中，采样都不是固定的，从而带来了更好的性能；

## 2.3 引入前一次的预测mask ##

在交互式分割的迭代优化过程中，很自然的优化是引入前一次迭代的mask，因为其中包含了较多的有用先验信息。参考之前的交互式信息融合方法，文章将前一步的mask作为另外一个额外的channel作为输入。

上文提到的优化迭代次数 N i t e r s N\_\{iters\} Niters与前一次迭代预测的mask对于性能的影响：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 6]

## 2.4 NFL（Normalized Focal Loss）损失 ##

传统的BCE损失函数对于每个像素点都是采用了相同的权值，但实际过程中这样方式性能并不理想，对此的一个解决办法便是对其添加Focal属性，从而将原来的BCE损失函数修改为：  
 F L ( i , j ) = − ( 1 − p i , j ) γ l o g p i , j FL(i,j)=-(1-p\_\{i,j\})^\\gamma logp\_\{i,j\} FL(i,j)=−(1−pi,j)γlogpi,j  
其中的权重项 P ( M ^ ) = ∑ i , j ( 1 − p i , j ) γ P(\\hat\{M\})=\\sum\_\{i,j\}(1-p\_\{i,j\})^\\gamma P(M^)=∑i,j(1−pi,j)γ会随着网络性能的提升而减小，对此文章对其进行了归一化操作，从而得到文章的使用的损失函数：  
 N F L ( i , j , M ^ ) = − 1 P ( M ^ ) ( 1 − p i , j ) γ l o g p i , j NFL(i,j,\\hat\{M\})=-\\frac\{1\}\{P(\\hat\{M\})\}(1-p\_\{i,j\})^\\gamma logp\_\{i,j\} NFL(i,j,M^)=−P(M^)1(1−pi,j)γlogpi,j  
该损失函数对于性能的影响见下表所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 7]

# 3. 实验结果 #

性能比较：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 8]

[ritm_interactive_segmentation]: https://github.com/saic-vul/ritm_interactive_segmentation
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70]: /images/20221022/4bd83a5c6f1b4b6c83c55131c82f8c29.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 1]: /images/20221022/d29efd26f1f742af8cef777cc1cb0256.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 2]: /images/20221022/d6fb36ed3c7b498f9973da573cc8671b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 3]: /images/20221022/ef0681ea03a541618fcc3a02f198698a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 4]: /images/20221022/228c90a1e14247f493e1c4ce52ce84e6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 5]: /images/20221022/6b92c8c900a144b9bd3412c7ff506aed.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 6]: /images/20221022/513a719050654c8f80aaeb38423e5eb3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 7]: /images/20221022/3ac5931653784cd9aedc38608f9b23dd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 8]: /images/20221022/6c99201e22c944d9b965033d820f1f37.png