【arxiv】论文找 idea ：关于 SAM 的论文扫读（三）

清疚 2023-10-10 20:48 44阅读 0赞

#### 文章目录 ####

*  一、SAM Fails to Segment Anything? – SAM-Adapter : Adapting SAM in Underperformed Scenes : Camouflage, Shadow, Medical Image Segmentation, and More
 *  二、When SAM Meets Medical Images: An Investigation of Segment Anything Model (SAM) on Multi-phase Liver Tumor Segmentation
 *  三、DEEP LEARNING UNIVERSAL CRATER DETECTION USING SEGMENT ANYTHING MODEL (SAM)
 *  四、Can SAM Segment Polyps?
 *  五、Inpaint Anything: Segment Anything Meets Image Inpainting
 *  六、SAM Struggles in Concealed Scenes – Empirical Study on “Segment Anything”
 *  七、Segment Anything Is Not Always Perfect : An Investigation of SAM on Different Real-world Applications
 *  八、SAM vs BET: A Comparative Study for Brain Extraction and Segmentation of Magnetic Resonance Images using Deep Learning
 *  九、Can SAM Segment Anything? When SAM Meets Camouflaged Object Detection
 *  十、Segment Anything Model (SAM) for Digital Pathology : Assess Zero-shot Segmentation on Whole Slide Imaging

## 一、SAM Fails to Segment Anything? – SAM-Adapter : Adapting SAM in Underperformed Scenes : Camouflage, Shadow, Medical Image Segmentation, and More ##

论文地址：

https://arxiv.org/pdf/2304.09148.pdf

大型模型的出现，也被称为基础模型，为人工智能研究带来了重大进展。其中一个模型是Segment Anything（SAM），专门用于图像分割任务。然而，与其他基础模型一样，我们的实验发现表明SAM在某些分割任务中可能会失败或表现不佳，例如阴影检测和伪装物体检测（隐蔽物体检测）。本研究首先为将大型预训练图像分割模型SAM应用于这些下游任务铺平了道路，即使SAM在某些情况下表现不佳。我们提出了SAM-Adapter而不是对SAM网络进行微调，SAM-Adapter通过使用简单而有效的适配器将领域特定的信息或视觉提示整合到分割网络中。通过将任务特定的知识与大型模型学习到的通用知识相结合，SAM-Adapter在广泛的实验中显著提升了SAM在具有挑战性的任务中的性能。我们甚至可以胜过任务特定的网络模型，在我们测试的任务中达到最先进的性能，如伪装物体检测和阴影检测。我们还测试了息肉分割（医学图像分割）并取得了更好的结果。我们相信我们的工作为在下游任务中利用SAM开辟了机会，并在医学图像处理、农业、遥感等各个领域具有潜在的应用前景。

## 二、When SAM Meets Medical Images: An Investigation of Segment Anything Model (SAM) on Multi-phase Liver Tumor Segmentation ##

论文地址：

https://arxiv.org/pdf/2304.08506.pdf

在没有大规模样本的情况下学习分割是人类的固有能力。最近，Segment Anything Model（SAM）在零样本图像分割方面表现出显著的能力，引起了计算机视觉界的广泛关注。在本研究中，我们探讨了SAM在医学图像分析，特别是多相肝肿瘤分割（MPLiTS）方面的能力，包括提示、数据分辨率和不同相位的影响。实验结果表明，SAM的性能与预期之间可能存在较大差距。幸运的是，定性结果显示SAM是一种强大的交互式医学图像分割工具，受到了学术界的青睐。

## 三、DEEP LEARNING UNIVERSAL CRATER DETECTION USING SEGMENT ANYTHING MODEL (SAM) ##

论文地址：

https://arxiv.org/pdf/2304.07764.pdf

陨石坑是行星探测中最重要的形态特征之一。在行星科学中，检测、绘制和计数陨石坑是一个主流的过程，通常需要进行繁重而耗时的人工操作。最近，机器学习（ML）和计算机视觉已成功应用于陨石的检测和大小估计。现有的自动陨石检测的机器学习方法是针对特定类型的数据进行训练的，例如数字高程模型（DEM）、轨道器（如月球勘测轨道器相机（LROC））的图像和相关元数据等。由于这个原因，每个生成的机器学习模型仅适用于训练过程中使用的数据类型，其可靠性也仅限于特定类型的数据。来自不同来源、不同角度和不同设置的数据可能会影响这些机器学习模型的可靠性。本文提出了一种基于最近提出的Segment Anything Model（SAM）的通用陨石检测方案。SAM是一个可提示的分割系统，可以在不进行额外训练的情况下对不熟悉的对象和图像进行零样本推广。使用SAM，我们可以成功地在任何类型的数据（例如原始卫星图像Level-1和Level-2产品、DEM等）中识别出类似陨石坑的对象，无论是在不同的设置（如月球、火星）还是在不同的捕捉角度下。此外，我们利用形状指数，只保留类似陨石坑的分割掩模。然后，我们使用椭圆拟合这些掩模，从而恢复出检测到的陨石坑的位置和大小/几何形状。

## 四、Can SAM Segment Polyps? ##

最近，Meta AI Research发布了一种通用的Segment Anything Model（SAM），在几个分割任务中展示了令人期待的性能。众所周知，息肉分割是医学影像领域中的一项基础任务，对结直肠癌的诊断和治疗起着关键作用。特别是将SAM应用于息肉分割任务具有一定的研究意义。在这份报告中，我们评估了SAM在分割息肉任务中的性能，其中SAM处于非提示的设置下进行评估。我们希望这份报告能够为推进息肉分割领域提供洞见，并在未来促进更多有趣的研究工作。该项目公开在https://github.com/taozh2017/SAMPolyp。

## 五、Inpaint Anything: Segment Anything Meets Image Inpainting ##

论文地址：

https://arxiv.org/pdf/2304.06790.pdf

现代图像修复系统在掩模选择和填充空洞方面常常遇到困难。基于Segment-Anything Model（SAM），我们首次尝试无掩模图像修复，并提出了一种名为"Inpaint Anything"（IA）的新范式，即"点击和填充"。IA的核心思想是结合不同模型的优势，构建一个非常强大和用户友好的流程来解决修复相关问题。

IA支持三个主要功能：

（i）移除任何内容：用户可以点击一个对象，IA将移除该对象并使用上下文平滑"空洞"；

（ii）填充任何内容：在删除某些对象后，用户可以通过提供基于文本的提示给IA，并通过驱动稳定扩散（Stable Diffusion）等AIGC模型来填充空洞；

（iii）替换任何内容：使用IA，用户可以选择保留点击选择的对象，并用新生成的场景替换剩余的背景。

我们也非常乐意帮助每个人分享和推广基于我们的"Inpaint Anything"（IA）的新项目。我们的代码可在https://github.com/geekyutao/Inpaint-Anything 上获得。

## 六、SAM Struggles in Concealed Scenes – Empirical Study on “Segment Anything” ##

论文地址：

https://arxiv.org/pdf/2304.06022.pdf

将任何物体进行分割是通向人工通用智能的重要一步，而Segment Anything Model（SAM）极大地促进了计算机视觉领域的基础模型。我们非常兴奋地探索SAM的性能特点。特别是在SAM表现不佳的情况下进行研究是很有意思的。在这份报告中，我们选择了三种隐蔽场景，即伪装动物、工业缺陷和医学病变，以在未提示的设置下评估SAM的表现。我们的主要观察是SAM在隐蔽场景中表现不佳。

## 七、Segment Anything Is Not Always Perfect : An Investigation of SAM on Different Real-world Applications ##

论文地址：

https://arxiv.org/pdf/2304.05750.pdf

最近，Meta AI Research推出了一种通用的、可提示的Segment Anything Model（SAM）模型，该模型在一种前所未有的大规模分割数据集（SA-1B）上进行了预训练。毫无疑问，SAM的出现将为各种实际图像分割应用带来显著的好处。在本研究中，我们对SAM在各种应用领域的性能进行了一系列有趣的调查，特别是在自然图像、农业、制造业、遥感和医疗保健领域。我们分析和讨论了SAM的优点和局限性，同时展望了它在分割任务中的未来发展。通过这样做，我们旨在全面了解SAM的实际应用。这项工作有望为促进未来的通用分割研究活动提供启示。

## 八、SAM vs BET: A Comparative Study for Brain Extraction and Segmentation of Magnetic Resonance Images using Deep Learning ##

论文地址：

https://arxiv.org/pdf/2304.04738.pdf

基于深度学习的SAM与BET：脑部提取与磁共振图像分割的比较研究

脑部提取是各种神经影像学研究中的重要预处理步骤，特别是通过磁共振成像（MRI）数据实现准确分离脑部与非脑组织以及脑内相关组织区块和结构的分割。FSL的脑部提取工具（BET）虽然被认为是目前自动脑部提取的黄金标准，但存在一些限制，并可能导致错误，如在影响脑部外部的病变情况下过度提取、脑组织与周围脑膜的准确区分不清以及对图像质量问题的敏感性。近年来，在计算机视觉研究的最新进展下，Meta AI开发了Segment Anything Model（SAM），在实际场景中展示了出色的零样本分割对象的潜力。在本文中，我们对脑部提取技术进行了比较分析，将SAM与广泛使用且当前被视为黄金标准的BET进行比较，使用各种具有不同图像质量、MR序列和影响不同脑区域的脑病变的脑部扫描。我们发现，在平均Dice系数、IoU和准确性指标方面，SAM优于BET，特别是在图像质量受信号不均匀性、非等向体素分辨率或脑病变位于（或涉及）脑部外部区域和脑膜的情况下。此外，SAM还具有卓越的分割性能，可以对不同组织区块和脑结构进行细粒度分离。这些结果表明，SAM具有潜力成为更准确、更稳健和更多功能的广泛应用于脑部提取和分割的工具。

## 九、Can SAM Segment Anything? When SAM Meets Camouflaged Object Detection ##

论文地址：

https://arxiv.org/pdf/2304.04709.pdf

SAM是Meta AI Research最近发布的分割模型，由于其在通用物体分割方面的出色性能，它迅速引起了广泛关注。然而，它在波纹伪装场景等特定场景的泛化能力尚不明确。伪装物体检测（COD）涉及识别与周围环境无缝融合的物体，具有医学、艺术、农业等领域的许多实际应用。在本研究中，我们尝试探讨SAM是否能够处理COD任务，并通过采用最大分割评估和伪装位置评估来评估SAM在COD基准上的性能。我们还将SAM的性能与其他22种最先进的COD方法进行了比较。我们的结果表明，尽管SAM在通用物体分割方面表现出潜力，但在COD任务上的性能有限。这为进一步研究提供了机会，以探索如何构建一个更强大的SAM，以应对COD任务。本文的结果可以在https://github.com/luckybird1994/SAMCOD上找到。

## 十、Segment Anything Model (SAM) for Digital Pathology : Assess Zero-shot Segmentation on Whole Slide Imaging ##

论文地址：

https://arxiv.org/pdf/2304.04155.pdf

Segment Anything Model (SAM)是作为图像分割的基础模型发布的。这个可提示的分割模型是通过对1100万张经过许可且尊重隐私的图像进行超过10亿次掩膜的训练而得到的。该模型支持使用各种分割提示（如点、框、掩膜）进行零样本图像分割。这使得SAM在医学图像分析中具有吸引力，特别是在数字病理学中，训练数据稀缺的情况下。在本研究中，我们评估了SAM模型在整个切片成像（WSI）上代表性分割任务的零样本分割性能，包括（1）肿瘤分割，（2）非肿瘤组织分割，（3）细胞核分割。核心结果：结果表明，零样本的SAM模型在大型连通对象的分割性能方面表现出色。然而，即使在每个图像上使用20个提示（点击/框），它在密集实例对象分割方面的性能并不一致令人满意。我们还总结了数字病理学中的一些限制：（1）图像分辨率，（2）多尺度，（3）提示选择，（4）模型微调。将来，使用下游病理分割任务的图像进行少样本微调可能有助于模型在密集目标分割方面取得更好的性能。