【计算机视觉 | 图像分割】arxiv 计算机视觉关于图像分割的学术速递（8 月 24 日论文合集）

￡神魔★判官ぃ 2023-10-15 17:38 10阅读 0赞

#### 文章目录 ####

*  一、分割|语义相关(7篇)
 *   *  1.1 DR-Tune: Improving Fine-tuning of Pretrained Visual Models by Distribution Regularization with Semantic Calibration
     *  1.2 Multi-Modal Multi-Task (3MT) Road Segmentation
     *  1.3 Semantic-Aware Implicit Template Learning via Part Deformation Consistency
     *  1.4 Rethinking Data Perturbation and Model Stabilization for Semi-supervised Medical Image Segmentation
     *  1.5 SPPNet: A Single-Point Prompt Network for Nuclei Image Segmentation
     *  1.6 Tumor-Centered Patching for Enhanced Medical Image Segmentation
     *  1.7 Anisotropic Hybrid Networks for liver tumor segmentation with uncertainty quantification

## 一、分割|语义相关(7篇) ##

### 1.1 DR-Tune: Improving Fine-tuning of Pretrained Visual Models by Distribution Regularization with Semantic Calibration ###

DR-Tune：基于语义校正的分布正则化改进预训练视觉模型的精调

https://arxiv.org/abs/2308.12058

在大规模基准测试上预训练的视觉模型对一般知识进行编码，并证明在为下游任务构建更强大的表示方面是有效的。大多数现有的方法都遵循微调范式，通过初始化或正则化基于预训练的下游模型。前者不能在后续的微调阶段保留知识，从而容易过拟合，后者对下游模型的权重或特征图施加强约束，而不考虑语义漂移，往往导致优化不足。为了处理这些问题，我们提出了一种新的微调框架，即分布正则化与语义校准（DR-Tune）。它通过强制下游任务头来减少其在预训练特征分布上的分类误差，从而采用分布正则化，这防止了其过度拟合，同时能够充分训练下游编码器。此外，为了减轻语义漂移的干扰，我们开发了语义校准（SC）模块来对齐预训练和下游特征分布的全局形状和类中心。在广泛使用的图像分类数据集上进行的大量实验表明，DR-Tune在不同的预训练策略下与各种主干相结合时，始终提高了性能。代码可在：https://github.com/weeknan/DR-Tune。

### 1.2 Multi-Modal Multi-Task (3MT) Road Segmentation ###

多通道多任务(3MT)道路分割

https://arxiv.org/abs/2308.11983

由于感知场景的不同方面，多模态系统具有产生比具有单一模态的道路检测系统更可靠的结果的能力。我们专注于使用原始传感器输入，而不是像在许多SOTA作品中通常做的那样，利用需要高预处理成本的架构，如表面法线或密集的深度预测。通过使用原始传感器输入，我们的目标是利用一个低成本的模型，最大限度地减少预处理和模型计算成本。本研究提出了一种高成本和高精度的道路分割解决方案，通过整合来自多个传感器的数据在一个多任务学习架构中，提出了一个融合架构，其中RGB和LiDAR深度图像构成网络的输入。本研究的另一个贡献是使用IMU/GNSS（惯性测量单元/全球导航卫星系统）惯性导航系统，其数据是同步收集和校准的激光雷达相机计算聚合密集的激光雷达深度图像。KITTI数据集上的实验表明，该方法提供了快速和高性能的解决方案。我们还展示了我们的方法在Cityscapes上的性能，其中原始LiDAR数据不可用。全分辨率和半分辨率图像的分割结果与现有的方法具有竞争力。因此，我们得出结论，我们的方法是不依赖于原始激光雷达数据;而是可以与不同的传感器模态一起使用。在所有实验中获得的推理时间是非常有前途的实时实验。

### 1.3 Semantic-Aware Implicit Template Learning via Part Deformation Consistency ###

基于零件变形一致性的语义感知隐式模板学习

https://arxiv.org/abs/2308.11916

学习隐式模板作为神经场最近在无监督形状对应中表现出令人印象深刻的性能。尽管取得了成功，我们观察到目前的方法，这仅仅依赖于几何信息，往往学习次优变形通用对象的形状，具有较高的结构变异性。在本文中，我们强调了部分变形的一致性的重要性，并提出了一个语义感知的隐式模板学习框架，使语义上合理的变形。通过利用自监督特征提取器的语义先验，我们建议使用新的语义感知变形代码和变形一致性正则化局部调节，关于部分变形，全局变形和全局缩放。我们的大量实验证明了所提出的方法在各种任务中优于基线：关键点转移、部分标签转移和纹理转移。更有趣的是，我们的框架在更具挑战性的设置下显示出更大的性能增益。我们还提供了定性分析，以验证语义感知变形的有效性。该代码可在https://github.com/mlvlab/PDC上获得。

### 1.4 Rethinking Data Perturbation and Model Stabilization for Semi-supervised Medical Image Segmentation ###

半监督医学图像分割中数据扰动与模型稳定的再思考

https://arxiv.org/abs/2308.11903

半监督医学图像分割（SSMIS）的研究近年来发展迅速。由于有限的标记数据，SSMIS方法主要集中在有效地利用未标记的数据，以提高分割性能。然而，尽管其有希望的性能，目前最先进的方法往往优先考虑集成复杂的技术和损失项，而不是直接解决半监督场景的核心挑战。我们认为，SSMIS的关键在于产生大量的和适当的预测未标记的数据上的分歧。为此，我们强调了半监督分割中数据扰动和模型稳定的重要性，并提出了一种简单而有效的方法来显着提高SSMIS的性能，称为DPMS。具体来说，我们首先从三个不同的角度重新审视SSMIS：的数据，模型，和损失，并进行相应的策略，以检查其有效性的综合研究。基于这些考试，我们提出了DPMS，它采用了一个普通的教师-学生的框架与标准的监督损失和无监督的一致性损失。为了产生适当的预测不一致，DPMS通过强增强来扰动未标记的数据，以大大扩大预测不一致。另一方面，在应用强增强时使用EMA教师并不一定能提高性能。DPMS进一步利用两次转发和动量更新策略进行归一化统计，以有效地稳定未标记数据的训练。尽管其简单性，DPMS可以在各种半监督设置的公共2D ACDC和3D LA数据集上获得新的最先进性能，例如在具有5%标记物的ACDC上获得相对于先前SOTA的显著22.62%的改善。

### 1.5 SPPNet: A Single-Point Prompt Network for Nuclei Image Segmentation ###

SPPNet：一种用于核图像分割的单点提示网络

https://arxiv.org/abs/2308.12231

图像分割在细胞核图像分析中起着至关重要的作用。最近，segment anything模型在此类任务中取得了重大突破。然而，当前模型对于细胞分割存在两个主要问题：（1）分割任意模型的图像编码器涉及大量参数。重新训练甚至微调模型仍然需要昂贵的计算资源。(2)在点提示模式中，从地面实况的中心对点进行采样，并且期望多于一组的点实现可靠的性能，这对于实际应用来说是低效的。在本文中，提出了一个单点提示网络的核图像分割，称为SPPNet。我们用一个轻量级的Vision Transformer代替了原来的图像编码器。此外，并行地添加有效的卷积块，以从图像中提取低级语义信息，并补偿由于小图像编码器而导致的性能下降。提出了一种基于高斯核的点采样方法。在MoNuSeg-2018数据集上评估了所提出的模型。结果表明，SPPNet优于现有的U形结构，并在训练中显示出更快的收敛速度。与segment anything模型相比，SPPNet的推理速度约为20倍，参数和计算成本为1/70。特别地，在训练和推理阶段两者中仅需要一组点，这对于临床应用而言更合理。我们工作的代码和更多技术细节可以在https://github.com/xq141839/SPPNet上找到。

### 1.6 Tumor-Centered Patching for Enhanced Medical Image Segmentation ###

以肿瘤为中心的增强医学图像分割方法

https://arxiv.org/abs/2308.12168

随着计算机辅助诊断和外科手术系统的集成，医学图像诊断领域已经取得了显著的进步。然而，挑战仍然存在，特别是在实现精确的图像分割方面。虽然深度学习技术显示出潜力，但资源有限、收敛缓慢和类别不平衡等障碍阻碍了它们的有效性。传统的基于块的方法虽然常见，但难以捕获复杂的肿瘤边界，并且经常导致冗余样本，从而损害计算效率和特征质量。为了解决这些问题，本研究引入了一种以肿瘤本身为中心的创新方法，用于基于块的图像分析。这种新的以肿瘤为中心的修补方法旨在解决类别不平衡和边界缺陷，从而实现聚焦和准确的肿瘤分割。通过将块与肿瘤的解剖背景对准，该技术提高了特征提取的准确性并减少了计算负荷。实验结果表明，改进的类不平衡，与分割分数为0.78，0.76，和0.71的整体，核心和增强肿瘤，分别使用一个轻量级的简单的U-网。这种方法显示出潜在的增强医学图像分割和改善计算机辅助诊断系统。

### 1.7 Anisotropic Hybrid Networks for liver tumor segmentation with uncertainty quantification ###

基于各向异性混合网络的不确定量化肝肿瘤分割

https://arxiv.org/abs/2308.11969

肝脏肿瘤的负担很重要，是癌症死亡率的第四大原因。在肝细胞癌（HCC）的情况下，在对比增强磁共振成像（CE-MRI）上进行肝脏和肿瘤的描绘以指导治疗策略。由于这项任务是耗时的，需要高的专业知识，并可能受到观察者之间的变化，有一个强烈的需要自动工具。然而，由于缺乏可用的训练数据，以及图像分辨率和MRI序列方面的高可变性，出现了挑战。在这项工作中，我们建议比较两个不同的管道的基础上各向异性模型，以获得肝脏和肿瘤的分割。第一流水线对应于执行肝脏和肿瘤类别的同时分割的基线多类别模型。在第二种方法中，我们训练了两个不同的二元模型，一个只分割肝脏，另一个只分割肿瘤。我们的研究结果表明，这两种管道表现出不同的优势和劣势。此外，我们提出了一个不确定性量化策略，允许识别潜在的假阳性肿瘤病变。两种解决方案都提交给了关于肝脏和肿瘤分割的MICCAI 2023 Atlas挑战。