S2D_基于深度学习的视觉稠密建图和定位_相关文章

悠悠 2022-10-16 05:53 159阅读 0赞

随着深度学习的快速发展，视觉稠密建图和定位技术从传统的**基于手工特征点**的检测、匹配加之数值优化，发展到现在的**基于深度神经网络**的特征检测、匹配和学习优化(Learning to Optimize)，近些年涌现出了很多新的方法。

在这次分享中，我们邀请到了**阿里云**人工智能实验室算法团队负责人**朱思语**，分享他们最新的基于深度神经网络的密集特征匹配、不依赖场景的视觉定位以及基于深度递归优化器的运动恢复结构（Structure from Motion）等工作。最后会对基于视觉的建图和定位技术未来发展的趋势做简要总结。

# 论文列表： #

## 1.**Learning Camera Localization via Dense Scene Matching** ##

*  [基于稠密场景匹配的相机定位学习][Link 1]
 *  论文地址：[https://arxiv.org/abs/2104.14545][https_arxiv.org_abs_2104.14545]
    
     *  相机定位算法是SLAM或者增强现实的一部分，主要有基于回归和基于结构两种，基于回归的定位算法精度较低，现在比较流行的是基于结构的相机定位算法，基于结构的定位算法有两个阶段：1、建立二维图像与三维场景点之间的对应关系；2、估计相机位姿。对于SLAM来说，相机定位算法属于前端工作，是视觉里程计的一部分，论文结合深度学习的方式对传统前端进行了优化，近几年神经网络与SLAM的结合越来越多，论文提出的算法是**对特征匹配的方式进行了改进**，通过卷积神经网络对图像进行特征提取，并用CNN进行特征点的匹配操作，很符合当前流行的SLAM趋势。这篇文章中提到的DSM算法主要是对2D和3D场景进行匹配，计算特征点的坐标，再通过计算的坐标，使用PNP+RANSAC算法求解位姿。作者：3D视觉工坊

## 2.**End-to-End Learning Local Multi-view Descriptors for 3D Point Clouds** ##

*  [端到端学习三维点云的局部多视图描述符][Link 2]
 *  论文地址：[https://arxiv.org/abs/2003.05855][https_arxiv.org_abs_2003.05855]
    
     *  在这项工作中，我们提出了一个端到端的框架来学习三维点云的局部多视图描述符。为了采用类似的多视图表示，现有的研究在预处理阶段使用手工构建的视点进行渲染，而预处理阶段是从随后的描述符学习阶段分离出来的。在我们的框架中，我们通过使用可微渲染器将多视图渲染集成到神经网络中，使得视点成为可优化的参数，以获取更多信息的兴趣点的局部上下文。为了获得有区别的描述符，我们还设计了一个软视图池模块来集中融合视图间的卷积特征。在已有的三维配准基准上进行的大量实验表明，该方法在数量和质量上都优于现有的局部描述子。

## 3.**Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching** ##

*  [高分辨率多视点立体和立体匹配的级联Cost Volume][Cost Volume]
 *  论文地址：[https://arxiv.org/abs/1912.06378][https_arxiv.org_abs_1912.06378]
 *  深度多视角立体视觉（multi-view stereo, MVS）和立体匹配（stereo matching）通常采用构建三维代价体（3D cost volumes）来约束和回归深度或差异值。由于存储和时间消耗会随着代价体（cost volume）的分辨率的增加而三次方级的增加，所以目前已有的方法受限于大分辨率的输出。在这篇文章中，我们基于3D cost volume提出一个在存储和时间上高效的cost volume 方法来弥补现有MVS和stereo matching 方法的不足。首先，我们提出的cost volume 是建立在一个能在逐渐增加的合适的尺度上表达几何和周边信息特征金字塔（feature pyramid）。其次，我们可以通过前一阶段预测 出的结果来缩小深度值或者差异性的范围。随着逐渐增大的cost volume 的分辨率（resolution）和自适应调整的深度或差异性间隔（interval），提出模型的结果从粗糙到精细化（coarser to fine manner）。我们将提出的cascade cost volume 应用到有代表性的MVS-Net，在DTU数据集上提升了23.1%，同时GPU memory 降低50.6%，运行时间降低了59.3%。提出的模型同时相比所有的深度方法在 Tanks and Temples 数据集比赛上排名第一。在其他有代表性的立体卷积网络（stereo CNNs）上的accuracy、run-time和GPU memory 统计结果也证明了提出模型的有效性。代码链接： [github.com/alibaba/cascade-stereo][github.com_alibaba_cascade-stereo]。
    
     *  方向：3D重建，包括Multi-view stereo和Stereo matching。
     *  主要解决的问题：目前基于Deep learning的方法构建的3D Cost Volume需要3D卷积来做cost aggregation消耗显存非常大，为了**节省内存**一般最终输出的depth/disparity map限制为输入的1/4。
     *  方法：把模型中单一的Cost Volume的形式更换为一种级联的多个Cost Volume，并且越靠后阶段的Cost Volume其depth/disparity hypothesis越少（依靠前阶段预测的结果），空间分辨率越高（使用更高分辨率的2D特征来恢复更多细节）。

## 4.**Stereo Matching by Self-supervision of Multiscopic Vision** ##

*  论文地址：[https://arxiv.org/abs/2104.04170][https_arxiv.org_abs_2104.04170]

## 5.**AR Mapping: Accurate and Efficient Mapping for Augmented Reality** ##

*  论文地址：[https://arxiv.org/abs/2103.14846][https_arxiv.org_abs_2103.14846]

## 6.**Compact 3D Map-Based Monocular Localization Using Semantic Edge Alignment** ##

*  论文地址：[https://arxiv.org/abs/2103.14826][https_arxiv.org_abs_2103.14826]

## 7.**DRO: Deep Recurrent Optimizer for Structure-from-Motion** ##

*  论文地址：[https://arxiv.org/abs/2103.13201][https_arxiv.org_abs_2103.13201]

# 参考： #

*  [极市直播预告丨朱思语：基于深度学习的视觉稠密建图和定位][Link 3]

[Link 1]: https://www.bilibili.com/read/cv10956219
[https_arxiv.org_abs_2104.14545]: https://arxiv.org/abs/2104.14545
[Link 2]: https://blog.csdn.net/wujianing_110117/article/details/107015743
[https_arxiv.org_abs_2003.05855]: https://arxiv.org/abs/2003.05855
[Cost Volume]: https://www.pianshen.com/article/91411567140/
[https_arxiv.org_abs_1912.06378]: https://arxiv.org/abs/1912.06378
[github.com_alibaba_cascade-stereo]: https://link.zhihu.com/?target=https%3A//github.com/alibaba/cascade-stereo
[https_arxiv.org_abs_2104.04170]: https://arxiv.org/abs/2104.04170
[https_arxiv.org_abs_2103.14846]: https://arxiv.org/abs/2103.14846
[https_arxiv.org_abs_2103.14826]: https://arxiv.org/abs/2103.14826
[https_arxiv.org_abs_2103.13201]: https://arxiv.org/abs/2103.13201
[Link 3]: https://bbs.cvmart.net/articles/4842