论文笔记_S2D.58_2018-ICRA-基于直接法的使用LiDAR稀疏深度的视觉-激光雷达SLAM

亦凉 2022-12-28 01:44 220阅读 0赞

**目录**

基本情况

摘要

1.帧的管理产生提取

2.追踪

3.基于滑动窗口的优化方法

4.闭环检测

参考

--------------------

# 基本情况 #

*  Shin Y S, Park Y S, Kim A. **Direct visual SLAM using sparse depth for camera-lidar system**\[C\]//2018 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2018: 1-8.

# 摘要 #

文章描述了一个利用了LiDAR提供的稀疏深度，基于单目相机直接法的视觉SLAM框架。为了保证实时性，文章提出了一种利用滑动窗口进行追踪的方法，一个为了生成更好的位姿图的忽略旧的关键帧的方法，以及在大规模场景下集成了深度的帧与帧的匹配方法。不像传统的基于特征的视觉和Lidar建图，这种方法是基于直接法的，没有使用各类视觉特征。我们的camera-Lidar系统在KITTI的数据集上实验结果证明，这两种互补的传感器在改进实时性和准确性上非常有效。在KITTI数据集各类场景下，包括高速公路和居民区，漂移误差都在0.98%左右。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70][]

## 贡献 ##

*  1.提出了一种利用滑动窗口进行追踪的方法
 *  2.提出为了生成更好的位姿图的忽略旧的关键帧的方法
 *  3.提出在大规模场景下集成了深度的帧与帧的匹配方法

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1][]

图1 改进的视觉里程计和建图流程图。方法包括前端的视觉里程计和后端考虑闭环检测的图优化求解。

视觉里程计部分使用直接法。

## **1.帧的管理产生提取** ##

**帧的产生**：为了使用LiDAR提供的深度信息，先对LiDAR和相机进行时间同步，然后将点云点投影在影像坐标系下

**关键帧的选取与管理**：为了减轻里程计造成的漂移误差且减少滑动窗口的计算负载，使用两个标准挑选关键帧：a). 为影像提供的稀疏深度信息超过一定阈值；b). 为了避免光照变化产生的影响，超过一定时间阈值后再创建关键帧

**帧的忽略**：为了保证一定关键帧的数量来构造姿态图，在滑动窗口中忽略旧的帧。这个过程可以在每次创建关键帧的时候进行。有以下策略：a). 保证至少有两个关键帧在滑动窗口内；b). 当关键帧的数量超过了窗口的规定数量，忽略一些旧的帧

**点的管理**：使用全部LiDAR点会造成计算负担。为了减少计算复杂性，进行重采样并选取梯度大的点作为可用的深度信息。

## **2.追踪** ##

受到SVO和DSO的启发，tracking部分使用重投影误差，计算量较大但是鲁棒性较好，最后使用Gauss-Newton方法对其进行优化。

## **3.基于滑动窗口的优化方法** ##

![4a749fa58c360a5522cb2b68f60df3ea.png][]

图2 滑动窗口优化示意图。窗口包含了数个关键帧，每一帧都有影像和对应的点云。灰色点代表了点云，包围矩形代表影像。Pk点在所有帧中都可以被观测到，就可以用来计算投影误差来做优化。

## **4.闭环检测** ##

视觉里程计模块会提供被排出滑动窗口内的关键帧的姿态。我们利用这些姿态建立姿态图来生成一个连续的点云地图。我们会对关键帧提取FAST和ORB特征及其描述子，使用DBoW来防止错误匹配。除此之外还会利用交叉验证来比较相对位姿，将候选帧投影在当前帧同时将当前帧投影在候选帧，通过比较变换矩阵来进行验证。最后还使用了Dynamic Covariance Scaling (DCS)来处理一些不可靠的约束。

主要结果

文章的结果主要用KITTI数据集和自己的camera-LiDAR系统获取的室内和室外场景数据进行测试。

![fef71c1231ab97034d98f2460e55e351.png][]

表1 参数阈值选取

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2][]

图3 文章方法和groundtruth的比较。

![b790bd29f9661f2889acbdf871f25ee6.png][]

图4 更详细的测试结果比较。不同路径长度和速度下旋转和平移的计算误差。

![4757d11f5e34b3cce525b948af4e084e.png][]

表2 KITTI数据集的计算结果比较

![2fbb3c64c426179f46145b3cb8ff4bbc.png][]

表3 室内数据集中固定标志的位置与测试结果的轨迹计算误差

![064af66c7700731bad45db105a44ffa1.png][]

表4 室外场景下VRS-GPS的定位结果与测试结果的比较

# 参考 #

*  [【泡泡图灵智库】基于直接法使用LiDAR提供的稀疏深度信息的视觉SLAM系统][LiDAR_SLAM]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70]: /images/20221120/e12b4736e61f44038b8bb85159cb091c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20201213211831781.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[4a749fa58c360a5522cb2b68f60df3ea.png]: https://img-blog.csdnimg.cn/img_convert/4a749fa58c360a5522cb2b68f60df3ea.png
[fef71c1231ab97034d98f2460e55e351.png]: https://img-blog.csdnimg.cn/img_convert/fef71c1231ab97034d98f2460e55e351.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20201213211936683.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[b790bd29f9661f2889acbdf871f25ee6.png]: https://img-blog.csdnimg.cn/img_convert/b790bd29f9661f2889acbdf871f25ee6.png
[4757d11f5e34b3cce525b948af4e084e.png]: https://img-blog.csdnimg.cn/img_convert/4757d11f5e34b3cce525b948af4e084e.png
[2fbb3c64c426179f46145b3cb8ff4bbc.png]: https://img-blog.csdnimg.cn/img_convert/2fbb3c64c426179f46145b3cb8ff4bbc.png
[064af66c7700731bad45db105a44ffa1.png]: https://img-blog.csdnimg.cn/img_convert/064af66c7700731bad45db105a44ffa1.png
[LiDAR_SLAM]: https://www.sohu.com/a/250082503_715754