论文笔记_SLAM_Simultaneous Localization And Mapping: A Survey of Current Trends in Autonomous Driving

冷不防 2023-07-10 12:45 52阅读 0赞

**目录**

1 论文基本信息

2 看本篇论文目的

3 内容简介

3.1 主要内容

4 介绍与问题引出

4.1 车辆定位方式对比

4.1.1 GNSS(Global Navigation Satellite System)

4.1.2 道路基础设施

4.2 定位车辆的意义

4.3 SLAM要解决的问题

4.3.1 SLAM目前面临的问题

5 SLAM典型的解决方案

5.1 Filter-based SLAM

5.1.1 Extended Kalman Filter

5.1.2 Unscented Kalman Filter

5.1.3 Information Filter

5.1.4 Particle Filter

5.2 Optimization-based SLAM

5.2.1 Bundle Adjustment

5.2.2 Graph SLAM

5.3 Filter-based SLAM 对比 Optimization-based SLAM

5.4 一些标准数据集

5.5 KITTI中高排名的算法

5.6 自主驾驶中SLAM的一些评价标准

6 Relocalization and loop closure

6.1 描述与分类

6.2 自动驾驶中，常用“重定位和闭环检测”方法汇总

6.2.1 讨论与总结

6.3 自动驾驶中，在已构建的map中Localization方法汇总

6.3.1 讨论与总结

6.4 自动驾驶中，在现有(或未来)的map的Localization方法汇总

6.4.1 讨论与总结

7 MULTI-VEHICLE SLAM

7.1 概念与分类

7.2 讨论与总结

8 讨论和结论

9 经典论文

9.1 SLAM 综述相关文章

9.2 SLAM问题的发展

9.3 多种传感器融合的方法

9.4 BA算法的经典代表

9.5 Visual Odometry 系统介绍杂志

--------------------

# 1 论文基本信息 #

*  出处：IEEE Transactions on Intelligent Vehicles (目前未进SCI)
 *  年份：2017
 *  作者：Guillaume Bresson, Zayed Alsayed, Li Yu and Sebastien Glaser
    
     *  Guillaume Bresson：Universite Blaise Pascal (UBP), France
     *  Li Yu ：aerodynamics engineering from Northwestern Polytechnical University, Xian, China

# 2 看本篇论文目的 #

*  了解SLAM在自动驾驶中，发挥什么样的作用；
    
     *  *JO答：SLAM可以为自动自动驾驶的可能贡献:*
        
         *  *辅助定位(细颗粒尺度内,GPS失效时);*
         *  ***即时**信息:在以高精度地图为基础的的前提下，抽取分析出即时的、现场的实际路况，为其他车辆提供参考。*
 *  发现值得研究的、感兴趣的问题；
 *  知识面的拓展，不要过分深究细节。

# 3 内容简介 #

*  SLAM, 在自动驾驶趋势下的一个survey。

## 3.1 主要内容 ##

*  自动驾驶给了SLAM一个新的研究方向；
 *  不同的SLAM技术分支介绍；
 *  自动驾驶场景下，经典方法的局限性和应用标准；
 *  单车SLAM和多车SLAM；
 *  大场景下的一些自动驾驶经验；
 *  总结讨论。

# 4 介绍与问题引出 #

SLAM在移动机器人领域，已经有多于25年的历史；

SLAM研究的问题：随之对周围环境增量式的重建，来定位机器人的位置。

## 4.1 车辆定位方式对比 ##

### 4.1.1 GNSS(Global Navigation Satellite System) ###

*  缺点：
    
     *  卫星信号，会受到难以预测的大气条件的影响；
     *  基础设施可能会阻塞信号的直接接收，并产生多路干扰或非视距接收。
        
         *  在人口稠密的城市地区，高楼大厦可以遮挡卫星信号。
 *  优点：
    
     *  在开放的道路上，GNSS通常表现得更好；
     *  RTK (RealTime Kinematic) GNSS，正在不断提高定位精度。
 *  **感想与对策**\-jo：
    
     *  GNSS定位大范围，SLAM定位小范围。

### 4.1.2 道路基础设施 ###

*  如：道路标记或道路检测
 *  ADAS（Advanced Driver-Assistance Systems）已经将车道检测，整合到商用车辆中
    
     *  缺点：
        
         *  而这种方法主要限制了车辆的横向位置，足以用于道路容易识别的环境，例如高速公路；
         *  但更**复杂的环境**(主要是城市，有十字路口、弯道等)，并不总是提供足够的道路信息，来定位车辆。
         *  纵向轴上所需的位置精度，比在笔直的高速公路环境中更重要。

## 4.2 定位车辆的意义 ##

*  是执行任何其他预测，或平面化任务（planification tasks）的基础功能。
    
     *  预测道路上其他障碍物的变化；
     *  选择最合适的机动方式。

## 4.3 SLAM要解决的问题 ##

*  SLAM框架，允许使用任何传感器或评估技术，同时评估车辆**位置**和地图。
    
     *  当自动驾驶被视为一个整体时，地图是最重要的，因为它提供了做出适当决策，所需的第一层次的感知。

### 4.3.1 SLAM目前面临的问题 ###

*  localization（定位），往往会随着时间的推移而 drift（漂移）；
    
     *  SLAM算法，给出的局部和增量定位估计，随着移动距离的增加，往往偏离真实轨迹。
     *  如果没有**先验知识**或绝对信息，几乎不可能确保数公里内的准确定位。
 *  地图不一定适用于每一种驾驶环境。
    
     *  提供必要的信息，以确定车辆在不同季节、天气或**交通状况**下的位置。
 *  人们设想了许多解决办法，解决上述问题：
    
     *  例如，绘制一幅地图时仔细挑选有特征的信息，以便以后重用；
     *  例如，利用新的通讯系统，以便分享和改进其他道路使用者绘制的地图。

# 5 SLAM典型的解决方案 #

*  **定位的鲁棒性涉及到**
    
     *  数据提取
     *  原始搜索\[9\]
     *  数据关联\[10\]
     *  地图存储和更新\[11\]
 *  **常汽车状态（vehicle state）有**
    
     *  2D位置
     *  方向
     *  6D姿态
     *  速度
     *  加速度等
 *  **SLAM问题两种表示方式**
    
     *  1. full SLAM：在给定所有的**控制输入**，和所有的**测量值**的情况下估计整个汽车的轨迹和地图。
        
         *  实时性很难，因为问题的复杂性，会随着所考虑的变量数量的增加而增加。
     *  2. online SLAM：基于最后的传感器信息，估计车辆的当前位置。

## 5.1 Filter-based SLAM ##

*  对应于迭代过程，因此适合用于 online SLAM
 *  源于**贝叶斯滤波**，含两步迭代过程。
    
     *  第一步，使用进化模型（evolution model）和控制输入，对车辆和地图进行状态预测；
     *  第二步，将来自传感器的当前观测数据，与地图进行匹配，以便对之前预测的进行状态校正。
     *  增量式地集成传感器数据，来估计车辆姿态和地图。

### 5.1.1 Extended Kalman Filter ###

*  KFs假设数据，受到高斯噪声的影响，在实际情况下不一定是真的；
 *  KFs被设计用来处理线性系统，它们收敛性很好；
 *  Sonars声纳，是最早的使用EKF，用于水下应用的SLAM方法之一。
 *  **特性介绍**：
    
     *  扩展卡尔曼滤波器(EKF)\[15\]是非线性滤波的常用工具；
     *  通过一阶泰勒展开，增加了一个线性化步骤；
     *  只要围绕状态向量的真值进行线性化，可以达到EKF最优性；但正确的真值不容易得到。
     *  不断增长的地图尺寸，使得EKF无法支持大规模的SLAM。
        
         *  因为更新时间与状态向量的大小呈二次关系。
         *  解决方案：
            
             *  引入子地图的概念；
             *  图结构，Atlas框架\[30\]；
             *  条件独立子地图\[32\]；
             *  Compressed EKF SLAM\[19\]。

### 5.1.2 Unscented Kalman Filter ###

*  大部分工作发生在2000年前后\[37\]\[38\]；
 *  避免了雅可比矩阵的计算；
 *  其思想是对粒子进行采样，称为sigma点，这些点通过似然函数围绕期望值进行预测；
 *  主要缺点：计算时间长。

### 5.1.3 Information Filter ###

*  卡尔曼滤波器的逆形式；
 *  将信息矩阵定义为协方差矩阵的逆矩阵；
 *  主要的优点
    
     *  使更新步骤，变成了附加式的，而不依赖于观测值的顺序；
     *  通过打破数据\[42\]之间的弱链接，来实现信息矩阵的稀疏化，这可以确保近乎恒定的更新时间；
     *  IF在 multi-vehicle SLAM 中得到了更多的利用。
 *  缺点：
    
     *  但IF在 mono-vehicle SLAM 中，没有EKF那么受欢迎\[44\]\[45\]\[46\]。
        
         *  因为它需要把每一个测量，转换成它的逆形式，这可能是耗费时间和内存的。

### 5.1.4 Particle Filter ###

*  根据概率密度（probability density），用一组粒子进行状态采样；
 *  对每个粒子的位移进行预测，并根据观测结果进行更新；
    
     *  在更新阶段，根据测量值的可能性对粒子进行加权;
     *  可能性最大的粒子被保留，其他粒子被排除，并生成新的粒子\[3\]。
 *  PFs的主要优点：不需要高斯噪声假设，可以适应任何分布。
 *  缺点：
    
     *  该方法直接应用SLAM很难的，因为每个地标都需要一组粒子。
     *  long-term inconsistency \[53\]
 *  改进：
    
     *  分布式粒子方法DP-SLAM\[47\]和DPSLAM 2.0\[48\]，
        
         *  使用最小的祖先树（a minimal ancestry tree），作为数据存储结构；
         *  引导PF来实现快速更新，同时减少了PF的迭代次数。
         *  **FastSLAM** \-- \[49\]最著名的PF算法
            
             *  特性：
                
                 *  可以real-time\[52\]；
                 *  可以通过将FastSLAM与一个IF相结合，来解决 long-term inconsistency的问题；
                    
                     *  但是在计算上很复杂。
                 *  Landmark的不确定性，由单元的占用概率表示，这使得地图的部分更新成为可能；
             *  趋势：当使用视觉传感器\[24\]，和具有激光数据的二维网格时，基于过滤的方法，现在倾向于依赖于3D点。
 *  RADARs 在SLAM中的应用
    
     *  \[61\]\[62\]\[63\]中用基于过滤的方法；
     *  然而，由于信号的噪声性质，它们在大规模实验中的应用仍然有限；
     *  通常用于障碍物探测。

## 5.2 Optimization-based SLAM ##

*  通常由两个子系统组成：
    
     *  第一个子系统，根据传感器数据，通过发现新观测值和地图之间的对应关系，来确定问题的约束条件；
     *  第二个子系统，计算或改进车辆姿态(以及过去的姿态)和给定约束条件的地图，从而形成一个连贯的整体。

### 5.2.1 Bundle Adjustment ###

*  一种视觉技术，联合优化三维结构和相机参数(位姿)；
 *  早期的研究多集中在三维重建方面\[64\]；
 *  主要思想是优化，通常使用 Levenberg-Marquardt 算法\[65\]（一个目标函数）。
 *  缺点：
    
     *  计算量太大，因为它同时考虑所有的变量，来优化。
        
         *  改进：
            
             *  在\[66\]\[67\]中，提出了一种处理较小块的分层方法；
                
                 *  为了降低复杂性，在所有帧中选择或创建两个虚拟关键帧，来表示给定的部分；
                 *  这减少了要优化的变量的数量。
                 *  类似的方法**已经**在\[68\]（E. Royer，2005）中应用于自主驾驶，**定位结果准确**，但需要离线地图。
             *  在\[69\]（D. Steedly，2001）中，提出了一种只对新信息进行增量优化的方法；
             *  在\[70\]（Z. Zhang，2003）中，作者在关键帧上使用滑动窗口，来局部最小化重投影误差；
     *  对于每一种优化技术，当给出一个良好的粗略估计时，BA是有效的。从这个意义上讲，过滤异常值是很重要的。
        
         *  改进：
            
             *  Nister等\[71\]提出了一种基于 preemptive(抢占式) RANSAC\[72\]的选择方法。
             *  在\[11\]中提出了一个 local bundle adjustment。
                
                 *  目标是在最后n帧点的2D重投影的基础上，局部优化最后n个摄像机位置。
             *  利用机器学习方法，对双目标函数(视觉和惯性目标函数)的系数进行加权。

### 5.2.2 Graph SLAM ###

*  Bayesian SLAM的图形表示，特别适合通过优化方法，来解决问题。
 *  一般情况下，非线性函数F(x;m)，通常用局部近似来简化。
    
     *  常用的方法有：
        
         *  Gauss-Newton (高斯-牛顿法)；
         *  Levenberg-Marquardt (勒文伯格-马夸特法) ；
         *  Gauss-Seidel relaxation (高斯-塞德尔松弛法)；
         *  gradient descent (梯度下降法)。
     *  这些方法既可以通过优化整个轨迹进行工作，也可以通过小位移增量进行实时使用。
 *  ORO算法\[76\]
    
     *  采用一种随机梯度下降变体，并在图中加入了一种新节点的参数化方法。
 *  manifold
    
     *  另一种不同的想法是不考虑欧几里德空间，而是考虑流形；
     *  在HOG-MAN\[77\]算法的基础上，提出了流形的层次优化；
     *  最低级别表示原始数据，而最高级别表示环境的结构信息；
     *  在g2o\[78\]中，利用海森矩阵的结构，来降低系统的复杂度进行优化；
 *  COP-SLAM\[79\]
    
     *  采用姿态图；
     *  考虑位移和相关的不确定性，来建立一个位姿链(a chain of poses)。
 *  TreeMap\[80\]
    
     *  利用地图的树状结构，使地标的拓扑组更稀疏；
     *  从而使信息矩阵更稀疏，从而加快了对n个地标的处理(O (log n))。
 *  iSAM (incremental And Mapping)\[81\]\[82\]
    
     *  没有利用图形结构，但简化了信息矩阵，加快了底层优化。
     *  这里的目标是，稀疏信息矩阵的QR分解。

## 5.3 Filter-based SLAM 对比 Optimization-based SLAM ##

*  比较工作在\[83\]中提出，然后在\[84\]中扩展到 monocular 方法。
    
     *  作者总结到“基于滤波器的SLAM框架，有利于应对较小的处理预算；而BA优化在其他方面较优。” \[83\]
 *  结论：优化往往会给出更好的结果，对比于滤波的方法受线性化问题的限制。

## 5.4 一些标准数据集 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70][]

## 5.5 KITTI中高排名的算法 ##

*  V-LOAM \[105\]（J. Zhang and S. Singh，2015）：“**Visual-lidar Odometry and Mapping: Lowdrift, Robust, and Fast**”
    
     *  高排名定位方法；
     *  结合visual odometry，和较慢的3D laser odometry，进行运动估计。
 *  SOFT \[106\] （Cvisi ˇ c and I. Petrovi ´ c，2015）：“**Stereo odometry based on careful feature selection and tracking**,”
    
     *  最好的stereo approach，采用视觉里程测量；基于细节的特征选择和跟踪；
     *  在两幅图像中都提取了角状特征。通过SAD(绝对和)，在小窗口内，查找对应差异。

## 5.6 自主驾驶中SLAM的一些评价标准 ##

*  Accuracy 准确度
    
     *  理想情况下，精确度应始终低于阈值(通常约20厘米\[109\])。
 *  **Scalability 可量测性**
    
     *  是指车辆处理大规模自动驾驶的能力。SLAM算法应该能够在固定的时间和固定的内存使用情况下工作；
     *  例如，所构建和/或使用的地图，必须很 light （轻量级）
        
         *  (或存储在远程服务器上，并在运行中进行检索)，以便在长距离中方便地使用。
 *  Availability 可用性
    
     *  指SLAM算法的直接可用性。
 *  Recovery 自复位性
    
     *  大型地图中定位车辆的能力
        
         *  最初，车辆不知道它在哪里，并且在大多数情况下，需要一个专门的流程来大致了解它在地图上的位置；
         *  或是一个从失败(被绑架的机器人问题)中恢复的方法。
 *  Updatability 可更新性
    
     *  指确定地图与当前观测之间的永久变化
        
         *  包括需要集成这些持久更改，而不是临时更改的更新策略；
         *  长期自动驾驶需要地图更新的自动化。
 *  Dynamicity 动态性
    
     *  指SLAM方法如何处理动态环境和变化
        
         *  包括，可能定位估计扭曲化的，动态障碍；
         *  它还集成了可以变化的天气条件，以及季节变化(树木落叶等)。
            
             *  如：\[142\] T. Naseer, M. Ruhnke, C. Stachniss, L. Spinello, and W. Burgard, “**Robust Visual SLAM Across Seasons,**” in IEEE/RSJ International Conference on Intelligent Robots and Systems, 2015, pp. 2529–2535.

# 6 Relocalization and loop closure #

## 6.1 描述与分类 ##

*  识别之前映射的位置，从而减少SLAM算法引起的漂移，被认为是SLAM的重要组成部分；
 *  环路闭合（loop closure），最初被认为是一种纠正漂移（drift）的方法；
 *  由于视觉信息的丰富性，大多数方法都使用摄像机来寻找 loop。
    
     *  Williams等人\[131\]，将这些算法分为三类:
        
         *  Image-to-image methods \[132\]
            
             *  闭环检测（loop detection），发生在传感器空间（sensor space ）中。
                
                 *  基于视觉线索的 bag-of-words 方法\[132\]\[135\]属于这一类；
                 *  这个想法是建立一个字典，每个单词代表相似的描述符。
         *  map-to-map methods \[133\]
            
             *  仅基于map中包含的信息。这是GCBB算法(Geometric Constraint Branch and Bound 几何约束分支)的情况，在\[143\]中提出。
             *  其原理是，定义地图中地标，对与当前观测值之间的几何约束。
         *  Image-to-map methods \[134\]
            
             *  从传感器空间提取信息，并直接与地图进行比较。

## 6.2 自动驾驶中，常用“重定位和闭环检测”方法汇总 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1][]

### **6.2.1 讨论与总结** ###

*  近年来，如何处理季节性或天气变化是一个研究重点。
 *  即使看起来图像对图像的方法是受欢迎的，但是最近的方法，倾向于结合不同的方法来确保一个地方被正确识别。

## 6.3 自动驾驶中，在已构建的map中Localization方法汇总 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2][]

### **6.3.1 讨论与总结** ###

*  使用以前构建的地图，进行定位是很有意义的；
 *  从以上分析来看，似乎要在有限的范围内，建立考虑永久性变化以及季节和天气的终身地图（life-long maps），仍然是一个挑战；
 *  在准确性方面，即使显示了一些令人印象深刻的结果，也很难预测一种地图，在不同的环境中工作状态如何。

## 6.4 自动驾驶中，在现有(或未来)的map的Localization方法汇总 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 3][]

### **6.4.1 讨论与总结** ###

*  从当前现有地图的定位方法的状态来看，它们还不能用于自动驾驶；
 *  精度不够，即使是使用更精确的车道地图(手工构建)的算法，也无法达到临界精度(约20厘米\[109\])用于自动驾驶；
 *  利用当前的数据库是一个不断发展的趋势；
 *  作者倾向于关注一种特定类型的数据，并找到一个框架和一种能够同时利用所有可用资源的评估方法；

# 7 MULTI-VEHICLE SLAM #

## 7.1 概念与分类 ##

*  在世界范围内，为定位创建或利用地图是复杂的；
 *  车辆之间的合作，可以改进现有地图，或简化大规模数据收集，以便进行适当的地图构建，来限制漂移和增强地；
 *  存在两种系统:集中式方法和分散式方法。
    
     *  Centralized SLAM：
        
         *  所有通信都指向一个实体，该实体在将结果发送回车辆之前，聚合和融合所有数据。
     *  Decentralized SLAM：
        
         *  分散系统假设每辆车都能够在与车队其他车辆通信的同时，构建自己的分散地图；
         *  这意味着必须控制信息流，以避免带宽拥堵和估计问题，而这类情况通常会发生。

## 7.2 讨论与总结 ##

*  多机器人SLAM方法，在自动驾驶上的成熟程度，在很大程度上取决于处理数据的方式；
 *  未来的一个问题:未来的汽车将具备多大的带宽容量，但最重要的是汽车能否接入互联网；
 *  将关键处理部分，完全移植到到云上，可能不够安全；
 *  **分散式（去中心化）SLAM:**
    
     *  在合理的时间内，更新从几辆车收集的地图，是一个有趣的前景；
     *  地图中可能发生变化的部分进行实时更新，可能有助于无人驾驶汽车以更快的方式适应变化；
        
         *  此外，低动态性的环境条件可以预先识别到，以便车辆通过选择更适合的特性来进行预测。
            
             *  这也意味着一个主要的前景，仍然是软件架构的设计，能够处理数据流和适当的片段更新；
             *  使基于云的在线方法可行的一个关键因素，是选择能够集成所有传入信息的地图表示形式。
     *  使用完全分散的方法，共享相似的目标。
        
         *  通过接收附近车辆的信息，自我车辆可以选择将哪些信息整合到自己的地图中。
            
             *  因此，一个有趣的挑战是建立标准，来评估来自不同车辆的地图与自我车辆目标(目的地、能量约束等)之间的信息增益价值。
 *  **集中式SLAM:**
    
     *  可能是目前较成熟的自动驾驶方法，主要原因是这一挑战非常接近于 multisession SLAM；
     *  虽然未来的 HAD 地图，可能无法提供在各种情况下可靠地定位车辆所需的所有信息；
        
         *  但可以事先，通过探测车，快速收集足够数据来构建此类地图。
            
             *  但车辆探测长期变化的能力，也是一个值得关注的问题。
     *  限制地图数据量的增长，仍然是一个 blocking point；
 *  一个相当大的挑战是，构建足够健壮的软件架构，来集成和处理所有这些数据。
    
     *  这种基础设施的成本，决定了用这种方法对工业企业，进行大规模实验，而不是小规模的研究团队。

# 8 讨论和结论 #

未来的方向和剩下的挑战。

在第23届世界大会期间，举办的 localization competition，使用HERE提供的低分辨率的，地上物体和车道体素地图，参与者被要求提出一个准确的定位算法。比赛结束时，却没有赢家，因为都没有达到目标准确性。

*  **HAD地图**，**未来几年或将可用，**目前还不清楚它是否会为定位算法，提供足够强大的先验知识。
    
     *  这些map可以用作本地动态地图（Local Dynamic Map(**LDM**)）的一部分。
     *  由这些地图收集的静态和动态信息，可以供SLAM使用。
     *  标准化是必要的，如\[272\] 欧洲电信标准协会 ETSI建议的标准。
 *  **传感器配置** ( sensor placement )
    
     *  其对定位系统的性能，产生的影响巨大；
        
         *  如，车顶上的激光雷达，将对周围基础设施有一个清晰的视图
         *  并能避开大多数移动障碍，而底盘上的激光雷达可能会受到遮挡的影响。
     *  定位所需的传感器的最小集合，也没有明确的定义(即使激光和照相机似乎更受欢迎)
        
         *  这样的定义，应该与作为先验知识的地图表示一起制定。
     *  传感器的成本也应考虑在内。
     *  多模态 multi-modality
        
         *  如，一张地图可以由昂贵的3D激光构建，但随后可以由一个简单的相机来使用。
 *  **构建灵活的体系结构**
    
     *  在这种体系结构中，决策系统可以根据具体环境，选择需要的传感器、探测器或地图。
 *  **具体环境** ( context )
    
     *  目前开展的大部分工作都是室内定位；
     *  Chatila et al. in \[274\] 1985 提出语义(对象)地图可用于高层决策；
     *  参考\[278\]：单目语义地图，将已知的物体整合到SLAM中；
     *  参考 \[279\]：SLAM++，对象级别的SLAM；
     *  户外环境中的语义SLAM，仍然是一个需要解决的挑战。
 *  **卷积神经网络**
    
     *  通过使用来自这些网络的特征图，来改变位置识别（place recognition）的方式；
     *  可以构建图像语义mapping；
     *  局限性：
        
         *  目前处理对象，是移除移动的，或暂时静态的环境；
     *  经典例子（**Bojarski，2016**）\[282\] ：从相机获取的信息，直接应用于方向盘转向角。
 *  **其他**
    
     *  使用以前构建的，没有可伸缩性问题的map，这是一种长期测试它们，并使它们适应环境变化的好方法。
     *  安全性
        
         *  应考虑到故障，及故障对定位系统的影响。

# 9 经典论文 #

## 9.1 SLAM 综述相关文章 ##

*  \[85\] J. Aulinas, Y. Petillot, J. Salvi, and X. Llado, “**The SLAM problem: a survey**,” in 11th International Conference of the Catalan Association for Artificial Intelligence, **2008**, pp. 363–371.
 *  \[86\] G. Dissanayake, S. Huang, Z. Wang, and R. Ranasinghe, “**A Review of Recent Developments in Simultaneous Localization and Mapping**,” in IEEE 6th International Conference on Industrial and Information Systems, **2011**, pp. 477–482
 *  G. Ros, A. D. Sappa, D. Ponsa, and A. M. Lopez, “**Visual SLAM for Driverless Cars: A Brief Survey**,” in IEEE Intelligent Vehicles Symposium Workshops, **2012**.
 *  S. Lowry, N. Sunderhauf, P. Newman, J. J. Leonard, D. Cox, P. Corke, ¨ and M. J. Milford, “Visual Place Recognition: A Survey,” IEEE Transactions on Robotics, vol. 32, no. 1, pp. 1–19, **2016**.
    
     *  研究问题：位置识别，动物王国中对位置的识别，当外观变换时怎样识别的问题。

## 9.2 SLAM问题的发展 ##

*  R. Smith and P. Cheeseman, “**On the Representation and Estimation of Spatial Uncertainty**,” The International Journal of Robotics Research, vol. 5, no. 4, pp. 56–68, 1986.
    
     *  SLAM问题的最初提出。
 *  J. J. Leonard and H. Durrant-Whyte, “**Simultaneous Map Building and Localization for an Autonomous Mobile Robot,**” in IEEE/RSJ International Conference on Intelligent Robots and Systems, 1991, pp. 1442–1447.
    
     *  SLAM问题的最初的清晰明确化 structuring works。
 *  SLAM的系统化介绍
    
     *  T. Bailey and H. Durrant-Whyte, “**Simultaneous Localization and Mapping (SLAM): Part II**,” IEEE Robotics and Automation Magazine, vol. 13, no. 3, pp. 108–117, 2006.
     *  T. Bailey and H. Durrant-Whyte, “**Simultaneous Localization and Mapping: Part I**,” IEEE Robotics and Automation Magazine, vol. 13,no. 2, pp. 99–110, 2006.
 *  SLAM最新的回顾，和目前的挑战
    
     *  C. Cadena, L. Carlone, H. Carrillo, Y. Latif, D. Scaramuzza, J. Neira, I. Reid, and J. J. Leonard, “**Past, Present, and Future of Simultaneous Localization and Mapping: Toward the Robust-Perception Age**,” IEEE Transactions on Robotics, vol. 32, no. 6, pp. 1309–1332, 2016.

## **9.3 多种传感器融合**的方法 ##

*  P. Newman, D. Cole, and K. Ho, “Outdoor SLAM Using Visual Appearance and Laser Ranging,” in IEEE International Conference on Robotics and Automation, 2006, pp. 1180–1187
    
     *  视觉与激光的耦合
 *  \[128\] R. C. Luo, C.-C. Yih, and K. L. Su, “**Multisensor fusion and integration: approaches, applications, and future research directions**,” IEEE Sensors Journal, vol. 2, no. 2, pp. 107–119, 2002
    
     *  将信息融合分为三个层次：
        
         *  原始数据——低层次；特征——中层次；对象——高层次。
 *  \[129\] J. A. Castellanos, J. Neira, and J. D. Tardos, “**Multisensor fusion for ´simultaneous localization and map building**,” IEEE Transactions on Robotics and Automation, vol. 17, no. 6, pp. 908–914, 2001.
    
     *  将激光与摄像机数据进行耦合(先进行激光估计，然后进行相机优化）；融合效果达到 a landmark level。
 *  \[130\] L. Wei, C. Cappelle, and Y. Ruichek, “**Camera/laser/GPS fusion method for vehicle positioning under extended NIS-based sensor validation**,” IEEE Transactions on Instrumentation and Measurement, vol. 62,no. 11, pp. 3110–3122, **2013**
    
     *  根据信息相关性（information coherency）对摄像机、激光和GPS进行信息融合。
 *  \[105\] J. Zhang and S. Singh, “**Visual-lidar Odometry and Mapping: Lowdrift, Robust, and Fast**,” in IEEE International Conference on Robotics and Automation, **2015**.
    
     *  结合视觉和三维激光数据，产生低漂移算法。
 *  R. **Chatila** and J.-P. Laumond, “**Position referencing and consistent world modeling for mobile robots**,” in IEEE International Conference on Robotics and Automation, 1985, pp. 138–145.
    
     *  SLAM早期经典作品，室内定位，提出语义(对象)地图，用于高层决策。
 *  H. **Zender**, O. Mart´ınez Mozos, P. Jensfelt, G.-J. Kruijff, and W. Burgard, “**Conceptual spatial representations for indoor mobile robots**,”Robotics and Autonomous Systems, vol. 56, no. 6, pp. 493–502, 2008.
    
     *  经典论文：提出了基于三种不同概念空间的，地图表示方法:metric(来自SLAM系统)、navigation(自由空间)和topological(门分隔区域之间的连接)。
 *  R. F. **Salas-Moreno**, R. A. Newcombe, H. Strasdat, P. H. J. Kelly, and A. J. Davison, “**SLAM++: Simultaneous Localisation and Mapping at the Level of Objects**,” in IEEE Conference on Computer Vision and Pattern Recognition, 2013, pp. 1352–1359.
    
     *  经典论文，对象级别的SLAM。
 *  M. **Bojarski**, D. D. Testa, D. Dworakowski, B. Firner, B. Flepp, P. Goyal, L. D. Jackel, M. Monfort, U. Muller, J. Zhang, X. Zhang, J. Zhao, and K. Zieba, “**End to End Learning for Self-Driving Cars**,” CoRR, **2016** \[282\]
    
     *  经典论文，高引用论文，训练了一个卷积神经网络(CNN)，从相机获取的信息，直接应用于方向盘转向角。

## 9.4 BA算法的经典代表 ##

*  \[64\] B. Triggs, P. F. McLauchlan, R. I. Hartley, and A. W. Fitzgibbon, “**Bundle Adjustment - A Modern Synthesis**,” in Vision Algorithms: Theory and Practice. Springer, **2000**, pp. 298–372.
 *  \[65\] W. Press, S. Keukolsky, W. Vettering, and B. Flannery, “**LevenbergMarquardt Method**,” Numerical Recipes in C: The Art of Scientific Computation, pp. 542–547, 1992.
 *  H.-Y. Shum, Q. Ke, and Z. Zhang, “**Efficient Bundle Adjustment with Virtual Key Frames: A Hierarchical Approach to Multi-frame Structure from Motion**,” in IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 1999.
 *  E. Mouragnon, M. Lhuillier, M. Dhome, F. Dekeyser, and P. Sayd, “**Real Time Localization and 3D Reconstruction**,” in IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2006, pp. 363–370.
    
     *  提出 LBA (local bundle adjustment)

## 9.5 Visual Odometry 系统介绍杂志 ##

*  D. Scaramuzza and F. Fraundorfer, “**Visual Odometry: Part I: The First 30 Years and Fundamentals**,” IEEE Robotics & Automation Magazine, vol. 18, no. 4, pp. 80–92, 2011
 *  F. Fraundorfer and D. Scaramuzza, “**Visual Odometry: Part II: Matching, RobuRobust, Optimization, and Applications**,” IEEE Robotics & Automation Magazine, vol. 19, no. 2, pp. 78–90, 2012.

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200304214400451.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200306113123537.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200306113739122.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/2020030611371595.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70