论文笔记_SLAM_Visual SLAM and Structure from Motion in Dynamic Environments A Survey

我不是女神ヾ 2023-07-07 08:47 7阅读 0赞

**目录**

1 论文介绍

2 大纲

3 热点问题：评估相机 pose 和 重建环境的三维模型

3.1 计算机视觉社区： SfM

3.2 机器人研究社区： visual SLAM

3.3 Incremental SfM

3.4 dense or semidense map

4 动态环境中的SLAM

4.1 研究目标

4.2 解决方案

4.3 应用场景

4.4 近期研究

5 动态环境下视觉定位和三维重建

5.1 Pipeline

5.2 文章讨论的方法描述结构

6 ROBUST VISUAL SLAM

6.1 Motion Segmentation

6.2 Localization and 3D Reconstruction

6.2.1 核心问题

6.2.2 基于特征的方法（Feature-Based Approaches）

6.2.3 基于深度学习的方法

7 讨论部分

7.1 Robust Visual SLAM

7.1.1 Motion Segmentation

7.1.2 Localization and 3D Reconstruction

7.2 Dynamic Object Segmentation and 3D Tracking

7.2.1 Dynamic Object Segmentation

7.2.2 3D Tracking of Dynamic Objects

7.3 Joint Motion Segmentation and Reconstruction

7.3.1 Factorization

8 发展趋势与总结

9 经典论文

--------------------

# 1 论文介绍 #

*  出处：ACM Computing Surveys (2区)
 *  年份：2018
 *  作者：MUHAMAD RISQI U. SAPUTRA, ANDREW MARKHAM, and NIKI TRIGONI, Department of Computer Science, University of Oxford

# 2 大纲 #

*  **三个重要问题**
    
     *  如何执行重建(robust visual SLAM)
     *  如何分割和跟踪动态对象（segment and track dynamic objects）
     *  如何关联运动的分割和重建（joint motion segmentation and reconstruction）
 *  各解决方案类的优缺点
 *  通过估计概率分布或优化选择的图像，决定**是否集成所有图像的特征测量**（feature measurements）的解决方案：
    
     *  基于滤波的方法(例如，Kalman filter)
     *  光束调整法(bundle adjustment,BA)

# **3** **热点问题：****评估相机 pose** 和 **重建环境的三维模型** #

*  通过从多幅图像中检测到的一组特征对应，进行评估和重建。

## 3.1 计算机视觉社区： **SfM** ##

*  factorization 因子分解的方法：
    
     *  Peter Sturm and Bill Triggs. 1996. **A factorization based algorithm for multi-image projective structure and motion**.In Eur. Conf. Comput. Vis., Vol. 1065. 710–720.
     *  Carlo Tomasi and Takeo Kanade. 1992. **Shape and motion from image streams under orthography: A factorization method**. In Int. J. Comput. Vis., Vol. 9. 137–154.
 *  rotation averaging方法：
    
     *  Pierre Moulon, Pascal Monasse, and Renaud Marlet. 2013. **Global fusion of relative motions for robust, accurate and scalable structure from motion**. In IEEE Int. Conf. Comput. Vis. 3248–3255.
     *  Venu Madhav Govindu. 2001. **Combining two-view constraints for motion estimation**. In IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit.

## 3.2 机器人研究社区： **visual SLAM** ##

*  一些被广泛采用的公开的系统：
    
     *  Changchang Wu. 2013. **Towards linear-time incremental structure from motion**. In Int. Conf. 3D Vis. 127–134.

## **3.3 Incremental SfM** ##

*  将计算机视觉领域和机器人研究领域的工作联系起来。
    
     *  SfM(离线)和visual SLAM(在线)早期工作的不同目标和特点，使得计算机视觉和机器人社区所走过的道路不同，而且基本上是互不相关的。
 *  代表作品：
    
     *  Visual odometry
        
         *  David Nistér, Oleg Naroditsky, and James Bergen. 2004. **Visual odometry**. In IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit. 652–659.
         *  Andreas Geiger, Julius Ziegler, and Christoph Stiller. 2011. **StereoScan: Dense 3D reconstruction in real-time**. In IEEE Intell. Veh. Symp. 1–9. 地图创建
     *  realtime structure from motion
        
         *  Etienne Mouragnon, Maxime Lhuillier, Michel Dhome, Fabien Dekeyser, and Patrick Sayd. 2007. **Generic and realtime structure from motion**. In Br. Mach. Vis. Conf. 64.1–64.10.
         *  Etienne Mouragnon, Maxime Lhuillier, Michel Dhome, Fabien Dekeyser, and Patrick Sayd. 2006. **Real time localization and 3D reconstruction**. In IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit. 1–8.
     *  PTAM
        
         *  Georg Klein and David Murray. 2007. **Parallel tracking and mapping for small AR workspaces**. In IEEE ACM Int. Symp. Mix. Augment. Real.
 *  评价：基于bundle adjustment 的增量 SfM，比基于滤波的 visual SLAM 更准确，在给定相同的计算时间内时。

## 3.4 dense or semidense map ##

*  能够生成密集或半密集地图（a dense or semidense map）的解决方案
    
     *  KinectFusion
        
         *  Richard A. Newcombe, David Molyneaux, David Kim, Andrew J. Davison, Jamie Shotton, Steve Hodges, Andrew  
            Fitzgibbon, Shahram Izadi, Otmar Hilliges, David Molyneaux, David Kim, Andrew J. Davison, Pushmeet Kohli, Jamie Shotton, Steve Hodges, and Andrew Fitzgibbon. 2011. **KinectFusion: Real-time dense surface mapping and tracking**. In IEEE Int. Symp. Mix. Augment. Real. 127–136.
     *  LSD-SLAM
        
         *  Jakob Engel, Thomas Sch, and Daniel Cremers. 2014. **LSD-SLAM: Direct monocular SLAM**. In Eur. Conf. Comput. Vis. 834–849.
 *  产生原因：
    
     *  越来越多的人需要更详细的地图
     *  微软Kinect等价格实惠的深度摄像头的产生

# 4 动态环境中的SLAM #

## 4.1 研究目标 ##

*  提供鲁棒性的定位；
 *  扩展其检测、跟踪和重构动态对象形状的能力。

## 4.2 解决方案 ##

*  SLAMMOT
    
     *  采用贝叶斯方法，使用激光扫描仪跟踪移动物体。
     *  Chieh-Chih Wang and Chuck Thorpe. 2002. **Simultaneous localization and mapping with detection and tracking of moving objects**. In IEEE Int. Conf. Robot. Autom., Vol. 3. 2918–2924.
     *  Chieh-Chih Wang, Charles Thorpe, Sebastian Thrun, M. Hebert, and H. Durrant-Whyte. 2007. **Simultaneous localization, mapping and moving object tracking**. Int. J. Rob. Res. 26, 9 (2007), 889–916.
 *  MBSfM （Multibody Structure from Motion）
    
     *  João Paulo Costeira and Takeo Kanade. 1998. **A multibody factorization method for independently moving objects**. Int. J. Comput. Vis. 29, 3 (1998), 159–179.
     *  Terrance E. Boult and Lisa Gottesfeld Brown. 1991. **Factorization-based segmentation of motions**. In IEEE Work. Vis. Motion.

## 4.3 应用场景 ##

*  避障\[63\]
 *  人机交互\[51\]
 *  人类跟随\[183\]
 *  路径规划\[19\]
 *  协同机器人\[46\]
 *  协同建图（collaborative mapping）\[28\]
    
     *  Danping Zhou and Ping Tan. 2012. **CoSLAM: Collaborative visual SLAM in dynamic environments**. IEEE Trans. Pattern Anal. Mach. Intell. 35, 2 (2012), 354–366.
 *  无人驾驶汽车\[102\]
    
     *  Christopher Mei, Gabe Sibley, Mark Cummins, Paul Newman, and Ian Reid. 2011. RSLAM: **A system for large-scale mapping in constant-time using stereo**. Int. J. Comput. Vis. 94, 2 (2011), 198–214.
 *  增强现实(如手机\[76\]、可穿戴设备\[18\])
    
     *  PTAM：Parallel tracking and mapping for small AR workspaces
 *  视障导航辅助\[4,134\]

## 4.4 近期研究 ##

*  general visual SLAM approaches
    
     *  Khalid Yousif, Alireza Bab-Hadiashar, and Reza Hoseinnezhad. 2015. **An overview to visual odometry and visual  
        SLAM: Applications to mobile robotics**. Intell. Ind. Syst. 1, 4 (2015), 289–311.
        
         *  调查了一般的视觉SLAM方法，包括视觉测程(VO)和 visual SLAM，过滤器、非过滤器和基于RGB-D的解决方案
 *  non-filter-based techniques
    
     *  Younes et al. (2016) \[180\]: 对近期的每种技术使用的具体策略，进行了比较和批判性的评估。
 *  topological mapping
    
     *  Emilio Garcia-Fidalgo and Alberto Ortiz. 2015. **Vision-based topological mapping and localization methods: A survey**. Rob. Auton. Syst. 64 (2015), 1–20.
        
         *  专注于将环境建模为图的拓扑映射（topological mapping）

# 5 动态环境下视觉定位和三维重建 #

## 5.1 Pipeline ##

## ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70][]   5.2 文章讨论的方法描述结构 ##

*  A. Robust Visual SLAM
    
     *  1. Motion Segmentation 运动分割（也称为运动目标检测）
        
         *  1. Background/Foreground Initialization
         *  2. Geometric Constraints
         *  3. Optical Flow
         *  4. Ego-Motion Constraints
         *  5. Deep Learning
     *  2. **Localization and 3D Reconstruction**
        
         *  1. Feature Based
         *  2. Deep Learning
 *  B. Dynamic Object Segmentation and 3D Tracking
    
     *  1. Dynamic Object Segmentation 动态对象分割（也称为多体运动分割，将所有特征对应聚类成n个不同的对象运动）
        
         *  1. Statistical Model Selection
         *  2. Subspace Clustering
         *  3. Geometry
         *  4. Deep Learning
     *  2. 3D Tracking of Dynamic Objects
        
         *  1. Trajectory Triangulation
         *  2. Particle Filter
 *  C. Joint Motion Segmentation and Reconstruction
    
     *  1. Factorization
        
         *  1. Multibody Structure from Motion (MBSfM)
         *  2. Nonrigid Structure from Motion (NRSfM)

# 6 ROBUST VISUAL SLAM #

## 6.1 Motion Segmentation ##

*  运动分割(也称为运动目标检测/分割\[30,74,84\])，通过将特征分为静态和动态特征两组，来检测图像中的运动部分。

## **6.2 Localization and 3D Reconstruction** ##

### **6.2.1 核心问题** ###

*  相机 pose 的评估，和从多个观察环境的图像，恢复三维结构
 *  Standard visual SLAM
    
     *  根据 epipolar geometry，利用 all feature correspondences 解决。
 *  robust visual SLAM
    
     *  仅使用通过 Motion Segmentation 计算出来的 static features 来解决；
     *  所有的 dynamic features 都被视为 outliers（异常值），并被排除在计算之外。

### 6.2.2 基于特征的方法（Feature-Based Approaches） ###

*  **一般步骤**
    
     *  **1). 特征提取**（feature extraction）：进行 Visual Odometry\[117\]，
        
         *  利用的检测器：
            
             *  Harris \[57\]: 1988，较早的工作；
             *  SIFT \[99\]：2004，近期工作；
             *  SURF \[8\]：2008
             *  FAST \[130\]：2006，为了实时性能\[76, 94\]。
     *  **2).** **确定图像点对应关系**（find correspondences）
        
         *  根据两个相机的光学中心(称为基线/视差)之间的距离，分成两类
            
             *  short baselines
                
                 *  采用 以光流为基础的技术（optical flow-based techniques）来进行匹配
                    
                     *  比如 KLT方法\[100\] （Kanade-Lucas-Tomashi (KLT) tracker）
             *  long baselines
                
                 *  采用 高区别性的特征描述符 之间的差异，来找 correspondences
                    
                     *  特征描述符比如：SIFT \[99\], SURF \[8\], BRIEF \[17\], BRISK \[91\]
         *  为提高鲁棒性，提出如下robust estimators，来排除异常值，和处理假的对应关系（false correspondences）
            
             *  RANSAC \[37\] ；PROSAC \[22\]；MLESAC \[158\]
     *  **3). 评估计算相机的位姿（pose）**
        
         *  利用极线约束
            
             *  8-point \[53\]
             *  5-point algorithm \[116\]
             *  trifocal tensor \[156\]
             *  如果场景的某些3D点已经被重建（或已知），可采用**PnP算法（**perspective-n-pointproblems**）**
                
                 *  例如 P3P algorithm \[42\]
                 *  参考：三维重建笔记\_相机标定(相机矩阵求解)基本概念汇： [https://blog.csdn.net/shyjhyp11/article/details/103706871][https_blog.csdn.net_shyjhyp11_article_details_103706871]
     *  **4). 重建场景3D点**
        
         *  对极几何约束：通过三角剖分法中，对应点的两条投影射线线相交的位置（intersection），计算出点的3D坐标。
            
             *  评估 the intersection
                
                 *  中点法：midpoint method \[9\]
                 *  最小平方法：least-square-based method \[60\]
                 *  为避免漂移问题 drifting problem：
                    
                     *  采用 bundle adjustment (BA) 的方法，最小化 reprojection errors，来优化 camera pose 和 3D points。
                 *  其他优化场景的结构和摄像机的motion的方法：
                    
                     *  Levenberg-Marquardt (LM) optimization
                        
                         *  基于 Gauss-Newton method；
                         *  较普遍常用的方法。
                 *  参考：三维重建笔记\_光束平差法：[https://blog.csdn.net/shyjhyp11/article/details/104108926][https_blog.csdn.net_shyjhyp11_article_details_104108926]
 *  **其他方法（variations）**
    
     *  LBA（local bundle adjustment）
        
         *  只优化最后几张图片，Mouragnon et al. \[110, 111\]
     *  **PTAM**
        
         *  pipeline在不同的线程上执行，实现跟踪和映射实时性；
         *  引入了选择关键帧的思想。
     *  Lim et al. \[94\]
        
         *  使用二进制描述符，和度量拓扑映射（a metric topological mapping）
            
             *  目的：大规模映射可以实时进行，且不需要任何并行计算。
     *  **ORB-SLAM \[113\]**
        
         *  整合过去十年硬件和算法的进步技术
            
             *  parallel computing；
             *  ORB features \[131\]；
                
                 *  Ethan Rublee, Vincent Rabaud, Kurt Konolige, and Gary Bradski. 2011. **ORB: An efficient alternative to SIFT or SURF**. In IEEE Int. Conf. Comput. Vis. 2564–2571.
             *  statistical model selection \[155\]；
             *  loop closures based on bag-of-words place recognition \[26, 41\]；
                
                 *  Dorian Galvez-Lopez and Juan D. Tardos. 2012. **Bags of binary words for fast place recognition in image sequences.** IEEE Trans. Robot. 28, 5 (2012), 1188–1197.
             *  local bundle adjustment \[111\]；
             *  graph optimization \[81\]
                
                 *  Rainer Kummerle, Giorgio Grisetti, Hauke Strasdat, Kurt Konolige, and Wolfram Burgard. 2011. G2o: **A general framework for graph optimization**. In IEEE Int. Conf. Robot. Autom. 3607–3613

### 6.2.3 基于深度学习的方法 ###

*  **现状**
    
     *  最近关于深度学习的研究表明，相机的姿态估计（pose estimation）可以看作是一个学习问题；
     *  目前end-to-end architectures for ego-motion 已经出现\[103,171\]
     *  但是还没有用于 end-to-end learning for 3D reconstruction的方法
        
         *  很多方法，仅仅停留在对深度预测上的学习过程
 *  **目前 pose estimation 的两类方法**
    
     *  **Supervised Learning**
        
         *  姿态估计被认为是一个分类问题
            
             *  Konda and Memisevic \[78\]： 利用立体相机，来预测相机的速度和方向。
                
                 *  利用同步自动编码器（synchrony autoencoders \[77\]），对训练运动和深度进行表示。
             *  DeTone et al. \[32\] 提出 “HomographyNet”
                
                 *  训练一个CNN，利用单应性的4点参数化，计算两帧之间的单应性（homography）。
             *  AlexNet network \[79\]：
                
                 *  两个连续的图像被输入两个并行的AlexNet网络；
                 *  然后将输出连接起来，通过全连接层，regress the camera odometry；
                 *  缺点：从AlexNet中提取的特征，并不是视觉测程问题的通用特征，只能在已知的环境中工作。
             *  Flowdometry
                
                 *  Muller and Savakis \[112\]提出；
                 *  由于用于目标检测和分类的预先训练的卷积层，不适合进行测距估计，所以研究人员转向基于光流的网络结构。
                 *  包含两个连续的CNN:
                    
                     *  前者用于预测光流，后者用于估计相机运动；
                     *  两种网络都使用了FlowNetS\[33\]架构。
             *  Melekhov et al. \[103\]
                
                 *  开发了一种端到端的CNN,来计算两个视图之间的 ego-motion；
                 *  将两个并行的CNN堆叠在一起，分别使用了权值共享和空间金字塔池(SPP)层来处理任意输入图像，同时在 feature maps 中保持空间信息；
                 *  回归层由两个完全连接的层组成，用于预测摄像机的平移和旋转。
             *  **DeepVO**
                
                 *  Wang et al. \[171\]提出；
                 *  端到端学习框架，能够通过递归卷积神经网络(RCNN)，从图像序列中学习sequential motion dynamics。
                 *  评价
                    
                     *  优点：相比于VISO2单目系统，和立体声系统，性能更好一点；
                     *  缺点：当摄像机前有移动的物体时，可能会降低姿态估计的准确性，但在深度学习框架下如何处理还不清楚。
     *  **Unsupervised Learning**
        
         *  思想：最小化与LSD-SLAM类似的光度误差
         *  方法：
            
             *  Zhou et al. \[187\]
                
                 *  构建了两个平行的CNN网络，来预测深度，和估计摄像机的姿态。
             *  Vijayanarasimhan et al. \[168\]
                
                 *  从卷积/ 非卷积网络，基于深度预测、摄像机运动和动态目标分割的步骤，构建了一个三维场景流（a 3D scene flow）；
                 *  该场景流，通过摄像机的运动来转换，然后将其反投影到当前帧中，以评估光度误差（photometric error）。

# 7 讨论部分 #

## 7.1 Robust Visual SLAM ##

### 7.1.1 Motion Segmentation ###

*  1. Background/Foreground Initialization
    
     *  优点：
        
         *  当动态物体暂时静止时，也可以跟踪到；
         *  可以处理退化的运动 degenerate motion（如：物体沿极平面运动，或者其方向和速度与摄像机接近）。
     *  缺点：
        
         *  与背景或其他对象相关的信息，需要事先定义；
         *  这种基于检测的跟踪方案，可能会影响系统的实时性。
 *  2. Geometric Constraints
    
     *  优点：
        
         *  Kundu et al. \[84\]
            
             *  不需要预先知道背景或移动的物体的先验知识；
             *  可以实现实时性。
                
                 *  由于残差的所有计算都是标准的visual SLAM或SfM技术的一部分，因此在执行分割时没有额外的计算负担，因此实时实现是常见的。
     *  缺点：
        
         *  当动态物体暂时静止时，不能跟踪到；
         *  无法区分由运动目标引起的残差，和由错误对应false correspondence (异常值outliers)引起的残差。
 *  3. Optical Flow
    
     *  优点：
        
         *  不需要预先了解环境；
         *  可以实时性工作。
     *  缺点：
        
         *  对光线变化敏感；
         *  对大块的像素移动，比较敏感；
         *  当对象暂时静止时，需要新的分割。
 *  4. Ego-Motion Constraints
    
     *  优点：
        
         *  很容易地从动态特征中分割出静态特征；
         *  可以实时性工作；
         *  可以处理退化的运动 degenerate motion。
     *  缺点：
        
         *  需要相机的运动的先验信息；
         *  当对象暂时静止时，需要新的分割。对象是临时停止时，它将被视为静态场景的一部分。
 *  5. Deep Learning

### 7.1.2 **Localization and 3D Reconstruction** ###

*  1. Feature Based
 *  **2. Deep Learning**
    
     *  优点：
        
         *  减少了进行特征提取的步骤；
         *  不需要指定相机的模型；
            
             *  目前限制一些方法的原因所在：subspace clustering 如 factorization。
         *  适用于不同的环境（generalize well in different environments）
            
             *  因为数据的非线性表示的能力。
     *  缺点：
        
         *  不容易构建有竞争力的精确的DNN体系结构；
            
             *  由于动态对象分割和重建技术涉及到一些几何计算。
         *  训练网络来分割运动（segment motions）是可以做到的，但是需要确定：
            
             *  图像中确定数量的运动、同时需要使用相机的固有参数，来预测深度。
         *  在检测 退化的物体移动（ degenerate object motion）上有困难。
            
             *  因为该技术基于光流原理（the optical flow principle）。

## 7.2 Dynamic Object Segmentation and 3D Tracking ##

### 7.2.1 Dynamic Object Segmentation ###

*  1. Statistical Model Selection
    
     *  优点：
        
         *  可以处理退化的运动 degenerate motion；
         *  不需要环境的先验知识(当确定有n个不同的运动模型时，可以自动捕获移动对象的数量)；
         *  自动处理噪声和异常值（outliers）；
            
             *  由于基于统计的方法适合基于输入集基数的模型；
         *  虽然实现实时仍然很困难，统计模型选择可以实现为一个连续的算法，每次处理一个新的图像。
     *  缺点：
        
         *  计算代价昂贵；
         *  需要一个关于相机如何随时间移动的假设；
         *  dependent motion 仍然是统计模型选择中的一个难题；
            
             *  由于一组特征可以是两个不同运动模型的一部分。
             *  将重叠运动合并到联合似然函数中\[139\]，可以解决这个问题，尽管在存在异常值情况下仍然很困难。
 *  2. Subspace Clustering
    
     *  优点：
        
         *  计算时间成本相对较低，因为它们大多是基于代数方法；
         *  可以处理 dependent motions 问题。
     *  缺点：
        
         *  不能按 run sequentially ，也不能实时；
            
             *  因为算法需要整个序列在处理之前(批处理模式)可用。
         *  有些算法需要，场景中 motion 的数量或维度;
         *  如果场景包含一个透视效果，则会失败；
            
             *  因为大多数方法，使用仿射相机模型。
         *  面对 noise \[35, 177\], outliers \[35, 185\], and missing data \[128, 179\]， 处理 long sequences 依然困难。
 *  3. Geometry
    
     *  优点：
        
         *  工作在透视相机模式下，因此可以处理非线性流形（a nonlinear manifold）中的数据；
     *  缺点：
        
         *  不能处理退化的运动 degenerate motion；
         *  计算多个基本矩阵，所需的图像对的数量，随着运动的数量呈指数增长。
         *  噪声、异常值和缺失数据的影响，还没有得到很好的研究。
 *  4. Deep Learning

### 7.2.2 3D Tracking of Dynamic Objects ###

*  1. Trajectory Triangulation
    
     *  优点：
        
         *  它可以增量地工作，尽管每次迭代可能需要多帧；
         *  不需要预先了解相机的运动。
     *  缺点：
        
         *  轨迹三角化的主要局限性是，物体轨迹必须是已知的，或者至少必须遵循特定的参数形式；
         *  处理异常值和丢失的数据仍然很困难；
         *  只能重建刚体的运动。
 *  **2. Particle Filter**
    
     *  优点：
        
         *  目前唯一能够实时，进行动态物体跟踪和三维重建的技术。
     *  缺点：
        
         *  被严格地限制在一小部分移动的对象上(对于许多对象来说，计算开销非常大)；
         *  难以扩展到非刚性或铰接式重建。
            
             *  由于非刚体运动和铰接运动，可能不符合等速运动模型（the constant velocity motion model）。

## 7.3 Joint Motion Segmentation and Reconstruction ##

### 7.3.1 Factorization ###

*  1. Multibody Structure from Motion (MBSfM)
 *  2. Nonrigid Structure from Motion (NRSfM)
 *  优点：
    
     *  运动分割和重建问题可以同时解决；
     *  不需要预先了解相机的运动；
     *  它可以优雅地扩展到非刚性重建中。
 *  缺点：
    
     *  无法应用于具有较大透视效果的场景；
        
         *  因为大多数方法，都是基于正投影（orthography）或仿射相机模型；
         *  大透视效果的重建仍然是可能的，只要投影深度应该首先被恢复。
     *  不能实时；
        
         *  因为所有的特征点轨迹，都需要预先知道(批处理模式)。
     *  平方复杂度O(f p^2)；
     *  需要先验知识；
        
         *  如场景中移动对象的数量、测量矩阵的秩，或对象的维数。
     *  对噪声和异常值敏感；
     *  缺失数据也是一个问题；
        
         *  因为在进行SVD之前，度量矩阵的 entry 应该是完整的。

# 8 发展趋势与总结 #

*  本文关注点
    
     *  调查和对比了现有的方法，并将 SfM 和 visual SLAM 领域，与动态对象分割和跟踪(dynamic object segmentation and tracking)，联系起来。
 *  未来的challenge
    
     *  处理丢失的、有噪声的和异常的(missing, noisy, and outlier data)数据
        
         *  虽然基于统计的技术可以解决这个问题，由于他们的递归抽样方法，他们不得平衡好计算成本和准确性。
     *  difficulty in dealing with degenerate and dependent motion
     *  实时性（real-time implementation）
        
         *  由于算法的离线性和较高的计算代价，实时实现一直是动态目标分割和三维跟踪的难题。
         *  为了将动态目标分割，和三维跟踪技术，与标准的视觉SLAM融合起来，首先要解决实时性问题。
 *  趋势
    
     *  基于深度学习的方法
        
         *  将定位和三维重建问题转化为一个学习问题；
         *  消除手工标注特征工程步骤，和指定相机模型的需要，开辟了一个新的视角；
         *  深度学习方法仍处于起步阶段，该领域为未来的工作提出了大量有趣的挑战。

# 9 经典论文 #

*  Andrew J. Davison. 2003. **Real-time simultaneous localisation and mapping with a single camera.** In IEEE Int. Conf.Comput. Vis
    
     *  MonoSLAM \[29\] ：可以认为是第一个基于过滤器的方法，把一般的SLAM问题，从机器人领域带到纯粹的视觉领域。
     *  在机器人导航的实时计算约束下，通过贝叶斯框架，实现摄像机位置一阶不确定度的传播和特征测量
 *  Hugh C. Longuet-Higgins. 1981.**A computer algorithm for reconstructing a scene from two projections.** Nature 293 (1981), 133–135
    
     *  Longuet-Higgins’s paper \[53\]：第一个引发了SfM技术热潮的作品，在对极几何条件下，通过两个视图的8点对应关系计算相对相机的位姿；8点算法。
 *  David Nister. 2004. **An efficient solution to the five-point relative pose problem**. IEEE Trans. Pattern Anal. Mach.  
    Intell. 26, 6 (2004), 756–770.
    
     *  5点算法，求相机pose.
 *  Davide Scaramuzza, Friedrich Fraundorfer, and Roland Siegwart. 2009. **Real-time monocular visual odometry for  
    on-road vehicles with 1-point RANSAC**. In IEEE Int. Conf. Robot. Autom. 4293–4299.
    
     *  1点算法，求相机 pose (camera ego motion)，提出利用轮式车辆的非完整约束条件，来计算相机运动。假设摄像机的运动是平面和圆形。
 *  Falak Chhaya, Dinesh Reddy, Sarthak Upadhyay, Visesh Chari, M. Zeeshan Zia, and K. Madhava Krishna. 2016.  
    **Monocular reconstruction of vehicles: Combining SLAM with shape priors**. In IEEE Int. Conf. Robot. Autom.  
    5758–5765
    
     *  车辆单眼重建，SLAM与形状先验相结合
 *  Thomas S. Huang and Arun N. Netravali. 1994. **Motion and structure from feature correspondences: A review**. Proc.  
    IEEE 82, 2 (1994), 252–268.
    
     *  讨论了SfM算法的早期发展：重点讨论了基于特征对应类型的重构算法及其性能
 *  Francisco Bonin-Font, Alberto Ortiz, Gabriel Oliver, Francisco Bonin-font Alberto, and Ortiz Gabriel. 2008. **Visual  
    navigation for mobile robots**: A survey. J. Intell. Robot. Syst. 53 (2008), 263–296.
    
     *  讨论了移动机器人的视觉导航，并将其分为map-based navigation，和 mapless-based navigation。
 *  Richard Hartley and Andrew Zisserman. 2004. **Multiple View Geometry in Computer Vision** (2nd ed.). Cambridge  
    University Press.
    
     *  ·传说中的MVG， 计算机视觉中的多视几何，经典书。
 *  Hyon Lim, Jongwoo Lim, and H. Jin Kim. 2014. **Real-time 6-DOF monocular visual SLAM in a large-scale environment**. In IEEE Int. Conf. Robot. Autom.
    
     *  大场景下单相机SLAM, 使用FAST特征，以达到实时性能。
 *  David Nistér, Oleg Naroditsky, and James Bergen. 2004. **Visual odometry**. In IEEE Comput. Soc. Conf. Comput. Vis.  
    Pattern Recognit. 652–659. \[117\]
    
     *  视觉测距（VO），经典论文。
 *  Herbert Bay, Andreas Ess, Tinne Tuytelaars, and Luc Van Gool. 2008. **Speeded-up robust features (SURF)**. Comput.  
    Vis. Image Underst. 110, 3 (2008), 346–359.
    
     *  特征描述SURF，经典之作。
 *  Martin A. Fischler and Robert C. Bolles. 1981. **Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography**. Commun. ACM 24 (1981), 381–395.
    
     *  随机采样一致性的出处，经典方法。
 *  Etienne Mouragnon, Maxime Lhuillier, Michel Dhome, Fabien Dekeyser, and Patrick Sayd. 2009. Generic and realtime structure from motion using local bundle adjustment. Image Vis. Comput. 27, 8 (2009), 1178–1193. \[111\]
    
     *  LBA经典方法，局部光束平差法
 *  Raul Mur-Artal, J. M. M. Montiel, and Juan D. Tardos. 2015. **ORB-SLAM: A versatile and accurate monocular SLAM  
    system**. IEEE Trans. Robot. 31, 5 (2015), 1147–1163.
    
     *  ORB-SLAM 经典方法，较新的方法。

**论文颜色标注说明**： 蓝色--经典常引用论文； 青绿色--潜在感兴趣论文。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200223161708283.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[https_blog.csdn.net_shyjhyp11_article_details_103706871]: https://blog.csdn.net/shyjhyp11/article/details/103706871
[https_blog.csdn.net_shyjhyp11_article_details_104108926]: https://blog.csdn.net/shyjhyp11/article/details/104108926