ORB-SLAM3学习笔记-基本概念

曾经终败给现在 2022-12-08 04:52 348阅读 0赞

# 1 ./Vocabulary/ORBvoc.txt #

## [为何要加载orb vocabulary？他的作用是啥？][orb vocabulary] ##

一句话概括，ORB中vocabulary的作用是特征空间的划分和Bag-of-Words Vector的计算。  
  
为了减少累积误差，目前Visual SLAM都加入回环检测了，并通过后端优化来纠正整个回环中的姿态估计误差。要实现回环检测，SLAM系统需要回答一个问题：这个场景之前我是不是见过？而且是在可能出现平移+绽放+旋转的情形下，判断当前帧与之前记录过的帧是不是来源于同一个场景。这个问题落入到基于内容的图像检索范畴。  
ORB-SLAM采用的是Bag-of-Words的方式将图像中的多个局部描述符表示成一个定长的全局特征，而Vocabulary Tree是局部描述符量化和索引的一种高效数据结构。  
  
**Vocabulary Tree**  
建立Vocabulary Tree流程是这样的：

1.  对应用场景下的大量训练图像离线提取局部描述符(words)（每张图像可能会有多个描述符）;
2.  将这些描述符KNN聚成k类；
3.  对于上一步的每一子类，继续KNN聚成k类；
4.  按这个循环，直到聚类的层次数达到阈值L。

最后的聚类结果组织成一棵树，叶子节点表示一个word，中间节点则是聚类的中心。与叶子节点相关联的还有权重，用来表示这个word的重要程度，典型的如IDF，与文本搜索中的IDF是一样的道理。  
Vocabulary Tree实际上就是通过学习(Learning)的方法实现对原始特征空间的一种划分而已。  
ORB-SLAM2中附带的那个ORBvoc.txt是拿大量通用场景下的图像提取ORB特征，分层聚类出来的，作者声称在不同场景下都有很好的效果（未验证过针对训练集的效果会不会更好）。  
  
Vocabulary Tree具体可以参考DBoW2（[GitHub - dorian3d/DBoW2: Enhanced hierarchical bag-of-word library for C++][GitHub - dorian3d_DBoW2_ Enhanced hierarchical bag-of-word library for C]）  
和  
Vocabulary Tree的论文（[http://www.vis.uky.edu/~stewe/publications/nister\_stewenius\_cvpr2006.pdf][http_www.vis.uky.edu_stewe_publications_nister_stewenius_cvpr2006.pdf]）

# 2 EuRoC.yaml #

针对该数据集的相机参数， 如下所示

Camera.type: "PinHole"
    
    # Camera calibration and distortion parameters (OpenCV) 
    Camera.fx: 458.654
    Camera.fy: 457.296
    Camera.cx: 367.215
    Camera.cy: 248.375
    
    Camera.k1: -0.28340811
    Camera.k2: 0.07395907
    Camera.p1: 0.00019359
    Camera.p2: 1.76187114e-05
    ...

# **3 数据集文件结构** #

## 例如：[ 文件名MH\_01\_easy \[工厂场景\]][_MH_01_easy] ##

——mav0
          — cam0
            data :图像文件
            data.csv :图像时间戳
            sensor.yaml : 相机参数【内参fu,fv,cu,cv、外参T_BS(相机相对于b系的位姿)、畸变系数】
          — cam1
            data :图像文件
            data.csv :图像时间戳
            sensor.yaml : 相机参数【内参fu,fv,cu,cv、外参T_BS(相机相对于b系的位姿)、畸变系数】
          — imu0
            data.csv : imu测量数据【时间戳、角速度xyz、加速度xyz】
            sensor.yaml : imu参数【外参T_BS、惯性传感器噪声模型以及噪声参数】
          — leica0
            data.csv : leica测量数据【时间戳、prism的3D位置】
            sensor.yaml : imu参数【外参T_BS】
          — state_groundtruth_estimae0**
            data.csv :地面真实数据【时间戳、3D位置、姿态四元数、速度、ba、bg】
            sensor.yaml :

# 4 ./Examples/Monocular/EuRoC\_TimeStamps/MH01.txt #

时间戳，对应每一张图片的编号，如下所示

1403636579763555584
    1403636579813555456
    1403636579863555584
    1403636579913555456
    1403636579963555584
    1403636580013555456
    1403636580063555584
    1403636580113555456
    1403636580163555584
    1403636580213555456
    1403636580263555584
    ...

[orb vocabulary]: https://www.zhihu.com/question/49153462
[GitHub - dorian3d_DBoW2_ Enhanced hierarchical bag-of-word library for C]: https://link.zhihu.com/?target=https%3A//github.com/dorian3d/DBoW2
[http_www.vis.uky.edu_stewe_publications_nister_stewenius_cvpr2006.pdf]: https://link.zhihu.com/?target=http%3A//www.vis.uky.edu/~stewe/publications/nister_stewenius_cvpr2006.pdf
[_MH_01_easy]: https://blog.csdn.net/weixin_43793960/article/details/106570700?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2~all~first_rank_v2~rank_v25-7-106570700.nonecase&utm_term=euroc%E6%95%B0%E6%8D%AE%E9%9B%86