KITTI数据集解读

向右看齐 2022-12-09 03:17 543阅读 0赞

**目录**

1.KITTI数据集概述

2.数据采集平台

3.Dataset详述

3.1 数据组织形式

3.2 Development Kit

3.3 GPS/IMU位姿数据

3.4 传感器标定

D\_xx解释:

3.5 深度预测、深度完成模块的数据介绍

3.6 pose数据介绍

参考

--------------------

# **1.KITTI数据集概述** #

KITTI数据集由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办，是目前国际上最大的自动驾驶场景下的计算机视觉算法评测数据集。该数据集用于评测立体图像(stereo)，光流(optical flow)，视觉测距(visual odometry)，3D物体检测(object detection)和3D跟踪(tracking)等计算机视觉技术在车载环境下的性能。KITTI包含市区、乡村和高速公路等场景采集的真实图像数据，每张图像中最多达15辆车和30个行人，还有各种程度的遮挡与截断。整个数据集由389对立体图像和光流图，39.2 km视觉测距序列以及超过200k 3D标注物体的图像组成\[1\] ，以10Hz的频率采样及同步。总体上看，原始数据集被分类为’Road’, ’City’, ’Residential’, ’Campus’ 和 ’Person’。对于3D物体检测，label细分为car, van, truck, pedestrian, pedestrian(sitting), cyclist, tram以及misc组成。

地址:  [http://www.cvlibs.net/datasets/kitti][http_www.cvlibs.net_datasets_kitti]

# **2.数据采集平台** #

如图-1所示，KITTI数据集的数据采集平台装配有2个灰度摄像机，2个彩色摄像机，一个Velodyne 64线3D激光雷达，4个光学镜头，以及1个GPS导航系统。具体的传感器参数如下\[2\] ：

*  2 × PointGray Flea2 grayscale cameras (FL2-14S3M-C), 1.4 Megapixels, 1/2” Sony ICX267 CCD, global shutter
 *  2 × PointGray Flea2 color cameras (FL2-14S3C-C), 1.4 Megapixels, 1/2” Sony ICX267 CCD, global shutter
 *  4 × Edmund Optics lenses, 4mm, opening angle ∼ 90◦, vertical opening angle of region of interest (ROI) ∼ 35◦
 *  1 × Velodyne HDL-64E rotating 3D laser scanner, 10 Hz, 64 beams, 0.09 degree angular resolution, 2 cm distance accuracy, collecting ∼ 1.3 million points/second, field of view: 360◦ horizontal, 26.8◦ vertical, range: 120 m
 *  1 × OXTS RT3003 inertial and GPS navigation system, 6 axis, 100 Hz, L1/L2 RTK, resolution: 0.02m / 0.1◦  
    ![这里写图片描述][SouthEast]  
    　　 　　 　　 　　 　　 　　 　　图-1 数据采集平台  
    　　如图-2所示为传感器的配置平面图。为了生成双目立体图像，相同类型的摄像头相距54cm安装。由于彩色摄像机的分辨率和对比度不够好，所以还使用了两个立体灰度摄像机，它和彩色摄像机相距6cm安装。为了方便传感器数据标定，规定坐标系方向如下\[2\] ：  
    • Camera: x = right, y = down, z = forward  
    • Velodyne: x = forward, y = left, z = up  
    • GPS/IMU: x = forward, y = left, z = up  
    ![这里写图片描述][SouthEast 1]  
    　　 　　 　　 　　 　　 　　 　　图-2 传感器设置

# **3.Dataset详述** #

图-3展示了KITTI数据集的典型样本，分为 ’Road’, ’City’, ’Residential’, ’Campus’ 和’Person’五类。原始数据采集于2011年的5天，共有180GB数据。  
![这里写图片描述][SouthEast 2]  
　　 　　 　　 　　 　　 　　 　　图-3 KITTI数据集的样本，展现KITTI数据集的多样性。

## **3.1 数据组织形式** ##

论文\[2\] 中提及的数据组织形式，可能是早期的版本，与目前KITTI数据集官网公布的形式不同，本文稍作介绍。  
如图-4所示，一个视频序列的所有传感器数据都存储于data\_drive文件夹下，其中date和drive是占位符，表示采集数据的日期和视频编号。时间戳记录在Timestamps.txt文件。  
![这里写图片描述][SouthEast 3]  
　　 　　 　　 　　 　　 　　 　　图-4 数据组织形式

**下载地址**: 有大神将其放在了自己的服务器方便大家下载，赞 [http://dataset.f3322.net:666/share/kitti/][http_dataset.f3322.net_666_share_kitti]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE1Njk4NjEz_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE1Njk4NjEz_size_16_color_FFFFFF_t_70 1][]

![20200921193825842.png][]

## **3.2 Development Kit** ##

KITTI各个子数据集都提供开发工具 development kit，主要由cpp文件夹，matlab文件夹，mapping文件夹和readme.txt组成。下图以object detection任务的文件夹devkit\_object为例，可以看到cpp文件夹主要包含评估模型的源代码evaluate\_object.cpp。Mapping文件夹中的文件记录训练集到原始数据集的映射，从而开发者能够同时使用激光雷达点云，gps数据，右边彩色摄像机数据以及灰度摄像机图像等多模态数据。Matlab文件夹中的工具包含读写标签，绘制2D/3D标注框，运行demo等工具。Readme.txt文件非常重要，详述介绍了某个子数据集的数据格式，benchmark介绍，结果评估方法等详细内容。

## 3.3 GPS/IMU位姿数据 ##

OXTS (GPS/IMU)：

对于每一帧，我们将30个不同的GPS /IMU值存储在文本文件中：地理坐标包括高度，全球定位，速度，加速度，角速率，精度和卫星信息。 加速度和角速率都是使用两个坐标系指定的，一个坐标系与车体（x，y，z）相连，另一个坐标系映射到该位置的地表切面（f，l，U）。 我们偶尔会遇到与OXTS设备短时间（约1秒）的通信中断，我们为此线性插入所有值，并将最后3个条目设置为'-1'以指示缺失的信息。 dataformat.txt提供了更多细节。 转换实用程序在开发工具包中提供。

主要提供以下30个数值：  
\- lat: latitude of the oxts-unit (deg)  
\- lon: longitude of the oxts-unit (deg)  
\- alt: altitude of the oxts-unit (m)  
\- roll: roll angle (rad), 0 = level, positive = left side up (-pi…pi)  
\- pitch: pitch angle (rad), 0 = level, positive = front down (-pi/2…pi/2)  
\- yaw: heading (rad), 0 = east, positive = counter clockwise (-pi…pi)  
\- vn: velocity towards north (m/s)  
\- ve: velocity towards east (m/s)  
\- vf: forward velocity, i.e. parallel to earth-surface (m/s)  
\- vl: leftward velocity, i.e. parallel to earth-surface (m/s)  
\- vu: upward velocity, i.e. perpendicular to earth-surface (m/s)  
\- ax: acceleration in x, i.e. in direction of vehicle front (m/s^2)  
\- ay: acceleration in y, i.e. in direction of vehicle left (m/s^2)  
\- az: acceleration in z, i.e. in direction of vehicle top (m/s^2)  
\- af: forward acceleration (m/s^2)  
\- al: leftward acceleration (m/s^2)  
\- au: upward acceleration (m/s^2)  
\- wx: angular rate around x (rad/s)  
\- wy: angular rate around y (rad/s)  
\- wz: angular rate around z (rad/s)  
\- wf: angular rate around forward axis (rad/s)  
\- wl: angular rate around leftward axis (rad/s)  
\- wu: angular rate around upward axis (rad/s)  
\- posacc: velocity accuracy (north/east in m)  
\- velacc: velocity accuracy (north/east in m/s)  
\- navstat: navigation status  
\- numsats: number of satellites tracked by primary GPS receiver  
\- posmode: position mode of primary GPS receiver  
\- velmode: velocity mode of primary GPS receiver  
\- orimode: orientation mode of primary GPS receiver  
可以利用matlab程序中的`oxts = loadOxtsliteData('2011_xx_xx_drive_xxxx')`来解析GPS/IMU数据，然后利用`pose = convertOxtsToPose(oxts)`程序将oxts数据转换为米制单位位姿，用一个**4x4**的刚体变换矩阵表示。

## 3.4 传感器标定 ##

这部分内容对于想要利用KITTI中多个传感器数据进行**传感器融合**相关算法开发至关重要。  
raw data数据集中提供了三个标定文件，分别是：  
**calib\_cam\_to\_cam.txt——相机到相机之间的标定：**  
\-S\_xx：表示图像矫正前的尺寸——宽 高  
\-K\_xx：表示相机xx图像矫正前的标定矩阵，3x3大小  
\-**D\_xx**：矫正前相机xx的1x5畸变向量  
\-R\_xx：相机xx的3x3旋转矩阵（相机外参）  
\-T\_xx：相机xx的3x1平移向量（相机外参）  
\-S\_rect\_xx：矫正后相机xx图像尺寸  
\-R\_rect\_xx：3x3的矫正旋转矩阵用来使图像平面共面  
\-P\_rect\_xx：矫正后3x4的投影矩阵（表示将矫正后相机00下坐标转到相机xx下图像像素的投影矩阵）  
**注意：** 在使用同步矫正数据集时，我们一般只会用到P\_rect\_xx矩阵和R\_rect\_00矩阵。（其实有关这些矫正矩阵的具体含义，我也不是很清楚，如果有更加熟悉的人，可以留言评论，多谢！）

**参考: [KITTI数据集测试 - 3 calib 相机参数][KITTI_ - 3 calib]**

### D\_xx解释: ###

图像的畸变主要有两种：径向畸变和切向畸变。

**径向畸变**：正中心位置的畸变最小，随着半径的增大，畸变增大。径向畸变可以分为枕形畸变和桶形畸变：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2MzQyODU0_size_16_color_FFFFFF_t_70][]

径向畸变矫正公式如下（泰勒级数展开式前3项）：

![\\large \\left\\\{\\begin\{matrix\} x\_\{dr\}=x(1+k\_\{1\}r^\{2\}+k\_\{2\}r^\{4\}+k\_\{3\}r^\{6\})\\\\ y\_\{dr\}=y(1+k\_\{1\}r^\{2\}+k\_\{2\}r^\{4\}+k\_\{3\}r^\{6\}) \\end\{matrix\}\\right.][large _left_begin_matrix_ x_dr_x_1_k_1_r_2_k_2_r_4_k_3_r_6_ y_dr_y_1_k_1_r_2_k_2_r_4_k_3_r_6_ _end_matrix_right.]

其中![\\left ( x,y \\right )][left _ x_y _right]是理想坐标，![\\large x\_\{dr\}][large x_dr]和![\\large y\_\{dr\}][large y_dr]是畸变后的像素点坐标，且：![\\large r^\{2\}=x^\{2\}+y^\{2\}][large r_2_x_2_y_2]

**切向畸变**：在透镜与成像平面不平行时就会产生，类似于透视变换。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2MzQyODU0_size_16_color_FFFFFF_t_70 1][]

切向畸变的矫正公式如下：

![\\large \\left\\\{\\begin\{matrix\} x\_\{dt\}=2p\_\{1\}xy +p\_2\}\\left ( r^\{2\}+2x^\{2\} \\right )+1 \\\\ y\_\{dt\}=p\_2\}\\left ( r^\{2\}+2y^\{2\} \\right )+2p\_\{2\}xy +1 \\end\{matrix\}\\right.][large _left_begin_matrix_ x_dt_2p_1_xy _p_2_left _ r_2_2x_2_ _right _1 _ y_dt_p_2_left _ r_2_2y_2_ _right _2p_2_xy _1 _end_matrix_right.]

> 两种畸变最后都归结到五个参数：![\\large k\_\{1\},k\_\{2\},k\_\{3\},p\_\{1\},p\_\{2\}][large k_1_k_2_k_3_p_1_p_2]；知道这五个参数后即可完成畸变的矫正。

**calib\_velo\_to\_cam.txt——激光雷达到相机之间的对准：**  
\-R：3x3的旋转矩阵  
\-T：3x1的平移向量  
R|T共同组成一个刚体变换矩阵，用来将激光雷达坐标系下的一个点转换到左侧灰度相机（即**cam00**）坐标系下。在开发激光雷达和相机融合相关算法时会用到。

**calib\_img\_to\_velo.txt——GPS/IMU到激光雷达之间的对准：**  
\-R：3x3的旋转矩阵  
\-T：3x1的平移向量

## 3.5 深度预测、深度完成模块的数据介绍 ##

激光数据被保存成png格式（uint16）与真实距离（米）之间的关系：**png的像素值除以256**，来源：[http://www.cvlibs.net/datasets/kitti/eval\_depth\_all.php][http_www.cvlibs.net_datasets_kitti_eval_depth_all.php]

*  [Download development kit (48 K)][Download development kit _48 K] 中的 readme.txt

Depth maps (annotated and raw Velodyne scans) are saved as uint16 PNG images, which can be opened with either MATLAB, libpng++ or the latest version of Python's pillow (from PIL import Image). A 0 value indicates an invalid pixel (ie, no ground truth exists, or the estimation algorithm didn't produce an estimate for that pixel). Otherwise, the depth for a pixel can be computed in **meters** by converting the uint16 value to float and dividing it by**256.0**:

**disp(u,v) = ((float)I(u,v))/256.0;  
valid(u,v) = I(u,v)>0;**

## **3.6 pose数据介绍** ##

数据集位置: [https://s3.eu-central-1.amazonaws.com/avg-kitti/devkit\_odometry.zip][https_s3.eu-central-1.amazonaws.com_avg-kitti_devkit_odometry.zip]

在文件夹 **devkit\_odometry/devkit/reame.txt** 中说明: 在poses目录下，包含00.txt-10.txt 11个序列，每一个文件包换Nx12个表格，N代表帧数。每一行利用3x4转移矩阵代表**左边相机**(猜想这里指的是 Cam 0, 左侧的灰度相机)坐标系统**的**位姿，转移矩阵将当前帧左边相机系统中的一个点映射到第0帧的坐标系统中。转移矩阵中平移的部分表示当前相机位置(相对于第0帧)。

原文: **Folder 'poses':** The folder 'poses' contains the ground truth poses (trajectory) for the first 11 sequences. This information can be used for training/tuning your method. Each file xx.txt contains a N x 12 table, where N is the number of frames of this sequence. Row i represents the i'th pose of the left camera coordinate system (i.e., z pointing forwards) via a 3x4 transformation matrix. The matrices are stored in row aligned order (the first entries correspond to the first row), and take a point in the i'th coordinate system and project it into the first (=0th) coordinate system. Hence, the translational part (3x1 vector of column 4) corresponds to the pose of the left camera coordinate system in the i'th frame with respect to the first (=0th) frame.

（john解读：ORB-SLAM3中相机位姿（camera pose）的表示是**Tcw，**即世界坐标系的点Pw到相机坐标系的点Pc的变换矩阵，(camera pose 的逆是Twc, 即 Pw = Twc \* Pc）。这里的pose.txt保存时，以第一帧（的相机坐标系）作为世界坐标系（即 0,0,0,0,0,0,1），保存的为第i帧相机坐标系下的点到第0帧（世界坐标系）的变换，即**Twc**（相机位姿的逆）。

**示例：sequence 00 的poses（轨迹）00.txt**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70][]

# 参考 #

*  [无人驾驶之KITTI数据集介绍与应用（二）——官方matlab代码使用与解读][KITTI_matlab]
 *  [KITTI数据集简介与使用 ][KITTI_]
 *  [KITTI数据集简介和使用+ KITTI数据集国内下载地址][KITTI_ KITTI]
 *  [处理点云数据(四)：点云到图像平面的投影][Link 1]
 *  [kitti数据集：kitti\_raw\_data中“calib\_cam\_to\_cam.txt”文件内容解释][kitti_kitti_raw_data_calib_cam_to_cam.txt]

[http_www.cvlibs.net_datasets_kitti]: http://www.cvlibs.net/datasets/kitti/eval_odometry.php
[SouthEast]: /images/20221123/361e2ab6a95f418c84ede75ae2798563.png
[SouthEast 1]: /images/20221123/f16e5d0df99c410fb757aa259150ab47.png
[SouthEast 2]: /images/20221123/b5dc661a1b614689872b32829a947bc2.png
[SouthEast 3]: /images/20221123/a0edbee1f22742938ed8bab3320353f5.png
[http_dataset.f3322.net_666_share_kitti]: http://dataset.f3322.net:666/share/kitti/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE1Njk4NjEz_size_16_color_FFFFFF_t_70]: /images/20221123/327d7bbad3804d9a989212e0bb33961b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE1Njk4NjEz_size_16_color_FFFFFF_t_70 1]: /images/20221123/33b4be27272944dfaebd15717bc6a6f3.png
[20200921193825842.png]: /images/20221123/f20ec2ac55c8400da2845d1242473470.png
[KITTI_ - 3 calib]: https://zengtaiping.blog.csdn.net/article/details/78339575
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2MzQyODU0_size_16_color_FFFFFF_t_70]: /images/20221123/3639b1fa695647c6a644371b0fa00284.png
[large _left_begin_matrix_ x_dr_x_1_k_1_r_2_k_2_r_4_k_3_r_6_ y_dr_y_1_k_1_r_2_k_2_r_4_k_3_r_6_ _end_matrix_right.]: https://private.codecogs.com/gif.latex?%5Clarge%20%5Cleft%5C%7B%5Cbegin%7Bmatrix%7D%20x_%7Bdr%7D%3Dx%281&plus;k_%7B1%7Dr%5E%7B2%7D&plus;k_%7B2%7Dr%5E%7B4%7D&plus;k_%7B3%7Dr%5E%7B6%7D%29%5C%5C%20y_%7Bdr%7D%3Dy%281&plus;k_%7B1%7Dr%5E%7B2%7D&plus;k_%7B2%7Dr%5E%7B4%7D&plus;k_%7B3%7Dr%5E%7B6%7D%29%20%5Cend%7Bmatrix%7D%5Cright.
[left _ x_y _right]: https://private.codecogs.com/gif.latex?%5Cleft%20%28%20x%2Cy%20%5Cright%20%29
[large x_dr]: https://private.codecogs.com/gif.latex?%5Clarge%20x_%7Bdr%7D
[large y_dr]: https://private.codecogs.com/gif.latex?%5Clarge%20y_%7Bdr%7D
[large r_2_x_2_y_2]: https://private.codecogs.com/gif.latex?%5Clarge%20r%5E%7B2%7D%3Dx%5E%7B2%7D&plus;y%5E%7B2%7D
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2MzQyODU0_size_16_color_FFFFFF_t_70 1]: /images/20221123/cd5265d3d8b243f3976695beafad17f3.png
[large _left_begin_matrix_ x_dt_2p_1_xy _p_2_left _ r_2_2x_2_ _right _1 _ y_dt_p_2_left _ r_2_2y_2_ _right _2p_2_xy _1 _end_matrix_right.]: https://private.codecogs.com/gif.latex?%5Clarge%20%5Cleft%5C%7B%5Cbegin%7Bmatrix%7D%20x_%7Bdt%7D%3D2p_%7B1%7Dxy%20&plus;p_2%7D%5Cleft%20%28%20r%5E%7B2%7D&plus;2x%5E%7B2%7D%20%5Cright%20%29&plus;1%20%5C%5C%20y_%7Bdt%7D%3Dp_2%7D%5Cleft%20%28%20r%5E%7B2%7D&plus;2y%5E%7B2%7D%20%5Cright%20%29&plus;2p_%7B2%7Dxy%20&plus;1%20%5Cend%7Bmatrix%7D%5Cright.
[large k_1_k_2_k_3_p_1_p_2]: https://private.codecogs.com/gif.latex?%5Clarge%20k_%7B1%7D%2Ck_%7B2%7D%2Ck_%7B3%7D%2Cp_%7B1%7D%2Cp_%7B2%7D
[http_www.cvlibs.net_datasets_kitti_eval_depth_all.php]: http://www.cvlibs.net/datasets/kitti/eval_depth_all.php
[Download development kit _48 K]: http://www.cvlibs.net/downloads/depth_devkit.zip
[https_s3.eu-central-1.amazonaws.com_avg-kitti_devkit_odometry.zip]: https://s3.eu-central-1.amazonaws.com/avg-kitti/devkit_odometry.zip
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70]: /images/20221123/a49666823d614225b7fe21d5b0f4e909.png
[KITTI_matlab]: https://www.it610.com/article/1279147450103250944.htm
[KITTI_]: https://blog.csdn.net/solomon1558/article/details/70173223
[KITTI_ KITTI]: https://blog.csdn.net/qq_15698613/article/details/99818330
[Link 1]: https://blog.csdn.net/qq_33801763/article/details/78959205
[kitti_kitti_raw_data_calib_cam_to_cam.txt]: https://blog.csdn.net/weixin_37251044/article/details/79893782