使用YOLO训练Kitti数据集

阳光穿透心脏的1/2处 2022-05-26 02:18 276阅读 0赞

[其他文章http://blog.csdn.net/baolinq][http_blog.csdn.net_baolinq]

上次写了一篇关于使用yolo训练VOC数据集的文章，[传送门（http://blog.csdn.net/baolinq/article/details/78724314）][http_blog.csdn.net_baolinq_article_details_78724314]。但是总不能只使用一个数据集，多使用几个数据集看看效果。因为我主要在做车辆和行人方面的检测。正好KITTI 数据集是做无人驾驶方面的公开权威数据集，包含大量公路，城市街道等各种路况的数据集，官方网站（http://www.cvlibs.net/datasets/kitti/index.php），很符合我的要求。

1. 下载KITTI 数据集

Kitti数据是利用车顶上的多个相机拍的，我这里只取了leftimage，也就是第一个，链接（http://www.cvlibs.net/datasets/kitti/eval\_object.php?obj\_benchmark=2d），有点大，12G左右。点击链接会让你填一个邮箱，真正的下载链接会发到你的邮箱，还有label文件。只有训练图片有标签，test图片没有标签，现在还不知道如何使用，有知道大神指导一下。我暂时是这样做的，后面我会把train图片分成train，val，和test三个部分

2. KITTI 数据集转化为VOC数据集格式

如果你没有修改yolo网络的源码，我们知道，它需要的是VOC数据格式的训练集。那么VOC数据集格式是这么样的呢？简单来看一下：

**\[html\]** [view plain][] [copy][view plain]

1.  \--VOC
2.  \--Annotations
3.  \--ImageSets
4.  \--Main
5.  \--Layout
6.  \--Segmentation
7.  \--JPEGImages
8.  \--SegmentationClass
9.  \--SegmentationObject

后面两个是分割用到的，不用管他们。这里面用到的文件夹是Annotation、ImageSets和JPEGImages。其中文件夹Annotation中主要存放xml文件，每一个xml对应一张图像，并且每个xml中存放的是标记的各个目标的位置和类别信息，命名通常与对应的原始图像一样；而ImageSets我们只需要用到Main文件夹，这里面存放的是一些文本文件，通常为train.txt、test.txt等，该文本文件里面的内容是需要用来训练或测试的图像的名字（无后缀无路径）；JPEGImages文件夹中放我们已按统一规则命名好的原始图像。

而KITTI数据集又是什么样的呢

Kitti的标记信息是一个txt，里面的内容如下：

Car 0.00 0 -1.67 642.24 178.50 680.14 208.68 1.381.49 3.32 2.41 1.66 34.98 -1.60   
Car 0.00 0 -1.75 685.77 178.12 767.02 235.21 1.50 1.62 3.89 3.27 1.67 21.18-1.60

以上内容的含义如下：（截图自https://github.com/NVIDIA/DIGITS/blob/v4.0.0-rc.3/digits/extensions/data/objectDetection/README.md）

![Center][]

这部分参考[http://blog.csdn.net/jesse\_mx/article/details/65634482][http_blog.csdn.net_jesse_mx_article_details_65634482]，

大概了解了数据的格式，我们就开始转化吧。首先建立一系列的文件夹：

\# 在scipts/文件夹下新建KITTIdevkit/KITTI两层子目录，所需文件放在KITTI/中

Annotations/

└── 000000.xml

ImageSets/

└── main/

└── trainval.txt

└── test.txt\#等等

JPEGImages/

└── 000000.png

Kitti\_Labels/

└── 000000.txt \# 自建文件夹，存放原始标注信息，待转化为xml，不属于VOC格式

create\_train\_test\_txt.py\# 3个python工具，后面有详细介绍

modify\_annotations\_txt.py

txt\_to\_xml.py

截图如下：

![Center 1][]

**代码工具我都会在文末给出下载链接。**

第一步，类别转化

PASCAL VOC数据集总共20个类别，如果用于特定场景，20个类别确实多了。此次博主为数据集设置3个类别， ‘Car’，’Cyclist’，’Pedestrian’，只不过标注信息中还有其他类型的车和人，直接略过有点浪费，博主希望将 ‘Van’, ‘Truck’,‘Tram’ 合并到 ‘Car’类别中去，将‘Person\_sitting’合并到 ‘Pedestrian’类别中去（‘Misc’和 ‘Dontcare’这两类直接忽略）。这里使用的是**modify\_annotations\_txt.py**工具。

### 第二步：转换txt标注信息为xml格式 ###

对原始txt文件进行上述处理后，接下来需要将标注文件从txt转化为xml，并去掉标注信息中用不上的部分，只留下3类，还有把坐标值从float型转化为int型，最后所有生成的xml文件要存放在Annotations文件夹中。这里使用的是**txt\_to\_xml.py**工具，此处是由[KITTI\_SSD][KITTI_SSD]的代码修改而来，感谢作者的贡献。

### 第三步：生成训练验证集和测试集列表 ###

用于SSD训练的Pascal VOC格式的数据集总共就是三大块：首先是JPEGImages文件夹，放入了所有png图片；然后是Annotations文件夹，上述步骤已经生成了相应的xml文件；最后就是imagesSets文件夹，里面有一个Main子文件夹，这个文件夹存放的是训练验证集，测试集的相关列表文件，如下图所示：

![Center 2][]

到这里数据转化已经基本完成。

但是还不能直接训练。在scripts文件夹下有一个voc\_label.py文件，我们转化好的数据不能直接使用voc\_label.py文件.需要做一些小小的修改。我把它改为kitti\_label.py文件，文末有下载的链接。没什么关键的改变，只是为了适应数据集，让它能正确生成图片路径的txt文件。运行这个py文件会重新生成labels文件，txt格式，里面的标记信息都被调整到到与图像成比例的尺寸。会生成label文件夹里面是每个图片的groundtruth的框坐标信息txt格式，还会在scripts目录生成train.txt，val.txt,test.txt文件，记录图片的绝对路径，便于程序批量读入。

再后面就是类似上一篇训练VOC数据集的博客了，根据实际情况调整网络参数，包括cfg文件，names文件，data文件。http://blog.csdn.net/baolinq/article/details/78724314

最后有一个很重要的细节，不要忽略，VOC数据集是jpg格式，而KITTI数据集是png格式的。

![Center 3][]

我们要看一下源码是如何读取图片和标记信息的txt文件。很简单，之前我们在train.txt文件里面只记录了所有训练图片的绝对路径，并没有记录labels文件的路径，所以我们要通过图片的路径得到labels的路径，因为如果我们是按照标准方式放置的文件，那么labels文件的位置和png文件位置很相近，有规律可寻，只要替换一些文件夹和后缀名就可以了。

到这里应该就可以正常训练了，这次我的maxbatch设置为40000，训练了十几个小时。训练完的检测效果可以看一下：训练命令：darknet.exe detector train data/kitti.data cfg/kitti.cfg pre\_model/darknet19\_448.conv.23 -gpus 0,1

![Center 4][]

![Center 5][]

![Center 6][]![Center 7][]

评估结果，检测recall是77.33%，准确率是89.96%，（数据好像有问题？）看起来还不错，但是在实际检测图片时效果不怎么好，尤其是对kitti以外的数据集。原因待研究，欢迎在评论区指导留言交流。

不同的功能就是detector后面的参数不一样，有train，test，recall，demo等，可以看下源码detector.c  
如果你只是测试单张图像，就用test命令，类似darknet.exe detector test data/kitti.data cfg/kitti.cfg weights/kitti\_40000.weights -gpus 0,1  
如果是测试整个测试集的准确率和recall，就用recall命令。类似这样的darknet.exe detector recall data/kitti.data cfg/kitti.cfg weights/kitti\_40000.weights -gpus 0,1  
测试视频就用demo命令，类似darknet.exe detector demo data/voc-3.data cfg/yolo-3.cfg weights/yolo-3\_final.weights -gpus 1 test\_image/123.mp4

参考文献

\[1\]https://pjreddie.com/darknet/yolo/ 官网提供了很多训练好的模型,很良心

\[2\]https://arxiv.org/abs/1612.08242 yolo v2论文原文

\[3\] https://github.com/pjreddie/darknet github源码

\[4\][http://www.cvlibs.net/datasets/kitti/index.php][http_www.cvlibs.net_datasets_kitti_index.php] kitti数据集官网

\[5\]还有很多优秀的博客，感谢他们的贡献

kitti转为VOC数据集工[具代码下载链接http://download.csdn.net/download/baolinq/10181761][http_download.csdn.net_download_baolinq_10181761]

[http_blog.csdn.net_baolinq]: http://blog.csdn.net/baolinq
[http_blog.csdn.net_baolinq_article_details_78724314]: http://blog.csdn.net/baolinq/article/details/78724314
[view plain]: https://blog.csdn.net/baolinq/article/details/78939192#
[Center]: /images/20220526/8252db4f54354265987b3953ef8cb5f7.png
[http_blog.csdn.net_jesse_mx_article_details_65634482]: http://blog.csdn.net/jesse_mx/article/details/65634482
[Center 1]: /images/20220526/d59401c9f8bd41acbf9de531b3d21da0.png
[KITTI_SSD]: https://github.com/manutdzou/KITTI_SSD.git
[Center 2]: /images/20220526/68921b25f8174cba9432f55bfe8b78e9.png
[Center 3]: /images/20220526/6d30500ef2154d93bcbed8c81a75c785.png
[Center 4]: /images/20220526/18fefe84383e4c2f86e778bb6b321166.png
[Center 5]: /images/20220526/6ce50cdd7ee04d08bbfd1a191023b549.png
[Center 6]: https://img-blog.csdn.net/20171230203320058?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvYmFvbGlucQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 7]: /images/20220526/1c33cc94737b43e4899c5a6ea14ddc03.png
[http_www.cvlibs.net_datasets_kitti_index.php]: http://www.cvlibs.net/datasets/kitti/index.php
[http_download.csdn.net_download_baolinq_10181761]: http://download.csdn.net/download/baolinq/10181761