车道线识别 tusimple 数据集介绍

秒速五厘米 2022-12-09 14:58 456阅读 0赞

## 1、[tusimple 数据集介绍][tusimple] ##

标注json 文件中每一行包括三个字段 ：

raw\_file : 每一个数据段的第20帧图像的的 path 路径

lanes 和 h\_samples 是数据具体的标注内容，为了压缩，h\_sample 是纵坐标（等分确定），lanes 是每个车道的横坐标，是个二维数组。-2 表示这个点是无效的点。

标注的过程应该是，将图片的下半部分如70%\*height 等分成N份。然后取车道线（如论虚实）与该标注线交叉的点

![format_png][]

![cefe15c6708c53fa54d4e23a029a26fa.png][]

上面的数据就有 4 条车道线，第一条车道线的第一个点的坐标是（632，280）。

## 2、下载数据集 ##

LaneNet车道线检测使用的是[Tusimple][]数据集，下载它

[https://github.com/TuSimple/tusimple-benchmark/issues/3][Tusimple]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTAwMTk2_size_16_color_FFFFFF_t_70][]

## 3、样本处理 ##

利用以下脚本可以处理得到标注的数据，这个脚本稍微改动下也可以作为深度学习输入的图像。

# -*- coding: utf-8 -*-
    import cv2
    import json
    import numpy as np
    import os
    
    base_path = r"C:\Users\Downloads"
    
    file = open(base_path + '\label_data_0601.json', 'r')
    image_num = 0
    
    for line in file.readlines():
        data = json.loads(line)
        # print data['raw_file']
        # 取第 29 帧 看一下处理的效果
        if image_num == 2:
            image = cv2.imread(os.path.join(base_path, data['raw_file']))
            # 二进制图像数组初始化
            binaryimage = np.zeros((image.shape[0], image.shape[1], 1), np.uint8)
            # 实例图像数组初始化
            instanceimage = binaryimage.copy()
            arr_width = data['lanes']
            arr_height = data['h_samples']
            width_num = len(arr_width)  # 标注的道路条数
            height_num = len(arr_height)
            # print width_num
            # print height_num
            # 遍历纵坐标
            for i in range(height_num):
                lane_hist = 40
                # 遍历各个车道的横坐标
                for j in range(width_num):
                    # 端点坐标赋值
                    if arr_width[j][i - 1] > 0 and arr_width[j][i] > 0:
                        binaryimage[int(arr_height[i]), int(arr_width[j][i])] = 255  # 255白色，0是黑色
                        instanceimage[int(arr_height[i]), int(arr_width[j][i])] = lane_hist
                        if i > 0:
                            # 画线，线宽10像素
                            cv2.line(binaryimage, (int(arr_width[j][i - 1]), int(arr_height[i - 1])),
                                     (int(arr_width[j][i]), int(arr_height[i])), 255, 10)
                            cv2.line(instanceimage, (int(arr_width[j][i - 1]), int(arr_height[i - 1])),
                                     (int(arr_width[j][i]), int(arr_height[i])), lane_hist, 10)
                    lane_hist += 50
            # cv2.imshow('image.jpg', image)
            # cv2.waitKey()
            # cv2.imshow('binaryimage.jpg', binaryimage)
            # cv2.waitKey()
            # cv2.imshow('instanceimage.jpg', instanceimage)
            # cv2.waitKey()
            string1 = base_path + "\\" + str(image_num+10) + ".png"
            string2 = base_path + "\\" + str(image_num+11) + ".png"
            string3 = base_path + "\\" + str(image_num+12) + ".png"
            cv2.imwrite(string1, binaryimage)
            cv2.imwrite(string2, instanceimage)
            cv2.imwrite(string3, image)
            break
    
        image_num = image_num + 1
    
    file.close()
    print("total image_num:" + str(image_num))

处理完之后图片输出如下所示：

![27ceb4b7f1ebe578d86555bbf58e9916.png][]

![19bf6293363beea59dfb596e473ac6dd.png][]

![260a7f40df1858121da7b32151caa27b.png][]

Tusimple 数据的标注特点：

1、车道线实际上不只是道路上的标线，虚线被当作了一种实线做处理的。这里面双实线、白线、黄线这类信息也是没有被标注的。

2、每条线实际上是点序列的坐标集合，而不是区域集合

## 4、创建自己的tusimple数据集格式 ##

### 第一步：原始数据集标注 ###

**1、使用labelme进行数据标注：**

在conda里使用指令进行安装labelme

pip install labelme

**2、在环境下使用指令进行启动labelme**

labelme

**3、进入界面后选择图片，进行线段标记**

在顶部edit菜单栏中选择不同的标记方案，依次为：多边形（默认），矩形，圆、直线，点。点击 Create Point，回到图片，左键点击会生成一个点，标记完成后，会形成一个标注区域，同时弹出labelme的框，输入标注名，点击ok，标注完成

注意：要标注的车道线，一般会有多条，需要不同的命名加以区分，lane1,lane2等

标注完成后，会生成一个json文件。

**4、将json转换为dataset**

labelme_json_to_dataset xxx.json

生成一个文件夹，里面包含五个文件（只能转换一个json）

![2019082416321061.png][]

批量转换json：

在labelme的安装目录下可以看到json\_to\_dataset文件，默认只提供单个文件转换，我们只需要修改此代码，修改为批量转换

import argparse
     
    import json
     
    import os
     
    import os.path as osp
     
    import warnings
     
    import PIL.Image
     
    import yaml
     
    from labelme import utils
     
    import base64
     
    #批量转换代码
     
    def main():
     
        warnings.warn("This script is aimed to demonstrate how to convert the\n"
     
                      "JSON file to a single image dataset, and not to handle\n"
     
                      "multiple JSON files to generate a real-use dataset.")
     
        parser = argparse.ArgumentParser()
     
        parser.add_argument('json_file')
     
        parser.add_argument('-o', '--out', default=None)
     
        args = parser.parse_args()
     
        json_file = args.json_file
     
        if args.out is None:
     
            out_dir = osp.basename(json_file).replace('.', '_')
     
            out_dir = osp.join(osp.dirname(json_file), out_dir)
     
        else:
     
            out_dir = args.out
     
        if not osp.exists(out_dir):
     
            os.mkdir(out_dir)
     
        count = os.listdir(json_file)
     
        for i in range(0, len(count)):
     
            path = os.path.join(json_file, count[i])
     
            if os.path.isfile(path):
     
                data = json.load(open(path))
     
                if data['imageData']:
     
                    imageData = data['imageData']
     
                else:
     
                    imagePath = os.path.join(os.path.dirname(path), data['imagePath'])
     
                    with open(imagePath, 'rb') as f:
     
                        imageData = f.read()
     
                        imageData = base64.b64encode(imageData).decode('utf-8')
     
                img = utils.img_b64_to_arr(imageData)
     
                label_name_to_value = {'_background_': 0}
     
                for shape in data['shapes']:
     
                    label_name = shape['label']
     
                    if label_name in label_name_to_value:
     
                        label_value = label_name_to_value[label_name]
     
                    else:
     
                        label_value = len(label_name_to_value)
     
                        label_name_to_value[label_name] = label_value
     
                # label_values must be dense
     
                label_values, label_names = [], []
     
                for ln, lv in sorted(label_name_to_value.items(), key=lambda x: x[1]):
     
                    label_values.append(lv)
     
                    label_names.append(ln)
     
                assert label_values == list(range(len(label_values)))
     
                lbl = utils.shapes_to_label(img.shape, data['shapes'], label_name_to_value)
     
                captions = ['{}: {}'.format(lv, ln)
     
                    for ln, lv in label_name_to_value.items()]
     
                lbl_viz = utils.draw_label(lbl, img, captions)
     
                out_dir = osp.basename(count[i]).replace('.', '_')
     
                out_dir = osp.join(osp.dirname(count[i]), out_dir)
     
                if not osp.exists(out_dir):
     
                    os.mkdir(out_dir)
     
                PIL.Image.fromarray(img).save(osp.join(out_dir, 'img.png'))
     
                #PIL.Image.fromarray(lbl).save(osp.join(out_dir, 'label.png'))
     
                utils.lblsave(osp.join(out_dir, 'label.png'), lbl)
     
                PIL.Image.fromarray(lbl_viz).save(osp.join(out_dir, 'label_viz.png'))
     
                with open(osp.join(out_dir, 'label_names.txt'), 'w') as f:
     
                    for lbl_name in label_names:
     
                        f.write(lbl_name + '\n')
     
                warnings.warn('info.yaml is being replaced by label_names.txt')
     
                info = dict(label_names=label_names)
     
                with open(osp.join(out_dir, 'info.yaml'), 'w') as f:
     
                    yaml.safe_dump(info, f, default_flow_style=False)
     
                print('Saved to: %s' % out_dir)
     
    if __name__ == '__main__':
     
        main()

进入到保存json文件的目录，执行labelme\_json\_to\_dataset path

将标注之后的数据批量处理之后，生成文件夹形式如下图所示

![format_png 1][]

打开文件夹里面有五个文件，分别是

![format_png 2][]

**5、数据格式转换**

根据tuSimple数据集形式，需要得到二值化和实例化后的图像数据，也就是gt\_binary\_image和gt\_instance\_image文件中的显示结果。需要将标注之后的数据进行转换

import cv2
    from skimage import measure, color
    from skimage.measure import regionprops
    import numpy as np
    import os
    import copy
     
    def skimageFilter(gray):
     
        binary_warped = copy.copy(gray)
        binary_warped[binary_warped > 0.1] = 255
     
        gray = (np.dstack((gray, gray, gray))*255).astype('uint8')
        labels = measure.label(gray[:, :, 0], connectivity=1)
        dst = color.label2rgb(labels,bg_label=0, bg_color=(0,0,0))
        gray = cv2.cvtColor(np.uint8(dst*255), cv2.COLOR_RGB2GRAY)
        return binary_warped, gray
     
     
    def moveImageTodir(path,targetPath,name):
        if os.path.isdir(path):
            image_name = "gt_image/"+str(name)+".png"
            binary_name = "gt_binary_image/"+str(name)+".png"
            instance_name = "gt_instance_image/"+str(name)+".png"
     
            train_rows = image_name + " " + binary_name + " " + instance_name + "\n"
     
            origin_img = cv2.imread(path+"/img.png")
            origin_img = cv2.resize(origin_img, (1280,720))
            cv2.imwrite(targetPath+"/"+image_name, origin_img)
     
            img = cv2.imread(path+'/label.png')
            img = cv2.resize(img, (1280,720))
            gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
            binary_warped, instance = skimageFilter(gray)
            cv2.imwrite(targetPath+"/"+binary_name, binary_warped)
            cv2.imwrite(targetPath+"/"+instance_name, instance)
            print("success create data name is : ", train_rows)
            return train_rows
        return None
     
     
     
    if __name__ == "__main__":
        
        count = 1
        with open("./train.txt", 'w+') as file:
     
            for images_dir in os.listdir("./images"):
                dir_name = os.path.join("./images", images_dir + "/annotations")
                for annotations_dir in os.listdir(dir_name):
                    json_dir = os.path.join(dir_name, annotations_dir)
                    if os.path.isdir(json_dir):
                        train_rows = moveImageTodir(json_dir, "./", str(count).zfill(4))
                        file.write(train_rows)
                        count += 1

转换之后的显示结果：

![format_png 3][]

由于lanenet模型处理需要按照tusimple数据进行，首先需要将上一步处理的数据生成tfrecords格式，调用laneNet中lanenet\_data\_feed\_pipline.py文件。

python data_provider/lanenet_data_feed_pipline.py 
    --dataset_dir ../dataset/lane_detection_dataset/ 
    --tfrecords_dir ../dataset/lane_detection_dataset/tfrecords

欢迎关注公众号：算法工程师的学习日志

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FpbmdmZW5neGQx_size_16_color_FFFFFF_t_70][]

[tusimple]: https://www.cnblogs.com/oftenlin/p/10670534.html
[format_png]: /images/20221123/bf2ad9ae5d714950bb39efdeac2302cd.png
[cefe15c6708c53fa54d4e23a029a26fa.png]: /images/20221123/59b9fa4a98594b049a552537755461dd.png
[Tusimple]: https://github.com/TuSimple/tusimple-benchmark/issues/3
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTAwMTk2_size_16_color_FFFFFF_t_70]: /images/20221123/d724b84c078d4af38921c3e6fb16601c.png
[27ceb4b7f1ebe578d86555bbf58e9916.png]: /images/20221123/886cbda57ce8425f8e777e6050129b08.png
[19bf6293363beea59dfb596e473ac6dd.png]: /images/20221123/d2542fc45150457fbcf4f7b41180e4af.png
[260a7f40df1858121da7b32151caa27b.png]: /images/20221123/b63bf747d33d4cc78b5a5380de54d670.png
[2019082416321061.png]: /images/20221123/780906bc5a9543b39f068ded9552e11f.png
[format_png 1]: /images/20221123/4ece740a9caf404fa3fc713de5dda075.png
[format_png 2]: /images/20221123/7af258463d5e41e3985ffc4f48e6d6de.png
[format_png 3]: /images/20221123/7e7d3d820589494d8c0412bb1e5fcc70.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FpbmdmZW5neGQx_size_16_color_FFFFFF_t_70]: /images/20221123/1d892ec7d27d44da8aaf1e87af7c5064.png