目标检测初体验（二）自制人脸检测功能

我会带着你远行 2023-03-13 09:09 17阅读 0赞

之前笔者在学习OpenCV的时候，曾经接触过人脸检测，那时候我们只需要一个函数就能轻松实现人脸检测。关于如何在OpenCV中实现人脸检测功能，可以参考文章：[OpenCV神技——人脸检测，猫脸检测][OpenCV] 。那时候的感觉是，CV是如此的神奇，而人脸检测正是笔者迈向CV的关键一步。  
  以前，笔者从没想过能自己实现人脸检测功能，直到不久前接触了目标检测，接触了darknet，脑海中就有了“自制人脸检测”这个想法。如果能够使用darknet来自己实现人脸检测功能，那该是多么酷的一件事情啊！  
  经过近两天的探索，笔者终于琢磨出了如何利用darknet来实现`人脸检测`功能，本文将会分享这方面的经历。本着化繁为简的原则，本文将尽可能轻松地帮助你理解如何来实现`人脸检测`功能。

### 数据集 ###

如果想实现`人脸检测`功能，相关的数据集是必不可少的。那么，数据集从何而来呢？一种办法是自己采集，自己标注，这是最原始的办法，费事费力，但能帮助你理解AI的苦逼之处（其实AI并不像表明展示的那么光鲜）。幸运的是，已经有不少有心人帮助我们做了数据采集方面的工作（真的应该感谢他们，所以说要学会分享）。  
  人脸检测的相关数据集可以参考网址：[http://shuoyang1213.me/WIDERFACE/index.html][http_shuoyang1213.me_WIDERFACE_index.html]，该网址收集了大量人脸检测的标注数据和图像，也可以让你尝试自己的目标检测的模型的效果，在某种程度上有点类似于ImageNet的意味。我们需要下载的数据集如下：  
![下载的数据集][20200512202810646.png_pic_center]  
笔者下载了WIDER Face Training Images和标注数据Face annotations。训练图片一共12880张，分为62个类型，分为不同的场景。在标注数据中，内容如下  
![标注数据内容][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pjbGlhbjkx_size_16_color_FFFFFF_t_70]  
我们所需要的人脸检测的标注数据（图形框，box）在文件wider\_face\_train\_bbx\_gt.txt中，前几行如下：

0--Parade/0_Parade_marchingband_1_849.jpg
    1
    449 330 122 149 0 0 0 0 0 0 
    0--Parade/0_Parade_Parade_0_904.jpg
    1
    361 98 263 339 0 0 0 0 0 0 
    0--Parade/0_Parade_marchingband_1_799.jpg
    21
    78 221 7 8 2 0 0 0 0 0 
    78 238 14 17 2 0 0 0 0 0
    113 212 11 15 2 0 0 0 0 0 
    134 260 15 15 2 0 0 0 0 0 
    163 250 14 17 2 0 0 0 0 0 
    201 218 10 12 2 0 0 0 0 0 
    182 266 15 17 2 0 0 0 0 0 
    245 279 18 15 2 0 0 0 0 0 
    304 265 16 17 2 0 0 0 2 1 
    328 295 16 20 2 0 0 0 0 0 
    389 281 17 19 2 0 0 0 2 0

第一行为图片名称，第二行为人脸数量，第三行为人脸框的标注数据，前四个分别为左，上，宽度，高度，依次类推，一张图片中会有多个人脸标注的结果。  
  有了上述的数据集，我们还需要将这些图片和标注数据转换为darknet支持的格式。为此，笔者写了一个Python脚本，代码（get\_human\_face\_label\_data.py）如下：

# -*- coding: utf-8 -*-
    # author: Jclian91
    # place: Pudong Shanghai
    # time: 2020/5/11 10:51 下午
    
    import os, re, json, traceback
    from random import shuffle
    import cv2
    from collections import defaultdict
    
    img_dir = "../WIDER_train"
    
    img_count = 0
    file_list = []
    for root, dirs, files in os.walk(img_dir):
        for file in files:
            img_count += 1
            file_list.append(os.path.join(root, file))
    
    print("Total image number: %d" % img_count)
    
    # make directory
    if not os.path.exists("../human_face_train_images"):
        os.system("mkdir ../human_face_train_images")
    if not os.path.exists("../human_face_train_labels"):
        os.system("mkdir ../human_face_train_labels")
    if not os.path.exists("../human_face_val_images"):
        os.system("mkdir ../human_face_val_images")
    if not os.path.exists("../human_face_val_labels"):
        os.system("mkdir ../human_face_val_labels")
    
    # shuffle the files
    shuffle(file_list)
    
    # get label data
    with open("wider_face_train_bbx_gt.txt", "r", encoding="utf-8") as h:
        content = [_.strip() for _ in h.readlines()]
    
    # get labeled data into arrange form
    line_index = []
    for i, line in enumerate(content):
        if "." in line:
            line_index.append(i)
    
    line_index.append(len(content)+1)
    
    segments = []
    for j in range(len(line_index)-1):
        segments.append(content[line_index[j]: line_index[j+1]])
    
    img_box_dict = defaultdict(list)
    for segment in segments:
        for i in range(2, len(segment)):
            img_box_dict[segment[0].split('/')[-1]].append(segment[i].split()[:4])
    
    # copy images to rights place and write correct labeled data into txt file
    # train data
    train_part = 0.8
    for i in range(int(train_part * img_count)):
        print(i, file_list[i])
        file = file_list[i].split('/')[-1]
        os.system("cp %s ../human_face_train_images/%s" % (file_list[i], file))
        with open("../human_face_train.txt", "a", encoding="utf-8") as f:
            f.write("human_face_train_images/%s" % file + "\n")
    
        img = cv2.imread(file_list[i], 0)
        height, width = img.shape
        with open("../human_face_train_labels/%s" % file.replace(".jpg", ".txt"), "w", encoding="utf-8") as f:
            for label in img_box_dict[file]:
                left, top, w, h = [int(_) for _ in label]
                # to avoid any of the coordinate becomes 0
                if left == 0:
                    left = 0.1
                if top == 0:
                    top = 0.1
                if w == 0:
                    w = 0.1
                if h == 0:
                    h = 0.1
                x_center = (left + w/2)/width
                y_center = (top + h/2)/height
                f.write("0 %s %s %s %s\n" % (x_center, y_center, w/width, h/height))
    
    # val data
    for i in range(int(train_part * img_count)+1, img_count):
        print(i, file_list[i])
        file = file_list[i].split('/')[-1]
        os.system("cp %s ../human_face_val_images/%s" % (file_list[i], file))
        with open("../human_face_val.txt", "a", encoding="utf-8") as f:
            f.write("human_face_val_images/%s" % file + "\n")
    
        img = cv2.imread(file_list[i], 0)
        height, width = img.shape
        with open("../human_face_val_labels/%s" % file.replace(".jpg", ".txt"), "w", encoding="utf-8") as f:
            for label in img_box_dict[file]:
                left, top, w, h = [int(_) for _ in label]
                # to avoid any of the coordinate becomes 0
                if left == 0:
                    left = 0.1
                if top == 0:
                    top = 0.1
                if w == 0:
                    w = 0.1
                if h == 0:
                    h = 0.1
                x_center = (left + w/2)/width
                y_center = (top + h/2)/height
                f.write("0 %s %s %s %s\n" % (x_center, y_center, w/width, h/height))

运行该脚本后，产生的结果如下：  
![生成的标注数据][20200512204447921.png]  
我们有必要对这个输出结果做一些了解。首先是`human_face.names`，该文件只有一行，内容为`human face`，也就是目标检测的类别只有一类，名称为`human face`。`human_face.data`内容如下：

classes= 1
    train = human_face_train.txt
    valid = human_face_val.txt
    names = human_face.names
    backup = backup

该文件表明，目标检测的类别数量（class）为1，训练数据的信息位于human\_face\_train.txt，验证数据的信息位于human\_face\_val.txt，类别名称（names）位于文件human\_face.mames中，训练好的模型文件位于backup文件夹。  
  在human\_face\_train.txt中，存储训练图片的路径，并且有其对应的标注数据位于human\_face\_train\_labels文件夹下，关于该标注数据的格式，简单来说，就是每行一个标注样本，第一个数字为类别id，后面的数字分别为标注框的横向中心点和纵向中心点，以及标注框的宽度和高度。具体的内容不再这里展示，有兴趣的读者可以参考上面的Python代码，并不会很难。  
  事实上，由于笔者在GPU上运行上面代码，复制图片和生成标注数据的过程很慢，因此，当复制到大约2000张图片的时候，笔者就停止了该程序，因此，实际参与训练的图片只有大约2000张。

### 如何使用darknet？ ###

关于如何使用darknet来训练自己的目标检测的数据，网址已经有不少热心的作者贡献了自己的经验，因此，笔者也只是向他们学习而已。  
  第一步，应该是编译darknet，主要是`Makefile`文件的前几行：

GPU=0
    CUDNN=0
    OPENCV=0
    OPENMP=0
    DEBUG=0

一般，只需要改动GPU相关部分，如果不使用GPU，则设置GPU=0；如果需要使用GPU，则设置GPU=1。编译该Makefile文件，如果在使用GPU环境下编译不通过，则需要将Makefile中第24行的`NVCC=nvcc`改为Cuda的完整路径。  
  接着，我们在修改cfg文件夹下的`yolov3-tiny.cfg`文件，改动如下：

Line 3: set batch=24 → using 24 images for every training step
    Line 4: set subdivisions=8 → the batch will be divided by 8
    Line 127: set filters=(classes + 5)*3   → in our case filters=18
    Line 135: set classes=1  →  the number of categories we want to detect
    Line 171: set filters=(classes + 5)*3  → in our case filters=18
    Line 177: set classes=1   → the number of categories we want to detect

因为只有一个类别，所以上述的设置是符合要求的。  
  然后，我们需要下载预训练的模型文件`weights/darknet53.conv.74`，下载网址为：[https://pjreddie.com/media/files/darknet53.conv.74][https_pjreddie.com_media_files_darknet53.conv.74] 。  
  为了方便我们训练，写一个Shell脚本`train.sh`，如下：

./darknet detector train human_face.data cfg/yolov3-tiny.cfg ./weights/darknet53.conv.74 -gpus 3,4,5,6,7,8

注意，在上述的脚本中我们使用GPU训练，不使用GPU的话，训练速度很慢。在训练了一个下午后，模型的avg loss大约为4点多，（关于更多的模型训练的评估指标，比如IOU，Total loss, Accuracy for Class等在这里不详细叙述），GPU因为out of memery而停止，事实上，一般我们要等到模型的avg loss大约为0.06才停止。  
  尽管如此，我们在2000张图片上训练了一下午后，保存的模型还是很有效果的。

### 模型预测 ###

接下来就是最激动人心的时刻，因为我们要利用刚才训练好的模型来进行人脸检测！  
  预测的Shell脚本（`test.sh`）如下：

./darknet detector test human_face.data cfg/yolov3-tiny.cfg backup/yolov3-tiny.backup data/walk_persons.jpeg -thresh 0.5 -gpus 3,4,5,6,7,8

接下来，笔者将会给出一系列的预测效果，不需要过多解释，上图即可。另外，由于图片中设计到人物，因此笔者不希望被误会侵犯肖像权，首先图片都是公开图片，其次这只是计算机试验，不代表任何情感，只是一个实验。  
![人脸检测预测例子1][1]  
![人脸检测例子2][2]  
![人脸检测例子3][3]  
![人脸检测例子4][4]

### 总结 ###

利用darknet，我们可以方便地实现目标检测，上述的人脸检测只是其中的一个例子。  
  在实际使用darknet过程中，GPU经常会出现`Segmentation fault (core dumped)`错误，笔者暂时还无法解决。  
  关于该人脸检测项目，笔者会在适当的时候公开源码，欢迎大家关注我的Github,地址为：[https://github.com/percent4][https_github.com_percent4] 。  
  后续笔者会做进一步的研究，感谢大家的阅读和关注~

### 参考文章 ###

1.  人脸检测数据集网站：http://shuoyang1213.me/WIDERFACE/index.html
2.  darknet的Github网站：https://github.com/pjreddie/darknet
3.  \[深度学习\] 使用Darknet YOLO 模型破解中文验证码点击识别: https://www.cnblogs.com/codefish/p/10104320.html
4.  YOLO3 darknet训练自己的数据: https://zhuanlan.zhihu.com/p/45852709

[OpenCV]: https://blog.csdn.net/jclian91/article/details/82753783
[http_shuoyang1213.me_WIDERFACE_index.html]: http://shuoyang1213.me/WIDERFACE/index.html
[20200512202810646.png_pic_center]: /images/20230312/988d24a64cc7497daea6fb05712165f5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pjbGlhbjkx_size_16_color_FFFFFF_t_70]: /images/20230312/2ea4f1c925d943f7a0941185076551ef.png
[20200512204447921.png]: /images/20230312/66a011fd048345d68edf57a0995d4708.png
[https_pjreddie.com_media_files_darknet53.conv.74]: https://pjreddie.com/media/files/darknet53.conv.74
[1]: /images/20230312/234dc89a997040f387c4a2dec90ec367.png
[2]: https://img-blog.csdnimg.cn/20200512211718295.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pjbGlhbjkx,size_16,color_FFFFFF,t_70
[3]: https://img-blog.csdnimg.cn/20200512211827117.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pjbGlhbjkx,size_16,color_FFFFFF,t_70
[4]: https://img-blog.csdnimg.cn/20200512211952636.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pjbGlhbjkx,size_16,color_FFFFFF,t_70
[https_github.com_percent4]: https://github.com/percent4