对face_recognition模块人脸识别算法的改进

喜欢ヅ旅行 2023-06-16 10:59 16阅读 0赞

#### 使用face\_recognition模块进行人脸识别的默认调用方式为： ####

1.  load\_image\_file加将包含已知人脸的图片加载为numpy数组
2.  face\_locations检测图片中的已知人脸返回边界框数组
3.  face\_encodings将图片中的已知人脸图像编码成128维特征向量
4.  保存各个人脸的特征向量及其对应的姓名
5.  opencv逐帧读取视频
6.  face\_locations检测图片中的人脸
7.  face\_encodings将图片中的人脸图像编码成特征向量
8.  compare\_faces对比待识别特征向量和已知姓名的各个特征向量的欧氏距离并设定阈值tolerance
9.  待识别向量与其最接近的已知向量之间的差异若符合阈值要求则识别为该身份，否则为Unknown

其中，face\_encodings方法基于在Labeled Faces in the Wild数据集上进行训练的深度卷积网络；compare\_faces方法中的tolerance形参为可调参数，越低越严格。

在对该模块的试用中发现tolerance参数的设置较难把控，偏低容易无法识别已知的人脸，偏高容易造成身份识别错误，效果不尽人意。

#### 造成效果不佳的原因我认为有如下几点： ####

1.  face\_encodings在Labeled Faces in the Wild上进行训练，但训练集中包含极少的亚洲面孔，因此可能无法在对亚洲面孔的测试中取得最佳效果。
2.  每个已知身份仅使用一张图片保存其特征向量，当待识别的人脸与保存的已知人脸的光照、角度等条件差异较大时，会造成不佳的识别效果。
3.  compare\_faces仅仅对比待识别向量与已知向量的欧拉距离，这种判别方式未免过于简单。

#### 其对应的改进方法： ####

对于1，一种改进方法时换用其他公开数据集重新训练网络，但LFW是公认最佳的人脸识别数据集，目前并未找到有公开的亚洲面孔数据集能够进行重新训练；另一种改进方法是采用最终用户登记的人脸进行训练，但这会造成对新登记用户的识别效果不佳，而每新登记一个用户则重新完整训练一次网络的时间开销又过大，因此对face\_encodings的改进较为困难。

对于2、3，可以通过**每个身份保存多张人脸，且分类时采用机器学习算法**而非简单计算欧拉距离的方法改进对人脸特征向量的分类性能。

对该方法的测试选用了一部MV视频，其中出现了16人，对16人中的12人（林允、钟楚曦、林昕宜、韩东君等）进行身份登记，每人从视频中随机截取10张图片作为训练数据，进行人脸登记时进行人脸编码和SVC训练，并以npy文件保存已登记人脸的特征向量，如此每新增一个身份只需加载特征向量重新训练SVC即可，时间开销极小；其余4人（蔡诚俊等）未登记身份，应识别为“Unknown"。

训练好的SVC对opencv实时获取并经过编码的特征向量进行分类，如果分类概率的最大值大于阈值（本次实验设置为1/(0.75 \* 登记人数)，则输出分类的姓名，否则输出"Unknown"。

采用face\_recognition默认的调用方法（在视频中为每个登记的身份随机选取一帧人脸图像），出现了三种问题：

1.  无法识别已登记的人脸（无法识别林允）
2.  错误识别已登记的人脸（将钟楚曦识别为林昕宜）
3.  错误识别未登记的人脸（将未登记的蔡诚俊识别为韩东君）

下图左侧为部分帧错误的识别结果，右侧为相同帧的通过训练SVC进行分类后的正确识别结果。改进的方法中SVC的各种参数如核函数、惩罚系数等变动会对结果造成影响，阈值的设定也可能并非最佳，因此部分错误在方法改进后依然存在，但效果确实有所改善。  
![20191126144805107.jpg][]![20191126144929719.jpg][]  
![20191126145915607.jpg][]![20191126145930179.jpg][]  
![20191126145514694.jpg][]![20191126145533468.jpg][]  
完整代码：

import os
    import cv2
    import queue
    import random
    import threading
    import face_recognition
    import numpy as np
    from sklearn import svm
    from sklearn.externals import joblib
    
    
    q = queue.Queue()
    
    
    # 加载人脸图片并进行编码
    def Encode():
        print("Start Encoding")
        image_path = "./Face_Database/"
        person_list = os.listdir(image_path)
    
        for person in person_list:
            image_list = os.listdir(image_path + person)
            for image in random.sample(image_list, 10):
                print(person + image)
                face = face_recognition.load_image_file(image_path + person + "/" + image)
                face_locations = face_recognition.face_locations(face)
                face_enc = face_recognition.face_encodings(face, face_locations)[0]
                np.save(image_path + person + "/" + image.split(".")[0], face_enc)
    
    
    # 训练SVC
    def Train_SVC():
        print("Start Training")
        encodings = []
        names = []
        name_dict = {
        }
        # 加载人脸数据库并学习
        data_path = "./Face_Encode/"
        person_list = os.listdir(data_path)
    
        for i, person in enumerate(person_list):
            data_list = os.listdir(data_path + person)
            for data in data_list:
                print(i, data)
                encodings.append(np.load(data_path + person + "/" + data).tolist())
                names.append(int(i))
                name_dict[i] = person
    
        clf = svm.SVC(C=20, probability=True)
        clf.fit(encodings, names)
        joblib.dump(clf, "my_model.m")
    
        f = open('name.txt', 'w')
        f.write(str(name_dict))
        f.close()
    
    
    # 线程1获取网络摄像头图像
    def Receive():
        print("Start Reveive")
        cap = cv2.VideoCapture("TEST.mp4")
        # cap = cv2.VideoCapture("rtsp://admin:a123456789@121.248.50.30/h264/ch1/main/av_stream")
        ret, frame = cap.read()
        q.put(frame)
        while ret:
            ret, frame = cap.read()
            q.put(frame)
    
    
    # 线程2进行人脸检测识别并显示
    def Display():
        print("Start DisPlaying")
    
        clf = joblib.load("my_model.m")
    
        f = open('name.txt', 'r')
        name_dict = eval(f.read())
        f.close()
    
        face_locations = []
        face_names = []
        count = 0
        threshold = 1/(0.75 * len(name_dict))
    
        while True:
            if not q.empty():
    
                count += 1
    
                frame = q.get()
                small_frame = cv2.resize(frame, (0, 0), fx=0.25, fy=0.25)
                rgb_small_frame = small_frame[:, :, ::-1]
    
                # 每0.2秒进行一次人脸检测
                if count % 5 == 0:
                    face_locations = face_recognition.face_locations(rgb_small_frame)
    
                # 每0.4秒进行一次人脸识别
                if count % 10 == 0:
    
                    face_encodings = face_recognition.face_encodings(rgb_small_frame, face_locations)
                    face_names = []
    
                    for face_encoding in face_encodings:
                        print(clf.predict_proba([face_encoding]))
                        if np.max(clf.predict_proba([face_encoding])) > threshold:
                            face_names.append(name_dict[int(clf.predict([face_encoding]))])
                        else:
                            face_names.append("Unknown")
    
                # 显示人脸定位框及姓名
                for (top, right, bottom, left), name in zip(face_locations, face_names):
    
                    top *= 4
                    right *= 4
                    bottom *= 4
                    left *= 4
    
                    cv2.rectangle(frame, (left, top), (right, bottom), (0, 0, 255), 2)
                    cv2.rectangle(frame, (left, bottom - 35), (right, bottom), (0, 0, 255), cv2.FILLED)
                    cv2.putText(frame, name, (left + 6, bottom - 6), cv2.FONT_HERSHEY_DUPLEX, 1.0, (255, 255, 255), 1)
    
                cv2.imshow('Video', frame)
    
                if cv2.waitKey(1) & 0xFF == ord('q'):
                    break
    
    
    if __name__ == '__main__':
        Encode()
        Train_SVC()
        p1 = threading.Thread(target=Receive)
        p2 = threading.Thread(target=Display)
        p1.start()
        p2.start()

[20191126144805107.jpg]: https://img-blog.csdnimg.cn/20191126144805107.jpg
[20191126144929719.jpg]: https://img-blog.csdnimg.cn/20191126144929719.jpg
[20191126145915607.jpg]: https://img-blog.csdnimg.cn/20191126145915607.jpg
[20191126145930179.jpg]: https://img-blog.csdnimg.cn/20191126145930179.jpg
[20191126145514694.jpg]: https://img-blog.csdnimg.cn/20191126145514694.jpg
[20191126145533468.jpg]: https://img-blog.csdnimg.cn/20191126145533468.jpg