TensorFlow框架做实时人脸识别小项目

爱被打了一巴掌 2022-01-31 16:59 315阅读 0赞

人脸识别是深度学习最有价值也是最成熟的的应用之一。在研究环境下，人脸识别已经赶上甚至超过了人工识别的精度。一般来说，一个完整的人脸识别项目会包括两大部分：人脸检测与人脸识别。下面就我近期自己练习写的一个“粗糙”的人脸识别小项目讲起，也算是做一个学习记录。

首先 ，整个项目的框架包括四个主要的部分：（1）利用opencv从图像传感器处（比如电脑摄像头）实时的读入视频帧；（2）使用mtcnn网络做人脸检测和对齐；（3）利用facenet网络计算人脸特征，也就是embedding；（4）knn算法进行具体的人脸识别。如下图所示：

![20180505185647191][]

其中的mtcnn的人脸检测是很关键的一步，它检测定位的人脸准确与否直接影响到后面的特征计算与识别；facenet实际是一个对人脸进行特征编码的网络，具体的实现后面会讨论；knn的分类算法在用于真正的识别前要经过训练，训练的样本的质量好坏与数量也会对识别的 结果产生很大的影响。今天在这只讨论mtcnn网络的人脸检测对齐部分。

mtcnn网络全称为multi-task convolutinal neural network，意为多任务卷积神经网络。mtcnn由三个神经网络组成，分别是P-Net, R-Net, O-Net。在使用这些网络之前，首先要将原始图片缩放到不同尺寸，形成一个图像金字塔，接着会对每个尺寸的图片通过神经网络计算一遍。其目的在于兼顾图片中的不同大小的人脸，在统一的尺度下检测人脸。

如果你觉得这篇文章看起来稍微还有些吃力，或者想要系统地学习人工智能，那么推荐你去看床长人工智能教程。非常棒的大神之作，教程不仅通俗易懂，而且很风趣幽默。点击[这里][Link 1]可以查看教程。

第一个网络P-Net的结构如下图所示：

![20180505194230861][]

P-Net的输入是一个12x12的3通道RGB图像，它的作用是要判断这个网络中是否有人脸，并且给出人脸框和关键点位置。第一个部分face classification输出的是判断是人脸的概率和不是人脸的概率，两个值加起来严格等于1；第二个部分输出的是框的精确位置，4个值分别是框的左上角二维坐标和框的高度与宽度；第三个部分输出的是人脸5个关键点：左眼，右眼，鼻子，左嘴角，右嘴角的位置的二维坐标。

第二个网络R-Net的网络结构与P-Net差别不大，如下图：

![20180505201723716][]

除了输入大小与中间层大小不同，R-Net的结构与P-Net非常相似，只是在最后的输出层前多加入了一个全连接层。R-Net的输出完全与P-Net一样，同样由人脸判别，框回归，关键点位置预测三部分组成。

第三个网络O-Net结构如下：

![20180505213952865][]

O-Net相比R-Net在结构上又多出一个中间层，但是输出结果还是一样的。

从P-Net到R-Net，再到O-Net，网络输入的图片越来越大，中间层的通道数越来越多，识别人脸的准确度也越来越高。实际上mtcnn的工作原理就是P-Net先做一遍过滤，将过滤后的结果交给R-Net进行过滤，最后再将过滤的结果交给O-Net进行判别。它是层层递进的一个筛查机制。

mtcnn中每个网络都有三部分输出，因此训练时损失的定义也由三部分组成。针对人脸判别face classification，使用交叉熵损失，针对框和回归点的判定，直接使用L2损失。最后这三部分损失各自乘以自身的权重再加起来，形成最后的总损失。P-Net和R-Net网络关心框位置的准确性，O-Net关心关键点判定，它们三部分的各自权重是不一样的。

mtcnn网络需要大量的人脸数据进行训练，才能得到合适的网络参数，达到较好的检测效果。在github上有已经训练好的mtcnn模型可以直接使用，[点这里可以直达][Link 2]。其中的src/align/detect\_face.py与det1.npy，det2.npy，det3.npy就是mtcnn网络的结构与训练模型，可以直接使用。

测试mtcnn的部分代码：

def test():
         
          
        
         
        
        
         
         
          
        
         
        
         
         
          
           
              video = cv2.VideoCapture(
          
           0)
         
          
        
         
        
        
         
         
          
        
         
        
         
         
           
         
          
        
         
        
        
         
         
          
        
         
        
         
         
          
           
              print(
          
           'Creating networks and loading parameters')
         
          
        
         
        
        
         
         
          
        
         
        
         
         
           
         
          
        
         
        
        
         
         
          
        
         
        
         
         
          
           
              
          
           with tf.Graph().as_default():
         
          
        
         
        
        
         
         
          
        
         
        
         
         
          
           
                  gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=
          
           1.0)
         
          
        
         
        
        
         
         
          
        
         
        
         
         
          
           
                  sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options, log_device_placement=
          
           False))
         
          
        
         
        
        
         
         
          
        
         
        
         
         
          
           
                  
          
           with sess.as_default():
         
          
        
         
        
        
         
         
          
        
         
        
         
         
          
           
                      pnet, rnet, onet = detect_face.create_mtcnn(sess, 
          
           None)
         
          
        
         
        
        
         
         
          
        
         
        
         
         
          
           
              minsize = 
          
           20  
         
          
        
         
        
        
         
         
          
        
         
        
         
         
          
           
              threshold = [
          
           0.6, 
          
           0.7, 
          
           0.7]  
         
          
        
         
        
        
         
         
          
        
         
        
         
         
          
           
              factor = 
          
           0.709 
         
          
        
         
        
        
         
         
          
        
         
        
         
         
          
           
              
          
           while 
          
           True:
         
          
        
         
        
        
         
         
          
        
         
        
         
         
          
           
                  ret, frame = video.read()
         
          
        
         
        
        
         
         
          
        
         
        
         
         
          
           
                  bounding_boxes, _ = detect_face.detect_face(frame, minsize, pnet, rnet, onet, threshold, factor)
         
          
        
         
        
        
         
         
          
        
         
        
         
         
          
           
                  nrof_faces = bounding_boxes.shape[
          
           0]
         
          
        
         
        
        
         
         
          
        
         
        
         
         
          
           
                  print(
          
           '找到人脸数目为:{}'.format(nrof_faces))
         
          
        
         
        
        
         
         
          
        
         
        
         
         
          
           
                  
          
           for face_position 
          
           in bounding_boxes:
         
          
        
         
        
        
         
         
          
        
         
        
         
         
          
           
                      face_position = face_position.astype(int)
         
          
        
         
        
        
         
         
          
        
         
        
         
         
          
           
                      cv2.rectangle(frame, (face_position[
          
           0], face_position[
          
           1]),(face_position[
          
           2], face_position[
          
           3]), (
          
           0, 
          
           255, 
          
           0), 
          
           2)
         
          
        
         
        
        
         
         
          
        
         
        
         
         
          
           
                  cv2.imshow(
          
           'show', frame)
         
          
        
         
        
        
         
         
          
        
         
        
         
         
          
           
                  
          
           if cv2.waitKey(
          
           5) & 
          
           0xFF == ord(
          
           'q'):
         
          
        
         
        
        
         
         
          
        
         
        
         
         
          
           
                      
          
           break
         
          
        
         
        
        
         
         
          
        
         
        
         
         
          
           
              video.release()
         
          
        
         
        
        
         
         
          
        
         
        
         
         
          
           
              cv2.destroyAllWindows()
         
          
        
         
       
      
       
      
       
        1

经过测试，mtcnn的实时性和准确性都非常好。

[20180505185647191]: /images/20220131/e8e907d67c55462fb0c628613da3749e.png
[Link 1]: http://www.captainbed.net/csdn
[20180505194230861]: /images/20220131/1207ea80a2fb4325b4e28d1e4c792cd7.png
[20180505201723716]: /images/20220131/4dd25f683dc94d3a9eebca686d663738.png
[20180505213952865]: /images/20220131/e63401711b0e4c548de1c088055f644a.png
[Link 2]: https://github.com/davidsandberg/facenet