看OpenFace如何做到精准人脸识别

绝地灬酷狼 2022-06-01 11:48 243阅读 0赞

> 原文：[https://blog.algorithmia.com/understanding-facial-recognition-openface/][https_blog.algorithmia.com_understanding-facial-recognition-openface]  
> 作者：Stephanie Kim  
> 翻译：不二  
>   
> ![这里写图片描述][20180126192824086]  
> *译者注：自从发现卷积神经网络对图像识别的特殊功能以后，人脸识别技术发展非常迅速，各种新算法层出不穷。在有效训练的情况下，基于openface的人脸识别已经非常精准，下面透过OpenFace来理解人脸识别。*

![image][]

人脸识别已经成为我们生活当中越来越普遍的一部分。

如今，智能手机使用人部识别来取得控制权，而像阿凡达这样的动画电影则用它来实现逼真的动作和表达。警方监控摄像头借助人脸识别软件鉴别通缉犯，同样的人脸识别也被零售商店用于进行有针对性的营销活动。并且我们都使用过类似于名人像 App和Facebook的自动标记工具，将我们、朋友和家人进行分类。

人脸识别可以在许多不同的场景中应用，但并不是所有的人脸识别库在准确性和性能上都是平等的，而且大多数最先进的系统都是专有的黑盒子。

OpenFace是一个开源库，它具有专利模型的性能和精确性。该项目是在考虑移动性能的情况下创建的，因此让我们来看看一些使这个库快速而准确的内部结构，并通过一些用例来思考为什么可能想要在项目中实现它。

### 高层体系结构概述 ###

OpenFace是[Brandon Amos][]、[Bartosz Ludwiczuk][]和[Mahadev Satyanarayanan][]开发的一种深度学习人部识别模型，模型基于文章:[FaceNet:为人脸识别统一的嵌入和聚类][FaceNet]，该文章由谷歌的James Philbin、James Philbin和Florian Schroff发表，并通过Python和Torch来实现，以便能在在CPU或GPU上运行。

尽管OpenFace只有几年的历史，但它已经被广泛采用，因为它提供的精确度与谷歌的FaceNet或facebook的DeepFace等私有的最先进的系统所包含的人脸识别模型类似。

OpenFace的特别之处除了开源之外，还在它主要集中在移动设备上的实时人脸识别，所以可以用非常精确的数据来训练一个模型，尽管模型的数据非常少。

![image][image 1]

从高层次的角度来看，OpenFace使用的[Torch][]，是一个科学的计算框架能进行离线训练，这意味着它只在OpenFace完成一次，用户不必亲自动手训练成百上千的图片。然后把这些图像被扔进神经网络中用谷歌的FaceNet模型进行特征抽取。FaceNet依赖triplet loss方法来计算神经网络对人脸进行分类的准确性，并能够基于超球表面的测量结果进行人脸聚类。

在通过dlib的面部检测模型运行新图像之后，这个经过训练的神经网络在Python实现中被使用。一旦这些人脸被OpenCV的仿射变换规格化，所有的人脸都指向同一个方向，它们就会通过训练的神经网络单向传递。因此产生的128维度人脸嵌入（每张脸的128个测量值称为一个嵌入）可以对匹配分类，甚至可以用于相似检测的聚类算法中。

![image][image 2]

### 训练 ###

在OpenFace pipeline的训练部分中，500k图像通过神经网络传递。这些图像来自两个公共数据集:[CASIA-WebFace][]（由10575个独立的个体组成，总共有494,414张图像）和[FaceScrub][]（由530个个体组成，共有106,863张图像，他们都是公众人物）。

在所有这些图像前面训练神经网络的目的是很明显的，在移动或者任何其他实时场景中都不可能训练50万张图片来获取所需的面部嵌入。但请记住，这部分pipeline只完成一次，因为OpenFace将这些图像用于生成128维度的人脸嵌入，它标识一个通用的面孔，用于Python训练的pipeline。然后使用低维度的数据（而不是在高维空间中）匹配图像，这有助于快速地创建模型。

正如前面提到的，OpenFace使用Google的FaceNet架构来进行特征提取，并使用triplet loss方法来测试神经网络对脸部的精确程度。它通过对三个不同的图像进行训练，其中一个是已知的人脸图像，叫做anchor图像，然后另一个图像是positive嵌入，而最后一个是不同的人的图像，被称为negative嵌入。

如果你想了解更多关于triplet loss的信息，请点击Andrew NG的[卷积神经网络Coursera视频][Coursera]。

使用triplet嵌入的很重要的一点是，在一个单位超球面上，用欧氏空间距离能判断哪些图像更近，哪些更远。很明显，negative图像嵌入比positive和anchor测量的更深，而posivit与anchor空间距离更近。这一点很重要，因为决定集群算法可以用于相似性检测。如果想要在族谱网站上检测家庭成员，或者在社交媒体上寻找可能的营销活动（比如说团购），可能需要使用聚类算法。

### 脱离背景的人脸 ###

![image][image 3]

上面已经介绍了OpenFace如何使用Torch来训练成千上万的来自公共数据集的图片，以获得低维度的面部嵌入，现在通过查看他们对流行的人脸检测库dlib的使用情况，来看看为什么要使用它，而不是OpenCV的面部检测库。

人脸识别软件的第一步是将人脸从图像的背景中分离出来，并将人脸从图像中分离出来。人脸检测算法还必须能够处理弱的和不一致的光线，以及不同的面部位置，比如倾斜或旋转的脸。幸运的是，dlib和OpenCV一起处理了所有这些问题。Dlib负责寻找脸部的基准点，而OpenCV则负责处理面部的标准化。

值得注意的是，在使用OpenFace时，可以实现dlib的面部检测，它组合使用了HOG向量的梯度)和支持向量机或OpenCV的Haar级联分类器。它们都接受过positive和negative图像训练，但是在实现上、检测速度和准确性方面都有很大的不同。

使用HOG分类器有几个好处。首先，在图像上使用一个滑动子窗口进行训练，因此不需要进行子采样和参数操作，就像在OpenCV中使用Haar分类器一样。这使得dlib的HOG和SVM的人脸检测更容易使用，而且可以更快地进行训练，同时所需要的数据更少，此外HOG的面部识别比OpenCV的Haar级联分类器更准确。所以使用dlib的HOG搭配SVM做人脸检测非常方便！

### 预处理 ###

![image][image 4]

除了在图像中找到每张脸，人脸识别过程的还包括预处理图像，以便解决一些如不一致和弱光线的问题，预处理将图像转换成灰度级以进行更快的训练，同时对面部位置标准化。

虽然一些面部识别模型可以通过大量的数据集训练来处理这些问题，但dlib使用了OpenCV的2D仿射变换，它可以旋转脸部，使眼睛、鼻子和嘴巴的位置保持一致。在仿射变换中，有68个面部特征点用于特征检测，并且将测量所得点之间的距离与普通人脸图像中的点进行比较，随后根据这些点将图像进行旋转和转换，通过比较将其裁剪为96 96个像素，用于被训练的神经网络。

![image][image 5]

将图像从背景中分离出来，并使用dlib和OpenCV进行预处理之后，再将图像传送到经过训练的神经网络中，这是在Torch的pipeline部分完成的。这个步骤中，神经网络上有一个单向传递来获得用于预测的128维度嵌入（面部特征）。这些低维度的面部嵌入在分类或聚类算法中会使用到。

测试中OpenFace使用一个线性支持向量器，它通常在现实世界中使用以匹配图像的特征。OpenFace令人印象最深刻的一点是对图像进行分类只需要几毫秒的时间。

### 使用场景 ###

经过一个较高层次的OpenFace架构的讨论之后，现在列举一些关于使用场景的有趣的想法。前面提到，人脸识别被用作一种访问控制和识别的形式。其中之一便是几年前探索的当进入办公室时，用它来识别和定制经历。[https://blog.algorithmia.com/hey-zuck-we-built-your-facial-recognition-ai/][https_blog.algorithmia.com_hey-zuck-we-built-your-facial-recognition-ai]。那已经是很久以前的故事了，可以尝试考虑创建一款移动应用，用于识别出参加俱乐部或派对的VIP用户。保镖们不需要记住每个人的脸，也不需要依赖一份名单来让人们进入。同时，在训练数据上添加新面孔也很容易，当个体回到户外呼吸新鲜空气，并想再次进入俱乐部时，模型就会被训练出来。参照以上这些原则，可以在聚会或会议上进行人脸识别，因为在那里有人需要临时进入楼层或办公室，安保人员或前台人员可以轻松地更新或删除手机上的数据集。

### 在哪里寻找已实现的OpenFace ###

我们已经做了一个检出OpenFace的案例，可以从[OpenFace on GitHub][]下载模型实现人脸识别，或者从[OpenFace model on Algorithmia][]通过SVM拉取代码实现添加、训练、移除和预测图像。如果想学习如何使用面部识别算法，请查看[celebrity classifier][]。

[https_blog.algorithmia.com_understanding-facial-recognition-openface]: https://blog.algorithmia.com/understanding-facial-recognition-openface/
[20180126192824086]: /images/20220601/3e59dc1beb8e4602a0b33059c5b65936.png
[image]: https://blog.algorithmia.com/wp-content/uploads/2018/01/nist_facial_recognition.jpg
[Brandon Amos]: http://bamos.github.io/
[Bartosz Ludwiczuk]: https://github.com/melgor
[Mahadev Satyanarayanan]: https://www.cs.cmu.edu/~satya/
[FaceNet]: https://www.cv-foundation.org/openaccess/content_cvpr_2015/app/1A_089.pdf
[image 1]: https://blog.algorithmia.com/wp-content/uploads/2018/01/openface_diagram.png
[Torch]: http://torch.ch/
[image 2]: https://blog.algorithmia.com/wp-content/uploads/2018/01/triplet_loss_training.png
[CASIA-WebFace]: http://www.cbsr.ia.ac.cn/english/CASIA-WebFace-Database.html
[FaceScrub]: http://vintage.winklerbros.net/facescrub.html
[Coursera]: https://www.coursera.org/learn/convolutional-neural-networks/lecture/HuUtN/triplet-loss
[image 3]: https://blog.algorithmia.com/wp-content/uploads/2018/01/dlib_hog.png
[image 4]: https://blog.algorithmia.com/wp-content/uploads/2018/01/affine_transformation.png
[image 5]: https://blog.algorithmia.com/wp-content/uploads/2018/01/classification.png
[https_blog.algorithmia.com_hey-zuck-we-built-your-facial-recognition-ai]: https://blog.algorithmia.com/hey-zuck-we-built-your-facial-recognition-ai/
[OpenFace on GitHub]: https://cmusatyalab.github.io/openface/
[OpenFace model on Algorithmia]: https://algorithmia.com/algorithms/cv/FaceRecognition
[celebrity classifier]: https://blog.algorithmia.com/train-a-face-recognition-model-to-recognize-celebrities/#more-8135