人脸对齐: 基于改进Coarse-to-fine CNN网络的人脸特征点定位

落日映苍穹つ 2021-12-01 14:04 235阅读 0赞

**基于改进Coarse-to-fine CNN网络的人脸特征点定位**

**原文地址：**[http://blog.csdn.net/hjimce/article/details/50099115][http_blog.csdn.net_hjimce_article_details_50099115]

**作者：**hjimce

**一、相关理论**

本篇博文主要讲解2013年face++的大牛们提出粗到精人脸特征点定位算法paper：《Extensive Facial Landmark Localization with Coarse to fine Convolutional Network Cascade》，发表于2013年ICCV上的一篇用于定位多个人脸特征点的文献，实现了68个人脸特征点的高精度定位。这篇paper没有给出训练数据，也没有给出测试模型、源代码等，所以源代码需要自己写，训练数据我们需要自己到IBUG网站下载，可以下载到两千多张的训练数据，这篇paper的代码花了我两周的时间，主要是裁一些细节方面很麻烦。

我个人感觉这篇文章的创新点不是很大，基本上是在文献：《Deep Convolutional Network Cascade for Facial Point Detection》的基础上做了一点点的修改，使得我们构建的CNN模型可以用于定位更多的特征点，总结为一句话就是如果想要看懂这篇文献，还是建议先好好学习paper：《Deep Convolutional Network Cascade for Facial Point Detection》，熟悉代码是怎么实现的，然后再来搞这篇文章的算法，就只需要改一改就OK了。

人脸68特征点的定位方法，也是采用了从粗到精的定位思想，网络属于DCNN，开始讲解这篇paper之前，我先讲解一下文献的创新点，因为如果你已经熟悉了《Deep Convolutional Network Cascade for Facial Point Detection》的算法，我们只要把创新点抓住，就OK了。本篇给我的感觉最大的创新点在于：在网络的输入方面，不是用人脸检测器检测到的人脸区域图片作为网络的输入，而是采用CNN预测人脸的bounding box，这个改进对初始level定位精度提高非常多，如下图所示，当我们输入一张图片的时候，我们用CNN，分别预测出Inner points和Contour points的最小包围盒：

![Center][]

切记：上面的两个部分的特征点预测是完全分开的，各自的网络可以进行并行训练、预测。就像上面，两部分的分开预测，第一层次的目的都是为了获得Bounding Box。

虽然文献还提出了一些其它方面的细节，但是我感觉基本上对精度影响都不大，比如文献最后在预测inner point的时候，还多了一个层次网络level 4（对总精度提高非常小，后面再讲解），如果你仅仅是为了学习这个算法的话，完全可以不用level 4，当然如果你要实现最高的精度（用于商用），就要把老老实实根据文献的算法，一步一步来了。好了，言归正传，下面开始讲解paper算法。在这篇paper的算法中，被预测的68个人脸特征点分为两个部分。

**第一部分**：主要是人脸五官的特征点预测，这部分预测点的个数为51，在文献中又把这部分特征点命名为：Inner points，貌似文献中并没有显示51个点，如下图所示：

![Center 1][]

**第二部分**：用于预测人脸外轮廓的17个特征点。我们又称之为：Contour points ，请记住Contour points和Inner points这两个名词指的是哪部分特征点，我后面都使用这两个词进行讲解。

![Center 2][]

Inner points和Contour points这两部分相互独立，用不同的网络结构进行预测，也就说这两部分可以并行计算，其中contour point的预测比较简单，paper的大部分精力都花在讲解inner points 上面，算法也都是讲解inner points，因为inner points是五官特征点的位置，定位比较复杂，所以才要花费更多的精力去提高精度。

**一、Inner points预测**

Inner points的预测是一个四层次的DCNN模型。level 1就是我们前面讲的预测bounding box；level 2 用于这51个点的初始定位，也就是粗定位；level 3 用于精定位；level 4 用于更精定位(这一层次对精度提高很小)。

**第一层次(level 1)：**这个就是我们上面讲的预测最小包围盒。输入一张完整的图片，我们通过这一层CNN，预测这51个点的最小包围盒（Bounding Box）。Bounding box 包含矩形左上角的坐标、右下角的坐标，也就是网络的输出是一个4维的向量：

![Center 3][] ![Center 4][]

输入 输出

第一层次

**第二层次(level 2)**：网络的输入，就是我们通过第一层次预测到的51个点的最小包围盒中的人脸图片；网络的输出是51个特征点预测位置（粗定位位置）。这一层次比较简单，说白了就是我们常见的CNN，用普通的CNN预测51个特征点（当然用这一层预测出来的位置，只能作为初始位置，因为通过这一层预测的精度还不够高，只能作为51个点的粗定位。我们需要有后面继续两个层次网络进行精定位）。

![Center 5][]

第二层次

**网络的输入**：把level 1得到的最小包围盒中的图片裁剪出来，作为输入，进行51个点人脸特征点预测。

**网络的输出**：因为我们是要预测51个特征点，所以CNN的输出是102神经元。

**第三层次(level 3)**：因为我们上面一层的网络，已经预测到了51个特征点，然而这51个点的位置还不够高，我们需要对其做进一步的精定位。

第二层次预测的51个点，之所以精度不够高，是因为我们输入的图片是大的图片，是对全局的统一预测(具体解释可以参考文献《Deep Convolutional Network Cascade for Facial Point Detection》)，容易受冗余信息的干扰。说的简单一点吧：假设你要定位嘴巴的特征点，你的输入图片就应该只有嘴巴部分的区域图片，这样的精度才会比较高，而不是你把一整张人脸图片作为输入，这样冗余信息太多，容易干扰到我们的嘴巴区域的定位。

因此我们这一层次的网络，就是要利用level 2的网络预测到的51个点，把五官的图片裁剪出来，然后对五官进行分别的定位。具体的示意图如下：

![Center 6][]

第三层次

**网络输入：**利用level 2的51个点，对五官图片裁剪，把裁剪的五官，进行分开训练、预测。因为我们要各个器官分开训练，因此自然而然本层需要有4个CNN模型，每个模型用于预测各自的特征点

**网络输出：**各个器官的特征点

**第四层次(level 4)**：这一层次的输入，与文献《Deep Convolutional Network Cascade for Facial Point Detection》相比，稍稍做了修改。跟我想象的有点不一样，paper通过把level 3的各个五官预测结果，计算各五官的旋转角度，然后把五官都摆正了，作为第四层次网络输入图片，然后在进行预测。

![Center 7][]

第四层次

这一层网络，对于我们来说可以不去实现，只到level 3就好了，这篇paper是为了达到state-off-art 所以才增加了level 4。其实这一层网络，对精度的提高非常非常小，我们看一下paper的每一层的误差：

![Center 8][]

各层次网络的误差

好好看一下上面这个表格的数据，level 2 作为初始的预测，验证误差是0.051，通过leve 3的精定位，误差减小到了0.0438，也就是说相对精度相当于提高了14%，这一层精度的提高很明显。然而从level 3到level 4 误差从0.0438到0.0431，好像性能提高不了多少。因此对于我们如果要用于商用，需要考虑计算时间效率、精度等综合因素，可以不要采用paper的level 4，不划算，精度提高那么小，计算时间却增加了相当多。

**二、Contour points预测**

这17个点的预测比较简单粗暴，就只是两个层次的DCNN模型，这两个层次说的简单一点就是类似上面Inner points的第一、二两个层次网络。

**第一层次**：这个在前面已经讲过了，也就是预测Contour points的最小包围盒(下图中的底部示意图)。

![Center 9][]

**第二层次**：CNN直接预测这17个特征点。

![Center 10][]

这个预测过程，没有精定位过程。也就是没有第三、四层次的CNN精定位，一来是因为这些脸庞特征点的图片区域比较大，如果加上第三、四层次的话，会比较耗时间；二来是因为paper还没想到比较好的方法，用于精定位。

**总结：**总的来说呢，这篇文献的思想和《Deep Convolutional Network Cascade for Facial Point Detection》的思想是一样的，看文献的名字就知道了，是在这篇paper的基础上，进行改进的一种用于多个特征点预测的网络结构。因为paper《Deep Convolutional Network Cascade for Facial Point Detection》只预测5个特征点，于是face++他们就在这篇文献的基础上做了改进，使网络结构可以用于很多个特征点的预测。

从这篇paper的创新方面讲：

1、文献把人脸的特征点定位，分开成两个部分了：Inner和Contour两部分特征点，进行分开预测

2、在Inner的预测部分，从level 2 开始把五官裁剪分开，进行精定位。

3、在每个器官的每个特征点的定位方面，文献并没有像《Deep Convolutional Network Cascade for Facial Point Detection》的方法，把每个特征点的都用独立的网络进行定位，不然如果按照《Deep Convolutional Network Cascade for Facial Point Detection》的思想，51个特征点的定位，精定位的每一层次就要有102个CNN模型（因为《Deep Convolutional Network Cascade for Facial Point Detection》文献每个特征点的精定位是用了两个网络进行训练、预测，然后用两个网络的输出作为平均值，所以是102个网络），这样太耗时间了，万一我要定位300个特征点，不得崩溃。因此face++的这篇paper并没有把每个特征点分开独立训练、预测，仅仅把各个器官分开训练。

4、多了一个bounding box 层，可以大大提高特征点粗定位网络的精度。

**三、相关细节与原理解释**

采用粗定位到精定位的过程，有很多优点：

**1、各个五官分开预测的原因解释**

各个部分分开训练，这样网络的损失函数是分开的。这样做可以提高精度的原因在于：因为网络各个部位特征点的定位难度不同，或者说定位难度不平衡。比如，contour特征点的定位比inner 特征点的定位难度大，这个主要是因为人脸外轮廓往往比较模糊、还有受到头发等背景因素的干扰，所以人脸的外轮廓的特征点的定位难度会比较大。这些因素，引起了训练损失函数各个特征点严重的不平衡，比如比较难定位的contour的特征点，就会对损失函数，占用比较大的比重，因此如果我们68个特征点一起训练的话，L2损失函数值基本上是contour的特征点占用了比较大的比重。所以文献才采用把inner和contour分开预测，这样可以避免不平衡问题。

同理，在inner预测部分，把五官的预测都分开。比如因为眉毛的误差往往会比较大，而眼睛的预测精度就比较高了，这样把各个器官都分开，不共用一个损失函数，可以避免不平衡问题。

**2、采用多层回归的原因**

也就是采用从粗定位到精定位的原因，这个感觉paper解释的有点不好，可以自己去看一下《Deep Convolutional Network Cascade for Facial Point Detection》文献的解释，这里懒得解释了。打了一个早上的字，才讲解到这边，心塞……。

**3、采用CNN预测bounding box**

相比与直接采用人脸检测器，进行预测人脸矩形框来说，这个方法比较靠谱。因为采用人脸检测器检测到的人脸框，往往包含了太多了无关的背景，会对我们的网络有一定的干扰。另一方面，如果直接采用人脸检测器，检测到的人脸有的时候，并不是位于矩形的中心，这样对结果也会有一定的影响。

**四、网络结构及其训练**

OK，到了这里我们就要讲具体的相关实现了。首先我们先做个定义：N1表示为inner point各个特征点的初始位置预测，也就是相当于inner 的level 2。N2表示为contour point点的预测（contour的level 2）。

![Center 11][]

下面是N1的网络结构图，网络的输入是60\*60大小的图片：

![Center 12][]

网络结构方面基本上与传统的CNN模型，差不多，最大的区别在于locally sharing weights，也就是上面的unshared conv层，我们平时所遇到的CNN都是global sharing weights的。但是对于特征点的预测，五官的高层特征差别比较大，所以需要在高层采用unshared weight的方式，在低层采用global sharing weights。

**1、网络训练：**采用随机梯度下降，同时采用图片相似变换（旋转、缩放、平移等），对数据进行扩充，防止过拟合。

**2、数据预处理**：采用数据归一化到：均值为0，方差为1，然后采用hyper-tangent 函数，把数据映射到-1~1之间。还有就是以上各层，在进行图片裁剪的时候，需要稍微大一点点，不然当定位稍微不准的时候，直接采用原比例进行裁剪，会把我们想要的部分也可能给剔除掉。

**六、算法试验**

**1、bounding box level 测试（level 1 到level 2）**

为了快速验证文献的主要思想、创新点，也就是增加bounding box level层，我对《Deep Convolutional Network Cascade for Facial Point Detection》算法进行了改进测试，先测试5个特征点的情况，因为我对文献《Deep Convolutional Network Cascade for Facial Point Detection》之前已经比较熟悉了，而且代码也写过了一遍，所以利用已有的代码，直接测试本篇paper所提出的bounding box level，看看增加bouding box层与直接采用人脸检测器，对各特征点初始位置预测精度能提高多少？

我根据paper的算法，进行人脸特征点定位试验，只测试了5个特征点的预测，比较采用bounding box level和face detector 对5个特征点初始位置预测精度的影响。验证过程：主要是测试bounding box层对精度的影响，paper在验证集上测试误差，然后与直接采用人脸框检测的精度预测结果，对人脸特征点初始预测精度的影响。

**(1)直接采用人脸检测器作为level 1**

直接采用人脸检测器作为level 1，在我的测试集上，损失误差如下：

![Center 13][]

测试过程中，为了简单起见，暂时没有使用unshared weights的、也没有使用fabs层，直接采用face detector 各特征点的预测结果（蓝色的点代表标准点，红色点表示利用网络进行预测的点）：

![Center 14][]

红色的点是预测点，蓝色点是手工标定的点

**(2)采用bounding box estimation作为level 1**

下面是采用bounding box 作为DCNN的level 1，最后测试level 2预测的精度：

![Center 15][]

结论：采用bounding box作为level 1，相比于直接采用人脸检测器作为level 1，人脸五官特征点的初始位置预测，误差可以减少0.02左右,相对精度相当与提高了26%。相关预测效果（蓝色的点代表标准点，红色点表示利用网络进行预测的点）：

![Center 16][] ![Center 17][] ![Center 18][]

精度的提高还是比较明显的。

**2、68个特征点测试（level 2 到level 3）**

因为5个点的训练数据很多，所以上面一开始我才使用5个点的训练数据1w张，作了bounding box level层的测试。最后为了测试68个点的情况，我从ibug网站：

[http://ibug.doc.ic.ac.uk/resources/300-W/][http_ibug.doc.ic.ac.uk_resources_300-W] 下载了68个点的训练数据，总共有3k张，我等穷人只能硬着头皮上，利用3k张做训练测试。而且我比较懒，数据扩充也只用了360度旋转，没有采用镜像，因为镜像数据扩充的时候，各个特征点的序号是要改变的，最讨厌这些小细节了（特别是五官的裁剪，然后预测到特征点后，要重新组合，好心烦），所以干脆不镜像了，因为自己一个人要搞这些小细节，实在是很苦逼，很心烦。最后我也没有使用缩放扩充。（ps：文献使用了旋转、镜像、缩放等数据扩充，而且也不知到用了多少训练数据图片），总之穷人的难处，说多了，都是泪啊，啰嗦了这么多，该继续搬砖了……。

在第一部分，我已经测试了bounding box level 1层对leve2 层精度的影响，因此接着我就直接测试从leve2 到leve3 的粗预测到精定位过程（最后验证，性能跟文献说的差不多，提高了15%左右）。

**（1）鼻子从粗到细**

为了清楚查看从leve2 到leve3 的精度变化我裁剪出鼻子部位的预测结果，进行比较测试（蓝色的点代表标准点，红色点表示利用网络进行预测的点）：

![Center 19][] ![Center 20][]

粗定位 精定位

**试验1**、粗定位&灰度图像：

![Center 21][]

**试验2**、精定位&灰度图像&左右expand大小选择0.3 ，上下expand选择0.1

![Center 22][]

**（2）嘴巴从粗到细**

**试验1**、粗&灰度图像：

![Center 23][]

**试验2**、细&灰度图像：

![Center 24][]

精度反而比粗定位的精度降低了。于是接着我用彩色图像定位嘴巴，得到如下的试验

**试验3**、细&彩色图像：

![Center 25][]

总结：对于嘴巴部位的精度，有可能是训练数据的原因，最后我是采用彩色图像作为网络的输入，提高精度

**（3）右眼眼睛从粗到细**：

**试验1、**粗&灰度图像**：**

![Center 26][]

![Center 27][]

**试验2、**精&灰度图像**：**

**![Center 28][]**

![Center 29][]

（4）左眼从粗到细

**试验1**、粗&灰度图像：

![Center 30][]

![Center 31][]

**试验2**、精&灰度图像：

![Center 32][]

![Center 33][]

**（6）左眉毛从粗到细**

试验1、粗&灰度图像：

![Center 34][]

![Center 35][]

试验2、精&灰度图像：

![Center 36][]

![Center 37][]

（7）51点整体误差

试验1、粗&灰度图像：

![Center 38][]

试验2、精&灰度图像

![Center 39][]

最后结果：

![Center 40][]

左边图是标准的基准点，右边是文献paper算法的最后预测结果。

**参考文献：**

1、《Extensive Facial Landmark Localization with Coarse-to-fine Convolutional Network Cascade》

2、《Face Alignment at 3000 FPS via Regressing Local Binary Features》

3、《Deep Convolutional Network Cascade for Facial Point Detection》

4、[http://ibug.doc.ic.ac.uk/resources/300-W/][http_ibug.doc.ic.ac.uk_resources_300-W]

\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*作者：hjimce 时间：2015.11.29 联系QQ：1393852684 原创文章，转载请保留原文地址、作者等信息\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*

[http_blog.csdn.net_hjimce_article_details_50099115]: http://blog.csdn.net/hjimce/article/details/50099115
[Center]: /images/20211201/57591a051829466fba88b9f514580e2d.png
[Center 1]: /images/20211201/9febdf4dd7494047a3f5b4e6b6c88b12.png
[Center 2]: /images/20211201/9adf6e064c4745bd8c2fb26c9ccc61a6.png
[Center 3]: https://img-blog.csdn.net/20151211194133154?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 4]: /images/20211201/53e3854a7a4f413d97a62245d204fdbe.png
[Center 5]: /images/20211201/f790fddb7d6a4bc880d7b177f54893ba.png
[Center 6]: /images/20211201/83fa16f18b434ae09e8fbca73194b990.png
[Center 7]: /images/20211201/599338e2967f4242a2a8341f1b6f06e6.png
[Center 8]: /images/20211201/e0ad2466093440aa8ec8971ce4d259bd.png
[Center 9]: /images/20211201/0506188e455c4f239600cbd484bffded.png
[Center 10]: /images/20211201/3ca48b1cb421414ba80e76fc8c196add.png
[Center 11]: /images/20211201/4bbae36a4cb944c592f2812b99514c7b.png
[Center 12]: /images/20211201/63f41c931381429893d3d68de5b9da78.png
[Center 13]: /images/20211201/40c4b3d09d4f47deb3129f9e9e92f003.png
[Center 14]: /images/20211201/805f98bfd6df47b9ad2db89cf8d80521.png
[Center 15]: /images/20211201/f6ce8837fde04ce8ad4669150998f607.png
[Center 16]: https://img-blog.csdn.net/20151211200735106?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 17]: https://img-blog.csdn.net/20151211200745132?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 18]: /images/20211201/797d8ddfcbb446caad0a3cebe1cbf8cf.png
[http_ibug.doc.ic.ac.uk_resources_300-W]: http://ibug.doc.ic.ac.uk/resources/300-W/
[Center 19]: https://img-blog.csdn.net/20151211201926931?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 20]: /images/20211201/e7768d8f01d945c2b607213b465913c7.png
[Center 21]: /images/20211201/afad693a51314737bb614029612d41ac.png
[Center 22]: /images/20211201/ac859faf1773449cb2b01535b6a52d9a.png
[Center 23]: /images/20211201/56bbd2da30bd44fab2c32ab6421aea1b.png
[Center 24]: /images/20211201/7842613c8c8349779d08a11261582611.png
[Center 25]: /images/20211201/ff323ee613f24dc89a7804fac1dd2518.png
[Center 26]: /images/20211201/cee04d7299854bbea3de190a4c9024ad.png
[Center 27]: /images/20211201/8cba5b0342a74b04a0452b03402fcf39.png
[Center 28]: /images/20211201/46e62d13c4f441319afb4fb303d30806.png
[Center 29]: /images/20211201/b8e38f4db07a40a19fb3f3091ce88c39.png
[Center 30]: /images/20211201/26bc7636a40e429cb059112a994eca0b.png
[Center 31]: /images/20211201/3a65ef9999a049ecb440ab3a3e37970c.png
[Center 32]: /images/20211201/76d8bf9413224a9fb428dcfaa1fc68e4.png
[Center 33]: /images/20211201/717d9387b18f438ea9e8aeb6f548f558.png
[Center 34]: /images/20211201/3b63c7e9d4594cf6950d8aa12fad2793.png
[Center 35]: /images/20211201/1fed0a8c2d3b4dedaabc4be8684101bf.png
[Center 36]: /images/20211201/42bec3333ca8422089ba7bf755456b0d.png
[Center 37]: /images/20211201/ac4d6dcbab374330bc830907469c365b.png
[Center 38]: /images/20211201/9da94967da0a47538144b7bbb2661e2a.png
[Center 39]: /images/20211201/2dcbc004539e4c58a96bef181835c7ff.png
[Center 40]: /images/20211201/3c17722a79f84091ac71dda1cb64fdf4.png