【CVPR2018】MobileFaceNets Efficient CNNs for Accurate RealTime Face Verification on Mobile Devices

痛定思痛。 2023-06-24 04:57 0阅读 0赞

*  作者

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0NDczNjk_size_16_color_FFFFFF_t_70][]

*  摘要

本文提出一类高效CNN模型MobileFaceNets，参数量小于100w，识别适合手机和嵌入式设备，进行实时准确的人脸验证。首先简单分析通用mobile网络对人人脸验证的缺陷，并且MobileFaceNets能够克服该缺陷。同样实验条件下，MobileFaceNets获得优秀性能，速度为MobileNetV2的两倍。用ArcFace loss在refined MS-Celeb-1M训练后，单个4M的 MobileFaceNet在LFW上99.55%，比肩sota百兆CNN模型。最快的MobileFaceNet模型在手机上推理时间为18ms。

*  介绍

人脸验证有重要应用价值，现有大的CNN模型不适用于手机，通用mobile模型又不适用于人脸验证。本文贡献：

1.  在人脸特征embedding的最后一个CNN层（非全局），使用一个全局的depthwise卷积层，替代全局平均持化层，或者全连接层，输出特征向量；
2.  设计一类人脸特征embedding CNNs，命名为MobileFaceNets；
3.  性能获取SOTA；

*  方法详情

我们使用ArcFace loss训练所有人脸验证模型，在公开数据集上获得实验结果。

1.  通用Mobile网络缺陷

在MobileNetV1、ShuffleNet、MobileNetV2等通用小网络，都用到全局平均池化层。对于人脸识别和验证，有实验表明该层造成准确率更低。但没有理论推理验证，再次我们根据感受野进行简单分析。

一个标准的人脸验证流程包括：人脸图像预处理、训模型提特征、计算两幅人脸的特征距离。我们使用MTCNN(Zhang, K., Zhang, Z., Li, Z., Qiao, Y.: Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks. IEEE Signal Proc. Let., 23(10):1499–1503, 2016. )检测人脸，然后对齐人脸，然后resize到112\*112，RGB图像归一化（逐像素减127.6，在除以128），如下图。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0NDczNjk_size_16_color_FFFFFF_t_70 1][]

除去loss，我们使用MobileNetV2作为人脸embedding CNN，为了保持原始的224\*224输入，第一个卷积层的stride从1变2，定义最后一个卷积层的7\*7输出为FMap-end。理论上FMap-end的中心单元和角落单元的感受野相同，但他们在输入图像的不同位置。\[24\]提出感受野中心的像素对输出影响更大，影响符合高斯分布，因此有效的感受野实际上更小。当输入图像已经对齐，角落单元携带更少的信息。因此不同单元对于特征向量的重要性不同。

MobileNetV2的FMap-end是62720，维度太高，然后使用全局平均池化层降维生成特征向量。Table2显示性能降低。因为他对每个单元都相同对待。

用全连接层替换全局平均池化层，会增加大量参数。即使特征向量为128维，全连接层会带来8million参数。

1.  Global Depthwise Convolution

为了区别对待FMap-end的不同单元，我们提出全局深度卷积层GDConv，kernel size与输入相同，pad为0，stride为1。

![20191220181652490.png][]

F是输入特征图W\*H\*M，K是深度卷积核W\*H\*M，G是输出1\*1\*M，G的第m个通道只有一个元素。计算复杂度W\*H\*M。MobileNetV2用GDConv将7\*7\*1280转为1280维，需要62720个参数。实验表明性能有提升。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0NDczNjk_size_16_color_FFFFFF_t_70 2][]

1.  MobileFaceNet Architectures

我们用了MobileNetV2的residual bottlenecks，具体结构如下表。Expansion factors比MobileNetV2小得多。使用PReLU，有轻微优势。此外，在网络开头使用快速降采样，在最后几个卷积层使用一个较早的降维策略，一个线性1\*1卷积层接在一个线性GDconv后。训练使用BN。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0NDczNjk_size_16_color_FFFFFF_t_70 3][]

MobileNetV2如下图

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0NDczNjk_size_16_color_FFFFFF_t_70 4][]

我们进一步缩小输入到96\*96，并移除最后一个1\*1卷积层，当做MobileFaceNet-M。再移除GDConv前的1\*1卷积层，当做MobileFaceNet-S。

*  实验结果

1.  训练设置和准确率

weight decay为4e-5，SGD，momentum为0.9，batchsize为512，学习率从0.1开始，分别在3.6w、5.2w、5.8w降10倍。6w训完。

1.  MegaFace挑战1 的评价

略

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0NDczNjk_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191220181652442.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0NDczNjk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0NDczNjk_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191220181652488.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0NDczNjk=,size_16,color_FFFFFF,t_70
[20191220181652490.png]: https://img-blog.csdnimg.cn/20191220181652490.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0NDczNjk_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20191220181647515.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0NDczNjk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0NDczNjk_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20191220181648966.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0NDczNjk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0NDczNjk_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20191220181652592.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0NDczNjk=,size_16,color_FFFFFF,t_70