MobileNet实战：基于 MobileNet 的人脸微表情分类（Caffe）

小咪咪 2023-06-24 08:19 11阅读 0赞

# MobileNet实战：基于 MobileNet 的人脸微表情分类（Caffe） #

这一部分内容总共由下面四篇文章组成：

*  [MobileNet 进化史： 从 V1 到 V3（V1篇）][MobileNet _ _ V1 _ V3_V1]
 *  [MobileNet 进化史： 从 V1 到 V3（V2篇）][MobileNet _ _ V1 _ V3_V2]
 *  [MobileNet 进化史： 从 V1 到 V3（V3篇）][MobileNet _ _ V1 _ V3_V3]
 *  [MobileNet实战：基于 MobileNet 的人脸表情分类][MobileNet_ MobileNet]

## 1. 前言 ##

前面我们已经简要介绍了 MobileNet 的版本演进，这一篇我们将利用 MobileNet 来完成一个简单的人脸微表情分类项目。说的更具体一点这里用嘴唇来区分不同的为表情，也就是根据嘴型来做分类———无表情，微笑，大笑和嘟嘴，这四类微表情。

如果说这个项目是在探讨如何进行表情分类，显然是不合格的。这里只是举一个实战的例子，依附这个例子来说明是如何一步步思考的，因此也完全可以换成其他的任务。另外这里用的是 mobilenet V1，主要是 V1 可以找到比较齐全的资料，比如训练网络，部署网络，预训练好的参数等。

本文的人脸微表情分类项目来源于 言有三 的 《深度学习之图像识别》一书，在此基础上进行了补充和完善。本文中的所有代码都可以在 [github][] 中获取。

## 2. 数据集 ##

人脸相关的开源数据集很多，关于表情识别的也有一些，比如 GENKI 等。如果没有合适的也可以自己录或者爬，这里关于数据的搜集就不多说了。

下面我讲一下图片的特征的提取，因为我们做的是基于嘴唇的微表情（也可以理解为就是嘴唇）的分类任务，所以我们需要从人脸图片中提取出嘴唇这个局部特征。这里基于 opencv 来做这个任务，opencv 中至少有两个方法可以做这个任务。

*  用 haarcascade\_smile 模型来检查，但是这个效果不是太好
 *  用 Dlib 关键点检查，找到嘴唇的标记点，用一个矩形画出 bounding box, 最后将这个 bbox 放大  λ \\lambda λ 倍（这里用的 1.5 ），进行裁剪得到最后的样本。

这里采用第二种方法，完整的代码可以参考 [github][]。下图中黄色是检测到的嘴部的 ROI，绿色是最后放大 1.5 倍后的 ROI。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70][]

通过这种办法，最后得到的 ROI 的图片大概都在 100x100 左右，四类表情，总共 15106 张图片。然后选取 10%（1510 张） 作为测试集。

另外 caffe 提供的图像均值计算工具都是针对 lmdb 格式的数据的，如果我们直接采用 list 的形式输入的话，就需要自己写代码计算了。shuffle 数据，分割训练和测试集，以及计算图片均值的代码都可以在上面的 github 中找到。

## 3. 模型设计 ##

这里主要是为了熟悉 MobileNet，所以模型选择上没有什么好说的，就是 MobileNet。但是我们看一下 MobileNet 的网络结构，从 V1 到 V3 都是输入  224 ∗ 224 224\*224 224∗224 的图片，最后得到  7 ∗ 7 7\*7 7∗7 的 feature，也就是说 MobileNet 模型的  s t r i d e = 224 / 7 = 32 stride = 224/7 = 32 stride=224/7=32，而我们得到的图片大小在  100 ∗ 100 100\*100 100∗100 左右，假设我们的图片大小为  96 ∗ 96 96\*96 96∗96（因为96是32的倍数），那么我们做后的 feature size 为  3 ∗ 3 3\*3 3∗3，显然这也太小了，而且我们这里的分类也比较简单，所以最后综合考虑，只借用 MobileNet conv5\_5 及之前的结构，这样最后得到的 feature size 为  6 ∗ 6 6\*6 6∗6，与原网络比较接近。当然直接从全局来修改模型也是可以的，但是显然采取截取的方法更为简单。

另外为了得到比较好的结果，我们可以采用已经在 ImageNet 上训练好的权重来初始化我们的网络，也就是所谓的迁移学习。其实这个背后就是把已经训练好的权重 copy 到我们新的网络上来，然后接着跑，而 copy 的原则就是根据 layer 的名字，所以在我们的网络中从 data 层开始到 conv5\_5 保持不变就可以了，但是从  c o n v 5 5 conv5\_5 conv55 之后我们需要重新命名。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 1][]

## 4. 数据增强 ##

我们实际输入模型的图片大小在上面已经确定了，就是  96 ∗ 96 96\*96 96∗96，但是我们经常会采用图片裁剪的方式来对数据进行增强，借鉴很多做法是从256裁剪到224,这里我们把所有的图片 resize 到  128 ∗ 128 128\*128 128∗128，然后再裁剪到  96 ∗ 96 96\*96 96∗96，最后输入模型。另外可以用 [caffe-augmentation][] 这个版本的 caffe，里面有更多的增强设置。

## 5. 训练 ##

训练的时候我们需要保存好 log，方便后面可视化训练结果。下面是我训练后得到的 loss 和 acc 的数据所绘制的图形，从图中可以看到，训练到 3000次迭代时就已经基本稳定了，所以对于分类任务，一般是建议训练10个左右的 epoch 就可以了。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 2][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 3][]

## 6. 测试 ##

前面我们已经划分了训练集和测试集，具体代码可以参考github。

[MobileNet _ _ V1 _ V3_V1]: https://blog.csdn.net/kuweicai/article/details/103267230
[MobileNet _ _ V1 _ V3_V2]: https://blog.csdn.net/kuweicai/article/details/103267281
[MobileNet _ _ V1 _ V3_V3]: https://blog.csdn.net/kuweicai/article/details/103267389
[MobileNet_ MobileNet]: https://blog.csdn.net/kuweicai/article/details/103649065
[github]: https://github.com/kuweicai/face-expression-classification.git
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191221220728200.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191221220751313.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp,size_16,color_FFFFFF,t_70
[caffe-augmentation]: https://github.com/twtygqyy/caffe-augmentation
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20191221220814869.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20191221220841927.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1d2VpY2Fp,size_16,color_FFFFFF,t_70