Directional Illumination Estimation Sets and Multilevel Matching Metric for Illumination-Robust Face

以你之姓@ 2022-12-10 10:28 205阅读 0赞

### 摘要 ###

如何提高复杂光照条件下人脸识别的性能是一个具有挑战性的课题。基于光照估计的光照不变提取技术被广泛用于缓解光照变化对人脸识别的不利影响。现有的方法大多仅利用光照特性缓慢变化来实现光照估计，导致在光照条件复杂的情况下，光照估计和光照不变量提取不准确。为了缓解这个问题,根据Lambertian反射模型,我们提出一个创新的照明估计方法从面部图像提取方向照明不变集。方向光照不变量集不仅能更好地保存人脸的基本特征，还能在很大程度上减少快速光变化带来的不利影响。此外,我们提出一个多层次匹配指标类别抚慰阳离子通过内积测量和残余匹配。在Yale BC、CAS-PEAL-R1、control和AR人脸数据库上的实验结果验证了该方法能有效提高复杂光照条件下人脸识别的准确性。

### 1 引言 ###

近年来,人脸识别,作为一个计算机视觉和模式识别领域的重要的研究课题,取得了重大进步。然而，由于面部姿态变化、表情变化和光照变化等因素的影响，人脸识别在实际应用中仍面临着一些难题。光照变化是人脸识别的常见因素，严重影响了人脸识别的性能，限制了人脸识别\[1\]、\[2\]的实际应用。为了提高复杂光照条件下人脸识别的准确性，人们提出了许多有效的方法。这些方法可以分为三类，即基于稀疏表示的类、基于深度学习的类和基于光照不变提取的类。两个稀疏表示为基础的方法\[3\]\[6\]\[7\]和基于深度学习方法\[10\]通常获得更高的识别利用大量训练样本的准确性。这些方法通过增加训练样本的数量，提高了复杂光照条件下人脸识别的性能，但本质上并没有缓解复杂光照对人脸识别的不利影响。因此，当训练样本不完整时，它们就不能很好地工作，这在一定程度上限制了它们的实际应用。基于光照不变提取的方法通过提取光照不敏感的特征来降低光照变化对人脸识别的影响，使得该方法在单样本和多样本的训练下都取得了良好的人脸识别性能。本文主要研究在复杂光照条件下人脸识别的光照不变量提取问题。  
  基于光照不变性提取的方法本质上是将人脸图像作为高频和低频信息的混合物，其中高频信息对应人脸的光照不变性，低频信息对应图像的光照。也就是说，这类方法假设图像的光照变化缓慢，光照不变量变化迅速。这些方法可以分为两类。一类直接从人脸图像提取高频信息获得光照不变量,如基于小波方法\[11\] \[14\], 基于轮廓波的方法\[15\],\[16\],基于Gabor的方法\[17\]-\[19\],基于梯度的方法\[20\]- \[22\],基于Weber的方法\[23\],\[24\],基于视网膜建模的方法\[25\]-\[27\]和基于纹理的方法\[28\]-\[31\]。另一类通过光照估计间接获得光照不变量，如多尺度retinex (MSR)\[32\]、Gross and Brajovie (GB)\[33\]、自商图像(SQI)\[34\]和对数总变差(LTV)\[35\]、\[36\]。尽管现有的方法已经取得了很大的进展在复杂光照条件下的人脸识别,他们仍有一些局限性:1)只提取高频信息作为人脸的光照不变量不恰当，也不科学。因为人脸的光照反射特征不仅包括高频信息,还包括低频信息。例如,像眼睛,眉毛和皮肤等区域的光照反射也有许多低频率特征。图1为正常光照条件下的一幅人脸图像及其傅里叶光谱。从图中可以看出，人脸图像在各个频段都有强烈的信号。此外，直接光照不变量提取方法只能得到某一频率段的高频信息，而这些不充分的信息会极大影响复杂光照下人脸光照不变特征提取的性能.2)另一个限制是在复杂光照条件下，人脸图像的光照从严格意义上来说并不是缓慢变化的光照，因为在采集面部图像时，经常会出现光遮挡现象。此外,许多现有的间接光照不变量提取方法通过低通滤波器或平滑滤波器来估计照明,这很难满足人脸成像模型和复杂的照明条件。这些方法只能获得一个原始人脸图像的模糊版本，这与人脸图像的实际照明几乎没有关系\[37\]。上面的限制使现有基于光照不变量提取方法无法获得满意的光照不变量,这限制了他们的表现在复杂光照条件下的人脸识别。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center]  
  为了克服上述局限性，提高复杂光照条件下人脸识别的性能，本文提出了一种通过方向光照估计提取方向光照不变集的算法。该集合大大减少了阴影边缘的假轮廓，并包含了更多的面部特征。此外,向量内积的基础上测量和残余匹配,我们提出一个多层次匹配度量模型类别抚慰阳离子。在几个典型的复杂光照人脸数据库上进行了一系列实验。实验结果表明，该方法能较好地缓解光照变化对人脸识别的不利影响。

### 2 相关工作 ###

##### A 人脸成像模型 #####

面部图像是成像设备接受到的由人脸反射的光照强度的测量。人脸成像模型描述光照、面部光线反射特征和面部图像间的数值关系。有一些经典的光照反射模型,如Lambertain、Blinn-Phog和 Oren-Nayar。其中，Lambertain反射模型是一个理想的扩散反射模型,代表光成像目标在各个方向有相同的反射特征。由于人脸的光照反射特征非常接近理想的扩散反射模型,Lambert模型在人脸识别领域通常是用作人脸成像模型\[13\],\[20\],\[32\],\[34\],\[35\]。根据简单Lambertain反射模型,人脸图像F可以表示为  
![在这里插入图片描述][20200925202639733.png_pic_center]  
其中I表示照射到人脸的光的强度，它在不同的光照条件下会发生变化。R表示人脸的光照反射，光照变化时R是不变的，称为光照不变量。图2显示了五个不同照明条件下的人脸图像。从图中,我们可以观察到在面部图像有着极大的差异,这将严重影响人脸识别的准确性\[1\],\[2\]。  
![在这里插入图片描述][20200925202918156.png_pic_center]

##### B 光照不变性 #####

式1的Lambertain反射模型表明,从面部图像准确地提取光照不变量是一个不适定问题。在过去，从人脸图像中提取光照不变量的方法主要有两种。其中一种方法是通过提取高频信息来估计光照不变量。另一种方案是先估计光照,然后提取光照不变量：  
![在这里插入图片描述][20200925203702164.png_pic_center]  
由于不同人脸的光照反射特征复杂且有很大不同,很难通过直接从一张人脸图像中提取特定带宽的高频信息来获得完整的光照不变特征。然而,与光照不变量相比,面部图像的光照有更确切的特征，也就是说它通常变化缓慢。此外,人脸成像符合朗伯反射模型,光照反射的数值范围在0和1之间。在这种情况下，通过光照估计间接提取光照不变量比直接提取光照不变量更合理可行。因此，在本文中，我们重点研究了间接光照不变量的提取，并提出了一种根据人脸成像模型和光线缓慢变化的特征获取方向光照估计集的算法。该方法能够在复杂光照条件下从人脸图像中提取出更强的鲁棒性和更全面的光照不变性。

##### C 向量内积衡量 #####

假设U=\[u1,u2,…un\]和V=\[v1,v2,…vn\]是有n个元素的一维行向量，它们的内积可以表示为  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 1]  
其中θ是向量U和V之间的夹角。从向量内积的定义可以观察到,如果两个向量都是标准单位向量，那么内积值的夹角有关。内积值越大，表示两个向量的角度越小，相似度越高。基于向量内积的特点,我们构建一个多层次匹配度量分类模型。

### 3 方向照明估计集 ###

##### A 初始方向照明估计集 #####

由人脸成像模型,面部光照的数值范围和缓慢变化的光照特征，我们可以推断照明强度的面部图像的所有像素F在正常光照条件下(例如,表面光源没有遮光)是相同的。即光照强度的F的值应该是一样的像素,其光照反射率是1,和F最大值接近。然而,在实际图像采集环境点光源和遮光(复杂光照条件)是普遍现象。在复杂光照条件下照明强度I (x,y)通常在边缘变化快，其他区域变化慢。在这种情况下，对于人脸图像F的点(x,y)，相邻像素的最大像素强度比其他强度值更接近其真实光照I (x,y)。大多数现有的方法,经常使用各种平滑滤波器来估计照明，只能满足照明的缓慢变化特征。它们的照度估计结果不仅不符合人脸成像模型，而且与人脸图像的真实照度也没有关系。  
  尽管实验结果\[37\]证明了局部最大值滤波器可以有效地估计照明并极大地提高在复杂光照条件下人脸识别的性能,但仍然有两个局限性。一个限制是,通过局部最大值滤波器估计光照会使得边缘的光照大于真实值，因为b边缘的光照变化不再是缓慢的。这将在随后的光照不变提取中在光块的边缘产生假轮廓。另一个限制是光照估计的准确性也受到的邻域像素的最大光照反射影响。即，对一个像素点，邻域的最大光照反射接近于1,并且通过局部最大值估计的照明更接近该点的真实照明。因为面部图像的光照在阴影边缘变化迅速，在其他区域变化缓慢，滤波器的邻域不能太大。因此,在本文中，邻域的规模是设置为3×3。此外，为了克服上述局限性，我们提出了利用方向邻域滤波的方向性最大滤波来得到人脸图像的初始方向光照估计集。对于点(x,y)，考虑人脸图像F的九个方向邻域并标记为 D s i , i = 0 , . . . 8 D^i\_s,i=0,...8 Dsi,i=0,...8，其中S为邻域尺度，i为方向索引。图3展示了某些点的3×3方向邻域。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 2]  
相应的初始照明评估集F被定义为  
![在这里插入图片描述][2020092610102830.png_pic_center]  
图4(a)和图4(b)分别为人脸图像和对应的初始方向光照估计集和光照不变集。从图4(b)可以看出，初始方向光照估计集得到的初始方向光照不变量可以有效缓解光照差异的影响，保留更全面的面部特征。

##### B 遮光校正 #####

虽然通过方向最大滤波器获得的最初的方向照明评估集能满足人脸成像模型和不同的面部区域的反射特点,但仍然存在未解决的问题。问题是由于在遮光边缘位置的邻域内，光照快速变化，通过方向最大滤波器估计方向照明强度往往大于实际照明强度。这可能导致提取的光照不变量往往偏小，在阴影边缘产生虚假轮廓(见图4 (b))。为了解决这一问题，我们提出了一种基于光照变化率和初始方向光照估计集信息融合的光遮挡校正模型。初始方向照明估计集 I D S i 1 I^1\_\{D^i\_S\} IDSi1的光遮挡校正模型被定义为  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 3]  
其中 I D S i 2 I^2\_\{D^i\_S\} IDSi2是 I D S i 1 I^1\_\{D^i\_S\} IDSi1遮光矫正的结果， B D S i B\_\{D\_S^i\} BDSi代表 I D S i 1 I^1\_\{D^i\_S\} IDSi1克服遮光的的光照矫正， A D S i A\_\{D\_S^i\} ADSi表示光照变化率， m \_ A D S i m\\\_A\_\{D\_S^i\} m\_ADSi是 A D S i A\_\{D\_S^i\} ADSi的最大值， A D S i ⋅ A^·\_\{D\_S^i\} ADSi⋅代表归一化的光照变化率。第一行和第二行图4 ©分别是纠正照明估计和光照不变集。从图4©中可以看出，经过校正的光照估计集提取的方向光照不变集可以很大程度上减少光遮挡边缘的假轮廓。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 4]

## sumimasen ##

##### C 照明平滑修正 #####

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/da408e11d35b48bcbbef8497fb87590e.png
[20200925202639733.png_pic_center]: /images/20221123/01102274f6e74d14b68390c230c6ce23.png
[20200925202918156.png_pic_center]: /images/20221123/f3ecfc01919c4f01915cab72fee7d722.png
[20200925203702164.png_pic_center]: /images/20221123/b50661f56eaf41f8bd9d1ed561c5aaf0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/a773d446aa4844afab4210f8989dae7e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/4df10f899fa9488e93342b7cf741a09e.png
[2020092610102830.png_pic_center]: /images/20221123/76fec49b07ae427a80274fab7d21024d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/439b92d298404095ae5567dac9ec1439.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/436190162eac45e99158894f5a9094d5.png