人脸识别经典算法二：LBP方法

雨点打透心脏的1/2处 2022-06-17 10:45 205阅读 0赞

与[第一篇博文特征脸方法][Link 1]不同，LBP（Local Binary Patterns，局部二值模式）是提取局部特征作为判别依据的。LBP方法显著的优点是对光照不敏感，但是依然没有解决姿态和表情的问题。不过相比于特征脸方法，LBP的识别率已经有了很大的提升。在\[1\]的文章里，有些人脸库的识别率已经达到了98%+。

**1、LBP特征提取**

最初的LBP是定义在像素3x3邻域内的，以邻域中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3x3邻域内的8个点经比较可产生8位二进制数（通常转换为十进制数即LBP码，共256种），即得到该邻域中心像素点的LBP值，并用这个值来反映该区域的纹理信息。如下图所示：

![20140409100451171][]

用比较正式的公式来定义的话：

![20140409102028328][]

其中![20140409102051484][]代表3x3邻域的中心元素，它的像素值为ic，ip代表邻域内其他像素的值。s(x)是符号函数，定义如下：

![20140409102057984][]

**LBP的改进版本**

**（1）圆形LBP算子**

基本的 LBP算子的最大缺陷在于它只覆盖了一个固定半径范围内的小区域，这显然不能满足不同尺寸和频率纹理的需要。为了适应不同尺度的纹理特征，并达到灰度和旋转不变性的要求，Ojala等对 LBP 算子进行了改进，将 3×3邻域扩展到任意邻域，并用圆形邻域代替了正方形邻域，改进后的 LBP 算子允许在半径为 R 的圆形邻域内有任意多个像素点。从而得到了诸如半径为R的圆形区域内含有P个采样点的LBP算子。比如下图定了一个5x5的邻域：

![20140409101523156][]

上图内有八个黑色的采样点，每个采样点的值可以通过下式计算：

![20140409102819171][]

其中![20140409102904234][]为邻域中心点，![20140409102917984][]为某个采样点。通过上式可以计算任意个采样点的坐标，但是计算得到的坐标未必完全是整数，所以可以通过双线性插值来得到该采样点的像素值：

![20140409103242671][]

**（2）LBP等价模式**

一个LBP算子可以产生不同的二进制模式，对于半径为R的圆形区域内含有P个采样点的LBP算子将会产生2^P种模式。很显然，随着邻域集内采样点数的增加，二进制模式的种类是急剧增加的。例如：5×5邻域内20个采样点，有220＝1,048,576种二进制模式。如此多的二值模式无论对于纹理的提取还是对于纹理的识别、分类及信息的存取都是不利的。同时，过多的模式种类对于纹理的表达是不利的。例如，将LBP算子用于纹理分类或人脸识别时，常采用LBP模式的统计直方图来表达图像的信息，而较多的模式种类将使得数据量过大，且直方图过于稀疏。因此，需要对原始的LBP模式进行降维，使得数据量减少的情况下能最好的代表图像的信息。

为了解决二进制模式过多的问题，提高统计性，Ojala提出了采用一种“等价模式”（Uniform Pattern）来对LBP算子的模式种类进行降维。Ojala等认为，在实际图像中，绝大多数LBP模式最多只包含两次从1到0或从0到1的跳变。因此，Ojala将“等价模式”定义为：当某个LBP所对应的循环二进制数从0到1或从1到0最多有两次跳变时，该LBP所对应的二进制就称为一个等价模式类。如00000000（0次跳变），00000111（只含一次从0到1的跳变），10001111（先由1跳到0，再由0跳到1，共两次跳变）都是等价模式类。除等价模式类以外的模式都归为另一类，称为混合模式类，例如10010111（共四次跳变）。比如下图给出了几种等价模式的示意图。

![20140409104010500][]

通过这样的改进，二进制模式的种类大大减少，而不会丢失任何信息。模式数量由原来的2P种减少为 P ( P-1)+2种，其中P表示邻域集内的采样点数。对于3×3邻域内8个采样点来说，二进制模式由原始的256种减少为58种，这使得特征向量的维数更少，并且可以减少高频噪声带来的影响。这几段摘自\[2\]。

通过上述方法，每个像素都会根据邻域信息得到一个LBP值，如果以图像的形式显示出来可以得到下图，明显LBP对光照有较强的鲁棒性。

![20140409104518703][]

**2、LBP特征匹配**

如果将以上得到的LBP值直接用于人脸识别，其实和不提取LBP特征没什么区别，会造成计算量准确率等一系列问题。文献\[1\]中，将一副人脸图像分为7x7的子区域（如下图），并在子区域内根据LBP值统计其直方图，以直方图作为其判别特征。这样做的好处是在一定范围内避免图像没完全对准的情况，同时也对LBP特征做了降维处理。

![20140409105549078][]

对于得到的直方图特征，有多种方法可以判别其相似性，假设已知人脸直方图为Mi，待匹配人脸直方图为Si，那么可以通过:

(1)直方图交叉核方法

![20140409110315812][]

该方法的介绍在博文：[Histogram intersection(直方图交叉核,Pyramid Match Kernel)][Histogram intersection_Pyramid Match Kernel]

(2)卡方统计方法

![20140409110426046][]

该方法的介绍在博文：[卡方检验（Chi square statistic）][Chi square statistic]

参考文献：

\[1\]Timo Ahonen, Abdenour Hadid：Face Recognition with Local Binary Patterns

\[2\]目标检测的图像特征提取之（二）LBP特征

[Link 1]: http://blog.csdn.net/smartempire/article/details/21406005
[20140409100451171]: /images/20220617/69151faed06f44cf8d64470816850c55.png
[20140409102028328]: /images/20220617/99d45c8680754d328fa8fa54aa821958.png
[20140409102051484]: /images/20220617/4d6c532bb18b461cb2cbd963a0ef4e1d.png
[20140409102057984]: /images/20220617/bbf9b9462e34428997d10b6ca57f942d.png
[20140409101523156]: /images/20220617/58a664f25d5d445bab2c743d7fb2edf6.png
[20140409102819171]: /images/20220617/c507f310a7654b9b8670a7c4ce693871.png
[20140409102904234]: https://img-blog.csdn.net/20140409102904234
[20140409102917984]: /images/20220617/9dbaeebe859c4a299f787e2775fe22dc.png
[20140409103242671]: /images/20220617/0efec19d269340718a2b1f51953f91cf.png
[20140409104010500]: /images/20220617/1e5ad7679b8145deb72333617a875264.png
[20140409104518703]: /images/20220617/a7b5c045d9a348998d8d622a9865f64b.png
[20140409105549078]: /images/20220617/e2bbd8d9cffb4a77afa5daaa187dec38.png
[20140409110315812]: /images/20220617/d5410dcf430b4a37a54bbfa2d859380a.png
[Histogram intersection_Pyramid Match Kernel]: http://blog.csdn.net/smartempire/article/details/23168945
[20140409110426046]: /images/20220617/094b06fe819a4fe181112a9952115845.png
[Chi square statistic]: http://blog.csdn.net/smartempire/article/details/23203183