眼球中心定位跟踪算法—eyelike

小灰灰 2022-05-27 07:28 130阅读 0赞

# 项目介绍 #

人眼中心定位是一个用于眼部追踪的算法，它来源于github中[eyelike][]项目，C++语言实现，依赖OpenCV库。  
关于代码的编译，作者提供了CMakeLists.txt文件，同时支持Windows，Linux和Mac OS X。  
该项目只实现了简单的2维眼球跟踪功能，没有3维信息，也没有视线跟踪和估计功能。  
作者提供了另一个博客链接[Simple, accurate eye center tracking in OpenCV][Simple_ accurate eye center tracking in OpenCV]，其中有一段演示视频，可以看到跟踪效果。  
项目主要的算法来源于剑桥大学的一篇文章：[《Accurate eye centre localisation by means of gradients》][Accurate eye centre localisation by means of gradients]。

--------------------

# 算法介绍 #

该项目从网络摄像头读取视频，进行人脸检测，再根据检测到的人脸图像截取左眼和右眼的ROI区域，最后根据截取到的ROI进行眼球中心检测与跟踪。所以算法的主要包含三个部分：人脸检测，ROI截取，眼球中心定位。

## 人脸检测 ##

这里面用的人脸检测方法就是OpenCV中集成好的[级联分类器][Link 1]，这是一种非常古老的人脸检测方法，利用Haar特征或[LBP特征][LBP]训练多个弱分类模型，组成最终的分类器，进行人脸检测。  
OpenCV中提供了多个已经训练好的模型，考虑到侧脸的情况下左右眼将出现遮挡，所以在项目中目前只用到了正面脸检测。

--------------------

## 眼部ROI截取 ##

得到整个人脸图像后，截取出左右眼部区域的ROI图像，这个截取过程就是简单的根据先验知识，对于如下的一张人脸图像（注：该图片来源于[互联网][Link 2]）：  
![这里写图片描述][70]  
![这里写图片描述][70 1]  
那么，左右眼的区域大小和位置大概是固定的，整幅图像的长宽分别为wI  w I ，hI  h I 。眼部区域的长宽为wE  w E ，hE  h E ，则有：

wE=35100wI  w E = 35 100 w I

hE=30100hI  h E = 30 100 h I

对于左右眼ROI图像左上角像素点位置：

yL=yR=25100hI  y L = y R = 25 100 h I

xL=13100wI  x L = 13 100 w I

xR=wI−wE−13100wI  x R = w I − w E − 13 100 w I

--------------------

## 眼球中心定位 ##

现在截取出了眼部ROI图像，就到了之前提到的那个论文的方法了，[《Accurate eye centre localisation by means of gradients》][Accurate eye centre localisation by means of gradients]。其实它用到的方法很好理解，一副图像，每个像素点都可以计算出梯度，而梯度包含了幅值和方向。对于眼部图像而言，越是靠近眼球中心的位置，灰度值就越低，就会有更多的梯度方向的连线交于那个点。  
![这里写图片描述][70 2]  
所以，中心位置的确定，就是在找梯度方向上的直线相交最多的那个点。

--------------------

## 补充 ##

除了眼球定位，这个项目还做了眼睑的定位，是在眼球中心位置与眼部ROI区域确定后，增加了简单的后处理，我没有把这个作为重点。

--------------------

## 性能评价 ##

最后，根据梯度方向的眼球定位算法在某些方面还是有可取之处的。它很简单，非常容易理解，然后没有使用边缘之类的纹理特征，这使得在较低分辨率的图像和视频下也能做到定位，因为即便是分辨率很低，起码梯度的特征相比边缘的特征，受到的影响更小，算法在这方面的鲁棒性很好。但是它毕竟是一种基于纹理特征的定位算法，这意味着，当眼部图像的纹理受到外部影响而改变时，算法的定位效果会变得很差。比如我测试的图像是一款头戴式设备采集到的，里面为了照明增加了光源，光源反射到眼球位置后出现了亮点，而这个亮点的存在改变了眼部原来的纹理特征。

--------------------

# 实验效果 #

## 人脸检测 ##

![这里写图片描述][70 3]

## 眼球定位 ##

![这里写图片描述][70 4]

# 源码下载 #

当然可以直接到github地址下载[eyelike][]啦。  
同时，我调通了Windows在VS2010版本，依赖OpenCV2.4.11，[点击][Link 3]下载。

[eyelike]: https://github.com/trishume/eyeLike
[Simple_ accurate eye center tracking in OpenCV]: http://thume.ca/projects/2012/11/04/simple-accurate-eye-center-tracking-in-opencv/
[Accurate eye centre localisation by means of gradients]: http://pdfs.semanticscholar.org/c931/1a0c5045d86a617bd05a5cc269f44e81508d.pdf
[Link 1]: https://blog.csdn.net/chaipp0607/article/details/54234663
[LBP]: https://blog.csdn.net/chaipp0607/article/details/78161986
[Link 2]: http://www.huitu.com/photo/show/20160813/211835176400.html
[70]: /images/20220527/eb9775547e104f96992fcaf438560bdc.png
[70 1]: /images/20220527/50f8470710e445f495f34b136e291437.png
[70 2]: /images/20220527/adcc8ec4af1947979c4233e9ca005ded.png
[70 3]: /images/20220527/a95350288386474cac08e2c16ad6c05f.png
[70 4]: /images/20220527/35c67b1330884547b33749421232483b.png
[Link 3]: https://download.csdn.net/download/chaipp0607/10348903