CN101984453B

CN101984453B - 一种人眼识别系统及方法

Info

Publication number: CN101984453B
Application number: CN201010531501.4A
Authority: CN
Inventors: 王上飞; 吕彦鹏; 彭鹏
Original assignee: University of Science and Technology of China USTC
Current assignee: University of Science and Technology of China USTC
Priority date: 2010-11-02
Filing date: 2010-11-02
Publication date: 2013-05-08
Anticipated expiration: 2030-11-02
Also published as: CN101984453A

Abstract

本发明公开了一种人眼识别系统及方法，所述系统包括：人眼待测区域识别模块，用于从人脸区域上划取左眼和右眼待检测区域；人眼检测模块，用于从左眼和右眼待检测区域检测出左眼和右眼目标区域；人眼权值识别模块，用于通过对左眼和右眼目标区域进行权值计算得到人眼区域，所述权值包括左右眼的大小接近程度、左右眼区域边长与左右眼瞳孔间距比的合理程度和左右眼瞳孔间距连线与水平方向夹角。通过采用本发明所述的人眼识别系统，在检测出左眼和右眼目标区域后，通过三个权值来精确定位人眼，有效解决多个人眼目标区域的定位问题，提高了人眼识别的精确性。

Description

一种人眼识别系统及方法

技术领域

本发明通常涉及生物特征识别领域，具体来说，涉及一种基于双眼结构权值的辅助人眼检测系统及方法。

背景技术

随着计算机视觉技术的发展，人脸识别和表情识别越来越受到重视，而人眼检测作为人脸识别和表情识别的预处理步骤的先验条件，其检测精度和速度直接影响到识别的精度和速度，而人眼检测的准确性可以有效地提高人脸识别和表情识别正确率以及自动化程度。目前，多数表情识别和人脸识别算法都是先定位好人眼，然后根据人眼的位置信息来进行归一化、特征计算以及特征点的计算，然后再进行表情识别或者人脸识别的。

参考图1，图1示出了目前主要的人眼识别的方法流程图，其主要步骤包括：采集图片并进行人脸检测，得到人脸矩形区域；将矩形区域，划取左眼和右眼待检测区域；在待检测区域提取Haar特征(简单矩形特征)，并收集非人眼区域以及非人眼图片，提取Haar特征；根据人眼图片和非人眼图片的Haar特征，训练AdaBoost人眼检测模型；测试图片得到左眼和右眼待检测区域，计算Haar特征，输入AdaBoost人眼检测模型；如果左右区域分别检测到一个人眼，算法成功，否则失败。现存的人眼定位算法，虽然已经取得了一定效果，但是仍然存在问题，比如定位不精确、无法定位多个人眼，所以很多时候人眼定位过程中仍然需要大量的人工纠正，这种问题导致难以实现表情识别和人脸识别的自动化。

因此，有必要提出一种能精确定位人眼的识别系统及方法。

发明内容

为了解决上述问题，本发明提供了一种人眼识别系统，所述系统包括：人眼待测区域识别模块，用于从人脸区域上划取左眼和右眼待检测区域；人眼检测模块，用于从左眼和右眼待检测区域检测出左眼和右眼目标区域；人眼权值识别模块，用于通过对左眼和右眼目标区域进行权值计算得到人眼区域，所述权值包括左右眼的大小接近程度、左右眼区域边长与左右眼瞳孔间距比的合理程度和左右眼瞳孔间距连线与水平方向夹角。

本发明还提供了一种人眼识别方法，所述方法包括：获取人脸区域，从所述人脸区域上划取左眼和右眼待检测区域；从左眼和右眼待检测区域检测出左眼和右眼目标区域；对左眼和右眼目标区域进行权值计算得到人眼区域，所述权值包括左右眼的大小接近程度、左右眼区域边长与左右眼瞳孔间距比的合理程度和左右眼瞳孔间距连线与水平方向夹角。

通过采用本发明所述的人眼识别系统，在检测出左眼和右眼目标区域后，通过左右眼的大小接近程度、左右眼区域边长与左右眼瞳孔间距比的合理程度和左右眼瞳孔间距连线与水平方向夹角这三个权值来定位人眼，有效解决多个人眼目标区域的定位问题，提高了人眼识别的精确性和自动化程度。

附图说明

图1示出了人眼识别系统的流程图；

图2示出了人眼检测Haar特征的示意图；

图3示出了根据本发明实施例的人眼识别系统结构示意图及流程图；

图4、图5示出了根据本发明实施例的人眼采样区域示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

参考图3，本发明实施例的人眼识别系统包括：人眼待测区域识别模块100、人眼检测模块200和人眼权值识别模块300。

所述人眼待测区域识别模块100，用于从人脸区域上划取左眼和右眼待检测区域。

所述人眼检测模块200，用于从左眼和右眼待检测区域检测出左眼和右眼目标区域。在本发明实施例中，所述人眼检测模块包括人眼特征提取模块和人眼识别模块，通过所述人眼特征提取模块用于提取左眼和右眼待检测区域的特征，通过所述人眼识别模块用于排除所述提取的特征中非人眼区域，以得到左眼和右眼目标区域。

所述人眼权值识别模块300，用于通过对左眼和右眼目标区域进行权值计算得到人眼区域，所述权值包括左右眼的大小接近程度、左右眼区域边长与左右眼瞳孔间距比的合理程度和左右眼瞳孔间距连线与水平方向夹角。

根据图3所示的流程图，可以通过下述步骤和方法来实现所述人眼识别系统的人眼识别。

在步骤S01，通过在采集的人像图片上进行人脸检测，得到人脸矩形区域。

在步骤S02，从人脸区域上划取左眼和右眼待检测区域。

在步骤S03，提取左眼和右眼待检测区域的特征。在本发明实施例中，可以通过提取Haar特征作为识别人脸和人眼的特征，Haar特征通常分为三类：边缘特征、线性特征、中心特征和对角线特征，组合成特征模板，如图2所示，特征模板内有白色和黑色两种矩形，并可以通过定义该模板的特征值为白色矩形像素和减去黑色矩形像素和，因此可以通过在图片的Haar特征集合上挑选合适的特征来区分人眼和非人眼。

在步骤S04，排除所述提取的特征中非人眼区域，以得到左眼和右眼目标区域。在本发明实施例中，可以通过AdaBoost算法，基于Haar特征信息采用排除方式来去除非人眼区域，来得到左眼和右眼目标区域。AdaBoost算法是一种级联分类的方法，它把一些比较弱的分类方法合在一起，组合出新的很强的分类方法。在本发明实施例中，首先，可以通过AdaBoost算法从Haar特征中挑选有效的Haar特征来训练左右眼检测器。训练样本分为正例样本和反例样本，其中正例样本是指待检目标样本(左眼和右眼)，反例样本指其它任意图片，所有的样本图片都被归一化为同样的尺寸大小，在本发明一个实施例中所述样本图片的尺寸可以为20*20，所述样本图片的尺寸大小可以根据需要来确定，还可以为30*30或其他合适的尺寸。分类器训练完以后，可以应用于输入图像中的左眼和右眼的待检测区域的检测，所述待检测区域与训练样本具有相同的尺寸。在图像检测过程中，将图像按比例依次缩放，然后在缩放后的图片的穷举每一个20*20的子窗口。窗口依次通过每一级分类器，这样在前面几层的检测中大部分的候选区域就被排除了，全部通过每一级分类器检测的区域即为目标区域。而后，基于Haar特征信息采用排除方式来去除非人眼区域，检测过程结束得到的是所有未被排除的区域。但在光线不好的情况，眼角眼眉等区域和人眼有类似的Haar特征，很容易被误识别为人眼，出现人脸一侧识别出多个人眼的情况。

在步骤S05，对左眼和右眼目标区域进行权值计算得到人眼区域，本发明通过三权值计算得到精确的人眼区域，所述三权值包括左右眼的大小接近程度、左右眼区域边长与左右眼瞳孔间距比的合理程度和左右眼瞳孔间距连线与水平方向夹角，通过判断两个人眼接近程度、眼睛大小和瞳孔距离比例是否接近0.6以及瞳孔连线和水平夹角接近水平这三个权值来得到一个最精确的人眼区域。本发明实施例中，所述权值计算方法为：

所述左眼和右眼的大小接近程度：W₁＝1-|S_l-S_r|/(S_l+S_r)，S_l代表左眼区域边长，S_r代表右眼区域边长。如果S_l和S_r大小接近那么|S_l-S_r|接近0，从而W₁接近于1，因此，对于所述左眼和右眼的大小接近程度W₁的值越接近于1，左眼和右眼的大小越接近。

所述左右眼区域的边长与左右眼瞳孔间距比的合理程度：W₂＝1-|L_p-L|/(L_p+L)，L_p代表两个瞳孔的间距，L通过L＝(S_l+S_r)*5/6计算而得，在本发明实施例中，通过左右眼区域边长与左右眼瞳孔间距比是否接近0.6来判断所述权值W₂的合理程度，其中L_p代表两个瞳孔实际测量的距离，L是通过左右眼边长为瞳孔间距0.6的经验值计算得到的参考值，参考图4，L_p与L越接近，W₂的值越接近于1，所述左右眼区域的边长与左右眼瞳孔间距比更合理，则认为左右眼更符合正常人眼的标准。

所述左右眼瞳孔中心连线和水平方向的夹角：W₃＝D_x/(D_x+D_y)，D_x代表两个瞳孔的水平距离；D_y代表两个瞳孔的垂直距离，参考图5，若左右一对人眼的人眼坐标(x_l，y_l)和(x_r，y_r)则两个眼的高度差为D_x、D_y，若人眼处于正常状态，则D_y接近于0，所述权值W₃接近于1，所述权值W₃最大为1。

对于以上各权值，有时会出现过小的不合理的数据，可以根据需要将其筛除，例如，保留接近1的数据，将过小的数据赋予较小的负数值，例如-10，在最后权值选择时，将不予考虑-10左右的数据。

为了更好的说明本发明，以下将以基于头部运动的恐惧表情识别的实施例进行详细说明。所述实施例需要预先建立一个表情数据库，数据库中每个表情包含起始帧和最夸张帧，且数据库中的表情均已经标记。

识别过程中，首先，取出所有的表情起始帧和最夸张帧，在每幅图片中先进行人脸检测，得到检测到的矩形人脸区域，矩形区域的高：height，宽：width。

而后，确定人眼目标区域。取左上区域：(x∈[0，width/2]，y∈[0，0.6*height])，从左上区域应用基于Haar特征和AdaBoost分类器的人眼检测算法，检测到M个人眼；同理，在右上区域(x∈[width/2，width]，y∈[0，0.6*height])应用相同算法，检测到N个人眼。

而后，确定精确的人眼区域。如果M*N＝0；人眼检测算法失败；如果M*N＝1；人眼检测算法成功；如果M*N＞1，则所有检测到的人眼组成M*N对人眼；根据检测到的每对人眼计算三个权值的和。取权值和最大的人眼对作为最终结果。人眼检测算法成功。

根据已经检测到的人眼，计算头部运动信息特征。采用分类器对特征进行分类，进而识别是否为恐惧表情。

以上对本发明所述的人眼识别系统及方法进行了详细的描述，通过左右眼的大小接近程度、左右眼区域边长与左右眼瞳孔间距比的合理程度和左右眼瞳孔间距连线与水平方向夹角这三个权值来定位人眼，有效解决多个人眼目标区域的定位问题，提高了人眼识别的精确性和自动化程度。

本领域普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅是本发明的实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种人眼识别系统，所述系统包括：

人眼待测区域识别模块，用于从人脸区域上划取左眼和右眼待检测区域；

人眼检测模块，用于从左眼和右眼待检测区域检测出左眼和右眼目标区域，检测出的左眼目标区域的数量为M，检测出的右眼目标区域的数量为N；

人眼权值识别模块，用于当M*N>1时，对左眼目标区域和右眼目标区域进行组合，得到M*N对目标人眼区域；对每对人眼目标区域都分别进行权值计算，所述权值包括左右眼的大小接近程度、左右眼区域边长与左右眼瞳孔间距比的合理程度和左右眼瞳孔间距连线与水平方向夹角；通过判断两个人左右眼的大小接近程度、左右眼区域边长与左右眼瞳孔间距比是否接近0.6以及左右眼瞳孔间距连线与水平方向夹角是否接近水平选取出一对人眼目标区域作为人眼区域。

2.根据权利要求1所述的系统，其特征在于，所述人眼检测模块包括人眼特征提取模块和人眼识别模块，所述人眼特征提取模块用于提取左眼和右眼待检测区域的Haar特征，所述人眼识别模块用于排除所述提取的Haar特征中非人眼区域，以得到左眼和右眼目标区域。

3.根据权利要求2所述的系统，其特征在于，所述人眼识别模块通过AdaBoost算法来检测识别目标区域。

4.根据权利要求1所述的系统，其特征在于，所述左右眼的大小接近程度W₁=1-|S_l-S_r|/(S_l+S_r)，S_l代表左眼区域边长，S_r代表右眼区域边长；左右眼区域边长与左右眼瞳孔间距比的合理程度W₂=1-|L_p-L|/(L_p+L)，L_p代表两个瞳孔的间距，L=(S_l+S_r)*5/6；左右眼瞳孔间距连线与水平方向夹角，其中W₃=D_x/(D_x+D_y)，D_x代表两个瞳孔的水平距离，D_y代表两个瞳孔的垂直距离。

5.根据权利要求4所述的系统，其特征在于，通过将所述权值相加得到权值和，将权值和最大的一对人眼目标区域确定为人眼区域。

6.一种人眼识别方法，所述方法包括：

获取人脸区域，从所述人脸区域上划取左眼和右眼待检测区域；

从左眼和右眼待检测区域检测出左眼和右眼目标区域，检测出的左眼目标区域的数量为M，检测出的右眼目标区域的数量为N；

当M*N>1时，对左眼目标区域和右眼目标区域进行组合，得到M*N对目标人眼区域；

对每对人眼目标区域都分别进行权值计算，所述权值包括左右眼的大小接近程度、左右眼区域边长与左右眼瞳孔间距比的合理程度和左右眼瞳孔间距连线与水平方向夹角；通过判断两个人左右眼的大小接近程度、左右眼区域边长与左右眼瞳孔间距比是否接近0.6以及左右眼瞳孔间距连线与水平方向夹角是否接近水平选取出一对人眼目标区域作为人眼区域。

7.根据权利要求6所述的方法，其特征在于，得到所述左眼和右眼目标区域的方法包括：提取左眼和右眼待检测区域的Haar特征；排除所述提取的Haar特征中非人眼区域，以得到左眼和右眼目标区域。

8.根据权利要求7所述的方法，其特征在于，排除所述提取的Haar特征中非人眼区域的方法为AdaBoost分类法。

9.根据权利要求6所述的方法，其特征在于，所述左右眼的大小接近程度W₁=1-|S_l-S_r|/(S_l+S_r)，S_l代表左眼区域边长，S_r代表右眼区域边长；左右眼区域边长与左右眼瞳孔间距比的合理程度W₂=1-|L_p-L|/(L_p+L)，L_p代表两个瞳孔的间距，L=(S_l+S_r)*5/6；左右眼瞳孔间距连线与水平方向夹角W₃=D_x/(D_x+D_y)，D_x代表两个瞳孔的水平距离，D_y代表两个瞳孔的垂直距离。

10.根据权利要求9所述的方法，其特征在于，通过将所述权值相加得到权值和，将权值和最大的一对人眼目标区域确定为人眼区域。