CN101523411A - 眼开度检测系统及眼开度检测方法 - Google Patents

Abstract

一种眼开度检测系统，包括成像装置(120)，其用于捕获被检测对象的脸部的图像；边缘提取装置，其用于提取获得的图像的边缘；以及上下眼睑检测装置，其用于根据提取到的边缘来检测被检测对象的上下眼睑，并且眼开度检测系统参照检测到的上下眼睑之间的距离来检测被检测对象的眼开度，其特征在于，上下眼睑检测装置检测上眼睑并且参照检测到的上眼睑来检测下眼睑。

Description

眼开度检测系统及眼开度检测方法

技术领域

[0001]本发明涉及一种用于检测被检测对象的眼开度的眼开度检测系统及其方法。

背景技术

[0002]专利号为3383594的日本专利中描述的眼开度检测系统使用用于检测对象的下眼睑的上边缘然后检测对象的上眼睑的下边缘的技术。专利号为3383594的日本专利中描述的系统首先从获得用于虹膜边缘点检测的阈值的范围到下方向扫描测量线上的像素，并且检测作为密度超过用于虹膜边缘点检测的阈值的像素位置的下眼睑的上边缘。同样，系统从瞳孔的上边缘到其上侧扫描测量线上的像素，并且检测作为密度超过用于虹膜边缘点检测的阈值的像素位置的上眼睑的下边缘。这里，基于通过从瞳孔的下边缘到下方向扫描而检测到的密度的最大值来设定用于虹膜边缘点检测的阈值。

[0003]尽管被检测对象的眼开度检测需要检测上下眼睑，但是下眼睑与上眼睑相比具有较少的形状特征，因此较难检测下眼睑。专利号为3383594的日本专利中描述的发明首先检测下眼睑然后检测上眼睑，因此其可能导致下眼睑的错误检测以及眼开度的检测精确度的恶化。

发明内容

[0004]本发明提供一种适当地防止下眼睑的错误检测并且精确地检测眼开度的眼开度检测系统及其方法。

[0005]本发明的第一方案涉及一种眼开度检测系统，其包括：成像装置，其用于捕获被检测对象的脸部的图像；边缘提取装置，其用于提取捕获到的图像的边缘；以及上下眼睑检测装置，其用于根据提取到的边缘来检测被检测对象的上下眼睑，并且该眼开度检测系统参照检测到的上眼睑与下眼睑之间的距离来检测被检测对象的眼开度，其中，上下眼睑检测装置检测上眼睑，然后参照检测到的上眼睑来检测下眼睑。

[0006]根据第一方案，本发明集中在如下事实：与检测在眼睛的开闭中均具有线状的下眼睑相比，检测在眼睛睁开的过程中具有弧状的上眼睑时能够获得更好的检测率。因此，本发明适当地防止了下眼睑的错误检测，并且通过参照已经检测到的上眼睑来检测下眼睑而精确地检测眼开度。

[0007]成像装置可以被布置于在垂直方向上比被检测对象的眼部低的位置。

[0008]利用以上构造，当成像装置从下方捕获被检测对象的图像时，能够比检测下眼睑更明显地来检测上眼睑。因此，能够提高上眼睑的检测精确度。还能够参照已经精确检测到的上眼睑来提高下眼睑的检测精确度。

[0009]被检测对象可以为车辆的驾驶员，并且成像装置可以被布置于在垂直方向上比布置在驾驶员的座椅上的头枕低的位置。利用以上构造，成像装置能够从下方适当地捕获车辆的驾驶员的图像。

[0010]可以进一步设置照亮被检测对象的脸部的照明装置，并且照明装置可以布置于在垂直方向上比被检测对象的眼部低的位置。

[0011]利用以上构造，当照明装置从下方照亮被检测对象的脸部时，由光线产生的阴影朝上投影，并且因此能够比检测下眼睑更明显地来检测上眼睑。因此，能够提高上眼睑的检测精确度。还能够参照已经精确检测到的上眼睑来提高下眼睑的检测精确度。

[0012]被检测对象可以是车辆的驾驶员，并且照明装置可以被布置于在垂直方向上比布置在驾驶员的座椅上的头枕低的位置。利用以上构造，照明装置能够从下方朝上适当地照亮车辆的驾驶员。

[0013]除用作第一成像装置的上述照明装置以外，眼开度检测系统还可以包括作为第二成像装置的另外的成像装置，其中，边缘提取装置提取由第一成像装置和第二成像装置这两者中的至少一个获得的图像的边缘，并且上下眼睑检测装置关于由第一成像装置与第二成像装置之间的至少第一成像装置获得的图像来检测上眼睑，并且还参照检测到的上眼睑来检测下眼睑。

[0014]本发明的第二方案涉及一种检测被检测对象的眼开度的眼开度检测方法，包括如下步骤：获得被检测对象的脸部的图像；提取获得的脸部的图像的边缘；根据提取到的边缘来检测被检测对象的上眼睑；以及参照检测到的上眼睑来检测被检测对象的下眼睑。

[0015]根据第二方案，因为与检测在眼睛的开闭中均具有线状的下眼睑相比，检测在眼睛睁开的过程中具有弧状的上眼睑时能够获得更好的检测率，所以第二方案能够适当地防止下眼睑的错误检测，并且通过参照已经检测到的上眼睑来检测下眼睑而精确地检测眼开度。

[0016]因此，本发明提供了一种适当地防止下眼睑的错误检测并且精确地检测眼开度的眼开度检测系统及其方法。

附图说明

[0017]参照附图，通过对示范实施例的下列描述，本发明的上述以及进一步的特征和优点将变得明显，其中，附图中相同的附图标记用于表示相同的元件，并且其中：

图1为示出了根据本发明的眼开度检测系统的一个实施例的主要构造的示意图；以及

图2为示出了由图像处理设备140执行的主要过程的流程图。

具体实施方式

[0018]以下将参照附图来描述本发明的一个示范实施例。

[0019]图1为示出了根据本发明的眼开度检测系统的一个实施例的主要构造的示意图。本实施例的眼开度检测系统100包括用于捕获被检测对象的脸部的图像的成像装置120，以及图像处理设备140。

[0020]成像装置120可以为包括传感器阵列的摄像机，该传感器阵列具有例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)作为图像拾取器件。成像装置120可以适于获得灰度图像(例如，256级灰度图像)。成像装置120被布置于车辆中适当的位置以便于捕获驾驶员的正面(例如，从前方看的驾驶员的脸部)。成像装置120可以被布置于在垂直方向上比驾驶员的眼部低的位置。即，当被检测对象为本实施例的驾驶员时，成像装置120可以被布置于在垂直方向上比设置在驾驶员的座椅上的头枕低的位置。另外，使该成像装置120的光轴朝上倾斜，并且例如成像装置120可以被布置在转向管柱上或布置在仪表组中以便捕获驾驶员的脸部，在捕获驾驶员脸部的过程中，所述光轴朝上。如稍后所述的，这种配置能够精确地检测驾驶员的上眼睑。成像装置120可以适于在车辆运行时实时获得驾驶员的脸部的图像(以下称为“脸部图像”)，并且示例性地以每秒30帧(fps)的速率将图像供给到图像处理设备140。

[0021]成像装置120可以具有用于照亮驾驶员的脸部的照明装置130。例如，照明装置130可以发射近红外光。照明装置130可以被布置于车辆中适当的位置以便于照亮驾驶员的正面(例如，从前方看的驾驶员的脸部)。照明装置130可以与照明装置120类似的方式被布置于在垂直方向上比驾驶员的眼部低的位置。即，当被检测对象为本实施例的驾驶员时，照明装置130可以被布置于在垂直方向上比布置在驾驶员的座椅上的头枕低的位置。另外，使照明装置130的光轴朝上倾斜，并且朝上布置以从下方照亮驾驶员的脸部。如稍后所述的，这种配置能够精确地识别驾驶员的上眼睑。如图1所示，照明装置130还可以与成像装置120结合，并且成像装置120和照明装置130的光轴可以被布置在相同的方向上。

[0022]图像处理设备140主要由适当的处理器(例如，数字信号处理器(DSP))或微电脑作为其硬件构造而构成，并且包括如稍后所述的用于执行各种图像处理的CPU、如稍后所述的用于存储用来执行各种图像处理的程序和数据的ROM、用于存储计算结果等等的可读/写RAM、计时器、输入接口、输出接口等等。

[0023]图2为示出了由图像处理设备140执行的主要操作的流程图。

[0024]在步骤S100中，在脸部图像中检测鼻部位置。例如，可以基于作为特征的鼻孔的位置来检测鼻部位置。在该实施例中，因为如上所述成像装置120从下方捕获驾驶员的脸部以获得脸部图像，所以可以在驾驶员保持正常姿势(例如，除非驾驶员过度低头)时检测鼻孔。

[0025]在步骤S110中，根据检测到的鼻部位置来确定眼部窗口(eyewindow)的位置。根据鼻部与眼部之间的几何位置关系来适当地确定眼部窗口的位置。例如，在鼻部位置周围的图像的上部中的两个位置处限定眼部窗口。尽管眼部窗口具有能够覆盖眼部的整个区域的尺寸，但是眼部窗口的尺寸由考虑到脸部中眼部与鼻部之间的相对位置存在个体差异或者特定驾驶员中眼部与鼻部之间的相对位置可能根据面向方向的变化而变化的情况下的边界来限定。

[0026]在步骤S120中，对眼部窗口中的区域执行边缘提取操作和特征量提取操作。例如，可以通过应用索贝尔(Sobel)的边缘检测算法来执行边缘提取操作。通过使用普通的3×3的索贝尔过滤器来提取眼部窗口中的横向边缘。以下，为了方便起见，在所有提取到的横向边缘中，由于在垂直线上从上到下的方向上密度从白到黑的转变而提取到的横向边缘称为“白-黑边缘”，而由于密度从黑到白的转变而提取到的横向边缘称为“黑-白边缘”。

[0027]例如，可以执行如下所述的特征量提取操作。首先，对每条水平线估计横向边缘的强度和(密度和)，并且提取横向边缘的密度和达到峰值的位置处的横向边缘(或者在横向边缘的直方图中构成峰值的横向边缘)。

[0028]在步骤S130中，在眼部窗口中移动搜索窗口，并且根据边缘提取处理和特征量提取处理的结果来确定上眼睑的位置。搜索窗口可以根据表示上眼睑的像素范围来限定并且从实验等等中预先导出。例如，搜索窗口可以为大约1×15像素(垂直方向上1像素而水平方向上15像素)并且对应于分辨率、缩放比例等等来适当地限定。更具体地，当在眼部窗口中移动搜索窗口时，计算出搜索窗口中的横向边缘的密度和，并且在搜索窗口中位于横向边缘的密度和等于或大于预定值的位置处的横向边缘(白-黑边缘)被认为是“候选上眼睑”。在该情况下，如果存在处于上下邻近的候选上眼睑，则选择最上方的候选上眼睑。此外，如果靠近眼部窗口的上部存在候选上眼睑，则同样将丢弃这种候选上眼睑。这是因为眼部窗口如上所述限定得大，并且在窗口的上部的周围存在表示眉毛的横向边缘的情况。然后，剩余的候选上眼睑被认为是表示上眼睑的横向边缘。

[0029]可选择地，可以基于当眼睛睁开时一般为弧状的上眼睑的形状特征来提取表示上眼睑的边缘。换句话说，以弧状在近似水平的方向上连续延伸的边缘(其颜色在垂直的方向上从上方从白变黑的边缘)可以被认为是表示上眼睑的边缘。能够通过利用这种特征形状来精确地检测到上眼睑的位置。可选择地，当使用多个连续的图像帧时，可以通过利用上眼睑在眨眼的过程中与眼部的其它部分(例如下眼睑、眉毛或眼镜框)相比移动较多的特征来检测上眼睑的位置。

[0030]在步骤S140中，根据以上在步骤S130中确定的上眼睑的位置来确定用于检测下眼睑的搜索窗口的位置。用于检测下眼睑的搜索窗口的位置可以参照如上所述检测到的上眼睑的位置而布置在上眼睑的下方，并且例如布置在上眼睑的与眼部的平均尺寸(在睁眼状态下，上眼睑与下眼睑之间的平均距离)相对应的像素数量的位置的下方。用于检测下眼睑的搜索窗口的尺寸可以与用于检测上眼睑的搜索窗口的尺寸相同，并且可以根据表示下眼睑的像素范围来限定并从实验等等中预先导出。

[0031]在步骤S150中，使搜索窗口移动到在步骤S140中确定的位置，并且确定下眼睑的位置。例如，如果在搜索窗口中存在横向边缘(黑-白边缘)，则这种横向边缘被认为是表示下眼睑的横向边缘。

[0032]在步骤S160中，在步骤S130中识别出的表示上眼睑的横向边缘与在步骤S150中识别出的表示下眼睑的横向边缘之间的垂直距离被计算出来作为眼开度并且根据该眼开度来判定驾驶员的眼睛是否闭合。判定结果可以用于各种警报控制。例如，可以通过检测驾驶员的眼睛闭合的时长以及当这种时间长度达到或超过预定时间时判定驾驶员的警觉度下降来输出警报。

[0033]根据如上所述的该实施例的眼开度检测系统100，尤其能够证实下列效果。

[0034]如上所述，因为本发明检测上眼睑，参照上眼睑的检测结果来确定下眼睑的搜索范围，并且在搜索范围内检测下眼睑，所以与用于分别且独立检测上下眼睑的构造或用于在检测上眼睑之前检测下眼睑的构造相比，显著地提高了下眼睑的检测精确度。确切地，能够根据如上所述的上眼睑在睁眼时处于弧状的形状特征来检测上眼睑，因此，与具有贫乏形状特征的下眼睑相比，检测上眼睑更为容易。换句话说，由于下眼睑的贫乏特征，与上眼睑相比，检测下眼睑更困难。因此，首先检测上眼睑然后根据检测结果来检测下眼睑使得具有贫乏特征并且难以检测到的下眼睑更容易且更精确地被检测到。

[0035]根据以上描述，当成像装置120从下方捕获驾驶员的脸部以获得脸部图像时，上眼睑的睫毛不覆盖眼球。这样，能够容易地提取到表示上眼睑的横向边缘(即，能够明显地检测到表示上眼睑的横向边缘。)因此，显著地提高了上眼睑以及下眼睑的检测精确度。当成像装置120从下方向上捕获驾驶员的脸部以获得脸部图像时，存在下眼睑的睫毛可能覆盖眼球并且因此不能明显地检测到表示下眼睑的横向边缘的情况。然而，在这点上，因为如上所述的本发明的实施例首先检测上眼睑然后根据检测结果来检测下眼睑，所以即使表示下眼睑的横向边缘不明显它也能够被精确地检测到。

[0036]根据以上描述，照明装置130从下方照亮驾驶员的脸部以获得脸部图像，在上侧投下了阴影。这样，更容易提取到表示上眼睑的横向边缘(即，能够更明显地检测到表示上眼睑的横向边缘。)。因此，显著地提高了上眼睑以及下眼睑的检测精确度。当照明装置130从下方照亮驾驶员的脸部以获得脸部图像时，存在下眼睑的阴影覆盖眼球并且因此使得检测表示下眼睑的横向边缘更难的情况。然而，在这点上，因为如上所述的本发明的实施例首先检测上眼睑然后根据检测结果来检测下眼睑，所以即使不明显也能够精确地检测到表示下眼睑的横向边缘。

[0037]在以上描述的实施例中，可以考虑用执行图2的步骤S120中的过程的图像处理设备140来实现本发明的“边缘提取装置”并且用执行图2的步骤S130和S140中的过程的图像处理设备140来实现本发明的“上下眼睑检测装置”。

[0038]尽管已经提供了本发明的示范实施例的详细描述，但是本发明不限定于所描述的实施例，并且可以允许在不背离本发明的范围的情况下对所描述的实施例的各种改进和替换。

[0039]例如，本实施例的被检测对象为车辆的驾驶员；然而，摩托车、有轨车或飞机的驾驶员也可以是被检测对象。

[0040]另外，尽管在以上描述的实施例中将横向边缘的密度和或直方图中的峰值(横向边缘的峰值)用作估计值来检测眼睑，但是也可以利用模式匹配来检测上下眼睑。在该情况下，依照上眼睑的弧状特征来执行模式匹配不仅提高了上眼睑的检测精确度，也提高了参照上眼睑检测到的下眼睑的检测精确度。

[0041]此外，以上描述的实施例例证了使用单个成像装置120的应用；然而，第二成像装置可以与成像装置120分开地设置，并且两个或更多成像装置可以用于检测驾驶员的眼开度。在该情况下，例如，第二成像装置可以被布置在遮光板或后视镜中。图像处理设备140可以对至少由布置于在垂直方向上的下侧中的成像装置捕获到的图像应用如上所述的参照上眼睑来检测下眼睑的方法。此外，选择性地使用多个成像装置的构造可以判定成像装置的选择并且响应于成像装置的选择来适当地改变边缘提取方法(以及上下眼睑检测方法)。

Claims (8)

1、一种眼开度检测系统，包括第一成像装置，其用于获得被检测对象的脸部的图像；边缘提取装置，其用于提取所述获得的图像的边缘；以及上下眼睑检测装置，其用于根据所述提取到的边缘来检测所述被检测对象的上眼睑和下眼睑，其中，参照所述检测到的上眼睑与下眼睑之间的距离来判定所述被检测对象的眼开度，所述眼开度检测系统的特征在于

所述上下眼睑检测装置首先检测所述上眼睑，然后参照所述检测到的上眼睑来检测所述下眼睑。

2、根据权利要求1所述的眼开度检测系统，其中

所述第一成像装置被布置于在垂直方向上比所述被检测对象的眼部低的位置。

3、根据权利要求1所述的眼开度检测系统，其中

所述被检测对象为车辆的驾驶员，并且所述第一成像装置被布置于在垂直方向上比布置在驾驶员的座椅上的头枕低的位置。

4、根据权利要求1至3中任一项所述的眼开度检测系统，其特征在于进一步包括

照明装置，其用于将光线发射到所述被检测对象的脸部，其中

所述照明装置被布置于在垂直方向上比所述被检测对象的眼部低的位置。

5、根据权利要求4所述的眼开度检测系统，其中

所述被检测对象为车辆的驾驶员，并且所述照明装置被布置于在垂直方向上比布置在驾驶员的座椅上的头枕低的位置。

6、根据权利要求1至4中任一项所述的眼开度检测系统，其特征在于进一步包括

第二成像装置，其与所述第一成像装置分开地设置，其中

所述边缘提取装置提取由所述第一成像装置和所述第二成像装置这两者中的至少一个获得的图像的边缘，以及

所述上下眼睑检测装置关于由所述第一成像装置与所述第二成像装置之间的至少所述第一成像装置获得的图像来检测所述上眼睑，并且也参照所述检测到的上眼睑来检测所述下眼睑。

7、一种检测被检测对象的眼开度的眼开度检测方法，其特征在于包括

获得被检测对象的脸部的图像；

提取所述获得的脸部的图像的边缘；

根据所述提取到的边缘来检测所述被检测对象的上眼睑；

参照所述检测到的上眼睑来检测所述被检测对象的下眼睑；以及

参照所述检测到的上下眼睑之间的距离来检测所述被检测对象的眼开度。

8、一种眼开度检测系统，包括：

第一成像装置，其捕获被检测对象的脸部的图像；

边缘提取装置，其提取所述捕获到的图像的边缘；以及

上下眼睑检测装置，其根据所述提取到的边缘来检测所述被检测对象的上眼睑，并且参照所述检测到的上眼睑来检测下眼睑，其中

所述眼开度检测系统参照所述检测到的上眼睑与下眼睑之间的距离来检测所述被检测对象的眼开度。

Images