CN112183502B

CN112183502B - 驾驶员的驾驶状态确定方法、计算机存储介质及电子设备

Info

Publication number: CN112183502B
Application number: CN202011353481.6A
Authority: CN
Inventors: 付俊妮
Original assignee: Hubei Ecarx Technology Co Ltd
Current assignee: Ecarx Hubei Tech Co Ltd
Priority date: 2020-11-26
Filing date: 2020-11-26
Publication date: 2021-02-12
Anticipated expiration: 2040-11-26
Also published as: WO2022110917A1; CN112183502A

Abstract

本发明提供了一种驾驶员的驾驶状态确定方法、计算机存储介质及电子设备。驾驶状态确定方法包括实时采集驾驶员的人脸图像，其中，驾驶员带有眼镜；识别人脸图像中的镜框区域，并在镜框区域内确定驾驶员的瞳孔区域；计算瞳孔区域在镜框区域的第一占比；获取驾驶员在清醒状态下的瞳孔区域在镜框区域的第二占比；根据第一占比与第二占比计算得到眼睛开合度；根据眼睛开合度确定驾驶员的驾驶状态。本发明的方案通过识别和定位人脸图像中的镜框区域，即可确定驾驶员的眼睛区域，以便快速准确地计算出眼睛开合度，有效解决了因眼睛运动导致瞳孔面积实时变化而无法确定以及瞳孔边缘很难做到精确识别等问题。

Description

驾驶员的驾驶状态确定方法、计算机存储介质及电子设备

技术领域

本发明涉及驾驶员疲劳状态检测技术领域，特别是涉及一种驾驶员的驾驶状态确定方法、计算机存储介质及电子设备。

背景技术

综合当前已有的多项交通事故原因调查报告发现，由于驾驶员疲劳驾驶所引起的交通事故占有很大比例。因此驾驶疲劳状态检测技术的研究对于预防交通事故有着重要意义。

疲劳是指各种症状的组合，例如缺乏睡眠、瞳孔直径、注目凝视、眼球快速转动、眉眼扫视、眨眼睛等主观感觉。根据相关实验结果证明，眼睛开合度是检测驾驶员疲劳状态的重要因素。然而，目前眼睛开合度的计算主要存在两个难点问题：第一个是瞳孔大小、形状、位置等不固定，因为在人眼运动过程中，瞳孔在摄像机成像的大小、位置、形状等等会实时发生变化，导致瞳孔的面积是实时变化的；第二个是瞳孔边缘很难识别，因为人在睁闭眼的过程中，瞳孔被遮住部分的边缘是一直变化的，很难做到精确的识别。综合考虑，在设计上需要提供一种可以快速、准确地计算出眼睛开合度并进而快速确定车辆驾驶员的驾驶状态的方案。

发明内容

鉴于上述技术问题，提出了一种能够解决或至少部分解决上述技术问题的驾驶员的驾驶状态确定方法、计算机存储介质及电子设备。

根据本发明一个方面的一个目的是要提供一种可以快速、准确地计算出眼睛开合度并进而快速确定车辆驾驶员的驾驶状态的方案。

根据本发明一个方面的一个进一步的目的是要通过定位和识别人脸图像中的镜框区域来快速定位出眼睛位置和区域，有助于提高眼睛开合度的计算效率。

特别地，本发明的一个方面提供了一种车辆驾驶员的驾驶状态确定方法，其包括：

实时采集驾驶员的人脸图像，其中，驾驶员带有眼镜；

识别人脸图像中的镜框区域，并在镜框区域内确定驾驶员的瞳孔区域；

计算瞳孔区域在镜框区域的第一占比；

获取驾驶员在清醒状态下的瞳孔区域在镜框区域的第二占比；

根据第一占比与第二占比计算得到眼睛开合度；

根据眼睛开合度确定驾驶员的驾驶状态。

可选地，识别人脸图像中的镜框区域，并在镜框区域内确定驾驶员的瞳孔区域；计算瞳孔区域在镜框区域的第一占比，包括：

在人脸图像内确定驾驶员的脸部区域，在脸部区域内确定镜框区域，在镜框区域内确定瞳孔区域；

分别统计镜框区域的第一像素数目以及瞳孔区域的第二像素数目；

计算第一像素数目与第二像素数目的比值获得瞳孔区域在镜框区域的第一占比。

可选地，在镜框区域内确定瞳孔区域，包括：

获取镜框区域内像素点的灰度值；

针对镜框区域内任一第一像素点，将第一像素点作为第一预估瞳孔中心，计算与第一预估瞳孔中心对应的第一瞳孔预估区域的灰度密度值；

确定最小的灰度密度值对应的第一瞳孔预估区域，作为瞳孔粗定位区域；

根据瞳孔粗定位区域确定瞳孔区域。

可选地，根据瞳孔粗定位区域确定瞳孔区域，包括：

将瞳孔粗定位区域作为瞳孔区域；

或者，

在镜框图像内确定瞳孔局部区域，其中，瞳孔局部区域的灰度密度值与瞳孔粗定位区域的灰度密度值的差异值小于第一阈值；

将瞳孔局部区域与瞳孔粗定位区域的集合共同确定为瞳孔区域。

可选地，在镜框区域内确定瞳孔局部区域，包括：

根据瞳孔粗定位区域的第一中心确定第二瞳孔预估区域的第二中心，其中，第二中心为镜框图像内在瞳孔粗定位区域的中心的预设范围内的第二像素点；

针对每一第二中心，确定与第二中心对应的第二瞳孔预估区域，并获取第二瞳孔预估区域的灰度密度值，其中，第二瞳孔预估区域与第一瞳孔预估区域大小相同；

针对每一第二瞳孔预估区域，计算第二瞳孔预估区域的灰度密度值与瞳孔粗定位区域的灰度密度值的差异值；

根据差异值确定镜框图像内的所有瞳孔局部区域，其中，瞳孔局部区域为差异值小于第一阈值的第二瞳孔预估区域。

可选地，在脸部区域内确定镜框区域，包括：

在脸部区域内确定驾驶员的鼻梁区域；

对鼻梁区域进行边缘检测，确定鼻梁区域内的眼镜横梁区域的边缘；

根据眼镜横梁区域的边缘在脸部区域内确定镜框区域。

可选地，根据眼睛开合度确定驾驶员的驾驶状态，包括：

确定驾驶员的一个闭眼周期；

分别计算闭眼周期内眼睛开合度低于第一设定阈值的第一时间以及低于第二设定阈值的第二时间，第一设定阈值小于第二设定阈值；

根据第一时间与第二时间计算得到PERCLOS值；

根据PERCLOS值确定驾驶员的驾驶状态。

可选地，根据PERCLOS值确定驾驶员的驾驶状态包括：

若PERCLOS值小于第二阈值，判定驾驶员处于清醒状态；

若PERCLOS值落在第二阈值与第三阈值之间，判定驾驶员处于轻度疲劳状态，第一阈值小于第三阈值；

若PERCLOS值大于第三阈值，判定驾驶员处于重度疲劳状态。

根据本发明的另一个方面，还提供了一种计算机存储介质，该计算机存储介质存储有计算机程序代码，当计算机程序代码在计算设备上运行时，导致计算设备执行上述中任一的车辆驾驶员的驾驶状态确定方法。

根据本发明的再一个方面，还提供了一种电子设备，包括：

处理器；

存储器，存储有计算机程序代码，当计算机程序代码被处理器运行时，导致电子设备执行上述中任一的车辆驾驶员的驾驶状态确定方法。

本发明可实时采集佩戴眼镜的驾驶员的人脸图像，并可识别出人脸图像中的镜框区域，通过在镜框区域内确定的驾驶员的瞳孔区域，进而计算瞳孔区域在镜框区域的第一占比，以及通过获取驾驶员在清醒状态下的瞳孔区域在镜框区域的第二占比，进而根据第一占比与第二占比计算得到眼睛开合度，从而根据眼睛开合度来确定驾驶员的驾驶状态。基于本发明的方案，可通过第一占比以及第二占比快速、准确地计算出眼睛开合度。相对现有技术而言，可有效解决瞳孔的面积实时变化无法确定以及瞳孔边缘很难做到精确识别等问题。

进一步地，本发明通过定位和识别眼镜的镜框，就可快速定位出驾驶员人脸图像的眼睛的位置和区域，有助于眼睛开合度的准确计算，且提高了计算效率。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。附图中：

图1是根据本发明一个实施例的电子设备的示意性结构图；

图2是根据本发明一个实施例的车辆驾驶员的驾驶状态确定方法流程图；

图3是根据本发明一个实施例的PERCLOS值的测量原理示意图；

图4是根据本发明另一个实施例的车辆驾驶员的驾驶状态确定方法流程图。

具体实施方式

图1是根据本发明一个实施例的电子设备100的示意性结构图。参见图1所示，在本实施例中电子设备100可包括处理器110以及存储器120。其中，存储器120存储有计算机程序代码121，当计算机程序代码121被处理器110运行时，导致电子设备100执行下述任一实施例中的车辆驾驶员的驾驶状态确定方法。

图2是根据本发明一个实施例的车辆驾驶员的驾驶状态确定方法流程图。参见图2所示，该实施例的车辆驾驶员的驾驶状态确定方法可以包括步骤S202至步骤S210。

步骤S202，实时采集驾驶员的人脸图像。其中，驾驶员带有眼镜。在该步骤中，可通过摄像设备来实时采集驾驶员的人脸图像。驾驶员的眼镜优选为有框眼镜。在采集到的人脸图像中，眼镜镜框围成的区域为镜框区域。有框眼镜可设置为具有规则形状，以便于快速求出镜框区域的面积。

步骤S204，识别人脸图像中的镜框区域，并在镜框区域内确定驾驶员的瞳孔区域在镜框区域；并计算瞳孔区域在镜框区域的第一占比。

步骤S206，获取驾驶员在清醒状态下的瞳孔区域在镜框区域的第二占比。其中，镜框区域为人脸图像中镜框所占的区域。驾驶员在清醒状态下佩戴有眼镜，实时采集驾驶员人脸图像时，驾驶员佩戴的眼镜与驾驶员在清醒状态下佩戴的眼镜形状大小相似，优选为形状完全相同。

步骤S208，根据第一占比与第二占比计算得到眼睛开合度。

步骤S210，根据眼睛开合度确定驾驶员的驾驶状态。

本实施例通过识别实时采集的驾驶员的人脸图像中的镜框区域，可以确定在采集时刻的驾驶员的瞳孔区域在镜框区域的第一占比，进而通过计算采集时刻的驾驶员的瞳孔区域在镜框区域的第一占比以及驾驶员在清醒状态下的瞳孔区域在镜框区域的第二占比，即可快速、准确地计算出眼睛开合度，进而根据眼睛开合度来确定驾驶员的驾驶状态。基于本实施例的方案，可通过第一占比以及第二占比快速、准确地计算出眼睛开合度。相对现有技术而言，可有效解决瞳孔的面积实时变化无法确定以及瞳孔边缘很难做到精确识别等问题。

在一些实施例中，在执行步骤S202之前，还包括如下步骤：采集驾驶员处于清醒状态下的人脸图像；识别清醒状态下的人脸图像中的镜框区域；以及在该镜框区域内确定驾驶员的瞳孔区域在该镜框区域的第二占比，并存储第二占比。驾驶员在清醒状态下是指驾驶员处于非疲劳状态，采集非疲劳状态下的人脸图像，可以计算非疲劳状态下，驾驶员瞳孔区域的大小。清醒状态下的驾驶员也带有眼镜，识别清醒状态下的人脸图像中的镜框区域以及镜框区域内的瞳孔区域，可以计算清醒状态下的驾驶员的瞳孔区域在镜框区域中的占比，即第二占比。通过本实施例的方案可预先存储驾驶员在清醒状态下的瞳孔区域在镜框区域的第二占比，以简化眼睛开合度的计算步骤。

在实际应用中，不同时间点车辆驾驶员可能会不同，而不同驾驶员在清醒状态下的瞳孔大小会有所不同，因此瞳孔区域在镜框区域的第二占比也可能不同，在这种情况下，如果用于计算第二占比的驾驶员在清醒状态下的人脸图像与当前采集的驾驶员不匹配，容易发生误判。为了准确判断不同驾驶员的驾驶状态，在一些实施例中，也可以预先存储不同驾驶员在清醒状态下的瞳孔区域在镜框区域的第二占比。此时，在采集驾驶员的人脸图像后，还可以对驾驶员的身份进行验证，将采集驾驶员的人脸图像与驾驶员库中的人脸进行匹配，确定驾驶员的身份，从而获取与驾驶员身份对应的第二占比，避免产生误判。在一些实施例中，一般驾驶员进入车内后刚刚开始开车时为清醒状态，因此采集的驾驶员处于清醒状态下的人脸图像为驾驶员进入车内后采集开始开车时的初始人脸图像，根据此时的初始人脸图像计算第二占比。

在一些实施例中，步骤S204可包括：利用人脸识别算法在人脸图像内确定驾驶员的脸部区域，在脸部区域内确定镜框区域，在镜框区域内确定瞳孔区域；分别统计镜框区域的第一像素数目以及瞳孔区域的第二像素数目；计算第一像素数目与第二像素数目的比值获得在镜框区域内确定驾驶员的瞳孔区域在镜框区域的第一占比。本实施例通过人脸识别算法可定位和识别镜框区域，从而能够快速定位出驾驶员的眼睛在人脸图像的位置和区域，进而通过分别统计镜框区域的第一像素数目以及瞳孔区域的第二像素数目，并计算第一像素数目与第二像素数目的比值即可获得在采集人脸图像时刻，驾驶员的瞳孔区域在镜框区域的第一占比，从而有助于后续眼睛开合度的准确计算，提高计算效率。

在对人脸图像内的驾驶员的脸部区域进行定位过程中，可通过基于肤色聚类的人脸检测算法来确定驾驶员的肤色区域，进而基于驾驶员的肤色区域确定驾驶员的脸部区域。

考虑到摄像设备采集的人脸图像的颜色模型一般为RGB彩色模型，在一实施例中，可首先将RGB彩色模型的人脸图像转换成HSV彩色模型的人脸图像，之后再对HSV彩色模型的人脸图像运行肤色聚类的人脸检测算法来确定驾驶员的肤色区域，从而基于驾驶员的肤色区域定位出驾驶员的脸部区域，有助于提升人脸检测的准确性。

需要说明的是，在进行肤色聚类时，需要预先设置肤色范围限制条件，以便获得驾驶员的肤色区域。通过合理设置肤色范围限制条件，有助于准确定位出驾驶员的肤色区域。在定位出驾驶员的肤色区域后，可对人脸图像分别进行水平方向和垂直方向投影，以确定肤色区域的边界，进而基于肤色区域的边界在人脸图像内确定驾驶员的脸部区域，从而实现了对驾驶员的脸部区域的准确定位。

在一具体实施例中，RGB彩色模型包括R分量、G分量以及B分量。其中R分量、G分量和B分量均表示图像的颜色信息。HSV颜色模型包括H分量、S分量以及V分量。其中H分量代表图像的色彩信息，即表示图像的颜色信息，S分量代表图像的饱和度信息，即表示图像的颜色的深浅，V分量代表图像的亮度信息，即表示图像的颜色的亮度。选择HSV颜色模型作为肤色聚类的人脸检测算法实施的彩色空间，特别是对于同一肤色的人种，HSV颜色模型的H分量比较稳定，受光照变化的影响缓慢，能够使肤色分布在一个较窄的频带上，进而使皮肤颜色分布范围集中在某一区域从而能够聚成一类。

由RGB彩色模型到HSV彩色模型可以有多种实现形式，在一实施例中，本发明提供了一种实现形式，即可通过下述公式1-4实现：

公式1

公式2

公式3

公式4

其中，

和

分别为在

和

时，HSV颜色模型的H分量，代表图像的色彩信息；

为HSV颜色模型的S分量，代表图像的饱和度信息，其值在0到1之间；

为HSV颜色模型的V分量，代表图像的亮度信息，其值也在0到1之间。

、

、

分别为RGB彩色模型的R分量、G分量以及B分量，均表示图像的颜色信息。

在将人脸图像的颜色模型转换成HSV颜色模型后，可针对HSV彩色模型的人脸图像进行肤色聚类，通过肤色范围限制条件可准确获得驾驶员的肤色区域。当图像中的像素点符合公式5-7所示的肤色范围限制条件时，则认为该像素点为肤色区域。公式5-7为：

公式5

公式6

公式7

在获得驾驶员的肤色区域后，可对人脸图像分别进行水平方向和垂直方向投影，从而确定出脸部区域的边界。

考虑到脸部区域下边缘可能会受到强光、颈部肤色区域以及肤色衣物的影响，使得此处的定位比较复杂，在一些实施例中，可将脸部几何特征作为约束条件，确定出脸部区域的下边缘。一般多数人脸的高宽比在0.8:1.4之间，因而可根据公式8所示，将这一几何特征约束条件作为脸部的肤色区域边界规则，确定出驾驶员的脸部区域。公式8为：

公式8

其中，

和

分别为用水平方向和垂直方向投影求得的脸部的肤色区域的高度和宽度，

为与

和

相关的变量。

当定位出脸部区域之后，在人脸区域进一步地定位驾驶员的眼睛的位置和区域。由于驾驶员的眼睛会随着驾驶员的眼睛的运动实时变化，若直接对驾驶员的眼睛区域进行定位，比较困难。在本发明一实施例中，可采取佩戴有框眼镜的方法来获得该有框眼镜的镜框区域，进而将镜框区域作为眼睛区域使用。镜框距瞳孔的距离范围大约为1cm，因此，镜框区域接近眼睛区域，因而将镜框区域作为眼睛区域来使用的误差较小，不会影响对驾驶员的驾驶状态的判定结果。

由于镜框颜色和面部肤色通常存在较大差异，同时在眉毛和鼻梁之间都存在眼镜横梁。在一些实施例中，当在脸部区域内确定镜框区域时，首先可在脸部区域内确定驾驶员的鼻梁区域，其次可对鼻梁区域进行边缘检测确定鼻梁区域内的眼镜横梁区域的边缘，进而根据眼镜横梁区域的边缘在脸部区域内确定镜框区域。在一些实施例中，可通过Canny算子对鼻梁区域进行边缘检测。

鼻梁区域指脸部图像中双眼的内眼角之间的区域。鼻梁区域的获取方式可以是按照五官对脸部区域的图像进行分隔，形成多个图像区域，例如，人眼区域、眉毛区域、嘴巴区域、鼻梁区域等等。在一些实施例，当在脸部区域内确定驾驶员的鼻梁区域时，可根据鼻梁所处的基本位置确定鼻梁在人脸区域内的预估鼻梁区域，然后在预估鼻梁区域内确定鼻梁区域。例如，预估鼻梁区域位于人脸区域的中上部分。在预估鼻梁区域内确定鼻梁区域，可采用现有的任何物体检测方案。例如，可根据预先训练的鼻梁特征分类器确定鼻梁区域。具体地，可根据鼻梁特征分类器中的鼻梁哈尔特征（Haar-like features，简称Harr特征）来分析预估鼻梁区域的信息，然后采用AdaBoost算法及鼻梁特征分类器对预估鼻梁区域进行模式识别，以在预估鼻梁区域内确定鼻梁区域。

为了尽可能减少噪声对边缘检测结果的影响，所以必须滤除噪声以防止由噪声引起的错误检测。在一实施例中，在通过Canny算子对人脸图像进行边缘检测之前，可以利用高斯滤波法去除人脸图像的噪声，以提高边缘检测的准确性。

当定位出镜框区域后，可在镜框区域进一步定位出瞳孔区域。在一些实施例中，当在镜框区域内确定瞳孔区域时，可基于镜框区域得到镜框区域对应的镜框图像。具体地，可根据镜框区域对人脸图像进行裁剪，以得到镜框区域对应的镜框图像，该镜框图像即可作为眼睛图像。在眼睛图像中，由于瞳孔区域相较于眼睛图像中的其它区域的灰度信息存在明显差异，其中瞳孔区域的灰度值最低。因此利用眼睛图像的局部区域的灰度信息分布就可以在眼睛图像中检测出瞳孔区域。

在一些实施例中，在镜框区域内确定瞳孔区域可以包括如下步骤1至步骤3。

步骤1：获取镜框区域内像素点的灰度值；针对镜框区域内任一第一像素点，将该第一像素点作为第一预估瞳孔中心，并计算与第一预估瞳孔中心对应的第一瞳孔预估区域的灰度密度值。

本步骤中，可基于镜框区域裁剪得到镜框图像，第一像素点为镜框图像内的任一像素点，以第一像素点为中心创建滑动窗口，滑动窗口所覆盖的镜框图像的区域即为第一瞳孔预估区域，因此，滑动窗口的大小与第一瞳孔预估区域的大小相同。使该滑动窗口遍历镜框区域的每个位置，即滑动窗口的中心遍历镜框图像的每一个像素点，计算遍历的每个位置上的滑动窗口所覆盖的镜框图像内的区域的灰度密度值，作为第一瞳孔预估区域的灰度密度值，灰度密度值为第一瞳孔预估区域内所有像素点的灰度值的和。在遍历过程中，滑动窗口的中心所处的像素点为一个第一预估瞳孔中心，此时，滑动窗口覆盖的镜框图像的区域为第一预估瞳孔中心对应的第一瞳孔预估区域。

在一实施例中，滑动窗口可设置为圆形滑动窗口。圆形滑动窗口的直径可根据经验设置在遍历过程中，可以按照预先设定顺序，比如沿着自上而下、自左向右的顺序遍历整个镜框图像。

步骤2：确定最小的灰度密度值对应的第一瞳孔预估区域作为瞳孔粗定位区域。

步骤1中获得了多个第一瞳孔预估区域的灰度密度值，在本步骤中，从所有的第一瞳孔预估区域中确定灰度密度值最小的一个第一瞳孔预估区域，即为瞳孔粗定位区域，瞳孔粗定位区域的第一中心即该第一瞳孔预估区域的中心。

步骤3：根据瞳孔粗定位区域确定瞳孔区域。

在本步骤中，可以瞳孔粗定位区域作为瞳孔区域；也可以在镜框图像内确定与瞳孔粗定位区域的灰度密度值相近的瞳孔局部区域，将所有瞳孔局部区域与瞳孔粗定位区域的集合共同确定为瞳孔区域。其中，瞳孔局部区域的灰度密度值与瞳孔粗定位区域的灰度密度值的差异值小于第一阈值。

在本步骤中，在镜框图像内确定所有瞳孔局部区域的具体步骤如下：根据瞳孔粗定位区域的第一中心确定第二瞳孔预估区域的第二中心，其中，第二瞳孔预估区域的第二中心为在镜框图像内瞳孔粗定位区域的第一中心的预设范围内的第二像素点，即若预设范围为N个像素距离，第二瞳孔预估区域的第二中心为距离瞳孔粗定位区域的第一中心N个像素距离的像素点；因此，第二像素点有多个，针对每一第二像素点，将第二像素点作为第二中心，针对每一第二中心，即可确定与每一第二中心对应的一个第二瞳孔预估区域，并计算获得该第二瞳孔预估区域的灰度密度值，其中，第二瞳孔预估区域与第一瞳孔预估区域的尺寸大小相同，其灰度密度值计算方式与第一瞳孔预估区域相同，以便在同样的像素点数目范围内计算灰度密度值进行比较。

针对每一第二瞳孔预估区域，计算第二瞳孔预估区域的灰度密度值与瞳孔粗定位区域的灰度密度值的差异值，即第二瞳孔预估区域与瞳孔粗定位区域的灰度密度值之差；之后，得到所有第二瞳孔预估区域与瞳孔粗定位区域的灰度密度值的差异值，若差异值小于第一阈值，则该第二瞳孔预估区域为瞳孔局部区域，若差异值大于第一阈值，则该第二瞳孔预估区域不是瞳孔局部区域，因此，可以根据差异值可以确定所有瞳孔局部区域。这一实施例中，第一阈值根据经验设定。

瞳孔局部区域可以为1个、2个或更多个。每个瞳孔局部区域的灰度密度值均与最小的灰度密度值近似相等，则认为瞳孔局部区域与瞳孔粗定位区域均为瞳孔区域。“近似”指差异非常小，也就是说，每个瞳孔局部区域的灰度值均为无限接近于最小的灰度密度值。

此外，在这一步骤中，由于用相同大小的滑动窗口确定从镜框图像中确定第一瞳孔预估区域、第二瞳孔预估区域，因此第一瞳孔预估区域和第二瞳孔预估区域的尺寸大小相同，通过第一瞳孔预估区域确定的瞳孔粗定位区域以及通过第二瞳孔预估区域确定的瞳孔局部区域的尺寸大小也相同，均为滑动窗口的大小。

在一些实施例中，可获取与瞳孔粗定位区域的灰度密度值之差小于第一阈值的所有瞳孔局部区域，并基于所有瞳孔局部区域和瞳孔粗定位区域的集合在镜框区域内确定瞳孔区域。

下面以创建圆形滑动窗口，并使圆形滑动窗口遍历矩形镜框图像（即人眼图像）为例对遍历过程进行说明。

首先将创建的圆形滑动窗口记为

，其中

表示镜框图像的每个位置，并假设

的直径为

，则

要小于矩形镜框图像的宽度。

其次，以矩形镜框图像的一个顶点为原点建立坐标系，并将

的中心在矩形镜框图像中的位置记为

。此时，当以圆形滑动窗口的中心所在的像素点为原点建立新的坐标系时，可将每个位置上

所覆盖的镜框图像的部分区域的灰度密度值记为

，则有：

公式9

其中，

，且

。

表示人眼图像的每个位置，

表示人眼图像的宽度。

根据上述公式9即可计算出人眼图像的每个位置上

所覆盖的镜框图像的部分区域的灰度密度值，之后可对比每个位置上的灰度密度值，以找到最小的灰度密度值，假设记为

，则

对应的区域即为瞳孔粗定位区域，可作为瞳孔区域。若将该最小的灰度密度值

对应的区域的中心记为

，则

可作为瞳孔粗定位区域中心，即第一中心，以便用来确定瞳孔局部区域。

考虑到瞳孔处可能出现光斑，会造成瞳孔的中心与实际偏离，所以在得到瞳孔粗定位区域后，还可对瞳孔粗定区域进行校正。具体地，可以最小的灰度密度值

对应的区域（即，瞳孔粗定位区域）为基础，依据预设限定条件在瞳孔粗定位区域周围的预设范围内搜索灰度密度值与最小的灰度密度值

之差小于第一阈值的所有区域，作为所有瞳孔局部区域，进而基于所有瞳孔局部区域以及瞳孔粗定位区域的集合即可确定出瞳孔区域，通过计算瞳孔区域的中心位置即可实现对瞳孔区域的精准定位。

若瞳孔局部区域记为

，瞳孔局部区域的灰度密度值记为

，瞳孔局部区域的中心记为

，预设限定条件可设置为：

，且

，且

，其中

为圆形滑动窗口的半径。瞳孔区域的中心位置可以通过下述公式10-11计算。假设用

表示瞳孔区域的中心位置的坐标，则：

公式10

公式11

其中，

为满足上述预设限定条件的瞳孔局部区域的个数。

在另一些实施例中，在基于镜框区域得到镜框区域对应的镜框图像之后，还可对镜框图像进行预处理。预处理包括灰度变换以及增强对比度等。镜框图像为从人脸图像裁剪得到，当其为彩色图像时，需要转为灰度图像，并通过直方图均衡化的方法增强该灰度图像的对比度。通过预处理，可使镜框图像更清晰，且明暗分明。当然，在一些其他实施例中，还可在基于镜框区域得到镜框区域对应的镜框图像之前，直接对人脸图像进行预处理，进而通过裁剪即可得到较清晰的镜框图像，便于直接使用。

在一些实施例中，当执行步骤S210时，可确定驾驶员的一个闭眼周期，进而分别计算该闭眼周期内眼睛开合度低于第一设定阈值的第一时间以及低于第二设定阈值的第二时间，然后根据第一时间与第二时间计算可得到PERCLOS值，进而根据PERCLOS值来确定驾驶员的驾驶状态。PERCLOS为精神生理疲劳程度的测量指标，指眼睛闭合时间占某一特定时间的百分率，PERCLOS值可通过计算第一时间与第二时间的比值的百分比得到。其中，第一设定阈值小于第二设定阈值。第一设定阈值可设置为80%，第二设定阈值可设置为20%。闭眼周期是指驾驶员在清醒状态下的眼睛从睁开-闭合-睁开的一个循环所用的时间。

图3是根据本发明一个实施例的PERCLOS值的测量原理示意图。其中，横坐标为时间，纵坐标为眼睛开度，参见图3所示，通过测量

到

的值，即可根据下述公式12计算PERCLOS值：

公式12

其中，

为驾驶员的眼睛开合度的眼睛开度从清醒状态下的最大开度到眼睛开度为第一设定阈值所用的时间，

为驾驶员的眼睛开度从最大开度到眼睛开度为第二设定阈值所用的时间，

为驾驶员的眼睛开度从最大开度到下一次的眼睛开度为第二设定阈值所用的时间，

为驾驶员的眼睛开度从最大开度到下一次的眼睛开度为第一设定阈值所用的时间。

在计算出PERCLOS值之后，即可根据计算出的PERCLOS值判定驾驶员是否处于疲劳状态。例如，假设闭眼周期为1min，可依据以下判断条件来判断驾驶员是否处于疲劳状态。

（1）若PERCLOS值小于第二阈值，则判定驾驶员处于清醒状态。第二阈值可设置为7.5%。

（2）若PERCLOS值落在第二阈值与第三阈值之间，则判定驾驶员处于轻度疲劳状态。第二阈值小于第三阈值。在第二阈值设置为7.5%，第三阈值可设置为15%。

（3）若PERCLOS值大于第三阈值，则判定驾驶员处于重度疲劳状态。

在一些实施例中，当判定驾驶员处于疲劳状态（如，轻度疲劳状态或者重度疲劳状态），可以生成报警信号，以提示驾驶员注意休息，避免发生事故。报警信号可以直接通过车辆内安装的报警器或者蜂鸣器输出，也可以通过车载电子终端输出，比如通过车载多媒体娱乐主机输出。

图4是根据本发明另一个实施例的车辆驾驶员的驾驶状态确定方法流程图。本实施例通过摄像头采集驾驶员的人脸图像。参见图4所示，车辆驾驶员的驾驶状态确定方法可包括步骤S402至步骤S456。

步骤S402，开启摄像头。

步骤S404，实时采集驾驶员的人脸图像，其中驾驶员带有眼镜。

步骤S406，将人脸图像的颜色模型转换成HSV彩色模型。

步骤S408，对HSV彩色模型的人脸图像进行肤色聚类，得到驾驶员的肤色区域。

步骤S410，对肤色聚类后的人脸图像进行水平方向和垂直方向投影，确定脸部的肤色区域的边界。

步骤S412，根据边界确定脸部区域。

步骤S414，在脸部区域内确定鼻梁区域，对鼻梁区域的图像进行高斯平滑滤波。

步骤S416，通过Canny算子对滤波后的鼻梁区域进行边缘检测，确定鼻梁区域内的眼镜横梁区域的边缘。边缘检测的上限阈值可设置为300，下限阈值可设置为150。

步骤S418，根据边缘确定镜框区域，并裁剪出该镜框区域对应的镜框图像。

步骤S420，对镜框图像进行预处理。本步骤中的预处理可以是将镜框图像转换成灰度图像，并通过直方图均衡化的方法增强灰度图像的对比度。

步骤S422，创建圆形滑动窗口，使圆形滑动窗口遍历预处理后的镜框图像的每个位置。其中，圆形滑动窗口的直径小于镜框图像的尺寸。

步骤S424，计算遍历的每个位置上圆形滑动窗口所覆盖的预处理后的镜框图像区域内的灰度密度值，作为第一瞳孔预估区域的灰度密度值。

步骤S426，确定最小的灰度密度值对应的第一瞳孔预估区域作为瞳孔粗定位区域。

步骤S428，根据瞳孔粗定位区域的第一中心确定与第一瞳孔预估区域大小相同的第二瞳孔预估区域的第二中心。

步骤S430，确定与第二中心对应的第二瞳孔预估区域，并获取第二瞳孔预估区域的灰度密度值。

步骤S432，计算第二瞳孔预估区域的灰度密度值与瞳孔粗定位区域的灰度密度值的差异值。

步骤S434，将差异值小于第一阈值的第二瞳孔预估区域作为瞳孔局部区域，并将所有瞳孔局部区域与瞳孔粗定位区域的集合共同确定为瞳孔区域。

步骤S436，分别统计并记录镜框区域的第一像素数目以及瞳孔区域的第二像素数目。

步骤S438，计算第一像素数目与第二像素数目的比值获得驾驶员的瞳孔区域在镜框区域的第一占比。

步骤S440，获取该驾驶员在清醒状态下的瞳孔区域在镜框区域的第二占比。

步骤S442，根据第一占比以及第二占比计算得到眼睛开合度。

步骤S444，根据眼睛开合度计算PERCLOS值。

步骤S446，判断PERCLOS值是否小于第二阈值。若是，执行步骤S448；若否，执行步骤S450。

步骤S448，判定驾驶员处于清醒状态。然后返回步骤S404。

步骤S450，判断PERCLOS值是否落在第二阈值与第三阈值范围之间。若是，执行步骤S452；若否，执行步骤S456。

步骤S452，判定驾驶员处于轻度疲劳状态。

步骤S454，生成并输出报警信号。然后返回步骤S404。

步骤S456，判定驾驶员处于重度疲劳状态。然后重新执行步骤S454。

在本发明一些实施例中，还提供了一种计算机存储介质。在该实施例中，计算机存储介质存储有计算机程序代码，当计算机程序代码在计算设备上运行时，导致计算设备执行上述任一实施例中的车辆驾驶员的驾驶状态确定方法。

本发明实施例通过识别实时采集的驾驶员的人脸图像中的镜框区域，可以确定在采集时刻的驾驶员的瞳孔区域在镜框区域的第一占比，进而通过计算采集时刻的驾驶员的瞳孔区域在镜框区域的第一占比以及驾驶员在清醒状态下的瞳孔区域在镜框区域的第二占比，即可快速、准确地计算出眼睛开合度，进而根据眼睛开合度来确定驾驶员的驾驶状态。基于本实施例的方案，可通过第一占比以及第二占比快速、准确地计算出眼睛开合度。相对现有技术而言，可有效解决瞳孔的面积实时变化无法确定以及瞳孔边缘很难做到精确识别等问题。

进一步地，本发明实施例通过定位和识别眼镜的镜框，就可快速定位出驾驶员人脸图像的眼睛的位置和区域，有助于眼睛开合度的准确计算，且提高了计算效率。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims

1.一种车辆驾驶员的驾驶状态确定方法，其特征在于，包括：

实时采集驾驶员的人脸图像，其中，所述驾驶员带有眼镜；

识别所述人脸图像中的镜框区域，并在所述镜框区域内确定所述驾驶员的瞳孔区域；

计算所述瞳孔区域在所述镜框区域的第一占比；

获取所述驾驶员在清醒状态下的所述瞳孔区域在所述镜框区域的第二占比；

根据所述第一占比与所述第二占比计算得到眼睛开合度；

根据所述眼睛开合度确定所述驾驶员的驾驶状态；

其中，所述识别所述人脸图像中的镜框区域，并在所述镜框区域内确定所述驾驶员的瞳孔区域，包括：在所述人脸图像内确定所述驾驶员的脸部区域，在所述脸部区域内确定所述镜框区域，在所述镜框区域内确定所述瞳孔区域；

其中，在所述镜框区域内确定所述瞳孔区域，包括：

获取所述镜框区域内像素点的灰度值；

针对所述镜框区域内任一第一像素点，将所述第一像素点作为第一预估瞳孔中心，计算与所述第一预估瞳孔中心对应的第一瞳孔预估区域的灰度密度值；

确定最小的所述灰度密度值对应的第一瞳孔预估区域，作为瞳孔粗定位区域；

根据所述瞳孔粗定位区域确定所述瞳孔区域。

2.根据权利要求1所述的车辆驾驶员的驾驶状态确定方法，其特征在于，计算所述瞳孔区域在所述镜框区域的第一占比，包括：

分别统计所述镜框区域的第一像素数目以及所述瞳孔区域的第二像素数目；

计算所述第一像素数目与所述第二像素数目的比值获得所述瞳孔区域在所述镜框区域的第一占比。

3.根据权利要求1所述的车辆驾驶员的驾驶状态确定方法，其特征在于，根据所述瞳孔粗定位区域确定所述瞳孔区域，包括：

将所述瞳孔粗定位区域作为所述瞳孔区域；

或者，

在所述镜框图像内确定瞳孔局部区域，其中，所述瞳孔局部区域的灰度密度值与所述瞳孔粗定位区域的灰度密度值的差异值小于第一阈值；

将所述瞳孔局部区域与所述瞳孔粗定位区域的集合共同确定为所述瞳孔区域。

4.根据权利要求3所述的车辆驾驶员的驾驶状态确定方法，其特征在于，在所述镜框图像内确定所述瞳孔局部区域，包括：

根据所述瞳孔粗定位区域的第一中心确定第二瞳孔预估区域的第二中心，其中，所述第二中心为所述镜框图像内在所述瞳孔粗定位区域的中心的预设范围内的第二像素点；

针对每一所述第二中心，确定与所述第二中心对应的所述第二瞳孔预估区域，并获取所述第二瞳孔预估区域的灰度密度值，其中，所述第二瞳孔预估区域与所述第一瞳孔预估区域大小相同；

针对每一所述第二瞳孔预估区域，计算所述第二瞳孔预估区域的灰度密度值与所述瞳孔粗定位区域的灰度密度值的差异值；

根据所述差异值确定所述镜框图像内的所有瞳孔局部区域，其中，所述瞳孔局部区域为所述差异值小于所述第一阈值的第二瞳孔预估区域。

5.根据权利要求1所述的车辆驾驶员的驾驶状态确定方法，其特征在于，所述在所述脸部区域内确定所述镜框区域，包括：

在所述脸部区域内确定所述驾驶员的鼻梁区域；

对所述鼻梁区域进行边缘检测，确定所述鼻梁区域内的眼镜横梁区域的边缘；

根据所述眼镜横梁区域的边缘在所述脸部区域内确定所述镜框区域。

6.根据权利要求1所述的车辆驾驶员的驾驶状态确定方法，其特征在于，所述根据所述眼睛开合度确定驾驶员的驾驶状态，包括：

确定所述驾驶员的一个闭眼周期；

分别计算所述闭眼周期内所述眼睛开合度低于第一设定阈值的第一时间以及低于第二设定阈值的第二时间，所述第一设定阈值小于所述第二设定阈值；

根据所述第一时间与所述第二时间计算得到PERCLOS值；

根据所述PERCLOS值确定驾驶员的驾驶状态。

7.根据权利要求6所述的车辆驾驶员的驾驶状态确定方法，其特征在于，所述根据所述PERCLOS值确定所述驾驶员的驾驶状态包括：

若所述PERCLOS值小于第二阈值，判定所述驾驶员处于清醒状态；

若所述PERCLOS值落在所述第二阈值与第三阈值之间，判定所述驾驶员处于轻度疲劳状态，所述第二阈值小于所述第三阈值；

若所述PERCLOS值大于所述第三阈值，判定所述驾驶员处于重度疲劳状态。

8.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序代码，当所述计算机程序代码在计算设备上运行时，导致所述计算设备执行权利要求1-7中任一项所述的车辆驾驶员的驾驶状态确定方法。

9.一种电子设备，其特征在于，包括：

处理器；

存储器，存储有计算机程序代码；

当所述计算机程序代码被所述处理器运行时，导致所述电子设备执行权利要求1-7中任一项所述的车辆驾驶员的驾驶状态确定方法。