CN117178307A - 基于眨眼分析来确定人的疲劳度 - Google Patents

Abstract

本发明提供一种用于确定机动车的驾驶员的疲劳度的方法。该方法包括：确定驾驶员的睁开的眼睛的平均眼睛睁开程度，其中眼睛睁开程度对应于眼睛的上眼皮和下眼皮之间的距离；确定下限值和上限值，其中下限值和上限值分别对应于小于所确定的平均眼睛睁开程度的眼睛睁开程度；确定驾驶员的眼睛的睁开过程的平均持续时间，其中在睁开过程期间眼睛睁开程度位于下限值和上限值之间；并且基于所确定的睁开过程的平均持续时间，确定驾驶员的疲劳度。

Description

基于眨眼分析来确定人的疲劳度

技术领域

本发明涉及一种用于确定机动车的驾驶员的疲劳度的方法和一种被设计为执行该方法的控制设备。

背景技术

机动车驾驶员、特别是汽车驾驶员的疲劳度通常可以通过视觉或非视觉方式来确定。

非视觉方案包括例如基于对机动车驾驶员的转向动作的分析来确定疲劳度，例如在DE102011108305A1中描述。

然而，对于很大一部分驾驶员来说，基于转向动作来确定疲劳度是非常不准确的。

视觉方案包括特别是检测和分析眼睛状况(例如眼睛是睁着还是闭着)和/或瞳孔直径，例如在WO18149519A1中描述。

视觉方案通常使用基于视频的设备来检测和分析眼睛状况，该设备具有针对机动车驾驶员的摄像系统和用于高频确定驾驶员眼睛状况的图像处理单元。

在此，视觉方案基于以下假设：与不疲劳的机动车驾驶员相比，疲劳的机动车驾驶员的眨眼频率更高，并且眨眼一次需要更长的时间。

用于从眼睛状况分析中确定疲劳度的现有技术包括PERCLOS算法的应用，例如在DE29607558U1和CN104269028A中描述，其中在一定时间间隔内对眼睛闭合时间进行求和并且计算为百分比(例如，在最近300秒的测量中，驾驶员闭着眼睛占16％)。所确定的百分比值与特定的疲劳度级别相关联(例如0-10％清醒，10-25％困倦等)。

然而，与基于转向动作来确定疲劳度一样，PERCLOS算法也具有相当大的不准确性，因为对眼睛闭合时间的简单求和不能准确地区分眨眼频率较低的疲劳驾驶员和普通或剧烈高频眨眼的不疲劳驾驶员(例如由于受到太阳或迎面驶来的车辆的眩光时)。

替代地，可以基于眨眼频率(如DE102007054310A1中所述)或眨眼动作(如DE112010005290T5和DE10024227A1中所述)来确定疲劳度。这是基于这样的观察：在眨眼期间，眼睛闭合的速度与疲劳程度成反比。

基于眨眼频率分析的方案在识别疲劳方面也没有足够的准确性，因为在许多疲劳的驾驶员中仅观察到眨眼持续时间的增加，而没有观察到眨眼频率的增加。

对不同种族群体的眨眼速度的分析难以实现，由于这些群体的正常眼部睁开度通常较小(例如亚洲驾驶员)，或者由于所有驾驶员都会受到太阳或迎面驶来的车辆的眩光影响。

另一种已知的方法基于瞳孔直径的分析，例如在DE102017202659A1中描述。

基于瞳孔直径分析的方案还有一个缺点，即疲劳和不疲劳的驾驶员在白天、夜间和炫光条件下的瞳孔直径不同，这与疲劳程度几乎没有关联。

发明内容

在现有技术的背景下，本发明的目的是提供一种设备和方法，其各自适合于至少克服现有技术的上述缺点。

该目的通过独立权利要求的特征来实现。从属权利要求包含本发明的优选拓展。

因此，通过用于确定机动车的驾驶员的疲劳度的方法来实现该目的。该方法也可以称为基于眨眼分析来确定人的疲劳度的方法。

该方法包括以下步骤：确定驾驶员的睁开的眼睛的平均眼睛睁开程度，其中眼睛睁开程度对应于眼睛的上眼皮和下眼皮之间的距离。

眼睛睁开时的平均眼睛睁开程度也可以称为正常睁开。为了确定或确认正常睁开，可以在一定时间段内观察眼睛睁开程度，其中在该时间段中发生多次眨眼过程。在眨眼过程中，首先会出现眼睛睁开程度减小的闭眼运动，然后会出现眼睛睁开程度增大的睁眼运动。在各个眨眼过程之间的时间段内，眼睛是睁开的，并且眼睛睁开程度围绕与眼睛睁开时的平均眼睛睁开程度相对应的值波动。因此，为了确定眼睛睁开时的平均眼睛睁开程度，仅考虑眼睛睁开的时间段，即各个眨眼过程之间的时间段。具体而言，这可能意味着从眼睛测量数据中滤除眨眼过程，并且基于剩余的测量数据来计算眼睛睁开时的平均眼睛睁开程度。例如，可以基于眼睛睁开程度随时间的曲线斜率从测量数据中过滤掉眨眼过程。

该方法还包括以下步骤：确定下限值和上限值，其中下限值和上限值分别对应于小于所确定的睁开的眼睛的平均眼睛睁开程度的眼睛睁开程度。

可以考虑，下限值和上限值分别通过将所确定的睁开的眼睛(或正常睁开)的平均眼睛睁开程度乘以预定百分比来确定。下限值小于上限值。

该方法还包括以下步骤：确定驾驶员的眼睛的睁开过程的平均持续时间，其中在睁开过程期间眼睛睁开程度位于下限值和上限值之间。

这意味着，为了确定眼睛睁开过程的持续时间，可以检测眼睛睁开程度，并且基于此确定每次眨眼的时间段或持续时间，其中眼睛睁开程度位于下限值和上限值之间。该时间段可以通过多次眨眼来确定。可以通过将多次眨眼的每次眨眼的持续时间相加再除以多次眨眼的次数以获得平均睁开持续时间，来确定眼睛睁开程度位于下限值和上限值之间的平均持续时间。

该方法还包括以下步骤：基于所确定的睁开过程的平均持续时间来确定驾驶员的疲劳度。

可以考虑，驾驶员的疲劳度与睁开过程的平均持续时间成比例。

所确定的睁开的眼睛或正常睁开的平均眼睛睁开程度可以在第一预定时间段期间进行，并且确定睁开过程的平均持续时间可以在第一预定时间段随后的第二预定时间段期间进行。

在睁开过程期间，位于下限值和上限值之间的眼图睁开程度可能会变得更大。

这意味着，当确定睁开过程的平均持续时间时，可以仅考虑或只考虑在眼睛睁开期间的时间，因为只有在这里，下眼皮和上眼皮之间的距离才会变大(在眼睛的闭合过程中，该距离变得更小)。

睁开的眼睛(或正常睁开)的平均眼睛睁开程度和/或用于确定睁开过程的平均持续时间的眼睛睁开程度的确定可以借助于摄像系统进行。

这意味着，可以提供摄像机，其被对准以便检测驾驶员的眼睛。基于由摄像机检测的图像数据、特别是连续检测的图像数据，可以确定眼睛睁开程度，特别是借助于连接到摄像机的计算单元。

驾驶员的疲劳度的确定可以通过将眼睛睁开过程的平均时间与预定的离散的疲劳级别和/或疲劳百分比量表关联来进行。

可以考虑，例如基于存储在数据库中的历史数据来进行关联。例如在研究范围中可以预先确定驾驶员在存在何种睁开过程的平均持续时间时应归类到卡罗林斯卡疲劳量表的哪个疲劳级别，以便当该方法用于机动车时可以根据从研究中获得的数据进行关联。

该方法还可以包括：根据所确定的驾驶员的疲劳度，向机动车输出控制信号。

可以考虑，例如借助于控制信号来限制机动车的行驶速度和/或当超过预定的疲劳极限值时警告驾驶员关于其疲劳状态。还可以考虑，附加地或替代地，如果超过预定的疲劳极限值，则阻止自动驾驶的激活。

换言之，以上描述可以总结为如下所述的具体实施例。

可以考虑，借助于摄像机或用于高频检测驾驶员的眼睛睁开程度的替代系统，确定眼睛睁开或驾驶员眼睛正常睁开的平均眼睛睁开程度。睁开或已睁开的眼睛的平均眼睛睁开程度可以被定义为在一定时间间隔内发生的眨眼之间的在上眼皮和下眼皮之间的平均距离(例如以毫米为单位)。

基于所确定的眼睛睁开程度，可以通过滤除各个眨眼期间的眼睛睁开程度来计算针对时间间隔T1(例如最近20秒)的眼睛的正常睁开。因此，正常睁开可以包括：在从测量数据中排除眨眼过程之后计算眼睛睁开程度的平均值。正常睁开可以被用作计算归一化眼睛睁开时间的参考(例如100％或1.0)

归一化眼睛睁开时间的计算可以对应于在达到最低点后(即闭眼后)眼睛睁开程度在低参考点P1(例如正常睁开的20％或0.2)与高参考点(例如正常睁开的80％或0.8)之间变化的时间或时间间隔。

基于此，可以计算在时间间隔T2中(例如在最近90秒内的眨眼过程中)的归一化眼睛睁开时间的平均值。

为了确定疲劳度，现在可以将眼睛睁开过程的平均时间与特定的离散的疲劳级别相关联(例如0.1秒-0.3秒清醒，0.3-0.5秒轻微疲劳，0.5-0.7秒疲劳，0.7秒...困倦)，与卡罗林斯卡疲劳量表相关联(0.1-0.2秒-1级；0.2-0.3秒-2级，...大于1.0秒-10级)，或者与疲劳百分比量表相关联(例如0.1秒-0％疲劳，1.3秒或更高-100％疲劳)。

此外，提供一种用于机动车、特别是自动化的机动车的控制设备，其中该控制设备被设计为至少部分地执行上述方法。

上面关于方法的描述也适用于控制设备，反之亦然。

附图说明

下面参照图1至图3描述实施例。

图1示意性地示出用于确定机动车的驾驶员的疲劳度的方法的流程图。

图2示意性地示出在驾驶员不疲劳时眨眼的眼睛睁开程度的曲线。

图3示意性地示出在驾驶员疲劳时眨眼的眼睛睁开程度的曲线。

具体实施方式

从图1中可以看出，用于确定机动车的驾驶员的疲劳度的方法主要具有五个步骤S1-S5。

该方法可以通过安装在例如自动化汽车中的未示出的控制设备来执行。为此目的，控制设备可以具有计算单元并且连接至(视频)摄像机，该摄像机指向车辆内部并且被设计成检测驾驶员的眼睛。

该方法基于分析在驾驶员眨眼时的眼睛睁开程度a的曲线，这也可以称为眨眼过程。眼睛睁开程度a对应于眼睛的上眼皮和下眼皮之间的距离。

在图2中示出了例如针对不疲劳的驾驶员的眼睛睁开程度a(垂直轴)关于时间t(水平轴)的曲线，并且在图3中示出了针对疲劳的驾驶员的曲线，分别为一次眨眼。

在该方法的第一步骤S1中，首先确定在给定时间间隔中的驾驶员的睁开的眼睛的平均眼睛睁开程度a_ref。

在该方法的第二步骤S2中，确定下限值a_min和上限值a_max(参见图2和图3)，其中下限值a_min和上限值a_max分别对应于小于所确定的平均眼睛睁开程度a_ref的眼睛睁开程度a。

下限值a_min可以例如对应于平均眼睛睁开程度a_ref的20％，并且上限值a_max可以例如对应于平均眼睛睁开程度a_ref的80％。

在该方法的第三步骤S3中，确定驾驶员的眼睛的睁开过程的平均持续时间，其中仅考虑持续时间t1、t2，在此期间眼睛睁开程度a位于下限值a_min和上限值a_max之间，并且同时变大。

对图2和图3共同观察可以看出，与非疲劳驾驶员的持续时间t1相比，疲劳驾驶员的睁开过程的持续时间t2增加，即，疲劳驾驶员的睁开过程比非疲劳或清醒驾驶员持续更长时间。

在该方法的第四步骤S4中，然后基于所确定的睁开过程的平均持续时间来确定驾驶员的疲劳度。

具体而言，通过将眼睛睁开的平均时间与特定的离散的疲劳级别(特别是卡罗林斯卡疲劳量表)和/或疲劳百分比量表关联，来确定驾驶员的疲劳度。

该方法还可以包括可选的第五步骤S5，其中控制单元根据所确定的驾驶员的疲劳度向机动车输出控制信号。

在第一步骤S1中的平均最大眼睛睁开程度a_ref的确定可以在第一时间段内进行，并且在第三步骤S3中的驾驶员的眼睛的睁开过程的平均持续时间的确定可以在第二时间段内进行，其中第二时间段可以在第一时间段之后。

附图标记列表

a 眼睛睁开程度(毫米)

a_ref 睁开的眼睛或正常睁开的平均眼睛睁开程度

a_max 上限值

a_min 下限值

S1-S5 方法步骤

t 时间(秒)

t_1 驾驶员不疲劳时睁开过程的持续时间

t_2 驾驶员疲劳时睁开过程的持续时间

Claims (7)

1.一种用于确定机动车的驾驶员的疲劳度的方法，其特征在于，所述方法包括：

-确定(S1)所述驾驶员的睁开的眼睛的平均眼睛睁开程度(a_ref)，其中眼睛睁开程度(a)对应于所述眼睛的上眼皮和下眼皮之间的距离；

-确定(S2)下限值(a_min)和上限值(a_max)，其中所述下限值(a_min)和所述上限值(a_max)分别对应于小于所确定的所述平均眼睛睁开程度(a_ref)的眼睛睁开程度(a)；

-确定(S3)所述驾驶员的眼睛的睁开过程的平均持续时间，其中在所述睁开过程期间所述眼睛睁开程度(a)位于所述下限值(a_min和所述上限值(a_max)之间；并且

-基于所确定的所述睁开过程的平均持续时间，确定(S4)所述驾驶员的疲劳度。

2.根据权利要求1所述的方法，其特征在于，确定(S1)所述睁开的眼睛的平均眼睛睁开程度(a_ref)在第一预定时间段期间进行，并且确定(S3)所述睁开过程的平均持续时间在所述第一预定时间段随后的第二预定时间段期间进行。

3.根据权利要求1或2所述的方法，其特征在于，在所述睁开过程期间，位于所述下限值(a_min)和所述上限值(a_max)之间的所述眼睛睁开程度(a)变得更大。

4.根据前述权利要求中任一项所述的方法，其特征在于，确定(S1)所述睁开的眼睛的平均眼睛睁开程度(a_ref)和/或确定(S3)所述眼睛睁开程度(a)以确定所述睁开过程的平均持续时间借助于摄像系统进行。

5.根据前述权利要求中任一项所述的方法，其特征在于，确定(S4)所述驾驶员的疲劳度通过以下方式进行：将所述眼睛的睁开过程的平均持续时间与特定的离散的疲劳级别、特别是卡罗林斯卡疲劳量表关联和/或与疲劳百分比量表关联。

6.根据前述权利要求中任一项所述的方法，其特征在于，所述方法包括：根据所确定的所述驾驶员的疲劳度，向所述机动车输出(S5)控制信号。

7.一种用于机动车的控制设备，其特征在于，所述控制设备被设计为执行根据前述权利要求中任一项所述的方法。