CN113879317A - 驾驶员监视装置 - Google Patents

Abstract

提供适当判定驾驶员面部颜色变化的驾驶员监视装置，具备：检测部，根据在不同时刻对车辆的驾驶员面部进行摄影而得到的多个面部图像检测各个面部图像中车辆的前后方向与驾驶员面部朝向所成的面部朝向角度和驾驶员面部的预定区域的颜色；面部颜色存储部，在从在第1时刻摄影到的第1面部图像检测到的面部朝向角度包含于预定面部朝向角度范围的情况下使存储部存储从第1面部图像检测到的预定区域的颜色；及面部颜色判定部，在从在比第1时刻靠后的第2时刻摄影到的第2面部图像检测到的面部朝向角度包含于面部朝向角度范围且从第2面部图像检测到的预定区域的颜色与存储于存储部的预定区域的颜色之差超过变化阈值的情况下判定为面部颜色异常。

Description

驾驶员监视装置

技术领域

本发明涉及监视车辆的驾驶员的面部颜色的驾驶员监视装置。

背景技术

车辆的驾驶员的面部颜色与身体状态相应地变化。在驾驶员的面部颜色与通常的面部颜色不同的情况下，驾驶员的身体状态与通常不同，交通事故的风险有可能会增加。提出了监视驾驶中的驾驶员的面部颜色，根据面部颜色的变化来控制车辆的动作的技术。

在专利文献1中，记载有比较由摄像部摄像到的车辆的驾驶员的面部图像和存储于存储部的面部图像，判定面部颜色的变化，在存在变化的情况下进行车辆停止控制的饮酒驾驶防止装置。

现有技术文献

专利文献

专利文献1：日本特开2010－052635号公报

发明内容

驾驶员为了对车辆的周围倾注足够的注意，所以将头朝向各种方向。当在摄像到的面部图像以及所存储的面部图像中，面部朝向不一致的情况下，有可能会无法适当地判定面部颜色的变化。

本发明的目的在于提供适当地判定驾驶员的面部颜色的变化的驾驶员监视装置。

本发明提供一种驾驶员监视装置，具备：检测部，根据在不同的时刻对车辆的驾驶员的面部进行摄影而得到的多个面部图像，检测各个面部图像中的车辆的前后方向与驾驶员的面部朝向所成的面部朝向角度和驾驶员的面部的预定区域的颜色；面部颜色存储部，在从在第1时刻摄影到的第1面部图像检测到的面部朝向角度包含于预定的面部朝向角度范围的情况下，使存储部存储从第1面部图像检测到的预定区域的颜色；面部颜色判定部，在从在比第1时刻靠后的第2时刻摄影到的第2面部图像检测到的面部朝向角度包含于面部朝向角度范围，且从第2面部图像检测到的预定区域的颜色与存储于存储部的预定区域的颜色之差超过变化阈值的情况下，判定为面部颜色异常。

在本发明的驾驶员监视装置中，优选第1时刻是比驾驶员从车辆下车的时刻靠前第1宽限时间的时刻，第2时刻是从驾驶员乘坐到车辆的时刻起第2宽限时间后的时刻。

在本发明的驾驶员监视装置中，优选第1时刻是比车辆的驱动源成为关断的时刻靠前第1宽限时间的时刻，第2时刻是从车辆的驱动源成为接通的时刻起第2宽限时间后的时刻。

在本发明的驾驶员监视装置中，优选检测部检测车辆的驾驶员为多个人物中的哪个人物，面部颜色存储部针对每个检测到的人物而存储预定区域的颜色，面部颜色判定部针对每个检测到的人物而判定是否为面部颜色异常。

本发明的驾驶员监视装置优选为还具备异常处置部，在被判定为面部颜色异常的情况下，该异常处置部执行向驾驶员的通知或者使车辆停止的控制。

本发明提供一种驾驶员监视方法，包括：根据在不同的时刻对车辆的驾驶员的面部进行摄影而得到的多个面部图像，检测各个面部图像中的车辆的前后方向与驾驶员的面部朝向所成的面部朝向角度和驾驶员的面部的预定区域的颜色；在从在第1时刻摄影到的第1面部图像检测到的面部朝向角度包含于预定的面部朝向角度范围的情况下，使存储部存储从第1面部图像检测到的预定区域的颜色；以及在从在比第1时刻靠后的第2时刻摄影到的第2面部图像检测到的面部朝向角度包含于面部朝向角度范围，且从第2面部图像检测到的预定区域的颜色与存储于存储部的颜色之差超过变化阈值的情况下，判定为面部颜色异常。

根据本发明的驾驶员监视装置，能够适当地判定驾驶员的面部颜色的变化。

附图说明

图1是安装驾驶员监视装置的车辆的概略结构图。

图2是ECU的硬件示意图。

图3是ECU所具有的处理器的功能框图。

图4是说明驾驶员监视装置的动作概要的图。

图5是驾驶员监视处理的流程图。

图6是面部颜色判定处理的流程图。

图7是面部颜色存储处理的流程图。

符号说明

1：车辆；5：ECU；531：检测部；532：面部颜色存储部；533：面部颜色判定部；534：异常处置部。

具体实施方式

以下，参照附图详细地说明适当地判定驾驶员的面部颜色的变化的驾驶员监视装置。驾驶员监视装置根据在不同的时刻对车辆的驾驶员的面部进行摄影而得到的多个面部图像，检测各个面部图像中的车辆的前后方向与驾驶员的面部朝向所成的面部朝向角度和驾驶员的面部的预定区域的颜色。另外，驾驶员监视装置在从在第1时刻摄影到的第1面部图像检测到的面部朝向角度包含于预定的面部朝向角度范围的情况下，使存储部存储从第1面部图像检测到的预定区域的颜色。然后，驾驶员监视装置在从在比第1时刻靠后的第2时刻摄影到的第2面部图像检测到的面部朝向角度包含于面部朝向角度范围，且从第2面部图像检测到的预定区域的颜色与存储于存储部的预定区域的颜色之差超过变化阈值的情况下，判定为面部颜色异常。

图1是安装驾驶员监视装置的车辆的概略结构图。

车辆1具有引擎2、驱动器监视器摄像机3、仪表显示器4以及ECU5(ElectronicControl Unit，电子控制单元)。引擎2、驱动器监视器摄像机3以及仪表显示器4与ECU5经由遵循控制器局域网络这样的标准的车内网络能够通信地连接。

引擎2是车辆1的驱动源的一个例子，提供使车辆1行驶的动力。引擎2通过成为接通而起动，成为能够对车辆1提供动力的状态。另外，引擎2通过成为关断而停止，成为无法对车辆1提供动力的状态。在车辆1中，作为驱动源，也可以不搭载引擎2，而搭载根据电力来提供动力的马达。

驱动器监视器摄像机3是用于对驾驶员的面部图像进行摄影的传感器的一个例子。驱动器监视器摄像机3具有CCD或者C－MOS等由对于可见光具有灵敏度的光电变换元件的阵列构成的2维检测器和将该2维检测器上的作为摄影对象的区域的像成像的成像光学系统。驱动器监视器摄像机3例如朝向坐在驾驶座的驾驶员的面部地安装于车室内的前方上部。驱动器监视器摄像机3每隔预定的摄影周期(例如1分～10分)而输出拍摄到驾驶员的面部的面部图像。面部图像是关于各像素而具有RGB(红、绿、蓝)各自的值的彩色图像。

仪表显示器4是显示部的一个例子，例如具有液晶显示器。仪表显示器4依照经由车内网络从ECU5收取到的信号，将与车辆1的行驶有关的信息以能够视觉辨认的方式显示给驾驶员。

ECU5是驾驶员监视装置的一个例子，使用驱动器监视器摄像机3生成的图像来执行驾驶员监视处理，使仪表显示器4进行动作。

图2是ECU5的硬件示意图。ECU5具备通信接口51、存储器52以及处理器53。

通信接口51是通信部的一个例子，具有用于将ECU5与车内网络连接的通信接口电路。通信接口51将接收到的数据提供给处理器53。另外，通信接口51将从处理器53提供的数据输出到外部。

存储器52是存储部的一个例子，具有易失性的半导体存储器以及非易失性的半导体存储器。存储器52存储用于由处理器53进行的处理的各种数据、例如用于根据驾驶员的面部朝向角度来判定是否存储检测到的面部颜色的面部朝向角度范围、表示检测到的面部颜色的面部颜色信息、用于判定驾驶员的面部颜色是否为异常的变化阈值等。另外，存储器52存储各种应用程序、例如用于执行驾驶员监视处理的驾驶员监视程序等。

处理器53是控制部的一个例子，具有一个以上的处理器及其周边电路。处理器53也可以还具有逻辑运算单元、数值运算单元或者图形处理单元这样的其它运算电路。

图3是ECU5所具有的处理器53的功能框图。

ECU5的处理器53作为功能块而具有检测部531、面部颜色存储部532、面部颜色判定部533以及异常处置部534。处理器53所具有的这些各部分是通过在处理器53上执行的程序而安装的功能模块。或者，处理器53所具有的这些各部分也可以作为独立的集成电路、微型处理器或者固件而安装于ECU5。

检测部531在不同的时刻重复获取从驱动器监视器摄像机3对车辆1的驾驶员的面部进行摄影而得到的面部图像。检测部531根据获取到的各个面部图像，检测驾驶员的面部朝向角度以及驾驶员的面部的预定区域的颜色。

面部朝向角度由车辆1的行进方向与驾驶员使面部朝向的方向之间的水平方向或者铅垂方向的角度表示。检测部531通过将获取到的面部图像输入到以检测外眼角、内眼角、嘴角点这样的面部的预定部位的方式学习的识别器，从而确定面部图像所包含的预定部位的位置。然后，检测部531将从面部图像检测到的预定部位的位置与标准的面部的3维模型进行对比。然后，将各部位的位置与从面部图像检测到的部位的位置最匹配时的3维模型中的面部朝向角度检测为面部图像中的面部朝向角度。

将识别器例如能够设为具有从输入侧向输出侧串联地连接的多个层的卷积神经网络(CNN)。预先将包含面部的预定部位的面部图像用作训练数据而输入到CNN进行学习，从而CNN作为确定面部的预定部位的位置的识别器进行动作。

另外，检测部531检测驾驶员的面部中的、脸颊或者额头这样的预定区域的颜色。检测部531在面部图像中，根据所确定的预定部位，确定与所对比的标准的面部的3维模型中的预定区域对应的区域，检测所确定的区域的颜色的代表值。检测部531将所确定的区域所包含的各像素的值从基于RGB的表达变换为基于HSV(色相、饱和度、亮度值)的表达。检测部531作为所确定的区域的颜色的代表值而检测由HSV表达的所确定的区域所包含的各像素的值中的H的值的平均值。检测部531也可以作为所确定的区域的颜色的代表值而检测H的值的众数或者中位数。另外，检测部531也可以作为所确定的区域的颜色的代表值，除了H的值之外，还检测区域所包含的各像素中的S、V的值的代表值。另外，检测部531也可以作为区域的颜色的代表值，不使用HSV，而使用基于RGB各自的值的代表值。在该情况下，检测部531不进行从驱动器监视器摄像机3获取到的面部图像中的以RGB形式表达的各像素的值向HSV形式的变换。

面部颜色存储部532判定由检测部531检测到的面部朝向角度是否包含于存储于存储器52的面部朝向角度范围(例如±30度)。然后，在被判定为检测到的面部朝向角度包含于面部朝向角度范围的情况下，面部颜色存储部532使存储器52存储检测到的区域的颜色的代表值。

面部颜色判定部533比较在面部朝向角度包含于面部朝向角度范围时检测到的预定区域的颜色与存储于存储器52的预定区域的颜色之差。然后，在颜色之差超过存储于存储器52的变化阈值的情况下，判定为驾驶员的面部颜色为异常。

在检测部531作为预定区域的颜色而检测H的值的情况下，关于H的值而设定变化阈值。此时，面部颜色判定部533关于H的值，比较检测到的预定区域的颜色与存储于存储器52的预定区域的颜色之差。然后，在H的值之差超过变化阈值的情况下，判定为驾驶员的面部颜色为异常。另外，在检测部531作为预定区域的颜色而检测HSV的各个的值的情况下，关于HSV的各个而设定变化阈值。此时，面部颜色判定部533关于HSV的各个而比较检测到的预定区域的颜色与存储于存储器52的预定区域的颜色之差。然后，在HSV的全部或者过半数的差超过变化阈值的情况下，判定为驾驶员的面部颜色为异常。另外，面部颜色判定部533也可以通过比较将关于HSV的各个而计算出的差(Dh、Ds、Dv)代入到预定的计算式(D＝a＊Dh+b＊Ds+c＊Dv)而求出的值和作为单一的值而设定的变化阈值，从而判定面部颜色的异常。此外，在检测部531不通过HSV而通过RGB来检测区域的颜色的情况下，面部颜色判定部533也能够通过与HSV中的面部颜色判定同样的手法来判定面部颜色。

异常处置部534在由面部颜色判定部533判定出驾驶员的面部颜色异常的情况下，执行与面部颜色的异常对应的车辆1的控制。异常处置部534经由车内网络将预定的控制信号发送到仪表显示器4，使将检测到面部颜色的异常这一情况通知给驾驶员的图像显示。或者，异常处置部534经由车内网络将预定的控制信号发送到使引擎2、车辆1减速的制动装置(未图示)、变更车辆1的行进方向的转向装置(未图示)，使车辆1停止。

异常处置部534也可以经由车内网络将预定的控制信号发送到扬声器(未图示)，使通知检测到驾驶员的面部颜色的异常这一情况的声音再生。另外，异常处置部534也可以经由车内网络将预定的控制信号发送到进行与车外的设备的无线通信的数据通信模块，使表示检测到驾驶员的面部颜色的异常这一情况的数据发送到服务器(未图示)。接收到表示检测到驾驶员的面部颜色的异常这一情况的数据的服务器能够执行使救护车辆向车辆1行驶、提醒在车辆1的附近行驶的其它车辆注意这样的控制。

图4是说明驾驶员监视装置的动作概要的图。

在图4中，图像Pa以及图像Pb是从驱动器监视器摄像机3获取到的面部图像。从图像Pa检测到的驾驶员的面部朝向角度为α。α超过作为面部朝向角度范围的上限的角度θ，图像Pa中的面部朝向角度不包含于面部朝向角度范围，所以从图像Pa检测到的预定区域的颜色不存储于存储器52。

从图像Pb检测到的驾驶员的面部朝向角度为0度，包含于面部朝向角度范围。因此，从图像Pb检测到的预定区域的颜色(Hb、Sb、Vb)存储于存储器52。

图像Pc是从驱动器监视器摄像机3获取到的图像。从图像Pc检测到的驾驶员的面部朝向角度为0度，包含于面部朝向角度范围。因此，从图像Pc检测到的预定区域的颜色(Hc、Sc、Vc)与存储于存储器52的预定区域的颜色(Hb、Sb、Vb)进行比较。在Hb与Hc之差的绝对值比关于H的变化阈值H_TH大，Sb与Sc之差的绝对值比关于S的变化阈值S_TH大，Vb与Vc之差的绝对值比关于V的变化阈值V_TH大的情况下，判定为面部颜色的异常。

图5是驾驶员监视处理的流程图。ECU5的处理器53从车辆1的引擎2成为接通起至成为关断为止执行驾驶员监视处理。

首先，处理器53当引擎2成为接通时，执行面部颜色判定处理(步骤S1)，根据从驱动器监视器摄像机3获取到的面部图像和在前次的驾驶员监视处理中存储于存储器52的预定区域的颜色的信息，判定驾驶员的面部颜色是否为异常。面部颜色判定处理的详细内容将在后面叙述。接着，处理器53执行面部颜色存储处理(步骤S2)，将从自驱动器监视器摄像机3获取到的面部图像检测到的预定区域的颜色的信息存储于存储器52。面部颜色存储处理的详细内容将在后面叙述。处理器53判定引擎2是否成为关断(步骤S3)，在未成为关断的情况下(步骤S3：否)，每隔预定时间而重复面部颜色存储处理。在引擎2成为关断的情况下(步骤S3：是)，处理器53结束驾驶员监视处理。

在步骤S3中刚要检测到引擎2成为关断之前执行步骤S2的面部颜色存储处理的时刻是第1时刻的例子。从执行步骤S2的面部颜色存储处理起至检测到在步骤S3中引擎2成为关断为止的时间(例如1分钟)是第1宽限时间的例子。另外，执行步骤S1的面部颜色存储处理的时刻是比第1时刻靠后的第2时刻的例子。从引擎2成为接通起至执行步骤S1的面部颜色存储处理为止的时间(例如1分钟)是第2宽限时间的例子。在面部颜色判定处理中，在前次的驾驶员监视处理中，使用在比引擎成为关断的时刻靠前预定时间的时刻存储于存储器52的预定区域的颜色的信息。因此，在最初执行驾驶员监视处理的情况下，不执行面部颜色判定处理。此外，处理器53也可以在最初执行驾驶员监视处理的情况下，作为预定区域的颜色的信息而使用预先设定的初始值，执行面部颜色判定处理。

图6是面部颜色判定处理的流程图。ECU5的处理器53在驾驶员监视处理中的步骤S1中，执行以下的面部颜色判定处理。

首先，处理器53的检测部531根据对车辆1的驾驶员的面部进行摄影而得到的面部图像，检测面部朝向角度和驾驶员的面部的预定区域的颜色(步骤S11)。

接下来，处理器53的面部颜色判定部533判定检测到的面部朝向角度是否包含于预定的面部朝向角度范围(步骤S12)。在被判定为检测到的面部朝向角度不包含于预定的面部朝向角度范围的情况下(步骤S12：否)，处理器53的处理返回到步骤S11，重复由检测部进行的面部朝向角度以及预定区域的颜色的检测。

在被判定为检测到的面部朝向角度包含于预定的面部朝向角度范围的情况下(步骤S12：是)，面部颜色判定部533判定检测到的预定区域的颜色与存储于存储器52的预定区域的颜色之差是否超过变化阈值(步骤S13)。

在被判定为颜色之差超过变化阈值的情况下(步骤S13：是)，面部颜色判定部533判定为面部颜色异常(步骤S14)，处理器53的异常处置部534执行预定的处理(步骤S15)，结束面部颜色判定处理。在被判定为颜色之差不超过变化阈值的情况下(步骤S13：否)，面部颜色判定部533无需判定为面部颜色异常，而结束面部颜色判定处理。

图7是面部颜色存储处理的流程图。ECU5的处理器53在驾驶员监视处理中的步骤S2中，执行以下的面部颜色存储处理。

首先，处理器53的检测部531根据对车辆1的驾驶员的面部进行摄影而得到的面部图像，检测面部朝向角度和驾驶员的面部的预定区域的颜色(步骤S21)。

接下来，处理器53的面部颜色存储部532判定检测到的面部朝向角度是否包含于预定的面部朝向角度范围(步骤S22)。在被判定为检测到的面部朝向角度不包含于预定的面部朝向角度范围的情况下(步骤S22：否)，面部颜色存储部532结束面部颜色存储处理。

在被判定为检测到的面部朝向角度包含于预定的面部朝向角度范围的情况下(步骤S22：是)，面部颜色存储部532使存储器52存储检测到的预定区域的颜色(步骤S23)，结束面部颜色存储处理。

通过如以上那样进行动作，本实施方式的驾驶员监视装置能够适当地判定驾驶员的面部颜色的变化。

根据变形例，驾驶员监视装置将比驾驶员从车辆1下车的时刻靠前第1宽限时间的时间设为第1时刻，将从驾驶员乘坐到车辆1的时刻起第2宽限时间后的时刻设为第2时刻，执行驾驶员监视处理。在该情况下，驾驶员监视装置将检测到用于驾驶员使车辆1的引擎2成为接通或者关断的车锁的时刻设为乘坐的时刻，将检测不到车锁的时刻设为下车的时刻。通过这样进行动作，驾驶员监视装置能够根据在从驾驶员的乘坐至下车为止的旅程中存储的面部颜色，判定接下来的旅程中的驾驶员的面部颜色。驾驶员监视装置也可以将从自驱动器监视器摄像机3获取到的图像检测到与驾驶员的面部对应的面部区域的时刻设为乘坐的时刻，将检测不到面部区域的时刻设为下车的时刻。另外，驾驶员监视装置也可以将由设置于车辆1的驾驶座的重量传感器(未图示)检测到超过预定的重量阈值的重量的时刻设为乘坐的时刻，将未检测到超过重量阈值的重量的时刻设为下车的时刻。

根据不同的变形例，驾驶员监视装置在作为车辆1的驾驶员的人物存在多个的情况下，针对每个驾驶员而判定驾驶员的面部颜色的异常。为此，首先，检测部531根据面部图像，检测车辆1的驾驶员为多个人物中的哪个人物。检测部531通过将获取到的面部图像输入到以检测每个人物的面部的特征的不同的方式学习的识别器，从而检测面部图像所呈现的人物。

然后，面部颜色存储部532针对每个检测到的人物，存储从面部图像检测到的预定区域的颜色。另外，面部颜色判定部533针对每个检测到的人物，判定是否为面部颜色异常。

此外，检测部531也可以通过基于面部图像的人物检测以外的方法来检测人物。例如，检测部531也可以根据驾驶员为了使引擎2成为接通而使用的车锁的标识符，检测驾驶员是哪个人物。

应理解的是，本领域技术人员能够不脱离本发明的精神以及范围的情况下对其施加各种变更、置换以及修正。

Claims (6)

1.一种驾驶员监视装置，具备：

检测部，根据在不同的时刻对车辆的驾驶员的面部进行摄影而得到的多个面部图像，检测各个面部图像中的所述车辆的前后方向与所述驾驶员的面部朝向所成的面部朝向角度和所述驾驶员的面部的预定区域的颜色；

面部颜色存储部，在从在第1时刻摄影到的第1面部图像检测到的面部朝向角度包含于预定的面部朝向角度范围的情况下，使存储部存储从所述第1面部图像检测到的预定区域的颜色；以及

面部颜色判定部，在从在比所述第1时刻靠后的第2时刻摄影到的第2面部图像检测到的面部朝向角度包含于所述面部朝向角度范围，且从所述第2面部图像检测到的所述预定区域的颜色与存储于所述存储部的所述预定区域的颜色之差超过变化阈值的情况下，判定为面部颜色异常。

2.根据权利要求1所述的驾驶员监视装置，其中，

所述第1时刻是比所述驾驶员从所述车辆下车的时刻靠前第1宽限时间的时刻，所述第2时刻是从所述驾驶员乘坐到所述车辆的时刻起第2宽限时间后的时刻。

3.根据权利要求1所述的驾驶员监视装置，其中，

所述第1时刻是比所述车辆的驱动源成为关断的时刻靠前第1宽限时间的时刻，所述第2时刻是从所述车辆的驱动源成为接通的时刻起第2宽限时间后的时刻。

4.根据权利要求1至3中的任意一项所述的驾驶员监视装置，其中，

所述检测部检测所述车辆的驾驶员为多个人物中的哪个人物，

所述面部颜色存储部针对每个检测到的所述人物而存储所述预定区域的颜色，

所述面部颜色判定部针对每个检测到的所述人物而判定是否为面部颜色异常。

5.根据权利要求1至4中的任意一项所述的驾驶员监视装置，其中，

所述驾驶员监视装置还具备异常处置部，在被判定为面部颜色异常的情况下，该异常处置部执行向所述驾驶员的通知或者使所述车辆停止的控制。

6.一种驾驶员监视方法，包括：

根据在不同的时刻对车辆的驾驶员的面部进行摄影而得到的多个面部图像，检测各个面部图像中的所述车辆的前后方向与所述驾驶员的面部朝向所成的面部朝向角度和所述驾驶员的面部的预定区域的颜色；

在从在第1时刻摄影到的第1面部图像检测到的面部朝向角度包含于预定的面部朝向角度范围的情况下，使存储部存储从所述第1面部图像检测到的预定区域的颜色；以及

在从在比所述第1时刻靠后的第2时刻摄影到的第2面部图像检测到的面部朝向角度包含于所述面部朝向角度范围，且从所述第2面部图像检测到的所述预定区域的颜色与存储于所述存储部的颜色之差超过变化阈值的情况下，判定为面部颜色异常。

Images