CN110751011A - 驾驶安全检测方法、驾驶安全检测装置及车载终端 - Google Patents
驾驶安全检测方法、驾驶安全检测装置及车载终端 Download PDFInfo
- Publication number
- CN110751011A CN110751011A CN201910433865.XA CN201910433865A CN110751011A CN 110751011 A CN110751011 A CN 110751011A CN 201910433865 A CN201910433865 A CN 201910433865A CN 110751011 A CN110751011 A CN 110751011A
- Authority
- CN
- China
- Prior art keywords
- driver
- state
- state data
- face image
- driving state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 89
- 238000004458 analytical method Methods 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 25
- 230000002996 emotional effect Effects 0.000 claims description 20
- 238000010191 image analysis Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 6
- 238000005096 rolling process Methods 0.000 claims description 5
- 238000013461 design Methods 0.000 abstract description 3
- 210000003128 head Anatomy 0.000 description 30
- 230000001815 facial effect Effects 0.000 description 16
- 230000008451 emotion Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 241001282135 Poromitra oscitans Species 0.000 description 4
- 206010048232 Yawning Diseases 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000000994 depressogenic effect Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013138 pruning Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开提供了一种驾驶安全检测方法、驾驶安全检测装置及车载终端，通过实时获取车辆内的驾驶人员的人脸图像，并对人脸图像进行分析，得到各时间点驾驶人员的多种驾驶状态数据，从而根据各时间点驾驶人员的多种驾驶状态数据判断驾驶人员是否处于安全驾驶状态。基于上述设计，实现了对驾驶安全的便捷检测。
Description
技术领域
本公开涉及安全检测技术领域，具体而言，涉及一种驾驶安全检测方法、驾驶安全检测装置及车载终端。
背景技术
随着车辆的增多，驾驶安全问题成为人们关注的焦点问题之一，为了确保驾驶安全，往往需要对驾驶人员的状态进行检测，现今为了实现对驾驶人员的状态的可靠检测，主要通过另外设置硬件装置来检测驾驶人员的脑电波、心率等信息，进而对驾驶人员的状态进行判断。这种检测方法需要增设额外的硬件装置，甚至可能需要驾驶人员在驾驶车辆时进行硬件装置佩戴、配合硬件装置，实现较为不便。
发明内容
有鉴于此，本公开实施例的目的在于提供一种驾驶安全检测方法、驾驶安全检测装置及车载终端，以在确保检测可靠性的同时，提高驾驶安全检测的便捷性。
第一方面，本公开实施例提供一种驾驶安全检测方法，包括：
实时获取车辆内的驾驶人员的人脸图像；
对所述人脸图像进行分析，得到各时间点所述驾驶人员的多种驾驶状态数据，其中，对一幅所述人脸图像进行分析得到的为一个时间点所述驾驶人员的多种驾驶状态数据；
根据各时间点所述驾驶人员的多种驾驶状态数据判断所述驾驶人员是否处于安全驾驶状态。
在本公开的一种实施方案中，在上述驾驶安全检测方法中，所述对所述人脸图像进行分析，得到各时间点所述驾驶人员的多种驾驶状态数据的步骤，包括：
将实时获取的各所述人脸图像分别输入预先建立的多任务模型，基于所述多任务模型分析得到各时间点所述驾驶人员的多种驾驶状态数据。
在本公开的一种实施方案中，在上述驾驶安全检测方法中，所述多任务模型为深度网络结构，深度网络结构的所述多任务模型的底层特征图和高层特征图通过特征融合金字塔实现融合。
在本公开的一种实施方案中，在上述驾驶安全检测方法中，所述多种驾驶状态数据包括驾驶人员的分心状态数据、驾驶人员的情绪状态数据和驾驶人员的疲劳状态数据。
在本公开的一种实施方案中，在上述驾驶安全检测方法中，所述驾驶人员的分心状态数据通过以下步骤得到：
基于所述驾驶人员的人脸图像，分析得到所述驾驶人员的头部的偏航角、俯仰角和滚动角；
判断所述驾驶人员的头部的偏航角、俯仰角和滚动角是否超过设定的角度阈值，如果超过所述设定的角度阈值，判定所述驾驶人员处于分心状态。
在本公开的一种实施方案中，在上述驾驶安全检测方法中，所述驾驶人员的疲劳状态数据通过以下步骤得到：
基于所述驾驶人员的人脸图像，分析得到所述驾驶人员每个眼睛的中心点坐标和每个嘴角的坐标；
根据每个眼睛的中心点坐标裁剪出所述驾驶人员的眼睛区域图像，根据每个嘴角的坐标裁剪出所述驾驶人员的嘴巴区域图像；
根据所述眼睛区域图像分析所述驾驶人员的眼睛状态，根据所述嘴巴区域图像分析所述驾驶人员的嘴巴状态；
基于所述眼睛状态和嘴巴状态判断所述驾驶人员是否处于疲劳状态。
在本公开的一种实施方案中，在上述驾驶安全检测方法中，所述驾驶人员的情绪状态数据通过深度网络分类得到。
在本公开的一种实施方案中，在上述驾驶安全检测方法中，所述根据各时间点所述驾驶人员的多种驾驶状态数据判断所述驾驶人员是否处于安全驾驶状态的步骤，包括：
统计所述驾驶人员连续处于分心状态的时长，在所述驾驶人员连续处于分心状态的时长达到设定时长时，判定所述驾驶人员未处于安全驾驶状态，并进行提醒；
在分析得到所述驾驶人员处于疲劳状态时，判定所述驾驶人员未处于安全驾驶状态，并进行提醒；
在判定所述驾驶人员处于目标情绪状态时，判定所述驾驶人员未处于安全驾驶状态，并进行提醒。
在本公开的一种实施方案中，在上述驾驶安全检测方法中，所述实时获取车辆内的驾驶人员的人脸图像的步骤，包括：
基于所述车辆内的车载摄像头实时获取所述车辆内的图像；
从所述车辆内的图像中获取驾驶人员的人脸图像。
在本公开的一种实施方案中，在上述驾驶安全检测方法中，所述从所述车辆内的图像中获取驾驶人员的人脸图像的步骤，包括：
通过人脸检测算法从所述车辆内的图像中检测出所有的人脸区域；
根据驾驶人员的位置信息从所述所有的人脸区域中获取驾驶人员的人脸区域的人脸图像。
第二方面，本公开实施例还提供一种驾驶安全检测装置，包括：
图像获取模块，用于实时获取车辆内的驾驶人员的人脸图像；
图像分析模块，用于对所述人脸图像进行分析，得到各时间点所述驾驶人员的多种驾驶状态数据，其中，对一幅所述人脸图像进行分析得到的为一个时间点所述驾驶人员的多种驾驶状态数据；
驾驶状态分析模块，用于根据各时间点所述驾驶人员的多种驾驶状态数据判断所述驾驶人员是否处于安全驾驶状态。
在本公开的一种实施方案中，在上述驾驶安全检测装置中，所述图像分析模块具体用于，将实时获取的各所述人脸图像分别输入预先建立的多任务模型，基于所述多任务模型分析得到各时间点所述驾驶人员的多种驾驶状态数据。
在本公开的一种实施方案中，在上述驾驶安全检测装置中，所述多任务模型为深度网络结构，深度网络结构的所述多任务模型的底层特征图和高层特征图通过特征融合金字塔实现融合。
在本公开的一种实施方案中，在上述驾驶安全检测装置中，所述多种驾驶状态数据包括驾驶人员的分心状态数据、驾驶人员的情绪状态数据和驾驶人员的疲劳状态数据。
在本公开的一种实施方案中，在上述驾驶安全检测装置中，所述图像分析模块用于通过以下步骤得到所述驾驶人员的分心状态数据：
基于所述驾驶人员的人脸图像，分析得到所述驾驶人员的头部的偏航角、俯仰角和滚动角；
判断所述驾驶人员的头部的偏航角、俯仰角和滚动角是否超过设定的角度阈值，如果超过所述设定的角度阈值，判定所述驾驶人员处于分心状态。
在本公开的一种实施方案中，在上述驾驶安全检测装置中，所述图像分析模块用于通过以下步骤得到所述驾驶人员的疲劳状态数据：
基于所述驾驶人员的人脸图像，分析得到所述驾驶人员每个眼睛的中心点坐标和每个嘴角的坐标；
根据每个眼睛的中心点坐标裁剪出所述驾驶人员的眼睛区域图像，根据每个嘴角的坐标裁剪出所述驾驶人员的嘴巴区域图像；
根据所述眼睛区域图像分析所述驾驶人员的眼睛状态，根据所述嘴巴区域图像分析所述驾驶人员的嘴巴状态；
基于所述眼睛状态和嘴巴状态判断所述驾驶人员是否处于疲劳状态。
在本公开的一种实施方案中，在上述驾驶安全检测装置中，所述图像分析模块用于通过深度网络分类得到所述驾驶人员的情绪状态数据。
在本公开的一种实施方案中，在上述驾驶安全检测装置中，所述驾驶状态分析模块具体用于：
统计所述驾驶人员连续处于分心状态的时长，在所述驾驶人员连续处于分心状态的时长达到设定时长时，判定所述驾驶人员未处于安全驾驶状态，并进行提醒；
在分析得到所述驾驶人员处于疲劳状态时，判定所述驾驶人员未处于安全驾驶状态，并进行提醒；
在判定所述驾驶人员处于目标情绪状态时，判定所述驾驶人员未处于安全驾驶状态，并进行提醒。
第三方面，本公开实施例还提供一种车载终端，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的驾驶安全检测方法。
在本公开的一种实施方案中，在上述车载终端中，用于分析得到多种驾驶状态数据的多任务模型经压缩后集成于所述车载终端。
第四方面，本公开提供一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，所述计算机程序运行时控制所述计算机可读存储介质所在车载终端执行上述的驾驶安全检测方法。
本公开实施例提供的一种驾驶安全检测方法、驾驶安全检测装置及车载终端，对一幅人脸图像进行分析得到的为一个时间点驾驶人员的多种驾驶状态数据，进而根据各时间点驾驶人员的多种驾驶状态数据判断驾驶人员是否处于安全驾驶状态，该种根据多种驾驶状态数据判断是否处于安全驾驶状态的检测方式有效确保了检测的可靠性。在确保检测可靠性的同时，本公开中的检测方案无需增加额外的硬件装置，无需驾驶人员在驾驶车辆时进行硬件装置佩戴、配合硬件装置，实现较为便捷。
本公开实施例的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开实施例的上述技术即可得知。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本公开实施例提供的一种车载终端的示例性硬件和软件组件的示意图。
图2为本公开实施例提供的一种驾驶安全检测方法的流程示意图之一。
图3为本公开实施例提供的一种驾驶安全检测方法的流程示意图之二。
图4为本公开实施例提供的一种驾驶安全检测方法的流程示意图之三。
图5为本公开实施例提供的一种多任务模型的示例性架构图。
图6为本公开实施例提供的一种驾驶安全检测装置的功能模块框图。
图标：200-车载终端；210-网络端口；220-处理器；230-通信总线；240-存储介质；250-接口；300-驾驶安全检测装置；310-图像获取模块；320-图像分析模块；330-驾驶状态分析模块。
具体实施方式
为了对驾驶人员的状态进行可靠检测，以确保驾驶安全，现今主要通过另外设置硬件装置对驾驶人员的状态进行检测，该种检测方式存在较多不利。例如，需要在车辆中增加额外的硬件装置，这将增加实现成本。又例如，需要驾驶人员在驾驶车辆时进行硬件装置佩戴或者配合硬件装置，实现较为不便。现以下述场景为例进行举例说明。
在需要实现驾驶人员的疲劳状态检测的场景中，现今通常需要驾驶人员配合佩戴惯性传感器，通过惯性传感器实时采集驾驶人员的头部的惯性数据，进而根据头部的惯性数据计算头部的姿态数据，从而根据头部的姿态数据判断驾驶人员是否处于疲劳驾驶状态。额外增加惯性传感器会造成检测成本增加，在新增该惯性传感器之后，还需驾驶人员配合、并需要将惯性传感器佩戴在正确的位置方能进行检测。在驾驶人员拒绝配合进行惯性传感器佩戴，或者驾驶人员未将惯性传感器佩戴在正确的位置，或者惯性传感器出现故障等情况下，均无法实现驾驶人员是否处于疲劳驾驶状态的可靠判断，实现较为不便。
现今也有根据驾驶人员的图像对驾驶人员的状态进行判断，然而，现今主要是采用机器学习方法对驾驶人员的状态进行判断。采用机器学习方法对驾驶人员的状态进行判断主要依赖于人工设计的特征，对检测的实时性有很大的限制。并且，现今根据驾驶人员的图像主要是对驾驶人员的某一种状态进行判断，而仅根据一种状态确定驾驶安全可靠性十分有限，存在很高的误判率。若结合图像以及额外增加的硬件装置对驾驶人员的状态进行综合判断，又存在实现较为不便等问题。
为了改善本公开所提出的上述至少一种技术问题，本公开实施例提供一种驾驶安全检测方法、驾驶安全检测装置及车载终端，在确保驾驶安全检测可靠性的同时，无需额外增加硬件装置，无需驾驶人员的特意配合或佩戴硬件装置，便捷、有效地检测驾驶安全与否。
下面通过可能的实现方式对本公开的技术方案进行说明。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，应当理解，本公开中附图仅起到说明和描述的目的，并不用于限定本公开的保护范围。本公开中使用的流程图示出了根据本公开的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本公开内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
为了使得本领域技术人员能够使用本公开内容，给出以下实施方式。对于本领域技术人员来说，在不脱离本公开的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景。本公开的系统或方法的应用可以包括网页、浏览器的插件、客户端终端、定制系统、内部分析系统、或人工智能机器人等，或其任意组合。
需要说明的是，本公开实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
图1示出根据本公开的一些实施例的可以实现本公开思想的车载终端200的示例性硬件和软件组件的示意图。车载终端200可以包括连接到网络的网络端口210、用于执行程序指令的一个或多个处理器220、通信总线230和不同形式的存储介质240，例如，磁盘、ROM、或RAM，或其任意组合。示例性地，车载终端200还可以包括存储在ROM、RAM、或其他类型的非暂时性存储介质或其任意组合中的程序指令。根据这些程序指令可以实现本公开的方法。车载终端200还可以包括与其他输入输出设备(例如键盘、显示屏)之间的输入/输出(Input/Output，I/O)接口250。
车载终端200可以用于各类运输服务平台。例如，可以用于诸如出租车、代驾服务、快车、拼车、公共汽车服务、驾驶员租赁、或班车服务之类的运输服务、或其任意组合的在线运输服务平台。
在一些实施例中，处理器220可以处理与服务请求有关的信息和/或数据，以执行本公开中描述的一个或多个功能。在一些实施例中，处理器220可以包括一个或多个处理核(例如，单核处理器(S)或多核处理器(S))。仅作为举例，处理器220可以包括中央处理单元(Central Processing Unit，CPU)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、专用指令集处理器(Application Specific Instruction-setProcessor，ASIP)、图形处理单元(Graphics Processing Unit，GPU)、物理处理单元(Physics Processing Unit，PPU)、数字信号处理器(Digital Signal Processor，DSP)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、可编程逻辑器件(Programmable Logic Device，PLD)、控制器、微控制器单元、简化指令集计算机(ReducedInstruction Set Computing，RISC)或微处理器等，或其任意组合。
车载终端200中的处理器220可以是通用计算机或设定用途的计算机，两者都可以用于实现本公开的驾驶安全检测方法。本公开尽管仅示出了一个计算机，但是为了方便起见，可以在多个类似平台上以分布式方式实现本公开描述的功能，以均衡处理负载。
为了便于说明，在车载终端200中仅描述了一个处理器。然而，应当注意，本公开中的车载终端200还可以包括多个处理器，因此本公开中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如，若车载终端200的处理器执行步骤A和步骤B，则应该理解，步骤A和步骤B也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一处理器和第二处理器共同执行步骤A和B。
网络可以用于信息和/或数据的交换。在一些实施例中，车载终端200中的一个或多个组件可以向其他组件发送信息和/或数据。例如，车载终端200可以经由网络从用户手持设备如手机获取服务请求。在一些实施例中，网络可以是任何类型的有线或者无线网络，或者是他们的结合。仅作为示例，网络可以包括有线网络、无线网络、光纤网络、远程通信网络、内联网、因特网、局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)、无线局域网(Wireless Local Area Networks，WLAN)、城域网(Metropolitan AreaNetwork，MAN)、广域网(Wide Area Network，WAN)、公共电话交换网(Public SwitchedTelephone Network，PSTN)、蓝牙网络、ZigBee网络、或近场通信(Near FieldCommunication,NFC)网络等，或其任意组合。
在一些实施例中，网络可以包括一个或多个网络接入点。例如，网络可以包括有线或无线网络接入点，例如基站和/或网络交换节点，车载终端200的一个或多个组件可以通过该接入点连接到网络以交换数据和/或信息。
在一些实施例中，用户手持设备可以包括移动设备、平板计算机、膝上型计算机、或机动车辆中的内置设备等，或其任意组合。在一些实施例中，移动设备可以包括智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备、或增强现实设备等，或其任意组合。在一些实施例中，智能家居设备可以包括智能照明设备、智能电器设备的控制设备、智能监控设备、智能电视、智能摄像机、或对讲机等，或其任意组合。在一些实施例中，可穿戴设备可包括智能手环、智能鞋带、智能玻璃、智能头盔、智能手表、智能服装、智能背包、智能配件等、或其任何组合。在一些实施例中，智能移动设备可以包括智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏设备、导航设备、或销售点(point of sale，POS)设备等，或其任意组合。在一些实施例中，虚拟现实设备和/或增强现实设备可以包括虚拟现实头盔、虚拟现实玻璃、虚拟现实贴片、增强现实头盔、增强现实玻璃、或增强现实贴片等，或其任意组合。例如，虚拟现实设备和/或增强现实设备可以包括各种虚拟现实产品等。在一些实施例中，机动车辆中的内置设备可以包括车载计算机、车载电视等。
车载设备中可以包括数据库，数据库可以存储数据和/或指令。在一些实施例中，数据库可以存储从服务请求方终端如用户手持设备获得的数据。在一些实施例中，数据库可以存储在本公开中描述的示例性方法的数据和/或指令。在一些实施例中，数据库可以包括大容量存储器、可移动存储器、易失性读写存储器、或只读存储器(Read-Only Memory，ROM)等，或其任意组合。作为举例，大容量存储器可以包括磁盘、光盘、固态驱动器等；可移动存储器可包括闪存驱动器、软盘、光盘、存储卡、zip磁盘、磁带等；易失性读写存储器可以包括随机存取存储器(Random Access Memory，RAM)；RAM可以包括动态RAM(DynamicRandom Access Memory，DRAM)，双倍数据速率同步动态RAM(Double Date-RateSynchronous RAM，DDR SDRAM)；静态RAM(Static Random-Access Memory，SRAM)，晶闸管RAM(Thyristor-Based Random Access Memory，T-RAM)和零电容器RAM(Zero-RAM)等。作为举例，ROM可以包括掩模ROM(Mask Read-Only Memory，MROM)、可编程ROM(ProgrammableRead-Only Memory，PROM)、可擦除可编程ROM(Programmable Erasable Read-onlyMemory，PEROM)、电可擦除可编程ROM(Electrically Erasable Programmable read onlymemory，EEPROM)、光盘ROM(CD-ROM)、以及数字通用磁盘ROM等。
在一些实施例中，数据库可以在云平台上实现。仅作为示例，云平台可以包括私有云、公有云、混合云、社区云、分布式云、跨云、多云、弹性云或者其它类似的等，或其任意组合。
在一些实施例中，数据库可以连接到网络以与车载终端200中的一个或多个组件通信。车载终端200中的一个或多个组件可以经由网络访问存储在数据库中的数据或指令。在一些实施例中，数据库可以直接连接到车载终端200中的一个或多个组件。或者，在一些实施例中，数据库也可以是车载终端200的一部分。
在一些实施例中，车载终端200中的一个或多个组件可以具有访问数据库的权限。在一些实施例中，当满足一定条件时，车载终端200中的一个或多个组件可以读取和/或修改与服务请求方或公众、或其任意组合有关的信息。例如，车载终端200可以在接收服务请求之后读取和/或修改数据库中的一个或多个信息。
本公开中，车辆可包括需要进行驾驶安全检测的汽车(例如，出租车、公共汽车、私家车等)、火车、地铁、船只、飞机(例如，飞机、直升机等)等，或其任意组合。
图2示出了本公开实施例所提供的驾驶安全检测方法的流程图之一。该方法可应用于图1中的车载终端200，由图1中所示的车载终端200执行。应当理解，在其它实施例中，本实施例所述的驾驶安全检测方法中的部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。下面对图2所示的驾驶安全检测方法的流程进行详细描述。
步骤S110，实时获取车辆内的驾驶人员的人脸图像。
本公开中，实时获取人脸图像可以指按照设定的时间间隔获取人脸图像。其中，获取驾驶人员的各人脸图像的时间间隔可以相同也可以不同。例如，可以按照一固定的时间间隔获取驾驶人员的人脸图像。又例如，可以按照非固定的时间间隔获取驾驶人员的人脸图像。
在一种实现方式中，按照非固定的时间间隔获取驾驶人员的人脸图像可以包括：在根据驾驶人员的人脸图像分析得到持续处于安全驾驶状态时，可以加大获取驾驶人员的人脸图像的时间间隔，在根据驾驶人员的人脸图像分析得到未处于安全驾驶状态时，减小获取驾驶人员的人脸图像的时间间隔。例如，若从时间点14点10分50秒开始，每隔10秒获取一次车辆内的驾驶人员的人脸图像，在时间点14点20分50秒统计得出，根据在时间点14点10分50秒至时间点14点20分50秒之间的10分钟内每隔10秒获取的驾驶人员人脸图像分析得到的结果均为处于安全驾驶状态，那么，从时间点14点20分50秒开始，调整为每隔12秒获取一次车辆内的驾驶人员的人脸图像，从而加大获取驾驶人员的人脸图像的时间间隔。类似地，若在时间点14点25分50秒统计得出，根据在时间点14点20分50秒至时间点14点25分50秒之间的5分钟内每隔12秒获取的驾驶人员人脸图像分析得到的结果为基本(如98％)处于安全驾驶状态，那么，从时间点14点25分50秒开始，调整为每隔13秒获取一次车辆内的驾驶人员的人脸图像，从而进一步加大获取驾驶人员的人脸图像的时间间隔。对应地，若在时间点13点30分25秒分析得出，根据在时间点13点30分25秒获取的驾驶人员人脸图像分析得到的结果为处于非安全驾驶状态，并且根据驾驶人员在最近1分钟内每隔13秒获取的人脸图像分析得到的结果为处于安全驾驶状态的比例较低(如低于70％)，那么，调整为每隔2秒获取一次车辆内的驾驶人员的人脸图像。应当理解，上述举例仅为示意，还可以采用其他方式基于是否处于安全驾驶状态的分析结果对获取人脸图像的时间间隔灵活地进行反馈调节。
获取驾驶人员的人脸图像的方式有多种，现进行以下举例。
例如，可以直接基于车辆内的车载摄像头实时获取车辆内的驾驶人员的人脸图像，从而无需增设任何器件实现所需的人脸图像的获取。
在一种实现方式中，如果车辆内的车载摄像头拍摄得到的车辆内的图像中包括驾驶人员的人脸图像，以及车辆内其他区域的图像，如车辆座椅上乘客的图像、车辆内其他区域空间的图像等，可以从车辆内的图像中获取驾驶人员的人脸图像。该种情况下，从车辆内的图像中获取驾驶人员的人脸图像可以通过以下方式实现：通过人脸检测算法从所述车辆内的图像中检测出所有的人脸区域，根据驾驶人员的位置信息从所述所有的人脸区域中获取驾驶人员的人脸区域的人脸图像。
在另一种实现方式中，如果车辆内的车载摄像头直接朝向的为驾驶人员的脸部，拍摄得到的图像直接为驾驶人员的人脸图像，那么，该种情况下直接获取车载摄像头拍摄得到的图像即可得到车辆内的驾驶人员的人脸图像。
又例如，可以根据用户自定义设置的摄像头实时获取车辆内的驾驶人员的人脸图像，以满足不同用户的个性化需求，本公开对此不作限制。
步骤S120，对所述人脸图像进行分析，得到各时间点所述驾驶人员的多种驾驶状态数据。
其中，对一幅所述人脸图像进行分析得到的为一个时间点所述驾驶人员的多种驾驶状态数据。多种驾驶状态数据可以包括驾驶人员的分心状态数据、驾驶人员的情绪状态数据、驾驶人员的疲劳状态数据等。可以理解的是，对人脸图像进行分析，还可得到其他数据，例如，还可以得到驾驶人员的性别、年龄等。
本公开中，直接基于人脸图像分析得到驾驶人员的多种驾驶状态数据，无需增加额外的硬件装置，无需驾驶人员佩戴或者配合额外的硬件装置进行驾驶状态检测，实现较为便捷，且降低了检测成本。驾驶人员的多种驾驶状态数据仅根据人脸图像分析得到，极大地减少了运算量，因而能够直接部署在车载终端200。
本公开中，对所述人脸图像进行分析，得到各时间点所述驾驶人员的多种驾驶状态数据可以通过多种方式实现，现进行以下举例。
例如，可以预先建立能够基于一幅人脸图像分析得到多种驾驶状态数据的多任务模型，将实时获取的各所述人脸图像分别输入预先建立的多任务模型，从而基于所述多任务模型分析得到各时间点所述驾驶人员的多种驾驶状态数据。
可以理解的是，将某一时刻获取到的一幅人脸图像输入至预先建立的多任务模型，即可得到该时刻对应的时间点驾驶人员的多种驾驶状态数据，相应地，将不同时刻实时获取到的多张人脸图像分别输入至预先建立的多任务模型，即可得到各时刻对应的各时间点驾驶人员的多种驾驶状态数据。
其中，获取到人脸图像的时刻和驾驶人员实际所处于的时间点之间可能存在一定的时间差，例如，在时间点14点10分50秒对驾驶人员进行拍摄，实际获取到拍摄的人脸图像的时刻可能为14点10分51秒，相应地，时刻14点10分51秒所对应的时间点为14点10分50秒。鉴于获取到人脸图像的时刻和驾驶人员实际所处于的时间点之间的时间差一般较小，因而可以忽略不计。在对时间准确度要求较高的场景中，可以预先得到获取到人脸图像的时刻和驾驶人员实际所处于的时间点之间的时间差，然后基于得到的时间差对各驾驶状态数据的时间点进行反馈调节，以实现对各驾驶状态数据的时间点的准确确定。
所述多任务模型可以通过多种方式实现。例如，多任务模型可以为深度网络结构，如VGG(Visual Geometry Group Network)模型、Resnet(Residual Neural Network)模型等。多任务模型可以支持人脸图像输入、特征提取、多任务结果输出等。
在设计多任务模型时，考虑到由于每个任务之间存在相关性和非相关性，底层语义和高层语义之间存在相关性，为了防止高层特征图上的语义信息覆盖底层特征图上的细节信息，本公开中多任务模型的底层特征图和高层特征图可以通过特征融合金字塔实现融合。使用特征融合金字塔方式对任务模型的底层特征图和高层特征图进行融合使得底层特征和高层特征能够较好地为各个任务之间提供信息。例如，鉴于头部姿态和人脸特征点之间存在着间接的关系，在设计任务模型时，可以将分析头部姿态的任务和分析人脸特征点的任务之间进行相互促进，以达到较优的分析效果。
又例如，可以预先设定分析、计算规则，基于预先设定的分析、计算规则根据一幅图像分析得到多种驾驶状态数据。本公开对此不作限定。
基于一幅人脸图像分析得到驾驶人员的多种驾驶状态数据的方式有多种，可以灵活设计，本公开以多种驾驶状态数据包括分心状态数据、疲劳状态数据和情绪状态数据为例，分别对它们的分析方式进行举例说明。
请结合参阅图3，所述驾驶人员的分心状态数据可以通过步骤S210至步骤S230得到。
步骤S210，基于所述驾驶人员的人脸图像，分析得到所述驾驶人员的头部的偏航角、俯仰角和滚动角。
其中，驾驶人员的头部的偏航角、俯仰角和滚动角可以通过多种方式得出，现进行以下举例。
例如，可以预先获取并存储驾驶人员正常驾驶状态下(驾驶人员直视前方，头部未偏移、扭动)的标准人脸图像，以存储的标准人脸图像为比对标准，与实时获取的驾驶人员的人脸图像进行比对分析，从而得到实时获取的人脸图像中驾驶人员相较标准人脸图像中头部的偏航角、俯仰角和滚动角。基于该种实现方式，由于标准人脸图像为预先获取的驾驶人员直视前方，头部未偏移、扭动状态下的图像，因而可以确保对偏航角、俯仰角和滚动角分析的精确性。
又例如，可以获取驾驶人员正常驾驶时的多幅人脸图像，基于多幅人脸图像生成用于比对的标准人脸图像。示例性地，可以在驾驶人员启动车辆之后，获取前20分钟驾驶人员的人脸图像，基于获取的前20分钟驾驶人员的人脸图像，生成一作为比对标准的标准人脸图像并进行存储，以存储的标准人脸图像为比对标准，与实时获取的驾驶人员的人脸图像进行比对分析，从而得到实时获取的人脸图像中驾驶人员相较标准人脸图像中头部的偏航角、俯仰角和滚动角。基于该种实现方式，由于标准人脸图像为基于驾驶人员驾驶过程中一段时间内的人脸图像生成，因而标准人脸图像与驾驶人员的实际驾驶习惯更为适配，从而可以确保对偏航角、俯仰角和滚动角分析的可靠性，改善因不同驾驶人员驾驶习惯上的差异所可能造成的误判。
本公开中的偏航角指驾驶人员相较于标准人脸图像中的角度，头部向左或者向右转动的角度。俯仰角指驾驶人员相较于标准人脸图像中的角度，头部向上或者向下转动的角度。滚动角指驾驶人员的头部进行转动时对应的临界角度。
步骤S220，判断所述驾驶人员的头部的偏航角、俯仰角和滚动角是否超过设定的角度阈值，如果超过所述设定的角度阈值，则执行步骤S230。如果未超过所述设定的角度阈值，则结束，进而继续基于下一幅人脸图像进行判断。
其中，角度阈值可以为默认设置，也可以由用户自定义。偏航角和俯仰角各自对应的角度阈值可以相同也可以不同，本公开对此不作限制。
步骤S230，判定所述驾驶人员处于分心状态。
在一种实现方式中，可以通过学习机制获取驾驶人员驾驶时的各角度，如上述偏航角和俯仰角的平均值。示例性地，可以在驾驶人员启动车辆之后，获取前10分钟驾驶人员的人脸图像，通过学习机制计算得到前10分钟的各偏航角，进而根据各偏航角计算偏航角的平均值。通过学习机制计算得到前10分钟的各俯仰角，进而根据各俯仰角计算俯仰角的平均值。之后，若通过学习机制得出驾驶人员的头部的偏航角大于角度阈值或者头部的俯仰角大于角度阈值，则判定驾驶人员处于分心状态。
请结合参阅图4，所述驾驶人员的疲劳状态数据可以通过步骤S310至步骤S340得到。
步骤S310，基于所述驾驶人员的人脸图像，分析得到所述驾驶人员每个眼睛的中心点坐标和每个嘴角的坐标。
步骤S320，根据每个眼睛的中心点坐标裁剪出所述驾驶人员的眼睛区域图像，根据每个嘴角的坐标裁剪出所述驾驶人员的嘴巴区域图像。
根据驾驶人员的眼睛的中心点坐标，即可得到驾驶人员的眼睛所在区域，从而裁剪出驾驶人员的眼睛区域图像。根据驾驶人员嘴角的坐标，即可得到驾驶人员的嘴巴所在区域，从而裁剪出驾驶人员的嘴巴区域图像。
步骤S330，根据所述眼睛区域图像分析所述驾驶人员的眼睛状态，根据所述嘴巴区域图像分析所述驾驶人员的嘴巴状态。
其中，根据眼睛区域图像，分析得到的眼睛状态可以包括睁眼状态、闭眼状态、睁眼幅度，根据嘴巴区域图像，分析得到的嘴巴状态可以包括张嘴状态、闭嘴状态、张嘴幅度。
步骤S340，基于所述眼睛状态和嘴巴状态判断所述驾驶人员是否处于疲劳状态。
通过上述步骤S310至步骤S340，对一幅人脸图像进行分析，可以得到驾驶人员某一时间点的眼睛状态和嘴巴状态，对持续获得的驾驶人员的多幅人脸图像进行分析，可以得到驾驶人员在一持续时段内，各时间点的眼睛状态和嘴巴状态，通过对驾驶人员在持续时段内眼睛处于闭眼状态的时长、频率，以及嘴巴处于张开状态的时长、频率进行分析和统计，即可分析得到驾驶人员是否处于疲劳状态。例如，若在2分钟内，分析得出驾驶人员的眼睛处于闭眼状态的时长超过设定时长，或者眼睛处于闭眼状态的频率超过设定频率，则判定驾驶人员处于疲劳状态。又例如，若在2分钟内，分析得出驾驶人员嘴巴处于张嘴状态的时长超过设定时长，或者嘴巴处于张嘴状态的频率超过设定频率，则判定驾驶人员处于疲劳状态。又例如，可以在2分钟内，结合驾驶人员眼睛处于闭眼状态的时长、频率，以及驾驶人员嘴巴处于张嘴状态的时长、频率进行综合分析，判断驾驶人员是否处于疲劳状态。
鉴于驾驶人员处于疲劳驾驶时，往往伴随着瞌睡、哈欠，因而在驾驶人员驾驶过程中，若眼睛处于闭眼状态的时长、频率(睁眼幅度也可能减小)明显高于正常驾驶状态(非疲劳驾驶状态)，那么驾驶人员较大可能处于瞌睡状态。类似地，在驾驶人员驾驶过程中，若嘴巴处于张嘴状态的时长、频率明显高于正常驾驶状态(非疲劳驾驶状态)，那么驾驶人员较大可能处于哈欠状态。进而根据驾驶人员的眼睛状态、嘴巴状态即可分析出驾驶人员是否存在瞌睡、哈欠等表现，进而判定驾驶人员是否处于疲劳驾驶。
可以理解的是，驾驶人员处于疲劳驾驶时处于闭眼状态的时长和频率会明显高于驾驶人员正常眨眼时处于闭眼状态的时长和频率(睁眼幅度可能小于驾驶人员正常状态下的睁眼幅度)，因而，通过持续对驾驶人员眼睛状态的分析，可以排除驾驶人员正常眨眼的干扰。类似地，驾驶人员处于疲劳驾驶时处于张嘴状态的时长和频率(以及张嘴幅度)，会明显高于驾驶人员正常讲话时处于张嘴状态的时长和频率(张嘴幅度也会更高)，因而，通过持续对驾驶人员嘴巴状态的分析，可以排除驾驶人员正常说话时张嘴的干扰。
驾驶人员的疲劳状态数据还可以通过其他方式得出，例如，可以仅根据眼睛状态得出，相应地，只需基于驾驶人员的人脸图像得到驾驶人员的眼睛区域图像，从而分析得出驾驶人员的眼睛状态，进而基于驾驶人员的眼睛状态判定驾驶人员是否处于疲劳驾驶状态。又例如，驾驶人员的疲劳状态数据可以仅根据嘴巴状态得出，相应地，只需基于驾驶人员的人脸图像得到驾驶人员的嘴巴区域图像，从而分析得出驾驶人员的嘴巴状态，进而基于驾驶人员的嘴巴状态判定驾驶人员是否处于疲劳驾驶状态。
本公开中，驾驶人员的情绪状态数据可以通过多种方式得到。例如，情绪状态数据可以通过深度网络分类得到。又例如，可以将驾驶人员的人脸图像与设定的多种情绪分类模板进行匹配，分析得到所述驾驶人员所处于的情绪分类。多种情绪分类模板可以灵活设计，例如，可以设计为正常、高兴、生气、愤怒、沮丧等五种情绪分类模板，对驾驶人员的人脸图像进行分析，得出驾驶人员所处于的情绪分类结果。其中，可以将生气、愤怒、沮丧作为目标情绪状态，在判定驾驶人员处于生气、愤怒或者沮丧时，进行提示。
步骤S130，根据各时间点所述驾驶人员的多种驾驶状态数据判断所述驾驶人员是否处于安全驾驶状态。
本公开中，在多种驾驶状态数据包括驾驶人员的分心状态数据、驾驶人员的情绪状态数据和驾驶人员的疲劳状态数据时，步骤S130可以通过以下方式实现。
统计所述驾驶人员连续处于分心状态的时长，在所述驾驶人员连续处于分心状态的时长达到设定时长时，判定所述驾驶人员未处于安全驾驶状态，并进行提醒。
在分析得到所述驾驶人员处于疲劳状态时，判定所述驾驶人员未处于安全驾驶状态，并进行提醒。
在判定所述驾驶人员处于目标情绪状态时，判定所述驾驶人员未处于安全驾驶状态，并进行提醒。
本公开中，直接基于人脸图像分析得到驾驶人员的多种驾驶状态数据，并结合多种驾驶状态数据综合判断驾驶人员是否处于安全驾驶状态，实现较为便捷的同时，有效确保了检测的可靠性。
为了更为清楚地阐述本公开的实现方案，现以下述场景为例进行举例说明。
假设驾驶安全检测方案通过车辆中原有的车载终端200实现，车载终端200与车载摄像头通信，车载终端200能够基于车辆内的车载摄像头获取车辆内的图像，预先建立有能够基于一幅人脸图像分析得到分心状态数据、情绪状态数据和疲劳状态数据该三种驾驶状态数据的多任务模型，该能够同时对驾驶人员的分心状态、情绪状态和疲劳状态进行分析的多任务模型经压缩后集成于车载终端200。
基于上述场景，通过以下流程进行驾驶安全检测。
在车辆启动时，车载摄像头开始拍摄车辆内的图像，车载终端200实时获取车载摄像头拍摄的图像。
车载终端200针对实时获取的每幅图像，通过人脸检测算法检测出该幅图像中车辆内的所有人脸区域，在检测出的人脸区域为两个以上时，根据驾驶人员的位置信息选出驾驶人员的人脸区域的人脸图像。将实时检测出的驾驶人员的人脸图像送入多任务模型，经过多任务模型运算实时输出驾驶人员的三个状态：分心状态数据、疲劳状态数据和情绪状态数据。
车载终端200对获取的各幅图像分别进行上述处理，即可持续地(实时)得到各时间点驾驶人员的分心状态数据、疲劳状态数据和情绪状态数据。进而结合实时得到的各时间点驾驶人员的分心状态数据、疲劳状态数据和情绪状态数据实时综合判断驾驶人员当前是否处于安全驾驶状态，如果得出驾驶人员当前处于疲劳驾驶、分心驾驶或者暴力情绪此类状态下，判定驾驶人员处于非安全驾驶状态，则通过语音播报等及时进行提醒。进而实现对驾驶安全的实时检测，在检测到驾驶人员处于非安全驾驶状态时，及时进行提醒，从而确保驾驶安全性。
其中，驾驶人员的分心状态数据通过对驾驶人员的头部姿态进行分析得出，头部姿态主要包括三个角度：yaw(偏航角)、pitch(俯仰角)和roll(滚动角)。因此将驾驶人员的人脸图像输入多任务模型之后，多任务模型输出驾驶人员的头部偏航角、俯仰角和滚动角三个角度数值。通过学习机制获取驾驶人员正常驾驶时的yaw(偏航角)和pitch(俯仰角)两个角度的平均值，如当驾驶人员启动车辆之后，通过前20分钟计算的角度值计算一个平均值，再根据计算得到的平均值设定一角度偏移阈值。之后，如果驾驶人员的头部角度大于设定的阈值，则判断驾驶人员处于分心状态。
驾驶人员的疲劳状态数据通过对驾驶人员的眼睛状态和嘴巴状态进行分析得出，将驾驶人员的人脸图像输入多任务模型之后，多任务模型首先输出驾驶人员的人脸的五个特征点：两个眼睛中心、鼻尖和两个嘴角。根据眼睛中心和嘴角中心坐标点，裁剪出驾驶人员的眼睛区域图像和嘴巴区域图像。将裁剪的驾驶人员嘴巴区域图像和两个眼睛区域图像分别送人一个小型二分类网络，即可得出驾驶人员的眼睛为闭眼还是睁眼，嘴巴处于正常状态还是打哈欠状态，进而根据驾驶人员的眼睛状态和嘴巴状态判断驾驶人员是否处于疲劳驾驶。如果判定驾驶人员处于疲劳驾驶，给出提示信息。
驾驶人员的情绪状态数据通过对驾驶人员的表情进行分析得出，驾驶人员的情绪主要分为正常、高兴、生气、愤怒、沮丧五种，将驾驶人员的人脸图像输入多任务模型之后，多任务模型输出五个状态的分类结果。如果判定驾驶人员处于生气、愤怒、沮丧时，给出提示信息。
示例性地，当多任务模型输出所有结果后，多任务模型对分心状态、疲劳状态和情绪状态综合进行判断，在驾驶人员超过5秒未目视前方，给出分心提醒。当计算的疲劳值大于设定阈值时，给出疲劳提醒。当判定驾驶人员当前情绪较为糟糕(处于生气、愤怒、沮丧)时，发出提醒。发出的提醒可以灵活设定，例如，发出的提醒可以为让驾驶人员停车休息片刻再继续驾驶、让驾驶人员专心驾驶、提醒驾驶人员控制情绪并播放舒缓情绪的音乐等。
在上述基础上，还可以基于多任务模型对驾驶人员进行年龄判断和性别判断，示例性地，可以将年龄从0岁到100岁按照5岁一个阶段分成21个等级。将性别分为男、女两个类别。从而基于人脸图像分析出驾驶人员的年龄和性别。其中，驾驶人员的年龄和性别无需实时输出，多任务模型只需针对同一驾驶人员进行一次判断并存储即可。请结合参阅图5，为本公开实施例提供的一种多任务模型的示例性实现架构。
可以理解的是，在车辆中缺少能够进行处理、提示等功能的车载终端200时，还可以将用户的手持终端如手机作为“车载终端200”，将多任务模型加载至用户的手持终端中，由手持终端代替车载终端200实现驾驶安全检测。
图6示出了本公开一些实施例提供的驾驶安全检测装置300的功能模块框图。该驾驶安全检测装置300实现的功能对应上述方法执行的步骤。该驾驶安全检测装置300可以理解为上述车载终端200，或车载终端200的处理器，也可以理解为独立于上述车载终端200或处理器之外的在车载终端200控制下实现本公开功能的组件。如图6所示，驾驶安全检测装置300包括图像获取模块310、图像分析模块320和驾驶状态分析模块330。
其中，图像获取模块310用于实时获取车辆内的驾驶人员的人脸图像。
图像分析模块320用于对所述人脸图像进行分析，得到各时间点所述驾驶人员的多种驾驶状态数据。
其中，对一幅所述人脸图像进行分析得到的为一个时间点所述驾驶人员的多种驾驶状态数据。
驾驶状态分析模块330用于根据各时间点所述驾驶人员的多种驾驶状态数据判断所述驾驶人员是否处于安全驾驶状态。
在一种实现方式中，所述图像分析模块320具体用于，将实时获取的各所述人脸图像分别输入预先建立的多任务模型，基于所述多任务模型分析得到各时间点所述驾驶人员的多种驾驶状态数据。
在一种实现方式中，所述多任务模型为深度网络结构，深度网络结构的所述多任务模型的底层特征图和高层特征图通过特征融合金字塔实现融合。
在一种实现方式中，所述多种驾驶状态数据包括驾驶人员的分心状态数据、驾驶人员的情绪状态数据和驾驶人员的疲劳状态数据。
在一种实现方式中，所述图像分析模块320用于通过以下步骤得到所述驾驶人员的分心状态数据：
基于所述驾驶人员的人脸图像，分析得到所述驾驶人员的头部的偏航角、俯仰角和滚动角；
判断所述驾驶人员的头部的偏航角、俯仰角和滚动角是否超过设定的角度阈值，如果超过所述设定的角度阈值，判定所述驾驶人员处于分心状态。
在一种实现方式中，所述图像分析模块320用于通过以下步骤得到所述驾驶人员的疲劳状态数据：
基于所述驾驶人员的人脸图像，分析得到所述驾驶人员每个眼睛的中心点坐标和每个嘴角的坐标；
根据每个眼睛的中心点坐标裁剪出所述驾驶人员的眼睛区域图像，根据每个嘴角的坐标裁剪出所述驾驶人员的嘴巴区域图像；
根据所述眼睛区域图像分析所述驾驶人员的眼睛状态，根据所述嘴巴区域图像分析所述驾驶人员的嘴巴状态；
基于所述眼睛状态和嘴巴状态判断所述驾驶人员是否处于疲劳状态。
在一种实现方式中，所述图像分析模块320用于通过深度网络分类得到所述驾驶人员的情绪状态数据。
在一种实现方式中，所述驾驶状态分析模块330具体用于：
统计所述驾驶人员连续处于分心状态的时长，在所述驾驶人员连续处于分心状态的时长达到设定时长时，判定所述驾驶人员未处于安全驾驶状态，并进行提醒；
在分析得到所述驾驶人员处于疲劳状态时，判定所述驾驶人员未处于安全驾驶状态，并进行提醒；
在判定所述驾驶人员处于目标情绪状态时，判定所述驾驶人员未处于安全驾驶状态，并进行提醒。
在上述基础上，本公开实施例还提供一种车载终端200，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的驾驶安全检测方法。
为了使得预先建立的多任务模型能够便捷、实时的在车载终端200运行，用于分析得到多种驾驶状态数据的多任务模型可以经压缩后集成于所述车载终端200。其中，对多任务模型进行压缩的具体压缩算法可以采用多种。例如，可以采用不规则剪枝、卷积滤波器剪枝、卷积通道剪枝、权重量化等对多任务模型进行压缩。
由于本公开实施例中的驾驶安全检测装置300解决问题的原理与本公开实施例上述驾驶安全检测方法相似，因此驾驶安全检测装置300的实施可以参见方法的实施，重复之处不再赘述。
驾驶安全检测装置300中的上述模块可以经由有线连接或无线连接彼此连接或通信。有线连接可以包括金属线缆、光缆、混合线缆等，或其任意组合。无线连接可以包括通过LAN、WAN、蓝牙、ZigBee、或NFC等形式的连接，或其任意组合。两个或更多个模块可以组合为单个模块，并且任何一个模块可以分成两个或更多个单元。
此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述驾驶安全检测方法的步骤。
本公开实施例所提供的驾驶安全检测方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的驾驶安全检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。
本公开实施例提供的驾驶安全检测方法、驾驶安全检测装置300及车载终端200，只需要将预先建立的多任务模型加载到车载终端200中，可以不需要额外的传感器、摄像头等硬件装置，直接使用车辆内的车载摄像头即可获得驾驶人员的人脸图像，将驾驶人员的人脸图像输入多任务模型，便能够同时检测驾驶人员的分心状态、疲劳状态、情绪状态等多种状态，进而实现对驾驶安全的实时、可靠检测。基于人脸图像即可可靠地实现安全检测，计算量较少，无需驾驶人员进行硬件装置佩戴或者配合硬件装置，实现较为便捷。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本公开中不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种驾驶安全检测方法，其特征在于，包括：
实时获取车辆内的驾驶人员的人脸图像；
对所述人脸图像进行分析，得到各时间点所述驾驶人员的多种驾驶状态数据，其中，对一幅所述人脸图像进行分析得到的为一个时间点所述驾驶人员的多种驾驶状态数据；
根据各时间点所述驾驶人员的多种驾驶状态数据判断所述驾驶人员是否处于安全驾驶状态。
2.根据权利要求1所述的驾驶安全检测方法，其特征在于，所述对所述人脸图像进行分析，得到各时间点所述驾驶人员的多种驾驶状态数据的步骤，包括：
将实时获取的各所述人脸图像分别输入预先建立的多任务模型，基于所述多任务模型分析得到各时间点所述驾驶人员的多种驾驶状态数据。
3.根据权利要求2所述的驾驶安全检测方法，其特征在于，所述多任务模型为深度网络结构，深度网络结构的所述多任务模型的底层特征图和高层特征图通过特征融合金字塔实现融合。
4.根据权利要求2所述的驾驶安全检测方法，其特征在于，所述多种驾驶状态数据包括驾驶人员的分心状态数据、驾驶人员的情绪状态数据和驾驶人员的疲劳状态数据。
5.根据权利要求4所述的驾驶安全检测方法，其特征在于，所述驾驶人员的分心状态数据通过以下步骤得到：
基于所述驾驶人员的人脸图像，分析得到所述驾驶人员的头部的偏航角、俯仰角和滚动角；
判断所述驾驶人员的头部的偏航角、俯仰角和滚动角是否超过设定的角度阈值，如果超过所述设定的角度阈值，判定所述驾驶人员处于分心状态。
6.根据权利要求4所述的驾驶安全检测方法，其特征在于，所述驾驶人员的疲劳状态数据通过以下步骤得到：
基于所述驾驶人员的人脸图像，分析得到所述驾驶人员每个眼睛的中心点坐标和每个嘴角的坐标；
根据每个眼睛的中心点坐标裁剪出所述驾驶人员的眼睛区域图像，根据每个嘴角的坐标裁剪出所述驾驶人员的嘴巴区域图像；
根据所述眼睛区域图像分析所述驾驶人员的眼睛状态，根据所述嘴巴区域图像分析所述驾驶人员的嘴巴状态；
基于所述眼睛状态和嘴巴状态判断所述驾驶人员是否处于疲劳状态。
7.根据权利要求4至6任意一项所述的驾驶安全检测方法，其特征在于，所述根据各时间点所述驾驶人员的多种驾驶状态数据判断所述驾驶人员是否处于安全驾驶状态的步骤，包括：
统计所述驾驶人员连续处于分心状态的时长，在所述驾驶人员连续处于分心状态的时长达到设定时长时，判定所述驾驶人员未处于安全驾驶状态，并进行提醒；
在分析得到所述驾驶人员处于疲劳状态时，判定所述驾驶人员未处于安全驾驶状态，并进行提醒；
在判定所述驾驶人员处于目标情绪状态时，判定所述驾驶人员未处于安全驾驶状态，并进行提醒。
8.一种驾驶安全检测装置，其特征在于，包括：
图像获取模块，用于实时获取车辆内的驾驶人员的人脸图像；
图像分析模块，用于对所述人脸图像进行分析，得到各时间点所述驾驶人员的多种驾驶状态数据，其中，对一幅所述人脸图像进行分析得到的为一个时间点所述驾驶人员的多种驾驶状态数据；
驾驶状态分析模块，用于根据各时间点所述驾驶人员的多种驾驶状态数据判断所述驾驶人员是否处于安全驾驶状态。
9.根据权利要求8所述的驾驶安全检测装置，其特征在于，所述图像分析模块具体用于，将实时获取的各所述人脸图像分别输入预先建立的多任务模型，基于所述多任务模型分析得到各时间点所述驾驶人员的多种驾驶状态数据。
10.一种车载终端，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至7任一项所述的驾驶安全检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910433865.XA CN110751011A (zh) | 2019-05-23 | 2019-05-23 | 驾驶安全检测方法、驾驶安全检测装置及车载终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910433865.XA CN110751011A (zh) | 2019-05-23 | 2019-05-23 | 驾驶安全检测方法、驾驶安全检测装置及车载终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110751011A true CN110751011A (zh) | 2020-02-04 |
Family
ID=69275741
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910433865.XA Pending CN110751011A (zh) | 2019-05-23 | 2019-05-23 | 驾驶安全检测方法、驾驶安全检测装置及车载终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110751011A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112183356A (zh) * | 2020-09-28 | 2021-01-05 | 广州市几米物联科技有限公司 | 驾驶行为检测方法、设备及可读存储介质 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101032405A (zh) * | 2007-03-21 | 2007-09-12 | 汤一平 | 基于全方位计算机视觉的安全驾驶辅助装置 |
| US20120219189A1 (en) * | 2009-10-30 | 2012-08-30 | Shenzhen Safdao Technology Corporation Limited | Method and device for detecting fatigue driving and the automobile using the same |
| CN104688251A (zh) * | 2015-03-02 | 2015-06-10 | 西安邦威电子科技有限公司 | 一种多姿态下的疲劳及非正常姿态驾驶检测方法 |
| CN107704805A (zh) * | 2017-09-01 | 2018-02-16 | 深圳市爱培科技术股份有限公司 | 疲劳驾驶检测方法、行车记录仪及存储装置 |
| CN108230619A (zh) * | 2016-12-14 | 2018-06-29 | 贵港市瑞成科技有限公司 | 基于多特征融合的疲劳驾驶检测方法 |
| CN108791299A (zh) * | 2018-05-16 | 2018-11-13 | 浙江零跑科技有限公司 | 一种基于视觉的驾驶疲劳检测及预警系统及方法 |
| CN108960065A (zh) * | 2018-06-01 | 2018-12-07 | 浙江零跑科技有限公司 | 一种基于视觉的驾驶行为检测方法 |
| CN109117876A (zh) * | 2018-07-26 | 2019-01-01 | 成都快眼科技有限公司 | 一种稠密小目标检测模型构建方法、模型及检测方法 |
| CN109190459A (zh) * | 2018-07-20 | 2019-01-11 | 上海博泰悦臻电子设备制造有限公司 | 一种车主情绪识别及调节方法、存储介质及车载系统 |
| CN109284698A (zh) * | 2018-09-03 | 2019-01-29 | 深圳市尼欧科技有限公司 | 一种基于图像识别技术的疲劳驾驶行为检测方法 |
| CN109426765A (zh) * | 2017-08-23 | 2019-03-05 | 厦门雅迅网络股份有限公司 | 驾驶危险情绪提醒方法、终端设备及存储介质 |
| CN109584507A (zh) * | 2018-11-12 | 2019-04-05 | 深圳佑驾创新科技有限公司 | 驾驶行为监测方法、装置、系统、交通工具和存储介质 |
| CN109740608A (zh) * | 2018-12-28 | 2019-05-10 | 北京工业大学 | 一种基于深度学习的图像分割方法 |
| CN109766878A (zh) * | 2019-04-11 | 2019-05-17 | 深兰人工智能芯片研究院（江苏）有限公司 | 一种车道线检测的方法和设备 |
-
2019
- 2019-05-23 CN CN201910433865.XA patent/CN110751011A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101032405A (zh) * | 2007-03-21 | 2007-09-12 | 汤一平 | 基于全方位计算机视觉的安全驾驶辅助装置 |
| US20120219189A1 (en) * | 2009-10-30 | 2012-08-30 | Shenzhen Safdao Technology Corporation Limited | Method and device for detecting fatigue driving and the automobile using the same |
| CN104688251A (zh) * | 2015-03-02 | 2015-06-10 | 西安邦威电子科技有限公司 | 一种多姿态下的疲劳及非正常姿态驾驶检测方法 |
| CN108230619A (zh) * | 2016-12-14 | 2018-06-29 | 贵港市瑞成科技有限公司 | 基于多特征融合的疲劳驾驶检测方法 |
| CN109426765A (zh) * | 2017-08-23 | 2019-03-05 | 厦门雅迅网络股份有限公司 | 驾驶危险情绪提醒方法、终端设备及存储介质 |
| CN107704805A (zh) * | 2017-09-01 | 2018-02-16 | 深圳市爱培科技术股份有限公司 | 疲劳驾驶检测方法、行车记录仪及存储装置 |
| CN108791299A (zh) * | 2018-05-16 | 2018-11-13 | 浙江零跑科技有限公司 | 一种基于视觉的驾驶疲劳检测及预警系统及方法 |
| CN108960065A (zh) * | 2018-06-01 | 2018-12-07 | 浙江零跑科技有限公司 | 一种基于视觉的驾驶行为检测方法 |
| CN109190459A (zh) * | 2018-07-20 | 2019-01-11 | 上海博泰悦臻电子设备制造有限公司 | 一种车主情绪识别及调节方法、存储介质及车载系统 |
| CN109117876A (zh) * | 2018-07-26 | 2019-01-01 | 成都快眼科技有限公司 | 一种稠密小目标检测模型构建方法、模型及检测方法 |
| CN109284698A (zh) * | 2018-09-03 | 2019-01-29 | 深圳市尼欧科技有限公司 | 一种基于图像识别技术的疲劳驾驶行为检测方法 |
| CN109584507A (zh) * | 2018-11-12 | 2019-04-05 | 深圳佑驾创新科技有限公司 | 驾驶行为监测方法、装置、系统、交通工具和存储介质 |
| CN109740608A (zh) * | 2018-12-28 | 2019-05-10 | 北京工业大学 | 一种基于深度学习的图像分割方法 |
| CN109766878A (zh) * | 2019-04-11 | 2019-05-17 | 深兰人工智能芯片研究院（江苏）有限公司 | 一种车道线检测的方法和设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112183356A (zh) * | 2020-09-28 | 2021-01-05 | 广州市几米物联科技有限公司 | 驾驶行为检测方法、设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12032730B2 (en) | Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness | |
| US20220203996A1 (en) | Systems and methods to limit operating a mobile phone while driving | |
| US11726577B2 (en) | Systems and methods for triggering actions based on touch-free gesture detection | |
| Kashevnik et al. | Cloud-based driver monitoring system using a smartphone | |
| US20210081754A1 (en) | Error correction in convolutional neural networks | |
| US11292477B2 (en) | Vehicle manipulation using cognitive state engineering | |
| US20200207358A1 (en) | Contextual driver monitoring system | |
| US20230347903A1 (en) | Sensor-based in-vehicle dynamic driver gaze tracking | |
| CN107665330B (zh) | 在车辆中检测头部姿势的系统、方法和计算机可读介质 | |
| CN110447232B (zh) | 用于确定用户情绪的电子设备及其控制方法 | |
| EP3889740B1 (en) | Affective-cognitive load based digital assistant | |
| US20240362931A1 (en) | Systems and methods for determining driver control over a vehicle | |
| JP7118136B2 (ja) | 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法 | |
| JP2020525334A (ja) | 運転管理方法及びシステム、車載スマートシステム、電子機器並びに媒体 | |
| CN112041891A (zh) | 增强表情系统 | |
| JP6713490B2 (ja) | 情報提供装置及び情報提供方法 | |
| CN109664891A (zh) | 辅助驾驶方法、装置、设备及存储介质 | |
| JP2022530605A (ja) | 子供状態検出方法及び装置、電子機器、記憶媒体 | |
| EP4042322A1 (en) | Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness | |
| Abulkhair et al. | Mobile platform detect and alerts system for driver fatigue | |
| JP6552548B2 (ja) | 地点提案装置及び地点提案方法 | |
| CN110751011A (zh) | 驾驶安全检测方法、驾驶安全检测装置及车载终端 | |
| CN114663863A (zh) | 图像处理方法、装置、电子设备和计算机存储介质 | |
| CN113312958A (zh) | 一种基于司机状态的派单优先度调整方法及装置 | |
| CN116767255A (zh) | 一种用于新能源汽车的智能座舱联动方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200204 |
|
| RJ01 | Rejection of invention patent application after publication |