CN109584507B - 驾驶行为监测方法、装置、系统、交通工具和存储介质 - Google Patents
驾驶行为监测方法、装置、系统、交通工具和存储介质 Download PDFInfo
- Publication number
- CN109584507B CN109584507B CN201811339289.4A CN201811339289A CN109584507B CN 109584507 B CN109584507 B CN 109584507B CN 201811339289 A CN201811339289 A CN 201811339289A CN 109584507 B CN109584507 B CN 109584507B
- Authority
- CN
- China
- Prior art keywords
- driving state
- image frame
- characteristic
- detection
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012544 monitoring process Methods 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 159
- 230000002159 abnormal effect Effects 0.000 claims abstract description 113
- 238000012806 monitoring device Methods 0.000 claims abstract description 7
- 230000001133 acceleration Effects 0.000 claims description 49
- 230000006399 behavior Effects 0.000 claims description 41
- 238000004590 computer program Methods 0.000 claims description 26
- 238000005516 engineering process Methods 0.000 claims description 19
- 230000004397 blinking Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 description 14
- 238000012549 training Methods 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 235000019504 cigarettes Nutrition 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000391 smoking effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 206010048232 Yawning Diseases 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001282135 Poromitra oscitans Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000035080 detection of muscle activity involved in regulation of muscle adaptation Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000000193 eyeblink Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及一种驾驶行为监测方法、装置、系统、交通工具和存储介质。所述方法包括：对采集的交通工具内的视频信息执行检测操作，确定驾驶员的当前驾驶状态是否为异常驾驶状态；其中，所述检测操作包括分心驾驶检测和疲劳驾驶检测；若所述当前驾驶状态为异常驾驶状态，则执行与所述异常驾驶状态对应的预警操作。采用本方法能够实现对疲劳驾驶状态、分心驾驶状态这两种异常驾驶状态的全方位监测，并通过执行与异常驾驶状态对应的预警操作实现针对性的高效预警，降地驾驶风险。
Description
技术领域
本申请涉及车辆技术领域，特别是涉及一种驾驶行为监测方法、装置、系统、交通工具和存储介质。
背景技术
随着车辆安全驾驶技术的发展，驾驶员行为检测系统(The driver behaviordetection system)作为驾驶员辅助系统(The driver assistance systems)的一项重要技术，在交通事故的预防方面有广阔的应用前景而受到越来越多的研究机构和学者的关注。
一般地，驾驶员行为检测系统通过实时监测驾驶员的驾驶行为和驾驶状态，可以提早发现不安全的驾驶操作，提高驾驶员的安全驾驶意识，避免重大交通事故发生。
然而，目前驾驶员行为检测系统的检测的范围很窄，仅对疲劳驾驶做出深入研究，而对其它的因素涉及甚少，这无疑加大了驾驶风险。
发明内容
基于此，有必要针对上述技术问题，提供一种能够实现包括分心驾驶检测和疲劳驾驶检测在内的全方位的驾驶检测的驾驶行为监测方法、装置、系统、交通工具和存储介质。
第一方面，一种驾驶行为监测方法，所述方法包括：
对采集的交通工具内的视频信息执行检测操作，确定驾驶员的当前驾驶状态是否为异常驾驶状态；其中，所述检测操作包括分心驾驶检测和疲劳驾驶检测；
若所述当前驾驶状态为异常驾驶状态，则执行与所述异常驾驶状态对应的预警操作。
在其中一个实施例中，所述检测操作还包括：异常变速驾驶检测，所述方法还包括：
对获取的交通工具的运行状态信息执行所述异常变速驾驶检测。
在其中一个实施例中，所述对采集的交通工具内的视频信息执行分心驾驶检测，包括：
获取第一预设时间段内所述视频信息的各图像帧，并通过预设的椭圆轮廓检测算法对所述各图像帧进行处理，获取所述各图像帧中方向盘区域的各像素点；
根据预设的高斯肤色模型和所述方向盘区域的各像素点的像素值，计算所述各图像帧中方向盘区域的各像素点属于肤色区域的特征概率；
根据所述各图像帧对应的特征概率与预设概率阈值的大小，识别所述当前驾驶状态是否为分心驾驶状态。
在其中一个实施例中，根据所述各图像帧对应的特征概率与预设概率阈值的大小，识别所述当前驾驶状态是否为分心驾驶状态，包括：
计算所述各图像帧中任意连续的两个图像帧对应的特征概率的差值；
若所述特征概率的差值大于预设概率阈值，则确定所述当前驾驶状态为分心驾驶状态。
在其中一个实施例中，所述对采集的交通工具内的视频信息执行分心驾驶检测，包括：
获取第一预设时间段内所述视频信息的各图像帧，并通过预设的人脸识别技术对所述各图像帧进行处理，获取所述各图像帧中嘴巴区域的各像素点；
计算所述各图像帧中嘴巴区域的各像素点的特征像素值；
根据所述各图像帧对应的特征像素值和预设特征像素阈值，识别所述当前驾驶状态是否为分心驾驶状态。
在其中一个实施例中，所述对采集的交通工具内的视频信息执行疲劳驾驶检测，包括：
获取第一预设时间段内所述视频信息的各图像帧，并通过预设的人脸识别技术对所述各图像帧进行处理，计算人脸特征点的闭合频率；
若所述人脸特征点的闭合频率大于预设频率阈值，则确定所述当前驾驶状态为疲劳驾驶状态。
在其中一个实施例中，若人脸特征点为眼睛，则所述计算人脸特征点的闭合频率，包括：
根据所述各图像帧中的人眼状态，统计所述第一预设时间段内的眨眼次数；所述人眼状态包括睁开状态和闭合状态；
根据所述第一预设时间段和所述眨眼次数，计算眼睛的眨眼频率。
在其中一个实施例中，若人脸特征点为嘴巴，则所述计算人脸特征点的闭合频率，包括：
根据所述各图像帧中的嘴巴状态，统计所述第一预设时间段内的嘴巴闭合次数；所述嘴巴状态包括张开状态和闭合状态；
根据所述第一预设时间段和所述嘴巴闭合次数，计算嘴巴的闭合频率。
在其中一个实施例中，所述对获取的交通工具的运行状态信息执行所述异常变速驾驶检测，包括：
获取第二预设时间段内车辆的速度信息以及方向盘的角度信息；
根据所述车辆的速度信息，获取所述第二预设时间段内车辆的特征速度和特征加速度；以及根据所述方向盘的角度信息，获取所述第二预设时间段内车辆的特征角加速度；
根据所述特征速度和预设特征速度阈值，所述特征加速度和预设特征加速度阈值，以及所述特征角加速度和预设角加速度阈值，识别所述当前驾驶状态是否为异常变速驾驶状态。
第二方面，一种驾驶行为监测装置，所述装置包括：
第一检测模块，用于对采集的交通工具内的视频信息执行检测操作，确定驾驶员的当前驾驶状态是否为异常驾驶状态；其中，所述检测操作包括分心驾驶检测和疲劳驾驶检测；
预警模块，用于若所述当前驾驶状态为异常驾驶状态，则执行与所述异常驾驶状态对应的预警操作。
第三方面，一种驾驶行为监测系统，包括：视频信息采集装置、速度采集装置、角度采集装置、存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
对采集的交通工具内的视频信息执行检测操作，确定驾驶员的当前驾驶状态是否为异常驾驶状态；其中，所述检测操作包括分心驾驶检测和疲劳驾驶检测；
若所述当前驾驶状态为异常驾驶状态，则执行与所述异常驾驶状态对应的预警操作。
第四方面，一种交通工具，包括上述驾驶行为监测系统。
第五方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
对采集的交通工具内的视频信息执行检测操作，确定驾驶员的当前驾驶状态是否为异常驾驶状态；其中，所述检测操作包括分心驾驶检测和疲劳驾驶检测；
若所述当前驾驶状态为异常驾驶状态，则执行与所述异常驾驶状态对应的预警操作。
上述驾驶行为监测方法、装置、系统、交通工具和存储介质，通过对采集的交通工具内的视频信息执行检测操作，确定驾驶员的当前驾驶状态是否为异常驾驶状态，并在当前驾驶状态为异常驾驶状态时，执行与异常驾驶状态对应的预警操作，以实现包括分心驾驶检测和疲劳驾驶检测在内的全方位的驾驶检测，因此可以实现对疲劳驾驶状态、分心驾驶状态这两种异常驾驶状态的全方位监测，并通过执行与异常驾驶状态对应的预警操作实现针对性的高效预警，降地驾驶风险。
附图说明
图1为一个实施例中驾驶行为监测方法的应用环境图；
图2为一个实施例中驾驶行为监测方法的流程示意图；
图3为另一个实施例中驾驶行为监测方法的流程示意图；
图4为一个实施例中一种分心驾驶检测步骤的流程示意图；
图5为一个实施例中另一种分心驾驶检测步骤的流程示意图；
图6为一个实施例中一种疲劳驾驶检测步骤的流程示意图；
图7为一个实施例中一种异常变速驾驶检测步骤的流程示意图；
图8为一个实施例中驾驶行为监测方法的示意图；
图9为一个实施例中驾驶行为监测装置的结构框图；
图10为另一个实施例中驾驶行为监测装置的结构框图；
图11为一个实施例中驾驶行为监测系统的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的驾驶行为监测方法，可以应用于终端设备中，适用于各类交通工具，包括但不限于车辆、船只等交通工具。可以理解的是，当交通工具为船只时，本实施例中的方向盘可以为船舵。以车辆为例，终端设备可以但不限于是各种车载终端，或者笔记本电脑、智能手机、平板电脑和便携式可穿戴设备；车载终端可以为独立终端或者集成在车载多媒体终端、驾驶员辅助系统等装置中。参照图1所示，以车辆10为例，上述终端设备可以为车载终端12，该车载终端12可以与车内安装的视频信息采集装置14连接，获取车内视频信息；该车载终端12还可以与车内安装的速度采集装置15、角度采集装置16连接，获取车辆的运行状态信息；车载终端12可以根据车内视频信息和/或车辆的运行状态信息，确定驾驶员11的当前驾驶状态是否为异常驾驶状态。例如，车载终端可以通过预设的椭圆轮廓检测算法和高斯肤色模型，对采集的交通工具内的视频信息执行检测操作，确定驾驶员11的双手是否脱离方向盘13来确定当前驾驶状态是否为异常驾驶状态。
此外，车载终端还可以为智能手机，该智能手机可以与交通工具内安装的视频信息采集装置、速度采集装置、角度采集装置进行交互；例如，该图像采集装置和智能手机均具备蓝牙模块等短距离通信模块，则智能手机可以与该图像采集装置进行短距离通信；又例如，上述速度采集装置、角度采集装置可以与驾驶员辅助系统交互，而智能手机则通过短距离通信模块或者互联网等方式与驾驶员辅助系统进行交互。总之，本实施例并不限于上述示例。
在一个实施例中，如图2所示，通过对采集的交通工具内的视频信息执行检测操作，确定驾驶员的当前驾驶状态是否为异常驾驶状态，并在当前驾驶状态为异常驾驶状态时，执行与异常驾驶状态对应的预警操作，以实现包括分心驾驶检测和疲劳驾驶检测在内的全方位的驾驶检测以及相应预警操作。上述驾驶行为监测方法，以应用于图1中的车载终端为例进行说明，可以包括以下步骤：
S201，对采集的交通工具内的视频信息执行检测操作，确定驾驶员的当前驾驶状态是否为异常驾驶状态。
其中，检测操作包括分心驾驶检测和疲劳驾驶检测；分心驾驶可以包括在驾驶过程中，驾驶员双手脱离方向盘、驾驶员打电话、驾驶员抽烟等至少一种分心状况；疲劳驾驶可以包括在行驶过程中，驾驶员因为疲倦频繁打哈欠、眨眼等情况。因此，在本实施例中，车载终端可以通过安装在车辆内的图像采集装置采集车辆内的视频信息，获取驾驶员的面部图像、手部图像或者方向盘图像等并执行检测操作，来确定驾驶员是否处于分心驾驶状态或者疲劳驾驶状态等异常驾驶状态。
可以理解的是，S201可以包括：当交通工具处于驾驶状态时，对采集的交通工具内的视频信息执行检测操作，确定驾驶员的当前驾驶状态是否为异常驾驶状态。其中，交通工具处于驾驶状态可以包括：交通工具的速度大于预设的停靠速度阈值。例如，对于车辆而言，预设的停靠速度阈值可以为3km/h。因此，当交通工具处于驾驶状态时，才进行如S201所示的检测操作；而当交通工具处于停靠状态等非驾驶状态时，则不进行检测操作以及后续的预警操作，如此可以节省检测操作对应的资源，还可以避免非驾驶状态时引发错误预警。
当然，在本实施例中，交通工具中可以安装有多个图像采集装置，用于采集多个不同方位的交通工具内的视频信息，例如可以分别采集驾驶员的面部视频信息以及交通工具的方向盘视频信息，并对采集的驾驶员的面部视频信息执行疲劳驾驶检测，以及对采集的交通工具的方向盘视频信息执行分心驾驶检测，通过获取更精准的视频信息，避免冗余视频信息的干扰，提高检测操作的准确性。
S202，若当前驾驶状态为异常驾驶状态，则执行与异常驾驶状态对应的预警操作。
上述预警操作可以包括视频播放形式、文字显示形式、语音播放方式等各种方式的预警操作。示例性地，若当前驾驶状态为分心驾驶状态对应的异常驾驶状态，则执行与分心驾驶状态对应的预警操作，该预警操作可以是用于提醒驾驶员专心驾驶不要分心的预设语音播放；更进一步地，当该分心驾驶状态为驾驶员双手脱离方向盘的情况时，该预警操作可以是用于提醒驾驶员双手掌握方向盘的预设语音播放。同样地，若当前驾驶状态为疲劳驾驶状态对应的异常驾驶状态，则执行与疲劳驾驶状态对应的预警操作，该预警操作可以是用于提醒驾驶员停靠车辆进行休息的预设语音内容播放。总之，通过执行与异常驾驶状态对应的预警操作可以实现精准有效的预警操作，降低驾驶风险。
上述驾驶行为监测方法中，通过对采集的交通工具内的视频信息执行检测操作，确定驾驶员的当前驾驶状态是否为异常驾驶状态，并在当前驾驶状态为异常驾驶状态时，执行与异常驾驶状态对应的预警操作，以实现包括分心驾驶检测和疲劳驾驶检测在内的全方位的驾驶检测，因此可以实现对疲劳驾驶状态、分心驾驶状态这两种异常驾驶状态的全方位监测，并通过执行与异常驾驶状态对应的预警操作实现针对性的高效预警，降地驾驶风险。
在一个实施例中，如图3所示，通过对采集的交通工具内的视频信息执行分心驾驶检测和疲劳驾驶检测，以及对获取的交通工具的运行状态信息执行异常变速驾驶检测，来确定驾驶员的当前驾驶状态是否为异常驾驶状态，并在当前驾驶状态为异常驾驶状态时，执行与异常驾驶状态对应的预警操作，以实现包括分心驾驶检测、疲劳驾驶检测以及异常变速驾驶检测在内的全方位的驾驶检测以及相应预警操作。上述驾驶行为监测方法，以应用于图1中的车载终端为例进行说明，可以包括以下步骤：
S301，对采集的交通工具内的视频信息执行分心驾驶检测和疲劳驾驶检测，以及对获取的交通工具的运行状态信息执行异常变速驾驶检测，确定驾驶员的当前驾驶状态是否为异常驾驶状态。
其中，异常变速驾驶可以包括在行驶过程中，因为驾驶员操作问题或者车辆问题，导致车辆出现超速、急加速、急转弯、急刹车等异常变速状况。上述异常变速状况可以通过获取车辆的运行状态信息来确定，例如当车辆的制动踏板处于制动高度的时间大于预设制动时间时，则该车辆可能出现了急刹车的异常变速情况。当对获取的交通工具的运行状态信息执行异常变速驾驶检测，检测到该交通工具出现异常变速时，则确定驾驶员的当前驾驶状态为异常变速驾驶状态这一异常驾驶状态。
需要说明的是，分心驾驶检测、疲劳驾驶检测和异常变速驾驶检测这三个检测可以相互影响：当驾驶员处于疲劳驾驶状态时，因为疲劳导致驾驶注意力低，进而分心驾驶，可能导致对油门和变速杆的掌握不到位而使车速发生突变；当驾驶员处于分心驾驶状态时，由于抽烟、打电话等行为使得手遮挡视线并使驾驶员分心或者由于手离开操作杆或方向盘，导致对车辆失去掌握，易引发车速突变；当驾驶员处于异常变速驾驶状态时，一般也是由于疲劳驾驶和分心驾驶而导致车辆变速。由于三者之间相互联系相互影响，则任一检测异常皆可以说明驾驶员处于异常驾驶状态；因此本实施例中采用多种检测方式，间接和直接地检测驾驶员的驾驶行为，能够全方位获取驾驶员的驾驶行为特征，使驾驶员的行为特征更丰富，而不是单纯的某一个特征表现，以提高驾驶监测的全面性和准确性，降低驾驶风险。
可选地，参照图4，S301中对采集的交通工具内的视频信息执行分心驾驶检测，可以包括：
S401，获取第一预设时间段内视频信息的各图像帧，并通过预设的椭圆轮廓检测算法对各图像帧进行处理，获取各图像帧中方向盘区域的各像素点。
上述第一预设时间段一般可以为从距离当前时刻第一预设时间段的时刻直至当前时刻之间的时间段，其时间长度可以根据实际情况进行设置，例如，上述第一预设时间段可以为距离当前时刻10秒钟或者5秒钟以内的时间段。示例性地，若该视频的帧率为12fps(每秒帧数)，当第一预设时间段长度为5秒时，获取的该视频信息的图像帧可以为60个，则可以对60个图像帧中的每一图像帧，采用预设的椭圆轮廓检测算法识别该图像帧中的方向盘区域，获得该方向盘区域的各像素点，具体地可以获得各像素点的坐标值。上述椭圆轮廓算法可以采用opencv库(Open Source Computer Vision Library，开源计算机视觉库)中的轮廓检测之椭圆检测算法，还可以采用基于霍夫变换的椭圆检测算法，以及基于随机霍夫变换的椭圆检测算法等。
可以理解的是，方向盘的轮廓一般为圆形，但上述图像帧中各方向盘的轮廓因为拍摄角度的关系一般为椭圆形，因此可以通过预设的椭圆轮廓检测算法可以识别出图像中组成方向盘的外层椭圆轮廓的各外特征点，以及组成方向盘的内层椭圆轮廓的各内特征点，进而获得由各外特征点对应的椭圆和各内特征点对应的椭圆包围形成的方向盘区域，进一步获得该方向盘区域的各像素点。
S402，根据预设的高斯肤色模型和方向盘区域的各像素点的像素值，计算各图像帧中方向盘区域的各像素点属于肤色区域的特征概率。
在本实施例中，车载终端可以获取上述识别出的方向盘区域的各像素点的像素值，具体地，可以根据方向盘区域的各像素点的坐标值获取与该坐标值对应的像素值。示例性地，当各图像帧为彩色图像，可以采用YCb-Cr色彩空间表示各像素点的像素值，在忽略亮度分量Y的影响下，可以表示为(Cb,Cr)T，其中，Cb为蓝色色度分量，Cr为红色色度分量。相应地，在本实施例中，可以根据肤色像素点的像素值中色度分量Cb和Cr的分布趋势为二维高斯分布，将预先获取的该驾驶员的手部彩色图像中的大量肤色像素点作为训练样本，建立相应地高斯肤色模型G＝(m,C)，其中：
xi为训练样本中肤色像素点i的像素值(Cbi,Cri)T，n为训练样本中肤色像素点的个数，m表示训练样本中各肤色像素点的像素值的均值矩阵，C表示训练样本中各肤色像素点的像素值的协方差矩阵，则上述各图像帧中方向盘区域中的像素点的像素值为x时，该像素点属于肤色区域的概率为：
p(x)＝exp(-0.5(x-m)TC-1(x-m))
示例性地，当各图像帧为灰度图像时，可以根据肤色像素点的灰度值的分布趋势为一维高斯分布，将预先获取的该驾驶员的手部灰度图像中的大量肤色像素点作为训练样本，建立相应地高斯肤色模型。同样地，在本实施例中，色彩空间也可以采用RGB等色彩空间，但相比其它肤色空间，YCbCr色彩空间在进行人脸肤色识别时不易受光照及其它物体的干扰，准确性更高。
上述各图像帧中方向盘区域的各像素点属于肤色区域的特征概率可以为该图像帧中方向盘区域中的各像素点属于肤色区域的概率值的平均值、最大值、最小值，或者其他统计值，本实施例对比并不限制。此外，在本实施例中，可以采用诸如椭圆肤色模型等其它肤色模型，相比椭圆肤色模型更注重于肤色在轮廓方面的检测而言，高斯肤色模型优势在于色彩方面更具体化，适于肤色在颜色方面的检测。
S403，根据各图像帧对应的特征概率与预设概率阈值的大小，识别当前驾驶状态是否为分心驾驶状态。
示例性地，在本实施例中，可以将各图像帧对应的特征概率与预先设定的预设概率阈值进行比较，该预设概率阈值可以为驾驶员双手操控方向盘时拍摄的各图像帧对应的各特征概率的平均值，那么，若视频信息的各图像帧中存在至少一个图像帧对应的特征概率小于预设概率阈值，则意味着该图像帧对应的时刻，驾驶员可能双手脱离了方向盘，即该时刻驾驶状态为分心驾驶状态，则认为当前驾驶状态为分心驾驶状态。
具体地，S403可以包括：计算各图像帧中任意连续的两个图像帧对应的特征概率的差值；若特征概率的差值大于预设概率阈值，则确定当前驾驶状态为分心驾驶状态。示例性地，在本实施例中，该预设概率阈值可以为驾驶员双手操控方向盘时拍摄的各图像帧对应的特征概率值的标准差，则可以计算视频信息的各图像帧中任意连续的两个图像帧对应的特征概率的差值；若存在至少一对连续的两个图像帧对应的特征概率的差值大于该预设概率阈值，则意味着在上述连续的两个图像帧对应的时间内，驾驶员的双手与方向盘的接触状态发生了较大转变，意味着驾驶员可能双手脱离了方向盘，则认为当前驾驶状态为分心驾驶状态。
同样地，在本实施例中，当预设概率阈值为驾驶员双手操控方向盘时拍摄的各图像帧对应的最大特征概率值和最小特征概率值的差值时，还可以计算视频信息的各图像帧对应的最大特征概率值和最小特征概率值的差值，以该差值为特征差值，表征上述第一预设时间段内各图像帧对应的特征概率值的最大变化幅度；明显地，若该特征差值和预设概率阈值的差值小于预设差值，则意味着在该第一预设时间段内驾驶员的双手与方向盘的接触状态发生了较大转变，意味着驾驶员可能双手脱离了方向盘，则认为当前驾驶状态为分心驾驶状态。
此外，在本实施例中，车载终端还可以获取车辆的转向信息和档位信息，根据车辆的转向信息和档位信息对分心驾驶检测的结果进行修正，以避免将正常驾驶状态检测为分心驾驶状态。例如，当车辆的转向发生变化时，一般为驾驶员操控方向盘才会出现的情况，则此种情况不应被认定为手脱离方向盘对应的分心驾驶状态；又例如，当车辆的档位发生变化时，意味着驾驶员的一只手可能脱离方向盘并在设置档位，则此时驾驶员的双手与方向盘的接触状态发生了较大转变，此种情况不应被认定为分心驾驶状态。
可选地，参照图5，S301中对采集的交通工具内的视频信息执行分心驾驶检测，可以包括：
S501，获取第一预设时间段内视频信息的各图像帧，并通过预设的人脸识别技术对各图像帧进行处理，获取各图像帧中嘴巴区域的各像素点。
可以理解的是，当驾驶员抽烟时，烟头位于嘴巴区域，因为烟头的明灭导致嘴巴区域的像素值频繁突变，可以根据该特征来判断驾驶员是否处于抽烟导致的分心驾驶状态。因此，在本实施例中，可以通过预先设置的人脸识别技术识别出各图像帧中的人脸区域的嘴巴区域，进而获得嘴巴区域的各像素点。
具体地，该人脸识别技术可以为基于multi-task网络(多任务学习网络)的人脸识别技术，可以同时进行人脸和人脸特征点的定位，在同等硬件设备上具有速度快，效果好的优点，可以在移动设备上进行使用。在经过大量的包含人脸和非人脸图像的训练样本训练得到的multi-task网络中，可以输入一张包含驾驶员人脸的图像，输出得到一张用框标记好的人脸和用点标记好的特征点图像。基于深度学习的multi-task人脸检测网络可以使用三个CNN(convolutional neural networks，卷积神经网络)级联的方式将人脸检测和人脸特征点检测同时进行，上述三个CNN包括：P-Net、R-Net和O-Net，其中，P-Net是一个全卷积网络，用于生成候选框和边框回归向量(bounding box regression vectors)，使用Bounding box regression的方法来校准这些候选框，使用非极大值抑制(NMS)合并重叠的候选框；R-Net用于改善候选框，将通过P-Net的候选框输入R-Net中，拒绝掉大部分false的候选框，继续使用Bounding box regression和NMS合并，O-Net用于输出最终的候选框(人脸框和特征点位置)。
S502，计算各图像帧中嘴巴区域的各像素点的特征像素值。
在本实施例中，上述各图像帧中嘴巴区域的各像素点的特征像素值可以为该图像帧中嘴巴区域的各像素点的像素值的平均值、最大值、最小值，或者其他统计值；可选的，当像素值为RGB值时，该特征像素值为该图像帧中嘴巴区域的各像素点的像素值中R值的最大值，因为烟头剧烈燃烧时烟头对应的像素值的R值为嘴巴区域中最大的R值。
S503，根据各图像帧对应的特征像素值和预设特征像素阈值，识别当前驾驶状态是否为分心驾驶状态。
示例性地，在本实施例中，可以将各图像帧对应的特征像素值与预先设定的预设特征像素阈值进行比较，该预设特征像素阈值可以为驾驶员抽烟时拍摄的各图像帧对应的各特征像素值的平均值，那么，若视频信息的各图像帧中存在至少一个图像帧对应的特征像素值与预设特征像素阈值的差值小于预设差值时，则意味着该图像帧对应的时刻，驾驶员可能在抽烟，即该时刻驾驶状态为分心驾驶状态，则认为当前驾驶状态为分心驾驶状态。
同样地，在本实施例中，当预设特征像素阈值为驾驶员双手操控方向盘时拍摄的各图像帧对应的最大特征像素值和最小特征像素值的差值时，还可以计算视频信息的各图像帧对应的最大特征像素值和最小特征像素值的差值，以该差值为特征差值，表征上述第一预设时间段内各图像帧对应的特征像素值的最大变化幅度；明显地，若该特征差值和预设特征像素阈值的差值小于预设差值，则意味着在该第一预设时间段内驾驶员在抽烟，则认为当前驾驶状态为分心驾驶状态。
可选地，参照图6所示，S301中对采集的交通工具内的视频信息执行疲劳驾驶检测，可以包括：
S601，获取第一预设时间段内视频信息的各图像帧，并通过预设的人脸识别技术对各图像帧进行处理，计算人脸特征点的闭合频率。
在本实施例中，可以通过上述基于multi-task网络的人脸识别技术对各图像帧进行人脸识别和人脸特征点识别，然后识别并统计各图像帧中人脸特征点的闭合状态或张开状态，以此计算人脸特征点的闭合频率。
具体地，若人脸特征点为眼睛，则计算人脸特征点的闭合频率，包括：根据各图像帧中的人眼状态，统计第一预设时间段内的眨眼次数；人眼状态包括睁开状态和闭合状态；根据第一预设时间段和眨眼次数，计算眼睛的眨眼频率。示例性地，可以通过比较各图像帧中眼睛区域的各像素点的特征像素值和预设的肤色像素值来确定，例如当各图像帧中眼睛区域的各像素点的特征像素值和预设的肤色像素值相差较小时，意味着该图像帧中眼睛区域的各像素点偏向肤色，则该图像帧中眼睛状态为闭合状态；反之，当各图像帧中眼睛区域的各像素点的特征像素值和预设的肤色像素值相差较大时，意味着该图像帧中眼睛区域的各像素点偏离肤色较大，则该图像帧中眼睛状态为睁开状态。可以理解的是，当各图像帧中上一图像帧中眼睛状态为睁开状态，下一图像帧中眼睛状态为闭合状态时，意味着眼睛经过一次眨眼，则可以统计得到第一预设时间段内的眨眼次数，进而除以第一预设时间段的时间长度，得到眨眼频率。
具体地，若人脸特征点为嘴巴，则计算人脸特征点的闭合频率，包括：根据各图像帧中的嘴巴状态，统计第一预设时间段内的嘴巴闭合次数；嘴巴状态包括张开状态和闭合状态；根据第一预设时间段和嘴巴闭合次数，计算嘴巴的闭合频率。可以理解的是，上述计算嘴巴的闭合频率和上述计算眨眼频率的方式基本相同，这里不再赘述。
S602，若人脸特征点的闭合频率大于预设频率阈值，则确定当前驾驶状态为疲劳驾驶状态。
例如，当眨眼频率大于预设频率阈值时，意味着驾驶员眨眼过于频繁，可能是因为疲劳导致眨眼频繁，因此确当前驾驶状态为疲劳驾驶状态；当嘴巴闭合频率大于预设频率阈值时，意味着驾驶员嘴巴闭合过于频繁，可能是因为疲劳导致打哈欠，因此确当前驾驶状态为疲劳驾驶状态。需要说明的是，不同的人脸特征点对应的预设频率阈值是不同的，例如，嘴巴对应的预设频率阈值是小于眼睛对应的预设频率阈值的。
可选地，参照图7所示，S301中对获取的交通工具的运行状态信息执行异常变速驾驶检测，包括：
S701，获取第二预设时间段内车辆的速度信息以及方向盘的角度信息。
上述第二预设时间段与上述第一预设时间段类似，但二者的时间长度设置不同。一般地，因为第二预设时间段对应的时车辆的速度信息以及方向盘的角度信息的瞬时变化可能较大，因此上述第二预设时间段的时间长度可以设置的更短，例如2秒。示例性地，上述速度信息可以包括上述第二预设时间段内各时刻对应的车辆的速度，方向盘的角度信息可以包括上述第二预设时间段内各时刻对应的方向盘的角度。
S702，根据车辆的速度信息，获取第二预设时间段内车辆的特征速度和特征加速度；以及根据方向盘的角度信息，获取第二预设时间段内车辆的特征角加速度。
示例性地，特征速度可以为上述第二预设时间段内各时刻对应的车辆的速度的最大值；此外，可以根据上述第二预设时间段内各时刻对应的车辆的速度，计算各时刻对应的车辆的加速度，特征加速度可以为上述第二预设时间段内各时刻对应的车辆的加速度的最大值；还可以根据上述第二预设时间段内各时刻对应的方向盘的角度，计算各时刻对应的方向盘的角加速度，特征角加速度可以为上述第二预设时间段内各时刻对应的方向盘的角加速度的最大值。
S703，根据特征速度和预设特征速度阈值，特征加速度和预设特征加速度阈值，以及特征角加速度和预设角加速度阈值，识别当前驾驶状态是否为异常变速驾驶状态。
若特征速度大于预设速度阈值，则意味着车辆可能超速；若特征加速度大于预设加速度阈值，则意味着车辆可能急加速或急转弯；若特征角加速度大于预设角加速度阈值，则意味着车辆可能急转弯；因此车载终端可以确定当前驾驶状态为异常变速驾驶状态。
S302，若当前驾驶状态为异常驾驶状态，则执行与异常驾驶状态对应的预警操作。
示例性地，若当前驾驶状态为异常变速驾驶状态对应的异常驾驶状态，则执行与异常变速驾驶状态对应的预警操作，该预警操作可以是用于提醒驾驶员控制车辆平稳行驶的预设语音播放。
参照图8所示，在本实施例中，可以通过摄像头采集车辆内的视频图像，可以通过灰度化、图像滤波、直方图均衡化等方法进行图像预处理，通过椭圆轮廓检测算法进行方向盘定位，以及通过multi-task网络进行人脸定位以及眼睛和嘴巴的定位；最终可以通过对比连续帧之间的方向盘区域的各像素点属于肤色区域的概率是否有明显改变，判断驾驶员是否处于手脱离方向盘对应的分心驾驶状态；以及可以通过对比连续帧之间的嘴巴区域的各像素点的像素值是否有明显改变，判断驾驶员是否处于抽烟对应的分心驾驶状态；以及可以通过对比连续帧之间的眨眼频率和/或嘴巴闭合频率是否有明显改变，判断驾驶员是否处于疲劳驾驶状态；以及可以通过对比车辆速度、车辆加速度、方向盘的角加速度以及各自对应的阈值，判断驾驶员是否处于异常变速驾驶状态。
上述驾驶行为监测方法中，通过对采集的交通工具内的视频信息执行分心驾驶检测和疲劳驾驶检测，以及对获取的交通工具的运行状态信息执行异常变速驾驶检测，来确定驾驶员的当前驾驶状态是否为异常驾驶状态，并在当前驾驶状态为异常驾驶状态时，执行与异常驾驶状态对应的预警操作，以实现包括分心驾驶检测、疲劳驾驶检测以及异常变速驾驶检测在内的全方位的驾驶检测以及相应预警操作，因此可以实现对疲劳驾驶状态、分心驾驶状态以及异常变速驾驶状态这三种异常驾驶状态的全方位监测，并通过执行与异常驾驶状态对应的预警操作实现针对性的高效预警，降地驾驶风险。
应该理解的是，虽然图2-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供了一种驾驶行为监测装置90，包括：第一检测模块91和预警模块92，其中：
第一检测模块91，用于对采集的交通工具内的视频信息执行检测操作，确定驾驶员的当前驾驶状态是否为异常驾驶状态；其中，检测操作包括分心驾驶检测和疲劳驾驶检测；
预警模块92，用于若当前驾驶状态为异常驾驶状态，则执行与异常驾驶状态对应的预警操作。
可选地，参照图10所示，在上述图9的基础上，检测操作还包括：异常变速驾驶检测，装置还包括：第二检测模块93，用于对获取的交通工具的运行状态信息执行异常变速驾驶检测。
可选地，参照图10所示，第一检测模块91可以包括：
方向盘识别单元911，用于获取第一预设时间段内视频信息的各图像帧，并通过预设的椭圆轮廓检测算法对各图像帧进行处理，获取各图像帧中方向盘区域的各像素点；
特征概率计算单元912，用于根据预设的高斯肤色模型和方向盘区域的各像素点的像素值，计算各图像帧中方向盘区域的各像素点属于肤色区域的特征概率；
第一分心驾驶单元913，用于根据各图像帧对应的特征概率与预设概率阈值的大小，识别当前驾驶状态是否为分心驾驶状态。
可选地，第一分心驾驶单元913用于计算各图像帧中任意连续的两个图像帧对应的特征概率的差值；若特征概率的差值大于预设概率阈值，则确定当前驾驶状态为分心驾驶状态。
可选地，参照图10所示，第一检测模块91可以包括：
嘴巴区域识别单元914，获取第一预设时间段内视频信息的各图像帧，并通过预设的人脸识别技术对各图像帧进行处理，获取各图像帧中嘴巴区域的各像素点；
特征像素值计算单元915，用于计算各图像帧中嘴巴区域的各像素点的特征像素值；
第二分心驾驶单元916，用于根据各图像帧对应的特征像素值和预设特征像素阈值，识别当前驾驶状态是否为分心驾驶状态。
可选地，参照图10所示，第一检测模块91可以包括：
闭合概率计算单元917，用于获取第一预设时间段内视频信息的各图像帧，并通过预设的人脸识别技术对各图像帧进行处理，计算人脸特征点的闭合频率；
疲劳驾驶单元918，用于若人脸特征点的闭合频率大于预设频率阈值，则确定当前驾驶状态为疲劳驾驶状态。
可选地，若人脸特征点为眼睛，则闭合概率计算单元917用于根据各图像帧中的人眼状态，统计第一预设时间段内的眨眼次数；人眼状态包括睁开状态和闭合状态；根据第一预设时间段和眨眼次数，计算眼睛的眨眼频率。
可选地，若人脸特征点为嘴巴，则闭合概率计算单元917用于根据各图像帧中的嘴巴状态，统计第一预设时间段内的嘴巴闭合次数；嘴巴状态包括张开状态和闭合状态；根据第一预设时间段和嘴巴闭合次数，计算嘴巴的闭合频率。
可选地，参照图10所示，第二检测模块93可以包括：
运行状态获取单元931，用于获取第二预设时间段内车辆的速度信息以及方向盘的角度信息；
运行状态计算单元932，用于根据车辆的速度信息，获取第二预设时间段内车辆的特征速度和特征加速度；以及根据方向盘的角度信息，获取第二预设时间段内车辆的特征角加速度；
异常变速驾驶单元933，用于根据特征速度和预设特征速度阈值，特征加速度和预设特征加速度阈值，以及特征角加速度和预设角加速度阈值，识别当前驾驶状态是否为异常变速驾驶状态。
上述驾驶行为监测装置中，通过对采集的交通工具内的视频信息执行检测操作，确定驾驶员的当前驾驶状态是否为异常驾驶状态，并在当前驾驶状态为异常驾驶状态时，执行与异常驾驶状态对应的预警操作，以实现包括分心驾驶检测和疲劳驾驶检测在内的全方位的驾驶检测，因此可以实现对疲劳驾驶状态、分心驾驶状态这两种异常驾驶状态的全方位监测，并通过执行与异常驾驶状态对应的预警操作实现针对性的高效预警，降地驾驶风险。
关于驾驶行为监测装置的具体限定可以参见上文中对于驾驶行为监测方法的限定，在此不再赘述。上述驾驶行为监测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，参照图11所示，提供了一种驾驶行为监测系统，包括：视频信息采集装置、速度采集装置、角度采集装置、存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
对采集的交通工具内的视频信息执行检测操作，确定驾驶员的当前驾驶状态是否为异常驾驶状态；其中，检测操作包括分心驾驶检测和疲劳驾驶检测；
若当前驾驶状态为异常驾驶状态，则执行与异常驾驶状态对应的预警操作。
其中，视频信息采集装置可以为车载摄像头，摄像头可以安装在车右前方，斜置安放，主要对准驾驶员的脸部，可以根据安装角度微调摄像头水平视角和垂直视角。可选地，摄像头可以采用6层全玻璃镜头，安装角度可以为水平视角(HFOV)60°、垂直视角(VFOV)45°，具体的安装角度可以视车型而定，目的是为了采集车内驾驶员的所有行为，感光芯片可以为CMOS数字图像传感器AR0132AT。该视频信息采集装置具有集成度高、功耗低、成本低的优点，其中，摄像头采用6层全玻璃镜头能较好的适应车内的明暗变化情况。
采用的速度采集装置、角度采集装置为车速检测传感器与角度传感器，分别感应车速的变化情况以及方向盘角度的变化情况，其中，车速检测传感器采用霍尔传感器检测转速来测量车轮的转速，进而测出车速；处理器为主控芯片，角度传感器的信号输出端、车速检测传感器的信号输出端以及视频信息采集装置的信号输出端均可以与主控芯片的信号输入端连接，主控芯片的信号输出端可以与通讯电路双向连接；其中，主动芯片、角度传感器、车速检测传感器、视频信息采集装置和通讯电路均有电源电路供电，具有结构简单可靠性高，环境因素影响小的特点。
在一个实施例中，所述检测操作还包括：异常变速驾驶检测，处理器执行计算机程序时还实现以下步骤：对获取的交通工具的运行状态信息执行所述异常变速驾驶检测。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取第一预设时间段内所述视频信息的各图像帧，并通过预设的椭圆轮廓检测算法对所述各图像帧进行处理，获取所述各图像帧中方向盘区域的各像素点；根据预设的高斯肤色模型和所述方向盘区域的各像素点的像素值，计算所述各图像帧中方向盘区域的各像素点属于肤色区域的特征概率；根据所述各图像帧对应的特征概率与预设概率阈值的大小，识别所述当前驾驶状态是否为分心驾驶状态。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：计算所述各图像帧中任意连续的两个图像帧对应的特征概率的差值；若所述特征概率的差值大于预设概率阈值，则确定所述当前驾驶状态为分心驾驶状态。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取第一预设时间段内所述视频信息的各图像帧，并通过预设的人脸识别技术对所述各图像帧进行处理，获取所述各图像帧中嘴巴区域的各像素点；计算所述各图像帧中嘴巴区域的各像素点的特征像素值；根据所述各图像帧对应的特征像素值和预设特征像素阈值，识别所述当前驾驶状态是否为分心驾驶状态。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取第一预设时间段内所述视频信息的各图像帧，并通过预设的人脸识别技术对所述各图像帧进行处理，计算人脸特征点的闭合频率；若所述人脸特征点的闭合频率大于预设频率阈值，则确定所述当前驾驶状态为疲劳驾驶状态。
在一个实施例中，若人脸特征点为眼睛，处理器执行计算机程序时还实现以下步骤：根据所述各图像帧中的人眼状态，统计所述第一预设时间段内的眨眼次数；所述人眼状态包括睁开状态和闭合状态；根据所述第一预设时间段和所述眨眼次数，计算眼睛的眨眼频率。
在一个实施例中，若人脸特征点为嘴巴，处理器执行计算机程序时还实现以下步骤：根据所述各图像帧中的嘴巴状态，统计所述第一预设时间段内的嘴巴闭合次数；所述嘴巴状态包括张开状态和闭合状态；根据所述第一预设时间段和所述嘴巴闭合次数，计算嘴巴的闭合频率。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取第二预设时间段内车辆的速度信息以及方向盘的角度信息；根据所述车辆的速度信息，获取所述第二预设时间段内车辆的特征速度和特征加速度；以及根据所述方向盘的角度信息，获取所述第二预设时间段内车辆的特征角加速度；根据所述特征速度和预设特征速度阈值，所述特征加速度和预设特征加速度阈值，以及所述特征角加速度和预设角加速度阈值，识别所述当前驾驶状态是否为异常变速驾驶状态。
在一个实施例中，参照图1所示，提供了一种交通工具，包括上述驾驶行为监测系统。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
对采集的交通工具内的视频信息执行检测操作，确定驾驶员的当前驾驶状态是否为异常驾驶状态；其中，检测操作包括分心驾驶检测和疲劳驾驶检测；
若当前驾驶状态为异常驾驶状态，则执行与异常驾驶状态对应的预警操作。
在一个实施例中，所述检测操作还包括：异常变速驾驶检测，计算机程序被处理器执行时还实现以下步骤：对获取的交通工具的运行状态信息执行所述异常变速驾驶检测。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取第一预设时间段内所述视频信息的各图像帧，并通过预设的椭圆轮廓检测算法对所述各图像帧进行处理，获取所述各图像帧中方向盘区域的各像素点；根据预设的高斯肤色模型和所述方向盘区域的各像素点的像素值，计算所述各图像帧中方向盘区域的各像素点属于肤色区域的特征概率；根据所述各图像帧对应的特征概率与预设概率阈值的大小，识别所述当前驾驶状态是否为分心驾驶状态。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：计算所述各图像帧中任意连续的两个图像帧对应的特征概率的差值；若所述特征概率的差值大于预设概率阈值，则确定所述当前驾驶状态为分心驾驶状态。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取第一预设时间段内所述视频信息的各图像帧，并通过预设的人脸识别技术对所述各图像帧进行处理，获取所述各图像帧中嘴巴区域的各像素点；计算所述各图像帧中嘴巴区域的各像素点的特征像素值；根据所述各图像帧对应的特征像素值和预设特征像素阈值，识别所述当前驾驶状态是否为分心驾驶状态。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取第一预设时间段内所述视频信息的各图像帧，并通过预设的人脸识别技术对所述各图像帧进行处理，计算人脸特征点的闭合频率；若所述人脸特征点的闭合频率大于预设频率阈值，则确定所述当前驾驶状态为疲劳驾驶状态。
在一个实施例中，若人脸特征点为眼睛，计算机程序被处理器执行时还实现以下步骤：根据所述各图像帧中的人眼状态，统计所述第一预设时间段内的眨眼次数；所述人眼状态包括睁开状态和闭合状态；根据所述第一预设时间段和所述眨眼次数，计算眼睛的眨眼频率。
在一个实施例中，若人脸特征点为嘴巴，计算机程序被处理器执行时还实现以下步骤：根据所述各图像帧中的嘴巴状态，统计所述第一预设时间段内的嘴巴闭合次数；所述嘴巴状态包括张开状态和闭合状态；根据所述第一预设时间段和所述嘴巴闭合次数，计算嘴巴的闭合频率。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取第二预设时间段内车辆的速度信息以及方向盘的角度信息；根据所述车辆的速度信息，获取所述第二预设时间段内车辆的特征速度和特征加速度；以及根据所述方向盘的角度信息，获取所述第二预设时间段内车辆的特征角加速度；根据所述特征速度和预设特征速度阈值，所述特征加速度和预设特征加速度阈值，以及所述特征角加速度和预设角加速度阈值，识别所述当前驾驶状态是否为异常变速驾驶状态。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (13)
1.一种驾驶行为监测方法，其特征在于，所述方法包括：
对采集的交通工具内的视频信息执行检测操作，确定驾驶员的当前驾驶状态是否为异常驾驶状态；其中，所述检测操作包括分心驾驶检测和疲劳驾驶检测；对所述视频信息执行所述分心驾驶检测包括：确定第一预设时间段内所述视频信息的各图像帧中方向盘区域的各像素点属于肤色区域的特征概率，根据所述各图像帧对应的特征概率与预设概率阈值的大小，识别所述当前驾驶状态是否为分心驾驶状态；其中，所述特征概率为图像帧中方向盘区域的各像素点属于肤色区域的概率值的统计特征；
若所述当前驾驶状态为异常驾驶状态，则执行与所述异常驾驶状态对应的预警操作。
2.根据权利要求1所述的方法，其特征在于，所述检测操作还包括：异常变速驾驶检测，所述方法还包括：
对获取的交通工具的运行状态信息执行所述异常变速驾驶检测。
3.根据权利要求1所述的方法，其特征在于，所述对所述视频信息执行所述分心驾驶检测，还包括：
获取第一预设时间段内所述视频信息的各图像帧，并通过预设的椭圆轮廓检测算法对所述各图像帧进行处理，获取所述各图像帧中方向盘区域的各像素点；
根据预设的高斯肤色模型和所述方向盘区域的各像素点的像素值，计算所述各图像帧中方向盘区域的各像素点属于肤色区域的特征概率。
4.根据权利要求1或3所述的方法，其特征在于，所述根据所述各图像帧对应的特征概率与预设概率阈值的大小，识别所述当前驾驶状态是否为分心驾驶状态，包括：
计算所述各图像帧中任意连续的两个图像帧对应的特征概率的差值；
若所述特征概率的差值大于预设概率阈值，则确定所述当前驾驶状态为分心驾驶状态。
5.根据权利要求1所述的方法，其特征在于，所述对所述视频信息执行所述分心驾驶检测，还包括：
获取第一预设时间段内所述视频信息的各图像帧，并通过预设的人脸识别技术对所述各图像帧进行处理，获取所述各图像帧中嘴巴区域的各像素点；
计算所述各图像帧中嘴巴区域的各像素点的特征像素值；
根据所述各图像帧对应的特征像素值和预设特征像素阈值，识别所述当前驾驶状态是否为分心驾驶状态。
6.根据权利要求1所述的方法，其特征在于，对所述视频信息执行所述疲劳驾驶检测，包括：
获取第一预设时间段内所述视频信息的各图像帧，并通过预设的人脸识别技术对所述各图像帧进行处理，计算人脸特征点的闭合频率；
若所述人脸特征点的闭合频率大于预设频率阈值，则确定所述当前驾驶状态为疲劳驾驶状态。
7.根据权利要求6所述的方法，其特征在于，若人脸特征点为眼睛，则所述计算人脸特征点的闭合频率，包括：
根据所述各图像帧中的人眼状态，统计所述第一预设时间段内的眨眼次数；所述人眼状态包括睁开状态和闭合状态；
根据所述第一预设时间段和所述眨眼次数，计算眼睛的眨眼频率。
8.根据权利要求6所述的方法，其特征在于，若人脸特征点为嘴巴，则所述计算人脸特征点的闭合频率，包括：
根据所述各图像帧中的嘴巴状态，统计所述第一预设时间段内的嘴巴闭合次数；所述嘴巴状态包括张开状态和闭合状态；
根据所述第一预设时间段和所述嘴巴闭合次数，计算嘴巴的闭合频率。
9.根据权利要求2所述的方法，其特征在于，所述对获取的交通工具的运行状态信息执行所述异常变速驾驶检测，包括：
获取第二预设时间段内车辆的速度信息以及方向盘的角度信息；
根据所述车辆的速度信息，获取所述第二预设时间段内车辆的特征速度和特征加速度；以及根据所述方向盘的角度信息，获取所述第二预设时间段内车辆的特征角加速度；
根据所述特征速度和预设特征速度阈值，所述特征加速度和预设特征加速度阈值，以及所述特征角加速度和预设角加速度阈值，识别所述当前驾驶状态是否为异常变速驾驶状态。
10.一种驾驶行为监测装置，其特征在于，所述装置包括：
第一检测模块，用于对采集的交通工具内的视频信息执行检测操作，确定驾驶员的当前驾驶状态是否为异常驾驶状态；其中，所述检测操作包括分心驾驶检测和疲劳驾驶检测；对所述视频信息执行所述分心驾驶检测包括：确定第一预设时间段内所述视频信息的各图像帧中方向盘区域的各像素点属于肤色区域的特征概率，根据所述各图像帧对应的特征概率与预设概率阈值的大小，识别所述当前驾驶状态是否为分心驾驶状态；其中，所述特征概率为图像帧中方向盘区域的各像素点属于肤色区域的概率值的统计特征；
预警模块，用于若所述当前驾驶状态为异常驾驶状态，则执行与所述异常驾驶状态对应的预警操作。
11.一种驾驶行为监测系统，其特征在于，包括：视频信息采集装置、速度采集装置、角度采集装置、存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述方法的步骤。
12.一种交通工具，其特征在于，包括权利要求11所述的驾驶行为监测系统。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811339289.4A CN109584507B (zh) | 2018-11-12 | 2018-11-12 | 驾驶行为监测方法、装置、系统、交通工具和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811339289.4A CN109584507B (zh) | 2018-11-12 | 2018-11-12 | 驾驶行为监测方法、装置、系统、交通工具和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109584507A CN109584507A (zh) | 2019-04-05 |
| CN109584507B true CN109584507B (zh) | 2020-11-13 |
Family
ID=65922151
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811339289.4A Active CN109584507B (zh) | 2018-11-12 | 2018-11-12 | 驾驶行为监测方法、装置、系统、交通工具和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109584507B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751011A (zh) * | 2019-05-23 | 2020-02-04 | 北京嘀嘀无限科技发展有限公司 | 驾驶安全检测方法、驾驶安全检测装置及车载终端 |
| CN110334592A (zh) * | 2019-05-27 | 2019-10-15 | 天津科技大学 | 一种司机异常行为监测和安全保障系统及其方法 |
| CN112183173B (zh) * | 2019-07-05 | 2024-04-09 | 北京字节跳动网络技术有限公司 | 一种图像处理方法、装置及存储介质 |
| CN110728218A (zh) * | 2019-09-29 | 2020-01-24 | 深圳市大拿科技有限公司 | 危险驾驶行为的预警方法、装置、电子设备及存储介质 |
| CN110807436B (zh) * | 2019-11-07 | 2022-10-18 | 深圳鼎然信息科技有限公司 | 危险驾驶行为识别与危险事件预测方法、装置及存储介质 |
| CN111265220A (zh) * | 2020-01-21 | 2020-06-12 | 王力安防科技股份有限公司 | 一种近视预警方法、装置及设备 |
| CN111422203B (zh) * | 2020-02-28 | 2022-03-15 | 南京交通职业技术学院 | 一种驾驶行为评估方法及装置 |
| CN113370990A (zh) * | 2020-03-10 | 2021-09-10 | 华为技术有限公司 | 驾驶辅助方法和驾驶辅助装置 |
| CN111532281A (zh) * | 2020-05-08 | 2020-08-14 | 奇瑞汽车股份有限公司 | 驾驶行为的监测方法、装置、终端及存储介质 |
| CN112622921B (zh) * | 2020-09-29 | 2022-09-30 | 广州宸祺出行科技有限公司 | 一种检测司机异常驾驶行为的方法、装置及电子设备 |
| CN112356839A (zh) * | 2020-11-06 | 2021-02-12 | 广州小鹏自动驾驶科技有限公司 | 一种驾驶状态监测方法、系统及汽车 |
| CN112395993A (zh) * | 2020-11-18 | 2021-02-23 | 珠海大横琴科技发展有限公司 | 基于监控视频数据的遮挡船只检测方法、装置及电子设备 |
| CN113283286B (zh) * | 2021-03-24 | 2023-11-21 | 上海高德威智能交通系统有限公司 | 一种驾驶员异常行为检测方法和装置 |
| CN114030471B (zh) * | 2022-01-07 | 2022-04-26 | 深圳佑驾创新科技有限公司 | 一种基于道路交通特征的车辆加速度控制方法及装置 |
| CN114454891B (zh) * | 2022-02-28 | 2023-09-26 | 奇瑞汽车股份有限公司 | 汽车的控制方法、装置及计算机存储介质 |
| CN114841679B (zh) * | 2022-06-29 | 2022-10-18 | 陕西省君凯电子科技有限公司 | 车辆行驶数据的智能管理系统 |
| CN115471826B (zh) * | 2022-08-23 | 2024-03-26 | 中国航空油料集团有限公司 | 航空加油车安全驾驶行为判别方法、装置和安全运维系统 |
| CN116311181B (zh) * | 2023-03-21 | 2023-09-12 | 重庆利龙中宝智能技术有限公司 | 一种异常驾驶的快速检测方法及系统 |
| CN117416369A (zh) * | 2023-11-30 | 2024-01-19 | 广州市启宏普浩企业管理服务有限公司 | 一种驾驶异常行为告警方法及系统 |
| CN117911992A (zh) * | 2023-12-12 | 2024-04-19 | 广州市启宏普浩企业管理服务有限公司 | 一种驾驶员的驾驶异常行为数据分析方法及系统 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101032405A (zh) * | 2007-03-21 | 2007-09-12 | 汤一平 | 基于全方位计算机视觉的安全驾驶辅助装置 |
| CN101638079A (zh) * | 2008-07-28 | 2010-02-03 | 天津宝龙机电有限公司 | 触觉提醒方式的汽车安全预警系统 |
| CN101872171A (zh) * | 2009-04-24 | 2010-10-27 | 中国农业大学 | 基于信息融合的驾驶员疲劳状态识别方法和系统 |
| CN102289660A (zh) * | 2011-07-26 | 2011-12-21 | 华南理工大学 | 一种基于手部姿态跟踪的违规驾驶行为检测方法 |
| CN102371902A (zh) * | 2010-08-10 | 2012-03-14 | 日产自动车株式会社 | 稳定状态显示装置 |
| CN105574487A (zh) * | 2015-11-26 | 2016-05-11 | 中国第一汽车股份有限公司 | 基于面部特征的驾驶人注意力状态检测方法 |
| CN205365591U (zh) * | 2015-12-31 | 2016-07-06 | 山东科技大学 | 一种基于车辆运动姿态的驾驶员状态提示装置 |
| CN106067016A (zh) * | 2016-07-20 | 2016-11-02 | 深圳市飘飘宝贝有限公司 | 一种人脸图像眼镜检测方法及装置 |
| CN106205052A (zh) * | 2016-07-21 | 2016-12-07 | 上海仰笑信息科技有限公司 | 一种行车记录预警方法 |
| CN106295600A (zh) * | 2016-08-18 | 2017-01-04 | 宁波傲视智绘光电科技有限公司 | 驾驶员状态实时检测方法和装置 |
| DE102016006316A1 (de) * | 2016-05-21 | 2017-02-09 | Daimler Ag | Verfahren zur Ermittlung eines Grades einer Aufmerksamkeit eines Fahrers eines Fahrzeuges |
| CN106599792A (zh) * | 2016-11-23 | 2017-04-26 | 南京信息工程大学 | 一种手部驾驶违规行为的检测方法 |
| KR20180065333A (ko) * | 2016-12-07 | 2018-06-18 | 광주대학교산학협력단 | 졸음운전 방지 장치 |
| CN108460355A (zh) * | 2018-03-12 | 2018-08-28 | 知行汽车科技（苏州）有限公司 | 驾驶员状态及行为检测系统及方法 |
| CN108710898A (zh) * | 2018-04-24 | 2018-10-26 | 武汉理工大学 | 基于多传感器融合的行车安全保障系统及方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7542600B2 (en) * | 2004-10-21 | 2009-06-02 | Microsoft Corporation | Video image quality |
| CN102270303B (zh) * | 2011-07-27 | 2013-06-05 | 重庆大学 | 敏感图像的联合检测方法 |
| CN104123008B (zh) * | 2014-07-30 | 2017-11-03 | 哈尔滨工业大学深圳研究生院 | 一种基于静态手势的人机交互方法及系统 |
| CN105760822B (zh) * | 2016-02-01 | 2019-01-15 | 徐黎卿 | 一种车辆驾驶控制方法及系统 |
| CN107895145A (zh) * | 2017-10-31 | 2018-04-10 | 南京信息工程大学 | 基于卷积神经网络结合超高斯去噪估测手指受力的方法 |
-
2018
- 2018-11-12 CN CN201811339289.4A patent/CN109584507B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101032405A (zh) * | 2007-03-21 | 2007-09-12 | 汤一平 | 基于全方位计算机视觉的安全驾驶辅助装置 |
| CN101638079A (zh) * | 2008-07-28 | 2010-02-03 | 天津宝龙机电有限公司 | 触觉提醒方式的汽车安全预警系统 |
| CN101872171A (zh) * | 2009-04-24 | 2010-10-27 | 中国农业大学 | 基于信息融合的驾驶员疲劳状态识别方法和系统 |
| CN102371902A (zh) * | 2010-08-10 | 2012-03-14 | 日产自动车株式会社 | 稳定状态显示装置 |
| CN102289660A (zh) * | 2011-07-26 | 2011-12-21 | 华南理工大学 | 一种基于手部姿态跟踪的违规驾驶行为检测方法 |
| CN105574487A (zh) * | 2015-11-26 | 2016-05-11 | 中国第一汽车股份有限公司 | 基于面部特征的驾驶人注意力状态检测方法 |
| CN205365591U (zh) * | 2015-12-31 | 2016-07-06 | 山东科技大学 | 一种基于车辆运动姿态的驾驶员状态提示装置 |
| DE102016006316A1 (de) * | 2016-05-21 | 2017-02-09 | Daimler Ag | Verfahren zur Ermittlung eines Grades einer Aufmerksamkeit eines Fahrers eines Fahrzeuges |
| CN106067016A (zh) * | 2016-07-20 | 2016-11-02 | 深圳市飘飘宝贝有限公司 | 一种人脸图像眼镜检测方法及装置 |
| CN106205052A (zh) * | 2016-07-21 | 2016-12-07 | 上海仰笑信息科技有限公司 | 一种行车记录预警方法 |
| CN106295600A (zh) * | 2016-08-18 | 2017-01-04 | 宁波傲视智绘光电科技有限公司 | 驾驶员状态实时检测方法和装置 |
| CN106599792A (zh) * | 2016-11-23 | 2017-04-26 | 南京信息工程大学 | 一种手部驾驶违规行为的检测方法 |
| KR20180065333A (ko) * | 2016-12-07 | 2018-06-18 | 광주대학교산학협력단 | 졸음운전 방지 장치 |
| CN108460355A (zh) * | 2018-03-12 | 2018-08-28 | 知行汽车科技（苏州）有限公司 | 驾驶员状态及行为检测系统及方法 |
| CN108710898A (zh) * | 2018-04-24 | 2018-10-26 | 武汉理工大学 | 基于多传感器融合的行车安全保障系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109584507A (zh) | 2019-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109584507B (zh) | 驾驶行为监测方法、装置、系统、交通工具和存储介质 | |
| CN111274881B (zh) | 驾驶安全的监控方法、装置、计算机设备及存储介质 | |
| US11783601B2 (en) | Driver fatigue detection method and system based on combining a pseudo-3D convolutional neural network and an attention mechanism | |
| CN111079476B (zh) | 驾驶状态分析方法和装置、驾驶员监控系统、车辆 | |
| WO2019232972A1 (zh) | 驾驶管理方法和系统、车载智能系统、电子设备、介质 | |
| CN110866427A (zh) | 一种车辆行为检测方法及装置 | |
| CN109147368A (zh) | 基于车道线的智能驾驶控制方法装置与电子设备 | |
| WO2021016873A1 (zh) | 基于级联神经网络的注意力检测方法、计算机装置及计算机可读存储介质 | |
| Dozza et al. | Recognising safety critical events: Can automatic video processing improve naturalistic data analyses? | |
| Lashkov et al. | Driver dangerous state detection based on OpenCV & dlib libraries using mobile video processing | |
| CN106073804B (zh) | 一种疲劳检测方法及移动终端 | |
| US20230177848A1 (en) | Image analysis technologies for assessing safety of vehicle operation | |
| CN114170585B (zh) | 危险驾驶行为的识别方法、装置、电子设备及存储介质 | |
| KR20210065177A (ko) | 이미지 수집 기기 가림 상태 검출 방법, 장치, 기기 및 저장 매체 | |
| CN118587689B (zh) | 驾驶员疲劳状态检测方法和系统 | |
| US11423676B2 (en) | Method and apparatus for detecting on-duty state of driver, device, and computer storage medium | |
| CN117333853A (zh) | 基于图像处理的驾驶员疲劳监测方法、装置及存储介质 | |
| Lashkov et al. | Ontology-based approach and implementation of ADAS system for mobile device use while driving | |
| CN114495252A (zh) | 视线检测方法、装置、电子设备及存储介质 | |
| Yazici et al. | System-on-chip based driver drowsiness detection and warning system | |
| CN111959517A (zh) | 一种距离的提示方法、装置、计算机设备和存储介质 | |
| Zhou et al. | Development of a camera-based driver state monitoring system for cost-effective embedded solution | |
| CN113011347B (zh) | 一种基于人工智能的智能驾驶方法、装置及相关产品 | |
| KR20240100511A (ko) | Rgb 기반 운전자 시선 추적을 통한 주의력 분산 위험도 추정 시스템, 장치 및 방법 | |
| CN114120395B (zh) | 一种驾驶行为监测方法、装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Floor 25, Block A, Zhongzhou Binhai Commercial Center Phase II, No. 9285, Binhe Boulevard, Shangsha Community, Shatou Street, Futian District, Shenzhen, Guangdong 518000 Patentee after: Shenzhen Youjia Innovation Technology Co.,Ltd. Address before: 518051 410, Taibang science and technology building, Gaoxin South Sixth Road, Nanshan District, Shenzhen City, Guangdong Province Patentee before: SHENZHEN MINIEYE INNOVATION TECHNOLOGY Co.,Ltd. |
|
| CP03 | Change of name, title or address | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230901 Address after: No. 602-165, Complex Building, No. 1099, Qingxi Second Road, Hezhuang Street, Qiantang District, Hangzhou, Zhejiang, 310000 Patentee after: Hangzhou Ruijian Zhixing Technology Co.,Ltd. Address before: Floor 25, Block A, Zhongzhou Binhai Commercial Center Phase II, No. 9285, Binhe Boulevard, Shangsha Community, Shatou Street, Futian District, Shenzhen, Guangdong 518000 Patentee before: Shenzhen Youjia Innovation Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |