[go: up one dir, main page]

CN118220202B - 一种车辆驾驶员高危驾驶行为自动提醒系统 - Google Patents

一种车辆驾驶员高危驾驶行为自动提醒系统 Download PDF

Info

Publication number
CN118220202B
CN118220202B CN202410556541.6A CN202410556541A CN118220202B CN 118220202 B CN118220202 B CN 118220202B CN 202410556541 A CN202410556541 A CN 202410556541A CN 118220202 B CN118220202 B CN 118220202B
Authority
CN
China
Prior art keywords
driver
fatigue
module
data
fatigue driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410556541.6A
Other languages
English (en)
Other versions
CN118220202A (zh
Inventor
成建利
吴文武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Yizhan Yanchuang Intelligent Technology Co ltd
Original Assignee
Jiangsu Yizhan Yanchuang Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Yizhan Yanchuang Intelligent Technology Co ltd filed Critical Jiangsu Yizhan Yanchuang Intelligent Technology Co ltd
Priority to CN202410556541.6A priority Critical patent/CN118220202B/zh
Publication of CN118220202A publication Critical patent/CN118220202A/zh
Application granted granted Critical
Publication of CN118220202B publication Critical patent/CN118220202B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0028—Mathematical models, e.g. for simulation
    • B60W2050/0029—Mathematical model of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computational Linguistics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及车辆驾驶辅助技术领域，具体为一种车辆驾驶员高危驾驶行为自动提醒系统；该系统包括面部监测模块、数据分析模块、预警提示模块、反馈模块；该系统通过监测驾驶人员面部数据，随行采集面部特征信息，综合判断驾驶人员驾驶时的行为状态，根据提醒次数逐步提高提醒语音的分贝等，做到循序渐进、精确高效地提醒，提前预测驾驶人员疲劳程度，减少驾驶人员危险驾驶行为，降低因个体及场景差异导致的疲劳驾驶误判可能性，也能做到疲劳驾驶预警，避免驾驶人员在疲劳驾驶状态下无法及时休息，减少驾驶人员疲劳驾驶状态下的驾驶时间，从而降低事故发生的风险。

Description

一种车辆驾驶员高危驾驶行为自动提醒系统
技术领域
本发明涉及车辆驾驶辅助技术领域，具体为一种车辆驾驶员高危驾驶行为自动提醒系统。
背景技术
随着车辆的普及，有车家庭日渐增多，因为高危驾驶行为导致的车祸也随之逐年增加。准确分辨并及时提醒对减少因为驾驶人员危险驾驶行为导致的交通事故具有不可忽视的意义。而驾驶人员高危驾驶行为中最为典型的就是疲劳驾驶；
现有的分辨技术在分辨疲劳驾驶时，单一地依赖眼睛闭合度或眼动数据判定驾驶人员是否处于浅睡眠状态，对于眼睛较小的驾驶人员的疲劳判定误差较大；现有的技术大多使用的是普适性的人脸特征数据和个体静止状态下的拍摄数据，对于驾驶状态的个体存在面部差异和场景不同带来的差异，导致判断时存在误判；现有的疲劳监测方法大多处于实时监测提醒层面，无法对驾驶人员的未来驾驶状态做出预测以提前做出提醒，避免疲劳时无法休息，增加疲劳驾驶的风险。
发明内容
本发明的目的在于提供一种车辆驾驶员高危驾驶行为自动提醒系统，以解决上述背景技术中提出的问题。
本发明为了至少解决以上技术问题中的一种，提供如下技术方案：一种车辆驾驶员高危驾驶行为自动提醒系统，包括面部监测模块、数据分析模块、预警提示模块、反馈模块；
面部监测模块的输出端与数据分析模块、预警提示模块输入端相连接；数据分析模块的输出端与预警提示模块的输入端相连接；预警提示模块输出端与反馈模块输入端相连接；反馈模块输出端与面部监测模块及数据分析模块输入端相连接；
面部监测模块用于监测驾驶人员的面部特征信息；数据分析模块用于处理面部监测模块的监测数据并量化分析预测驾驶人员的疲劳驾驶程度；预警提示模块用于根据数据分析模块的结果对驾驶人员的疲劳驾驶行为进行语音提醒，并将语音信号的内容等级传递给反馈模块；反馈模块用于记录预警提示模块的提示信号并反馈给面部监测模块与数据分析模块；
根据上述技术方案，面部监测模块包括图像采集摄像头与面部特征提取单元；
图像采集摄像头的输出端与面部特征提取单元的输入端相连接；面部特征提取单元的输出端与数据分析模块的输入端相连接；
图像采集摄像头安装在驾驶人员前方不影响驾驶视线且能识别到驾驶人员面部图像的方位，用于初步采集驾驶人员面部图像；面部特征提取单元用于根据面部图像提取驾驶人员面部特征数据，并传递给数据分析模块，在无法采集到驾驶人员特征数据时及时提醒驾驶人员专心驾驶，避免分神导致事故发生；
根据上述技术方案，数据分析模块包括面部特征分析单元、LSTM预测单元；
面部特征分析单元输出端和预警提示模块、LSTM预测单元输入端相连接；LSTM预测单元输出端和预警提示模块输入端相连接；
面部特征分析单元用于根据面部特征数据分析驾驶人员眼睛开合度与眨眼频次，根据权重系数综合分析量化驾驶人员的疲劳程度，并根据所得结果进行判断后选择提醒或预警，避免因为驾驶人员个体面部特征差异以及场景差异导致驾驶人员疲劳驾驶状态误判；LSTM预测单元用于根据车辆启动后驾驶人员的行为特征数据预测判断驾驶人员是否处于疲劳驾驶状态，提前预测判断驾驶人员是否会处于疲劳驾驶状态，减少驾驶人员在寻找休息地点时疲劳驾驶的时间，降低事故发生的风险；
根据上述技术方案，预警提示模块包括疲劳驾驶提醒单元、疲劳驾驶预警单元、不当驾驶行为提醒单元；
疲劳驾驶提醒单元、疲劳驾驶预警单元、不当驾驶行为提醒单元的输入端与数据分析模块输出端相连接；
疲劳驾驶提醒单元用于当驾驶人员已经处于疲劳驾驶状态时对驾驶人员进行疲劳驾驶语音提醒；疲劳驾驶预警单元用于当驾驶人员当前未处于疲劳驾驶状态但预测预定的未来时间点后将会处于疲劳驾驶状态时，给出疲劳驾驶预警语音提醒；不当驾驶行为提醒单元用于在识别不到驾驶人员面部数据时给予不当驾驶行为语音提醒；
根据上述技术方案，反馈模块用于记录预警提示模块的信号等级并回传反馈给面部监测模块和数据分析模块；
反馈模块每收到一次信号信息，则将对应信号的等级加一并反馈，在预警提示模块接收到信号时根据信号的等级选择预设的信号分贝；
根据上述技术方案，一种车辆驾驶员高危驾驶行为自动提醒方法，应用如上述技术方案中的一种车辆驾驶员高危驾驶行为自动提醒系统，方法步骤如下：
S6-1.驾驶人员启动车辆时开始监测；
S6-2.面部监测模块实时采集驾驶人员面部图像并提取特征信息；若采集不到面部信息，则直接发出不当驾驶行为语音提醒；
S6-3.数据分析模块根据特征信息分析量化驾驶人员实时疲劳程度，并通过阈值判断当前驾驶人员是否处于疲劳驾驶状态；若驾驶人员当前处于疲劳驾驶状态则直接发出疲劳驾驶语音提醒；若驾驶人员未处于疲劳驾驶状态，再次阈值判断选择是否预测未来时间点驾驶人员是否处于疲劳驾驶状态；
S6-4.当选择预测驾驶人员是否处于疲劳驾驶状态时，通过所述LSTM预测单元预测未来时间点驾驶人员是否处于疲劳驾驶状态，若判断驾驶人员未来时间点将会处于疲劳驾驶状态，发出疲劳驾驶预警语音提醒；
S6-5.将信号类型与分贝等级传递给反馈模块记录并回传结果，当出现相同语音信号时，提高提示语音的分贝，实现递进提醒，避免相同内容相同分贝的信号使提醒过于单一，效果欠佳；
根据上述技术方案，S6-3量化驾驶人员实时疲劳程度，并通过阈值判断当前驾驶人员是否处于疲劳驾驶状态步骤如下：
S7-1.获取车辆启动后10分钟内面部监测模块的数据信息，监测除眨眼以外的每一帧眼睛图像统计出正常驾驶时间内驾驶人员眼睛平均宽高比，再统计出每分钟的平均眨眼频次作为对比数据；
S7-2.在车辆启动10分钟后实时监测驾驶人员的眼睛图像，获取驾驶人员每一帧的眼睛宽高比与每次眨眼时间点数据，且设定当时，判定当前帧为疲劳帧；
S7-3.每隔一个监测周期统计当前时间向前一个采样周期内的监测数据，计算出周期内疲劳帧数与眨眼次数，根据公式：
其中，为驾驶人员疲劳程度量化值，为面部特征分析单元每秒监测采样帧数，为疲劳程度判断中眼睛开合度下降所占权重系数，为疲劳程度判断中眨眼频次增加所占权重系数，两个系数根据驾驶人员眼睛平均宽高比与平均眨眼频次设置；
S7-4.求出驾驶人员实时疲劳程度量化值进行阈值判断；当时，则判定驾驶人员处于疲劳驾驶状态；当时，则判定驾驶人员未处于疲劳驾驶状态，将传递给LSTM预测单元进行驾驶人员未来疲劳程度量化值的预测；当时，此次监测周期不进行疲劳程度量化值预测；
根据上述技术方案，S6-4通过所述LSTM预测单元预测未来时间点驾驶人员是否处于疲劳驾驶状态步骤如下：
S8-1.获取到眼部数据分析单元10分钟内的时间间隔的疲劳程度量化值的数据集；
S8-2.将所得数据进行差分三维化转换，即除第一个数据外其余数据转换为其与前一个数据的差值，再将相邻的前后数据以的形式分组，再将第一列数据三维化成的形式作为数据集；
S8-3.利用LSTM算法训练出对应的模型，并使用驾驶人员实时疲劳程度量化值经差分三维化处理后进行单步预测；
S8-4.将单步预测的疲劳程度量化值传递回数据集中差分三维化后再次进行单步预测，多次重复进行将预测点延伸到所需要的时间点；
S8-5.将得到的数据进行逆三维化与逆差分处理，得出所预测的并进行阈值判断；若时，则判定驾驶人员在未来时间点处于疲劳驾驶状态；若时，则判定驾驶人员在未来时间点未处于疲劳驾驶状态；
S8-6.直到所预测疲劳程度量化值超过阈值或者到达预设的未来时间点停止重复进行的单步预测。
与现有技术相比，本发明所达到的有益效果是：
1.由于眼睛小的驾驶人员疲劳驾驶与正常驾驶对比眼睛开合度变化小，在单一地使用PERCLOS方法通过驾驶人员眼睛闭合程度判断疲劳驾驶行为时误判可能性较大；通过面部特征判断驾驶人员疲劳驾驶状态时设置了眼睛开合度下降所占权重系数和眨眼频次增加所占权重系数，综合判断以降低误判风险；
2.由于驾驶人员个体的差异以及不同天气不同时间眼睛状态不同，不同场景下不同的驾驶人员使用相同的预设标准误判可能性较大；通过在车辆启动后的一段时间内采集驾驶人员驾驶时的面部特征，降低预设标准场景差异与个体习惯差异带来的误判风险；
3.为减少驾驶人员的高危驾驶行为，避免驾驶人员疲劳驾驶，根据驾驶人员实时疲劳程度评估，预测驾驶人员可能的疲劳驾驶风险，提前警示寻找休息地点，减少驾驶人员可能的疲劳驾驶时间，降低驾驶事故发生的风险。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明一种车辆驾驶员高危驾驶行为自动提醒系统的模块组成示意图；
图2是本发明一种车辆驾驶员高危驾驶行为自动提醒系统的模块结果连接示意图；
图3是本发明一种车辆驾驶员高危驾驶行为自动提醒系统的功能流程图；
图4是本发明一种车辆驾驶员高危驾驶行为自动提醒系统中LSTM预测驾驶人员疲劳度方法步骤图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-图4，本发明提供技术方案：一种车辆驾驶员高危驾驶行为自动提醒系统，该系统包括面部监测模块、数据分析模块、预警提示模块、反馈模块；
面部监测模块的输出端与数据分析模块、预警提示模块输入端相连接；数据分析模块的输出端与预警提示模块的输入端相连接；预警提示模块输出端与反馈模块输入端相连接；反馈模块输出端与面部监测模块及数据分析模块输入端相连接；
面部监测模块用于监测驾驶人员的面部特征信息；数据分析模块用于处理面部监测模块的监测数据并量化分析预测驾驶人员的疲劳驾驶程度；预警提示模块用于根据数据分析模块的结果对驾驶人员的疲劳驾驶行为进行语音提醒，并将语音信号的内容等级传递给反馈模块；反馈模块用于记录预警提示模块的提示信号并反馈给面部监测模块与数据分析模块；
面部监测模块包括图像采集摄像头与面部特征提取单元；
图像采集摄像头的输出端与面部特征提取单元的输入端相连接；面部特征提取单元的输出端与数据分析模块的输入端相连接；
图像采集摄像头安装在驾驶人员前方不影响驾驶视线且能识别到驾驶人员面部图像的方位，用于初步采集驾驶人员面部图像；面部特征提取单元用于根据面部图像提取驾驶人员面部特征数据，并传递给数据分析模块，在无法采集到驾驶人员特征数据时及时提醒驾驶人员专心驾驶，避免分神导致事故发生；
数据分析模块包括面部特征分析单元、LSTM预测单元；
面部特征分析单元输出端和预警提示模块、LSTM预测单元输入端相连接；LSTM预测单元输出端和预警提示模块输入端相连接；
面部特征分析单元用于根据面部特征数据分析驾驶人员眼睛开合度与眨眼频次，根据权重系数综合分析量化驾驶人员的疲劳程度，并根据所得结果进行判断后选择提醒或预警，避免因为驾驶人员个体面部特征差异以及场景差异导致驾驶人员疲劳驾驶状态误判；LSTM预测单元用于根据车辆启动后驾驶人员的行为特征数据预测判断驾驶人员是否处于疲劳驾驶状态，提前预测判断驾驶人员是否会处于疲劳驾驶状态，减少驾驶人员在寻找休息地点时疲劳驾驶的时间，降低事故发生的风险；
预警提示模块包括疲劳驾驶提醒单元、疲劳驾驶预警单元、不当驾驶行为提醒单元；
疲劳驾驶提醒单元、疲劳驾驶预警单元、不当驾驶行为提醒单元的输入端与数据分析模块输出端相连接；
疲劳驾驶提醒单元用于当驾驶人员已经处于疲劳驾驶状态时对驾驶人员进行疲劳驾驶语音提醒；疲劳驾驶预警单元用于当驾驶人员当前未处于疲劳驾驶状态但预测预定的未来时间点后将会处于疲劳驾驶状态时，给出疲劳驾驶预警语音提醒；不当驾驶行为提醒单元用于在识别不到驾驶人员面部数据时给予不当驾驶行为语音提醒；
反馈模块用于记录预警提示模块的信号等级并回传反馈给面部监测模块和数据分析模块；
反馈模块每收到一次信号信息，则将对应信号的等级加一并反馈，在预警提示模块接收到信号时根据信号的等级选择预设的信号分贝；
一种车辆驾驶员高危驾驶行为自动提醒方法，应用如上述技术方案中的一种车辆驾驶员高危驾驶行为自动提醒系统，方法步骤如下：
S6-1.驾驶人员启动车辆时开始监测；
S6-2.面部监测模块实时采集驾驶人员面部图像并提取特征信息；若采集不到面部信息，则直接发出不当驾驶行为语音提醒；
S6-3.数据分析模块根据特征信息分析量化驾驶人员实时疲劳程度，并通过阈值判断当前驾驶人员是否处于疲劳驾驶状态；若驾驶人员当前处于疲劳驾驶状态则直接发出疲劳驾驶语音提醒；若驾驶人员未处于疲劳驾驶状态，再次阈值判断选择是否预测未来时间点驾驶人员是否处于疲劳驾驶状态；
S6-4.当选择预测驾驶人员是否处于疲劳驾驶状态时，通过所述LSTM预测单元预测未来时间点驾驶人员是否处于疲劳驾驶状态，若判断驾驶人员未来时间点将会处于疲劳驾驶状态，发出疲劳驾驶预警语音提醒；
S6-5.将信号类型与分贝等级传递给反馈模块记录并回传结果，当出现相同语音信号时，提高提示语音的分贝，实现递进提醒，避免相同内容相同分贝的信号使提醒过于单一，效果欠佳；
上述技术方案S6-3中，量化驾驶人员实时疲劳程度，并通过阈值判断当前驾驶人员是否处于疲劳驾驶状态步骤如下：
S7-1.获取车辆启动后10分钟内面部监测模块的数据信息，监测除眨眼以外的每一帧眼睛图像统计出正常驾驶时间内驾驶人员眼睛平均宽高比，再统计出每分钟的平均眨眼频次作为对比数据；
S7-2.在车辆启动10分钟后实时监测驾驶人员的眼睛图像，获取驾驶人员每一帧的眼睛宽高比与每次眨眼时间点数据，且设定当时，判定当前帧为疲劳帧；
S7-3.每隔一个监测周期统计当前时间向前一个采样周期内的监测数据，计算出周期内疲劳帧数与眨眼次数，根据公式：
其中，为驾驶人员疲劳程度量化值，为面部特征分析单元每秒监测采样帧数，为疲劳程度判断中眼睛开合度下降所占权重系数，为疲劳程度判断中眨眼频次增加所占权重系数，两个系数根据驾驶人员眼睛平均宽高比与平均眨眼频次设置；
S7-4.求出驾驶人员实时疲劳程度量化值进行阈值判断；当时，则判定驾驶人员处于疲劳驾驶状态；当时，则判定驾驶人员未处于疲劳驾驶状态，将传递给LSTM预测单元进行驾驶人员未来疲劳程度量化值的预测；当时，此次监测周期不进行疲劳程度量化值预测；
上述技术方案S6-4中，通过所述LSTM预测单元预测未来时间点驾驶人员是否处于疲劳驾驶状态步骤如下：
S8-1.获取到眼部数据分析单元10分钟内的时间间隔的疲劳程度量化值的数据集；
S8-2.将所得数据进行差分三维化转换，即除第一个数据外其余数据转换为其与前一个数据的差值，再将相邻的前后数据以的形式分组，再将第一列数据三维化成的形式作为数据集；
S8-3.利用LSTM算法训练出对应的模型，并使用驾驶人员实时疲劳程度量化值经差分三维化处理后进行单步预测；
S8-4.将单步预测的疲劳程度量化值传递回数据集中差分三维化后再次进行单步预测，多次重复进行将预测点延伸到所需要的时间点；
S8-5.将得到的数据进行逆三维化与逆差分处理，得出所预测的并进行阈值判断；若时，则判定驾驶人员在未来时间点处于疲劳驾驶状态；若时，则判定驾驶人员在未来时间点未处于疲劳驾驶状态；
S8-6.直到所预测疲劳程度量化值超过阈值或者到达预设的未来时间点停止重复进行的单步预测。
实施例1
实时监测驾驶人员车辆启动后的面部特征，进行数据统计变换分析得到其眼睛正常驾驶状态下的平均宽高比与每分钟平均眨眼次数；
设定驾驶人员目视前方，未出现不当的驾驶行为，可以采集到良好的面部特征数据；
设置驾驶人员正常驾驶时眼睛平均宽高比为4，每分钟平均眨眼次数10次；
面部特征摄像头以每秒传递10帧的速度检测到驾驶人员当前时间点前一分钟内满足的帧数180帧，眨眼次数16次；
根据驾驶人员眼睛平均宽高比设置其眼睛开合度下降所占权重系数为，设置其眨眼频次增加所占权重系数为，根据公式：
而阈值是0.3，判定驾驶人员暂未疲劳，将传递给LSTM预测模型，通过监测周期为两秒的数据集预测出驾驶人员在5分钟后疲劳程度为0.28，也为达到阈值0.3，暂不提醒。
实施例2
设定驾驶人员目视前方，未出现不当的驾驶行为，可以采集到良好的面部特征数据；
设置驾驶人员眼睛平均宽高比为6，每分钟平均眨眼次数12次；
面部特征摄像头以每秒传递10帧的速度检测到驾驶人员当前时间点前一分钟内满足的帧数480帧，眨眼次数20次；
设定驾驶人员正常驾驶时眼睛较小，宽高比较大，监测数据中疲劳帧数偏多，可以设置其眼睛开合度下降所占权重系数为，设置其眨眼频次增加所占权重系数为，根据公式：
而阈值是0.3，判定驾驶人员暂未疲劳，将传递给LSTM预测模型，通过监测周期为两秒的数据集预测出驾驶人员在4分20秒时疲劳程度量化值达到阈值0.3，提醒驾驶人员提前寻找休息地点，避免疲劳驾驶，降低交通事故风险。
实施例3
设定驾驶人员目视前方，未出现不当的驾驶行为，可以采集到良好的面部特征数据；
设置驾驶人员眼睛平均宽高比为5，每分钟平均眨眼次数20次；
面部特征摄像头以每秒传递10帧的速度检测到驾驶人员当前时间点前一分钟内满足的帧数240帧，眨眼次数26次；
设定驾驶人员眼部受到刺激，监测数据中眨眼次数偏多，满足的帧数也随之增加，但此时驾驶人员由于眼部受刺激处于神经兴奋状态，可以设置其眼睛开合度下降所占权重系数为，设置其眨眼频次增加所占权重系数为，根据公式：
而阈值为0.3，判定驾驶人员未处于疲劳驾驶状态，暂不提醒，且由于，此次监测周期不进行疲劳程度预测。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种车辆驾驶员高危驾驶行为自动提醒方法，其特征在于：
采用车辆驾驶员高危驾驶行为自动提醒系统，该系统包括面部监测模块、数据分析模块、预警提示模块、反馈模块；
所述面部监测模块用于监测驾驶人员的面部特征信息；所述数据分析模块用于处理面部监测模块的监测数据并量化分析预测驾驶人员的疲劳驾驶程度；所述预警提示模块用于根据所述数据分析模块的结果对驾驶人员的疲劳驾驶行为进行语音提醒，并将语音信号的内容等级传递给所述反馈模块；所述反馈模块用于记录预警提示模块的提示信号并反馈给面部监测模块与数据分析模块；
所述面部监测模块的输出端与所述数据分析模块、预警提示模块的输入端相连接；所述数据分析模块的输出端与所述预警提示模块的输入端相连接；所述预警提示模块的输出端与所述反馈模块的输入端相连接；所述反馈模块的输出端与所述面部监测模块及数据分析模块的输入端相连接；
所述数据分析模块包括面部特征分析单元、LSTM预测单元；
所述面部特征分析单元用于根据面部特征数据分析驾驶人员眼睛开合度与眨眼频次，根据权重系数综合分析量化驾驶人员的疲劳程度，并根据所得结果进行判断后选择提醒或预警；所述LSTM预测单元用于根据车辆启动后驾驶人员的行为特征数据预测判断驾驶人员是否处于疲劳驾驶状态；
所述面部特征分析单元的输出端和所述预警提示模块、LSTM预测单元的输入端相连接；所述LSTM预测单元的输出端和所述预警提示模块的输入端相连接；
所述方法步骤如下：
S6-1.驾驶人员启动车辆时开始监测；
S6-2.面部监测模块实时采集驾驶人员面部图像并提取特征信息；若采集不到面部信息，则直接发出不当驾驶行为语音提醒；
S6-3.数据分析模块根据特征信息分析量化驾驶人员实时疲劳程度，并通过阈值判断当前驾驶人员是否处于疲劳驾驶状态；若驾驶人员当前处于疲劳驾驶状态则直接发出疲劳驾驶语音提醒；若驾驶人员未处于疲劳驾驶状态，再次阈值判断选择是否预测未来时间点驾驶人员是否处于疲劳驾驶状态；
S6-4.当选择预测驾驶人员是否处于疲劳驾驶状态时，通过所述LSTM预测单元预测未来时间点驾驶人员是否处于疲劳驾驶状态，若判断驾驶人员未来时间点将会处于疲劳驾驶状态，发出疲劳驾驶预警语音提醒；
S6-5.将信号类型与分贝等级传递给反馈模块记录并回传结果，当出现相同语音信号时，提高提示语音的分贝；
S6-3量化驾驶人员实时疲劳程度，并通过阈值判断当前驾驶人员是否处于疲劳驾驶状态步骤如下：
S7-1.获取车辆启动后10分钟内面部监测模块的数据信息，监测除眨眼以外的每一帧眼睛图像统计出正常驾驶时间内驾驶人员眼睛平均宽高比η平均，再统计出每分钟的平均眨眼频次f平均作为对比数据；
S7-2.在车辆启动10分钟后实时监测驾驶人员的眼睛图像，获取驾驶人员每一帧的眼睛宽高比η实时与每次眨眼时间点数据，且设定当η实时>2*η平均时，判定当前帧为疲劳帧；
S7-3.每隔一个监测周期T监测统计当前时间向前一个采样周期T采样内的监测数据，计算出周期T采样内疲劳帧数N疲劳与眨眼次数N眨眼，根据公式：
其中，为驾驶人员疲劳程度量化值，为面部特征分析单元每秒监测采样帧数，为疲劳程度判断中眼睛开合度下降所占权重系数，为疲劳程度判断中眨眼频次增加所占权重系数，两个系数根据驾驶人员眼睛平均宽高比与平均眨眼频次设置；
S7-4.求出驾驶人员实时疲劳程度量化值进行阈值判断；当时，则判定驾驶人员处于疲劳驾驶状态；当时，则判定驾驶人员未处于疲劳驾驶状态，将传递给LSTM预测单元进行驾驶人员未来疲劳程度量化值的预测；当时，此次监测周期不进行疲劳程度量化值预测。
2.根据权利要求1所述的一种车辆驾驶员高危驾驶行为自动提醒方法，其特征在于：
S6-4通过所述LSTM预测单元预测未来时间点驾驶人员是否处于疲劳驾驶状态步骤如下：
S8-1.获取到眼部数据分析单元10分钟内的时间间隔的疲劳程度量化值的数据集；
S8-2.将所得数据进行差分三维化转换，即除第一个数据外其余数据转换为其与前一个数据的差值，再将相邻的前后数据以的形式分组，再将第一列数据三维化成的形式作为数据集；
S8-3.利用LSTM算法训练出对应的模型，并使用驾驶人员实时疲劳程度量化值经差分三维化处理后进行单步预测；
S8-4.将单步预测的疲劳程度量化值传递回数据集中差分三维化后再次进行单步预测，多次重复进行将预测点延伸到所需要的时间点；
S8-5.将得到的数据进行逆三维化与逆差分处理，得出所预测的并进行阈值判断；若时，则判定驾驶人员在未来时间点处于疲劳驾驶状态；若时，则判定驾驶人员在未来时间点未处于疲劳驾驶状态；
S8-6.直到所预测疲劳程度量化值超过阈值或者到达预设的未来时间点停止重复进行的单步预测。
3.根据权利要求1所述的一种车辆驾驶员高危驾驶行为自动提醒方法，其特征在于：
所述面部监测模块包括图像采集摄像头与面部特征提取单元；
所述图像采集摄像头安装在驾驶人员前方不影响驾驶视线且能识别到驾驶人员面部图像的方位，用于初步采集驾驶人员面部图像；所述面部特征提取单元用于根据面部图像提取驾驶人员面部特征数据，并传递给数据分析模块；
所述图像采集摄像头的输出端与面部特征提取单元的输入端相连接；所述面部特征提取单元的输出端与所述数据分析模块的输入端相连接。
4.根据权利要求1所述的一种车辆驾驶员高危驾驶行为自动提醒方法，其特征在于：所述预警提示模块包括疲劳驾驶提醒单元、疲劳驾驶预警单元、不当驾驶行为提醒单元；
所述疲劳驾驶提醒单元用于当驾驶人员已经处于疲劳驾驶状态时对驾驶人员进行疲劳驾驶语音提醒；所述疲劳驾驶预警单元用于当驾驶人员当前未处于疲劳驾驶状态但预测预定的未来时间点后将会处于疲劳驾驶状态时，给出疲劳驾驶预警语音提醒；所述不当驾驶行为提醒单元用于在识别不到驾驶人员面部数据时给予不当驾驶行为语音提醒；
所述疲劳驾驶提醒单元、疲劳驾驶预警单元、不当驾驶行为提醒单元的输入端与所述数据分析模块的输出端相连接。
5.根据权利要求1所述的一种车辆驾驶员高危驾驶行为自动提醒方法，其特征在于：
所述反馈模块用于记录所述预警提示模块的信号等级并回传反馈给面部监测模块和数据分析模块；
所述反馈模块每收到一次信号信息，则将对应信号的等级加一并反馈，在所述预警提示模块接收到信号时根据信号的等级选择预设的信号分贝。
CN202410556541.6A 2024-05-07 2024-05-07 一种车辆驾驶员高危驾驶行为自动提醒系统 Active CN118220202B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410556541.6A CN118220202B (zh) 2024-05-07 2024-05-07 一种车辆驾驶员高危驾驶行为自动提醒系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410556541.6A CN118220202B (zh) 2024-05-07 2024-05-07 一种车辆驾驶员高危驾驶行为自动提醒系统

Publications (2)

Publication Number Publication Date
CN118220202A CN118220202A (zh) 2024-06-21
CN118220202B true CN118220202B (zh) 2024-09-20

Family

ID=91512004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410556541.6A Active CN118220202B (zh) 2024-05-07 2024-05-07 一种车辆驾驶员高危驾驶行为自动提醒系统

Country Status (1)

Country Link
CN (1) CN118220202B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118861293B (zh) * 2024-07-05 2025-06-20 北京中科睿途科技有限公司 一种基于文本数据的司机危险驾驶行为识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101968918A (zh) * 2010-11-01 2011-02-09 庄力可 反馈式疲劳检测系统
CN110533883A (zh) * 2019-08-26 2019-12-03 宜宾凯翼汽车有限公司 一种疲劳驾驶提醒系统及方法
CN112016446A (zh) * 2020-08-27 2020-12-01 上海松鼠课堂人工智能科技有限公司 护眼方法
CN114155513A (zh) * 2021-12-07 2022-03-08 西安建筑科技大学 一种基于人脸多参量检测的驾驶危险行为监控方法、系统、设备和可读存储介质
CN115880675A (zh) * 2022-12-26 2023-03-31 上海于万科技有限公司 一种实时监测疲劳驾驶行为分析方法、系统与电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4259585B2 (ja) * 2007-03-08 2009-04-30 株式会社デンソー 眠気判定装置，プログラムおよび眠気判定方法
CN117842054A (zh) * 2023-12-26 2024-04-09 湖南大学 一种驾驶行为检测系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101968918A (zh) * 2010-11-01 2011-02-09 庄力可 反馈式疲劳检测系统
CN110533883A (zh) * 2019-08-26 2019-12-03 宜宾凯翼汽车有限公司 一种疲劳驾驶提醒系统及方法
CN112016446A (zh) * 2020-08-27 2020-12-01 上海松鼠课堂人工智能科技有限公司 护眼方法
CN114155513A (zh) * 2021-12-07 2022-03-08 西安建筑科技大学 一种基于人脸多参量检测的驾驶危险行为监控方法、系统、设备和可读存储介质
CN115880675A (zh) * 2022-12-26 2023-03-31 上海于万科技有限公司 一种实时监测疲劳驾驶行为分析方法、系统与电子设备

Also Published As

Publication number Publication date
CN118220202A (zh) 2024-06-21

Similar Documents

Publication Publication Date Title
US20220383738A1 (en) Method for short-term traffic risk prediction of road sections using roadside observation data
CN110807436B (zh) 危险驾驶行为识别与危险事件预测方法、装置及存储介质
CN118220202B (zh) 一种车辆驾驶员高危驾驶行为自动提醒系统
KR101617349B1 (ko) 운전 습관 분석 진단 시스템 및 방법
CN110648075A (zh) 驾驶安全评估方法及装置
CN110901385B (zh) 一种基于驾驶员疲劳状态的主动限速方法
CN113657716B (zh) 基于熵权法的驾驶员驾驶行为安全性综合评价方法
CN110781873A (zh) 一种双模态特征融合的驾驶员疲劳等级识别方法
CN110781872A (zh) 一种双模态特征融合的驾驶员疲劳等级识别系统
CN117610932B (zh) 一种基于人工智能的公交运营风险管控系统
CN114970943A (zh) 一种高速公路事故类型与严重程度预测方法
CN116453345B (zh) 一种基于驾驶风险反馈的公交行车安全预警方法及系统
CN112070927A (zh) 一种高速公路车辆微观驾驶行为分析系统与分析方法
CN118609417A (zh) 一种增加下车安全性的实时监控方法及装置
CN114359879B (zh) 一种基于yolo神经网络的驾驶员疲劳检测方法
CN114913398B (zh) 一种客运驾驶员实时行车风险辨识及风险等级判定的方法
CN119598405A (zh) 一种基于多源信息融合的单位用车监控系统、方法及设备
CN114970897A (zh) 数据处理方法、装置、电子设备及车辆
CN114639089A (zh) 一种驾驶员疲劳检测方法及装置
CN114511178A (zh) 共享出行用户安全驾驶行为的监测方法及系统
CN111341106B (zh) 交通预警方法、装置和设备
CN118861293A (zh) 一种基于文本数据的司机危险驾驶行为识别方法
CN113156913A (zh) 一种abs故障诊断系统及方法
CN110992518A (zh) 驾驶员风险评价系统及方法
CN114684153A (zh) 一种智能驾驶辅助系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant