[go: up one dir, main page]

CN110246305A - 一种基于机器视觉的疲劳驾驶检测预警系统及方法 - Google Patents

一种基于机器视觉的疲劳驾驶检测预警系统及方法 Download PDF

Info

Publication number
CN110246305A
CN110246305A CN201910708314.XA CN201910708314A CN110246305A CN 110246305 A CN110246305 A CN 110246305A CN 201910708314 A CN201910708314 A CN 201910708314A CN 110246305 A CN110246305 A CN 110246305A
Authority
CN
China
Prior art keywords
driver
driving
early warning
video image
fatigue driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910708314.XA
Other languages
English (en)
Inventor
元泽怀
欧阳国峰
洪超亮
苏超彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhaoqing University
Original Assignee
Zhaoqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhaoqing University filed Critical Zhaoqing University
Priority to CN201910708314.XA priority Critical patent/CN110246305A/zh
Publication of CN110246305A publication Critical patent/CN110246305A/zh
Priority to JP2019223762A priority patent/JP6784424B1/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于机器视觉的疲劳驾驶检测预警系统，该系统包括：驾驶时长获取模块、中央处理模块、人脸视频图像采集模块和预警模块；驾驶时长获取模块、人脸视频图像采集模块、预警模块皆与中央处理模块连接；驾驶时长获取模块，用于获取驾驶员的驾驶时长，并发送至中央处理模块；中央处理模块根据驾驶员的驾驶时长，判断驾驶员的驾驶状态，并在判定驾驶员处于疲劳驾驶状态时驱动人脸视频图像采集模块采集驾驶员的人脸视频图像；中央处理模块接收人脸视频图像并根据接收到的人脸视频图像判断驾驶员是否为疲劳驾驶，若判定驾驶员为疲劳驾驶，则驱动预警模块发出报警提醒。该系统通过非接触方式进行疲劳检测，可令驾驶员使用更为方便。

Description

一种基于机器视觉的疲劳驾驶检测预警系统及方法
技术领域
本发明涉及机器视觉技术领域，具体涉及一种基于机器视觉的疲劳驾驶检测预警系统及方法。
背景技术
随着我国经济社会的快速发展，国民收入的提高，越来越多汽车逐步走入寻常百姓家，汽车在给我们的生活带来高效便捷舒适的同时，也给我们带来了交通事故的烦恼，据我国交通部门的统计，因疲劳驾驶造成的交通事故约占总交通事故的20％，特大交通事故的40％以及交通死亡人数的83％。
现有技术中，是通过在驾驶员的耳上佩戴具有重力感应的耳机，检测驾驶员是否存在低头现象进而判断驾驶员是否存在疲劳驾驶。但这种疲劳检测方法往往检测不够准确，容易造成误判的现象，如当驾驶员仅仅是低头查看东西或者检掉在车上的东西时或者其他低头动作时会误触发。再则，长时间佩戴该耳机，容易造成驾驶员的不适，使驾驶员产生排斥情绪。
发明内容
针对上述问题，本发明提供一种基于机器视觉的疲劳驾驶检测预警系统及方法。
本发明的目的采用以下技术方案来实现：
本发明第一方面提供了一种基于机器视觉的疲劳驾驶检测预警系统，该系统包括：驾驶时长获取模块、中央处理模块、人脸视频图像采集模块和预警模块；驾驶时长获取模块、人脸视频图像采集模块、预警模块皆与中央处理模块连接；驾驶时长获取模块，用于获取驾驶员的驾驶时长，并发送至中央处理模块；中央处理模块根据驾驶员的驾驶时长，判断驾驶员的驾驶状态，并在判定驾驶员处于疲劳驾驶状态时驱动人脸视频图像采集模块采集驾驶员的人脸视频图像；中央处理模块接收人脸视频图像并根据接收到的人脸视频图像判断驾驶员是否为疲劳驾驶，若判定驾驶员为疲劳驾驶，则驱动预警模块发出报警提醒。
优选地，该系统还包括：设置于汽车内的环境参数采集模块；
环境参数采集模块，用于采集车内的环境参数，并发送至中央处理模块；
中央处理模块根据车内的环境参数，确定当前环境下的参考驾驶时长阈值，并将驾驶员的驾驶时长与参考驾驶时长阈值进行比较，当驾驶员的驾驶时长超过参考驾驶时长阈值时，判定驾驶员处于疲劳驾驶状态。
优选地，环境参数采集模块包括：空气质量检测传感器单元、湿度传感器单元、温度传感器单元和气压传感器单元；
空气质量检测传感器包括：CO浓度传感器、CO2浓度传感器、PM2.5传感器中的一种或者多种。
优选地，在中央处理模块中，根据车内的环境参数，确定当前环境下的参考驾驶时长阈值，具体是：利用通过下式确定当前环境下的参考驾驶时长阈值：
式中，D′为当前环境下的参考驾驶时长阈值，D0为标准车内环境参数下的驾驶时长阈值，AQ、H、T、P分别为当前环境下的空气质量系数、车内湿度、车内温度和车内气压，AQ0为标准车内环境参数下的空气质量系数、车内湿度、车内温度和车内气压，α、β、γ为权重因子，其满足α+β+γ＝1。
优选地，中央处理模块接收人脸视频图像并根据接收到的人脸视频图像判断驾驶员是否为疲劳驾驶，若判定驾驶员为疲劳驾驶，则驱动预警模块发出报警提醒，具体是：
(1)对接收到的连续M帧人脸视频图像依次进行灰度化处理，并进行人脸识别，提取面部图像，其中，M为预设帧数；
(2)对面部图像进行人眼定位，标记出眼部的6个特征点，根据标记出的眼部的6个特征点，利用下式计算眼睛纵横比：
式中，EAR为眼睛纵横比，为D1、D4两点的欧式距离，为D2、D6两点的欧式距离，为D3、D5两点的欧式距离；
(3)根据计算得到的眼睛纵横比判断驾驶员是否为疲劳驾驶，若判定驾驶员为疲劳驾驶，则驱动预警模块发出报警提醒。
优选地，根据计算得到的眼睛纵横比判断驾驶员是否为疲劳驾驶，具体是：若所述M帧的人脸视频图像中，至少有一帧人脸视频图像中的眼睛纵横比小于预设眼睛纵横比，则判定该驾驶员为疲劳驾驶，此时驱动预警模块发出报警提醒。
本发明提供的疲劳驾驶检测预警系统具有如下有益效果：
(1)该系统首先判断驾驶员的驾驶时长，初步判断驾驶员是否进入疲劳驾驶状态，若进入，则驱动人脸视频图像采集模块开启并采集人脸视频图像，进一步精确判断该驾驶员是否为疲劳驾驶，从而避免人脸视频图像采集模块持续工作，延长该系统的寿命，降低能量损耗。
(2)使用人脸视频图像采集模块采集人脸视频图像，并进一步对采集的人脸视频图像进行人眼定位以及人眼闭合状态检测，进而实现对驾驶员的疲劳检测，相比于现有技术通过佩戴产品进行检测是否低头能让驾驶员使用更方便，提高该系统的友好度。
(3)基于机器视觉对人脸检测和人眼定位，比现有技术的检测是否低头更精准，误判率更低。
(4)该系统通过非接触方式进行疲劳检测，可令驾驶员使用更为方便。
(5)使用人眼眼部六个特征点进行检测并且计算，数据分析结果更为准确。
本发明第二方面提供了一种基于机器视觉的疲劳驾驶检测预警方法，该方法包括：
中央处理模块接收驾驶时长获取模块发送的驾驶员的驾驶时长，其中，驾驶时长获取模块，用于获取驾驶员的驾驶时长；
中央处理模块根据驾驶员的驾驶时长，判断驾驶员的驾驶状态，并在判定驾驶员处于疲劳驾驶状态时驱动人脸视频图像采集模块采集驾驶员的人脸视频图像；
中央处理模块接收人脸视频图像并根据接收到的人脸视频图像判断驾驶员是否为疲劳驾驶，若判定驾驶员为疲劳驾驶，则驱动预警模块发出报警提醒。
优选地，该方法进一步包括：
中央处理模块接收环境参数采集模块采集的车内的环境参数，其中，环境参数采集模块设置于车内，其用于采集车内的环境参数；
中央处理模块根据车内的环境参数，确定当前环境下的参考驾驶时长阈值，并将驾驶员的驾驶时长与参考驾驶时长阈值进行比较，当驾驶员的驾驶时长超过参考驾驶时长阈值时，判定驾驶员处于疲劳驾驶状态。
优选地，该方法进一步包括：
中央处理模块接收人脸视频图像并根据接收到的人脸视频图像判断驾驶员是否为疲劳驾驶，若判定驾驶员为疲劳驾驶，则驱动预警模块发出报警提醒，具体过程是：
(1)对接收到的连续M帧人脸视频图像依次进行灰度化处理，并进行人脸识别，提取面部图像，其中，M为预设帧数；
(2)对面部图像进行人眼定位，标记出眼部的6个特征点，根据标记出的眼部的6个特征点，利用下式计算眼睛纵横比：
式中，EAR为眼睛纵横比，为D1、D4两点的欧式距离，为D2、D6两点的欧式距离，为D3、D5两点的欧式距离；
(3)根据计算得到的眼睛纵横比判断驾驶员是否为疲劳驾驶，若判定驾驶员为疲劳驾驶，则驱动预警模块发出报警提醒。
本发明提供的疲劳驾驶检测预警方法具有如下有益效果：
(1)该疲劳驾驶检测预警方法首先判断驾驶员的驾驶时长，初步判断驾驶员是否进入疲劳驾驶状态，若进入，则驱动人脸视频图像采集模块开启并采集人脸视频图像，进一步精确判断该驾驶员是否为疲劳驾驶，从而避免人脸视频图像采集模块持续工作，延长该系统的寿命，降低能量损耗。
(2)使用人脸视频图像采集模块采集人脸视频图像，并进一步对采集的人脸视频图像进行人眼定位以及人眼闭合状态检测，进而实现对驾驶员的疲劳检测，相比于现有技术通过佩戴产品进行检测是否低头能让驾驶员使用更方便，提高该系统的友好度。
(3)基于机器视觉对人脸检测和人眼定位，比现有技术的检测是否低头更精准，误判率更低。
(4)该疲劳驾驶检测预警方法通过非接触方式进行疲劳检测，可令驾驶员使用更为方便。
(5)使用人眼眼部六个特征点进行检测并且计算，数据分析结果更为准确。
本发明第三方面提供了一种计算机程序，该计算机程序用于使得计算机执行如上所述的疲劳驾驶检测预警方法。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1是本发明实施例提供的疲劳驾驶检测预警系统框架结构图；
图2是本发明实施例提供的疲劳驾驶检测预警方法的流程图；
图3是本发明实施例提供的眼部的6个特征点的分布图。
附图标记：环境参数采集模块1；驾驶时长获取模块2；人脸视频图像采集模块3；预警模块4；中央处理模块5。
具体实施方式
结合以下实施例对本发明作进一步描述。
图1示出了一种基于机器视觉的疲劳驾驶检测预警系统，该系统包括：环境参数采集模块1、驾驶时长获取模块2、人脸视频图像采集模块3、预警模块4和中央处理模块5；其中，环境参数采集模块1、驾驶时长获取模块2、人脸视频图像采集模块3、预警模块4皆与中央处理模块连接。
环境参数采集模块1设置于该汽车内，其用于采集车内的环境参数，并发送至中央处理模块5；中央处理模块5根据车内的环境参数，确定当前环境下的参考驾驶时长阈值，并将驾驶员的驾驶时长与参考驾驶时长阈值进行比较，当驾驶员的驾驶时长超过参考驾驶时长阈值时，判定驾驶员处于疲劳驾驶状态。
在一个可选的实施例中，环境参数采集模块1包括：空气质量检测传感器单元、湿度传感器单元、温度传感器单元和气压传感器单元；
空气质量检测传感器包括：CO浓度传感器、CO2浓度传感器、PM2.5传感器中的一种或者多种。
在中央处理模块5中，根据车内的环境参数，确定当前环境下的参考驾驶时长阈值，具体是：利用通过下式确定当前环境下的参考驾驶时长阈值：
式中，D′为当前环境下的参考驾驶时长阈值，D0为标准车内环境参数下的驾驶时长阈值，AQ、H、T、P分别为当前环境下的空气质量系数、车内湿度、车内温度和车内气压，AQ0为标准标准车内环境参数下的空气质量系数、车内湿度、车内温度和车内气压，α、β、γ为权重因子，其满足α+β+γ＝1。作为优选，标准车内环境参数下的驾驶时长阈值D0为4小时。
由于车内环境条件会对驾驶员的生理参数产生影响，因此，在进行驾驶时长预判时，利用上式对驾驶时长阈值D0进行修订，进而在进行疲劳驾驶预判时，将环境因素考虑在内，从而得到当前环境下的参考驾驶时长阈值，进而实现对驾驶员的驾驶状态进行准确预判，提高了该系统疲劳检测的准确性。
驾驶时长获取模块2，用于获取驾驶员的驾驶时长，并发送至中央处理模块5；中央处理模块5根据驾驶员的驾驶时长，判断驾驶员的驾驶状态，并在判定驾驶员处于疲劳驾驶状态时驱动人脸视频图像采集模块3采集驾驶员的人脸视频图像；中央处理模块5接收人脸视频图像并根据接收到的人脸视频图像判断驾驶员是否为疲劳驾驶，若判定驾驶员为疲劳驾驶，则驱动预警模块5发出报警提醒。优选地，该人脸视频图像采集模块3为CCD摄像头或者CSI摄像头。
在一个可行的实施例中，该预警模块5为语音播报模块，该语音播报模块通过语音播报的方式提醒驾驶员切勿疲劳驾驶。
在一个可行的实施例中，中央处理模块5为树莓派CPU。
在一个可行的实施例中，该系统还包括：通过STM32F103C8T6单片机与树莓派CPU通信连接的OLED12864显示屏，该OLED12864显示屏可用来显示当前的眼睛纵横比，也可以通过按键对预设的眼睛纵横比的大小进行调整，以适应不同人群。
优选地，中央处理模块5接收人脸视频图像并根据接收到的人脸视频图像判断驾驶员是否为疲劳驾驶，若判定驾驶员为疲劳驾驶，则驱动预警模块4发出报警提醒，具体是：
(1)对接收到的连续M帧人脸视频图像依次进行灰度化处理，并进行人脸识别，提取面部图像，其中，M为预设帧数；
(2)对面部图像进行人眼定位，标记出眼部的6个特征点(如图3所示)，根据标记出的眼部的6个特征点，利用下式计算眼睛纵横比：
式中，EAR为眼睛纵横比，为D1、D4两点的欧式距离，为D2、D6两点的欧式距离，为D3、D5两点的欧式距离；
(3)根据计算得到的眼睛纵横比判断驾驶员是否为疲劳驾驶，若判定驾驶员为疲劳驾驶，则驱动预警模块4发出报警提醒。优选地，该预警模块4为语音报警器，当驾驶员处于疲劳驾驶状态时，通过语音播报的方式提醒驾驶员停车休息，避免疲劳驾驶。
优选地，根据计算得到的眼睛纵横比判断驾驶员是否为疲劳驾驶，具体是：若接收到的M帧的人脸视频图像中，至少有一帧人脸视频图像中的眼睛纵横比小于预设眼睛纵横比，则判定该驾驶员为疲劳驾驶，此时驱动预警模块发出报警提醒。预设眼睛纵横比可根据驾驶员的实际情况进行设置。需要说明的是，上述的具体接收到的帧数可根据实际情况进行设定，作为优选，M＝20。
在一个可行的实施例中，可使用机器视觉库opencv实时检测从CSI摄像头读入20fps的视频流中，通过Dlib进行人脸检测，提取人脸面部信息，然后通过STM32F103C8T6单片机驱动OLED12864显示当前的纵横比，通过按键实现预设的眼睛纵横比的调整并通过串口发送给树莓派，如果接收到的M帧的人脸视频图像中，存在一帧或者多帧人脸视频图像中的驾驶员的眼睛纵横比小于预设眼睛纵横比，则认为驾驶员为疲劳驾驶状态，此时树莓派驱动语音播报模块以播报预警信息。
本发明提供的疲劳驾驶检测预警系统具有如下有益效果：
(1)该系统首先判断驾驶员的驾驶时长，初步判断驾驶员是否进入疲劳驾驶状态，若进入，则驱动人脸视频图像采集模块3开启并采集人脸视频图像，进一步精确判断该驾驶员是否为疲劳驾驶，从而避免人脸视频图像采集模块3持续工作，延长该系统的寿命，降低能量损耗。
(2)使用人脸视频图像采集模块3采集人脸视频图像，并进一步对采集的人脸视频图像进行人眼定位以及人眼闭合状态检测，进而实现对驾驶员的疲劳检测，相比于现有技术通过佩戴产品进行检测是否低头能让驾驶员使用更方便，提高该系统的友好度。
(3)基于机器视觉对人脸检测和人眼定位，比现有技术的检测是否低头更精准，误判率更低。
(4)该系统通过非接触方式进行疲劳检测，可令驾驶员使用更为方便。
(5)使用人眼眼部六个特征点进行检测并且计算，数据分析结果更为准确。
图2示出了一种疲劳驾驶检测预警方法，该方法包括：
中央处理模块5接收环境参数采集模块采集的车内的环境参数，其中，环境参数采集模块1设置于车内，其用于采集车内的环境参数；
中央处理模块5根据车内的环境参数，确定当前环境下的参考驾驶时长阈值，并将驾驶员的驾驶时长与参考驾驶时长阈值进行比较，当驾驶员的驾驶时长超过参考驾驶时长阈值时，判定驾驶员处于疲劳驾驶状态。
中央处理模块5接收驾驶时长获取模块2发送的驾驶员的驾驶时长，其中，驾驶时长获取模块2，用于获取驾驶员的驾驶时长，该驾驶员的驾驶时长指的是：该驾驶员连续开车的时长；
中央处理模块5根据驾驶员的驾驶时长，判断驾驶员的驾驶状态，并在判定驾驶员处于疲劳驾驶状态时驱动人脸视频图像采集模块3采集驾驶员的人脸视频图像；
中央处理模块5接收人脸视频图像并根据接收到的人脸视频图像判断驾驶员是否为疲劳驾驶，若判定驾驶员为疲劳驾驶，则驱动预警模块发出报警提醒。
优选地，该方法进一步包括：
中央处理模块5接收人脸视频图像并根据接收到的人脸视频图像判断驾驶员是否为疲劳驾驶，若判定驾驶员为疲劳驾驶，则驱动预警模块发出报警提醒，具体过程是：
(1)对接收到的连续M帧的人脸视频图像依次进行灰度化处理，并进行人脸识别，提取面部图像,其中，M为预设帧数；
(2)对面部图像进行人眼定位，标记出眼部的6个特征点，根据标记出的眼部的6个特征点，利用下式计算眼睛纵横比：
式中，EAR为眼睛纵横比，为D1、D4两点的欧式距离，为D2、D6两点的欧式距离，为D3、D5两点的欧式距离；
(3)根据计算得到的眼睛纵横比判断驾驶员是否为疲劳驾驶，若判定驾驶员为疲劳驾驶，则驱动预警模块4发出报警提醒。
本发明提供的疲劳驾驶检测预警方法具有如下有益效果：
(1)该疲劳驾驶检测预警方法首先判断驾驶员的驾驶时长，初步判断驾驶员是否进入疲劳驾驶状态，若进入，则驱动人脸视频图像采集模块3开启并采集人脸视频图像，进一步精确判断该驾驶员是否为疲劳驾驶，从而避免人脸视频图像采集模块3持续工作，延长该系统的寿命，降低能量损耗。
(2)使用人脸视频图像采集模块3采集人脸视频图像，并进一步对采集的人脸视频图像进行人眼定位以及人眼闭合状态检测，进而实现对驾驶员的疲劳检测，相比于现有技术通过佩戴产品进行检测是否低头能让驾驶员使用更方便，提高该系统的友好度。
(3)基于机器视觉对人脸检测和人眼定位，比现有技术的检测是否低头更精准，误判率更低。
(4)该疲劳驾驶检测预警方法通过非接触方式进行疲劳检测，可令驾驶员使用更为方便。
(5)使用人眼眼部六个特征点进行检测并且计算，数据分析结果更为准确。
本发明第三方面提供了一种计算机程序，该计算机程序用于使得计算机执行如上所述的疲劳驾驶检测预警方法。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (10)

1.一种基于机器视觉的疲劳驾驶检测预警系统，其特征在于，包括：驾驶时长获取模块、中央处理模块、人脸视频图像采集模块和预警模块；所述驾驶时长获取模块、人脸视频图像采集模块、预警模块皆与中央处理模块连接；
所述驾驶时长获取模块，用于获取驾驶员的驾驶时长，并发送至所述中央处理模块；
所述中央处理模块根据所述驾驶员的驾驶时长，判断驾驶员的驾驶状态，并在判定驾驶员处于疲劳驾驶状态时驱动所述人脸视频图像采集模块采集驾驶员的人脸视频图像；
所述中央处理模块接收所述人脸视频图像并根据接收到的人脸视频图像判断驾驶员是否为疲劳驾驶，若判定驾驶员为疲劳驾驶，则驱动所述预警模块发出报警提醒。
2.根据权利要求1所述的疲劳驾驶检测预警系统，其特征在于，还包括：设置于汽车内的环境参数采集模块；
所述环境参数采集模块，用于采集车内的环境参数，并发送至所述中央处理模块；
所述中央处理模块根据所述车内的环境参数，确定当前环境下的参考驾驶时长阈值，并将所述驾驶员的驾驶时长与参考驾驶时长阈值进行比较，当所述驾驶员的驾驶时长超过所述参考驾驶时长阈值时，判定驾驶员处于疲劳驾驶状态。
3.根据权利要求2所述的疲劳驾驶检测预警系统，其特征在于，所述环境参数采集模块包括：空气质量检测传感器单元、湿度传感器单元、温度传感器单元和气压传感器单元；
所述空气质量检测传感器包括：CO浓度传感器、CO2浓度传感器、PM2.5传感器中的一种或者多种。
4.根据权利要求3所述的疲劳驾驶检测预警系统，其特征在于，在所述中央处理模块中，所述的根据所述车内的环境参数，确定当前环境下的参考驾驶时长阈值，具体是：利用通过下式确定当前环境下的参考驾驶时长阈值：
式中，D′为当前环境下的参考驾驶时长阈值，D0为标准车内环境参数下的驾驶时长阈值，AQ、H、T、P分别为当前环境下的空气质量系数、车内湿度、车内温度和车内气压，AQ0为标准车内环境参数下的空气质量系数、车内湿度、车内温度和车内气压，α、β、γ为权重因子，其满足α+β+γ＝1。
5.根据权利要求1所述的疲劳驾驶检测预警系统，其特征在于，所述的中央处理模块接收所述人脸视频图像并根据接收到的人脸视频图像判断驾驶员是否为疲劳驾驶，若判定驾驶员为疲劳驾驶，则驱动所述预警模块发出报警提醒，具体是：
(1)对接收到的连续M帧人脸视频图像依次进行灰度化处理，并进行人脸识别，提取面部图像，其中，M为预设帧数；
(2)对所述面部图像进行人眼定位，标记出眼部的6个特征点，根据标记出的眼部的6个特征点，利用下式计算眼睛纵横比：
式中，EAR为眼睛纵横比，D4为D1、D4两点的欧式距离，D6为D2、D6两点的欧式距离，D5为D3、D5两点的欧式距离；
(3)根据计算得到的眼睛纵横比判断驾驶员是否为疲劳驾驶，若判定驾驶员为疲劳驾驶，则驱动所述预警模块发出报警提醒。
6.根据权利要求5所述的疲劳驾驶检测预警系统，其特征在于，所述的根据计算得到的眼睛纵横比判断驾驶员是否为疲劳驾驶，具体是：若所述M帧的人脸视频图像中，至少有一帧人脸视频图像中的眼睛纵横比小于预设眼睛纵横比，则判定该驾驶员为疲劳驾驶，此时驱动所述预警模块发出报警提醒。
7.一种基于机器视觉的疲劳驾驶检测预警方法，其特征在于，所述方法包括：
中央处理模块接收驾驶时长获取模块发送的驾驶员的驾驶时长，其中，所述驾驶时长获取模块，用于获取驾驶员的驾驶时长；
所述中央处理模块根据所述驾驶员的驾驶时长，判断驾驶员的驾驶状态，并在判定驾驶员处于疲劳驾驶状态时驱动所述人脸视频图像采集模块采集驾驶员的人脸视频图像；
所述中央处理模块接收所述人脸视频图像并根据接收到的人脸视频图像判断驾驶员是否为疲劳驾驶，若判定驾驶员为疲劳驾驶，则驱动所述预警模块发出报警提醒。
8.根据权利要求7所述的疲劳驾驶检测预警方法，其特征在于，所述方法进一步包括：
所述中央处理模块接收环境参数采集模块采集的车内的环境参数，其中，所述环境参数采集模块设置于车内，其用于采集车内的环境参数；
所述中央处理模块根据所述车内的环境参数，确定当前环境下的参考驾驶时长阈值，并将所述驾驶员的驾驶时长与参考驾驶时长阈值进行比较，当所述驾驶员的驾驶时长超过所述参考驾驶时长阈值时，判定驾驶员处于疲劳驾驶状态。
9.根据权利要求7所述的疲劳驾驶检测预警方法，其特征在于，所述方法进一步包括：
所述的中央处理模块接收所述人脸视频图像并根据接收到的人脸视频图像判断驾驶员是否为疲劳驾驶，若判定驾驶员为疲劳驾驶，则驱动所述预警模块发出报警提醒，具体过程是：
(1)对接收到的连续M帧人脸视频图像依次进行灰度化处理，并进行人脸识别，提取面部图像，其中，M为预设帧数；
(2)对所述面部图像进行人眼定位，标记出眼部的6个特征点，根据标记出的眼部的6个特征点，利用下式计算眼睛纵横比：
式中，EAR为眼睛纵横比，D4为D1、D4两点的欧式距离，D6为D2、D6两点的欧式距离，D5为D3、D5两点的欧式距离；
(3)根据计算得到的眼睛纵横比判断驾驶员是否为疲劳驾驶，若判定驾驶员为疲劳驾驶，则驱动所述预警模块发出报警提醒。
10.一种计算机程序，其特征在于，其用于使得计算机执行如权利要求7-9任一所述的疲劳驾驶检测预警方法。
CN201910708314.XA 2019-08-01 2019-08-01 一种基于机器视觉的疲劳驾驶检测预警系统及方法 Pending CN110246305A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910708314.XA CN110246305A (zh) 2019-08-01 2019-08-01 一种基于机器视觉的疲劳驾驶检测预警系统及方法
JP2019223762A JP6784424B1 (ja) 2019-08-01 2019-12-11 マシンビジョンに基づく過労運転検出警告システム及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910708314.XA CN110246305A (zh) 2019-08-01 2019-08-01 一种基于机器视觉的疲劳驾驶检测预警系统及方法

Publications (1)

Publication Number Publication Date
CN110246305A true CN110246305A (zh) 2019-09-17

Family

ID=67893821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910708314.XA Pending CN110246305A (zh) 2019-08-01 2019-08-01 一种基于机器视觉的疲劳驾驶检测预警系统及方法

Country Status (2)

Country Link
JP (1) JP6784424B1 (zh)
CN (1) CN110246305A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111016915A (zh) * 2019-12-10 2020-04-17 西安工业大学 基于人脸多特征的驾驶行为判别预警装置及实现方法
CN111179551A (zh) * 2019-12-17 2020-05-19 西安工程大学 一种危化品运输驾驶员实时监控方法
CN111408011A (zh) * 2020-04-02 2020-07-14 广州菩声音响设备有限公司 一种基于云平台的蒸汽提神及co气体探测装置
CN113378734A (zh) * 2021-06-18 2021-09-10 杭州海亮优教教育科技有限公司 一种基于ai技术的疲劳驾驶检测与预警系统及终端
CN116110193A (zh) * 2023-03-29 2023-05-12 中国铁塔股份有限公司 一种智能看护方法、装置、电子设备及存储介质
CN118644843A (zh) * 2024-08-15 2024-09-13 永鼎行远(南京)信息科技有限公司 一种司机值乘状态监测预警系统及方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112985436A (zh) * 2021-01-25 2021-06-18 何桂香 一种基于大数据的物流车辆车载导航系统
CN113537135A (zh) * 2021-07-30 2021-10-22 三一重机有限公司 一种驾驶监测方法、装置、系统及可读存储介质
CN113705373B (zh) * 2021-08-10 2023-12-26 江苏钮玮动力科技有限公司 一种可调节自适应强的驾驶员面部表情识别系统
CN113619386A (zh) * 2021-08-19 2021-11-09 四川轻化工大学 一种基于嵌入式的多维感知驾驶员安全辅助和报警系统
CN113689664A (zh) * 2021-08-26 2021-11-23 哈尔滨泰展达科技开发有限公司 一种红外设施预警系统
CN114475620B (zh) * 2022-01-26 2024-03-12 南京科融数据系统股份有限公司 用于款箱押运系统的驾驶员验证方法及系统
CN114898444A (zh) * 2022-06-07 2022-08-12 嘉兴锐明智能交通科技有限公司 基于人脸关键点检测的疲劳驾驶监测方法、系统及设备
CN115359627A (zh) * 2022-08-11 2022-11-18 安徽虹湾信息技术有限公司 一种疲劳驾驶车辆稽查告警系统及方法
CN116035579B (zh) * 2023-03-06 2023-08-25 中国人民解放军海军特色医学中心 一种舰船驾驶人员疲劳评估系统及方法
CN115892051B (zh) * 2023-03-08 2023-05-16 禾多科技（北京）有限公司 自动驾驶辅助公共道路测试方法及系统
CN116439710B (zh) * 2023-04-11 2023-10-20 中国人民解放军海军特色医学中心 一种基于生理信号的舰船驾驶员疲劳检测系统及方法
CN116587980A (zh) * 2023-06-02 2023-08-15 无锡车联天下信息技术有限公司 一种基于蜂窝数据的域控制器
CN117549915B (zh) * 2024-01-12 2024-03-19 常州海图信息科技股份有限公司 一种矿用司机驾驶行为监控装置及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106448061A (zh) * 2016-11-01 2017-02-22 合肥洛维信息科技有限公司 一种用于驾驶员疲劳驾驶的监测系统
CN106652378A (zh) * 2015-11-02 2017-05-10 比亚迪股份有限公司 用于车辆的驾驶提醒方法、系统、服务器和车辆
CN107679468A (zh) * 2017-09-19 2018-02-09 浙江师范大学 一种嵌入式计算机视觉检测疲劳驾驶方法及装置
CN207274424U (zh) * 2017-10-23 2018-04-27 杭州龙创汽车技术有限公司 一种疲劳驾驶警报系统
CN107977607A (zh) * 2017-11-20 2018-05-01 安徽大学 一种基于机器视觉的疲劳驾驶监测方法
CN108790816A (zh) * 2018-05-24 2018-11-13 安徽中科中涣防务装备技术有限公司 一种公交车驾驶区安全综合电子围栏系统
CN109919049A (zh) * 2019-02-21 2019-06-21 北京以萨技术股份有限公司 基于深度学习人脸姿态估计的疲劳检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5736977B2 (ja) * 2011-06-02 2015-06-17 日産自動車株式会社 ふらつき運転報知装置
JP2016115117A (ja) * 2014-12-15 2016-06-23 アイシン精機株式会社 判定装置および判定方法
CN113509158B (zh) * 2015-07-22 2024-09-20 松下电器（美国）知识产权公司 清醒度预测方法、清醒度预测装置以及控制对象设备
JP6468306B2 (ja) * 2017-03-10 2019-02-13 オムロン株式会社 視認支援装置、方法およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106652378A (zh) * 2015-11-02 2017-05-10 比亚迪股份有限公司 用于车辆的驾驶提醒方法、系统、服务器和车辆
CN106448061A (zh) * 2016-11-01 2017-02-22 合肥洛维信息科技有限公司 一种用于驾驶员疲劳驾驶的监测系统
CN107679468A (zh) * 2017-09-19 2018-02-09 浙江师范大学 一种嵌入式计算机视觉检测疲劳驾驶方法及装置
CN207274424U (zh) * 2017-10-23 2018-04-27 杭州龙创汽车技术有限公司 一种疲劳驾驶警报系统
CN107977607A (zh) * 2017-11-20 2018-05-01 安徽大学 一种基于机器视觉的疲劳驾驶监测方法
CN108790816A (zh) * 2018-05-24 2018-11-13 安徽中科中涣防务装备技术有限公司 一种公交车驾驶区安全综合电子围栏系统
CN109919049A (zh) * 2019-02-21 2019-06-21 北京以萨技术股份有限公司 基于深度学习人脸姿态估计的疲劳检测方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111016915A (zh) * 2019-12-10 2020-04-17 西安工业大学 基于人脸多特征的驾驶行为判别预警装置及实现方法
CN111179551A (zh) * 2019-12-17 2020-05-19 西安工程大学 一种危化品运输驾驶员实时监控方法
CN111408011A (zh) * 2020-04-02 2020-07-14 广州菩声音响设备有限公司 一种基于云平台的蒸汽提神及co气体探测装置
CN113378734A (zh) * 2021-06-18 2021-09-10 杭州海亮优教教育科技有限公司 一种基于ai技术的疲劳驾驶检测与预警系统及终端
CN116110193A (zh) * 2023-03-29 2023-05-12 中国铁塔股份有限公司 一种智能看护方法、装置、电子设备及存储介质
CN118644843A (zh) * 2024-08-15 2024-09-13 永鼎行远(南京)信息科技有限公司 一种司机值乘状态监测预警系统及方法

Also Published As

Publication number Publication date
JP2021026748A (ja) 2021-02-22
JP6784424B1 (ja) 2020-11-11

Similar Documents

Publication Publication Date Title
CN110246305A (zh) 一种基于机器视觉的疲劳驾驶检测预警系统及方法
CN107679468A (zh) 一种嵌入式计算机视觉检测疲劳驾驶方法及装置
CN104183091B (zh) 一种自适应调整疲劳驾驶预警系统灵敏度的系统
CN101593425B (zh) 一种基于机器视觉的疲劳驾驶监控方法及系统
CN106846734B (zh) 一种疲劳驾驶检测装置及方法
CN108446600A (zh) 一种车辆驾驶员疲劳监测预警系统及方法
CN104361332B (zh) 一种用于疲劳驾驶检测的人脸眼睛区域定位方法
CN106530623A (zh) 一种疲劳驾驶检测装置及检测方法
CN110532976A (zh) 基于机器学习和多特征融合的疲劳驾驶检测方法及系统
CN107491769A (zh) 基于AdaBoost算法的疲劳驾驶检测方法及系统
CN104361716A (zh) 实时检测疲劳并提醒的方法
CN108108651B (zh) 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统
WO2017067399A1 (zh) 一种基于图像识别的预警方法及装置
CN103700220A (zh) 一种疲劳驾驶监控装置
CN108974018B (zh) 一种基于机器视觉的汽车前向防碰撞预警监测方法
Valsan et al. Monitoring driver’s drowsiness status at night based on computer vision
CN102646189B (zh) 一种司机驾驶姿势检测的系统和方法
CN106446822B (zh) 基于圆拟合的眨眼检测方法
CN112241645A (zh) 一种疲劳驾驶检测方法及其系统、电子设备
CN106384096B (zh) 一种基于眨眼检测的疲劳驾驶监测方法
CN204904514U (zh) 一种疲劳检测及行驶记录综合系统
CN114998874A (zh) 一种基于深度学习的驾驶员异常行为检测方法
CN116168374A (zh) 一种主动安全辅助驾驶方法及系统
CN204124043U (zh) 一种基于车载视觉的行人综合判断系统
CN114267169A (zh) 一种基于机器视觉的预防疲劳驾驶限速控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190917

RJ01 Rejection of invention patent application after publication