[go: up one dir, main page]

JP2021026748A - マシンビジョンに基づく過労運転検出警告システム及び方法 - Google Patents

マシンビジョンに基づく過労運転検出警告システム及び方法 Download PDF

Info

Publication number
JP2021026748A
JP2021026748A JP2019223762A JP2019223762A JP2021026748A JP 2021026748 A JP2021026748 A JP 2021026748A JP 2019223762 A JP2019223762 A JP 2019223762A JP 2019223762 A JP2019223762 A JP 2019223762A JP 2021026748 A JP2021026748 A JP 2021026748A
Authority
JP
Japan
Prior art keywords
driver
overworked
module
driving
central processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019223762A
Other languages
English (en)
Other versions
JP6784424B1 (ja
Inventor
元▲澤▼▲懐▼
Zehuai Yuan
欧▲陽▼国峰
Guofeng Ouyang
洪超亮
Chaoliang Hong
▲蘇▼超彬
Chaobin Su
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhaoqing University
Original Assignee
Zhaoqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhaoqing University filed Critical Zhaoqing University
Application granted granted Critical
Publication of JP6784424B1 publication Critical patent/JP6784424B1/ja
Publication of JP2021026748A publication Critical patent/JP2021026748A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00Measuring or testing not otherwise provided for
    • G01D21/02Measuring two or more variables by means not covered by a single other subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/24Reminder alarms, e.g. anti-loss alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】非接触方式で疲労検出を行うマシンビジョンに基づく過労運転検出警告システムを提供する。【解決手段】システムは、運転時間取得モジュール、中央処理モジュール、顔面動画収集モジュール及び警告モジュールを備え、すべて中央処理モジュールに接続される。運転時間取得モジュールは、ドライバーの運転時間を取得して、中央処理モジュールに送信する。中央処理モジュールは、ドライバーの運転時間に基づいて、ドライバーの運転状態を判断し、ドライバーが過労運転状態にあると判定すると、顔面動画収集モジュールがドライバーの顔面動画を収集するように駆動する。中央処理モジュールは、顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュールが警報を発して注意喚起を行う。【選択図】図1

Description

本発明は、マシンビジョンの技術分野に関し、具体的には、マシンビジョンに基づく過労運転検出警告システム及び方法に関する。
中国の経済と社会の急速な発展、国民収入の増加につれ、自動車を保有する人が多くなりつつあり、自動車は、人々の生活に効率、利便性及び快適さをもたらす反面、交通事故の原因となり、中国の交通機関の統計によると、過労運転に起因する交通事故は、交通事故の総数の約20%、重大な交通事故の40%、及び交通事故死者数の83%を占めている。
従来技術では、ドライバーの耳に重力を感知可能なヘッドホンを装着することにより、ドライバーの頭が下がっているか否かを検出してドライバーが過労運転しているか否かを判定する。しかし、このような疲労検出方法は、検出精度が不十分であり、たとえば、ドライバーが何かをチャックするために見下ろしたり、車内に落ちたものを拾ったり、又はほかの頭が下がる動作をしたりする場合に、誤判断が発生しやすい。さらに、イヤホンを長時間装着すると、ドライバーに不快感を与えるので、ドライバーはその利用が嫌いになりやすい。
中国特許出願公開第204190913号明細書
上記問題に対して、本発明は、マシンビジョンに基づく過労運転検出警告システム及び方法を提供する。
本発明の目的は、以下の技術案によって実現される。
本発明の第1態様は、マシンビジョンに基づく過労運転検出警告システムを提供し、該システムは、運転時間取得モジュール、中央処理モジュール、顔面動画収集モジュール及び警告モジュールを備え、運転時間取得モジュール、顔面動画収集モジュール、警告モジュールは、何れも中央処理モジュールに接続され、運転時間取得モジュールは、ドライバーの運転時間を取得して、中央処理モジュールに送信することに用いられ、中央処理モジュールは、ドライバーの運転時間に基づいて、ドライバーの運転状態を判断し、ドライバーが過労運転状態にあると判定すると、顔面動画収集モジュールがドライバーの顔面動画を収集するように駆動し、中央処理モジュールは、顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュールが警報を発して注意喚起を行うように駆動する。
好ましくは、該システムは、自動車の内部に設置された環境パラメータ収集モジュールをさらに備え、
環境パラメータ収集モジュールは、車内の環境パラメータを収集し、中央処理モジュールに送信し、
中央処理モジュールは、車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定し、ドライバーの運転時間を参照運転時間閾値と比較して、ドライバーの運転時間が参照運転時間閾値を超えると、ドライバーが過労運転状態にあると判定する。
好ましくは、環境パラメータ収集モジュールは、空気質検出センサーユニット、湿度センサーユニット、温度センサーユニット及び気圧センサーユニットを備え、
空気質検出センサーは、CO濃度センサー、CO濃度センサー、PM2.5センサーのうちの1種類又は数種類を含む。
好ましくは、中央処理モジュールでは、車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定することは、具体的には、下記式により現在の環境での参照運転時間閾値を決定することを利用し、

式中、D′は、現在の環境での参照運転時間閾値であり、Dは、標準車内環境パラメータでの運転時間閾値であり、AQ、H、T、Pは、それぞれ現在の環境での空気質係数、車内湿度、車内温度及び車内気圧であり、AQは、標準車内環境パラメータでの空気質係数、車内湿度、車内温度及び車内気圧であり、α、β、γは、重み係数であり、α+β+γ=1を満たす。
好ましくは、中央処理モジュールは、顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュールが警報を発して注意喚起を行うように駆動することは、具体的には、
(1)受信した連続Mフレームの顔面動画に対してグレースケール化処理を順次行い、顔認識を行って、顔面画像を抽出し、ここで、Mは、予め設定されたフレーム数であり、
(2)顔面画像に対して目を特定し、目の6つの特徴点をマーキングして、マーキングされた目の6つの特徴点に基づいて、下記式により目のアスペクト比を計算し、

式中、EARは、目のアスペクト比であり、ρD1D4は、D1、の2点のユークリッド距離であり、ρD2D6は、D、Dの2点のユークリッド距離であり、ρD3D5は、D、Dの2点のユークリッド距離であり、
(3)算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュールが警報を発して注意喚起を行うように駆動する。
好ましくは、算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断することは、具体的には、
前記Mフレームの顔面動画のうち、少なくとも1フレームの顔面動画における目のアスペクト比が予め設定された目のアスペクト比より小さいと、該ドライバーが過労運転していると判定し、このときに警告モジュールが警報を発して注意喚起を行うように駆動する。
本発明による過労運転検出警告システムは、下記有益な効果を有する。
(1)該システムは、まず、ドライバーの運転時間を判断することによりドライバーが過労運転状態に入ったか否かを初期判断し、入った場合、顔面動画収集モジュールを起動して顔面動画を収集させ、さらに該ドライバーが過労運転しているか否かを正確に判断し、それによって、顔面動画収集モジュールの持続作動を回避し、該システムの耐用年数を延ばし、エネルギー損失を減らす。
(2)顔面動画収集モジュールで顔面動画を収集し、さらに収集した顔面動画について目の特定及び目を閉じる状態の検出を行うことで、ドライバーの疲労度を検出し、製品を装着することにより頭が下がることを検出する従来技術に比べて、ドライバーが簡便に使用でき、該システムの使用性を向上させる。
(3)マシンビジョンに基づく顔検出及び目の定位は、頭が下がっているか否かを検出する従来技術よりも、精度が高く、誤判断が少なくなる。
(4)該システムは、非接触方式で疲労度検出を行うため、ドライバーにより簡便に使用できる。
(5)人の目の6つの特徴に基づいて検出して計算するため、データ分析結果がより正確になる。
本発明の第2態様は、マシンビジョンに基づく過労運転検出警告方法を提供し、該方法は、
中央処理モジュールは、ドライバーの運転時間を取得するための運転時間取得モジュールから送信されたドライバーの運転時間を受信するステップと、
中央処理モジュールは、ドライバーの運転時間に基づいて、ドライバーの運転状態を判断し、ドライバーが過労運転状態にあると判定すると、顔面動画収集モジュールがドライバーの顔面動画を収集するように駆動するステップと、
中央処理モジュールは、顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュールが警報を発して注意喚起を行うように駆動するステップと、を含む。
好ましくは、該方法はさらに、
中央処理モジュールは、車内に設置されて車内の環境パラメータを収集するための環境パラメータ収集モジュールにより収集された車内の環境パラメータを受信するステップと、
中央処理モジュールは、車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定し、ドライバーの運転時間を参照運転時間閾値と比較して、ドライバーの運転時間が参照運転時間閾値を超えると、ドライバーが過労運転状態にあると判定するステップと、を含む。
好ましくは、該方法は、
中央処理モジュールは、顔面動画画像を受信して、受信した顔面動画画像に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュールが警報を発して注意喚起を行うように駆動するステップは、具体的には、
(1)受信した連続Mフレームの顔面動画画像に対してグレースケール化処理を順次行い、顔認識を行って、顔面画像を抽出し、ここで、Mは、予め設定されたフレーム数であり、
(2)顔面画像について目を特定し、目の6つの特徴点をマーキングして、マークされた目の6つの特徴点に基づいて、下記式により目のアスペクト比を計算し、

式中、EARは、目のアスペクト比であり、ρD1、D4は、D、Dの2点のユークリッド距離であり、ρD2D6は、D、Dの2点のユークリッド距離であり、ρD3D5は、D、Dの2点のユークリッド距離であり、
(3)算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュールが警報を発して注意喚起を行うように駆動する。
本発明による過労運転検出警告方法は、下記有益な効果を有する。
(1)該過労運転検出警告方法では、まず、ドライバーの運転時間を判断することによりドライバーが過労運転状態に入ったか否かを初期判断し、過労運転状態に入った場合、顔面動画収集モジュールが起動して顔面動画を収集するように駆動し、さらに該ドライバーが過労運転しているか否かを正確に判断し、それによって、顔面動画収集モジュールの持続作動を回避し、該システムの耐用年数を延ばし、エネルギー損失を減らす。
(2)顔面動画収集モジュールで顔面動画を収集し、さらに収集した顔面動画について目の特定及び目を閉じる状態の検出を行うことで、ドライバーの疲労度を検出し、製品を装着することにより頭が下がることを検出する従来技術に比べて、ドライバーが簡便に使用でき、該システムの使用性を向上させる。
(3)マシンビジョンに基づく顔検出及び目の定位は、頭が下がっているか否かを検出する従来技術よりも、精度が高く、誤判断が少なくなる。
(4)該システムは、非接触方式で疲労検出を行うため、ドライバーにより簡便に使用できる。
(5)人の目の6つの特徴に基づいて検出して計算するため、データ分析結果がより正確になる。
本発明の第3態様は、コンピューターに前記の過労運転検出警告方法を実行させるコンピュータープログラムを提供する。
図面を参照しながら本発明についてさらに説明するが、図面における実施例は、本発明を何ら制限するものではなく、当業者であれば、創造的な努力を必要とせずに、以下の図面に基づいてほかの図面を取得しうる。
本発明の実施例による過労運転検出警告システムのフレーム構造図である。 本発明の実施例による過労運転検出警告方法のフローチャートである。 本発明の実施例による目の6つの特徴点の分布図である。
以下の実施例にて本発明をさらに説明する。
図1には、マシンビジョンに基づく過労運転検出警告システムが示されており、該システムは、環境パラメータ収集モジュール1、運転時間取得モジュール2、顔面動画収集モジュール3、警告モジュール4及び中央処理モジュール5を備え、環境パラメータ収集モジュール1、運転時間取得モジュール2、顔面動画収集モジュール3、警告モジュール4は、何れも中央処理モジュールに接続される。
環境パラメータ収集モジュール1は、該自動車の内部に設置され、車内の環境パラメータを収集し、中央処理モジュール5に送信することに用いられ、中央処理モジュール5は、車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定し、ドライバーの運転時間を参照運転時間閾値と比較して、ドライバーの運転時間が参照運転時間閾値を超えると、ドライバーが過労運転状態にあると判定する。
一好適実施例では、環境パラメータ収集モジュール1は、空気質検出センサーユニット、湿度センサーユニット、温度センサーユニット及び気圧センサーユニットを含み、
空気質検出センサーは、CO濃度センサー、CO濃度センサー、PM2.5センサーのうちの1種類又は数種類を含む。
中央処理モジュール5では、車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定することは、具体的には、下記式により現在の環境での参照運転時間閾値を決定することを利用し、

式中、D′は、現在の環境での参照運転時間閾値であり、Dは、標準車内環境パラメータでの運転時間閾値であり、AQ、H、T、Pは、それぞれ現在の環境での空気質係数、車内湿度、車内温度及び車内気圧であり、AQは、標準標準車内環境パラメータでの空気質係数、車内湿度、車内温度及び車内気圧であり、α、β、γは、重み係数であり、α+β+γ=1を満たす。好ましくは、標準車内環境パラメータでの運転時間閾値Dは、4時間である。
車内の環境条件がドライバーの生理学的パラメータに影響を及ぼすため、運転時間を予備判断するときに、上記式により運転時間閾値Dを修正し、それにより、過労運転を予備判断するときに、環境の要因を考慮に入れて、現在の環境での参照運転時間閾値を取得し、それによって、ドライバーの運転状態を正確に予備判断し、該システムの疲労検出の正確性を向上させる。
運転時間取得モジュール2は、ドライバーの運転時間を取得して、中央処理モジュール5に送信することに用いられ、中央処理モジュール5は、ドライバーの運転時間に基づいて、ドライバーの運転状態を判断し、ドライバーが過労運転状態にあると判定すると、顔面動画収集モジュール3がドライバーの顔面動画を収集するように駆動し、中央処理モジュール5は、顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュール5が警報を発して注意喚起を行うように駆動する。好ましくは、該顔面動画収集モジュール3は、CCDカメラ又はCSIカメラである。
可能な一実施例では、該警告モジュール5は、音声放送方式でドライバーに過労運転しないように促す音声放送モジュールである。
可能な一実施例では、中央処理モジュール5は、ラズベリーパイCPUである。
可能な一実施例では、該システムは、STM32F103C8T6シングルチップマイクロコンピュータを介してラズベリーパイCPUと通信可能に接続されるOLED12864表示画面をさらに備え、該OLED12864表示画面は、現在の目のアスペクト比を表示することにも、さまざまな人のニーズに合わせるように、予め設定された目のアスペクト比のサイズをボタンで調整することにも適用できる。
好ましくは、中央処理モジュール5は、顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュール4が警報を発して注意喚起を行うように駆動するステップは、具体的には、
(1)受信した連続Mフレームの顔面動画に対してグレースケール化処理を順次行い、顔認識を行って、顔面画像を抽出し、ここで、Mは、予め設定されたフレーム数であり、
(2)顔面画像について目を特定し、目の6つの特徴点をマーキングして(図3参照)、マークされた目の6つの特徴点に基づいて、下記式により目のアスペクト比を計算し、

式中、EARは、目のアスペクト比であり、ρD1、D4は、D、Dの2点のユークリッド距離であり、ρD2D6は、D、Dの2点のユークリッド距離であり、ρD3D5は、D、Dの2点のユークリッド距離であり、
(3)算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュール4が警報を発して注意喚起を行うように駆動する。好ましくは、該警告モジュール4は、音声アラームであり、ドライバーが過労運転状態にある場合、音声放送方式で、過労運転しないように車を止めて休憩するようにドライバーを促す。
好ましくは、算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断することは、具体的には、受信したMフレームの顔面動画のうち、少なくとも1フレームの顔面動画における目のアスペクト比が予め設定された目のアスペクト比より小さいと、該ドライバーが過労運転していると判定し、このときに、警告モジュールが警報を発して注意喚起を行うように駆動する。予め設定された目のアスペクト比は、ドライバーの実際な状況に応じて設定できる。なお、上記で受信したフレーム数は、具体的には、実際な状況に応じて設定すればよいが、好ましくは、M=20である。
可能な一実施例では、マシンビジョンライブラリopencvを使用してCSIカメラから読み込まれた20fpsのビデオストリームをリアルタイムで検出して、Dlibによって顔検出を行い、顔面情報を抽出して、次に、STM32F103C8T6シングルチップマイクロコンピュータによってOLED12864を駆動して現在のアスペクト比を表示させ、予め設定された目のアスペクト比をボタンで調整してシリアルポートを介してラズベリーパイに送信し、受信したMフレームの顔面動画のうち、1フレーム又は複数のフレームの顔面動画におけるドライバーの目のアスペクト比が予め設定された目のアスペクト比より小さい場合、ドライバーが過労運転状態にあると判定し、このときに、ラズベリーパイは、音声放送モジュールが警告情報を放送するように駆動する。
本発明による過労運転検出警告システムは、下記有益な効果を有する。
(1)該システムでは、まず、ドライバーの運転時間を判断することによりドライバーが過労運転状態に入ったか否かを初期判断し、過労運転状態に入った場合、顔面動画収集モジュール3が起動して顔面動画を収集するように駆動し、さらに該ドライバーが過労運転しているか否かを正確に判断し、それによって、顔面動画収集モジュール3の持続作動を回避し、該システムの耐用年数を延ばし、エネルギー損失を減らす。
(2)顔面動画収集モジュール3で顔面動画を収集し、さらに収集した顔面動画について目の特定及び目を閉じる状態の検出を行うことで、ドライバーの疲労を検出し、製品を装着することにより頭が下がることを検出する従来技術に比べて、ドライバーが簡便に使用でき、該システムの使用性を向上させる。
(3)マシンビジョンに基づく顔検出及び目の定位は、頭が下がっているか否かを検出する従来技術よりも、精度が高く、誤判断が少なくなる。
(4)該システムは、非接触方式で疲労検出を行うため、ドライバーにより簡便に使用できる。
(5)人の目の6つの特徴に基づいて検出して計算するため、データ分析結果がより正確になる。
図2には、過労運転検出警告方法が示されており、該方法は、
中央処理モジュール5は、車内に設置されて車内の環境パラメータを収集するための環境パラメータ収集モジュールにより収集された車内の環境パラメータを受信するステップと、
中央処理モジュール5は、車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定し、ドライバーの運転時間を参照運転時間閾値と比較して、ドライバーの運転時間が参照運転時間閾値を超えると、ドライバーが過労運転状態にあると判定するステップと、
中央処理モジュール5は、該ドライバーが連続的に運転する時間であるドライバーの運転時間を取得するための運転時間取得モジュール2から送信されたドライバーの運転時間を受信するステップと、
中央処理モジュール5は、ドライバーの運転時間に基づいて、ドライバーの運転状態を判断し、ドライバーが過労運転状態にあると判定すると、顔面動画収集モジュール3がドライバーの顔面動画を収集するように駆動するステップと、
中央処理モジュール5は、顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュールが警報を発して注意喚起を行うように駆動するステップと、を含む。
好ましくは、該方法は、
中央処理モジュール5は、顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュールが警報を発して注意喚起を行うように駆動するステップは、具体的には、
(1)受信した連続Mフレームの顔面動画についてグレースケール化処理を順次行い、顔認識を行って、顔面画像を抽出し、ここで、Mは、予め設定されたフレーム数であり、
(2)顔面画像について目を特定し、目の6つの特徴点をマーキングして、マークされた目の6つの特徴点に基づいて、下記式により目のアスペクト比を計算し、

式中、EARは、目のアスペクト比であり、ρD1、D4は、D1、の2点のユークリッド距離であり、ρD2D6は、D、Dの2点のユークリッド距離であり、ρD3D5は、D、Dの2点のユークリッド距離であり、
(3)算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、警告モジュール4が警報を発して注意喚起を行うように駆動する。
本発明による過労運転検出警告方法は、下記有益な効果を有する。
(1)該過労運転検出警告方法では、まず、ドライバーの運転時間を判断することによりドライバーが過労運転状態に入ったか否かを初期判断し、過労運転状態に入った場合、顔面動画収集モジュール3が起動して顔面動画を収集するように駆動し、さらに該ドライバーが過労運転しているか否かを正確に判断し、それによって、顔面動画収集モジュール3の持続作動を回避し、該システムの耐用年数を延ばし、エネルギー損失を減らす。
(2)顔面動画収集モジュール3で顔面動画を収集し、さらに収集した顔面動画について目の特定及び目を閉じる状態の検出を行うことで、ドライバーの疲労を検出し、製品を装着することにより頭が下がることを検出する従来技術に比べて、ドライバーが簡便に使用でき、該システムの使用性を向上させる。
(3)マシンビジョンに基づく顔検出及び目の定位は、頭が下がっているか否かを検出する従来技術よりも、精度が高く、誤判断が少なくなる。
(4)該システムは、非接触方式で疲労検出を行うため、ドライバーにより簡便に使用できる。
(5)人の目の6つの特徴に基づいて検出して計算するため、データ分析結果がより正確になる。
本発明の第3態様は、コンピューターに前記過労運転検出警告方法を実行させるコンピュータープログラムを提供する。
最後に、なお、以上の実施例は、本発明の技術案を説明するために過ぎず、本発明の特許範囲を制限するものではなく、好適実施例を参照しながら本発明を詳細に説明したが、当業者であれば、本発明の技術案の主旨及び範囲から逸脱することなく本発明の技術案について修正又は同等置換を行えることを理解できる。
環境パラメータ収集モジュール1
運転時間取得モジュール2
顔面動画収集モジュール3
警告モジュール4
中央処理モジュール5

Claims (10)

  1. マシンビジョンに基づく過労運転検出警告システムであって、
    運転時間取得モジュール、中央処理モジュール、顔面動画収集モジュール及び警告モジュールを備え、前記運転時間取得モジュール、顔面動画収集モジュール、警告モジュールは、すべて中央処理モジュールに接続され、
    前記運転時間取得モジュールは、ドライバーの運転時間を取得して、前記中央処理モジュールに送信することに用いられ、
    前記中央処理モジュールは、前記ドライバーの運転時間に基づいて、ドライバーの運転状態を判断し、ドライバーが過労運転状態にあると判定すると、前記顔面動画収集モジュールがドライバーの顔面動画を収集するように駆動し、
    前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とするマシンビジョンに基づく過労運転検出警告システム。
  2. 自動車の内部に設置された環境パラメータ収集モジュールをさらに備え、
    前記環境パラメータ収集モジュールは、車内の環境パラメータを収集し、前記中央処理モジュールに送信することに用いられ、
    前記中央処理モジュールは、前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定し、前記ドライバーの運転時間を参照運転時間閾値と比較して、前記ドライバーの運転時間が前記参照運転時間閾値を超えると、ドライバーが過労運転状態にあると判定することを特徴とする請求項1に記載の過労運転検出警告システム。
  3. 前記環境パラメータ収集モジュールは、空気質検出センサーユニット、湿度センサーユニット、温度センサーユニット及び気圧センサーユニットを備え、
    前記空気質検出センサーは、CO濃度センサー、CO濃度センサー、PM2.5センサーのうちの1種又は複数種を含むことを特徴とする請求項2に記載の過労運転検出警告システム。
  4. 前記中央処理モジュールでは、前記した前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定することは、具体的には、下記式により現在の環境での参照運転時間閾値を決定することを利用し、

    式中、D′は、現在の環境での参照運転時間閾値であり、Dは、標準車内環境パラメータでの運転時間閾値であり、AQ、H、T、Pは、それぞれ現在の環境での空気質係数、車内湿度、車内温度及び車内気圧であり、AQは、標準車内環境パラメータでの空気質係数、車内湿度、車内温度及び車内気圧であり、α、β、γは、重み係数であり、α+β+γ=1を満たすことを特徴とする請求項3に記載の過労運転検出警告システム。
  5. 前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動することは、具体的には、
    (1)受信した連続Mフレームの顔面動画に対してグレースケール化処理を順次行い、顔認識を行って、顔面画像を抽出し、ここで、Mは、予め設定されたフレーム数であり、
    (2)前記顔面画像について目を特定し、目の6つの特徴点をマーキングして、マークされた目の6つの特徴点に基づいて、下記式により目のアスペクト比を計算し、

    式中、EARは、目のアスペクト比であり、ρD1、D4は、D、Dの2点のユークリッド距離であり、ρD2、D6は、D、Dの2点のユークリッド距離であり、ρD3、D5は、D、Dの2点のユークリッド距離であり、
    (3)算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とする請求項1に記載の過労運転検出警告システム。
  6. 前記算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断することは、具体的には、
    前記Mフレームの顔面動画のうち、少なくとも1フレームの顔面動画における目のアスペクト比が予め設定された目のアスペクト比より小さいと、該ドライバーが過労運転していると判定し、このときに前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とする請求項5に記載の過労運転検出警告システム。
  7. マシンビジョンに基づく過労運転検出警告方法であって、
    中央処理モジュールは、ドライバーの運転時間を取得するための運転時間取得モジュールから送信されたドライバーの運転時間を受信するステップと、
    前記中央処理モジュールは、前記ドライバーの運転時間に基づいて、ドライバーの運転状態を判断し、ドライバーが過労運転状態にあると判定すると、前記顔面動画収集モジュールがドライバーの顔面動画を収集するように駆動するステップと、
    前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動するステップとを含むことを特徴とするマシンビジョンに基づく過労運転検出警告方法。
  8. 前記中央処理モジュールは、車内に設置されて車内の環境パラメータを収集するための環境パラメータ収集モジュールにより収集された車内の環境パラメータを受信するステップと、
    前記中央処理モジュールは、前記車内の環境パラメータに基づいて、現在の環境での参照運転時間閾値を決定し、前記ドライバーの運転時間を参照運転時間閾値と比較して、前記ドライバーの運転時間が前記参照運転時間閾値を超えると、ドライバーが過労運転状態にあると判定するステップとを含むことを特徴とする請求項7に記載の過労運転検出警告方法。
  9. 前記中央処理モジュールは、前記顔面動画を受信して、受信した顔面動画に基づいてドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動するステップは、具体的には、
    (1)受信した連続Mフレームの顔面動画に対してグレースケール化処理を順次行い、顔認識を行って、顔面画像を抽出し、ここで、Mは、予め設定されたフレーム数であり、
    (2)前記顔面画像について目を特定し、目の6つの特徴点をマーキングして、マークされた目の6つの特徴点に基づいて、下記式により目のアスペクト比を計算し、

    式中、EARは、目のアスペクト比であり、ρD1、D4は、D、Dの2点のユークリッド距離であり、ρD2、D6は、D、Dの2点のユークリッド距離であり、ρD3、D5は、D、Dの2点のユークリッド距離であり、
    (3)算出された目のアスペクト比に基づいて、ドライバーが過労運転しているか否かを判断し、ドライバーが過労運転していると判定すると、前記警告モジュールが警報を発して注意喚起を行うように駆動することを特徴とする請求項7に記載の過労運転検出警告方法。
  10. コンピュータープログラムであって、
    コンピューターに請求項7−9のいずれか1項に記載の前記過労運転検出警告方法を実行させることを特徴とするコンピュータープログラム。

JP2019223762A 2019-08-01 2019-12-11 マシンビジョンに基づく過労運転検出警告システム及び方法 Expired - Fee Related JP6784424B1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910708314.X 2019-08-01
CN201910708314.XA CN110246305A (zh) 2019-08-01 2019-08-01 一种基于机器视觉的疲劳驾驶检测预警系统及方法

Publications (2)

Publication Number Publication Date
JP6784424B1 JP6784424B1 (ja) 2020-11-11
JP2021026748A true JP2021026748A (ja) 2021-02-22

Family

ID=67893821

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019223762A Expired - Fee Related JP6784424B1 (ja) 2019-08-01 2019-12-11 マシンビジョンに基づく過労運転検出警告システム及び方法

Country Status (2)

Country Link
JP (1) JP6784424B1 (ja)
CN (1) CN110246305A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705373A (zh) * 2021-08-10 2021-11-26 苏州莱布尼茨智能科技有限公司 一种可调节自适应强的驾驶员面部表情识别系统
CN114475620A (zh) * 2022-01-26 2022-05-13 南京科融数据系统股份有限公司 用于款箱押运系统的驾驶员验证方法及系统
CN115892051A (zh) * 2023-03-08 2023-04-04 禾多科技(北京)有限公司 自动驾驶辅助公共道路测试方法及系统
CN117549915A (zh) * 2024-01-12 2024-02-13 常州海图信息科技股份有限公司 一种矿用司机驾驶行为监控装置及方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111016915B (zh) * 2019-12-10 2024-10-29 西安工业大学 基于人脸多特征的驾驶行为判别预警装置及实现方法
CN111179551A (zh) * 2019-12-17 2020-05-19 西安工程大学 一种危化品运输驾驶员实时监控方法
CN111408011A (zh) * 2020-04-02 2020-07-14 广州菩声音响设备有限公司 一种基于云平台的蒸汽提神及co气体探测装置
CN112985436A (zh) * 2021-01-25 2021-06-18 何桂香 一种基于大数据的物流车辆车载导航系统
CN113378734A (zh) * 2021-06-18 2021-09-10 杭州海亮优教教育科技有限公司 一种基于ai技术的疲劳驾驶检测与预警系统及终端
CN113256273A (zh) * 2021-06-27 2021-08-13 赣州德业电子科技有限公司 一种预防塔机司机疲劳作业的监测系统
CN113537135A (zh) * 2021-07-30 2021-10-22 三一重机有限公司 一种驾驶监测方法、装置、系统及可读存储介质
CN113619386A (zh) * 2021-08-19 2021-11-09 四川轻化工大学 一种基于嵌入式的多维感知驾驶员安全辅助和报警系统
CN113689664A (zh) * 2021-08-26 2021-11-23 哈尔滨泰展达科技开发有限公司 一种红外设施预警系统
CN115578834A (zh) * 2022-06-06 2023-01-06 江苏智通科技技术有限公司 一种获取司机驾驶状态的判断方法及判断装置
CN114898444A (zh) * 2022-06-07 2022-08-12 嘉兴锐明智能交通科技有限公司 基于人脸关键点检测的疲劳驾驶监测方法、系统及设备
CN115100635A (zh) * 2022-06-10 2022-09-23 广州大学 一种融合口罩佩戴的疲劳驾驶人脸识别方法
CN115359627A (zh) * 2022-08-11 2022-11-18 安徽虹湾信息技术有限公司 一种疲劳驾驶车辆稽查告警系统及方法
CN116035579B (zh) * 2023-03-06 2023-08-25 中国人民解放军海军特色医学中心 一种舰船驾驶人员疲劳评估系统及方法
CN116110193B (zh) * 2023-03-29 2023-07-21 中国铁塔股份有限公司 一种智能看护方法、装置、电子设备及存储介质
CN116439710B (zh) * 2023-04-11 2023-10-20 中国人民解放军海军特色医学中心 一种基于生理信号的舰船驾驶员疲劳检测系统及方法
CN116587985A (zh) * 2023-05-19 2023-08-15 浙江极氪智能科技有限公司 驾驶员长时间观察后视装置的报警系统、方法及车辆
CN116587980A (zh) * 2023-06-02 2023-08-15 无锡车联天下信息技术有限公司 一种基于蜂窝数据的域控制器
CN118644843B (zh) * 2024-08-15 2024-12-17 北京启辰智达科技有限公司 一种司机值乘状态监测预警系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012252498A (ja) * 2011-06-02 2012-12-20 Nissan Motor Co Ltd ふらつき運転報知装置
JP2016115117A (ja) * 2014-12-15 2016-06-23 アイシン精機株式会社 判定装置および判定方法
JP2017148604A (ja) * 2015-07-22 2017-08-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 覚醒度予測方法および覚醒度予測装置
JP2018151765A (ja) * 2017-03-10 2018-09-27 オムロン株式会社 視認支援装置、方法およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106652378A (zh) * 2015-11-02 2017-05-10 比亚迪股份有限公司 用于车辆的驾驶提醒方法、系统、服务器和车辆
CN106448061A (zh) * 2016-11-01 2017-02-22 合肥洛维信息科技有限公司 一种用于驾驶员疲劳驾驶的监测系统
CN107679468A (zh) * 2017-09-19 2018-02-09 浙江师范大学 一种嵌入式计算机视觉检测疲劳驾驶方法及装置
CN207274424U (zh) * 2017-10-23 2018-04-27 杭州龙创汽车技术有限公司 一种疲劳驾驶警报系统
CN107977607A (zh) * 2017-11-20 2018-05-01 安徽大学 一种基于机器视觉的疲劳驾驶监测方法
CN108790816A (zh) * 2018-05-24 2018-11-13 安徽中科中涣防务装备技术有限公司 一种公交车驾驶区安全综合电子围栏系统
CN109919049A (zh) * 2019-02-21 2019-06-21 北京以萨技术股份有限公司 基于深度学习人脸姿态估计的疲劳检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012252498A (ja) * 2011-06-02 2012-12-20 Nissan Motor Co Ltd ふらつき運転報知装置
JP2016115117A (ja) * 2014-12-15 2016-06-23 アイシン精機株式会社 判定装置および判定方法
JP2017148604A (ja) * 2015-07-22 2017-08-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 覚醒度予測方法および覚醒度予測装置
JP2018151765A (ja) * 2017-03-10 2018-09-27 オムロン株式会社 視認支援装置、方法およびプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705373A (zh) * 2021-08-10 2021-11-26 苏州莱布尼茨智能科技有限公司 一种可调节自适应强的驾驶员面部表情识别系统
CN113705373B (zh) * 2021-08-10 2023-12-26 江苏钮玮动力科技有限公司 一种可调节自适应强的驾驶员面部表情识别系统
CN114475620A (zh) * 2022-01-26 2022-05-13 南京科融数据系统股份有限公司 用于款箱押运系统的驾驶员验证方法及系统
CN114475620B (zh) * 2022-01-26 2024-03-12 南京科融数据系统股份有限公司 用于款箱押运系统的驾驶员验证方法及系统
CN115892051A (zh) * 2023-03-08 2023-04-04 禾多科技(北京)有限公司 自动驾驶辅助公共道路测试方法及系统
CN117549915A (zh) * 2024-01-12 2024-02-13 常州海图信息科技股份有限公司 一种矿用司机驾驶行为监控装置及方法
CN117549915B (zh) * 2024-01-12 2024-03-19 常州海图信息科技股份有限公司 一种矿用司机驾驶行为监控装置及方法

Also Published As

Publication number Publication date
JP6784424B1 (ja) 2020-11-11
CN110246305A (zh) 2019-09-17

Similar Documents

Publication Publication Date Title
JP6784424B1 (ja) マシンビジョンに基づく過労運転検出警告システム及び方法
CN107679468A (zh) 一种嵌入式计算机视觉检测疲劳驾驶方法及装置
CN101593425B (zh) 一种基于机器视觉的疲劳驾驶监控方法及系统
CN104183091B (zh) 一种自适应调整疲劳驾驶预警系统灵敏度的系统
CN106846734B (zh) 一种疲劳驾驶检测装置及方法
US8164463B2 (en) Driver management apparatus and travel management system
CN101916496B (zh) 一种司机驾驶姿势检测的系统和方法
CN101032405A (zh) 基于全方位计算机视觉的安全驾驶辅助装置
CN104068868A (zh) 一种基于机器视觉的驾驶人疲劳监测方法及装置
CN104361716A (zh) 实时检测疲劳并提醒的方法
CN208126407U (zh) 基于软硬件协同图像处理的防疲劳驾驶系统
CN115171024A (zh) 一种基于视频序列的面部多特征融合疲劳检测方法及系统
CN108021875A (zh) 一种车辆驾驶员个性化疲劳监测及预警方法
CN115393830A (zh) 一种基于深度学习与面部特征的疲劳驾驶检测方法
CN107909772A (zh) 一种智能化车载疲劳监测方法
CN101178769B (zh) 健康保护装置及其实现方法
CN112241645A (zh) 一种疲劳驾驶检测方法及其系统、电子设备
CN118587689B (zh) 驾驶员疲劳状态检测方法和系统
Valsan et al. Monitoring driver’s drowsiness status at night based on computer vision
CN106446822B (zh) 基于圆拟合的眨眼检测方法
CN113744499B (zh) 一种疲劳预警方法、眼镜、系统和计算机可读存储介质
CN108304745A (zh) 一种驾驶员驾驶行为检测方法、装置
CN114492656A (zh) 一种基于计算机视觉和传感器的疲劳度监测系统
CN106384096B (zh) 一种基于眨眼检测的疲劳驾驶监测方法
CN211509165U (zh) 一种车载监控摄像头

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191211

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191211

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200803

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201013

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201016

R150 Certificate of patent or registration of utility model

Ref document number: 6784424

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees