[go: up one dir, main page]

JP6965727B2 - 居眠り警報装置 - Google Patents

居眠り警報装置 Download PDF

Info

Publication number
JP6965727B2
JP6965727B2 JP2017244998A JP2017244998A JP6965727B2 JP 6965727 B2 JP6965727 B2 JP 6965727B2 JP 2017244998 A JP2017244998 A JP 2017244998A JP 2017244998 A JP2017244998 A JP 2017244998A JP 6965727 B2 JP6965727 B2 JP 6965727B2
Authority
JP
Japan
Prior art keywords
alarm
driver
preliminary
doze
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017244998A
Other languages
English (en)
Other versions
JP2019113925A (ja
Inventor
敦裕 土井
光俊 永田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2017244998A priority Critical patent/JP6965727B2/ja
Priority to CN201880081905.2A priority patent/CN111492420B/zh
Priority to PCT/JP2018/038668 priority patent/WO2019123803A1/ja
Priority to DE112018005980.4T priority patent/DE112018005980T5/de
Publication of JP2019113925A publication Critical patent/JP2019113925A/ja
Priority to US16/883,803 priority patent/US11195405B2/en
Application granted granted Critical
Publication of JP6965727B2 publication Critical patent/JP6965727B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0809Driver authorisation; Driver identity check
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、例えばトラック、バス等の車両に搭載され、ドライバの居眠り運転を防止するための居眠り警報装置に関する。
ドライバの居眠り運転を防止する居眠り警報装置として、特許文献1に記載された居眠り警報装置が考えられている。この居眠り警報装置は、次のように構成されている。即ち、ドライバの顔をカメラにより撮影し、画像処理によりドライバの瞼の開き度合いの変化や瞬きパターンの変化からドライバの眠気レベルを推定する。そして、眠気レベルが閾値を越えたタイミングで、予備警報を行うようになっている。この予備警報は、スピーカからホワイトノイズを出力することにより行われる。予備警報としてのホワイトノイズを発生すると、そのホワイトノイズに対するドライバの反応、即ちドライバの表情の変化、あるいは顔や視線方向からドライバの反応を判定する。猶予期間内にドライバの反応を検出した場合には、本警報の発生を見送る。猶予期間が経過してもドライバの反応を検出しなかった場合に、本警報を発生させる。これにより、不要な警報の発生を低減させることができる。
特開2008−206688号公報
ところで、ドライバの眠気は、個人差、体調や心理状態などが影響し、その推定結果は必ずしもドライバの主観と合致するとは限らない。上記従来の構成の居眠り警報装置では、予備警報を発生する眠気レベルの閾値が、ドライバの主観と合致しない場合が生ずる虞がある。あるドライバにとっては、眠気が進行した状態で予備警報が発せられるため、警報のタイミングが遅すぎると感じる。逆に、別のドライバにとっては、十分に覚醒した状態で予備警報が発せられ、警報を煩わしく感じることになる。
本発明は上記事情に鑑みてなされたもので、その目的は、ドライバの眠気のレベルに関し、ドライバの感覚により合致した眠気レベルで、警報を適切に行うことができる居眠り警報装置を提供するにある。
上記目的を達成するために、本発明の居眠り警報装置(1)は、車両に搭載され、ドライバの居眠り運転を防止するためのものであって、ドライバの眠気のレベルを判定する眠気レベル判定手段(9)と、前記眠気レベル判定手段(9)の判定した眠気レベルを警報閾値と比較することに基づき、眠気レベルが警報閾値を越えて高い場合に予備警報を行う予備警報手段(10)と、前記予備警報手段(10)による予備警報後に、必要に応じてドライバに対し眠気からの覚醒を促す本警報を行う警報手段(10)と、前記予備警報手段(10)による予備警報が発せられてから一定時間内に、ドライバが所定の応答動作を行ったことを検出する応答検出手段(10)と、前記応答検出手段(10)により応答動作が検出された場合に、前記警報閾値をより高くするように変更する閾値変更手段(9)とを備えている。
これによれば、眠気レベル判定手段(9)により、ドライバの眠気のレベルが判定され、その眠気レベルが警報閾値を越えて高くなった場合に予備警報手段(10)により予備警報が行われる。そして、予備警報手段(10)による予備警報が発せられてから一定時間内に、応答検出手段(10)によりドライバが所定の応答動作を行ったことが検出された場合には、閾値変更手段(9)により、前記警報閾値がより高くなるように変更される。また、予備警報手段(10)による予備警報後に、応答検出手段(10)によりドライバが所定の応答動作を行ったことが検出されなかった場合には、警報手段(10)により、ドライバに対し眠気からの覚醒を促す本警報が行われる。このとき、閾値変更手段(9)による閾値変更は行われず、前記警報閾値は現状のままとする。
予備警報に対し、ドライバが応答動作を行った場合は、ドライバにとって眠気が大きくなく、その予備警報を行うきっかけとなった警報閾値が、ドライバの主観からは比較的低かったということができる。言い換えれば、応答検出手段(10)の検出があった場合には、以降の警報閾値をより高くした方が、ドライバの感覚により合致した予備警報を行うことができると言える。応答検出手段(10)の検出がなかった場合には、ドライバの眠気が進んでいたということができるので、適切な警報閾値であったということができる。このときには、警報手段(10)により、本警報が行われドライバに覚醒が促される。従って、車両運転中のドライバの眠気のレベルに関し、警報閾値をより適切にすることができ、ドライバの感覚により合致した眠気レベルで、警報を適切に行うことができる。
一実施形態を示すもので、居眠り警報装置の電気的構成を概略的に示すブロック図 制御装置が実行する居眠り警報の処理手順を示すフローチャート 時間経過に伴う眠気レベルの変動の様子の一例を示す図 他の実施形態を示すもので、警報判定フラグの有効・無効を決定する別の手法を説明するための図
以下、具体化した一実施形態について、図1から図3を参照しながら説明する。図1は、本実施形態に係る居眠り警報装置1の電気的構成を概略的に示しており、この居眠り警報装置1は、自動車、バス、トラック等の車両に搭載される。この居眠り警報装置1は、居眠り警報制御装置2を備えると共に、この居眠り警報制御装置2に接続された、カメラ3、マイク4、操作スイッチ部5、スピーカ6、表示装置7、送風装置8などを備えている。
前記居眠り警報制御装置2は、CPU、ROM、RAM等からなるコンピュータを主体として構成され、居眠り判定警報プログラムの実行により、各機構を制御し、居眠り警報装置1としての機能を実現する。このとき、居眠り警報制御装置2は、眠気レベル判定部9、警報制御部10を含んで構成される。前記カメラ3は、例えば車室の運転席の前部のメータ部の近傍に設けられ、ドライバの顔、例えば胸部から上方を撮影するようになっている。このカメラ3は、画像処理部11により制御されると共に、カメラ3の撮影データが画像処理部11に入力されて画像処理される。画像処理部11により処理された画像データは、居眠り警報制御装置2に入力される。
前記マイク4は、ドライバが音声入力を行うためのもので、運転席近傍に設けられている。また、前記操作スイッチ部5は、ドライバが操作するもので、例えば複数個のメカスイッチやタッチパネル等からなり、センターコンソール部分やステアリングホイール部分などの運転席近傍に設けられている。これらマイク4や操作スイッチ部5からの信号も、前記居眠り警報制御装置2に入力される。
前記スピーカ6は、車室内に設けられ、音声を出力するもので、音声制御部12により制御される。後述するように、音声制御部12は、居眠り警報制御装置2からの指令に基づいて、スピーカ6から警報のための音声を出力させるようになっている。このとき、音声制御部12には、後述する予備警報に用いられる音声データが記憶された音声メモリ13が着脱可能にセットされるようになっている。この音声メモリ13としては、例えばシリアルフラッシュメモリやSDカード等が採用される。
前記表示装置7は、例えばセンターコンソール部分に設けられドライバに対して各種の表示を行うもので、居眠り警報制御装置2からの指令に基づいて、居眠り警報に関する必要な表示を行うようになっている。この表示装置7と前記操作スイッチ部5とが一体的にユニット化されていても良い。前記送風装置8は、後述する本警報が行われる際に、他の装置として、例えば運転席のシートの背もたれやヘッドレスト部分からドライバの顔部分に向けて香りや冷気を送ってドライバに覚醒を促すもので、居眠り警報制御装置2からの指令に基づいて連携して動作する。
さて、本実施形態では、後の作用説明でも述べるように、居眠り警報制御装置2の眠気レベル判定部9は、ドライバの眠気のレベルを判定し、その眠気レベルを警報閾値TH(図3参照)と比較することに基づき、眠気レベルが警報閾値THを越えた高いものかどうかを判断する。前記警報制御部10は、その眠気レベルが警報閾値THを越えた場合、つまり警報判定フラグが有効となった場合に、予備警報を実行させる。
そして、警報制御部10は、予備警報が発せられてから一定時間内に、ドライバが所定の応答動作を行ったかどうかを判断し、一定時間内に応答動作が検出されなかった場合には、ドライバに対し眠気からの覚醒を促す本警報を実行させる。これと共に、予備警報が発せられてから一定時間内に応答動作が検出された場合には、前記眠気レベル判定部9は、前記警報閾値THをより高くするように変更する。
より具体的には、眠気レベル判定部9がドライバの眠気レベルを判定するにあたっては、カメラ3によりドライバの顔を撮影し、その撮影画像データから画像処理によりドライバの瞼の開き具合の変化や瞬きパターンの変化を求め、その結果に基づいてドライバの眠気レベルを判定する。この場合、眠気レベルは、眠気度合いが大きいほど大きくなるような数値、例えば0.0〜5.0までの数値で求められる。この眠気レベルの判定方法については、周知技術なので、詳細な説明を省略する。
前記眠気レベル判定部9が、判定した眠気レベルを警報閾値THと比較してドライバが一定の眠気を催していると判断するにあたっては、本実施形態では、例えば次のような手法が用いられる。即ち、判定された眠気レベルを一定時間毎、例えば1秒毎にバッファリングし、時系列にバッファリングされた眠気レベルを、一定幅の判定時間窓データ分遡り、眠気レベルが全て警報閾値TH(例えば3.0)を越えていた場合に、警報判定フラグを有効とする。警報判定フラグが有効となった場合に、ドライバが一定の眠気を催しているとして、前記警報制御部10が予備警報を実行する。尚、警報判定フラグが例えば連続的に有効となった場合でも、前回の予備警報を実行した後に、所定の時間間隔(例えば数秒〜数十秒程度)が空けられて次の予備警報が実行される。
本実施形態では、予備警報は、音声データに基づく音声出力により、ドライバに対する問い掛けを行うことにより実行される。この場合、警報制御部10は、音声制御部12に対して指令信号を出力し、音声制御部12は、音声メモリ13に記憶されている音声データを再生させて、スピーカ6から問い掛けの音声を出力させる。問い掛けの文言としては、例えば「疲れていませんか?」、「お疲れでしょうか?」といったものとなる。このとき、音声メモリ13に記憶されている音声データは、書換えが可能であるため、合成音声等でなく、ドライバの知っている人の声、例えば家族、恋人や友人、会社の上司等の声を、予備警報の音声にすることも可能となる。
予備警報を聞いたドライバは、覚醒状態にある(さほどの眠気がない)場合には、本警報に進まなくて済むように、一定時間内(例えば数秒程度)に所定の応答動作を実行する。ここでは、ドライバの応答動作として、ドライバが所定のジェスチャを行うものとしている。例えば、ドライバは、カメラ3の前に手をかざす、首を上下に振る、首を左右に振る、口をあける、のいずれかのジェスチャを行う。警報制御部10は、カメラ3の撮影した画像データによる画像認識に基づいて、所定の応答動作があったかどうか、つまり上記したいずれかのジェスチャがあったかどうかを検出する。
警報制御部10は、予備警報が発せられてから一定時間が経過しても、ドライバの応答動作、即ち所定のジェスチャが検出されなかった場合には、本警報を実行させる。この本警報では、例えばスピーカ6からドライバの眠気が覚めるような音、例えばビープ音を出力させことが行われる。本実施形態では、それに加えて、送風装置8により、ドライバの顔部分に向けて香りや冷気を送ることが行われる。また、表示装置7の画面には、例えばドライバに休憩を促すような注意表示がなされる。
一方、警報制御部10により、一定時間内のドライバの応答動作が検出された場合には、前記眠気レベル判定部9は、警報閾値THをより高くするように変更する。これにより、次回からの予備警報の判断が、より深い眠気で予備警報が発せられるようになる。具体的には、警報閾値THの数値を、例えば0.1ずつ上げていくことが行われる。今回の警報閾値THが3.0であった場合には、次回は、警報閾値THが3.1とされる。
更に本実施形態では、居眠り警報制御装置2は、前記眠気レベル判定部9による判定が警報閾値TH以下である状態、つまり警報判定フラグが無効のままの状態が継続している状態でも、その時間が所定時間、例えば30分以上継続している場合に、その後に、ランダムな予備警報を実行する。このランダム予備警報も、上記した予備警報と同様に行われ、予備警報を聞いたドライバが一定時間内に所定の応答動作即ち所定のジェスチャを行えば、本警報は行われない。ドライバの応答動作が検出されなかった場合には、上記と同様の本警報が実行される。
但し、このランダム予備警報が実行された場合には、予備警報を聞いたドライバが一定時間内に所定の応答動作(ジェスチャ)を行っても、警報閾値THを高くすることは行われず、警報閾値THの数値は現状のままとなる。そして、ランダム予備警報後に、本警報が実行された場合には、前記眠気レベル判定部9は、警報閾値THをより低くするように変更する。これにより、次回からの予備警報の判断が、より浅い眠気で予備警報が発せられるようになる。具体的には、警報閾値THの数値を、例えば0.1ずつ下げていくことが行われる。今回の警報閾値THが3.0であった場合には、次回は、警報閾値THが2.9とされる。
次に、上記構成の居眠り警報装置1の作用について、図2及び図3も参照して述べる。図2のフローチャートは、車両の走行中(ACCオン中)における、居眠り警報制御装置2が実行する、ドライバの眠気レベルの判定及び警報の処理手順を概略的に示している。即ち、まずステップS1では、ドライバの眠気レベルが判定されバッファリングされ、ステップS2では、一定幅の判定時間窓内の複数個のデータについての眠気レベルが判定される。ステップS3では、判定時間窓内の眠気レベルが全て警報閾値TH(例えば3.0)を越えているかどうかが判断される。尚、眠気レベルが警報閾値THを越えていない場合には(ステップS3にてNo)、後述のように、ステップS9からの処理に進む。
眠気レベルが警報閾値THを越えた場合、つまり警報判定フラグが有効となった場合には(ステップS3にてYes)、ステップS4にて、予備警報が実行される。上記したように、この予備警報は、音声によるドライバに対する問い掛けにより行われる。ここで、図3は、時間経過に伴う眠気レベルの変動の様子の一例を示している。ここで、警報閾値THを越えた眠気レベルが、判定時間窓WN連続した場合に、警報判定フラグが有効になり、予備警報が実行される。図3の場合、時刻t1、時刻t2、時刻t3において予備警報が発せられる。また、図3に斜線を付して示す区間は、警報判定フラグが有効になっている区間である。
次のステップS5では、一定時間内(例えば数秒程度)に、ドライバの所定の応答動作が行われなかったかどうかが判断される。上記のように、ドライバの応答動作として、ドライバが所定のジェスチャ、カメラ3の前に手をかざす、首を上下に振る、首を左右に振る、口を開ける(或いは開け閉めする)、のいずれかを行うものとしている。この場合、ドライバが十分な覚醒状態にあれば、予備警報の音声即ち問い掛けを聞いて容易に応答動作を行うことができる。ところが、ドライバの眠気が大きいと、予備警報を聞いても、すぐには所定のジェスチャを行えない事態が起こる。
予備警報が発せられてから所定時間内にドライバによる所定のジェスチャが行われなかった場合には、応答動作がないと判断され(ステップS5にてYes)、次のステップS6にて、本警報が実行される。この本警報では、上記したように、警報音の出力や、ドライバの顔部分への送風が行われ、ドライバに対して覚醒が促される。また、ステップS7では、前記警報閾値THがそのままとされ、ステップS1からの処理が繰り返される。
これに対し、予備警報が発せられてから所定時間内にドライバによる応答動作があった場合には(ステップS5にてNo)、ステップS8に進み、警報閾値THが、現在の値よりも0.1だけ高くなるように変更される。これにより、次回からの予備警報の判断が、より深い眠気で予備警報が発せられるように、警報閾値THが高く変更される。またこのときには、本警報が行われることなく、ステップS1からの処理が繰返される。
ここで、予備警報に対し、ドライバが難なく応答動作を行った場合は、ドライバにとって眠気がさほど大きくなく、その予備警報を行うきっかけとなった警報閾値THが、ドライバの主観からは比較的低かったということができる。言い換えれば、予備警報に対する応答動作の検出があった場合には、以降の警報閾値THをより高くした方が、ドライバの感覚により合致した予備警報を行うことができると言える。従って、警報閾値THを高くすることにより、そのドライバにあった数値に警報閾値THがいわば補正されるようになる。予備警報に対するドライバの応答動作の検出がなかった場合には、ドライバの眠気が進んでいたということができるので、適切な警報閾値であったということができる。
本実施形態では、上記したドライバの眠気レベルの判定に基づく予備警報の他に、ランダムな予備警報が実行される。即ち、上記したステップS3において、判定されたドライバの眠気レベルが、警報閾値TH以下の比較的低い値であった場合には(ステップS3にてNo)、ステップS9にて、ランダムな予備警報を行うかどうかの判定のために、予備警報のない状態が継続している時間がカウントされる。次のステップS10では、一定時間(例えば30分〜2時間)以上、予備警報のない状態が続いているかどうかが判断される。一定時間以上続いていない場合には(ステップS10にてNo)、ステップS1に戻る。
一方、予備警報のない状態が一定時間続いている場合には(ステップS10にてYes)、ステップS11にて、予備警報が音声出力による問い掛けにより実行される。次のステップS12では、一定時間内に、ドライバによる所定の応答動作、即ち所定のジェスチャが行われなかったかどうかが判断される。この場合、ほとんどのケースでドライバが覚醒状態にあると考えられ、ドライバは予備警報の音声(問い掛け)を聞いて容易に応答動作を行うことができる。予備警報が発せられてから所定時間内にドライバによる応答動作があった場合には(ステップS12にてNo)、ステップS13に進み、警報閾値THが現状のままとされ、ステップS1からの処理が繰り返される。
ところが、ドライバに眠気があった場合に、予備警報を聞いても、すぐに所定のジェスチャを行えない事態も起こることがある。ドライバによる応答動作が行われなかったときには(ステップS12にてYes)、ステップS14にて、本警報が実行される。そして、次のステップS15では、警報閾値THが、現在の値よりも0.1だけ低くなるように変更される。これにより、次回からの予備警報の判断が、より浅い眠気で予備警報が発せられるように、警報閾値THが低く変更される。この後、ステップS1からの処理が繰返される。
ここで、ランダムな予備警報に対し、ドライバの応答動作が検出されない場合は、ドライバの眠気が進んでいたと考えられるので、その前に通常の予備警報が行われていなかったということは、ドライバの主観からみれば、それまでの警報閾値THが高すぎたということができる。従って、警報閾値THを低くすることにより、そのドライバにあった数値に警報閾値THがいわば補正されるようになる。ランダムな予備警報に対し、ドライバの応答動作が検出された場合には、ドライバの覚醒状態と考えらえるので、警報閾値THは適切であったと考えられる。
このように本実施形態の居眠り警報装置1によれば、次のような効果を得ることができる。即ち、本実施形態では、居眠り警報制御装置2において、車両運転中のドライバの眠気レベルを判定し、警報閾値THを越えた場合、即ち警報判定フラグが有効となった場合に予備警報を行うに際し、予備警報が発せられてから一定時間内に、ドライバが所定の応答動作を行ったかどうかを検出し、応答動作が検出された場合には、警報閾値THをより高くするように変更するように構成した。従って、車両運転中のドライバの眠気のレベルに関し、ドライバの感覚により合致した眠気レベルで、予備警報及び本警報を適切に行うことができるという優れた効果を得ることができる。
そして、本実施形態では、ドライバの眠気レベルの判定、即ち警報閾値THとの比較をきっかけとした予備警報が行われない状態、つまり警報判定フラグが無効のままの状態でも、適宜のタイミングでランダムに予備警報が行われると共に、ドライバの所定の応答動作が検出されなかった場合に、本警報が行われドライバに覚醒が促されると共に、警報閾値THをより低くように変更するように構成した。従って、警報閾値THをより一層適切にすることが可能となる。また、ランダムな予備警報は、予備警報が行われない時間が所定時間以上継続した後に行われるので、ランダムな予備警報の行われる頻度が多すぎてドライバが煩わしいと感じたり、逆に少なすぎて意味のないものとなったりすることを抑制することができる。
特に本実施形態では、予備警報を、音声データに基づく音声出力により、ドライバに対する問い掛けを行うように構成した。これにより、予備警報における問い掛けによって、ドライバに対し刺激を与えることができ、覚醒状態に戻したり、覚醒状態を維持させたりすることが可能となる。このとき、音声データを書換え可能に構成することにより、例えばドライバの知っている人の声、例えば家族、恋人や友人、会社の上司等の声を、予備警報の音声にすることも可能となり、ドライバに安心感や刺激を与えることができ、より有効な予備警報を行うことができる。
また、特に本実施形態では、予備警報に対するドライバの所定の応答動作として、所定のジェスチャを採用するようにした。これにより、ドライバによる応答動作を簡単に済ませることができると共に、ジェスチャの実行によりドライバの覚醒状態を維持させることができる。更に本実施形態では、ドライバに対し眠気からの覚醒を促すための本警報として、音声による警報を行うだけでなく、それに加えて、他の装置ここでは送風装置8との連携により、ドライバの触覚等の感覚にも訴えることができ、覚醒を促すためにより一層効果的となる。
図4は、他の実施形態を示すものである。この実施形態では、眠気レベル判定部9が判定したドライバの眠気レベルが警報閾値THを越えたかどうかを判断する手法、つまり警報判定フラグの有効・無効を決定する手法が、上記実施形態と異なっている。即ち、本実施形態においても、ドライバの顔の撮影画像から眠気レベル判定部9により判定された眠気レベルを一定時間毎、例えば1秒毎に時系列にバッファリングする。図中、眠気レベルの判定データにおける、「OK」は、眠気がない即ち眠気レベルが警報閾値TH以下であると判定された状態、「NG」は、眠気レベルが警報閾値THを越えていて眠気があると判定された状態、「?」は、ドライバの顔が検知できなかったなど判定が不能な状態である。
そして、出力周期(この場合1秒)毎に、所定の判定時間窓のデータ分、図では判定時間窓としてデータの個数が一定のデータ分(例えば10個)だけ遡り、「NG」の時間の合計を求める。「NG」の時間の合計が、時間閾値(例えば12秒)以上となった場合に、警報判定フラグを有効とし、予備警報を行う。このような構成でも、上記実施形態と同様に予備警報を実行できる。尚、警報判定フラグが例えば連続的に有効となった場合でも、前回の予備警報を実行した後に、例えば数秒〜数十秒程度の時間間隔(インターバル)が空けられて予備警報が実行される。
尚、図示は省略するが、実施形態として、以下のような変更も可能である。即ち、上記実施形態では、通常の予備警報に対する応答動作の検出を1回行っただけで、警報閾値thを変更するようにしたが(図2のステップS5、S8)、予備警報に対し、複数回(例えば2回)連続して応答動作を検出した場合に、警報閾値THを変更するように構成しても良い。これによれば、1回の応答動作を検出しただけでは、警報閾値THを変更するに至らないので、例えば1回の偶発的事態の発生で、警報閾値THが変更されてしまうことを排除することができ、警報閾値THの変更がより適切に行われるようになる。
また上記実施形態では、予備警報に対するドライバの所定の応答動作としてジェスチャを採用したが、応答動作として所定の音声による応答を行うようにし、マイク4により取得した音声の認識に基づいて所定の応答動作があったかどうかを検出する構成としても良い。これによれば、ドライバは、予備警報に対する応答動作として、音声による所定の応答(例えば「大丈夫」、「疲れていない」等)を実行することにより、いわば会話が成立し、会話するという刺激によってドライバの覚醒状態を維持することができる。応答動作として、ドライバが操作スイッチ部における所定の操作を行う構成としても良い。
上記実施形態では、予備警報が所定時間以上継続して実行されない場合に、ランダムな予備警報を実行するようにしたが、その所定時間を、ドライバが変更できるような構成としても良い。これにより、ランダムな予備警報が行われるタイミング(時間間隔)を、ドライバの好みや必要性等の事情に応じたものとすることができる。また上記実施形態では、本警報において、他の装置として送風装置8による送風を併用するようにしたが、他の装置として、他にも、シートの背もたれ部分やステアリングホイールに設けられドライバに振動を付与する振動装置、ドライバのシートベルトの締め付け力を与える装置、イルミネーション等の光の刺激を与える照明装置、フロントガラスに覚醒を促すための表示を行うヘッドアップディスプレイ等も考えられる。
1台の車両を、複数のドライバが運転するような場合には、各ドライバ毎に警報閾値THを設けることが好ましい。この場合、ドライバ毎に警報閾値THを設定し記憶させておき、運転開始時に顔や指紋、掌紋等の認証によりドライバを識別するドライバ識別装置を設け、そのドライバ識別装置により識別されたドライバの警報閾値THを読み出して使用することができる。その他、上記実施形態では、眠気レベルの数値や、警報閾値THの数値、各時間等の数値は一例をあげたものに過ぎず、様々な変更が可能である。ドライバの眠気の判断の手法や、予備警報、本警報の態様等についても、適宜変更して実施することが可能である。
本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
図面中、1は居眠り警報装置、2は居眠り警報制御装置、3はカメラ、4はマイク、6はスピーカ、7は表示装置、8は送風装置(他の装置)、9は眠気レベル判定部(眠気レベル判定手段、閾値変更手段)、10は警報制御部(予備警報手段、警報手段、応答検出手段)、13は音声メモリを示す。

Claims (10)

  1. 車両に搭載され、ドライバの居眠り運転を防止するための居眠り警報装置(1)であって、
    ドライバの眠気のレベルを判定する眠気レベル判定手段(9)と、
    前記眠気レベル判定手段(9)の判定した眠気レベルを警報閾値と比較することに基づき、眠気レベルが警報閾値を越えて高い場合に予備警報を行う予備警報手段(10)と、
    前記予備警報手段(10)による予備警報後に、必要に応じてドライバに対し眠気からの覚醒を促す本警報を行う警報手段(10)と、
    前記予備警報手段(10)による予備警報が発せられてから一定時間内に、ドライバが所定の応答動作を行ったことを検出する応答検出手段(10)と、
    前記応答検出手段(10)により応答動作が検出された場合に、前記警報閾値をより高くするように変更する閾値変更手段(9)を備える居眠り警報装置。
  2. 前記閾値変更手段(9)は、前記応答検出手段(10)が複数回連続して応答動作を検出した場合に、前記警報閾値を変更する請求項1記載の居眠り警報装置。
  3. 前記予備警報手段(10)は、音声データに基づく音声出力により、ドライバに対する問い掛けを行うことにより予備警報を実行する請求項1又は2記載の居眠り警報装置。
  4. 前記音声データは書換え可能に構成されている請求項3記載の居眠り警報装置。
  5. 前記予備警報に対するドライバの所定の応答動作は、所定のジェスチャからなり、
    前記応答検出手段(10)は、カメラ(3)による画像認識に基づいて所定の応答動作があったかどうかを検出する請求項1から4のいずれか一項に記載の居眠り警報装置。
  6. 前記予備警報に対するドライバの所定の応答動作は、所定の音声による応答からなり、
    前記応答検出手段(10)は、マイク(4)により取得した音声の認識に基づいて所定の応答動作があったかどうかを検出する請求項1から4のいずれか一項に記載の居眠り警報装置。
  7. 前記眠気レベル判定手段(9)による判定が警報閾値以下である状態で、ランダムに予備警報を実行するランダム予備警報手段(10)を備えると共に、
    前記閾値変更手段(9)は、ランダムな予備警報後に一定時間内に、前記応答検出手段(10)によりドライバの所定の応答動作が検出されなかった場合に、前記警報閾値をより低くするように変更する請求項1から6のいずれか一項に記載の居眠り警報装置。
  8. 前記ランダム予備警報手段(10)は、予備警報が行われない時間が所定時間以上継続した後に、ランダムな予備警報を実行すると共に、前記所定時間の変更が可能とされている請求項7記載の居眠り警報装置。
  9. 前記警報手段(10)は、車両に搭載された他の装置(8)と連携しながらドライバに対し眠気からの覚醒を促す本警報を行う請求項1から8のいずれか一項に記載の居眠り警報装置。
  10. 前記ドライバを識別するドライバ識別手段を備え、前記警報閾値は、ドライバ毎に設定される請求項1から9のいずれか一項に記載の居眠り警報装置。
JP2017244998A 2017-12-21 2017-12-21 居眠り警報装置 Active JP6965727B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017244998A JP6965727B2 (ja) 2017-12-21 2017-12-21 居眠り警報装置
CN201880081905.2A CN111492420B (zh) 2017-12-21 2018-10-17 瞌睡报警装置
PCT/JP2018/038668 WO2019123803A1 (ja) 2017-12-21 2018-10-17 居眠り警報装置
DE112018005980.4T DE112018005980T5 (de) 2017-12-21 2018-10-17 Döswarnvorrichtung
US16/883,803 US11195405B2 (en) 2017-12-21 2020-05-26 Dozing alert apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017244998A JP6965727B2 (ja) 2017-12-21 2017-12-21 居眠り警報装置

Publications (2)

Publication Number Publication Date
JP2019113925A JP2019113925A (ja) 2019-07-11
JP6965727B2 true JP6965727B2 (ja) 2021-11-10

Family

ID=66994047

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017244998A Active JP6965727B2 (ja) 2017-12-21 2017-12-21 居眠り警報装置

Country Status (5)

Country Link
US (1) US11195405B2 (ja)
JP (1) JP6965727B2 (ja)
CN (1) CN111492420B (ja)
DE (1) DE112018005980T5 (ja)
WO (1) WO2019123803A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7484902B2 (ja) * 2019-05-15 2024-05-16 日産自動車株式会社 運転支援方法及び運転支援システム
US12249189B2 (en) 2019-08-12 2025-03-11 Micron Technology, Inc. Predictive maintenance of automotive lighting
US10993647B2 (en) * 2019-08-21 2021-05-04 Micron Technology, Inc. Drowsiness detection for vehicle control
US12210401B2 (en) 2019-09-05 2025-01-28 Micron Technology, Inc. Temperature based optimization of data storage operations
JP7120258B2 (ja) * 2019-10-16 2022-08-17 株式会社デンソー 行動認識装置、及び行動認識方法
JP2021089479A (ja) * 2019-12-02 2021-06-10 株式会社デンソー 意識判定装置、及び意識判定方法
JP2021105981A (ja) * 2019-12-26 2021-07-26 パナソニックIpマネジメント株式会社 運転者監視装置及び運転者監視方法
JP7322745B2 (ja) * 2020-02-19 2023-08-08 いすゞ自動車株式会社 運転支援装置
JP7251524B2 (ja) * 2020-07-01 2023-04-04 トヨタ自動車株式会社 眠気兆候通知システム、眠気兆候通知方法、及び眠気兆候通知プログラム
JP7540319B2 (ja) 2020-12-11 2024-08-27 株式会社デンソー 覚醒装置
CN113034976B (zh) * 2021-03-23 2022-08-09 地平线(上海)人工智能技术有限公司 报警方法和装置、计算机可读存储介质、电子设备
JP2024083848A (ja) * 2022-12-12 2024-06-24 矢崎総業株式会社 眠気検出装置及び眠気検出用のプログラム
WO2024142690A1 (ja) * 2022-12-27 2024-07-04 パナソニックIpマネジメント株式会社 姿勢情報通知方法、姿勢情報通知システム、及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS562227A (en) 1979-06-13 1981-01-10 Nissan Motor Co Ltd Dozing drive alarming device
JP3686465B2 (ja) * 1995-11-06 2005-08-24 本田技研工業株式会社 車両用運転状況監視装置
JP2002183900A (ja) 2000-12-14 2002-06-28 Nissan Motor Co Ltd 居眠り運転警報装置
EP2296008A1 (en) * 2002-02-19 2011-03-16 Volvo Technology Corporation Method for monitoring and managing driver attention loads
JP4910547B2 (ja) * 2006-08-02 2012-04-04 トヨタ自動車株式会社 眠気判定装置及び眠気判定プログラム
JP4400624B2 (ja) * 2007-01-24 2010-01-20 トヨタ自動車株式会社 居眠り防止装置及び方法
JP2008204056A (ja) * 2007-02-19 2008-09-04 Tokai Rika Co Ltd 運転支援装置
JP5056067B2 (ja) 2007-02-26 2012-10-24 株式会社デンソー 居眠り警報装置
CN101763711A (zh) * 2009-11-20 2010-06-30 海安县奇锐电子有限公司 开车防瞌睡装置
DE102015206200A1 (de) * 2015-04-08 2016-10-13 Robert Bosch Gmbh Verfahren und Vorrichtung zur Aufmerksamkeitserkennung eines Fahrzeugführers
JP2016199207A (ja) 2015-04-14 2016-12-01 株式会社東海理化電機製作所 シートベルト警告装置
CN106364487A (zh) * 2016-09-30 2017-02-01 上海沿锋汽车科技股份有限公司 一种用于监测驾驶员清醒状况的装置
CN206370136U (zh) * 2017-01-03 2017-08-01 四川大学 一种防瞌睡报警器

Also Published As

Publication number Publication date
US11195405B2 (en) 2021-12-07
CN111492420B (zh) 2022-08-26
US20200286358A1 (en) 2020-09-10
WO2019123803A1 (ja) 2019-06-27
CN111492420A (zh) 2020-08-04
DE112018005980T5 (de) 2020-07-30
JP2019113925A (ja) 2019-07-11

Similar Documents

Publication Publication Date Title
JP6965727B2 (ja) 居眠り警報装置
US7982618B2 (en) Wakefulness maintaining apparatus and method of maintaining wakefulness
CN108430818B (zh) 用于操作机动车辆的方法,驾驶员辅助系统和机动车辆
JP5155805B2 (ja) 睡眠制御装置
US8823792B2 (en) Wakefulness level estimation apparatus
JP4793085B2 (ja) 車両用居眠り防止装置
JP5842857B2 (ja) 覚醒度改善装置
JP2009213707A (ja) 睡眠装置
WO2020066757A1 (ja) 危険運転防止装置
JP2010020618A (ja) 運転者覚醒装置
JPH07156682A (ja) 覚醒状態検出装置
WO2022124163A1 (ja) 覚醒装置、覚醒刺激制御方法
JP6668999B2 (ja) 運転支援装置
CN114572226B (zh) 基于驾驶员状态的车辆控制方法、装置、车辆及存储介质
JP2021012409A (ja) 車載システム
CN113879319B (zh) 困倦征兆通知系统
JP7613981B2 (ja) 運転支援システム
JP6954503B2 (ja) 運転支援装置、運転支援方法、運転支援プログラム、及び運転支援システム
JP2019012501A (ja) 運転支援装置、運転支援方法、および運転支援プログラム
JP2022099250A (ja) 安全運転支援装置
JP2022179108A (ja) 覚醒支援システム
JP2008230280A (ja) 車載制御装置
WO2023281977A1 (ja) 覚醒維持装置及び覚醒維持方法
JP2021111006A (ja) 車両用監視装置
US12043265B2 (en) Safety drive assist apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210921

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211004

R151 Written notification of patent or utility model registration

Ref document number: 6965727

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250