JP4518083B2

JP4518083B2 - 覚醒維持装置

Info

Publication number: JP4518083B2
Application number: JP2007018255A
Authority: JP
Inventors: 拓寛大見; 史也永井
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2007-01-29
Filing date: 2007-01-29
Publication date: 2010-08-04
Anticipated expiration: 2027-01-29
Also published as: DE102007060696C5; DE102007060696B4; US7982618B2; US20080180257A1; CN101234223A; JP2008186181A; CN101234223B; DE102007060696A1

Description

本発明は、運転中の人間を運転に適した覚醒度に維持するのに好適な覚醒維持装置に関するものである。

従来、人間の覚醒度の低下を抑制する技術が提案されている（例えば、特許文献１及び特許文献２参照。）。このうち、特許文献１に記載の覚醒度維持装置では、先ず、推定された覚醒度を取り込み、覚醒度に相当する反応時間Ｒｔを推定する。続いて、信号出力用のしきい頻度Ｎｓを設定し、反応時間推定値Ｒｅｅｇ（覚醒度）を計算する。そして、この反応時間推定値Ｒｅｅｇが反応時間Ｒｔを越えている場合は、頻度カウンタＮを加算し、頻度カウンタＮの値がしきい頻度Ｎｓを越えたときは覚醒異常と判定し、覚醒低下を意味する覚醒低下信号を出力する。この覚醒低下信号を受けて、車両の運転者に音、振動、香りなどの覚醒効果のある刺激を一定時間、停止信号が来るまで出力する。

また、特許文献２に記載の車両用覚醒維持装置は、ドライバの注意力低下度が規定値以上である場合には１分毎に断続的に香りを呈示し、運転操作の単調度の単位時間当たりの平均が増加している場合には前回の香り呈示から５分間経過しているときに１／ｆゆらぎ間隔で香りを呈示する。
特開平５−９２０３９号公報特開平１１−３１００５３号公報

運転中の人間に対して覚醒効果のある刺激を与える際、人間がその刺激を違和感なく受け入れることができる適切なタイミングであることが重要である。すなわち、運転中の人間が突然刺激を受けることで驚いたり、刺激を煩わしく感じたりするようでは、本来の運転操作に支障を来たす可能性が高くなるからである。

しかしながら、上記特許文献１に記載のものは、単に、頻度カウンタＮの値がしきい頻度Ｎｓを越えるタイミングで覚醒低下信号を出力するものであり、人間が違和感なく刺激を受け入れることができる工夫はなされていない。また、特許文献２に記載のものは呈示方法を工夫することで快適性を確保しようとするものであるが、覚醒度の低下が著しい場合には覚醒度の低下を抑制する効果が充分に得られない問題がある。

また、一般に、推定（検出）される覚醒度は、所定時間内における覚醒度の変動を平均したものである。従って、例えば所定時間の中盤までが低覚醒状態であっても所定時間到達時に覚醒状態に戻っていた場合には、覚醒状態で刺激を受けることになり、煩わしいばかりか、何故刺激を受けたのか把握できない場合も起こり得る。

本発明は、上記の問題を鑑みてなされたもので、人間が違和感なく刺激を受け入れることができる覚醒維持装置を提供することを目的とする。

請求項１に記載の覚醒維持装置は、人間が眠気をもよおす場合に無意識で起こす自発動作であって、前記眠気と関連付けられる前記人間の動作、外観、生体信号、及び前記人間の運転する車両の挙動、の少なくとも１つの事象を検出する事象検出手段と、
眠気の強弱に応じて変化する人間の状態を判定するためのデータを生成し、生成した当該データのうち所定時間内における蓄積データを用いて平均的な眠気レベルを判定する眠気レベル判定手段と、
前記眠気レベルを複数の眠気レベル範囲に分けるための閾値を設定するものであって、その眠気レベル範囲の１つとして、前記事象検出手段が前記事象を検出することを条件に覚醒効果のある刺激を人間に与える条件付刺激提示範囲とするための第１閾値を設定する閾値設定手段と、
前記眠気レベル判定手段の判定した眠気レベルの属する眠気レベル範囲を判断する眠気レベル範囲判断手段と、
前記事象検出手段が前記事象を検出したかどうかを判定する事象判定手段と、
前記眠気レベル範囲判断手段が、眠気レベルの属する眠気レベル範囲が前記条件付刺激提示範囲に属すると判断したときに、覚醒効果のある刺激を人間に与えるための刺激提示制御の実行に向けたスタンバイ状態とし、当該スタンバイ状態において前記事象判定手段が前記事象を検出したと判定すると、その事象を検出したタイミングで前記刺激提示制御を実行する刺激提示制御手段と、を備えることを特徴とする。

このように、本発明は、眠気レベル範囲の１つとして、人間が眠気をもよおす場合に（起こり得る）、その眠気と関連付けられる（眠気に伴う）人間の動作、外観、生体信号（の変化）、車両の挙動（走行環境に応じて起こるべき車両挙動と異なった車両挙動）などの事象を検出することを条件に、覚醒効果のある刺激を人間に与える条件付刺激提示範囲とするための第１閾値を設定しておく。そして、人間の眠気レベルがこの条件付刺激提示範囲に属する場合には、前記事象を検出したタイミングで覚醒効果のある刺激を人間に与えるようにする。

これにより、人間の主観やフィーリングと一致するタイミングで覚醒効果のある刺激を与えるようになるため、突然刺激を受けることで驚いたり、刺激を煩わしく感じたりすることがなくなる。その結果、人間が違和感なく刺激を受け入れることができる。
請求項２に記載の覚醒維持装置は、人間が眠気をもよおす場合に、その眠気と関連付けられる前記人間の動作、外観、生体信号、及び前記人間の運転する車両の挙動、の少なくとも１つの事象を検出する事象検出手段と、
眠気の強弱に応じて変化する人間の状態を判定するためのデータを生成し、生成した当該データに基づき人間の眠気レベルを判定する眠気レベル判定手段と、
前記眠気レベルを複数の眠気レベル範囲に分けるための閾値を設定するものであって、その眠気レベル範囲の１つとして、前記事象検出手段が前記事象を検出することを条件に覚醒効果のある刺激を人間に与える条件付刺激提示範囲とするための第１閾値を設定する閾値設定手段と、
前記眠気レベル判定手段の判定した眠気レベルの属する眠気レベル範囲を判断する眠気レベル範囲判断手段と、
前記事象検出手段が前記事象を検出したかどうかを判定する事象判定手段と、
前記眠気レベル範囲判断手段が前記条件付刺激提示範囲に属すると判断したときに、前記事象判定手段が前記事象を検出したと判定した場合には、その事象を検出したタイミングで覚醒効果のある刺激を人間に与えるための刺激提示制御を実行する刺激提示制御手段と、を備え、
前記閾値設定手段は、前記条件付刺激提示範囲の眠気レベルよりも高い眠気レベル範囲として、前記事象検出手段によって前記事象が不検出である場合でも、覚醒効果のある刺激を人間に与える刺激提示範囲とするための第２閾値を設定し、
前記刺激提示制御手段は、前記眠気レベルが前記条件付刺激提示範囲又は前記刺激提示範囲に属する場合、前回に覚醒効果のある刺激を人間に与えてからの経過時間が、予め設定された不提示時間に達するまでの間、前記刺激提示制御を非実行とし、
前記眠気レベルが前記刺激提示範囲に属する場合の不提示時間として、眠気レベルが上昇傾向である場合に用いる上昇傾向時不提示時間と、眠気レベルが下降傾向である場合に用いる下降傾向時不提示時間とが予め設定され、
前記上昇傾向時不提示時間は、前記下降傾向時不提示時間に比べて短い時間であることを特徴とする。

請求項３に記載のように、閾値設定手段の設定した第１閾値は、条件付刺激提示範囲の眠気レベルよりも低い眠気レベル範囲として、事象検出手段が事象を検出した場合であっても、覚醒効果のある刺激を人間に与えることのない刺激不提示範囲とするための閾値でもあることを特徴とする。

これにより、人間が眠気を主観的に感じにくい刺激不提示範囲に眠気レベルが属する場合には、覚醒効果のある刺激を人間に与えないようにすることができる。その結果、人間が何故刺激を受けたのか認識できない事態を防ぐことができる。

請求項４の記載によれば、閾値設定手段は、条件付刺激提示範囲の眠気レベルよりも高い眠気レベル範囲として、事象検出手段によって事象が不検出である場合でも、覚醒効果のある刺激を人間に与える刺激提示範囲とするための第２閾値を設定することを特徴とする。

こうすることで、人間の眠気レベルが高く、車両を運転する上で危険な状態にある場合には、前記事象が不検出であっても覚醒効果のある刺激を人間に与えることができるようになる。

請求項５の記載によれば、刺激提示制御手段は、眠気レベルが条件付刺激提示範囲又は刺激提示範囲に属する場合、前回に覚醒効果のある刺激を人間に与えてからの経過時間が予め設定された不提示時間に達するまでの間、刺激提示制御を非実行とすることを特徴とする。

これにより、人間の眠気レベルが条件付刺激提示範囲又は刺激提示範囲に継続して属する場合であっても、覚醒効果のある刺激を頻繁に与えることがなくなり、不提示時間毎に刺激を与えることができるようになるため、人間は刺激を煩わしく感じることがなくなる。

請求項６に記載のように、眠気レベルが刺激提示範囲に属する場合の不提示時間として、眠気レベルが上昇傾向である場合に用いる上昇傾向時不提示時間と、眠気レベルが下降傾向である場合に用いる下降傾向時不提示時間とが予め設定され、上昇傾向時不提示時間は、下降傾向時不提示時間に比べて短い時間であることが好ましい。言い換えれば、下降傾向時不提示時間は、上昇傾向時不提示時間に比べて長い時間であることが好ましい。

こうすることで、眠気レベルが上昇傾向にある場合、眠気レベルが下降傾向にある場合に比べて刺激を与える時間間隔が短くなるため、人間を覚醒状態に速やかに戻す効果が期待できる。また、眠気レベルが下降傾向にある場合、眠気レベルが上昇傾向にある場合に比べて刺激を与える時間間隔が長くなるため、既に刺激を受け入れて眠気と葛藤状態にある人間に対して、それ以上の煩わしい刺激を抑制することになり不快感を軽減できる。

請求項６に記載のように、眠気レベルが下降傾向にある場合、その下降度合いを判定する下降度合い判定手段と、
下降度合い判定手段の判定した下降度合いに応じて、下降傾向時不提示時間の時間長を変更する不提示時間変更手段と、を備えることがさらに好ましい。

これにより、下降度合いが急であるほど長い時間、あるいは下降度合いが緩やかであるほど短い時間に下降傾向時不提示時間を変更することが可能となるため、下降度合いに応じて刺激の提示間隔を変更することができるようになる。

請求項８の記載によれば、顔を手で触る動作、並びに意識的な強い瞬きをする動作のうちの少なくともいずれかの癖に伴う人間の動作、及び外観の少なくとも１つの事象を記憶する記憶手段と、前記事象検出手段の検出した事象が前記記憶手段の記憶する事象と一致する事象であるかどうかを判定する癖事象判定手段と、を備えることを特徴とする。

これにより、癖事象判定手段によって判定された事象は癖に伴う事象であり、人間が眠気をもよおした場合の事象ではないため、その事象を検出しても刺激を人間に与えないようにすることができる。

請求項９に記載のように、刺激提示制御手段は、刺激提示制御の実行とともに、人間の運転する車両の外部に対し、人間の眠気レベルを知らせるための制御を実行することが好ましい。人間の眠気レベルを車両の外部に知らせることで、車両の外部では、その知らせに従った対応を講じることが可能となるからである。

請求項１０に記載の覚醒維持装置は、眠気の強弱に応じて変化する人間の状態を判定するためのデータを生成し、生成した当該データに基づき人間の眠気レベルを判定する眠気レベル判定手段と、
眠気レベルが予め設定された閾値を超えた場合に、覚醒効果のある刺激を人間に与えるための刺激提示制御を実行するものであり、前回に覚醒効果のある刺激を人間に与えてからの経過時間が、予め設定された不提示時間に達するまでの間は、刺激提示制御を非実行とする刺激提示制御手段と、を備え、
不提示時間は、眠気レベルが上昇傾向である場合に用いる上昇傾向時不提示時間と、眠気レベルが下降傾向である場合に用いる下降傾向時不提示時間とが設定され、
上昇傾向時不提示時間は、下降傾向時不提示時間に比べて短い時間であることを特徴とする。

このように、本発明では、上昇傾向時不提示時間は下降傾向時不提示時間に比べて短い時間とする。言い換えれば、下降傾向時不提示時間は上昇傾向時不提示時間に比べて長い時間とする。これにより、眠気レベルが上昇傾向にある場合には、眠気レベルが下降傾向にある場合に比べて刺激を与える時間間隔が短くなるため、人間を覚醒状態に速やかに戻す効果が期待できる。また、眠気レベルが下降傾向にある場合、眠気レベルが上昇傾向にある場合に比べて刺激を与える時間間隔が長くなるため、既に刺激を受け入れて眠気と葛藤状態にある人間に対して、それ以上の煩わしい刺激を抑制することになり不快感を軽減できる。その結果、人間が刺激を違和感なく受け入れることができるようになる。

請求項１１に記載のように、眠気レベルが下降傾向にある場合、その下降度合いを判定する下降度合い判定手段と、下降度合いが急であるほど長く、下降度合いが緩やかであるほど短い時間に下降傾向時不提示時間を変更する不提示時間変更手段と、を備えることが好ましい。これにより、眠気レベルが下降傾向にある場合、その下降度合いに応じて刺激の提示間隔を変更することができるようになる。

以下、本発明の覚醒維持装置の実施形態について図面を用いて説明する。図１に車両に搭載された覚醒維持装置の全体構成を示し、図２に覚醒維持装置１のブロック図を示す。カメラ２は、車両のメータパネル付近に配置され、車両を運転する人間（以下、ドライバ）の胸部から上方を撮像範囲に含む。カメラ２は、近赤外光を発するＬＥＤ３によって照射されたドライバの上記撮像範囲の画像を繰り返し撮像する（フレームレートは３０〜６０[fps]程度。）。

画像処理装置（画像処理ＥＣＵ）４は、カメラ２の撮像制御やＬＥＤ３の照明制御を実行するほか、カメラ２で撮像した画像データを入力して、不図示のメモリに一時的に記憶する。画像処理ＥＣＵ４は、カメラ２より撮像された画像データを読み込んで、順次所定の画像認識処理を施すことにより、ドライバの状態のほか、ドライバの動作や外観（以下、適宜、”イベント”と呼ぶ）を判定するための処理データを生成し、他のメモリに記憶する。

制御装置５は、主に、状態判定部５１、イベント判定部５２、タイマー部５３、及び記憶部５４から構成される。状態判定部５１は、画像処理ＥＣＵ４から取得した処理結果に基づき、ドライバの状態（眠気、脇見、酩酊等）を判定する。ドライバの状態のうち、眠気については、眠気の強弱に応じて変化する眠気レベル（眠気が弱いほど低く、眠気が強いほど高いレベルを示す６段階程度の眠気レベル）を判定（推定）する。

この眠気レベルに対しては閾値が設定され、この閾値によって、眠気レベルが複数の眠気レベル範囲に分けられる。本実施形態では、図３に示すように、閾値Ａ（第１閾値）と閾値Ｂ（第２閾値）が設定されることで、刺激不提示範囲（眠気レベル０〜閾値Ａ以下の眠気レベル範囲）、条件付刺激提示範囲（閾値Ａを超え閾値Ｂ以下の眠気レベル範囲）、刺激提示範囲（閾値Ｂを超える眠気レベル範囲）の３つの眠気レベル範囲に分けられる。

この３つの眠気レベル範囲のうち、刺激不提示範囲は眠気と関連付けられるイベントを検出したとイベント判定部５２が判定した場合であっても、覚醒効果のある刺激をドライバに与えることのない眠気レベル範囲である。また、条件付刺激提示範囲はイベントを検出することを条件に覚醒効果のある刺激をドライバ与える眠気レベル範囲である。さらに、刺激提示範囲はイベントを検出しない場合でも覚醒効果のある刺激をドライバに与える眠気レベル範囲である。

刺激不提示範囲は、ドライバが眠気を主観的に感じにくい眠気レベル範囲であるため、この範囲に眠気レベルが属する場合には、覚醒効果のある刺激をドライバに与えないようにする。それによって、ドライバが何故刺激を受けたのか認識できない事態を防ぐことができる。

また、条件付刺激提示範囲は、ドライバが眠気を主観的に感じているか感じ始める状態であるものの、強い眠気ではない眠気レベル範囲であるため、この範囲に眠気レベルが属する場合には、イベントを検出したタイミングで覚醒効果のある刺激をドライバに与える。それによって、ドライバの主観やフィーリングと一致するタイミングで覚醒効果のある刺激がドライバに与えられるようになるため、ドライバが突然刺激を受けることで驚くことがなくなる。

また、刺激提示範囲は、強い眠気と推定される眠気レベル範囲であり、車両を運転する上で危険な状態にあるため、イベントが不検出であっても覚醒効果のある刺激をドライバに与える。これによって、眠気レベルを下降させることができるようになる。

図３において、眠気レベルが条件付刺激提示範囲又は刺激提示範囲に属する場合には、前回に覚醒効果のある刺激をドライバに与えてからの経過時間が不提示時間ＮＷＴＡ、ＮＷＴＢｕｐ、ＮＷＴＢｄｗに達するまでの間、刺激の提示を見送る（不実行）にする。以下、不提示時間ＮＷＴＡ、ＮＷＴＢｕｐ、ＮＷＴＢｄｗについて、図３を用いて時系列的に説明する。

不提示時間ＮＷＴＡは、条件付き刺激提示範囲に眠気レベルが属する場合に用いるものであり、時間Ｔ２においてイベントｉａが発生したタイミングで刺激を与えた後、不提示時間ＮＷＴＡ経過するまでの間は、刺激を与えないようにする。従って、時間Ｔ３においてイベントｉｂが発生していても、前回に刺激を与えてから不提示時間ＮＷＴＡが経過していないので、イベントｉｂのタイミングでは刺激は与えられず、不提示時間ＮＷＴＡ経過以降の時間Ｔ４においてイベントｉｃが発生したタイミングで刺激が与えられるようになる。なお、時間Ｔ１においては眠気レベルが閾値Ａに到達したもののイベントが発生していないので、刺激の提示は実行されない。

不提示時間ＮＷＴＢｕｐは、刺激提示範囲に眠気レベルが属し、さらに、眠気レベルが上昇傾向（上昇トレンド）である場合に用いるもので、時間Ｔ５において刺激を与えた後も上昇トレンドであるので、不提示時間ＮＷＴＢｕｐ経過するまでの間は、刺激を与えないようにする。

不提示時間ＮＷＴＢｄｗは、刺激提示範囲に眠気レベルが属し、さらに、眠気レベルが下降傾向（下降トレンド）である場合に用いるもので、時間Ｔ６において刺激を与えた後、眠気レベルが下降トレンドに変化したため、不提示時間ＮＷＴＢｄｗ経過するまでの間は、刺激を与えないようにする。従って、時間Ｔ７において不提示時間ＮＷＴＢｄｗ経過すると、刺激が与えられるようになる。また、下降トレンドにあっても、その度合い、すなわち急激に眠気が覚醒に改善されている場合と、緩やかに改善されている場合でＮＷＴＢｄｗの時間（幅）をさらに細かく設定するようにしても良い。

なお、不提示時間ＮＷＴＡ、ＮＷＴＢｕｐ、ＮＷＴＢｄｗは、ユーザであるドライバが任意に設定変更可能であるとよい。また、不提示時間ＮＷＴＢｕｐは、不提示時間ＮＷＴＢｄｗに比べて短い時間（幅）であることが好ましい。言い換えれば、不提示時間ＮＷＴＢｄｗは、不提示時間ＮＷＴＢｕｐに比べて長い時間（幅）であることが好ましい。

こうすることで、眠気レベルが上昇トレンドにある場合、眠気レベルが下降トレンドにある場合に比べて刺激を与える時間間隔が短くなるため、ドライバを覚醒状態に速やかに戻す効果が期待できる。また、眠気レベルが下降傾向にある場合、眠気レベルが上昇傾向にある場合に比べて刺激を与える時間間隔が長くなるため、既に刺激を受け入れて眠気と葛藤状態にあるドライバに対して、それ以上の煩わしい刺激を抑制することになり不快感を軽減できる。

このように、前回に刺激を与えてからの経過時間が不提示時間ＮＷＴＡ、ＮＷＴＢｕｐ、ＮＷＴＢｄｗに達するまでの間、刺激の提示を非実行とすることで、ドライバの眠気レベルが条件付刺激提示範囲又は刺激提示範囲に継続して属する場合であっても、覚醒効果のある刺激を頻繁に与えることがなくなり、不提示時間毎に刺激を与えることができるようになるため、ドライバは刺激を煩わしく感じることがなくなる。

イベント判定部５２は、画像処理ＥＣＵ４から処理データを取得して、その処理データからイベントを特定するとともに、その特定したイベントが眠気と関連付けられるイベントであるかどうか、すなわち、眠気と関連付けられるイベントを検出したかどうかを判定する。ここで、眠気と関連付けられるイベントのデータは記憶部５４に記憶されており、具体的な一例として、図８に示す１〜５の項目がそれに当たる。

図８に示す各項目の中には、ドライバの癖と同じイベントも含まれるので、癖と同じイベントの項目については、癖と同じでない項目と識別できるように識別情報を予め付加しておく。そして、イベント判定部５２では、眠気と関連付けられるイベントがドライバの癖と一致するイベントであるかどうかについても判定する。これにより、癖と同じ（一致する）イベントは、ドライバが眠気をもよおした場合のイベントではないため、癖に伴うイベントを検出してもドライバに刺激を与えないようにすることができる。

タイマー５３は、前回に刺激を与えてからの経過時間をカウントする。刺激出力装置６は、スピーカ６１、シート振動発生装置６２、空調装置６３などから構成され、何れもドライバに覚醒効果のある刺激を与えるために用いられる。スピーカ６１は、制御装置５からの制御信号を受けて警報や音声を発生し、シート振動発生装置６２は、上記制御信号を受けてドライバの着座するシートを振動させる。また、空調装置６３は、制御装置５からの制御信号を受けて車室内の温度を低下したり、風量を調整したりする。

以上のように構成される覚醒維持装置１は、図３のように眠気レベルが推移するとき、以下に説明するタイミングで刺激としての警報をドライバに与える。なお、眠気レベルは、上述したように、眠気の強弱に応じて変化するものであり、覚醒状態を示す眠気レベル０からレベルの数字が増えるに従い眠気が増し、眠気レベル５は居眠り状態を意味する。閾値Ａ、閾値Ｂは予め設定されており、閾値Ａで注意を喚起すべき要注意状態になる。図３のケースでは、時間Ｔ１で閾値Ａを超えるが、このレベルではドライバは通常、眠気を明確には自覚していない。従って、このタイミングで覚醒維持装置１が警報等を発するとドライバは何に対する警報だったのか理解できず戸惑うことになるので、警報は発生させない。

眠気レベルが閾値Ａを超過すると、覚醒維持装置１は警報に向けたスタンバイ状態となり、イベントｉａが発生すると（時間Ｔ２）、そのタイミングで即座に警報を吹鳴させる。この時点での警報は、ドライバがイベントｉａを生じた直後であるため、ドライバは警報の意味を容易に察することができ覚醒しようと葛藤することに繋がる。ここで繰り返しになるが、イベントとは、図８に示したように欠伸（あくび）や長い閉眼、ウトウトと首を垂れる（首の筋肉の弛緩）等、ドライバが無意識で起こす自発動作であり、自ら眠気と葛藤するために行う覚醒動作とは異なる。

続いて、時間Ｔ３で再度イベントｉｂが発生するが、この場合は不提示時間ＮＷＴＡが経過する前のイベントであり、毎回警報するのは煩わしいため警報は発生させない。時間Ｔ４では不提示時間ＮＴＷＡを経過しているため警報を発生させる。時間Ｔ５ではイベントは発生していないが、危険な眠気レベルである閾値Ｂを超過したため、イベント有無に関わらず警報を発する。このときに発生させる警報は、閾値Ａを超えたときと同じ警報でも良いが、音量、音の周波数等を変えるとより効果的である。また、警報は音響に限定するものではなく、香り、振動、風など他の手段を用いて発生させてもよい。

時間Ｔ６では、時間Ｔ５と同様にイベントは発生していないが、眠気レベルは上昇トレンドにあるため、不提示時間ＮＷＴＢｕｐを超過した時点で警報を発生させる。時間Ｔ６を過ぎると眠気レベルが下降トレンドとなるので、この場合には不提示時間ＮＷＴＢｕｐ経過後ではなく、不提示時間ＮＷＴＢｄｗを越えた時間Ｔ７で警報を発生させる。なお、不提示時間ＮＷＴＢｄｗは、上昇トレンドから下降トレンドに傾向が転じた時点からカウントを開始する。時間Ｔ８では、不提示時間ＮＷＴＡを経過しており、かつイベントｉｄも発生しているが、眠気レベルが閾値Ａを下回っているため警報しない。

次に、覚醒維持装置１の動作について、図４乃至図７のフローチャートを用いて説明する。なお、人間が眠りに至る経緯は、人間が徐々に眠くなっていくパターン（平均眠気と呼ぶ）が一般的であるが、人間は突然眠くなるパターン（瞬時眠気と呼ぶ）もある。そこで、覚醒維持装置１では、瞬時眠気に対応した処理（瞬時眠気処理）と平均眠気に対応した処理（平均眠気処理）を同時に繰り返し行うことで、何れのパターンにも対応可能としている。

図４は、画像認識処理のフローチャートであり繰り返し実行する。図４に示すステップＳ１１では、画像データを取得し、ステップＳ１２では、画像認識処理を実行する。ステップＳ１３では、処理データをメモリに記憶する。

図７は、瞬時眠気処理のフローチャートであり、図５及び図６の平均眠気処理とは独立して常時行う。ステップＳ２１ではメモリに記憶された処理データを取得し、ステップＳ２２にて瞬時眠気が有るかどうかを判断する。瞬時眠気は、急速に眠気レベルが高くなるように変化するので、その変化の度合いから判断する。このステップＳ２２にて肯定判断した場合にはステップＳ２３にて刺激としての警報を発生させる。すなわち、瞬時眠気を検出した場合は、それがイベント以上の危険な状態に相当するので、即座に警報する。一方、否定判断した場合には、ステップＳ２１へ処理を移行し、上述した処理を繰り返す。

図５は、本実施形態の特徴部分のフローチャートである。先ずステップＳ３１ではタイマーカウントをスタートさせ、ステップＳ３２では処理データを取得する。ステップＳ３３では眠気レベルを判定（推定）する。眠気レベル判定は過去３０秒から６０秒間の蓄積データを用いてその時間内における平均的（潜在的）な眠気レベルを移動平均を取りながら常にリフレッシュして判定するものである。ステップＳ３４では眠気レベルが閾値Ａを超えているかどうかを判断する。このステップＳ３４にて肯定判断した場合にはステップＳ３５に進み、否定判断した場合には本処理を終了し、同様の処理を繰り返す。

ステップＳ３５では、眠気レベルが閾値Ｂを超えているかどうかを判断する。このステップＳ３５にて肯定判断した場合にはステップＳ４１に進み、否定判断した場合にはステップＳ３６に進む。ステップＳ３６では直近の数フレーム〜数百フレームの画像データからイベントを検出し、ステップＳ３７ではイベント発生が有るかどうかを判定する。ここで、肯定判定した場合にはステップＳ３８へ処理を進め、否定判定した場合には本処理を終了し、同様の処理を繰り返す。

ステップＳ３８では、タイマーカウントが不提示時間ＮＷＴＡを超過しているかどうか判断する。ここで、肯定判断した場合にはステップＳ３９にて警報を発生させ、否定判断した場合には本処理を終了し、同様の処理を繰り返す。ステップＳ４０では警報発生後、タイマーをリセットするとともにカウントをスタートする。

図７に示すステップＳ４１では、眠気レベルが上昇トレンドであるかどうか判断する。上昇／下降トレンドは各フレーム毎に比較すると上昇と下降が頻繁に入れ替わる場合があるため、数秒〜数十秒の平均的な値を用いるのが良い。ここで肯定判断される場合にはステップＳ４２に進み、否定判断される場合にはステップＳ４５へ処理を進める。ステップＳ４２では、タイマーカウントが不提示時間ＮＷＴＢｕｐを超過しているかどうか判断する。ここで、肯定判断した場合にはステップＳ４３にて警報を発生し、ステップＳ４４では警報発生後、タイマーをリセットするとともにカウントをスタートする。一方、否定判断した場合には本処理を終了し、同様の処理を繰り返す。

ステップＳ４５では、タイマーカウントが不提示時間ＮＷＴＢｄｗを超過しているかどうか判断する。ここで、肯定判断した場合にはステップＳ４６にて警報を発生し、ステップＳ４７では警報発生後、タイマーをリセットするとともにカウントをスタートする。一方、否定判断した場合には本処理を終了し、同様の処理を繰り返す。

このように、覚醒維持装置１は、ドライバが眠気をもよおす場合に（起こり得る）、その眠気と関連付けられる（眠気に伴う）ドライバの動作、外観などの事象（イベント）を検出することを条件に、覚醒効果のある刺激をドライバに与える条件付刺激提示範囲とするための閾値Ａ（第１閾値）を設定しておき、ドライバの眠気レベルがこの条件付刺激提示範囲に属する場合には、イベントを検出したタイミングで覚醒効果のある刺激をドライバに与える。

これにより、ドライバの主観やフィーリングと一致するタイミングで覚醒効果のある刺激を与えるようになるため、突然刺激を受けることで驚いたり、刺激を煩わしく感じたりすることがなくなる。その結果、ドライバが違和感なく刺激を受け入れることができる。

以上、本発明の好ましい実施形態について説明したが、本発明は上述した実施形態に何ら制限されることなく、本発明の主旨を逸脱しない範囲において、種々変形して実施することができる。

（変形例１）
例えば、本実施形態では、眠気レベルが下降トレンドである場合の不提示時間ＮＷＴＢｄｗを一定の時間（幅）にしているが、下降トレンドの度合い（下降度合い）を判定して、下降度合いに応じて不提示時間ＮＷＴＢｄｗの時間（幅）を変更するようにしてもよい。図９は、下降トレンドが急であるほど不提示時間ＮＷＴＢｄｗを長く、下降トレンドが緩やかであるほど不提示時間ＮＷＴＢｄｗを短い時間（幅）に変更した場合の一例を示している。

図９に示すように、下降度合いが急であるときの不提示時間ＮＷＴＢｄｗ１と、下降度合いが緩やかであるときの不提示時間ＮＷＴＢｄｗ２とは、ＮＷＴＢｄｗ１＞ＮＷＴＢｄｗ２となるようにその時間（幅）が変更されるので、下降度合いに応じて刺激の提示間隔を変更することができるようになる。

（変形例２）
例えば、本実施形態では、イベントとしてドライバの動作や外観を検出しているが、心拍数や脈拍等の生体信号（の変化）、車両の挙動（走行環境に応じて起こるべき車両挙動と異なった車両挙動）等をイベントして検出するようにしてもよい。例えば、ドライバの座席に圧力センサを設け、ドライバの座り直しのイベントを圧力センサの圧力分布の変化から検出してもよい。また、車両の挙動としては、走行車線の形状に沿ったステアリング操作をしていない場合には、それをイベントして検出したり、追い越し禁止の走行車線にて障害物を回避するためでなく、単に、追い越し車線に逸脱する場合にも、それをイベントとして検出したりしてもよい。

（変形例３）
また、例えば、制御装置５は、ドライバに刺激としての警報を発生するとともに、ドライバの運転する車両の外部に対し、ドライバの眠気レベルを知らせるための制御を実行するようにしてもよい。ドライバの眠気レベルを車両の外部に知らせることで、車両の外部では、その知らせに従った対応を講じることが可能となるからである。例えば、タクシーやバスの運行を管理する運行管理センターに通知することで、運行管理者からドライバに連絡することが可能となる。また、周囲の他車両に無線通信を利用して通知したり、自車両のハザードランプやヘッドランプ等を点灯させたりすることで、他車両のドライバに知らせることが可能となる。また、所定の場所（自宅）やドライバの家族、友人、知人等の電話番号に自動的に通知するようにしてもよい。

（変形例４）
また、タイミングを見計らって警報する本実施形態の覚醒維持装置１は、ドライバの運転タスクが忙しいときには避けたほうが良い場合がある。周囲環境から安全を確認するシステムと連携して、周囲が安全でない状況では、いきなり大きな警報でびっくりすることが無いように、刺激としての警報をフェードインさせるとより効果的である。

本発明の実施形態に係わる、覚醒維持装置の全体構成を示した図である。覚醒維持装置１の構成を示したブロック図である。眠気レベル、閾値Ａ、閾値Ｂ、不提示時間ＮＷＴＡ、ＮＷＴＢｕｐ、ＮＷＴＢｄｗ、上昇トレンド、下降トレンド、イベントｉａ、ｉｂ、を説明するための図である。画像認識処理のフローチャートである。平均眠気処理のフローチャートである。平均眠気処理のフローチャートである。瞬時眠気処理のフローチャートである。眠気をもよおした場合のドライバの動作や外観（イベント）とドライバの癖とを示した図である。本実施形態の変形例１に係わる、下降度合いに応じて不提示時間ＮＷＴＢｄｗの時間を変更する一例を示した図である。

符号の説明

１覚醒維持装置
２カメラ
３ＬＥＤ
４画像処理装置（画像処理ＥＣＵ）
５制御装置
５１判定部
５２イベント判定部
５３タイマー部
５４記憶部
６刺激出力装置

Claims

人間が眠気をもよおす場合に無意識で起こす自発動作であって、前記眠気と関連付けられる前記人間の動作、外観、生体信号、及び前記人間の運転する車両の挙動、の少なくとも１つの事象を検出する事象検出手段と、
眠気の強弱に応じて変化する人間の状態を判定するためのデータを生成し、生成した当該データのうち所定時間内における蓄積データを用いて平均的な眠気レベルを判定する眠気レベル判定手段と、
前記眠気レベルを複数の眠気レベル範囲に分けるための閾値を設定するものであって、その眠気レベル範囲の１つとして、前記事象検出手段が前記事象を検出することを条件に覚醒効果のある刺激を人間に与える条件付刺激提示範囲とするための第１閾値を設定する閾値設定手段と、
前記眠気レベル判定手段の判定した眠気レベルの属する眠気レベル範囲を判断する眠気レベル範囲判断手段と、
前記事象検出手段が前記事象を検出したかどうかを判定する事象判定手段と、
前記眠気レベル範囲判断手段が、眠気レベルの属する眠気レベル範囲が前記条件付刺激提示範囲に属すると判断したときに、覚醒効果のある刺激を人間に与えるための刺激提示制御の実行に向けたスタンバイ状態とし、当該スタンバイ状態において前記事象判定手段が前記事象を検出したと判定すると、その事象を検出したタイミングで前記刺激提示制御を実行する刺激提示制御手段と、を備えることを特徴とする覚醒維持装置。
人間が眠気をもよおす場合に、その眠気と関連付けられる前記人間の動作、外観、生体信号、及び前記人間の運転する車両の挙動、の少なくとも１つの事象を検出する事象検出手段と、
眠気の強弱に応じて変化する人間の状態を判定するためのデータを生成し、生成した当該データに基づき人間の眠気レベルを判定する眠気レベル判定手段と、
前記眠気レベルを複数の眠気レベル範囲に分けるための閾値を設定するものであって、その眠気レベル範囲の１つとして、前記事象検出手段が前記事象を検出することを条件に覚醒効果のある刺激を人間に与える条件付刺激提示範囲とするための第１閾値を設定する閾値設定手段と、
前記眠気レベル判定手段の判定した眠気レベルの属する眠気レベル範囲を判断する眠気レベル範囲判断手段と、
前記事象検出手段が前記事象を検出したかどうかを判定する事象判定手段と、
前記眠気レベル範囲判断手段が前記条件付刺激提示範囲に属すると判断したときに、前記事象判定手段が前記事象を検出したと判定した場合には、その事象を検出したタイミングで覚醒効果のある刺激を人間に与えるための刺激提示制御を実行する刺激提示制御手段と、を備え、
前記閾値設定手段は、前記条件付刺激提示範囲の眠気レベルよりも高い眠気レベル範囲として、前記事象検出手段によって前記事象が不検出である場合でも、覚醒効果のある刺激を人間に与える刺激提示範囲とするための第２閾値を設定し、
前記刺激提示制御手段は、前記眠気レベルが前記条件付刺激提示範囲又は前記刺激提示範囲に属する場合、前回に覚醒効果のある刺激を人間に与えてからの経過時間が、予め設定された不提示時間に達するまでの間、前記刺激提示制御を非実行とし、
前記眠気レベルが前記刺激提示範囲に属する場合の不提示時間として、眠気レベルが上昇傾向である場合に用いる上昇傾向時不提示時間と、眠気レベルが下降傾向である場合に用いる下降傾向時不提示時間とが予め設定され、
前記上昇傾向時不提示時間は、前記下降傾向時不提示時間に比べて短い時間であることを特徴とする覚醒維持装置。
前記閾値設定手段の設定した第１閾値は、前記条件付刺激提示範囲の眠気レベルよりも低い眠気レベル範囲として、前記事象検出手段が前記事象を検出した場合であっても、覚醒効果のある刺激を人間に与えることのない刺激不提示範囲とするための閾値であることを特徴とする請求項１又は２記載の覚醒維持装置。
前記閾値設定手段は、前記条件付刺激提示範囲の眠気レベルよりも高い眠気レベル範囲として、前記事象検出手段によって前記事象が不検出である場合でも、覚醒効果のある刺激を人間に与える刺激提示範囲とするための第２閾値を設定することを特徴とする請求項１記載の覚醒維持装置。
前記刺激提示制御手段は、前記眠気レベルが前記条件付刺激提示範囲又は前記刺激提示範囲に属する場合、前回に覚醒効果のある刺激を人間に与えてからの経過時間が、予め設定された不提示時間に達するまでの間、前記刺激提示制御を非実行とすることを特徴とする請求項１又は３記載の覚醒維持装置。
前記眠気レベルが前記刺激提示範囲に属する場合の不提示時間として、眠気レベルが上昇傾向である場合に用いる上昇傾向時不提示時間と、眠気レベルが下降傾向である場合に用いる下降傾向時不提示時間とが予め設定され、
前記上昇傾向時不提示時間は、前記下降傾向時不提示時間に比べて短い時間であることを特徴とする請求項５記載の覚醒維持装置。
前記眠気レベルが下降傾向にある場合、その下降度合いを判定する下降度合い判定手段と、
前記下降度合い判定手段の判定した下降度合いに応じて、前記下降傾向時不提示時間の時間長を変更する不提示時間変更手段と、を備えることを特徴とする請求項２又は６記載の覚醒維持装置。
顔を手で触る動作、並びに意識的な強い瞬きをする動作のうちの少なくともいずれかの癖に伴う人間の動作、及び外観の少なくとも１つの事象を記憶する記憶手段と、
前記事象検出手段の検出した事象が前記記憶手段の記憶する事象と一致する事象であるかどうかを判定する癖事象判定手段と、を備えることを特徴とする請求項１〜７の何れか１項に記載の覚醒維持装置。
前記刺激提示制御手段は、前記刺激提示制御の実行とともに、前記人間の運転する車両の外部に対し、前記人間の眠気レベルを知らせるための制御を実行することを特徴とする請求項１〜８の何れか１項に記載の覚醒維持装置。
眠気の強弱に応じて変化する人間の状態を判定するためのデータを生成し、生成した当該データに基づき人間の眠気レベルを判定する眠気レベル判定手段と、
前記眠気レベルが予め設定された閾値を超えた場合に、覚醒効果のある刺激を人間に与えるための刺激提示制御を実行するものであり、前回に覚醒効果のある刺激を人間に与えてからの経過時間が、予め設定された不提示時間に達するまでの間は、前記刺激提示制御を非実行とする刺激提示制御手段と、を備え、
前記不提示時間は、眠気レベルが上昇傾向である場合に用いる上昇傾向時不提示時間と、眠気レベルが下降傾向である場合に用いる下降傾向時不提示時間とが設定され、
前記上昇傾向時不提示時間は、前記下降傾向時不提示時間に比べて短い時間であることを特徴とする覚醒維持装置。
前記眠気レベルが下降傾向にある場合、その下降度合いを判定する下降度合い判定手段と、
前記下降度合いが急であるほど長く、前記下降度合いが緩やかであるほど短い時間に下降傾向時不提示時間を変更する不提示時間変更手段と、を備えることを特徴とする請求項１０記載の覚醒維持装置。