JP2009028239A - 居眠り運転検出装置 - Google Patents

Abstract

【課題】運転者の覚醒度のレベルを精度良く検出できる居眠り運転検出装置を提供することを課題とする。
【解決手段】心電信号検出装置２０６で検出された心拍相当信号と、画像処理回路２０２で検出された運転者の眼の開閉状態に基づいて閉眼率算出回路２０３で予め設定された所定時間毎に算出された閉眼率と、閉眼率算出回路２０３で算出された閉眼率が予め設定された所定値以下の場合に、心拍相当信号の判定基準値学習回路２０８の学習で得られた心拍相当信号の判定基準値とに基づいて、覚醒度レベル推定回路２０９で運転者の覚醒度レベルを推定して構成される。
【選択図】図１

Description

本発明は、運転者の肉体的な複数のデータを総合して居眠り運転状態を検出する居眠り運転検出装置に関する。

従来、居眠り状態を検出判定する技術としては、例えば以下に示す文献に記載されたものが知られている（特許文献１参照）。

文献１には、所定時間以上の瞬きの時間を一定時間毎に積算して得られた瞬き時間が所定値を超えたか否かを判定し、この判定結果に基づいて、危険度に応じた居眠り状態を検出する技術が記載されている。
特開平６−２１９１８１号公報

しかしながら、上記文献１で採用された技術では、システムの実用性を考慮して、フォトダイオードの反射光や画像認識等の非接触で眼の開閉を検出するようにした場合には、スピードメーターやナビゲーションシステムの画面など下方を見た時でも誤認識されるおそれがある遅い瞬きが発生するので、検出精度が悪化するという問題があった。

そこで、本発明は、上記に鑑みてなされたものであり、その目的とするところは、運転者の覚醒度のレベルを精度良く検出できる居眠り運転検出装置を提供することにある。

上記目的を達成するために、本発明の課題を解決する手段は、運転者の心拍に相当する心拍相当信号を検出する心拍相当信号検出手段と、運転者の眼の開閉状態を検出する眼の開閉検出手段と、前記眼の開閉検出手段により検出された眼の開閉状態に基づいて、予め設定された所定時間毎に閉眼率を算出する閉眼率算出手段と、前記閉眼率算出手段により算出された閉眼率が予め設定された所定値以下の場合に、前記心拍相当信号検出手段により検出された心拍相当信号の判定基準値を学習する心拍相当信号判定基準値学習手段と、前記心拍相当信号検出手段により検出された心拍相当信号と、前記心拍相当信号判定基準値学習手段の学習で得られた判定基準値と、前記閉眼率算出手段により算出された閉眼率とに基づいて、運転者の覚醒度レベルを推定する覚醒度レベル推定手段とを有することを特徴とする。

本発明によれば、運転者の覚醒度のレベルを精度良く検出することが可能となる。

以下、図面を用いて本発明を実施するための最良の実施例を説明する。

図１は本発明に係る居眠り運転検出装置、及びこの居眠り運転検出装置を利用した居眠り運転防止装置の構成要件を示す図である。図１において、居眠り運転検出装置は、運転者の心拍相当信号を検出する心拍相当信号検出手段１０１と、運転者の眼の開閉を検出する眼の開閉検出手段１０２と、眼の開閉検出手段１０２により検出した眼の開閉状態に基づいて所定時間毎に閉眼率を算出する閉眼率算出手段１０３と、閉眼率算出手段１０３により算出された閉眼率が所定値以下の場合に、心拍相当信号の判定基準値を学習する心拍相当信号判定基準値学習手段１０４と、心拍相当信号検出手段１０１により検出された心拍相当信号と、閉眼率算出手段１０３により算出された閉眼率との関係に基づいて運転者の覚醒度レベルを推定する覚醒度レベル推定手段１０５とを備えて構成されている。

このような構成を採用することで、運転者の眼の開閉データと心拍データを統合させて運転者の居眠り状態を検出して判定することで、運転者が眠気に抗している葛藤状態を精度良く検出することが可能となり、運転動作に支障をきたす程度の居眠り状態と的確に区別することができる。

また、居眠り運転防止装置は、上記居眠り運転検出装置に加えて、居眠り運転検出装置の覚醒度レベル推定手段１０５により推定された覚醒度レベルに応じて運転者にウォームアップ効果を与えて運転者の覚醒を促進させる覚醒促進手段１０６と、この覚醒促進手段１０６を作動制御する制御手段１０７を備えて構成される。

このような構成を採用することで、居眠り運転検出装置で検出された覚醒度レベルに応じて運転者に呈示する覚醒刺激を変化させ、運転者の覚醒を効果的に促進させて居眠り運転を防止することができる。

図２は図１に示す本発明の構成要件の実施例１に係る居眠り運転検出装置と、この装置を利用した居眠り運転防止装置のシステム構成を示す図である。

図２において、眼の開閉検出手段１０２として機能する運転者の顔画像を撮影するＴＶカメラ（撮像手段）２０１、ならびにこのＴＶカメラ２０１で撮像された画像を従来公知の画像処理技術を用いて処理し眼の開閉を検出する画像処理回路２０２と、閉眼率算出手段１０３として機能する閉眼率算出回路２０３と、心拍相当信号検出手段１０１として機能するステアリング上に設置されたプラス極２０４、マイナス極２０５、プラス極２０４ならびにマイナス極２０５から与えられる心電信号を検出する心電信号検出装置２０６、ならびに心電信号検出装置２０６で検出された心電信号に基づいて拍動間隔を算出する拍動間隔算出回路２０７と、閉眼率算出回路２０３で算出された閉眼率と、拍動間隔算出回路２０７で算出された拍動間隔とに基づいて、心拍信号の判定基準値を学習する心拍相当信号判定基準値学習手段１０４として機能する心拍信号の判定基準値学習回路２０８と、覚醒度レベル推定手段１０５として機能する覚醒度レベル推定回路２０９と、この覚醒度レベル推定回路２０９の推定結果を受けて作動する制御手段１０７として機能する制御装置２１０と、この制御装置２１０の制御の下に作動制御され覚醒促進手段１０６として機能する、運転者に振動刺激を与えるシートバイブレーター２１１、警報音を発する警報装置２１２、電動シートベルト２１３、ハザードランプ２１４、オートエアコン２１５、設定された香りを車内に送出する香り発生装置２１６、所定量の酸素を付加した空気を車内に供給する高濃度酸素付加空気供給装置２１７、ならびにカーオーディオシステム２１８とを備えて構成されている。

眼の開閉検出手段１０２は、画像処理技術を用いる方法の他に、シンプルな構成で眼の開閉が検出できる光センサを用いるものがある。この方法は、例えば特開昭６３−２５８２２６号公報に記載された技術を用いて、図３（ａ）の３０１に示すように眼鏡のフレーム下部などに取り付け、同図（ｂ）に示すように発光ダイオード３０２で眼に近赤外光を照射し、上瞼と眼球部の反射率の差をフォトダイオード３０３で電流値の差として検出し、検出した差を増幅器３０４で増幅した後コンパレータ３０５で所定の電圧と比較し、その比較結果に基づいて眼の開閉状態を検出する。

閉眼率算出回路２０３は、画像処理技術を用いる方法と同様に、所定時間当たりの閉眼率を算出する。

心拍相当信号の検出は、この実施例のステアリングに設置したプラス極２０４ならびにマイナス極２０５の電極で収集された生体信号を用いる方法の他に、胸部に電極を装着するタイプでも行える。近年、スポーツ科学用に開発された胸ベルトタイプの心拍計がある。本心拍計は、電極と検出した信号を送信する送信部がコンパクトにまとめられ、体から少し離れた場所に設置した受信部で検出信号を受けることで、比較的簡単に胸部付近から心拍信号を検出することができる。

次に、図４のフローチャートを参照して、上記構成における閉眼率を用いた心拍相当信号の判定基準値の学習方法の処理の流れを説明する。この処理内容は、図５に示すように、閉眼率が小さいことを、運転者が覚醒度低下状態にないことの保証として、運転者が適度な緊張状態にある時の心拍数とする方法を具体的に示すものである。

図４に戻って まず、基準心拍数を学習する所定時間が経過したか否かを判定する（ステップＳ４０１）。この所定時間は、運転開始後に運転者の正常状態における心拍数の基準値を学習するのに十分な時間であり、通常３０分程度とすることが適切である。

次に、本システムの起動直後であれば、当然、所定時間は経過していないと判定されるため、続いて基準心拍数の更新が所定回数行われたか否かを判定する（ステップＳ４０２）。この判定処理においても、システムの起動直後であれば、所定回数行われていることはないので、続いて区間Ａの所定時間を計測しながら、区間Ａでの閉眼率を算出し（ステップＳ４０３）、同じく区間Ａでの瞬時心拍数の代表値の算出を行う（ステップＳ４０４）。区間Ａの所定時間が経過したか否かを判定し（ステップＳ４０５）、所定時間が経過するまで上記処理を繰り返し行う。

ステップＳ４０３で行われる閉眼率算出の処理内容を、画像処理技術を用いた例で具体的に説明する。図６に示す濃淡の２次元データとして得られる眼の特徴量、例えば縦幅の大小で開閉眼を検出し、開→閉、閉→開の時間間隔を求めることで１回当たりの閉眼時間を算出する。この閉眼時間で瞬き時間に相当する一定時間以下、例えば０．１５秒程度以下のものを対象外とし、区間Ａの所定時間に積算する。

ここでの閉眼時間の積算を対象外とするのは、瞬きの発生頻度は個人差が大きく、覚醒度が低下する過程においても、瞬きが増えるタイプの人と、減るタイプの人が存在するからである。しかし、遅い瞬き（例えば０．１５秒程度を超えるもの）の発生は、覚醒度の低下との相関が高く、その発生頻度の個人差も小さいことが分かっている。よって、このようにして区間Ａにおける閉眼率を算出する。

なお、画像処理における開閉眼検出を行う前段階の眼の位置検出処理は、特開平１０−１４３６６９号公報に記載された技術を用いることができるので、本実施例での説明は省略する。

次に、先のステップＳ４０４における瞬時心拍数の代表値算出の処理内容を、具体的に説明する。通常、心拍数は１分間の拍動数を基準として、その多い、少ないが判断されるが、心電信号として拍動を計測する場合には、例えば図７（ａ）に示すような心電信号で最も捕らえ易いＲ波７０１でもノイズなどの影響でＲ波が乱れた場合には、乱れたＲ波７０２のピーク点が捕らえられず、正確に心拍数をカウントできないことがある。

また、図７（ｂ）、（ｃ）に示すような不整脈がある運転者である場合には、正常時の基準心拍数を学習する上でのノイズとなる。よって、図８に示すように６０秒を心拍間隔ＲＲｉ（秒）で除し、瞬時心拍数に置き換える。このような処理において、図７（ａ）に示すような心電信号の欠落により広がった間隔ＲＲＩ３や、不整脈で不規則になったＲＲＩは、図８のＮＯ．４、７、９に示すように、その前後のデータと比べて大きく異なるので、所定時間（区間Ａ）の瞬時心拍数の代表値を決定する際に容易に対象外とすることができる。

具体的に説明すると、心臓病などがある人を除けば、イレギュラーの瞬時心拍数は、発生した時の値は大きく異なるが、発生頻度は少ないため、全瞬時心拍数の平均値よりメジアン値を用いた方が正確な基準心拍数を学習することができる。このようにして、先の図４のステップＳ４０３、Ｓ４０４、Ｓ４０５に示す処理を通して区間Ａの閉眼率と、瞬時心拍数の代表値を算出する。

図４に戻って、区間Ａの所定時間が経過した後、区間Ａの閉眼率が所定値ａ未満であるか否かを判定する（ステップＳ４０６）。この所定値ａは、運転者の覚醒度の低下がない場合は、閉眼率は常に小さい状態である関係から決められており、図５に示すように閉眼率が小さい領域において変化する心拍数を学習する。

判定の結果、区間Ａの閉眼率が所定値ａ未満であると判定された場合は、区間Ａで算出された瞬時心拍数の代表値を学習した後（ステップＳ４０７）、学習回数のカウントアップを行う（ステップＳ４０８）。その後、先のステップＳ４０１に戻り同様の処理を繰り返し実行する。

この処理ループにおいて、開閉の誤検出などにより閉眼率が一時的に大きく算出された場合には、先のステップＳ４０６で区間Ａの閉眼率が所定値ａ以上であると判定、その場合には区間Ａの基準心拍数の学習は行わずに先のステップＳ４０１に戻る。同ループの処理を繰り返しながら、区間Ａの閉眼率が所定値ａ未満であることを、運転者の覚醒度が低下していないことの保証にして基準心拍数の学習を繰り返す。

ここで、先のステップＳ４０８での学習方法を具体的に説明する。運転中、心拍数は一時的な緊張等により上昇することがあるが、通常は運転に適した緊張状態となり心拍数は低下した状態で安定する。覚醒度が低下していないという保証があれば、より低い心拍数を学習することが望ましい。よって、ステップＳ４０８では、複数回行われる区間Ａの瞬時心拍数の代表値より小さい値を学習するようにしている。

ステップＳ４０８の学習回数は、その時間を定義しているもので、運転中の基準心拍数を学習するのに十分な時間としている。例えば区間Ａを３０秒程度、学習回数を１０回とすると５分間あれば、運転中の基準心拍数を学習するのに十分であると考えられる。したがって、この例では、処理開始後、閉眼率が大きくなる外乱がなければ、最短で５分で学習が完了する。その完了は、ステップＳ４０２の判定処理で判定され、判定の結果、学習が完了した場合には、運転者毎に基準心拍数を決定し学習を終了する（ステップＳ４０９）。

また、開閉眼の認識において何らかのトラブルがあり、区間Ａの閉眼率が所定値ａ以上となる状態を繰り返し、ステップＳ４０１で設定している基準心拍数を学習すべき最長時間を超えた場合には、開閉眼判定に異常があるメッセージを運転者に伝えると同時に、本システムのリセットを要求し（ステップＳ４１０）、仮に運転者の覚醒度が低下している状態に対応できるようにしている。

次に、図９のフローチャートを参照して、運転者の覚醒度低下において、運転に支障をきたすようなかなり覚醒度が低下して、車両を安全に運転することが困難な深刻な居眠り状態か、あるいは眠気との葛藤状態であるかを的確に判断する方法の処理の流れを説明する。

図９において、まず、区間Ｂの閉眼率の算出を行い（ステップＳ９０１）、区間Ｂの瞬時心拍数の代表値の算出を行う（ステップＳ９０２）。その後、区間Ｂに当たる予め設定された所定時間が経過したか否かを判定し（ステップＳ９０３）、所定時間が経過するまで上記処理のループを繰り返し実行する。この処理は、基準心拍数を学習する場合と同じであるため、詳細の説明は省略する。なお、運転者の覚醒度の低下状態を判定する区間は、基準心拍数を学習する区間に合わせても問題ないが、強いて合わせる必要がないので区間をＡからＢに変えて記述している。

先のステップＳ９０３の判定結果、所定時間が経過した場合には、閉眼率が所定値ａ以上であるか否かを判定する（ステップＳ９０４）。閉眼率が所定値ａ以上でない場合は、運転者は覚醒度の低下状態にないとして先のステップＳ９０１に戻り同様の処理を繰り返す。この判定状態をタイムチャートで表すと、図１０の上半分に示すＢ区間となる。

図９に戻って、ステップＳ９０４で区間Ｂの閉眼率が所定値ａ以上であると判定された場合は、区間Ｂの瞬時心拍数の代表値が、事前に学習した判定基準値よりも増加したか否かの判定（ステップＳ９０５）、ならびに判定基準値よりも減少したか否かの判定（ステップＳ９０６）を行うことで、区間Ｂの瞬時心拍数の代表値が事前に学習した判定基準値の範囲内にあるか否かを判定する。判定の結果、瞬時心拍数の代表値が、基準心拍数に対し増加も減少していないと判定された場合は、運転者は覚醒度の低下状態にないとして先のステップＳ９０１に戻り同様の処理を繰り返す。この判定状態を同じくタイムチャートで表すと、図１０の下半分に示す区間Ｂとなる。また、この状態を心拍数と閉眼率の関係で示すと、図１１のようになり、眼の開閉判定の誤検出を心拍数判定によって防止している領域（ゾーン）となる。

図９に戻って、区間Ｂの閉眼率が所定値ａ以上であると判定され、かつステップＳ９０５の判定結果で区間Ｂの瞬時心拍数の代表値が判定基準値の範囲より増加したと判定された場合は、運転者は眠気との葛藤状態にあると推定する（ステップＳ９０８）。この判定状態をタイムチャートで表すと、図１２の下半分に示す区間Ｂとなる。

また、この状態を心拍数と閉眼率の関係で示すと、図１３のようになる。この眠気との葛藤ゾーンにおいては、１回の長い閉眼（例えば１秒程度以上）が発生することがないため、心拍数が多くなり、かつ閉眼率が大きい右上の領域も誤検出防止ゾーンとしている。このことにより、区間Ｂで閉眼時間を積算していく際に、閉眼時間で瞬き時間に相当する一定時間以下（例えば０．１５秒程度以下）のものを対象外としつつ、１回の長い閉眼も対象外として第２の閉眼率を算出して手法を用いることで、眠気との葛藤ゾーンの判定精度を更に向上させることができる。

図９に戻って、ステップＳ９０４で区間Ｂの閉眼率が所定値ａ以上であると判定され、かつステップＳ９０６で区間Ｂの瞬時心拍数の代表値が判定基準値の範囲より減少したと判定された場合は、運転者は運転に支障をきたす程度のかなり覚醒度が低下した居眠り状態にあると推定する（ステップＳ９０７）。この判定状態をタイムチャートで表すと、図１４の下半分に示す区間Ｂとなる。また、この状態を心拍数と閉眼率の関係で示すと、図１５のようになる。

閉眼率のみに基づいて、運転に支障をきたす程度の居眠り状態にあるかどうかを判定する場合においては、通常、閉眼率がかなり大きくなることを条件にしなければ判定できなかった。しかし、この実施例１のように、心拍数が減少していることを判定に加えれることで、必ずしも閉眼率の判定基準をより大きく設定しなくても運転に支障をきたす程度の居眠り状態と推定することが可能となる。したがって、運転に支障をきたす程度の居眠り状態をより迅速に検出することができる。

このようにして運転者の覚醒度レベルを、眠気との葛藤状態と、運転に支障をきたす程度の居眠り状態に区別して検出することで、図１６に示すように各々の状態に適した第１の覚醒促進手段または第２の覚醒促進手段を作動させることが可能となる。

また、適度な緊張状態から眠気との葛藤状態を経て運転に支障をきたす程度の居眠り運転状態に移行する場合に比べて、適度な緊張状態から眠気との葛藤状態を経ずにいきなり運転に支障をきたす程度の居眠り運転状態に移行する場合には、より強い刺激を運転者に呈示することで、運転者の覚醒度を効果的に促進させる。この結果、運転者にとってより快適かつ受容性が高く、より安全な居眠り運転検出装置ならびに居眠り運転防止装置のシステムが提供される。

以上説明したように、この実施例１においては、運転者が眠気に抗している葛藤状態を精度良く検出することが可能となり、眠気に抗している葛藤状態と運転に支障をきたす程度の深刻な居眠り状態とを的確に区別して検出することができる。

心拍相当信号を拍動間隔とし、この拍動間隔より瞬時心拍数を算出することで、ロバスト性が高い状態で心拍相当信号を計測することができ、高い覚醒度レベルの推定精度を維持することができる。

瞬時心拍数を所定時間記憶したものを１区間とし、この１区間のデータのメジアン値を算出して代表値として用いることで、更にロバスト性高く心拍相当信号を計測することができ、確度の高い覚醒度レベルを推定することができる。

画像認識技術を用いて運転者の眼の開閉を検出することで、運転者に煩わしさを与えることなく精度の高い眼の開閉検出を行うことができる。一方、発光ダイオード３０２、フォトダイオード３０３、増幅器３０４、コンパレータ３０５とを備えた検出手段で運転者の眼の開閉を検出することで、比較的簡単な方法で眼の開閉を検出することができる。

所定時間以上の閉眼時間を１区間毎に積算して閉眼率を算出することで、閉眼率を用いた確度の高い覚醒度レベルを推定することができる。第１の所定時間以上でかつ第２の所定時間以下の閉眼時間を１区間毎に積算して閉眼率を算出することで、眠気に抗する葛藤状態の検出精度を向上させることができる。

閉眼率が所定値を超えた場合でも、心拍相当信号の値が判定基準値の範囲内である場合には、覚醒度レベルが低下していないものと推定することで、閉眼率による誤判定を抑制しつつ、高い覚醒度の低下状態の推定性能を維持することができる。

閉眼率が所定値を超え、かつ心拍相当信号の値が判定基準値より減少した場合には、覚醒度レベルが運転に支障をきたす程度に大きく低下しているものと推定することで、運転するのに適さない居眠り状態を的確に検出することができる。

閉眼率が所定値を超え、かつ心拍相当信号の値が判定基準値より増加した場合には、覚醒度レベルが低下し、運転者が眠気との葛藤状態にあるものと推定することで、覚醒度が低下していく過程において、運転者が眠気と葛藤している状態を的確に検出することができ、かつ運転に支障をきたす程度の居眠り状態に陥る以前に葛藤状態が発生したか否かも検出することができる。

第１の所定時間以上でかつ第２の所定時間以下の閉眼時間を１区間毎に積算して算出された閉眼率が所定値を超え、かつ心拍相当信号の値が判定基準値より増加した場合には、覚醒度レベルが低下して、運転者が眠気との葛藤状態にあると推定することで、覚醒度が低下していく過程において、運転者が眠気と葛藤している状態を更に的確に検出することができる。

運転者の覚醒を促進させる覚醒促進手段として、例えば図１６に示すような快適性を優先させた第１の覚醒促進手段と、緊急性を優先させた第２の覚醒促進手段との２つの異なる手段を設け、覚醒度レベルの推定結果に対応して、運転者が眠気と葛藤している状態においては、第１の覚醒手段を作用させて煩わしさを感じさせない快適な刺激を呈示する一方、運転に支障をきたす程度の居眠り状態においては、第２の覚醒促進手段を作用させて緊急性の高い強い刺激を呈示することで、運転者を効果的に覚醒させて居眠り運転の防止効果を高め、かつ運転者にとって受容性の高い居眠り運転防止装置を提供することができる。

次に、この発明の実施例２について説明する。この実施例２の特徴とするところは、先の実施例１に対して、心拍数変化に比べ時間解像度が高い閉眼率判定区間を、先の実施例１の区間Ｂより短く設定した区間Ｃ、Ｄでの判定を加え、さらに一層迅速に運転者の覚醒度の低下状態を推定するようにしたことにあり、他は先の実施例１と同様である。

次に、図１７と図１８のフローチャートを参照して、この実施例２で採用した上記特徴の推定方法の処理手順について説明する。図１７において、まず、各々区間Ｄ，Ｃ，Ｂの閉眼率を順次算出する（ステップＳ１７０１、Ｓ１７０２、Ｓ１７０３）。区間Ｂ、Ｃ、Ｄの関係は、例えば図１９、図２１に示すように、区間Ｂ÷５＝区間Ｃ、区間Ｂ÷１０＝区間Ｄの時間長さの関係に設定されている。最も短い区間Ｄは、心拍数の減少が判定された場合の、運転に支障をきたす程度の居眠り状態推定用のもので、それより長い区間Ｃは、心拍数の増加が判定された場合の、眠気との葛藤状態推定用のものである。

図１７に戻って、次に、先の実施例１と同様に区間Ｂの瞬時心拍数の代表値を算出する（ステップＳ１７０４）。その後、区間Ｄの所定時間が経過したか否かの判定（ステップＳ１７０５）、ならびに区間Ｃの所定時間が経過したか否かの判定（ステップＳ１７０６）を行う。このステップＳ１７０５、Ｓ１７０６で示す一連の処理は、図１９、２０、２１のタイムチャートに示すように、一旦区間Ｂにおける判定が行われ、閉眼率の判定が所定値ａ未満（Ｆａｌｓｅ）で、瞬時心拍数の代表値が判定基準値の範囲より増加または減少（Ｔｒｕｅ）し次の区間Ｂに移行した時の判定フローであるため後述する。

上記ステップＳ１７０５、Ｓ１７０６の判定結果、区間Ｄ、区間Ｃの所定時間が経過していない場合には、先の実施例１と同様に区間Ｂの所定時間が経過したか否かを判定する（ステップＳ１７０９）。判定の結果、所定時間が経過したと判定された場合は、心拍減少及び増加フラグをＯＦＦにする（ステップＳ１７１０）。これは、前のＢ区間での判定を初期化するための処理で、現区間Ｂの心拍数の状態は、図１８に示す一連の処理フローで再度何れかのフラグを設定するか否かを判定する。

次に、図１８に示すフローチャートに移って、瞬時心拍数の代表値が判定基準値の範囲より増加したか否かの判定（ステップＳ１８０１）、ならびに減少したか否かの判定（ステップＳ１８０２）を行う。この両ステップの処理で瞬時心拍の代表値が判定基準値の範囲内にあると判定された場合、すなわち増加も減少もしていない場合には、図１７のステップＳ１７０１に戻り、次の区間Ｂでの判定に移る。

一方、図８のステップＳ１８０１の判定の結果、瞬時心拍数の代表値が基準値の範囲より増加したと判定された場合は、心拍数増加フラグをＯＮにする（ステップＳ１８０６）。その後、閉眼率が予め設定された所定値ａ以上か否かを判定し（ステップＳ１８０７）、所定値ａ以上であると判定された場合は、先の実施例１と同様に、これまでの判定結果として運転者は眠気との葛藤状態にあると推定する（ステップＳ１８０８）。一方、閉眼率が所定値ａ未満であると判定された場合は、心拍数増加フラグをＯＮにした状態で、図１７のステップＳ１７０１に戻り次の区間Ｂの判定に移る。

この状態をタイムチャートで示したものが図１９となる。すなわち、この区間Ｂにおいては、区間Ｂの閉眼率の算出を行いながら、区間Ｃの閉眼率の算出と区間Ｃにおける閉眼率の判定を、区間Ｃに見合った閉眼率の所定値ｂ以上であるか否かを図１７のステップＳ１７０７とステップＳ１７０８で判定している。

図１９に示すタイミングチャートの例では、図１７のステップＳ１７０８における１回目の区間Ｃの閉眼率の判定において、閉眼率が所定値ｂ未満であると判定され、その後ステップＳ１７０９の処理を行ってからステップＳ１７０１に戻る。その後、次の区間Ｃの閉眼率の算出を行う。一方、ステップＳ１７０８における２回目の区間Ｃの閉眼率の判定において、閉眼率が所定値ｂ以上であると判定された場合は、この段階で運転者は眠気との葛藤状態であると推定する（ステップＳ１８０８）。

また、図２０に示すタイミングチャートの例に示すように、区間Ｃでの閉眼率の判定においてすべて所定値ｂ未満（Ｆａｌｓｅ）であると判定されても、区間Ｂでの閉眼率と心拍数の判定は、先の実施例１と同様の処理が繰り返されているため、検出タイミングが遅れたり、覚醒度レベルの推定精度が変わるおそれはない。

次に、図１８に戻って、ステップＳ１８０２の判定結果において、瞬時心拍数の代表値が判定基準値の範囲より減少していると判定された場合は、心拍数減少フラグをＯＮにする（ステップＳ１８０３）。その後、閉眼率が所定値ａ未満であるか否かを判定し（ステップＳ１８０４）、判定の結果、閉眼率が所定値ａ未満であると判定された場合は、図１７のステップＳ１７０１に戻り、今回は区間Ｄにおける閉眼率の算出と区間Ｄにおける閉眼率の判定を、区間Ｄに見合った閉眼率の所定値ｃ以上であるか否かをステップＳ１７０５とステップＳ１７０６の処理で判定する。

この一連の処理フローをタイムチャートで示したのもが図２１になる。このようにして、前区間Ｂの心拍数変化を予備フラグ的に利用することで、判定解像度の異なる心拍数と閉眼率の判定を、より有効に組み合わせることもできる。一方、先のステップＳ１８０４の判定結果において、閉眼率が所定値ａ以上であると判定された場合は、運転者の覚醒度は運転に支障をきたす程度に低下して、居眠り状態にあると推定する（ステップＳ１８０５）。

一般的に居眠り運転は、図２２の２２０１、２２０２に示すように、適度な緊張状態から眠気と葛藤する状態を経て、運転に支障をきたす程度の居眠り状態に陥っていくが、例えば薬や酒、睡眠時無呼吸症候群などの病気、過労である場合は、図２３の２３０１に示すように、必ずしも眠気との葛藤状態を経由せず、適度な緊張状態からいきなり運転に支障をきたす程度の居眠り状態に陥る場合もある。このような場合においても、眠気との葛藤状態が存在するか否かを判定することが可能となるので、早期に精度良く運転に支障をきたす程度の居眠り状態を推定することができる。

図２４ならびに図２５は、台上実験で再現した眠気との葛藤状態と、眠気に抗しきれず運転に支障をきたす程度の居眠り状態における閉眼率と心拍数の６０分間の時系列データの実験値を示す図である。

両図に示す実験データは、被験者に単調ではあるが、ある程度の集中力を必要とするタスクを、生体リズムでも比較的眠くなり易い昼食後の時間帯に行わせたものであり、図２４に示すデータは、どんなに眠くても我慢してタスクを行うように指示し、タスクの間３０％の閉眼率を超えた場合は、強い刺激が呈示させるという恐怖感を与えて眠気との葛藤状態を再現したものである。

一方、図２５に示すデータは、特に何の指示もせず行ったもので、台上の居眠り実験においては、眠くなっても特に自分の身に強い刺激が及ぶわけではないので、実際の居眠り運転とは違って、眠気と葛藤することなく居眠り状態に陥る場合が多い。

図２４ならびに図２５の詳細を説明すると、両図（ａ）は、３０秒毎の閉眼率の時間変化を示しており、両図（ｂ）は、実験開始５分間の心拍数の代表値を基準として、その後、５分毎の心拍数の代表値の変化を示したものである。

図２４と図２５とを比較して分かるように、図２４の眠気との葛藤状態があるデータでは、閉眼率がやや大きくなるだけでなく、心拍数が増加していることが分かる。一方、図２５の眠気との葛藤がなく運転に支障をきたす程度の居眠り状態に陥っていくデータでは、閉眼率の増加に伴い、心拍数も一方的に減少するだけの傾向を示している。このように閉眼率と心拍数の相関関係をみることで、適度な緊張状態から運転に支障をきたす程度の居眠り状態に移行する過程において、眠気との葛藤状態があったか否かを的確に検出することができることが実験データからも得られている。

以上説明したように、この実施例２においては、先の実施例１で得られる効果に加えて、心拍相当信号の値が判定基準値より増加し、かつ閉眼率が所定値を超えていない場合は、次区間において１区間の区間時間を短縮して閉眼率を算出し、１区間の区間時間を短縮して算出された閉眼率に基づいて覚醒度レベルを推定することで、先の実施例１に比べて早期に運転者が眠気と葛藤している状態を検出することができる。

心拍相当信号の値が判定基準値より増加し、かつ閉眼率が所定値を超えていない場合は、次区間において１区間の区間時間を短縮して閉眼率を算出し、１区間の区間時間を短縮して算出された閉眼率に基づいて覚醒度レベルを推定することで、先の実施例１に比べて早期に運転者が眠気と葛藤している状態を検出することができる。

また、心拍相当信号の値が判定基準値より減少し、かつ閉眼率が所定値を超えていない場合は、次区間において１区間の区間時間を短縮して閉眼率を算出し、１区間の区間時間を短縮して算出された閉眼率に基づいて覚醒度レベルを推定することで、先の実施例１に比べて早期に運転者が眠気と葛藤している状態を検出することができる。

本発明の居眠り運転検出装置の構成を示す図である。 本発明の実施例１に係る居眠り運転検出装置のシステム構成を示す図である。 眼の開閉検出手段の構成を示す図である。 本発明の実施例１に係る処理の手順を示すフローチャートである。 閉眼率と心拍数との関係における心拍数の学習領域を示す図である。 画像処理技術を用いた閉眼率の算出例を示す図である。 心電信号の例を示す波形図である。 心拍間隔と瞬時心拍数との関係を示す図である。 本発明の実施例１に係る処理の手順を示すフローチャートである。 本発明の実施例１に係る処理の判定状態におけるタイミングチャートである。 図１０に示す状態を閉眼率と心拍数との関係で表した図である。 本発明の実施例１に係る処理の判定状態におけるタイミングチャートである。 図１２に示す状態を閉眼率と心拍数との関係で表した図である。 本発明の実施例１に係る処理の判定状態におけるタイミングチャートである。 図１４に示す状態を閉眼率と心拍数との関係で表した図である。 覚醒促進手段と運転者の状態との対応関係を示す図である。 本発明の実施例２に係る処理の手順を示すフローチャートである。 本発明の実施例２に係る処理の手順を示すフローチャートである。 本発明の実施例２に係る処理の判定状態におけるタイミングチャートである。 本発明の実施例２に係る処理の判定状態におけるタイミングチャートである。 本発明の実施例２に係る処理の判定状態におけるタイミングチャートである。 運転者の状態の遷移の様子を示す図である。 運転者の状態の他の遷移の様子を示す図である。 眠気との葛藤状態における閉眼率と心拍数との関係の実験結果を示す図である。 眠気に抗しきれない状態における閉眼率と心拍数との関係の実験結果を示す図である。

符号の説明

１０１…心拍相当信号検出手段
１０２…開閉検出手段
１０３…閉眼率算出手段
１０４…心拍相当信号判定基準値学習手段
１０５…覚醒度レベル推定手段
１０６…覚醒促進手段
１０７…制御手段
２０１…ＴＶカメラ
２０２…画像処理回路
２０３…閉眼率算出回路
２０４…プラス極
２０５…マイナス極
２０６…心電信号検出装置
２０７…拍動間隔算出回路
２０８…心拍信号の判定基準値学習回路
２０９…覚醒度レベル推定回路
２１０…制御装置
２１１…シートバイブレーター
２１２…警報装置
２１３…電動シートベルト
２１４…ハザードランプ
２１５…オートエアコン
２１６…香り発生装置
２１７…高濃度酸素付加空気供給装置
２１８…カーオーディオシステム
３０２…発光ダイオード
３０３…フォトダイオード
３０４…増幅器
３０５…コンパレータ

Claims (13)

1. 運転者の心拍に相当する心拍相当信号を検出する心拍相当信号検出手段と、
   運転者の眼の開閉状態を検出する眼の開閉検出手段と、
   前記眼の開閉検出手段により検出された眼の開閉状態に基づいて、予め設定された所定時間毎に閉眼率を算出する閉眼率算出手段と、
   前記閉眼率算出手段により算出された閉眼率が予め設定された所定値以下の場合に、前記心拍相当信号検出手段により検出された心拍相当信号の判定基準値を学習する心拍相当信号判定基準値学習手段と、
   前記心拍相当信号検出手段により検出された心拍相当信号と、前記心拍相当信号判定基準値学習手段の学習で得られた判定基準値と、前記閉眼率算出手段により算出された閉眼率とに基づいて、運転者の覚醒度レベルを推定する覚醒度レベル推定手段と
   を有することを特徴とする居眠り運転検出装置。
2. 前記心拍相当信号検出手段は、拍動間隔を検出し、該拍動間隔により瞬時心拍数を算出し、心拍数に代えて瞬時心拍数を用いる
   ことを特徴とする請求項１に記載の居眠り運転検出装置。
3. 前記心拍相当信号検出手段は、予め設定された所定時間前記瞬時心拍数を記憶して１区間とし、該１区間の記憶データのメジアン値を算出して瞬時心拍数の代表値を算出し、瞬時心拍数の代表値を用いる
   ことを特徴とする請求項２に記載の居眠り運転検出装置。
4. 前記眼の開閉検出手段は、運転者の眼を撮像する撮像カメラと、該撮像カメラで撮像された運転者の眼の画像を画像認識技術により処理して得られた結果に基づいて眼の開閉状態を検出する
   ことを特徴とする請求項１〜３のいずれか１項に記載の居眠り運転検出装置。
5. 前記眼の開閉検出手段は、
   運転者の眼に赤外光を照射する発光ダイオードと、
   運転者の目から反射された赤外光を受光するフォトダイオードと、
   前記フォトダイオードで得られた反射光に基づいて、眼の開閉状態を検出する検出回路と
   を有することを特徴とする請求項１〜３のいずれか１項に記載の居眠り運転検出装置。
6. 前記覚醒度レベル推定手段は、前記閉眼率算出手段により算出された閉眼率が予め設定された所定値を超え、かつ心拍相当信号の値が前記心拍相当信号判定基準値学習手段の学習で得られた判定基準値の範囲内である場合には、運転者の覚醒度レベルが低下していないと推定する
   ことを特徴とする請求項１〜５のいずれか１項に記載の居眠り運転検出装置。
7. 前記覚醒度レベル推定手段は、前記閉眼率算出手段により算出された閉眼率が予め設定された所定値を超え、かつ心拍相当信号の値が前記心拍相当信号判定基準値学習手段の学習で得られた判定基準値よりも減少した場合には、運転者の覚醒度レベルが運転に支障をきたす程度に低下していると推定する
   ことを特徴とする請求項１〜６のいずれか１項に記載の居眠り運転検出装置。
8. 前記覚醒度レベル推定手段は、前記閉眼率算出手段により算出された閉眼率が予め設定された所定値を超え、かつ心拍相当信号の値が前記心拍相当信号判定基準値学習手段の学習で得られた判定基準値よりも増加した場合には、運転者の覚醒度レベルが運転者が眠気と葛藤状態にある程度に低下していると推定する
   ことを特徴とする請求項１〜７のいずれか１項に記載の居眠り運転検出装置。
9. 前記閉眼率算出手段は、予め設定された所定時間を１区間とし、前記眼の開閉検出手段で検出された閉眼状態の時間が予め設定された第１の所定時間以上である場合に、その閉眼時間を１区間毎に積算して閉眼率を算出する
   ことを特徴とする請求項１〜８のいずれか１項に記載の居眠り運転検出装置。
10. 前記閉眼率算出手段は、予め設定された所定時間を１区間とし、前記眼の開閉検出手段で検出された閉眼状態が予め設定された第１の所定時間以上であって、かつ予め設定された第２の所定時間以下である場合に、その閉眼時間を１区間毎に積算して閉眼率を算出する
    ことを特徴とする請求項１〜９のいずれか１項に記載の居眠り運転検出装置。
11. 前記覚醒度レベル推定手段は、前記閉眼率算出手段により算出された閉眼率が予め設定された所定値を超え、かつ心拍相当信号の値が前記心拍相当信号判定基準値学習手段の学習で得られた判定基準値よりも増加した場合には、運転者の覚醒度レベルが運転者が眠気と葛藤状態にある程度に低下していると推定する
    ことを特徴とする請求項１０に記載の居眠り運転検出装置。
12. 前記閉眼率算出手段は、算出した閉眼率が予め設定された所定値以下で、かつ心拍相当信号の値が前記心拍相当信号判定基準値学習手段の学習で得られた判定基準値よりも増加した場合は、次区間において前記１区間の区間時間を短縮して閉眼率を算出する
    ことを特徴とする請求項９〜１１のいずれか１項に記載の居眠り運転検出装置。
13. 前記閉眼率算出手段は、算出した閉眼率が予め設定された所定値以下で、かつ心拍相当信号の値が前記心拍相当信号判定基準値学習手段の学習で得られた判定基準値よりも減少した場合は、次区間において前記１区間の区間時間を短縮して閉眼率を算出する
    ことを特徴とする請求項９〜１２のいずれか１項に記載の居眠り運転検出装置。

Images