JP3686465B2

JP3686465B2 - 車両用運転状況監視装置

Info

Publication number: JP3686465B2
Application number: JP30974795A
Authority: JP
Inventors: 康一小島
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 1995-11-06
Filing date: 1995-11-06
Publication date: 2005-08-24
Anticipated expiration: 2015-11-06
Also published as: KR970026273A; JPH09132052A; US5694116A; KR100418736B1

Description

【０００１】
【発明の属する技術分野】
本発明は、車両の運転者の運転状況を監視し、監視結果に応じて警報等を発する車両用運転状況監視装置に関する。
【０００２】
【従来の技術】
車両の運転者に対して一定の周期で警報音を発生させ、その警報音に対する運転者の応答音声のレベルが所定以上のときのみ、警報音の発生を停止させるようにした車両用運転状況監視装置（第１の従来装置）が、従来より知られている（特公昭６１−２４２０９号公報）。
【０００３】
また、運転者の上体位置、皮膚電位等の生態情報を検出し、該検出した生態情報に基づいて運転者の覚醒度を判定し、覚醒度が低下したときには警報を発するようにした運転状況監視装置（第２の従来装置）も、種々提案されている（例えば、特公平４−７５５６０号公報、特開平５−２４４６０号公報等）。
【０００４】
【発明が解決しようとする課題】
しかしながら上記第１の従来装置では、一定周期で警報音を発生させるため、運転者の慣れによって、運転者を覚醒させる効果が薄れるという問題がある。また、運転者の覚醒度が低下した場合でも、一定周期で警報音が出されるだけであるため、対応措置として不十分であった。また、第２の従来装置では、覚醒度が実際は低下していないのに低下したと誤判定することがあり、運転者に煩わしさを与える場合があった。
【０００５】
本発明は上述した点に着目してなされたものであり、運転者の運転状況の判定精度を向上させるとともに、より適切な対応措置をとることができる車両用運転状況監視装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため本発明は、車両の挙動を検出する挙動検出手段と、前記検出された車両の挙動に基づいて運転者の運転状況を判定し、該運転状況判定結果に基づいて運転者の覚醒度のレベルを算出する覚醒度算出手段と、前記運転者に対して音声情報の出力を行う音声出力手段と、前記運転者の発する音声を認識する音声認識手段と、前記覚醒度算出手段により算出された覚醒度のレベルを所定のレベルと比較することにより運転者の覚醒度を判定し、該覚醒度判定結果に基づいて前記運転者に対して前記音声出力手段による音声情報として、前記音声情報としてナビゲーションシステムの経路案内又は道路情報に基づいた質問の出力を行うと共に、前記音声認識手段により認識された音声に基づいて、前記覚醒度判定結果に基づいて出力された音声情報に対する運転者の反応を検出し、該検出結果に応じて、警報、休憩案内及び車両制御のうちの少なくとも１つを行う制御手段とを有することを特徴とする車両用運転状況監視装置を提供する。
【０００８】
また、上記目的を達成するため本発明は、車両の挙動を検出する挙動検出手段と、前記検出された車両の挙動に基づいて運転者の運転状況を判定し、該運転状況判定結果に基づいて運転者の覚醒度のレベルを算出する覚醒度算出手段と、前記運転者に対して音声情報の出力を行う音声出力手段と、前記運転者の発する音声を認識する音声認識手段と、前記覚醒度算出手段により算出された覚醒度のレベルを所定のレベルと比較することにより運転者の覚醒度を判定し、該覚醒度判定結果に基づいて前記運転者に対して前記音声出力手段による音声情報として、車載機器の動作状況又は操作に関する質問の出力を行うと共に、前記音声認識手段により認識された音声に基づいて、前記覚醒度判定結果に基づいて出力された音声情報に対する運転者の反応を検出し、該検出結果に応じて、警報、休憩案内及び車両制御のうちの少なくとも１つを行う制御手段とを有することを特徴とする車両用運転状況監視装置を提供する。
【０００９】
また、前記制御手段は、前記音声情報の出力を複数回行い、該複数回の音声情報出力に対する前記運転者の反応に応じて、制御内容を決定することが望ましい。
【００１０】
また、前記制御手段は、前記運転者の反応に応じて車載機器の作動制御を行うことが望ましい。
【００１１】
本発明によれば、検出された車両の挙動に基づいて運転者の運転状況が判定され、該運転状況判定結果に基づいて運転者の覚醒度のレベルが算出され、算出された覚醒度のレベルを所定のレベルと比較することにより運転者の覚醒度が判定され、該覚醒度判定結果に基づいて運転者に対して音声情報として、ナビゲーションシステムの経路案内又は道路情報に基づいた質問の出力が行われると共に、認識された音声に基づいて、覚醒度判定結果に基づいて出力された音声情報に対する運転者の反応が検出され、該検出結果に応じて、警報、休憩案内及び車両制御のうちの少なくとも１つが実行される。
また、本発明によれば、検出された車両の挙動に基づいて運転者の運転状況が判定され、該運転状況判定結果に基づいて運転者の覚醒度のレベルが算出され、算出された覚醒度のレベルを所定のレベルと比較することにより運転者の覚醒度が判定され、該覚醒度判定結果に基づいて運転者に対して音声情報として、車載機器の動作状況又は操作に関する質問の出力が行われると共に、認識された音声に基づいて、覚醒度判定結果に基づいて出力された音声情報に対する運転者の反応が検出され、該検出結果に応じて、警報、休憩案内及び車両制御のうちの少なくとも１つが実行される。
【００１２】
【発明の実施の形態】
以下本発明の実施の形態を図面を参照して説明する。
【００１３】
図１は本発明の実施の一形態にかかる車両用運転状況監視装置を含む車両搭載装置の構成を示すブロック図である。同図において１は、運転状況の判断及び判断結果に基づく対応措置の実行制御を行う判断ユニット１であり、この判断ユニット１には、マイクロフォン２から入力される音声信号に基づいて音声認識を行い、認識結果を判断ユニット１に入力する音声認識ユニット３と、運転者の覚醒度を検出する覚醒度検出ユニット４と、当該車両の位置を地図上に表示したり、経路案内、休憩案内等を行うナビゲーションシステム５と、空調装置、カーオーディオ、パワーウインドウ等の車載機器６と、当該車両を駆動するエンジンの制御を行う電子制御ユニット（以下「ＥＣＵ」という）９とが接続されている。音声認識ユニット３には、マイクロフォン２が接続されており、マイクロフォン２は、当該車両の運転者の音声を音声信号に変換し、その音声信号を音声認識ユニット３に入力する。
【００１４】
判断ユニット１には、さらに音声信号を合成する音声合成ユニット７が接続されており、音声合成ユニット７は、判断ユニット１からの指令にしたがってスピーカ８を介してを音声を出力する。
【００１５】
覚醒度検出ユニット４は、当該車両のヨーレートＹＲ及び車速Ｖを検出し、検出したヨーレートＹＲ及び車速Ｖに基づいて車両走行の基準線とその基準線からのずれを表すパラメータである偏差量を算出する。そして、その偏差量に応じて覚醒度レベルＸを算出し、判断ユニット１に入力する。この覚醒度レベルＸの検出手法は、後述する。なお、上記偏差量はその値が増加するほど覚醒度が低下したことを示すので、覚醒度レベルＸは偏差量が増加するほど、減少するように設定される。
【００１６】
図２は、判断ユニット１における制御処理のフローチャートである。
【００１７】
先ずステップＳ１では、運転者の覚醒度レベルＸを検出し、次いでそのＸ値が第２の所定レベルＸ２より高いか否かを判別する（ステップＳ２）。そして、Ｘ＞Ｘ２であって運転者の覚醒度が高いときは、正常と判定してステップＳ１に戻り、Ｘ≦Ｘ２であるときは、さらに覚醒度レベルＸが第２の所定レベルＸ２より小さい第１の所定レベルＸ１より高いか否かを判別する（ステップＳ３）。その結果、Ｘ≦Ｘ１であって運転者の覚醒度がかなり低下してしているとき、異常と判定して、直ちにステップＳ１６に進み、レベル２の警報を発するとともに、所定のフェールセーフ処理を実行する。レベル２の警報は、後述するレベル１の警報より、ボリュームを大きくした警報である。また、フェールセーフ処理としては、例えばエンジンに供給する燃料量を漸減させる等して、エンジン出力を徐々に低下させる処理を行う。
【００１８】
ステップＳ３の答が肯定（ＹＥＳ）、すなわちＸ１＜Ｘ≦Ｘ２であって覚醒度が若干低下した状態（注意レベルの状態）であるときは、運転者に対して音声による質問、例えば「近くの休憩場所を案内しますか？」といった質問を行う（ステップＳ４）。そして、音声認識ユニット３による認識結果を参照し（ステップＳ５）、その質問に対して回答があったか否かを判別する（ステップＳ６）。回答があったときは、カウント値Ｎをインクリメントし（ステップＳ７）、該Ｎ値が所定値αより大きいか否かを判別する（ステップＳ８）。なおカウント値Ｎは、当初は「０」に設定されている。
【００１９】
ステップＳ８でＮ≦αであるときは、ステップＳ１にもどる。ここで、覚醒度レベルＸが質問に答えることによって上昇し、Ｘ＞Ｘ２となったときは、ステップＳ１及びＳ２を繰り返す待機状態にもどる一方、Ｘ１＜Ｘ≦Ｘ２の状態が継続しているときは、ステップＳ４においては、前回の質問とは異なる質問、例えば前回の質問（「近くの休憩場所を案内しますか？」という質問）に対する答が肯定のときは、「サービスエリアとパーキングエリアのどちらがよいですか？」という質問を行い、前回の質問に対する答が否定のときは、例えば「予定通り、○○の休憩でよろしいですか？」という質問を行う。
【００２０】
その後ステップＳ８で、Ｎ＞αとなると、ステップＳ９で再度覚醒度レベルＸの検出を行い、Ｘ値が第２の所定レベルＸ２より大きいか否かを判別する（ステップＳ１０）。その結果Ｘ＞Ｘ２となっていればステップＳ１にもどり、Ｘ≦Ｘ２であれば、レベル１の警報を出力する。レベル１の警報は、レベル２の警報よりボリュームを小さくし、またフェールセーフ処理として例えば、運転者に休憩を勧める休憩案内を行う。
【００２１】
前記ステップＳ６で運転者の回答がなかったときは、当初は「０」に設定されているカウント値Ｍをインクリメントし（ステップＳ１２）、Ｍ値が所定値βより大きいか否かを判別する（ステップＳ１３）。そして、Ｍ≦βであるときはステップＳ１に戻る。ここで、Ｘ１＜Ｘ≦Ｘ２の状態が継続しているときは、ステップＳ４においては、前回の質問と同じ質問を行う。
【００２２】
質問に回答がない状態が継続し、Ｍ＞βとなったときはステップＳ１４で再度覚醒度レベルＸの検出を行い、Ｘ値が第２の所定値Ｘ２より高いか否かを判別する（ステップＳ１５）。その結果、Ｘ＞Ｘ２であるときは、ステップＳ１にもどり、Ｘ≦Ｘ２であるときは、ステップＳ１６に進んで、レベル２の警報を発するとともに、所定のフェールセーフ処理を行う。
【００２３】
以上のように本実施の形態では、検出した運転者の覚醒度レベルＸに基づいて運転者に対して質問を行い、それに対する運転者の反応状況に応じて警報やエンジン出力の漸減等を行うようにしたので、単に覚醒度レベルのみよって運転状況を判定する場合に比べて判定精度向上させるとともに、適切な対応措置をとることができる。また、質問をすることによって運転者を覚醒度を高める効果も奏する。
【００２４】
なお、図２のステップＳ４における質問としては、例えば「窓を開けますか？」といったパワーウインドウに関する質問、「ボリュームは適切ですか？」といったオーディオ機器に関する質問、「温度は適切ですか？」といった空調装置に関する質問などを行い、その回答内容に応じた作動制御を行うようにしてもよい。
【００２５】
また、ステップＳ１１又はＳ１６におけるフェールセーフ処理として、空調装置の設定温度を低下させたり、窓を開けたりして、運転者の覚醒度を高めるような措置を講ずるようにしてもよい。
【００２６】
次に覚醒度検出ユニット４における覚醒度の検出手法を説明する。
【００２７】
図３は、検出したヨーレートＹＲ及び車速Ｖに基づいて車両走行の基準線とその基準線からのずれを表すパラメータ（偏差量ΔＤＩＦ１）を算出し、その偏差量ΔＤＩＦ１に応じて覚醒度レベルＸを算出する処理のフローチャートであり、本処理は覚醒度検出ユニット４で実行される。
【００２８】
先ずステップＳ２１では、現在から過去Ｔ１秒間（例えば３０秒間）のヨーレートＹＲ及び車速ＶをＴ２秒（例えば１０秒）毎に取り込み、次いで基準線の算出（ステップＳ２２）及び横変位微分量ＤＹＫの算出を行う（ステップＳ２３）。
【００２９】
ここで基準線及び横偏位微分量ＤＹＫの算出は具体的には以下のようにして行う。
【００３０】
先ず、入力されたヨーレートＹＲ（図４（ａ）参照）を時間積分して、ヨー角ＹＡ（同図（ｂ）参照）に変換し、さらにこのヨー角ＹＡのデータに基づいて基準線（同図（ｂ）の破線参照）を算出する。この算出は具体的には以下のように周知の最小自乗法を用いて行う。
【００３１】
例えば、時刻ｔ１，ｔ２，ｔ３においてヨー角ＹＡ１，ＹＡ２，ＹＡ３というデータ得られたとすると、基準線を１次式で近似する場合は、
ＹＡ１＝ｂ１＋ｂ２ｔ１＋ｅ１
ＹＡ２＝ｂ１＋ｂ２ｔ２＋ｅ２
ＹＡ３＝ｂ１＋ｂ２ｔ３＋ｅ３
とする。ここで、ｅ１〜ｅ３は残差であり、これら残差の自乗和が最小となるように、ｂ１，ｂ２を決定する。また、２次式で近似する場合は、
【００３２】
【数１】
ＹＡ１＝ｂ１＋ｂ２ｔ１＋ｂ３ｔ１² ＋ｅ１
ＹＡ２＝ｂ１＋ｂ２ｔ２＋ｂ３ｔ２² ＋ｅ２
ＹＡ３＝ｂ１＋ｂ２ｔ３＋ｂ３ｔ３² ＋ｅ３
として、残差の自乗和が最小となるようにｂ１〜ｂ３を決定する。また、３次式で近似する場合は、
【００３３】
【数２】
ＹＡ１＝ｂ１＋ｂ２ｔ１＋ｂ３ｔ１² ＋ｂ４ｔ１³ ＋ｅ１
ＹＡ２＝ｂ１＋ｂ２ｔ２＋ｂ３ｔ２² ＋ｂ４ｔ２³ ＋ｅ２
ＹＡ３＝ｂ１＋ｂ２ｔ３＋ｂ３ｔ３² ＋ｂ４ｔ３³ ＋ｅ３
として、残差の自乗和が最小となるようにｂ１〜ｂ４を決定する。
【００３４】
なお、データの数が多い場合には同様にしてさらに次数を上げて近似を行う。
【００３５】
本実施の形態では、先ず１次式で基準線を求め、ヨー角ＹＡから基準線に対応する基準ヨー角を差し引いて修正ヨー角ＹＡＭ（図４（ｃ）参照）を算出し、次に、修正ヨー角ＹＡＭ及び車速Ｖを下記式に適用して横変位微分量ＤＹＫ（図４（ｄ）参照）を算出する。
【００３６】
ＤＹＫ＝Ｖ×ｓｉｎ（ＹＡＭ）
続くステップＳ２４では、横変位微分量ＤＹＫの最大値ＤＹＫＭＡＸと最小値ＤＹＫＭＩＮとの差が所定値α１より小さいか否かを判別し、（ＤＹＫＭＡＸ−ＤＹＫＭＩＮ）≧α１であるときは、ステップＳ２２に戻り、基準線の近似の次数を１次上げて再度基準線の算出を行い、ステップＳ２４の答が肯定（ＹＥＳ）となるまで繰り返す。
【００３７】
なお、（ＤＹＫＭＡＸ−ＤＹＫＭＩＮ）≧α１であっても、基準線の近似次数が所定次数に達したときに基準線の算出を終了するようにしてもよい。
【００３８】
ステップＳ２４で（ＤＹＫＭＡＸ−ＤＹＫＭＩＮ）＜α１となると、ステップＳ２５に進み偏差量ΔＤＩＦ１を算出する。ここで偏差量ΔＤＩＦ１は、例えば図２（ｄ）に斜線を付した部分の面積（横偏位微分量ＤＹＫの絶対値の時間積分値）として算出するが、ＤＹＫ値の標準偏差や最大値と最小値との差を用いてもよい。
【００３９】
次いでこの偏差量ΔＤＩＦ１に応じて覚醒度レベルＸを算出し（ステップＳ２６）、本処理を終了する。ここで覚醒度レベルＸは、偏差量ΔＤＩＦ１が増加するほど、減少するように設定される。
【００４０】
このように図３の処理によれば、車両の挙動に基づいて運転者の覚醒度を判定することができる。
【００４１】
なお、例えば特開平５−２４４６０号公報に示されるように運転者の皮膚電位に基づいて覚醒度を検出したり、特開平５−９６９７１号公報に示されるように運転者の脳波、顔の表情、体温等の生体情報に基づいて、覚醒度を検出するようにしてもよい。
【００４２】
【発明の効果】
以上詳述したように本発明によれば、検出された車両の挙動に基づいて運転者の運転状況が判定され、該運転状況判定結果に基づいて運転者の覚醒度のレベルが算出され、算出された覚醒度のレベルを所定のレベルと比較することにより運転者の覚醒度が判定され、該覚醒度判定結果に基づいて運転者に対して音声情報として、ナビゲーションシステムの経路案内又は道路情報に基づいた質問の出力が行われると共に、認識された音声に基づいて、覚醒度判定結果に基づいて出力された音声情報に対する運転者の反応が検出され、該検出結果に応じて、警報、休憩案内及び車両制御のうちの少なくとも１つが実行されるので、運転者の運転状況の判定精度を向上させるとともに、より適切な対応措置をとることができる。
また、本発明によれば、検出された車両の挙動に基づいて運転者の運転状況が判定され、該運転状況判定結果に基づいて運転者の覚醒度のレベルが算出され、算出された覚醒度のレベルを所定のレベルと比較することにより運転者の覚醒度が判定され、該覚醒度判定結果に基づいて運転者に対して音声情報として、車載機器の動作状況又は操作に関する質問の出力が行われると共に、認識された音声に基づいて、覚醒度判定結果に基づいて出力された音声情報に対する運転者の反応が検出され、該検出結果に応じて、警報、休憩案内及び車両制御のうちの少なくとも１つが実行されるので、運転者の運転状況の判定精度を向上させるとともに、より適切な対応措置をとることができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態にかかる車両用運転状況監視装置を含む車両搭載装置の構成を示すブロック図である。
【図２】図２は、図１の判断ユニットにおける制御処理のフローチャートである。
【図３】図２の覚醒度検出ユニットにおける処理のフローチャートである。
【図４】検出データ及び検出データに基づいて算出されるパラメータの推移を示す図である。
【符号の説明】
１判断ユニット
２マイクロフォン
３音声認識ユニット
４覚醒度検出ユニット
５ナビゲーションシステム
６車載装置
７音声合成ユニット
８スピーカ

Claims

車両の挙動を検出する挙動検出手段と、
前記検出された車両の挙動に基づいて運転者の運転状況を判定し、該運転状況判定結果に基づいて運転者の覚醒度のレベルを算出する覚醒度算出手段と、
前記運転者に対して音声情報の出力を行う音声出力手段と、
前記運転者の発する音声を認識する音声認識手段と、
前記覚醒度算出手段により算出された覚醒度のレベルを所定のレベルと比較することにより運転者の覚醒度を判定し、該覚醒度判定結果に基づいて前記運転者に対して前記音声出力手段による音声情報として、ナビゲーションシステムの経路案内又は道路情報に基づいた質問の出力を行うと共に、前記音声認識手段により認識された音声に基づいて、前記覚醒度判定結果に基づいて出力された音声情報に対する運転者の反応を検出し、該検出結果に応じて、警報、休憩案内及び車両制御のうちの少なくとも１つを行う制御手段とを有することを特徴とする車両用運転状況監視装置。
車両の挙動を検出する挙動検出手段と、
前記検出された車両の挙動に基づいて運転者の運転状況を判定し、該運転状況判定結果に基づいて運転者の覚醒度のレベルを算出する覚醒度算出手段と、
前記運転者に対して音声情報の出力を行う音声出力手段と、
前記運転者の発する音声を認識する音声認識手段と、
前記覚醒度算出手段により算出された覚醒度のレベルを所定のレベルと比較することにより運転者の覚醒度を判定し、該覚醒度判定結果に基づいて前記運転者に対して前記音声出力手段による音声情報として、車載機器の動作状況又は操作に関する質問の出力を行うと共に、前記音声認識手段により認識された音声に基づいて、前記覚醒度判定結果に基づいて出力された音声情報に対する運転者の反応を検出し、該検出結果に応じて、警報、休憩案内及び車両制御のうちの少なくとも１つを行う制御手段とを有することを特徴とする車両用運転状況監視装置。
前記制御手段は、前記音声情報の出力を複数回行い、該複数回の音声情報出力に対する前記運転者の反応に応じて、制御内容を決定することを特徴とする請求項１又は２記載の車両用運転状況監視装置。
前記制御手段は、前記運転者の反応に応じて車載機器の作動制御を行うことを特徴とする請求項１又は２記載の車両用運転状況監視装置。