JP5925163B2

JP5925163B2 - 運転支援装置

Info

Publication number: JP5925163B2
Application number: JP2013154593A
Authority: JP
Inventors: 智能小城戸; 太郎熊谷; 貴久青柳; 哲司羽下; 清志松谷
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2013-07-25
Filing date: 2013-07-25
Publication date: 2016-05-25
Anticipated expiration: 2033-07-25
Also published as: JP2015026185A

Description

この発明は、車両のドライバーの視線を検出して安全な運転ができるよう支援する運転支援装置に関するものである。

従来より、自動車等の車両を運転するドライバーが、車内のスピードメータやカーナビ等を注視してしまうなど、わき見運転をしてしまうことにより、重大な事故につながるおそれがあるため、様々な運転支援が行われている。例えば、特許文献１には、ドライバーの視線方向を検出し、その視線をドライバーが本来見るべき誘導する装置が開示されている。

一方、近年製品化されているヘッドアップディスプレイ（ＨＵＤ）は、ユーザの視線方向の透過型ディスプレイに各種情報を重畳させて映し出す機器、すなわち、ユーザの視界に重畳された状態で各種情報の表示を行う表示装置であり、これにより、ユーザの視界である車両の前方に重ねて、スピードメータやカーナビ等を表示させることができる。

特開２０１０−１２６１３５号公報

しかしながら、ＨＵＤ等のユーザの視界に重畳された状態で各種情報の表示を行う表示装置を用いた場合には、ユーザの視線方向は車両の前方であるため、表示内容であるスピードメータやカーナビ等を見ていてもわき見運転とはなっていないが、スピードメータやカーナビ等を注視すると、焦点距離の違いからＨＵＤに表示されている内容以外の車両前方情報等への注意が著しく低下し、重大な事故につながるおそれがあるという課題があった。

この発明は、上記のような課題を解決するためになされたものであり、ＨＵＤ等のユーザの視界に重畳された状態で各種情報の表示を行う表示装置を用いた場合であっても、運転者が本来注視すべき任意の適正方向にユーザの視線を誘導する運転支援装置を提供することを目的とする。

上記目的を達成するため、この発明は、車両に搭載され、車内に設けられた出力装置から運転支援情報を出力させる運転支援装置であって、運転者の視線方向および注視点を検知する検知部と、前記検知部により検知された運転者の視線方向および注視点に基づいて、前記運転者が注視している注視対象物を判定する注視対象物判定部と、前記車両の運転操作に応じた車両情報に基づいて、前記車両の動作状態を判定する車両状態判定部と、前記注視対象物判定部により判定された注視対象物と前記車両状態判定部により判定された車両の動作状態とに基づいて、前記運転者の視線が前記車両の動作状態で向くべき適正方向を向いていない度合いを判定し、当該判定した度合いに応じて危険レベルを決定する危険状況判定部と、前記危険状況判定部により決定された危険レベルに応じて前記運転者の視線および注視点の誘導を行うか否かを判定し、誘導を行うと判定した場合には、前記注視対象物判定部により判定された注視対象物に基づいて、前記運転者の視線および注視点を前記適正方向に誘導する誘導方向を決定し、前記危険レベルに応じた誘導方法を決定する視線方向誘導処理部と、前記視線方向誘導処理部により決定された誘導方法で、前記視線方向誘導処理部により決定された誘導方向に前記運転者の視線および注視点を向かわせる運転支援情報を前記出力装置から出力させる出力制御部とを備えることを特徴とする。

この発明によれば、ＨＵＤ等のユーザの視界に重畳された状態で各種情報の表示を行う表示装置を用いた場合であっても、運転者の視線がどこに向けられているかを正確に検出し、運転者が注視している注視対象物を判定して、運転者が本来注視すべき任意の適正方向に運転者の視線や注視点を誘導することができるので、運転者が必要以上に視線や焦点をカーナビやＨＵＤ等の表示装置に向けてしまい、進行方向や前方への注意が欠けることを防ぐことができる。

実施の形態１における運転支援装置の構成を示すブロック図である。実施の形態１において、運転者が走行方向の車外道路状況を見ていない時間Ｔ［秒］と車両状態とに基づいて危険レベルを決定した対応表の一例である。実施の形態１における運転支援装置の動作を示すフローチャートである。実施の形態１における任意の文字による誘導表示の画面例を示す図である。矢印による誘導表示の画面例を示す図である。実施の形態２における運転支援装置の構成を示すブロック図である。実施の形態２において、運転者が走行方向の車外道路状況を見ていない時間Ｔ［秒］と車両状態とに基づいて危険レベルを決定した対応表の一例である。実施の形態２における運転支援装置の動作を示すフローチャートである。実施の形態２における任意の文字による誘導表示の画面例を示す図である。実施の形態２における任意の文字による誘導表示の画面例の別の例を示す図である。実施の形態３における運転支援装置の構成を示すブロック図である。実施の形態３における運転支援装置の動作を示すフローチャートである。

以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、この発明の実施の形態１における運転支援装置の構成を示すブロック図である。この運転支援装置は、自動車等の車両に搭載され、車内に設けられた出力装置から運転支援情報を出力させるものであり、視線検知部１、注視対象物判定部２、車両状態判定部３、危険状況判定部４、時刻取得部５、視線方向誘導処理部６、表示制御部（出力制御部）７および表示装置（出力装置）８を備えている。

視線検知部１は、１つもしくは複数台の光学カメラ、赤外線カメラ、アイカメラ等により、車両走行中の運転者の顔の向きや眼球（両眼または片眼の眼球）の動きを検出することにより、運転者の視線方向および注視点を検知する。そして、検知された運転者の視線方向および注視点を、注視対象物判定部２に通知する。

注視対象物判定部２は、視線検知部１により検知された運転者の視線方向と注視点から、運転者の位置から運転者が注視している注視点までの距離を算出し、運転者の視線方向と算出した注視点までの距離から、運転者が注視している注視対象物を判定する。

そして、判定した注視対象物の情報は、危険状況判定部４と視線方向誘導処理部６に通知される。なお、運転者の位置から注視している対象物までの距離は、２つの目の輻輳角から注視している対象物の奥行きの距離を推定して求めることができるが、これについては周知の技術であるため、ここでは詳しい説明を省略する。

車両状態判定部３は、ギア信号、車速信号、バック信号等を取得し、走行方向、走行速度、および、停止中か否か等、車両の運転操作に応じた車両情報に基づいて、車両の動作状態を判定する。そして、判定した車両の動作状態を危険状況判定部４に通知する。

危険状況判定部４は、注視対象物判定部２により判定された注視対象物の情報と、車両状態判定部３により判定された車両の動作状態とに基づいて、走行中に運転者の視線方向が走行方向以外を向いていたり、運転者が走行方向に重畳された表示装置からの表示内容を注視していたりして、運転者が車両の運転に集中していない危険な状況にある度合、すなわち、運転者の視線が車両の動作状態で向くべき適正方向を向いていない度合を判定し、当該判定した度合に応じて危険レベルを決定する。

この際、危険レベルは、運転者の視線が適正方向を向いていない時間的な度合に応じて決定するか、または、運転者の視線が適正方向を向いていない時間的な度合と車両の動作状態に応じて決定する。時間的な度合とは、例えば、運転者の視線が適正方向を向いていない時間的な度合に応じて危険レベルを決定する場合には、運転者が走行方向の車外道路状況を所定時間（危険判定時間）以上見ていないかどうか、すなわち、所定時間（危険判定時間）以上、運転者の視線が車両の動作状態で向くべき適正方向を向いていない場合に、誘導を行う危険レベルとする。そして、決定した危険レベルを視線方向誘導処理部６に通知する。

危険レベルについては、例えばレベルを０から５までとし、走行方向の車外道路状況を見ていない時間が一定時間未満であれば危険レベル０とし、一定時間以上であれば、走行方向の車外道路状況を見ていない時間が長くなればなるほど危険レベルを上げるようにする。そして、この走行方向の車外道路状況を見ていない時間により、または、この走行方向の車外道路状況を見ていない時間と車両状態判定部３で判定された車両の動作状態との組み合わせにより、危険レベルを設定しておく。危険レベルの決定は、運転者の視線が適正方向を向いていない時間的な度合だけで決定する場合と、運転者の視線が適正方向を向いていない時間的な度合と車両の動作状態に応じて決定する場合の、どちらを採用してもよい。

図２は、実施の形態１において、運転者が走行方向の車外道路状況を見ていない時間Ｔ［秒］と車両状態とに基づいて危険レベルを決定した対応表の一例である。
ここでは、説明を簡単にするために、車両状態としては、車速Ｖ［ｋｍ／ｈ］のみを考慮することとする。

図２に示すように、車速Ｖがいくつであっても、運転者が走行方向の車外道路状況を見ていない時間Ｔが０であれば危険レベルも０、車速Ｖが２０ｋｍ／ｈ以下であれば、時間Ｔが１秒あっても危険レベルは０、その後、時間Ｔが長くなればなるほど、危険レベルを高くする。また、時間Ｔが１秒と短くても、車速Ｖが速くなるほど危険レベルを高くし、車速Ｖが８０ｋｍ／ｈよりも速い場合には危険レベルを４という高い値に設定しておく。そして、時間Ｔが長くなるほど、また、車速Ｖが速くなるほど、危険レベルが高くなるように設定しておく、

なお、ここでは危険レベルを０から５までとして説明するが、０から１０としたり、それ以上細かくしたりしてもよい。
また、バック走行中のバック走行方向以外であるバックミラー、サイドミラー、バックカメラ映像表示装置からの映像を注視している場合は、危険レベルを０とすればよい。

時刻取得部５は、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）レシーバ等によりＧＰＳ信号を受信し、現在時刻を取得する。そして、取得した現在時刻情報は、視線方向誘導処理部６に通知する。

視線方向誘導処理部６は、危険状況判定部４により決定された危険レベルに応じて、運転者の視線および注視点の誘導を行うか否かを判定する。視線および注視点の誘導を行うと判定した場合には、注視対象物判定部２により判定された注視対象物の情報と、時刻取得部５で取得された現在時刻情報に基づいて、運転者の視線および注視点の誘導処理を行う表示装置と、視線および注視点を適正方向に誘導する誘導方向を決定し、危険レベルに応じた誘導方法を決定する。

視線および注視点の誘導方法については、視線方向にある表示装置や注視している表示装置、すなわち、運転席前方に配置されたカーナビ等の表示装置、または、運転者の視界に重畳された状態で表示を行うＨＵＤ等の表示装置に誘導表示を表示させる方法、もしくは、注視している表示装置における表示画面の画面表示を消させる方法のいずれかを選択する。なお、表示装置に誘導表示を表示させる場合は、危険レベルにより誘導表示内容を変化させる。また、時刻によって、表示の明るさも変化させてもよい。さらに、危険レベルに応じた誘導方法を時間帯によって変更してもよい。そして、決定した誘導方法は、表示制御部７に通知される。

表示制御部（出力制御部）７は、視線方向誘導処理部６により決定された誘導方法で、運転者の視線方向や注視対象物の方向にあるカーナビやヘッドアップディスプレイ（ＨＵＤ）等の表示装置（出力装置）８から、任意の文字、画像、映像を表示させたり、表示されている表示内容（表示画面の画面表示）を消させることにより、視線方向誘導処理部６により決定された誘導方向に運転者の視線および注視点を向かわせる運転支援情報を出力させる。

すなわち、この場合の誘導方法としては、文字、画像、および、映像の少なくとも一つを用いて表現された危険レベルに応じた内容で、運転者の視線および注視点を決定された誘導方向に向かわせる運転支援情報を、表示装置８に表示させるか、表示装置８の画面表示を消すか、のいずれかである。

そして、このように運転者の視線および注視点を誘導方向へ向かわせる出力を行わせることにより、運転者が表示装置８を注視することを抑制したり、運転者の視線および注視点を前方や任意に適正方向に誘導することができる。

次に、この運転支援装置の動作について、図３に示すフローチャートを用いて説明する。図３は、この実施の形態１における運転支援装置の動作を示すフローチャートである。
まず初めに、車両のキーがＯＮにされると（ステップＳＴ１のＹＥＳの場合）、視線検知部１が運転者の視線を検知（ステップＳＴ２）、車両状態判定部３が車両状態を判定（ステップＳＴ３）、時刻取得部５が現在時刻を取得する（ステップＳＴ４）。

ステップＳＴ２において、視線検知部１は、運転者の顔の向きや眼球の動きを、光学カメラ、赤外線カメラ、アイカメラ等により取得し、注視対象物判定部２に通知する。
ステップＳＴ３において、車両状態判定部３は、車両からギア信号、車速信号、バック信号を取得し、車両の走行スピード、停止中か否か、バック走行中か否か等、車両の運手操作に応じた車両情報に基づいて、車両の動作状態を判定し、危険状況判定部４に通知する。

また、ステップＳＴ４において、時刻取得部５は、ＧＰＳレシーバ等によりＧＰＳ信号を受信し、現在時刻を取得して、視線方向誘導処理部６に通知する。
次に、注視対象物判定部２が、ステップＳＴ２およびＳＴ３で取得した、運転者の顔の向きや眼球の動き、２つの眼球の輻輳角等に基づいて、運転者の視線方向や注視点を算出し、運転者が注視している対象物を判定する（ステップＳＴ５）。そして、算出した視線方向や判定した注視対象物の情報は、危険状況判定部４に通知される。

危険状況判定部４は、ステップＳＴ５で算出された視線方向や判定された注視対象物の情報と、ステップＳＴ３で判定された車両の動作状態から、走行中に運転者の視線方向が走行方向以外を向いていたり、運転者が走行方向に重畳された表示装置８の表示内容を注視していたりして、走行方向の車外道路状況を一定時間以上見ていないかどうかを判定し、その判定結果から危険レベルを決定する（ステップＳＴ６）。そして、決定した危険レベルは、視線方向誘導処理部６に通知される。

視線方向誘導処理部６は、ステップＳＴ６で決定された危険レベルが、運転者の視線・注視点の誘導を行うレベルか否かを判定する（ステップＳＴ７）。例えば、危険レベルが３以上であれば視線・注視点の誘導を行う、というように、予め視線・注視点の誘導を行う危険レベルとして所定の閾値を設定しておき、危険レベルが所定の閾値以上か否かに基づいて判定する。なお、危険レベルが０以外であれば（１以上であれば）誘導を行う、と設定してもよいことは言うまでもない。

危険レベルが、運転者の視線・注視点の誘導を行うレベルである場合（ステップＳＴ７のＹＥＳの場合）には、ステップＳＴ６で決定された危険レベルと、ステップＳＴ５で算出された視線方向や判定された注視対象物の情報と、ステップＳＴ４で取得された現在時刻情報に基づいて、視線・注視点の誘導処理を行う表示装置および運転者の視線や注視点を誘導する任意の方向、視線・注視点の誘導方法を決定する（ステップＳＴ８）。そして、決定した表示装置および誘導の方向、誘導方法は、表示制御部７に通知される。

表示制御部７は、視線方向誘導処理部６から通知された誘導の方向および誘導方法に基づいて、任意の文字や画像・映像を表示するよう、または、注視している表示内容（表示画面の画面表示）を消すよう、表示制御を行い、運転者の視線方向や注視対象物の方向にあるカーナビやＨＵＤ等の表示装置８（ステップＳＴ８で決定した表示装置）に対して指示を行う（ステップＳＴ９〜ＳＴ１１）。

すなわち、ステップＳＴ８で決定された誘導方法が誘導表示である場合（ステップＳＴ９のＹＥＳの場合）には、表示装置８に対して誘導表示のための任意の文字や画像・映像を表示するよう指示を行い（ステップＳＴ１０）、誘導方法が誘導表示ではなく、表示消去の場合（ステップＳＴ９のＮＯの場合）には、表示装置８に対して、表示していた表示内容（表示画面の画面表示）を消去するよう指示を行う（ステップＳＴ１１）。

図４，図５は、実施の形態１における誘導表示の画面例を示す図である。誘導表示としては、例えば図４に示すように、「危険！！前方方向を見てください」などの任意の文字や、図５に示すような矢印の画像を、運転者の視線方向や注視対象物の方向にあるカーナビやＨＵＤ等の表示装置８に表示させる。

図４に示すような文字を表示させる場合の表示内容については、危険レベルに応じて変化させ、運転者の注意を適切に促すようにするとよい。
また、図５に示す矢印の画像は、運転者の視線・注視点を誘導したい方向を示しており、この場合も危険レベルに応じて、その矢印の色を黄色や赤色など変化させて表示させたり点滅させたりして表示内容を変化させ、運転者の注意を適切に促すようにするとよい。
さらに、危険レベルに応じて表示内容を変化させるだけではなく、例えば誘導表示をしても運転者が前方を見ない場合など、危険レベルが高くなると、誘導表示を消して運転者が表示装置に注視することをやめさせるようにしてもよい。

そして、危険レベルが所定の閾値未満（ステップＳＴ７のＮＯの場合）になるまで、ステップＳＴ２以降の処理を繰り返す。このステップＳＴ２以降の処理は、車両のキーがＯＦＦにされるまで（ステップＳＴ１２のＮＯの場合）、繰り返される。すなわち、危険レベルが所定の閾値未満（ステップＳＴ７のＮＯの場合）になっても、その後の運転者の視線・注視点について引き続き処理を行い、視線・注視点の誘導を行う。
その後、危険レベルが所定の閾値未満（ステップＳＴ７のＮＯの場合）になり、車両のキーがＯＦＦにされると（ステップＳＴ１２のＹＥＳの場合）、処理を終了する。

以上のように、この実施の形態１によれば、カメラ等を用いて運転者の顔の向き、視線方向、焦点距離などから注視点を検出し、運転者の視線方向および注視点に基づいて、運転者が注視している注視対象物を判定して、運転者が安全に運転するために本来注視すべき任意の適正方向へ運転者の視線や注視点を誘導することにより、運転者が必要以上に視線や焦点をカーナビやＨＵＤ等の表示装置に向けてしまい、進行方向や前方への注意が欠けることを防ぐことができる。

実施の形態２．
図６は、この発明の実施の形態２における運転支援装置の構成を示すブロック図である。なお、実施の形態１で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態２では、実施の形態１と比べると、車両周辺検知部９、センサ部１０、周辺状況判定部１１をさらに備え、自車両の周辺の人や車両等の状況も考慮して、危険レベルを判定したり視線誘導を行ったりするものである。

車両周辺検知部９は、１つもしくは複数台の前方検知カメラ、バックカメラ、サイドカメラなどの車両周辺検知カメラを用いて、車両周辺の映像を取得し、周辺状況判定部１１に通知する。
センサ部１０は、ミリ波レーダや超音波レーダなどのセンサを車体の前方や側方や後方に、１つもしくは複数取り付け、自車両周辺の車両や人、軽車両、バイクなどの車両周辺対象物（車両の周辺の車外物体）の有無と、それら周辺対象物（車外物体）と自車両との距離などの検知結果を、周辺状況判定部１１に通知する。

周辺状況判定部１１は、車両周辺検知部９から取り込んだ車両周辺の画像から画像解析を行い、この画像解析結果と、センサ部１０から取得した検知結果とを組み合わせて、車両や人、軽車両、バイク、障害物などの車両の周辺の車外物体の有無を判定する。そして、車外物体を検出すると、自車両に対する車外物体の方向および車外物体から自車両までの距離を算出し、その方向や距離などの車外物体と車両との関係を判定して、それら車外物体と車両との関係に関する情報を危険状況判定部４に通知する。

危険状況判定部４は、注視対象物判定部２により判定された注視対象物の情報と、車両状態判定部３により判定された車両の動作状態と、周辺状況判定部１１により判定された車外物体と車両との関係に関する情報とに基づいて、走行中に運転者の視線方向が走行方向以外を向いていたり、運転者が走行方向に重畳された表示装置からの表示内容を注視していたりして、運転者が車両の運転に集中していない危険な状況にある度合、すなわち、運転者の視線が車両の動作状態および車外物体と車両との関係で向くべき適正方向を向いていない度合を判定し、当該判定した度合に応じて危険レベルを決定する。

この際、危険レベルは、運転者の視線が適正方向を向いていない時間的な度合に応じて決定するか、または、運転者の視線が適正方向を向いていない時間的な度合と車両の動作状態に応じて決定する。時間的な度合とは、例えば、運転者の視線が適正方向を向いていない時間的な度合に応じて危険レベルを決定する場合には、運転者が走行方向の車外道路状況を所定時間（危険判定時間）以上見ていないかどうかや、車両の周辺の車外物体の存在や危険状態を所定時間（危険判定時間）以上認識や確認できていないかどうか、すなわち、所定時間（危険判定時間）以上、運転者の視線が車両の動作状態および車外物体と車両との関係で向くべき適正方向を向いていない場合に、誘導を行う危険レベルとする。

また、車両の周辺の車外物体の存在や危険状態によって、すなわち、車外物体と車両との関係に応じて、危険レベル判定の指標としている所定時間（危険判定時間）の長さを変化（変動）させたり、危険レベル自体を変化（変動）させたりして、車両の周辺の車外物体に対して、自車両が危険な状態にある場合に危険レベルが高くなるようにしてもよい。
そして、決定した危険レベルを視線方向誘導処理部６に通知する。

図７は、実施の形態２において、運転者が走行方向の車外道路状況を見ていない時間Ｔ［秒］と車両状態とに基づいて危険レベルを決定した対応表の一例である。
ここでは、説明を簡単にするために、車両状態としては、前方に車両がいるか否かおよび前方車両との距離Ｘ［ｍ］のみを考慮することとする。

図７に示すように、前方に車両がいない場合または前方車両との距離Ｘが５０ｍ以上である場合には、運転者が走行方向の車外道路状況を見ていない時間Ｔが０であれば危険レベルも０、時間Ｔが長くなればなるほど、危険レベルを高くする。また、時間Ｔが短くても、前方車両との距離Ｘが１０ｍや２０ｍの場合には、危険レベルを４とか３という高い値に設定しておく。

視線方向誘導処理部６は、危険状況判定部４により決定された危険レベルに応じて、運転者の視線および注視点の誘導を行うか否かを判定する。視線および注視点の誘導を行うと判定した場合には、注視対象物判定部２により判定された注視対象物の情報と、周辺状況判定部１１で判定された車両の周辺の車外物体と車両との関係に関する情報と、時刻取得部５で取得された現在時刻情報に基づいて、運転者の視線および注視点の誘導処理を行う表示装置と、視線および注視点を適正方向に誘導する誘導方向を決定し、危険レベルに応じた誘導方法を決定する。

図８は、この実施の形態２における運転支援装置の動作を示すフローチャートである。
まず初めに、車両のキーがＯＮにされると（ステップＳＴ２１のＹＥＳの場合）、視線検知部１が運転者の視線を検知（ステップＳＴ２２）、車両周辺検知部９が車両周辺の映像を取得（ステップＳＴ２３）、センサ部１０が車両周辺対象物（車両の周辺の車外物体）の有無等を検知（ステップＳＴ２４）、車両状態判定部３が車両状態を判定（ステップＳＴ２５）、時刻取得部５が現在時刻を取得する（ステップＳＴ２６）。

ステップＳＴ２３において、車両周辺検知部９は、前方検知カメラ、バックカメラ、再度カメラなどの車両周辺検知カメラを用いて、車両周辺の映像を取得し、周辺状況判定部１１に通知する。

ステップＳＴ２４において、センサ部１０は、車体の前方や側方や後方に取り付けられたミリ波レーダや超音波レーダ等のセンサにより、自車両周辺の車両や人、軽車両、バイクなどの周辺対象物（車外物体）の有無と、それら周辺対象物（車外物体）と自車両との距離を検知し、それら検知結果を、周辺状況判定部１１に通知する。

ステップＳＴ２５〜ＳＴ２７について、実施の形態１における図３に示したフローチャートのステップＳＴ３〜ＳＴ５と同じであるので、説明を省略する。
次に、周辺状況判定部１１は、ステップＳＴ２３で取得された車両周辺の画像から画像解析を行い、その画像解析結果と、ステップＳＴ２４で検知された検知結果に基づいて、自車両の周辺の車両や人、軽車両、バイク、障害物などの車両周辺対象物の有無、および、車両周辺対象物の存在を確認した場合には、その周辺対象物までの距離や方向を判定し（ステップＳＴ２８）、それら周辺対象物の情報を危険状況判定部４に通知する。

危険状況判定部４は、ステップＳＴ２７で算出された視線方向や判定された注視対象物の情報と、ステップＳＴ２８で判定された車両周辺対象物の有無や当該対象物までの距離や方向などの周辺対象物の情報と、ステップＳＴ２５で判定された車両の動作状態から、走行中に運転者の視線方向が走行方向以外を向いていたり、運転者が走行方向に重畳された表示装置８の表示内容を注視していたりして、走行方向の車外道路状況を一定時間以上見ていないかどうかや、車両周辺対象物の存在や危険状態を一定時間以上認識や確認できていないかどうかを判定し、その判定結果から危険レベルを決定する（ステップＳＴ２９）。そして、決定した危険レベルは、視線方向誘導処理部６に通知される。

視線方向誘導処理部６は、ステップＳＴ２９で決定された危険レベルが、運転者の視線・注視点の誘導を行うレベルか否かを判定する（ステップＳＴ３０）。危険レベルの判定については、実施の形態１と同様であるためここでは詳しい説明を省略するが、車両周辺対象物（車両の周辺の車外物体）の有無についても条件に加えて危険レベルを判定するようにしてもよい。

危険レベルが、運転者の視線・注視点の誘導を行うレベルである場合（ステップＳＴ３０のＹＥＳの場合）には、ステップＳＴ２９で決定された危険レベルと、ステップＳＴ２７で算出された視線方向や判定された注視対象物の情報と、ステップＳＴ２８で判定された車両周辺対象物の有無や当該対象物までの距離や方向などの周辺対象物の情報と、ステップＳＴ２６で取得された現在時刻情報に基づいて、視線・注視点の誘導処理を行う表示装置および運転者の視線や注視点を誘導する任意の方向、視線・注視点の誘導方法を決定する（ステップＳＴ３１）。そして、決定した表示装置および誘導の方向、誘導方法は、表示制御部７に通知される。

その後のステップＳＴ３２〜ＳＴ３５の処理については、実施の形態１における図３に示すフローチャートのステップＳＴ９〜ＳＴ１２と同じであるので、説明を省略する。
なお、この実施の形態２では、自車両の周辺対象物の有無や当該対象物の方向や距離なども判定できているので、図４，図５に示すような画面例に加え、例えば図９（ａ）〜（ｃ）に示すように、「前方方向を見てください」「前方車両との車間距離を取ってください」「危険！！前方車両との距離が近づいています」などの文字を危険レベルに応じて変化させて表示させたり、図１０に示すように、「右車線から車が車線変更しています」などの文字を表示装置８に表示させるような誘導表示の画面例も考えられる。

以上のように、この実施の形態２によれば、実施の形態１における効果に加え、カメラ等を用いて運転者の顔の向き、視線方向、焦点距離などから注視点を検出し、運転者の注視対象物を判定するだけではなく、カメラやセンサなどの車両周辺を検知する装置により自車両の周辺情報を取得し、車両の周辺状況も考慮して、運転者が安全に運転するために本来注視すべき任意の適正方向へ運転者の視線や注視点を誘導することにより、運転者が必要以上に視線や焦点をカーナビやＨＵＤ等の表示装置に向けてしまい、車両周辺の危険状態を認識や確認できていない場合にも、運転者に車両周辺の危険状態を認識させ、進行方向や前方への注意が欠けることを防ぐことができる。

実施の形態３．
図１１は、この発明の実施の形態３における運転支援装置の構成を示すブロック図である。なお、実施の形態１，２で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態３では、実施の形態１と比べると、表示制御部（出力制御部）７および表示装置（出力装置）８に代えて、音声出力制御部１２およびスピーカ等の音声出力装置１３、光出力制御部１４および光出力装置１５を備え、表示ではなく、音声や光により視線誘導を行うものである。

視線方向誘導処理部６は、危険状況判定部４により決定された危険レベルに応じて、運転者の視線および注視点の誘導を行うか否かを判定する。視線および注視点の誘導を行うと判定した場合には、注視対象物判定部２により判定された注視対象物の情報と、時刻取得部５で取得された現在時刻情報に基づいて、運転者の視線および注視点の誘導処理を行う出力装置と、視線および注視点を適正方向に誘導する誘導方向を決定し、危険レベルに応じた誘導方法を決定する。

視線および注視点の誘導方法については、運転者の視線および注視点を誘導方向に向かわせる運転支援情報を、視線や注視点の方向に設置されているスピーカ等の音声出力装置に危険レベルに応じた出力態様および内容の音声で出力させる方法、または、視線や注視点の方向に設定されているＬＥＤ等の光出力装置に危険レベルに応じた出力態様の光で出力させる方法のいずれかを選択する。なお、いずれか一方ではなく、両方の誘導方法により出力してもよい。

危険レベルに応じた出力態様や内容で出力するとは、危険レベルが高いと、危険性や緊急性が高いことを認識しやすい音声や光を出力するようにすることであり、例えば、危険レベルが高い場合には、音声の音量を大きくしたり音声の種類を変えたり、また、光の明るさを明るくしたり、光の点滅間隔を短くしたりするなどして、危険レベルに応じて変化させる。また、時刻によって光の明るさを変化させてもよい。
そして、決定した誘導方法は、音声出力制御部１２および光出力制御部１４に通知される。

音声出力制御部１２は、視線方向誘導処理部６により決定された誘導方法で、運転者の視線方向や注視対象物の方向にあるスピーカ等の音声出力装置１３から、視線方向誘導処理部６により決定された誘導方向に運転者の視線および注視点を向かわせる運転支援情報を、決定された音量と音声の誘導音で、すなわち、危険レベルに応じた出力態様および内容の音声（誘導音）で出力させる。

光出力制御部１４は、視線方向誘導処理部６により決定された誘導方法で、運転者の視線方向や注視対象物の方向にあるＬＥＤ等の光出力装置１５から、視線方向誘導処理部６により決定された誘導方向に運転者の視線および注視点を向かわせる運転支援情報を、決定された明るさと点滅間隔の光で、すなわち、危険レベルに応じた出力態様の光で出力させる。

次に、この運転支援装置の動作について、図１２に示すフローチャートを用いて説明する。図１２は、この実施の形態３における運転支援装置の動作を示すフローチャートである。
ステップＳＴ４１〜ＳＴ４７の処理については、実施の形態１における図３に示すフローチャートのステップＳＴ１〜ＳＴ７と同じであるため、説明を省略する。

ステップＳＴ４７において、危険レベルが運転者の視線・注視点の誘導を行うレベルであると判定された場合（ステップＳＴ４７のＹＥＳの場合）には、視線方向誘導処理部６は、ステップＳＴ４６で決定された危険レベルと、ステップＳＴ４５で算出された視線方向や判定された注視対象物の情報と、ステップＳＴ４４で取得された現在時刻情報に基づいて、視線・注視点誘導方法、誘導する任意の方向、音声や光を出力させるスピーカや光出力装置、スピーカから出力する音声の種類や音量、光の明るさや色、点滅間隔を決定する（ステップＳＴ４８）。そして、決定した誘導方法は、誘導処理を行う音声出力部１２、光出力部１４に通知される。

誘導方法が音声出力でない場合（ステップＳＴ４９のＮＯの場合）には、光出力部１４が運転者の視線や注視点を誘導する任意の方向の光出力装置に対して、決定された明るさと点滅間隔の誘導光を出力するよう指示を行う（ステップＳＴ５０）。

一方、誘導方法が音声出力であり、かつ、光出力ではない場合（ステップＳＴ４９がＹＥＳ、ステップＳＴ５１がＮＯの場合）には、音声出力部１２が運転者の視線や注視点を誘導する任意の方向のスピーカから、決定された音量と音声の誘導音を出力させる（ステップＳＴ５２）。

また、誘導方法が音声出力と光出力の両方の場合（ステップＳＴ４９、ステップＳＴ５１がともにＹＥＳの場合）には、音声出力部１２が運転者の視線や注視点を誘導する任意の方向のスピーカから、決定された音量と音声の誘導音を出力させ、光出力部１４が運転者の視線や注視点を誘導する任意の方向の光出力装置から、決定された明るさと点滅間隔の誘導光を出力させる（ステップＳＴ５３）。

そして、危険レベルが所定の閾値未満（ステップＳＴ４７のＮＯの場合）になるまで、ステップＳＴ４２以降の処理を繰り返す。このステップＳＴ４２以降の処理は、車両のキーがＯＦＦにされるまで（ステップＳＴ５４のＮＯの場合）、繰り返される。すなわち、危険レベルが所定の閾値未満（ステップＳＴ４７のＮＯの場合）になっても、その後の運転者の視線・注視点について引き続き処理を行い、視線・注視点の誘導を行う。
その後、危険レベルが所定の閾値未満（ステップＳＴ４７のＮＯの場合）になり、車両のキーがＯＦＦにされると（ステップＳＴ５４のＹＥＳの場合）、処理を終了する。

以上のように、この実施の形態３によれば、カメラ等を用いて運転者の顔の向き、視線方向、焦点距離などから注視点を検出し、運転者の注視対象物を判定して、運転者が安全に運転するために本来注視すべき任意の適正方向からの音声や光により運転者の視線や注視点を誘導することにより、運転者が必要以上に視線や焦点をカーナビやＨＵＤ等に向けてしまい、進行方向や前方への注意が欠けることを防ぐことができる。

なお、この実施の形態３は、実施の形態１における表示制御部７に代えて音声出力制御部１２および光出力制御部１４を備えるものとして説明したが、実施の形態に２における表示制御部７に代えて音声出力制御部１２および光出力制御部１４を備えるようにしても、同様の効果が得られるものである。

また、表示制御部７、音声出力制御部１２、光出力制御部１４をすべて備えるようにして、誘導方法をそのいずれかまたは複数の組み合わせとして出力を行い、運転者の視線や注視点を誘導するようにすれば、さらに高い効果が期待できる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１視線検知部、２注視対象物判定部、３車両状態判定部，４危険状況判定部、５時刻取得部、６視線方向誘導処理部、７表示制御部（出力制御部）、８表示装置（出力装置）、９車両周辺検知部、１０センサ部、１１周辺状況判定部、１２音声出力制御部、１３音声出力装置、１４光出力制御部、１５光出力装置。

Claims

車両に搭載され、車内に設けられた出力装置から運転支援情報を出力させる運転支援装置であって、
運転者の視線方向および注視点を検知する検知部と、
前記検知部により検知された運転者の視線方向および注視点に基づいて、前記運転者が注視している注視対象物を判定する注視対象物判定部と、
前記車両の運転操作に応じた車両情報に基づいて、前記車両の動作状態を判定する車両状態判定部と、
前記注視対象物判定部により判定された注視対象物と前記車両状態判定部により判定された車両の動作状態とに基づいて、前記運転者の視線が前記車両の動作状態で向くべき適正方向を向いていない度合を判定し、当該判定した度合に応じて危険レベルを決定する危険状況判定部と、
前記危険状況判定部により決定された危険レベルに応じて前記運転者の視線および注視点の誘導を行うか否かを判定し、誘導を行うと判定した場合には、前記注視対象物判定部により判定された注視対象物に基づいて、前記運転者の視線および注視点を前記適正方向に誘導する誘導方向を決定し、前記危険レベルに応じた誘導方法を決定する視線方向誘導処理部と、
前記視線方向誘導処理部により決定された誘導方法で、前記視線方向誘導処理部により決定された誘導方向に前記運転者の視線および注視点を向かわせる運転支援情報を前記出力装置から出力させる出力制御部と
を備えることを特徴とする運転支援装置。
前記車両の周辺の車外物体を検出し、前記車両に対する前記車外物体の方向および前記車外物体から前記車両までの距離を算出し、前記車外物体と前記車両との関係を判定する周辺状況判定部をさらに備え、
前記危険状況判定部は、前記注視対象物判定部により判定された注視対象物、前記車両状態判定部により判定された車両の動作状態、および、前記周辺状況判定部により判定された前記車外物体と前記車両との関係に関する情報に基づいて、前記運転者の視線が前記車両の動作状態および前記車外物体と前記車両との関係で向くべき適正方向を向いていない度合を判定し、当該判定した度合に応じて危険レベルを決定し、
前記視線方向誘導処理部は、前記危険状況判定部により決定された危険レベルに応じて前記運転者の視線および注視点の誘導を行うか否かを判定し、誘導を行うと判定した場合には、前記注視対象物判定部により判定された注視対象物および前記周辺状況判定部により判定された前記車外物体と前記車両との関係に基づいて、前記運転者の視線および注視点を前記適正方向に誘導する誘導方向を決定し、前記危険レベルに応じた誘導方法を決定する
ことを特徴とする請求項１記載の運転支援装置。
前記出力装置として、運転席前方に配置された表示装置、または、前記運転者の視界に重畳された状態で表示を行う表示装置を備える
ことを特徴とする請求項１または請求項２記載の運転支援装置。
前記危険状況判定部は、前記運転者の視線が前記適正方向を向いていない時間的な度合に応じて、前記危険レベルを決定する
ことを特徴とする請求項１から請求項３のうちのいずれか１項記載の運転支援装置。
前記出力制御部は、前記誘導方法として、文字、画像、および、映像の少なくとも一つを用いて表現された前記危険レベルに応じた内容で、前記運転者の視線および注視点を前記誘導方向に向かわせる運転支援情報を、前記表示装置に表示させる
ことを特徴とする請求項３記載の運転支援装置。
前記視線方向誘導処理部は、前記注視対象物判定部により判定された注視対象物に基づいて、前記運転者が前記表示装置の画面を注視しており前記視線が前記適正方向を向いていないと判定される場合、前記表示装置の画面表示を消すことを前記誘導方法として決定し、
前記出力制御部は、前記視線方向誘導処理部により決定された誘導方法にしたがって、前記表示画面の画面表示を消すよう前記表示装置に対して指示を行う
ことを特徴とする請求項３記載の運転支援装置。
前記出力装置として、音声出力装置および光出力装置を備え、
前記出力制御部は、前記誘導方法として、前記運転者の視線および注視点を前記誘導方向に向かわせる運転支援情報を、前記危険レベルに応じた出力態様および内容の音声で前記音声出力装置から出力させる、または、前記危険レベルに応じた出力態様の光で前記光出力装置から出力させる
ことを特徴とする請求項１、請求項２または請求項５のうちのいずれか１項記載の運転支援装置。
前記危険状況判定部は、危険判定時間以上、前記運転者の視線が前記適正方向を向いていない場合に、前記誘導を行うべき危険レベルとする
ことを特徴とする請求項１記載の運転支援装置。
前記危険状況判定部は、危険判定時間以上、前記運転者の視線が前記適正方向を向いていない場合に、前記誘導を行うべき危険レベルとするとともに、前記周辺状況判定部により判定された前記車外物体と前記車両との関係に応じて、前記危険判定時間を変化させる
ことを特徴とする請求項２記載の運転支援装置。
前記視線方向誘導処理部は、前記危険レベルに応じた誘導方法を時間帯によって変更する
ことを特徴とする請求項１または請求項２記載の運転支援装置。