JP6468306B2 - 視認支援装置、方法およびプログラム - Google Patents

Description

この発明は、運転者による視認を支援する視認支援装置、方法およびプログラムに関する。

従来、運転者の視線と車両の例えば前方に存在する障害物等の対象とを検知し、それらの検知情報に基づいて、対象に対する運転者による視認を判定して、必要に応じて、注意喚起や矯正制動などを行う装置が知られている。

例えば特許文献１は、このような装置のひとつを開示している。この装置は、処理負荷の軽減を図って、運転者の視界の情報を二次元平面として管理するチェックテーブルに対象の位置を配置し、また、運転者の視線の移動位置をチェックテーブルに対応付け、視線の移動位置と対象との重なりの有無に基づいて対象が視認されたか否かを判定している。

特開２０１４−１３７６０４号公報

このような装置において検知される対象は、人であったり、動物であったり、車両であったり、落下物であったり、固定物であったりなど、さまざまなである。これらさまざまな対象は、その性質や特性、特質などは必ずしも同じではなく、種類によっては大きく異なっていることがある。

しかしながら、これまでの装置は、対象の種類に関係なく、検知した対象を画一的に扱って、必要な機能のための処理を行っている。

この発明は、運転者による視認を対象の種類に応じて適切に支援する新規な視認支援装置を提供するものである。

上記課題を解決するため、この発明の第１の態様は、運転者監視センサと車外監視センサと警告出力装置とを備えた車両の運転者による視認を支援する視認支援装置である。視認支援装置は、前記運転者監視センサの運転者監視情報に基づいて、前記運転者に関する状態情報を取得する運転者状態情報取得部と、前記車外監視センサの車外監視情報に基づいて、前記車両の周辺に存在する対象を検知する対象検知部と、前記運転者の目視が適切であったか否かを判定する目視判定部と、前記目視判定部により前記運転者の目視が不適切であると判定された場合に、前記警告出力装置に警告を発生させるための警告情報を出力する警告情報出力部とを備える。前記目視判定部は、前記対象が、予め分類された複数のグループのいずれに属するかを特定する。前記目視判定部は、前記状態情報と前記対象が属するグループのグループ情報とに基づいて、前記運転者の目視が適切であったか否かを判定する。

この発明の第２の態様による覚醒支援装置は、第１の態様による覚醒支援装置に係り、前記状態情報は、前記運転者の視線の方向を表す視線方向情報と、前記運転者の視線の滞留時間を表す視線滞留時間情報とを含み、前記グループ情報は、グループ毎に予め個別に設定された前記運転者の視線の累積滞留時間の閾値を表す閾値情報を含んでいる。前記目視判定部は、前記対象の位置を表す位置情報と前記視線方向情報と前記視線滞留時間情報とに基づいて、前記対象に向けられた前記運転者の視線の累積滞留時間を表す視線累積滞留時間情報を算出し、算出した前記視線累積滞留時間情報を前記閾値情報と比較し、前記視線累積滞留時間情報が前記閾値情報以上である場合、前記運転者の目視が適切であると判定する。

この発明の第３の態様による覚醒支援装置は、第２の態様による覚醒支援装置に係り、前記複数のグループは、少なくとも、動きが予測不能な対象を含む第１のグループと、動きが予測可能な対象を含む第２のグループと、動きが実質的にない対象を含む第３のグループとを含み、前記第１のグループの前記閾値情報は前記第２のグループの前記閾値情報よりも大きく、前記第２のグループの前記閾値情報は前記第３のグループの前記閾値情報よりも大きい。

この発明の第１の態様によれば、対象検知部により検知された対象が、予め分類された複数のグループのいずれに属するかが特定され、運転者の状態に関する状態情報と、対象が属するグループの個別に設定されたグループ情報とに基づいて、運転者の目視が適切であったか否かが判定される。このため、運転者の目視が適切であったか否かは、画一的に判定されるのではなく、対象の種類に応じて判定される。これにより、対象に種類に対応した好適な判定結果が得られる。従って、対象に種類に対応して、適切な警告が出力されるようになる。すなわち、誤った警報が出力されることが低減される。これにより、不要な処理が低減される。また、誤った警報により、運転者をわずらわせたり、いらだたせたりすることが避けられる。

この発明の第２の態様によれば、運転者の目視が適切であったか否かは、対象に向けられた運転者の視線の累積滞留時間に基づいて判定される。この判定は、運転者の視線の累積滞留時間を、グループ毎に予め個別に設定された累積滞留時間の閾値と比較することにより行われる。例えば、運転者が、まず第１の対象に視線を向け、次に第２の対象に視線を移した後、再び第１の対象に視線を戻した場合、第１の対象に向けられた運転者の視線の１度目の滞留時間と２度目の滞留時間との合計を、累積滞留時間の閾値と比較することにより行われる。このため、最終的に運転者が、対象の種類に応じた適切な時間をかけて、対象を目視したかがわかるようになる。従って、対象に種類に対応して、適切な警告が出力されるようになる。すなわち、誤った警報が出力されることが低減される。これにより、不要な処理が低減される。また、誤った警報により、運転者をわずらわせたり、いらだたせたりすることが避けられる。

この発明の第３の態様によれば、対象検知部により検知された対象が、動きが予測不能なものか、動きが予測可能なものか、動きが実質的にないものかのいずれであるかが特定される。運転者は、動きが予測可能な対象に対しては、動きが実質的にない対象よりも、対象を長く目視することが求められる。また、運転者は、動きが予測不能な対象に対しては、動きが予測可能な対象よりも、対象を長く目視することが求められる。従って、対象に種類に対応して、適切な警告が出力されるようになる。すなわち、誤った警報が出力されることが低減される。これにより、不要な処理が低減される。また、誤った警報により、運転者をわずらわせたり、いらだたせたりすることが避けられる。

すなわち、この発明の各態様によれば、運転者による視認を対象の種類に応じて適切に支援する新規な視認支援装置、方法およびプログラムを提供することができる。

この発明の一実施形態に係る視認支援装置を含む運転支援装置を備えた自動運転制御システムの全体構成を示す図である。 この発明の一実施形態に係る視認支援装置の機能構成を示すブロック図である。 図２に示した視認支援装置による視認支援の手順と制御内容を示すフローチャートである。

以下、図面を参照してこの発明に係わる実施形態を説明する。
［一実施形態］
（構成）
図１は、この発明の一実施形態に係る自動運転制御システムの全体構成を示す図である。この自動運転制御システムは、乗用車等の車両１に搭載される。

車両１は、基本設備として、動力源および変速装置を含むパワーユニット２と、ステアリングホイール３ａが装備された操舵装置３とを備えている。動力源としては、エンジンまたはモータ、あるいはその両方が用いられる。

車両１は、手動運転モードまたは自動運転モードのいずれかの運転モードで走行可能に構成されている。

手動運転モードは、例えば、運転者の手動による運転操作を主体として車両１を走行させるモードである。手動運転モードには、例えば、運転者の運転操作のみに基づいて車両を走行させる動作モードと、運転者の運転操作を主体としながら運転者の運転操作を支援する運転操作支援制御を行う動作モードが含まれる。

運転操作支援制御は、例えば、車両１のカーブ走行時にカーブの曲率に基づいて運転者の操舵が適切な操舵量となるように操舵トルクをアシストする。また運転操作支援制御には、運転者のアクセル操作（例えばアクセルペダルの操作）またはブレーキ操作（例えばブレーキペダルの操作）を支援する制御と、手動操舵（操舵の手動運転）および手動速度調整（速度調整の手動運転）も含まれる。手動操舵は、運転者のステアリングホイール３ａの操作を主体として車両１の操舵を行う。手動速度調整は、運転者のアクセル操作又はブレーキ操作を主体として車両の速度調整を行う。

なお、運転操作支援制御には、運転者の運転操作に強制的に介入して、車両を自動走行させる制御は含まれない。すなわち、手動運転モードには、予め設定された許容範囲において運転者の運転操作を車両の走行に反映させるが、一定条件（例えば車両の車線逸脱等）の下で車両の走行に強制的に介入する制御は含まれない。

一方、自動運転モードは、例えば、車両の走行する道路に沿って自動で車両を走行させる運転状態を実現するモードである。自動運転モードには、例えば、運転者が運転操作をすることなく、予め設定された目的地に向かって自動的に車両を走行させる運転状態が含まれる。自動運転モードは、必ずしも車両の全ての制御を自動で行う必要はなく、予め設定された許容範囲において運転者の運転操作を車両の走行に反映する運転状態も自動運転モードに含まれる。すなわち、自動運転モードには、予め設定された許容範囲において運転者の運転操作を車両の走行に反映させるが、一定条件の下で車両の走行に強制的に介入する制御が含まれる。

図１において、車両１はまた、自動運転モードによる運転制御を実行するための自動運転制御装置５を備えている。自動運転制御装置５は、ステアリングセンサ１１、アクセルペダルセンサ１２、ブレーキペダルセンサ１３、ＧＰＳ受信機１４、ジャイロセンサ１５、および車速センサ１６からそれぞれセンシング情報を取得する。自動運転制御装置５は、これらのセンシング情報と、図示しないナビゲーションシステムで生成される経路情報や、路車間通信により取得される交通情報、周辺の人や車両の位置と動きを監視する周辺監視システムにより得られる情報をもとに、車両１の走行を自動制御する。

自動制御には、例えば、自動操舵（操舵の自動運転）と自動速度調整（速度の自動運転）がある。自動操舵は、操舵装置３を自動で制御する運転状態である。自動操舵にはＬＫＡ（Lane Keeping Assist）が含まれる。ＬＫＡは、例えば、運転者がステアリング操作をしない場合であっても、車両１が走行車線から逸脱しないように自動で操舵装置３を制御する。なお、ＬＫＡの実行中であっても、車両１が走行車線を逸脱しない範囲（許容範囲）において運転者のステアリング操作を車両の操舵に反映してもよい。なお、自動操舵はＬＫＡに限らない。

自動速度調整は、車両１の速度を自動で制御する運転状態である。自動速度調整にはＡＣＣ（Adaptive Cruise Control）が含まれる。ＡＣＣとは、例えば、車両１の前方に先行車が存在しない場合は予め設定された設定速度で車両１を定速走行させる定速制御を行い、車両１の前方に先行車が存在する場合には先行車との車間距離に応じて車両１の車速を調整する追従制御を行うものである。自動運転制御装置５は、ＡＣＣを実行中であっても、運転者のブレーキ操作（例えばブレーキペダルの操作）に応じて車両１を減速させる。また自動運転制御装置５は、ＡＣＣを実行中であっても、予め設定された最大許容速度（例えば走行中の道路において法的に定められた最高速度）まで、運転者のアクセル操作（例えばアクセルペダルの操作）に応じて車両を加速させることもできる。なお、自動速度調整は、ＡＣＣに限らず、ＣＣ（Cruise Control：定速制御）等も含まれる。

図１において、車両１はまた、運転支援装置６を備えている。運転支援装置６は、さまざまな機能を有していてよい。例えば、運転支援装置６は、運転者監視センサと共働して運転者を監視して運転者の状態を把握する運転者監視システムを構成する運転者監視機能、報知装置と共働して運転者の状態に応じて警告を発する警告出力システムを構成する警告出力機能、運転者の状態に応じて運転モードの切り替えを制御する運転モード切替制御システムを構成する運転モード切替制御機能、車外センサおよび報知装置と共働して運転者の状態に基づいて運転者による視認を支援する視認支援システムを構成する視認支援機能、生体情報センサおよび刺激出力装置と共働して運転者の状態に応じて運転者の覚醒を促す覚醒支援システムを構成する覚醒支援機能などを有していてよい。

運転者の状態は、例えば、運転者が運転に集中しているか否か、運転者が脇見をしているか否か、運転者が眠気を催しているか否か、運転者が運転以外の作業をしているか否か、運転者がパニックを起こしているか否か、運転者が居眠りをしているか否か、また自動運転中であれば、運転者が手動運転に復帰可能な状態であるか否かなど、さまざまであってよい。

運転者の状態はまた、短時間の内に現れた運転者の状態の変化、言い換えれば、運転者の動きも含んでいる。つまり、運転者の状態は、例えば、運転者の視線の動きであってもよい。運転者の視線の動きは、例えば、運転者の視線の方向と、その方向における運転者の視線の滞留時間で把握され得る。

運転者の状態の把握は、例えば、次のようにして行う。まず、運転者監視センサにより運転者監視情報たとえば運転者の監視映像情報を取得する。次に、取得した監視映像情報に基づいて、運転者の眼の開き具合、瞬きの頻度、眼球運動等を分析する。続いて、分析結果に基づいて、運転者の視線の方向と滞留時間、運転者の覚醒度等を認識する。さらに、運転者の視線の方向と滞留時間、運転者の覚醒度等を、予め設定された閾値と比較することにより、運転者の状態を特定する。

この実施形態では、運転支援装置６は、少なくとも、運転者監視機能を実施する運転者監視部６ａと、視認支援機能を実施する視認支援部６ｂとを有している。運転者監視部６ａは、運転者監視センサとしての運転者カメラ７と共働して運転者監視システム８を構成している。また、視認支援部６ｂは、車外監視センサとしての車外カメラ９Ａと共働して車外視認システム１０を構成している。さらに、車外視認システム１０は、警告出力装置９Ｂを有しており、運転者監視システム８と共働して、運転者の見落とし等を指摘する、言い換えれば、運転者による視認を支援する視認支援システムを構成している。また、運転者監視部６ａと視認支援部６ｂは視認支援装置６Ａを構成している。言い換えれば、運転支援装置６は、視認支援装置６Ａを内包している。

運転者監視部６ａにおいて把握される運転者の状態は、少なくとも、運転者の視線の動き、すなわち、運転者の視線の方向と、その方向における運転者の視線の滞留時間を含んでいる。すなわち、運転者監視部６ａは、運転者の視線の方向と滞留時間に関する情報を取得する。

運転者カメラ７は、例えばダッシュボード上のような運転者の正面となる位置に設置され、車両１を運転する運転者を撮像して、運転者監視情報たとえば運転者の映像情報を視認支援装置６Ａへ出力する。

車外カメラ９Ａは、車両１の周辺たとえば前方の所定の範囲を撮像して、車外監視情報たとえば車外の映像情報を視認支援装置６Ａへ出力する。

警告出力装置９Ｂは、例えば、出力機能としてスピーカを有し、視認支援装置６Ａから出力された警告情報をスピーカから出力する。警告出力装置９Ｂはさらに、警告情報を表示する表示器を有していてもよい。警告出力装置９Ｂは、ナビゲーションシステムの音声出力機能や画像表示機能を利用して構成されてもよい。

視認支援装置６Ａは、車外カメラ９Ａおよび警告出力装置９Ｂと共働して、車両１の周辺に対する運転者による視認を支援する装置であり、以下のように構成されている。図２は、その機能構成を示すブロック図である。

視認支援装置６Ａは、制御ユニット６１と、入出力インタフェースユニット６２と、記憶ユニット６３とを備えている。

入出力インタフェースユニット６２は、入力されたアナログ信号をデジタルデータに変換して制御ユニット６１へ出力し、また、制御ユニット６１から出力されたデジタルデータをアナログ信号に変換して出力する。具体的には、入出力インタフェースユニット６２は、運転者カメラ７から入力された運転者監視信号を運転者監視データに変換して制御ユニット６１へ出力する。入出力インタフェースユニット６２はまた、車外カメラ９Ａから入力された車外監視信号を車外監視データに変換して制御ユニット６１へ出力する。入出力インタフェースユニット６２はさらに、制御ユニット６１から出力された警告データを警告信号に変換して警告出力装置９Ｂへ出力する。

記憶ユニット６３は、記憶媒体として、例えばＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）等の随時書き込みおよび読み出しが可能な不揮発性メモリを使用したものである。記憶ユニット６３は、本実施形態を実施するために使用する記憶領域として、運転者監視情報記憶部６３１と、運転者状態情報記憶部６３２と、車外監視情報記憶部６３３と、対象情報記憶部６３４と、グループ情報記憶部６３５と、判定結果情報記憶部６３６とを備えている。記憶ユニット６３は、不揮発性メモリに限らず、ＲＡＭのような揮発性メモリで構成されてもよい。

グループ情報記憶部６３５は、視認支援装置６Ａにより検知される可能性のある対象の種類に従って分類された複数のグループに関するグループ情報を予め記憶している。グループ情報は、例えば、対象の種類とグループの関係を表す分類情報と、運転者による目視時間の判定基準である閾値情報とを含んでいる。閾値情報は、例えば、対象に向けられた運転者の視線の累積滞留時間の閾値を表す情報である。

制御ユニット６１は、コンピュータを構成するＣＰＵ（Central Processing Unit）およびプログラムメモリを有している。制御ユニット６１は、本実施形態を実施するために必要な制御機能として、運転者監視情報取得部６１１と、運転者状態情報取得部６１２と、車外監視情報取得部６１３と、対象検知部６１４と、目視判定部６１５と、警告情報出力部６１６とを備えている。なお、これらの制御機能はいずれもプログラムメモリに格納されたプログラムをＣＰＵに実行させることにより実現される。

運転者監視情報取得部６１１は、運転者カメラ７から出力された運転者監視情報を、入出力インタフェースユニット６２を介して取り込み、この取り込んだ運転者監視情報を記憶ユニット６３の運転者監視情報記憶部６３１に記憶させる。

運転者状態情報取得部６１２は、運転者監視情報記憶部６３１から予め設定された時間間隔で運転者監視情報たとえば運転者の監視映像情報を読み込み、その都度、運転者監視情報に基づいて、運転者の状態に関する状態情報を取得する。状態情報は、これに限らないが、この実施形態では、少なくとも、運転者の視線の方向を表す視線方向情報と、運転者の視線の滞留時間を表す視線滞留時間情報とを含んでいる。運転者状態情報取得部６１２は、取得した状態情報を、記憶ユニット６３の運転者状態情報記憶部６３２に記憶させる。

車外監視情報取得部６１３は、車外カメラ９Ａから出力された車外監視情報たとえば車外の監視映像情報を、入出力インタフェースユニット６２を介して取り込み、この取り込んだ車外監視情報を記憶ユニット６３の車外監視情報記憶部６３３に記憶させる。

対象検知部６１４は、車外監視情報記憶部６３３から予め設定された時間間隔で車外監視情報を読み込み、その都度、車外監視情報に基づいて、対象の検知を行う。ここにおいて、対象とは、車両１の走行にとって障害になり得る存在や、車両１の進行方向上に位置する避けるべき存在を意味している。対象の検知は、車外カメラ９Ａの撮影範囲内に対象が存在するか否かの判定を含んでいる。対象検知部６１４はまた、対象を検知した場合、車外監視情報に基づいて、対象の識別を行う。対象の識別は、対象を位置の検出と、対象の種類の認定を含んでいる。対象の検知と識別は、画像処理技術やパターン認識技術を利用して実施可能である。対象検知部６１４は、対象に関する対象情報、例えば、対象の位置情報と種類情報を含む対象情報を、記憶ユニット６３の対象情報記憶部６３４に記憶させる。対象の位置情報は、例えば、運転者に対する対象の方向を表す情報であってよい。

目視判定部６１５は、予め設定された時間間隔で、運転者状態情報記憶部６３２と対象情報記憶部６３４とグループ情報記憶部６３５から状態情報と対象情報とグループ情報をそれぞれ読み込み、その都度、状態情報と対象情報とグループ情報に基づいて、運転者の目視が適切であったか否かを判定する。詳しくは、目視判定部６１５は、対象の位置情報と運転者の視線方向情報とに基づいて、運転者が対象を目視したか否かを判定する。また、目視判定部６１５は、対象の位置情報と運転者の視線方向情報と運転者の視線滞留時間情報とに基づいて、対象に向けられた運転者の視線の累積滞留時間を表す視線累積滞留時間情報を算出する。さらに、目視判定部６１５は、対象の種類情報と目視時間の閾値情報と運転者の視線累積滞留時間情報とに基づいて、運転者が対象を十分な時間をかけて目視したか否かを判定する。目視判定部６１５は、判定結果情報を、記憶ユニット６３の判定結果情報記憶部６３６に記憶させる。

警告情報出力部６１６は、予め設定された時間間隔で、判定結果情報記憶部６３６から判定結果情報を読み込み、判定結果情報が、運転者の目視が不適切であることを示す場合、警告出力装置９Ｂに警告を発生させる警告情報を出力する。警告情報は、運転者に対象の目視を促す目視喚起情報と、運転者に対象をもっと長く注意深く目視することを促す注視喚起情報とを含んでいる。

（動作例）
次に、前述したように構成された警告装置の動作例を説明する。図３はその全体の制御手順と制御内容を示すフローチャートである。

（１Ａ）運転者の監視と状態把握
運転が開始されると、運転者監視システム８は、ステップＳ１において、運転者の監視を開始する。運転者の監視は、例えば、運転の間中、継続される。

運転が開始されると、運転者カメラ７が起動し、運転者の顔を含む所定の範囲を連続的に撮像してその映像情報である運転者監視情報を出力する。この状態で視認支援装置６Ａは、運転者監視情報取得部６１１の制御の下、運転者カメラ７から出力された運転者監視情報を取り込み、この取り込んだ運転者監視情報を記憶ユニット６３の運転者監視情報記憶部６３１に記憶させる。

運転者監視情報の取得が開始されると、視認支援装置６Ａは、次に運転者状態情報取得部６１２の制御の下、一定時間が経過する毎に、運転者の状態を把握する把握処理を行う。この把握処理の時間間隔は、例えば運転者の状態把握を実質的に連続的に行えるような短時間に設定されるとよい。

運転者状態情報取得部６１２は、運転者監視情報記憶部６３１から予め設定された時間間隔で運転者監視情報を読み込む。次に、運転者状態情報取得部６１２は、運転者監視情報を読み込む毎に、運転者監視情報に基づいて、運転者の状態に関する状態情報を取得する。この実施形態では、状態情報は、少なくとも、運転者の視線の方向を表す視線方向情報と、その方向における運転者の視線の滞留時間を表す視線滞留時間情報とを含んでいる。運転者状態情報取得部６１２は、視線方向情報と視線滞留時間情報を含む状態情報を、記憶ユニット６３の運転者状態情報記憶部６３２に記憶させる。

（１Ｂ）車外の監視
また、運転が開始されると、車外監視システム１０は、運転者監視システム８による運転者の監視に並行して、ステップＳ１において、車外の監視を開始する。車外の監視は、例えば、運転者の監視と同様、運転の間中、継続される。

運転が開始されると、車外カメラ９Ａが起動し、車両１の周辺の所定の範囲を連続的に撮影してその映像情報である車外監視情報を出力する。視認支援装置６Ａは、車外監視情報取得部６１３の制御の下、車外カメラ９Ａから出力された車外監視情報から取り込み、この取り込んだ車外監視情報を記憶ユニット６３の車外監視情報記憶部６３３に記憶させる。

（２）対象の検知
車外監視情報の取得が開始されると、視認支援装置６Ａは、次に対象検知部６１４の制御の下、ステップＳ２において、一定時間が経過する毎に、車外監視情報記憶部６３３から車外監視情報を読み込み、車両１の周辺に存在する対象を検知する処理を行う。この処理は、画像処理技術やパターン認識技術を利用して実施可能である。対象検知部６１４により、対象が検知されない場合は、運転終了を判定するステップＳ９の処理へ進む。反対に、対象検知部６１４により、対象が検知された場合は、対象を識別するステップＳ３の処理へ進む。

（３）対象の識別
対象を検知するステップＳ２の処理において、対象が検知された場合、対象検知部６１４はさらに、ステップＳ３において、対象を識別する処理を行う。ここで、対象を識別する処理は、例えば、対象の位置を検出する処理と、対象の種類を認定する処理を含んでいる。この処理は、画像処理技術やパターン認識技術を利用して実施可能である。対象検知部６１４は、対象の位置情報と種類情報を含む対象情報を記憶ユニット６３の対象情報記憶部６３４に記憶させる。ここにおいて、対象の位置情報は、車両１に対する対象の方向、例えば、車両１の運転者の位置に対して対象が存在する方向を表す対象方向情報であってよい。

前述したように、対象とは、車両１の走行にとって障害になり得る存在や、車両１の進行方向上に位置する避けるべき存在を意味している。対象は、これに限らないが、例えば、人、動物、車両、ボール、標識、ガードレール、縁石、落下物などである。対象の種類を認定する処理は、これに限らないが、例えば、対象が大人であるか、対象が子供であるか、対象が車両であるか、対象がボールであるか、対象が標識であるか、対象が落下物であるか等を特定する処理であってよい。従って、対象の種類情報は、対象が何であるかを表す情報であってよい。

（４）目視の判定
次に、視認支援装置６Ａは、目視判定部６１５の制御の下、ステップＳ４において、運転者が対象を目視したか否かの判定を行う。このため、目視判定部６１５は、一定時間が経過する毎に、運転者の状態に関する状態情報を運転者状態情報記憶部６３２から読み込むとともに、対象に関する対象情報を対象情報記憶部６３４から読み込む。

運転者の状態情報は、運転者の視線の方向を表す視線方向情報と、運転者の視線の滞留時間を表す視線滞留時間情報とを含んでいる。対象に関する対象情報は、対象の位置情報と種類情報を含んでいる。対象の位置情報は、車両１の運転者に対する方向を表す対象方向情報を含んでいる。

次に目視判定部６１５は、運転者の状態情報と対象に関する対象情報とに基づいて、運転者が対象を目視したか否かを判定する。このため、目視判定部６１５は、対象方向情報と視線方向情報を比較し、両者が合致した場合は、運転者が対象を目視したと判定し、両者が合致しなかった場合は、運転者が対象を目視しなかったと判定する。目視判定部６１５は、運転者が対象を目視したか否かを表す判定結果情報を、記憶ユニット６３の判定結果情報記憶部６３６に記憶させる。

目視判定部６１５により、運転者が対象を目視したと判定された場合は、対象のグループを特定するステップＳ５の処理へ進む。反対に、目視判定部６１５により、運転者が対象を目視しなかったと判定された場合は、警告を出力するステップＳ８の処理へ進む。

（５）対象のグループの特定
対象方向情報と視線方向情報の比較の結果、両者が合致した場合、次に、視認支援装置６Ａは、目視判定部６１５の制御の下、ステップＳ５において、検知された対象が属するグループを特定する。

グループ情報記憶部６３５は、視認支援装置６Ａにより検知される可能性のある対象の種類に従って分類された複数のグループに関する情報を予め記憶している。グループ情報は、対象の種類とグループの関係を表す分類情報を含んでいる。グループ情報記憶部６３５は、分類情報を例えばテーブルとして記憶している。

対象の種類は、例えば、大人、子供、車両、ボール、動物、標識、ガードレール、落下物などである。複数のグループは、全体として、視認支援装置６Ａにより検知される可能性のある対象の種類をすべて網羅的に含んでいる。つまり、１つのグループに含まれている対象の種類は、別のグループには含まれていない。従って、検知された対象は、複数のグループのうちのいずれか１つのグループに属する。

複数のグループは、例えば、動きが予測不能な対象を含む第１のグループと、動きが予測可能な対象を含む第２のグループと、動きが実質的にない対象を含む第３のグループとから構成される。第１のグループは、動きが予測不能な対象として、これに限らないが、例えば、子供、ボール、動物を含んでいてよい。第２のグループは、動きが予測可能な対象として、これに限らないが、例えば、大人、車両を含んでいてよい。第３のグループは、実質的に動きのない対象、例えば固定物として、これに限らないが、例えば、標識、ガードレール、落下物を含んでいてよい。

検知された対象が属するグループを特定するため、目視判定部６１５は、視認支援装置６Ａにより検出される可能性のある対象の種類の情報をグループ情報記憶部６３５から順番に読み込み、その都度、検知された対象の種類情報と比較する。この比較の処理は、検知された対象の種類情報が、グループ情報記憶部６３５から読み込んだ対象の種類の情報と合致するまで続ける。検知された対象の種類情報が、グループ情報記憶部６３５から読み込んだ対象の種類の情報と合致した場合に、目視判定部６１５は、その対象を含むグループを、検知された対象が属するグループであると判定する。こうにして、検知された対象が属するグループが特定される。

（６）閾値情報の取得
続いて、視認支援装置６Ａは、目視判定部６１５の制御の下、ステップＳ６において、対象が属するグループに予め設定された閾値情報を取得する。

グループ情報記憶部６３５は、対象の種類とグループの関係を表す分類情報に加えて、運転者による目視時間の判定基準である閾値情報を予め記憶している。閾値情報は、例えば、対象に向けられた運転者の視線の累積滞留時間の閾値を表す情報である。閾値情報は、グループ毎に個別に設定されている。従って、１つのグループに設定された閾値情報は、別のグループに設定された閾値情報とは相違している。

例えば、前述したように、複数のグループが、動きが予測不能な対象を含む第１のグループと、動きが予測可能な対象を含む第２のグループと、動きが実質的にない対象を含む第３のグループとから構成される場合、第１のグループの閾値情報は第２のグループの閾値情報よりも大きく、第２のグループの閾値情報は第３のグループの閾値情報よりも大きく設定されている。例えば、これに限らないが、第１のグループの閾値情報は３秒、第２のグループの閾値情報は１．５秒、第３のグループの閾値情報は０．５秒に設定されていてよい。

動きが実質的にない対象、例えば標識やガードレールなどの固定物に対しては、対象を目視している時間、すなわち、対象に向けられた視線の滞留時間は非常に短くても、運転に必要な情報を収集するには、十分であると考えられる。これに対して、動きが予測可能な対象、例えば大人や車両に対しては、運転に必要な情報を収集するため、動きが実質的にない対象に対してよりも長く目視している必要があると考えられる。さらに、動きが予測可能な対象、例えば子供やボールや動物に対しては、運転に必要な情報を収集するため、動きが予測可能な対象に対してよりもさらに長く目視している必要があると考えられる。

従って、動きが予測可能な対象を含むグループの閾値情報は、動きが予測可能な対象を含むグループの閾値情報よりも大きく設定され、動きが予測可能な対象を含む閾値情報は、動きが実質的にない対象を含むグループの閾値情報よりも大きく設定されている。

（７）目視時間の判定
次に、視認支援装置６Ａは、目視判定部６１５の制御の下、ステップＳ７において、検知された対象に応じた十分な時間をかけて運転者が対象を目視したか否か、つまり、目視に十分な時間をかけたか否かを判定する。運転者が対象を十分な時間をかけて目視したか否かは、運転者が対象を注意深く目視して対象を正確に認識したか否かに関連していると考えられる。

このため、目視判定部６１５は、運転者状態情報記憶部６３２から読み込んだ、運転者の視線の方向を表す視線方向情報と、運転者の視線の滞留時間を表す視線滞留時間情報と、運転者状態情報記憶部６３２から読み込んだ、運転者に対する対象の方向を表す対象の位置情報とに基づいて、対象に向けられた運転者の視線の累積滞留時間を表す視線累積滞留時間情報を算出する。続いて、目視判定部６１５は、算出した視線累積滞留時間情報を、グループ情報記憶部６３５から読み込んだ、検知された対象のグループに予め設定された閾値情報と比較する。

対象に向けられた運転者の視線の累積滞留時間は、簡単に言えば、運転者が対象を目視した時間の合計である。例えば、運転者が、まず第１の対象に視線を向け、次に第２の対象に視線を移した後、再び第１の対象に視線を戻した場合、第１の対象に対する視線累積滞留時間は、第１の対象に向けられた運転者の視線の１度目の滞留時間と２度目の滞留時間との合計である。

目視判定部６１５は、運転者の視線累積滞留時間情報が閾値情報以上である場合、運転者は対象をその種類に対応した十分な時間をかけて目視した、すなわち、運転者の目視は適切であったと判定し、反対に、運転者の視線累積滞留時間情報が閾値情報未満である場合、運転者は対象の目視にその種類に対応した十分な時間をかけなかった、すなわち、運転者の目視は不適切であったと判定する。目視判定部６１５は、判定結果情報を、記憶ユニット６３の判定結果情報記憶部６３６に記憶させる。

（８）警告の出力
視認支援装置６Ａは、警告情報出力部６１６の制御の下、ステップＳ８およびステップＳ９において、必要に応じて、警告出力装置９Ｂに警告を発生させるための警告情報を出力する処理を行う。このため、警告情報出力部６１６は、一定時間が経過する毎に、ステップＳ４における運転者が対象を目視したか否かの判定と、ステップＳ７における運転者の目視が適切であったか否かの判定に関する判定結果情報を判定結果情報記憶部６３６から読み込む。

判定結果情報が、運転者が対象を目視しなかったことを示す場合、警告情報出力部６１６は、対象を目視することを運転者に促すメッセージを警告出力装置９Ｂに出力させる警告情報を出力する。また、判定結果情報が、運転者の目視が不適切であったことを示す場合、警告情報出力部６１６は、再び対象を長く目視することを運転者に促すメッセージを警告出力装置９Ｂに出力させる警告情報を出力する。

警告出力装置９Ｂは、警告情報に従って、警告のメッセージを、例えば音声として出力する。

（９）運転終了判定
続いて、視認支援装置６Ａは、ステップＳ１０において、運転が終了したか否かを判定する。運転が終了していないと判定した場合は、車両１の周辺の対象を検知するステップＳ２の処理に戻る。反対に、運転が終了したと判定した場合は、視認支援の制御を終了する。

（効果）
以上詳述したように、この発明の実施形態では、運転者を監視する運転者監視センサである運転者カメラ７の運転者監視情報に基づいて、運転者の状態に関する状態情報が取得されるとともに、車両１の周辺を監視する車外監視センサである車外カメラ９Ａの車外監視情報に基づいて、車両１の周辺に存在する対象が検知されるとともに、検知された対象に関する対象情報が取得される。

状態情報に含まれる視線方向情報と、対象情報に含まれる対象方向情報とに基づいて、運転者が対象を目視したか否かが判定される。また、状態情報に含まれる視線方向情報と、対象情報に含まれる対象方向情報とに基づいて、状態情報に含まれる視線滞留時間情報とに基づいて、対象に向けられた運転者の視線の累積滞留時間を表す視線累積滞留時間情報が算出される。さらに、対象情報に含まれる種類情報に基づいて、検知された対象が属するグループが特定され、そのグループに設定されたグループ情報である閾値情報と、算出された視線累積滞留時間情報とに基づいて、運転者の目視が適切であったか否かが判定される。

このため、運転者の目視が適切であったか否かは、画一的に判定されるのではなく、対象の種類に応じて判定される。これにより、対象に種類に対応した好適な判定結果が得られる。従って、対象に種類に対応した適切な警告が出力されるようになる。

例えば、画一的な判定においては、長く目視する必要のない固定物の目視に対して、不必要に警告が出力されたり、反対に、長く目視する必要のある子供やボールなどの予測不要な対象の目視に対して、本来ならば出力される必要のある警告が出力されなかったりすることが考えられる。

これに対して、この実施形態では、対象の種類に応じた閾値情報に基づいて、運転者の目視が適切であったか否かが判定される。このため、不必要な警告が出力されたり、本来ならば必要な警告が出力されなかったりすることが避けられる。

すなわち、誤った警報が出力されることが低減される。これにより、不要な処理が低減される。また、誤った警報により、運転者をわずらわせたり、いらだたせたりすることが避けられる。

動きが予測可能な対象に対する閾値は、動きが実質的にない対象に対する閾値よりも長く設定されている。また、動きが予測不能な対象に対する閾値は、動きが予測可能な対象に対する閾値よりも長く設定されている。これにより、運転者は、動きが予測可能な対象に対しては、動きが実質的にない対象よりも、対象を長く目視することが求められる。また、運転者は、動きが予測不能な対象に対しては、動きが予測可能な対象よりも、対象を長く目視することが求められる。

［他の実施形態］
実施形態では、運転者監視センサが運転者カメラ７で構成され、運転者カメラ７により得られる運転者の顔を含む映像情報である運転者監視情報に基づいて運転者の状態を判定する場合を例にとって説明した。しかし、運転者監視センサは、運転者カメラ７に限らず、運転者の動き情報を取得する動きセンサで構成し、動きセンサにより得られる動き情報に基づいて、運転者の状態情報を取得するようにしてもよい。

実施形態では、複数のグループが第１のグループと第２のグループと第３のグループとの３つのグループから構成された例を示したが、複数のグループは、これに限らず、さらに多くのグループから構成されてもよい。

その他、車両の種類、自動運転制御装置の機能、視認支援装置の制御機能と制御手順および制御内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られるものではない。
（付記１）
運転者監視センサと車外監視センサと警告出力装置とを備えた車両の運転者による視認を支援する視認支援装置であって、ハードウェアプロセッサとメモリとを有し、
前記ハードウェアプロセッサが、
前記運転者監視センサの運転者監視情報に基づいて、前記運転者に関する状態情報を取得し、取得した前記状態情報を前記メモリに記憶させ、
前記車外監視センサの車外監視情報に基づいて、前記車両の周辺に存在する対象を検知し、検知した前記対象に関する検知情報を前記メモリに記憶させ、
前記メモリに予め記憶されているグループ毎に予め個別に設定されたグループ情報と、前記検知情報とを前記メモリから読み込み、読み込んだ前記検知情報と前記グループ情報とに基づいて、前記対象が、予め分類された複数のグループのいずれに属するかを特定し、前記状態情報と前記対象が属するグループのグループ情報とに基づいて、前記運転者の目視が適切であったか否かを判定し、その判定結果情報を前記メモリに記憶させ、
前記メモリから前記判定結果情報を読み込み、前記判定結果情報が、前記運転者の目視が不適切であることを示す場合、前記警告出力装置に警告を発生させるための警告情報を出力する、視認支援装置。
（付記２）
運転者監視センサと車外監視センサと警告出力装置とを備えた車両の運転者による視認を支援する視認支援方法であって、
ハードウェアプロセッサを用いて、前記運転者監視センサの運転者監視情報に基づいて、前記運転者に関する状態情報を取得し、取得した前記状態情報をメモリに記憶させ、
前記ハードウェアプロセッサを用いて、前記車外監視センサの車外監視情報に基づいて、前記車両の周辺に存在する対象を検知し、検知した前記対象に関する検知情報を前記メモリに記憶させ、
前記ハードウェアプロセッサを用いて、前記メモリに予め記憶されているグループ毎に予め個別に設定されたグループ情報と、前記検知情報とを前記メモリから読み込み、読み込んだ前記検知情報と前記グループ情報とに基づいて、前記対象検知ステップにより検知された前記対象が、予め分類された複数のグループのいずれに属するかを特定し、前記状態情報と前記対象が属するグループのグループ情報とに基づいて、前記運転者の目視が適切であったか否かを判定し、その判定結果情報を前記メモリに記憶させ、
前記ハードウェアプロセッサを用いて、前記メモリから前記判定結果情報を読み込み、前記判定結果情報が、前記運転者の目視が不適切であることを示す場合、前記警告出力装置に警告を発生させるための警告情報を出力する、視認支援方法。

１…車両、２…パワーユニット、３…操舵装置、３ａ…ステアリングホイール、５…自動運転制御装置、６…運転支援装置、６Ａ…視認支援装置、６ａ…運転者監視部、６ｂ…視認支援部、７…運転者カメラ、８…運転者監視システム、９Ａ…車外カメラ、９Ｂ…警告出力装置、１０…車外監視システム、１１…ステアリングセンサ、１２…アクセルペダルセンサ、１３…ブレーキペダルセンサ、１４…ＧＰＳ受信機、１５…ジャイロセンサ、１６…車速センサ、６１…制御ユニット、６２…入出力インタフェースユニット、６３…記憶ユニット、６１１…運転者監視情報取得部、６１２…運転者状態情報取得部、６１３…車外監視情報取得部、６１４…対象検知部、６１５…目視判定部、６１６…警告情報出力部、６３１…運転者監視情報記憶部、６３２…運転者状態情報記憶部、６３３…車外監視情報記憶部、６３４…対象情報記憶部、６３５…グループ情報記憶部、６３６…判定結果情報記憶部。

Claims (4)

1. 運転者監視センサと車外監視センサと警告出力装置とを備えた車両の運転者による視認を支援する視認支援装置であって、
   前記運転者監視センサの運転者監視情報に基づいて、前記運転者に関する状態情報を取得する運転者状態情報取得部と、
   前記車外監視センサの車外監視情報に基づいて、前記車両の周辺に存在する対象を検知する対象検知部と、
   前記対象が、予め分類された複数のグループのいずれに属するかを特定し、前記状態情報と前記対象が属するグループのグループ情報とに基づいて、前記運転者の目視が適切であったか否かを判定する目視判定部と、
   前記目視判定部により前記運転者の目視が不適切であると判定された場合に、前記警告出力装置に警告を発生させるための警告情報を出力する警告情報出力部とを備え、
   前記状態情報は、前記運転者の視線の方向を表す視線方向情報と、前記運転者の視線の滞留時間を表す視線滞留時間情報とを含み、前記グループ情報は、グループ毎に予め個別に設定された前記運転者の視線の累積滞留時間の閾値を表す閾値情報を含み、前記目視判定部は、前記対象の位置を表す位置情報と前記視線方向情報と前記視線滞留時間情報とに基づいて、前記対象に向けられた前記運転者の視線の累積滞留時間を表す視線累積滞留時間情報を算出し、算出した前記視線累積滞留時間情報を前記閾値情報と比較し、前記視線累積滞留時間情報が前記閾値情報以上である場合、前記運転者の目視が適切であると判定する、視認支援装置。
2. 前記複数のグループは、少なくとも、動きが予測不能な対象を含む第１のグループと、動きが予測可能な対象を含む第２のグループと、動きが実質的にない対象を含む第３のグループとを含み、前記第１のグループの前記閾値情報は前記第２のグループの前記閾値情報よりも大きく、前記第２のグループの前記閾値情報は前記第３のグループの前記閾値情報よりも大きい、請求項１に記載の視認支援装置。
3. 運転者監視センサと車外監視センサと警告出力装置とを備えた車両の運転者による視認を支援する視認支援方法であって、
   前記運転者監視センサの運転者監視情報に基づいて、前記運転者に関する状態情報を取得する運転者状態取得ステップと、
   前記車外監視センサの車外監視情報に基づいて、前記車両の周辺に存在する対象を検知する対象検知ステップと、
   前記対象検知ステップにより検知された前記対象が、予め分類された複数のグループのいずれに属するかを特定し、前記状態情報と前記対象が属するグループのグループ情報とに基づいて、前記運転者の目視が適切であったか否かを判定する目視判定ステップと、
   前記目視判定ステップにより前記運転者の目視が不適切であると判定された場合に、前記警告出力装置に警告を発生させるための警告情報を出力する警告情報出力ステップとを有し、
   前記状態情報は、前記運転者の視線の方向を表す視線方向情報と、前記運転者の視線の滞留時間を表す視線滞留時間情報とを含み、前記グループ情報は、グループ毎に予め個別に設定された前記運転者の視線の累積滞留時間の閾値を表す閾値情報を含み、前記目視判定ステップは、前記対象の位置を表す位置情報と前記視線方向情報と前記視線滞留時間情報とに基づいて、前記対象に向けられた前記運転者の視線の累積滞留時間を表す視線累積滞留時間情報を算出し、算出した前記視線累積滞留時間情報を前記閾値情報と比較し、前記視線累積滞留時間情報が前記閾値情報以上である場合、前記運転者の目視が適切であると判定する、視認支援方法。
4. 請求項１または請求項２に記載の視認支援装置が備える各部の機能または請求項３に記載の視認支援方法の各ステップの処理をコンピュータに実行させるプログラム。