JP6536443B2 - 視線学習システムおよび視線学習プログラム - Google Patents

Description

本発明は、視線学習システムおよび視線学習プログラムに関する。

従来、計測対象者の頭部運動と眼球運動とに基づいて視線軸を演算する技術が知られている（特許文献１、参照）。特許文献１において、視線軸を演算することにより、計測対象者が注目している物体を予測できる。

特開２００７−３４６２号公報

しかしながら、頭部運動と眼球運動と視線軸との関係を計測対象者ごとに予め学習しておく必要があった。すなわち、位置が既知の物体を計測対象者が視認する状況で、頭部運動と眼球運動を計測する処理を繰り返して学習を行う必要があり、煩雑であった。
本発明は、前記課題にかんがみてなされたもので、視線の学習が煩雑とならない技術を提供することを目的とする。

前記の目的を達成するため、本発明の視線学習システムは、運転時における運転者の顔状態を取得する取得部と、運転時における車両の運転状況に基づいて運転者が視認している視認物体を予測する予測部と、視認物体の位置から導出した視線と顔状態とを対応付けて記録した学習情報を作成する作成部と、を備える。

前記の目的を達成するため、本発明の視線学習プログラムは、コンピュータを、運転時における車両の運転状況に基づいて運転者が視認している視認物体を予測する予測部、運転時における運転者の顔状態を取得する取得部、視認物体の位置から導出した視線と顔状態とを対応付けて記録した学習情報を作成する作成部、として機能させる。

前記の構成において、運転時における車両の運転状況に基づいて運転者が視認している視認物体を予測するため、位置が既知の物体を運転者に視認してもらなくても済む。運転者は、車両を運転していればよいため、視線の学習が煩雑とならない。運転時に学習を繰り返すことができるため、学習回数を増大させることができ信頼度を向上させることができる。

ナビゲーションシステムのブロック図である。 図２Ａ，図２Ｂは道路の平面図であり、図２Ｃは視線学習処理のフローチャートである。

ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）ナビゲーションシステムの構成：
（２）視線学習処理：
（３）他の実施形態：

（１）ナビゲーションシステムの構成：
図１は、本発明の一実施形態にかかる視線学習システムとしてのナビゲーションシステム１０の構成を示すブロック図である。ナビゲーションシステム１０は、車両に備えられている。ナビゲーションシステム１０は、制御部２０と記録媒体３０とを備えている。
制御部２０は、ＣＰＵとＲＡＭとＲＯＭ等を備え、記録媒体３０やＲＯＭに記憶されたナビゲーションプログラム２１を実行する。

記録媒体３０は、地図情報３０ａと学習情報３０ｂとを記録している。地図情報３０ａは、物体データベース３０ａ１を含む。地図情報３０ａは、２個のノード間を接続するリンクを特定するリンクデータと、前記ノードを示すノードデータ等を含む。リンクは車両が走行可能な道路区間を意味し、ノードは道路区間の始点または終点に相当する交差点を意味する。

物体データベース３０ａ１は、地上に存在する各種物体についての情報である物体情報を蓄積したデータベースである。物体情報は、物体ごとに少なくとも位置と形状と属性とを示す情報である。本実施形態において、物体データベース３０ａ１に物体情報が蓄積される物体には、少なくとも施設の看板と信号機と交通標識とが含まれる。属性とは、施設の看板と信号機と交通標識の区別であり、属性が交通標識や看板の物体情報にはさらに交通標識の内容（交差点名、一時停止、制限速度等）や看板の内容（施設名称等）が対応付けられている。物体データベース３０ａ１において、物体の位置と形状はワールド座標系において特定されている。

学習情報３０ｂは、運転者の顔状態と視線との対応関係を示す情報である。本実施形態において、運転者の顔状態は、顔の位置と顔の方向と瞳孔の方向である。学習情報３０ｂにおいては、顔の位置と顔の方向（顔の正面が向いている方向）と瞳孔の方向との組み合わせごとに、視線の方向が規定されている。制御部２０は、学習情報３０ｂを参照することにより、運転者の顔状態から運転者の視線の方向を導出する。顔の方向と瞳孔の方向は車両座標系において特定されており、視線の方向も車両座標系において特定されている。車両座標系とは、車両を基準にして定義された座標系であり、例えば車長方向（進行方向）と車幅方向と車高方向とを基準とする３次元の座標系である。瞳孔の方向は、顔の基準方向（例えば顔の正面の方向）を基準とする座標系において特定されてもよい。

車両は、ＧＰＳ受信部４１と車速センサ４２とジャイロセンサ４３と顔状態センサ４４とユーザＩ／Ｆ部４５とを備えている。ＧＰＳ受信部４１は、ＧＰＳ衛星からの電波を受信し、図示しないインタフェースを介して車両の現在地を算出するための信号を出力する。車速センサ４２は、車両が備える車輪の回転速度に対応した信号を出力する。制御部２０は、図示しないインタフェースを介してこの信号を取得し、車速を取得する。ジャイロセンサ４３は、車両の水平面内の旋回についての角加速度を検出し、車両の向きに対応した信号を出力する。制御部２０は、この信号を取得して車両の進行方向を取得する。制御部２０は、車速センサ４２およびジャイロセンサ４３等の出力信号に基づいて車両の走行軌跡を特定することで車両の現在地を取得する。ＧＰＳ受信部４１の出力信号は、車速センサ４２およびジャイロセンサ４３等から特定される車両の現在地を補正する等に利用される。

顔状態センサ４４は、顔状態としての顔の位置と顔の方向と瞳孔の方向とを検出するセンサである。顔状態センサ４４は、顔の位置と方向を検出する可視光のカメラと、瞳孔の方向を検出する可視光または赤外光のカメラとを含む。むろん、顔状態センサ４４は、単一のカメラであってもよいし、距離センサを含んでもよい。制御部２０は、顔状態センサ４４が検出した顔状態に基づいて車両座標系における視線の方向を特定し、さらに車両の現在地と進行方向とに基づいて視線の方向をワールド座標系で特定する。さらに、制御部２０は、ワールド座標系において、運転者の顔の位置（両目の中央位置）から視線の方向に延びる直線を特定することにより、当該直線上に存在する物体を運転者が視認していると推定する。

ユーザＩ／Ｆ部４５は、ユーザに各種の情報を提供し、またはユーザの指示を入力するためのインタフェース部であり、本実施形態においては図示しないタッチパネルディスプレイと音声を出力するスピーカーとを備えている。制御部２０は、当該ユーザＩ／Ｆ部４５に対して制御信号を出力して任意の画像を表示し、任意の音声をスピーカーから出力する。また、制御部２０は、タッチパネルディスプレイに対するタッチ操作に基づいて利用者の設定（目的地の設定等）を取得する。

ナビゲーションプログラム２１は、本発明の視線学習プログラムに相当する。ナビゲーションプログラム２１は、取得モジュール２１ａと予測モジュール２１ｂと作成モジュール２１ｃと案内モジュール２１ｄとを含む。取得モジュール２１ａと予測モジュール２１ｂと作成モジュール２１ｃとは、それぞれコンピュータとしての制御部２０を取得部と予測部と作成部として機能させるプログラムモジュールである。

取得モジュール２１ａの機能により制御部２０は、運転時における運転者の顔状態を取得する。すなわち、取得モジュール２１ａの機能により制御部２０は、顔状態としての顔の位置と顔の方向と瞳孔の方向とを顔状態センサ４４から取得する。

予測モジュール２１ｂの機能により制御部２０は、運転時における車両の運転状況に基づいて運転者が視認している視認物体を予測する。具体的に、予測モジュール２１ｂの機能により制御部２０は、運転時として、ＡＣＣ電源（アクセサリーポジション電源）がＯＮとなっている期間において視認物体を予測する。つまり、制御部２０は、ナビゲーションシステム１０の電源がＯＮとなっている期間において視認物体を予測する。

具体的に、予測モジュール２１ｂの機能により制御部２０は、地図情報３０ａと、車両の現在地とに基づいて視認物体を予測する。予測モジュール２１ｂの機能により制御部２０は、顔状態センサ４４が検出した運転者の顔の方向と、車両の現在地と進行方向に基づいて、ワールド座標系において運転者の顔の方向を特定する。そして、制御部２０は、ワールド座標系における運転者の顔の方向に基づいて、運転者の視認可能範囲を特定する。例えば、視認可能範囲は、運転者の顔の位置から一定の距離（例えば２００ｍ）以内、かつ、運転者の顔の方向からのずれ角が閾値以下の円錐状の範囲であってもよい。閾値は、例えば人間の動体視野角に基づいて設定された角度であり、車速に応じて設定されてもよい。制御部２０は、運転者の視認可能範囲内に物体データベース３０ａ１に規定された物体が存在する場合、当該物体を視認物体として予測する。物体データベース３０ａ１に規定された物体が視認可能範囲内に複数存在する場合、制御部２０は、これらの物体のなかから最も車両の現在地に近い物体を視認物体として選択してもよいし、顔の方向からのずれ角が最も小さい位置に存在する物体を視認物体として選択してもよい。

予測モジュール２１ｂの機能により制御部２０は、運転者が視認物体を視認していることの信頼度を取得する。すなわち、制御部２０は、真に視認物体を視認していることの信頼度（以下、単に視認物体の信頼度）を取得する。具体的に、予測モジュール２１ｂの機能により制御部２０は、ナビゲーションシステム１０の案内状況と視認物体との関係性に基づいて視認物体の信頼度を取得する。ナビゲーションシステム１０の案内状況とは、後述する案内モジュール２１ｄの機能によって行われる音声案内の案内内容と案内時刻である。

表１は、視認物体の信頼度を加算する場合を例示した一覧表である。制御部２０は、すべての視認物体に対して信頼度として初期値を設定し、表１に記載された条件に適合する視認物体に対して信頼度を加算する。ここで加算する信頼度の大きさは、一定の値であってもよいし、該当する表１の条件（列ごと）ごとに可変の値であってもよいし、視認物体の形状や大きさに応じて可変の値であってもよい。

表１に示すように、制御部２０は、視認物体を視認したと予測される時刻（視認可能範囲内に視認物体が存在した時刻）が、音声案内が行われた案内時刻の直後の一定期間内であり、かつ、音声案内された物体または音声案内された物を表す標識や看板が視認物体である場合に、当該視認物体の信頼度を加算する。例えば、図２Ａに示すように、走行予定経路Ｒ上を走行する際に『交差点Ａを右折です』という音声案内が車両（白三角）にてされた場合、制御部２０は、視認物体としての交差点Ａの名称を示す標識の信頼度を加算してもよい。一定期間とは、予め長さ（例えば１５秒）が決められた期間である。

また、制御部２０は、視認物体を視認したと予測される時刻が音声案内が行われた案内時刻の直後の一定期間内であり、かつ、視認物体が音声案内された地点の付近に存在する場合に、当該視認物体の信頼度を加算する。例えば、『３００ｍ先を右折です』という音声案内がされた場合、３００ｍ前方の交差点から基準距離（例えば５０ｍ）以内に視認物体が存在するか否かを判定する。そして、制御部２０は、視認物体が３００ｍ前方の交差点から基準距離以内に存在する場合に、当該視認物体の信頼度を加算する。例えば、図２Ｂに示すように、案内されている交差点の付近に存在する施設Ｂの看板が視認物体であり、かつ、当該施設を表すアイコンＩがタッチパネルディスプレイ上に表示されている場合に、制御部２０は、当該視認物体としての施設Ｂの看板の信頼度を加算してもよい。

さらに、予測モジュール２１ｂの機能により制御部２０は、車両の運転操作と視認物体との関係性に基づいて信頼度を取得する。表１に示すように、制御部２０は、視認物体を視認したと予測される時刻が発進時刻の前の一定期間内であり、かつ、視認物体が信号機である場合に、当該視認物体の信頼度を加算する。この場合、制御部２０は、信号機における青灯を視認物体として詳細に予測してもよい。また、制御部２０は、視認物体を視認したと予測される時刻が停車時刻の前の一定期間内であり、かつ、視認物体が信号機である場合に、当該視認物体の信頼度を加算する。この場合、制御部２０は、信号機における黄灯や赤灯を視認物体として詳細に予測してもよい。発進時刻や停車時刻の前の一定期間の長さは、車両の現在地から信号機までの距離が大きいほど大きく設定されてもよい。信号機までの距離が大きいほど、青現示と赤現示を視認してから実際に発進と停車が行われるまでの遅延が大きくなるからである。さらに、制御部２０は、視認物体を視認したと予測される時刻が加減速時刻（加速度の絶対値が閾値以上）前の一定期間内であり、かつ、視認物体が制限速度の標識である場合に、当該視認物体の信頼度を加算してもよい。なお、制御部２０は、ＧＰＳ受信部４１や車速センサ４２やジャイロセンサ４３等からの信号に基づいて車両の発進や停車を検知すればよい。むろん、制御部２０は、車両のＥＣＵ（Electronic Control Unit）と通信することにより各種の運転操作が行われたことを検知してもよい。

作成モジュール２１ｃの機能により制御部２０は、視認物体の位置から導出した視線と顔状態とを対応付けて記録した学習情報３０ｂを作成する。作成モジュール２１ｃの機能により制御部２０は、物体データベース３０ａ１に規定された視認物体の位置を車両座標系において特定し、当該車両座標系において運転者の顔の位置（両目の中央位置）と視認物体の位置とを結ぶ線を視線として特定する。そして、制御部２０は、視認物体を視認したと予測される時刻にて取得された車両座標系における運転者の顔の状態と、車両座標系における視線の方向との対応関係を蓄積した学習情報３０ｂを作成する。また、制御部２０は、新たに視認物体を視認したと予測した場合、当該視認物体を視認したと予測される時刻にて取得された運転者の顔の状態と、視線の方向との対応関係を追加して学習情報３０ｂを更新する。

作成モジュール２１ｃの機能により制御部２０は、視認物体の信頼度に基づいて学習情報３０ｂを作成する。作成モジュール２１ｃの機能により制御部２０は、運転者の顔の状態と視線の方向との対応関係に、さらに視認物体の信頼度も対応付けて学習情報３０ｂに記録する。そして、運転者の顔の状態が一致する複数の対応関係が学習情報３０ｂに記録されている場合、制御部２０は、視認物体の信頼度に基づいて複数の対応関係を統合する。例えば、制御部２０は、運転者の顔の状態が一致する複数の対応関係の視線の方向を、視認物体の信頼度に応じた重みで加重平均することにより、運転者の顔の状態が一致する複数の対応関係を統合してもよい。また、制御部２０は、運転者の顔の状態が一致する複数の対応関係の視線の方向のうち、最も視認物体の信頼度が高い視線の方向を選択することにより、運転者の顔の状態が一致する複数の対応関係を統合してもよい。

案内モジュール２１ｄの機能により制御部２０は、走行予定経路Ｒを案内する。具体的に、制御部２０は、ダイクストラ法等の公知の経路探索手法で走行予定経路Ｒを探索し、当該走行予定経路Ｒ上に車両を走行させるための案内をユーザＩ／Ｆ部４５に行わせる。本実施形態において、制御部２０は、少なくとも走行予定経路Ｒ上において車両の進行方向が基準角度（例えば３０℃）以上変化する交差点を案内する。具体的に、制御部２０は、交差点の名称や交差点までの距離をユーザＩ／Ｆ部４５のスピーカーにて音声案内させる。

さらに、案内モジュール２１ｄの機能により制御部２０は、運転者の視線に基づいて運転者が視認している物体を推定し、当該推定の結果に基づく案内をユーザＩ／Ｆ部４５に行わせる。すなわち、制御部２０は、現在の運転者の顔の状態を、すでに作成されている学習情報３０ｂにて検索し、当該顔の状態に対応付けられている視線の方向を特定する。そして、制御部２０は、車両の現在地と進行方向とに基づいて、現在の運転者の顔の位置（両目の中央位置）と視線の方向とをワールド座標系にて特定し、当該ワールド座標系における顔の位置から視線の方向に延びる直線上に存在する物体を物体データベース３０ａ１にて検索する。さらに、制御部２０は、検索された物体を運転者が視認していると推定する。このように運転者が視認している物体が推定できた場合、制御部２０は、当該物体の位置を基準に走行予定経路Ｒを案内する。例えば、図２Ｂに示すように、運転者が施設Ｂの看板を視認していると推定した場合、制御部２０は、『現在見ている看板を右折です』等の音声案内を行う。

以上説明した本実施形態において、運転時における車両の運転状況に基づいて運転者が視認している視認物体を予測するため、位置が既知の物体を運転者に視認してもらなくても済む。運転者は、車両を運転していればよいため、視線の学習が煩雑とならない。また、運転時に学習を繰り返すことができるため、学習回数を増大させることができ信頼度を向上させることができる。また、制御部２０は、地図情報３０ａと現在地とに基づいて運転者と物体との位置関係を特定でき、当該位置関係に基づいて運転者が視認している視認物体を絞り込むことができる。

さらに、運転者が真に視認物体を視認していることの信頼度に基づいて学習情報３０ｂを作成することにより、学習情報３０ｂの精度を向上させることができる。制御部２０は、ナビゲーションシステム１０の案内状況と視認物体との関係性に基づいて視認物体の信頼度を取得するため、特定の物体を視認するように促される案内状況となっている場合に、当該特定の物体が視認物体であることの信頼度が高いと推定できる。さらに、制御部２０は、車両の運転操作と視認物体との関係性に基づいて視認物体の信頼度を取得するため、運転操作と密接な関係を有する視認物体についての信頼度を高くすることができる。

（２）視線学習処理：
次に、ナビゲーションプログラム２１の機能により実行される視線学習処理を説明する。図２Ｃは視線学習処理のフローチャートである。まず、制御部２０は、運転開始を検知する（ステップＳ１００）。具体的に、制御部２０は、ＡＣＣ電源がＯＮとなった場合に運転開始を検知する。厳密には、ＡＣＣ電源がＯＮとなるのに応じてナビゲーションプログラム２１が起動し、ナビゲーションプログラム２１の起動が完了した段階で視線学習処理が開始することとなる。

次に、予測モジュール２１ｂの機能により制御部２０は、運転者の顔状態と車両の現在地と進行方向を取得する（ステップＳ１１０）。運転者の顔状態を取得するタイミングは、運転者が何らかの物体を注視しているタイミングであることが望ましい。例えば、制御部２０は、運転者の顔状態が大きく変化していないタイミング（顔状態の変化量が閾値以下のタイミング）において、運転者が何らかの物体を注視していると見なし、タイミング運転者の顔状態と車両の現在地と進行方向を取得してもよい。

次に、予測モジュール２１ｂの機能により制御部２０は、車両の現在地と進行方向と運転者の顔の方向とに基づいて、運転者の視認可能範囲を特定する（ステップＳ１２０）。すなわち、制御部２０は、顔状態センサ４４が検出した車両座標系における運転者の顔の位置と顔の方向とを、車両の現在地と進行方向とに基づいてワールド座標系の位置と方向に変換し、ワールド座標系における運転者の顔の位置と顔の方向とに基づいて運転者の視認可能範囲を特定する。例えば、視認可能範囲は、運転者の顔の位置から一定の距離以内、かつ、運転者の顔の方向からのずれ角が閾値以下の円錐状の範囲であってもよい。

次に、予測モジュール２１ｂの機能により制御部２０は、物体データベース３０ａ１に規定された物体のうち視認可能範囲内の物体を視認物体として予測する（ステップＳ１３０）。物体データベース３０ａ１に規定された物体が視認可能範囲内に複数存在する場合、制御部２０は、これらの物体のなかから最も車両の現在地に近い物体を視認物体として選択してもよいし、顔の方向からのずれ角が最も小さい位置に存在する物体を視認物体として選択してもよい。

次に、予測モジュール２１ｂの機能により制御部２０は、真に視認物体を視認していることの信頼度（視認物体の信頼度）を取得する（ステップＳ１４０）。表１に示すように、制御部２０は、案内モジュール２１ｄにおける案内状況と視認物体との関係性や運転操作と視認物体との関係性に基づいて視認物体の信頼度を取得する。

次に、作成モジュール２１ｃの機能により制御部２０は、視認物体の信頼度に基づいて学習情報３０ｂを更新する（ステップＳ１５０）。すなわち、制御部２０は、物体データベース３０ａ１に規定された視認物体の位置を車両座標系において特定し、当該車両座標系において運転者の顔の位置と視認物体の位置とを結ぶ線を視線として特定する。そして、制御部２０は、視認物体を視認した際の運転者の顔の状態と、車両座標系における視線の方向と、視認物体の信頼度との対応関係を学習情報３０ｂに追加記録する。

ここで、運転者の顔の状態が一致する対応関係が学習情報３０ｂにすでに記録されている場合、制御部２０は、視認物体の信頼度に基づいて運転者の顔の状態が一致する既存の対応関係と、今回得られた対応関係とを統合して更新記録する。例えば、制御部２０は、運転者の顔の状態が一致する既存の対応関係の視線の方向と、新たに得られた対応関係の視線の方向とを、視認物体の信頼度に応じた重みで加重平均した方向で、当該顔の状態に対応する視線の方向を更新記録する。また、制御部２０は、運転者の顔の状態が一致する既存の対応関係の視認物体の信頼度と、新たに得られた対応関係の視認物体の信頼度との平均値で、当該顔の状態に対応する視認物体の信頼度を更新記録する。

そして、制御部２０は、運転終了となったか否かを判定する（ステップＳ１６０）。具体的に、制御部２０は、ＡＣＣ電源がＯＦＦとなった場合に運転終了となったと判定する。運転終了となったと判定しなかった場合（ステップＳ１６０：Ｎ）、制御部２０はステップＳ１００に戻る。すなわち、制御部２０は、車両の運転時において、運転者の顔の状態と視線の方向と視認物体の信頼度とを追加記録する処理を繰り返して実行する。運転終了となったと判定した場合（ステップＳ１６０：Ｙ）、制御部２０は視線学習処理を終了する。以上説明した視線学習処理を車両の運転時において行うことにより、学習回数を多くし学習情報３０ｂの統計信頼度を向上させることができる。さらに、視認物体の信頼度が高い視線の方向を重み付けて学習するため、学習情報３０ｂの統計信頼度を向上させることができる。

（３）他の実施形態：
前記実施形態においては、予めステップＳ１３０にて視認物体を１個に絞り込んだが、必ずしも視認物体を１個に絞り込まなくてもよい。すなわち、制御部２０は、ステップＳ１３０にて複数の視認物体を予測しておき、ステップＳ１４０にて当該複数の視認物体のうち最も信頼度が高い視認物体に絞り込んでもよい。

また、制御部２０は、必ずしも地図情報３０ａと、車両の現在地とに基づいて視認物体を予測しなくてもよい。例えば、制御部２０は、表１に例示された視認物体の位置や形状を地図情報３０ａから取得するのではなく、車両の前方風景を撮像した画像の画像認識に基づいて取得してもよい。画像認識に基づいて視認物体を予測する場合、地図情報３０ａに定義不能な動的な物体も視認物体として予測可能となる。

表２に示すように、制御部２０は、動的な物体として前方車両のブレーキランプを視認物体として予測してもよい。ブレーキランプを視認物体として予測した場合において、制御部２０は、運転操作としての発進や停車や減速が行われていれば視認物体の信頼度を加算してもよい。運転者は、前方車両のブレーキランプの消灯を視認してから発進を行う可能性が大きいし、前方車両のブレーキランプの点灯を視認してから停車や減速を行う可能性が大きいからである。また、制御部２０は、急減速時における車両の前方の歩行者や自転車が視認物体である場合に、当該視認物体の信頼度を加算してもよい。

さらに、制御部２０は、画像認識に基づいて動的な外部環境変化を検知してもよい。表２に示すように、制御部２０は、外部環境変化として信号変化を検知し、信号変化時刻前後の一定期間内における視認物体が信号機であれば、当該視認物体の信頼度を加算してもよい。

また、視認物体は車両外部の物体に限られず、視認物体は車両が備える物体であってもよい。表２に示すように、制御部２０は、車両に対する操作の受付時における操作部が視認物体である場合に、当該視認物体の信頼度を加算してもよい。操作部とは、例えば車両の操作パネルに備えられたスイッチやダイヤル等であってもよい。また、表２に示すように、制御部２０は、車両が後退する後退期間におけるルームミラーやサイドミラーやタッチパネルディスプレイ（バックモニター）が視認物体である場合に、当該視認物体の信頼度を加算してもよい。さらに、表２に示すように、制御部２０は、レーン変更時刻前の一定期間内におけるルームミラーやサイドミラーが視認物体である場合に、当該視認物体の信頼度を加算してもよい。また、表２に示すように、制御部２０は、加減速時刻前後の一定期間内における速度計が視認物体である場合に、当該視認物体の信頼度を加算してもよい。

さらに、予測モジュール２１ｂの機能により制御部２０は、顔状態に基づいて信頼度を取得してもよい。具体的に、制御部２０は、顔状態の単位時間当たりの変化量が小さいほど、視認物体の信頼度を高くしてもよい。顔状態の単位時間当たりの変化量が小さいほど、１個の物体を注視している可能性が大きくなるからである。このように、顔状態に基づいて信頼度を設定することにより、視認物体を注視している可能性が大きいほど高い信頼度を設定できる。

また、本発明においては、運転時の運転状況に基づいて視認物体を予測して運転者の視線を学習すればよく、必ずしも制御部２０は、視認物体の信頼度に基づいて運転者の視線を学習しなくてもよい。また、制御部２０は、必ずしもナビゲーションシステム１０の案内状況と視認物体との関係性に基づいて信頼度を取得しなくてもよい。すなわち、本発明において、走行予定経路Ｒの案内は必須とならない。また、本発明は、視線を学習するシステムであればよく、視線を学習した結果を利用して行う案内も必須とならない。さらに、制御部２０は、必ずしも運転操作と視認物体との関係性に基づいて信頼度を取得しなくてもよい。

運転時とは、運転者が車両に最初の操作を行ってから最後の操作を行うまでの期間であってもよいし、車両が公道を走行している期間であってもよい。運転状況とは、運転時に変化する状況であり、車両内部の状況であってもよいし、車両外部の状況であってもよい。運転時においては、運転状況が変化することとなるため、当該変化が生じた時刻ごとに運転者が視認する視認物体が変化することとなる。従って、予測部は、運転状況の変化が生じた時刻ごとに視認物体を予測してもよい。視認物体とは、車両内部の物体であってもよいし、車両外部の物体であってもよい。また、視認物体は位置が既知の物体であればよく、視認物体の位置に基づいて視線が導出可能であればよい。

顔状態とは、顔全体の位置や方向を含み、瞳孔や瞼の状態を含んでもよい。また、顔状態とは単一時刻における状態のみならず、顔の状態の経時変化（瞬き等）を含んでもよい。顔状態は、カメラや距離センサ等の検出結果に基づいて取得されたものであってもよい。作成部は、学習情報を新たに作成してもよいし、運転時に新たに取得した視線と顔状態との対応関係に基づいて既存の学習情報を更新してもよい。運転時に視線と顔状態との対応関係を蓄積できるため、信頼度が向上するように学習情報を更新していくことができる。学習情報が作成できれば、当該学習情報を参照することにより、顔状態に基づいて視線を導出することができる。導出した視線は、運転者に提供する各種案内や注意喚起に用いることができる。学習情報とは、顔状態と視線との対応関係を規定したテーブルであってもよいし、顔状態から視線を導出可能なテーブルや変換関数であってもよい。視線とは、少なくとも運転者が視認している方向を含み、運転者が視認している物体の距離（焦点距離）を含んでもよい。

ここで、予測部は、地図情報と、車両の現在地とに基づいて視認物体を予測してもよい。この構成において、地図情報と現在地とに基づいて運転者と物体との位置関係を特定でき、当該位置関係に基づいて運転者が視認している視認物体を絞り込むことができる。なお、顔の状態に基づいて運転者が視認している視認物体を絞り込んでもよい。例えば、予測部は、顔の正面の方向からのずれ角が閾値以内の方向に存在する物体に視認物体を絞り込んでもよい。

さらに、予測部は、運転者が視認物体を視認していることの信頼度を取得し、作成部は、信頼度に基づいて学習情報を作成してもよい。運転者が真に視認物体を視認していることの信頼度に基づいて学習情報を作成することにより、学習情報の精度を向上させることができる。例えば、信頼度が基準値以下の視認物体から導出された視線は学習情報の作成において考慮しないようにしてもよいし、信頼度が高い視認物体から導出された視線ほど重視するように学習情報が作成されてもよい。

予測部は、ナビゲーションシステムの案内状況と視認物体との関係性に基づいて信頼度を取得してもよい。ナビゲーションシステムの案内状況が、特定の物体を視認するように促される状況となっている場合に、当該特定の物体が視認物体であることの信頼度が高いと推定できる。例えば、ナビゲーションシステムが視認物体や当該視認物体の周辺についての案内や注意喚起をしている際には、当該視認物体を視認していることの信頼度が高いと推定できる。

さらに、予測部は、車両の運転操作と視認物体との関係性に基づいて信頼度を取得してもよい。特定の物体を視認することと特定の運転操作とが密接な関係にあり、当該特定の運転操作が行われている場合には当該特定の物体が視認物体であることの信頼度が高いと推定できる。ある視認物体を視認したことが原因で行われる運転操作は、当該視認物体と密接な関係にあると言える。反対に、ある運転操作を行っている最中や行った後に視認すべき視認物体は、当該運転操作と密接な関係にあると言える。むろん、運転者が手を触れて運転操作を行うスイッチ等の視認物体は、当該運転操作と密接な関係にあると言える。ここで、運転操作とは、運転時に検出される運転者の行動であればよく、必ずしも車両の運動状態に影響を与える操作に限らない。

さらに、予測部は、顔状態に基づいて信頼度を取得してもよい。何らかの視認物体を注視している可能性は顔状態に基づいて予測できる。従って、顔状態に基づいて信頼度を設定することにより、視認物体を注視している可能性が大きいほど高い信頼度を設定できる。

さらに、本発明のように、運転時の運転状況に基づいて視認物体を予測して運転者の視線を学習する手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。例えば、以上のような装置を備えたナビゲーションシステム、視線学習システムや方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、装置を制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。

１０…ナビゲーションシステム、２０…制御部、２１…ナビゲーションプログラム、２１ａ…取得モジュール、２１ｂ…予測モジュール、２１ｃ…作成モジュール、２１ｄ…案内モジュール、３０…記録媒体、３０ａ…地図情報、３０ａ１…物体データベース、３０ｂ…学習情報、４１…ＧＰＳ受信部、４２…車速センサ、４３…ジャイロセンサ、４４…顔状態センサ、４５…ユーザＩ／Ｆ部、Ｉ…アイコン

Claims (6)

1. 運転時における運転者の顔状態を取得する取得部と、
   前記運転時における車両の運転状況に基づいて前記運転者が視認している視認物体を予測する予測部と、
   前記視認物体の位置から導出した視線と前記顔状態とを対応付けて記録した学習情報を作成する作成部とを備え、
   前記予測部は、ナビゲーションシステムの案内状況と前記視認物体との関係性に基づいて、前記運転者が前記視認物体を視認していることの信頼度を取得し、
   前記作成部は、前記信頼度に基づいて前記学習情報を作成する、
   視線学習システム。
2. 運転時における運転者の顔状態を取得する取得部と、
   前記運転時における車両の運転状況に基づいて前記運転者が視認している視認物体を予測する予測部と、
   前記視認物体の位置から導出した視線と前記顔状態とを対応付けて記録した学習情報を作成する作成部とを備え、
   前記予測部は、前記車両の運転操作と前記視認物体との関係性に基づいて、前記運転者が前記視認物体を視認していることの信頼度を取得し、
   前記作成部は、前記信頼度に基づいて前記学習情報を作成する、
   視線学習システム。
3. 前記予測部は、地図情報と、前記車両の現在地とに基づいて前記視認物体を予測する、
   請求項１または請求項２に記載の視線学習システム。
4. 前記予測部は、前記顔状態に基づいて前記信頼度を取得する、
   請求項１から請求項３のいずれか一項に記載の視線学習システム。
5. コンピュータを、
   運転時における運転者の顔状態を取得する取得部、
   前記運転時における車両の運転状況に基づいて前記運転者が視認している視認物体を予測する予測部、
   前記視認物体の位置から導出した視線と前記顔状態とを対応付けて記録した学習情報を作成する作成部、
   として機能させ、
   前記予測部は、ナビゲーションシステムの案内状況と前記視認物体との関係性に基づいて、前記運転者が前記視認物体を視認していることの信頼度を取得し、
   前記作成部は、前記信頼度に基づいて前記学習情報を作成する、
   視線学習プログラム。
6. コンピュータを、
   運転時における運転者の顔状態を取得する取得部、
   前記運転時における車両の運転状況に基づいて前記運転者が視認している視認物体を予測する予測部、
   前記視認物体の位置から導出した視線と前記顔状態とを対応付けて記録した学習情報を作成する作成部、
   として機能させ、
   前記予測部は、前記車両の運転操作と前記視認物体との関係性に基づいて、前記運転者が前記視認物体を視認していることの信頼度を取得し、
   前記作成部は、前記信頼度に基づいて前記学習情報を作成する、
   視線学習プログラム。

Images