JP2008039596A - 情報提供装置、情報提供方法、情報提供プログラム、および記録媒体 - Google Patents

Abstract

【課題】操作者が必要とする情報を安全かつ簡単に提供すること。
【解決手段】移動体が移動を開始した場合には、第１の取得部１０１および第２の取得部１０２によってそれぞれ該当する画像情報を取得し、取得された画像情報および地図情報を用いて、当該地図情報の中から移動体の周囲の画像情報に対して同一性を有する地図情報を抽出部１０６によって抽出し、抽出された地図情報の中から移動体の周囲の画像情報における操作者の視点の位置に一致する対象物を選択部１０７によって選択する。そして、選択された対象物に関する情報を出力部１０８によって出力する。
【選択図】図１

Description

この発明は、情報提供装置、情報提供方法、情報提供プログラム、および記録媒体に関する。ただし、この発明の利用は、前述の情報提供装置、情報提供方法、情報提供プログラム、および記録媒体に限るものではない。

従来、たとえば、車両に搭載されるカーナビゲーション装置のように、利用者を目的地点まで誘導する誘導装置が存在する。このような誘導装置は、たとえば、地図情報と車両の現在地点および目的地点に関する情報とを用いて、交差点における進行方向（右左折、直進など）などを案内する音声や画像を出力することで、利用者を目的地点まで誘導することができる。

また従来、たとえば、視線認識装置によって認識された乗員の視線方向の情報と、物体監視用カメラによって撮影された画像を取得し、この画像における乗員の視点の位置を特定し、この特定した視点の位置をマーキングし、このマーキングされたマーカの位置の被写体を監視対象物として決定（検出）し、車両の移動に伴う画像の動きに応じてマーカを動かして監視対象物を追従して監視する物体監視処理を実行する技術があった（たとえば、下記特許文献１を参照。）。

また従来、たとえば、車両内に搭載され、各種の情報を表示する車両用表示装置において、車両に関する各種の情報を表示する基礎表示画面と、車外映像表示する手段とを有し、運転者が、基礎表示画面に表示される主たる表示画像を見ているときに、車外映像を認識することができるようにした技術があった（たとえば、下記特許文献２を参照。）。

また従来、たとえば、車両周囲の画像と運転者の視線方向とに基づいて運転者が見ている注視対象を認識し、認識された注視対象の注視時間に応じて算出された視線配分と線形識別関数とを用いて運転者の状態を推定し、推定された運転者の状態に応じて運転者に情報を呈示するようにした技術があった（たとえば、下記特許文献３を参照。）。

また従来、上述した誘導装置には、たとえば、地図上の任意の地点の詳細情報を案内する音声や画像を出力するものがあった。このような誘導装置は、地図上の任意の地点を指定した状態で詳細情報を報知させるための操作入力がおこなわれると、指定された地点の詳細情報を案内する音声や画像を出力する。

また従来、たとえば、車両乗員による車外対象物に関する質問が検出されたときに、この質問が検出されたタイミングよりも所定時間前の車両乗員の視線方向および車外風景画像を照合し、この所定時間前に車両乗員が視線を合わせていた車外対象物を特定し、特定された車外対象物に関する情報を取得し案内するようにした技術があった（たとえば、下記特許文献４を参照。）。

特開２００５−２５１１１１号公報 特開２００２−２７７２５８号公報 特開２００６−４８１７１号公報 特開２００６−９０７９０号公報

しかしながら、従来の誘導装置では、たとえば、誘導装置が出力する音声や画像にしたがって交差点を曲がった直後に道路が２股に分岐する場合などには、運転者は、つぎに進むべきルートを判別しきれずに間違ったルートを通行してしまう懸念があるという問題がある。

この対策として、一般的に間違い易い地点を通行する場合は、進行方向などを案内する音声や画像の出力回数を増やしたり通常よりも詳細な案内情報を出力したりすることが考えられるが、一方で、一般的に間違い易い地点を複数回通行したことがある運転者は、出力される音声や画像を過剰で煩わしく感じることが懸念されるという問題が一例として挙げられる。

また、上述した特許文献１〜３に記載された技術は、いずれも運転者の視線が車両前方から外れることによる衝突を回避するための技術であり、通行しようとするルートの正否を案内するものではなかった。

また、従来の誘導装置では、所定の操作入力をおこなうことで地図上の任意の地点の詳細情報を案内することができるが、運転中に操作入力をおこなわせると、操作端末に操作者の視線を移動しなければならないため、運転に支障が生じるという問題が一例として挙げられる。

また、上述した特許文献４に記載された技術では、車両乗員の発話を音声認識処理することで検出した質問に応じた情報が提供されることから、車両乗員同士の会話における質問なども装置に対する質問として検出されて、情報から過剰な情報が提供される懸念があるという問題が一例として挙げられる。

請求項１の発明にかかる情報提供装置は、操作者によって操作される移動体の周囲を撮影した、当該移動体の周囲の画像情報を取得する第１の取得手段と、前記移動体の操作者を撮影した、当該操作者の画像情報を取得する第２の取得手段と、前記第１の取得手段によって取得された前記移動体の周囲の画像情報および実在する対象物を３次元であらわす地図情報を用いて、当該地図情報の中から前記移動体の周囲の画像情報に対して同一性を有する地図情報を抽出する抽出手段と、前記第１の取得手段によって取得された前記移動体の周囲の画像情報、前記第２の取得手段によって取得された前記操作者の画像情報、および前記抽出手段によって抽出された地図情報を用いて、抽出された地図情報の中から前記操作者の視点の位置に一致する対象物を選択する選択手段と、前記選択手段によって選択された対象物に関する情報を出力する出力手段と、を備えることを特徴とする。

請求項７の発明にかかる情報提供方法は、操作者によって操作される移動体の周囲を撮影した、当該移動体の周囲の画像情報を取得する第１の取得工程と、前記移動体の操作者を撮影した、当該操作者の画像情報を取得する第２の取得工程と、前記第１の取得工程において取得された前記移動体の周囲の画像情報および実在する対象物を３次元であらわす地図情報を用いて、当該地図情報の中から前記移動体の周囲の画像情報に対して同一性を有する地図情報を抽出する抽出工程と、前記第１の取得工程において取得された前記移動体の周囲の画像情報、前記第２の取得工程において取得された前記操作者の画像情報、および前記抽出工程によって抽出された地図情報を用いて、抽出された地図情報の中から前記操作者の視点の位置に一致する対象物を選択する選択工程と、前記選択工程において選択された対象物に関する情報を出力する出力工程と、を含んだことを特徴とする。

請求項８の発明にかかる情報提供プログラムは、請求項７に記載の情報提供方法をコンピュータに実行させることを特徴とする。

請求項９の発明にかかる記録媒体は、請求項８に記載の情報提供プログラムを、コンピュータが読み取り可能に記録したことを特徴とする。

以下に添付図面を参照して、この発明にかかる情報提供装置、情報提供方法、情報提供プログラム、および記録媒体の好適な実施の形態を詳細に説明する。

この発明の実施の形態にかかる情報提供装置は、可搬性を有しており、移動体に搭載することが可能である。ここで、移動体とは、操作者に操作されて移動することが可能な物体であり、たとえば、車両、船舶などである。情報提供装置は、たとえば、移動体とともに移動することが可能な可搬型のコンピュータ端末によって実現される。具体的には、情報提供装置は、たとえば、移動体が車両である場合には当該車両に搭載されたナビゲーション装置などによって実現される。

（情報提供装置の機能的構成）
はじめに、情報提供装置の機能的構成について説明する。図１は、この発明の実施の形態にかかる情報提供装置の機能的構成を示すブロック図である。図１に示したように、情報提供装置１００は、第１の取得部１０１と、第２の取得部１０２と、記録部１０３と、探索部１０４と、決定部１０５と、抽出部１０６と、選択部１０７と、出力部１０８と、を備えている。実施の形態では、移動体に搭載された情報提供装置１００について説明する。

第１の取得部１０１は、操作者によって操作される移動体の周囲を撮影した、当該移動体の周囲の画像情報を取得する。第２の取得部１０２は、移動体の操作者を撮影した、当該操作者の画像情報を取得する。第１の取得部１０１および第２の取得部１０２は、たとえば、デジタルカメラなどによって実現される。

記録部１０３は、地図情報を記録する。地図情報は、ノードおよびリンクからなる道路ネットワーク情報と、施設や道路その他地形（山、川、土地）に関するフィーチャを用いて描画される画像情報とを含んでいる。これにより、施設や道路その他地形など実在する対象物を３次元であらわすことができる。地図情報には、文字情報、施設の名称や住所などの情報、道路や施設の画像などが含まれていてもよい。記録部１０３は、操作者が指定した任意の地点をあらわす情報を記録してもよい。

探索部１０４は、記録部１０３に記録された地図情報と、当該地図情報によってあらわされる地図上における複数個の任意の地点をあらわす情報と、を用いて、複数個の地点をつなぐルートを探索する。複数個の任意の地点は、たとえば、情報提供装置１００の現在地点、地図上で操作者が指定した地点、記録部１０３に記録されている情報によってあらわされる地点などである。

決定部１０５は、移動体の現在地点および当該現在地点から任意の地点までのルートに関する情報を用いて任意の地点までの道順を決定する。決定部１０５は、移動体の現在地点と任意の地点とをつなぐ複数のルートの中から、たとえば、探索部１０４によって探索されたルートを用いて、任意の地点までの道順を決定する。また、決定部１０５は、探索部１０４によって探索されたルートの他に、操作者によって指示されたルートを用いて、任意の地点までの道順を決定してもよい。

抽出部１０６は、第１の取得部１０１によって取得された画像情報および上述した地図情報を用いて、当該地図情報の中から移動体の周囲の画像情報に対して同一性を有する地図情報を抽出する。移動体の周囲の画像情報に対する同一性の有無は、たとえば、以下の方法によって判断することができる。

まず、操作者の正面となる位置を中心とした画像を移動体の周囲の画像として撮影し、撮影した画像に基づく画像情報を、移動体の周囲の画像情報として、第１の取得部１０１によって取得する。つづいて、第１の取得部１０１によって取得された移動体の周囲の画像情報と地図情報とを用いて、移動体の周囲の画像情報に含まれる各対象物と地図情報に含まれる対象物とを、たとえばディスプレイ上で重ね合わせる。そして、対象物ごとの特徴点が一致するか否かを判断し、移動体の周囲の画像情報に含まれる対象物の特徴情報と類似する特徴情報が所定数以上の地図情報を、移動体の周囲の画像情報に対して同一性を有する地図情報として判断する。

ここで、対象物とは、道路，道路標識，信号，踏切，建物，公園，背景など、移動体とともに移動する操作者が実際に見ることができるものである。同一の移動体であっても操作者の体格（目線の高さ）などによっては各対象物に対する操作者の視野角が異なるため、操作者の体格などに応じて、同一性の有無の判断に用いる地図情報の画角を調整するようにしてもよい。

この場合、具体的には、たとえば、操作者の画像を撮影し、撮影した画像に基づく画像情報を、操作者の画像情報として、第２の取得部１０２によって取得する。そして、第２の取得部１０２によって取得された操作者の画像情報を用いて、操作者の目の位置（高さ）を検出し、検出された目の位置を基準として画角を調整した地図情報を用いて、同一性の有無を判断する。

選択部１０７は、第１の取得部１０１によって取得された移動体の周囲の画像情報、第２の取得部１０２によって取得された操作者の画像情報、および抽出部１０６によって抽出された地図情報を用いて、抽出された地図情報の中から移動体の周囲の画像情報における操作者の視点の位置に一致する対象物を選択する。具体的に、選択部１０７は、たとえば、第２の取得部１０２によって撮影した操作者の画像情報を用いて、操作者の顔の向きを検出する。そして、検出した顔の向きと操作者の正面方向とのなす角度を算出し、算出された角度に基づいて、抽出部１０６によって抽出された地図情報の中から移動体の周囲の画像情報における操作者の視点の位置に一致する対象物を選択する。

また、具体的に、選択部１０７は、たとえば、第２の取得部１０２によって撮影した操作者の画像情報を用いて、操作者の目の形と目全体に対する黒目の位置とから操作者の視線方向を検出し、検出した視線方向と操作者の正面方向とのなす角度を算出し、算出された角度に基づいて、抽出部１０６によって抽出された地図情報の中から移動体の周囲の画像情報における操作者の視点の位置に一致する対象物を選択するようにしてもよい。この方法では、操作者の顔を撮影できる場合にのみ、移動体の周囲の画像情報における操作者の視点の位置に一致する対象物を選択するようにしてもよい。

出力部１０８は、たとえば、右左折地点や高速道路のインターチェンジ・合流地点などを通行する手前で、道順に関する情報を出力する。具体的に、出力部１０８は、たとえば、任意の地点までの道順をあらわす画像情報をディスプレイに表示したり、任意の地点までの道順をあらわす音声情報をスピーカから出力したりする。

また、出力部１０８は、選択部１０７によって選択された対象物が路面である場合に、操作者がルート上の路面を視認しているか否かを案内する情報を出力する。出力部１０８は、報知部による任意の地点までの道順を報知する設定がなされている場合に、操作者がルート上の路面を視認しているか否かを案内する情報を出力する。選択部１０７によって選択された対象物が路面であっても、当該路面を見る際の操作者の挙動によって、進路の正否に関する不安など当該操作者の心理状態を推定することが可能である。

このため、出力部１０８は、選択部１０７によって選択された対象物が路面であり、当該対象物に相当する操作者の視点の位置が所定回数連続して同じ位置に特定された場合に、操作者がルート上の路面を視認しているか否かを案内する情報を出力したり、選択部１０７によって選択された対象物が路面であり、当該対象物に相当する操作者の視点の位置が所定時間連続して同じ位置に特定された場合に、操作者がルート上の路面を視認しているか否かを案内する情報を出力したりして、操作者の挙動に応じて内容の異なる案内情報を出力するようにしてもよい。

また、出力部１０８は、選択部１０７によって選択された対象物が路面であり、当該対象物に相当する操作者の視点の位置が所定回数連続して同じ位置に特定された後に所定時間連続して同じ位置に特定された場合に、操作者がルート上の路面を視認しているか否かを案内する情報を出力することで、操作者の挙動に応じて内容の異なる案内情報を出力するようにしてもよい。

また、出力部１０８は、選択部１０７によって選択された対象物が遊覧資産または娯楽施設である場合に、当該遊覧資産または娯楽施設を説明する情報を出力するようにしてもよい。ここで、遊覧資産とは、たとえば歴史・文化・自然景観などであり、娯楽施設とは、たとえばテーマパーク・遊園地などである。具体的に、たとえば、操作者が道路脇の湖を見つめた場合、出力部１０８は、『右手に見える湖は河口湖です。河口湖の水深××ｍ、年間を通じて観光客が訪れます。手漕ぎボートやバス釣りを楽しむことができます。・・・』などの音声を出力したり、河口湖の写真をディスプレイに表示したりする。

（情報提供装置の情報提供処理手順）
つぎに、情報提供装置の情報提供処理手順について説明する。図２は、情報提供装置の情報提供処理手順を示すフローチャートである。図２に示したフローチャートにおいて、まず、移動体が移動を開始したか否かを判断する（ステップＳ２０１）。ステップＳ２０１においては、たとえば、移動体を搭載する車両のエンジンが始動したか否かを判断することで、移動体が移動を開始したか否かを判断する。

また、ステップＳ２０１では、たとえば、移動体を搭載する車両のギアがドライブ（車両がオートマ車である場合）に入っているか否かを判断することで、移動体が移動を開始したか否かを判断してもよい。ステップＳ２０１において、移動体が移動を開始するまで待って（ステップＳ２０１：Ｎｏ）、移動を開始した場合（ステップＳ２０１：Ｙｅｓ）には、第１の取得部１０１および第２の取得部１０２によってそれぞれ該当する画像情報を取得する（ステップＳ２０２）。

つづいて、ステップＳ２０２において取得された画像情報および地図情報を用いて、当該地図情報の中から移動体の周囲の画像情報に対して同一性を有する地図情報を抽出部１０６によって抽出し（ステップＳ２０３）、抽出された地図情報の中から移動体の周囲の画像情報における操作者の視点の位置に一致する対象物を選択部１０７によって選択する（ステップＳ２０４）とともに、対象物を選択したタイミングにおいて道順を報知中であるか否かを判断する（ステップＳ２０５）。

ステップＳ２０５において、道順を報知中である場合（ステップＳ２０５：Ｙｅｓ）には、ステップＳ２０４において選択された対象物が路面であるか否かを判断する（ステップＳ２０６）。路面ではない場合（ステップＳ２０６：Ｎｏ）には、ステップＳ２１１へ移行する。一方、ステップＳ２０４において選択された対象物が路面である場合（ステップＳ２０６：Ｙｅｓ）には、当該路面が現在地点から任意の地点までのルート上の路面であるか否かを判断する（ステップＳ２０７）。

ステップＳ２０７において、ステップＳ２０４において選択された対象物が現在地点から任意の地点までのルート上の路面である場合（ステップＳ２０７：Ｙｅｓ）には、たとえば、『その道を進んでください』などのメッセージをあらわす画像や音声を出力部１０８によって出力することで、操作者の視線がとらえている進行方向が正しい旨を報知して（ステップＳ２０８）、ステップＳ２１０へ移行する。

一方、ステップＳ２０７において、ステップＳ２０４において選択された対象物が現在地点から任意の地点までのルート上の路面ではない場合（ステップＳ２０７：Ｎｏ）には、たとえば、『その道の隣にある道を進んでください』などのメッセージをあらわす画像や音声を出力部１０８によって出力することで、操作者の視線がとらえている進行方向が誤っている旨を報知して（ステップＳ２０９）、ステップＳ２１０へ移行する。

ステップＳ２１０においては、移動体が移動を終了したか否かを判断し、終了していない場合（ステップＳ２１０：Ｎｏ）にはステップＳ２０１へ戻る。終了した場合（ステップＳ２１０：Ｙｅｓ）には、一連の処理を終了する。上述したステップＳ２０５において、道順を報知中ではない場合（ステップＳ２０５：Ｎｏ）には、ステップＳ２０４において選択された対象物が遊覧資産あるいは娯楽施設であるか否かを判断する（ステップＳ２１１）。

ステップＳ２１１において、遊覧資産あるいは娯楽施設である場合（ステップＳ２１１：Ｙｅｓ）には、遊覧資産あるいは娯楽施設を説明する画像や音声を出力部１０８によって出力することで、遊覧資産あるいは娯楽施設の説明を報知する（ステップＳ２１２）。遊覧資産あるいは娯楽施設ではない場合（ステップＳ２１１：Ｎｏ）には、ステップＳ２１０へ移行する。

上述したように、実施の形態の情報提供装置１００によれば、操作者が実際に見ている操作者の視点に応じた情報を操作者に提供することで、操作者が必要とする情報を安全かつ簡単に提供することができる。これによって、操作者は、必要とする情報を安全かつ簡単に得ることができる。

また、実施の形態の情報提供装置１００によれば、操作者が実際にルートを目で追えているか否かを案内する情報を操作者に提供することで、移動中の操作者が必要とする情報を安全かつ簡単に提供することができる。これによって、操作者は、決定されたルートに沿って安全かつスムーズに移動することができる。

また、実施の形態の情報提供装置１００によれば、路面のあちこちを見ながらも特定の箇所を繰り返し見たり、当該特定の箇所を見つめたり、繰り返して見ながらやがて見つめたり、のように操作者が実際にルートの正否に不安をもっていると推定される挙動を示した場合に限って、操作者が実際にルートを目で追えているか否かを案内する情報を操作者に提供することで、移動中の操作者が必要とする情報を簡単かつ適切に提供することができる。これによって、操作者は、煩わしさを覚えることなく、決定されたルートに沿って安全かつスムーズに移動することができる。

また、実施の形態の情報提供装置１００によれば、操作者が実際に見ている遊覧資産や娯楽施設の情報を操作者に提供することで、操作者が関心をもっていると推定される遊覧資産や娯楽施設の情報を簡単に提供することができる。これによって、操作者は、過剰な情報提供に煩わしさを覚えることなく、必要とする情報を安全に得ることができる。

また、実施の形態の情報提供装置１００によれば、移動体の周囲の画像を第１の取得部１０１によって撮影し、操作者の画像を第２の取得部１０２によって撮影することで、操作者が実際に見ている操作者の視点を連続して特定することができるので、操作者が必要とする情報を操作者が情報を必要とするタイミングで確実に提供することができる。

つぎに、上述した実施の形態の実施例について説明する。この実施例は、上述した実施の形態の情報提供装置１００を車両に搭載されるナビゲーション装置に適用した例である。

（ナビゲーション装置のハードウエア構成）
まず、実施例のナビゲーション装置のハードウエア構成について説明する。図３は、実施例のナビゲーション装置のハードウエア構成を示すブロック図である。図３において、ナビゲーション装置３００は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、磁気ディスクドライブ３０４と、磁気ディスク３０５と、光ディスクドライブ３０６と、光ディスク３０７と、音声Ｉ／Ｆ３０８と、マイク３０９と、スピーカ３１０と、入力デバイス３１１と、映像Ｉ／Ｆ３１２と、ディスプレイ３１３と、カメラ３１４，３１５と、通信Ｉ／Ｆ３１６と、ＧＰＳユニット３１７と、各種センサ３１８と、を備えている。各構成部３０１〜３１８はバス３２０によってそれぞれ接続されている。

まず、ＣＰＵ３０１は、ナビゲーション装置３００の全体の制御を司る。ＲＯＭ３０２は、ブートプログラムやルート探索プログラム、ルート誘導プログラム、および情報提供プログラムなどのプログラムを記録している。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。ルート探索プログラムとは、ＣＰＵ３０１によって実行されることにより、たとえば、ナビゲーション装置３００の操作者によって指定された第１および第２の地点を通過するルートを探索するプログラムである。第１および第２の地点は、たとえば、出発地点および目的地点などである。

また、ルート誘導プログラムとは、ＣＰＵ３０１によって実行されることにより、ナビゲーション装置３００の利用者に対して、任意の地点までの道順を案内する音声や画像などの誘導情報を所定のタイミングで出力することにより、所定のルートに沿って移動するように利用者を誘導するプログラムである。所定のルートとは、たとえば、ルート探索プログラムを実行することによって探索されたルートなど、利用者によって設定された任意のルートである。

情報提供プログラムとは、ＣＰＵ３０１によって実行されることにより、運転者によって運転される車両の周囲の画像情報と運転者の画像情報とを取得させ、取得された画像情報と実在する対象物を３次元であらわす地図情報とを用いて、当該地図情報の中から車両の周囲の画像情報に対して同一性を有する地図情報を抽出させ、取得された画像情報と抽出された地図情報とを用いて、抽出された地図情報の中から車両の周囲の画像情報における運転者の視点の位置に一致する対象物を選択させ、選択された対象物に関する情報を出力させるプログラムである。

また、情報提供プログラムとは、ＣＰＵ３０１によって実行されることにより、車両の現在地点および当該現在地点から任意の地点までのルートに関する情報を用いて任意の地点までの道順を決定させ、決定された道順に関する情報を出力させるとともに、選択された対象物が路面である場合には操作者がルート上の路面を視認しているか否かを案内する情報を出力させるプログラムである。

情報提供プログラムにおいては、ＣＰＵ３０１によって実行されることにより、選択された対象物が路面であり、当該対象物に相当する操作者の視点の位置が所定回数連続して同じ位置に特定された場合に操作者がルート上の路面を視認しているか否かを案内する情報を出力させるようにしてもよい。

また、情報提供プログラムにおいては、ＣＰＵ３０１によって実行されることにより、選択された対象物が路面であり、当該対象物に相当する操作者の視点の位置が所定時間連続して同じ位置に特定された場合に操作者がルート上の路面を視認しているか否かを案内する情報を出力させるようにしてもよい。

また、情報提供プログラムにおいては、ＣＰＵ３０１によって実行されることにより、選択された対象物が路面であり、当該対象物に相当する操作者の視点の位置が所定回数連続して同じ位置に特定された後に所定時間連続して同じ位置に特定された場合に操作者がルート上の路面を視認しているか否かを案内する情報を出力させるようにしてもよい。

また、情報提供プログラムとは、ＣＰＵ３０１によって実行されることにより、選択された対象物が遊覧資産または娯楽施設である場合に、当該遊覧資産または娯楽施設を説明する情報を出力させるプログラムである。

磁気ディスクドライブ３０４は、ＣＰＵ３０１の制御にしたがって磁気ディスク３０５に対する情報の読み取り／書き込みを制御する。磁気ディスク３０５は、磁気ディスクドライブ３０４の制御で書き込まれた情報を記録する。具体的には、磁気ディスクドライブ３０４は、たとえば、上述した地図情報を、磁気ディスク３０５に記録する。磁気ディスク３０５としては、たとえば、ＨＤ（ハードディスク）やＦＤ（フレキシブルディスク）を用いることができる。

光ディスクドライブ３０６は、ＣＰＵ３０１の制御にしたがって光ディスク３０７に対する情報の読み取り／書き込みを制御する。光ディスク３０７は、光ディスクドライブ３０６の制御にしたがって情報の読み出される記録媒体である。光ディスク３０７は、書き込み可能であったり、光ディスクドライブ３０６に対して着脱自在であったりしてもよい。具体的に、光ディスク３０７としては、たとえば、ＭＯ、メモリカードなどを用いることができる。

音声Ｉ／Ｆ３０８は、音声入力用のマイク３０９および音声出力用のスピーカ３１０に接続される。マイク３０９に受音された音声は、音声Ｉ／Ｆ３０８内でＡ／Ｄ変換される。また、スピーカ３１０からは音声が出力される。また、入力デバイス３１１は、文字、数値、各種指示などの入力のための複数のキーを備えたリモコン、キーボード、マウス、タッチパネルなどが挙げられる。

カメラ３１４は、たとえば、ルームミラー（図７中符号７１０を参照）の裏面側（フロントガラス側）などに設置されて、車両の周囲の画像を撮影する。カメラ３１５は、たとえば、サンバイザー（図７中符号７１２を参照）付近などに設置されて、車両の運転者の画像を撮影する。上述した磁気ディスクドライブ３０４は、カメラ３１４，３１５が撮影した画像情報を磁気ディスク３０５に記録してもよい。

映像Ｉ／Ｆ３１２は、ディスプレイ３１３と接続される。映像Ｉ／Ｆ３１２は、具体的には、たとえば、ディスプレイ３１３全体の制御をおこなうグラフィックコントローラと、即時表示可能な画像情報を一時的に記録するＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）などのバッファメモリと、グラフィックコントローラから出力される画像情報に基づいて、ディスプレイ３１３を表示制御する制御ＩＣなどによって構成される。

ディスプレイ３１３には、上述した地図情報に加えて、道路の渋滞情報、誘導ルートなどを重畳表示させることもできる。ディスプレイ３１３には、アイコン、カーソル、メニューなどを表示してもよい。このディスプレイ３１３は、たとえば、ＣＲＴ、ＴＦＴ液晶ディスプレイ、プラズマディスプレイなどを採用することができる。

通信Ｉ／Ｆ３１６は、無線を介してネットワークに接続され、このネットワークとＣＰＵ３０１とのインターフェースとして機能する。ネットワークには、ＬＡＮ、ＷＡＮ、公衆回線網や携帯電話網などがある。通信Ｉ／Ｆ３１６は、たとえば、ＦＭチューナー、ＶＩＣＳ（登録商標）／ビーコンレシーバ、無線通信機器、およびその他の通信機器によって構成され、ＶＩＣＳセンターから配信される渋滞や交通規制などの道路交通情報を取得する。

ＧＰＳユニット３１７は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）や各種センサからの出力値を用いて、車両の現在位置（ナビゲーション装置３００の現在位置）を示す情報を取得する。図示を省略するが、ナビゲーション装置３００は、ジャイロセンサおよびジャイロセンサからの出力値や車両からの車速パルスなどが入力される入力Ｉ／Ｆを備えている。ＣＰＵ３０１は、ジャイロセンサからの出力値から、車両の移動方向（停止中の場合には車両の前方向）を判断する。

なお、図１に示した情報提供装置１００における第１の取得部１０１、第２の取得部１０２、決定部１０５、抽出部１０６、選択部１０７、出力部１０８は、図３に示したナビゲーション装置３００におけるＲＯＭ３０２、ＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などに記録されたプログラムや情報を用いて、ＣＰＵ３０１が所定のプログラムを実行し、ナビゲーション装置３００における各部を制御することによってその機能を実現する。

すなわち、この実施例のナビゲーション装置３００は、ナビゲーション装置３００における記録媒体に記録されている情報提供プログラムにより、図１に示した情報提供装置１００が備える機能を、図２に示した情報提供処理手順で実行することができる。

（ナビゲーション装置の情報提供処理手順）
つぎに、実施例のナビゲーション装置３００の処理手順について説明する。図４は、実施例のナビゲーション装置３００の情報提供処理手順を示すフローチャートである。図４のフローチャートにおいて、まず、運転者の視点検知処理をおこない（ステップＳ４０１）、運転者が見ている対象物を特定する（ステップＳ４０２）。

つづいて、ステップＳ４０２において特定された対象物（以下、「対象物（現在）」という）が運転者が前回見た対象物（以下、「対象物（前回）」という）と同一であるか否かを判断する（ステップＳ４０３）。対象物（現在）が対象物（前回）と同一である場合（ステップＳ４０３：Ｙｅｓ）には、運転者が対象物（現在）を見はじめてからつぎに別の対象物を見るまでの時間Ｔをカウントする（ステップＳ４０４）。

つづいて、時間Ｔが設定時間Ｔ１よりも大きいか否かを判断するとともに、値Ｃ（図４中「回数Ｃ」と記載されている。）が設定回数Ｎ１よりも大きいか否かを判断する（ステップＳ４０５）。ここで、設定時間Ｔ１とは、磁気ディスク３０５などに記録された情報であり、時間Ｔの程度を判断するために用いられる閾値である。

値Ｃとは、ＲＡＭ３０３などに記録された情報であり、運転者が前々回に見た対象物（以下、「対象物（前々回）」という）に関して、対象物（前々回）を繰り返して見た回数をあらわす。設定回数Ｎ１とは、磁気ディスク３０５などに記録された情報であり、値Ｃ（以下「回数Ｃ」という）の程度を判断するために用いられる閾値である。

ステップＳ４０５において、時間Ｔが設定時間Ｔ１よりも大きく、かつ、回数Ｃが設定回数Ｎ１よりも大きい場合（ステップＳ４０５：Ｙｅｓ）には、お知らせ処理をおこなうとともに（ステップＳ４０６）、回数Ｃおよび時間Ｔをリセットして（ステップＳ４０７）、一連の処理を終了する。

また、ステップＳ４０５において、少なくとも、時間Ｔが設定時間Ｔ１以下である、あるいは、回数Ｃが設定回数Ｎ１以下である場合（ステップＳ４０５：Ｎｏ）には、時間Ｔが設定時間Ｔ２よりも大きいか否かを判断する（ステップＳ４０８）。ここで、設定時間Ｔ２とは、磁気ディスク３０５などに記録された情報であり、時間Ｔの程度を判断するために用いられる、設定時間Ｔ１とは異なる閾値である。時間Ｔが設定時間Ｔ２よりも大きい場合（ステップＳ４０８：Ｙｅｓ）にはステップＳ４０６へ移行し、時間Ｔが設定時間Ｔ２以下である場合（ステップＳ４０８：Ｎｏ）にはステップＳ４０１へ戻る。

上述したステップＳ４０３において、対象物（現在）が対象物（前回）と同一ではない場合（ステップＳ４０３：Ｎｏ）には、対象物（現在）が運転者が前々回見た対象物（以下、「対象物（前々回）」という）と同一であるか否かを判断する（ステップＳ４０９）。対象物（現在）が対象物（前々回）と同一ではない場合（ステップＳ４０９：Ｎｏ）には、ステップＳ４０１へ戻る。

ステップＳ４０９において、対象物（現在）が対象物（前々回）と同一である場合（ステップＳ４０９：Ｙｅｓ）には、回数Ｃに１を加算することで回数Ｃを更新し（ステップＳ４１０）、回数Ｃが設定回数Ｎ２よりも大きいか否かを判断する（ステップＳ４１１）。ここで、設定回数Ｎ２とは、磁気ディスク３０５などに記録された情報であり、回数Ｃの程度を判断するために用いられる、上述した設定回数Ｎ１とは異なる閾値である。

ステップＳ４１１において、回数Ｃが設定回数Ｎ２よりも大きい場合（ステップＳ４１１：Ｙｅｓ）にはステップＳ４０６へ移行し、回数Ｃが設定回数Ｎ２以下である場合（ステップＳ４１１：Ｎｏ）には、ステップＳ４０１へ戻る。

図５は、運転者の視点検知処理手順を示すフローチャートである。図５に示した処理手順は、上述した図４中ステップＳ４０１において実行される。図５のフローチャートにおいて、まず、カメラ３１４が撮影した車両の周囲の画像情報およびカメラ３１５が撮影した運転者の画像情報を取得する（ステップＳ５０１）とともに、磁気ディスク３０５に記録されている地図情報を取得する（ステップＳ５０２）。

つづいて、ステップＳ５０１において取得された画像情報およびステップＳ５０２において取得された地図情報を用いて運転者が見ている対象物を特定して（ステップＳ５０３）、一連の処理を終了した後、ステップＳ５０１からの処理を繰り返す。ＣＰＵ３０１は、ステップＳ５０３において特定された特定結果を取得した場合に、上述した情報提供処理におけるステップＳ４０２の処理を実行する。

なお、実施例においては、磁気ディスク３０５に記録されている地図情報を用いて運転者の視点検知処理をおこなうようにしたが、これに限るものではない。たとえば、通信Ｉ／Ｆ３１６を用いて、ナビゲーション装置３００の外部に存在する装置（以下、「外部装置」という）と通信をおこなうことによって、外部装置から取得した地図情報を用いて運転者の視点検知処理をおこなうようにしてもよい。

図６は、お知らせ処理手順を示すフローチャートである。図６に示した処理手順は、上述した図４中ステップＳ４０６において実行される。図６のフローチャートにおいて、まず、上述した情報提供処理におけるステップＳ４０２において特定された対象物（現在）が、路面であるか否かを判断する（ステップＳ６０１）。

ステップＳ６０１において、対象物（現在）が路面ではない場合（ステップＳ６０１：Ｎｏ）には、光ディスク３０７に記録された各種説明情報の中に、対象物（現在）について説明する説明情報があるか否かを判断する（ステップＳ６０２）。ここで、説明情報とは、たとえば、対象物（現在）の特徴，見所，見学に必要な費用（入場料や拝観料など），起源（景勝地であれば形成された時期、建物であれば建設時期など）などを案内する情報である。

ステップＳ６０２において、説明情報がない場合（ステップＳ６０２：Ｎｏ）には、一連の処理を終了する。説明情報がある場合（ステップＳ６０２：Ｙｅｓ）には、該当する説明情報を出力する（ステップＳ６０３）とともに、対象物（現在）まで車両を誘導するか否かを判断する（ステップＳ６０４）。

ステップＳ６０４においては、たとえば、『そこに行きますか？』などのように運転者の見ている対象物（現在）への移動を運転者が希望しているか否かを問いかける音声をスピーカ３１０から出力するとともに、「行く」あるいは「行かない」などのように対象物（現在）へ移動する意志の有無を示す操作キーをディスプレイ３１３に表示し、ディスプレイ３１３に表示されたキーのうちいずれのキーを選択する指示操作がなされたかを判断することによって対象物（現在）まで車両を誘導するか否かを判断する。

ステップＳ６０４において、対象物（現在）まで車両を誘導する場合（ステップＳ６０４：Ｙｅｓ）には、対象物（現在）までの車両の誘導を開始して（ステップＳ６０５）、一連の処理を終了する。ステップＳ６０５においては、上述した誘導プログラムを起動させ、当該誘導プログラムに対して対象物（現在）をあらわす地点情報を出力する。以降、誘導プログラムが実行されることによって、車両の現在地点から対象物（現在）をあらわす地点までの誘導がおこなわれる。対象物（現在）まで車両を誘導しない場合（ステップＳ６０４：Ｎｏ）には、一連の処理を終了した後、ステップＳ６０１からの処理を繰り返す。

一方、ステップＳ６０１において、対象物（現在）が路面である場合（ステップＳ６０１：Ｙｅｓ）には、誘導中であるか否かを判断し（ステップＳ６０６）、誘導中ではない場合（ステップＳ６０６：Ｎｏ）には、ステップＳ６０１へ戻る。誘導中である場合（ステップＳ６０６：Ｙｅｓ）には、対象物（現在）の位置が誘導中のルートと一致するか否かを判断する（ステップＳ６０７）。

ステップＳ６０７において、対象物（現在）の位置が誘導中のルートと一致しない場合（ステップＳ６０７：Ｎｏ）には、誘導中のルートとの差異を報知する（ステップＳ６０８）。ステップＳ６０８においては、たとえば、『その道ではありません。』や『その道の左の道をお進みください。』などの音声を、スピーカ３１０から出力する。

一方、ステップＳ６０７において、対象物（現在）の位置が誘導中のルートと一致する場合（ステップＳ６０７：Ｙｅｓ）には、運転者が見ている路面と誘導中のルート上の路面との一致を報知して（ステップＳ６０９）、一連の処理を終了した後、ステップＳ６０１からの処理を繰り返す。ステップＳ６０９においては、たとえば、『そこです。』や『その道をお進みください。』などの音声を、スピーカ３１０から出力する。

つぎに、図７および図８を用いて、実施例のナビゲーション装置３００の機能について説明する。図７は運転者の視界をあらわす説明図であり、図８はディスプレイ３１３における表示例をあらわす説明図である。図７に示したように、車両７０１の運転席に座っている運転者は、たとえば、道路（路面）７０２，道路脇の建物７０３，信号機７０４，他の車両７０５，通行人７０６，７０７などの車両７０１の周囲の様子を、車両７０１のフロントガラス７０８あるいはサイドウィンドウ７０９越しに見ることができる。図７中符号７１０は、ルームミラーである。上述したカメラ３１４は、ルームミラー７１０の裏面側（フロントガラス側）などに設置されている（図７中点線の丸印を参照。）。また、図７中符号７１２は、サンバイザーである。

図８に示したように、ディスプレイ３１３には、運転者の視界を再現した３次元の画像情報が表示されている。ディスプレイ３１３には、運転者の視界がとらえる様々な対象物の中で、他の車両７０５や通行人７０６，７０７などのように存在が不確定な対象物を除く対象物（道路（路面）７０２，道路脇の建物７０３，信号機７０４など）が３次元であらわされている。なお、図８中符号８０１は道路（路面）７０２をあらわし，符号８０２（８０２ａ〜８０２ｄ）は道路脇の建物７０３をあらわし，符号８０３は信号機７０４をあらわしている。誘導中である場合、ディスプレイ３１３には、車両７０１の走行位置を案内する矢印８０４が表示される。

たとえば、矢印８０４が示すように、符号８０２ａであらわされる建物と符号８０２ｂであらわされる建物との間の細い路地を通行するルートにしたがって誘導がおこなわれているとする。図７に示したように、通行人７０７が存在するために運転者の実際の視界には符号８０２ａであらわされる建物と符号８０２ｂであらわされる建物との間の細い路地が見えづらい状況において、『この先の交差点を右折してください。』という音声が出力された後、運転者が信号機のある交差点を見たとする。

この場合、上述した図４〜図６の処理を実行するナビゲーション装置３００は、『その道ではありません。その手前の道を右折してください。』という音声をスピーカ３１０から出力するとともに、図８に示した矢印８０４つきの３次元画像をディスプレイ３１３に表示する。これによって、運転者は、ディスプレイ３１３の表示内容を確認することで、符号８０２ａであらわされる建物と符号８０２ｂであらわされる建物との間の細い路地を通行することができる。

これによって、運転者にとって分かりづらい道であったり、進むべき道が分かりづらかったりしても、運転者が進むべき道の認識を誤っている場合には運転者に進行方向の再確認を促すことができる。

上述したように、実施例のナビゲーション装置３００によれば、運転者の実際の始点の位置に応じた情報を運転者に提供することができる。これによってナビゲーション装置３００は、運転者が必要とする情報を安全かつ簡単に提供することができる。また、これによって運転者は、必要とする情報を安全かつ簡単に得ることができる。

また、実施例のナビゲーション装置３００によれば、誘導中のルートを運転者が実際に目で追えているか否かを案内することができる。これによってナビゲーション装置は、運転中に必要とする情報を安全かつ簡単に提供することができる。また、これによって運転者は、最適なルートに沿って安全かつスムーズに移動することができる。

また、実施例のナビゲーション装置３００によれば、特定の対象物を繰り返し見たり、特定の対象物を見つめたり、特定の対象物を繰り返して見ながらやがて見つめたり、のように運転者が特定の対象物に対して関心があると推定される挙動を示した場合に限って、お知らせ処理が実行される。これによってナビゲーション装置３００は、運転者が必要とする情報を簡単かつ適切に提供することができる。また、これによって運転者は、煩わしさを覚えることなく、必要とする情報を安全かつ簡単に得ることができる。

たとえば、特定の対象物が路面である場合は、運転者の見ている路面が誘導中のルートに一致しているのか違っているのかを案内する情報を提供することで、ナビゲーション装置３００は、進行方向に対して運転者が迷っていると推定される場合に限って、進行方向の正否をあらわす情報を簡単かつ適切に提供することができる。また、これによって運転者は、煩わしさを覚えることなく、必要とする情報を安全かつ簡単に得ることができ、ルートに沿って安全かつスムーズに移動することができる。

また、たとえば、特定の対象物が遊覧資産や娯楽施設など路面以外の対象物である場合は、運転者が関心をもっていると推定される遊覧資産や娯楽施設の情報を簡単に提供することができる。これによって、操作者は、過剰な情報提供に煩わしさを覚えることなく、必要とする情報を安全かつ簡単に得ることができる。

また、実施例のナビゲーション装置３００によれば、２台のカメラ３１４，３１５を用いて車両の周囲の画像および運転者の画像をそれぞれ撮影することで、運転者が実際に見ている視点の位置を連続して特定することができるので、運転者が必要とする情報を運転者が情報を必要とするタイミングで確実に提供することができる。

以上説明したように、実施の形態の情報提供装置、情報提供方法、情報提供プログラム、および記録媒体によれば、操作者が必要とする情報を安全かつ簡単に提供することができる。これによって、操作者は、必要とする情報を安全かつ簡単に得ることができる。

なお、本実施の形態で説明した情報提供方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーションなどのコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネットなどのネットワークを介して配布することが可能な伝送媒体であってもよい。

この発明の実施の形態にかかる情報提供装置の機能的構成を示すブロック図である。 この発明の実施の形態にかかる情報提供装置の情報提供処理手順を示すフローチャートである。 実施例のナビゲーション装置のハードウエア構成を示すブロック図である。 実施例のナビゲーション装置の情報提供処理手順を示すフローチャートである。 運転者の視点検知処理手順を示すフローチャートである。 お知らせ処理手順を示すフローチャートである。 運転者の視界をあらわす説明図である。 ディスプレイにおける表示例をあらわす説明図である。

符号の説明

１００ 情報提供装置
１０１ 第１の取得部
１０２ 第２の取得部
１０５ 決定部
１０６ 抽出部
１０７ 選択部
１０８ 出力部

Claims (9)

1. 操作者によって操作される移動体の周囲を撮影した、当該移動体の周囲の画像情報を取得する第１の取得手段と、
   前記移動体の操作者を撮影した、当該操作者の画像情報を取得する第２の取得手段と、
   前記第１の取得手段によって取得された前記移動体の周囲の画像情報および実在する対象物を３次元であらわす地図情報を用いて、当該地図情報の中から前記移動体の周囲の画像情報に対して同一性を有する地図情報を抽出する抽出手段と、
   前記第１の取得手段によって取得された前記移動体の周囲の画像情報、前記第２の取得手段によって取得された前記操作者の画像情報、および前記抽出手段によって抽出された地図情報を用いて、抽出された地図情報の中から前記操作者の視点の位置に一致する対象物を選択する選択手段と、
   前記選択手段によって選択された対象物に関する情報を出力する出力手段と、
   を備えることを特徴とする情報提供装置。
2. 前記移動体の現在地点および当該現在地点から任意の地点までのルートに関する情報を用いて前記任意の地点までの道順を決定する決定手段を備え、
   前記出力手段は、前記決定手段によって決定された道順に関する情報を出力するとともに、前記選択手段によって選択された対象物が路面である場合には前記操作者が前記ルート上の路面を視認しているか否かを案内する情報を出力することを特徴とする請求項１に記載の情報提供装置。
3. 前記出力手段は、前記選択手段によって選択された対象物が路面であり、当該対象物に相当する操作者の視点の位置が所定回数連続して同じ位置に特定された場合に前記操作者が前記ルート上の路面を視認しているか否かを案内する情報を出力することを特徴とする請求項２に記載の情報提供装置。
4. 前記出力手段は、前記選択手段によって選択された対象物が路面であり、当該対象物に相当する操作者の視点の位置が所定時間連続して同じ位置に特定された場合に前記操作者が前記ルート上の路面を視認しているか否かを案内する情報を出力することを特徴とする請求項２に記載の情報提供装置。
5. 前記出力手段は、前記選択手段によって選択された対象物が路面であり、当該対象物に相当する操作者の視点の位置が所定回数連続して同じ位置に特定された後に所定時間連続して同じ位置に特定された場合に前記操作者が前記ルート上の路面を視認しているか否かを案内する情報を出力することを特徴とする請求項２に記載の情報提供装置。
6. 前記出力手段は、前記選択手段によって選択された対象物が遊覧資産または娯楽施設である場合に、当該遊覧資産または娯楽施設を説明する情報を出力することを特徴とする請求項１に記載の情報提供装置。
7. 操作者によって操作される移動体の周囲を撮影した、当該移動体の周囲の画像情報を取得する第１の取得工程と、
   前記移動体の操作者を撮影した、当該操作者の画像情報を取得する第２の取得工程と、
   前記第１の取得工程において取得された前記移動体の周囲の画像情報および実在する対象物を３次元であらわす地図情報を用いて、当該地図情報の中から前記移動体の周囲の画像情報に対して同一性を有する地図情報を抽出する抽出工程と、
   前記第１の取得工程において取得された前記移動体の周囲の画像情報、前記第２の取得工程において取得された前記操作者の画像情報、および前記抽出工程によって抽出された地図情報とを用いて、抽出された地図情報の中から前記操作者の視点の位置に一致する対象物を選択する選択工程と、
   前記選択工程において選択された対象物に関する情報を出力する出力工程と、
   を含んだことを特徴とする情報提供方法。
8. 請求項７に記載の情報提供方法をコンピュータに実行させることを特徴とする情報提供プログラム。
9. 請求項８に記載の情報提供プログラムを、コンピュータが読み取り可能に記録したことを特徴とする記録媒体。

Images