JP4696248B2 - 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置 - Google Patents

Description

本発明は、いわゆるカーナビゲーション装置およびそれによるカーナビゲート情報の表示方法と呼ばれるような、移動体の現在位置の情報やそれに関連したナビゲーションのための情報の収集・処理・表示等を行うための、移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置に関する。

自動車車両のような移動体の現在位置を検出し、周辺の道路地図と共に検出された現在位置を表示画面に表示して、行き先や道順など種々の案内情報の表示や音声出力を行うという、いわゆるカーナビゲーション装置のような、移動体ナビゲート装置が開発されている。

このような従来のカーナビゲーション装置では、車速センサーからの車速パルスおよび地磁気センサーからの地磁気による方角に基づいて、予めＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）のような記憶手段にデータとして格納されている地図上を自律航法制御部でトレースするとともに、ＧＰＳ衛星から伝送されるＧＰＳ信号に基づいて当該移動体の現在位置の確認を行う。この分野での開発初期のカーナビゲーション装置では、計測誤差等の要因から、実際の走行位置と地図上でのトレース位置とが有意にずれてしまい、例えば実際には海岸線寄りの道路を走行中に、カーナビゲーション装置によって検出された自車の走行位置は海の中が示されている、といった明らかな誤動作（誤検出）なども、過去にはあった。しかし、そのような有意の位置ずれが生じる場合には、位置補正（マップマッチング）を行うようにする技術などが開発されて、現在では、自車の走行位置の検出精度は十分なものとなってきている。

このようにして得られた自車の現在位置の情報と、ＣＤ−ＲＯＭなどの大容量データ記憶手段から得た地図情報とを、重ね合わせることで、現在位置とその付近の所定範囲内の道路地図とを表す画像を、例えば液晶表示装置のような画像表示装置の画面に平面的な地図のような２次元画像として表示することが可能となっている。またそれと共に、自車位置、進行方向、速度、地図情報、進路案内、最短経路、道路情報などのような、いわゆるナビゲート情報を、２次元画像の地図に重ね合わせて、あるいは２次元画像の地図の中の該当する位置に嵌め込んで、表示することなどが可能となっている。

従来のナビゲーション表示装置では、２次元画像の道路平面地図または周囲景観を３次元ＣＧ化して立体的に表した道路地図中に、矢印などのアイコンで表示される走行位置および走行方向や、現在位置から目的地までの推奨ルート（最適経路）などの情報の画像を、重ねて表示するものもある。またさらには、ＶＩＣＳセンサーなどから得られる道路渋滞情報等をテキストラベルで画面上に表示するものもある。

ところが、このような従来の技術では、平面的（２次元的）な簡略化された地図や３次元表現であってもＣＧによって抽象的に簡略化して表現された画像を用いた間接的なナビゲーション情報しか提供することができないので、自動車に乗って運転しているドライバーにとっては、例えば現在位置や進路案内などの情報と実際にフロントガラス越しに見えている景観中の道路との対応関係が直観的には判りにくいという不都合がある。

これらの不都合を解決するために、地図情報の他に実写映像を利用するナビゲーション装置が、例えば特許文献１、特許文献２などによって提案されている。

特許文献１に開示された技術では、移動体の現在位置と進行方向を検出し、その検出された現在位置および進行方向に対応して表示すべきナビゲート情報を選択し、車両のフロントガラスを通して見える進行方向前方の景観とほぼ相似したカメラアングルから撮像装置によって撮像された実写映像と、そのときの自車両の現在位置に対応して読み出されたナビゲート情報の画像とを重畳させて、例えば液晶表示パネルの画面などに表示する。そして、その結果、実際の道路およびその周囲の景観の映像とナビゲート情報との対応関係を視覚的に判りやすいものとして表示することが可能となると主張されている。また、一般なカーナビゲーション装置では、ナビゲーション情報は主として映像表示部に映し出される映像情報であることから、運転者は運転中において注意力が散漫となりやすい虞がある。

そこで、特許文献２では、車体の前方を撮影するＣＣＤカメラのような撮像装置を、例えば車両のフロントガラスの天井寄りの位置またはダッシュボート付近などに設けておき、その撮像装置によって撮影された車体の前方の道路を含んだ景観の映像（画像）を、地図情報を表示する画面中の所定位置に子画面として嵌め込んで表示する、という技術が提案されている。この技術によれば、車両のドライバーは運転中に画像表示装置の画面に表示された地図などのナビゲーション情報を見ている状態でも、その画面内の所定位置に子画面として映し出された前方の景観の実写映像を見ることで、前方の景観に視線を戻さなくとも車両の前方状況を把握することできると説明されている。

また、その小画面の実写映像中に映し出される障害物が大きいと判断された場合や横から急に飛び出して来た物体があった場合などには、子画面の外形寸法（画面サイズ）を大きくして表示するように設定したことで、前方の危険性の高い状態の発生を即座に視覚的にドライバーに伝えると共に、その危険性の高い前方状況をドライバーに対して高い視認性で見せるようにすることができ、延いてはさらなる安全運転を確することを可能とする、といった技術なども提案されている。

また、先行車両判定や自動操舵を行うためには、移動体の前方の道路等を含んだ景観をさらに正確にデータとして把握することが必要になるので、画像道路情報と地図道路情報を用いて３次元道路形状を推定するという技術が、例えば特許文献３によって提案されている。この特許文献３に開示された技術は、自車両の前景の画像データから抽出される画像道路形状と自車両の周辺の地図データとを、３次元または２次元で構成された一つの論理空間に投影し、この投影された双方の道路形状の論理空間における重なり状態に基づいて、道路形状、路面に対する自車両の姿勢、自車両の絶対位置などを推定するというもので、単眼のＣＣＤカメラで撮影した映像に基づいて十分に正確な道路形状の推定を行って、正確な先行車両判定や自動操舵を実現するというものである。
特開平１０−１３２５９８号公報 特開平１１−３０４４９９号公報 特開２００１−３３１７８７号公報

しかしながら、上記の特許文献１に開示された技術では、以下に述べるような問題点がある。すなわち、第１に、画像情報は単純に背景映像として使われるだけであり、例えば行先表示の矢印の画像は画面の中央部から表示を開始して、車両の進行に連れて景観の後方（一般に表示画面の上側から下側）へと画面の中央部を例えば直線的に移動するように表示されるだけである。

このため、例えばカーブした道路でのナビゲート情報の表示や、両側４斜線のような多車線が設けられている道路では、ナビゲート情報の表示が景観中のどの位置を正確に示しているのか判別できなかったり、あるいは全くずれた位置を指し示していたりすることになる場合があるという問題がある。

また、第２に、カメラの姿勢パラメータはカメラの光軸の地面（あるいは水平方向）に対する角度として予め固定的に設定されているので、例えば走行中の車両の振動、操舵による車両のローリングやピッチング、上り坂や下り坂での車両の傾きなどに起因してカメラの姿勢が変化することに起因して、例えば右折位置のような道順や進行方向の矢印などによるナビゲート情報の画像は、実際の景観を撮影してなる映像に対して大幅にずれてしまい、実質的に誤った方向を指し示すことになったり、右折位置が判然としない表示となってしまうという問題がある。

例えば、図１３に示した一例では、ナビゲート情報の画像である矢印９０１は、明確に前方景観中の道路での左折位置を示しているように見える。しかし、一般的な乗用車や、運転席が高い位置にあるバスやトラックのような車両であっても、実際に車両の運転席からフロントガラス越しに見える道路の景観は、図１３に示したような高い位置から見下したような鳥瞰図的なものとはなり得ない。換言すれば、地上１０ｍあるいはそれ以上の高さの、例えばジャンボジェット機のコックピットなどのように、自動車車両の運転席としては有り得ないような極めて高い位置にある運転席など以外からは、ビルディングや住宅などの建物が並んでいる景観における道路の映像を、図１３に示したような曲り角やビルディングの裏の道までが鳥瞰図的に見渡せるように撮影することは、実際上不可能である。実際には、高々１ｍ前後の高さに運転者の視線が位置する一般的な乗用車や、高くても２ないし３ｍ程度の高さに運転者の視線が位置する大型トラックやバスのような一般的な自動車車両では、図１４に一例を示したように、特に前後方向の密度が詰まっており、かつ進行方向の道路に対して交差する道路が沿線のビルディング等で隠れてしまって見辛い傾向の景観（および実写映像）となる場合が多い。

図１５は、（Ａ）一般的な車両の運転席からの例えば１ｍ程度の高さの視線における単位角度変化（路面に対する姿勢）Δθeに対する路面への投影射像の変化の度合い（ΔＬA）と、（Ｂ）それよりも高い例えば１０ｍ程度の高さの視線における単位角度変化（路面に対する姿勢）Δθeに対する路面への投影射像の変化の度合い（ΔＬB）とを、模式的に比較して表したものである。この図１５に示したように、低い位置からの投影射像の変化の度合い（これが低い位置から撮影した場合の姿勢変化Δθeに対する位置のずれの大きさに相当する）ΔＬAと、高い位置からの投影射像の変化の度合い（これが高い位置から撮影した場合の姿勢変化Δθeに対する位置のずれの大きさに相当する）ΔＬBとでは、ΔＬA＞＞ＬBであることが明らかである。このため、特許文献１のように固定的な位置にナビゲート情報を重畳させて表示すると、車両の姿勢変化や、片勾配（カント）など道路の立体的な形状等に因る道路に対する相対的な車両の姿勢変化などに起因して、ナビゲート情報の表示位置が実写映像での適切に表示すべき位置から大幅にずれるという事態が頻発してしまい、その結果、ナビゲート情報が景観中のどの位置を示しているのかなどをユーザー（運転者）が直観的に正確に把握することは困難あるいは不可能なものとなる。

さらに具体的には、特許文献１のように景観の実写映像の画面中の中央線上のような固定的な位置にナビゲート情報の例えば矢印などを位置させるようにする技術では、車両の少しの姿勢変化でも景観の実写映像とナビゲート情報の画像との間でのずれが大幅なものとなり、またビルディングのような建物や樹木などの道路沿線で車両寄りにある景観によってそれよりも遠方の景観が遮られることが多いので、それに対処するためにさらに正確な位置にナビゲート情報の画像を表示することが必要となるが、特許文献１ではそのような対処は不可能である。

また、実際には自動車のような移動体は一般に、走行中には車両のローリングやピッチングなどで頻繁に姿勢が変化することが多く、しかも上記のような理由から一般的な車両の高々１乃至３ｍ程度の高さからの景観中では、少しの姿勢変化でも大幅な位置ずれとなってしまうので、特許文献１の技術では、例えば道順を示す矢印のようなナビゲート情報の表示位置が実写映像中での適正な表示位置から大幅にずれた状態になるという事態が多発する虞がある。

しかも、そのような姿勢変化は、車両の駆動方式などの構造やエンジンの配置位置などで支配的に定まる重心位置の違いなどによって、車両の形式ごとで異なったものとなる場合が多いので、車両の形式ごとや姿勢変化の大きさや方向ごとで異なった対応をすることが必要となるが、そのような対応は特許文献１では不可能である。また、車体および運転者の身体を大きく傾斜させて曲線を通過する二輪車やスクータの場合には、車両の姿勢変化はさらに顕著なものとなるので、そのような二輪車向けのナビゲート装置の場合には、車両の姿勢変化に起因した表示位置のずれがさらに顕著なものとなってしまう。

また、第３に、道路地図データに附加されている道路名称、ランドマーク、病院などの道順案内などのナビゲートを行うに際して有力な目印となり得る場所を自車両の現在位置に基づいて３次元的にリアルタイムに表示することが望ましいが、そのようなことは特許文献１では全く考慮されておらず、提案もされていない。しかも、図１４に一例を示したように、道路沿線の目印となる建物は車両寄りの建物や景観などの背後に隠れて見辛いものとなる場合も多い。

特許文献２の技術では、上記のような特許文献１の技術の場合と同様の問題点の他に、次のような問題点がある。すなわち、特許文献２では、道路前方の景観の実写映像を子画面に表示しているだけであるため、道路地図情報と実映映像との照合は、やはりドライバーが自分の頭の中で考えて行わなければならない。このため、例えば不慣れな（または初めて通るような）土地における交差や分岐等が多い道路を運転するドライバーにとっては、直観的にナビゲート情報を把握することが困難であり、延いてはユーザーが道順を間違ってしまったりナビゲート情報の意味する内容を誤認したり理解不能になったりする虞がある。

特許文献３の技術には、次のような問題点がある。すなわち、特定な道路形状モデルがないため、多車線道路の場合では画像データから抽出する自車走行車線の中心線と道路地図データから推定する道路中心線との間で大きなずれを生じる可能性がある。また、自車走行車線の情報を推定できないので、車線変更や左折右折の際に正しいナビゲーション情報を提供することができない。

また、走行路面の片勾配（カント；cant）は水平曲率に対応して変化するように設定されているという道路構造を考慮していないので、曲線道路では現在走行中の車線の隣の車線での路面に対する姿勢データの推定結果が大幅に変わってしまうこととなり、道路形状を正確に推定することができない虞がある。

また、画像からの道路特徴抽出を行うに際しては、道路形状の推定結果をフィードバックせずに単純にフレーム毎に微分フィルタによって輝度変化が大きい部分を白線として抽出するようにしているが、この手法によって得られる推定結果は天候の変化や路面上の影、汚れなどのような種々の環境的な要因の影響を極めて受けやすい。このため、道路特徴抽出してなるデータの表す道路形状モデルが実体の道路形状とは有意にずれた不正確なものとなる虞があるという問題などもある。

また、さらには、前方の実写映像にナビゲーション情報の画像を合成するなどして表示する場合、例えばナビゲーション情報の画像が、実写映像における歩行者やその他の障害物などのような要注意な映像と重なるなどして、その要注意な映像の存在の視認性を妨げてしまう虞がある。

本発明はかかる問題点に鑑みてなされたもので、その目的は、進路案内、自車位置、地図情報などのナビゲーション情報を、移動体の前方の道路の実写映像中または実際の景観中における適切な位置に正確に投影した表示を行って、ナビゲーション情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することができ、かつ、実写映像における例えば歩行者や道路工事中の現場の実写映像のような要注意な映像の視認性をナビゲーション情報の画像で妨げることのないようにした、ナビゲート情報表示方法および移動体ナビゲート情報表示装置を提供することにある。

また、本発明による移動体ナビゲート情報表示方法は、移動体の現在位置を検出すると共に前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影するプロセスと、検出された前記移動体の現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出すプロセスと、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成するプロセスと、前記実写映像から前記景観中に含まれる道路に関する画像データである道路形状データを抽出するプロセスと、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定するプロセスと、前記読み出されたナビゲート情報を、垂直軸または水平軸を中心に回転する３次元アイコンとして、前記撮影された実写映像の前記決定された位置に合成して表示するプロセスとを備えている。

また、本発明による移動体ナビゲート情報表示装置は、移動体の現在位置を検出する現在位置検出手段と、前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影する撮像手段と、前記移動体の検出された現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出し、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、前記実写映像から前記景観中に含まれる道路に関する画像データである道路形状データを抽出し、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定し、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報を垂直軸または水平軸を中心に回転する３次元アイコンとして合成してなる画像を表示するためのデータを出力するデータ処理手段と、前記データ処理手段から出力されたデータに基づいて、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報を、垂直軸または水平軸を中心に回転する３次元アイコンとして合成して表示する画像表示手段とを備えている。

本発明による移動体ナビゲート情報表示方法または移動体ナビゲート情報表示装置では、第１の移動体ナビゲート情報表示方法または移動体ナビゲート情報表示装置と同様にして、実写映像中でのどこの位置にナビゲート情報を合成するのが適切であるのかを、道路形状モデルのデータと道路形状データとを照合することによって決定することにより、例えば進路案内、自車位置、地図情報などのナビゲーション情報を、移動体の前方の道路の実写映像中または実際の景観中における適切な位置に正確に投影した表示を行うことが可能となり、延いてはナビゲーション情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することが可能となる。しかも、ナビゲート情報の画像を、垂直軸または水平軸を中心に回転する３次元アイコンとして、実写映像中に合成して表示するようにしたので、道路や地面の実写映像の視認性をナビゲート情報の表示で妨げることがない。

ここで、上記のナビゲート情報としては、例えば移動体の目的地に到着するまでの道順に関する進路案内、自車位置、自車が走行中の車線、進路案内または自車位置を当該移動体の運転者が確認するに当たっての目印となる建物のうち、少なくともいずれか一つなどが可能である。

また、ナビゲート情報が文字または記号もしくは数字の情報であるときは、その情報をアイコン化して、そのアイコンの画像を撮影された実写映像に合成して表示するようにすればよい。

また、上記のデータ処理を行うプロセスまたはデータ処理手段は、ナビゲート情報を３次元拡張現実（Augmented Reality）空間内の仮想実体（virtual object）として表現し、既に得られた姿勢データに基づいて２次元特徴空間に変換してなる道路形状データの中の該当する位置に割り当てるようにすることで、そのナビゲート情報の画像を実写映像中に仮想実体として合成することなども可能である。このようにすることにより、例えば道順案内の目印となる建物についての文字または記号もしくは数字からなるナビゲート情報を、実写映像ではその目印の建物が手前側の建物などの背後や曲線道路の内周側などに隠れて見えない場合であっても、その目印の建物の存在を視覚的に直観的に示すことが可能となる。

なお、上記のデータ処理を行うプロセスまたはデータ処理手段は、道路形状データを遠近法的な２次元特徴空間の画像データに変換すると共に道路形状モデルのデータを遠近法的な２次元特徴空間の画像データに変換し、それらを２次元特徴空間にて２次元データどうしで照合して、被写体の道路の路面に対する車載カメラまたは移動体の姿勢データを推定するようにしてもよい。このようにすることにより、姿勢データを推定するために行われる道路形状データと道路形状モデルのデータとの照合を、３次元論理空間などで３次元データどうしで行うといった情報量が極めて多くなりデータの高速処理が困難になる場合があることが想定されるような手法を用いなくとも、疑似３次元的な２次元特徴空間で２次元データどうしで行うことができるので、その照合のプロセスの簡易化および高速化を達成することなどが可能となる。

また、上記のデータ処理を行うプロセスまたはデータ処理手段は、道路形状モデルを生成するにあたり、曲線道路における走行路面の片勾配は当該曲線道路の水平曲率に対応して変化するように設定されているという道路構造を考慮したモデリングを行うことで、多車線道路の道路形状モデルを生成するものとしてもよい。このようにすることにより、自動車車両のような移動体が多車線道路を走行している場合であっても、多車線道路の道路形状を正確に把握することができ、延いてはそのような多車線道路の道路形状に正確に対応した適切な位置にナビゲート情報を合成して表示することが可能となる。

また、上記のデータ処理を行うプロセスまたはデータ処理手段は、道路形状モデルのデータと道路形状データとを照合するにあたり、道路ルックアップテーブル（ＲＳＬ：Road Shaped Look-up table）を用いて、実写映像から景観中に含まれる道路白線の存在確率を求めてＲＳＬ値を算出し、そのＲＳＬ値による評価値が最大になるように当該移動体の姿勢データを求めるようにしてもよい。このようにすることにより、天候の変化や路面上の影、汚れなどのような種々の環境的な要因の悪影響を受けることなく常に正確な道路形状データを抽出することができ、延いてはそれを用いて正確な姿勢データを推定することが可能となる。

また、上記の画像表示を行うプロセスまたは画像表示手段は、撮影された実写映像の中の適切であると決定された位置に読み出されたナビゲート情報を合成してなる画像を、例えばダッシュボートのほぼ中央部などに設置されたカーナビゲーション用の液晶表示パネルのような表示装置の所定の表示画面に表示するものであるようにすることが可能である。

あるいは、撮影された実写映像の決定された位置に読み出されたナビゲート情報を合成してなる画像を、いわゆるＨＵＤ（Head Up Display）型投射装置のような表示装置などによって、運転席前面の透明窓の内側表面に投射して表示するようにしてもよい。

また、上記のデータ処理を行うプロセスまたはデータ処理手段は、移動体の検出された現在位置に対応したナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出し、当該移動体の現在位置と道路地図データとに基づいて、現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、実写映像から景観中に含まれる道路の画像データである道路形状データを抽出し、道路形状モデルのデータと道路形状データとを照合して、被写体の道路に対する車載カメラまたは移動体の姿勢データを推定し、その姿勢データに基づいて、移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写映像における表示位置を決定し、その決定された位置に読み出されたナビゲート情報の画像を表示するためのデータを出力するものであり、上記の画像表示手段または画像表示プロセスは、ナビゲート情報の画像を移動体の運転席前面の透明窓の内側表面に投射して表示することで、そのナビゲート情報の画像を運転席前面の透明窓から見える景観に合成して表示するものであるようにすることなども可能である。

以上説明したように、本発明の移動体ナビゲート情報表示方法または移動体ナビゲート情報表示装置によれば、自動車車両のような移動体の現在位置と、その現在位置を含んだ道路地図データとに基づいて、現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、またそれと共に、実写画像から前方あるいは進行方向の景観中に含まれる道路の画像データである道路形状データを抽出し、それら道路形状モデルのデータと道路形状データとを照合して、被写体である景観中の道路に対する車載カメラまたは移動体の姿勢データを推定し、その姿勢データに基づいて、移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写画像における適切な表示位置を決定し、その撮影された実写画像の決定された適切な位置に、読み出されたナビゲート情報を合成した画像を表示するようにしたので、例えば進路案内、自車位置、地図情報などのナビゲーション情報を、移動体の前方の道路の実写映像中または実際の景観中における適切な位置に正確に投影した表示を行うことが可能となり、延いてはナビゲーション情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することが可能となるという効果を奏する。しかも、実写映像における例えば歩行者や道路工事中の現場の実写映像のような要注意な映像の視認性をナビゲーション情報の画像で妨げることを回避して、表示画像全体に亘って視認性を良好なものとすることができる。

本発明の一実施の形態に係る移動体ナビゲート情報表示装置の概要構成を表した図である。 ３次元車両座標系ＶＣＳおよび３次元カメラ座標系ＣＣＳならびに２次元投影画像座標系ＩＣＳの相対的位置関係を表した図である。 道路地図データによって表される点と線によるマッピングの一例を表した図である。 クロソイド曲線で近似してなる道路セグメント水平形状モデルを表した図である。 ２Ｄ−２Ｄマッチングの際に用いられる道路水平形状モデルの一例を表した図である。 中央処理部における、道路形状データの抽出および道路形状モデルの生成ならびにカメラ姿勢パラメータの推定等を含んだ一連の主要な処理の流れを表したフローチャートである。 中央処理部で行われる各種の演算に用いられる各種の数式を纏めて表した図である。 最終的に表示される画像の一例を表した図である。 合成画像中に表示される３次元アイコンの回転を模式的に示した図である。 実写映像の外側周囲に文字情報専用表示領域を予め設けた場合の画面構成の一例を表した図である。 最終的に表示される画像の、他の（図８とは別の）一例を表した図である。 ２つの３次元アイコンを、互いに異なった位相で回転させて表示する状態を模式的に示した図である。 特許文献１にて表示可能であると主張されているナビゲート情報の画像を重畳してなる映像の一例を表した図である。 実際の自動車の運転席からフロントガラス越しに見える前方景観の一例を表した図である。 一般的な車両の１ｍ程度の高さの運転席からの視線における単位角度変化に対する路面への投影射像の変化の度合い（Ａ）と、それよりも高い１０ｍのような高さからの視線における単位角度変化に対する路面への投影射像の変化の度合い（Ｂ）とを、模式的に比較して表した図である。

以下、本発明を実施するための最良の形態について図面を参照して詳細に説明する。

図１は、本発明の移動体ナビゲート情報表示装置の概要構成を表したものである。なお、本発明の実施の形態に係る移動体ナビゲート情報表示方法は、この移動体ナビゲート情報表示装置の動作あるいは作用によって具現化されるものであるから、以下、それらを併せて説明する。

この移動体ナビゲート情報表示装置は、センサー入力部１と、操作部２と、地図管理部３と、中央処理部４と、映像表示部５と、制御部６とを、その主要部として備えている。

さらに詳細には、センサー入力部１は、ＣＣＤ（固体撮像素子）カメラ１０１と、ＧＰＳセンサ１０２と、ＩＮＳセンサ１０３と、ＶＩＣＳ１０４とを備えている。ＣＣＤカメラ１０１はドライバーがフロントガラス越しに見る視線とほぼ同様のカメラアングルで車両前方の景観を撮影（撮像）するように、例えばこの移動体ナビゲート情報表示装置が搭載されている自動車のような移動体（以下、これを自車両または当該移動体もしくは自車とも呼ぶ）の運転席のダッシュボードの上または天井付近（図示省略）などに設置されている。このＣＣＤカメラ１０１は、例えば固定焦点距離の単眼方式のものであり、道路を含んだ前方の景観の画像を撮像してその画像信号を取り込む。取り込まれた画像信号は、中央処理部４の画像メモリ（図示省略）にデータとして転送される。そしてＧＰＳセンサ１０２とＩＮＳセンサ１０３とで取得された当該移動体に関する走行方位のデータおよび車速データは、ＣＣＤカメラ１０１で取得された画像データと同期して、中央処理部４へと転送される。また、道路交通情報受信装置であるＶＩＣＳ１０４から受けられたデータも中央処理部４に転送される。

操作部２は、ユーザーからのボタン操作またはリモコン入力装置（図示省略）などによって入力された操作命令に応答してシステム設定やモード変更などの命令を中央処理部４に転送する。

地図管理部３は、中央処理部４からの読み出し命令に従って、操作部２からの命令入力で指定された道路位置の各種情報を、所定の地理的領域の地図データを予め記録している地図データＣＤ３０１から読み出して、中央処理部４へと転送する。

中央処理部４は、画像処理モジュール４０１、測位処理モジュール４０２、映像出力処理モジュール４０３、制御出力処理モジュール４０４という４つのモジュールと、画像データ生成部４０５とから、その主要部が構成されている。

画像処理モジュール４０１は、車載されたＣＣＤカメラ１０１の姿勢推定、走行車線追跡、害物検出、および車間距離計算などを行う。

測位処理モジュール４０２は、センサー入力部１からの方位及び車速を地図管理部３の道路地図データとマップマッチングして、正しい道路位置情報の演算を行ってそのデータを出力する。

映像出力処理モジュール４０３は、映像表示部５における進路案内、自車位置、および地図情報を、３次元拡張現実空間内の仮想実体として表現し、それを後述するような推定方法で求められたＣＣＤカメラ１０１の姿勢パラメータで２次元道路映像へと投影して、移動体の前面の景観の実写映像と融合（合成）させる。また、悪天候状況での道路区画線強調表示や障害物などの危険表示などを行うためのデータ生成も行う。またさらには、道路地図に附加すべき情報として、例えば、ランドマーク、鉄道の駅、病院、ガソリンスタンドなどのような道順案内の際の目印となり得る物体の情報をアイコン化して、それをカメラ姿勢パラメータを用いて道路の実写映像に投影する。

制御出力処理モジュール４０４は、各解析結果を総合的に判断し、自車両に対する危険性の度合いに対応した警報等を出力するためのアラーム出力命令を、制御部６に対して与える。

画像データ生成部４０５は、主に画像処理モジュールおよび測位処理モジュールから出力されたデータならびに地図管理部３から読み出された地図データに基づいて、自車両の現在走行中の走行車線認識、道路形状認識、障害物認識や、自車両の絶対路上位置認識、カメラ姿勢の推定などを行って、ナビゲート情報を実写映像中の適切な位置に合成して表示するためのデータを生成する。その表示データは、さらに具体的には、次のような仮想空間内での３次元モデリングルールに基づいて生成される。すなわち、
（１）ランドマークや施設情報は、それらを模式的に表現した３次元アイコンで表示する。
（２）走行方向などの指示情報は、３次元矢印で表示する。
（３）全てのナビゲート情報は、基本的にユーザーによって変更可能である。但し、各ナビゲート情報ごとに、そのデフォルトの表示寸法および色がそれぞれ予め定められていることは勿論である。例えば、病院を示すランドマークは、赤地に白十字の、所定の面積および厚みを有するプレート状の３次元アイコンで表示するようにデフォルト設定されているが、これをユーザーが例えば白地に赤白十字のプレート状の３次元アイコンで表示するように変更することなども可能である。そのような設定のデータについては、操作部２を用いてユーザーが入力する。そしてその入力された設定のデータはさらに画像処理モジュール４０１を介して画像データ生成部４０５へと入力される。そして、画像データ生成部４０５にて、各種のナビゲート情報をその各々に対応した寸法および色合いで表示するためのデータが生成される。
（４）ナビゲート情報について、表示の必要性の緊急度に応じて、警告情報と誘導情報と付加情報との３種類の分類を予め定義しておく。その定義の情報は、画像データ生成部４０５に予め格納されている。ここで、警告情報とは、例えば車線離れや障害物の接近（または衝突の虞）等をユーザーに警告するための情報である。また、誘導情報とは、目的地への走行方向、駐車場の空き案内、ランドマークや通行路沿線の大きな施設の情報等である。また、付加情報とは、通行路沿線の中小施設や商店等の情報である。それら各分類のそれぞれに対して優先順位を予め定めておく。その優先順位の情報も、画像データ生成部４０５に予め格納されている。そして、ナビゲート情報が前述の分類のうちのどれに該当するかを判別し、その分類に対応した順序に従って各ナビゲート情報を実写映像内の該当する位置に合成して表示するためのデータを、画像データ生成部４０５にて生成する。
（５）警告情報以外のナビゲート情報については、実写映像（またはＨＵＤの場合には実景）の中の警告対象物に対する移動体の現在位置が所定の距離内に入って以降に表示する。
（６）ナビゲート情報のうち、走行方向案内のための３次元矢印や仮想道路ペインティングなどのようなグラフィック表示以外の、ナビゲート情報については、実写映像における仮想消失点または仮想地平線よりも下の領域には表示せず、仮想消失点または仮想地平線よりも上の領域に表示する。
（７）ナビゲート情報を、垂直軸または水平軸を中心に回転する３次元アイコンとして、撮影された実写映像の決定された位置に合成して表示する。なお、回転する３次元アイコンが、一画面内に複数個表示される場合には、それら複数個の３次元アイコンのそれぞれを、互いに異なった位相または回転速度で回転させて表示する。
（８）ナビゲート情報を、実写映像が透けて視認されるような半透明アイコンとして表示する。
（９）ナビゲート情報のうち、文字情報（文字として表示される情報）については、実写映像内ではなく、実写映像の外側周囲に予め設けられた表示領域に表示する。

映像表示部５は、画像データ生成部４０５によって生成されたデータに基づいて、ナビゲート情報を実写映像中の適切な位置に合成した映像（画像）を、例えば液晶表示パネルの画面に表示する。

制御部６は、上記のようなアラーム出力命令に対応した警報等の出力の制御や、制御出力モジュールによる解析結果に対応した音声出力の制御、ブレーキの制御、操舵の制御などを、例えばそれらの制御量を調節するために設けられている各サーボモータ系などの動作を制御することによって行う。

次に、この移動体ナビゲート情報表示装置の動作について説明する。

この移動体ナビゲート情報表示装置では、自車両の現在位置を含む付近の地理に関する道路地図データを、ＧＰＳセンサ１０２およびＩＮＳセンサ１０３ならびに測位処理モジュールによって検出された現在位置のデータに基づいて、画像データ生成部４０５が、現在位置から撮影されることが想定される道路に関する道路形状モデルを生成する。またそれと共に、実写映像から進行方向の景観中に含まれる道路の画像データである道路形状データを、例えば道路の走行区分線の白線画像データ等に基づいて抽出する。

続いて、画像データ生成部４０５は、道路形状データと道路形状モデルのデータとを照合して、ＣＣＤカメラ１０１によって撮影される被写体となっている景観中の道路に対するＣＣＤカメラ１０１の姿勢データ（または自車両の姿勢データでも構わない）を推定する。

そしてその姿勢データに基づいて、移動体の現在位置に対応して読み出されたナビゲート情報の撮影された実写映像における適切な表示位置を決定し、その撮影された実写映像の決定された適切な位置に、読み出されたナビゲート情報を合成した画像を表示することができるような画像データを生成する。

このようにして、画像データ生成部４０５が、実写映像中でのどこの位置にナビゲート情報を合成するのが適切であるのかを、道路形状モデルのデータと道路形状データとを照合することによって決定し、そのようにして生成された画像データに基づいて、映像表示部５が、例えば進路案内、自車位置、地図情報などのナビゲーション情報を、移動体の前方の道路の実写映像中またはフロントガラス越しに見える実際の景観中の適切な位置に正確に合成した表示を行うことができる。その結果、本実施の形態に係る移動体ナビゲート情報表示装置によれば、ナビゲーション情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することを可能とした映像を表示することができる。

ここで、上記のナビゲート情報とは、例えば移動体の目的地に到着するまでの道順に関する進路案内、自車位置、自車が走行中の車線、進路案内または自車位置を当該移動体の運転者が確認するに当たっての目印となる建物のうち、少なくともいずれか一つなどである。また、ナビゲート情報が文字または記号もしくは数字の情報であるときは、その情報をアイコン化して、そのアイコンの画像を撮影された実写映像に合成して表示することが望ましい。

また、画像データ生成部４０５では、ナビゲート情報を３次元拡張現実空間内の仮想実体として表現して、既に得られた姿勢データ等に基づいて２次元特徴空間に変換してなる道路形状データの中の該当する位置に割り当てるようにすることで、そのナビゲート情報の画像を実写映像中の適切な位置に仮想実体として合成して、例えば道順案内の目印となる建物についての文字または記号もしくは数字からなるナビゲート情報を、実写映像ではその目印の建物が手前側の建物などの背後や曲線道路の内周側などに隠れて見えない場合であっても、その目印の建物の存在を視覚的に直観的に示すようにしている。

また、画像データ生成部４０５では、道路形状データを遠近法的な２次元特徴空間の画像データに変換すると共に道路形状モデルのデータを遠近法的な２次元特徴空間の画像データに変換し、それらを２次元特徴空間にて２次元データどうしで照合して、被写体の道路の路面に対する車載カメラまたは移動体の姿勢データを推定している。このように、姿勢データを推定するために行われる道路形状データと道路形状モデルのデータとの照合を、疑似３次元的な２次元特徴空間で２次元データどうしで行うようにしたことで、その照合のプロセスの簡易化および高速化が達成されている。

また、道路形状モデルを生成するにあたり、曲線道路における走行路面の片勾配は当該曲線道路の水平曲率に対応して変化するように設定されているという道路構造を考慮したモデリングを行うことで、多車線道路の道路形状モデルを生成している。これにより、自動車車両のような移動体が多車線道路を走行しているときでも、多車線道路の道路形状を正確に把握することができ、延いてはそのような多車線道路の道路形状に正確に対応した適切な位置にナビゲート情報を合成して表示することができる。

また、道路形状モデルのデータと道路形状データとを照合するにあたり、道路ルックアップテーブル（ＲＳＬ，参照文献：胡振程「車載カメラの運動解析による複数移動体の抽出及び同時追跡に関する研究」熊本大学大学院自然科学研究室博士学位論文）を用いて、実写映像から景観中に含まれる道路白線の存在確率を求めてＲＳＬ値を算出し、そのＲＳＬ値による評価値が最大になるように当該移動体の姿勢データを求めるようにしてもよい。このようにすることで、天候の変化や、路面上の影または汚れなどのような種々の環境的な要因の悪影響を受けることなく常に正確な道路形状データを抽出することができ、延いてはそれを用いて正確な姿勢データを推定することが可能となる。

また、撮影された実写映像中の適切であると決定された位置にナビゲート情報を合成してなる画像を、例えばダッシュボートのほぼ中央部などに設置されたカーナビゲーション用の液晶表示パネルのような表示装置の所定の表示画面に表示するものであるようにすることの他にも能である。

または、撮影された実写映像における上記のような照合によって決定された適切な位置に、読み出されたナビゲート情報を合成してなる画像を、いわゆるＨＵＤ型投射装置のような表示装置などによって、運転席前面の透明窓の内側表面に投射して表示するようにしてもよい。

あるいは、ナビゲート情報の画像を撮影された実写映像の中に合成するのではなく、上記のような照合によってナビゲート情報の画像を表示するのに適切な位置であると決定された位置のデータを用いて、その位置に相当する運転席前面のフロントガラスの内側表面に、ナビゲート情報の画像をＨＵＤ的に投射して表示することで、そのナビゲート情報の画像を運転席前面の透明窓から見える景観に合成して表示してもよい。

次に、本実施の形態に係る移動体ナビゲート情報表示装置および移動体ナビゲート情報表示方法の、さらに具体的な実施例について説明する。

図２は、３次元車両座標系ＶＣＳ（Ｘv，Ｙv，Ｚv）および３次元カメラ座標系ＣＣＳ（Ｘc，Ｙc，Ｚc）ならびに２次元投影画像座標系ＩＣＳ（ｘi，ｙi）の相対的位置関係を表したものである。ここで、３次元車両座標系ＶＣＳの原点は車両後輪中央線の中点に位置しており、Ｚv 軸は車両の中央線に、Ｘv軸，Ｙv軸はそれぞれ左，上に指向するように、各々設定されているものとする。また、３次元カメラ座標系ＣＣＳの原点はＣＣＤカメラのレンズ中心点に位置しており、Ｚc軸はカメラの光軸に重なるように設定されているものとする。また、２次元投影画像座標系ＩＣＳはＺc＝ｆconst（Ｚc＝ｆなる平面）に位置しているものとする。

カメラ座標系ＣＣＳから画像座標系ＩＣＳへの変換関係は正投影である。従って、図７に式１に示したような行列による関係式として記述することができる。但しここに、ＰはＣＣＳ座標系内の座標［Ｘc，Ｙc，Ｚc，ｌ］、ｐはＩＣＳ座標系内の座標［ｘi，ｙi，ｌ］である。

Ａは３×４の投影マトリックスであり、一般に図７に式２として示したように分解することができる。ここに、Ｋはカメラ内部のパラメータマトリクスと呼ばれるもので、画像の横縦方向変形率（Ｓx，Ｓy）および画像中心点（ｕo，ｖo）ならびに回転変形率Ｓθによって定まるものである。このＫを図７に式３として表す。

カメラ姿勢マトリクスＭは、カメラ外部パラメータマトリクスと呼ばれるもので、視点から対象モデル座標系への変換関係を示しており、一般に剛体の３次元並進および回転変換によって図７に式４として示したように表すことができるものである。ここに、Ｒ11〜Ｒ33（Ｒの要素全て）は回転パラメータであり、Ｔx，Ｔy，Ｔz（Ｔの要素全て）は並進パラメータである。

ところでカメラ倍率は一般に１で近似することも可能であることから、式１〜式４に基づいて、図７に式５で示したような拘束式が成り立つ。

ここで、カメラ姿勢を代表する回転および並進の６つのパラメータを姿勢ベクトルで表示すると、画像座標系と車両座標系との投影関係は、図７の式６で示したような数式で表現される。すなわち、式６によれば、２Ｄ−３Ｄ空間における一つの対応点対（ｐ，Ｐ）は、カメラ姿勢データに対して図７に式６で示したような一つの拘束式を決定することとなる。理論的には、このような６つの対応点対があれば、カメラの姿勢を推定するためには十分である。

しかし、単純な単眼のＣＣＤカメラによって撮像される前方景観のモノクロの実写画像データのみから３次元空間の奥行きを正確かつ確実に推定することは、理論的に極めて困難あるいは不可能であるため、本実施例では、２Ｄ−３Ｄでの（２次元空間対３次元空間照合による）マッチングを避けて、道路地図情報から多車線道路形状モデルを推定し、その多車線道路形状モデルを実写映像データから抽出された多車線道路形状データと２Ｄ−２Ｄ特徴空間でのマッチングに変換して、２次元空間対２次元空間での照合によってカメラ姿勢データを推定する。但し、このときの照合は２Ｄ−２Ｄ特徴空間でのマッチングのみには限定されないことは言うまでもない。この他にも、例えば前方景観の実写画像データ以外の情報源から３次元空間の奥行きデータを正確かつ確実に推定し、そのデータを用いて２次元空間対３次元空間の照合を行うようにしてもよいことは言うまでもない。但し、その場合には、一般に処理すべきデータ量が２Ｄ−２Ｄ特徴空間でのマッチングの場合よりも多くなる傾向にあることは言うまでもない。

図３は、道路地図データによって表される点と線によるマッピングの一例を表したものである。道路地図データには一般にノードと呼ばれる道路セグメントの緯度経度と海抜などの３次元位置情報、道路名称、等級、車線数、交差状況などが記録されている。道路幅は道路等級に基づいて推定することができる。また、一般に地図データに記載されたノード位置は道路中央線上にある。道路の構造は一般に、水平曲率と縦断曲率を用いる複雑曲面によって構成されている。

図４は、クロソイド（clothoid）曲線で近似してなる道路セグメント水平形状モデルを表したものである。このような道路セグメント水平形状モデルは、図７の式７に示したような数式を用いてモデリングすることができる。ここで、式７におけるｃ0とｃ1は、それぞれ水平曲線の初期曲率と曲率の変化パラメータである。またｎliは上り車線数、ｎriは下り車線数、ｗiはセグメント間の平均道路幅である。Ｌiはセグメント長さを示すものである。このモデルを用いて地図データに基づいて任意路上位置での道路形状モデルを簡易に極めて短時間で構築することができる。

車両の走行位置は一般に、道路中央線ではなく日本のような左側通行の慣習の国では左にオフセットしている場合が多いが、自車両の路上位置（車両座標系の原点から道路中央への偏移量）および向き（車両座標系のＺ軸方向と道路水平接線との偏移角）の情報を用いることで、実際の走行位置が片車線にオフセットしていることに対応する道路中心線の道路水平形状モデルを、車両座標系ＶＣＳベースとした新しいモデルに変換することができる。

そして視認距離（実写映像として撮影されることが想定される領域）内の道路の路面が平坦であると仮定して、投影変換式である図７の式６から、図７に式８として示したような道路水平形状モデルの投影式を推定する。この図７の式８では、３次元の道路形状を言うなれば遠近法的に２次元に投影したので、カメラ姿勢を推定するための照合方法としてデータ処理の繁雑化の虞のある２Ｄ−３Ｄマッチングを２Ｄ−２Ｄマッチングに簡単化することできる。

このように、本実施例では、道路地図データから推定される道路形状モデルと道路の実写映像から抽出される道路形状データとを２次元の特徴空間で２Ｄ−２Ｄマッチングさせて最適な姿勢ベクトルを推定する。図５は、その２Ｄ−２Ｄマッチングの際に用いられる道路水平形状モデルの一例を示したものである。

なお、実際の道路環境では、太陽光線や人工照明などによる光の照射状況やの天候状況等によって車線の区切りを示す道路白線の明度や色合いなどが大幅に変化する場合が多いため、道路形状モデルと実写映像から抽出された道路形状データとを直接的にうまくマッチングさせることができなくなる場合がある。そこで本実例では、道路白線ルックアップテーブル（ＲＳＬ）の概念を用いて、道路白線の明度値の代りにその存在確率を映像化することによって、高速かつロバストな道路形状マッチングを実現することができる。

ＲＳＬの値は、道路白線に近いほど高くなる。具体的な計算法としては、まず道路白線、区切り線、および道路領域の境界線候補を特徴領域として抽出し、画像を２値化する（特徴領域に属する画素を１とし、他の画素を０とする）。そして図７に示した式９を用いて各画素のＲＳＬ値を計算する。但しここに、λx,yは２値化した画素値であり、χi,jはＲＳＬ用のカーネル係数である。雑音を抑制するために、カーネルサイズは通常５又は７に設定する。各係数はGaussin分布式によって定める。カメラ姿勢推定の最終評価式を、図７の式１０に示す。ここに、ησは道路水平形状モデルの２次元投影点の集合である。この式１０によって、道路地図データに基づいて生成される道路形状モデルと実写映像から抽出される道路形状データとを完全にマッチングする最高のＲＳＬ評価値を得ることができる。

６パラメータの姿勢ベクトルσの最適値を求めるためには、種々のローカル極値サーチ方法を用いることができるが、その中でも特にＨｏｏｋｅとＪｅｅｖｅｓの直接サーチアルゴリズムを好適に採用することができる（ R. Hooke and T. Jeeves. "Direct search solution of numerical and statistical problems," Journal of the Association for Computing Machinery (ACM), pp.212-229 (1961).）。

このようにして求められたカメラ姿勢データは、ナビゲート情報を表示すべき位置を決定するためのデータの照合の際などに用いられる。また、このカメラ姿勢データはフィードバック量として次回の推定にも使用される。

図６は、中央処理部における、道路形状データの抽出および道路形状モデルの生成ならびにカメラ姿勢パラメータの推定等を含んだ一連の主要な処理の流れを表したフローチャートである。

まず、ＣＣＤカメラによって撮影された自車両の前方の道路を含んだ景観の実写映像のデータを取り込む（Ｓ１）。

またそれと共に、実写映像のデータの取り込みと同期して、ＧＰＳセンサおよびＩＮＳセンサによって取得されたデータを取り込む（Ｓ２）。

そして、実写映像データから道路の走行区分線などの白線や舗装面の境界線などの区切り線領域を抽出してＲＳＬ値を算出する（Ｓ３）。

また、いわゆるマップマッチングによって自車両の現在位置（絶対位置）を求め（検出し）、その現在位置に対応した関連地図データを地図データＣＤに記憶されている情報のなかから読み出す（Ｓ４）。

実写映像として撮影されている景観中の道路に関する道路水平形状モデルを構築する（Ｓ５）。

更新されたカメラ姿勢ベクトルに基づいて、道路水平形状モデルを遠近法的な２次元空間に投影する（Ｓ６）。

道路映像のＲＳＬ表現と投影した道路水平形状モデルとのマッチングを行って評価値を求める（Ｓ７）。

そして、得られた評価値が最大値であるか否かを判断する（Ｓ８）。このとき最大値と判断された場合には（Ｓ８のＹ）、そのときの姿勢ベクトルを出力し（Ｓ９）、その出力値を次回のサーチ起点としてフィードバックする（Ｓ１０）。しかし最大値でなければ（Ｓ８のＮ）、Hooke & Jeeves法によって姿勢ベクトルを更新して（Ｓ１１）再評価を行う（Ｓ１１〜Ｓ６〜Ｓ８）。このループは最大値が得られるまで（Ｓ８のＹになるまで）繰り返される。

以上の一連の動作は、次回のデータ取り込み〜処理の開始タイミングになると（Ｓ１２のＹ）、再びデータ取り込みという第１ステップから上記と同様の順を追って実行される。

以上のようにしてマッチングが行われ、どの位置にどのナビゲート情報を表示するかが決定されると、次に、その個々のナビゲート情報を、さらに具体的に表示するためのデータが画像データ生成部４０５にて生成される。そのデータの生成は、より具体的には、既に説明したような（１）〜（９）の９種類の３次元モデリングルールに基づいて行われる。その結果、図８〜図１２に一例として示したような画像が、映像表示部５の画面に表示される。

ランドマークや施設情報は、それらを模式的に表現した３次元アイコンで表示される。図８の一例では、「病院」の所在を示す３次元アイコン８０１が、実写映像の病院の前付近に合成されて表示されている。この病院を示す３次元アイコン８０１は、例えば地の色が赤でありその中に白十字が描かれている。その大きさ（外径寸法）および色合いは、背景となっている実写映像の建物や道路の映像の視認性を妨げることのない程度のものに設定されている。

そして、この３次元アイコン８０１は、図９に拡大して示したように、垂直軸８０２を中心として所定の回転速度で回転しているように表示される。この３次元アイコン８０１が正面を向いた状態（図９（Ａ））のときには、ユーザーにとってこれが「病院」を示すものであるということは明確に視認される。そして、その正面を向いた状態から９０度回転すると、図９（Ｂ）に拡大して示したように、その厚み８０３の極めて薄い面積しか表示されていない状態となるので、この３次元アイコン８０１の背後に存在している（表示されている）実写映像における建物や歩行者や障害物等の視認性を妨げることがなく、それらの存在をユーザーは明確に視認することができる。

なお、３次元アイコン８０１等のような全てのナビゲート情報について、その表示寸法および表示色（色使いや色合い）は、基本的にユーザーによって変更可能であることは、既に説明した通りである。

走行方向などの指示情報は、３次元矢印で表示される。図８の一例では、例えば現在ユーザーの車輛が直進中の道路の車線上には、制限速度を示す仮想道路ペインティング８０４、走行すべき方向を示す３次元矢印８０５、車線を示す仮想道路ペインティング８０６、８０７が、道路の実写映像に合成されて表示されている。しかし、実写映像における仮想消失点または仮想地平線よりも下の領域、すなわち具体的には道路の実写映像上には、行先表示のための文字情報等が重なるようには表示されていない。

そして、この図８の一例では、文字情報を主体とする行先表示８０８は、実写映像８０９全体（図８の場合には画面全体）のうちの上端付近の、実写映像ではほとんど天空しか写っていない領域に表示されている。このように、道路や歩行者や建物が存在している確率の高い実写映像や実景における仮想消失点または仮想地平線よりも下の領域には、行先表示８０８のような文字情報を主体とする画像は表示しないようにすることで、道路や歩行者や建物の実写映像や実景が隠されて視認できなくなってしまうことを回避することができる。

また、ナビゲート情報は、前述のように、垂直軸（または水平軸でもよい）を中心に回転する３次元アイコンとして、撮影された実写映像の決定された位置に合成して表示されるが、一画面内に複数個の３次元アイコンを表示する場合には、それら複数個の３次元アイコンのそれぞれを、互いに異なった位相または回転速度で回転させて表示される。図１２に示した一例では、第１の３次元アイコン１２１と第２の３次元アイコン１２２とが、同方向に同じ回転速度で、しかし位相を約９０度異ならせて回転して表示される。

このように位相を約９０度異ならせることによって、第１の３次元アイコン１２１が正面を向いた状態のときには第２の３次元アイコン１２２は横を向いた状態となって、実質的に第１の３次元アイコン１２１だけがユーザーに視認される。また第２の３次元アイコン１２２が正面を向いた状態のときには第１の３次元アイコン１２１は横を向いた状態となって、実質的に第２の３次元アイコン１２２だけがユーザーに視認される。このようにして、一度にユーザーにとって視認可能となる３次元アイコンの個数を制限することで、複数の３次元アイコンが一度に多数並列して見えてしまうことに起因した表示画像の煩雑化および視認性の悪化を、回避することが可能となる。なお、位相を異ならせること以外にも、例えば３次元アイコンの回転速度を異ならせるようにしてもよい。

あるいは、図１０に一例を示したように、ナビゲート情報のうちでも文字情報として表示されるように設定されている道路名の情報８１１と、制限速度の情報８１２については、実写映像内ではなく、実写映像８０９の外側周囲に予め設けられた文字情報専用表示領域８１０内に表示することも可能である。

あるいは、ナビゲート情報を、表示の必要性の緊急度に応じて、警告情報と誘導情報と付加情報との３種類に分類し、その分類に対応した順序に従って各ナビゲート情報を実写映像内の該当する位置に合成して表示することなども可能である。

すなわち、警告情報のようなユーザーに対して緊急に警告を発することが要請される情報以外の（緊急度がそれ未満の）、ランドマークや中小施設などのような一般的なナビゲート情報については、実写映像（またはＨＵＤの場合には実景）の中の警告対象物に対する移動体の現在位置が所定の距離内に入って以降に、表示する。具体的には、図１１に示した一例に則して説明すると、現時点では３個の３次元アイコン８２１（「ホテル」の存在を示す），８２２（ガソリンスタンドを示す），８２３（コンビにストアを示す）が表示されているが、これらはいずれも、ユーザーの搭乗している自動車に対して例えば１００［ｍ］のように予め定められた距離内に入ったときから表示が開始されるが、実物がそれよりも遠い位置にあるときには表示されない。この図１１の例では、一番遠くの３次元アイコン８２２が、所定の距離内に入って、表示開始され始めたばかりの状態にある。

また、図１１の実写映像（画面）８０９の左下に表示されている簡易道路地図情報８２４のように、ナビゲート情報の画像をその背景の実写映像が透けて視認されるように、半透明アイコンとして表示する。なお、半透明アイコンとして表示可能であるのは、簡易道路地図情報８２４のみに限定されないことは勿論である。

以上、詳細に説明したように、本実施の形態に係る移動体ナビゲート情報表示装置または移動体ナビゲート情報表示手段によれば、ナビゲーション情報の画像を、移動体の前方の道路の実写映像中またはフロントガラス越しに見える実際の景観中の適切な位置に正確に合成することができる。そしてその結果、ナビゲーション情報と実写映像または実視景観との対応関係をドライバーが直観的に正確に認識することができるような映像を、表示することが可能となる。しかも、ナビゲーション情報の合成に起因して、実写映像（または実視景観）の視認性をナビゲーション情報の画像が妨げてしまうことを、以上説明したような種々の手法によって回避して、表示画像全体に亘って視認性を良好なものとすることができる。

Claims (10)

1. 移動体ナビゲート情報表示装置で実行される方法であって、
   移動体の現在位置を検出すると共に前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影するプロセスと、
   検出された前記移動体の現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出すプロセスと、
   前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成するプロセスと、
   前記実写映像から前記景観中に含まれる道路に関する画像データである道路形状データを抽出するプロセスと、
   前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定するプロセスと、
   前記読み出されたナビゲート情報を、垂直軸または水平軸を中心に回転する３次元アイコンとして、前記撮影された実写映像の前記決定された位置に合成して表示するプロセスとを備え、
   前記回転する３次元アイコンが、一画面内に複数個表示される場合には、それら複数個の３次元アイコンのそれぞれを、互いに異なった位相または回転速度で回転させて表示する
   ことを特徴とする移動体ナビゲート情報表示方法。
2. 前記道路形状データを遠近法的な２次元特徴空間の画像データに変換すると共に前記道路形状モデルのデータを前記遠近法的な２次元特徴空間の画像データに変換し、前記２次元特徴空間で前記道路形状データと前記道路形状モデルのデータとを２次元データどうしで照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定する
   ことを特徴とする請求項１に記載の移動体ナビゲート情報表示方法。
3. 道路形状モデルを生成するにあたり、曲線道路における走行路面の片勾配は当該曲線道路の水平曲率に対応して変化するように設定されているという道路構造を考慮したモデリングを行って、多車線道路の道路形状モデルを生成する
   ことを特徴とする請求項２に記載の移動体ナビゲート情報表示方法。
4. 道路ルックアップテーブル（ＲＳＬ）を用いて、前記実写映像から前記景観中に含まれる道路白線の存在確率を求めてＲＳＬ値を算出し、そのＲＳＬ値による評価値が最大になるように前記姿勢データを求めることで、前記道路形状モデルのデータと前記道路形状データとの照合を行う
   ことを特徴とする請求項２に記載の移動体ナビゲート情報表示方法。
5. 前記ナビゲート情報は、当該移動体の目的地に到着するまでの道順に関する進路案内、自車位置、自車が走行中の車線、前記進路案内または前記自車位置を当該移動体の運転者が確認するに当たっての目印となる建物のうち、少なくともいずれか一つである
   ことを特徴とする請求項２に記載の移動体ナビゲート情報表示方法。
6. 移動体の現在位置を検出する現在位置検出手段と、
   前記移動体の進行方向の道路を含んだ景観を被写体とした実写映像を前記移動体に設置された車載カメラによって撮影する撮像手段と、
   前記移動体の検出された現在位置に対応した前記移動体の運行に関するナビゲート情報を、予め道路地図データと関連付けて記憶されていたナビゲート情報の中から読み出し、前記移動体の現在位置と前記道路地図データとに基づいて、前記現在位置から撮影されることが想定される道路に関する道路形状モデルを生成し、前記実写映像から前記景観中に含まれる道路に関する画像データである道路形状データを抽出し、前記道路形状モデルのデータと前記道路形状データとを照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定し、前記姿勢データに基づいて、前記移動体の現在位置に対応して読み出されたナビゲート情報の前記撮影された実写映像における表示位置を決定し、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報を垂直軸または水平軸を中心に回転する３次元アイコンとして合成してなる画像を表示するためのデータを出力するデータ処理手段と、
   前記データ処理手段から出力されたデータに基づいて、前記撮影された実写映像の前記決定された位置に、前記読み出されたナビゲート情報を、垂直軸または水平軸を中心に回転する３次元アイコンとして合成して表示する画像表示手段とを備え、
   前記データ処理手段は、前記回転する３次元アイコンが一画面内に複数個表示される場合には、それら複数個の３次元アイコンのそれぞれを、互いに異なった位相または回転速度で回転させて表示するためのデータを出力する
   ことを特徴とする移動体ナビゲート情報表示装置。
7. 前記データ処理手段が、前記道路形状データを遠近法的な２次元特徴空間の画像データに変換すると共に前記道路形状モデルのデータを前記遠近法的な２次元特徴空間の画像データに変換し、前記２次元特徴空間で前記道路形状データと前記道路形状モデルのデータとを２次元データどうしで照合して、前記被写体の道路に対する前記車載カメラまたは前記移動体の姿勢データを推定する
   ことを特徴とする請求項６に記載の移動体ナビゲート情報表示装置。
8. 前記データ処理手段が、道路形状モデルを生成するにあたり、曲線道路における走行路面の片勾配は当該曲線道路の水平曲率に対応して変化するように設定されているという道路構造を考慮したモデリングを行って、多車線道路の道路形状モデルを生成する
   ことを特徴とする請求項６に記載の移動体ナビゲート情報表示装置。
9. 前記データ処理手段が、前記道路形状モデルのデータと前記道路形状データとを照合するにあたり、道路ルックアップテーブル（ＲＳＬ）を用いて、前記実写映像から前記景観中に含まれる道路白線の存在確率を求めてＲＳＬ値を算出し、そのＲＳＬ値による評価値が最大になるように前記姿勢データを求めることで、前記照合を行う
   ことを特徴とする請求項６に記載の移動体ナビゲート情報表示装置。
10. 前記ナビゲート情報は、当該移動体の目的地に到着するまでの道順に関する進路案内、自車位置、自車が走行中の車線、前記進路案内または前記自車位置を当該移動体の運転者が確認するに当たっての目印となる建物のうち、少なくともいずれか一つである
    ことを特徴とする請求項６に記載の移動体ナビゲート情報表示装置。

Images