JP4192680B2

JP4192680B2 - 移動体周辺監視装置

Info

Publication number: JP4192680B2
Application number: JP2003150804A
Authority: JP
Inventors: 俊明柿並
Original assignee: Aisin Seiki Co Ltd; Aisin Corp
Current assignee: Aisin Corp
Priority date: 2003-05-28
Filing date: 2003-05-28
Publication date: 2008-12-10
Anticipated expiration: 2023-05-28
Also published as: EP1486377A3; JP2004356845A; EP1486377A2; EP1486377B1; DE602004015888D1

Description

【０００１】
【発明の属する技術分野】
本発明は、移動体周辺を監視する移動体周辺監視装置に関し、特に、移動体周辺の環境を監視し、移動体における所望の位置での視界を画像表示する移動体周辺監視装置に係る。例えば、車両の周辺を監視し駐車時に障害となる物体等を適宜表示する装置に好適な移動体周辺監視装置に係る。
【０００２】
【従来の技術】
従来から、車両後方の死角を最小化するために、例えば車両後方にカメラを装着し、その画像を運転席に設置したモニタに表示する装置が種々提案されており、既に市販されている。例えば、下記の特許文献１（特開昭６２−２７８４７７）には、距離センサおよびハンドル角センサからの出力信号をもとに自動車の走行軌跡を演算するコンピュータを備え、車両周辺の障害物の位置および予想走行軌跡上にある車両と障害物とが予め設定された距離以内にあるときに警報器でアラーム音を発するようにした自動車の車庫入れ支援システムが提案されている。
【０００３】
また、下記の特許文献２（特開平１−１４１１３７）には、車両の前部両側に障害物検出センサを設け、該検出センサにより車両の前部両側の障害物への接近を検出し、該検出情報をモニタ画面に後方視界と同時に表示するようにした車両の後方視界表示装置が提案されている。これにより、運転者はモニタ画面から車両の前方へ視線を移さなくとも車両の前部両側の障害物への接触を回避できる旨記載されている。
【０００４】
更に、下記の特許文献３（特開２００１−１８７５５３）には、車両の移動中に、単一のカメラによって、異なる第１および第２の地点での周辺画像を、時系列的に視差付けされた第１および第２の画像として撮像する撮像装置、それぞれの画像に撮像された立体物を検出し特定する立体物特定部と、第１の地点から第２の地点まで車両の移動データを算出する車両位置算出部と、立体物の第１および第２の画像上での位置と、車両の移動データとを用いて、車両から立体物までの距離を算出する立体物距離算出部と、撮像装置によって撮像された画像および立体物距離算出部で算出されたデータに基づいて、運転者に伝達するための第３の画像を生成するようにした駐車支援装置が提案されている。これにより、２つの画像に撮像された立体物に対して三角測量の原理で正確に上記立体物までの距離を算出することができる旨記載されている。
【０００５】
そして、下記の特許文献４（特開２００２−０５２９９９）には、自車両の停止位置マーカと横方向距離計測マーカをモニタ画面に重畳描画し、測距センサを設けることなく、カメラ画像と汎用の舵角センサを利用し、自車両と基準物との相対位置を検出し得る相対位置検出装置、及びこれを備えた駐車補助装置が提案されている。ここで、自車両の停止位置マーカは、自車両と基準物とが所定方位を有する位置関係で自車両を停止させるためのマーカと定義され、横方向距離計測マーカは、モニタ画面上の移動量に応じて自車両と基準物との横方向の距離を計測するマーカと定義されている。
【０００６】
一方、画像処理技術の分野においては、２台のカメラから３次元形状を復元する技術が知られている。例えば、下記の非特許文献１には、ステレオによる立体形状計測について解説されている。この非特許文献１には、その前提として、２つのカメラそれぞれの結像の特性（レンズの焦点距離、画像中心、画素サイズなど）、２つのカメラの位置、姿勢、そして２つの画像での対応が分かれば、その対応する点の空間での位置が決定できる旨記載されている。
【０００７】
同様に、下記の非特許文献２にも、２台のカメラから撮った画像間の対応関係から三角測量の原理で物体の３次元形状を計算する技術が開示されており、ロボットの制御のために画像から３次元情報を抽出する方法として最も基本的な手段の一つであるとして、原理が解説されている。
【０００８】
更に、下記の非特許文献３には、上記のステレオと同じ原理に基づき、動画像から対象の３次元形状が復元できると記載されている。特に、動画像として画像の系列が与えられていると、対象の運動の追跡が可能になり、２枚の画像だけが与えられた場合より対応点の抽出が容易である旨説明されている。
【０００９】
【特許文献１】
特開昭６２−２７８４７７号公報
【特許文献２】
特開平１−１４１１３７号公報
【特許文献３】
特開２００１−１８７５５３号公報
【特許文献４】
特開２００２−５２９９９号公報
【非特許文献１】
「情報処理」Vol.37 No.7 (１９９６年７月号)における出口光一郎著
「２．ステレオの仕掛けを解き明かす」
【非特許文献２】
「空間データの数理」 (金谷健一著。１９９５年３月１０日初版
第１刷。朝倉書店発行)における１６１頁及び１６２頁に記載の
「ステレオ視による３次元復元」
【非特許文献３】
「情報処理」Vol.37 No.8 (１９９６年８月号)における出口光一郎著
「３．動画像の扱い」
【００１０】
【発明が解決しようとする課題】
前掲の特許文献１乃至４に記載の装置によれば、何れも、車両後方の視界をカメラで撮影しモニタに表示することができる。従って、モニタの画像情報を参照して後方の障害物を確認しながら後退し、あるいは駐車することができる。しかし、これらの装置では車両のコーナー付近はカメラの視界からは外れており、その付近はモニタに表示されない。このため、例えば車両を旋回しながら後退する場合において、モニタの画像だけでは、車両の旋回内側のコーナー部分が他の車両や壁等の障害物に対し十分な余裕があるか否かを確認することはできない。
【００１１】
これに対処するためには、例えば、自車両のコーナー部分もカメラの視界に入るように、適当な視野角を有するカメラを車体から突出するように配置すればよい。しかし、車種によっては、意匠面で商品性が損なわれることになるので、全ての車種に適用することはできない。また、車両のコーナー付近にカメラを装着することも考えられるが、この付近には灯火装置が装着されているので困難である。例えば、灯火装置の中にカメラを組み込むためには、カメラの耐熱性の確保や、灯火装置の表面カバーをカメラ用の光学材料で製作して画像品質が低下しないようにするといった配慮が必要となり、技術的、コスト的な課題が残る。仮に、灯火装置内にカメラを装着することができたとしても、カメラの装着位置とバンパーの突出部との位置関係によっては、バンパー直下の至近距離の路面をカメラの視界に収めることが困難となる。
【００１２】
而して、車両の意匠を損なうことなく、カメラの視界から外れた車両のコーナー付近も画像表示し得る装置が要請されているが、カメラの配置のみによって上記の問題を解決することは至難である。一方、前述の非特許文献１乃至３に記載の画像処理技術を利用すれば、例えば１個のカメラによっても障害物の３次元形状を復元し得るように構成することができる。従って、このような画像処理技術を、車両等の移動体の周辺を監視する装置に適切に組み入れることができれば、上記の問題の解決の一助となるが、これらの具体的手段については何れの文献にも言及されていない。しかも、移動体周辺監視装置は、車両に限らず、移動ロボット等を含む移動体全般に適用するものであり、移動体周辺の物体の大きさ、位置等の環境情報を検出する手段が必要となる等、種々の対応が必要となるが、何れの文献にもそのような記載も示唆も見当たらない。
【００１３】
尚、特許文献３においては、画像に撮像された立体物を検出し特定する立体物特定部と、車両の移動データを算出する車両位置算出部とを備えており、車両がａ地点にある時に撮像された画像Ａを、車両の移動データを用いてｂ地点から撮像されたように画像変換し、画像Ｃを算出すると説明されている。然し乍ら、これは、２つの画像のずれと移動データに基づき幾何学的に車両から立体物までの距離を算出することとしているものであり、前掲の非特許文献１乃至３に記載のような、画像から３次元形状を復元すること自体を特徴とするものではない。
【００１４】
更に、上記の従来装置の何れにも、カメラによって撮像された画像中に移動障害物が存在する場合において、例えばバーチャル画像を形成すると、移動障害物がカメラの視界から外れ、その時点では撮像画像には存在しないにも拘わらず、バーチャル画像中には障害物が依然存在していることもあり得るので、好ましくない状態となる。従って、先ず、撮像画像中の移動障害物を検出し得るようにすることが必要であり、移動障害物が検出されたときには、例えばバーチャル画像の表示を禁止する等、何らかの制限が必要である。
【００１５】
そこで、本発明は、移動体周辺の物体の大きさ、位置等の環境情報を検出する検出手段の配置及び個数に拘わらず、移動体における所望の位置での視界を確保し適切に画像表示を行うと共に、移動障害物を検出可能とし、移動障害物を検出したときには画像表示を適切に制限し得る移動体周辺監視装置を提供することを課題とする。
【００１６】
上記課題を解決するため、本発明の移動体周辺監視装置は、請求項１に記載のように、移動体の周辺の環境情報を検出し蓄積する環境情報検出手段と、前記移動体の位置及び姿勢を逐次検出し蓄積する移動体情報検出手段と、該移動体情報検出手段の検出情報と前記環境情報検出手段の検出情報を合成し、前記移動体の前記周辺環境に対する相対的な位置及び姿勢の関係を補正して出力する情報合成手段と、該情報合成手段の出力情報に基づき、前記移動体の特定位置周辺の環境情報から前記移動体の特定の視界を作成する特定視界作成手段と、該特定視界作成手段が作成した特定の視界を画像に表示する表示手段と、前記環境情報検出手段の検出情報に基づき、前記移動体の周辺で移動する移動障害物を検出する移動障害物検出手段と、該移動障害物検出手段が前記移動障害物を検出したときには、前記表示手段による前記特定の視界の画像表示を制限するように制御する表示制御手段とを備えたものとし、前記表示制御手段は、前記移動障害物検出手段が前記移動障害物を検出した後であって、前記環境情報検出手段の検出情報から前記移動障害物が消失した後に、所定時間以上を経過したとき、前記移動体が所定距離以上移動したとき、及び前記移動体が所定角度以上旋回したときのうち、少なくとも一つの条件を充足したときに、前記表示手段による前記特定の視界の画像表示を制限することとしたものである。尚、上記の環境情報とは、移動体周辺の物体の大きさ、位置等を含み、移動体には、車両のほか、移動ロボット等を含む。
【００１８】
また、請求項２に記載のように、移動体の周辺の環境情報を検出し蓄積する環境情報検出手段と、前記移動体の位置及び姿勢を逐次検出し蓄積する移動体情報検出手段と、該移動体情報検出手段の検出情報と前記環境情報検出手段の検出情報を合成し、前記移動体の前記周辺環境に対する相対的な位置及び姿勢の関係を補正して出力する情報合成手段と、該情報合成手段の出力情報に基づき、前記移動体の特定位置周辺の環境情報から前記移動体の特定の視界を作成する特定視界作成手段と、該特定視界作成手段が作成した特定の視界を画像に表示する表示手段と、前記環境情報検出手段の検出情報に基づき、前記移動体の周辺で移動する移動障害物を検出する移動障害物検出手段と、該移動障害物検出手段が前記移動障害物を検出したときには、前記表示手段による前記特定の視界の画像表示を制限するように制御する表示制御手段とを備えたものとし、前記環境情報検出手段は、前記移動体に搭載し前記移動体の周辺を撮像し画像情報を出力する少なくとも一つの撮像手段と、前記移動体が第１の状態から第２の状態に移動したときに少なくとも前記第１の状態及び第２の状態で前記撮像手段によって撮像した二つの画像に基づき、前記第１の状態で撮像した画像から特徴点の座標を検出すると共に、前記第２の状態で撮像した画像での前記特徴点に対応する座標を検出する特徴点追跡手段と、少なくとも前記第１の状態及び前記第２の状態における前記移動体の位置及び姿勢を検出する移動状態検出手段と、該移動状態検出手段で検出した前記第１の状態及び前記第２の状態における前記移動体の位置及び姿勢、前記第１の状態で撮像した画像の前記特徴点の座標、及び前記第２の状態で撮像した画像の前記特徴点に対応する座標に基づき前記特徴点の３次元座標を推定する３次元座標推定手段とを備え、前記移動障害物検出手段は、前記撮像手段によって撮像した画像の中から前記移動障害物を検出し、前記表示制御手段は、前記移動障害物検出手段が前記移動障害物を検出した後であって、前記撮像手段によって撮像した画像の中から前記移動障害物が消失したときには、前記表示手段による前記特定の視界の画像表示を制限するように構成してもよい。
【００２０】
上記請求項２記載の移動体周辺監視装置において、前記表示制御手段は、請求項３に記載のように、前記撮像手段によって撮像した画像の中から前記移動障害物が消失した後に、所定時間以上を経過したとき、前記移動体が所定距離以上移動したとき、及び前記移動体が所定角度以上旋回したときのうち、少なくとも一つの条件を充足したときに、前記表示手段による前記特定の視界の画像表示を制限するように構成するとよい。
【００２１】
上記請求項２又は３に記載の移動体周辺監視装置において、前記移動障害物検出手段は、請求項４に記載のように、前記移動体が静止状態にあるときには、前記撮像手段によって撮像した前記二つの画像に基づき、前記第１の状態で撮像した画像と前記第２の状態で撮像した画像との間で、算術演算及び論理演算の少なくとも一方により画像間の変化分を抽出して前記移動障害物を検出するように構成することができる。
【００２２】
また、前記移動障害物検出手段は、請求項５に記載のように、前記移動体が移動状態にあるときには、前記撮像手段によって撮像した前記二つの画像に基づき、前記第１の状態で撮像した画像及び前記移動体情報検出手段の検出情報から前記第２の状態で撮像する画像を予測した予測画像と、前記第２の状態で撮像した画像との間で、算術演算及び論理演算の少なくとも一方により画像間の変化分を抽出して前記移動障害物を検出するように構成することができる。
【００２３】
上記請求項２乃至５に記載の移動体周辺監視装置において、請求項６に記載のように、前記環境情報検出手段を構成する前記移動状態検出手段は、前記移動体情報検出手段の検出情報から、前記第１の状態及び前記第２の状態における前記移動体の位置及び姿勢を検出するように構成することができる。
【００２４】
上記請求項１乃至６に記載の移動体周辺監視装置において、請求項７に記載のように、前記移動体の運転者による前記特定の視界に係る指示を入力する指示入力手段を備えたものとし、前記特定視界作成手段は、前記指示入力手段の入力結果に応じて前記特定の視界を前記運転者の指示に基づく視界に切り替える切替手段を具備したものとするとよい。この場合において、前記表示手段が表示する画像は、前記運転者の指示に基づく視界に対し、拡大、縮小等の変更を加えた画像としてもよい。
【００２５】
あるいは、上記請求項１乃至６に記載の移動体周辺監視装置において、請求項８に記載のように、前記移動体情報検出手段の検出情報に基づき前記移動体の移動軌跡を推定する軌跡推定手段を備えたものとし、前記特定視界作成手段は、前記軌跡推定手段の推定移動軌跡を前記特定の視界に重合する重合手段を具備し、前記表示手段が、前記推定移動軌跡を前記特定の視界に重合した画像を表示する構成としてもよい。例えば、車両の駐車案内装置に適用し、駐車スペースを含む特定の視界に車両の予想移動軌跡を重合するように構成することができる。
【００２６】
【発明の実施の形態】
以下、本発明の移動体周辺監視装置の実施形態について図面を参照して説明する。図１は本発明の一実施形態の全体構成を示すもので、例えば図４に示す車両１に搭載され、駐車案内装置に供される。図１において、本実施形態の移動体周辺監視装置は、移動体（図示せず）の周辺の物体の大きさ、位置等の環境情報を検出し蓄積する環境情報検出手段ＳＲと、移動体の位置及び姿勢を逐次検出し蓄積する移動体情報検出手段ＭＢを備えている。この移動体情報検出手段ＭＢは、移動体が車両である場合には、例えば車両の走行速度、操舵状態、旋回状態等の車両運動を検出するセンサによって構成することができ、少なくとも一つのセンサ出力に基づき、車両の位置を表わすファクタとして座標、及び車両の姿勢を表わすファクタとして角度を検出することができるが、これについては後述する。
【００２７】
本実施形態の環境情報検出手段ＳＲは、図１に示すように、移動体に搭載し移動体の周辺を撮像し画像情報を出力する撮像手段ＣＤと、移動体が第１の状態から第２の状態に移動したときに少なくとも第１の状態及び第２の状態で撮像手段ＣＤによって撮像した二つの画像に基づき、第１の状態で撮像した画像から特徴点の座標を検出すると共に、第２の状態で撮像した画像での前記特徴点に対応する座標を検出する特徴点追跡手段ＰＦと、少なくとも第１の状態及び第２の状態における移動体の位置及び姿勢を検出する移動状態検出手段ＤＳと、この移動状態検出手段ＤＳで検出した第１の状態及び第２の状態における移動体の位置及び姿勢、第１の状態で撮像した画像の特徴点の座標、及び第２の状態で撮像した画像の前記特徴点に対応する座標に基づき前記特徴点の３次元座標を推定する３次元座標推定手段ＲＣを備えている。上記の移動状態検出手段ＤＳは、移動体が車両である場合には、例えば車両の走行速度、操舵状態、旋回状態等の車両運動を検出するセンサによって構成することができるが、移動体情報検出手段ＭＢの検出情報を用いることとしてもよい。尚、撮像手段ＣＤとしては、後述するｃｃｄカメラ等がある。
【００２８】
更に、移動体情報検出手段ＭＢの検出情報と環境情報検出手段ＳＲの検出情報を合成し、移動体の周辺環境に対する相対的な位置及び姿勢の関係を補正して出力する情報合成手段ＣＢを備えている。そして、この情報合成手段ＣＢの出力情報に基づき、移動体の特定位置周辺の環境情報から移動体の特定の視界を作成する特定視界作成手段ＳＶを備え、この特定視界作成手段ＳＶが作成した特定の視界を画像に表示する表示手段ＶＤを備えている。表示手段ＶＤとしては、移動体に搭載するモニタ（図示せず）がある。
【００２９】
一方、環境情報検出手段ＳＲの検出情報に基づき、移動体の周辺で移動する障害物を検出する移動障害物検出手段ＭＯと、この検出結果に基づき、表示手段ＶＤによる特定の視界の画像表示を制御する表示制御手段ＶＣを備えている。特に、移動障害物検出手段ＭＯは、撮像手段ＣＤによって撮像した画像の中から移動障害物を検出するように構成される。また、表示制御手段ＶＣは、移動障害物検出手段ＭＯが移動障害物を検出した後、所定の条件を充足したときには、表示手段ＶＤによる特定の視界の画像表示を制限（表示禁止を含む）するように構成される。
【００３０】
上記所定の条件としては、（１）撮像手段ＣＤによって撮像した画像の中から移動障害物が消失した後、所定時間以上を経過したとき、（２）撮像手段ＣＤによって撮像した画像の中から移動障害物が消失した後、移動体が所定距離以上移動したとき、及び（３）撮像手段ＣＤによって撮像した画像の中から移動障害物が消失した後、移動体が所定角度以上旋回したときのうち、少なくとも一つが設定される。
【００３１】
上記移動障害物検出手段ＭＯは、移動体が静止状態にあるときには、撮像手段ＣＤによって撮像した二つの画像に基づき、第１の状態で撮像した画像と第２の状態で撮像した画像との間で、算術演算及び論理演算の少なくとも一方により画像間の変化分を抽出して移動障害物を検出するように構成される。また、移動体が移動状態にあるときには、撮像手段ＣＤによって撮像した二つの画像に基づき、第１の状態で撮像した画像及び移動体情報検出手段ＭＢの検出情報から第２の状態で撮像する画像を予測した予測画像と、第２の状態で撮像した画像との間で、算術演算及び論理演算の少なくとも一方により画像間の変化分を抽出して移動障害物を検出するように構成される。尚、これについては、図９及び図１０を参照して詳細に説明する。
【００３２】
図２は本発明の他の実施形態の全体構成を示すもので、これも、例えば図４に示す車両１に搭載され、駐車案内装置に供される。本実施形態の移動体周辺監視装置は、図１の構成に加え、図２に示すように、移動体の運転者による特定の視界に係る指示を入力する指示入力手段ＳＥを備え、特定視界作成手段ＳＶは、指示入力手段ＳＥの入力結果に応じて特定の視界を運転者の指示に基づく視界に切り替える切替手段ＣＨを具備している。この実施形態においても、移動障害物検出手段ＭＯが、撮像手段ＣＤによって撮像した画像の中から移動障害物を検出した後、所定の条件を充足したときには、表示制御手段ＶＣが、表示手段ＶＤによる特定の視界の画像表示を制限（表示禁止を含む）するように構成されている。指示入力手段ＳＥとしては、メカニカルスイッチ（図示せず）を用いることができ、表示手段ＶＤとしてモニタ（図示せず）が用いられた場合には、モニタ表示画像上に構成するタッチパネルスイッチを用いることもできる。更には、音声認識装置によって指示入力手段ＳＥを構成することもできる。また、特定視界作成手段ＳＶに基づき表示手段ＶＤが作成する画像は、予め設定された一つ以上の視界における画像であり、その拡大、縮小、回転、視点移動等の変換処理を行った画像を含む。
【００３３】
図３は本発明の更に他の実施形態の全体構成を示すもので、これも、例えば図４に示す車両１に搭載され、駐車案内装置に供される。本実施形態の移動体周辺監視装置は、図１の構成に加え、図３に示すように、移動体情報検出手段ＭＢの検出情報に基づき移動体の移動軌跡を推定する軌跡推定手段ＴＲを備えたものである。そして、特定視界作成手段ＳＶは、軌跡推定手段ＴＲの推定移動軌跡を特定の視界に重合する重合手段ＯＬを具備し、表示手段ＶＤが、推定移動軌跡を特定の視界に重合した画像を表示するように構成されている。この実施形態においても、移動障害物検出手段ＭＯが、撮像手段ＣＤによって撮像した画像の中から移動障害物を検出した後、所定の条件を充足したときには、表示制御手段ＶＣが、表示手段ＶＤによる特定の視界の画像表示を制限（表示禁止を含む）するように構成されている。軌跡推定手段ＴＲが推定する移動軌跡としては、例えば車両の走行予想軌跡があり、これについては図２５乃至図２７を参照して後述する。
【００３４】
上記の移動体が車両である場合には、移動体周辺監視装置は図４及び図５に示す駐車案内装置に供することができる。図４は本実施形態の駐車案内装置を搭載した車両１の全体構成を示すもので、車両１の後部には、その周辺を撮像し画像を取得するカメラ２（例えばｃｃｄカメラで上記の撮像手段ＣＤを構成する）が装着されており、画像情報が電子制御装置１０に供給される。この電子制御装置１０は、図４に示すように車両１に搭載された筐体中に収容され、図１乃至図３の移動状態検出手段ＤＳ、移動体情報検出手段ＭＢ、３次元座標推定手段ＲＣ、情報合成手段ＣＢ、特定視界作成手段ＳＶ、移動障害物検出手段ＭＯ、表示制御手段ＶＣ、切替手段ＣＨ、重合手段ＯＬ及び軌跡推定手段ＴＲが構成されている。また、ステアリングホイール３の操舵角を検出する操舵角センサ４が車両１に装着されると共に、シフトレバー５がリバース位置とされたときにオンとなるシフトレバースイッチ６が装着されており、これらの検出舵角及びオン信号が電子制御装置１０に供給される。
【００３５】
更に、本実施形態では、各車輪の回転速度を検出する車輪速度センサ（代表して７で示す）が装着されており、検出車輪速度が電子制御装置１０に供給される。これらの車輪速度センサ７の検出結果に基づき移動体の少なくとも２位置間の移動距離を測定することができる。そして、運転者から視認可能な車両１内の所定位置にモニタ８が配置されており、電子制御装置１０の出力信号に応じてモニタ８に駐車案内用の視覚情報が表示される。即ち、本実施形態においては、モニタ８が図１乃至図３の表示手段ＶＤとして機能している。更に、車両１内の所定位置にスピーカ９が配置されており、電子制御装置１０の出力信号に応じてスピーカ９から駐車案内用の音声情報が出力される。
【００３６】
図５は、上記の駐車案内装置のシステム構成図であり、電子制御装置１０の構成を示すものである。上記の操舵角センサ４、シフトレバースイッチ６及び車輪速度センサ７は、図示しない入力インターフェースを介して電子制御装置１０内のＣＰＵ１１に接続されており、図示しない出力インターフェースを介して、モニタ８が電子制御装置１０内のスーパーインポーズ部１４に接続され、スピーカ９が音声出力部１５を介してＣＰＵ１１に接続されている。カメラ２は、図示しない入力インターフェースを介して、画像認識部１２、グラフィックス描画部１３及びスーパーインポーズ部１４に接続されている。尚、ＣＰＵ１１、画像認識部１２、グラフィックス描画部１３、スーパーインポーズ部１４及び音声出力部１５は相互にバスバーによって接続されている。尚、メモリ等は示していないが、各部の情報は所定期間蓄積され、適宜読み出し可能に構成されている。
【００３７】
本実施形態においては、車両１周辺の環境を表示するカメラ２の画像信号が画像認識部１２を介してＣＰＵ１１に供給されると共に、車輪速度センサ７等の出力信号がＣＰＵ１１に供給され、ＣＰＵ１１にて演算処理される。このＣＰＵ１１の演算結果に基づき、グラフィックス描画部１３において、カメラ２の画像から抽出される同期信号に応じて３次元のグラフィックスが描画される。また、ＣＰＵ１１においては、駐車案内のための演算処理が行われ、その演算結果に基づくグラフィックスがグラフィックス描画部１３にて描画される。そして、グラフィックス描画部１３にて描画されるグラフィックスとカメラ２の画像とが適宜スーパーインポーズ部１４にて重畳され、モニタ８の画面に描画される。尚、この場合、カメラ画像は表示されず、グラフィック画像のみが表示されるように設定することも可能である。而して、図１乃至図３の３次元座標推定手段ＲＣ、情報合成手段ＣＢ、特定視界作成手段ＳＶ及び表示制御手段ＶＣはＣＰＵ１１、画像認識部１２及びグラフィックス描画部１３によって構成されている。
【００３８】
上記の３次元座標推定手段ＲＣにおいては、特徴点追跡手段ＰＦにて、車両１が第１の状態から第２の状態に移動したときに撮像手段ＣＤたるカメラ２によって第１の状態で撮像された画像から特徴点の座標が検出されると共に、第２の状態で撮像された画像での前記特徴点に対応する座標が検出され、移動状態検出手段ＤＳでは、第１の状態及び第２の状態における車両１の位置及び姿勢が検出される。そして、第１の状態及び第２の状態における車両１の位置及び姿勢、第１の状態で撮像された画像の特徴点の座標、及び第２の状態で撮像された画像の前記特徴点に対応する座標に基づき、３次元再構成が行われ、前記特徴点の３次元座標が求められる。
【００３９】
上記の３次元再構成は、例えば前述の非特許文献２に記載のように、画像を用いて三角測量の原理に基づいて行われるものであり、図６乃至図８を参照して以下に説明する。図６において、少なくとも２つのカメラ位置（左右のｏ及びｏ'で示す）から空間中の同一の点Ｍを観測しているとき、各カメラの画像で観測された点ｍ₁，ｍ₂とそれぞれのカメラの光学中心とを結んだ空気中の光線を定義でき、各光線の交点は空間中の点の位置Ｍを表す。ここで、対象視界（Scene）中の３次元の点Ｍは各画像間で同定される必要がある。また、単眼カメラで３次元の再構成を行う場合には、画像中から対象物体の特徴点（Point of Interest）の抽出とその追跡が必要である。更に、カメラの内部パラメータ（スケールファクタ、光軸位置座標等）と外部パラメータ（カメラの配置）は既知である（予め校正されている）ことが必要であり、これらを前提に３次元再構成が行われる。
【００４０】
次に、対象視界の動きからの３次元構造の復元に関し、時系列画像のそれぞれがどの位置及び姿勢で撮影されたものであるかは、デッドレコニングシステムにより対応が取られて校正されていれば、ステレオ対応という手段を使うことができる。但し、３次元視界の中の同一の点が含まれるように撮影された時系列画像において、その画像列の中から同一の点を見つけることが必要である。即ち、これらの同一の点の対応を取ることによって、対象視界の３次元構造を復元することができる。
【００４１】
対象視界からの特徴点の検出に関しては、画像の中から、対象視界の特徴となるべきいくつかの特徴点を検出することになる。この場合の特徴点とは、画像のシーケンスに沿って追跡可能な適切な特徴を有する対象である。このような特徴点の検出には下記［数１］式に示す行列Ａによる自動相関（auto-correlation）を用いることができる。行列Ａは画像中の点ｐ(x,y)を含むウインドウ領域Ｗ中に含まれる画像信号の導関数を平均化するように機能するので、これを用いて最適な特徴点を得る。即ち、追跡に適する特徴点は、一般にはコーナーや直線の交点（例えば、図７の左側の図におけるコーナーの黒点）であり、この行列はこれらの特徴点を検出するものである。尚、下記［数１］式において、Ｉ(x,y)は画像の関数、Ｉxはｘ軸に沿った画像の勾配、Ｉyはｙ軸に沿った画像の勾配、(x_k,y_k) は(x,y)を中心としたウインドウＷ中の画像点を夫々表わす。
【００４２】
【数１】

【００４３】
次に、特徴点の追跡（Feature Tracking）に関し、u＝[x,y]^Tが画像点の座標であるような画像列Ｉ(u,t)を考慮する。サンプル周期が十分短ければ微小時刻後の画像ではその輝度値は変化しないと仮定し、下記［数２］式が成り立つ。
【００４４】
【数２】

【００４５】
上記の［数２］式において、δ(u)はモーションフィールド（３次元の動きベクトルの画像への投影）を表す。サンプル周期が十分に短いので、下記［数３］式に示すように、モーションは並進（translation）のみで近似することができる。尚、［数３］式のｄは変移ベクトル（displacement vector）を表わす。
【００４６】
【数３】

【００４７】
選択された各特徴点に対し、また、画像列での追跡された各点のペアに対して、その変移ベクトルｄを計算するため、トラッカー（Tracker）が用いられる。実際には、ノイズの影響により画像のモーションモデルは完全には表せないので［数２］式は十分に機能しない。従って、下記［数４］式に示すように、差の自乗和(Sum of Square Difference)によって変移ベクトルｄを計算する。そして、この［数４］式の残渣を最小にする変移ベクトルｄを求め、その方向に特徴点を追跡する（図７にこの状態を示す）。尚、下記［数４］式のＷは、点ｕを中心とする特徴点検出のためのウインドウを表わす。
【００４８】
【数４】

【００４９】
図８はトラッキングの一例を説明するもので、トラック（Tracks）とは画像列中で同一の対象を示す点の集合であり、各トラックの画像点は夫々の３次元点の投影像である。トラックは画像列の中で見失うことは許されないが、追跡する点が画像から外れたり、隠れたり、ノイズ等によって検出できない場合には、トラッキングを停止せざるを得ない。ここでは、最初の画面において検出された特徴点の集合から開始し、前の画像（図８のImg Ａ）での特徴点は次の画像（図８のImg Ｂ）で追跡される。画像（Img Ａ）のうちの一部のトラックが停止すると、画像（Img Ｂ）において新しい特徴点を探すことになり、この新しい各特徴点はその後のトラッキングの起点となる。
【００５０】
そして、３次元構造の再構成に関しては、３次元空間中の位置Ｍの点の距離がＺであるとき、その画像上の投影位置をｍとすると下記［数５］式の関係が成り立つ。下記の［数５］式において、距離ｆは焦点距離と呼ばれるが、ここではｆ＝１なる単位長さを用いて簡単化している。このようにモデル化すると、２台のカメラで空間中の（物体の頂点等の）特徴点を撮影する幾何学的な関係は図６に示すようになる。
【００５１】
【数５】

【００５２】
図６において、第２のカメラ座標系は第１のカメラ座標系をその原点の周りにＲだけ回転してからＴだけ平行移動して得られる位置にある。尚、このベクトルＴは基線ベクトルと呼ばれる。パラメータ｛Ｔ，Ｒ｝は２つのカメラ視点の相対的な位置姿勢関係を表しているので、１台のカメラを移動しながら撮影することとした場合は、デッドレコニングシステムにより計測することができる。
【００５３】
図６に示すように、ある３次元空間中の位置Ｍのそれぞれの画像面上の投影像がｍ₁，ｍ₂にあるとする。この状態で、第２のカメラ座標系の原点０'から見た特徴点の方向は第２のカメラ座標系に関してベクトルｍ₂で表されるが、第２のカメラ座標系は第１のカメラ座標系に対してＲだけ回転しているから、第１のカメラ座標系に関してはＲｍ₂である。従って、図６より下記［数６］式の関係が成立する。
【００５４】
【数６】

【００５５】
上記［数６］式から、距離Ｚ，Ｚ'が下記［数７］式のように計算される。
【００５６】
【数７】

【００５７】
このようにして、２つの視点から画像面上の投影像の座標ｍ₁，ｍ₂から３次元空間上の距離Ｚ，Ｚ'を復元することができる。そして、前述のトラックは対象視界中の特徴点群であるから、全てのトラックに関して上記［数７］式を計算すれば、３次元的な構造を復元することができる。
【００５８】
次に、図１乃至図３に示した移動障害物検出手段ＭＯについて図９を参照して説明する。移動障害物検出手段ＭＯにおいて、移動体（例えば図４の車両１）が静止しているときには、撮像手段ＣＤ（カメラ２）によって撮像された画像データの中で、所定時刻前（ｔ＝ｔ_0-1）にサンプリングされた図９の（Ａ）に示す画像と、現時刻（ｔ＝ｔ₀）にサンプリングされた図９の（Ｂ）に示す画像とが比較される。この場合において、対象視界（Scene、風景）中に移動障害物（図９では人体）が存在しなければ両画像間で差異はないが、移動障害物が存在するときには図９の（Ｃ）に示すように両画像間で差異が生ずる。従って、これら二つの画像間で算術演算または論理演算を行ない、その結果得られる残渣に着目すれば、移動障害物が存在しないときはゼロ、存在するときは物体（障害物）の大きさや移動速度に応じた値を得ることができる。
【００５９】
また、所定時刻前（ｔ＝ｔ_0-1）にサンプリングされた画像と現時刻（ｔ＝ｔ₀）にサンプリングされた画像との比較に関し、他の例を以下に説明する。先ず、所定時刻前（ｔ＝ｔ_0-1）にサンプリングされた画像に対して特徴点が検出される。特徴点が出現する座標や数は移動障害物の形状や模様に応じて定まり、これらの特徴点の座標が現時刻（ｔ＝ｔ₀）において、どこに移動したかを追跡すれば、即ち、移動する特徴点が存在したか否かを調査すれば、対象視界（風景）中に移動障害物が存在しているか否かを判別することができる。
【００６０】
上記の例においては、撮像手段ＣＤ（カメラ２）が静止した状態、即ち、カメラ２が搭載された車両１が静止した状態では成り立つが、車両１が移動中においては、カメラ２で撮影された画像内容の全てが移動するので、対象視界（風景）から移動障害物（図９の人体）のみを正しく検出することはできない。そこで、３次元の物体を再構成するときの前述の手法が用いられる。即ち、車両１周辺の物体を認識するために、車両１（自車）の移動に関わる情報（移動体情報検出手段ＭＢの検出情報）、物体の移動前後に撮影した画像、即ち所定時刻前（ｔ＝ｔ_0-1）にサンプリングされた図１０の（Ａ）に示す移動障害物（図１０の人体）の画像、及び現時刻（ｔ＝ｔ₀）にサンプリングされた図１０の（Ｂ）に示す移動障害物の画像、および各画像間での特徴点の抽出及び追跡が行なわれ、その結果としての３次元座標復元が用いられる。ここで、対象視界（風景）中の物体が静止している場合は、複数場面にわたって同じ３次元座標が復元されるが、動いている物体（移動障害物）に対しては、追跡した特徴点からは同一の３次元座標を得ることはできない。従って、この３次元座標のバラツキを評価することにより、車両１（自車）が移動中においても、対象視界（風景）の中に移動障害物（図１０では人体）が存在するか否かを判断することができ（図１０の（Ｃ））、その位置は、追跡している特徴点の位置となる。
【００６１】
尚、上記の例においては、対象視界（風景）中の移動障害物を検出するためにカメラ２の画像を用いる例を示したが、超音波式センサ、光学式センサ、電波式センサ等によっても上記と同様に移動障害物を検出することができ、同様の機能を実現することができる。従って、撮像手段ＣＤとしてこれらのセンサを用いることとしてもよい。
【００６２】
図１乃至図３に示す車両１の移動状態を検出する移動状態検出手段ＤＳとして、車両１の走行速度、操舵状態、旋回状態等の車両運動を検出するセンサによってデッドレコニングシステムを構成することができ、本実施形態においては、車輪速度センサ７によって構成されており、これは後述するように移動体情報検出手段ＭＢとしても機能するように構成されている。このようにして特定される第１の状態及び第２の状態における車両１の位置及び姿勢と、夫々の状態でカメラ２によって撮像された画像における特徴点の抽出と追跡によって特定される画像間の対応点に基づき、上記のように処理され、撮像領域内に存在する物体（静止又は移動障害物）が特定され、撮像領域の３次元座標が推定される。
【００６３】
本実施形態においては、車輪速度センサ７によって検出された車輪速度信号に基づき、以下のように、車両１の状態、即ち車両１の位置及び方向（鉛直軸周りの角度）を検出するようにデッドレコニングシステムが構成されており、これによって図１乃至図３に示す移動体情報検出手段ＭＢが構成されている。以下、本実施形態における車両１の状態を検出する方法について説明する。図１１は、本実施形態における車両１のモデルを表したものであり、車両１の位置及び方向は、（ｘ，ｙ，θ）の３つの変数により定義される。また、車両１の速度（車速）をＶ、車両１の角速度をωとすると、車両の状態、車速及び角速度の間に次の等式が成立する。即ち、ｄｘ／ｄｔ＝Ｖ・ｃｏｓθ、ｄｙ／ｄｔ＝Ｖ・ｓｉｎθ、及びｄθ／ｄｔ＝ωとなる。
【００６４】
上記の車速Ｖ及び角速度ωは直接計測することはできないが、車輪速度センサ７によって検出された左右後輪の車輪速度を用いて、次のように求めることができる。即ち、Ｖ＝（Ｖrr＋Ｖrl）／２、及びω＝（Ｖrr−Ｖrl）／Ｌｔとなる。ここで、Ｖrrは右後輪の車輪速度、Ｖrlは左後輪の車輪速度で、Ｌｔは車両１のトレッド長を表す。
【００６５】
上記の式を用いると、時刻ｔにおける車両の状態（ｘ，ｙ，θ）は、ｔ＝０における初期値（ｘ0，ｙ0，θ0）が決まっておれば次のように表すことができる。即ち、下記［数８］式のようになる。
【００６６】
【数８】

【００６７】
図１２は、所定の３次元座標における車両１の移動開始位置の座標及び方向を基準に、移動後の位置の座標と方向を検出し追跡する方法の一例を示す。即ち、図１２は（Ｘｏ，Ｙｏ，Ｚｏ）の３次元座標において、Ｘｏ−Ｙｏ平面（Ｚｏ＝０）上で車両が旋回運動する状態を示し、位置（座標（ｘ１，ｙ１））及び方向（角度θ１）で決まる車両１の状態から位置（座標（ｘ２，ｙ２））及び方向（角度θ２）で決まる車両１の状態に移動したときの位置関係を特定することができる。本実施形態では、左右後輪の車輪速度センサ７の検出車輪速度に基づき、車両１の位置（座標）及び方向（角度）が検出されるが、操舵角センサ４、ヨーレイトセンサ（図示せず）、距離センサ（図示せず）等を用いることとしてもよく、これらのセンサを組み合わせて用いることとしてもよい。図１２は単純円旋回の例であるが、複数円弧や直線が組み合わされた軌跡に対し、上記のように検出された車両１の座標と方向に基づき、同様に追跡することができる。
【００６８】
一方、図１乃至図３に記載の３次元座標推定手段ＲＣにおいて推定された３次元環境が、図１３に破線の格子で示すように、（Ｘ，Ｙ，Ｚ）の３次元座標を基準とする３次元環境マップとしてメモリに格納されている。尚、図１３に破線の格子で示した３次元環境マップの中には、カメラ２で撮像された他の車両、障害物、建物等も存在するが、これらは図示を省略している（以下、図１４乃至図１８においても、破線の格子は３次元環境マップを表す）。この３次元環境マップに対し、図１２の３次元座標の対応が行われる。即ち、情報合成手段ＣＢにおいて、車両１の周辺環境に対する相対的な位置及び姿勢の関係が補正される。具体的には、図１３に破線の格子で示す３次元環境マップの中に、図１２に示す車両１が配置され、３次元環境マップでの車両１の位置（座標）、及び姿勢、即ち方向（角度）が特定される。
【００６９】
そして、前述の特定視界作成手段ＳＶによって、周辺状況を含む３次元環境内における車両１の任意の位置で、任意の方向に向けてカメラが装着されたと仮定した場合の特定の視界が作成され、この仮想カメラから見た視界の画像が、表示手段ＶＤたるモニタ８に表示される。この場合において、例えば図１４に示すように、車両１の後方に仮想カメラ２ａが配置されているとしたときに、移動後の車両１から見た３次元環境マップ（図１４の破線の格子）において、どの領域が仮想カメラ２ａの視界に入っているかが分かる。換言すれば、図１４にＳａで示す領域が、仮想カメラ２ａの視界に入り、モニタ８にバーチャル画像として表示し得る領域（以下、表示視界という）である。
【００７０】
図１５は、車両１の左前方コーナーに仮想カメラ２ｂが配置された場合、及び左後方コーナーに仮想カメラ２ｃが配置された場合に、移動後の車両１からみた３次元環境マップにおいて、これらの仮想カメラ２ｂ及び２ｃの視界に入る領域（表示視界Ｓｂ及びＳｃ）を示す。同様に、図１６は、仮想カメラ２ｄが車両１の側方に配置された場合に、移動後の車両１からみた３次元環境マップにおいて、仮想カメラ２ｄの視界に入る領域（表示視界Ｓｄ）を示す。
【００７１】
図１４乃至図１６の例では、実際のカメラ２の画角と類似する視界が設定されているが、図１７の仮想カメラ２ｅように、１８０度の表示視界Ｓｅを設定することもできる。これにより、実際のカメラ２では視界に入らない車両１の両コーナー部分をも視界に入れたバーチャル画像を表示するように構成することができる。更に、図１８に示すように車両１の上空部分に仮想カメラ２ｆを配置して３６０度の表示視界Ｓｆを設定し、この視界のバーチャル画像を表示するように構成することもできる。
【００７２】
上記のように形成されるバーチャル画像は、車両１の移動、即ち仮想カメラ２ａ等の移動に伴う視界の移動に応じて変化することになるが、本実施形態においては、車両１が移動中に撮像した障害物を含むバーチャル画像を、状況に応じて適宜（移動後も）、表示し得るように構成されている。例えば、図１９において、車両１が２点鎖線で示す位置から矢印方向に後退し実線で示す位置まで移動したとすると、２点鎖線で示す位置で撮像された２点鎖線の領域Ｓｐには静止状態の障害物ＯＢが存在するので、この位置では障害物ＯＢを含む画像が形成される。しかし、移動後の車両１の位置で撮像される領域Ｓｎには障害物ＯＢが存在しなくなっているので、モニタ８（図４）の表示画像には障害物ＯＢが含まれなくなる。この状態から、車両１が更に図１９の矢印方向に後退すると、車両１の左後方のコーナーから左前方にかけて障害物ＯＢが接近することになるが、モニタ８の表示画像からは外れており、見えなくなっている。
【００７３】
上記のような状況において、図１７に示すような車両１の上方に仮想カメラ２ｅが配置されたときのバーチャル画像をモニタ８に表示すると、図２０及び図２１に示すように、車両１の両コーナー部分も含む画像となる。尚、図２０は、図１９に２点鎖線で示す位置の車両１の後部及び（静止）障害物ＯＢが表示されたもので、図２１は、図１９に実線で示す位置（移動後）の車両１の後部及び（静止）障害物ＯＢが表示されたものである。図２１に示すように、（静止）障害物ＯＢの車両１に対する相対的位置は、２点鎖線で示す位置（移動前の図２０の位置）から図２１の矢印方向に相対移動し、実線で示す位置となっていることが分かる。これにより、障害物ＯＢはカメラ２による実際の視界から外れているにも拘わらず、運転者はこれをモニタ８で確認することができる。
【００７４】
また、本実施形態においては、図２に示す指示入力手段ＳＥ及び切替手段ＣＨによって、モニタ８の表示画像が実際のカメラ２で撮像された画像から、図２０及び図２１に示すようなバーチャル画像に適宜切り替え可能に構成されている。具体的には、図２２に示すように、後方視界の通常の画像（図示省略）に加え、左右に「左コーナー」及び「右コーナー」というタッチパネルスイッチが表示されたモニタ８の通常の表示画面（Ａ）に対し、運転者が何れかのタッチパネルスイッチに触れると画面が切り替わり、コーナー部分のバーチャル画像が表示された切替画面（Ｂ）が表れるように構成されている。これにより、例えば運転者が通常の表示画面（Ａ）の「左コーナー」の表示に触れると、切替画面（Ｂ）の拡大画像に切り替わるので、左コーナーの（静止）障害物ＯＢを確認することができる。このように、拡大表示とすることが望ましいが、図２０の表示が左右に移動する態様としてもよく、音声と共に報知することとしてもよい。
【００７５】
上記のモニタ８の表示画像に関し、カメラ２の視界中の所定距離、例えば２ｍ以内に障害物が存在する場合において、その障害物がカメラ２の視界から外れて背後に移動したときには、このような移動障害物のバーチャル画像を長時間に亘って表示し続けることは適切ではない。このため、本実施形態では、例えば、前述の所定の条件に基づく以下の態様のうち、少なくとも一つの態様で制御される。即ち、（１）カメラ２の視界中に移動障害物が存在すると判定され、カメラ２の視界から外れて背後に移動したときには、その時刻から所定時間以上経過するとバーチャル画像の表示が禁止される。（２）カメラ２の視界中に移動障害物が存在すると判定され、カメラ２の視界から外れて背後に移動したときには、そのときの位置から車両１（自車）が所定距離以上移動するとバーチャル画像の表示が禁止される。（３）カメラ２の視界中に移動障害物が存在すると判定され、カメラ２の視界から外れて背後に移動したときには、そのときの位置から車両１（自車）が所定角度以上旋回するとバーチャル画像の表示が禁止される。
【００７６】
あるいは、（１）カメラ２の視界中に移動障害物が存在すると判定され、カメラ２の視界から外れて背後に移動したときには、その時刻から所定時間以上経過すると、そのときのカメラ２の実画像の表示に切り替えられる。（２）カメラ２の視界中に移動障害物が存在すると判定され、カメラ２の視界から外れて背後に移動したときには、そのときの位置から車両１（自車）が所定距離以上移動すると、そのときのカメラ２の実画像の表示に切り替えられる。（３）カメラ２の視界中に移動障害物が存在すると判定され、カメラ２の視界から外れて背後に移動したときには、そのときの位置から車両１（自車）が所定角度以上旋回すると、そのときのカメラ２の実画像の表示に切り替えられる。
【００７７】
尚、複数のカメラが搭載されている場合には、移動障害物が第１のカメラの視界の背後に移動した後に、第２のカメラの視界に存在する可能性が高いときには、第２のカメラの実画像の表示に切り替えることとしてもよい。
【００７８】
更に、前述のように車両１周辺の障害物ＯＢの状況を３次元的に認識できていることを利用し、至近距離に存在する障害物がカメラ２の視界から外れたときに、自動的に、カメラ２の視界より外側の状況をバーチャル画像として表示させることができる。例えば図２３に示すように、道路の左側に縦列駐車を行う場合において、車両１を後退させた後に矢印方向（左方向）に旋回するとき、前方左コーナーが他の車両ＯＶの後部に接触するおそれがある。このような場合において、車両１に対して相対的に所定距離内に接近する他の車両ＯＶは移動障害物として認識され、特定視界作成手段ＳＶでは、この車両ＯＶを含む視界が作成される。而して、自動的に、もしくは運転者の指示に応じて、図２４に示すように前方左コーナー部分のバーチャル画像をモニタ８に表示させることができる（切り替えることができる）。
【００７９】
上記図２４のバーチャル画像は、前述のように、車両１が図２３に示す領域の前方まで前進した後に後退する際に、カメラ２によって撮像された他の車両ＯＶを含む環境情報が３次元環境マップとしてメモリ（図示せず）に格納されているので、この３次元環境マップでの車両１の位置（座標）及び姿勢（方向）が特定される。そして、３次元環境マップにおいて、車両１の前方左コーナーと他の車両ＯＶの後部との距離が所定距離未満となったと判定されると、自動的に、図２４に示すバーチャル画像がモニタ８に表示される。このとき、車両ＯＶが移動し、例えば２ｍ以内に接近した移動障害物と判定され、前述の所定の条件を充足したときには、バーチャル画像から実画像に切り替えられる。尚、同時に音声で案内することとしてもよい。
【００８０】
また、電子制御装置１０において、車両１と他の車両ＯＶが「接触するおそれあり」と判定されたときに、例えば警報と共に、モニタ８に警告が表示されるように構成してもよい。また、自車両から所定距離の領域内に他の障害物（例えば他の車両）が存在すると判定された場合には、その障害物を含む視界のバーチャル画像を自動的に表示し、その障害物が移動障害物であれば実画像に切り替えるように構成することもできる。この場合にも、音声で案内し、あるいは警告と共に報知することができる。
【００８１】
更に、図３に示すように移動体情報検出手段ＭＢの検出情報に基づき移動体の移動軌跡を推定する軌跡推定手段ＴＲを備え、特定視界作成手段ＳＶが、軌跡推定手段ＴＲの推定移動軌跡を特定の視界に重合する重合手段ＯＬを具備した構成とすることにより、例えば道路の右側に縦列駐車を行う場合に、図２５乃至図２７に示すように、駐車案内用の推奨コースＲＣ及び車両１の予想移動軌跡ＥＣを重合してバーチャル画像表示するように構成することができる。この場合には、図４に示す操舵角センサ４の検出操舵角等の車両１の操作状況を示す情報に基づき、車両１の後退時の予想軌跡ＥＣを演算することができる。この予想軌跡ＥＣの演算は、従来の駐車案内方法と同様に構成することができるので説明は省略する。
【００８２】
図２５は車両１の側部斜め上方からみた鳥瞰図状のバーチャル画像で、図２６は車両１の真上からみたバーチャル画像、図２７は車両１の前部上方から後方をみたバーチャル画像で、駐車スペースをＰＳで示している。これらのバーチャル画像は、後方のカメラ２のみであっても、車両１が図２５乃至図２７のモニタ画像に示す領域の前方まで前進した後に後退するまでに、前述のようにカメラ２によって撮像された車両１周辺の環境情報が３次元環境マップとしてメモリに格納されるので、その後は図２５乃至図２７に示す領域内のバーチャル画像を適宜モニタ８に表示することができる。
【００８３】
この実施形態においても、図２５乃至図２７に示す領域内の車両等の障害物が移動し、（移動障害物検出手段ＭＯにて）移動障害物と判定され、前述の所定の条件を充足したときには、図２５乃至図２７のバーチャル画像が実画像に切り替えられる。
【００８４】
以上のように、撮像画像中に移動障害物が存在し所定の条件を充足したときには、前述のように画像表示の制限が行なわれ、例えばバーチャル画像から実画像に切り替えられるので、移動前の障害物のバーチャル画像が継続して表示されることなく、適切な画像表示が行なわれる。尚、上記の各実施形態においては１台のカメラ２のみによってモニタ８にバーチャル画像で表示できることから、車両１のコーナー部分等の、技術的、意匠的に搭載が困難な部分にカメラを搭載する必要はない。しかも、カメラ２の搭載位置及び方向に依存することなく、カメラ２によって撮像された車両１周辺の環境情報に基づき、所望のバーチャル画像をモニタ８に適宜表示することができる。また、図４に示したカメラ２（バックカメラ）のほか、サイドカメラ、フロントカメラ等を利用することができ、特定のカメラに限定されるものではなく、複数台のカメラを用いてもよい。
【００８５】
【発明の効果】
本発明は上述のように構成されているので以下に記載の効果を奏する。即ち、請求項１に記載の移動体周辺監視装置においては、移動体の周辺の物体の大きさ、位置等の環境情報を検出し蓄積する環境情報検出手段と、移動体の位置及び姿勢を逐次検出し蓄積する移動体情報検出手段を備え、これらの検出情報を情報合成手段で合成し、移動体の周辺環境に対する相対的な位置及び姿勢の関係を補正して出力し、この出力情報に基づき、特定視界作成手段により、移動体の特定位置周辺の環境情報から特定の視界を作成し、表示手段により特定の視界を画像に表示すると共に、移動障害物検出手段によって、環境情報検出手段の検出情報に基づき、移動体の周辺で移動する移動障害物を検出し、移動障害物検出手段が移動障害物を検出した移動障害物検出手段が移動障害物を検出した後であって、環境情報検出手段の検出情報から移動障害物が消失した後に、所定時間以上を経過したとき、移動体が所定距離以上移動したとき、及び移動体が所定角度以上旋回したときのうち、少なくとも一つの条件を充足したときには、表示制御手段によって、表示手段の特定の視界の画像表示を制限し、必要に応じて画像表示を禁止することができるので、移動前の障害物の画像が継続して表示されることなく、適切な画像表示を行なうことができる。このように、環境情報検出手段に供するカメラ等の配置及び個数に拘わらず、移動体における所望の位置での視界を確保し、適切に画像表示を行なうことができる。しかも、当該視界内の移動障害物を検出することができ、移動障害物を検出したときには画像表示を適切に制御することができる。
【００８７】
また、請求項２に記載のように構成すれば、前記環境情報検出手段は、一つの撮像手段によっても環境情報を容易且つ検出することができ、安価な装置を提供することができる。しかも、前記移動障害物検出手段は、撮像画像中に移動障害物を検出した後であって、撮像画像の中から移動障害物が消失したときには画像表示を制限し、必要に応じて画像表示を禁止することもできるので、移動前の障害物の画像が継続して表示されることなく、適切な画像表示を行なうことができる。更に、前記表示制御手段を請求項３に記載のように構成すれば、画像表示を適切に制限することができる。
【００８８】
前記移動障害物検出手段は、移動体が静止状態にあるときには請求項４に記載のように構成し、移動体が移動状態にあるときには請求項５に記載のように構成することにより、確実に移動障害物を検出することができる。
【００８９】
また、前記移動状態検出手段は、請求項６に記載のように構成すれば個別に設ける必要がないので、安価な装置を提供することができる。あるいは、請求項７に記載のように構成すれば、運転者の指示に応じて容易に所望の視界に切り替えることができる。更に、請求項８に記載のように構成すれば、移動体の推定移動軌跡を特定の視界に重合した画像を容易に表示することができる。従って、例えば駐車案内装置に適用すれば、表示手段を介して障害物を確実に回避するように案内することができるので、運転者は表示手段を参照しながら容易に所定位置に駐車することができる。
【図面の簡単な説明】
【図１】本発明の移動体周辺監視装置の一実施形態の構成を示すブロック図である。
【図２】本発明の移動体周辺監視装置の他の実施形態の構成を示すブロック図である。
【図３】本発明の移動体周辺監視装置の更に他の実施形態の構成を示すブロック図である。
【図４】本発明の移動体周辺監視装置を駐車案内装置に適用したときの一実施形態として、駐車案内装置を搭載した車両を透視して示す斜視図である。
【図５】本発明の一実施形態に係る駐車案内装置の構成を示すブロック図である。
【図６】本発明の一実施形態における三次元再構成に関し、２台のカメラで空間中の物体の特徴点を撮影するときの幾何学的な関係を示す説明図である。
【図７】本発明の一実施形態における三次元再構成に関し、特徴点の追跡の一例を示す説明図である。
【図８】本発明の一実施形態における三次元再構成に関し、トラッキング状況の一例を示す説明図である。
【図９】本発明の一実施形態において、移動体が静止しているときに撮像画像中の移動障害物を検出する状況の一例を示す説明図である。
【図１０】本発明の一実施形態において、移動体が移動しているときに撮像画像中の移動障害物を検出する状況の一例を示す説明図である。
【図１１】本発明の一実施形態における車両モデルの平面図である。
【図１２】本発明の一実施形態において、所定の３次元座標における車両の移動開始位置の座標及び方向を基準に、移動後の位置の座標と方向を検出し追跡する方法の一例を示す平面図である。
【図１３】本発明の一実施形態において、３次元環境マップでの車両の位置（座標）及び姿勢（方向）を特定する状態の一例を示す平面図である。
【図１４】本発明の一実施形態において、車両の後方に仮想カメラが配置されたときの表示視界を示す平面図である。
【図１５】本発明の一実施形態において、車両の左前方コーナー及び左後方コーナーに仮想カメラが配置されたときの表示視界を示す平面図である。
【図１６】本発明の一実施形態において、車両の側方に仮想カメラが配置されたときの表示視界を示す平面図である。
【図１７】本発明の一実施形態において、車両の後方上部に仮想カメラが配置されたときの１８０度の表示視界を示す平面図である。
【図１８】本発明の一実施形態において、車両の上空部分に仮想カメラが配置されたときの３６０度の表示視界を示す平面図である。
【図１９】本発明の一実施形態において、車両が後退したときの表示視界の変化の一例を示す平面図である。
【図２０】図１９に２点鎖線で示す位置の車両の後部及び障害物が表示された画像の一例を示す平面図である。
【図２１】図１９に実線で示す位置の車両の後部及び障害物が表示された画像の一例を示す平面図である。
【図２２】本発明の一実施形態において、タッチパネルスイッチが表示されたモニタの通常の表示画面（Ａ）から拡大画像が表示された切替画面（Ｂ）への変化の一例を示す平面図である。
【図２３】本発明の一実施形態において、車両の進行方向に対して左側に縦列駐車を行う場合の車両の動作の一例を示す平面図である。
【図２４】図２３に示すように車両を後退後に矢印方向に旋回するとき、前方左コーナー部分のバーチャル画像をモニタに表示させた一例を示す平面図である。
【図２５】本発明の一実施形態において、車両の進行方向に対して右側に縦列駐車を行う状況を、車両の側部斜め上方からみたバーチャル画像で示す一例の平面図である。
【図２６】本発明の一実施形態において、車両の進行方向に対して右側に縦列駐車を行う状況を、車両の真上からみたバーチャル画像で示す一例の平面図である。
【図２７】本発明の一実施形態において、車両の進行方向に対して右側に縦列駐車を行う状況を、車両の前部上方から後方をみたバーチャル画像で示す一例の平面図である。
【符号の説明】
ＳＲ環境情報検出手段，ＣＤ撮像手段，ＤＳ移動状態検出手段，
ＲＣ３次元座標推定手段，ＭＢ移動体情報検出手段，
ＣＢ情報合成手段，ＳＶ特定視界作成手段，ＶＣ表示制御手段，
ＶＤ表示手段，ＭＯ移動障害物検出手段，１車両，２カメラ，
３ステアリングホイール，４操舵角センサ，５シフトレバー，
６シフトレバースイッチ，７車輪速度センサ，８モニタ，
９スピーカ，１０電子制御装置

Claims

移動体の周辺の環境情報を検出し蓄積する環境情報検出手段と、前記移動体の位置及び姿勢を逐次検出し蓄積する移動体情報検出手段と、該移動体情報検出手段の検出情報と前記環境情報検出手段の検出情報を合成し、前記移動体の前記周辺環境に対する相対的な位置及び姿勢の関係を補正して出力する情報合成手段と、該情報合成手段の出力情報に基づき、前記移動体の特定位置周辺の環境情報から前記移動体の特定の視界を作成する特定視界作成手段と、該特定視界作成手段が作成した特定の視界を画像に表示する表示手段と、前記環境情報検出手段の検出情報に基づき、前記移動体の周辺で移動する移動障害物を検出する移動障害物検出手段と、該移動障害物検出手段が前記移動障害物を検出したときには、前記表示手段による前記特定の視界の画像表示を制限するように制御する表示制御手段とを備え、前記表示制御手段は、前記移動障害物検出手段が前記移動障害物を検出した後であって、前記環境情報検出手段の検出情報から前記移動障害物が消失した後に、所定時間以上を経過したとき、前記移動体が所定距離以上移動したとき、及び前記移動体が所定角度以上旋回したときのうち、少なくとも一つの条件を充足したときに、前記表示手段による前記特定の視界の画像表示を制限することを特徴とする移動体周辺監視装置。
移動体の周辺の環境情報を検出し蓄積する環境情報検出手段と、前記移動体の位置及び姿勢を逐次検出し蓄積する移動体情報検出手段と、該移動体情報検出手段の検出情報と前記環境情報検出手段の検出情報を合成し、前記移動体の前記周辺環境に対する相対的な位置及び姿勢の関係を補正して出力する情報合成手段と、該情報合成手段の出力情報に基づき、前記移動体の特定位置周辺の環境情報から前記移動体の特定の視界を作成する特定視界作成手段と、該特定視界作成手段が作成した特定の視界を画像に表示する表示手段と、前記環境情報検出手段の検出情報に基づき、前記移動体の周辺で移動する移動障害物を検出する移動障害物検出手段と、該移動障害物検出手段が前記移動障害物を検出したときには、前記表示手段による前記特定の視界の画像表示を制限するように制御する表示制御手段とを備え、前記環境情報検出手段は、前記移動体に搭載し前記移動体の周辺を撮像し画像情報を出力する少なくとも一つの撮像手段と、前記移動体が第１の状態から第２の状態に移動したときに少なくとも前記第１の状態及び第２の状態で前記撮像手段によって撮像した二つの画像に基づき、前記第１の状態で撮像した画像から特徴点の座標を検出すると共に、前記第２の状態で撮像した画像での前記特徴点に対応する座標を検出する特徴点追跡手段と、少なくとも前記第１の状態及び前記第２の状態における前記移動体の位置及び姿勢を検出する移動状態検出手段と、該移動状態検出手段で検出した前記第１の状態及び前記第２の状態における前記移動体の位置及び姿勢、前記第１の状態で撮像した画像の前記特徴点の座標、及び前記第２の状態で撮像した画像の前記特徴点に対応する座標に基づき前記特徴点の３次元座標を推定する３次元座標推定手段とを備え、前記移動障害物検出手段は、前記撮像手段によって撮像した画像の中から前記移動障害物を検出し、前記表示制御手段は、前記移動障害物検出手段が前記移動障害物を検出した後であって、前記撮像手段によって撮像した画像の中から前記移動障害物が消失したときには、前記表示手段による前記特定の視界の画像表示を制限することを特徴とする移動体周辺監視装置。
前記表示制御手段は、前記撮像手段によって撮像した画像の中から前記移動障害物が消失した後に、所定時間以上を経過したとき、前記移動体が所定距離以上移動したとき、及び前記移動体が所定角度以上旋回したときのうち、少なくとも一つの条件を充足したときに、前記表示手段による前記特定の視界の画像表示を制限することを特徴とする請求項２記載の移動体周辺監視装置。
前記移動障害物検出手段は、前記移動体が静止状態にあるときには、前記撮像手段によって撮像した前記二つの画像に基づき、前記第１の状態で撮像した画像と前記第２の状態で撮像した画像との間で、算術演算及び論理演算の少なくとも一方により画像間の変化分を抽出して前記移動障害物を検出するように構成したことを特徴とする請求項２又は３記載の移動体周辺監視装置。
前記移動障害物検出手段は、前記移動体が移動状態にあるときには、前記撮像手段によって撮像した前記二つの画像に基づき、前記第１の状態で撮像した画像及び前記移動体情報検出手段の検出情報から前記第２の状態で撮像する画像を予測した予測画像と、前記第２の状態で撮像した画像との間で、算術演算及び論理演算の少なくとも一方により画像間の変化分を抽出して前記移動障害物を検出するように構成したことを特徴とする請求項２又は３記載の移動体周辺監視装置。
前記環境情報検出手段を構成する前記移動状態検出手段が、前記移動体情報検出手段の検出情報から、前記第１の状態及び前記第２の状態における前記移動体の位置及び姿勢を検出するように構成したことを特徴とする請求項２乃至５の何れか１項に記載の移動体周辺監視装置。
前記移動体の運転者による前記特定の視界に係る指示を入力する指示入力手段を備え、前記特定視界作成手段が、前記指示入力手段の入力結果に応じて前記特定の視界を前記運転者の指示に基づく視界に切り替える切替手段を具備したことを特徴とする請求項１乃至６の何れか１項に記載の移動体周辺監視装置。
前記移動体情報検出手段の検出情報に基づき前記移動体の移動軌跡を推定する軌跡推定手段を備え、前記特定視界作成手段が、前記軌跡推定手段の推定移動軌跡を前記特定の視界に重合する重合手段を具備し、前記表示手段が、前記推定移動軌跡を前記特定の視界に重合した画像を表示することを特徴とする請求項１乃至６の何れか１項に記載の移動体周辺監視装置。