JP4186908B2 - 移動体周辺監視装置 - Google Patents

Description

本発明は、移動体周辺の環境を監視し、移動体における所望の位置での視界を画像表示する移動体周辺監視装置に関し、例えば、車両の周辺を監視し駐車時に障害となる物体等を適宜画像表示する装置に好適な移動体周辺監視装置に係る。

従来から、車両後方の死角を最小化するために、例えば車両後方にカメラを装着し、その画像を運転席に設置したモニタに表示する装置が種々提案されており、既に市販されている。例えば下記の特許文献１には、移動体周辺の物体の大きさ、位置等の環境情報を検出する検出手段によって、移動体における所望の位置で確保する視界に対し、不測の物体の進入を回避し、障害となる物体を確実に画像表示することを目的とした移動体周辺監視装置が提案されている。

上記の移動体周辺監視装置は、特許文献１の図１に示すように、移動体の周辺の物体の大きさ、位置等の環境情報を検出し蓄積する環境情報検出手段ＳＲ１及びＳＲ２と、移動体の位置及び姿勢を逐次検出し蓄積する移動体情報検出手段ＭＢを備え、これらの検出情報を情報合成手段ＣＢ１及びＣＢ２で合成し、移動体の周辺環境に対する相対的な位置及び姿勢の関係を補正して出力し、これらの出力情報に基づき、特定視界作成手段ＳＶ１及びＳＶ２により、移動体の特定位置周辺の環境情報から第１及び第２の特定視界を作成し、表示手段ＶＤにより画像に表示することとしている。更に、表示調整手段ＶＡにより、第１の特定視界の画像に対して重合しない第２の特定視界の画像の少なくとも一部を、第１の表示手段の画像に重合して表示するように調整することとしている。

また、特許文献２には、別途特別な障害物検出センサを必要とすることなく、移動体周辺の環境の中から移動体の移動予想軌跡上で最も接近した障害物を確実に検出することを目的とした移動体周辺監視装置が提案されている。これは、特許文献２の図１に示すように、移動体周辺の物体の大きさ、位置等の環境情報を検出し蓄積する環境情報検出手段ＳＲと、移動体の移動予想軌跡を推定する軌跡推定手段ＴＲを備え、移動至近距離計測手段ＭＣにて移動予想軌跡を環境情報に重合し、移動体の移動予想軌跡上に存在する障害物を特定すると共に、移動予想軌跡上における障害物と移動体との間の最短距離を計測することとしている。更に、移動至近距離計測手段の計測結果に基づき、報知手段ＤＰにより移動体と障害物の位置関係を報知することとしている。

特開２００４−１１４９７６号公報 特開２００４−１２０６６１号公報

前掲の特許文献１に記載の移動体周辺監視装置においては、移動体における所望の位置で確保する視界に対し、不測の物体の進入を回避することができ、障害となる物体を確実に画像表示することができる。また、特許文献２に記載の移動体周辺監視装置によれば、別途特別な障害物検出センサを必要とすることなく、例えば画像を用いて障害物を検出し、移動体のどの部分と障害物のどの部分が接触するかを判定することができ、移動体の移動予想軌跡上の移動至近距離を適切に計測することができる。

然し乍ら、特許文献１の特定視界作成手段ではバーチャル画像を表示することとし、特許文献２においても、バーチャル画像表示を基本としているので、例えば上記一つの撮像手段によって容易且つ確実に環境情報を検出することができるものの、画像処理の費用が必要となる。

一方、近時のデジタルカメラ等の普及により、撮像手段の価格が低下しており、複数の撮像手段を用いても然程の価格上昇に至らない場合もある。このため、近時は、複数のカメラを搭載した自動車も市販されているが、カメラ画像の切り替えは運転者のスイッチ操作によって行われるので、障害となる物体が表示されている画像を選択するには先ず全てのカメラ画像を表示せざるを得ず、これを運転中に行うことは至難である。例えば、自動車を後退させながら所定位置に停車する際には、カメラ画像を確認する度にスイッチ操作の切り替えのために停止が必要となり、却って煩雑である。

そこで、本発明は、複数の撮像手段の出力画像情報の何れかを選択して表示し得る移動体周辺監視装置において、移動体の移動に対し障害となる障害物を含む適切な画像を、自動的に選択して表示し得る安価な移動体周辺監視装置を提供することを課題とする。

上記の課題を達成するため、本発明の移動体周辺監視装置は、請求項１に記載のように、移動体の異なる位置に搭載し該移動体の周辺を撮像し画像情報を出力する複数の撮像手段と、該複数の撮像手段の出力画像情報の何れかを選択して表示する表示手段を備えた移動体周辺監視装置において、前記複数の撮像手段のうちの一つの特定撮像手段のみの出力画像情報に基づき前記移動体周辺の環境情報を検出し蓄積する環境情報検出手段と、前記移動体の位置及び姿勢を逐次検出し蓄積する移動体情報検出手段と、該移動体情報検出手段の検出情報と前記環境情報検出手段の検出情報を合成し、前記移動体の前記周辺環境に対する相対的な位置及び姿勢の関係を補正して出力する情報合成手段と、該情報合成手段の出力情報に基づき、前記移動体の移動に対し障害となる障害物を検出する障害物検出手段と、該障害物検出手段の検出情報及び前記情報合成手段の出力情報に基づき、前記特定撮像手段の撮像領域及び前記複数の撮像手段のうちの前記特定撮像手段以外の第２の撮像手段の撮像領域と前記障害物との位置関係を判定し、該位置関係に応じて、前記第２の撮像手段の出力画像情報と前記特定撮像手段の出力画像情報の何れかを選択して前記表示手段で表示するように制御する表示制御手段とを備えることとしたものである。而して、前記環境情報検出手段、前記移動体情報検出手段、前記情報合成手段、及び前記障害物検出手段は前記特定撮像手段の出力画像情報に基づいて処理されものであって、前記第２の撮像手段の出力画像情報に基づいて処理されるものではない。尚、上記の環境情報とは、移動体周辺の物体の大きさ、位置等を含み、移動体には、車両のほか、移動ロボット等を含む。

上記請求項１に記載の移動体周辺監視装置において、前記表示制御手段は、請求項２に記載のように、前記特定撮像手段の出力画像情報及び前記第２の撮像手段の出力画像情報の両者に前記障害物が包含されているときには、前記障害物が撮像領域の境界から離れた位置にある画像情報を出力している前記特定撮像手段及び前記第２の撮像手段の一方の撮像手段の出力画像情報を選択するように構成するとよい。

あるいは、請求項３に記載のように、前記表示制御手段は、前記障害物が複数存在し、前記特定撮像手段の出力画像情報及び前記第２の撮像手段の出力画像情報の両者に、異なる障害物が包含されているときには、前記移動体に近接する可能性が最も高い障害物を含む画像情報を出力している前記特定撮像手段及び前記第２の撮像手段の一方の撮像手段の出力画像情報を選択するように構成してもよい。

上記請求項３に記載の移動体周辺監視装置において、請求項４に記載のように、前記障害物検出手段は、前記情報合成手段の出力情報に基づき前記移動体の移動予想軌跡を推定する軌跡推定手段と、該軌跡推定手段が推定した移動予想軌跡を前記環境情報検出手段が検出した環境情報に重合し、前記移動体の移動予想軌跡上に存在する前記障害物を特定すると共に、前記移動予想軌跡上における前記障害物と前記移動体との間の最短距離を計測する移動至近距離計測手段を具備したものとし、前記表示制御手段は、前記移動至近距離計測手段の計測結果に基づき、前記移動体に近接する可能性が最も高い障害物を含む画像情報を出力している前記特定撮像手段及び前記第２の撮像手段の一方の撮像手段の出力画像情報を選択するように構成してもよい。

尚、上記請求項１乃至４に記載の移動体周辺監視装置において、請求項５に記載のように、前記複数の撮像手段が、前記移動体の進行方向と逆方向の夫々に配置した撮像手段を有するものとし、前記表示制御手段は、前記移動体の移動方向側の撮像手段を前記特定撮像手段とするとよい。例えば、車両の前後左右に撮像手段を配置した場合には、進行方向側の撮像手段を特定撮像手段とするもので、車両が前進する場合には車両の前方に配置した撮像手段が特定撮像手段とされ、後退する場合には車両の後方に配置した撮像手段が特定撮像手段とされ、左右に配置した撮像手段が第２の撮像手段とされる。

本発明は上述のように構成されているので以下の効果を奏する。即ち、請求項１に記載の移動体周辺監視装置においては、前記特定撮像手段の撮像領域及び前記複数の撮像手段のうちの前記特定撮像手段以外の第２の撮像手段の撮像領域と前記障害物との位置関係を判定し、該位置関係に応じて、前記第２の撮像手段の出力画像情報と前記特定撮像手段の出力画像情報の何れかを選択して前記表示手段で表示するという安価な構成によって、移動体の移動に対し障害となる障害物を含む適切な画像を、自動的に選択して表示することができる。従って、例えば、自動車を後退させながら所定位置に停車あるいは駐車する際には、障害物が自動的に画像表示されるので、運転者は画像表示の切り替えを行うことなく、障害物に注意しながら後退作動を続け、適切に停車あるいは駐車することができる。

特に、請求項２乃至５に記載の移動体周辺監視装置によれば、障害物の数や位置に左右されることなく、移動時に接触するおそれのある障害物が確実に画像表示されるので、適切に停車あるいは駐車することができる。

以下、本発明の移動体周辺監視装置の実施形態について図面を参照して説明する。図１は本発明の一実施形態の全体構成を示すもので、本実施形態の移動体周辺監視装置は、例えば車両等の移動体（図示せず）の異なる位置に搭載しこの移動体の周辺を撮像し画像情報を出力する複数の撮像手段（特定撮像手段Ｃ１及び第２の撮像手段Ｃ２）と、これらの撮像手段の出力画像情報の何れかを選択して表示する表示手段ＶＤを備えている。撮像手段としては車両（図２のＶＨ）に搭載されるカメラ（図２のＣｆ等）があり、例えば車両の前後左右に撮像手段を配置した場合には、先ず、進行方向側の撮像手段が特定撮像手段Ｃ１とされる。即ち、車両が前進する場合には車両の前方に配置した撮像手段が特定撮像手段Ｃ１とされ、後退する場合には車両の後方に配置した撮像手段が特定撮像手段Ｃ１とされ、左右に配置した撮像手段は第２の撮像手段Ｃ２とされる。

更に、特定撮像手段Ｃ１の出力画像情報に基づき移動体周辺の物体の大きさ、位置等の環境情報を検出し蓄積する環境情報検出手段ＳＲと、移動体の位置及び姿勢を逐次検出し蓄積する移動体情報検出手段ＭＢと、この移動体情報検出手段ＭＢの検出情報と環境情報検出手段ＳＲの検出情報を合成し、移動体の周辺環境に対する相対的な位置及び姿勢の関係を補正して出力する情報合成手段ＣＢを備えている。移動体情報検出手段ＭＢは、移動体が車両である場合には、例えば車両の走行速度、操舵状態、旋回状態等の車両運動を検出するセンサ（図示せず）によって構成することができる。

また、環境情報検出手段ＳＲは、移動体が第１の状態から第２の状態に移動したときに少なくとも第１の状態及び第２の状態で特定撮像手段Ｃ１によって撮像した二つの画像に基づき、第１の状態で撮像した画像から特徴点の座標を検出すると共に、第２の状態で撮像した画像での前記特徴点に対応する座標を検出する特徴点追跡手段ＰＦと、少なくとも第１の状態及び第２の状態における移動体の位置及び姿勢を検出する移動状態検出手段ＤＳと、この移動状態検出手段ＤＳで検出した第１の状態及び第２の状態における移動体の位置及び姿勢、第１の状態で撮像した画像の特徴点の座標、及び第２の状態で撮像した画像の前記特徴点に対応する座標に基づき前記特徴点の３次元座標を推定する３次元座標推定手段ＲＣを備えている。上記の移動状態検出手段ＤＳは、移動体が車両である場合には、例えば車両の走行速度、操舵状態、旋回状態等の車両運動を検出するセンサによって構成することができるが、移動体情報検出手段ＭＢの検出情報を用いることとしてもよい。尚、これらの移動状態検出手段ＤＳ、特徴点追跡手段ＰＦ及び３次元座標推定手段ＲＣ、並びに情報合成手段ＣＢ及び表示手段ＶＤは、バーチャル画像表示処理に係る要素を除き、基本的には前掲の特許文献１に記載の各手段と同様であるので詳細な説明は省略する。

本実施形態においては、更に、情報合成手段ＣＢの出力情報に基づき、移動体の移動に対し障害となる障害物（以下、単に障害物という）を検出する障害物検出手段ＯＤと、表示制御手段ＶＣを備えている。この表示制御手段ＶＣは、障害物検出手段ＯＤの検出情報及び情報合成手段ＣＢの出力情報に基づき、特定撮像手段Ｃ１の撮像領域及び複数の撮像手段のうちの特定撮像手段Ｃ１以外の第２の撮像手段Ｃ２の撮像領域と障害物との位置関係を判定し、この位置関係に応じて、特定撮像手段Ｃ１と第２の撮像手段Ｃ２の出力画像情報の何れかを選択して表示手段ＶＤで表示するように制御するものである。而して、表示手段ＶＤにおいては、表示制御手段ＶＣにて選択された特定撮像手段Ｃ１と第２の撮像手段Ｃ２の出力画像情報の何れかの、上記障害物を含む画像情報が表示される。

例えば、特定撮像手段Ｃ１の出力画像情報及び第２の撮像手段Ｃ２の出力画像情報の両者に障害物が包含されているときには、障害物が移動体からの視界の境界から離れた位置にある画像情報を出力している撮像手段の出力画像情報が選択される。また、障害物が複数存在し、特定撮像手段Ｃ１の出力画像情報及び第２の撮像手段Ｃ２の出力画像情報の両者に、異なる障害物が包含されているときには、移動体に近接する可能性が最も高い障害物を含む画像情報を出力している撮像手段の出力画像情報が選択される。このため、本実施形態の障害物検出手段ＯＤには、図１に破線で示すように軌跡推定手段ＴＲと移動至近距離計測手段ＭＣが構成されている。軌跡推定手段ＴＲは、情報合成手段ＣＢの出力情報に基づき移動体の移動予想軌跡を推定し、移動至近距離計測手段ＭＣは、軌跡推定手段ＴＲが推定した移動予想軌跡を環境情報検出手段ＳＲが検出した環境情報に重合し、移動体の移動予想軌跡上に存在する障害物を特定すると共に、移動予想軌跡上における障害物と移動体との間の最短距離を計測するように構成されている。そして、表示制御手段ＶＣにおいては、移動至近距離計測手段ＭＣの計測結果に基づき、移動体に近接する可能性が最も高い障害物を含む画像情報を出力している撮像手段の出力画像情報を選択するように構成されている。尚、軌跡推定手段ＴＲ及び移動至近距離計測手段ＭＣは、バーチャル画像表示処理に係る要素を除き、基本的には前掲の特許文献２に記載の各手段と同様であるので詳細な説明は省略する。

図２は、車両ＶＨにおける撮像領域の一例を示すもので、複数の撮像手段として、本実施形態では車両ＶＨの前後（例えばバンパーの上部）に配設されたカメラＣｆ及びＣｂと、車両ＶＨの左右（例えばドアミラーの端部）に配設されたカメラＣｌ及びＣｒを有し、これらによって四つの撮像領域Ｚｆ，Ｚｂ，Ｚｌ，Ｚｒが形成されている。これらのカメラは１１０度から１６０度の水平画角のレンズを有し、所定の位置・高さに配置され、光軸が所定の方向を向くように設定されている。尚、表示手段ＶＤたるモニタ（図示せず）及びこれを制御する電子制御装置等は、前掲の特許文献１及び２に記載の駐車案内装置に供される装置と同様である。

而して、図３に一点鎖線の示す軌跡に従って、先ず、矢印方向に車両ＶＨが後退作動する場合には、車両ＶＨの後方に配設されたカメラＣｂが特定撮像手段（図１のＣ１）とされ、車両ＶＨの左右に配設されたカメラＣｌ及びＣｒが第２の撮像手段（図１のＣ２）とされる。この場合において、車両ＶＨが図３に破線で示す位置（Ｐ１）にあるときには、車両ＶＨ後方のカメラＣｂの撮像領域Ｚｂ内に、障害物たる障害物ＯＢが存在しているので、表示手段ＶＤたるモニタ（図示せず）にはカメラＣｂ（特定撮像手段Ｃ１）による車両ＶＨ後方の画像が自動表示される。車両ＶＨが更に後退し、図３に実線で示す位置（Ｐ２）に至ると、障害物ＯＢは撮像領域Ｚｂから外れるが、代わって、撮像手段たる車両ＶＨの左側に配設されたカメラＣｌ（第２の撮像手段Ｃ２）の撮像領域Ｚｌ内に障害物ＯＢが包含されることになる。このため、表示手段ＶＤたるモニタ（図示せず）には車両ＶＨ左側のカメラＣｌ（第２の撮像手段Ｃ２）による車両ＶＨ左側の画像が自動表示される。

ここで、障害物ＯＢが、隣接するカメラの出力画像の何れにも包含されているときには、カメラ視界の境界から離れて撮影されている、即ち、十分にカメラ視界に入っている方のカメラが選択される。例えば、図４に示すように、車両ＶＨの左側に配設されたカメラＣｌの視界（即ち、撮像領域Ｚｌ）と、車両ＶＨの前方に配設されたカメラＣｆの視界（即ち、撮像領域Ｚｆ）の両者に障害物ＯＢが含まれた場合には、障害物ＯＢに対し撮像領域Ｚｆの方が撮像領域Ｚｌより余裕があり、カメラＣｆの出力画像の方が視認し易いので、障害物ＯＢがカメラ視界の境界（撮像領域Ｚｆの境界）から離れた位置にあるカメラＣｆの出力画像が選択される。

そして、図５に破線で示す位置（Ｐ２）から、車両ＶＨが更に後退し、図５に実線で示す位置（Ｐ３）に至ると、障害物ＯＢは撮像領域Ｚｌから外れるが、代わって、車両ＶＨの前方に配設されたカメラＣｆの撮像領域Ｚｆ内に障害物ＯＢが包含される。この場合には、車両ＶＨの左側に配設されたカメラＣｌが特定撮像手段（図１のＣ１）とされ、表示手段ＶＤたるモニタ（図示せず）には車両ＶＨ前方の画像が自動表示される。このように、車両ＶＨの後退作動に従って相対的に移動する障害物ＯＢが、撮像領域Ｚｂから順次、撮像領域Ｚｌそして撮像領域Ｚｆに移動するに伴い、モニタ（図示せず）には、車両ＶＨ後方の画像から順次、車両ＶＨ左側の画像そして車両ＶＨ前方の画像に自動的に切り替えられて、表示される。而して、運転者は手動操作によって画像表示の切り替えを行う必要はなく、障害物ＯＢに注意しながら後退作動を続け、適切に停車あるいは駐車することができる。

また、障害物が複数存在し、隣接するカメラの出力画像情報の両者に、異なる障害物が包含されているとき、例えばカメラＣｌ及びＣｂによる画像情報の両者に異なる障害物が包含されているときには、撮像手段として、車両ＶＨに近接する可能性が最も高い障害物を含む画像情報を出力しているカメラが選択される。例えば、図１に破線で示すように軌跡推定手段ＴＲと移動至近距離計測手段ＭＣが構成されておれば、移動至近距離計測手段ＭＣの計測結果に基づき、車両ＶＨに近接する可能性が最も高い障害物を含む画像情報を出力しているカメラの出力画像情報が選択される。

尚、複数の撮像手段としては、図６に示すように、車両ＶＨの四隅に配設されたカメラＣｆｌ、Ｃｆｒ、Ｃｂｌ及びＣｂｒとし、これらによって四つの撮像領域Ｚｆｌ，Ｚｆｒ，Ｚｂｌ及びＺｂｒを形成することとしてもよく、撮像手段としてのカメラの数は少なくとも二つであればよい。何れの場合においても、先ず、車両ＶＨと障害物との位置関係に応じて何れか一つのカメラが特定撮像手段Ｃ１として選択されると共に、これに隣接するカメラが第２の撮像手段Ｃ２として選択され、以後も、順次車両ＶＨと障害物との位置関係に応じて何れかのカメラが特定撮像手段Ｃ１と第２の撮像手段Ｃ２として選択される。

本発明の一実施形態に係る移動体周辺監視装置の主要構成を示すブロック図である。 本発明の一実施形態に係る移動体周辺監視装置が搭載された車両における撮像領域の一例を示す平面図である。 図２の車両が後退移動したときの、撮像領域と、その中に存在する障害物との位置関係の一例を示す平面図である。 図２の車両が後退移動したときの、撮像領域と、その中に存在する障害物との位置関係の他の例を示す平面図である。 図２の車両が後退移動したときの、撮像領域と、その中に存在する障害物との位置関係の更に他の例を示す平面図である。 本発明の一実施形態に係る移動体周辺監視装置が搭載された車両における撮像領域の他の例を示す平面図である。

符号の説明

Ｃ１，Ｃ２ 撮像手段
ＭＢ 移動体情報検出手段
ＳＲ 環境情報検出手段
ＣＢ 情報合成手段
ＯＤ 障害物検出手段
ＶＣ 表示制御手段
ＶＤ 表示手段
ＶＨ 車両

Claims (5)

1. 移動体の異なる位置に搭載し該移動体の周辺を撮像し画像情報を出力する複数の撮像手段と、該複数の撮像手段の出力画像情報の何れかを選択して表示する表示手段を備えた移動体周辺監視装置において、前記複数の撮像手段のうちの一つの特定撮像手段のみの出力画像情報に基づき前記移動体周辺の環境情報を検出し蓄積する環境情報検出手段と、前記移動体の位置及び姿勢を逐次検出し蓄積する移動体情報検出手段と、該移動体情報検出手段の検出情報と前記環境情報検出手段の検出情報を合成し、前記移動体の前記周辺環境に対する相対的な位置及び姿勢の関係を補正して出力する情報合成手段と、該情報合成手段の出力情報に基づき、前記移動体の移動に対し障害となる障害物を検出する障害物検出手段と、該障害物検出手段の検出情報及び前記情報合成手段の出力情報に基づき、前記特定撮像手段の撮像領域及び前記複数の撮像手段のうちの前記特定撮像手段以外の第２の撮像手段の撮像領域と前記障害物との位置関係を判定し、該位置関係に応じて、前記第２の撮像手段の出力画像情報と前記特定撮像手段の出力画像情報の何れかを選択して前記表示手段で表示するように制御する表示制御手段とを備えたことを特徴とする移動体周辺監視装置。
2. 前記表示制御手段は、前記特定撮像手段の出力画像情報及び前記第２の撮像手段の出力画像情報の両者に前記障害物が包含されているときには、前記障害物が撮像領域の境界から離れた位置にある画像情報を出力している前記特定撮像手段及び前記第２の撮像手段の一方の撮像手段の出力画像情報を選択することを特徴とする請求項１記載の移動体周辺監視装置。
3. 前記表示制御手段は、前記障害物が複数存在し、前記特定撮像手段の出力画像情報及び前記第２の撮像手段の出力画像情報の両者に、異なる障害物が包含されているときには、前記移動体に近接する可能性が最も高い障害物を含む画像情報を出力している前記特定撮像手段及び前記第２の撮像手段の一方の撮像手段の出力画像情報を選択することを特徴とする請求項１記載の移動体周辺監視装置。
4. 前記障害物検出手段は、前記情報合成手段の出力情報に基づき前記移動体の移動予想軌跡を推定する軌跡推定手段と、該軌跡推定手段が推定した移動予想軌跡を前記環境情報検出手段が検出した環境情報に重合し、前記移動体の移動予想軌跡上に存在する前記障害物を特定すると共に、前記移動予想軌跡上における前記障害物と前記移動体との間の最短距離を計測する移動至近距離計測手段を具備し、前記表示制御手段は、前記移動至近距離計測手段の計測結果に基づき、前記移動体に近接する可能性が最も高い障害物を含む画像情報を出力している前記特定撮像手段及び前記第２の撮像手段の一方の撮像手段の出力画像情報を選択することを特徴とする請求項３記載の移動体周辺監視装置。
5. 前記複数の撮像手段が、前記移動体の進行方向と逆方向の夫々に配置した撮像手段を有し、前記表示制御手段は、前記移動体の移動方向側の撮像手段を前記特定撮像手段とすることを特徴とする請求項１乃至４の何れかに記載の移動体周辺監視装置。

Images