JP2004198212A

JP2004198212A - Apparatus for monitoring vicinity of mobile object

Info

Publication number: JP2004198212A
Application number: JP2002366008A
Authority: JP
Inventors: Toshiaki Kakinami; 俊明柿並; Shuji Yamamoto; 修司山本
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 2002-12-18
Filing date: 2002-12-18
Publication date: 2004-07-15

Abstract

<P>PROBLEM TO BE SOLVED: To specify the locations and attitudes not only of an imaging means but also of a mobile body from images acquired by imaging a light pattern projected to a monitoring region. <P>SOLUTION: The proscribed light pattern LP is projected onto a specific plane FS by a light pattern projecting means LT while the mobile body is being moved. From among images imaged by the imaging means CD, at least four characteristic points in the light pattern LP are extracted by a characteristic point extracting means PD. The characteristic points extracted when the mobile body is moved from a first state to a second state are tracked by a characteristic point tracking means PF. On the basis of the result of the tracking, the relative locations and attitudes not only of the imaging means CD but also of the mobile body are specified according to the plane coordinates of the characteristic points of the images imaged in the first and second state by a moving state specifying means MB. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、移動体周辺を監視する移動体周辺監視装置に関し、特に、移動体周辺の環境を監視し、移動体における所望の位置での視界を画像表示する移動体周辺監視装置に係る。例えば、車両の周辺を監視し駐車時に障害となる物体等を適宜表示する装置に好適な移動体周辺監視装置に係る。
【０００２】
【従来の技術】
従来から、移動体例えば車両の周辺を監視するため、画像処理による環境認識技術が適用された技術が知られている。例えば、車両後方にカメラを装着し、その画像を運転席に設置したモニタに表示する装置が種々提案されており、既に市販されている。例えば、下記の特許文献１（特開平５−２０１２９８）には、レーザ光入射により監視領域に輝点パターンを投影するパターン光投光器と、該輝点パターンを撮像する撮像機と、該撮像機から得られる画像を処理して障害物や溝あるいは人等の存在を検知するデータ処理部とを備えた車両周辺監視装置が提案されている。
【０００３】
また、下記の特許文献２（特開平４−７１０００）には、車両の走行速度に応じて投影された道路上のスリット光を撮像手段で撮像し、撮像された道路画像から抽出されたスリット光の形状やその変化を解析することによって車両前方の障害物等を検出する車両用状況認識装置が開示されている。
【０００４】
一方、画像処理技術の分野においては、２台のカメラから３次元形状を復元する技術が知られている。例えば、下記の非特許文献１には、ステレオによる立体形状計測について解説されている。この非特許文献１には、その前提として、２つのカメラそれぞれの結像の特性（レンズの焦点距離、画像中心、画素サイズなど）、２つのカメラの位置、姿勢、そして２つの画像での対応が分かれば、その対応する点の空間での位置が決定できる旨記載されている。
【０００５】
同様に、下記の非特許文献２にも、２台のカメラから撮った画像間の対応関係から三角測量の原理で物体の３次元形状を計算する技術が開示されており、ロボットの制御のために画像から３次元情報を抽出する方法として最も基本的な手段の一つであるとして、原理が解説されている。
【０００６】
また、下記の非特許文献３には、上記のステレオと同じ原理に基づき、動画像から対象の３次元形状が復元できると記載されている。特に、動画像として画像の系列が与えられていると、対象の運動の追跡が可能になり、２枚の画像だけが与えられた場合より対応点の抽出が容易である旨説明されている。
【０００７】
更に、下記の非特許文献４には、「移動ロボットにおけるジャイロとオドメトリのデータを組み合わせる方法」と題し、ジャイロによる測定と車輪エンコーダ（オドメトリ）による測定を簡単且つ有効に組み合わせる方法が開示されている。
【０００８】
また、下記の非特許文献５における「1.3 Projective transformations 」(p.11〜)及び「7.3 Action of a projective camera on quadrics」(P.190〜)の記載によれば、同一の対象物が映っている２視点の画像間の変換はホモグラフィーＨによって表すことができる旨説明されている。
【０００９】
そして、下記の非特許文献６の「3.4 Calibrating Cameras(p.51〜p.58)」には、ホモグラフィー行列（透視投影行列）からカメラの内部パラメータと外部パラメータを計算することができる旨説明されている。
【００１０】
【特許文献１】
特開平５−２０１２９８号公報
【特許文献２】
特開平４−７１０００号公報
【非特許文献１】
「情報処理」Vol.37 No.7 (１９９６年７月号)における出口光一郎著「２．ステレオの仕掛けを解き明かす」
【非特許文献２】
「空間データの数理」 (金谷健一著。１９９５年３月１０日初版第１刷。朝倉書店発行)における１６１頁及び１６２頁に記載の「ステレオ視による３次元復元」
【非特許文献３】
「情報処理」Vol.37 No.8 (１９９６年８月号)における出口光一郎著「３．動画像の扱い」
【非特許文献４】
J.Borenstein 及び L.Feng 著、「Gyrodometery:A New Method forCombining Data from Gyros Odometry in Mobile Robot」、Preceeding of the IEEE International Conference on Roboticsand Automation, Minneapolis, Apr.22-28, 1996, pp.423-428
【非特許文献５】
Richard Hartley 及びAndrew Zisserman 著、「Multiple View Geometry in Computer Vision」、2000年 Cambridge University Press発行（ISBN: 0521623049）
【非特許文献６】
Olivier Faugeras 著、「Three-Dimensional Computer Vision: A Geometric Viewpoint」、 1993年 MIT Press発行
【００１１】
【発明が解決しようとする課題】
前掲の特許文献１に記載の装置においては、レーザー光による輝点パターンを路面に投影し、別の位置に配置したカメラでその輝点パターンを撮影することにより障害物を検出することとしている。この特許文献１では、所定の積載状態における輝点パターンの四隅の位置に対するせり出し量を計測することによって、車両の沈み込みに起因する見かけの障害物の大きさの変化を補正処理し、誤警報を発生しないようにしている。しかし、これによれば「撮像機の路面からの高さ変化」には対応することはできるが、車両にロール角やピッチ角が生じたときには正しく補正することはできず、問題が残る。
【００１２】
また、前掲の特許文献２に記載の装置においては、車両の前方にスリット光を投じるスリット光投影手段と撮像手段を設け、投影されたスリット光の形状変化を検出することにより、障害物、悪路、先行車両等を検出することとしている。しかし、この文献には、車両自体に姿勢変化が生じたときの誤差をどのように低減させるかについては何ら開示されておらず、自車の姿勢変化に対する物体の大きさや距離の計測誤差には対処できない。
【００１３】
結局、上記特許文献１及び２の何れの装置においても、車両姿勢の変化に対応して誤差を低減することに関しては不十分である。従って、移動体に搭載されたカメラによって走行路面や障害物を認識するとき、カメラの搭載位置（高さ）や光軸の方向が一定と仮定したり、変化する場合でもチルト角度のみであるというような限定条件を設定することになるため、高精度で認識することは困難である。
【００１４】
ところで、前述の非特許文献６に記載の画像処理技術を利用すれば、例えば単眼（１台のカメラ）によっても障害物の３次元形状を復元し得るように構成することができる。しかし、単眼によるモーションステレオでは、カメラの位置及び姿勢は移動によって変化し、一定ではない。そこで移動前後での相対的なカメラの位置及び姿勢を何らかの方法で検出する必要がある。この点に関し、例えば非特許文献４には、ヨーレイトセンサ（ジャイロ）と車輪速センサ（エンコーダ）の利用が開示されているが、ヨーレイトセンサにはゼロ点のドリフトがあるため、時間経過につれて誤差の累積が増大する旨記載されている。また、車輪速センサのみでは比較的大きな誤差が生ずるので、車両の位置及び姿勢の検出が困難となるとされている。このため、非特許文献４では、両者の差成分を演算することによって実用的には障害がない程度の誤差に抑えることとされている。
【００１５】
一方、非特許文献５の記載によれば、同一の対象物に対する２視点の画像間の変換はホモグラフィーＨによって表すことができ、その変換のためのホモグラフィーを求めるには最低四個の点が同一平面内に含まれていればよい。換言すれば、特定平面内に少なくとも四点が含まれておれば、一方のカメラの位置に対する他方のカメラの位置（相対位置関係）を演算することができ、一方の画像から他方の画像を演算することができるということもできる。そして、非特許文献６の記載によれば、ホモグラフィー行列からカメラの内部パラメータと外部パラメータを計算することができる。
【００１６】
そこで、本発明は、移動体の周辺を監視する移動体周辺監視装置において、監視領域に対し光パターンを投影し、この光パターンを撮像手段によって撮像した画像に基づき、撮像手段ひいては移動体の位置及び姿勢を特定し得るように構成することを課題とする。
【００１７】
また、本発明は、監視領域に対し光パターンを投影し、この光パターンを撮像手段によって撮像した画像に基づき、撮像手段ひいては移動体の位置及び姿勢を特定し、単一の撮像手段によっても、移動体における所望の位置での視界を確保し、適切に画像表示を行い得る移動体周辺監視装置を提供することを課題とする。
【００１８】
【課題を解決するための手段】
上記課題を解決するため、本発明は、請求項１に記載のように、移動体に搭載し該移動体の周辺を監視する移動体周辺監視装置において、前記移動体に搭載し、前記移動体周辺に設定する所定の監視領域の一部を構成する特定平面に対し所定の光パターンを投影する光パターン投影手段と、前記移動体に搭載し前記監視領域を撮像して画像情報を出力する少なくとも一つの撮像手段と、該撮像手段が撮像した画像の中から、前記光パターン投影手段が前記特定平面上に投影した前記所定の光パターン内の少なくとも一部を抽出して追跡するパターン追跡手段と、該パターン追跡手段の追跡結果に基づき前記撮像手段の相対的な位置及び姿勢を特定する移動状態特定手段とを備えることとしたものである。
【００１９】
尚、前記光パターン投影手段が投影する前記特定平面は、路面もしくは壁面である。また、前記光パターンとしては、自動車においてはテールランプユニットあるいはリヤ・コンビネーションランプユニット等、灯火装置のレンズカットによって生成され、走行路面上に投影される光パターンを利用することができる。あるいは、ヘッドランプユニット、テールランプユニット等の灯火装置に投影用光源を組み込み、この投影用光源による光パターンを利用することができる。更に、既設の灯火装置とは独立して投影用光源を設け、この投影用光源によって走行路面上に投影される光パターンを利用することとしてもよい。
【００２０】
また、前記光パターンに供される光は、可視光及び赤外光の少なくとも一方とするとよい。そして、前記撮像手段としては、可視光に対する感度を有するカメラ、赤外光に対し感度を有する感度のあるカメラ、又は可視光と赤外光の両者に対する感度を有するカメラを用いるとよい。尚、前記移動体には、車両のほか、移動ロボット等を含む。
【００２１】
更に、前記請求項１記載の移動体周辺監視装置において、請求項２に記載のように、前記パターン追跡手段は、前記撮像手段が撮像した画像の中から、前記光パターン投影手段が前記特定平面上に投影した前記所定の光パターン内の少なくとも四つの特徴点を抽出する特徴点抽出手段と、前記移動体が第１の状態から第２の状態に移動したときに前記特徴点抽出手段が抽出した特徴点を追跡する特徴点追跡手段を具備し、前記移動状態特定手段は、前記特徴点追跡手段の追跡結果に基づき、前記第１の状態で撮像した画像の前記特徴点の平面座標及び前記第２の状態で撮像した画像の前記特徴点の平面座標に応じて、前記第１の状態及び前記第２の状態における前記撮像手段の相対的な位置及び姿勢を特定するように構成し、前記移動状態特定手段で特定した前記第１の状態及び前記第２の状態における前記撮像手段の位置及び姿勢、前記第１の状態で撮像した画像における所定対象の特徴点の平面座標、並びに前記第２の状態で撮像した画像における前記所定対象の特徴点に対応する平面座標に基づき、前記所定対象の特徴点の３次元座標を推定する３次元座標推定手段を備えたものとするとよい。
【００２２】
尚、前記光パターン内の四つの特徴点としては、路面上の光パターンの輪郭線上の点、複数の輪郭線が交差する点（十字交点）、もしくは大きく曲がるコーナー（変曲点）がある。
【００２３】
そして、請求項３に記載のように、移動体に搭載し該移動体の周辺を監視する移動体周辺監視装置において、前記移動体に搭載し、前記移動体周辺に設定する所定の監視領域の一部を構成する特定平面に対し所定の光パターンを投影する光パターン投影手段と、前記移動体に搭載し前記監視領域を撮像して画像情報を出力する少なくとも一つの撮像手段と、該撮像手段が撮像した画像の中から、前記光パターン投影手段が前記特定平面上に投影した前記所定の光パターン内の少なくとも四つの特徴点を抽出する特徴点抽出手段と、該特徴点追跡手段の追跡結果に基づき、前記第１の状態で撮像した画像の前記特徴点の平面座標及び前記第２の状態で撮像した画像の前記特徴点の平面座標に応じて、前記第１の状態及び前記第２の状態における前記撮像手段の相対的な位置及び姿勢を特定する移動状態特定手段と、該移動状態特定手段で特定した前記第１の状態及び前記第２の状態における前記撮像手段の位置及び姿勢、前記第１の状態で撮像した画像における所定対象の特徴点の平面座標、並びに前記第２の状態で撮像した画像における前記所定対象の特徴点に対応する平面座標に基づき、前記所定対象の特徴点の３次元座標を推定する３次元座標推定手段と、該３次元座標推定手段が推定した前記所定対象の特徴点の３次元座標に基づき特定の視界を作成する特定視界作成手段と、該特定視界作成手段が作成した特定の視界を画像に表示する表示手段とを備えたものとしてもよい。
【００２４】
【発明の実施の形態】
以下、本発明の移動体周辺監視装置の実施形態について図面を参照して説明する。図１は本発明の一実施形態の全体構成を示すもので、例えば図５に示す車両１に搭載され、駐車案内装置に供される。図１において、本実施形態の移動体周辺監視装置は、移動体（図５の車両１）に搭載し、移動体周辺に設定する所定の監視領域の一部を構成する特定平面ＦＳに対し所定の光パターンＬＰを投影する光パターン投影手段ＬＴと、移動体に搭載し監視領域を撮像して画像情報を出力する少なくとも一つの撮像手段ＣＤと、この撮像手段ＣＤが撮像した画像の中から、光パターン投影手段ＬＴが特定平面ＦＳ上に投影した所定の光パターンＬＰ内の少なくとも一部を抽出して追跡するパターン追跡手段ＰＴと、このパターン追跡手段ＰＴの追跡結果に基づき撮像手段ＣＤの相対的な位置及び姿勢を特定する移動状態特定手段ＭＢを備えている。
【００２５】
パターン追跡手段ＰＴは、図１に一点鎖線内に示すように、撮像手段ＣＤが撮像した画像の中から、光パターン投影手段ＬＴが特定平面ＦＳ上に投影した所定の光パターンＬＰ内の少なくとも四つの特徴点を抽出する特徴点抽出手段ＰＤと、移動体が第１の状態から第２の状態に移動したときに特徴点抽出手段ＰＤが抽出した前記特徴点を追跡する特徴点追跡手段ＰＦを具備したもので、移動状態特定手段ＭＢは、特徴点追跡手段ＰＦの追跡結果に基づき、第１の状態で撮像した画像の前記特徴点の平面座標及び第２の状態で撮像した画像の前記特徴点の平面座標に応じて、第１の状態及び第２の状態における撮像手段ＣＤひいては移動体の相対的な位置及び姿勢を特定するように構成されている。
【００２６】
そして、図１に破線で示すように、移動状態特定手段ＭＢで特定した第１の状態及び第２の状態における撮像手段ＣＤの位置及び姿勢、第１の状態で撮像した画像における所定対象の特徴点の平面座標、並びに第２の状態で撮像した画像における所定対象の特徴点に対応する平面座標に基づき、所定対象の特徴点の３次元座標を推定する３次元座標推定手段ＲＣが設けられている。更に、この３次元座標推定手段ＲＣが推定した所定対象の特徴点の３次元座標に基づき特定の視界を作成する特定視界作成手段ＳＶと、この特定視界作成手段ＳＶが作成した特定の視界を画像に表示する表示手段ＶＤが設けられており、この表示手段ＶＤによって、移動体の周辺を監視することができる。尚、表示手段ＶＤとしては、移動体に搭載するモニタ（図示せず）がある。また、特定視界作成手段ＳＶに基づき表示手段ＶＤが作成する画像は、予め設定された一つ以上の視界における画像であり、その拡大、縮小、回転、視点移動等の変換処理を行った画像を含む。
【００２７】
上記の移動体が車両である場合には、移動体周辺監視装置は図５及び図６に示す駐車案内装置に供することができる。図５は本実施形態の駐車案内装置を搭載した車両１の全体構成を示すもので、車両１周辺に設定する所定の監視領域の一部を構成する特定平面（図１のＦＳ）に対し所定の光パターン（図１のＬＰ）を投影する光パターン投影手段（図１のＬＴ）として、リヤ・コンビネーションランプユニット（以下コンビネーションランプという）２０が用いられる。そして、車両１周辺の監視領域を撮像し画像を取得するカメラ２（例えばｃｃｄカメラで上記の撮像手段ＣＤを構成する）が車両１の後部に装着されており、画像情報が電子制御装置１０に供給される。この電子制御装置１０は、図５に示すように車両１に搭載された筐体中に収容され、図１に記載の特徴点抽出手段ＰＤ、特徴点追跡手段ＰＦ、移動状態特定手段ＭＢ、３次元座標推定手段ＲＣ、特定視界作成手段ＳＶ及び表示手段ＶＤが構成されている。
【００２８】
上記のコンビネーションランプ２０は、そのレンズカットによって、図２に破線で示すような格子状の光パターンＬＰが走行路面上に投影される。この光パターンＬＰは主として赤色の可視光であるが、赤外光の割合が多く、パターン認識に好適である。これに対応し、本実施形態のカメラ２は可視光と赤外光の両者の感度を有することが望ましい。あるいは、コンビネーションランプ２０に代えて、ヘッドランプユニット（図示せず）等の灯火装置に投影用光源（図示せず）を組み込み、この投影用光源による光パターンを利用することができる。更に、既設の灯火装置とは独立して投影用光源（図示せず）を設け、この投影用光源によって走行路面上に投影される光パターンを利用することもできる。
【００２９】
図５に示すように、更に、ステアリングホイール３の操舵角を検出する操舵角センサ４が車両１に装着されると共に、シフトレバー５がリバース位置とされたときにオンとなるシフトレバースイッチ６が装着され、更に、各車輪の回転速度を検出する車輪速度センサ（代表して７で示す）が装着されており、これらの検出舵角及びオン信号が電子制御装置１０に供給される。そして、運転者から視認可能な車両１内の所定位置にモニタ８が配置されており、電子制御装置１０の出力信号に応じてモニタ８に駐車案内用の視覚情報が表示される。即ち、本実施形態においては、モニタ８が図１の表示手段ＶＤとして機能している。更に、車両１内の所定位置にスピーカ９が配置されており、電子制御装置１０の出力信号に応じてスピーカ９から駐車案内用の音声情報が出力される。
【００３０】
図６は、上記の駐車案内装置のシステム構成図であり、電子制御装置１０の構成を示すものである。上記の操舵角センサ４、シフトレバースイッチ６及び車輪速度センサ７は、図示しない入力インターフェースを介して電子制御装置１０内のＣＰＵ１１に接続されており、図示しない出力インターフェースを介して、モニタ８が電子制御装置１０内のスーパーインポーズ部１４に接続され、スピーカ９が音声出力部１５を介してＣＰＵ１１に接続されている。カメラ２は、図示しない入力インターフェースを介して、画像認識部１２、グラフィックス描画部１３及びスーパーインポーズ部１４に接続されている。上記のＣＰＵ１１、画像認識部１２、グラフィックス描画部１３、スーパーインポーズ部１４及び音声出力部１５は相互にバスバーによって接続されている。尚、メモリ等は示していないが、各部の情報は所定期間蓄積され、適宜読み出し可能に構成されている。
【００３１】
本実施形態においては、上記の光パターンＬＰを含み車両１周辺の監視対象等を撮像したカメラ２の画像信号が、画像認識部１２を介してＣＰＵ１１に供給されると共に、車輪速度センサ７等の出力信号がＣＰＵ１１に供給され、ＣＰＵ１１にて演算処理される。このＣＰＵ１１の演算結果に基づき、グラフィックス描画部１３において、カメラ２の画像から抽出される同期信号に応じて３次元のグラフィックスが描画される。また、ＣＰＵ１１においては、駐車案内のための演算処理が行われ、その演算結果に基づくグラフィックスがグラフィックス描画部１３にて描画される。そして、グラフィックス描画部１３にて描画されるグラフィックスとカメラ２の画像とが適宜スーパーインポーズ部１４にて重畳され、モニタ８の画面に描画される。尚、この場合、カメラ画像は表示されず、グラフィック画像のみが表示されるように設定することも可能である。
【００３２】
而して、図１の特徴点抽出手段ＰＤ、特徴点追跡手段ＰＦ、移動状態特定手段ＭＢ、３次元座標推定手段ＲＣ及び特定視界作成手段ＳＶはＣＰＵ１１、画像認識部１２及びグラフィックス描画部１３によって構成されている。特徴点抽出手段ＰＤにおいては、撮像手段ＣＤたるカメラ２で撮像された画像から、特定平面ＦＳ上の光パターンＬＰ（図１及び図２に破線で示す）内の少なくとも四つの特徴点が抽出される。本実施形態では、例えば、特定平面ＦＳ上の光パターンＬＰ内に含まれる輪郭線上の点が抽出される。そして、移動体（車両１）が第１の状態から第２の状態に移動したときに特徴点抽出手段ＰＤで抽出された上記四つの特徴点が、特徴点追跡手段ＰＦによって追跡される。この特徴点追跡手段ＰＦの追跡結果に基づき、移動状態特定手段ＭＢにおいて、第１の状態で撮像した画像における上記四つの特徴点の平面座標及び第２の状態で撮像した画像における上記四つの特徴点の平面座標に応じて、第１の状態及び第２の状態における撮像手段ＣＤ（カメラ２）ひいては移動体（車両１）の相対的な位置及び姿勢が特定される。
【００３３】
即ち、図２に示すように、移動体（車両１）が移動中に、コンビネーションランプ２０によって特定平面ＦＳ（例えば路面）上に対し所定の光パターンＬＰが投影される。そして、図２の左側に示すように、カメラ２によって第１の状態（第１のカメラ位置）で撮像された画像Ｖ１内に含まれる特定平面ＦＳ上の光パターンＬＰ内で４点（以上）の特徴点が抽出される。次に、図２の右側に示すように、上記と同一の特定平面ＦＳ上の光パターンＬＰ内の４点の特徴点が視界に入る第２の状態（第２のカメラ位置）で撮像された画像Ｖ２内において、第１のカメラ位置で抽出された４点の特徴点が追跡される。これらの特徴点の抽出と追跡に関しては、図４を参照して後述する方法と同様に行われる。而して、第１及び第２の状態（二つの位置）における画像から、同一の特定平面ＦＳ上の光パターンＬＰ内の４点（以上）の特徴点を抽出することができ、しかも各特徴点が両画像間で対応が取れているので、ホモグラフィーＨを演算することができる。
【００３４】
このホモグラフィーＨからは、第１及び第２の状態（二つのカメラ位置）間の相対的なカメラの外部パラメータを導くことができる。即ち、一旦ホモグラフィー行列（透視投影行列）が得られれば、その結果からカメラの内部パラメータ（スケールファクタ、光軸位置座標等）と外部パラメータ（カメラの配置）を計算することができることは前掲の非特許文献６で解説されているので、ここでは省略する。この手順に従えば、第１の状態（第１のカメラ位置）と第２の状態（第２のカメラ位置）の相対的な位置及び姿勢（即ち、Ｘ，Ｙ，Ｚ座標上の各軸に対する並進成分ｔｘ，ｔｙ，ｔｚと回転成分ｒ１，ｒ２，ｒ３）を計算することができる。これらの並進成分及び回転成分は、後述のベクトルＴ及びＲ（図３に示す）を構成する。
【００３５】
而して、特徴点追跡手段ＰＦにて、図５の車両１が第１の状態から第２の状態に移動したときに撮像手段ＣＤたるカメラ２によって第１の状態で撮像された画像（図２のＶ１）から前記特徴点の座標が検出されると共に、第２の状態で撮像された画像（図２のＶ２）での前記特徴点に対応する座標が検出される。この場合において、抽出すべき特徴点は、特定平面ＦＳ上に投影された光パターンＬＰ内に多数存在する。従って、光パターンＬＰ内の少なくとも四つの特徴点を用い、それらを二つの視点で抽出すればよい。
【００３６】
これにより、移動状態特定手段ＭＢにおいて、画像情報のみを用いてカメラ２ひいては車両１の移動状態を特定することができる。特に、コンビネーションランプ２０によって特定平面ＦＳ上に投影された光パターンＬＰ内の少なくとも四つの特徴点を利用することによって、車両１の移動前後での相対的な位置及び姿勢を正確に検出することができる。そして、車両１の移動に伴い順次別の目印に移行することとすれば、初期位置に対して誤差が累積していくことはない。このように、本実施形態によれば、単独で車両の位置及び姿勢を検出することができるが、もちろん、車輪速度センサ７や操舵角センサ４、ヨーレイトセンサ（図示せず）等のセンサと併用することとしてもよい。
【００３７】
而して、本実施形態によれば、光パターン投影手段（コンビネーションランプ２０）によって特定平面ＦＳ（路面又は壁面）上に対し所定の光パターンＬＰが投影され、移動体（車両１）に搭載された撮像手段（カメラ２）によって得られた画像情報を用いて、特定平面ＦＳ上の光パターンＬＰ内に含まれる輪郭線上の点、複数の輪郭線が交差する点（十字交点）、もしくは大きく曲がる変曲点（コーナー）の何れかを用い、且つ、移動毎に新しい特徴点を抽出して目標位置に到達するので、移動体（車両１）の位置及び姿勢の計測誤差を少なくすることができる。
【００３８】
即ち、車両１に搭載のコンビネーションランプ２０によって投影された光パターンＬＰを、カメラ２によって撮像することとしているので、移動状態特定手段ＭＢにおいて、路面に対するカメラ２の外部パラメータを全て推定することができる。この結果、車両１が走行中に、路面の凹凸や段差を乗り越えたときに車両１の姿勢が変化した場合、あるいは乗員数や積載量の変化によって車両１の姿勢が変化した場合にも、適応的にカメラ２の外部パラメータを校正することができる。従って、３次元座標推定手段ＲＣ等と共に、信頼性の高い周辺監視装置を構成することができる。この３次元座標推定手段ＲＣにおいては、移動状態特定手段ＭＢで特定された第１及び第２の状態における撮像手段ＣＤ（カメラ２）ひいては移動体（車両１）の位置及び姿勢、第１の状態で撮像された画像における所定対象（他の車両等の画像の一部、又は画像全体）の特徴点の平面座標、並びに第２の状態で撮像された画像における所定対象の特徴点に対応する平面座標に基づき、所定対象の特徴点の３次元座標が推定される。
【００３９】
３次元座標推定手段ＲＣにおける３次元座標の推定、即ち３次元再構成は、例えば前述の非特許文献２に記載のように、上記第１及び第２の状態の画像を用いて三角測量の原理に基づいて行われるものであり、図３及び図４を参照して以下に説明する。図３において、少なくとも２つのカメラ位置（左右のｏ及びｏ'で示す）から空間中の同一の点Ｍを観測しているとき、各カメラの画像で観測された点ｍ₁，ｍ₂とそれぞれのカメラの光学中心とを結んだ空気中の光線を定義でき、各光線の交点は空間中の点の位置Ｍを表す。ここで、対象視界（Scene）中の３次元の点Ｍは各画像間で同定する必要がある。また、本実施形態のようにカメラ２のみ（単眼カメラ）によって３次元の再構成を行う場合には、画像中から対象物体の特徴点（Point of Interest）の抽出とその追跡が必要である。即ち、カメラの内部パラメータ（スケールファクタ、光軸位置座標等）は予め測定することにより設定されるが、カメラの外部パラメータ（カメラの配置）は、前述のように、特徴点の抽出と追跡を基に演算されるホモグラフィーＨから導かれる。そして、これらを前提に３次元再構成が行われる。尚、カメラの内部パラメータもホモグラフィーＨから導くようにしてもよい。
【００４０】
次に、対象視界の動きからの３次元構造の復元に関し、時系列画像のそれぞれがどの位置及び姿勢で撮影されたものであるかは、デッドレコニングシステムにより対応が取られて校正されていれば、前述のステレオ対応を用いることができる。但し、３次元視界の中の同一の点が含まれるように撮影された時系列画像において、その画像列の中から同一の点を見つけることが必要である。即ち、これらの同一の点の対応を取ることによって、対象視界の３次元構造を復元することができる。
【００４１】
対象視界からの特徴点の抽出に関しては、画像の中から、対象視界の特徴となるべきいくつかの特徴点を抽出することになる。この場合の特徴点とは、画像のシーケンスに沿って追跡可能な適切な特徴を有する対象であり、上記の所定対象である。このような特徴点の抽出には下記［数１］式に示す行列Ａによる自動相関（Auto-correlation）を用いることができる。行列Ａは画像中の点ｐ(x,y)を含むウインドウ領域Ｗ中に含まれる画像信号の導関数を平均化するように機能するので、これを用いて最適な特徴点を得る。即ち、追跡に適する特徴点は、一般にはコーナーや直線の交点（図示せず）であり、この行列はこれらの特徴点を抽出するものである。尚、下記［数１］式において、Ｉ(x,y)は画像の関数、Ｉxはｘ軸に沿った画像の勾配、Ｉyはｙ軸に沿った画像の勾配、(x_k,y_k) は(x,y)を中心としたウインドウＷ中の画像点を夫々表わす。
【００４２】
【数１】

【００４３】
次に、特徴点の追跡（Feature Tracking）に関し、u＝[x,y]^Tが画像点の座標であるような画像列Ｉ(u,t)を考慮する。サンプル周期が十分短ければ微小時刻後の画像ではその輝度値は変化しないと仮定し、下記［数２］式が成り立つ。
【００４４】
【数２】

【００４５】
上記の［数２］式において、δ(u)はモーションフィールド（３次元の動きベクトルの画像への投影）を表す。サンプル周期が十分に短いので、下記［数３］式に示すように、モーションは並進（translation）のみで近似することができる。尚、［数３］式のｄは変移ベクトル（displacement vector）を表わす。
【００４６】
【数３】

【００４７】
選択された各特徴点に対し、また、画像列での追跡された各点のペアに対して、その変移ベクトルｄを計算するため、トラッカー（Tracker）が用いられる。実際には、ノイズの影響により画像のモーションモデルは完全には表せないので［数２］式は十分に機能しない。従って、下記［数４］式に示すように、差の自乗和(Sum of Square Difference)によって変移ベクトルｄを計算する。そして、この［数４］式の残渣を最小にする変移ベクトルｄを求め、その方向に特徴点を追跡する。尚、下記［数４］式のＷは、点ｕを中心とする特徴点抽出のためのウインドウを表わす。
【００４８】
【数４】

【００４９】
図４はトラッキングの一例を説明するもので、トラック（Tracks）とは画像列中で同一の対象を示す点の集合であり、各トラックの画像点は夫々の３次元点の投影像である。トラックは画像列の中で見失うことは許されないが、追跡する点が画像から外れたり、隠れたり、ノイズ等によって抽出できない場合には、トラッキングを停止せざるを得ない。ここでは、最初の画面において抽出された特徴点の集合から開始し、前の画像（図４のImg Ａ）での特徴点は次の画像（図４のImg Ｂ）で追跡される。画像（Img Ａ）のうちの一部のトラックが停止すると、画像（Img Ｂ）において新しい特徴点を探すことになり、この新しい各特徴点はその後のトラッキングの起点となる。
【００５０】
そして、３次元構造の再構成に関しては、３次元空間中の位置Ｍの点の距離がＺであるとき、その画像上の投影位置をｍとすると下記［数５］式の関係が成り立つ。下記の［数５］式において、距離ｆは焦点距離と呼ばれるが、ここではｆ＝１なる単位長さを用いて簡単化している。このようにモデル化すると、２台のカメラで空間中の（物体の頂点等の）特徴点を撮影する幾何学的な関係は図３に示すようになる。
【００５１】
【数５】

【００５２】
図３において、第２のカメラ座標系（図３の右側）は第１のカメラ座標系（図３の左側）をその原点の周りにＲだけ回転してからＴだけ平行移動して得られる位置にある。尚、このベクトルＴは基線ベクトルと呼ばれる。パラメータ｛Ｔ，Ｒ｝は２つのカメラ視点の相対的な位置姿勢関係を表しているので、１台のカメラを移動しながら撮影することとした場合は、デッドレコニングシステムにより計測することができる。
【００５３】
図３に示すように、ある３次元空間中の位置Ｍのそれぞれの画像面上の投影像がｍ₁，ｍ₂にあるとする。この状態で、第２のカメラ座標系の原点０'から見た特徴点の方向は第２のカメラ座標系に関してベクトルｍ₂で表されるが、第２のカメラ座標系は第１のカメラ座標系に対してＲだけ回転しているから、第１のカメラ座標系に関してはＲｍ₂である。従って、図３より下記［数６］式の関係が成立する。
【００５４】
【数６】

【００５５】
上記［数６］式から、距離Ｚ，Ｚ'が下記［数７］式のように計算される。
【００５６】
【数７】

【００５７】
このようにして、２つの視点から画像面上の投影像の座標ｍ₁，ｍ₂から３次元空間上の距離Ｚ，Ｚ'を復元することができる。そして、前述のトラックは対象視界中の特徴点群であるから、全てのトラックに関して上記［数７］式を計算すれば、３次元的な構造を復元することができる。
【００５８】
而して、前述のように特定される第１の状態及び第２の状態における車両１（カメラ２）の位置及び姿勢と、夫々の状態でカメラ２によって撮像された画像の特徴点の抽出と追跡によって特定される画像間の対応点に基づき、上記のように処理され、撮像領域内に存在する物体が特定され、撮像領域の３次元座標が推定される。
【００５９】
そして、前述の特定視界作成手段ＳＶによって、周辺状況を含む３次元環境内における車両１の任意の位置で、任意の方向に向けてカメラが装着されたと仮定した場合の特定の視界が作成され、この仮想カメラから見た視界の画像が、表示手段ＶＤたるモニタ８に表示される。この場合において、例えば図７に示すように、車両１の後方に仮想カメラ２ａが配置されているとしたときに、移動後の車両１から見た３次元環境マップ（図７の破線の格子）において、どの領域が仮想カメラ２ａの視界に入っているかが分かる。換言すれば、図７にＳａで示す領域が、仮想カメラ２ａの視界に入り、モニタ８にバーチャル画像として表示し得る領域（以下、表示視界という）である。尚、図７乃至図１１において、破線の格子で示した３次元環境マップの中には、カメラ２で撮像された他の車両、障害物、建物等も存在するが、これらは図示を省略している。
【００６０】
図８は、車両１の左前方コーナーに仮想カメラ２ｂが配置された場合、及び左後方コーナーに仮想カメラ２ｃが配置された場合に、移動後の車両１からみた３次元環境マップにおいて、これらの仮想カメラ２ｂ及び２ｃの視界に入る領域（表示視界Ｓｂ及びＳｃ）を示す。同様に、図９は、仮想カメラ２ｄが車両１の側方に配置された場合に、移動後の車両１からみた３次元環境マップにおいて、仮想カメラ２ｄの視界に入る領域（表示視界Ｓｄ）を示す。
【００６１】
図７乃至図９の例では、実際のカメラ２の画角と類似する視界が設定されているが、図１０の仮想カメラ２ｅのように、１８０度の表示視界Ｓｅを設定することもできる。これにより、実際のカメラ２では視界に入らない車両１の両コーナー部分をも視界に入れたバーチャル画像を表示するように構成することができる。更に、図１１に示すように車両１の上空部分に仮想カメラ２ｆを配置して３６０度の表示視界Ｓｆを設定し、この視界のバーチャル画像を表示するように構成することもできる。
【００６２】
上記のように形成されるバーチャル画像は、車両１の移動、即ち仮想カメラ２ａ等の移動に伴う視界の移動に応じて変化することになるが、本実施形態においては、移動中に撮像した障害物を含むバーチャル画像を、状況に応じて適宜（移動後も）、表示し得るように構成されている。例えば、図１２において、車両１が２点鎖線で示す位置から矢印方向に後退し実線で示す位置まで移動したとすると、２点鎖線で示す位置で撮像された２点鎖線の領域Ｓｐには障害物ＯＢが存在するので、この位置では障害物ＯＢを含む画像が形成される。しかし、移動後の車両１の位置で撮像される領域Ｓｎには障害物ＯＢが存在しなくなっているので、モニタ８（図５）の表示画像には障害物ＯＢが含まれなくなる。この状態から、車両１が更に図１２の矢印方向に後退すると、車両１の左後方のコーナーから左前方にかけて障害物ＯＢが接近することになるが、モニタ８の表示画像からは外れており、見えなくなっている。
【００６３】
上記のような状況において、図１０に示すような車両１の上方に仮想カメラ２ｅが配置されたときのバーチャル画像をモニタ８に表示すると、図１３及び図１４に示すように、車両１の両コーナー部分も含む画像となる。尚、図１３は、図１２に２点鎖線で示す位置の車両１の後部及び障害物ＯＢが表示されたもので、図１４は、図１２に実線で示す位置（移動後）の車両１の後部及び障害物ＯＢが表示されたものである。図１４に示すように、障害物ＯＢの車両１に対する相対的位置は、２点鎖線で示す位置（移動前の図１０の位置）から図１４の矢印方向に相対移動し、実線で示す位置となっていることが分かる。これにより、障害物ＯＢはカメラ２による実際の視界から外れているにも拘わらず、運転者はこれをモニタ８で確認することができる。
【００６４】
以上のように、上記の実施形態においては、カメラ２の搭載位置及び方向に依存することなく、カメラ２によって撮像された車両１周辺の環境情報に基づき、所望のバーチャル画像をモニタ８に適宜表示することができる。尚、カメラ２としては、図５に示したバックカメラのほか、サイドカメラ、フロントカメラ等を利用することができ、特定のカメラに限定されるものではない。
【００６５】
【発明の効果】
本発明は上述のように構成されているので以下に記載の効果を奏する。即ち、請求項１に記載の移動体周辺監視装置においては、移動体周辺に設定する所定の監視領域の一部を構成する特定平面に対し、光パターン投影手段によって所定の光パターンを投影し、撮像手段によって監視領域を撮像した画像の中から、光パターン内の少なくとも一部を、パターン追跡手段により抽出して追跡し、この追跡結果に基づき、移動状態特定手段にて撮像手段の相対的な位置及び姿勢を特定するように構成されているので、監視領域に投影した光パターンを撮像した画像に基づき、撮像手段ひいては移動体の位置及び姿勢を適切に特定することができる。
【００６６】
特に、請求項２に記載のように構成すれば、光パターン内の少なくとも四つの特徴点を特徴点抽出手段によって抽出し、移動体が第１の状態から第２の状態に移動したときに抽出した前記特徴点を、特徴点追跡手段によって追跡し、この追跡結果に基づき、移動状態特定手段にて、第１及び第２の状態で撮像した画像の前記特徴点の平面座標に応じて、第１及び第２の状態における撮像手段ひいては移動体の相対的な位置及び姿勢を適切に特定することができる。
【００６７】
そして、請求項３に記載のように構成すれば、監視領域に投影した光パターンを撮像した画像に基づき、撮像手段ひいては移動体の位置及び姿勢を適切に特定することができると共に、移動体における所望の位置での視界を確保し、画像認識によって移動体の位置及び姿勢を検出することができるので、例えば単一の撮像手段によっても、誤差累積がなく高精度に移動体位置を追跡することができ、移動体における所望の位置での視界を確保し、適切に画像表示を行なうことができる。
【図面の簡単な説明】
【図１】本発明の移動体周辺監視装置の一実施形態の構成を示すブロック図である。
【図２】本発明の一実施形態において、移動体が移動中に、特定平面上に対し所定の光パターンを投影し、１台のカメラで第１及び第２のカメラ位置で撮像した画像から、特定平面上の光パターン内の４点以上の特徴点を抽出しホモグラフィーＨを演算するときの幾何学的な関係を示す説明図である。
【図３】本発明の一実施形態における三次元再構成に関し、２台のカメラで空間中の物体の特徴点を撮影するときの幾何学的な関係を示す説明図である。
【図４】本発明の一実施形態における三次元再構成に関し、トラッキング状況の一例を示す説明図である。
【図５】本発明の移動体周辺監視装置を駐車案内装置に適用したときの一実施形態として、駐車案内装置を搭載した車両を透視して示す斜視図である。
【図６】本発明の一実施形態に係る駐車案内装置の構成を示すブロック図である。
【図７】本発明の一実施形態において、車両の後方に仮想カメラが配置されたときの表示視界を示す平面図である。
【図８】本発明の一実施形態において、車両の左前方コーナー及び左後方コーナーに仮想カメラが配置されたときの表示視界を示す平面図である。
【図９】本発明の一実施形態において、車両の側方に仮想カメラが配置されたときの表示視界を示す平面図である。
【図１０】本発明の一実施形態において、車両の後方上部に仮想カメラが配置されたときの１８０度の表示視界を示す平面図である。
【図１１】本発明の一実施形態において、車両の上空部分に仮想カメラが配置されたときの３６０度の表示視界を示す平面図である。
【図１２】本発明の一実施形態において、車両が後退したときの表示視界の変化の一例を示す平面図である。
【図１３】図１２に２点鎖線で示す位置の車両の後部及び障害物が表示された画像の一例を示す平面図である。
【図１４】図１２に実線で示す位置の車両の後部及び障害物が表示された画像の一例を示す平面図である。
【符号の説明】
ＬＴ光パターン投影手段，ＣＤ撮像手段，ＰＴパターン追跡手段，
ＰＤ特徴点抽出手段，ＰＦ特徴点追跡手段，ＭＢ移動状態特定手段，
ＲＣ３次元座標推定手段，ＳＶ特定視界作成手段，ＶＤ表示手段，
１車両，２カメラ，３ステアリングホイール，４操舵角センサ，
５シフトレバー，６シフトレバースイッチ，７車輪速度センサ，
８モニタ，９スピーカ，１０電子制御装置，
２０コンビネーションランプ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a moving object periphery monitoring device that monitors the periphery of a moving object, and more particularly to a moving object periphery monitoring device that monitors an environment around the moving object and displays an image of a field of view at a desired position on the moving object. For example, the present invention relates to a moving object periphery monitoring device suitable for a device for monitoring the periphery of a vehicle and appropriately displaying an obstacle or the like during parking.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there has been known a technology to which an environment recognition technology based on image processing is applied in order to monitor a periphery of a moving body, for example, a vehicle. For example, various devices that mount a camera behind a vehicle and display the image on a monitor installed in a driver's seat have been proposed and are already on the market. For example, Patent Document 1 (Japanese Patent Laid-Open No. 5-201298) discloses a pattern light projector that projects a bright spot pattern on a monitoring area by incidence of a laser beam, an image capturing apparatus that captures the bright spot pattern, There has been proposed a vehicle periphery monitoring device including a data processing unit that processes an obtained image to detect the presence of an obstacle, a groove, a person, or the like.
[0003]
Japanese Patent Application Laid-Open No. H4-71000 discloses a slit light projected on a road according to a traveling speed of a vehicle by an image pickup unit and extracted from a road image. There is disclosed a vehicle situation recognition device that detects an obstacle or the like in front of a vehicle by analyzing the shape of the vehicle or its change.
[0004]
On the other hand, in the field of image processing technology, a technology for restoring a three-dimensional shape from two cameras is known. For example, Non-Patent Document 1 below describes stereoscopic shape measurement using stereo. Non-Patent Document 1 presupposes that the imaging characteristics of two cameras (focal length of lens, image center, pixel size, etc.), position and orientation of two cameras, and correspondence between two images , The position of the corresponding point in the space can be determined.
[0005]
Similarly, Non-Patent Document 2 below discloses a technique for calculating the three-dimensional shape of an object based on the principle of triangulation from the correspondence between images taken by two cameras. Describes the principle as one of the most basic means for extracting three-dimensional information from an image.
[0006]
Also, Non-Patent Document 3 below describes that a three-dimensional shape of a target can be restored from a moving image based on the same principle as that of the above-described stereo. In particular, it is described that when a sequence of images is given as a moving image, the movement of the target can be tracked, and the corresponding points can be more easily extracted than when only two images are given.
[0007]
Further, Non-Patent Document 4 below discloses a method entitled “Method of Combining Gyro and Odometry Data in Mobile Robot”, which simply and effectively combines measurement by a gyro and measurement by a wheel encoder (odometry). .
[0008]
Also, according to the descriptions of “1.3 Projective transformations” (p. 11-) and “7.3 Action of a projective camera on quadrics” (P. 190-) in Non-Patent Document 5 below, the same object is reflected. It is described that the transformation between the two viewpoint images can be represented by the homography H.
[0009]
In addition, "3.4 Calibrating Cameras (p.51 to p.58)" of Non-Patent Document 6 below describes that internal parameters and external parameters of a camera can be calculated from a homography matrix (perspective projection matrix). Have been.
[0010]
[Patent Document 1]
JP-A-5-201298
[Patent Document 2]
JP-A-4-71000
[Non-patent document 1]
Koichiro Deguchi in "Information Processing" Vol.37 No.7 (July 1996) "2. Unraveling the Stereoscopic Device"
[Non-patent document 2]
"Three-dimensional reconstruction by stereo vision" described on pages 161 and 162 in "Mathematics of spatial data" (Kenichi Kanaya, first edition, first edition, March 10, 1995, published by Asakura Shoten)
[Non-Patent Document 3]
Koichiro Deguchi in "Information Processing" Vol.37 No.8 (August 1996) "3.
[Non-patent document 4]
J. Borenstein and L. Feng, `` Gyrodometery: A New Method for Combining Data from Gyros Odometry in Mobile Robot '', Preceeding of the IEEE International Conference on Robotics and Automation, Minneapolis, Apr. 22-28, 1996, pp. 423-428
[Non-Patent Document 5]
"Multiple View Geometry in Computer Vision" by Richard Hartley and Andrew Zisserman, 2000 Cambridge University Press (ISBN: 0521623049)
[Non-Patent Document 6]
Olivier Faugeras, "Three-Dimensional Computer Vision: A Geometric Viewpoint", 1993 MIT Press
[0011]
[Problems to be solved by the invention]
In the device described in Patent Document 1 described above, an obstacle is detected by projecting a bright spot pattern by a laser beam on a road surface and photographing the bright spot pattern by a camera arranged at another position. In this patent document 1, the change in the apparent obstacle size caused by the sinking of the vehicle is corrected by measuring the amount of protrusion at the four corner positions of the bright spot pattern in a predetermined loading state, and a false alarm is generated. Not to occur. However, according to this, it is possible to cope with the "change in height of the imaging device from the road surface", but when a roll angle or a pitch angle occurs in the vehicle, it cannot be corrected correctly, and a problem remains.
[0012]
Further, in the device described in Patent Document 2 described above, a slit light projecting means for projecting slit light and an image pickup means are provided in front of the vehicle, and by detecting a change in the shape of the projected slit light, obstacles and bad conditions are detected. Roads, preceding vehicles, etc. are to be detected. However, this document does not disclose at all how to reduce the error when the attitude change occurs in the vehicle itself, and the measurement error of the size and distance of the object with respect to the attitude change of the own vehicle is not disclosed. I can't deal with it.
[0013]
As a result, none of the devices of

Patent Documents

1 and 2 is sufficient to reduce the error in response to the change in the vehicle attitude. Therefore, when recognizing a traveling road surface or an obstacle by a camera mounted on a moving body, it is assumed that the mounting position (height) of the camera and the direction of the optical axis are assumed to be constant, and even if it changes, only the tilt angle is used. Since such limiting conditions are set, it is difficult to recognize with high accuracy.
[0014]
By the way, if the image processing technology described in Non-Patent Document 6 described above is used, it is possible to configure so that the three-dimensional shape of the obstacle can be restored even by, for example, a single eye (one camera). However, in the monocular motion stereo, the position and orientation of the camera change with movement and are not constant. Therefore, it is necessary to detect the relative position and orientation of the camera before and after the movement by some method. In this regard, for example, Non-Patent Document 4 discloses the use of a yaw rate sensor (gyro) and a wheel speed sensor (encoder). However, since the yaw rate sensor has a zero-point drift, the error is reduced with time. It is stated that the accumulation increases. Further, since a relatively large error occurs only with the wheel speed sensor, it is said that it is difficult to detect the position and orientation of the vehicle. For this reason, Non-Patent Literature 4 states that by calculating the difference component between the two, the error is practically suppressed to an error-free level.
[0015]
On the other hand, according to the description of Non-Patent Document 5, conversion between images of two viewpoints for the same object can be represented by a homography H. To obtain a homography for the conversion, at least four points are required. May be included in the same plane. In other words, if at least four points are included in the specific plane, the position (relative positional relationship) of one camera with respect to the position of one camera can be calculated, and the other image is calculated from one image. You can also say that you can. According to Non-Patent Document 6, it is possible to calculate internal parameters and external parameters of the camera from the homography matrix.
[0016]
Therefore, the present invention provides a moving object periphery monitoring device that monitors the periphery of a moving object by projecting a light pattern onto a monitoring area, and based on an image of the light pattern taken by the imaging means, based on an image taken by the imaging means and thus the position of the moving body. It is an object of the present invention to be configured so as to be able to specify the posture and posture.
[0017]
Further, the present invention projects a light pattern on the monitoring area, based on an image obtained by imaging the light pattern by the imaging means, specifies the position and orientation of the imaging means and eventually the moving body, and also by a single imaging means, It is an object of the present invention to provide a moving object periphery monitoring device capable of securing a field of view at a desired position on a moving object and appropriately displaying an image.
[0018]
[Means for Solving the Problems]
In order to solve the above-mentioned problem, the present invention provides a moving object periphery monitoring device mounted on a moving object and monitoring the periphery of the moving object, wherein the moving object is mounted on the moving object, A light pattern projecting means for projecting a predetermined light pattern onto a specific plane constituting a part of a predetermined monitoring region set in the vicinity; and at least outputting image information by capturing the monitoring region mounted on the moving body and outputting the image information One image pickup unit, and a pattern tracking unit that extracts and tracks at least a part of the predetermined light pattern projected on the specific plane by the light pattern projection unit from an image captured by the image pickup unit; Moving state specifying means for specifying the relative position and orientation of the imaging means based on the tracking result of the pattern tracking means.
[0019]
Note that the specific plane projected by the light pattern projecting means is a road surface or a wall surface. Further, as the light pattern, a light pattern generated by lens cutting of a lighting device such as a tail lamp unit or a rear combination lamp unit in an automobile and projected on a traveling road surface can be used. Alternatively, a light source for projection may be incorporated into a lighting device such as a head lamp unit or a tail lamp unit, and a light pattern by the light source for projection may be used. Further, a projection light source may be provided independently of the existing lighting device, and a light pattern projected on a traveling road surface by the projection light source may be used.
[0020]
Further, the light provided to the light pattern may be at least one of visible light and infrared light. As the imaging means, a camera having sensitivity to visible light, a camera having sensitivity to infrared light, or a camera having sensitivity to both visible light and infrared light may be used. The moving object includes a mobile robot in addition to the vehicle.
[0021]
Further, in the moving object periphery monitoring device according to the first aspect, as in the second aspect, the pattern tracking unit may be configured such that the light pattern projecting unit is configured to select the light pattern projection unit from the image captured by the imaging unit. A feature point extracting unit for extracting at least four feature points in the predetermined light pattern projected above, and the feature point extracting unit extracting when the moving body moves from the first state to the second state. Feature point tracking means for tracking the feature points, wherein the moving state identification means, based on the tracking result of the feature point tracking means, the plane coordinates of the feature points of the image captured in the first state and The apparatus is configured to specify a relative position and orientation of the imaging unit in the first state and the second state according to planar coordinates of the feature point of the image captured in the second state, Moving state special The position and orientation of the imaging unit in the first state and the second state specified by the unit, the plane coordinates of a feature point of a predetermined target in the image captured in the first state, and the second state. The image processing apparatus may further include a three-dimensional coordinate estimating unit that estimates three-dimensional coordinates of the feature point of the predetermined target based on plane coordinates corresponding to the feature point of the predetermined target in the captured image.
[0022]
The four feature points in the light pattern include a point on the contour of the light pattern on the road surface, a point where a plurality of contours intersect (cross intersection), or a corner where a large turn is made (inflection point).
[0023]
According to a third aspect of the present invention, in the moving object peripheral monitoring device mounted on a moving object and monitoring the periphery of the moving object, a predetermined monitoring area mounted on the moving object and set around the moving object is provided. Light pattern projecting means for projecting a predetermined light pattern onto a specific plane constituting a part thereof, at least one image sensing means mounted on the moving body to image the monitoring area and output image information, and the image sensing means A feature point extracting means for extracting at least four feature points in the predetermined light pattern projected on the specific plane by the light pattern projecting means from an image captured by the method, and a tracking result of the feature point tracking means Based on the plane coordinates of the feature point of the image captured in the first state and the plane coordinates of the feature point of the image captured in the second state. In the state Moving state specifying means for specifying a relative position and posture of the image pickup means; and a position and posture of the image pickup means in the first state and the second state specified by the movement state specifying means; 3D of the feature point of the predetermined target based on the plane coordinates of the feature point of the predetermined target in the image captured in the second state and the plane coordinates corresponding to the feature point of the predetermined target in the image captured in the second state. Three-dimensional coordinate estimating means for estimating coordinates, specific view creating means for creating a specific view based on the three-dimensional coordinates of the feature point of the predetermined object estimated by the three-dimensional coordinate estimating means, A display unit for displaying the created specific field of view on an image may be provided.
[0024]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment of a moving object periphery monitoring device of the present invention will be described with reference to the drawings. FIG. 1 shows the entire configuration of an embodiment of the present invention, which is mounted on, for example, a vehicle 1 shown in FIG. In FIG. 1, the moving object periphery monitoring device of the present embodiment is mounted on a moving object (the vehicle 1 in FIG. 5), and is mounted on a moving object (the vehicle 1 in FIG. 5). Light pattern projecting means LT for projecting the light pattern LP, at least one image sensing means CD mounted on a moving body to image a monitoring area and output image information, and an image captured by the image sensing means CD. The pattern tracking means PT for extracting and tracking at least a part of the predetermined light pattern LP projected on the specific plane FS by the light pattern projection means LT, and the relative position of the imaging means CD based on the tracking result of the pattern tracking means PT. Moving state specifying means MB for specifying a general position and posture.
[0025]
As shown by the dashed line in FIG. 1, the pattern tracking means PT includes at least four light spots within a predetermined light pattern LP projected on the specific plane FS by the light pattern projection means LT from among the images taken by the imaging means CD. Feature point extracting means PD for extracting two feature points, and feature point tracking means PF for tracking the feature points extracted by the feature point extracting means PD when the moving object moves from the first state to the second state. The moving state identification unit MB includes, based on the tracking result of the feature point tracking unit PF, the plane coordinates of the feature point of the image captured in the first state and the feature of the image captured in the second state. The relative position and posture of the image pickup means CD and thus the moving body in the first state and the second state are specified in accordance with the plane coordinates of the point.
[0026]
Then, as indicated by a broken line in FIG. 1, the position and orientation of the imaging unit CD in the first state and the second state specified by the moving state specifying unit MB, and the characteristics of the predetermined target in the image captured in the first state A three-dimensional coordinate estimating means for estimating three-dimensional coordinates of the feature point of the predetermined target based on the plane coordinates of the point and the plane coordinates corresponding to the feature point of the predetermined target in the image captured in the second state; I have. Further, a specific view creating means SV for creating a specific view based on the three-dimensional coordinates of the feature point of the predetermined target estimated by the three-dimensional coordinate estimating means RC, and a specific view created by the specific view creating means SV as an image. Is provided, and the periphery of the moving object can be monitored by the display means VD. As the display means VD, there is a monitor (not shown) mounted on a moving body. Further, the image created by the display means VD based on the specific view creation means SV is an image in one or more preset views, and an image on which conversion processing such as enlargement, reduction, rotation, and viewpoint movement has been performed. Including.
[0027]
When the moving object is a vehicle, the moving object periphery monitoring device can be provided to the parking guide device shown in FIGS. FIG. 5 shows the entire configuration of the vehicle 1 on which the parking guide device of the present embodiment is mounted, and a predetermined plane (FS in FIG. 1) constituting a part of a predetermined monitoring area set around the vehicle 1. As a light pattern projecting means (LT in FIG. 1) for projecting the light pattern (LP in FIG. 1), a rear combination lamp unit (hereinafter, referred to as a combination lamp) 20 is used. A camera 2 that captures an image of a monitoring area around the vehicle 1 and obtains an image (for example, the above-described imaging unit CD is configured by a ccd camera) is mounted on a rear portion of the vehicle 1. Supplied. The electronic control device 10 is housed in a housing mounted on the vehicle 1 as shown in FIG. 5, and includes the feature point extracting means PD, the feature point tracking means PF, the moving state specifying means MB, A dimensional coordinate estimating unit RC, a specific view creating unit SV, and a display unit VD are configured.
[0028]
The combination lamp 20 projects a lattice-shaped light pattern LP as shown by a broken line in FIG. This light pattern LP is mainly red visible light, but has a large ratio of infrared light, and is suitable for pattern recognition. In response to this, it is desirable that the camera 2 of the present embodiment has both the visible light and the infrared light sensitivities. Alternatively, instead of the combination lamp 20, a light source for projection (not shown) can be incorporated in a lighting device such as a head lamp unit (not shown), and a light pattern by the light source for projection can be used. Further, a projection light source (not shown) may be provided independently of the existing lighting device, and a light pattern projected on a traveling road surface by the projection light source may be used.
[0029]
As shown in FIG. 5, a steering angle sensor 4 for detecting the steering angle of the steering wheel 3 is mounted on the vehicle 1, and a shift lever switch 6 that is turned on when the shift lever 5 is set to the reverse position is provided. A wheel speed sensor (represented by 7) for detecting the rotation speed of each wheel is mounted, and the detected steering angle and ON signal are supplied to the electronic control unit 10. A monitor 8 is arranged at a predetermined position in the vehicle 1 that can be visually recognized by a driver, and visual information for parking guidance is displayed on the monitor 8 according to an output signal of the electronic control device 10. That is, in the present embodiment, the monitor 8 functions as the display unit VD in FIG. Further, a speaker 9 is arranged at a predetermined position in the vehicle 1, and voice information for parking guidance is output from the speaker 9 according to an output signal of the electronic control device 10.
[0030]
FIG. 6 is a system configuration diagram of the above-described parking guide device, and shows a configuration of the electronic control device 10. The steering angle sensor 4, shift lever switch 6, and wheel speed sensor 7 are connected to a CPU 11 in an electronic control unit 10 via an input interface (not shown), and the monitor 8 is connected to an electronic device via an output interface (not shown). The speaker 9 is connected to the CPU 11 via the audio output unit 15 and connected to the superimpose unit 14 in the control device 10. The camera 2 is connected to an image recognition unit 12, a graphics drawing unit 13, and a superimposition unit 14 via an input interface (not shown). The CPU 11, the image recognition unit 12, the graphics drawing unit 13, the superimpose unit 14, and the audio output unit 15 are connected to each other by a bus bar. Although a memory and the like are not shown, information of each unit is stored for a predetermined period and is configured to be readable as appropriate.
[0031]
In the present embodiment, an image signal of the camera 2 including the light pattern LP and capturing an object to be monitored around the vehicle 1 is supplied to the CPU 11 via the image recognizing unit 12 and the wheel speed sensor 7 and the like. The output signal is supplied to the CPU 11, and the CPU 11 performs an arithmetic process. Based on the calculation result of the CPU 11, the graphics drawing unit 13 draws three-dimensional graphics according to a synchronization signal extracted from the image of the camera 2. In the CPU 11, a calculation process for parking guidance is performed, and graphics based on the calculation result are drawn by the graphics drawing unit 13. Then, the graphics drawn by the graphics drawing unit 13 and the image of the camera 2 are appropriately superimposed by the superimposing unit 14 and drawn on the screen of the monitor 8. In this case, it is possible to set so that only the graphic image is displayed without displaying the camera image.
[0032]
Thus, the feature point extracting means PD, the feature point tracking means PF, the moving state specifying means MB, the three-dimensional coordinate estimating means RC, and the specific view creating means SV shown in FIG. 1 are the CPU 11, the image recognizing unit 12, and the graphics drawing unit 13. It is constituted by. In the feature point extracting means PD, at least four feature points in the light pattern LP (shown by broken lines in FIGS. 1 and 2) on the specific plane FS are extracted from the image taken by the camera 2 serving as the imaging means CD. You. In the present embodiment, for example, points on the contour line included in the light pattern LP on the specific plane FS are extracted. Then, when the moving body (vehicle 1) moves from the first state to the second state, the four feature points extracted by the feature point extracting means PD are tracked by the feature point tracking means PF. Based on the tracking result of the feature point tracking means PF, the moving state identification means MB sets the plane coordinates of the four feature points in the image captured in the first state and the four features in the image captured in the second state. In accordance with the plane coordinates of the point, the relative position and orientation of the imaging means CD (camera 2) and thus the moving body (vehicle 1) in the first state and the second state are specified.
[0033]
That is, as shown in FIG. 2, while the moving body (vehicle 1) is moving, the predetermined light pattern LP is projected on the specific plane FS (for example, the road surface) by the combination lamp 20. Then, as shown on the left side of FIG. 2, four points (or more) in the light pattern LP on the specific plane FS included in the image V1 captured in the first state (first camera position) by the camera 2 Are extracted. Next, as shown on the right side of FIG. 2, four feature points in the light pattern LP on the same specific plane FS as described above were imaged in the second state (second camera position) within the field of view. In the image V2, four feature points extracted at the first camera position are tracked. The extraction and tracking of these feature points are performed in the same manner as described below with reference to FIG. Thus, four (or more) characteristic points in the light pattern LP on the same specific plane FS can be extracted from the images in the first and second states (two positions). Since the points correspond between the two images, the homography H can be calculated.
[0034]
From this homography H, the relative camera extrinsic parameters between the first and second states (two camera positions) can be derived. That is, once the homography matrix (perspective projection matrix) is obtained, the internal parameters (scale factor, optical axis position coordinates, etc.) and external parameters (camera arrangement) of the camera can be calculated from the result. Since it is described in Non-Patent Document 6, it is omitted here. According to this procedure, the relative position and orientation between the first state (first camera position) and the second state (second camera position) (that is, with respect to each axis on the X, Y, and Z coordinates) The translation components tx, ty, tz and the rotation components r1, r2, r3) can be calculated. These translation components and rotation components constitute vectors T and R (shown in FIG. 3) described later.
[0035]
Thus, when the vehicle 1 in FIG. 5 moves from the first state to the second state by the feature point tracking means PF, an image captured in the first state by the camera 2 serving as the imaging means CD (FIG. 2, the coordinates of the feature point are detected from V1), and the coordinates corresponding to the feature point in the image captured in the second state (V2 in FIG. 2) are detected. In this case, many feature points to be extracted exist in the light pattern LP projected on the specific plane FS. Therefore, it is sufficient to use at least four feature points in the light pattern LP and extract them from two viewpoints.
[0036]
Thus, the moving state specifying unit MB can specify the moving state of the camera 2 and thus the vehicle 1 using only the image information. In particular, by using at least four feature points in the light pattern LP projected on the specific plane FS by the combination lamp 20, it is possible to accurately detect the relative position and posture before and after the movement of the vehicle 1. it can. Then, if the vehicle is moved to another landmark sequentially with the movement of the vehicle 1, errors do not accumulate with respect to the initial position. As described above, according to the present embodiment, the position and orientation of the vehicle can be independently detected, but, of course, combined with sensors such as the wheel speed sensor 7, the steering angle sensor 4, and the yaw rate sensor (not shown). You may do it.
[0037]
Thus, according to the present embodiment, the predetermined light pattern LP is projected on the specific plane FS (road surface or wall surface) by the light pattern projecting means (combination lamp 20) and mounted on the moving body (vehicle 1). Using the image information obtained by the imaging means (camera 2), a point on a contour included in the light pattern LP on the specific plane FS, a point where a plurality of contours intersect (cross intersection), or a large turn Since any one of the inflection points (corners) is used and a new feature point is extracted for each movement to reach the target position, measurement errors of the position and orientation of the moving body (vehicle 1) can be reduced. .
[0038]
That is, since the light pattern LP projected by the combination lamp 20 mounted on the vehicle 1 is to be imaged by the camera 2, all the external parameters of the camera 2 with respect to the road surface can be estimated by the moving state specifying means MB. . As a result, even when the attitude of the vehicle 1 changes when the vehicle 1 gets over a bump or bump on a road surface while traveling, or when the attitude of the vehicle 1 changes due to a change in the number of occupants or the load capacity, the vehicle 1 is adapted. The external parameters of the camera 2 can be calibrated in an appropriate manner. Therefore, a highly reliable peripheral monitoring device can be configured together with the three-dimensional coordinate estimating means RC and the like. In the three-dimensional coordinate estimating means RC, the position and orientation of the imaging means CD (camera 2) and thus the moving body (vehicle 1) in the first and second states specified by the moving state specifying means MB, the first state Plane coordinates of feature points of a predetermined target (part of an image of another vehicle or the like, or the whole image) in the image captured in step 2, and a plane corresponding to the feature point of the predetermined target in the image captured in the second state Based on the coordinates, the three-dimensional coordinates of the feature point of the predetermined target are estimated.
[0039]
The estimation of the three-dimensional coordinates in the three-dimensional coordinate estimating means RC, that is, the three-dimensional reconstruction is performed by using the principle of triangulation using the images in the first and second states as described in Non-Patent Document 2, for example. This will be described below with reference to FIGS. 3 and 4. In FIG. 3, when observing the same point M in space from at least two camera positions (indicated by o and o 'on the left and right), a point m observed in the image of each camera ₁ , M _Two And the ray in the air connecting the optical center of each camera to each other, and the intersection of each ray represents the position M of the point in space. Here, the three-dimensional point M in the target view (Scene) needs to be identified between the images. Further, when three-dimensional reconstruction is performed using only the camera 2 (monocular camera) as in the present embodiment, it is necessary to extract a feature point (Point of Interest) of the target object from the image and track the feature point. That is, the internal parameters of the camera (scale factor, optical axis position coordinates, etc.) are set by measuring in advance, but the external parameters of the camera (camera arrangement) are, as described above, extraction and tracking of feature points. It is derived from the homography H calculated on the basis. Then, three-dimensional reconstruction is performed on the premise of these. Incidentally, the internal parameters of the camera may be derived from the homography H.
[0040]
Next, regarding the restoration of the three-dimensional structure from the movement of the target field of view, the position and orientation of each of the time-series images are determined by the dead reckoning system if the correspondence is taken and calibrated. , The stereo correspondence described above can be used. However, in a time-series image captured so as to include the same point in the three-dimensional field of view, it is necessary to find the same point in the image sequence. That is, by taking correspondence between these same points, the three-dimensional structure of the target field of view can be restored.
[0041]
Regarding the extraction of the feature points from the target field of view, some feature points to be the features of the target field of view are extracted from the image. The feature point in this case is an object having an appropriate feature that can be tracked along a sequence of images, and is the above-described predetermined object. For the extraction of such feature points, an auto-correlation using a matrix A shown in the following [Equation 1] can be used. Since the matrix A functions to average the derivative of the image signal contained in the window area W including the point p (x, y) in the image, an optimal feature point is obtained using this. That is, the characteristic points suitable for tracking are generally intersections of corners or straight lines (not shown), and this matrix extracts these characteristic points. In the following [Equation 1], I (x, y) is a function of the image, Ix is the gradient of the image along the x-axis, Iy is the gradient of the image along the y-axis, (x _k, y _k ) Represents image points in the window W centered on (x, y).
[0042]
(Equation 1)

[0043]
Next, regarding feature tracking, u = [x, y] ^T Consider an image sequence I (u, t) such that is the coordinates of an image point. If the sample period is sufficiently short, it is assumed that the luminance value does not change in the image after a minute time, and the following [Equation 2] holds.
[0044]
(Equation 2)

[0045]
In the above [Equation 2], δ (u) represents a motion field (projection of a three-dimensional motion vector onto an image). Since the sample period is sufficiently short, the motion can be approximated only by translation as shown in the following [Equation 3]. Note that d in Equation 3 represents a displacement vector.
[0046]
[Equation 3]

[0047]
For each selected feature point and for each pair of tracked points in the image sequence, a Tracker is used to calculate its displacement vector d. Actually, since the motion model of the image cannot be completely represented due to the influence of noise, Expression 2 does not function sufficiently. Therefore, as shown in the following [Equation 4], the displacement vector d is calculated by the sum of square differences. Then, a displacement vector d that minimizes the residue of Expression 4 is obtained, and the feature point is tracked in that direction. W in the following [Equation 4] represents a window for feature point extraction centering on point u.
[0048]
(Equation 4)

[0049]
FIG. 4 illustrates an example of tracking. Tracks are a set of points indicating the same target in an image sequence, and the image points of each track are projected images of respective three-dimensional points. The track is not allowed to be lost in the image sequence, but if the point to be tracked deviates from the image, is hidden, or cannot be extracted due to noise or the like, the tracking must be stopped. Here, starting from the set of feature points extracted in the first screen, the feature points in the previous image (Img A in FIG. 4) are tracked in the next image (Img B in FIG. 4). When some tracks of the image (Img A) stop, a new feature point is searched for in the image (Img B), and each new feature point becomes a starting point of the subsequent tracking.
[0050]
Regarding the reconstruction of the three-dimensional structure, when the distance of the point at the position M in the three-dimensional space is Z, and the projection position on the image is m, the following equation (5) holds. In the following [Equation 5], the distance f is referred to as a focal length, but is simplified here by using a unit length of f = 1. When modeled in this way, the geometric relationship in which two cameras capture feature points (such as vertices of an object) in space is as shown in FIG.
[0051]
(Equation 5)

[0052]
In FIG. 3, a second camera coordinate system (right side in FIG. 3) is a position obtained by rotating the first camera coordinate system (left side in FIG. 3) around its origin by R and then translating by T. It is in. This vector T is called a base line vector. Since the parameters {T, R} represent the relative position and orientation relationship between the two camera viewpoints, if one camera is to be photographed while moving, it can be measured by a dead recording system.
[0053]
As shown in FIG. 3, the projected image on each image plane at a position M in a certain three-dimensional space is m ₁ , M _Two Let's say In this state, the direction of the feature point viewed from the origin 0 'of the second camera coordinate system is the vector m with respect to the second camera coordinate system. _Two Since the second camera coordinate system is rotated by R with respect to the first camera coordinate system, Rm is obtained for the first camera coordinate system. _Two It is. Therefore, the relationship of the following [Equation 6] is established from FIG.
[0054]
(Equation 6)

[0055]
From the above [Equation 6], the distances Z and Z 'are calculated as the following [Equation 7].
[0056]
(Equation 7)

[0057]
Thus, the coordinates m of the projected image on the image plane from two viewpoints ₁ , M _Two , The distances Z and Z ′ in the three-dimensional space can be restored. Since the aforementioned track is a feature point group in the target field of view, a three-dimensional structure can be restored by calculating the above [Equation 7] for all the tracks.
[0058]
Thus, the position and orientation of the vehicle 1 (camera 2) in the first state and the second state specified as described above, and extraction of feature points of an image captured by the camera 2 in each state. Based on the corresponding points between the images specified by the tracking, the processing is performed as described above, the object existing in the imaging region is specified, and the three-dimensional coordinates of the imaging region are estimated.
[0059]
Then, the above-described specific view creating means SV creates a specific view assuming that the camera is mounted in an arbitrary direction at an arbitrary position of the vehicle 1 in the three-dimensional environment including the surrounding situation, An image of the field of view seen from the virtual camera is displayed on the monitor 8 as the display means VD. In this case, as shown in FIG. 7, for example, assuming that the virtual camera 2a is disposed behind the vehicle 1, a three-dimensional environment map viewed from the vehicle 1 after the movement (broken grid in FIG. 7) It can be understood which region is within the field of view of the virtual camera 2a. In other words, the area indicated by Sa in FIG. 7 is an area that enters the field of view of the virtual camera 2a and can be displayed as a virtual image on the monitor 8 (hereinafter, referred to as a display field of view). In FIGS. 7 to 11, other vehicles, obstacles, buildings, and the like captured by the camera 2 also exist in the three-dimensional environment map indicated by the broken-line grid, but these are not shown. ing.
[0060]
FIG. 8 shows a three-dimensional environment map viewed from the moved vehicle 1 when the virtual camera 2b is arranged at the left front corner of the vehicle 1 and when the virtual camera 2c is arranged at the left rear corner. The area (display field of view Sb and Sc) within the field of view of the virtual cameras 2b and 2c is shown. Similarly, FIG. 9 shows an area (display field of view Sd) in the field of view of the virtual camera 2d in the three-dimensional environment map viewed from the vehicle 1 after the movement when the virtual camera 2d is arranged beside the vehicle 1. Show.
[0061]
In the examples of FIGS. 7 to 9, a field of view similar to the actual angle of view of the camera 2 is set, but a display field Se of 180 degrees can be set as in the virtual camera 2 e of FIG. 10. Accordingly, it is possible to display a virtual image in which both corners of the vehicle 1 that are not in view with the actual camera 2 are also in view. Furthermore, as shown in FIG. 11, a virtual camera 2f may be arranged in the sky above the vehicle 1 to set a 360-degree display field of view Sf, and a virtual image of this field of view may be displayed.
[0062]
The virtual image formed as described above changes according to the movement of the vehicle 1, that is, the movement of the field of view accompanying the movement of the virtual camera 2a or the like. The virtual image including the object is configured to be displayed as appropriate (after movement) according to the situation. For example, in FIG. 12, when the vehicle 1 moves backward from the position indicated by the two-dot chain line to the position indicated by the solid line and moves to the position indicated by the solid line, the area Sp indicated by the two-dot chain line is obstructed. Since the object OB exists, an image including the obstacle OB is formed at this position. However, since the obstacle OB no longer exists in the region Sn captured at the position of the vehicle 1 after the movement, the display image on the monitor 8 (FIG. 5) does not include the obstacle OB. If the vehicle 1 further retreats in the direction of the arrow in FIG. 12 from this state, the obstacle OB approaches from the rear left corner of the vehicle 1 to the front left, but it is out of the display image of the monitor 8, It's disappearing.
[0063]
In the above situation, when a virtual image when the virtual camera 2e is arranged above the vehicle 1 as shown in FIG. 10 is displayed on the monitor 8, as shown in FIG. 13 and FIG. The image includes the corners. 13 shows the rear part of the vehicle 1 and the obstacle OB at the position indicated by the two-dot chain line in FIG. 12, and FIG. 14 shows the vehicle 1 at the position (after movement) indicated by the solid line in FIG. The rear part and the obstacle OB are displayed. As shown in FIG. 14, the relative position of the obstacle OB with respect to the vehicle 1 is relatively moved from the position shown by the two-dot chain line (the position in FIG. 10 before the movement) in the direction of the arrow in FIG. You can see that it is. Thus, the driver can confirm the obstacle OB on the monitor 8 even though the obstacle OB is out of the actual field of view of the camera 2.
[0064]
As described above, in the above embodiment, a desired virtual image is appropriately displayed on the monitor 8 based on environmental information around the vehicle 1 captured by the camera 2 without depending on the mounting position and direction of the camera 2. can do. In addition, as the camera 2, a side camera, a front camera, or the like can be used in addition to the back camera shown in FIG. 5, and the camera 2 is not limited to a specific camera.
[0065]
【The invention's effect】
Since the present invention is configured as described above, the following effects can be obtained. That is, in the moving object peripheral monitoring device according to claim 1, a predetermined light pattern is projected by a light pattern projecting unit onto a specific plane constituting a part of a predetermined monitoring area set around the moving object, At least a part of the light pattern is extracted and traced by the pattern tracking unit from the image of the monitoring area captured by the imaging unit, and based on the tracking result, the relative state of the imaging unit is determined by the moving state specifying unit. Since the configuration is such that the position and the posture are specified, the position and the posture of the imaging means, and eventually the moving body, can be appropriately specified based on the image obtained by capturing the light pattern projected on the monitoring area.
[0066]
In particular, according to the structure described in claim 2, at least four feature points in the light pattern are extracted by the feature point extracting means, and are extracted when the moving body moves from the first state to the second state. The feature points thus obtained are tracked by feature point tracking means, and based on the tracking results, the moving state specifying means sets a second one in accordance with the plane coordinates of the feature points of the images captured in the first and second states. The relative position and attitude of the imaging means and thus the moving body in the first and second states can be appropriately specified.
[0067]
According to the third aspect of the present invention, the position and orientation of the imaging unit and thus the moving body can be appropriately specified based on the image of the light pattern projected on the monitoring area, and the moving body can be identified. Since the field of view at a desired position can be secured and the position and orientation of the moving object can be detected by image recognition, the position of the moving object can be tracked with high accuracy without accumulation of errors, even with a single imaging unit, for example. As a result, it is possible to secure a field of view at a desired position on the moving body and appropriately perform image display.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an embodiment of a mobile object periphery monitoring device according to the present invention.
FIG. 2 shows an embodiment of the present invention, in which a predetermined light pattern is projected on a specific plane while a moving body is moving, and a single camera is used to capture images from first and second camera positions. FIG. 9 is an explanatory diagram showing a geometric relationship when four or more feature points in a light pattern on a specific plane are extracted and a homography H is calculated.
FIG. 3 is an explanatory diagram illustrating a geometric relationship when two cameras capture feature points of an object in space with respect to three-dimensional reconstruction in one embodiment of the present invention.
FIG. 4 is an explanatory diagram showing an example of a tracking situation regarding three-dimensional reconstruction in one embodiment of the present invention.
FIG. 5 is a perspective view showing a vehicle equipped with a parking guide device as one embodiment when the moving object periphery monitoring device of the present invention is applied to a parking guide device.
FIG. 6 is a block diagram illustrating a configuration of a parking guide device according to an embodiment of the present invention.
FIG. 7 is a plan view showing a display field of view when a virtual camera is arranged behind a vehicle in one embodiment of the present invention.
FIG. 8 is a plan view showing a display field of view when a virtual camera is arranged at the left front corner and the left rear corner of the vehicle in one embodiment of the present invention.
FIG. 9 is a plan view showing a display field of view when a virtual camera is arranged on a side of a vehicle in one embodiment of the present invention.
FIG. 10 is a plan view showing a 180-degree display field of view when a virtual camera is arranged at an upper rear portion of a vehicle in one embodiment of the present invention.
FIG. 11 is a plan view showing a 360-degree display field of view when a virtual camera is arranged above a vehicle in an embodiment of the present invention.
FIG. 12 is a plan view illustrating an example of a change in a display field of view when the vehicle moves backward in one embodiment of the present invention.
13 is a plan view showing an example of an image in which a rear portion of the vehicle and an obstacle at a position indicated by a two-dot chain line in FIG. 12 are displayed.
FIG. 14 is a plan view illustrating an example of an image in which a rear portion of the vehicle and an obstacle at a position indicated by a solid line in FIG. 12 are displayed.
[Explanation of symbols]
LT light pattern projection means, CD imaging means, PT pattern tracking means,
PD feature point extraction means, PF feature point tracking means, MB moving state identification means,
RC 3D coordinate estimation means, SV specific view creation means, VD display means,
1 vehicle, 2 camera, 3 steering wheel, 4 steering angle sensor,
5 shift lever, 6 shift lever switch, 7 wheel speed sensor,
8 monitors, 9 speakers, 10 electronic control units,
20 combination lamp

Claims

In a moving body periphery monitoring device mounted on a moving body and monitoring the periphery of the moving body, a predetermined plane mounted on the moving body and constituting a part of a predetermined monitoring area set around the moving body is a predetermined plane. A light pattern projecting unit for projecting a light pattern, at least one image pickup unit mounted on the moving body to image the monitoring area and output image information, and the light pattern is selected from images picked up by the image pickup unit. Pattern tracking means for extracting and tracking at least a part of the predetermined light pattern projected on the specific plane by the projection means, and the relative position and orientation of the imaging means based on the tracking result of the pattern tracking means And a moving state specifying means for specifying the moving state.

A feature point extracting unit configured to extract at least four feature points in the predetermined light pattern projected on the specific plane by the light pattern projecting unit from an image captured by the imaging unit; A feature point tracking unit that tracks a feature point extracted by the feature point extraction unit when the moving body moves from a first state to a second state; Based on the tracking result of the tracking unit, the first state is set according to the plane coordinates of the feature point of the image captured in the first state and the plane coordinates of the feature point of the image captured in the second state. And the relative position and posture of the imaging unit in the second state are specified, and the imaging unit in the first state and the second state specified by the moving state specification unit of The position and orientation, the plane coordinates of the feature point of the predetermined object in the image captured in the first state, and the plane coordinates corresponding to the feature point of the predetermined object in the image captured in the second state. 2. The moving object periphery monitoring device according to claim 1, further comprising: three-dimensional coordinate estimating means for estimating three-dimensional coordinates of a target feature point.

In a moving body periphery monitoring device mounted on a moving body and monitoring the periphery of the moving body, a predetermined plane mounted on the moving body and constituting a part of a predetermined monitoring area set around the moving body is a predetermined plane. A light pattern projecting unit for projecting a light pattern, at least one image pickup unit mounted on the moving body to image the monitoring area and output image information, and the light pattern is selected from images picked up by the image pickup unit. A feature point extraction unit that extracts at least four feature points in the predetermined light pattern projected on the specific plane by the projection unit; and an image captured in the first state based on a tracking result of the feature point tracking unit. The relative position of the imaging unit in the first state and the second state according to the plane coordinates of the characteristic points of the image and the plane coordinates of the characteristic points of the image captured in the second state Appearance And a position and orientation of the imaging unit in the first state and the second state identified by the movement state identification unit, and a predetermined target in an image captured in the first state. Three-dimensional coordinate estimating means for estimating three-dimensional coordinates of the feature point of the predetermined target based on the plane coordinates of the feature point and the plane coordinates corresponding to the feature point of the predetermined target in the image captured in the second state; A specific view creating means for creating a specific view based on the three-dimensional coordinates of the feature point of the predetermined object estimated by the three-dimensional coordinate estimating means, and displaying the specific view created by the specific view creating means on an image. A moving object periphery monitoring device comprising a display means.