JP4803927B2

JP4803927B2 - Distance correction apparatus and distance correction method for monitoring system

Info

Publication number: JP4803927B2
Application number: JP2001277998A
Authority: JP
Inventors: 圭二塙
Original assignee: Fuji Jukogyo KK
Current assignee: Subaru Corp
Priority date: 2001-09-13
Filing date: 2001-09-13
Publication date: 2011-10-26
Anticipated expiration: 2021-09-13
Also published as: JP2003083742A

Description

【０００１】
【発明の属する技術分野】
本発明は、ステレオカメラの位置ずれに起因した誤差を含んだ距離情報を補正する、監視システム用の距離補正装置および距離補正方法に関する。
【０００２】
【従来の技術】
近年、ＣＣＤ等の固体撮像素子を内蔵した一対の車載カメラ（ステレオカメラ）を用いたステレオ式車外監視装置が注目されている。三次元計測技術の一つであるステレオ法では、一方の画像におけるある画素ブロックと相関を有する領域を他方の画像において特定する。そして、この画素ブロックの視差、すなわち、双方の画像（ステレオ画像）における画素ブロックの相対的なずれ量に基づき、三角測量の原理を用いて対象物までの距離を算出する。したがって、ステレオマッチングの精度を高めるためには、換言すると、信頼性の高い距離情報を得るためには、視差以外の位置的なずれがステレオ画像に存在しないことが望ましい。しかしながら、実際は、ステレオカメラの機械的な取付精度に起因した位置ずれ（例えば、水平方向や垂直方向への並進ずれ、或いは回転ずれ等）が存在する。この位置ずれのうち、特に、水平方向の並進ずれ（以下「水平ずれ」という）は、ステレオ画像における視差の誤差となって現れるため、それに基づき算出された距離は実測値と異なってしまう。
【０００３】
例えば、特開２００１−１６０１３７号公報には、ステレオカメラを用いた監視システムにおいて、ステレオカメラの水平ずれに起因した誤差を含む算出距離を、消失点視差ＤＰを用いて補正する手法が開示されている。この距離補正手法では、一方の撮像画像（基準画像）平面上に写し出された左右の車線の交点から消失点JV2Dを算出し、この消失点JV2Dに基づいて道路面の傾き角度ａを検出する。この傾き角度ａは、消失点JV2Dに基づいて、写真解析の手法を用いて算出される。また、ステレオ処理によって算出された距離画像（算出距離群の二次元的な配列）を用いて、三次元空間における道路面の傾き角度ａ’を検出する。そして、これらの傾き角度ａ，ａ’の差異を求め、両者が一致するように消失点視差ＤＰを補正する。
【０００４】
また、特開平６−３４１８３７号公報には、上述した水平ずれの影響の低減を図る車間距離計測装置が開示されている。この計測装置では、自車両前方を撮影することにより得られる一対の撮像画像のそれぞれについて、左右の車線の交点より算出される消失点と、先行車の像の中心軸（対称軸）とを求める。つぎに、一方の撮像画像上における消失点と中心線との視差を算出するとともに、他方の撮像画像上における消失点と中心線との視差とを算出する。そして、両視差を合計することによって、先行車までの距離を算出する。
【０００５】
【発明が解決しようとする課題】
本発明の目的は、ステレオカメラの位置ずれ、特に水平ずれに起因した誤差を含む視差を補正する、新規な距離補正手法を提供することである。
【０００６】
また、本発明の別の目的は、補正された視差を用いて対象物までの距離を算出することにより、距離計測の精度の向上を図ることである。
【０００７】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、一対の撮像画像を得るステレオ撮像手段と、ステレオ撮像手段により得られた一対の撮像画像に基づいて、ステレオマッチングにより視差を算出する視差算出手段と、視差算出手段により算出された視差と消失点視差とに基づいて、対象物までの距離を算出する距離算出手段と、一方の撮像画像平面において、距離方向に延在する互いに空間的に平行な複数の近似直線を算出し、この近似直線の交点から第１の消失点を算出するとともに、他方の撮像画像平面において、距離方向に延在する互いに空間的に平行な複数の近似直線を算出し、この近似直線の交点から第２の消失点を算出する消失点算出手段と、消失点算出手段により算出された第１の消失点と第２の消失点とのずれ量に基づいて、消失点視差を更新する補正手段とを有する監視システムの距離補正装置を提供する。
【０００８】
ここで、上記第１の発明において、撮像画像中に写し出された景色から、距離方向に延在する互いに平行な複数の基準対象物を検出するとともに、撮像画像平面における基準対象物の位置を特定する検出手段をさらに設けてもよい。この場合、消失点算出手段は、検出手段によって複数の基準対象物が検出されたならば、検出された基準対象物のそれぞれについて撮像画像平面における近似直線を算出することが好ましい。
【０００９】
上記基準対象物は、撮像画像に写し出された道路上の左右の車線であってもよく、撮像画像に写し出された壁と床との境界を示す左右の境界線であってもよい。また、撮像画像に写し出された線路の左右のレールを基準対象物として用いてもよい。
【００１０】
第２の発明は、同一の景色を同一の時刻に撮像した一対の撮像画像に基づいて、ステレオマッチングにより視差を算出するステップと、視差と消失点視差とに基づいて、対象物までの距離を算出するステップと、一方の撮像画像平面において、距離方向に延在する互いに空間的に平行な複数の近似直線を算出し、これらの近似直線の交点から第１の消失点を算出するステップと、他方の撮像画像平面において、距離方向に延在する互いに空間的に平行な複数の近似直線を算出し、これらの近似直線の交点から第２の消失点を算出するステップと、第１の消失点と第２の消失点とのずれ量に基づいて、消失点視差を更新するステップとを有する監視システムの距離補正方法を提供する。
【００１１】
【発明の実施の形態】
図１は、本実施形態に係るステレオ式車外監視装置の構成を示すブロック図である。ルームミラーの近傍に取付けられたステレオカメラは、通常の走行状態において、自車輛前方の道路や先行車等を含む景色（同一の景色）を同一の時刻で撮像する。このステレオカメラは、ＣＣＤやＣＭＯＳセンサ、或いは、赤外線カメラ等のイメージセンサを内蔵した一対のカメラ１，２で構成されており、各カメラ１，２は、車幅方向において所定のカメラ基線長で取付けられている。基準画像信号を出力するメインカメラ１は、車輌の進行方向に向かって右側に取付けられている。一方、比較画像信号を出力するサブカメラ２は、進行方向に向かって左側に取付けられている。カメラ対１，２は、互いに同期が取れており、同一タイミングで前方の景色を撮像し、２系統のアナログ画像信号を出力する。これらのアナログ画像信号は、後段の回路の入力レンジに合致するように、アナログインターフェース３において調整される。また、アナログインターフェース３中のゲインコントロールアンプ（ＧＣＡ）３ａにおいて画像の明るさバランスが調整される。
【００１２】
アナログインターフェース３において調整されたアナログ画像信号は、Ａ／Ｄコンバータ４により、所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像データに変換される。デジタル化された各データは、補正回路５においてアフィン変換が施される。各カメラ１，２の位置ずれ、そしてそれに起因したステレオ画像のずれは、画像にアフィン変換を施すことにより等価的に補正される。ここで、「アフィン変換」とは、画像を回転、移動または拡大・縮小する幾何学的な座標変換の総称をいう。補正回路５は、４つのアフィンパラメータＫ，θ，SHFTI，SHFTJを用いて、原画像に対して下式で示した線形変換を施す。
【数１】

【００１３】
この数式において、（ｉ，ｊ）は原画像の座標であり、（ｉ’，ｊ’）は変換後の座標である。また、アフィンパラメータSHFTI，SHFTJはそれぞれ、ｉ方向（画像の水平方向）への移動、ｊ方向（画像の垂直方向）への移動を表している。また、アフィンパラメータθ，Ｋはそれぞれθの回転、Ｋ倍の拡大（|Ｋ|＜1の場合は縮小）を示している。ステレオ画像にアフィン変換を施すことによって、ステレオマッチングの精度を確保する上で重要な「ステレオ画像における水平線の一致」が保証される。なお、補正回路５の詳細なハードウェア構成については、特開平１０−３０７３５２号公報に記述されているので、必要ならば参照されたい。
【００１４】
このような画像処理を経て、メインカメラ１の出力信号から、例えば、水平方向が５１２画素、垂直方向が２００画素の画像領域における各画素の輝度値が基準画像データとして得られる。また、サブカメラ２の出力信号から、基準画像と垂直方向長が同じで、基準画像よりも大きな水平方向長を有する比較画像データが得られる（一例として、水平方向が６４０画素、垂直方向が２００画素）。なお、二次元平面である画像のｉ−ｊ座標系は、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする（単位は画素）。基準画像データおよび比較画像データは、画像データメモリ７に格納される。
【００１５】
ステレオ演算回路６は、基準画像データと比較画像データとに基づいて視差ｄを算出する。視差ｄは、基準画像において、例えば４×４画素の画素ブロック毎に一つ算出されるため、一フレーム分の基準画像全体では最大で１２８×５０個算出され得る。基準画像中の一画素ブロック（以下「対象画素ブロック」という）の視差ｄiを算出する場合、まず、その対象画素ブロックの輝度特性と相関を有する領域を比較画像において特定する。周知のとおり、ステレオ画像に写し出された対象物までの距離は、ステレオ画像における視差、すなわち、基準画像と比較画像との間における画素ブロックの水平方向のずれ量として現れる。したがって、比較画像中の画素ブロック（以下「比較画素ブロック」という）を探索する場合、対象画素ブロックのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ演算回路６は、このエピポーラライン上を一画素ずつシフトしながら、比較画素ブロック毎に対象画素ブロックとの相関を評価する（ステレオマッチング）。
【００１６】
二つの画素ブロックの相関関係は、例えば、周知の相関評価手法であるシティブロック距離を用いて評価することができる。ステレオ演算回路６は、エピポーラライン上に存在する領域（対象画素ブロックと同一面積）毎にシティブロック距離を求め、基本的には、シティブロック距離の値が最小となる領域を対象画素ブロックの相関先として特定する。そして、対象画素ブロックと相関先に係る画素ブロックとの水平方向のずれ量が視差ｄiとなる。なお、シティブロック距離の算出に関するハードウェア構成および相関先の詳細な決定手法については、特開平５−１１４０９９号公報に開示されているので必要ならば参照されたい。ステレオ演算回路６によって算出された視差ｄは距離データメモリ８に格納される。
【００１７】
マイクロコンピュータ９（機能的に捉えた場合、その機能的ブロックである認識部１０）は、画像データメモリ７から基準画像データを読み出し、基準画像中に写し出された対象物（例えば先行車等）を周知の画像認識技術を用いて認識する。また、認識部１０は、距離データメモリ８から読み出した視差ｄを基本パラメータとして、下式に基づいて対象物までの距離Ｚを算出する。
【数２】

【００１８】
同式において、ＫＺＨは所定の定数（カメラ基線長／水平視野角）であり、ＤＰは消失点視差である。本実施形態において、消失点視差ＤＰは視差補正値（可変）であり、その値は後述する補正演算部１３において算出される。
【００１９】
また、認識部１０は「道路形状の認識」を行う。ここで、「道路形状の認識」とは、三次元的な道路形状を左右の車線（白線や追い越し禁止ライン等）に関する関数で表現し、この関数の各パラメータを、実際の道路形状（直線、カーブ曲率または起伏）に合致するような値に設定することである。なお、以下の説明では、車線の典型である白線を例に説明するが、追越し車線等を含めた各種車線に対しても適用可能である。以下、本実施形態における白線モデルの算出手法を図２を参照しつつ説明する。
【００２０】
まず、基準画像において白線エッジＰedge、すなわち、水平方向の輝度エッジ（隣接画素間の輝度の変化量が大きい箇所）の内、白線に起因して生じたものが特定される。白線エッジＰedgeは、走行路の左側と右側とについて別個に探索され、複数の左白線エッジＰedge1と複数の右白線エッジＰedge2とがそれぞれ特定される。具体的には、下記の３つの条件を具備する輝度エッジが白線エッジＰedgeとして認識される。
【００２１】
（白線エッジの３条件）
１．輝度変化量が所定値以上である輝度エッジで、かつ、輝度エッジの内側（画像中央側）の画素よりも外側（画像端側）の画素の方が輝度が大きいこと
すなわち走行路の左右の白線に起因した白線エッジＰedgeは、図２に示したように、白線の内側の境界（白線と舗装路との境界）における輝度エッジである。
【００２２】
２．条件１を満たす白線エッジＰ edge の候補に関して、それと同一水平線上の外側にさらに輝度エッジが存在し、かつ、この輝度エッジの外側の画素よりも内側の画素の方が輝度が大きいこと
白線は所定の幅を有しているため、白線エッジＰedgeの外側にも境界が存在する。この条件は、このような白線の特徴に鑑みて設けられたものである。
【００２３】
３．条件１を満たす白線エッジＰ edge を含む画素ブロックに関して、視差ｄが算出されていること
白線エッジＰedgeが存在する箇所に視差ｄが算出されていなければ、その白線エッジＰedgeは道路形状を認識するのに有効な情報とはならない。
【００２４】
認識部１０は、特定された白線エッジＰedge毎に、その座標（ｉ，ｊ）およびその視差ｄを下記の数式３および数式４に示した周知の座標変換式に代入することにより、その実空間上の座標（Ｘ，Ｙ，Ｚ）を算出する。
【数３】

【数４】

【００２５】
ここで、定数ＣＡＨはステレオカメラ１，２の取付高さ、定数ｒはステレオカメラ１，２の取り付け間隔、定数ＰＷＶ，ＰＷＨはそれぞれ１画素当たりの垂直視野角、水平視野角である。また、定数ＩＶ，ＪＶはそれぞれ予め設定された消失点Ｖのｉ座標値、ｊ座標値である。また、自車輌の位置を基準に設定された実空間の座標系は、ステレオカメラ１，２の中央真下の道路面を原点として、車幅方向をＸ軸、車高方向をＹ軸、車長方向（距離方向）をＺ軸とする。撮像画像に写し出された対象物（先行車、立体物、または道路等）に関して、画像平面上の座標（ｉ，ｊ）および視差ｄが特定されると、数式２〜数式４に示した変換式に基づいて、実空間上の座標（Ｘ，Ｙ，Ｚ）を一義的に特定することができる。
【００２６】
このようにして特定された各白線エッジＰedgeの実空間上の座標（Ｘ，Ｙ，Ｚ）に基づいて白線モデルが特定される。白線モデルは、認識範囲（例えばカメラ位置から車輌前方８４ｍ先まで）内の左右の白線エッジＰedge1，Ｐedge2のそれぞれ関して所定区間ごとに近似直線を求め、これを折れ線状に連結して表現したものである。一例として示す図３の白線モデルは、認識範囲を７つの区間に分けて、各区間における左右の白線エッジＰedge1，Ｐedge2毎に最小二乗法を用いて下式の直線で近似している。
【数５】
（左白線モデルＬ）
Ｘ＝ａ_L・Ｚ＋ｂ_L
Ｙ＝ｃ_L・Ｚ＋ｄ_L
（右白線モデルＲ）
Ｘ＝ａ_R・Ｚ＋ｂ_R
Ｙ＝ｃ_R・Ｚ＋ｄ_R
【００２７】
これらの白線モデルＬ，Ｒは、道路のカーブ曲率を表現したカーブ関数（Ｘ＝ｆ(Ｚ)）と、道路の勾配や起伏を表現した勾配関数（Ｙ＝ｆ(Ｚ)）とで構成されている。したがって、実空間における道路の三次元的な変化状態は、左右の白線モデルＬ，Ｒによって把握することができる。認識部１０により算出された各白線エッジＰedgeおよび左右の白線モデルＬ，Ｒは補正演算部１３に伝達される。
【００２８】
認識部１０は、先行車や道路形状に関する認識結果に基づいて、警報が必要と判定した場合、モニタやスピーカー等の警報装置１１を作動させてドライバーに注意を促す。また、必要に応じて制御装置１２を制御することにより、ＡＴ（自動変速機）のシフトダウンやエンジン出力の抑制、或いはブレーキの作動といった車輌制御が実行される。
【００２９】
つぎに、本実施形態にかかる視差補正の詳細を、図４および図５に示すフローチャートを参照しながら説明する。補正演算部１３は、このフローチャートに示した一連の手順に従って消失点視差ＤＰの値を更新し、その値を認識部１０にフィードバックする。なお、このフローチャートは、所定期間のサイクル毎に繰り返し実行される。
【００３０】
まず、ステップ１において、補正演算部１３は、認識部１０において算出された一対の撮像画像（基準画像および比較画像）のそれぞれに関して、白線エッジＰedgeと白線モデルＬ，Ｒとを読み込む。つぎに、ステップ２において、基準画像において左右の白線が存在するか否かが判断される。これは、認識部１０において左右の白線モデルＬ，Ｒが算出されているかを調べることにより判断することができる。また、左白線エッジＰedge1と右白線エッジＰedge2とが算出されているか否かを調べることにより判断してもよい。
【００３１】
ステップ２において否定判定された場合、すなわち左右の双方に白線が存在しない場合は、互いに平行な線分を抽出できないので消失点を算出することができない。したがって、制御の安定性を図るため、消失点視差ＤＰの現在値を変更することなくリターンへ進み、今回のサイクルにおける本フローチャートの実行を終了する。一方、ステップ２において肯定判定された場合は、ステップ３に進む。
【００３２】
ステップ３において、左右の白線の信頼性が評価される。具体的には以下の２つの点が評価される。そしてステップ４において白線として信頼できると判断された場合のみステップ５に進む。一方、白線として信頼できないと判断された場合は、消失点視差ＤＰの値を変更することなくリターンへ進む。
【００３３】
（白線の信頼性評価）
１．前回のサイクルにおける白線位置と今回のサイクルにおける白線位置とのずれが所定値よりも大きい場合は白線としての信頼性が低いと判断する。具体的には、従前のサイクルで検出された白線エッジＰedgeの位置と今回のサイクルで検出された白線エッジＰedgeの位置的が大きくずれている場合には白線としての信頼性が低いと判断する。
【００３４】
２．白線がどのくらい先まで見えているかを検証する。白線は少なくともある程度の長さを有している。したがって、フレーム間の白線の推移も考慮して、白線エッジＰedgeが奥行き方向において一定の長さ以上延在していない場合には白線としての信頼性が低いと判断する。
【００３５】
ステップ５において、白線モデルＲ，Ｌに基づいて、白線の直線性が評価される。正確な消失点を算出するためには、その算出ベースとなる左右の白線が直線的に延在している必要があり、カーブした白線からは正確な消失点を算出することができない。そこで、ステップ６において白線が直線であると判断された場合のみステップ７へ進み、それ以外の場合は、消失点視差ＤＰの値を変更することなくリターンへ進む。
【００３６】
白線の直線性は、例えば、認識部１０において算出された白線モデル（カーブ関数Ｘ＝ｆ(Ｚ)）に基づいて評価することができる。図３を参照しながら説明すると、まず、Ｚ−Ｘ平面における所定の距離レンジ（例えば０〜Ｚ2）におけるカーブ関数の傾きＡ１（左右の白線Ｌ，Ｒの傾きａ_L，ａ_Rの平均）を算出する。この傾きＡ１は、第１区間における傾きａ1と第２区間における傾きａ2との平均値を用いる。つぎに、その先の所定の距離レンジ（例えばＺ2〜Ｚ4）におけるカーブ関数の傾きＡ２を算出する。この傾きＡ２は、第３区間における傾きａ3と第４区間における傾きａ4との平均値を用いる。そして、傾きＡ１と傾きＡ２との差（絶対値）を求め、この差が所定のしきい値以下であれば白線が直線であると判断する。
【００３７】
図５に示すステップ７以降の手順は、消失点視差ＤＰの更新処理に関する。まず、ステップ７において、基準画像における所定の距離レンジ（例えば０〜Ｚ2）内に存在する複数の左白線エッジＰedge1の近似直線Ｌ１mが、最小自乗法により算出される（図６参照）。同様に、その距離レンジ内に存在する複数の右白線エッジＰedge2の近似直線Ｌ２mも最小自乗法により算出される。そして、ステップ８において、図６に示したように近似直線Ｌ１m，Ｌ２mの交点を特定することで、基準画像における消失点Ｖm（ＩＶm，ＪＶm）のｉ座標値ＩＶmが算出される。
【００３８】
続くステップ９において、基準画像の場合と同様の手法で、比較画像における所定の距離レンジ（例えば０〜Ｚ2）内に存在する複数の左白線エッジＰedge1の近似直線Ｌ１sが最小自乗法により算出される。それとともに、所定の距離レンジ内に存在する複数の右白線エッジＰedge2の近似直線Ｌ２sも最小自乗法により算出される。そして、ステップ１０において、近似直線Ｌ１s，Ｌ２sの交点を特定することで、比較画像における消失点Ｖs（ＩＶs，ＪＶs）のｉ座標値ＩＶsが算出される。
【００３９】
そして、ステップ１１において、これらの消失点ＩＶm，ＩＶsに基づいて、視差補正値、すなわち消失点視差ＤＰの更新処理が行われる。基本的には、基準画像側に関して算出された消失点Ｖmのｉ座標値ＩＶmと、比較画像側に関して算出された消失点Ｖsのｉ座標値ＩＶsとのずれ量が、消失点視差ＤＰになる。そして、算出された消失点視差ＤＰが認識部１０に対して出力され、今回のサイクルにおける本フローチャートの処理が終了する。なお、制御の安定性を考慮して、このステップ１１で算出された消失点視差ＤＰを１〜ｎ回の処理サイクルに亘って保存し、その平均値を距離補正に使用するパラメータ（消失点視差）として適用してもよい。
【００４０】
本実施形態によれば、消失点視差ＤＰに関するフィードバック調整を監視制御と並行して行うことで、ステレオカメラの水平ずれが生じた場合であっても常に精度の高い距離を算出することができる。したがって、経年変化や衝撃等によってステレオカメラの取付け位置が初期設定状態から変化した場合であっても、信頼性の高い距離情報を安定して得ることができる。そして、このような算出距離に基づいて監視制御を行うことにより、車外監視の信頼性の向上を図ることができる。特に、本実施形態によれば、一対の撮像画像を用いて消失点視差ＤＰを直接的に検出するため、消失点視差が大きくずれた場合でも、それを安定して検出することができる。
【００４１】
なお、上述した説明において、消失点視差の更新は、比例制御や統計制御等によって行ってもよい。例えば、消失点視差ＤＰの１０００サンプル分のヒストグラムを取り、その最頻値を用いてもよい。
【００４２】
（撮像画像を用いた各種監視システムへの適用）
上述した実施形態では、撮像画像に写し出された道路上の左右の車線（白線）を利用して、消失点視差ＤＰを算出する手法について説明した。これは、自動車の前方監視の場合、通常、距離方向（Ｚ方向）に向かって延在する車線が道路の左右に存在し、これらは空間的に互いに平行であることが多いという一般的な傾向に鑑みたものである。本明細書では、車線のように、距離方向に向かって互いに平行に延在し、消失点算出のベースとなる直線的な対象物を「基準対象物」という。そして、本発明は、「基準対象物」が写し出される撮像画像を用いた各種監視システムに広く適用することができる。
【００４３】
一例として、撮像画像に基づき周囲の状況を認識する屋内ロボットに適用する場合、壁と床との２つの境界線を「基準対象物」として用いることができる。図７は、屋内ロボットにおける撮像画像の一例である。なお、同図に示す直線Ｌ１（またはＬ２）は、基準画像側の直線Ｌ１m（またはＬ２m）と比較画像側の直線Ｌ１s（またはＬ２s）とを総称する意味で用いている。通常、左壁と床との境界線および右壁と床との境界線は、距離方向（奥行方向）に向かって互いに平行に延在していることが多い。したがって、左右の境界線を利用して、消失点補正や距離補正を行うことができる。以下、境界線を利用した消失点の調整手順の概略を説明する。
【００４４】
まず、基準画像に基づき複数の直線Ｌ１m，Ｌ２mを検出する。上述した（白線エッジの条件）と同様に、壁と床との境界部分の輝度エッジや視差に関する条件を予め設定しておく。そして、撮像画像において、この条件に合致する部分を境界線として認識し、その直線性を適宜評価した上で、それぞれの近似直線Ｌ１m，Ｌ２mを算出する。また、別の手法としては、周知のハフ変換等を用いて、撮像画像において直線を形成する点（境界部分のエッジ画素）を抽出することにより、「基準対象物」となる直線Ｌ１m，Ｌ２mを算出してもよい。
【００４５】
つぎに、距離画像に基づき直線Ｌ１m，Ｌ２mが空間的に概ね平行であることを判定する。上述したように、距離画像に基づいて、直線Ｌ１m，Ｌ２mを構成する各領域の実空間上の位置を特定することができる。したがって、２本の直線Ｌ１m，Ｌ２mが検出された場合、周知の手法を用いて、これらの直線Ｌ１m，Ｌ２mの空間的な平行性を判定する。
【００４６】
直線Ｌ１m，Ｌ２mが空間的に平行である場合、基準画像におけるこれらの交点より、消失点Ｖmを算出する。同様の手法で、比較画像における直線Ｌ１s，Ｌ２sを検出し、比較画像におけるこれらの交点より消失点Ｖsを算出する。そして、これらの消失点Ｖm，Ｖsのｉ座標値の差異から消失点視差ＤＰを算出する。
【００４７】
また、他の例として、鉄道車両の前方状況を監視するシステムに適用する場合、左右のレールを「基準対象物」として用いることができる。図８は、鉄道車両前方の撮像画像の一例である。左右のレールは、距離方向に向かって互いに平行に延在している。したがって、左右のレールを「基準対象物」として用いることで２本の平行な直線Ｌ１，Ｌ２を特定できるため、上述した手法で消失点視差ＤＰを調整することが可能となる。
【００４８】
【発明の効果】
このように本発明では、距離情報等の三次元情報を算出する際に用いられる消失点視差を、一対の撮像画像平面上における平行な近似直線の交点として算出された消失点のずれに基づいて補正している。したがって、ステレオカメラの位置ずれが生じた場合であっても、それに起因した誤差を相殺するような消失点視差値が自動的に算出されるため、精度の高い三次元情報（距離情報）を安定して得ることができる。
【図面の簡単な説明】
【図１】ステレオ式車外監視装置の構成を示すブロック図
【図２】基準画像の白線エッジの説明図
【図３】白線モデルを示す図
【図４】視差補正手順の一部を示すフローチャート
【図５】図４に続く手順を示したフローチャート
【図６】撮像画像平面上における消失点の算出説明図
【図７】屋内ロボットの撮像画像の一例を示す図
【図８】鉄道車両前方の撮像画像の一例を示す図
【符号の説明】
１メインカメラ
２サブカメラ
３アナログインターフェース
３ａゲインコントロールアンプ
４Ａ／Ｄコンバータ
５補正回路
６ステレオ演算回路
７画像データメモリ
８距離データメモリ
９マイクロコンピュータ
１０認識部
１１警報装置
１２制御装置
１３補正演算部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a distance correction apparatus and a distance correction method for a monitoring system that correct distance information including an error caused by a positional shift of a stereo camera.
[0002]
[Prior art]
In recent years, a stereo-type vehicle exterior monitoring device using a pair of in-vehicle cameras (stereo cameras) incorporating a solid-state image pickup device such as a CCD attracts attention. In the stereo method, which is one of three-dimensional measurement techniques, a region having a correlation with a certain pixel block in one image is specified in the other image. Then, based on the parallax of the pixel block, that is, the relative shift amount of the pixel block in both images (stereo images), the distance to the object is calculated using the principle of triangulation. Therefore, in order to increase the accuracy of stereo matching, in other words, in order to obtain highly reliable distance information, it is desirable that no positional deviation other than parallax exists in the stereo image. However, there is actually a positional shift (for example, a horizontal shift or a vertical shift or a rotational shift) due to the mechanical mounting accuracy of the stereo camera. Among these positional deviations, in particular, a horizontal translational deviation (hereinafter referred to as “horizontal deviation”) appears as a parallax error in a stereo image, and the distance calculated based on the deviation is different from the actually measured value.
[0003]
For example, Japanese Patent Laid-Open No. 2001-160137 discloses a technique for correcting a calculated distance including an error caused by a horizontal shift of a stereo camera using a vanishing point parallax DP in a monitoring system using a stereo camera. Yes. In this distance correction method, a vanishing point JV2D is calculated from the intersection of left and right lanes projected on one captured image (reference image) plane, and a road surface inclination angle a is detected based on the vanishing point JV2D. The inclination angle a is calculated using a photo analysis technique based on the vanishing point JV2D. Further, the inclination angle a ′ of the road surface in the three-dimensional space is detected using the distance image (two-dimensional array of calculated distance groups) calculated by the stereo processing. Then, the difference between these inclination angles a and a 'is obtained, and the vanishing point parallax DP is corrected so that they match.
[0004]
Japanese Patent Laid-Open No. 6-341837 discloses an inter-vehicle distance measuring device that reduces the influence of the horizontal shift described above. In this measuring device, for each of a pair of captured images obtained by photographing the front of the host vehicle, the vanishing point calculated from the intersection of the left and right lanes and the central axis (symmetric axis) of the image of the preceding vehicle are obtained. . Next, the parallax between the vanishing point and the center line on one captured image is calculated, and the parallax between the vanishing point and the center line on the other captured image is calculated. Then, the distance to the preceding vehicle is calculated by summing both parallaxes.
[0005]
[Problems to be solved by the invention]
An object of the present invention is to provide a novel distance correction method for correcting a parallax including an error caused by a positional shift of a stereo camera, particularly a horizontal shift.
[0006]
Another object of the present invention is to improve the accuracy of distance measurement by calculating the distance to the object using the corrected parallax.
[0007]
[Means for Solving the Problems]
In order to solve such a problem, the first invention is a stereo imaging unit that obtains a pair of captured images, and a parallax calculation unit that calculates parallax by stereo matching based on the pair of captured images obtained by the stereo imaging unit. And a distance calculation unit that calculates the distance to the object based on the parallax and the vanishing point parallax calculated by the parallax calculation unit, and one of the captured image planes that is spatially parallel to each other extending in the distance direction. A plurality of approximate straight lines, a first vanishing point is calculated from the intersection of the approximate straight lines, and a plurality of approximate straight lines extending in the distance direction and parallel to each other are calculated on the other captured image plane Then, based on the vanishing point calculating means for calculating the second vanishing point from the intersection of the approximate lines, and the amount of deviation between the first vanishing point and the second vanishing point calculated by the vanishing point calculating means, Cannonball parallaxupdateA distance correction apparatus for a monitoring system having correction means for performing the above-described operation is provided.
[0008]
Here, in the first aspect of the invention, a plurality of parallel reference objects extending in the distance direction are detected from the scenery projected in the captured image, and the position of the reference object on the captured image plane is specified. Detection means for performing this may be further provided. In this case, the vanishing point calculating means preferably calculates an approximate straight line in the captured image plane for each of the detected reference objects when a plurality of reference objects are detected by the detecting means.
[0009]
The reference object may be a left and right lane on the road that is projected in the captured image, or may be a left and right boundary that indicates the boundary between the wall and the floor that is projected in the captured image. Moreover, you may use the rail on either side of the track projected on the captured image as a reference | standard object.
[0010]
The second invention calculates the distance to the object based on the parallax and the vanishing point parallax based on the step of calculating the parallax by stereo matching based on a pair of captured images obtained by capturing the same scene at the same time. Calculating a plurality of spatially parallel approximate lines extending in the distance direction on one captured image plane, and calculating a first vanishing point from the intersection of these approximate lines; Calculating a plurality of spatially parallel approximate lines extending in the distance direction on the other captured image plane, calculating a second vanishing point from the intersection of these approximate lines, and a first vanishing point And vanishing point parallax based on the amount of deviation between the vanishing point and the second vanishing pointupdateA distance correction method for a monitoring system.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a block diagram showing a configuration of a stereo-type vehicle exterior monitoring apparatus according to the present embodiment. The stereo camera attached in the vicinity of the rearview mirror captures the scenery (same scenery) including the road ahead of the host vehicle, the preceding car, and the like at the same time in a normal traveling state. This stereo camera is composed of a pair of

cameras

1 and 2 incorporating an image sensor such as a CCD, CMOS sensor, or infrared camera. Each

camera

1 and 2 has a predetermined camera base length in the vehicle width direction. Installed. The main camera 1 that outputs a reference image signal is mounted on the right side in the traveling direction of the vehicle. On the other hand, the sub camera 2 that outputs the comparison image signal is mounted on the left side in the traveling direction. The

camera pairs

1 and 2 are synchronized with each other, capture a front scene at the same timing, and output two analog image signals. These analog image signals are adjusted in the analog interface 3 so as to match the input range of the subsequent circuit. Further, the brightness balance of the image is adjusted by a gain control amplifier (GCA) 3 a in the analog interface 3.
[0012]
The analog image signal adjusted in the analog interface 3 is converted by the A / D converter 4 into digital image data of a predetermined luminance gradation (for example, 256 gradation gray scale). Each digitized data is subjected to affine transformation in the correction circuit 5. The positional shift of each

camera

1 and 2 and the shift of the stereo image resulting therefrom are equivalently corrected by performing affine transformation on the image. Here, “affine transformation” is a general term for geometric coordinate transformation for rotating, moving, enlarging or reducing an image. The correction circuit 5 performs linear transformation represented by the following expression on the original image using the four affine parameters K, θ, SHFTI, and SHFTJ.
[Expression 1]

[0013]
In this equation, (i, j) is the coordinates of the original image, and (i ′, j ′) is the coordinates after conversion. The affine parameters SHFTI and SHFTJ represent movement in the i direction (horizontal direction of the image) and movement in the j direction (vertical direction of the image), respectively. The affine parameters θ and K indicate θ rotation and K-fold enlargement (reduction when | K | <1, respectively). By applying the affine transformation to the stereo image, “horizontal line matching in the stereo image”, which is important in ensuring the accuracy of stereo matching, is guaranteed. Note that the detailed hardware configuration of the correction circuit 5 is described in Japanese Patent Laid-Open No. 10-307352, so refer to it if necessary.
[0014]
Through such image processing, from the output signal of the main camera 1, for example, the luminance value of each pixel in an image region having 512 pixels in the horizontal direction and 200 pixels in the vertical direction is obtained as reference image data. Further, comparison image data having the same vertical length as the reference image and a larger horizontal length than the reference image is obtained from the output signal of the sub camera 2 (for example, the horizontal direction is 640 pixels and the vertical direction is 200). Pixel). In the ij coordinate system of an image that is a two-dimensional plane, the lower left corner of the image is the origin, the horizontal direction is the i coordinate axis, and the vertical direction is the j coordinate axis (unit is pixel). The reference image data and the comparison image data are stored in the image data memory 7.
[0015]
The stereo arithmetic circuit 6 calculates the parallax d based on the reference image data and the comparison image data. Since one parallax d is calculated for each pixel block of 4 × 4 pixels in the reference image, for example, a maximum of 128 × 50 parallaxes can be calculated for the entire reference image for one frame. When calculating the parallax di of one pixel block (hereinafter referred to as “target pixel block”) in the reference image, first, an area having a correlation with the luminance characteristic of the target pixel block is specified in the comparison image. As is well known, the distance to the object projected on the stereo image appears as a parallax in the stereo image, that is, a horizontal shift amount of the pixel block between the reference image and the comparison image. Therefore, when searching for a pixel block in the comparison image (hereinafter referred to as “comparison pixel block”), it is sufficient to search on the same horizontal line (epipolar line) as the j coordinate of the target pixel block. The stereo calculation circuit 6 evaluates the correlation with the target pixel block for each comparison pixel block while shifting the pixel on the epipolar line one by one (stereo matching).
[0016]
The correlation between two pixel blocks can be evaluated using, for example, a city block distance, which is a well-known correlation evaluation method. The stereo arithmetic circuit 6 obtains the city block distance for each region (same area as the target pixel block) existing on the epipolar line, and basically, the region where the value of the city block distance is the minimum is correlated with the target pixel block. Specify as a destination. The amount of horizontal displacement between the target pixel block and the pixel block associated with the correlation destination is parallax di. Note that the hardware configuration relating to the calculation of the city block distance and the detailed method for determining the correlation destination are disclosed in Japanese Patent Laid-Open No. 5-1114099, so please refer to them if necessary. The parallax d calculated by the stereo arithmetic circuit 6 is stored in the distance data memory 8.
[0017]
The microcomputer 9 (recognizing unit 10 that is a functional block when it is functionally read) reads the reference image data from the image data memory 7, and displays an object (for example, a preceding vehicle) projected in the reference image. Recognition is performed using a well-known image recognition technique. The recognizing unit 10 calculates the distance Z to the object based on the following equation using the parallax d read from the distance data memory 8 as a basic parameter.
[Expression 2]

[0018]
In this equation, KZH is a predetermined constant (camera baseline length / horizontal viewing angle), and DP is the vanishing point parallax. In the present embodiment, the vanishing point parallax DP is a parallax correction value (variable), and the value is calculated by the correction calculation unit 13 described later.
[0019]
Further, the recognition unit 10 performs “road shape recognition”. Here, “recognition of road shape” means that a three-dimensional road shape is expressed by a function related to left and right lanes (white line, overtaking prohibited line, etc.), and each parameter of this function is changed to an actual road shape (straight line, It is set to a value that matches the curve curvature or undulation. In the following description, a white line that is a typical lane will be described as an example, but the present invention can also be applied to various lanes including an overtaking lane. The white line model calculation method in the present embodiment will be described below with reference to FIG.
[0020]
First, a white line edge Pedge in the reference image, that is, a horizontal luminance edge (a portion where the amount of change in luminance between adjacent pixels is large) is identified due to a white line. The white line edge Pedge is separately searched for the left side and the right side of the traveling path, and a plurality of left white line edges Pedge1 and a plurality of right white line edges Pedge2 are specified. Specifically, a luminance edge having the following three conditions is recognized as a white line edge Pedge.
[0021]
(Three conditions of white line edge)
1.A luminance edge whose luminance change amount is equal to or greater than a predetermined value, and a pixel on the outer side (image end side) of the luminance edge is larger than the pixel on the inner side (image center side).
In other words, the white line edge Pedge caused by the left and right white lines of the traveling road is a luminance edge at the inner boundary of the white line (the boundary between the white line and the paved road) as shown in FIG.
[0022]
2.White line edge P satisfying condition 1 edge For the candidate, there is a further luminance edge outside the same horizontal line, and the inner pixel has a higher luminance than the pixel outside the luminance edge.
Since the white line has a predetermined width, there is also a boundary outside the white line edge Pedge. This condition is provided in view of the characteristics of such a white line.
[0023]
3.White line edge P satisfying condition 1 edge The parallax d is calculated for the pixel block including
If the parallax d is not calculated at the place where the white line edge Pedge exists, the white line edge Pedge is not effective information for recognizing the road shape.
[0024]
For each identified white line edge Pedge, the recognition unit 10 substitutes its coordinates (i, j) and its parallax d into the well-known coordinate conversion formulas shown in the following formulas 3 and 4, and thereby in the real space The coordinates (X, Y, Z) are calculated.
[Equation 3]

[Expression 4]

[0025]
Here, the constant CAH is the mounting height of the

stereo cameras

1 and 2, the constant r is the mounting interval of the

stereo cameras

1 and 2, and the constants PWV and PWH are the vertical viewing angle and horizontal viewing angle per pixel, respectively. The constants IV and JV are the i-coordinate value and j-coordinate value of the vanishing point V set in advance, respectively. In addition, the coordinate system of the real space set based on the position of the vehicle is based on the road surface directly below the center of the

stereo cameras

1 and 2 as the origin, the vehicle width direction is the X axis, the vehicle height direction is the Y axis, and the vehicle length The direction (distance direction) is taken as the Z axis. When the coordinates (i, j) and the parallax d on the image plane are specified for an object (such as a preceding vehicle, a three-dimensional object, or a road) projected on the captured image, the conversion formulas shown in Formulas 2 to 4 are obtained. Based on the above, the coordinates (X, Y, Z) in the real space can be uniquely specified.
[0026]
A white line model is specified based on the coordinates (X, Y, Z) in the real space of each white line edge Pedge thus specified. The white line model is obtained by calculating an approximate straight line for each predetermined section for each of the left and right white line edges Pedge1 and Pedge2 within the recognition range (for example, from the camera position to 84 m ahead of the vehicle) and connecting them in a polygonal line. It is. In the white line model of FIG. 3 shown as an example, the recognition range is divided into seven sections and approximated by a straight line of the following equation using the least square method for each of the left and right white line edges Pedge1 and Pedge2 in each section.
[Equation 5]
(Left white line model L)
X = a_L・ Z + b_L
Y = c_L・ Z + d_L
(Right white line model R)
X = a_R・ Z + b_R
Y = c_R・ Z + d_R
[0027]
These white line models L and R are composed of a curve function (X = f (Z)) expressing the curve curvature of the road and a gradient function (Y = f (Z)) expressing the road slope and undulation. ing. Therefore, the three-dimensional change state of the road in the real space can be grasped by the left and right white line models L and R. The white line edges Pedge and the left and right white line models L and R calculated by the recognition unit 10 are transmitted to the correction calculation unit 13.
[0028]
When the recognition unit 10 determines that an alarm is necessary based on the recognition result regarding the preceding vehicle or the road shape, the recognition unit 10 activates the alarm device 11 such as a monitor or a speaker to alert the driver. Further, by controlling the control device 12 as necessary, vehicle control such as AT (automatic transmission) shift down, engine output suppression, or brake operation is executed.
[0029]
Next, details of the parallax correction according to the present embodiment will be described with reference to the flowcharts shown in FIGS. 4 and 5. The correction calculation unit 13 updates the value of the vanishing point parallax DP according to a series of procedures shown in this flowchart, and feeds back the value to the recognition unit 10. This flowchart is repeatedly executed every cycle of a predetermined period.
[0030]
First, in step 1, the correction calculation unit 13 reads the white line edge Pedge and the white line models L and R for each of the pair of captured images (reference image and comparison image) calculated by the recognition unit 10. Next, in step 2, it is determined whether left and right white lines exist in the reference image. This can be determined by examining whether the white line models L and R on the left and right are calculated in the recognition unit 10. Alternatively, the determination may be made by examining whether the left white line edge Pedge1 and the right white line edge Pedge2 are calculated.
[0031]
If a negative determination is made in Step 2, that is, if there are no white lines on both the left and right sides, the vanishing points cannot be calculated because the line segments parallel to each other cannot be extracted. Therefore, in order to achieve control stability, the process proceeds to return without changing the current value of the vanishing point parallax DP, and the execution of this flowchart in the current cycle is terminated. On the other hand, if an affirmative determination is made in step 2, the process proceeds to step 3.
[0032]
In step 3, the reliability of the left and right white lines is evaluated. Specifically, the following two points are evaluated. Only when it is determined in step 4 that the white line is reliable, the process proceeds to step 5. On the other hand, if it is determined that the white line is not reliable, the process proceeds to return without changing the value of the vanishing point parallax DP.
[0033]
(Reliability evaluation of white line)
1. When the deviation between the white line position in the previous cycle and the white line position in the current cycle is larger than a predetermined value, it is determined that the reliability as the white line is low. Specifically, when the position of the white line edge Pedge detected in the previous cycle and the position of the white line edge Pedge detected in the current cycle are greatly shifted, it is determined that the reliability as the white line is low.
[0034]
2. Verify how far the white line is visible. The white line has at least a certain length. Therefore, considering the transition of the white line between frames, if the white line edge Pedge does not extend beyond a certain length in the depth direction, it is determined that the reliability as the white line is low.
[0035]
In step 5, the linearity of the white line is evaluated based on the white line models R and L. In order to calculate an accurate vanishing point, it is necessary that the left and right white lines as the calculation base extend linearly, and an accurate vanishing point cannot be calculated from the curved white line. Therefore, the process proceeds to step 7 only when it is determined in step 6 that the white line is a straight line, and otherwise, the process proceeds to return without changing the value of the vanishing point parallax DP.
[0036]
The linearity of the white line can be evaluated based on, for example, a white line model (curve function X = f (Z)) calculated by the recognition unit 10. Referring to FIG. 3, first, the slope A1 of the curve function (the slopes a of the left and right white lines L and R in a predetermined distance range (for example, 0 to Z2) in the ZX plane)._L, A_RAverage). As the slope A1, an average value of the slope a1 in the first section and the slope a2 in the second section is used. Next, the slope A2 of the curve function in a predetermined distance range (for example, Z2 to Z4) is calculated. As the slope A2, an average value of the slope a3 in the third section and the slope a4 in the fourth section is used. Then, a difference (absolute value) between the inclination A1 and the inclination A2 is obtained, and if this difference is equal to or smaller than a predetermined threshold value, it is determined that the white line is a straight line.
[0037]
The procedure after step 7 shown in FIG. 5 relates to the update process of the vanishing point parallax DP. First, in step 7, an approximate straight line L1m of a plurality of left white line edges Pedge1 existing within a predetermined distance range (for example, 0 to Z2) in the reference image is calculated by the least square method (see FIG. 6). Similarly, an approximate straight line L2m of a plurality of right white line edges Pedge2 existing within the distance range is also calculated by the method of least squares. In step 8, the intersection point of the approximate lines L1m and L2m is specified as shown in FIG. 6 to calculate the i-coordinate value IVm of the vanishing point Vm (IVm, JVm) in the reference image.
[0038]
In subsequent step 9, an approximate straight line L1s of a plurality of left white line edges Pedge1 existing within a predetermined distance range (for example, 0 to Z2) in the comparison image is calculated by the least square method by the same method as that for the reference image. . At the same time, an approximate straight line L2s of a plurality of right white line edges Pedge2 existing within a predetermined distance range is also calculated by the method of least squares. In step 10, the i-coordinate value IVs of the vanishing point Vs (IVs, JVs) in the comparative image is calculated by specifying the intersection of the approximate lines L1s and L2s.
[0039]
In step 11, the parallax correction value, that is, the vanishing point parallax DP is updated based on these vanishing points IVm and IVs. Basically, the amount of deviation between the i-coordinate value IVm of the vanishing point Vm calculated for the reference image side and the i-coordinate value IVs of the vanishing point Vs calculated for the comparative image side becomes the vanishing point parallax DP. Then, the calculated vanishing point parallax DP is output to the recognition unit 10, and the processing of this flowchart in the current cycle ends. In consideration of control stability, the vanishing point parallax DP calculated in step 11 is stored for 1 to n processing cycles, and the average value is used for distance correction (vanishing point parallax). ) May be applied.
[0040]
According to the present embodiment, the feedback adjustment related to the vanishing point parallax DP is performed in parallel with the monitoring control, so that a highly accurate distance can always be calculated even when a horizontal shift of the stereo camera occurs. Therefore, even when the stereo camera mounting position changes from the initial setting state due to secular change, impact, or the like, highly reliable distance information can be obtained stably. Then, by performing monitoring control based on such a calculated distance, it is possible to improve the reliability of monitoring outside the vehicle. In particular, according to the present embodiment, since the vanishing point parallax DP is directly detected using a pair of captured images, even when the vanishing point parallax is greatly deviated, it can be detected stably.
[0041]
In the above description, the vanishing point parallax may be updated by proportional control, statistical control, or the like. For example, a histogram of 1000 samples of the vanishing point parallax DP may be taken and the mode value may be used.
[0042]
(Application to various monitoring systems using captured images)
In the above-described embodiment, the method of calculating the vanishing point parallax DP using the left and right lanes (white lines) on the road projected in the captured image has been described. This is a general tendency that, in the case of automobile front monitoring, there are usually lanes that extend in the distance direction (Z direction) on the left and right sides of the road, and these are often spatially parallel to each other. In view of the above. In the present specification, a linear object that extends parallel to each other in the distance direction and serves as a base for vanishing point calculation, such as a lane, is referred to as a “reference object”. The present invention can be widely applied to various monitoring systems using captured images in which a “reference object” is projected.
[0043]
As an example, when applied to an indoor robot that recognizes a surrounding situation based on a captured image, two boundary lines between a wall and a floor can be used as a “reference object”. FIG. 7 is an example of a captured image in the indoor robot. In addition, the straight line L1 (or L2) shown in the figure is used as a generic term for the straight line L1m (or L2m) on the reference image side and the straight line L1s (or L2s) on the comparison image side. Usually, the boundary line between the left wall and the floor and the boundary line between the right wall and the floor often extend in parallel to each other in the distance direction (depth direction). Therefore, vanishing point correction and distance correction can be performed using the left and right boundary lines. The outline of the vanishing point adjustment procedure using the boundary line will be described below.
[0044]
First, a plurality of straight lines L1m and L2m are detected based on the reference image. Similar to the above (white line edge condition), conditions relating to the luminance edge and parallax at the boundary between the wall and the floor are set in advance. Then, in the captured image, a portion that meets this condition is recognized as a boundary line, and its linearity is appropriately evaluated, and then the approximate straight lines L1m and L2m are calculated. As another method, by using a well-known Hough transform or the like, by extracting points (edge pixels at the boundary portion) that form a straight line in the captured image, straight lines L1m and L2m that become “reference objects” are obtained. It may be calculated.
[0045]
Next, it is determined based on the distance image that the straight lines L1m and L2m are substantially parallel in space. As described above, based on the distance image, the position in the real space of each region constituting the straight lines L1m and L2m can be specified. Therefore, when two straight lines L1m and L2m are detected, the spatial parallelism of these straight lines L1m and L2m is determined using a known method.
[0046]
When the straight lines L1m and L2m are spatially parallel, the vanishing point Vm is calculated from these intersection points in the reference image. In the same manner, the straight lines L1s and L2s in the comparison image are detected, and the vanishing point Vs is calculated from these intersection points in the comparison image. Then, the vanishing point parallax DP is calculated from the difference between the i coordinate values of these vanishing points Vm and Vs.
[0047]
As another example, when applied to a system for monitoring the front situation of a railway vehicle, the left and right rails can be used as “reference objects”. FIG. 8 is an example of a captured image in front of the railway vehicle. The left and right rails extend in parallel to each other in the distance direction. Therefore, since the two parallel straight lines L1 and L2 can be specified by using the left and right rails as the “reference object”, the vanishing point parallax DP can be adjusted by the above-described method.
[0048]
【The invention's effect】
Thus, in the present invention, the vanishing point parallax used when calculating three-dimensional information such as distance information is based on the vanishing point shift calculated as the intersection of parallel approximate straight lines on a pair of captured image planes. It is corrected. Therefore, even when a stereo camera is misaligned, the vanishing point parallax value that automatically cancels the error caused by it is automatically calculated, so stable three-dimensional information (distance information) is stable. Can be obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram showing the configuration of a stereo-type vehicle exterior monitoring device
FIG. 2 is an explanatory diagram of a white line edge of a reference image
FIG. 3 is a diagram showing a white line model
FIG. 4 is a flowchart showing a part of the parallax correction procedure.
FIG. 5 is a flowchart showing the procedure following FIG.
FIG. 6 is an explanatory diagram for calculating a vanishing point on a captured image plane.
FIG. 7 is a diagram illustrating an example of a captured image of an indoor robot
FIG. 8 is a diagram showing an example of a captured image in front of a railway vehicle
[Explanation of symbols]
1 Main camera
2 Sub camera
3 Analog interface
3a Gain control amplifier
4 A / D converter
5 Correction circuit
6 Stereo operation circuit
7 Image data memory
8 Distance data memory
9 Microcomputer
10 Recognition part
11 Alarm device
12 Control device
13 Correction calculation section

Claims

In the distance correction device of the monitoring system,
Stereo imaging means for obtaining a pair of captured images;
Parallax calculating means for calculating parallax by stereo matching based on a pair of captured images obtained by the stereo imaging means;
Distance calculating means for calculating the distance to the object based on the parallax calculated by the parallax calculating means and the vanishing point parallax;
In one captured image plane, calculate a plurality of spatially parallel approximate lines extending in the distance direction, calculate a first vanishing point from the intersection of the approximate lines, and in the other captured image plane, Vanishing point calculating means for calculating a plurality of approximate straight lines extending in the distance direction and parallel to each other, and calculating a second vanishing point from the intersection of the approximate straight lines;
A monitoring system comprising: a correction unit that updates the vanishing point parallax based on a shift amount between the first vanishing point and the second vanishing point calculated by the vanishing point calculating unit. Distance correction device.

The camera further includes detection means for detecting a plurality of spatially parallel reference objects extending in the distance direction from a scene projected in the captured image and identifying the positions of the reference objects on the captured image plane. ,
The vanishing point calculating means calculates an approximate straight line in the captured image plane for each of the reference objects when a plurality of reference objects are detected by the detecting means. Distance correction device for monitoring system.

The distance correction apparatus for a monitoring system according to claim 2, wherein the reference object is a left or right lane on a road projected in a captured image.

The distance correction apparatus for a monitoring system according to claim 2, wherein the reference object is a left / right boundary line indicating a boundary between a wall and a floor projected in a captured image.

The distance correction apparatus for a monitoring system according to claim 2, wherein the reference object is a left and right rail of a track projected in a captured image.

In the distance correction method of the monitoring system,
Calculating parallax by stereo matching based on a pair of captured images of the same scene captured at the same time;
Calculating a distance to the object based on the parallax and the vanishing point parallax;
Calculating a plurality of spatially parallel approximate lines extending in the distance direction on one captured image plane, and calculating a first vanishing point from the intersection of the approximate lines;
Calculating a plurality of spatially parallel approximate lines extending in the distance direction on the other captured image plane, and calculating a second vanishing point from the intersection of the approximate lines;
A distance correction method for a monitoring system, comprising: updating the vanishing point parallax based on a shift amount between the first vanishing point and the second vanishing point.