JP4032843B2 - 監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法 - Google Patents
監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法 Download PDFInfo
- Publication number
- JP4032843B2 JP4032843B2 JP2002184018A JP2002184018A JP4032843B2 JP 4032843 B2 JP4032843 B2 JP 4032843B2 JP 2002184018 A JP2002184018 A JP 2002184018A JP 2002184018 A JP2002184018 A JP 2002184018A JP 4032843 B2 JP4032843 B2 JP 4032843B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- data
- calculated
- image data
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012544 monitoring process Methods 0.000 title claims description 130
- 238000012937 correction Methods 0.000 title claims description 56
- 238000000034 method Methods 0.000 title claims description 35
- 238000005259 measurement Methods 0.000 claims description 80
- 238000012545 processing Methods 0.000 claims description 34
- 238000010586 diagram Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000012806 monitoring device Methods 0.000 description 5
- 239000007787 solid Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、監視領域内の状況を監視する監視システムおよび監視方法に関し、また、この監視システムにおける距離補正装置および距離補正方法にも関する。
【０００２】
【従来の技術】
近年、所定の監視領域内の状況を監視する監視装置が注目・実用化されている。この監視装置は、車両や航空機等の移動体に搭載され、或いは、支柱等の静止体に固定されている。前者の一例であるステレオ式車外監視装置は、車両に搭載されたステレオカメラによって所定の監視領域内の景色を撮像し、これにより得られた情報に基づいて、走行状況を認識する。ステレオ式監視装置では、一対の撮像画像（ステレオ画像）に写し出された同一対象物に関する位置的なずれ量（すなわち視差）が、ステレオマッチングによって算出される。画像に写し出されたある対象物の実空間上の位置（三次元的な位置）は、その対象物に関して算出された視差と画像平面上の位置とに基づいて、周知の座標変換式より算出可能である。
【０００３】
さらに、監視精度の一層の向上を目的として、ステレオカメラとレーザレーダとを併用した監視装置も提案されている。例えば、特開平７−１２５５６７号公報および特開平７−３２０１９９号公報には、レーザレーダで監視領域内の対象物の位置を検出するとともに、監視領域内の景色を撮像した画像平面上において、この検出位置に対応する領域に処理エリアを設定する技術が開示されている。そして、画像平面上に設定された処理エリアを処理対象として、ステレオマッチングを行うことにより、対象物までの距離を検出する。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記公報に開示された従来技術では、レーザレーダからのデータに基づき、処理エリアを設定した上で、この処理エリアを処理対象としたステレオマッチングを行う必要がある。そのため、複雑な処理が必要となり、システム構成の複雑化を招くため好ましくない。また、距離センサは、距離の算出精度には優れるものの、先行車等以外の物体に関しては、検出精度があまり高くないという問題がある。そのような物体の典型例としては歩行者が挙げられる。歩行者は、画像処理による検出が比較的容易である反面、レーザレーダでは検出し難い物体である。
【０００５】
本発明は、このような事情に鑑みてなされたものであり、その目的は、ステレオカメラにより得られる距離画像データと、レーザレーダより得られる距離測定データとを統合することによって、対象物の認識精度の一層の向上を図ることである。
【０００６】
また、この発明の別の目的は、予め設定された消失点を用いて対象物に関する三次元情報を求める場合、この設定消失点を補正することにより、対象物に関する三次元情報の精度の一層の向上を図ることである。
【０００７】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、監視領域内の状況を監視する監視システムにおいて、ステレオカメラと、ステレオ画像処理部と、レーザレーダと、認識部と、データ補正部とを有する監視システムを提供する。ここで、ステレオカメラは、監視領域を含む景色を撮像し、一対の画像データを出力する。また、ステレオ画像処理部は、一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、１フレーム相当の画像データに関する視差群と、この画像データにより規定される画像平面上の位置とが対応付けられた距離画像データを出力する。また、レーザレーダは、監視領域内の距離を測定し、監視領域内の距離の二次元的な分布を距離測定データとして出力する。認識部は、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出する。そして、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データが算出される。さらに、データ補正部は、距離測定データ上の所定位置における監視領域内の立体物までの距離を第１の距離として特定する。そして、距離算出データにおいて立体物までの距離を示す区分を特定することにより、この特定された区分に関して算出された距離が、第１の距離に補正される。このとき、認識部は、補正部によって補正された距離算出データに基づき、監視領域内の立体物を認識する。
【０００８】
また、第２の発明は、監視領域内の状況を監視する監視システムにおいて、ステレオカメラと、ステレオ画像処理部と、レーザレーダと、認識部と、データ補正部とを有する監視システムを提供する。ここで、ステレオカメラは、監視領域を含む景色を撮像し、一対の画像データを出力する。また、ステレオ画像処理部は、一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、１フレーム相当の画像データに関する視差群と、画像データにより規定される画像平面上の座標位置とが対応付けられた距離画像データを出力する。また、レーザレーダは、監視領域内の距離を測定し、この監視領域内の距離の二次元的な分布を距離測定データとして出力する。また、認識部は、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出する。そして、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データが算出される。データ補正部は、距離測定データ上の所定位置における監視領域内の立体物までの距離を第１の距離として特定する。また、距離算出データにおいて立体物までの距離を示す区分を特定することにより、この特定された区分に関して算出された距離が第２の距離として特定される。そして、第１の距離と第２の距離とが比較されることにより、特定された区分に関して算出された距離を補正する補正値としての第３の距離が決定される。このとき、認識部は、補正された距離算出データに基づき、監視領域内の立体物を認識する。
【０００９】
ここで、第２の発明において、データ補正部は、距離測定データ上の所定位置において、立体物までの距離に相当する測定値があると判断した場合には、測定値を第１の距離として決定することが好ましい。
【００１０】
この場合、データ補正部は、第１の距離と第２の距離との差が所定のしきい値以内である場合には、第１の距離を第３の距離として決定することが好ましい。または、データ補正部は、第１の距離と第２の距離との差が所定のしきい値より大きい場合には、第２の距離を第３の距離として決定することが好ましい。
【００１１】
あるいは、この場合、データ補正部は、第１の距離と第２の距離との差が所定のしきい値以内である場合には、第１の距離と第２の距離との平均値を第３の距離として決定することが好ましい。また、データ補正部は、第１の距離と第２の距離との差が所定のしきい値より大きい場合には、第２の距離を第３の距離として決定することが好ましい。
【００１２】
また、第３の発明は、監視システムの距離補正装置において、ステレオカメラと、ステレオ画像処理部と、認識部と、視差補正部とを有する監視システムの距離補正装置を提供する。ここで、ステレオカメラは、監視領域を含む景色を撮像し、一対の画像データを出力する。ステレオ画像処理部は、一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、１フレーム相当の画像データに関する視差群と、画像データにより規定される画像平面上の座標位置とが対応付けられた距離画像データを出力する。レーザレーダは、監視領域内の距離を測定するとともに、監視領域内の距離の二次元的な分布を距離測定データとして出力する。認識部は、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出する。そして、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データを算出する。そして、この距離算出データに基づき立体物が認識される。視差補正部は、距離測定データ上の所定位置における監視領域内の立体物までの距離を第１の距離として特定する。そして、距離算出データにおいて立体物までの距離を示す区分を特定することにより、この特定された区分に関して算出された距離が第２の距離として特定される。そして、第１の距離と第２の距離とに基づきパラメータが算出される。
【００１３】
また、第４の発明は、距離画像データと、距離測定データとを用いて監視領域内の状況を監視する監視方法を提供する。ここで、距離画像データは、監視領域を含む景色が撮像された一対の画像データに基づいて、ステレオマッチングにより算出された１フレーム相当の画像データに関する視差群と画像データにより規定される画像平面上の位置とが対応付けられている。また、距離測定データは、レーザレーダにより監視領域内の距離が測定されて距離の二次元的な分布として算出される。この監視方法において、第１のステップは、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出するとともに、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データを算出する。第２のステップは、距離測定データ上の所定位置における監視領域内の立体物までの距離を第１の距離として特定する。第３のステップは、距離算出データにおいて、立体物までの距離を示す区分を特定する。第４のステップは、距離算出データにおいて、特定された区分に関して算出された距離を、第１の距離に補正する。そして、第５のステップは、第４のステップにおいて補正された距離算出データに基づき、監視領域内の立体物を認識する。
【００１４】
また、第５の発明は、距離画像データと、距離測定データとを用いて監視領域内の状況を監視する監視方法を提供する。ここで、距離画像データは、監視領域を含む景色が撮像された一対の画像データに基づいて、ステレオマッチングにより算出された１フレーム相当の画像データに関する視差群と画像データにより規定される画像平面上の位置とが対応付けられている。また、距離測定データは、レーザレーダにより監視領域内の距離が測定されて距離の二次元的な分布として算出される。この監視方法において、第１のステップは、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出するとともに、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データを算出する。第２のステップは、距離測定データ上の所定位置における監視領域内の立体物までの距離を第１の距離として特定する。第３のステップは、距離算出データにおいて、立体物までの距離を示す区分を特定する。第４のステップは、距離算出データにおいて、特定された区分に関して算出された距離を第２の距離として特定する。第５のステップは、第１の距離と第２の距離とを比較することにより、特定された区分に関して算出された距離を補正する補正値としての第３の距離を決定する。第６のステップは、補正された距離算出データに基づき、監視領域内の立体物を認識する。
【００１５】
ここで、第５の発明において、第２のステップは、距離測定データ上の所定位置において、立体物までの距離に相当する測定値があると判断した場合には、測定値を第１の距離として決定する。
【００１６】
この場合、第５のステップは、第１の距離と第２の距離との差が所定のしきい値以内である場合には、第１の距離を第３の距離として決定する。あるいは、第５のステップは、第１の距離と第２の距離との差が所定のしきい値より大きい場合には、第２の距離を第３の距離として決定するステップを有することが好ましい。
【００１７】
また、この場合、第５のステップは、第１の距離と第２の距離との差が所定のしきい値以内である場合には、第１の距離と第２の距離との平均値を第３の距離として決定する。あるいは、第５のステップは、第１の距離と第２の距離との差が所定のしきい値より大きい場合には、第２の距離を第３の距離として決定するステップを有することが好ましい。
【００１８】
さらに、第６の発明は、監視システムの距離補正方法を提供する。この距離補正方法において、第１のステップは、監視領域を含む景色を撮像し、一対の画像データを出力する。第２のステップは、一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、１フレーム相当の画像データに関する視差群と、画像データにより規定される画像平面上の座標位置とが対応付けられた距離画像データを出力する。第３のステップは、監視領域内の距離を測定するとともに、監視領域内の距離の二次元的な分布を距離測定データとして出力する。第４のステップは、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出するとともに、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データを算出する。第５のステップは、距離測定データ上の所定位置における監視領域内の立体物までの距離を第１の距離として特定する。第６のステップは、距離算出データにおいて、監視領域内の立体物までの距離を示す区分を特定する。第７のステップは、特定された区分に対応付けられた監視領域内の距離を第２の距離として特定する。第８のステップは、第１の距離と第２の距離とに基づきパラメータを算出する。第９のステップは、算出された距離算出データに基づき立体物を認識する。
【００１９】
【発明の実施の形態】
（第１の実施形態）
図１は、第１の実施形態にかかるステレオ式監視システムのブロック構成図である。このステレオ式監視システム１は、自動車等の車両に搭載され、車両前方の走行状況を監視する。車両前方の監視領域内の景色を撮像するステレオカメラは、ルームミラーの近傍に取り付けられている。このステレオカメラは、一対のカメラ２，３で構成されており、それぞれのカメラ２，３には、イメージセンサ（例えば、ＣＣＤまたはＣＭＯＳセンサ等）が内蔵されている。メインカメラ２は、ステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ３は、比較画像（左画像）を撮像する。互いの同期が取れている状態において、カメラ２，３から出力された各アナログ画像は、Ａ／Ｄコンバータ４，５により、所定の輝度階調（例えば、256階調のグレースケール）のデジタル画像に変換される。
【００２０】
デジタル化された一対の画像データは、画像補正部６において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ２，３の取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の各画像に生じている。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。
【００２１】
このような画像処理を経て、メインカメラ２より基準画像データが得られ、サブカメラ３より比較画像データが得られる。これらの画像データ（ステレオ画像データ）は、各画素の輝度値（0〜255）の集合である。ここで、画像データによって規定される画像平面は、ｉ−ｊ座標系で表現され、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。１フレーム（１画像の表示単位）相当のステレオ画像データは、後段のステレオ画像処理部７に出力されるとともに、後段の画像データメモリ８に格納される。
【００２２】
ステレオ画像処理部７は、基準画像データと比較画像データとに基づいて、１フレーム相当の撮像画像に関する距離画像データＤpを算出する。ここで、「距離画像データ」とは、画像データによって規定される画像平面において小領域毎に算出された視差ｄの集合であり、個々の視差ｄは画像平面上の位置（ｉ，ｊ）と対応付けられている。視差ｄの算出単位は、基準画像の一部を構成する所定面積（例えば、4×4画素）の画素ブロックであり、１つの画素ブロックより１つの視差が算出される。
【００２３】
図２は、基準画像に設定される画素ブロックの説明図である。例えば、基準画像が200×512画素で構成されている場合、１フレーム相当の撮像画像から、画素ブロックＰＢijの個数相当（50×128個）の視差群が算出され得る。周知のように、視差ｄは、その算出単位である画素ブロックＰＢijに関する水平方向のずれ量であり、画素ブロックＰＢijに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢij内に写し出されている対象物がカメラ２，３に近いほど、この画素ブロックＰＢijの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは0になる）。
【００２４】
ある画素ブロックＰＢij（相関元）に関する視差ｄを算出する場合、この画素ブロックＰＢijの輝度特性と相関を有する領域（相関先）を比較画像において特定する。上述したように、カメラ２，３から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰijのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部７は、相関元のｉ座標を基準に設定された所定の探索範囲内において、エピポーラライン上を１画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量を、その画素ブロックＰＢijの視差ｄとする。
【００２５】
２つの画素ブロックの相関は、例えば、シティブロック距離ＣＢを算出することにより評価することができる。数式１は、シティブロック距離ＣＢの基本形を示す。同数式において、ｐ１ijは一方の画素ブロックのｉｊ番目の画素の輝度値であり、ｐ２ijは他方の画素ブロックのｉｊ番目の輝度値である。シティブロック距離ＣＢは、位置的に対応した輝度値ｐ１ij，ｐ２ijの差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味している。
【数１】
ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜
【００２６】
基本的に、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる画素ブロックが相関先と判断される。そして、このようにして特定された相関先と相関元との間のずれ量が視差ｄとなる。なお、シティブロック距離ＣＢを算出するステレオ画像処理部７のハードウェア構成については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。このような処理を経て算出された距離画像データＤp、すなわち、画像上の位置（ｉ，ｊ）と対応付けられた視差ｄの集合が、距離データメモリ９に格納される。
【００２７】
また、ステレオ式監視システム１において、監視領域内の距離を測定するレーザレーダ１０が、車両前部に取り付けられている。このレーザレーダ１０は、図３に示すように、縦長のレーザビーム（例えば、上下方向に±2°、左右方向に0.03°）を照射し、地面より高い位置にある監視領域内の立体物の距離を検出する。図４に示すように、このレーザレーダ１０は、一定間隔毎にレーザビームを発光・受光しながら、所定の走査範囲内で水平方向の走査を行うことにより、距離を順次検出していく。そして、走査範囲内の一連の検出動作にともない、それぞれの走査位置に対応した所定個数の測定値の集合が距離測定データＤmとして算出される。換言すれば、この距離測定データＤmは、監視領域内における距離の二次元的な分布である。この検出動作は、カメラ２，３の撮像動作とタイミングを同期して行われ、１フレーム相当の画像データの出力と対応して、距離測定データＤmがマイクロコンピュータ１１（具体的には、データ補正部１３）に出力される。
【００２８】
マイクロコンピュータ１１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等で構成されているが、これを機能的に捉えた場合、認識部１２、データ補正部１３および制御部１４を有する。
【００２９】
認識部１２は、画像データまたは距離画像データＤpに基づき、監視領域内の道路形状を特定する。そして、距離画像データＤpにより規定される二次元平面を複数の区分に分割し、特定された道路形状に基づき、区分内に存在する視差群に基づいて監視領域内の距離が算出される。そして、分割された区分のそれぞれと、この算出された距離とが対応付けられた距離算出データＤcが算出される。なお、この距離算出データＤcに関して、各区分に対応付けられた距離は、それぞれ補正可能な値であり、データ補正部１３において補正される。認識部１２は、データ補正部１３によって補正された距離算出データＤc’に基づき、監視領域内の立体物を認識する。
【００３０】
データ補正部１３は、レーザレーダ１０の出力データである距離測定データＤmに基づき、認識部１２の出力データである距離算出データＤcを補正し、それを距離算出データＤc’として認識部１２に出力する。
【００３１】
制御部１４は、認識部１２における認識結果に基づき、必要に応じて、図示しない警報装置や制御装置等の制御を行う。例えば、先行車との車間距離が短くなり、ドライバーへの警報が必要な走行状況では、モニタやスピーカ等の警報装置を動作させて、ドライバーの注意を喚起する。また、このような状況で車両を減速させるべく、ブレーキの動作、自動変速機のシフトダウン、エンジン出力の低下等を行う。
【００３２】
図５は、第１の実施形態にかかる監視手順を示したフローチャートである。本ルーチンは、所定の間隔で呼び出され、マイクロコンピュータ１１によって実行される。まず、ステップ１において、認識部１２は、一対の画像データ（以下、単に「画像データ」と称する）を画像データメモリ８から読み込み、また、この画像データに対応する距離画像データＤpを距離データメモリ９から読み込む。
【００３３】
ステップ２において、認識部１２は、画像データまたは距離画像データＤpに基づき、監視領域内の道路形状を特定する。この処理では、道路モデルのパラメータを実際の道路形状に対応するよう補正・変更することで、道路形状が特定される。この道路モデルは、実空間の座標系において、水平方向の直線式、および、垂直方向の直線式により特定される。この直線式は、道路上の自車線を、設定した距離によって複数個の区間に分け、区間毎に左右の白線等を三次元の直線式で近似して折れ線状に連結することにより、算出可能である。なお、道路モデルの詳細については、本出願人によって既に出願されている特開２００１−１６０１３７号公報に開示されているので、必要ならば参照されたい。
【００３４】
ステップ３において、認識部１２は、距離算出データＤcを算出する。この距離算出データＤcは、以下に説明するように、距離画像データＤpにより規定される二次元平面を複数の区分に分割し、それぞれの区分に関して一つ算出される代表距離の集合である。ある区分に関する代表距離は、その区分内に存在する視差群より一義的に算出される。
【００３５】
具体的には、図６に示すように、まず、読み込まれた距離画像データＤpによって規定されるｉｊ平面を、所定の間隔で（例えば、水平方向に４画素間隔）で分割することにより、格子状（縦短冊状）の複数の区分を規定する。そして、水平方向に並んだ複数の区分のうち、一つの区分（例えば、一番左端の区分）が選択される。
つぎに、選択された区分において、この区分内に存在する全データの中から、任意のデータ（例えば、（ｉ，ｊ）位置が最も原点に近いデータ）が選択される。ここで、「データ」とは、位置（ｉ，ｊ）に対応付けられた視差ｄをいう。そして、選択されたデータについて、周知の座標変換式に基づき、三次元位置（ｘ，ｙ，ｚ）が算出される。自車両の位置を基準に設定された実空間の座標系は、メインカメラ２の中央真下の道路面を原点として、車幅方向をｘ軸、車高方向をｙ軸、車長方向（距離方向）をｚ軸とする。そして、上述した道路モデルの直線式を使って、この距離ｚにおける道路面の高さが算出される。この道路面の高さと、座標変換されたデータの高さを比較して、このデータが道路面より上にある場合には、そのデータが立体物データとして抽出される。
【００３６】
このとき、道路面からの高さの差が小さい（例えば、高さが0.1ｍ程度以下）データは、道路上の白線や汚れ、影等に関するデータとみなす。この場合、認識部１２は、以下の処理において、このデータを取り扱わない。一方、その高さが自車両の高さより上にあるデータは、歩道橋や標識等に関するデータとみなし、認識部１２は、以下の処理において、このデータを取り扱わない。これにより、道路上の立体物と推定されるデータ、すなわち、道路面よりも高く、自車両の車高よりも低いデータのみが、立体物データとして選別される。
【００３７】
その後、この区分内の全データについて、同様の処理が繰り返し実行されて、その区分内の立体物データが順次抽出される。例えば、ｉ座標を基準に、ｊ座標を0〜199まで順次シフトしながらデータを選択していき、そして、隣のｉ座標（ｉ＋１座標）に移り、同様に、ｊ座標を順次シフトしながらデータの選択が行われるといった如くである。
【００３８】
そして、１つの区分内において、上述した立体物の推定処理が完了すると、抽出された立体物データに関し、ヒストグラム（距離頻度分布）が作成される。この距離頻度分布は、予め設定された距離（例えば、15m）の区間に含まれる立体物データの個数を数えることで、距離ｚを横軸とした立体物データの頻度として表される。この距離頻度分布が作成されたら、分布の度数が所定のしきい値以上で、かつ、最頻距離となる区間を検出する。このとき、認識部１２は、この条件に該当する区間があれば、その区分には立体物が存在すると判断する。そして、その区間内に存在する個数相当の距離の平均値または代表値、或いは、該当区間の中間値が、その立体物までの距離として算出される。
【００３９】
一般に、ステレオマッチングによって算出される距離画像データＤpは、ミスマッチング等の影響によって、誤差データを含むことが多い。このような誤差データの一態様として、ある実空間上の位置に立体物が存在しないにも拘わらず、その位置に値をもったデータが算出されてしまうことがある。そこで、作成された距離頻度分布において、予め設定したしきい値以上かつ最大値をとる区間があれば、その区間に立体物が存在すると判断し、また、度数の最大値が判定値以下の場合は物体が存在しないと判断することが好ましい。なぜならば、ある程度の大きさの立体物がある場合には、その区間の度数が大きくなる傾向があり、一方、物体が何も存在しない場合には、たとえ誤ったデータが存在したとしても、発生する度数が小さくなる傾向があるからである。これにより、データに多少のノイズが含まれている場合においても、この影響を最小限にして立体物を検出することができる。
【００４０】
そして、次の区分（例えば、左端から２番目の区分）のデータが順次選択され、道路面より上にあるデータの抽出、距離頻度分布の作成、および、区間内での立体物の存在と、立体物までの距離の算出がデータ毎に行われる。そして、この処理が分割された距離画像データＤpの全ての区分について行われる。これにより、分割された複数の区分と、それぞれの区分内に関する視差群に基づき特定された監視領域内の距離とが対応付けられた距離算出データＤcが算出される。
【００４１】
図７は、距離算出データＤcに関する区分毎に検出した対象物までの距離を説明するための図である。同図において、区分毎の距離に対応する実空間上の位置とが、実線と点とで示されている。ここで、図４を再び参照してみると、レーザレーダ１０からの出力をベースにした距離測定データＤmは、ステレオカメラからの出力、すなわち、画像をベースにした距離算出データＤcと類似したデータであることがわかる。両データＤc，Ｄmは、メインカメラ２またはレーザレーダ１０から立体物までの距離を放射状に測定したデータであり、レーザレーダ１０のスキャン毎の距離は、図７に示す距離算出データＤcの区分毎の距離と対応している。そこで、第１の実施形態では、以下、説明するように両データＤc，Ｄmを統合させることで、距離算出データＤcの原形としての距離画像データＤpと距離測定データＤmとのデータの統合を図っている。
【００４２】
ステップ３に続くステップ４において、データ補正部１３は、画像ベースで算出された距離算出データＤcを補正する。図８は、ステップ４における補正手順を示す詳細なフローチャートである。前提として、データ補正部１３は、認識部１２から出力された距離算出データＤcを取得しているものとする。また、データ補正部１３は、この距離算出データＤcが算出された距離画像データＤp（より具体的には、この距離画像データＤpの元画像である一対の画像データ）に対応するレーザレーダ１０から出力された距離測定データＤmを取得しているものとする。ここで、レーダをベースにした距離測定データＤmにおける測定値の個数をｍ個と定める。また、この距離測定データＤmにおいて、その測定値のデータ上での位置を特定するため、走査範囲左から右にかけて、走査位置と測定値とを対応付けるとともに、１〜ｍまでの番号を昇順に割り当てる。
【００４３】
まず、ステップ４０において、レーダをベースにした距離測定データＤm上の処理対象とする位置を特定する変数ｎとして１がセットされる。このとき、データ補正部１３は、取得したレーダベースの距離測定データＤmに関し、走査範囲の測定回数ｍを把握しており、処理対象とする測定値の最大個数Ｍmaxとして、ｍがセットされる。
【００４４】
そして、ステップ４１において、レーダベースの距離測定データＤm上のｎ番目の位置において、特定すべき測定値が存在するか否かが判断される。このステップ４１で肯定判定された場合、すなわち、位置ｎに測定値（データ）が存在すると判断された場合、データ補正部１３は、ステップ４２に進み、この位置ｎに対応するデータを第１の距離Ｌ1として特定する。換言すれば、距離測定データＤm上の所定位置における監視領域内の立体物までの距離が、第１の距離Ｌ1として特定される。一方、この判断で否定判定された場合、すなわち、位置ｎに測定値が存在しないと判断された場合、データ補正部１３は、後述するステップ４７に進む。
【００４５】
ステップ４２に続くステップ４３において、レーダベースの距離測定データＤm上の位置ｎに対応する画像ベースの距離算出データＤc上の区分が特定される。換言すれば、このステップ４３では、画像ベースの距離算出データＤcにおいて、監視領域内の立体物（正確には、レーダベースの距離測定データＤm上の位置ｎから特定された距離Ｌ1に相当する立体物）までの距離を示す区分が特定される。レーダベースの距離測定データＤm上の位置ｎと、画像ベースの距離算出データＤc上の区分との間には相関があり、以下に示す数式２および３に基づく数式４から、一義的に特定される。
【数２】
ｚo＝Ｌ1×cosθs＋ｄz
ｘo＝Ｌ1×sinθs＋ｄx
【００４６】
ここで、数式２は、図９に示すように、レーダベースの距離測定データＤm上の位置ｎに対応する立体物Ｏの実空間上での座標位置（ｘo，ｚo）を示す。なお、θsは、ｚ軸に平行するレーザレーダ１０の走査方向を基準として、データ上の位置ｎに対応するレーザレーダ１０から立体物Ｏまでの傾き（左側への傾きを「＋θ」、右側への傾きを「−θ」）である。このとき、ｚ軸方向を基準としたメインカメラ２から見た立体物Ｏまでの角度θcは、数式３で表される。
【数３】
θc＝tan-1（ｘo／ｚo）
【００４７】
【数４】
Ｎ＝Ｎcen＋θc／ｄθc
【００４８】
ここで、Ｎは、画像ベースの距離算出データＤcにおいて、一番左側に位置する区分を１として、それと隣り合う方向に存在するそれぞれの区分に昇順で番号を付した際の、区分の番号を示している。また、Ｎcenはｚ軸延在方向に対応する距離算出データＤc上の区分の番号を示し、ｄθcは区分の間隔（例えば、４画素幅の場合、0.2°）を示している。そして、数式４によって算出された区分Ｎに基づき、この区分Ｎに対応付けられた立体物までの距離ｌが第２の距離Ｌ2として特定される。
【００４９】
そして、ステップ４４において、第１の距離Ｌ1と第２の距離Ｌ2とが比較される。そして、この比較結果に応じて、画像をベースにした距離算出データＤc上の区分Ｎに対応付けられた監視領域内の距離ｌを補正する補正値として、第３の距離Ｌ3が決定される。第１の実施形態では、第１の距離Ｌ1と第２の距離Ｌ2との差（具体的には、両者の絶対値（｜Ｌ1−Ｌ2｜））が、所定のしきい値Ｌth以下であるか否かにより、その第３の距離Ｌ3の値が決定される。
【００５０】
このステップ４４で肯定判定された場合、データ補正部１３は、第１の距離Ｌ1と第２の距離Ｌ2とが近似する値であると判断する。そして、ステップ４５に進み、第３の距離Ｌ3として、レーザレーダ１０からの出力をベースにしたＬ1（第１の距離）がセットされる。そして、これにともない画像ベースの距離算出データＤcにおいて、特定された区分Ｎに対応付けられた監視領域内の距離ｌが、第１の距離Ｌ1に補正される。
【００５１】
一般に、画像をベースにした距離画像データＤp、或いは、その変形である距離算出データＤcは、大小様々な物体（特に小さいな物体）を広く検出できるため、検出精度の点で有利である。一方、レーダをベースにした距離測定データＤmは、検出精度の点ではステレオカメラより劣るものの、計測された距離の信頼性（測距精度）の点で有利である。そこで、第１の実施形態では、レーダをベースにした第１の距離Ｌ1に優位性を持たせ、この値を信頼することで、監視精度の信頼性の向上を図っている。
【００５２】
一方、先のステップ４４で否定判定された場合には、データ補正部１３は、第１の距離Ｌ1と第２の距離Ｌ2とが異なる値であると判断する。そして、ステップ４６に進み、第３の距離Ｌ3として、ステレオカメラからの出力をベースにしたＬ2（第２の距離）がセットされる。これにより、画像ベースの距離算出データＤcにおいて、特定された区分Ｎに対応付けられた監視領域内の距離ｌが、第２の距離Ｌ2に補正される（すなわち、距離ｌがそのまま維持される）。
【００５３】
一般に、レーダをベースにした距離Ｌ1と、画像をベースにした距離Ｌ2とに関して、ある区分に存在する同一物体の距離を示す限り、両者の値が大きく異なることは少ない。しかしながら、別個の物体の距離を示す場合、或いは、両者の測距原理の相違が顕著に出現する場合には、距離Ｌ1，Ｌ2が異なってしまうことがある。そこで、このような場合には、様々な物体を高精度に検出可能な画像ベースの距離算出データＤcを優先し、画像ベースの距離Ｌ2を採用する。これにより、監視精度の信頼性の向上を図る。
【００５４】
そして、ステップ４７において、Ｍmaxとｎが一致するか否かが判断される。このステップ４７で肯定判定された場合、データ補正部１３は、画像をベースにした距離算出データＤcとレーダをベースにした距離測定データＤmとの統合が全ての位置ｎにおいて行われたと判断し、本ルーチンを抜ける。一方、このステップ４７で否定判定された場合、ステップ４８に進み、変数ｎとして、ｎ＋１がセットされる。そして、ｎがＭmaxと一致するまで、上述した処理が繰り返し実行される。
【００５５】
そして、図５のステップ４に続くステップ５において、認識部１２は、距離算出データＤc’（すなわち、データ補正部１３によって補正された距離算出データＤc）に基づき、立体物の認識を行う。具体的には、区分毎の距離を画像の左から右へ順次比較してゆき、前後方向および横方向の距離が接近しているものがグループとしてまとめられる。そして、各グループについてデータの並び方向をチェックし、この並び方向が大きく変化する部分でグループが分割されるとともに、グループ全体としてのデータの並び方向から個々のグループが立体物或いは壁部に分類される。ここで、立体物とは先行車、人或いは障害物等をいい、壁部とはガードレール等の道路側部の側壁をいう。そして、立体物と分類されたグループについて、グループ内のデータから平均距離および（左右）端部の位置等が、パラメータとして算出される。一方、側壁と分類されたグループについては、並び方向および（前後）端部の位置等がパラメータとして算出される。そして、制御部１４は、認識された先行車、人或いは障害物までの距離、および、道路状況に基づき、ドライバーに警報を与えたり、車両制御を行ったりする。
【００５６】
なお、この立体物或いは壁部の認識に際してグループのパラメータを算出するが、このとき、補正された距離算出データＤc’において、グループを構成する区分のなかに、第１の距離Ｌ1に補正された距離が含まれていることがある。この場合には、この補正された距離Ｌ1のみを使って、グループの距離が算出されることが好ましい。上述したように、レーザレーダ１０は、測距精度が高いので、その値のみを使用することで、測距精度の向上が図れるからである。なお、グループを構成する区分の中に補正された距離が複数存在する場合には、それらの平均値を用いることがより好ましい。
【００５７】
以上説明したように、第１の実施形態のステレオ式監視システム１によれば、画像をベースにした距離算出データＤcとレーダをベースにした距離測定データＤmとをデータ上で統合することができる。これにより、大小様々な物体を広く検出できるステレオ画像認識の長所と、計測された距離の信頼性に優れるレーザレーダ１０の長所との両立を図ることができるので、監視精度における信頼性の一層の向上を図ることができる。また、第１の実施形態のステレオ式監視システム１によれば、従来の技術のように、レーザレーダ１０からのデータに基づき、処理エリアを設定し、この処理エリアのみを処理対象としてステレオマッチングを行う等といった煩雑な作業が必要とされないので、このための機器や部品を省略することができる。
【００５８】
なお、第１の実施形態において、第１の距離Ｌ1と第２の距離Ｌ2と差がしきい値以下である場合、この両者Ｌ1とＬ2との平均値を第３の距離Ｌ3として決定してもよい。また、第１の実施形態では、第１の距離Ｌ1と第２の距離Ｌ2とを比較したが、レーダベースの距離測定データＤmにおける測距精度に信頼性をおき、このデータの値を常に採用することも可能である。換言すれば、特定された区分Ｎに対応付けられた監視領域内の距離ｌを、常に第１の距離Ｌ1に補正してもよい。
【００５９】
（第２の実施形態）
図１０は、第２の実施形態にかかる監視処理の詳細な手順を示すフローチャートである。第２の実施形態にかかる監視手順が、第１の実施形態にかかる手順と相違する点は、同図に示すステップ６以降の処理の手法であり、同様の手順については、ここでの説明を省略する。
【００６０】
具体的には、第２の実施形態と、第１の実施形態との相違は、視差補正を行うことである。レーダをベースにした距離測定データＤmと、画像をベースにした距離算出データＤcとに関して、ある区分に存在する同一物体の距離を示す限り、両者の距離の値が異なることは好ましくない。そこで、第２の実施形態では、図１１に示すように、ステレオ式監視システム１ａは、視差補正部１５において、画像ベースの距離算出データＤcがレーダベースの距離測定データＤmと一致するように、距離の誤差を補正する。
【００６１】
この視差補正部１５は、レーザレーダ１０から出力された距離測定データＤmと、認識部１２から出力された距離算出データＤcとに基づき、消失点視差ｄpを算出する。ここで、消失点視差ｄpは、距離補正値としてのパラメータである。
そして、この算出された消失点視差ｄp（正確には、複数の消失点視差ｄpの平均値である消失点視差ｄp’）が、認識部１２に反映される。これにより、認識部１２は、この消失点視差ｄp’に基づき、画像をベースにした距離算出データＤc’を新たに算出し、監視領域内の立体物を認識することができる。
【００６２】
図１２は、図１０に示すステップ６における詳細な手順を示したフローチャートである。なお、ここで、ステップ６０〜ステップ６３については、上述したステップ４０〜ステップ４３と同様であるため、ここでの詳細な説明は省略する。
【００６３】
ステップ６４において、視差補正部１５は、第１の距離Ｌ1と第２の距離Ｌ2とに基づき、上述したパラメータとしての消失点視差ｄpを算出する。具体的には、以下に示す数式５に基づき、画像をベースにした距離算出データＤcにおける第２の距離Ｌ2を、レーダをベースにした距離測定データＤmにおける第１の距離Ｌ1と一致させるように、消失点視差ｄpが算出される。
【数５】
ｄp＝ｄpx−ＫＺＨ／ｚ
【００６４】
ここで、数式５は、数式６で示される周知の座標変換式から特定される。
【数６】
ｚ＝ＫＺＨ／（ｄpx−ｄp）
【００６５】
ＫＺＨは所定の定数（カメラ基線長／水平視野角）であり、ｄpxはステレオカメラからの出力をベースにした第２の距離Ｌ2に対応する視差ｄである。そして、ｚにはレーザレーダ１０からの出力をベースにした測定値、すなわち、第１の距離Ｌ1が代入される。
【００６６】
なお、ステップ３において距離算出データＤcを算出する時点では、このｄpは０、または、初期設定値としての所定の値を使用すること好ましい。
【００６７】
そして、ステップ６５において、Ｍmaxとｎが一致するか否かが判断される。
このステップ６５で肯定判定された場合、視差補正部１５は、距離算出データＤcの全区分において、消失点視差ｄpが算出されたと判断し、ステップ６７に進む。一方、このステップ６５で否定判定された場合、ステップ６６に進み、ｎがｎ＋１にセットされる。そして、ｎがＭmaxと一致するまで処理が繰り返し実行される。
【００６８】
そして、ステップ６５に続くステップ６７において、この算出された全部の消失点視差ｄpの平均値ｄp’が算出されて、本ルーチンを抜ける。
【００６９】
ステップ６に続くステップ７において、認識部１２は、再度、距離画像データＤpを複数の区分に分割する。そして、区分内に存在する視差群と消失点視差ｄp’とに基づき、数式６を含む周知の座標変換式を用いて、三次元位置が算出される。そして、上述したステップ３で示した手法と同様の手順により、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データＤc’が算出される。この距離算出データＤc’は、座標変換された時点で、レーダをベースにした距離測定データＤmとの統合が成されているため、第１の実施形態で述べた補正された距離算出データＤc’と略同一なデータとして算出される。
【００７０】
そして、ステップ８において、認識部１２は、この補正された距離算出データＤc’に基づき、立体物の認識を行う。これにともない、制御部１４は、認識された先行車との距離、および、道路状況に基づき、ドライバーに警報を与えたり、車両制御を行ったりする。
【００７１】
なお、ステップ６において、消失点視差ｄp’が一度算出されてしまえば、以降の処理でこの値を引き続き使用することができる。したがって、次に処理対象とするフレームについては、ステップ３〜６の処理はスキップすることができる。ただし、この消失点視差ｄp（或いは、消失点視差ｄp’）を、所定フレーム間隔で特定することで、適宜最適な消失点視差ｄpを採用できるので好ましい。
【００７２】
以上説明したように、第２の実施形態のステレオ式監視システム１ａによれば、設定消失点を補正することにより、対象物に関する三次元情報の精度の向上を図ることができる。
【００７３】
なお、本実施形態では、車外監視を例にとって説明したが、本発明がこれに限定されるものではない。このような手法を用いた適用例としては、ステレオ画像処理とレーザレーダを併用した踏切監視、地形認識または高度測定といった様々な用途に適用可能である。
【００７４】
【発明の効果】
このように、本発明によれば、レーザレーダからの出力データとしての距離測定データの所定位置における距離を用いて、認識部からの出力データとしての距離算出データ上における対応する区分の距離を補正している。これにより、距離測定データと距離算出データとが統合されたデータを用いて立体物を認識することができるので、監視精度の向上を図ることができる。
【図面の簡単な説明】
【図１】第１の実施形態にかかるステレオ式監視システムを示すブロック図
【図２】基準画像に設定される画素ブロックの説明図
【図３】レーザレーダの距離検出を示す説明図
【図４】レーザレーダの距離検出を示す説明図
【図５】第１の実施形態にかかる監視手順を示したフローチャート
【図６】格子状に分割された距離画像データの説明図
【図７】距離算出データに関する区分毎に検出した対象物までの距離の説明図
【図８】図５に示すステップ４における補正手順を示す詳細なフローチャート
【図９】距離測定データと距離算出データとの相関を示した説明図
【図１０】第２の実施形態にかかる監視処理の詳細な手順を示すフローチャート
【図１１】第２の実施形態にかかるステレオ式監視システムを示すブロック図
【図１２】図１０に示すステップ６における詳細な手順を示したフローチャート
【符号の説明】
１，１ａ ステレオ式監視システム
２ メインカメラ
３ サブカメラ
４ Ａ／Ｄコンバータ
５ Ａ／Ｄコンバータ
６ 画像補正部
７ ステレオ画像処理部
８ 画像データメモリ
９ 距離データメモリ
１０ レーザレーダ
１１ マイクロコンピュータ
１２ 認識部
１３ データ補正部
１４ 制御部
１５ 視差補正部
【発明の属する技術分野】
本発明は、監視領域内の状況を監視する監視システムおよび監視方法に関し、また、この監視システムにおける距離補正装置および距離補正方法にも関する。
【０００２】
【従来の技術】
近年、所定の監視領域内の状況を監視する監視装置が注目・実用化されている。この監視装置は、車両や航空機等の移動体に搭載され、或いは、支柱等の静止体に固定されている。前者の一例であるステレオ式車外監視装置は、車両に搭載されたステレオカメラによって所定の監視領域内の景色を撮像し、これにより得られた情報に基づいて、走行状況を認識する。ステレオ式監視装置では、一対の撮像画像（ステレオ画像）に写し出された同一対象物に関する位置的なずれ量（すなわち視差）が、ステレオマッチングによって算出される。画像に写し出されたある対象物の実空間上の位置（三次元的な位置）は、その対象物に関して算出された視差と画像平面上の位置とに基づいて、周知の座標変換式より算出可能である。
【０００３】
さらに、監視精度の一層の向上を目的として、ステレオカメラとレーザレーダとを併用した監視装置も提案されている。例えば、特開平７−１２５５６７号公報および特開平７−３２０１９９号公報には、レーザレーダで監視領域内の対象物の位置を検出するとともに、監視領域内の景色を撮像した画像平面上において、この検出位置に対応する領域に処理エリアを設定する技術が開示されている。そして、画像平面上に設定された処理エリアを処理対象として、ステレオマッチングを行うことにより、対象物までの距離を検出する。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記公報に開示された従来技術では、レーザレーダからのデータに基づき、処理エリアを設定した上で、この処理エリアを処理対象としたステレオマッチングを行う必要がある。そのため、複雑な処理が必要となり、システム構成の複雑化を招くため好ましくない。また、距離センサは、距離の算出精度には優れるものの、先行車等以外の物体に関しては、検出精度があまり高くないという問題がある。そのような物体の典型例としては歩行者が挙げられる。歩行者は、画像処理による検出が比較的容易である反面、レーザレーダでは検出し難い物体である。
【０００５】
本発明は、このような事情に鑑みてなされたものであり、その目的は、ステレオカメラにより得られる距離画像データと、レーザレーダより得られる距離測定データとを統合することによって、対象物の認識精度の一層の向上を図ることである。
【０００６】
また、この発明の別の目的は、予め設定された消失点を用いて対象物に関する三次元情報を求める場合、この設定消失点を補正することにより、対象物に関する三次元情報の精度の一層の向上を図ることである。
【０００７】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、監視領域内の状況を監視する監視システムにおいて、ステレオカメラと、ステレオ画像処理部と、レーザレーダと、認識部と、データ補正部とを有する監視システムを提供する。ここで、ステレオカメラは、監視領域を含む景色を撮像し、一対の画像データを出力する。また、ステレオ画像処理部は、一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、１フレーム相当の画像データに関する視差群と、この画像データにより規定される画像平面上の位置とが対応付けられた距離画像データを出力する。また、レーザレーダは、監視領域内の距離を測定し、監視領域内の距離の二次元的な分布を距離測定データとして出力する。認識部は、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出する。そして、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データが算出される。さらに、データ補正部は、距離測定データ上の所定位置における監視領域内の立体物までの距離を第１の距離として特定する。そして、距離算出データにおいて立体物までの距離を示す区分を特定することにより、この特定された区分に関して算出された距離が、第１の距離に補正される。このとき、認識部は、補正部によって補正された距離算出データに基づき、監視領域内の立体物を認識する。
【０００８】
また、第２の発明は、監視領域内の状況を監視する監視システムにおいて、ステレオカメラと、ステレオ画像処理部と、レーザレーダと、認識部と、データ補正部とを有する監視システムを提供する。ここで、ステレオカメラは、監視領域を含む景色を撮像し、一対の画像データを出力する。また、ステレオ画像処理部は、一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、１フレーム相当の画像データに関する視差群と、画像データにより規定される画像平面上の座標位置とが対応付けられた距離画像データを出力する。また、レーザレーダは、監視領域内の距離を測定し、この監視領域内の距離の二次元的な分布を距離測定データとして出力する。また、認識部は、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出する。そして、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データが算出される。データ補正部は、距離測定データ上の所定位置における監視領域内の立体物までの距離を第１の距離として特定する。また、距離算出データにおいて立体物までの距離を示す区分を特定することにより、この特定された区分に関して算出された距離が第２の距離として特定される。そして、第１の距離と第２の距離とが比較されることにより、特定された区分に関して算出された距離を補正する補正値としての第３の距離が決定される。このとき、認識部は、補正された距離算出データに基づき、監視領域内の立体物を認識する。
【０００９】
ここで、第２の発明において、データ補正部は、距離測定データ上の所定位置において、立体物までの距離に相当する測定値があると判断した場合には、測定値を第１の距離として決定することが好ましい。
【００１０】
この場合、データ補正部は、第１の距離と第２の距離との差が所定のしきい値以内である場合には、第１の距離を第３の距離として決定することが好ましい。または、データ補正部は、第１の距離と第２の距離との差が所定のしきい値より大きい場合には、第２の距離を第３の距離として決定することが好ましい。
【００１１】
あるいは、この場合、データ補正部は、第１の距離と第２の距離との差が所定のしきい値以内である場合には、第１の距離と第２の距離との平均値を第３の距離として決定することが好ましい。また、データ補正部は、第１の距離と第２の距離との差が所定のしきい値より大きい場合には、第２の距離を第３の距離として決定することが好ましい。
【００１２】
また、第３の発明は、監視システムの距離補正装置において、ステレオカメラと、ステレオ画像処理部と、認識部と、視差補正部とを有する監視システムの距離補正装置を提供する。ここで、ステレオカメラは、監視領域を含む景色を撮像し、一対の画像データを出力する。ステレオ画像処理部は、一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、１フレーム相当の画像データに関する視差群と、画像データにより規定される画像平面上の座標位置とが対応付けられた距離画像データを出力する。レーザレーダは、監視領域内の距離を測定するとともに、監視領域内の距離の二次元的な分布を距離測定データとして出力する。認識部は、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出する。そして、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データを算出する。そして、この距離算出データに基づき立体物が認識される。視差補正部は、距離測定データ上の所定位置における監視領域内の立体物までの距離を第１の距離として特定する。そして、距離算出データにおいて立体物までの距離を示す区分を特定することにより、この特定された区分に関して算出された距離が第２の距離として特定される。そして、第１の距離と第２の距離とに基づきパラメータが算出される。
【００１３】
また、第４の発明は、距離画像データと、距離測定データとを用いて監視領域内の状況を監視する監視方法を提供する。ここで、距離画像データは、監視領域を含む景色が撮像された一対の画像データに基づいて、ステレオマッチングにより算出された１フレーム相当の画像データに関する視差群と画像データにより規定される画像平面上の位置とが対応付けられている。また、距離測定データは、レーザレーダにより監視領域内の距離が測定されて距離の二次元的な分布として算出される。この監視方法において、第１のステップは、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出するとともに、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データを算出する。第２のステップは、距離測定データ上の所定位置における監視領域内の立体物までの距離を第１の距離として特定する。第３のステップは、距離算出データにおいて、立体物までの距離を示す区分を特定する。第４のステップは、距離算出データにおいて、特定された区分に関して算出された距離を、第１の距離に補正する。そして、第５のステップは、第４のステップにおいて補正された距離算出データに基づき、監視領域内の立体物を認識する。
【００１４】
また、第５の発明は、距離画像データと、距離測定データとを用いて監視領域内の状況を監視する監視方法を提供する。ここで、距離画像データは、監視領域を含む景色が撮像された一対の画像データに基づいて、ステレオマッチングにより算出された１フレーム相当の画像データに関する視差群と画像データにより規定される画像平面上の位置とが対応付けられている。また、距離測定データは、レーザレーダにより監視領域内の距離が測定されて距離の二次元的な分布として算出される。この監視方法において、第１のステップは、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出するとともに、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データを算出する。第２のステップは、距離測定データ上の所定位置における監視領域内の立体物までの距離を第１の距離として特定する。第３のステップは、距離算出データにおいて、立体物までの距離を示す区分を特定する。第４のステップは、距離算出データにおいて、特定された区分に関して算出された距離を第２の距離として特定する。第５のステップは、第１の距離と第２の距離とを比較することにより、特定された区分に関して算出された距離を補正する補正値としての第３の距離を決定する。第６のステップは、補正された距離算出データに基づき、監視領域内の立体物を認識する。
【００１５】
ここで、第５の発明において、第２のステップは、距離測定データ上の所定位置において、立体物までの距離に相当する測定値があると判断した場合には、測定値を第１の距離として決定する。
【００１６】
この場合、第５のステップは、第１の距離と第２の距離との差が所定のしきい値以内である場合には、第１の距離を第３の距離として決定する。あるいは、第５のステップは、第１の距離と第２の距離との差が所定のしきい値より大きい場合には、第２の距離を第３の距離として決定するステップを有することが好ましい。
【００１７】
また、この場合、第５のステップは、第１の距離と第２の距離との差が所定のしきい値以内である場合には、第１の距離と第２の距離との平均値を第３の距離として決定する。あるいは、第５のステップは、第１の距離と第２の距離との差が所定のしきい値より大きい場合には、第２の距離を第３の距離として決定するステップを有することが好ましい。
【００１８】
さらに、第６の発明は、監視システムの距離補正方法を提供する。この距離補正方法において、第１のステップは、監視領域を含む景色を撮像し、一対の画像データを出力する。第２のステップは、一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、１フレーム相当の画像データに関する視差群と、画像データにより規定される画像平面上の座標位置とが対応付けられた距離画像データを出力する。第３のステップは、監視領域内の距離を測定するとともに、監視領域内の距離の二次元的な分布を距離測定データとして出力する。第４のステップは、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出するとともに、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データを算出する。第５のステップは、距離測定データ上の所定位置における監視領域内の立体物までの距離を第１の距離として特定する。第６のステップは、距離算出データにおいて、監視領域内の立体物までの距離を示す区分を特定する。第７のステップは、特定された区分に対応付けられた監視領域内の距離を第２の距離として特定する。第８のステップは、第１の距離と第２の距離とに基づきパラメータを算出する。第９のステップは、算出された距離算出データに基づき立体物を認識する。
【００１９】
【発明の実施の形態】
（第１の実施形態）
図１は、第１の実施形態にかかるステレオ式監視システムのブロック構成図である。このステレオ式監視システム１は、自動車等の車両に搭載され、車両前方の走行状況を監視する。車両前方の監視領域内の景色を撮像するステレオカメラは、ルームミラーの近傍に取り付けられている。このステレオカメラは、一対のカメラ２，３で構成されており、それぞれのカメラ２，３には、イメージセンサ（例えば、ＣＣＤまたはＣＭＯＳセンサ等）が内蔵されている。メインカメラ２は、ステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ３は、比較画像（左画像）を撮像する。互いの同期が取れている状態において、カメラ２，３から出力された各アナログ画像は、Ａ／Ｄコンバータ４，５により、所定の輝度階調（例えば、256階調のグレースケール）のデジタル画像に変換される。
【００２０】
デジタル化された一対の画像データは、画像補正部６において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ２，３の取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の各画像に生じている。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。
【００２１】
このような画像処理を経て、メインカメラ２より基準画像データが得られ、サブカメラ３より比較画像データが得られる。これらの画像データ（ステレオ画像データ）は、各画素の輝度値（0〜255）の集合である。ここで、画像データによって規定される画像平面は、ｉ−ｊ座標系で表現され、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。１フレーム（１画像の表示単位）相当のステレオ画像データは、後段のステレオ画像処理部７に出力されるとともに、後段の画像データメモリ８に格納される。
【００２２】
ステレオ画像処理部７は、基準画像データと比較画像データとに基づいて、１フレーム相当の撮像画像に関する距離画像データＤpを算出する。ここで、「距離画像データ」とは、画像データによって規定される画像平面において小領域毎に算出された視差ｄの集合であり、個々の視差ｄは画像平面上の位置（ｉ，ｊ）と対応付けられている。視差ｄの算出単位は、基準画像の一部を構成する所定面積（例えば、4×4画素）の画素ブロックであり、１つの画素ブロックより１つの視差が算出される。
【００２３】
図２は、基準画像に設定される画素ブロックの説明図である。例えば、基準画像が200×512画素で構成されている場合、１フレーム相当の撮像画像から、画素ブロックＰＢijの個数相当（50×128個）の視差群が算出され得る。周知のように、視差ｄは、その算出単位である画素ブロックＰＢijに関する水平方向のずれ量であり、画素ブロックＰＢijに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢij内に写し出されている対象物がカメラ２，３に近いほど、この画素ブロックＰＢijの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは0になる）。
【００２４】
ある画素ブロックＰＢij（相関元）に関する視差ｄを算出する場合、この画素ブロックＰＢijの輝度特性と相関を有する領域（相関先）を比較画像において特定する。上述したように、カメラ２，３から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰijのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部７は、相関元のｉ座標を基準に設定された所定の探索範囲内において、エピポーラライン上を１画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量を、その画素ブロックＰＢijの視差ｄとする。
【００２５】
２つの画素ブロックの相関は、例えば、シティブロック距離ＣＢを算出することにより評価することができる。数式１は、シティブロック距離ＣＢの基本形を示す。同数式において、ｐ１ijは一方の画素ブロックのｉｊ番目の画素の輝度値であり、ｐ２ijは他方の画素ブロックのｉｊ番目の輝度値である。シティブロック距離ＣＢは、位置的に対応した輝度値ｐ１ij，ｐ２ijの差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味している。
【数１】
ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜
【００２６】
基本的に、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる画素ブロックが相関先と判断される。そして、このようにして特定された相関先と相関元との間のずれ量が視差ｄとなる。なお、シティブロック距離ＣＢを算出するステレオ画像処理部７のハードウェア構成については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。このような処理を経て算出された距離画像データＤp、すなわち、画像上の位置（ｉ，ｊ）と対応付けられた視差ｄの集合が、距離データメモリ９に格納される。
【００２７】
また、ステレオ式監視システム１において、監視領域内の距離を測定するレーザレーダ１０が、車両前部に取り付けられている。このレーザレーダ１０は、図３に示すように、縦長のレーザビーム（例えば、上下方向に±2°、左右方向に0.03°）を照射し、地面より高い位置にある監視領域内の立体物の距離を検出する。図４に示すように、このレーザレーダ１０は、一定間隔毎にレーザビームを発光・受光しながら、所定の走査範囲内で水平方向の走査を行うことにより、距離を順次検出していく。そして、走査範囲内の一連の検出動作にともない、それぞれの走査位置に対応した所定個数の測定値の集合が距離測定データＤmとして算出される。換言すれば、この距離測定データＤmは、監視領域内における距離の二次元的な分布である。この検出動作は、カメラ２，３の撮像動作とタイミングを同期して行われ、１フレーム相当の画像データの出力と対応して、距離測定データＤmがマイクロコンピュータ１１（具体的には、データ補正部１３）に出力される。
【００２８】
マイクロコンピュータ１１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等で構成されているが、これを機能的に捉えた場合、認識部１２、データ補正部１３および制御部１４を有する。
【００２９】
認識部１２は、画像データまたは距離画像データＤpに基づき、監視領域内の道路形状を特定する。そして、距離画像データＤpにより規定される二次元平面を複数の区分に分割し、特定された道路形状に基づき、区分内に存在する視差群に基づいて監視領域内の距離が算出される。そして、分割された区分のそれぞれと、この算出された距離とが対応付けられた距離算出データＤcが算出される。なお、この距離算出データＤcに関して、各区分に対応付けられた距離は、それぞれ補正可能な値であり、データ補正部１３において補正される。認識部１２は、データ補正部１３によって補正された距離算出データＤc’に基づき、監視領域内の立体物を認識する。
【００３０】
データ補正部１３は、レーザレーダ１０の出力データである距離測定データＤmに基づき、認識部１２の出力データである距離算出データＤcを補正し、それを距離算出データＤc’として認識部１２に出力する。
【００３１】
制御部１４は、認識部１２における認識結果に基づき、必要に応じて、図示しない警報装置や制御装置等の制御を行う。例えば、先行車との車間距離が短くなり、ドライバーへの警報が必要な走行状況では、モニタやスピーカ等の警報装置を動作させて、ドライバーの注意を喚起する。また、このような状況で車両を減速させるべく、ブレーキの動作、自動変速機のシフトダウン、エンジン出力の低下等を行う。
【００３２】
図５は、第１の実施形態にかかる監視手順を示したフローチャートである。本ルーチンは、所定の間隔で呼び出され、マイクロコンピュータ１１によって実行される。まず、ステップ１において、認識部１２は、一対の画像データ（以下、単に「画像データ」と称する）を画像データメモリ８から読み込み、また、この画像データに対応する距離画像データＤpを距離データメモリ９から読み込む。
【００３３】
ステップ２において、認識部１２は、画像データまたは距離画像データＤpに基づき、監視領域内の道路形状を特定する。この処理では、道路モデルのパラメータを実際の道路形状に対応するよう補正・変更することで、道路形状が特定される。この道路モデルは、実空間の座標系において、水平方向の直線式、および、垂直方向の直線式により特定される。この直線式は、道路上の自車線を、設定した距離によって複数個の区間に分け、区間毎に左右の白線等を三次元の直線式で近似して折れ線状に連結することにより、算出可能である。なお、道路モデルの詳細については、本出願人によって既に出願されている特開２００１−１６０１３７号公報に開示されているので、必要ならば参照されたい。
【００３４】
ステップ３において、認識部１２は、距離算出データＤcを算出する。この距離算出データＤcは、以下に説明するように、距離画像データＤpにより規定される二次元平面を複数の区分に分割し、それぞれの区分に関して一つ算出される代表距離の集合である。ある区分に関する代表距離は、その区分内に存在する視差群より一義的に算出される。
【００３５】
具体的には、図６に示すように、まず、読み込まれた距離画像データＤpによって規定されるｉｊ平面を、所定の間隔で（例えば、水平方向に４画素間隔）で分割することにより、格子状（縦短冊状）の複数の区分を規定する。そして、水平方向に並んだ複数の区分のうち、一つの区分（例えば、一番左端の区分）が選択される。
つぎに、選択された区分において、この区分内に存在する全データの中から、任意のデータ（例えば、（ｉ，ｊ）位置が最も原点に近いデータ）が選択される。ここで、「データ」とは、位置（ｉ，ｊ）に対応付けられた視差ｄをいう。そして、選択されたデータについて、周知の座標変換式に基づき、三次元位置（ｘ，ｙ，ｚ）が算出される。自車両の位置を基準に設定された実空間の座標系は、メインカメラ２の中央真下の道路面を原点として、車幅方向をｘ軸、車高方向をｙ軸、車長方向（距離方向）をｚ軸とする。そして、上述した道路モデルの直線式を使って、この距離ｚにおける道路面の高さが算出される。この道路面の高さと、座標変換されたデータの高さを比較して、このデータが道路面より上にある場合には、そのデータが立体物データとして抽出される。
【００３６】
このとき、道路面からの高さの差が小さい（例えば、高さが0.1ｍ程度以下）データは、道路上の白線や汚れ、影等に関するデータとみなす。この場合、認識部１２は、以下の処理において、このデータを取り扱わない。一方、その高さが自車両の高さより上にあるデータは、歩道橋や標識等に関するデータとみなし、認識部１２は、以下の処理において、このデータを取り扱わない。これにより、道路上の立体物と推定されるデータ、すなわち、道路面よりも高く、自車両の車高よりも低いデータのみが、立体物データとして選別される。
【００３７】
その後、この区分内の全データについて、同様の処理が繰り返し実行されて、その区分内の立体物データが順次抽出される。例えば、ｉ座標を基準に、ｊ座標を0〜199まで順次シフトしながらデータを選択していき、そして、隣のｉ座標（ｉ＋１座標）に移り、同様に、ｊ座標を順次シフトしながらデータの選択が行われるといった如くである。
【００３８】
そして、１つの区分内において、上述した立体物の推定処理が完了すると、抽出された立体物データに関し、ヒストグラム（距離頻度分布）が作成される。この距離頻度分布は、予め設定された距離（例えば、15m）の区間に含まれる立体物データの個数を数えることで、距離ｚを横軸とした立体物データの頻度として表される。この距離頻度分布が作成されたら、分布の度数が所定のしきい値以上で、かつ、最頻距離となる区間を検出する。このとき、認識部１２は、この条件に該当する区間があれば、その区分には立体物が存在すると判断する。そして、その区間内に存在する個数相当の距離の平均値または代表値、或いは、該当区間の中間値が、その立体物までの距離として算出される。
【００３９】
一般に、ステレオマッチングによって算出される距離画像データＤpは、ミスマッチング等の影響によって、誤差データを含むことが多い。このような誤差データの一態様として、ある実空間上の位置に立体物が存在しないにも拘わらず、その位置に値をもったデータが算出されてしまうことがある。そこで、作成された距離頻度分布において、予め設定したしきい値以上かつ最大値をとる区間があれば、その区間に立体物が存在すると判断し、また、度数の最大値が判定値以下の場合は物体が存在しないと判断することが好ましい。なぜならば、ある程度の大きさの立体物がある場合には、その区間の度数が大きくなる傾向があり、一方、物体が何も存在しない場合には、たとえ誤ったデータが存在したとしても、発生する度数が小さくなる傾向があるからである。これにより、データに多少のノイズが含まれている場合においても、この影響を最小限にして立体物を検出することができる。
【００４０】
そして、次の区分（例えば、左端から２番目の区分）のデータが順次選択され、道路面より上にあるデータの抽出、距離頻度分布の作成、および、区間内での立体物の存在と、立体物までの距離の算出がデータ毎に行われる。そして、この処理が分割された距離画像データＤpの全ての区分について行われる。これにより、分割された複数の区分と、それぞれの区分内に関する視差群に基づき特定された監視領域内の距離とが対応付けられた距離算出データＤcが算出される。
【００４１】
図７は、距離算出データＤcに関する区分毎に検出した対象物までの距離を説明するための図である。同図において、区分毎の距離に対応する実空間上の位置とが、実線と点とで示されている。ここで、図４を再び参照してみると、レーザレーダ１０からの出力をベースにした距離測定データＤmは、ステレオカメラからの出力、すなわち、画像をベースにした距離算出データＤcと類似したデータであることがわかる。両データＤc，Ｄmは、メインカメラ２またはレーザレーダ１０から立体物までの距離を放射状に測定したデータであり、レーザレーダ１０のスキャン毎の距離は、図７に示す距離算出データＤcの区分毎の距離と対応している。そこで、第１の実施形態では、以下、説明するように両データＤc，Ｄmを統合させることで、距離算出データＤcの原形としての距離画像データＤpと距離測定データＤmとのデータの統合を図っている。
【００４２】
ステップ３に続くステップ４において、データ補正部１３は、画像ベースで算出された距離算出データＤcを補正する。図８は、ステップ４における補正手順を示す詳細なフローチャートである。前提として、データ補正部１３は、認識部１２から出力された距離算出データＤcを取得しているものとする。また、データ補正部１３は、この距離算出データＤcが算出された距離画像データＤp（より具体的には、この距離画像データＤpの元画像である一対の画像データ）に対応するレーザレーダ１０から出力された距離測定データＤmを取得しているものとする。ここで、レーダをベースにした距離測定データＤmにおける測定値の個数をｍ個と定める。また、この距離測定データＤmにおいて、その測定値のデータ上での位置を特定するため、走査範囲左から右にかけて、走査位置と測定値とを対応付けるとともに、１〜ｍまでの番号を昇順に割り当てる。
【００４３】
まず、ステップ４０において、レーダをベースにした距離測定データＤm上の処理対象とする位置を特定する変数ｎとして１がセットされる。このとき、データ補正部１３は、取得したレーダベースの距離測定データＤmに関し、走査範囲の測定回数ｍを把握しており、処理対象とする測定値の最大個数Ｍmaxとして、ｍがセットされる。
【００４４】
そして、ステップ４１において、レーダベースの距離測定データＤm上のｎ番目の位置において、特定すべき測定値が存在するか否かが判断される。このステップ４１で肯定判定された場合、すなわち、位置ｎに測定値（データ）が存在すると判断された場合、データ補正部１３は、ステップ４２に進み、この位置ｎに対応するデータを第１の距離Ｌ1として特定する。換言すれば、距離測定データＤm上の所定位置における監視領域内の立体物までの距離が、第１の距離Ｌ1として特定される。一方、この判断で否定判定された場合、すなわち、位置ｎに測定値が存在しないと判断された場合、データ補正部１３は、後述するステップ４７に進む。
【００４５】
ステップ４２に続くステップ４３において、レーダベースの距離測定データＤm上の位置ｎに対応する画像ベースの距離算出データＤc上の区分が特定される。換言すれば、このステップ４３では、画像ベースの距離算出データＤcにおいて、監視領域内の立体物（正確には、レーダベースの距離測定データＤm上の位置ｎから特定された距離Ｌ1に相当する立体物）までの距離を示す区分が特定される。レーダベースの距離測定データＤm上の位置ｎと、画像ベースの距離算出データＤc上の区分との間には相関があり、以下に示す数式２および３に基づく数式４から、一義的に特定される。
【数２】
ｚo＝Ｌ1×cosθs＋ｄz
ｘo＝Ｌ1×sinθs＋ｄx
【００４６】
ここで、数式２は、図９に示すように、レーダベースの距離測定データＤm上の位置ｎに対応する立体物Ｏの実空間上での座標位置（ｘo，ｚo）を示す。なお、θsは、ｚ軸に平行するレーザレーダ１０の走査方向を基準として、データ上の位置ｎに対応するレーザレーダ１０から立体物Ｏまでの傾き（左側への傾きを「＋θ」、右側への傾きを「−θ」）である。このとき、ｚ軸方向を基準としたメインカメラ２から見た立体物Ｏまでの角度θcは、数式３で表される。
【数３】
θc＝tan-1（ｘo／ｚo）
【００４７】
【数４】
Ｎ＝Ｎcen＋θc／ｄθc
【００４８】
ここで、Ｎは、画像ベースの距離算出データＤcにおいて、一番左側に位置する区分を１として、それと隣り合う方向に存在するそれぞれの区分に昇順で番号を付した際の、区分の番号を示している。また、Ｎcenはｚ軸延在方向に対応する距離算出データＤc上の区分の番号を示し、ｄθcは区分の間隔（例えば、４画素幅の場合、0.2°）を示している。そして、数式４によって算出された区分Ｎに基づき、この区分Ｎに対応付けられた立体物までの距離ｌが第２の距離Ｌ2として特定される。
【００４９】
そして、ステップ４４において、第１の距離Ｌ1と第２の距離Ｌ2とが比較される。そして、この比較結果に応じて、画像をベースにした距離算出データＤc上の区分Ｎに対応付けられた監視領域内の距離ｌを補正する補正値として、第３の距離Ｌ3が決定される。第１の実施形態では、第１の距離Ｌ1と第２の距離Ｌ2との差（具体的には、両者の絶対値（｜Ｌ1−Ｌ2｜））が、所定のしきい値Ｌth以下であるか否かにより、その第３の距離Ｌ3の値が決定される。
【００５０】
このステップ４４で肯定判定された場合、データ補正部１３は、第１の距離Ｌ1と第２の距離Ｌ2とが近似する値であると判断する。そして、ステップ４５に進み、第３の距離Ｌ3として、レーザレーダ１０からの出力をベースにしたＬ1（第１の距離）がセットされる。そして、これにともない画像ベースの距離算出データＤcにおいて、特定された区分Ｎに対応付けられた監視領域内の距離ｌが、第１の距離Ｌ1に補正される。
【００５１】
一般に、画像をベースにした距離画像データＤp、或いは、その変形である距離算出データＤcは、大小様々な物体（特に小さいな物体）を広く検出できるため、検出精度の点で有利である。一方、レーダをベースにした距離測定データＤmは、検出精度の点ではステレオカメラより劣るものの、計測された距離の信頼性（測距精度）の点で有利である。そこで、第１の実施形態では、レーダをベースにした第１の距離Ｌ1に優位性を持たせ、この値を信頼することで、監視精度の信頼性の向上を図っている。
【００５２】
一方、先のステップ４４で否定判定された場合には、データ補正部１３は、第１の距離Ｌ1と第２の距離Ｌ2とが異なる値であると判断する。そして、ステップ４６に進み、第３の距離Ｌ3として、ステレオカメラからの出力をベースにしたＬ2（第２の距離）がセットされる。これにより、画像ベースの距離算出データＤcにおいて、特定された区分Ｎに対応付けられた監視領域内の距離ｌが、第２の距離Ｌ2に補正される（すなわち、距離ｌがそのまま維持される）。
【００５３】
一般に、レーダをベースにした距離Ｌ1と、画像をベースにした距離Ｌ2とに関して、ある区分に存在する同一物体の距離を示す限り、両者の値が大きく異なることは少ない。しかしながら、別個の物体の距離を示す場合、或いは、両者の測距原理の相違が顕著に出現する場合には、距離Ｌ1，Ｌ2が異なってしまうことがある。そこで、このような場合には、様々な物体を高精度に検出可能な画像ベースの距離算出データＤcを優先し、画像ベースの距離Ｌ2を採用する。これにより、監視精度の信頼性の向上を図る。
【００５４】
そして、ステップ４７において、Ｍmaxとｎが一致するか否かが判断される。このステップ４７で肯定判定された場合、データ補正部１３は、画像をベースにした距離算出データＤcとレーダをベースにした距離測定データＤmとの統合が全ての位置ｎにおいて行われたと判断し、本ルーチンを抜ける。一方、このステップ４７で否定判定された場合、ステップ４８に進み、変数ｎとして、ｎ＋１がセットされる。そして、ｎがＭmaxと一致するまで、上述した処理が繰り返し実行される。
【００５５】
そして、図５のステップ４に続くステップ５において、認識部１２は、距離算出データＤc’（すなわち、データ補正部１３によって補正された距離算出データＤc）に基づき、立体物の認識を行う。具体的には、区分毎の距離を画像の左から右へ順次比較してゆき、前後方向および横方向の距離が接近しているものがグループとしてまとめられる。そして、各グループについてデータの並び方向をチェックし、この並び方向が大きく変化する部分でグループが分割されるとともに、グループ全体としてのデータの並び方向から個々のグループが立体物或いは壁部に分類される。ここで、立体物とは先行車、人或いは障害物等をいい、壁部とはガードレール等の道路側部の側壁をいう。そして、立体物と分類されたグループについて、グループ内のデータから平均距離および（左右）端部の位置等が、パラメータとして算出される。一方、側壁と分類されたグループについては、並び方向および（前後）端部の位置等がパラメータとして算出される。そして、制御部１４は、認識された先行車、人或いは障害物までの距離、および、道路状況に基づき、ドライバーに警報を与えたり、車両制御を行ったりする。
【００５６】
なお、この立体物或いは壁部の認識に際してグループのパラメータを算出するが、このとき、補正された距離算出データＤc’において、グループを構成する区分のなかに、第１の距離Ｌ1に補正された距離が含まれていることがある。この場合には、この補正された距離Ｌ1のみを使って、グループの距離が算出されることが好ましい。上述したように、レーザレーダ１０は、測距精度が高いので、その値のみを使用することで、測距精度の向上が図れるからである。なお、グループを構成する区分の中に補正された距離が複数存在する場合には、それらの平均値を用いることがより好ましい。
【００５７】
以上説明したように、第１の実施形態のステレオ式監視システム１によれば、画像をベースにした距離算出データＤcとレーダをベースにした距離測定データＤmとをデータ上で統合することができる。これにより、大小様々な物体を広く検出できるステレオ画像認識の長所と、計測された距離の信頼性に優れるレーザレーダ１０の長所との両立を図ることができるので、監視精度における信頼性の一層の向上を図ることができる。また、第１の実施形態のステレオ式監視システム１によれば、従来の技術のように、レーザレーダ１０からのデータに基づき、処理エリアを設定し、この処理エリアのみを処理対象としてステレオマッチングを行う等といった煩雑な作業が必要とされないので、このための機器や部品を省略することができる。
【００５８】
なお、第１の実施形態において、第１の距離Ｌ1と第２の距離Ｌ2と差がしきい値以下である場合、この両者Ｌ1とＬ2との平均値を第３の距離Ｌ3として決定してもよい。また、第１の実施形態では、第１の距離Ｌ1と第２の距離Ｌ2とを比較したが、レーダベースの距離測定データＤmにおける測距精度に信頼性をおき、このデータの値を常に採用することも可能である。換言すれば、特定された区分Ｎに対応付けられた監視領域内の距離ｌを、常に第１の距離Ｌ1に補正してもよい。
【００５９】
（第２の実施形態）
図１０は、第２の実施形態にかかる監視処理の詳細な手順を示すフローチャートである。第２の実施形態にかかる監視手順が、第１の実施形態にかかる手順と相違する点は、同図に示すステップ６以降の処理の手法であり、同様の手順については、ここでの説明を省略する。
【００６０】
具体的には、第２の実施形態と、第１の実施形態との相違は、視差補正を行うことである。レーダをベースにした距離測定データＤmと、画像をベースにした距離算出データＤcとに関して、ある区分に存在する同一物体の距離を示す限り、両者の距離の値が異なることは好ましくない。そこで、第２の実施形態では、図１１に示すように、ステレオ式監視システム１ａは、視差補正部１５において、画像ベースの距離算出データＤcがレーダベースの距離測定データＤmと一致するように、距離の誤差を補正する。
【００６１】
この視差補正部１５は、レーザレーダ１０から出力された距離測定データＤmと、認識部１２から出力された距離算出データＤcとに基づき、消失点視差ｄpを算出する。ここで、消失点視差ｄpは、距離補正値としてのパラメータである。
そして、この算出された消失点視差ｄp（正確には、複数の消失点視差ｄpの平均値である消失点視差ｄp’）が、認識部１２に反映される。これにより、認識部１２は、この消失点視差ｄp’に基づき、画像をベースにした距離算出データＤc’を新たに算出し、監視領域内の立体物を認識することができる。
【００６２】
図１２は、図１０に示すステップ６における詳細な手順を示したフローチャートである。なお、ここで、ステップ６０〜ステップ６３については、上述したステップ４０〜ステップ４３と同様であるため、ここでの詳細な説明は省略する。
【００６３】
ステップ６４において、視差補正部１５は、第１の距離Ｌ1と第２の距離Ｌ2とに基づき、上述したパラメータとしての消失点視差ｄpを算出する。具体的には、以下に示す数式５に基づき、画像をベースにした距離算出データＤcにおける第２の距離Ｌ2を、レーダをベースにした距離測定データＤmにおける第１の距離Ｌ1と一致させるように、消失点視差ｄpが算出される。
【数５】
ｄp＝ｄpx−ＫＺＨ／ｚ
【００６４】
ここで、数式５は、数式６で示される周知の座標変換式から特定される。
【数６】
ｚ＝ＫＺＨ／（ｄpx−ｄp）
【００６５】
ＫＺＨは所定の定数（カメラ基線長／水平視野角）であり、ｄpxはステレオカメラからの出力をベースにした第２の距離Ｌ2に対応する視差ｄである。そして、ｚにはレーザレーダ１０からの出力をベースにした測定値、すなわち、第１の距離Ｌ1が代入される。
【００６６】
なお、ステップ３において距離算出データＤcを算出する時点では、このｄpは０、または、初期設定値としての所定の値を使用すること好ましい。
【００６７】
そして、ステップ６５において、Ｍmaxとｎが一致するか否かが判断される。
このステップ６５で肯定判定された場合、視差補正部１５は、距離算出データＤcの全区分において、消失点視差ｄpが算出されたと判断し、ステップ６７に進む。一方、このステップ６５で否定判定された場合、ステップ６６に進み、ｎがｎ＋１にセットされる。そして、ｎがＭmaxと一致するまで処理が繰り返し実行される。
【００６８】
そして、ステップ６５に続くステップ６７において、この算出された全部の消失点視差ｄpの平均値ｄp’が算出されて、本ルーチンを抜ける。
【００６９】
ステップ６に続くステップ７において、認識部１２は、再度、距離画像データＤpを複数の区分に分割する。そして、区分内に存在する視差群と消失点視差ｄp’とに基づき、数式６を含む周知の座標変換式を用いて、三次元位置が算出される。そして、上述したステップ３で示した手法と同様の手順により、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データＤc’が算出される。この距離算出データＤc’は、座標変換された時点で、レーダをベースにした距離測定データＤmとの統合が成されているため、第１の実施形態で述べた補正された距離算出データＤc’と略同一なデータとして算出される。
【００７０】
そして、ステップ８において、認識部１２は、この補正された距離算出データＤc’に基づき、立体物の認識を行う。これにともない、制御部１４は、認識された先行車との距離、および、道路状況に基づき、ドライバーに警報を与えたり、車両制御を行ったりする。
【００７１】
なお、ステップ６において、消失点視差ｄp’が一度算出されてしまえば、以降の処理でこの値を引き続き使用することができる。したがって、次に処理対象とするフレームについては、ステップ３〜６の処理はスキップすることができる。ただし、この消失点視差ｄp（或いは、消失点視差ｄp’）を、所定フレーム間隔で特定することで、適宜最適な消失点視差ｄpを採用できるので好ましい。
【００７２】
以上説明したように、第２の実施形態のステレオ式監視システム１ａによれば、設定消失点を補正することにより、対象物に関する三次元情報の精度の向上を図ることができる。
【００７３】
なお、本実施形態では、車外監視を例にとって説明したが、本発明がこれに限定されるものではない。このような手法を用いた適用例としては、ステレオ画像処理とレーザレーダを併用した踏切監視、地形認識または高度測定といった様々な用途に適用可能である。
【００７４】
【発明の効果】
このように、本発明によれば、レーザレーダからの出力データとしての距離測定データの所定位置における距離を用いて、認識部からの出力データとしての距離算出データ上における対応する区分の距離を補正している。これにより、距離測定データと距離算出データとが統合されたデータを用いて立体物を認識することができるので、監視精度の向上を図ることができる。
【図面の簡単な説明】
【図１】第１の実施形態にかかるステレオ式監視システムを示すブロック図
【図２】基準画像に設定される画素ブロックの説明図
【図３】レーザレーダの距離検出を示す説明図
【図４】レーザレーダの距離検出を示す説明図
【図５】第１の実施形態にかかる監視手順を示したフローチャート
【図６】格子状に分割された距離画像データの説明図
【図７】距離算出データに関する区分毎に検出した対象物までの距離の説明図
【図８】図５に示すステップ４における補正手順を示す詳細なフローチャート
【図９】距離測定データと距離算出データとの相関を示した説明図
【図１０】第２の実施形態にかかる監視処理の詳細な手順を示すフローチャート
【図１１】第２の実施形態にかかるステレオ式監視システムを示すブロック図
【図１２】図１０に示すステップ６における詳細な手順を示したフローチャート
【符号の説明】
１，１ａ ステレオ式監視システム
２ メインカメラ
３ サブカメラ
４ Ａ／Ｄコンバータ
５ Ａ／Ｄコンバータ
６ 画像補正部
７ ステレオ画像処理部
８ 画像データメモリ
９ 距離データメモリ
１０ レーザレーダ
１１ マイクロコンピュータ
１２ 認識部
１３ データ補正部
１４ 制御部
１５ 視差補正部
Claims (4)
- 監視領域内の状況を監視する監視システムにおいて、
前記監視領域を含む景色を撮像し、一対の画像データを出力するステレオカメラと、
前記一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、１フレーム相当の画像データに関する視差群と、当該画像データにより規定される画像平面上の座標位置とが対応付けられた距離画像データを出力するステレオ画像処理部と、
前記監視領域内の距離を測定し、当該監視領域内の距離の二次元的な分布を距離測定データとして出力するレーザレーダと、
前記距離画像データにより規定される二次元平面を複数の区分に分割し、当該区分内に存在する視差群に基づいて前記監視領域内の距離を算出するとともに、前記分割された区分のそれぞれと前記算出された距離とが対応付けられた距離算出データを算出する認識部と、
前記距離測定データ上の所定位置における前記監視領域内の立体物までの距離に相当する測定値があると判断した場合には、当該測定値を第１の距離として特定し、前記距離算出データにおいて前記立体物までの距離を示す前記区分を特定することにより、当該特定された区分に関して算出された距離を第２の距離として特定するとともに、前記第１の距離と前記第２の距離とを比較することにより、前記特定された区分に関して算出された距離を補正する補正値としての第３の距離を決定するデータ補正部とを有し、
前記認識部は、補正された前記距離算出データに基づき、前記監視領域内の立体物を認識し、
前記データ補正部は、前記第１の距離と前記第２の距離との差が所定のしきい値以内である場合には、前記第１の距離を前記第３の距離として決定し、前記第１の距離と前記第２の距離との差が所定のしきい値より大きい場合には、前記第２の距離を前記第３の距離として決定することを特徴とする監視システム。 - 監視領域内の状況を監視する監視システムにおいて、
前記監視領域を含む景色を撮像し、一対の画像データを出力するステレオカメラと、
前記一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、１フレーム相当の画像データに関する視差群と、当該画像データにより規定される画像平面上の座標位置とが対応付けられた距離画像データを出力するステレオ画像処理部と、
前記監視領域内の距離を測定し、当該監視領域内の距離の二次元的な分布を距離測定データとして出力するレーザレーダと、
前記距離画像データにより規定される二次元平面を複数の区分に分割し、当該区分内に存在する視差群に基づいて前記監視領域内の距離を算出するとともに、前記分割された区分のそれぞれと前記算出された距離とが対応付けられた距離算出データを算出する認識部と、
前記距離測定データ上の所定位置における前記監視領域内の立体物までの距離に相当する測定値があると判断した場合には、当該測定値を第１の距離として特定し、前記距離算出データにおいて前記立体物までの距離を示す前記区分を特定することにより、当該特定された区分に関して算出された距離を第２の距離として特定するとともに、前記第１の距離と前記第２の距離とを比較することにより、前記特定された区分に関して算出された距離を補正する補正値としての第３の距離を決定するデータ補正部とを有し、
前記認識部は、補正された前記距離算出データに基づき、前記監視領域内の立体物を認識し、
前記データ補正部は、前記第１の距離と前記第２の距離との差が所定のしきい値以内である場合には、前記第１の距離と前記第２の距離との平均値を前記第３の距離として決定し、前記第１の距離と前記第２の距離との差が所定のしきい値より大きい場合には、前記第２の距離を前記第３の距離として決定することを特徴とする監視システム。 - 監視領域を含む景色が撮像された一対の画像データに基づいて、ステレオマッチングにより算出された１フレーム相当の画像データに関する視差群と当該画像データにより規定される画像平面上の位置とが対応付けられた距離画像データと、レーザレーダにより前記監視領域内の距離が測定されて距離の二次元的な分布として算出される距離測定データとを用いて監視領域内の状況を監視する監視方法において、
前記距離画像データにより規定される二次元平面を複数の区分に分割し、当該区分内に存在する視差群に基づいて前記監視領域内の距離を算出するとともに、前記分割された区分のそれぞれと前記算出された距離とが対応付けられた距離算出データを算出する第１のステップと、
前記距離測定データ上の所定位置における前記監視領域内の立体物までの距離に相当する測定値があると判断した場合には、当該測定値を第１の距離として特定する第２のステップと、
前記距離算出データにおいて、前記立体物までの距離を示す前記区分を特定する第３のステップと、
前記距離算出データにおいて、前記特定された区分に関して算出された距離を第２の距離として特定する第４のステップと、
前記第１の距離と前記第２の距離とを比較することにより、前記特定された区分に関して算出された距離を補正する補正値としての第３の距離を決定する第５のステップと、
補正された前記距離算出データに基づき、前記監視領域内の立体物を認識する第６のステップとを有し、
前記第５のステップは、前記第１の距離と前記第２の距離との差が所定のしきい値以内である場合には、前記第１の距離を前記第３の距離として決定し、前記第１の距離と前記第２の距離との差が所定のしきい値より大きい場合には、前記第２の距離を前記第３の距離として決定することを特徴とする監視方法。 - 監視領域を含む景色が撮像された一対の画像データに基づいて、ステレオマッチングにより算出された１フレーム相当の画像データに関する視差群と当該画像データにより規定される画像平面上の位置とが対応付けられた距離画像データと、レーザレーダにより前記監視領域内の距離が測定されて距離の二次元的な分布として算出される距離測定データとを用いて監視領域内の状況を監視する監視方法において、
前記距離画像データにより規定される二次元平面を複数の区分に分割し、当該区分内に存在する視差群に基づいて前記監視領域内の距離を算出するとともに、前記分割された区分のそれぞれと前記算出された距離とが対応付けられた距離算出データを算出する第１のステップと、
前記距離測定データ上の所定位置における前記監視領域内の立体物までの距離に相当する測定値があると判断した場合には、当該測定値を第１の距離として特定する第２のステップと、
前記距離算出データにおいて、前記立体物までの距離を示す前記区分を特定する第３のステップと、
前記距離算出データにおいて、前記特定された区分に関して算出された距離を第２の距離として特定する第４のステップと、
前記第１の距離と前記第２の距離とを比較することにより、前記特定された区分に関して算出された距離を補正する補正値としての第３の距離を決定する第５のステップと、
補正された前記距離算出データに基づき、前記監視領域内の立体物を認識する第６のステップとを有し、
前記第５のステップは、前記第１の距離と前記第２の距離との差が所定のしきい値以内である場合には、前記第１の距離と前記第２の距離との平均値を前記第３の距離として決定し、前記第１の距離と前記第２の距離との差が所定のしきい値より大きい場合には、前記第２の距離を前記第３の距離として決定することを特徴とする監視方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002184018A JP4032843B2 (ja) | 2002-06-25 | 2002-06-25 | 監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002184018A JP4032843B2 (ja) | 2002-06-25 | 2002-06-25 | 監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004028727A JP2004028727A (ja) | 2004-01-29 |
| JP4032843B2 true JP4032843B2 (ja) | 2008-01-16 |
Family
ID=31180026
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002184018A Expired - Fee Related JP4032843B2 (ja) | 2002-06-25 | 2002-06-25 | 監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4032843B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004028728A (ja) * | 2002-06-25 | 2004-01-29 | Fuji Heavy Ind Ltd | 地形認識装置および地形認識方法 |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4926437B2 (ja) * | 2005-09-28 | 2012-05-09 | 富士重工業株式会社 | 車両の運転支援装置 |
| JP4899402B2 (ja) * | 2005-10-05 | 2012-03-21 | 株式会社日立製作所 | 撮像装置 |
| JP2007240276A (ja) * | 2006-03-07 | 2007-09-20 | Olympus Corp | 距離計測装置・撮像装置、距離計測方法・撮像方法、距離計測プログラム・撮像プログラムおよび記憶媒体 |
| JP5145585B2 (ja) * | 2007-06-08 | 2013-02-20 | 国立大学法人 熊本大学 | 物標検出装置 |
| JP2010091426A (ja) * | 2008-10-08 | 2010-04-22 | Toyota Central R&D Labs Inc | 距離計測装置及びプログラム |
| JP5208193B2 (ja) * | 2010-12-28 | 2013-06-12 | ヤフー株式会社 | 関連語グラフ作成装置、関連語グラフ作成方法、関連語提供装置、関連語提供方法及びプログラム |
| US9046364B2 (en) | 2011-06-14 | 2015-06-02 | Nissan Motor Co., Ltd. | Distance measurement device and environment map generation apparatus |
| CZ308335B6 (cs) * | 2012-08-29 | 2020-05-27 | Awe Spol. S R.O. | Způsob popisu bodů předmětů předmětového prostoru a zapojení k jeho provádění |
| JP6540009B2 (ja) | 2013-12-27 | 2019-07-10 | 株式会社リコー | 画像処理装置、画像処理方法、プログラム、画像処理システム |
| JP6668594B2 (ja) * | 2014-02-25 | 2020-03-18 | 株式会社リコー | 視差演算システム、情報処理装置、情報処理方法及びプログラム |
| EP3223034B1 (en) | 2016-03-16 | 2022-07-20 | Ricoh Company, Ltd. | Object detection apparatus and moveable apparatus |
| US11758111B2 (en) * | 2017-10-27 | 2023-09-12 | Baidu Usa Llc | 3D lidar system using a dichroic mirror for autonomous driving vehicles |
| JP7152884B2 (ja) * | 2018-06-15 | 2022-10-13 | 日立Astemo株式会社 | 車両用物体検知装置 |
| JP6760610B2 (ja) * | 2018-08-24 | 2020-09-23 | 独立行政法人日本スポーツ振興センター | 位置計測システム、及び位置計測方法 |
| US11412200B2 (en) | 2019-01-08 | 2022-08-09 | Samsung Electronics Co., Ltd. | Method of processing and transmitting three-dimensional content |
| JP7359107B2 (ja) * | 2020-08-26 | 2023-10-11 | 株式会社デンソー | 対象物認識装置、移動体衝突予防装置および車両 |
| JP7389729B2 (ja) * | 2020-09-10 | 2023-11-30 | 株式会社日立製作所 | 障害物検知装置、障害物検知システム及び障害物検知方法 |
| JP7649182B2 (ja) | 2021-03-31 | 2025-03-19 | 株式会社Subaru | 車両の走行制御装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2900737B2 (ja) * | 1993-02-01 | 1999-06-02 | トヨタ自動車株式会社 | 車間距離検出装置 |
| JP3502713B2 (ja) * | 1995-12-21 | 2004-03-02 | 本田技研工業株式会社 | 車両用距離測定装置 |
| JPH10117341A (ja) * | 1996-10-11 | 1998-05-06 | Yazaki Corp | 車両周辺監視装置、この装置に用いられる障害物検出方法、及びこの装置に用いられる障害物検出プログラムを記憶した媒体 |
| JP3669205B2 (ja) * | 1999-05-17 | 2005-07-06 | 日産自動車株式会社 | 障害物認識装置 |
| JP4573977B2 (ja) * | 1999-09-22 | 2010-11-04 | 富士重工業株式会社 | 監視システムの距離補正装置、および監視システムの消失点補正装置 |
-
2002
- 2002-06-25 JP JP2002184018A patent/JP4032843B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004028728A (ja) * | 2002-06-25 | 2004-01-29 | Fuji Heavy Ind Ltd | 地形認識装置および地形認識方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004028727A (ja) | 2004-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4032843B2 (ja) | 監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法 | |
| JP4803927B2 (ja) | 監視システムの距離補正装置および距離補正方法 | |
| JP4573977B2 (ja) | 監視システムの距離補正装置、および監視システムの消失点補正装置 | |
| US8498479B2 (en) | Image processing device for dividing an image into a plurality of regions | |
| JP3352655B2 (ja) | 車線認識装置 | |
| JP3861781B2 (ja) | 前方車両追跡システムおよび前方車両追跡方法 | |
| JP4956452B2 (ja) | 車両用環境認識装置 | |
| JP4363295B2 (ja) | ステレオ画像による平面推定方法 | |
| JP4275378B2 (ja) | ステレオ画像処理装置およびステレオ画像処理方法 | |
| JP4067340B2 (ja) | 対象物認識装置および対象物認識方法 | |
| JP4956099B2 (ja) | 壁検出装置 | |
| JP4209637B2 (ja) | 監視システムの距離補正装置および距離補正方法 | |
| JP4150218B2 (ja) | 地形認識装置および地形認識方法 | |
| JP4696925B2 (ja) | 画像処理装置 | |
| JP2983420B2 (ja) | 車間距離計測装置 | |
| US10339394B2 (en) | Step detection device and step detection method | |
| JPH11259792A (ja) | 車輌認識方法およびその装置 | |
| JP5903901B2 (ja) | 車両位置算出装置 | |
| JP4018950B2 (ja) | ステレオカメラの位置ずれ検査装置および位置ずれ検査方法 | |
| JPH0979847A (ja) | 車載用距離測定装置 | |
| JP3525712B2 (ja) | 三次元画像撮像方法及び三次元画像撮像装置 | |
| JP2003294422A (ja) | 対象物認識装置および対象物認識方法 | |
| JP3965067B2 (ja) | ステレオ式監視装置およびステレオ式監視方法 | |
| JP4171283B2 (ja) | 地形認識装置および地形認識方法 | |
| JP2004144644A (ja) | 地形認識装置、地形認識方法および移動体の移動量検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050602 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070302 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070417 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070605 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071010 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071015 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4032843 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131102 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |