JP4082471B2 - 車外監視装置 - Google Patents
車外監視装置 Download PDFInfo
- Publication number
- JP4082471B2 JP4082471B2 JP08688197A JP8688197A JP4082471B2 JP 4082471 B2 JP4082471 B2 JP 4082471B2 JP 08688197 A JP08688197 A JP 08688197A JP 8688197 A JP8688197 A JP 8688197A JP 4082471 B2 JP4082471 B2 JP 4082471B2
- Authority
- JP
- Japan
- Prior art keywords
- group
- distance
- vehicle
- dimensional object
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、車外の物体の距離分布を示す疑似画像に基づいて車外の状況を認識する車外監視装置に関し、特に、狭路通過時の自車両と障害物との間の隙間を検出して安全を確保する車外監視装置に関する。
【０００２】
【従来の技術】
従来、自動車等の車両においては、塀、ガードレール、電柱、駐車車両等が多数存在する狭路を通過する際の運転者の操作感覚を補うものとして、例えば、実開平５−６８７４２号公報に開示されているようなコーナーポールや、棒状の部材が障害物に触れるとスイッチがオンする接触式スイッチからなる触覚センサ等を車体に取り付ける場合があり、これにより、車幅や左右障害物との間の隙間を確認することができる。
【０００３】
また、最近では、車両の側面や四隅に超音波センサを取り付け、超音波を発射して障害物からの反射波を受信することにより距離を計測し、計測した距離を運転者に知らせて狭路を通過する際の負担を軽減しようとする技術が開発されている。
【０００４】
しかしながら、前述のコーナーポールのように車体外部に目印となるようなものを取り付ける場合には、運転者の慣れを必要とするため、運転者の負担軽減効果が少ない。また、触覚センサのような接触式のものでは、物体に接触するまで位置の確認ができず、障害物に接触してからではハンドル操作が間に合わないといった事態が生じる。
【０００５】
また、超音波を用いる技術では、空間分解能が劣るため障害物の位置関係を知ることができないばかりでなく、歩行者の衣服や滑らかな壁等からは発射した超音波が戻ってこないという物体依存性があり、道路上に存在する様々な立体物に対処することは困難である。
【０００６】
これに対処するに、本出願人は、特開平７−１９２１９９号において、車外の対象をステレオ撮像し、撮像したステレオ画像対の対応位置のずれ量から三角測量の原理によって画像全体に渡る距離分布を求め、この距離分布の情報に対応する被写体の各部分の３次元位置を計算し、これらの３次元位置の情報を用いて複数の立体物を検出して、検出した複数の立体物の自車両側の縁と自車両側部の延長線との間の最近接距離を隙間距離として左右それぞれに算出し、この左右の隙間距離に係わる情報を運転者に知らせる技術を提案している。
【０００７】
【発明が解決しようとする課題】
先に本出願人が提案した技術では、検出した車両やガードレール等の障害物を輪郭線や直線で近似し、それらとの隙間を算出している。従って、近似処理の過程で無視される虞のある車両やガードレール側面の突起等を考慮し、隙間距離にある程度の余裕度を持たせる必要があった。
【０００８】
また、先の技術では、障害物を検出した時点での位置を前提として隙間距離の計算を行っており、例えば、自車両の直前に先行車がいる状態で狭い道路を通過しているような状況では、先行車と自車両との隙間を検出してしまうことになる。従って、前方に先行車が障害物として立ちふさがっているような状況では、左右の障害物との隙間距離を検出することは困難であった。
【０００９】
本発明は上記事情に鑑みてなされたもので、検出した障害物の位置の変化や細部形状に関する情報を取り入れ、自車両との接触可能性を正確且つ精密に判断することのできる車外監視装置を提供することを目的としている。
【００１０】
【課題を解決するための手段】
請求項１記載の発明は、車外の物体の距離を計測して得られる距離分布の疑似画像を複数の区分に分割し、各区分毎に立体物の有無と距離データとを検出して車外の状況を認識する車外監視装置において、上記距離データが互いに接近し隣接する各区分を１つのグループにまとめ、このグループ毎の立体物の移動速度を算出する手段と、上記グループに属する全ての区分の距離データを、該区分が属するグループの移動速度に応じて移動させ、設定時間後の上記立体物の位置を推定する手段と、上記設定時間後の自車両の輪郭が描く走行軌跡を推定する手段と、上記立体物の推定位置と上記自車両の走行軌跡とを比較し、自車両が立体物に接触するか否かを判定する手段と、上記立体物の推定位置と上記自車両の走行軌跡とに基づいて、自車両と立体物との間の最小隙間を算出する手段とを備えたことを特徴とする。
【００１１】
請求項２記載の発明は、請求項１記載の発明において、前回の処理で検出されたグループ内の各距離データと今回の処理で検出されたグループ内の各距離データとを比較してグループ間の対応関係を調べ、対応するグループ間の時間的な移動量から移動速度を算出することを特徴とする。
【００１２】
請求項３記載の発明は、請求項１記載の発明において、道路上に静止している立体物の距離データを処理サイクル毎に保持し、当該立体物が検出範囲外に逸脱したとき、前回の距離データと自車両の走行軌跡とに基づいて当該立体物の位置を推定する手段を備えたことを特徴とする。
【００１３】
請求項４記載の発明は、請求項１記載の発明において、上記疑似画像は、一組のカメラで撮像した一対の画像の相関を求め、同一物体に対する視差から三角測量の原理によって求めた三次元の距離分布を示すものであることを特徴とする。請求項５記載の発明は、請求項１記載の発明において、上記疑似画像は、一組のカメラで撮像した一対の画像を処理して得られる二次元の距離分布を示すものであることを特徴とする。
【００１４】
請求項６記載の発明は、請求項１記載の発明において、上記疑似画像は、レーザ光の投射・受光あるいは電波の発信・受信によって求めた二次元の距離分布を示すものであることを特徴とする。
請求項７記載の発明は、車外の物体の距離を計測して、立体物の有無と立体物に対する距離データとを検出して車外の状況を認識する車外監視装置において、上記距離データが互いに隣接及び接近するものを１つのグループにまとめ、このグループ毎の立体物の移動速度を算出する手段と、上記グループに属する全ての区分の距離データを、該区分が属するグループの移動速度に応じて移動させ、設定時間後の上記立体物の位置を推定する手段と、上記設定時間後の自車両の輪郭が描く走行軌跡を推定する手段と、上記立体物の推定位置と上記自車両の走行軌跡とを比較し、自車両と立体物との間の隙間距離を算出する手段とを備えたことを特徴とする。
【００１５】
すなわち、本発明の車外監視装置では、車外の物体までの距離を計測して得られる距離分布の疑似画像を複数の区分に分割し、各区分毎に立体物の有無と距離データとを検出した後、距離データが互いに接近し隣接する各区分を１つのグループにまとめ、このグループ毎の立体物の移動速度を算出すると、グループに属する全ての区分の距離データを、該区分が属するグループの移動速度に応じて移動させ、設定時間後の立体物の位置を推定するとともに、設定時間後の自車両の輪郭が描く走行軌跡を推定する。そして、立体物の推定位置と自車両の走行軌跡とを比較して自車両が立体物に接触するか否かを判定し、また、立体物の推定位置と自車両の走行軌跡とに基づいて自車両と立体物との間の最小隙間を算出する。
【００１６】
この場合、立体物の移動速度は、前回の処理で検出されたグループ内の各距離データと今回の処理で検出されたグループ内の各距離データとを比較してグループ間の対応関係を調べ、対応するグループ間の時間的な移動量から算出することが望ましい。また、道路上に静止している立体物に対しては、その距離データを処理サイクル毎に保持しておき、当該立体物が検出範囲外に逸脱したとき、前回の距離データと自車両の走行軌跡とに基づいて当該立体物の位置を推定することが望ましい。
【００１７】
また、以上の処理は、一組のカメラで撮像した一対の画像を処理し、互いの撮像画像の相関を求めて同一物体に対する視差から三角測量の原理によって求めた三次元の距離分布を示す疑似画像、一組のカメラで撮像した一対の画像を処理して得られる二次元の距離分布を示す擬似画像、さらには、レーザ光の投射・受光あるいは電波の発信・受信によって二次元の距離分布を求めた疑似画像に基づいて行うことができる。
更に、本発明による他の車外監視装置では、車外の物体までの距離を計測して立体物の有無と立体物に対する距離データとを検出した後、距離データが互いに隣接及び接近するものを１つのグループにまとめ、このグループ毎の立体物の移動速度を算出すると、グループに属する全ての区分の距離データを、該区分が属するグループの移動速度に応じて移動させ、設定時間後の立体物の位置を推定するとともに、設定時間後の自車両の輪郭が描く走行軌跡を推定する。そして、立体物の推定位置と自車両の走行軌跡とを比較し、自車両と立体物との間の隙間距離を算出する。
【００１８】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図２１は本発明の実施の第１形態に係わり、図１は車外監視装置の全体構成図、図２は車外監視装置の回路ブロック図、図３〜図６は立体物検出処理のフローチャート、図７は隙間距離算出処理のフローチャート、図８は車載のカメラで撮像した画像の例を示す説明図、図９は距離画像の例を示す説明図、図１０は距離画像の区分を示す説明図、図１１は検出対象の状況例を示す説明図、図１２は区分毎の立体物の検出距離の例を示す説明図、図１３は区分毎の立体物の検出距離をグループ化した例を示す説明図、図１４は検出した物体と側壁の結果を示す説明図、図１５は自車両輪郭の近似を示す説明図、図１６は自車両の通過軌跡を示す説明図、図１７は左右判定領域の説明図、図１８は設定時間後の立体物の位置の推定結果を示す説明図、図１９は視野外距離データの追跡を示す説明図、図２０は通過軌跡と距離データとの隙間計測の説明図、図２１は自車両と立体物との接触判定の説明図である。
【００１９】
図１において、符号１は自動車等の車両であり、この車両１に、車外の設置範囲内の対象を撮像し、撮像画像から車外の物体を認識して監視する車外監視装置２が搭載されている。この車外監視装置２は、車外の対象物を異なる位置から撮像するためのステレオ光学系１０、このステレオ光学系１０で撮像した画像を処理して三次元の距離分布情報を算出するイメージプロセッサ２０、及び、このイメージプロセッサ２０からの距離情報を処理する画像処理用コンピュータ３０等から構成されている。また、上記画像処理コンピュータ３０には、車速センサ４、舵角センサ５等の現在の車両の走行状態を検出するためのセンサが接続されている。
【００２０】
上記ステレオ光学系１０は、例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた左右１組のＣＣＤカメラ１０ａ，１０ｂからなり、上記イメージプロセッサ２０では、ＣＣＤカメラ１０ａ，１０ｂで撮像した１対の画像の相関を求め、同一物体に対する視差から三角測量の原理により距離を求める、いわゆるステレオ法により画像全体に渡る３次元の距離分布を算出する。
【００２１】
上記画像処理用コンピュータ３０では、上記イメージプロセッサ２０からの距離分布情報を読み込んで道路形状や複数の立体物（車両や障害物等）の３次元位置を高速で検出し、これらの先行車や障害物の移動に伴う位置の変化と自車両の走行軌跡とに基づいて自車両との間の隙間を算出して接触判定を行うとともに、運転者の前方に設置されたディスプレイ９に数値や警告表示等の映像信号を送り、運転者に報知する。
【００２２】
上記イメージプロセッサ２０及び上記画像処理用コンピュータ３０は、詳細には、図２に示すハードウエア構成となっており、上記イメージプロセッサ２０は、上記ＣＣＤカメラ１０ａ，１０ｂで撮像した１組みのステレオ画像対に対して所定の小領域毎に同一の物体が写っている部分を探索し、対応する位置のずれ量を求めて物体までの距離を算出し、三次元の距離分布情報として出力する距離検出回路２０ａと、この距離検出回路２０ａから出力される距離分布情報を記憶する距離画像メモリ２０ｂとから構成されている。
【００２３】
上記距離検出回路２０ａから出力される距離分布情報は、画像のような形態をした疑似画像（距離画像）であり、左右２台のＣＣＤカメラ１１ａ，１１ｂで撮影した画像、例えば図８に示すような画像（図８は片方のカメラで撮像した画像を模式的に示す）を上記距離検出回路２０ａで処理すると、図９のような距離画像となる。
【００２４】
図９に示す距離画像の例では、画像サイズは横６００画素×縦２００画素であり、距離データを持っているのは黒点の部分で、これは図８の画像の各画素のうち、左右方向に隣合う画素間で明暗変化が大きい部分である。上記距離検出回路２０ａでは、この距離画像を、１ブロックを４×４画素の小領域として横１５０×縦５０のブロックからなる画像として扱い、各ブロック毎に距離（画素ズレ数）の算出を行う。
【００２５】
一方、上記画像処理用コンピュータ３０は、道路形状等の検出処理を主とするマイクロプロセッサ３０ａと、検出した道路形状に基づいて個々の立体物を検出する処理を主とするマイクロプロセッサ３０ｂと、検出した立体物の位置情報に基づいて先行車や障害物を特定し、自車両との間の隙間を算出して接触危険性を判断する処理を主とするマイクロプロセッサ３０ｃとがシステムバス３１を介して並列に接続されたマルチマイクロプロセッサのシステム構成となっている。
【００２６】
そして、上記システムバス３１には、上記距離画像メモリ２０ｂに接続されるインターフェース回路３２と、制御プログラムを格納するＲＯＭ３３と、計算処理途中の各種パラメータを記憶するＲＡＭ３４と、処理結果のパラメータを記憶する出力用メモリ３５と、上記ディスプレイ（ＤＩＳＰ）９を制御するためのディスプレイコントローラ（ＤＩＳＰ．ＣＯＮＴ．）３６と、上記車速センサ４、上記舵角センサ５等からの信号を入力するＩ／Ｏインターフェース回路３７とが接続されている。
【００２７】
上記画像処理用コンピュータ３０では、画素を単位とする距離画像上の座標系を、図９に示すように、左下隅を原点として横方向をｉ座標軸，縦方向をｊ座標軸として扱い、画素ズレ数をｄｐとする距離画像上の点（ｉ，ｊ，ｄｐ）を実空間の座標系に変換し、道路形状の認識や立体物の位置検出等の処理を行う。
【００２８】
すなわち、実空間の三次元の座標系を、自車（車両１）固定の座標系とし、Ｘ軸を車両１の進行方向右側側方、Ｙ軸を車両１の上方、Ｚ軸を車両１の前方、原点を２台のＣＣＤカメラ１０ａ，１０ｂの中央の真下の道路面とすると、Ｘ−Ｚ平面（Ｙ＝０）は、道路が平坦な場合、道路面と一致することになり、以下の(1)〜(3)式により、距離画像上の点（ｉ，ｊ，ｄｐ）を、実空間上の点（ｘ，ｙ，ｚ）に座標変換することができる。
ｘ＝ＣＤ／２＋ｚ・ＰＷ・（ｉ−ＩＶ） …(1)
ｙ＝ＣＨ＋Ｚ・ＰＷ・（ｊ−ＪＶ） …(2)
ｚ＝ＫＳ／ｄｐ …(3)
但し、ＣＤ ：ＣＣＤカメラ１０ａ，１０ｂの間隔
ＰＷ ：１画素当たりの視野角
ＣＨ ：ＣＣＤカメラ１０ａ，１０ｂの取付け高さ
ＩV，ＪV：車両１の真正面の無限遠点の画像上の座標（画素）
ＫＳ ：距離係数（ＫＳ＝ＣＤ／ＰＷ）
尚、実空間上の点（ｘ，ｙ，ｚ）から画像上の点（ｉ，ｊ，ｄｐ）を算出する式は、上記(1)〜(3)式を変形し、次のようになる。
【００２９】
ｉ ＝（ｘ−ＣＤ／２）／（ｚ・ＰＷ）＋ＩＶ …(4)
ｊ ＝（ｙ−ＣＨ）／（ｚ・ＰＷ）＋ＪＶ …(5)
ｄｐ＝ＫＳ／ｚ …(6)
【００３０】
次に、上記画像処理用コンピュータ３０における個々の処理について説明する。まず、上記マイクロプロセッサ３０ａによる道路検出処理では、距離画像メモリ２０ｂに記憶された距離画像からの３次元的な位置情報を利用して実際の道路上の白線だけを分離して抽出し、内蔵した道路モデルのパラメータを実際の道路形状と合致するよう修正・変更して道路形状を認識する。
【００３１】
上記道路モデルは、認識対象範囲までの道路の自車線を、設定した距離によって複数個の区間に分け、各区間毎に左右の白線を３次元の直線式で近似して折れ線状に連結したものであり、実空間の座標系における水平方向の直線式のパラメータａ，ｂ、及び、垂直方向の直線式のパラメータｃ，ｄを求め、以下の(7)式に示す水平方向の直線式、及び、以下の(8)式に示す垂直方向の直線式を得る。
ｘ＝ａ・ｚ＋ｂ …(7)
ｙ＝ｃ・ｚ＋ｄ …(8)
【００３２】
また、上記マイクロプロセッサ３０ｂによる立体物検出処理では、距離画像を格子状に所定の間隔で区分し、各区分毎に、上記マイクロプロセッサ３０ａによって検出された道路形状に基づいて道路表面より上のデータを立体物データとして抽出し、立体物までの距離を算出する。そして、検出された立体物の位置が互いに接近する各区分を１つのグループにまとめ、これらのグループを分類して立体物の後部、側部、及び、ガードレール等の道路に沿った構造物を検出し、その位置や速度等を算出する。
【００３３】
さらに、上記マイクロプロセッサ３０ｃによる隙間距離算出処理では、検出された立体物に含まれる区分毎の位置を立体物の速度に応じて移動するとともに、車速センサ４及び舵角センサ５によって検知した自車両の走行状態から自車両の走行軌跡を推定し、移動後の立体物の位置と自車両の走行軌跡とを比較して最小となる隙間距離を算出する。
【００３４】
尚、上記距離画像の生成、この距離画像から道路形状を検出する処理については、本出願人によって先に提出された特開平５−２６５５４７号公報や特開平６−２６６８２８号公報等に詳述されている。
【００３５】
以下、上記マイクロプロセッサ３０ｂによる立体物検出処理、及び、上記マイクロプロセッサによる隙間距離算出処理ついて、図３〜図７のフローチャートに従って説明する。
【００３６】
まず、上記マイクロプロセッサ３０ｂによる立体物検出処理のプログラムについて説明する。このプログラムでは、最初に、ステップS101〜ステップS114の距離データ検出処理で、距離画像を所定間隔で格子状に区分した各区分毎に、立体物の存在と、その距離の算出を行う。すなわち、ステップS101で道路形状パラメータを読み込むと、ステップS102で、図１０に示すように、距離画像を所定間隔（例えば、８〜２０画素間隔）で格子状に区分し、ステップS103で、各区分毎に立体物のデータを抽出し、その検出距離を算出するため、最初の区分のデータを読み込む。
【００３７】
次に、ステップS104へ進んで区分内の最初のデータをセットすると、ステップS105で被写体の三次元位置（ｘ，ｙ，ｚ）を前述の(1)〜(3)式によって求め、ステップS106で、前述の道路形状の直線式(7),(8)を使って距離ｚに於ける道路表面の高さｙｒを算出する。次に、ステップS107へ進み、以下の(9)式によって算出した被写体の道路表面からの高さＨに基づいて、道路面より上にあるデータを立体物データとして抽出する。
Ｈ＝ｙ−ｙｒ …(9)
【００３８】
この場合、高さＨが０．１ｍ程度以下の被写体は、道路上の白線や汚れ、影等と考えられるため、この被写体のデータは棄却する。また、自車両１の高さより上にある被写体も、歩道橋や標識などと考えられるので棄却し、道路上の立体物と推定されるデータのみを選別する。
【００３９】
その後、ステップS108へ進んで最終データか否かを調べ、最終データでないときには、ステップS109で区分内の次のデータをセットして前述のステップS105へ戻り、同様の処理を繰り返して道路面より上にあるデータを抽出する。そして、１つの区分内で最終データの処理が完了すると、ステップS108からステップS110へ進み、抽出された立体物データに対し、予め設定された距離Ｚの区間に含まれるデータの個数を数えて距離ｚを横軸とするヒストグラムを作成する。
【００４０】
続くステップS111では、ヒストグラムの度数が判定値以上で、かつ最大値となる区間を検出し、該当する区間があれば、ステップS112において、その区間に立体物が存在すると判断し、その立体物までの距離を検出する。
【００４１】
上記ヒストグラムでは、入力される距離画像中の距離データには誤って検出された値も存在し、実際には物体の存在しない位置にも多少のデータが現れる。しかしながら、ある程度の大きさの物体があると、その位置の度数は大きな値を示し、一方、物体が何も存在しない場合には誤った距離データのみによって発生する度数は小さな値となる。従って、作成されたヒストグラムの度数が、予め設定した判定値以上かつ最大値をとる区間があれば、その区間に物体が存在すると判断し、度数の最大値が判定値以下の場合は物体が存在しないと判断しても差し支えなく、画像のデータに多少のノイズが含まれている場合においても、ノイズの影響を最小限にして物体を検出できる。
【００４２】
その後、上記ステップS112からステップS113へ進んで最終区分に達したか否かを調べる。そして、最終区分に達していないときには、上記ステップS112からステップS114へ進んで次の区分のデータを読み込むと、前述のステップS104へ戻り、道路面より上にあるデータの抽出、ヒストグラムの作成、及び、各区分内での立体物の検出と距離の算出を行う。以上の処理を繰り返し、やがて、最終区分に達すると、上記ステップS113からステップS115以降へ進む。
【００４３】
図１２は、図１１に示す検出対象の画像を以上の距離データ検出処理によって検出し、区分毎の距離をＸ−Ｚ平面上に示した例であり、検出した距離に多少の誤差が含まれるため、黒点で示すように、立体物の自車両に面した部分に多少のバラツキを持ったデータとして検出される。
【００４４】
これらの距離データは、ステップS115〜ステップS121の距離グループ検出処理により、距離が接近しているグループに分けられる。この処理では、各区分の立体物の検出距離を調べ、隣接する区分において立体物までの検出距離の差異が判定値以下の場合は同一の立体物と見なし、一方、判定値を超えている場合は別々の立体物と見なしてグループ分けを行う。
【００４５】
このため、ステップS115では、まず、最初の区分（例えば左端）を調べ、立体物が検出されている場合には、距離データを読み込んで、この区分Ｒ１を、グループＳ１、距離Ｚ１に分類する。次に、ステップS116へ進んで右隣の区分Ｒ２を調べ、立体物が検出されていない場合には、グループＳ１は区分Ｒ１の内部とその近辺に存在し、その距離はＺ１と判定し、一方、区分Ｒ２で立体物が検出されており、その検出距離がＺ２である場合には、区分Ｒ１の距離Ｚ１と右隣の区分Ｒ２の距離Ｚ２の差を計算する。
【００４６】
その後、ステップS117へ進んで右隣の区分との距離の差が判定値以下か否かを調べ、距離の差が判定値以下で互いに接近しているときには、ステップS118で、区分Ｒ２で検出された立体物は、先に検出されたグループＳ１に属すると判定して同一グループにラベル付けを行い、その距離をＺ１とＺ２との平均値としてステップS120へ進む。
【００４７】
一方、右隣の区分との距離の差が判定値を超えているときには、上記ステップS117からステップS119へ進み、区分Ｒ２で検出された立体物は、先に検出されたグループＳ１とは異なると判定して新しいグループ（グループＳ２、距離Ｚ２）にラベル付けを行い、ステップS120へ進む。
【００４８】
ステップS120では、最終区分に達したか否かを調べ、最終区分に達していないときには、ステップS121で次の区分の距離を読み込み、上記ステップS116へ戻っり、さらに右隣の領域を調べてゆく。また、最終区分に達したときには、ステップS120からステップS122以降へ進む。
【００４９】
以上の距離グループ検出処理により、例えば、図１２に示す区分毎の距離データに対し、互いの距離が接近している距離データがまとめられ、図１３に示すようにグループ化される。このとき、各区分には、その区分が所属するグループの番号が割り付けられ、記憶される。図１３の例では、進行方向左側の植え込みの距離データを有する区分が所属するグループに、グループ１，２，３の番号が付けられ、先行車両の後部の距離データを有する区分が所属するグループにグループ４の番号が付けられる。また、進行方向右側の自転車の距離データを有する区分が所属するグループにグループ６の番号が付けられ、同じく右側の壁の距離データを有する区分が所属するグループにグループ７の番号が付けられる。
【００５０】
この場合、異なる立体物であっても互いに距離が接近している区分は、同一のグループとして処理される虞がある。このため、次のステップS122〜ステップS132におけるグループ分割処理では、距離データのＸ−Ｚ平面上での並び方向を調べ、並び方向がＺ軸に概ね平行な部分とＸ軸に概ね平行な部分とでグループを分割する。
【００５１】
このグループ分割処理では、ステップS122で、最初のグループのデータを読み込み、ステップS123で、このグループ内の各区分の並び方向を算出すると、ステップS124で各区分に“物体”、“側壁”のラベルを付ける。具体的には、グループ内での左端の区分Ｋ１の位置をＺ１，Ｘ１とし、Ｎ個だけ右側の区分の位置をＺｐ，Ｘｐとすると、点Ｘ１，Ｚ１と点Ｘｐ，Ｚｐとの２点を結ぶ直線のＺ軸に対する傾きＡ１を算出し、この直線の傾きＡ１を設定値（例えば、４５°程度）と比較する。そして、直線の傾きＡ１が設定値以下でデータの並びが略Ｚ軸方向の場合には、区分Ｋ１は“側壁”とラベル付けし、上記直線の傾きＡ１が設定値を超え、データの並びが略Ｘ軸方向の場合には、“物体”とラベル付けする。
【００５２】
このラベル付けの際の区分の間隔Ｎは、Ｎ＝２〜４区分程度とする。これは、Ｎ＝１すなわち右隣の区分では、検出距離のバラツキのために並び方向が大きくばらついてしまい、分割の判断が難しくなるためであり、少し離れた区分との並び方向を使うことにより、方向の安定化を図る。そして、この“側壁”あるいは“物体”のラベル付けを、グループ内の左端から順に、右端からＮ個左側の区分まで行い、各区分にラベル付けをする。
【００５３】
以上により、各区分のラベル付けが完了すると、上記ステップS124からステップS125へ進んで左端の区分のラベルを読み込み、さらに、ステップS126で右隣の区分のラベルを読み込む。次いで、ステップS127へ進み、左端のラベルと右隣のラベルが異なるか否かを調べる。その結果、上記ステップS127において、ラベルが同じときにはステップS129へジャンプし、ラベルが異なるとき、ステップS128で“側壁”とラベル付けされた区分と“物体”とラベル付けされた区分とを分割して別のグループとし、ステップS129へ進む。分割する区分の位置は、ラベルが“側壁”←→“物体”で変化する位置のＮ／２区分だけ右側となる。
【００５４】
この場合、距離データのバラツキ等により部分的にラベルが変化する状況に対処するため、同じラベルが判定値以上（例えば、３区分以上）連続して並んでいる場合にのみ分割を行い、判定値未満の場合には、分割は行わない。例えば、図１３の例では、グループ６（自転車）等の場合のように、形状が複雑なため、“物体”とラベル付けされる区分と“側壁”とラベル付けされる区分とが混在するグループでは、同種のラベルが３区分以上に連続しないため、グループの分割は発生しない。
【００５５】
ステップS129では、最終区分か否かを調べ、最終区分でないとき、ステップS130で次の区分のラベルを読み込んで上記ステップS126へ戻り、同様の処理を繰り返す。そして、最終区分に達すると、上記ステップS129からステップS131ヘ進み、最終グループに達したか否かを調べる。その結果、最終グループに達していないときには、ステップS132で次のグループのデータを読み込み、次のグループに対して同様にグループを分割する処理を行う。この処理を繰り返し、やがて、最終グループに達すると、グループ分割処理を完了してステップS131からステップS133以降へ進む。
【００５６】
次のステップS133〜ステップS138は、分割された各グループに対し、側壁か物体かの分類を行って各グループのパラメータを算出する処理であり、ステップS133で最初のグループのデータを読み込むと、ステップS135で、グループ内の各区分の位置（Ｘｉ，Ｚｉ）からハフ変換あるいは最小二乗法によって近似直線を求め、グループ全体の傾きを算出する。
【００５７】
次に、ステップS135へ進んで、グループ全体の傾きから、Ｘ軸方向の傾きを有するグループを物体、Ｚ軸方向の傾きを有するグループを側壁に分類し、ステップS136で、各グループのパラメータを算出する。このパラメータは、物体と分類されたグループでは、グループ内の距離データから算出される平均距離や、左端、右端のＸ座標等のパラメータであり、側壁と分類されたグループでは、並びの方向（Ｚ軸との傾き）や前後端の位置（Ｚ，Ｘ座標）等のパラメータである。
【００５８】
尚、グループの分類は、前述のグループ分割処理で付けられた各区分の“側壁”あるいは“物体”のラベルによって行っても良い。
【００５９】
そして、上記ステップS136からステップS137へ進んで最終グループに達したか否かを調べ、最終グループでないときには、ステップS138で次のグループのデータを読み込んで上記ステップS134へ戻り、最終グループに達すると、ステップS139以降の処理へ進む。
【００６０】
ここで、立体物の１個の面、例えば連続したガードレール等では、区分毎の距離データのバラツキの影響を強く受けることがあり、先の距離グループ検出処理あるいはグループ分割処理で複数のグループに分割されてしまい、立体物の１つの面を誤って分割して検出する虞がある。
【００６１】
この対策として、以下のステップS139〜ステップS147のグループ結合処理において、先のグループパラメータ算出処理で算出されたグループパラメータによって各グループの相互の位置関係を調べ、同種類のグループで端点の位置が接近し、且つ、並び方向がほぼ等しい場合には、同一物体の同一の面であると判断し、それらのグループを１個のグループに統合する。そして、統合したグループとしての各種パラメータをグループパラメータ算出処理と同様にして再計算する。
【００６２】
このため、ステップS139で、最初のグループのパラメータを読み込み、ステップS140で、次のグループのパラメータを読み込むと、ステップS141で、各グループの端点の距離の差、及び、各グループの傾きの差を算出する。そして、ステップS142で、各グループの端点の距離の差、及び、各グループの傾きの差が、それぞれの判定値以内か否かを調べ、共に判定値以内のとき、ステップS143へ進んで同一物体のグループとしてグループを結合し、再度、改めてグループのパラメータを算出してステップS146へ進む。
【００６３】
一方、上記ステップS142で、各グループの端点の距離の差、あるいは、各グループの傾きの差が判定値以内でないときには、上記ステップS142からステップS144へ進んで最終グループか否かを調べ、最終グループでないときには、ステップS145で次のグループのパラメータを読み込んでステップS141へ戻り、最終グループのとき、ステップS146へ進む。
【００６４】
ステップS146では、最終グループか否かを調べ、最終グループでないとき、ステップS147で次のグループのパラメータを読み込んで上記ステップS140へ戻り、最終グループのとき、ステップS148以降へ進む。
【００６５】
以上のグループ結合処理の後、同一立体物の後部と側面で別のグループに分離されているものに対し、下のステップS148〜ステップS157の処理により、同一の立体物であることを検出し、１個の立体物を、“物体”と“側壁”との組み合わせ（後部は“物体”、側面は“側壁”とする）として認識する。
【００６６】
この処理では、まず、ステップS148で、物体と分類された最初のグループのパラメータを読み込み、ステップS149で、側壁と分類された最初のグループのパラメータを読み込む。次いで、ステップS150へ進み、物体と分類されたグループの端点の位置と、側壁と分類されたグループの端点の位置との差を算出する。この場合、各端点の位置は、“物体”が自動車の正面（Ｚ軸に相当）より右側にある場合には、“物体”の左端の位置と“側壁”の手前側の端点の位置との差を算出し、“物体”が自車両の正面より左側にある場合には、“物体”の右端の位置と“側壁”の手前側の端点の位置との差を算出する。
【００６７】
そして、ステップS151で、各グループの端点の位置の差が判定値（例えば、１ｍ程度）以内で、互いに接近しているか否かを調べ、判定値を超えているときには、ステップS152へ分岐して最終側壁か否かを調べ、最終側壁でないときには、ステップS153で側壁と分類された次のグループのパラメータを読み込んで上記ステップS150へ戻り、最終側壁のとき、ステップS156へ進む。
【００６８】
一方、上記ステップS151で、各グループの端点の位置の差が判定値以内のときには、上記ステップS151からステップS154へ進んで同一立体物であると判定する。すなわち、１個の立体物の後部と側面とが同時に見える場合、その２つの面が作るコーナーは手前に凸となっているため、“物体”の左端の位置と“側壁”の手前側の端点の位置、あるいは、“物体”の右端の位置と“側壁”の手前側の端点の位置とは、本来、一致している。従って、２つのグループの位置の差が上記判定値以内にあるとき、この２つのグループは１個の立体物を分けて検出した対であると判断することができる。
【００６９】
その後、上記ステップS154からステップS155へ進み、同一の立体物と判断された“物体”と“側壁”との対に対し、それぞれの近似直線を延長して交差する点を立体物のコーナー点の位置として算出すると、各端点の位置を、このコーナー点の位置に変更する。そして、ステップS156で、“物体”の最終グループか否かを調べ、“物体”の最終グループでないときには、ステップS157で、“物体”と分類された次のグループのパラメータを読み込み、上記ステップS149へ戻って同様の処理を繰り返す。一方、ステップS156で“物体”の最終のグループのときには、次のステップS158以降の処理へ進む。
【００７０】
図１４は、図１１に示す検出対象例に対し、“物体”及び“側壁”の検出結果を、Ｘ−Ｚ平面で示したものであり、この例では、上述のグループの結合や“物体”と“側壁”の組み合わせと判定されるグループはなく、“物体”は太線の実線で示され、“側壁”は太線の破線で示される。
【００７１】
次に、ステップS158以降は、所定の時間間隔（例えば、０．１ｓｅｃ）の処理サイクル毎に検出される“物体”や“側壁“の位置の変化から、これらの移動速度を算出する速度算出処理であり、まず、ステップS158で、最初のグループのパラメータを読み込み、ステップS159で同一立体物の対となっているか否かを調べる。
【００７２】
そして、同一立体物の対となっていないときには、上記ステップS159からステップS160へ進み、“物体”では左右端の中央、“側壁”では前後端の中央を中心点の位置として、この中心点の位置の時間変化量を算出すると、ステップS161で、前後方向の速度すなわちＺ方向の速度Ｖｚを、中心点のＺ座標の時間変化量から算出するともに、左右方向の速度すなわちＸ方向の速度を、中心点のＸ座標の時間変化量から算出し、ステップS164へジャンプする。
【００７３】
ステップS164では、最終グループか否かを調べ、最終グループでないときには、ステップS165で次のグループのパラメータを読み込み、ステップS159へ戻って同一立体物の対か否かを調べる。その結果、同一立体物の対でないときには、前述のステップS160,S161を経て中心点の位置に時間変化から前後・左右方向の速度を算出し、最終グループか否かを調べるステップS164へ戻る。
【００７４】
一方、上記ステップS159で同一立体物の対であるときには、上記ステップS159からステップS162へ進んで、対応する“物体”又は“側壁”のパラメータを読み込み、ステップS163で、“物体”から前後方向の速度（Ｚ軸方向の速度Ｖｚ）を算出するとともに、“側壁”から左右方向の速度（Ｘ軸方向の速度Ｖｘ）を算出し、これらの速度Ｖｚ，Ｖｘを、同一立体物におけるＺ軸方向、Ｘ軸方向の速度とする。そして、ステップS164で、最終グループか否かを調べ、最終グループでないときには、以上の処理を繰り返し、最終グループのとき、ステップS164からステップS166へ進んで、各グループのパラメータをメモリに書き込み、立体物検出処理の全体のプログラムを終了する。
【００７５】
すなわち、“物体”では、Ｚ軸方向の位置は複数の区分の距離の平均値的な値となり、速度Ｖｚは安定しているが、Ｘ方向の位置は左右端のＸ座標のバラツキの影響を受け、速度Ｖｘはバラツキが大きい傾向にある。一方、“側壁”では、Ｘ方向の位置は複数の区分のＸ座標の平均値的な値となり、速度Ｖｘは安定しているが、Ｚ方向の位置は前後端のＺ座標のバラツキの影響を受け、速度Ｖｚはバラツキが大きくなる傾向にある。従って、両方の安定した速度のみを用いて同一立体物の速度とするのである。
【００７６】
この場合、前回の処理で検出された距離データと、今回の処理で検出された距離データとでは、同一の立体物の同一部分を検出している距離データの対応関係を求めることは困難であり、個々の距離データから対象物の速度を求めることは困難である。しかしながら、本発明においては、個々の距離データを立体物毎にグループ化し、グループ毎に直線状に近似して、その中心点を求めているため、前回処理時に検出されたグループと今回の処理で検出されたグループとの対応関係を求めることは容易であり、中心点の移動量から対象物の速度を算出することができる。
【００７７】
以上の処理によって検出された物体や側壁のデータは、マイクロプロセッサ３０ｃによる隙間距離算出処理のプログラムに渡され、予測時間ｔ後の立体物の位置と自車両の走行領域とに基づいて接触危険性が判断されるとともに、自車両と立体物との隙間距離が算出される。
【００７８】
この隙間距離算出処理のプログラムでは、ステップS201で、自車両の通過軌跡を推定する。この自車両の通過軌跡は、自車両の輪郭をｎ個の頂点からなる多角形で直線近似した内蔵モデルを利用して推定するようにしており、図１５（ａ）に示すような自車両の輪郭を、図１５（ｂ）に示すように、後車軸中心を原点とした頂点ｎの座標Ｐｎ＝[Ｐxn,Ｐzn]Tで近似し、予測時間ｔ（例えば、１、２秒）後の頂点ｎの座標Ｐｎ'＝[Ｐ'xn,Ｐ'zn]Tを求めることで、自車両の通過軌跡を推定する。
【００７９】
このため、まず、車速センサ４から得た車速と舵角センサ５から得た操舵角とから、予測時間ｔにおける後車軸中心を基準とした空走距離Ｌ及び旋回半径Ｒを求める。この空走距離Ｌは、自車両の速度に比例する距離と最低限走行する距離（例えば、〜１ｍ程度）からなり、また、旋回半径Ｒの中心は後車軸延長線上に重なるものとする。そして、旋回中心の座標をＯ＝[Ｏx,Ｏz]Tとし、旋回角度をθとすると、この旋回角度θは、以下の(10)式によって与えられ、予測時間ｔ後の頂点ｎの座標は、以下の(11)式で与えられる。
θ＝Ｌ／Ｒ …(10)
【００８０】
また、各頂点の旋回半径ｒnは、以下の(12)式で求めることができるため、これを用い、旋回半径が最大の（最も外側を通る）頂点番号ｎoと最小の（最も内側を通る）頂点番号ｎiを求める。そして、頂点番号ｎoの現在の座標Ｐｎoと予測時間ｔ後の座標Ｐ'ｎoとを、(12)式を適用して求めた最大旋回半径ｒnoの円弧で繋ぐとともに、頂点番号ｎiの現在の座標Ｐｎiと予測時間ｔ後の座標Ｐ'ｎiとを、(12)式を適用して求めた最小旋回半径ｒniの円弧で繋ぎ、残った頂点を、それぞれ隣り合う頂点と直線で繋ぐことにより、図１６に示すように、自車両の通過軌跡を得ることができる。
ｒn＝((Ｐxn−Ｏx)2＋(Ｐzn−Ｏz)2)1/2 …(12)
【００８１】
この場合、舵角０すなわち旋回半径無限大のときには、計算実行が不可能になるため、予測時間ｔ後の頂点ｎの座標は、以下の(13)式で求め、左右それぞれに最も張り出した頂点を直線で繋いで推定通過軌跡とする。
【００８２】
そして、自車両の通過軌跡を推定した後、上記ステップS201からステップS202へ進み、後述する接触判定及び隙間計測のため、自車両の輪郭モデル（図１５参照）の先端中央Ｃｆ＝[Ｃxf,Ｃzf]Tと後端中央Ｃｒ＝[Ｃxr,Ｃzr]Tとを、各頂点と同様に予測時間ｔ後の位置Ｃ'ｆ，Ｃ'ｒを算出し、図１７に示すように、通過軌跡による走行領域を右側の判定領域と左側の判定領域とに分割する。
【００８３】
続くステップS203では、先の立体物検出処理で得られた各グループの速度Ｖｘ，Ｖｚから、予測時間ｔにおける立体物のＸ方向移動量ｄｘ、Ｚ方向移動量ｄｚを以下の(14),(15)式によって求め、各距離データをＸ方向移動量ｄｘ、Ｚ方向移動量ｄｚだけ移動させ、予測時間ｔ後の立体物の位置を推定する。
ｄｘ＝Ｖｘ・ｔ …(14)
ｄｚ＝Ｖｚ・ｔ …(15)
【００８４】
図１３に示す立体物の位置の検出結果をグループ化した例では、植え込みを検出したグループ１，２，３、及び、右の壁を検出したグループ７ではＸ方向、Ｚ方向ともに速度は略０と検出されるため、予測時間ｔ後の位置は検出位置から変化しない。また、先行車両を検出したグループ４では、例えば、速度Ｖｘ＝０、Ｖｚ＝４．０ｍ／ｓｅｃと検出されたものとし、ｔ＝１．５ｓｅｃと仮定すると、グループ４の移動量はｄｘ＝０．０ｍ、ｄｚ＝６．０ｍとなる。また、自転車を検出したグループ６は、例えば、Ｖｘ＝−０．１ｍ／ｓｅｃ、Ｖｚ＝−１．０ｍ／ｓｅｃと検出されたとすると、移動量は、ｄｘ＝−０．１５ｍ、ｄｚ＝−１．５ｍとなる。図１８は、各距離データを、Ｘ方向移動量ｄｘ、Ｚ方向移動量ｄｚだけ移動させた予測時間ｔ後の推定位置を示している。
【００８５】
その後、ステップS204へ進み、ステレオカメラの視野外となった立体物について、距離データの追跡を行う。Ｘ方向及びＺ方向とも速度略０と検出された距離データのグループは道路上に静止している立体物とし、その距離データが各処理サイクル毎に保持されている。
【００８６】
ｋ番目の処理サイクルとｋ−１番目の処理サイクル間の走行軌跡は、車速センサ４及び舵角センサ５により、走行軌跡Ｌ'、旋回半径Ｒ'として得ることができる。このとき、走行距離Ｌ'は、ｋ番目の処理サイクルでの位置を基準にするため、Ｌ'＜０となり、旋回中心の座標をＯ'＝[Ｏ'x,Ｏ'z]Tとし、旋回角度をαとすると、この旋回角度αは、以下の(16)式によって与えられる。
α＝Ｌ'／Ｒ' …(16)
【００８７】
従って、ｋ−１番目の処理サイクルでの距離データをＤ＝[Ｄx,Ｄz]Tとすると、ｋ番目の処理サイクルでの距離データＤ'は、以下の(17)式によって求めることができ、これを処理サイクル毎に更新してゆくことにより、図１９に示すように、ステレオカメラの視野外に逸脱してしまった距離データを追跡することができる。
【００８８】
その後、上記視野外に逸脱してしまった立体物の追跡データを含め、自車両通過軌跡と立体物の接触判定を行うため、ステップS205で、予測時間ｔ後の位置を推定した距離データの中から最初のデータを読み込むと、ステップS206で、その推定距離データが右側判定領域内にあるか否かを調べる。
【００８９】
そして、推定距離データが右側判定領域内にない場合には、上記ステップS206からステップS208へ進み、右側判定領域内にある場合、自車両と接触する可能性があると判断して上記ステップS206からステップS207へ進んで右側の接触を示す右側接触フラグをＯＮし、ステップS208へ進む。
【００９０】
ステップS208では、推定距離データが左側判定領域内にあるか否かを調べ、左側判定領域内にない場合、ステップS210へ進み、推定距離データが左側判定領域内にある場合、ステップS211で左側の接触を示す左側接触フラグをＯＮし、ステップS210へ進む。
【００９１】
ステップS210では、右側あるいは左側の接触フラグがＯＮされたか否かを調べ、いずれかの側の接触フラグがＯＮされたときには、ステップS211で警報を発生し、ディスプレイ９への警告表示、あるいは、ランプ、ブザー等による警告を行い、運転者に知らせる。
【００９２】
一方、上記ステップS210で、左右の接触フラグがＯＮされていないときには、上記ステップS210からステップS212へ進み、接触判定領域外の推定距離データを、通過軌跡前面より前方にあるデータを除いて車体中心線左右にグループに振り分ける。次に、ステップS213で、接触判定領域外の推定距離データと自車両の通過軌跡との間の隙間距離を算出する。この隙間距離は、図２０に示すように、左グループの場合は自車両左側面の通過軌跡に対して、右グループの場合は自車両右側面の通過軌跡に対して法線を引き、この長さを“隙間距離”とし、その値を記憶する。
【００９３】
その後、ステップS214へ進んで最終の推定距離データか否かを調べ、最終の推定距離データに達していないときには、ステップS215で次の推定距離データを読み込んで上記ステップS206へ戻り、以上の処理を繰り返す。そして全ての推定距離データについて接触判定を完了すると、上記ステップS214からステップS216へ進み、左右各グループ毎に隙間距離の最小値を算出して保持し、ステップS217で、数値表示あるいは算出した隙間距離の最小値に応じて注意を喚起するための表示信号をディスプレイ９に出力し、運転者に報知する。
【００９４】
図２１は、図１８に示す予測時間ｔ後の各距離データの推定位置に対し、自車両の走行領域を記入したものであり、この例では、先行車両の現在の検出位置は自車両の走行領域に入っているが、立体物の速度と自車両の走行軌跡とを考慮し、設定時間後の推定位置に対して接触判定を行うため、先行車両とは接触しないと正しく判定することができる。
【００９５】
また、図２１における自転車のように複雑な対象物に対しても、グループ内の個々の距離データをグループの速度に応じて移動させるため、検出される対象物の凹凸がそのまま保持され、接触判定を精密に行うことができる。図２１の例では、自転車に接触する危険があると正しく判定され、思わぬ事故を未然に回避することができる。図２１においては、植え込みのように、静止している立体物に対しても同様である。
【００９６】
しかも、この場合、自車両の輪郭が描く走行軌跡を、自車両の速度及び舵角に応じて推定するため、対象物の凹凸を考慮することに合わせ、自車両の凹凸も考慮され、接触判定、隙間計測の精度を向上することができるばかりでなく、運転者の注視する領域と接触判定領域とを近づけることができ、違和感の少ない警報を発することができる。
【００９７】
さらに、検出範囲外に逸脱してしまった対象物に対しても距離データの追跡を行うため、自車両のすぐ横の立体物に対しても、接触判定、隙間計測を行うことができ、特に、内輪差の影響による接触事故防止に大きな効果を発揮することができる。
【００９８】
図２２及び図２３は本発明の実施の第２形態に係わり、図２２は立体物検出処理の部分フローチャート、図２３はグループの対応関係を示す説明図である。
【００９９】
前述の第１形態では、立体物の移動速度を検出するため、検出したグループを“物体”又は“側壁”として直線状に近似し、その中心点を求める処理を行っている。これに対し、本形態では、前回処理で検出したグループ内の個々の距離データと今回処理で検出したグループ内の個々の距離データとを比較し、グループとしての移動量を求め、速度を算出するものである。
【０１００】
このため、本形態では、画像処理用コンピュータ３０のマイクロプロセッサ３０ｂによる立体物検出処理の一部を変更する。本形態の立体物検出処理は、第１形態の図３〜図６のプログラムにおいて、ステップS101〜S114の距離データ検出処理、ステップS115〜S121の距離グループ検出処理、ステップS122〜S132のグループ分割処理までは同じであり、このグループ分割処理以降を変更する。
【０１０１】
すなわち、本形態では、ステップS122〜S132のグループ分割処理を完了すると、ステップS132から図２２のステップS170へ進み、ステップS170〜S174で、前回処理で検出された複数のグループの中から今回の処理で検出されたグループと、同一の立体物を検出しているグループを検索してグループの対応関係を求める処理を行った後、ステップS175以降で、今回処理で検出されたグループと対応関係にある前回検出のグループとの間の移動量からグループの速度を求める。
【０１０２】
このため、まず、ステップS170で今回検出の最初のグループのデータを読み込むと、ステップS171で、グループ内の距離データの重心点（Ｘｃ，Ｚｃ）を求める。この重心点（Ｘｃ，Ｚｃ）は、グループ内のｉ番目の距離データの位置をｘi、ｚiとし、ｎをグループに所属する距離データの個数とすると、以下の(18),(19)式によって求めることができる。但し、Σはｉ＝１〜ｎの総和を求めるものとする。
Ｘｃ＝（Σｘi）／ｎ …(18)
Ｚｃ＝（Σｚi）／ｎ …(19)
【０１０３】
次に、ステップS172へ進み、前回処理で検出されたグループの重心点を読み出し、この前回検出のグループの重心点と今回検出のグループの重心点との間の距離（重心点の移動量）を算出すると、ステップS173で、各グループの重心点間の距離が判定値以下か否かを調べる。そして、前回処理で検出されたグループの重心点と今回検出のグループの重心点との間の距離が判定値を超えているときには、これらのグループは同一立体物を検出したものではないと判断してステップS174へ進み、前回検出の次のグループの重心点を読み出して上記ステップS172へ戻る。
【０１０４】
一方、上記ステップS173で、各グループの重心点間の距離が判定値以下のときには、これらのグループは同一立体物を検出した対応関係にあると判断して上記ステップS173からステップS175へ進み、前回検出のグループ内の各距離データを移動させてグループ間のズレ量が最小となる修正量を算出する。
【０１０５】
例えば、図２３に示すように、前回検出のグループＦと今回検出のグループＧが対応関係にあるとすると、まず、前回検出のグループＦの各距離データを、今回検出のグループＧの重心点ＰGと前回検出のグループＦの重心点ＰFとが一致するように移動する。
【０１０６】
次に、この移動後のグループＦ１の各距離データｉF1について、今回検出のグループＧ内で最も距離が近い距離データｉGを求め、各距離データｉF1,ｉG間の距離ｄｉF1を求める。これを移動後のグループＦ１内の全ての距離データについて行い、距離ｄｉF1の二乗和ＳＤＫ1（ズレ量）を、以下の(20)式によって求める。
ＳＤＫ1＝ΣｄｉF12 …(20)
【０１０７】
さらに、グループＦ１の全体の位置を、Ｚ方向及びＸ方向に微小量Δｚ，Δｘだけ移動し、この移動後のグループＦ２と今回検出のグループＧとの間のズレ量ＳＤＫ2を、上記と同様に算出する。そして、この処理を、Δｚ，Δｘを変化させて繰り返し、各ずれ量ＳＤＫ1,ＳＤＫ2,ＳＤＫ3,…の中で最小値が得られる微小量Δｚ，Δｘの値を、グループ間のズレ量が最小となる修正量とする。
【０１０８】
以上により、グループ間のズレ量が最小となる修正量を求めると、次に、ステップS176へ進み、対応関係にあるグループ間の重心点の移動量に上記修正量を加えた値をグループ間の移動量とし、ステップS177で、この移動量を処理サイクル毎の時間間隔で割り算してグループの速度Ｖｚ，Ｖｘを算出する。次いで、ステップS178で最終グループか否かを調べ、最終グループでないときには、ステップS179で次のグループのデータを読み込んでステップS171へ戻り、以上の処理を繰り返す。尚、簡易的には、上記ステップS172で算出した重心点の移動量を処理サイクル毎の時間間隔で割り算し、グループの速度としても良い。
【０１０９】
そして、上記ステップS178で最終グループとなって最終グループの処理が完了したとき、上記ステップS178からステップS180へ進んで各グループの位置や速度等のパラメータをメモリに書き込み、立体物検出処理の全体のプログラムを終了する。この立体部検出処理のデータを用いる以降の隙間距離算出処理は、前述の第１形態と同じである。
【０１１０】
本形態では、前述の第１形態に対し、立体物の移動速度を高い精度で検出することができ、接触判定や隙間距離の精度をより一層向上することができる。
【０１１１】
図２４〜図２７は本発明の第３形態に係り、図２４は車外監視装置の全体構成図、図２５は車外監視装置の回路ブロック図、図２６は画像の例を示す説明図、図２７は立体物の二次元分布の例を示す説明図である。
【０１１２】
本形態の車外監視装置５０は、図２４に示すように、上下２台のカメラからなるステレオ光学系６０からの画像を処理して立体物の二次元的な位置分布を認識する通路パターン認識装置７０を採用し、この通路パターン認識装置７０に第１形態と同様の画像処理用コンピュータ３０を接続したものであり、通路パターン認識装置７０によって得られる立体物の二次元分布の位置情報を前述の第１形態と同様の方法で処理するものである。
【０１１３】
上記通路パターン認識装置７０は、周知の装置を適用することができ、例えば、計測自動制御学会論文集Ｖｏｌ．２１，Ｎｏ．２（昭和６０年２月）「障害物の２次元的な分布の認識手法」に記載されている通路パターン認識装置等を適用することができる。尚、上記通路パターン認識装置７０は、前述の第１形態と同様に２台のカメラの画像を処理して被写体までの距離分布を検出するものであるが、装置内部のデータ処理方法が異なるため立体物の情報のみが出力され、第１形態のような白線による道路形状の検出はできない。
【０１１４】
上記ステレオ光学系６０は、車両４０の前部に上下一定の間隔をもって取り付けられる２台のＣＣＤカメラ６０ａ，６０ｂで構成されており、また、上記通路パターン認識装置７０は、図２５に示すように、上記ステレオ光学系６０からの上下２枚の画像信号を入力し、立体物の距離及び位置の二次元分布を算出する距離検出回路６０ａ、この距離検出回路６０ａからの二次元分布情報を記憶する二次元分布メモリ６０ｂ等から構成されている。
【０１１５】
本形態では、ステレオ光学系６０で撮像した画像、例えば、図２６に示すような画像を通路パターン認識装置７０で処理すると、図２７に示すような立体物の二次元分布パターンが出力される。これは、前述の第１形態における区分毎の距離データに相当するものであり、この立体物の二次元分布パターンに対し、前述の第１形態と同様の処理を行うことにより、立体物検出、接触判定、隙間距離計測を行うことができる。
【０１１６】
本形態では、側壁の有無や位置を、直線式のパラメータや前後端の座標といった簡素なデータ形態に変換するため、利用側でのデータの取扱いや処理が容易となる。
【０１１７】
図２８〜図３２は本発明の実施の第４形態に係わり、図２８は車外監視装置の全体構成図、図２９は車外監視装置の回路ブロック図、図３０はレーザビームの走査方法を側面から示す説明図、図３１はレーザビームの走査方法を上面から示す説明図、図３２はレーザレーダ測距装置で計測される立体物の二次元分布の例を示す説明図である。
【０１１８】
前述の各形態ではカメラの撮像画像を処理して車外の物体を検出するようにしているが、これに対し、本形態は、レーザビームの走査によって車外の物体を検出するものである。すなわち、図２８に示すように、本形態の車両８０に搭載される車外監視装置９０は、レーザビームによるレーザレーダ測距装置１００を採用し、このレーザレーダ測距装置１００に画像処理用コンピュータ３０を接続したものである。
【０１１９】
上記レーザレーダ測距装置１００は、レーザビームを投射し、このレーザビームが物体に当たって反射してくる光を受光し、この所要時間から物体までの距離を測定するものであり、本形態の車外監視装置９０には周知のレーザレーダ測距装置を適用することができる。
【０１２０】
本形態の車外監視装置９０では、レーザビームの投射・受光と左右方向への走査機能を有するレーザ投光ユニット１０１が車両の前部に取り付けられており、図２９に示すように、レーザレーダ測距装置１００には、レーザービームの投光受光の所要時間から物体までの距離を計算し、また、レーザビームを走査する方向から物体の二次元の位置を計算する距離検出回路１００ａ、検出された物体の二次元の位置を書き込む二次元分布メモリ１００ｂ等から構成されている。
【０１２１】
図３０に示すように、レーザ投光ユニット１０１からはレーザビームが水平に投射され、道路表面より高い位置にある立体物のみが検出される。また、図３１に示すように、レーザビームは左右方向に走査され、所定の走査範囲で一定の間隔毎にレーザビームが投光・受光されて距離を検出する動作が繰り返され、立体物の二次元分布が計測される。
【０１２２】
例えば、前方左側にガードレール、右前方に他の車両がある状況を上記レーザレーダ測距装置１００で計測すると、図３２に示すような立体物の二次元分布の情報が得られる。これは、前述の第１形態における区分毎の立体物の距離データと同様である。
【０１２３】
従って、レーザレーダ測距装置１００の出力である立体物の二次元分布に対し、第１形態と同様の処理を行なうことにより、物体や壁面を検出することができる。本形態では、立体物のデータを処理が容易な形態で得ることができ、計算処理量を低減することが可能である。
【０１２４】
【発明の効果】
以上説明したように本発明によれば、検出した障害物の位置の変化や細部形状に関する情報を取り入れて自車両との接触可能性を正確且つ精密に判断することができる等優れた効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の第１形態に係わり、車外監視装置の全体構成図
【図２】同上、車外監視装置の回路ブロック図
【図３】同上、立体物検出処理のフローチャート（その１）
【図４】同上、立体物検出処理のフローチャート（その２）
【図５】同上、立体物検出処理のフローチャート（その３）
【図６】同上、立体物検出処理のフローチャート（その４）
【図７】同上、隙間距離算出処理のフローチャート
【図８】同上、車載のカメラで撮像した画像の例を示す説明図
【図９】同上、距離画像の例を示す説明図
【図１０】同上、距離画像の区分を示す説明図
【図１１】同上、検出対象の状況例を示す説明図
【図１２】同上、区分毎の立体物の検出距離の例を示す説明図
【図１３】同上、区分毎の立体物の検出距離をグループ化した例を示す説明図
【図１４】同上、検出した物体と側壁の結果を示す説明図
【図１５】同上、自車両輪郭の近似を示す説明図
【図１６】同上、自車両の通過軌跡を示す説明図
【図１７】同上、左右判定領域の説明図
【図１８】同上、設定時間後の立体物の位置の推定結果を示す説明図
【図１９】同上、視野外距離データの追跡を示す説明図
【図２０】同上、通過軌跡と距離データとの隙間計測の説明図
【図２１】同上、自車両と立体物との接触判定の説明図
【図２２】本発明の実施の第２形態に係わり、立体物検出処理の部分フローチャート
【図２３】同上、グループの対応関係を示す説明図
【図２４】本発明の第３形態に係り、車外監視装置の全体構成図、
【図２５】同上、車外監視装置の回路ブロック図
【図２６】同上、画像の例を示す説明図
【図２７】同上、立体物の二次元分布の例を示す説明図
【図２８】本発明の実施の第４形態に係わり、車外監視装置の全体構成図
【図２９】同上、車外監視装置の回路ブロック図
【図３０】同上、レーザビームの走査方法を側面から示す説明図
【図３１】同上、レーザビームの走査方法を上面から示す説明図
【図３２】同上、レーザレーダ測距装置で計測される立体物の二次元分布の例を示す説明図
【符号の説明】
１ …車外監視装置
１０ａ，１０ｂ…ＣＣＤカメラ
２０…イメージプロセッサ
３０…画像処理用コンピュータ
【発明の属する技術分野】
本発明は、車外の物体の距離分布を示す疑似画像に基づいて車外の状況を認識する車外監視装置に関し、特に、狭路通過時の自車両と障害物との間の隙間を検出して安全を確保する車外監視装置に関する。
【０００２】
【従来の技術】
従来、自動車等の車両においては、塀、ガードレール、電柱、駐車車両等が多数存在する狭路を通過する際の運転者の操作感覚を補うものとして、例えば、実開平５−６８７４２号公報に開示されているようなコーナーポールや、棒状の部材が障害物に触れるとスイッチがオンする接触式スイッチからなる触覚センサ等を車体に取り付ける場合があり、これにより、車幅や左右障害物との間の隙間を確認することができる。
【０００３】
また、最近では、車両の側面や四隅に超音波センサを取り付け、超音波を発射して障害物からの反射波を受信することにより距離を計測し、計測した距離を運転者に知らせて狭路を通過する際の負担を軽減しようとする技術が開発されている。
【０００４】
しかしながら、前述のコーナーポールのように車体外部に目印となるようなものを取り付ける場合には、運転者の慣れを必要とするため、運転者の負担軽減効果が少ない。また、触覚センサのような接触式のものでは、物体に接触するまで位置の確認ができず、障害物に接触してからではハンドル操作が間に合わないといった事態が生じる。
【０００５】
また、超音波を用いる技術では、空間分解能が劣るため障害物の位置関係を知ることができないばかりでなく、歩行者の衣服や滑らかな壁等からは発射した超音波が戻ってこないという物体依存性があり、道路上に存在する様々な立体物に対処することは困難である。
【０００６】
これに対処するに、本出願人は、特開平７−１９２１９９号において、車外の対象をステレオ撮像し、撮像したステレオ画像対の対応位置のずれ量から三角測量の原理によって画像全体に渡る距離分布を求め、この距離分布の情報に対応する被写体の各部分の３次元位置を計算し、これらの３次元位置の情報を用いて複数の立体物を検出して、検出した複数の立体物の自車両側の縁と自車両側部の延長線との間の最近接距離を隙間距離として左右それぞれに算出し、この左右の隙間距離に係わる情報を運転者に知らせる技術を提案している。
【０００７】
【発明が解決しようとする課題】
先に本出願人が提案した技術では、検出した車両やガードレール等の障害物を輪郭線や直線で近似し、それらとの隙間を算出している。従って、近似処理の過程で無視される虞のある車両やガードレール側面の突起等を考慮し、隙間距離にある程度の余裕度を持たせる必要があった。
【０００８】
また、先の技術では、障害物を検出した時点での位置を前提として隙間距離の計算を行っており、例えば、自車両の直前に先行車がいる状態で狭い道路を通過しているような状況では、先行車と自車両との隙間を検出してしまうことになる。従って、前方に先行車が障害物として立ちふさがっているような状況では、左右の障害物との隙間距離を検出することは困難であった。
【０００９】
本発明は上記事情に鑑みてなされたもので、検出した障害物の位置の変化や細部形状に関する情報を取り入れ、自車両との接触可能性を正確且つ精密に判断することのできる車外監視装置を提供することを目的としている。
【００１０】
【課題を解決するための手段】
請求項１記載の発明は、車外の物体の距離を計測して得られる距離分布の疑似画像を複数の区分に分割し、各区分毎に立体物の有無と距離データとを検出して車外の状況を認識する車外監視装置において、上記距離データが互いに接近し隣接する各区分を１つのグループにまとめ、このグループ毎の立体物の移動速度を算出する手段と、上記グループに属する全ての区分の距離データを、該区分が属するグループの移動速度に応じて移動させ、設定時間後の上記立体物の位置を推定する手段と、上記設定時間後の自車両の輪郭が描く走行軌跡を推定する手段と、上記立体物の推定位置と上記自車両の走行軌跡とを比較し、自車両が立体物に接触するか否かを判定する手段と、上記立体物の推定位置と上記自車両の走行軌跡とに基づいて、自車両と立体物との間の最小隙間を算出する手段とを備えたことを特徴とする。
【００１１】
請求項２記載の発明は、請求項１記載の発明において、前回の処理で検出されたグループ内の各距離データと今回の処理で検出されたグループ内の各距離データとを比較してグループ間の対応関係を調べ、対応するグループ間の時間的な移動量から移動速度を算出することを特徴とする。
【００１２】
請求項３記載の発明は、請求項１記載の発明において、道路上に静止している立体物の距離データを処理サイクル毎に保持し、当該立体物が検出範囲外に逸脱したとき、前回の距離データと自車両の走行軌跡とに基づいて当該立体物の位置を推定する手段を備えたことを特徴とする。
【００１３】
請求項４記載の発明は、請求項１記載の発明において、上記疑似画像は、一組のカメラで撮像した一対の画像の相関を求め、同一物体に対する視差から三角測量の原理によって求めた三次元の距離分布を示すものであることを特徴とする。請求項５記載の発明は、請求項１記載の発明において、上記疑似画像は、一組のカメラで撮像した一対の画像を処理して得られる二次元の距離分布を示すものであることを特徴とする。
【００１４】
請求項６記載の発明は、請求項１記載の発明において、上記疑似画像は、レーザ光の投射・受光あるいは電波の発信・受信によって求めた二次元の距離分布を示すものであることを特徴とする。
請求項７記載の発明は、車外の物体の距離を計測して、立体物の有無と立体物に対する距離データとを検出して車外の状況を認識する車外監視装置において、上記距離データが互いに隣接及び接近するものを１つのグループにまとめ、このグループ毎の立体物の移動速度を算出する手段と、上記グループに属する全ての区分の距離データを、該区分が属するグループの移動速度に応じて移動させ、設定時間後の上記立体物の位置を推定する手段と、上記設定時間後の自車両の輪郭が描く走行軌跡を推定する手段と、上記立体物の推定位置と上記自車両の走行軌跡とを比較し、自車両と立体物との間の隙間距離を算出する手段とを備えたことを特徴とする。
【００１５】
すなわち、本発明の車外監視装置では、車外の物体までの距離を計測して得られる距離分布の疑似画像を複数の区分に分割し、各区分毎に立体物の有無と距離データとを検出した後、距離データが互いに接近し隣接する各区分を１つのグループにまとめ、このグループ毎の立体物の移動速度を算出すると、グループに属する全ての区分の距離データを、該区分が属するグループの移動速度に応じて移動させ、設定時間後の立体物の位置を推定するとともに、設定時間後の自車両の輪郭が描く走行軌跡を推定する。そして、立体物の推定位置と自車両の走行軌跡とを比較して自車両が立体物に接触するか否かを判定し、また、立体物の推定位置と自車両の走行軌跡とに基づいて自車両と立体物との間の最小隙間を算出する。
【００１６】
この場合、立体物の移動速度は、前回の処理で検出されたグループ内の各距離データと今回の処理で検出されたグループ内の各距離データとを比較してグループ間の対応関係を調べ、対応するグループ間の時間的な移動量から算出することが望ましい。また、道路上に静止している立体物に対しては、その距離データを処理サイクル毎に保持しておき、当該立体物が検出範囲外に逸脱したとき、前回の距離データと自車両の走行軌跡とに基づいて当該立体物の位置を推定することが望ましい。
【００１７】
また、以上の処理は、一組のカメラで撮像した一対の画像を処理し、互いの撮像画像の相関を求めて同一物体に対する視差から三角測量の原理によって求めた三次元の距離分布を示す疑似画像、一組のカメラで撮像した一対の画像を処理して得られる二次元の距離分布を示す擬似画像、さらには、レーザ光の投射・受光あるいは電波の発信・受信によって二次元の距離分布を求めた疑似画像に基づいて行うことができる。
更に、本発明による他の車外監視装置では、車外の物体までの距離を計測して立体物の有無と立体物に対する距離データとを検出した後、距離データが互いに隣接及び接近するものを１つのグループにまとめ、このグループ毎の立体物の移動速度を算出すると、グループに属する全ての区分の距離データを、該区分が属するグループの移動速度に応じて移動させ、設定時間後の立体物の位置を推定するとともに、設定時間後の自車両の輪郭が描く走行軌跡を推定する。そして、立体物の推定位置と自車両の走行軌跡とを比較し、自車両と立体物との間の隙間距離を算出する。
【００１８】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図２１は本発明の実施の第１形態に係わり、図１は車外監視装置の全体構成図、図２は車外監視装置の回路ブロック図、図３〜図６は立体物検出処理のフローチャート、図７は隙間距離算出処理のフローチャート、図８は車載のカメラで撮像した画像の例を示す説明図、図９は距離画像の例を示す説明図、図１０は距離画像の区分を示す説明図、図１１は検出対象の状況例を示す説明図、図１２は区分毎の立体物の検出距離の例を示す説明図、図１３は区分毎の立体物の検出距離をグループ化した例を示す説明図、図１４は検出した物体と側壁の結果を示す説明図、図１５は自車両輪郭の近似を示す説明図、図１６は自車両の通過軌跡を示す説明図、図１７は左右判定領域の説明図、図１８は設定時間後の立体物の位置の推定結果を示す説明図、図１９は視野外距離データの追跡を示す説明図、図２０は通過軌跡と距離データとの隙間計測の説明図、図２１は自車両と立体物との接触判定の説明図である。
【００１９】
図１において、符号１は自動車等の車両であり、この車両１に、車外の設置範囲内の対象を撮像し、撮像画像から車外の物体を認識して監視する車外監視装置２が搭載されている。この車外監視装置２は、車外の対象物を異なる位置から撮像するためのステレオ光学系１０、このステレオ光学系１０で撮像した画像を処理して三次元の距離分布情報を算出するイメージプロセッサ２０、及び、このイメージプロセッサ２０からの距離情報を処理する画像処理用コンピュータ３０等から構成されている。また、上記画像処理コンピュータ３０には、車速センサ４、舵角センサ５等の現在の車両の走行状態を検出するためのセンサが接続されている。
【００２０】
上記ステレオ光学系１０は、例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた左右１組のＣＣＤカメラ１０ａ，１０ｂからなり、上記イメージプロセッサ２０では、ＣＣＤカメラ１０ａ，１０ｂで撮像した１対の画像の相関を求め、同一物体に対する視差から三角測量の原理により距離を求める、いわゆるステレオ法により画像全体に渡る３次元の距離分布を算出する。
【００２１】
上記画像処理用コンピュータ３０では、上記イメージプロセッサ２０からの距離分布情報を読み込んで道路形状や複数の立体物（車両や障害物等）の３次元位置を高速で検出し、これらの先行車や障害物の移動に伴う位置の変化と自車両の走行軌跡とに基づいて自車両との間の隙間を算出して接触判定を行うとともに、運転者の前方に設置されたディスプレイ９に数値や警告表示等の映像信号を送り、運転者に報知する。
【００２２】
上記イメージプロセッサ２０及び上記画像処理用コンピュータ３０は、詳細には、図２に示すハードウエア構成となっており、上記イメージプロセッサ２０は、上記ＣＣＤカメラ１０ａ，１０ｂで撮像した１組みのステレオ画像対に対して所定の小領域毎に同一の物体が写っている部分を探索し、対応する位置のずれ量を求めて物体までの距離を算出し、三次元の距離分布情報として出力する距離検出回路２０ａと、この距離検出回路２０ａから出力される距離分布情報を記憶する距離画像メモリ２０ｂとから構成されている。
【００２３】
上記距離検出回路２０ａから出力される距離分布情報は、画像のような形態をした疑似画像（距離画像）であり、左右２台のＣＣＤカメラ１１ａ，１１ｂで撮影した画像、例えば図８に示すような画像（図８は片方のカメラで撮像した画像を模式的に示す）を上記距離検出回路２０ａで処理すると、図９のような距離画像となる。
【００２４】
図９に示す距離画像の例では、画像サイズは横６００画素×縦２００画素であり、距離データを持っているのは黒点の部分で、これは図８の画像の各画素のうち、左右方向に隣合う画素間で明暗変化が大きい部分である。上記距離検出回路２０ａでは、この距離画像を、１ブロックを４×４画素の小領域として横１５０×縦５０のブロックからなる画像として扱い、各ブロック毎に距離（画素ズレ数）の算出を行う。
【００２５】
一方、上記画像処理用コンピュータ３０は、道路形状等の検出処理を主とするマイクロプロセッサ３０ａと、検出した道路形状に基づいて個々の立体物を検出する処理を主とするマイクロプロセッサ３０ｂと、検出した立体物の位置情報に基づいて先行車や障害物を特定し、自車両との間の隙間を算出して接触危険性を判断する処理を主とするマイクロプロセッサ３０ｃとがシステムバス３１を介して並列に接続されたマルチマイクロプロセッサのシステム構成となっている。
【００２６】
そして、上記システムバス３１には、上記距離画像メモリ２０ｂに接続されるインターフェース回路３２と、制御プログラムを格納するＲＯＭ３３と、計算処理途中の各種パラメータを記憶するＲＡＭ３４と、処理結果のパラメータを記憶する出力用メモリ３５と、上記ディスプレイ（ＤＩＳＰ）９を制御するためのディスプレイコントローラ（ＤＩＳＰ．ＣＯＮＴ．）３６と、上記車速センサ４、上記舵角センサ５等からの信号を入力するＩ／Ｏインターフェース回路３７とが接続されている。
【００２７】
上記画像処理用コンピュータ３０では、画素を単位とする距離画像上の座標系を、図９に示すように、左下隅を原点として横方向をｉ座標軸，縦方向をｊ座標軸として扱い、画素ズレ数をｄｐとする距離画像上の点（ｉ，ｊ，ｄｐ）を実空間の座標系に変換し、道路形状の認識や立体物の位置検出等の処理を行う。
【００２８】
すなわち、実空間の三次元の座標系を、自車（車両１）固定の座標系とし、Ｘ軸を車両１の進行方向右側側方、Ｙ軸を車両１の上方、Ｚ軸を車両１の前方、原点を２台のＣＣＤカメラ１０ａ，１０ｂの中央の真下の道路面とすると、Ｘ−Ｚ平面（Ｙ＝０）は、道路が平坦な場合、道路面と一致することになり、以下の(1)〜(3)式により、距離画像上の点（ｉ，ｊ，ｄｐ）を、実空間上の点（ｘ，ｙ，ｚ）に座標変換することができる。
ｘ＝ＣＤ／２＋ｚ・ＰＷ・（ｉ−ＩＶ） …(1)
ｙ＝ＣＨ＋Ｚ・ＰＷ・（ｊ−ＪＶ） …(2)
ｚ＝ＫＳ／ｄｐ …(3)
但し、ＣＤ ：ＣＣＤカメラ１０ａ，１０ｂの間隔
ＰＷ ：１画素当たりの視野角
ＣＨ ：ＣＣＤカメラ１０ａ，１０ｂの取付け高さ
ＩV，ＪV：車両１の真正面の無限遠点の画像上の座標（画素）
ＫＳ ：距離係数（ＫＳ＝ＣＤ／ＰＷ）
尚、実空間上の点（ｘ，ｙ，ｚ）から画像上の点（ｉ，ｊ，ｄｐ）を算出する式は、上記(1)〜(3)式を変形し、次のようになる。
【００２９】
ｉ ＝（ｘ−ＣＤ／２）／（ｚ・ＰＷ）＋ＩＶ …(4)
ｊ ＝（ｙ−ＣＨ）／（ｚ・ＰＷ）＋ＪＶ …(5)
ｄｐ＝ＫＳ／ｚ …(6)
【００３０】
次に、上記画像処理用コンピュータ３０における個々の処理について説明する。まず、上記マイクロプロセッサ３０ａによる道路検出処理では、距離画像メモリ２０ｂに記憶された距離画像からの３次元的な位置情報を利用して実際の道路上の白線だけを分離して抽出し、内蔵した道路モデルのパラメータを実際の道路形状と合致するよう修正・変更して道路形状を認識する。
【００３１】
上記道路モデルは、認識対象範囲までの道路の自車線を、設定した距離によって複数個の区間に分け、各区間毎に左右の白線を３次元の直線式で近似して折れ線状に連結したものであり、実空間の座標系における水平方向の直線式のパラメータａ，ｂ、及び、垂直方向の直線式のパラメータｃ，ｄを求め、以下の(7)式に示す水平方向の直線式、及び、以下の(8)式に示す垂直方向の直線式を得る。
ｘ＝ａ・ｚ＋ｂ …(7)
ｙ＝ｃ・ｚ＋ｄ …(8)
【００３２】
また、上記マイクロプロセッサ３０ｂによる立体物検出処理では、距離画像を格子状に所定の間隔で区分し、各区分毎に、上記マイクロプロセッサ３０ａによって検出された道路形状に基づいて道路表面より上のデータを立体物データとして抽出し、立体物までの距離を算出する。そして、検出された立体物の位置が互いに接近する各区分を１つのグループにまとめ、これらのグループを分類して立体物の後部、側部、及び、ガードレール等の道路に沿った構造物を検出し、その位置や速度等を算出する。
【００３３】
さらに、上記マイクロプロセッサ３０ｃによる隙間距離算出処理では、検出された立体物に含まれる区分毎の位置を立体物の速度に応じて移動するとともに、車速センサ４及び舵角センサ５によって検知した自車両の走行状態から自車両の走行軌跡を推定し、移動後の立体物の位置と自車両の走行軌跡とを比較して最小となる隙間距離を算出する。
【００３４】
尚、上記距離画像の生成、この距離画像から道路形状を検出する処理については、本出願人によって先に提出された特開平５−２６５５４７号公報や特開平６−２６６８２８号公報等に詳述されている。
【００３５】
以下、上記マイクロプロセッサ３０ｂによる立体物検出処理、及び、上記マイクロプロセッサによる隙間距離算出処理ついて、図３〜図７のフローチャートに従って説明する。
【００３６】
まず、上記マイクロプロセッサ３０ｂによる立体物検出処理のプログラムについて説明する。このプログラムでは、最初に、ステップS101〜ステップS114の距離データ検出処理で、距離画像を所定間隔で格子状に区分した各区分毎に、立体物の存在と、その距離の算出を行う。すなわち、ステップS101で道路形状パラメータを読み込むと、ステップS102で、図１０に示すように、距離画像を所定間隔（例えば、８〜２０画素間隔）で格子状に区分し、ステップS103で、各区分毎に立体物のデータを抽出し、その検出距離を算出するため、最初の区分のデータを読み込む。
【００３７】
次に、ステップS104へ進んで区分内の最初のデータをセットすると、ステップS105で被写体の三次元位置（ｘ，ｙ，ｚ）を前述の(1)〜(3)式によって求め、ステップS106で、前述の道路形状の直線式(7),(8)を使って距離ｚに於ける道路表面の高さｙｒを算出する。次に、ステップS107へ進み、以下の(9)式によって算出した被写体の道路表面からの高さＨに基づいて、道路面より上にあるデータを立体物データとして抽出する。
Ｈ＝ｙ−ｙｒ …(9)
【００３８】
この場合、高さＨが０．１ｍ程度以下の被写体は、道路上の白線や汚れ、影等と考えられるため、この被写体のデータは棄却する。また、自車両１の高さより上にある被写体も、歩道橋や標識などと考えられるので棄却し、道路上の立体物と推定されるデータのみを選別する。
【００３９】
その後、ステップS108へ進んで最終データか否かを調べ、最終データでないときには、ステップS109で区分内の次のデータをセットして前述のステップS105へ戻り、同様の処理を繰り返して道路面より上にあるデータを抽出する。そして、１つの区分内で最終データの処理が完了すると、ステップS108からステップS110へ進み、抽出された立体物データに対し、予め設定された距離Ｚの区間に含まれるデータの個数を数えて距離ｚを横軸とするヒストグラムを作成する。
【００４０】
続くステップS111では、ヒストグラムの度数が判定値以上で、かつ最大値となる区間を検出し、該当する区間があれば、ステップS112において、その区間に立体物が存在すると判断し、その立体物までの距離を検出する。
【００４１】
上記ヒストグラムでは、入力される距離画像中の距離データには誤って検出された値も存在し、実際には物体の存在しない位置にも多少のデータが現れる。しかしながら、ある程度の大きさの物体があると、その位置の度数は大きな値を示し、一方、物体が何も存在しない場合には誤った距離データのみによって発生する度数は小さな値となる。従って、作成されたヒストグラムの度数が、予め設定した判定値以上かつ最大値をとる区間があれば、その区間に物体が存在すると判断し、度数の最大値が判定値以下の場合は物体が存在しないと判断しても差し支えなく、画像のデータに多少のノイズが含まれている場合においても、ノイズの影響を最小限にして物体を検出できる。
【００４２】
その後、上記ステップS112からステップS113へ進んで最終区分に達したか否かを調べる。そして、最終区分に達していないときには、上記ステップS112からステップS114へ進んで次の区分のデータを読み込むと、前述のステップS104へ戻り、道路面より上にあるデータの抽出、ヒストグラムの作成、及び、各区分内での立体物の検出と距離の算出を行う。以上の処理を繰り返し、やがて、最終区分に達すると、上記ステップS113からステップS115以降へ進む。
【００４３】
図１２は、図１１に示す検出対象の画像を以上の距離データ検出処理によって検出し、区分毎の距離をＸ−Ｚ平面上に示した例であり、検出した距離に多少の誤差が含まれるため、黒点で示すように、立体物の自車両に面した部分に多少のバラツキを持ったデータとして検出される。
【００４４】
これらの距離データは、ステップS115〜ステップS121の距離グループ検出処理により、距離が接近しているグループに分けられる。この処理では、各区分の立体物の検出距離を調べ、隣接する区分において立体物までの検出距離の差異が判定値以下の場合は同一の立体物と見なし、一方、判定値を超えている場合は別々の立体物と見なしてグループ分けを行う。
【００４５】
このため、ステップS115では、まず、最初の区分（例えば左端）を調べ、立体物が検出されている場合には、距離データを読み込んで、この区分Ｒ１を、グループＳ１、距離Ｚ１に分類する。次に、ステップS116へ進んで右隣の区分Ｒ２を調べ、立体物が検出されていない場合には、グループＳ１は区分Ｒ１の内部とその近辺に存在し、その距離はＺ１と判定し、一方、区分Ｒ２で立体物が検出されており、その検出距離がＺ２である場合には、区分Ｒ１の距離Ｚ１と右隣の区分Ｒ２の距離Ｚ２の差を計算する。
【００４６】
その後、ステップS117へ進んで右隣の区分との距離の差が判定値以下か否かを調べ、距離の差が判定値以下で互いに接近しているときには、ステップS118で、区分Ｒ２で検出された立体物は、先に検出されたグループＳ１に属すると判定して同一グループにラベル付けを行い、その距離をＺ１とＺ２との平均値としてステップS120へ進む。
【００４７】
一方、右隣の区分との距離の差が判定値を超えているときには、上記ステップS117からステップS119へ進み、区分Ｒ２で検出された立体物は、先に検出されたグループＳ１とは異なると判定して新しいグループ（グループＳ２、距離Ｚ２）にラベル付けを行い、ステップS120へ進む。
【００４８】
ステップS120では、最終区分に達したか否かを調べ、最終区分に達していないときには、ステップS121で次の区分の距離を読み込み、上記ステップS116へ戻っり、さらに右隣の領域を調べてゆく。また、最終区分に達したときには、ステップS120からステップS122以降へ進む。
【００４９】
以上の距離グループ検出処理により、例えば、図１２に示す区分毎の距離データに対し、互いの距離が接近している距離データがまとめられ、図１３に示すようにグループ化される。このとき、各区分には、その区分が所属するグループの番号が割り付けられ、記憶される。図１３の例では、進行方向左側の植え込みの距離データを有する区分が所属するグループに、グループ１，２，３の番号が付けられ、先行車両の後部の距離データを有する区分が所属するグループにグループ４の番号が付けられる。また、進行方向右側の自転車の距離データを有する区分が所属するグループにグループ６の番号が付けられ、同じく右側の壁の距離データを有する区分が所属するグループにグループ７の番号が付けられる。
【００５０】
この場合、異なる立体物であっても互いに距離が接近している区分は、同一のグループとして処理される虞がある。このため、次のステップS122〜ステップS132におけるグループ分割処理では、距離データのＸ−Ｚ平面上での並び方向を調べ、並び方向がＺ軸に概ね平行な部分とＸ軸に概ね平行な部分とでグループを分割する。
【００５１】
このグループ分割処理では、ステップS122で、最初のグループのデータを読み込み、ステップS123で、このグループ内の各区分の並び方向を算出すると、ステップS124で各区分に“物体”、“側壁”のラベルを付ける。具体的には、グループ内での左端の区分Ｋ１の位置をＺ１，Ｘ１とし、Ｎ個だけ右側の区分の位置をＺｐ，Ｘｐとすると、点Ｘ１，Ｚ１と点Ｘｐ，Ｚｐとの２点を結ぶ直線のＺ軸に対する傾きＡ１を算出し、この直線の傾きＡ１を設定値（例えば、４５°程度）と比較する。そして、直線の傾きＡ１が設定値以下でデータの並びが略Ｚ軸方向の場合には、区分Ｋ１は“側壁”とラベル付けし、上記直線の傾きＡ１が設定値を超え、データの並びが略Ｘ軸方向の場合には、“物体”とラベル付けする。
【００５２】
このラベル付けの際の区分の間隔Ｎは、Ｎ＝２〜４区分程度とする。これは、Ｎ＝１すなわち右隣の区分では、検出距離のバラツキのために並び方向が大きくばらついてしまい、分割の判断が難しくなるためであり、少し離れた区分との並び方向を使うことにより、方向の安定化を図る。そして、この“側壁”あるいは“物体”のラベル付けを、グループ内の左端から順に、右端からＮ個左側の区分まで行い、各区分にラベル付けをする。
【００５３】
以上により、各区分のラベル付けが完了すると、上記ステップS124からステップS125へ進んで左端の区分のラベルを読み込み、さらに、ステップS126で右隣の区分のラベルを読み込む。次いで、ステップS127へ進み、左端のラベルと右隣のラベルが異なるか否かを調べる。その結果、上記ステップS127において、ラベルが同じときにはステップS129へジャンプし、ラベルが異なるとき、ステップS128で“側壁”とラベル付けされた区分と“物体”とラベル付けされた区分とを分割して別のグループとし、ステップS129へ進む。分割する区分の位置は、ラベルが“側壁”←→“物体”で変化する位置のＮ／２区分だけ右側となる。
【００５４】
この場合、距離データのバラツキ等により部分的にラベルが変化する状況に対処するため、同じラベルが判定値以上（例えば、３区分以上）連続して並んでいる場合にのみ分割を行い、判定値未満の場合には、分割は行わない。例えば、図１３の例では、グループ６（自転車）等の場合のように、形状が複雑なため、“物体”とラベル付けされる区分と“側壁”とラベル付けされる区分とが混在するグループでは、同種のラベルが３区分以上に連続しないため、グループの分割は発生しない。
【００５５】
ステップS129では、最終区分か否かを調べ、最終区分でないとき、ステップS130で次の区分のラベルを読み込んで上記ステップS126へ戻り、同様の処理を繰り返す。そして、最終区分に達すると、上記ステップS129からステップS131ヘ進み、最終グループに達したか否かを調べる。その結果、最終グループに達していないときには、ステップS132で次のグループのデータを読み込み、次のグループに対して同様にグループを分割する処理を行う。この処理を繰り返し、やがて、最終グループに達すると、グループ分割処理を完了してステップS131からステップS133以降へ進む。
【００５６】
次のステップS133〜ステップS138は、分割された各グループに対し、側壁か物体かの分類を行って各グループのパラメータを算出する処理であり、ステップS133で最初のグループのデータを読み込むと、ステップS135で、グループ内の各区分の位置（Ｘｉ，Ｚｉ）からハフ変換あるいは最小二乗法によって近似直線を求め、グループ全体の傾きを算出する。
【００５７】
次に、ステップS135へ進んで、グループ全体の傾きから、Ｘ軸方向の傾きを有するグループを物体、Ｚ軸方向の傾きを有するグループを側壁に分類し、ステップS136で、各グループのパラメータを算出する。このパラメータは、物体と分類されたグループでは、グループ内の距離データから算出される平均距離や、左端、右端のＸ座標等のパラメータであり、側壁と分類されたグループでは、並びの方向（Ｚ軸との傾き）や前後端の位置（Ｚ，Ｘ座標）等のパラメータである。
【００５８】
尚、グループの分類は、前述のグループ分割処理で付けられた各区分の“側壁”あるいは“物体”のラベルによって行っても良い。
【００５９】
そして、上記ステップS136からステップS137へ進んで最終グループに達したか否かを調べ、最終グループでないときには、ステップS138で次のグループのデータを読み込んで上記ステップS134へ戻り、最終グループに達すると、ステップS139以降の処理へ進む。
【００６０】
ここで、立体物の１個の面、例えば連続したガードレール等では、区分毎の距離データのバラツキの影響を強く受けることがあり、先の距離グループ検出処理あるいはグループ分割処理で複数のグループに分割されてしまい、立体物の１つの面を誤って分割して検出する虞がある。
【００６１】
この対策として、以下のステップS139〜ステップS147のグループ結合処理において、先のグループパラメータ算出処理で算出されたグループパラメータによって各グループの相互の位置関係を調べ、同種類のグループで端点の位置が接近し、且つ、並び方向がほぼ等しい場合には、同一物体の同一の面であると判断し、それらのグループを１個のグループに統合する。そして、統合したグループとしての各種パラメータをグループパラメータ算出処理と同様にして再計算する。
【００６２】
このため、ステップS139で、最初のグループのパラメータを読み込み、ステップS140で、次のグループのパラメータを読み込むと、ステップS141で、各グループの端点の距離の差、及び、各グループの傾きの差を算出する。そして、ステップS142で、各グループの端点の距離の差、及び、各グループの傾きの差が、それぞれの判定値以内か否かを調べ、共に判定値以内のとき、ステップS143へ進んで同一物体のグループとしてグループを結合し、再度、改めてグループのパラメータを算出してステップS146へ進む。
【００６３】
一方、上記ステップS142で、各グループの端点の距離の差、あるいは、各グループの傾きの差が判定値以内でないときには、上記ステップS142からステップS144へ進んで最終グループか否かを調べ、最終グループでないときには、ステップS145で次のグループのパラメータを読み込んでステップS141へ戻り、最終グループのとき、ステップS146へ進む。
【００６４】
ステップS146では、最終グループか否かを調べ、最終グループでないとき、ステップS147で次のグループのパラメータを読み込んで上記ステップS140へ戻り、最終グループのとき、ステップS148以降へ進む。
【００６５】
以上のグループ結合処理の後、同一立体物の後部と側面で別のグループに分離されているものに対し、下のステップS148〜ステップS157の処理により、同一の立体物であることを検出し、１個の立体物を、“物体”と“側壁”との組み合わせ（後部は“物体”、側面は“側壁”とする）として認識する。
【００６６】
この処理では、まず、ステップS148で、物体と分類された最初のグループのパラメータを読み込み、ステップS149で、側壁と分類された最初のグループのパラメータを読み込む。次いで、ステップS150へ進み、物体と分類されたグループの端点の位置と、側壁と分類されたグループの端点の位置との差を算出する。この場合、各端点の位置は、“物体”が自動車の正面（Ｚ軸に相当）より右側にある場合には、“物体”の左端の位置と“側壁”の手前側の端点の位置との差を算出し、“物体”が自車両の正面より左側にある場合には、“物体”の右端の位置と“側壁”の手前側の端点の位置との差を算出する。
【００６７】
そして、ステップS151で、各グループの端点の位置の差が判定値（例えば、１ｍ程度）以内で、互いに接近しているか否かを調べ、判定値を超えているときには、ステップS152へ分岐して最終側壁か否かを調べ、最終側壁でないときには、ステップS153で側壁と分類された次のグループのパラメータを読み込んで上記ステップS150へ戻り、最終側壁のとき、ステップS156へ進む。
【００６８】
一方、上記ステップS151で、各グループの端点の位置の差が判定値以内のときには、上記ステップS151からステップS154へ進んで同一立体物であると判定する。すなわち、１個の立体物の後部と側面とが同時に見える場合、その２つの面が作るコーナーは手前に凸となっているため、“物体”の左端の位置と“側壁”の手前側の端点の位置、あるいは、“物体”の右端の位置と“側壁”の手前側の端点の位置とは、本来、一致している。従って、２つのグループの位置の差が上記判定値以内にあるとき、この２つのグループは１個の立体物を分けて検出した対であると判断することができる。
【００６９】
その後、上記ステップS154からステップS155へ進み、同一の立体物と判断された“物体”と“側壁”との対に対し、それぞれの近似直線を延長して交差する点を立体物のコーナー点の位置として算出すると、各端点の位置を、このコーナー点の位置に変更する。そして、ステップS156で、“物体”の最終グループか否かを調べ、“物体”の最終グループでないときには、ステップS157で、“物体”と分類された次のグループのパラメータを読み込み、上記ステップS149へ戻って同様の処理を繰り返す。一方、ステップS156で“物体”の最終のグループのときには、次のステップS158以降の処理へ進む。
【００７０】
図１４は、図１１に示す検出対象例に対し、“物体”及び“側壁”の検出結果を、Ｘ−Ｚ平面で示したものであり、この例では、上述のグループの結合や“物体”と“側壁”の組み合わせと判定されるグループはなく、“物体”は太線の実線で示され、“側壁”は太線の破線で示される。
【００７１】
次に、ステップS158以降は、所定の時間間隔（例えば、０．１ｓｅｃ）の処理サイクル毎に検出される“物体”や“側壁“の位置の変化から、これらの移動速度を算出する速度算出処理であり、まず、ステップS158で、最初のグループのパラメータを読み込み、ステップS159で同一立体物の対となっているか否かを調べる。
【００７２】
そして、同一立体物の対となっていないときには、上記ステップS159からステップS160へ進み、“物体”では左右端の中央、“側壁”では前後端の中央を中心点の位置として、この中心点の位置の時間変化量を算出すると、ステップS161で、前後方向の速度すなわちＺ方向の速度Ｖｚを、中心点のＺ座標の時間変化量から算出するともに、左右方向の速度すなわちＸ方向の速度を、中心点のＸ座標の時間変化量から算出し、ステップS164へジャンプする。
【００７３】
ステップS164では、最終グループか否かを調べ、最終グループでないときには、ステップS165で次のグループのパラメータを読み込み、ステップS159へ戻って同一立体物の対か否かを調べる。その結果、同一立体物の対でないときには、前述のステップS160,S161を経て中心点の位置に時間変化から前後・左右方向の速度を算出し、最終グループか否かを調べるステップS164へ戻る。
【００７４】
一方、上記ステップS159で同一立体物の対であるときには、上記ステップS159からステップS162へ進んで、対応する“物体”又は“側壁”のパラメータを読み込み、ステップS163で、“物体”から前後方向の速度（Ｚ軸方向の速度Ｖｚ）を算出するとともに、“側壁”から左右方向の速度（Ｘ軸方向の速度Ｖｘ）を算出し、これらの速度Ｖｚ，Ｖｘを、同一立体物におけるＺ軸方向、Ｘ軸方向の速度とする。そして、ステップS164で、最終グループか否かを調べ、最終グループでないときには、以上の処理を繰り返し、最終グループのとき、ステップS164からステップS166へ進んで、各グループのパラメータをメモリに書き込み、立体物検出処理の全体のプログラムを終了する。
【００７５】
すなわち、“物体”では、Ｚ軸方向の位置は複数の区分の距離の平均値的な値となり、速度Ｖｚは安定しているが、Ｘ方向の位置は左右端のＸ座標のバラツキの影響を受け、速度Ｖｘはバラツキが大きい傾向にある。一方、“側壁”では、Ｘ方向の位置は複数の区分のＸ座標の平均値的な値となり、速度Ｖｘは安定しているが、Ｚ方向の位置は前後端のＺ座標のバラツキの影響を受け、速度Ｖｚはバラツキが大きくなる傾向にある。従って、両方の安定した速度のみを用いて同一立体物の速度とするのである。
【００７６】
この場合、前回の処理で検出された距離データと、今回の処理で検出された距離データとでは、同一の立体物の同一部分を検出している距離データの対応関係を求めることは困難であり、個々の距離データから対象物の速度を求めることは困難である。しかしながら、本発明においては、個々の距離データを立体物毎にグループ化し、グループ毎に直線状に近似して、その中心点を求めているため、前回処理時に検出されたグループと今回の処理で検出されたグループとの対応関係を求めることは容易であり、中心点の移動量から対象物の速度を算出することができる。
【００７７】
以上の処理によって検出された物体や側壁のデータは、マイクロプロセッサ３０ｃによる隙間距離算出処理のプログラムに渡され、予測時間ｔ後の立体物の位置と自車両の走行領域とに基づいて接触危険性が判断されるとともに、自車両と立体物との隙間距離が算出される。
【００７８】
この隙間距離算出処理のプログラムでは、ステップS201で、自車両の通過軌跡を推定する。この自車両の通過軌跡は、自車両の輪郭をｎ個の頂点からなる多角形で直線近似した内蔵モデルを利用して推定するようにしており、図１５（ａ）に示すような自車両の輪郭を、図１５（ｂ）に示すように、後車軸中心を原点とした頂点ｎの座標Ｐｎ＝[Ｐxn,Ｐzn]Tで近似し、予測時間ｔ（例えば、１、２秒）後の頂点ｎの座標Ｐｎ'＝[Ｐ'xn,Ｐ'zn]Tを求めることで、自車両の通過軌跡を推定する。
【００７９】
このため、まず、車速センサ４から得た車速と舵角センサ５から得た操舵角とから、予測時間ｔにおける後車軸中心を基準とした空走距離Ｌ及び旋回半径Ｒを求める。この空走距離Ｌは、自車両の速度に比例する距離と最低限走行する距離（例えば、〜１ｍ程度）からなり、また、旋回半径Ｒの中心は後車軸延長線上に重なるものとする。そして、旋回中心の座標をＯ＝[Ｏx,Ｏz]Tとし、旋回角度をθとすると、この旋回角度θは、以下の(10)式によって与えられ、予測時間ｔ後の頂点ｎの座標は、以下の(11)式で与えられる。
θ＝Ｌ／Ｒ …(10)
また、各頂点の旋回半径ｒnは、以下の(12)式で求めることができるため、これを用い、旋回半径が最大の（最も外側を通る）頂点番号ｎoと最小の（最も内側を通る）頂点番号ｎiを求める。そして、頂点番号ｎoの現在の座標Ｐｎoと予測時間ｔ後の座標Ｐ'ｎoとを、(12)式を適用して求めた最大旋回半径ｒnoの円弧で繋ぐとともに、頂点番号ｎiの現在の座標Ｐｎiと予測時間ｔ後の座標Ｐ'ｎiとを、(12)式を適用して求めた最小旋回半径ｒniの円弧で繋ぎ、残った頂点を、それぞれ隣り合う頂点と直線で繋ぐことにより、図１６に示すように、自車両の通過軌跡を得ることができる。
ｒn＝((Ｐxn−Ｏx)2＋(Ｐzn−Ｏz)2)1/2 …(12)
【００８１】
この場合、舵角０すなわち旋回半径無限大のときには、計算実行が不可能になるため、予測時間ｔ後の頂点ｎの座標は、以下の(13)式で求め、左右それぞれに最も張り出した頂点を直線で繋いで推定通過軌跡とする。
そして、自車両の通過軌跡を推定した後、上記ステップS201からステップS202へ進み、後述する接触判定及び隙間計測のため、自車両の輪郭モデル（図１５参照）の先端中央Ｃｆ＝[Ｃxf,Ｃzf]Tと後端中央Ｃｒ＝[Ｃxr,Ｃzr]Tとを、各頂点と同様に予測時間ｔ後の位置Ｃ'ｆ，Ｃ'ｒを算出し、図１７に示すように、通過軌跡による走行領域を右側の判定領域と左側の判定領域とに分割する。
【００８３】
続くステップS203では、先の立体物検出処理で得られた各グループの速度Ｖｘ，Ｖｚから、予測時間ｔにおける立体物のＸ方向移動量ｄｘ、Ｚ方向移動量ｄｚを以下の(14),(15)式によって求め、各距離データをＸ方向移動量ｄｘ、Ｚ方向移動量ｄｚだけ移動させ、予測時間ｔ後の立体物の位置を推定する。
ｄｘ＝Ｖｘ・ｔ …(14)
ｄｚ＝Ｖｚ・ｔ …(15)
【００８４】
図１３に示す立体物の位置の検出結果をグループ化した例では、植え込みを検出したグループ１，２，３、及び、右の壁を検出したグループ７ではＸ方向、Ｚ方向ともに速度は略０と検出されるため、予測時間ｔ後の位置は検出位置から変化しない。また、先行車両を検出したグループ４では、例えば、速度Ｖｘ＝０、Ｖｚ＝４．０ｍ／ｓｅｃと検出されたものとし、ｔ＝１．５ｓｅｃと仮定すると、グループ４の移動量はｄｘ＝０．０ｍ、ｄｚ＝６．０ｍとなる。また、自転車を検出したグループ６は、例えば、Ｖｘ＝−０．１ｍ／ｓｅｃ、Ｖｚ＝−１．０ｍ／ｓｅｃと検出されたとすると、移動量は、ｄｘ＝−０．１５ｍ、ｄｚ＝−１．５ｍとなる。図１８は、各距離データを、Ｘ方向移動量ｄｘ、Ｚ方向移動量ｄｚだけ移動させた予測時間ｔ後の推定位置を示している。
【００８５】
その後、ステップS204へ進み、ステレオカメラの視野外となった立体物について、距離データの追跡を行う。Ｘ方向及びＺ方向とも速度略０と検出された距離データのグループは道路上に静止している立体物とし、その距離データが各処理サイクル毎に保持されている。
【００８６】
ｋ番目の処理サイクルとｋ−１番目の処理サイクル間の走行軌跡は、車速センサ４及び舵角センサ５により、走行軌跡Ｌ'、旋回半径Ｒ'として得ることができる。このとき、走行距離Ｌ'は、ｋ番目の処理サイクルでの位置を基準にするため、Ｌ'＜０となり、旋回中心の座標をＯ'＝[Ｏ'x,Ｏ'z]Tとし、旋回角度をαとすると、この旋回角度αは、以下の(16)式によって与えられる。
α＝Ｌ'／Ｒ' …(16)
【００８７】
従って、ｋ−１番目の処理サイクルでの距離データをＤ＝[Ｄx,Ｄz]Tとすると、ｋ番目の処理サイクルでの距離データＤ'は、以下の(17)式によって求めることができ、これを処理サイクル毎に更新してゆくことにより、図１９に示すように、ステレオカメラの視野外に逸脱してしまった距離データを追跡することができる。
その後、上記視野外に逸脱してしまった立体物の追跡データを含め、自車両通過軌跡と立体物の接触判定を行うため、ステップS205で、予測時間ｔ後の位置を推定した距離データの中から最初のデータを読み込むと、ステップS206で、その推定距離データが右側判定領域内にあるか否かを調べる。
【００８９】
そして、推定距離データが右側判定領域内にない場合には、上記ステップS206からステップS208へ進み、右側判定領域内にある場合、自車両と接触する可能性があると判断して上記ステップS206からステップS207へ進んで右側の接触を示す右側接触フラグをＯＮし、ステップS208へ進む。
【００９０】
ステップS208では、推定距離データが左側判定領域内にあるか否かを調べ、左側判定領域内にない場合、ステップS210へ進み、推定距離データが左側判定領域内にある場合、ステップS211で左側の接触を示す左側接触フラグをＯＮし、ステップS210へ進む。
【００９１】
ステップS210では、右側あるいは左側の接触フラグがＯＮされたか否かを調べ、いずれかの側の接触フラグがＯＮされたときには、ステップS211で警報を発生し、ディスプレイ９への警告表示、あるいは、ランプ、ブザー等による警告を行い、運転者に知らせる。
【００９２】
一方、上記ステップS210で、左右の接触フラグがＯＮされていないときには、上記ステップS210からステップS212へ進み、接触判定領域外の推定距離データを、通過軌跡前面より前方にあるデータを除いて車体中心線左右にグループに振り分ける。次に、ステップS213で、接触判定領域外の推定距離データと自車両の通過軌跡との間の隙間距離を算出する。この隙間距離は、図２０に示すように、左グループの場合は自車両左側面の通過軌跡に対して、右グループの場合は自車両右側面の通過軌跡に対して法線を引き、この長さを“隙間距離”とし、その値を記憶する。
【００９３】
その後、ステップS214へ進んで最終の推定距離データか否かを調べ、最終の推定距離データに達していないときには、ステップS215で次の推定距離データを読み込んで上記ステップS206へ戻り、以上の処理を繰り返す。そして全ての推定距離データについて接触判定を完了すると、上記ステップS214からステップS216へ進み、左右各グループ毎に隙間距離の最小値を算出して保持し、ステップS217で、数値表示あるいは算出した隙間距離の最小値に応じて注意を喚起するための表示信号をディスプレイ９に出力し、運転者に報知する。
【００９４】
図２１は、図１８に示す予測時間ｔ後の各距離データの推定位置に対し、自車両の走行領域を記入したものであり、この例では、先行車両の現在の検出位置は自車両の走行領域に入っているが、立体物の速度と自車両の走行軌跡とを考慮し、設定時間後の推定位置に対して接触判定を行うため、先行車両とは接触しないと正しく判定することができる。
【００９５】
また、図２１における自転車のように複雑な対象物に対しても、グループ内の個々の距離データをグループの速度に応じて移動させるため、検出される対象物の凹凸がそのまま保持され、接触判定を精密に行うことができる。図２１の例では、自転車に接触する危険があると正しく判定され、思わぬ事故を未然に回避することができる。図２１においては、植え込みのように、静止している立体物に対しても同様である。
【００９６】
しかも、この場合、自車両の輪郭が描く走行軌跡を、自車両の速度及び舵角に応じて推定するため、対象物の凹凸を考慮することに合わせ、自車両の凹凸も考慮され、接触判定、隙間計測の精度を向上することができるばかりでなく、運転者の注視する領域と接触判定領域とを近づけることができ、違和感の少ない警報を発することができる。
【００９７】
さらに、検出範囲外に逸脱してしまった対象物に対しても距離データの追跡を行うため、自車両のすぐ横の立体物に対しても、接触判定、隙間計測を行うことができ、特に、内輪差の影響による接触事故防止に大きな効果を発揮することができる。
【００９８】
図２２及び図２３は本発明の実施の第２形態に係わり、図２２は立体物検出処理の部分フローチャート、図２３はグループの対応関係を示す説明図である。
【００９９】
前述の第１形態では、立体物の移動速度を検出するため、検出したグループを“物体”又は“側壁”として直線状に近似し、その中心点を求める処理を行っている。これに対し、本形態では、前回処理で検出したグループ内の個々の距離データと今回処理で検出したグループ内の個々の距離データとを比較し、グループとしての移動量を求め、速度を算出するものである。
【０１００】
このため、本形態では、画像処理用コンピュータ３０のマイクロプロセッサ３０ｂによる立体物検出処理の一部を変更する。本形態の立体物検出処理は、第１形態の図３〜図６のプログラムにおいて、ステップS101〜S114の距離データ検出処理、ステップS115〜S121の距離グループ検出処理、ステップS122〜S132のグループ分割処理までは同じであり、このグループ分割処理以降を変更する。
【０１０１】
すなわち、本形態では、ステップS122〜S132のグループ分割処理を完了すると、ステップS132から図２２のステップS170へ進み、ステップS170〜S174で、前回処理で検出された複数のグループの中から今回の処理で検出されたグループと、同一の立体物を検出しているグループを検索してグループの対応関係を求める処理を行った後、ステップS175以降で、今回処理で検出されたグループと対応関係にある前回検出のグループとの間の移動量からグループの速度を求める。
【０１０２】
このため、まず、ステップS170で今回検出の最初のグループのデータを読み込むと、ステップS171で、グループ内の距離データの重心点（Ｘｃ，Ｚｃ）を求める。この重心点（Ｘｃ，Ｚｃ）は、グループ内のｉ番目の距離データの位置をｘi、ｚiとし、ｎをグループに所属する距離データの個数とすると、以下の(18),(19)式によって求めることができる。但し、Σはｉ＝１〜ｎの総和を求めるものとする。
Ｘｃ＝（Σｘi）／ｎ …(18)
Ｚｃ＝（Σｚi）／ｎ …(19)
【０１０３】
次に、ステップS172へ進み、前回処理で検出されたグループの重心点を読み出し、この前回検出のグループの重心点と今回検出のグループの重心点との間の距離（重心点の移動量）を算出すると、ステップS173で、各グループの重心点間の距離が判定値以下か否かを調べる。そして、前回処理で検出されたグループの重心点と今回検出のグループの重心点との間の距離が判定値を超えているときには、これらのグループは同一立体物を検出したものではないと判断してステップS174へ進み、前回検出の次のグループの重心点を読み出して上記ステップS172へ戻る。
【０１０４】
一方、上記ステップS173で、各グループの重心点間の距離が判定値以下のときには、これらのグループは同一立体物を検出した対応関係にあると判断して上記ステップS173からステップS175へ進み、前回検出のグループ内の各距離データを移動させてグループ間のズレ量が最小となる修正量を算出する。
【０１０５】
例えば、図２３に示すように、前回検出のグループＦと今回検出のグループＧが対応関係にあるとすると、まず、前回検出のグループＦの各距離データを、今回検出のグループＧの重心点ＰGと前回検出のグループＦの重心点ＰFとが一致するように移動する。
【０１０６】
次に、この移動後のグループＦ１の各距離データｉF1について、今回検出のグループＧ内で最も距離が近い距離データｉGを求め、各距離データｉF1,ｉG間の距離ｄｉF1を求める。これを移動後のグループＦ１内の全ての距離データについて行い、距離ｄｉF1の二乗和ＳＤＫ1（ズレ量）を、以下の(20)式によって求める。
ＳＤＫ1＝ΣｄｉF12 …(20)
【０１０７】
さらに、グループＦ１の全体の位置を、Ｚ方向及びＸ方向に微小量Δｚ，Δｘだけ移動し、この移動後のグループＦ２と今回検出のグループＧとの間のズレ量ＳＤＫ2を、上記と同様に算出する。そして、この処理を、Δｚ，Δｘを変化させて繰り返し、各ずれ量ＳＤＫ1,ＳＤＫ2,ＳＤＫ3,…の中で最小値が得られる微小量Δｚ，Δｘの値を、グループ間のズレ量が最小となる修正量とする。
【０１０８】
以上により、グループ間のズレ量が最小となる修正量を求めると、次に、ステップS176へ進み、対応関係にあるグループ間の重心点の移動量に上記修正量を加えた値をグループ間の移動量とし、ステップS177で、この移動量を処理サイクル毎の時間間隔で割り算してグループの速度Ｖｚ，Ｖｘを算出する。次いで、ステップS178で最終グループか否かを調べ、最終グループでないときには、ステップS179で次のグループのデータを読み込んでステップS171へ戻り、以上の処理を繰り返す。尚、簡易的には、上記ステップS172で算出した重心点の移動量を処理サイクル毎の時間間隔で割り算し、グループの速度としても良い。
【０１０９】
そして、上記ステップS178で最終グループとなって最終グループの処理が完了したとき、上記ステップS178からステップS180へ進んで各グループの位置や速度等のパラメータをメモリに書き込み、立体物検出処理の全体のプログラムを終了する。この立体部検出処理のデータを用いる以降の隙間距離算出処理は、前述の第１形態と同じである。
【０１１０】
本形態では、前述の第１形態に対し、立体物の移動速度を高い精度で検出することができ、接触判定や隙間距離の精度をより一層向上することができる。
【０１１１】
図２４〜図２７は本発明の第３形態に係り、図２４は車外監視装置の全体構成図、図２５は車外監視装置の回路ブロック図、図２６は画像の例を示す説明図、図２７は立体物の二次元分布の例を示す説明図である。
【０１１２】
本形態の車外監視装置５０は、図２４に示すように、上下２台のカメラからなるステレオ光学系６０からの画像を処理して立体物の二次元的な位置分布を認識する通路パターン認識装置７０を採用し、この通路パターン認識装置７０に第１形態と同様の画像処理用コンピュータ３０を接続したものであり、通路パターン認識装置７０によって得られる立体物の二次元分布の位置情報を前述の第１形態と同様の方法で処理するものである。
【０１１３】
上記通路パターン認識装置７０は、周知の装置を適用することができ、例えば、計測自動制御学会論文集Ｖｏｌ．２１，Ｎｏ．２（昭和６０年２月）「障害物の２次元的な分布の認識手法」に記載されている通路パターン認識装置等を適用することができる。尚、上記通路パターン認識装置７０は、前述の第１形態と同様に２台のカメラの画像を処理して被写体までの距離分布を検出するものであるが、装置内部のデータ処理方法が異なるため立体物の情報のみが出力され、第１形態のような白線による道路形状の検出はできない。
【０１１４】
上記ステレオ光学系６０は、車両４０の前部に上下一定の間隔をもって取り付けられる２台のＣＣＤカメラ６０ａ，６０ｂで構成されており、また、上記通路パターン認識装置７０は、図２５に示すように、上記ステレオ光学系６０からの上下２枚の画像信号を入力し、立体物の距離及び位置の二次元分布を算出する距離検出回路６０ａ、この距離検出回路６０ａからの二次元分布情報を記憶する二次元分布メモリ６０ｂ等から構成されている。
【０１１５】
本形態では、ステレオ光学系６０で撮像した画像、例えば、図２６に示すような画像を通路パターン認識装置７０で処理すると、図２７に示すような立体物の二次元分布パターンが出力される。これは、前述の第１形態における区分毎の距離データに相当するものであり、この立体物の二次元分布パターンに対し、前述の第１形態と同様の処理を行うことにより、立体物検出、接触判定、隙間距離計測を行うことができる。
【０１１６】
本形態では、側壁の有無や位置を、直線式のパラメータや前後端の座標といった簡素なデータ形態に変換するため、利用側でのデータの取扱いや処理が容易となる。
【０１１７】
図２８〜図３２は本発明の実施の第４形態に係わり、図２８は車外監視装置の全体構成図、図２９は車外監視装置の回路ブロック図、図３０はレーザビームの走査方法を側面から示す説明図、図３１はレーザビームの走査方法を上面から示す説明図、図３２はレーザレーダ測距装置で計測される立体物の二次元分布の例を示す説明図である。
【０１１８】
前述の各形態ではカメラの撮像画像を処理して車外の物体を検出するようにしているが、これに対し、本形態は、レーザビームの走査によって車外の物体を検出するものである。すなわち、図２８に示すように、本形態の車両８０に搭載される車外監視装置９０は、レーザビームによるレーザレーダ測距装置１００を採用し、このレーザレーダ測距装置１００に画像処理用コンピュータ３０を接続したものである。
【０１１９】
上記レーザレーダ測距装置１００は、レーザビームを投射し、このレーザビームが物体に当たって反射してくる光を受光し、この所要時間から物体までの距離を測定するものであり、本形態の車外監視装置９０には周知のレーザレーダ測距装置を適用することができる。
【０１２０】
本形態の車外監視装置９０では、レーザビームの投射・受光と左右方向への走査機能を有するレーザ投光ユニット１０１が車両の前部に取り付けられており、図２９に示すように、レーザレーダ測距装置１００には、レーザービームの投光受光の所要時間から物体までの距離を計算し、また、レーザビームを走査する方向から物体の二次元の位置を計算する距離検出回路１００ａ、検出された物体の二次元の位置を書き込む二次元分布メモリ１００ｂ等から構成されている。
【０１２１】
図３０に示すように、レーザ投光ユニット１０１からはレーザビームが水平に投射され、道路表面より高い位置にある立体物のみが検出される。また、図３１に示すように、レーザビームは左右方向に走査され、所定の走査範囲で一定の間隔毎にレーザビームが投光・受光されて距離を検出する動作が繰り返され、立体物の二次元分布が計測される。
【０１２２】
例えば、前方左側にガードレール、右前方に他の車両がある状況を上記レーザレーダ測距装置１００で計測すると、図３２に示すような立体物の二次元分布の情報が得られる。これは、前述の第１形態における区分毎の立体物の距離データと同様である。
【０１２３】
従って、レーザレーダ測距装置１００の出力である立体物の二次元分布に対し、第１形態と同様の処理を行なうことにより、物体や壁面を検出することができる。本形態では、立体物のデータを処理が容易な形態で得ることができ、計算処理量を低減することが可能である。
【０１２４】
【発明の効果】
以上説明したように本発明によれば、検出した障害物の位置の変化や細部形状に関する情報を取り入れて自車両との接触可能性を正確且つ精密に判断することができる等優れた効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の第１形態に係わり、車外監視装置の全体構成図
【図２】同上、車外監視装置の回路ブロック図
【図３】同上、立体物検出処理のフローチャート（その１）
【図４】同上、立体物検出処理のフローチャート（その２）
【図５】同上、立体物検出処理のフローチャート（その３）
【図６】同上、立体物検出処理のフローチャート（その４）
【図７】同上、隙間距離算出処理のフローチャート
【図８】同上、車載のカメラで撮像した画像の例を示す説明図
【図９】同上、距離画像の例を示す説明図
【図１０】同上、距離画像の区分を示す説明図
【図１１】同上、検出対象の状況例を示す説明図
【図１２】同上、区分毎の立体物の検出距離の例を示す説明図
【図１３】同上、区分毎の立体物の検出距離をグループ化した例を示す説明図
【図１４】同上、検出した物体と側壁の結果を示す説明図
【図１５】同上、自車両輪郭の近似を示す説明図
【図１６】同上、自車両の通過軌跡を示す説明図
【図１７】同上、左右判定領域の説明図
【図１８】同上、設定時間後の立体物の位置の推定結果を示す説明図
【図１９】同上、視野外距離データの追跡を示す説明図
【図２０】同上、通過軌跡と距離データとの隙間計測の説明図
【図２１】同上、自車両と立体物との接触判定の説明図
【図２２】本発明の実施の第２形態に係わり、立体物検出処理の部分フローチャート
【図２３】同上、グループの対応関係を示す説明図
【図２４】本発明の第３形態に係り、車外監視装置の全体構成図、
【図２５】同上、車外監視装置の回路ブロック図
【図２６】同上、画像の例を示す説明図
【図２７】同上、立体物の二次元分布の例を示す説明図
【図２８】本発明の実施の第４形態に係わり、車外監視装置の全体構成図
【図２９】同上、車外監視装置の回路ブロック図
【図３０】同上、レーザビームの走査方法を側面から示す説明図
【図３１】同上、レーザビームの走査方法を上面から示す説明図
【図３２】同上、レーザレーダ測距装置で計測される立体物の二次元分布の例を示す説明図
【符号の説明】
１ …車外監視装置
１０ａ，１０ｂ…ＣＣＤカメラ
２０…イメージプロセッサ
３０…画像処理用コンピュータ
Claims (7)
- 車外の物体の距離を計測して得られる距離分布の疑似画像を複数の区分に分割し、各区分毎に立体物の有無と距離データとを検出して車外の状況を認識する車外監視装置において、
上記距離データが互いに接近し隣接する各区分を１つのグループにまとめ、このグループ毎の立体物の移動速度を算出する手段と、
上記グループに属する全ての区分の距離データを、該区分が属するグループの移動速度に応じて移動させ、設定時間後の上記立体物の位置を推定する手段と、
上記設定時間後の自車両の輪郭が描く走行軌跡を推定する手段と、
上記立体物の推定位置と上記自車両の走行軌跡とを比較し、自車両が立体物に接触するか否かを判定する手段と、
上記立体物の推定位置と上記自車両の走行軌跡とに基づいて、自車両と立体物との間の最小隙間を算出する手段とを備えたことを特徴とする車外監視装置。 - 前回の処理で検出されたグループ内の各距離データと今回の処理で検出されたグループ内の各距離データとを比較してグループ間の対応関係を調べ、対応するグループ間の時間的な移動量から移動速度を算出することを特徴とする請求項１記載の車外監視装置。
- 道路上に静止している立体物の距離データを処理サイクル毎に保持し、当該立体物が検出範囲外に逸脱したとき、前回の距離データと自車両の走行軌跡とに基づいて当該立体物の位置を推定する手段を備えたことを特徴とする請求項１記載の車外監視装置。
- 上記疑似画像は、一組のカメラで撮像した一対の画像の相関を求め、同一物体に対する視差から三角測量の原理によって求めた三次元の距離分布を示すものであることを特徴とする請求項１記載の車外監視装置。
- 上記疑似画像は、一組のカメラで撮像した一対の画像を処理して得られる二次元の距離分布を示すものであることを特徴とする請求項１記載の車外監視装置。
- 上記疑似画像は、レーザ光の投射・受光あるいは電波の発信・受信によって求めた二次元の距離分布を示すものであることを特徴とする請求項１記載の車外監視装置。
- 車外の物体の距離を計測して、立体物の有無と立体物に対する距離データとを検出して車外の状況を認識する車外監視装置において、
上記距離データが互いに隣接及び接近するものを１つのグループにまとめ、このグループ毎の立体物の移動速度を算出する手段と、
上記グループに属する全ての区分の距離データを、該区分が属するグループの移動速度に応じて移動させ、設定時間後の上記立体物の位置を推定する手段と、
上記設定時間後の自車両の輪郭が描く走行軌跡を推定する手段と、
上記立体物の推定位置と上記自車両の走行軌跡とを比較し、自車両と立体物との間の隙間距離を算出する手段とを備えたことを特徴とする車外監視装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08688197A JP4082471B2 (ja) | 1997-04-04 | 1997-04-04 | 車外監視装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08688197A JP4082471B2 (ja) | 1997-04-04 | 1997-04-04 | 車外監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10283462A JPH10283462A (ja) | 1998-10-23 |
| JP4082471B2 true JP4082471B2 (ja) | 2008-04-30 |
Family
ID=13899186
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP08688197A Expired - Lifetime JP4082471B2 (ja) | 1997-04-04 | 1997-04-04 | 車外監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4082471B2 (ja) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3349060B2 (ja) * | 1997-04-04 | 2002-11-20 | 富士重工業株式会社 | 車外監視装置 |
| JP3450189B2 (ja) * | 1998-06-16 | 2003-09-22 | ダイハツ工業株式会社 | 歩行者検知システム及びその制御方法 |
| JP4100823B2 (ja) * | 1999-05-27 | 2008-06-11 | 本田技研工業株式会社 | 物体判定装置 |
| JP3792437B2 (ja) * | 1999-06-08 | 2006-07-05 | 三菱電機株式会社 | 車載情報装置 |
| JP3515926B2 (ja) * | 1999-06-23 | 2004-04-05 | 本田技研工業株式会社 | 車両の周辺監視装置 |
| JP4115638B2 (ja) | 1999-10-19 | 2008-07-09 | 本田技研工業株式会社 | 物体認識装置 |
| JP4487672B2 (ja) * | 2004-07-23 | 2010-06-23 | 株式会社デンソー | 危険領域設定装置 |
| JP4327062B2 (ja) * | 2004-10-25 | 2009-09-09 | 三菱電機株式会社 | ナビゲーション装置 |
| JP2006178696A (ja) * | 2004-12-22 | 2006-07-06 | Nippon Telegr & Teleph Corp <Ntt> | 平面検出装置および方法並びに平面検出プログラム |
| EP1881450A1 (en) * | 2005-05-10 | 2008-01-23 | Olympus Corporation | Image processing apparatus, image processing method, and image processing program |
| WO2006121088A1 (ja) * | 2005-05-10 | 2006-11-16 | Olympus Corporation | 画像処理装置、画像処理方法および画像処理プログラム |
| JP2007087203A (ja) * | 2005-09-22 | 2007-04-05 | Sumitomo Electric Ind Ltd | 衝突判定システム、衝突判定方法及びコンピュータプログラム |
| JP2008117073A (ja) * | 2006-11-01 | 2008-05-22 | Fuji Heavy Ind Ltd | 割り込み車両検出装置 |
| JP5171723B2 (ja) * | 2009-04-27 | 2013-03-27 | アルプス電気株式会社 | 障害物検知装置、および当該装置を搭載した車両 |
| JP6194610B2 (ja) | 2013-03-28 | 2017-09-13 | 富士通株式会社 | 移動距離推定装置、移動距離推定方法、及びプログラム |
| JP5959073B2 (ja) | 2014-09-30 | 2016-08-02 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | 検出装置、検出方法、及び、プログラム |
| JP6408860B2 (ja) * | 2014-10-22 | 2018-10-17 | 株式会社デンソー | 物体検知装置 |
| JP6430907B2 (ja) * | 2015-07-17 | 2018-11-28 | 株式会社Ｓｏｋｅｎ | 運転支援システム |
| JP6657934B2 (ja) * | 2015-12-25 | 2020-03-04 | トヨタ自動車株式会社 | 物体検出装置 |
| EP3327696B1 (en) | 2016-11-22 | 2021-03-17 | Ricoh Company, Ltd. | Information processing apparatus, imaging device, device control system, mobile body, information processing method, and program |
| JP6658674B2 (ja) | 2017-06-08 | 2020-03-04 | トヨタ自動車株式会社 | 運転支援システム |
| WO2019039280A1 (ja) | 2017-08-22 | 2019-02-28 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及び、車両 |
| JP6844508B2 (ja) * | 2017-11-15 | 2021-03-17 | 株式会社豊田自動織機 | 安全装置 |
| US10754341B2 (en) * | 2018-02-07 | 2020-08-25 | Baidu Usa Llc | Systems and methods for accelerated curve projection |
| JP6969425B2 (ja) * | 2018-02-20 | 2021-11-24 | 株式会社デンソー | 光測距装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2799375B2 (ja) * | 1993-09-30 | 1998-09-17 | 本田技研工業株式会社 | 衝突防止装置 |
| JP3186401B2 (ja) * | 1994-02-10 | 2001-07-11 | 三菱電機株式会社 | 車両用距離データ処理装置 |
| JP3212218B2 (ja) * | 1994-05-26 | 2001-09-25 | 三菱電機株式会社 | 車両用障害物検出装置 |
| JPH0979821A (ja) * | 1995-09-12 | 1997-03-28 | Suzuki Motor Corp | 障害物認識装置 |
| JP3586938B2 (ja) * | 1995-09-12 | 2004-11-10 | スズキ株式会社 | 車載用距離測定装置 |
| JP3336825B2 (ja) * | 1995-09-25 | 2002-10-21 | 三菱自動車工業株式会社 | 障害物認識装置 |
-
1997
- 1997-04-04 JP JP08688197A patent/JP4082471B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10283462A (ja) | 1998-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4082471B2 (ja) | 車外監視装置 | |
| JP3349060B2 (ja) | 車外監視装置 | |
| EP0933725B1 (en) | Vehicle surroundings monitoring apparatus | |
| CN106463064B (zh) | 物体识别装置和使用该物体识别装置的车辆行驶控制装置 | |
| JP3315054B2 (ja) | 車外監視装置 | |
| US7046822B1 (en) | Method of detecting objects within a wide range of a road vehicle | |
| CN109359409A (zh) | 一种基于视觉与激光雷达传感器的车辆可通过性检测系统 | |
| JP5145585B2 (ja) | 物標検出装置 | |
| JP5804180B2 (ja) | 立体物検出装置 | |
| US20030210807A1 (en) | Monitoring device, monitoring method and program for monitoring | |
| CN110378202B (zh) | 一种基于鱼眼镜头的全方位行人碰撞预警方法 | |
| CN109827516B (zh) | 一种通过车轮来测量距离的方法 | |
| KR102536037B1 (ko) | 차량의 주변 환경에 있는 물체와 관련된 정보를 결정하기 위한 방법 및 처리 유닛 | |
| JP5943077B2 (ja) | 立体物検出装置および立体物検出方法 | |
| JP5682735B2 (ja) | 立体物検出装置 | |
| JP5743020B2 (ja) | 立体物検出装置 | |
| JP2006072495A (ja) | 立体物監視装置 | |
| JP5682734B2 (ja) | 立体物検出装置 | |
| JPH09106500A (ja) | 車輌の運転支援装置 | |
| JP6972798B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及びプログラム | |
| JP2003230134A (ja) | ナイトビジョンシステム | |
| KR101478072B1 (ko) | 차량 검출 방법 | |
| JP5835459B2 (ja) | 立体物検出装置 | |
| JP2020187434A (ja) | 立体物検出装置、及び立体物検出方法 | |
| JPH05113482A (ja) | 車載用追突防止装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040401 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040401 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070413 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070508 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070704 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071204 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071220 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080206 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110222 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120222 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120222 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130222 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140222 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |