JP3337197B2 - 車外監視装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車外の対象を撮像
したステレオ画像対を処理して三次元の距離情報を有す
る距離画像を求め、この距離画像に基づいて車外の状況
を認識する車外監視装置に関する。

【０００２】

【従来の技術】最近では、自動車にＴＶカメラやレーザ
・レーダ等を搭載して前方の車両や障害物を検知し、そ
れらに衝突する危険度を判定して運転者に警報を発した
り、自動的にブレーキを作動させて停止させる、あるい
は、先行車との車間距離を安全に保つよう自動的に走行
速度を増減する等のＡＳＶ（Advanced Safety Vehicl
e；先進安全自動車）に係わる技術の開発が積極的に進
められている。

【０００３】ＴＶカメラの画像から前方の物体を検知す
る技術としては、本出願人によって先に提出された特開
平５−２６５５４７号公報の技術があり、この技術で
は、車両の左右に取り付けた２台のステレオカメラの画
像を距離画像に変換し、この距離画像を８〜２０画素間
隔で格子状の領域に区分し、各区分毎に立体物を検出し
ている。

【０００４】

【発明が解決しようとする課題】しかしながら、前述の
技術では、主として一般道路や高速道路等における障害
物の検出を想定しており、画像を８〜２０画素間隔の複
数個の領域（具体的には１２画素間隔で３３個の小領
域）に区分する程度で十分に走行障害物となる物体の有
無や位置を検知することができるものの、物体表面の凹
凸等の形状をより精密に検知する必要がある場合、結果
的に画像の区分が粗くなり、対処が困難となる。

【０００５】特に、混雑した道路や狭い住宅街の道路に
おいて、物体と自車両との衝突や接触をより精度高く判
定するためには、物体の凡その位置に加えて物体表面の
凹凸等の形状も検知する必要がある。このような状況に
対処するため、区分の間隔を８〜２０画素より細かくす
ると、画像に含まれるノイズの影響を受けて誤検出が発
生し易くなり、物体の検出が不安定になるという問題が
ある。

【０００６】本発明は上記事情に鑑みてなされたもの
で、車外の対象を撮像したステレオ画像対を処理して求
めた三次元の距離情報を有する距離画像に含まれるノイ
ズを効率的に除去して物体の位置検出における空間分解
能を向上し、より精密で、且つ信頼性の高い外界情報を
得ることのできる車外監視装置を提供することを目的と
している。

【０００７】

【課題を解決するための手段】請求項１記載の発明は、
車外の対象を撮像したステレオ画像対を処理して三次元
の距離情報を有する距離画像を求め、この距離画像に基
づいて車外の状況を認識する車外監視装置において、近
接する距離データを有する画像データをグループとして
まとめて上記距離画像を複数のグループに分割し、各グ
ループの面積を算出する手段と、上記距離画像の各画像
データが属する上記グループの面積を参照し、この面積
の大小に応じて各画像データの抽出あるいは棄却を行う
手段と、抽出された画像データから画素ズレ数を横軸と
するヒストグラムを作成し、このヒストグラムの度数の
大小によって物体の有無を検知するとともに、検知した
物体までの距離を算出する手段とを備えたことを特徴と
する。

【０００８】請求項２記載の発明は、請求項１記載の発
明において、上記各画像データを、所属するグループの
番号が既知の画像データと距離が近い場合に同じ番号の
グループ、所属するグループの番号が未知の画像データ
と距離が近い場合に新しい番号のグループとして登録す
ることを特徴とする。

【０００９】請求項３記載の発明は、請求項１記載の発
明において、上記距離画像を所定間隔で格子状に区分
し、各区分毎に上記ヒストグラムを作成することを特徴
とする。

【００１０】請求項４記載の発明は、請求項１記載の発
明において、上記画像データが所属するグループの番号
を記憶するグループ番号メモリと、各グループに所属す
る画像データの数を面積として記憶するグループ面積メ
モリとを備えたことを特徴とする。

【００１１】すなわち、本発明の車外監視装置では、車
外の対象を撮像したステレオ画像対を処理して求めた三
次元の距離情報を有する距離画像に基づいて車外の状況
を認識して車外監視を行う際、近接する距離データを有
する画像データをグループとしてまとめ、距離画像を複
数のグループに分割して各グループの面積を算出した
後、距離画像の各画像データが属するグループの面積を
参照し、この面積の大小に応じて各画像データの抽出あ
るいは棄却を行ってノイズデータを除去する。そして、
抽出された画像データから画素ズレ数を横軸とするヒス
トグラムを作成し、このヒストグラムの度数の大小によ
って物体の有無を検知するとともに、検知した物体まで
の距離を算出する。

【００１２】この場合、各画像データを、所属するグル
ープの番号が既知の画像データと距離が近い場合に同じ
番号のグループとし、所属するグループの番号が未知の
画像データと距離が近い場合に新しい番号のグループと
してグループ番号メモリに登録し、各グループに所属す
る画像データの数を面積としてグループ面積メモリに記
憶することが望ましく、また、距離画像を所定間隔で格
子状に区分し、各区分毎にヒストグラムを作成すること
が望ましい。

【００１３】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図面は本発明の実施の一形態に係
わり、図１は車外監視装置の全体構成図、図２は車外監
視装置の回路ブロック図、図３は立体物距離検出の機能
ブロック図、図４及び図５は立体物距離検出処理のフロ
ーチャート、図６は車載のカメラで撮像した画像の例を
示す説明図、図７は距離画像の例を示す説明図、図８は
グループ番号メモリの説明図、図９はグループ面積メモ
リの説明図、図１０は距離画像のブロックの一部分を示
す説明図、図１１は距離画像の区分を示す説明図、図１
２は検出対象の状況例を示す説明図、図１３はヒストグ
ラムと立体物の関係を示す説明図、図１４は立体物の位
置の検出結果を示す説明図である。

【００１４】図１において、符号１は自動車等の車両で
あり、この車両１に、車外の設置範囲内の対象を撮像
し、撮像画像から車外の物体を認識して監視する車外監
視装置２が搭載されている。この車外監視装置２は、車
外の対象物を異なる位置から撮像するためのステレオ光
学系１０、このステレオ光学系１０で撮像した画像を処
理して三次元の距離分布情報を算出するイメージプロセ
ッサ２０、及び、このイメージプロセッサ２０からの距
離情報を入力し、その距離情報から道路形状や複数の立
体物の三次元位置を高速で検出し、その検出結果に基づ
いて先行車や障害物を特定して衝突警報の判断処理等を
行う画像処理用コンピュータ３０等から構成されてい
る。

【００１５】また、上記画像処理用コンピュータ３０に
は、車速センサ４、舵角センサ５等の現在の車両の走行
状態を検出するためのセンサが接続され、認識された物
体が自車両１の障害物となる場合、運転者の前方に設置
されたディスプレイ９へ表示して運転者に対する警告を
行う他、図示しないアクチュエータ類を制御する外部装
置を接続することで車体の自動衝突回避制御等が可能と
なっている。

【００１６】上記ステレオ光学系１０は、例えば電荷結
合素子（ＣＣＤ）等の固体撮像素子を用いた左右１組の
ＣＣＤカメラ１０ａ，１０ｂからなり、上記イメージプ
ロセッサ２０では、ＣＣＤカメラ１０ａ，１０ｂで撮像
した１対の画像の相関を求め、同一物体に対する視差か
ら三角測量の原理により距離を求める、いわゆるステレ
オ法により画像全体に渡る３次元の距離分布を算出す
る。

【００１７】上記画像処理用コンピュータ３０では、上
記イメージプロセッサ２０からの距離分布情報を読み込
んで道路形状や複数の立体物（車両や障害物等）の３次
元位置を高速で検出し、この検出物体との衝突や接触可
能性を上記車速センサ４や上記舵角センサ５等によって
検出した自車両の走行状態に基づいて判断し、その結果
を上記ディスプレイ９に表示して運転者に知らせる。

【００１８】上記イメージプロセッサ２０及び上記画像
処理用コンピュータ３０は、詳細には、図２に示すハー
ドウエア構成となっている。上記イメージプロセッサ２
０は、上記ＣＣＤカメラ１０ａ，１０ｂで撮像した１組
みのステレオ画像対に対して所定の小領域毎に同一の物
体が写っている部分を探索し、対応する位置のずれ量を
求めて物体までの距離を算出し、三次元の距離分布情報
として出力する距離検出回路２０ａと、この距離検出回
路２０ａから出力される距離分布情報を記憶する距離画
像メモリ２０ｂとから構成されている。

【００１９】上記距離検出回路２０ａから出力される距
離分布情報は、画像のような形態をしており（距離画
像）、左右２台のＣＣＤカメラ１１ａ，１１ｂで撮影し
た画像、例えば図６に示すような画像（図６は片方のカ
メラで撮像した画像を模式的に示す）を上記距離検出回
路２０ａで処理すると、図７のような画像となる。

【００２０】図７に示す距離画像の例では、画像サイズ
は横６００画素×縦２００画素であり、距離データを持
っているのは黒点の部分で、これは図６の画像の各画素
のうち、左右方向に隣合う画素間で明暗変化が大きい部
分である。上記距離検出回路２０ａでは、この距離画像
を、１ブロックを４×４画素の小領域として横１５０×
縦５０のブロックからなる画像として扱い、各ブロック
毎に距離（画素ズレ数）の算出を行う。

【００２１】一方、上記画像処理用コンピュータ３０
は、道路形状等の検出処理を主とするマイクロプロセッ
サ３０ａと、検出した道路形状に基づいて個々の立体物
を検出する処理を主とするマイクロプロセッサ３０ｂ
と、検出した立体物の位置情報に基づいて先行車や障害
物を特定し、衝突や接触危険性を判断する処理を主とす
るマイクロプロセッサ３０ｃとがシステムバス３１を介
して並列に接続されたマルチマイクロプロセッサのシス
テム構成となっている。

【００２２】そして、上記システムバス３１には、上記
距離画像メモリ２０ｂに接続されるインターフェース回
路３２と、制御プログラムを格納するＲＯＭ３３と、計
算処理途中の各種パラメータを記憶するＲＡＭ３４と、
処理結果のパラメータを記憶する出力用メモリ３５と、
上記ディスプレイ（ＤＩＳＰ）９を制御するためのディ
スプレイコントローラ（ＤＩＳＰ．ＣＯＮＴ．）３６
と、上記車速センサ４、上記舵角センサ５等からの信号
を入力するＩ／Ｏインターフェース回路３７とが接続さ
れている。

【００２３】上記画像処理用コンピュータ３０では、画
素を単位とする距離画像上の座標系を、図７に示すよう
に、左下隅を原点として横方向をｉ座標軸，縦方向をｊ
座標軸として扱い、画素ズレ数をｄｐとする距離画像上
の点（ｉ，ｊ，ｄｐ）を実空間の座標系に変換し、道路
形状の認識や立体物の位置検出等の処理を行う。

【００２４】すなわち、実空間の三次元の座標系を、自
車（車両１）固定の座標系とし、Ｘ軸を車両１の進行方
向右側側方、Ｙ軸を車両１の上方、Ｚ軸を車両１の前
方、原点を２台のＣＣＤカメラ１０ａ，１０ｂの中央の
真下の道路面とすると、Ｘ−Ｚ平面（Ｙ＝０）は、道路
が平坦な場合、道路面と一致することになり、以下の
(1)〜(3)式により、距離画像上の点（ｉ，ｊ，ｄｐ）
を、実空間上の点（ｘ，ｙ，ｚ）に座標変換することが
できる。 ｘ＝ＣＤ／２＋ｚ・ＰＷ・（ｉ−ＩＶ） …(1) ｙ＝ＣＨ＋Ｚ・ＰＷ・（ｊ−ＪＶ） …(2) ｚ＝ＫＳ／ｄｐ …(3) 但し、ＣＤ ：ＣＣＤカメラ１０ａ，１０ｂの間隔 ＰＷ ：１画素当たりの視野角 ＣＨ ：ＣＣＤカメラ１０ａ，１０ｂの取付け高さ ＩV，ＪV：車両１の真正面の無限遠点の画像上の座標
（画素） ＫＳ ：距離係数（ＫＳ＝ＣＤ／ＰＷ） 尚、実空間上の点（ｘ，ｙ，ｚ）から画像上の点（ｉ，
ｊ，ｄｐ）を算出する式は、上記(1)〜(3)式を変形し、
次のようになる。

【００２５】 ｉ ＝（ｘ−ＣＤ／２）／（ｚ・ＰＷ）＋ＩＶ …(4) ｊ ＝（ｙ−ＣＨ）／（ｚ・ＰＷ）＋ＪＶ …(5) ｄｐ＝ＫＳ／ｚ …(6)

【００２６】次に、上記画像処理用コンピュータ３０に
おける個々の処理について説明する。まず、上記マイク
ロプロセッサ３０ａによる道路検出処理では、距離画像
メモリ２０ｂに記憶された距離画像からの３次元的な位
置情報を利用して実際の道路上の白線だけを分離して抽
出し、内蔵した道路モデルのパラメータを実際の道路形
状と合致するよう修正・変更して道路形状を認識する。

【００２７】上記道路モデルは、認識対象範囲までの道
路の自車線を、設定した距離によって複数個の区間に分
け、各区間毎に左右の白線を３次元の直線式で近似して
折れ線状に連結したものであり、実空間の座標系におけ
る水平方向の直線式のパラメータａ，ｂ、及び、垂直方
向の直線式のパラメータｃ，ｄを求め、以下の(7)式に
示す水平方向の直線式、及び、以下の(8)式に示す垂直
方向の直線式を得る。 ｘ＝ａ・ｚ＋ｂ …(7) ｙ＝ｃ・ｚ＋ｄ …(8)

【００２８】また、上記マイクロプロセッサ３０ｂによ
る物体検出処理では、上記マイクロプロセッサ３０ａに
よって検出された道路形状に基づいて道路表面より上の
データを距離画像から選別するとともに、後述するグル
ープフィルタ処理によって距離画像に含まれるノイズを
除去し、距離画像から立体物データを抽出する。さら
に、距離画像を格子状に所定の間隔で区分し、各区分毎
にヒストグラムを作成し、立体物の距離を算出する。そ
して、各区分の立体物の距離データに基づいて物体の輪
郭像を抽出し、その形状寸法及び位置から物体の種類を
識別する等の処理を行う。

【００２９】図３は、上記マイクロプロセッサ３０ｂに
おける立体物の距離検出に係わる機能構成を示すもので
あり、グループフィルタ処理部４０、立体物データ抽出
部４１、及び、立体物距離検出部４２に大別することが
できる。この機能構成による物体検出処理では、グルー
プフィルタ処理部４０で以下に述べるグループフィルタ
によって距離画像を画素ズレ数が略同じグループにまと
めて分割し、立体物データ抽出部４１で、距離画素の
内、道路面より高い位置にあり、且つ、所属するグルー
プの面積（画素数；具体的には所属するグループのブロ
ック数で表現する）が閾値より大きいものを立体物デー
タとして抽出する。そして、立体物距離検出部４２で、
距離画像を左右方向に所定間隔で区分し、各区分毎に立
体物データを分類してヒストグラムを作成し、度数が閾
値以上となる位置を検出し、その位置を、その区分内に
存在する立体物の距離とする。

【００３０】上記グループフィルタは、周囲と似た画素
ズレ数を持つグループを検出して距離画像に含まれるノ
イズを効率的に除去するためのソフトウエアフィルタで
あり、距離画像の画素ズレ数について上下左右の４ブロ
ックと比較し、画素ズレ数の差が±１ｐｉｘ以内であれ
ば、同じグループとしてグループ番号メモリに登録し、
各グループの面積を計算してグループ面積メモリに記憶
する。

【００３１】すなわち、距離画像では、物体を正しく検
出すれば画素ズレ数は画像内である程度連続的に変化
し、一方、ミスマッチングが発生すれば画素ズレ数が周
囲と大きく異なる傾向がある。従って、上記グループフ
ィルタを用いて周囲と似た画素ズレ数を持つグループを
検出し、面積の大きいグループのデータを採用して面積
が小さいグループ（孤立データも含む）のデータを採用
しないことで、ミスマッチングの影響を低減させること
ができる。

【００３２】上記グループ番号メモリは、図８に示すよ
うに、距離画像のブロック数に対応して用意したメモリ
であり、各アドレスには、対応する距離画像のブロック
が所属するグループの番号が記憶される。また、上記グ
ループ面積メモリは、図９に示すように、グループ番号
に対応して用意したメモリであり、各アドレスには、対
応するグループに所属するブロックの数（面積）が記憶
される。

【００３３】一方、上記マイクロプロセッサ３０ｃによ
る衝突・接触判断処理では、自車線と隣接する左右の車
線上に存在する他の自動車や障害物等を抽出し、抽出し
た物体の位置と大きさ、位置の時間変化による自車両と
の相対速度等から、自車両との衝突危険性や接触可能性
を判断し、その結果を上記ディスプレイ９に表示して運
転者に警告を発する等の処理を行う。

【００３４】尚、上記距離画像の生成、この距離画像か
ら道路形状を検出する処理、物体の距離データに基づい
て物体の輪郭像を抽出する処理、及び、衝突・接触判断
処理については、本出願人によって先に提出された特開
平５−２６５５４７号公報や特開平６−２６６８２８号
公報等に詳述されている。

【００３５】以下、上記マイクロプロセッサ３０ｂによ
る立体物の距離検出処理について、図４及び図５のフロ
ーチャートに従って説明する。

【００３６】この距離検出処理のプログラムでは、ま
ず、ステップS101で、最初のブロックの距離データを読
み込むと、ステップS102で、隣接するブロックの距離デ
ータを読み込み、ステップS103で、グループを決定す
る。このグループの決定の順序は、距離画像の原点側
（左下隅）のブロックをスタート点として、右側へ処理
を進めてゆき、右端に達したならば、１ブロック上の左
端のブロックに戻り、再び、右側へ処理を進めてゆく。

【００３７】例えば、図１０に示すように、ブロック
Ｂ，Ｃ，Ｄ，Ｅが隣接するブロックＡについて考える
と、このブロックＡを処理する時点ではブロックＢ，Ｃ
は既に処理されており、グループが決定されているが、
ブロックＥ，Ｄは、グループが決定されていない。ブロ
ックＡが所属するグループの決定は、ブロックＡの画素
ズレ数をＤｐａ、同様に、ブロックＢ，Ｃ，Ｄ，Ｅの画
素ズレ数を、Ｄｐｂ，Ｄｐｃ，Ｄｐｄ，Ｄｐｅとする
と、ブロックＡの画素ズレ数Ｄｐａが各ブロックの画素
ズレ数と略一致するかを順に調べることで行う。

【００３８】詳細には、各ブロックの画素ズレ数は、互
いの差が±１ｐｉｘ以下のとき、略一致するものとし、
最初にブロックＡの画素ズレ数ＤｐａとブロックＢの画
素ズレ数Ｄｐｂとを比較し、以下のロジックに従ってグ
ループを決定する（但し、≒で一致、≠で不一致を示
す）。

【００３９】すなわち、グループ番号が既知の下または
左のブロックと距離が近いときには、そのブロックと同
じグループとし、グループ番号が既知のブロックとは距
離が近くなく、グループ番号が未知の右または上のブロ
ックと距離が近いときには、成長する可能性がある新し
いグループとして次のグループのタネとする。また、周
囲に画素ズレ数が近いブロックが無く、孤立している場
合には、０番のグループとして扱う。

【００４０】以上により、ブロックが属するグループを
決定すると、グループ番号メモリの対応するアドレス
に、決定したグループ番号を書き込み、さらに、ステッ
プS104へ進んで、グループ面積メモリの対応するアドレ
スのグループ面積を更新する。そして、ステップS104か
らステップS105へ進んで最終ブロックか否かを調べ、最
終ブロックでないときには、ステップS102へ戻って同様
の処理を繰り返し、最終ブロックに到達すると、ステッ
プS107へ進む。

【００４１】例えば、上述のロジックによりブロックＡ
とブロックＣとをブロックＢのグループとする結論を得
た場合、グループ番号メモリのブロックＡに対応するア
ドレスにブロックＢのグループ番号を書き込むととも
に、ブロックＣに対応するアドレスに記憶されているグ
ループ番号をブロックＢのグループ番号に書き換え、さ
らに、グループ面積メモリのブロックＣが属していたグ
ループ番号に対応するアドレスに記憶されているグルー
プ面積を１だけ減少させ、ブロックＢが属していたグル
ープ番号に対応するアドレスに記憶されているグループ
面積を２だけ増加させる。また、ブロックＡを新しいグ
ループとする結論を得た場合、そのグループ番号は、そ
の時点でのグループ番号の最大値の次の番号を割り当て
る。

【００４２】次に、上記ステップS105からステップS107
へ進み、道路形状パラメータを読み込みと、ステップS1
08で最初の画素の座標値（ｉ，ｊ，ｄｐ）を読み込む。
次いで、ステップS109へ進んで、画素の座標値（ｉ，
ｊ，ｄｐ）から被写体の三次元位置（ｘ，ｙ，ｚ）を前
述の(1)〜(3)式によって求め、ステップS110へ進む。

【００４３】ステップS110では、前述の道路形状の直線
式(7),(8)を使って距離ｚに於ける道路表面の高さｙｒ
を算出し、ステップS111で、以下の(9)式によって算出
した被写体の道路表面からの高さＨに基づき、被写体の
データが道路面より上か否かを調べる。そして、道路面
より下のときにはステップS116で次の画素の座標値を読
み込んでステップS109へ戻るループを繰り返し、道路面
より上にあるデータを選別する。 Ｈ＝ｙ−ｙｒ …(9)

【００４４】この場合、高さＨが０．１ｍ程度以下の被
写体は、道路上の白線や汚れ、影等と考えられるため、
この被写体のデータは棄却する。また、自車両１の高さ
より上にある被写体も、歩道橋や標識などと考えられる
ので棄却し、道路上の立体物と推定されるデータのみを
選別する。

【００４５】次に、上記ステップS111からステップS112
へ進み、各画素が含まれるブロックの座標（ｉ，ｊ，ｄ
ｐ）を求めると、グループ番号メモリを参照して当該ブ
ロックが属するグループのグループ番号Ｇｎを求め、こ
のグループ番号Ｇｎに基づいてグループ面積メモリを参
照し、当該グループの面積Ｇａを求める。

【００４６】そして、ステップS113でグループの面積Ｇ
ａが予め設定した閾値である判定値（例えば、４〜１０
ブロック程度）以上か否かを調べ、判定値以上のとき、
当該画素は立体物のデータであると判定してステップS1
14へ進み、判定値より小さいときには、当該画素はノイ
ズ等によって発生した偽データと見なして棄却し、前述
のステップS116を経てステップS109へ戻る。

【００４７】ステップS114では、立体物のデータとして
抽出された画素により、該当する区分のヒストグラムデ
ータを更新すると、ステップS115で最終画素か否かを調
べ、最終画素でないとき、前述のステップS116で次の画
素の座標値を読み込んでステップS109へ戻り、同様の処
理を続行する。

【００４８】上記ヒストグラムは、図１１に示すように
距離画像を１ブロックの幅に一致する４画素間隔で格子
状に区分し、各区分毎に作成されるものであり、以上の
処理で抽出された画素を対応する区分に分類し、各区分
の立体物データに対して画素ズレ数毎のデータ個数を度
数として作成される。図１３は、図１２に示すような歩
行者と先行車両とを検出対象とする状況に対し、画素ズ
レ数を横軸として作成したヒストグラムである。

【００４９】その後、上記ステップS115で最終画素に達
すると、上記ステップS115からステップS117へ進んで最
初の区分のヒストグラムのデータを読み込み、ステップ
S118で、このヒストグラムの度数が、予め設定した判定
値（閾値）を下回っている状態から判定値以上になった
ときの画素ズレ数を検出すると、ステップS119で、この
画素ズレ数から前述の(3)式に従って物体の距離を算出
する。

【００５０】すなわち、上記ヒストグラムを画素ズレ数
が大きい方（距離が近い方）から画素ズレ数が小さい方
（距離が遠い方）へ向かってサーベイしてゆき、データ
数が初めて判定値以上となった画素ズレ数と、そこから
算出される距離を、図１３に示すように、その区分にお
ける第１の距離（Ｚ１）として検出し、さらにヒストグ
ラム上のサーベイを続け、データ数が判定値を下回った
後に、再び、判定値以上となった画素ズレ数と、その距
離を第２の距離（Ｚ２）として検出する。そして、同様
にしてヒストグラムの端点までサーベイを続け、第３，
第４の距離を検出してゆくことにより、１つの区分にお
ける各立体物の自車両に面した部分を検出する。

【００５１】この場合、上記ヒストグラムは、グループ
フィルタによりノイズ等による偽データの大部分が除去
されているため、物体が存在しない位置ではデータ数も
ほぼ０となっている。そのため、ヒストグラムにおける
データ数の分布と物体の有無の関係が明瞭化され、１つ
のヒストグラムから距離方向に複数の物体を検出でき
る。例えば、図１２のような状況では、歩行者と先行車
両とを同時に検出することができ、従来のように、ヒス
トグラムの度数データが最大となる先行車両のみが検出
されて手前の歩行者が無視されるといったことがない。

【００５２】また、上記ヒストグラムから大部分の偽デ
ータが除去されているため、ヒストグラムにおける偽デ
ータと真の物体とを判別するための閾値を従来よりも低
く設定することができ、小さな物体や夜間等の暗い状況
で画像に映りにくい物体等、少しの距離データしか得ら
れない物体をも検出することができる。

【００５３】その後、１つの区分で立体物の距離を検出
すると、上記ステップS119からステップS120へ進んで物
体の距離をメモリに書き込み、ステップS121で最終区分
か否かを調べる。そして、最終区分でないときには、ス
テップS122で次の区分のヒストグラムのデータを読み込
んで前述のステップS118へ戻り、最終区分のとき、プロ
グラムを終了する。

【００５４】このヒストグラムが作成される距離画像の
区分は、グループフィルタにより予めノイズ等による偽
データの大部分が除去されているため、従来よりも大幅
に間隔を狭くすることができ、検出される物体の位置の
空間分解能を向上することができる。従って、物体表面
の凹凸等も検出可能となる。

【００５５】以上の処理により、例えば、図１２に示す
ような、歩行者、植え込み、先行車両、自転車、右の壁
等の立体物が存在する交通状況に対し、検出された各区
分の距離をＸ−Ｚ平面上に示すと、図１４に示すように
なり、立体物の自車両に面した各部分の位置が検出され
る。

【００５６】

【発明の効果】以上説明したように本発明によれば、距
離画像に基づいて車外の状況を認識する際、物体を検出
するためのヒストグラム作成前に、グループフィルタ処
理により予め距離画像からノイズ等による偽データの大
部分が除去されるため、ヒストグラムを作成する距離画
像の区分間隔を従来よりも大幅に狭くして検出物体の位
置の空間分解能を向上することができ、物体表面の凹凸
等も検出可能となる。

【００５７】また、ヒストグラムのデータからノイズ等
による偽データの大部分が除去されるため、ヒストグラ
ムにおけるデータ数の分布と物体の有無の関係が明瞭化
され、１つのヒストグラムから距離方向に複数の物体を
検出できるばかりでなく、ヒストグラムにおける偽デー
タと真の物体とを判別するための閾値を従来よりも低く
することができ、小さな物体や夜間等の暗い状況で画像
に映りにくい物体等、少しの距離データしか得られない
物体も検出することができる等、より精密で、且つ信頼
性の高い外界情報を得ることができる。

【図面の簡単な説明】

【図１】車外監視装置の全体構成図

【図２】車外監視装置の回路ブロック図

【図３】立体物距離検出処理の機能ブロック図

【図４】立体物距離検出処理のフローチャート（その
１）

【図５】立体物距離検出処理のフローチャート（その
２）

【図６】車載のカメラで撮像した画像の例を示す説明図

【図７】距離画像の例を示す説明図

【図８】グループ番号メモリの説明図

【図９】グループ面積メモリの説明図

【図１０】距離画像のブロックの一部分を示す説明図

【図１１】距離画像の区分を示す説明図

【図１２】検出対象の状況例を示す説明図

【図１３】ヒストグラムと立体物の関係を示す説明図

【図１４】立体物の位置の検出結果を示す説明図

【符号の説明】

１ …車外監視装置 １０ａ，１０ｂ…ＣＣＤカメラ ２０…イメージプロセッサ ３０…画像処理用コンピュータ Ｄｐａ，Ｄｐｂ，Ｄｐｃ．Ｄｐｄ，Ｄｐｅ…画素ズレ数 Ｇｎ…グループ番号 Ｇａ…グループの面積

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/18 B60R 21/00 620 G01B 11/00 G08G 1/16

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 車外の対象を撮像したステレオ画像対を
   処理して三次元の距離情報を有する距離画像を求め、こ
   の距離画像に基づいて車外の状況を認識する車外監視装
   置において、 近接する距離データを有する画像データをグループとし
   てまとめて上記距離画像を複数のグループに分割し、各
   グループの面積を算出する手段と、 上記距離画像の各画像データが属する上記グループの面
   積を参照し、この面積の大小に応じて各画像データの抽
   出あるいは棄却を行う手段と、 抽出された画像データから画素ズレ数を横軸とするヒス
   トグラムを作成し、このヒストグラムの度数の大小によ
   って物体の有無を検知するとともに、検知した物体まで
   の距離を算出する手段とを備えたことを特徴とする車外
   監視装置。
2. 【請求項２】 上記各画像データを、所属するグループ
   の番号が既知の画像データと距離が近い場合に同じ番号
   のグループ、所属するグループの番号が未知の画像デー
   タと距離が近い場合に新しい番号のグループとして登録
   することを特徴とする請求項１記載の車外監視装置。
3. 【請求項３】 上記距離画像を所定間隔で格子状に区分
   し、各区分毎に上記ヒストグラムを作成することを特徴
   とする請求項１記載の車外監視装置。
4. 【請求項４】 上記画像データが所属するグループの番
   号を記憶するグループ番号メモリと、各グループに所属
   する画像データの数を面積として記憶するグループ面積
   メモリとを備えたことを特徴とする請求項１記載の車外
   監視装置。