JPH10206116A

JPH10206116A - 物体認識装置

Info

Publication number: JPH10206116A
Application number: JP9010115A
Authority: JP
Inventors: Koji Nakamoto; 孝治中本; Mineji Nakano; 峰司中野; Toru Yoshioka; 透吉岡; Hiroki Kamimura; 裕樹上村
Original assignee: Mazda Motor Corp; Naldec Corp
Current assignee: Mazda Motor Corp; Naldec Corp
Priority date: 1997-01-23
Filing date: 1997-01-23
Publication date: 1998-08-07
Anticipated expiration: 2017-01-23
Also published as: JP3708652B2

Abstract

(57)【要約】【課題】車両Ｃの斜め後側方にある他車等の物体Ｏを
認識して表示装置３１で表示等する場合、物体測距用の
センサ１０として、ウィンドウ方向に配置された多数の
ＣＣＤからなるＣＣＤラインをウィンドウ方向と直交す
るライン列方向に多段に並設した多段ライン型ＣＣＤか
らなるＣＣＤチップ１１を備えたセンサを用い、認識物
体Ｏをその距離に関係なく確実に追従し続けるようにす
る。【解決手段】ＣＣＤチップ１１の画像の各領域Ｅにつ
いて距離ｄ（ｉ，ｊ）を測定し、この各領域Ｅ及び隣接
領域Ｒ１〜Ｒ８の距離差ｄｘに基づいて各領域Ｅ毎の有
効ポイント数Ｐ（ｉ，ｊ）を求め、この有効ポイント数
Ｐ（ｉ，ｊ）からライン毎の代表距離ｌ（ｉ）を演算
し、その代表距離ｌ（ｉ）が連続して演算される回数
が、近距離側ラインほど小さく設定されたしきい値ＬＤ
＿Ｌｉｍｉｔよりも大きいときに、その代表距離ｌ
（ｉ）に基づいて物体Ｏを認識する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、物体認識装置に関
し、詳しくは多段ライン型ＣＣＤによる距離データに基
づいて物体を認識するようにしたものに関する技術分野
に属する。

【０００２】

【従来の技術】従来より、この種の物体認識装置とし
て、例えば特開平５―５２５６２号公報に示されている
ように、撮像された画像を複数のウィンドウに分割し
て、各ウィンドウでの距離に基づいて物体を認識するよ
うにしたものは知られている。すなわち、このもので
は、上下方向に配置された１対のイメージセンサにより
先行車等の物体を撮像して、その一方のイメージセンサ
による画像を表示し、その表示画面を複数のウィンドウ
に分割してそのウィンドウ毎に物体までの距離を測定
し、この距離値を基に目標物体のウィンドウを認識して
追尾用ウィンドウを設定し、この追尾用ウィンドウでの
距離を測定するようになされている。

【０００３】

【発明が解決しようとする課題】ところで、このように
物体をその距離に基づいて認識する場合、一定方向に配
置された多数のＣＣＤをその配列方向と直交する方向に
多段に並設してなる多段ライン型ＣＣＤを設け、この多
段ライン型ＣＣＤからの輝度信号に基づいて得られた２
次元の距離データから特定の物体を認識して追従し続け
るようにすることが考えられる。すなわち、この多段ラ
イン型ＣＣＤは、縦横に多数のＣＣＤが配置されたカメ
ラ用等のセンサに対し、ＣＣＤを一方向に間引いた構成
のものであり、ＣＣＤの数が減った分だけ、撮像データ
数が少なくなり、コストダウンを図ることができる。

【０００４】しかし、その反面、測距データのばらつき
やノイズの影響が大きく、精度の高い距離演算が難しく
て正確な物体認識が困難になるという問題がある。特
に、多段ライン型ＣＣＤでのＣＣＤラインが等間隔で、
かつ、該多段ライン型ＣＣＤのライン列方向の一端側を
近距離側を検出する近距離側ラインとする一方、他端側
を遠距離側を検出する遠距離側ラインとする場合、認識
物体が相対的に近づいてくる際、その物体が近距離側の
領域において近距離側ラインを横切る時間は、遠距離側
の領域において遠距離側ラインを横切る時間よりも短く
なるので、正確な物体認識を行うためにデータ処理に時
間をかけていると、遠距離側にて認識した物体を近距離
側で見失ってしまうことになる。

【０００５】本発明は斯かる諸点に鑑みてなされたもの
であり、その目的とするところは、多段ライン型ＣＣＤ
による距離データの処理に工夫を凝らすことにより、多
段ライン型ＣＣＤを用いつつ、高精度の距離演算を行っ
て正確な物体認識を可能とすると共に、認識物体までの
距離に関係なくその認識物体を確実に追従し続けること
ができるようにすることにある。

【０００６】

【課題を解決するための手段】上記の目的を達成するた
めに、この発明では、多段ライン型ＣＣＤにより得られ
た画像を、ライン列方向及びウィンドウ方向にそれぞれ
分割して各領域について距離を測定し、この各領域毎の
距離データに基づいてライン毎の代表距離をそれぞれ演
算し、この代表距離が所定時間毎に連続して演算される
回数がしきい値よりも大きいときに、その代表距離に基
づいて物体を認識すると共に、上記しきい値を近距離側
ラインほど小さく設定するようにした。

【０００７】具体的には、請求項１の発明では、図１に
示すように、ウィンドウ方向に沿って配置された多数の
ＣＣＤからなるＣＣＤラインをウィンドウ方向と直交す
るライン列方向に多段に並設してなり画像を輝度情報と
して捕らえる多段ライン型ＣＣＤ１１を備え、該多段ラ
イン型ＣＣＤ１１からの輝度信号に基づいて得られた２
次元の距離データから特定の物体を認識するようにした
物体認識装置が対象である。

【０００８】そして、上記多段ライン型ＣＣＤ１１のラ
イン列方向の一端側が近距離側を検出する近距離側ライ
ンとされる一方、他端側が遠距離側を検出する遠距離側
ラインとされ、上記多段ライン型ＣＣＤ１１により得ら
れた画像を上記ＣＣＤライン毎にかつウィンドウ方向に
複数に分割して各領域について距離を測定する測距手段
１６と、上記測距手段１６により測定された各領域毎の
距離に基づき上記ライン毎の代表距離をそれぞれ演算す
るライン距離演算手段２６と、上記ライン距離演算手段
２６によりライン毎の代表距離が所定時間毎に連続して
演算される回数がしきい値よりも大きいときに、該代表
距離に基づいて物体を認識する物体認識手段２０とを備
え、上記しきい値は、上記遠距離側ラインに比べて近距
離側ラインほど小さく設定されているものとする。

【０００９】上記の構成により、先ず、測距手段１６に
おいて、多段ライン型ＣＣＤ１１の画像がライン毎にか
つウィンドウ方向に複数に分割されて各領域について距
離が測定される。次いで、ライン距離演算手段２６にお
いて、上記測距手段１６により測定された領域毎の距離
に基づきライン毎の代表距離が演算され、物体認識手段
２０において、このライン距離演算手段２６によりライ
ン毎の代表距離が所定時間（１サンプリング時間）毎に
連続して演算される回数がしきい値よりも大きいとき
に、その代表距離から物体が認識される。すなわち、距
離データの有効性が高い場合は代表距離が演算される一
方、距離データの有効性が低い場合は代表距離が演算さ
れず、１サンプリング時間毎に連続して演算される回数
が多いほど、その距離データ延いては代表距離の有効性
が高いと判断することができるので、その回数がしきい
値よりも大きいときにその代表距離から物体を認識す
る。

【００１０】したがって、このように、各領域について
の距離データに基づいてライン毎の代表距離を求めて、
この代表距離の有効性が高いときに、その代表距離から
物体を認識するので、測距データのばらつきやノイズ等
があっても、その影響を可及的に低減することができ、
高精度の距離演算が可能となって正確な物体認識を行う
ことができる。

【００１１】そして、上記しきい値は、遠距離側ライン
に比べて近距離側ラインほど小さく設定されているの
で、近距離側ラインではより短時間で物体認識を行うこ
とができ、多段ライン型ＣＣＤでのＣＣＤラインが等間
隔である場合、認識物体が相対的に近づいてくる際、遠
距離側にて認識した物体を近距離側で見失うことはな
い。しかも、上記しきい値が、近距離側ラインほど小さ
く設定されていても、近距離側の距離検出精度は遠距離
側よりも高いので、近距離側の物体認識を正確に行うこ
とができる。よって、認識物体をその距離に関係なく確
実に追従し続けることができる。

【００１２】請求項２の発明では、請求項１の発明にお
いて、測距手段１６により測定された各領域毎の距離デ
ータをスムーズ化処理するスムーズ化処理手段を設け、
上記スムーズ化処理手段は、スムーズ化度合いを遠距離
側ラインに比べて近距離側ラインほど小さくするように
構成されているものとする。

【００１３】この発明により、測距手段１６により測定
された各領域毎の距離データがスムーズ化処理手段によ
ってスムーズ化処理されているので、突発的なノイズ等
の影響を受けることなく、より一層正確に物体を認識す
ることができる。そして、そのスムーズ化度合いは、遠
距離側ラインに比べて近距離側ラインほど小さくされて
いるので、その処理に要する時間は近距離側ラインほど
短くて済み、距離データをスムーズ化処理しても、認識
物体を近距離側で見失うことはない。

【００１４】請求項３の発明では、請求項１又は２の発
明において、物体認識手段は、物体の認識結果に基づい
て警報等の信号を出力するように構成されているものと
する。このことで、認識物体を容易に知ることができ、
物体が相対的に近づいてくるような危険度が高い場合
に、より一層その効果を発揮させることができる。

【００１５】

【発明の実施の形態】以下、本発明の実施形態を図面に
基づいて説明する。図２は本発明の実施形態に係る物体
認識装置を装備した車両Ｃ（自動車）を示し、この物体
認識装置は、車両Ｃの左右斜め後側方に位置する他の車
両等の物体Ｏ（図５、図１１、図１２に示す）を認識す
る。

【００１６】図２において、１は車両Ｃの車体、２は車
体１の前後略中央部に形成された車室、３は車体１の前
端部に形成されたエンジンルーム、４は車室２の前端部
に配置されたインストルメントパネル、５は車室２の後
端部にあるパッケージトレイ、６はリヤウィンドガラス
である。そして、図３に示すように、上記物体認識装置
は、各々物体Ｏまでの距離を測定するための左右の後側
方検知センサ１０，１０と、この各検知センサ１０の出
力信号がそれぞれ入力されるコントローラ１５と、この
コントローラ１５からの信号を受けて物体Ｏの存在をＣ
ＲＴや液晶等により表示する表示装置３１、及び同物体
Ｏの危険度を警報する警報装置３２とを備えている。そ
して、図２に示す如く、上記両検知センサ１０，１０
は、上記パッケージトレイ５上の左右両端部にそれぞれ
斜め後方を向いた状態で取付固定されている。また、コ
ントローラ１５はエンジンルーム３の後端部に、また表
示装置３１及び警報装置３２はインストルメントパネル
４にそれぞれ配設されている。

【００１７】図５に示すように、上記各検知センサ１０
は、所定距離離れて上下方向に配置された上下１対のＣ
ＣＤチップ１１，１１と、該ＣＣＤチップ１１，１１に
対応して配置されたレンズ１２，１２とを備えている。
各ＣＣＤチップ１１は、上下方向たるウィンドウ方向に
沿って配置された多数のＣＣＤからなるＣＣＤラインを
ウィンドウ方向と直交するライン列方向（水平方向）に
多段に並設してなる多段ライン型ＣＣＤからなり、この
各ＣＣＤチップ１１によりレンズ１２を経て車両Ｃのリ
アウィンドガラス６越しに、上下方向に角度θ１の範囲
でかつ水平左右方向に角度θ２の範囲（図１０、図１２
参照）にある物体Ｏ等の画像を輝度情報として捕らえる
ようになっている。

【００１８】図４に示す如く、上記各検知センサ１０は
それぞれコントローラ１５内の測距回路１６（測距手
段）に接続されている。この各測距回路１６は、両ＣＣ
Ｄチップ１１，１１での物体像の視差（位相差）を演算
する視差演算部１７と、この視差演算部１７からの信号
により物体Ｏまでの距離を演算する距離演算部１８とを
備えている。そして、各測距回路１６では、図６及び図
７に示す如く、各ＣＣＤチップ１１により捕らえられた
画像を、ライン方向（水平方向）にＣＣＤライン毎のｎ
個のラインに分割すると共に、その各ラインをウィンド
ウ方向（上下方向）にｍ個のウィンドウに分割して、画
像の略全体をｍ×ｎ個の領域Ｅ，Ｅ，…で構成し、両方
のＣＣＤチップ１１，１１による画像での同一の領域
Ｅ，Ｅ間の視差を求め、この視差から各領域Ｅ毎に物体
Ｏまでの距離を演算する。

【００１９】すなわち、両ＣＣＤチップ１１，１１によ
り捕らえられた画像はいずれも図６に示すようになる
が、これら両ＣＣＤチップ１１，１１の画像は同じライ
ン位置（図示例ではラインｉ）では、図８に示すよう
に、両ＣＣＤチップ１１，１１の上下方向のずれ分だけ
ずれていて視差が生じており、この視差を利用して物体
Ｏまでを測距する。この原理について図９により説明す
ると、図９の三角形Ｐ・Ｏ１・Ｑ及び三角形Ｏ１・Ｐ１
・Ｑ１同士、並びに三角形Ｐ・Ｏ２・Ｑ及び三角形Ｏ２
・Ｐ２・Ｑ２同士はそれぞれ相似形であるので、今、検
知センサ１０（レンズ１２）から物体Ｏまでの距離を
ａ、両レンズ１２，１２の中心間の距離をＢ（定数）、
レンズ１２の焦点距離をｆ（定数）、両ＣＣＤチップ１
１，１１での物体像のレンズ中心からのずれ量をそれぞ
れｘ１，ｘ２とすると、ａ・ｘ１／ｆ＝Ｂ−ａ・ｘ２／ｆとなり、この式から、ａ＝Ｂ・ｆ／（ｘ１＋ｘ２）が得られる。つまり、両ＣＣＤチップ１１，１１での物
体像の視差（位相差）によって物体Ｏまでの距離ａを測
定することができる。

【００２０】尚、図６及び図７におけるＧ（白点）は、
ＣＣＤチップ１１のＣＣＤに対応するように縦横格子状
に配置された測距点（測距ポイント）であり、この測距
点Ｇは各領域Ｅに含まれている。また、各ＣＣＤライン
でのウィンドウは、一部が隣接するウィンドウと互いに
オーバーラップするように分割されており、上下方向
（ウィンドウ方向）に隣接する領域Ｅ，Ｅに同じ測距点
Ｇ，Ｇ，…が含まれている。また、Ｏ′は物体の像であ
る。

【００２１】また、図１０に示すように、上記各ＣＣＤ
チップ１１により捕らえられた画像をライン毎に分割し
て形成される複数のラインは、車両Ｃの外側で近距離を
測距するライン位置が若い番号とされる一方、車幅方向
の中央側で遠距離を測距するライン位置が大きい番号と
され、外側ラインから車幅方向の中央側ラインに向かっ
て番号が順に増加するように番号付けされている。

【００２２】図４に示す如く、上記コントローラ１５に
は、センサ１０に基づいて得られた上下方向及び水平方
向の２次元の距離データ、つまり各測距回路１６からの
信号を基に特定の物体Ｏを認識する物体認識部２０と、
この物体認識部２０の出力信号により物体Ｏを新規物体
かどうか選別する物体選別部２１と、この物体選別部２
１により選別された物体Ｏが車両Ｃ（自車）にとって危
険対象物かどうかを判断する危険判断部２２とが設けら
れており、物体認識部２０において、物体Ｏの認識結果
に基づいて表示信号を表示装置３１に、また警報信号を
警報装置３２にそれぞれ物体選別部２１を経て出力する
ようにしている。

【００２３】また、コントローラ１５は、物体Ｏを認識
する上で本来は物体Ｏが位置し得ない不要な範囲を除外
するレンジカット部２４と、測距された各領域毎の距離
データと周りの８つの隣接領域との比較（８隣接点処
理）を行って有効ポイント数を付与する有効ポイント数
付与手段としての８隣接点処理部２５と、ライン毎の距
離を演算するライン距離演算部２６と、ガードレールを
判定するためのガードレール判定部２７と、距離データ
を物体Ｏ毎にグルーピングするグルーピング部２８とを
備えている。

【００２４】図１１は上記レンジカット部２４で除外さ
れる上下方向のレンジカット範囲Ｚ１を、また図１２は
同左右方向のレンジカット範囲Ｚ２をそれぞれ示してお
り、これらのレンジカット範囲Ｚ１，Ｚ２は、ラインの
角度とその位置での距離とに基づいて検出される。図１
２中、Ｆは車両Ｃの路面、Ｍは道路における車両走行車
線を設定する路面Ｆ上の白線、Ｆ１は道路の両側に設置
された路側帯、Ｈはその植込みである。

【００２５】上記８隣接点処理部２５での８隣接点処理
動作は、図１３に示すように、ある領域Ｅ（ｉ，ｊ）の
距離データに対しそれに隣接する周りの８つの隣接領域
Ｒ１〜Ｒ８の距離データの相関性を判断するもので、具
体的に図１５に示す如く行われる。すなわち、最初のス
テップＳ１で、ライン数ｎ及びウィンドウ数ｍに分割さ
れた領域Ｅ（ｉ，ｊ）毎の距離データｄ（ｉ，ｊ）を読
み込み、次のステップＳ２で各領域Ｅ（ｉ，ｊ）の有効
ポイント数Ｐ（ｉ，ｊ）をＰ（ｉ，ｊ）＝０と初期化す
る。この有効ポイント数Ｐ（ｉ，ｊ）は各領域Ｅ（ｉ，
ｊ）に設定されるもので、この値が大きいほど領域の距
離データの有効性が高く、信頼性、信憑性があると判断
される。次のステップＳ３では、全ての領域のうち左右
端及び上下端の位置にある領域（格子点）への有効ポイ
ント数を嵩上げし、周辺の領域には有効ポイント数Ｐ
（ｉ，ｊ）を＋１だけ、またその中で４つの隅角部の領
域には有効ポイント数Ｐ（ｉ，ｊ）を＋２だけそれぞれ
増やすように設定する。この後、ステップＳ４におい
て、隣接点処理を行うかどうかを判定し、この判定がＮ
Ｏのときには、ステップＳ１１において有効ポイント数
Ｐ（ｉ，ｊ）をＰ（ｉ，ｊ）＝８に設定した後、ステッ
プＳ１２に進む一方、判定がＹＥＳのときには、ステッ
プＳ５に進む。

【００２６】上記ステップＳ４で隣接点処理を行うかど
うかの判定は、例えば、予め各ライン位置毎に決定され
る基準距離値が所定値よりも大きいか否かを判定するも
ので、基準距離値が所定値よりも大きいときには、隣接
点処理は行わない（ステップＳ１１に進む）一方、基準
距離値が所定値よりも大きくないときには、隣接点処理
を行う（同ステップＳ５に進む）。

【００２７】上記ステップＳ５では距離しきい値ｄ０を
設定する。この距離しきい値ｄ０は、付与ポイント数ｐ
を決定するためのもので、例えば、定数に設定する。

【００２８】ステップＳ５の後はステップＳ６に進み、
隣接領域Ｒｉの距離データｄ（Ｒｉ）を読み込み、次の
ステップＳ７では上記領域Ｅと隣接領域Ｒ１〜Ｒ８との
距離差ｄｘ＝｜ｄ（ｉ，ｊ）−ｄ（Ｒｉ）｜を演算す
る。この後、ステップＳ８において、上記距離差ｄｘが
上記距離しきい値ｄ０よりも小さいか否かの判定を行
い、この判定がＮＯのときにはステップＳ１２に進む一
方、判定がＹＥＳのときには、ステップＳ９において付
与すべきポイント数ｐを設定する。

【００２９】このようなステップＳ９の後、ステップＳ
１０において、それまでの有効ポイント数Ｐ（ｉ，ｊ）
に上記付与ポイント数ｐを加えて新たな有効ポイント数
Ｐ（ｉ，ｊ）＝Ｐ（ｉ，ｊ）＋ｐを設定し、上記ステッ
プＳ１２に進む。このステップＳ１２では、ステップＳ
６〜Ｓ１０の処理が８つの隣接領域Ｒ１〜Ｒ８の各々に
ついて終了したか否かを判定し、この判定がＮＯのとき
にはステップＳ６に戻って、他の残りの隣接領域につい
て同様の処理を行う。一方、判定がＹＥＳになると、ス
テップＳ１３に進み、全ての領域Ｅ，Ｅ，…についての
有効ポイント数Ｐ（ｉ，ｊ）の設定（ステップＳ６〜Ｓ
１０の処理）が終了したか否かを判定する。この判定が
ＮＯのときには、ステップＳ４に戻って他の領域Ｅにつ
いて有効ポイント数Ｐ（ｉ，ｊ）の設定を繰り返す。一
方、判定がＹＥＳになると、次のライン毎の距離の演算
処理（図１６参照）に進む。

【００３０】図１６は上記ライン距離演算部２６での処
理動作を示し、上記８隣接点処理部２５（有効ポイント
数付与手段）により付与設定された有効ポイント数Ｐ
（ｉ，ｊ）に基づき上記ライン毎の距離をそれぞれ演算
する。

【００３１】先ず、ステップＴ１において、ライン数ｎ
及びウィンドウ数ｍに分割された領域Ｅ毎の距離データ
ｄ（ｉ，ｊ）を読み込むと共に、上記８隣接点処理によ
り付与された領域Ｅ毎の有効ポイント数Ｐ（ｉ，ｊ）を
読み込み、次のステップＴ２では、ライン代表有効ポイ
ント数ＰＩ（ｉ）をＰＩ（ｉ）＝０に初期化する。この
ライン代表有効ポイント数ＰＩ（ｉ）は、ライン毎の距
離演算の際にラインに設定されるもので、この値が大き
いほどラインの距離データの有効性が高く、信頼性、信
憑性があると判断される。

【００３２】次のステップＴ３では、上記ライン代表有
効ポイント数ＰＩ（ｉ）に対応するライン代表しきい値
Ｐ０を設定する。このステップＴ３でのライン代表しき
い値Ｐ０は、例えば一定値に設定する。

【００３３】ステップＴ３の後はステップＴ４に進み、
上記領域毎の有効ポイント数Ｐ（ｉ，ｊ）がライン代表
しきい値Ｐ０よりも大きいか否かを判定する。この判定
がＮＯのときには、そのままステップＴ６に進むが、判
定がＹＥＳのときには、ステップＴ５において、ライン
毎の代表距離ｌ（ｉ）を平均化のために更新すると共
に、上記ライン代表有効ポイント数ＰＩ（ｉ）に領域毎
の有効ポイント数Ｐ（ｉ，ｊ）を加えてライン代表有効
ポイント数ＰＩ（ｉ）の更新を行った後にステップＴ６
に進む。すなわち、ライン距離演算部２６では、８隣接
点処理部２５によって付与設定された有効ポイント数Ｐ
（ｉ，ｊ）がライン代表しきい値Ｐ０よりも大きい領域
についてライン毎の距離演算を行うようにしている。

【００３４】上記ライン毎の代表距離ｌ（ｉ）の更新は
次の式で行う。ｌ（ｉ）＝［ｌ（ｉ）×ＰＩ（ｉ）＋ｄ（ｉ，ｊ）×
｛Ｐ（ｉ，ｊ）−ＰＯ＋１｝］÷｛ＰＩ（ｉ）＋Ｐ
（ｉ，ｊ）−ＰＯ＋１｝

【００３５】上記ステップＴ６では当該ラインの全ての
ウィンドウ番号（領域Ｅ）について終了したか否かを判
定し、この判定がＹＥＳになるまでラインの各領域Ｅに
ついてステップＴ３〜Ｔ５を繰り返す。ステップＴ６の
判定がＹＥＳになると、ステップＴ７に進み、全てのラ
イン番号について終了したか否かを判定し、この判定が
ＹＥＳになるまでステップＴ２〜Ｔ６を繰り返す。ステ
ップＴ７の判定がＹＥＳになると、次の物体認識処理
（図１７参照）に進む。

【００３６】図１７はコントローラ１５における物体認
識部２０での処理動作を示し、この物体認識部２０で
は、上記ライン距離演算部２６により演算されたライン
毎の代表距離ｌ（ｉ）に基づいて物体Ｏを認識する。す
なわち、ステップＷ１において物体番号ｋを設定し、ス
テップＷ２では、物体検出距離Ｌ（ｋ）、物体有効ポイ
ント数ＰＫ（ｋ）及び物体内のデータ数Ｎ（ｋ）をいず
れも０にして、一次保管用データセットのリセットを行
う。

【００３７】次のステップＷ３では、有効な未登録のラ
インデータが登録されているか否かを判定し、この判定
がＮＯのときにはステップＷ８に進む。ステップＷ３の
判定がＹＥＳのときには、ステップＷ４において、ライ
ンデータの前後位置ＸＤ（ｉ）及び横位置ＹＤ（ｉ）を
設定する。この後、ステップＷ５において、既に上記物
体検出距離Ｌ（ｋ）が定義されているか否かを判定し、
この判定がＮＯのときには、ステップＷ６に進み、上記
物体検出距離Ｌ（ｋ）をＬ（ｋ）＝ＸＤ（ｉ）に、また
物体有効ポイント数ＰＫ（ｋ）をＰＫ（ｋ）＝ＰＩ
（ｉ）に、さらに物体内のデータ数Ｎ（ｋ）をＮ（ｋ）
＝１にそれぞれ設定して、一次保管用データセットのセ
ットを行った後、ステップＷ８に進む。

【００３８】これに対し、ステップＷ５の判定がＹＥＳ
のときには、ステップＷ７に進み、物体検出距離Ｌ
（ｋ）をＬ（ｋ）＝｛ＰＫ（ｋ）×Ｌ（ｉ）＋Ｐ（ｉ）
×ＸＤ（ｉ）｝／｛ＰＫ（ｋ）＋Ｐ（ｉ）｝に、また物
体有効ポイント数ＰＫ（ｋ）をＰＫ（ｋ）＝ＰＫ（ｋ）
＋ＰＩ（ｉ）に、さらに物体内のデータ数Ｎ（ｋ）をＮ
（ｋ）＝Ｎ（ｋ）＋１にそれぞれ設定して、一次保管用
データセットの更新を行った後、ステップＷ８に進む。

【００３９】上記ステップＷ８では、全てのライン番号
について終了したか否かを判定し、この判定がＹＥＳに
なるまでステップＷ３〜Ｗ７を繰り返す。ステップＷ８
の判定がＹＥＳになると、ステップＷ９〜Ｗ１１におい
て物体Ｏの登録の可否の判定を行う。先ず、ステップＷ
９において、上記物体内のデータ数Ｎ（ｋ）が所定値以
上か否かを判定する。尚、この所定値は、遠距離側ほど
小さくするように可変設定することもできる。このステ
ップＷ９の判定がＮＯのときには、距離データはノイズ
等に起因するものであると見做し、ステップＷ１０にお
いて物体Ｏの登録は行わず、物体番号ｋの物体データを
初期化した後、終了する。一方、ステップＷ９の判定が
ＹＥＳであるときには、ステップＷ１１において物体Ｏ
の登録を行った後に終了する。すなわち、物体認識部２
０は、ライン距離演算部２６により演算されたライン毎
の距離のデータ数Ｎ（ｋ）が所定値以上であるときのみ
に、該ライン毎の距離に対応する物体を新規物体として
登録する。

【００４０】この物体認識部２０での処理動作の後は、
上記表示装置３１での物体表示のための表示処理や警報
装置３２での警報のための警報処理を行う。

【００４１】上記一連の処理動作は、所定時間（１サン
プリング時間）毎に繰り返し行われ、一度認識した物体
Ｏを、各ＣＣＤチップ１１により捕らえることが可能な
範囲に存在する限り、上記物体選別部２１にて新規物体
との選別を行いながら捕捉し続ける。

【００４２】ここで、実際には、上記物体認識部２０に
おいて、物体認識処理動作に先立って認識前処理動作が
行われるようになっている。この認識前処理動作では、
上記ライン距離演算部２６によりライン毎の代表距離が
１サンプリング時間毎に連続して演算される回数がしき
い値よりも大きいか否かを判断し、その有効回数がしき
い値よりも大きいときに、物体認識処理にてその代表距
離のみに基づいて物体を認識し得るように準備するよう
になっている。つまり、上記８隣接点処理部２５にて付
与された有効ポイント数が上記ライン代表しきい値Ｐ０
よりも大きくて距離データの有効性が高い場合は代表距
離が演算される一方、距離データの有効性が低い場合は
代表距離が演算されないので、１サンプリング時間毎に
連続して演算される回数が多いほど、その代表距離は信
頼性が高くて物体認識に使用することができるものとし
て、その代表距離のみに基づいて物体を認識し得るよう
にする。

【００４３】図１８は、上記物体認識部２０での認識前
処理動作を示す。先ず、ステップＵ１で各ライン毎に、
代表距離が１サンプリング時間毎に連続して演算される
回数ＬＤ＿ｎｕｍ（ｉ）を読み込んだ後、ステップＵ２
でその有効回数ＬＤ＿ｎｕｍ（ｉ）のしきい値ＬＤ＿Ｌ
ｉｍｉｔを設定する。このしきい値ＬＤ＿Ｌｉｍｉｔ
は、図１９に示す如く、各ライン毎に設定されたしきい
値ＬＤ＿ｔｈ（ｉ）とされ、例えば、図２０（ａ）に示
すように、ライン位置が大きくなる（車体１外側ライン
つまり近距離側ラインから内側ラインつまり遠距離側ラ
インに向かう）に連れてしきい値ＬＤ＿Ｌｉｍｉｔが比
例して大きくなるか、或いは、図２０（ｂ）に示すよう
に、ライン位置が大きくなるに連れてしきい値ＬＤ＿Ｌ
ｉｍｉｔが段階的に大きくなるように設定する。

【００４４】次のステップＵ３で有効回数ＬＤ＿ｎｕｍ
（ｉ）が上記しきい値ＬＤ＿Ｌｉｍｉｔよりも大きいか
否かを判定し、この判定がＹＥＳのときには、ステップ
Ｕ４に進んで物体認識に使用できるデータとしてフラグ
Ｌｉｎｅ＿Ｏｂ＿ｆ（ｉ）を１にしてステップＵ５に進
む。一方、ステップＵ３の判定がＮＯのときには、その
ままステップＵ５に進む。

【００４５】上記ステップＵ５では、全てのラインにつ
いて終了したか否かを判定し、この判定がＹＥＳになる
まで上記ステップＵ３，Ｕ４を繰り返す。ステップＵ５
の判定がＹＥＳになると、上記物体認識処理に進むこと
になる。このため、上記物体認識処理では、フラグＬｉ
ｎｅ＿Ｏｂ＿ｆ（ｉ）が１とされたラインの代表距離
（図１７の物体認識処理におけるステップＷ３での有効
なラインデータとされる）のみに基づいて物体Ｏを認識
することになる。

【００４６】また、各測距回路１６にて測定された各領
域Ｅ毎の距離データは、スムーズ化処理手段としてのロ
ーパスフィルターによりスムーズ化処理された後、８隣
接点処理部２５にて８隣接点処理が行われるようになっ
ている。すなわち、ｄ_ｆ（ｉ，ｊ）＝ａ×ｄ_ｆ（ｉ，
ｊ）＋（１−ａ）×ｄ（ｉ，ｊ）という処理動作を行っ
た後、ｄ（ｉ，ｊ）の代りにｄ_ｆ（ｉ，ｊ）を用いて上
記８隣接点処理が行われることになる。

【００４７】上記ローパスフィルターによるスムーズ化
処理におけるａの値は０〜１の定数であるが、遠距離側
ラインに比べて近距離側ラインほど（ライン位置が小さ
くなるに連れて）小さく設定されている。つまり、この
ローパスフィルターは、スムーズ化度合いを遠距離側ラ
インに比べて近距離側ラインほど小さくするように構成
されている。このとき、ライン位置が所定値よりも小さ
い場合は、スムーズ化処理が全く施されないようにａ＝
０としてもよい。

【００４８】したがって、上記実施形態では、左右後側
方検知センサ１０，１０により画像が輝度情報として捕
らえられると、先ず、コントローラ１５の各測距回路１
６において、各検知センサ１０の画像がライン列及びウ
ィンドウ方向にそれぞれ分割されて各領域Ｅについて距
離ｄ（ｉ，ｊ）が測定される。次いで、８隣接点処理部
２５で、上記測定された領域Ｅ毎の距離ｄ（ｉ，ｊ）
（ｄ_ｆ（ｉ，ｊ））及び隣接領域Ｒ１〜Ｒ８の距離の差
ｄｘに基づいて各領域Ｅ毎の距離データの有効ポイント
数Ｐ（ｉ，ｊ）が付与され、ライン距離演算部２６にお
いて上記有効ポイント数Ｐ（ｉ，ｊ）に基づきライン毎
の代表距離ｌ（ｉ）が演算され、物体認識部２０におい
てライン距離演算部２６によりライン毎の代表距離ｌ
（ｉ）が連続して演算される回数がしきい値ＬＤ＿Ｌｉ
ｍｉｔよりも大きいときに、該代表距離ｌ（ｉ）から物
体Ｏが認識される。このように、各領域Ｅについての距
離データの有効性が隣接領域Ｒ１〜Ｒ８との関係から有
効ポイント数Ｐ（ｉ，ｊ）として判定され、この有効ポ
イント数Ｐ（ｉ，ｊ）に基づいてライン毎の代表距離ｌ
（ｉ）を求めて、その代表距離ｌ（ｉ）の有効性が高い
ときに、該代表距離ｌ（ｉ）から物体Ｏを認識するの
で、測距データのばらつきやノイズ等があっても、その
影響を可及的に低減することができ、高精度の距離演算
が可能となって正確な物体認識を行うことができる。

【００４９】また、上記しきい値ＬＤ＿Ｌｉｍｉｔは、
遠距離側ラインに比べて近距離側ラインほど小さく設定
されているので、近距離側ラインではより短時間で物体
認識を行うことができ、ＣＣＤチップ１１でのＣＣＤラ
インが等間隔である場合、認識物体Ｏが相対的に近づい
てくる際、遠距離側にて認識した物体Ｏを近距離側で見
失うことはない。しかも、上記しきい値ＬＤ＿Ｌｉｍｉ
ｔが、近距離側ラインほど小さく設定されていても、近
距離側の距離検出精度は遠距離側よりも高いので、近距
離側で物体Ｏを正確に認識することができる。よって、
認識物体Ｏをその距離に関係なく確実に追従し続けるこ
とができる。

【００５０】さらに、各領域Ｅ毎の距離データは、ロー
パスフィルターによりスムーズ化処理され、そのスムー
ズ化度合いは、遠距離側ラインに比べて近距離側ライン
ほど小さく設定されているので、突発的なノイズ等の影
響を受けることなく、より一層正確に物体Ｏを認識する
ことができると共に、その処理に要する時間は近距離側
ラインほど短くて済み、認識物体Ｏを近距離側で見失う
のを防止することができる。

【００５１】また、物体認識部２０は、物体Ｏの認識結
果に基づいて警報等の信号を出力するように構成されて
いるので、認識物体Ｏを容易に車両Ｃの乗員に知らせる
ことができ、物体Ｏが相対的に近づいてくるような危険
度が高い場合でもその物体Ｏを追従し続けることができ
るので、乗員に適切な警報を与えることができる。

【００５２】

【発明の効果】以上説明したように、請求項１の発明に
よると、多段ライン型ＣＣＤの画像をライン毎にかつウ
ィンドウ方向に複数に分割して各領域について距離を測
定し、この各領域毎の距離データに基づいてライン毎の
代表距離をそれぞれ演算し、この代表距離が所定時間毎
に連続して演算される回数がしきい値よりも大きいとき
に、その代表距離に基づいて物体を認識すると共に、上
記しきい値を近距離側ラインほど小さく設定するように
したことにより、測距データのばらつきやノイズ等があ
っても、その影響を可及的に低減して、正確な物体認識
を行うことができると共に、その認識物体をその距離に
関係なく確実に捕捉し続けることができる。

【００５３】請求項２の発明によると、測距手段により
測定された各領域毎の距離データをスムーズ化処理する
スムーズ化処理手段を設け、このスムーズ化処理手段の
スムーズ化度合いを遠距離側ラインに比べて近距離側ラ
インほど小さくするようにしたことにより、認識物体を
近距離側で見失うことなく、より一層正確に物体を認識
することができる。

【００５４】請求項３の発明によると、物体の認識結果
に基づいて警報等の信号を出力するようにしたことによ
り、認識物体を容易に知ることができ、物体が相対的に
近づいてくるような危険度が高い場合に、より一層その
効果を高めることができる。

【図面の簡単な説明】

【図１】本発明の構成図である。

【図２】本発明の実施形態に係る物体認識装置の各構成
部品の車両での位置を示す斜視図である。

【図３】物体認識装置の概略構成を示すブロック図であ
る。

【図４】物体認識装置の詳細構成を示すブロック図であ
る。

【図５】検知センサにより物体を測距する概念を示す側
面図である。

【図６】ＣＣＤチップにより捕らえた画像を示す図であ
る。

【図７】ＣＣＤチップにより捕らえた画像の中のライン
をウィンドウ方向に分割して領域を区分する概念を示す
図である。

【図８】上下のＣＣＤチップにより得られた画像が同じ
ラインでずれて視差が生じる状態を示す説明図である。

【図９】上下のＣＣＤチップにより物体までの距離を測
定する原理を示す図である。

【図１０】ＣＣＤチップにより得られた画像におけるＣ
ＣＤラインの測距方向を示す平面図である。

【図１１】上下方向のレンジカット領域を示す側面図で
ある。

【図１２】水平方向のレンジカット領域を示す平面図で
ある。

【図１３】領域に隣接する８隣接領域の配置を示す図で
ある。

【図１４】８隣接点処理からライン毎の距離演算までの
具体例を示す図である。

【図１５】８隣接点処理動作を示すフローチャート図で
ある。

【図１６】ライン毎の距離演算処理動作を示すフローチ
ャート図である。

【図１７】物体の認識処理動作を示すフローチャート図
である。

【図１８】物体認識処理動作に先立って行われる認識前
処理動作を示すフローチャート図である。

【図１９】しきい値の設定を示すフローチャート図であ
る。

【図２０】しきい値の設定例を示す図である。

【符号の説明】

Ｃ車両１０後側方検知センサ１１ＣＣＤチップ１５コントローラ１６測距回路（測距手段）２０物体認識部（物体認識手段）２５８隣設点処理部２６ライン距離演算部（ライン距離演算手段）３１表示装置３２警報装置Ｅ，Ｅ（ｉ，ｊ）領域Ｒ１〜Ｒ８隣設領域ｄ（ｉ，ｊ）測定距離ｄｘ隣接領域との距離差Ｐ（ｉ，ｊ）有効ポイント数ｌ（ｉ）ライン代表距離ＬＤ＿Ｌｉｍｉｔしきい値Ｏ物体Ｏ′ 物体像

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号ＦＩＨ０４Ｎ 7/18 Ｇ０６Ｆ 15/62 ３８０ (72)発明者吉岡透広島県安芸郡府中町新地３番１号マツダ株式会社内 (72)発明者上村裕樹広島県安芸郡府中町新地３番１号マツダ株式会社内

Claims

【特許請求の範囲】

【請求項１】ウィンドウ方向に沿って配置された多数
のＣＣＤからなるＣＣＤラインをウィンドウ方向と直交
するライン列方向に多段に並設してなり画像を輝度情報
として捕らえる多段ライン型ＣＣＤを備え、該多段ライ
ン型ＣＣＤからの輝度信号に基づいて得られた２次元の
距離データから特定の物体を認識するようにした物体認
識装置であって、上記多段ライン型ＣＣＤのライン列方向の一端側が近距
離側を検出する近距離側ラインとされる一方、他端側が
遠距離側を検出する遠距離側ラインとされ、上記多段ライン型ＣＣＤにより得られた画像を上記ＣＣ
Ｄライン毎にかつウィンドウ方向に複数に分割して各領
域について距離を測定する測距手段と、上記測距手段により測定された各領域毎の距離に基づき
上記ライン毎の代表距離をそれぞれ演算するライン距離
演算手段と、上記ライン距離演算手段によりライン毎の代表距離が所
定時間毎に連続して演算される回数がしきい値よりも大
きいときに、該代表距離に基づいて物体を認識する物体
認識手段とを備え、上記しきい値は、上記遠距離側ラインに比べて近距離側
ラインほど小さく設定されていることを特徴とする物体
認識装置。
【請求項２】請求項１記載の物体認識装置において、測距手段により測定された各領域毎の距離データをスム
ーズ化処理するスムーズ化処理手段を設け、上記スムーズ化処理手段は、スムーズ化度合いを遠距離
側ラインに比べて近距離側ラインほど小さくするように
構成されていることを特徴とする物体認識装置。
【請求項３】請求項１又は２記載の物体認識装置にお
いて、物体認識手段は、物体の認識結果に基づいて警報等の信
号を出力するように構成されていることを特徴とする物
体認識装置。