JP3880837B2 - 車外監視装置 - Google Patents
車外監視装置 Download PDFInfo
- Publication number
- JP3880837B2 JP3880837B2 JP2001338094A JP2001338094A JP3880837B2 JP 3880837 B2 JP3880837 B2 JP 3880837B2 JP 2001338094 A JP2001338094 A JP 2001338094A JP 2001338094 A JP2001338094 A JP 2001338094A JP 3880837 B2 JP3880837 B2 JP 3880837B2
- Authority
- JP
- Japan
- Prior art keywords
- distance data
- distance
- data
- laser
- fln
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Traffic Control Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Closed-Circuit Television Systems (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像情報とレーザレーダ情報とを基に前方に存在する立体物と自車両との距離を検出する車外監視装置に関する。
【０００２】
【従来の技術】
近年、自動車にＴＶカメラやレーザレーダ等を搭載して前方の車両や障害物を検知し、それらに衝突する危険度を判定して運転者に警報を発したり、自動的にブレーキを作動させて停止させる、或いは、先行車との車間距離を安全に保つよう自動的に走行速度を増減する等のＡＳＶ（Advanced Safety Vehicle；先進安全自動車）に係わる技術の開発が積極的に進められ、一部実用化されている。
【０００３】
【発明が解決しようとする課題】
ところで、このような技術では、立体物の認識をカメラからの画像による距離データとレーザレーダからの距離データを統合して行う場合、特に遠方の立体物を認識する際には、画像による距離データとレーザレーダからの距離データのそれぞれの特性の違いにより、それぞれの測距差から１つの物体を複数の異なる物体として誤認識してしまう可能性がある。例えば遠方の先行車両をレーザレーダで距離検出した場合、そのリフレクタを主に検出するのに対し、画像で距離検出した場合は誤差が大きくなり、より遠方に立体物があるように検出することがある。そして、このように距離データの差が大きく異なっていると、１つの物体であるにもかかわらず、複数の立体物が存在するように演算処理するため、演算処理時間が不必要に多くなってしまうという問題が生じる。
【０００４】
本発明は上記事情に鑑みてなされたもので、画像情報とレーザレーダ情報とを基に前方に存在する立体物の認識を、不必要な処理を行うことなく素早く正確に行うことが可能な車外監視装置を提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記目的を達成するため請求項１記載の本発明による車外監視装置は、車両前方の画像情報を基に前方に存在する立体物と自車両との距離データを第１の距離データとして検出する画像距離検出手段と、車両前方へのレーザレーダ情報を基に前方に存在する立体物と自車両との距離データを第２の距離データとして検出するレーザ距離検出手段と、上記画像距離検出手段と上記レーザ距離検出手段のそれぞれの検出状態と上記第１の距離データと上記第２の距離データのそれぞれの値とに基づき、上記第１の距離データと上記第２の距離データを統合して最終的な距離データを作成し、該最終的な距離データに基づいて前方に存在する立体物を認識する立体物認識手段を備えた車外監視装置であって、上記立体物認識手段は、上記最終的な距離データの水平方向に存在する予め設定した距離以上の２つの距離データが、共に上記第２の距離データから取得したものであり、予め設定した幅以内の値で、且つ、距離値の差が予め設定した距離値以内の場合、上記２つの距離データの間に存在する該２つの距離データより所定以上遠方の上記第１の距離データから取得した距離データは無効として上記最終的な距離データから削除することを特徴としている。
【０００６】
すなわち、上記請求項１記載の車外監視装置では、画像距離検出手段で車両前方の画像情報を基に前方に存在する立体物と自車両との距離データを第１の距離データとして検出し、レーザ距離検出手段で車両前方へのレーザレーダ情報を基に前方に存在する立体物と自車両との距離データを第２の距離データとして検出し、立体物認識手段で上記画像距離検出手段と上記レーザ距離検出手段のそれぞれの検出状態と第１の距離データと第２の距離データのそれぞれの値とに基づき、第１の距離データと第２の距離データを統合して最終的な距離データを作成し、該最終的な距離データに基づいて前方に存在する立体物を認識する。この際、立体物認識手段は、最終的な距離データの水平方向に存在する予め設定した距離以上の２つの距離データが、共に第２の距離データから取得したものであり、予め設定した幅以内の値で、且つ、距離値の差が予め設定した距離値以内の場合、２つの距離データの間に存在する該２つの距離データより所定以上遠方の第１の距離データから取得した距離データは無効として最終的な距離データから削除する。このため、先行車両のリフレクタと見なせるレーザ距離検出手段で検出した２つの距離データの間の不要な画像距離検出手段で検出した距離データが処理から削除されるので、画像情報とレーザレーダ情報とを基に前方に存在する立体物の認識を、不必要な処理を行うことなく素早く正確に行うことが可能となる。すなわち、予め設定した距離以上の距離データでは、先行車両をレーザレーダで距離検出した場合、そのリフレクタを主に検出するため、この点に着目し精度を向上させる。
【０００９】
【発明の実施の形態】
以下、図面に基づいて本発明の実施の形態を説明する。
図１乃至図１０は本発明の実施の形態を示し、図１は車外監視装置を備えた車両用運転支援装置の概略構成図、図２は車両用運転支援装置の機能ブロック図、図３はＣＣＤカメラによる距離データ検出とレーザレーダによる距離データ検出の説明図、図４は画像距離データの区分の説明図、図５は削除する特異点の説明図、図６は前方監視プログラムのフローチャート、図７は画像距離データとレーザ距離データとの統合処理ルーチンのフローチャート、図８はグルーピングによる立体物検出処理ルーチンのフローチャート、図９は４０ｍ以上における特異点の削除処理ルーチンのフローチャート、図１０は距離データ診断処理ルーチンのフローチャートである。
【００１０】
図１において、符号１は自動車等の車両（自車両）であり、この自車両１に、前方の立体物との衝突、接触の可能性を判定し、必要に応じて警報を発する車両用運転支援装置（ＡＤＡ装置）２が搭載されている。尚、ＡＤＡ装置２は、一般に、この衝突接触防止機能の他に、車線逸脱防止等の機能も有しているが、本発明の実施の形態では、衝突接触防止機能についてのみ説明し、他の機能の説明は省略する。
【００１１】
ＡＤＡ装置２は、ステレオ光学系として例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた１組の（左右の）ＣＣＤカメラ３を有し、これら左右のＣＣＤカメラ３は、それぞれ車室内の天井前方に一定の間隔をもって取り付けられ、車外の対象を異なる視点からステレオ撮像し、コントローラ５に入力する。
【００１２】
また、車両１のバンパ構造材の上部には、レーザビームの投射・受光と左右方向への走査機能を有する、レーザヘッドを備えたレーザ投光ユニット４が取り付けられ、コントローラ５と接続されている。このレーザ投光ユニット４からはレーザビームが水平に投射され、道路表面より高い位置にある立体物のみが検出されると共に、このレーザ投光ユニット４からのレーザビームは左右方向に走査され、所定の走査範囲で一定の間隔毎にレーザビームが投光・受光されて距離を検出する動作が繰り返され、立体物の二次元分布が計測される。
【００１３】
本実施の形態の場合、例えば、図３に示すように、ＣＣＤカメラ３からは前方の左右２６゜の範囲の画像がコントローラ５に入力され、一方、レーザ投光ユニット４では０．１５度間隔で８０方向の走査が行われて前方の左右１２゜の範囲のデータが０．１秒周期でコントローラ５に出力される。
【００１４】
また、自車両１には、車速Ｖを検出する車速センサ６と、舵角δを検出する舵角センサ７が設けられており、この車速Ｖと舵角δはコントローラ５に入力される。
【００１５】
コントローラ５は、ＣＣＤカメラ３からの画像、レーザ投光ユニット４による走査結果、車速Ｖ、及び、舵角δが入力され、ＣＣＤカメラ３からの画像に基づく前方立体物との距離と、レーザ投光ユニット４による走査結果に基づく前方立体物との距離とをそれぞれ独立して求め、これらの距離データを統合して、この統合したデータを基に最終的に前方立体物との距離を求め、自車両１との衝突危険性や接触可能性を判断し、必要に応じてコンビネーションメータ８の衝突警報ランプ８ａを点灯させ警報を発するようになっている。また、コントローラ５は、ＣＣＤカメラ３からの画像に基づく前方立体物との距離の検出と、レーザ投光ユニット４による走査結果に基づく前方立体物との距離の検出の状態、すなわち、検出能力の低下を判定し、検出能力が低下している場合にはコンビネーションメータ８の検出状態表示ランプ８ｂを点灯させてドライバに報知する。
【００１６】
すなわち、コントローラ５は、車外監視装置としての機能を備えて構成されており、図２に示すように、画像データ処理部５ａ、レーザ測距データ処理部５ｂ、距離データ統合部５ｃ、立体物検出処理部５ｄ、距離データ診断部５ｅ、及び、警報制御部５ｆを有して構成されている。
【００１７】
画像データ処理部５ａは、画像距離検出手段として設けられており、ＣＣＤカメラ３からの画像を、図４に示すように、左右方向に１２８等分に区分し、これに対応した配列Ｃzlnを設定する。そして、区分毎に代表的な画素ずれ数を求め、この画素ずれ数から立体物までの距離を算出し、画像距離データＣzln[0~127]として保存する。例えば、Ｃzln[3]は、区分番号３番の距離データを示し、無効データの場合は９９９０００とされる。
【００１８】
レーザ測距データ処理部５ｂは、レーザ距離検出手段として設けられており、レーザービームの投光受光の所要時間から物体までの距離を計算し、また、レーザビームを走査する方向から物体の二次元の位置（全８０区分）を計算してレーザ距離データＬzln[0~79]として保存する。例えば、Ｌzln[3]は、区分番号３番の距離データを示し、無効データの場合は９９９０００とされる。
【００１９】
距離データ統合部５ｃは、８０区分のレーザ距離データＬzln[0~79]を、１２８区分の画像距離データ座標に変換（レーザ距離データlzrzln[0~127]）し、この変換したレーザ距離データlzrzln[0~127]を画像距離データＣzln[0~127]と統合する。
【００２０】
レーザ距離データＬzln[0~79]のレーザ距離データlzrzln[0~127]への変換は、例えば、以下のようにｘ座標、ｚ座標を演算して実行する。
ｘ座標＝レーザ距離データ・sink[k-kv+50]＋レーザヘッドｘ座標 …（１）
ｚ座標＝レーザ距離データ＋レーザヘッドｚ座標 …（２）
ここで、
sink[k]＝sin((k-50)・0.155゜)のデータテーブルであり、ｋ＝（レーザヘッドの中心軸があるレーザ区分番号）−（レーザの中心軸がある画像区分番号）で、「５０」はデータテーブルの中心の区分番号、０．１５５はレーザの８０区分の１ステップである。
【００２１】
また、変換したレーザ距離データlzrzln[0~127]と画像距離データＣzln[0~127]との統合は、以下のように実行される。尚、 [fln]のｆｌｎは、０〜１２７の各区分を示す。
【００２２】
１．レーザ距離データlzrzln[fln]が有効な場合でレーザ距離データlzrzln[fln]が遠方（２０ｍ以上）の場合、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]とする。すなわち、zln[fln]＝lzrzln[fln]。
【００２３】
２．レーザ距離データlzrzln[fln]が有効な場合でレーザ距離データlzrzln[fln]が中間距離（１０ｍ以上２０ｍ未満）の場合、画像距離データＣzln[fln]が有効で、且つ、画像距離データＣzln[fln]とレーザ距離データlzrzln[fln]との差が所定値（例えば２．５ｍ）以内の場合は、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]と画像距離データＣzln[fln]との平均値とする。すなわち、zln[fln]＝（lzrzln[fln]＋Ｃzln[fln]）／２。
【００２４】
３．レーザ距離データlzrzln[fln]が有効な場合でレーザ距離データlzrzln[fln]が中間距離（１０ｍ以上２０ｍ未満）の場合、上記２以外の場合は、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]とする。すなわち、zln[fln]＝lzrzln[fln]。
【００２５】
４．レーザ距離データlzrzln[fln]が有効な場合でレーザ距離データlzrzln[fln]が近距離（３ｍ以上１０ｍ未満）の場合、最終的な距離データzln[fln]は、画像距離データＣzln[fln]とする。すなわち、zln[fln]＝Ｃzln[fln]。
【００２６】
５．レーザ距離データlzrzln[fln]が有効な場合でレーザ距離データlzrzln[fln]が極近距離（３ｍ未満）の場合、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]とする。すなわち、zln[fln]＝lzrzln[fln]。
【００２７】
６．レーザ距離データlzrzln[fln]が無効な場合は、最終的な距離データzln[fln]は、画像距離データＣzln[fln]とする。すなわち、zln[fln]＝Ｃzln[fln]。
【００２８】
すなわち、一般に、画像に基づく距離データは、遠方では誤差が大きく近距離の場合は誤差が小さくなり、更に、極近距離ではリヤゲート越しに先の物体を捉えてしまいやすい。また、レーザレーダに基づく距離データは、遠方では比較的誤差が小さく近距離の場合は誤差が大きくなる。このため、上述の１〜６のように、予め、最終的に採用するデータを選別し、最終的に正確な距離データが得られるようにするのである。
【００２９】
そして、画像距離データＣzln[0~127]はzln1[0~127]として、また、変換したレーザ距離データlzrzln[0~127]はzln2[0~127]として保管・出力され、更に、統合された最終的な距離データzln[0~127]は立体物検出処理部５ｄに出力される。
【００３０】
立体物検出処理部５ｄは、４０ｍ未満における特異点の削除と、４０ｍ以上における特異点の削除を行って、前回の立体物の検出結果に基づいた立体物のコーナ点・コーナ状立体物の検出を行って、最終的な距離データzln[0~127]のグルーピング処理を行い立体物を認識処理する。従って、距離データ統合部５ｃと、この立体物検出処理部５ｄとで立体物認識手段が構成されている。
【００３１】
立体物検出処理部５ｄは、具体的には、４０ｍ未満における特異点の削除は、立体物が複雑に混在し、手前の立体物の間から遠方の立体物が見える状況等において、自車からほぼ等距離の立体物の間にある遠方の立体物を特異点として削除する。
【００３２】
すなわち、図５に示すように、４０ｍ未満にある最終的な距離データzln[fln]を基準点Ｐ０（ｚ０，ｘ０）として、以下の条件を全て満たす点を等距離の点として定め、これら２点の間にある遠方の点を特異点として削除する。尚、削除される点の距離データには、無効データと同じく９９９０００が代入される。
【００３３】
図５の例では、基準点Ｐ０に対し、斜線部内に存在する点Ｐ４，Ｐ５が基準点Ｐ０と等距離にある点として認識される。この斜線部の領域は、ｚ方向とｘ方向が、例えば、以下のように設定される。
ｚ方向：基準点±ｄｚ０（＝ｚ０・（１６４／４０９６）＋２００）ｍｍ
ｘ方向：基準点＋０．７ｍ
従って、図５の例では、斜線の領域より遠方のＰ１，Ｐ２が特異点として削除され、斜線の領域より前に位置するＰ３は削除されない。こうして、４０ｍ未満にある最終的な距離データzln[fln]は、その距離データが、画像に基づくデータ、或いは、レーザレーダに基づくデータにかかわらず、特異点の削除が行われ、データ処理の簡素化が図られている。
【００３４】
また、４０ｍ以上における特異点の削除では、遠方の立体物を検出した場合、レーザレーダによる距離データは、先行車両の左右のリフレクタを検出する。従って、左右のリフレクタ間にある画像の距離データは、そのデータを特異点とし削除する。
【００３５】
例えば、最終的な距離データzln[0~127]が、図４に示すように得られた場合、ｆ１とｆ３とが以下の条件を全て満足する場合、ｆ１とｆ３とを先行車両のリフレクタと判断する。
【００３６】
１．ｆ１とｆ３がレーザレーダによる距離データである。２．ｆ１の値が４０ｍ以上である。３．ｆ１とｆ３の縦方向の差が±０．５ｍ以内である。４．ｆ１とｆ３の横方向の間隔が２ｍ以内である。
【００３７】
そして、ｆ２が次の２つの条件を満足するとき、ｆ２の距離データを特異点として削除し、９９９０００を代入する。
【００３８】
１．ｆ２が画像による距離データである。２．ｆ２がｆ１より遠方に存在する。
【００３９】
このように４０ｍ以上の距離データでは、先行車両をレーザレーダで距離検出した場合、レーザレーダによる距離検出では、先行車両のリフレクタを主に検出するため、この点に着目し、レーザレーダによる距離データの間に存在する、不要、或いは、誤差が大きいと判断できる、より遠方の画像に基づく距離データを特異点として削除することにより、立体物の認識を精度良く速やかに行えるようにする。
【００４０】
そして、立体物検出処理部５ｄは、前回検出されたコーナ状立体物のコーナ点を中心にサーベイエリアを設け、今回検出された上述の如く特異点を削除した最終的な距離データzln[0~127]を調べて、新たなコーナ点の有無を検出する。
【００４１】
その後、このデータのグルーピング処理、すなわち、閾値を定めて、その閾値内にあるzln[fln]をグループ化し、このグループ化したデータの傾き等から側壁データの抽出を行い、グループ化されたデータの分割と統合を行って、立体物ならびに側壁を検出する。こうして、検出された立体物情報は、距離データ診断部５ｅ、警報制御部５ｆに出力される。
【００４２】
距離データ診断部５ｅは、最終的に検出した立体物が、画像距離データＣzln[0~127]（zln1[0~127]）と、変換したレーザ距離データlzrzln[0~127]（zln2[0~127]）の両方で検出されているか判定し、画像距離データzln1[0~127]で検出されていない場合は、画像測距性能低下とし、コンビネーションメータ８の検出状態表示ランプ８ｂを所定に点灯させてドライバに報知する。また、最終的に検出した立体物が、レーザ距離データzln2[0~127]で検出されていない場合は、レーザ測距性能低下としコンビネーションメータ８の検出状態表示ランプ８ｂを所定に点灯させてドライバに報知する。
【００４３】
この測距性能の判定は、舵角が−１０°〜＋１０°で、車両が略直線路を走行する際に行われる。これは、画像による距離検出では、ガードレールや側壁を認識することができるが、レーザレーダによる距離検出では、レーザビームが傾いて照射されるため反射せず立体物を認識しづらいことを考慮したものである。
【００４４】
また、測距性能の判定を行う立体物のサーベイエリアは、レーザレーダと画像の視野が重なる部分とし、判定に用いる立体物は、距離４０〜７０ｍ前方に存在する、幅５０ｃｍ以上のものとする。ここで、距離４０〜７０ｍ前方に存在する立体物としたのは、これ以上遠方の立体物をも対象とすると、画像による距離データ及びレーザレーダによる距離データの誤差が大きくなるためである。また、４０ｍ未満前方の立体物の距離データでは、測距性能の低下が極めて少なく判定を行えないためである。更に、立体物を幅５０ｃｍ以上のものとするのは、先行車両が複数存在する場合、画像では立体物間の何も無い空間に立体物を誤認識することがあるためである。
【００４５】
そして、立体物に対して画像距離データzln1[0~127]が存在するか否か判定し、存在しない場合は、画像無し立体物数ｎ１にカウントし、同じく、立体物に対してレーザ距離データzln2[0~127]が存在するか否か判定し、存在しない場合は、レーザレーダ無し立体物数ｎ２にカウントする。こうして、対象とする立体物の総数ｎ０と画像無し立体物数ｎ１とから画像の立体物不検出率を演算し（＝（ｎ１／ｎ０）・１００％）、レーザレーダの立体物不検出率を演算する（＝（ｎ２／ｎ０）・１００％）。
【００４６】
そして、画像の立体物不検出率が、予め設定する検出率閾値ｋ６以上であれば、画像の能力判定タイマをインクリメントし、検出率閾値ｋ６未満であれば画像の能力判定タイマをデクリメントして、能力判定タイマの値が予め設定した出力閾値ｋ１を超えた場合に画像による測距能力低下と判定して検出状態表示ランプ８ｂを所定に点灯させる。また、能力判定タイマの値が、予め設定した解除閾値ｋ２（＜ｋ１）以下となった際には検出状態表示ランプ８ｂの点灯を解除する。
【００４７】
同様に、レーザレーダの立体物不検出率が、予め設定する検出率閾値ｋ５以上であれば、レーザレーダの能力判定タイマをインクリメントし、検出率閾値ｋ５未満であればレーザレーダの能力判定タイマをデクリメントして、能力判定タイマの値が予め設定した出力閾値ｋ３を超えた場合にレーザレーダによる測距能力低下と判定して検出状態表示ランプ８ｂを所定に点灯させる。また、能力判定タイマの値が予め設定した解除閾値ｋ４（＜ｋ３）以下となった際には検出状態表示ランプ８ｂの点灯を解除する。
【００４８】
このように、最終的に検出された立体物を対象として、これを検出する画像とレーザレーダのそれぞれの距離データがあるか否かで、画像とレーザレーダの測距能力の低下を判定するようになっているので、画像とレーザレーダの測距能力の低下を素早く正確に判定することが可能になっている。
【００４９】
警報制御部５ｆは、立体物検出処理部５ｄからの立体物情報や車速センサ６からの車速Ｖ等を基に、自車線と隣接する左右の車線上に存在する他の自動車や障害物等を抽出し、抽出した物体の位置と大きさ、位置の時間変化による自車両１との相対速度等から、自車両１との衝突の可能性や接触の可能性を判断し、その結果を必要に応じて、コンビネーションメータ８の衝突警報ランプ８ａを点灯させ警報を発する。
【００５０】
次に、上述のコントローラ５で実行される前方監視プログラムを図６以下図１０のフローチャートを用いて説明する。図６は前方監視プログラムの全体の流れを示すフローチャートであり、ます、ステップ（以下「Ｓ」と略称）１０１で必要なパラメータを読み込む。
【００５１】
そして、Ｓ１０２に進み、画像からグルーピング用データ（画像距離データＣzln[0~127]）を作成する。すなわち、ＣＣＤカメラ３からの画像を、図４に示すように、左右１２８等分に区分し、これに対応した配列Ｃzlnを設定する。そして、区分毎に代表的な画素ずれ数を求め、この画素ずれ数から立体物までの距離を算出し、画像距離データＣzln[0~127]として保存する。例えば、Ｃzln[3]は、区分番号３番の距離データを示し、無効データの場合は９９９０００とされる。
【００５２】
次いで、Ｓ１０３に進み、レーザ距離データＬzln[0~79]を作成する。すなわち、レーザービームの投光受光の所要時間から物体までの距離を計算し、また、レーザビームを走査する方向から物体の二次元の位置（全８０区分）を計算してレーザ距離データＬzln[0~79]として保存する。例えば、Ｌzln[3]は、区分番号３番の距離データを示し、無効データの場合は９９９０００とされる。
【００５３】
その後、Ｓ１０４に進むと、図７のフローチャートに示す画像距離データとレーザ距離データとの統合処理が実行される。
【００５４】
図７のフローチャートでは、まず、Ｓ２０１で、８０区分のレーザ距離データＬzln[0~79]を、１２８区分の画像距離データ座標に変換（レーザ距離データlzrzln[0~127]）することが行われる。このレーザ距離データＬzln[0~79]のレーザ距離データlzrzln[0~127]への変換は、例えば、前記（１）式、（２）式により変換される。
【００５５】
次いで、Ｓ２０２に進み、画像距離データＣzln[0~127]はzln1[0~127]として、また、変換したレーザ距離データlzrzln[0~127]はzln2[0~127]として保管した後、Ｓ２０３に進む。
【００５６】
Ｓ２０３では、対象とする区分のレーザ距離データlzrzln[fln]が有効か否か判定される。尚、以下「fln」は、対象とするデータの区分を示し、後述のＳ２１２に対応して０〜１２７の全１２８区分となっている。
【００５７】
このＳ２０３の判定の結果、レーザ距離データlzrzln[fln]が無効であれば、Ｓ２０４に進み、最終的な距離データzln[fln]は、画像距離データＣzln[fln]とする。すなわち、zln[fln]＝Ｃzln[fln]。
【００５８】
また、Ｓ２０３の判定の結果、レーザ距離データlzrzln[fln]が有効であれば、Ｓ２０５に進み、レーザ距離データlzrzln[fln]が遠方（２０ｍ以上）か否か判定される。
【００５９】
そして、Ｓ２０５の判定の結果、レーザ距離データlzrzln[fln]が遠方（２０ｍ以上）でなければＳ２０６に進み、レーザ距離データlzrzln[fln]が中間距離（１０ｍ以上２０ｍ未満）か否か判定される。
【００６０】
Ｓ２０６の判定の結果、レーザ距離データlzrzln[fln]が中間距離（１０ｍ以上２０ｍ未満）でなければＳ２０７に進み、レーザ距離データlzrzln[fln]が近距離（３ｍ以上１０ｍ未満）か、或いは、レーザ距離データlzrzln[fln]が極近距離（３ｍ未満）か判定される。
【００６１】
上述のＳ２０５〜Ｓ２０７の判定において、まず、Ｓ２０５でレーザ距離データlzrzln[fln]が遠方（２０ｍ以上）と判定された場合は、Ｓ２０８に進み、最終的な距離データzln[fln]は、遠方では比較的誤差が小さいレーザ距離データlzrzln[fln]とする。すなわち、zln[fln]＝lzrzln[fln]。
【００６２】
また、上述のＳ２０５〜Ｓ２０７の判定において、Ｓ２０６で、レーザ距離データlzrzln[fln]が中間距離（１０ｍ以上２０ｍ未満）と判定された場合は、Ｓ２０９に進み、画像距離データＣzln[fln]が有効か否か判定され、画像距離データＣzln[fln]が無効の場合はＳ２０８に進み、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]とする。すなわち、zln[fln]＝lzrzln[fln]。
【００６３】
また、Ｓ２０９で画像距離データＣzln[fln]が有効である場合は、Ｓ２１０に進み、画像距離データＣzln[fln]とレーザ距離データlzrzln[fln]との差が２．５ｍ以内か否か判定し、２．５ｍより大きければＳ２０８に進んで、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]とする。すなわち、zln[fln]＝lzrzln[fln]。
【００６４】
また、Ｓ２１０で、画像距離データＣzln[fln]とレーザ距離データlzrzln[fln]との差が２．５ｍ以内の場合は、Ｓ２１１に進み、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]と画像距離データＣzln[fln]との平均値とする。すなわち、zln[fln]＝（lzrzln[fln]＋Ｃzln[fln]）／２。
【００６５】
一方、上述のＳ２０５〜Ｓ２０７の判定において、Ｓ２０７で、レーザ距離データlzrzln[fln]が近距離（３ｍ以上１０ｍ未満）と判定された場合は、Ｓ２０４に進み、最終的な距離データzln[fln]は、近距離では比較的誤差の小さい画像距離データＣzln[fln]とする。すなわち、zln[fln]＝Ｃzln[fln]。
【００６６】
また、Ｓ２０７で、レーザ距離データlzrzln[fln]が極近距離（３ｍ未満）と判定された場合は、Ｓ２０８に進み、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]とする。すなわち、zln[fln]＝lzrzln[fln]。
【００６７】
こうして、Ｓ２０４、Ｓ２０８、或いは、Ｓ２１１により最終的な距離データzln[fln]の設定を行った後は、Ｓ２１２に進み、０〜１２７の全１２８区分の対象とする区分のレーザ距離データlzrzln[fln]について、統合処理を完了したか否か判定し、完了していればルーチンを抜け、完了していないのであれば次の区分について、上述のＳ２０３〜Ｓ２１１の処理を繰り返す。
【００６８】
このように、本実施の形態の画像距離データとレーザ距離データとの統合処理によれば、予め検出した距離により誤差の少ないデータを優先して用いるようにしているので、レーザレーダによる測距値と画像による測距値との最適な統合を複雑な演算等することなく素早く行って、前方の立体物データとして素早く出力することが可能になっている。
【００６９】
上述のＳ１０４の画像距離データとレーザ距離データとの統合処理を行った後は、Ｓ１０５に進み、図８に示すグルーピングによる立体物の検出処理を行う。
【００７０】
図８のフローチャートでは、まず、Ｓ３０１で、４０ｍ未満における特異点の削除を行う。すなわち、立体物が複雑に混在し、手前の立体物の間から遠方の立体物が見える状況等において、自車からほぼ等距離の立体物の間にある遠方の立体物を特異点として削除する。図５に示すように、４０ｍ未満にある最終的な距離データzln[fln]を基準点Ｐ０（ｚ０，ｘ０）として、以下の条件を全て満たす点を等距離の点として定め、これら２点の間にある遠方の点を特異点として削除する。尚、削除される点の距離データには、無効データと同じく９９９０００が代入される。こうして、４０ｍ未満にある最終的な距離データzln[fln]は、その距離データが、画像に基づくデータ、或いは、レーザレーダに基づくデータにかかわらず、特異点の削除が行われ、データ処理の簡素化が図られている。
【００７１】
次いで、Ｓ３０２に進み、後述の図９に示す４０ｍ以上における特異点の削除の処理を実行する。
【００７２】
次いで、Ｓ３０３に進み、前回検出されたコーナ状立体物のコーナ点を中心にサーベイエリアを設け、今回検出された、Ｓ３０１とＳ３０２で特異点を削除した最終的な距離データzln[0~127]を調べて、新たなコーナ点の有無を検出する。
【００７３】
その後、Ｓ３０４に進んで、データのグルーピング処理、すなわち、閾値を定めて、その閾値内にあるzln[fln]をグループ化し、このグループ化したデータの傾き等から側壁データの抽出を行い、グループ化されたデータの分割と統合を行って、立体物ならびに側壁を検出する。
【００７４】
上述のＳ３０２で実行される４０ｍ以上における特異点の削除の処理は、図９のフローチャートで示すように、まず、Ｓ４０１で対象とする区分の距離データzln[fls]は４０ｍ以上のデータで、且つ、この区分のレーザ距離データlzrzln[fls]が有効であるか否か判定される。尚、以下「fls」は、対象とするデータの区分を示し、後述のＳ４１０に対応して０〜１２７の全１２８区分となっている。
【００７５】
そして、このＳ４０１での判定の結果、距離データzln[fls]が４０ｍ未満、或いは、この区分のレーザ距離データlzrzln[fls]が無効の少なくともどちらかの場合はＳ４１０にジャンプして、０〜１２７の全１２８区分の対象とする区分の距離データzln[fls]について、処理を完了したか否か判定し、完了していればルーチンを抜け、完了していないのであれば次の区分について、再びＳ４０１からの処理を行う。
【００７６】
Ｓ４０１での判定の結果、距離データzln[fls]は４０ｍ以上のデータで、且つ、この区分のレーザ距離データlzrzln[fls]が有効であると判定した場合はＳ４０２に進み、この区分のレーザ距離データlzrzln[fls]を基準とするサーベイエリアの決定を行い、サーベイエリアのもう一方の端部の区分zln[fle]には、zln[fls]から右方向に２ｍ離れた位置に対応する区分が設定される。
【００７７】
そして、Ｓ４０３に進み、zln[fls]からzln[fle]までの区分のサーベイエリアで、zln[fls]との距離の差が０．５ｍ以内（すなわち、｜zln[fls]−zln[fln]｜≦０．５ｍ：「fln」は「fls」から「fle」までの区分番号）で、且つ、そのレーザ距離データlzrzln[fln]が有効か否か判定される。
【００７８】
Ｓ４０３の判定の結果、上述の条件を満たす場合は、Ｓ４０４に進み、その区分はzln[fls]と等距離の同一立体物の区分と判定し、zln[fls]に対応する右端の区分データzln[f０]として設定する。すなわち、ｆ０＝ｆｌｎ。
【００７９】
そして、Ｓ４０４でzln[fls]に対応する右端の区分データzln[f０]を設定した場合、或いは、Ｓ４０３で上述の条件を満たさないと判定された場合は、Ｓ４０５に進み、「fls」から「fle」までの区分番号全てに判定を完了したか否か判定し、判定を完了していなければ再びＳ４０３に戻って、「fls」から「fle」までの間で、次の区分についての判定を行なう。
【００８０】
こうして、Ｓ４０５で、「fls」から「fle」までの全区分についての判定が完了した場合、Ｓ４０６に進んで、zln[fls]に対応する右端の区分データzln[f０]が設定されたか否か判定される。この結果、右端の区分データzln[f０]が設定されていない場合は、Ｓ４１０にジャンプし、０〜１２７の全１２８区分の対象とする区分の距離データzln[fls]について、処理を完了したか否か判定し、完了していればルーチンを抜け、完了していないのであれば次の区分について、再びＳ４０１からの処理を行う。
【００８１】
また、Ｓ４０６でzln[fls]に対応する右端の区分データzln[f０]が設定されたと判定された場合はＳ４０７へと進む。Ｓ４０７では、「fls＋１」から「ｆ０−１」までの区分（「fls」から「ｆ０」までの間の区分）のデータにおいて、距離データzln[fln]は、zln[fls]＋０．５ｍより遠方のデータで、且つ、そのレーザ距離データlzrzln[fln]が無効か否か判定される。
【００８２】
そして、Ｓ４０７において、上述の条件を満たす場合は、Ｓ４０８に進み、そのデータzln[fln]を特異点として削除する。
【００８３】
Ｓ４０８で「fls」から「ｆ０」までの間の区分を特異点として削除し、或いは、Ｓ４０７で上述の条件を満足しない場合はＳ４０９に進んで、「fls」から「ｆ０」までの間の区分の全てについて判定が完了したか否か判定する。
【００８４】
そして、Ｓ４０９で、「fls」から「ｆ０」までの間の区分の全てについて判定が未だ完了していない場合は、「fls」から「ｆ０」までの間の次の区分についてＳ４０７からの判定を実行し、「fls」から「ｆ０」までの間の区分の全てについて判定が完了している場合はＳ４１０に進み、０〜１２７の全１２８区分の対象とする区分の距離データzln[fls]について、処理を完了したか否か判定し、完了していればルーチンを抜け、完了していないのであれば次の区分について、再びＳ４０１からの処理を行う。
【００８５】
このように、本実施の形態によれば、４０ｍ以上の距離データでは、先行車両をレーザレーダで距離検出した場合、レーザレーダによる距離検出では、先行車両のリフレクタを主に検出するため、この点に着目し、レーザレーダによる距離データの間に存在する、不要、或いは、誤差が大きいと判断できる、より遠方の画像に基づく距離データを特異点として削除することにより、立体物の認識を精度良く速やかに行えるようにする。
【００８６】
上述の如く、Ｓ１０５で図８に示すグルーピングによる立体物の検出処理を行った後は、Ｓ１０６に進み、図１０に示す距離データの診断処理を行う。
【００８７】
図１０のフローチャートでは、まず、Ｓ５０１で舵角が−１０°〜１０°で、車両が略直線路を走行しているか否か判定され、舵角が−１０°〜１０°より大きい場合は、診断処理は行わず、そのままルーチンを抜ける。これは、画像による距離検出では、ガードレールや側壁を認識することができるが、レーザレーダによる距離検出では、レーザビームが傾いて照射されるため反射せず立体物を認識しづらいため、診断処理の結果が正確に得られない可能性があるためである。
【００８８】
Ｓ５０１の判定の結果、舵角が−１０°〜１０°で、車両が略直線路を走行している場合は、Ｓ５０２へと進み、立体物の判定対象の総数ｎ０、画像無し立体物数ｎ１、及び、レーザレーダ無し立体物数ｎ２の初期値を設定する。
【００８９】
そして、Ｓ５０３に進み、立体物が診断の対象とする立体物であるか否か判定する。これは、レーザレーダと画像の視野が重なる部分の立体物であり、且つ、距離４０〜７０ｍ前方に存在する、幅５０ｃｍ以上の立体物であるか否かの判定で行う。
【００９０】
Ｓ５０３の判定の結果、上述の条件を満足せず立体物が診断の対象とする立体物ではないと判定した場合はＳ５１０にジャンプし、その立体物は対象外と決定する。
【００９１】
一方、Ｓ５０３の判定の結果、立体物が診断の対象とする立体物である場合はＳ５０４へと進み、立体物の判定対象の総数ｎ０をカウントし（ｎ０＝ｎ０＋１）、Ｓ５０５に進んで、立体物を形成するグルーピングしたデータから、それに対応する画像距離データzln1（Ｓ２０２で保管したデータ）と、レーザ距離データzln2（Ｓ２０２で保管したデータ）を読み出す。
【００９２】
そして、Ｓ５０６に進み、その立体物に対応する画像距離データzln1が有り、且つ、その立体物に対応するレーザ距離データzln2が無いか判定し、この条件を満たす場合はＳ５０７に進んで、レーザレーダ無し立体物数ｎ２をカウントする（ｎ２＝ｎ２＋１）。
【００９３】
また、Ｓ５０６での判定条件を満たさない場合は、Ｓ５０８に進み、その立体物に対応する画像距離データzln1が無く、且つ、その立体物に対応するレーザ距離データzln2が有るか否か判定し、この条件を満たす場合はＳ５０９に進んで、画像無し立体物数ｎ１をカウントする（ｎ１＝ｎ１＋１）。
【００９４】
そして、Ｓ５０８の条件をも満足しない場合、すなわち、その立体物に対応する画像距離データzln1もレーザ距離データzln2も無い場合、或いは、その立体物に対応する画像距離データzln1もレーザ距離データzln2も有る場合はＳ５１０に進み、その立体物を診断対象外とする。
【００９５】
Ｓ５０７、Ｓ５０９、或いは、Ｓ５１０の処理を行った後は、Ｓ５１１に進み、全ての立体物について判定したか否か判定し、未だ全ての立体物に対して判定を終了していない場合はＳ５０３へと戻り、上述の処理を繰り返す。
【００９６】
全ての立体物について判定が終了している場合は、Ｓ５１１からＳ５１２へと進み、対象とする立体物の総数ｎ０と画像無し立体物数ｎ１とから画像の立体物不検出率を演算し（＝（ｎ１／ｎ０）・１００％）、レーザレーダの立体物不検出率を演算する（＝（ｎ２／ｎ０）・１００％）。
【００９７】
次いで、Ｓ５１３に進み、画像の立体物不検出率が、予め設定する検出率閾値ｋ６以上であれば、画像の能力判定タイマをインクリメントし、検出率閾値ｋ６未満であれば画像の能力判定タイマをデクリメントする。同様に、レーザレーダの立体物不検出率が、予め設定する検出率閾値ｋ５以上であれば、レーザレーダの能力判定タイマをインクリメントし、検出率閾値ｋ５未満であればレーザレーダの能力判定タイマをデクリメントする。
【００９８】
そして、Ｓ５１４に進み、画像の能力判定タイマの値が予め設定した出力閾値ｋ１を超えているか判定し、出力閾値ｋ１を超えている場合はＳ５１５に進んで、画像による測距能力低下と判定して検出状態表示ランプ８ｂを所定に点灯させる。また、Ｓ５１４で画像の能力判定タイマの値が予め設定した解除閾値ｋ２（＜ｋ１）以下となっている際にはＳ５１５に進んで検出状態表示ランプ８ｂの点灯を解除する。
【００９９】
また、Ｓ５１４に進むと、レーザレーダの能力判定タイマの値が予め設定した出力閾値ｋ３を超えているか判定し、出力閾値ｋ３を超えている場合はＳ５１５に進んで、レーザレーダによる測距能力低下と判定して検出状態表示ランプ８ｂを所定に点灯させる。また、Ｓ５１４でレーザレーダの能力判定タイマの値が予め設定した解除閾値ｋ４（＜ｋ３）以下となっている際にはＳ５１５に進んで検出状態表示ランプ８ｂの点灯を解除する。
【０１００】
このように、本実施の形態によれば、最終的に検出された立体物を対象として、これを検出する画像とレーザレーダのそれぞれの距離データがあるか否かで、画像とレーザレーダの測距能力の低下を判定するようになっているので、画像とレーザレーダの測距能力の低下を素早く正確に判定することが可能になっている。尚、本実施の形態では、診断の対象とする立体物に対して、単に、画像距離データzln1、或いは、レーザ距離データzln2が存在するか否かで診断するようになっているが、他の方法、例えば、診断の対象とする立体物と画像距離データzln1との差と、診断の対象とする立体物とレーザ距離データzln2との差を比較することでも簡単に診断できる。
【０１０１】
上述のＳ１０６の距離データ診断の処理を行った後は、Ｓ１０７に進み、衝突・接触警報制御を行う。すなわち、立体物検出処理部５ｄからの立体物情報や車速センサ６からの車速Ｖ等を基に、自車線と隣接する左右の車線上に存在する他の自動車や障害物等を抽出し、抽出した物体の位置と大きさ、位置の時間変化による自車両１との相対速度等から、自車両１との衝突の可能性や接触の可能性を判断し、その結果を必要に応じて、コンビネーションメータ８の衝突警報ランプ８ａを点灯させ警報を発する。
【０１０２】
【発明の効果】
以上説明したように本発明によれば、画像情報とレーザレーダ情報とを基に前方に存在する立体物の認識を、不必要な処理を行うことなく素早く正確に行うことが可能となる。
【図面の簡単な説明】
【図１】車外監視装置を備えた車両用運転支援装置の概略構成図
【図２】車両用運転支援装置の機能ブロック図
【図３】ＣＣＤカメラによる距離データ検出とレーザレーダによる距離データ検出の説明図
【図４】画像距離データの区分の説明図
【図５】削除する特異点の説明図
【図６】前方監視プログラムのフローチャート
【図７】画像距離データとレーザ距離データとの統合処理ルーチンのフローチャート
【図８】グルーピングによる立体物検出処理ルーチンのフローチャート
【図９】４０ｍ以上における特異点の削除処理ルーチンのフローチャート
【図１０】距離データ診断処理ルーチンのフローチャート
【符号の説明】
１ 自車両
２ 車両用運転支援装置
３ ＣＣＤカメラ
４ レーザ投光ユニット
５ コントローラ（車外監視装置）
５ａ 画像データ処理部（画像距離検出手段）
５ｂ レーザ測距データ処理部（レーザ距離検出手段）
５ｃ 距離データ統合部（立体物認識手段）
５ｄ 立体物検出処理部（立体物認識手段）
５ｅ 距離データ診断部
５ｆ 警報制御部
８ｂ 検出状態表示ランプ
【発明の属する技術分野】
本発明は、画像情報とレーザレーダ情報とを基に前方に存在する立体物と自車両との距離を検出する車外監視装置に関する。
【０００２】
【従来の技術】
近年、自動車にＴＶカメラやレーザレーダ等を搭載して前方の車両や障害物を検知し、それらに衝突する危険度を判定して運転者に警報を発したり、自動的にブレーキを作動させて停止させる、或いは、先行車との車間距離を安全に保つよう自動的に走行速度を増減する等のＡＳＶ（Advanced Safety Vehicle；先進安全自動車）に係わる技術の開発が積極的に進められ、一部実用化されている。
【０００３】
【発明が解決しようとする課題】
ところで、このような技術では、立体物の認識をカメラからの画像による距離データとレーザレーダからの距離データを統合して行う場合、特に遠方の立体物を認識する際には、画像による距離データとレーザレーダからの距離データのそれぞれの特性の違いにより、それぞれの測距差から１つの物体を複数の異なる物体として誤認識してしまう可能性がある。例えば遠方の先行車両をレーザレーダで距離検出した場合、そのリフレクタを主に検出するのに対し、画像で距離検出した場合は誤差が大きくなり、より遠方に立体物があるように検出することがある。そして、このように距離データの差が大きく異なっていると、１つの物体であるにもかかわらず、複数の立体物が存在するように演算処理するため、演算処理時間が不必要に多くなってしまうという問題が生じる。
【０００４】
本発明は上記事情に鑑みてなされたもので、画像情報とレーザレーダ情報とを基に前方に存在する立体物の認識を、不必要な処理を行うことなく素早く正確に行うことが可能な車外監視装置を提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記目的を達成するため請求項１記載の本発明による車外監視装置は、車両前方の画像情報を基に前方に存在する立体物と自車両との距離データを第１の距離データとして検出する画像距離検出手段と、車両前方へのレーザレーダ情報を基に前方に存在する立体物と自車両との距離データを第２の距離データとして検出するレーザ距離検出手段と、上記画像距離検出手段と上記レーザ距離検出手段のそれぞれの検出状態と上記第１の距離データと上記第２の距離データのそれぞれの値とに基づき、上記第１の距離データと上記第２の距離データを統合して最終的な距離データを作成し、該最終的な距離データに基づいて前方に存在する立体物を認識する立体物認識手段を備えた車外監視装置であって、上記立体物認識手段は、上記最終的な距離データの水平方向に存在する予め設定した距離以上の２つの距離データが、共に上記第２の距離データから取得したものであり、予め設定した幅以内の値で、且つ、距離値の差が予め設定した距離値以内の場合、上記２つの距離データの間に存在する該２つの距離データより所定以上遠方の上記第１の距離データから取得した距離データは無効として上記最終的な距離データから削除することを特徴としている。
【０００６】
すなわち、上記請求項１記載の車外監視装置では、画像距離検出手段で車両前方の画像情報を基に前方に存在する立体物と自車両との距離データを第１の距離データとして検出し、レーザ距離検出手段で車両前方へのレーザレーダ情報を基に前方に存在する立体物と自車両との距離データを第２の距離データとして検出し、立体物認識手段で上記画像距離検出手段と上記レーザ距離検出手段のそれぞれの検出状態と第１の距離データと第２の距離データのそれぞれの値とに基づき、第１の距離データと第２の距離データを統合して最終的な距離データを作成し、該最終的な距離データに基づいて前方に存在する立体物を認識する。この際、立体物認識手段は、最終的な距離データの水平方向に存在する予め設定した距離以上の２つの距離データが、共に第２の距離データから取得したものであり、予め設定した幅以内の値で、且つ、距離値の差が予め設定した距離値以内の場合、２つの距離データの間に存在する該２つの距離データより所定以上遠方の第１の距離データから取得した距離データは無効として最終的な距離データから削除する。このため、先行車両のリフレクタと見なせるレーザ距離検出手段で検出した２つの距離データの間の不要な画像距離検出手段で検出した距離データが処理から削除されるので、画像情報とレーザレーダ情報とを基に前方に存在する立体物の認識を、不必要な処理を行うことなく素早く正確に行うことが可能となる。すなわち、予め設定した距離以上の距離データでは、先行車両をレーザレーダで距離検出した場合、そのリフレクタを主に検出するため、この点に着目し精度を向上させる。
【０００９】
【発明の実施の形態】
以下、図面に基づいて本発明の実施の形態を説明する。
図１乃至図１０は本発明の実施の形態を示し、図１は車外監視装置を備えた車両用運転支援装置の概略構成図、図２は車両用運転支援装置の機能ブロック図、図３はＣＣＤカメラによる距離データ検出とレーザレーダによる距離データ検出の説明図、図４は画像距離データの区分の説明図、図５は削除する特異点の説明図、図６は前方監視プログラムのフローチャート、図７は画像距離データとレーザ距離データとの統合処理ルーチンのフローチャート、図８はグルーピングによる立体物検出処理ルーチンのフローチャート、図９は４０ｍ以上における特異点の削除処理ルーチンのフローチャート、図１０は距離データ診断処理ルーチンのフローチャートである。
【００１０】
図１において、符号１は自動車等の車両（自車両）であり、この自車両１に、前方の立体物との衝突、接触の可能性を判定し、必要に応じて警報を発する車両用運転支援装置（ＡＤＡ装置）２が搭載されている。尚、ＡＤＡ装置２は、一般に、この衝突接触防止機能の他に、車線逸脱防止等の機能も有しているが、本発明の実施の形態では、衝突接触防止機能についてのみ説明し、他の機能の説明は省略する。
【００１１】
ＡＤＡ装置２は、ステレオ光学系として例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた１組の（左右の）ＣＣＤカメラ３を有し、これら左右のＣＣＤカメラ３は、それぞれ車室内の天井前方に一定の間隔をもって取り付けられ、車外の対象を異なる視点からステレオ撮像し、コントローラ５に入力する。
【００１２】
また、車両１のバンパ構造材の上部には、レーザビームの投射・受光と左右方向への走査機能を有する、レーザヘッドを備えたレーザ投光ユニット４が取り付けられ、コントローラ５と接続されている。このレーザ投光ユニット４からはレーザビームが水平に投射され、道路表面より高い位置にある立体物のみが検出されると共に、このレーザ投光ユニット４からのレーザビームは左右方向に走査され、所定の走査範囲で一定の間隔毎にレーザビームが投光・受光されて距離を検出する動作が繰り返され、立体物の二次元分布が計測される。
【００１３】
本実施の形態の場合、例えば、図３に示すように、ＣＣＤカメラ３からは前方の左右２６゜の範囲の画像がコントローラ５に入力され、一方、レーザ投光ユニット４では０．１５度間隔で８０方向の走査が行われて前方の左右１２゜の範囲のデータが０．１秒周期でコントローラ５に出力される。
【００１４】
また、自車両１には、車速Ｖを検出する車速センサ６と、舵角δを検出する舵角センサ７が設けられており、この車速Ｖと舵角δはコントローラ５に入力される。
【００１５】
コントローラ５は、ＣＣＤカメラ３からの画像、レーザ投光ユニット４による走査結果、車速Ｖ、及び、舵角δが入力され、ＣＣＤカメラ３からの画像に基づく前方立体物との距離と、レーザ投光ユニット４による走査結果に基づく前方立体物との距離とをそれぞれ独立して求め、これらの距離データを統合して、この統合したデータを基に最終的に前方立体物との距離を求め、自車両１との衝突危険性や接触可能性を判断し、必要に応じてコンビネーションメータ８の衝突警報ランプ８ａを点灯させ警報を発するようになっている。また、コントローラ５は、ＣＣＤカメラ３からの画像に基づく前方立体物との距離の検出と、レーザ投光ユニット４による走査結果に基づく前方立体物との距離の検出の状態、すなわち、検出能力の低下を判定し、検出能力が低下している場合にはコンビネーションメータ８の検出状態表示ランプ８ｂを点灯させてドライバに報知する。
【００１６】
すなわち、コントローラ５は、車外監視装置としての機能を備えて構成されており、図２に示すように、画像データ処理部５ａ、レーザ測距データ処理部５ｂ、距離データ統合部５ｃ、立体物検出処理部５ｄ、距離データ診断部５ｅ、及び、警報制御部５ｆを有して構成されている。
【００１７】
画像データ処理部５ａは、画像距離検出手段として設けられており、ＣＣＤカメラ３からの画像を、図４に示すように、左右方向に１２８等分に区分し、これに対応した配列Ｃzlnを設定する。そして、区分毎に代表的な画素ずれ数を求め、この画素ずれ数から立体物までの距離を算出し、画像距離データＣzln[0~127]として保存する。例えば、Ｃzln[3]は、区分番号３番の距離データを示し、無効データの場合は９９９０００とされる。
【００１８】
レーザ測距データ処理部５ｂは、レーザ距離検出手段として設けられており、レーザービームの投光受光の所要時間から物体までの距離を計算し、また、レーザビームを走査する方向から物体の二次元の位置（全８０区分）を計算してレーザ距離データＬzln[0~79]として保存する。例えば、Ｌzln[3]は、区分番号３番の距離データを示し、無効データの場合は９９９０００とされる。
【００１９】
距離データ統合部５ｃは、８０区分のレーザ距離データＬzln[0~79]を、１２８区分の画像距離データ座標に変換（レーザ距離データlzrzln[0~127]）し、この変換したレーザ距離データlzrzln[0~127]を画像距離データＣzln[0~127]と統合する。
【００２０】
レーザ距離データＬzln[0~79]のレーザ距離データlzrzln[0~127]への変換は、例えば、以下のようにｘ座標、ｚ座標を演算して実行する。
ｘ座標＝レーザ距離データ・sink[k-kv+50]＋レーザヘッドｘ座標 …（１）
ｚ座標＝レーザ距離データ＋レーザヘッドｚ座標 …（２）
ここで、
sink[k]＝sin((k-50)・0.155゜)のデータテーブルであり、ｋ＝（レーザヘッドの中心軸があるレーザ区分番号）−（レーザの中心軸がある画像区分番号）で、「５０」はデータテーブルの中心の区分番号、０．１５５はレーザの８０区分の１ステップである。
【００２１】
また、変換したレーザ距離データlzrzln[0~127]と画像距離データＣzln[0~127]との統合は、以下のように実行される。尚、 [fln]のｆｌｎは、０〜１２７の各区分を示す。
【００２２】
１．レーザ距離データlzrzln[fln]が有効な場合でレーザ距離データlzrzln[fln]が遠方（２０ｍ以上）の場合、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]とする。すなわち、zln[fln]＝lzrzln[fln]。
【００２３】
２．レーザ距離データlzrzln[fln]が有効な場合でレーザ距離データlzrzln[fln]が中間距離（１０ｍ以上２０ｍ未満）の場合、画像距離データＣzln[fln]が有効で、且つ、画像距離データＣzln[fln]とレーザ距離データlzrzln[fln]との差が所定値（例えば２．５ｍ）以内の場合は、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]と画像距離データＣzln[fln]との平均値とする。すなわち、zln[fln]＝（lzrzln[fln]＋Ｃzln[fln]）／２。
【００２４】
３．レーザ距離データlzrzln[fln]が有効な場合でレーザ距離データlzrzln[fln]が中間距離（１０ｍ以上２０ｍ未満）の場合、上記２以外の場合は、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]とする。すなわち、zln[fln]＝lzrzln[fln]。
【００２５】
４．レーザ距離データlzrzln[fln]が有効な場合でレーザ距離データlzrzln[fln]が近距離（３ｍ以上１０ｍ未満）の場合、最終的な距離データzln[fln]は、画像距離データＣzln[fln]とする。すなわち、zln[fln]＝Ｃzln[fln]。
【００２６】
５．レーザ距離データlzrzln[fln]が有効な場合でレーザ距離データlzrzln[fln]が極近距離（３ｍ未満）の場合、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]とする。すなわち、zln[fln]＝lzrzln[fln]。
【００２７】
６．レーザ距離データlzrzln[fln]が無効な場合は、最終的な距離データzln[fln]は、画像距離データＣzln[fln]とする。すなわち、zln[fln]＝Ｃzln[fln]。
【００２８】
すなわち、一般に、画像に基づく距離データは、遠方では誤差が大きく近距離の場合は誤差が小さくなり、更に、極近距離ではリヤゲート越しに先の物体を捉えてしまいやすい。また、レーザレーダに基づく距離データは、遠方では比較的誤差が小さく近距離の場合は誤差が大きくなる。このため、上述の１〜６のように、予め、最終的に採用するデータを選別し、最終的に正確な距離データが得られるようにするのである。
【００２９】
そして、画像距離データＣzln[0~127]はzln1[0~127]として、また、変換したレーザ距離データlzrzln[0~127]はzln2[0~127]として保管・出力され、更に、統合された最終的な距離データzln[0~127]は立体物検出処理部５ｄに出力される。
【００３０】
立体物検出処理部５ｄは、４０ｍ未満における特異点の削除と、４０ｍ以上における特異点の削除を行って、前回の立体物の検出結果に基づいた立体物のコーナ点・コーナ状立体物の検出を行って、最終的な距離データzln[0~127]のグルーピング処理を行い立体物を認識処理する。従って、距離データ統合部５ｃと、この立体物検出処理部５ｄとで立体物認識手段が構成されている。
【００３１】
立体物検出処理部５ｄは、具体的には、４０ｍ未満における特異点の削除は、立体物が複雑に混在し、手前の立体物の間から遠方の立体物が見える状況等において、自車からほぼ等距離の立体物の間にある遠方の立体物を特異点として削除する。
【００３２】
すなわち、図５に示すように、４０ｍ未満にある最終的な距離データzln[fln]を基準点Ｐ０（ｚ０，ｘ０）として、以下の条件を全て満たす点を等距離の点として定め、これら２点の間にある遠方の点を特異点として削除する。尚、削除される点の距離データには、無効データと同じく９９９０００が代入される。
【００３３】
図５の例では、基準点Ｐ０に対し、斜線部内に存在する点Ｐ４，Ｐ５が基準点Ｐ０と等距離にある点として認識される。この斜線部の領域は、ｚ方向とｘ方向が、例えば、以下のように設定される。
ｚ方向：基準点±ｄｚ０（＝ｚ０・（１６４／４０９６）＋２００）ｍｍ
ｘ方向：基準点＋０．７ｍ
従って、図５の例では、斜線の領域より遠方のＰ１，Ｐ２が特異点として削除され、斜線の領域より前に位置するＰ３は削除されない。こうして、４０ｍ未満にある最終的な距離データzln[fln]は、その距離データが、画像に基づくデータ、或いは、レーザレーダに基づくデータにかかわらず、特異点の削除が行われ、データ処理の簡素化が図られている。
【００３４】
また、４０ｍ以上における特異点の削除では、遠方の立体物を検出した場合、レーザレーダによる距離データは、先行車両の左右のリフレクタを検出する。従って、左右のリフレクタ間にある画像の距離データは、そのデータを特異点とし削除する。
【００３５】
例えば、最終的な距離データzln[0~127]が、図４に示すように得られた場合、ｆ１とｆ３とが以下の条件を全て満足する場合、ｆ１とｆ３とを先行車両のリフレクタと判断する。
【００３６】
１．ｆ１とｆ３がレーザレーダによる距離データである。２．ｆ１の値が４０ｍ以上である。３．ｆ１とｆ３の縦方向の差が±０．５ｍ以内である。４．ｆ１とｆ３の横方向の間隔が２ｍ以内である。
【００３７】
そして、ｆ２が次の２つの条件を満足するとき、ｆ２の距離データを特異点として削除し、９９９０００を代入する。
【００３８】
１．ｆ２が画像による距離データである。２．ｆ２がｆ１より遠方に存在する。
【００３９】
このように４０ｍ以上の距離データでは、先行車両をレーザレーダで距離検出した場合、レーザレーダによる距離検出では、先行車両のリフレクタを主に検出するため、この点に着目し、レーザレーダによる距離データの間に存在する、不要、或いは、誤差が大きいと判断できる、より遠方の画像に基づく距離データを特異点として削除することにより、立体物の認識を精度良く速やかに行えるようにする。
【００４０】
そして、立体物検出処理部５ｄは、前回検出されたコーナ状立体物のコーナ点を中心にサーベイエリアを設け、今回検出された上述の如く特異点を削除した最終的な距離データzln[0~127]を調べて、新たなコーナ点の有無を検出する。
【００４１】
その後、このデータのグルーピング処理、すなわち、閾値を定めて、その閾値内にあるzln[fln]をグループ化し、このグループ化したデータの傾き等から側壁データの抽出を行い、グループ化されたデータの分割と統合を行って、立体物ならびに側壁を検出する。こうして、検出された立体物情報は、距離データ診断部５ｅ、警報制御部５ｆに出力される。
【００４２】
距離データ診断部５ｅは、最終的に検出した立体物が、画像距離データＣzln[0~127]（zln1[0~127]）と、変換したレーザ距離データlzrzln[0~127]（zln2[0~127]）の両方で検出されているか判定し、画像距離データzln1[0~127]で検出されていない場合は、画像測距性能低下とし、コンビネーションメータ８の検出状態表示ランプ８ｂを所定に点灯させてドライバに報知する。また、最終的に検出した立体物が、レーザ距離データzln2[0~127]で検出されていない場合は、レーザ測距性能低下としコンビネーションメータ８の検出状態表示ランプ８ｂを所定に点灯させてドライバに報知する。
【００４３】
この測距性能の判定は、舵角が−１０°〜＋１０°で、車両が略直線路を走行する際に行われる。これは、画像による距離検出では、ガードレールや側壁を認識することができるが、レーザレーダによる距離検出では、レーザビームが傾いて照射されるため反射せず立体物を認識しづらいことを考慮したものである。
【００４４】
また、測距性能の判定を行う立体物のサーベイエリアは、レーザレーダと画像の視野が重なる部分とし、判定に用いる立体物は、距離４０〜７０ｍ前方に存在する、幅５０ｃｍ以上のものとする。ここで、距離４０〜７０ｍ前方に存在する立体物としたのは、これ以上遠方の立体物をも対象とすると、画像による距離データ及びレーザレーダによる距離データの誤差が大きくなるためである。また、４０ｍ未満前方の立体物の距離データでは、測距性能の低下が極めて少なく判定を行えないためである。更に、立体物を幅５０ｃｍ以上のものとするのは、先行車両が複数存在する場合、画像では立体物間の何も無い空間に立体物を誤認識することがあるためである。
【００４５】
そして、立体物に対して画像距離データzln1[0~127]が存在するか否か判定し、存在しない場合は、画像無し立体物数ｎ１にカウントし、同じく、立体物に対してレーザ距離データzln2[0~127]が存在するか否か判定し、存在しない場合は、レーザレーダ無し立体物数ｎ２にカウントする。こうして、対象とする立体物の総数ｎ０と画像無し立体物数ｎ１とから画像の立体物不検出率を演算し（＝（ｎ１／ｎ０）・１００％）、レーザレーダの立体物不検出率を演算する（＝（ｎ２／ｎ０）・１００％）。
【００４６】
そして、画像の立体物不検出率が、予め設定する検出率閾値ｋ６以上であれば、画像の能力判定タイマをインクリメントし、検出率閾値ｋ６未満であれば画像の能力判定タイマをデクリメントして、能力判定タイマの値が予め設定した出力閾値ｋ１を超えた場合に画像による測距能力低下と判定して検出状態表示ランプ８ｂを所定に点灯させる。また、能力判定タイマの値が、予め設定した解除閾値ｋ２（＜ｋ１）以下となった際には検出状態表示ランプ８ｂの点灯を解除する。
【００４７】
同様に、レーザレーダの立体物不検出率が、予め設定する検出率閾値ｋ５以上であれば、レーザレーダの能力判定タイマをインクリメントし、検出率閾値ｋ５未満であればレーザレーダの能力判定タイマをデクリメントして、能力判定タイマの値が予め設定した出力閾値ｋ３を超えた場合にレーザレーダによる測距能力低下と判定して検出状態表示ランプ８ｂを所定に点灯させる。また、能力判定タイマの値が予め設定した解除閾値ｋ４（＜ｋ３）以下となった際には検出状態表示ランプ８ｂの点灯を解除する。
【００４８】
このように、最終的に検出された立体物を対象として、これを検出する画像とレーザレーダのそれぞれの距離データがあるか否かで、画像とレーザレーダの測距能力の低下を判定するようになっているので、画像とレーザレーダの測距能力の低下を素早く正確に判定することが可能になっている。
【００４９】
警報制御部５ｆは、立体物検出処理部５ｄからの立体物情報や車速センサ６からの車速Ｖ等を基に、自車線と隣接する左右の車線上に存在する他の自動車や障害物等を抽出し、抽出した物体の位置と大きさ、位置の時間変化による自車両１との相対速度等から、自車両１との衝突の可能性や接触の可能性を判断し、その結果を必要に応じて、コンビネーションメータ８の衝突警報ランプ８ａを点灯させ警報を発する。
【００５０】
次に、上述のコントローラ５で実行される前方監視プログラムを図６以下図１０のフローチャートを用いて説明する。図６は前方監視プログラムの全体の流れを示すフローチャートであり、ます、ステップ（以下「Ｓ」と略称）１０１で必要なパラメータを読み込む。
【００５１】
そして、Ｓ１０２に進み、画像からグルーピング用データ（画像距離データＣzln[0~127]）を作成する。すなわち、ＣＣＤカメラ３からの画像を、図４に示すように、左右１２８等分に区分し、これに対応した配列Ｃzlnを設定する。そして、区分毎に代表的な画素ずれ数を求め、この画素ずれ数から立体物までの距離を算出し、画像距離データＣzln[0~127]として保存する。例えば、Ｃzln[3]は、区分番号３番の距離データを示し、無効データの場合は９９９０００とされる。
【００５２】
次いで、Ｓ１０３に進み、レーザ距離データＬzln[0~79]を作成する。すなわち、レーザービームの投光受光の所要時間から物体までの距離を計算し、また、レーザビームを走査する方向から物体の二次元の位置（全８０区分）を計算してレーザ距離データＬzln[0~79]として保存する。例えば、Ｌzln[3]は、区分番号３番の距離データを示し、無効データの場合は９９９０００とされる。
【００５３】
その後、Ｓ１０４に進むと、図７のフローチャートに示す画像距離データとレーザ距離データとの統合処理が実行される。
【００５４】
図７のフローチャートでは、まず、Ｓ２０１で、８０区分のレーザ距離データＬzln[0~79]を、１２８区分の画像距離データ座標に変換（レーザ距離データlzrzln[0~127]）することが行われる。このレーザ距離データＬzln[0~79]のレーザ距離データlzrzln[0~127]への変換は、例えば、前記（１）式、（２）式により変換される。
【００５５】
次いで、Ｓ２０２に進み、画像距離データＣzln[0~127]はzln1[0~127]として、また、変換したレーザ距離データlzrzln[0~127]はzln2[0~127]として保管した後、Ｓ２０３に進む。
【００５６】
Ｓ２０３では、対象とする区分のレーザ距離データlzrzln[fln]が有効か否か判定される。尚、以下「fln」は、対象とするデータの区分を示し、後述のＳ２１２に対応して０〜１２７の全１２８区分となっている。
【００５７】
このＳ２０３の判定の結果、レーザ距離データlzrzln[fln]が無効であれば、Ｓ２０４に進み、最終的な距離データzln[fln]は、画像距離データＣzln[fln]とする。すなわち、zln[fln]＝Ｃzln[fln]。
【００５８】
また、Ｓ２０３の判定の結果、レーザ距離データlzrzln[fln]が有効であれば、Ｓ２０５に進み、レーザ距離データlzrzln[fln]が遠方（２０ｍ以上）か否か判定される。
【００５９】
そして、Ｓ２０５の判定の結果、レーザ距離データlzrzln[fln]が遠方（２０ｍ以上）でなければＳ２０６に進み、レーザ距離データlzrzln[fln]が中間距離（１０ｍ以上２０ｍ未満）か否か判定される。
【００６０】
Ｓ２０６の判定の結果、レーザ距離データlzrzln[fln]が中間距離（１０ｍ以上２０ｍ未満）でなければＳ２０７に進み、レーザ距離データlzrzln[fln]が近距離（３ｍ以上１０ｍ未満）か、或いは、レーザ距離データlzrzln[fln]が極近距離（３ｍ未満）か判定される。
【００６１】
上述のＳ２０５〜Ｓ２０７の判定において、まず、Ｓ２０５でレーザ距離データlzrzln[fln]が遠方（２０ｍ以上）と判定された場合は、Ｓ２０８に進み、最終的な距離データzln[fln]は、遠方では比較的誤差が小さいレーザ距離データlzrzln[fln]とする。すなわち、zln[fln]＝lzrzln[fln]。
【００６２】
また、上述のＳ２０５〜Ｓ２０７の判定において、Ｓ２０６で、レーザ距離データlzrzln[fln]が中間距離（１０ｍ以上２０ｍ未満）と判定された場合は、Ｓ２０９に進み、画像距離データＣzln[fln]が有効か否か判定され、画像距離データＣzln[fln]が無効の場合はＳ２０８に進み、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]とする。すなわち、zln[fln]＝lzrzln[fln]。
【００６３】
また、Ｓ２０９で画像距離データＣzln[fln]が有効である場合は、Ｓ２１０に進み、画像距離データＣzln[fln]とレーザ距離データlzrzln[fln]との差が２．５ｍ以内か否か判定し、２．５ｍより大きければＳ２０８に進んで、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]とする。すなわち、zln[fln]＝lzrzln[fln]。
【００６４】
また、Ｓ２１０で、画像距離データＣzln[fln]とレーザ距離データlzrzln[fln]との差が２．５ｍ以内の場合は、Ｓ２１１に進み、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]と画像距離データＣzln[fln]との平均値とする。すなわち、zln[fln]＝（lzrzln[fln]＋Ｃzln[fln]）／２。
【００６５】
一方、上述のＳ２０５〜Ｓ２０７の判定において、Ｓ２０７で、レーザ距離データlzrzln[fln]が近距離（３ｍ以上１０ｍ未満）と判定された場合は、Ｓ２０４に進み、最終的な距離データzln[fln]は、近距離では比較的誤差の小さい画像距離データＣzln[fln]とする。すなわち、zln[fln]＝Ｃzln[fln]。
【００６６】
また、Ｓ２０７で、レーザ距離データlzrzln[fln]が極近距離（３ｍ未満）と判定された場合は、Ｓ２０８に進み、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]とする。すなわち、zln[fln]＝lzrzln[fln]。
【００６７】
こうして、Ｓ２０４、Ｓ２０８、或いは、Ｓ２１１により最終的な距離データzln[fln]の設定を行った後は、Ｓ２１２に進み、０〜１２７の全１２８区分の対象とする区分のレーザ距離データlzrzln[fln]について、統合処理を完了したか否か判定し、完了していればルーチンを抜け、完了していないのであれば次の区分について、上述のＳ２０３〜Ｓ２１１の処理を繰り返す。
【００６８】
このように、本実施の形態の画像距離データとレーザ距離データとの統合処理によれば、予め検出した距離により誤差の少ないデータを優先して用いるようにしているので、レーザレーダによる測距値と画像による測距値との最適な統合を複雑な演算等することなく素早く行って、前方の立体物データとして素早く出力することが可能になっている。
【００６９】
上述のＳ１０４の画像距離データとレーザ距離データとの統合処理を行った後は、Ｓ１０５に進み、図８に示すグルーピングによる立体物の検出処理を行う。
【００７０】
図８のフローチャートでは、まず、Ｓ３０１で、４０ｍ未満における特異点の削除を行う。すなわち、立体物が複雑に混在し、手前の立体物の間から遠方の立体物が見える状況等において、自車からほぼ等距離の立体物の間にある遠方の立体物を特異点として削除する。図５に示すように、４０ｍ未満にある最終的な距離データzln[fln]を基準点Ｐ０（ｚ０，ｘ０）として、以下の条件を全て満たす点を等距離の点として定め、これら２点の間にある遠方の点を特異点として削除する。尚、削除される点の距離データには、無効データと同じく９９９０００が代入される。こうして、４０ｍ未満にある最終的な距離データzln[fln]は、その距離データが、画像に基づくデータ、或いは、レーザレーダに基づくデータにかかわらず、特異点の削除が行われ、データ処理の簡素化が図られている。
【００７１】
次いで、Ｓ３０２に進み、後述の図９に示す４０ｍ以上における特異点の削除の処理を実行する。
【００７２】
次いで、Ｓ３０３に進み、前回検出されたコーナ状立体物のコーナ点を中心にサーベイエリアを設け、今回検出された、Ｓ３０１とＳ３０２で特異点を削除した最終的な距離データzln[0~127]を調べて、新たなコーナ点の有無を検出する。
【００７３】
その後、Ｓ３０４に進んで、データのグルーピング処理、すなわち、閾値を定めて、その閾値内にあるzln[fln]をグループ化し、このグループ化したデータの傾き等から側壁データの抽出を行い、グループ化されたデータの分割と統合を行って、立体物ならびに側壁を検出する。
【００７４】
上述のＳ３０２で実行される４０ｍ以上における特異点の削除の処理は、図９のフローチャートで示すように、まず、Ｓ４０１で対象とする区分の距離データzln[fls]は４０ｍ以上のデータで、且つ、この区分のレーザ距離データlzrzln[fls]が有効であるか否か判定される。尚、以下「fls」は、対象とするデータの区分を示し、後述のＳ４１０に対応して０〜１２７の全１２８区分となっている。
【００７５】
そして、このＳ４０１での判定の結果、距離データzln[fls]が４０ｍ未満、或いは、この区分のレーザ距離データlzrzln[fls]が無効の少なくともどちらかの場合はＳ４１０にジャンプして、０〜１２７の全１２８区分の対象とする区分の距離データzln[fls]について、処理を完了したか否か判定し、完了していればルーチンを抜け、完了していないのであれば次の区分について、再びＳ４０１からの処理を行う。
【００７６】
Ｓ４０１での判定の結果、距離データzln[fls]は４０ｍ以上のデータで、且つ、この区分のレーザ距離データlzrzln[fls]が有効であると判定した場合はＳ４０２に進み、この区分のレーザ距離データlzrzln[fls]を基準とするサーベイエリアの決定を行い、サーベイエリアのもう一方の端部の区分zln[fle]には、zln[fls]から右方向に２ｍ離れた位置に対応する区分が設定される。
【００７７】
そして、Ｓ４０３に進み、zln[fls]からzln[fle]までの区分のサーベイエリアで、zln[fls]との距離の差が０．５ｍ以内（すなわち、｜zln[fls]−zln[fln]｜≦０．５ｍ：「fln」は「fls」から「fle」までの区分番号）で、且つ、そのレーザ距離データlzrzln[fln]が有効か否か判定される。
【００７８】
Ｓ４０３の判定の結果、上述の条件を満たす場合は、Ｓ４０４に進み、その区分はzln[fls]と等距離の同一立体物の区分と判定し、zln[fls]に対応する右端の区分データzln[f０]として設定する。すなわち、ｆ０＝ｆｌｎ。
【００７９】
そして、Ｓ４０４でzln[fls]に対応する右端の区分データzln[f０]を設定した場合、或いは、Ｓ４０３で上述の条件を満たさないと判定された場合は、Ｓ４０５に進み、「fls」から「fle」までの区分番号全てに判定を完了したか否か判定し、判定を完了していなければ再びＳ４０３に戻って、「fls」から「fle」までの間で、次の区分についての判定を行なう。
【００８０】
こうして、Ｓ４０５で、「fls」から「fle」までの全区分についての判定が完了した場合、Ｓ４０６に進んで、zln[fls]に対応する右端の区分データzln[f０]が設定されたか否か判定される。この結果、右端の区分データzln[f０]が設定されていない場合は、Ｓ４１０にジャンプし、０〜１２７の全１２８区分の対象とする区分の距離データzln[fls]について、処理を完了したか否か判定し、完了していればルーチンを抜け、完了していないのであれば次の区分について、再びＳ４０１からの処理を行う。
【００８１】
また、Ｓ４０６でzln[fls]に対応する右端の区分データzln[f０]が設定されたと判定された場合はＳ４０７へと進む。Ｓ４０７では、「fls＋１」から「ｆ０−１」までの区分（「fls」から「ｆ０」までの間の区分）のデータにおいて、距離データzln[fln]は、zln[fls]＋０．５ｍより遠方のデータで、且つ、そのレーザ距離データlzrzln[fln]が無効か否か判定される。
【００８２】
そして、Ｓ４０７において、上述の条件を満たす場合は、Ｓ４０８に進み、そのデータzln[fln]を特異点として削除する。
【００８３】
Ｓ４０８で「fls」から「ｆ０」までの間の区分を特異点として削除し、或いは、Ｓ４０７で上述の条件を満足しない場合はＳ４０９に進んで、「fls」から「ｆ０」までの間の区分の全てについて判定が完了したか否か判定する。
【００８４】
そして、Ｓ４０９で、「fls」から「ｆ０」までの間の区分の全てについて判定が未だ完了していない場合は、「fls」から「ｆ０」までの間の次の区分についてＳ４０７からの判定を実行し、「fls」から「ｆ０」までの間の区分の全てについて判定が完了している場合はＳ４１０に進み、０〜１２７の全１２８区分の対象とする区分の距離データzln[fls]について、処理を完了したか否か判定し、完了していればルーチンを抜け、完了していないのであれば次の区分について、再びＳ４０１からの処理を行う。
【００８５】
このように、本実施の形態によれば、４０ｍ以上の距離データでは、先行車両をレーザレーダで距離検出した場合、レーザレーダによる距離検出では、先行車両のリフレクタを主に検出するため、この点に着目し、レーザレーダによる距離データの間に存在する、不要、或いは、誤差が大きいと判断できる、より遠方の画像に基づく距離データを特異点として削除することにより、立体物の認識を精度良く速やかに行えるようにする。
【００８６】
上述の如く、Ｓ１０５で図８に示すグルーピングによる立体物の検出処理を行った後は、Ｓ１０６に進み、図１０に示す距離データの診断処理を行う。
【００８７】
図１０のフローチャートでは、まず、Ｓ５０１で舵角が−１０°〜１０°で、車両が略直線路を走行しているか否か判定され、舵角が−１０°〜１０°より大きい場合は、診断処理は行わず、そのままルーチンを抜ける。これは、画像による距離検出では、ガードレールや側壁を認識することができるが、レーザレーダによる距離検出では、レーザビームが傾いて照射されるため反射せず立体物を認識しづらいため、診断処理の結果が正確に得られない可能性があるためである。
【００８８】
Ｓ５０１の判定の結果、舵角が−１０°〜１０°で、車両が略直線路を走行している場合は、Ｓ５０２へと進み、立体物の判定対象の総数ｎ０、画像無し立体物数ｎ１、及び、レーザレーダ無し立体物数ｎ２の初期値を設定する。
【００８９】
そして、Ｓ５０３に進み、立体物が診断の対象とする立体物であるか否か判定する。これは、レーザレーダと画像の視野が重なる部分の立体物であり、且つ、距離４０〜７０ｍ前方に存在する、幅５０ｃｍ以上の立体物であるか否かの判定で行う。
【００９０】
Ｓ５０３の判定の結果、上述の条件を満足せず立体物が診断の対象とする立体物ではないと判定した場合はＳ５１０にジャンプし、その立体物は対象外と決定する。
【００９１】
一方、Ｓ５０３の判定の結果、立体物が診断の対象とする立体物である場合はＳ５０４へと進み、立体物の判定対象の総数ｎ０をカウントし（ｎ０＝ｎ０＋１）、Ｓ５０５に進んで、立体物を形成するグルーピングしたデータから、それに対応する画像距離データzln1（Ｓ２０２で保管したデータ）と、レーザ距離データzln2（Ｓ２０２で保管したデータ）を読み出す。
【００９２】
そして、Ｓ５０６に進み、その立体物に対応する画像距離データzln1が有り、且つ、その立体物に対応するレーザ距離データzln2が無いか判定し、この条件を満たす場合はＳ５０７に進んで、レーザレーダ無し立体物数ｎ２をカウントする（ｎ２＝ｎ２＋１）。
【００９３】
また、Ｓ５０６での判定条件を満たさない場合は、Ｓ５０８に進み、その立体物に対応する画像距離データzln1が無く、且つ、その立体物に対応するレーザ距離データzln2が有るか否か判定し、この条件を満たす場合はＳ５０９に進んで、画像無し立体物数ｎ１をカウントする（ｎ１＝ｎ１＋１）。
【００９４】
そして、Ｓ５０８の条件をも満足しない場合、すなわち、その立体物に対応する画像距離データzln1もレーザ距離データzln2も無い場合、或いは、その立体物に対応する画像距離データzln1もレーザ距離データzln2も有る場合はＳ５１０に進み、その立体物を診断対象外とする。
【００９５】
Ｓ５０７、Ｓ５０９、或いは、Ｓ５１０の処理を行った後は、Ｓ５１１に進み、全ての立体物について判定したか否か判定し、未だ全ての立体物に対して判定を終了していない場合はＳ５０３へと戻り、上述の処理を繰り返す。
【００９６】
全ての立体物について判定が終了している場合は、Ｓ５１１からＳ５１２へと進み、対象とする立体物の総数ｎ０と画像無し立体物数ｎ１とから画像の立体物不検出率を演算し（＝（ｎ１／ｎ０）・１００％）、レーザレーダの立体物不検出率を演算する（＝（ｎ２／ｎ０）・１００％）。
【００９７】
次いで、Ｓ５１３に進み、画像の立体物不検出率が、予め設定する検出率閾値ｋ６以上であれば、画像の能力判定タイマをインクリメントし、検出率閾値ｋ６未満であれば画像の能力判定タイマをデクリメントする。同様に、レーザレーダの立体物不検出率が、予め設定する検出率閾値ｋ５以上であれば、レーザレーダの能力判定タイマをインクリメントし、検出率閾値ｋ５未満であればレーザレーダの能力判定タイマをデクリメントする。
【００９８】
そして、Ｓ５１４に進み、画像の能力判定タイマの値が予め設定した出力閾値ｋ１を超えているか判定し、出力閾値ｋ１を超えている場合はＳ５１５に進んで、画像による測距能力低下と判定して検出状態表示ランプ８ｂを所定に点灯させる。また、Ｓ５１４で画像の能力判定タイマの値が予め設定した解除閾値ｋ２（＜ｋ１）以下となっている際にはＳ５１５に進んで検出状態表示ランプ８ｂの点灯を解除する。
【００９９】
また、Ｓ５１４に進むと、レーザレーダの能力判定タイマの値が予め設定した出力閾値ｋ３を超えているか判定し、出力閾値ｋ３を超えている場合はＳ５１５に進んで、レーザレーダによる測距能力低下と判定して検出状態表示ランプ８ｂを所定に点灯させる。また、Ｓ５１４でレーザレーダの能力判定タイマの値が予め設定した解除閾値ｋ４（＜ｋ３）以下となっている際にはＳ５１５に進んで検出状態表示ランプ８ｂの点灯を解除する。
【０１００】
このように、本実施の形態によれば、最終的に検出された立体物を対象として、これを検出する画像とレーザレーダのそれぞれの距離データがあるか否かで、画像とレーザレーダの測距能力の低下を判定するようになっているので、画像とレーザレーダの測距能力の低下を素早く正確に判定することが可能になっている。尚、本実施の形態では、診断の対象とする立体物に対して、単に、画像距離データzln1、或いは、レーザ距離データzln2が存在するか否かで診断するようになっているが、他の方法、例えば、診断の対象とする立体物と画像距離データzln1との差と、診断の対象とする立体物とレーザ距離データzln2との差を比較することでも簡単に診断できる。
【０１０１】
上述のＳ１０６の距離データ診断の処理を行った後は、Ｓ１０７に進み、衝突・接触警報制御を行う。すなわち、立体物検出処理部５ｄからの立体物情報や車速センサ６からの車速Ｖ等を基に、自車線と隣接する左右の車線上に存在する他の自動車や障害物等を抽出し、抽出した物体の位置と大きさ、位置の時間変化による自車両１との相対速度等から、自車両１との衝突の可能性や接触の可能性を判断し、その結果を必要に応じて、コンビネーションメータ８の衝突警報ランプ８ａを点灯させ警報を発する。
【０１０２】
【発明の効果】
以上説明したように本発明によれば、画像情報とレーザレーダ情報とを基に前方に存在する立体物の認識を、不必要な処理を行うことなく素早く正確に行うことが可能となる。
【図面の簡単な説明】
【図１】車外監視装置を備えた車両用運転支援装置の概略構成図
【図２】車両用運転支援装置の機能ブロック図
【図３】ＣＣＤカメラによる距離データ検出とレーザレーダによる距離データ検出の説明図
【図４】画像距離データの区分の説明図
【図５】削除する特異点の説明図
【図６】前方監視プログラムのフローチャート
【図７】画像距離データとレーザ距離データとの統合処理ルーチンのフローチャート
【図８】グルーピングによる立体物検出処理ルーチンのフローチャート
【図９】４０ｍ以上における特異点の削除処理ルーチンのフローチャート
【図１０】距離データ診断処理ルーチンのフローチャート
【符号の説明】
１ 自車両
２ 車両用運転支援装置
３ ＣＣＤカメラ
４ レーザ投光ユニット
５ コントローラ（車外監視装置）
５ａ 画像データ処理部（画像距離検出手段）
５ｂ レーザ測距データ処理部（レーザ距離検出手段）
５ｃ 距離データ統合部（立体物認識手段）
５ｄ 立体物検出処理部（立体物認識手段）
５ｅ 距離データ診断部
５ｆ 警報制御部
８ｂ 検出状態表示ランプ
Claims (1)
- 車両前方の画像情報を基に前方に存在する立体物と自車両との距離データを第１の距離データとして検出する画像距離検出手段と、
車両前方へのレーザレーダ情報を基に前方に存在する立体物と自車両との距離データを第２の距離データとして検出するレーザ距離検出手段と、
上記画像距離検出手段と上記レーザ距離検出手段のそれぞれの検出状態と上記第１の距離データと上記第２の距離データのそれぞれの値とに基づき、上記第１の距離データと上記第２の距離データを統合して最終的な距離データを作成し、該最終的な距離データに基づいて前方に存在する立体物を認識する立体物認識手段とを備えた車外監視装置であって、
上記立体物認識手段は、上記最終的な距離データの水平方向に存在する予め設定した距離以上の２つの距離データが、共に上記第２の距離データから取得したものであり、予め設定した幅以内の値で、且つ、距離値の差が予め設定した距離値以内の場合、上記２つの距離データの間に存在する該２つの距離データより所定以上遠方の上記第１の距離データから取得した距離データは無効として上記最終的な距離データから削除することを特徴とする車外監視装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001338094A JP3880837B2 (ja) | 2001-11-02 | 2001-11-02 | 車外監視装置 |
| EP02024447A EP1308752A3 (en) | 2001-11-02 | 2002-10-29 | Monitoring system of the outside of a vehicle and method therefore |
| US10/285,504 US6823261B2 (en) | 2001-11-02 | 2002-11-01 | Monitor system of vehicle outside and the method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001338094A JP3880837B2 (ja) | 2001-11-02 | 2001-11-02 | 車外監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003139858A JP2003139858A (ja) | 2003-05-14 |
| JP3880837B2 true JP3880837B2 (ja) | 2007-02-14 |
Family
ID=19152636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001338094A Expired - Fee Related JP3880837B2 (ja) | 2001-11-02 | 2001-11-02 | 車外監視装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6823261B2 (ja) |
| EP (1) | EP1308752A3 (ja) |
| JP (1) | JP3880837B2 (ja) |
Families Citing this family (118)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5910854A (en) | 1993-02-26 | 1999-06-08 | Donnelly Corporation | Electrochromic polymeric solid films, manufacturing electrochromic devices using such solid films, and processes for making such solid films and devices |
| US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
| US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
| US5668663A (en) | 1994-05-05 | 1997-09-16 | Donnelly Corporation | Electrochromic mirrors and devices |
| US6891563B2 (en) | 1996-05-22 | 2005-05-10 | Donnelly Corporation | Vehicular vision system |
| US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
| US8294975B2 (en) | 1997-08-25 | 2012-10-23 | Donnelly Corporation | Automotive rearview mirror assembly |
| US6326613B1 (en) | 1998-01-07 | 2001-12-04 | Donnelly Corporation | Vehicle interior mirror assembly adapted for containing a rain sensor |
| US6124886A (en) | 1997-08-25 | 2000-09-26 | Donnelly Corporation | Modular rearview mirror assembly |
| US6172613B1 (en) | 1998-02-18 | 2001-01-09 | Donnelly Corporation | Rearview mirror assembly incorporating vehicle information display |
| US6445287B1 (en) | 2000-02-28 | 2002-09-03 | Donnelly Corporation | Tire inflation assistance monitoring system |
| US8288711B2 (en) | 1998-01-07 | 2012-10-16 | Donnelly Corporation | Interior rearview mirror system with forwardly-viewing camera and a control |
| US6693517B2 (en) | 2000-04-21 | 2004-02-17 | Donnelly Corporation | Vehicle mirror assembly communicating wirelessly with vehicle accessories and occupants |
| US6477464B2 (en) | 2000-03-09 | 2002-11-05 | Donnelly Corporation | Complete mirror-based global-positioning system (GPS) navigation solution |
| US6329925B1 (en) | 1999-11-24 | 2001-12-11 | Donnelly Corporation | Rearview mirror assembly with added feature modular display |
| US7370983B2 (en) | 2000-03-02 | 2008-05-13 | Donnelly Corporation | Interior mirror assembly with display |
| WO2001064481A2 (en) | 2000-03-02 | 2001-09-07 | Donnelly Corporation | Video mirror systems incorporating an accessory module |
| US7167796B2 (en) | 2000-03-09 | 2007-01-23 | Donnelly Corporation | Vehicle navigation system for use with a telematics system |
| US7581859B2 (en) | 2005-09-14 | 2009-09-01 | Donnelly Corp. | Display device for exterior rearview mirror |
| US7255451B2 (en) | 2002-09-20 | 2007-08-14 | Donnelly Corporation | Electro-optic mirror cell |
| AU2002251807A1 (en) | 2001-01-23 | 2002-08-19 | Donnelly Corporation | Improved vehicular lighting system for a mirror assembly |
| WO2006124682A2 (en) | 2005-05-16 | 2006-11-23 | Donnelly Corporation | Vehicle mirror assembly with indicia at reflective element |
| JP2003121547A (ja) * | 2001-10-18 | 2003-04-23 | Fuji Heavy Ind Ltd | 車外監視装置 |
| WO2003093857A2 (en) | 2002-05-03 | 2003-11-13 | Donnelly Corporation | Object detection system for vehicle |
| US6918674B2 (en) | 2002-05-03 | 2005-07-19 | Donnelly Corporation | Vehicle rearview mirror system |
| AU2003237424A1 (en) | 2002-06-06 | 2003-12-22 | Donnelly Corporation | Interior rearview mirror system with compass |
| US7329013B2 (en) | 2002-06-06 | 2008-02-12 | Donnelly Corporation | Interior rearview mirror system with compass |
| JP4176430B2 (ja) * | 2002-09-18 | 2008-11-05 | 富士重工業株式会社 | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 |
| AU2003278863A1 (en) | 2002-09-20 | 2004-04-08 | Donnelly Corporation | Mirror reflective element assembly |
| US7310177B2 (en) | 2002-09-20 | 2007-12-18 | Donnelly Corporation | Electro-optic reflective element assembly |
| JP3998601B2 (ja) * | 2002-10-09 | 2007-10-31 | 富士通株式会社 | パルスレーダ装置 |
| JP3862015B2 (ja) * | 2002-10-25 | 2006-12-27 | オムロン株式会社 | 車載用レーダ装置 |
| US7289037B2 (en) | 2003-05-19 | 2007-10-30 | Donnelly Corporation | Mirror assembly for vehicle |
| JP4265931B2 (ja) * | 2003-05-22 | 2009-05-20 | 富士重工業株式会社 | 先行車両検出装置 |
| JP2005025692A (ja) * | 2003-07-04 | 2005-01-27 | Suzuki Motor Corp | 車両用情報提供装置 |
| US7046190B2 (en) * | 2003-07-25 | 2006-05-16 | Raytheon Company | Process for phase-derived range measurements |
| US6906663B2 (en) * | 2003-07-30 | 2005-06-14 | The Boeing Company | E-field monitor for pulsed signals |
| US20050024260A1 (en) * | 2003-07-30 | 2005-02-03 | Johnston Gary P. | E-field monitor for broadband pulsed |
| US6882302B1 (en) * | 2003-09-22 | 2005-04-19 | Rockwell Collins | Enhanced adaptive weather thresholds for identification of hazards system and method |
| US7446924B2 (en) | 2003-10-02 | 2008-11-04 | Donnelly Corporation | Mirror reflective element assembly including electronic component |
| US7038615B2 (en) * | 2003-10-10 | 2006-05-02 | Raytheon Company | Efficient technique for estimating elevation angle when using a broad beam for search in a radar |
| US6977610B2 (en) * | 2003-10-10 | 2005-12-20 | Raytheon Company | Multiple radar combining for increased range, radar sensitivity and angle accuracy |
| US7308341B2 (en) | 2003-10-14 | 2007-12-11 | Donnelly Corporation | Vehicle communication system |
| JP4763250B2 (ja) * | 2004-04-09 | 2011-08-31 | 株式会社デンソー | 物体検出装置 |
| US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
| US7561720B2 (en) * | 2004-04-30 | 2009-07-14 | Visteon Global Technologies, Inc. | Single camera system and method for range and lateral position measurement of a preceding vehicle |
| US7881496B2 (en) | 2004-09-30 | 2011-02-01 | Donnelly Corporation | Vision system for vehicle |
| ES2429572T3 (es) * | 2004-12-01 | 2013-11-15 | Zorg Industries (Hong Kong) Limited | Sistema integrado de vehículos para la prevención de colisiones a baja velocidad |
| DE102005002636A1 (de) * | 2005-01-12 | 2006-08-10 | Valeo Schalter Und Sensoren Gmbh | Verfahren und System zur Verarbeitung von Videodaten eines Kamerasystems |
| US7561721B2 (en) * | 2005-02-02 | 2009-07-14 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| WO2006123615A1 (ja) * | 2005-05-19 | 2006-11-23 | Olympus Corporation | 距離計測装置、距離計測方法および距離計測プログラム |
| US20070031008A1 (en) * | 2005-08-02 | 2007-02-08 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| US7706978B2 (en) * | 2005-09-02 | 2010-04-27 | Delphi Technologies, Inc. | Method for estimating unknown parameters for a vehicle object detection system |
| CN101535087B (zh) | 2005-11-01 | 2013-05-15 | 唐纳利公司 | 具有显示装置的内部后视镜 |
| DE102005056265A1 (de) | 2005-11-14 | 2007-05-16 | Pilz Gmbh & Co Kg | Vorrichtung und Verfahren zum Überwachen eines Raumbereichs, insbesondere zum Absichern eines Gefahrenbereichs einer automatisiert arbeitenden Anlage |
| US7623681B2 (en) * | 2005-12-07 | 2009-11-24 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| US8339526B2 (en) | 2006-03-09 | 2012-12-25 | Gentex Corporation | Vehicle rearview mirror assembly including a high intensity display |
| US7972045B2 (en) | 2006-08-11 | 2011-07-05 | Donnelly Corporation | Automatic headlamp control system |
| US20090005948A1 (en) * | 2007-06-28 | 2009-01-01 | Faroog Abdel-Kareem Ibrahim | Low speed follow operation and control strategy |
| JP2009047495A (ja) * | 2007-08-17 | 2009-03-05 | Fujifilm Corp | 立体撮像装置および立体撮像装置の制御方法並びにプログラム |
| JP2009047498A (ja) * | 2007-08-17 | 2009-03-05 | Fujifilm Corp | 立体撮像装置および立体撮像装置の制御方法並びにプログラム |
| JP5590774B2 (ja) * | 2008-03-28 | 2014-09-17 | トヨタ自動車株式会社 | 物体検出装置 |
| US8154418B2 (en) | 2008-03-31 | 2012-04-10 | Magna Mirrors Of America, Inc. | Interior rearview mirror system |
| JP4557041B2 (ja) * | 2008-04-18 | 2010-10-06 | 株式会社デンソー | 車両用画像処理装置 |
| JP5283967B2 (ja) * | 2008-05-14 | 2013-09-04 | 日立オートモティブシステムズ株式会社 | 車載用物体検知装置 |
| US8755997B2 (en) * | 2008-07-30 | 2014-06-17 | Honeywell International Inc. | Laser ranging process for road and obstacle detection in navigating an autonomous vehicle |
| US8452078B2 (en) * | 2008-10-15 | 2013-05-28 | Toyota Motor Engineering & Manufacturing North America | System and method for object recognition and classification using a three-dimensional system with adaptive feature detectors |
| US9487144B2 (en) | 2008-10-16 | 2016-11-08 | Magna Mirrors Of America, Inc. | Interior mirror assembly with display |
| US8364334B2 (en) * | 2008-10-30 | 2013-01-29 | Honeywell International Inc. | System and method for navigating an autonomous vehicle using laser detection and ranging |
| US8044781B2 (en) | 2008-11-10 | 2011-10-25 | Volkswagen Ag | System and method for displaying a 3D vehicle surrounding with adjustable point of view including a distance sensor |
| US8687898B2 (en) * | 2010-02-01 | 2014-04-01 | Toyota Motor Engineering & Manufacturing North America | System and method for object recognition based on three-dimensional adaptive feature detectors |
| DE102011010865A1 (de) * | 2011-02-10 | 2012-03-08 | Daimler Ag | Fahrzeug mit einer Vorrichtung zur Erfassung einer Fahrzeugumgebung |
| JP2012183867A (ja) * | 2011-03-03 | 2012-09-27 | Fuji Heavy Ind Ltd | 車両の運転支援装置 |
| JP5580233B2 (ja) * | 2011-03-22 | 2014-08-27 | 富士重工業株式会社 | 車外監視装置および車外監視方法 |
| US8799201B2 (en) | 2011-07-25 | 2014-08-05 | Toyota Motor Engineering & Manufacturing North America, Inc. | Method and system for tracking objects |
| US10457209B2 (en) | 2012-02-22 | 2019-10-29 | Magna Electronics Inc. | Vehicle vision system with multi-paned view |
| US9319637B2 (en) | 2012-03-27 | 2016-04-19 | Magna Electronics Inc. | Vehicle vision system with lens pollution detection |
| US8879139B2 (en) | 2012-04-24 | 2014-11-04 | Gentex Corporation | Display mirror assembly |
| US9707896B2 (en) | 2012-10-15 | 2017-07-18 | Magna Electronics Inc. | Vehicle camera lens dirt protection via air flow |
| JP2014145731A (ja) * | 2013-01-30 | 2014-08-14 | Toyota Motor Corp | 物標検出装置及び物標検出方法 |
| US9445057B2 (en) | 2013-02-20 | 2016-09-13 | Magna Electronics Inc. | Vehicle vision system with dirt detection |
| JP6403750B2 (ja) | 2013-03-15 | 2018-10-10 | ジェンテックス コーポレイション | 表示ミラーアセンブリ |
| JP6197388B2 (ja) * | 2013-06-11 | 2017-09-20 | 富士通株式会社 | 距離測定装置、距離測定方法、およびプログラム |
| CN105555612B (zh) | 2013-09-24 | 2018-06-01 | 金泰克斯公司 | 显示镜组件 |
| US9835642B2 (en) * | 2013-11-08 | 2017-12-05 | The Johns Hopkins University | High speed image processing device |
| US9511715B2 (en) | 2014-01-31 | 2016-12-06 | Gentex Corporation | Backlighting assembly for display for reducing cross-hatching |
| CN106061794B (zh) | 2014-03-21 | 2019-06-07 | 金泰克斯公司 | 三态显示镜组件 |
| KR101894262B1 (ko) | 2014-04-01 | 2018-09-04 | 젠텍스 코포레이션 | 자동 디스플레이 미러 어셈블리 |
| WO2016044746A1 (en) | 2014-09-19 | 2016-03-24 | Gentex Corporation | Rearview assembly |
| JP6505839B2 (ja) | 2014-11-07 | 2019-04-24 | ジェンテックス コーポレイション | 全画面表示ミラーアクチュエータ |
| US10071689B2 (en) | 2014-11-13 | 2018-09-11 | Gentex Corporation | Rearview mirror system with a display |
| US10131279B2 (en) | 2014-12-03 | 2018-11-20 | Gentex Corporation | Display mirror assembly with an RF shield bezel |
| USD746744S1 (en) | 2014-12-05 | 2016-01-05 | Gentex Corporation | Rearview device |
| US9744907B2 (en) | 2014-12-29 | 2017-08-29 | Gentex Corporation | Vehicle vision system having adjustable displayed field of view |
| US9720278B2 (en) | 2015-01-22 | 2017-08-01 | Gentex Corporation | Low cost optical film stack |
| KR102050326B1 (ko) | 2015-04-20 | 2019-11-29 | 젠텍스 코포레이션 | 어플리케를 갖춘 후면뷰 조립체 |
| EP3297870B1 (en) | 2015-05-18 | 2020-02-05 | Gentex Corporation | Full display rearview device |
| WO2016209877A1 (en) | 2015-06-22 | 2016-12-29 | Gentex Corporation | System and method for processing streamed video images to correct for flicker of amplitude-modulated lights |
| CN104931956B (zh) * | 2015-06-29 | 2017-04-05 | 中国船舶重工集团公司第七二四研究所 | 一种基于圆概率误差加权的多雷达分组协同定位处理方法 |
| USD798207S1 (en) | 2015-10-30 | 2017-09-26 | Gentex Corporation | Rearview mirror assembly |
| USD797627S1 (en) | 2015-10-30 | 2017-09-19 | Gentex Corporation | Rearview mirror device |
| CN108349436B (zh) | 2015-10-30 | 2019-12-20 | 金泰克斯公司 | 后视装置 |
| EP3368374B1 (en) | 2015-10-30 | 2023-12-27 | Gentex Corporation | Toggle paddle |
| USD800618S1 (en) | 2015-11-02 | 2017-10-24 | Gentex Corporation | Toggle paddle for a rear view device |
| USD845851S1 (en) | 2016-03-31 | 2019-04-16 | Gentex Corporation | Rearview device |
| USD817238S1 (en) | 2016-04-29 | 2018-05-08 | Gentex Corporation | Rearview device |
| US10025138B2 (en) | 2016-06-06 | 2018-07-17 | Gentex Corporation | Illuminating display with light gathering structure |
| CN106249251B (zh) * | 2016-08-31 | 2019-08-30 | 深圳市速腾聚创科技有限公司 | 三维激光雷达系统 |
| USD809984S1 (en) | 2016-12-07 | 2018-02-13 | Gentex Corporation | Rearview assembly |
| USD854473S1 (en) | 2016-12-16 | 2019-07-23 | Gentex Corporation | Rearview assembly |
| JP2020505802A (ja) | 2016-12-30 | 2020-02-20 | ジェンテックス コーポレイション | オンデマンドスポッタービューを備えた全画面表示ミラー |
| CN110312641A (zh) | 2017-03-17 | 2019-10-08 | 金泰克斯公司 | 双显示倒车摄像系统 |
| KR102050632B1 (ko) * | 2017-08-02 | 2019-12-03 | 주식회사 에스오에스랩 | 다채널 라이다 센서 모듈 |
| DE102018122263B4 (de) * | 2018-09-12 | 2021-03-18 | Sick Ag | Autonomes Fahrzeug |
| JP7298350B2 (ja) * | 2019-07-08 | 2023-06-27 | 株式会社リコー | 測距装置、情報処理装置、測距方法、車載装置、移動体、測距システム |
| CN113496491B (zh) * | 2020-03-19 | 2023-12-15 | 广州汽车集团股份有限公司 | 一种基于多线激光雷达的路面分割方法及装置 |
| CN111694010B (zh) * | 2020-05-27 | 2022-03-25 | 东南大学 | 一种基于视觉与激光雷达融合的路侧车辆识别方法 |
| EP4388243A4 (en) | 2021-08-20 | 2024-12-04 | Gentex Corporation | LIGHTING ASSEMBLY AND LIGHTING SYSTEM HAVING A LIGHTING ASSEMBLY |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05265547A (ja) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
| JP3263699B2 (ja) * | 1992-12-22 | 2002-03-04 | 三菱電機株式会社 | 走行環境監視装置 |
| JPH06221815A (ja) * | 1993-01-25 | 1994-08-12 | Daihatsu Motor Co Ltd | スキャンレーザレーダによる先行車両認識方法 |
| JP3367170B2 (ja) * | 1993-11-05 | 2003-01-14 | 株式会社豊田中央研究所 | 障害物検出装置 |
| JP3212218B2 (ja) * | 1994-05-26 | 2001-09-25 | 三菱電機株式会社 | 車両用障害物検出装置 |
| JP3401913B2 (ja) * | 1994-05-26 | 2003-04-28 | 株式会社デンソー | 車両用障害物認識装置 |
| JP3240835B2 (ja) * | 1994-06-09 | 2001-12-25 | 株式会社日立製作所 | 車両用距離計測装置 |
| JP3866328B2 (ja) * | 1996-06-06 | 2007-01-10 | 富士重工業株式会社 | 車両周辺立体物認識装置 |
| JP3805832B2 (ja) * | 1996-07-10 | 2006-08-09 | 富士重工業株式会社 | 車両用運転支援装置 |
| JP3866349B2 (ja) * | 1996-12-27 | 2007-01-10 | 富士重工業株式会社 | 車両の衝突防止装置 |
| JP3337197B2 (ja) * | 1997-04-04 | 2002-10-21 | 富士重工業株式会社 | 車外監視装置 |
| JP3669205B2 (ja) * | 1999-05-17 | 2005-07-06 | 日産自動車株式会社 | 障害物認識装置 |
| JP2003121547A (ja) * | 2001-10-18 | 2003-04-23 | Fuji Heavy Ind Ltd | 車外監視装置 |
| JP3880841B2 (ja) * | 2001-11-15 | 2007-02-14 | 富士重工業株式会社 | 車外監視装置 |
-
2001
- 2001-11-02 JP JP2001338094A patent/JP3880837B2/ja not_active Expired - Fee Related
-
2002
- 2002-10-29 EP EP02024447A patent/EP1308752A3/en not_active Withdrawn
- 2002-11-01 US US10/285,504 patent/US6823261B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6823261B2 (en) | 2004-11-23 |
| EP1308752A3 (en) | 2003-11-26 |
| JP2003139858A (ja) | 2003-05-14 |
| US20030088361A1 (en) | 2003-05-08 |
| EP1308752A2 (en) | 2003-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3880837B2 (ja) | 車外監視装置 | |
| JP3880841B2 (ja) | 車外監視装置 | |
| JP2003121547A (ja) | 車外監視装置 | |
| JP3349060B2 (ja) | 車外監視装置 | |
| US6990216B2 (en) | Method and apparatus for estimating inter-vehicle distance using radar and camera | |
| CN107207008B (zh) | 车辆控制装置以及车辆控制方法 | |
| JP7119720B2 (ja) | 運転支援装置 | |
| JP6208260B2 (ja) | 物体認識装置 | |
| KR20170114054A (ko) | 충돌방지장치 및 충돌방지방법 | |
| CN109689459B (zh) | 车辆的行驶控制方法及行驶控制装置 | |
| JP4721278B2 (ja) | 車線逸脱判定装置、車線逸脱防止装置および車線追従支援装置 | |
| CN202574099U (zh) | 车辆的防碰撞装置 | |
| JP6414539B2 (ja) | 物体検出装置 | |
| JP4872517B2 (ja) | 障害物認識装置 | |
| JP2006047057A (ja) | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 | |
| JP4864450B2 (ja) | 車両の運転支援装置 | |
| JP4703963B2 (ja) | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 | |
| JP4376147B2 (ja) | 障害物認識方法及び障害物認識装置 | |
| JPH05113482A (ja) | 車載用追突防止装置 | |
| CN202641689U (zh) | 车外监视装置及具有该车外监视装置的行驶控制装置 | |
| JP2007240316A (ja) | 車載測距装置 | |
| JP4113628B2 (ja) | 車両の表示装置 | |
| CN117719515B (zh) | 一种车道偏离预警方法及其系统 | |
| US20240199059A1 (en) | Object detection device, object detection method, and object detection program | |
| JP2005050089A (ja) | 車両用相対速度演算装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041101 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060403 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060808 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060928 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061031 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061108 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3880837 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091117 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101117 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111117 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121117 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121117 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131117 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |