JP2019504986A - 自動車用視覚システム及び視覚システムを制御する方法 - Google Patents

Abstract

ステレオ撮像手段１１を形成する一対の撮像装置１２ａ、１２ｂと、この撮像手段１１によって取り込まれた画像から自動車の周囲の物体を検出するように適合された物体検出器１５、この物体検出器１５によって検出された物体を経時的に追跡するように適合された追跡器１６を確立するデータ処理装置１４とを備え、このデータ処理装置１４は、検出され追跡された物体のサイズ関連値及び視差関連値を計算するように適合されている、自動車用視覚システム１０であって、上記データ処理装置１４は、異なる時点に対応する追跡された物体の少なくとも５つのデータ点のグループに対して分析を行うように適合された分析部２０を備え、各データ点は、検出された物体のサイズ関連値及び対応する視差関連値を含み、上記分析は、少なくとも１つの変数を有する所定の回帰関数を用いる回帰分析であり、この回帰分析は、データ点のグループに対する前帰関数の最良一致に対応する変数ごとに最良値をもたらし、上記分析部２０は、上記少なくとも１つの最良値から、上記視差関連値における及び／又は上記サイズ関連値における系統誤差を計算するように適合されることを特徴とする、視覚システム。【選択図】図１

Description

本発明は、自動車用視覚システムに関し、この視覚システムは、ステレオ撮像手段を形成する一対の撮像装置と、この撮像手段によって取り込まれた画像において物体を検出するように適合された物体検出器、この物体検出器によって検出された物体を経時的に追跡するように適合された追跡器を確立するデータ処理装置とを備え、このデータ処理装置は、検出され追跡された物体のサイズ関連値及び視差関連値を計算するように適合されている。本発明はまた、視覚システムを制御する方法に関する。

ステレオカメラシステムの左カメラと右カメラとの間の、ヨー角としても知られるスクイント角は、高精度で求められなければならず、それは、この角度の誤差により、ステレオ計算において大きい距離推定誤差がもたらされるためである。距離の誤差は、距離の二乗に比例して増大する。例えば、１６０ｍｍ基線長ステレオカメラの場合、０．０１度程度に低いスクイント角誤差により、１００ｍの距離で約１０ｍの距離推定誤差が生じる。自動車用ステレオカメラの場合、自動車システムの熱的変化及び長い寿命により、車両寿命にわたってスクイント角が一定とはならない。したがって、スクイント角誤差を推定するオンライン解決法が必要である。

基準値としてレーダー又はライダー距離情報を用いてスクイント角誤差を推定することが知られているが、それには、レーダー又はライダー基準システムが必要である。

特許文献１は、走行距離計データから求められる基準走行距離を画像処理によって求められる立体走行距離と比較することから、自動車における２つのステレオカメラの間のスクイント角を較正する方法について記載している。しかしながら、基準走行距離を計算するために必要な外部走行距離計データは、スクイント角誤差を求めるための更なる系統的な不確実性の原因となる。

特許文献２は、車載物体検出システムのステレオカメラのアライメントを行う方法を開示しており、そこでは、２つの異なる時点における各カメラからの画像を用いて、車両に対する、交通標識のような静止物体の観測される変位が求められる。車両に対する物体の予測された変位もまた、例えば、２つの異なる時点で撮影された画像における物体のサイズの差を用いて求められる。観測された変位及び予測された変位の差に基づいて三角測量補正を求めることを用いて、カメラのミスアライメントが補正される。

独国特許出願公開第１０２０１２００９５７７号 米国特許出願公開第２０１４／０１６８３７７号

本発明の目的は、自動車の運転中にステレオカメラ間のスクイント角誤差を正確に求めることを可能にする、視覚システム及び視覚システムを制御する方法を提供することである。

本発明は、この問題を、独立請求項の特徴によって解決する。本発明によれば、異なる時点に対応する追跡された物体の少なくとも５つのデータ点のグループに対して、少なくとも１つの変数を有する所定の回帰関数を用いる回帰分析が行われる。本明細書では、各データ点は、検出された物体のサイズ関連値と、対応する、すなわち同時点の、視差関連値とを含む。回帰分析は、データ点のグループに対する回帰関数の最良一致又は最良適合に対応する変数ごとに最良値をもたらす。上記視差関連値における及び／又は上記サイズ関連値における系統誤差は、少なくとも１つの最良値から計算される。この系統誤差は、外部走行距離計データ、自車速度又はレーダー若しくはライダー情報のような外部情報に対するいかなる参照もなしに、撮像手段によって撮影された画像データのみから導出される、スクイント角誤差のための基準を提供することができる。

本発明は、経時的に追跡される画像における物体からのサイズ情報を使用する。物体のサイズ情報を対応する物体の計算されたステレオ情報（視差又は視差関連情報）とともに用いて、スクイント角誤差、又は明白にそれに関連する系統誤差を推定する。

スクイント角誤差の値が明確に必要とされる場合、スクイント角誤差への、視差関連値及び／又はサイズ関連値における求められた系統誤差は、撮像システムの既知の光学パラメーターを用いてスクイント角誤差に容易に変換することができる。

例えば、米国特許出願公開第２０１０／０１６８３７７号に記載されている従来技術と比較すると、本発明は、スクイント又はヨー角誤差のはるかにより正確な基準をもたらし、それは、本発明は、２つのデータ点のみではなく、少なくとも５つのデータ点、好ましくは少なくとも１０個のデータ点に基づくためである。

さらに、本発明は、静止物体の調査に限定されない。好ましくは、上記回帰分析に使用される追跡された物体は、走行中の車両、特に対向車とすることができる別の車両である。回帰分析では、車両以外の物体を使用することができる。

好ましくは、回帰分析は、線形回帰分析である。好ましい実施形態では、回帰関数は直線である。本明細書では、以下の要素が有利に使用される。１）完全スクイント角（ゼロスクイント角誤差）では、物体の幅及び視差は無限の距離でともにゼロである。２）完全スクイント角では、距離が半分になると幅は２倍になる。特に、視差関連値が視差値であり、サイズ関連値がサイズ値である場合、理想的な関係は直線である。この場合、視差関連値及び／又はサイズ関連値における系統誤差は、原点、すなわちゼロ視差及びゼロサイズに対する回帰関数のオフセットとして容易に求めることができる。

好ましくは、回帰分析は、段階的に行われ、すなわち、回帰関数の第１の変数の最良値を得て、次いで、回帰関数の第２の変数の最良値を得て、以下同様に続く。これは、自動車における限られた処理能力を考慮すると計算的に要求が厳し過ぎる可能性がある、多変量回帰において全ての変数に対する回帰分析を同時に行うより、効果的である可能性がある。

特に、回帰関数が直線である場合、回帰分析は、好ましくは、直線回帰関数の最良の傾きを得る第１の回帰ステップと、傾きを第１の回帰ステップで確立された最良の傾きに固定されたままにしながら、直線回帰関数の最良のオフセットを得る第２の回帰ステップとを含む。

直線の傾きは追跡された物体の絶対サイズによって決まるため、追跡された物体の絶対サイズが、他の情報源から、例えば、車間通信を通して又は画像処理から既知である場合、有利には、直線回帰関数の最良の傾きを得るステップを不要にすることができる。その場合、回帰分析は、好ましくは、直線回帰関数の最良のオフセットを得るコスト削減の単変量回帰分析になる。

回帰分析で使用されるデータ点は、好ましくは、少なくとも３０ｍ、より好ましくは少なくとも５０ｍ、更により好ましくは少なくとも７０ｍの距離範囲に対応する範囲にわたる。概して、系統誤差を求める際の精度は、回帰分析に考慮されたデータ点の距離範囲が広いほど高くなる可能性がある。それにも関わらず、好ましくは、有利には、５ｍ〜３５ｍ、好ましくは１０ｍ〜３０ｍ、より好ましくは１５ｍ〜２５ｍの範囲、例えば２０ｍである可能性がある、所定値未満の物体距離に対応するデータ点は、上記回帰分析では破棄することができ、それは、追跡された物体に対して相対的に近い距離に対応するデータ点は、スクイント角誤差による偏差より優勢である他の原因の偏差の増大を示すためである。

好ましい実施形態では、視差関連値は視差値である。別の実施形態では、視差関連値は、例えば、距離値とすることができる。好ましくは、サイズ関連値は、物体サイズ、特に物体幅である。別の実施形態では、サイズ関連値は、例えば、物体高さとすることができる。

好ましくは、幾つかの追跡車両からの回帰結果は結合され、より安定しかつ正確な系統誤差値をもたらす。

以下、本発明について、添付図面を参照して好ましい実施形態に基づいて例示する。

自動車における視覚システムの概略図である。 発明の第１の実施形態における回帰分析を例示する幅に対する視差の図である。 発明の第２の実施形態における回帰分析を例示する幅に対する距離の図である。

視覚システム１０は、自動車に搭載され、自動車を包囲する領域、例えば、自動車の正面の領域の画像を収集する撮像手段１１を備える。撮像手段１１は、ステレオ撮像手段１１を形成しかつ可視光線及び／又は赤外線波長範囲で動作する２つの光学撮像装置１２ａ、１２ｂ、特にカメラを備え、赤外線は、５ミクロン未満の波長の近赤外線及び／又は５ミクロンを超える波長の遠赤外線を包含する。

撮像手段１１は、撮像手段１１から受け取られる画像データをデータ処理するデータ処理装置１４に結合されている。データ処理装置１４は、有利には、本技術分野において本質的に既知である前処理部１３を備え、前処理部１３は、撮像手段１１による画像の取込みを制御し、撮像手段１１から画像情報を含む電気信号を受け取り、左／右画像の対をゆがめてアライメントを行い、及び／又は視差画像を作成するように適合される。画像前処理部１３は、専用ハードウェア回路、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）によって具現化することができる。代替的に、前処理部１３又はその機能の一部は、マイクロプロセッサにおいて具現化することができる。

データ処理装置１４では、対応するソフトウェアにより、更なる画像及びデータ処理が実行される。特に、データ処理装置１４は、歩行者、他の車両、自転車に乗る人及び／又は大型動物等、自動車の正面におけるあり得る物体を特定し好ましくは分類も行うように適合された物体検出部１５と、物体検出部１５によって特定された記録画像における物体候補の位置を経時的に追跡するように適合された追跡部１６と、追跡された物体の衝突可能性を推定し、かつ推定された衝突可能性に応じて、少なくとも１つの運転者支援装置１８、１９を作動させるか又は制御するように適合された推定及び判断部１７とを備える。運転者支援装置１８は、特に、検出された物体に関する情報を表示する表示装置１８を備えることができる。しかしながら、本発明は、表示装置１８に限定されない。運転者支援装置１８、１９は、さらに又は代替的に、好適な光学的、音響的及び／又は触覚的な警告信号によって運転者に衝突警告を提供するように適合された警告手段、乗員エアバッグ又は安全ベルトテンショナー、歩行者エアバッグ、フードリフター等の１つ以上の拘束システム、及び／又はブレーキ若しくはステアリング手段等の力学的車両制御システムを含むことができる。データ処理装置１４は、メモリデバイス２５にアクセスすることができる。

データ処理装置１４は、好ましくは、プログラムされるか又はプログラム可能であり、好都合には、マイクロプロセッサ、マイクロコントローラー又はデジタル信号プロセッサ（ＤＳＰ）を備える、デジタルデバイスである。データ処理装置１４及びメモリデバイス２５は、好ましくは、車載電子制御ユニット（ＥＣＵ）として具現化され、別個のケーブル又は車両データバスを介して撮像手段１１に接続することができる。別の実施形態では、ＥＣＵ及び撮像装置１２のうちの１つ以上は、単一ユニットに一体化することができ、そこでは、ＥＣＵ及び全ての撮像装置１２を含むワンボックス型ソリューションが好ましい可能性がある。撮像、画像前処理、画像処理から、運転者支援装置１８のあり得る作動又は制御、及び／又は回帰分析までの全てのステップは、運転中リアルタイムに、自動的にかつ連続的に行われる。

本発明によれば、データ処理装置１４は、分析部２０を備える。以下では、分析部２０で実行される回帰分析について詳細に説明する。

回帰分析を実行するために、分析部２０は、少なくとも５つ、好ましくは少なくとも１０個、より好ましくは少なくとも２０個、更により好ましくは少なくとも３０個のデータ点を必要とする。本明細書では、各データ点は、物体検出部１５によって検出されかつ追跡部１６によって追跡される全く同一の物体の異なる画像、又は画像フレームから抽出されている。回帰分析に使用される物体は、好ましくは、他の（対向及び／又は先行）自動車である。各データ点は、好ましくは、２つの関連する値（２つ又は二つ組）、すなわち、視差関連値及び対応するサイズ関連値からなり、データ点の両方の値は、全く同一の画像フレームから計算される。検出され追跡される物体のデータ点は、分析部２０によって後に使用するためにメモリ２５に格納することができる。

好ましい実施形態における回帰分析の実際的な例を図２に示す。ここでは、撮像手段によって撮影された画像において物体検出部１５によって検出された５つの異なる車両（ＩＤ６７、ＩＤ１７８、ＩＤ１９０、ＩＤ１９８、ＩＤ２１６）の複数のデータ点を示す。この実施形態では、視差関連値は、検出された他の車両の視差であり、サイズ関連値は、検出された他の車両の幅である。検出された他の車両の幅（一般に、サイズ）及び視差を求める画像処理方法は、当業者には既知であり、本明細書では記載しない。概して、例えば物体検出部１５において、各画像に対し、ピクセルでの物体幅が求められ、例えば前処理部１３において、ステレオ計算から対応する視差値が得られる。この応用では、視差は、通常通り、ピクセルでの焦点距離とステレオ撮像手段の基線長とを乗算して物体までの距離で除算した値として定義される。

図２に示す図では、ｘ軸は、他の車両の幅ｗをピクセルで示し、ｙ軸は、他の車両の視差ｄをピクセルで示す。図２に示すデータ点及び線のグラフ表現は、単によりよく理解されるためのものであり、車両の車載視覚システム１０では、データ点自体のみが格納され処理される、ということが理解されるべきである。

図２では、５つの異なる検出され追跡された他の車両に対するデータ点が示されている。ＩＤ１７８の車両では、約１００ｍの距離に対応する２０ピクセルの車両幅の周囲の数個のデータ点のみが入手可能である。ＩＤ６７、ＩＤ１９８、ＩＤ２１６の車両では、約３５ｍ〜１００ｍの車両距離に対応する、２０ピクセル〜５０ピクセルの幅範囲で、複数のデータ点が入手可能である。以下の回帰分析では、ＩＤ６７、ＩＤ１７８、ＩＤ１９８、ＩＤ２１６の車両のデータ点は破棄される。

ＩＤ１９０の他の車両のデータ点は、２０ｍ〜１００ｍの距離範囲に少なくとも１０個の値を含み、約１５ｍ〜約１００ｍ、すなわち、７０ｍを超える車両距離に対応する、２０ピクセル〜１３０ピクセルの幅範囲にわたる。上記基準及び／又は他の適した基準のうちの１つ以上に基づいて、分析部２０は、ＩＤ１９０の車両のデータセットを回帰分析に適しているものとして判断する。

回帰関数の当てはめを開始する前に、検出され追跡された物体の入手可能なデータ点全てのサブセットを選択することができ、それにより、所定閾値未満の物体距離、又は所定閾値を超える物体幅に対応するデータ点が破棄される。本場合では、８０ピクセルを超える物体幅又は２０ｍ未満の物体距離に対応するデータ点が破棄され、それは、幅の広い領域におけるデータ点は、スクイント角誤差以外の理由で大きい変動を示すことが示されているためである。

回帰分析は、ＩＤ１９０の車両のデータ点に直線を当てはめることを含む。直線は、２つの変数、すなわち、傾き及びオフセットによって求められるため、これは、２つの変数に対する最良値を同時にもたらす２変量回帰分析によって行うことができる。しかしながら、好ましくは、回帰分析は、幾つかの単変量回帰ステップで行われ、そこでは、各回帰ステップが変数に対する１つの最良値をもたらし、すなわち、パラメーターに対する最良値は、交互に得られる。

本場合では、特に、回帰分析は、好ましくは、直線回帰関数の最良の傾きを得る第１の回帰ステップと、傾きを第１の回帰ステップで確立された最良の傾きに固定されたままにしながら、上記直線回帰関数の最良のオフセットを得る第２の回帰ステップとを含む。

直線回帰関数の最良の傾きを得る第１の回帰ステップは、任意の適した方法で行うことができる。好ましい実施形態では、データ点の対を直線によって接続し、これらの直線の個々の傾きの平均値又は中央値を、回帰直線の傾きに対する最良の値として取得する。

第２のステップでは、傾きが第１のステップからの最良の値に固定された直線を、費用関数、例えば、二乗誤差が最小になるまで、データ点に沿ってシフトさせる。第２のステップに対して、好ましくは、第１のステップで使用されたデータ点のサブセットを選択することができ、それにより、所定閾値を超える幅を有するデータ点が好ましくは破棄される。本場合では、第２のステップで、３５ｍ未満の距離に対応する５０ピクセルを超える幅を有するデータ点が破棄される。

結果としての最良適合直線回帰関数２１を、図２の図に示す。最良適合直線回帰関数２１が、ｙ＝ａ・ｘ＋ｂとして表される場合、最良適合回帰関数のｙオフセットｂは、最良適合直線回帰関数２１のｙ軸との交点の原点（０，０）までの距離に対応する。車載視覚システム１０では、オフセットｂは、上述したようにグラフによって求められず、回帰分析から直接取得されることが理解されるべきである。

求められたオフセットｂは、スクイント角誤差の基準である。分析部２０は、系統視差誤差ｂを度、光点又は他の任意の適した単位でスクイント角誤差に変換することができるが、これは必須ではなく、それは、視差誤差ｂを直接処理することが可能であるためである。

好ましくは、１つの車両（ここでは、ＩＤ１９０）のみの回帰分析からの系統誤差値ｂが使用されるのではなく、誤差判断の安定性及び精度を上昇させるために、好ましくは、いくつかの追跡車両からの回帰結果が経時的に、例えばフィルターを用いて結合される。

求められた視差誤差ｂに基づいて、データ処理装置１４によって、適した動作を行うことができる。特に、求められた視差誤差ｂ、又はそこから導出されるスクイント角誤差は、前処理部１３において、スクイント角誤差に対して撮像手段１１からの画像データを補正するために使用することができる。求められた視差誤差ｂの他の応用が可能である。

視差誤差ｂ以外の値もまた、スクイント角誤差の基準を提供する。例えば、図２に示す例では、最良適合直線回帰関数２１のｘ軸との交差点の絶対距離により、幅誤差ｂ／ａがもたらされ、ｂの代わりにそれを考慮することができる。概して、スクイント角誤差に明白に関連する任意の誤差値を使用することができる。

物体幅の代わりに、他の物体サイズ関連値、例えば、物体高さ、物体面積又は物体面積の累乗根を用いることができる。

図３に示す図では、ｘ軸は、他の車両の幅ｗをピクセルで示し、ｙ軸は、他の車両の距離Ｄをメートルで示す。これは、本発明の視差関連値が視差でなくてもよく、例えば距離Ｄのように、検出された物体の視差に明白に関連する任意の大きさとすることができることを例証している。図３から、距離対幅の関数関係は直線ではないことが明らかである。したがって、図３の実施形態では、回帰分析において、双曲線関数ｙ＝１／（ａ・ｘ＋ｂ）のような適切な回帰関数２２が使用され、ここで、ｂはスクイント角誤差の基準である。

スクイント角誤差に加えて、回帰分析は、使用されるデータ点の数、平均車両幅等のような１つ以上の異なる重み関数に基づいて、スクイント角誤差に対する信頼値ももたらすことができる。

Claims (15)

1. ステレオ撮像手段（１１）を形成する一対の撮像装置（１２ａ、１２ｂ）と、該撮像手段（１１）によって取り込まれた画像から自動車の周囲の物体を検出するように適合された物体検出器（１５）と、該物体検出器（１５）によって検出された前記物体を経時的に追跡するように適合された追跡器（１６）を確立するデータ処理装置（１４）とを備え、該データ処理装置（１４）は、前記検出され追跡された物体のサイズ関連値及び視差関連値を計算するように適合されている、前記自動車用視覚システム（１０）であって、
   前記データ処理装置（１４）は、異なる時点に対応する前記追跡された物体の少なくとも５つのデータ点のグループに対して分析を行うように適合された分析部（２０）を備え、
   各データ点は、前記検出された物体のサイズ関連値及び対応する視差関連値を含み、
   前記分析は、少なくとも１つの変数を有する所定の回帰関数を用いる回帰分析であり、該回帰分析は、前記データ点のグループに対する前記回帰関数の最良一致に対応する変数ごとに最良値をもたらし、
   前記分析部（２０）は、前記少なくとも１つの最良値から、前記視差関連値における及び／又は前記サイズ関連値における系統誤差を計算するように適合されていることを特徴とする、視覚システム。
2. 前記視差関連値は、視差値であることを特徴とする、請求項１に記載の視覚システム。
3. 前記視差関連値は、距離値であることを特徴とする、請求項１又は２に記載の視覚システム。
4. 前記サイズ関連値は、物体サイズ、特に物体幅であることを特徴とする、請求項１〜３のいずれか一項に記載の視覚システム。
5. 前記回帰分析は、線形回帰分析であることを特徴とする、請求項１〜４のいずれか一項に記載の視覚システム。
6. 前記回帰関数は、直線（２１）であることを特徴とする、請求項５に記載の視覚システム。
7. 前記回帰分析は、前記直線（２１）回帰関数の最良の傾きを得る第１の回帰ステップと、該傾きを該第１の回帰ステップで確立された前記最良の傾きに固定されたままにしながら、前記直線（２１）回帰関数の最良のオフセットｂを得る第２の回帰ステップとを含むことを特徴とする、請求項６に記載の視覚システム。
8. 前記視差関連値における前記誤差は、前記回帰関数の視差オフセットｂとして計算されることを特徴とする、請求項１〜７のいずれか一項に記載の視覚システム。
9. 前記回帰分析において、異なる時点における前記同じ追跡された物体の少なくとも１０個のデータ点が使用されることを特徴とする、請求項１〜８のいずれか一項に記載の視覚システム。
10. 前記回帰分析において使用される前記追跡された物体は、別の車両であることを特徴とする、請求項１〜９のいずれか一項に記載の視覚システム。
11. 前記回帰分析で使用される前記データ点は、少なくとも３０ｍの距離範囲にわたり、及び／又は２０ｍ〜１００ｍの距離範囲における少なくとも１０個の値を含むことを特徴とする、請求項１〜１０のいずれか一項に記載の視覚システム。
12. 前記回帰分析において、所定値未満の物体距離に対応するデータ点は破棄されることを特徴とする、請求項１〜１１のいずれか一項に記載の視覚システム。
13. 前記データ処理装置（１４）は、前記視差関連値及び／又は前記サイズ関連値における前記系統誤差をスクイント角誤差に変換するように適合されていることを特徴とする、請求項１〜１２のいずれか一項に記載の視覚システム。
14. 幾つかの追跡された車両からの前記回帰分析結果は、結合されて、より正確な系統誤差をもたらすことを特徴とする、請求項１〜１３のいずれか一項に記載の視覚システム。
15. 一対の撮像装置（１２ａ、１２ｂ）を有するステレオ撮像手段（１１）によって取り込まれた画像から、自動車の周囲の物体を検出することと、該検出された物体を経時的に追跡することと、該検出され追跡された物体のサイズ関連値及び視差関連値を計算することとを含む、前記自動車用視覚システム（１０）を制御する方法であって、
    異なる時点に対応する前記追跡された物体の少なくとも５つのデータ点のグループに対して分析を行うことであって、
    各データ点は、前記検出された物体のサイズ関連値及び対応する視差関連値を含み、
    前記分析は、少なくとも１つの変数を有する所定の回帰関数を用いる回帰分析であり、
    前記回帰分析は、前記データ点のグループに対する前記回帰関数の最良一致に対応する変数ごとに最良値をもたらすことと、前記少なくとも１つの最良値から、前記視差関連値及び／又は前記サイズ関連値における系統誤差を計算することとを特徴とする、方法。

Images