JP2008123462A - 物体検知装置 - Google Patents

Abstract

【課題】
自動車の周囲の物体をより精度良く検知する
【解決手段】
第１のセンサ１０１のカバレッジ２０１−Ｓにある物体の所定の特徴量を求めて記憶するとともに、物体が第１のセンサのカバレッジ２０１−Ｓから第２のセンサのカバレッジ２０１−Ｍに移動したときに、記憶装置に記憶された当該物体に関する特徴量と、第２センサ１０２で認識した結果を処理する処理部で処理された認識結果を分析することにより求めた物体の所定の特徴量とに基づいて、物体との相対距離を求める。
【選択図】図２

Description

本発明は、物体検知装置に関わる。

自動車に各種センサを搭載して、自車周辺を監視することによって安全を確保する技術の開発が盛んである。例えば、レーダを車両前方に設置して前方車両との車間距離を確保するＡＣＣ(Adaptive Cruise Control) 、ステレオカメラを車両前方に設置して白線を認識することによって、自車がレーン逸脱しないように警報するレーン逸脱警報などの開発が進んでいる。その他、前方障害物監視等、自動車の安全装備の開発が進んでいる。

前方以外では、カメラを使った後方監視について、車両の真後ろ，右後方，左後方を監視するカメラを設置し、ターンシグナルスイッチの位置に基づいてカメラを選択してそのカメラ画像を処理することによって、車両周辺の接近車両を検知する技術が知られている（例えば特許文献１参照）。検知した車両のオプティカルフローに基づき、車両衝突の危険性を判断する。ターンシグナルスイッチを操作しないときは真後ろのカメラ、右の時は右後方カメラ、左の時は左後方カメラの画像を処理し、接近してくる車両が無いか監視する。

特開平１１−３２１４９５号公報

自車周辺を監視して安全を確保するには、自車周辺の障害物を検知し、その障害物が自車にどれくらい接近しているのかを把握する必要がある。特に車線変更の際は、ドライバーがサイドミラーを目視し、右後方を自分の目で確認することが必要である。しかし、ドライバーの視線の移動が生じるため、高速走行時には危険を伴う。また、ドライバーの不注意で後側方から接近してくる車両を見逃すこともある。更に、サイドミラーにも死角は存在し、死角に入っている車両を捉えることはできない。また、上記背景技術に記載のものは、後続車の相対的な移動が無い場合は、危険度を判断することができないという問題がある。

上記に鑑み本発明は、自動車の周囲の物体をより精度良く検知することを目的とする。

第１のセンサのカバレッジにある物体の所定の特徴量を求めて記憶するとともに、物体が第１のセンサのカバレッジから第２のセンサのカバレッジに移動したときに、記憶装置に記憶された当該物体に関する特徴量と、第２センサで認識した結果を処理する処理部で処理された認識結果を分析することにより求めた物体の所定の特徴量とに基づいて、物体との相対距離を求める。

より安全性の高い自動車を提供することができる。

本発明の実施形態を図面を参照しながら述べる。本実施形態で対象とするのは、車両，二輪車等、道路走行中に自車に接近してくる物体の検知である。

図１は、本発明の一実施形態をなす物体検知システムのブロック構成図を示す。自車後方を監視するためのステレオカメラ１０１のカメラ画像は、画像処理部１０３−Ｓで処理されてＣＰＵ１０４に入力される。また、自車後側方を監視するための単眼カメラ１０２のカメラ画像は、画像処理部１０３−Ｍで処理されて、ＣＰＵ１０４に入力される。
ＣＰＵ１０４は、画像処理部１０３−Ｓ，画像処理部１０３−Ｍの処理結果を用いて自車に接近してくる車両の情報をデータベース化して記憶装置１０５に蓄える。そして、自車後側方から接近してくる車両の情報を、ＣＡＮインターフェース１０６を通じてＣＡＮバス１０８に流し、車両制御ユニット１０７に送る。更に、ＣＡＮバス１０８には、地図情報等を記憶しているカーナビゲーションシステム１０９が接続されており、ＣＡＮバス
１０８に自車位置情報，地図情報等を流すことが可能である。

ここでは、ステレオカメラ１０１及び単眼カメラ１０２からの信号を入力するそれぞれの信号入力部（図示しない）と、画像処理部１０３−Ｓ及び１０３−Ｍと、ＣＰＵ１０４，記憶装置１０５，ＣＡＮインターフェース１０６を含む物体検知ユニットを例として示すが、これらが一つのユニット内に収まっている装置であるとは限らない。例えばカメラと画像処理装置が一つのユニットとして存在し、そこからＣＰＵ１０４を含む何らかの制御ユニットに信号線で結ばれていても良い。また、画像処理部１０３やＣＰＵ１０４などがカーナビゲーションシステム１０９内に収められても良いし、また車両制御ユニット
１０７内に収められても良い。

図２は、図１の例におけるステレオカメラ１０１，単眼カメラ１０２の設置場所の例を示す。ステレオカメラ１０１は、自車２０２の後方を監視するためにリアバンパーに設置する。一方、単眼カメラ１０２は、自車後側方を監視するためにドアミラーに設置する。それによって得られるカバレッジは、例えば、それぞれ２０１−Ｓ，２０１−Ｍのようになる。ここでカバレッジとは、カメラ視野角や画角の場合もあるし、またカメラ視野角の中でも画像処理部が処理可能なエリアを示しても良い。但し、単眼カメラ１０２については、自車２０２の映りこみが少なくなるように、光軸を自車２０２からできるだけ離すように設置するのが望ましい。また、ステレオカメラ１０１では、ステレオ視できる範囲はカメラ１０１−Ｌ，１０１−Ｒの視野が重なる領域となり、２０１−Ｓに示すカバレッジとなる。ステレオカメラ１０１は車内に設置しても良い。例えば、リアシート側の天井に、リアウィンドウ越しに自車後方を監視するように設置しても良い。これにより、雨天時に水滴や泥等が付着することを避けることができる。

単眼カメラ１０２の代わりに、ステレオカメラ(以下「後側方ステレオカメラ」と記す)を用いても良い。ステレオカメラを用いることによって接近車両の車幅，接近車両との相対位置等を求めることが可能であり、ステレオカメラ１０１の結果と組み合わせて整合性をとることによって、より正確な車幅，相対位置等がわかるようになる。または、遠くに存在している接近車両はステレオカメラ１０１、自車に近い範囲の車両は後側方ステレオカメラで検知することも可能である。ステレオカメラ１０１は基線長を長く取れるために遠方の車両検知に適している。一方、後側方ステレオカメラは基線長を長く取れないために遠方車両検知には適していないが、画角を広くして検知距離を短くすることで、自車に近い範囲の車両検知において有効な手段となる。

図３は、図１の例におけるソフトウェア構成図を示す。ステレオカメラ１０１に関する処理は、白線認識部３０１，自レーン後続車検知部３０２，自レーン後続車車線変更検知部３０３，追越レーン後続車検知部３０４，追越レーン後続車視界通過検知部３０５である。

白線認識部３０１は、自車後方の白線を認識する。白線を認識した結果は、自車後方を走行中の車両が走行しているレーンを判定するための補助として用いる。白線認識は、既存の様々な認識ロジックを使用することが可能である。

自レーン後続車検知部３０２は、自車後方を走行中の車両を検知する。次に、検知した車両の情報は、リア自車線データ３０８に登録する。

自レーン後続車車線変更検知部３０３は、白線認識部３０１の認識結果、自レーン後続車検知部３０２の検知結果に基づいて、後続車が車線変更したかどうかを判断する。特に、自レーン後続車検知部３０２で検知した車両が車線変更をしているかどうかを判断する。車線変更を検知した場合は、当該車両の情報をリア追越車線データ３０９に追加し、リア自車線データ３０８に格納されていた当該車両の情報を削除する。

追越レーン後続車検知部３０４は、追越レーンを走行中の車両を検知する。これも、白線認識部３０１の結果を考慮する。追越レーン後続車検知部３０４で検知した車両の情報は、リア追越車線データ３０９に登録される。

追越レーン後続車視界通過検知部３０５は、ステレオカメラ１０１で検知している追越レーン走行車両のうち、先頭の車両がステレオカメラ１０１の視界から消えたかどうかを判定する。消えたと判定した場合は、その直前の回の当該車両検出結果を後側方追越車線データ３１０に登録する。

追越レーン後続車検知部３０６は、単眼カメラ１０２で捉えている車両を検知する。検知した車両の情報は、後側方追越車線データ３１０に登録される。

追越レーン後続車視界通過検知部３０７は、単眼カメラ１０２で捉えていた車両が、単眼カメラ１０２の視界から出たかどうかを判定する。後側方追越車線データ３１０に登録された車両データは、車両制御Ｉ／Ｆに送られて、車両制御や警告に使われる。単眼カメラ１０２で車両を捉えている場合、すなわち追越車線から車両が接近してくる場合、車両制御側では、後側方追越車線データ３１０に登録されたデータを参照して、どんな制御をするか決定する。

リア自車線データ３０８，リア追越車線データ３０９，後側方追越車線データ３１０には、少なくとも、検知した車両の車幅，相対速度，自車との相対位置，検知時刻が登録されている。自車との相対位置の変わりに、自車からの距離を登録しても良い。

地図データ３１１は、カーナビゲーションシステム１０９が保持しているデータである。地図データ３１１には、道路形状，車線数，車線幅などが格納されており、ステレオカメラ１０１の画像を処理する際に、自車位置に応じた情報を得ることを可能とする。

図２１は、図３におけるリア自車線データ３０８，リア追越車線データ３０９，後側方追越車線データ３１０に含まれるデータの構造を示す。それぞれのデータは、車両数2101，車両数２１０１で示される数の車両情報２１０２から構成される。車両情報２１０２は、ＩＤ２１０３，車幅２１０４，相対位置２１０５,検知時刻２１０６,相対速度２１０７，相対距離２１０８，画像における車幅２１０９から構成される。尚、車幅２１０４は、画像処理をした結果算出した車幅であり、画像における車幅２１０９は、画像における車幅のドット数という違いがある。

車幅情報としては、車両の縦エッジ間距離に限らず、ヘッドライト間の距離，フロントガラス幅等、車両において特徴的なパターンを用いることも可能である。但し、どんな特徴を用いて車幅を求めたかを記憶しておくことが好ましい。それには、リア自車線データ３０８，リア追越車線データ３０９，後側方追越車線データ３１０において車両情報と一緒に記憶しておけばよいので、車幅情報２１０４の属性として登録する。

リア自車線データ３０８，リア追越車線データ３０９，後側方追越車線データ３１０においては、相対距離の短い順、すなわち自車から近い順に車両情報２１０２を格納する。

なお、ここでは車幅情報や相対位置など様々な情報が例示されているが、これらがすべて記憶される必要はなく、物体検知装置で検知する対象に応じて、記憶されるパラメータの種や数は変化する。ここに例示したパラメータの一部のみが記憶されていても良いし、全てが記憶されても良い。

図４は、図３の動作説明図を示す。単眼カメラ１０２では、車両４０１を捉えており、車両４０１に関する情報が後側方追越車線データ３１０に登録される。このときに登録されるのは、少なくとも車両４０１と自車２０２との相対速度，相対位置、車両４０１の検知時刻である。相対位置の代わりに、自車から車両４０１までの距離ｄ１を登録しても良い。距離ｄ１を求める際には、後側方追越車線データ３１０に登録されている当該車両の車幅情報を用いる。車幅情報は、ステレオカメラ１０１のカバレッジに当該車両が存在していたときに求められたものを利用する。

ここで、自車後方を走行していた車両４０２が車線変更し、地点４０２−２に移ったとする。そのときは、ステレオカメラ１０１で車両４０２の車線変更を捉えているため、リア追越車線データ３０９に、車両４０２の情報を登録する。

車両４０２が車線変更したことによって、車両４０２の後方を走行していた車両４０３がステレオカメラ１０１のカバレッジに入ってきたとする。その時は、車両４０３の情報をリア自車線データ３０８に登録する。

また、単眼カメラ１０２で複数の車両を検知した場合は、それぞれの車両の情報を後側方追越車線データ３１０に登録する。

図５は、図１の例の処理フローを示す。まず、ステレオカメラ１０１の画像を処理し、後続車検知を試みる（ステップ５０１）。後続車が存在するかどうか判定し（ステップ
５０２）、後続車が検知されたら、当該車両の情報をリア自車線データ３０８に登録する（ステップ５０３）。次に、ステレオカメラ１０１の画像を処理し、追越車線に車両が存在するかどうか判定する（ステップ５０４）。追越車線に車両が存在したら、当該車両の情報をリア追越車線データ３０９に登録する（ステップ５０５）。但し、追越車線に車両がなくとも、自レーンの後続車両が追越車線に移動しているとみなせる場合には、当該車両の情報をリア追越車線データ３０９に登録する。

次に、単眼カメラ１０２の画像を処理し、追越車線を走行中の車両検知を試みる（ステップ５０６）。車両が存在するかどうか判定し（ステップ５０７）、車両が検知されたら、当該車両の情報に基づいて、後側方追越車線データ３１０を更新する。

図６は、図１のステレオカメラ１０１の処理フローを示す。

まず、ステレオカメラ１０１の両カメラで画像を取得する（ステップ６０１）。次に、両カメラで得られた画像から距離画像を作成する（ステップ６０２）。距離画像の作成には、ステレオカメラ１０１の両カメラの視差を用いる。視差による距離画像生成の手法は既存の技術を用いることが可能である。

次に、距離画像を用いて白線を認識する（ステップ６０３）。白線の認識アルゴリズムについても、既存の技術を用いることが可能である。

次に、距離画像を用いて、後続車両を検出する（ステップ６０４）。後続車両の検出には、例えば、ステレオカメラ１０１からほぼ同じ距離にあるエッジラインを検出して、それらを車両前面として扱うことが可能である。もし車両がみつかったと判断したら（ステップ６０５）、当該車両の車幅を計算する（ステップ６０６）。車幅の計算は、縦エッジ間の距離に基づいて求めることが可能である。

次に、当該車両がどのレーンを走行しているかを判定する（ステップ６０７）。走行レーンの判定は、ステップ６０３の白線認識結果と、当該車両の画像上での検出位置に基づく。白線の位置が、当該車両の真ん中よりも左側に見えていれば自レーン、右側ならば追越レーンを走行中と判定する。

その結果、自レーンを走行していると判断したら（ステップ６０８）、リア自車線データ３０８に当該車両の情報を登録する（ステップ６０９）。追越レーンにいると判断したら（ステップ６１０）、リア追越車線データ３０９に登録する（ステップ６１１）。これを、検出した車両すべてについて実施し、最後の処理であるステップ６１２ですべての車両について実施したと判断したら、最初のステップ６０１に戻る。まだ未処理の車両が残っている場合は、ステップ６０６に戻る。

ここで、後続車両が車線変更したかどうかを判定する方法について述べる。図７は、図１の例における後続車両の車線変更を判定する処理フローを示す。図８は、図７の例におけるステレオカメラ１０１で画像を取得する際のカメラ座標系を示す。

まずステップ７０１で、画像左側の白線８０２の位置を検出する。これは、ステップ
６０３に含まれる処理である。ここで白線位置を、カメラ座標系におけるｘ座標値と定義する。次に、後続車両８０１の重心８０３の位置を算出する（ステップ７０２）。重心
８０３の位置は、車両認識によって車両領域を求め、その重心位置として求める。または、車両輪郭を構成すると思われるエッジに基づいて求めることが可能である。これは、２次元処理あるいは立体視処理いずれにも適用できる。

次に、重心８０３のｘ座標と白線８０２の位置とを比較する（ステップ７０３）。比較判定（ステップ７０４）の結果、白線８０２のｘ座標の方が大きければ車線変更したと判定し、重心８０３のｘ座標の方が大きければ車線変更してないと判定する。

白線８０２が認識できなかった場合は、白線８０４の認識結果を用いる。そのときの処理フローを図１３に示す。まず、カーナビゲーションシステム１０９から、走行中の道路の車線幅を得る（ステップ１３０１）。次に、白線８０４を認識し（ステップ１３０２）、後続車の重心位置を求める(ステップ１３０３)。ステップ１３０３は、ステップ７０２と同等の処理である。次に、右側白線の各特徴点ｘ座標平均値と後続車重心のｘ座標を比較する（ステップ１３０４）。これらが車線幅以上離れているかどうかを判断し（ステップ１３０５）、離れていれば車線変更しているとみなし、離れていなければ車線変更していないとみなす。

図９は、図５におけるステレオカメラ１０１で検知した車両情報のリア自車線データ
３０８へのデータ登録フローを示す。当該車両との相対速度を求めるには、最低２回の検知結果における相対距離差，検知時間間隔が必要である。したがって、検知した車両が前回の検知時と同一の車両かどうかを判断する必要がある。図９では、ステレオカメラ101で複数車両を検出した場合にも適用できるフローとなっている。但し、ステレオカメラ
１０１の設置高さにもよるが、ステレオカメラ１０１で撮影できる自レーン後続車は、自車直後を走行中の車両だけである。したがって、リア自車線データ３０８には自車直後を走行中の車両情報だけが登録されていることが多い。

まずステップ９０１で、リア自車線データ３０８から、後続車情報を得る。次に、ステレオカメラ１０１で後続車両検知を試みる（ステップ９０２）。これは、ステップ６０４と同等の処理である。車両が検知できたら、当該車両の車幅、当該車両までの相対距離を計算する。ここで相対距離と、リア自車線データ３０８から得られた相対距離を比較し
（ステップ９０３）、３ｍ以下ならば同一の車両とみなし、相対速度を計算する（ステップ９０４）。最後に、車両の番号はそのままで、相対距離，相対速度，車幅等の車両情報をリア自車線データ３０８に登録する。リア自車線データ３０８に更に別の車両情報が登録されているかどうかを確認し(ステップ９０７)、別の車両情報があればステップ９０１に戻って、当該車両の情報について同様の処理を実行する。

もし、ステップ９０３で、相対距離差が３ｍ以上ならば違う車両であるとみなし、ステップ９０１で得たデータをリア自車線データ３０８から破棄して新たに車両番号を付加し、相対距離，相対速度，車幅等の車両情報をリア自車線データ３０８に登録する。

車両の同定には、上記のように相対距離差ではなく、パターン認識を用いる方法も可能である。ステレオカメラ１０１で撮影された車両パターンをリア自車線データ３０８に登録しておく。次回の画像取得時に、画像から得られた車両パターンと、リア自車線データ３０８に登録されている車両パターンとをパターンマッチングすることによって類似度を判断する。

また、図９のフローは、追越車線を走行中の車両についてもほぼ同様である。追越車線を走行中の車両については、自車に近づいてくると、いずれステレオカメラ１０１の視界から外れる。そのときは、当該車両から、当該車両の後続を走行していた車両までの車間距離が３ｍ以上であれば、ステップ９０３の判定で相対距離差３ｍ以上となるため、視界から外れた車両の情報はリア追越車線データ３０９から破棄され、当該車両の後続車両情報は残る。つまり、ステレオカメラ１０１から最も近い車両までの距離変化によって、車両がステレオカメラ１０１の視界から外れたかどうかを判断する。

図１２は、図９において車両がステレオカメラ１０１の視界から外れたかどうかを判断する処理フローを示す。まずステップ１２０１で、リア自車線データ３０８から、後続車情報を得る。次に、ステレオカメラ１０１で後続車両検知を試みる（ステップ１２０２）。これは、ステップ６０４と同等の処理である。車両が検知できたら、当該車両の車幅、当該車両までの相対距離を計算する。ここで相対距離と、リア自車線データ３０８から得られた相対距離を比較し（ステップ１２０３）、３ｍ以下ならば同一の車両とみなし、相対速度を計算する（ステップ１２０４）。最後に、車両の番号はそのままで、相対距離，相対速度，車幅等の車両情報をリア追越車線データ３０９に登録する。リア追越車線データ３０９に更に別の車両情報が登録されているかどうかを確認し（ステップ１２０７）、別の車両情報があればステップ１２０１に戻って、当該車両の情報について同様の処理を実行する。

もし、ステップ１２０３で、相対距離差が３ｍ以上ならば違う車両であるとみなし、ステップ１２０１で得たデータをリア追越車線データ３０９から破棄する。リア追越車線データ３０９から破棄されたデータは、後側方追越車線データ３１０に登録される（ステップ１２０６）。しかし、破棄された時点では、当該車両はステレオカメラ１０１の視界から外れており、当該車両までの相対距離、当該車両との相対速度を画像処理によって求めることは不可能である。そこで、破棄される直前のデータを後側方追越車線データ３１０に登録する。但し、当該情報を算出した時刻情報を付加しておく。

ここで、相対距離差３ｍとは、相対速度１００km／ｈ，処理間隔１００ｍｓとしたときに相手車両が約３ｍ自車に近づくことから決めた数値である。したがって、システムとして想定する相対速度や画像処理間隔によって決める数値であり、３ｍというのはあくまでも一例である。

図１０は、単眼カメラ１０２におけるフローである。まず、画像を取得し（ステップ
１００１）、画像中に車両となりうる候補パターンがあるかどうかを判断する（ステップ１００２）。もし候補があれば、候補パターンを見つけた時刻を保持し（ステップ1003）、後側方追越車線データ３１０から、自車に最も近い順に車幅を取得する(ステップ1004)。

次に、後側方追越車線データ３１０から得た情報が、単眼カメラ１０２で検知した車両候補のものかどうかを判断する。そのために、後側方追越車線データ３１０から得た車幅を用いて、当該車両までの距離を試算する（ステップ１００５）。試算された距離を基に、後側方追越車線データ３１０に登録されている時刻と発見時刻との差分を計算する（ステップ１００６）。これは、次の（１）式による。

この差分を閾値と比較し（ステップ１００７）、閾値以下であれば、発見した車両候補と後側方追越車線データ３１０に登録されている車両とは同一とし、後側方追越車線データ３１０の当該車両に関するデータを更新する。この方法によって、車両がステレオカメラ１０１，単眼カメラ１０２のいずれのカバレッジにも入っていない場合でも、当該車両が単眼カメラ１０２のカバレッジに入ったときに車幅を用いて相対距離を計測することができる。

閾値以上ならば、同一ではないとし、後側方追越車線データ３１０に登録されている次の車両情報について、同様の処理を実施する。もし、後側方追越車線データ３１０に登録されている時刻と発見時刻との差分が閾値以下になる車両が存在しない場合は、発見した車両候補は、追越車線の更に右側の車線から進入してきた車両とみなす。つまり、後側方追越車線データ３１０に登録されていない車両である。

走行中の道路に２車線しか無いとわかっている場合は、発見した車両候補は誤認識とみなしてもよい。またはこの場合、単眼カメラ１０２の設置位置や角度がずれたとも考えられる。このときは、カメラパラメータを設定し直す必要がある。

物体の幅をＷ、カメラの焦点距離をｆ、物体までの距離をｄ、画像における物体の幅を△ｘとすると、

という関係にある。ここで、カメラの向きがθだけ変わった場合を考えると、（２）式ではＷの代わりにＷcosθ となり、次の（３）式の関係になる。

図２２は、角度θだけ変わった単眼カメラ１０２で車両８０１を捉えた様子である。画像における幅は△ｘであった場合、Ｗを後側方追越車線データ３１０の値を用いて、カメラの向きθを求めることができる。

ここで、追越車線の更に右車線から追越車線に進入してきた車両の扱いについて述べる。当該車両は、ステレオカメラ１０１のカバレッジを通過せずに単眼カメラ１０２のカバレッジに出現したものであり、車幅は不明である。このような場合でも、ステレオカメラ１０１と単眼カメラ１０２の両者のカバレッジを通過した車両の車幅データを基に当該車両の車幅を推定して、相対距離を求めることが可能である。

図１１は、画像における車幅とそのときの相対距離との関係を学習させるための処理フローである。車両を検知したら（ステップ１１０１）、画像上での車幅を学習用データ
（図示しない）に登録する（ステップ１１０２）。次に、検知した車両の車幅データが後側方追越車線データ３１０に存在するか確認する（ステップ１１０３）。これは、図１０のフローに示した処理で実施可能である。存在していれば、車幅データを用いて相対距離を求める（ステップ１１０４）。これは図１０に示した処理で実施可能である。次に、画像上での車幅を、学習用データに登録する（ステップ１１０５）。最後に、画像上での車幅と相対距離との関係を求める（ステップ１１０６）。これは、学習用データに登録された車幅と相対距離との関係を最小二乗法等で求め、画像上での車幅と相対距離との割合を求めればよい。

もし、後側方追越車線データ３１０に、検知した車両の車幅が存在していなければ、上記で求めた画像上での車幅と相対距離との割合によって相対距離を推定すればよい（ステップ１１０７）。

次に、ステレオカメラ１０１の代わりに、後方監視用に単眼カメラを設置した場合の実施例について述べる。図１４は、そのときの装置構成を示す。図１と比べて、ステレオカメラ１０１がリア単眼カメラ１４０１に変わっただけであり、その他の構成は変わらない。

図１５は、ソフトウェア構成を示す。これも図３と比べて、ステレオカメラ１０１がリア単眼カメラ１４０１に変わっただけであり、その他の構成は変わらない。

本発明において後方監視に単眼カメラを用いる場合、自レーンの後続車の車幅を求める処理が異なる。これについて、図１６，図１７を参照しながら述べる。

まず、ステップ１６０１で画像を得る。次に、白線認識（ステップ１６０２），車両
１７０３の検知（ステップ１６０３）を実行する。ここで、自レーン後方に車両が検知されたかを判定し（ステップ１６０４）、車両が検知されたら次の処理に進む。

車両が検知されていたら、カーナビゲーションシステム１０９から、現在走行中のレーン幅を得る（ステップ１６０５）。あるいは、レーン幅は高速道路であれば３.５ｍ 等のように、道路規格に応じて決まっているので、自車が走行中の道路種別を得て、レーン幅を推定しても良い。

次に、車両の左右エッジを検出し、画像上でのエッジ間の幅ＷＶを求める（ステップ
１６０６）。次に、車両最下部のエッジを検出し（ステップ１６０７）、そのエッジと白線１７０１，白線１７０２との交点を求める（ステップ１６０８）。交点を検出したら、交点間の距離ＷＬを求め、それとレーン幅との比率から車幅を求める(ステップ１６０９)。

例えばレーン幅が３.５ｍの場合、ＷＬ：３.５＝ＷＶ：車幅という関係が成り立つため、車幅＝３.５×ＷＶ／ＷＬ となる。こうして車幅を求めたら、以降の処理は上記した処理と同じである。このようにして、後方監視カメラを単眼にしても、レーン幅を基にして車幅を求めることによって、同様の効果を得ることが可能である。

これを応用して、ステレオカメラ１０１のキャリブレーションや自己診断が実施できる。図２３に、ステレオカメラ１０１における取得画像例を示す。画像２３１０−Ｌはカメラ１０１−Ｌの取得画像、画像２３０１−Ｒはカメラ１０１−Ｒの取得画像である。画像２３１０−Ｌに比べて、画像２３０１−Ｒでは、車両２３０３が少し上に映っている。ステレオマッチングでは、画像の縦位置が合っていれば、マッチングポイントの検索は横方向だけで済むため、処理時間の短縮になる。したがって、図２３のような画像が得られた場合でも、画像の縦位置のずれを補正するのが適切である。

その処理を図２４に示す。基本的な処理は、図１６に示した処理を、カメラ１０１−Ｒ，カメラ１０１−Ｌに対して実行し、車両の検知位置に基づいて縦位置のずれを補正するものである。

ステップ２４０１〜２４１０は、画像２３０１−Ｌに関する処理である。処理内容は図１６と同様であり、詳細の記述は省略する。車両を検知して画像における幅ＷＶＬ、白線を認識して画像における車線幅ＷＬＬを求め、ＷＶＬとＷＬＬを基に車幅を求める。

ステップ２４１１〜２４１９は、画像２３０１−Ｒに関する処理である。但し、車線幅はステップ２４０５で得ているので、この処理は不要である。画像２３０１−Ｒでも同様に、車両を検知して画像における幅ＷＶＲ、白線を認識して画像における車線幅ＷＬＲを求め、ＷＶＲとＷＬＬを基に車幅を求める。

こうして得られた車幅を比較して（ステップ２４２０）、差が閾値以下であれば両画像で得られた車両最下部エッジのｙ方向のずれを算出し、その分だけ縦位置の補正を実施する。

また、車両までの距離を、ステップ６０２で得た距離画像を基に算出した場合と、図
２４に示した方法で、左右両画像を基に算出した場合とを比べることによって、自己診断が可能である。そのフローチャートを図２５に示す。

ステップ２５０１,２５０２で、左右の画像を得る。次に、ステップ２５０３,２５０４にて、両画像に映った車両までの距離をそれぞれ求める。これは、図２４に示した方法と同様である。次に、それぞれで求めた距離の差を評価し（ステップ２５０６）、差が閾値以内であれば、それぞれの距離の平均値を、車両までの距離の真値とする(ステップ2507)。次に、距離画像を取得する（ステップ２５０８）。これは、一般に知られている手法でよい。次に、距離画像を基にして車両を認識する（ステップ２５０９）。距離画像を基に車両までの距離を計算し（ステップ２５１０）、ステップ２５０７で設定した真値との差を評価する（ステップ２５１１）。閾値以下であれば正常とし、そうでなければ異常があると判断する。

図１８は、後方監視にレーザレーダを用いる場合の構成である。ステレオカメラ１０１の代わりにレーザレーダ１８０１を用い、レーザレーダ１８０１の制御のためにレーダ制御装置１８０２を用いる。その他の構成については、これまでの構成と同様である。レーザレーダ１８０１は物体までの距離と方位を計測することが可能であり、物体の幅も計測することが可能である。

図１９は、レーザレーダ１８０１を用いる場合のソフトウェア構成である。この場合、白線を認識して車線ごとの車両を検知することはできないが、対象物の方位がわかるので、それを用いて車線ごとの車両を検知する。このとき、走行中の道路がカーブしている場合、方位だけでは車線ごとの車両を区別できないので、カーナビゲーションシステム109から道路リンク情報を得て、検知した車両がどこの車線にいるかを判別する。

図２０は、レーザレーダ１８０１を用いる場合の処理フローである。最初にステップ
２００１で後方車両検知を試みる。車両がいたかどうかを判断し（ステップ２００２）、車両がいたら、当該車両の車幅を検知する（ステップ２００３）。次に自車位置をカーナビゲーションシステム１０９から得て（ステップ２００４）、後方車両の位置を計測する（ステップ２００５）。レーザレーダ１８０１では、相手車両までの距離と自車位置からの方位がわかるので、それを用いて後方車両の位置を求めることが可能である。

次に、カーナビゲーションシステム１０９から、自車が走行中のリンク情報を得て（ステップ２００６）、リンクと相手車両との相対位置関係を求める（ステップ２００７）。ここで、まず、リンクと相手車両との距離を求め、それが閾値以内かどうかを判断する
（ステップ２００８）。閾値以内であれば自レーンを走行中であるとし、そうでない場合は、リンクと相手車両との相対位置関係からレーンを判断する（ステップ２００９）。自車から向かって、相手車両が左側ならば追越車線、右側ならば自車の左側レーンとなる。

但し、ここで開示した方法は、カーナビゲーションシステム１０９から得られる自車位置や地図情報が正確であることが条件となる。

尚、これまでに開示した実施例は、後方監視の場合だけでなく、前方監視にも応用することが可能である。例えば、前方監視用ステレオカメラ、前側方監視カメラを用いた場合において、前方を走行中の車両が自車走行車線の隣接車線に進入した場合において、ドライバーがそれに気づかなかったり、自車のピラーの陰になって死角に入ったりする場合がありうる。そのような場合においても、これまでに開示した後方監視における技術を前方監視に応用すれば、前側方走行中の車両までの距離等がわかり、同様に車線変更支援が可能となる。

このように本実施形態は、後続車両の幅，高さを検知するステレオカメラと、隣接車線上の後方車両を検知する単眼カメラを備え、ステレオカメラの画像を処理するための第１の画像処理装置、単眼カメラの画像を処理するための第２の画像処理装置、第１，第２の画像処理装置による車両検知処理よって算出された車両の特徴量を格納するためのデータベースとを有し、第１の画像処理装置は後続車両が追越車線に入ったときに、車両の特徴量を算出して前記データベースに登録し、第２の画像処理装置は当該特徴量を用いて単眼カメラの画像に映っている車両までの距離を求める。

また、単眼カメラで検知した車両が、ステレオカメラのカバレッジを通過していたかどうかを判定するステレオカメラカバレッジ通過判定部を備え、通過していない車両であれば、第２の画像処理装置はデータベースに登録された特徴量を基に当該車両の大きさを推定し、当該車両までの距離を求める。

また、ステレオカメラカバレッジ通過判定部は、データベースに格納されている特徴量を基に当該車両までの相対距離を試算し、当該特徴量が前記データベースに登録された時刻と、第２の画像処理装置が当該車両を検知した時刻との差と相対距離を基にして当該車両がデータベースに格納されている特徴量を持つ車両であると判断したときに車両は自車後方車両検知装置のカバレッジを通過してきた車両であると判定する。

第１の画像処理装置と第２の画像処理装置は、データベースに格納されている特徴量と、検知した車両の特徴量を基にそれぞれ相対距離を試算し、相対距離差が閾値以下ならば、当該車両は前記データベースに格納されている特徴量を持つ同一車両であると判定して前記データベースのデータを更新する。

データベースは、前記自車後方車両検知装置が検知した自車レーン後方車両の特徴量を格納する自車後方車両データベースと、自車後方車両検知装置が検知した隣接レーン後方車両の特徴量を格納する第１の隣接レーン後方車両データベースと、単眼カメラが検知した隣接レーン後方車両の特徴量を格納する第２の隣接レーン後方車両データベースとを備える。

データベースは、第１の画像処理装置，第２の画像処理装置によって検知された車両の車幅，自車との相対位置，検知時刻，相対速度，画像上での車幅を保持することが好ましい。

隣接車線上の後方車両を検知する単眼カメラで捉えた車両の車幅データと、車幅データを用いて算出した車両までの相対距離を用いて、単眼カメラの向きを推定する。

第１の画像処理装置は、検知した車両が走行中のレーンを識別するために道路上の白線を認識し、白線と当該車両との位置関係を用いる。第１の画像処理装置は、画像に向かって左側に描かれている白線と当該車両の重心との左右位置関係を基に当該車両の走行レーンを識別する。また画像に向かって左側に描かれている白線が認識不可能の場合、画像に向かって右側に描かれている白線の位置と、車線幅に基づいて、車両重心の横位置が右側の白線から車線幅以上左に存在する場合に当該車両が隣接レーンを走行中であると判定する。

ステレオカメラの両カメラの画像を処理し、それぞれの画像から白線の幅，車両の幅をそれぞれ求め、それらを基に検知した車両までの距離をそれぞれ算出し、距離の差が閾値以下であればそれぞれの画像で検出した車両を同一のものと判定し、検出した車両の最下部エッジの画像における高さの差を基に、カメラパラメータを決定する。

車両後方監視装置は、ステレオカメラの両カメラの画像を処理し、それぞれの画像から白線の幅，車両の幅をそれぞれ求め、それらを基に検知した車両までの距離をそれぞれ算出し、距離の差が閾値以下であれば、それぞれの距離を基に当該車両までの距離の真値を設定し、距離画像を処理して得られる当該車両までの距離と真値とを比較し、差が閾値以下であれば正常動作中とみなし、閾値以上ならば異常動作と判定する。

また、後続車両の幅，高さを検知する第１の単眼カメラと、隣接車線上の後方車両を検知する第２の単眼カメラを備え、第１の単眼カメラの画像を処理するための第１の画像処理装置，第２の単眼カメラの画像を処理するための第２の画像処理装置、第１，第２の画像処理装置による車両検知処理よって算出された車両の特徴量を格納するためのデータベースとを有し、第１の画像処理装置は後続車両が追越車線に入ったときに、車両の特徴量を算出してデータベースに登録し、第２の画像処理装置は、特徴量を用いて単眼カメラの画像に映っている車両までの距離を求める。

第２の単眼カメラで検知した車両が、第１の単眼カメラのカバレッジを通過していたかどうかを判定する後方監視カメラカバレッジ通過判定部を備え、通過していない車両であれば、第２の画像処理装置はデータベースに登録された特徴量を基に当該車両の大きさを推定し、当該車両までの距離を求める。

第１の画像処理装置は、第１の単眼カメラで撮影された画像から自車が走行中のレーン両側の白線を検出し、当該白線どうしの距離と走行中の道路種別から推定した車幅と、当該車両の画像上での幅とを用いて当該車両の車幅を推定し、第２の画像処理装置は車幅を用いて第２の単眼カメラの画像に映っている車両までの距離を求める。

第１の画像処理装置と第２の画像処理装置は、データベースに格納されている特徴量と、検知した車両の特徴量を基にそれぞれ相対距離を試算し、相対距離差が閾値以下ならば、当該車両は前記データベースに格納されている特徴量を持つ同一車両であると判定してデータベースのデータを更新する。

データベースは、ステレオカメラが検知した自車レーン後方車両の特徴量を格納する自車後方車両データベースと、ステレオカメラが検知した隣接レーン後方車両の特徴量を格納する第１の隣接レーン後方車両データベースと、単眼カメラが検知した隣接レーン後方車両の特徴量を格納する第２の隣接レーン後方車両データベースとを備える。

またデータベースは、第１の画像処理装置，第２の画像処理装置によって検知された車両の車幅，自車との相対位置，検知時刻，相対速度，画像上での車幅を保持することが好ましい。

第１の画像処理装置は、検知した車両が走行中のレーンを識別するために道路上の白線を認識し、白線と当該車両との位置関係を用いる。第１の画像処理装置は、画像に向かって左側に描かれている白線と当該車両の重心との左右位置関係を基に当該車両の走行レーンを識別する。また、画像に向かって左側に描かれている白線が認識不可能の場合、画像に向かって右側に描かれている白線の位置と、車線幅に基づいて、車両重心の横位置が右側の白線から車線幅以上左に存在する場合に当該車両が隣接レーンを走行中であると判定する。

また、後続車両の幅，高さを検知するレーザレーダと、隣接車線上の後方車両を検知する単眼カメラを備え、レーザレーダのデータを処理するためのレーダ制御装置，単眼カメラの画像を処理するための画像処理装置，レーダ制御装置と画像処理装置による車両検知処理よって算出された車両の特徴量を格納するためのデータベースとを有し、レーダ制御装置は後続車両が追越車線に入ったときに、車両の特徴量を算出してデータベースに登録し、画像処理装置は、特徴量を用いて単眼カメラの画像に映っている車両までの距離を求める。

検知した車両の相対位置と自車位置を基に当該車両の絶対位置を求めて、自車が走行中の道路を構成するリンクと当該車両との距離を求め、距離が閾値以下ならば当該車両は自車と同じレーンを走行中と判定し、そうでない場合は当該車両と当該リンクとの位置関係を基に当該車両の走行レーンを判定する。

データベースに格納されている特徴量と、検知した車両の特徴量を基にそれぞれ相対距離を試算し、相対距離差が閾値以下ならば、当該車両は前記データベースに格納されている特徴量を持つ同一車両であると判定してデータベースのデータを更新する。

またデータベースは、レーザレーダが検知した自車レーン後方車両の特徴量を格納する自車後方車両データベースと、レーザレーダが検知した隣接レーン後方車両の特徴量を格納する第１の隣接レーン後方車両データベースと、単眼カメラが検知した隣接レーン後方車両の特徴量を格納する第２の隣接レーン後方車両データベースとを備える。

データベースは、前記レーダ制御装置，前記画像処理装置によって検知された車両の車幅，自車との相対位置，検知時刻，相対速度を保持していることが好ましい。

また、単眼カメラで捉えた車両の車幅データと、車幅データを用いて算出した車両までの相対距離を用いて、前記単眼カメラの向きを推定する。

隣接車線上の後方車両を検知する単眼カメラで捉えた車両の車幅データと、車幅データを用いて算出した車両までの相対距離を用いて、単眼カメラの向きを推定する。

尚、車両の後側方を監視するには、サイドミラーにステレオカメラを設置することも考えられる。これによって、自車後側方から接近してくる車両までの距離，相対速度が計測できる。

しかし、サイドミラーにステレオカメラを設置するには、カメラをコンパクトにする必要があり、それに伴ってカメラの基線長が短くなってしまうために、距離や相対速度の精度が出ない場合もある。

理想的には自車を中心に全方位を監視することであるが、そのためには多くのセンサを車両に設置する必要があるため、コストが高くなる。センサの数を少なくすればコストは抑えられるが、結局はどのセンサでも捉えられない死角が発生する可能性があり、その死角に入ってしまった車両については検知することができない。

本実施形態によれば、コストを抑えながら、車両の周囲の物体をより精度良く検知することができ、車両の予防安全技術に寄与することが可能である。特に、進入したい車線の後方を監視して接近車両がいないことを確認することによって、自車両の車線変更における支援に寄与することができる。

本発明の一実施形態をなす物体検知システムのブロック構成図を示す。 図１の例におけるステレオカメラ１０１，単眼カメラ１０２の設置場所の例を示す。 図１の例におけるソフトウェア構成図を示す。 図３の動作説明図を示す。 図１の例の処理フローを示す。 図１のステレオカメラ１０１の処理フローを示す。 図１の例における後続車両の車線変更を判定する処理フローを示す。 図７の例におけるステレオカメラ１０１で画像を取得する際のカメラ座標系を示す。 図５におけるステレオカメラ１０１で検知した車両情報のリア自車線データ３０８へのデータ登録フローを示す。 単眼カメラ１０２における処理フローである。 画像における車幅とそのときの相対距離との関係を学習させるための処理フローである。 図９において車両がステレオカメラ１０１の視界から外れたかどうかを判断する処理フローを示す。 画像左側白線認識できなかった場合の処理フローである。 後方監視用に単眼カメラを設置した場合の装置構成である。 後方監視用に単眼カメラを設置した場合のソフトウェア構成である。 後方監視用に単眼カメラを設置した場合の処理フローである。 後方監視用カメラから得られる画像の模式図である。 後方監視用にレーザレーダを設置した場合の装置構成である。 後方監視用にレーザレーダを設置した場合のソフトウェア構成である。 後方監視用にレーザレーダを用いる場合の処理フローである。 図３におけるリア自車線データ３０８，リア追越車線データ３０９，後側方追越車線データ３１０に含まれるデータの構造を示す。 後側方単眼カメラの向きと検知車両との関係を示す図である。 ステレオカメラ１０１で得られる２画像の例である。 ステレオカメラ１０１のキャリブレーションの処理フローである。 ステレオカメラ１０１の自己診断の処理フローである。

符号の説明

１０１ ステレオカメラ
１０２ 単眼カメラ
１０３−Ｓ，１０３−Ｍ 画像処理部
１０４ ＣＰＵ
１０５ 記憶装置
１０６ ＣＡＮインターフェース
１０７ 車両制御ユニット
１０８ ＣＡＮバス
１０９ カーナビゲーションシステム

Claims (11)

1. 第１のセンサで認識した結果を処理する第１処理部と、
   第２のセンサで認識した結果を処理する第２処理部と、
   前記第１処理部で処理された認識結果を分析することにより、前記第１のセンサのカバレッジにある物体の所定の特徴量を求め、求めた特徴量を記憶装置に記憶するとともに、前記物体が前記第１のセンサのカバレッジから前記第２のセンサのカバレッジに移動したときに、前記記憶装置に記憶された当該物体に関する前記特徴量と、前記第２処理部で処理された認識結果を分析することにより求めた前記物体の所定の特徴量とに基づいて、当該物体との相対距離を求める演算部と、
   前記演算部で求めた前記相対距離情報を出力するインターフェース部と、
   を有する物体検知装置。
2. 請求項１記載の物体検知装置であって、
   前記第１処理部は、車両後方を撮像するステレオカメラで検知した画像を処理し、
   前記第２処理部は、車両後側方を撮像する単眼カメラで検知した画像を処理し、
   前記演算部は、前記第１処理部で処理された画像を分析することにより、前記ステレオカメラのカバレッジにある後続車両の車幅を求め、求めた車幅を記憶装置に記憶するとともに、前記後続車両が前記ステレオカメラのカバレッジから前記単眼カメラのカバレッジに移動したときに、前記記憶装置に記憶された当該後続車両の車幅と、前記第２処理部で処理された画像を分析することにより求めた前記後続車両の車幅とに基づいて、当該後続車両と自車との距離を求める物体検知装置。
3. 請求項２記載の物体検知装置であって、
   前記演算部は、前記単眼カメラで検知した車両が、前記ステレオカメラのカバレッジを通過していない車両であると判定した場合には、前記第２処理部で処理された画像を分析することにより求めた前記後続車両の特徴量に基づいて当該後続車両と自車との距離を求める物体検知装置。
4. 請求項２記載の物体検知装置であって、
   前記演算部は、前記第１または第２の処理部で処理された画像に基づいて求めた前記後続車両の特徴量に基づき当該後続車両と自車との距離を求め、当該距離の差が閾値以下ならば、当該後続車両は前記記憶装置に格納されている特徴量を持つ車両と同一の車両であると判定して当該記憶装置の特徴量を更新する物体検知装置。
5. 請求項２記載の物体検知装置であって、
   前記記憶装置は、前記第１処理部によって検知された車両の車幅、前記第２処理部によって検知された車両の車幅，自車との相対位置，検知時刻，相対速度，画像上での車幅の少なくともいずれか一つをデータベースとして保持する物体検知装置。
6. 請求項２記載の物体検知装置であって、
   前記演算部は、前記第１処理部で処理された画像を分析することにより自車の同一のレーンの後続車両を検知する自レーン後続車検知部と、前記第１処理部で処理された画像を分析することにより自車の同一のレーンに対する追越レーンの後続車両を検知する第１の追越レーン後続車検知部と、前記第２処理部で処理された画像を分析することにより前記追越レーンの後続車両を検知する第２の追越レーン後続車検知部とを有する物体検知装置。
7. 請求項６記載の物体検知装置であって、
   前記演算部は、前記第１画像処理部で処理された画像を分析することにより道路上の白線を認識する白線認識部を有し、画面上の前記後続車両の重心と前記白線認識部で認識した白線の相対位置によって当該後続車両の走行レーンを識別する物体検知装置。
8. 請求項１記載の物体検知装置であって、
   前記第１処理部は、車両後方を撮像する第１の単眼カメラで検知した画像を処理し、
   前記第２処理部は、車両後側方を撮像する第２の単眼カメラで検知した画像を処理し、
   前記演算部は、前記第１処理部で処理された画像を分析することにより、前記第１の単眼カメラのカバレッジにある後続車両の車幅または高さを求め、求めた車幅または高さを記憶装置に記憶するとともに、前記後続車両が前記第１の単眼カメラのカバレッジから前記第２の単眼カメラのカバレッジに移動したときに、前記記憶装置に記憶された当該後続車両の車幅または高さと、前記第２処理部で処理された画像を分析することにより求めた前記後続車両の車幅または高さとに基づいて、当該後続車両と自車との距離を求める物体検知装置。
9. 請求項８記載の物体検知装置であって、
   前記演算部は、前記第１の単眼カメラで撮影された画像から自車が走行中のレーン両側の白線を検出し、当該白線どうしの距離と走行中の道路種別から推定した車幅と、当該車両の画像上での幅とを用いて当該車両の車幅を推定し、前記第２の画像処理装置は前記車幅を用いて前記第２の単眼カメラの画像に映っている車両までの距離を求める物体検知装置。
10. 請求項１記載の物体検知装置であって、
    前記第１処理部は、車両後方の物体を検知するレーザレーダで検知した結果を処理し、
    前記第２処理部は、車両後側方を撮像する単眼カメラで検知した画像を処理し、
    前記演算部は、前記第１処理部で処理された結果を分析することにより、前記レーザレーダのカバレッジにある後続車両の特徴量を求め、求めた特徴量を記憶装置に記憶するとともに、前記後続車両が前記レーザレーダのカバレッジから前記単眼カメラのカバレッジに移動したときに、前記記憶装置に記憶された当該後続車両の特徴量と、前記第２処理部で処理された画像を分析することにより求めた前記後続車両の特徴量とに基づいて、当該後続車両と自車との距離を求める物体検知装置。
11. 請求項１０記載の物体検知装置であって、
    前記演算部は、検知した車両の相対位置と自車位置を基に当該車両の絶対位置を求めて、自車が走行中の道路を構成するリンクと当該車両との距離を求め、距離が閾値以下ならば当該車両は自車と同じレーンを走行中と判定し、そうでない場合は当該車両と当該リンクとの位置関係を基に当該車両の走行レーンを判定する物体検知装置。

Images