JP3656056B2 - 割り込み車両検出装置及びその方法 - Google Patents
割り込み車両検出装置及びその方法 Download PDFInfo
- Publication number
- JP3656056B2 JP3656056B2 JP2002084599A JP2002084599A JP3656056B2 JP 3656056 B2 JP3656056 B2 JP 3656056B2 JP 2002084599 A JP2002084599 A JP 2002084599A JP 2002084599 A JP2002084599 A JP 2002084599A JP 3656056 B2 JP3656056 B2 JP 3656056B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- area
- setting
- edge
- candidate area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、自動車などの車両に代表される移動体に取り付けられたＴＶカメラから得られる画像を用いて、自車両の走行しているレーン、または、自車両の走行が予測される領域に割り込んでくる車両を検出する画像処理装置及びその方法に関するものである。
【０００２】
【従来の技術】
「割り込み車両」とは、自車両の走行、または、停止しているレーン、または、自車両の走行が予測される領域に侵入してくる車両である。自車と近い距離で突発的に発生する現象であるため、非常に危険であり、迅速に検出する必要がある。
【０００３】
自車両の走行しているレーン、または、自車両の走行が予測される領域に割り込んでくる車両を検出する手段として、大きく分けてレーダを用いる方式と、画像を用いる方式が提案されている。
【０００４】
レーダを用いる方式として、特開平７−８９３６７号公報において、レーザレーダを用いて検出する方法が提案されている。レーザレーダを用いる方式は雨など悪天候に弱いという問題がある。また、割り込み車両の場合、レーザレーダが斜めに照射されるため、反射波を受光できないという問題や、指向性が強く、曲がった道路での利用などは困難であるということや、他車両から発せられるレーザと干渉するという問題がある。
【０００５】
これに対して、画像を用いる方式では、例えば自車両の走行レーンを検出することができるため、自車両の走行に対して危険となる領域を限定することができる。このように様々の情報を、画像から取得することができる。また、装置を安価に構成することもできる。したがって、センサとしてレーダを用いるのではなく画像を用いる。
【０００６】
この画像を用いる方式には、複数のＴＶカメラを用いる方式と、単一のＴＶカメラによって単眼で撮影した画像を用いる方式とがある。
【０００７】
複数のＴＶカメラを用いる方式として、特開平１１−２１３２９５号公報において、ステレオ視により車両までの距離を計測して、３次元シーンにおける他車両の移動ベクトルを求め、その延長線と走行レーンが交わったとき割り込み車両と検出する手法が提案されている。このステレオ視による手法は割り込み車両が、二台のＴＶカメラの共通視野領域に入ってくるまで検出できないため、検出が遅くなるという問題がある。また、左右の画像間から互いの点の応対付けにより視差を求めるので、計算量が大きくなるという問題もある。したがって、カメラとしては、複数のカメラを用いるのではなく、単一のカメラを用いるのが好ましい。
【０００８】
単一のＴＶカメラによって単眼で撮影した画像を用いる方式として、下記の二つの方式が知られている。
【０００９】
第１の方式としては、特開平８−２４９５９７号公報において、道路面のエッジ点数の変化に注目して割り込み車両を検出する方法が提案されている。この手法は、予め設定したある領域内部のエッジ点数の最大値が、ある閾値以上になったときに、割り込み車両が存在したとする。この手法では、エッジ点数から検出しているため、道路面に模様があると車両が存在しなくてもエッジ点数が増大することから誤検出する可能性がある。
【００１０】
第２の方式としては、特許第３０７５０６４号公報において、まず車両を検出し、検出した車両が走行レーン領域に十分に重なったら割り込み車両であると判断する手法が提案されている。この手法では、正確な車両検出が必要となるが、精度の良い車両検出自体困難である。
【００１１】
【発明が解決しようとする課題】
前述のように、単一のＴＶカメラを用いる第２の方式においては、割り込み車両の検出のために車両の正確な検出が必要である。
【００１２】
しかし、この車両の正確な検出は、非常に困難である。
【００１３】
そこで本発明では、以上のような点を考慮して、車両を正確に検出するのでなく、自車両の走行しているレーン、または、自車両の走行が予測される領域に割り込んでくる他車両の走行軌跡を、車両候補領域を追跡することにより求め、その走行軌跡から割り込み車両を検出する画像処理装置及びその方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
請求項１の発明は、自車両に搭載された画像入力装置により例えば、単眼で撮影されて取得される時系列画像を取り込む画像取得手段と、前記自車両の走行する範囲であって、かつ、他車両が割り込んでくると前記自車両が危険である範囲を危険領域として、前記時系列画像に対して前記危険領域の範囲の基準境界線を設定する基準境界線設定手段と、他車両と推定される全部、または、一部の領域である車両候補領域を、前記基準境界線を境界にして前記危険領域の外側の領域である車両追跡開始領域に設定する候補領域設定手段と、前記車両候補領域の走行軌跡を前記時系列画像に基づいて推定する走行軌跡推定手段と、前記推定した車両候補領域の走行軌跡が前記基準境界線に対して所定の割り込み条件を持つとき、前記車両候補領域を割り込み車両として判定する割り込み車両判定手段と、を具備し、前記候補領域設定手段は、前記車両追跡開始領域にエッジ検出フィルタを配置することにより垂直方向と水平方向のエッジ強度分布を求め、その求めたエッジ強度分布のピーク位置を前記垂直方向と前記水平方向のエッジ位置とするものであり、かつ、前記分離度を用いたエッジ検出フィルタを前記車両追跡開始領域に配置するときに、画像上の無限遠点である消失点からの距離が大きい程に前記分離度を用いたエッジ検出フィルタの適用領域を大きくするエッジ検出手段と、前記エッジ位置に前記車両候補領域を設定すると共に、その車両候補領域の大きさを前記消失点からの距離や前記基準境界線間の距離に応じた大きさに設定する車両候補領域設定手段と、を具備することを特徴とする割り込み車両検出装置である。
【００１５】
請求項２の発明は、前記割り込み車両判定手段は、前記車両候補領域の走行軌跡と前記基準境界線が交わるという割り込み条件、または、前記車両候補領域の走行軌跡の延長線が前記基準境界線と所定の角度範囲を持って交わるという割り込み条件の少なくともどちらか一方の割り込み条件が具備されたときに、前記車両候補領域を割り込み車両と判定することを特徴とする請求項１記載の割り込み車両検出装置である。
【００１７】
請求項３の発明は、前記走行軌跡追跡手段は、前記基準境界線に対して所定の割り込み特有の運動方向を持つ車両候補領域に限定して走行軌跡を推定することを特徴とする請求項１から３のうちいずれか一項に記載の割り込み車両検出装置である。
【００１８】
請求項４の発明は、自車両に搭載された画像入力装置により例えば、単眼で撮影されて取得される時系列画像を取り込む画像取得ステップと、前記自車両の走行する範囲であって、かつ、他車両が割り込んでくると前記自車両が危険である範囲を危険領域として、前記時系列画像に対して前記危険領域の範囲の基準境界線を設定する基準境界線設定ステップと、他車両と推定される全部、または、一部の領域である車両候補領域を、前記基準境界線を境界にして前記危険領域の外側の領域である車両追跡開始領域に設定する候補領域設定ステップと、前記車両候補領域の走行軌跡を前記時系列画像に基づいて推定する走行軌跡推定ステップと、前記推定した車両候補領域の走行軌跡が前記基準境界線に対して所定の割り込み条件を持つとき、前記車両候補領域を割り込み車両として判定する割り込み車両判定ステップと、を具備し、前記候補領域設定ステップは、前記車両追跡開始領域に分離度を用いたエッジ検出フィルタを配置することにより垂直方向と水平方向のエッジ強度分布を求め、その求めたエッジ強度分布のピーク位置を前記垂直方向と前記水平方向のエッジ位置とするものであり、かつ、前記エッジ検出フィルタを前記車両追跡開始領域に配置するときに、画像上の無限遠点である消失点からの距離が大きい程に前記分離度を用いたエッジ検出フィルタの適用領域を大きくするエッジ検出ステップと、前記エッジ位置に前記車両候補領域を設定すると共に、その車両候補領域の大きさを前記消失点からの距離や前記基準境界線間の距離に応じた大きさに設定する車両候補領域設定ステップと、具備することを特徴とする割り込み車両検出方法である。
【００１９】
請求項５の発明は、自車両に搭載された画像入力装置により例えば、単眼で撮影されて取得される時系列画像を取り込む画像取得機能と、前記自車両の走行する範囲であって、かつ、他車両が割り込んでくると前記自車両が危険である範囲を危険領域として、前記時系列画像に対して前記危険領域の範囲の基準境界線を設定する基準境界線設定機能と、他車両と推定される全部、または、一部の領域である車両候補領域を、前記基準境界線を境界にして前記危険領域の外側の領域である車両追跡開始領域に設定する候補領域設定機能と、前記車両候補領域の走行軌跡を前記時系列画像に基づいて推定する走行軌跡推定機能と、前記推定した車両候補領域の走行軌跡が前記基準境界線に対して所定の割り込み条件を持つとき、前記車両候補領域を割り込み車両として判定する割り込み車両判定機能と、を実現し、前記候補領域設定機能は、前記車両追跡開始領域に分離度を用いたエッジ検出フィルタを配置することにより垂直方向と水平方向のエッジ強度分布を求め、その求めたエッジ強度分布のピーク位置を前記垂直方向と前記水平方向のエッジ位置とするものであり、かつ、前記分離度を用いたエッジ検出フィルタを前記車両追跡開始領域に配置するときに、画像上の無限遠点である消失点からの距離が大きい程に前記エッジ検出フィルタの適用領域を大きくするエッジ検出機能と、前記エッジ位置に前記車両候補領域を設定すると共に、その車両候補領域の大きさを前記消失点からの距離や前記基準境界線間の距離に応じた大きさに設定する車両候補領域設定機能と、をコンピュータによって実現することを特徴とする割り込み車両検出方法のプログラムである。
【００２０】
本発明は、車両に搭載された画像入力装置により例えば、単眼で取得される時系列画像から、車両領域候補を設定して、その車両領域候補を追跡することにより車両の移動軌跡を計算して、割り込み車両であるかどうかを判定する。
【００２１】
追跡するときに割り込み車両特有の割り込み条件を用いることにより、安定な追跡を実現することができて、処理時間を小さくすることができる。
【００２２】
また、車両を認識することなく、割り込み車両特有の特徴を用いて追跡することによって、割り込み車両を検出することができる。
【００２３】
【発明の実施の形態】
本実施形態では、他車両が、自車両の走行している領域、または自車両の走行が予測される領域に進入する動きを持っていることに着目する。すなわち、割り込んでくる車両が、自車両の走行している領域、自車両の停止している領域、または、自車両の走行が予定される領域の境界線に対して、画像上における車両の走行軌跡が交わっている状態であることや、交わるような動きを持っている場合、割り込み車両の存在及び画像上の位置を検出する。画像上における車両の走行軌跡は、車両候補領域を追跡することにより計算される。
【００２４】
【実施例】
以下、図１から図１５を参照して本発明の実施形態を具体的に実現する一実施例を説明する。
【００２５】
図１に本実施例の割り込み車両検出装置の基本的な構成例を示す。
【００２６】
図１に示すように、割り込み車両検出装置は、画像入力部１、処理領域設定部２、候補領域設定部３、走行軌跡推定部４、割り込み判定部５とより構成され、これら各部１〜５の機能は、コンピュータに記憶されたプログラムによって実現される。
【００２７】
自車両に取り付けられた車両周辺の画像を取得可能な装置（例えば、１台のＴＶカメラ）である画像入力部１によって、単眼で撮影された時系列画像を取得する。
【００２８】
この単眼で撮影された時系列画像から、他車両が割り込みであるかどうか判定するために、自車両の走行に危険である領域（以下、危険領域という）を画像内に処理領域設定部２により領域を設定する。
【００２９】
また、割り込み車両の候補を検出するために追跡開始領域を画像内に領域を設定する。
【００３０】
なお、「割り込み車両」とは、自車両が走行している領域、前記自車両が停止している領域、または、前記自車両の走行が予測される領域に侵入してくる車両をいう。
【００３１】
（ａ）処理領域設定部２
図２に示すように、処理領域設定部２は、走行レーン検出部２１、基準境界線設定部２２からなる。
【００３２】
（ａ−１）走行レーン検出部２１
割り込み車両が走行レーンの境界線と交わるときを割り込みであると判断するため、自車両が現在、走行しているレーンを検出する。すなわち、自車両は道路を走行しているので、白線検出の結果を用いて、白線を走行レーンの境界線とする。なお、自車両は停止してもよい。
【００３３】
また、検出された２本の白線の交点を消失点とする。
【００３４】
この「消失点」とは、画像上における無限遠点のことである。白線検出としては、特開平７−８９３６７による方法など様々な手法が提案されていて、どのような手法を用いても良い。
【００３５】
（ａ−２）基準境界線設定部２２
割り込み車両は、自車両前方の近い距離において走行レーンの外側から進入してくるものである。
【００３６】
そこで、図６に示すように、自車両からある距離までの走行レーンに挟まれた領域を、危険領域と設定する。
【００３７】
また、危険領域の外側の領域を「車両追跡開始領域」として設定する。
【００３８】
さらに、危険領域の左右の境界線を「基準境界線」として設定する。
【００３９】
このときの車両追跡開始領域の幅は、消失点に近づくにつれて幅が小さくなるように設定される。
【００４０】
（ｂ）候補領域設定部３
図３に示すように、候補領域設定部３は、エッジ検出部３１、車両候補領域設定部３２からなる。
【００４１】
ところで、車両は、垂直・水平の線分が多い。したがって、垂直・水平方向を持つエッジが多い領域が車両領域である可能性が高い。そこで、垂直方向または、水平方向のエッジに注目して、エッジ検出し、その密度が高い領域を「車両候補領域」として設定する。
【００４２】
（ｂ−１）エッジ検出部３１
車両候補領域を設定するために水平・垂直エッジ成分が必要となるので、エッジ検出部３１によりエッジ検出を行う。
【００４３】
車両が走行している環境では、雨、影、照明変動など環境変化が激しいことがあるので、従来のＳｏｂｅｌフィルタのような画像の局所情報を用いたエッジ検出ではノイズの影響を受けやすく、望ましい結果が得られないことが多い。
【００４４】
そこで、“Ｅｄｇｅ Ｅｘｔｒａｃｔｉｏｎ Ｍｅｔｈｏｄ Ｂａｓｅｄ ｏｎ Ｓｅｐａｒａｂｉｌｉｔｙ ｏｆ ＩｍａｇｅＦｅａｔｕｒｅｓ，ＩＥＩＣＥ ＴＲＡＮＳ．ＩＮＦ．＆ ＳＹＳＴ．，ＶＯＬ．Ｅ７８−Ｄ，ＮＯ．１２ ＤＥＣＥＭＢＥＲ １９９５”において提案されている、分離度フィルタを用いたエッジ検出を用いる。
【００４５】
このエッジ検出手法は、ノイズの影響を受けにくく特徴点の輝度差に依存しないで求まる。図７において、分離度ηとは、判別分析により領域１と２における内部情報（例えば輝度）の差を表す量で、この分離度を用いたエッジ検出とは、以下のような式を用いて処理する。
【００４６】
【数１】
【数２】
【数３】
ここで、
但し、η１ は領域１内の画像数、η２ は領域２内の画像数、σＴ は領域全体の分散値、Ｐ１ は領域１の平均輝度値、Ｐ２ は領域２の平均輝度値、Ｐｍ は領域全体の平均輝度値、Ｐｉ は画像における位置ｉの輝度値。分離度ηは０から１の範囲の値を取る。
【００４７】
この分離度ηを領域１と２の境界線のエッジ強度とする。また、領域１と２を合わせて、分離度フィルタの適用領域とする。
【００４８】
なお、エッジ検出に関しては、様々な手法が提案されており、分離度フィルタによるエッジ検出手法に限定されず、任意のエッジ検出手法を用いることができる。
【００４９】
処理領域設定部２で設定した車両追跡開始領域に対して、図８（ａ）に示すように分離度フィルタを配置して分離度を求め、そのフィルタにおける中央の位置を求めるエッジ強度とした。
【００５０】
分離度フィルタの大きさは、幅に関しては、消失点に近づくにつれて幅が小さくなるように設定される。
【００５１】
水平エッジの場合は、図９のような型の分離度フィルタを消失点に向かって密に配置して、水平エッジを求める。さらに、消失点に向かってエッジ強度のピーク検出を行い、ピーク位置をエッジの位置とした。例えば、図８（ｂ）のような、横軸が水平エッジ強度、縦軸が位置を表すグラフがある場合、位置方向にある閾値以上のピーク値をもつ場所を検出して、その位置を水平エッジが存在する位置とする。
【００５２】
垂直エッジの場合は、図１０のような型の分離度フィルタを用いて、水平エッジの場合と同様に行う。
【００５３】
（ｂ−２）車両候補領域設定部３２
車両は、縦方向、横方向の線分を多く含むので、エッジ検出部３１で検出されたエッジ位置周辺に車両候補領域を設定する。
【００５４】
図１１に示すように、車両追跡開始領域内において、太線の位置にエッジが検出されたとする。すなわち、水平エッジの場合は、エッジ位置より画像上で上の領域に、垂直エッジの場合は、エッジ位置を横方向の中心とした領域を、車両候補領域と設定する。
【００５５】
このときの車両候補領域は、一台の車両に一個とは限らず、複数個設定することが可能である。
【００５６】
ここで、車両候補領域の大きさは、幅に関しては、消失点に近づくにつれて幅が小さくなるように設定される。
【００５７】
（ｃ）走行軌跡推定部４
図４に示すように、走行軌跡推定部４は、候補領域追跡部４１、走行軌跡計算部４２からなる。
【００５８】
（ｃ−１）候補領域追跡部４１
図５に示すように、候補領域追跡部４１は、マッチング部４１１、割り込み運動追跡部４１２よりなる。
【００５９】
（ｃ−１−１）マッチング部４１１
マッチング部４１１で、フレーム間の画像で車両候補領域に対してテンプレートマッチングを行う。テンプレートマッチングは、２つの画像が与えられるとき、両者を重ね合わせてその違いを見れば、両者が同じものか否かを判断することができるというような考えに基づく処理である。
【００６０】
このとき、２つの画像間における違いを様々な尺度で表すことができる。よく使われる尺度としては、輝度値の残差絶対値和（ＳＡＤ）や画像間の正規化相関係数（ＣＣ）や“Ｏｂｊｅｃｔ Ｓｅａｒｃｈ Ｕｓｉｎｇ Ｏｒｉｅｎｔａｔｉｏｎ Ｃｏｄｅ Ｍａｔｃｈｉｎｇ，ＩＡＰＲ Ｗｏｒｋｓｈｏｐ ｏｎ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ａｐｐｌｉｃａｔｉｏｎ（ＭＶＡ２０００），ＮＯＶ．２８−３０，２０００”で提案されている方向符号法（ＯＣＭ）などがある。
【００６１】
なお、マッチングの手法として、この手法に限定されるわけではなく、装置や必要とされる精度に応じて、どのようなマッチング手法を用いてもよい。
【００６２】
このマッチング部４１１により、車両候補領域がどこに動いたかが、画像上の座標値で出力される。
【００６３】
（ｃ−１−２）割り込み運動検出部４１２
割り込み運動検出部４１２では、割り込み運動を持っている車両候補領域のみを追跡して、それ以外の場合、つまり下記の（ｉ）マッチングが失敗している場合、（ｉｉ）、（ｉｉｉ）所定の割り込み特有の方向を持っていない場合は、追跡を止めて車両候補領域を破棄する。このように、不要な車両候補領域を破棄するのは、追跡する車両候補領域の数を減らして、計算の負担を軽くするためである。
【００６４】
まず、他車両が右側から割り込んでくることを想定する。
【００６５】
（ｉ）マッチングが失敗している場合
マッチング部４１１における車両候補領域の対応付けは、必ずしも正しいとは限らない。そこで、マッチング部４１１の処理から求まる、車両候補領域内における残差絶対値和の値を用いて、マッチングの信頼性を評価する。
【００６６】
つまり、残差絶対値和の値がある値より小さいときは、そのマッチングは成功している、大きいときは、マッチングが失敗しているとする。
【００６７】
マッチングが失敗している場合は、追跡を打ち切り、車両候補領域を破棄する。
【００６８】
（ｉｉ）短いフレーム間において、所定の割り込み特有の方向を持っていない場合
マッチング部４１１における車両候補領域の対応付けが成功しているとき、画像上の車両候補領域の運動方向を求める。
【００６９】
図１２に示すように、画像の垂直の上方向を０度とすると、短いフレーム間（例えば、１フレーム間）の車両候補領域の運動方向θが、次の式を満たすとき、割り込み特有の方向を持っているとし、追跡が成功しているとする。それ以外のときは、追跡が失敗しているとする。
【００７０】
θ１＝＜θ＝＜θ２
但し、θ１ は画像における垂直の上方向の角度であり、θ２ は基準境界線と平行をなす角度である。
【００７１】
追跡が失敗しているときは、追跡を打ち切り、車両候補領域を破棄する。追跡方向を限定することによって、より安定した追跡結果を得ることができる。
【００７２】
このような処理を毎フレームごとに行えば、車両候補領域の移動履歴がわかる。
【００７３】
（ｉｉｉ）長いフレーム間において所定の割り込み特有の方向を持っていない場合
短いフレーム間だけではなく、長いフレーム間においても追跡方向を限定する。
【００７４】
車両候補領域の移動距離が短いと、ピクセル量子化のために、追跡方向の分解能は小さいが、長いフレーム間追跡して移動距離が長くなると分解能が大きくなる。そこで、ある車両候補領域に対して、ある長さのフレーム間の情報が蓄えられると、追跡を開始した点の座標と現在の位置座標から追跡方向ベクトルを計算して、図１３に示すように、画像の垂直の上方向を０度とすると、追跡方向ベクトルの角度θが、下記の式を満たすとき、割り込み特有の方向を持っているとし、追跡が成功しているとする。それ以外のときは、追跡が失敗しているとする。そして、追跡が失敗しているときは、追跡を打ち切り、車両候補領域を破棄する。長いフレーム間の追跡方向を限定することによって、より安定した追跡結果を得ることができる。
【００７５】
θ１＝＜θ＝＜θ２
但し、画像における垂直の上方向の角度を０度とすると、θ１ は基準境界線と平行をなす角度であり、消失点方向に向かっている方である。θ２ は、基準境界線と平行をなす角度であり、θ１ とは逆側である。この角度の範囲は、追跡方向ベクトルの正確さにより変化し、正確である場合は、さらに角度範囲を限定しても良い。また、他車両が左側から割り込んでくる場合も同様に処理する。
【００７６】
このように処理することにより、長いフレーム間において所定の割り込み車両特有の運動方向を持つ追跡方向ベクトルが、安定して求まる。また、毎フレームごとに候補領域設定部３から出力される車両候補領域は、増加していくが、追跡が失敗している車両候補領域を破棄することにより増加が抑えられることになり、処理量を小さくすることができる。
【００７７】
（ｃ−２）走行軌跡計算部４２
走行軌跡計算部４２は、割り込み運動検出部４１２により求まる車両候補領域の追跡方向ベクトルの履歴から走行軌跡を計算する。
【００７８】
具体的には、図１４に示すように、１フレーム目の画像上の追跡を開始した位置座標と、Ｎフレーム目の画像上の車両候補領域の位置座標の２点から走行軌跡を計算する。
【００７９】
また、フレーム間全ての履歴から多くの点を用いて、最小２乗法などにより走行軌跡を計算しても良い。
【００８０】
（ｄ）割り込み判定部５
上記したように、走行軌跡計算部４２で走行軌跡が計算された車両候補領域は、割り込み車両の確率が高いものが残っている。そのため、割り込み判定部５では、走行軌跡計算部４２で計算された車両候補領域の走行軌跡と基準境界線設定部２２で設定された基準境界線を用いて、割り込みであるかどうかをさらに確実に判定する。判定条件として２種類を用いる。
【００８１】
（ｉ） 入力された時系列画像上において車両の走行軌跡が基準境界線に交わっている場合
（ｉｉ） 入力された時系列画像上において車両の走行軌跡の延長線が基準境界線に対して、所定の角度範囲を持って交わる場合
のどちらか一方の条件を用いて割り込み車両を検出できる。
【００８２】
まず、他車両が右側から割り込んでくることを想定する。
【００８３】
（ｉｉ）の所定の角度範囲とは、図１５に示すように、基準境界線と走行軌跡の延長線のなす角度θが、割り込みであると判定する角度θＣ と次式の条件を満たしていることである。
【００８４】
θ＞＝θｃ
このθＣ は、カメラの設置位置などにより変化するので、適宜に決定する必要がある。
【００８５】
また、他車両が左側から割り込んでくる場合も同様に処理する。
【００８６】
（１）の場合は、交わっている状態であるから、車両が基準領域に対して進入を開始するときから割り込みであると判定される。
【００８７】
（ｉｉ）の場合は、自車両の危険領域に侵入する前の、早い段階で判定することができる。
【００８８】
また、割り込みであると判定する角度は、カメラの設置位置などにより変化するので、適宜に決定する必要がある。この２つの判定条件のどちらかを満たしていれば割り込み車両と判定する。また、画像上における割り込み車両の位置は、他車両の走行軌跡または延長線と基準境界線との交点である。
【００８９】
＜変更例１＞
本発明は、前記実施例で記載した内容に限定されるものではない。
【００９０】
例えば、走行レーン検出部２１において、自車が走行しているレーンの境界線を検出する手法以外の、他の手法を用いても良い。
【００９１】
例えば、自車両の速度、ハンドル舵角から自車両の走行が予測される領域の境界線を求めて、それを走行レーンとみなして用い、同様の処理をしても良い。
【００９２】
＜変更例２＞
割り込み判定部５において、割り込みであるかどうか判定する条件は、入力された時系列画像上における手法と限られず、他の手法を用いても良い。
【００９３】
例えば、画像を道路の真上から見た視点の画像である逆投影画像に変換してから、
（ｉ） 逆投影画像上において車両の走行軌跡が逆投影画像上に設定した基準境界線に交わっている場合
（ｉｉ） 逆投影画像上において車両の走行軌跡の延長線が逆投影画像上に設定した基準境界線に対して、所定の角度範囲を持って交わる場合
を判定条件としても良い。
【００９４】
このように、本発明は部分的な要素処理の置き換えなどにより様々な拡張が可能である。
【００９５】
【発明の効果】
本発明によれば、車両に搭載された画像入力装置により取得される時系列画像から割り込み車両を安定に検出することができ、画像情報に基づく機器制御などの技術の実現に大きく貢献する。
【図面の簡単な説明】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１の処理領域設定部の一実施形態を示すブロック図である。
【図３】図１の候補領域設定部の一実施形態を示すブロック図である。
【図４】図１の走行軌跡推定部の一実施形態を示すブロック図である。
【図５】図４の候補領域追跡部の一実施形態を示すブロック図である。
【図６】処理領域を設定する手法の説明図である。
【図７】分離度フィルタの説明図である。
【図８】分離度フィルタによるエッジ検出を行う手法の説明図である。
【図９】エッジ検出におけるフィルタの説明図である。
【図１０】エッジ検出におけるフィルタの説明図である。
【図１１】候補領域を設定する手法の説明図である。
【図１２】追跡方向を限定する手法の説明図である。
【図１３】追跡方向を限定する手法の説明図である。
【図１４】走行軌跡を計算する手法の説明図である。
【図１５】割り込み判定条件の説明図である。
【符号の説明】
１ 画像入力部
２ 処理領域設定部
３ 候補領域設定部
４ 走行軌跡推定部
５ 割り込み判定部
２１ 走行レーン検出部
２２ 基準境界線設定部
３１ エッジ検出部
３２ 車両候補領域設定部
４１ 候補領域追跡部
４２ 走行軌跡計算部
４１１ マッチング部
４１２ 割り込み運動検出部
【発明の属する技術分野】
本発明は、自動車などの車両に代表される移動体に取り付けられたＴＶカメラから得られる画像を用いて、自車両の走行しているレーン、または、自車両の走行が予測される領域に割り込んでくる車両を検出する画像処理装置及びその方法に関するものである。
【０００２】
【従来の技術】
「割り込み車両」とは、自車両の走行、または、停止しているレーン、または、自車両の走行が予測される領域に侵入してくる車両である。自車と近い距離で突発的に発生する現象であるため、非常に危険であり、迅速に検出する必要がある。
【０００３】
自車両の走行しているレーン、または、自車両の走行が予測される領域に割り込んでくる車両を検出する手段として、大きく分けてレーダを用いる方式と、画像を用いる方式が提案されている。
【０００４】
レーダを用いる方式として、特開平７−８９３６７号公報において、レーザレーダを用いて検出する方法が提案されている。レーザレーダを用いる方式は雨など悪天候に弱いという問題がある。また、割り込み車両の場合、レーザレーダが斜めに照射されるため、反射波を受光できないという問題や、指向性が強く、曲がった道路での利用などは困難であるということや、他車両から発せられるレーザと干渉するという問題がある。
【０００５】
これに対して、画像を用いる方式では、例えば自車両の走行レーンを検出することができるため、自車両の走行に対して危険となる領域を限定することができる。このように様々の情報を、画像から取得することができる。また、装置を安価に構成することもできる。したがって、センサとしてレーダを用いるのではなく画像を用いる。
【０００６】
この画像を用いる方式には、複数のＴＶカメラを用いる方式と、単一のＴＶカメラによって単眼で撮影した画像を用いる方式とがある。
【０００７】
複数のＴＶカメラを用いる方式として、特開平１１−２１３２９５号公報において、ステレオ視により車両までの距離を計測して、３次元シーンにおける他車両の移動ベクトルを求め、その延長線と走行レーンが交わったとき割り込み車両と検出する手法が提案されている。このステレオ視による手法は割り込み車両が、二台のＴＶカメラの共通視野領域に入ってくるまで検出できないため、検出が遅くなるという問題がある。また、左右の画像間から互いの点の応対付けにより視差を求めるので、計算量が大きくなるという問題もある。したがって、カメラとしては、複数のカメラを用いるのではなく、単一のカメラを用いるのが好ましい。
【０００８】
単一のＴＶカメラによって単眼で撮影した画像を用いる方式として、下記の二つの方式が知られている。
【０００９】
第１の方式としては、特開平８−２４９５９７号公報において、道路面のエッジ点数の変化に注目して割り込み車両を検出する方法が提案されている。この手法は、予め設定したある領域内部のエッジ点数の最大値が、ある閾値以上になったときに、割り込み車両が存在したとする。この手法では、エッジ点数から検出しているため、道路面に模様があると車両が存在しなくてもエッジ点数が増大することから誤検出する可能性がある。
【００１０】
第２の方式としては、特許第３０７５０６４号公報において、まず車両を検出し、検出した車両が走行レーン領域に十分に重なったら割り込み車両であると判断する手法が提案されている。この手法では、正確な車両検出が必要となるが、精度の良い車両検出自体困難である。
【００１１】
【発明が解決しようとする課題】
前述のように、単一のＴＶカメラを用いる第２の方式においては、割り込み車両の検出のために車両の正確な検出が必要である。
【００１２】
しかし、この車両の正確な検出は、非常に困難である。
【００１３】
そこで本発明では、以上のような点を考慮して、車両を正確に検出するのでなく、自車両の走行しているレーン、または、自車両の走行が予測される領域に割り込んでくる他車両の走行軌跡を、車両候補領域を追跡することにより求め、その走行軌跡から割り込み車両を検出する画像処理装置及びその方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
請求項１の発明は、自車両に搭載された画像入力装置により例えば、単眼で撮影されて取得される時系列画像を取り込む画像取得手段と、前記自車両の走行する範囲であって、かつ、他車両が割り込んでくると前記自車両が危険である範囲を危険領域として、前記時系列画像に対して前記危険領域の範囲の基準境界線を設定する基準境界線設定手段と、他車両と推定される全部、または、一部の領域である車両候補領域を、前記基準境界線を境界にして前記危険領域の外側の領域である車両追跡開始領域に設定する候補領域設定手段と、前記車両候補領域の走行軌跡を前記時系列画像に基づいて推定する走行軌跡推定手段と、前記推定した車両候補領域の走行軌跡が前記基準境界線に対して所定の割り込み条件を持つとき、前記車両候補領域を割り込み車両として判定する割り込み車両判定手段と、を具備し、前記候補領域設定手段は、前記車両追跡開始領域にエッジ検出フィルタを配置することにより垂直方向と水平方向のエッジ強度分布を求め、その求めたエッジ強度分布のピーク位置を前記垂直方向と前記水平方向のエッジ位置とするものであり、かつ、前記分離度を用いたエッジ検出フィルタを前記車両追跡開始領域に配置するときに、画像上の無限遠点である消失点からの距離が大きい程に前記分離度を用いたエッジ検出フィルタの適用領域を大きくするエッジ検出手段と、前記エッジ位置に前記車両候補領域を設定すると共に、その車両候補領域の大きさを前記消失点からの距離や前記基準境界線間の距離に応じた大きさに設定する車両候補領域設定手段と、を具備することを特徴とする割り込み車両検出装置である。
【００１５】
請求項２の発明は、前記割り込み車両判定手段は、前記車両候補領域の走行軌跡と前記基準境界線が交わるという割り込み条件、または、前記車両候補領域の走行軌跡の延長線が前記基準境界線と所定の角度範囲を持って交わるという割り込み条件の少なくともどちらか一方の割り込み条件が具備されたときに、前記車両候補領域を割り込み車両と判定することを特徴とする請求項１記載の割り込み車両検出装置である。
【００１７】
請求項３の発明は、前記走行軌跡追跡手段は、前記基準境界線に対して所定の割り込み特有の運動方向を持つ車両候補領域に限定して走行軌跡を推定することを特徴とする請求項１から３のうちいずれか一項に記載の割り込み車両検出装置である。
【００１８】
請求項４の発明は、自車両に搭載された画像入力装置により例えば、単眼で撮影されて取得される時系列画像を取り込む画像取得ステップと、前記自車両の走行する範囲であって、かつ、他車両が割り込んでくると前記自車両が危険である範囲を危険領域として、前記時系列画像に対して前記危険領域の範囲の基準境界線を設定する基準境界線設定ステップと、他車両と推定される全部、または、一部の領域である車両候補領域を、前記基準境界線を境界にして前記危険領域の外側の領域である車両追跡開始領域に設定する候補領域設定ステップと、前記車両候補領域の走行軌跡を前記時系列画像に基づいて推定する走行軌跡推定ステップと、前記推定した車両候補領域の走行軌跡が前記基準境界線に対して所定の割り込み条件を持つとき、前記車両候補領域を割り込み車両として判定する割り込み車両判定ステップと、を具備し、前記候補領域設定ステップは、前記車両追跡開始領域に分離度を用いたエッジ検出フィルタを配置することにより垂直方向と水平方向のエッジ強度分布を求め、その求めたエッジ強度分布のピーク位置を前記垂直方向と前記水平方向のエッジ位置とするものであり、かつ、前記エッジ検出フィルタを前記車両追跡開始領域に配置するときに、画像上の無限遠点である消失点からの距離が大きい程に前記分離度を用いたエッジ検出フィルタの適用領域を大きくするエッジ検出ステップと、前記エッジ位置に前記車両候補領域を設定すると共に、その車両候補領域の大きさを前記消失点からの距離や前記基準境界線間の距離に応じた大きさに設定する車両候補領域設定ステップと、具備することを特徴とする割り込み車両検出方法である。
【００１９】
請求項５の発明は、自車両に搭載された画像入力装置により例えば、単眼で撮影されて取得される時系列画像を取り込む画像取得機能と、前記自車両の走行する範囲であって、かつ、他車両が割り込んでくると前記自車両が危険である範囲を危険領域として、前記時系列画像に対して前記危険領域の範囲の基準境界線を設定する基準境界線設定機能と、他車両と推定される全部、または、一部の領域である車両候補領域を、前記基準境界線を境界にして前記危険領域の外側の領域である車両追跡開始領域に設定する候補領域設定機能と、前記車両候補領域の走行軌跡を前記時系列画像に基づいて推定する走行軌跡推定機能と、前記推定した車両候補領域の走行軌跡が前記基準境界線に対して所定の割り込み条件を持つとき、前記車両候補領域を割り込み車両として判定する割り込み車両判定機能と、を実現し、前記候補領域設定機能は、前記車両追跡開始領域に分離度を用いたエッジ検出フィルタを配置することにより垂直方向と水平方向のエッジ強度分布を求め、その求めたエッジ強度分布のピーク位置を前記垂直方向と前記水平方向のエッジ位置とするものであり、かつ、前記分離度を用いたエッジ検出フィルタを前記車両追跡開始領域に配置するときに、画像上の無限遠点である消失点からの距離が大きい程に前記エッジ検出フィルタの適用領域を大きくするエッジ検出機能と、前記エッジ位置に前記車両候補領域を設定すると共に、その車両候補領域の大きさを前記消失点からの距離や前記基準境界線間の距離に応じた大きさに設定する車両候補領域設定機能と、をコンピュータによって実現することを特徴とする割り込み車両検出方法のプログラムである。
【００２０】
本発明は、車両に搭載された画像入力装置により例えば、単眼で取得される時系列画像から、車両領域候補を設定して、その車両領域候補を追跡することにより車両の移動軌跡を計算して、割り込み車両であるかどうかを判定する。
【００２１】
追跡するときに割り込み車両特有の割り込み条件を用いることにより、安定な追跡を実現することができて、処理時間を小さくすることができる。
【００２２】
また、車両を認識することなく、割り込み車両特有の特徴を用いて追跡することによって、割り込み車両を検出することができる。
【００２３】
【発明の実施の形態】
本実施形態では、他車両が、自車両の走行している領域、または自車両の走行が予測される領域に進入する動きを持っていることに着目する。すなわち、割り込んでくる車両が、自車両の走行している領域、自車両の停止している領域、または、自車両の走行が予定される領域の境界線に対して、画像上における車両の走行軌跡が交わっている状態であることや、交わるような動きを持っている場合、割り込み車両の存在及び画像上の位置を検出する。画像上における車両の走行軌跡は、車両候補領域を追跡することにより計算される。
【００２４】
【実施例】
以下、図１から図１５を参照して本発明の実施形態を具体的に実現する一実施例を説明する。
【００２５】
図１に本実施例の割り込み車両検出装置の基本的な構成例を示す。
【００２６】
図１に示すように、割り込み車両検出装置は、画像入力部１、処理領域設定部２、候補領域設定部３、走行軌跡推定部４、割り込み判定部５とより構成され、これら各部１〜５の機能は、コンピュータに記憶されたプログラムによって実現される。
【００２７】
自車両に取り付けられた車両周辺の画像を取得可能な装置（例えば、１台のＴＶカメラ）である画像入力部１によって、単眼で撮影された時系列画像を取得する。
【００２８】
この単眼で撮影された時系列画像から、他車両が割り込みであるかどうか判定するために、自車両の走行に危険である領域（以下、危険領域という）を画像内に処理領域設定部２により領域を設定する。
【００２９】
また、割り込み車両の候補を検出するために追跡開始領域を画像内に領域を設定する。
【００３０】
なお、「割り込み車両」とは、自車両が走行している領域、前記自車両が停止している領域、または、前記自車両の走行が予測される領域に侵入してくる車両をいう。
【００３１】
（ａ）処理領域設定部２
図２に示すように、処理領域設定部２は、走行レーン検出部２１、基準境界線設定部２２からなる。
【００３２】
（ａ−１）走行レーン検出部２１
割り込み車両が走行レーンの境界線と交わるときを割り込みであると判断するため、自車両が現在、走行しているレーンを検出する。すなわち、自車両は道路を走行しているので、白線検出の結果を用いて、白線を走行レーンの境界線とする。なお、自車両は停止してもよい。
【００３３】
また、検出された２本の白線の交点を消失点とする。
【００３４】
この「消失点」とは、画像上における無限遠点のことである。白線検出としては、特開平７−８９３６７による方法など様々な手法が提案されていて、どのような手法を用いても良い。
【００３５】
（ａ−２）基準境界線設定部２２
割り込み車両は、自車両前方の近い距離において走行レーンの外側から進入してくるものである。
【００３６】
そこで、図６に示すように、自車両からある距離までの走行レーンに挟まれた領域を、危険領域と設定する。
【００３７】
また、危険領域の外側の領域を「車両追跡開始領域」として設定する。
【００３８】
さらに、危険領域の左右の境界線を「基準境界線」として設定する。
【００３９】
このときの車両追跡開始領域の幅は、消失点に近づくにつれて幅が小さくなるように設定される。
【００４０】
（ｂ）候補領域設定部３
図３に示すように、候補領域設定部３は、エッジ検出部３１、車両候補領域設定部３２からなる。
【００４１】
ところで、車両は、垂直・水平の線分が多い。したがって、垂直・水平方向を持つエッジが多い領域が車両領域である可能性が高い。そこで、垂直方向または、水平方向のエッジに注目して、エッジ検出し、その密度が高い領域を「車両候補領域」として設定する。
【００４２】
（ｂ−１）エッジ検出部３１
車両候補領域を設定するために水平・垂直エッジ成分が必要となるので、エッジ検出部３１によりエッジ検出を行う。
【００４３】
車両が走行している環境では、雨、影、照明変動など環境変化が激しいことがあるので、従来のＳｏｂｅｌフィルタのような画像の局所情報を用いたエッジ検出ではノイズの影響を受けやすく、望ましい結果が得られないことが多い。
【００４４】
そこで、“Ｅｄｇｅ Ｅｘｔｒａｃｔｉｏｎ Ｍｅｔｈｏｄ Ｂａｓｅｄ ｏｎ Ｓｅｐａｒａｂｉｌｉｔｙ ｏｆ ＩｍａｇｅＦｅａｔｕｒｅｓ，ＩＥＩＣＥ ＴＲＡＮＳ．ＩＮＦ．＆ ＳＹＳＴ．，ＶＯＬ．Ｅ７８−Ｄ，ＮＯ．１２ ＤＥＣＥＭＢＥＲ １９９５”において提案されている、分離度フィルタを用いたエッジ検出を用いる。
【００４５】
このエッジ検出手法は、ノイズの影響を受けにくく特徴点の輝度差に依存しないで求まる。図７において、分離度ηとは、判別分析により領域１と２における内部情報（例えば輝度）の差を表す量で、この分離度を用いたエッジ検出とは、以下のような式を用いて処理する。
【００４６】
【数１】
但し、η１ は領域１内の画像数、η２ は領域２内の画像数、σＴ は領域全体の分散値、Ｐ１ は領域１の平均輝度値、Ｐ２ は領域２の平均輝度値、Ｐｍ は領域全体の平均輝度値、Ｐｉ は画像における位置ｉの輝度値。分離度ηは０から１の範囲の値を取る。
【００４７】
この分離度ηを領域１と２の境界線のエッジ強度とする。また、領域１と２を合わせて、分離度フィルタの適用領域とする。
【００４８】
なお、エッジ検出に関しては、様々な手法が提案されており、分離度フィルタによるエッジ検出手法に限定されず、任意のエッジ検出手法を用いることができる。
【００４９】
処理領域設定部２で設定した車両追跡開始領域に対して、図８（ａ）に示すように分離度フィルタを配置して分離度を求め、そのフィルタにおける中央の位置を求めるエッジ強度とした。
【００５０】
分離度フィルタの大きさは、幅に関しては、消失点に近づくにつれて幅が小さくなるように設定される。
【００５１】
水平エッジの場合は、図９のような型の分離度フィルタを消失点に向かって密に配置して、水平エッジを求める。さらに、消失点に向かってエッジ強度のピーク検出を行い、ピーク位置をエッジの位置とした。例えば、図８（ｂ）のような、横軸が水平エッジ強度、縦軸が位置を表すグラフがある場合、位置方向にある閾値以上のピーク値をもつ場所を検出して、その位置を水平エッジが存在する位置とする。
【００５２】
垂直エッジの場合は、図１０のような型の分離度フィルタを用いて、水平エッジの場合と同様に行う。
【００５３】
（ｂ−２）車両候補領域設定部３２
車両は、縦方向、横方向の線分を多く含むので、エッジ検出部３１で検出されたエッジ位置周辺に車両候補領域を設定する。
【００５４】
図１１に示すように、車両追跡開始領域内において、太線の位置にエッジが検出されたとする。すなわち、水平エッジの場合は、エッジ位置より画像上で上の領域に、垂直エッジの場合は、エッジ位置を横方向の中心とした領域を、車両候補領域と設定する。
【００５５】
このときの車両候補領域は、一台の車両に一個とは限らず、複数個設定することが可能である。
【００５６】
ここで、車両候補領域の大きさは、幅に関しては、消失点に近づくにつれて幅が小さくなるように設定される。
【００５７】
（ｃ）走行軌跡推定部４
図４に示すように、走行軌跡推定部４は、候補領域追跡部４１、走行軌跡計算部４２からなる。
【００５８】
（ｃ−１）候補領域追跡部４１
図５に示すように、候補領域追跡部４１は、マッチング部４１１、割り込み運動追跡部４１２よりなる。
【００５９】
（ｃ−１−１）マッチング部４１１
マッチング部４１１で、フレーム間の画像で車両候補領域に対してテンプレートマッチングを行う。テンプレートマッチングは、２つの画像が与えられるとき、両者を重ね合わせてその違いを見れば、両者が同じものか否かを判断することができるというような考えに基づく処理である。
【００６０】
このとき、２つの画像間における違いを様々な尺度で表すことができる。よく使われる尺度としては、輝度値の残差絶対値和（ＳＡＤ）や画像間の正規化相関係数（ＣＣ）や“Ｏｂｊｅｃｔ Ｓｅａｒｃｈ Ｕｓｉｎｇ Ｏｒｉｅｎｔａｔｉｏｎ Ｃｏｄｅ Ｍａｔｃｈｉｎｇ，ＩＡＰＲ Ｗｏｒｋｓｈｏｐ ｏｎ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ａｐｐｌｉｃａｔｉｏｎ（ＭＶＡ２０００），ＮＯＶ．２８−３０，２０００”で提案されている方向符号法（ＯＣＭ）などがある。
【００６１】
なお、マッチングの手法として、この手法に限定されるわけではなく、装置や必要とされる精度に応じて、どのようなマッチング手法を用いてもよい。
【００６２】
このマッチング部４１１により、車両候補領域がどこに動いたかが、画像上の座標値で出力される。
【００６３】
（ｃ−１−２）割り込み運動検出部４１２
割り込み運動検出部４１２では、割り込み運動を持っている車両候補領域のみを追跡して、それ以外の場合、つまり下記の（ｉ）マッチングが失敗している場合、（ｉｉ）、（ｉｉｉ）所定の割り込み特有の方向を持っていない場合は、追跡を止めて車両候補領域を破棄する。このように、不要な車両候補領域を破棄するのは、追跡する車両候補領域の数を減らして、計算の負担を軽くするためである。
【００６４】
まず、他車両が右側から割り込んでくることを想定する。
【００６５】
（ｉ）マッチングが失敗している場合
マッチング部４１１における車両候補領域の対応付けは、必ずしも正しいとは限らない。そこで、マッチング部４１１の処理から求まる、車両候補領域内における残差絶対値和の値を用いて、マッチングの信頼性を評価する。
【００６６】
つまり、残差絶対値和の値がある値より小さいときは、そのマッチングは成功している、大きいときは、マッチングが失敗しているとする。
【００６７】
マッチングが失敗している場合は、追跡を打ち切り、車両候補領域を破棄する。
【００６８】
（ｉｉ）短いフレーム間において、所定の割り込み特有の方向を持っていない場合
マッチング部４１１における車両候補領域の対応付けが成功しているとき、画像上の車両候補領域の運動方向を求める。
【００６９】
図１２に示すように、画像の垂直の上方向を０度とすると、短いフレーム間（例えば、１フレーム間）の車両候補領域の運動方向θが、次の式を満たすとき、割り込み特有の方向を持っているとし、追跡が成功しているとする。それ以外のときは、追跡が失敗しているとする。
【００７０】
θ１＝＜θ＝＜θ２
但し、θ１ は画像における垂直の上方向の角度であり、θ２ は基準境界線と平行をなす角度である。
【００７１】
追跡が失敗しているときは、追跡を打ち切り、車両候補領域を破棄する。追跡方向を限定することによって、より安定した追跡結果を得ることができる。
【００７２】
このような処理を毎フレームごとに行えば、車両候補領域の移動履歴がわかる。
【００７３】
（ｉｉｉ）長いフレーム間において所定の割り込み特有の方向を持っていない場合
短いフレーム間だけではなく、長いフレーム間においても追跡方向を限定する。
【００７４】
車両候補領域の移動距離が短いと、ピクセル量子化のために、追跡方向の分解能は小さいが、長いフレーム間追跡して移動距離が長くなると分解能が大きくなる。そこで、ある車両候補領域に対して、ある長さのフレーム間の情報が蓄えられると、追跡を開始した点の座標と現在の位置座標から追跡方向ベクトルを計算して、図１３に示すように、画像の垂直の上方向を０度とすると、追跡方向ベクトルの角度θが、下記の式を満たすとき、割り込み特有の方向を持っているとし、追跡が成功しているとする。それ以外のときは、追跡が失敗しているとする。そして、追跡が失敗しているときは、追跡を打ち切り、車両候補領域を破棄する。長いフレーム間の追跡方向を限定することによって、より安定した追跡結果を得ることができる。
【００７５】
θ１＝＜θ＝＜θ２
但し、画像における垂直の上方向の角度を０度とすると、θ１ は基準境界線と平行をなす角度であり、消失点方向に向かっている方である。θ２ は、基準境界線と平行をなす角度であり、θ１ とは逆側である。この角度の範囲は、追跡方向ベクトルの正確さにより変化し、正確である場合は、さらに角度範囲を限定しても良い。また、他車両が左側から割り込んでくる場合も同様に処理する。
【００７６】
このように処理することにより、長いフレーム間において所定の割り込み車両特有の運動方向を持つ追跡方向ベクトルが、安定して求まる。また、毎フレームごとに候補領域設定部３から出力される車両候補領域は、増加していくが、追跡が失敗している車両候補領域を破棄することにより増加が抑えられることになり、処理量を小さくすることができる。
【００７７】
（ｃ−２）走行軌跡計算部４２
走行軌跡計算部４２は、割り込み運動検出部４１２により求まる車両候補領域の追跡方向ベクトルの履歴から走行軌跡を計算する。
【００７８】
具体的には、図１４に示すように、１フレーム目の画像上の追跡を開始した位置座標と、Ｎフレーム目の画像上の車両候補領域の位置座標の２点から走行軌跡を計算する。
【００７９】
また、フレーム間全ての履歴から多くの点を用いて、最小２乗法などにより走行軌跡を計算しても良い。
【００８０】
（ｄ）割り込み判定部５
上記したように、走行軌跡計算部４２で走行軌跡が計算された車両候補領域は、割り込み車両の確率が高いものが残っている。そのため、割り込み判定部５では、走行軌跡計算部４２で計算された車両候補領域の走行軌跡と基準境界線設定部２２で設定された基準境界線を用いて、割り込みであるかどうかをさらに確実に判定する。判定条件として２種類を用いる。
【００８１】
（ｉ） 入力された時系列画像上において車両の走行軌跡が基準境界線に交わっている場合
（ｉｉ） 入力された時系列画像上において車両の走行軌跡の延長線が基準境界線に対して、所定の角度範囲を持って交わる場合
のどちらか一方の条件を用いて割り込み車両を検出できる。
【００８２】
まず、他車両が右側から割り込んでくることを想定する。
【００８３】
（ｉｉ）の所定の角度範囲とは、図１５に示すように、基準境界線と走行軌跡の延長線のなす角度θが、割り込みであると判定する角度θＣ と次式の条件を満たしていることである。
【００８４】
θ＞＝θｃ
このθＣ は、カメラの設置位置などにより変化するので、適宜に決定する必要がある。
【００８５】
また、他車両が左側から割り込んでくる場合も同様に処理する。
【００８６】
（１）の場合は、交わっている状態であるから、車両が基準領域に対して進入を開始するときから割り込みであると判定される。
【００８７】
（ｉｉ）の場合は、自車両の危険領域に侵入する前の、早い段階で判定することができる。
【００８８】
また、割り込みであると判定する角度は、カメラの設置位置などにより変化するので、適宜に決定する必要がある。この２つの判定条件のどちらかを満たしていれば割り込み車両と判定する。また、画像上における割り込み車両の位置は、他車両の走行軌跡または延長線と基準境界線との交点である。
【００８９】
＜変更例１＞
本発明は、前記実施例で記載した内容に限定されるものではない。
【００９０】
例えば、走行レーン検出部２１において、自車が走行しているレーンの境界線を検出する手法以外の、他の手法を用いても良い。
【００９１】
例えば、自車両の速度、ハンドル舵角から自車両の走行が予測される領域の境界線を求めて、それを走行レーンとみなして用い、同様の処理をしても良い。
【００９２】
＜変更例２＞
割り込み判定部５において、割り込みであるかどうか判定する条件は、入力された時系列画像上における手法と限られず、他の手法を用いても良い。
【００９３】
例えば、画像を道路の真上から見た視点の画像である逆投影画像に変換してから、
（ｉ） 逆投影画像上において車両の走行軌跡が逆投影画像上に設定した基準境界線に交わっている場合
（ｉｉ） 逆投影画像上において車両の走行軌跡の延長線が逆投影画像上に設定した基準境界線に対して、所定の角度範囲を持って交わる場合
を判定条件としても良い。
【００９４】
このように、本発明は部分的な要素処理の置き換えなどにより様々な拡張が可能である。
【００９５】
【発明の効果】
本発明によれば、車両に搭載された画像入力装置により取得される時系列画像から割り込み車両を安定に検出することができ、画像情報に基づく機器制御などの技術の実現に大きく貢献する。
【図面の簡単な説明】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１の処理領域設定部の一実施形態を示すブロック図である。
【図３】図１の候補領域設定部の一実施形態を示すブロック図である。
【図４】図１の走行軌跡推定部の一実施形態を示すブロック図である。
【図５】図４の候補領域追跡部の一実施形態を示すブロック図である。
【図６】処理領域を設定する手法の説明図である。
【図７】分離度フィルタの説明図である。
【図８】分離度フィルタによるエッジ検出を行う手法の説明図である。
【図９】エッジ検出におけるフィルタの説明図である。
【図１０】エッジ検出におけるフィルタの説明図である。
【図１１】候補領域を設定する手法の説明図である。
【図１２】追跡方向を限定する手法の説明図である。
【図１３】追跡方向を限定する手法の説明図である。
【図１４】走行軌跡を計算する手法の説明図である。
【図１５】割り込み判定条件の説明図である。
【符号の説明】
１ 画像入力部
２ 処理領域設定部
３ 候補領域設定部
４ 走行軌跡推定部
５ 割り込み判定部
２１ 走行レーン検出部
２２ 基準境界線設定部
３１ エッジ検出部
３２ 車両候補領域設定部
４１ 候補領域追跡部
４２ 走行軌跡計算部
４１１ マッチング部
４１２ 割り込み運動検出部
Claims (5)
- 自車両に搭載された画像入力装置により撮影されて取得される時系列画像を取り込む画像取得手段と、
前記自車両の走行する範囲であって、かつ、他車両が割り込んでくると前記自車両が危険である範囲を危険領域として、前記時系列画像に対して前記危険領域の範囲の基準境界線を設定する基準境界線設定手段と、
他車両と推定される全部、または、一部の領域である車両候補領域を、前記基準境界線を境界にして前記危険領域の外側の領域である車両追跡開始領域に設定する候補領域設定手段と、
前記車両候補領域の走行軌跡を前記時系列画像に基づいて推定する走行軌跡推定手段と、
前記推定した車両候補領域の走行軌跡が前記基準境界線に対して所定の割り込み条件を持つとき、前記車両候補領域を割り込み車両として判定する割り込み車両判定手段と、
を具備し、
前記候補領域設定手段は、
前記車両追跡開始領域に分離度を用いたエッジ検出フィルタを配置することにより垂直方向と水平方向のエッジ強度分布を求め、その求めたエッジ強度分布のピーク位置を前記垂直方向と前記水平方向のエッジ位置とするものであり、かつ、前記エッジ検出フィルタを前記車両追跡開始領域に配置するときに、画像上の無限遠点である消失点からの距離が大きい程に前記分離度を用いたエッジ検出フィルタの適用領域を大きくするエッジ検出手段と、
前記エッジ位置に前記車両候補領域を設定すると共に、その車両候補領域の大きさを前記消失点からの距離や前記基準境界線間の距離に応じた大きさに設定する車両候補領域設定手段と、
を具備する
ことを特徴とする割り込み車両検出装置。 - 前記割り込み車両判定手段は、
前記車両候補領域の走行軌跡と前記基準境界線が交わるという割り込み条件、または、前記車両候補領域の走行軌跡の延長線が前記基準境界線と所定の角度範囲を持って交わるという割り込み条件の少なくともどちらか一方の割り込み条件が具備されたときに、前記車両候補領域を割り込み車両と判定する
ことを特徴とする請求項１記載の割り込み車両検出装置。 - 前記走行軌跡追跡手段は、
前記基準境界線に対して所定の割り込み特有の運動方向を持つ車両候補領域に限定して走行軌跡を推定する
ことを特徴とする請求項１または２に記載の割り込み車両検出装置。 - 自車両が走行している領域、前記自車両が停止している領域、または、前記自車両の走行が予測される領域に侵入してくる割り込み車両を検出する割り込み車両検出方法において、
前記自車両に搭載された画像入力装置により単眼で撮影されて取得される時系列画像を取り込む画像取得ステップと、
前記自車両の走行する範囲であって、かつ、他車両が割り込んでくると前記自車両が危険である範囲を危険領域として、前記時系列画像上において前記危険領域の範囲を示す基準境界線を設定する基準境界線設定ステップと、
他車両と推定される全部、または、一部の領域である車両候補領域を、前記基準境界線を境界にして前記危険領域の外側の領域である車両追跡開始領域に設定する候補領域設定ステップと、
前記車両候補領域の走行軌跡を前記時系列画像に基づいて推定する走行軌跡推定ステップと、
前記推定した車両候補領域の走行軌跡が前記基準境界線に対して所定の割り込み条件を持つとき、前記車両候補領域を割り込み車両として判定する割り込み車両判定ステップと、
を具備し、
前記候補領域設定ステップは、
前記車両追跡開始領域に分離度を用いたエッジ検出フィルタを配置することにより垂直方向と水平方向のエッジ強度分布を求め、その求めたエッジ強度分布のピーク位置を前記垂直方向と前記水平方向のエッジ位置とするものであり、かつ、前記エッジ検出フィルタを前記車両追跡開始領域に配置するときに、画像上の無限遠点である消失点からの距離が大きい程に前記分離度を用いたエッジ検出フィルタの適用領域を大きくするエッジ検出ステップと、
前記エッジ位置に前記車両候補領域を設定すると共に、その車両候補領域の大きさを前記消失点からの距離や前記基準境界線間の距離に応じた大きさに設定する車両候補領域設定ステップと、
を具備する
ことを特徴とする割り込み車両検出方法。 - 自車両が走行している領域、前記自車両が停止している領域、または、前記自車両の走行が予測される領域に侵入してくる割り込み車両を検出する割り込み車両検出方法をコンピュータによって実現するプログラムにおいて、
前記自車両に搭載された画像入力装置により単眼で撮影されて取得される時系列画像を取り込む画像取得機能と、
前記自車両の走行する範囲であって、かつ、他車両が割り込んでくると前記自車両が危険である範囲を危険領域として、前記時系列画像上において前記危険領域の範囲を示す基準境界線を設定する基準境界線設定機能と、
他車両と推定される全部、または、一部の領域である車両候補領域を、前記基準境界線を境界にして前記危険領域の外側の領域である車両追跡開始領域に設定する候補領域設定機能と、
前記車両候補領域の走行軌跡を前記時系列画像に基づいて推定する走行軌跡推定機能と、
前記推定した車両候補領域の走行軌跡が前記基準境界線に対して所定の割り込み条件を持つとき、前記車両候補領域を割り込み車両として判定する割り込み車両判定機能と、
を実現し、
前記候補領域設定機能は、
前記車両追跡開始領域に分離度を用いたエッジ検出フィルタを配置することにより垂直方向と水平方向のエッジ強度分布を求め、その求めたエッジ強度分布のピーク位置を前記垂直方向と前記水平方向のエッジ位置とするものであり、かつ、前記エッジ検出フィルタを前記車両追跡開始領域に配置するときに、画像上の無限遠点である消失点からの距離が大きい程に前記分離度を用いたエッジ検出フィルタの適用領域を大きくするエッジ検出機能と、
前記エッジ位置に前記車両候補領域を設定すると共に、その車両候補領域の大きさを前記消失点からの距離や前記基準境界線間の距離に応じた大きさに設定する車両候補領域設定機能と、
を実現する
ことを特徴とする割り込み車両検出方法のプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002084599A JP3656056B2 (ja) | 2002-03-25 | 2002-03-25 | 割り込み車両検出装置及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002084599A JP3656056B2 (ja) | 2002-03-25 | 2002-03-25 | 割り込み車両検出装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003281700A JP2003281700A (ja) | 2003-10-03 |
| JP3656056B2 true JP3656056B2 (ja) | 2005-06-02 |
Family
ID=29231859
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002084599A Expired - Fee Related JP3656056B2 (ja) | 2002-03-25 | 2002-03-25 | 割り込み車両検出装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3656056B2 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
| US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
| US6891563B2 (en) | 1996-05-22 | 2005-05-10 | Donnelly Corporation | Vehicular vision system |
| US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
| US7038577B2 (en) | 2002-05-03 | 2006-05-02 | Donnelly Corporation | Object detection system for vehicle |
| US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
| JP3931891B2 (ja) * | 2004-07-05 | 2007-06-20 | 日産自動車株式会社 | 車載用画像処理装置 |
| JP4107273B2 (ja) * | 2004-08-04 | 2008-06-25 | 日産自動車株式会社 | 移動体検出装置 |
| JP4140588B2 (ja) * | 2004-09-01 | 2008-08-27 | 日産自動車株式会社 | 移動物体検出装置 |
| US7972045B2 (en) | 2006-08-11 | 2011-07-05 | Donnelly Corporation | Automatic headlamp control system |
| JP2008117073A (ja) * | 2006-11-01 | 2008-05-22 | Fuji Heavy Ind Ltd | 割り込み車両検出装置 |
| US8917934B2 (en) * | 2012-06-14 | 2014-12-23 | International Business Machines Corporation | Multi-cue object detection and analysis |
| JP5884794B2 (ja) * | 2013-08-29 | 2016-03-15 | 株式会社デンソー | 衝突可能性判定装置およびプログラム |
| JP6139465B2 (ja) * | 2014-05-28 | 2017-05-31 | 本田技研工業株式会社 | 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム |
| KR101593484B1 (ko) | 2014-07-10 | 2016-02-15 | 경북대학교 산학협력단 | 동등-높이 주변영역 정합 영상을 이용하여 측면에서 접근하는 일부분만 보이는 물체를 검출하기 위한 영상 처리 장치 및 방법, 그리고 그를 이용한 차량 운전 보조 시스템 |
| JP2024007597A (ja) * | 2022-07-06 | 2024-01-19 | 日立Astemo株式会社 | 車両制御装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2850608B2 (ja) * | 1991-11-28 | 1999-01-27 | 日産自動車株式会社 | 車両用走行路検出装置 |
| JP3734553B2 (ja) * | 1996-02-19 | 2006-01-11 | 富士通テン株式会社 | 車両認識装置 |
| JPH11232465A (ja) * | 1998-02-13 | 1999-08-27 | Fujitsu Ltd | 移動物体検出装置及びプログラム記録媒体 |
| JP3719029B2 (ja) * | 1999-02-24 | 2005-11-24 | 三菱自動車工業株式会社 | 割り込み車両検出装置 |
| JP3738949B2 (ja) * | 1999-07-08 | 2006-01-25 | 三菱自動車工業株式会社 | 車両周辺領域監視装置 |
| JP2001199260A (ja) * | 2000-01-20 | 2001-07-24 | Matsushita Electric Ind Co Ltd | 車間距離制御装置、車両走行状況表示装置、車速制御解除装置、及び車両急制動警告装置 |
| JP2001216520A (ja) * | 2000-01-31 | 2001-08-10 | Yazaki Corp | 車両用周辺監視装置 |
-
2002
- 2002-03-25 JP JP2002084599A patent/JP3656056B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003281700A (ja) | 2003-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3630100B2 (ja) | 車線検出装置 | |
| US10452931B2 (en) | Processing method for distinguishing a three dimensional object from a two dimensional object using a vehicular system | |
| JP3822515B2 (ja) | 障害物検知装置及びその方法 | |
| JP3656056B2 (ja) | 割り込み車両検出装置及びその方法 | |
| JP3759429B2 (ja) | 障害物検出装置及びその方法 | |
| US7612800B2 (en) | Image processing apparatus and method | |
| EP2422320B1 (en) | Object detection device | |
| JP5297078B2 (ja) | 車両の死角における移動物体を検知するための方法、および死角検知装置 | |
| US20070127778A1 (en) | Object detecting system and object detecting method | |
| JP2016148962A (ja) | 物体検知装置 | |
| US8730325B2 (en) | Traveling lane detector | |
| US20090052742A1 (en) | Image processing apparatus and method thereof | |
| CN107787496B (zh) | 消失点修正装置及方法 | |
| CN106574961A (zh) | 使用多个物体检测单元的物体识别装置 | |
| JP2003099762A (ja) | 前方車両認識装置及び認識方法 | |
| JPH11139225A (ja) | トンネル検出装置及びそれを用いた車両制御装置 | |
| JP3868915B2 (ja) | 前方監視装置及びその方法 | |
| JP3925285B2 (ja) | 走行路環境検出装置 | |
| JP2007179386A (ja) | 白線認識方法及び白線認識装置 | |
| Yang | Estimation of vehicle's lateral position via the Lucas-Kanade optical flow method | |
| JP2005127781A (ja) | 車両用測距性能低下検出装置 | |
| JPH04137014A (ja) | 移動車の走行路端検出装置 | |
| JP2007233469A (ja) | 物体検出装置及びその方法 | |
| JP4015036B2 (ja) | 障害物検出装置および障害物検出方法 | |
| JP4348937B2 (ja) | 車両用外界認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041207 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050131 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050301 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050307 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080311 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090311 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100311 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100311 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110311 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120311 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130311 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130311 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140311 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |