JP4052650B2

JP4052650B2 - 障害物検出装置、方法及びプログラム

Info

Publication number: JP4052650B2
Application number: JP2004015943A
Authority: JP
Inventors: 隆三岡田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2004-01-23
Filing date: 2004-01-23
Publication date: 2008-02-27
Anticipated expiration: 2024-01-23
Also published as: US7437244B2; US20050165550A1; JP2005209019A

Description

本発明は、移動体に取り付けられた撮像装置の画像を用いて、移動体の進行方向の前方に飛び出してくる障害物を検出する障害物検出装置及び方法に関する。

従来、画像の各点の動きベクトル（オプティカルフロー）を解析して障害物を検出する装置が提案されている。しかし、オプティカルフローは、装置が搭載された移動体自身（以下、自車両）の運動によっても変化する。そのため、障害物を安定して検出することは難しかった。

自車両の揺れによって生じる画像上の動きを相殺する手法が特許文献１において提案されている。しかし、画像中には様々な移動体が存在する。そのため、自車両の揺れによる動きを十分に相殺することが困難な場合がある。
特開２００２−１１２２５２公報

本発明の目的は、車両等の移動体に設置された撮像装置から得られる動画像を用いて自車両の進行方向前方に飛び出してくる障害物を検出する際に、自車両の運動によって撮像装置が受ける振動の影響を軽減させることを目的とする。

上記課題を解決するために本発明の障害物検出装置は、以下の構成を備える。
（Ａ）移動体に設置された撮像装置によって撮像された動画像を入力する画像入力部。
（Ｂ）前記動画像の各画像上の検出対象点の画面上での動きを表す検出対象速度ベクトルを求める速度検出部。
（Ｃ）前記各検出対象点の予測速度ベクトルを他の検出対象点の検出対象速度ベクトルを用いて算出する予測速度ベクトル算出部。
（Ｄ）前記検出対象速度ベクトルの水平成分が前記予測速度ベクトルの水平成分よりも第１の閾値以上大きい場合に、当該検出対象点が障害物上の点であると判定する障害物検出部。
（Ｅ）障害物と判定された検出対象点に関する情報を出力する障害物情報出力部。

尚、本発明の障害物検出装置は、さらに、前記画像上での前記移動体の予測進路を算出する予測進路算出部を備え、前記障害物検出部は、前記検出対象速度ベクトルの水平成分が前記予測速度ベクトルの水平成分よりも、前記検出対象点の位置から前記予測進路に向かう方向に第１の閾値以上大きい場合に、当該検出対象点が障害物上の点であると判定しても良い。

本発明によれば、車両等の移動体に設置された撮像装置から得られる動画像を用いて自車両の進行方向前方に飛び出してくる障害物を検出する際に、自車両の運動によって撮像装置が受ける振動の影響を軽減させることができる。

以下、図面を参照して本発明の一実施形態の障害物検出装置について説明する。図１は
本実施形態の障害物検出装置の構成を示す。

本装置は、カメラ１０で撮像された動画像を入力する画像入力部１と、画像中の点または領域の画像上の速度情報である速度ベクトルを求める速度検出部２と、本装置が搭載された移動体（以下、自車両）の予測進路を算出する予測進路算出部５と、自車両の予測進路と画像中の速度ベクトル分布とに基づいて障害物を検出する障害物検出部３と、検出された障害物までの距離並びに衝突までの時間を含む障害物に関する情報を求め、自車両の制御装置や自車両の運転者に対して出力する障害物情報出力部４とを備える。

障害物検出部３は、速度ベクトルの鉛直方向の分布と自車両の予測進路とを用いて障害物を検出する鉛直速度分布判定部３１と、速度ベクトルの水平方向の分布と自車両の予測進路とを用いて障害物を検出する水平速度分布判定部３２とを備える。

尚、説明を簡単にするために本実施形態では、カメラ１０は次の条件を満たすように設置されているものとする。第一に、画像上で路面が下になる。第二に、カメラ１０の光軸は直進時の進行方向に平行な方向を向いている。この二つの条件を満たすように設置されたカメラ１０で撮像された画像では、地平線は水平で画像の中心を通る直線となる。

また、図１ではカメラ１０と画像入力部１とが別構成として示されているが、これらは一体であっても構わない。

（速度検出部２）図２は速度検出部２のブロック図を示す。速度検出部２は、路面の凹凸により生じる車両のピッチング運動の影響を補正するピッチング運動補正部２１と、画像中で障害物の検出対象となる検出領域を選択する検出範囲選択部２２と、特徴点を抽出する特徴点抽出部２３と、抽出された特徴点の速度ベクトルを算出する速度算出部２４とを備える。

ピッチング運動補正部は、路面の凹凸により生じる車両のピッチング運動が画像上の各点の運動に与える影響を除去する。車両のピッチング運動は、ほぼカメラ１０の水平軸周りの回転運動であるので、動画像からこの回転量を推定して回転量が０となるように画像を変換する。

動画像から回転量を推定する手法は、これまでに様々な手法が提案されている。例えば、上述の特許文献１では、地平線の周辺に現れる縦方向の運動がカメラ１０の水平軸周りの回転運動によって生じるという性質を利用して、地平線の周辺に現れる縦方向の運動から水平軸周りの回転運動を推定している。

尚、画像入力部１に入力される動画像が焦点距離の小さい広角レンズを用いて撮像された動画像である場合、自車両のピッチング運動が画像に与える影響は小さくなる。そのため、ピッチング補正部２１なしで本装置を構成することが可能となる。

検出範囲選択部２２では、障害物の検出対象となる検出領域を選択する。本実施形態では、消失点よりも下側の領域を検出領域とする。これ以外の検出領域の設定手法としては、例えば以下のような方法がある。
１．画面全体を検出領域とする。
２．消失点に近づくに従って横幅が狭くなる固定の領域を検出領域とする。
３．画像処理により画像で自車両が走行しているレーンまたは道路を検出し、それらの内部領域を検出領域とする。
４．ハンドルの舵角センサーや、ジャイロ等の車両の走行状態を取得する各種センサー１１の計測値から、自車両の走行予測経路を求め、その周辺の領域を検出領域とする。

特徴点抽出部２３では、安定した速度ベクトルを抽出するために特徴点を抽出する。特徴点は、その点の近傍の輝度分布が周辺の輝度分布と異なる点のことである。特徴点としてはコーナー点が用いられることが多い。特徴点は、画像に対してエッジ検出を行い、異なる方向のエッジが交わる点を特徴点とする。

速度算出部２４は、各特徴点(x_i,y_i)の速度ベクトルV_iを求める。速度ベクトルV_iはテンプレートマッチング法により求める。ただし、これ以外に勾配法等の既存の手法を用いることが可能である。

（予測進路算出部５）予測進路算出部５は、自車両に搭載されたハンドル舵角センサー及び車速センサーなどの各種センサー１１とカメラ１０とを用いて自車両の予測進路を計算する。図８に示すように、カメラ１０の焦点面を原点としてカメラ１０の光軸方向をZ軸、カメラ１０の光軸に垂直で道路面に平行な方向をX軸という座標系を考えると、予測進路はこの２方向に時間軸（T軸）を加えたX-Z-Tの三次元空間内の曲線となる。

車輪の回転角速度センサー、ハンドル舵角センサー及び車速センサー等の各種センサー１１の情報を用いると車両の運動モデルから車両の予測進路を求めることができる（安部正人著、「自動車の運動と制御」、山海堂、１９９２年）。予測進路算出部５は、自車両に搭載されたこれらの各種センサー１１から値を受け取り予測進路を求める。

尚、画像と車速センサーとを用いて予測進路を求めても良い。例えば、特開２００３−３０６２６で開示されている手法を用いてレーン境界の白線を検出し、その中心を通る曲線を画像上の予測進路とする。そして、予め調べておいたカメラ１０と道路面との間の位置関係に基づいて、画像上の予測進路を道路面上に投影する。投影された予測進路と車速センサーの情報とを利用して各時刻でのX-Z平面内の位置を予測し、X-Z-Tの三次元空間内の曲線を求める。

（障害物検出部３）障害物検出部３は、予測進路算出部５で求められた自車両の予測進路と速度検出部２で求められた各特徴点の速度とを用いて画像中の障害物を検出する。障害物検出部３は鉛直速度分布判定部３１と水平速度分布判定部３２とを備えており、それぞれが障害物の検出を行う。

尚、鉛直速度分布判定部３１と水平速度分布判定部３２とのうちの一方だけで障害物検出を行うようにしても構わない。

（鉛直速度分布判定部３１）図３及び図４を用いて鉛直速度分布判定部３１を説明する。図４は鉛直速度分布判定部３１の動作を説明するための例を示す。鉛直速度分布判定部３１は、判定対象画素(x_i,y_i)が障害物上の点か否かを判定する。

図３は鉛直速度分布判定部３１の構成を示す。鉛直速度分布判定部３１は、比較対象速度ベクトルV_rを選択する速度ベクトル選択部３１１と、比較対象速度ベクトルV_rの始点となる比較対象画素(x_r,y_r)が建築物等の静止物体であると仮定して、判定対象画素(x_i,y_i)における予測速度ベクトルU_iを算出する予測速度ベクトル算出部３１２と、判定対象画素(x_i,y_i)の速度ベクトルV_iと予測速度ベクトルU_iとを比較して判定対象画素(x_i,y_i)が障害物上の点であるか否かを判定する障害物判定部３１３とを備える。

図１０は鉛直速度分布判定部３１の処理の流れを示すフローチャートである。

（ステップ１００１）速度ベクトル選択部３１１は、画像上で判定対象画素(x_i,y_i)の
上方にあり、かつ、水平方向の位置が近い、比較対象画素(x_r,y_r)を選択する（図４参照）。

（ステップ１００２）予測速度ベクトル算出部３１２は、比較対象画素(x_r,y_r)が建築物等の静止物体上の点であると仮定して、判定対象画素(x_i,y_i)の予測速度ベクトルU_iを算出する。本実施形態のカメラ配置の場合、建築物は画像平面に平行な平面で近似できる。判定対象画素(x_i,y_i)と比較対象画素(x_r,y_r)とが画像平面に平行な同一平面上の点であると仮定すると、判定対象画素(x_i,y_i)の予測速度ベクトルU_iは次のように求めることができる。

まず、背景の自車両に対する相対運動を、道路面(X-Z平面)内の並進運動と鉛直軸(Y軸)周りの回転運動で近似する。３次元空間の座標系を、図４の画像４０１の右方向をX軸、画像４０１の上方向をY軸、そして、画像４０１の奥行き手前方向をZ軸として定義すると、背景上の点(X,Y,Z)の速度(v_x,v_y,v_z)は、並進運動(t_x,0,t_z)と回転運動(0,r_y,0)を用いて次のように表される。尚、上記回転運動の各成分は（X軸周りの角速度,Y軸周りの角速度,Z軸周りの角速度）である。
（１） v_x = r_y Z + t_x
（２） v_y = 0
（３） v_z = -r_y X + t_z
今、判定対象画素(x_i,y_i)と比較対象画素(x_r,y_r)とは画像平面に平行な同一平面上の点であると仮定している。また、２点の水平方向の位置が近いと仮定したのでx_iとx_rとはほぼ等しい。よって、判定対象画素(x_i,y_i)と比較対象画素(x_r,y_r)とは、３次元空間の座標においても、X座標とZ座標がほぼ等しい。よって、式（１）（２）（３）から、判定対象画素(x_i,y_i)と比較対象画素(x_r,y_r)との３次元空間内の速度は等しいと近似できる。この場合、予測速度ベクトルU_i=(U_ix,U_iy)は次のように表される。
（４） U_ix = V_rx
（５） U_iy = (y_i/y_r) V_ry
（ステップ１００３）障害物判定部３１３は、速度ベクトルV_iが予測速度ベクトルU_iよりも予測進路４０２に近づく方向に大きい成分を持っている場合に、判定対象画素(x_i,y_i)が障害物上の点であると判定する。図４の場合、自車両の予測進路４０２は画像上でx軸の正の方向にある。障害物判定部３１３は、速度ベクトルV_iの水平成分V_ixと予測速度ベクトルU_iの水平成分U_ixとが次式の関係を満たす場合に、判定対象画素(x_i,y_i)が障害物上の点であると判定する。尚、T_vはある閾値である。
（６） V_ix - U_ix > T_v
この障害物検出手法の利点は、自車両がカーブを曲がっている時でも障害物を検出可能であるということである。図５は自車両が左カーブを曲がっている場合の速度分布の例である。画像全体に右方向の平行移動成分が加わるため、背景の建物も自車両の予測進路５０２に近づく動きを持つ。そのため単純に自車両の予測進路５０２に近づく動きをする点を障害物上の点として検出する手法では、背景を障害物として誤検出する。これに対し、本手法では周辺の運動との差、つまり、背景と障害物との運動の差を利用するので、障害物検出における自車両の運動の影響を軽減させることができる。

（水平速度分布判定部３２）図６及び図７を用いて水平速度分布判定部３２を説明する。図７は水平速度分布判定部３２の動作を説明するための例を示す。水平速度分布判定部３２は、判定対象画素(x_i,y_i)が障害物上の点か否かを判定する。

図６は水平速度分布判定部３２の構成を示す。水平速度分布判定部３２は、比較対象ベクトルV_rを選択する速度ベクトル選択部３２１と、比較対象速度ベクトルV_rの始点となる比較対象画素(x_r,y_r)が建築物等の静止物体であると仮定して、判定対象画素(x_i,y_i)における予測速度ベクトルU_iを算出する予測速度ベクトル算出部３２２と、判定対象画素(x_i,
y_i)の速度ベクトルV_iと予測速度ベクトルU_iとを比較して判定対象画素(x_i,y_i)が障害物上の点であるか否かを判定する障害物判定部３２３とを備える。

図１１は水平速度分布判定部３２の処理の流れを示すフローチャートである。

（ステップ１１０１）速度ベクトル選択部３２１は、画像上で判定対象画素(x_i,y_i)の周辺にあり、かつ、鉛直方向の位置が近い、比較対象画素(x_r,y_r)を選択する（図７参照）。

（ステップ１１０２）予測速度ベクトル算出部３２２は、比較対象画素(x_r,y_r)が路面表示等の道路面上の点であると仮定して、判定対象画素(x_i,y_i)の予測速度ベクトルU_iを算出する。本実施形態のカメラ配置の場合、道路面は画像平面に垂直な平面で近似できる。判定対象画素(x_i,y_i)と比較対象画素(x_r,y_r)とが道路面上の点であると仮定すると、判定対象画素(x_i,y_i)の予測速度ベクトルU_iは次のように求めることができる。

まず、背景の自車両に対する相対運動を、道路面(X-Z平面)内の並進運動と鉛直軸(Y軸)周りの回転運動で近似する。３次元空間の座標系を、図７の画像７０１の右方向をX軸、画像７０１の上方向をY軸、そして、画像７０１の奥行き手前方向をZ軸として定義すると、背景上の点(X,Y,Z)の速度(v_x,v_y,v_z)は、並進運動(t_x,0,t_z)と回転運動(0,r_y,0)を用いて次のように表される。尚、上記回転運動の各成分は（X軸周りの角速度,Y軸周りの角速度,Z軸周りの角速度）である。
（７） v_x = r_y Z + t_x
（８） v_y = 0
（９） v_z = -r_y X + t_z
今、判定対象画素(x_i,y_i)と比較対象画素(x_r,y_r)とは道路面上の点、すなわち画像平面に垂直な同一平面上の点であると仮定している。また、２点の鉛直方向の位置が近いと仮定したのでy_iとy_rとはほぼ等しい。よって、判定対象画素(x_i,y_i)と比較対象画素(x_r,y_r)とは、３次元空間の座標においても、Y座標とZ座標がほぼ等しい。よって、式（７）（８）（９）から、判定対象画素(x_i,y_i)と比較対象画素(x_r,y_r)との３次元空間内の速度は等しいと近似できる。この場合、予測速度ベクトルU_i=(U_ix,U_iy)は次のように表される。
（１０） U_ix = V_rx + (V_ry/y_r) (x_r - x_i)
（１１） U_iy = V_ry
（ステップ１１０３）障害物判定部３２３は、速度ベクトルV_iが予測速度ベクトルU_iよりも予測進路７０２に近づく方向に大きい成分を持っている場合に、判定対象画素(x_i,y_i)が障害物上の点であると判定する。図７の場合、自車両の予測進路７０２は画像上でx軸の正の方向にある。障害物判定部３２３は、速度ベクトルV_iの水平成分V_ixと予測速度ベクトルU_iの水平成分U_ixとが次式の関係を満たす場合に、判定対象画素(x_i,y_i)が障害物上の点であると判定する。尚、T_vはある閾値である。
（１２） V_ix - U_ix > T_v
水平速度分布判定部３２も、鉛直速度分布判定部３１と同様に、周辺の運動との差、つまり背景と障害物との運動の差を利用するので、障害物検出において自車両の運動の影響を軽減させることができる。

（障害物情報出力部４）障害物情報出力部４は、障害物検出部３で検出された障害物について、位置情報、速度情報及び自車両と衝突するまでの時間を算出して出力する。図１２は障害物情報出力部４の処理の流れを説明するフローチャートである。

（ステップ１２０１）障害物情報出力部４は、障害物検出部３で検出された各障害物の点に関して、位置と速度ベクトルとが似ている速度ベクトルをグループ化する。位置が似ているか否かは２点間の距離に基づいて判定する。また、速度ベクトルが似ているか否か
は速度ベクトルの差を利用して判定する。

例えば、２点の場合は距離が閾値J未満で、かつ、速度ベクトルの差が閾値K未満ならば同一グループと判定する。速度ベクトルの差が閾値K未満とは、成分毎の絶対値差分の合計が閾値K未満であるという意味である。

３点目以降の新たな点Ｐについては、点ＰとあるグループＡに属するいずれかの点Ｓとの距離が閾値J未満で、かつ、点Ｐの速度ベクトルと点Ｓの速度ベクトルとの差が閾値K未満ならば、点ＰがグループＡに属すると判定する。

（ステップ１２０２）障害物情報出力部４は、同一グループに属する点のうち画像上で最も下に位置する点(x₀,y₀)を、障害物が道路面と接する点と仮定して、障害物の道路面上の位置を求める。画像上の障害物の設置位置が分かれば、障害物の道路面上の位置(X₀,Z₀)は、カメラ１０と道路面との幾何的位置関係から容易に計算できる。

今、カメラ１０は進行方向に平行な方向に向いている。カメラ１０が道路面から高さhの位置に設置されたとすると、道路面は画像平面に垂直な平面(Y=-h)である。カメラ１０の焦点距離をfとすると次の関係式を満たす。
（１３） (X₀,Z₀) = (-(x₀ h)/y₀, -(f h)/y₀)
障害物情報出力部４は、この式（１３）を用いて障害物の道路面上の位置を求める。

（ステップ１２０３）障害物情報出力部４は、各グループに属する各点の速度ベクトルの水平・垂直成分の平均値から、障害物の画像上の速度v₀=(v_0x,v_0y)を求める。尚、最頻値や中央値を用いても構わない。障害物情報出力部４は、この画像上の速度v₀と障害物の位置(X₀,Y₀)とを用いて、各障害物の道路面上の速度V₀=(V_0x,0,V_0z)を、カメラ１０と道路面との既知の幾何的位置関係に基づいて計算する。
（１４） V_0x = (Z₀ ²/f)(v_0x - (v_0y X₀)/h)
（１５） V_0z = - (v_0y Z₀ ²)/(f h)
（ステップ１２０４）障害物情報出力部４は、障害物の道路面上の速度V₀を用いてX-Z-T空間内での障害物の予測進路を求める。障害物の予測進路は、障害物が等速運動または等加速度運動をすると仮定して求める。この障害物の予測進路と図８の自車両の予測進路８０２とが交わる座標(X_c,Z_c,T_c)を求める。そして、自車両から見て位置(X_c,Z_c)、時刻T_cで衝突するという結果を出力する。

実際には障害物の予測進路と自車両の予測進路とが交差することはまれであるので、障害物の予測進路と自車両の予測進路との距離が閾値M未満になった場合に衝突すると判定する。また、距離が閾値Ａ以上であっても、閾値Mより大きい閾値N未満の場合に、障害物に異常接近するという結果を出力しても良い。

出力の方法は様々である。例えば音声で知らせても良いし、ディスプレイ装置に表示しても良い。また、自動車の衝突回避システムに出力してブレーキやステアリング制御を行っても良い。

（変形例）尚、本実施形態の障害物検出装置は、その一部または全部をコンピュータ上で動作するプログラムとして実現しても構わない。すなわち、コンピュータに上述した各部の機能を実現させるプログラムとして実現しても構わない。

図１３はコンピュータの一例のブロック図である。このコンピュータは、プログラムを実行する中央演算装置１３０１と、プログラム及び処理中のデータを記憶するメモリ１３０２と、プログラム等を格納する磁気ディスクドライブ１３０３と、光ディスクドライブ
１３０４とを備える。

また、画像出力用のインターフェースである画像出力部１３０５と、キーボードやマウスなどからの入力を受け付けるインターフェースである入力受付部１３０６と、ＵＳＢ（Universal Serial Bus）等の外部機器との接続インターフェースやネットワーク接続などのインターフェースである出入力部１３０７と、ＬＣＤやＣＲＴ等の表示装置１３０８と、キーボードやマウス等の入力装置１３０９と、カメラや他のコンピュータ等の外部装置１３１０とを備える。

尚、上記構成のうち例えば光ディスクドライブ１３０４は無くてもよい。また、磁気ディスクドライブ１３０３については、フラッシュメモリやＥＥＰＲＯＭ等の不揮発性の記憶素子を備えた上で省略することも可能である。

本発明の一実施形態の障害物検出装置の構成を示すブロック図。本発明の一実施形態の速度検出部２の構成を示すブロック図。本発明の一実施形態の鉛直速度分布判定部３１の構成を示すブロック図。鉛直方向の速度分布に基づく障害物検出方法を説明する図。自車両がカーブしている場合の、鉛直方向の速度分布に基づく障害物検出方法を説明する図。本発明の一実施形態の水平速度分布判定部３２の構成を示すブロック図。水平方向の速度分布に基づく障害物検出方法を説明する図。自車両の予測進路を説明する図。障害物との衝突予測処理を説明する図。本発明の一実施形態の鉛直速度分布判定部３１の処理のフローチャート。本発明の一実施形態の水平速度分布判定部３１の処理のフローチャート。本発明の一実施形態の障害物情報出力部４の処理のフローチャート。コンピュータの一例。

符号の説明

１画像入力部
２速度検出部
３障害物検出部
４障害物情報出力部
５予測進路算出部
１０カメラ
１１各種センサー
３１鉛直速度分布判定部
３２水平速度分布判定部

Claims

移動体に設置された撮像装置によって撮像された動画像を入力する画像入力部と、
前記動画像の各画像上の検出対象点の画面上での動きを表す検出対象速度ベクトルを求める速度検出部と、
前記画像上での前記移動体の予測進路を算出する予測進路算出部と、
前記各検出対象点の予測速度ベクトルを、他の検出対象点の検出対象速度ベクトルを用いて算出する予測速度ベクトル算出部と、
前記検出対象速度ベクトルの水平成分が前記予測速度ベクトルの水平成分よりも、前記検出対象点の位置から前記予測進路に向かう方向に第１の閾値以上大きい場合に、当該検出対象点が障害物上の点であると判定する障害物検出部と、
障害物と判定された検出対象点に関する情報を出力する障害物情報出力部と、
を備え、
前記速度検出部は、前記他の検出対象点として、
（Ａ）前記画像上で前記各検出対象点の鉛直上方にあり、かつ、前記各検出対象点との水平座標の差が第２の閾値未満である他の検出対象点、または、
（Ｂ）前記画像上で各検出対象点より前記予測進路側にあり、かつ、前記各検出対象点との垂直座標の差が第３の閾値未満である他の検出対象点、
のいずれかを用いる、
ことを特徴とする障害物検出装置。
前記速度検出部は、前記動画像から前記移動体のピッチング運動を検出し、各画像に対してピッチング運動による影響の補正を行うピッチング運動補正手段を備える、
請求項１に記載の障害物検出装置。
前記速度検出部は、
前記画像上で前記検出対象点を選択する領域である検出領域を設定する検出領域選択手段と、
前記検出領域内で特徴点を求め、各特徴点を前記検出対象点とする特徴点抽出手段と、
を備える請求項１または請求項２のいずれか一項に記載の障害物検出装置。
前記予測進路算出部は、画像上での前記移動体の第１予測進路に加えて、前記移動体が移動している平面上における前記移動体の時刻情報を含んだ第２予測進路をも算出し、
前記障害物情報出力部は、
前記障害物検出部で検出された障害物の速度ベクトルと前記第２予測進路とを用いて、前記移動体と前記障害物との距離が第４の閾値未満となる位置及び時刻を算出する手段を備える、
請求項１から請求項３までのいずれか一項に記載の障害物検出装置。
前記障害物情報出力部は、
障害物と判定された検出対象点をその位置と検出対象速度ベクトルとを用いてグループ化する手段と、
前記撮像装置の位置と前記移動体が移動している平面との位置関係、及び、同一グループに属する検出対象点のうち画像上で最も下にある検出対象点の位置を用いて、移動体から見た障害物の位置を算出する手段と、
を備える請求項１から請求項３までのいずれか一項に記載の障害物検出装置。
移動体に設置された撮像装置によって撮像された動画像を入力し、
前記動画像の各画像上の検出対象点の画面上での動きを表す検出対象速度ベクトルを求め、
前記画像上での前記移動体の予測進路を算出し、
前記各検出対象点の予測速度ベクトルを、他の検出対象点の検出対象速度ベクトルを用いて算出し、
前記検出対象速度ベクトルの水平成分が前記予測速度ベクトルの水平成分よりも、前記検出対象点の位置から前記予測進路に向かう方向に第１の閾値以上大きい場合に、当該検出対象点が障害物上の点であると判定し、
障害物と判定された検出対象点に関する情報を出力し、
前記予測速度ベクトルの算出では、前記他の検出対象点として、
（Ａ）前記画像上で前記各検出対象点の鉛直上方にあり、かつ、前記各検出対象点との水平座標の差が第２の閾値未満である他の検出対象点、または、
（Ｂ）前記画像上で各検出対象点より前記予測進路側にあり、かつ、前記各検出対象点との垂直座標の差が第３の閾値未満である他の検出対象点、
のいずれかを用いる、
ことを特徴とする障害物検出方法。