JP5248388B2 - 障害物危険度算出装置、方法及びプログラム - Google Patents

Description

本発明は、自動車に搭載されたカメラで撮影された画像から運転者から見えにくい障害物の危険度を算出する技術に関する。

カメラにより撮影された画像から人物・自転車・バイク・その他障害物を検出する技術は、自動車などの移動物体における安全確保にとって重要な役割を果たす。さらに、運転者が運転している車両（以後、自車両と呼ぶ）の周囲環境に存在する立体物それぞれについて、運転者にとってどれだけ危険であるかを数値化した“危険度”を評価することができれば、本当に危険な障害物だけに警告を発するというように、運転者にとってより有益な安全装置を提供することが可能になる。

特許文献１は、自車両に近い物体ほど危険度が高いとみなして画像を複数の領域に分割し、自車両に近い領域から先に障害物検出処理を実行することで、危険な障害物ほど早く検出できるようにした技術を開示している。

特許第３５４０００５号公報

しかしながら、運転者にとって危険な障害物は、単に近くにあるものに限らず、他の物体に隠れているものや、運転者の死角に入っているものなど、状況に応じて動的に決まるものも存在しうる。また、運転者から見えにくい位置関係にあるものは、運転者、相手（障害物が歩行者などの場合）双方にとって気付きにくい。

本発明は、上記に鑑みてなされたものであって、障害物の候補となる領域の危険度をより正確に算出することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の一態様は、周囲環境を異なる視点で撮影して得られる複数の画像データから周囲の視差分布情報を算出するステレオ画像処理部と、前記視差分布情報から複数の障害物候補領域を生成する障害物候補領域生成部と、複数の前記障害物候補領域の１つである第１の障害物候補領域が前記画像データから認識した危険物にどれだけ遮蔽されているかを表す第１の遮蔽度から前記第１の障害物候補領域の危険度を算出する危険度算出部と、前記画像データから認識した前記危険物は、複数の前記障害物候補領域のうち前記第１の障害物候補領域とは異なる第２の障害物候補領域として設定され、前記第１の障害物候補領域と前記第２の障害物候補領域の位置関係を用いて第１の遮蔽度を算出する第１の遮蔽度算出部と、を備えたこと、を特徴とする。

本発明によれば、障害物の候補となる領域の危険度をより正確に算出することができる。

本実施の形態にかかる障害物危険度算出装置の構成を示すブロック図である。 視差算出におけるブロックマッチングについて説明する図である。 立体物領域から障害物候補領域を生成する方法を説明する図である。 車両周辺状況の一例を示す図である。 図４の車両周辺状況から得られる障害物候補領域集合を示す図である。 運転者遮蔽を説明する図である。 運転者遮蔽を説明する他の図である。 運転者遮蔽を説明する他の図である。 運転者遮蔽度の算出方法を説明する図である。 障害物候補領域遮蔽を説明する図である。 障害物危険度の算出方法のフローチャートを示す図である。

以下に添付図面を参照して、この発明にかかる障害物危険度算出装置および障害物危険度算出方法の最良な実施の形態を詳細に説明する。本実施の形態では、車両前方に存在する障害物に対する危険度算出について主に説明しているが、車両後方など、車両周囲全般に対して同じ方法で危険度算出が可能であり、車両前方の危険度算出だけに限定するものではない。

本実施の形態では、障害物危険度算出装置は走行する車両上に搭載されており、車両前方に存在する障害物の危険度を算出する。算出された障害物の危険度は、車両前方にある危険な障害物の検出に利用される。

そして、後ほど説明する障害物候補領域の位置情報とその危険度をそのまま用いて運転者への警報や車両の危険回避制御を行うことも可能であるし、本実施の形態を障害物検出装置の前処理として、障害物候補領域に対してパターン認識処理を適用することにより、たとえば障害物のうち歩行者だけを検出するといった装置構成も可能である。この場合、算出される危険度の高いものから順に認識処理を行うようにすれば、本当に危険なものはより早い段階で検出できるようになるため、より早く警報を発したり危険回避制御をしたりすることが可能になる。

また、危険度が高いものから順に処理していき、あらかじめ指定した数だけ障害物候補領域を認識処理したら処理を打ち切るようにすれば、状況により障害物候補領域の数が増大して認識処理に要する計算量が膨大になるというような事態を防止して計算量を一定に保つことが可能になる。なお、本実施形態における危険度算出は障害物候補領域位置情報から算出可能なものであり、画像中の画素を対象として計算を行う認識処理と比較すると計算量はずっと小さいとみなしてよい。

図１は、本実施の形態にかかる障害物危険度算出装置の構成を示すブロック図である。障害物危険度算出装置は、ステレオ画像処理部１、障害物候補領域生成部２、頭部位置検出部３、運転者遮蔽度算出部４、障害物候補領域遮蔽度算出部５、および、危険度算出部６を備えて構成されている。

ステレオ画像処理部１は、複数のステレオカメラからなるステレオ画像取得装置（図示せず）が自車両の周囲環境を撮影して得られる画像データ（ステレオ画像対）から、撮影範囲内の視差分布情報（三次元位置情報）を算出する。

ここで、視差とは、一方の画像における点ａに対応する点がもう一方の画像で点ｂに映っている場合、二つの点の距離によって算出され、この距離の差が視差値となる。一般に、視差が小さいほど実世界中では遠くにあり、視差が大きくなるとカメラの近くに存在することになる。視差は画像中の任意の領域に対して算出できる。よって、視差分布情報とは、視差の二次元配列であり、視差が画像内でどのように変化するかを表したものである。

そして、ステレオカメラ間の相対位置関係を表すカメラの外部パラメータ、および、焦点距離やレンズひずみなどのカメラの内部パラメータを取得していれば、視差値から対象領域の三次元位置情報（奥行き距離情報）を容易に算出できる。したがって、視差分布情報を求めるということは、撮影範囲（車両周囲）内の三次元位置情報（奥行き距離情報）を求めていると考えても良いため、ステレオ画像処理部１は、撮影範囲（車両周囲）内の三次元位置情報（奥行き距離情報）を算出するともいえる。

なお、カメラの外部パラメータおよび内部パラメータの算出方法については、コンピュータビジョン、ロボットビジョンの分野で従来から盛んに研究されており、ステレオ画像処理にとって十分な精度を持ったパラメータ算出法が知られているため、詳細についての説明は省略する。ここでは、最も簡単な場合である、ステレオ画像取得装置がステレオカメラ２台を有する場合の視差推定手順について説明する。

図２は、視差算出におけるブロックマッチングについて説明する図である。まず前提として、２台のステレオカメラは、車両前方向きに平行に設置されているものとする。特に平行に並んでいなくても視差分布情報を求めることは可能であるが、このような平行カメラの場合、左右画像で対応点の垂直座標が一致するため問題がより簡単になる。視差を求めるには、一方の画像のある画素に対応する点をもう一方の画像から見つける必要があるが、この場合、対応点の垂直座標は元の画素と同じであることが分かっているので、水平座標だけを変化させながら探索を行えばよいことになる。

図２に示すように、対応点の探索は、左側の画像１１における注目画素１２の周辺部分画像１３を切り出し、右側の画像１４において同じサイズの部分画像１５を切り出して類似度を評価することで実現する。類似度は、（１）式で表される正規化相互相関で評価することができ、この値が大きい（１に近い）ほど類似度が高い。

（１）式において、Ｌ（ｉ，ｊ）は周辺部分画像１３の画素値、Ｌは周辺部分画像１３の平均画素値、Ｒ（ｉ，ｊ）は部分画像１５の画素値、Ｒは部分画像１５の平均画素値を表す。Σは部分画像内で値を合計することを表す。この類似度計算を部分画像１５の範囲を移動させながら行い、類似度が最も高くなる点を探索する。対応点が見つかったら今度は部分画像１５を固定して左側の画像１１に対してマッチングを行い、注目画素１２周辺で類似度が最大になればマッチングが成功したとみなして、部分画像１３と部分画像１５の水平座標の差を注目画素１２の視差値とする。

以上の処理を画像全体に渡って繰り返すことで視差分布情報が得られる。視差分布から奥行き距離を得るにはもう１つ処理が必要である。平行に設置された２台のカメラの場合、視差値ｄに対する奥行き距離Ｚは（２）式で求められる。

（２）式において、ｆはカメラの焦点距離、Ｂはステレオカメラ間のベースライン距離である。これらの値はカメラキャリブレーションを行うことで求めることができる。これを画像全体に渡って繰り返せば奥行き距離情報が得られる。

障害物候補領域生成部２は、視差分布情報から、道路から垂直に立った立体物を抽出し（立体物抽出処理）、さらに、抽出した立体物から障害物検出の単位である障害物候補領域を複数切り出す（障害物候補領域生成処理）。

立体物抽出処理では、最初に、視差分布情報における各視差分布データを、ｕ（水平座標）−ｄ（視差）空間に投票（集計）する。すなわち、ある水平座標ｕ１、視差ｄ１を持ったデータの個数を算出し、その分布を取得する。既に述べたように、入力画像を撮影するカメラはほぼ水平を保って設置されているため、道路面に対して垂直に立った領域内は視差値ｄがほぼ一定になる。そのため、ｕ−ｄ空間で投票数（集計数）の多い箇所は地面に対し垂直に立った立体物領域であるとみなせる。そこで、投票結果（集計結果）に基づいてｕ−ｄ空間を閾値処理で２値化することで、立体物−非立体物（道路面もしくは空）に分けることができる。閾値の決定の仕方には、ｕ−ｄ空間全体に対して一定の値Ｔ_ｕｄを用いることもできるし、または、ステレオカメラの場合、視差が大きい、つまり近くにある物体ほど大きく映る傾向にあるため、視差ｄに比例するように、（３）式の様に、ｄの関数により閾値を決定してもよい。

（３）式において、α、ｔ_０はあらかじめ決めた定数である。ステレオカメラの場合は視差ｄに応じて閾値を決定するほうが、誤った視差などのノイズに対して頑健になる。

この立体物−非立体物判定の結果に基づいて、元の三次元位置情報のうち立体物に対応する箇所のみを残す処理を行う。処理の手順は、視差分布データを１つ読み、１つのデータにつきｕ（水平座標）、ｖ（垂直座標）、ｄ（視差）のデータが得られるため、二値化されたｕ−ｄ空間から座標（ｕ，ｄ）のデータを読む。読んだデータが立体物であれば視差情報を残し、非立体物であれば視差情報を無効にする。以上を視差分布全体に繰り返すことで立体物領域だけの視差分布が得られることになる。

障害物候補領域生成処理では、得られた立体物領域を障害物検出の単位である障害物候補領域の集合に切り分ける。障害物のうち歩行者を抽出するといった処理の場合、立体物領域全体と歩行者モデルとを直接比較するのは困難であるため、立体物領域から歩行者に対応するサイズを切り出した部分領域を生成し、これを照合処理に用いる。この部分領域が障害物候補領域である。この障害物候補領域は以後、遮蔽度および危険度の算出の最小単位としても利用される。

図３は、立体物領域から障害物候補領域を生成する方法を説明する図である。道路面１６は自車両の周囲環境中の道路面である。道路面１６の任意の地点に矩形の仮想障害物１７が立っていると仮定する。この仮想障害物１７はカメラの画像面１８に投影され、画像中の矩形領域１９となる。カメラパラメータをあらかじめ求めておけば、仮想障害物１７の三次元座標とサイズとから矩形領域１９の位置・サイズは算出可能である。仮想障害物１７のサイズは、検出したい障害物の最小サイズに合わせて事前に設定しておくものである。例えば、歩行者サイズの障害物まで検出しようとすると、仮想障害物のサイズは幅８００ｍｍ、高さ１６００ｍｍ程度を指定しておく。なお、このサイズは大人の場合で、子供の場合は、小さくなる。

このように、投影計算によって仮想障害物１７の画像への投影像の位置・サイズを算出できるが、仮想障害物１７の位置に立体物が存在するとは限らない。立体物が存在する箇所だけに仮想障害物１７を配置していけばよいので、前に求めた視差分布情報を用いて判定を行い、判定を通過した仮想障害物１７を障害物候補領域集合に加えていく。

仮想障害物１７が視差分布情報中の立体物領域に対応するかどうかの判定は以下のように行う。まず、画像面１８に投影したときの矩形領域１９の左上の画像座標（ｕ１，ｖ１）、右下の座標（ｕ２，ｖ２）を算出する。次に（ｕ１，ｖ１）を左上隅、（ｕ２，ｖ２）を右下隅とする矩形の部分領域内の視差分布を評価する。ある画素における視差がｄであった場合、その画素におけるスコアを（４）式により求める。

（４）式において、ｚ（ｄ）は視差ｄから奥行き距離を算出する関数であり、（２）式に対応する。ｚ_０は仮想障害物１７の奥行き座標値である。σはｚ（ｄ）とｚ_０のずれをどこまで許容するかを決定するパラメータであり、事前に設定しておく。（４）式のスコアを部分領域内の画素のうち、立体物領域に対応するものに対して計算し、すべての和をとる。最後に部分領域の面積で割ることでこの仮想障害物のスコアとするが、このスコアが大きいほど、仮想障害物１７の位置に立体物が存在することが視差分布情報により確認されていることになる。

したがって、仮想障害物１７のスコアをあらかじめ決めた閾値と比較し、閾値よりも大きい場合、仮想障害物１７の位置に立体物が存在すると判定し、仮想障害物１７の位置・サイズ情報を障害物候補領域集合に追加する。スコアが閾値より小さい場合、仮想障害物１７の位置に立体物が存在しないと判定し、障害物候補としない。

図４は、車両周辺状況の一例を示す図である。図４では、運転者２０が運転する自車両２１に、２台のステレオカメラ２２および２３が車両前方向きに平行に設置されている。そして、自車両２１の右前方には歩行者２４が存在し、左前方には歩行者２５が存在している。さらに、自車両２１の左側面から左前方にかけて側壁２６が存在している。

そして、このような車両周辺状況に対して、障害物候補領域を生成する。図５は、図４の車両周辺状況から得られる障害物候補領域集合を示す図である。図５のように、歩行者２４および２５に対応する障害物候補領域群２７と、側壁２６に相当する障害物候補領域群２８からなる障害物候補領域集合を得ることができる。

歩行者の標準的なサイズを障害物候補領域のサイズとすると、歩行者２４および２５に対応する領域が正しく障害物候補領域として抽出されるが、側壁２６のように元々大きな立体物も歩行者サイズの多数の障害物候補領域に分割されてしまう。ただし、このような部分は近接した障害物候補領域が連続して現れるのが特徴である。

以上のようにして得られる障害物候補領域集合は、要素それぞれが実空間でのサイズと位置情報とを保持している。したがって、障害物候補領域生成部２は、車両周囲の立体物の三次元配置情報を単純化していることに相当する。そして、障害物候補領域生成部２で得られた障害物候補領域集合のそれぞれに対し、二種類の遮蔽度（運転者遮蔽度および障害物候補領域遮蔽度）を算出する。

頭部位置検出部３は、運転者２０の頭部位置を検出する。頭部位置の検出は、画像処理などにより行われる。

運転者遮蔽度算出部４は、各障害物候補領域の位置情報および領域サイズを使って運転者の死角領域内に入っているかを判定して運転者遮蔽度を算出する。運転者遮蔽度は、障害物候補領域１つの位置・サイズに対して一意に決まる遮蔽度である。ここで、運転者遮蔽とは、運転者と障害物のうち、運転者にとって障害物を視認しにくいような遮蔽状態のこととする。

図６は、運転者遮蔽を説明する図である。運転者遮蔽の状態とは、図のように、自車両２１の右前方にあるピラー２９によって死角３０が発生し、運転者２０の視界が阻害され、運転者２０が歩行者２４の存在を認識できない状態をいい、このような場合に遮蔽度が高くなるように評価方法を設定する。

図７および図８は、運転者遮蔽を説明する他の図である。図６のような運転席にあるピラー２９による遮蔽の他にも、図７のように、運転者２０の視野範囲外にあたる領域３１も運転者が遮蔽された状態にあるとみなすことができる。さらに、降雨によりワイパーが動作している場合は、図８のように、領域３１に加えて、フロントガラスのワイパー動作範囲外やサイドガラス部分にあたる領域３２も運転者が遮蔽された状態にあるとみなすことができる。また、そして、各障害物候補領域（図６の場合は歩行者２４が存在する領域）が遮蔽されている度合いを運転者遮蔽度として数値で評価する。

運転者遮蔽度は以下のようにして算出する。図９は、運転者遮蔽度の算出方法を説明する図である。ここでは、ピラー２９による遮蔽が起こっている場合の運転者遮蔽度を算出する。まず、自車両２１の周辺に対し、遮蔽が起こっている領域を表す遮蔽スコアの分布を求める。図９では、遮蔽が起こる部分（死角３０）を斜線で表現しているが、この遮蔽部分について０から１の遮蔽スコアを与えておく。もっとも単純なやり方は、遮蔽が起こっていない部分を０、遮蔽されている斜線部分を１に設定することであるが、境界部分に対して中間値を与えるといった設定も可能である。

図９では、運転席のピラー２９の影の領域（死角３０）に遮蔽が発生することを表現したスコア分布になっているが、さらに、運転者２０の視野範囲外にあたる領域３１や、フロントガラスのワイパー動作範囲外やサイドガラス部分にあたる領域３２などの異なる遮蔽要因を組み合わせたスコア分布を作成することも可能である。この場合、各地点での遮蔽スコアは全ての遮蔽要因に対するスコアのうち最大のものを採用する。

運転者遮蔽は運転者２０の視界が阻害されることにより発生するものであるから、厳密に言えば運転者２０の頭部位置、視線方向により遮蔽スコアは変化する。従って、一回の処理ごとに、頭部位置検出部３が検出した運転者２０の頭部位置から遮蔽スコアを更新するようにする。なお、それほど厳密に遮蔽スコアを評価しなくてもよい場合は、あらかじめ平均的な頭部位置、視線方向を想定しておいて遮蔽スコアを固定的に与えるというやり方でもある程度の精度は確保できる。

こうして得られる遮蔽スコア分布から障害物候補領域の運転者遮蔽度を算出する。具体的には、障害物候補領域の範囲内で遮蔽スコアを合計し、スコアの面積平均を算出することで運転者遮蔽度を算出する。そして、運転者遮蔽度の値は障害物候補領域がどれだけ遮蔽領域に入り込んでいるかを表すことになる。

障害物候補領域遮蔽度算出部５は、障害物候補領域が他の障害物候補領域によってどれだけ遮蔽されて見えにくくなっているかを評価して障害物候補領域遮蔽度を算出する。障害物候補領域遮蔽とは、運転者と障害物候補領域との間に別の障害物候補領域が存在することにより、運転者および障害物候補領域がお互いに相手を視認しにくくなっている状況のことを指す。従って、障害物候補領域遮蔽度は、運転者遮蔽度とは異なり、１つの障害物候補領域と異なる障害物候補領域との相対的位置関係により決まる遮蔽度である。

ここで、障害物候補領域遮蔽について、もう少し詳しく説明する。図１０は、障害物候補領域遮蔽を説明する図である。図１０のように、歩行者２４に相当する障害物候補領域３３、歩行者２５に相当する障害物候補領域３４、および、側壁２６に相当する障害物候補領域３５および障害物候補領域３６を要素に持った障害物候補領域群を考える。それぞれの障害物候補領域は実空間上での領域中心の３次元座標と幅、高さというサイズ情報を属性として持っているため、画像平面内での位置、サイズについても即座に求められるようになっている。このとき、障害物候補領域の１つを障害物候補領域Ａとし、別の障害物候補領域の１つを障害物候補領域Ｂとする。そして、障害物候補領域Ａが障害物候補領域Ｂによって遮蔽されている度合いＯ_Ｂ→Ａを（５）式で算出する。

（５）式において、ｕ_Ａ、ｕ_Ｂは候補領域Ａ、Ｂの画像中での水平座標、Ｚ_Ａ、Ｚ_Ｂは実空間での二つの領域の奥行き座標であるとする。ただし、奥行き座標値は自車両から離れていくほど増加するものとする。ｆ_ｕ、ｆ_ｚはそれぞれ水平座標の距離の絶対値、および、奥行き座標の符号付き距離を入力とする関数である。ｆ_ｕの例としては（６）式があり、ｆ_ｚの例としては、（７）式がある。

（６）式および（７）式において、ｋ_１、ｋ_２は遮蔽度の変化度合いを決める定数で、事前に設定しておくパラメータである。ｗは障害物候補領域生成部２で用いられる障害物の標準の幅を画像平面に投影したときのサイズである。Ｖは障害物の奥行きの標準サイズであり、事前に設定しておく。

（６）式は、Δｕが０に近い、すなわち障害物候補領域Ａと障害物候補領域Ｂとが画像中で重なっているほど１に近くなり、ｗを境にして０に向かって減少していく。一方、（７）式は、ΔＺが負、つまり障害物候補領域Ｂが障害物候補領域Ａよりも奥にある場合は０であり、障害物候補領域Ｂが障害物候補領域Ａよりも手前に来るほど大きな値をとるようになっている。ただし、それも比例の関係ではなく、Ｖを境にして急激に増加するようになっている。そのため障害物候補領域Ｂが手前にある場合でもその差が小さければｆ_ｚの値は小さなままである。

以上のような二つの関数の積を障害物候補領域遮蔽度Ｏ_Ｂ→Ａとすることにより、障害物候補領域３４を障害物候補領域Ａ、障害物候補領域３５を障害物候補領域Ｂをした場合のように、画像中での距離が近く、かつ奥行きに間隔があいている場合はその値が大きくなる。一方、障害物候補領域３５を障害物候補領域Ａ、障害物候補領域３６を障害物候補領域Ｂとした場合は、画像中の距離は同様に近いが奥行きの差が小さいため、ｆ_ｚの値が小さくなり、結果としてＯ_Ｂ→Ａは小さくなるという効果が得られる。一方、障害物候補領域３３を障害物候補領域Ａとした場合、奥行きに関係なくｆ_ｕの影響によりＯ_Ｂ→Ａは０に近い小さな値になる。

（６）式および（７）式は、障害物候補領域遮蔽度の算出方法の一例であり、ｆ_ｕについては、ｗを境界として１から０に減少する関数であれば他の形式であっても問題ない。ｆ_ｚについても、負の領域では０、非負の領域ではＶを境界として０から１に向かって増加するような関数であれば他の関数であっても良い。

以上の計算により、障害物候補領域Ａと障害物候補領域Ｂの組み合わせに対する遮蔽度合いＯ_Ｂ→Ａを求めることができる。最後に、障害物候補領域遮蔽度算出部５は、障害物候補領域Ａ以外の障害物候補領域を障害物候補領域Ｂとした上で、それぞれの場合の遮蔽度合いＯ_Ｂ→Ａを求め、これらの遮蔽度合いＯ_Ｂ→Ａのうち、最もその値が大きい遮蔽度を、障害物候補領域遮蔽度と決定する。

危険度算出部６は、運転者遮蔽度算出部４で算出した運転者遮蔽度と、障害物候補領域遮蔽度算出部５で算出した障害物候補領域遮蔽度とから危険度を算出する。最終的に、障害物危険度算出装置の出力は、各障害物候補領域の位置・サイズとその危険度の組になる。

なお、危険度の算出方法としては、二つの遮蔽度（運転者遮蔽度および障害物候補領域遮蔽度）のうち値の大きな方の値を危険度とする方法、または、二つの遮蔽度にそれぞれ異なった係数をかけた後、それらの値を合計した値を危険度とする方法がある。いずれの方法をとるにしても、二つの遮蔽度のうちどちらかが大きければ危険度が高くなるという結果を得られる。それぞれの遮蔽度をどれだけ重視するかの要求に応じて、障害物危険度算出装置の実行前に算出方法を設定すればよい。

次に、上述したように構成されている障害物危険度算出装置による障害物危険度の算出方法について説明する。図１１は、障害物危険度の算出方法のフローチャートを示す図である。

ステレオ画像処理部１は、ステレオ画像取得装置７からの画像データ（ステレオ画像対）から視差分布情報（三次元位置情報）を算出する（ステップＳ１０１）。ここでは、後段の障害物候補領域生成部２における処理のため、画像データはほぼ水平方向を向いて設置されたステレオカメラ対を用いて撮影されたものとする。周囲環境の撮影のため車両にカメラを設置する場合、上下に大きく傾ける必要はないため、これは大きな制約とはならない。

次に、障害物候補領域生成部２は、視差分布情報から道路面に立っている立体物の領域を抽出する（ステップＳ１０２）。車両周囲の環境を考えると、他の車両、歩行者、ガードレール、壁などはすべて道路面に対して垂直に立った物体であるとみなせる。したがってこの処理により、自車両にとって危険な障害物には該当しない道路面および空の領域を視差分布情報から除去することになる。

次に、障害物候補領域生成部２は、仮想障害物のサイズに基づいて画像領域内の所定の領域に障害物候補領域を設定し、抽出した立体物領域と照合し（ステップＳ１０３）、障害物候補領域が立体物領域に対応しているか否かを判定する（ステップＳ１０４）。

障害物候補領域生成部２は、障害物候補領域が立体物領域に対応していると判定した場合、すなわち、仮想障害物の位置に立体物が存在すると判定した場合（ステップＳ１０４：Ｙｅｓ）、当該障害物候補領域（仮想障害物の位置・サイズ情報）を障害物候補領域集合に追加（ステップＳ１０５）し、ステップＳ１０６へ進む。

障害物候補領域生成部２は、障害物候補領域が立体物領域に対応していないと判定した場合、すなわち、仮想障害物の位置に立体物が存在しないと判定した場合（ステップＳ１０４：Ｎｏ）、何もせずにそのままステップＳ１０６へ進む。

ステップＳ１０６で、障害物候補領域生成部２は、画像領域内全てに障害物候補領域を設定したか否かを判定する。障害物候補領域生成部２は、画像領域内全てに障害物候補領域を設定していないと判定した場合（ステップＳ１０６：Ｎｏ）、ステップＳ１０３へ戻り以下のステップを行う。

障害物候補領域生成部２は、画像領域内全てに障害物候補領域を設定していると判定した場合（ステップＳ１０６：Ｙｅｓ）、ステップＳ１０７へ進む。すなわち、ステップＳ１０３からステップＳ１０５までの処理を、仮想障害物の位置を動かしながら、事前に決めた実空間中の一定領域に対して適用する。そして、ステップＳ１０６ですべての判定を終えたかをチェックし、処理が完了したら次へ進む。

このように、ステップＳ１０３からステップＳ１０６を経ることにより、ステップＳ１０２で得られた立体物領域は、障害物検出の単位である障害物候補領域の集合に切り分けられる。

次に、運転者遮蔽度算出部４は、障害物候補領域の集合から障害物候補領域を１つ選択する（ステップＳ１０７）。この時、選択した障害物候補領域を障害物候補領域Ａとする。次に、運転者遮蔽度算出部４は、障害物候補領域Ａの運転者遮蔽度を算出する（ステップＳ１０８）。

次に、障害物候補領域遮蔽度算出部５は、障害物候補領域の集合から障害物候補領域Ａ以外の障害物候補領域を１つ選択する（ステップＳ１０９）。この時、選択した障害物候補領域を障害物候補領域Ｂとする。

次に、障害物候補領域遮蔽度算出部５は、障害物候補領域Ａを障害物、障害物候補領域Ｂを遮蔽物と仮定して、障害物候補領域Ａと障害物候補領域Ｂの相対的位置関係に基づいて障害物候補領域Ａの障害物候補領域遮蔽度を算出する。そして、以前に算出した障害物候補領域Ａの障害物候補領域遮蔽度がある場合、これに合算する（ステップＳ１１０）。なお、以前に算出した障害物候補領域遮蔽度とは、以前に算出した障害物候補領域遮蔽度のうち、最もその値が大きい遮蔽度をいい、ここでの合算は、今回算出した障害物候補領域遮蔽度と、以前に算出した障害物候補領域遮蔽度とを比べて、その値が大きい方の遮蔽度を、障害物候補領域遮蔽度として決定することをいう。

次に、障害物候補領域遮蔽度算出部５は、障害物候補領域Ａ以外の障害物候補領域を全て障害物候補領域Ｂとして選択したか否かを判定する（ステップＳ１１１）。障害物候補領域遮蔽度算出部５は、障害物候補領域Ａ以外の障害物候補領域を全て障害物候補領域Ｂとして選択していないと判定した場合（ステップＳ１１１：Ｎｏ）、ステップＳ１０９へ戻り、別の障害物候補領域を１つ選択し障害物候補領域Ｂとし、以後のステップを繰り返す。障害物候補領域遮蔽度算出部５は、障害物候補領域Ａ以外の障害物候補領域を全て選択していると判定した場合（ステップＳ１１１：Ｙｅｓ）、ステップＳ１１２へ進む。

ステップＳ１１２において、危険度算出部６は、ステップＳ１０８で算出した障害物候補領域Ａの運転者遮蔽度と、ステップＳ１１０で算出し合算した障害物候補領域Ａの障害物候補領域遮蔽度とから障害物候補領域Ａの危険度を算出する。

次に、危険度算出部６は、障害物候補領域の全てを障害物候補領域Ａとして選択したか否か、すなわち、障害物候補領域の全てについて危険度を計算したか否かを判定（ステップＳ１１３）。危険度算出部６は、障害物候補領域の全てを障害物候補領域Ａとして選択していないと判定した場合（ステップＳ１１３：Ｎｏ）、ステップＳ１０７へ戻り、別の障害物候補領域の１つを障害物候補領域Ａとして選択し、以後のステップを繰り返す。危険度算出部６は、障害物候補領域の全てを障害物候補領域Ａとして選択していると判定した場合（ステップＳ１１３：Ｙｅｓ）、ステップＳ１１４へ進む。

ステップＳ１１４において、危険度算出部６は、ステップＳ１０５で切り分けられた全ての障害物候補領域の情報（仮想障害物の位置・サイズ情報）に、危険度の情報をそれぞれ付加して出力する（ステップＳ１１４）。以上のステップを経て、障害物危険度の算出が終了する。

以上のような障害物候補の危険度算出の仕組みにより、危険度の高い障害物候補領域が存在すれば警告を出す、ブレーキ、操舵装置を制御して危険を回避する、というように危険性が高い物体に応じた対策を実行できるようになる。危険物の検知については連続するフレームで継続して危険度を算出し、危険度が高い障害物が連続して現れる、もしくは自車両に近付いてくる場合に危険回避行動を実行する、といったより複雑な条件判断も可能になる。

さらに、本発明による障害物危険度算出装置の後段に、障害物候補領域に対しそれが歩行者かそうでないかを判定する歩行者識別器、車両か否かを判定する車両識別器などを追加することもできる。一般に識別は比較的計算量が大きな処理であるため、危険度算出装置で算出された危険度を用いることで、危険度の高い順に識別処理を実行し、目的の物体が発見されたら即座に警告を出すことでより早くドライバーに危険を知らせることができるようにしたり、危険度の高い順に決まった数だけ識別処理することで危険なものは優先しつつ計算時間を一定に保ったり、一定の危険度以上のものだけ識別処理したりというように、より危険の高いものだけを優先して処理するといったことにも応用することができる。

なお、本実施の形態にかかる障害物危険度算出装置は、運転者の頭部位置を検出する頭部位置検出部を備えているが、頭部位置検出部を備えずに外部に設けられた頭部位置検出装置から運転者の頭部位置情報を受け取る様に構成してもよい。

また、本実施の形態にかかる障害物危険度算出装置の各部は、例えば、コンピュータをハードウェアとして用い、コンピュータにプログラムを実行させることにより実現することが可能である。

このように、本実施の形態にかかる障害物危険度算出装置によれば、自車両の周囲環境を異なる視点で撮影して得られる複数の画像データから自車両周囲の視差分布情報を算出し、視差分布情報から立体物領域を抽出し、立体物領域から複数の障害物候補領域を生成し、選択した１つの障害物候補領域が他の障害物候補領域にどれだけ遮蔽されているかを表す障害物候補領域遮蔽度、および、選択した１つの障害物候補領域が運転者の死角領域にどれだけ遮蔽されているかを表す運転者遮蔽度の少なくとも１つから、選択した障害物候補領域の危険度を算出することができるので、運転者から見えにくい障害物の危険度を算出することが可能となる。

また、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。

１ ステレオ画像処理部
２ 障害物候補領域生成部
６ 危険度算出部
２１ 自車両
３３、３４、３５、３６ 障害物候補領域

Claims (8)

1. 周囲環境を異なる視点で撮影して得られる複数の画像データから周囲の視差分布情報を算出するステレオ画像処理部と、
   前記視差分布情報から複数の障害物候補領域を生成する障害物候補領域生成部と、
   複数の前記障害物候補領域の１つである第１の障害物候補領域が前記画像データから認識した危険物にどれだけ遮蔽されているかを表す第１の遮蔽度から前記第１の障害物候補領域の危険度を算出する危険度算出部と、
   前記画像データから認識した前記危険物は、複数の前記障害物候補領域のうち前記第１の障害物候補領域とは異なる第２の障害物候補領域として設定され、
   前記第１の障害物候補領域と前記第２の障害物候補領域の位置関係を用いて第１の遮蔽度を算出する第１の遮蔽度算出部と、を備えたこと、
   を特徴とする障害物危険度算出装置。
2. 前記第１の遮蔽度算出部は、前記第１の障害物候補領域と前記第２の障害物候補領域との前記画像データにおける座標の差、及び、前記第１の障害物候補領域と前記第２の障害物候補領域との実空間における座標の差により表される前記位置関係を用いて前記第１の遮蔽度を算出すること、を特徴とする請求項１に記載の障害物危険度算出装置。
3. 前記危険度算出部は、前記第１の障害物候補領域が予め設定した危険物にどれだけ遮蔽されているかを表す第２の遮蔽度から前記第１の障害物候補領域の危険度を算出すること、を特徴とする請求項１または２に記載の障害物危険度算出装置。
4. 予め設定した前記危険物は、運転者の死角領域範囲として設定され、
   前記第１の障害物候補領域と前記死角領域範囲の位置関係を用いて第２の遮蔽度を算出する第２の遮蔽度算出部をさらに備えたこと、
   を特徴とする請求項３に記載の障害物危険度算出装置。
5. 前記危険度算出部は、前記第１の遮蔽度と前記第２の遮蔽度のうち、値の大きな方を前記危険度とすること、を特徴とする請求項３または４に記載の障害物危険度算出装置。
6. 前記危険度算出部は、前記第１の遮蔽度と前記第２の遮蔽度とに、それぞれ異なった係数をかけた後の値を合計した値を前記危険度とすること、を特徴とする請求項３または４に記載の障害物危険度算出装置。
7. 障害物危険度算出方法であって、
   ステレオ画像処理部が、周囲環境を異なる視点で撮影して得られる複数の画像データから周囲の視差分布情報を算出するステレオ画像処理ステップと、
   障害物候補領域生成部が、前記視差分布情報から複数の障害物候補領域を生成する障害物候補領域生成ステップと、
   危険度算出部が、複数の前記障害物候補領域の１つである第１の障害物候補領域が前記画像データから認識した危険物にどれだけ遮蔽されているかを表す第１の遮蔽度から前記第１の障害物候補領域の危険度を算出する危険度算出ステップと、
   前記画像データから認識した前記危険物は、複数の前記障害物候補領域のうち前記第１の障害物候補領域とは異なる第２の障害物候補領域として設定され、
   第１の遮蔽度算出部が、前記第１の障害物候補領域と前記第２の障害物候補領域の位置関係を用いて第１の遮蔽度を算出する第１の遮蔽度算出ステップと、を含むこと、
   を特徴とする障害物危険度算出方法。
8. コンピュータに、
   ステレオ画像処理部が、周囲環境を異なる視点で撮影して得られる複数の画像データから周囲の視差分布情報を算出するステレオ画像処理ステップと、
   障害物候補領域生成部が、前記視差分布情報から複数の障害物候補領域を生成する障害物候補領域生成ステップと、
   危険度算出部が、複数の前記障害物候補領域の１つである第１の障害物候補領域が前記画像データから認識した危険物にどれだけ遮蔽されているかを表す第１の遮蔽度から前記第１の障害物候補領域の危険度を算出する危険度算出ステップと、
   前記画像データから認識した前記危険物は、複数の前記障害物候補領域のうち前記第１の障害物候補領域とは異なる第２の障害物候補領域として設定され、
   第１の遮蔽度算出部が、前記第１の障害物候補領域と前記第２の障害物候補領域の位置関係を用いて第１の遮蔽度を算出する第１の遮蔽度算出ステップと、
   を実行させるための障害物危険度算出プログラム。

Images