JP2009140289A - 画像処理装置 - Google Patents

Abstract

【課題】画像データから前方車両を精度よく検出する画像処理装置を提供すること。
【解決手段】立体物４１の位置情報を検出する位置情報検出手段２８と、立体物４１が撮像された撮像画像を取得する画像取得手段２１と、位置情報に基づき撮像画像における立体物の探索領域を設定する探索領域設定部３０と、を有する画像処理装置１００において、探索領域のエッジ画像を検出するエッジ検出手段２３と、エッジ画像を複数の領域に分割し、各領域のエッジの分布を検出するエッジ分布検出手段２４と、各領域のエッジの分布傾向に基づき立体物以外のエッジを除去するノイズ除去部２５と、を有することを特徴とする。
【選択図】図１

Description

本発明は、障害物を検出する画像処理装置に関し、特に、ノイズを除去して障害物を精度よく検出する画像処理装置に関する。

車両前方の立体物（以下、障害物という）をレーダで検出して運転者を支援する技術が知られているが、レーダは近距離の測距が不安定なため、車両前方の所定範囲が撮影された画像データを画像解析して障害物の検出を支援する技術が提案されている（例えば、特許文献１、２参照。）。特許文献１には、画像データ内の前方車両の左右端に相当する１対の垂直エッジを検出し、これとパターンマッチングを併用して前方車両の位置を検出する前方車両の検出方法が記載されている。また、特許文献２には、画像データからレーダにより車両一台分の候補領域を設定し、候補領域内の垂直エッジを求め、左右に２分された候補領域の垂直エッジを、右領域及び左領域毎にその座標を所定量ずつし、ずらした座標に生成された２つの投票情報のピークがある座標を車両中央と決定する車両検出方法が記載されている。
特開２００６−４８４３５号公報 特開２００５−１４１５１７号公報

しかしながら、車両前方を撮影した画像データには前方車両以外にも街路樹や電柱等の地物、路面表示等が撮影されるため、特許文献１のように単に垂直エッジをペアリングするだけでは前方車両のみを精度よく検出することは困難である。また、特許文献２に記載された車両検出方法では、前方車両以外の背景を排除することが考慮されておらず、例えば白線に前方車両が寄っているような場合に車両の中央位置を誤検出するおそれがある。

本発明は、上記課題に鑑み、画像データから前方車両を精度よく検出する画像処理装置を提供することを目的とする。

上記課題に鑑み、本発明は、立体物の位置情報を検出する位置情報検出手段と、立体物が撮像された撮像画像を取得する画像取得手段と、位置情報に基づき撮像画像における立体物の探索領域を設定する探索領域設定部と、を有する画像処理装置において、探索領域のエッジ画像を検出するエッジ検出手段と、エッジ画像を複数の領域に分割し、各領域のエッジの分布を検出するエッジ分布検出手段と、各領域のエッジの分布傾向に基づき立体物以外のエッジを除去するノイズ除去部と、を有することを特徴とする。

本発明によれば、分割した領域の傾向に基づいて前方車両以外の垂直エッジを除去するので、前方車両のような障害物の検出精度向上させることができる。

画像データから前方車両を精度よく検出する画像処理装置を提供することができる。

以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
図１は、本実施形態の画像処理の概略を説明する図である。画像処理装置１００は、前方車両が画像データの中央周辺に撮影されるのに対し、街路樹や電柱等の地物、路面表示等は画像データの上部や下部に集中して検出されることを利用して、前方車両以外を画像データから除去する。

より具体的には、予めミリ波レーダ等により推定される前方車両までの相対距離と前方車両の横幅に基づき画像データに前方車両の探索領域を設定し、図１に示すように、探索領域から垂直エッジを検出する。そして、探索領域を上下に２分割し、上側領域のみ又は下側領域のみに分布する垂直エッジは前方車両以外のノイズであるとして除去する。図１では、垂直エッジ１１は上側領域にのみ分布しているのでノイズとして除去され、垂直エッジ１２，１３は上下の領域に連続して分布しているので除去されない。

かかる処理により画像処理装置１００は、垂直エッジ１２、１３を前方車両の左右端として推定し、前方車両の車幅等を検出することができる。探索領域の上側領域のみ又は下側領域にのみ現れる垂直エッジは地物や路面表示等であることを利用して、分割した領域の傾向に基づいて前方車両以外の垂直エッジを除去するので、前方車両のような障害物の検出精度向上させることができる。なお、本実施形態では立体物として前方車両を用いて説明するが、前方車両以外の対向車両、落下物等の障害物に対しても好適に適用できる。

図２は、画像処理装置１００の機能ブロック図を示す。画像処理装置１００は、カメラ２１、ミリ波レーダ装置２８及び画像処理コンピュータ５０を有する。画像処理コンピュータ５０は、ＣＰＵ、ＲＡＭ、ＲＯＭ及び入出力インターフェイスを備えたコンピュータであり、ＣＰＵがプログラムを実行することや演算回路、ＩＣ等によりエッジ検出部２３，エッジ分布検出部２４、ノイズ除去部２５、障害物端検出部２６、前方車両推定部２９及び探索領域設定部３０を実現する。

カメラ２１は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）の撮像素子を有し、車両前方へ向けてやや水平下向きに光軸を有し所定角範囲で広がる領域を撮影する。車両前方から入射した光は撮像素子により光電変換され、蓄積された電荷の電圧として読み出された後増幅され、Ａ／Ｄ変換により所定の輝度階調（例えば、２５６階調）のデジタル画像（以下、前方画像という）に変換される。カメラ２１は例えば３０〜６０回／秒程度のフレームレートで前方画像を撮影し、順次、画像メモリ２２に前方車両を記憶する。なお、カメラ２１はステレオカメラであってもよいし、車両後方を撮影してもよい。

ミリ波レーダ装置２８は、車両の例えばフロントグリル内に設置され車両前方に向けてミリ波を送信すると共に前方車両に反射したミリ波を受信し、送信したミリ波が受信されるまでの時間により前方車両との相対距離を、送信波と受信波の周波数との差に基づき相対速度を検出する。具体的は、三角波でＦＭ変調した送信波をアンテナから出力し、前方車両から反射した反射波をアンテナで受信してミキシングすることでビート信号を取得する。ビート信号は、前方車両までの距離及び相対速度に応じて生じる干渉により波形が変化するので、波形から相対距離と相対速度が演算される。

ミリ波レーダ装置２８は、例えば、車長方向を中心に左右方向の所定角度範囲を走査しながらレーザパルスを照射する。照射方向に前方車両が存在すれば反射波が受信されるので、自車両の前方に存在する前方車両の方向や横幅を検出することができる。例えば、障害物が前方車両の場合、前方車両の後部左右端のリフレクタやボディから反射波を受信する。以下、ミリ波レーダ装置２８が取得する前方車両等の障害物の距離情報、相対速度情報及び方向に係る情報を位置情報という。

〔ノイズ除去手順〕
ノイズ除去の手順を図３のフローチャート図に基づき詳細に説明する。図３のフローチャート図は、所定の車載装置のスイッチがオンとされたりイグニションがオンになるとスタートし、前方画像に対し繰り返し実行される。

・Ｓ１００
前方車両推定部２９はミリ波レーダ装置２８が取得する位置情報のうち前方車両の確度が高い位置情報を抽出する。また、探索領域設定部３０は前方車両推定部２９が抽出した位置情報に基づき前方画像における前方車両の探索領域を設定する。

ミリ波レーダ装置２８は、例えばミリ波レーダ装置２８の先端部を原点、路面に垂直な方向をＹ軸、車幅方向をＸ軸、車長方向をＺ軸とする３次元座標系（以下、ミリ波座標系という）における位置情報を検出する。

図４（ａ）はミリ波座標系の一例を、図４（ｂ）はカメラ座標系の一例をそれぞれ示す。ミリ波座標系では上述したように前方車両４１の後部端の座標が（ｘｒ１、ｙｒ１，ｚｒ１）等のように検出されている。ｘｒｉのｉ（１、２、３、…）はミリ波レーダ装置２８が１走査において照射するレーザパルスに順番に付与される番号である。前方車両推定部２９は、この座標と相対速度情報から位置情報をグルーピングする。具体的には、ミリ波座標系における距離が所定以内であって、かつ、同じ相対速度を有する座標をグルーピングする。したがって、前方車両４１の座標（ｘｒ１、ｙｒ１，ｚｒ１）〜（ｘｒ３、ｙｒ３，ｚｒ３）は１つのグループにグルーピングされ、ガードレール４２の座標（ｘｒ０、ｙｒ０，ｚｒ０）は別のグループにグルーピングされる。そして、前方車両推定部２９は、グルーピングされた一連の位置情報から、自車両の車速と同程度の相対速度を有するグループ（位置情報）を排除する。これによりガードレール４２のように静止した障害物の位置情報を排除できる。

ついで、探索領域設定部３０は、前方車両４１の座標（ｘｒ１、ｙｒ１，ｚｒ１）〜（ｘｒ３、ｙｒ３，ｚｒ３）に基づき前方画像における前方車両４１の探索領域４３を設定する。カメラ座標系は撮像素子の中心を原点として、路面に垂直な方向をＹ軸、車幅方向をＸ軸、車長方向をＺ軸とする３次元座標系である。２つの座標系の関係は、座標系の回転を対応づける回転行列Ｒ、ミリ波レーダ装置２８の取り付け位置とカメラ２１の取り付け位置を補正する平行移動ベクトルｔ、から関係づけることができる。

また、前方画像は２次元なのでカメラ座標系をさらに所定の２次元平面（ｇｘ、ｇｙ）に射影する。３次元から２次元の変換は、カメラの内部パラメータ行列Ａを用いる。内部パラメータＡは、所定のキャリブレーションによりカメラの焦点距離、レンズ収差、光軸中心、アスペクト比などから定められる（ｋは定数、Tは転置を表す。）。
ｋ（ｇｘ、ｇｙ、１）^T＝Ａ［R｜ｔ］（ｘｒ、ｙｒ、ｚｒ、１）^T
以上で、前方車両４１の座標（ｘｒ１、ｙｒ１，ｚｒ１）〜（ｘｒ３、ｙｒ３，ｚｒ３）をカメラ座標系の２次元平面に射影できた。探索領域設定部３０は、グルーピングされた前方車両４１の一連の座標（ｘｒ１、ｙｒ１，ｚｒ１）〜（ｘｒ３、ｙｒ３，ｚｒ３）から射影された、前方画像における一連の座標（ｇｘ、ｇｙ）等から、例えば矩形領域の探索領域４３を設定する。探索領域４３の横幅は例えば前方車両４１の左右端からそれぞれ所定のマージン（例えば、左右それぞれに＋１０％〜＋５０％）を見込んだ値となり、縦長は例えば横幅と同程度とする。前方車両４１の縦長は横幅より短いとしてよいので、この横幅×縦長の範囲に前方車両４１が撮影されているとしてよい。なお、バイクなどの二輪車は横幅より縦長が長いので、横幅が所定以下の場合、縦長を横幅の２倍とするなど修正する。

図５（ａ）は画像メモリ２２に記憶された輝度画像の一例を、図５（ｂ）は探索領域設定部３０が設定した探索領域４３の一例を示す図である。すなわち、前方画像から前方車両４１が撮影されている領域を中心に切り出すことができる。

・Ｓ２００
次に、エッジ検出部２３は探索領域４３の垂直エッジを検出する。探索領域４３の輝度を水平方向に一次又は二次微分して、垂直エッジを検出する。実際には、ノイズ（本願の垂直エッジとは異なる）処理を施しながら、注目する画素に隣接する画素の画素値にオペレータと呼ばれる行列で重み付けする。オペレータとしてSobeｌやRoberts等が知られており、例えば、Sobelの一次微分のオペレータは次のように表される。
-1 0 1 1 0 -1
-2 0 2 2 0 -2
-1 0 1 1 0 -1
右方向 左方向
注目画素に隣接する８個の画素の画素値にオペレータを乗算し、左右の画素値の差分を算出することで、水平方向の輝度の勾配又は差分を算出し、この値が所定以上の画素がエッジとして検出される。

図５（ｃ）は探索領域４３の垂直エッジ画像の一例を示す。図５（ｂ）に示したように、探索領域４３には街路樹４４、左白線４６、右白線４５及び前方車両４１が撮影されている。このため、図５（ｃ）の垂直エッジ画像には、街路樹４４の垂直エッジ４４ｅ、左白線４６の垂直エッジ４６ｅ、右白線４５の垂直エッジ４５ｅ及び前方車両４１の垂直エッジ４１ｅが得られている。それぞれのエッジは立ち下がりと立ち上がりの輝度変化のため２本となるが本実施形態では特に区別しない。

垂直エッジであるので、本来、左白線４６の垂直エッジ４６ｅ及び右白線４５の垂直エッジ４５ｅは検出されないが、仮に白線のエッジが検出されても次述するように、ノイズとして同様に削除できる。なお、エッジ検出部２３は、垂直方向の所定数以内（例えば１０画素）の画素に垂直エッジが検出された場合、それを一連の連続した垂直エッジとして扱う。これにより、前方画像のエッジの分布が明確になる。

・Ｓ３００
次に、エッジ分布検出部２４は、探索領域４３を上下の領域に分割し上側領域と下側領域それぞれのエッジ分布を検出することで、上側領域又は下側領域にのみ分布する垂直エッジ（以下、単にノイズという場合がある）を検出する。

垂直エッジには以下の傾向があると考えられる。
・前方車両４１のような障害物は、探索領域４３の上下に跨って分布する。
・街路樹４４、電柱等の地物は、探索領域４３の上側に分布する。
・横断歩道等の路面標示は、探索領域４３の下側に分布する。
この傾向を利用して、探索領域４３を上下に分割して垂直エッジの分布を調べることで、画像処理装置１００は前方車両４１以外の垂直エッジを除去することができる。

図６（ａ）は上側領域の垂直エッジ画像の一例を、図６（ｂ）は下側領域の垂直エッジ画像の一例をそれぞれ示す。分割された結果、街路樹４４の垂直エッジ４４ｅは上側領域にのみ含まれ、左白線４６の垂直エッジ４６ｅ、右白線４５の垂直エッジ４５ｅ及び前方車両４１の垂直エッジ４１ｅは上側領域と下側領域それぞれ含まれることになる。

ここで、上側領域と下側領域を比較するため垂直エッジをラベリングする。図６（ａ）の上側領域では街路樹４４の垂直エッジ４４ｅにレベルＵ１、左白線４６の垂直エッジ４６ｅにラベルＵ２、右白線４５の垂直エッジ４５ｅにラベルＵ３、前方車両４１の左端の垂直エッジ４１ｅにラベルＵ４、前方車両４１の右端の垂直エッジ４１ｅにラベルＵ５をラベリングする。同様に、図６（ａ）の下側領域では、左白線４６の垂直エッジ４６ｅにラベルＬ２、右白線４５の垂直エッジ４５ｅにラベルＬ３、前方車両４１の左端の垂直エッジ４１ｅにラベルＬ４、前方車両４１の右端の垂直エッジ４１ｅにラベルＬ５をラベリングする。

そして、エッジ分布検出部２４は、分割線に対し上側領域の垂直エッジ画像の線対称な垂直エッジ画像（以下、対称画像という）を求め、その垂直エッジの位置が下側領域の垂直エッジ画像の垂直エッジの位置と一致するか否かによりエッジ分布を検出する。

図６（ｃ）は上側領域の対称画像である。エッジ分布検出部２４は、ラベリングした垂直エッジ毎に対称画像と下側領域を比較する。例えば図６（ｃ）のラベルＵ１と同じ座標に、図６（ｂ）の下側領域に垂直エッジがあるか否かを検出していく。そして、ラベル毎のヒット率を算出する。例えば、ラベルＵ１を構成する垂直エッジの数Ｎに対し、下側領域で対応する垂直エッジの数ｎの比がヒット率となる。ヒット率が所定値以上の場合、エッジ分布検出部２４は対称画像の垂直エッジは下側領域にも分布していると判定する。

なお、下側領域において、ラベルＵ１の垂直エッジの座標に所定画素数以内で隣接した画素までは垂直エッジが存在すると判定してもよい。これは前方車両４１のエッジ４１ｅが上下に完全な対称とは限らないため、判定を緩和する上で有効である。

図６（ｃ）と（ｂ）から明らかなように、対称画像のラベルＵ１、Ｕ２、Ｕ３の垂直エッジは下側画像の同じ座標に垂直エッジが分布していないので、エッジ分布検出部２４はラベルＵ１、Ｕ２、Ｕ３の垂直エッジについては上側領域にのみ分布していると判定する。これに対し、ラベルＵ４、Ｕ５の垂直エッジは下側画像の同じ座標にラベルＬ４とＬ５の垂直エッジが分布している。すなわち、ラベルＵ４とＵ５の垂直エッジではヒット率が所定値を超え、エッジ分布検出部２４はラベルＵ４、Ｕ５の垂直エッジが上側領域と下側領域のいずれにも分布していると判定する。

エッジ分布検出部２４は、同様の処理を下側領域に対して実行する。すなわち、分割線に対し下側領域の垂直エッジ画像の対称画像を求め、ラベルＬ１〜Ｌ５毎に、上側領域の同じ座標に垂直エッジがあるか否かを判定しヒット率を算出する。これにより、下側領域にのみ分布する垂直エッジを除去できる。また、ラベルＬ４とＬ５の垂直エッジについて、エッジ分布検出部２４は上側領域と下側領域のいずれにも分布していると判定する。

ところで、図５（ｃ）では上側領域の街路樹４４の垂直エッジ４４ｅをノイズとして除去したが、図７（ａ）に示すように、探索領域４３に横断歩道の路面標示４７が撮影された場合にも、路面標示４７の垂直エッジは下側領域にのみ検出されるので同様に路面標示４７の垂直エッジを除去できる。

以上により、エッジ分布検出部２４は、上側領域にのみ検出される垂直エッジ、下側領域にのみ検出される垂直エッジがそれぞれ検出する。

・Ｓ４００
ノイズ除去部２５はノイズを除去する。ステップＳ３００の処理により、上側領域のラベルＵ１、Ｕ２、Ｕ３の垂直エッジ、下側領域のラベルＬ２、Ｌ３の垂直エッジがノイズとして検出されているので、ノイズ除去部２５はこれらの垂直エッジを除去する。図５（ｃ）からノイズを除去してもよいし、下側領域と上側領域からノイズを除去してそれらの画像を結合してもよい。図８は、ノイズが除去された探索領域４３の一例を示す。ノイズが除去された結果、前方車両４１の左端及び右端の垂直エッジ４１ｅのみが残る。

・Ｓ５００
障害物端検出部２６は、除去されなかった垂直エッジ４１ｅに基づき前方車両４１の左右端を検出する。垂直エッジ４１ｅから前方車両４１の、横幅Ｗ、中央位置等を検出して、例えば衝突判定のＥＣＵ（electronic control unit）に送出する。該ＥＣＵはミリ波レーダ装置２８の測距が不安定な状況でも、前方車両４１を検出して、警報吹鳴や制動力の付加など適切な運転支援を行うことができる。

本実施形態の画像処理装置１００は、垂直エッジという比較的処理負荷の小さい画像処理により、ミリ波レーダ装置２８の機能を補完して前方車両４１の検出を可能とすることができる。探索領域４３に現れる垂直エッジの傾向に基づいてエッジ分布を検出するので、前方車両４１以外の垂直エッジを効率的に除去することができる。したがって、前方車両４１に代表される障害物の検出精度を向上させることができる。

なお、ステップＳ３００では、エッジ分布検出部２４は探索領域４３を上下に２等分することとしたが、上側又は下側のいずれか一方を大きくしてもよい。この場合、上側領域と下側領域の垂直エッジは対応する画素が存在する範囲で比較する。

また、探索領域４３を上下に分割した後、分割線を跨いで垂直方向に連続した垂直エッジを確定し、それ以外の垂直エッジをノイズとして除去してもよい。垂直方向であるので、斜めに連続する白線のエッジ４５ｅ、４６ｅが検出されてもそれらはノイズとして除去することができる。また、探索領域４３の端から端まで連続した垂直エッジを白線として除去してもよい。

本実施形態の画像処理の概略を説明する図である。 画像処理装置の機能ブロック図である。 ノイズ除去の手順を示すフローチャート図の一例である。 ミリ波座標系とカメラ座標系の一例を示す図である。 輝度画像及び探索領域の一例を示す図である。 上側領域と下側領域の垂直エッジの分布を比較する図である。 上側領域と下側領域の垂直エッジの分布を説明する図である。 ノイズが除去された探索領域の一例を示す図である。

符号の説明

２１ カメラ
２２ 画像メモリ
２３ エッジ検出部
２４ エッジ分布検出部
２５ ノイズ除去部
２６ 障害物端検出部
２８ ミリ波レーダ装置
５０ 画像処理コンピュータ
１００ 画像処理装置

Claims (4)

1. 立体物の位置情報を検出する位置情報検出手段と、
   前記立体物が撮像された撮像画像を取得する画像取得手段と、
   前記位置情報に基づき前記撮像画像における立体物の探索領域を設定する探索領域設定部と、を有する画像処理装置において、
   前記探索領域のエッジ画像を検出するエッジ検出手段と、
   前記エッジ画像を複数の領域に分割し、各領域のエッジの分布を検出するエッジ分布検出手段と、
   各領域のエッジの分布傾向に基づき前記立体物以外のエッジを除去するノイズ除去部と、
   を有することを特徴とする画像処理装置。
2. 前記エッジ分布検出手段は前記探索領域を上下２つの領域に分割し、上側領域にのみ及び下側領域にのみ分布している不均一エッジを検出し、
   前記ノイズ除去手段は前記不均一エッジを除去する、
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記エッジ分布検出手段は前記探索領域を上下２つの領域に分割し、分割線を跨いで垂直方向に連続した連続エッジを検出し、
   前記ノイズ除去手段は、前記連続エッジ以外のエッジを除去する、
   ことを特徴とする請求項１記載の画像処理装置。
4. 前記エッジ分布検出手段は、上側領域のエッジが、上側領域のエッジ位置と分割線に線対称な下側領域の位置に検出されない場合に、上側領域にのみエッジが分布していると判定し、
   下側領域のエッジが、下側領域のエッジ位置と分割線に線対称な上側領域の位置に検出されない場合に、下側領域にのみエッジが分布していると判定する、
   ことを特徴とする請求項２記載の画像処理装置。
   
   
   
   

Images