JP5300309B2 - 障害物認識装置 - Google Patents

Description

この発明は、撮影画像を処理して自車の後方の障害物を認識する障害物認識装置に関し、詳しくは、自車の前後に障害物としての車両が存在するときの認識の改良に関する。

従来、車両のプリクラッシュセーフティ（被害軽減や衝突回避等）を実現する場合、走行中の自車の前方や後方の障害物をどのようにして認識するかが重要であり、とくに、後方から接近する車両のような障害物に対する的確な認識が望まれている。

そして、前記障害物を認識する装置として、従来、自車に搭載したカメラにより自車の前方又は後方を一定時間毎に撮影し、時間が前後する２枚の撮影画像について射影変換を施した後に差分をとり、その差分から時間ずれが生じた特徴点を検出して動きベクトルのオプティカルフローを検出し、この検出に基づいて自車の前方や後方の車両等の障害物（路面垂直物）を認識する装置が提案されている（例えば、特許文献１参照）。
特許第３４６３８５８号公報（例えば、請求項１、段落［００１４］、［００４１］−［００４５］、［０１１８］、図１〜図３）

前記特許文献１に記載の従来装置の場合、時間が前後する２枚の撮影画像の射影変換後の差分画像から前記動きベクトルのオプティカルフローを検出することで、後方から接近する車両のような路上の障害物の検出を可能にしているが、この場合、撮影画像の障害物と自車との距離や形状の時間変化伴う僅かな差から障害物を認識する構成であるため、前記オプティカルフローを検出する複雑な画像処理が必要であるだけでなく、障害物の認識が容易でなく、状況によっては障害物を認識できないおそれがあり、障害物を安定して確実に認識することができない問題がある。

そこで、本願の出願人は、走行する自車の複数方向からみた路面撮影が可能な撮影手段と、略同じ路面領域についての前記撮影手段の異なる複数方向からの撮影画像を取得する画像取得手段と、前記画像取得手段が取得した複数方向からの撮影画像に含まれた所定の監視範囲を抽出して同定する同定手段と、前記同定手段の同定結果により、前記監視範囲の撮影画像間で異なる画像部分を路面に垂直な障害物として認識する認識手段とを備えた障害物認識装置を既に出願している（特願２００７−１８６５４９号）。

この既出願の障害物認識装置は、例えば時刻ｔｍに撮影手段が撮影した自車前方の一定の路面領域の撮影画像（前方画像）と、自車がその路面領域を通過して時刻ｔｎに撮影手段が撮影した自車後方の略同じ路面領域の撮影画像（後方画像）とにつき、同定手段により、略同じ監視範囲を抽出してその画像の異同（濃淡の差）から路上の障害物を同定する。

すなわち、自車前方に障害物があれば、前方画像の監視範囲には障害物が存在するが、後方画像監視範囲には障害物が存在しない状態になる。逆に、自車後方に障害物があれば、前方画像の監視範囲には障害物が存在しないが、後方画像の監視範囲には障害物が存在する状態になる。そして、自車の前方または後方に障害物が存在するときは、前記前方画像と前記後方画像のいずれか一方の監視範囲にのみ障害物が含まれ、両画像の監視範囲の内容が大きく異なることから、前記既出願の障害物認識装置は、オプティカルフローを検出する複雑な画像処理等を行うことなく、簡単な画像の濃淡（明暗）の差から自車の前方または後方の障害物を容易に安定して確実に認識することができる。

しかしながら、前記既出願の障害物認識装置の場合、自車の前後に車両が存在して前方画像と後方画像の車両が重なると、自車の後方に障害物としての車両が存在するのか否かが分からない。なお、自車の前方についても同様である。

そのため、自車の前後に障害物としての車両が存在するときには、とくに後方から接近する車両のような自車の後方の障害物の的確な認識が困難になる。

また、何らかの原因で前方画像が得られなくなったときにも、自車の後方の障害物の的確な認識が困難になる。

本発明は、撮影画像の簡単な処理により、自車の前後に車両が存在する場合や前方画像が得られなくなった場合に自車の後方の障害物を的確に認識できるようにすることを目的とする。

上記した目的を達成するために、本発明の障害物認識装置は、走行する自車の前後方向の路面撮影が可能な撮影手段と、略同じ路面領域について前記撮影手段が撮影した前方画像及び後方画像を取得する画像取得手段と、前記画像取得手段により取得された前方画像の車両が存在しない領域を複数フレームにわたって重ね合わせ、車両が存在しない前方画像を生成する生成手段と、前記生成手段により生成された前方画像の路面領域内の後方画像を同定する同定手段と、前記生成手段により生成された前方画像と前記同定手段により同定された後方画像との異なる画像部分から、後方画像の車両を認識する認識手段とを備えたことを特徴としている（請求項１）。

また、本願の障害物認識装置は、前記画像取得手段の取得後の撮影画像に対して射影変換を行う射影変換手段をさらに備えたことを特徴としている（請求項２）。

請求項１の発明によれば、自車の前後に車両が存在していても、撮影手段が前方画像及び後方画像を撮影するときには、生成手段により、画像取得手段が取得した複数フレームの前方画像の車両が存在しない部分を重ね合わせて車両の存在しない前方画像が生成される。

また、同定手段により、画像取得手段が取得した後方画像であって、生成手段による前記車両の存在しない前方画像の路面領域内の画像が同定される。

そして、認識手段により、生成手段による前記車両の存在しない前方画像と前記同定手段が同定した後方画像との異なる画像部分から後方画像の車両が容易に認識される。

したがって、自車の前後に車両が存在する場合に、前方画像及び後方画像を用いた簡単な画像処理により後方から接近する車両の的確な認識が行える。

一方、何らかの原因で撮影手段が前方画像を撮影できなくなると、生成手段により、画像取得手段が取得した複数フレームの後方画像の車両が存在しない部分を重ね合わせて車両の存在しない画像が生成される。

また、同定手段により、前記車両の存在しない画像の路面領域内に車両が存在する後方画像が同定される。

そして、認識手段により、前記車両の存在しない画像と前記同定手段が同定した後方画像との異なる画像部分から後方画像の障害物（車両）が容易に認識される。

したがって、何らかの原因で前方画像が得られなくなった場合には、後方画像を用いた簡単な画像処理により自車の後方の障害物の的確な認識が行える。

請求項２の発明によれば、射影変換手段の射影変換により、前方画像と後方画像とにつき、それぞれの撮影範囲を俯瞰（鳥瞰）した射影変換画像が得られる。そのため、同定手段の画像の同定及び認識手段の認識が射影変換画像を用いて一層容易に行える利点がある。

つぎに、本発明をより詳細に説明するため、一実施形態について、図１〜図１２を参照して詳述する。

図１は自車１に搭載された障害物認識装置２のブロック構成を示し、図２は障害物認識装置２の撮像手段の構成例を示す。図３は障害物認識装置２の動作説明用のフローチャートである。図４、図５及び図７〜図１２は障害物認識装置２の処理を説明する画像例を示し、図６は射影変換の説明図である。

図１に示すように、自車１に搭載された障害物認識装置２は、撮影手段３と、その撮影画像を処理して同定するマイクロコンピュータ構成の画像処理手段４と、撮影画像等を書き換え自在に蓄積するデータ蓄積手段５によって構成される。

撮影手段３は、走行する自車１の前後の方向からみた路面撮影が可能なモノクロ或いはカラーの単眼カメラからなり、撮影した時々刻々のフレーム画像を出力する。なお、撮影手段３は具体的には、例えば図２に示すように、自車１の前方監視用のインナミラー前方の単眼カメラ３ａと、後方監視用のバックドア上方の単眼カメラ３ｂとからなる。そして、両単眼カメラ３ａ、３ｂは同じものであり、例えば動画像を１／３０秒間隔で静止画に切り分けて出力する。また、単眼カメラ３ａ、３ｂの設置角度は、射影変換を行ったときに車両脇の白線が多く使えるように、無限遠点を画像上部に含む角度に設定される。

つぎに、画像処理手段４は本発明の画像取得手段、射影変換手段、生成手段、認識手段を形成するとともに、後述する微分２値化手段、膨張手段、演算手段、収縮手段を形成し、自車１の走行中に図３のステップＳ１〜Ｓ１０の認識処理プログラムをくり返し実行する。

前記画像取得手段は、図３のステップＳ１において、単眼カメラ３ａが撮影した図４の自車１の前方の路面領域の撮影画像（以下、前方画像という）Ｆ１を取り込んでデータ蓄積手段５に保持し、車速センサ（図示せず）の自車速等から決定した微小時間Δｔだけ遅れた時刻ｔｂに単眼カメラ３ｂが撮影した図５の自車１の後方の略同じ路面領域の撮影画像（以下、後方画像という）Ｂ１を取り込んでデータ蓄積手段５に保持する。なお、自車１の前後に路面に垂直な障害物としての車両（前方の車両α、後方の車両β）が存在し、前方画像Ｆ１は車両αを含み、後方画像Ｂ１は車両βを含む。

前記射影変換手段は、本実施形態の場合、図３のステップＳ２により前方画像Ｆ１及び後方画像Ｂ１に射影変換を行う。

この射影変換は図６に示すように、ある平面Ｌ上の点 Ｐ（ｘ、 ｙ）を投影中心 Ｏに関して、他の平面 Ｌ０上の点 Ｐ０（ｕ、ｖ）として投影する周知の座標変換であり、単眼カメラ３ａ、３ｂの撮影路面が平面と仮定できる道路環境にあっては、任意の視点からみた画像に射影変換することができる。

そして、前方状況を単眼カメラ３ａで撮影した前方画像Ｆ１と、後方状況を単眼カメラ３ｂで撮影した後方画像Ｂ１とにつき、道路面を平面と仮定し路面の白線が平行になるように射影変換すると、路面を上方からみた図４の前方画像Ｆ２、図５の後方画像Ｂ２が得られる。

なお、前方画像Ｆ２は下側が自車１側であり、後方画像Ｂ２は上側が自車１側である。また、後述の画像の重ね合わせによって自車１の後方の障害物を認識するため、実際には、前方画像Ｆ２、後方画像Ｆ３は正規化して重ね合わせが可能なように形成することが望ましい。そのため、（ｉ）単眼カメラ３ａ、３ｂにより同じ領域を撮影する。（ｉｉ）単眼カメラ３ａ、３ｂの角度、高さを用いて道路面は完全な平面であるという仮定のもとに、射影変換によって真上からみた画像を生成する。このとき、ハフ変換を用いて常に車線の両脇の白線を抽出し、平行になる様に角度の調整を行う。（ｉｉｉ）ハフ変換によって得られた白線の直線成分によって前方画像Ｆ２と後方画像Ｂ２との車線の幅と向きを合わせる。（ｖｉ）自車１から移動した距離は車速等から把握できるので、前方画像Ｆ２と後方画像Ｂ２とについて、テンプレートマッチング等により、走行車線よりやや大きく取った領域の正確な位置合わせを行う。

このようにして得られた前方画像Ｆ２と後方画像Ｂ２を重ね合わせて濃淡の差分をとると、その差分画像は単眼カメラ３ａ、３ｂに近い領域は暗くなり、太陽光等の照明光に対する単眼カメラ３ａ、３ｂの向きによっても濃淡が大きく変化する。また、前記濃淡の変化の具合は道路面の材質等によっても異なる。さらに、重ね合わせの僅かな位置ずれによって広範囲の濃淡誤差が生じる。そのため、前記差分画像からは車両等の障害物を認識できない可能性がある。そこで、本実施形態においては、以下に説明する微分２値化手段、膨張手段、演算手段、収縮手段により、画像を微分して２値化した後、画像処理において周知の膨張処理、排他的論理和演算、収縮処理を行って、それらの不都合を解消する。

前記微分２値化手段は、画像取得手段が取得した前方画像Ｆ１、後方画像Ｂ１又はそれらを射影変換した前方画像Ｆ２、後方画像Ｂ２を微分して２値化する手段であり、射影変換手段を備える本実施形態の場合、図３のステップＳ３により前方画像Ｆ２、後方画像Ｂ２を微分処理して濃淡を強調し、その後、所定の閾値で微分エッジを２値化する。なお、前記微分処理においては、路面の細かい凸凹に基づく不要な微分値が生じないように平滑化を施してから前方画像Ｆ２、後方画像Ｂ２の微分値をとることが好ましい。

前記膨張処理は、前方画像Ｆ２、後方画像Ｂ２のような画像を微分して２値化した２値化画像に対して、論理「１」の画素が形成する線幅を太くする処理であり、簡単には、処理対象の２値化画像を例えば４画素又は８画素の適当な小領域に分割し、各小領域の各画素の１つでも「１」であればその小領域の全画素を「１」にすることで実現される。

そして、前記微分２値化手段により画像Ｆ２、Ｂ２それぞれを微分し、２値化した画像に対して前記膨張処理を行うと、図７の前方画像Ｆ３、後方画像Ｂ３が得られる。

ところで、前記膨張処理を施すと、画像の点や線が膨張して画像のずれが緩和される。そして、膨張処理後の画像Ｆ３、Ｂ３の排他的論理和をとると、いずれか一方の画像にしか存在しない車両α、β等の物体のエッジ（異なる画像部分）は膨張処理をした後でも残り、両方の画像Ｆ３、Ｂ３に共通に存在する道路標示等は消える。さらに、排他的論理和をとって形成された画像を収縮処理して画像中の点や線を元の太さに戻すと、道路標示等の前記排他的論理和をとっても消え残っていた不要な画像部分も消え、認識対象の物体のエッジ部分だけが元に戻る。そして、車両α、βが重ならなければ、それらのエッジ部分から車両α、βを認識できる。

そこで、前記演算手段により画像Ｆ３、Ｂ３の排他的論理和を演算して重ね合わせると、図７の合成画像ＦＢ３が得られる。さらに、前記収縮手段により、合成画像ＦＢ３の収縮処理を行うと、図７の画像ＦＢ４が得られる。

ここで、合成画像ＦＢ３は図７の実線枠ａで囲まれた部分が前方画像Ｆ３であり、同図の実線枠ｂで囲まれた部分が後方画像Ｂ３である。そして、自車１の前後に車両α、βが存在する場合、図７の実線枠ａ、ｂが交錯することからも明らかなように、合成画像ＦＢ３の車両α、βが重なり合って１つの物体のようになる。そのため、収縮処理後の画像ＦＢ４から自車１の後方の障害物としての車両βを分離して認識することはできない。この点は、微分２値化前の画像Ｆ１、Ｂ１を重ね合わせてそれらの濃淡の差の画像を得、その画像から車両βを認識する場合も同様である。そして、車両βを分離して認識できなければ、認識結果からは自車１からの車両βまでの距離等が分からず、衝突の可能性の判断等が行えない。

ところで、自車１の走行に伴う撮影手段３の撮影位置の変化にしたがって、例えば単眼カメラ３ａの撮影路面も図８に示すように時間変化して前進し、同時に前方の車両αも前に進む。この点は、単眼カメラ３ｂの撮影路面及び車両βについても同様である。

そして、各時刻ｔ１、ｔ２、ｔ３、…の前方画像Ｆ２（ｔ１）、Ｆ２（ｔ２）、Ｆ２（ｔ３）、…及び、前方画像Ｆ３（ｔ１）、Ｆ３（ｔ２）、Ｆ３（ｔ３）、…のカメラ側端部から車両αまでの範囲は車両αが存在せず、路面のみとなる。この点は、例えば膨張処理する前の微分２値化した前方画像Ｆ３＊を拡大して示した図１０からも明らかである。図１０の実線枠ｃは車両αの部分でありそれより手前の実線枠ｄの部分が路面部分である。

そして、複数フレームにわたって前方画像Ｆ２（ｔ１）、Ｆ２（ｔ２）、Ｆ２（ｔ３）、…又は、前方画像Ｆ３（ｔ１）、Ｆ３（ｔ２）、Ｆ３（ｔ３）、…の車両αが存在しない路面部分を重ね合わせると、図９に模式的に示すように、それらの路面部分を継ぎ合わせた前方画像、すなわち、車両αが存在しない前方画像Ｆｒを生成できる。

さらに、前方画像Ｆｒが生成されると、自車１の前方に車両αが存在していても、前方画像Ｆｒとその路面領域内の適当な時刻の後方画像Ｂ２又は後方画像Ｂ３とに基づいて、自車１の後方の車両βを分離して認識できる。

また、何らかの原因で前方画像Ｆ１が得られないときは、複数フレームにわたって後方画像Ｂ２又は後方画像Ｂ３の車両βが存在しない路面部分を重ね合わせ、前方画像Ｆｒに対応する後方画像Ｂｒを生成し、後方画像Ｂｒとその路面領域内の適当な時刻の後方画像Ｂ２又は後方画像Ｂ３とに基づいて、自車１の後方の車両βを分離して認識できる。

そこで、前記生成手段は例えば時々刻々の前方画像Ｆ２及び後方画像Ｂ２をデータ蓄積手段５に保持し、図３のステップＳ４により、前方画像Ｆ２が得られる場合、前方画像Ｆ２の車両αが存在しない領域を複数フレーム（具体的には自車１の車速等で定まる数フレーム乃至十数フレーム程度）にわたって重ね合わせ、車両αが存在しない前方画像Ｆｒを生成する。なお、前方画像Ｆ２が得られない場合は、後方画像Ｂ２の車両βが存在しない領域を複数フレームにわたって重ね合わせ、車両βが存在しない後方画像Ｂｒを生成する。

前記同定手段は、図３のステップＳ５により、自車１の車速、現在位置等に基づいて前方画像Ｆｒ又は後方画像Ｂｒの路面領域内の後方画像Ｂ２をデータ蓄積手段５から読み出し、認識対象の後方画像Ｂ２を同定する。

前記膨張手段は、図３のステップＳ６により、前方画像Ｆｒ又は後方画像Ｂｒと、認識対象の後方画像Ｂ２との膨張処理を行う。

前記演算手段は、図３のステップＳ７により、前方画像Ｆｒ又は後方画像Ｂｒと、認識対象の後方画像Ｂ２との排他的論理和を演算し、前方画像Ｆｒ又は後方画像Ｂｒと認識対象の後方画像Ｂ２との共通して重なる道路標示等の部分の大半を打ち消す。このとき、異なる部分、すなわち、車両βの部分は膨張処理された太い輪郭線になる。なお、排他的論理和の演算に代えて、差を求める演算を行ってもよく、この場合、例えば演算結果が「−１」となる画素を「０」とすることで同じ結果が得られる。

前記収縮手段は、前記排他的論理和の演算により形成された合成画像に対して、図３のステップＳ８により前記膨張処理と逆の収縮処理を施し、前記合成画像の線幅を細くして戻し、略車両βのみとなった合成画像（収縮画像）形成する。

前記認識手段は、前記収縮手段により形成された合成画像に基づき、図３のステップＳ９により前方画像Ｆｒ又は後方画像Ｂｒと前記同定手段により同定された認識対象の後方画像Ｂ２との異なる画像部分から、後方画像Ｂ２の路面に垂直な障害物としての車両βを認識し、認識結果を自車１の被害軽減や衝突回避の衝突予測処理手段（図示せず）等に送る。このとき、例えば撮影画像Ｆ１、Ｆ２上の車両βの高さから車両βまでの距離が簡単に分かる。

そして、前方画像Ｆ２から生成された前方画像Ｆｒの実際の画像例は図１１の画像Ｆｒ１に示すようになり、それを微分２値化して膨張処理すると、同図の画像Ｆｒ２が得られる。また、図１２は前記排他的論理和の演算により形成される合成画像Ｆｅｘｏｒ、認識結果の画像Ｆｄｅｔを示し、画像Ｆｄｅｔの実線枠ｅの部分が車両βである。

したがって、本実施形態の障害物認識装置２は、自車１の前後に車両が存在していても、撮影手段３が前方画像Ｆ１及び後方画像Ｂ１を撮影するときには、生成手段により、画像取得手段が取得して形成された複数フレームの前方画像Ｆ２（又はＦ３）の車両αが存在しない部分を重ね合わせて車両の存在しない前方画像Ｆｒを生成する。

また、同定手段により、前方画像Ｆｒの路面領域内の後方画像Ｂ３が同定され、認識手段により、前方画像Ｆｒと前記同定手段が同定した後方画像Ｂ３との異なる画像部分から後方画像Ｂ３の障害物（車両β）を容易に認識することができる。

したがって、自車１の前後に車両α、βが存在する場合に、前方画像Ｆ１及び後方画像Ｂ１を用いた簡単な画像処理により後方から接近する車両βのような自車１の後方の障害物の的確な認識を行うことができる。

また、何らかの原因で前方画像Ｆ１が得られなくなった場合には、後方画像Ｂｒを用いた簡単な画像処理により前記と同様にして自車１の後方の障害物の的確な認識が行える。

さらに、射影変換手段の射影変換により、射影変換した前方画像Ｆ２、後方画像Ｂ２を用いて一層容易に各処理が行える利点があり、しかも、膨張処理、収縮処理を行うので、認識精度が一層向上する。

なお、射影変換を省いてもよく、処理を簡単にするため、膨張処理、収縮処理を省いてもよい。

そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行ううことが可能である。

例えば、前記実施形態においては、射影変換を微分２値化前に行ったが、射影変換は微分２値化後等のどのタイミングで行ってもよい。

そして、本発明は、種々の車両の障害物認識に適用することができる。

本発明の一実施形態のブロック図である。 図１の撮像手段の構成例の説明図である。 図１の動作説明用のフローチャートである。 自車の前方の車両が存在する撮影画像例の説明図である。 自車の後方の車両が存在する撮影画像例の説明図である。 図１の射影変換の説明図である。 図１の処理を説明する画像例の説明図である。 車両が存在しない部分を重ね合わせた画像の生成過程の説明図である。 車両が存在しない部分を重ね合わせた画像の模式図である。 撮影画像の車両が存在しない部分の説明図である。 車両が存在しない部分を重ね合わせた画像例の説明図である。 図１１の画像に基づく認識の説明図である。

符号の説明

１ 自車
２ 障害物認識装置
３ 撮影手段
４ 画像処理手段

Claims (2)

1. 走行する自車の前後方向の路面撮影が可能な撮影手段と、
   略同じ路面領域について前記撮影手段が撮影した前方画像及び後方画像を取得する画像取得手段と、
   前記画像取得手段により取得された前方画像の車両が存在しない領域を複数フレームにわたって重ね合わせ、車両が存在しない前方画像を生成する生成手段と、
   前記生成手段により生成された前方画像の路面領域内の後方画像を同定する同定手段と、
   前記生成手段により生成された前方画像と前記同定手段により同定された後方画像との異なる画像部分から、後方画像の車両を認識する認識手段とを備えたことを特徴とする障害物認識装置。
2. 請求項１記載の障害物認識装置において、
   前記画像取得手段の取得後の撮影画像に対して射影変換を行う射影変換手段をさらに備えたことを特徴とする障害物認識装置。