JP7327992B2 - 立体物検出装置、及び立体物検出方法 - Google Patents

Description

本発明は、立体物検出装置、及び立体物検出方法に関する。

異なるタイミングの俯瞰画像（鳥瞰視画像とも呼ばれる）の差分に基づいて、車両周囲の他車両等の立体物を検出する技術が知られている（例えば、特許文献１、特許文献２参照）。かかる技術は、特許文献１のように、車両の駐車時に周辺の他車両等の立体物を障害物として検知して警報を発する駐車支援システムなどに応用されている。

特開２００８－２２７６４６号公報 国際公開第２０１４／０１７５２１号公報

建物や標識、信号機等の構造物の影が路面に現れることが多々あり、走行中の車両からは、この影が相対移動して観測される。かかる影が走行中の車両と、その周囲の立体物との間に存在する場合、立体物の検出精度が悪くなる、という問題があった。

本発明は、走行中の車両の周囲に存在する立体物の検出精度を向上させることができる立体物検出装置、及び立体物検出方法を提供することを目的とする。

本発明の立体物検出装置は、車両の走行中に異なるタイミングでカメラによって撮影された第１撮影画像、及び第２撮影画像のそれぞれを第１俯瞰画像、及び第２俯瞰画像に変換する俯瞰変換処理部と、互いの撮影位置が揃った前記第１俯瞰画像、及び前記第２俯瞰画像の差分画像を生成する差分画像生成部と、前記差分画像に基づいて、前記車両の周囲に存在する立体物の位置を特定する立体物位置特定部と、前記差分画像において前記立体物が映っている候補となる立体物候補領域以外をマスキングしたマスク差分画像を生成するマスク差分画像生成部と、を備え、前記立体物位置特定部は、前記マスク差分画像に基づいて前記差分画像における前記立体物の位置を特定し、前記立体物位置特定部は、前記車両の走行方向に垂直な横方向を横軸とし、前記マスク差分画像の各画素の画素値を前記走行方向に沿って累積した走行方向差分量累積値を縦軸としたマスク差分ヒストグラムにおいて前記走行方向差分量累積値が第３閾値を越える横軸の位置に基づいて、前記差分画像における前記立体物の近傍接地線を特定する接地線特定部を備え、前記接地線特定部によって特定された前記近傍接地線に基づいて、前記差分画像における前記立体物の位置を特定することを特徴とする。

本発明は、上記立体物検出装置において、前記接地線特定部は、前記マスク差分ヒストグラムの横軸において連続して前記第３閾値を越えた範囲の中で前記撮影位置に最も近い範囲を特定し、前記撮影位置からみて当該範囲の直前の地点を前記近傍接地線の位置に特定することを特徴とする。

本発明は、上記立体物検出装置において、前記接地線特定部は、前記立体物の幅と前記近傍接地線とに基づいて、前記差分画像における前記立体物の遠方接地線を特定することを特徴とする。

本発明は、上記立体物検出装置において、前記立体物位置特定部は、前記差分画像において前記撮影位置から延び、前記立体物の鉛直方向輪郭線を含む放射線と、前記近傍接地線、及び前記遠方接地線のそれぞれとの交点に基づいて、前記近傍接地線において前記立体物が位置する第１領域、及び前記遠方接地線において前記立体物が位置する第２領域を特定し、これら第１領域、及び第２領域が重複する範囲に基づいて、前記差分画像において前記立体物が映った立体物領域を特定する立体物領域特定部を備えることを特徴とする。

本発明は、上記立体物検出装置において、前記立体物領域特定部は、前記差分画像において前記撮影位置から延びた複数の放射線のそれぞれを横軸とし、前記差分画像の各画素値を前記放射線に沿って累積した放射線方向差分量累積値を縦軸とした差分ヒストグラムにおいて当該放射線方向差分量累積値が第４閾値以上の放射線を、前記立体物の鉛直方向輪郭線を含む放射線と特定することを特徴とする。

本発明は、上記立体物検出装置において、前記立体物領域特定部は、前記第１俯瞰画像、及び前記第２俯瞰画像のうち、直近に撮影された撮影画像に対応する方の画像から前記立体物の輪郭成分を抽出したエッジ画像において前記撮影位置から延びた複数の放射線のそれぞれを横軸とし、当該エッジ画像の各画素値を前記放射線に沿って累積した放射線方向エッジ強度累積値を縦軸としたエッジ強度ヒストグラムにおいて当該放射線方向エッジ強度累積値が第５閾値以上の放射線を、前記立体物の鉛直方向輪郭線を含む放射線と特定することを特徴とする。

本発明は、上記立体物検出装置において、前記立体物領域特定部は、前記近傍接地線、及び前記遠方接地線によって挟まれた領域以外がマスキングされた前記差分画像に基づいて前記放射線を求め、当該放射線と前記近傍接地線と交点に基づいて前記第１領域を特定し、前記撮影位置からみて前記近傍接地線よりも遠い遠方領域以外がマスキングされた前記差分画像に基づいて前記放射線を求め、当該放射線と前記遠方接地線と交点に基づいて前記第２領域を特定する、ことを特徴とする。

本発明の立体物検出装置は、車両の走行中に異なるタイミングでカメラによって撮影された第１撮影画像、及び第２撮影画像のそれぞれを第１俯瞰画像、及び第２俯瞰画像に変換する俯瞰変換処理部と、互いの撮影位置が揃った前記第１俯瞰画像、及び前記第２俯瞰画像の差分画像を生成する差分画像生成部と、前記差分画像に基づいて、前記車両の周囲に存在する立体物の位置を特定する立体物位置特定部と、前記差分画像において前記立体物が映っている候補となる立体物候補領域以外をマスキングしたマスク差分画像を生成するマスク差分画像生成部と、を備え、前記立体物位置特定部は、前記マスク差分画像に基づいて前記差分画像における前記立体物の位置を特定し、前記マスク差分画像生成部は、前記差分画像において前記撮影位置から延びた複数の放射線のそれぞれを横軸とし、前記差分画像の各画素値を前記放射線に沿って累積した放射線方向差分量累積値を縦軸とした差分ヒストグラムにおいて当該放射線方向差分量累積値が第１閾値以下の放射線を特定し、前記差分画像において当該放射線に対応する領域をマスキングすることを特徴とする。

本発明の立体物検出装置は、車両の走行中に異なるタイミングでカメラによって撮影された第１撮影画像、及び第２撮影画像のそれぞれを第１俯瞰画像、及び第２俯瞰画像に変換する俯瞰変換処理部と、互いの撮影位置が揃った前記第１俯瞰画像、及び前記第２俯瞰画像の差分画像を生成する差分画像生成部と、前記差分画像に基づいて、前記車両の周囲に存在する立体物の位置を特定する立体物位置特定部と、前記差分画像において前記立体物が映っている候補となる立体物候補領域以外をマスキングしたマスク差分画像を生成するマスク差分画像生成部と、を備え、前記立体物位置特定部は、前記マスク差分画像に基づいて前記差分画像における前記立体物の位置を特定し、前記マスク差分画像生成部は、前記第１俯瞰画像、及び前記第２俯瞰画像のうち、直近に撮影された撮影画像に対応する方の画像から前記立体物の輪郭成分を抽出したエッジ画像において前記撮影位置から延びた複数の放射線のそれぞれを横軸とし、当該エッジ画像の各画素値を前記放射線に沿って累積した放射線方向エッジ強度累積値を縦軸としたエッジ強度ヒストグラムにおいて当該放射線方向エッジ強度累積値が第２閾値以下の放射線を特定し、前記差分画像において当該放射線に対応する領域をマスキングすることを特徴とする。

本発明は、車両の走行中に異なるタイミングでカメラによって撮影された第１撮影画像、及び第２撮影画像のそれぞれを第１俯瞰画像、及び第２俯瞰画像に変換する第１ステップと、互いの撮影位置が揃った前記第１俯瞰画像、及び前記第２俯瞰画像の差分画像を生成する第２ステップと、前記差分画像において立体物が映っている候補となる立体物候補領域以外をマスキングしたマスク差分画像を生成する第３ステップと、前記マスク差分画像に基づいて前記差分画像における前記立体物の位置を特定する第４ステップと、を備え、前記第４ステップは、前記車両の走行方向に垂直な横方向を横軸とし、前記マスク差分画像の各画素の画素値を前記走行方向に沿って累積した走行方向差分量累積値を縦軸としたマスク差分ヒストグラムにおいて前記走行方向差分量累積値が第３閾値を越える横軸の位置に基づいて、前記差分画像における前記立体物の近傍接地線を特定し、特定した前記近傍接地線に基づいて、前記差分画像における前記立体物の位置を特定することを特徴とする。

本発明によれば、走行中の車両の周囲に存在する立体物の検出精度を向上させることができる。

本発明の実施形態に係る車載システムの構成を示す図である。 カメラＥＣＵの機能的構成を示す図である。 同実施形態における車両と他車両の位置関係を示す図である。 立体物検出処理のフローチャートである。 差分画像生成動作の説明図である。 マスク画像生成処理のフローチャートである。 射影変換による鉛直方向輪郭線の倒れ込みの説明図である。 ラベル画像を模式的に示す図である。 ルックアップテーブルを模式的に示す図である。 差分ヒストグラムの説明図である。 エッジ強度ヒストグラムの説明図である。 マスク画像の生成動作の説明図である。 マスク差分画像の生成動作の説明図である。 接地線特定処理のフローチャートである。 マスク差分ヒストグラムの説明図である。 接地線特定動作の説明図である。 俯瞰画像における近傍接地線、及び遠方接地線と鉛直方向輪郭線との関係を示す図である。 立体物領域特定処理の概要説明図である。 立体物領域特定処理のフローチャートである。 差分近傍ヒストグラムの説明図である。 エッジ強度近傍ヒストグラムの説明図である。 差分遠方ヒストグラムの説明図である。 エッジ強度遠方ヒストグラムの説明図である。 近傍用マスクラベル画像、及び遠方用マスクラベル画像の説明図である。 近傍領域に限定して立体物検出を行った場合の他車両領域特定動作の説明図である。 近傍接地線における各交点のグルーピング動作の説明図である。 最終的な単一他車両領域の決定動作の説明図である。

以下、図面を参照して本発明の実施形態について説明する。
図１は、本実施形態に係る車載システム１の構成を示す図である。
車載システム１は、車両２に搭載されたシステムであり、カメラ４と、カメラＥＣＵ６と、車両制御ユニット８と、カメラＥＣＵ６と車両制御ユニット８を接続する車載ネットワークの一種であるＣＡＮ１０と、を備える。
カメラ４は、車両２のリア部に設けられ、車両２の後方ＤＢを撮影するリアカメラであり、撮影によって得られたカメラ映像５をカメラＥＣＵ６に出力する。本実施形態のカメラＥＣＵ６は、カメラ映像５に基づいて、立体物の一例である他車両Ａ（図３）の位置を検出し、ＣＡＮ１０を通じて他車両Ａの位置情報を車両制御ユニット８に送信する他車両検出装置（立体物検出装置）として機能する装置であり、カメラ４の撮影動作を制御する機能と、カメラ映像５に適宜の信号処理を施す機能を備える。
車両制御ユニット８は、車両２の走行に係る各種の制御を実行するユニットであり、係る制御のために、操舵機構や駆動機構などの車両２の各部を制御する機能を有する。

また車両制御ユニット８は、運転者の運転操作に代わって車両２を運転制御する機能（いわゆる、自動運転制御機能）を備え、車両２の走行時には、車両２の周囲に存在する立体物の位置を逐次に取得し、立体物までの間に適切な距離を確保するように運転制御する。例えば、車線変更時や合流時、分流時などのように、立体物の一例である他車両Ａに車両２が接近し得る場合、車両制御ユニット８は、他車両Ａの位置を取得し、当該他車両Ａの位置に基づいて、当該他車両Ａとの間に適切な車間距離を確保するように運転制御する。

なお、車両制御ユニット８は、自動運転制御機能に代えて、或いは、自動運転制御機能と併せて、運転者の運転操作を支援する運転支援機能を備えてもよい。運転支援機能は、車両２の走行時に、車両２の周囲に存在する立体物の位置を逐次に取得し、立体物を運転者に案内したり、当該立体物の位置に基づく各種の警報等を運転者に報知したりすることで運転者の運転操作を支援するものである。

ここで、上記カメラＥＣＵ６は、プロセッサの一例であるＣＰＵ１２と、プログラム１３等の各種情報を記憶するＲＯＭやＲＡＭなどのメモリ１４と、ＣＡＮ１０を通じて車両制御ユニット８と通信する通信モジュールとしてのＣＡＮＩ／Ｆ１６と、を備えた、いわゆるコンピュータである。本実施形態のカメラＥＣＵ６は、メモリ１４に記憶されたプログラムをＣＰＵ１２が実行することで、上述した他車両検出装置として機能するように構成されている。

図２は、カメラＥＣＵ６の機能的構成を示す図である。
本実施形態のカメラＥＣＵ６は、異なるタイミングで撮影された第１撮影画像、及び第２撮影画像をカメラ映像５から取得し、それらを俯瞰変換した第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２の差分である差分画像Ｇに基づいて、他車両Ａの位置を検出する。係る検出動作のために、カメラＥＣＵ６は、図２に示すように、車両情報取得部２０と、前処理部２２と、立体物位置特定部２４と、を備えている。

車両情報取得部２０は、車両制御ユニット８から車両情報を取得する。この車両情報には、少なくとも車両２の走行速度が含まれる。

前処理部２２は、カメラ映像５から差分画像Ｇを得るための処理を実行するものであり、カメラ映像取得部３０と、輝度変換処理部３２と、俯瞰変換処理部３４と、差分画像生成部３６と、を備える。

カメラ映像取得部３０は、カメラ４を制御することで、所定時間以上に亘ってカメラ４による撮影を継続し、その撮影によって得られたカメラ映像５を取得する。
輝度変換処理部３２は、カメラ映像５を構成する各フレーム（撮影画像）を輝度画像に変換する。各フレームは静止画像である撮影画像に相当し、輝度画像は、この撮影画像のそれぞれの画素値を、その画素の輝度値に変換した画像である。
俯瞰変換処理部３４は、各輝度画像を俯瞰画像に変換する。俯瞰画像は、車両２の上方に設定された仮想視点から直下方向を視た画像であり、輝度画像を射影変換（視点変換とも呼ばれる）することで生成される。
差分画像生成部３６は、俯瞰変換処理部３４によって順次に生成される俯瞰画像の中から、撮影タイミングが異なる２つの第１撮影画像、及び第２撮影画像から得られた第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２（図５参照）を抽出し、両者の差分画像Ｇを生成する。差分画像Ｇは、第１撮影画像Ｅ１の各画素の画素値（輝度値）を、その画素に対応する第２撮影画像Ｅ２の画素の画素値（輝度値）との差に変換し、所定の閾値で各画素の画素値を２値化した画像である。差分画像Ｇの生成時には、差分画像生成部３６は、第１俯瞰画像Ｆ１と第２俯瞰画像Ｆ２の撮影位置Ｏを、第１俯瞰画像Ｆ１を基準に揃えた状態で、両者の各画素の画素値の差分量を算出することで、差分画像Ｇを生成する。

立体物位置特定部２４は、差分画像Ｇに基づいて、立体物の一例である他車両Ａの位置を特定するものであり、マスク差分画像生成部５０と、接地線特定部５２と、立体物領域特定部５４と、を備える。
マスク差分画像生成部５０は、差分画像Ｇにおいて他車両Ａが映っている候補の領域（以下、「他車両候補領域６０」と言う）以外の領域がマスキングされたマスク差分画像Ｇｍ（図１３参照）を生成する。

接地線特定部５２は、マスク差分画像Ｇｍに基づいて、差分画像Ｇにおいて他車両領域Ｈの近傍接地線Ｌ１、及び遠方接地線Ｌ２を特定する。他車両領域Ｈは、差分画像Ｇにおいて、立体物である他車両Ａが映っている領域（立体物領域）の一例である。
接地線は、車両２が走行している車線に隣接する他の車線に存在する他車両Ａが地面に接する線であり、平面視における他車両Ａの輪郭線６３（図３参照）に相当する。本実施形態において、近傍接地線Ｌ１は、図３に示すように、他車両Ａの左右両側の輪郭線６３のうちの車両２に近い側の線を指し、遠方接地線Ｌ２は車両２から遠い側の線を指す。差分画像Ｇに近傍接地線Ｌ１、及び遠方接地線Ｌ２が設定されることで、走行方向Ｂに垂直な横方向Ｃにおける他車両領域Ｈの位置が特定されることとなる。

立体物領域特定部５４は、近傍接地線Ｌ１、及び遠方接地線Ｌ２の各々における他車両Ａの先端ＶＦ、及び後端ＶＢ（図３参照）のそれぞれの位置を、差分画像Ｇに基づいて特定し、これら近傍接地線Ｌ１、遠方接地線Ｌ２、他車両Ａの先端ＶＦ、及び後端ＶＢに基づいて、差分画像Ｇにおける他車両領域Ｈを検出する。ただし、複数の他車両Ａが縦列走行していた場合には、２台以上の他車両Ａが他車両領域Ｈに含まれる可能性がある。本実施形態の立体物領域特定部５４は、他車両領域Ｈに２台以上の他車両Ａが含まれる場合でも、単一の他車両Ａごとに、差分画像Ｇにおいて、その他車両Ａが位置する単一他車両領域Ｋを特定するようになっている。

立体物位置特定部２４は、差分画像Ｇにおける単一他車両領域Ｋの位置に基づいて、実空間における他車両Ａの位置を、公知又は周知の適宜の手法を用いて特定し、特定した位置を車両制御ユニット８に逐次に送信する。

次いで、カメラＥＣＵ６による他車両Ａの検出動作について説明する。
なお、以下の説明では、図３に示すように、車両２が走行している車線７０の両側のそれぞれに隣接する他の車線７０Ｒ、７０Ｌが存在し、各車線７０Ｒ、７０Ｌを他車両Ａが車両２と同一方向に走行している場合における検出動作を例示する。この場合において、いずれの他車両Ａも車両２より後方ＤＢに位置し、かつ、カメラ４の画角αの範囲内に位置するものとする。また、図３において、矩形線で示した領域は、車両制御ユニット８による自動運転制御や運転支援において他車両Ａの存在を検出する検出領域７２を示す。

図４は、立体物検出処理のフローチャートである。
この立体物検出処理は、少なくとも車両２が走行している間、周囲の他車両Ａの存在を検知するために、カメラＥＣＵ６によって継続的に繰り返し実行される。

同図に示すように、カメラＥＣＵ６は、先ず、少なくとも車両２の走行速度を含む車両情報を車両情報取得部２０が取得し（ステップＳａ１）、カメラ映像取得部３０がカメラ４からカメラ映像５を取得する（ステップＳａ２）。次いで、カメラ映像５の各フレーム（撮影画像）を輝度変換処理部３２が輝度画像に順次に変換し（ステップＳａ３）、それらの輝度画像に基づいて俯瞰変換処理部３４が俯瞰画像Ｆを順次に生成する（ステップＳａ４）。

そして、差分画像生成部３６が、俯瞰変換処理部３４によって順次に生成される俯瞰画像の中から、撮影タイミングが異なる２つの第１撮影画像、及び第２撮影画像から得られた第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２を抽出し、両者の差分画像Ｇを生成する（ステップＳａ５）。

図５は、差分画像生成動作の説明図である。
なお、以下では、直近に撮影された撮影画像を第１撮影画像とし、それよりも前に撮影された撮影画像を第２撮影画像として説明する。

第１撮影画像、及び第２撮影画像では、それぞれの撮影位置Ｏが走行方向Ｂにずれるため、図５に示すように、第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２においても撮影位置Ｏに、車両２の移動に起因したずれが生じる。差分画像生成部３６は、撮影位置Ｏのずれを補正して差分画像Ｇを生成するために、第１俯瞰画像Ｆ１及び第２俯瞰画像Ｆ２の両者の撮影位置Ｏを、いずれか一方（図５では第１俯瞰画像Ｆ１）を基準に揃えた状態で両者の差分画像Ｇを生成する。

具体的には、差分画像生成部３６は、車両２の走行速度と、第１撮影画像、及び第２撮影画像の撮影タイミングの時間差ｔａとに基づいて、車両２の走行距離を算出する。そして差分画像生成部３６は、第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２のいずれか一方（図５では、撮影タイミングが早い方の第２俯瞰画像Ｆ２）の各画素を、走行距離に応じた画素数分だけ走行方向Ｂに沿ってずらす。これにより、第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２の他方を基準に、両者の撮影位置Ｏが揃えられた状態となる。

路面標示の一種である白線７４等の任意の静止物体が第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２の各々に映っている場合、両者の撮影位置Ｏが揃えられることで、図５に示すように、静止物体が映っている位置が揃う。
その一方で、移動物体である他車両Ａが第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２の各々に映っている場合、両者の撮影位置Ｏが揃えられることで、図５に示すように、それぞれに映った他車両Ａの位置にずれが生じる。
このため、両者の差分を示す差分画像Ｇにおいては、路面標示（白線７４等）の静止物体が映っている領域の画素値（差分量）は小さくなり、他車両Ａが映っている領域の画素値（差分量）は比較的大きくなる。したがって、差分画像Ｇの２値化に用いる輝度値の閾値を適切に設定することで、静止物体を除いた画像を得ることができ、その差分画像Ｇにおける画素値の分布に基づいて、他車両領域Ｈを抽出し、他車両Ａの位置（特に、近傍接地線Ｌ１）が特定可能となる。

しかしながら、前掲図３に示すように、車両２と他車両Ａとの間に、車両２や他車両Ａなどの任意の移動物体によって影７６が生じている場合、差分画像Ｇにおいては、その影７６に対応する領域の画素値も増大する。このため、差分画像Ｇにおいて、単純に画素値が大きい領域を他車両領域Ｈとして抽出すると、その影７６に対応する領域が他車両領域Ｈに含まれてしまい精度が悪くなる。

そこで、カメラＥＣＵ６においては、立体物領域特定部５４が差分画像Ｇに基づいて他車両領域Ｈを特定するに際し、前掲図４に示すように、先ず、マスク差分画像生成部５０がマスク差分画像生成処理を実行することで（ステップＳａ６）、差分画像Ｇにおいて影７６などのノイズに対応する領域、換言すれば、他車両Ａが映っている候補の領域である上記他車両候補領域６０以外の領域をマスキング領域６２としてマスキングした上記マスク差分画像Ｇｍを生成する。そして、接地線特定部５２が接地線特定処理を実行し（ステップＳａ７）、マスキングによってノイズの影響が除かれたマスク差分画像Ｇｍに基づいて、他車両Ａの位置として近傍接地線Ｌ１、及び遠方接地線Ｌ２を特定する。

図６は、マスク画像生成処理のフローチャートである。
マスク画像生成処理では、先ず、マスク差分画像生成部５０がマスキング領域６２をマスクするためのマスク画像９０を生成する（ステップＳｂ１）。上述の通り、マスキング領域６２は、差分画像Ｇにおける他車両候補領域６０以外の領域であり、他車両候補領域６０は、差分画像Ｇに映った他車両Ａの鉛直方向輪郭線Ｐに基づいて特定される。

図７は射影変換による鉛直方向輪郭線Ｐの倒れ込みの説明図である。
鉛直方向輪郭線Ｐは、図７に示すように、撮影画像Ｍ（カメラ映像５のフレーム）に映った他車両Ａの輪郭線６３や、当該他車両Ａの車体パーツ（ドアなど）の輪郭線、他車両Ａに描かれた模様の輪郭線などのうち、鉛直方向（地面に対して垂直方向）に延びる各々の線である。これらの鉛直方向輪郭線Ｐは、撮影画像Ｍの射影変換（視点変換）によって、いわゆる倒れ込みが生じ、俯瞰画像Ｆにおいてカメラ４の撮影位置Ｏから延びる放射線Ｑ上の線分に変換される。つまり、俯瞰画像Ｆにおいて、鉛直方向輪郭線Ｐを含む放射線Ｑの領域（図７のハッチングで示す領域）は他車両Ａが存在する領域を示すので、かかる領域が他車両候補領域６０となる。
なお、鉛直方向輪郭線Ｐを含む放射線Ｑの方向は、射影変換（視点変換）によって立体物が倒れ込む方向とも呼ばれる。

２つの俯瞰画像Ｆの差分である差分画像Ｇにおいても俯瞰画像Ｆと同様に、鉛直方向輪郭線Ｐは放射線Ｑ上の線分となる。差分画像Ｇにおいて、鉛直方向輪郭線Ｐを含んだ放射線Ｑの各画素は、その画素値（差分量）が他の画素よりも大きくなる。したがって、差分画像Ｇにおける画素値に基づいて他車両候補領域６０を当該差分画像Ｇから抽出することができる。

本実施形態では、ラベル画像９１、及びルックアップテーブル９２を用いて他車両候補領域６０の抽出を効率良く行っている。

図８は、ラベル画像９１を模式的に示す図である。
ラベル画像９１は、撮影位置Ｏから等間隔に放射状に延び、それぞれがラベル番号によって識別された複数の放射線Ｑの画像であり、それぞれの放射線Ｑが、差分画像Ｇにおける鉛直方向輪郭線Ｐを含んだ放射線Ｑの候補となる。本実施形態では、ラベル画像９１には、ラベル番号が「１」から「１００」までの１００本の放射線Ｑが含まれる。
かかるラベル画像９１は、差分画像Ｇに相当する画素数を有し、図８に示すように、同じ放射線Ｑを構成する各画素に、その放射線Ｑのラベル番号（「１」から「１００」のいずれか）が対応付けられている。

図９は、ルックアップテーブル９２を模式的に示す図である。
ルックアップテーブル９２は、ラベル画像９１の各画素に、非マスキング（白色）に対応する「２５５」、及びマスキング（黒色）に対応する「０」のいずれかの画素値を指定するものである。ラベル画像９１の各画素の画素値が、ルックアップテーブル９２の指定に基づいて設定されることで、各画素が非マスキング状態（白色）、又はマスキング状態（黒色）となったマスク画像９０が得られる。

図９に示すように、このルックアップテーブル９２では、放射線Ｑのラベル番号ごとに、その放射線Ｑの画素値が指定されるようになっており、その画素値は、差分画像Ｇにおける放射線Ｑごとの画素値に基づいて決定されるようになっている。

前掲図６に戻り、ステップＳｂ１において、マスク差分画像生成部５０は、かかるマスク画像９０の生成のために、先ず上記ラベル画像９１の全ての画素値を、「２５５」（非マスキング状態）、又は「０」（マスキング状態）にして初期化する（ステップＳｂ１Ａ）。

次いで、マスク差分画像生成部５０は、差分画像Ｇにおける放射線Ｑごとの画素値に基づいて、上記ルックアップテーブル９２を作成する（ステップＳｂ１Ｂ）。具体的には、マスク差分画像生成部５０は、差分ヒストグラムＲａ、及びエッジ強度ヒストグラムＲｂに基づいて、ルックアップテーブル９２における放射線Ｑごとの各画素の輝度値を示すフラグ（「０」又は「２５５」）を決定する。

図１０は、差分ヒストグラムＲａの説明図である。
差分ヒストグラムＲａは、図１０に示すように、ラベル番号を横軸とし、差分画像Ｇにおいて放射線Ｑごとに画素値の有無を累積した値（以下、「放射線方向差分量累積値」と言う）を縦軸としたグラフである。放射線方向差分量累積値は、放射線Ｑが鉛直方向輪郭線Ｐを含んでいると大きくなるので、この差分ヒストグラムＲａにおいて、放射線方向差分量累積値が所定の第１閾値Ｔｈ１を越えている各放射線Ｑを特定することで、他車両候補領域６０となる放射線Ｑの範囲Ｕａを特定できる。
また放射線Ｑごとの放射線方向差分量累積値に基づいて、鉛直方向輪郭線Ｐを含む放射線Ｑを特定するので、例えば差分画像Ｇに対して輪郭抽出処理などの画像処理を施して鉛直方向輪郭線Ｐを検出する場合に比べ、高速かつ高精度に放射線Ｑを特定できる。

図１１は、エッジ強度ヒストグラムＲｂの説明図である。
エッジ強度ヒストグラムＲｂは、図１１に示すように、ラベル番号を横軸とし、エッジ画像Ｅにおいて放射線Ｑごとに画素値の有無を累積した値（以下、「放射線方向エッジ強度累積値」と言う）を縦軸としたグラフである。
エッジ画像Ｅは、第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２のうち、撮影タイミングが遅い方（すなわち直近の方）の俯瞰画像（本実施形態では第１俯瞰画像Ｆ１）において、その俯瞰画像に映った物体（当該物体の模様等を含む）の輪郭成分を抽出した画像である。かかるエッジ画像Ｅは、俯瞰画像において、周辺の画素との間の輝度差が大きな（所定値以上）の各画素の画素値を、その輝度差に応じた値（強度値）とすることで生成される。
すなわち、エッジ強度ヒストグラムＲｂは、放射線Ｑに含まれる立体物のエッジ成分の大小を、放射線Ｑのラベルごとに示したグラフとなる。

前掲図６に戻り、マスク差分画像生成部５０は、ステップＳｂ１Ｂにおいて、差分ヒストグラムＲａにおいて放射線方向差分量累積値が所定の第１閾値Ｔｈ１を越え、かつ、エッジ強度ヒストグラムＲｂにおいて放射線方向エッジ強度累積値が所定の第２閾値Ｔｈ２を越えている放射線Ｑを特定する。そして、マスク差分画像生成部５０は、ルックアップテーブル９２において、それらの放射線Ｑについては「非マスキング状態」の画素値を設定し、それ以外の放射線Ｑについては「マスキング状態」の画素値を設定する。

次いでマスク差分画像生成部５０は、ルックアップテーブル９２に基づいてラベル画像９１の各画素値を設定することで、マスク画像９０を生成する（ステップＳｂ１Ｃ）。
これにより、図１２に示すように、他車両候補領域６０が非マスキング状態となり、他車両候補領域６０以外の領域がマスキング領域６２となったマスク画像９０が得られる。

そして、マスク差分画像生成部５０は、ステップＳｂ２において、差分画像Ｇに、マスク画像９０を重畳することで、図１３に示すように、他車両候補領域６０以外の領域がマスキング領域６２としてマスキングされたマスク差分画像Ｇｍを生成する。

図１４は、接地線特定処理のフローチャートである。
接地線特定処理では、接地線特定部５２によって、マスク差分画像Ｇｍに基づいて、差分画像Ｇにおける近傍接地線Ｌ１、及び遠方接地線Ｌ２が他車両Ａの位置として特定される。
具体的には、接地線特定部５２は、近傍接地線Ｌ１を求めるために、マスク差分ヒストグラムＲｃを生成する（ステップＳｃ１）。

図１５は、マスク差分ヒストグラムＲｃの説明図である。
マスク差分ヒストグラムＲｃは、図１５に示すように、車両２の走行方向Ｂに対して垂直な横方向Ｃの位置（以下、「横方向位置」と言う）を横軸とし、マスク差分画像Ｇｍの横方向を所定間隔で短冊状の小領域に区切り、その領域ごとに走行方向Ｂに沿って画素値の有無を累積した値（以下、「走行方向差分量累積値」と言う）を縦軸としたグラフである。マスク差分画像Ｇｍでは、他車両候補領域６０以外はマスキングされているため、横方向Ｃにおける走行方向差分量累積値の分布によって、他車両Ａの近傍接地線Ｌ１を特定することができる。

具体的には、前掲図１４に示すように、接地線特定部５２は、その横方向位置に他車両Ａが存在すると見做す走行方向差分量累積値の第３閾値Ｔｈ３を設定する（ステップＳｃ２）。この第３閾値Ｔｈ３には、走行方向差分量累積値の平均値Ａｖｅと、走行方向差分量累積値の最小値Ｍｉｎとの中間値（＝（Ａｖｅ＋Ｍｉｎ）／２）が設定される。

次いで、接地線特定部５２は、マスク差分ヒストグラムＲｃにおいて、走行方向差分量累積値が、所定数以上に亘って連続して第３閾値Ｔｈ３を越えている横方向位置の範囲Ｕｃに基づいて近傍接地線Ｌ１を特定する。
具体的には、接地線特定部５２は、図１６に示すように、マスク差分ヒストグラムＲｃの横軸上のｉ（ｉは１以上の整数）箇所に判定点Ｘを等間隔に設定する。各判定点Ｘは、マスク差分ヒストグラムＲｃの横軸における区間（グラフの柱）に対応させてもよい。
そして、接地線特定部５２は、前掲図１４に示すように、撮影位置Ｏに近い判定点Ｘから順に、所定の接地線判定条件を満足するか否かを判定し（ステップＳｃ３）、満足してない場合には（ステップＳｃ３：Ｎｏ）、次の判定点Ｘを判定する（ステップＳｃ４）。また、接地線判定条件が満足されている場合は（ステップＳｃ３：Ｙｅｓ）、接地線特定部５２は、その判定点Ｘを近傍接地線Ｌ１の位置であると特定する（ステップＳｃ５）。

上記接地線判定条件は、その判定点Ｘの走行方向差分量累積値が第３閾値Ｔｈ３以下であり、なおかつ、その次の判定点Ｘから所定個数分の判定点Ｘの全てにおいて走行方向差分量累積値が第３閾値Ｔｈ３以上である、という条件である。
撮影位置Ｏに近い判定点Ｘから順に接地線判定条件を判定することで、図１６に示すように、所定個数分の判定点Ｘの全ての走行方向差分量累積値が第３閾値Ｔｈ３を越える範囲Ｕｃに対し、撮影位置Ｏからみて直前の判定点Ｘが求められ、この判定点Ｘが近傍接地線Ｌ１として特定されることとなる。これにより、近傍接地線Ｌ１が他車両Ａに入り込んだ位置（第３閾値Ｔｈ３を越えている範囲）に設定されることがなく、より正確な位置に近傍接地線Ｌ１が設定される。

そして接地線特定部５２は、前掲図１４に示すように、近傍接地線Ｌ１の位置と、他車両Ａの車幅とに基づいて、遠方接地線Ｌ２の位置を特定する（ステップＳｃ６）。他車両Ａの車幅には、小型車、普通車、及び大型車ごとに予め設定された値が用いられる。すなわち、ステップＳｃ６において、接地線特定部５２は、差分画像Ｇにおける他車両候補領域６０の大きさや形状に基づいて、他車両Ａの車種が小型車、普通車、及び大型車のどれに該当するかを特定し、特定した車種に対応する車幅を、近傍接地線Ｌ１の位置に加算することで、差分画像Ｇにおける遠方接地線Ｌ２の位置を特定する。

以上の接地線特定処理により、車両２からみて横方向Ｃにおける他車両Ａの位置である近傍接地線Ｌ１、及び遠方接地線Ｌ２が特定される。
上述の通り、差分画像Ｇにおける近傍接地線Ｌ１の位置は、当該差分画像Ｇではなく、影７６などのノイズがマスキングされたマスク差分画像Ｇｍに基づいて特定されるので、特定された位置は非常に正確なものとなる。

前掲図４に戻り、接地線特定処理が終了すると（ステップＳａ７）、立体物領域特定部５４が、近傍接地線Ｌ１、及び遠方接地線Ｌ２に基づいて、他車両Ａの先端ＶＦ、及び後端ＶＢを特定することで、差分画像Ｇにおける他車両領域Ｈを検出する立体物領域特定処理を実行する（ステップＳａ８）。

図１７は、俯瞰画像Ｆにおける近傍接地線Ｌ１、及び遠方接地線Ｌ２と鉛直方向輪郭線Ｐとの関係を示す図である。
近傍接地線Ｌ１を用いて他車両Ａの先端ＶＦ、及び後端ＶＢを求める手法としては、次のような手法がある。すなわち、図１７に示すように、俯瞰画像Ｆにおいて、他車両Ａの鉛直方向輪郭線Ｐのうち、後端近傍側鉛直方向輪郭線Ｐ１、及び先端近傍側鉛直方向輪郭線Ｐ２と、近傍接地線Ｌ１との交点を求めるという手法である。これらの交点によって、近傍接地線Ｌ１における後端近傍側位置Ｌ１ＶＢと、先端近傍側位置Ｌ１ＶＦとが求められる。
なお、後端近傍側鉛直方向輪郭線Ｐ１は、他車両Ａの後端側であり撮影位置Ｏに近い側の鉛直方向輪郭線Ｐを指し、先端近傍側鉛直方向輪郭線Ｐ２は、他車両Ａの先端側であって撮影位置Ｏに近い側の鉛直方向輪郭線Ｐを指す。

しかしながら、俯瞰画像Ｆにおいては、他車両Ａが放射線Ｑの方向に倒れ込んで映るため、他車両Ａのルーフ部分Ａｒ等の影響により実際よりも走行方向Ｂに長く延びた他車両領域Ｈが検出されることとなり、他車両Ａの位置に誤差が生じることとなる。

本実施形態の立体物領域特定処理では、かかる誤差を排除するために、立体物領域特定部５４は、次のようにして他車両領域Ｈを特定している。
すなわち、図１８に示すように、立体物領域特定部５４は、近傍接地線Ｌ１、及び遠方接地線Ｌ２のそれぞれごとに、他車両Ａの鉛直方向輪郭線Ｐを含む放射線Ｑとの交点ＬＶを求める。次いで、立体物領域特定部５４は、近傍接地線Ｌ１における交点ＬＶから他車両領域Ｈ１を特定し、また遠方接地線Ｌ２における交点ＬＶから他車両領域Ｈ２を特定する。そして、立体物領域特定部５４は、これら他車両領域Ｈ１と他車両領域Ｈ２とが重複するエリアに基づいて他車両Ａの先端ＶＦ、及び後端ＶＢを特定する。これにより、他車両Ａについて、近傍接地線Ｌ１、遠方接地線Ｌ２、先端ＶＦ、及び後端ＶＢによって区画される他車両領域Ｈが特定されることとなる。

以下、かかる立体物領域特定処理について、より詳細に説明する。

図１９は、立体物領域特定処理のフローチャートである。
立体物領域特定部５４は、近傍接地線Ｌ１、及び遠方接地線Ｌ２ごとの他車両領域Ｈ１、Ｈ２を特定するために、先ず、差分近傍ヒストグラムＲａｎ、及びエッジ強度近傍ヒストグラムＲｂｎと、差分遠方ヒストグラムＲａｆ、及びエッジ強度遠方ヒストグラムＲｂｆと、をそれぞれ生成する（ステップＳｄ１）。

図２０は差分近傍ヒストグラムＲａｎの説明図であり、図２１はエッジ強度近傍ヒストグラムＲｂｎの説明図である。
差分近傍ヒストグラムＲａｎは、図２０に示すように、差分画像Ｇにおける近傍領域Ｊｎについて上述した差分ヒストグラムＲａを求めたものであり、またエッジ強度近傍ヒストグラムＲｂｎは、図２１に示すように、エッジ画像Ｅにおける近傍領域Ｊｎについて、上述したエッジ強度ヒストグラムＲｂを求めたものである。
近傍領域Ｊｎは、差分画像Ｇにおいて、近傍接地線Ｌ１と遠方接地線Ｌ２とで挟まれた領域である。

図２２は差分遠方ヒストグラムＲａｆの説明図であり、図２３はエッジ強度遠方ヒストグラムＲｂｆの説明図である。
差分遠方ヒストグラムＲａｆは、図２２に示すように、差分画像Ｇにおける遠方領域Ｊｆについて上述した差分ヒストグラムＲａを求めたものであり、またエッジ強度遠方ヒストグラムＲｂｆは、図２３に示すように、エッジ画像Ｅにおける遠方領域Ｊｆについて、上述したエッジ強度ヒストグラムＲｂを求めたものである。
遠方領域Ｊｆは、差分画像Ｇにおいて、撮影位置Ｏからみて近傍接地線Ｌ１よりも遠方の領域である。

差分近傍ヒストグラムＲａｎ、及びエッジ強度近傍ヒストグラムＲｂｎの生成には近傍用マスクラベル画像９１ｎが用いられ、差分遠方ヒストグラムＲａｆ、及びエッジ強度遠方ヒストグラムＲｂｆの生成には遠方用マスクラベル画像９１ｆが用いられる。

図２４は、近傍用マスクラベル画像９１ｎ、及び遠方用マスクラベル画像９１ｆの説明図である。
近傍用マスクラベル画像９１ｎは、差分画像Ｇにおいて近傍領域Ｊｎ以外の画素値を無効とし、累積値のカウントから除外されるようにする画像である。かかる近傍用マスクラベル画像９１ｎは、図２４に示すように、差分画像Ｇにおける近傍領域Ｊｎ以外をマスキングする近傍領域用マスク画像９０ｎを、上述したラベル画像９１に重畳することで得られる。
立体物領域特定部５４が、近傍用マスクラベル画像９１ｎを用いて差分ヒストグラムＲａ、及びエッジ強度ヒストグラムＲｂを求めることで、近傍領域Ｊｎの画素値だけが累積値の加算対象となり、差分近傍ヒストグラムＲａｎ、及びエッジ強度近傍ヒストグラムＲｂｎが求められることとなる。

遠方用マスクラベル画像９１ｆは、差分画像Ｇにおいて遠方領域Ｊｆ以外の画素値を無効とし、累積値のカウントから除外されるようにする画像であり、差分画像Ｇにおける遠方領域Ｊｆ以外をマスキングする遠方領域用マスク画像９０ｆをラベル画像９１に重畳することで得られる。
体物領域特定部５４が、遠方用マスクラベル画像９１ｆを用いて差分ヒストグラムＲａ、及びエッジ強度ヒストグラムＲｂを求めることで、遠方領域Ｊｆの画素値だけが累積値の加算対象となり、差分遠方ヒストグラムＲａｆ、及びエッジ強度遠方ヒストグラムＲｂｆが求められる。

前掲図１９に戻り、立体物領域特定部５４は、次に、差分近傍ヒストグラムＲａｎ、及びエッジ強度近傍ヒストグラムＲｂｎに基づいて、近傍領域Ｊｎにおける立体物判定を行う（ステップＳｄ２）。
具体的には、立体物領域特定部５４は、差分近傍ヒストグラムＲａｎにおいて放射線方向差分量累積値が第４閾値Ｔｈ４（図２０）以上であり、なおかつエッジ強度近傍ヒストグラムＲｂｎにおいて放射線方向エッジ強度累積値が第５閾値Ｔｈ５（図２１）以上となるラベル番号の放射線Ｑを特定する。
そして、図２５に示すように、立体物領域特定部５４は、差分画像Ｇにおいて、特定された放射線Ｑの各々と近傍接地線Ｌ１との交点ＬＶを特定する。これらの交点ＬＶの特定は、差分画像Ｇの中に設定された所定の検出領域についてのみ行われる。この検出領域は、例えば上記検出領域７２（図３、図５）などである。
これらの交点ＬＶによって、近傍領域Ｊｎに限定して立体物検出を行った場合の他車両領域Ｈ１が特定される。なお、他車両領域Ｈ１の横方向Ｃの幅（すなわち他車両Ａの車幅）については、近傍接地線Ｌ１と遠方接地線Ｌ２の位置に基づいて特定される。

前掲図１９に戻り、立体物領域特定部５４は、差分遠方ヒストグラムＲａｆ、及びエッジ強度遠方ヒストグラムＲｂｆに基づいて遠方領域Ｊｆにおける立体物判定を行う（ステップＳｄ３）。これにより、遠方領域Ｊｆに限定して立体物検出を行った場合の他車両領域Ｈ２が特定されることとなる。

ここで、複数の他車両Ａが縦列走行していた場合、他車両領域Ｈ１、Ｈ２には、２台以上の他車両Ａが含まれる可能性がある。
そこで、立体物領域特定部５４は、近傍接地線Ｌ１における各交点ＬＶ、及び遠方接地線Ｌ２における各交点ＬＶのそれぞれを、次のようにして１台の他車両Ａごとにグループ化する（ステップＳｄ４、Ｓｄ５）。

近傍接地線Ｌ１に交点ＬＶを例にすると、図２６に示すように、立体物領域特定部５４は、近傍接地線Ｌ１における各交点ＬＶを、撮影位置Ｏから近い順に探索し、隣り合う２つの交点ＬＶの間の距離Ｗが所定の第６閾値Ｔｈ６以下の場合は、それら２つの交点ＬＶを同一のグループ９７に分類し、距離Ｗが所定の第６閾値Ｔｈ６を越えた場合は、撮影位置Ｏから遠い方の交点ＬＶを新たなグループ９７に分類する。これにより、第６閾値Ｔｈ６よりも交点ＬＶ同士の間隔が開いている箇所、すなわち２台の他車両Ａの車間でグループ９７が分けられ、他車両Ａごとに、交点ＬＶがグループ化される。
そして、立体物領域特定部５４は、グループ９７ごとに、そのグループ９７に属する交点ＬＶによって単一他車両領域Ｋ１を特定することで、他車両領域Ｈ１が、単一の他車両Ａごとに分けられることとなる。

前掲図１９に戻り、立体物領域特定部５４は、近傍接地線Ｌ１について特定された単一他車両領域Ｋ１と、遠方接地線Ｌ２について特定された単一他車両領域Ｋ２と、に基づいて、最終的な単一他車両領域Ｋを決定する（ステップＳｄ６）。
すなわち、図２７に示すように、単一他車両領域Ｋ１、及び単一他車両領域Ｋ２の各々の他車両Ａの先端ＶＦ、及び後端ＶＢのうち、単一他車両領域Ｋ１、及び単一他車両領域Ｋ２の両者が重複している範囲にあるものを、最終的な単一他車両領域Ｋの先端ＶＦ、及び後端ＶＢとして特定する。
そして、これら先端ＶＦ、及び後端ＶＢと、近傍接地線Ｌ１及び遠方接地線Ｌ２とによって、射影変換による倒れ込みに起因する誤差を排除し、矩形状の単一他車両領域Ｋの正確な位置が特定されることとなる。

上述した実施形態によれば、次のような効果を奏する。

本実施形態のカメラＥＣＵ６（立体物検出装置）は、互いの撮影位置Ｏが揃った第１俯瞰画像Ｆ１、及び第２俯瞰画像Ｆ２の差分画像Ｇにおいて他車両Ａが映っていると候補となる他車両候補領域６０以外をマスキングしたマスク差分画像Ｇｍを生成し、このマスク差分画像Ｇｍに基づいて、差分画像Ｇにおける他車両Ａの位置を特定する。
これにより、走行中の車両２と、その周囲の他車両Ａとの間に影７６が存在する場合でも、他車両Ａの位置を精度よく特定ができる。
したがって、車両制御ユニット８にあっては、他車両Ａの正確な位置に基づいて、車線変更や合流、分流時の他車両と接近するようなシーンで、より正確な自動運転制御を実現できる。

本実施形態のカメラＥＣＵ６は、マスク差分ヒストグラムＲｃにおいて走行方向差分量累積値が第３閾値Ｔｈ３を越える横軸の位置に基づいて、差分画像Ｇにおける他車両Ａの近傍接地線Ｌ１を特定するので、近傍接地線Ｌ１が正確に特定される。

本実施形態のカメラＥＣＵ６は、マスク差分ヒストグラムＲｃの横軸において連続して第３閾値Ｔｈ３を越えた範囲の中で撮影位置Ｏに最も近い範囲Ｕｃを特定し、撮影位置Ｏからみて当該範囲Ｕｃの直前の地点を近傍接地線Ｌ１の位置に特定する。これにより、近傍接地線Ｌ１が他車両Ａに入り込んだ位置に設定されることがなく、より正確な位置に近傍接地線Ｌ１が設定される。

本実施形態のカメラＥＣＵ６は、他車両Ａの車幅と近傍接地線Ｌ１とに基づいて、差分画像Ｇにおける他車両Ａの遠方接地線Ｌ２を特定する。これら近傍接地線Ｌ１、及び遠方接地線Ｌ２により、車両２の走行方向Ｂに垂直な横方向Ｃにおける他車両Ａの位置が特定される。

本実施形態のカメラＥＣＵ６は、差分ヒストグラムＲａにおいて放射線方向差分量累積値が第１閾値Ｔｈ１以下の放射線Ｑを特定し、差分画像Ｇにおいて当該放射線Ｑに対応する領域をマスキングすることでマスク差分画像Ｇｍを生成する。これにより、他車両候補領域６０以外を効率良くマスキングできる。

本実施形態のカメラＥＣＵ６は、エッジ強度ヒストグラムＲｂにおいて放射線方向エッジ強度累積値が第２閾値Ｔｈ２以下の放射線Ｑを特定し、差分画像Ｇにおいて当該放射線Ｑに対応する領域をマスキングすることでマスク差分画像Ｇｍを生成する。これにより、白線７４等の路面標示などが差分画像Ｇに現れていても、他車両候補領域６０以外を正確にマスキングできる。

本実施形態のカメラＥＣＵ６は、他車両Ａの鉛直方向輪郭線Ｐを含む放射線Ｑと、近傍接地線Ｌ１、及び遠方接地線Ｌ２のそれぞれとの交点ＬＶに基づいて、近傍接地線Ｌ１において他車両Ａが位置する他車両領域Ｈ１、遠方接地線Ｌ２において他車両Ａが位置する他車両領域Ｈ２を特定し、これら２つの他車両領域Ｈ１、Ｈ２が重複する範囲に基づいて、差分画像Ｇにおける他車両領域Ｈを特定する。
これにより、射影変換による倒れ込みの影響を排除して、正確に他車両領域Ｈを特定することができる。

本実施形態のカメラＥＣＵ６は、差分近傍ヒストグラムＲａｎ、及び差分遠方ヒストグラムＲａｆにおいて放射線方向差分量累積値が第４閾値Ｔｈ４以上の放射線Ｑを、他車両Ａの鉛直方向輪郭線Ｐを含む放射線Ｑと特定する。これにより、かかる放射線Ｑが効率良く求められる。

本実施形態のカメラＥＣＵ６は、エッジ強度近傍ヒストグラムＲｂｎ、及びエッジ強度遠方ヒストグラムＲｂｆにおいて放射線方向エッジ強度累積値が第５閾値Ｔｈ５以上の放射線Ｑを、他車両Ａの鉛直方向輪郭線Ｐを含む放射線Ｑと特定する。これにより、白線７４等の路面標示が差分画像Ｇに現れていても、かかる放射線Ｑが正確に求められる。

本実施形態のカメラＥＣＵ６は、近傍接地線Ｌ１、及び遠方接地線Ｌ２によって挟まれた近傍領域Ｊｎ以外がマスキングされた差分画像Ｇに基づいて、鉛直方向輪郭線Ｐを含む放射線Ｑを求め、当該放射線Ｑと近傍接地線Ｌ１と交点ＬＶに基づいて他車両領域Ｈ１を特定し、撮影位置Ｏからみて近傍接地線Ｌ１よりも遠い遠方領域Ｊｆ以外がマスキングされた差分画像Ｇに基づいて、鉛直方向輪郭線Ｐを含む放射線Ｑを求め、当該放射線Ｑと遠方接地線Ｌ２と交点ＬＶに基づいて他車両領域Ｈ２を特定する。
これにより、２つの他車両領域Ｈ１、Ｈ２が正確に求められる。

なお、上述した実施形態は、あくまでも本発明の一態様の例示であり、本発明の主旨を逸脱しない範囲において任意に変形、及び応用が可能である。

上述した実施形態では、カメラ４が車両２の後方ＤＢを撮影する場合を例示したが、車両２の左サイド、右サイド、又は前方のいずれを撮影する場合にも適用できる。

上述した実施形態では、カメラＥＣＵ６が立体物検出装置として機能したが、これに限らず、車載システム１が備える任意の装置が立体物検出装置として機能してもよい。

また上述した実施形態において、図２に示す機能ブロックは、本願発明を理解容易にするために、カメラＥＣＵ６の構成要素を主な処理内容に応じて分類して示した概略図であり、カメラＥＣＵ６の構成要素は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。

また上述した実施形態において、水平、及び垂直等の方向や、各種の形状は、特段の断りがなされていない限り、同一の作用効果を奏する限りにおいて、その周辺の方向や近似の形状（いわゆる、均等の範囲）を含むものである。

２ 車両
４ カメラ
６ カメラＥＣＵ（立体物検出装置）
２４ 立体物位置特定部
３２ 輝度変換処理部
３４ 俯瞰変換処理部
３６ 差分画像生成部
５０ マスク差分画像生成部
５２ 接地線特定部
５４ 立体物領域特定部
６２ マスキング領域
９０ マスク画像
９０ｆ 遠方領域用マスク画像
９０ｎ 近傍領域用マスク画像
Ａ 他車両
Ｂ 走行方向
Ｃ 横方向
Ｅ エッジ画像
Ｆ、Ｆ１、Ｆ２ 俯瞰画像
Ｇ 差分画像
Ｇｍ マスク差分画像
Ｈ、Ｈ１、Ｈ２ 他車両領域
Ｊｆ 遠方領域
Ｊｎ 近傍領域
Ｋ、Ｋ１、Ｋ２ 単一他車両領域
Ｌ１ 近傍接地線
Ｌ２ 遠方接地線
ＬＶ 交点
Ｍ 撮影画像
Ｏ 撮影位置
Ｐ 鉛直方向輪郭線
Ｑ 放射線
Ｒａ 差分ヒストグラム
Ｒａｆ 差分遠方ヒストグラム
Ｒａｎ 差分近傍ヒストグラム
Ｒｂ エッジ強度ヒストグラム
Ｒｂｆ エッジ強度遠方ヒストグラム
Ｒｂｎ エッジ強度近傍ヒストグラム
Ｒｃ マスク差分ヒストグラム
ＶＢ 後端
ＶＦ 先端

Claims (10)

1. 車両の走行中に異なるタイミングでカメラによって撮影された第１撮影画像、及び第２撮影画像のそれぞれを第１俯瞰画像、及び第２俯瞰画像に変換する俯瞰変換処理部と、
   互いの撮影位置が揃った前記第１俯瞰画像、及び前記第２俯瞰画像の差分画像を生成する差分画像生成部と、
   前記差分画像に基づいて、前記車両の周囲に存在する立体物の位置を特定する立体物位置特定部と、
   前記差分画像において前記立体物が映っている候補となる立体物候補領域以外をマスキングしたマスク差分画像を生成するマスク差分画像生成部と、を備え、
   前記立体物位置特定部は、
   前記マスク差分画像に基づいて前記差分画像における前記立体物の位置を特定し、
   前記車両の走行方向に垂直な横方向を横軸とし、前記マスク差分画像の各画素の画素値を前記走行方向に沿って累積した走行方向差分量累積値を縦軸としたマスク差分ヒストグラムにおいて前記走行方向差分量累積値が第３閾値を越える横軸の位置に基づいて、前記差分画像における前記立体物の近傍接地線を特定する接地線特定部を備え、
   前記接地線特定部によって特定された前記近傍接地線に基づいて、前記差分画像における前記立体物の位置を特定する
   ことを特徴とする立体物検出装置。
2. 前記接地線特定部は、
   前記マスク差分ヒストグラムの横軸において連続して前記第３閾値を越えた範囲の中で前記撮影位置に最も近い範囲を特定し、前記撮影位置からみて当該範囲の直前の地点を前記近傍接地線の位置に特定する、
   ことを特徴とする請求項１に記載の立体物検出装置。
3. 前記接地線特定部は、
   前記立体物の幅と前記近傍接地線とに基づいて、前記差分画像における前記立体物の遠方接地線を特定する
   ことを特徴とする請求項２に記載の立体物検出装置。
4. 前記立体物位置特定部は、
   前記差分画像において前記撮影位置から延び、前記立体物の鉛直方向輪郭線を含む放射線と、前記近傍接地線、及び前記遠方接地線のそれぞれとの交点に基づいて、前記近傍接地線において前記立体物が位置する第１領域、及び前記遠方接地線において前記立体物が位置する第２領域を特定し、これら第１領域、及び第２領域が重複する範囲に基づいて、前記差分画像において前記立体物が映った立体物領域を特定する立体物領域特定部を備える
   ことを特徴とする請求項３に記載の立体物検出装置。
5. 前記立体物領域特定部は、
   前記差分画像において前記撮影位置から延びた複数の放射線のそれぞれを横軸とし、前記差分画像の各画素値を前記放射線に沿って累積した放射線方向差分量累積値を縦軸とした差分ヒストグラムにおいて当該放射線方向差分量累積値が第４閾値以上の放射線を、前記立体物の鉛直方向輪郭線を含む放射線と特定する
   ことを特徴とする請求項４に記載の立体物検出装置。
6. 前記立体物領域特定部は、
   前記第１俯瞰画像、及び前記第２俯瞰画像のうち、直近に撮影された撮影画像に対応する方の画像から前記立体物の輪郭成分を抽出したエッジ画像において前記撮影位置から延びた複数の放射線のそれぞれを横軸とし、当該エッジ画像の各画素値を前記放射線に沿って累積した放射線方向エッジ強度累積値を縦軸としたエッジ強度ヒストグラムにおいて当該放射線方向エッジ強度累積値が第５閾値以上の放射線を、前記立体物の鉛直方向輪郭線を含む放射線と特定する
   ことを特徴とする請求項４または５に記載の立体物検出装置。
7. 前記立体物領域特定部は、
   前記近傍接地線、及び前記遠方接地線によって挟まれた領域以外がマスキングされた前記差分画像に基づいて前記放射線を求め、当該放射線と前記近傍接地線と交点に基づいて前記第１領域を特定し、
   前記撮影位置からみて前記近傍接地線よりも遠い遠方領域以外がマスキングされた前記差分画像に基づいて前記放射線を求め、当該放射線と前記遠方接地線と交点に基づいて前記第２領域を特定する、
   ことを特徴とする請求項４から６のいずれかに記載の立体物検出装置。
8. 車両の走行中に異なるタイミングでカメラによって撮影された第１撮影画像、及び第２撮影画像のそれぞれを第１俯瞰画像、及び第２俯瞰画像に変換する俯瞰変換処理部と、
   互いの撮影位置が揃った前記第１俯瞰画像、及び前記第２俯瞰画像の差分画像を生成する差分画像生成部と、
   前記差分画像に基づいて、前記車両の周囲に存在する立体物の位置を特定する立体物位置特定部と、
   前記差分画像において前記立体物が映っている候補となる立体物候補領域以外をマスキングしたマスク差分画像を生成するマスク差分画像生成部と、を備え、
   前記立体物位置特定部は、
   前記マスク差分画像に基づいて前記差分画像における前記立体物の位置を特定し、
   前記マスク差分画像生成部は、
   前記差分画像において前記撮影位置から延びた複数の放射線のそれぞれを横軸とし、前記差分画像の各画素値を前記放射線に沿って累積した放射線方向差分量累積値を縦軸とした差分ヒストグラムにおいて当該放射線方向差分量累積値が第１閾値以下の放射線を特定し、前記差分画像において当該放射線に対応する領域をマスキングする
   ことを特徴とする立体物検出装置。
9. 車両の走行中に異なるタイミングでカメラによって撮影された第１撮影画像、及び第２撮影画像のそれぞれを第１俯瞰画像、及び第２俯瞰画像に変換する俯瞰変換処理部と、
   互いの撮影位置が揃った前記第１俯瞰画像、及び前記第２俯瞰画像の差分画像を生成する差分画像生成部と、
   前記差分画像に基づいて、前記車両の周囲に存在する立体物の位置を特定する立体物位置特定部と、
   前記差分画像において前記立体物が映っている候補となる立体物候補領域以外をマスキングしたマスク差分画像を生成するマスク差分画像生成部と、を備え、
   前記立体物位置特定部は、
   前記マスク差分画像に基づいて前記差分画像における前記立体物の位置を特定し、
   前記マスク差分画像生成部は、
   前記第１俯瞰画像、及び前記第２俯瞰画像のうち、直近に撮影された撮影画像に対応する方の画像から前記立体物の輪郭成分を抽出したエッジ画像において前記撮影位置から延びた複数の放射線のそれぞれを横軸とし、当該エッジ画像の各画素値を前記放射線に沿って累積した放射線方向エッジ強度累積値を縦軸としたエッジ強度ヒストグラムにおいて当該放射線方向エッジ強度累積値が第２閾値以下の放射線を特定し、前記差分画像において当該放射線に対応する領域をマスキングする
   ことを特徴とする立体物検出装置。
10. 車両の走行中に異なるタイミングでカメラによって撮影された第１撮影画像、及び第２撮影画像のそれぞれを第１俯瞰画像、及び第２俯瞰画像に変換する第１ステップと、
    互いの撮影位置が揃った前記第１俯瞰画像、及び前記第２俯瞰画像の差分画像を生成する第２ステップと、
    前記差分画像において立体物が映っている候補となる立体物候補領域以外をマスキングしたマスク差分画像を生成する第３ステップと、
    前記マスク差分画像に基づいて前記差分画像における前記立体物の位置を特定する第４ステップと、
    を備え、
    前記第４ステップは、
    前記車両の走行方向に垂直な横方向を横軸とし、前記マスク差分画像の各画素の画素値を前記走行方向に沿って累積した走行方向差分量累積値を縦軸としたマスク差分ヒストグラムにおいて前記走行方向差分量累積値が第３閾値を越える横軸の位置に基づいて、前記差分画像における前記立体物の近傍接地線を特定し、特定した前記近傍接地線に基づいて、前記差分画像における前記立体物の位置を特定する
    ことを特徴とする立体物検出方法。

Images