JP7310527B2 - 障害物識別装置および障害物識別プログラム - Google Patents

Description

本開示は、障害物識別装置および障害物識別プログラム

従来、特許文献１に記載されているように、自車の位置情報と、太陽の位置情報と、自車の進行方向情報と、自車の立体形状情報とに基づいて、自車の影である自車影を推定する装置が知られている。

特開２０１１－６５４４２号公報

発明者等の検討によれば、特許文献１に記載される装置では、歩行者等の移動物体の影の推定については言及されていない。歩行者等の移動物体に影が発生しているとき、この移動物体の影が障害物であると誤検知することがあるため、移動物体の推定位置の精度が低下することがある。

本開示は、自車とは異なる物体の影を推定できる障害物識別装置および障害物識別プログラムを提供することを目的とする。

請求項１に記載の発明は、車両（９０）に搭載されるカメラ（１１、１２、１３、１４）によって撮像された画像を取得する取得部（Ｓ１１０）と、画像における画素の輝度値の一方向の勾配である第１勾配（Ｉｕ）と、第１勾配の方向に対して直交する方向の輝度値の勾配である第２勾配（Ｉｖ）とを演算するフィルタ（３３）と、第１勾配と第２勾配とに基づいて、車両の影である自車影（Ｓｃ）と車両の外側の物体との境界である影境界（Ｂｓ）を推定する境界推定部（Ｓ３２０）と、境界推定部によって推定された影境界に基づいて、自車影を推定する自車影推定部（Ｓ３３０）と、自車影推定部によって推定された自車影の輝度値に基づいて、自車影とは異なる物体の影である物体影（Ｓｔ）を推定する物体影推定部（Ｓ４１０）と、を備え、物体影推定部は、自車影に対する物体の相対位置に基づいて、物体の影を推定し、自車影が映る画像と同じ画像に物体影が映っているとき、自車影の輝度値に基づいて、物体影を推定し、自車影が映る画像とは異なる画像に物体影が映っているとき、自車影の輝度値と、自車影が映る画像において自車影とは異なる領域（Ｓｆ、Ｓｒ）の輝度値と、物体影が映る画像において物体影とは異なる領域（Ｓｂ）の輝度値と、に基づいて、物体影を推定する障害物識別装置である。

また、請求項８に記載の発明は、障害物識別装置を、車両（９０）に搭載されるカメラ（１１、１２、１３、１４）によって撮像された画像を取得する取得部（Ｓ１１０）、画像における画素の輝度値の一方向の勾配である第１勾配（Ｉｕ）と、第１勾配の方向に対して直交する方向の輝度値の勾配である第２勾配（Ｉｖ）とを演算するフィルタ（３３）、第１勾配と第２勾配とに基づいて、車両の影である自車影（Ｓｃ）と車両の外側の物体との境界である影境界（Ｂｓ）を推定する境界推定部（Ｓ３２０）、境界推定部によって推定された影境界に基づいて、自車影を推定する自車影推定部（Ｓ３３０）、および、自車影推定部によって推定された自車影の輝度値に基づいて、自車影とは異なる物体の影である物体影（Ｓｔ）を推定する物体影推定部（Ｓ４１０）として機能させ、物体影推定部は、自車影に対する物体の相対位置に基づいて、物体の影を推定し、自車影が映る画像と同じ画像に物体影が映っているとき、自車影の輝度値に基づいて、物体影を推定し、自車影が映る画像とは異なる画像に物体影が映っているとき、自車影の輝度値と、自車影が映る画像において自車影とは異なる領域（Ｓｆ、Ｓｒ）の輝度値と、物体影が映る画像において物体影とは異なる領域（Ｓｂ）の輝度値と、に基づいて、物体影を推定する障害物識別プログラムである。

これにより、障害物識別装置は、自車影とは異なる物体の影を推定できる。

なお、各構成要素等に付された括弧付きの参照符号は、その構成要素等と後述する実施形態に記載の具体的な構成要素等との対応関係の一例を示すものである。

実施形態の障害物識別装置が用いられるシステムの構成図。 カメラの撮像範囲を示す車両の上面図。 Ｕ方向の勾配を演算するSobelフィルタを示す図。 Ｖ方向の勾配を演算するSobelフィルタを示す図。 カメラによって撮像された画像の一例。 処理部による処理のフローチャート。 処理部による自車影の推定のサブフローチャート。 自車影の候補の推定を示す画像図。 影境界の推定を示す画像図。 図９のＸ部拡大画像図。 自車影および影境界の平滑化を示す画像図。 クラスタリングを示す画像図。 処理部による移動物体影の推定および除去のサブフローチャート。 処理部による移動物体影の推定を示す鳥瞰図。 処理部による移動物体影の推定を示す鳥瞰図。 処理部による自車影が延びる方向の推定を示す鳥瞰図。 移動物体影の影響を示す鳥瞰図。 移動物体影の影響を示す鳥瞰図。 移動物体影の除去を示す鳥瞰図。 移動物体影の除去を示す鳥瞰図。

以下、実施形態について図面を参照しつつ説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、同一符号を付し、その説明を省略する。

本実施形態の障害物識別装置３０は、車両９０に搭載される障害物識別システム１０に用いられる。この障害物識別システム１０は、車両９０の周辺の物体が、車両９０の影である自車影Ｓｃ、静止物体、および、移動物体のいずれであるかを識別する。また、障害物識別システム１０は、移動物体の影である移動物体影Ｓｔを含む移動物体から、移動物体影Ｓｔを除去することにより、移動物体のみを識別する。まず、この障害物識別システム１０について説明する。

図１に示すように、障害物識別システム１０は、フロントカメラ１１、リアカメラ１２、左側カメラ１３、右側カメラ１４、車速センサ１５、舵角センサ１６、障害物識別装置３０および表示装置５０を備えている。また、ここでは、車速センサ１５、舵角センサ１６および障害物識別装置３０は、例えば、車内ＬＡＮ６０に接続されている。この車内ＬＡＮ６０には、例えば、ＣＡＮが用いられる。なお、ＣＡＮは、Controller Area Networkの略である。

フロントカメラ１１、リアカメラ１２、左側カメラ１３および右側カメラ１４は、それぞれ単眼のデジタルカメラである。また、フロントカメラ１１、リアカメラ１２、左側カメラ１３および右側カメラ１４が魚眼レンズをそれぞれ有しており、フロントカメラ１１、リアカメラ１２、左側カメラ１３および右側カメラ１４の視野角は、それぞれ１８０度である。そして、フロントカメラ１１は、例えば、車両９０の図示しないラジエータグリルの内側に取り付けられており、図２に示すように、車両９０の前方を撮像する。リアカメラ１２は、例えば、車両９０の後端の下側に取り付けられており、車両９０の後方を撮像する。左側カメラ１３は、例えば、車両９０の左ドアミラーの下側に取り付けられており、車両９０の前方に対して左側を撮像する。右側カメラ１４は、例えば、車両９０の右ドアミラーの下側に取り付けられており、車両９０の前方に対して右側を撮像する。そして、このフロントカメラ１１、リアカメラ１２、左側カメラ１３および右側カメラ１４によって撮像された画像は、障害物識別装置３０にそれぞれ出力される。なお、図２において、フロントカメラ１１、リアカメラ１２、左側カメラ１３および右側カメラ１４の撮像範囲がそれぞれ模式的に斜線ハッチングで示されている。また、フロントカメラ１１、リアカメラ１２、左側カメラ１３および右側カメラ１４の撮像範囲が重複する部分は、それぞれ模式的に網掛けハッチングで示されている。

車速センサ１５は、車両９０の速度である自車速度Ｖｃに応じた信号を車内ＬＡＮ６０に出力する。

舵角センサ１６は、車両９０のステアリング操作に基づく操舵角θｓに応じた信号を車内ＬＡＮ６０に出力する。

障害物識別装置３０は、マイコン等を主体として構成されており、ＣＰＵ、ＲＯＭ、ＲＡＭ、フラッシュメモリ、Ｉ／Ｏおよびこれらの構成を接続するバスライン等を備えている。具体的には、障害物識別装置３０は、通信部３１、入力部３２、フィルタ３３、記憶部３４、電源部３５、出力部３６および処理部４０を有する。

通信部３１は、車内ＬＡＮ６０と通信することにより、車速センサ１５および舵角センサ１６から自車速度Ｖｃおよび操舵角θｓをそれぞれ取得する。

入力部３２は、フロントカメラ１１、リアカメラ１２、左側カメラ１３および右側カメラ１４によって撮像された画像を取得する。そして、入力部３２は、これらの取得した画像をフィルタ３３および処理部４０に出力する。

フィルタ３３は、フィルタリング処理を行うのに特化した専用のアクセラレータである。このフィルタ３３は、入力部３２からの各画像における画素の輝度値およびその画素の近傍の輝度値に基づいて、出力画像の輝度値を演算する。ここでは、フィルタ３３は、入力部３２からの各画像に対して、解像度σｉを変更する、例えば、ガウシアンピラミッド用の画像縮小を行う。また、フィルタ３３は、ノイズ除去のためのガウシアンフィルタを用いて演算を行う。さらに、フィルタ３３は、図３および図４に示すように、エッジ検出のためのSobelフィルタを用いて演算を行う。したがって、フィルタ３３は、入力部３２からの各画像および縮小した各画像に対して、ガウシアンフィルタおよびSobelフィルタを用いて演算を行った各画像の値を処理部４０に出力する。

ここで、図３は、図５に示すフロントカメラ１１、リアカメラ１２、左側カメラ１３および右側カメラ１４によって撮像されたそれぞれの画像のＵ方向への勾配を求めるSobelフィルタの例である。さらに、図４は、図５に示すフロントカメラ１１、リアカメラ１２、左側カメラ１３および右側カメラ１４によって撮像されたそれぞれの画像のＶ方向への勾配を求めるSobelフィルタの例である。また、ここでは、Ｕ方向は、画像に対して左右方向とする。また、画像左側から画像右側への方向をＵ方向の正方向とする。さらに、Ｖ方向は、画像に対して上下方向とする。また、画像上側から画像下側への方向をＶ方向の正方向とする。また、図５では、フロントカメラ１１、リアカメラ１２、左側カメラ１３および右側カメラ１４のいずれかによって撮像された画像の例として、自車影Ｓｃ、車両９０の一部および地平線９１が映し出されている。また、自車影Ｓｃは、明確となるように斜線ハッチングで示されている。

記憶部３４は、ＲＡＭ、ＲＯＭ、フラッシュメモリ等を含んでおり、後述の処理部４０によって実行されるプログラムおよび処理部４０によって識別された物体の種類を記憶している。

電源部３５は、車両９０のイグニッションがオンされたときに、後述の処理部４０がプログラムを実行するための電力を処理部４０に供給する。

出力部３６は、後述の処理部４０によって処理された画像データを表示装置５０に出力する。

処理部４０は、取得部、推定部、抽出部、生成部、選定部、影除去部に対応しており、記憶部３４に記憶されているプログラムを実行する装置である。また、処理部４０は、このプログラムを実行するとき、記憶部３４のＲＡＭを作業領域として使用する。

表示装置５０は、出力部３６からの画像データを表示する。これにより、障害物識別システム１０では、処理部４０によって処理された画像が視認可能になっている。

以上のように、障害物識別システム１０は構成されている。この障害物識別システム１０では、障害物識別装置３０の処理部４０がプログラムを実行することにより、車両９０の周辺の物体が識別される。具体的には、フロントカメラ１１、リアカメラ１２、左側カメラ１３および右側カメラ１４によって撮像された画像に映る物体が、自車影Ｓｃ、静止物体および移動物体のいずれであるかが識別される。また、障害物識別システム１０は、移動物体影Ｓｔを含む移動物体から、移動物体影Ｓｔを除去することにより、移動物体のみを識別する。

次に、図６のフローチャートを参照して、この処理部４０による識別について説明する。ここでは、例えば、処理部４０は、車両９０のイグニッションがオンされたとき、ＲＯＭに記憶されているプログラムを実行することにより、物体の識別を行う。また、ここでは、便宜上、処理部４０のステップＳ１１０の処理が開始されてからステップＳ１１０の処理に戻るまでの一連の動作の期間を処理部４０の処理周期τとする。この処理部４０の処理周期τの時間は、例えば、数十ミリ秒から百ミリ秒である。また、ここでは、便宜上、現時点の処理周期τを今回処理周期τ（ｎ）と適宜記載する。さらに、現時点に対して前回の処理周期τを前回処理周期τ（ｎ－１）と適宜記載する。なお、ｎは、１以上の自然数であって、処理部４０のステップＳ１１０からステップＳ１１０に戻るまでの処理の実行回数である。また、車両９０のイグニッションがオンされた初期の処理周期τ（０）における処理部４０の後述する各値は、予め設定されている。

ステップＳ１１０において、処理部４０は、フロントカメラ１１、リアカメラ１２、左側カメラ１３および右側カメラ１４のそれぞれによって撮像された画像を入力部３２から取得する。また、処理部４０は、この取得した画像にそれぞれ対応し、フィルタ３３によって処理された画像をフィルタ３３から取得する。

続いて、ステップＳ１１５において、処理部４０は、ステップＳ１１０にて取得した画像に基づいて、画像内の自車影Ｓｃを推定する。具体的には、図７のフローチャートを参照して、この自車影Ｓｃの推定について説明する。

ステップＳ３１０において、処理部４０は、入力部３２から取得した画像内の自車影Ｓｃの候補を推定する。ここで、この候補の推定を説明するために、入力部３２から取得した画像内の各画素の輝度値を入力輝度Ｉｃ（Ｕ、Ｖ）とする。なお、ここでは、画素の輝度値とは、例えば、１画素中の値を０～２５５の数値で表したものである。また、（Ｕ、Ｖ）のＵは、画像内の基準位置からのＵ方向の画素位置を示す。さらに、（Ｕ、Ｖ）のＶは、画像内の基準位置からのＶ方向の画素位置を示す。

そして、具体的には、処理部４０は、以下関係式（１）に示すように、入力輝度Ｉｃ（Ｕ、Ｖ）が影閾値Ｉｓ＿ｔｈよりも小さい画素を自車影Ｓｃの候補として推定する。ここでは、この影閾値Ｉｓ＿ｔｈは、処理周期τ毎に演算される。具体的には、処理部４０は、例えば、図８に示すように、ステップＳ１１０にて取得した４つの画像のそれぞれに対して、車両９０よりも画像上側、かつ、地平線９１よりも画像下側の領域のうち所定領域Ｆｓの輝度値の分散を演算する。そして、処理部４０は、この演算した分散が最も小さい画像を抽出する。また、処理部４０は、この抽出した画像の所定領域Ｆｓの輝度値の平均を抽出する。そして、処理部４０は、この抽出した輝度値の平均を影閾値Ｉｓ＿ｔｈにする。これにより、輝度値の分散が比較的小さい領域の輝度値が演算に用いられることになる。このため、影閾値Ｉｓ＿ｔｈの精度が比較的高くなるので、自車影Ｓｃの候補の推定精度が向上する。なお、画像内の車両９０の位置および画像内の地平線９１の位置は、フロントカメラ１１、リアカメラ１２、左側カメラ１３および右側カメラ１４の取り付け位置や視野角等によってそれぞれ予め設定される。また、図８において、所定領域Ｆｓの一例が斜線ハッチングで記載されている。

Ｉｃ（Ｕ、Ｖ）＜Ｉｓ＿ｔｈ ・・・（１）

続いて、ステップＳ３２０において、処理部４０は、ステップＳ３１０にて推定した自車影Ｓｃの候補から、影境界Ｂｓを推定する。ここでは、影境界Ｂｓとは、自車影Ｓｃと車両９０の外側における物体との境界、例えば、自車影Ｓｃと路面との境界である。

具体的には、処理部４０は、以下関係式（２）に示すように、各画素の輝度勾配Ｍｃを演算する。輝度勾配Ｍｃは、Ｉｕの自乗とＩｖの自乗との和の正の平方根である。この関係式（２）において、Ｉｕは、入力輝度Ｉｃ（Ｕ、Ｖ）のＵ方向の勾配であって、フィルタ３３によって演算されている。また、Ｉｕは、第１勾配に対応する。さらに、Ｉｖは、入力輝度Ｉｃ（Ｕ、Ｖ）のＶ方向の勾配であって、フィルタ３３によって演算されている。また、Ｉｖは、第２勾配に対応する。

次に、処理部４０は、図９に示すように、自車影Ｓｃが延びている方向、ここでは、Ｖ方向の負方向に沿って、画像を走査する。影境界Ｂｓでは比較的大きな輝度勾配Ｍｃが生じるため、処理部４０は、この走査により、以下関係式（３）に示すように輝度勾配Ｍｃが境界勾配閾値Ｍｂ＿ｔｈ以上である画素を抽出する。そして、処理部４０は、これらの抽出した画素のうち、走査方向、ここでは、Ｖ方向の負方向に沿って連続して所定個数Ｎｓ抽出したとき、それらの画素を影境界Ｂｓと推定する。なお、境界勾配閾値Ｍｂ＿ｔｈおよび所定個数Ｎｓは、影境界Ｂｓを探索するための値であって、実験やシミュレーション等によって設定される。また、所定個数Ｎｓは、例えば、２以上の自然数である。さらに、図９において、処理部４０によって走査される方向が二点鎖線で示されている。

Ｍｃ≧Ｍｂ＿ｔｈ ・・・（３）

また、ここでは、処理部４０は、影境界Ｂｓの推定精度を向上させるために、以下のような演算をさらに行う。

具体的には、処理部４０は、図１０および以下関係式（４）に示すように、影境界Ｂｓの画素の輝度値の勾配に基づいて、上記のように推定した影境界Ｂｓの各画素の勾配角度である境界勾配角度θｂを演算する。なお、関係式（４）において、Ｉｕｂは、影境界Ｂｓにおける画素の輝度値のＵ方向の勾配であって、フィルタ３３によって演算されている。また、Ｉｖｂは、影境界Ｂｓにおける画素の輝度値のＶ方向の勾配であって、フィルタ３３によって演算されている。

また、処理部４０は、この演算した境界勾配角度θｂに基づいて、影境界Ｂｓの画素を通る法線を演算する。ここで、上記の輝度勾配Ｍｃによって推定された影境界Ｂｓの画素よりも画像上側であって、この法線上の画素およびその近傍の輝度値の平均を上側平均輝度μ＿ｕｐとする。また、上記の輝度勾配Ｍｃによって推定された影境界Ｂｓの画素よりも画像下側であって、この法線上の画素およびその近傍の輝度値の平均を下側平均輝度μ＿ｄｏｗｎとする。また、影境界Ｂｓが自車影Ｓｃと路面との境界であるとき、影境界Ｂｓよりも画像上側では路面が画像に映る。さらに、このとき、影境界Ｂｓよりも画像下側では自車影Ｓｃが画像に映る。したがって、このとき、上側平均輝度μ＿ｕｐは、下側平均輝度μ＿ｄｏｗｎよりも大きくなる。

よって、処理部４０は、以下関係式（５）に示すように、上側平均輝度μ＿ｕｐが下側平均輝度μ＿ｄｏｗｎよりも大きいとき、その影境界Ｂｓの画素を影境界Ｂｓとする。これにより、精度が比較的高い影境界Ｂｓが推定される。なお、図１０において、法線およびその法線に直交する接線の一例が破線で示されている。また、上側平均輝度μ＿ｕｐが演算される領域の一例がＦ＿ｕｐで示されている。さらに、下側平均輝度μ＿ｄｏｗｎが演算される領域の一例がＦ＿ｄｏｗｎで示されている。

μ＿ｕｐ＞μ＿ｄｏｗｎ ・・・（５）

続いて、ステップＳ３３０において、処理部４０は、ステップＳ３１０にて推定した自車影Ｓｃの候補のうち、ステップＳ３２０にて推定した影境界Ｂｓと画像に映る車両９０との囲まれる範囲を自車影Ｓｃと推定する。

続いて、ステップＳ３４０において、処理部４０は、これらの推定した自車影Ｓｃおよび影境界Ｂｓに基づいて、後述の第１自車影情報Ｘｓ１を記憶部３４のフラッシュメモリに記憶させる。また、処理部４０は、後述するように、必要であれば、これらの推定した自車影Ｓｃおよび影境界Ｂｓに基づいて、第２自車影情報Ｘｓ２を記憶部３４のフラッシュメモリに記憶させる。

具体的には、処理部４０は、今回処理周期τ（ｎ）で推定した自車影Ｓｃおよび影境界Ｂｓの画素位置を、第１自車影情報Ｘｓ１として、記憶部３４のフラッシュメモリに記憶させる。また、この第１自車影情報Ｘｓ１は、処理部４０の処理周期τ毎に更新される。

また、処理部４０は、安定した自車影Ｓｃおよび影境界Ｂｓの画素位置を、第２自車影情報Ｘｓ２として、記憶部３４のフラッシュメモリに記憶させる。ここで、この自車影Ｓｃおよび影境界Ｂｓの安定性は、今回処理周期τ（ｎ）よりも前に推定されたそれぞれの影境界Ｂｓの画素位置に対する今回処理周期τ（ｎ）の影境界Ｂｓの画素位置の移動量である境界移動量ΔＢに基づいて、処理部４０によって判定される。具体的には、処理部４０は、今回処理周期τ（ｎ）よりも前に推定したそれぞれの影境界Ｂｓの画素位置に対する今回処理周期τ（ｎ）に推定した影境界Ｂｓの変化に基づいて、境界移動量ΔＢを演算する。例えば、処理部４０は、影境界Ｂｓの法線方向、Ｕ方向およびＶ方向の変化に基づいて、境界移動量ΔＢを演算する。そして、処理部４０は、この演算した境界移動量ΔＢが安定閾値ΔＢ＿ｔｈ以下であるとき、影境界Ｂｓの変化が比較的小さいため、今回処理周期τ（ｎ）の自車影Ｓｃおよび影境界Ｂｓが安定していると判定する。したがって、このとき、処理部４０は、今回処理周期τ（ｎ）の自車影Ｓｃおよび影境界Ｂｓの画素位置を、第２自車影情報Ｘｓ２として、記憶部３４のフラッシュメモリに記憶させる。なお、今回処理周期τ（ｎ）の自車影Ｓｃおよび影境界Ｂｓが安定しているとき、第２自車影情報Ｘｓ２は、上記の第１自車影情報Ｘｓ１と同じになる。

また、処理部４０は、この演算した境界移動量ΔＢが安定閾値ΔＢ＿ｔｈより大きいとき、影境界Ｂｓの変化が比較的大きいため、今回処理周期τ（ｎ）の自車影Ｓｃおよび影境界Ｂｓが安定していないと判定する。よって、このとき、処理部４０は、第２自車影情報Ｘｓ２を、今回処理周期τ（ｎ）よりも前の処理周期τに安定していると判定した自車影Ｓｃおよび影境界Ｂｓの画素位置のままにする。例えば、今回処理周期τ（ｎ）の自車影Ｓｃおよび影境界Ｂｓが安定していないで、前回処理周期τ（ｎ－１）の自車影Ｓｃおよび影境界Ｂｓが安定しているとする。このとき、今回処理周期τ（ｎ）において、前回処理周期τ（ｎ－１）の自車影Ｓｃおよび影境界Ｂｓの画素位置が、第２自車影情報Ｘｓ２として、記憶部３４のフラッシュメモリに記憶されたままになる。

続いて、ステップＳ３５０において、処理部４０は、ステップＳ３４０にて更新した影境界Ｂｓおよび自車影Ｓｃを平滑化する。

具体的には、処理部４０は、ステップＳ３２０にて推定した影境界Ｂｓの一画素位置とその画素位置からＵ方向に並ぶ影境界Ｂｓの画素位置に基づいて、その影境界Ｂｓの画素位置からＵ方向の隣に本来あるべき影境界Ｂｓの画素位置を推定する。そして、処理部４０は、その本来あるべき影境界Ｂｓの推定画素位置から、その影境界Ｂｓの実画素位置までの距離を演算する。この距離が閾値以上であるとき、影境界Ｂｓおよび自車影Ｓｃに欠損が生じているため、図１１に示すように、処理部４０は、その画素のＵ方向に隣の影境界Ｂｓの画素位置を、この推定画素位置と一致するように補正する。また、処理部４０は、この補正した画素位置に基づいて自車影Ｓｃを補正することにより、自車影Ｓｃが欠損していた部分を補完する。これにより、影境界Ｂｓおよび自車影Ｓｃが平滑化される。なお、Ｕ方向に隣の影境界Ｂｓの推定画素位置と、Ｕ方向に隣の影境界Ｂｓの実画素位置との距離が閾値未満であるとき、処理部４０は、その画素のＵ方向に隣の影境界Ｂｓの画素位置を、この推定画素位置に補正しないでその実画素位置のままとする。また、図１１において、欠損ではない箇所の影境界Ｂｓの画素が、Ｐｎおよび白丸で模式的に示されている。さらに、欠損箇所の影境界Ｂｓの画素が、Ｐｄおよび白三角で模式的に示されている。また、補正された影境界Ｂｓの画素が、Ｐｃおよび白四角で模式的に示されている。また、補完された自車影Ｓｃが、Ｓｃ＿Ｃおよび斜線ハッチングで示されている。

このようにして、処理部４０によって自車影Ｓｃの推定が行われる。その後、処理は、ステップＳ１２０に移行する。

図６に示すように、ステップＳ１１５に続くステップＳ１２０において、処理部４０は、ステップＳ１１０にて取得した画像のそれぞれについて、物体の特徴点を抽出する。例えば、処理部４０は、以下関係式（６）に示すように、輝度勾配Ｍｃが特徴点閾値Ｍｐ＿ｔｈ以上である画素を特徴点として抽出する。なお、特徴点閾値Ｍｐ＿ｔｈは、画像内の障害物の特徴点を抽出するための値であって、実験やシミュレーション等によって設定される。

Ｍｃ≧Ｍｐ＿ｔｈ ・・・（６）

続いて、ステップＳ１３０において、処理部４０は、ステップＳ１２０にて抽出した特徴点に基づいて、オプティカルフローＯＰを生成する。例えば、処理部４０は、ブロックマッチング法を用いてオプティカルフローＯＰを生成する。なお、ここでは、オプティカルフローＯＰは、前回処理周期τ（ｎ－１）にて抽出した特徴点に対応する今回処理周期τ（ｎ）にて抽出した特徴点の画像中の移動ベクトルである。

具体的には、処理部４０は、今回処理周期τ（ｎ）にて取得した画像上において、前回処理周期τ（ｎ－１）にて抽出した特徴点の画素を中心とする画素ブロックを、テンプレートとして走査する。このとき、処理部４０は、このテンプレートの画素位置の輝度値と、今回処理周期τ（ｎ）にて取得した画像におけるそのテンプレートの画素位置に対応する画素位置の輝度値との差分をそれぞれ演算する。そして、処理部４０は、この画素ブロック内の輝度値の差分絶対値和、すなわち、ＳＡＤを演算する。これによって、処理部４０は、前回処理周期τ（ｎ－１）の特徴点と今回処理周期τ（ｎ）の特徴点との類似度を推定する。なお、ＳＡＤは、Sum of Absolute Differenceの略である。

そして、処理部４０は、この演算したＳＡＤが最小となる、すなわち、類似度が最大となる前回処理周期τ（ｎ－１）の特徴点と今回処理周期τ（ｎ）の特徴点とを結ぶ。これによって、処理部４０は、前回処理周期τ（ｎ－１）で抽出した特徴点のオプティカルフローＯＰを生成する。また、ここでは、処理部４０は、各画像に対して画像の解像度σｉすなわちピラミッドレベルを変更して、各解像度σｉの画像におけるオプティカルフローＯＰを上記のように生成する。

続いて、ステップＳ１４０において、処理部４０は、ステップＳ１３０にて生成した各オプティカルフローＯＰの信頼性を判定する。具体的には、処理部４０は、画像に映る物体が移動物体であるという信頼性が比較的高いオプティカルフローＯＰを選定する。ここで、このオプティカルフローＯＰの選定を説明するために、以下の用語を定義する。処理周期τ間で互いに対応するオプティカルフローＯＰが連続して生成された回数、すなわち、連続して追跡された回数をトラッキング回数Ｎｔとする。このトラッキング回数Ｎｔは、処理周期τ間で互いに対応するオプティカルフローＯＰが生成される度に、処理部４０によって計上される。また、オプティカルフローＯＰのＵ方向の座標成分をフローＵ成分ΔＵとする。オプティカルフローＯＰのＶ方向の座標成分をフローＶ成分ΔＶとする。オプティカルフローＯＰの長さをフロー長さＬｆとする。フロー長さＬｆから、車両９０の移動距離に対応するオプティカルフローＯＰの長さを除去した長さをエゴキャンセルフロー長Ｌｃとする。オプティカルフローＯＰとＵ方向に延びる軸とでなす角度をフロー角度θｆとする。今回処理周期τ（ｎ）で生成されたオプティカルフローＯＰの角度から、前回処理周期τ（ｎ－１）で生成されたオプティカルフローＯＰの角度を減算した値をフロー方向差分Δθｆとする。画像内において２つの際立ったエッジが存在するコーナーであるか否かを示す指標をコーナー度Ｒｆとする。

そして、処理部４０は、上記した各解像度σｉの画像において生成したオプティカルフローＯＰのうち、以下関係式（７－１）に示すように解像度σｉが解像度閾値σｉ＿ｔｈ以上の画像で生成したオプティカルフローＯＰを選定する。

σｉ≧σｉ＿ｔｈ ・・・（７－１）

また、処理部４０は、上記により選定したオプティカルフローＯＰのうち、以下関係式（７－２）に示すようにトラッキング回数Ｎｔがトラッキング閾値Ｎｔ＿ｔｈ以上であるオプティカルフローＯＰを選定する。

Ｎｔ≧Ｎｔ＿ｔｈ ・・・（７－２）

また、処理部４０は、以下関係式（７－３）に示すように、それぞれのオプティカルフローＯＰのフローＵ成分ΔＵおよびフローＶ成分ΔＶに基づいて、フロー長さＬｆを演算する。

そして、処理部４０は、上記により選定したオプティカルフローＯＰのうち、以下関係式（７－４）に示すようにフロー長さＬｆがフロー長閾値Ｌｆ＿ｔｈ以上であるオプティカルフローＯＰを選定する。

Ｌｆ≧Ｌｆ＿ｔｈ ・・・（７－４）

また、処理部４０は、車速センサ１５および舵角センサ１６から車内ＬＡＮ６０および通信部３１を経由して、自車速度Ｖｃおよび操舵角θｓをそれぞれ取得する。さらに、処理部４０は、自車速度Ｖｃ、操舵角θｓおよび処理周期τの時間に基づいて、３次元空間座標系における処理周期τ間の車両９０の移動ベクトルである車両移動ベクトルΔＬを演算する。このとき、処理部４０は、フロントカメラ１１、リアカメラ１２、左側カメラ１３、右側カメラ１４のそれぞれの向き、焦点距離、路面に対する位置および角度に基づいて、３次元空間座標系からＵＶ座標系への座標変換を行う。また、処理部４０は、この３次元空間座標系における車両移動ベクトルΔＬを画像のＵＶ座標系に変換することにより、車両移動ベクトルΔＬに対応するフロー長さＬｆを演算する。そして、処理部４０は、フローＵ成分ΔＵおよびフローＶ成分ΔＶに基づいて演算したフロー長さＬｆから、この車両移動ベクトルΔＬに対応するフロー長さＬｆを減算することにより、エゴキャンセルフロー長Ｌｃを演算する。

そして、処理部４０は、上記により選定したオプティカルフローＯＰのうち、以下関係式（７－５）に示すようにエゴキャンセルフロー長Ｌｃがキャンセル閾値Ｌｃ＿ｔｈ以上であるオプティカルフローＯＰを選定する。

Ｌｃ≧Ｌｃ＿ｔｈ ・・・（７－５）

また、処理部４０は、以下関係式（７－６）に示すように、それぞれのオプティカルフローＯＰのフローＵ成分ΔＵおよびフローＶ成分ΔＶに基づいて、フロー角度θｆを演算する。

さらに、処理部４０は、以下関係式（７－７）に示すように、この演算したフロー角度θｆに基づいて、フロー方向差分Δθｆを演算する。そして、処理部４０は、上記により選定したオプティカルフローＯＰのうち、以下関係式（７－８）に示すようにフロー方向差分Δθｆが方向差分閾値Δθｆ＿ｔｈ以下であるオプティカルフローＯＰを選定する。なお、ここでは、今回処理周期τ（ｎ）で生成されたオプティカルフローＯＰは、前回処理周期τ（ｎ－１）における特徴点からの移動ベクトルである。このため、関係式（７－７）では、今回処理周期τ（ｎ）にて演算されたフロー角度θｆがθｆ（ｎ－１）と表されている。同様に、前回処理周期τ（ｎ－１）で生成されたオプティカルフローＯＰは、２回前処理周期τ（ｎ－２）における特徴点からの移動ベクトルである。このため、関係式（７－７）では、前回処理周期τ（ｎ－１）にて演算されたフロー角度θｆがθｆ（ｎ－２）と表されている。

θｆ＝θｆ（ｎ－１）－θｆ（ｎ－２） ・・・（７－７）
Δθｆ≦Δθｆ＿ｔｈ ・・・（７－８）

また、処理部４０は、ハリスコーナー法を用いて、オプティカルフローＯＰを生成した特徴点のコーナー度Ｒｆを演算する。具体的には、処理部４０は、以下関係式（７－９）に示すように、ヘッセ行列Ｈを用いて、コーナー度Ｒｆを演算する。このヘッセ行列Ｈは、関係式（７－９）に示すように、ＩｕおよびＩｖに基づいた成分を有する。なお、Ｉｕは、上記したように、入力輝度Ｉｃ（Ｕ、Ｖ）のＵ方向の勾配であって、フィルタ３３によって演算される。また、Ｉｖは、上記したように、入力輝度Ｉｃ（Ｕ、Ｖ）のＶ方向の勾配であって、フィルタ３３によって演算される。さらに、λ１およびλ２は、それぞれ、ヘッセ行列Ｈの固有値である。また、ｋは、定数であって、例えば、０．０４～０．０６である。

そして、処理部４０は、上記により選定したオプティカルフローＯＰのうち、以下関係式（７－１０）に示すようにコーナー度Ｒｆがコーナー閾値Ｒｆ＿ｔｈよりも大きい特徴点に対応するオプティカルフローＯＰを選定する。

Ｒｆ≧Ｒｆ＿ｔｈ ・・・（７－１０）

以上のように、処理部４０は、オプティカルフローＯＰの信頼性を判定する。これにより、以下に説明するように、物体が移動物体であるという信頼性が比較的高いオプティカルフローＯＰが選定される。

例えば、静止物体のフロー長さＬｆは、自車速度Ｖｃによるため比較的小さくなる。また、移動物体のフロー長さＬｆは、自車速度Ｖｃおよび移動物体の移動速度によるため比較的大きくなる。このため、フロー長さＬｆがフロー長閾値Ｌｆ＿ｔｈ以上であるオプティカルフローＯＰが選定される。また、エゴキャンセルフロー長Ｌｃがキャンセル閾値Ｌｃ＿ｔｈ以上であるオプティカルフローＯＰが選定される。さらに、一方向に移動する物体のフロー方向差分Δθｆは、比較的小さくなる。このため、フロー方向差分Δθｆが方向差分閾値Δθｆ＿ｔｈ以下であるオプティカルフローＯＰが選定される。これらの選定により、例えば、画像内の移動物体のオプティカルフローＯＰが選定される。また、今回処理周期τ（ｎ）における画像内の静止物体のオプティカルフローＯＰが除去される。したがって、ここでのフロー長閾値Ｌｆ＿ｔｈ、キャンセル閾値Ｌｃ＿ｔｈおよび方向差分閾値Δθｆ＿ｔｈは、上記のように選定されるように実験およびシミュレーション等により設定される。

また、上記したように、各解像度σｉの画像においてオプティカルフローＯＰが生成されており、解像度σｉが解像度閾値σｉ＿ｔｈ以上の画像で生成されたオプティカルフローＯＰが選定される。また、トラッキング回数Ｎｔがトラッキング閾値Ｎｔ＿ｔｈ以上であるオプティカルフローＯＰが選定される。これらにより、オプティカルフローＯＰの精度が高くなるため、例えば、フロー長さＬｆ、フロー方向差分Δθｆおよびエゴキャンセルフロー長Ｌｃの精度が高くなる。したがって、ここでの解像度閾値σｉ＿ｔｈおよびトラッキング閾値Ｎｔ＿ｔｈは、上記のように選定されるように実験およびシミュレーション等により設定される。

また、移動物体のうち歩行者等の人の足元は、路面に接するため、人の足元のオプティカルフローＯＰが車両９０から歩行者までの距離検出等に用いられる。したがって、ここでは、上記した選定と併せて、コーナー度Ｒｆがコーナー閾値Ｒｆ＿ｔｈよりも大きい特徴点に対応するオプティカルフローＯＰが選定される。これにより、例えば、人の足元のオプティカルフローＯＰが選定されやすくなる。よって、ここでのコーナー閾値Ｒｆ＿ｔｈは、上記のように選定されるように実験およびシミュレーション等により設定される。

続いて、ステップＳ１５０において、処理部４０は、ステップＳ１４０にて選定したオプティカルフローＯＰをグループに分類することにより、クラスタリングを行う。具体的には、処理部４０は、前回処理周期τ（ｎ－１）にて撮像された画像の特徴点の画素位置とその特徴点のフロー長さＬｆとフロー角度θｆとが類似するオプティカルフローＯＰ同士を１つのグループに分類する。例えば、処理部４０は、前回処理周期τ（ｎ－１）における特徴点の位置同士の距離が所定の距離範囲内、フロー長さＬｆが所定の長さ範囲内、かつ、フロー角度θｆが所定の角度範囲内であるオプティカルフローＯＰ同士を抽出する。そして、処理部４０は、図１２に示すように、これらの抽出したオプティカルフローＯＰを１つのグループにする。なお、図１２において、クラスタリングされた１つの物体がＹ（ｎ－１）および実線で模式的に示されている。

続いて、ステップＳ１６０において、処理部４０は、ステップＳ１５０にてクラスタリングした各グループ、すなわち、前回処理周期τ（ｎ－１）における特徴点のグループの物理量を演算する。ここでは、処理部４０は、３次元空間座標系における各グループの位置、そのグループの大きさを示す長さおよび幅、ならびに、そのグループの移動ベクトルを演算する。具体的には、処理部４０は、処理部４０は、フロントカメラ１１、リアカメラ１２、左側カメラ１３、右側カメラ１４のそれぞれの向き、焦点距離、路面に対する位置および角度に基づいて、画像のＵＶ座標系から３次元空間座標系への座標変換を行う。そして、処理部４０は、画像のＵＶ座標系の各グループの特徴点およびオプティカルフローＯＰを、３次元空間座標系の各グループの特徴点およびオプティカルフローＯＰに変換する。また、処理部４０は、この座標変換した特徴点に基づいて、各グループの代表位置Ｐｒ、そのグループの大きさを示す長さおよび幅を演算する。さらに、処理部４０は、この座標変換したオプティカルフローＯＰに基づいて、各グループの代表移動ベクトルＯｒを演算する。また、処理部４０は、代表移動ベクトルＯｒおよび処理周期τに基づいて、各グループの代表速度ベクトルＶｒを演算する。なお、代表位置Ｐｒは、例えば、物体の重心である。また、物体が人である場合、代表位置Ｐｒは、人の足元であってもよい。

続いて、ステップＳ１７０において、処理部４０は、ステップＳ１１５にて推定した自車影Ｓｃに基づいて、移動物体影Ｓｔを推定および除去する。具体的には、図１３のフローチャートを参照して、この移動物体影Ｓｔの推定および除去について説明する。なお、ステップＳ１１５にて自車影Ｓｃが推定されなかったとき、移動物体影Ｓｔの推定および除去が実施されないで、処理は、ステップＳ１１０に戻る。

ステップＳ４１０において、処理部４０は、ステップＳ１１５にて推定した自車影Ｓｃの輝度値および自車影Ｓｃに対する移動物体の相対位置に基づいて、移動物体影Ｓｔを推定する。

具体的には、１つの画像に自車影Ｓｃおよび移動物体の両方が映し出されている場合、すなわち、自車影Ｓｃが映る画像と移動物体影Ｓｔが映る画像とが同じである場合、処理部４０は、その画像の入力輝度Ｉｃ（Ｕ、Ｖ）に基づいて、移動物体影Ｓｔを推定する。例えば、図１４に示すように、自車影Ｓｃおよび移動物体の両方が、リアカメラ１２の画像に映し出されたとする。この場合、処理部４０は、リアカメラ１２の画像の入力輝度Ｉｃ（Ｕ、Ｖ）に基づいて、移動物体影Ｓｔを推定する。なお、図１４において、自車影Ｓｃおよび移動物体影Ｓｔの所在が明確となるようにドット柄で記載されている。

ここで、この場合の移動物体影Ｓｔを説明するために、リアカメラ１２の画像におけるステップＳ１１５にて処理部４０により推定された自車影Ｓｃの輝度値の平均を後側自車影平均μｃ＿ｂとする。リアカメラ１２の画像におけるステップＳ１１５にて処理部４０により推定された自車影Ｓｃの輝度値の分散を後側自車影分散σ^２ｃ＿ｂとする。

そして、処理部４０は、リアカメラ１２の画像におけるステップＳ１１５にて推定した自車影Ｓｃの画素数および輝度値に基づいて、後側自車影平均μｃ＿ｂおよび後側自車影分散σ^２ｃ＿ｂを演算する。また、処理部４０は、例えば、以下関係式（８－１）に示す範囲の輝度値の画素位置を移動物体影Ｓｔと推定する。なお、関係式（８－１）において、Ｉｃ＿Ｓｔは、移動物体影Ｓｔの輝度値を示す。σｃ＿ｂは、後側自車影分散σ^２ｃ＿ｂの正の平方根である。

また、１つの画像に自車影Ｓｃおよび移動物体の両方が映し出されていない場合、すなわち、自車影Ｓｃが映る画像と移動物体影Ｓｔが映る画像とが異なる場合、処理部４０は、各カメラの画像の入力輝度Ｉｃ（Ｕ、Ｖ）に基づいて、移動物体影Ｓｔを推定する。例えば、図１５に示すように、移動物体がリアカメラ１２の画像に映し出され、自車影Ｓｃがフロントカメラ１１および右側カメラ１４の画像に映し出されたとする。この場合、処理部４０は、フロントカメラ１１、リアカメラ１２、左側カメラ１３および右側カメラ１４のそれぞれの画像の入力輝度Ｉｃ（Ｕ、Ｖ）に基づいて、移動物体影Ｓｔを推定する。なお、図１５において、自車影Ｓｃおよび移動物体影Ｓｔの所在が明確となるようにドット柄で記載されている。

ここで、この場合の移動物体影Ｓｔを説明するために、フロントカメラ１１の画像におけるステップＳ１１５にて処理部４０により推定された自車影Ｓｃの輝度値の平均を前側自車影平均μｃ＿ｆとする。フロントカメラ１１の画像におけるステップＳ１１５にて処理部４０により推定された自車影Ｓｃの輝度値の分散を前側自車影分散σ^２ｃ＿ｆとする。右側カメラ１４の画像におけるステップＳ１１５にて処理部４０により推定された自車影Ｓｃの輝度値の平均を右側自車影平均μｃ＿ｒとする。右側カメラ１４の画像におけるステップＳ１１５にて処理部４０により推定された自車影Ｓｃの輝度値の分散を右側自車影分散σ^２ｃ＿ｒとする。フロントカメラ１１の画像におけるステップＳ１１５にて処理部４０により推定された自車影Ｓｃの外側の路面の所定範囲を前側路面Ｓｆとする。右側カメラ１４の画像におけるステップＳ１１５にて処理部４０により推定された自車影Ｓｃの外側の路面の所定範囲を右側路面Ｓｒとする。左側カメラ１３の画像における路面の所定範囲を左側路面Ｓｌとする。リアカメラ１２の画像における路面の所定範囲を後側路面Ｓｂとする。前側路面Ｓｆの輝度値の分散を前側分散σ^２ｆとする。右側路面Ｓｒの輝度値の分散を右側分散σ^２ｒとする。左側路面Ｓｌの輝度値の分散を左側分散σ^２ｌとする。後側路面Ｓｂの輝度値の分散を後側分散σ^２ｂとする。なお、図１５において、前側路面Ｓｆ、右側路面Ｓｒ、左側路面Ｓｌおよび後側路面Ｓｂは、模式的にドット柄で示されている。

そして、処理部４０は、フロントカメラ１１の画像におけるステップＳ１１５にて推定した自車影Ｓｃの画素数および輝度値に基づいて、前側自車影平均μｃ＿ｆおよび前側自車影分散σ^２ｃ＿ｆを演算する。また、処理部４０は、右側カメラ１４の画像におけるステップＳ１１５にて推定した自車影Ｓｃの画素数および輝度値に基づいて、右側自車影平均μｃ＿ｒおよび右側自車影分散σ^２ｃ＿ｒを演算する。そして、処理部４０は、前側自車影平均μｃ＿ｆ、前側自車影分散σ^２ｃ＿ｆ、右側自車影平均μｃ＿ｒおよび右側自車影分散σ^２ｃ＿ｒに基づいて、リアカメラ１２の画像における移動物体影Ｓｔの候補を推定する。

また、処理部４０は、前側路面Ｓｆの画素数および輝度値に基づいて、前側分散σ^２ｆを演算する。さらに、処理部４０は、右側路面Ｓｒの画素数および輝度値に基づいて、右側分散σ^２ｒを演算する。また、処理部４０は、左側路面Ｓｌの画素数および輝度値に基づいて、左側分散σ^２ｌを演算する。そして、処理部４０は、前側分散σ^２ｆ、右側分散σ^２ｒ、左側分散σ^２ｌの平均である平均分散σ^２μを演算する。さらに、処理部４０は、上記で推定した移動物体影Ｓｔの候補に基づいて、後側路面Ｓｂを推定する。また、処理部４０は、この推定した後側路面Ｓｂの画素数および輝度値に基づいて、後側分散σ^２ｂを演算する。そして、処理部４０は、以下関係式（８－２）に示すように、後側分散σ^２ｂから平均分散σ^２μを減算した値である画像間分散σ^２ｃを演算する。

σ^２ｃ＝σ^２ｂ－σ^２μ ・・・（８－２）

そして、処理部４０は、例えば、以下関係式（８－３）に示す範囲の輝度値の画素位置を移動物体影Ｓｔと推定する。なお、関係式（８－３）において、Ｉｃ＿Ｓｔは、移動物体影Ｓｔの輝度値を示す。σｆは、前側分散σ^２ｆの正の平方根である。σｒは、右側分散σ^２ｒの正の平方根である。σｃは、画像間分散σ^２ｃの正の平方根である。ここでは、画像間分散σ^２ｃにより、フロントカメラ１１、リアカメラ１２、左側カメラ１３および右側カメラ１４のそれぞれの画像間の輝度値のバラつきが考慮されているため、移動物体影Ｓｔの推定精度が向上する。

続いて、図１３に示すように、ステップＳ４２０において、処理部４０は、自車影Ｓｃが延びる方向に基づいて、移動物体影Ｓｔが延びる方向である移動体影方向θｃを推定する。ここでは、処理部４０は、フロントカメラ１１、リアカメラ１２、左側カメラ１３および右側カメラ１４に映る自車影Ｓｃの長さに基づいて、自車影Ｓｃが延びる方向を推定する。

ここで、例えば、図１６に示すように、自車影Ｓｃがフロントカメラ１１および右側カメラ１４の画像に映し出されたとする。この場合、処理部４０は、フロントカメラ１１および右側カメラ１４のそれぞれの向き、焦点距離、路面に対する位置および角度に基づいて、フロントカメラ１１および右側カメラ１４に映る自車影ＳｃをＵＶ座標系から図１６に示すような鳥瞰座標系に変換する。また、ここで、図１６では、この鳥瞰座標系は、Ｘｍ軸およびＹｍ軸によって表されている。車両９０の前方に対して左側から右側への方向をＸｍ方向の正方向とする。車両９０の前方をＹｍ方向の正方向とする。

そして、処理部４０は、鳥瞰座標系に変換された右側カメラ１４に映る自車影Ｓｃに基づいて、車両９０から自車影ＳｃまでのＸｍ方向のベクトルである右側ベクトルＯｃ＿ｒを生成する。さらに、処理部４０は、鳥瞰座標系に変換されたフロントカメラ１１に映る自車影Ｓｃに基づいて、車両９０から自車影ＳｃまでのＹｍ方向のベクトルである前側ベクトルＯｃ＿ｆを生成する。そして、処理部４０は、これらの右側ベクトルＯｃ＿ｒと前側ベクトルＯｃ＿ｆとの合成ベクトルＯｃを自車影Ｓｃが延びる方向と推定する。したがって、処理部４０は、この右側ベクトルＯｃ＿ｒの最大長さである右側影長さＬｘを演算する。さらに、処理部４０は、この前側ベクトルＯｃ＿ｆの最大長さである前側影長さＬｙを演算する。そして、処理部４０は、右側影長さＬｘおよび前側影長さＬｙに基づいて、Ｘｍ軸とこの合成ベクトルＯｃとの角度を自車影Ｓｃが延びる方向と推定する。

また、自車影Ｓｃが延びる方向と移動物体影Ｓｔが延びる方向とは同じであるため、移動体影方向θｃは、Ｘｍ軸とこの合成ベクトルＯｃとの角度で表され、以下関係式（９）に示すように、右側影長さＬｘおよび前側影長さＬｙに基づいて表される。よって、処理部４０は、右側影長さＬｘおよび前側影長さＬｙに基づいてＸｍ軸とこの合成ベクトルＯｃとの角度を演算することにより、移動体影方向θｃを推定する。

続いて、図１３に示すように、ステップＳ４３０において、処理部４０は、移動物体影Ｓｔが物体の識別に対して影響があるか否かを判定する。このために、処理部４０は、ＴＴＣの変化を演算する。なお、ＴＴＣとは、Time To Collisionの略であって、衝突余裕時間である。この衝突余裕時間は、現在の相対速度が維持された場合に車両９０が物体と衝突するまでの時間である。

具体的には、処理部４０は、ステップＳ１６０にて演算した３次元空間座標系の物体の代表位置Ｐｒに基づいて、車両９０から物体までの距離を演算する。そして、処理部４０は、この車両９０から物体までの距離と、自車速度Ｖｃと、代表速度ベクトルＶｒとに基づいて、ＴＴＣを演算する。例えば、処理部４０は、車両９０から物体までの距離のＸｍ方向成分およびＹｍ方向成分を演算する。また、処理部４０は、自車速度Ｖｃと、代表速度ベクトルＶｒとに基づいて、車両９０に対する物体の相対速度のＸｍ方向成分およびＹｍ方向成分を演算する。そして、処理部４０は、車両９０から物体までの距離のＸｍ方向成分を、車両９０に対する物体の相対速度のＸｍ方向成分で除算することにより、Ｘｍ方向のＴＴＣを演算する。また、処理部４０は、車両９０から物体までの距離のＹｍ方向成分を、車両９０に対する物体の相対速度のＹｍ方向成分で除算することにより、Ｙｍ方向のＴＴＣを演算する。そして、処理部４０は、今回処理周期τ（ｎ）に演算したＴＴＣから前回処理周期τ（ｎ－１）に演算したＴＴＣを減算することにより、Ｘｍ方向およびＹｍ方向のＴＴＣの変化を演算する。

また、処理部４０は、ステップＳ１６０にて演算した３次元空間座標系における物体の代表速度ベクトルＶｒに基づいて、鳥瞰座標系における代表速度ベクトルＶｒのＸｍ方向成分を演算する。また、処理部４０は、ステップＳ１６０にて演算した３次元空間座標系における物体の代表速度ベクトルＶｒに基づいて、鳥瞰座標系における代表速度ベクトルＶｒのＹｍ方向成分を演算する。さらに、処理部４０は、この演算した代表速度ベクトルＶｒのＸｍ方向成分およびＹｍ方向成分に基づいて、以下関係式（１０）に示すように、Ｘｍ軸に対する代表速度ベクトルＶｒの角度である物体移動方向θｒを演算する。なお、関係式（１０）において、Ｖｘは、代表速度ベクトルＶｒのＸｍ方向成分である。Ｖｙは、代表速度ベクトルＶｒのＹｍ方向成分である。

そして、処理部４０は、上記にて演算した物体移動方向θｒと、ステップＳ４２０にて推定した移動体影方向θｃとの差の絶対値を演算することにより、影響角度Δθｃを演算する。ここでは、影響角度Δθｃは、合成ベクトルＯｃと代表速度ベクトルＶｒとでなす角度のうち小さいほうの角度である。

そして、処理部４０は、上記にて演算したＴＴＣの変化と、影響角度Δθｃとに基づいて、移動物体影Ｓｔが物体の識別に対して影響があるか否かを判定する。

ここで、図１６に示す事例において、前回処理周期τ（ｎ－１）に対して今回処理周期τ（ｎ）におけるＸｍ方向成分およびＹｍ方向成分のＴＴＣが短くなる、例えば、図１７に示すように、車両９０が後退しており、物体が車両９０に近づくとする。この場合、影響角度Δθｃが比較的小さいとき、物体とともに移動物体影Ｓｔが車両９０に近づくことになる。このため、移動物体影Ｓｔが障害物と誤検知される可能性が高い。したがって、この場合、処理部４０は、影響角度Δθｃが影響角度閾値Δθｃ＿ｔｈ以下であるか否かを判定する。そして、処理部４０は、影響角度Δθｃが影響角度閾値Δθｃ＿ｔｈ以下であるとき、移動物体影Ｓｔが物体の識別に対して影響があると判定する。その後、処理は、ステップＳ４４０に移行する。また、処理部４０は、影響角度Δθｃが影響角度閾値Δθｃ＿ｔｈより大きいとき、移動物体影Ｓｔが物体の識別に対して影響がないと判定する。その後、移動物体影Ｓｔの推定および除去の処理が終了し、処理部４０の処理は、ステップＳ１１０に戻る。なお、影響角度閾値Δθｃ＿ｔｈは、例えば、９０度に設定される。

また、ここで、図１６に示す事例において、前回処理周期τ（ｎ－１）に対して今回処理周期τ（ｎ）におけるＹｍ方向成分のＴＴＣが長くなる、例えば、図１８に示すように、車両９０が後退しており、物体が車両９０から離れるとする。この場合、影響角度Δθｃが比較的大きいとき、物体が車両９０に離れるが、移動物体影Ｓｔは、物体から車両９０に向かう方向に延びていることがある。このとき、移動物体影Ｓｔが障害物と誤検知される可能性が高い。したがって、この場合、処理部４０は、影響角度Δθｃが影響角度閾値Δθｃ＿ｔｈより大きいか否かを判定する。そして、処理部４０は、影響角度Δθｃが影響角度閾値Δθｃ＿ｔｈより大きいとき、移動物体影Ｓｔが物体の識別に対して影響があると判定する。その後、処理は、ステップＳ４４０に移行する。また、処理部４０は、影響角度Δθｃが影響角度閾値Δθｃ＿ｔｈ以下であるとき、移動物体影Ｓｔが物体の識別に対して影響がないと判定する。その後、移動物体影Ｓｔの推定および除去の処理が終了し、処理部４０の処理は、ステップＳ１１０に戻る。

ステップＳ４３０に続くステップＳ４４０において、処理部４０は、ステップＳ４３０にて影響があると判定した移動物体影Ｓｔを除去する。図１７の事例では、処理部４０は、図１７の紙面左側の移動物体影Ｓｔが物体の識別に対して影響があると判定するため、図１９に示すように、その移動物体影Ｓｔを除去する。また、処理部４０は、例えば、除去した移動物体影Ｓｔをその画像に映る路面の輝度値の平均に置き換える。図１８の事例では、処理部４０は、図１８の紙面左側の移動物体影Ｓｔが物体の識別に対して影響があると判定するため、図２０に示すように、その移動物体影Ｓｔを除去する。また、処理部４０は、例えば、除去した移動物体影Ｓｔをその画像に映る路面の輝度値の平均に置き換える。これにより、移動物体影Ｓｔを含む移動物体から移動物体のみが識別され、移動物体影Ｓｔが障害物であると誤検知されることが抑制される。その後、移動物体影Ｓｔの推定および除去の処理が終了し、処理部４０の処理は、ステップＳ１１０に戻る。

このようにして、処理部４０によりフロントカメラ１１、リアカメラ１２、左側カメラ１３および右側カメラ１４によって撮像された画像に映る物体が、自車影Ｓｃ、静止物体、および、移動物体のいずれであるかが識別される。また、移動物体影Ｓｔを含む移動物体から、移動物体影Ｓｔが除去されることにより、移動物体のみが識別される。

以上のように、障害物識別装置３０の処理部４０は、上記のステップＳ３２０にて、ＩｕおよびＩｖに基づいて、影境界Ｂｓを推定する。具体的には、処理部４０は、輝度勾配Ｍｃに基づいて、影境界Ｂｓを推定する。これにより、処理部４０は、比較的容易に影境界Ｂｓを推定できる。そして、処理部４０は、上記のステップＳ３３０にて、この推定した影境界Ｂｓに基づいて、自車影Ｓｃを推定する。また、処理部４０は、この推定した自車影Ｓｃの輝度値に基づいて、移動物体影Ｓｔを推定する。これにより、処理部４０は、移動物体影Ｓｔを推定できる。

また、この障害物識別装置３０では、以下［１］－［４］に説明するような効果も奏する。

［１］処理部４０は、ステップＳ４１０にて、自車影Ｓｃに対する移動物体の相対位置に基づいて、移動物体影Ｓｔを推定する。具体的には、図１４に示すように、処理部４０は、自車影Ｓｃが映る画像と同じ画像に移動物体影Ｓｔが映っているとき、自車影Ｓｃの輝度値に基づいて、移動物体影Ｓｔを推定する。また、図１５に示すように、処理部４０は、自車影Ｓｃが映る画像とは異なる画像に移動物体影Ｓｔが映っているとき、自車影Ｓｃの輝度値と、以下のパラメータとに基づいて、移動物体影Ｓｔを推定する。このパラメータは、自車影Ｓｃが映る画像の自車影Ｓｃとは異なる領域の輝度値と、移動物体影Ｓｔが映る画像の移動物体影Ｓｔとは異なる領域の輝度値と、自車影Ｓｃおよび移動物体影Ｓｔが映っていない画像の一領域の輝度値と、である。これにより、フロントカメラ１１、リアカメラ１２、左側カメラ１３および右側カメラ１４のそれぞれの画像間の輝度値のバラつきが考慮されているため、移動物体影Ｓｔの推定精度が向上する。

［２］処理部４０は、ステップＳ４２０において、自車影Ｓｃの形状、例えば、右側影長さＬｘおよび前側影長さＬｙに基づいて、自車影Ｓｃが延びる方向を推定する。また、処理部４０は、自車影Ｓｃが延びる方向に基づいて、移動物体影Ｓｔが延びる方向を推定する。さらに、処理部４０は、移動物体の移動方向と、移動物体影Ｓｔが延びる方向とに基づいて、画像に映る移動物体影Ｓｔを除去する。これにより、移動物体影Ｓｔが障害物であると誤検知することが抑制される。また、処理部４０は、ＴＴＣの変化に基づいて、画像に映る移動物体影Ｓｔを除去する。これにより、移動物体が車両９０に接近するまたは離れる場合のいずれにおいても、移動物体影Ｓｔが障害物であると誤検知することが抑制される。

［３］処理部４０は、解像度σｉ、トラッキング回数Ｎｔ、フロー長さＬｆ、エゴキャンセルフロー長Ｌｃ、フロー方向差分Δθｆおよびコーナー度Ｒｆに基づいて、ステップＳ１３０にて生成したオプティカルフローＯＰを選定する。これにより、物体が移動物体であるという信頼性が比較的高いオプティカルフローＯＰが選定される。

［４］処理部４０は、輝度勾配Ｍｃに基づいて、特徴点を抽出する。これにより、特徴点の抽出が容易になるとともに、必要な特徴点が比較的多く抽出される。

（他の実施形態）
本開示は、上記実施形態に限定されるものではなく、上記実施形態に対して、適宜変更が可能である。また、上記各実施形態において、実施形態を構成する要素は、特に必須であると明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。

本開示に記載の処理部等およびその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の処理部等およびその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の処理部等およびその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

（１）上記実施形態では、処理部４０は、ＳＡＤを演算することにより、前回処理周期τ（ｎ－１）の特徴点と今回処理周期τ（ｎ）の特徴点との類似度を推定する。これに対して、処理部４０は、ＳＡＤを演算することに限定されない。処理部４０は、この画素ブロック内の差分二乗和、すなわち、ＳＳＤを演算することによって前回処理周期τ（ｎ－１）の特徴点と今回処理周期τ（ｎ）の特徴点との類似度を推定してもよい。また、処理部４０は、この画素ブロック内の正規化相互相関、すなわち、ＮＣＣを演算することによって、前回処理周期τ（ｎ－１）の特徴点と今回処理周期τ（ｎ）の特徴点との類似度を推定してもよい。なお、ＳＳＤは、Sum of Squared Differenceの略である。ＮＣＣは、Normalized Cross Correlationの略である。

（２）上記実施形態では、フィルタ３３は、Sobelフィルタを用いて、画像のＵ方向への勾配および画像のＶ方向への勾配を演算する。これに対して、フィルタ３３は、Sobelフィルタを用いることに限定されないで、微分フィルタ、PrewittフィルタおよびRobertsフィルタ等を用いて、画像のＵ方向への勾配および画像のＶ方向への勾配を演算してもよい。

（３）上記実施形態では、処理部４０は、移動物体の移動方向と、移動物体影Ｓｔが延びる方向と、ＴＴＣの変化とに基づいて、画像に映る移動物体影Ｓｔを除去する。これに対して、処理部４０は、移動物体の移動方向と、移動物体影Ｓｔが延びる方向と、ＴＴＣの変化とに基づいて、画像に映る移動物体影Ｓｔを除去することに限定されない。例えば、処理部４０は、ステップＳ４１０にて推定した移動物体影Ｓｔの回数に基づいて、画像に映る移動物体影Ｓｔを除去してもよい。具体的には、処理部４０は、処理周期τ毎に連続して複数回以上、ステップＳ４１０にて移動物体影Ｓｔを推定したとき、その移動物体影Ｓｔを除去する。これにより、上記と同様に、移動物体影Ｓｔが障害物であると誤検知することが抑制される。

１０ 障害物識別システム
１１ フロントカメラ
１２ リアカメラ
１３ 左側カメラ
１４ 右側カメラ
３０ 障害物識別装置
４０ 処理部
９０ 車両
９１ 地平線

Claims (8)

1. 車両（９０）に搭載されるカメラ（１１、１２、１３、１４）によって撮像された画像を取得する取得部（Ｓ１１０）と、
   前記画像における画素の輝度値の一方向の勾配である第１勾配（Ｉｕ）と、前記第１勾配の方向に対して直交する方向の輝度値の勾配である第２勾配（Ｉｖ）とを演算するフィルタ（３３）と、
   前記第１勾配と前記第２勾配とに基づいて、前記車両の影である自車影（Ｓｃ）と前記車両の外側の物体との境界である影境界（Ｂｓ）を推定する境界推定部（Ｓ３２０）と、
   前記境界推定部によって推定された前記影境界に基づいて、前記自車影を推定する自車影推定部（Ｓ３３０）と、
   前記自車影推定部によって推定された前記自車影の輝度値に基づいて、前記自車影とは異なる物体の影である物体影（Ｓｔ）を推定する物体影推定部（Ｓ４１０）と、
   を備え、
   前記物体影推定部は、前記自車影に対する前記物体の相対位置に基づいて、前記物体の影を推定し、
   前記自車影が映る前記画像と同じ画像に前記物体影が映っているとき、前記自車影の輝度値に基づいて、前記物体影を推定し、
   前記自車影が映る前記画像とは異なる画像に前記物体影が映っているとき、前記自車影の輝度値と、前記自車影が映る前記画像において前記自車影とは異なる領域（Ｓｆ、Ｓｒ）の輝度値と、前記物体影が映る前記画像において前記物体影とは異なる領域（Ｓｂ）の輝度値と、に基づいて、前記物体影を推定する障害物識別装置。
2. 前記自車影推定部によって推定される前記自車影の形状（Ｌｘ、Ｌｙ）に基づいて前記自車影が延びる方向を推定する自車影方向推定部（Ｓ４２０）と、
   前記自車影が延びる方向に基づいて、前記物体影が延びる方向を推定する影方向推定部（Ｓ４２０）と、
   前記物体の移動方向と、前記物体影が延びる方向とに基づいて、前記画像に映る前記物体影を除去する影除去部（Ｓ４３０，Ｓ４４０）と、
   をさらに備える請求項１に記載の障害物識別装置。
3. 前記影除去部は、前記車両と前記物体との衝突余裕時間（ＴＴＣ）の変化に基づいて、前記画像に映る前記物体影を除去する請求項２に記載の障害物識別装置。
4. 前記境界推定部は、前記第１勾配の自乗と前記第２勾配の自乗との和の平方根（Ｍｃ）に基づいて、前記影境界を推定する請求項１ないし３のいずれか１に記載の障害物識別装置。
5. 前記フィルタは、Sobelフィルタを用いて、前記第１勾配と前記第２勾配とを演算する請求項１ないし４のいずれか１つに記載の障害物識別装置。
6. 前記画像の特徴点を抽出する抽出部（Ｓ１２０）と、
   現時点よりも前に前記取得部が取得した前記画像の前記特徴点から、現時点で前記取得部が取得した前記画像の前記特徴点への移動ベクトルであるオプティカルフロー（ＯＰ）を生成する生成部（Ｓ１３０）と、
   前記オプティカルフローの長さ（Ｌｆ）と、前記オプティカルフローの角度（θｆ）の変化である方向差分（Δθｆ）と、前記画像の解像度（σｉ）と、互いに対応する前記オプティカルフローが生成される毎に計上される回数であるトラッキング回数（Ｎｔ）と、前記第１勾配および前記第２勾配に基づく前記特徴点のコーナー度（Ｒｆ）と、前記生成部によって生成された前記オプティカルフローの長さ（Ｌｆ）から前記車両の移動距離に対応する前記オプティカルフローの長さを除去した長さであるエゴキャンセルフロー長（Ｌｃ）と、に基づいて、前記オプティカルフローを選定する選定部（Ｓ１４０）と、
   を備える請求項１ないし５のいずれか１つに記載の障害物識別装置。
7. 前記抽出部は、前記第１勾配の自乗と前記第２勾配の自乗との和の平方根（Ｍｃ）に基づいて、前記特徴点を抽出する請求項６に記載の障害物識別装置。
8. 障害物識別装置を、
   車両（９０）に搭載されるカメラ（１１、１２、１３、１４）によって撮像された画像を取得する取得部（Ｓ１１０）、
   前記画像における画素の輝度値の一方向の勾配である第１勾配（Ｉｕ）と、前記第１勾配の方向に対して直交する方向の輝度値の勾配である第２勾配（Ｉｖ）とを演算するフィルタ（３３）、
   前記第１勾配と前記第２勾配とに基づいて、前記車両の影である自車影（Ｓｃ）と前記車両の外側の物体との境界である影境界（Ｂｓ）を推定する境界推定部（Ｓ３２０）、
   前記境界推定部によって推定された前記影境界に基づいて、前記自車影を推定する自車影推定部（Ｓ３３０）、および、
   前記自車影推定部によって推定された前記自車影の輝度値に基づいて、前記自車影とは異なる物体の影である物体影（Ｓｔ）を推定する物体影推定部（Ｓ４１０）として機能させ、
   前記物体影推定部は、前記自車影に対する前記物体の相対位置に基づいて、前記物体の影を推定し、
   前記自車影が映る前記画像と同じ画像に前記物体影が映っているとき、前記自車影の輝度値に基づいて、前記物体影を推定し、
   前記自車影が映る前記画像とは異なる画像に前記物体影が映っているとき、前記自車影の輝度値と、前記自車影が映る前記画像において前記自車影とは異なる領域（Ｓｆ、Ｓｒ）の輝度値と、前記物体影が映る前記画像において前記物体影とは異なる領域（Ｓｂ）の輝度値と、に基づいて、前記物体影を推定する障害物識別プログラム。

Images