JP5695000B2

JP5695000B2 - 車両周辺監視装置

Info

Publication number: JP5695000B2
Application number: JP2012179217A
Authority: JP
Inventors: 瞬岩崎
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2012-08-13
Filing date: 2012-08-13
Publication date: 2015-04-01
Anticipated expiration: 2032-08-13
Also published as: JP2014038401A

Description

この発明は、車両の走行中、該車両に搭載された撮像部を用いて異なる時点で撮像することで得た複数の撮像画像に基づいて、前記車両の周辺に存在する対象物を検知する車両周辺監視装置に関する。

従来から、車両の走行支援等を目的として、車両外に存在する物体を検知し、あるいは物体と自車両との相対的な位置関係等を監視する技術が知られている。特に、車両の前方に搭載された車載カメラ（撮像部）を用いて撮像し、得られた撮像画像を基に物体を検知等する方法が種々提案されている。

この車載カメラは、車両のいずれかの部位に固定・設置されている。従って、例えば、車両のピッチ角（車幅方向の軸であるピッチ軸周りの車両の傾斜角）の変動に伴い、車載カメラの撮像画像内での物体の位置が変動する。そして、この変動は、車両の外部に存在する物体と自車両との相対的な位置関係等を把握する場合の誤差要因となる。

これに対し、車両のピッチ角の推定値に応じて、撮像画像から認識される物体の位置を補正することで、この位置の検出精度を向上できる。例えば、特許文献１に、車両のピッチ角を推定する手法が提案されている。

特許第３８０８２８７号公報

本発明は上記特許文献１に開示された技術的思想に関連してなされたものであり、車両の姿勢が突発的に変動した場合であっても、車両の周辺で移動する対象物の存在を正確に検知可能な車両周辺監視装置を提供することを目的とする。

本発明に係る車両周辺監視装置は、車両に搭載され、該車両の走行中に異なる時点で撮像することで複数の撮像画像を取得する撮像部と、第１撮像時点にて第１撮像画像が撮像された際の前記撮像部の位置・姿勢を基準とした、第２撮像時点にて第２撮像画像が撮像された際の前記撮像部の位置・姿勢の変化量を表す並進ベクトル及び回転行列を算出する変化量算出部と、前記変化量算出部により算出された前記並進ベクトル及び前記回転行列に基づいて、前記第１撮像画像が示す第１撮像面から前記第２撮像画像が示す第２撮像面への射影変換を表す平面射影行列を算出する変換行列算出部と、前記変換行列算出部により算出された前記平面射影行列に基づいて、前記第１撮像画像と前記第２撮像画像との間の前記車両の運動成分を相殺した画像を作成する画像作成部と、前記画像作成部により作成された少なくとも１つの前記画像に基づいて、前記車両の周辺で移動する対象物を検知する移動対象物検知部とを備え、前記変換行列算出部は、前記第１撮像画像の中に含まれる道路領域から前記第２撮像画像の中に含まれる道路領域への射影変換を表す前記平面射影行列を算出し、前記移動対象物検知部は、前記第１撮像時点及び前記第２撮像時点のうち少なくとも一方が異なる複数の前記画像に基づいて前記対象物を検知する。

このように、撮像部の位置・姿勢の変化量を表す並進ベクトル及び回転行列を算出する変化量算出部と、前記並進ベクトル及び前記回転行列から算出された平面射影行列に基づいて、第１撮像画像と第２撮像画像との間の前記車両の運動成分を相殺する画像作成部とを設けたので、車両の姿勢の変動に起因して生じる、撮像部の位置・姿勢の変化量に等しい車両の運動成分を相殺できる。これにより、車両の姿勢が突発的に変動した場合であっても、車両の周辺で移動する対象物の存在を正確に検知できる。

また、前記第１撮像画像の中に含まれる道路領域から前記第２撮像画像の中に含まれる道路領域への射影変換を表す前記平面射影行列を算出するようにしたので、道路領域上に存在する物体の検知・認識精度（運動成分の相殺効果）を高めることができる。道路領域上に存在する物体ほど車両との衝突の危険度が高いため特に好ましい。逆に、道路領域から離れた位置に存在する物体については、対象物として正しく検知できなくなるため、煩わしい過警報等を抑制することができる。

さらに、前記画像作成部は、前記画像として差分画像を作成することが好ましい。このように、画像差分法を適用することで、他の画像処理手法と比べて演算処理量を大幅に低減できる。

この発明に係る車両周辺開始装置は、車両に搭載され、該車両の走行中に異なる時点で撮像することで複数の撮像画像を取得する撮像部と、第１撮像時点にて第１撮像画像が撮像された際の前記撮像部の位置・姿勢を基準とした、第２撮像時点にて第２撮像画像が撮像された際の前記撮像部の位置・姿勢の変化量を表す並進ベクトル及び回転行列を算出する変化量算出部と、前記変化量算出部により算出された前記並進ベクトル及び前記回転行列に基づいて、前記第１撮像画像が示す第１撮像面から前記第２撮像画像が示す第２撮像面への射影変換を表す平面射影行列を算出する変換行列算出部と、前記変換行列算出部により算出された前記平面射影行列に基づいて、前記第１撮像画像と前記第２撮像画像との間の前記車両の運動成分を相殺した画像を作成する画像作成部と、前記画像作成部により作成された少なくとも１つの前記画像に基づいて、前記車両の周辺で移動する対象物を検知する移動対象物検知部とを備え、前記変換行列算出部は、前記第１撮像画像の中に含まれる道路領域から前記第２撮像画像の中に含まれる道路領域への射影変換を表す前記平面射影行列を算出し、前記画像作成部は、前記対象物を含む第１関心領域を前記第１撮像画像の中から抽出し、前記対象物を含む第２関心領域を前記第２撮像画像の中から抽出した後、前記第１関心領域と前記第２関心領域との間の前記画像を作成する。

さらに、前記画像作成部は、前記第１関心領域の位置を特定する第１基準位置に対して前記平面射影行列に基づく正射影変換を施した位置を、前記第２関心領域の位置を特定する第２基準位置として前記画像を作成することが好ましい。

また、前記画像作成部は、前記第２関心領域の位置を特定する第２基準位置に対して前記平面射影行列に基づく逆射影変換を施した位置を、前記第１関心領域の位置を特定する第１基準位置として前記画像を作成することが好ましい。

さらに、前記画像作成部は、前記第１撮像画像に対して前記平面射影行列に基づく正射影変換を施した撮像画像と前記第２撮像画像との間の前記画像、及び、前記第２撮像画像に前記平面射影行列に基づく逆射影変換を施した撮像画像と前記第１撮像画像との間の前記画像のうちいずれか一方を作成することが好ましい。これにより、撮像部の位置・姿勢の変化に伴う、撮像画像上での対象物の形態の変化をも考慮に入れて画像を作成することができる。

本発明に係る車両周辺監視装置によれば、撮像部の位置・姿勢の変化量を表す並進ベクトル及び回転行列を算出する変化量算出部と、前記並進ベクトル及び前記回転行列から算出された平面射影行列に基づいて、第１撮像画像と第２撮像画像との間の前記車両の運動成分を相殺する画像作成部とを設けたので、車両の姿勢の変動に起因して生じる、撮像部の位置・姿勢の変化量に等しい車両の運動成分を相殺できる。これにより、車両の姿勢が突発的に変動した場合であっても、車両の周辺で移動する対象物の存在を正確に検知できる。
特に、前記第１撮像画像の中に含まれる道路領域から前記第２撮像画像の中に含まれる道路領域への射影変換を表す前記平面射影行列を算出するようにしたので、道路領域上に存在する物体の検知・認識精度（運動成分の相殺効果）を高めることができる。道路領域上に存在する物体ほど車両との衝突の危険度が高いため特に好ましい。逆に、道路領域から離れた位置に存在する物体については、対象物として正しく検知できなくなるため、煩わしい過警報等を抑制することができる。

本実施の形態に係る車両周辺監視装置の構成を示すブロック図である。図１に示す車両周辺監視装置が搭載された車両の概略斜視図である。図１に示すＥＣＵの動作説明に供されるフローチャートである。図４Ａ及び図４Ｂは、カメラを用いた撮像により取得された撮像画像の例示図である。図５Ａは、カメラ、人体及び路面の幾何学的な位置関係を表す概略説明図である。図５Ｂは、第１撮像時点におけるカメラ及び路面の幾何学的な位置関係を表す概略説明図である。図６Ａは、第１撮像画像における歩行者の抽出例を示す概略説明図である。図６Ｂは、カメラの位置・姿勢の変化を考慮しない場合における、第２撮像画像内の関心領域の設定方法についての概略説明図である。図７Ａ及び図７Ｂは、カメラの位置・姿勢の変化を考慮した場合における、第２撮像画像内の関心領域の設定方法についての概略説明図である。図８Ａ及び図８Ｂは、各撮像領域における歩行者の位置及び高さに関する概略説明図である。差分画像の作成方法に関する概略説明図である。差分画像及び動き検出画像の作成方法の一例を示す概略ブロック図である。図１１Ａ及び図１１Ｂは、本検知処理により得られる作用効果を説明するための概略説明図である。

以下、本発明に係る車両周辺監視装置について好適な実施形態を挙げ、添付の図面を参照しながら説明する。

図１は、本実施の形態に係る車両周辺監視装置１０の構成を示すブロック図である。図２は、図１に示す車両周辺監視装置１０が搭載された車両１２の概略斜視図である。

図１及び図２に示すように、車両周辺監視装置１０は、複数のカラーチャンネルからなるカラー画像（以下、撮像画像という。）を撮像するカラーカメラ（以下、単に「カメラ１４」という。）と、車両１２の車速Ｖｓを検出する車速センサ１６と、車両１２のヨーレートＹｒを検出するヨーレートセンサ１８と、運転者によるブレーキペダルの操作量Ｂｒを検出するブレーキセンサ２０と、この車両周辺監視装置１０を制御する電子制御装置（以下、「ＥＣＵ２２」という。）と、音声で警報等を発するためのスピーカ２４と、カメラ１４から出力された撮像画像等を表示する表示装置２６とを備える。

カメラ１４は、主に可視光領域の波長を有する光を利用するカメラであり、車両１２の周辺を撮像する撮像手段として機能する。カメラ１４は、被写体の表面を反射する光量が多いほど、その出力信号レベルが高くなり、画像の輝度（例えば、ＲＧＢ値）が増加する特性を有する。図２に示すように、カメラ１４は、車両１２の前部バンパー部の略中心部に固定的に配置（搭載）されている。

なお、車両１２の周囲を撮像する撮像手段は、上記した構成例（いわゆる単眼カメラ）に限られることなく、例えば複眼カメラ（ステレオカメラ）であってもよい。また、カラーカメラに代替して赤外線カメラを用いてもよく、或いは両方を併せ備えてもよい。さらに、単眼カメラの場合、別の測距手段（レーダ装置）を併せて備えてもよい。

図１に戻って、スピーカ２４は、ＥＣＵ２２からの指令に応じて、警報音等の出力を行う。スピーカ２４は、車両１２の図示しないダッシュボードに設けられる。あるいは、スピーカ２４に代替して、他の装置（例えば、オーディオ装置又はナビゲーション装置）が備える音声出力機能を用いてもよい。

表示装置２６（図１及び図２参照）は、車両１２のフロントウインドシールド上、運転者の前方視界を妨げない位置に配されたＨＵＤ（ヘッドアップディスプレイ）である。表示装置２６として、ＨＵＤに限らず、車両１２に搭載されたナビゲーションシステムの地図等を表示するディスプレイや、メータユニット内等に設けられた燃費等を表示するディスプレイ（ＭＩＤ；マルチインフォメーションディスプレイ）を利用することができる。

ＥＣＵ２２は、入出力部２８、演算部３０、表示制御部３２、及び記憶部３４を基本的に備える。

カメラ１４、車速センサ１６、ヨーレートセンサ１８及びブレーキセンサ２０からの各信号は、入出力部２８を介してＥＣＵ２２側に入力される。また、ＥＣＵ２２からの各信号は、入出力部２８を介してスピーカ２４及び表示装置２６側に出力される。入出力部２８は、入力されたアナログ信号をデジタル信号に変換する図示しないＡ／Ｄ変換回路を備える。

演算部３０は、カメラ１４、車速センサ１６、ヨーレートセンサ１８及びブレーキセンサ２０からの各信号に基づく演算を実行し、演算結果に基づきスピーカ２４及び表示装置２６に対する信号を生成する。演算部３０は、対象物抽出部４０、平面パラメータ推定部４２、変化量算出部４４、変換行列算出部４６、差分画像作成部４８（車両運動成分相殺手段、画像作成部）、移動対象物検知部５０及び動き検出部５２として機能する。各部の機能は、記憶部３４に記憶されているプログラムを読み出して実行することにより実現される。或いは、前記プログラムは、図示しない無線通信装置（携帯電話機、スマートフォン等）を介して外部から供給されてもよい。

表示制御部３２は、表示装置２６を駆動制御する制御回路である。表示制御部３２が、入出力部２８を介して、表示制御に供される信号を表示装置２６に出力することで、表示装置２６が駆動する。これにより、表示装置２６は各種画像（撮像画像、マーク等）を表示することができる。

記憶部３４は、デジタル信号に変換された撮像信号、各種演算処理に供される一時データ等を記憶するＲＡＭ（Random Access Memory）、及び実行プログラム、テーブル又はマップ等を記憶するＲＯＭ（Read Only Memory）等で構成される。

本実施の形態に係る車両周辺監視装置１０は、基本的には、以上のように構成される。この車両周辺監視装置１０の動作の概要について以下説明する。

ＥＣＵ２２は、所定のフレームクロック間隔・周期（例えば、１秒あたり３０フレーム）毎に、カメラ１４から出力されるアナログの映像信号をデジタル信号に変換し、記憶部３４に一時的に取り込む。そして、ＥＣＵ２２は、記憶部３４から読み出した撮像画像（車両１２の前方画像）に対して各種演算処理を施す。

ＥＣＵ２２（特に演算部３０）は、撮像画像に対する処理結果、必要に応じて車両１２の走行状態を示す各信号（車速Ｖｓ、ヨーレートＹｒ及び操作量Ｂｒ）を総合的に考慮し、車両１２の前方に存在する歩行者、動物等を、監視対象となる物体（以下、「監視対象物」あるいは単に「対象物」という。）として検出する。

車両１２が監視対象物に接触する可能性が高いと演算部３０により判断された場合、ＥＣＵ２２は、運転者の注意を喚起するために車両周辺監視装置１０の各出力部を制御する。ＥＣＵ２２は、例えば、スピーカ２４を介して警報音（例えば、ピッ、ピッ、…と鳴る音）を出力させるともに、表示装置２６上に可視化された撮像画像のうちその監視対象物の部位を強調表示させる。

続いて、車両周辺監視装置１０の詳細な動作について、図３のフローチャートを参照しながら説明する。なお、本処理の流れは、車両１２が走行中である場合、撮像のフレーム毎に実行される。

ステップＳ１において、ＥＣＵ２２は、フレーム毎に、カメラ１４により撮像された車両１２の前方（所定画角範囲）の出力信号である撮像画像を取得する。

図４Ａに示すように、第１撮像時点Ｔ１において、第１フレームの撮像画像（以下、第１撮像画像Ｉａという。）が得られたとする。そして、ＥＣＵ２２は、取得した第１撮像画像Ｉａを記憶部３４に一時的に記憶させる。例えば、カメラ１４としてＲＧＢカメラを用いる場合、得られた撮像画像は、３つのカラーチャンネルからなる多階調画像である。

ステップＳ２において、演算部３０は、２つ以上の撮像画像を既に取得したか否かを判別する。取得されたと判別された場合（ステップＳ２：ＹＥＳ）、後述するステップＳ５に進む。一方、取得されていないと判別された場合（ステップＳ２：ＮＯ）、次のステップ（Ｓ３）に進む。

ステップＳ３において、対象物抽出部４０は、ステップＳ１で取得された第１撮像画像Ｉａの中から対象物を抽出する。この抽出の際、静止画像に適用可能な公知の画像認識手法（パターンマッチング等を含む。）を種々用いてもよい。また、対象物抽出部４０は、上記した処理と併せて、それぞれ抽出された各対象物の存在を特定するための位置（以下、基準位置という。）を決定しておき、記憶部３４に一時的に記憶させておく。

図４Ａ例では、第１撮像画像Ｉａにおいて、車両１２が走行する道路領域（以下、単に「道路６０ａ」）、道路６０ａに沿って略等間隔に設置された複数の電柱領域（以下、単に「電柱６２ａ」）、道路６０ａ上に存在する歩行者領域（以下、単に「歩行者６４ａ」）がそれぞれ存在する。例えば、対象物抽出部４０は、道路６０ａ及び歩行者６４ａをそれぞれ抽出したとする。

ステップＳ４において、ＥＣＵ２２は、フレーム間隔時間だけ待機した後、第２撮像時点Ｔ２において次の撮像動作（ステップＳ１）に移行する。

図４Ｂに示すように、第２フレームの撮像画像（以下、第２撮像画像Ｉｂという。）が得られたとする。第２撮像画像Ｉｂにおいて、第１撮像画像Ｉａの場合と同様に、道路領域（以下、道路６０ｂ）、複数の電柱領域（以下、電柱６２ｂ）、及び歩行者領域（以下、歩行者６４ｂ）がそれぞれ存在する。ところが、フレーム間隔時間が経過するにつれて、カメラ１４及び各対象物の間の相対的位置関係が時々刻々と変化する。これにより、第１撮像画像Ｉａ及び第２撮像画像Ｉｂが同一の画角範囲であっても、各対象物は、それぞれ異なる形態（形状、大きさ又は色彩）で画像化される。

再度のステップＳ２において、演算部３０は、２つ以上の撮像画像が取得されたと判別し（ステップＳ２：ＹＥＳ）、次のステップ（Ｓ５）に進む。

ステップＳ５において、平面パラメータ推定部４２は、ステップＳ３で検知された道路６０ａ（実在の路面）を表現する平面パラメータを推定する。ここで、平面パラメータの推定には、公知の画像処理手法を種々用いることができる。

図５Ａに示すように、平面パラメータとしての法線ベクトル↑ｎ、及び距離ｄによって、カメラ１４及び実在の路面（以下、単に路面Ｓという。）の間の幾何学的位置関係が特定される。ここで、法線ベクトル↑ｎは、路面Ｓの法線方向に沿った単位ベクトルである。また、距離ｄは、第１撮像画像Ｉａが撮像されたときのカメラ１４の光学中心Ｃ及び路面Ｓの間の距離である。

ところで、路面Ｓは、通常、車両１２の車幅方向と略平行であるので、カメラ１４による撮像画像の横方向（カメラ座標系のＸ軸方向）に略平行である。このため、第１カメラ座標系上における法線ベクトル↑ｎは、カメラ１４の光軸Ｌｃに対する路面Ｓの傾き角度θを用いて、↑ｎ＝[０，ｃｏｓθ，ｓｉｎθ]^Ｔと表記される。

ステップＳ６において、変化量算出部４４は、カメラ１４の位置・姿勢の変化量を算出する。具体的には、変化量算出部４４は、第１撮像画像Ｉａが撮像されたときのカメラ１４の位置・姿勢を基準とした、第２撮像画像Ｉｂが撮像されたときのカメラ１４の位置・姿勢の変化量をそれぞれ算出する。ここで、変化量算出部４４は、早い撮像時点（Ｔ１）を基準とした、遅い撮像時点（Ｔ２）での変化量を算出しているが、その逆であってもよい。すなわち、変化量算出部４４は、遅い撮像時点（Ｔ２）を基準とした、早い撮像時点（Ｔ１）での変化量を算出してもよい。

変化量算出部４４は、ＳｆＭ（Structure from Motion）等による公知の手法を用いて、第１撮像画像Ｉａ及び第２撮像画像Ｉｂから、カメラ１４の空間的な位置の変化量（具体的には、並進ベクトル↑ｔ）を算出する。図５Ｂに示すように、並進ベクトル↑ｔは、第１撮像時点Ｔ１でのカメラ１４の基準点を始点とし、第２撮像時点Ｔ２でのカメラ１４の基準点を終点とするベクトルである。基準点は、カメラ１４に対して固定された点であり、例えばカメラ１４の光学中心Ｃに相当する。

また、変化量算出部４４は、第１撮像画像Ｉａ及び第２撮像画像Ｉｂから、カメラ１４の空間的な姿勢の変化量（具体的には、回転行列Ｒ）を算出する。図５Ｂに示すように、回転行列Ｒは、第１撮像時点Ｔ１でのカメラ座標系の原点を、第２撮像時点Ｔ２でのカメラ座標系の原点に一致させた場合、両方のカメラ座標系の間の座標変換（３軸周りの回転変換）を表現する行列である。なお、カメラ座標系は、カメラ１４に対して固定された座標系、本図例のように、基準点（光学中心Ｃ）を原点としてカメラ１４に対して固定された座標系（３軸座標系）である。本実施の形態では、このカメラ座標系は、カメラ１４の光軸方向をＺ軸方向、カメラ１４の横方向（車幅方向）をＸ軸方向、カメラ１４の縦方向（Ｚ軸方向及びＸ軸方向に直交する方向）をＹ軸方向とする３軸座標系である。

並進ベクトル↑ｔ及び回転行列Ｒを算出する際、具体的には、第１撮像画像Ｉａ及び第２撮像画像Ｉｂの間のオプティカルフロー推定をＳｆＭに適用した手法（例えば、「Structure from Motion without Correspondence」／Frank Dellaert, Steven M.Seitz, Charles E.Thorpe, Sebastian Thrun／Computer Sience Department & Robotics Institute Canegie Mellon University, Pittsborgh PA 15213 を参照）等を用いてもよい。また、並進ベクトル↑ｔ及び回転行列Ｒを算出するために、３つ以上の撮像画像を使用してもよい。

ステップＳ７において、変換行列算出部４６は、ステップＳ５で推定された平面パラメータ、並びに、ステップＳ６でそれぞれ算出された並進ベクトル↑ｔ及び回転行列Ｒを用いて、平面射影行列Ｈ（ホモグラフィ行列）を算出する。ここで、平面射影行列Ｈは、第１撮像面（図５Ｂ参照）から第２撮像面（同図参照）への平面射影変換を表す２次元行列である。

変換行列算出部４６は、公知の手法・任意の拘束条件の組み合わせで平面射影行列Ｈを算出してもよい。本実施の形態において、平面射影行列Ｈは、第１撮像画像Ｉａの中に含まれる道路６０ａから、第２撮像画像Ｉｂの中に含まれる道路６０ｂへの射影変換を表す行列に相当する。

この場合、第１撮像画像Ｉａ内の投影点Ｐ１の位置ベクトル↑Ｐ１と、第２撮像画像Ｉｂ内の投影点Ｐ２の位置ベクトル↑Ｐ２との間の関係は、平面射影変換によって対応付けられる。具体的に、この平面射影変換を施すための平面射影行列Ｈは、上記した並進ベクトル↑ｔ、回転行列Ｒ、路面Ｓの平面パラメータ（↑ｎ、ｄ）を用いて、次の（１）式により与えられる。
Ｈ＝Ｒ^Ｔ−Ｒ^Ｔ・↑ｔ・(↑ｎ／ｄ)^Ｔ …（１）

そして、位置ベクトル↑Ｐ２は、位置ベクトル↑Ｐ１及び平面射影行列Ｈを用いて、以下の（２）式で与えられる。なお、ｋは、正の比例定数である。
↑Ｐ２＝ｋ・Ｈ・↑Ｐ１ …（２）

従って、（２）式に（１）式の平面射影行列Ｈを代入することで、位置ベクトル↑Ｐ２は次の（３）式で表される。
↑Ｐ２＝ｋ・（Ｒ^Ｔ−Ｒ^Ｔ・↑ｔ・(↑ｎ／ｄ)^Ｔ）・↑Ｐ１ …（３）

ステップＳ８において、差分画像作成部４８は、ステップＳ７で算出された平面射影行列Ｈを用いて、第１撮像画像Ｉａ及び第２撮像画像Ｉｂの間の差分画像Ｄを作成する。差分画像Ｄの作成に先立ち、差分画像作成部４８は、第１撮像画像Ｉａの中から、人体Ｍ（図５Ｂ参照）に対応する歩行者６４ａを含む画像領域（以下、第１関心領域という。）を設定する。また、差分画像作成部４８は、第２撮像画像Ｉｂの中から、人体Ｍ（図５Ｂ参照）に対応する歩行者６４ｂを含む画像領域（以下、第２関心領域という。）を設定する。

図６Ａは、第１撮像画像Ｉａにおける歩行者６４ａの抽出例を示す概略説明図である。上述したステップＳ３において、対象物抽出部４０は、道路６０ａ及び歩行者６４ａの接触位置（すなわち、道路６０ａと歩行者６４ａとの接触点）を、第１基準位置７０として決定したとする。例えば、差分画像作成部４８は、第１基準位置７０を目印として、予め定めた規則に従って矩形状の第１関心領域７２を設定したとする。そうすると、本図に示すように、第１撮像画像Ｉａにおいて、破線で図示する歩行者６４ａをすべて含むように第１関心領域７２が設定されている。

ところが、図６Ｂに示すように、第２撮像画像Ｉｂに対して図６Ａと同一位置及び同一サイズの関心領域（第１関心領域７２）を設定した場合、歩行者６４ｂの両足の先端部を抽出できなくなる。これは、車両１２の姿勢が突発的に変動（例えば、ピッチング）することで、歩行者６４ａ、６４ｂの間の予期しない変位に追従できないからである。この結果、得られた差分画像Ｄに基づいて、歩行者６４ａ、６４ｂの存在又は状態を正確に把握できない場合がある。

そこで、本実施の形態では、既に算出された平面射影行例Ｈを用いて、カメラ１４の位置・姿勢の変化量を相殺した差分画像Ｄを作成する。ここで、差分画像作成部４８は、平面射影行例Ｈを用いて、第１撮像画像Ｉａにおける各対象物（具体的には、歩行者６４ａ）の第１基準位置７０を、第２撮像画像Ｉｂにおける各対象物（具体的には、歩行者６４ｂ）の第２基準位置７４に変換する。

差分画像作成部４８は、上記した（３）式に従って、第１撮像画像Ｉａに応じた第１基準位置７０を、第２撮像画像Ｉｂに応じた第２基準位置７４に変換する。そして、差分画像作成部４８は、第２基準位置７４を目印として、位置変化による見え方の変化や対象の移動成分等を考慮した上で、図６Ａと同様の規則に従って矩形状の第２関心領域７６を設定する。

その結果、図７Ｂに示すように、第２撮像画像Ｉｂにおいて、歩行者６４ｂをすべて含むように第２関心領域７６が設定することが可能になる。これにより、車両１２の姿勢が突発的に変動した場合であっても、得られた差分画像Ｄからの歩行者６４ａ（６４ｂ）の検知精度が向上する。

なお、第１撮像画像Ｉａに応じた第１基準位置７０を、第２撮像画像Ｉｂに応じた第２基準位置７４に変換するのみならず、その逆変換、すなわち逆射影変換を施してもよい。この場合、第２撮像画像Ｉｂ内の第２基準位置７４が既知であることを前提とする。第２撮像画像Ｉｂ内の投影点Ｐ２の位置ベクトル↑Ｐ２と、第１撮像画像Ｉａ内の投影点Ｐ１の位置ベクトル↑Ｐ１との間の関係は、（２）式を変形することで、次の（４）式で与えられる。
↑Ｐ１＝（１／ｋ）・Ｈ^−１・↑Ｐ２ …（４）

従って、（４）式に（１）式の平面射影行列Ｈを代入することで、位置ベクトル↑Ｐ１は次の（５）式で表される。ここで、「−１」の添字は、逆行列を表している。
↑Ｐ１＝（１／ｋ）・（Ｒ^Ｔ−Ｒ^Ｔ・↑ｔ・(↑ｎ／ｄ)^Ｔ）^−１・↑Ｐ２ …（５）

また、差分画像作成部４８は、第１撮像画像Ｉａ及び第２撮像画像Ｉｂのうちいずれか一方の撮像画像（全部又は一部）を、平面射影行列Ｈに従ってマッピング（第１撮像画像Ｉａの場合は正射影変換、第２撮像画像Ｉｂの場合は逆射影変換）した上で、画像の差分処理を施してもよい。これにより、カメラ１４の位置・姿勢の変化に伴う、画像上での対象物（歩行者６４ａ、６４ｂ）の形態の変化をも考慮に入れて差分画像Ｄを作成することができる。

そして、差分画像作成部４８は、差分処理に供される第１関心領域７２、第２関心領域７６のそれぞれの大きさを正規化する。これにより、第１関心領域７２に応じた第１正規化画像、及び、第２関心領域７６に応じた第２正規化画像がそれぞれ作成される。

図９に示すように、第１正規化画像８０ａが示す歩行者６４ａの高さは、第２正規化画像８０ｂが示す歩行者６４ｂの高さに略一致する。同じサイズである第１正規化画像８０ａ及び第２正規化画像８０ｂに対して差分演算を施すことで、両者の差異領域が画像化された差分画像Ｄが得られる。なお、差異領域の検出精度を向上させるため、差分演算の前に、第１正規化画像８０ａ及び第２正規化画像８０ｂの相対的な位置関係を調整することが好ましい。本図例では、差異領域として、歩行者６４ｂの両手８４及び両足８６がそれぞれ抽出される。

このように、差分画像作成部４８は、平面射影行列Ｈに基づいて、第１撮像画像Ｉａと第２撮像画像Ｉｂとの間の、カメラ１４の位置・姿勢（すなわち、車両１２の運動成分）を相殺する車両運動成分相殺手段の一形態である。相殺演算が施される対象は撮像画像に限られることなく、撮像画像の中から抽出されるオブジェクト、特徴量等であってもよい。

ステップＳ９において、移動対象物検知部５０は、ステップＳ８で作成された少なくとも１つの差分画像Ｄに基づいて、車両１２の周辺で移動する対象物をそれぞれ検知する。ここで、複数（２以上）の差分画像Ｄを用いる場合、第１撮像時点Ｔ１及び第２撮像時点Ｔ２のうち少なくとも一方が異なっている必要がある。例えば、移動対象物検知部５０は、図９の差分画像Ｄ内の抽出成分（両手８４及び両足８６）の特徴から、路面Ｓ上の所定位置に人体Ｍが存在することを検知する。

ステップＳ１０において、動き検出部５２は、ステップＳ９で検知された各対象物の動きを検出する。例えば、動き検出部５２は、車両１２と人体Ｍとの間の距離及び各フレーム間での歩行者６４ａ、６４ｂの変位量から、人体Ｍの移動量及び移動方向を推定してもよい。また、動き検出部５２は、図９の差分画像Ｄ内の抽出成分（両手８４及び両足８６）の特徴から、人体Ｍが歩行中であることを検出してもよい。

ステップＳ１１において、対象物抽出部４０は、抽出対象（監視対象）としての各対象物を更新する。例えば、対象物抽出部４０は、カメラ１４の撮像領域内に新たに進入した対象物を追加するとともに、前記撮像領域の外に進出した対象物を除外する。また、第１正規化画像８０ａ、第２正規化画像８０ｂ間の一致性が所定の閾値よりも低いと判断された場合、その対象物を監視下から除外してもよい。

ステップＳ１２において、対象物抽出部４０は、ステップＳ１０で更新された各対象物の基準位置を更新する。図８Ａ及び図８Ｂに示す歩行者６４ａ（人体Ｍ）の例では、対象物抽出部４０は、人体Ｍに応じた基準位置を、第１基準位置７０から第２基準位置７４に更新・設定する。

ステップＳ１３において、ＥＣＵ２２は、次回の演算処理に必要なデータを記憶部３４に記憶させる。例えば、ステップＳ８で作成された差分画像Ｄや、ステップＳ１１で更新された抽出対象の属性、ステップＳ１２で更新された基準位置等が挙げられる。

このように、ＥＣＵ２２は、撮像のフレーム毎に、ステップＳ１〜Ｓ１３に従って動作する。上記では、第１フレーム及び第２フレームの関係下での差分処理について説明したが、第ｎフレーム（ｎは自然数）に拡張した場合の動作について、図１０を参照しながら説明する。ここでは、第ｎフレーム目の撮像画像をＩ（ｎ）と表記する。

図１０に示すように、第（ｎ＋１）フレームにおいて、現時点での撮像画像Ｉ（ｎ＋１）を取得した後、変換行列算出部４６は、直近の撮像画像Ｉ（ｎ）から現時点での撮像画像Ｉ（ｎ＋１）にマッピングする平面射影行列Ｈ（ｎ）を作成する。そして、差分画像作成部４８は、撮像画像Ｉ（ｎ）に対して平面射影行列Ｈ（ｎ）に基づく正射影変換を施した撮像画像と、撮像画像Ｉ（ｎ＋１）との間の差分画像Ｄ（ｎ＋１）を作成する。ところで、その１つ前のフレームである第ｎフレームにおいて、上記と同様にして、差分画像作成部４８は、差分画像Ｄ（ｎ）を既に作成している。

その後、移動対象物検知部５０は、２つの差分画像Ｄ（ｎ＋１）、Ｄ（ｎ）に対して所定の演算、例えばＡＮＤ演算を行うことで、動き検出画像Ｉｍ（ｎ）を作成する。動き検出画像Ｉｍ（ｎ）を参照することで、３つのフレーム間｛第（ｎ−１）、第ｎ、及び第（ｎ＋１）フレーム｝で移動している対象物の存在を検出することができる。あわせて、動き検出部５２は、差分画像Ｄ（ｎ）、動き検出画像Ｉｍ（ｎ）を作成する過程で得られた画像情報や位置情報に基づいて、各対象物の動きをそれぞれ検出する。

この動作を遂次実行することで、車両周辺監視装置１０は、所定の時間間隔で、車両１２の前方に存在する対象物（例えば、図５Ｂの人体Ｍ）を監視することができる。ところで、本実施の形態に係る検知処理（以下、本検知処理）を適用することで、カメラ１４の位置・姿勢の変化量を相殺する効果の他、対象物の検出精度に関する別の作用効果も得られる。以下、その効果について、図１１Ａ及び図１１Ｂを参照しながら説明する。

上述した（１）式に示す平面射影行列Ｈは、路面Ｓ上に存在する各投影点の射影変換を表す行列である。すなわち、平面射影行列Ｈは、路面Ｓ上に存在する対象物の位置・姿勢を補正するのに適した行列である。一方、平面射影行列Ｈは、路面Ｓから３次元的（車幅方向、奥行き方向及び高さ方向）に離れた対象物の位置・姿勢を補正するのに必ずしも適していない。つまり、平面射影行列Ｈによる位置変換精度は、路面Ｓに近い対象物ほど高くなり、路面Ｓから遠い対象物ほど低くなるという特徴がある。

図１１Ａは、第１撮像画像Ｉａの中の第１関心領域１００の射影変換例を表す概略説明図である。監視対象でない物体に属する交通標識（図示しない。）は、長尺のポールの先端部に円状の標識板が固定されてなり、路面Ｓ（図５Ｂ参照）の側に立設されている。そして、第１関心領域１００の右下部には、上記標識板の一面に記されたマーク１０２が存在する。

ここで、図６Ａ〜図７Ｂで説明したように、差分画像作成部４８は、第１関心領域１００を特定する第１基準位置１０４に対して平面射影行列Ｈに基づく正射影変換を施すことで、第２基準位置１０６及び第２関心領域１０８を得る。ところが、第２撮像画像Ｉｂの中の第２関心領域１０８の右下隅には、マーク１０２の形状と異なるマーク１１０が存在する。なぜならば、標識板は、基準面である路面Ｓに対して遥か上方に位置し、第１撮像画像Ｉａ内におけるマーク１０２近傍での位置変換精度が高くないからである。

その結果、移動対象物検知部５０及び動き検出部５２は、撮像のフレーム間で、標識板（マーク１０２、１１０）が大きく変動したものと検知する。そして、対象物抽出部４０は、検出異常であるとして、この標識板を抽出対象（監視対象）から除外することができる。このように、本検知処理を遂次実行することで、別異の処理を行うことなく、通常の画像認識処理の際に誤検出し易い物体（例えば、標識・看板等）を監視対象物から除外することができる。

図１１Ｂは、第１撮像画像Ｉａの別の例示図である。第１撮像画像Ｉａには、車両１２が走行する道路領域（以下、単に「道路１１２」）、道路１１２を横切る陸橋領域（以下、単に「陸橋１１４」）、道路１１２上に存在する歩行者領域（以下、単に「道路歩行者１１６」）、陸橋１１４上に存在する歩行者領域（以下、単に「陸橋歩行者１１８」）がそれぞれ存在する。

図１１Ａ例の場合と同様に考察すると、道路１１２上の地点１２０に近い道路歩行者１１６に関し、平面射影行列Ｈを用いて、フレーム間での位置変化を正確に求めることができる。これにより、移動対象物検知部５０は、車両１２の運動成分を相殺した画像を利用して、対象物としての道路歩行者１１６を正しく検知することができる。

一方、道路１１２上の地点１２２から遠い陸橋歩行者１１８に関し、平面射影行列Ｈを用いて、フレーム間での位置変化を正確に求めることができない。これにより、移動対象物検知部５０は、陸橋歩行者１１８を対象物から除外することができる。

このように、本検知処理を用いることで、道路１１２上に存在する物体（道路歩行者１１６）の検知・認識精度を向上することができる。これは、道路１１２上に存在する物体ほど車両１２との衝突の危険度が高いため特に好ましい。逆に、車両１２との衝突の危険度が低い物体、すなわち道路１１２から離れた位置に存在する物体（陸橋歩行者１１８）については、対象物として正しく検知できなくなるため、煩わしい過警報等を抑制することができる。

ところで、本検知処理は、通常想定される動作範囲内において効果的に機能する。しかし、本検知処理によって各対象物の検知精度が十分に確保できない場合もある。そこで、演算部３０は、複数の検知処理（本検知処理を含む。）を実行可能であり、撮像画像を取得した都度に本検知処理の適性を判別した上で、実行する検知処理を１つ選択してもよい。

第１の適性として、撮像画像の中から道路領域を抽出可能であるか否かを考慮してもよい。本検知処理を適用するために、第１撮像画像Ｉａ内の道路６０ａ（図５Ｂの路面Ｓ）をフレーム毎に抽出する必要があるからである。例えば、自己の車両１２のすぐ前方に他の車両が存在する等、カメラ１４の撮像視野から道路６０ａが遮られる場合、平面パラメータを高精度に推定できなくなり、各対象物の検知精度が低下する可能性が高い。演算部３０は、この状態を検出する際、エピポール、フロー（動きベクトル）等に関する位置情報を利用してもよい。

第２の適性として、平面射影行列Ｈの算出精度を十分に確保できるか否かを考慮してもよい。例えば、自己の車両１２の走行速度が極めて低い場合、平面射影行列Ｈの算出誤差が生じ易くなり、各対象物の検知精度が低下する可能性が高い。そこで、演算部３０は、車速センサ１６から取得した車速Ｖｓが所定の閾値を上回るか否かで判別してもよい。

以上のように、本発明に係る車両周辺監視装置１０は、車両１２に搭載され、車両１２の走行中に異なる撮像時点Ｔ１、Ｔ２で撮像することで複数の撮像画像Ｉａ、Ｉｂを取得するカメラ１４と、第１撮像時点Ｔ１にて第１撮像画像Ｉａが撮像された際のカメラ１４の位置・姿勢を基準とした、第２撮像時点Ｔ２にて第２撮像画像Ｉｂが撮像された際のカメラ１４の位置・姿勢の変化量を表す並進ベクトル↑ｔ及び回転行列Ｒを算出する変化量算出部４４と、並進ベクトル↑ｔ及び回転行列Ｒに基づいて、第１撮像画像Ｉａが示す第１撮像面から第２撮像画像Ｉｂが示す第２撮像面への射影変換を表す平面射影行列Ｈを算出する変換行列算出部４６と、平面射影行列Ｈに基づいて、第１撮像画像Ｉａと第２撮像画像Ｉｂとの間の車両１２の運動成分を相殺した差分画像Ｄを作成する差分画像作成部４８と、少なくとも１つの差分画像Ｄに基づいて、車両１２の周辺で移動する対象物（例えば、人体Ｍ）を検知する移動対象物検知部５０とを備える。

このように、カメラ１４の位置・姿勢の変化量を表す並進ベクトル↑ｔ及び回転行列Ｒを算出する変化量算出部４４と、並進ベクトル↑ｔ及び回転行列Ｒから算出された平面射影行列Ｈに基づいて、第１撮像画像Ｉａと第２撮像画像Ｉｂとの間の車両１２の運動成分を相殺する車両運動成分相殺手段（例えば、差分画像作成部４８）とを設けたので、車両１２の姿勢の変動に起因して生じる、カメラ１４の位置・姿勢の変化量に等しい車両１２の運動成分を相殺できる。これにより、車両１２の姿勢が突発的に変動した場合であっても、車両１２の周辺で移動する対象物（人体Ｍ）の存在を正確に検知できる。

ここで、カメラ１４の位置・姿勢の変化量（車両１２の運動成分）を相殺した画像は、差分画像Ｄに限られず、勾配法・ブロックマッチング法等を用いて得たオプティカルフローを示す画像であってもよい。特に、画像差分法を適用することで、他の画像処理手法と比べて演算処理量を大幅に低減できる。

なお、この発明は、上述した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。

本実施の形態では、単眼カメラ（カメラ１４）により得られた撮像画像に対して上記した画像を作成しているが、複眼カメラ（ステレオカメラ）でも同様の作用効果が得られることは言うまでもない。

１０…車両周辺監視装置１２…車両
１４…カメラ２２…ＥＣＵ
２８…入出力部３０…演算部
３４…記憶部４０…対象物抽出部
４２…平面パラメータ推定部４４…変化量算出部
４６…変換行列算出部４８…差分画像作成部
５０…移動対象物検知部５２…動き検出部
６０ａ、６０ｂ、１１２…道路６４ａ、６４ｂ…歩行者
７０、１０４…第１基準位置７２、１００…第１関心領域
７４、１０６…第２基準位置７６、１０８…第２関心領域
１１６…道路歩行者１１８…陸橋歩行者
Ｉａ…第１撮像画像Ｉｂ…第２撮像画像
Ｉ（ｎ−１）、Ｉ（ｎ）、Ｉ（ｎ＋１）…撮像画像
Ｈ…平面射影行列 ↑ｔ…並進ベクトル
Ｍ…人体Ｒ…回転行列
Ｓ…路面

Claims

車両に搭載され、該車両の走行中に異なる時点で撮像することで複数の撮像画像を取得する撮像部と、
第１撮像時点にて第１撮像画像が撮像された際の前記撮像部の位置・姿勢を基準とした、第２撮像時点にて第２撮像画像が撮像された際の前記撮像部の位置・姿勢の変化量を表す並進ベクトル及び回転行列を算出する変化量算出部と、
前記変化量算出部により算出された前記並進ベクトル及び前記回転行列に基づいて、前記第１撮像画像が示す第１撮像面から前記第２撮像画像が示す第２撮像面への射影変換を表す平面射影行列を算出する変換行列算出部と、
前記変換行列算出部により算出された前記平面射影行列に基づいて、前記第１撮像画像と前記第２撮像画像との間の前記車両の運動成分を相殺した画像を作成する画像作成部と、
前記画像作成部により作成された少なくとも１つの前記画像に基づいて、前記車両の周辺で移動する対象物を検知する移動対象物検知部と
を備え、
前記変換行列算出部は、前記第１撮像画像の中に含まれる道路領域から前記第２撮像画像の中に含まれる道路領域への射影変換を表す前記平面射影行列を算出し、
前記移動対象物検知部は、前記第１撮像時点及び前記第２撮像時点のうち少なくとも一方が異なる複数の前記画像に基づいて前記対象物を検知する
ことを特徴とする車両周辺監視装置。
請求項１記載の車両周辺監視装置であって、
前記画像作成部は、前記画像として差分画像を作成する
ことを特徴とする車両周辺監視装置。
車両に搭載され、該車両の走行中に異なる時点で撮像することで複数の撮像画像を取得する撮像部と、
第１撮像時点にて第１撮像画像が撮像された際の前記撮像部の位置・姿勢を基準とした、第２撮像時点にて第２撮像画像が撮像された際の前記撮像部の位置・姿勢の変化量を表す並進ベクトル及び回転行列を算出する変化量算出部と、
前記変化量算出部により算出された前記並進ベクトル及び前記回転行列に基づいて、前記第１撮像画像が示す第１撮像面から前記第２撮像画像が示す第２撮像面への射影変換を表す平面射影行列を算出する変換行列算出部と、
前記変換行列算出部により算出された前記平面射影行列に基づいて、前記第１撮像画像と前記第２撮像画像との間の前記車両の運動成分を相殺した画像を作成する画像作成部と、
前記画像作成部により作成された少なくとも１つの前記画像に基づいて、前記車両の周辺で移動する対象物を検知する移動対象物検知部と
を備え、
前記変換行列算出部は、前記第１撮像画像の中に含まれる道路領域から前記第２撮像画像の中に含まれる道路領域への射影変換を表す前記平面射影行列を算出し、
前記画像作成部は、前記対象物を含む第１関心領域を前記第１撮像画像の中から抽出し、前記対象物を含む第２関心領域を前記第２撮像画像の中から抽出した後、前記第１関心領域と前記第２関心領域との間の前記画像を作成する
ことを特徴とする車両周辺監視装置。
請求項３記載の車両周辺監視装置において、
前記画像作成部は、前記第１関心領域の位置を特定する第１基準位置に対して前記平面射影行列に基づく正射影変換を施した位置を、前記第２関心領域の位置を特定する第２基準位置として前記画像を作成する
ことを特徴とする車両周辺監視装置。
請求項３記載の車両周辺監視装置において、
前記画像作成部は、前記第２関心領域の位置を特定する第２基準位置に対して前記平面射影行列に基づく逆射影変換を施した位置を、前記第１関心領域の位置を特定する第１基準位置として前記画像を作成する
ことを特徴とする車両周辺監視装置。
請求項１〜５のいずれか１項に記載の車両周辺監視装置において、
前記画像作成部は、前記第１撮像画像に対して前記平面射影行列に基づく正射影変換を施した撮像画像と前記第２撮像画像との間の前記画像、及び、前記第２撮像画像に前記平面射影行列に基づく逆射影変換を施した撮像画像と前記第１撮像画像との間の前記画像のうちいずれか一方を作成することを特徴とする車両周辺監視装置。