JP2004056763A

JP2004056763A - 監視装置、監視方法および監視用プログラム

Info

Publication number: JP2004056763A
Application number: JP2003130008A
Authority: JP
Inventors: Satoshi Sato; 佐藤　智; Masamichi Nakagawa; 中川　雅通; Kazuo Nobori; 登　一生
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-05-09
Filing date: 2003-05-08
Publication date: 2004-02-19
Anticipated expiration: 2023-05-08
Also published as: JP3776094B2

Abstract

【課題】オプティカルフローを用いて接近物を検出する車両用監視装置において、たとえカーブ走行中であっても、接近物を精度良く検出可能にする。
【解決手段】オプティカルフロー検出部１２は、カメラ１１によって撮影された画像からオプティカルフローＶｉを求める。背景フロー推定部１５は、自車動き推定部１３によって推定された当該車両の動きと、空間モデル推定部１４によって推定された、カメラ１１が撮影している空間をモデル化した空間モデルとを基にして、背景と仮定した場合のカメラ画像のフローである背景フローＶｄｉを求める。接近物検出部１６はオプティカルフローＶｉと背景フローＶｄｉとを比較し、当該車両の周囲にある物体の動きを検出する。
【選択図】　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラを用いて車両の周囲の状況を監視し、接近する物体を検出する車両用監視技術に関する。
【０００２】
【従来の技術】
従来から、車両の周囲の状況を監視し、接近する物体を検出する車両用監視装置について、様々なアプローチが行われてきた。
【０００３】
その一つに、レーダー等の障害物センサを用いたものがある。ところがこの手法は、障害物を確実に検出できるものの、その障害物が近づいているのか遠ざかっているのかといった複雑な判断には不向きである。また、降雨などの影響も大きく、検出範囲も比較的狭いので、障害物センサ単独で接近物を検出するのは困難だった。
【０００４】
一方、カメラ画像を用いたアプローチも行われている。この手法によると、現状ではレーダーほどの信頼性は得られないが、デジタル化された画像情報の加工が容易であることから、障害物が近づいているのか遠ざかっているのかといった複雑な判断が可能である。また、検出範囲がカメラの画角と分解能によって決定されるため、非常に広い領域を監視することができる。
【０００５】
カメラ画像を用いた手法としては、複数のカメラ画像を用いるステレオ法と、オプティカルフローを用いる方法とが広く知られている。ステレオ法は、カメラ間の視差を利用する方法であるが、カメラ同士のキャリブレーションが複雑である、複数のカメラを用いる必要があるためコストがかかる、といった問題点がある。
【０００６】
オプティカルフローを用いた車両用監視装置は、例えば、特許文献１（第１の従来例）に開示されている。すなわち、カメラを車両後方に向けて設置し、水平方向に分割した複数の領域を画面内に設定し、それぞれの領域内で、所定の閾値以上の大きさを持ち、かつ、接近物を仮定したときの画像上の動きと同一の方向を持つオプティカルフローを抽出する。そして、このオプティカルフローに基づいて、接近物を判別する。
【０００７】
また、カーブ走行中における対応については、すでにいくつかの方法が提案されている。
【０００８】
例えば、特許文献２（第２の従来例）では、車両の舵角および走行速度から旋回ベクトルを求め、この旋回ベクトルを、実際に求まったオプティカルフローから引くことによって、オプティカルフローを補正する。そして、この補正によりカーブの影響を除いた後に、移動物体を抽出する。
【０００９】
また、特許文献３（第３の従来例）では、オプティカルフローを、車速センサおよびヨーレートセンサの出力と、予め測定した画像位置と距離との対応関係とによって補正し、カーブの影響を除いた後、移動物体を抽出する。
【００１０】
また、画像内の無限遠点（ＦＯＥ）を利用した手法（例えば特許文献４参照）が、オプティカルフローを用いた接近物検出において広く用いられているが、この手法をカーブ走行に対応させた方法についてもいくつか提案されている。
【００１１】
例えば、特許文献５（第４の従来例）では、ＦＯＥの移動量に相当する量によってオプティカルフローを補正する。
【００１２】
また、特許文献６（第５の従来例）では、画面を複数に分割し、白線決定手段によって求められた白線情報に基づいて仮想ＦＯＥを求める。
【００１３】
また、特許文献７（第６の従来例）では、カーブの影響を受けないオプティカルフローを用いた接近物検出の手法が開示されている。この手法では、カメラの運動パラメータから理論的に計算された移動ベクトルＶｄｉと、画像から検出された移動ベクトルＶｉとの差異εｉ^２を、画像から検出された移動ベクトルの信頼性を表すベクトルｒ１ｉ，ｒ２ｉを用いて、次式によって計算し、その差異の値を用いて移動している物体を検出する。
εｉ^２＝（（Ｖｄｉ−Ｖｉ）・ｒ１ｉ）^２＋（（Ｖｄｉ−Ｖｉ）・ｒ２ｉ）^２
【００１４】
【特許文献１】
特許第３０１１５６６号公報
【特許文献２】
特開２０００−１６８４４２号公報
【特許文献３】
特開平６−２８２６５５号公報
【特許文献４】
特開平７−５０７６９号公報
【特許文献５】
特開２０００−２５１１９９号公報
【特許文献６】
特開２０００−９０２４３号公報
【特許文献７】
特許第２８８２１３６号公報
【００１５】
【発明が解決しようとする課題】
ところが、上述の従来技術では、次のような問題がある。
【００１６】
まず、第１の従来例では、自車が直進していることを仮定しており、カーブでの利用は難しい。すなわち、「接近物を仮定したときの画像上の動きの方向」を利用して接近物を検出しているが、この「動きの方向」は、カーブを走行中の場合には一様には求まらない。この点について、図３４を用いて説明する。
【００１７】
カメラが後方を向いているとすると、車両がカーブを走行中の場合には、図３４（ａ）のような画像が撮影される。第１の従来例では、図３４（ａ）に示すように、水平方向に領域Ｌと領域Ｒとを分割して設定する。ここで、図３４（ｂ）に示すように、領域Ｌ内の領域ＡＲ１に接近車が存在する場合を仮定すると、「仮定された接近車の動きの方向」は図の矢印のように右下を向く。一方、同じ領域Ｌ内にあるが、領域ＡＲ１とは垂直方向における位置が異なる領域ＡＲ２においては、「仮定された接近車の動きの方向」は図の矢印のように左下を向き、領域ＡＲ１における動きの向きとは全く異なってしまう。このように、車両がカーブを走行中の場合には、同じ領域Ｌ内においても、その位置によって「仮定された接近車の動きの方向」は一様ではなくなり、したがって、接近車の検出が困難になる。
【００１８】
また、車両が直線道路を走行中の場合でも、画面の上部と下部とでは、オプティカルフローの大きさは著しく異なる。すなわち、画面上部では、自車から遠く離れた領域が映っているので、検出されるオプティカルフローは非常に小さい。これに対して、画面下部では、自車に非常に近い領域が映っているので、検出されるオプティカルフローは相対的に非常に大きい。
【００１９】
このため、画面の上部と下部について、同一の閾値を用いて処理を行うと、接近車の検出精度が劣化する可能性が高い。例えば、画面上部の小さなフローを基準に閾値を定めたとき、閾値は非常に小さな値になるので、この閾値によって画面下部における処理を行うと、ノイズが出やすくなる。一方、画面下部の大きなフローを基準に閾値を定めた場合、閾値は非常に大きな値になるので、この閾値によって画面上部における処理を行うと、ほとんどのオプティカルフローが閾値よりも小さくなり、接近物は検出できなくなってしまう。
【００２０】
さらに、第１の従来例では、所定値以上の大きさを持つオプティカルフローのみを用いて、接近車を検出している。このため、自車とほぼ等速度で走る並走車については、オプティカルフローの大きさがほぼ０になるので、検出することができない。
【００２１】
また、第２の従来例については、自車の旋回によって生じる旋回ベクトルは、その旋回ベクトルに係る対象点のカメラからの３次元相対位置によって、その大きさおよび向きが異なる。このため、カメラ画像上での点と実世界３次元上での点との対応関係が求まっていないと、旋回ベクトルを推定することができない。
【００２２】
この点を、図３５を用いて説明する。図３５はカメラ２で撮影されたカメラ画像と実世界上の３次元座標の関係を示したものである。カメラ画像の水平方向にＸｉ軸、垂直方向にＹｉ軸をとり、実世界座標系のＸｗ，Ｙｗ，Ｚｗ軸も図３５に示すようにとる。つまり、平面Ｘｗ−Ｚｗは路面と平行な平面であり、Ｘｗ方向は自車両の左右方向、Ｙｗ方向は路面に対して垂直方向、Ｚｗ方向は自車両の前後方向とする。また、カメラの焦点位置を原点、カメラの光軸方向をＺｃ軸としたカメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）を定める。もちろん、これらの軸方向はこれに限ったものではない。これらの座標系は、透視投影変換である（数１）と、座標変換である（数２）の関係をもつ。
【数１】

【数２】

【００２３】
ただし、ｆはカメラの焦点距離、ｒはカメラの内部パラメータと、カメラの設置位置すなわち実世界座標系におけるカメラ座標系の位置関係とによって定まる定数であり、既知である。この関係式から、カメラ画像上の任意の点に対応する実世界の３次元座標は、カメラの焦点位置を通るある直線上にのることは分かるものの、それ以上の情報を得ることはできないので、その位置を一意に決定することはできない。
【００２４】
すなわち、図３６に示すように、実世界座標系からカメラ画像上の点への変換は透視投影変換（数１）および座標変換（数２）を用いることによって可能であるが、逆に、カメラ画像上の点から実世界座標系への変換は、これらの関係式のみでは不可能である。第２の従来例における旋回ベクトルは、カメラ座標系のそれぞれの点について求めなければならないが、図３６に示したように他に条件がなければ、この変換は不可能である。
【００２５】
第３の従来例についても、第２の従来例と同様に、画像位置と距離との対応関係の求め方には触れられておらず、このままでは実現できない。
【００２６】
また、第４の従来例については、ＦＯＥは直進時のみしか存在せず、カーブではそもそも存在しないものであるので、ＦＯＥを用いてオプティカルフローを補正すると、直進を近似できないような急激なカーブでは誤差が非常に大きくなり、実用的ではない。
【００２７】
また、第５の従来例については、当然のことながら、白線がない道路を走行する場合には利用できない。
【００２８】
また、第６の従来例については、画像内では移動物体でないものが支配的であることを仮定しており、トラックのような大きな移動物体がカメラの近傍に存在する場合には、検出に失敗するという問題がある。
【００２９】
前記の問題に鑑み、本発明は、オプティカルフローを用いて接近物を検出する車両用監視装置において、たとえカーブ走行中であっても、接近物を精度良く検出可能にすることを課題とする。
【００３０】
【課題を解決するための手段】
前記の課題を解決するために、本発明は、車両の周囲を映すカメラを用いて、前記カメラによって撮影された画像からオプティカルフローを求め、当該車両の動きを基にして、背景と仮定した場合の前記画像のオプティカルフローである背景フローを求め、前記オプティカルフローと前記背景フローとを比較し、当該車両の周囲にある物体の動きを検出するものである。
【００３１】
この発明によると、背景フローはカメラ画像を背景と仮定した場合のオプティカルフローであるので、この背景フローとカメラ画像から実際に求められたオプティカルフローとを比較することによって、車両周囲にある物体の動きを、精度良く検出することができる。また、たとえ車両がカーブ走行中であっても、画像上のそれぞれの点における背景フローとオプティカルフローとの比較によって検出を行うため、接近物を正確に検出することができる。また、画像から求めたオプティカルフローの大きさが小さくなってしまうような並走車や遠方の接近物についても、そのオプティカルフローは、画像上のその点における背景フローとは大きく異なるため、容易に検出可能である。
【００３２】
【発明の実施の形態】
本発明の第１態様によれば、車両の周囲を映すカメラを用いた監視装置として、前記カメラによって撮影された画像からオプティカルフローを求め、当該車両の動きを基にして、背景と仮定した場合の前記画像のオプティカルフローである背景フローを求め、前記オプティカルフローと前記背景フローとを比較し、当該車両の周囲にある物体の動きを検出するものを提供する。
【００３３】
本発明の第２態様によれば、前記背景フローを、前記カメラが撮影している空間をモデル化した空間モデルを用いて求める第１態様の監視装置を提供する。
【００３４】
本発明の第３態様によれば、前記空間モデルは、前記カメラが撮影している各物体の距離データに基づいて生成された第２態様の監視装置を提供する。
【００３５】
本発明の第４態様によれば、前記距離データは、当該車両に設けられた障害物センサによって測定された第３態様の監視装置を提供する。
【００３６】
本発明の第５態様によれば、前記空間モデルは、少なくとも、走行路面をモデル化した路面モデルを含む第２態様の監視装置を提供する。
【００３７】
本発明の第６態様によれば、前記空間モデルは、少なくとも、走行路面に対して垂直な壁面を仮定した壁面モデルを含む第２態様の監視装置を提供する。
【００３８】
本発明の第７態様によれば、前記壁面は、車両の後側方にあると仮定された第６態様の監視装置を提供する。
【００３９】
本発明の第８態様によれば、オプティカルフローと背景フローとの比較の際に、前記オプティカルフローの大きさが所定値よりも大きいか否かを判定し、所定値よりも大きいときは、角度差を用いて比較を行う一方、そうでないときは、角度差を用いないで比較を行う第１態様の監視装置を提供する。
【００４０】
本発明の第９態様によれば、前記所定値は、画像上の当該位置における背景フローの大きさに応じて設定されている第８態様の監視装置を提供する。
【００４１】
本発明の第１０態様によれば、オプティカルフローと背景フローとの比較によって、前記オプティカルフローの中から接近物候補フローを特定し、近傍にある前記接近物候補フローを関連付けることによって接近物候補領域を生成し、前記接近物候補領域の面積が所定値よりも小さいとき、この接近物候補領域に係る接近物候補フローはノイズであると判断する第１態様の監視装置を提供する。
【００４２】
本発明の第１１態様によれば、車両の周囲を映すカメラを用いた監視装置として、前記カメラによって撮影された画像からオプティカルフローを求め、前記オプティカルフローと、当該車両の動きと、前記カメラが撮影している空間をモデル化した空間モデルとを基にして、前記画像上の点の実世界座標上における動きである空間フローを求め、前記空間フローを基にして当該車両の周囲にある物体の動きを検出するものを提供する。
【００４３】
本発明の第１２態様によれば、監視方法として、車両の周囲を映すカメラによって撮影された画像から、オプティカルフローを求め、前記車両の動きを基にして、背景と仮定した場合の前記画像のオプティカルフローである背景フローを求め、前記オプティカルフローと前記背景フローとを比較し、前記車両の周囲にある物体の動きを検出するものを提供する。
【００４４】
本発明の第１３態様によれば、前記車両に設けられた車速センサおよび舵角センサの出力を用いて、前記車両の動きを推定する第１２態様の監視方法を提供する。
【００４５】
本発明の第１４態様によれば、監視用プログラムとして、コンピュータに、車両の周囲を映すカメラによって撮影された画像について、オプティカルフローを得る手順と、前記車両の動きを基にして、背景と仮定した場合の前記画像のオプティカルフローである背景フローを求める手順と、前記オプティカルフローと前記背景フローとを比較し、当該車両の周囲にある物体の動きを検出する手順とを実行させるものを提供する。
【００４６】
以下、本発明の実施の形態について、図面を参照して説明する。
【００４７】
（第１の実施形態）
本発明の第１の実施形態では、次のようにして、車両周囲の監視を行う。まず、車両の周囲を映すカメラからの画像を用いて、オプティカルフローを求める。次に、カメラ画像上の点と実世界３次元座標との対応を「空間モデル」として推定する。図３７に示すように、この空間モデルに透視投影変換を用いることによって、カメラ画像上の点と実世界３次元座標とを正確に対応付けることができる。そしてこの空間モデルと、推定された自車動き情報とを用いて、画像上の各点が移動物体ではなく背景であった場合を仮定したオプティカルフローを計算によって求める。このようにして求めたオプティカルフローを「背景フロー」と呼ぶ。この背景フローと、画像から実際に求めたオプティカルフローとを比較することによって、接近物を検出する。
【００４８】
すなわち、背景フローは、カメラ画像上の点と実世界３次元座標との対応を正確に考慮して計算されたものであるので、本実施形態によると、従来例と比べて、車両周囲にある物体の動きを精度良く検出することができる。また、カーブ走行中であっても、画像上のそれぞれの点における背景フローとオプティカルフローとの比較によって検出を行うため、接近物を正確に検出することができる。また、画像から求めたオプティカルフローの大きさが小さくなってしまうような並走車や遠方の接近物についても、そのオプティカルフローは、その点における背景フローとは大きく異なるため、本実施形態では容易に検出可能になる。
【００４９】
図１は本実施形態に係る車両用監視装置の基本構成を概念的に示すブロック図である。本実施形態に係る車両用監視装置は、車両の周囲を映すカメラ１１を用いて、当該車両の周囲にある物体の動きを検出する。具体的には図１に示すように、基本構成として、カメラ１１によって撮像された画像からオプティカルフローＶｉを算出するオプティカルフロー検出部１２と、当該車両の動きを検出する自車動き検出部１３と、カメラ１１が撮影している空間のモデルを推定する空間モデル推定部１４と、自車動きと空間モデルとに基づいて背景フローＶｄｉを推定する背景フロー推定部１５と、オプティカルフローＶｉと背景フローＶｄｉとを比較することによって、接近物を検出する接近物検出部１６とを備えている。
【００５０】
カメラ１１は、典型的には自車両に設置されており、当該車両の周囲の状況をセンシングする。また、道路上や信号機、建物などのインフラに取り付けられたカメラや周辺車両に取り付けられたカメラを、自車に設置されたカメラと併せて、または単独で、用いてもよい。これは、見通しの悪い交差点など、自車からは接近車が見えにくい状況などにおいて、有効である。
【００５１】
＜オプティカルフロー検出＞
オプティカルフロー検出部１２は、カメラ１１によって撮影された時間的に異なる２枚の画像から、画像上における見かけの動きを示すベクトル、すなわち「オプティカルフロー」を検出する。オプティカルフローの検出には、画像の時空間微分の拘束方程式を用いる勾配法と、テンプレートマッチングを利用するブロックマッチング法とが広く知られている（「ダイナミックシーンの理解」浅田稔著、電子情報通信学会）。ここではブロックマッチング法を用いるものとする。
【００５２】
ブロックマッチング法は、一般的には全探索を行うので、膨大な処理時間を必要とする。このため、画像の階層化という手法が、処理時間の削減のために広く用いられている（「３次元ビジョン」除剛、辻三郎共著、共立出版）。すなわち、与えられた画像から、縦横それぞれ１／２，１／４，１／８，…に圧縮した階層化画像をつくる。この画像の階層化によって、分解能が高い（サイズが大きい）画像では遠く離れた２点も、分解能が低い（サイズが小さい）画像では近くなる。そこでまず、分解能が低い画像についてテンプレートマッチングを行い、その結果求まったオプティカルフローの近傍のみで、次に分解能が高い画像についてテンプレートマッチングを行う。このような処理を繰り返すことによって、最終的に、分解能が高い原画像でのオプティカルフローを求めることができる。しかも、局所的な探索ですむので、処理時間を大幅に削減することができる。
【００５３】
＜自車動き推定＞
自車動き推定部１３は、自車の左右両車輪の回転速度とハンドルの舵角とを求め、これによって、自車の動きを推定する。この推定方法を図２および図３を用いて説明する。なお、ここでは、タイヤの横滑りが生じないと近似したいわゆるアッカーマンモデル（２輪モデル）を用いた。
【００５４】
図２はアッカーマンステアリングのモデルを示す図である。タイヤの横滑りがないと仮定した場合、ステアリングを切ると、車両は後輪３ｂ軸の延長線上の点Ｏを中心に旋回する。後輪３ｂ中央の回転半径Ｒｓは、前輪３ａの切れ角βおよびホイールベースｌを用いて（数３）のように表される。
【数３】

【００５５】
図３は２次元上の車両の動きについて示したものである。図３に示すように、後輪３ｂの中央がＣｔ　からＣｔ＋１　に動いたとすると、その移動量ｈは、左右の車輪速Ｖｌ，Ｖｒ、または、後輪３ｂ中央の回転半径Ｒｓおよび移動回転角γを用いて（数４）のように表される。
【数４】

（数３）および（数４）より、移動回転角γは（数５）のように表される。
【数５】

したがって、車両の平面に対する回転量αは（数６）で表される。
【数６】

【００５６】
またＣｔ　からＣｔ＋１　への移動ベクトルＴは、車両進行方向にＸ軸、垂直方向にＹ軸をとると、（数７）で表される。
【数７】

（数６）および（数７）より、車両の左右車輪速Ｖｌ，Ｖｒおよびハンドル舵角βが分かれば、車両の動きが推定できる。
【００５７】
もちろん、車輪速とハンドルの舵角情報だけでなく、車速センサ、ヨーレートセンサを用いて直接、車両の動きを求めてもよい。さらには、ＧＰＳや地図情報を用いて車両の動きを求めてもよい。
【００５８】
＜空間モデル推定＞
空間モデル推定部１４は、カメラが撮影している空間をモデル化した空間モデルを推定する。空間モデルは上述したように、カメラ画像上の点と実世界３次元座標との対応関係を求めるために用いられる。すなわち、カメラ画像上の任意の点は、（数１）および（数２）を用いることによって、カメラの焦点位置を通る実世界空間上のある直線に対応付けることができる。この実世界空間上の直線と、推定した空間モデルとの交点を求めることによって、カメラ画像上の任意の点を実世界の３次元座標に射影することができる。
【００５９】
ここでは、カメラ１１が撮影している各物体の距離データに基づいて、空間モデルを生成するものとする。この距離データの測定は、例えば、両眼視、モーションステレオ法を利用したり、レーザ、超音波、赤外線、ミリ波などを用いた障害物センサが車両に設けられている場合には、これを利用したりすることによって実行できる。
【００６０】
また、建物等のインフラに固定されたカメラを用いる場合には、カメラに映る建物等の形状はきわめてまれにしか変化しないので、カメラが撮影している空間の３次元情報は既知である。この場合は、空間モデルを推定する必要はなく、カメラごとに既知の空間モデルを予め定めておけばよい。
【００６１】
さらに、カメラが車両に設置されている場合であっても、ＧＰＳ等を用いてその位置を正確に知ることができるので、現在位置を詳細な地図データと照合することによって、空間モデルを推定することも可能である。例えば、車両がトンネルを走行中であることがＧＰＳと地図データから分かったとすると、そのトンネルの高さや長さ等の形状情報から空間モデルを生成できる。このような形状情報は、地図データに予め持たせておいてもよいし、トンネルなどのインフラ側に保持させておき、通信によって得られるようにしてもよい。例えば、トンネルの形状情報を、トンネル入口等に設けたＤＳＲＣ等の通信手段によって、トンネルに入ろうとする車両に送信する。もちろん、このような方法はトンネルに限ったものではなく、一般道、高速道路、住宅地または駐車場等において用いることも可能である。
【００６２】
＜背景フロー推定＞
背景フロー推定部１５は、空間モデルに対応する点が動いていない、すなわち、移動物体でなく背景であると仮定した場合の画像の動き（オプティカルフロー）を、背景フローとして検出する。
【００６３】
図４は背景フロー推定部１５の動作を示すフローチャートであり、図５は車両１がカーブなどで旋回している状況を想定した概念図である。図５ではカメラ２が車両１に設置されているので、カメラ２の動きと車両１の動きとは等しい。また、５はカメラ２に映された背景物体である。
【００６４】
まず、時刻ｔ−１において撮影されたカメラ画像上の任意の点（ＰｒｅＸｉ，ＰｒｅＹｉ　）を、空間モデル推定部１４によって推定された空間モデルを用いて、実世界３次元座標（Ｘｗ，Ｙｗ，Ｚｗ）に射影する（Ｓ１１）。このとき、（数１）に示す透視投影変換式と（数２）に示す座標変換式とを用いる。なお、（数２）における実世界座標系でのカメラの焦点位置は、時刻ｔ−１におけるカメラ２の焦点位置である。
【００６５】
次に、自車動き推定部１３によって推定された時刻ｔ−１から時刻ｔまでの車両１の移動量ｈを基にして、時刻ｔにおける実世界での自車位置、すなわち実世界座標系におけるカメラ２の焦点位置を求める（ステップＳ１２）。そして、この実世界座標系におけるカメラ２の焦点位置に基づき、（数２）の各定数ｒを変更する（ステップＳ１３）。この処理を繰り返すことによって、（数２）における実世界座標系におけるカメラの焦点位置は、更新され続け、常に正確な位置を示すことになる。
【００６６】
さらに、（数１）と更新した（数２）とを用いて、ステップＳ１１で求めた実世界座標（Ｘｗ，Ｙｗ，Ｚｗ）をカメラ画像上の点（ＮｅｘｔＸｉ，ＮｅｘｔＹｉ）に再射影する（ステップＳ１４）。このようにして求めたカメラ座標（ＮｅｘｔＸｉ，ＮｅｘｔＹｉ）は、時刻ｔ−１でのカメラ画像上の点（ＰｒｅＸｉ，ＰｒｅＹｉ　）が、時刻ｔ−１から時刻ｔまでの間に動いていない背景物体５の一点であると仮定した場合の、時刻ｔでのカメラ画像上の位置を示している。そこで、時刻ｔ−１におけるカメラ画像上での点（ＰｒｅＸｉ，ＰｒｅＹｉ　）が背景の一部であると仮定した場合の背景フローとして、（ＮｅｘｔＸｉ−ＰｒｅＸｉ，ＮｅｘｔＹｉ−ＰｒｅＹｉ　）を求める（ステップＳ１５）。
【００６７】
なお、ここでは説明を簡単にするために、車両がカーブする場合を例にとって説明したが、直進時や駐車時などであっても、同様の方法によって、背景フローを求めることができる。
【００６８】
＜接近物検出＞
図６は接近物検出部１６の構成を概念的に示すブロック図である。図６において、フロー比較部１６ａはオプティカルフロー検出部１２によってカメラ画像から実際に求められたオプティカルフローＶｉと、背景フロー検出部１５によって求められた背景フローＶｄｉとを比較し、接近物候補フローを検出する。そしてノイズ除去部１６ｂはフロー比較部１６ａによって求められた接近物候補フローからノイズを除去し、接近物のフローのみを検出する。
【００６９】
図７はフロー比較部１６ａの動作を示すフローチャートである。ここで、オプティカルフローＶｉと背景フローＶｄｉとの比較は、原則として、その角度差を用いて行う。ところが、オプティカルフローＶｉの大きさが小さいときは、その方向情報の信頼性が低いため、判別精度が保てなくなる。例えば、自車とほぼ等速度で並走している他車両に係るオプティカルフローＶｉは、大きさは非常に小さく、かつ、その方向は撮影タイミングに応じて自車を向いたり反対方向を向いたりして、刻々と変化する。そこで本実施形態では、オプティカルフローＶｉの大きさが所定値よりも小さいときは、角度差を用いないで、別の比較基準（Ｓ４３）を用いることによって、判別の信頼性を上げている。
【００７０】
具体的にはまず、オプティカルフローＶｉの大きさを調べる（Ｓ４１）。オプティカルフローＶｉが十分な大きさを有するとき（所定値ＴＨ_Ｖｉよりも大きい場合）、オプティカルフローＶｉは方向情報について十分な信頼性を持っていると考えられるので、背景フローＶｄｉとの比較を角度差を用いて行う（Ｓ４２）。すなわち、オプティカルフローＶｉと背景フローＶｄｉとの角度差の絶対値が所定値Ｔｈ_Ａｒｇ以上のとき、そのオプティカルフローＶｉは背景フローＶｄｉとは異なるものと考えられるので、接近物のフローと判別する（Ｓ４４）。また角度差の絶対値が十分に小さいとき（Ｓ４２でＮｏ）、そのオプティカルフローＶｉは背景フローＶｄｉに近いので、接近物のフローではないと判別する（Ｓ４５）。なお、閾値ＴＨ_Ｖｉは０．１［Ｐｉｘｅｌ］程度、閾値ＴＨ_Ａｒｇはπ／２程度であるのが好ましい。ここで、ステップＳ４１でＹＥＳと判断されたときに、角度情報のみを用い、大きさ情報を用いないのは、自車から離れていく移動物体を接近物と判別しないようにするためである。もちろん、フローのベクトル差の絶対値を判別基準として用いてもかまわない。
【００７１】
また、オプティカルフローＶｉが十分な大きさを有しないとき（Ｓ４１でＮｏ）、背景フローとの比較を角度差を用いて行うことはできない。そこで、この場合はフローの大きさに着目する。すなわち、オプティカルフローＶｉと背景フローＶｄｉとのベクトル差の絶対値が所定値ＴＨ_Ｖｄｉ以上であるか否かを判定し（Ｓ４３）、所定値ＴＨ_Ｖｄｉ以上のときは接近物のフローと判別し（Ｓ４４）、そうでないときは接近物のフローではないと判別する（Ｓ４５）。オプティカルフローＶｉの大きさが小さく、かつ、それが接近物である状況としては、
１．　接近物が自車とほぼ等速度で並走している
２．　接近車が遠方を走っている
の２つが考えられるが、いずれの状況においても背景フローＶｄｉは正確に求められるので、高精度の接近物判別ができる。なお、閾値ＴＨ_Ｖｄｉは０．１［Ｐｉｘｅｌ］程度であるのが好ましい。
【００７２】
また、ステップＳ４３において、オプティカルフローＶｉの大きさが十分小さいことに着目して、オプティカルフローＶｉと背景フローＶｄｉとのベクトル差の絶対値ではなく、背景フローＶｄｉの大きさのみを所定値と比較するようにしてもよい。この場合、背景フローＶｄｉが十分大きいときは、接近物フローであると判別し、十分小さければ接近物のフローではないと判別すればよい。
【００７３】
また、ここでのフロー比較で用いた閾値ＴＨ_Ｖｉ，ＴＨ_Ａｒｇ，ＴＨ_Ｖｄｉは、画像上の位置の関数として設定してもよい。例えば、背景フローＶｄｉが小さい位置では閾値ＴＨ_Ｖｉ，ＴＨ_Ｖｄｉを小さくし、背景フローＶｄｉが大きい位置では閾値ＴＨ_Ｖｉ，ＴＨ_Ｖｄｉを大きくする。これにより、ノイズの影響を抑えつつ、かつ、遠方においても正確な判別を行うことができる。
【００７４】
図８はノイズ除去部１６ｂの動作を示すフローチャートである。フロー比較部１６ａによって接近物フローと検出されたものの中にはノイズが含まれているので、これらをすべて接近物であると検出してしまうと、検出精度の劣化をまねいてしまう。そこで、ノイズ除去部１６ｂは、ノイズや接近物のモデル化を行い、そのモデルをフロー比較部１６ａによって検出された接近物フロー（接近物候補フロー）と比較することによって、接近物のみを検出する。
【００７５】
まず、接近物候補フローがノイズである場合、時間的にも空間的にも、連続しては検出されないはずである。ところが、接近物候補フローがノイズでなく実際の接近物に係るものである場合は、接近物はある程度の大きさを有するため、類似の接近物候補フローが、空間的に、接近物の大きさ分の領域を占めるはずである。
【００７６】
そこで、近傍にある接近物候補フローを関連付け、関連付けた接近物候補フローに係る領域同士を連結し、連結された領域を接近物候補領域Ａｉとする（Ｓ５１）。そしてその接近物候補領域Ａｉの面積Ｓｉを求め（Ｓ５２）、この面積Ｓｉを所定値ＴＨ_Ｓｉと比較する（Ｓ５３）。ここで、接近物候補領域Ａｉがカメラから離れているときは所定値ＴＨ_Ｓｉを小さく設定する一方、接近物候補領域Ａｉがカメラに近いときは所定値ＴＨ_Ｓｉを大きく設定する。面積Ｓｉが所定値ＴＨ_Ｓｉよりも小さいとき（Ｓ５３でＮｏ）は、領域Ａｉはノイズであると判断する（Ｓ５４）。一方、面積Ｓｉが所定値ＴＨ_Ｓｉ以上のときはステップＳ５５に進む。
【００７７】
ステップＳ５５では、接近物のモデル化によるノイズ除去処理を行う。カメラが車両に設置されていることを考慮すると、接近物は自動車やバイク、自転車等であるが、いずれの接近物も路面上を走行している物体である。そこで、接近物候補領域Ａｉが空間モデルの路面上に存在するか否かを判定し（Ｓ５５）、存在していないときは領域Ａｉはノイズであると判断し（Ｓ５４）、次のフレームの処理を行う。一方、接近物候補領域Ａｉの少なくとも一部が路面上に存在しているときは、ステップＳ５６に進む。
【００７８】
ステップＳ５６では、時間方向のフィルタリング処理を行う。接近物は、画面上に急に現れたり、あるいは急に消えたりすることはありえないので、その領域は数フレーム連続して存在するはずである。図９は直進走行時に他の車両が後方から接近してくる状況を示している。現時刻ｔでは、図９（ａ）の左図のように接近車６が撮影されるので、接近物候補領域Ａｔは図９（ａ）の右図のように検出される。また、現時刻ｔよりも少し前の時刻ｔ−１，ｔ−２，…，ｔ−Ｎでは、接近物候補領域Ａｔ−１，Ａｔ−２，…，Ａｔ−Ｎはそれぞれ図９（ｂ），（ｃ），（ｄ）のように検出される。ここで、時間間隔が十分小さいものとすると、接近車６は画像上で大きく動かないので、領域Ａｔ−１，Ａｔ−２，…，Ａｔ−Ｎは領域Ａｔとその一部が重なる。これに対して、接近物候補領域がカメラの振動等に起因して生じたものであるとき、その候補領域は短時間しか検出されないはずである。
【００７９】
そこで、接近物領域候補Ａｉに対応するその前数フレームの領域において、接近物領域候補が存在する割合を所定値と比較する（Ｓ５６）。そして、その割合が所定値よりも低いとき、その接近物候補領域Ａｉは接近物である可能性は低いので、この接近物候補領域Ａｉを保持して（Ｓ５７）、次のフレームの処理を行う。一方、その前数フレームにおいて接近物領域候補が存在する割合が所定値よりも高いとき、その接近物候補領域Ａｉは接近物によるものと判断し、次のフレームの処理を行う（Ｓ５８）。例えば、前１０フレーム中で６回以上検出されたとき、接近物であると判断する。
【００８０】
また、カメラを車両の前方や後方に向けて設置し、かつ、接近物は乗用車のみであると仮定すると、カメラに映る接近物の画像は乗用車を前方か後方から見た画像のみになる。このため、接近物領域の大きさは、幅約２ｍ、路面からの高さ約１．５ｍと限定できる。そこで、接近物候補領域をこの大きさに設定し、領域内に存在する接近物フローの個数が最大になるように、接近物候補領域の位置を設定してもよい。この場合、接近物候補領域に含まれる接近物フローの個数が所定値よりも大きいか否かによって、接近物とノイズとの判別を行うことができる。このような処理を、ステップＳ５１〜Ｓ５３の代わりに実行してもよい。
【００８１】
以上のように本実施形態によると、背景フローとカメラ画像から実際に求められたオプティカルフローとを比較することによって、車両周囲にある物体の動きを、精度良く検出することができる。
【００８２】
また、たとえ車両がカーブ走行中であっても、画像上のそれぞれの点における背景フローとオプティカルフローとの比較によって検出を行うため、接近物を正確に検出することができる。また、画像から求めたオプティカルフローの大きさが小さくなってしまうような並走車や遠方の接近物についても、そのオプティカルフローは、画像上のその点における背景フローとは大きく異なるため、容易に検出可能である。
【００８３】
＜背景フロー推定の他の例＞
（その１）
図５のように、カメラ２が回転半径Ｒｓ、回転角γで動き、カメラ２に映っている物体５は全く動かなかったとすると、このときに求まるオプティカルフローは、図１０のように、カメラ２は動いていないが、カメラ２に映る全ての物体５が回転角γで動いた場合に求まるオプティカルフローと等しくなる。すなわち、カメラが実世界座標系においてベクトルＶだけ移動する場合に求められるオプティカルフローと、カメラに映る全ての物体がベクトル（−Ｖ）だけ移動する場合に求められるオプティカルフローとは、等しい。
【００８４】
そこで、カメラの動きに基づいて背景フローを求めるのではなく、カメラは固定されており動かないと仮定し、空間モデルを動かすことによって背景フローを求めてもよい。図１１はこのような場合の背景フロー推定の処理を示すフローチャートである。
【００８５】
まず、図４のステップＳ１１と同様に、時刻ｔ−１において撮影されたカメラ画像上の任意の点（ＰｒｅＸｉ，ＰｒｅＹｉ　）を、空間モデル推定部１４によって推定された空間モデルを用いて、実世界３次元座標（ＰｒｅＸｗ，ＰｒｅＹｗ，ＰｒｅＺｗ　）に射影する（Ｓ２１）。このとき、（数１）に示す透視投影変換式と（数２）に示す座標変換式とを用いる。
【００８６】
次に、自車動き推定部１３によって推定された時刻ｔ−１から時刻ｔまでの車両１の移動量ｈを基にして、ステップＳ２１で求めた実世界座標（ＰｒｅＸｗ，ＰｒｅＹｗ，ＰｒｅＺｗ　）を車両１に対して相対的に移動させる。すなわち、実世界座標（ＰｒｅＸｗ，ＰｒｅＹｗ，ＰｒｅＺｗ　）を、移動量ｈに係る回転中心座標Ｏおよび回転角γを用いて回転させ、実世界座標（ＮｅｘｔＸｗ，ＮｅｘｔＹｗ，ＮｅｘｔＺｗ）を求める（Ｓ２２）。さらに、（数１），（数２）を用いて、ステップＳ２２で求めた実世界座標（ＮｅｘｔＸｗ，ＮｅｘｔＹｗ，ＮｅｘｔＺｗ）をカメラ画像上の点（ＮｅｘｔＸｉ，ＮｅｘｔＹｉ　）に再射影する（Ｓ２３）。そして、図４のステップＳ１５と同様に、（ＮｅｘｔＸｉ−ＰｒｅＸｉ，　ＮｅｘｔＹｉ−ＰｒｅＹｉ）を背景フローとして求める（Ｓ２４）。
【００８７】
なお、ステップＳ２２で求められた（ＮｅｘｔＸｗ，ＮｅｘｔＹｗ，ＮｅｘｔＺｗ）は、時刻ｔ−１の空間モデルから予測された時刻ｔにおける空間モデルともいえるので、このような処理を続けることによって空間モデルを更新してもよい。または、接近物検出部１６によって背景と判定された部分のみ、このような空間モデルの更新処理を行い、それ以外の領域については上述の方法によって空間モデルを求め直すようにしてもよい。
【００８８】
（その２）
上述の２つの方法はいずれも、カメラ画像上の点を実世界３次元座標に変換し、実世界座標系で仮定した空間モデルを用いて処理を行った。これに対して、カメラ座標系で全ての処理を行うことも可能である。図１２はこのような場合の背景フロー推定の処理を示すフローチャートである。この場合には、空間モデルはカメラ座標系で記述する必要がある。カメラ座標系と実世界座標系とは１対１に対応するので、実世界座標系で仮定した空間モデルは、（数２）に従って、カメラ座標系に容易に変換することができる。
【００８９】
まず、時刻ｔ−１において撮影されたカメラ画像上の任意の点（ＰｒｅＸｉ，ＰｒｅＹｉ）を、カメラ座標系で記述された空間モデルを用いて、カメラ座標系での３次元位置（ＰｒｅＸｃ，ＰｒｅＹｃ，ＰｒｅＺｃ　）に射影する（Ｓ３１）。このとき、（数１）に示す透視投影変換式を用いる。
【００９０】
次に、自車動き推定部１３によって推定された時刻ｔ−１から時刻ｔまでの車両１の移動量ｈを基にして、ステップＳ３１で求めたカメラ座標（ＰｒｅＸｃ，ＰｒｅＹｃ，ＰｒｅＺｃ　）を車両１に対して相対的に移動させる。すなわち、カメラ座標（ＰｒｅＸｃ，ＰｒｅＹｃ，ＰｒｅＺｃ　）を、移動量ｈに係るカメラ画像系での回転中心座標Ｃ、回転角γｃ　を用いて回転させ、カメラ座標（ＮｅｘｔＸｃ，ＮｅｘｔＹｃ，ＮｅｘｔＺｃ）を求める（Ｓ３２）。さらに、（数１）を用いて、ステップＳ３２で求めたカメラ座標（ＮｅｘｔＸｃ，ＮｅｘｔＹｃ，ＮｅｘｔＺｃ）をカメラ画像上の点（ＮｅｘｔＸｉ，ＮｅｘｔＹｉ　）に再射影する（Ｓ３３）。そして、図４のステップＳ１５と同様に、（ＮｅｘｔＸｉ−ＰｒｅＸｉ，ＮｅｘｔＹｉ−ＰｒｅＹｉ　　）を背景フローとして求める（Ｓ３４）。
【００９１】
このように、空間モデルは、カメラ画像から実世界３次元座標系への変換、または、カメラ画像からカメラ座標系への変換のために、利用される。そこで、空間モデルを、カメラ画像から実世界３次元座標系への変換式、または、カメラ画像からカメラ座標系への変換式として記述することも可能である。
【００９２】
図１３は本発明に係る背景フローが矢印で示されたカメラ画像の例である。すでに説明したように、背景フローは、実際にカメラ画像から求められたオプティカルフローと比較を行うために用いられ、接近物の検出基準となる。図１３を見ると分かるように、背景フローは、走行路面のカーブを考慮したものになっている。すなわち、本発明は、従来と比べて、カーブにおいても接近物を精度良く検出可能であることが、図１３から直感的に理解できる。
【００９３】
本発明によると、自車両に接近してくる物体のみを正確に検出することが可能である。そして、この検出結果を用いて、例えば、接近車のみを強調した画像を表示したり、接近車の存在を音や画像、ハンドルや椅子の振動、ＬＥＤのような危険告知ランプの点灯などによって警告したり、することができる。さらに、危険な状況のときに、ステアリングやブレーキを自動で制御して、接近車との接触や衝突を回避するようにしてもかまわない。
【００９４】
ここでは、背景フローを利用した強調表示について説明する。
【００９５】
図３８はカーブ走行中の後方画像に、接近車に対応するオプティカルフローのみを重畳表示した例である。図３８では、自車両からほぼ等距離だけ離れた車両Ａ，Ｂがほぼ等速度で接近している。図３８に示すように、カーブ外側の車Ａについては、重畳表示されたオプティカルフロー（矢印）によって、利用者はその接近を認識できる。ところが、カーブ内側の車Ｂについては、オプティカルフローはほぼ０であり、利用者はその接近を認識できない。このように、カーブ走行中では、単にオプティカルフローを重畳表示しただけでは、接近物の存在が認識できない場合がある。
【００９６】
この原因は、自車両のカーブ走行によって生じる背景フローと、接近車の動きによるフローとが互いに打ち消し合うことにある。図３９は図３８の画像の背景フローである。図３９において、矢印Ａ２，Ｂ２はそれぞれ車Ａ，Ｂの位置に対応する背景フローである。図３９から分かるように、車Ｂの位置での背景フローＢ２が車Ｂの動きと逆向きになっている。
【００９７】
そこで、接近車の動きのみを際立たせるために、求めたオプティカルフローから背景フローをベクトル的に減算し、得られたフローをカメラ画像に重畳表示する。図４０はその表示例である。図３８と異なり、接近車Ａ，Ｂともにフローが表示されており、したがって、利用者は接近車の存在を確実に認識することができる。
【００９８】
もちろん、上述のように接近物フローを連結して接近物領域を求め、後述の図２６（ｂ）のように接近物領域に枠を描いて強調表示してもかまわない。さらに、接近物フローや接近物領域が大きいほど、接近車がより接近しており危険度が高い、と考えられるので、接近物フローや接近物領域の大きさに応じて、枠の色や太さ、線種等を切り替えてもよい。
【００９９】
また、画像の代わりに、または画像とともに、音で警告してもかまわない。この場合、接近物が存在する位置の方から音が聞こえるようにすると効果的である。また、危険度に応じて、音の大きさやメロディ、テンポ、周波数などを変えてもよい。例えば、車が右後方からゆっくりと接近しているときは、運転者の右後方から小さな音を発し、車が左後方から急速に近づいているときは、左後方から大きな音を発するようにすればよい。
【０１００】
また上述の実施形態では、自車の動きを車輪の回転速度とハンドルの舵角から推定した。これに対して、車両に設置されたカメラの画像を用いて、車両（カメラ自身）の動きを検出することも可能である。この手法について説明する。
【０１０１】
ここでは、静止平面である路面の式は既知であり、かつ車両の動きは微小であると仮定し、路面上の点の画像上での動きから、車両（カメラ）の動きパラメタを推定する。仮に車両が高速で移動していたとしても、撮像時のフレームレートを上げることによって、カメラの動きは画像間で微小となるので、この仮定は一般性を失わせるものではない。
【０１０２】
図４１は本手法を説明するための模式図である。図４１に示すように、カメラ２の動きによって、静止平面上の点Ｐのカメラ座標系における座標値が、ＰＥ＝（ｘ，ｙ，ｚ）からＰＥ’＝（ｘ’，ｙ’，ｚ’）に変化したとする。カメラ２の動きは、回転Ｒ（ｗｘ，ｗｙ，ｗｚ）と平行移動Ｔ（Ｔｘ，Ｔｙ，Ｔｚ）によって表される。すなわち、カメラ２の動きは、次のように表される。
【数１２】

【０１０３】
ここで、静止平面がｚ＝ａｘ＋ｂｙ＋ｃと表されるものとすると、画像座標上での点Ｐの移動（ｕ，ｖ）→（ｕ’，ｖ’）について、次の式が成り立つ。
【数１３】

【０１０４】
ここで、画像座標上の対応点（ｕ，ｖ）（ｕ’，ｖ’）と静止平面の式の係数ａ，ｂ，ｃが既知であるとし、上の式を未知パラメタ（ｗｘ，ｗｙ，ｗｚ，ｔｘ，ｔｙ，ｔｚ）についてまとめると、次のようになる。
【数１４】

【数１５】

【０１０５】
これをＡＣ＝Ｒとおくと、車両の動きである回転と平行移動の項を，最小二乗法を用いて求めることができる。
Ｃ＝（Ａ^ｔＡ）^−１Ａ^ｔＲ
【０１０６】
（第２の実施形態）
図１４は本発明の第２の実施形態に係る車両用監視装置の基本構成を概念的に示すブロック図である。図１４において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明を省略する。第１の実施形態と異なるのは、空間モデル推定部１４Ａが、自車動き推定部１３によって推定された自車動き情報を用いて、比較的単純な空間モデルを推定する点である。
【０１０７】
一般に、車両が走行する状況では、路面上に、建物や電柱、看板、木など様々なものが存在している。このため、カメラ１１には、路面、建物、電柱、看板、木、さらには空など様々なものが映される。ここでは、カメラ１１に映される様々なものを単純な空間モデルによって仮定する方法を考える。
【０１０８】
カメラに映るものは様々であるが、カメラを車両の後方下向きに設置した場合、ほぼ間違いなく映るものがある。それは「車両が走行してきた路面」である。そこで、まず空間モデルとして、車両が走行してきた路面をモデル化した「路面モデル」を用いる。路面モデルは走行路面を無限に延長したものであるため、勾配が急激に変化しない限り、正確な路面モデルを推定することができる。また、坂道やアップダウンの激しい道のように路面の勾配が変化している場合でも、ジャイロのようなセンサを用いることによって、路面の勾配の影響を考慮した路面モデルを生成することが可能である。
【０１０９】
ところが、路面モデルは、カメラ画像上の全領域において用いることは必ずしもできない。なぜなら、カメラは通常ほぼ水平に近い状態で設置されると考えられるので、この場合、カメラ画像内の地平線よりも高い領域には、路面が映らないからである。もちろん、カメラ画像の全領域に路面が映るようにカメラを配置することも可能であるが、この場合、カメラで監視できる範囲が狭くなってしまうため、実用的ではない。
【０１１０】
そこで本実施形態では、路面モデルのほかに、走行路面に対して垂直な壁面を空間モデルとして仮定する。この空間モデルを「壁面モデル」と呼ぶ。
【０１１１】
図１５は壁面モデルの一例を示す図である。図１５において、１は車両、２は車両１に設置されたカメラ、カメラ２から延びた２本の直線によって囲まれた領域ＶＡはカメラ２の撮影領域である。図１５に示すように、車両１から距離Ｌだけ離れた後方に、走行路面に対して垂直な壁面を仮定した壁面モデルＭＷが、最も簡単なものである。この壁面モデルＭＷは、カメラ２の視野範囲ＶＡのうち、路面モデルＭＳでカバーできない全ての領域をカバーするほど十分に大きいものと仮定する。カメラ２の視野範囲ＶＡのうち、カメラ２と壁面モデルＭＷとの間に存在する領域が路面モデルＭＳの領域となる。このため、車両１が直進している場合、カメラ２によって撮影されたカメラ画像は、図示したように、上部は壁面モデルＭＷ、下部は路面モデルＭＳによって占められる。
【０１１２】
図１５のような壁面モデルを用いる場合、壁面モデルＭＷまでの距離Ｌをどのように決定するかが問題となる。図１６は右カーブにおける背景フローの例を示す図であり、各矢印は求められた背景フローを示し、白線は路面上の白線を示している。また、ＭＷＡは壁面モデルＭＷによって背景フローを求めた領域、ＭＳＡは路面モデルＭＳによって背景フローを求めた領域である。同図中、（ａ）はＬが十分に長いとき、（ｂ）はＬが十分に短いときを示しており、（ａ）と（ｂ）の比較によって、距離Ｌの大小に応じた背景フローの変化が分かる。
【０１１３】
すなわち、図１６（ａ），（ｂ）を比較すると、まず壁面モデル領域ＭＷＡにおける背景フローの大きさが大きく異なっていることが分かる。ところが、上述したように、接近物検出処理において「路面に接近物の一部が接している」という条件を加えているので、路面モデル領域ＭＳＡにおける背景フローが正確に求まっていれば、壁面モデル領域ＭＳＡにおける背景フローは必ずしも正確に求まっている必要はない。
【０１１４】
また、路面モデルと壁面モデルの境界付近の領域ＢＡにおける背景フローが、図１６（ａ），（ｂ）で相当異なっていることが分かる。この境界領域ＢＡは、路面判定の際にも重要になる領域であり、したがって、壁面モデルＭＷまでの距離Ｌの設定如何によっては、検出精度の劣化を招いてしまう可能性がある。
【０１１５】
そこで、別の壁面モデルとして、図１７のように車両１の両脇に壁（ＭＷ１，ＭＷ２）があるような空間モデルを想定する。これは、高さが無限のトンネルを走行している状況といえる。カメラ２の視野範囲ＶＡ内において左右の壁面モデルＭＷ１，ＭＷ２間に存在する領域が、路面モデルＭＳの領域となる。このため、車両１が直進している場合、カメラ２によって撮影されたカメラ画像は、図示したとおり、上部は左右の壁面モデルＭＷ１，ＭＷ２、下部は路面モデルＭＳによって占められる。なお図１７では、説明を簡単にするために、車両１が直進しているものとしたが、車両がカーブを走行しているときは、壁面モデルもそのカーブの曲率に合わせて曲げればよい。
【０１１６】
図１７に示すような空間モデルを、カメラ画像から実世界３次元座標系への変換式として記述した場合について、詳述する。
【０１１７】
まず、路面モデルについて説明する。走行路面を勾配のない平らな路面であると仮定すると、路面モデルは実世界３次元座標系のＸｗ−Ｙｗ平面となる。そこで、この平面の関係式
Ｚｗ＝０
を（数１），（数２）へ代入すると、カメラ画像上の点Ｐ（Ｘｉ，Ｙｉ）は、次式によって、実世界３次元座標Ｐｗ（Ｘｗ，Ｙｗ，Ｚｗ）に変換することができる。
【数８】

（数８）が路面モデルにおける画像座標系から実世界３次元座標系への変換式となる。
【０１１８】
次に、壁面モデルについて説明する。車両１は、時刻ｔ−１から時刻ｔまでの間に回転半径Ｒで旋回走行していたとする。実世界３次元座標系の原点を時刻ｔにおける車両１の後輪中央位置と定め、回転中心を（Ｒ，０，０　）とする。ただし、回転半径Ｒの符号は正負両方をとり、車両１が反時計周りのときは正、時計周りのときは負であるものとする。
【０１１９】
このとき、壁面モデルは、実世界３次元座標系において、Ｘｗ−Ｚｗ平面における断面の中心が点　（Ｒ，０，０　）であり、Ｘｗ−Ｚｗ平面に垂直な半径（Ｒ±Ｗ／２）の円筒の一部であるので、次式によって表される。
【０１２０】
（Ｘｗ−Ｒ）^２＋Ｚｗ^２＝（Ｒ±Ｗ／２）^２
この式と（数１），（数２）を用いることによって、カメラ画像上の点Ｐ（Ｘｉ，　Ｙｉ）は、次式によって、実世界３次元座標Ｐｗ（Ｘｗ，Ｙｗ，Ｚｗ）に変換することができる。
【数９】

さらに、
１）カメラ画像に映っている物体はカメラ２の後ろには存在しない（Ｚｅ＞０）２）空間モデルは路面よりも高い位置にある（Ｙｗ≧０）
という条件を加えることによって、Ｐｗ（Ｘｗ，Ｙｗ，Ｚｗ）を一意に決定することができる。（数９）が画像座標系から実世界３次元座標系への変換式として表現された壁面モデルである。
【０１２１】
さて、図１７のような壁面モデルを用いる場合、車両の左右に仮定した壁面ＭＷ１，ＭＷ２間の距離Ｗをどのように決定するかが問題となる。図１８は右カーブにおける背景フローの例を示す図であり、各矢印は求められた背景フローを示し、白線は路面上の白線を示している。また、ＭＷ１Ａはカメラ２から見て左側の壁面モデルＭＷ１によって背景フローを求めた領域、ＭＷ２Ａはカメラ２から見て右側の壁面モデルＭＷ２によって背景フローを求めた領域、ＭＳＡは路面モデルＭＳによって背景フローを求めた領域である。同図中、（ａ）はＷが十分に小さいとき、（ｂ）はＷが十分に大きいときを示しており、（ａ）と（ｂ）の比較によって、距離Ｗの大小に応じた背景フローの変化が分かる。
【０１２２】
すなわち、図１８（ａ），（ｂ）を比較すると、左右の壁面モデルの境界付近の領域ＢＡ１における背景フローが大きく異なっていることが分かる。ところが、上述したように、接近物検出処理において「路面に接近物の一部が接している」という条件を加えているので、路面モデル領域ＭＳＡにおける背景フローが正確に求まっていれば、壁面モデル領域ＭＷ１Ａ，ＭＷ１Ｂにおける背景フローに誤差が生じていたとしても、接近物検出には大きな問題とならない。
【０１２３】
すなわち、図１７に示すような壁面モデルでは、図１５に示すようなカメラ後方に壁面を仮定した場合と異なり、壁面モデルと路面モデルの境界領域においては、壁面の間隔Ｗの大小によって、背景フローにさほど大きな差は生じないので、接近物を精度良く検出することができる。例えば、壁面の間隔Ｗは１０ｍ程度にしておけばよい。
【０１２４】
もちろん、壁面間の距離Ｗを、レーザー、超音波、赤外線またはミリ波などの各種障害物検出センサを用いて測定したり、両眼視、モーションステレオ法を用いて測定してもよい。また、路面のテクスチャ情報を利用して、カメラ画像から路面以外の領域を抽出し、その領域を壁面として仮定することも可能である。さらに、空間モデルの一部のみを測距センサを用いて測定し、それ以外の領域を、ここで説明したように平面や曲面でモデル化することもできる。また、カメラ画像や通信を用いて、現在、車両が走行している道路の車線数を求め、その結果を利用して壁面間の距離Ｗを決定してもよい。カメラ画像から車線数を決定する方法としては、例えば、白線検出を行い、求まった白線の本数で車線数を決定する方法などがある。
【０１２５】
なお、空間モデルの形状を、カーナビゲーションシステムのようなＧＰＳ情報と地図データ、あるいは時計などによる時刻データや、車両のワイパー、ヘッドライトなどの作動データ等に基づいて、切り替えることも可能である。例えば、ＧＰＳ情報と地図データから、車両がいまトンネルを走行中であるということが分かったとき、天井が存在するような空間モデルを求めてもよい。あるいは、トンネル入口等に取り付けられたＤＳＲＣ等の通信手段によって、車両がトンネル走行中であるとの情報を得ることもできる。また、トンネル走行中には通常、ヘッドライトを点けるので、時間データやワイパーデータ、ヘッドライトデータと連動して、例えば、夜間でなく（時間データから推定）、雨も降っていない（ワイパーデータから推定）のに、ヘッドライトを点けたとき、トンネル走行中であると判断し、空間モデルを切り替えることもできる。
【０１２６】
図１９は本実施形態に係る自車動き推定部１３、空間モデル推定部１４Ａおよび背景フロー推定部１５の動作を示すフローチャートである。まず、時刻ｔ−１から時刻ｔまでの車両の左右両車輪の回転パルスとハンドル切れ角を測定することによって、時刻ｔにおける自車両の左右の車輪速Ｖｌ，Ｖｒと前輪の切れ角βを求める（Ｓ６１）。そして、こうして求めた車輪速Ｖｌ，Ｖｒおよび切れ角βと既知のホイールベースｌとから、上述のアッカーマンモデルを用い、（数７）に従って車両の動きベクトルＴを推定する（Ｓ６２）。
【０１２７】
ところで、時刻ｔ−１以前の動きベクトルはこれまでに全て求まっているはずである。そこで、これまでの動きベクトルを繋ぎ合わせることによって、時刻ｔ−１までの自車の軌跡を求める（Ｓ６３）。図２０はこのようにして求めた時刻ｔ−１までの軌跡の例を示している。図２０において、Ｔは現在の動きベクトル、ＴＲはこれまでの動きベクトルを繋ぎ合わせることによって求めた軌跡を示している。
【０１２８】
次に、空間モデルを推定する（Ｓ６４）。ここでは、上述した図１７に示すような路面モデルと壁面モデルを用いるものとする。すなわち図２１に示すように、軌跡ＴＲを含む平面が、路面モデルＭＳとして求められ、軌跡ＴＲの左右に長さＷ／２だけ離れた位置にある路面モデルＭＳに垂直な壁面が、壁面モデルＭＷ１，ＭＷ２として求められる。
【０１２９】
次に、背景フローを推定する（Ｓ６５〜Ｓ６８）。まず、時刻ｔ−１におけるカメラ画像上の任意の点ＰｒｅＣｉ（ＰｒｅＸｉ，ＰｒｅＹｉ）を実世界３次元座標ＰｒｅＲｉ（ＰｒｅＸｗ，ＰｒｅＹｗ，ＰｒｅＺｗ）に射影させる（Ｓ６５）。図２２はこの処理を示した図である。角度θはカメラ２の画角である。上述したように、（数１），（数２）に示すような透視投影変換式のみでは、カメラ画像上の点ＰｒｅＣｉは、カメラ２の焦点を通る直線ＬＮ上に対応することしか分からず、実世界座標系の一点に射影することはできない。しかしながら、車両１は推定された空間モデル内を走行していると仮定すると、この直線ＬＮと空間モデル（図２２ではＭＷ２）との交点として、点ＰｒｅＲｉを求めることができる。
【０１３０】
次に、現在の動きベクトルＴだけ車両１を動かすことによって、時刻ｔにおける自車位置を求め、座標変換式（数２）のパラメータをその位置に合うように更新する（Ｓ６６）。そして、そのカメラ位置で実世界座標ＰｒｅＲｉがカメラ画像上のどの位置に映るかを計算する。実世界座標からカメラ画像上への変換は、（数１）と更新された（数２）を用いることによって実現できる。こうして求めたカメラ画像上の点をＮｅｘｔＣｉ（ＮｅｘｉＸｉ，ＮｅｘｔＹｉ）とする（Ｓ６７）。図２３はここでの処理を模式的に示した図である。
【０１３１】
ここで求めたＮｅｘｔＣｉ（ＮｅｘｔＸｉ，ＮｅｘｔＹｉ）は、点ＰｒｅＲｉが時刻ｔ−１から時刻ｔまでの間に動いていない、すなわち背景物体上の点であると仮定した場合の、時刻ｔにおけるカメラ画像上の位置を示している。そこで、時刻ｔ−１におけるカメラ画像上の点ＰｒｅＣｉが背景の一部であると仮定したときの背景フローＢＦＬは、（ＮｅｘｔＸｉ−ＰｒｅＸｉ，　ＮｅｘｔＹｉ−ＰｒｅＹｉ）と求めることができる（Ｓ６８）。このような処理をカメラ画像上のすべての点について行うことによって、図１３に示すような背景フローを求めることができる。
【０１３２】
本実施形態に係る接近物検出を行った例を、図２４〜図２６に示す。図２４は車両後方に設置したカメラから撮像した画像である。車両は交差点を右折しようとしており、後方から白い乗用車ＶＣ１が接近している。なお、画像上で動いている物体は白い乗用車ＶＣ１のみであり、乗用車ＶＣ２，ＶＣ３は停止している。
【０１３３】
ここで、上述の第１の従来例について考える。第１の従来例では、まず図２５（ａ）のように、水平方向に領域Ｌと領域Ｒを分割して設定する。そして、検出されたオプティカルフローのうち、領域Ｌにおいては左または左下方向を向いているものを、領域Ｒにおいては右または右下方向を向いているものを接近物として検出する。
【０１３４】
ここで、領域Ｌ内に領域ＡＲ１，ＡＲ２を仮定する。領域ＡＲ１には接近物である乗用車ＶＣ１が含まれ、領域ＡＲ２には静止している乗用車ＶＣ２が含まれる。しかし、領域ＡＲ１内の乗用車ＶＣ１は矢印のように右下方向のオプティカルフローをもつので、接近物としては検出されない。一方、領域ＡＲ２内の乗用車ＶＣ２は、当該車両がカーブを走行しているため、矢印のように左方向のオプティカルフローをもち、このため接近物として検出されてしまう。図２５（ｂ）はこのような処理を行った結果を示しており、矩形で囲われた領域が接近物として検出された領域である。このように、第１の従来例では、カーブにおいて接近物の検出がうまくいかない。
【０１３５】
一方、本実施形態によると、領域ＡＲ１，ＡＲ２における背景フローは、図２６（ａ）の矢印のように求められる。すなわち、接近物である乗用車ＶＣ１を含む領域ＡＲ１では、オプティカルフローは図２５（ａ）のように右下を向くのに対して、背景フローは図２６（ａ）のように左向きとなり、全く異なる。このため、領域ＡＲ１は接近物であると判別される。一方、静止している乗用車ＶＣ２を含む領域ＡＲ２では、オプティカルフローは図２５（ａ）のように左を向くが、背景フローも同様に図２６（ａ）のように左向きとなり、非常に似通っている。このため、領域ＡＲ２は接近物ではなく、背景であると判別される。図２６（ｂ）はこのような処理を行なった結果を示しており、矩形で囲われた領域が接近物として検出された領域である。このように、本発明によると、従来例と異なり、カーブにおいても接近物を確実に検出することが可能である。
【０１３６】
なお、路面モデルを利用した車両用監視装置は、特開２０００−７４６４５号公報や特開２００１−２６６１６０号公報に記載されている。ところがこれらの技術では、本願発明のように、背景フローを求めるために路面モデルを用いているのではない。また、カーブ走行時の接近物検出を目的としておらず、本願発明とは課題が相違する。
【０１３７】
具体的に説明すると、まず前者では、監視領域内の他車両から発生するオプティカルフローを検出し、検出したオプティカルフローを用いて自車両と周辺の他車両との相対関係を監視する。この技術の特徴は、処理時間を短縮するために、オプティカルフローを検出する領域を限定することにあり、これを実現するために路面モデルを利用している。すなわち、本発明のように空間モデルを接近物フローの検出に用いているわけではない。実際のところ、この技術では、カーブでの接近物フローの検出に上述の第５の従来例に示された仮想ＦＯＥを利用する方法を用いているため、第５の従来例と同様の問題点を抱える。すなわち、白線のないカーブにおいて正確な接近物検出を行うことはできない。
【０１３８】
また後者は、画面上の各点の３次元的な動きを利用している。すなわち、まず画面上の各点について、画面上での２次元的な動きであるオプティカルフローを求める。そして、求めたオプティカルフローと車両動き情報とを基にして、各点の実世界での３次元的な動きを計算する。この３次元的な動きを時間的に追跡することによって、実際に車両が走行している空間の空間モデルを推定する。こうして推定された空間モデルの中で、路面の動きと違うものを障害物として検出する。しかしながら、この技術では、各点の動きを完全に３次元的に求めるため、非常に計算コストがかかる、という問題があり、実現は難しい。
【０１３９】
＜ハードウェア構成例＞
図２７は本発明を実現するためのハードウェア構成の一例を示す図である。図２７において、例えば車両後方に設置されたカメラ２によって撮影された画像は、画像処理装置２０において、画像入力部２１によってデジタル信号に変換されてフレームメモリ２２に格納される。そしてＤＳＰ２３がフレームメモリ２２に格納されたデジタル化された画像信号からオプティカルフローを検出する。検出されたオプティカルフローは、バス４３を介してマイクロコンピュータ３０に供給される。一方、車速センサ４１は車両の走行速度を測定し、舵角センサ４２は車両の走行舵角を測定する。測定結果を表す信号は、バス４３を介してマイクロコンピュータ３０に供給される。
【０１４０】
マイクロコンピュータ３０はＣＰＵ３１、所定の制御用プログラムが格納されたＲＯＭ３２、およびＣＰＵ３１による演算結果を記憶するＲＡＭ３３を備えており、カメラ２が撮影した画像内に接近物が存在しているか否かを判定する。
【０１４１】
すなわち、ＣＰＵ３１は、まず車速センサ４１および舵角センサ４２から供給された走行速度信号と舵角信号から、車両の動きを推定する。次に、推定した車両の動きを基にして、車両がこれまで走行してきた軌跡を推定する。ＲＡＭ３３には過去の軌跡情報が格納されているので、ＣＰＵ３１は、推定した車両の動きをＲＡＭ３３に格納された過去の軌跡情報と繋ぎ合わせることによって、当該時刻までの軌跡を求める。この新たな軌跡情報はＲＡＭ３３に格納される。
【０１４２】
そして、ＣＰＵ３１は、ＲＡＭ３３に格納された軌跡情報を用いて、空間モデルを推定し、背景フローを求める。そして、求めた背景フローを画像処理装置２０から供給されたオプティカルフローと比較することによって、接近物のフローを検出し、接近物を検出する。
【０１４３】
（第３の実施形態）
図２８は本発明の第３の実施形態に係る車両用監視装置の基本構成を概念的に示すブロック図である。図２８において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明を省略する。第１の実施形態と異なるのは、オプティカルフロー検出部１２Ａが、背景フロー推定部１５によって推定された背景フローを用いてオプティカルフローを検出する点である。これにより、オプティカルフローの計算時間の削減や精度向上を図ることができる。
【０１４４】
カメラ画像上における物体の動きであるオプティカルフローＶｉは、次式のように、対象物体が実際に動いていることによる動きＶｂと、カメラ自体の動きによる相対的な動きＶｃとの和によって表される。
Ｖｉ＝Ｖｂ＋Ｖｃ
【０１４５】
ここで、対象が動いていない、すなわち背景であるとすると、Ｖｂは０であり、Ｖｃは背景フローに等しくなる。また、対象が移動している物体であるとすると、Ｖｂは対象物の移動ベクトルに依存するが、Ｖｃは背景フローにほぼ等しくなる。このことは、対象物の移動量があまり大きくない場合、そのオプティカルフローは背景フローの近傍に存在することを示している。そこで、オプティカルフローを求める際、背景フローの近傍のみを検索することによって、探索領域を狭め、計算時間の削減を図ることができる。
【０１４６】
また、同様の方法によって、オプティカルフローの検出精度を向上させることもできる。これは、オプティカルフロー検出のために階層化画像を用いる場合に特に有効である。上述したように、階層化画像は計算時間を削減するために用いられるが、階層が上位になるほど画像の解像度は低くなり、このため、テンプレートマッチングで誤差が生じる可能性が高くなる。そしてもし、上位階層で誤差が生じ、誤った検出をしてしまうと、その誤差は下位階層では吸収されず、したがって、実際とは異なったオプティカルフローを検出してしまう。
【０１４７】
図２９は階層化画像におけるブロックマッチング結果を模式的に示す図である。図２９において、画像１は元画像である画像０を縮小してＬＰＦをかけたもの、画像２は画像１をさらに縮小してＬＰＦをかけたものである。画像内の各矩形はマッチングを行ったブロックを示しており、その中の数字は、当該ブロックＧとテンプレートブロックＦとの差分評価関数の値を示している。すなわち、ブロックの大きさをｍ×ｎ、テンプレートブロックＦの各画素の輝度をｆ（ｉ，ｊ）、当該ブロックＧの各画素の輝度をｇ（ｘ，ｙ，ｉ，ｊ）とすると、差分評価関数Ｅ（ｘ，ｙ）は（数１０）または（数１１）によって示される。
【数１０】

【数１１】

すなわち、この差分評価関数Ｅ（ｘ，ｙ）の値が最小のものがテンプレートブロックＦに対応するブロックであり、その画像でのオプティカルフローに対応するものになる。
【０１４８】
まず、最も解像度が低い画像２においてブロックマッチングを行う。いま、テンプレートブロックＦは画像の右上方向に移動しているものとすると、本来ならブロックＧ（１，−１）との整合性が最も高くなり、差分評価関数Ｅ（１，−１）が最小になるはずである。ところが、階層化による分解能の低下や、テクスチャ、開口問題などの影響によって、図２９のようにＥ（−１，１）が最小になってしまったとする。すると、画像１において、画像２のブロックＧ（−１，１）に対応するブロックが探索領域として設定され、さらにその中で差分評価関数値が最小になったブロックに対応するブロックが、画像２において探索領域として設定される。しかしながら、この探索領域内には正しいオプティカルフローに対応するブロックは存在せず、したがって、誤ったオプティカルフローが検出されてしまう。
【０１４９】
そこで本実施形態では、最も分解能が高い元画像０におけるブロックマッチングの際に、背景フロー近傍のブロックも探索領域に加えることによって、この問題を解決する。上述したように、背景フロー近傍には、オプティカルフローが存在する可能性が高い。また、接近物フロー検出には、オプティカルフローと背景フローとの相違が重要になるが、言い換えると、背景フロー近傍にオプティカルフローが存在しないときは、それは移動物体であるといえる。すなわち、背景フロー近傍を探索領域に入れることによって、オプティカルフローが背景か否かを判別できる。例えば、背景フロー近傍に差分評価関数値を最小にするブロックが存在するとき、これに係るオプティカルフローは背景であるが、差分評価関数値が背景フロー近傍よりも小さいブロックが背景フロー近傍以外に存在するとき、そのオプティカルフローは移動物体であると判別できる。
【０１５０】
（第４の実施形態）
図３０は本発明の第４の実施形態に係る車両用監視装置の基本構成を概念的に示す図である。図３０において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明を省略する。第１の実施形態と異なるのは、背景フロー推定部１５が省かれており、接近物検出部１６Ａが、対象物の空間的な動きを求めて、接近物を検出する点である。接近物検出部１６Ａにおいて、３次元動き推定部１６ｃは、オプティカルフロー検出部１２によってカメラ画像から実際に求められたオプティカルフローＶｉと、自車動き推定部１３によって求められた当該車両の動きベクトルＴと、空間モデル推定部１４によって推定された空間モデルとを用いて、オプティカルフローのような平面的な動きではなく、対象物の空間的な動きを求める。
【０１５１】
図３１および図３２を参照して、３次元動き推定部１６ｃにおける処理について説明する。図３１は時刻ｔ−１における車両１と空間モデルとの関係を模式的に示した図であり、図１７と同様の空間モデルＭＳ，ＭＷ１，ＭＷ２が想定されている。ただし、空間モデルは実世界３次元座標系で表現されているものとする。また、カメラ２が撮影したカメラ画像も併せて図示している。ここで上述のように、透視投影変換式（数１、数２）および空間モデルＭＳ，ＭＷ１，ＭＷ２を用いることによって、カメラ画像上の任意の点Ｃｉを実世界３次元座標上に投影した点Ｒｉを求めることができる。また、Ｔは自車動き推定部１３によって求められた，時刻ｔ−１から時刻ｔまでの車両１の動きベクトルである。
【０１５２】
図３２は時刻ｔにおける車両１と空間モデルとの関係を模式的に示した図である。一般に、時刻が変わると空間モデルは変化する。ここで、オプティカルフロー検出部１２によって、時刻ｔ−１における点Ｃｉが時刻ｔにおける点ＮｅｘｔＣｉに対応していることが分かったとする。このとき、点Ｃｉに対する点Ｒｉと同様に、時刻ｔにおけるＮｅｘｔＣｉを実世界３次元座標上に投影した点ＮｅｘｔＲｉを求めることができる。よって、点Ｒｉが時刻ｔまでに動いたベクトルＶＲｉは次式のように求めることができる。
ＶＲｉ＝ＮｅｘｔＲｉ−Ｒｉ
【０１５３】
ところで、時刻ｔ−１から時刻ｔまでの車両１の動きはベクトルＴとして求められているので、ベクトル（ＶＲｉ−Ｔ）を求めることによって、カメラ画像上の点Ｃｉの実世界３次元座標上での動き、すなわち空間フローを、求めることができる。この処理を、カメラ画像上の全ての点について行うことによって、カメラ画像上の全ての点の実世界３次元座標上での動きを求めることができる。
【０１５４】
もちろん、空間モデルは、第１の実施形態のように様々なセンサや通信によって求めてもよいし、他の空間モデルを用いてもかまわない。
【０１５５】
接近物フロー検出部１６ｄは、３次元動き推定部１６ｃによって求められたカメラ画像上の各点の実世界３次元座標系での動き、すなわち空間フローを基にして、その点が自車に接近しているか否かを判断する。すなわち、ベクトル（ＶＲｉ−Ｔ）が車両を向いているときは、点Ｃｉは接近物のフローであり、そうでないときは、点Ｃｉは接近物のフローではないと判定される。
【０１５６】
さらに、ノイズ除去部１６ｅによって、第１の実施形態に係るノイズ除去部１６ｂと同様の処理を行うことによって、接近物を検出することができる。
【０１５７】
ここまでの説明では、空間モデルは、実世界３次元座標系で記述されていると仮定したが、この代わりに、カメラ座標系で表現されていてもよい。この場合、カメラ画像上の点Ｃｉ，ＮｅｘｔＣｉはそれぞれ、カメラ座標系における点Ｒｉ，ＮｅｘｔＲｉに対応する。カメラ座標系の原点は、時刻ｔ−１から時刻ｔまでの間に車両１の動きベクトルＴに相当する分だけ動いているので、カメラ画像上の点Ｃｉの動きＶＲｉは次のように求めることができる。
ＶＲｉ＝ＮｅｘｔＲｉ−Ｒｉ−Ｔ
【０１５８】
このベクトルＶＲｉが原点を向いているとき、点Ｃｉは接近物フローであり、そうでないときは、点Ｃｉは接近物フローではないと判定される。この処理を、カメラ画像上の全ての点で行い、ノイズ除去部１６ｃがノイズ除去処理を行うことによって、接近物を検出することができる。
【０１５９】
＜障害物センサとの兼用＞
本発明は、画像情報を用いて接近物検出を行うものである。このため、レーザー、赤外線、ミリ波などの障害物センサを利用する場合に比べると、接近物が近づいているか遠ざかっているかといった複雑な検出が可能である。ところが、障害物が車両近傍に存在している場合は、このような複雑な情報よりも、障害物があるか否かという単純な情報を、いち早く、正確に検出することが重要である。
【０１６０】
そこで、車両近傍の領域については、障害物センサによる検出を行い、それ以外の広域な領域について、本発明に係る方法を用いて障害物検出を行うようにしてもよい。これにより、車両周辺の監視を、高速に、かつ、正確に行うことが可能になる。
【０１６１】
図３３は障害物センサの設置例を示す図である。同図中、（ａ）では、レーザー、赤外線、ミリ波などを用いた障害物センサ５１は、車両１のバンパーやエンブレム等に取り付けられている。また、（ｂ）では、最も接触事故の可能性が高い車両１の四隅に障害物センサ５２を設置している。障害物センサ５２を設置する位置は、バンパーの下や上、またはバンパーや車体自体に組み込んでもよい。
【０１６２】
また、障害物センサは、雨などの天候による影響を大きく受けるため、ウインカーの動作情報等から降雨を認識したとき、障害物センサの利用を中止し、本発明に係る方法を用いるようにしてもよい。これにより、検出精度を向上させることが可能である。
【０１６３】
また、本発明に係る方法によって接近物があると検出された領域について、再度、障害物センサによって検出を行うようにしてもよい。これにより、接近物の検出精度が向上し、誤った警報が発生しないようにすることができる。
【０１６４】
さらに、障害物センサによる検出の結果、障害物があると判断された領域のみについて、本発明に係る方法によってそれが接近物か否かを判定するようにしてもよい。これにより、処理速度の向上を図ることが可能になる。
【０１６５】
なお、本発明の監視装置の各手段の機能の全部または一部を専用のハードウェアを用いて実現してもかまわないし、コンピュータのプログラムによってソフトウェア的に実現してもかまわない。
【０１６６】
【発明の効果】
以上のように本発明によると、オプティカルフローを用いて接近物を検出する車両用監視装置において、カーブにおいても検出精度を落とすことがなく、さらに、直進時においても、自車と並走する物体や、画面上での動きの小さな遠方の接近物も検出することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る監視装置の構成を示すブロック図である。
【図２】自車動きの推定方法を説明するための図であり、アッカーマンモデルを説明するための概念図である。
【図３】自車動きの推定方法を説明するための図であり、２次元上での車両の動きを示す概念図である。
【図４】背景フロー推定の処理の流れを示すフローチャートである。
【図５】背景フローの推定方法を説明するための図であり、車両が旋回するときの動きを示す概念図である。
【図６】接近物検出部の構成を概念的に示すブロック図である。
【図７】フロー比較部の動作を示すフローチャートである。
【図８】ノイズ除去部の動作を示すフローチャートである。
【図９】ノイズ除去部における処理を説明するための概念図である。
【図１０】背景フローの推定方法を説明するための概念図である。
【図１１】背景フロー推定の他の例の処理の流れを示すフローチャートである。
【図１２】背景フロー推定の他の例の処理の流れを示すフローチャートである。
【図１３】本発明に係る背景フローが表示されたカメラ画像の例である。
【図１４】本発明の第２の実施形態に係る監視装置の構成を示すブロック図である。
【図１５】本発明に係る空間モデルの一例を示す図である。
【図１６】図１５の空間モデルにおける距離Ｌと背景フローとの関係を示す図である。
【図１７】本発明に係る空間モデルの他の例を示す図である。
【図１８】図１７の空間モデルにおける幅Ｗと背景フローとの関係を示す図である。
【図１９】本発明の第２の実施形態に係る背景フロー推定の処理の流れを示すフローチャートである。
【図２０】本発明の第２の実施形態に係る背景フローの推定方法を説明するための図である。
【図２１】本発明の第２の実施形態に係る背景フローの推定方法を説明するための図である。
【図２２】本発明の第２の実施形態に係る背景フローの推定方法を説明するための図である。
【図２３】本発明の第２の実施形態に係る背景フローの推定方法を説明するための図である。
【図２４】車両に設置されたカメラの画像の例である。
【図２５】図２４のカメラ画像から第１の従来例によって接近物を検出した結果を示す図である。
【図２６】図２４のカメラ画像から本発明によって接近物を検出した結果を示す図である。
【図２７】本発明に係るハードウェア構成の例を示す図である。
【図２８】本発明の第３の実施形態に係る監視装置の構成を示すブロック図である。
【図２９】階層化画像における問題点を説明するための概念図である。
【図３０】本発明の第４の実施形態に係る監視装置の構成を示すブロック図である。
【図３１】本発明の第４の実施形態に係る処理を説明するための図である。
【図３２】本発明の第４の実施形態に係る処理を説明するための図である。
【図３３】本発明における障害物センサの設置位置の例を示す図である。
【図３４】車両後方を映すカメラ画像の例であり、第１の従来例のカーブ走行中における問題を説明するための図である。
【図３５】カメラ画像と実世界の３次元座標の関係を示す図である。
【図３６】従来例におけるカメラ画像と実世界座標系の関係を示す図である。
【図３７】本発明におけるカメラ画像と実世界座標系の関係を示す図である。
【図３８】カーブ走行中のカメラ画像に、接近車のオプティカルフローを重畳表示した例である。
【図３９】図３８の画像の背景フローである。
【図４０】背景フローを減算して得たフローをカメラ画像に重畳表示した例である。
【図４１】車両の動きを、カメラ画像を用いて検出する手法を説明するための概念図である。
【符号の説明】
１　車両
２　カメラ
１１　カメラ
１２，１２Ａ　オプティカルフロー検出部
１３　自車動き推定部
１４，１４Ａ　空間モデル推定部
１５　背景フロー推定部
１６，１６Ａ　接近物検出部
５１，５２　障害物センサ
Ｖｉ　オプティカルフロー
Ｔ　車両の動きベクトル
ＭＳ　路面モデル
ＭＷ，ＭＷ１，ＭＷ２　壁面モデル

Claims

車両の周囲を映すカメラを用いた監視装置であって、
前記カメラによって撮影された画像から、オプティカルフローを求め、
前記車両の動きを基にして、背景と仮定した場合の前記画像のオプティカルフローである背景フローを求め、
前記オプティカルフローと前記背景フローとを比較し、前記車両の周囲にある物体の動きを検出する
ことを特徴とする監視装置。
請求項１において、
前記背景フローを、前記カメラが撮影している空間をモデル化した空間モデルを用いて、求めるものである
ことを特徴とする監視装置。
請求項２において、
前記空間モデルは、前記カメラが撮影している各物体の距離データに基づいて、生成されたものである
ことを特徴とする監視装置。
請求項３において、
前記車両は、障害物センサが設けられており、
前記距離データは、前記障害物センサによって測定されたものである
ことを特徴とする監視装置。
請求項２において、
前記空間モデルは、少なくとも、走行路面をモデル化した路面モデルを含むものである
ことを特徴とする監視装置。
請求項２において、
前記空間モデルは、少なくとも、走行路面に対して垂直な壁面を仮定した壁面モデルを含むものである
ことを特徴とする監視装置。
請求項６において、
前記壁面は、車両の後側方にあると仮定されたものである
ことを特徴とする監視装置。
請求項１において、
オプティカルフローと背景フローとの比較の際に、
前記オプティカルフローの大きさが、所定値よりも大きいか否かを判定し、
所定値よりも大きいときは、角度差を用いて、比較を行う一方、そうでないときは、角度差を用いないで、比較を行う
ことを特徴とする監視装置。
請求項８において、
前記所定値は、画像上の当該位置における背景フローの大きさに応じて、設定されている
ことを特徴とする監視装置。
請求項１において、
オプティカルフローと背景フローとの比較によって、前記オプティカルフローの中から、接近物候補フローを特定し、
近傍にある前記接近物候補フローを関連付けることによって、接近物候補領域を生成し、
前記接近物候補領域の面積が、所定値よりも小さいとき、この接近物候補領域に係る接近物候補フローは、ノイズであると判断する
ことを特徴とする監視装置。
車両の周囲を映すカメラを用いた監視装置であって、
前記カメラによって撮影された画像から、オプティカルフローを求め、
前記オプティカルフローと、当該車両の動きと、前記カメラが撮影している空間をモデル化した空間モデルとを基にして、前記画像上の点の実世界座標上における動きである空間フローを求め、
前記空間フローを基にして、当該車両の周囲にある物体の動きを検出する
ことを特徴とする監視装置。
車両の周囲を映すカメラによって撮影された画像から、オプティカルフローを求め、
前記車両の動きを基にして、背景と仮定した場合の前記画像のオプティカルフローである背景フローを求め、
前記オプティカルフローと前記背景フローとを比較し、前記車両の周囲にある物体の動きを検出する
ことを特徴とする監視方法。
請求項１２において、
前記車両に設けられた車速センサおよび舵角センサの出力を用いて、前記車両の動きを推定する
ことを特徴とする監視方法。
コンピュータに、
車両の周囲を映すカメラによって撮影された画像について、オプティカルフローを得る手順と、
前記車両の動きを基にして、背景と仮定した場合の前記画像のオプティカルフローである背景フローを求める手順と、
前記オプティカルフローと前記背景フローとを比較し、当該車両の周囲にある物体の動きを検出する手順と
を実行させるためのプログラム。