JP2013200840A - 映像処理装置、映像処理方法、映像処理プログラム、及び映像表示装置 - Google Patents

Abstract

【課題】注意すべき障害物を容易に識別できる映像を生成する映像処理装置、映像処理方法、映像処理プログラム、及び映像表示装置を提供する。
【解決手段】距離情報生成部は複数の視点の映像を入力し、前記複数の視点の映像が表す被写体までの距離を示す距離情報を生成し、被写体判定部は前記距離情報生成部が生成した距離情報から、背景から予め定めた範囲の距離にある被写体を表す領域を抽出し、映像重畳部は前記被写体判定部が抽出した領域に表される被写体の輪郭を、前記被写体の距離に応じた態様で前記入力された映像に重畳する。
【選択図】図１

Description

本発明は、映像処理装置、映像処理方法、映像処理プログラム、及び映像表示装置に関する。

従来から、車両の運転時における安全性を向上させるために、車両周囲の情報を取得する技術が開発されている。例えば、映像を撮影するカメラ等の撮影装置や、障害物を検知するソナー、レーダ装置等のセンサを備える監視装置がある。また、運転者の視界を補助する目的で、車両に搭載されたカメラが撮影した映像をディスプレイに表示する技術が提案されている。

例えば、特許文献１には、複数のカメラから取得した映像に基づいて車両の全周囲の映像を表示手段に表示し、障害物が検知された場合に、全周囲の映像のうち障害物を検知した方向の映像を用いて報知する運転支援装置が記載されている。全周囲の映像は、複数の画面領域を有する多画面表示から成り、障害物を検知した方向の画面領域の表示色を変化させて報知する。又は、障害物を検知した方向の画面領域に「障害物有り」などの運転者に注意を促す文字を表す警告テロップを表示して報知する。
特許文献２には、障害物の位置を検知し、障害物に対する監視の必要性の程度を判定し、複数の障害物がある場合に、相対的に監視の必要性が高い障害物を、監視の必要性が低い障害物よりも強調して表示させる障害物表示装置が記載されている。

特開２０１０−６４７４９号公報 特開２００９−２０５２６８号公報

しかしながら、特許文献１に記載された運転支援装置では、表示色を変化させて障害物を表示するか、障害物を検知した方向に警告テロップを表示する。そのため、運転者は、表示されている映像から注意すべき障害物を識別することが困難であるという課題があった。なお、特許文献２に記載された障害物表示装置では、相対的に監視の必要性が高い障害物を大きく表示したり、障害物の方向を示す文字を重畳して、強調して表示させるとの記載があるのみである。

本発明は上記の点に鑑みてなされたものであり、注意すべき障害物を容易に識別できる映像を生成する映像処理装置、映像処理方法、映像処理プログラム、及び映像表示装置を提供する。

（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、複数の視点の映像を入力し、前記複数の視点の映像が表す被写体までの距離を示す距離情報を生成する距離情報生成部と、前記距離情報生成部が生成した距離情報から、背景から予め定めた範囲の距離にある被写体を表す領域を抽出する被写体判定部と、前記被写体判定部が抽出した領域に表される被写体の輪郭を、前記被写体の距離に応じた態様で前記入力された映像に重畳する映像重畳部とを備えることを特徴とする映像処理装置である。

（２）本発明の他の態様は、上述の映像処理装置において、前記被写体判定部は、前記距離情報生成部が生成した距離情報が示す距離が、前記背景として地面の距離から予め定めた範囲にある被写体を抽出することを特徴とする。

（３）本発明の他の態様は、上述の映像処理装置において、前記映像重畳部は、前記被写体の輪郭を、前記被写体の距離に応じた色彩で前記入力された映像に重畳することを特徴とする。

（４）本発明の他の態様は、上述の映像処理装置において、前記映像重畳部は、前記被写体の輪郭を、前記被写体の距離に応じた周期で点滅させて前記入力された映像に重畳することを特徴とする。

（５）本発明の他の態様は、複数の視点の映像を入力し、前記複数の視点の映像が表す被写体までの距離を示す距離情報を生成する距離情報生成部と、前記距離情報生成部が生成した距離情報から、背景から予め定めた範囲の距離にある被写体を表す領域を抽出する被写体判定部と、前記被写体判定部が抽出した領域に表される被写体の輪郭を、前記被写体の距離に応じた態様で前記入力された映像に重畳する映像重畳部とを備えることを特徴とする映像表示装置である。

（６）本発明の他の態様は、映像処理装置における映像処理方法であって、映像処理装置における映像処理方法であって、前記映像処理装置が、複数の視点の映像を入力し、前記複数の視点の映像が表す被写体までの距離を示す距離情報を生成する第１の過程と、前記映像処理装置が、前記生成した距離情報から、背景から予め定めた範囲の距離にある被写体を表す領域を抽出する第２の過程と、前記映像処理装置が、前記抽出した領域に表される被写体の輪郭を、前記被写体の距離に応じた態様で前記入力された映像に重畳する第３の過程と、を有することを特徴とする映像処理方法である。

（７）本発明の他の態様は、映像処理装置のコンピュータに、複数の視点の映像を入力し、前記複数の視点の映像が表す被写体までの距離を示す距離情報を生成する第１の手順、前記生成した距離情報から、背景から予め定めた範囲の距離にある被写体を表す領域を抽出する第２の手順、前記抽出した領域に表される被写体の輪郭を、前記被写体の距離に応じた態様で前記入力された映像に重畳する第３の手順を実行させるための映像処理プログラムである。

本発明によれば、注意すべき障害物を容易に識別できる映像を生成することができる。

本発明の実施形態に係る映像表示システムの概略図である。 車両の背面を表す概念図である。 車両の上平面を表す概念図である。 本実施形態に係る視差マップ生成部の構成を表す概略図を表す。 参照映像信号の一例を表す概念図である。 基準映像信号の一例を表す概念図である。 参照注目ブロックの一例を表す概念図である。 基準注目ブロックの一例を表す概念図である。 視差マップの一例を表す図である。 地面視差データが表す映像の一例を表す図である。 地面差分データが表す映像の一例を表す図である。 障害物抽出映像の一例を表す図である。 ラプラシアンフィルタの一例を表す概念図である。 基準映像の一例を表す図である。 エッジ映像の一例を表す図である。 障害物エッジ映像の一例を表す図である。 障害物重畳映像の一例を表す図である。 本実施形態に係る映像処理を表すフローチャートである。 本実施形態に係る色信号データの一例を表す表である。 本実施形態に係る点滅周期データの一例を表す表である。 本実施形態に係る点滅輝度データの一例を表す表である。

以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る映像表示システム１を表す概略図である。
映像表示システム１は、映像表示装置１０及びステレオ撮影部１１を含んで構成される。
映像表示装置１０は、映像処理部１２及びディスプレイ１３を含んで構成される。

ステレオ撮影部（映像撮影部）１１は、複数（例えば、２個）の異なる視点において、それぞれ映像を撮影し、各視点において撮影した映像を表す映像信号を映像表示装置１０に出力する。ステレオ撮影部１１は、例えばステレオカメラである。ステレオ撮影部１１は、各々異なる視点に配置された２個のカメラモジュール（視点映像撮影部）１１１、１１２を備える。カメラモジュール１１１は、例えば、カメラモジュール１１２よりも車両２の前方に対して左側に、高さが等しくなるように配置される。カメラモジュール１１１、１１２は、それぞれ撮影した映像を表す映像信号を生成し、生成した映像信号を映像処理部１２に出力する。以下の説明では、カメラモジュール１１１が撮影した映像を基準映像として処理を行う場合を例にとって説明する。他方、カメラモジュール１１２が撮影した映像を参照映像と呼ぶ。また、基準映像を表す映像信号を基準映像信号、参照映像を表す映像信号を参照映像信号と呼ぶ。ステレオ撮影部１１の配置例については、後述する。

映像処理部１２は、視差マップ生成部１２３、障害物判定部１２４、エッジ抽出部１２５、マスク処理部１２６及び障害物映像重畳部１２７を含んで構成される。
視差マップ生成部（距離情報生成部）１２３は、ステレオ撮影部１１のカメラモジュール１１１、１１２からそれぞれ基準映像信号、参照映像信号が入力される。視差マップ生成部（距離情報生成部）１２３は、基準映像と対応する参照映像の間の視差を表す視差値を含む視差マップ（距離情報）を生成する。視差マップは、画素毎の視差値を信号値として含む距離情報である。視差値は、後述するように被写体の距離を表す信号値である。視差マップ生成部１２３は、生成した視差マップを障害物判定部１２４及び障害物映像重畳部１２７に出力する。視差マップ生成部１２３の構成については、後述する。

障害物判定部（被写体判定部）１２４は、視差マップ生成部１２３から入力された視差マップに基づいて、予め定めた距離の範囲内にある障害物（被写体）の映像を表す障害物抽出映像信号を生成する。ここで、障害物判定部１２４は、視差マップと、予め記憶された背景距離情報に基づいて障害物の映像を表す障害物抽出映像信号を生成する。背景距離情報は、検出対象の被写体が表されていない背景映像に対応する距離情報である。背景映像は、例えば、水平面に平行で表面が滑らかな地面（地表面）を表す地面の映像（地面映像）である。背景距離情報は、例えば、地面映像の画素毎の視差値を含む地面視差データである。地面映像の画素毎の視差値を地面視差値と呼ぶ。障害物判定部１２４は、視差マップから地面視差データを減算して、地面差分データを生成する。障害物判定部１２４は、地面差分データに含まれる画素毎の差分値が、予め定めた閾値よりも大きい画素が占める領域を表す映像信号を地面差分データから抽出して、障害物抽出映像信号を生成する。障害物判定部１２４は、生成した障害物抽出映像信号をマスク処理部１２６に出力する。障害物判定部１２４が行う処理については、後述する。

エッジ抽出部（輪郭抽出部）１２５には、基準映像信号がステレオ撮影部１１から入力される。エッジ抽出部１２５は、入力された基準映像信号から、濃淡の空間変化が著しい領域であるエッジ領域を表すエッジ映像信号を生成する。エッジ抽出部１２５は、例えば、各画素の信号値と空間的に隣接する画素の信号値との差分である空間差分値を算出し、算出した空間差分値が予め定めた閾値よりも大きい画素が占める領域をエッジ領域として抽出する。エッジ抽出部１２５は、エッジ領域を表す映像のエッジ映像信号をマスク処理部１２６に出力する。エッジ抽出部１２５が差分値を算出する処理については、後述する。

マスク処理部（被写体輪郭映像生成部）１２６は、障害物判定部１２４から入力された障害物抽出映像信号とエッジ抽出部１２５から入力されたエッジ映像信号に基づいて障害物エッジ映像信号を生成する。マスク処理部１２６は、例えば、障害物抽出映像信号に含まれる画素毎の信号値から、エッジ領域に含まれる画素の信号値を抽出し、エッジ領域に含まれない画素の信号値として、予め定めた信号値（例えば、０）を定めて障害物エッジ映像信号を生成する。マスク処理部１２６は、生成した障害物エッジ映像信号を障害物映像重畳部１２７に出力する。マスク処理部１２６が障害物エッジ映像信号を生成する処理については、後述する。

障害物映像重畳部１２７には、複数の視点の映像信号のうち、少なくとも１個の視点の映像信号、例えば、基準映像信号がステレオ撮影部１１から入力され、マスク処理部１２６から障害物エッジ映像信号が入力される。また、障害物映像重畳部１２７には、視差マップ生成部１２３から視差マップが入力される。
障害物映像重畳部１２７は、入力された映像信号が表す映像に、障害物エッジ映像信号が表す障害物のエッジ領域を、視差マップが表す画素毎の視差値に応じた態様で重畳する。即ち、障害物映像重畳部１２７は、映像信号に含まれる画素のうち、障害物エッジ映像信号が表す障害物のエッジ領域に含まれる画素の信号値を、当該画素の視差値に対応した信号値に変更して障害物重畳映像信号を生成する。視差値は、後述するようにステレオ撮影部１１から被写体までの距離を表す。以下の説明では、当該画素の視差値に対応した信号値を、距離依存信号値を呼ぶことがある。障害物映像重畳部１２７は、生成した障害物重畳映像信号をディスプレイ１３に出力する。

生成される障害物重畳映像信号は、１個の視点の映像信号であっても、複数の視点の映像信号であってもよい。障害物映像重畳部１２７は、例えば、左右２個の視点の障害物重畳映像信号を生成する際、上述の処理を行って基準映像信号に対応した障害物重畳映像信号（以下、基準障害物重畳映像信号）を生成する。その他、障害物映像重畳部１２７は、参照映像信号に対応した障害物重畳映像信号（以下、参照障害物重畳映像信号）を生成する。以下では、基準障害物重畳映像信号と参照障害物重畳映像信号を、障害物重畳映像信号と総称することがある。ここで、障害物映像重畳部１２７は基準映像信号に基づく障害物エッジ映像信号が表す障害物のエッジ領域を、視差マップが表す画素毎の視差値だけ水平方向に移動させて参照映像信号に対応するエッジ映像信号を生成する。障害物映像重畳部１２７は、参照映像信号に含まれる画素のうち、参照映像信号に対応する障害物エッジ映像が示す障害物のエッジ領域に含まれる画素の信号値を、当該画素の視差値に対応した信号値に変更する。障害物映像重畳部１２７は、生成した基準障害物重畳映像信号と信号値を変更した参照障害物重畳映像信号とをディスプレイ１３に出力する。
障害物映像重畳部１２７が行う処理については、後述する。

ディスプレイ（映像表示部）１３は、障害物映像重畳部１２７から入力された障害物重畳映像信号が表す障害物重畳映像を表示する。ディスプレイ１３は、１視点の障害物重畳映像を表示する平面映像ディスプレイであっても、複数の視点の障害物重畳映像を表示する立体映像ディスプレイであってもよい。

（ステレオ撮影部１１の配置例）
次に、本実施形態に係るステレオ撮影部１１の配置例について説明する。
図２は、車両２の背面を表す概念図である。
図２の左右方向は、車両２の前方に対する左右方向を表す。図２の上下方向は、車両２の上下方向を表す。ステレオ撮影部１１は、車両２の背面において左右中央であって、上下中央より下側、ナンバープレートの直上に配置されている。カメラモジュール１１１、１１２は、左右に予め定めた間隔ｂ（カメラ間隔、カメラ基線長とも呼ばれる）だけ離れた位置に配置されている。
図３は、車両２の上平面を表す概念図である。
図３の左右方向は、車両２の前後方向を表す。図３の上下方向は、車両２の左右方向を表す。ここで、図３の上方が車両２の前方に向かって右側を表す。ステレオ撮像部１１は車両２の最後部に設置され、カメラモジュール１１１、１１２の光軸が、それぞれ車両２の後方に向くように配置されている。図３において、ステレオ撮影部１１の重心点を頂点とする２個の扇形は、カメラモジュール１１１、１１２の視野３１、３２をそれぞれ示す。車両２の後方の映像を撮影するために、視野３１、３２は、１８０°に近い十分大きい角度（例えば、１５０°）である。また、各視野３１、３２内の被写体までの距離を表す距離情報を取得するため、視野３１、３２の大部分（例えば、１４８°）、が互いに重複している。

（視差マップ生成部１２３の構成）
次に、視差マップ生成部１２３の構成について説明する。
図４は、本実施形態に係る視差マップ生成部１２３の構成を表す概略図を表す。
視差マップ生成部１２３は、座標変換部１２３１、１２３２及び対応点探索部１２３３を含んで構成される。

座標変換部１２３１、１２３２は、カメラモジュール１１１、１１２からそれぞれ基準映像信号、参照映像信号が入力される。座標変換部１２３１、１２３２には、カメラモジュール１１１、１１２のカメラパラメータが各々記憶されている。カメラパラメータは、光軸の向きや視点の位置を表す外部パラメータと、撮像素子の仕様を表す内部パラメータが含まれる。外部パラメータには、光軸の向きを表すヨー、ピッチ及びロールの３軸ベクトルと、視点の位置を表す３次元の並進ベクトルと、計６個のパラメータが含まれる。内部パラメータには、２次元の映像中心位置と、視野角、アスペクト比及び焦点距離ｆと、計５個のパラメータが含まれる。

座標変換部１２３１、１２３２は、カメラパラメータを用いて、各々のエピポーラライン（エピポーラ線［ｅｐｉｐｏｌａｒ ｌｉｎｅ］とも呼ばれる）が水平方向に平行になるように基準映像信号、参照映像信号を座標変換する（平行化）。エピポーララインとは、各映像における複数のエピポール（ｅｐｉｐｏｌｅ）を結ぶ直線である。エピポールの１つは、１つのカメラモジュールの視点と３次元空間上のある特徴点とを結ぶ線分と、当該1つのカメラモジュールにおける映像の投影面との交点である。エピポールの他の１つは、当該1つのカメラモジュールの視点と他のカメラモジュールの視点とを結ぶ線分と、当該1つのカメラモジュールにおける映像の投影面との交点である。座標変換部１２３１、１２３２は、エピポーララインを平行にした基準映像信号、参照映像信号をそれぞれ対応点探索部１２３３に出力する。このように、エピポーララインを、水平方向に平行にすることで、後述する対応点探索部１２３３において視差を算出する際に行われる垂直方向への探索を省略することができる。そのため、処理量を低減でき、垂直方向の視差を考慮する必要がなくなる。

座標変換部１２３１、１２３２は、エピポーララインを平行化するために、例えば次の処理を行う。座標変換部１２３１、１２３２は、自部が記憶しているカメラパラメータに基づいて光軸平行化行列Ｈ_Ｌ，Ｈ_Ｒを予め算出しておき、算出した光軸平行化行列Ｈ_Ｌ，Ｈ_Ｒを記憶させておく。光軸平行化行列Ｈ_Ｌ，Ｈ_Ｒは、カメラモジュール１１１、１１２の光軸（Ｚ軸）が互いに平行であって、光軸に垂直であって水平面に平行な軸（Ｘ軸）がベースラインと平行になるように回転させる３行３列の座標変換行列である。ベースラインは、カメラモジュール１１１、１１２の視点を結ぶ線分であり、基線とも呼ばれる。座標変換部１２３１、１２３２は、また、並進回転行列Ｋ_Ｌ，Ｋ_Ｒ、レンズ歪補正関数Φ_Ｌ，Φ_Ｒ、投影行列Ｋ’を予め算出しておき、算出した並進回転行列Ｋ_Ｌ，Ｋ_Ｒ、レンズ歪補正関数Φ_Ｌ，Φ_Ｒ、投影行列Ｋ’を記憶させておく。並進回転行列Ｋ_Ｌ，Ｋ_Ｒは、各カメラモジュール１１１、１１２の内部パラメータに基づく３行３列の回転並進行列である。レンズ歪補正関数Φ_Ｌ，Φ_Ｒは、カメラモジュール１１１、１１２が備えるレンズの半径方向及び円周方向の歪係数に基づく３行３列の回転並進行列である。投影行列Ｋ’は、光軸を平行化した基準映像、参照映像を同一の表示座標系に投影する３行３列の回転並進行列である。座標変換部１２３１、１２３２は、これらの行列を用いて式（１）を満足するように平行化した基準映像信号、参照映像信号を生成する。

式（１）において、ｘ_Ｌ，ｘ_Ｒは、それぞれ基準映像信号、参照映像信号の各画素の座標を表す２次元ベクトルである。ｘ_Ｌ’，ｘ_Ｒ’は、それぞれ平行化した基準映像信号、参照映像信号の各画素の座標を表す２次元ベクトルである。
なお、本実施形態では、撮影された基準映像、参照映像のエピポーララインが互いに平行になるように、カメラモジュール１１１、１１２が配置されていてもよい。その場合、視差マップ生成部１２３は、座標変換部１２３１、１２３２を省略することができる。

対応点探索部１２３３には、座標変換部１２３１、１２３２から基準映像信号、参照映像信号が入力され、基準映像信号の各画素に対応する対応点である画素を参照映像信号から探索する。対応点探索部１２３３は、例えば、ブロックマッチングによって対応点を探索する。ここで、対応点探索部１２３３は、基準映像信号において注目する画素（基準注目画素）を含む領域である基準注目ブロックと、基準注目ブロックと同一の数の画素を含む参照映像内の領域（参照注目ブロック）との間の指標値を算出する。算出される指標値は、基準注目ブロックに含まれる画素毎の信号値と参照注目ブロックに含まれる画素毎の信号値の類似度を表す。対応点探索部１２３３は、類似度が最も高いことを示す指標値をとる参照注目ブロックを定める。対応点探索部１２３３は、参照注目ブロックと対応する基準注目ブロックとの間の水平方向の距離を表す視差値を、基準注目画素毎に定める。対応点探索部１２３３は、基準注目画素毎の視差値を視差マップとして障害物判定部１２４に出力する。

次に、参照映像信号の一例について説明する。
図５は、参照映像信号の一例である参照映像信号４２を表す概念図である。
図５において、右方向が水平方向（ｘ方向）、下方向が垂直方向（ｙ方向）を表す。参照映像信号４２の左上にある四角形は、参照注目ブロック４２２を表す。参照注目ブロック４２２の右側にある四角形は、探索終了ブロック４２３を表す。ｘ、ｙは、参照注目ブロックの左上端の注目画素（参照注目画素）の水平方向の座標、垂直方向の座標をそれぞれ表す。この座標は、後述する基準映像信号４１における基準注目画素の座標と同一である。探索範囲５２は、参照注目画素を変更する範囲を表である。図５に示される例では、探索範囲５２は、ｘ、ｙから、予め定められた画素数（最大視差値、例えば１６）だけ水平方向にずれた位置までの間である。探索終了ブロック４２３は、この位置に参照注目画素を有する参照注目ブロックである。つまり、探索終了ブロック４２３を終点とする矢印は、対応点探索部１２３３が、この探索終了ブロック４２３まで参照注目ブロックを１画素ずつ水平方向に移動させながら、後述する基準注目ブロック４１２を用いて指標値を算出することを表す。

次に基準映像信号の一例について説明する。
図６は、基準映像信号の一例である基準映像信号４１を表す概念図である。
図６における水平方向、垂直方向の位置関係は、図５と同様である。基準映像信号４１の左上にある実線の四角形は、基準注目ブロック４１２を表す。図６において、基準注目ブロック４１２の左上端のｘ、ｙは、基準注目画素の座標を示す。基準映像信号４１の左上端の破線の四角形は、基準開始ブロック４１１である。基準開始ブロック４１１は、基準注目画素が基準映像信号４１の左上端の画素とする基準注目ブロックである。基準終了ブロック４１３は、下端の画素が基準映像信号４１の下端となり、右端の画素が水平方向終端５３となる基準注目ブロックである。水平方向終端５３の水平方向の座標は、基準映像信号４１の水平方向の座標値の最大値よりも最大視差値だけ小さい値、つまり基準映像信号４１の右端よりも探索範囲５２だけ左側にある位置にあることを示す。

基準開始ブロック４１１を起点とする矢印は、対応点探索部１２３３が、右端が水平方向終端５３に至るまで、１画素ずつ基準注目ブロックを移動させてブロックマッチングを行うことを表す。これにより、参照注目ブロック４２２の探索範囲５２が、参照映像信号４２の範囲外になることを回避する。左斜め下に向かう矢印は、対応点探索部１２３３が、その後、基準注目画素の座標のｘ座標を最小値に戻し、ｙ座標を１増加するように、基準注目ブロックの位置を変更することを表す。対応点探索部１２３３は、基準注目ブロック４１２が基準終了ブロック４１３に達するまで、順次移動させてブロックマッチングを行う。これにより、対応点探索部１２３３は、基準注目画素毎に基準注目ブロック４１２と対応する参照注目ブロック４２２の座標を求め、視差値を算出する。

基準注目ブロック４１２と参照注目ブロック４２２との類似度を表す指標値は、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ、差分絶対値和）である。ＳＡＤは、例えば、式（２）を用いて表されるＳ_ＳＡＤである。

式（２）において、Ｍ、Ｎは、それぞれ水平方向の画素数、垂直方向の画素数（いずれも１よりも大きい整数）を示し、基準注目ブロック、参照注目ブロックにおいていずれも共通な変数である。ｉ、ｊは、それぞれ水平方向の画素のインデックス、垂直方向の画素のインデックスである。Ｒ（ｉ，ｊ）は、参照注目ブロックにおける画素ｉ、ｊの信号値を示す。Ｔ（ｉ，ｊ）は、基準注目ブロックにおける画素ｉ、ｊの信号値を示す。即ち、ＳＡＤは、画素毎の信号値の基準注目ブロック及び参照注目ブロック間の絶対値の総和である。従って、ＳＡＤが小さいほど、基準注目ブロックと参照注目ブロックの類似度が高いことを表す。

次に、参照注目ブロック４２２、基準注目ブロック４１２の一例について説明する。
図７は、参照注目ブロックの一例を表す概念図である。図８は、基準注目ブロックの一例を表す概念図である。
図７、８における水平方向、垂直方向の位置関係は、図５と同様である。ｉ、ｊは、左上端を、それぞれ１、１とする画素のインデックスを示す。

本実施形態では、対応点探索部１２３３は、指標値としてＳＡＤの代わりに、差分二乗和（ＳＳＤ；Ｓｕｎ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、正規化相互相関（ＮＣＣ；Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）等、を用いてもよい。

視差マップは、画素毎の視差値のデータを含む距離情報である。視差値と距離とは、式（３）に示す関係がある。

式（３）において、ｆは、焦点距離、ｂは、カメラ間隔、ｐは、画素ピッチ（画素間間隔）、ｄは、視差値をそれぞれ表す。つまり、ステレオ撮影部１１までの距離が小さい被写体ほど視差値が大きく、距離が大きい被写体ほど視差値が小さい。視差値の大小を、濃淡で表した映像も、視差マップと呼ぶことがある。

図９は、視差マップの一例である視差マップ６１１を表す図である。
図９が表す視差マップ６１１では、中央より左下と、中央より右上に、それぞれ周囲よりも明るい領域が表されている。これらの領域は、周囲よりもステレオ撮影部１１までの距離が短い障害物を表す領域である。障害物を表す領域の周囲は、上から下に向けて次第に明るくなる背景を表す。即ち、この背景は上から下に向けてステレオ撮影部１１までの距離が次第に小さくなるが、障害物よりも距離が大きいことを表す。

（障害物判定部１２４が行う処理）
次に、障害物判定部１２４が行う処理について説明する。
障害物判定部１２４は、対応点探索部１２３３から入力された視差マップに含まれる画素毎の視差値から地面視差データに含まれる対応する画素の視差値を差し引いて画素毎の地面差分値（背景差分値）を算出する。障害物判定部１２４は、地面差分値からなる地面差分データ（背景差分データ）を生成する。

図１０は、地面視差データが表す映像の一例である地面視差データ６１２を表す図である。
図１０によれば、地面視差データ６１２が表す映像は、上から下に向けて次第に明るくなる。地面視差データ６１２は、地面映像の画素毎の視差値である地面視差値を信号値として有する。つまり、地面視差データ６１２が表す映像は、上から下に向けてステレオ撮影部１１からの距離が次第に短くなる地面を背景映像として表す。

図１１は、地面差分データが表す映像の一例である地面差分データ６１３を表す図である。
地面差分データ６１３は、障害物判定部１２４が、図９に表す視差マップ６１１と図１０に表す地面視差データ６１２に基づいて生成したデータである。地面差分データ６１３は、中央より左下と、中央より右上に、それぞれ周囲よりも明るい障害物の領域が表されている。これらの領域の周囲が黒塗りであることから、地面差分値が、ほぼゼロであることを表す。つまり、視差マップ６１１の背景における視差値から、地面視差データ６１２における対応する領域の視差値が相殺されていることを表す。但し、中央より右上の障害物のほうが、中央より左上の障害物よりも暗く表されている。つまり、中央より右上の障害物のほうが、周囲との視差値の差が小さいことを表す。これにより、障害物の検出に不要な、地面（背景）部分の視差値が除去される。

障害物判定部１２４は、生成した地面差分データのうち、地面差分データに含まれる画素毎の地面差分値が、予め定めた地面差分値の閾値よりも大きい画素が占める領域の信号を抽出して障害物映像信号を生成する。これにより、地面差分値が表す距離が、予め定めた閾値に対応するステレオ撮影部１１からの距離（例えば、２０ｍ）よりも短い障害物を表す映像が抽出される。なお、障害物判定部１２４は、障害物映像信号を生成する際、それ以外の部分の画素毎の信号値を、例えばゼロと定める。

図１２は、障害物抽出映像の一例である障害物抽出映像６１４を表す図である。
図１２によれば、障害物抽出映像６１４は、障害物判定部１２４が、地面差分データ６１３における画素毎の地面差分値が、予め定めた閾値よりも大きい画素の領域の障害物抽出映像信号が表す映像である。障害物抽出映像６１４では、中央より左下の明るい障害物の領域が抽出されたことを表す。他方、地面差分データ６１３に表されていた中央より右上の、暗く表されていた障害物は、障害物抽出映像６１４には表されていない。つまり、この領域では信号値がゼロであり、中央より左下の障害物を表す映像のみが抽出されたことを表す。

（エッジ抽出部１２５が行う処理）
次に、エッジ抽出部１２５が行う処理について説明する。
エッジ抽出部１２５は、入力された基準映像信号に含まれる画素毎の信号値に対して空間差分値を算出して差分映像信号を生成する。エッジ抽出部１２５は、差分映像信号に含まれる空間差分値の絶対値が、予め定めた閾値よりも大きい領域をエッジ領域と定め、定めたエッジ領域を表すエッジ映像信号を生成する。エッジ抽出部１２５は、例えば、エッジ領域に含まれる画素の信号値を１、エッジ領域に含まれない画素の信号値を０とおいてエッジ映像信号を生成する。

エッジ抽出部１２５は、空間差分値を算出する際、例えば差分フィルタの一種であるラプラシアンフィルタ（Ｌａｐｌａｃｉａｎ ｆｉｌｔｅｒ）を用いて空間フィルタリング処理を行う。ラプラシアンフィルタを用いることによって、エッジ抽出部１２５は、信号値の空間二次微分を算出する。
図１３は、ラプラシアンフィルタの一例であるラプラシアンフィルタ６２を表す概念図である。ラプラシアンフィルタ６２は、水平方向の画素数が３、垂直方向の画素数が３の二次元フィルタである。ラプラシアンフィルタ６２は、フィルタ係数を与える隣接画素の数が８の８方向のラプラシアンフィルタである。ラプラシアンフィルタ６２では、中央の画素が、注目画素に対応するフィルタ係数８である。左上、上、右上、左、右、左下、下及び右下の画素が、それぞれ注目画素を基準として、左上、上、右上、左、右、左下、下及び右下の画素に対応するフィルタ係数−１である。エッジ抽出部１２５は、フィルタリング処理において、注目画素毎に対応する画素とフィルタ係数による重み付け和を空間差分値として算出する。なお、本実施形態では、上述の８方向のラプラシアンフィルタの代わりに４方向のラプラシアンフィルタを用いてもよい。４方向のラプラシアンフィルタは、注目画素と、注目画素に隣接する上、下、左及び右の画素に各々対応する非零のフィルタ係数を与える二次元フィルタである。

図１４は、基準映像の一例である基準映像６３を表す図である。
基準映像６３は、左下端から右上に平行して延びる２本の線と、中央より左下に障害物と、中央より右上に障害物を示す。これらの２本の線と２個の障害物の境界では濃淡の変化が著しい。
図１５は、エッジ映像の一例であるエッジ映像６４を表す図である。
エッジ映像６４は、エッジ抽出部１２５が、基準映像６３（図１４）に基づいて生成したエッジ映像信号が表す映像である。エッジ映像６４は、２本の線と２個の障害物の境界を白抜き（信号値１）で表し、それ以外の部分を黒塗り（信号値０）で表す。即ち、図１５は、基準映像６３のうち濃淡の変化が著しい境界がエッジ領域として抽出されたことを表す。

（マスク処理部１２６が行う処理）
次に、マスク処理部１２６が行う処理について説明する。
マスク処理部１２６は、障害物判定部１２４から障害物抽出映像信号が入力され、エッジ抽出部１２５からエッジ映像信号が入力される。マスク処理部１２６は、障害物抽出映像信号に含まれる画素毎の地面差分値から、エッジ映像信号が表すエッジ領域に含まれる画素の地面差分値を信号値として抽出する。マスク処理部１２６は、エッジ領域に含まれない画素の信号値に対して、予め定めた信号値（例えば、０）を定めて障害物エッジ映像信号を生成する。

図１６は、障害物エッジ映像の一例である障害物エッジ映像６５を表す図である。
障害物エッジ映像６５は、マスク処理部１２６が障害物抽出映像６１４（図１２）及びエッジ映像６４（図１５）に基づいて生成した障害物エッジ映像信号が表す映像である。障害物エッジ映像６５は、障害物抽出映像６１４が表す障害物のエッジ領域を表す。障害物エッジ映像６５では、中央より左下の障害物の境界を表すエッジ領域が、その周辺よりも明るく表され、このエッジ領域の周辺の領域が、黒塗り（信号値０）で表されている。

（障害物映像重畳部１２７が行う処理）
次に、障害物映像重畳部１２７が行う処理について説明する。
障害物映像重畳部１２７は、マスク処理部１２６から入力された障害物エッジ映像信号が表すエッジ領域における画素の信号値として、視差マップ生成部１２３から入力された視差マップが表す画素毎の視差値に対応した距離依存信号値に変更する。障害物映像重畳部１２７は、エッジ領域以外の領域における画素の信号値を予め定めた信号値（例えば０）と設定する。これにより、障害物映像重畳部１２７は、画素毎に変更した信号値を有する距離依存障害物エッジ映像信号を生成する。即ち、距離依存障害物エッジ映像は、障害物のエッジ領域を、視差マップが表す画素毎の視差値に基づく距離に応じた態様で表された映像である。
障害物映像重畳部１２７は、ステレオ撮影部１１から入力された基準映像信号に含まれる信号値のうちエッジ領域における画素の信号値を、距離依存障害物エッジ映像信号に含まれる画素毎の距離依存信号値に置き換えて、障害物重畳映像信号を生成する。これにより、距離依存障害物エッジ映像が、ステレオ撮影部１１から入力された基準映像信号に重畳される。

図１７は、障害物重畳映像の一例である障害物重畳映像６６を表す図である。
障害物重畳映像６６は、障害物映像重畳部１２７が、障害物エッジ映像６５（図１６）と視差マップ６１１（図９）に基づいて生成した距離依存障害物エッジ映像を、基準映像６３（図１４）に重畳した映像である。
図１７では、障害物重畳映像６６において、中央左下の障害物の境界のエッジ部分が、周囲と異なる輝度となるように輝度を変化させて表示されている。この例では、障害物映像重畳部１２７は、視差値と輝度の変化量が比例するように距離依存信号値を算出している。具体的には、障害物映像重畳部１２７が、その障害物のエッジ領域における画素の視差値が予め定めた最大視差値のとき変化量が信号値を正負反転させた値（輝度値がゼロ）、視差値がゼロのとき変化量がゼロとなるように距離依存信号値を定める。
これにより、障害物の境界のエッジ部分が周囲よりも異なる輝度で表示されるため、利用者は注意すべき障害物を容易に識別できる。

（本実施形態に係る映像処理）
次に、本実施形態に係る映像処理について説明する。
図１８は、本実施形態に係る映像処理を表すフローチャートである。
（ステップＳ１０１）視差マップ生成部１２３は、ステレオ撮影部１１から基準映像信号及び参照映像信号が入力される。その後、ステップＳ１０２に進む。
（ステップＳ１０２）視差マップ生成部１２３は、基準映像信号が表す基準映像と対応する参照映像信号が表す参照映像の間の視差を表す視差値を含む視差マップを、例えばブロックマッチングを行って生成する。視差マップ生成部１２３は生成した視差マップを障害物判定部１２４に出力する。その後、ステップＳ１０３に進む。

（ステップＳ１０３）障害物判定部１２４は、視差マップ生成部１２３から入力された視差マップと、予め記憶された地面視差データに基づいて障害物の映像を表す障害物抽出映像信号を生成する。障害物判定部１２４は、視差マップから地面視差データを減算して、地面差分データを生成する。ここで、障害物判定部１２４は、地面差分データに含まれる画素毎の差分値が、予め定めた閾値よりも大きい画素が占める領域の信号を障害物抽出映像信号として抽出することによって生成する。障害物判定部１２４は、生成した障害物抽出映像信号をマスク処理部１２６に出力する。その後、ステップＳ１０４に進む。

（ステップＳ１０４）エッジ抽出部１２５には、ステレオ撮影部１１から例えば基準映像信号が入力される。エッジ抽出部１２５は、入力された映像信号に対して、例えば、差分フィルタを用いて、濃淡の空間変化が著しいエッジ領域を抽出する。エッジ抽出部１２５は、エッジ領域の映像を表すエッジ映像信号をマスク処理部１２６に出力する。その後、ステップＳ１０５に進む。

（ステップＳ１０５）マスク処理部１２６は、障害物判定部１２４から障害物抽出映像信号が入力され、エッジ抽出部１２５からエッジ映像信号が入力される。マスク処理部１２６は、障害物抽出映像信号に含まれる画素毎の信号値から、エッジ領域に含まれる画素の信号値を抽出して障害物エッジ映像信号を生成する。マスク処理部１２６は、生成した障害物エッジ映像信号を障害物映像重畳部１２７に出力する。その後、ステップＳ１０６に進む。

（ステップＳ１０６）障害物映像重畳部１２７には、ステレオ撮影部１１から、例えば、基準映像信号から入力され、マスク処理部１２６から障害物エッジ映像信号が入力される。また、障害物映像重畳部１２７には、視差マップ生成部１２３から視差マップが入力される。
障害物映像重畳部１２７は、映像信号に含まれる画素のうち、障害物エッジ映像信号が表す障害物のエッジ領域に含まれる画素の信号値を、当該画素の視差値に対応した信号値に変更して障害物重畳映像信号を生成する。障害物映像重畳部１２７は、生成した障害物重畳映像信号をディスプレイ１３に出力する。その後、処理を終了する。

（変形例１）
次に、本実施形態に係る一変形例である変形例１について説明する。
変形例１では、障害物映像重畳部１２７は、予め定めた視差値と色信号値とを対応付けた色信号データが記憶された記憶部を備え、障害物毎のエッジ領域に含まれる画素毎の視差値に対応した色信号値を当該記憶部から読み出す。障害物映像重畳部１２７は、読み出した色信号値を、上述の距離依存信号値と定める。
色信号値を表す表色系は、例えば、赤色、緑色、青色の各色の信号値からなるＲＧＢ表色系で表された信号値、輝度と２つの色差からなるＹＣｂＣｒ表色系で表された信号値等、色彩を数値で表すことができれば、いかなる表色系を用いてもよい。

上述の色信号データでは、例えば、視差値が上述の最大視差値の場合に黄色を与える色信号値１を対応付け、視差値が予め定めた最小視差値（例えば、０）に対しては赤色を与える色信号値２を対応付けておく。最小視差値から最大視差値の間の視差値に対しては、色信号値１と色信号値２を補間する。最小視差値よりも小さい視差値に対しては色信号値２を対応付ける。ここで最小視差値は、最大視差値よりも小さくゼロより大きい視差値である。

ここで、本実施形態に係る色信号データの一例について説明する。
図１９は、本実施形態に係る色信号データの一例を表す表である。
図１９において、左列は視差値を表し、右列は色信号値を表す。図１９が示す例では、色信号値は、各色の信号値をそれぞれ８ビットの整数で表すＲＧＢ表色系で示されている。最小視差値０に対応する色信号値２（２５５，０，０）では、赤色の信号値が２５５であり、緑色、青色の信号値がそれぞれ０である。最大視差値１６に対応する色信号値１（２５５，２５５，０）では、赤色、緑色の信号値がそれぞれ２５５であり、青色の信号値が０である。この例では、赤色、青色の信号値は、視差値によらず、それぞれ２５５、０である。但し、緑色の信号値は、視差値０から１５の間では、視差値が１増加する毎に１６ずつ増加する。緑色の信号値は、視差値が１５から１６に増加すると、２４０から２５５と１５だけ増加する。これは、８ビットの整数の最大値が２５５であるためである。

この例によれば、車両２に対して接近した障害物の映像に重畳されるエッジは赤色で表示され、車両２から比較的離れた障害物の映像に重畳されるエッジは黄色で表示される。これにより、利用者は、障害物の距離を色彩の変化により直感的に把握できるため、注意すべき障害物を容易に認識することができる。

（変形例２）
次に、本実施形態に係る他の変形例である変形例２について説明する。
変形例２では、障害物映像重畳部１２７は、障害物の映像に重畳されるエッジを一定時間間隔で点滅させ、視差値が大きくなるほど容易に点滅が感知されるように距離依存信号値を定める。障害物映像重畳部１２７は、例えば、予め定めた視差値と点滅周期とを対応付けた点滅周期データが記憶された記憶部を備え、障害物毎のエッジ領域に含まれる画素毎の視差値に対応した点滅周期を当該記憶部から読み出してもよい。障害物映像重畳部１２７は、読み出した点滅周期の半分の時間間隔で、予め定めた最大輝度値と、予め定めた最小輝度値が交互に繰り返されるように上述の距離依存信号値を定める。

ここで、本実施形態に係る点滅周期データの一例について説明する。
図２０は、本実施形態に係る点滅周期データの一例を表す表である。
図２０において、左列は視差値を表し、右列は点滅周期を表す。図２０が示す例では、視差値が上述の最小視差値の場合に点滅周期１（例えば、０．５秒）を対応付け、最大視差値の場合には点滅周期２（例えば、２．１秒）を対応付けておく。最小視差値から最大視差値の間の視差値に対しては、点滅周期１と点滅周期２を補間する。点滅周期１は、人間が点滅を最も容易に感知する点滅周期であって、これよりも短くなると点滅の感知が困難になる点滅周期である。点滅周期２は、これよりも長くなると点滅として感知されなくなる点滅周期である。この例では、視差値が０から１６まで１ずつ増加する毎に、点滅周期が０．５秒から２．１秒まで０．１秒ずつ増加する。

その他の例として、障害物映像重畳部１２７は、予め定めた視差値と、最大輝度値並びに最小輝度値とを対応付けた点滅輝度データが記憶された記憶部を備え、障害物毎のエッジ領域に含まれる画素毎の視差値に対応した最大輝度値並びに最小輝度値を当該記憶部から読み出してもよい。その場合、障害物映像重畳部１２７は、予め定めた時間間隔（例えば、０．２５秒、点滅周期０．５秒に相当）で、読み出した最大輝度値と、最小輝度値が交互に繰り返されるように上述の距離依存信号値を定める。

ここで、本実施形態に係る点滅輝度データの一例について説明する。
図２１は、本実施形態に係る点滅輝度データの一例を表す表である。
図２１において、最左列から右へ順に、視差値、最大輝度値、最小輝度値を表す。図２０が示す例では、最大輝度値、最小輝度値は、色に依存せず単に濃淡を表す輝度値である。図２１において、最大輝度値は、視差値に関わらず２５５である。他方、視差値が０から１５まで１ずつ増加する毎に、最小輝度値は０から２４０まで１５ずつ増加するように補間されている。これにより、視差値が減少するほど、最大輝度値と最小輝度値との差が増加し、利用者は点滅を容易に感知する。

なお、本実施形態では、障害物映像重畳部１２７は、点滅周期データ、点滅輝度データともに用い、視差値に対応した点滅周期と、最大輝度値並びに最小輝度値を、ともに用いて距離依存信号値を定めるようにしてもよい。
この例によれば、車両２に対して接近した障害物の映像に重畳されるエッジが著しく点滅して表示され、車両２から比較的離れた障害物の映像に重畳されるエッジは、緩やかに点滅して表示される。これにより、利用者は、障害物の距離を点滅の程度により直感的に把握できるため、注意すべき障害物を容易に識別することができる。

なお、上述では、ステレオ撮影部１１が、２個のカメラモジュール１１１、１１２を備え、２視点の映像を表す映像信号を取得する場合を例にとって説明したが、本実施形態ではこれには限らない。ステレオ撮影部１１は、２個よりも多い視点（例えば、３視点）の映像を表す映像信号を取得してもよい。
なお、上述では、カメラモジュール１１１が撮影した映像を基準映像とし、その他のカメラモジュールが撮影した映像を参照映像した場合を例にとって説明したが、本実施形態では、これには限られない。本実施形態では、何れか1個のカメラモジュール、例えばカメラモジュール１１２が撮影した映像を基準映像とし、その他のカメラモジュールが撮影した映像を参照映像としてもよい。
なお、上述では、カメラモジュール１１１が車両２の背面に設置されている場合を例にとって説明したが、本実施形態では、これには限られない。本実施形態では、車両２の周囲の映像を撮影できる位置であれば、いかなる位置、例えば車両２の前面、左側面、右側面、等であってもよい。

なお、上述では、障害物判定部１２４が背景映像として予め撮影した地面映像を用いる場合を例にとって説明したが、本実施形態ではこれには限られない。本実施形態では、背景映像として、例えば、建築物、設置物等の地面に定着した物体や、その他、車両、歩行者等の移動物体が通行する可能性がある領域や、その領域の周囲を表す映像であってもよい。
なお、上述では、障害物判定部１２４が、地面差分値が予め定めた閾値よりも大きい画素の領域の映像を抽出する場合を例にとって説明したが、地面差分値が予め定めた範囲にある領域の映像を抽出する処理であれば、これには限られない。

なお、上述では、エッジ抽出部１２５が、ラプラシアンフィルタを用いて信号値の空間差分値を算出する場合を例にとって説明したが、注目画素と周辺の画素との信号値の差分を算出する処理であれば、これには限られない。
なお、上述では、障害物映像重畳部１２７が、視差値と赤色の信号値と黄色の信号値を補間した信号値とを対応づける場合を例にとって説明したが、本実施形態ではこれには限られない。障害物映像重畳部１２７は、最大視差値と最小視差値の間で、視差値に応じた信号値が対応付けられていれば、他の色彩（例えば、青色と黄色の間の補間値）に対応付けられてもよい。

このように、本実施形態では、入力した複数の視点の映像が表す被写体までの距離を示す距離情報（視差マップ）を生成し、生成した距離情報に基づいて、背景から予め定めた範囲の距離にある被写体（障害物）を表す領域を含む被写体映像（障害物映像抽出信号）を抽出する。本実施形態では、抽出した領域に表される被写体の輪郭（障害物エッジ映像信号）を、被写体の距離に応じた態様で入力された映像に重畳する。これにより、利用者は、被写体の距離を、表示された態様により直感的に把握でき、その被写体を注意すべき障害物として容易に識別することができる。

なお、上述した実施形態における映像表示装置１０の一部、例えば、視差マップ生成部１２３、障害物判定部１２４、エッジ抽出部１２５、マスク処理部１２６、及び障害物映像重畳部１２７をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、映像表示装置１０に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における映像表示装置１０の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。映像表示装置１０の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１…映像表示システム、１０…映像表示装置、
１１…ステレオ撮影部、１１１、１１２…カメラモジュール、
１２…映像処理部、
１２３…視差マップ生成部、１２３１、１２３２…座標変換部、１２３３…対応点検索部、
１２４…障害物判定部、１２５…エッジ抽出部、１２６…マスク処理部、
１２７…障害物映像重畳部、
１３…ディスプレイ

Claims (7)

1. 複数の視点の映像を入力し、前記複数の視点の映像が表す被写体までの距離を示す距離情報を生成する距離情報生成部と、
   前記距離情報生成部が生成した距離情報から、背景から予め定めた範囲の距離にある被写体を表す領域を抽出する被写体判定部と、
   前記被写体判定部が抽出した領域に表される被写体の輪郭を、前記被写体の距離に応じた態様で前記入力された映像に重畳する映像重畳部と
   を備えることを特徴とする映像処理装置。
2. 前記被写体判定部は、前記距離情報生成部が生成した距離情報が示す距離が、前記背景として地面の距離から予め定めた範囲にある被写体を抽出することを特徴とする請求項１に記載の映像処理装置。
3. 前記映像重畳部は、前記被写体の輪郭を、前記被写体の距離に応じた色彩で前記入力された映像に重畳することを特徴とする請求項１又は２に記載の映像処理装置。
4. 前記映像重畳部は、前記被写体の輪郭を、前記被写体の距離に応じた周期で点滅させて前記入力された映像に重畳することを特徴とする請求項１から3のいずれかに記載の映像処理装置。
5. 複数の視点の映像を入力し、前記複数の視点の映像が表す被写体までの距離を示す距離情報を生成する距離情報生成部と、
   前記距離情報生成部が生成した距離情報から、背景から予め定めた範囲の距離にある被写体を表す領域を抽出する被写体判定部と、
   前記被写体判定部が抽出した領域に表される被写体の輪郭を、前記被写体の距離に応じた態様で前記入力された映像に重畳する映像重畳部と
   を備えることを特徴とする映像表示装置。
6. 映像処理装置における映像処理方法であって、
   前記映像処理装置が、複数の視点の映像を入力し、前記複数の視点の映像が表す被写体までの距離を示す距離情報を生成する第１の過程と、
   前記映像処理装置が、前記生成した距離情報から、背景から予め定めた範囲の距離にある被写体を表す領域を抽出する第２の過程と、
   前記映像処理装置が、前記抽出した領域に表される被写体の輪郭を、前記被写体の距離に応じた態様で前記入力された映像に重畳する第３の過程と
   を有することを特徴とする映像処理方法。
7. 映像処理装置のコンピュータに、
   複数の視点の映像を入力し、前記複数の視点の映像が表す被写体までの距離を示す距離情報を生成する第１の手順、
   前記生成した距離情報から、背景から予め定めた範囲の距離にある被写体を表す領域を抽出する第２の手順、
   前記抽出した領域に表される被写体の輪郭を、前記被写体の距離に応じた態様で前記入力された映像に重畳する第３の手順
   を実行させるための映像処理プログラム。