JP2012133408A - 画像処理装置およびプログラム - Google Patents

Abstract

【課題】被写体および被写体外を含む視差マップを、処理量を抑えつつ得ることができる画像処理装置を提供すること。
【解決手段】少なくとも２つの視点の画像から視差マップを生成する画像処理装置であって、２つの視点の画像のうち、基準とする画像について、被写体の領域を検出する被写体領域検出部と、被写体の領域についてステレオマッチングを行い、該領域の視差マップを生成する被写体領域マッチング処理部と、被写体の領域外についてステレオマッチングを行い、該領域の視差マップを生成する被写体外領域マッチング処理部と、２つの視差マップを合成する合成処理部とを備える。
【選択図】図１

Description

本発明は、画像処理装置およびプログラムに関する。

従来、２つのカメラによって被写体を撮影した画像についてステレオマッチングを行って視差値を検出し、この視差値に基づき、被写体までの距離を算出する距離計測方法がある。このとき、ステレオマッチングの処理量を抑えるために、撮影した画像中の被写体の領域を検出し、該領域についてのみステレオマッチングを行う距離計測方法がある（例えば、特許文献１）。
また、ステレオマッチングの処理量を抑えるために、探索範囲を複数の距離エリアに分割し、近距離の距離エリアの方が視差分解能が大きくなるように、距離エリア毎に空間分解能を変更する距離分布検知装置もある（例えば、特許文献２）。

特開２００６−１７７９３７号公報 特開２００１−１２６０６５号公報

しかしながら、上述の距離計測方法や距離分布検知装置においては、被写体外についての距離分布が得られない、あるいは、被写体外の距離分布（視差マップ）の算出にも必要な処理量が多いという問題がある。

本発明は、このような事情に鑑みてなされたもので、その目的は、被写体および被写体外を含む視差マップを、処理量を抑えつつ得ることができる画像処理装置およびプログラムを提供することにある。

（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、少なくとも２つの視点の画像から視差マップを生成する画像処理装置であって、前記画像のうち、基準とする画像について、被写体の領域を検出する被写体領域検出部と、前記被写体の領域についてステレオマッチングを行い、該領域の視差マップを生成する被写体領域マッチング処理部と、前記被写体の領域外についてステレオマッチングを行い、該領域の視差マップを生成する被写体外領域マッチング処理部と、前記２つの視差マップを合成する合成処理部とを備えることを特徴とする画像処理装置である。

（２）また、本発明の他の態様は、上述の画像処理装置であって、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の画素数が、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の画素数よりも少ないことを特徴とする。

（３）また、本発明の他の態様は、上述の画像処理装置であって、前記少なくとも２つの視点の画像を縮小する縮小処理部を備え、前記被写体外領域マッチング処理部は、前記縮小された画像に対して、マッチングを行うことを特徴とする。

（４）また、本発明の他の態様は、上述の画像処理装置であって、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の画角（基準とする画像の画角における探索範囲の占める部分）が、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の画角より小さいまたは等しいことを特徴とする。

（５）また、本発明の他の態様は、上述の画像処理装置であって、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最大視差の画角（基準とする画像の画角における最大視差の占める部分）が、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最大視差の画角よりも小さいことを特徴とする。

（６）また、本発明の他の態様は、上述の画像処理装置であって、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最大視差の画素数が、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最大視差の画素数よりも少ないことを特徴とする。

（７）また、本発明の他の態様は、上述の画像処理装置であって、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最小視差の画角（基準とする画像の画角における最小視差の占める部分）が、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最小視差の画角よりも大きいことを特徴とする。

（８）また、本発明の他の態様は、上述の画像処理装置であって、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最小視差の画素数が、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最小視差の画素数よりも大きいことを特徴とする。

（９）また、本発明の他の態様は、上述の画像処理装置であって、前記少なくとも２つの視点の画像は動画像であり、前記被写体領域マッチング処理部または前記被写体外領域マッチング処理部は、ステレオマッチングを行う際の探索範囲を、前フレームのステレオマッチングの結果に基づき決定することを特徴とする。

（１０）また、本発明の他の態様は、上述の画像処理装置であって、前記被写体領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの画素数が、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの画素数よりも多いことを特徴とする。

（１１）また、本発明の他の態様は、上述の画像処理装置であって、前記被写体領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの画角が、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの画角よりも大きいことを特徴とする。

（１２）また、本発明の他の態様は、上述の画像処理装置であって、前記被写体領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの大きさを、前記被写体領域検出部が検出した被写体の領域に応じた大きさにすることを特徴とする。

（１３）また、本発明の他の態様は、上述の画像処理装置であって、前記被写体領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの大きさを、前記被写体領域検出部が検出した被写体の領域より大きくすることを特徴とする。

（１４）また、本発明の他の態様は、上述の画像処理装置であって、前記基準とする画像を縮小する基準画像縮小処理部を備え、前記被写体領域検出部は、前記縮小された画像について、被写体の領域を検出することを特徴とする。

（１５）また、本発明の他の態様は、少なくとも２つの視点の画像から視差マップを生成する画像処理装置のコンピュータを、前記画像のうち、基準とする画像について、被写体の領域を検出する被写体領域検出部、前記被写体の領域についてステレオマッチングを行い、該領域の視差マップを生成する被写体領域マッチング処理部、前記被写体の領域外についてステレオマッチングを行い、該領域の視差マップを生成する被写体外領域マッチング処理部、前記２つの視差マップを合成する合成処理部として機能させるためのプログラムである。

（１６）また、本発明の他の態様は、少なくとも２つの視点の画像から視差マップを生成する画像処理装置であって、前記少なくとも２つの視点の画像を縮小する縮小処理部と、前記縮小した画像に対してステレオマッチングを行い、視差の最大値を検出する縮小画像マッチング処理部と、前記縮小画像マッチング処理部が検出した視差の最大値に基づき、探索範囲を決定し、該探索範囲を用いて、前記少なくとも２つの視点の画像に対してステレオマッチングを行い、前記視差マップを生成するマッチング処理部とを備えることを特徴とする画像処理装置である。

（１７）また、本発明の他の態様は、上述の画像処理装置であって、前記縮小画像マッチング処理部が検出する視差の最大値は、被写体領域における最大値であることを特徴とする。

（１８）また、本発明の他の態様は、少なくとも２つの視点の画像から視差マップを生成する画像処理装置であって、前記少なくとも２つの視点の画像を縮小する縮小処理部と、前記縮小した画像に対してステレオマッチングを行い、前記縮小した画像のライン毎に視差の最大値を検出する縮小画像マッチング処理部と、前記縮小画像マッチング処理部がライン毎に検出した視差の最大値に基づき、前記少なくとも２つの視点の画像の探索範囲をライン毎に決定し、該探索範囲を用いて、前記少なくとも２つの視点の画像に対してステレオマッチングを行い、前記視差マップを生成するマッチング処理部とを備えることを特徴とする画像処理装置である。

この発明によれば、被写体および被写体外を含む距離分布を、処理量を抑えつつ得ることができる。

この発明の第１の実施形態による画像処理装置１００の構成を示す概略ブロック図である。 同実施形態による被写体外領域マッチング処理部１０４の動作を説明する図である。 同実施形態による被写体外領域マッチング処理部１０４の動作を説明する図である。 同実施形態による被写体領域マッチング処理部１０７の動作を説明する図である。 同実施形態による被写体外領域マッチング処理部１０４と被写体領域マッチング処理部１０７のマッチング処理に用いるパラメータの例を示す表である。 同実施形態による画像処理装置１００の動作を説明するフローチャートである。 同実施形態による被写体外領域マッチング処理部１０４と被写体領域マッチング処理部１０７のマッチング処理に用いるパラメータのその他の例を示す表である。 同実施形態による被写体外領域マッチング処理部１０４と被写体領域マッチング処理部１０７のマッチング処理に用いるパラメータのその他の例を示す表である。 この発明の第２の実施形態による画像処理装置２００の構成を示す概略ブロック図である。 この発明の第３の実施形態による画像処理装置２００ａの構成を示す概略ブロック図である。 この発明の第４の実施形態による画像処理装置３００の構成を示す概略ブロック図である。

[第１の実施形態]
以下、図面を参照して、本発明の第１の実施形態について説明する。図１は、本実施形態による画像処理装置１００の構成を示す概略ブロック図である。画像処理装置１００は、入力された少なくとも２視点の画像から、視差マップＭを生成する。本実施形態では、２視点の画像として、左目に相当する視点からの画像である左画像Ｌと、右目に相当する視点からの画像である右画像Ｒとが入力され、左画像Ｌを基準画像とする視差マップを生成する。なお、後述する左画像Ｌに対する処理と右画像Ｒに対する処理を逆にし、右画像Ｒを基準画像とするようにしてもよい。また、本実施形態では、左画像Ｌおよび右画像Ｒの各々は、フルハイビジョンの解像度（１９２０×１０８０）を有し、各画素の輝度値を有する。

図１に示すように、画像処理装置１００は、縮小処理部１０１、１０２、被写体領域検出処理部１０３、被写体外領域マッチング処理部１０４、拡大処理部１０５、１０６、被写体領域マッチング処理部１０７、合成処理部１０８を備える。縮小処理部１０１は、左画像Ｌを縮小する。ここでは、縮小処理部１０１は、縦方向および横方向にそれぞれ１／３に縮小する。すなわち、解像度１９２０×１０８０の画像を、解像度６４０×３６０の画像に縮小する。この縮小は、画像を間引くことで実現してもよいし、３×３画素のブロックの平均値を、１画素とすることで実現してもよい。また、バイリニア補間など、一般的に利用される縮小の方法で実現してもよい。縮小処理部１０２は、右画像Ｒを、縮小処理部１０１と同様にして縮小する。

被写体領域検出処理部１０３は、縮小処理部１０１が縮小した左画像について、被写体の領域を検出する。被写体の領域を検出する方法としては、以下のような方法がある。なお、これらのうち、いずれの方法を用いても良いが、これらに限らず、その他の方法をもちいてもよい。ａ）顔認識処理を行い検出した顔の領域を被写体の領域とする。顔を複数検出したときは、検出した顔のうち、画像の中心に最も近いものの領域を被写体の領域とする。また、検出した顔のうち、面積が最も大きいものの領域を被写体の領域としてもよい。ｂ）処理対象の２視点の画像が動画であるときは、縮小した左画像について、フレーム間で動き検出を行ない、動いた領域を被写体の領域とする。

ｃ）縮小した左画像に対してエッジ検出を行ない、エッジで囲われた領域のうち、画像の中心を含む領域を被写体の領域とする。あるいは、エッジで囲われた領域のうち、強いエッジで囲われた領域、すなわちピントがあっている領域を被写体の領域とする。ｄ）縮小した左画像を液晶表示装置などの表示デバイスに表示し、タッチパネル、マウス、タブレットなどの入力デバイスを用いてユーザにより指定された領域を被写体の領域とする。ｅ）縮小した左画像を色に基づき領域分割し、分割した領域のうち、画像の中心を含む領域を被写体の領域とする。なお、この場合、すくなくとも左画像Ｌは、輝度値のみでなく、色差値、ＲＧＢ値など、各画素の色を示す情報を有する。ｆ）縮小した左画像と、縮小した右画像とを用いて、視差マップを生成し、視差値の大きさ、あるいは、視差値のエッジに基づき、縮小した左画像を領域分割し、画像の中心を含む領域、あるいは、視差が最も大きい領域を被写体の領域とする。

被写体外領域マッチング処理部１０４は、被写体領域検出処理部１０３が検出した被写体の領域を除いた領域について、縮小処理部１０１が縮小した左画像を基準として、縮小処理部１０２が縮小した右画像との間でステレオマッチングを行い、視差マップを生成する。拡大処理部１０５は、被写体外領域マッチング処理部１０４が生成した視差マップを、縮小処理部１０１にて縮小した倍率の逆数倍に拡大する。本実施形態では、縮小処理部１０１にて１／３に縮小しているので、縦方向および横方向にそれぞれ３倍に拡大する。すなわち、解像度６４０×３６０の画像を、解像度１９２０×１０８０の画像に拡大する。なお、このとき画素数だけでなく、視差値についても同様の倍率（ここでは、３倍）で拡大する。

拡大処理部１０６は、被写体領域検出処理部１０３が検出した被写体の領域を示す情報を、拡大処理部１０５と同様に、縮小処理部１０１にて縮小した倍率の逆数倍に拡大する。すなわち、縦方向および横方向にそれぞれ３倍に拡大して、解像度６４０×３６０から解像度１９２０×１０８０に変換する。被写体領域マッチング処理部１０７は、拡大処理部１０６により拡大された情報が示す被写体の領域について、左画像Ｌを基準として、右画像Ｒとの間でステレオマッチングを行い、視差マップを生成する。合成処理部１０８は、拡大処理部１０５が拡大した視差マップと、被写体領域マッチング処理部１０７が生成した視差マップとを合成して、左画像Ｌに対応する視差マップＭを生成する。合成処理部１０８は、被写体の領域については、被写体領域マッチング処理部１０７が生成した視差マップから抽出した視差値を配置し、被写体の領域を除いた領域については、拡大処理部１０５が拡大した視差マップから抽出した視差値を配置することで、これらを合成して、左画像Ｌに対応する視差マップＭを生成する。

図２と図３は、被写体外領域マッチング処理部１０４の動作を説明する図である。図２において、画像ＤＬは、縮小処理部１０１が縮小した左画像の一例である。図２に示すように、画像ＤＬの解像度は、６４０×３６０である。その中心付近の符号ＯＢ１で示す領域は、被写体領域検出処理部１０３が検出した被写体の領域である。符号ＯＷ１で示す領域は、注目画素を中心とし、ステレオマッチングを行う際のウィンドウの一例である。ここで、ウィンドウは、３×３の画素からなるブロックである。符号ＤＡ１で示す領域は、ステレオマッチング処理を行えない領域であり、画像ＤＬの左端から、最大視差ＭＤ１までの領域と、画像ＤＬの上端、下端、右端から、ウィンドウＯＷ１の幅から１画素を引いた値の半分ＮＷ１までの領域からなる。符号ＭＡ１で示す領域、すなわち、画像ＤＬから領域ＯＢ１、ＤＡ１を除いた領域は、被写体外領域マッチング処理部１０４がステレオマッチングを行う領域である。被写体外領域マッチング処理部１０４は、図２に矢印で示すようにラスタスキャンする順に、この領域ＭＡ１の各画素を注目画素として選択する。

図３において、画像ＤＲは、縮小処理部１０２が縮小した右画像の一例である。図３に示すように画像ＤＲの解像度は、６４０×３６０である。その中心付近には、符号ＯＢ２で示す、画像ＤＬにおける領域ＯＢ１に対応する被写体が表示されている領域がある。なお、この領域ＯＢ２は、当該画像処理装置１００は認識しない。図３には、画像ＤＬにおける注目画素の位置が注目画素位置Ｘであるときの、画像ＤＲにおける探索範囲ＳＡを示す。探索範囲ＳＡは、注目画素位置Ｘ対して左に最大視差ＭＤ１の位置から、注目画素位置Ｘに対して左に最小視差ＭＳ１の位置までである。

被写体外領域マッチング処理部１０４は、画像ＤＬ上の各注目画素について、注目画素を中心とするウィンドウ（例えば、ウィンドウＯＷ１）と、画像ＤＲ上の探索範囲内の各画素を中心とするウィンドウ（例えば、ウィンドウＯＷ２）とを比較し、画像ＤＲ上の探索範囲内の各画素を中心とするウィンドウの中から、画像ＤＬ上の注目画素を中心とするウィンドウに最も近いものを選択する。そして、被写体外領域マッチング処理部１０４は、画像ＤＬ上の注目画素と、画像ＤＲ上の選択したウィンドウの中心の画素との座標の差を、画像ＤＬ上の注目画素における視差値とする。なお、被写体外領域マッチング処理部１０４は、上述のウィンドウ同士の比較には、例えば、ＳＡＤ（Sum of Absolute Difference；差分絶対値和）法を用いる。なお、被写体外領域マッチング処理部１０４におけるウィンドウ同士の比較には、ＳＡＤ法に限らず、ＳＳＤ（Sum of Squared Difference；差分２乗和）やＮＣＣ（Normalized Cross-Correlation；正規化相互相関）など、その他の方法を用いてもよい。さらに、被写体外領域マッチング処理１０４におけるステレオマッチング法には、ＤＰ（Dynamic Programming）や、ＧＣ（Graph Cuts）など、その他の方法を用いても良い。

図４は、被写体領域マッチング処理部１０７の動作を説明する図である。図４において、画像Ｌは、画像処理装置１００に入力された左画像Ｌの一例である。図４に示すように、画像Ｌの解像度は、１９２０×１０８０である。その中心付近の符号ＯＢ２で示す領域は、被写体領域検出処理部１０３が検出し、拡大処理部１０６が拡大した被写体の領域である。符号ＯＷ３で示す領域は、注目画素を中心とし、ステレオマッチングを行う際のウィンドウの一例である。ここで、ウィンドウは、９×９の画素からなるブロックである。被写体領域マッチング処理部１０７は、被写体外領域マッチング処理部１０４と同様にステレオマッチングを行うが、その注目画素は、左画像Ｌの被写体の領域ＯＢ２内のみである。

図５は、被写体外領域マッチング処理部１０４と被写体領域マッチング処理部１０７のマッチング処理に用いるパラメータの例を示す表である。図５に示す例では、被写体外領域マッチング処理部１０４は、最大視差を４０画素、最小視差を０画素、探索範囲を４０画素、ウィンドウサイズを１５×１５画素としている。被写体領域マッチング処理部１０７は、最大視差を１２０画素、最小視差を０画素、探索範囲を１２０画素、ウィンドウサイズを４５×４５画素としている。なお、図５に示す例は、画像処理装置１００に入力された画像の解像度が、１９２０×１０８０であり、縮小処理１０１、１０２による縮小処理が、これらの画像を１／３に縮小、すなわち解像度６４０×３６０の画像に縮小する場合の例である。縮小処理を行っているため、最大視差の画素数が、被写体外領域マッチング処理部１０４において、ステレオマッチングを行う際の探索範囲の最大視差の画素数は、被写体領域マッチング処理部１０７において、ステレオマッチングを行う際の探索範囲の最大視差の画素数よりも少なくなっている。

なお、視差ｘは、基線長ｔｘ×焦点距離ｆ／（被写体との距離Ｄ×画素ピッチｐ）となるので、上述の最大視差を設定する際に、左画像Ｌおよび右画像Ｒを撮影するカメラの合焦可能な最短距離に基づく値を用いてもよい。なお、基線長ｔｘとは、左画像Ｌの視点と、右画像Ｒの視点との間の距離、すなわち左画像Ｌを撮影するカメラの光軸と、右画像Ｒを撮影するカメラの光軸との距離である。また、これら２つのカメラの光軸は平行である。焦点距離ｆは、左画像Ｌおよび右画像Ｒを撮影するカメラの撮影レンズの焦点距離である。画素ピッチｐとは、左画像Ｌおよび右画像Ｒを撮影するカメラの撮像素子の１画素当たりの幅[ｍｍ／ｐｉｘ]である。

図６は、本実施形態における画像処理装置１００の動作を説明するフローチャートである。まず、画像処理装置１００は、左画像Ｌと右画像Ｒとの入力を受ける（Ｓ１）。次に、縮小処理部１０１が左画像Ｌを縮小し、縮小処理部１０２が右画像Ｒを縮小する（Ｓ２）。次に、被写体領域検出処理部１０３が、縮小された左画像から被写体の領域（顔領域）を検出する（Ｓ３）。次に、拡大処理部１０６が、被写体領域検出処理部１０３が検出した被写体領域を、縮小処理部１０１、１０２における倍率の逆数倍に拡大する（Ｓ４）。次に、被写体領域マッチング処理部１０７が、左画像Ｌと右画像Ｒとから被写体領域の視差を検出して、視差マップを生成する（Ｓ５）。次に、被写体外領域マッチング処理部１０４が、縮小された左画像と右画像とから被写体領域以外の領域（背景領域）の視差を検出して、視差マップを生成する（Ｓ６）。次に、拡大処理部１０５が、被写体外領域マッチング処理部１０４が生成した視差マップを、拡大処理部１０６と同様の倍率で拡大する（Ｓ７）。次に、合成処理部１０８が、ステップＳ５で生成した視差マップと、ステップＳ７で拡大した視差マップとを合成して、左画像Ｌに対応する視差マップを生成する（Ｓ８）。

このように、本実施形態では、被写体外領域マッチング処理部１０４における探索範囲、ウィンドウサイズ、マッチングを行う画像サイズ（解像度）を、被写体領域マッチング処理部１０７における値よりも小さくしている。これにより、被写体の領域に比べて、重要度の低い被写体外の領域における視差値の演算量を削減しているので、被写体および被写体外を含む距離分布を、処理量を抑えつつ得ることができる。また、被写体領域マッチング処理部１０７における誤検出についても、抑えることができる。

ステレオマッチングによる距離推定では、距離の近い被写体は視差が急激に変化し、距離の遠い被写体は視差が緩やかに変化する。そのため、被写体領域を入力画像サイズでマッチングし、背景領域を縮小画像サイズでマッチングをすることで被写体のマッチング精度を低下させることなく、画像全体の処理量を削減することができる。また、背景領域の視差は緩やかに変化するため、縮小画像でマッチングを行ってもマッチング精度を低下させずに視差を検出することが可能である。

図７は、被写体外領域マッチング処理部１０４と被写体領域マッチング処理部１０７のマッチング処理に用いるパラメータのその他の例を示す表である。図７に示す例では、被写体外領域マッチング処理部１０４は、最大視差を３０画素、最小視差を０画素、探索範囲を３０画素、ウィンドウサイズを９×９画素としている。被写体領域マッチング処理部１０７は、最大視差を１２０画素、最小視差を０画素、探索範囲を１２０画素、ウィンドウサイズを４５×４５画素としている。

図５の例では、被写体領域マッチング処理部１０７よりも被写体外領域マッチング処理部１０４における探索範囲、ウィンドウサイズの画素数を小さくしていたが、これら探索範囲およびウィンドウサイズの画角は被写体領域マッチング処理部１０７と被写体外領域マッチング処理部１０４とで同じであった。なお、ここで探索範囲およびウィンドウサイズの画角とは、それぞれの撮像面における大きさ（長さ）をｄ、撮像したカメラの焦点距離をｆとしたときに、２×ａｒｃｔａｎ（ｄ／２ｆ）で表される角度である。すなわち、
入力された画像の画角における探索範囲あるいはウィンドウサイズの占める部分である。
焦点距離ｆで撮像した画像を画像処理にて縮小率ｓで縮小した場合の１画素当たりの画角は、１画素の撮像面における大きさが１／ｓ倍となる。したがって、縮小率ｓで縮小した場合の１画素当たりの画角は、前記焦点距離ｆを縮小率ｓの分だけ縮小して撮影した場合の１画素当たりの画角と等価である。そのため、これら探索範囲およびウィンドウサイズの画角は、マッチング処理を行う画像サイズに対する探索範囲あるいはウィンドウサイズの割合と同じである。
なお、この画角は、画像全体の大きさに対する対象の領域の大きさの割合と比例する。

図７の例では、画素数だけでなく、画角についても小さくしている。被写体領域マッチング処理部１０７では、画像全体の大きさは、１９２０×１０８０であるのに対し、探索範囲は水平方向に１２０画素であるので、探索範囲の画角は１２０／１９２０＝３／４８に比例した値である。また、ウィンドウサイズの画角は、水平方向を基準にすると４５／１９２０＝３／１２８に比例した値である。一方、被写体外領域マッチング処理部１０４では、画像全体の大きさは、６４０×３６０であるのに対し、探索範囲は水平方向に３０画素であるので、探索範囲の画角は３０／６４０＝３／６４に比例した値であり、先の３／４８より小さくなっている。また、ウィンドウサイズの画角は、水平方向を基準にすると９／６４０に比例した値であり、先の３／１２８より小さくなっている。これは、遠い距離の被写体は近距離の同じ大きさの被写体と比べ画像上の大きさが小さく撮影されるため、画角を小さくしてもマッチング精度を低下させずに検出できる。そのため、被写体外の領域におけるウィンドウサイズの画角を小さくすることが可能である。

これにより、さらに被写体外の領域における演算量を削減することができる。なお、上述のように、図７に示す例も、図５の例と同様に、画像処理装置１００に入力された画像の解像度が、１９２０×１０８０であり、縮小処理１０１、１０２による縮小処理が、これらの画像を１／３に縮小、すなわち解像度６４０×３６０の画像に縮小する場合の例である。

図８は、被写体外領域マッチング処理部１０４と被写体領域マッチング処理部１０７のマッチング処理に用いるパラメータのその他の例を示す表である。図８に示す例では、被写体外領域マッチング処理部１０４は、最大視差を３０画素、最小視差を０画素、探索範囲を３０画素、ウィンドウサイズを１５×１５画素としている。被写体領域マッチング処理部１０７は、最大視差を１２０画素、最小視差を９０画素、探索範囲を３０画素、ウィンドウサイズを４５×４５画素としている。
図８の例では、被写体領域マッチング処理部１０７における最小視差の画角（あるいは画素数）を、被写体外領域マッチング処理部１０４における最小視差よりも大きくしている。これにより、被写体の領域による演算量についても削減することができる。なお、図８に示す例も、図５および図７の例と同様に、画像処理装置１００に入力された画像の解像度が、１９２０×１０８０であり、縮小処理１０１、１０２による縮小処理が、これらの画像を１／３に縮小、すなわち解像度６４０×３６０の画像に縮小する場合の例である。

また、上述の実施形態において、被写体領域マッチング処理部１０４におけるウィンドウサイズは、被写体領域の大きさに応じた値にしてもよい。被写体領域マッチング処理部１０４は、ウィンドウサイズを被写体領域よりも大きくすると、より好ましい。これは、左画像の注目画素を含むウィンドウが被写体内部に入ってしまうと、右画像の探索範囲内に一致を示すウィンドウが複数発生する場合があり、誤検出が増加する。そのため、ウィンドウサイズを被写体領域より大きくする（すなわち、ウィンドウ内に被写体のエッジが必ず含まれるようにする）ことで、ウィンドウが被写体内部に入ってしまうことを防ぎ、誤検出を低下させることができるからである。
また、上述の実施形態において、縮小した画像全体についてステレオマッチングを行い求めた視差に基づき、被写体領域マッチング処理部１０７の最大視差および探索範囲を決定するようにしてもよい。
また、上述の実施形態において、被写体領域検出処理部１０３は、縮小された左画像に対して、被写体の領域を検出しているが、縮小されていない左画像Ｌに対して、被写体の領域を検出するようにしてもよい。

[第２の実施形態]
以下、図面を参照して、本発明の第２の実施形態について説明する。図９は、本実施形態による画像処理装置２００の構成を示す概略ブロック図である。同図において、図１に対応する部分には、同一の符号（１０１〜１０３）を付し、その説明を省略する。画像処理装置２００も、第１の実施形態における画像処理装置１００と同様に、左画像Ｌと右画像Ｒとから視差マップＭを生成する。画像処理装置２００は、縮小処理部１０１、１０２、被写体領域検出部処理部１０３、ステレオマッチング処理部２０４、被写体領域最大視差検出処理部２０５、拡大処理部２０６、ステレオマッチング処理部２０７を備える。

ステレオマッチング処理部２０４は、縮小された左画像を基準として、縮小された右画像との間でステレオマッチングを行い、視差を検出する。被写体領域最大視差検出処理部２０５は、ステレオマッチング処理部２０４が検出した視差のうち、被写体領域検出処理部１０３が検出した被写体の領域の視差であり、かつ、値が最大の視差を検出する。拡大処理部２０６は、被写体領域最大視差検出処理部２０５が検出した最大の視差を、縮小処理部１０１における縮小倍率の逆数倍に拡大する。すなわち、ここでは３倍にする。ステレオマッチング処理部２０７は、拡大処理部２０６が拡大した最大の視差を、最大視差および探索範囲として用いて、左画像Ｌを基準として、右画像Ｒとの間でステレオマッチングを行い、視差マップＭを生成する。

このように、縮小した画像を用いて被写体領域における最大視差を検出し、ステレオマッチング処理部２０７は、該最大視差を用いてステレオマッチングを行うので、適切な探索範囲でステレオマッチングを行うことができ、処理量を削減するとともに、視差の誤検出を抑制することができる。

なお、画像処理装置２００は、縮小した画像から被写体の領域を検出する被写体領域検出処理部１０３を備え、ステレオマッチング処理部２０７は、ステレオマッチング処理部２０４が検出した視差のうち、前記被写体の領域における最大視差に基づき、探索範囲を決定する。
これにより、探索範囲を被写体に適した範囲とすることができるので、処理量を削減するとともに、視差の誤検出を抑制することができる。

なお、本実施形態においても、ステレオマッチング処理部２０４におけるウィンドウの画素数を、ステレオマッチング処理部２０７におけるものより小さくすることで、ステレオマッチング処理部２０４における処理量を削減することができる。なお、ウィンドウサイズの画角については、第１の実施形態と同様に、同じであっても良いし、ステレオマッチング処理部２０４の方が小さくてもよい。

[第３の実施形態]
以下、図面を参照して、本発明の第３の実施形態について説明する。図１０は、本実施形態による画像処理装置２００ａの構成を示す概略ブロック図である。同図において、図９に対応する部分には、同一の符号（１０１〜１０３、２０６、２０７）を付し、その説明を省略する。画像処理装置２００ａも、第１の実施形態における画像処理装置１００および第２の実施形態における画像処理装置２００と同様に、左画像Ｌと右画像Ｒとから視差マップＭを生成する。画像処理装置２００ａは、縮小処理部１０１、１０２、被写体領域検出部処理部１０３、ステレオマッチング処理部２０４ａ、被写体領域最大視差検出処理部２０５ａ、拡大処理部２０６、ステレオマッチング処理部２０７を備える。

ステレオマッチング処理部２０４ａは、縮小された左画像を基準として、縮小された右画像との間でステレオマッチングを行い、視差を検出する。ただし、ステレオマッチング処理部２０４ａは、縮小された左画像のうち、被写体領域検出処理部１０３が検出した被写体領域についてのみステレオマッチングを行う。被写体領域最大視差検出処理部２０５ａは、ステレオマッチング処理部２０４ａが検出した視差のうち、値が最大の視差を検出する。

このように、縮小した画像を用いて被写体領域における最大視差を検出し、ステレオマッチング処理部２０７は、該最大視差を用いてステレオマッチングを行うので、適切な探索範囲でステレオマッチングを行うことができ、処理量を削減するとともに、視差の誤検出を抑制することができる。

なお、画像処理装置２００ａは、縮小した画像から被写体の領域を検出する被写体領域検出処理部１０３を備え、ステレオマッチング処理部２０７は、ステレオマッチング処理部２０４ａが検出した被写体の領域における視差のうち、最大視差に基づき、探索範囲を決定する。
これにより、ステレオマッチング処理部２０４ａにおけるステレオマッチングを行う領域を限定するとともに、探索範囲を被写体に適した範囲とすることができるので、処理量を削減するとともに、視差の誤検出を抑制することができる。

なお、本実施形態においても、ステレオマッチング処理部２０４ａにおけるウィンドウの画素数を、ステレオマッチング処理部２０７におけるものより小さくすることで、ステレオマッチング処理部２０４ａにおける処理量を削減することができる。なお、ウィンドウサイズの画角については、第１および第２の実施形態と同様に、同じであっても良いし、ステレオマッチング処理部２０４ａの方が小さくてもよい。

[第４の実施形態]
以下、図面を参照して、本発明の第４の実施形態について説明する。図１１は、本実施形態による画像処理装置３００の構成を示す概略ブロック図である。同図において、図９に対応する部分には、同一の符号（１０１、１０２、２０４）を付し、その説明を省略する。画像処理装置３００も、第２の実施形態における画像処理装置２００と同様に、左画像Ｌと右画像Ｒとから視差マップＭを生成する。画像処理装置３００は、縮小処理部１０１、１０２、ステレオマッチング処理部２０４、ライン毎最大視差検出部３０５、拡大処理部３０６、ステレオマッチング処理部３０７を備える。

ライン毎最大視差検出部３０５は、ステレオマッチング処理部２０４が検出した視差から、各ラインについて最大値を検出し、それらを抽出する。拡大処理部３０６は、ライン毎最大視差検出部３０５が抽出した視差を、縮小処理部１０１における縮小倍率の逆数倍に拡大する。すなわち、ここでは３倍にする。ステレオマッチング処理部３０７は、拡大処理部３０６が拡大した視差を、各ラインにおける視差の最大値（最大視差）として探索範囲を決定し、左画像Ｌを基準として、右画像Ｒとの間でステレオマッチングを行い、視差マップＭを生成する。

このように、縮小した画像を用いて各ラインの最大視差を検出し、ステレオマッチング処理部３０７は、該最大視差を用いてステレオマッチングを行うので、適切な探索範囲でステレオマッチングを行うことができ、処理量を削減するとともに、視差の誤検出を抑制することができる。

なお、本実施形態では、各ラインの最大視差を検出して、探索範囲を決定したが、各ラインの最大視差および最小視差を検出して、これらに基づき、探索範囲を決定するようにしてもよい。すなわち、注目画素から最小視差だけ離れた画素と、注目画素から最大視差だけ離れた画素との間を、探索範囲とするようにしてもよい。

なお、本実施形態においても、ステレオマッチング処理部２０４におけるウィンドウサイズの画素数を、ステレオマッチング処理部３０７におけるものより小さくすることで、ステレオマッチング処理部２０４における処理量を削減することができる。なお、ウィンドウサイズの画角については、第１から第３の実施形態と同様に、同じであっても良いし、ステレオマッチング処理部２０４の方が小さくてもよい。

また、図１における画像処理装置１００の一部または全部の機能、図９における画像処理装置２００の一部または全部の機能、図１０における画像処理装置２００ａの一部または全部の機能、あるいは、図１１における画像処理装置３００の一部または全部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、これらの機能を実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１００、２００、２００ａ、３００…画像処理装置
１０１、１０２…縮小処理部
１０３…被写体領域検出処理部
１０４…被写体外領域マッチング処理部
１０５、１０６、２０６、３０６…拡大処理部
１０７…被写体領域マッチング処理部
１０８…合成処理部
２０４、２０４ａ、２０７、３０７…ステレオマッチング処理部
２０５、２０５ａ…被写体領域最大視差検出処理部
３０５…ライン毎最大視差検出部

Claims (18)

1. 少なくとも２つの視点の画像から視差マップを生成する画像処理装置であって、
   前記画像のうち、基準とする画像について、被写体の領域を検出する被写体領域検出部と、
   前記被写体の領域についてステレオマッチングを行い、該領域の視差マップを生成する被写体領域マッチング処理部と、
   前記被写体の領域外についてステレオマッチングを行い、該領域の視差マップを生成する被写体外領域マッチング処理部と、
   前記２つの視差マップを合成する合成処理部と
   を備えることを特徴とする画像処理装置。
2. 前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の画素数が、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の画素数よりも少ないことを特徴とする請求項１に記載の画像処理装置。
3. 前記少なくとも２つの視点の画像を縮小する縮小処理部を備え、
   前記被写体外領域マッチング処理部は、前記縮小された画像に対して、マッチングを行うこと
   を特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の画角が、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の画角より小さいまたは等しいことを特徴とする請求項３に記載の画像処理装置。
5. 前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最大視差の画角が、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最大視差の画角よりも小さいことを特徴とする請求項２に記載の画像処理装置。
6. 前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最大視差の画素数が、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最大視差の画素数よりも少ないことを特徴とする請求項２に記載の画像処理装置。
7. 前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最小視差の画角が、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最小視差の画角よりも大きいことを特徴とする請求項２に記載の画像処理装置。
8. 前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最小視差の画素数が、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最小視差の画素数よりも大きいことを特徴とする請求項２に記載の画像処理装置。
9. 前記少なくとも２つの視点の画像は動画像であり、
   前記被写体領域マッチング処理部または前記被写体外領域マッチング処理部は、ステレオマッチングを行う際の探索範囲を、前フレームのステレオマッチングの結果に基づき決定すること
   を特徴とする請求項１に記載の画像処理装置。
10. 前記被写体領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの画素数が、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの画素数よりも多いことを特徴とする請求項１に記載の画像処理装置。
11. 前記被写体領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの画角が、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの画角よりも大きいことを特徴とする請求項１に記載の画像処理装置。
12. 前記被写体領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの大きさを、前記被写体領域検出部が検出した被写体の領域に応じた大きさにすることを特徴とする請求項１に記載の画像処理装置。
13. 前記被写体領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの大きさを、前記被写体領域検出部が検出した被写体の領域より大きくすることを特徴とする請求項１２に記載の画像処理装置。
14. 前記基準とする画像を縮小する基準画像縮小処理部を備え、
    前記被写体領域検出部は、前記縮小された画像について、被写体の領域を検出すること
    を特徴とする請求項１に記載の画像処理装置。
15. 少なくとも２つの視点の画像から視差マップを生成する画像処理装置のコンピュータを、
    前記画像のうち、基準とする画像について、被写体の領域を検出する被写体領域検出部、
    前記被写体の領域についてステレオマッチングを行い、該領域の視差マップを生成する被写体領域マッチング処理部、
    前記被写体の領域外についてステレオマッチングを行い、該領域の視差マップを生成する被写体外領域マッチング処理部、
    前記２つの視差マップを合成する合成処理部
    として機能させるためのプログラム。
16. 少なくとも２つの視点の画像から視差マップを生成する画像処理装置であって、
    前記少なくとも２つの視点の画像を縮小する縮小処理部と、
    前記縮小した画像に対してステレオマッチングを行い、視差の最大値を検出する縮小画像マッチング処理部と、
    前記縮小画像マッチング処理部が検出した視差の最大値に基づき、探索範囲を決定し、該探索範囲を用いて、前記少なくとも２つの視点の画像に対してステレオマッチングを行い、前記視差マップを生成するマッチング処理部と
    を備えることを特徴とする画像処理装置。
17. 前記縮小画像マッチング処理部が検出する視差の最大値は、被写体領域における最大値であることを特徴とする請求項１６に記載の画像処理装置。
18. 少なくとも２つの視点の画像から視差マップを生成する画像処理装置であって、
    前記少なくとも２つの視点の画像を縮小する縮小処理部と、
    前記縮小した画像に対してステレオマッチングを行い、前記縮小した画像のライン毎に視差の最大値を検出する縮小画像マッチング処理部と、
    前記縮小画像マッチング処理部がライン毎に検出した視差の最大値に基づき、前記少なくとも２つの視点の画像の探索範囲をライン毎に決定し、該探索範囲を用いて、前記少なくとも２つの視点の画像に対してステレオマッチングを行い、前記視差マップを生成するマッチング処理部と
    を備えることを特徴とする画像処理装置。

Images