JP6011862B2

JP6011862B2 - ３次元画像撮影装置及び３次元画像撮影方法

Info

Publication number: JP6011862B2
Application number: JP2012517972A
Authority: JP
Inventors: カングエン; 河村　岳; 岳河村; 俊介安木
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2011-01-27
Filing date: 2011-12-15
Publication date: 2016-10-19
Anticipated expiration: 2031-12-15
Also published as: EP2670148A4; CN102812715A; CN102812715B; US20130010077A1; WO2012101719A1; EP2670148B1; JPWO2012101719A1; EP2670148A1

Description

本発明は、３次元画像撮影装置及び３次元画像撮影方法に関し、特に、入力画像から３次元画像を生成するための奥行き情報を生成する３次元画像撮影装置及び３次元画像撮影方法に関する。

従来、奥行き値を画像の領域毎に示す奥行き情報（デプスマップ：ＤｅｐｔｈＭａｐ）を用いて、２次元画像から３次元画像を生成する技術が開発されている。奥行き値（デプス値：ＤｅｐｔｈＶａｌｕｅ）は、画像の深さ方向を示す値であり、例えば、カメラから被写体までの距離に相当する値である。カメラを用いて撮影した画像から奥行き情報を生成する場合、画像の領域毎に、予め定められた複数の奥行き値から１つの奥行き値を決定することで、奥行き情報を生成することができる。

例えば、特許文献１には、焦点距離の異なる複数の画像から全焦点画像を作成する技術が開示されている。この技術を利用することで、画素毎の奥行き値を示すデプスマップを生成することができる。

特開２００１−３３３３２４号公報

しかしながら、上記従来技術では、演算コストの増加の抑制と、立体感の向上とを両立することができないという課題がある。

従来は、予め定められた複数の奥行き値を用いている。すなわち、奥行き分解能が固定である。奥行き分解能とは、複数の奥行き値のばらつき具合を示す値であり、複数の奥行き値が密である程、奥行き分解能は高く、複数の奥行き値が疎である程、奥行き分解能は低くなる。

図１は、従来の奥行き分解能を示す図である。

図１（ａ）では、カメラから遠い側（テレ端）から近い側（ワイド端）までの間に、１０個の奥行き値ｄ_１〜ｄ_１０が予め定められている。奥行き情報に含まれる奥行き値は、予め定められた１０個の奥行き値ｄ_１〜ｄ_１０から選択されるので、注目被写体の奥行き値としては、ｄ_６又はｄ_７が選択される。つまり、注目被写体の奥行き値は、ｄ_６及びｄ_７の２つの値でしか表現されない。このため、入力画像を３次元画像に変換した場合、注目被写体の立体感はほとんど表現されず、書割的な３次元画像が生成される。

一方、図１（ｂ）では、カメラから遠い側から近い側までの間に、１９個の奥行き値ｄ_１〜ｄ_１９が予め定められている。この場合、注目被写体の奥行き値は、ｄ_１１、ｄ_１２及びｄ_１３の３つの値で表現されるので、図１（ａ）の場合に比べて、立体感を向上させることができる。

しかしながら、注目被写体の奥行き値を決定する際に、１９個の奥行き値ｄ_１〜ｄ_１９のそれぞれに対して奥行き値を決定するための演算を行う必要がある。このため、図１（ａ）の場合に比べて、演算コスト（処理量）が増大してしまう。また、奥行き値ｄ_１〜ｄ_１９のそれぞれに対する演算結果を保持しておくために使用するメモリ量が大きくなる。

そこで、本発明は、上記従来の課題を解決するためになされたものであり、演算コストの増加を抑制しつつ、書割感を減少させ、立体感を向上させることができる３次元画像撮影装置及び３次元画像撮影方法を提供することを目的とする。

上記課題を解決するため、本発明の一態様に係る３次元画像撮影装置は、入力画像から３次元画像を生成するための奥行き情報を生成する３次元画像撮影装置であって、撮影により前記入力画像を取得する撮影部と、前記撮影部によって取得された入力画像内の第１被写体を指定する指定部と、前記入力画像の奥行き方向に平行な方向において、前記指定部によって指定された第１被写体近傍の奥行き分解能が、当該第１被写体から離れた位置の奥行き分解能より高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を、複数の初期奥行き値として設定する分解能設定部と、前記入力画像の２次元の領域毎に、対応する領域の奥行き位置を示す奥行き値を、前記分解能設定部によって設定された複数の奥行き値の中から決定することで、前記入力画像に対応する前記奥行き情報を生成する奥行き情報生成部とを備える。

これにより、指定した被写体近傍の奥行き分解能を高めることで、被写体近傍の奥行き位置を表す奥行き値の候補を増やすことができる。したがって、指定した被写体の書割感を低減し、立体感を向上させることができる。また、このとき、被写体近傍の奥行き分解能が他の領域の分解能より高めればよいので、例えば、全体の奥行き値の候補を増やす必要はなく、演算コストの増加を抑制することができる。

また、前記分解能設定部は、互いに異なる予め定められた複数の奥行き位置の少なくとも１つを、前記指定部によって指定された第１被写体の奥行き位置に近づけることで、前記複数の初期奥行き値を設定してもよい。

これにより、予め定められた奥行き位置を被写体の奥行き位置に近づけるようにすることで、被写体近傍の奥行き位置を表す奥行き値の候補を増やすことができ、立体感を向上させることができる。また、予め定められた奥行き位置を移動させるだけで、奥行き値の数を増やさないので、演算コストの増加を抑制することができる。

また、前記分解能設定部は、さらに、前記複数の初期奥行き値のそれぞれが示す奥行き位置とは異なる奥行き位置であって、前記第１被写体近傍の奥行き位置を示す新たな奥行き値を、追加奥行き値として設定し、前記奥行き情報生成部は、前記複数の初期奥行き値と前記追加奥行き値との中から１つの奥行き値を前記入力画像の２次元の領域毎に決定してもよい。

これにより、被写体近傍に追加奥行き値を設定することで、被写体近傍の奥行き位置を表す奥行き値の候補を増やすことができるので、さらに立体感を向上させることができる。

また、前記３次元画像撮影装置は、さらに、前記入力画像と前記奥行き情報とを用いて前記３次元画像を生成した場合の立体効果を示す立体効果画像を表示する表示部と、ユーザからの指示に基づいて前記立体効果の強弱を調整する立体効果調整部とを備え、前記分解能設定部は、前記立体効果調整部によって前記立体効果を強める設定がされた場合に、前記追加奥行き値を設定してもよい。

これにより、ユーザからの指示があった場合に追加奥行き値を設定するので、ユーザの意図する立体感を表現することができる。よって、ユーザの意図しない立体感の表現を行うことによる演算コストの増加を抑制することができる。

また、前記３次元画像撮影装置は、さらに、前記入力画像と前記奥行き情報とを用いて、前記入力画像から前記３次元画像を生成する３次元画像生成部を備え、前記表示部は、前記立体効果画像として前記３次元画像を表示してもよい。

これにより、３次元画像を表示するので、ユーザが立体効果を直接的に判断することができる。よって、ユーザは立体効果の調整を容易に行うことができるので、ユーザの意図する立体感を表現することができる。したがって、ユーザの意図しない立体感の表現を行うことによる演算コストの増加を抑制することができる。

また、前記指定部は、さらに、前記撮影部によって取得された入力画像内の、前記第１被写体とは異なる第２被写体を追加指定し、前記分解能設定部は、さらに、前記複数の初期奥行き値のそれぞれが示す奥行き位置とは異なる奥行き位置であって、前記第２被写体近傍の奥行き位置を示す新たな奥行き値を、追加奥行き値として設定し、前記奥行き情報生成部は、前記複数の初期奥行き値と前記追加奥行き値との中から１つの奥行き値を前記入力画像の２次元の領域毎に決定してもよい。

これにより、被写体を追加指定し、追加指定した被写体近傍の奥行き分解能を高めることで、複数の被写体の立体感を向上させることができる。例えば、１回目に設定した第１被写体の立体感を確かめた後に、他の被写体の立体感を向上させたい場合などに、第２被写体を追加指定することで、第１被写体だけでなく第２被写体の立体感も向上させることができる。

また、前記指定部は、さらに、前記撮影部によって取得された入力画像内の、前記第１被写体とは異なる第２被写体を追加指定し、前記分解能設定部は、さらに、前記複数の初期奥行き値が示す複数の奥行き位置の少なくとも１つを、前記指定部によって追加指定された第２被写体の奥行き位置に近づけることで、前記複数の初期奥行き値を更新してもよい。

これにより、被写体を追加指定し、追加指定した被写体近傍の奥行き分解能を高めることで、複数の被写体の立体感を向上させることができる。例えば、１回目に設定した第１被写体の立体感を確かめた後に、他の被写体の立体感を向上させたい場合などに、第２被写体を追加指定することで、第１被写体だけでなく第２被写体の立体感も向上させることができる。このとき、１回目に設定された奥行き位置を移動させるだけで、奥行き値の数を増やさないので、演算コストの増加を抑制することができる。

また、前記奥行き情報生成部は、前記入力画像の２次元の領域毎に、（ａ）前記分解能設定部によって設定された複数の奥行き値のそれぞれに対応し、対応する奥行き値の妥当性を表すコスト関数を算出し、（ｂ）奥行き値が最も妥当であることを示すコスト関数に対応する奥行き値を、対応する領域の奥行き値として決定してもよい。

これにより、奥行き値毎のコスト関数を用いて、最も妥当な奥行き位置を決定するので、奥行き値の候補の中から最適な奥行き値を決定することができ、立体感を向上させることができる。

また、前記３次元画像撮影装置は、さらに、前記奥行き情報生成部によって算出されたコスト関数を保持するコスト関数保持部を備えてもよい。

これにより、算出したコスト関数を保持するので、再び演算する必要がなくなり、演算コストの増加を抑制することができる。

また、前記コスト関数保持部は、前記奥行き情報生成部によって算出されたコスト関数を、前記入力画像の２次元の領域毎に、前記複数の奥行き値に対応付けて保持してもよい。

これにより、算出したコスト関数を、領域毎に、かつ、奥行き位置毎に保持するので、例えば、追加奥行き値が設定された場合は、追加奥行き値に対応するコスト関数のみの演算を行い、保持されているコスト関数との比較を行えばよく、演算コストの増加を抑制することができる。

また、前記分解能設定部は、さらに、前記複数の初期奥行き値のそれぞれが示す奥行き位置とは異なる奥行き位置であって、前記第１被写体近傍の奥行き位置を示す新たな奥行き値を、追加奥行き値として設定し、前記奥行き情報生成部は、さらに、前記入力画像の２次元の領域毎に、（ａ）前記追加奥行き値に対応するコスト関数を算出し、（ｂ）算出したコスト関数を前記追加奥行き値に対応付けて前記コスト関数保持部に格納してもよい。

これにより、追加奥行き値が設定された場合は、追加奥行き値に対応するコスト関数のみの演算を行い、保持されているコスト関数との比較を行えばよく、演算コストの増加を抑制することができる。

また、前記コスト関数保持部は、前記入力画像の２次元の領域毎に、奥行き値が最も妥当であることを示すコスト関数のみを、対応する奥行き値に対応付けて保持してもよい。

これにより、算出したコスト関数のうち奥行き値が最も妥当なコスト関数のみを保持することで、メモリ資源を有効に利用することができる。

また、前記分解能設定部は、さらに、前記複数の初期奥行き値のそれぞれが示す奥行き位置とは異なる奥行き位置であって、前記第１被写体近傍の奥行き位置を示す新たな奥行き値を、追加奥行き値として設定し、前記奥行き情報生成部は、さらに、前記入力画像の２次元の領域毎に、（ａ）前記追加奥行き値に対応するコスト関数を算出し、（ｂ）算出したコスト関数と前記コスト関数保持部に格納されているコスト関数とを比較し、（ｃ）（ｉ）算出したコスト関数が、前記コスト関数保持部に格納されているコスト関数より妥当であることを示している場合に、前記追加奥行き値を、対応する領域の奥行き値として決定するとともに、前記コスト関数保持部に格納されているコスト関数を当該算出したコスト関数に置き換え、（ｉｉ）前記コスト関数保持部に格納されているコスト関数が、算出したコスト関数より妥当であることを示している場合に、前記コスト関数保持部に格納されているコスト関数に対応する奥行き値を、対応する領域の奥行き値として決定してもよい。

これにより、追加奥行き値が設定された場合、追加奥行き値に対応するコスト関数のみの演算を行い、保持されている最も妥当なコスト関数との比較を行えばよく、演算コストの増加を抑制することができる。

また、前記３次元画像撮影装置は、さらに、前記指定部によって指定された第１被写体を強調して前記入力画像を表示する表示部を備えてもよい。

これにより、ユーザに指定された被写体を提示することができる。

なお、本発明は、３次元画像撮影装置として実現できるだけではなく、当該３次元画像撮影装置を構成する処理部をステップとする方法として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃ−ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。

また、上記の各３次元画像撮影装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。

本発明によれば、演算コストの増加を抑制しつつ、書割感を減少させ、立体感を向上させることができる。

図１は、従来の奥行き分解能を示す図である。図２は、本発明の実施の形態に係る３次元画像撮影装置の構成の一例を示すブロック図である。図３は、本発明の実施の形態に係る奥行き分解能の一例を示す図である。図４は、本発明の実施の形態に係る奥行き分解能の別の一例を示す図である。図５は、本発明の実施の形態に係る奥行き分解能の別の一例を示す図である。図６Ａは、本発明の実施の形態に係る１つの被写体を指定するためのユーザインタフェースの一例を示す図である。図６Ｂは、本発明の実施の形態に係る複数の被写体を指定するためのユーザインタフェースの一例を示す図である。図７Ａは、本発明の実施の形態に係る立体効果を調整するためのユーザインタフェースの一例を示す図である。図７Ｂは、本発明の実施の形態に係る立体効果を調整するためのユーザインタフェースの一例を示す図である。図８は、本発明の実施の形態に係る入力画像とデプスマップとの関係の一例を示す図である。図９は、本発明の実施の形態に係る複数の奥行き値と識別子との関係の一例を示す図である。図１０は、本発明の実施の形態に係るコスト関数保持部に保持されるデータの一例を示す図である。図１１は、本発明の実施の形態に係るコスト関数保持部に保持されるデータの別の一例を示す図である。図１２は、本発明の実施の形態に係る３次元画像撮影装置の動作の一例を示すフローチャートである。図１３は、本発明の実施の形態に係る奥行き分解能の設定処理の一例を示すフローチャートである。図１４は、本発明の実施の形態に係る３次元画像撮影装置の動作の別の一例を示すフローチャートである。図１５は、本発明の実施の形態に係る３次元画像撮影装置の動作の別の一例を示すフローチャートである。図１６は、本発明の実施の形態の変形例に係る３次元画像撮影装置の構成の一例を示すブロック図である。

以下、本発明の実施の形態に係る３次元画像撮影装置及び３次元画像撮影方法について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。

本発明の実施の形態に係る３次元画像撮影装置は、撮影により入力画像を取得する撮影部と、入力画像内の被写体を指定する指定部と、指定された被写体近傍の奥行き分解能が高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を設定する分解能設定部と、入力画像の領域毎に、対応する領域の奥行き位置を示す奥行き値を、設定された複数の奥行き値の中から決定することで、入力画像に対応する奥行き情報を生成する奥行き情報生成部とを備えることを特徴とする。

図２は、本発明の実施の形態に係る３次元画像撮影装置１００の構成の一例を示すブロック図である。３次元画像撮影装置１００は、２次元の入力画像から３次元画像を生成するための奥行き情報（デプスマップ）を生成する。

図２に示すように、３次元画像撮影装置１００は、被写体指定部１１０と、分解能設定部１２０と、撮影部１３０と、デプスマップ生成部１４０と、コスト関数保持部１５０と、３次元画像生成部１６０と、表示部１７０と、立体効果調整部１８０と、記録部１９０とを備える。

被写体指定部１１０は、撮影部１３０によって取得された入力画像内の被写体（注目被写体）を指定する。このとき、被写体指定部１１０は、複数の被写体を指定してもよい。被写体指定部１１０は、例えば、ユーザインタフェースを介して、ユーザによって指定された被写体を指定する。具体的には、被写体指定部１１０は、表示部１７０に表示されるユーザから被写体の指定を受け付けるためのユーザインタフェースを介して、ユーザが指示した被写体を指定する。

あるいは、被写体指定部１１０は、入力画像に画像認識処理を行うことで、指定領域を特定し、特定した指定領域を注目被写体として指定してもよい。画像認識処理は、例えば、顔認識処理及びエッジ検出処理などである。被写体指定部１１０は、入力画像に顔認識処理を行うことで、人物の顔領域を特定し、特定した顔領域を注目被写体として指定してもよい。

また、被写体指定部１１０は、１回目に指定した被写体（第１被写体）とは異なる第２被写体を追加指定してもよい。このとき、被写体指定部１１０は、複数の第２被写体を追加指定してもよい。

なお、ここでは、第１被写体は、第２被写体を指定する際に、既に奥行き分解能を高める処理の対象となっている被写体であり、第２被写体は、奥行き分解能を高める処理の対象にまだなっていない被写体である。具体的には、被写体指定部１１０は、ユーザが第１被写体に対する奥行き分解能を高める処理が行われた後の立体効果を確認した後、つまり、デプスマップが１回生成された後、新たに指定した被写体を第２被写体として追加指定する。

分解能設定部１２０は、被写体指定部１１０によって指定された被写体の奥行き分解能を高める処理を行う。すなわち、分解能設定部１２０は、入力画像の奥行き方向に平行な方向において、被写体指定部１１０によって指定された被写体近傍の奥行き分解能が、当該被写体から離れた位置の奥行き分解能より高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を設定する。

なお、奥行き方向とは、２次元の入力画像に対して直交する方向である。言い換えると、奥行き方向は、２次元の入力画像の前後方向、すなわち、画面からユーザに向かう方向（又は、ユーザから画面に向かう方向）である。また、奥行き方向における被写体近傍の領域は、被写体と、奥行き方向において被写体の周囲（前後）の領域とを含む。

また、奥行き分解能は、互いに異なる複数の奥行き位置のばらつき具合を示す値である。具体的には、複数の奥行き位置が密である程、奥行き分解能は高く、複数の奥行き値が疎である程、奥行き分解能は低くなる。言い換えると、奥行き方向における所定の領域内に含まれる奥行き位置の数が多い程、奥行き分解能は高く、当該領域内に含まれる奥行き位置の数が少ない程、奥行き分解能は低くなる。

なお、分解能設定部１２０の詳細な動作については、図３〜図５を用いて後で説明する。

撮影部１３０は、撮影により入力画像を取得する。撮影部１３０は、例えば、レンズなどの光学系と、入射光を電気信号（入力画像）に変換する撮像素子とを備える。レンズ及び撮像素子の少なくとも一方を動かすことで、レンズと撮像素子との間の距離を変更し、フォーカス（合焦位置）を変更することができる。

なお、デプスマップ生成部１４０が行う奥行き値の決定方法には、ＤＦＤ（ＤｅｐｔｈｆｒｏｍＤｅｆｏｃｕｓ）方式やＤＦＦ（ＤｅｐｔｈｆｒｏｍＦｏｃｕｓ）方式などがある。この方式に併せて、撮影部１３０は、入力画像の取得方法を変更する。

ＤＦＤ方式では、例えば、撮影部１３０は、フォーカス（合焦位置）を変えながら複数回の撮影を行うことで、合焦位置毎に入力画像を取得する。例えば、テレ端（最遠端）での画像である最遠端画像とワイド端（最近端）での画像である最近端画像との２枚の画像を入力画像として取得する。

ＤＦＦ方式（フォーカルスタック方式）では、例えば、撮影部１３０は、合焦位置を変えながら複数回の撮影を行うことで、合焦位置毎に入力画像を取得する。このとき、撮影部１３０は、奥行き値の個数の入力画像を取得する。つまり、撮影部１３０は、複数の奥行き値が示す複数の奥行き位置のそれぞれを合焦位置として撮影することで、複数の奥行き位置のそれぞれに対応する入力画像を取得する。

なお、デプスマップ生成部１４０行う奥行き値の決定方法は、ＤＦＤ方式又はＤＦＦ方式に限定せず、他のデプス決定方法を利用してもよい。

デプスマップ生成部１４０は、奥行き情報生成部の一例であり、入力画像の２次元の領域毎に、対応する領域の奥行き位置を、分解能設定部１２０によって設定された複数の奥行き値の中から決定することで、入力画像に対応する２次元の奥行き情報（デプスマップ）を生成する。ここで、入力画像の２次元の領域は、例えば、１画素、又は、複数の画素からなる領域である。

例えば、デプスマップ生成部１４０は、入力画像の２次元の領域毎に、分解能設定部１２０によって設定された複数の奥行き値のそれぞれに対応し、対応する奥行き値の妥当性を表すコスト関数を算出する。そして、デプスマップ生成部１４０は、最も妥当であることを表すコスト関数に対応する奥行き値を、対応する領域の奥行き値として決定する。デプスマップ生成部１４０の詳細な動作については、後で説明する。

コスト関数保持部１５０は、デプスマップ生成部１４０によって算出されたコスト関数を保持するためのメモリである。コスト関数保持部１５０に保持されるデータの詳細については、後で説明する。

３次元画像生成部１６０は、入力画像とデプスマップとを用いて、入力画像から３次元画像を生成する。なお、このとき用いる入力画像は、デプスマップの生成に用いた画像と全く同一でなくてもよい。３次元画像は、例えば、視差を有する左眼用画像と右眼用画像とから構成される。視聴者（ユーザ）は、左眼用画像を左眼で、右眼用画像を右眼で見ることで、３次元画像を立体的に感じることができる。

３次元画像生成部１６０は、具体的には、入力画像の２次元の領域毎に、対応する奥行き値を用いて視差情報を生成する。視差情報は、左眼用画像と右眼用画像との視差を示す情報である。例えば、視差情報は、対応する領域を左右方向にシフトさせる量（画素数）を示しており、３次元画像生成部１６０は、対応する領域を左右方向にシフトさせることで、左眼用画像と右眼用画像とを生成する。

表示部１７０は、入力画像とデプスマップとを用いて３次元画像を生成した場合の立体効果を示す立体効果画像を表示する。立体効果画像は、立体効果調整部１８０によって生成される。あるいは、立体効果画像は、例えば、３次元画像生成部１６０によって生成された３次元画像であってもよい。

また、表示部１７０は、ＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）を表示する。ＧＵＩは、例えば、ユーザから被写体の指定を受け付けるためのインタフェース、及び、立体効果の強弱を調整するためのインタフェースなどである。ＧＵＩの具体的な例については、後で説明する。

立体効果調整部１８０は、ユーザからの指示に基づいて立体効果の強弱を調整する。具体的には、立体効果調整部１８０は、表示部１７０に表示される立体効果調整用のＧＵＩを介して、ユーザからの指示を受け付ける。このとき、立体効果調整部１８０は、ユーザに立体効果を確認させるために、入力画像から３次元画像を生成した場合の立体効果を表す立体効果画像を生成してもよい。

例えば、立体効果調整部１８０は、ユーザから、どの被写体をどの程度、立体効果を強める、又は、弱めるかという指示を受け付ける。すなわち、立体効果調整部１８０は、立体効果の調整の対象となる被写体と、強弱の程度とを示す指示をユーザから受け付ける。受け付けた指示は、分解能設定部１２０に通知される。

記録部１９０は、３次元画像生成部１６０によって生成された３次元画像、すなわち、左眼用画像と右眼用画像とを記録媒体などに記録する。あるいは、記録部１９０は、撮影部１３０によって取得された入力画像と、デプスマップ生成部１４０によって生成されたデプスマップとを記録してもよい。なお、記録媒体は、例えば、３次元画像撮影装置１００が備える内部メモリ、又は、３次元画像撮影装置１００と接続可能なメモリカードなどである。

続いて、本発明の実施の形態に係る奥行き分解能の設定処理について説明する。

図３は、本発明の実施の形態に係る奥行き分解能の一例を示す図である。

図３（ａ）に示すように、図１（ａ）と同様に、３次元画像撮影装置１００（カメラ）から遠い側（テレ端）から近い側（ワイド端）までの間に、１０個の奥行き値ｄ_１〜ｄ_１０が予め定められている。つまり、本実施の形態に係る３次元画像撮影装置１００では、奥行き値の個数が予め定められており、図３（ａ）に示す例では、１０個である。

ここで、被写体指定部１１０は、奥行き値ｄ_６が示す奥行き位置とｄ_７が示す奥行き位置との間に存在する被写体を、注目被写体として指定する。分解能設定部１２０は、１０個の奥行き位置の少なくとも１つを注目被写体近傍の奥行き位置に近づけることで、図３（ｂ）に示すように、１０個の奥行き値ｄ_１〜ｄ_１０を設定する。

具体的には、分解能設定部１２０は、注目被写体を中心として注目被写体から離れる程、隣り合う奥行き値間の間隔が広くなるように、予め等間隔で定められていた複数の奥行き値を調整する。言い換えると、分解能設定部１２０は、注目被写体近傍の奥行き値の間隔を狭めるように複数の奥行き値を設定することで、注目被写体近傍の奥行き分解能を高める。

要するに、分解能設定部１２０は、注目被写体近傍の領域に含まれる奥行き値の個数が、注目被写体から離れた領域（例えば、テレ端又はワイド端付近の領域）に含まれる奥行き値の個数より多くなるように、複数の奥行き値を設定する。言い換えると、分解能設定部１２０は、注目被写体近傍の奥行き値が密となるように、複数の奥行き値を設定する。

これにより、図３（ａ）に示す例では、注目被写体の奥行き値は、ｄ_６及びｄ_７の２つの値でしか表現されないのに対して、図３（ｂ）に示す例では、注目被写体の奥行き値は、ｄ_５、ｄ_６及びｄ_７の３つの値で表現される。このため、図３（ａ）の場合に比べて、立体感を向上させることができる。このとき、全体の奥行き値の個数は、１０個のままで変わらないので、奥行き値を決定するための演算コストも変わらない。したがって、演算コストの増加も抑制することができる。

このように、分解能設定部１２０は、互いに異なる予め定められた複数の奥行き位置の少なくとも１つを、被写体指定部１１０によって指定された被写体近傍の奥行き位置に近づけることで、複数の奥行き値を設定する。これにより、被写体近傍の奥行き位置を表す奥行き値の候補を増やすことができ、立体感を向上させることができる。また、予め定められた奥行き位置を移動させるだけで、奥行き値の数を増やさないので、演算コストの増加を抑制することができる。

なお、この処理は、入力画像に対して初めて被写体が指定された場合、つまり、１回目の第１被写体が指定された場合に実行されることが好ましい。言い換えると、分解能設定部１２０は、予め定められた複数の奥行き位置の少なくとも１つを、被写体指定部１１０によって１回目に指定された第１被写体近傍の奥行き位置に近づけることで、複数の初期奥行き値を設定する。複数の初期奥行き値は、図３（ｂ）に示すｄ_１〜ｄ_１０であり、少なくとも１回は奥行き分解能を高める処理が行われた後の奥行き値である。

図４は、本発明の実施の形態に係る奥行き分解能の別の一例を示す図である。

ここでは、図４（ｂ）に示すように、注目被写体近傍に、新たな奥行き値ｄ_１１及びｄ_１２が追加されている。つまり、分解能設定部１２０は、図３（ｂ）に示した複数の初期奥行き値ｄ_１〜ｄ_１０のそれぞれが示す奥行き位置とは異なる奥行き位置であって、注目被写体近傍の奥行き位置を示す新たな奥行き値ｄ_１１及びｄ_１２を、追加奥行き値として設定する。このとき、デプスマップ生成部１４０は、初期奥行き値ｄ_１〜ｄ_１０と追加奥行き値ｄ_１１及びｄ_１２との中から１つの奥行き値を入力画像の２次元の領域毎に決定する。

このように、被写体近傍に追加奥行き値を設定することで、被写体近傍の奥行き位置を表す奥行き値の候補を増やすことができる。これにより、注目被写体の奥行き分解能をさらに高めることができ、注目被写体の立体感をさらに高めることができる。

なお、追加奥行き値の設定は、初期奥行き値の設定及びデプスマップの生成が完了した後に行われることが好ましい。具体的には、初期奥行き値の設定が完了した後、デプスマップ生成部１４０によって、初期奥行き値を用いてデプスマップが生成される。そして、表示部１７０には、生成されたデプスマップと入力画像とを用いて立体効果画像が表示されるとともに、ユーザからの立体効果の強弱を調整するため指示を受け付けるＧＵＩが表示される。

立体効果調整部１８０は、表示部１７０に表示されたＧＵＩを介して、ユーザから立体効果を強める指示を受けた場合、当該指示を分解能設定部１２０に通知する。分解能設定部１２０は、立体効果調整部１８０によって立体効果を強める設定がされた場合に、追加奥行き値を設定する。これにより、例えば、１回目に設定した第１被写体の立体感を確かめた後に、他の被写体の立体感を向上させたい場合などに、第２被写体を追加指定することで、第１被写体だけでなく第２被写体の立体感も向上させることができる。

このとき、デプスマップ生成部１４０は、初期奥行き値に対応するコスト関数は既に算出されているので、追加奥行き値に対応するコスト関数のみを算出すればよい。つまり、既に設定された初期奥行き値に対応するコスト関数を再び算出する必要はない。したがって、立体効果を高めるために必要な演算コストの増加を最小限に抑えることができる。

図５は、本発明の実施の形態に係る奥行き分解能の別の一例を示す図である。

本実施の形態では、上述したように、被写体指定部１１０は、第１被写体とは異なる第２被写体を追加指定することができる。図５は、第２被写体が追加指定された場合における奥行き分解能の一例を示している。

分解能設定部１２０は、複数の初期奥行き値ｄ_１〜ｄ_１０のそれぞれが示す奥行き位置とは異なる奥行き位置であって、追加被写体近傍の奥行き位置を示す新たな奥行き値（追加奥行き値ｄ_１１及びｄ_１２）を設定する。このとき、デプスマップ生成部１４０は、初期奥行き値ｄ_１〜ｄ_１０と追加奥行き値ｄ_１１及びｄ_１２との中から１つの奥行き値を入力画像の２次元の領域毎に決定する。

これにより、注目被写体だけでなく、新たに指定した追加被写体の奥行き分解能も高めることができ、注目被写体及び追加被写体の立体感を高めることができる。

なお、第２被写体の追加は、初期奥行き値の設定及びデプスマップの生成が完了した後に行われることが好ましい。具体的には、初期奥行き値の設定が完了した後、デプスマップ生成部１４０によって、初期奥行き値を用いてデプスマップが生成される。そして、表示部１７０には、生成されたデプスマップと入力画像とを用いて立体効果画像が表示されるとともに、ユーザからの被写体の追加を受け付けるためのＧＵＩが表示される。

被写体指定部１１０は、表示部１７０に表示されたＧＵＩを介して、ユーザから第２被写体の指定の指示を受けた場合、第２被写体を追加指定する。分解能設定部１２０は、第２被写体が追加指定された場合に、第２被写体の奥行き分解能を高めるように、奥行き値を設定する。これにより、１回目に指定した第１被写体だけでなく、新たに追加指定した第２被写体の奥行き分解能も高めることができ、第１被写体及び第２被写体の立体感を高めることができる。

続いて、本発明の実施の形態に係る表示部１７０が表示するＧＵＩの例について説明する。

図６Ａは、本発明の実施の形態に係る１つの被写体を指定するためのユーザインタフェースの一例を示す図である。

図６Ａに示すように、表示部１７０は、被写体指定部１１０によって指定された被写体を強調して、入力画像を表示する。被写体の強調の方法には、例えば、被写体の輪郭を太くする方法、被写体をハイライト表示する方法、又は、被写体の色を反転表示する方法などがある。

さらに、表示部１７０は、被写体の奥行き位置を表すヒストグラム２００を表示する。ヒストグラム２００の縦軸は、画素数を表している。図６Ａに示す例では、奥行き方向における中央付近に指定された被写体が存在することが表されている。

さらに、表示部１７０は、立体効果を表す立体効果画像２０１を表示する。図６Ａに示す例では、立体効果画像２０１は、濃淡のパターンによって立体効果を表している。具体的には、パターンの濃い領域は立体効果が強く、すなわち、奥行き値が密であり、パターンの薄い領域は立体効果が弱く、すなわち、奥行き値が疎であることを示している。図６Ａに示すように、本実施の形態では、指定された被写体を含む領域の立体効果が高められている。

このとき、表示部１７０は、例えば、カーソルなどを表示させることで、被写体指定部１１０は、ユーザからの被写体の指示を受け付けることができる。例えば、ユーザが表示部１７０に表示されている画像内で所定の領域を囲むような操作を行った場合、被写体指定部１１０は、当該領域に含まれる被写体を抽出し、抽出した被写体を指定する。あるいは、被写体指定部１１０は、当該領域そのものを被写体として指定してもよい。領域に含まれる被写体の抽出は、例えば、領域を対象としたエッジ検出処理、顔認識処理、及び、色検出処理などの画像処理によって行われる。

図６Ｂは、本発明の実施の形態に係る複数の被写体を指定するためのユーザインタフェースの一例を示す図である。

図６Ｂに示すように、表示部１７０は、被写体指定部１１０によって指定された被写体を強調して、入力画像を表示する。これにより、ユーザに指定された被写体を提示することができる。被写体の強調の方法には、例えば、被写体の輪郭を太くする方法、被写体をハイライト表示する方法、又は、被写体の色を反転表示する方法などがある。このとき、１回目に指定された第１被写体と、２回目以降に指定された第２被写体とで、強調の方法を変更してもよい。図６Ｂに示す例では、異なる網掛けによって被写体が異なることを示している。

表示部１７０は、図６Ａと同様に、被写体の奥行き位置を表すヒストグラム２１０を表示する。図６Ｂに示す例では、奥行き方向における中央付近に指定された第１被写体が存在し、かつ、奥行き方向において遠端側に追加指定された第２被写体が存在することが表されている。

第２被写体が追加指定された場合、分解能設定部１２０は、図５（ｂ）に示すように、追加被写体（第２被写体）近傍に追加奥行き値を設定することで、追加被写体の奥行き分解能を高める。これにより、第１被写体だけでなく、第２被写体近傍の立体効果も高めることができる。

さらに、表示部１７０は、立体効果を表す立体効果画像２１１を表示する。立体効果画像２１１は、図６Ａに示す立体効果画像２０１と同様に、濃淡のパターンによって立体効果を表している。図６Ｂに示す例では、第１被写体近傍及び第２被写体近傍の立体効果が高められている。

このように、ユーザからの指示があった場合に追加奥行き値を設定するので、ユーザの意図する立体感を表現することができる。よって、ユーザの意図しない立体感の表現を行うことによる演算コストの増加を抑制することができる。

図７Ａ及び図７Ｂは、本発明の実施の形態に係る立体効果を調整するためのユーザインタフェースの一例を示す図である。

図７Ａ及び図７Ｂに示す例では、画面内に立体効果調整バーが表示されている。ユーザは、立体効果調整バーを操作することで、立体効果の強弱を調整することができる。

例えば、図７Ａに示すように、ユーザが立体効果を弱めた場合、立体効果調整部１８０は、指定被写体の立体効果が弱まるような立体効果画像２２１を生成する。具体的には、立体効果画像は濃淡のパターンで立体効果を表示しているので、立体効果調整部１８０は、指定被写体の濃度が薄くなるような立体効果画像２２１を生成する。

さらに、立体効果調整部１８０は、ユーザ指示に基づいて立体効果を弱める設定を行う。そして、分解能設定部１２０は、立体効果を弱める設定が行われた場合、例えば、複数の初期奥行き値が示す奥行き位置のうち、注目被写体近傍の奥行き位置間の間隔を広げることで、立体効果を弱めることができる。例えば、分解能設定部１２０は、立体効果が弱められる程、注目被写体近傍の奥行き位置間の間隔を広げるように、複数の奥行き値を更新する。

あるいは、分解能設定部１２０は、複数の初期奥行き値のうち、注目被写体近傍の奥行き位置を示す初期奥行き値を削除してもよい。例えば、分解能設定部１２０は、立体効果が弱められる程、注目被写体近傍の奥行き値のうち削除する個数を増加させる。これによっても、立体効果を弱めることができる。

一方で、図７Ｂに示すように、ユーザが立体効果を強めた場合、立体効果調整部１８０は、指定被写体の立体効果が強まるような立体効果画像２２２を生成する。具体的には、立体効果調整部１８０は、指定被写体の濃度が濃くなるような立体効果画像２２２を生成する。

さらに、立体効果調整部１８０は、ユーザ指示に基づいて立体効果を強める設定を行う。そして、分解能設定部１２０は、立体効果を強める設定が行われた場合、例えば、複数の初期奥行き値が示す奥行き位置のうち、注目被写体近傍の奥行き位置間の間隔を狭めることで、立体効果を強めることができる。例えば、分解能設定部１２０は、立体効果が強められる程、注目被写体近傍の奥行き位置間の間隔を狭めるように、複数の奥行き値を更新する。

あるいは、図４（ｂ）に示すように、注目被写体近傍に追加奥行き値を設定してもよい。例えば、分解能設定部１２０は、立体効果が強められる程、注目被写体近傍の追加奥行き値の個数を増加させる。これによっても、立体効果を強めることができる。

続いて、本発明の実施の形態に係るデプスマップの生成処理の一例について説明する。

図８は、本発明の実施の形態に係る入力画像とデプスマップ（奥行き情報）との関係の一例を示す図である。

入力画像は、ｍ行×ｎ列のマトリクス状に配列された画素Ａ_１１〜Ａ_ｍｎを含んでいる。

デプスマップは、奥行き情報の一例であり、入力画像の２次元の領域毎に奥行き値を示す画像である。図８に示す例では、デプスマップは、入力画像の画素毎に奥行き値を示している。言い換えると、入力画像に含まれる画素とデプスマップの画素とは１対１に対応している。具体的には、入力画像の画素Ａ_ｉｊに対応する奥行き値は、Ｄ_ｉｊである。ここで、ｉは、１≦ｉ≦ｍを満たし、ｊは、１≦ｊ≦ｎを満たす。

図９は、本発明の実施の形態に係る複数の奥行き値と識別子との関係の一例を示す図である。

分解能設定部１２０は、設定した複数の奥行き値のそれぞれに識別子を付与する。図９に示す例では、分解能設定部１２０は、Ｎ個の奥行き値を設定した場合、カメラから最も遠い奥行き値に識別子“１”を付与し、カメラに最も近い奥行き値に識別子“Ｎ”を付与する。

なお、識別子の付与の仕方はこれに限らず、例えば、カメラから最も遠い奥行き値に識別子“Ｎ”を付与し、カメラに最も近い奥行き値に識別子“１”を付与してもよい。あるいは、識別子を付与することなく、奥行き値の値そのものを識別子として用いてもよい。

図１０は、本発明の実施の形態に係るコスト関数保持部１５０に保持されるデータの一例を示す図である。

デプスマップ生成部１４０は、入力画像の２次元の領域毎に、複数の奥行き値のそれぞれに対応するコスト関数を算出し、算出したコスト関数をコスト関数保持部１５０に格納する。具体的には、コスト関数保持部１５０は、デプスマップ生成部１４０によって算出されたコスト関数を、入力画像の２次元の領域毎に複数の奥行き値に対応付けて保持する。このように、コスト関数保持部１５０は、算出されたコスト関数を保持するので、デプスマップ生成部１４０が再び演算する必要がなくなり、演算コストの増加を抑制することができる。

図１０に示す例では、コスト関数保持部１５０は、分解能設定部１２０によって設定された複数の奥行き値のそれぞれに対応する識別子“１”〜“Ｎ”と、入力画像の画素Ａ_１１〜Ａ_ｍｎとに対応するコスト関数を保持する。具体的には、まず、デプスマップ生成部１４０は、識別子“ｄ”と画素Ａ_ｉｊとに対応するコスト関数Ｃｏｓｔ［Ａ_ｉｊ］［ｄ］を算出する。そして、デプスマップ生成部１４０は、算出したコスト関数Ｃｏｓｔ［Ａ_ｉｊ］［ｄ］をコスト関数保持部１５０に格納する。

ここで、具体的なコスト関数の算出方法について説明する。

まず、ＤＦＤ方式の場合であり、最遠端画像と最近端画像とが入力画像として取得された場合におけるコスト関数の算出方法について説明する。なお、詳細は、非特許文献１「ＣｏｄｅｄＡｐｅｒｔｕｒｅＰａｉｒｓｆｏｒＤｅｐｔｈｆｒｏｍＤｅｆｏｃｕｓ」（ＣｈａｎｇｙｉｎＺｈｏｕ、ＳｔｅｐｈｅｎＬｉｎ、ＳｈｒｅｅＮａｙｅｒ）に開示されている。

コスト関数は、以下の（式１）で表される。

ここで、Ｆ_１及びＦ_２は、２枚の異なるボケ画像を周波数変換することで得られる周波数係数である。具体的には、Ｆ_１は、最近端画像を周波数変換することで得られる周波数係数であり、Ｆ_２は、最遠端画像を周波数変換することで得られる周波数係数である。

また、Ｋ_ｉ ^ｄは、ＰＳＦ（ＰｏｉｎｔＳｐｒｅａｄＦｕｎｃｔｉｏｎ）を周波数変換することで得られるＯＴＦ（ＯｐｔｉｃａｌＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ）である。デプスマップ生成部１４０は、合焦位置に対応するＰＳＦ又はＯＴＦを内部メモリなどに保持している。例えば、Ｋ_１ ^ｄは、Ｆ_１、すなわち、最近端画像に対応するＯＴＦであり、Ｋ_２ ^ｄは、Ｆ_２、すなわち、最遠端画像に対応するＯＴＦである。

Ｆ_０は、以下の（式２）で表される。なお、Ｃは、主にノイズ対策のための調整用係数である。

ここで、Ｋ￣は、Ｋの複素共役である。デプスマップ生成部１４０は、（式１）の右項を計算した上で、逆周波数変換により計算結果を空間領域に変換する。そして、デプスマップ生成部１４０は、画素毎に、コスト関数が最小となる奥行き値ｄを決定する。なお、（式１）で表されるコスト関数は、値が小さい程、奥行き値が妥当であることを示している。つまり、コスト関数が最小となる奥行き値が、最も妥当な奥行き値であり、対応する画素の奥行き位置を表している。

また、入力画像として全焦点画像が取得された場合も、デプスマップ生成部１４０は、上記と同様にＰＳＦを用いてコスト関数を算出し、奥行き値が最も妥当であることを示すコスト関数を決定することができる。

このように、デプスマップ生成部１４０は、奥行き値毎のコスト関数を用いて、最も妥当な奥行き位置を決定するので、奥行き値の候補の中から最適な奥行き値を決定することができ、立体感を向上させることができる。

次に、ＤＦＦ方式の場合のコスト関数の算出方法について説明する。このとき、それぞれが、分解能設定部１２０によって設定された複数の奥行き値が示す奥行き位置でピントが合った複数の画像が、入力画像として取得される。

デプスマップ生成部１４０は、入力画像の領域毎にコントラストを算出する。具体的には、デプスマップ生成部１４０は、画素毎に、複数の入力画像のコントラストが最大となる入力画像に対応する奥行き位置を、当該画素の奥行き値として決定する。すなわち、コントラストが最大であることが、最も妥当な奥行き値を示すコスト関数に相当する。

なお、既に初期奥行き値に対応するコスト関数が算出され、コスト関数保持部１５０に保持されている状態で、分解能設定部１２０によって新たに奥行き値が追加設定された場合、デプスマップ生成部１４０は、新たに追加された奥行き値（追加奥行き値）に対応するコスト関数のみを算出すればよい。そして、デプスマップ生成部１４０は、算出したコスト関数を追加奥行き値に対応付けてコスト関数保持部１５０に格納すればよい。このように、追加奥行き値が設定された場合は、デプスマップ生成部１４０は、追加奥行き値に対応するコスト関数のみの演算を行い、保持されているコスト関数との比較を行えばよい。これにより、演算コストの増加を抑制することができる。

また、コスト関数保持部１５０は、入力画像の２次元の領域毎に、奥行き値が最も妥当であることを示すコスト関数のみを、対応する奥行き値に対応付けて保持してもよい。具体的な例について、図１１を用いて説明する。

図１１は、本発明の実施の形態に係るコスト関数保持部１５０に保持されるデータの別の一例を示す図である。例えば、コスト関数保持部１５０は、図１１に示すように、入力画像の画素毎に、図９に示す識別子（奥行きＩＤ）と、コスト関数の最小値Ｃｏｓｔ＿ｍｉｎとを対応付けて保持している。

なお、既に初期奥行き値に対応するコスト関数が算出され、コスト関数保持部１５０にコスト関数の最小値が保持されている状態で、分解能設定部１２０によって新たに奥行き値が追加設定された場合、デプスマップ生成部１４０は、新たに追加された奥行き値（追加奥行き値）に対応するコスト関数のみを算出すればよい。そして、デプスマップ生成部１４０は、算出したコスト関数と、コスト関数保持部１５０に保持されているコスト関数とを比較する。

算出したコスト関数が、コスト関数保持部１５０に保持されているコスト関数より妥当であることを示している場合に、デプスマップ生成部１４０は、追加奥行き値を、対応する領域の奥行き値として決定する。さらに、この場合、デプスマップ生成部１４０は、コスト関数保持部１５０に保持されているコスト関数を、算出したコスト関数に置き換える。つまり、算出したコスト関数が、コスト関数の最小値より小さい場合は、デプスマップ生成部１４０は、追加奥行き値を、対応する領域の奥行き値として決定するとともに、算出したコスト関数を、コスト関数保持部１５０に保持されているコスト関数の最小値の代わりに格納する。

また、コスト関数保持部１５０に保持されているコスト関数が、算出したコスト関数より妥当であることを示している場合に、デプスマップ生成部１４０は、コスト関数保持部１５０に保持されているコスト関数に対応する奥行き値を、対応する領域の奥行き値として決定する。このとき、コスト関数の置き換えは行われない。

このように、追加奥行き値が設定された場合は、追加奥行き値に対応するコスト関数のみの演算を行い、保持されているコスト関数との比較を行えばよく、演算コストの増加を抑制することができる。また、コスト関数保持部１５０は、算出したコスト関数のうち奥行き値が最も妥当なコスト関数のみを保持すればよいので、メモリ資源を有効に利用することができる。

続いて、本発明の実施の形態に係る３次元画像撮影装置１００の動作の一例について説明する。

図１２は、本発明の実施の形態に係る３次元画像撮影装置１００の動作の一例を示すフローチャートである。なお、図１２は、ＤＦＤ方式に基づいてデプスマップを生成する場合の動作を示している。

まず、被写体指定部１１０は、被写体を指定する（Ｓ１１０）。例えば、被写体指定部１１０は、撮影部１３０によって取得された入力画像に、図６Ａに示すような被写体指定用のＧＵＩを重畳して表示部１７０に表示させ、ユーザからの被写体の指定の指示を受け付ける。そして、受け付けた指示に基づいて、被写体指定部１１０は、被写体を指定する。

次に、撮影部１３０は、撮影により入力画像を取得する（Ｓ１２０）。ここでは、撮影部１３０は、最遠端画像と最近端画像との２枚の入力画像を取得する。

次に、分解能設定部１２０は、入力画像の奥行き方向に平行な方向において、被写体指定部１１０によって指定された被写体近傍の奥行き分解能が高くなるように、複数の奥行き値を設定する（Ｓ１３０）。具体的な処理を、図１３に示す。

図１３は、本発明の実施の形態に係る奥行き分解能の設定処理の一例を示すフローチャートである。

まず、分解能設定部１２０（又は、３次元画像撮影装置１００の全体を制御する制御部）は、レンズを制御することで、被写体指定部１１０によって指定された被写体にフォーカスを合わせる（Ｓ１３１）。

そして、分解能設定部１２０は、このときのレンズ情報から被写体までの距離を取得し（Ｓ１３２）、取得した距離を奥行き値に変換する。なお、レンズ情報とは、例えば、指定された被写体にピントが合った場合の合焦距離（１ｃｍ〜∞（無限）など）を示す情報である。これにより、分解能設定部１２０は、被写体指定部１１０によって指定された被写体の奥行き位置を取得することができる。

そして、分解能設定部１２０は、取得した奥行き位置に基づいて、奥行き分解能を決定する（Ｓ１３３）。つまり、分解能設定部１２０は、被写体近傍の奥行き分解能が、被写体から離れた位置の奥行き分解能より高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を設定する。例えば、分解能設定部１２０は、互いに異なる予め定められた複数の奥行き位置の少なくとも１つを、指定された被写体の奥行き位置に近づけることで、図３（ｂ）に示すように、複数の奥行き値を複数の初期奥行き値として設定する。

図１２に戻ると、続いて、デプスマップ生成部１４０が、入力画像に対応する奥行き情報（デプスマップ）を生成する（Ｓ１４０）。具体的には、デプスマップ生成部１４０は、入力画像の画素毎に、対応する画素の奥行き位置を示す奥行き値を、分解能設定部１２０によって設定された複数の奥行き値の中から決定することで、デプスマップを生成する。ここでは、デプスマップ生成部１４０は、上述したように、ＤＦＤ方式に基づいて、（式１）及び（式２）に従って、コスト関数を算出し、画素毎にコスト関数が最小となる奥行き値を決定する。

次に、３次元画像生成部１６０は、入力画像とデプスマップとに基づいて３次元画像を生成する（Ｓ１５０）。そして、表示部１７０は、３次元画像生成部１６０によって生成された３次元画像を表示する（Ｓ１６０）。

ここで、立体効果調整部１８０は、ユーザから立体効果の調整の指示を受けたか否かを判定する（Ｓ１７０）。具体的には、立体効果調整部１８０は、図７Ａ及び図７Ｂに示す立体効果調整バーなどの立体効果調整用のＧＵＩを、表示部１７０に表示させる。そして、立体効果調整部１８０は、立体効果調整用のＧＵＩを介して、立体効果の調整の指示を受けたか否かを判定する。

ユーザが立体効果の調整を指示した場合（Ｓ１７０でＹｅｓ）、立体効果調整部１８０は、ユーザ指示に基づいて、被写体の立体効果をどの程度強める又は弱めるかを設定する（Ｓ１８０）。

例えば、立体効果調整部１８０によって立体効果を強める設定が行われた場合に、分解能設定部１２０は、被写体近傍の奥行き位置を示す新たな奥行き値を設定する（Ｓ１３０）。なお、このとき、図１３に示すフォーカスの制御（Ｓ１３１）及び被写体までの距離の取得（Ｓ１３２）は、行う必要はない。すなわち、分解能設定部１２０は、既に取得した被写体の奥行き位置に基づいて、その近傍に追加奥行き値を設定すればよい。

そして、デプスマップ生成部１４０は、さらに、追加奥行き値に対応するコスト関数のみを算出する（Ｓ１４０）。つまり、初期奥行き値に対応するコスト関数は、既に算出されているので、ここで再び算出する必要はない。これにより、演算コストの増加を抑制することができる。

なお、立体効果調整部１８０によって立体効果を弱める設定が行われた場合には、分解能設定部１２０は、被写体近傍の奥行き値の間隔を広げる、あるいは、被写体近傍の奥行き値を除外することで、奥行き値を更新する。

以降、３次元画像の生成（Ｓ１５０）、表示（Ｓ１６０）、及び、立体効果の調整の判定（Ｓ１７０）が同様に行われる。

ユーザが立体効果の調整を指示しない場合（Ｓ１７０でＮｏ）、記録部１９０は、３次元画像を記録媒体に記録する（Ｓ１９０）。なお、このとき、記録部１９０は、入力画像とデプスマップとを記録してもよい。

なお、本実施の形態では、３次元画像を生成しなくてもよい。例えば、３次元画像を生成する代わりに、ステップＳ１５０において、立体効果調整部１８０が、入力画像とデプスマップとを用いて３次元画像を生成した場合の立体効果を表す立体効果画像を生成してもよい。この場合、ステップＳ１６０では、表示部１７０は、図７Ａ及び図７Ｂに示す立体効果画像２２１又は２２２などの立体効果を表す立体効果画像を表示する。

次に、被写体を追加指定する場合の動作の一例について、図１４を用いて説明する。

図１４は、本発明の実施の形態に係る３次元画像撮影装置１００の動作の別の一例を示すフローチャートである。なお、図１４に示すフローチャートは、図１２に示すフローチャートとほぼ同じであるので、ここでは、異なる点を中心に説明し、同じ点は説明を省略する。

ここでは、立体効果の調整の判定（Ｓ１７０）において、新たな被写体の追加指定を受け付けた場合に、立体効果の調整が必要である（Ｓ１７０でＹｅｓ）と判定する。なお、このとき、被写体指定部１１０は、被写体の指定を受け付けるためのＧＵＩを表示部１７０に表示させ、当該ＧＵＩを介して被写体の追加指定をユーザから受け付ける。

ユーザから被写体が追加指定を受け付けた場合（Ｓ１７０でＹｅｓ）、被写体指定部１１０は、ユーザによって指示された被写体（第２被写体）を追加指定する（Ｓ１７５）。この場合、立体効果調整部１８０は、立体効果調整用のＧＵＩを介して、追加指定された第２被写体の立体効果を調整する（Ｓ１８０）。つまり、立体効果調整部１８０は、ユーザ指示に基づいて、第２被写体の立体効果をどの程度強める又は弱めるかを設定する。

例えば、立体効果調整部１８０によって立体効果を強める設定が行われた場合に、分解能設定部１２０は、追加被写体近傍の奥行き位置を示す新たな奥行き値を設定する（Ｓ１３０）。なお、このとき、図１３に示すフローチャートに従って、フォーカスを制御して（Ｓ１３１）、新たに追加された被写体までの距離を取得する（Ｓ１３２）。あるいは、既にステップＳ１４０において生成されたデプスマップから、追加被写体を示す画素位置の奥行き値を取得することで、追加被写体までの距離を取得してもよい。

そして、分解能設定部１２０は、追加被写体近傍の奥行き位置を示す奥行き値を新たに追加することで、奥行き分解能を決定する（Ｓ１３３）。そして、デプスマップ生成部１４０は、さらに、追加奥行き値に対応するコスト関数のみを算出する（Ｓ１４０）。つまり、初期奥行き値に対応するコスト関数は、既に算出されているので、ここで再び算出する必要はない。これにより、演算コストの増加を抑制することができる。

図１５は、本発明の実施の形態に係る３次元画像撮影装置の動作の別の一例を示すフローチャートである。なお、図１５は、ＤＦＦ方式（例えば、フォーカルスタック）に基づいてデプスマップを生成する場合の動作を示している。なお、図１５に示すフローチャートは、図１２に示すフローチャートとほぼ同じであるので、ここでは、異なる点を中心に説明し、同じ点は説明を省略する。

ＤＦＦ方式に従う場合、奥行き位置毎に対応する複数の入力画像が必要となる。したがって、奥行き分解能の設定（Ｓ１３０）の後に、撮影（Ｓ１２０）を行うことで、設定された複数の奥行き値が示す複数の奥行き位置と１対１に対応する複数の入力画像を取得する。

なお、予め多くの合焦位置での入力画像を取得しておくことで、追加の撮影を行わないようにしてもよい。つまり、奥行き値の個数以上に、奥行き値が更新又は追加された場合にとり得る値に相当する合焦位置での入力画像を、予め撮影しておいてもよい。これにより、予め定められた奥行き値を更新する場合、又は、新たに奥行き値を追加する場合には、撮影により取得された複数の入力画像の合焦位置に対応する奥行き値へ更新、又は、当該奥行き値を追加すればよい。

このように、本発明の実施の形態に係る３次元画像撮影装置１００では、指定した被写体近傍の奥行き分解能が高くなるように、複数の初期奥行き値を設定し、設定した初期奥行き値に基づいてデプスマップを生成する。そして、生成したデプスマップを用いた場合の立体効果をユーザに確認させた後、被写体の追加、及び、立体効果の調整の設定を受け付けることができる。

以上のように、本発明の実施の形態に係る３次元画像撮影装置１００は、撮影により入力画像を取得する撮影部１３０と、入力画像内の被写体を指定する被写体指定部１１０と、指定された被写体近傍の奥行き分解能が高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を設定する分解能設定部１２０と、入力画像の領域毎に、対応する領域の奥行き位置を示す奥行き値を、設定された複数の奥行き値の中から決定することで、入力画像に対応するデプスマップを生成するデプスマップ生成部１４０とを備える。

これにより、指定した被写体近傍の奥行き分解能を高めることで、被写体近傍の奥行き位置を表す奥行き値の候補を増やすことができる。したがって、指定した被写体の書割感を低減し、立体感を向上させることができる。また、このとき、被写体近傍の奥行き分解能を他の領域の分解能より高めればよいので、例えば、全体の奥行き値の候補を増やす必要はなく、演算コストの増加を抑制することができる。

以上、本発明に係る３次元画像撮影装置及び３次元画像撮影方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

例えば、図５に示す例では、分解能設定部１２０は、第２被写体近傍に新たな奥行き値を設定したが、初期奥行き値を更新することで、第２被写体近傍の奥行き分解能を高めてもよい。具体的には、分解能設定部１２０は、複数の初期奥行き値が示す複数の奥行き値の少なくとも１つを、被写体指定部１１０によって追加指定された第２被写体近傍の奥行き値に近づけることで、複数の初期奥行き値を更新してもよい。

これにより、例えば、１回目に設定した第１被写体の立体感を確かめた後に、他の被写体の立体感を向上させたい場合などに、被写体指定部１１０が第２被写体を追加指定することで、第１被写体だけでなく第２被写体の立体感も向上させることができる。このとき、分解能設定部１２０は、１回目に設定された奥行き位置を移動させるだけで、奥行き値の数を増やさないので、演算コストの増加を抑制することができる。

また、図６Ａ及び図６Ｂに示す例では、表示部１７０は、濃淡のパターンで表した立体効果画像２０１及び２１１を示しているが、立体効果画像２０１及び２１１の代わりに、３次元画像生成部１６０によって生成された３次元画像を立体効果画像として表示してもよい。これにより、ユーザは、入力画像から生成された３次元画像を直接見て、立体効果を確認することができるので、より適切な立体効果の調整を行うことができる。

つまり、表示部１７０が３次元画像を表示するので、ユーザは、立体効果を直接的に判断することができる。よって、ユーザは立体効果の調整を容易に行うことができるので、ユーザの意図する立体感を表現することができる。したがって、ユーザの意図しない立体感の表現を行うことによる演算コストの増加を抑制することができる。

また、図１３に示す例では、レンズ情報から被写体の奥行き位置を求める例について示したが、例えば、予め定められた複数の奥行き値に対して、ＰＳＦを用いたコスト関数を算出することで、被写体の奥行き値を決定してもよい。この場合、被写体の奥行き値は、おおよその位置が分かればよいので、実際に奥行き値を決定する場合よりも少ない数の奥行き値に対してコスト関数を算出すればよい。すなわち、簡易的なデプスマップの生成（図１２のＳ１４０に相当する処理）を行うことで、被写体の奥行き値を設定してもよい。これにより、演算コストの増大を抑制することができる。

また、１回目に複数の被写体を指定していた場合、被写体の追加（Ｓ１７５）の代わりに、被写体の指定を除外してもよい。この場合、除外された被写体近傍の奥行き位置を、指定されたままの被写体近傍に近づけ、又は、追加してもよい。

また、上記実施の形態に係る３次元画像撮影装置に含まれる各処理部は、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。例えば、本実施の形態に係る集積回路は、被写体指定部１１０と、分解能設定部１２０と、デプスマップ生成部１４０とを備える。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化は、ＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブルプロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて各処理部の集積化を行ってもよい。バイオ技術の適用等が可能性として考えられる。

また、本発明の実施の形態に係る３次元画像撮影装置の機能の一部又は全てを、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等のプロセッサがプログラムを実行することにより実現してもよい。

さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。また、構成要素間の接続関係は、本発明を具体的に説明するために例示するものであり、本発明の機能を実現する接続関係はこれに限定されない。

さらに、上記の実施の形態は、ハードウェア及び／又はソフトウェアを用いて構成されるが、ハードウェアを用いる構成は、ソフトウェアを用いても構成可能であり、ソフトウェアを用いる構成は、ハードウェアを用いても構成可能である。

また、上記の実施の形態に係る３次元画像撮影装置の構成は、本発明を具体的に説明するために例示するためのものであり、本発明に係る３次元画像撮影装置は、上記構成の全てを必ずしも備える必要はない。言い換えると、本発明に係る３次元画像撮影装置は、本発明の効果を実現できる最小限の構成のみを備えればよい。

例えば、図１６は、本発明の実施の形態の変形例に係る３次元画像撮影装置３００の構成の一例を示すブロック図である。図１６に示すように、本発明の実施の形態に係る３次元画像撮影装置３００は、被写体指定部１１０と、分解能設定部１２０と、撮影部１３０と、デプスマップ生成部１４０とを備える。なお、各処理部は、図２に示す同じ参照符号が付された処理部と同じ処理を行うのでここでは説明を省略する。

このように、本発明に係る３次元画像撮影装置は、図１６に示すような最小限の構成のみを備えている場合であっても、演算コストの増加を抑制しつつ、立体効果を高めることができる。

同様に、上記の３次元画像撮影装置による３次元画像撮影方法は、本発明を具体的に説明するために例示するためのものであり、本発明に係る３次元画像撮影装置による３次元画像撮影方法は、上記ステップの全てを必ずしも含む必要はない。言い換えると、本発明に係る３次元画像撮影方法は、本発明の効果を実現できる最小限のステップのみを含めばよい。また、上記のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

本発明は、演算コストの増加を抑制しつつ、書割感を減少させ、立体感を向上させることができるという効果を奏し、例えば、デジタルカメラなどに利用することができる。

１００、３００３次元画像撮影装置
１１０被写体指定部
１２０分解能設定部
１３０撮影部
１４０デプスマップ生成部
１５０コスト関数保持部
１６０３次元画像生成部
１７０表示部
１８０立体効果調整部
１９０記録部
２００、２１０ヒストグラム
２０１、２１１、２２１、２２２立体効果画像

Claims

入力画像から３次元画像を生成するための奥行き情報を生成する３次元画像撮影装置であって、
撮影により前記入力画像を取得する撮影部と、
前記撮影部によって取得された入力画像内の第１被写体を指定する指定部と、
前記入力画像の奥行き方向に平行な方向において、前記指定部によって指定された第１被写体近傍の奥行き分解能が、当該第１被写体から離れた位置の奥行き分解能より高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を、複数の初期奥行き値として設定する分解能設定部と、
前記入力画像の２次元の領域毎に、対応する領域の奥行き位置を示す奥行き値を、前記分解能設定部によって設定された複数の奥行き値の中から決定することで、前記入力画像に対応する前記奥行き情報を生成する奥行き情報生成部とを備え、
前記分解能設定部は、さらに、前記複数の初期奥行き値のそれぞれが示す奥行き位置とは異なる奥行き位置であって、前記第１被写体近傍の奥行き位置を示す新たな奥行き値を、追加奥行き値として設定し、
前記奥行き情報生成部は、前記複数の初期奥行き値と前記追加奥行き値との中から１つの奥行き値を前記入力画像の２次元の領域毎に決定する
３次元画像撮影装置。
前記分解能設定部は、互いに異なる予め定められた複数の奥行き位置の少なくとも１つを、前記指定部によって指定された第１被写体の奥行き位置に近づけることで、前記複数の初期奥行き値を設定する
請求項１記載の３次元画像撮影装置。
前記３次元画像撮影装置は、さらに、
前記入力画像と前記奥行き情報とを用いて前記３次元画像を生成した場合の立体効果を示す立体効果画像を表示する表示部と、
ユーザからの指示に基づいて前記立体効果の強弱を調整する立体効果調整部とを備え、
前記分解能設定部は、前記立体効果調整部によって前記立体効果を強める設定がされた場合に、前記追加奥行き値を設定する
請求項１記載の３次元画像撮影装置。
前記３次元画像撮影装置は、さらに、前記入力画像と前記奥行き情報とを用いて、前記入力画像から前記３次元画像を生成する３次元画像生成部を備え、
前記表示部は、前記立体効果画像として前記３次元画像を表示する
請求項３記載の３次元画像撮影装置。
入力画像から３次元画像を生成するための奥行き情報を生成する３次元画像撮影装置であって、
撮影により前記入力画像を取得する撮影部と、
前記撮影部によって取得された入力画像内の第１被写体を指定する指定部と、
前記入力画像の奥行き方向に平行な方向において、前記指定部によって指定された第１被写体近傍の奥行き分解能が、当該第１被写体から離れた位置の奥行き分解能より高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を、複数の初期奥行き値として設定する分解能設定部と、
前記入力画像の２次元の領域毎に、対応する領域の奥行き位置を示す奥行き値を、前記分解能設定部によって設定された複数の奥行き値の中から決定することで、前記入力画像に対応する前記奥行き情報を生成する奥行き情報生成部とを備え、
前記指定部は、さらに、前記撮影部によって取得された入力画像内の、前記第１被写体とは異なる第２被写体を追加指定し、
前記分解能設定部は、さらに、前記複数の初期奥行き値のそれぞれが示す奥行き位置とは異なる奥行き位置であって、前記第２被写体近傍の奥行き位置を示す新たな奥行き値を、追加奥行き値として設定し、
前記奥行き情報生成部は、前記複数の初期奥行き値と前記追加奥行き値との中から１つの奥行き値を前記入力画像の２次元の領域毎に決定する
３次元画像撮影装置。
入力画像から３次元画像を生成するための奥行き情報を生成する３次元画像撮影装置であって、
撮影により前記入力画像を取得する撮影部と、
前記撮影部によって取得された入力画像内の第１被写体を指定する指定部と、
前記入力画像の奥行き方向に平行な方向において、前記指定部によって指定された第１被写体近傍の奥行き分解能が、当該第１被写体から離れた位置の奥行き分解能より高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を、複数の初期奥行き値として設定する分解能設定部と、
前記入力画像の２次元の領域毎に、対応する領域の奥行き位置を示す奥行き値を、前記分解能設定部によって設定された複数の奥行き値の中から決定することで、前記入力画像に対応する前記奥行き情報を生成する奥行き情報生成部とを備え、
前記指定部は、さらに、前記撮影部によって取得された入力画像内の、前記第１被写体とは異なる第２被写体を追加指定し、
前記分解能設定部は、さらに、前記複数の初期奥行き値が示す複数の奥行き位置の少なくとも１つを、前記指定部によって追加指定された第２被写体の奥行き位置に近づけることで、前記複数の初期奥行き値を更新する
３次元画像撮影装置。
入力画像から３次元画像を生成するための奥行き情報を生成する３次元画像撮影装置であって、
撮影により前記入力画像を取得する撮影部と、
前記撮影部によって取得された入力画像内の第１被写体を指定する指定部と、
前記入力画像の奥行き方向に平行な方向において、前記指定部によって指定された第１被写体近傍の奥行き分解能が、当該第１被写体から離れた位置の奥行き分解能より高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を、複数の初期奥行き値として設定する分解能設定部と、
前記入力画像の２次元の領域毎に、対応する領域の奥行き位置を示す奥行き値を、前記分解能設定部によって設定された複数の奥行き値の中から決定することで、前記入力画像に対応する前記奥行き情報を生成する奥行き情報生成部とを備え、
前記奥行き情報生成部は、前記入力画像の２次元の領域毎に、
（ａ）前記分解能設定部によって設定された複数の奥行き値のそれぞれに対応し、対応する奥行き値の妥当性を表すコスト関数を算出し、
（ｂ）奥行き値が最も妥当であることを示すコスト関数に対応する奥行き値を、対応する領域の奥行き値として決定し、
前記３次元画像撮影装置は、さらに、前記奥行き情報生成部によって算出されたコスト関数を保持するコスト関数保持部を備え、
前記コスト関数保持部は、前記奥行き情報生成部によって算出されたコスト関数を、前記入力画像の２次元の領域毎に、前記複数の奥行き値に対応付けて保持し、
前記分解能設定部は、さらに、前記複数の初期奥行き値のそれぞれが示す奥行き位置とは異なる奥行き位置であって、前記第１被写体近傍の奥行き位置を示す新たな奥行き値を、追加奥行き値として設定し、
前記奥行き情報生成部は、さらに、前記入力画像の２次元の領域毎に、
（ａ）前記追加奥行き値に対応するコスト関数を算出し、
（ｂ）算出したコスト関数を前記追加奥行き値に対応付けて前記コスト関数保持部に格納する
３次元画像撮影装置。
入力画像から３次元画像を生成するための奥行き情報を生成する３次元画像撮影装置であって、
撮影により前記入力画像を取得する撮影部と、
前記撮影部によって取得された入力画像内の第１被写体を指定する指定部と、
前記入力画像の奥行き方向に平行な方向において、前記指定部によって指定された第１被写体近傍の奥行き分解能が、当該第１被写体から離れた位置の奥行き分解能より高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を、複数の初期奥行き値として設定する分解能設定部と、
前記入力画像の２次元の領域毎に、対応する領域の奥行き位置を示す奥行き値を、前記分解能設定部によって設定された複数の奥行き値の中から決定することで、前記入力画像に対応する前記奥行き情報を生成する奥行き情報生成部とを備え、
前記奥行き情報生成部は、前記入力画像の２次元の領域毎に、
（ａ）前記分解能設定部によって設定された複数の奥行き値のそれぞれに対応し、対応する奥行き値の妥当性を表すコスト関数を算出し、
（ｂ）奥行き値が最も妥当であることを示すコスト関数に対応する奥行き値を、対応する領域の奥行き値として決定し、
前記３次元画像撮影装置は、さらに、前記奥行き情報生成部によって算出されたコスト関数を保持するコスト関数保持部を備え、
前記コスト関数保持部は、前記入力画像の２次元の領域毎に、奥行き値が最も妥当であることを示すコスト関数のみを、対応する奥行き値に対応付けて保持し、
前記分解能設定部は、さらに、前記複数の初期奥行き値のそれぞれが示す奥行き位置とは異なる奥行き位置であって、前記第１被写体近傍の奥行き位置を示す新たな奥行き値を、追加奥行き値として設定し、
前記奥行き情報生成部は、さらに、前記入力画像の２次元の領域毎に、
（ａ）前記追加奥行き値に対応するコスト関数を算出し、
（ｂ）算出したコスト関数と前記コスト関数保持部に格納されているコスト関数とを比較し、
（ｃ）（ｉ）算出したコスト関数が、前記コスト関数保持部に格納されているコスト関数より妥当であることを示している場合に、前記追加奥行き値を、対応する領域の奥行き値として決定するとともに、前記コスト関数保持部に格納されているコスト関数を当該算出したコスト関数に置き換え、（ｉｉ）前記コスト関数保持部に格納されているコスト関数が、算出したコスト関数より妥当であることを示している場合に、前記コスト関数保持部に格納されているコスト関数に対応する奥行き値を、対応する領域の奥行き値として決定する
３次元画像撮影装置。
前記３次元画像撮影装置は、さらに、前記指定部によって指定された第１被写体を強調して前記入力画像を表示する表示部を備える
請求項１記載の３次元画像撮影装置。
入力画像から３次元画像を生成するための奥行き情報を生成する３次元画像撮影方法であって、
撮影により前記入力画像を取得する撮影ステップと、
前記撮影ステップにおいて取得された入力画像内の被写体を指定する指定ステップと、
前記入力画像の奥行き方向に平行な方向において、前記指定ステップにおいて指定された被写体近傍の奥行き分解能が、当該被写体から離れた位置の奥行き分解能より高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を、複数の初期奥行き値として設定する分解能設定ステップと、
前記入力画像の２次元の領域毎に、対応する領域の奥行き位置を示す奥行き値を、前記分解能設定ステップにおいて設定された複数の奥行き値の中から決定することで、前記入力画像に対応する前記奥行き情報を生成する奥行き情報生成ステップとを含み、
前記分解能設定ステップでは、さらに、前記複数の初期奥行き値のそれぞれが示す奥行き位置とは異なる奥行き位置であって、前記被写体近傍の奥行き位置を示す新たな奥行き値を、追加奥行き値として設定し、
前記奥行き情報生成ステップでは、前記複数の初期奥行き値と前記追加奥行き値との中から１つの奥行き値を前記入力画像の２次元の領域毎に決定する
３次元画像撮影方法。
請求項１０記載の３次元画像撮影方法をコンピュータに実行させるためのプログラム。
入力画像から３次元画像を生成するための奥行き情報を生成する集積回路であって、
前記入力画像内の被写体を指定する指定部と、
前記入力画像の奥行き方向に平行な方向において、前記指定部によって指定された第１被写体近傍の奥行き分解能が、当該第１被写体から離れた位置の奥行き分解能より高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を、複数の初期奥行き値として設定する分解能設定部と、
前記入力画像の２次元の領域毎に、対応する領域の奥行き位置を示す奥行き値を、前記分解能設定部によって設定された複数の奥行き値の中から決定することで、前記入力画像に対応する前記奥行き情報を生成する奥行き情報生成部とを備え、
前記分解能設定部は、さらに、前記複数の初期奥行き値のそれぞれが示す奥行き位置とは異なる奥行き位置であって、前記第１被写体近傍の奥行き位置を示す新たな奥行き値を、追加奥行き値として設定し、
前記奥行き情報生成部は、前記複数の初期奥行き値と前記追加奥行き値との中から１つの奥行き値を前記入力画像の２次元の領域毎に決定する
集積回路。