JP5900017B2 - 奥行き推定装置、再構成画像生成装置、奥行き推定方法、再構成画像生成方法及びプログラム - Google Patents
奥行き推定装置、再構成画像生成装置、奥行き推定方法、再構成画像生成方法及びプログラム Download PDFInfo
- Publication number
- JP5900017B2 JP5900017B2 JP2012042573A JP2012042573A JP5900017B2 JP 5900017 B2 JP5900017 B2 JP 5900017B2 JP 2012042573 A JP2012042573 A JP 2012042573A JP 2012042573 A JP2012042573 A JP 2012042573A JP 5900017 B2 JP5900017 B2 JP 5900017B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- depth
- sub
- reconstructed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明は、奥行き推定装置、再構成画像生成装置、奥行き推定方法、再構成画像生成方法及びプログラムに関する。
被写体を撮影して被写体の奥行きを推定する技術が知られている。例えば、特許文献１に記載の技術では、姿勢およびレンズの状態を計測するセンサを取り付けたカメラを用いて複数枚の画像を撮影し、複数枚の画像からセンサが取得したパラメータを用いて奥行きを推定する。このとき、センサによりカメラの水平移動量、パン角度、チルト角度、ロール角度、ズーム比およびフォーカス量を計測する必要がある。
また、異なる視点から撮影した被写体の画像を取得することにより、被写体からカメラのレンズに侵入する光線の位置、方向、光量に係る情報を取得する技術が知られている。このような技術に関連して、特許文献２は被写体を撮影した複数の画像（ライトフィールド画像）を取得して、該複数の画像から焦点距離・被写界深度等を変化させた被写体の画像を再構成する技術を開示している。
特許文献１に記載の技術を用いて被写体の奥行きを推定するためには、カメラの移動量、パン角度、チルト角度、ロール角度、を計測する物理センサを備えた特別なカメラを必要とする。
一方、ライトフィールド画像を取得するためには特別な物理センサを必要としない。そのため、ライトフィールド画像から奥行きを推定できれば、特別な物理センサを用いずに被写体の奥行きを推定する事が出来る。ライトフィールド画像から被写体の奥行きを推定できれば、推定結果を再構成画像のノイズ除去等に利用することができるが、特許文献２はライトフィールド画像から再構成した画像の奥行きを示す画像を生成する方法を開示していない。
一方、ライトフィールド画像を取得するためには特別な物理センサを必要としない。そのため、ライトフィールド画像から奥行きを推定できれば、特別な物理センサを用いずに被写体の奥行きを推定する事が出来る。ライトフィールド画像から被写体の奥行きを推定できれば、推定結果を再構成画像のノイズ除去等に利用することができるが、特許文献２はライトフィールド画像から再構成した画像の奥行きを示す画像を生成する方法を開示していない。
本発明は上記事情に鑑みてなされたもので、被写体を撮影した複数の画像から被写体の奥行きを推定できる奥行き推定装置、再構成画像生成装置、奥行き推定方法、再構成画像生成方法及びプログラムを提供することを目的とする。また、本発明は被写体を撮影した複数の画像から再構成した画像の奥行きを推定し、推定結果を用いて画質の高い再構成画像を生成できる再構成画像生成装置、再構成画像生成方法及びプログラムを提供することを他の目的とする。
上記目的を達成するため、本発明に係る奥行き推定装置の一様態は、
複数のサブイメージから構成されるライトフィールド画像から被写体の奥行きを推定する奥行き推定装置であって、
前記ライトフィールド画像の前記サブイメージ上に、前記被写体に対応する画素領域を定義する画素領域定義手段と、
前記画素領域定義手段によって定義された画素領域を含む注目サブイメージ上の位置と、前記注目サブイメージの周辺に配置された周辺サブイメージ上の画素領域に対応する対応領域の位置と、の位置のズレに基づいて、前記被写体の奥行きを推定する奥行き推定手段と、
前記ライトフィールド画像から前記被写体の像を再構成した再構成画像と前記再構成画像の画素である再構成画素とを定義する再構成画像定義手段と、
前記画素領域の前記注目サブイメージ上の位置と、前記対応領域の前記周辺サブイメージ上の位置と、の位置のズレに基づいて、前記画素領域に含まれるサブ画素の奥行き係数を求める奥行き係数獲得手段と、
を備え、
前記奥行き推定手段は、前記奥行き係数獲得手段が求めた各前記サブ画素の奥行き係数に基づいて、前記再構成画像の前記再構成画素の奥行き係数を定めることにより、前記被写体の奥行きを推定する、
ことを特徴とする。
複数のサブイメージから構成されるライトフィールド画像から被写体の奥行きを推定する奥行き推定装置であって、
前記ライトフィールド画像の前記サブイメージ上に、前記被写体に対応する画素領域を定義する画素領域定義手段と、
前記画素領域定義手段によって定義された画素領域を含む注目サブイメージ上の位置と、前記注目サブイメージの周辺に配置された周辺サブイメージ上の画素領域に対応する対応領域の位置と、の位置のズレに基づいて、前記被写体の奥行きを推定する奥行き推定手段と、
前記ライトフィールド画像から前記被写体の像を再構成した再構成画像と前記再構成画像の画素である再構成画素とを定義する再構成画像定義手段と、
前記画素領域の前記注目サブイメージ上の位置と、前記対応領域の前記周辺サブイメージ上の位置と、の位置のズレに基づいて、前記画素領域に含まれるサブ画素の奥行き係数を求める奥行き係数獲得手段と、
を備え、
前記奥行き推定手段は、前記奥行き係数獲得手段が求めた各前記サブ画素の奥行き係数に基づいて、前記再構成画像の前記再構成画素の奥行き係数を定めることにより、前記被写体の奥行きを推定する、
ことを特徴とする。
また、上記目的を達成するため、本発明に係る再構成画像生成装置の一様態は、
複数のサブイメージから構成されるライトフィールド画像から、所定の再構成距離に合焦した再構成画像を生成する再構成画像生成装置であって、
前記ライトフィールド画像の前記サブイメージ上に、被写体に対応する画素領域を定義する画素領域定義手段と、前記画素領域定義手段によって定義された画素領域を含む注目サブイメージ上の位置と、前記注目サブイメージの周辺に配置された周辺サブイメージ上の画素領域に対応する対応領域の位置と、の位置のズレに基づいて、前記被写体の奥行きを推定する奥行き推定手段と、を有する奥行き推定装置と、
前記奥行き推定装置によって推定された前記被写体の奥行きと前記再構成距離との距離の差に基づき、前記再構成画像を構成する再構成画素の画素値を補正する再構成画像補正手段と、
を備える、
ことを特徴とする。
また、上記目的を達成するため、本発明に係る奥行き推定方法の一様態は、
複数のサブイメージから構成されるライトフィールド画像から被写体の奥行きを推定する奥行き推定方法であって、
前記ライトフィールド画像のサブイメージ上に、前記被写体に対応する画素領域を定義するステップと、
前記定義された画素領域を含む注目サブイメージ上の位置と、前記注目サブイメージの周辺に配置された周辺サブイメージ上の画素領域に対応する対応領域の位置と、の位置のズレに基づいて、前記被写体の奥行きを推定するステップと、
前記ライトフィールド画像から前記被写体の像を再構成した再構成画像と前記再構成画像の画素である再構成画素とを定義するステップと、
前記画素領域の前記注目サブイメージ上の位置と、前記対応領域の前記周辺サブイメージ上の位置と、の位置のズレに基づいて、前記画素領域に含まれるサブ画素の奥行き係数を求めるステップと、
を含み、
前記奥行きを推定するステップでは、前記奥行き係数を求めるステップで求めた各前記サブ画素の奥行き係数に基づいて、前記再構成画像の前記再構成画素の奥行き係数を定めることにより、前記被写体の奥行きを推定する、
ことを特徴とする。
また、上記目的を達成するため、本発明に係る再構成画像生成方法の一様態は、
複数のサブイメージから構成されるライトフィールド画像から、所定の再構成距離に合焦した再構成画像を生成する再構成画像生成方法であって、
前記ライトフィールド画像の前記サブイメージ上に、奥行きを推定する対象となる被写体に対応する画素領域を定義するステップと、
前記定義された画素領域を含む注目サブイメージ上の位置と、前記注目サブイメージの周辺に配置された周辺サブイメージ上の画素領域に対応する対応領域の位置と、の位置のズレに基づいて、画素領域を構成する各画素について前記被写体の奥行き係数を求めるステップと、
前記再構成画像を構成する再構成画素に対応する前記ライトフィールド画像上の対応画素を抽出するステップと、
求めた前記奥行き係数に基づいて、前記対応画素と対応する前記再構成画素の奥行き係数を設定するステップと、
前記再構成画素の奥行き係数が示す被写体までの距離と前記再構成距離との距離の差に基づき、前記再構成画素の画素値を補正するステップと、
前記再構成画素の前記補正後の画素値を用いて再構成画像を生成するステップと、
を含む、
ことを特徴とする。
また、上記目的を達成するため、本発明に係るプログラムの一様態は、
複数のサブイメージから構成されるライトフィールド画像から被写体の奥行きを推定するため、コンピュータに、
前記ライトフィールド画像のサブイメージ上に、前記被写体に対応する画素領域を定義する機能、
前記定義された画素領域を含む注目サブイメージ上の位置と、前記注目サブイメージの周辺に配置された周辺サブイメージ上の画素領域に対応する対応領域の位置と、の位置のズレに基づいて、前記被写体の奥行きを推定する機能、
前記ライトフィールド画像から前記被写体の像を再構成した再構成画像と前記再構成画像の画素である再構成画素とを定義する機能、
前記画素領域の前記注目サブイメージ上の位置と、前記対応領域の前記周辺サブイメージ上の位置と、の位置のズレに基づいて、前記画素領域に含まれるサブ画素の奥行き係数を求める機能、
を実現させ、
前記奥行きを推定する機能では、前記奥行き係数を求める機能で求めた各前記サブ画素の奥行き係数に基づいて、前記再構成画像の前記再構成画素の奥行き係数を定めることにより、前記被写体の奥行きを推定する、
ことを特徴とする。
また、上記目的を達成するため、本発明に係るプログラムの一様態は、
複数のサブイメージから構成されるライトフィールド画像から、所定の再構成距離に合焦した再構成画像を生成するため、コンピュータに、
前記ライトフィールド画像のサブイメージ上に、奥行きを推定する対象となる被写体に対応する画素領域を定義する機能、
前記定義された画素領域を含む注目サブイメージ上の位置と、前記注目サブイメージの周辺に配置された周辺サブイメージ上の画素領域に対応する対応領域の位置と、の位置のズレに基づいて、画素領域を構成する各画素について前記被写体の奥行き係数を求める機能、
前記再構成画像を構成する再構成画素に対応する前記ライトフィールド画像上の対応画素を抽出する機能、
求めた奥行き係数に基づいて、前記対応画素と対応する前記再構成画素の奥行き係数を設定する機能、
前記再構成画素の奥行き係数が示す前記被写体までの距離と前記再構成距離との距離の差に基づき、前記再構成画素の画素値を補正する機能、
前記再構成画素の補正後の画素値を用いて再構成画像を生成する機能、
を実現させる、
ことを特徴とする。
複数のサブイメージから構成されるライトフィールド画像から、所定の再構成距離に合焦した再構成画像を生成する再構成画像生成装置であって、
前記ライトフィールド画像の前記サブイメージ上に、被写体に対応する画素領域を定義する画素領域定義手段と、前記画素領域定義手段によって定義された画素領域を含む注目サブイメージ上の位置と、前記注目サブイメージの周辺に配置された周辺サブイメージ上の画素領域に対応する対応領域の位置と、の位置のズレに基づいて、前記被写体の奥行きを推定する奥行き推定手段と、を有する奥行き推定装置と、
前記奥行き推定装置によって推定された前記被写体の奥行きと前記再構成距離との距離の差に基づき、前記再構成画像を構成する再構成画素の画素値を補正する再構成画像補正手段と、
を備える、
ことを特徴とする。
また、上記目的を達成するため、本発明に係る奥行き推定方法の一様態は、
複数のサブイメージから構成されるライトフィールド画像から被写体の奥行きを推定する奥行き推定方法であって、
前記ライトフィールド画像のサブイメージ上に、前記被写体に対応する画素領域を定義するステップと、
前記定義された画素領域を含む注目サブイメージ上の位置と、前記注目サブイメージの周辺に配置された周辺サブイメージ上の画素領域に対応する対応領域の位置と、の位置のズレに基づいて、前記被写体の奥行きを推定するステップと、
前記ライトフィールド画像から前記被写体の像を再構成した再構成画像と前記再構成画像の画素である再構成画素とを定義するステップと、
前記画素領域の前記注目サブイメージ上の位置と、前記対応領域の前記周辺サブイメージ上の位置と、の位置のズレに基づいて、前記画素領域に含まれるサブ画素の奥行き係数を求めるステップと、
を含み、
前記奥行きを推定するステップでは、前記奥行き係数を求めるステップで求めた各前記サブ画素の奥行き係数に基づいて、前記再構成画像の前記再構成画素の奥行き係数を定めることにより、前記被写体の奥行きを推定する、
ことを特徴とする。
また、上記目的を達成するため、本発明に係る再構成画像生成方法の一様態は、
複数のサブイメージから構成されるライトフィールド画像から、所定の再構成距離に合焦した再構成画像を生成する再構成画像生成方法であって、
前記ライトフィールド画像の前記サブイメージ上に、奥行きを推定する対象となる被写体に対応する画素領域を定義するステップと、
前記定義された画素領域を含む注目サブイメージ上の位置と、前記注目サブイメージの周辺に配置された周辺サブイメージ上の画素領域に対応する対応領域の位置と、の位置のズレに基づいて、画素領域を構成する各画素について前記被写体の奥行き係数を求めるステップと、
前記再構成画像を構成する再構成画素に対応する前記ライトフィールド画像上の対応画素を抽出するステップと、
求めた前記奥行き係数に基づいて、前記対応画素と対応する前記再構成画素の奥行き係数を設定するステップと、
前記再構成画素の奥行き係数が示す被写体までの距離と前記再構成距離との距離の差に基づき、前記再構成画素の画素値を補正するステップと、
前記再構成画素の前記補正後の画素値を用いて再構成画像を生成するステップと、
を含む、
ことを特徴とする。
また、上記目的を達成するため、本発明に係るプログラムの一様態は、
複数のサブイメージから構成されるライトフィールド画像から被写体の奥行きを推定するため、コンピュータに、
前記ライトフィールド画像のサブイメージ上に、前記被写体に対応する画素領域を定義する機能、
前記定義された画素領域を含む注目サブイメージ上の位置と、前記注目サブイメージの周辺に配置された周辺サブイメージ上の画素領域に対応する対応領域の位置と、の位置のズレに基づいて、前記被写体の奥行きを推定する機能、
前記ライトフィールド画像から前記被写体の像を再構成した再構成画像と前記再構成画像の画素である再構成画素とを定義する機能、
前記画素領域の前記注目サブイメージ上の位置と、前記対応領域の前記周辺サブイメージ上の位置と、の位置のズレに基づいて、前記画素領域に含まれるサブ画素の奥行き係数を求める機能、
を実現させ、
前記奥行きを推定する機能では、前記奥行き係数を求める機能で求めた各前記サブ画素の奥行き係数に基づいて、前記再構成画像の前記再構成画素の奥行き係数を定めることにより、前記被写体の奥行きを推定する、
ことを特徴とする。
また、上記目的を達成するため、本発明に係るプログラムの一様態は、
複数のサブイメージから構成されるライトフィールド画像から、所定の再構成距離に合焦した再構成画像を生成するため、コンピュータに、
前記ライトフィールド画像のサブイメージ上に、奥行きを推定する対象となる被写体に対応する画素領域を定義する機能、
前記定義された画素領域を含む注目サブイメージ上の位置と、前記注目サブイメージの周辺に配置された周辺サブイメージ上の画素領域に対応する対応領域の位置と、の位置のズレに基づいて、画素領域を構成する各画素について前記被写体の奥行き係数を求める機能、
前記再構成画像を構成する再構成画素に対応する前記ライトフィールド画像上の対応画素を抽出する機能、
求めた奥行き係数に基づいて、前記対応画素と対応する前記再構成画素の奥行き係数を設定する機能、
前記再構成画素の奥行き係数が示す前記被写体までの距離と前記再構成距離との距離の差に基づき、前記再構成画素の画素値を補正する機能、
前記再構成画素の補正後の画素値を用いて再構成画像を生成する機能、
を実現させる、
ことを特徴とする。
本発明によれば、被写体を撮影した複数の画像から再構成した画像の奥行きを推定することができる。また、推定結果を用いて画質の高い再構成画像を生成することができる。
以下、本発明を実施するための形態に係るデジタルカメラ及び画像生成装置を、図を参照しながら説明する。なお、図中同一又は相当する部分には同一符号を付す。
（実施形態１）
実施形態１に係る画像生成装置３０（奥行き推定装置）は、図１に示すデジタルカメラ１に搭載されている。デジタルカメラ１は、被写体を撮影して複数のサブイメージからなるライトフィールド画像を撮影し、このライトフィールド画像から被写体の奥行きを推定し、推定結果を示す再構成した画像（奥行き画像、再構成画像）を生成して表示する機能を備える。画像生成装置３０は、このうち複数のサブイメージからなるライトフィールド画像から奥行き画像を生成する機能を担当する。
実施形態１に係る画像生成装置３０（奥行き推定装置）は、図１に示すデジタルカメラ１に搭載されている。デジタルカメラ１は、被写体を撮影して複数のサブイメージからなるライトフィールド画像を撮影し、このライトフィールド画像から被写体の奥行きを推定し、推定結果を示す再構成した画像（奥行き画像、再構成画像）を生成して表示する機能を備える。画像生成装置３０は、このうち複数のサブイメージからなるライトフィールド画像から奥行き画像を生成する機能を担当する。
デジタルカメラ１は、図１に示すように、撮像部１０と、画像生成装置３０を含む情報処理部２０と、記憶部４０と、インターフェース部（Ｉ／Ｆ部）５０と、から構成される。デジタルカメラ１は、このような構成により、外部からの光線情報を取得して、光線情報を表す画像を表示する。
撮像部１０は、光学装置１１０と、イメージセンサ１２０と、から構成され、撮像動作を行う。
光学装置１１０は、図２に示すように、シャッタ１１１と、メインレンズＭＬと、サブレンズアレイＳＬＡ（マイクロレンズアレイ）と、から構成され、外部からの光線をメインレンズＭＬによって捉え、サブレンズアレイＳＬＡを構成する各サブレンズＳＬの光学中心を視点として得られる光学像をイメージセンサ１２０に投影する。
イメージセンサ１２０は、光学装置１１０が投影した光学像を電気信号に変換して情報処理部２０に伝達するもので、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｌｌｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子と、撮像素子が生成した電気信号を情報処理部２０に伝達する伝達部と、から構成される。
シャッタ１１１は、イメージセンサ１２０への外部光の入射と遮蔽を制御する。
メインレンズＭＬは、一又は複数の凸レンズ、凹レンズ、非球面レンズ等から構成され、撮影時の被写体ＯＢの光を光学像としてメインレンズＭＬとサブレンズアレイＳＬＡとの間の仮想的な結像面ＭＩＰ上に結像させる。なお、撮影時の被写体ＯＢは、図２に示すようにメインレンズＭＬからそれぞれ異なる距離だけ離れた複数の構成物であるとする。本実施形態では、メインレンズＭＬは単一の焦点距離ｆＭＬを持つ単焦点レンズであるとする。
メインレンズＭＬは、一又は複数の凸レンズ、凹レンズ、非球面レンズ等から構成され、撮影時の被写体ＯＢの光を光学像としてメインレンズＭＬとサブレンズアレイＳＬＡとの間の仮想的な結像面ＭＩＰ上に結像させる。なお、撮影時の被写体ＯＢは、図２に示すようにメインレンズＭＬからそれぞれ異なる距離だけ離れた複数の構成物であるとする。本実施形態では、メインレンズＭＬは単一の焦点距離ｆＭＬを持つ単焦点レンズであるとする。
サブレンズアレイＳＬＡは、平面上に格子状に配置されたＭ×Ｎ個のサブレンズ（マイクロレンズ）ＳＬから構成される。サブレンズアレイＳＬＡは、メインレンズＭＬが結像面ＭＩＰ上に結像させた光学像を、それぞれのサブレンズＳＬの光学中心を視点として観測した光学像として、イメージセンサ１２０を構成するイメージセンサの撮像面ＩＥ上に結像する。メインレンズＭＬが成す平面と撮像面ＩＥが成す平面とから構成される空間をライトフィールドと呼ぶ。
メインレンズＭＬについて、最大径ＬＤと、有効径ＥＤと、が定義できる。最大径ＬＤは、メインレンズＭＬの物理的な直径である。一方、有効径ＥＤはメインレンズＭＬのうち撮影に使用できる領域の直径である。メインレンズＭＬのうち、有効径ＥＤの外部は、メインレンズＭＬに貼り付けられた各種フィルタやメインレンズＭＬ周辺の物理構造によってメインレンズに入出力する光線が遮られるため、画像を撮影・再構成するために有効でない領域（非有効領域）である。
有効径ＥＤは、上記フィルタ等の物理構造によって光線が遮られる部位を工場出荷時に測定することで定義できる。
有効径ＥＤは、上記フィルタ等の物理構造によって光線が遮られる部位を工場出荷時に測定することで定義できる。
図２の例では、被写体ＯＢのある部分ＰＯＢからの光線がメインレンズＭＬの有効径ＥＤをなす部分（有効部）を通過し、複数のサブレンズＳＬ上に投影されている。このように、被写体ＯＢの部分ＰＯＢから発された光が、メインレンズＭＬの有効部を通過してサブレンズアレイＳＬＡ上に投影される領域を、部分ＰＯＢのメインレンズブラーＭＬＢと呼ぶ。このうち、主光線が到達する部位をメインレンズブラー中心ＭＬＢＣと呼ぶ。
メインレンズＭＬの光学中心からメインレンズの結像面ＭＩＰまでの距離をｂ１、結像面ＭＩＰからサブレンズアレイＳＬＡがなす面までの距離をａ２、サブレンズアレイＳＬＡからイメージセンサの撮像面ＩＥの距離をｃ２とする。
撮像部１０は、上記構成により、ライトフィールドを通過する全ての光線の情報を含んだライトフィールド画像（ＬＦＩ）を撮影する。
ブロック状の被写体ＯＢを撮影したＬＦＩの一例を図３（ａ）に示す。
このＬＦＩは、格子状に配置されたＭ×Ｎ個のサブレンズＳＬ（マイクロレンズ）のそれぞれに対応する画像（サブイメージＳＩ、Ｓ１１〜ＳＭＮ）から構成されている。例えば、左上のサブイメージＳ１１は、被写体ＯＢを左上から撮影した画像に相当し、右下のサブイメージＳＭＮは被写体ＯＢを右下から撮影した画像に相当する。
ブロック状の被写体ＯＢを撮影したＬＦＩの一例を図３（ａ）に示す。
このＬＦＩは、格子状に配置されたＭ×Ｎ個のサブレンズＳＬ（マイクロレンズ）のそれぞれに対応する画像（サブイメージＳＩ、Ｓ１１〜ＳＭＮ）から構成されている。例えば、左上のサブイメージＳ１１は、被写体ＯＢを左上から撮影した画像に相当し、右下のサブイメージＳＭＮは被写体ＯＢを右下から撮影した画像に相当する。
各サブイメージは、サブイメージを結像させたサブレンズの位置に対応したＬＦＩ上の位置に配置されている。
第ｉ行のサブイメージ（横の一列のサブイメージ）Ｓｉ１〜ＳｉＮは、メインレンズＭＬが結像した像を、サブレンズアレイＳＬＡの第ｉ行の横に並んだサブレンズＳＬで結像したステレオ画像に相当する。同様に、第ｊ列のサブイメージ（縦の一列のサブイメージ）Ｓ１ｊ〜ＳＭｊは、メインレンズＭＬが結像した像を、サブレンズアレイＳＬＡ（マイクロレンズアレイ）の第ｊ列の縦に並んだサブレンズＳＬで撮影したステレオ画像に相当する。
第ｉ行のサブイメージ（横の一列のサブイメージ）Ｓｉ１〜ＳｉＮは、メインレンズＭＬが結像した像を、サブレンズアレイＳＬＡの第ｉ行の横に並んだサブレンズＳＬで結像したステレオ画像に相当する。同様に、第ｊ列のサブイメージ（縦の一列のサブイメージ）Ｓ１ｊ〜ＳＭｊは、メインレンズＭＬが結像した像を、サブレンズアレイＳＬＡ（マイクロレンズアレイ）の第ｊ列の縦に並んだサブレンズＳＬで撮影したステレオ画像に相当する。
本実施形態のデジタルカメラ１は、図４（ｂ）に示すように、ＬＦＩから本画像として被写体を再構成した場合の各被写体の奥行きを推定し、推定結果を示す画像（奥行き画像ＤＩ）を生成する。奥行き画像ＤＩの各画素は、その画素の被写体の推定された奥行きが深い（その被写体がメインレンズＭＬから遠い）場所には黒に近く、近いほど白に近く設定される。
なお、本実施形態では各サブイメージはグレースケール画像であり、サブイメージを構成する各画素は画素値（スカラー値）を持つ。
なお、本実施形態では各サブイメージはグレースケール画像であり、サブイメージを構成する各画素は画素値（スカラー値）を持つ。
図１に示す情報処理部２０は、物理的にはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、内部バスと、Ｉ／Ｏポートと、から構成され、画像処理部２１０、画像生成装置３０、撮像制御部２２０、として機能する。
画像処理部２１０は、イメージセンサ１２０から電気信号を取得し、取得した電気信号を記憶部４０の撮像設定記憶部４１０が記憶する撮像設定情報に基づいて画像データに変換する。画像処理部２１０は、画像データと、撮像設定情報に所定の情報を加えた撮影設定情報と、を画像生成装置３０に伝達する。
撮像設定記憶部４１０が記憶する撮像設定情報については後述する。
画像生成装置３０は、画像処理部２１０から伝達されたＬＦＩを用いて出力画像（奥行き画像）を生成する。画像生成装置３０が奥行き画像を生成する処理については後述する。
画像生成装置３０は、生成した出力画像を記憶部４０の画像記憶部４３０に記憶する。
画像生成装置３０は、生成した出力画像を記憶部４０の画像記憶部４３０に記憶する。
撮像制御部２２０は、記憶部４０の撮像設定記憶部４１０に記憶された撮像設定情報に基づいて撮像部１０を制御し、撮像部１０を用いて被写体ＯＢを撮影する。
記憶部４０は、ＲＡＭ等から構成される主記憶装置と、フラッシュメモリ、ハードディスク、等の不揮発性メモリから構成される外部記憶装置と、から構成される。
主記憶装置は外部記憶装置に記憶されている制御プログラムや情報をロードし、情報処理部２０の作業領域として用いられる。
外部記憶装置は、後述する処理を情報処理部２０に行わせるための制御プログラムと情報とをあらかじめ記憶し、これらの制御プログラムや情報を情報処理部２０の指示に従って主記憶装置に伝達する。また、情報処理部２０の指示に従って、情報処理部２０の処理に基づく情報とインターフェース部５０から伝達された情報とを記憶する。
主記憶装置は外部記憶装置に記憶されている制御プログラムや情報をロードし、情報処理部２０の作業領域として用いられる。
外部記憶装置は、後述する処理を情報処理部２０に行わせるための制御プログラムと情報とをあらかじめ記憶し、これらの制御プログラムや情報を情報処理部２０の指示に従って主記憶装置に伝達する。また、情報処理部２０の指示に従って、情報処理部２０の処理に基づく情報とインターフェース部５０から伝達された情報とを記憶する。
記憶部４０は、機能的には、撮像設定記憶部４１０と、再構成設定記憶部４２０と、画像記憶部４３０と、から構成される。
撮像設定記憶部４１０は、撮像設定情報を記憶する。撮像設定情報は、撮像時に変化しうる撮像パラメータとしてメインレンズＭＬとサブレンズアレイＳＬＡとの距離、メインレンズの焦点距離ｆＭＬ、露光時間を特定する情報、Ｆ値、シャッタ速度、等を含む。また、撮像設定記憶部４１０は、各サブレンズＳＬのサブレンズアレイＳＬＡ上の位置、サブレンズアレイＳＬＡと撮像面ＩＥとの距離ｃ２等のデジタルカメラ１の物理構成に係る情報を記憶している。
撮像設定記憶部４１０は、撮像パラメータを撮像制御部２２０に伝達する。
また、撮像設定記憶部４１０は、撮像部１０の撮像設定情報に物理構成に関する情報を付加して、撮影設定情報として画像処理部２１０に伝達する。
撮像設定記憶部４１０は、撮像パラメータを撮像制御部２２０に伝達する。
また、撮像設定記憶部４１０は、撮像部１０の撮像設定情報に物理構成に関する情報を付加して、撮影設定情報として画像処理部２１０に伝達する。
再構成設定記憶部４２０は、初期出荷時に記憶された、あるいは操作部５３０を用いてユーザが入力した、ＬＦＩから再構成して画像を生成するための設定パラメータを記憶している。
再構成設定情報は、再構成処理の具体的内容を示す情報と再構成パラメータとから構成される。ここでは、ＬＦＩから奥行き画像を生成する旨の情報と、新たな画像のフォーカス点とメインレンズＭＬとの距離を特定する情報と、を含む。
再構成設定情報は、再構成処理の具体的内容を示す情報と再構成パラメータとから構成される。ここでは、ＬＦＩから奥行き画像を生成する旨の情報と、新たな画像のフォーカス点とメインレンズＭＬとの距離を特定する情報と、を含む。
画像記憶部４３０は、画像生成装置３０が生成した出力画像を記憶する。画像記憶部４３０は、インターフェース部５０のＩ／Ｏ部５１０と表示部５２０とに、記憶した画像を伝達する。
インターフェース部（図ではＩ／Ｆ部と記述する）５０は、デジタルカメラ１とその使用者（ユーザ）あるいは外部装置とのインターフェースに係る構成であり、Ｉ／Ｏ部５１０と、表示部５２０と、操作部５３０と、から構成される。
Ｉ／Ｏ部（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ部）５１０は、物理的にはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタやビデオ出力端子と、入出力制御部と、から構成される。Ｉ／Ｏ部５１０は記憶部４０に記憶された情報を外部のコンピュータに出力し、外部から伝達された情報を記憶部４０に伝達する。
表示部５２０は、液晶表示装置や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等から構成され、撮像設定記憶部４１０に記憶される撮像パラメータを入力するための画面や、デジタルカメラ１を操作するための画面を表示する。また、表示部５２０は、画像記憶部４３０に記憶された画像を表示する。
操作部５３０は、例えばデジタルカメラ１に備えられた各種ボタンや表示部５２０に備えられたタッチパネルと、各種ボタンやタッチパネルに行われた操作の情報を検出して記憶部４０と情報処理部２０とに伝達する伝達部を含み、ユーザ操作の情報を記憶部４０や情報処理部２０に伝達する。
デジタルカメラ１は、図３（ｂ）に示すように、ＬＦＩを撮影し、ＬＦＩから再構成した奥行き画像ＤＩを生成して出力する。
次に、画像生成装置３０の構成について、図４を参照して説明する。
画像生成装置３０は、図４（ａ）に示すように情報処理部３１ａと、主記憶部３２と、外部記憶部３３と、入出力部３６と、内部バス３７と、から構成される。
画像生成装置３０は、図４（ａ）に示すように情報処理部３１ａと、主記憶部３２と、外部記憶部３３と、入出力部３６と、内部バス３７と、から構成される。
情報処理部３１ａは、ＣＰＵと、ＲＡＭと、から構成される。
主記憶部３２は、記憶部４０の主記憶装置と同様の物理構成を持つ。外部記憶部３３は、記憶部４０の外部記憶装置と同様の物理構成を持ち、プログラム３８を記憶している。入出力部３６は、Ｉ/Ｏ部５１０と同様の物理構成を持つ。内部バス３７は、情報処理部３１ａと、主記憶部３２と、外部記憶部３３と、入出力部３６と、を接続する。
情報処理部３１ａと、主記憶部３２と、外部記憶部３３と、入出力部３６と、内部バス３７と、はデジタルカメラ１の情報処理部２０の内部回路と、記憶部４０と、インターフェース部５０と、によって実現される機能ブロックであってもよい。
画像生成装置３０は、外部記憶部３３に記憶されたプログラム３８及びデータを主記憶部３２にコピーして、情報処理部３１ａが、主記憶部３２を使用してプログラム３８を実行することにより、後述する画像を生成して出力するための処理を実行する。
画像生成装置３０は、上記のような物理構成により、図４（ｂ）に示すように、入力部３１０と、奥行き推定部３２０と、奥行き画像生成部３３０と、として機能する。
入力部３１０は、画像処理部２１０から、ＬＦＩを取得するＬＦＩ取得部３１１０と、そのＬＦＩを取得したときの撮影設定情報を取得する撮影設定取得部３１３０と、ＬＦＩから出力画像（奥行き画像）を生成するにあたって用いるパラメータを含む再構成設定を取得する再構成設定取得部３１２０と、から構成される。
撮影設定情報は、撮像設定情報に含まれる撮像パラメータ（メインレンズＭＬとサブレンズアレイＳＬＡとの距離、メインレンズの焦点距離ｆＭＬ、露光時間を特定する情報、Ｆ値、シャッタ速度）に加え、既存値としてメインレンズの有効径ＥＤと、サブレンズアレイＳＬＡを構成する各サブレンズＳＬの位置情報と、サブレンズアレイＳＬＡとイメージセンサ１２０の撮像面ＩＥとの距離とを含む。また、メインレンズＭＬからサブレンズアレイＳＬＡまでの距離ｃ１、サブレンズアレイＳＬＡから撮像素子の表面（撮像面ＩＥ）までの距離ｃ２、各サブレンズの径、各撮像素子のサブレンズに対する相対位置、等の情報を含む。
撮影設定情報は、撮像設定情報に含まれる撮像パラメータ（メインレンズＭＬとサブレンズアレイＳＬＡとの距離、メインレンズの焦点距離ｆＭＬ、露光時間を特定する情報、Ｆ値、シャッタ速度）に加え、既存値としてメインレンズの有効径ＥＤと、サブレンズアレイＳＬＡを構成する各サブレンズＳＬの位置情報と、サブレンズアレイＳＬＡとイメージセンサ１２０の撮像面ＩＥとの距離とを含む。また、メインレンズＭＬからサブレンズアレイＳＬＡまでの距離ｃ１、サブレンズアレイＳＬＡから撮像素子の表面（撮像面ＩＥ）までの距離ｃ２、各サブレンズの径、各撮像素子のサブレンズに対する相対位置、等の情報を含む。
再構成設定取得部３１２０は、再構成設定記憶部４２０が記憶する画像を再構成するための再構成設定情報を記憶する。再構成設定情報は、再構成処理の具体的内容を示す情報と、下記する画像生成処理のために必要な情報（再構成パラメータ、奥行きテーブル、閾値を示す情報）が含まれる。再構成パラメータは新たな画像のフォーカス点とメインレンズＭＬとの距離（再構成距離、距離ａ１）を特定する情報と、を含む。
本実施形態では、ＬＦＩから再構成設定が示す再構成面上に奥行き画像を生成する場合について説明する。このとき、再構成設定情報は奥行き画像を生成する旨の情報を含む。
本実施形態では、ＬＦＩから再構成設定が示す再構成面上に奥行き画像を生成する場合について説明する。このとき、再構成設定情報は奥行き画像を生成する旨の情報を含む。
奥行き推定部３２０と奥行き画像生成部３３０は、再構成設定取得部３１２０が取得した再構成設定に合致する出力画像（奥行き画像）を、再構成設定と、ＬＦＩ取得部３１１０が取得したＬＦＩと、撮影設定取得部３１３０が取得した撮影設定情報と、を用いて生成する。
このなかで、奥行き推定部３２０はサブイメージを構成する各画素（サブ画素）について、画素に対応する被写体の奥行きを推定し、推定結果を表すライトフィールド奥行き画像（ＬＦＤＩ）を生成する。奥行きとは、推定されたメインレンズＭＬと被写体ＯＢとの距離である。
このなかで、奥行き推定部３２０はサブイメージを構成する各画素（サブ画素）について、画素に対応する被写体の奥行きを推定し、推定結果を表すライトフィールド奥行き画像（ＬＦＤＩ）を生成する。奥行きとは、推定されたメインレンズＭＬと被写体ＯＢとの距離である。
奥行き推定部３２０はこのような処理を実行するために、領域定義部３２１０と、注目領域選択部３２２０と、周辺サブイメージ選択部３２３０と、ＳＳＤ算出部３２４０と、奥行き係数投票部３２５０と、サブ画素奥行き係数選択部３２６０と、奥行きフィルタ実行部３２７０と、を含む。
領域定義部３２１０は、各サブイメージを画素値に基づいて同一の被写体に対応すると推定される画素で構成される領域（画素領域）を定義する。画素領域は、一つのサブイメージについて一又は複数定義される。画素領域を定義する処理は、対応する被写体ごとに画像を分割する既知の任意の方法を使用することが出来る。ここでは、後述する処理を用いて画素領域を定義するが、他の例として差分画像を算出して、差分値が閾値より大きい部分に囲まれた部分を画素領域とする、等の処理を採用することも可能である。
注目領域選択部３２２０は、領域定義部３２１０が定義したサブイメージ上の画素領域を順次注目画素領域として選択する。
注目領域選択部３２２０が選択した注目画素領域を含むサブイメージ（注目サブイメージ）について、周辺サブイメージが定義される。周辺サブイメージは、注目サブイメージを中心とする再構成設定が定める所定領域（周辺領域）に含まれる、その他のサブイメージである。
周辺サブイメージ選択部３２３０は、周辺サブイメージを順次注目周辺イメージとして選択する。
周辺サブイメージ選択部３２３０は、周辺サブイメージを順次注目周辺イメージとして選択する。
ＳＳＤ算出部３２４０は、注目周辺イメージにおいて、注目画素領域に対応する対応領域の候補である対応候補領域を定義し、対応候補領域を、設定上想定される奥行きに対応する範囲でずらし、各部位における注目画素領域との対応の確かさを示す係数を算出する。ここでは、係数として注目画素領域と対応候補領域との画素値の差の二乗和（ＳＳＤ）を算出する。具体的な処理方法については後述する。周辺サブイメージ選択部３２３０からＳＳＤ算出部３２４０は、注目画素領域に定義される周辺サブイメージを順次注目周辺サブイメージとし、全てについて上記処理を実行する。
奥行き係数投票部３２５０は、全ての周辺サブイメージについて算出したＳＳＤを基に、ＳＳＤの和（ＳＳＳＤ）が最小となる奥行きを示す係数を求める。そして、求めた係数を注目画素領域及び対応領域に含まれるサブ画素の奥行きを示す情報の候補（候補係数）とする。さらに、候補係数をこれらの画素の奥行きヒストグラム（図９（ｅ））に投票する。奥行きヒストグラムおよび投票処理については後述する。
このとき、この候補係数に対応する領域は、周辺サブイメージにおける注目画素領域に対応すると推定される領域（対応領域）である。そのため、奥行き係数投票部３２５０が注目画素領域についてＳＳＳＤが最小となる奥行き係数を定めることは、注目画素領域の対応領域として、その奥行き係数が示す周辺サブイメージ上の領域を定義することと等しい。言い換えれば、奥行き係数投票部３２５０は対応領域を定義し、この対応領域の位置のズレを注目画素領域と対応画素領域の画素の奥行きを推定するために奥行きヒストグラムに登録（投票）するものである。
このとき、この候補係数に対応する領域は、周辺サブイメージにおける注目画素領域に対応すると推定される領域（対応領域）である。そのため、奥行き係数投票部３２５０が注目画素領域についてＳＳＳＤが最小となる奥行き係数を定めることは、注目画素領域の対応領域として、その奥行き係数が示す周辺サブイメージ上の領域を定義することと等しい。言い換えれば、奥行き係数投票部３２５０は対応領域を定義し、この対応領域の位置のズレを注目画素領域と対応画素領域の画素の奥行きを推定するために奥行きヒストグラムに登録（投票）するものである。
奥行きヒストグラムに奥行き係数を投票する。注目画素領域の全ての周辺サブイメージについて投票処理を終えると、注目領域選択部３２２０が次の注目画素領域を選択する。そして、注目領域選択部３２２０から奥行き係数投票部３２５０が連動して、全ての画素領域について奥行き係数を投票する。
サブ画素奥行き係数選択部３２６０は、投票結果の奥行きヒストグラムに基づいて、ＬＦＩを構成するサブ画像のサブ画素に対応する被写体の奥行きを示す奥行き係数を選択する。選択の結果、ＬＦＩの各画素について推定された奥行きを示す奥行き係数が求められる。奥行き係数によって定められた画素値を持つ画像をＬＦＤＩと呼ぶ。なお、具体的な選択方法については後述する。
奥行きフィルタ実行部３２７０はサブ画素奥行き係数選択部３２６０が生成したＬＦＩ奥行き画像に後述する画像フィルタ（奥行きフィルタ）を適用する処理を行い、画像のエッジを整える。この奥行きフィルタについては後述する。なお、後述する処理に代えて、画像のエッジを整えノイズを除去する既知の任意の画像フィルタを用いても良い。
奥行き画像生成部３３０は、ＬＦＩの奥行き係数から出力画像（奥行き画像）を再構成する。奥行き画像生成部３３０は、このような処理のためにひな形定義部３３１０と、注目画素選択部３３２０と、対応画素抽出部３３３０と、画素値決定部３３４０と、を含む。
ひな形定義部３３１０は、再構成設定取得部３１２０が取得した再構成設定に基づいて、奥行き画像の原型（ひな形）をメインレンズＭＬから距離ａ１の面（再構成面）に配置する。ここで言うひな形とは、画素値が全て０（あるいは未設定）の画像である。そして、定義した原型を注目画素選択部３３２０に伝達する。
注目画素選択部３３２０は、ひな形定義部３３１０が定義した再構成面上の奥行き画像の画素（奥行き画素、再構成画素）のうち一つを注目画素として選択する。そして、対応画素抽出部３３３０に、注目画素の情報を伝達する。
対応画素抽出部３３３０は、注目画素選択部３３２０が選択した注目画素から光線追跡して、注目画素からの光が届いたＬＦＩ上の画素（対応画素）をサブレンズ毎に抽出する。
画素値決定部３３４０は、対応画素の奥行き係数に基づいて注目画素の画素値を決定する。この処理の具体的な内容については後述する。
注目画素選択部３３２０から画素値決定部３３４０は奥行き画像に含まれる全ての再構成画素を順次注目画素として画素値を決定し、奥行き画像を生成する。
注目画素選択部３３２０から画素値決定部３３４０は奥行き画像に含まれる全ての再構成画素を順次注目画素として画素値を決定し、奥行き画像を生成する。
出力部３４０は、奥行き画像生成部３３０が生成した奥行き画像を画像記憶部４３０に出力する。
ここで、画像生成装置３０が実行するＬＦＩから画像（奥行き画像）を再構成して出力するための処理（画像出力処理）を、図５から図１７を参照して説明する。
ユーザがデジタルカメラ１を用いてＬＦＩを撮影し、画像処理部２１０がＬＦＩを生成して撮影設定情報と共に画像生成装置３０に伝達すると、画像生成装置３０は図５に示す画像出力処理を開始する。
画像出力処理では、まずＬＦＩ取得部３１１０がＬＦＩを取得する（ステップＳ１０１）。
そして、再構成設定取得部３１２０が再構成設定を、撮影設定取得部３１３０が撮影設定を取得する（ステップＳ１０２）。
そして、再構成設定取得部３１２０が再構成設定を、撮影設定取得部３１３０が撮影設定を取得する（ステップＳ１０２）。
そして、領域定義部３２１０がサブイメージ内で同一の被写体に対応すると想定できる画素領域を一又は複数定義する処理（画素領域定義処理）を実行する（ステップＳ１０３）。
領域定義部３２１０が実行する画素領域定義処理について、図６を参照して説明する。画素領域定義処理の各処理は、領域定義部３２１０が実行する。
画素領域定義処理では、まずサブイメージから注目サブイメージを選択する（ステップＳ２０１）。また、このとき最初の画素領域を定義するラベル（画素領域ラベル）を定義する。
画素領域定義処理では、まずサブイメージから注目サブイメージを選択する（ステップＳ２０１）。また、このとき最初の画素領域を定義するラベル（画素領域ラベル）を定義する。
そして、注目サブイメージのサブ画素のうち、まだどの画素領域に所属しているか決定されていない画素（画素領域ラベルが貼り付けられていない画素、未ラベル画素）である注目画素を選択する（ステップＳ２０２）。そして、注目画素に現在の画素領域ラベルを貼り付ける。
そして、注目画素を中心とした近傍領域に位置する画素から、未ラベル画素を一つ選択して、近傍画素とする。そして、近傍画素の画素値を取得する（ステップＳ２０３）。近傍領域については自由に設定可能であるが、ここでは注目画素に隣接する８画素が形成する領域を近傍領域とする。
注目画素の画素値と、ステップＳ２０３で取得した近傍画素の画素値と、を比較して、画素値の差が閾値以下であるか判別する（ステップＳ２０４）。
画素値の差が閾値以下であった場合は（ステップＳ２０４：ＹＥＳ）、近傍画素と注目画素は同一の被写体に対応するとの推定のもと、近傍画素を現在の画素領域に編入する（ステップＳ２０５）。具体的には、近傍画素に現在の画素領域ラベルを貼り付ける。そして、近傍画素を次の注目画素として（ステップＳ２０６）、ステップＳ２０３から処理を繰り返す。
一方、画素値の差が閾値より大きい場合は（ステップＳ２０４：ＮＯ）、近傍画素と注目画素は異なる被写体に対応するとの推定ができるので、その近傍画素は現在の画素領域に編入しない。そして、注目画像の近傍領域に、まだステップＳ２０４の判別処理を行っていない未ラベル画素があるか判別する（ステップＳ２０７）。判別処理を行っていない未ラベル画素がある場合（ステップＳ２０７；ＮＯ）、近傍領域の次の未ラベル画素についてステップＳ２０３から処理を繰り返す。
一方、全ての近傍領域の未ラベル画素について上記処理を実行したと判別すると（ステップＳ２０７；ＹＥＳ）、注目画素の近傍には現在の画素領域に属するべき未ラベル画素はないと判断できる。そこで、現在の画素領域に属する画素値の平均値を、その画素領域の代表画素値として定め（ステップＳ２０８）、現在の画素領域については処理を終了する。
次に、注目サブイメージに未処理のサブ画素（未ラベル画素）が残っているか判別する（ステップＳ２０９）。
未ラベル画素が残っていると判別すると（ステップＳ２０９；ＮＯ）、画素領域ラベルを更新して次の画素領域を定義し（ステップＳ２１０）、次の画素領域についてステップＳ２０２から処理を繰り返す。
未ラベル画素が残っていると判別すると（ステップＳ２０９；ＮＯ）、画素領域ラベルを更新して次の画素領域を定義し（ステップＳ２１０）、次の画素領域についてステップＳ２０２から処理を繰り返す。
一方、未ラベル画素が残っていないと判別すると（ステップＳ２０９；ＹＥＳ）、注目サブイメージの全てのサブ画素がどの画素領域に属するかラベルされたこととなる。
そこで、現在の領域を統合する処理（領域統合処理）を実行して、同一の被写体に対応すると推測される画素領域を統合する（ステップＳ２１１）。
そこで、現在の領域を統合する処理（領域統合処理）を実行して、同一の被写体に対応すると推測される画素領域を統合する（ステップＳ２１１）。
ステップＳ２１１で実行される領域統合処理について図７を参照して説明する。領域統合処理では、現時点の画素領域から注目画素領域を一つ選択する（ステップＳ３０１）。
そして、注目画素領域に隣接する画素領域である隣接画素領域をすべて抽出する（ステップＳ３０２）。なお、隣接画素領域とは、注目画素領域に属する画素に隣接する画素を含む画素領域である。
そして、抽出した隣接画素領域の代表画素値と、注目画素領域の代表画素値とを比較し、代表画素値どうしの差が閾値以下の隣接画素領域が有るか判別する（ステップＳ３０３）。
そして、抽出した隣接画素領域の代表画素値と、注目画素領域の代表画素値とを比較し、代表画素値どうしの差が閾値以下の隣接画素領域が有るか判別する（ステップＳ３０３）。
代表画素値の差が閾値以下である隣接画素領域が有ると判別すると（ステップＳ３０３；ＹＥＳ）、その隣接画素領域を注目画素領域に統合する（ステップＳ３０４）。具体的には、その隣接画素領域の画素領域ラベルを上書きして注目画素領域の画素領域ラベルとする。さらに、新たな領域の全画素の平均値を新たな代表画素値とする。そして、新たな領域を注目画素領域として、ステップＳ３０２から処理を繰り返す。
一方、代表画素値の差が閾値以下の隣接画素領域がない場合（ステップＳ３０３；ＮＯ）、次に全画素領域が処理済であるか判別する（ステップＳ３０５）。具体的には、最後に領域を統合してから、現在までにまだステップＳ３０３の判別処理を行っていない画素領域があるか判別し、ある場合は（ステップＳ３０５；ＮＯ）その画素領域を注目画素領域としてステップＳ３０１から処理を繰り返す。
一方、ない場合は（ステップＳ３０５；ＹＥＳ）、これ以上統合すべき画素領域はないと判断できるので、領域統合処理を終了する。
一方、ない場合は（ステップＳ３０５；ＹＥＳ）、これ以上統合すべき画素領域はないと判断できるので、領域統合処理を終了する。
図６に戻って、ステップＳ２１１で領域統合処理が終わると、次に全サブイメージについて画素領域を定義したか判別する（ステップＳ２１２）。未処理のサブイメージが残っている場合は（ステップＳ２１２；ＮＯ）、次の注目サブイメージについてステップＳ２０１から処理を繰り返す。一方、全てのサブイメージが処理済の場合は（ステップＳ２１２；ＹＥＳ）、画素領域定義処理は終了する。
図５に戻って、領域定義部３２１０が画素領域を定義すると、注目領域選択部３２２０から奥行きフィルタ実行部３２７０が、ＬＦＩの各画素（ＬＦＩに含まれる全サブ画素）の奥行き係数を定義してライトフィールド奥行き画像（ＬＦＤＩ）を生成する処理（奥行き係数算出処理）を実行する（ステップＳ１０４）。
ステップＳ１０４で実行される奥行き係数算出処理について、図８を参照して説明する。ステップＳ１０４では、注目領域選択部３２２０が図８に示す奥行き係数算出処理を開始する。
奥行き係数算出処理では、まず注目領域選択部３２２０が、ＬＦＩのサブイメージから注目サブイメージを選択する（ステップＳ４０１）。さらに、注目サブイメージ上の画素領域の一つを注目画素領域として選択する（ステップＳ４０２）。注目画素領域の例を、図９（ａ）の点線で囲まれた領域として示す。
奥行き係数算出処理では、まず注目領域選択部３２２０が、ＬＦＩのサブイメージから注目サブイメージを選択する（ステップＳ４０１）。さらに、注目サブイメージ上の画素領域の一つを注目画素領域として選択する（ステップＳ４０２）。注目画素領域の例を、図９（ａ）の点線で囲まれた領域として示す。
そして、ＳＳＤ算出部３２４０が、注目画素領域の奥行き係数を算出する処理（領域奥行き係数算出処理、図１０）を開始する。ここでは、周辺サブイメージは、図９（ｂ）に示したＬＦＩ上のサブイメージのうち、中央の注目サブイメージを除く８つのサブイメージ（ＳＩ１〜ＳＩ８）とする。
ステップＳ４０３では、図１０に示す領域奥行き係数算出処理が開始される。領域奥行き係数算出処理では、まず周辺サブイメージ選択部３２３０が、周辺サブイメージの中から注目周辺サブイメージを選択する（ステップＳ５０１）。
次に、設定上定められた、ありえる奥行き係数のうち、一つを注目奥行き係数として選択する（ステップＳ５０２）。奥行き係数は、画像ズレ値（画像視差）と対応付けられる。本実施形態では、図１１に示すように奥行き係数と、画像ズレ値の代表値（代表ズレ値）とを対応づけている。以下、特記しない場合は視差とは画像視差を意味することとする。
そして、ＳＳＤ算出部３２４０が注目周辺サブイメージ上で注目奥行き係数に対応する位置に対応領域の候補についてＳＳＤを算出する（ステップＳ５０３）。
例えば、注目奥行き係数が画像ズレ０に対応する場合には、注目周辺サブイメージ（ここではＳＩ１とする）の同じ部分に対応領域の候補となる領域（対応候補領域）を配置する。注目画素領域と対応候補領域の対応する画素の画素値の差の二乗和（ＳＳＤ）を、対応の確かさを示す係数として算出する。
一方、注目奥行き係数が、所定の画像ズレ値と対応する場合には、注目サブイメージと注目周辺サブイメージの中心を通る直線に平行で、注目サブイメージから遠ざかる方向（ＳＩ１については図９（ｂ）の矢印ｄ１の方向）であって、画像ズレ値だけずれた位置に対応候補領域を配置し、各位置のＳＳＤを算出する（ステップＳ５０３）。ここで、注目周辺サブイメージ上でずらした量（画像ズレ）とＳＳＤとの関係（画像ズレ−ＳＳＤグラフ）を、図９（ｃ）に示す。
例えば、注目奥行き係数が画像ズレ０に対応する場合には、注目周辺サブイメージ（ここではＳＩ１とする）の同じ部分に対応領域の候補となる領域（対応候補領域）を配置する。注目画素領域と対応候補領域の対応する画素の画素値の差の二乗和（ＳＳＤ）を、対応の確かさを示す係数として算出する。
一方、注目奥行き係数が、所定の画像ズレ値と対応する場合には、注目サブイメージと注目周辺サブイメージの中心を通る直線に平行で、注目サブイメージから遠ざかる方向（ＳＩ１については図９（ｂ）の矢印ｄ１の方向）であって、画像ズレ値だけずれた位置に対応候補領域を配置し、各位置のＳＳＤを算出する（ステップＳ５０３）。ここで、注目周辺サブイメージ上でずらした量（画像ズレ）とＳＳＤとの関係（画像ズレ−ＳＳＤグラフ）を、図９（ｃ）に示す。
ここで、画像ズレ−ＳＳＤグラフの横軸は、画像ズレに対応する奥行き係数を表す。また、奥行き係数は、再構成設定に含まれる、図１１に示す奥行きテーブルに定義されているとする。奥行きテーブルは、奥行き係数と、画像ズレを代表する代表ズレ値と、奥行きの範囲である再構成距離と、を対応付けて記録するテーブルである。また、画像ズレに対応する奥行きは、注目サブイメージに対応するサブレンズＳＬの位置と、周辺サブイメージに対応するサブレンズＳＬの位置と、メインレンズＭＬの焦点距離ｆＭＬと、メインレンズＭＬとサブレンズアレイＳＬＡとの距離、サブレンズアレイＳＬＡと撮像面ＩＥとの距離、によって定まる。
注目画素領域と対応領域との位置ズレ（ズレ度）が大きいほど、注目画素領域及び対応領域の像が、よりメインレンズＭＬ（及びサブレンズＳＬ）から近い位置に存在することを示す。そのため、画像ズレが大きい奥行き係数ほど、対応する再構成距離は小さい。
ＳＳＤ算出部３２４０は、注目周辺サブイメージの注目奥行き係数に対応する代表ズレ値の画素数だけずらした対応候補領域についてＳＳＤを算出すると、算出したＳＳＤを、その奥行き係数について定義されたそれぞれのＳＳＤの和（ＳＳＳＤ）に加算する（ステップＳ５０４）。
そして、設定上定められた全奥行き係数について上記処理を実行したか否かを判別し（ステップＳ５０５）、未処理の奥行き係数がある場合は（ステップＳ５０５；ＮＯ）、次の未処理の奥行き係数について、を注目周辺サブイメージについてステップＳ５０２から処理を繰り返す。
一方、全奥行き係数について処理済みの場合は（ステップＳ５０５；ＹＥＳ）、ＳＳＤ算出部３２４０は、注目周辺サブイメージについて算出したＳＳＤの中に、再構成設定が定める閾値以下のものが有るか判別する（ステップＳ５０６）。
閾値以下のＳＳＤがない場合（ステップＳ５０６；ＮＯ）、注目周辺サブイメージはノイズが強く有効な計算対象でないと判断できるので、注目周辺サブイメージを算出対象から排除する（ステップＳ５０７）。即ち、各奥行き値のＳＳＳＤから、注目周辺サブイメージについて算出したＳＳＤを減算する。
閾値以下のＳＳＤがない場合（ステップＳ５０６；ＮＯ）、注目周辺サブイメージはノイズが強く有効な計算対象でないと判断できるので、注目周辺サブイメージを算出対象から排除する（ステップＳ５０７）。即ち、各奥行き値のＳＳＳＤから、注目周辺サブイメージについて算出したＳＳＤを減算する。
一方、閾値以下のＳＳＤが有る場合（ステップＳ５０６；ＹＥＳ）、注目周辺サブイメージは有効な情報を保持していると判断できるので、ステップＳ５０７をスキップする。
そして、周辺領域の全サブイメージに対して上記処理を実行したか判別し（ステップＳ５０８）、未処理の周辺サブイメージがある場合は（ステップＳ５０８；ＮＯ）、次の周辺サブイメージを注目周辺サブイメージについてステップＳ５０１から処理を繰り返す。
一方、全周辺サブイメージについて処理済みの場合は（ステップＳ５０８；ＹＥＳ）、奥行き係数投票部３２５０が各奥行き係数のＳＳＳＤを比較し、最もＳＳＳＤが小さい奥行き係数（図９（ｃ）のＭｉｎＤ）を注目画素領域の奥行き係数とする（ステップＳ５０９）。
図８に戻って、注目画素領域の奥行き係数を算出すると、奥行き係数投票部３２５０は、周辺サブイメージに対応領域を定義する。具体的には、注目画素領域に対応する部位から、奥行き係数が示す位置ズレ（代表ズレ値）だけ外方向（図９（ｂ）のｄ１、ｄ２等）にずらした位置に対応領域を定義する（図９（ｄ））。なお、ステップＳ５０４で加算対象とならなかった周辺サブイメージ（図９（ｄ）の例ではＳＩ７）については対象領域を定義しない。そして、算出した奥行き係数を注目画素領域に属する画素と、対応領域に属する画素と、の奥行き係数を定めるためのヒストグラムに投票する（ステップＳ４０４）。
投票の例を図９（ｄ）、図９（ｅ）に示す。各サブ画素には、図９（ｅ）に示すように、奥行き係数と、その奥行き係数に投票された数と、を記憶したヒストグラム（奥行きヒストグラム）が定義されている。例えば、ステップＳ４０２で選択された注目画素領域の奥行き係数が１であった場合、奥行き係数１を候補係数とする。そして、候補係数を投票して、奥行き係数投票部３２５０は、対応領域に含まれる画素（例えば、図９（ｄ）の白いドット）のヒストグラム（図９（ｅ））の奥行き係数１の部分の投票数を一つ増加させる。同様の処理を、全ての注目画素領域と、注目領域に対して定義された対応領域に含まれる画素について実行する。
ステップＳ４０４で投票が終わると、次に注目サブイメージの全画素領域についてステップＳ４０４の処理を終えたか判別する（ステップＳ４０５）。未処理の画素領域が有る場合（ステップＳ４０５；ＮＯ）、次の未処理の画素領域についてステップＳ４０２から処理を繰り返す。
一方、注目サブイメージの全画素領域についてステップＳ４０４の処理を終えている場合（ステップＳ４０５；ＹＥＳ）、次に全サブイメージについて上記処理を終えたか判別する（ステップＳ４０６）。未処理のサブイメージが有る場合（ステップＳ４０６；ＮＯ）、次の未処理のサブイメージについてステップＳ４０１から処理を繰り返す。
一方、注目サブイメージについて処理を終えている場合（ステップＳ４０６；ＹＥＳ）、次にサブ画素奥行き係数選択部３２６０が各サブ画素の奥行き係数を決定するための処理（奥行き係数決定処理）を開始する（ステップＳ４０７）。
ステップＳ４０７で実行される奥行き係数決定処理を、図１２を参照して説明する。
奥行き係数決定処理では、まずサブ画素奥行き係数選択部３２６０がＬＦＩに含まれる全てのサブ画素から注目画素を選択する（ステップＳ６０１）。そして、サブ画素奥行き係数選択部３２６０は注目画素の信頼係数ｔｐを算出する（ステップＳ６０２）。信頼係数は、注目画素のヒストグラムの投票結果が注目画素の奥行き係数を定めるためにどの程度信頼できるかを示す係数であり、ここではヒストグラム上の奥行き係数の最大得票数をｎＭＡＸとし、ヒストグラムの総投票数をｎＡＬＬとして、ｎＭＡＸをｎＡＬＬで除算した値とする。
奥行き係数決定処理では、まずサブ画素奥行き係数選択部３２６０がＬＦＩに含まれる全てのサブ画素から注目画素を選択する（ステップＳ６０１）。そして、サブ画素奥行き係数選択部３２６０は注目画素の信頼係数ｔｐを算出する（ステップＳ６０２）。信頼係数は、注目画素のヒストグラムの投票結果が注目画素の奥行き係数を定めるためにどの程度信頼できるかを示す係数であり、ここではヒストグラム上の奥行き係数の最大得票数をｎＭＡＸとし、ヒストグラムの総投票数をｎＡＬＬとして、ｎＭＡＸをｎＡＬＬで除算した値とする。
なお、信頼係数は注目ヒストグラムの最大得票数を獲得した奥行き係数が、他の奥行き係数の投票数と比べて信頼できる度合い示す任意の数値で代替可能である。例えば、ヒストグラムの分散の逆数を用いてもよい。
そして、サブ画素奥行き係数選択部３２６０は算出した信頼係数ｔｐが、設定上定められた閾値以上であるか判別する（ステップＳ６０３）。閾値以上である場合（ステップＳ６０３；ＹＥＳ）、最多得票の奥行き係数を注目画素の奥行き係数とする（ステップＳ６０４）。
一方、閾値より小さい場合（ステップＳ６０３；ＮＯ）、投票結果は奥行き係数を定めるために十分な信用性を持たないので、注目画素の奥行き係数をＵＮＫＯＷＮとする（ステップＳ６０５）。
この処理の例を図１３を参照して説明する。図１３（ａ）のＬＦＩ上の画素のうち、図１３（ｂ）に示す画素ｉのヒストグラムでは、総得票数が１１であり、奥行き係数２が最多得票数（６）を獲得している。信頼係数ｔｐ（６／１１）が閾値ｔｈ（０．５）以上なので、画素ｉの奥行き係数ｄｐは２となる。一方、図１３（ｃ）に示す画素ｉｉのヒストグラムでは、総得票数が１３であり、最多得票数は奥行き係数７の得票数（４）である。このとき、信頼係数ｔｐ（４／１３）は閾値ｔｈ（０．５）より小さいので、注目画素の奥行き係数ｄｐは未知であることを示すＵＮＫＯＷＮとなる。
注目画素の奥行き係数を定めると、次に全サブ画素について上記処理を終えたか判別する（ステップＳ６０６）。未処理のサブ画素が存在する場合（ステップＳ６０６；ＮＯ）、次の未処理のサブ画素についてステップＳ６０１から処理を繰り返す。一方、未処理のサブ画素がない場合（ステップＳ６０６；ＹＥＳ）全てのサブ画素について奥行き係数が定義されたこととなる。ＬＦＩ上の全ての画素の画素値を、奥行き係数を示す値としたライトフィールド奥行き画像（ＬＦＤＩ）の例を図１８（ａ）に示す。この時点のＬＦＤＩは奥行きの境界が乱れているため、ステップＳ６０７でフィルタを適用する処理（奥行きフィルタ処理）を実行して画像の精度を高める。
ステップＳ６０７で実行される奥行きフィルタ処理を、図１４を参照して説明する。なお、図１５は奥行きフィルタ処理の具体例を示す。処理がステップＳ６０７に至ると、奥行きフィルタ実行部３２７０が図１４に示す奥行きフィルタ処理を開始する。奥行きフィルタ処理では、まず奥行きフィルタ実行部３２７０がＬＦＤＩ上の画素を注目画素として選択する（ステップＳ７０１）。図１５では、注目画素を太線で囲った正方形で示す。
そして、奥行きフィルタ実行部３２７０は注目画素を中心とした周辺領域を定義する。周辺領域は任意に設定可能だが、ここでは注目画素に隣接する８つの画素から構成される領域（図１５（ａ）の点線領域）とする。奥行きフィルタ実行部３２７０は周辺領域の画素（周辺サブ画素）から注目周辺サブ画素を選択する（ステップＳ７０２）。
そして、奥行きフィルタ実行部３２７０は注目周辺サブ画素の奥行き係数がＵＮＫＯＷＮであるか判別する（ステップＳ７０３）。ＵＮＫＯＷＮである場合は（ステップＳ７０３；ＹＥＳ）、その画素については参考としないので、ステップＳ７０８までスキップする。図１５の例では、図１５（ａ）のｉで示される黒の画素がＵＮＫＯＷＮである画素である。この画素については後の処理の対象としない。
一方、ＵＮＫＯＷＮでない場合は（ステップＳ７０３；ＮＯ）、奥行きフィルタ実行部３２７０は次に注目画素と注目周辺サブ画素の画素値の差が設定上定められた閾値以上であるか否か判別する（ステップＳ７０４）。
閾値以上である場合（ステップＳ７０４；ＹＥＳ）、注目画素と注目周辺サブ画素との対応は弱いとの判断の元、この組み合わせの重みを１と設定する（ステップＳ７０６）。図１５（ａ）の例では、ｉｉで示す白の画素、ｉｖで示す斜線の画素、が閾値以上の画素である。この画素１つについて、重みに応じた１票をヒストグラムに投票する。
閾値より小さい場合（ステップＳ７０５；ＮＯ）、注目画素と注目周辺サブ画素との対応は強いとの判断の元、この組み合わせの重みを２と設定する（ステップＳ７０６）。図１５（ａ）の例では、ｉｉｉで示す縦横線の画素が閾値より小さい画素である。この画素１つについて、２票をヒストグラムに投票する。
なお、重み付けの設定は上記に限らず、注目画素と注目周辺サブ画素との対応の確かさが強い場合により強い影響が出るような任意の重み付け設定と代替可能である。
閾値より小さい場合（ステップＳ７０５；ＮＯ）、注目画素と注目周辺サブ画素との対応は強いとの判断の元、この組み合わせの重みを２と設定する（ステップＳ７０６）。図１５（ａ）の例では、ｉｉｉで示す縦横線の画素が閾値より小さい画素である。この画素１つについて、２票をヒストグラムに投票する。
なお、重み付けの設定は上記に限らず、注目画素と注目周辺サブ画素との対応の確かさが強い場合により強い影響が出るような任意の重み付け設定と代替可能である。
そして、注目画素の新たなヒストグラムに、重みの数だけ奥行き係数を投票する。（ステップＳ７０７）。投票結果のヒストグラムの例を図１５（ｂ）に示す。
次に、周辺領域の全画素について上記処理済みであるか判別し（ステップＳ７０８）、未処理の周辺サブ画素が有る場合（ステップＳ７０８；ＮＯ）、次の周辺サブ画素についてステップＳ７０２から処理を繰り返す。
一方、全周辺サブ画素が処理済である場合（ステップＳ７０８；ＹＥＳ）、次に投票結果に基づき出力するＬＦＤＩの奥行き係数を更新する。具体的には、投票されたヒストグラムの中央値を注目画素の新たな奥行き係数とする（ステップＳ７０９）。図１５（ｂ）のヒストグラムでは、１０の投票がされ、中央値（投票したサンプルを奥行きでソートした場合の中央の値）は４である。そこで、図１５（ｃ）のように注目画素の奥行き画素値を４とする。なお、この更新結果は全てのフィルタ処理が終わった後に反映されるとしてもよい。
そして、全てのサブ画素についてフィルタ処理を終えたか判別し（ステップＳ７１０）、未処理のサブ画素が有る場合には（ステップＳ７１０；ＮＯ）、次の画素を注目画素としてステップＳ７０１から処理を繰り返す。
一方、全サブ画素が処理済の場合には（ステップＳ７１０；ＹＥＳ）、奥行きフィルタ処理を終了する。
一方、全サブ画素が処理済の場合には（ステップＳ７１０；ＹＥＳ）、奥行きフィルタ処理を終了する。
図１２に戻って、ステップＳ６０７で奥行きフィルタ処理を終えると、奥行き係数決定処理を終了する。
図８に戻って、ステップＳ４０７で奥行き係数決定処理が終了すると、奥行き係数算出処理は終了する。
図８に戻って、ステップＳ４０７で奥行き係数決定処理が終了すると、奥行き係数算出処理は終了する。
図５に戻って、ＬＦＤＩの生成が終わると、ＬＦＤＩから出力画像（奥行き画像）を再構成する処理（画像生成処理）を実行する（ステップＳ１０５）。本実施形態では、画像生成処理は図１６に示す画像生成処理１である。
ステップＳ１０５で実行される画像生成処理１を、図１６を参照して説明する。
ステップＳ１０５に至ると、奥行き画像生成部３３０が図１６に示す画像生成処理を開始する。まず、奥行き画像生成部３３０は再構成設定を取得する（ステップＳ８０１）。そして、ひな形定義部３３１０が、再構成設定が指定するメインレンズと再構成面ＲＦとの距離を特定し、再構成面ＲＦに再構成画像のひな形（原型）を定義する（ステップＳ８０２）。
ステップＳ１０５に至ると、奥行き画像生成部３３０が図１６に示す画像生成処理を開始する。まず、奥行き画像生成部３３０は再構成設定を取得する（ステップＳ８０１）。そして、ひな形定義部３３１０が、再構成設定が指定するメインレンズと再構成面ＲＦとの距離を特定し、再構成面ＲＦに再構成画像のひな形（原型）を定義する（ステップＳ８０２）。
そして注目画素選択部３３２０が、再構成画像を構成する画素である再構成画素の一つを注目画素とする（ステップＳ８０３）。このとき、注目画素は図１７における再構成面ＲＦ上の注目部位Ｐに対応する。
さらに、対応画素抽出部３３３０が注目画素と対応するサブイメージ上の画素（対応画素）を光線追跡により抽出する（ステップＳ８０４）。
光線追跡を図１７を参照して説明する。
注目部位Ｐからの光線は、メインレンズの主点を通過してマイクロレンズアレイの到達位置（図１７のサブレンズ上のＭＬＢＣ）に到達する。ＭＬＢＣのサブレンズ上の位置は、撮影設定に基づいて求めることが出来る。ＭＬＢＣを中心に、注目部位Ｐからの光が届いた範囲（メインレンズブラーＭＬＢ、図１７の網線領域）を、レンズの特性からもとめる。メインレンズブラーＭＬＢの直径は、メインレンズＭＬと再構成面ＲＦとの距離ａ１、メインレンズと結像面ＭＩＰとの距離ｂ１（ａ１とメインレンズの焦点距離ｆＭＬから算出）、結像面ＭＩＰとサブレンズアレイＳＬＡとの距離ａ２と、メインレンズの有効径ＥＤと、から三角形の相似を用いて算出する。
注目部位Ｐからの光線は、メインレンズの主点を通過してマイクロレンズアレイの到達位置（図１７のサブレンズ上のＭＬＢＣ）に到達する。ＭＬＢＣのサブレンズ上の位置は、撮影設定に基づいて求めることが出来る。ＭＬＢＣを中心に、注目部位Ｐからの光が届いた範囲（メインレンズブラーＭＬＢ、図１７の網線領域）を、レンズの特性からもとめる。メインレンズブラーＭＬＢの直径は、メインレンズＭＬと再構成面ＲＦとの距離ａ１、メインレンズと結像面ＭＩＰとの距離ｂ１（ａ１とメインレンズの焦点距離ｆＭＬから算出）、結像面ＭＩＰとサブレンズアレイＳＬＡとの距離ａ２と、メインレンズの有効径ＥＤと、から三角形の相似を用いて算出する。
対応画素抽出部３３３０は、サブレンズアレイＳＬＡに含まれるサブレンズＳＬの内、一部又は全てがメインレンズブラーＭＬＢに含まれるサブレンズＳＬを特定する。そして、対応画素抽出部３３３０は、特定されたサブレンズＳＬを順次注目レンズとして選択する。
次に、対応画素抽出部３３３０は、注目画素からの光線が、選択されたサブレンズＳＬによって結像される位置にある、サブ画像上の画素（対応画素）を抽出する。
具体的には、対応画素（到達点ＰＥに対応）を以下の手順で算出する。
まず、再構成面ＲＦに対応するメインレンズの焦点面までの距離ｂ１は、既知の数値ａ１及びメインレンズの焦点距離ｆＭＬを用い、次の式（１）から算出することが出来る。
まず、再構成面ＲＦに対応するメインレンズの焦点面までの距離ｂ１は、既知の数値ａ１及びメインレンズの焦点距離ｆＭＬを用い、次の式（１）から算出することが出来る。
また、ａ２は既知の数値ｃ１から、式（１）を用いて算出したｂ１を減算することで求めることができる。
さらに、被写体距離ａ１と、距離ｂ１と、既知の数値ｘ（注目部位Ｐと光軸ＯＡとの距離）を以下の式（２）に用いて、注目部位ＰがメインレンズＭＬを通して結像する点（結像点ＰＦ）と光軸ＯＡとの距離ｘ’を算出する。
ｘ’＝ｘ・ｂ１／ａ１…（２）
さらに、光軸ＯＡから注目サブレンズＳＬの主点までの距離ｄｌ、上記の式（２）を用いて算出された距離ｘ’、サブレンズアレイＳＬＡから撮像面ＩＥまでの距離ｃ２、及び距離ａ２を以下の式（３）に用いて、到達点ＰＥと光軸ＯＡとの距離ｘ’’を算出する。
さらに、被写体距離ａ１と、距離ｂ１と、既知の数値ｘ（注目部位Ｐと光軸ＯＡとの距離）を以下の式（２）に用いて、注目部位ＰがメインレンズＭＬを通して結像する点（結像点ＰＦ）と光軸ＯＡとの距離ｘ’を算出する。
ｘ’＝ｘ・ｂ１／ａ１…（２）
さらに、光軸ＯＡから注目サブレンズＳＬの主点までの距離ｄｌ、上記の式（２）を用いて算出された距離ｘ’、サブレンズアレイＳＬＡから撮像面ＩＥまでの距離ｃ２、及び距離ａ２を以下の式（３）に用いて、到達点ＰＥと光軸ＯＡとの距離ｘ’’を算出する。
Ｙ軸方向にも同様に計算し、到達点ＰＥの位置を特定する。ＬＦＤＩの例を図１８（ａ）に示す。また、ＬＦＤＩの各サブイメージＳＩ上の対応画素の配置例を、図１８（ｂ）に示す。図１８（ｂ）では、中央のサブイメージがＭＬＢＣに対応するサブイメージであり、周辺のサブイメージ上で白抜きの正方形で示した対応画素がサブイメージ上でずれた位置にあることが示されている。
ステップＳ８０４で対応画素を抽出すると、各対応画素の奥行き係数を取得する（ステップＳ８０５）。そして、画素値決定部３３４０が取得した対応画素の奥行き係数から注目画素の画素値を決定する（ステップＳ８０６）。具体的には、抽出した対応画素の奥行き係数の最頻値を選択して、その最頻値に対応する画素値を注目画素の画素値とする。
そして、全ての再構成画素について画素値を定めたか判別し（ステップＳ８０７）、未処理の再構成画素が有る場合には（ステップＳ８０７；ＮＯ）、次の再構成画素についてステップＳ８０３から処理を繰り返す。
一方、全再構成画素が処理済の場合には（ステップＳ８０７；ＹＥＳ）、図１８（ｃ）に示したような、再構成面上での被写体の奥行きを示す奥行き画像ＤＩを生成したので、画像生成処理１を終了する。
一方、全再構成画素が処理済の場合には（ステップＳ８０７；ＹＥＳ）、図１８（ｃ）に示したような、再構成面上での被写体の奥行きを示す奥行き画像ＤＩを生成したので、画像生成処理１を終了する。
図５に戻って、出力画像（奥行き画像ＤＩ）の再構成が終わると、出力部３４０が出力画像を画像記憶部４３０に出力する（ステップＳ１０６）。
その後、デジタルカメラ１は画像記憶部４３０に記憶された再構成画像を表示部５２０に出力する。あるいは、Ｉ／Ｏ部５１０を用いて外部装置に出力しても良い。
以上説明したとおり、本実施形態の画像生成装置３０によれば、ＬＦＩ上の被写体の奥行きを推定して、推定結果に基づいて再構成面上で被写体の奥行きを示す奥行き画像を生成して出力することが出来る。
被写体の奥行きの推定結果は、再構成画像のノイズ除去・ボケ付加に利用できる他、被写体の３次元モデルの構成や、近すぎる物体の存在を検知したことを察知する等、さまざまな目的で利用できる。
被写体の奥行きの推定結果は、再構成画像のノイズ除去・ボケ付加に利用できる他、被写体の３次元モデルの構成や、近すぎる物体の存在を検知したことを察知する等、さまざまな目的で利用できる。
本実施形態の画像生成装置３０は、サブイメージ上の同一の被写体に対応すると見なした領域を定義し、領域毎にその被写体がサブイメージ上でどの程度ずれているか、領域単位で奥行き係数を算出して、対応領域を定める。そして、画素領域とその対応領域とのズレから奥行き係数を算出して奥行き画像を生成する。そのため、画素単位で奥行きを求める場合に比べ、ノイズやオクリュージョン、非ランベルト面等の奥行き推定を困難とする因子があった場合でも奥行き推定を高い精度で行うことが出来る。
また、画像生成装置３０は周辺サブイメージの、奥行き係数に該当する位置の領域（対応候補領域）のそれぞれについてＳＳＤを算出し、このＳＳＤを用いて対応領域を定義する。このため、画素領域と対応候補領域の画素値の差に基づいて奥行き係数を算出することができる。対応候補領域の中から領域画素値との差異が小さい領域を対応領域として選択することが出来る。そのため、画素値を反映した奥行き係数を求めることが出来る。
さらに、本実施形態では各奥行き係数について算出したＳＳＤを加算したＳＳＳＤを用いて領域奥行き係数を算出する。このため、複数の周辺のサブイメージから得られる情報を総合的に判断して領域の奥行き係数を算出することが出来、結果奥行き推定の精度が高い。
さらに、奥行きフィルタを用いてＬＦＤＩの奥行き係数を平滑化しているので、奥行き係数の境界線をＬＦＤＩ上でなだらかにすることができる。そのため、出力画像の奥行き画像のノイズを少なくすることができる。
（実施形態２）
本発明の実施形態２に係るデジタルカメラ及び画像生成装置について説明する。本実施形態のデジタルカメラ１は、画像生成装置が図１９に示す画像生成装置３１である他は、実施形態１に係るデジタルカメラ１と同様である。本実施形態では、再構成設定には奥行き推定結果に基づいて補正した、被写体の再構成画像を出力する旨の情報が含まれるとする。
本発明の実施形態２に係るデジタルカメラ及び画像生成装置について説明する。本実施形態のデジタルカメラ１は、画像生成装置が図１９に示す画像生成装置３１である他は、実施形態１に係るデジタルカメラ１と同様である。本実施形態では、再構成設定には奥行き推定結果に基づいて補正した、被写体の再構成画像を出力する旨の情報が含まれるとする。
本実施形態の画像生成装置３１は、図１９に示すように、入力部３１０と、奥行き推定部３２０と、再構成画像生成部３３１と、出力部３４０と、から構成される。入力部３１０と、奥行き推定部３２０と、出力部３４０と、は実施形態１に係る画像生成装置３０の同名の部位と同一である。
再構成画像生成部３３１は、ＬＦＩと、再構成設定と、撮影設定と、奥行き推定部３２０が推定したＬＦＩの各画素の奥行き（ＬＦＤＩ）に基づいて被写体を再構成した再構成画像を生成する。再構成画像生成部３３１は、このような処理のために、ひな形定義部３３１０と、注目画素選択部３３２０と、対応画素抽出部３３３０と、奥行き係数決定部３３４１と、画素値算出部３３５０と、再構成フィルタ実行部３３６０と、を含む。
ひな形定義部３３１０と、注目画素選択部３３２０と、対応画素抽出部３３３０と、は実施形態１に係る同名の部位と同一である。
奥行き係数決定部３３４１は、実施形態１に係る画素値決定部３３４０が、奥行き画像の奥行き係数を決定する方法と同様の方法で再構成画素の奥行き係数を決定する。
画素値算出部３３５０は、対応画素抽出部３３３０が抽出した注目画素の画素値に基づいて、注目画素の画素値を算出する。具体的には、画素値算出部３３５０は注目画素選択部３３２０と対応画素抽出部３３３０と連動して、以下の手順で画素値を算出する。
１）注目画素からの光線がメインレンズの主点を通過してサブレンズアレイに到達した位置（図１７のＭＬＢＣ）を特定する。
２）特定された位置を中心に再構成面に対応するメインレンズブラーＭＬＢを計算する。
３）サブレンズアレイに含まれるサブレンズの内、一部又は全てがメインレンズブラーに含まれるサブレンズを特定する。
４）特定されたサブレンズの内の一つを選択する。
５）選択されたサブレンズとメインレンズブラーとが重なっている面積を計算し、これをマイクロレンズの面積で割って重み付け係数とする。
６）注目画素からの光線が、選択されたサブレンズによって結像される位置にある、サブ画像上に画素値を取得する。
７）この取得された画素値に先の重み付け係数をかけたものを補正画素値とする。
８）一部又は全てがメインレンズブラーに含まれるサブレンズの全てにわたって補正画素値を計算し総和を取る。
９）補正画素値の総和を、重なり面積の総和で除算して再構成したい画像の画素値とする。
１）注目画素からの光線がメインレンズの主点を通過してサブレンズアレイに到達した位置（図１７のＭＬＢＣ）を特定する。
２）特定された位置を中心に再構成面に対応するメインレンズブラーＭＬＢを計算する。
３）サブレンズアレイに含まれるサブレンズの内、一部又は全てがメインレンズブラーに含まれるサブレンズを特定する。
４）特定されたサブレンズの内の一つを選択する。
５）選択されたサブレンズとメインレンズブラーとが重なっている面積を計算し、これをマイクロレンズの面積で割って重み付け係数とする。
６）注目画素からの光線が、選択されたサブレンズによって結像される位置にある、サブ画像上に画素値を取得する。
７）この取得された画素値に先の重み付け係数をかけたものを補正画素値とする。
８）一部又は全てがメインレンズブラーに含まれるサブレンズの全てにわたって補正画素値を計算し総和を取る。
９）補正画素値の総和を、重なり面積の総和で除算して再構成したい画像の画素値とする。
再構成フィルタ実行部３３６０は、再構成設定が指定する再構成面とメインレンズの距離と、各再構成画素の奥行きと、の差に応じてフィルタ処理（再構成フィルタ）を実行する。
再構成画像について実行するフィルタ処理の例を、図２０を参照して説明する。図２０（ａ）は、フィルタ処理前の再構成画像を示す。ＲＩ１は手前（左下のノート）の部分を再構成面とした画像であり、ＲＩ２は上部の背景を再構成画像とした例である。ＲＩ１では奥の部分に、ＲＩ２では手前の部分にノイズが生じている。
ＲＩ１及びＲＩ２について奥行きを推定した結果（奥行き画像ＤＩ）を図２０（ｂ）に示す。ここでは、ＲＩ１とＲＩ２で同様の奥行き画像ＤＩが得られたものとする。右は拡大図である。奥行き画像は奥行き係数が手前である画素ほど明るくなっている。図２０（ｂ）では、白の四角形で示された３つの画素のうち、１番の画素が一番奥に、２番の画素が中央部に、３番の画素が最も手前にある被写体に対応すると推定されている。
再構成画像の各画素についてボケ付加を実行した結果が図２０（ｃ）の画像ＲＩ３とＲＩ４である。ＲＩ３はＲＩ１に、ＲＩ４はＲＩ２に、それぞれ再構成距離に応じたフィルタを適用した結果の画像である。
フィルタ処理にあたって、奥行きテーブルを参照し、再構成距離が対応する奥行き係数と、再構成画素の奥行き係数との差が所定の閾値以上あった場合に、設定されたボケ強度に従ってボケ付加処理を行う。ボケ付加処理には例えばガウシアンフィルターを用いる。
フィルタ処理にあたって、奥行きテーブルを参照し、再構成距離が対応する奥行き係数と、再構成画素の奥行き係数との差が所定の閾値以上あった場合に、設定されたボケ強度に従ってボケ付加処理を行う。ボケ付加処理には例えばガウシアンフィルターを用いる。
ボケ付加にあたって、再構成距離より手前にある画素が奥にある画素ににじまないように、注目画素より奥の画素だけをぼかしに使用し、手前の画素は使用しない。例えば、画素２にボケ付加を行うにあたって、所定のボケ付加適用領域（図２０（ｂ）右側の大きい正方形の領域）内の画素のうち、より奥に対応する画素（１番の画素）はぼかしに加えるが、手前にある画素（３番の画素）はぼかしに加えない。また、より再構成距離から遠い画素については強く、近い画素については弱く、ボケを付加するようにボケ付加の強度を調整する。そして、フィルタ後の再構成画素を出力部３４０に伝達する。
ここで、画像生成装置３１が実行するＬＦＩから再構成画像を生成して出力するための処理（画像出力処理、図５）について説明する。画像生成装置３１が実行する画像出力処理は、ステップＳ１０５で実行する画像生成処理が、図２１で示す画像生成処理２であることを除いて、実施形態１にかかる同名の処理と同じである。
本実施形態に係る画像生成処理２を、図２１を参照して説明する。画像生成処理２では、再構成画像生成部３３１が、ステップＳ９０１からステップＳ９０４までを図１６の画像生成処理１のステップＳ８０１からステップＳ８０４までと同様に実行する。
その後、ステップＳ９０５で対応画素の画素値を、ステップＳ９０６で対応画素の奥行き係数を取得する。
そして、図１６の画像生成処理１のステップＳ８０５で奥行き画像の画素の奥行き係数を決定した同様の方法で、奥行き係数決定部３３４１が再構成画素の奥行き係数を決定する（ステップＳ９０７）。
さらに、画素値算出部３３５０が、上述した重み付け加算を用いた方法で注目画素の画素値を算出する（ステップＳ９０８）。
さらに、画素値算出部３３５０が、上述した重み付け加算を用いた方法で注目画素の画素値を算出する（ステップＳ９０８）。
次に、全再構成画素について上記処理が終了したか判別し（ステップＳ９０９）、未処理の画素が有る場合（ステップＳ９０９；ＮＯ）、次の画素についてステップＳ９０３から処理を繰り返す。
一方、全画素処理済である場合（ステップＳ９０９；ＹＥＳ）、再構成フィルタ実行部３３６０が上述の方法でフィルタ処理を実行する。
そして、画像生成処理２は終了する。
一方、全画素処理済である場合（ステップＳ９０９；ＹＥＳ）、再構成フィルタ実行部３３６０が上述の方法でフィルタ処理を実行する。
そして、画像生成処理２は終了する。
以上説明したとおり、本実施形態の画像生成装置３１によれば、再構成画素に対応する被写体の奥行きを推定し、推定結果を用いてフィルタ処理を施す。このため、画質の高い再構成画像を生成して出力することができる。
特に、再構成距離と再構成画素の奥行きとの差を求め、差が小さい部分についてはボケを付加せず、差が大きい部分にボケを付加するため、フォーカスした部分はシャープに、フォーカス面から遠い部分はぼかすことができる。このため、奥行きに応じたボケ味を付加した、ユーザの満足度が高い画像を生成できる。
また、距離の差が大きいほど強いボケを加え、小さい場合には弱いボケを加えるため、奥行きと再構成面との差を反映してボケ味が異なる、ユーザの満足度が高い画像を生成できる。
さらに、ボケ付加に際して、手前にある画素についてはぼかしに加えない。そのため、手前にある物体の色が奥ににじむことがなく、奥行きを反映した画質が高い画像を生成して出力できる。
さらに、ボケ付加に際して、手前にある画素についてはぼかしに加えない。そのため、手前にある物体の色が奥ににじむことがなく、奥行きを反映した画質が高い画像を生成して出力できる。
（変形例）
本発明は、上記実施形態に限定されず、さまざまな変形が可能である。
例えば、実施形態１乃至２では、周辺サブイメージの想定範囲について画像ズレとＳＳＤとの対応（図９（ｃ）のグラフ）を求めて、奥行き係数のそれぞれについてＳＳＳＤを求めて対応領域を定義した。しかし、対応領域を定義する方法はこれに限られず、各周辺サブイメージについてそれぞれ最小のＳＳＤを持つ奥行き係数に対応する領域を対応領域として、各画素の奥行き係数を投票してもよい。
本発明は、上記実施形態に限定されず、さまざまな変形が可能である。
例えば、実施形態１乃至２では、周辺サブイメージの想定範囲について画像ズレとＳＳＤとの対応（図９（ｃ）のグラフ）を求めて、奥行き係数のそれぞれについてＳＳＳＤを求めて対応領域を定義した。しかし、対応領域を定義する方法はこれに限られず、各周辺サブイメージについてそれぞれ最小のＳＳＤを持つ奥行き係数に対応する領域を対応領域として、各画素の奥行き係数を投票してもよい。
また、実施形態１乃至２では、奥行きフィルタをＬＦＤＩに適用して、その後再構成画像を生成するとしたが、ＬＦＤＩには奥行き係数に関するフィルタを適用せず、再構成画像上で奥行き係数にかかるフィルタ処理を実行しても良い。
また、上記実施形態１乃至２では、メインレンズは単焦点レンズであるとしたが、メインレンズはこれに限らず焦点距離を変更可能なレンズであるとしても良い。このとき、奥行きテーブルを複数用意して撮影パラメータに応じた奥行きテーブルを使用するとしてもよい。具体的には、撮影設定が示すメインレンズの焦点距離と、その場合に使用する奥行きテーブルとを対応付けたテーブルを用意し、画像出力処理毎に、取得した撮影設定を引数として最適な奥行きテーブルを抽出して使用するものとする。
また、上記実施例では、画像をグレースケール画像であるとして説明したが、本発明の処理対象となる画像はグレースケール画像に限らない。例えば、画像は各画素にＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）、の三つの画素値が定義されたＲＧＢ画像であってよい。この場合、画素値をＲＧＢのベクトル値として同様に処理する。また、Ｒ、Ｇ、Ｂ、の各値をそれぞれ独立したグレースケール画像として、それぞれ上記処理を行っても良い。この構成によれば、カラー画像であるライトフィールド画像からカラー画像である再構成画像を生成できる。
その他、前記のハードウェア構成やフローチャートは一例であり、任意に変更および修正が可能である。
情報処理部３１ａ、主記憶部３２、外部記憶部３３、などから構成される再構成画像生成のための処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなど）に格納して配布し、前記コンピュータプログラムをコンピュータにインストールし、画像再構成のための処理を行う中心となる部分を構成してもよい。また、インターネットなどの通信ネットワーク上のサーバ装置が有する記憶装置に前記コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロードなどすることで再構成画像生成装置を構成してもよい。
再構成生成装置の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS：Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
（付記１）
複数のサブイメージから構成されるライトフィールド画像から被写体の奥行きを推定する奥行き推定装置であって、
前記ライトフィールド画像のサブイメージ上に、前記奥行き推定の対象となる対象被写体に対応する画素領域を定義する画素領域定義手段と、
前記画素領域定義手段によって定義された画素領域の、当該画素領域を含む注目サブイメージ上の位置と、当該注目サブイメージの周辺に配置された周辺サブイメージ上の当該画素領域に対応する対応領域の位置と、の位置のズレに基づいて、前記対象被写体の奥行きを推定する奥行き推定手段と、
を備えることを特徴とする奥行き推定装置。
複数のサブイメージから構成されるライトフィールド画像から被写体の奥行きを推定する奥行き推定装置であって、
前記ライトフィールド画像のサブイメージ上に、前記奥行き推定の対象となる対象被写体に対応する画素領域を定義する画素領域定義手段と、
前記画素領域定義手段によって定義された画素領域の、当該画素領域を含む注目サブイメージ上の位置と、当該注目サブイメージの周辺に配置された周辺サブイメージ上の当該画素領域に対応する対応領域の位置と、の位置のズレに基づいて、前記対象被写体の奥行きを推定する奥行き推定手段と、
を備えることを特徴とする奥行き推定装置。
（付記２）
前記周辺サブイメージ上の対応領域を、前記注目サブイメージの画素領域の画素値と、前記周辺サブイメージの画素値と、に基づいて抽出する対応領域抽出手段を更に備え、
前記奥行き推定手段は、
前記画素領域の前記注目サブイメージ上の位置と、前記対応領域抽出手段によって抽出された対応領域の前記周辺サブイメージ上の位置と、の位置のズレに基づいて、前記対象被写体の奥行きを推定する、
ことを特徴とする付記１に記載の奥行き推定装置。
前記周辺サブイメージ上の対応領域を、前記注目サブイメージの画素領域の画素値と、前記周辺サブイメージの画素値と、に基づいて抽出する対応領域抽出手段を更に備え、
前記奥行き推定手段は、
前記画素領域の前記注目サブイメージ上の位置と、前記対応領域抽出手段によって抽出された対応領域の前記周辺サブイメージ上の位置と、の位置のズレに基づいて、前記対象被写体の奥行きを推定する、
ことを特徴とする付記１に記載の奥行き推定装置。
（付記３）
前記ライトフィールド画像から被写体の像を再構成した再構成画像とその画素である再構成画素を定義する再構成画像定義手段と、
前記画素領域の前記注目サブイメージ上の位置と、前記対応領域の前記周辺サブイメージ上の位置と、の位置のズレに基づいて、前記画素領域に含まれるサブ画素の奥行き係数を求める奥行き係数獲得手段と、
を更に備え、
前記奥行き推定手段は、
前記奥行き係数獲得手段が求めた各サブ画素の奥行き係数に基づいて、前記再構成画像の画素の奥行き係数を定めることにより、前記被写体の奥行きを推定する、
ことを特徴とする付記１又は２に記載の奥行き推定装置。
前記ライトフィールド画像から被写体の像を再構成した再構成画像とその画素である再構成画素を定義する再構成画像定義手段と、
前記画素領域の前記注目サブイメージ上の位置と、前記対応領域の前記周辺サブイメージ上の位置と、の位置のズレに基づいて、前記画素領域に含まれるサブ画素の奥行き係数を求める奥行き係数獲得手段と、
を更に備え、
前記奥行き推定手段は、
前記奥行き係数獲得手段が求めた各サブ画素の奥行き係数に基づいて、前記再構成画像の画素の奥行き係数を定めることにより、前記被写体の奥行きを推定する、
ことを特徴とする付記１又は２に記載の奥行き推定装置。
（付記４）
前記再構成画素に対応する前記ライトフィールド画像上の対応画素を抽出する対応画素抽出手段を備え、
前記奥行き推定手段は、
前記対応画素抽出手段によって抽出された対応画素について前記奥行き係数獲得手段が求めた奥行き係数に基づいて、前記再構成画素の奥行き係数を定めることにより、前記被写体の奥行きを推定する、
ことを特徴とする付記３に記載の奥行き推定装置。
前記再構成画素に対応する前記ライトフィールド画像上の対応画素を抽出する対応画素抽出手段を備え、
前記奥行き推定手段は、
前記対応画素抽出手段によって抽出された対応画素について前記奥行き係数獲得手段が求めた奥行き係数に基づいて、前記再構成画素の奥行き係数を定めることにより、前記被写体の奥行きを推定する、
ことを特徴とする付記３に記載の奥行き推定装置。
（付記５）
前記周辺サブイメージ上の視差に応じた複数の位置に対応候補領域を定義し、当該対応候補領域のそれぞれについて、前記サブイメージの画素領域との対応の確かさを示す対応係数を求める対応係数獲得手段を更に備え、
前記対応領域抽出手段は、
前記対応係数獲得手段が求めた対応係数に基づいて、前記周辺サブイメージ上の対応領域を抽出する、
ことを特徴とする付記２に記載の奥行き推定装置。
前記周辺サブイメージ上の視差に応じた複数の位置に対応候補領域を定義し、当該対応候補領域のそれぞれについて、前記サブイメージの画素領域との対応の確かさを示す対応係数を求める対応係数獲得手段を更に備え、
前記対応領域抽出手段は、
前記対応係数獲得手段が求めた対応係数に基づいて、前記周辺サブイメージ上の対応領域を抽出する、
ことを特徴とする付記２に記載の奥行き推定装置。
（付記６）
前記対応係数獲得手段は、
異なる視差毎に複数の前記周辺サブイメージのそれぞれに前記対応候補領域を定義し、当該対応候補領域のそれぞれについて前記対応係数を求め、
前記対応領域抽出手段は、
前記対応候補領域のそれぞれについて求めた対応係数から、前記視差毎に前記対応係数の確からしさを示す尤度係数を求め、当該尤度係数が最も確からしい対応係数に対応する対応候補領域を前記対応領域として抽出する、
ことを特徴とする付記５に記載の奥行き推定装置。
前記対応係数獲得手段は、
異なる視差毎に複数の前記周辺サブイメージのそれぞれに前記対応候補領域を定義し、当該対応候補領域のそれぞれについて前記対応係数を求め、
前記対応領域抽出手段は、
前記対応候補領域のそれぞれについて求めた対応係数から、前記視差毎に前記対応係数の確からしさを示す尤度係数を求め、当該尤度係数が最も確からしい対応係数に対応する対応候補領域を前記対応領域として抽出する、
ことを特徴とする付記５に記載の奥行き推定装置。
（付記７）
前記対応係数獲得手段が求める対応係数は、前記画素領域と前記対応候補領域との画素値の差違を示す係数である、
ことを特徴とする付記５又は６に記載の奥行き推定装置。
前記対応係数獲得手段が求める対応係数は、前記画素領域と前記対応候補領域との画素値の差違を示す係数である、
ことを特徴とする付記５又は６に記載の奥行き推定装置。
（付記８）
前記奥行き係数獲得手段は、
前記サブ画素の奥行き係数を、当該サブ画素から所定領域に含まれるサブ画素の奥行き係数に基づき補正する、
ことを特徴とする付記３又は４に記載の奥行き推定装置。
前記奥行き係数獲得手段は、
前記サブ画素の奥行き係数を、当該サブ画素から所定領域に含まれるサブ画素の奥行き係数に基づき補正する、
ことを特徴とする付記３又は４に記載の奥行き推定装置。
（付記９）
ライトフィールド画像から、所定の再構成距離に合焦した再構成画像を生成する再構成画像生成装置であって、
付記１乃至８の何れか１つに記載の奥行き推定装置と、
前記奥行き推定装置によって推定された被写体の奥行きと前記再構成距離との距離の差に基づき、前記再構成画像を構成する再構成画素の画素値を補正する再構成画像補正手段と、
を備えることを特徴とする再構成画像生成装置。
ライトフィールド画像から、所定の再構成距離に合焦した再構成画像を生成する再構成画像生成装置であって、
付記１乃至８の何れか１つに記載の奥行き推定装置と、
前記奥行き推定装置によって推定された被写体の奥行きと前記再構成距離との距離の差に基づき、前記再構成画像を構成する再構成画素の画素値を補正する再構成画像補正手段と、
を備えることを特徴とする再構成画像生成装置。
（付記１０）
前記再構成画像補正手段は、前記補正として、対応する被写体の奥行きと前記再構成距離との距離の差が所定の閾値よりも大きい再構成画素に、当該再構成画素から所定範囲にある再構成画素の画素値に基づいてボケを付加する、
ことを特徴とする付記９に記載の再構成画像生成装置。
前記再構成画像補正手段は、前記補正として、対応する被写体の奥行きと前記再構成距離との距離の差が所定の閾値よりも大きい再構成画素に、当該再構成画素から所定範囲にある再構成画素の画素値に基づいてボケを付加する、
ことを特徴とする付記９に記載の再構成画像生成装置。
（付記１１）
前記再構成画像補正手段は、前記ボケを付加するにあたって、対応する被写体の奥行きが、前記再構成距離よりも手前である被写体の再構成画素については、前記ボケを付加する処理の処理対象としない、
ことを特徴とする付記１０に記載の再構成画像生成装置。
前記再構成画像補正手段は、前記ボケを付加するにあたって、対応する被写体の奥行きが、前記再構成距離よりも手前である被写体の再構成画素については、前記ボケを付加する処理の処理対象としない、
ことを特徴とする付記１０に記載の再構成画像生成装置。
（付記１２）
複数のサブイメージから構成されるライトフィールド画像から被写体の奥行きを推定する奥行き推定方法であって、
前記ライトフィールド画像のサブイメージ上に、前記奥行き推定の対象となる対象被写体に対応する画素領域を定義するステップと、
前記定義された画素領域の、当該画素領域を含む注目サブイメージ上の位置と、当該注目サブイメージの周辺に配置された周辺サブイメージ上の当該画素領域に対応する対応領域の位置と、の位置のズレに基づいて、前記対象被写体の奥行きを推定するステップと、
を含むことを特徴とする奥行き推定方法。
複数のサブイメージから構成されるライトフィールド画像から被写体の奥行きを推定する奥行き推定方法であって、
前記ライトフィールド画像のサブイメージ上に、前記奥行き推定の対象となる対象被写体に対応する画素領域を定義するステップと、
前記定義された画素領域の、当該画素領域を含む注目サブイメージ上の位置と、当該注目サブイメージの周辺に配置された周辺サブイメージ上の当該画素領域に対応する対応領域の位置と、の位置のズレに基づいて、前記対象被写体の奥行きを推定するステップと、
を含むことを特徴とする奥行き推定方法。
（付記１３）
複数のサブイメージから構成されるライトフィールド画像から、所定の再構成距離に合焦した再構成画像を生成する再構成画像生成方法であって、
前記ライトフィールド画像のサブイメージ上に、前記奥行き推定の対象となる対象被写体に対応する画素領域を定義するステップと、
前記定義された画素領域の、当該画素領域を含む注目サブイメージ上の位置と、当該注目サブイメージの周辺に配置された周辺サブイメージ上の当該画素領域に対応する対応領域の位置と、の位置のズレに基づいて、当該画素領域を構成する各画素について前記対象被写体の奥行き係数を求めるステップと、
前記再構成画像を構成する再構成画素に対応する前記ライトフィールド画像上の対応画素を抽出するステップと、
前記求めた奥行き係数に基づいて、前記対応画素と対応する前記再構成画素の奥行き係数を設定するステップと、
前記再構成画素の奥行き係数が示す被写体までの距離と前記再構成距離との距離の差に基づき、前記再構成画素の画素値を補正するステップと、
前記再構成画素の前記補正後の画素値を用いて再構成画像を生成するステップと、
を含むことを特徴とする再構成画像生成方法。
複数のサブイメージから構成されるライトフィールド画像から、所定の再構成距離に合焦した再構成画像を生成する再構成画像生成方法であって、
前記ライトフィールド画像のサブイメージ上に、前記奥行き推定の対象となる対象被写体に対応する画素領域を定義するステップと、
前記定義された画素領域の、当該画素領域を含む注目サブイメージ上の位置と、当該注目サブイメージの周辺に配置された周辺サブイメージ上の当該画素領域に対応する対応領域の位置と、の位置のズレに基づいて、当該画素領域を構成する各画素について前記対象被写体の奥行き係数を求めるステップと、
前記再構成画像を構成する再構成画素に対応する前記ライトフィールド画像上の対応画素を抽出するステップと、
前記求めた奥行き係数に基づいて、前記対応画素と対応する前記再構成画素の奥行き係数を設定するステップと、
前記再構成画素の奥行き係数が示す被写体までの距離と前記再構成距離との距離の差に基づき、前記再構成画素の画素値を補正するステップと、
前記再構成画素の前記補正後の画素値を用いて再構成画像を生成するステップと、
を含むことを特徴とする再構成画像生成方法。
（付記１４）
複数のサブイメージから構成されるライトフィールド画像から被写体の奥行きを推定するため、コンピュータに、
前記ライトフィールド画像のサブイメージ上に、前記奥行き推定の対象となる対象被写体に対応する画素領域を定義する機能、
前記定義された画素領域の、当該画素領域を含む注目サブイメージ上の位置と、当該注目サブイメージの周辺に配置された周辺サブイメージ上の当該画素領域に対応する対応領域の位置と、の位置のズレに基づいて、前記対象被写体の奥行きを推定する機能、
を実現させることを特徴とするプログラム。
複数のサブイメージから構成されるライトフィールド画像から被写体の奥行きを推定するため、コンピュータに、
前記ライトフィールド画像のサブイメージ上に、前記奥行き推定の対象となる対象被写体に対応する画素領域を定義する機能、
前記定義された画素領域の、当該画素領域を含む注目サブイメージ上の位置と、当該注目サブイメージの周辺に配置された周辺サブイメージ上の当該画素領域に対応する対応領域の位置と、の位置のズレに基づいて、前記対象被写体の奥行きを推定する機能、
を実現させることを特徴とするプログラム。
（付記１５）
複数のサブイメージから構成されるライトフィールド画像から、所定の再構成距離に合焦した再構成画像を生成するため、コンピュータに、
前記ライトフィールド画像のサブイメージ上に、前記奥行き推定の対象となる対象被写体に対応する画素領域を定義する機能、
前記定義された画素領域の、当該画素領域を含む注目サブイメージ上の位置と、当該注目サブイメージの周辺に配置された周辺サブイメージ上の当該画素領域に対応する対応領域の位置と、の位置のズレに基づいて、当該画素領域を構成する各画素について前記対象被写体の奥行き係数を求める機能、
前記再構成画像を構成する再構成画素に対応する前記ライトフィールド画像上の対応画素を抽出する機能、
前記求めた奥行き係数に基づいて、前記対応画素と対応する前記再構成画素の奥行き係数を設定する機能、
前記再構成画素の奥行き係数が示す被写体までの距離と前記再構成距離との距離の差に基づき、前記再構成画素の画素値を補正する機能、
前記再構成画素の前記補正後の画素値を用いて再構成画像を生成する機能、
を実現させることを特徴とするプログラム。
複数のサブイメージから構成されるライトフィールド画像から、所定の再構成距離に合焦した再構成画像を生成するため、コンピュータに、
前記ライトフィールド画像のサブイメージ上に、前記奥行き推定の対象となる対象被写体に対応する画素領域を定義する機能、
前記定義された画素領域の、当該画素領域を含む注目サブイメージ上の位置と、当該注目サブイメージの周辺に配置された周辺サブイメージ上の当該画素領域に対応する対応領域の位置と、の位置のズレに基づいて、当該画素領域を構成する各画素について前記対象被写体の奥行き係数を求める機能、
前記再構成画像を構成する再構成画素に対応する前記ライトフィールド画像上の対応画素を抽出する機能、
前記求めた奥行き係数に基づいて、前記対応画素と対応する前記再構成画素の奥行き係数を設定する機能、
前記再構成画素の奥行き係数が示す被写体までの距離と前記再構成距離との距離の差に基づき、前記再構成画素の画素値を補正する機能、
前記再構成画素の前記補正後の画素値を用いて再構成画像を生成する機能、
を実現させることを特徴とするプログラム。
１…デジタルカメラ、１０…撮像部、１１０…光学装置、１１１…シャッタ、１２０…イメージセンサ、２０…情報処理部、３０…画像生成装置、３１…画像生成装置、３１ａ…情報処理部、３２…主記憶部、３３…外部記憶部、３６…入出力部、３７…内部バス、３８…プログラム、２１０…画像処理部、２２０…撮像制御部、３１０…入力部、３１１０…ＬＦＩ取得部、３１２０…再構成設定取得部、３１３０…撮影設定取得部、３２０…奥行き推定部、３２１０…領域定義部、３２２０…注目領域選択部、３２３０…周辺サブイメージ選択部、３２４０…ＳＳＤ算出部、３２５０…奥行き係数投票部、３２６０…サブ画素奥行き係数選択部、３２７０…奥行きフィルタ実行部、３３０…奥行き画像生成部、３３１…再構成画像生成部、３３１０…ひな形定義部、３３２０…注目画素選択部、３３３０…対応画素抽出部、３３４０…画素値決定部、３３４１…奥行き係数決定部、３３５０…画素値算出部、３３６０…再構成フィルタ実行部、３４０…出力部、ｄ１〜ｄ８…ずれ方向、ＭｉｎＤ…ＳＳＳＤが最小の奥行き係数、４０…記憶部、４１０…撮像設定記憶部、４２０…再構成設定記憶部、４３０…画像記憶部、５０…インターフェース部（Ｉ／Ｆ部）、５１０…Ｉ／Ｏ部、５２０…表示部、５３０…操作部、ＬＦＩ…ライトフィールド画像、ＬＦＤＩ…ライトフィールド奥行き画像、ＯＡ…光軸、ＯＢ…被写体、ＰＯＢ…被写体の部分、Ｐ…注目部位、ＭＬ…メインレンズ、ＰＦ…結像点、ＭＩＰ…メインレンズ結像面、ＰＥ…到達点、ＩＥ…撮像面、ＳＬＡ…サブレンズアレイ、ＳＬ…サブレンズ、ＭＬＢ…メインレンズブラー、ＭＬＢＣ…メインレンズブラー中心、ＳＩ…サブイメージ、Ｓ１１〜ＳＭＮ…サブイメージ、ＳＩ１〜ＳＩ８…サブイメージ、ＤＩ…奥行き画像、ＲＩ１、ＲＩ２…再構成フィルタ実行前の再構成画像、ＲＩ３、ＲＩ４…再構成フィルタ実行後の再構成画像、ＲＦ…再構成面
Claims (14)
- 複数のサブイメージから構成されるライトフィールド画像から被写体の奥行きを推定する奥行き推定装置であって、
前記ライトフィールド画像の前記サブイメージ上に、前記被写体に対応する画素領域を定義する画素領域定義手段と、
前記画素領域定義手段によって定義された画素領域を含む注目サブイメージ上の位置と、前記注目サブイメージの周辺に配置された周辺サブイメージ上の画素領域に対応する対応領域の位置と、の位置のズレに基づいて、前記被写体の奥行きを推定する奥行き推定手段と、
前記ライトフィールド画像から前記被写体の像を再構成した再構成画像と前記再構成画像の画素である再構成画素とを定義する再構成画像定義手段と、
前記画素領域の前記注目サブイメージ上の位置と、前記対応領域の前記周辺サブイメージ上の位置と、の位置のズレに基づいて、前記画素領域に含まれるサブ画素の奥行き係数を求める奥行き係数獲得手段と、
を備え、
前記奥行き推定手段は、前記奥行き係数獲得手段が求めた各前記サブ画素の奥行き係数に基づいて、前記再構成画像の前記再構成画素の奥行き係数を定めることにより、前記被写体の奥行きを推定する、
ことを特徴とする奥行き推定装置。 - 前記周辺サブイメージ上の前記対応領域を、前記注目サブイメージの画素領域の画素値と、前記周辺サブイメージの画素値と、に基づいて抽出する対応領域抽出手段を更に備え、
前記奥行き推定手段は、
前記画素領域の前記注目サブイメージ上の位置と、前記対応領域抽出手段によって抽出された前記対応領域の前記周辺サブイメージ上の位置と、の位置のズレに基づいて、前記被写体の奥行きを推定する、
ことを特徴とする請求項１に記載の奥行き推定装置。 - 前記再構成画素に対応する前記ライトフィールド画像上の対応画素を抽出する対応画素抽出手段を備え、
前記奥行き推定手段は、
前記対応画素抽出手段によって抽出された前記対応画素について前記奥行き係数獲得手段が求めた奥行き係数に基づいて、前記再構成画素の奥行き係数を定めることにより、前記被写体の奥行きを推定する、
ことを特徴とする請求項１又は２に記載の奥行き推定装置。 - 前記周辺サブイメージ上の視差に応じた複数の位置に対応候補領域を定義し、前記対応候補領域のそれぞれについて、前記サブイメージの画素領域との対応の確かさを示す対応係数を求める対応係数獲得手段を更に備え、
前記対応領域抽出手段は、
前記対応係数獲得手段が求めた対応係数に基づいて、前記周辺サブイメージ上の前記対応領域を抽出する、
ことを特徴とする請求項２に記載の奥行き推定装置。 - 前記対応係数獲得手段は、
異なる視差毎に複数の前記周辺サブイメージのそれぞれに前記対応候補領域を定義し、前記対応候補領域のそれぞれについて前記対応係数を求め、
前記対応領域抽出手段は、
前記対応候補領域のそれぞれについて求めた前記対応係数から、前記視差毎に前記対応係数の確からしさを示す尤度係数を求め、前記尤度係数が最も確からしい前記対応係数に対応する前記対応候補領域を前記対応領域として抽出する、
ことを特徴とする請求項４に記載の奥行き推定装置。 - 前記対応係数獲得手段が求める前記対応係数は、前記画素領域と前記対応候補領域との画素値の差違を示す係数である、
ことを特徴とする請求項４又は５に記載の奥行き推定装置。 - 前記奥行き係数獲得手段は、
前記サブ画素の奥行き係数を、前記サブ画素から所定領域に含まれるサブ画素の奥行き係数に基づき補正する、
ことを特徴とする請求項１乃至６のいずれかに記載の奥行き推定装置。 - 複数のサブイメージから構成されるライトフィールド画像から、所定の再構成距離に合焦した再構成画像を生成する再構成画像生成装置であって、
前記ライトフィールド画像の前記サブイメージ上に、被写体に対応する画素領域を定義する画素領域定義手段と、前記画素領域定義手段によって定義された画素領域を含む注目サブイメージ上の位置と、前記注目サブイメージの周辺に配置された周辺サブイメージ上の画素領域に対応する対応領域の位置と、の位置のズレに基づいて、前記被写体の奥行きを推定する奥行き推定手段と、を有する奥行き推定装置と、
前記奥行き推定装置によって推定された前記被写体の奥行きと前記再構成距離との距離の差に基づき、前記再構成画像を構成する再構成画素の画素値を補正する再構成画像補正手段と、
を備える、
ことを特徴とする再構成画像生成装置。 - 前記再構成画像補正手段は、前記補正として、対応する前記被写体の奥行きと前記再構成距離との距離の差が所定の閾値よりも大きい再構成画素に、前記再構成画素から所定範囲にある再構成画素の画素値に基づいてボケを付加する、
ことを特徴とする請求項８に記載の再構成画像生成装置。 - 前記再構成画像補正手段は、前記ボケを付加するにあたって、対応する前記被写体の奥行きが、前記再構成距離よりも手前である被写体の再構成画素については、前記ボケを付加する処理の処理対象としない、
ことを特徴とする請求項９に記載の再構成画像生成装置。 - 複数のサブイメージから構成されるライトフィールド画像から被写体の奥行きを推定する奥行き推定方法であって、
前記ライトフィールド画像のサブイメージ上に、前記被写体に対応する画素領域を定義するステップと、
前記定義された画素領域を含む注目サブイメージ上の位置と、前記注目サブイメージの周辺に配置された周辺サブイメージ上の画素領域に対応する対応領域の位置と、の位置のズレに基づいて、前記被写体の奥行きを推定するステップと、
前記ライトフィールド画像から前記被写体の像を再構成した再構成画像と前記再構成画像の画素である再構成画素とを定義するステップと、
前記画素領域の前記注目サブイメージ上の位置と、前記対応領域の前記周辺サブイメージ上の位置と、の位置のズレに基づいて、前記画素領域に含まれるサブ画素の奥行き係数を求めるステップと、
を含み、
前記奥行きを推定するステップでは、前記奥行き係数を求めるステップで求めた各前記サブ画素の奥行き係数に基づいて、前記再構成画像の前記再構成画素の奥行き係数を定めることにより、前記被写体の奥行きを推定する、
ことを特徴とする奥行き推定方法。 - 複数のサブイメージから構成されるライトフィールド画像から、所定の再構成距離に合焦した再構成画像を生成する再構成画像生成方法であって、
前記ライトフィールド画像の前記サブイメージ上に、奥行きを推定する対象となる被写体に対応する画素領域を定義するステップと、
前記定義された画素領域を含む注目サブイメージ上の位置と、前記注目サブイメージの周辺に配置された周辺サブイメージ上の画素領域に対応する対応領域の位置と、の位置のズレに基づいて、画素領域を構成する各画素について前記被写体の奥行き係数を求めるステップと、
前記再構成画像を構成する再構成画素に対応する前記ライトフィールド画像上の対応画素を抽出するステップと、
求めた前記奥行き係数に基づいて、前記対応画素と対応する前記再構成画素の奥行き係数を設定するステップと、
前記再構成画素の奥行き係数が示す被写体までの距離と前記再構成距離との距離の差に基づき、前記再構成画素の画素値を補正するステップと、
前記再構成画素の前記補正後の画素値を用いて再構成画像を生成するステップと、
を含む、
ことを特徴とする再構成画像生成方法。 - 複数のサブイメージから構成されるライトフィールド画像から被写体の奥行きを推定するため、コンピュータに、
前記ライトフィールド画像のサブイメージ上に、前記被写体に対応する画素領域を定義する機能、
前記定義された画素領域を含む注目サブイメージ上の位置と、前記注目サブイメージの周辺に配置された周辺サブイメージ上の画素領域に対応する対応領域の位置と、の位置のズレに基づいて、前記被写体の奥行きを推定する機能、
前記ライトフィールド画像から前記被写体の像を再構成した再構成画像と前記再構成画像の画素である再構成画素とを定義する機能、
前記画素領域の前記注目サブイメージ上の位置と、前記対応領域の前記周辺サブイメージ上の位置と、の位置のズレに基づいて、前記画素領域に含まれるサブ画素の奥行き係数を求める機能、
を実現させ、
前記奥行きを推定する機能では、前記奥行き係数を求める機能で求めた各前記サブ画素の奥行き係数に基づいて、前記再構成画像の前記再構成画素の奥行き係数を定めることにより、前記被写体の奥行きを推定する、
ことを特徴とするプログラム。 - 複数のサブイメージから構成されるライトフィールド画像から、所定の再構成距離に合焦した再構成画像を生成するため、コンピュータに、
前記ライトフィールド画像のサブイメージ上に、奥行きを推定する対象となる被写体に対応する画素領域を定義する機能、
前記定義された画素領域を含む注目サブイメージ上の位置と、前記注目サブイメージの周辺に配置された周辺サブイメージ上の画素領域に対応する対応領域の位置と、の位置のズレに基づいて、画素領域を構成する各画素について前記被写体の奥行き係数を求める機能、
前記再構成画像を構成する再構成画素に対応する前記ライトフィールド画像上の対応画素を抽出する機能、
求めた奥行き係数に基づいて、前記対応画素と対応する前記再構成画素の奥行き係数を設定する機能、
前記再構成画素の奥行き係数が示す前記被写体までの距離と前記再構成距離との距離の差に基づき、前記再構成画素の画素値を補正する機能、
前記再構成画素の補正後の画素値を用いて再構成画像を生成する機能、
を実現させる、
ことを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012042573A JP5900017B2 (ja) | 2012-02-28 | 2012-02-28 | 奥行き推定装置、再構成画像生成装置、奥行き推定方法、再構成画像生成方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012042573A JP5900017B2 (ja) | 2012-02-28 | 2012-02-28 | 奥行き推定装置、再構成画像生成装置、奥行き推定方法、再構成画像生成方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013178684A JP2013178684A (ja) | 2013-09-09 |
| JP5900017B2 true JP5900017B2 (ja) | 2016-04-06 |
Family
ID=49270256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012042573A Expired - Fee Related JP5900017B2 (ja) | 2012-02-28 | 2012-02-28 | 奥行き推定装置、再構成画像生成装置、奥行き推定方法、再構成画像生成方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5900017B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5631935B2 (ja) | 2012-07-11 | 2014-11-26 | 株式会社東芝 | 画像処理装置、画像処理方法およびプログラム、ならびに、撮像装置 |
| JP6188531B2 (ja) * | 2013-10-22 | 2017-08-30 | キヤノン株式会社 | 撮像装置、その制御方法およびプログラム |
| EP3026628A1 (en) | 2014-11-26 | 2016-06-01 | Thomson Licensing | Method and apparatus for estimating depth of unfocused plenoptic data |
| CN108885778B (zh) * | 2016-04-06 | 2023-04-07 | 索尼公司 | 图像处理设备和图像处理方法 |
| CN114119698B (zh) * | 2021-06-18 | 2022-07-19 | 湖南大学 | 基于注意力机制的无监督单目深度估计方法 |
| JP7634786B1 (ja) | 2023-12-21 | 2025-02-21 | 三菱電機株式会社 | 画像出力装置、および、画像出力方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008078692A (ja) * | 2006-09-19 | 2008-04-03 | Ricoh Co Ltd | 画像入力装置及び電子機器 |
| JP4915859B2 (ja) * | 2007-03-26 | 2012-04-11 | 船井電機株式会社 | 物体の距離導出装置 |
| JP2009229125A (ja) * | 2008-03-19 | 2009-10-08 | Sharp Corp | 距離測定装置および距離測定方法 |
| JP5229541B2 (ja) * | 2008-05-29 | 2013-07-03 | 株式会社ニコン | 距離測定装置、距離測定方法、及び、プログラム |
| JP2010057067A (ja) * | 2008-08-29 | 2010-03-11 | Sony Corp | 撮像装置および画像処理装置 |
| JP2010109921A (ja) * | 2008-10-31 | 2010-05-13 | Nikon Corp | 画像合成装置 |
-
2012
- 2012-02-28 JP JP2012042573A patent/JP5900017B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013178684A (ja) | 2013-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5206853B2 (ja) | 補間画像生成装置、再構成画像生成装置、補間画像生成方法及びプログラム | |
| CN103297677B (zh) | 生成重构图像的图像生成装置以及图像生成方法 | |
| EP3134868B1 (en) | Generation and use of a 3d radon image | |
| CN103516983B (zh) | 图像处理装置、摄像装置以及图像处理方法 | |
| US10762655B1 (en) | Disparity estimation using sparsely-distributed phase detection pixels | |
| JP5762211B2 (ja) | 画像処理装置および画像処理方法、プログラム | |
| JP5900017B2 (ja) | 奥行き推定装置、再構成画像生成装置、奥行き推定方法、再構成画像生成方法及びプログラム | |
| JP2017520050A (ja) | 局所的適応ヒストグラム平坦化 | |
| CN106993112A (zh) | 基于景深的背景虚化方法及装置和电子装置 | |
| JP2015197745A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
| JP5766077B2 (ja) | ノイズ低減のための画像処理装置及び画像処理方法 | |
| US9818199B2 (en) | Method and apparatus for estimating depth of focused plenoptic data | |
| CN110493527A (zh) | 主体对焦方法、装置、电子设备和存储介质 | |
| US9538074B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
| JP6655379B2 (ja) | 焦点スタックから適応スライス画像を生成する方法および装置 | |
| US8929685B2 (en) | Device having image reconstructing function, method, and recording medium | |
| JP2015148532A (ja) | 距離計測装置、撮像装置、距離計測方法、およびプログラム | |
| CN109255810A (zh) | 图像处理装置及图像处理方法 | |
| CN109661815A (zh) | 存在相机阵列的显著强度变化的情况下的鲁棒视差估计 | |
| JP2017537396A (ja) | 非集束型プレノプティックデータの深度を推定する方法および装置 | |
| JP2016005027A (ja) | 情報処理装置、撮像装置、撮像システム、情報処理方法およびプログラム。 | |
| JP5310890B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
| JP5310895B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
| JP2016062447A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| JP2014011639A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150216 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151112 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151117 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160118 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160209 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160222 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5900017 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |