JP6585890B2 - 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 - Google Patents

Description

本発明は画像処理装置に関し、特にリフォーカス可能なライトフィールドデータに基づく画像を処理する画像処理装置および当該画像処理装置を適用した撮像装置に関する。

近年、撮影した被写体画像の特定の領域に対して画像処理を行う機能を有するデジタルカメラ等の撮像装置が知られている。例えば、特許文献１では、ユーザーが指定した色情報を有する領域に対して同様にユーザーが指定した色に変換する色変換処理を行うことが可能な技術が開示されている。

ところで、１回の撮影で被写界の異なる距離にピントの合った画像を得ることのできる技術が知られている。特許文献２では結像光学系の射出瞳の異なる領域を通過した光束を撮像素子によって撮像して得られる撮像信号（ライトフィールドデータ）を合成して任意の焦点面において取得可能な画像データ（リフォーカス画像）を１回の撮影で生成する技術が開示されている。

特開２００６−１８６５９４号公報 特開２００７−４４７１号公報

特許文献１に記載の撮像装置において、変換対象の色を有する被写体領域にボケが発生している場合、ボケ領域で発生する混色に起因して意図する色変換処理結果を得られない場合がある。このような問題は前述の色変換処理に限らず、被写体固有の情報を用いる画像処理や被写体領域毎に異なる画像処理を適用するような場面においても同様の問題が発生する。

一方、特許文献２に記載の撮像装置において、同一のシーンからピント位置を変えた複数のリフォーカス画像を生成し、それらに一律に同様の画像処理を行う場合は、合成の度に画像処理を実施することになり、処理が煩雑になってしまう。

そこで、本発明の目的は、例えばリフォーカス画像などの画像に画像処理を行う場合において、ボケに起因する画像処理による画像の誤補正を回避し、かつ効率よく画像処理を行うことを可能にする画像処理装置を提供することである。

上記課題を解決する為に本発明によれば、画像処理装置は、被写体の光学像を形成する撮像光学系の射出瞳の瞳分割機能を有する撮像手段で生成されたライトフィールドデータを取得する取得手段と、所定の画像処理を画像データに行う画像処理手段と、所定の画像処理が行われる画像データを、ライトフィールドデータを用いて生成する画像生成手段と、画像処理手段を制御して、生成された画像データに所定の画像処理を行うことで、所定の画像処理に従って補正されたライトフィールドデータを生成する制御手段を備える。

本発明によれば、リフォーカス画像の画像処理において、当該画像処理に対応してライトフィールドデータの補正を行うことが可能となり、ボケに起因した各種画像処理による画像の誤補正を防ぐことを可能とする画像処理装置を提供できる。

本発明の第１の実施例に係わる画像処理装置を適用した撮像装置の構成を示すブロック図 撮像素子のカラーフィルターを有する画素の配列構成の例を模式的に示す図 分割画素を有する画素の構成例を示す図 分割画素と撮像光学系の射出瞳領域との関係を概念的に示す図 ライトフィ−ルドデータによる画像合成を説明するための図 本発明の第１の実施例に係わる画像処理装置を適用した撮像装置の撮影動作のフローチャートを示す図 本発明の第２の実施例に係わる画像処理装置を適用した撮像装置の構成を示すブロック図 視差マップを説明するための図 視差マップに従って生成される合成画像を説明するための図 本発明の第２の実施例に係わる画像処理装置を適用した撮像装置の撮影動作のフローチャートを示す図 撮像素子とシェーディング形状の関係を説明するための図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１から図６を参照して、本発明の第１の実施例を説明する。

図１は本発明の第１の実施例に係わる画像処理装置を適用した撮像装置１００の構成を示すブロック図である。同図において、１０１は撮像光学系であり、入射する被写体からの光を不図示の複数のレンズ群および絞りを介して撮像素子１０２に導く。撮像光学系１０１を通過した光束は撮像素子１０２上に結像して光学像を形成する。撮像素子１０２はＲ（赤）Ｇ（緑）Ｂ（青）のカラーフィルターを備える画素がベイヤー配列に従って配置された画素配列を有し、一つの画素には少なくとも一対の光電変換部が構成されている。撮像素子１０２および画素の詳細については後述する。

Ａ／Ｄ変換部１０３は、撮像素子１０２から出力されたアナログ画像信号をデジタル信号に変換する。瞳分割画像生成部１０４は、Ａ／Ｄ変換部１０３から出力される信号から一対の瞳分割画像データを生成する。瞳分割画像生成部１０４の詳細な動作についても後述する。システム制御部１０５は、撮影や記録などの動作などにおいて撮像装置内部の状態に従って撮像装置全体の制御を行う。Ｄ／Ａ変換部１０６は、デジタル画像信号をアナログ信号に変換し、表示部１０７に出力する。

表示部１０７はＬＣＤ等の液晶ディスプレイであり、ＥＶＦや記録媒体１１１に記憶された画像データおよび各種設定画面などを表示する。画像合成部１０８は、複数の画像から合成画像を生成する。画像合成部１０８の詳細な動作については後述する。色変換部１０９は、画像中の所定の色を他の所定の色に変換する色変換処理を行う。色変換部１０９の詳細については後述する。

メモリ１１０はカメラ内部の動作制御プログラム、画像、および演算データや各種パラメータを記憶するメモリであり、各種画像処理に用いるパラメータやルックアップテーブルの情報、およびシェーディング特性等の情報を予め記憶している。記録媒体１１１はＳＤカードやＣｏｍｐａｃｔＦｌａｓｈなどの記録媒体であり、撮影画像データを記録する。

次に、図２〜図４を用いて本実施例における撮像素子１０２の構成を説明する。図２は撮像素子１０２の受光領域の一部を拡大した図である。撮像素子１０２の受光領域には、図２に示すようにＲＧＢのいずれかのカラーフィルター２００を有する画素がベイヤー配列に従って配置されている。

次に図３を用いて撮像素子１０２の画素の構成について説明する。

図３（ａ）は、撮像素子１０２の画素の一つを上面から観察した図である。図３（ｂ）は、図３（ａ）に示す線分Ｐ−Ｐ´における画素の断面図である。なお図中において同様の部分には同一の符号を付して示す。

図３において、３０１は瞳分割機能を有するマイクロレンズであり、撮像光学系から出力された光束を集光する。カラーフィルター２００は、マイクロレンズ３０１を通過した光束のうち、特定の波長の光のみを透過する。３０２、３０３、３０４、３０５は光電変換部であり、それぞれ同じマイクロレンズを介して受光した光束を光電変換し、個別に光電変換信号を出力する(瞳分割)ことが可能である。なお、本実施例において単に画素と記載した場合は、撮像素子１０２の一つのマイクロレンズ下に構成される、上述の要素３０１〜３０５および２００の集合単位である単位画素を意味するものとする。また、画素における光電変換部３０２の位置に対応する光電変換部を分割画素Ａ、３０３の位置に対応する光電変換部を分割画素Ｂ、３０４の位置に対応する光電変換部を分割画素Ｃ、３０５の位置に対応する光電変換部を分割画素Ｄとそれぞれ記す。

また、本実施例では一つの画素に対して４つの光電変換部を構成する例について説明を行うが、一つの画素に構成される光電変換部の数はこれに限定されない。一つの画素に構成される光電変換部が撮像光学系の射出瞳のそれぞれ異なる領域を通過した光束を独立して受光可能な構成であればよい。

また、本実施例では撮像素子１０２の画素配列としてＲＧＢのベイヤー配列による構成について説明をしたが、カラーフィルターの分光感度特性はこれに限定されるものではない。また、本実施例では一つのマイクロレンズに対して一つのカラーフィルターを構成する例を示したが、マイクロレンズ下の各分割画素にそれぞれ異なる分光感度特性を有するカラーフィルターを構成しても良い。

次に瞳分割画像生成部１０４による画像生成の詳細な動作について説明する。
瞳分割像生成部１０４は分割画素Ａ、分割画素Ｂ、分割画素Ｃ、分割画素Ｄで得られる信号（ライトフィールドデータと称す）をそれぞれ取得し、分割画素Ａ群によって得られる信号から第１の像信号（瞳分割画像データ）を、分割画素Ｂ群によって得られる信号から第２の像信号を生成する。また、分割画素Ｃ群によって得られる信号から第３の像信号を、分割画素Ｄ群によって得られる信号から第４の像信号をそれぞれ生成する。

図４は撮像光学系１０１の射出瞳と分割画素の関係を説明するための図である。なお、同図において、図３と同様の部分は同じ符号を付して示す。また、説明を簡便にするために分割画素Ａおよび分割画素Ｂに着目して説明を行うものとする。従って、後述の説明は分割画素Ａおよび分割画素Ｂに示す位置関係と同じ関係性である分割画素の組み合わせにも適用可能である。

本実施例においては、撮像光学系の射出瞳４０１から出力された光はマイクロレンズ３０１により瞳分割され、分割画素Ａ群３０２は領域４０２を、分割画素Ｂ群３０３は領域４０３を通過した光束をそれぞれ受光するように設計されている。したがって、第１の像信号および第２の像信号は瞳分割像方向に視差を有する一対の瞳分割画像データとなる。一対の瞳分割画像は、それぞれ撮像光学系１０１のＦ値に対して２段分深い被写界深度を有する。

次に色変換部１０９の詳細な動作について説明する。
色変換部１０９は入力画像に対し、画素位置毎に足りない色情報を周囲の画素から補間し、各画素位置に対応する色情報Ｐｉｘ（Ｒ、Ｇ、Ｂ）を生成する。色変換部１０９はルックアップテーブルを用いて各画素位置に対応する色情報Ｐｉｘ（Ｒ、Ｇ、Ｂ）を、撮像装置１００の撮影モードに従って予め決定される所定の変換目標色Ｐｉｘ（Ｒ’、Ｇ’、Ｂ’）へと変換する。ルックアップテーブルを用いた色変換処理は、ここでは詳細な説明は割愛するが、例えば特許文献１に開示されている技術を用いることで実現可能である。

なお、特許文献１に開示されている技術はＹＵＶ空間での色変換処理であるが、色変換後のＹＵＶ空間における画素値に対して行列演算による逆変換処理を行うことでＲＧＢ空間へと戻すことは容易である。色変換部１０９は前記ルックアップテーブルを用いた色変換処理を画像全体に対して実施し、画像中の変換対象の色を変換目標の色へと補正する。なお、本実施例では撮影モードに応じて変換対象の色および変換目標の色を決定する場合について説明したが、ユーザーが直接変換対象の色および変換目標の色を図示しない操作部により指定できるようにしてもよい。

また、本実施例では画像全体に対して画像処理を行う例について説明したが、本発明はこれに限定されるものではない。例えば、特定の被写体を対象として画像処理を行うような撮影モードが設定されている場合には、画像解析等により画像中の特定の被写体の存在する領域を推定し、画像処理対象領域を限定してもよい。

次に図５を用いて画像合成部１０８の詳細な動作について説明する。画像合成部１０８は瞳分割画像を合成し、任意の焦点面（仮想撮像面）において取得可能な画像データ（リフォーカス画像）を生成する。図５は画像合成処理の動作を説明するための図である。なお、ここでは説明を簡便にするために分割画素Ａおよび分割画素Ｂに着目して説明を行うものとする。以降の説明は、分割画素Ａおよび分割画素Ｂに示す位置関係と同一の関係性を有する分割画素の組み合わせにも適用可能である。

図５（ａ）は、撮像素子１０２のある領域における入射光と焦点面の関係を示している。図４で説明した射出瞳領域４０２および４０３を通過した光束はマイクロレンズにより瞳分割され、分割画素５０２、５０４、５０６、５０８、５１０では射出瞳領域４０３を通過した光束を受光する。また、分割画素５０１、５０３、５０５，５０７、５０９では射出瞳領域４０２を通過した光束をそれぞれ受光する。

図５（ｂ）は、図５（ａ）においてそれぞれの分割画素が受光する光束を模式的に示した図である。同一のマイクロレンズ下の分割画素５０１および５０２、５０３および５０４、５０５および５０６、５０７および５０８、５０９および５１０をそれぞれ加算することによって同一のタイプの線分で示される結像画像の画素信号を得ることが出来る。

図５（ｄ）は射出瞳領域４０３を通過した光束により得られた信号群を１画素分シフトして加算する例を示している。それぞれの分割画素は図５（ａ）で示した光線情報を有しているため、シフト加算によって得られる信号は、異なるタイプの線分で示される結像画像の画素信号が得られる。これは図５（ｃ）に示すように仮想撮像面１で取得できる信号と等価であるものとして扱うことが出来る。

図５（ｆ）は射出瞳領域４０３を通過した光束により得られた画素信号群を−１画素分シフトして加算する例であり、仮想撮像面２で取得できる信号と等価であるものとして扱うことが出来る。

本実施例では、画像合成処理部１０８はシフト量０での加算、即ち同一マイクロレンズ下に存在する一対の分割画素の画素値を加算することにより従来の撮像装置による撮影データと等価な合成画像を生成する。以下に本実施例における合成画像ImgＡＢを生成する式を示す。下記の式１においてImgＡおよびImgＢは入力される一対の画像を、xおよびyは水平方向および垂直方向の座標を示している。
ImgＡＢ(x,y) ＝ImgＡ(x,y) +ImgＢ(x,y)・・・式１
なお、ここで示した式は一例にすぎず、構成される分割画素の個数や特性に応じて適宜式を変形させても良い。

次に、図６を参照して、本実施例に係わる画像処理装置を適用した撮像装置１００の撮影動作を説明する。図６は、本実施例に係わる画像処理装置を適用した撮像装置１００の撮影動作のフローチャートを示す図である。本動作は、システム制御部１０５がメモリ１１０に格納されている動作制御プログラムをロードして実行することで撮像装置１００の各部を制御して実現される。

撮像装置１００は不図示の電源スイッチがＯＮの間（ステップＳ６００での「Ｙ」）、色変換撮影処理を繰り返す。色変換撮影が開始されると（ステップＳ６００での「Ｙ」）、まずステップＳ６０１で撮像素子１０２およびＡ／Ｄ変換部１０３により生成された被写体の像信号を取得する。次に、ステップＳ６０２では、瞳分割画像生成部１０４が、分割画素Ａ群および分割画素Ｂ群それぞれの像信号から一対の瞳分割画像データを生成する。ステップＳ６０２で生成された瞳分割画像データは順次色変換処理部１０９へと入力される。

次に、ステップＳ６０３において、ステップＳ６０２で出力される第１の瞳分割画像データに対して、色変換処理部１０９により撮影モードに応じて決定される変換対象の色と変換目標の色に基づいた色変換処理が行われる。次に、ステップＳ６０４において、ステップＳ６０２で出力される第２の瞳分割画像データに対して、色変換処理部１０９により撮影モードに応じて決定される変換対象の色と変換目標の色に基づいた色変換処理が行われる。

次に、ステップＳ６０５において、ステップＳ６０２で出力される第３の瞳分割画像データに対して、色変換処理部１０９により撮影モードに応じて決定される変換対象の色と変換目標の色に基づいた色変換処理が行われる。ステップＳ６０６においては、ステップＳ６０２で出力される第４の瞳分割画像データに対して、色変換処理部１０９により撮影モードに応じて決定される変換対象の色と変換目標の色に基づいた色変換処理が行われる。

次に、ステップＳ６０７では不図示のシャッターボタンが押下されているかどうかを判定し、シャッターボタンが押されている場合はステップＳ６０８へと進み、撮影画像の記録処理を行う。シャッターボタンが押されていない場合は、ステップＳ６０９の表示処理へと進む。

ステップＳ６０８では、色変換処理が行われた第１の瞳分割画像データ及び第２の瞳分割画像データに含まれる分割画素単位のデータ（ライトフィールドデータ）を記録媒体１１１に保存し、ステップＳ６０９の表示処理へと進む。ステップＳ６０９で画像合成処理部１０８による画像合成処理が行われ、出力された合成画像を表示部１０７に表示する。ステップＳ６０９の表示処理が終るとステップＳ６００に戻り、電源スイッチがＯＮであればステップＳ６０１で次フレームの像信号取得を行い、前述した一連の動作を繰り返し実行する。

なお、本実施例では変換対象の色を変換目標の色に変換する色変換処理を画像処理の例として用いたが、本発明の範囲はこれに限定されるものではなく、被写体固有の情報を用いて画像処理を行う画像処理であれば適用可能である。

また、本実施例では分割画素単位の補正データをそのまま記録媒体に記録する例について説明したが、色変換後の瞳分割画像を画像合成部１０８で合成し、合成画像を記録するようにしても良い。

また、本実施例では一対の瞳分割画像に対して一つの色変換手段を用いて順次処理する例について説明したが、撮像装置１００に対して第２の色変換手段を構成し、色変換処理を並列に進めるようにすれば色変換にかかる処理時間短縮が可能となる。また、瞳分割画像の数に応じて更に多数の色変換手段を構成しても良い。

以上説明したように、射出瞳上の異なる領域を通過した光束群を受光して生成される瞳分割画像データに対してそれぞれ画像処理を行うようにすれば、ぼけに起因した画像処理の課題を解決することが可能となる。

次に図７〜図１０を参照して本発明の第２の実施例を説明する。

図７は、本発発明の第２の実施例に係わる画像処理装置を適用した撮像装置７００の構成を示すブロック図である。なお、同図において、図１と同様の部分は同じ符号を付して示す。

図１において撮像装置７００は、逆変換部７０１、視差検出部７０２、および合成パラメータ決定部７０３が追加された点を除けば、図１に示す実施例の撮像装置１００と同様である。本実施例では、追加された逆変換部７０１、視差検出部７０２および合成パラメータ決定部７０３と、本実施例の撮像装置において色変換部１０９による色変換処理を介してどのように補正されたライトフィールドデータが得られるかについての説明のみを行う。

まず、視差検出部７０２について説明する。視差検出部７０２は入力された一対の瞳分割画像データ（像信号）から、視差量を検出する。視差検出部７０２に入力された一対の瞳分割画像の一方を基準画像、他方を参照画像として参照画像をシフトしながら設定された検出領域の相関を求める。相関を求める方法の詳細な説明は行わないが、例えばパターンマッチング（テンプレートマッチング）の技術であるＳＡＤやＳＳＤ等の公知の技術を用いればよい。

相関を求める演算を視差方向に画素単位でシフトしながら演算を繰り返すことで画素毎に最も相関の高くなる位置までのシフト量を求めることができる。最も相関の高くなる位置までのシフト量を用いて、同一の被写体に対する視差量を画素値に換算した視差マップを生成する。

図８は視差マップを説明する図である。なお、ここでは説明を簡便にするために分割画素Ａおよび分割画素Ｂに着目して説明を行うものとする。以降の説明は分割画素Ａおよび分割画素Ｂに示す位置関係と同一の関係性のある分割画素の組み合わせにも適用可能である。

図８（ａ）は分割画素Ａ群により取得される瞳分割画像であり、視差検出部７０２において基準画像として扱われる画像である。図８（ｂ）は分割画素Ｂ群により取得される瞳分割画像であり、視差検出部７０２において参照画像として扱われる画像である。８０１および８０２は被写体であり、被写体８０１は被写体８０２よりも撮像装置に近い位置に存在する。図８（ｃ）は、基準画像および参照画像から生成された視差マップであり、視差を画素値としてマッピングしている。被写体８０１の視差量は０であり、被写体８０２の視差量が１００であることを示している。

次に合成パラメータ決定部７０３の動作について説明する。
視差量の取り得る値のそれぞれに対して後述の画像合成処理を行うことで所定の被写体にピントの合う画像を得ることができる。しかしながら、取り得る全ての視差量に対する画像合成処理を行うためには処理時間がかかり、現実的ではない。そこで合成パラメータ決定部７０３は、効率的に合成画像を生成するためのパラメータを視差マップ中の視差量の分布に基づいて決定する。

最初に、合成パラメータ決定部７０３は、視差マップ（ParallaxMap）中の画素値の統計をとり視差量の分布を求める。そして、分布中に出現する視差量（画素値）を判定する。例えば、視差マップのある領域の画素値が下記のParallaxMapようになっている場合、分布中に出現する視差量（Param1）は５０，１０，２０，１００となる。
ParallaxMap = {50,50,50,10,10,50,50,20,20,20,100}
Param1 = {50,10,20,100}

次に、合成パラメータ決定部７０３は、分布中に出現する視差量（Param1）に所定の条件に従って並び替えを行い、優先度を決定する。
例えば、視差量の絶対値が小さい順に並び替えを行い、優先度を決定する。
Param2 = {10,20,50,100}

次に、予め決められた合成処理回数分だけ優先度順にパラメータを抽出する。ここで１フレームあたり３回の色変換処理が可能であるとすると優先度と処理時間を考慮したパラメータParam3は以下のようになる。
Param3 = {10,20,50}

このようにして決定された合成パラメータ（Param3）は、撮影時の焦点面に近い被写体を優先的に処理することが可能な合成パラメータとなる。Param3は、例えば撮影時にピントを合わせた被写体に対する画像処理を行う際に、被写体領域に微小な視差が発生しているような場合において有効である。

また、他の優先度決定の条件として、分布中に出現する頻度が高い順に並べ替えて優先度を決定しても良い。
Param4 = {50,20,10,100}

Param4に対し予め決められた合成処理回数分だけ優先度順にパラメータを抽出すると以下のようになる。
Param5 = {50,20,10}

このようにして決定された合成パラメータ（Param5）は、撮影時の構図中で最も大きな領域を占める被写体に対して優先度を上げた合成パラメータとなる。Param5は、例えば被写界に距離の異なる複数の被写体が存在する場合において、撮影画像中に占める割合が高いものから優先的に処理するため、画面全体に画像処理を行うような場合において有効である。

また、視差量の分布以外のシフト量の決定方法としては、撮影パラメータであるレンズ情報（Ｆ値、焦点距離）に応じて被写界深度を求め、被写界深度に基づいてシフト量を決定しても良い。

なお、離散的なシフト量を予め決めておく場合において、離散的に決めた視差間の視差量を有する画素が存在する場合は、後述の画像処理により得られる結果を線形補間処理しても良い。

また、視差量の分布以外のシフト量の決定方法としては、撮影モードに応じて画像解析や人物検出等の被写体を認識する技術を併用し、任意のシフト量を決定するようにしても良い。例えば、人物を対象とする補正を行う撮影モードであるとき、画像解析によって基準画像中から人物領域を抽出し、前記人物領域に対応する視差量を合成用シフト量として用いればよい。また、シフト量や優先度は、不図示の操作部によってユーザーが任意に指定できるようにしても良い。

以上合成パラメータの決定方法を説明したが、いずれにおいても後述の合成画像生成において、色変換処理対象となる被写体にピントの合うような合成パラメータを決定できれば良い。

次に本実施例における画像合成部１０８の動作について説明する。
本実施例において画像合成部１０８は一対の瞳分割画像および合成パラメータ決定部７０３によって決定されるシフト量（仮想撮像面）に基づいて合成画像を生成する。なお、ここでは説明を簡便にするために分割画素Ａおよび分割画素Ｂに着目して説明を行うものとする。以降の説明は分割画素Ａおよび分割画素Ｂに示す位置関係と同一の関係性を有する分割画素の組み合わせにも適用可能である。

以下に合成画像ＩｍｇＡＢの各座標の画素値を合成する為の式を示す。
ImgＡＢ(x,y) ＝ImgＡ(x,y) +ImgＢ(x+shift,y)・・・式２

ImgＡおよびImgＢはそれぞれ色変換前の基準画像および色変換前の参照用画像を、x,yはそれぞれ水平方向、垂直方向の画素座標とし、合成パラメータ決定部７０３によって決定されるシフト量をShiftとしている。即ち合成画像は一対の瞳分割画像を視差方向にShift画素分だけずらして加算合成した画像となる。

図９は、視差マップの説明に用いた図８に示す一対の瞳分割画像に対してシフト量０で合成された合成画像とシフト量１００で合成された合成画像をそれぞれ示す。シフト量０で合成された合成画像としては被写体９０１にピントの合った画像が、シフト量１００で合成された画像としては被写体９０２にピントのあった画像がそれぞれ取得できる。即ち、視差マップ上の任意の領域にピントの合わせた画像を合成するためには視差マップ上の任意の領域の画素値分だけシフトして（組み合わせて）加算すればよい。なお、ここで示した式２は一例にすぎず、構成される分割画素の個数や特性に応じて適宜式を変形させてもよい。

次に、逆変換部７０１の動作について説明する。なお、ここでは説明を簡便にするために分割画素Ａおよび分割画素Ｂに着目して説明を行うものとする。以降の説明は分割画素Ａおよび分割画素Ｂに示す位置関係と同一の関係性の分割画素の組み合わせにも適用可能である。

逆変換部７０１は、色変換処理部によって色変換処理が行われた合成画像に基づいて分割画素の画素値（ライトフィールドデータ）を補正する。相関が高い領域、即ちピントの合っている領域においては以下の式３が成り立つ。
ImgＡ(x,y)≒ ImgＢ(x+shift,y) ・・・式３

式２および式３より、以下の式４および式５が成り立つ
ImgＡＢ(x,y) ≒ImgＡ(x,y) + ImgＡ(x,y) ・・・式４
ImgＡＢ(x,y) ≒ImgＢ(x+shift,y) + ImgＢ(x+shift,y) ・・・式５

式４および式５を変形し、分割画素値ImgＢ(x+shift,y)および分割画素ImgＡ(x,y)の画素値を導くことが出来る。
ImgＢ(x+shift,y) ≒ImgＡＢ(x,y)/2 ・・・式６
ImgＡ(x,y) ≒ImgＡＢ(x,y)/2 ・・・式７

このようにして求められた各分割画素の画素値は、ImgＡ(x,y)、ImgＢ(x+shift,y)に上書きされる。

なお、ここでは説明の為に簡易な式を用いて逆変換処理を行う例を示したが、瞳分割画像は図１１に示すように撮像素子の位置によって異なる形状のシェーディングが発生する。

従って、撮像素子１０２に構成される各分割画素のシェーディング特性を予めメモリ１１０に保持するようにし、式６及び式７で算出するそれぞれの分割画素の座標に応じてシェーディング特性に応じた比率でゲインを掛けるようにする。そうすればImgＡ(x,y)、ImgＢ(x+shift,y)はより自然な補正結果となる。

また、上記は色変換を施した合成画像を逆変換することで各分割画素の値を求める例を示したが、各画素間の視差が既に判明していることから別の方法を用いても実現することが出来る。例えば、基準画像に対してのみ色変換を行い、色変換後の基準画像の画素値を、参照画像の視差量に対応する画素に上書きしても良い。

また、基準画像の座標と対応する視差量分だけシフトした参照画像の座標とでそれぞれ同一の色変換テーブルを呼び出すように関連付けて処理してもよい。

また、画素単位で構成される分割画素の個数やその他の特性に応じて適宜式を変形させても良い。

次に図１０を参照し、撮像装置７００の撮影動作について説明する。図１０は、本実施例に係わる画像処理装置を適用した撮像装置の撮影動作のフローチャートを示す図である。本動作は、システム制御部１０５がメモリ１１０に格納されているプログラムをロードして実行することで撮像装置１００の各部を制御して実現される。なお、図１０において、本発明の第１の実施例と同様の動作を行う部分には同じ符号を付して示す。

撮像装置７００は不図示の電源スイッチがＯＮの間（ステップＳ６００で「Ｙ」）、色変換撮影処理を繰り返す。ステップＳ６００〜ステップＳ６０２は第１の実施例と同様の処理であるためここでの説明を割愛する。

ステップＳ１００３で、視差検出部７０２によって入力された１対の瞳分割画像の視差量を検出し、視差マップを生成する。次にステップＳ１００４において、合成パラメータ決定部７０３にステップＳ１００３において取得された視差マップが入力され、上述したように視差マップに基づいて画像合成用のパラメータが決定される。次いで、ステップＳ１００５において画像合成用のパラメータと、一対の瞳分割画像に基づいて画像合成部１０８による画像の合成処理が行われる。

次に、ステップＳ１００６において、ステップＳ１００５で生成された合成画像に対して撮影モードに応じた色変換処理を色変換部１０９に行わせ、色変換処理された合成画像データは逆変換部７０１へと出力される。

次に、ステップＳ１００７で、逆変換部７０１は色変換後の合成画像と視差マップに基づいた逆変換処理を実施し、合成画像中のピントの合っている領域の分割画素データ（ライトフィールドデータ）の画素値を補正する。

次にステップＳ１００８で、ステップＳ１００４によって決定された合成画像パラメータによって決定されるシフト量のそれぞれについて処理が終了したかどうかを判定する。未処理の合成パラメータ（シフト量）が残っている場合はステップＳ１００５に戻り、未処理の合成パラメータに準じて画像合成処理を行う。一方全ての合成パラメータ（シフト量）に対する処理が完了している場合はステップＳ６０７へと進む。
ステップＳ６０７以降の処理は第１の実施例と同様であるためここでの説明を割愛する。

以上説明したように、合成画像に対して色変換処理を行い、前記合成画像のピントの合っている位置に対して色変換後の画素値を分割画素単位の画素値に変換するような逆変換処理を行い、対応する分割画素位置に書き戻す。これによって、色変換処理結果を分割画素に反映することが可能となる。即ち、ピントが合っている被写体に対する画像処理結果を、適切に元の分割画素位置に戻すようにすれば被写体毎のライトフィールドデータの補正処理を実現できる。

上述した本発明によれば、リフォーカス画像の画像処理において、当該画像処理に対応してライトフィールドデータの補正を行うことが可能となり、ボケに起因した各種画像処理の誤補正を防ぐことを可能とする画像処理装置を提供できる。なお、上記実施例は、撮像装置に本発明を適用した例であるが、本発明はこれに限るものではなく、複数の撮像素子で互いに視差のある被写体像を撮像する多眼カメラやＰＣなどの情報処理装置にも適用可能であることは言うまでもない。

また、上述した実施の形態の処理は、各機能を具現化したソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に提供してもよい。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって、前述した実施形態の機能を実現することができる。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリーカード、ＲＯＭなどを用いることもできる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した各実施例の機能が実現される場合も含まれている。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリーに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含むものである。

Claims (17)

1. 画像処理装置において、
   被写体の光学像を形成する撮像光学系の射出瞳の瞳分割機能を有する撮像手段で生成されたライトフィールドデータを取得する取得手段と、
   色補正処理を含む所定の画像処理を画像データに行う画像処理手段と、
   前記取得されたライトフィールドデータから生成される前記射出瞳の異なる領域に対応する複数の瞳分割画像データを合成パラメータに基づいて合成することで、仮想撮像面における前記画像データを生成する画像生成手段と、
   前記画像処理手段を制御して、前記画像生成手段により生成された画像データに前記所定の画像処理を行って補正された画像データを生成し、該補正された画像データから前記合成パラメータに基づいて補正されたライトフィールドデータを生成する逆変換の処理により、前記所定の画像処理に従って補正されたライトフィールドデータを生成する制御手段と、
   を備え、
   前記逆変換の処理は、前記補正された画像データのピントの合っている領域に対して行うことを特徴とする画像処理装置。
2. 前記制御手段は前記画像処理手段を制御し、前記複数の瞳分割画像データの前記所定の画像処理を並列に行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像生成手段は、前記所定の処理が行われた前記複数の瞳分割画像データを合成して仮想撮像面における前記被写体の画像データを生成し、前記仮想撮像面における前記被写体の画像データは、前記複数の瞳分割画像データを組み合わせて加算することにより生成されることを特徴とする請求項２に記載の画像処理装置。
4. 前記逆変換を行う逆変換手段を備えることを特徴とする請求項１に記載の画像処理装置。
5. 決定手段を更に備え、
   前記決定手段は、前記複数の瞳分割画像データの間の視差量を検出する視差検出手段を有し、前記視差量に基づいて前記合成パラメータを決定することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記決定手段は、所定の条件に従って前記合成パラメータの優先度を決定し、前記所定の条件は、少なくとも前記視差量の分布、前記視差量の絶対値の大きさ、前記視差量の絶対値が小さい画像の領域の優先度、および所定の被写体領域の優先度のいずれかであり、前記所定の被写体領域は、少なくとも人物の一部が含まれる領域であることを特徴とする請求項５に記載の画像処理装置。
7. 前記決定手段は、前記取得したライトフィールドデータの撮影パラメータに基づいて前記合成パラメータを決定し、前記撮影パラメータは被写界深度の算出が可能な撮影パラメータであることを特徴とする請求項６に記載の画像処理装置。
8. 前記決定手段は、ユーザーが指定した情報に基づいて前記合成パラメータを決定することを特徴とする請求項５に記載の画像処理装置。
9. 前記画像処理手段は、前記合成パラメータに基づいて決定される前記複数の瞳分割画像データの関係性から前記所定の画像処理を行う領域を決定することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記制御手段は、前記合成パラメータに従って行われた複数の前記所定の画像処理の結果を用いて、前記合成パラメータに対応しないライトフィールドデータの補正データを生成することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記所定の画像処理は、ルックアップテーブルに基づいた色変換処理であることを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 被写体の光学像を形成する撮像光学系の射出瞳の瞳分割機能を有し、前記光学像を撮像してライトフィールドデータを生成する撮像手段と、
    色補正処理を含む所定の画像処理を画像データに行う画像処理手段と、
    前記生成されたライトフィールドデータから生成される前記射出瞳の異なる領域に対応する複数の瞳分割画像データを合成パラメータに基づいて合成することで、仮想撮像面における前記画像データを生成する画像生成手段と、
    前記画像処理手段を制御して、前記画像生成手段により生成された画像データに前記所定の画像処理を行って補正された画像データを生成し、該補正された画像データから前記合成パラメータに基づいて補正されたライトフィールドデータを生成する逆変換の処理により、前記所定の画像処理に従って補正されたライトフィールドデータを生成する制御手段と、
    前記補正されたライトフィールドデータを記録媒体に記録する記録手段と、
    を備え、
    前記逆変換の処理は、前記補正された画像データのピントの合っている領域に対して行うことを特徴とする撮像装置。
13. 前記撮像手段の各画素に対応して配置され、前記瞳分割機能を有するマイクロレンズを有し、前記画素は複数の分割画素を有し、前記ライトフィールドデータは前記複数の分割画素の出力から生成されることを特徴とする請求項１２に記載の撮像装置。
14. 前記撮像手段は、前記被写体を互いに視差をもって撮像する複数の前記撮像手段を有し、前記ライトフィールドデータは前記複数の撮像手段の出力から生成されることを特徴とする請求項１２に記載の撮像装置。
15. 画像処理装置の制御方法において、
    被写体の光学像を形成する撮像光学系の射出瞳の瞳分割機能を有する撮像手段で生成されたライトフィールドデータを取得する取得工程と、
    色補正処理を含む所定の画像処理を画像データに行う画像処理工程と、
    前記取得されたライトフィールドデータから生成される前記射出瞳の異なる領域に対応する複数の瞳分割画像データを合成パラメータに基づいて合成することで、仮想撮像面における前記画像データを生成する画像生成工程と、
    前記画像処理工程により、前記画像生成工程により生成された画像データに前記所定の画像処理を行って補正された画像データを生成し、該補正された画像データから前記合成パラメータに基づいて補正されたライトフィールドデータを生成する逆変換の処理により、前記所定の画像処理に従って補正されたライトフィールドデータを生成する制御工程と、
    を備え、
    前記逆変換の処理は、前記補正された画像データのピントの合っている領域に対して行うことを特徴とする制御方法。
16. 画像処理装置を制御するためのプログラムであり、
    コンピュータを、
    被写体の光学像を形成する撮像光学系の射出瞳の瞳分割機能を有する撮像手段で生成されたライトフィールドデータを取得する取得手段、
    色補正処理を含む所定の画像処理を画像データに行う画像処理手段、
    前記取得されたライトフィールドデータから生成される前記射出瞳の異なる領域に対応する複数の瞳分割画像データを合成パラメータに基づいて合成することで、仮想撮像面における前記画像データを生成する画像生成手段、及び
    前記画像処理手段を制御して、前記画像生成手段により生成された画像データに前記所定の画像処理を行って補正された画像データを生成し、該補正された画像データから前記合成パラメータに基づいて補正されたライトフィールドデータを生成する逆変換の処理により、前記所定の画像処理に従って補正されたライトフィールドデータを生成する制御手段、
    として機能させ、
    前記逆変換の処理は、前記補正された画像データのピントの合っている領域に対して行うことを特徴とするプログラム。
17. 請求項１６に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images