JP5463718B2

JP5463718B2 - 撮像装置

Info

Publication number: JP5463718B2
Application number: JP2009100187A
Authority: JP
Inventors: 健二山本; 功市村; 健吾早坂; 公一朗木島
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2009-04-16
Filing date: 2009-04-16
Publication date: 2014-04-09
Anticipated expiration: 2029-04-16
Also published as: US8237843B2; CN101867707B; JP2010252105A; US20100265381A1; CN101867707A

Description

本発明は、マイクロレンズアレイを用いた撮像装置に関する。

従来、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。

例えば、特許文献１および非特許文献１には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。この撮像装置は、撮像レンズと、マイクロレンズアレイと、撮像素子と、画像処理部とから構成され、撮像レンズには中央部に単一の開口を有する開口絞りが設けられている。このような構成により、撮像素子から得られる撮像データが、受光面における光の強度分布に加えてその光の進行方向の情報をも含むようになっている。そして画像処理部において、任意の視点や方向（以下、単に視野という）からの観察画像を再構築できるようになっている。

国際公開第０６／０３９４８６号パンフレット Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

ところで、上記マイクロレンズアレイには、複数のマイクロレンズが設けられており、各マイクロレンズに対して撮像素子の複数の画素が割り当てられるようになっている。そして上記手法を利用した場合には、再構築された画像の画素数は、マイクロレンズアレイにおけるマイクロレンズ数と等しくなる。これは、再構築画像の２次元座標の情報が、マイクロレンズアレイの座標で決まるためである。従って、再構成画像の２次元座標の画素数は、撮像素子の全画素数を各マイクロレンズに割り当てられる画素数で割った数となる。一方、各マイクロレンズに割り当てられる画素数は、光線の角度情報の分解能に等しく、再構築画像の任意の視野における分解能、すなわち、どれだけ多くの視点や方向から画像が再構築されているかを決定する。このため、任意の視野における分解能と２次元座標の画素数とはトレードオフの関係にある。

ここで、上記手法を利用した場合、撮像データが、光の強度分布に加えてその光の進行方向の情報をも含んでいるため、各光線を分離して記述することが重要である。ところが、この手法において、撮像素子上に結像する個々のマイクロレンズに対応する各像（メインレンズの開口絞りを投影した像；例えば円形像）は、メインレンズの開口絞りを通過した光線が撮像素子に向かって収束する際の主光線の角度により、その位置が変動する。つまり、各マイクロレンズによって生じる像は、各マイクロレンズとの位置関係が主光線角度によって異なり、マイクロレンズ間のピッチが受光画素のピッチの整数倍である場合には、受光画素との位置が変動する。そのため、上記手法に特有の画像であるリフォーカス画像や任意視点画像等の再構築画像を得ることができなくなってしまう場合があった。

本発明はかかる問題点に鑑みてなされたもので、その目的は、光の進行方向の情報を含むようにして撮像データを取得する場合において、適切な再構築画像の生成を可能とする撮像装置を提供することにある。

本発明の撮像装置は、開口絞りを有する撮像レンズと、受光した光に基づいて撮像データを取得する撮像素子と、撮像レンズと撮像素子との間において撮像レンズの焦点面上に配置されると共に、撮像素子の複数の撮像画素に対して１つのマイクロレンズが対応するように配列された複数のマイクロレンズを有するマイクロレンズアレイと、撮像素子から得られた撮像データに基づいて所定の画像処理を行うことにより、再構築画像を生成する画像処理部とを備えたものである。また、上記撮像素子上における撮像レンズによる像の像高の大きさに応じて、マイクロレンズアレイ内における各マイクロレンズが、等間隔位置から非線形に補正して配置されている。上記画像処理部は、撮像データに基づいて、マイクロレンズ単位で形成される画像領域同士で互いに同一の位置にある画素の画素データをそれぞれ抽出して合成することにより、上記再構築画像として、任意の視点からの観察画像に対応する複数の視差画像を生成すると共に、これら複数の視差画像間の位相差に基づいて撮像物体までの距離を算出する。

本発明の撮像装置では、撮像レンズによる撮像対象物の像は、マイクロレンズアレイ上に結像する。そしてこのマイクロレンズアレイへ入射した光線が撮像素子へ到達し、各マイクロレンズに対応する複数の撮像画素で受光されることにより、光の進行方向の情報を含んだ撮像データが得られる。ここで、撮像素子上における撮像レンズによる像の像高の大きさに応じて、マイクロレンズアレイ内における各マイクロレンズが等間隔位置から非線形に補正して配置されていることにより、例えば、撮像素子上へ到達する主光線の入射角度が像高の大きさに応じて非線形に変化するような場合（例えば、光学系が短焦点でありレンズが正弦条件を満たしていない撮像装置の場合）であっても、撮像素子により得られる撮像データにおいて、撮像素子の受光面における像高ずれの発生が回避され得る。

本発明の撮像装置によれば、撮像素子上における撮像レンズによる像の像高の大きさに応じて、マイクロレンズアレイ内における各マイクロレンズが等間隔位置から非線形に補正して配置されているようにしたので、撮像素子により得られる撮像データにおいて、撮像素子の受光面における像高ずれの発生を回避することができる。よって、そのような撮像データを用いて再構築画像を生成することにより、光の進行方向の情報を含むようにして撮像データを取得する場合において、適切な再構築画像の生成を可能とすることができる。

本発明の一実施の形態に係る撮像装置の全体構成を表す図である。図１に示した開口絞りの概略構成を表す平面図である。図１に示したマイクロレンズアレイの概略構成を表す平面図である。図１に示したマイクロレンズアレイの詳細構成例を表す平面図である。撮像素子の受光面上に配置されるカラーフィルタの概略構成を表す平面図である。図１に示した画像処理部の構成例を表す機能ブロック図である。マイクロレンズアレイおよび撮像素子における撮像パターンについて説明するための平面図である。画像処理部による画像処理の一例を説明するための模式斜視図である。画像処理部によるリフォーカス演算処理を説明するための模式断面図である。リフォーカス演算処理におけるリフォーカス面の設定位置の一例を表す模式断面図である。リフォーカス演算処理におけるリフォーカス面の設定位置の他の例を表す模式断面図である。図１０に示したリフォーカス演算処理の際の並び替え処理の一例を表す模式平面図である。図１１に示したリフォーカス演算処理の際の並び替え処理の他の例を表す模式平面図である。比較例に係る撮像装置における像高ずれについて説明するための図である。像高ずれの詳細および像高ずれ補正の概略について説明するための模式図である。図１５に示した像高ずれ補正の詳細（非線形補正）について説明するための模式図である。像高ずれと主光線角度との関係の一例（非線形特性）を表す特性図である。像高ずれとマイクロレンズの位置シフト量との関係の一例（非線形特性）を表す特性図である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．実施の形態（像高ずれに対するマイクロレンズ位置の非線形補正について）
２．変形例

＜１．実施の形態＞
［撮像装置の全体構成例］
図１は、本発明の一実施の形態に係る撮像装置（撮像装置１）の全体構成を表したものである。この撮像装置１は、被写体２を撮像して撮像データＤoutを出力するものであり、被写体２の側から、撮像レンズ１１と、開口絞り１０と、マイクロレンズアレイ１２と、撮像素子１３とを備えている。この撮像装置１はまた、画像処理部１４と、撮像素子駆動部１５と、制御部１６とを備えている。

撮像レンズ１１は、被写体を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成される。

開口絞り１０は、撮像レンズ１１の光学的な開口絞りである。この開口絞り１０は、例えば図２に示したように、その中央部に一つの円形の開口部１０Ａを有している。これにより、詳細は後述するが、開口絞り１０を通過した全ての光線が、その進行方向に関する情報を保持するようになっている。なお、開口絞り１０とマイクロレンズアレイ１２との間は、距離Ｌとなるように配置されている。

マイクロレンズアレイ１２は、例えば図３に示したように、複数のマイクロレンズ１２−１をマトリクス状に２次元配列（マイクロレンズ１２−１間のピッチ：ｐ１２）したものである。このマイクロレンズアレイ１２は、撮像レンズ１１の結像面上（図中の符号ｆ１は、撮像レンズ１１の焦点距離を表している）に配置されている。各マイクロレンズ１２−１は、その平面形状が円形となっており、固体レンズや液晶レンズ、液体レンズ、回折レンズなどにより構成される。

また、このマイクロレンズアレイ１２内では、例えば図４中の矢印で示したように、後述する撮像素子１３上における撮像レンズ１１による像の像高ｙの大きさに応じて、各マイクロレンズ１２−１が、等間隔位置から非線形に補正して配置されるようになっている。すなわち、上記した各マイクロレンズ１２−１間のピッチｐ１２は、マイクロレンズアレイ１２内の中心部から周辺部へ向けて非線形に変化する値となっている。また、詳細は後述するが、各マイクロレンズ１２−１における非線形配置の際の補正方向は、上記した像高ｙの大きさに応じた像高ずれ（後述する像高ずれ量＋Δ）が相殺される方向に設定されている。更に、各マイクロレンズ１２−１における非線形配置の際の補正量（後述する補正量（−Δ）の絶対値）の増加比率は、上記した像高ｙが大きくなるのに従って、徐々に減少するように設定されている。具体的には、この補正量（−Δ）の絶対値は、以下の（１１）式で表される。ここで、各マイクロレンズ１２−１の焦点距離をｆ２とし、開口絞り１０および各マイクロレンズ１２−１を介して撮像素子１３上へ到達する主光線（後述する主光線Ｌ０）の入射角度をθとしている。これにより、詳細は後述するが、撮像素子１３により得られる撮像データ（後述する撮像データＤ０）において、撮像素子１３の受光面（マイクロレンズアレイ１２側の面）における像高ずれの発生が回避されるようになっている。
Δ＝ｆ２×ｔａｎθ ……（１１）

撮像素子１３は、マイクロレンズアレイ１２からの光を受光して撮像データＤ０を取得するものであり、マイクロレンズアレイ１２の焦点面に配置されている。この撮像素子１３は、マトリクス状に２次元配列された複数のＣＣＤ（Charge Coupled Device；電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの２次元撮像素子などにより構成されている。

このような撮像素子１３の受光面（マイクロレンズアレイ１２側の面）には、Ｍ×Ｎ（Ｍ，Ｎ：整数）個の撮像画素（後述する画素Ｐ）が、マトリクス状に２次元配置されている。そして、複数の画素Ｐに対し、マイクロレンズアレイ１２内の１つのマイクロレンズ１２−１が割り当てられるようになっている。この受光面上の画素Ｐの個数は、例えば、Ｍ×Ｎ＝３７２０×２５２０＝９３７４４００個である。ここで、各マイクロレンズ１２−１に割り当てられる画素数（ｍ×ｎ）は、再構築画像の任意の視野での分解能と関連しているため、これらｍ，ｎの値が大きくなるに従って、再構築画像の任意の視野での分解能が高くなる。一方、（Ｍ／ｍ），（Ｎ／ｎ）は、再構築画像の画素数（解像度）と関連しているため、これら（Ｍ／ｍ），（Ｎ／ｎ）の値が大きくなるに従って、再構築画像の画素数が高くなる。したがって、再構築画像の任意の視野での分解能と画素数とはトレードオフの関係となっている。

撮像素子１３の受光面上には、例えば図５に示したようなカラーフィルタ１７が画素Ｐ単位で２次元配置されている（図１中には図示せず）。このカラーフィルタ１７は、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３原色のカラーフィルタ（赤色カラーフィルタ１７Ｒ、緑色カラーフィルタ１７Ｇおよび青色カラーフィルタ１７Ｂ）が、Ｒ：Ｇ：Ｂ＝１：２：１の比率で市松状に配置されたものである。すなわち、カラーフィルタ１７は、Ｂａｙｅｒ配列のカラーフィルタ（原色フィルタ）である。このようなカラーフィルタ１７が撮像素子１３の受光面上に設けられていることにより、撮像素子１３により得られた撮像データＤ０が、カラーフィルタ１７の色に対応した複数の色（この場合、３原色）の画素データ（カラーの画素データ）となる。

画像処理部１４は、撮像素子１３で得られた撮像データＤ０に対して後述する所定の画像処理（並び替え処理を含む画像処理）を施し、画像処理後の撮像データＤoutを出力するものである。具体的には、例えば「Light Field Photography」と呼ばれる手法を用いたリフォーカス（Refocusing）演算処理を行うことにより、例えば任意の焦点に設定した画像（撮像データＤoutに基づく再構築画像）を合成できるようになっている。なお、この画像処理部１４の詳細構成およびリフォーカス演算処理動作の詳細については、後述する。

撮像素子駆動部１５は、撮像素子１３を駆動してその受光動作の制御を行うものである。

制御部１６は、画像処理部１４および撮像素子駆動部１５の動作を制御するものであり、例えばマイクロコンピュータなどにより構成される。

［画像処理部の詳細構成例］
次に、図６を参照して画像処理部１４の詳細構成について説明する。図６は、画像処理部１４の機能ブロック構成を表したものである。

画像処理部１４は、欠陥補正部１４１と、クランプ処理部１４２と、補間処理部１４３と、並び替え処理部１４４と、ノイズ低減部１４５と、輪郭強調部１４６と、ホワイトバランス調整部１４７と、ガンマ補正部１４８とから構成されている。

欠陥補正部１４１は、撮像データＤ０に含まれる黒とび等の欠陥（撮像素子１３の素子自体の異常に起因した欠陥）を補正するものである。クランプ処理部１４２は、欠陥補正部１４１による欠陥補正後の撮像データにおいて、各画素データの黒レベルの設定処理（クランプ処理）を行うものである。

補間処理部１４３は、クランプ処理部１４２により供給される撮像データに対し、例えば、一般的なＢａｙｅｒ配列に対するデモザイク処理などの補間処理を施すことにより、補間処理後の撮像データＤ１を生成するものである。

並び替え処理部１４４は、補間処理部１４３により供給される撮像データＤ１に対して所定の並び替え処理（各画素データの並び替え処理）を施すことにより、撮像データＤ２を生成するものである。このような並び替え処理を行うことにより、例えば、前述した任意焦点に設定された再構築画像の合成が可能となっている。なお、並び替え処理部１４４による並び替え処理動作の詳細については、後述する。

ノイズ低減部１４５は、並び替え処理部１４４により供給される撮像データＤ２に含まれるノイズ（例えば、暗い場所や感度の足りない場所で撮像したときに発生するノイズ）を低減する処理を行うものである。輪郭強調部１４６は、ノイズ低減部１４５により供給される撮像データに対し、映像の輪郭を強調する輪郭強調処理を行うものである。

ホワイトバランス調整部１４７は、輪郭強調部１４６により供給される撮像データ（赤色画素データ、緑色画素データおよび青色画素データの個数がそれぞれ等しくなるように設定された撮像データ）に対し、以下の処理を行うものである。すなわち、カラーフィルタ１７の通過特性や、撮像素子１３の分光感度などのデバイスの個体差、照明条件などの影響に起因した色バランスの調整処理（ホワイトバランス調整処理）を行うようになっている。

ガンマ補正部１４８は、ホワイトバランス調整部１４７により供給される撮像データに対して所定のガンマ補正（明暗やコントラストの補正）を行うことにより、撮像データＤoutを生成するものである。

［撮像装置の作用・効果］
次に、本実施の形態の撮像装置１の作用および効果について詳細に説明する。

（基本動作）
この撮像装置１では、撮像レンズ１１による被写体２の像は、例えば図７（Ａ）に示したように、各マイクロレンズ１２−１の形状（円形状）に応じて、マイクロレンズアレイ１２上に結像する。そして、マイクロレンズアレイ１２への入射光線がこのマイクロレンズアレイ１２を介して撮像素子１３へ到達し、例えば図７（Ｂ）に示したように、開口絞り１０の円形状が投影された受光領域１３−１において受光がなされる。これにより、撮像素子１３において撮像データＤ０が取得される。このとき、マイクロレンズアレイ１２への入射光線は、その入射方向に応じて、撮像素子１３の異なる位置で受光される。具体的には、各マイクロレンズ１２−１に割り当てられた画素Ｐの位置により、光線の入射方向が決定される。なお、この各マイクロレンズ１２−１に割り当てられる画素Ｐが配置された領域（再構築画素領域１３Ｄ）が、再構築画像の一画素分に相当する。

次に、撮像素子１３で得られた撮像データＤ０は、画像処理部１４へ入力される。そして、画像処理部１４では、撮像データＤ０に対し、所定の画像処理（例えば、前述のリフォーカス演算処理）を施す。これにより、画像処理後の撮像データＤoutが、撮像装置１の出力データ（再構築画像の画像データ）として出力される。

（リフォーカス演算処理動作）
ここで、図８〜図１３を参照して、画像処理部１４による画像処理動作の一例（リフォーカス演算処理動作）について説明する。

まず、図８に示したように、撮像レンズ１１の撮像レンズ面上において直交座標系（ｕ，ｖ）を、撮像素子１３の撮像面上において直交座標系（ｘ，ｙ）をそれぞれ考え、撮像レンズ１１の撮像レンズ面と撮像素子１３の撮像面との距離をＦとする。すると、撮像レンズ１１および撮像素子１３を通る光線Ｌ１は、４次元関数Ｌ_F（ｘ，ｙ，ｕ，ｖ）で表されるため、光線の位置情報に加え、光線の進行方向が保持された状態で撮像素子１３に記録される。すなわち、各マイクロレンズ１２−１に割り当てられた複数の画素Ｐの配置により、光線の入射方向が決まる。

また、この場合において、図９に示したように、撮像レンズ面１１０、撮像面１３０およびリフォーカス面１２０間の位置関係を設定（Ｆ’＝αＦとなるようにリフォーカス面１２０を設定）する場合を考える。この場合、リフォーカス面１２０上の座標（ｓ，ｔ）の撮像面１３０上における検出強度Ｌ_F'は、以下の（１２）式のように表される。また、リフォーカス面１２０で得られるイメージＥ_F'（ｓ，ｔ）は、上記検出強度Ｌ_F'をレンズ口径に関して積分したものとなるため、以下の（１３）式のように表される。したがって、この（１３）式からリフォーカス演算を行うことにより、画像処理後の撮像データＤoutに基づいて、任意の焦点（リフォーカス面１２０）に設定した画像が再構築される。

具体的には、画像処理部１４では、図６に示したように、撮像素子１３により供給される撮像データＤ０に対し、欠陥補正部１４１において欠陥補正を行ったのち、クランプ処理部１４２においてクランプ処理を行い、次に補間処理部１４３において補間処理を行う。そののち、並び替え処理部１４４において画素データＤ１の並び替え処理を行うことより、撮像データＤ１から撮像データＤ２が生成される。

ここで、画像処理部１４によるリフォーカス演算処理では、撮影時の設定焦点位置（マイクロレンズアレイ１２の位置）よりも奥側（遠く）に焦点位置が再設定された再構築画像を生成する際には、以下のような並び替え処理を行う。具体的には、例えば図１０に示したような光線が選択的に抽出されるような、並び替え処理を行う。すなわち、撮影時の設定焦点位置よりも奥側に焦点位置が存在する被写体は、撮像レンズ１１とマイクロレンズアレイ１２との間で結像する。そのため、一旦集光した光線は再び離散し、その進行方向ごとに異なるマイクロレンズ１２−１を通過して撮像素子１３上に到達する。したがって、例えば図１２に示したように、互いに異なる複数の再構築画素領域１３Ｄからそのような光線に対応する画素データＤ１０が選択的に抽出されるように、各画素データの並び替え処理を行う。

一方、撮影時の設定焦点位置よりも手前側（近く）に焦点位置が再設定された再構築画像を生成する際には、以下のような並び替え処理を行う。具体的には、例えば図１１に示したような光線が選択的に抽出されるような、並び替え処理を行う。すなわち、撮影時の設定焦点位置よりも手前側に焦点位置が存在する被写体は、マイクロレンズアレイ１２よりも後方で結像する。そのため、撮像装置１内で結像することなく、進行方向ごとに異なるマイクロレンズ１２−１を通過して撮像素子１３上に到達する。したがって、例えば図１３に示したように、互いに異なる複数の再構築画素領域１３Ｄからそのような光線に対応する画素データＤ１０が選択的に抽出されるように、各画素データの並び替え処理を行う。

次に、このような並び替え処理後の撮像データＤ２に対し、更に、ノイズ低減部１４５においてノイズ低減処理を行ったのち、輪郭強調部１４６において輪郭強調処理を行い、次いでホワイトバランス調整部１４７において色バランス調整を行う。これにより、色バランス調整がなされた撮像データが得られる。そして、ホワイトバランス調整部１４７から供給された撮像データに対し、ガンマ補正部１４８においてガンマ補正が行われることにより、撮像データＤoutとして画像処理部１４から出力される。これにより、撮像データＤoutに基づいて、任意の焦点（リフォーカス面１２０）に設定した画像が再構築される。

（特徴的な作用）
次に、図１４〜図１８を参照して、撮像装置１の特徴的な作用について、比較例と比較しつつ詳細に説明する。ここで、図１４は、比較例に係る撮像装置（撮像装置１におけるマイクロレンズアレイ１２の代わりに、各マイクロレンズ１２−１の位置に対して前述の非線形補正がなされていないマイクロレンズアレイ１０２を設けたもの）の要部構成を表したものである。具体的には、このような比較例に係る撮像装置において、像高ずれが生ずる場合（像高ずれ量（＋Δ）＞０の場合）の撮像の様子を表したものである。

（比較例）
まず、例えば図１４に示したように、メインレンズである撮像レンズ１１の開口絞り１０を通過した光線の主光線Ｌ０が光軸に対して傾いているとき、この主光線Ｌ０の角度に依存して、図中の矢印で示したような像高ずれΔ（像高ずれ量：＋Δ）が生ずる。すなわち、各マイクロレンズ１２−１の形状（円形状）に応じて撮像素子１３上に結像する像（ユニット像）の位置が、図中の矢印で示したように、符号Ｐ１の位置から符号Ｐ２の位置へとシフトする。

具体的には、例えば図１５に示したように、撮像素子１３の受光面（マイクロレンズアレイ１２側の面）において、像高ずれ量（＋Δ）（点Ｐｄと点Ｐｅとの間の距離）による像高ずれが発生する（図中の破線の矢印参照）。この像高ずれ量（＋Δ）は、以下の（１４）式および（１５）式により表される。これらの式において、光軸と主光線Ｌ０との間の傾斜角をα、主光線Ｌ０が撮像素子１３上に結像する像高（点Ｐｃと点Ｐｅとの間の距離））をｙ、開口絞り１０とマイクロレンズアレイ１２との間の距離（点Ｐａと点Ｐｂとの間の距離）をＬとしている。また、各マイクロレンズ１２−１の焦点距離（点Ｐｂと点Ｐｃとの間の距離）をｆ２、開口絞り１０および各マイクロレンズ１２−１を介して撮像素子１３上へ到達する主光線Ｌ０の入射角度をθ（ここでは、θ＝α）としている。
ｔａｎα＝｛（ｙ−Δ）／Ｌ）｝＝（Δ／ｆ２） ……（１４）
Δ＝［｛（ｙ−Δ）×ｆ２｝／Ｌ］＝ｆ２×ｔａｎθ ……（１５）

このようにして、比較例に係る撮像装置では、撮像素子１３上に結像する各ユニット像の位置が、開口絞り１０を通過した光線が撮像素子１３に向かって収束する際の主光線Ｌ０の角度θ（α）により、変動している。そして、マイクロレンズアレイ１０２内の各マイクロレンズ１２−１の位置において、以下説明する本実施の形態のような非線形補正がなされていないため、上記（１５）式で表される像高ずれ量Δによる像高ずれが発生してしまっている。言い換えると、前述したように、撮像素子１３により得られる撮像データＤ０が、光の強度分布に加えてその光の進行方向の情報を含んでいる場合であっても、各マイクロレンズ１２−１のユニット像の位置が、撮像素子１３の画素Ｐとずれてしまう。このため、画像処理部１４において、リフォーカス画像や任意視点画像等の再構築画像が得られなくなってしまう場合が生じる。

（本実施の形態）
これに対し、本実施の形態の撮像装置１では、例えば図４および図１５に示したように、撮像素子１３上における撮像レンズ１１による像の像高ｙの大きさに応じて、マイクロレンズアレイ１２内における各マイクロレンズ１２−１が、等間隔位置から補正して配置されている。具体的には、図１５中の実線の矢印で示したように、マイクロレンズ１２−１の位置が、像高ｙの大きさに応じた像高ずれΔが相殺される方向となるよう、点Ｐｆ０から点Ｐｆへと補正配置されている（補正量：−Δ）。これにより、撮像素子１３により得られる撮像データＤ０において、撮像素子１３の受光面（マイクロレンズアレイ１２側の面）における像高ずれ（像高ずれ量（＋Δ）による像高ずれ）の発生が回避される。

ただし、例えば図１５および図１６（Ａ）に示したように、撮像素子１３上へ到達する主光線Ｌ０の入射角度θが像高ｙの大きさに応じて線形に変化するような場合（θ＝αの場合；例えば、光学系が小さな撮像装置の場合）だけでなく、以下のような場合もある。すなわち、例えば図１６（Ｂ）および図１７に示したように、主光線Ｌ０の入射角度θが像高ｙの大きさに応じて非線形に変化するような場合（必ずしもθ＝αではない場合；例えば、光学系が短焦点でありレンズが正弦条件を満たしていない撮像装置の場合）もある。具体的には、図１７では、像高ｙが大きくなるのに従って、主光線角度θが線形には変化せずにその増加比率が徐々に減少するようになっており（図中の矢印参照）、それに伴ってθ＜αとなっている。

そこで、この撮像装置１では、例えば図４および図１６（Ｂ）に示したように、撮像素子１３上における撮像レンズ１１による像の像高ｙの大きさに応じて、各マイクロレンズ１２−１が、等間隔位置から非線形に補正して配置されている。具体的には、例えば図１８中の矢印および前述の（１１）式で示したように、各マイクロレンズ１２−１における非線形配置の際の補正量（補正量（−Δ）の絶対値）の増加比率は、像高ｙが大きくなるのに従って、徐々に減少するように設定されている。これにより、例えば図１６（Ｂ）および図１７に示した場合（主光線角度θが像高ｙの大きさに応じて非線形に変化するような場合）であっても、撮像素子１３により得られる撮像データＤ０において、撮像素子１３の受光面における像高ずれの発生が回避される。

以上のように本実施の形態では、撮像素子１３上における撮像レンズ１１による像の像高ｙの大きさに応じて、マイクロレンズアレイ１２内における各マイクロレンズ１２−１が等間隔位置から非線形に補正して配置されているようにしたので、撮像素子１３により得られる撮像データＤ０において、撮像素子１３の受光面における像高ずれの発生を回避することができる。よって、そのような撮像データＤ０を用いて画像処理部１４により再構築画像を生成するようにすれば、光の進行方向の情報を含むようにして撮像データを取得する場合において、適切な再構築画像の生成を可能とすることができる。

また、例えば、像高補正を行う像高補正部を画像処理部１４内に設ける必要がなく、各マイクロレンズ１２−１の位置の設定のみによって実現することができるため、マイクロレンズアレイ１２のピッチ設計時に想定した開口絞り１０の位置が変位しない限り、簡易に適切な再構築画像の生成を可能とすることができる。

＜２．変形例＞
以上、実施の形態を挙げて本発明を説明したが、本発明はこの実施の形態に限定されるものではなく、種々の変形が可能である。

例えば、上記実施の形態では、画像処理部１４を撮像装置の構成要素の一つとして説明したが、必ずしもこの画像処理部が撮像装置の内部に設けられている必要はない。具体的には、画像処理部を、撮像装置とは別の装置、例えばＰＣ（Personal Computer：パーソナルコンピュータ）などに設けておき、撮像装置で得られた撮像データをＰＣへ転送し、ＰＣにおいて画像処理を施すようにすることも可能である。

また、上記実施の形態では、開口絞り１０の位置を撮像レンズの像側（出射側）に配置した構成としているが、これに限定されず、撮像レンズの被写体側（入射側）あるいは、撮像レンズ内部に設けられた構成であってもよい。

更に、上記実施の形態では、カラーフィルタの一例として、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３原色のカラーフィルタがＲ：Ｇ：Ｂ＝１：２：１の比率で市松状に配置されたＢａｙｅｒ配列のカラーフィルタを挙げて説明したが、これには限らない。すなわち、例えば補色フィルタなどの他の配列のカラーフィルタを用いるようにしてもよい。このような補色フィルタとしては、例えば、黄（Ｙ）、マゼンダ（Ｍ）、シアン（Ｃ）および緑（Ｇ）の４補色のカラーフィルタが、Ｙ：Ｍ：Ｃ：Ｇ＝１：１：１：１の比率で市松状に配置されたものが挙げられる。

加えて、上記実施の形態では、撮像データ内の画素データの補間処理の一例としてデモザイク処理を挙げて説明したが、他の補間処理を行うようにしてもよい。

加えてまた、上記実施の形態では、画像処理部１４において行われる並び替え処理を含む画像処理の一例として、「Light Field Photography」を利用したリフォーカス演算処理について説明したが、並び替え処理を含む画像処理としてはこれには限られない。すなわち、例えば、焦点ぼかし処理や被写体深度調整処理などに対して適用するようにしてもよい。また、例えば、マイクロレンズ単位で形成される画像領域同士で互いに同一の位置にある画素の画素データをそれぞれ抽出して合成することにより、複数の任意視点画像を生成するようにしてもよい。このような複数の視差画像を用いることにより、それら複数の視差画像間の位相差に基づいて撮像物体までの距離を算出したり、複数の視差画像を表示することで立体視を実現したりすることが可能となる。

１…撮像装置、１０…開口絞り、１０Ａ…開口部、１１…撮像レンズ、１１０…撮像レンズ面、１２…マイクロレンズアレイ、１２−１…マイクロレンズ、１２０，１２０Ａ，１２０Ｂ…リフォーカス面、１３…撮像素子、１３Ｄ…再構築画素領域、１３−１…受光領域、１３０…撮像面、１４…画像処理部、１４１…欠陥補正部、１４２…クランプ処理部、１４３…補間処理部、１４４…並び替え処理部、１４５…ノイズ低減部、１４６…輪郭強調部、１４７…ホワイトバランス調整部、１４８…ガンマ補正部、１５…撮像素子駆動部、１６…制御部、１７，１７Ｒ，１７Ｇ，１７Ｂ…カラーフィルタ、２…撮像対象物（被写体）、ｆ１，ｆ２…焦点距離、Ｌ…開口絞りとマイクロレンズアレイとの間の距離、Ｐ…画素、Ｐ０…主点、ｐ１２…マイクロレンズのピッチ、ｓ…画素の一辺の画素サイズ、ｙ…（撮像素子上の）像高、Δ（＋Δ）…像高ずれ量、−Δ…マイクロレンズの位置シフト量、Ｄ０，Ｄ１，Ｄ１０，Ｄ２，Ｄ３，Ｄout…撮像データ、Ｓout…制御信号、Ｌ０…主光線。

Claims

開口絞りを有する撮像レンズと、
受光した光に基づいて撮像データを取得する撮像素子と、
前記撮像レンズと前記撮像素子との間において撮像レンズの焦点面上に配置されると共に、前記撮像素子の複数の撮像画素に対して１つのマイクロレンズが対応するように配列された複数のマイクロレンズを有するマイクロレンズアレイと、
前記撮像素子から得られた撮像データに基づいて所定の画像処理を行うことにより、再構築画像を生成する画像処理部と
を備え、
前記撮像素子上における前記撮像レンズによる像の像高の大きさに応じて、前記マイクロレンズアレイ内における各マイクロレンズが、等間隔位置から非線形に補正して配置されており、
前記画像処理部は、
前記撮像データに基づいて、前記マイクロレンズ単位で形成される画像領域同士で互いに同一の位置にある画素の画素データをそれぞれ抽出して合成することにより、前記再構築画像として、任意の視点からの観察画像に対応する複数の視差画像を生成すると共に、
前記複数の視差画像間の位相差に基づいて撮像物体までの距離を算出する
撮像装置。
各マイクロレンズにおける非線形配置の際の補正方向は、前記像高の大きさに応じた像高ずれが相殺される方向に設定されている
請求項１に記載の撮像装置。
各マイクロレンズにおける非線形配置の際の補正量の増加比率は、前記像高が大きくなるのに従って、徐々に減少するように設定されている
請求項２に記載の撮像装置。
各マイクロレンズの焦点距離をｆ２、前記開口絞りおよび各マイクロレンズを介して前記撮像素子上へ到達する主光線の入射角度をθ、各マイクロレンズにおける非線形配置の際の補正量をΔとしたとき、以下の式を満たす
Δ＝ｆ２×ｔａｎθ
請求項３に記載の撮像装置。
前記画像処理部は、前記撮像データに基づいて、任意の焦点に設定された再構築画像であるリフォーカス画像を生成する機能も有する
請求項１ないし請求項４のいずれか１項に記載の撮像装置。