JP5472584B2 - 撮像装置 - Google Patents

Description

本発明は、マイクロレンズを用いた撮像装置に関する。

従来、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。

例えば、特許文献１および非特許文献１には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。この撮像装置では、撮像レンズによる撮像対象物の結像面にマイクロレンズアレイが配置され、更にこのマイクロレンズアレイの焦点位置に撮像素子が設けられた構成となっている。これにより、撮像対象物からの光線は、撮像素子において強度分布だけでなく進行方向についての情報をも保持した光線ベクトルとして取得される。このため、撮像素子において取得された撮像データは、視差についての情報を含んでおり、所定の画像処理が施されることによって、例えば３次元表示や距離情報抽出への応用が可能である。

国際公開第０６／０３９４８６号パンフレット

Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

ここで、上記手法を用いて取得した撮像データに基づいて、例えば３次元表示用の視差画像を生成した場合、この視差画像の画素数（２次元解像度）は、マイクロレンズアレイのレンズ数と等しくなる。言い換えると、視差画像の画素数は、撮像素子の全画素数を各マイクロレンズに割り当てられる画素数で割った数値となる。このため、上記のような視差画像を生成すべくマイクロレンズアレイを用いた撮像装置では、最終的に得られる視差画像の解像度が、マイクロレンズ数の制約を受けて低くなり易い。

本発明はかかる問題点に鑑みてなされたもので、その目的は、見かけの解像度の低下を抑制しつつ視差情報を取得することが可能な撮像装置を提供することにある。

本発明の撮像装置は、開口絞りを有する撮像レンズと、複数の画素が横方向および縦方向からそれぞれ４５°回転した２方向に沿って、全体としてマトリクス状に配列されてなると共に、複数の画素において受光した光に基づいて撮像データを取得する撮像素子と、撮像レンズと撮像素子との間に、撮像素子のｍ×ｍ（ｍは２以上の整数）の画素からなる画素領域に対して１つのマイクロレンズが割り当てられるように配置されたマイクロレンズアレイと、撮像素子で取得された撮像データに基づいて画像処理を行う画像処理部とを備えたものである。画像処理部は、各画素領域のうち縦方向または横方向に沿って配置された２画素から得られる画素データを用いて、左右もしくは上下の視差画像を生成する。

本発明の撮像装置では、撮像レンズと撮像素子との間に、一つのマイクロレンズに撮像素子のｍ×ｍ（ｍは２以上の整数）の画素が割り当てられたマイクロレンズアレイが配置されている。これにより、各マイクロレンズを通過した光線は、撮像素子において、光線の強度分布に加えて進行方向の情報をも保持して受光される。ここで、撮像素子において、複数の画素が横および縦方向に対して４５°をなす２方向に沿って全体としてマトリクス状に配列していることにより、横および縦方向における画素ピッチは、画素の一辺の長さよりも短くなる。このため、上記のような画素配列により、横および縦方向を基準にした場合、同一サイズの画素を横および縦方向に沿って２次元配列させた場合に比べ、画素ピッチが狭くなる。

本発明の撮像装置によれば、撮像レンズと撮像素子との間にマイクロレンズアレイを設け、各マイクロレンズにｍ×ｍ（ｍは２以上の整数）の画素を割り当てるようにしたので、撮像対象物からの光線を互いに視点の異なる光線ベクトルとして受光することができる。ここで、撮像素子の複数の画素を、横および縦方向とそれぞれ４５°をなす２方向に沿って、全体としてマトリクス状に配列させるようにしたので、同一サイズの画素を横、縦方向に沿って配列させた場合に比べ、画素ピッチを狭くすることができる。一般に、画像の解像度は、斜め方向よりも横および縦方向において人間の眼によって認識され易いため、上記のような画素配列とすることで、見かけの解像度を向上させることができる。よって、見かけの解像度の低下を抑制しつつ視差情報を取得することが可能となる。

また、画像処理部を設け、上記撮像データに基づいて、各マイクロレンズに割り当てられた４つの画素のうち、互いに同一の位置の画素から抽出された画素データを合成すれば、左右もしくは上下の視差画像を生成することができる。このような視差画像は、例えばステレオ方式による３次元表示に適用可能である。

本発明の第１の実施の形態に係る撮像装置の全体構成を表す図である。 図１に示した撮像素子の画素配列を説明するための平面図である。 図１に示した撮像素子上のカラーフィルタの平面構成を表す模式図である。 撮像素子上で受光される光線について説明するための図である。 図１に示した画像処理部の構成を表す機能ブロック図である。 カラー補間処理動作の一例を説明するための概念図である。 比較例に係る撮像素子の画素配列を説明するための平面図である。 図１に示した撮像素子における読み出し動作を説明するための概念図である。 変形例１に係るカラーフィルタの平面構成を表す模式図である。 変形例２に係るカラーフィルタの平面構成を表す模式図である。 変形例３に係るカラーフィルタの平面構成を表す模式図である。 本発明の第２の実施の形態に係るカラーフィルタの平面構成を表す模式図である。 カラー補間処理動作の一例を表す概念図である。 図１２に示した撮像素子における読み出し動作を説明するための概念図である。 変形例４に係るカラーフィルタの平面構成を表す模式図である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

＜第１の実施の形態＞
（撮像装置の構成例）
図１は、本発明の第１の実施の形態に係る撮像装置１の全体構成を表すものである。撮像装置１は、撮像対象物２を撮像して、所定の画像処理を施すことにより、画像データＤoutを出力するものである。この撮像装置１は、撮像レンズ１１と、マイクロレンズアレイ１２と、撮像素子１３と、画像処理部１４と、撮像素子駆動部１５と、制御部１６とから構成されている。

撮像レンズ１１は、撮像対象物２を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成されている。この撮像レンズ１１の光入射側または光出射側には、開口絞りが配設されている。この開口絞りの開口形状（例えば円形状）に相似形となる撮像対象物２の像が、撮像素子１３上に、マイクロレンズアレイ１２の各マイクロレンズの結像領域（後述）ごとに形成される。

マイクロレンズアレイ１２は、例えばガラスなどの基板上に複数のマイクロレンズが形成されたものである。マイクロレンズアレイ１２は、撮像レンズ１１の焦点面（結像面）に配置され、このマイクロレンズの焦点位置に撮像素子１３が配設されている。各マイクロレンズ１２Ａは、例えば固体レンズや液晶レンズ、回折レンズなどにより構成されている。詳細は後述するが、このマイクロレンズアレイ１２におけるマイクロレンズの２次元配列は、撮像素子１３における画素配列に対応している。

撮像素子１３は、マイクロレンズアレイ１２からの光線を受光して撮像データＤ０を取得するものである。この撮像素子１３は、複数の画素がマトリクス状に配列してなり、各画素は、ＣＣＤ（Charge Coupled Device：電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの２次元固体撮像素子により構成されている。

上記複数の画素のうち、ｍ×ｎ個（ここでは、２×２＝４個）の画素に、上記マイクロレンズアレイ１２における一つのマイクロレンズが割り当てられている。すなわち、各マイクロレンズを通過した光線は、撮像素子１３の２×２個の画素で受光されるようになっている。なお、一つのマイクロレンズに割り当てられる画素数ｍ×ｎの値が大きくなるに従って、例えば後述する視差画像における角度分解能（視点の数）が高くなる。一方、画素数ｍ×ｎの値が小さくなるに従って、視差画像における２次元解像度が高くなる。このように、視差画像の角度分解能と２次元解像度とはトレードオフの関係にある。

この撮像素子１３の受光面上には、画素の配列に対応して複数色のフィルタが規則的に配列してなるカラーフィルタ（図１には図示せず）が設けられている。このようなカラーフィルタとしては、例えば、赤（Ｒ：Red）、緑（Ｇ：Green）および青（Ｂ：Blue）の原色のフィルタが所定の比率で配列されたものが用いられる。この各色フィルタの配列を含めた撮像素子１３の具体的な平面構成については後述する。

画像処理部１４は、視差画像生成部１４３（詳細は後述）を備え、撮像素子１３で得られた撮像データＤ０に対して、所定の画像処理を施し、例えば視差画像としての画像データＤoutを出力するものである。この画像処理部１４の具体的な画像処理動作については
後述する。

撮像素子駆動部１５は、撮像素子１３を駆動してその受光動作の制御を行うものである。

制御部１６は、画像処理部１４および撮像素子駆動部１５の動作を制御するものであり、例えばマイクロコンピュータなどにより構成されている。

（撮像装置における画素配列例）
ここで、図２を参照して、撮像素子１３における画素配列について説明する。但し、図２では、簡便化のため、一つのマイクロレンズに割り当てられる２×２個の画素Ｐについてのみ示している。また、水平方向Ａ（横方向）および垂直方向Ｂ（縦方向）は、撮像データＤoutに基づく画
像の視認時における水平および垂直方向である。

撮像素子１３は、水平方向Ａおよび垂直方向Ｂのそれぞれに対して斜めとなる２方向、例えば４５°をなす方向Ｃ，Ｄに沿って、一辺の長さａの正方形状の画素Ｐが２次元配列（以下、単に斜め配列という）したものである。言い換えると、水平方向Ａおよび垂直方向Ｂに沿って格子状に配列（正方配列）した複数の画素Ｐを、受光面内において所定の角度、例えば４５°回転した状態で配設したものである。このような撮像素子１３における斜め配列に対応して、上記マイクロレンズアレイ１２についても、水平方向Ａおよび垂直方向Ｂに対して例えば４５°回転した２方向に沿ってマイクロレンズが２次元配列した平面構成となる。

このような撮像素子１３の受光面側には、上述したようにカラーフィルタが配設されるが、このカラーフィルタは例えば次のような色配列で構成されている。図３に、撮像素子１３上のカラーフィルタ１３０の平面構成を模式的に示す。なお、図３には、マイクロレンズごとに２×２の画素領域に結像する単位結像領域１２Ｄも模式的に示している。

カラーフィルタ１３０は、２×２の画素領域ごとに色分けされており、例えば赤色フィルタ１３０Ｒ，緑色フィルタ１３０Ｇおよび青色フィルタ１３０Ｂの原色フィルタにより構成されている。これらの赤色フィルタ１３０Ｒ，緑色フィルタ１３０Ｇおよび青色フィルタ１３０Ｂは、画素Ｐの斜め配列に対応して、水平方向Ａおよび垂直方向Ｂからそれぞれ４５°回転した２方向に沿って２次元配置されている。本実施の形態では、各色のうち、緑色フィルタ１３０Ｇが最も多く、例えばＲ：Ｇ：Ｂ＝１：６：１の比率で配置されている。具体的には、赤色フィルタ１３０Ｒおよび青色フィルタ１３０Ｂのそれぞれを９つの緑色フィルタ１３０Ｇが取り囲むような配列となっており、図３中の２点鎖線で囲った領域が単位配列Ｕ１となっている。

次に、上記のような撮像装置１の作用、効果について図面を参照して説明する。

（撮像動作）
まず、図１〜図４を参照して、撮像装置１における撮像動作について説明する。撮像装置１では、撮像レンズ１１による撮像対象物２の像は、マイクロレンズアレイ１２を介して撮像素子１３上に結像する。このとき、マイクロレンズアレイ１２の一つのマイクロレンズに対して、例えば２×２＝４個の画素が割り当てられていることにより、撮像素子１３では、図３に示したように、撮像対象物２の像として単位結像領域１２Ｄが２×２の画素領域ごとに形成される。

このようにして撮像素子１３で受光がなされると、撮像素子駆動部１５による駆動動作に従って撮像データＤ０が取得される。ここで、図４を参照して、撮像素子１３において取得される撮像データＤ０に含まれる情報について説明する。図４は、撮像素子１３における受光光線について模式的に表したものである。このように、撮像レンズ１１のレンズ面上において直交座標系（ｕ，ｖ）を、撮像素子１３の撮像面上において直交座標系（ｘ，ｙ）をそれぞれ考えると、撮像レンズ１１および撮像素子１３を通る光線Ｌ１は、４次元関数Ｌ_F（ｘ，ｙ，ｕ，ｖ）で表される。すなわち、撮像対象物２からの光線は、光線の強度分布に加え進行方向についての情報が保持された光線ベクトルとして撮像素子１３に記録される。

また、本実施の形態では、撮像素子１３の受光面側に、各マイクロレンズに割り当てられた画素単位、すなわち２×２＝４個の画素ごとに色分けされたカラーフィルタ１３０が配置されている。このため、撮像データＤ０は、カラーフィルタ１３０の赤色フィルタ１３０Ｒ，緑色フィルタ１３０Ｇおよび青色フィルタ１３０Ｂの配列に対応してカラーの撮像データとして取得される。このようにして得られた撮像データＤ０は、画像処理部１４へ出力される。

（画像処理動作）
続いて、図５および図６を参照して、撮像装置１における画像処理動作について説明する。上記のような撮像データＤ０が画像処理部１４へ入力されると、画像処理部１４では、撮像データＤ０に対して所定の画像処理が施され、視差画像としての画像データＤoutが出力される。図５は、画像処理部１４の全体構成を表す機能ブロック図である。画像処理部１４は、例えば、欠陥検出部１４１、クランプ処理部１４２、視差画像生成部１４３、欠陥補正処理部１４４、カラー補間処理部１４５、ノイズ低減処理部１４６、輪郭強調処理部１４７、ホワイトバランス調整処理部１４８およびガンマ補正処理部１４９から構成されている。

画像処理部１４では、入力された撮像データＤ０に対し、まず、欠陥検出部１４１が撮像データＤ０に含まれる黒とび等の欠陥（撮像素子１３の素子自体の異常に起因した欠陥）を検出する。続いて、クランプ処理部１４２が、欠陥検出部１４１によって欠陥検出がなされた撮像データに対し、黒レベルの設定処理（クランプ処理）を行う。これにより、撮像データＤ１が得られ、視差画像生成部１４３へ出力される。

視差画像生成部１４３は、撮像データＤ１に基づいて、互いに視点の異なる複数の視差画像を生成する。上述したように、撮像データＤ１では、単位結像領域１２Ｄごとに、光線の強度分布に加えて進行方向の情報をも含んでいるため、各光線を分離して検出することができる。具体的には、撮像データＤ１において、単位結像領域１２Ｄごとに、互いに同一の位置の画素における画素データをそれぞれ抽出し、これら抽出した画素データ同士（図３に示した同一の番号が付された画素の画素データ同士）を合成する。これにより、視差画像としての画像データＤ２が得られる。得られた画像データＤ２は、欠陥補正処理部１４４へ出力される。

但し、このとき、一つのマイクロレンズに割り当てられた画素数（ここでは２×２＝４個）が、位相差の異なる視点の数となる。よって、上記抽出動作および合成動作により、計４つの視点、具体的には左方向（図３中の番号２に対応）、右方向（図３中の番号３に対応）、上方向（図３中の番号１に対応）および下方向（図３中の番号４に対応）の各視点における視差画像が生成される。

欠陥補正処理部１４４は、画像データＤ２の欠陥（前段の欠陥検出部１４１で検出された欠陥）を例えば周辺画素を用いた補間により補正する。

カラー補間処理部１４５は、欠陥補正処理後の画像データＤ２に対して、例えばデモザイク処理などのカラー補間処理を施し、３原色のカラー画像を生成する。ここで、図６（Ａ）〜（Ｄ）を参照して、カラー補間処理部１４５におけるカラー補間処理動作について説明する。図６（Ａ）は、視差画像生成部１４３により得られた画像データＤ２のうち、上方向（図３中の番号１）の視差画像データＤ２１について模式的に示したものである。なお、簡便化のため、カラーフィルタ１３０の単位配列Ｕ１に対応する部分のみ示している。

ここで、上述したように、撮像素子１３で取得された撮像データＤ０（またはクランプ処理後の撮像データＤ１）は、カラーフィルタ１３０の色配列に対応して、単位結像領域１２Ｄごとに色分けされている。このため、図６（Ａ）に示したように、単位結像領域Ｕ１ごとに同一の位置にある画素（例えば番号１の画素）からそれぞれ抽出した画素データ同士を合成して生成した視差画像データＤ２１の色配列についても、カラーフィルタ１３０と同一となる。他の位置にある画素（例えば番号２〜３の画素）からそれぞれ抽出した画素データ同士を合成した場合も同様である。

このような視差画像データＤ２１に対し、Ｒ，Ｇ，Ｂごとにそれぞれ補間処理を施すことにより、図６（Ｂ）〜（Ｄ）に示したように、赤色の視差画像データＤ３１Ｒ、緑色の視差画像データＤ３１Ｇおよび青色の視差画像データＤ３１Ｂが得られる。得られた各色の視差画像データＤ３１Ｒ，Ｄ３１Ｇ，Ｄ３１Ｂは、画像データＤ３として、ノイズ低減処理部１４６へ出力される。

ノイズ低減処理部１４６は、画像データＤ３に含まれるノイズ（例えば、暗い場所や感度の足りない場所で撮像したときに発生するノイズ）を低減する処理を施す。続いて、ノイズ低減処理部１４６によるノイズ低減処理後の画像データに対し、輪郭強調処理部１４７が画像の輪郭を強調する輪郭強調処理、ホワイトバランス調整処理部１４８がホワイトバランス調整処理、ガンマ補正処理部１４９がガンマ補正処理を順次施す。これにより、視差画像としての画像データＤoutが得られる。なお、ホワイトバランス調整処理部１４８におけるホワイトバランス調整処理は、カラーフィルタ１３０の通過特性や撮像素子１３の分光感度などのデバイスの個体差や照明条件などの影響に起因した色バランスを調整する処理である。また、ガンマ補正処理部１４９におけるガンマ補正処理は、明暗やコントラストを補正する処理である。

上記のようにして、画像処理部１４から、視差画像としての画像データＤoutが出力される。

（撮像素子１３における画素配列の作用、効果）
ところで、上記撮像装置１では、図２に示したように、撮像素子１３における画素Ｐの配列が、水平方向Ａおよび垂直方向Ｂからそれぞれ４５°回転した２方向Ｃ，Ｄに沿って配置された斜め配列となっている。ここで、図７に、比較例として、一辺の長さａの正方形状の画素Ｐ１００を水平方向Ａおよび垂直方向Ｂに沿って２次元配置させた画素配列について示す。この比較例に係る画素配列では、画素Ｐ１００のピッチｄ１が、画素Ｐ１００の一辺の長さａと等しくなる（ｄ１＝ａ）。但し、ピッチｄ１は、隣り合う画素Ｐ１００の中心Ｍ１同士の間の水平方向Ａおよび垂直方向Ｂにおける距離とする。

一方、本実施の形態では、上記比較例に係る画素Ｐ１００と画素サイズそのものは同一であるが、水平方向Ａおよび垂直方向Ｂを基準にした場合、画素Ｐのピッチｄは、上記比較例の場合の１／√２倍に縮小される。これにより、水平方向Ａおよび垂直方向Ｂにおける画素ピッチが狭くなる（ｄ＜ｄ１）。但し、ピッチｄは、隣り合う画素Ｐの中心Ｍ同士の間の水平方向Ａおよび垂直方向Ｂにおける距離とする。

以上のように、本実施の形態では、撮像レンズ１１と撮像素子１３との間に、各マイクロレンズに２×２個の画素を割り当てたマイクロレンズアレイ１２を配置したので、撮像対象物２の光線を、互いに視点の異なる光線ベクトルとして受光することができる。また、撮像素子１３における画素Ｐの配列を、上述したような斜め配列としたことで、同一サイズの画素を水平方向Ａおよび垂直方向Ｂに沿って２次元配列した場合と比べ、水平方向Ａおよび垂直方向Ｂにおける画素ピッチを狭くすることができる。ここで、一般に、画像の解像度は、斜め方向よりも水平、垂直方向において人間の眼によって認識され易いため、本実施の形態のような斜め配列とすることで、正方配列とする場合に比べ、見かけの画素数（２次元解像度）を向上させることができる。よって、見かけの解像度の低下を抑制しつつ、視差についての情報を取得することが可能となる。

また、撮像素子１３の受光面側にカラーフィルタ１３０を設け、このカラーフィルタ１３０が緑色フィルタ１３０Ｇを最も多く含むようにしている。このように、人間の眼にとって最も感度の高い緑色を多く配置することで、見かけの解像度を高めることができる。特に本実施の形態では、撮像素子１３における画素Ｐの配列を上記のような斜め配列とすることで、赤色フィルタ１３０Ｒおよび青色フィルタ１３０Ｂを取り囲むように緑色フィルタ１３０Ｇを配置することができる。すなわち、一般的なベイヤー配列（Ｒ：Ｇ：Ｂ＝１：２：１）よりも、緑色の比率が大きいＲ：Ｇ：Ｂ＝１：６：１の比率で単位配列Ｕ１を形成することができる。よって、上記撮像素子１３における斜め配列によって、見かけの解像度を高め易くなる。

また、斜め配列において、画素サイズ（画素面積）を拡大することも可能である。撮像素子１３自体のサイズが同じである場合には、画素サイズを拡大した分、実画素数は少なくなるものの、上述した斜め配列による効果と、画素面積の拡大によって感度が向上することにより、見かけの解像度を高めることができる。例えば、図２において、画素Ｐの一辺の長さａを例えば√２ａに拡大した場合、画素Ｐのピッチｄはａに等しくなり、画素面積は２倍となる。

更に、上記のようにして取得した視差画像としての画像データＤ３は、例えばステレオ方式の３次元画像表示に好適に用いられる。ここで、一般的なステレオ方式の３次元画像表示は、例えば次のようにして実現される。例えば、人間の眼に相当する２台のカメラで撮影した左眼用および右眼用の２枚の画像（２枚の視差画像）を、２台のプロジェクタを用いてスクリーン上に同時に投影し、このスクリーン上の映像を視聴者が偏光眼鏡をかけて観ることにより実現される。このとき、２台のプロジェクタには、左眼用および右眼用の各投射光として互いに直交する偏光が用いられ、偏光眼鏡として、左眼と右眼とにおいて互いに直交する偏光のみをそれぞれ透過するものが用いられる。これにより、左眼用の画像を左眼、右眼用の画像を右眼でそれぞれ観察することにより、観察者には、奥行き感のある立体画像として認識される。

本実施の形態で得られた視差画像を、このようなステレオ方式の３次元表示に用いる場合には、左右２枚の視差画像を生成し、生成した視差画像を上記のようなプロジェクタを用いてスクリーン上に投影し、これを偏光眼鏡で観察することで実現できる。このように、左眼用および右眼用の視差画像を、２台のカメラを用いることなく取得することができる。またこのとき、上述したように各視差画像では解像度の低下も少ない。よって、簡易な構成で十分な表示品質を有する３次元表示システムを実現することができる。

また、このようなステレオ方式の３次元表示用途として、左右（または上下）における２つの視差画像を生成する場合には、本実施の形態のように、レンズ割り当て画素数を２×２とすることにより、正方配列に比べ、画素データを高速に読み出すことが可能となる。以下、図８（Ａ）〜（Ｃ）を参照してその理由について説明する。図８（Ａ）は斜め配列の場合の読み出しについての説明図、図８（Ｂ）は、比較例として正方配列の場合の読み出しについての説明図である。２×２のレンズ割り当て画素には、便宜上１〜４の番号を付す。

図８（Ｂ）に示した正方配列の場合には、光軸対称となる左右の視差画像を得るために、上下の画素間、即ち図８（Ｂ）中の１と３同士および２と４同士）を積分して視差画像を生成する。このため、レンズ割り当て画素１〜４の全てのデータを読み出す必要があり、レンズごとに２つの読み出しライン（Ｒｂ１，Ｒｂ２）を要する。これに対し、図８（Ａ）に示した斜め配列の場合には、図８（Ａ）中の画素２，３のデータをレンズごとに読み出すことにより、光軸対称となる左右の視差画像を生成することができる。即ち、レンズ割り当て画素を２×２とする斜め配列では、レンズごとに１つの読み出しライン（Ｒａ）において読み出しを行えばよく、これにより、正方配列に比べ高速に画素データを読み出すことが可能となる。また、斜め配列の場合には、積分処理が不要であるため、被写界深度の深い視差画像を得ることができる。ここでは、左右の視差画像を例に挙げて説明したが、上下２つの視差画像を生成する場合についても同様である。この場合には、画素１，４のデータを、レンズごとに１つのラインで読み出せばよい。

次に、上記第１の実施の形態の撮像装置１の撮像素子１３上に設けられたカラーフィルタの変形例について説明する。以下、上記実施の形態と同様の構成要素については、同一の符号を付し、適宜説明を省略する。なお、いずれの変形例においても、カラーフィルタは、２×２の画素領域ごとに（レンズ単位で）色分けされると共に、その色配列が、画素Ｐの斜め配列に対応して４５°回転した２次元配列となっている。

（変形例１）
図９は、変形例１に係る撮像素子１３上のカラーフィルタの平面構成について模式的に表すものである。変形例１のカラーフィルタは、上記実施の形態のカラーフィルタ１３０と同様、赤色フィルタ１３０Ｒ，緑色フィルタ１３０Ｇおよび青色フィルタ１３０Ｂの３原色のフィルタから構成されている。但し、本変形例では、各色の比率がＲ：Ｇ：Ｂ＝１：２：１となっている。

（変形例２）
図１０は、変形例２に係る撮像素子１３上のカラーフィルタの平面構成について模式的に表すものである。変形例２のカラーフィルタは、上記実施の形態のカラーフィルタ１３０と同様、赤色フィルタ１３０Ｒ，緑色フィルタ１３０Ｇおよび青色フィルタ１３０Ｂの３原色のフィルタから構成されている。但し、本変形例では、各色の比率がＲ：Ｇ：Ｂ＝１：２：１となっている。この色配列は、従来一般的に用いられているベイヤー配列を、画素Ｐの斜め配列に対応させて４５°回転させたものに等しい。

上記変形例１，２のように、カラーフィルタの各色の比率は、Ｒ：Ｇ：Ｂ＝１：６：１に限らず、他の比率、例えば１：２：１であってもよい。このように構成した場合であっても、緑色が他の色よりも多くなるように配置すれば、見かけの解像度の向上に有利となる。

（変形例３）
図１１は、変形例３に係る撮像素子１３上のカラーフィルタの平面構成について模式的に表すものである。変形例３のカラーフィルタは、赤色フィルタ１３０Ｒ，緑色フィルタ１３０Ｇおよび青色フィルタ１３０Ｂの３原色のフィルタの他に、白色フィルタ１３０Ｗを有している。本変形例では、各色の比率がＲ：Ｇ：Ｂ：Ｗ＝１：４：１：２となっている。

本変形例のように、赤色フィルタ１３０Ｒ，緑色フィルタ１３０Ｇおよび青色フィルタ１３０Ｂに加えて白色フィルタ１３０Ｗが配置されていてもよい。このように構成した場合、撮像素子１３において取得された撮像データのうち、例えば白色成分から以下の式（１）を用いてＲＧＢ成分を復元することができる。具体的には、Ｇ成分を重視する場合、周辺画素データからの補間により得られるＲ，Ｂ成分を以下の式（１）に代入することにより、Ｇ成分を算出することが可能である（Ｇ＝（Ｗ−ａ・Ｒ−ｃ・Ｂ）／ｂ）。
Ｗ＝ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ（ａ，ｂ，ｃは係数） ………（１）

なお、上記変形例３において、緑色の一部を白色に入れ替えて、Ｒ：Ｇ：Ｂ：Ｗ＝１：２：１：４の比率となるように配列してもよい。

＜第２の実施の形態＞
図１２は、本発明の第２の実施の形態に係るカラーフィルタ（カラーフィルタ１４０）の平面構成を模式的に表すものである。カラーフィルタ１４０は、上記第１の実施の形態と同様、撮像素子１３上に配設されるものである。但し、本実施の形態では、撮像素子１３におけるレンズ割り当て画素数が３×３（９つ）となっており、カラーフィルタ１４０では画素単位で色分けがなされている。カラーフィルタ１４０は、例えば赤色フィルタ１４０Ｒ，緑色フィルタ１４０Ｇ，青色フィルタ１４０Ｂおよび白色フィルタ１４０Ｗが規則的に配列してなり、色配列としては例えば図１２のようなベイヤー配列を用いることができる。白色フィルタ１４０Ｗは、高解像度画素に割り当てられる。以下では、上記第１の実施の形態と同様の構成要素については同一の符号を付し、適宜説明を省略する。

本実施の形態では、上記第１の実施の形態と同様、撮像素子１３において得られた撮像データＤ０に対し、画像処理部１４において所定の画像処理が施されることにより、視差画像データが生成される。カラーフィルタ１４０では、上記第１の実施の形態と異なり、画素単位で色分けがなされているが、レンズ割り当て画素が３×３の場合には、生成した視差画像についても、カラーフィルタ１４０と同様の色配列となる。このように、本実施の形態においても、画素の斜め配列により、見かけの解像度の低下を抑制しつつ視差画像を得ることができる。

ここで、斜め配列の画素に基づいて視差画像を生成した場合、その視差画像における画素データについても斜め配列となる。このため、最終的には正方配列となるように変換することが望ましい。そこで、斜め配列から正方配列への変換処理について、撮像素子１３上の一部の画素領域を例に挙げて説明する。この変換処理はカラー補間処理の前段階で行う。

図１２の構成において、３×３の画素領域のうち互いに同一の位置にある画素（例えば、図１２中の斜線部分）から抽出したデータを合成して視差画像を生成すると、生成された視差画像は、図１３（Ａ）に示したように、画素の斜め配列に対応したものとなる。そこで、各画素データ間を補間することにより、正方配列に対応した視差画像を生成する。具体的には、図１３（Ｂ）に示したように、各画素データ間にブランク（空白）データを挿入する。このように、斜め配列から正方配列への変換処理を行うことにより、視差画像の解像度を向上させることができる。この変換処理は、上記第１の実施の形態で説明したレンズ割り当て画素が２×２の場合にも勿論、適用し得る。このようにして生成された正方配列の視差画像データに対して、デモザイク処理等のカラー補間処理を施すことにより、図１３（Ｃ）に示したような３原色の視差画像データを生成する。このとき、白色フィルタ１４０Ｗに対応する画素データについては、Ｒ，Ｇ，Ｂのいずれかの色に置換する。

また、本実施の形態では、ステレオ方式の３次元表示用途として左右２つの視差画像を生成する場合には、正方配列の場合よりも左右の基線長を長くすることが可能である。例えば、図１４（Ａ），（Ｂ）に示したように、３×３の画素領域において画素４，６のデータを用いて左右の視差画像を生成する場合、画素面積が同じであれば、斜め配列における基線長Ｔａは正方配列における基線長Ｔｂよりも長くなる。同様に、上下の基線長についても正方配列に比べて長くなる。

（変形例４）
図１５は、変形例４に係るカラーフィルタ１５０の平面構成について模式的に表すものである。カラーフィルタ１５０では、上記第２の実施の形態と同様のベイヤー配列が用いられているが、マイクロレンズに割り当てられた３×３の画素領域ごとに（レンズ単位で）、色分けがなされている。このように、レンズ単位で色分けがなされていてもよい。このようなカラーフィルタ１５０を用い、レンズごとに互いに同一の位置にある画素のデータを合成して生成した視差画像は、カラーフィルタ１５０と同様の色配列となる。即ち、レンズ割り当て画素数が、３×３のような奇数×奇数である場合には、カラーフィルタの色分けは画素単位でなされていてもよいし、レンズ単位でなされていてもよい。

以上、実施の形態および変形例を挙げて本発明を説明したが、本発明は上記実施の形態に限定されるものではなく、種々の変形が可能である。例えば、上記実施の形態では、一つのマイクロレンズに２×２＝４つあるいは３×３＝９つの画素が割り当てられた構成を例に挙げて説明したが、マイクロレンズへの割り当て画素数は、少なくとも２つあればよく、４つや９つに限定されない。割り当て画素数が２以上であれば、例えば左右の２つの視差画像を生成することができる。これにより、上述したようなステレオ方式の３次元表示への応用が可能となる。但し、上記実施の形態等のように、割り当て画素数を４つとした場合には、上記２つよりも視点の数が増える分、各視差画像の角度分解能を高めることができる。一方で、割り当て画素数が例えば３×３、４×４…と増大していくと、視差画像の角度分解能は向上するが、逆に２次元解像度が低下してしまう。このため、ステレオ方式の３次元表示用途としては、２×２の画素を割り当てた上記実施の形態等の構成が好ましい。

また、上記実施の形態等では、撮像素子１３における複数の画素が水平方向および垂直方向からそれぞれ４５°回転した２方向に沿って２次元配列した構成を例に挙げて説明したが、複数の画素の配列方向の回転角度は上記４５°に限定されない。複数の画素の配列方向が、水平方向および垂直方向に対して一定の角度をなしていれば、水平方向および垂直方向における画素ピッチは狭くなるからである。従って、本発明と同等の効果を得ることができる。

更に、上記実施の形態等では、撮像素子１３上のカラーフィルタとして、赤色、緑色、青色あるいは白色のフィルタを配置した構成を例に挙げて説明したが、カラーフィルタの色配列は、上記のような原色や白色に限らず、イエロー（Ｙ）、マゼンダ（Ｍ）およびシアン（Ｃ）などの補色系を用いるようにしてもよい。

加えて、上記実施の形態等では、撮像素子１３において取得した撮像データから生成した視差画像を、ステレオ方式の３次元表示に適用する場合を例に挙げて説明したが、本発明で得られる視差情報は、上記３次元表示に限らず、他の用途にも用いることができる。例えば、撮像データに基づいて、上述したような手法により左右上下に対応する４枚の視差画像を生成し、これらのうち少なくとも２枚の視差画像に基づいて相関演算処理を施すことにより、測定対象までの距離情報を得ることが可能である。

また、上記実施の形態等では、Ｒ，Ｇ，Ｂの３原色のフィルタの他に、高解像度画素に対応して白色フィルタを割り当てる構成についても説明したが、高解像度画素に対応する領域には、特にフィルタが配設されていなくともよい。また、白色フィルタに対応する画素データをＲ，Ｇ，Ｂのいずれの色に置換するのか、またその置換数等により、カラーフィルタの色配列については、上記実施の形態等で挙げた配列に限らず、様々な態様をとり得る。

１…撮像装置、１１…撮像レンズ、１２…マイクロレンズアレイ、１３…撮像素子、１４…画像処理部、１５…撮像素子駆動部、１６…制御部、１３０…カラーフィルタ、２…撮像対象物、１２Ｄ…単位結像領域、Ｄ０…撮像データ、Ｄout…画像データ。

Claims (9)

1. 開口絞りを有する撮像レンズと、
   複数の画素が、横方向および縦方向からそれぞれ４５°回転した２方向に沿って、全体としてマトリクス状に配列されてなると共に、前記複数の画素において受光した光に基づいて撮像データを取得する撮像素子と、
   前記撮像レンズと前記撮像素子との間に、前記撮像素子のｍ×ｍ（ｍは２以上の整数）の画素からなる画素領域に対して１つのマイクロレンズが割り当てられるように配置されたマイクロレンズアレイと、
   前記撮像素子で取得された撮像データに基づいて画像処理を行う画像処理部とを備え、
   前記画像処理部は、
   各画素領域のうち前記縦方向または前記横方向に沿って配置された２画素から得られる画素データを用いて、左右もしくは上下の視差画像を生成する
   撮像装置。
2. 前記ｍは２である
   請求項１に記載の撮像装置。
3. 前記ｍは３であり、
   前記画像処理部は、前記画素領域のうちの前記縦方向または前記横方向における両端に配置された２画素から得られる画素データを用いて、前記視差画像を生成する
   請求項１に記載の撮像装置。
4. 前記画像処理部は、
   各画素領域のうち互いに同一の位置の画素から得られた画素データを合成して、前記視差画像を生成する
   請求項１ないし請求項３のいずれか１項に記載の撮像装置。
5. 前記撮像素子の受光面上に設けられ、前記画素領域ごとに色分けされると共に、前記撮像素子における画素の２次元配列に対応して色が配置されたカラーフィルタ
   を備えた請求項１に記載の撮像装置。
6. 前記カラーフィルタは、少なくとも緑色（Ｇ：Green）を含む複数色のフィルタが規則的に配列したものである
   請求項５に記載の撮像装置。
7. 前記カラーフィルタは、赤色（Ｒ：Red）フィルタ、緑色フィルタおよび青色（Ｂ：Blue）フィルタを有し、各フィルタの個数比がＲ：Ｇ：Ｂ＝１：６：１である
   請求項６に記載の撮像装置。
8. 前記カラーフィルタは、赤色（Ｒ：Red）フィルタ、緑色フィルタおよび青色（Ｂ：Blue）フィルタを有し、各フィルタの個数比がＲ：Ｇ：Ｂ＝１：２：１である
   請求項６に記載の撮像装置。
9. 前記カラーフィルタは、赤色（Ｒ：Red）フィルタ、緑色フィルタ、青色（Ｂ：Blue）
   フィルタおよび白色（Ｗ：White）フィルタを有する
   請求項６に記載の撮像装置。

Images