JP5358039B1 - 撮像装置 - Google Patents

Abstract

本願に開示された撮像装置は、第１の領域および第２の領域を有するレンズ光学系であって、前記第２の領域が、前記第１の領域を通過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有するレンズ光学系と、前記レンズ光学系を通過した光が入射し、第１の分光透過率特性を有するフィルタを備える複数の第１および第２の画素と、前記レンズ光学系を通過した光が入射し、第２の分光透過率特性を有するフィルタを備える複数の第３の画素と、前記レンズ光学系を通過した光が入射し、第３の分光透過率特性を有するフィルタを備える複数の第４の画素と、を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させるアレイ状光学素子とを備え、前記アレイ状光学素子は、前記複数の第３の画素に、前記第１の領域および前記２の領域のうちのいずれか一方を通過した光を入射させ、前記複数の第４の画素に、前記第１の領域および前記２の領域のうちのいずれか一方を通過した光を入射させる。

Description

本願はカメラ等の撮像装置に関する。

近年、自動車の車間距離測定やカメラの自動焦点システム、３次元形状測定システムに、複数の撮像光学系間の視差によって被写体（測距対象物）までの距離を測定する測距装置が用いられている。

このような測距装置では、左右又は上下に配置する一対の撮像光学系によってそれぞれの撮像領域に画像が形成され、それらの画像の視差から三角測量によって被写体までの距離が検出される。

また、単一の撮像光学系から被写体までの距離を測定する方式として、ＤＦＤ（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ）法が知られている。ＤＦＤ法は、取得した画像のボケ量の解析から距離を算出する手法であるが、単一の画像では被写体そのものの模様であるのか、被写体距離によってボケているのかを判別することができないため、複数の画像から距離を推定する手法が用いられている（特許文献１、非特許文献１）。

特許第３１１００９５号公報

Xue Tu, Youn-sik Kang and Murali Subbarao Two- and Three-Dimensional Methods for Inspection and Metrology V. Edited by Huang, Peisen S.. Proceedings of the SPIE, Volume 6762, pp. 676203 (2007).

しかしながら、上述した従来の技術では、撮像装置の小型化や低コスト化、測距精度の向上などが求められていた。本願の、限定的ではない例示的なある実施形態は、小型で精度よく距離を測定することが可能な撮像装置を提供する。

本発明の一態様である撮像装置は、第１の領域および第２の領域を有するレンズ光学系であって、前記第２の領域が、前記第１の領域を通過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有するレンズ光学系と、前記レンズ光学系を通過した光が入射し、第１の分光透過率特性を有するフィルタを備える複数の第１および第２の画素と、前記レンズ光学系を通過した光が入射し、第２の分光透過率特性を有するフィルタを備える複数の第３の画素と、前記レンズ光学系を通過した光が入射し、第３の分光透過率特性を有するフィルタを備える複数の第４の画素と、を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させるアレイ状光学素子とを備え、前記アレイ状光学素子は、前記複数の第３の画素に、前記第１の領域および前記２の領域のうちのいずれか一方を通過した光を入射させ、前記複数の第４の画素に、前記第１の領域および前記２の領域のうちのいずれか一方を通過した光を入射させる。

本発明の一態様に係る測距装置によれば、単一の撮像系を用い、精度よく距離の計測を行うことができる。

本発明による撮像装置Ａの実施の形態１を示す模式図である。 本発明の実施の形態１における光学素子Ｌ１を被写体側から見た正面図である。 本発明の実施の形態１におけるアレイ状光学素子Ｋの斜視図である。 （ａ）は、図１に示すアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。 本発明の実施の形態１において、光学領域Ｄ１および光学領域Ｄ２を通過した光線による球面収差を示すグラフである。 本発明の実施の形態１における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。 （ａ）から（ｃ）は、１６×１６のサイズの画像ブロックの輝度分布を示し、（ｄ）から（ｆ）は、図７（ａ）から（ｃ）のそれぞれに示す画像ブロックを２次元でフーリエ変換を行うことによって得られた周波数スペクトルを示す。 （ａ）は、被写体である白黒のチャートを示す図である。（ｂ）は、（ａ）の被写体の輝度の断面を示す図である。（ｃ）は、図１の撮像装置Ａで撮像した画像の色毎の輝度の断面を示す図である。（ｄ）は、（ｃ）のＧ１（緑）およびＲ（赤）の輝度の２回微分を示す図である。（ｅ）は、（ｃ）のＧ２（緑）、Ｂ（青）の輝度から（ｄ）の２回微分を減じた場合の輝度の断面を示す図である。 本発明の実施の形態１における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。 本発明の実施の形態１における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。 本発明の実施の形態２における光学素子Ｌ１を被写体側から見た正面図である。 本発明の実施の形態２におけるアレイ状光学素子Ｋの斜視図である。 （ａ）は、本発明の実施の形態２におけるアレイ状光学素子Ｋと撮像素子Ｎを拡大して示す図であり、（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。 本発明の実施の形態２における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。 本発明の実施の形態２における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。 本発明の実施の形態２における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。 （ａ）および（ｂ）は、本発明の実施の形態３におけるアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図である。 （ａ）、（ｂ）および（ｃ）は、本発明による実施の形態４における各光学領域と遮光部材との位置関係を示す正面図である。 本発明による撮像装置Ａの実施の形態５を示す模式図である。 本発明の実施の形態５における光学素子Ｌ１を被写体側から見た正面図である。 本発明の実施の形態５におけるアレイ状光学素子Ｋの斜視図である。 （ａ）は、図１９に示すアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。 本発明の実施の形態５における信号処理部のフローチャート図である。 本発明の実施の形態５において、光学領域Ｄ１および光学領域Ｄ２を通過した光線による球面収差を示すグラフである。 本発明の実施の形態５における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。 （ａ）から（ｃ）は、１６×１６のサイズの画像ブロックの輝度分布図、（ｄ）から（ｆ）は、図２６（ａ）から（ｃ）のそれぞれに示す画像ブロックを２次元でフーリエ変換を行うことによって得られた周波数スペクトルを示す図である。 （ａ）は、被写体である白黒のチャートを示す図である。（ｂ）は、（ａ）の被写体の輝度の断面を示す図である。（ｃ）は、図１９の撮像装置Ａで撮像した画像の輝度の断面を示す図である。（ｄ）は、（ｃ）のＧ１の輝度の２回微分を示す図である。（ｅ）は、（ｃ）のＧ２の輝度から（ｄ）の２回微分を減じた場合の輝度の断面を示す図である。 本発明の実施の形態５における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。 本発明の実施の形態５における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。 （ａ）は本発明の実施の形態５の被写体画像を示す図である。（ｂ）は（ａ）の被写体画像のデプスマップを示す図である。 本発明の実施の形態５における、ガウス分布で表したＰＳＦ（点広がり関数）断面強度の分布図である。 （ａ）および（ｂ）は、本発明の実施の形態５における被写体位置とＰＳＦの関係を示す図である。 （ａ）から（ｃ）は、本発明の実施の形態５におけるＰＳＦの２次元データを示す図である。 （ａ）および（ｂ）は、本発明の実施の形態５におけるＰＳＦの２次元強度の分布図である。 本発明の実施の形態５における、図３０（ｂ）のデプスマップをもとに図３０（ａ）の被写体画像をリフォーカスした画像を示す図である。 本発明の実施の形態６における被写体位置とＰＳＦの関係を示す図である。 本発明による撮像装置Ａの実施の形態７を示す模式図である。 （ａ）は、図３７に示すアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。 本発明の実施の形態７における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。 （ａ）は、被写体である白黒のチャートを示す図である。（ｂ）は、（ａ）の被写体の輝度の断面を示す図である。（ｃ）は、図３７の撮像装置Ａで撮像した画像の色毎の輝度の断面を示す図である。（ｄ）は、（ｃ）のＧ１（緑）およびＲ（赤）の輝度の２回微分を示す図である。（ｅ）は、（ｃ）のＧ２（緑）、Ｂ（青）の輝度から（ｄ）の２回微分を減じた場合の輝度の断面を示す図である。 本発明の実施の形態７における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。 本発明の実施の形態７における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。 本発明の実施の形態８における光学素子Ｌ１を被写体側から見た正面図である。 本発明の実施の形態８におけるアレイ状光学素子Ｋの斜視図である。 （ａ）は、本発明の実施の形態８におけるアレイ状光学素子Ｋと撮像素子Ｎを拡大して示す図であり、（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。 本発明の実施の形態８における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。 本発明の実施の形態８における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。 本発明の実施の形態８における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。 （ａ）は、本発明の実施の形態において、クロストークの発生する場合の撮像面の近傍を拡大して示す図であり、（ｂ）は、クロストークを軽減した場合の撮像面の近傍を拡大して示す図である。 （ａ１）は、光軸に対して回転非対称な形状を有するマイクロレンズアレイを示す斜視図である。（ａ２）は、（ａ１）に示すマイクロレンズアレイの等高線を示す図である。（ａ３）は、（ａ１）、（ａ２）に示すマイクロレンズを本発明のアレイ状光学素子に適用した場合の、光線追跡シミュレーションの結果を示す図である。（ｂ１）は、光軸に対して回転対称な形状を有するマイクロレンズアレイを示す斜視図である。（ｂ２）は、（ｂ１）に示すマイクロレンズアレイの等高線を示す図である。（ｂ３）は、（ｂ１）、（ｂ２）に示すマイクロレンズを本発明の実施の形態におけるアレイ状光学素子に適用した場合の、光線追跡シミュレーションの結果を示す図である。 （ａ）および（ｂ）は、本発明の実施の形態において、撮像素子上のフィルタ配列のその他の実施形態を示す図である。

本願発明の検討によれば、従来の複数の撮像光学系を用いた構成では、撮像装置が大型化、高コスト化する。また、複数の撮像光学系の特性を揃え、かつ２つの撮像光学系の光軸を高精度で平行にする必要性があるため製造が難しく、さらにはカメラパラメータを求めるためのキャリブレーション工程が必要であるため、多くの工数を要すると考えられる。

特許文献１および非特許文献１に開示されるようなＤＦＤ法では、１つの撮像光学系によって被写体までの距離を算出することができる。しかしながら、特許文献１および非特許文献１の方法では、焦点が合う被写体までの距離（合焦距離）を変化させて、時分割で複数の画像を取得する必要がある。このような手法を動画に適用すると、撮影の時間差により画像間にズレが生じてしまうため、測距精度を低下させてしまうという課題が生じる。

また、特許文献１には、プリズムによって光路を分割し、バックフォーカスを異ならせた２つの撮像面によって撮像することによって、１回の撮像で被写体までの距離を測定することができる撮像装置が開示されている。しかしながら、このような方法では、撮像面が２つ必要になるため、撮像装置が大型化し、かつ大幅なコストアップとなってしまうという課題が生じる。

本願発明者はこのような課題に鑑み、新規な撮像装置を想到した。本発明の一態様の概要は以下の通りである。

本発明の一態様である撮像装置は、第１の領域および第２の領域を有するレンズ光学系であって、前記第２の領域が、前記第１の領域を通過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有するレンズ光学系と、前記レンズ光学系を通過した光が入射し、第１の分光透過率特性を有するフィルタを備える複数の第１および第２の画素と、前記レンズ光学系を通過した光が入射し、第２の分光透過率特性を有するフィルタを備える複数の第３の画素と、前記レンズ光学系を通過した光が入射し、第３の分光透過率特性を有するフィルタを備える複数の第４の画素と、を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させるアレイ状光学素子とを備え、前記アレイ状光学素子は、前記複数の第３の画素に、前記第１の領域および前記２の領域のうちのいずれか一方を通過した光を入射させ、前記複数の第４の画素に、前記第１の領域および前記２の領域のうちのいずれか一方を通過した光を入射させる。

前記アレイ状光学素子は、前記複数の第３の画素に、前記第１の領域および前記２の領域のうちのいずれか一方を通過した光のみを入射させ、前記複数の第４の画素に、前記第１の領域および前記２の領域のうちのいずれか一方を通過した光のみを入射させてもよい。

前記アレイ状光学素子はレンチキュラレンズであって、前記アレイ状光学素子は、前記複数の第３の画素に、前記第１の領域および前記２の領域のうちのいずれか一方を通過した光を入射させ、前記複数の第４の画素に、前記第１の領域および前記第２の領域のうちの他方を通過した光を入射させてもよい。

前記アレイ状光学素子はマイクロレンズであって、前記アレイ状光学素子は、前記複数の第３の画素および前記複数の第４の画素に、前記第１の領域および前記２の領域のうちのいずれか一方を通過した光を入射させてもよい。

本発明の他の態様である撮像装置は、第１の領域および第２の領域を有するレンズ光学系であって、前記第２の領域が、前記第１の領域を通過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有するレンズ光学系と、前記レンズ光学系を通過した光が入射し、第１の分光透過率特性を有するフィルタを備える複数の第１および第２の画素と、前記レンズ光学系を通過した光が入射し、第２の分光透過率特性を有するフィルタを備える複数の第３の画素と、前記レンズ光学系を通過した光が入射し、第３の分光透過率特性を有するフィルタを備える複数の第４の画素と、を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させるアレイ状光学素子とを備え、前記複数の第１、第２、第３、第４の画素のそれぞれが１画素ずつ２行２列に配置された画素群内において、前記第１の画素および前記第２の画素は、それぞれ、（１、１）および（２、２）のいずれかの位置に配置されているか、または、（１、２）および（２、１）のいずれかの位置に配置されている。

前記撮像装置において、１回の撮像において、前記第１の領域および前記第２の領域に光線が入射してもよい。

前記第１の分光透過率特性を有するフィルタは、緑色帯域の光線を通過させるフィルタであり、前記第２の分光透過率特性を有するフィルタは、青色帯域の光線を通過させるフィルタであり、前記第３の分光透過率特性を有するフィルタは、赤色帯域の光線を通過させるフィルタであってもよい。

被写体距離がある所定の範囲内にある場合、前記第１の領域に入射した光によって形成される点像強度分布は略一定であり、前記第２の領域に入射した光によって形成される点像強度分布は、被写体までの距離に応じて変化してもよい。

前記第１の領域の表面および前記第２の領域の表面は、互いに異なる曲率半径を有していてもよい。

前記第１の領域および前記第２の領域は、前記レンズ光学系の光軸を境界中心として分割された領域であってもよい。

前記複数の第１、第２、第３および第４の画素は、１回の撮像によって、それぞれ、第１から第４の輝度情報を生成し、前記第１から第４の輝度情報を用いてカラー画像を生成する第１の信号処理部をさらに備えていてもよい。

前記第１の信号処理部は、前記カラー画像における所定領域毎に前記複数の第１から第４の画素の輝度情報のうち少なくとも１つ以上の画素成分の鮮鋭度を検出する鮮鋭度検出部を備え、前記それぞれの鮮鋭度のうち最も高い鮮鋭度の成分に基づいて他の画素の輝度情報の成分を鮮鋭化させてもよい。

前記第１の信号処理部は、予め記憶された点像強度分布関数を用いて、前記第１の領域に入射した光が到達する画素の輝度情報によって形成される画像の復元処理を行い、復元された鮮鋭化画像を生成してもよい。

前記第１の信号処理部は、単一の前記点像強度分布関数を用いて、前記第１の領域に入射した光が到達する画素の輝度情報によって形成される画像の全領域の復元処理を行い、復元された鮮鋭化画像を生成してもよい。

前記第１の信号処理部は、前記復元された鮮鋭化画像における所定領域毎に鮮鋭度を検出する鮮鋭度検出部を備え、前記復元された鮮鋭化画像における所定領域毎の鮮鋭度に基づいて他の画素の輝度情報の成分を鮮鋭化させてもよい。

被写体までの距離を算出する第２の信号処理部をさらに備え、前記第１の信号処理部は、前記複数の第１の画素によって得られる第１画像および前記複数の第２の画素によって得られる第２の画像を生成し、前記第２の信号処理部は、前記第１の画像および前記第２の画像を用いて、被写体までの距離を算出してもよい。

被写体距離がある一定の範囲内にある場合、前記第１の画像の鮮鋭度と前記第２の画像の鮮鋭度との比の値は、前記被写体までの距離と相関関係を有し、前記第２の信号処理部は、前記相関関係と、前記第１の画像の鮮鋭度と前記第２の画像の鮮鋭度との比に基づいて、前記被写体までの距離を算出してもよい。

前記第１の信号処理部は、前記複数の第１の画素において得られた第１の画像のコントラストと前記複数の第２の画素において得られた第２の画像のコントラストを検出するコントラスト検出部を備え、被写体距離がある一定の範囲内にある場合、前記第１の画像のコントラストと前記第２の画像のコントラストとの比は前記被写体距離と相関関係を有し、前記第２の信号処理部は、前記相関関係と、前記第１の画像のコントラストと、前記第２の画像のコントラストとに基づいて、前記被写体までの距離を算出してもよい。

前記第２の信号処理部は、前記第１の画像と前記第２の画像とを加算した画像の輝度情報と、前記第１の画像または前記第２の画像の輝度情報とを用いて前記被写体までの距離を算出してもよい。

被写体距離がある一定の範囲内にある場合、前記復元された鮮鋭化画像と前記第２の領域に入射した光によって形成される画像から導出される点像強度分布関数は前記被写体距離と相関関係を有し、前記第２の信号処理部は、前記相関関係と、前記点像強度分布関数とに基づいて、前記被写体までの距離を算出してもよい。

前記レンズ光学系が像側テレセントリック光学系であってもよい。

前記レンズ光学系は像側非テレセントリック光学系であって、前記レンズ光学系の光軸外において前記アレイ状光学素子の配列を前記撮像素子の画素の配列に対してオフセットさせていてもよい。

前記アレイ状光学素子はレンチキュラレンズまたはマイクロレンズアレイであってもよい。

前記アレイ状光学素子はマイクロレンズアレイであって、前記第２の領域は、第２Ａ領域、第２Ｂ領域、および第２Ｃ領域の３つの領域を有し、前記マイクロレンズアレイは、前記第１の領域を通過した光線を前記複数の第１の画素に入射させ、前記第２Ａ領域を通過した光線を前記複数の第２の画素に入射させ、前記第２Ｂ領域を通過した光線を前記複数の第３の画素に入射させ、前記第２Ｃ領域を通過した光線を前記複数の第４の画素に入射させてもよい。

前記第２Ａ領域、前記第２Ｂ領域、および前記第２Ｃ領域は、互いに異なる光学パワーを有し、前記複数の第２の画素、前記複数の第３の画素、および前記複数の第４の画素に設けられたフィルタの透過帯域に対応する波長帯域の光の合焦位置が、前記第２Ａ領域、前記第２Ｂ領域、および前記第２Ｃ領域が互いに等しい光学パワーを有する場合と比較して近くてもよい。

前記アレイ状光学素子はマイクロレンズアレイであって、前記マイクロレンズアレイは複数の光学要素を有し、前記複数の各光学要素のそれぞれは、光軸に対して回転対称な形状を有していてもよい。

前記アレイ状光学素子は前記撮像素子上に形成されていてもよい。

前記アレイ状光学素子と前記撮像素子との間に設けられたマイクロレンズをさらに備え、前記アレイ状光学素子は、前記マイクロレンズを介して前記撮像素子上に形成されていてもよい。

前記第１の領域と前記第２の領域との間の境界部に設けられた遮光部材をさらに備えていてもよい。

前記レンズ光学系は絞りをさらに備え、前記第１の領域および前記第２の領域は、前記絞り近傍に配置されていてもよい。

前記複数の第１、第２、第３、第４の画素のそれぞれが１画素ずつ２行２列に配置された画素群内において、第１の画素と第２の画素は、前記撮像素子の撮像面において、上下、左右、斜めのいずれかの方向で互いに隣接していてもよい。

前記第２の信号処理部は、前記カラー画像の所定領域ごとに被写体距離を算出し、前記第２の信号処理部において算出された前記所定領域ごとの被写体距離を用いてリフォーカスされた画像を生成する第３の信号処理部をさらに備えていてもよい。

前記第２の信号処理部は、前記所定領域ごとの被写体距離を用いて、被写体距離ごとの点広がり関数を生成してもよい。

前記点広がり関数の強度変化が極大となる被写体距離である少なくとも１つのベストフォーカス位置から被写体距離方向において離れるほど、前記点広がり関数の強度の変化は小さくなってもよい。

前記少なくとも１つのベストフォーカス位置は、外部から入力された位置または前記第２の信号処理部によって決定された位置であってもよい。

前記第３の信号処理部は、前記所定領域ごとの被写体距離と、前記点広がり関数を用いて、前記リフォーカスされた画像を生成してもよい。

前記点広がり関数はガウス関数であってもよい。

前記第３の信号処理部は、所定の領域ごとにフーリエ変換を用いて前記点広がり関数の畳み込み演算を行うことにより、前記リフォーカスされた画像を生成してもよい。

前記第３の信号処理部は、前記所定領域ごとの被写体距離に基づいて、空間フィルタ処理を行うことにより、前記リフォーカスされた画像を生成してもよい。

前記少なくとも１つのベストフォーカス位置は、断続的に複数存在していてもよい。

本発明の他の態様である撮像システムは、上記いずれかに記載の撮像装置と、カラー画像を生成する第１の信号処理装置をさらに備え、前記第１の信号処理部は、前記１回の撮像によって得られた前記複数の第１の画素、前記複数の第２の画素、前記複数の第３の画素、および前記複数の第４の画素の輝度情報を用いて前記カラー画像を生成する。

撮像システムは、被写体までの距離を算出する第２の信号処理装置をさらに備え、前記第２の信号処理装置は、前記１回の撮像によって得られた前記複数の第１の画素、前記複数の第２の画素の輝度情報を用いて被写体までの距離を算出してもよい。

本発明の他の態様である撮像システムは、撮像装置と、信号処理装置とを備える撮像システムであって、前記撮像装置は、第１の領域および第２の領域を有するレンズ光学系であって、前記第２の領域が、前記第１の領域を通過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有するレンズ光学系と、前記レンズ光学系を通過した光が入射する複数の第１の画素と複数の第２の画素とを少なくとも有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させるアレイ状光学素子とを備え、前記信号処理装置は、前記複数の第１の画素において得られた第１の画像および前記複数の第２の画素において得られた第２の画像の輝度情報を用いて、撮像画像の所定領域ごとに被写体距離を算出する第１の信号処理部と、前記第１の信号処理部において算出された前記所定領域ごとの被写体距離を用いてリフォーカスされた画像を生成する第２の信号処理部を備える。

上記態様による撮像装置および撮像システムによれば、単一の光学系を用い、１回の撮像によって、カラー画像の出力及び被写体距離の測定のための輝度情報を取得することができる。このため、複数の撮像光学系を用いた撮像装置のように、複数の撮像光学系間の特性や位置を揃える必要がない。また、動画の撮影において、時間の経過とともに被写体の位置に変化が生じても、被写体までの正確な距離を測定することができる。また、任意の被写体位置にフォーカスを合わせ、例えば、主要な人物・物をシャープにし、背景のみぼかしたメリハリのある画像を取得することできる。

以下、本発明による撮像装置の実施形態を、図面を参照しながら説明する。

（実施の形態１）
図１は、実施の形態１の撮像装置Ａを示す模式図である。本実施形態の撮像装置Ａは、Ｖを光軸とするレンズ光学系Ｌと、レンズ光学系Ｌの焦点近傍に配置されたアレイ状光学素子Ｋと、撮像素子Ｎと、第１の信号処理部Ｃ１と、第２の信号処理部Ｃ２と、記憶部Ｍｅを備える。

レンズ光学系Ｌは、被写体（図示せず）からの光束Ｂ１、Ｂ２が入射する光学素子Ｌ１と、光学素子Ｌ１を通過した光が入射する絞りＳと、絞りＳを通過した光が入射するレンズＬ２とから構成されている。光学素子Ｌ１は、光学領域Ｄ１と、光学領域Ｄ１を通過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有する光学領域Ｄ２とを有する。光学素子Ｌ１は、絞りＳの近傍に配置されていてもよい。

図２は、光学素子Ｌ１を被写体側から見た正面図である。光学素子Ｌ１における光学領域Ｄ１とＤ２は、光軸Ｖを境界中心として、光軸Ｖに垂直な面内で上下に２分割されている。図２において、破線ｓは、絞りＳの位置を示している。図１において、光束Ｂ１は、光学素子Ｌ１上の光学領域Ｄ１を通過する光束であり、光束Ｂ２は、光学素子Ｌ１上の光学領域Ｄ２を通過する光束である。光束Ｂ１、Ｂ２は、光学素子Ｌ１、絞りＳ、レンズＬ２、アレイ状光学素子Ｋをこの順に通過し、撮像素子Ｎ上の撮像面Ｎｉ（図４等に示す）に到達する。

図３は、アレイ状光学素子Ｋの斜視図である。アレイ状光学素子Ｋにおける撮像素子Ｎ側の面には、光軸Ｖに垂直な面内で横方向に長細い複数の光学要素Ｍ１が縦方向に配置されている。それぞれの光学要素Ｍ１の断面（縦方向の断面）は、撮像素子Ｎ側に突出した円弧状の形状を有する。このように、アレイ状光学素子Ｋは、レンチキュラレンズの構成を有する。

図１に示すように、アレイ状光学素子Ｋは、レンズ光学系Ｌの焦点近傍に配置されており、撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。実際には、光学素子Ｌ１における光学特性がレンズ光学系Ｌ全体としての合焦特性に影響を与えるが、アレイ状光学素子Ｋが配置される位置は、例えば、レンズＬ２の焦点を基準にして決定すればよい。

なお、本実施形態において、「合焦特性が異なる」とは、所定の波長の光で比較した場合に、その光学系において光の集光に寄与する特性の少なくとも１つが異なることをいう。具体的には、所定の波長の光で比較した場合に、光学領域Ｄ１、Ｄ２を通過した光によるレンズ光学系Ｌの焦点距離、焦点が合う被写体までの距離、鮮鋭度が一定の値以上となる距離範囲などが異なることをいう。光学領域Ｄ１、Ｄ２の曲率半径や非球面係数や屈折率を調整することにより、レンズ光学系Ｌの合焦特性を異なるものとすることができる。

本実施形態では、１回の撮像によって２つの光学領域Ｄ１、Ｄ２を通過した光は、レンズＬ２を通過した後、アレイ状光学素子Ｋに入射する。アレイ状光学素子Ｋは、光学領域Ｄ１を通過した光を撮像素子Ｎにおける画素Ｐ１、Ｐ３（図４等に示す）に、光学領域Ｄ２を通過した光を撮像素子Ｎにおける画素Ｐ２、Ｐ４に入射させる。

図４（ａ）は、図１に示すアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、図４（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。アレイ状光学素子Ｋは、光学要素Ｍ１が形成された面が撮像面Ｎｉ側に向かうように配置されている。

図４（ｂ）に示すように、撮像面Ｎｉには、画素Ｐが行列状に配置されている。画素Ｐは画素Ｐ１、Ｐ２、Ｐ３およびＰ４に区別できる。

画素Ｐ１およびＰ２には第１の分光透過率特性を有するフィルタが備えられており、そのフィルタは、緑色帯域の光線を主に通過させ、他の帯域の光線を吸収する。画素Ｐ３には第２の分光透過率特性を有するフィルタが備えられており、そのフィルタは、赤色帯域の光線を主に通過させ、他の帯域の光線を吸収する。また、画素Ｐ４には第３の分光透過率特性を有するフィルタが備えられており、そのフィルタは、青色帯域の光線を主に通過させ、他の帯域の光線を吸収する。

説明のため、２行２列に配置される画素Ｐ１、Ｐ２、Ｐ３およびＰ４の１組を、「画素群Ｐｇ」と称する。１つの画素群Ｐｇ内において、画素Ｐ２の位置を（１、１）とすると、画素Ｐ１が（２、２）、画素Ｐ３が（２、１）、画素Ｐ４が（１、２）の位置に配置されている。すなわち、画素Ｐ１および画素Ｐ３のそれぞれは、同じ行において交互に配置されている。また、画素Ｐ２および画素Ｐ４のそれぞれは、同じ行において交互に配置されている。また、画素Ｐ１とＰ３の行と画素Ｐ２とＰ４の行とは、縦方向（列方向）に交互に配置されている。このように、それぞれの複数の画素Ｐ１、Ｐ２、Ｐ３およびＰ４は、ベイヤー配列を成している。ベイヤー配列で画素Ｐ１、Ｐ２、Ｐ３およびＰ４が配置されている場合には、共に緑色帯域の光を透過するフィルタを有する画素Ｐ１および画素Ｐ２は、撮像面Ｎｉの面内において、斜めの位置に配置されている。画素Ｐ３と画素Ｐ４との位置は逆であってもよい。

アレイ状光学素子Ｋは、その光学要素Ｍ１の１つが、撮像面Ｎｉ上における１行の画素Ｐ１、Ｐ３および１行の画素Ｐ２、Ｐ４からなる２行の画素に対応するように配置されている。撮像面Ｎｉ上には、画素Ｐ１、Ｐ２、Ｐ３およびＰ４の表面を覆うようにマイクロレンズＭｓが設けられている。

アレイ状光学素子Ｋは、光学素子Ｌ１上の光学領域Ｄ１（図１、図２に示す）を通過した光束Ｂ１（図１において実線で示される光束Ｂ１）（の大部分）が、撮像面Ｎｉ上の画素Ｐ１およびＰ３に到達し、光学領域Ｄ２を通過した光束（図１において破線で示される光束Ｂ２）（の大部分）が、撮像面Ｎｉ上の画素Ｐ２およびＰ４に到達するように設計されている。具体的には、アレイ状光学素子Ｋの屈折率、撮像面Ｎｉからの距離及び光学要素Ｍ１表面の曲率半径等のパラメータを適切に設定することで、上記構成が実現する。

画素Ｐ１からＰ４に用いられるフィルタは、例えば、有機材料を用いた吸収型のフィルタや誘電体多層膜を用いた反射型のフィルタである。なお、第１の分光透過率特性、第２の分光透過率特性および第３の分光透過率特性のそれぞれを有するフィルタは、互いに異なる波長帯域の光線を主に透過する。ただし、それぞれのフィルタが透過する光の波長帯域の一部が重複していてもよい。また、ＲＧＢの原色系のフィルタに限らず、補色系（シアン、マゼンタ、イエロー）のフィルタを用いてもよい。

絞りＳは全ての画角の光束が通過する領域である。従って、絞りＳの近傍に合焦特性を制御する光学特性を有する面を挿入することにより、全ての画角の光束の合焦特性を同様に制御することができる。すなわち、本実施形態では、光学素子Ｌ１は、絞りＳの近傍に設けられていてもよい。光学系Ｌの合焦特性を互いに異ならせる光学領域Ｄ１、Ｄ２を、絞りＳの近傍に配置することによって、分割数に応じた合焦特性を光束に与えることができる。

図１においては、光学素子Ｌ１を通過した光が、直接（他の光学部材を介することなく）、絞りＳに入射する位置に設けられている。光学素子Ｌ１は、絞りＳよりも撮像素子Ｎ側に設けられていてもよい。この場合、光学素子Ｌ１は、絞りＳとレンズＬ２との間に設けられており、絞りＳを通過した光が、直接（他の光学部材を介することなく）、光学素子Ｌ１に入射してもよい。

また、アレイ状光学素子Ｋは、光線の入射角に応じて出射方向を振り分ける機能を有する。そのため、絞りＳの近傍で分割された光学領域Ｄ１、Ｄ２に対応するように、撮像面Ｎｉ上の画素に光束を振り分けることができる。

第１の信号処理部Ｃ１（図１に示す）は、１回の撮像によって画素Ｐ１、Ｐ２、Ｐ３およびＰ４において得られた複数の輝度情報を用いてカラー画像を生成する。以下に、具体的にカラー画像を生成する方法について説明する。

図１の撮像装置Ａの光学系において、光学領域Ｄ１は平面を有し、光学領域Ｄ２は非球面形状を有する。また、説明を簡略化するため、レンズＬ２は収差のない理想レンズであるものとして説明する。

光学領域Ｄ１は平面を有するため、光学領域Ｄ１とレンズＬ２を通過した光線には、図５の実線で示すグラフのように球面収差は生じない。球面収差がない場合、焦点からずれるに従って点像強度分布が変化する。すなわち、被写体距離の変化に伴い点像強度分布は変化する。

また、光学領域Ｄ２の非球面形状により、光学領域Ｄ２とレンズＬ２を通過した光線による球面収差は、図５の破線で示すグラフのようになる。光学領域Ｄ２の非球面形状を調整することで、このような球面収差を与えることができる。このような球面収差により、レンズ光学系Ｌの焦点近傍の所定の範囲内において、光学領域Ｄ２を通過した光線による点像強度分布を略一定にすることができる。すなわち、所定の被写体距離範囲内において点像強度分布を略一定にすることができる。

点像強度分布の変化に伴い、鮮鋭度も変化する。点像の大きさが小さくなるほど画像の鮮鋭度が増すため、被写体距離と鮮鋭度の関係をグラフで示すと、図６のような関係になる。図６のグラフにおいて、Ｇ１、Ｒはそれぞれ画素Ｐ１（緑色の成分）、Ｐ３（赤色の成分）で生成された画像の所定領域の鮮鋭度を示しており、Ｇ２、Ｂはそれぞれ画素Ｐ２（緑色の成分）、Ｐ４（青色の成分）で生成された画像の所定領域の鮮鋭度を示している。

鮮鋭度は、所定の大きさの画像ブロック内において隣接する画素間の輝度値の差分に基づいて求めることができる。また、所定の大きさの画像ブロックの輝度分布をフーリエ変換した周波数スペクトルに基づいて求めることもできる。

所定の大きさのブロック内における鮮鋭度をＥとし、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４の成分毎に隣接する画素間の輝度値の差分に基づいて求める場合は、例えば（数１）を用いる。

前述の通り、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４は、ベイヤー配列を成しているため、それぞれの成分の鮮鋭度を求めるには、画像のｘ方向、ｙ方向共に１画素おきの画素情報を抽出して計算する。

（数１）においてΔｘ_i,jは、所定の大きさの画像ブロック内の座標（ｉ，ｊ）における画素の輝度値と座標（ｉ＋２，ｊ）の画素の輝度値との差分値であり、Δｙ_i,jは、所定の大きさの画像ブロック内の座標（ｉ，ｊ）における画素の輝度値と座標（ｉ，ｊ＋２）の画素の輝度値との差分値である。

（数１）の計算により、所定の大きさの画像ブロック内の輝度値の差が大きいほど、大きな鮮鋭度が得られる。

画像の鮮鋭度は前述の（数１）を用いて求めることもできるが、所定の大きさのブロック内における鮮鋭度をフーリエ変換した周波数スペクトルに基づいて求めることもできる。

図７（ａ）から（ｃ）は、１６×１６のサイズの画像ブロックの輝度分布を示している。図７（ａ）、（ｂ）、（ｃ）の順に鮮鋭度が小さくなっている。図７（ｄ）から（ｆ）は、図７（ａ）から（ｃ）のそれぞれに示す画像ブロックを２次元でフーリエ変換を行うことによって得られた周波数スペクトルを示す。図７（ｄ）から（ｆ）では、わかりやすくするために、各周波数スペクトルの強度を対数変換して表示しており、周波数スペクトルが強いほど明るく示されている。各周波数スペクトルにおいて中央の最も輝度の高い箇所が直流成分であり、周辺部に近づくほど周波数が高くなっている。

図７（ｄ）から（ｆ）では、画像の鮮鋭度が小さくなるほど高い周波数スペクトルが欠落していくことがわかる。従って、これらの周波数スペクトルから鮮鋭度を求めるには、例えば、周波数スペクトル全体あるいは一部を抽出することによって求めることができる。

カラー画像を生成する場合、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４の輝度情報を元に、画素位置毎に欠落した色情報を単に補完してカラー画像を生成してもよいが、図６のようにＧ２、Ｂの鮮鋭度は、Ｇ１、Ｒの鮮鋭度に比べて小さいので、Ｇ２、Ｂの鮮鋭度を鮮鋭化した後にカラー画像を生成してもよい。

図８は、Ｇ１、Ｒの鮮鋭度に基づいてＧ２、Ｂの鮮鋭度を鮮鋭化する方法について説明する図である。図８（ａ）は、被写体である白黒チャートであり、図８（ｂ）は、（ａ）の被写体の輝度の断面を示す図である。図８（ｂ）に示すように、チャートの輝度の断面はステップ状であるが、例えば、チャートを画素Ｐ１、Ｐ３に到達する光線が最も合焦する被写体位置から少しだけ手前にずれた所定の位置に配置して撮像すると、画像の輝度断面は、図８（ｃ）のようになる。図８（ｃ）のグラフにおいて、Ｇ１、Ｒはそれぞれ画素Ｐ１（緑色の成分）、Ｐ３（赤色の成分）で生成された画像の輝度断面であり、Ｇ２、Ｂはそれぞれ画素Ｐ２（緑色の成分）、Ｐ４（青色の成分）で生成された画像の輝度断面である。このように、Ｇ１、Ｒの輝度断面の方が、Ｇ２、Ｂの輝度断面より図８（ｂ）の実際のチャートの輝度断面に近く、鮮鋭度が高いと言える。

図８（ａ）のような白黒チャートを撮像した場合は、Ｇ１の輝度断面とＲの輝度断面はほぼ同じ断面となるが、実際にはあらゆる色成分の被写体画像を撮像するため、図８（ｃ）のＧ１、Ｒの輝度断面は、一致しない場合が殆どである。従って、Ｇ１、Ｒの輝度断面からそれぞれの鮮鋭度を検出し、鮮鋭度の高い色成分を選択して、Ｇ２、Ｂの輝度断面を鮮鋭化させてもよい。鮮鋭度の検出は、第１の信号処理部Ｃ１内の鮮鋭度検出部において行われる。鮮鋭度の高い輝度断面を選択し、その輝度断面を２回微分すると、図８（ｄ）の分布が得られ、鮮鋭度の高い色成分の画像のエッジを検出することができる。次に、図８（ｄ）の分布を図８（ｃ）のＧ２、Ｂのそれぞれの輝度分布から減じることにより、図８（ｅ）の分布が得られ、Ｇ２、Ｂの輝度分布を鮮鋭化することができる。ここで、図８（ｄ）の分布を減じる際、図８（ｄ）の分布に所定の係数を乗じた後に、図８（ｃ）のＧ２、Ｂの輝度分布から減じることにより、Ｇ２、Ｂの鮮鋭化の度合いを制御することができる。

本実施形態では、説明を簡単にするため、画像を鮮鋭化する説明を１次元で行っているが、画像は２次元であるため、実際は２次元で鮮鋭化処理を行う。

以上のような画像処理により、図６の実線で示したＧ２、Ｂの鮮鋭度は、破線で示したＧ２’、Ｂ’のように鮮鋭化させることができ、生成するカラー画像を鮮鋭化させることができる。

図９は、図１において光学領域Ｄ２の光学面を非球面形状から球面形状に置き換えた場合の被写体距離と鮮鋭度の関係を示すグラフである。このような場合でも図６の場合と同様に、カラー画像を鮮鋭化することができる。

図９においては、被写体距離によって鮮鋭度の高い色の成分が異なる。従って、Ｇ１、Ｇ２、Ｒ、およびＢの輝度断面からそれぞれの鮮鋭度を検出し、鮮鋭度の最も高い色成分を選択して、他の色成分を鮮鋭化させる。

以上のような画像処理により、図９に実線で示したＧ１、Ｇ２、Ｒ、およびＢの鮮鋭度は、それぞれ破線で示したＧ１’、Ｇ２’、Ｒ’、およびＢ’のように鮮鋭化させることができ、生成するカラー画像を鮮鋭化させることができる。

次に、他の画像鮮鋭化手法について説明する。図１０は、Ｇ２、Ｂの鮮鋭度を鮮鋭化したＧ２’、Ｂ’に基づいてＧ１、Ｒの鮮鋭度を鮮鋭化する方法について説明する図である。光学領域Ｄ１、Ｄ２の構成は図６の場合と同じであり、光学領域Ｄ２を通過した光線によって形成された点像強度分布は、所定の被写体距離範囲内において略一定となる。従って、画素Ｐ２（Ｇ２の成分）、Ｐ４（Ｂの成分）をそれぞれ抽出して形成された点像強度分布は、所定の被写体距離範囲内において略一定となる。所定の被写体距離範囲において点像強度分布が略一定であれば、画素Ｐ２（Ｇ２の成分）、Ｐ４（Ｂの成分）をそれぞれ抽出して形成された画像は、被写体距離にかかわらず、所定の点像強度分布に基づいて復元することが可能である。

以下に撮影画像を、予め記憶された点像強度分布関数に基づいて復元する方法について説明する。原画像をｆ（ｘ，ｙ）とし、点像強度分布をｈ（ｘ，ｙ）とすると、撮影画像ｇ（ｘ，ｙ）は、（数２）で表すことができる。

（数２）の両辺をフーリエ変換すると（数３）のようになる。

ここで、（数４）の逆フィルタＨｉｎｖ（ｕ，ｖ）を劣化画像Ｇ（ｕ，ｖ）に適用することによって、（数５）のように原画像の２次元フーリエ変換Ｆ（ｕ，ｖ）が求まる。これを逆フーリエ変換することによって、原画像ｆ（ｘ，ｙ）を復元画像として得ることができる。

しかし、Ｈ（ｕ，ｖ）が０あるいは極めて小さい値となるとＨｉｎｖ（ｕ，ｖ）が発散するため、（数６）のようなウィーナフィルタＨｗ（ｕ，ｖ）を用いて劣化画像を復元する。

（数６）においてＮ（ｕ，ｖ）はノイズである。通常はノイズと原画像Ｆ（ｕ，ｖ）は未知であるため、実際には定数ｋを用い（数７）のフィルタにて劣化画像を復元する。

このような復元フィルタにより、図１０の実線で示すＧ２、Ｂの鮮鋭度は、点線で示すＧ２’、Ｂ’のように鮮鋭化させることができる。このように、本実施形態によると、点像強度分布関数を用いて、光学領域Ｄ１に入射した光が到達する画素の輝度情報によって形成される画像の全領域の復元処理を行うことができる。一般的に点像強度分布関数は光学系の撮像位置に応じて変化するため、各撮像位置に対応した点像強度分布関数を用いてもよい。但し、点像強度分布関数が撮像位置にほとんど依存しない光学系の場合には、単一の点像強度分布関数で画像の全領域の復元処理を行うことができる。点像強度分布関数は予めメモリ等に保存しておく必要があるが、単一の点像強度分布を用いることにより、メモリの使用量を低減させることができる。さらに図８で示した方法と同様にして、Ｇ２’、Ｂ’の輝度断面（復元された鮮鋭化画像）から、所定領域ごとにそれぞれの鮮鋭度を検出し（鮮鋭度検出部）、鮮鋭度の高い色成分の輝度断面を２回微分し、Ｇ１、Ｒから減じることにより、Ｇ１、Ｒの鮮鋭度を、図１０の破線で示すＧ１’、Ｒ’のように向上させることができる。このように、鮮鋭度に基づいて他の画素の輝度情報の成分を鮮鋭化させることができる。

以上のような画像処理により、図１０の実線で示したＧ２、Ｂの鮮鋭度、およびＧ１、Ｒの鮮鋭度は、点線で示したＧ２’、Ｂ’および破線で示したＧ１’、Ｒ’のように向上し、生成するカラー画像を鮮鋭化させることができる。このような鮮鋭化処理によって、図６で示した鮮鋭化処理と比べて、被写界深度をさらに拡張することができる。

次に、具体的に被写体距離を求める方法について説明する。

図１で示した第１の信号処理部Ｃ１は、画素Ｐ１（Ｇ１の成分）からの輝度情報を抽出して得られる第１の画像Ｉ１（図１に示す）と、画素Ｐ２（Ｇ２の成分）からの輝度情報を抽出して得られる第２の画像Ｉ２とを出力する。２つの光学領域Ｄ１、Ｄ２の光学特性は互いに異なるため、第１、第２の画像Ｉ１、Ｉ２の画像の鮮鋭度（輝度を用いて算出される値）は、被写体距離によって異なる。記憶部Ｍｅ（図１に示す）には、光学領域Ｄ１、Ｄ２のそれぞれを通過した光の鮮鋭度と被写体距離との相関関係が記憶されている。第２の信号処理部Ｃ２（図１に示す）において、第１、第２の画像Ｉ１、Ｉ２の鮮鋭度と上記相関関係とに基づいて、被写体までの距離を得ることができる。

ここで図６および図１０におけるＺの範囲は、Ｇ１が変化し、かつＧ２がほとんど変化しない領域を示している。Ｚの範囲では、このような関係を利用して被写体距離を求めることができる。例えば、Ｚの範囲では、被写体距離と、鮮鋭度Ｇ１とＧ２の比に相関があるため、予め被写体距離と、鮮鋭度Ｇ１、Ｇ２の比との相関関係を記憶部Ｍｅに記憶しておく。

撮像装置の使用時には、１回の撮像の結果得られるデータのうち、画素Ｐ１（Ｇ１の成分）のみで生成された第１の画像Ｉ１と画素Ｐ２（Ｇ２の成分）のみで生成された第２の画像Ｉ２との鮮鋭度の比を各演算ブロック毎に求める。そして、記憶部Ｍｅに記憶されている相関関係を利用して、被写体距離を求めることができる。具体的には、各演算ブロック毎に、上記相関関係における鮮鋭度の比と、第１の画像Ｉ１と第２の画像Ｉ２との鮮鋭度の比の値とを比較する。そして、両者が一致する値に対応する被写体距離を、撮影時の被写体までの距離とする。

画素Ｐ１のみで生成された第１の画像Ｉ１の鮮鋭度と画素Ｐ２のみで生成された第２の画像Ｉ２の鮮鋭度との比から被写体距離を一意的に求めるためには、鮮鋭度の比が、所定の被写体距離範囲内で全て異なっている必要がある。

図６、図９および図１０においては、Ｚの範囲内で、鮮鋭度の比が全て異なっているため、被写体距離を一意的に求めることができる。また、鮮鋭度の値が低すぎると比を求めることができないため、鮮鋭度の値は一定値以上であってよい。

なお、被写体距離と鮮鋭度の関係は、光学領域Ｄ１、Ｄ２の曲率半径や非球面係数や屈折率によって決まる。つまり、光学領域Ｄ１、Ｄ２は、第１の画像Ｉ１の鮮鋭度と第２の画像Ｉ２の鮮鋭度との比が、所定の距離範囲内で全て異なるような光学特性を有している必要がある。

なお、本実施形態では、輝度を用いて算出される値（輝度情報）であれば、鮮鋭度以外の値、例えばコントラストを用いて被写体距離を求めてもよい。コントラストは、例えば、所定の演算ブロック内における最大輝度値と最低輝度値の比から求めることができる。鮮鋭度は輝度値の差分であるのに対し、コントラストは輝度値の比である。最大輝度値である一点と最低輝度値である一点との比からコントラストを求めてもよいし、例えば輝度値の上位数点の平均値と、輝度値の下位数点の平均値との比からコントラストを求めてもよい。被写体距離がある一定の範囲内にある場合、第１の画像Ｉ１のコントラストと、第２の画像Ｉ２のコントラストとは、被写体距離と相関関係を有している。コントラストを用いて被写体距離を求める場合も、鮮鋭度の場合と同様に、予め被写体距離と、コントラストの比との相関関係を記憶部Ｍｅに記憶させておく。この場合、第１の信号処理部Ｃ１は、画素Ｐ１によって得られた第１の画像Ｉ１のコントラストと、画素Ｐ２によって得られた第２の画像Ｉ２のコントラストとを検出するコントラスト検出部を備えている。各演算ブロック毎に第１の画像Ｉ１と第２の画像Ｉ２とのコントラストの比を求めることにより、相関関係を利用して被写体距離を求めることができる（第２の信号処理部Ｃ２）。

また、本実施形態では、鮮鋭度やコントラスト以外の値、例えば点像強度分布を用いて被写体距離を求めてもよい。以下に第１の画像Ｉ１と第２の画像Ｉ２から点像強度分布を求める方法について説明する。

前述の（数７）を用いて、画素Ｐ２（Ｇ２の成分）のみで生成された第２の画像Ｉ２を復元すると、元画像ｆ（ｘ，ｙ）に極めて近い復元画像ｉ２’（ｘ，ｙ）が求まる。ここで、画素Ｐ１（Ｇ１の成分）のみで生成された第１の画像をｉ１（ｘ，ｙ）とし、光学領域Ｄ１を通過する光線による点像強度分布をｈ１（ｘ，ｙ）とすると、ｉ１（ｘ，ｙ）は（数８）で表すことができる。

（数８）の両辺をフーリエ変換すると（数９）のようになる。

（数９）を変形すると、（数１０）のように、点像強度分布ｈ１（ｘ，ｙ）の周波数領域の値Ｈ１（ｕ，ｖ）が求められる。

これを逆フーリエ変換することによって、光学領域Ｄ１を通過する光線による点像強度分布ｈ１（ｘ，ｙ）を求めることができる。

光学領域Ｄ１を通過する光線による点像強度分布ｈ１（ｘ，ｙ）は、被写体距離によって変化するため、被写体距離がある一定の範囲内にある場合、点像強度分布ｈ１（ｘ，ｙ）と被写体距離とは相関を有する。この相関関係を利用して被写体距離を求めることができる。

点像強度分布を代表的な数値で表す場合、例えば点像強度分布の直径を用いることができる。鮮鋭度やコントラストの場合と同様に、予め被写体距離と、点像の直径との相関関係を記憶部Ｍｅに記憶させておく。各ブロック毎に第１の画像Ｉ１と第２の画像Ｉ２から点像強度分布を求め、点像強度分布から点像の直径を求めることにより、相関関係を利用して被写体距離を求めることができる。点像の直径は、例えば、点像強度分布の半値幅から求めることができる。

本実施形態は、図９のように各光学領域の曲率半径を互いに異ならせた場合において、第１の画像Ｉ１および第２の画像Ｉ２を加算した画像を生成する構成を備えていてもよい。第１の画像Ｉ１および第２の画像Ｉ２の加算によって生成された画像において鮮鋭度が一定の値以上になる距離範囲は第１の画像Ｉ１および第２の画像Ｉ２よりも大きい。この場合、加算によって生成された画像の鮮鋭度と、第１の画像Ｉ１または第２の画像Ｉ２のいずれかの画像の鮮鋭度との比は、被写体距離と相関関係を有する。この相関関係をあらかじめ記憶しておくことにより、画像の所定領域毎に被写体距離を求めることができる。

なお、本実施の形態の撮像装置の光学系は、像側テレセントリック光学系であるってもよい。これにより画角が変化しても、アレイ状光学素子Ｋの主光線入射角は、０度に近い値で入射するため、撮像領域全域にわたって、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４に到達する光束間のクロストークを低減することができる。

また、前述の通り本実施の形態では、説明を簡略化するためにレンズＬ２を理想レンズとして説明したが、必ずしも理想レンズを用いなくてもよい。例えば、理想レンズでないレンズは軸上色収差を有しているが、前述の通り、鮮鋭度の高い色成分を選択して他の色成分を鮮鋭化させることができるため、理想レンズでなくても、鮮鋭度のカラー画像を生成することができる。また、被写体距離を求める場合は、単一の色成分（本実施の形態では緑色の成分）に基づいて距離を求めるので、軸上色収差を有していてもよい。

また、本実施の形態では光学素子Ｌ１とレンズＬ２は分離しているが、レンズＬ２に光学領域Ｄ１、Ｄ２を設け、光学素子Ｌ１を除去した構成であってもよい。この場合、絞りＳはレンズＬ２の光学領域Ｄ１、Ｄ２の近傍に配置する構成してもよい。

以上のように、本実施形態では、単一の撮像系を用いた１回の撮像によって、カラー画像と被写体距離の両方を取得することができる。すなわち、本実施形態にかかる撮像装置を用いて１回撮像することにより、カラー画像出力及び被写体距離測定のための輝度情報を取得することができる。そして、当該輝度情報を用いて、カラー画像及び被写体距離の両方を取得することができる。被写体距離については、各演算ブロック毎に算出することができるため、カラー画像の任意の画像位置の被写体距離を取得することができる。従って、画像全域の被写体距離マップを取得することもできる。また、単一の撮像系により被写体までの距離を得ることができるため、複数の撮像光学系を用いた撮像装置のように、複数の撮像光学系間の特性や位置を揃える必要がない。また、本実施形態の撮像装置を用いて動画を撮影した場合、時間の経過によって被写体の位置に変化が生じても、被写体までの正確な距離を測定することができる。

本実施形態によると、画素がベイヤー配列によって配列されているため、一般的なカラー撮像素子をそのまま使用することができ、専用のカラーフィルタ配列の撮像素子を新規に開発する必要がなく、初期投資を抑えることができる。

（実施の形態２）
本実施の形態２は、光学素子Ｌ１の光学領域の分割の面積を異ならせた点と、アレイ状光学素子をレンチキュラからマイクロレンズに置き換えた点で、実施の形態１と異なっている。ここでは、本実施形態において実施の形態１と同様の内容についての詳細な説明は省略する。

図１１は、光学素子Ｌ１を被写体側から見た正面図であり、光学素子Ｌ１は、光学領域Ｄ１とＤ２に分割されている。また、光学領域Ｄ２はさらに、光学領域ｄ２Ａ、ｄ２Ｂおよびｄ２Ｃに分割されている。図１１に示すように、光学領域Ｄ１、ｄ２Ａ、ｄ２Ｂおよびｄ２Ｃは、光軸Ｖを境界中心として、光軸Ｖに垂直な面内で上下左右に４分割されている。光学領域Ｄ１とＤ２は、それぞれの領域を通過した光線による合焦特性を互いに異ならせる光学特性を有する。

図１２は、アレイ状光学素子Ｋの斜視図である。アレイ状光学素子Ｋにおける撮像素子Ｎ側の面には、光学要素Ｍ２が格子状に配置されている。それぞれの光学要素Ｍ２の断面（縦方向および横方向それぞれの断面）は円弧状であり、それぞれの光学要素Ｍ２は、撮像素子Ｎ側に突出している。このように、光学要素Ｍ２はマイクロレンズであり、アレイ状光学素子Ｋは、マイクロレンズアレイとなっている。

図１３（ａ）は、アレイ状光学素子Ｋと撮像素子Ｎとを拡大して示す図であり、図１３（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。アレイ状光学素子Ｋは、実施の形態１と同様に、レンズ光学系Ｌの焦点近傍に配置されており、かつ撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。また、撮像面Ｎｉ上には、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４の表面を覆うようにマイクロレンズＭｓが設けられている。

画素Ｐ１、Ｐ２、Ｐ３、およびＰ４には、実施の形態１の画素Ｐ１、Ｐ２、Ｐ３、およびＰ４と同じ分光透過率特性を有するフィルタがそれぞれ備えられている。

また、アレイ状光学素子Ｋは、光学要素Ｍ２が形成された面が撮像面Ｎｉ側に向かうように配置されている。アレイ状光学素子Ｋは、その光学要素Ｍ２の１つが、撮像面Ｎｉにおける２行２列の画素Ｐ１〜Ｐ４（画素群Ｐｇ）の４つの画素に対応するように配置されている。

このような構成により、図１１に示す光学素子Ｌ１上の光学領域Ｄ１、ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃを通過した光束（の大部分）は、それぞれ撮像面Ｎｉ上の画素Ｐ１、画素Ｐ２、画素Ｐ３、および画素Ｐ４に到達する。

本実施の形態においては、光学領域Ｄ１を通過した光が画素Ｐ１に到達し、光学領域Ｄ２（ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃ）を通過した光が画素Ｐ２、Ｐ３、Ｐ４に到達する。実施の形態１、２のいずれにおいても、アレイ状光学素子Ｋは、画素Ｐ３に、光学領域Ｄ１、Ｄ２のうちのいずれか一方を通過した光を入射させ、画素Ｐ４に、光学領域Ｄ１、Ｄ２のうちのいずれか一方を通過した光を入射させている点は同じである。ただし、実施の形態１においては、光学領域Ｄ１、Ｄ２のうちの一方を通過した光が画素Ｐ３に到達し、他方が画素Ｐ４に到達するのに対し、本実施の形態２においては、光学領域Ｄ１、Ｄ２のうちの一方を通過した光が画素Ｐ３、Ｐ４の両方に到達する。

実施の形態１、２において、アレイ状光学素子Ｋは、画素Ｐ３に、光学領域Ｄ１、Ｄ２のうちのいずれか一方を通過した光のみを入射させ、画素Ｐ４に、光学領域Ｄ１、Ｄ２のうちのいずれか一方を通過した光のみを入射させてもよい。ただし、光学領域Ｄ１、ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃを通過した光束の一部は、撮像面Ｎｉにおける画素以外の領域や、隣の画素などに入射する可能性がある。したがって、本明細書および請求の範囲において、例えば、「画素Ｐ３に光学領域Ｄ１を通過した光のみを入射させる」とは、画素Ｐ３に光学領域Ｄ２からの光が全く入射しないことを意味するのではなく、画素Ｐ３に入射する光の大部分（例えば８０％以上）が光学領域Ｄ１からの光であることを示すものとする。

実施の形態１と同様に、第１の信号処理部Ｃ１により、複数の画素Ｐ１、Ｐ２、Ｐ３およびＰ４の輝度情報を用いてカラー画像を生成する。以下に、具体的にカラー画像を生成する方法について説明する。

図１１において、光学領域Ｄ１は非球面を有し、光学領域Ｄ２（ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃ）における表面を平面とする。また、説明を簡略化するため、レンズＬ２は収差のない理想レンズであるものとして説明する。

光学領域Ｄ１の非球面形状により、実施の形態１と同様にレンズ光学系Ｌの焦点近傍の所定の範囲内において、光学領域Ｄ１を通過した光線による点像強度分布を略一定にすることができる。すなわち、所定の被写体距離範囲内において点像強度分布を略一定にすることができる。

また、光学領域Ｄ２は平面を有するため、実施の形態１と同様に球面収差は生じない。球面収差がない場合、焦点からずれるに従って点像強度分布が変化する。すなわち、被写体距離の変化に伴い点像強度分布は変化する。

実施の形態１と同様に、被写体距離と鮮鋭度の関係をグラフで示すと、図１４のような関係になる。図１４のグラフにおいて、Ｇ１は画素Ｐ１（緑色の成分）で生成された画像の所定領域の鮮鋭度を示しており、Ｇ２、Ｒ、およびＢは、それぞれ画素Ｐ２（緑色の成分）、Ｐ３（赤色の成分）およびＰ４（青色の成分）で生成された画像の所定領域の鮮鋭度を示している。

カラー画像を生成する場合、実施の形態１と同様に、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４の輝度情報を元に、画素位置毎に欠落した色情報を単に補完してカラー画像を生成してもよいが、図１４のようにＧ１の鮮鋭度は、Ｇ２、Ｒ、およびＢの鮮鋭度に比べて小さいので、図８で説明した方法と同様に、Ｇ１の鮮鋭度を鮮鋭化した後にカラー画像を生成してもよい。

以上のような画像処理により、図１４の実線で示したＧ１の鮮鋭度は、破線で示したＧ１’のように鮮鋭化させることができ、生成するカラー画像を鮮鋭化させることができる。

図１５は、図１４において光学領域Ｄ１の光学面を非球面形状から球面形状に置き換えた場合の被写体距離と鮮鋭度の関係を示すグラフである。このような場合でも図１４の場合と同様に、カラー画像を鮮鋭化することができる。

本実施形態では、図１５に示すように、被写体距離によって鮮鋭度の高い色の成分が異なる。従って、Ｇ１、Ｇ２、Ｒ、およびＢの輝度断面からそれぞれの鮮鋭度を検出し、鮮鋭度の最も高い色成分を選択して、他の色成分を鮮鋭化させる。

以上のような画像処理により、図１５の実線で示したＧ１、Ｇ２、Ｒ、およびＢの鮮鋭度は、それぞれ破線で示したＧ１’、Ｇ２’、Ｒ’、およびＢ’のように鮮鋭化させることができ、生成するカラー画像を鮮鋭化させることができる。

次に、他の画像鮮鋭化手法について説明する。図１６は、Ｇ１の鮮鋭度を鮮鋭化したＧ１’に基づいてＧ２、Ｒ、Ｂの鮮鋭度を鮮鋭化する方法について説明する図である。光学領域Ｄ１の構成は図１４の場合と同じであり、光学領域Ｄ１を通過した光線によって形成された点像強度分布は、所定の被写体距離範囲内において略一定となる。従って、画素Ｐ１（Ｇ１の成分）を抽出して形成された点像強度分布は、所定の被写体距離範囲内において略一定となる。所定の被写体距離範囲において点像強度分布が略一定であれば、画素Ｐ１（Ｇ１の成分）を抽出して形成された画像は、被写体距離にかかわらず、所定の点像強度分布に基づいて復元することが可能である。

実施の形態１で説明した復元フィルタにより、図１６の実線で示すＧ１の鮮鋭度は、点線で示すＧ１’のように鮮鋭化させることができる。さらに図８で示した方法と同様にして、Ｇ１’の輝度断面を２回微分し、Ｇ２、Ｒ、およびＢから減じることにより、Ｇ２、Ｒ、およびＢの鮮鋭度が鮮鋭化され、図１６の破線で示すＧ２’、Ｒ’、およびＢ’のように鮮鋭化させることができる。

なお、実施の形態１、２では光学素子Ｌ１とレンズＬ２は分離しているが、レンズＬ２に光学領域Ｄ１、Ｄ２を設け、光学素子Ｌ１を除去した構成であってもよい。この場合、絞りＳはレンズＬ２の光学領域Ｄ１、Ｄ２の近傍に配置する構成であってもよい。

また、前述の通り、本実施の形態では、説明を簡略化するためにレンズＬ２を理想レンズとして説明したが、必ずしも理想レンズを用いなくてもよい。例えば、理想レンズでないレンズは軸上色収差を有しているが、軸上色収差を光学素子Ｌ１で補正する構成であってもよい。本実施の形態では、図１１において、光学素子Ｌ１の光学領域Ｄ２（ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃ）は全て平面を有するとしているが、それぞれ異なる光学面を有することにより、軸上色収差を補正することができる。前述の通り、光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃを通過した光線はそれぞれ、画素Ｐ２、画素Ｐ３、および画素Ｐ４に到達する。画素Ｐ２、画素Ｐ３、および画素Ｐ４は、それぞれ緑色、赤色、および青色の波長成分の光を主に通過するフィルタを有しているので、レンズＬ２に軸上色収差を有するレンズを適用する場合、光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃの各光学面は、各画素に設けられたフィルタの波長帯域の光の合焦位置が等しくなるように、それぞれの光学面上の光学パワーを異ならせてもよい。このような構成により、光学領域ｄ２Ａ、ｄ２Ｂおよびｄ２Ｃが等しい光学パワーを有する場合と比較して、光学領域ｄ２Ａ、ｄ２Ｂおよびｄ２Ｃを透過した光の合焦位置を互いに近づけることができるため、レンズＬ２で生じる軸上色収差を光学素子Ｌ１によって補正することができる。軸上色収差を光学素子Ｌ１によって補正することにより、レンズＬ２を構成するレンズ枚数を削減することができ、光学系を小型化することができる。

以上のような画像処理により、図１６の実線で示したＧ１の鮮鋭度、およびＧ２、Ｒ、Ｂの鮮鋭度は、点線で示したＧ１’、および破線で示したＧ２’、Ｒ’、Ｂ’のように鮮鋭化させることができ、生成するカラー画像を鮮鋭化させることができる。このような鮮鋭化処理によって、図１４で示した鮮鋭化処理と比べて、被写界深度を拡張することができる。

本実施の形態では、実施の形態１に対して、鮮鋭度Ｇ１と鮮鋭度Ｇ２の関係が逆転しているだけであって、被写体までの距離を測る方法は同様に実施することができる。

以上のように、本実施形態では、実施の形態１と同様に単一の撮像系を用いた１回の撮像によって、カラー画像と被写体距離の両方を取得することができる。

（実施の形態３）
本実施の形態３は、レンチキュラレンズやマイクロレンズアレイを撮像面上に形成したという点で、実施の形態１、２と異なる。ここでは、本実施形態において実施の形態１と同様の内容についての詳細な説明は省略する。

図１７（ａ）および（ｂ）は、アレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図である。本実施形態では、レンチキュラレンズ（またはマイクロレンズアレイ）Ｍｄが、撮像素子Ｎの撮像面Ｎｉ上に形成されている。撮像面Ｎｉには、実施の形態１等と同様に、画素Ｐが行列状に配置されている。これら複数の画素Ｐに対して、１つのレンチキュラレンズの光学要素あるいは、１つのマイクロレンズの光学要素が対応している。本実施の形態においても、実施の形態１、２と同様に、光学素子Ｌ１上の異なる領域を通過した光束を、それぞれ異なる画素に導くことができる。また、図１７（ｂ）は、本実施形態の変形例を示す図である。図１７（ｂ）に示す構成では、撮像面Ｎｉ上に、画素Ｐを覆うようにマイクロレンズＭｓが形成され、マイクロレンズＭｓの表面上にアレイ状光学素子Ｋが積層されている。図１７（ｂ）に示す構成では、図１７（ａ）の構成よりも集光効率を高めることができる。

（実施の形態４）
本実施の形態４は、光学素子Ｌ１の各光学領域の境界部に遮光部材を配置したという点で、実施の形態１、２、および３と異なる。ここでは、本実施形態において実施の形態１と同様の内容についての詳細な説明は省略する。

図１８（ａ）は、実施の形態１の光学領域Ｄ１、Ｄ２の境界部に遮光部材Ｑを配置した正面図である。また、図１８（ｂ）は、実施の形態２の光学領域Ｄ１、Ｄ２の境界部に遮光部材Ｑを配置した正面図である。また、図１８（ｃ）は、実施の形態２の光学領域Ｄ１、ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃの境界部に遮光部材Ｑを配置した正面図である。

各領域の境界部では、形状が不連続に変化するため、境界部では段差が生じ、不要な光が発生する場合がある。したがって、各境界部に遮光部材Ｑを配置することにより、不要な光の発生を抑制することができる。遮光部材Ｑとしては、例えば、カーボンブラックを練りこんだポリエステルフィルム等を用いればよい。遮光部材Ｑは絞りと一体的に形成されていてもよい。

また、図１８（ａ）、（ｃ）には、線状の遮光部材Ｑを用いることにより、遮光部材Ｑによって区切られる領域の形状が半円または扇形になる形態を示している。本実施形態においては、光を透過させる領域に円形や楕円形、または矩形などの形の開口を有する遮光部材を用いることにより、遮光部材Ｑによって区切られる各領域を、円形や楕円、あるいは矩形にしてもよい。

（実施の形態５）
図１９は、実施の形態５の撮像装置Ａを示す模式図である。本実施形態の撮像装置Ａは、Ｖを光軸とするレンズ光学系Ｌと、レンズ光学系Ｌの焦点近傍に配置されたアレイ状光学素子Ｋと、撮像素子Ｎと、第２の信号処理部Ｃ２と、第３の信号処理部Ｃ３と、記憶部Ｍｅを備える。

レンズ光学系Ｌは、互いに合焦特性を異ならせる光学特性を有する２つの光学領域Ｄ１、Ｄ２を有し、被写体（図示せず）からの光束Ｂ１、Ｂ２が入射する光学素子Ｌ１と、光学素子Ｌ１を通過した光が入射する絞りＳと、絞りＳを通過した光が入射するレンズＬ２とから構成されている。光学素子Ｌ１は、絞りＳの近傍に配置されていてもよい。

図２０は、光学素子Ｌ１を被写体側から見た正面図である。光学素子Ｌ１における光学領域Ｄ１とＤ２は、光軸Ｖを境界中心として、光軸Ｖに垂直な面内で上下に２分割されている。図２０において、破線ｓは、絞りＳの位置を示している。図１９において、光束Ｂ１は、光学素子Ｌ１上の光学領域Ｄ１を通過する光束であり、光束Ｂ２は、光学素子Ｌ１上の光学領域Ｄ２を通過する光束である。光束Ｂ１、Ｂ２は、光学素子Ｌ１、絞りＳ、レンズＬ２、アレイ状光学素子Ｋをこの順に通過し、撮像素子Ｎ上の撮像面Ｎｉ（図２２等に示す）に到達する。

図２１は、アレイ状光学素子Ｋの斜視図である。アレイ状光学素子Ｋにおける撮像素子Ｎ側の面には、光軸Ｖに垂直な面内で横方向に長細い複数の光学要素Ｍ１が縦方向に配置されている。それぞれの光学要素Ｍ１の断面（縦方向の断面）は、撮像素子Ｎ側に突出した円弧状の形状を有する。このように、アレイ状光学素子Ｋは、レンチキュラレンズの構成を有する。

図１９に示すように、アレイ状光学素子Ｋは、レンズ光学系Ｌの焦点近傍に配置されており、撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。実際には、光学素子Ｌ１における光学特性がレンズ光学系Ｌ全体としての合焦特性に影響を与えるが、アレイ状光学素子Ｋが配置される位置は、例えば、レンズＬ２の焦点を基準にして決定すればよい。なお、本実施形態において、「合焦特性が異なる」とは、その光学系において光の集光に寄与する特性の少なくとも１つが異なることをいい、具体的には、焦点距離、焦点が合う被写体までの距離、鮮鋭度が一定の値以上となる距離範囲などが異なることをいう。光学領域Ｄ１、Ｄ２における曲率半径や非球面係数や屈折率を調整することにより、レンズ光学系Ｌの合焦特性を異なるものとすることができる。

本実施形態では、２つの光学領域Ｄ１、Ｄ２を通過した光は、レンズＬ２を通過した後、アレイ状光学素子Ｋに入射する。アレイ状光学素子Ｋは、光学領域Ｄ１を通過した光を撮像素子Ｎにおける画素Ｐ１（図２２等に示す）に、光学領域Ｄ２を通過した光を撮像素子Ｎにおける画素Ｐ２に入射させる。

図２２（ａ）は、図１９に示すアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、図２２（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。アレイ状光学素子Ｋは、光学要素Ｍ１が形成された面が撮像面Ｎｉ側に向かうように配置されている。撮像面Ｎｉには、画素Ｐが行列状に配置されている。画素Ｐは画素Ｐ１およびＰ２に区別できる。

画素Ｐ１は、横方向（行方向）に１行に並んで配置されている。縦方向（列方向）において、画素Ｐ１は１つおきに配置されている。また、画素Ｐ２は、横方向（行方向）に１行に並んで配置されている。縦方向（列方向）において、画素Ｐ２は１つおきに配置されている。また、画素Ｐ１の行と画素Ｐ２の行は、縦方向（列方向）に交互に配置されている。

アレイ状光学素子Ｋは、その光学要素Ｍ１の１つが、撮像面Ｎｉ上における１行の画素Ｐ１および１行の画素Ｐ２からなる２行の画素に対応するように配置されている。撮像面Ｎｉ上には、画素Ｐ１およびＰ２の表面を覆うようにマイクロレンズＭｓが設けられている。

アレイ状光学素子Ｋは、光学素子Ｌ１上の光学領域Ｄ１（図１９、図２０に示す）を通過した光束Ｂ１（図１９において実線で示される光束Ｂ１）の大部分が、撮像面Ｎｉ上の画素Ｐ１に到達し、光学領域Ｄ２を通過した光束（図１９において破線で示される光束Ｂ２）の大部分が、撮像面Ｎｉ上の画素Ｐ２に到達するように設計されている。具体的には、アレイ状光学素子Ｋの屈折率、撮像面Ｎｉからの距離及び光学要素Ｍ１表面の曲率半径等のパラメータを適切に設定することで、上記構成が実現する。

絞りＳは全ての画角の光束が通過する領域である。従って、絞りＳの近傍に合焦特性を制御する光学特性を有する面を挿入することにより、全ての画角の光束の合焦特性を同様に制御することができる。すなわち、本実施形態では、光学素子Ｌ１は、絞りＳの近傍に設けられていてもよい。互いに合焦特性を異ならせる光学特性を有する光学領域Ｄ１、Ｄ２を、絞りＳの近傍に配置することによって、領域の分割数に応じた合焦特性を光束に与えることができる。

図１９においては、光学素子Ｌ１を通過した光が、直接（他の光学部材を介することなく）、絞りＳに入射する位置に設けられている。光学素子Ｌ１は、絞りＳよりも撮像素子Ｎ側に設けられていてもよい。この場合、光学素子Ｌ１は、絞りＳとレンズＬ２との間に設けられており、絞りＳを通過した光が、直接（他の光学部材を介することなく）、光学素子Ｌ１に入射してもよい。

また、アレイ状光学素子Ｋは、光線の入射角に応じて出射方向を振り分ける機能を有する。そのため、絞りＳの近傍で分割された光学領域Ｄ１、Ｄ２に対応するように、撮像面Ｎｉ上の画素に光束を振り分けることができる。

図２３は、本実施形態の信号処理部の処理内容を説明するフローチャートである。信号処理部はリフォーカス画像を生成する機能を有する。ここで、リフォーカスとは、撮像装置によって得られた画像（撮像画像）を用い、所望の（任意の）被写体距離にある被写体に焦点を合わせた画像を再構成することである。なお、「被写体距離」とは、撮像装置から被写体までの距離のことを言う。リフォーカスを行うことにより、画像において、所望の被写体距離にある被写体の鮮鋭度が、その周囲の領域の鮮鋭度よりも高い状態になる。また、リフォーカス画像とは、所望の被写体距離にある被写体の鮮鋭度が、その周囲の領域の鮮鋭度よりも高い状態にある画像である。

図２３に示すように、まず、ステップＳＴ１において、撮像素子Ｎから得られた画像の輝度情報を求め、必要に応じて画像を鮮鋭化する。ここで、「輝度情報」の具体的な例は、鮮鋭度、コントラストまたは点像強度分布である。なお、図１９に示すように、撮像素子Ｎから得られた画像は、第１の画素Ｐ１による第１の画像Ｉ１と、第２の画素Ｐ２による第２の画像Ｉ２とに分けられる。本ステップＳＴ１においては、これら２つの画像Ｉ１、Ｉ２の輝度情報が求められる。

次に、ステップＳＴ２において、輝度情報を用い、画像の所定領域ごとに被写体までの距離を算出し、デプスマップを作成する。

次に、ステップＳＴ３において、焦点を合わせたい位置（ベストフォーカス位置）に基づいて、被写体位置ごとにＰＳＦを生成をする。ベストフォーカス位置は、ユーザーが撮像装置Ａの外部から入力してもよいし、撮像装置Ａ内の第２の信号処理部Ｃ２が決定してもよい。

最後に、ステップＳＴ４において、鮮鋭化画像にデスプマップを基に決定したＰＳＦを畳み込み、任意の位置のリフォーカス画像を生成する。例えば、ステップＳＴ１からＳＴ３は第２の信号処理部Ｃ２で実施し、ステップＳＴ４は第３の信号処理部Ｃ３で実施する。なお、ステップＳＴ１における画像の鮮鋭化ステップと、ステップＳＴ２、ＳＴ３とは適宜入れ替えてもよい。以下、フローチャートの各項目を具体的に説明する。

まず、ステップＳＴ１について説明する。なお、以下では、「輝度情報」が鮮鋭度である場合を例として説明を行う。

図１９の撮像装置Ａの光学系においては、光学領域Ｄ１が平面を有し、光学領域Ｄ２が非球面形状を有する。また、説明を簡略化するため、レンズＬ２は収差のない理想レンズであるものとして説明する。

光学領域Ｄ１の表面は平面であるため、図２４の実線で示すように、光学領域Ｄ１とレンズＬ２を通過した光線によって、球面収差は生じない。球面収差がない場合、焦点からずれるに従って点像強度分布が変化する。すなわち、被写体距離の変化に伴い点像強度分布は変化する。

また、光学領域Ｄ２の非球面形状により、光学領域Ｄ２とレンズＬ２を通過した光線による球面収差は、図２４の破線で示すグラフのようになる。光学領域Ｄ２の非球面形状を調整することで、このような球面収差を与えることができる。このような球面収差により、レンズ光学系Ｌの焦点近傍の所定の範囲内において、光学領域Ｄ２を通過した光線による点像強度分布を略一定にすることができる。すなわち、所定の被写体距離範囲内において点像強度分布を略一定にすることができる。

点像強度分布の変化に伴い、鮮鋭度も変化する。点像の大きさが小さくなるほど画像の鮮鋭度が増すため、被写体距離と鮮鋭度の関係をグラフで示すと、図２５のような関係になる。図２５のグラフにおいて、Ｇ１は画素Ｐ１によって得られた画像（第１の画像Ｉ１）の所定領域の鮮鋭度を示しており、Ｇ２は画素Ｐ２によって得られた画像（第２の画像Ｉ２）の所定領域の鮮鋭度を示している。

鮮鋭度は、所定の大きさの画像ブロック内において隣接する画素間の輝度値の差分に基づいて求めることができる。また、所定の大きさの画像ブロックの輝度分布をフーリエ変換した周波数スペクトルに基づいて求めることもできる。

所定の大きさのブロック内における鮮鋭度をＥとし、隣接する画素間の輝度値の差分に基づいて求める場合は、例えば（数１１）を用いる。

（数１１）においてΔｘi,jは、所定の大きさの画像ブロック内の座標（ｉ，ｊ）における画素の輝度値と座標（ｉ＋１，ｊ）の座標の画素の輝度値との差分値であり、Δｙi,jは、所定の大きさの画像ブロック内の座標（ｉ，ｊ）における画素の輝度値と座標（ｉ，ｊ＋２）の座標の画素の輝度値との差分値であり、ｋは係数である。Δｙi,jのｙ方向の輝度値が座標ｊおよび座標ｊ＋２を用いて計算されているのは、画素Ｐ１、Ｐ２のそれぞれにおいて得られる画像では、縦方向（ｙ方向）の輝度情報が１画素おきに形成されるためである。Δｙi,jには所定の係数（例えばｋ＝０．５）を乗じることが望ましい。

第１、第２の画像Ｉ１、Ｉ２のそれぞれでは、ｙ方向の画像の輝度情報は、１画素おきに欠落している。欠落している画素の輝度情報を、ｙ方向に隣接する画素の輝度情報によって補間して生成してもよい。例えば、画像において、座標（ｉ，ｊ＋１）の輝度情報が欠落している場合、座標（ｉ，ｊ）と座標（ｉ，ｊ＋２）の輝度情報を平均して座標（ｉ，ｊ＋１）を補間すればよい。座標（ｉ，ｊ＋１）の鮮鋭度Ｅを（数１）によって求める場合には、ｋ＝１とすればよく、Δｙi,jは、所定の大きさの画像ブロック内の座標（ｉ，ｊ）における画素の輝度値と座標（ｉ，ｊ＋１）の座標の画素の輝度値（座標（ｉ，ｊ＋２）の輝度情報によって補間された値）との差分値となる。（数２）の計算により、所定の大きさの画像ブロック内の輝度値の差が大きいほど、大きな鮮鋭度が得られる。

画像の鮮鋭度は前述の（数１１）を用いて求めることもできるが、所定の大きさのブロック内における鮮鋭度をフーリエ変換した周波数スペクトルに基づいて求めることもできる。

図２６（ａ）から（ｃ）は、１６×１６のサイズの画像ブロックの輝度分布を示している。図２６（ａ）、（ｂ）、（ｃ）の順に鮮鋭度が小さくなっている。図２６（ｄ）から（ｆ）は、図２６（ａ）から（ｃ）のそれぞれに示す画像ブロックを２次元でフーリエ変換を行うことによって得られた周波数スペクトルを示す。図２６（ｄ）から（ｆ）では、わかりやすくするために、各周波数スペクトルの強度を対数変換して表示しており、周波数スペクトルが強いほど明るく示されている。各周波数スペクトルにおいて中央の最も輝度の高い箇所が直流成分であり、周辺部に近づくほど周波数が高くなっている。

図２６（ｄ）から（ｆ）では、画像の鮮鋭度が小さくなるほど高い周波数スペクトルが欠落していくことがわかる。従って、これらの周波数スペクトルから鮮鋭度を求めるには、例えば、周波数スペクトル全体あるいは一部を抽出することによって求めることができる。

図２７は、Ｇ１の鮮鋭度に基づいてＧ２の鮮鋭度を鮮鋭化する方法について説明する図である。図２７（ａ）は、被写体である白黒チャートであり、図２７（ｂ）は、（ａ）の被写体の輝度の断面を示す図である。図２７（ｂ）に示すように、チャートの輝度の断面はステップ状であるが、例えば、チャートを画素Ｐ１に到達する光線が最も合焦する被写体位置から少しだけ手前にずれた所定の位置に配置して撮像すると、画像の輝度断面は、図２７（ｃ）のようになる。図２７（ｃ）のグラフにおいて、Ｇ１は画素Ｐ１で生成された画像の輝度断面であり、Ｇ２は画素Ｐ２で生成された画像の輝度断面である。このように、Ｇ１の輝度断面の方がＧ２の輝度断面より、図２７（ｂ）の実際のチャートの輝度断面に近く、鮮鋭度が高いと言える。

鮮鋭度の高いＧ１の輝度断面を２回微分すると、図２７（ｄ）の分布が得られ、Ｇ１の画像のエッジを検出することができる。次に、図２７（ｄ）の分布を図２７（ｃ）のＧ２の輝度分布から減じることにより、図２７（ｅ）の分布が得られ、Ｇ２の輝度分布を鮮鋭化することができる。ここで、図２７（ｄ）の分布を減じる際、図２７（ｄ）の分布に所定の係数を乗じた後に、図２７（ｃ）のＧ２の輝度分布から減じることにより、Ｇ２の鮮鋭化の度合いを制御することができる。

本実施形態では、説明を簡単にするため、画像を鮮鋭化する説明を１次元で行っているが、画像は２次元であるため、実際は２次元で鮮鋭化処理を行う。

以上のような画像処理により、図２５の実線で示したＧ２の鮮鋭度は、破線で示したＧ２’のように鮮鋭化させることができ、生成する画像を鮮鋭化させることができる。

図２８は、図１９において光学領域Ｄ２における表面を非球面形状から球面形状に置き換えた場合の被写体距離と鮮鋭度の関係を示すグラフである。このような場合でも図２５の場合と同様に、画像を鮮鋭化することができる。

本実施形態では、図２８に示すように、被写体距離によって鮮鋭度の高い成分が異なる。従って、Ｇ１およびＧ２の輝度断面からそれぞれの鮮鋭度を検出し、鮮鋭度の高いほうの成分を選択して、他の成分を鮮鋭化させる。

以上のような画像処理により、図２８の実線で示したＧ１およびＧ２の鮮鋭度は、それぞれ破線で示したＧ１’およびＧ２’のように鮮鋭化させることができ、生成する画像を鮮鋭化させることができる。

次に、他の画像鮮鋭化手法について説明する。図２９は、Ｇ２の鮮鋭度を鮮鋭化したＧ２’に基づいてＧ１の鮮鋭度を鮮鋭化する方法について説明する図である。光学領域Ｄ１、Ｄ２の構成は図２５の場合と同じであり、光学領域Ｄ２を通過した光線によって形成された点像強度分布は、所定の被写体距離範囲内において略一定となる。従って、画素Ｐ２（Ｇ２の成分）を抽出して形成された点像強度分布は、所定の被写体距離範囲内において略一定となる。所定の被写体距離範囲において点像強度分布が略一定であれば、画素Ｐ２（Ｇ２の成分）を抽出して形成された画像は、被写体距離にかかわらず、所定の点像強度分布に基づいて復元することが可能である。

以下に撮影画像を点像強度分布に基づいて復元する方法について説明する。原画像をｆ（ｘ，ｙ）とし、点像強度分布をｈ（ｘ，ｙ）とすると、撮影画像ｇ（ｘ，ｙ）は、（数１２）で表すことができる。

（数１２）の両辺をフーリエ変換すると（数１３）のようになる。

ここで、（数１４）の逆フィルタＨｉｎｖ（ｕ，ｖ）を劣化画像Ｇ（ｕ，ｖ）に適用することによって、（数１５）のように原画像の２次元フーリエ変換Ｆ（ｕ，ｖ）が求まる。これを逆フーリエ変換することによって、原画像ｆ（ｘ，ｙ）を復元画像として得ることができる。

しかし、Ｈ（ｕ，ｖ）が０あるいは極めて小さい値となるとＨｉｎｖ（ｕ，ｖ）が発散するため、（数１６）のようなウィーナフィルタＨｗ（ｕ，ｖ）を用いて劣化画像を復元する。

（数１６）においてＮ（ｕ，ｖ）はノイズである。通常はノイズと原画像Ｆ（ｕ，ｖ）は未知であるため、実際には定数ｋを用い（数１７）のフィルタにて劣化画像を復元する。

このような復元フィルタにより、図２９の実線で示すＧ２の鮮鋭度は、点線で示すＧ２’のように鮮鋭化させることができる。さらに図２７で示した方法と同様にして、Ｇ２’の輝度断面を２回微分し、Ｇ１から減じることにより、Ｇ１の鮮鋭度が鮮鋭化され、図２９の破線で示すＧ１’のように鮮鋭化させることができる。

以上のような画像処理により、図２９の実線で示したＧ２の鮮鋭度、およびＧ１の鮮鋭度は、点線で示したＧ２’および破線で示したＧ１’のように鮮鋭化させることができる。このような鮮鋭化処理によって、図２５で示した鮮鋭化処理と比べて、被写界深度を拡張することができる。

次に、図２３のステップＳＴ２のデプスマップ作成について具体的に説明する。デプスマップは、撮影画像の所定領域（各演算ブロック）ごとに被写体距離を求めることにより作成する。

図１９で示した第２の信号処理部Ｃ２は、画素Ｐ１（Ｇ１の成分）を抽出して得られる第１の画像Ｉ１（図１９に示す）と、画素Ｐ２（Ｇ２の成分）を抽出して得られる第２の画像Ｉ２とが入力される。２つの光学領域Ｄ１、Ｄ２の光学特性は互いに異なるため、第１、第２の画像Ｉ１、Ｉ２の画像の鮮鋭度（輝度を用いて算出される値）は、被写体距離によって異なる。記憶部Ｍｅ（図１９に示す）には、光学領域Ｄ１、Ｄ２のそれぞれを通過した光の鮮鋭度と被写体距離との相関関係が記憶されている。第３の信号処理部Ｃ３（図１９に示す）において、第１、第２の画像Ｉ１、Ｉ２の鮮鋭度と上記相関関係とに基づいて、被写体までの距離を得ることができる。

ここで図２５および図２９におけるＺの範囲は、Ｇ１が変化し、かつＧ２がほとんど変化しない領域を示している。Ｚの範囲では、このような関係を利用して被写体距離を求めることができる。例えば、Ｚの範囲では、被写体距離と、鮮鋭度Ｇ１とＧ２の比に相関があるため、予め被写体距離と、鮮鋭度Ｇ１、Ｇ２の比との相関関係を記憶部Ｍｅに記憶しておく。

撮像装置の使用時には、１回の撮像の結果得られるデータ（撮像画像）のうち、画素Ｐ１（Ｇ１の成分）のみで生成された第１の画像Ｉ１と画素Ｐ２（Ｇ２の成分）のみで生成された第２の画像Ｉ２との鮮鋭度の比を各演算ブロック毎に求める。そして、記憶部Ｍｅに記憶されている相関関係を利用して、被写体距離を求めることができる。具体的には、各演算ブロック毎に、上記相関関係における鮮鋭度の比と、第１の画像Ｉ１と第２の画像Ｉ２との鮮鋭度の比の値とを比較する。そして、両者が一致する値に対応する被写体距離を、撮影時の被写体までの距離とする。

画素Ｐ１のみで生成された第１の画像Ｉ１の鮮鋭度と画素Ｐ２のみで生成された第２の画像Ｉ２の鮮鋭度との比から被写体距離を一意的に求めるためには、鮮鋭度の比が、所定の被写体距離範囲内で全て異なっている必要がある。

図２５、図２８および図２９においては、Ｚの範囲内で、鮮鋭度の比が全て異なっているため、被写体距離を一意的に求めることができる。また、鮮鋭度の値が低すぎると比を求めることができないため、鮮鋭度の値は一定値以上であってもよい。

なお、被写体距離と鮮鋭度の関係は、光学領域Ｄ１、Ｄ２の曲率半径や非球面係数や屈折率によって決まる。つまり、光学領域Ｄ１、Ｄ２は第１の画像Ｉ１の鮮鋭度と第２の画像Ｉ２の鮮鋭度との比が、所定の距離範囲内で全て異なるような光学特性を有している必要がある。

なお、本実施形態では、輝度を用いて算出される値（輝度情報）であれば、鮮鋭度以外の値、例えばコントラストを用いて被写体距離を求めてもよい。コントラストは、例えば、所定の演算ブロック内における最大輝度値と最低輝度値の比から求めることができる。鮮鋭度は輝度値の差分であるのに対し、コントラストは輝度値の比である。最大輝度値である一点と最低輝度値である一点との比からコントラストを求めてもよいし、例えば輝度値の上位数点の平均値と、輝度値の下位数点の平均値との比からコントラストを求めてもよい。コントラストを用いて被写体距離を求める場合も、鮮鋭度の場合と同様に、予め被写体距離と、コントラストの比との相関関係を記憶部Ｍｅに記憶させておく。各演算ブロック毎に第１の画像Ｉ１と第２の画像Ｉ２とのコントラストの比を求めることにより、相関関係を利用して被写体距離を求めることができる。

また、本実施形態では、鮮鋭度やコントラスト以外の値、例えば点像強度分布を用いて被写体距離を求めてもよい。以下に第１の画像Ｉ１と第２の画像Ｉ２から点像強度分布を求める方法について説明する。

前述の（数１７）を用いて、画素Ｐ２（Ｇ２の成分）のみで生成された第２の画像Ｉ２を復元すると、元画像ｆ（ｘ，ｙ）に極めて近い復元画像ｉ２’（ｘ，ｙ）が求まる。ここで、画素Ｐ１（Ｇ１の成分）のみで生成された第1の画像をｉ１（ｘ，ｙ）とし、領域Ｄ１を通過する光線による点像強度分布をｈ１（ｘ，ｙ）とすると、Ｉ１（ｘ，ｙ）は（数１８）で表すことができる。

（数１８）の両辺をフーリエ変換すると（数１９）のようになる。

（数１９）を変形すると、（数２０）のように、点像強度分布ｈ１（ｘ，ｙ）の周波数領域の値Ｈ１（ｕ，ｖ）が求められる。

これを逆フーリエ変換することによって、領域Ｄ１を通過する光線による点像強度分布ｈ１（ｘ，ｙ）を求めることができる。

領域Ｄ１を通過する光線による点像強度分布ｈ１（ｘ，ｙ）は、被写体距離によって変化するため、点像強度分布ｈ１（ｘ，ｙ）と被写体距離と相関を有する。この相関関係を利用して被写体距離を求めることができる。

点像強度分布を代表的な数値で表す場合、例えば点像強度分布の直径を用いることができる。鮮鋭度やコントラストの場合と同様に、予め被写体距離と、点像の直径との相関関係を記憶部Ｍｅに記憶させておく。各ブロック毎に第１の画像Ｉ１と第２の画像Ｉ２から点像強度分布を求め、点像強度分布から点像の直径を求めることにより、相関関係を利用して被写体距離を求めることができる。点像の直径は、例えば、点像強度分布の半値幅から求めることができる。

本実施形態は、図２８のように各領域の曲率半径を互いに異ならせた場合において、第１の画像Ｉ１と第２の画像Ｉ２を加算した画像を生成する構成を備えていてもよい。第１の画像Ｉ１と第２の画像Ｉ２の加算によって生成された画像において鮮鋭度が一定の値以上になる距離範囲は第１の画像および第２の画像よりも大きい。この場合、加算によって生成された画像の鮮鋭度と、第１の画像Ｉ１または第２の画像Ｉ２のいずれかの画像の鮮鋭度との比は、被写体距離と相関関係を有する。この相関関係をあらかじめ記憶しておくことにより、画像の所定領域毎に被写体距離を求めることができる。

撮影画像の被写体距離を算出し、被写体距離をモノクロの輝度値（たとえば２５６階調）で表すと奥行き情報を表した画像が得られる。これがデプスマップである。図３０（ａ）は本実施の形態の被写体画像（撮像画像）であり、図３０（ｂ）は図３０（ａ）の被写体画像のデプスマップである。２５６階調で表示しており、白ほど手前、黒ほど奥に被写体が存在することを意味する。図３０（ｂ）において、チェック模様の完全な黒箇所は、測距におけるエラー箇所である。被写体画像において、広い均一な輝度値を有する箇所は、その中央付近では鮮鋭度の変化が生じず、測距できないためである。しかし、測距できない箇所であってもリフォーカス画像の生成には影響しない。なぜなら、広い均一な輝度値を有する範囲の中央付近では、リフォーカス計算の有無にかかわらず、画像の鮮鋭度は変化しないためである。デプスマップは必ずしも２５６階調である必要はない。１６ビット（６５５３６階調）の画像でもよいし、必ずしも画像データである必要はなく距離に応じた数値データでもよい。また、負の値を含んでいてもよく、被写体の相対的な位置関係を示せればよい。

次に、図２３のステップＳＴ３のＰＳＦの生成について具体的に説明する。ＰＳＦは、例えば被写体位置（被写体距離）ごとに生成する。さらに、画角（画素または所定の領域）ごとにＰＳＦを生成してもよい。

ＰＳＦの形状は数式で表すとよい。例えば、（数２１）に示すガウス分布（ガウス関数）である。なぜなら任意の被写体位置のＰＳＦを数式に当てはめて簡単な計算によって逐次得ることができるためであり、事前に膨大な被写体ＰＳＦデータをメモリに保存しておく必要はないためである。

ここで、ｉはＰＳＦの横方向の座標、ｊはＰＳＦの縦方向の座標であり、(ｉ，ｊ)＝(０，０)はＰＳＦの中心を表す。また、Ｗｅｉｇｈｔ(ｉ，ｊ)はｉ、ｊにおけるＰＳＦの強度（重み）、ｄは被写体距離でありベストフォーカス位置を原点（ｄ＝０）として表す。ここで、「ベストフォーカス位置」とは、ＰＳＦの強度変化が極大となる被写体の位置（被写体距離）のことを言う。「ＰＳＦの強度変化」が大きい場合、ＰＳＦのピークは鋭く、例えばピークの半値幅は小さい。一方、「ＰＳＦの強度変化」が小さい場合、ＰＳＦのピークは緩やかであり、例えばピークの半値幅は大きい。また、ｋはゲイン調整用の係数でありＰＳＦの強度変化を調整する。σに“０．００１"を加えているが、これは（ｉ，ｊ）＝(０，０)時の発散防止用の定数でありｋ・ｄに対して十分小さい値を設定している。この定数は、必ずしも“０．００１"である必要はなく適宜変更してよい。

図３１は、（数２１）のガウス分布により求めたＰＳＦ断面強度分布である。ｊ＝０、ｉ＝−５〜５、σ＝１．４としてプロットした。ｉ＝０、ｊ＝０のとき、ＰＳＦの強度が最大となり、左右対称（回転対称）の分布である。ＰＳＦの強度分布は必ずしも回転対称である必要はないが、偏りのない自然なリフォーカス画像を生成するためには、回転対称であることが望ましい。

ＰＳＦの強度の変化（鋭さ）はｋによって調整する。被写体位置がベストフォーカス位置である場合にＰＳＦは一番鋭く、ベストフォーカス位置から遠ざかるにつれて緩やかになるように設定する必要がある。どの被写体位置をベストフォーカス位置にするかは任意に設定可能である。ベストフォーカス位置は、ユーザが外部から入力してもよいし、第２の信号処理部Ｃ２が決定してもよい。ベストフォーカス位置をユーザが決定する場合には、ユーザが、画像上の領域を選択し、第２の信号処理部Ｃ２が、ユーザが選択した領域の被写体距離を求め、それをベストフォーカス位置としてもよい。または、ユーザが、被写体距離を直接選択してもよい。ベストフォーカス位置を決定したら、その被写体位置を原点とする。

図３２は被写体位置ｄ２に焦点を合わせた場合のＰＳＦ断面強度分布の変化の概念図である。図３２（ａ）において、被写体位置ｄ２からやや離れた位置である被写体位置ｄ３ではＰＳＦの強度の傾きが被写体位置ｄ２のそれに対し緩やかになる。さらに離れた被写体位置ｄ１ではＰＳＦの強度の傾きはさらに緩やかになる。（数２１）においてｄの原点（＝０）をベストフォーカス位置に設定することで被写体位置がベストフォーカス位置から離れるほどσの絶対値が大きくなりＰＳＦ強度の傾きを緩やかに設定できる。また、（数２１）においてｋの値を大きくすることで、被写体位置に対するＰＳＦの強度分布の変化の度合いを調整することができる。図３２（ｂ）は、ｋの値を図３２（ａ）よりも大きくした場合である。（ｂ）のほうが（ａ）よりも被写体位置に対してＰＳＦの強度分布が急激に変化し、同じ被写体位置ｄ１（またはｄ３）でＰＳＦの強度分布を比較すると、（ｂ）のほうが緩やかな傾きとなる。このようにｋの値を適宜調整し、後述する画像のボケの変化を調整するとよい。また、（数２１）のσの式はｄに対し線形変化するが、線形関数以外に２次関数や多項式等の非線形の関数を用いてもよい。非線形の関数を用いることで、被写体位置ｄに対するＰＳＦの強度変化、つまり、ボケの変化を非線形に調整することができる。

図３２ではＰＳＦ強度の一断面を示したが、ＰＳＦは奥行き方向にも存在する２次元データである。実際の計算には図３３に示すような強度の２次元マトリクスを用いるとよい。（ｉ，ｊ）＝(０，０)を原点として（数２１）より求めることができる。マトリクスの行数と列数は同じであることが望ましく、それぞれ奇数であることが望ましい。なぜなら、原点をマトリクスの中心に１箇所設定することができ、そこを軸とした回転対称のＰＳＦを形成できるためである。マトリクスの行数・列数は任意であるが、大きくするほどぼかし量を増やすことができる。一方、マトリクスの行数・列数を小さくするほど計算時間を短縮することができる。図３３（ａ）は３×３マトリクス、（ｂ）は５×５マトリクス、（ｃ）は７×７マトリクスのＰＳＦ強度の２次元分布である。図３１同様、σ＝１．４として求めた。マトリクス内の値は、マトリクス全体の積算値が１になるように規格化するとよい。具体的には、（数２１）で数値を算出後、マトリクス内の全成分の積算値を求め、各成分をその積算値で割ることで計算することができる。規格化する理由は、このあとのリフォーカス時の畳み込み後の画像の輝度変化を防ぐためである。ＰＳＦの強度積算値を１に規格化することで、リフォーカスの前画像と後画像で画像の明るさを一定に保つことができる。ＰＳＦデータの規格化はＰＳＦ算出時に実施してもよいし、リフォーカス処理直前に実施してもよい。また、参考に図３４（ａ）に図３３（ｃ）の７×７マトリクスのＰＳＦ強度分布の数値データを２５６階調に表現して画像化したものを示す。同様に、図３４（ｂ）は図３３（ｃ）の３次元グラフである。

ＰＳＦの計算には、数式を使用せず光学系のもつ実際のＰＳＦ値を用いてもよいが、この場合、被写体距離ごとのＰＳＦをシミュレーションにより一定間隔ずつ予め計算する必要があるため、データベースとして膨大なメモリが必要になる。一方、数式で表現したガウス分布を用いることで任意の被写体位置のＰＳＦをリフォーカス計算時に生成することができ、メモリの節約、計算時間の短縮につながる。また、ガウス分布で表現すると、被写体位置がベストフォーカス位置の際のＰＳＦは、中心が１でまわりは０となり、ベストフォーカス位置の画像を劣化させない。言い換えると、ベストフォーカス位置のＰＳＦの強度変化は、他の被写体位置のＰＳＦの強度変化よりも大きく、ベストフォーカス位置から被写体距離方向に離れるに従って、ＰＳＦの強度変化は小さくなる。

なお、ＰＳＦを表す数式は、ガウス分布以外の式であってもよい。例えば高次の次数を含む非球面式でもよい。

次に、図２３のステップＳＴ４のリフォーカス画像の生成について説明する。この処理は、ステップＳＴ２で求められた被写体距離と、ステップＳＴ３で生成されたＰＳＦを用いて行われる。第３の信号処理部Ｃ３で実施する。図３０（ｂ）のデプスマップと対応させながら、鮮鋭化画像の各画素に対し、ＰＳＦの畳み込み処理を施す。例えば、デプスマップのある画素（ｉ，ｊ）＝（ｉ₀，ｊ₀）における被写体位置が図３２のｄ１であったとすると、鮮鋭化画像の画素（ｉ₀，ｊ₀）を中心とするマトリクス（＝ＰＳＦと同一の行列数のマトリクス）に対し、該当するｄ１のＰＳＦを用いて畳み込み演算をする。この操作を鮮鋭化画像の全画素に対して実施する。この処理により、鮮鋭化画像はいずれの被写体位置においても画像のボケが少ない状態である画像であるのに対し、リフォーカス画像は所望の箇所のみ焦点を良好に合わし、それ以外をぼかしたメリハリのある画像となる。

図３５は、図３０（ｂ）のデプスマップをもとに図３０（ａ）の被写体画像をリフォーカスした画像である。ベストフォーカス位置（図３２のｄ２に相当）を手前のみかんとし、ＰＳＦのマトリクスの領域を１５×１５、ｋ＝１として処理した。図３０（ａ）では一様に焦点が合った画像であるが、図３５のリフォーカス画像は手前に焦点が合い、それ以外の背景が遠ざかるにつれてぼけていくのがわかる。なお、図３０（ｂ）において、測距検出エラーとなった箇所は、別途例外処理にてリフォーカス処理を省いてもよい。または、適当な被写体距離の値にてリフォーカスの生成を実施してもよい。なぜなら、輝度値が一定の領域であるため、リフォーカスの実施の有無にかかわらず、鮮鋭度は変化しないためである。

なお、本実施形態においては、ステップＳＴ１のうち、画像の鮮鋭度（輝度情報）を求める処理のみ行い、画像の鮮鋭化処理を省略してもよい。この場合、センサ（フォトダイオード）から取得された画像（撮像画像）に対し、直接リフォーカス処理を実施してもよい。ここで、センサから取得された画像は、図１９に示す第１、第２の画像Ｉ１、Ｉ２であってもよいし、第１、第２の画素Ｐ１、Ｐ２からの画像を含む画像であってもよい。鮮鋭化処理を省略する場合、図２９においてより鮮鋭度の高いＧ１の画像（第１の画像Ｉ１）を用いてもよい。このような処理は、ボケている箇所をさらに強調してぼかしたい場合に特に有効である。

また、画像の特定の領域のみにリフォーカス処理を施しても良い。ぼかしたいところのみ処理することで計算時間の短縮になる。

また、必ずしもＰＳＦを用いる必要は無く、例えばぼかしたい領域のみ平均化フィルタ等の空間フィルタ処理を実施しボケを形成してもよい。また、鮮鋭化したい領域のみ鮮鋭化フィルタ等の空間フィルタ処理を実施し、目的の被写体画像をシャープにしてもよい。これらの場合、図２３に示すフローチャートのステップＳＴ３を行わずに、ステップＳＴ４において、デプスマップに基づいてぼかしたい領域（またはシャープにしたい領域）を決定し、空間フィルタ処理を行えばよい。

ここで、図２３のステップＳＴ１における鮮鋭化処理を省略した場合の、リフォーカス画像生成方法の一例を説明する。

ステップＳＴ１において、画像の輝度情報を求めた後、最も鮮鋭度の高い（焦点が合っている）所定の領域を検出する。そして、ステップＳＴ２において作成されたデプスマップに基づき、最も鮮鋭度の高い領域として検出された被写体からの距離に応じて、所定領域毎にぼかし処理を行う。例えば、最も鮮鋭度の高い領域として検出された被写体からの距離が、より近い領域よりも、より遠い領域の方が、ぼかし具合が大きくなるようにぼかし処理を行う。これにより、焦点が合わずにぼけている箇所をさらに強調してぼかすことができる。また、さらに、最も鮮鋭度の高い領域として検出された領域を、復元フィルタや空間フィルタを用いて鮮鋭化してもよい。これにより、撮影画像における鮮鋭領域とボケ領域とをさらに強調することができる。なお、この方法において、復元フィルタを用いて鮮鋭化する場合、使用するＰＳＦ（点像強度分布）としては、関数によって保持されているものであってもよいし、光学系の特性から被写体距離ごとに予め求めておいたものを保持し使用してもよい。また、さらに望ましくは画角ごとのＰＳＦを保持し使用するとよい。より高精度な鮮鋭化が実現するためである。

また、画像の端部の畳み込みは、元画像の画素が足りないため別途分岐計算処理をしてもよい。例えば、画像端部の一部のケラレに合わせＰＳＦの一部を使用して計算するとよい。

ＰＳＦの畳み込み演算処理としては、フーリエ変換を用いてもよい。例えば、ＤＦＴ(Discrete Fourier Transform)やＦＦＴ(Fast Fourier Transform)を使用するとよく、計算時間を短縮できる。これは被写体距離が一定の領域（所定の領域）が広い場合に特に有効であり、被写体距離が一定の領域を１つのブロックとして演算する。例えば、演算する画像のブロックサイズと一致したＰＳＦマトリクスを生成し、それぞれをフーリエ変換し、周波数空間上で計算するとよい。畳み込み演算はフーリエ変換すると周波数空間上では各成分間の積で計算できるため計算量が激減する。周波数空間上で積を取ったあとは、それを逆フーリエ変換することで畳み込み演算した結果と同様の画像を取得できる。

なお、本実施の形態の撮像装置の光学系は、像側テレセントリック光学系であるってもよい。これにより画角が変化しても、アレイ状光学素子Ｋの主光線入射角は、０度に近い値で入射するため、撮像領域全域にわたって、画素Ｐ１およびＰ２に到達する光束間のクロストークを低減することができる。

また、前述の通り本実施の形態では、説明を簡略化するためにレンズＬ２を理想レンズとして説明したが、必ずしも理想レンズを用いなくてもよい。

また、本実施の形態では光学素子Ｌ１とレンズＬ２は分離しているが、レンズＬ２に光学領域Ｄ１、Ｄ２を設け、光学素子Ｌ１を除去した構成であってもよい。この場合、絞りＳはレンズＬ２の光学領域Ｄ１、Ｄ２の近傍に配置してもよい。

以上のように、本実施形態では、単一の撮像系を用いた（例えば１回の）撮像によって、画像と被写体距離の両方を取得することができる。各演算ブロック毎に被写体距離を算出することができるため、画像の任意の位置の被写体距離を取得することができる。従って、画像全域のデプスマップを取得することもできる。これにより、撮影を行った後に、画像における全ての被写体に焦点を合わせることが可能となる。

また、単一の撮像系により被写体までの距離を得ることができるため、複数の撮像光学系を用いた撮像装置のように、複数の撮像光学系間の特性や位置を揃える必要がない。また、本実施形態の撮像装置を用いて動画を撮影した場合、時間の経過によって被写体の位置に変化が生じても、被写体までの正確な距離を測定することができる。

（実施の形態６）
本実施の形態６は、ベストフォーカス位置を断続的に複数個所設ける点で、実施の形態５と異なっている。ここでは、本実施形態において実施の形態５と同様の内容についての詳細な説明は省略する。

本実施形態においては、図３６に示すように、ベストフォーカス位置を２ヶ所もしくは任意の複数個所に設定する。位置ｄ２に加え、位置ｄ４もベストフォーカス位置とした。位置ｄ５は位置ｄ２と位置ｄ４の間に位置するが、位置ｄ２、ｄ４に比べＰＳＦの強度分布は緩やかになっている。「ベストフォーカス位置を断続的に複数箇所設ける」とは、ＰＳＦの強度変化が極大になる点（ベストフォーカス位置）が複数存在し、その複数のベストフォーカス位置の間のＰＳＦの強度変化が、ベストフォーカス位置の強度変化よりも小さいことを言う。なお、複数のベストフォーカスのＰＳＦの強度変化の大きさは、互いに異なっていてもよい。

ベストフォーカス位置を２ヶ所に設定するには、（数２１）でσを４次関数で表現するとよい。必ずしも４次関数を用いる必要はなく、それ以上の次数、また、指数や対数表現を用いてもよい。図３６に示す方法を用いれば、近傍に１人、遠方に１人の計２人の人物が撮影された画像において、近傍、遠方の両方の人物に焦点を合わし、それ以外の背景をぼかすといったことが可能となる。これは、従来の光学系では実現できない技術である。例えばＦｎｏが非常に小さい一眼レフによるぼかし効果でさえも近傍、遠方もしくはその間のいずれか１箇所の被写体位置のみでしか焦点を合わすことができない。また、任意の２ヶ所に限らず、それ以上の複数個所の物体をベストフォーカスに設定し、それ以外をぼかしてもよい。

（実施の形態７）
本実施の形態７は、画素に分光透過率特性を有するフィルタを備え付けた点で、実施の形態５と異なっている。ここでは、本実施形態において実施の形態５と同様の内容については説明を省略する。

図３７は、実施の形態７の撮像装置Ａを示す模式図である。本実施形態の撮像装置Ａは、Ｖを光軸とするレンズ光学系Ｌと、レンズ光学系Ｌの焦点近傍に配置されたアレイ状光学素子Ｋと、撮像素子Ｎと、第１の信号処理部Ｃ１と、第２の信号処理部Ｃ２と、第３の信号処理部Ｃ３と、記憶部Ｍｅとを備える。

図３８（ａ）は、図３７に示すアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、図３８（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。アレイ状光学素子Ｋは、光学要素Ｍ１が形成された面が撮像面Ｎｉ側に向かうように配置されている。撮像面Ｎｉには、画素Ｐが行列状に配置されている。画素Ｐは画素Ｐ１、Ｐ２、Ｐ３およびＰ４に区別できる。

画素Ｐ１およびＰ２には第１の分光透過率特性を有するフィルタが備えられており、緑色帯域の光線を主に通過し、他の帯域の光線を吸収する。画素Ｐ３には第２の分光透過率特性を有するフィルタが備えられており、赤色帯域の光線を主に通過し、他の帯域の光線を吸収する。また、画素Ｐ４には第３の分光透過率特性を有するフィルタが備えられており、青色帯域の光線を主に通過し、他の帯域の光線を吸収する。

画素Ｐ１および画素Ｐ３のそれぞれは、同じ行において交互に配置されている。また、画素Ｐ２および画素Ｐ４のそれぞれは、同じ行において交互に配置されている。画素Ｐ１とＰ３の行と画素Ｐ２とＰ４の行とは、縦方向（列方向）に交互に配置されている。このように、それぞれの複数の画素Ｐ１、Ｐ２、Ｐ３およびＰ４は、ベイヤー配列を成している。ベイヤー配列で画素Ｐ１、Ｐ２、Ｐ３およびＰ４が配置されている場合には、共に緑色帯域の光を透過するフィルタを有する画素Ｐ１および画素Ｐ２は、撮像面Ｎｉの面内において、斜めの位置に配置されている。画素Ｐ３と画素Ｐ４との位置は逆であってもよい。

アレイ状光学素子Ｋは、その光学要素Ｍ１の１つが、撮像面Ｎｉ上における１行の画素Ｐ１、Ｐ３および１行の画素Ｐ２、Ｐ４からなる２行の画素に対応するように配置されている。撮像面Ｎｉ上には、画素Ｐ１、Ｐ２、Ｐ３およびＰ４の表面を覆うようにマイクロレンズＭｓが設けられている。

アレイ状光学素子Ｋは、光学素子Ｌ１上の光学領域Ｄ１（図３７、図２０に示す）を通過した光束Ｂ１（図３７において実線で示される光束Ｂ１）の大部分が、撮像面Ｎｉ上の画素Ｐ１およびＰ３に到達し、光学領域Ｄ２を通過した光束（図３７において破線で示される光束Ｂ２）の大部分が、撮像面Ｎｉ上の画素Ｐ２およびＰ４に到達するように設計されている。具体的には、アレイ状光学素子Ｋの屈折率、撮像面Ｎｉからの距離及び光学要素Ｍ１表面の曲率半径等のパラメータを適切に設定することで、上記構成が実現する。

絞りＳは全ての画角の光束が通過する領域である。従って、絞りＳの近傍に合焦特性を制御する光学特性を有する面を挿入することにより、全ての画角の光束の合焦特性を同様に制御することができる。すなわち、本実施形態では、光学素子Ｌ１は、絞りＳの近傍に設けられていてもよい。互いに合焦特性を異ならせる光学特性を有する光学領域Ｄ１、Ｄ２を、絞りＳの近傍に配置することによって、領域の分割数に応じた合焦特性を光束に与えることができる。

図３７においては、光学素子Ｌ１を通過した光が、直接（他の光学部材を介することなく）、絞りＳに入射する位置に設けられている。光学素子Ｌ１は、絞りＳよりも撮像素子Ｎ側に設けられていてもよい。この場合、光学素子Ｌ１は、絞りＳとレンズＬ２との間に設けられており、絞りＳを通過した光が、直接（他の光学部材を介することなく）、光学素子Ｌ１に入射してもよい。

また、アレイ状光学素子Ｋは、光線の入射角に応じて出射方向を振り分ける機能を有する。そのため、絞りＳの近傍で分割された光学領域Ｄ１、Ｄ２に対応するように、撮像面Ｎｉ上の画素に光束を振り分けることができる。

第１の信号処理部Ｃ１（図３７に示す）は、複数の画素Ｐ１、Ｐ２、Ｐ３およびＰ４の輝度情報を用いてカラー画像を生成する。以下に、具体的にカラー画像を生成する方法について説明する。

図３７の撮像装置Ａの光学系において、光学領域Ｄ１が平面を有し、光学面領域Ｄ２が非球面形状を有するとする。また、説明を簡略化するため、レンズＬ２は収差のない理想レンズであるものとして説明する。

光学領域Ｄ１の表面は平面であるため、図２４のグラフに実線で示すように、光学領域Ｄ１とレンズＬ２を通過した光線による球面収差は生じない。球面収差がない場合、焦点からずれるに従って点像強度分布が変化する。すなわち、被写体距離の変化に伴い点像強度分布は変化する。

また、光学領域Ｄ２における非球面形状により、光学領域Ｄ２とレンズＬ２を通過した光線による球面収差は、図２４の破線で示すグラフのようになる。光学領域Ｄ２の非球面形状を調整することで、このような球面収差を与えることができる。このような球面収差により、レンズ光学系Ｌの焦点近傍の所定の範囲内において、光学領域Ｄ２を通過した光線による点像強度分布を略一定にすることができる。すなわち、所定の被写体距離範囲内において点像強度分布を略一定にすることができる。

点像強度分布の変化に伴い、鮮鋭度も変化する。点像の大きさが小さくなるほど画像の鮮鋭度が増すため、被写体距離と鮮鋭度の関係をグラフで示すと、図３９のような関係になる。図３９のグラフにおいて、Ｇ１、Ｒはそれぞれ画素Ｐ１（緑色の成分）、Ｐ３（赤色の成分）で生成された画像の所定領域の鮮鋭度を示しており、Ｇ２、Ｂはそれぞれ画素Ｐ２（緑色の成分）、Ｐ４（青色の成分）で生成された画像の所定領域の鮮鋭度を示している。

鮮鋭度は、所定の大きさの画像ブロック内において隣接する画素間の輝度値の差分に基づいて求めることができる。また、所定の大きさの画像ブロックの輝度分布をフーリエ変換した周波数スペクトルに基づいて求めることもできる。

所定の大きさのブロック内における鮮鋭度をＥとし、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４の成分毎に隣接する画素間の輝度値の差分に基づいて求める場合は、例えば（数２２）を用いる。

前述の通り、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４は、ベイヤー配列を成しているため、それぞれの成分の鮮鋭度を求めるには、画像のｘ方向、ｙ方向共に１画素おきの画素情報を抽出して計算する。

（数２２）においてΔｘ_i,jは、所定の大きさの画像ブロック内の座標（ｉ，ｊ）における画素の輝度値と座標（ｉ＋２，ｊ）の座標の画素の輝度値との差分値であり、Δｙ_i,jは、所定の大きさの画像ブロック内の座標（ｉ，ｊ）における画素の輝度値と座標（ｉ，ｊ＋２）の座標の画素の輝度値との差分値である。

（数２２）の計算により、所定の大きさの画像ブロック内の輝度値の差が大きいほど、大きな鮮鋭度が得られる。

カラー画像を生成する場合、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４の輝度情報を元に、画素位置毎に欠落した色情報を単に補完してカラー画像を生成してもよいが、図３９のようにＧ２、Ｂの鮮鋭度は、Ｇ１、Ｒの鮮鋭度に比べて小さいので、Ｇ１、Ｒの鮮鋭度を鮮鋭化した後にカラー画像を生成してもよい。

図４０は、Ｇ１、Ｒの鮮鋭度に基づいてＧ２、Ｂの鮮鋭度を鮮鋭化する方法について説明する図である。図４０（ａ）は、被写体である白黒チャートであり、図４０（ｂ）は、（ａ）の被写体の輝度の断面を示す図である。図４０（ｂ）に示すように、チャートの輝度の断面はステップ状であるが、例えば、チャートを画素Ｐ１、Ｐ３に到達する光線が最も合焦する被写体位置から少しだけ手前にずれた所定の位置に配置して撮像すると、画像の輝度断面は、図４０（ｃ）のようになる。図４０（ｃ）のグラフにおいて、Ｇ１、Ｒはそれぞれ画素Ｐ１（緑色の成分）、Ｐ３（赤色の成分）で生成された画像の輝度断面であり、Ｇ２、Ｂはそれぞれ画素Ｐ２（緑色の成分）、Ｐ４（青色の成分）で生成された画像の輝度断面である。このように、Ｇ１、Ｒの輝度断面の方がＧ２、Ｂの輝度断面より、図４０（ｂ）の実際のチャートの輝度断面に近く、鮮鋭度が高いと言える。

図４０（ａ）のような白黒チャートを撮像した場合は、Ｇ１の輝度断面とＲの輝度断面はほぼ同じ断面となるが、実際にはあらゆる色成分の被写体画像を撮像するため、図４０（ｃ）のＧ１、Ｒの輝度断面は、一致しない場合が殆どである。従って、Ｇ１、Ｒの輝度断面からそれぞれの鮮鋭度を検出し、鮮鋭度の高い色成分を選択して、Ｇ２、Ｂの輝度断面を鮮鋭化させてもよい。鮮鋭度の高い輝度断面を選択し、その輝度断面を２回微分すると、図４０（ｄ）の分布が得られ、鮮鋭度の高い色成分の画像のエッジを検出することができる。次に、図４０（ｄ）の分布を図４０（ｃ）のＧ２、Ｂのそれぞれの輝度分布から減じることにより、図４０（ｅ）の分布が得られ、Ｇ２、Ｂの輝度分布を鮮鋭化することができる。ここで、図４０（ｄ）の分布を減じる際、図４０（ｄ）の分布に所定の係数を乗じた後に、図４０（ｃ）のＧ２、Ｂの輝度分布から減じることにより、Ｇ２、Ｂの鮮鋭化の度合いを制御することができる。

本実施形態では、説明を簡単にするため、画像を鮮鋭化する説明を１次元で行っているが、画像は２次元であるため、実際は２次元で鮮鋭化処理を行う。

以上のような画像処理により、図３９の実線で示したＧ２、Ｂの鮮鋭度は、破線で示したＧ２’、Ｂ’のように鮮鋭化させることができ、生成するカラー画像を鮮鋭化させることができる。

図４１は、図３７において光学領域Ｄ２の表面を非球面形状から球面形状に置き換えた場合の被写体距離と鮮鋭度の関係を示すグラフである。このような場合でも図３９の場合と同様に、カラー画像を鮮鋭化することができる。

本実施形態では、図４１に示すように、被写体距離によって鮮鋭度の高い色の成分が異なる。従って、Ｇ１、Ｇ２、Ｒ、およびＢの輝度断面からそれぞれの鮮鋭度を検出し、鮮鋭度の最も高い色成分を選択して、他の色成分を鮮鋭化させる。

以上のような画像処理により、図４１の実線で示したＧ１、Ｇ２、Ｒ、およびＢの鮮鋭度は、それぞれ破線で示したＧ１’、Ｇ２’、Ｒ’、およびＢ’のように鮮鋭化させることができ、生成するカラー画像を鮮鋭化させることができる。

次に、他の画像鮮鋭化手法について説明する。図４２は、Ｇ２、Ｂの鮮鋭度を鮮鋭化したＧ２’、Ｂ’に基づいてＧ１、Ｒの鮮鋭度を鮮鋭化する方法について説明する図である。光学領域Ｄ１、Ｄ２の構成は図３９の場合と同じであり、光学領域Ｄ２を通過した光線によって形成された点像強度分布は、所定の被写体距離範囲内において略一定となる。従って、画素Ｐ２（Ｇ２の成分）、Ｐ４（Ｂの成分）をそれぞれ抽出して形成された点像強度分布は、所定の被写体距離範囲内において略一定となる。所定の被写体距離範囲において点像強度分布が略一定であれば、画素Ｐ２（Ｇ２の成分）、Ｐ４（Ｂの成分）をそれぞれ抽出して形成された画像は、被写体距離にかかわらず、所定の点像強度分布に基づいて復元することが可能である。

以下に撮影画像を点像強度分布に基づいて復元する方法について説明する。原画像をｆ（ｘ，ｙ）とし、点像強度分布をｈ（ｘ，ｙ）とすると、撮影画像ｇ（ｘ，ｙ）は、（数２３）で表すことができる。

（数２３）の両辺をフーリエ変換すると（数２４）のようになる。

ここで、（数２５）の逆フィルタＨｉｎｖ（ｕ，ｖ）を劣化画像Ｇ（ｕ，ｖ）に適用することによって、（数２６）のように原画像の２次元フーリエ変換Ｆ（ｕ，ｖ）が求まる。これを逆フーリエ変換することによって、原画像ｆ（ｘ，ｙ）を復元画像として得ることができる。

しかし、Ｈ（ｕ，ｖ）が０あるいは極めて小さい値となるとＨｉｎｖ（ｕ，ｖ）が発散するため、（数２７）のようなウィーナフィルタＨｗ（ｕ，ｖ）を用いて劣化画像を復元する。

（数２７）においてＮ（ｕ，ｖ）はノイズである。通常はノイズと原画像Ｆ（ｕ，ｖ）は未知であるため、実際には定数ｋを用い（数２８）のフィルタにて劣化画像を復元する。

このような復元フィルタにより、図４２の実線で示すＧ２、Ｂの鮮鋭度は、点線で示すＧ２’、Ｂ’のように鮮鋭化させることができる。さらに図４０で示した方法と同様にして、Ｇ２’、Ｂ’ の輝度断面からそれぞれの鮮鋭度を検出し、鮮鋭度の高い色成分の輝度断面を２回微分し、Ｇ１、Ｒから減じることにより、Ｇ１、Ｒの鮮鋭度が鮮鋭化され、図４２の破線で示すＧ１’、Ｒ’のように鮮鋭化させることができる。

以上のような画像処理により、図４２の実線で示したＧ２、Ｂの鮮鋭度、およびＧ１、Ｒの鮮鋭度は、点線で示したＧ２’、Ｂ’および破線で示したＧ１’、Ｒ’のように鮮鋭化させることができ、生成するカラー画像を鮮鋭化させることができる。このような鮮鋭化処理によって、図３９で示した鮮鋭化処理と比べて、被写界深度を拡張することができる。

なお、本実施の形態の撮像装置の光学系は、像側テレセントリック光学系であってもよい。これにより画角が変化しても、アレイ状光学素子Ｋの主光線入射角は、０度に近い値で入射するため、撮像領域全域にわたって、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４に到達する光束間のクロストークを低減することができる。

また、前述の通り本実施の形態では、説明を簡略化するためにレンズＬ２を理想レンズとして説明したが、必ずしも理想レンズを用いなくてもよい。例えば、理想レンズでないレンズは軸上色収差を有しているが、前述の通り、鮮鋭度の高い色成分を選択して他の色成分を鮮鋭化させることができるため、理想レンズでなくても、鮮鋭度のカラー画像を生成することができる。また、被写体距離を求める場合は、単一の色成分（本実施の形態では緑色の成分）に基づいて距離を求めるので、軸上色収差を有していてもよい。

また、本実施の形態では光学素子Ｌ１とレンズＬ２は分離しているが、レンズＬ２に光学領域Ｄ１、Ｄ２を設け、光学素子Ｌ１を除去した構成であってもよい。この場合、絞りＳはレンズＬ２の光学領域Ｄ１、Ｄ２の近傍に配置してもよい。

以上のように、本実施形態では、単一の撮像系を用いた（例えば１回の）撮像によって、カラー画像と被写体距離の両方を取得することができる。被写体距離については、各演算ブロック毎に算出することができるため、カラー画像の任意の画像位置の被写体距離を取得することができる。従って、画像全域の被写体距離マップを取得することもできる。また、単一の撮像系により被写体までの距離を得ることができるため、複数の撮像光学系を用いた撮像装置のように、複数の撮像光学系間の特性や位置を揃える必要がない。また、本実施形態の撮像装置を用いて動画を撮影した場合、時間の経過によって被写体の位置に変化が生じても、被写体までの正確な距離を測定することができる。

また、リフォーカスは、Ｒ、Ｇ、Ｂ各成分において実施の形態５と同様に実施することができる。具体的には、図２３に示すステップＳＴ１において、ＲＢＧそれぞれについて、輝度情報（鮮鋭度など）を求め、必要に応じて、ＲＢＧのうち鮮鋭度の低い色を鮮鋭化する。次に、ステップＳＴ２において、被写体までの距離を求める。さらに、第１の信号処理部Ｃ１において生成されたカラー画像を用い、デプスマップを生成する。次に、ステップＳＴ３において、ベストフォーカス位置に基づいて、被写体位置ごとにＰＳＦを生成する。このとき、ＲＧＢの３色につき１つのＰＳＦを生成すればよい。ただし、軸上色収差などを考慮し、ＲＧＢそれぞれについてＰＳＦを生成してもよい。次に、ステップＳＴ４において、任意の被写体位置でのカラーでのリフォーカス画像を生成することができる。

（実施の形態８）
本実施の形態８は、光学素子Ｌ１の領域分割の面積を異ならせた点と、アレイ状光学素子をレンチキュラからマイクロレンズに置き換えた点で、実施の形態７と異なっている。ここでは、本実施形態において実施の形態５から７と同様の内容についての詳細な説明は省略する。

図４３は、光学素子Ｌ１を被写体側から見た正面図であり、光学素子Ｌ１は、光学領域Ｄ１とＤ２に分割されている。また、光学領域Ｄ２はさらに、サブ光学領域ｄ２Ａ、ｄ２Ｂおよびｄ２Ｃに分割されている。図４３に示すように、光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂおよびｄ２Ｃは、光軸Ｖを境界中心として、光軸Ｖに垂直な面内で上下左右に４分割されている。光学領域Ｄ１とＤ２は、互いに互いに合焦特性を異ならせる光学特性を有する。

図４４は、アレイ状光学素子Ｋの斜視図である。アレイ状光学素子Ｋにおける撮像素子Ｎ側の面には、光学要素Ｍ２が格子状に配置されている。それぞれの光学要素Ｍ２の断面（縦方向および横方向それぞれの断面）は円弧状であり、それぞれの光学要素Ｍ２は、撮像素子Ｎ側に突出している。このように、光学要素Ｍ２はマイクロレンズであり、アレイ状光学素子Ｋは、マイクロレンズアレイとなっている。

図４５（ａ）は、アレイ状光学素子Ｋと撮像素子Ｎとを拡大して示す図であり、図４５（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。アレイ状光学素子Ｋは、実施の形態５と同様に、レンズ光学系Ｌの焦点近傍に配置されており、かつ撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。また、撮像面Ｎｉ上には、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４の表面を覆うようにマイクロレンズＭｓが設けられている。

画素Ｐ１、Ｐ２、Ｐ３、およびＰ４には、実施の形態７と同じ分光透過率特性を有するフィルタがそれぞれ備えられている。

また、アレイ状光学素子Ｋは、光学要素Ｍ２が形成された面が撮像面Ｎｉ側に向うように配置されている。アレイ状光学素子Ｋは、その光学要素Ｍ２の１つが、撮像面Ｎｉにおける２行２列の画素Ｐ１〜Ｐ４の４つの画素に対応するように配置されている。

このような構成により、図４３に示す光学素子Ｌ１の光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃを通過した光束の大部分は、それぞれ撮像面Ｎｉ上の画素Ｐ１、画素Ｐ２、画素Ｐ３、および画素Ｐ４に到達する。

実施の形態７と同様に、第１の信号処理部Ｃ１により、複数の画素Ｐ１、Ｐ２、Ｐ３およびＰ４の輝度情報を用いてカラー画像を生成する。以下に、具体的にカラー画像を生成する方法について説明する。

図４３において、光学領域Ｄ１は非球面を有し、サブ光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃは、全て平面を有する。また、説明を簡略化するため、レンズＬ２は収差のない理想レンズであるものとして説明する。

光学領域Ｄ１の非球面形状により、実施の形態５と同様にレンズ光学系Ｌの焦点近傍の所定の範囲内において、光学領域Ｄ１を通過した光線による点像強度分布を略一定にすることができる。すなわち、所定の被写体距離範囲内において点像強度分布を略一定にすることができる。

また、光学領域Ｄ２は平面であるため、実施の形態７と同様に球面収差は生じない。球面収差がない場合、焦点からずれるに従って点像強度分布が変化する。すなわち、被写体距離の変化に伴い点像強度分布は変化する。

実施の形態７と同様に、被写体距離と鮮鋭度の関係をグラフで示すと、図４６のような関係になる。図４６のグラフにおいて、Ｇ１は画素Ｐ１（緑色の成分）で生成された画像の所定領域の鮮鋭度を示しており、Ｇ２、Ｒ、およびＢは、それぞれ画素Ｐ２（緑色の成分）、Ｐ３（赤色の成分）およびＰ４（青色の成分）で生成された画像の所定領域の鮮鋭度を示している。

カラー画像を生成する場合、実施の形態７と同様に、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４の輝度情報を元に、画素位置毎に欠落した色情報を単に補完してカラー画像を生成してもよいが、図４６のようにＧ１の鮮鋭度は、Ｇ２、Ｒ、およびＢの鮮鋭度に比べて小さいので、図２７で説明した方法と同様に、Ｇ１の鮮鋭度を鮮鋭化した後にカラー画像を生成してもよい。

以上のような画像処理により、図４６に実線で示したＧ１の鮮鋭度を、破線で示したＧ１’のように高めることができ、生成するカラー画像を鮮鋭化させることができる。

図４７は、図４６において光学領域Ｄ１の光学面を非球面形状から球面形状に置き換えた場合の被写体距離と鮮鋭度の関係を示すグラフである。このような場合でも図４６の場合と同様に、カラー画像を鮮鋭化することができる。

本実施形態では、図４７に示すように、被写体距離によって鮮鋭度の高い色の成分が異なる。従って、Ｇ１、Ｇ２、Ｒ、およびＢの輝度断面からそれぞれの鮮鋭度を検出し、鮮鋭度の最も高い色成分を選択して、他の色成分を鮮鋭化させる。

以上のような画像処理により、図４７の実線で示したＧ１、Ｇ２、Ｒ、およびＢの鮮鋭度は、それぞれ破線で示したＧ１’、Ｇ２’、Ｒ’、およびＢ’のように鮮鋭化させることができ、生成するカラー画像を鮮鋭化させることができる。

次に、他の画像鮮鋭化手法について説明する。図４７は、Ｇ１の鮮鋭度を鮮鋭化したＧ１’に基づいてＧ２、Ｒ、Ｂの鮮鋭度を鮮鋭化する方法について説明する図である。光学領域Ｄ１の構成は図４６の場合と同じであり、光学領域Ｄ１を通過した光線によって形成された点像強度分布は、所定の被写体距離範囲内において略一定となる。従って、画素Ｐ１（Ｇ１の成分）を抽出して形成された点像強度分布は、所定の被写体距離範囲内において略一定となる。所定の被写体距離範囲において点像強度分布が略一定であれば、画素Ｐ１（Ｇ１の成分）を抽出して形成された画像は、被写体距離にかかわらず、所定の点像強度分布に基づいて復元することが可能である。

実施の形態７で説明した復元フィルタにより、図４８の実線で示すＧ１の鮮鋭度は、点線で示すＧ１’のように鮮鋭化させることができる。さらに図２７で示した方法と同様にして、Ｇ１’の輝度断面を２回微分し、Ｇ２、Ｒ、およびＢから減じることにより、Ｇ２、Ｒ、およびＢの鮮鋭度が鮮鋭化され、図４８の破線で示すＧ２’、Ｒ’、およびＢ’のように鮮鋭化させることができる。

なお、本実施の形態では光学素子Ｌ１とレンズＬ２は分離しているが、レンズＬ２に光学領域Ｄ１、Ｄ２を設け、光学素子Ｌ１を除去した構成であってもよい。この場合、絞りＳはレンズＬ２の光学領域Ｄ１、Ｄ２の近傍に配置してもよい。

また、前述の通り本実施の形態では、説明を簡略化するためにレンズＬ２を理想レンズとして説明したが、必ずしも理想レンズを用いなくてもよい。例えば、理想レンズでないレンズは軸上色収差を有しているが、軸上色収差を光学素子Ｌ１で補正する構成であってもよい。本実施の形態では、図４３において、光学素子Ｌ１の光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃは全て平面を有するとしているが、それぞれ異なる光学面を有することにより、軸上色収差を補正することができる。前述の通り、サブ光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃを通過した光線はそれぞれ、画素Ｐ２、画素Ｐ３、および画素Ｐ４に到達する。画素Ｐ２、画素Ｐ３、および画素Ｐ４は、それぞれ緑色、赤色、および青色の波長成分を主に通過するフィルタを有しているので、レンズＬ２に軸上色収差を有するレンズを適用する場合、サブ光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃは、各画素に設けられたフィルタの波長帯域における合焦位置が等しくなるように、それぞれの領域面上の光学パワーを異ならせてもよい。このような構成により、サブ光学領域ｄ２Ａ、ｄ２Ｂおよびｄ２Ｃが等しい光学パワーを有する場合と比較して、サブ光学領域ｄ２Ａ、ｄ２Ｂおよびｄ２Ｃを透過した光の合焦位置を互いに近づけることができるため、レンズＬ２で生じる軸上色収差を光学素子Ｌ１によって補正することができる。軸上色収差を光学素子Ｌ１によって補正することにより、レンズＬ２を構成するレンズ枚数を削減することができ、光学系を小型化することができる。

以上のような画像処理により、図４８の実線で示したＧ１の鮮鋭度、およびＧ２、Ｒ、Ｂの鮮鋭度は、点線で示したＧ１’、および破線で示したＧ２’、Ｒ’、Ｂ’のように鮮鋭化させることができ、生成するカラー画像を鮮鋭化させることができる。このような鮮鋭化処理によって、図４６で示した鮮鋭化処理と比べて、被写界深度を拡張することができる。

本実施の形態では、実施の形態７に対して、鮮鋭度Ｇ１と鮮鋭度Ｇ２の関係が逆転しているだけであって、被写体までの距離を測る方法は同様に実施することができる。また、リフォーカス画像を取得する方法も実施の形態７と同様に実施することができる。

以上のように、本実施形態では、実施の形態７と同様に単一の撮像系を用いた（例えば１回の）撮像によって、カラー画像と被写体距離の両方を取得することができるとともに、リフォーカス画像を生成することができる。

（その他の実施形態）
なお、実施の形態１から８は、光学領域が光学素子Ｌ１における被写体側の面に配置された形態であるが、光学領域は光学素子Ｌ１の像側の面に配置されていてもよい。

また、レンズＬ２は１枚の構成としているが、複数群または複数枚の構成のレンズであってもよい。

また、複数の光学領域は、絞り近傍に配置したレンズＬ２に形成されていてもよい。

また、光学素子Ｌ１は、絞りの位置に対して被写体側に配置されているが、絞りの位置に対して像側に配置されていてもよい。

また、前述の実施の形態１から８では、レンズ光学系Ｌは像側テレセントリック光学系としているが、像側非テレセントリック光学系であってもよい。図４９（ａ）は、撮像部近傍を拡大して示す図である。図４９（ａ）では、アレイ状光学素子Ｋを通過する光のうち１つの光学領域を通過する光束のみを示している。図４９（ａ）に示すように、レンズ光学系Ｌが非テレセントリック光学系の場合には、隣接画素に光が漏れてクロストークが発生しやすいが、図４９（ｂ）のようにアレイ状光学素子を画素配列に対してΔだけオフセットさせることにより、クロストークを低減させることができる。前記入射角は像高によって異なるため、前記オフセット量Δは、撮像面への光束の入射角に応じて設定すればよい。

実施の形態１から８は、第１の信号処理部Ｃ１、第２の信号処理部Ｃ２、第３の信号処理部Ｃ３および記憶部Ｍｅ（図１等に示す）を備える撮像装置である。しかし、撮像装置は、これらの信号処理部および記憶部を備えていなくてもよい。その場合、撮像装置の外部のＰＣ等を用いて、第１の信号処理部Ｃ１、第２の信号処理部Ｃ２および第３の信号処理部Ｃ３が行う処理を行えばよい。すなわち、レンズ光学系Ｌ、アレイ状光学素子Ｋおよび撮像素子Ｎを備える撮像装置と、外部の信号処理装置とを備えるシステムを実現してもよい。この形態における撮像装置によれば、単一の撮像光学系を用いた１回の撮像によって多色画像出力及び被写体距離測定のための輝度情報を取得することができる。また、当該輝度情報を用いて外部の信号処理部が行う処理によって、多色画像及び被写体距離の双方を取得することができる。

なお、本実施形態の測距方法においては、必ずしも鮮鋭度と被写体距離との相関関係を用いなくてもよい。例えば、鮮鋭度、コントラスト、もしくは点像の直径と被写体距離との関係を示す式に、得られた鮮鋭度、コントラスト、もしくは点像の直径を代入することにより被写体距離を得てもよい。

また、本実施の形態２、４におけるマイクロレンズアレイの各光学要素（マイクロレンズ）は、各光学要素（マイクロレンズ）の光軸に対して回転対称形状であってもよい。以下、光軸に対して回転非対称な形状を有するマイクロレンズと比較して説明する。

図５０（ａ１）は、光軸に対して回転非対称な形状を有するマイクロレンズアレイを示す斜視図である。このようなマイクロレンズアレイは、アレイの上に四角柱状のレジストを形成して熱処理を行うことによりレジストの角部を丸め、そのレジストを用いてパターニングを行うことにより形成される。図５０（ａ１）に示すマイクロレンズの等高線を図５０（ａ２）に示す。回転非対称な形状を有するマイクロレンズでは、縦横方向（マイクロレンズの底面の四辺と平行な方向）と斜め方向（マイクロレンズの底面の対角線方向）との曲率半径が異なる。

図５０（ａ３）は、図５０（ａ１）、（ａ２）に示すマイクロレンズを本実施形態のアレイ状光学素子に適用した場合の、光線追跡シミュレーションの結果を示す図である。図５０（ａ３）では、アレイ状光学素子Ｋを通過する光のうち１つの光学領域を通過する光束のみを示しているが、このように回転非対称形状のマイクロレンズの場合、隣接の画素に光が漏れてクロストークが発生する。

図５０（ｂ１）は、光軸に対して回転対称な形状を有するマイクロレンズアレイを示す斜視図である。このような回転対称形状のマイクロレンズは、熱インプリントやＵＶインプリント製法により、ガラス板等の上に形成することができる。

図５０（ｂ２）に、回転対称形状のマイクロレンズの等高線を示す。回転対称な形状を有するマイクロレンズでは、縦横方向と斜め方向の曲率半径は等しい。

図５０（ｂ３）は、図５０（ｂ１）、（ｂ２）に示すマイクロレンズを本実施形態のアレイ状光学素子に適用した場合の、光線追跡シミュレーションの結果を示す図である。図５０（ｂ３）では、アレイ状光学素子Ｋを通過する光のうち１つの光学領域を通過する光束のみを示しているが、図５０（ａ３）のようなクロストークは発生していないことがわかる。このように、マイクロレンズを回転対称形状にすることにより、クロストークを低減させることができるため、測距演算における精度の劣化を抑制することができる。

また、実施の形態１から８において、第１の画素と第２の画素とは互いに斜め方向に隣接しているが、図５１（ａ）もしくは(ｂ)のように、第１の画素と第２の画素とは、上下方向（光学素子Ｌ１との関係によっては左右方向）に隣接していてもよい。

本願に開示された撮像装置は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置として有用である。また、自動車の周辺監視用および乗員監視用の測距装置やゲーム、ＰＣ、携帯端末、内視鏡等の３次元情報入力用の測距装置の用途にも応用できる。

Ａ 撮像装置
Ｌ レンズ光学系
Ｌ１ 光学素子
Ｌ２ レンズ
Ｄ１、Ｄ２ 光学領域
Ｓ 絞り
Ｋ アレイ状光学素子
Ｎ 撮像素子
Ｎｉ 撮像面
Ｍｅ 記憶部
Ｍｓ、Ｍｄ 撮像素子上のマイクロレンズ
Ｍ１ アレイ状光学素子のレンチキュラ
Ｍ２ アレイ状光学素子のマイクロレンズ（光学要素）
Ｐ１、Ｐ２、Ｐ３、Ｐ４ 撮像素子上の受光素子
Ｐｇ 画素群
Ｃ１、Ｃ２ 第１、第２の信号処理部
Ｑ 遮光部材

Claims (43)

1. 第１の領域および第２の領域を有するレンズ光学系であって、前記第２の領域が、前記第１の領域を通過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有するレンズ光学系と、
   前記レンズ光学系を通過した光が入射し、第１の分光透過率特性を有するフィルタを備える複数の第１および第２の画素と、前記レンズ光学系を通過した光が入射し、第２の分光透過率特性を有するフィルタを備える複数の第３の画素と、前記レンズ光学系を通過した光が入射し、第３の分光透過率特性を有するフィルタを備える複数の第４の画素と、を有する撮像素子と、
   前記レンズ光学系と前記撮像素子との間に配置され、前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させるアレイ状光学素子とを備え、
   前記アレイ状光学素子は、前記複数の第３の画素に、前記第１の領域および前記第２の領域のうちのいずれか一方を通過した光を入射させ、前記複数の第４の画素に、前記第１の領域および前記第２の領域のうちのいずれか一方を通過した光を入射させる、撮像装置。
2. 前記アレイ状光学素子は、前記複数の第３の画素に、前記第１の領域および前記第２の領域のうちのいずれか一方を通過した光のみを入射させ、前記複数の第４の画素に、前記第１の領域および前記第２の領域のうちのいずれか一方を通過した光のみを入射させる、請求項１に記載の撮像装置。
3. 前記アレイ状光学素子はレンチキュラレンズであって、
   前記アレイ状光学素子は、前記複数の第３の画素に、前記第１の領域および前記第２の領域のうちのいずれか一方を通過した光を入射させ、前記複数の第４の画素に、前記第１の領域および前記第２の領域のうちの他方を通過した光を入射させる、請求項１または２に記載の撮像装置。
4. 前記アレイ状光学素子はマイクロレンズであって、
   前記アレイ状光学素子は、前記複数の第３の画素および前記複数の第４の画素に、前記第１の領域および前記第２の領域のうちのいずれか一方を通過した光を入射させる、請求項１または２に記載の撮像装置。
5. 第１の領域および第２の領域を有するレンズ光学系であって、前記第２の領域が、前記第１の領域を通過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有するレンズ光学系と、
   前記レンズ光学系を通過した光が入射し、第１の分光透過率特性を有するフィルタを備える複数の第１および第２の画素と、前記レンズ光学系を通過した光が入射し、第２の分光透過率特性を有するフィルタを備える複数の第３の画素と、前記レンズ光学系を通過した光が入射し、第３の分光透過率特性を有するフィルタを備える複数の第４の画素と、を有する撮像素子と、
   前記レンズ光学系と前記撮像素子との間に配置され、前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させるアレイ状光学素子とを備え、
   前記複数の第１、第２、第３、第４の画素のそれぞれが１画素ずつ２行２列に配置された画素群内において、前記第１の画素および前記第２の画素は、それぞれ、（１、１）および（２、２）のいずれかの位置に配置されているか、または、（１、２）および（２、１）のいずれかの位置に配置されている、撮像装置。
6. １回の撮像において、前記第１の領域および前記第２の領域に光線が入射する、請求項１から５のいずれかに記載の撮像装置。
7. 前記第１の分光透過率特性を有するフィルタは、緑色帯域の光線を通過させるフィルタであり、前記第２の分光透過率特性を有するフィルタは、青色帯域の光線を通過させるフィルタであり、前記第３の分光透過率特性を有するフィルタは、赤色帯域の光線を通過させるフィルタである、請求項１から６のいずれかに記載の撮像装置。
8. 被写体距離がある所定の範囲内にある場合、前記第１の領域に入射した光によって形成される点像強度分布は略一定であり、前記第２の領域に入射した光によって形成される点像強度分布は、被写体までの距離に応じて変化する、請求項１から７のいずれかに記載の撮像装置。
9. 前記第１の領域の表面および前記第２の領域の表面は、互いに異なる曲率半径を有する、請求項１から７のいずれかに記載の撮像装置。
10. 前記第１の領域および前記第２の領域は、前記レンズ光学系の光軸を境界中心として分割された領域である、請求項１から９のいずれかに記載の撮像装置。
11. 前記複数の第１、第２、第３および第４の画素は、１回の撮像によって、それぞれ、第１から第４の輝度情報を生成し、
    前記第１から第４の輝度情報を用いてカラー画像を生成する第１の信号処理部をさらに備える、請求項１から１０のいずれかに記載の撮像装置。
12. 前記第１の信号処理部は、前記カラー画像における所定領域毎に前記複数の第１から第４の画素の輝度情報のうち少なくとも１つ以上の画素成分の鮮鋭度を検出する鮮鋭度検出部を備え、
    前記それぞれの鮮鋭度のうち最も高い鮮鋭度の成分に基づいて他の画素の輝度情報の成分を鮮鋭化させる、請求項１１に記載の撮像装置。
13. 前記第１の信号処理部は、予め記憶された点像強度分布関数を用いて、前記第１の領域に入射した光が到達する画素の輝度情報によって形成される画像の復元処理を行い、復元された鮮鋭化画像を生成する請求項１１に記載の撮像装置。
14. 前記第１の信号処理部は、単一の前記点像強度分布関数を用いて、前記第１の領域に入射した光が到達する画素の輝度情報によって形成される画像の全領域の復元処理を行い、復元された鮮鋭化画像を生成する、請求項１３に記載の撮像装置。
15. 前記第１の信号処理部は、前記復元された鮮鋭化画像における所定領域毎に鮮鋭度を検出する鮮鋭度検出部を備え、
    前記復元された鮮鋭化画像における所定領域毎の鮮鋭度に基づいて他の画素の輝度情報の成分を鮮鋭化させる、請求項１４に記載の撮像装置。
16. 被写体までの距離を算出する第２の信号処理部をさらに備え、
    前記第１の信号処理部は、前記複数の第１の画素によって得られる第１の画像および前記複数の第２の画素によって得られる第２の画像を生成し、
    前記第２の信号処理部は、前記第１の画像および前記第２の画像を用いて、被写体までの距離を算出する、請求項１３から１５のいずれかに記載の撮像装置。
17. 被写体距離がある一定の範囲内にある場合、前記第１の画像の鮮鋭度と前記第２の画像の鮮鋭度との比の値は、前記被写体までの距離と相関関係を有し、
    前記第２の信号処理部は、前記相関関係と、前記第１の画像の鮮鋭度と前記第２の画像の鮮鋭度との比に基づいて、前記被写体までの距離を算出する、請求項１６に記載の撮像装置。
18. 前記第１の信号処理部は、前記複数の第１の画素において得られた第１の画像のコントラストと前記複数の第２の画素において得られた第２の画像のコントラストを検出するコントラスト検出部を備え、
    被写体距離がある一定の範囲内にある場合、前記第１の画像のコントラストと前記第２の画像のコントラストとの比は前記被写体距離と相関関係を有し、
    前記第２の信号処理部は、前記相関関係と、前記第１の画像のコントラストと、前記第２の画像のコントラストとに基づいて、前記被写体までの距離を算出する、請求項１６に記載の撮像装置。
19. 前記第２の信号処理部は、前記第１の画像と前記第２の画像とを加算した画像の輝度情報と、前記第１の画像または前記第２の画像の輝度情報とを用いて前記被写体までの距離を算出する、請求項１６に記載の撮像装置。
20. 被写体距離がある一定の範囲内にある場合、前記復元された鮮鋭化画像と前記第２の領域に入射した光によって形成される画像から導出される点像強度分布関数は前記被写体距離と相関関係を有し、
    前記第２の信号処理部は、前記相関関係と、前記点像強度分布関数とに基づいて、前記被写体までの距離を算出する、請求項１６に記載の撮像装置。
21. 前記レンズ光学系が像側テレセントリック光学系である、請求項１から２０のいずれかに記載の撮像装置。
22. 前記レンズ光学系は像側非テレセントリック光学系であって、
    前記レンズ光学系の光軸外において前記アレイ状光学素子の配列を前記撮像素子の画素の配列に対してオフセットさせている、請求項１から２０のいずれかに記載の撮像装置。
23. 前記アレイ状光学素子はレンチキュラレンズまたはマイクロレンズアレイである、請求項１、２、５から２２のいずれかに記載の撮像装置。
24. 前記アレイ状光学素子はマイクロレンズアレイであって、
    前記第２の領域は、第２Ａ領域、第２Ｂ領域、および第２Ｃ領域の３つの領域を有し、前記マイクロレンズアレイは、前記第１の領域を通過した光線を前記複数の第１の画素に入射させ、前記第２Ａ領域を通過した光線を前記複数の第２の画素に入射させ、前記第２Ｂ領域を通過した光線を前記複数の第３の画素に入射させ、前記第２Ｃ領域を通過した光線を前記複数の第４の画素に入射させる、請求項２３に記載の撮像装置。
25. 前記第２Ａ領域、前記第２Ｂ領域、および前記第２Ｃ領域は、互いに異なる光学パワーを有し、
    前記複数の第２の画素、前記複数の第３の画素、および前記複数の第４の画素に設けられたフィルタの透過帯域に対応する波長帯域の光の合焦位置が、前記第２Ａ領域、前記第２Ｂ領域、および前記第２Ｃ領域が互いに等しい光学パワーを有する場合と比較して近い、請求項２４に記載の撮像装置。
26. 前記アレイ状光学素子はマイクロレンズアレイであって、
    前記マイクロレンズアレイは複数の光学要素を有し、
    前記複数の各光学要素のそれぞれは、光軸に対して回転対称な形状を有する、請求項１、２、４から２５のいずれかに記載の撮像装置。
27. 前記アレイ状光学素子は前記撮像素子上に形成されている、請求項１から２６のいずれかに記載の撮像装置。
28. 前記アレイ状光学素子と前記撮像素子との間に設けられたマイクロレンズをさらに備え、
    前記アレイ状光学素子は、前記マイクロレンズを介して前記撮像素子上に形成されている、請求項２７に記載の撮像装置。
29. 前記第１の領域と前記第２の領域との間の境界部に設けられた遮光部材をさらに備える、請求項１から２８のいずれかに記載の撮像装置。
30. 前記レンズ光学系は絞りをさらに備え、
    前記第１の領域および前記第２の領域は、前記絞り近傍に配置されている、請求項１から２９のいずれかに記載の撮像装置。
31. 前記複数の第１、第２、第３、第４の画素のそれぞれが１画素ずつ２行２列に配置された画素群内において、
    第１の画素と第２の画素は、前記撮像素子の撮像面において、上下、左右、斜めのいずれかの方向で互いに隣接している、請求項１から４のいずれかに記載の撮像装置。
32. 前記第２の信号処理部は、前記カラー画像の所定領域ごとに被写体距離を算出し、
    前記第２の信号処理部において算出された前記所定領域ごとの被写体距離を用いてリフォーカスされた画像を生成する第３の信号処理部をさらに備える、請求項１６から２０のいずれかに記載の撮像装置。
33. 前記第２の信号処理部は、前記所定領域ごとの被写体距離を用いて、被写体距離ごとの点広がり関数を生成する、請求項３２に記載の撮像装置。
34. 前記点広がり関数の強度変化が極大となる被写体距離である少なくとも１つのベストフォーカス位置から被写体距離方向において離れるほど、前記点広がり関数の強度の変化は小さくなる、請求項３３に記載の撮像装置。
35. 前記少なくとも１つのベストフォーカス位置は、外部から入力された位置または前記第２の信号処理部によって決定された位置である、請求項３４に記載の撮像装置。
36. 前記第３の信号処理部は、前記所定領域ごとの被写体距離と、前記点広がり関数を用いて、前記リフォーカスされた画像を生成する、請求項３３から３５のいずれかに記載の撮像装置。
37. 前記点広がり関数はガウス関数である、請求項３３に記載の撮像装置。
38. 前記第３の信号処理部は、所定領域ごとにフーリエ変換を用いて前記点広がり関数の畳み込み演算を行うことにより、前記リフォーカスされた画像を生成する、請求項３６または３７に記載の撮像装置。
39. 前記第３の信号処理部は、前記所定領域ごとの被写体距離に基づいて、空間フィルタ処理を行うことにより、前記リフォーカスされた画像を生成する、請求項３２に記載の撮像装置。
40. 前記少なくとも１つのベストフォーカス位置は、断続的に複数存在する、請求項３４に記載の撮像装置。
41. 請求項６に記載の撮像装置と、
    カラー画像を生成する第１の信号処理装置をさらに備え、
    前記第１の信号処理装置は、前記１回の撮像によって得られた前記複数の第１の画素、前記複数の第２の画素、前記複数の第３の画素、および前記複数の第４の画素の輝度情報を用いて前記カラー画像を生成する、撮像システム。
42. 被写体までの距離を算出する第２の信号処理装置をさらに備え、
    前記第２の信号処理装置は、前記１回の撮像によって得られた前記複数の第１の画素、前記複数の第２の画素の輝度情報を用いて被写体までの距離を算出する、請求項４１に記載の撮像システム。
43. 撮像装置と、信号処理装置とを備える撮像システムであって、
    前記撮像装置は、
    第１の領域および第２の領域を有するレンズ光学系であって、前記第２の領域が、前記第１の領域を通過した光線による合焦特性に対して合焦特性を異ならせる光学特性を
    有するレンズ光学系と、
    前記レンズ光学系を通過した光が入射する複数の第１の画素と複数の第２の画素とを
    少なくとも有する撮像素子と、
    前記レンズ光学系と前記撮像素子との間に配置され、前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させるアレイ状光学素子とを備え、
    前記信号処理装置は、
    前記複数の第１の画素において得られた第１の画像および前記複数の第２の画素において得られた第２の画像の輝度情報を用いて、撮像画像の所定領域ごとに被写体距離を算出する第１の信号処理部と、
    前記第１の信号処理部において算出された前記所定領域ごとの被写体距離を用いてリフォーカスされた画像を生成する第２の信号処理部を備える、撮像システム。
    
    

Images