JP5159986B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明はカメラ等の撮像装置およびその撮像装置を用いた撮像方法に関する。

近年、自動車の車間距離測定やカメラの自動焦点システム、３次元形状測定システムに、複数の撮像光学系間の視差によって被写体（測距対象物）までの距離を測定する測距装置が用いられている。

このような測距装置では、左右又は上下に配置する一対の撮像光学系によってそれぞれの撮像領域に画像が形成され、それらの画像の視差から三角測量によって被写体までの距離が検出される。

また、単一の撮像光学系から被写体までの距離を測定する方式として、ＤＦＤ（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ）法が知られている。ＤＦＤ法は、取得した画像のボケ量の解析から距離を算出する手法であるが、単一の画像では被写体そのものの模様であるのか、被写体距離によってボケているのかを判別することができないため、複数の画像から距離を推定する手法が用いられている（特許文献１、非特許文献１）。

特許第３１１００９５号

Xue Tu, Youn-sik Kang and Murali Subbarao Two- and Three-Dimensional Methods for Inspection and Metrology V. Edited by Huang, Peisen S.. Proceedings of the SPIE, Volume 6762, pp. 676203 (2007).

複数の撮像光学系を用いた構成では、撮像装置が大型化、高コスト化する。また、複数の撮像光学系の特性を揃え、かつ２つの撮像光学系の光軸を高精度で平行にする必要性があるため製造が難しく、さらにはカメラパラメータを求めるためのキャリブレーション工程が必要であるため、多くの工数を要する。

特許文献１および非特許文献１に開示されるようなＤＦＤ法では、１つの撮像光学系によって被写体までの距離を算出することができる。しかしながら、特許文献１および非特許文献１の方法では、焦点が合う被写体までの距離（合焦距離）を変化させて、時分割で複数の画像を取得する必要がある。このような手法を動画に適用すると、撮影の時間差により画像間にズレが生じてしまうため、測距精度を低下させてしまうという課題が生じる。

また、特許文献１には、プリズムによって光路を分割し、バックフォーカスを異ならせた２つの撮像面によって撮像することによって、１回の撮像で被写体までの距離を測定することができる撮像装置が開示されている。しかしながら、このような方法では、撮像面が２つ必要になるため、撮像装置が大型化し、かつ大幅なコストアップとなってしまうという課題が生じる。

本発明は上記課題を解決するためになされたものであり、その主な目的は、単一の撮像光学系を用いた１回の撮像によって被写体までの距離を測定することができる撮像装置および撮像方法を提供することにある。

本発明の撮像装置は、第１の領域と、前記第１の領域を通過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有する第２の領域とを少なくとも有するレンズ光学系と、前記レンズ光学系を通過した光が入射する複数の第１の画素と複数の第２の画素とを少なくとも有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させるアレイ状光学素子とを備える。

本発明の撮像システムは、本発明の撮像装置と、前記撮像装置における前記複数の第１の画素において得られた第１の画像および前記複数の第２の画素において得られた第２の画像の輝度情報を用いて被写体までの距離を算出する信号処理装置とを備える。

本発明の撮像方法は、第１の領域と、前記第１の領域を通過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有する第２の領域とを少なくとも有するレンズ光学系と、前記レンズ光学系を通過した光が入射する複数の第１の画素と複数の第２の画素とを少なくとも有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置されたアレイ状光学素子とを備える撮像装置を用い、前記アレイ状光学素子によって、前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させ、前記複数の第１の画素において得られた第１の画像および前記複数の第２の画素において得られた第２の画像の輝度情報を用いて被写体までの距離を算出する。

本発明によれば、単一の撮像系を用いた１回の撮像によって、被写体までの距離を取得することができる。本発明では、複数の撮像光学系を用いた撮像装置のように、複数の撮像光学系間の特性や位置を揃える必要がない。また、本発明の撮像装置を用いて動画を撮影した場合、時間の経過によって被写体の位置に変化が生じても、被写体までの正確な距離を測定することができる。

本発明による撮像装置Ａの実施の形態１を示す模式図である。 本発明の実施の形態１における光学素子Ｌ１を被写体側から見た正面図である。 本発明の実施の形態１におけるアレイ状光学素子Ｋの斜視図である。 （ａ）は、図１に示すアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。 本発明の実施の形態１における撮像装置Ａを示す断面図である。 本発明の実施の形態１において、光学面領域Ｄ１および光学面領域Ｄ２を通過した光線による球面収差を示すグラフである。 本発明の実施の形態１における被写体距離毎の点像強度分布を示す図である。 （ａ）および（ｂ）は、本発明の実施の形態１における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。 （ａ）から（ｃ）は、１６×１６のサイズの画像ブロックの輝度分布を示し、（ｄ）から（ｆ）は、図９（ａ）から（ｃ）のそれぞれに示す画像ブロックを２次元でフーリエ変換を行うことによって得られた周波数スペクトルを示す。 本発明による実施の形態２における光学素子Ｌ１を被写体側から見た正面図である。 本発明による実施の形態２におけるアレイ状光学素子Ｋを示す斜視図である。 （ａ）は、本発明の実施の形態２におけるアレイ状光学素子Ｋと撮像素子Ｎとを拡大して示す図であり、（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。 本発明の実施の形態２における被写体距離毎の点像強度分布を示す図である。 本発明の実施の形態２における被写体距離と鮮鋭度との関係を示すグラフである。 本発明による撮像装置Ａの実施の形態３を示す模式図である。 本発明の実施の形態３の光学素子Ｌ１を被写体側から見た正面図である。 （ａ）は、図１５に示すアレイ状光学素子Ｋと撮像素子Ｎとを拡大して示す図であり、（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。 本発明による撮像装置Ａの実施の形態３を示す断面図である。 本発明の実施の形態３において、光学面領域Ｄ１および光学面領域Ｄ２を通過した光線による球面収差を示すグラフである。 本発明の実施の形態３における被写体距離毎の点像強度分布を示す図である。 （ａ）は、本発明による実施の形態４における光学素子Ｌ１を被写体側から見た正面図であり、（ｂ）は、（ａ）に示す光学素子Ｌ１の断面図である。 （ａ）および（ｂ）は、本発明の実施の形態５におけるアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図である。 （ａ）および（ｂ）は、本発明による実施の形態６におけるアレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。 （ａ）および（ｂ）は、本発明による実施の形態７におけるアレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。 本発明による実施の形態８における被写体距離と鮮鋭度の関係を示すグラフである。 （ａ）から（ｃ）は、本発明による実施の形態９における各光学領域と遮光部材との位置関係を示す正面図である。 （ａ）は、実施の形態１０における光学素子Ｌ１を被写体側から見た正面図であり、（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。 （ａ１）、（ｂ１）および（ｃ１）は、被写体距離毎の光線図を示している。（ａ２）、（ｂ２）および（ｃ２）は、光学面領域Ｄ１を通過した物点Ｏの光がレンチキュラを介して奇数行の画素に到達することにより得られる点像の画像情報を模式的に示す図である。（ａ３）、（ｂ３）、（ｃ３）は、光学面領域Ｄ２を通過した物点Ｏの光が、レンチキュラを介して偶数行の画素に到達することにより得られる点像の画像情報を模式的に示す図である。 （ａ１）、（ｂ１）および（ｃ１）は、奇数行奇数列の画素と偶数行偶数列の画素との画素値を加算して得られる点像の画像情報を模式的に示す図である。（ａ２）、（ｂ２）および（ｃ２）は、偶数行奇数列の画素と奇数行偶数列の画素との画素値を加算して得られる点像の画像情報を模式的に示す図である。 （ａ）は、本発明の実施の形態において、クロストークの発生する場合の撮像面の近傍を拡大して示す図であり、（ｂ）は、クロストークを軽減した場合の撮像面の近傍を拡大して示す図である。 （ａ１）は、光軸に対して回転非対称な形状を有するマイクロレンズアレイを示す斜視図である。（ａ２）は、（ａ１）に示すマイクロレンズアレイの等高線を示す図である。（ａ３）は、（ａ１）、（ａ２）に示すマイクロレンズを本発明のアレイ状光学素子に適用した場合の、光線追跡シミュレーションの結果を示す図である。（ｂ１）は、光軸に対して回転対称な形状を有するマイクロレンズアレイを示す斜視図である。（ｂ２）は、（ｂ１）に示すマイクロレンズアレイの等高線を示す図である。（ｂ３）は、（ｂ１）、（ｂ２）に示すマイクロレンズを本発明の実施の形態におけるアレイ状光学素子に適用した場合の、光線追跡シミュレーションの結果を示す図である。

以下、本発明による撮像装置の実施形態を、図面を参照しながら説明する。

（実施の形態１）
図１は、実施の形態１の撮像装置Ａを示す模式図である。本実施形態の撮像装置Ａは、Ｖを光軸とするレンズ光学系Ｌと、レンズ光学系Ｌの焦点近傍に配置されたアレイ状光学素子Ｋと、撮像素子Ｎと、第１の信号処理部Ｃ１と、第２の信号処理部Ｃ２と、記憶部Ｍｅを備える。

レンズ光学系Ｌは、互いに合焦特性を異ならせる光学特性を有する２つの光学面領域Ｄ１、Ｄ２を有し、被写体（図示せず）からの光束Ｂ１、Ｂ２が入射する光学素子Ｌ１と、光学素子Ｌ１を通過した光が入射する絞りＳと、絞りＳを通過した光が入射するレンズＬ２とから構成されている。光学素子Ｌ１は、絞りＳの近傍に配置されていることが好ましい。

本実施形態では、２つの光学面領域Ｄ１、Ｄ２を通過した光は、レンズＬ２を通過した後、アレイ状光学素子Ｋに入射する。アレイ状光学素子Ｋは、光学面領域Ｄ１を通過した光を撮像素子Ｎにおける画素Ｐ１（図４等に示す）に、光学面領域Ｄ２を通過した光を撮像素子Ｎにおける画素Ｐ２に入射させる。第１の信号処理部Ｃ１は、画素Ｐ１において得られる第１の画像Ｉ１と、画素Ｐ２において得られる第２の画像Ｉ２とを出力する。２つの光学面領域Ｄ１、Ｄ２の光学特性は互いに異なるため、第１、第２の画像Ｉ１、Ｉ２の画像の鮮鋭度（輝度を用いて算出される値）は、被写体距離によって異なる。記憶部Ｍｅには、光学面領域Ｄ１、Ｄ２のそれぞれを通過した光の鮮鋭度と被写体距離との相関関係が記憶されている。第２の信号処理部Ｃ２において、第１、第２の画像Ｉ１、Ｉ２の鮮鋭度と上記相関関係とに基づいて、被写体までの距離を得ることができる。

図２は、光学素子Ｌ１を被写体側から見た正面図である。光学素子Ｌ１における光学面領域Ｄ１とＤ２は、光軸Ｖを境界中心として、光軸Ｖに垂直な面内で上下に２分割されている。図２において、破線ｓは、絞りＳの位置を示している。図１において、光束Ｂ１は、光学素子Ｌ１上の光学面領域Ｄ１を通過する光束であり、光束Ｂ２は、光学素子Ｌ１上の光学面領域Ｄ２を通過する光束である。光束Ｂ１、Ｂ２は、光学素子Ｌ１、絞りＳ、レンズＬ２、アレイ状光学素子Ｋをこの順に通過し、撮像素子Ｎ上の撮像面Ｎｉ（図４等に示す）に到達する。

図３は、アレイ状光学素子Ｋの斜視図である。アレイ状光学素子Ｋにおける撮像素子Ｎ側の面には、光軸Ｖに垂直な面内で横方向に長細い複数の光学要素Ｍ１が縦方向に配置されている。それぞれの光学要素Ｍ１の断面（縦方向の断面）は、撮像素子Ｎ側に突出した円弧状の形状を有する。このように、アレイ状光学素子Ｋは、レンチキュラレンズの構成を有する。

図１に示すように、アレイ状光学素子Ｋは、レンズ光学系Ｌの焦点近傍に配置されており、撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。実際には、光学素子Ｌ１における光学特性がレンズ光学系Ｌ全体としての合焦特性に影響を与えるが、アレイ状光学素子Ｋが配置される位置は、例えば、レンズＬ２の焦点を基準にして決定すればよい。なお、本実施形態において、「合焦特性が異なる」とは、その光学系において光の集光に寄与する特性の少なくとも１つが異なることをいい、具体的には、焦点距離、焦点が合う被写体までの距離、鮮鋭度が一定の値以上となる距離範囲などが異なることをいう。光学面領域Ｄ１、Ｄ２の曲率半径や非球面係数や屈折率を調整して光学特性を異ならせることにより、各領域を通過した光線による合焦特性を異なるものとすることができる。

図４（ａ）は、図１に示すアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、図４（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。アレイ状光学素子Ｋは、光学要素Ｍ１が形成された面が撮像面Ｎｉ側に向かうように配置されている。撮像面Ｎｉには、画素Ｐが行列状に配置されている。画素Ｐは画素Ｐ１および画素Ｐ２に区別できる。画素Ｐ１および画素Ｐ２のそれぞれは、横方向（行方向）に１行に並んで配置されている。縦方向（列方向）において、画素Ｐ１とＰ２とは交互に配置されている。アレイ状光学素子Ｋは、その光学要素Ｍ１の１つが、撮像面Ｎｉ上における１行の画素Ｐ１および１行の画素Ｐ２からなる２行の画素に対応するように配置されている。撮像面Ｎｉ上には、画素Ｐ１、Ｐ２の表面を覆うようにマイクロレンズＭｓが設けられている。

アレイ状光学素子Ｋは、光学素子Ｌ１上の光学面領域Ｄ１（図１、図２に示す）を通過した光束Ｂ１（図１において実線で示される光束Ｂ１）の大部分が、撮像面Ｎｉ上の画素Ｐ１に到達し、光学面領域Ｄ２を通過した光束（図１において破線で示される光束Ｂ２）の大部分が、撮像面Ｎｉ上の画素Ｐ２に到達するように設計されている。具体的には、アレイ状光学素子Ｋの屈折率、撮像面Ｎｉからの距離及び光学要素Ｍ１表面の曲率半径等のパラメータを適切に設定することで、上記構成が実現する。

ここで、図１に示す第１の信号処理部Ｃ１により、画素Ｐ１のみで形成された第１の画像Ｉ１と、画素Ｐ２のみで形成された第２の画像Ｉ２とが出力される。第２の信号処理部Ｃ２により、第１の画像Ｉ１と第２の画像Ｉ２とにおいて隣接する画素間の輝度値の差（鮮鋭度）によって表される輝度情報を用いて測距演算が実行される。

第１の画像Ｉ１と第２の画像Ｉ２は、互いに合焦特性を異ならせる光学特性を有する光学面領域Ｄ１、Ｄ２を通過した光束Ｂ１、Ｂ２によって得られる画像である。つまり、撮像装置Ａは、複数の合焦特性を有する光学系Ｌによって、１回の撮像で、複数の画像を取得することができる。本実施形態では、第１の画像Ｉ１と第２の画像Ｉ２とを用いて、被写体距離を求めることができる。

絞りＳは全ての画角の光束が通過する領域である。従って、絞りＳの近傍に合焦特性を制御する光学特性を有する面を挿入することにより、全ての画角の光束の合焦特性を同様に制御することができる。すなわち、本実施形態では、光学素子Ｌ１は、絞りＳの近傍に設けられていることが好ましい。互いに合焦特性を異ならせる光学特性を有する光学面領域Ｄ１、Ｄ２を、絞りＳの近傍に配置することによって、領域の分割数に応じた合焦特性を光束に与えることができる。

図１においては、光学素子Ｌ１を通過した光が、直接（他の光学部材を介することなく）、絞りＳに入射する位置に設けられている。光学素子Ｌ１は、絞りＳよりも撮像素子Ｎ側に設けられていてもよい。この場合、光学素子Ｌ１は、絞りＳとレンズＬ２との間に設けられており、絞りＳを通過した光が、直接（他の光学部材を介することなく）、光学素子Ｌ１に入射することが好ましい。像側テレセントリック光学系の場合、光学系の焦点における光線の入射角は、絞りＳを通過する光線の位置と画角によって一義的に決定される。また、アレイ状光学素子Ｋは、光線の入射角に応じて出射方向を振り分ける機能を有する。そのため、絞りＳの近傍で分割された光学面領域Ｄ１、Ｄ２に対応するように、撮像面Ｎｉ上の画素に光束を振り分けることができる。

次に、具体的に被写体距離を求める方法について説明する。

図５は、実施の形態１における撮像装置Ａを示す断面図である。図５において図１と同じ構成要素には、図１と同じ符号を付している。図５においてはアレイ状光学素子Ｋ（図１等に示す）の図示は省略しているが、図５の領域Ｈには、実際には、アレイ状光学素子Ｋが含まれている。領域Ｈは、図４（ａ）に示す構成を有する。

表１および表２は、図５に示す撮像装置Ａの光学系の設計データである。表１および表２において、Ｒｉは各面の近軸曲率半径（ｍｍ）、ｄｉは各面の面中心間隔（ｍｍ）、ｎｄはレンズもしくはフィルタのｄ線の屈折率、νｄは各光学素子のｄ線のアッベ数を示している。また、非球面形状は、面頂点の接平面から光軸方向の距離をｘ、光軸からの高さをｈとして、ｒを近軸曲率半径、ｋを円錐定数、Ａ_m（ｍ＝４，６，８，１０）を第ｍ次の非球面係数としたとき（数１）で表される。

本設計例では、光学素子Ｌ１における被写体側の面のうち、光学面領域Ｄ１が平面であり、光学面領域Ｄ２がレンズ光学系Ｌの焦点近傍における所定の範囲において略一定の点像強度分布を生成する光学面である。

図６は、光学面領域Ｄ１、Ｄ２を通過する光線による球面収差を示すグラフである。ここで、光学面領域Ｄ１は、光学面領域Ｄ１を通過する光線によって生じる球面収差が少なくなるように設計されているのに対し、光学面領域Ｄ２は、光学面領域Ｄ２を通過する光線によって球面収差が生じるように設計されている。光学面領域Ｄ２によって生じる球面収差の特性を調整することにより、レンズ光学系Ｌの焦点近傍の所定の範囲内において、光学面領域Ｄ２を通過した光によって生じる画像の点像強度分布を略一定にすることができる。すなわち、被写体距離が変化しても点像強度分布を略一定にすることができる。

図７は、被写体距離毎の点像強度分布を示す図である。図７の点像強度分布は、図４に示す撮像素子Ｎ上の画素ピッチを６μｍとし、アレイ状光学素子Ｋの光学要素Ｍ１のピッチを１２μｍに設定し、シミュレーションにより求めたものである。図７の左端の列は全画素の点像強度分布である。中央の列は、画素Ｐ１の点像強度分布のみを抽出し、画素Ｐ２の点像強度分布を０レベルにてマスキングしたものである。すなわち、光学面領域Ｄ１を通過した光束によって形成された点像強度分布である。また、右端の列は画素Ｐ２の点像強度分布のみを抽出し、画素Ｐ１の点像強度分布を０レベルにてマスキングしたものである。すなわち、光学面領域Ｄ２を通過した光束によって形成された点像強度分布である。画素Ｐ２の点像強度分布は被写体距離が変化しても略一定であり、画素Ｐ１の点像強度分布は被写体距離が遠いほど、点像の大きさが小さくなっていることがわかる。

点像の大きさが小さくなるほど、画像の鮮鋭度が増すため、被写体距離と鮮鋭度の関係をグラフで示すと、図８（ａ）のような関係になる。図８（ａ）のグラフにおいて、鮮鋭度Ｇ１は画素Ｐ１のみで生成された画像の所定領域の鮮鋭度を示しており、鮮鋭度Ｇ２は画素Ｐ２のみで生成された画像の所定領域の鮮鋭度を示している。鮮鋭度は、所定の大きさの画像ブロック内において隣接する画素間の輝度値の差分に基づいて求めることができる。また、所定の大きさの画像ブロックの輝度分布をフーリエ変換した周波数スペクトルに基づいて求めることもできる。

所定の大きさのブロック内における鮮鋭度をＥとし、隣接する画素間の輝度値の差分に基づいて求める場合は、例えば（数２）を用いる。

（数２）においてΔｘ_i,jは、所定の大きさの画像ブロック内の座標（ｉ，ｊ）における画素の輝度値と座標（ｉ＋１，ｊ）の座標の画素の輝度値との差分値であり、Δｙ_i,jは、所定の大きさの画像ブロック内の座標（ｉ，ｊ）における画素の輝度値と座標（ｉ，ｊ＋２）の座標の画素の輝度値との差分値であり、ｋは係数である。Δｙ_i,jのｙ方向の輝度値が座標ｊおよび座標ｊ＋２を用いて計算されているのは、画素Ｐ１、Ｐ２のそれぞれにおいて得られる画像では、縦方向（ｙ方向）の輝度情報が１画素おきに形成されるためである。Δｙ_i,jには所定の係数（例えばｋ＝０．５）を乗じることが望ましい。

第１、第２の画像Ｉ１、Ｉ２のそれぞれでは、ｙ方向の画像の輝度情報は、１画素おきに欠落している。欠落している画素の輝度情報を、ｙ方向に隣接する画素の輝度情報によって補間して生成してもよい。例えば、画像において、座標（ｉ，ｊ＋１）の輝度情報が欠落している場合、座標（ｉ，ｊ）と座標（ｉ，ｊ＋２）の輝度情報を平均して座標（ｉ，ｊ＋１）を補間すればよい。座標（ｉ，ｊ＋１）の鮮鋭度Ｅを（数２）によって求める場合には、ｋ＝１とすればよく、Δｙ_i,jは、所定の大きさの画像ブロック内の座標（ｉ，ｊ）における画素の輝度値と座標（ｉ，ｊ＋１）の座標の画素の輝度値（座標（ｉ，ｊ＋２）の輝度情報によって補間された値）との差分値となる。（数２）の計算により、所定の大きさの画像ブロック内の輝度値の差が大きいほど、大きな鮮鋭度が得られる。

次に、所定の大きさのブロック内における鮮鋭度Ｅをフーリエ変換した周波数スペクトルに基づいて求める方法について説明する。画像は２次元であるため、２次元フーリエ変換を用いて鮮鋭度を求める方法について説明する。ここでは所定のブロックサイズの鮮鋭度を２次元のフーリエ変換によって求める場合を説明する。

図９（ａ）から（ｃ）は、１６×１６のサイズの画像ブロックの輝度分布を示している。図９（ａ）、（ｂ）、（ｃ）の順に鮮鋭度が小さくなっている。図９（ｄ）から（ｆ）は、図９（ａ）から（ｃ）のそれぞれに示す画像ブロックを２次元でフーリエ変換を行うことによって得られた周波数スペクトルを示す。図９（ｄ）から（ｆ）では、わかりやすくするために、各周波数スペクトルの強度を対数変換して表示しており、周波数スペクトルが強いほど明るく示されている。各周波数スペクトルにおいて中央の最も輝度の高い箇所が直流成分であり、周辺部に近づくほど周波数が高くなっている。

図９（ｄ）から（ｆ）では、画像の鮮鋭度が小さくなるほど高い周波数スペクトルが欠落していくことがわかる。従って、これらの周波数スペクトルから鮮鋭度を求めるには、例えば、周波数スペクトル全体あるいは一部を抽出することによって求めることができる。

ここで図８（ａ）におけるＺの範囲は、Ｇ１が変化し、かつＧ２がほとんど変化しない領域を示している。Ｚの範囲では、このような関係を利用して被写体距離を求めることができる。例えば、Ｚの範囲では、被写体距離と、鮮鋭度Ｇ１とＧ２の比に相関があるため、予め被写体距離と、鮮鋭度Ｇ１、Ｇ２の比との相関関係を記憶部Ｍｅに記憶しておく。

撮像装置の使用時には、１回の撮像の結果得られるデータのうち、画素Ｐ１のみで生成された第１の画像Ｉ１と画素Ｐ２のみで生成された第２の画像Ｉ２との鮮鋭度の比を各演算ブロック毎に求める。そして、記憶部Ｍｅに記憶されている相関関係を利用して、被写体距離を求めることができる。具体的には、各演算ブロック毎に、上記相関関係における鮮鋭度の比と、第１の画像Ｉ１と第２の画像Ｉ２との鮮鋭度の比の値とを比較する。そして、両者が一致する値に対応する被写体距離を、撮影時の被写体までの距離とする。

画素Ｐ１のみで生成された第１の画像Ｉ１の鮮鋭度と画素Ｐ２のみで生成された第２の画像Ｉ２の鮮鋭度との比から被写体距離を一意的に求めるためには、鮮鋭度の比が、所定の被写体距離範囲内で全て異なっている必要がある。

図８（ａ）においては、Ｚの範囲内で、鮮鋭度の比が全て異なっているため、被写体距離を一意的に求めることができる。また、鮮鋭度の値が低すぎると比を求めることができないため、鮮鋭度の値は一定値以上であることが好ましい。

なお、被写体距離と鮮鋭度の関係は、光学面領域Ｄ１、Ｄ２の曲率半径や非球面係数や屈折率によって決まる。つまり、光学面領域Ｄ１、Ｄ２は第１の画像Ｉ１の鮮鋭度と第２の画像Ｉ２の鮮鋭度との比が、所定の距離範囲内で全て異なるような光学特性を有している必要がある。

なお、本実施形態では、輝度を用いて算出される値（輝度情報）であれば、鮮鋭度以外の値、例えばコントラストを用いて被写体距離を求めてもよい。コントラストは、例えば、所定の演算ブロック内における最大輝度値と最低輝度値の比から求めることができる。鮮鋭度は輝度値の差分であるのに対し、コントラストは輝度値の比である。最大輝度値である一点と最低輝度値である一点との比からコントラストを求めてもよいし、例えば輝度値の上位数点の平均値と、輝度値の下位数点の平均値との比からコントラストを求めてもよい。コントラストを用いて被写体距離を求める場合も、鮮鋭度の場合と同様に、予め被写体距離と、コントラストの比との相関関係を記憶部Ｍｅに記憶させておく。各ブロック毎に第１の画像Ｉ１と第２の画像Ｉ２とのコントラストの比を求めることにより、相関関係を利用して被写体距離を求めることができる。

図８（ｂ）は、図１において光学面領域Ｄ２の光学面を曲率半径４００ｍｍの球面に置き換えた場合の被写体距離と鮮鋭度の関係を示すグラフである。Ｚの範囲は、鮮鋭度Ｇ１とＧ２が共に変化する領域を示している。このような場合でも図８（ａ）と同様に、被写体距離を求めることができる。

本実施形態は、図８（ｂ）のように各領域の曲率半径を互いに異ならせた場合において、第１の画像Ｉ１および第２の画像Ｉ２を加算した画像を生成する構成を備えていてもよい。第１の画像Ｉ１および第２の画像Ｉ２の加算によって生成された画像において鮮鋭度が一定の値以上になる距離範囲は第１の画像および第２の画像よりも大きい。この場合、加算によって生成された画像の鮮鋭度と、第１の画像Ｉ１または第２の画像Ｉ２のいずれかの画像の鮮鋭度との比は、被写体距離と相関関係を有する。この相関関係をあらかじめ記憶しておくことにより、画像の所定領域毎に被写体距離を求めることができる。

なお、本実施形態では、隣接する画素における輝度値の差分から鮮鋭度を求める方法、および、フーリエ変換によって鮮鋭度を求める方法のいずれを採用してもよい。ただし、輝度値は相対的な値であるため、前者の方法で求めた輝度値と後者の方法で求めた輝度値は異なる値となる。したがって、相関関係（あらかじめ記憶しておく被写体距離と鮮鋭度の比との相関関係）を求めるために鮮鋭度を求める方法と、撮像時に鮮鋭度を求める方法とは一致させておく必要がある。

また、表１および表２に示す撮像装置の光学系は、像側テレセントリック光学系としている。これにより画角が変化しても、アレイ状光学素子Ｋの主光線入射角は、０度に近い値で入射するため、撮像領域全域にわたって、画素Ｐ１に到達する光束と画素Ｐ２に到達する光束とのクロストークを低減することができる。

本実施の形態では、レンズ光学系Ｌとして、像側非テレセントリック光学系を用いてもよい。この場合、光学素子Ｌ１の２つの領域の曲率半径がそれぞれ異なるため、それぞれの領域によって得られる画像（第１の画像Ｉ１および第２の画像Ｉ２）の倍率が異なる。ここで、前述のような鮮鋭度の比を画像の領域毎に算出した場合、光軸外では互いに参照する所定領域がずれてしまい、鮮鋭度の比を正しく求めることができない。この場合、第１の画像Ｉ１および第２の画像Ｉ２の倍率を略同一になるように補正して、所定領域の鮮鋭度の比を求めることにより、正しく求めることができる。

また、本実施の形態１では、光学面領域Ｄ１と光学面領域Ｄ２の面積を等しくしている。このような構成により、画素Ｐ１と画素Ｐ２の露光量を等しくすることができる。光学面領域Ｄ１と光学面領域Ｄ２との面積が異なる場合には、画素Ｐ１と画素Ｐ２との露光時間を異ならせることが好ましい。例えば、光学面領域Ｄ１の面積のほうが光学面領域Ｄ２の面積よりも広い場合には、画素Ｐ１の露光時間を画素Ｐ２の露光時間よりも短くすることが好ましい。

以上に述べたように、本実施形態によると、光学素子Ｌ１の２つの光学面領域Ｄ１、Ｄ２によって得られる画像の鮮鋭度（またはコントラスト）の比と被写体距離の相関関係をあらかじめ記憶しておき、撮像された第１、第２の画像Ｉ１、Ｉ２における鮮鋭度（またはコントラスト）の比と、上記相関関係とに基づいて、被写体までの距離を得ることができる。本実施形態では、単一の撮像系を用いた１回の撮像によって被写体までの距離を得ることができるため、複数の撮像光学系を用いた撮像装置のように、複数の撮像光学系間の特性や位置を揃える必要がない。また、本実施形態の撮像装置を用いて動画を撮影した場合、時間の経過によって被写体の位置に変化が生じても、被写体までの正確な距離を測定することができる。

（実施の形態２）
本実施の形態２は、光学素子Ｌ１の領域分割を４つにした点と、アレイ状光学素子をレンチキュラからマイクロレンズに置き換えた点で、実施の形態１と異なっている。ここでは、本実施形態において実施の形態１と同様の内容についての詳細な説明は省略する。

図１０は、光学素子Ｌ１を被写体側から見た正面図であり、光学面領域Ｄ１、Ｄ２、Ｄ３、およびＤ４は光軸Ｖを境界中心として光軸Ｖに垂直な面内で上下左右に４分割されている。また、光学面領域Ｄ１は平面、光学面領域Ｄ２は曲率半径３００ｍｍの球面レンズ、光学面領域Ｄ３は曲率半径２００ｍｍの球面レンズ、光学面領域Ｄ４は曲率半径１２０ｍｍの球面レンズであり、各領域の球面レンズの光軸は前述の光軸Ｖである。また、破線ｓは、絞りＳの位置を示している。

図１１は、アレイ状光学素子Ｋの斜視図である。アレイ状光学素子Ｋにおける撮像素子Ｎ側の面には、光学要素Ｍ２が格子状に配置されている。それぞれの光学要素Ｍ２の断面（縦方向および横方向それぞれの断面）は円弧状であり、それぞれの光学要素Ｍ２は、撮像素子Ｎ側に突出している。このように、光学要素Ｍ２はマイクロレンズであり、アレイ状光学素子Ｋは、マイクロレンズアレイとなっている。

図１２（ａ）は、アレイ状光学素子Ｋと撮像素子Ｎとを拡大して示す図であり、図１２（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。アレイ状光学素子Ｋは、実施の形態１と同様に、レンズ光学系Ｌの焦点近傍に配置されており、かつ撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。また、撮像面Ｎｉ上には、画素Ｐ１、Ｐ２、Ｐ３、Ｐ４の表面を覆うようにマイクロレンズＭｓが設けられている。

また、アレイ状光学素子Ｋは、光学要素Ｍ２が形成された面が撮像面Ｎｉ側に向うように配置されている。アレイ状光学素子Ｋは、その光学要素Ｍ２の１つが、撮像面Ｎｉにおける２行２列の画素Ｐ１〜Ｐ４の４つの画素に対応するように配置されている。

このような構成により、図１０に示す光学素子Ｌ１上の光学面領域Ｄ１、Ｄ２、Ｄ３、Ｄ４を通過した光束の大部分は、それぞれ撮像面Ｎｉ上の画素Ｐ１、画素Ｐ２、画素Ｐ３、および画素Ｐ４に到達する。

ここで、実施の形態１と同様に、第１の信号処理部Ｃ１により、画素Ｐ１、画素Ｐ２、画素Ｐ３、および画素Ｐ４のそれぞれから、第１の画像Ｉ１、第２の画像Ｉ２、第３の画像Ｉ３、および第４の画像Ｉ４のそれぞれが出力される。

光学素子Ｌ１の光学面領域Ｄ１、Ｄ２、Ｄ３、Ｄ４の曲率半径を互いに異ならせているため、撮像装置Ａは、４つの合焦特性によって撮像された４つの画像を同時に取得することができる。

図１３は、被写体距離毎の点像強度分布を示す図である。図１３の点像強度分布は、図１２に示す撮像素子の画素ピッチを６μｍとし、アレイ状光学素子Ｋの光学要素Ｍ２のピッチを１２μｍに設定し、シミュレーションにより求めたものである。図１３の左端の列は全画素の点像強度分布である。左から２番目の列は、画素Ｐ１の点像強度分布のみを抽出し、他の画素４の点像強度分布を０レベルにてマスキングしたものである。すなわち、光学面領域Ｄ１を通過した光束によって形成された点像強度分布である。同様に、左から３番目の列、４番目の列、５番目の列は、それぞれ、光学面領域Ｄ２、Ｄ３、Ｄ４を通過した光束によって形成された点像強度分布である。画素Ｐ１、Ｐ２、Ｐ３、およびＰ４によってそれぞれ形成された点像強度分布の点像の大きさは、それぞれ、被写体距離４０００ｍｍ、５９０ｍｍ、３９０ｍｍ、および２３０ｍｍにおいて最小になっていることがわかる。

実施の形態１と同様に、被写体距離と鮮鋭度の関係をグラフで示すと、図１４のような関係になる。図１４のグラフにおいて、Ｇ１、Ｇ２、Ｇ３およびＧ４は、それぞれ画素Ｐ１、Ｐ２、Ｐ３、およびＰ４のみで生成された画像の所定領域の鮮鋭度を示している。

また、Ｚの範囲は、鮮鋭度Ｇ１、Ｇ２、Ｇ３およびＧ４のいずれかが変化している領域を示している。Ｚの範囲内では、このような関係を利用して被写体距離を求めることができる。例えば、Ｚ１の範囲では鮮鋭度Ｇ１とＧ２の比、Ｚ２の範囲では鮮鋭度Ｇ２とＧ３の比、Ｚ３の範囲内では鮮鋭度Ｇ３とＧ４の比に相関がある。これらの鮮鋭度の比と被写体距離との相関関係をあらかじめ記憶部Ｍｅに記憶しておく。実際の撮影時には、まず、第２の信号処理部Ｃ２において、第１、第２の画像Ｉ１、Ｉ２の鮮鋭度の比、第２、第３の画像Ｉ２、Ｉ３の鮮鋭度の比、第３、第４の画像Ｉ３、Ｉ４の鮮鋭度の比をそれぞれ算出する。そして、各演算ブロックごとに、これらの鮮鋭度の比を、あらかじめ記憶部に保持された相関関係における鮮鋭度の比と比較する。そして、両者が一致する値に対応する被写体距離を、撮影時の被写体までの距離とする。

本実施の形態では、光学素子Ｌ１を互いに合焦特性を異ならせる光学特性を有する４つの領域に分割することにより、実施の形態１のように２つの領域に分割した形態と比較して、測距可能な被写体距離範囲を広げることができる。具体的に説明する。光学素子Ｌ１を２つの領域に分割した場合、図８に示すとおり、範囲Ｚ内で被写体距離を求めることができる。一方、光学素子Ｌ１を４つの領域に分割した場合、図１４に示す範囲Ｚ１内で被写体距離を求めることができるとともに、範囲Ｚ１外にも測距可能な被写体距離範囲が存在する。すなわち、鮮鋭度Ｇ１の値が小さく鮮鋭度Ｇ１とＧ２との比を求めることができない被写体距離においても、範囲Ｚ２においては鮮鋭度Ｇ２とＧ３との比を、範囲Ｚ３においては鮮鋭度Ｇ３とＧ４との比を求めることができる。この構成により、図８に示す２つの領域に分割した形態と比較して、測距可能な被写体距離範囲を広げることができる。

また、本実施の形態２は、第１の画像Ｉ１、第２の画像Ｉ２、第３の画像Ｉ３、および第４の画像Ｉ４を加算した画像を生成する構成を備えていてもよい。第１から第４の画像Ｉ１〜Ｉ４の加算によって生成された画像において鮮鋭度が一定の値以上になる距離範囲は第１から第４の画像Ｉ１〜Ｉ４のそれぞれよりも大きい。この場合、第１から第４の画像Ｉ１〜Ｉ４の加算によって生成された画像の鮮鋭度と、第１から第４の画像Ｉ１〜Ｉ４のうちのいずれかの画像の鮮鋭度Ｇ１〜Ｇ４との間の比は、被写体距離と相関関係を有する。これらの相関関係をあらかじめ記憶しておくことにより、画像の所定領域毎に被写体距離を求めることができる。

また、本実施の形態では像側テレセントリック光学系を用いているが、レンズ光学系Ｌとして、像側非テレセントリック光学系を用いてもよい。この場合、光学素子Ｌ１の４つの領域の曲率半径がそれぞれ異なるため、それぞれの領域によって得られる画像（第１の画像Ｉ１、第２の画像Ｉ２、第３の画像Ｉ３、および第４の画像Ｉ４）の倍率が異なる。ここで、前述のような鮮鋭度の比を画像の領域毎に算出した場合、光軸外では互いに参照する所定領域がずれてしまい、鮮鋭度の比を正しく求めることができない。したがって、第１の画像Ｉ１、第２の画像Ｉ２、第３の画像Ｉ３、および第４の画像Ｉ４の倍率を略同一になるように補正して、所定領域の鮮鋭度の比を求めることにより、正しく求めることができる。

また、本実施の形態２では、光学面領域Ｄ１〜Ｄ４の面積を等しくしている。このような構成により、画素Ｐ１〜Ｐ４の露光時間を等しくすることができる。光学面領域Ｄ１〜Ｄ４の面積がそれぞれ異なる場合には、画素Ｐ１〜Ｐ４の露光時間を異ならせることが好ましい。この場合、面積の小さい画素ほど露光時間を長くすることが好ましい。

（実施の形態３）
本実施の形態３は、光学素子Ｌ１の領域を同心円で分割した点と、アレイ状光学素子であるマイクロレンズアレイの１つのマイクロレンズに９つの画素が対応している点で、実施の形態２と異なっている。ここでは、本実施形態において実施の形態１と同様の内容についての詳細な説明は省略する。

図１５は、本発明による撮像装置Ａの実施の形態３を示す模式図である。図１５において実施の形態１と同じ構成要素には、同じ符号を付して示している。

図１６は、光学素子Ｌ１を被写体側から見た正面図であり、光学面領域Ｄ１、Ｄ２は光軸Ｖを中心として同心円状に２分割されている。また、光学面領域Ｄ１は平面であり、光学面領域Ｄ２は、レンズ光学系Ｌの焦点近傍における所定の範囲において略一定の点像強度分布を生成する光学面である。また、破線ｓは、絞りＳの位置を示している。

本実施形態において、アレイ状光学素子Ｋの構成は第２の実施形態と同様であり、本実施形態のアレイ状光学素子Ｋの斜視図は、図１１と同様である。

図１７（ａ）は、図１５に示すアレイ状光学素子Ｋと撮像素子Ｎとを拡大して示す図であり、図１７（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。アレイ状光学素子Ｋは、レンズ光学系Ｌの焦点近傍に配置されており、撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。また、撮像面Ｎｉ上には、画素Ｐｃ、Ｐａの表面を覆うように、マイクロレンズＭｓが設けられている。

また、アレイ状光学素子Ｋは、光学要素Ｍ２が形成された面が撮像面Ｎｉ側に向かうように配置されている。アレイ状光学素子Ｋは、その光学要素Ｍ２の１つが、撮像面Ｎｉ上の１つの画素Ｐｃと８つの画素Ｐａの合計９つの画素に対応するように構成されている。

このような構成により、図１６に示す光学素子Ｌ１上の光学面領域Ｄ１を通過した光束（図１５において実線で示される光束Ｂ１）の大部分は、撮像面Ｎｉ上の画素Ｐａに到達し、光学面領域Ｄ２を通過した光束（図１５において破線で示される光束Ｂ２）の大部分は、撮像面Ｎｉ上の画素Ｐｃに到達する。

光学素子Ｌ１の光学面領域Ｄ２の直径は、レンズのＦ値が４になるように設定されており、光学素子Ｌ１の光学面領域Ｄ１の直径は、レンズのＦ値が２．８になるように設定されている。一方、光学素子Ｌ１の焦点距離は１０ｍｍである。下記（数３）に光学面領域Ｄ１、Ｄ２のそれぞれにおけるＦ値と焦点距離とを入力すると、光学面領域Ｄ２のレンズ有効径は２．５ｍｍ、光学面領域Ｄ１のレンズ有効径は３．５４ｍｍである。

光学面領域Ｄ２のレンズの半径は１．２５ｍｍ、光学面領域Ｄ１のレンズの半径は１．７７ｍｍであることから、光学面領域Ｄ２のレンズの面積は（１．２５）²π≒１．５６πｍｍ²、光学面領域Ｄ１のレンズの面積は３．１３πｍｍ²であることが求められる。この結果から、光学素子Ｌ１における光学面領域Ｄ２の面積は１．５６πｍｍ²、光学素子Ｌ１における光学面領域Ｄ１の面積は、３．１３πｍｍ²から１．５６πｍｍ²の値を減じた１．５７ｍｍ²となる。このように、光学素子Ｌ１における光学面領域Ｄ１、Ｄ２の面積はほぼ等しくなる。光学面領域Ｄ１、Ｄ２の面積がほぼ等しければ、一定時間内に８つの画素Ｐａに入射する光量の合計と、画素Ｐｃに入射する光量とをほぼ等しくすることができる。そのため、光学面領域Ｄ１、Ｄ２への露光時間を等しく制御することができる。

ここで、図１５に示す第１の信号処理部Ｃ１により、画素Ｐａのみで形成された第１の画像Ｉ１と、画素Ｐｃのみで形成された第２の画像Ｉ２が出力される。

実施の形態１と同様に、第１の画像Ｉ１と第２の画像Ｉ２は、それぞれ光学素子Ｌ１の光学面領域Ｄ１と光学面領域Ｄ２の光学特性を異ならせることによって得られた画像であるため、撮像装置Ａは、鮮鋭度が一定の値以上になる距離範囲や、焦点の合う被写体までの距離の異なる画像を同時に取得することができる。

次に、具体的に被写体距離を求める方法を説明する。

図１８は、本発明の実施の形態３における撮像装置Ａの断面図である。図１８において図１５と同じ構成要素には、同じ符号を付している。図１８においてはアレイ状光学素子Ｋ（図１５等に示す）の図示は省略しているが、図１８の領域Ｈには、アレイ状光学素子Ｋおよび撮像面Ｎｉが含まれており、領域Ｈは、図１７（ａ）に示す構成を有する。

表３と表４は、図１８に示す撮像装置Ａの光学系の設計データである。表３および表４において、各記号は表１および表２と同じである。

図１９は、光学面領域Ｄ１および光学面領域Ｄ２を通過する光線による球面収差を示している。ここで、光学面領域Ｄ１は、光学面領域Ｄ１を通過する光線によって生じる球面収差が少なくなるように設計されているのに対し、光学面領域Ｄ２は、光学面領域Ｄ２を通過する光線によって球面収差が生じるように設計されている。光学面領域Ｄ２によって生じる球面収差の値を調整することにより、レンズ光学系Ｌの焦点近傍の所定の範囲内において、光学面領域Ｄ２を通過した光によって生じる画像の点像強度分布を略一定にすることができる。すなわち、被写体距離が変化しても点像強度分布を略一定にすることができる。

図２０は、被写体距離毎の点像強度分布を示す図である。図２０の点像強度分布は、図１６に示す撮像素子Ｎ上の画素ピッチを４μｍとし、アレイ状光学素子Ｋの光学要素Ｍ２のピッチを１２μｍに設定し、シミュレーションにより求めたものである。図１９の左端の列は全画素の点像強度分布である。中央の列は、アレイ状光学素子Ｋの１つの光学要素Ｍ２が対応する８つの画素Ｐａを加算して生成したものであり、光学面領域Ｄ１を通過した光束によって形成された点像強度分布である。また、右端の列は画素Ｐｃの点像強度分布のみを抽出して生成したものであり、光学面領域Ｄ２を通過した光束によって形成された点像強度分布である。画素Ｐｃの点像強度分布は被写体距離が変化しても略一定であり、画素Ｐａの点像強度分布は被写体距離が遠いほど、点像の大きさが小さくなっていることがわかる。

ここで、本実施の形態３においても、被写体距離と鮮鋭度の関係は、実施の形態１の図８（ａ）と同様になり、Ｚの範囲内において被写体距離を求めることができる。

本実施の形態３は、光学素子Ｌ１を同心円状に２分割した構成であるため、各光学面領域Ｄ１、Ｄ２によって得られる画像間に視差が発生しない。このため、より高精度な測距が可能である。

なお、光学面領域Ｄ２は、球面レンズであってもよい。このような構成により、被写体距離と鮮鋭度の関係は、実施の形態１の図８（ｂ）と同様にすることができ、Ｚの範囲において被写体距離を求めることができる。

（実施の形態４）
本実施の形態４は、光学素子Ｌ１を可変焦点レンズである液晶レンズに置き換えた点で実施の形態３と異なっている。ここでは、本実施形態において実施の形態１と同様の内容についての詳細な説明は省略する。

図２１（ａ）は、光学素子Ｌ１を被写体側から見た正面図である。光学素子Ｌ１における光学面領域Ｄ１、Ｄ２は、光軸Ｖを中心として同心円状に２分割されている。また、破線ｓは、絞りＳの位置を示している。

図２１（ｂ）は、光学素子Ｌ１と絞りＳを示す断面図である。光学素子Ｌ１は、平凹レンズの形成されたガラスＴ１、ガラスＴ１上に形成された透明電極Ｅ１、透明電極Ｅ１上に形成された配向膜Ｗ１、両面が平面であるガラスＴ２、ガラスＴ２上に形成された透明電極Ｅ２ＡおよびＥ２Ｂ、透明電極Ｅ２ＡとＥ２Ｂ上に形成された配向膜Ｗ２、シール剤Ｕ、液晶ＬＣによって構成されている。光学面領域Ｄ１は透明電極Ｅ２Ａが形成されている領域であり、光学面領域Ｄ２は透明電極Ｅ２Ｂが形成されている領域である。

ガラスＴ１、Ｔ２の屈折率は、Ｎ１である。また、液晶ＬＣの屈折率は、透明電極Ｅ１と透明電極Ｅ２Ａ間に入力する駆動波形により、Ｎ１からＮ２（Ｎ２＞Ｎ１）に変化する。Ｎ２がＮ１よりも大きい場合、光学素子Ｌ１の光学面領域Ｄ２は、凸レンズとして機能する。また、屈折率Ｎ１は、光学素子Ｌ１の光学面領域Ｄ２を通過した光束が、相対的に光学素子Ｌ１から遠方の焦点に合焦し、屈折率Ｎ２は、光学素子Ｌ１の光学面領域Ｄ２を通過した光束が、相対的に光学素子Ｌ１に近接した位置の焦点に合焦するように設定されている。

次に、光学素子Ｌ１の動作について説明する。まず、露光直前において液晶ＬＣの屈折率がＮ１となるように、透明電極Ｅ１と透明電極Ｅ２Ａ間に入力する駆動波形を制御する。次に、露光開始後から透明電極Ｅ１と透明電極Ｅ２Ａ間に入力する駆動波形を制御して屈折率をＮ１から徐々に大きくしていき、露光終了時に屈折率がＮ２となるように駆動波形を制御する。

このような制御により、露光時間中に畳み込まれた画像は、相対的に遠方の焦点から近接した焦点までの間のいずれかで合焦しているため、光学面領域Ｄ２を通過した光束によって所定の距離範囲において鮮鋭度がほぼ一定となる画像を取得することができる。一方、光学面領域Ｄ１は、露光時間中におけるレンズ作用を有していない。そのため、光学面領域Ｄ１を通過した光束は、図１等に示すレンズＬ２のみによって集光される。その結果、光学面領域Ｄ１を通過した光束によって得られる画像では、被写体距離が遠いほど、点像の大きさが小さくなる。

本実施の形態４においては、光学面領域Ｄ２を通過した光束によって得られる画像の鮮鋭度は、ある被写体距離範囲内においてほぼ一定であり、光学面領域Ｄ１を通過した光束によって得られる画像では、被写体距離が遠くなるほど鮮鋭度が高くなる。このように、本実施の形態４においても、被写体距離と鮮鋭度の関係は、実施の形態１の図８（ａ）に示す関係と同様になり、Ｚの範囲において被写体距離を求めることができる。

（実施の形態５）
本実施の形態５は、レンチキュラレンズやマイクロレンズアレイを撮像面上に形成したという点で、実施の形態１〜４と異なる。ここでは、本実施形態において実施の形態１と同様の内容についての詳細な説明は省略する。

図２２（ａ）および（ｂ）は、アレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図である。本実施形態では、レンチキュラレンズ（またはマイクロレンズアレイ）Ｍｄが、撮像素子Ｎの撮像面Ｎｉ上に形成されている。撮像面Ｎｉには、実施の形態１等と同様に、画素Ｐが行列状に配置されている。これら複数の画素Ｐに対して、１つのレンチキュラレンズの光学要素あるいは、１つのマイクロレンズが対応している。本実施の形態においても、実施の形態１〜４と同様に、光学素子Ｌ１上の異なる領域を通過した光束を、それぞれ異なる画素に導くことができる。また、図２２（ｂ）は、本実施形態の変形例を示す図である。図２２（ｂ）に示す構成では、撮像面Ｎｉ上に、画素Ｐを覆うようにマイクロレンズＭｓが形成され、マイクロレンズＭｓの表面上にアレイ状光学素子が積層されている。図２２（ｂ）に示す構成では、図２２（ａ）の構成よりも集光効率を高めることができる。

（実施の形態６）
本実施の形態６は、アレイ状光学素子の各光学要素に対応する各画素が色分けされているという点で、実施の形態１と異なる。ここでは、本実施形態において実施の形態１と同様の内容についての詳細な説明は省略する。

本実施の形態では、図２３（ａ）に示すように、アレイ状光学素子Ｋの１つの光学要素内でＲ（赤）、Ｇ（緑）、Ｂ（青）の画素が繰り返し配列されている。アレイ状光学素子Ｋであるレンチキュラレンズの１つの光学要素Ｍ１に対応して、２行の画素Ｐが配置されている。例えば、２行の画素Ｐのうち上の行には画素Ｐ１が配置され、下の行には画素Ｐ２が配置されている。画素Ｐ１、Ｐ２のそれぞれは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）に色分けされている。すなわち、画素Ｐ１、Ｐ２のそれぞれとして、Ｒ（赤）、Ｇ（緑）およびＢ（青）のいずれかの光を検出するための画素が設けられている。具体的には、画素Ｐ１、Ｐ２のそれぞれの表面には、異なる波長帯域の光を透過するフィルタが設けられていればよい。このような構成を有することにより、各画素は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の光のいずれかの色の光を主に検出することができる。

図２３（ｂ）は、本実施形態の変形例を示す図である。図２３（ｂ）に示す構成においては、レンチキュラレンズの１つの光学要素Ｍ１内でＧ（緑）、Ｒ（赤）の画素が繰り返し配列されており、その光学要素Ｍ１に隣り合う光学要素Ｍ１内では、Ｂ（青）、Ｇ（緑）の画素が繰り返し配列されている。

本実施形態の構成では、カラー画像に対応することができる。

なお、図２３（ａ）に示す６つの画素において取得された情報から、１つの画素の画像を生成してもよい。また、図２３（ａ）の１つの光学要素Ｍ１において、上下に配置された２つの画素において取得された情報から、１つの画素の画像を生成してもよい。例えば赤（Ｒ）の２つの画素において取得された情報を用いて１つの画素の画像を生成する場合には、この１つの画素の画像に、青（Ｂ）および緑（Ｇ）の情報を補間する。青（Ｂ）および緑（Ｇ）の情報としては、図２３（ａ）において赤（Ｒ）の画素の周囲に配置される画素の情報が用いられる。

（実施の形態７）
本実施の形態７は、アレイ状光学素子Ｋの各光学要素Ｍ１に対応する各画素は同じ色であり、各画素は光学要素Ｍ１毎に色分けされているという点で、実施の形態１と異なる。ここでは、本実施形態において実施の形態１と同様の内容についての詳細な説明は省略する。

本実施形態では、図２４（ａ）に示すように、アレイ状光学素子Ｋであるレンチキュラレンズの１つの光学要素Ｍ１に対応して、２行の画素Ｐが配置されている。例えば、２行の画素Ｐのうち上の行には画素Ｐ１が配置され、下の行には画素Ｐ２が配置されている。本実施形態において、レンチキュラレンズの１つの光学要素Ｍ１に対応する各画素Ｐ１、Ｐ２は全て同じ色である。それぞれの画素Ｐ１、Ｐ２は、光学要素Ｍ１毎に色分けされ、繰り返し配列されている。画素Ｐ１、Ｐ２のそれぞれは、異なる波長帯域の光を透過するフィルタを有することにより、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の光のいずれかの色の光を主に検出することができる。

図２４（ｂ）は、本実施形態の変形例を示す図である。図２４（ｂ）に示す構成は、マイクロレンズアレイの１つの光学要素Ｍ２に対応する各画素Ｐ１、Ｐ２、Ｐ３、Ｐ４は全て同じ色である。それぞれの画素Ｐ１、Ｐ２、Ｐ３、Ｐ４は、光学要素Ｍ２毎に色分けされ、繰り返し配列されている。

このような構成にすることにより、実施の形態６と同様にカラー画像に対応することができる。

（実施の形態８）
本実施の形態８は、実施の形態６もしくは実施の形態７において、レンズ光学系が所定の軸上色収差を有し、少なくとも２つ以上の色の鮮鋭度（またはコントラスト）に基づいて被写体までの距離を算出する構成である。

本実施の形態において被写体距離と鮮鋭度の関係をグラフで示すと、図２５のような関係になる。図２５のグラフにおいて、鮮鋭度ＧＲ１は第１色の画素Ｐ１のみで生成された画像の所定領域の鮮鋭度を示しており、鮮鋭度ＧＲ２は第１色の画素Ｐ２のみで生成された画像の所定領域の鮮鋭度を示している。また、鮮鋭度ＧＧ１は第２色の画素Ｐ１のみで生成された画像の所定領域の鮮鋭度を示しており、鮮鋭度ＧＧ２は第２色の画素Ｐ２のみで生成された画像の所定領域の鮮鋭度を示している。

レンズ光学系が所定の軸上色収差を有していることにより、第１色と第２色の結像位置がずれるため、第１色と第２色のプロファイルは、図２５に示すようにずれた特性を示す。従って相対的に遠い距離範囲ＺＲでは第１色の鮮鋭度によって被写体距離までの距離を求めることができ、相対的に近い距離範囲ＺＧでは、第２色の鮮鋭度によって被写体距離までの距離を求めることができる。

このような構成により、軸上色収差がない場合と比べて被写体距離を測定できる範囲を拡張することができる。

なお、本実施の形態では２つの色の鮮鋭度（またはコントラスト）に基づいて被写体距離までの距離を算出する方法について示したが、３つ以上の色の鮮鋭度（またはコントラスト）に基づいて被写体距離までの距離を算出する構成であってもよい。

（実施の形態９）
本実施の形態９は、光学素子Ｌ１の各光学領域の境界部に遮光部材を配置したという点で、実施の形態１、２、３、および４と異なる。ここでは、本実施形態において実施の形態１と同様の内容についての詳細な説明は省略する。

図２６（ａ）は、実施の形態１の光学面領域Ｄ１、Ｄ２の境界部に遮光部材Ｑを配置した正面図である。また、図２６（ｂ）は、実施の形態２の光学面領域Ｄ１、Ｄ２、Ｄ３、およびＤ４の各境界部に遮光部材Ｑを配置した正面図である。また、図２６（ｃ）は、実施の形態３、４の光学面領域Ｄ１、Ｄ２の境界部に遮光部材Ｑを配置した正面図である。

各領域の境界部では、光学面形状が不連続に変化するため、境界部では段差が生じ、不要な光が発生する場合がある。したがって、各境界部に遮光部材Ｑを配置することにより、不要な光の発生を抑制することができる。遮光部材Ｑとしては、例えば、カーボンブラックを練りこんだポリエステルフィルム等を用いればよい。遮光部材Ｑは絞りと一体的に形成されていてもよい。

また、図２６（ａ）、（ｂ）において遮光部材Ｑによって区切られる各領域は互いに線対称な形状であるが、それぞれの領域は、円形や楕円、あるいは矩形であってもよい。

（実施の形態１０）
本実施の形態１０は、光学面領域Ｄ１、Ｄ２のそれぞれが、光軸を挟んで分けられた複数の領域である点と、アレイ状光学素子Ｋをレンチキュラからマイクロレンズに置き換えた点で、実施の形態１と異なっている。ここでは、実施の形態１と同様の内容についての詳細な説明は省略する。

図２７（ａ）は、光学素子Ｌ１を被写体側から見た正面図である。図２７（ａ）において、光学素子Ｌ１は、レンズ光学系の光軸に垂直な平面において、光軸Ｖを中心とした回転対称の４つの領域（２つの光学面領域Ｄ１および２つの光学面領域Ｄ２）に分割されている。２つの光学面領域Ｄ１同士および２つの光学面領域Ｄ２同士が隣接しないように、光学面領域Ｄ１、Ｄ２は交互に設けられている。２つの光学面領域Ｄ１は、互いに光軸を中心（接点）として点対称な関係にある。同様に、２つの光学面領域Ｄ２は、互いに光軸を中心（接点）として点対称な関係にある。

図２７（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。本実施の形態１０では、光学面領域Ｄ１を通過した光線は奇数行奇数列と偶数行偶数列に到達するため、光学要素Ｍ２に対応する画素内において、奇数行奇数列の画素値と偶数行偶数列の画素値とを加算する。光学面領域Ｄ２を通過した光線が偶数行奇数列と奇数行偶数列に到達するため、光学要素Ｍ２に対応する画素内において、偶数行奇数列の画素値と奇数行偶数列の画素値とを加算する。これらの加算された画素値から、画像が生成される。

次に、本実施形態において得られる効果を、実施の形態１において得られる効果と比較して説明する。

実施の形態１では、図２に示すように、光学面領域Ｄ１と光学面領域Ｄ２のそれぞれが、半円形状の領域で２つ分割されている。このため、各領域を通過した光の像面におけるスポット重心が被写体距離によって変化し、位置ずれが発生する場合がある。

図２８は、実施の形態１において、光学面領域Ｄ１を平面、光学面領域Ｄ２を球面とした場合の、被写体距離毎の光線図、および、点像とその重心の変化について模式的に説明する図である。図２８において、（ａ１）、（ｂ１）および（ｃ１）は、被写体距離毎の光線図を示している。図２８の（ａ１）、（ｂ１）および（ｃ１）においては、被写体として物点Ｏを示している。ここでは、図２８において図１と同様の符号の説明は省略する。図２８の（ａ２）、（ｂ２）および（ｃ２）は、光学面領域Ｄ１を通過した物点Ｏの光がレンチキュラを介して奇数行の画素に到達することにより得られる点像の画像情報を模式的に示す図である。図２８の（ａ３）、（ｂ３）、（ｃ３）は、光学面領域Ｄ２を通過した物点Ｏの像が、レンチキュラを介して偶数行の画素に到達することにより得られた点像の画像情報である。それぞれの画像情報において、物点Ｏの像は半円形状となる。図２８の（ａ２）、（ａ３）、（ｂ２）、（ｂ３）、（ｃ２）、（ｃ３）には、それぞれの像の照度の重心（黒点）を示している。

それぞれの画像情報は、奇数行の画素毎に抽出した画像情報（（ａ２）、（ｂ２）、（ｃ２））、および偶数行の画素毎に抽出した画像情報（（ａ３）、（ｂ３）、（ｃ３））を、補間処理によってＹ方向に２倍に引き伸ばしたものとして模式的に示している。

図２８に示す通り、物点Ｏの位置（被写体距離）によってスポット径は変化する。光学面領域Ｄ１、Ｄ２のそれぞれを通過した光によって得られた画像情報はそれぞれ半円形状になるため、奇数行の画素の画像情報と偶数行の画素の画像情報のそれぞれにおける点像の重心間距離ｄは、物点の位置によって異なる。この重心間距離ｄが存在すると、視差(画像の鮮鋭度を算出するときの誤差)となるため好ましくない。

一方、本実施の形態１０では、光学面領域Ｄ１、Ｄ２のそれぞれは、光軸を中心として点対称に配置されているため、被写体距離が変化しても点像の重心間距離ｄは変化しない。

図２９は、本実施形態において、被写体距離毎の点像とその重心の変化について模式的に説明する図である。図２９において、（ａ１）と（ａ２）、（ｂ１）と（ｂ２）および（ｃ１）と（ｃ２）は、マイクロレンズを介して物点Ｏを撮像した点像（半円で図示）とその重心（黒点）を示しており、それぞれ図２８の（ａ１）、（ｂ１）および（ｃ１）に示す物点Ｏの被写体距離に対応している。

図２９の（ａ１）、（ｂ１）および（ｃ１）は、奇数行奇数列の画素と偶数行偶数列の画素との画素値を加算した点像の画像情報である。図２９の（ａ２）、（ｂ２）および（ｃ２）は、偶数行奇数列の画素と奇数行偶数列の画素との画素値を加算した点像の画像情報である。図２９に示す通り、本実施の形態１０では、それぞれの点像は、中心角が９０°の扇形が光軸を中心として対向した形状になるため、奇数行奇数列および偶数行偶数列の画素を加算した画像情報と偶数行奇数列および奇数行偶数列の画素を加算した画像情報のそれぞれにおける点像の重心間距離ｄは常に０であり、被写体距離によって変化しない。

このように、本実施の形態１０においては、光学面領域Ｄ１、Ｄ２のそれぞれを、光軸を挟んで分離して配置することにより、被写体距離が変化しても取得した画像において視差が発生しないようにすることができる。これにより、視差に起因する測距精度の劣化を抑制することができる。

（その他の実施形態）
なお、実施の形態１から１０は、光学面領域が光学素子Ｌ１における被写体側の面に配置された形態であるが、光学面領域は光学素子Ｌ１の像側の面に配置されていてもよい。

また、レンズＬ２は１枚の構成としているが、複数群または複数枚の構成のレンズであってもよい。

また、複数の光学面領域は、絞り近傍に配置したレンズＬ２の光学面上に形成されていてもよい。

また、光学素子Ｌ１は、絞りの位置に対して被写体側に配置されているが、絞りの位置に対して像側に配置されていてもよい。

また、前述の実施の形態１から１０では、レンズ光学系Ｌは像側テレセントリック光学系としているが、像側非テレセントリック光学系であってもよい。図３０（ａ）は、撮像部近傍を拡大して示す図である。図３０（ａ）では、アレイ状光学素子Ｋを通過する光のうち１つの光学面領域を通過する光束のみを示している。図３０（ａ）に示すように、レンズ光学系Ｌが非テレセントリック光学系の場合には、隣接画素に光が漏れてクロストークが発生しやすいが、図３０（ｂ）のようにアレイ状光学素子を画素配列に対してΔだけオフセットさせることにより、クロストークを低減させることができる。前記入射角は像高によって異なるため、前記オフセット量Δは、撮像面への光束の入射角に応じて設定すればよい。なお、像側非テレセントリック光学系の場合、光学系の焦点における光線の入射角は、絞りＳを通過する光線の位置と画角によって一義的に決定される。

実施の形態１から１０は、第１の信号処理部Ｃ１、第２の信号処理部Ｃ２および記憶部Ｍｅ（図１等に示す）を備える撮像装置である。本発明の撮像装置は、これらの信号処理部および記憶部を備えていなくてもよい。その場合、撮像装置の外部のＰＣ等を用いて、第１の信号処理部Ｃ１および第２の信号処理部Ｃ２が行う処理を行えばよい。すなわち、本発明は、レンズ光学系Ｌ、アレイ状光学素子Ｋおよび撮像素子Ｎを備える撮像装置と、外部の信号処理装置とを備えるシステムによっても実現することができる。

なお、本発明の測距方法においては、必ずしも鮮鋭度と被写体距離との相関関係を用いなくてもよい。例えば、鮮鋭度またはコントラストと被写体距離との関係を示す式に、得られた鮮鋭度またはコントラストを代入することにより被写体距離を得てもよい。

また、本実施の形態２から１０におけるマイクロレンズアレイの各光学要素（マイクロレンズ）は、光軸に対して回転対称形状であることが好ましい。以下、光軸に対して回転非対称な形状を有するマイクロレンズと比較して説明する。

図３１（ａ１）は、光軸に対して回転非対称な形状を有するマイクロレンズアレイを示す斜視図である。このようなマイクロレンズアレイは、アレイの上に四角柱状のレジストを形成して熱処理を行うことによりレジストの角部を丸め、そのレジストを用いてパターニングを行うことにより形成される。図３１（ａ１）に示すマイクロレンズの等高線を図３１（ａ２）に示す。回転非対称な形状を有するマイクロレンズでは、縦横方向（マイクロレンズの底面の四辺と平行な方向）と斜め方向（マイクロレンズの底面の対角線方向）との曲率半径が異なる。

図３１（ａ３）は、図３１（ａ１）、（ａ２）に示すマイクロレンズを本発明のアレイ状光学素子に適用した場合の、光線追跡シミュレーションの結果を示す図である。図３１（ａ３）では、アレイ状光学素子Ｋを通過する光のうち１つの光学面領域を通過する光束のみを示しているが、このように回転非対称形状のマイクロレンズの場合、隣接の画素に光が漏れてクロストークが発生する。

図３１（ｂ１）は、光軸に対して回転対称な形状を有するマイクロレンズアレイを示す斜視図である。このような回転対称形状のマイクロレンズは、熱インプリントやＵＶインプリント製法により、ガラス板等の上に形成することができる。

図３１（ｂ２）に、回転対称形状のマイクロレンズの等高線を示す。回転対称な形状を有するマイクロレンズでは、縦横方向と斜め方向の曲率半径は等しい。

図３１（ｂ３）は、図３１（ｂ１）、（ｂ２）に示すマイクロレンズを本発明のアレイ状光学素子に適用した場合の、光線追跡シミュレーションの結果を示す図である。図３１（ｂ３）では、アレイ状光学素子Ｋを通過する光のうち１つの光学面領域を通過する光束のみを示しているが、図３１（ａ３）のようなクロストークは発生していないことがわかる。このように、マイクロレンズを回転対称形状にすることにより、クロストークを低減させることができるため、測距演算における精度の劣化を抑制することができる。

本発明にかかる撮像装置は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置として有用である。また、自動車の周辺監視用および乗員監視用の測距装置やゲーム、ＰＣ、携帯端末等の３次元情報入力用の測距装置の用途にも応用できる。

Ａ 撮像装置
Ｌ レンズ光学系
Ｌ１ 光学素子
Ｌ２ レンズ
Ｄ１、Ｄ２、Ｄ３、Ｄ４ 光学面領域
Ｓ 絞り
Ｋ アレイ状光学素子
Ｎ 撮像素子
Ｎｉ 撮像面
Ｍｅ 記憶部
Ｍｓ、Ｍｄ 撮像素子上のマイクロレンズ
Ｍ１ アレイ状光学素子のレンチキュラ
Ｍ２ アレイ状光学素子のマイクロレンズ（光学要素）
Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐｃ、Ｐａ、Ｐ 撮像素子上の受光素子
Ｃ１、Ｃ２ 第１、第２の信号処理部
Ｑ 遮光部材

Claims (36)

1. 第１の領域と、前記第１の領域を通過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有する第２の領域とを少なくとも有するレンズ光学系と、
   前記レンズ光学系を通過した光が入射する複数の第１の画素と複数の第２の画素とを少なくとも有する撮像素子と、
   前記レンズ光学系と前記撮像素子との間に配置され、前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させるアレイ状光学素子とを備える、撮像装置。
2. 信号処理部をさらに備え、
   前記信号処理部は、前記複数の第１の画素において得られた第１の画像および前記複数の第２の画素において得られた第２の画像の輝度情報を用いて被写体までの距離を算出する、請求項１に記載の撮像装置。
3. 被写体距離がある一定の範囲内にある場合、前記第１の領域に入射した光によって形成される画像の鮮鋭度と前記第２の領域に入射した光によって形成される画像の鮮鋭度との比の値は、前記被写体距離と相関関係を有し、
   前記信号処理部は、前記相関関係と、前記第１の画像の鮮鋭度と前記第２の画像の鮮鋭度との比に基づいて、前記被写体までの距離を算出する、請求項２に記載の撮像装置。
4. 被写体距離が前記一定の範囲内にある場合、前記第１の領域に入射した光によって形成される画像の鮮鋭度は略一定であり、前記第２の領域に入射した光によって形成される画像の鮮鋭度は、被写体までの距離に応じて変化する、請求項３に記載の撮像装置。
5. 被写体距離がある一定の範囲内にある場合、前記第１の領域に入射した光によって形成される画像のコントラストと前記第２の領域に入射した光によって形成される画像のコントラストとの比は前記被写体距離と相関関係を有し、
   前記信号処理部は、前記相関関係と、前記第１、第２の画像のコントラストとに基づいて、前記被写体までの距離を算出する、請求項２に記載の撮像装置。
6. 前記第１の領域および前記第２の領域は、互いに異なる曲率半径を有する、請求項１から５のいずれかに記載の撮像装置。
7. 前記第１の領域および前記第２の領域は、前記レンズ光学系の光軸を境界中心として分割された領域である、請求項１から６のいずれかに記載の撮像装置。
8. 前記第１の領域は、前記レンズ光学系の光軸を挟んで互いに点対称に配置された複数の第１領域構成部を有し、
   前記第２の領域は、前記レンズ光学系の光軸を挟んで互いに点対称に配置された複数の第２領域構成部を有する、請求項１から７のいずれかに記載の撮像装置。
9. 前記レンズ光学系は、前記第１、第２の領域以外の少なくとも第３の領域をさらに備え、
   前記アレイ状光学素子は、前記第３の領域を通過した光のそれぞれを、前記複数の第１、第２の画素以外の第３の画素に入射させ、
   前記信号処理部は、前記第３の画素において得られた画像の輝度情報を用いて被写体までの距離を算出する、請求項２から５のいずれか１つに記載の撮像装置。
10. 前記第１の領域および前記第２の領域は、前記レンズ光学系の光軸を中心として同心円状に分割された領域である、請求項１から６のいずれかに記載の撮像装置。
11. 前記信号処理部は、前記第１の画像と前記第２の画像とを加算した画像の輝度情報と、前記第１の画像または前記第２の画像の輝度情報とを用いて前記被写体までの距離を算出する、請求項２から５のいずれかに記載の撮像装置。
12. 前記第１の領域は可変焦点レンズであり、
    前記可変焦点レンズは、露光時間中に焦点距離が連続的に変化するように制御される、請求項１から１１のいずれかに記載の撮像装置。
13. 前記レンズ光学系が像側テレセントリック光学系である、請求項１から１２のいずれかに記載の撮像装置。
14. 前記第１の画像と前記第２の画像との倍率が異なる場合には、前記第１の画像の倍率と前記第２の画像の倍率とを倍率を略同一に補正した画像に変換する変換部をさらに供える、請求項２から５のいずれかに記載の撮像装置。
15. 前記レンズ光学系は像側非テレセントリック光学系であって、
    前記レンズ光学系の光軸外において前記アレイ状光学素子の配列を前記撮像素子の画素の配列に対してオフセットさせている、請求項１から１２のいずれかに記載の撮像装置。
16. 前記第１の領域および前記第２の領域のそれぞれは、略同一の面積を有する、請求項１から１５のいずれかに記載の撮像装置。
17. 前記アレイ状光学素子はレンチキュラレンズまたはマイクロレンズアレイである、請求項１から１６のいずれかに記載の撮像装置。
18. 前記アレイ状光学素子はマイクロレンズアレイであって、
    前記マイクロレンズアレイは複数の光学要素を有し、
    前記複数の光学要素のそれぞれは、前記複数の第１の画素のうちの少なくとも１つおよび前記第２の画素のうちの少なくとも１つに対応し、
    前記複数の各光学要素のそれぞれは、光軸に対して回転対称な形状を有する、請求項１から１６のいずれかに記載の撮像装置。
19. 前記アレイ状光学素子は前記撮像素子上に形成されている、請求項１から１８のいずれかに記載の撮像装置。
20. 前記アレイ状光学素子と前記撮像素子との間に設けられたマイクロレンズをさらに備え、
    前記アレイ状光学素子は、前記マイクロレンズを介して前記撮像素子上に形成されている、請求項１９に記載の撮像装置。
21. 前記複数の第１の画素および前記複数の第２の画素のそれぞれは、異なる波長帯域の光を透過するフィルタを有する、請求項１に記載の撮像装置。
22. 前記アレイ状光学素子は複数の光学要素を有し、
    前記複数の光学要素のそれぞれは、前記複数の第１の画素のうちの少なくとも１つおよび前記第２の画素のうちの少なくとも１つに対応し、
    前記複数の光学要素のそれぞれに対応する画素は、同じ波長域の光を透過するフィルタを有する、請求項２１に記載の撮像装置。
23. 前記複数の第１の画素において得られた第１の画像および前記複数の第２の画素において得られた第２の画像の輝度情報を用いて被写体までの距離を算出する信号処理部をさらに備え、
    前記レンズ光学系における前記第１の領域および前記第２の領域は、第１色と第２色の結像位置が異なる所定の軸上色収差を有し、
    前記信号処理部は、被写体距離が第１の距離範囲内にある場合、前記第１色の輝度情報を用いて被写体までの距離を算出し、
    被写体距離が前記第１の距離範囲と異なる第２の距離範囲にある場合、前記第２色の輝度情報を用いて被写体までの距離を算出する、請求項２１もしくは２２に記載の撮像装置。
24. 前記第１の領域と前記第２の領域との間の境界部に設けられた遮光部材をさらに備える、請求項１から２３のいずれかに記載の撮像装置。
25. 前記レンズ光学系は絞りをさらに備え、前記第１の領域および前記第２の領域は、前記絞り近傍に配置されている、請求項１から２４のいずれかに記載の撮像装置。
26. 前記複数の第１の画素と前記複数の第２の画素は互いに隣接している、請求項１から２５のいずれかに記載の撮像装置。
27. 前記複数の第１の画素と前記複数の第２の画素は互いに交互に配列されている、請求項１から２６のいずれかに記載の撮像装置。
28. 前記複数の第１の画素および前記複数の第２の画素のそれぞれは、横方向に１行に並んで配置され、
    前記複数の第１の画素と前記複数の第２の画素とは、縦方向に交互に配置されている、請求項１から１７のいずれかに記載の撮像装置。
29. 前記アレイ状光学素子は、レンチキュラレンズであって、
    前記レンチキュラレンズは、横方向に細長い複数の光学要素が縦方向に配置されてなり、
    前記複数の光学要素のそれぞれは、１行の前記複数の第１の画素と１行の前記複数の第２の画素からなる２行の画素に対応するように配置されている、請求項２８に記載の撮像装置。
30. 請求項１に記載の撮像装置と、
    前記撮像装置において得られた前記複数の第１の画素による第１の画像および前記複数の第２の画素による第２の画像の輝度情報を用いて被写体までの距離を算出する信号処理装置とを備える撮像システム。
31. 第１の領域と、前記第１の領域を通過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有する第２の領域とを少なくとも有するレンズ光学系と、
    前記レンズ光学系を通過した光が入射する複数の第１の画素と複数の第２の画素とを少なくとも有する撮像素子と、
    前記レンズ光学系と前記撮像素子との間に配置されたアレイ状光学素子とを備える撮像装置を用い、
    前記アレイ状光学素子によって、前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させ、
    前記複数の第１の画素による第１の画像および前記複数の第２の画素による第２の画像の輝度情報を用いて被写体までの距離を算出する、撮像方法。
32. 前記レンズ光学系は絞りをさらに備え、前記第１の領域および前記第２の領域は、前記絞り近傍に配置されている、請求項３１に記載の撮像方法。
33. 前記複数の第１の画素と前記複数の第２の画素は互いに隣接している、請求項３１または３２に記載の撮像方法。
34. 前記複数の第１の画素と前記複数の第２の画素は互いに交互に配列されている、請求項３１から３３のいずれかに記載の撮像方法。
35. 前記複数の第１の画素及び前記複数の第２の画素のそれぞれは、横方向に１行に並んで配置され、
    前記複数の第１の画素と前記複数の第２の画素は、縦方向において交互に配置されている、請求項３１から３４のいずれかに記載の撮像方法。
36. 前記アレイ状光学素子は、レンチキュラレンズであって、
    前記レンチキュラレンズは、横方向に細長い複数の光学要素が縦方向に配置されてなり、
    前記複数の光学要素のそれぞれは、１行の前記複数の第１の画素と１行の前記複数の第２の画素からなる２行の画素に対応するように配置されている、請求項３５に記載の撮像方法。

Images