JP2015228641A - 撮像装置、露光調整方法およびプログラム - Google Patents

Abstract

【課題】良好な分光画像が得られるように撮像素子の露光時間を適切に調整することができる撮像装置、露光調整方法およびプログラムを提供する。【解決手段】撮像装置１０は、各々が異なる分光透過特性を持つ複数のフィルタ領域を有するフィルタ部２と、フィルタ部２を透過した光を受光して画像情報を出力する受光素子アレイ４と、受光素子アレイ４の受光面と略平行に配列された複数のレンズを有し、フィルタ部２と受光素子アレイ４との間に配置されたマイクロレンズアレイ３と、受光素子アレイ４が出力する画像情報をもとに、複数のフィルタ領域の各々に対応する複数の分光画像を生成する分光画像生成部４１と、複数の分光画像の輝度値に基づいて、受光素子アレイ４の露光時間を調整する露光調整部４２と、を備える。【選択図】図７

Description

本発明は、撮像装置、露光調整方法およびプログラムに関するものである。

従来、被写体からの光を、異なる波長特性を持つ複数の光に空間的に分離して受光し、分離された光に対応する複数の領域を含む画像を出力する撮像装置が知られている（例えば、特許文献１参照）。特許文献１に記載の撮像装置は、プレノプティックカメラの構成において、マイクロレンズアレイの前段に、各々が異なる分光透過特性を持つ複数のフィルタ領域を有するフィルタ部を配置している。そして、フィルタ部およびマイクロレンズアレイを順次透過した光を受光素子アレイ（撮像素子）で受光して、マイクロレンズアレイを構成する各マイクロレンズに対応する部分画像（以下、マクロピクセルという。）が整列したライトフィールド画像を出力する。

ライトフィールド画像内の各マクロピクセルは、それぞれ、フィルタ部の複数のフィルタ領域に対応する複数の画像領域を持つ。これらのマクロピクセルから、同じフィルタ領域に対応する画像領域の代表値をそれぞれ取り出し、マクロピクセルの位置に応じて再配置することにより、各フィルタ領域を透過した光のそれぞれに対応する複数の分光画像を生成することができる。これら複数の分光画像は、例えば、被写体の色検出などの用途で利用することができる。

分光画像を用いた色検出では、分光画像に飽和状態の画素が含まれていると検出精度が低下する。また、輝度値の低い画素はＳ／Ｎが低下しているため、分光画像の各画素が十分な輝度を持っていないと、安定した色検出を行うことが難しい。このため、ライトフィールド画像を撮像する際に適切に露光調整を行って、被写体の色検出に適した分光画像を生成できるようにすることが求められる。

マルチスペクトルカメラにおける露光調整の方法として、例えば特許文献２に開示される方法が知られている。特許文献２の方法では、複数のバンドパスフィルタを切り替えながら被写体の反射分光スペクトルを撮像する際に、予備露光を行って各バンドパスフィルタそれぞれの適正露光時間を求めておく。そして、バンドパスフィルタの切り替えと同期して露光時間を変化させ、それぞれのバンドパスフィルタの適正露光時間で撮像を行う。

しかし、特許文献２の方法も含めて、カメラの露光調整を行う従来の方法は、撮像素子のセンサ面全体で適正な露光が行われるように調整する。このため、ライトフィールド画像から分光画像を生成する撮像装置に従来の露光調整の方法を適用すると、分光画像に反映されない領域も含めて露光調整が行われることとなり、分光画像に求められる上述した条件を満たすように撮像素子の露光時間を適切に調整することが困難である。

上述した課題を解決するため、本発明に係る撮像装置は、各々が異なる分光透過特性を持つ複数のフィルタ領域を有するフィルタ部と、前記フィルタ部を透過した光を受光して画像情報を出力する撮像素子と、前記撮像素子の受光面と略平行に配列された複数のレンズを有し、前記フィルタ部と前記撮像素子との間に配置されたレンズアレイと、前記撮像素子が出力する画像情報をもとに、前記複数のフィルタ領域の各々に対応する複数の分光画像を生成する分光画像生成部と、前記複数の分光画像の輝度値に基づいて、前記撮像素子の露光時間を調整する露光調整部と、を備えることを特徴とする。

本発明によれば、良好な分光画像が得られるように撮像素子の露光時間を適切に調整することができるという効果を奏する。

図１は、実施形態の撮像装置における光学系の概念図である。 図２は、フィルタ部の幾何学的設計例を示す図である。 図３は、フィルタ部の分光透過率を示す図である。 図４は、マイクロレンズアレイを光軸に沿った方向から見た平面図である。 図５は、撮像装置により撮像されたライトフィールド画像を示す図である。 図６は、マクロピクセルを拡大して示す図である。 図７は、実施形態の撮像装置の具体的な構成例を示すブロック図である。 図８は、ライトフィールド画像から分光画像を生成する様子を模式的に示す図である。 図９は、ライトフィールド画像上の１つのマクロピクセルを模式的に表した図である。 図１０は、分光画像の特定の画像領域の一例を示す図である。 図１１は、演算処理装置による処理手順の一例を示すフローチャートである。 図１２は、演算処理装置のハードウェア構成の一例を示すブロック図である。 図１３は、実施形態の撮像装置の機能的な構成例を示すブロック図である。

以下に添付図面を参照して、この発明に係る撮像装置、露光調整方法およびプログラムの実施形態を詳細に説明する。

図１は、本実施形態の撮像装置における光学系の概念図である。図１では、説明を分かり易くするために、撮像レンズとして機能するメインレンズ１を単レンズで示し、メインレンズ１の絞り位置を単レンズの中心としている。

メインレンズ１の絞り位置には、フィルタ部２が配置されている。なお、図１では、単レンズで示したメインレンズ１内にフィルタ部２が配置されるように図示されているが、実際にはレンズの内部にフィルタ部２が配置されることはない。

フィルタ部２は、各々が異なる分光透過特性を持つ複数のフィルタ領域を有している。本実施形態では、フィルタ部２として、ＣＩＥにより定められたＸＹＺ表色系の等色関数に基づいた分光透過率を持つ色の三刺激値に対応したカラーフィルタを用いるものとする。

図２は、本実施形態のフィルタ部２の幾何学的設計例を示す図である。本実施形態のフィルタ部２は、図２に示すように、ＸＹＺ表色系の等色関数に基づいて設計された３つのフィルタ領域Ｆ_Ｘ，Ｆ_Ｙ，Ｆ_Ｚを有する。このようなフィルタ部２は、例えば透明基板（光学ガラスなど）に所定の特性を有する多層膜を薄膜状に蒸着することで作製できる。

図３は、本実施形態のフィルタ部２の分光透過率を示す図である。図３中の実線はフィルタ領域Ｆ_Ｘの分光透過率Ｔ_Ｘ（λ）を示し、一点鎖線はフィルタ領域Ｆ_Ｙの分光透過率Ｔ_Ｙ（λ）を示し、破線はフィルタ領域Ｆ_Ｚの分光透過率Ｔ_Ｚ（λ）を示している。これらＴ_Ｘ（λ），Ｔ_Ｙ（λ），Ｔ_Ｚ（λ）は、ＸＹＺ表色系の等色関数を透過率に置換したものである。このように、フィルタ部２の各フィルタ領域Ｆ_Ｘ，Ｆ_Ｙ，Ｆ_Ｚは、各々が異なる分光透過特性を持つ。

なお、フィルタ部２の構成は上記の例に限定されるものではない。フィルタ部２は、異なる分光透過特性を持つ複数のフィルタ領域を有する構成であればよく、フィルタ領域の数は２つであってもよいし、４つ以上であってもよい。また、各フィルタ領域の境界が明確に区別されていなくてもよく、分光透過率が連続的に変化する構成であってもよい。

メインレンズ１の集光位置付近には、複数のマイクロレンズ（小レンズ）から構成されるマイクロレンズアレイ３（レンズアレイの一例）が配置されている。また、光学系のイメージ面には、フィルタ部２およびマイクロレンズアレイ３を透過した光を受光して画像情報を出力する受光素子アレイ４（撮像素子の一例）が配置されている。受光素子アレイ４は、画素ごとのカラーフィルタが実装されていないモノクロセンサであり、各受光素子が画像の１画素に対応する。マイクロレンズアレイ３を構成する各マイクロレンズの径と、受光素子アレイ４を構成する各受光素子の大きさは、おおよそ３０：１〜１０：１の比率の関係にある。

図４は、マイクロレンズアレイ３を光軸Ｐ（図１参照）に沿った方向から見た平面図である。マイクロレンズアレイ３を構成する複数のマイクロレンズは、受光素子アレイ４の受光面と略平行に配列されている。隣接するマイクロレンズ間の領域は遮光部とされている。図４中の白で示した部分が各マイクロレンズであり、黒で示した部分が遮光部である。遮光部は、曲率を持たない平坦部や、曲率が製造的に設計値仕様を満たさない領域である。これらの領域からの光は、設計上意図しない光線を受光素子まで届けるおそれがあるため、遮光することで設計から想定される電気信号が得られるようにしている。

本実施形態の撮像装置では、被写体Ｏｂから発する光のうち、メインレンズ１の開口に入射して絞りを通過する光束が、マイクロレンズアレイ３を透過して受光素子アレイ４により受光される。メインレンズ１に入射した光束は無数の光線の集合であり、それぞれの光線はメインレンズ１の絞りの異なる位置を通過する。本実施形態の撮像装置では、メインレンズ１の絞り位置に、３つのフィルタ領域Ｆ_Ｘ，Ｆ_Ｙ，Ｆ_Ｚを有するフィルタ部２が配置されている。したがって、メインレンズ１の絞りの異なる位置を通過する各光線は、３つのフィルタ領域Ｆ_Ｘ，Ｆ_Ｙ，Ｆ_Ｚそれぞれの分光透過特性に応じた３種類の光線となる。

フィルタ部２を透過した光線はマイクロレンズアレイ３付近で一旦結像するが、その後、マイクロレンズアレイ３の作用によって拡散される。そして、フィルタ部２の３つのフィルタ領域Ｆ_Ｘ，Ｆ_Ｙ，Ｆ_Ｚを透過した光線が、それぞれ受光素子アレイ４の別々の位置に到達する。すなわち、メインレンズ１の絞り位置を通過する光線は、フィルタ部２の３つのフィルタ領域Ｆ_Ｘ，Ｆ_Ｙ，Ｆ_Ｚのうちのいずれのフィルタ領域を透過したかに応じて、受光素子アレイ４のセンサ面における受光位置が異なる。このため、本実施形態の撮像装置では、被写体Ｏｂのある一点から発した光を、波長的に三刺激値Ｘ，Ｙ，Ｚに分解して観察することができ、その点の分光反射率を測定することができる。なお、図１では物体Ｏｂの光軸Ｐ上の一点のみを示しているが、光軸Ｐ上以外の位置でも同様であり、二次元の分光反射率を同時に測定することが可能である。

図５は、本実施形態の撮像装置により撮像されたライトフィールド画像ＬＦを示す図である。本実施形態の撮像装置で画像を撮像すると、図５に示すように、小さな円の部分画像が並んだライトフィールド画像ＬＦが得られる。ライトフィールド画像ＬＦに含まれる部分画像が円になるのは、メインレンズ１の絞り形状が円であるためである。ライトフィールド画像ＬＦに含まれるそれぞれの小さな円の部分画像を「マクロピクセル」と呼ぶ。各マクロピクセルは、マイクロレンズアレイ３を構成する各マイクロレンズの直下に形成される。

図６は、マクロピクセルＭＰを拡大して示す図である。マクロピクセルＭＰの内部構造は、メインレンズ１の絞り位置に配置されたフィルタ部２の構造（図２参照）に対応したものとなる。すなわち、本実施形態の撮像装置により撮像されたライトフィールド画像ＬＦに含まれる各マクロピクセルＭＰは、図６に示すように、フィルタ部２のフィルタ領域Ｆ_Ｘに対応する画像領域Ｍ_Ｘと、フィルタ領域Ｆ_Ｙに対応する画像領域Ｍ_Ｙと、フィルタ領域Ｆ_Ｚに対応する画像領域Ｍ_Ｚとを有する。マクロピクセルＭＰにおける各画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚは、それぞれフィルタ部２のフィルタ領域Ｆ_Ｘ，Ｆ_Ｙ，Ｆ_Ｚを透過した光を受光素子アレイ４が受光することで得られる。なお、図６に示すマクロピクセルＭＰの内部構造が図２に示したフィルタ部２の構造に対して上下反転しているのは、光学系を通過してきたためである。ただし、この対応関係は光学系に依存するため、この例に限ったものではない。

本実施形態の撮像装置は、以上のようなライトフィールド画像ＬＦをもとに、フィルタ部２の３つのフィルタ領域Ｆ_Ｘ，Ｆ_Ｙ，Ｆ_Ｚの各々に対応する分光画像（マルチバンド画像）を生成し、これら分光画像を用いて被写体Ｏｂの色検出を行う機能を持つ。さらに、本実施形態の撮像装置は、生成した分光画像の輝度値に基づいて、受光素子アレイ４の露光時間を調整する機能を持つ。以下、このような機能を持つ本実施形態の撮像装置について、より具体的に説明する。

図７は、本実施形態の撮像装置の具体的な構成例を示す図である。図７に示す撮像装置１０は、レンズモジュール２０と、センサ部３０と、演算処理装置４０とを備える。

レンズモジュール２０は、第１レンズ１ａおよび第２レンズ１ｂと、上述したフィルタ部２とを有している。第１レンズ１ａおよび第２レンズ１ｂは、上述したメインレンズ１を構成する。ただし、この構成は一例であり、メインレンズ１を構成する光学素子の絞り位置にフィルタ部２が配置された構成であればよい。

センサ部３０は、上述したマイクロレンズアレイ３と、上述した受光素子アレイ４と、ＡＦＥ（Analog Front End）３１と、シャッタ部３２とを有している。ＡＦＥ３１は、受光素子アレイ４が出力する画像信号のゲイン調整やＡＤ変換などを行って、デジタルの画像情報（ライトフィールド画像）を出力する。シャッタ部３２は、受光素子アレイ４に対する光の入射を制限する。本実施形態の撮像装置１０は、後述のセンサ駆動制御部４３からセンサ部３０に供給される制御信号に応じてシャッタ部３２が駆動制御されることにより、露光時間が制御される。なお、本実施形態ではメカニカルなシャッタ部３２を用いて露光時間を制御する例を示しているが、露光時間の制御は電子シャッタによるものであってもよいし、シャッタ部３２と電子シャッタとを組み合わせて実施する構成であってもよい。また、図７ではマイクロレンズアレイ３と受光素子アレイ４の間にシャッタ部３２が配置されているが、シャッタ部３２は、受光素子アレイ４に対する光の入射を制限することが可能な位置に配置されていればよく、図７の例に制限されるものではない。

演算処理装置４０は、センサ部３０から出力されるライトフィールド画像ＬＦに対する処理や、センサ部３０の動作制御などを行うものであり、図７に示すように、分光画像生成部４１、露光調整部４２、センサ駆動制御部４３、および色検出部４４の各処理機能を備える。また、演算処理装置４０は、センサ部３０から出力されるライトフィールド画像ＬＦを一時的に保持するフレームメモリ４５を備える。

分光画像生成部４１は、センサ部３０から出力されてフレームメモリ４５に一時的に保持されたライトフィールド画像ＬＦをもとに、フィルタ部２の３つのフィルタ領域Ｆ_Ｘ，Ｆ_Ｙ，Ｆ_Ｚの各々に対応する分光画像を生成する。

分光画像は、ライトフィールド画像ＬＦのマクロピクセルと同数の縦横サイズを有する画像であり、ライトフィールド画像ＬＦにおける各マクロピクセルの位置と、分光画像の座標とが一対一に対応する。分光画像生成部４１が生成する分光画像の数は、フィルタ部２が有するフィルタ領域の数に対応する。本実施形態では、フィルタ部２が３つのフィルタ領域Ｆ_Ｘ，Ｆ_Ｙ，Ｆ_Ｚを有するため、３つの分光画像が生成される。それぞれの分光画像をチャンネルとして持つ分光画像の集合を「マルチバンド画像」と呼ぶ。

図８は、ライトフィールド画像ＬＦから分光画像を生成する様子を模式的に示す図である。図８（ａ）は、フィルタ部２のフィルタ領域Ｆ_Ｘに対応する分光画像ＳＰ_Ｘを生成する様子を示し、図８（ｂ）は、フィルタ部２のフィルタ領域Ｆ_Ｙに対応する分光画像ＳＰ_Ｙを生成する様子を示し、図８（ｃ）は、フィルタ部２のフィルタ領域Ｆ_Ｚに対応する分光画像ＳＰ_Ｚを生成する様子を示している。

分光画像ＳＰ_Ｘは、図８（ａ）に示すように、ライトフィールド画像ＬＦに含まれる各マクロピクセルＭＰの画像領域Ｍ_Ｘの代表値を、ライトフィールド画像ＬＦ上のマクロピクセルＭＰの位置と対応する座標の画素値として再配置することにより生成される。同様に分光画像ＳＰ_Ｙは、図８（ｂ）に示すように、ライトフィールド画像ＬＦに含まれる各マクロピクセルＭＰの画像領域Ｍ_Ｙの代表値を、ライトフィールド画像ＬＦ上のマクロピクセルＭＰの位置と対応する座標の画素値として再配置することにより生成される。同様に分光画像ＳＰ_Ｚは、図８（ｃ）に示すように、ライトフィールド画像ＬＦに含まれる各マクロピクセルＭＰの画像領域Ｍ_Ｚの代表値を、ライトフィールド画像ＬＦ上のマクロピクセルＭＰの位置と対応する座標の画素値として再配置することにより生成される。

図９は、ライトフィールド画像ＬＦ上の１つのマクロピクセルＭＰを模式的に表した図である。図中のハッチングは、マクロピクセルＭＰの各画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚの代表値を算出するために用いる画素（以下、メゾピクセルという。）の位置を表している。メゾピクセルの位置は、各マクロピクセルに対して定義されている。本例では、すべてのマクロピクセルＭＰにおいて、各画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚ内のメゾピクセルの数を４つずつとしているが、この例に限定されるものではない。メゾピクセルの数は、マクロピクセルごとに異なってもよいし、画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚごとに異なっていてもよい。また、メゾピクセルの位置は図９に示す例に限定されるものではなく、任意に定めることができる。ただし、一般的な光学系の場合、マクロピクセルＭＰの中心ほど輝度値が大きくなり、周辺にいくに従って小さくなる傾向にあるため、各画像領域Ｍ_Ｘ，Ｍ_Ｙ，Ｍ_Ｚの中央付近の画素をメゾピクセルとすることが望ましい。

分光画像生成部４１は、例えば以下の方法により、分光画像ＳＰ_Ｘ，ＳＰ_Ｙ，ＳＰ_Ｚのそれぞれをチャンネルとして持つマルチバンド画像を生成することができる。すなわち、分光画像生成部４１は、ライトフィールド画像ＬＦに含まれるすべてのマクロピクセルＭＰ（ｉ，ｊ）について、以下の処理を繰り返す。なお、ｉは画像における横方向の位置を表すインデックス、ｊは画像における縦方向の位置を表すインデックスである。

分光画像生成部４１は、画像領域Ｍ_Ｘのメゾピクセルの画素値（輝度値）を確認し、画素値が飽和しているメゾピクセルがあれば、飽和値を画像領域Ｍ_Ｘの代表値とする。一方、画素値が飽和しているメゾピクセルがなければ、メゾピクセルの画素値の平均値を画像領域Ｍ_Ｘの代表値とする。そして、分光画像生成部４１は、求めた画像領域Ｍ_Ｘの代表値を分光画像ＳＰ_Ｘ内の画素ｐ（ｉ，ｊ）の画素値として設定する。なお、飽和値とは、受光素子アレイ４の飽和感度に対応した値であり、画素が飽和した状態にあることを示している。飽和値は、受光素子アレイ４のアナログ出力を８ビットで扱う場合は２５５であり、１２ビットで扱う場合は４０９６である。

なお、飽和したメゾピクセルがある場合に、飽和値（最大輝度値）を分光画像ＳＰ_Ｘの画素値として用いるのは、飽和値を含んだ状態で平均化した画素値を分光画像ＳＰ_Ｘの画素値として用いてしまうと、分光画像ＳＰ_Ｘに不正確な値が混ざってしまい、後段の色検出部４４において分光画像ＳＰ_Ｘを被写体Ｏｂの色検出の用途に使用する際に、その誤差によって色検出の精度が低下してしまうためである。

同様に分光画像生成部４１は、画像領域Ｍ_Ｙのメゾピクセルの画素値（輝度値）を確認し、画素値が飽和しているメゾピクセルがあれば、飽和値を画像領域Ｍ_Ｙの代表値とし、画素値が飽和しているメゾピクセルがなければ、メゾピクセルの画素値の平均値を画像領域Ｍ_Ｙの代表値とする。そして、分光画像生成部４１は、求めた画像領域Ｍ_Ｙの代表値を分光画像ＳＰ_Ｙ内の画素ｐ（ｉ，ｊ）の画素値として設定する。

同様に分光画像生成部４１は、画像領域Ｍ_Ｚのメゾピクセルの画素値（輝度値）を確認し、画素値が飽和しているメゾピクセルがあれば、飽和値を画像領域Ｍ_Ｚの代表値とし、画素値が飽和しているメゾピクセルがなければ、メゾピクセルの画素値の平均値を画像領域Ｍ_Ｚの代表値とする。そして、分光画像生成部４１は、求めた画像領域Ｍ_Ｚの代表値を分光画像ＳＰ_Ｚ内の画素ｐ（ｉ，ｊ）の画素値として設定する。

ライトフィールド画像ＬＦに含まれるすべてのマクロピクセルＭＰ（ｉ，ｊ）について上記の処理が繰り返されることで、分光画像ＳＰ_Ｘ，ＳＰ_Ｙ，ＳＰ_Ｚのそれぞれをチャンネルとして持つマルチバンド画像が生成される。分光画像生成部４１により生成されたマルチバンド画像（分光画像ＳＰ_Ｘ，ＳＰ_Ｙ，ＳＰ_Ｚ）は、露光調整部４２に渡される。

図７に戻り、露光調整部４２は、分光画像生成部４１から受け取ったマルチバンド画像を構成する各チャンネルの分光画像ＳＰ_Ｘ，ＳＰ_Ｙ，ＳＰ_Ｚ（以下、これらを特に区別しない場合は分光画像ＳＰと総称する。）の輝度値に基づいて、受光素子アレイ４の露光時間が適正か否かを判定する。そして、露光調整部４２は、露光時間が適正であると判定した場合は、分光画像生成部４１から受け取ったマルチバンド画像を色検出部４４に渡す。一方、露光時間が適正でないと判定した場合は、露光調整部４２は、新たな露光時間を算出してセンサ駆動制御部４３に渡す。なお、露光時間が適正でない（露光時間が短い）と判定した場合であっても、現在の露光時間が予め定められた上限値に達している場合には、これ以上露光時間を長くすることができないため、分光画像生成部４１から受け取ったマルチバンド画像を色検出部４４に渡す。あるいは、光量が不足して適正な色検出が行えない旨をユーザに通知するようにしてもよい。

ここで、露光調整部４２による処理の具体的な一例について説明する。露光調整部４２は、まず、分光画像ＳＰの特定の画像領域Ｍ_Ｓ内で、最大の輝度を持つ画素の画素値（輝度値）を取得する。本実施形態では、マルチバンド画像が３チャンネルの分光画像ＳＰ_Ｘ，ＳＰ_Ｙ，ＳＰ_Ｚを含むため、露光調整部４２は、３チャンネルで最大の輝度を持つ画素の画素値（輝度値）を取得する。特定の画像領域Ｍ_Ｓとしては、例えば図１０に示すように、分光画像ＳＰの中央部に位置する所定サイズの領域などを予め定めておくことができる。

次に、露光調整部４２は、分光画像ＳＰから取得した輝度値を、上述した飽和値を基準に設定された所定範囲の上限値および下限値と比較する。そして、分光画像ＳＰから取得した輝度値が所定範囲内に収まっていれば、受光素子アレイ４の露光時間が適正であると判定し、分光画像生成部４１から受け取ったマルチバンド画像を色検出部４４に渡す。なお、ここでの所定範囲は、例えば飽和値の８０〜９０％の範囲（飽和値の８割以上、かつ、飽和値の９割以下の範囲）とすることが好適である。これは、受光素子アレイ４の露光時間を変化させながら色検出の精度を評価する実験において、分光画像ＳＰの最大の輝度値が飽和値の８０〜９０％の範囲となるように受光素子アレイ４の露光時間を調整することで、分光画像ＳＰのＳ／Ｎが向上するとともに画素の飽和を回避でき、分光画像ＳＰを用いた色検出を最も精度よく行えることが確認できたためである。

また、露光調整部４２は、分光画像ＳＰから取得した輝度値が所定範囲内に収まっていない場合は、その輝度値を所定範囲内に収めるべく、以下のように新たな露光時間を算出する。すなわち、露光調整部４２は、分光画像ＳＰから取得した輝度値をｖａｌ、飽和値をＭａｘｖａｌ、現在の露光時間をＣｕｒｒｅｎｔ Ｅｘｔｉｍｅ、新たな露光時間をＮｅｗ Ｅｘｔｉｍｅと表したときに、下記式（１）のように新たな露光時間Ｎｅｗ Ｅｘｔｉｍｅを算出する。
Ｎｅｗ Ｅｘｔｉｍｅ＝Ｃｕｒｒｅｎｔ Ｅｘｔｉｍｅ×（Ｍａｘｖａｌ×（０．９＋０．８）／２／ｖａｌ） ・・・（１）

そして、露光調整部４２は、以上のように算出した新たな露光時間Ｎｅｗ Ｅｘｔｉｍｅをセンサ駆動制御部４３に渡す。なお、上述したように、現在の露光時間Ｃｕｒｒｅｎｔ Ｅｘｔｉｍｅが予め定められた上限値に達している場合であって、分光画像ＳＰから取得した輝度値が飽和値の８０％未満となっている場合は、新たな露光時間Ｎｅｗ Ｅｘｔｉｍｅの算出は行わず、露光時間の調整を終了する。

センサ駆動制御部４３は、露光時間を含む制御信号をセンサ部３０に供給し、センサ部３０によるライトフィールド画像ＬＦの撮像を制御する。センサ駆動制御部４３は、露光調整部４２によって新たな露光時間が算出された場合は、この新たな露光時間を含む制御信号をセンサ部３０に供給する。これにより、分光画像生成部４１により生成される分光画像ＳＰの輝度値が所定範囲内に収まるように、受光素子アレイ４の露光時間が調整されることになる。そして、適正な露光時間で受光素子アレイ４を駆動することで得られたライトフィールド画像ＬＦをもとに分光画像生成部４１が生成した分光画像ＳＰ（マルチバンド画像）が、色検出部４４に渡される。なお、露光時間が調整された後に生成された分光画像ＳＰ（マルチバンド画像）に対し、露光調整部４２により露光時間が適正か否かの判定を再度行って、露光時間が適正と判定されるまで露光時間の調整を繰り返し、露光時間が適正と判定された場合にその分光画像ＳＰを色検出部４４に渡すようにしてもよい。

色検出部４４は、露光調整部４２から渡されたマルチバンド画像を用いて、被写体Ｏｂの色検出を行う。マルチバンド画像に含まれる各分光画像ＳＰ_Ｘ，ＳＰ_Ｙ，ＳＰ_Ｚは、被写体Ｏｂから発した光を、波長的に三刺激値Ｘ，Ｙ，Ｚに分解し、受光素子アレイ４の分光感度を乗じた値を表している。受光素子アレイ４の分光感度は設計時に既知なので、上記の出力値を受光素子アレイ４の分光感度で除算することで、被写体Ｏｂから発した光の三刺激値Ｘ，Ｙ，Ｚを求めることができる。そして、この三刺激値Ｘ，Ｙ，Ｚから、被写体Ｏｂの色（ＸＹＺ色空間における表色値）を検出することができる。このとき、各分光画像ＳＰ_Ｘ，ＳＰ_Ｙ，ＳＰ_Ｚはセンサ部３０により取得されたライトフィールド画像ＬＦに対応する二次元画像であるため、これらの分光画像ＳＰ_Ｘ，ＳＰ_Ｙ，ＳＰ_Ｚを用いることにより、二次元座標の各位置における被写体Ｏｂの色を同時に検出することができる。

ここで、図１１を参照しながら、演算処理装置４０において実行される処理手順の一例について説明する。図１１は、演算処理装置４０による処理手順の一例を示すフローチャートである。

演算処理装置４０は、まずセンサ部３０により撮像されたライトフィールド画像ＬＦを入力する（ステップＳ１０１）。演算処理装置４０に入力されたライトフィールド画像ＬＦは、演算処理装置４０内部のフレームメモリ４５に一時的に保持される。

次に、分光画像生成部４１が、フレームメモリ４５に一時的に保持されたライトフィールド画像ＬＦをもとに、フィルタ部２の各フィルタ領域Ｆ_Ｘ，Ｆ_Ｙ，Ｆ_Ｚに対応する分光画像ＳＰ_Ｘ，ＳＰ_Ｙ，ＳＰ_Ｚを含むマルチバンド画像を生成する（ステップＳ１０２）。

次に、露光調整部４２が、ステップＳ１０２で生成されたマルチバンド画像に含まれるすべての分光画像ＳＰ_Ｘ，ＳＰ_Ｙ，ＳＰ_Ｚの特定の画像領域（特定領域）Ｍ_Ｓ内の画素のうち、最大の輝度を持つ画素の輝度値を取得する（ステップＳ１０３）。そして、露光調整部４２は、ステップＳ１０３で取得した輝度値が、所定範囲（例えば飽和値の８０〜９０％）内に収まっているか否かを判定する（ステップＳ１０４）。

ステップＳ１０４の判定の結果、ステップＳ１０３で取得した輝度値が所定範囲内に収まっていれば（ステップＳ１０４：Ｙｅｓ）ステップＳ１０８に処理を移行し、所定範囲内に収まっていなければ（ステップＳ１０４：Ｎｏ）ステップＳ１０５に処理を移行する。

ステップＳ１０５では、露光調整部４２が、現在の露光時間Ｃｕｒｒｅｎｔ Ｅｘｔｉｍｅが予め定められた露光時間の上限値となっているか否かを判定する。そして、現在の露光時間Ｃｕｒｒｅｎｔ Ｅｘｔｉｍｅが上限値となっていれば（ステップＳ１０５：Ｙｅｓ）ステップＳ１０８に処理を移行し、上限値となっていなければ（ステップＳ１０５：Ｎｏ）ステップＳ１０６に処理を移行する。

ステップＳ１０６では、露光調整部４２が、上述した式（１）により新たな露光時間Ｎｅｗ Ｅｘｔｉｍｅを算出する。そして、センサ駆動制御部４３が、ステップＳ１０６で算出された新たな露光時間Ｎｅｗ Ｅｘｔｉｍｅをセンサ部３０に供給する（ステップＳ１０７）。これにより、センサ部３０において、新たな露光時間Ｎｅｗ Ｅｘｔｉｍｅに基づく新たなライトフィールド画像ＬＦが撮像される。その後、ステップＳ１０１に戻って以降の処理が繰り返される。

一方、ステップＳ１０８では、色検出部４４が、露光調整部４２から受け取ったマルチバンド画像を用いて、被写体Ｏｂの色検出を行う。そして、色検出部４４による被写体Ｏｂの色検出が完了すると、図１１のフローチャートで示した一連の処理が終了する。

なお、以上説明した演算処理装置４０の各部の処理はあくまで一例であり、この例に限定されるものではない。

例えば、上述した例では、分光画像ＳＰの輝度値を評価する特定の画像領域Ｍ_Ｓを図１０に例示した領域として予め定めておくものとしているが、特定の画像領域Ｍ_Ｓをユーザの操作に応じて設定する構成としてもよい。この場合、例えば、画像内の領域を指定するユーザ操作を受け付けるインタフェース（操作受付部）を撮像装置１０に設け、このインタフェースを通じてユーザが領域を指定する操作を行った場合に、指定された領域を特定の画像領域Ｍ_Ｓに設定して輝度値の評価を行うようにすればよい。また、ユーザが分光画像ＳＰの全領域を指定する操作を行った場合は、分光画像ＳＰの全領域を対象として輝度値を評価するように構成してもよい。

また、上述した例では、分光画像ＳＰの輝度値の判定に用いる所定範囲を、飽和値の８０〜９０％の範囲としているが、この所定範囲は任意に変更可能である。例えば、分光画像ＳＰの全領域を対象として輝度値を評価する場合、飽和値の８割以上で、かつ、飽和値未満の範囲を所定範囲としてもよい。また、この所定範囲を、ユーザが被写体Ｏｂの種類に応じて任意に設定できる構成としてもよい。

また、上述した例では、３チャンネルで最大の輝度を持つ画素を選択して、その輝度値が所定範囲内に収まるように露光時間を調整するようにしているが、チャンネルごと（分光画像ＳＰごと）に画素を選択し、その輝度値が所定範囲内に収まるように、チャンネルごとに露光時間を調整してもよい。この場合は、例えば、チャンネルごとに調整された露光時間でチャンネル数分の撮像を行い、それぞれのライトフィールド画像ＬＦから、露光時間が適切に調整されている分光画像ＳＰを個別に生成する。例えば、分光画像ＳＰ_Ｘから選択された画素の輝度値が所定範囲内に収まるように調整された露光時間で撮像を行い、得られたライトフィールド画像ＬＦから分光画像ＳＰ_Ｘを生成する。また、分光画像ＳＰ_Ｙから選択された画素の輝度値が所定範囲内に収まるように調整された露光時間で撮像を行い、得られたライトフィールド画像ＬＦから分光画像ＳＰ_Ｙを生成する。また、分光画像ＳＰ_Ｚから選択された画素の輝度値が所定範囲内に収まるように調整された露光時間で撮像を行い、得られたライトフィールド画像ＬＦから分光画像ＳＰ_Ｚを生成する。そして、以上のように個別に生成した分光画像ＳＰを、チャンネルごとに調整された露光時間の差に応じて補正した上で、被写体Ｏｂの色検出に利用する。ここで、露光時間の差に応じて分光画像ＳＰを補正する方法としては、例えば、チャンネルごとに調整された露光時間の逆数に比例する値を各チャンネルの分光画像ＳＰの画素値に乗ずるといった方法が挙げられる。これにより、露光時間の差による３チャンネルの強度比の変動を補正した分光画像ＳＰを得ることができ、被写体Ｏｂの色検出を適切に行うことができる。

図１２は、演算処理装置４０のハードウェア構成の一例を示す図である。演算処理装置４０は、例えば図１２に示すように、演算処理を実行するＣＰＵ（Central Processing Unit）５１と、ＣＰＵ５１を動作させるためのプログラムを格納するＲＯＭ（Read Only Memory）５２と、ＣＰＵ５１がプログラムを実行する際のワークメモリとして利用されるＲＡＭ（Random Access Memory）５３と、各種の演算用データなどを格納する不揮発ＲＡＭ５４と、センサ部３０からの画像データを一時的に記憶する画像用ＲＡＭ５５とを備えている。

図７に示した演算処理装置４０の各処理機能（分光画像生成部４１、露光調整部４２、センサ駆動制御部４３および色検出部４４）は、例えば、ＣＰＵ５１がＲＯＭ５２に格納されたプログラムを読み出して実行することによって実現される。この場合、上記各部を実現するためのプログラムは、例えばＲＯＭ５２に予め格納されて提供される。このプログラムは、演算処理装置４０の各処理機能を含むモジュール構成となっており、ＣＰＵ５１がＲＡＭ５３からプログラムを読み出し実行することで、上記各部（分光画像生成部４１、露光調整部４２、センサ駆動制御部４３および色検出部４４）がＲＡＭ５３上に生成される。

なお、プログラムの提供方法は上述した例に限られるものではない。例えば、上述したプログラムをインターネットなどのネットワークに接続された外部装置に格納し、撮像装置１０がネットワーク経由でこのプログラムをダウンロードする方法であってもよい。また、上述したプログラムを撮像装置１０が読み取り可能な記録媒体にインストール可能な形式または実行可能な形式のファイルで格納して提供する方法であってもよい。

なお、上述した演算処理装置４０の各処理機能の一部あるいは全部を、例えばＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）などの専用のハードウェアを用いて実現することもできる。

以上、具体的な例を挙げながら詳細に説明したように、本実施形態の撮像装置１０によれば、分光画像ＳＰの輝度値に基づいて受光素子アレイ４の露光時間を調整するようにしているので、良好な分光画像ＳＰが得られるように受光素子アレイ４の露光時間を適切に調整することができる。そして、露光時間が適切に調整されることで得られる良好な分光画像ＳＰを用いて、被写体Ｏｂの色検出を精度よく行うことができる。

本実施形態は、次に示される捉え方が可能である。すなわち、本実施形態の撮像装置１０は、各々が異なる分光透過特性を持つ複数のフィルタ領域Ｆ_Ｘ，Ｆ_Ｙ，Ｆ_Ｚを有するフィルタ部２と、フィルタ部２を透過した光を受光して画像情報を出力する受光素子アレイ４と、受光素子アレイ４の受光面と略平行に配列された複数のレンズを有し、フィルタ部２と受光素子アレイ４との間に配置されたマイクロレンズアレイ３と、受光素子アレイ４が出力する画像情報をもとに、複数のフィルタ領域Ｆ_Ｘ，Ｆ_Ｙ，Ｆ_Ｚの各々に対応する複数の分光画像ＳＰ_Ｘ，ＳＰ_Ｙ，ＳＰ_Ｚを生成する分光画像生成部４１と、分光画像ＳＰ_Ｘ，ＳＰ_Ｙ，ＳＰ_Ｚの輝度値に基づいて、受光素子アレイ４の露光時間を調整する露光調整部４２と、を備える。

図１３は、本実施形態の撮像装置１０の機能的な構成例を示すブロック図である。図１３に示すように、本実施形態の撮像装置１０は、ライトフィールド画像取得部６０と、分光画像生成部４１と、露光調整部４２と、センサ駆動制御部４３と、色検出部４４と、を備えた構成と捉えることができる。

ライトフィールド画像取得部６０は、上述のレンズモジュール２０およびセンサ部３０により実現される機能的な構成要素である。ライトフィールド画像取得部６０は、メインレンズ１に入射した光をフィルタ部２により分光し、マイクロレンズアレイ３を介して受光素子アレイ４の異なる位置で受光することによりライトフィールド画像を取得する。このとき、受光素子アレイ４の露光時間は、センサ制御部４３から供給される制御信号に応じて制御される。ライトフィールド画像取得部６０により取得されたライトフィールド画像は、分光画像生成部４１に渡され、この分光画像生成部４１により、ライトフィールド画像から分光画像が生成される。

露光調整部４２は、分光画像生成部４１により生成された分光画像の特定領域内の画素のうち、最大輝度を持つ画素の輝度値を取得し、取得した輝度値が所定範囲内に収まっているか否かを判定する。この判定の結果、取得した輝度値が所定範囲内に収まっていれば、分光画像生成部４１により生成された分光画像が色検出部４３に出力されて、色検出が行われる。一方、取得した輝度値が所定範囲内に収まっていなければ、取得した輝度値に基づいて新たな露光時間が算出され、センサ駆動制御部４３に出力される。センサ駆動制御部４３は、露光調整部４２により新たな露光時間が算出されると、この新たな露光時間を含む制御信号をライトフィールド画像取得部６０に供給する。これにより、受光素子アレイ４の露光時間が、良好な分光画像が得られるように最適化される。

以上、本発明の一適用例としての実施形態を具体的に説明したが、本発明は、上記の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で様々な変形や変更を加えて具体化することができる。例えば、上述した実施形態では、フィルタ部２の領域分割数を３としているが、フィルタ部２は位置に応じて異なる分光透過率を持つように構成されていればよく、目的に応じて任意の領域分割数を定めることができる。また、フィルタ部２は、領域の明確な境界を持たずに分光透過特性が連続的に変化する構成であってもよい。この場合は、所望の分光透過特性に対応するフィルタ部２内の位置に応じて、マルチバンド画像の各チャンネルに対応するマクロピクセル内のメゾピクセルの位置を予め定めておけばよい。

１ メインレンズ
２ フィルタ部
３ マイクロレンズアレイ
４ 受光素子アレイ
１０ 撮像装置
２０ レンズモジュール
３０ センサ部
４０ 演算処理装置
４１ 分光画像生成部
４２ 露光調整部
４３ センサ駆動制御部
４４ 色検出部
ＬＦ ライトフィールド画像
ＳＰ（ＳＰ_Ｘ，ＳＰ_Ｙ，ＳＰ_Ｚ） 分光画像

特開２０１３−２１４９５０号公報 特開２００７−１２７６５７号公報

Claims (10)

1. 各々が異なる分光透過特性を持つ複数のフィルタ領域を有するフィルタ部と、
   前記フィルタ部を透過した光を受光して画像情報を出力する撮像素子と、
   前記撮像素子の受光面と略平行に配列された複数のレンズを有し、前記フィルタ部と前記撮像素子との間に配置されたレンズアレイと、
   前記撮像素子が出力する画像情報をもとに、前記複数のフィルタ領域の各々に対応する複数の分光画像を生成する分光画像生成部と、
   前記複数の分光画像の輝度値に基づいて、前記撮像素子の露光時間を調整する露光調整部と、を備えることを特徴とする撮像装置。
2. 前記露光調整部は、前記複数の分光画像の輝度値の最大値が所定範囲内に収まるように、前記露光時間を調整することを特徴とする請求項１に記載の撮像装置。
3. 前記露光調整部は、前記複数の分光画像のそれぞれについて、輝度値の最大値が所定範囲内に収まるように、前記複数の分光画像ごとに前記露光時間を調整することを特徴とする請求項１に記載の撮像装置。
4. 前記所定範囲は、前記撮像素子の飽和感度に対応する飽和値の８割以上、かつ、該飽和値の９割以下の範囲であることを特徴とする請求項２または３に記載の撮像装置。
5. 前記露光調整部は、前記最大値が前記所定範囲未満の場合に、前記露光時間を予め定められた上限値まで長くしても前記最大値が前記所定範囲内に収まらない場合は、前記露光時間の調整を終了することを特徴とする請求項２〜４のいずれか一項に記載の撮像装置。
6. 前記露光調整部は、前記複数の分光画像の各々における特定の画像領域の輝度値に基づいて、前記露光時間を調整することを特徴とする請求項１〜５のいずれか一項に記載の撮像装置。
7. ユーザ操作を受け付ける操作受付部をさらに備え、
   前記露光調整部は、前記操作受付部が前記特定の画像領域を指定するユーザ操作を受け付けた場合に、指定された前記特定の画像領域の輝度値に基づいて、前記露光時間を調整することを特徴とする請求項６に記載の撮像装置。
8. 前記分光画像生成部は、前記撮像素子が出力する画像情報に含まれる画素情報であって、前記分光画像の１つの画素を構成する複数の画素情報のうち少なくとも１つが飽和している場合は、前記分光画像における当該画素を飽和状態とした前記分光画像を生成することを特徴とする請求項１〜７のいずれか一項に記載の撮像装置。
9. 各々が異なる分光透過特性を持つ複数のフィルタ領域を有するフィルタ部と、
   前記フィルタ部を透過した光を受光して画像情報を出力する撮像素子と、
   前記撮像素子の受光面と略平行に配列された複数のレンズを有し、前記フィルタ部と前記撮像素子との間に配置されたレンズアレイと、を備える撮像装置において実行される露光調整方法であって、
   前記撮像素子が出力する画像情報をもとに、前記複数のフィルタ領域の各々に対応する複数の分光画像を生成する工程と、
   前記複数の分光画像の輝度値に基づいて、前記撮像素子の露光時間を調整する工程と、を含むことを特徴とする露光調整方法。
10. 各々が異なる分光透過特性を持つ複数のフィルタ領域を有するフィルタ部と、
    前記フィルタ部を透過した光を受光して画像情報を出力する撮像素子と、
    前記撮像素子の受光面と略平行に配列された複数のレンズを有し、前記フィルタ部と前記撮像素子との間に配置されたレンズアレイと、を備える撮像装置において実行されるプログラムであって、
    前記撮像素子が出力する画像情報をもとに、前記複数のフィルタ領域の各々に対応する複数の分光画像を生成する機能と、
    前記複数の分光画像の輝度値に基づいて、前記撮像素子の露光時間を調整する機能と、を前記撮像装置に実現させるためのプログラム。

Images