JP2017139576A - 撮像装置およびその制御方法ならびにプログラム - Google Patents

Abstract

【課題】ローリングシャッター歪みの影響を低減して、リフォーカス処理の精度を向上させることが可能な撮像装置を提供する。【解決手段】本発明に係る撮像装置は、２次元状に配列された複数の画素を有し、入射する光線の角度情報を含む画像信号を取得可能な撮像素子と、被写体に撮影光学系の焦点を合わせるための焦点調節手段と、撮像素子の画素の信号を、その画素の位置に応じて異なるタイミングで読み出すことが可能な読み出し手段と、読み出し手段が、画素の信号を、その画素の位置に応じて異なるタイミングで読み出す場合であって、且つ撮影対象である被写体に動体が存在する場合には、撮影光学系の焦点を動体に合わせるように焦点調節手段を制御する制御手段と、を備える。【選択図】図３

Description

本発明は、撮像装置およびその制御方法ならびにプログラムに関する。

マイクロレンズアレイを通過した光線を分割して記録することにより、被写体からの光線の角度情報を維持して画像信号を取得することができるライトフィールドカメラ（ＬＦカメラともいう）が提案されている（非特許文献１）。ＬＦカメラによって記録された画像信号を用いれば、撮影後に視点を変化させた画像やフォーカス状態を変更した画像を再構成する（リフォーカス処理ともいう）ことができる。

ＬＦカメラは、マイクロレンズアレイのような光学的な構成部材を必要とし、組み付け精度に応じて歪みが発生する場合があるため、その調整が必要となる。これに対して、特許文献１には、撮影光学系とマイクロレンズアレイを備えた撮像装置であって、装置を構成する構成部材の歪みを検出し、この歪みの検出結果と予め定められた構成部材の歪み特性とに基づいて、撮影画像の歪みを補正するものが開示されている。

Ｒｅｎ．Ｎｇ、外７名，「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−Ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」，Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２

特開２０１１−１９０８８号公報

ところで、光学的な構成部材の組み付け精度が向上した場合であっても、ＬＦカメラに用いられる撮像素子が、例えばＣＭＯＳイメージセンサである場合、撮影画像に撮像素子固有の歪みが生じる場合がある。例えばローリングシャッター歪みは、撮像素子上の画素の読み出しタイミングがその位置によって異なる、撮像素子の読み出し方式に起因して生じる。このような読み出し方式を採用した撮像素子を用いる場合、高速で移動する被写体（動体ともいう）に歪みが生じる。特に、静止した主要被写体に合焦させて撮影する際にぼけた動体が存在する場合、この動体には、ぼけによる広がりが加わってより大きな歪みが生じる。したがって、ＬＦカメラによって撮影した後にこの動体に合焦させるリフォーカス処理を行うと、当該動体の歪みがより大きく現われることになる。

本発明は、上述の従来技術の問題点に鑑みてなされたものであり、ローリングシャッター歪みの影響を低減して、リフォーカス処理の精度を向上させることが可能な撮像装置およびその制御方法ならびにプログラムを提供することを目的とする。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、２次元状に配列された複数の画素を有し、入射する光線の角度情報を含む画像信号を取得可能な撮像素子と、被写体に撮影光学系の焦点を合わせるための焦点調節手段と、撮像素子の画素の信号を、その画素の位置に応じて異なるタイミングで読み出すことが可能な読み出し手段と、読み出し手段が、画素の信号を、その画素の位置に応じて異なるタイミングで読み出す場合であって、且つ撮影対象である被写体に動体が存在する場合には、撮影光学系の焦点を動体に合わせるように焦点調節手段を制御する制御手段と、を備えることを特徴とする。

本発明によれば、ローリングシャッター歪みの影響を低減して、リフォーカス処理の精度を向上させることが可能になる。

本発明の実施形態で考慮するローリングシャッター歪みの影響を説明する図 実施形態１に係る撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図 実施形態１に係る撮影処理の一連の動作を示すフローチャート 実施形態１に係る撮影処理の原理を説明する図 実施形態１に係るリフォーカス処理を模式的に説明する図 実施形態１に係る撮影処理による効果を模式的に説明する図 実施形態１に係る撮影処理を適用しない場合を模式的に説明する図 実施形態２に係る撮影処理の一連の動作を示すフローチャート

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では撮像装置の一例として、マイクロレンズアレイとフォーカシングレンズを備えた任意のデジタルカメラに本発明を適用した例を説明する。しかし、本発明は、デジタルカメラに限らず、マイクロレンズアレイとフォーカシングレンズを備えた任意の機器にも適用可能である。これらの機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末、医療機器などが含まれてよい。

（ライトフィールドカメラの概要）
まず、ライトフィールドカメラ（単にＬＦカメラともいう）ではない、一般的なデジタルカメラのフォーカス状態について説明した上で、ＬＦカメラの原理について説明する。

一般的なデジタルカメラのフォーカス状態は、撮影時に、フォーカシングレンズの位置が撮影者によって手動で、又は自動焦点調節（オートフォーカス）機能によって自動で調整される。撮影された画像信号は、デジタル画像処理によるシャープネスの調節等により、被写体の鮮鋭度を変更することができるが、例えば既に光学的にぼけてしまった情報を回復することはできない。これは、光学的な情報が奥行を含む三次元の情報であるのに対して、この光学的な情報が当該デジタルカメラの固体撮像素子の撮像面に結像する際に、二次元の情報に変換されるためである。すなわち、一般的なデジタルカメラでは、入射する光線が固体撮像素子の撮像面に正対する被写体平面のどこから到達した光かを記録するものであり、入射する光がどのような角度分布を持つかは記録されない。更に換言すれば、一般的なデジタルカメラは、被写体のある点から生じた光線を、撮影光学系の絞り口径に相当する角度範囲で積分したうえで記録する。具体的に、撮影光学系の絞り面の二次元座標を（ｕ，ｖ）とすると、固体撮像素子等の記録面の二次元座標（ｓ，ｔ）に記録される情報Ｅｂ（ｓ，ｔ）は、

で表される量である。ここで、ｂは撮影光学系の後側主点から撮像面までの結像距離を表し、Ｌｂ（ｓ，ｔ，ｕ，ｖ）は撮影光学系の結像距離ｂの下で、被写体からの光線のうち絞り面の座標（ｕ，ｖ）を通過して撮像面の座標（ｓ，ｔ）に到達する光線を表す。この結像距離ｂは、撮影光学系のフォーカシングレンズ駆動により一意に決定され、結像距離ｂの下で撮像面の座標（ｓ，ｔ）に到達する光線も、後述の結像公式により一意に決定される。このため、Ｌｂ（ｓ，ｔ，ｕ，ｖ）は撮影光学系のフォーカシングレンズ駆動の条件下で絞り面の座標（ｕ，ｖ）を通過する被写体からの光線を表す。

一方、ＬＦカメラは、ライトフィールドフォトグラフィと呼ばれる技術により、被写体からの光線の角度情報を維持して光線を記録することができる。ＬＦカメラは、例えば、所定のピッチでマイクロレンズが配列されたマイクロレンズアレイに主として被写体像を結像させ、マイクロレンズアレイの後方に配置された、よりピッチの細かい固体撮像素子により入射した光線を記録する。なお、このような光線の角度情報を含む画像信号は光線空間情報ともいわれる。

マイクロレンズアレイのピッチよりも細かなピッチの固体撮像素子の各画素に記録される光線は、マイクロレンズアレイへの結像状態において撮影光学系の絞りの一部領域を通過した光である。ここで、絞りの一部領域を通過する光線は、被写体のある点から生じた光線のうち特定の角度で出射された光線である。したがって、マイクロレンズアレイよりも細かいピッチで画素を備えることにより、ピッチが細かい分だけ多数の光線を角度で分割して記録することができる。複数の光線を分割して記録することができるため、視点を変化させた画像を取得することや撮影後にフォーカス状態を変更するリフォーカス処理が可能になる。

（ローリングシャッター歪みの発生原理）
ローリングシャッター歪みの発生原理は、ＣＭＯＳイメージセンサの構造上発生する歪みとして知られている。ＣＭＯＳイメージセンサでは、水平および垂直に二次元状に配列された画素に対して、第１にこれらの画素を露光し、第２にこれらの画素の電荷を順次読み出す、という大きく２つのステップを実行する。露光にメカニカルシャッターを併用できる場合、画素の順次読み出し中は遮光することができるため、ローリングシャッター歪みは回避することができる。一方、メカニカルシャッターを併用することができない場合、画素の電荷の順次読み出し（すなわち蓄積終了を以て露光完了とする）と、１つ前のフレームにおける画素の電荷の順次読み出し（すなわち蓄積開始を以て露光開始とする）とが行われる。画素の電荷の順次読み出しには、ＸＹアドレス型や垂直順次走査型などが挙げられるが、いずれの方法も、固体撮像素子上のある座標に存在する画素は、別の垂直行に存在する画素とは蓄積開始および蓄積終了の時刻が異なる。蓄積開始と蓄積終了との時間差（すなわち蓄積時間）は全ての画素にとって一定値に保たれるものの、その読み出しの時刻差により、画面内を高速で移動する被写体や、比較的低速で移動する被写体であっても画角に占める割合の大きな被写体に歪みが生じる。この歪みは、例えば第１行目を読み出した際に水平座標ｘ１〜ｘ２に存在していた被写体が水平速度ｖｈで移動すると、第１００行目を読み出した時には水平座標ｘ１＋１００ｖｈ〜ｘ２＋１００ｖｈに移動しているために生じる。

（ＬＦカメラにおけるローリングシャッター歪み）
更に、このようなローリングシャッター歪みの発生するＣＭＯＳイメージセンサを、ＬＦカメラに適用した場合について、図１を参照して説明する。図１において、撮影光学系１は、絞りを含み、その焦点距離はｆである。また、マイクロレンズアレイ２は、マイクロレンズを２次元状に配置し、固体撮像素子３と撮影光学系１の間に配置されている。また、撮影対象である被写体Ａ１と被写体Ａ２とが異なる被写体距離に存在している。図１の例では、撮影光学系１により焦点を合わせた被写体距離ａ１の被写体Ａ１がマイクロレンズアレイ２の頂点に結像されている。すなわち、撮影光学系１の結像公式に従えば、撮影光学系１の後側主点からマイクロレンズアレイ２の頂点の距離ｂ１は、
ｂ１＝（ａ１−ｆ）／ｆ・ａ１ （式２）
で表される。

また、被写体Ａ２は、その被写体距離ａ２がａ２＜ａ１の関係を満たす被写体である。被写体距離ａ１の被写体Ａ１にフォーカスが合っているため、同時に撮影される被写体Ａ２の結像距離ｂ２は、
ｂ２＝（ａ２−ｆ）／ｆ・ａ２ （式３）
となる（但し、ｂ２＞ｂ１）。すなわち、被写体Ａ２からの光線は、被写体Ａ１からの光線よりも撮影光学系１の後側主点から見て遠い側で結像する。固体撮像素子３がｂ１とｂ２の間に存在するため、光線は、（撮影光学系１の絞りによる制限を受けた角度範囲において）その全てが式３を満たす結像点で交差する前に、投影面積の広がった状態で固体撮像素子３に記録される。このため、固体撮像素子３に投影される光学像のぼけが大きいほど、被写体Ａ２が投影される座標間の距離が大きくなって読み出し時刻の差も大きくなる。つまり、光学像が広がる場合、固体撮像素子３のローリングシャッター歪みの影響を大きく受けることになる。

上述した一般的なデジタルカメラでは、撮影時にぼけた被写体Ａ２はぼけたまま表示されるため、ぼけた被写体に対するローリングシャッター歪みの影響は認識し難い。しかし、ＬＦカメラでは、リフォーカス処理により撮影後に任意の被写体に合焦した画像を生成可能であるため、ぼけによってローリングシャッター歪みの影響が大きくなるほど、リフォーカスした際の被写体の歪みが認識され易い状態で現れる。

反対に、ローリングシャッター歪みが発生する動体に合焦させて撮影することにより、ぼけによるローリングシャッター歪みの増大を抑制することができる。

（デジタルカメラ１００の構成）
図２は、本実施形態の撮像装置の一例としてデジタルカメラ１００の機能構成例を示すブロック図を示している。なお、図２に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

撮影光学系１は、焦点調節を行うフォーカシングレンズや画角を変更するズームレンズ等のレンズ群と、絞りとを含む。マイクロレンズアレイ２は、水平および垂直に所定のピッチで２次元状に配列された複数のマイクロレンズにより構成される。撮影光学系１のフォーカシングレンズによって合焦した被写体像がマイクロレンズの頂点に結像される。

固体撮像素子３は、２次元状に配列された複数の画素を有し、撮影光学系１によって結像された被写体像を光電変換する光電変換機能と、光電変換された電気信号を画像信号として転送する信号転送機能とを有する。固体撮像素子３は、マイクロレンズアレイ２の１つのマイクロレンズに対して複数の画素が対応するように構成される。固体撮像素子３がＣＭＯＳイメージセンサである場合、各画素からの信号は、例えばいわゆるローリング走査により行ごとに順次転送される。Ａ／Ｄ変換部４は、サンプリングされたアナログ画像信号をデジタル画像信号に変換する回路又はモジュールを含む。デジタル化された画像信号は、画像メモリ８に記憶される。

信号処理部７は、画像メモリ８に記憶された画像信号に対してホワイトバランス補正やガンマ補正等の所定の画像処理を施す回路又はモジュールを含む。信号処理部７は、当該画像信号に対して後述するリフォーカス処理を行う。信号処理部７から出力された画像信号は、例えばメモリカード等の不揮発性の記録媒体１０に記録される。記録制御部９は、記録媒体１０とのインターフェイス回路を含み、記録媒体１０への画像信号の書き込みや記録媒体１０からの画像信号の読み出しを制御する。

タイミング発生部５は、固体撮像素子３などの撮像系を駆動する。さらに、撮像系の駆動ひいては固体撮像素子３の出力信号に同期してＡ／Ｄ変換部４を駆動制御する。フォーカシングレンズ駆動部６は、撮影光学系１に含まれるフォーカシングレンズを駆動する。なお、フォーカシングレンズは、ライトフィールドフォトグラフィに依らない一般に知られたデジタルカメラにおいて被写体に合焦させるために用いられるものと同様であってよい。フォーカシングレンズ駆動部６は、自動焦点検出（ＡＦ）機能などによってシステム制御部１３から制御信号を受信して、撮影光学系１の結像距離を決定する。

表示制御部１１は、表示装置１２に表示する画像を制御する回路又はモジュールを含む。表示装置１２は、例えば液晶ディスプレイなどの表示デバイスを含み、各種信号処理の施された画像信号を、表示制御部１１を介して表示する。表示装置１２は、これから撮像しようとする画面を連続的にライブで表示するライブビュー表示、記録した動画の再生表示、操作のためのメニュー表示等を実現する。

システム制御部１３は、例えばＣＰＵあるいはＭＰＵを含み、不揮発メモリであるＲＯＭ１５に記憶されたプログラムを、揮発性メモリであるＲＡＭ１４に展開し実行することによりデジタルカメラ１００の各部を制御する。

動体検出部１６は、時系列に並んだ動画フレームの中から特に移動している被写体（動体）を検出するとともに、検出した被写体の速度を検出する。被写体検出部１７は、画像内の主要な被写体（単に主要被写体ともいう）を検出する。主要被写体は、例えば人物として認識されたことや、更には認識された人物が画像の中心付近に位置すること等を加重して得られる評価値に基づいて決定することができる。

リフォーカス距離設定部１８は、ＬＦカメラにおいてリフォーカス処理を実行するためのパラメータであるリフォーカス距離を設定する。なお、リフォーカス距離については後述する。

（本実施形態の撮影処理に係る一連の動作）
次に、図３を参照して、撮影処理に係る一連の動作を説明する。この撮影処理では、動体を検出して当該動体に優先的に合焦させて撮影するとともに、別途検出した主要被写体に合焦させるリフォーカス処理を行う。なお、本一連の動作は、例えば不図示の操作部に対するユーザからの操作が検出された場合に開始される。また、本一連の動作は、システム制御部１３がＲＯＭ１５に記憶されたプログラムをＲＡＭ１４の作業用領域に展開し、実行することにより実現される。

Ｓ３０１において、システム制御部１３は、図２に不図示の操作スイッチによりメイン電源がオンされたことに応じて起動して、デジタルカメラ１００の各部を初期化やデジタルカメラ１００の動作に必要な所定のデータをＲＯＭ１５から読み込む。

Ｓ３０２において、システム制御部１３は、固体撮像素子３に対する駆動設定を行う。システム制御部１３は、例えばライブの画像を表示装置１２に連続的に映し出すライブビューモードに設定するための駆動設定信号を送信して、固体撮像素子３の駆動モードを設定する。

Ｓ３０３において、システム制御部１３はいわゆる自動露出調整動作（ＡＥ）を行う。例えば、信号処理部７は、システム制御部１３の指示に応じて、固体撮像素子３から連続的に取得される画像信号を用いて測光し、測光結果をシステム制御部１３に出力する。システム制御部１３は、当該測光結果に応じて次のフレームの撮影に使用する露出を制御する。より具体的には、信号処理部７は、例えば画像信号から抽出した輝度情報を画面のエリア別に重み付け演算して、現状よりも何段明るくすればよいか（暗くすればよいか）を演算する。固体撮像素子３が電子シャッター機能を備える場合、同時に電子シャッターのシャッター速度を変更してもよい。

Ｓ３０４において、システム制御部１３はいわゆるオートフォーカス（ＡＦ）を行う。ＡＦは、所定の被写体に合焦させるようにフォーカシングレンズによる焦点位置を変更する自動焦点調節である。例えば、まず、システム制御部１３は、フォーカシングレンズ駆動部６を介して撮影光学系１のフォーカシングレンズを複数ステップ駆動して複数枚の画像を得る。複数枚の画像にいわゆるコントラスト検出処理を施して、評価値が最大となるフォーカシングレンズの位置を決定する。なお、本ステップ〜Ｓ３０８に用いる画像には、１つのマイクロレンズに対応する複数の画素のうちの１つ画素（例えば５×５の画素のうちの中心の画素）の出力のみを用いた画像を用いればよい。また、本ステップのＡＦの方式には、コントラスト検出を用いるものの他に専用の距離計測センサを用いた方式を適用してもよい。

Ｓ３０５において、システム制御部１３は、動体検出部１６を用いて、画像内の動体を検出する。動体検出の方法は、連続するフレーム間で動きベクトルを算出する方法など公知の方法を用いることができ、本実施形態では画像内の動体と当該動体のフレーム内の移動速度が検出できればどのような方法であってもよい。システム制御部１３は、フレーム内において検出した動体の個数と各動体の移動速度とをＲＡＭ１４に一時的に記憶させる。

Ｓ３０６において、システム制御部１３は、画像内における最速の動体の検出を完了したかを判定する。システム制御部１３は、例えば画像内で検出された、動きベクトルの所定の特徴を示す領域ごとに順次動体の検出を行う場合であれば、全ての領域について動体の検出を完了した場合、最速の動体の検出を完了したと判定して処理をＳ３０７に進める。一方、全ての領域について動体の検出を行っていない場合、処理を再びＳ３０５に処理を戻す。なお、システム制御部１３は、Ｓ３０５において記憶させた動体の各速度のうち最も速い動体を最速の動体として検出する。

Ｓ３０７において、システム制御部１３は、フォーカシングレンズ駆動部６を介して撮影光学系１のフォーカシングレンズを駆動する。例えば、システム制御部１３は、上述のコントラスト検出結果と動体の検出結果とを照合して、最速の動体に合焦するようにフォーカシングレンズを駆動する。このように制御することにより、動体に合焦した状態で撮影された画像信号、すなわち動体がマイクロレンズアレイ２の頂点に結像された状態で撮影された画像信号が得られる。この画像信号は、動体の固体撮像素子３への投影面積が小さいため、ローリングシャッター歪みの影響が低減された画像信号となる。

Ｓ３０８において、システム制御部１３は、被写体検出部１７を用いて画像内の主要被写体を検出する（主要被写体検出処理）。被写体検出部１７は、例えば画像の中心付近に主要被写体が存在することを仮定して評価値に重み付けする中央重点方式や、人物と判断した被写体の評価値を重視する被写体認識の方式を用いることができる。

なお、Ｓ３０７の処理によって動体を優先してフォーカシングレンズを駆動しているため、当該フォーカシングレンズの位置が主要被写体に合焦する位置であるとは限らない。ユーザが注目する被写体は、動体よりもむしろ主要被写体であることが想定されるため、動体に合焦させて得られる画像信号に基づいて、主要被写体に合焦させた画像をリフォーカス可能である必要がある。

そこで、システム制御部１３は、主要被写体に合焦させるリフォーカス処理が可能であるかを判定する。リフォーカス処理の可能な結像距離範囲は、フォーカシングレンズの実際の位置±ｄｍａｘで表される範囲に制限される。このため、主要被写体に合焦させるリフォーカス処理が可能であり、かつ、動体のぼけが最小になるような位置にフォーカシングレンズを制御する必要がある。なお、ｄｍａｘは式４で与えられる。

ここで、Δθは光線の角度分解能、Ｎはマイクロレンズアレイ２の１つのマイクロレンズに対応する固体撮像素子３の画素分割数、Δｘは固体撮像素子３の画素ピッチである。

システム制御部１３は、例えば、専用の距離計測センサ（不図示）を用いて、Ｓ３０８において検出された主要被写体までの距離情報を取得する。そして、システム制御部１３は、取得した結像距離が、Ｓ３０７で決定したフォーカシングレンズ駆動位置±ｄｍａｘの範囲内であるか否か（すなわち主要被写体に合焦させるリフォーカス処理が可能か否か）を判定する。

システム制御部１３は、結像距離が上記範囲の範囲外であると判定した場合、処理をＳ３０７に戻してフォーカシングレンズ駆動にフィードバックをかけ、主要被写体がリフォーカス範囲に収まるようにフォーカシングレンズを再度駆動する。例えば、フォーカシングレンズを現在の位置から所定の距離だけ移動させて、再度、主要被写体に合焦させるリフォーカス処理が可能か否かを判定する処理を繰り返す。一方、システム制御部１３は、結像距離が上記範囲の範囲内であると判定した場合、Ｓ３１０に処理を進める。

Ｓ３１０において、システム制御部１３は、信号処理部７及びリフォーカス距離設定部１８を制御して、Ｓ３０７において設定されたフォーカシングレンズの位置で得られた画像信号を用いてリフォーカス処理を行う。リフォーカス処理の詳細については後述する。そして、Ｓ３１１において、システム制御部１３はリフォーカス処理によって生成された画像を記録し、本処理に係る一連の動作を終了する。

（リフォーカス処理の詳細）
リフォーカス処理は、光線の角度情報を考慮して画素の情報を再構成及び再配置する処理である。まず、図４は、上述した処理によって動体である被写体Ａ２がマイクロレンズアレイ２の頂点上に結像された状態を示している。図１で示した例と異なり、この時点では主要被写体Ａ１には合焦していない。被写体Ａ１の１点から出射した光線は、撮影光学系１の絞り領域ｐ１〜ｐ４の分割数（便宜上４つの出射角度範囲とする）に分割されて、固体撮像素子３で光電変換される。すなわち、合焦していない被写体Ａ１から出射した光線は、固体撮像素子３の画素上で符号ｐ１１〜ｐ１４を付した広い領域で受光される。

結像距離ｂ２の位置の状態で受光した信号を用いて、結像距離ｂ１の位置の画像情報にリフォーカスする処理とは、上述した式１において符号ｐ１１〜ｐ１４の画素値を平均化して結像距離ｂ１における画素値を再構成することである。すなわち、結像距離ｂ２で受光した４つの光線の情報から結像距離ｂ１上にある光線の交差点を１つの点として再現することに相当する。換言すれば、被写体Ａ１の焦点ぼけを取り除くことに対応する。

一方、動体であるために合焦するように結像された被写体Ａ２の１点から出射した光線は、被写体Ａ１と同様４つの出射角度範囲に分割されて、固体撮像素子３の画素ｐ２１〜ｐ２４で光電変換される。被写体Ａ２から出射した光線は、マイクロレンズアレイ２のあるマイクロレンズの頂点に結像され、当該マイクロレンズの直下に存在する狭い領域で受光される。このため、固体撮像素子３の画素上で被写体Ａ２の像は、合焦していない状態で撮影された場合と比較して小さなローリングシャッター歪みで走査することができる。

被写体Ａ２について、結像距離ｂ２の位置の状態で受光した信号を用いて、結像距離ｂ１の位置の画像情報にリフォーカスする処理とは、符号ｐ２１〜ｐ２４の画素順を逆転して再配置することである。すなわち、符号ｐ２１〜ｐ２４に対応する光線が結像距離ｂ１を通過した平面を再現することに相当する。換言すれば、被写体Ａ２の焦点ぼけ像を作り上げることに対応する。なお、焦点ぼけ像を得るうえで、マイクロレンズアレイ２のピッチよりも細かなピッチを持つ固体撮像素子３が必要であることは、以上の説明でも理解される。

結像距離ｂ２から仮想の結像距離ｂ１＝αｂ２へのリフォーカスを行う場合において、いかなる量でこれらの画素を再構成するか、に関する一般式は式５で与えられる。すなわち、撮影光学系１の絞り面の２次元座標を（ｕ，ｖ）とすると、仮想的な結像面αｂ２の２次元座標（ｓ，ｔ）に記録される情報Ｅαｂ２（ｓ，ｔ）は、

と規定される。なお、αをリフォーカス係数と呼ぶ場合がある。

式５は、図５を参照して説明することができる。図５は、絞り領域の座標ｕを通過した光線のうち、仮想のリフォーカス距離ｂ１を含む平面上で座標ｓを構成する光線が、結像距離ｂ２のどこに存在するか、を示している。三角形の相似原理により、結像距離ｂ２を含む平面上において対応する座標は、ｕ＋（ｓ−ｕ）／αであるため、式１のｓをこの値で置き換え、同様にｔもｖ＋（ｔ−ｖ）／αで置き換えればよい。従って、式５は、式１の変換式で説明される。

（本実施形態に係る撮影処理の効果）
図６及び図７を参照して、上述した撮影処理の効果について説明する。図６（ａ）は撮影時のフォーカシングレンズの位置で得られる（すなわちリフォーカス処理前の）撮影画像を、図６（ｂ）はリフォーカス処理後の生成画像を、それぞれ模式的に示している。リフォーカス処理前に動体である被写体Ａ２に合焦させているため、動体である被写体Ａ２に対するぼけによるローリングシャッター歪みを抑制することができている。

一方、リフォーカス処理後は、主要被写体である被写体Ａ１に合焦させているため、動体である被写体Ａ２は焦点ぼけ状態となっているが、リフォーカス処理前のローリングシャッター歪みが抑制された状態で再生することができる。

なお、上述した本実施形態に係る撮影処理を適用しない場合の例を図７に模式的に示している。図７（ａ）は図１で上述した主要被写体Ａ１に合焦させた状態で得られる撮影画像を、図７（ｂ）は仮に動体である被写体Ａ２にリフォーカスした場合の生成画像をそれぞれ模式的に示している。

式５において想定するリフォーカス処理は、絞り形状を反映し円や正多角形などの等方的な範囲から画素を再構成するものである。このため、例えばリフォーカス後の点Ｘ（ｓ０，ｔ０）の再構成に用いる画素の範囲はリフォーカス処理前のＸｃｉｒ（ｓ０，ｔ０）の領域である。したがって、Ｘｃｉｒ（ｓ０，ｔ０）に含まれる被写体Ａ２の水平方向に伸びる輪郭は、光学的な焦点ぼけによる影響しか受けていないため、リフォーカス処理後において水平線として再構成される。

一方、Ｘｃｉｒ（ｓ０，ｔ０）に含まれる本来の垂直線は、光学的な焦点ぼけにローリングシャッター歪みを加えた被写体の移動方向への傾きを持って記録されている。このため、本来の垂直線を構成する画素の一部がＸｃｉｒ（ｓ０，ｔ０）から外れて明確でない輪郭として再構成される。すなわち、ローリングシャッター歪みの影響が大きくなれば、あたかも垂直方向と水平方向とでぼけの解消効果が異なっているかのようになる。

このように、被写体Ａ２に合焦させた画像を得たい場合、図６（ａ）の撮影画像を使用すれば、図７（ｂ）と比べて垂直および水平ともに輪郭のぼけの低減した動体が得られることが分かる。

なお、上述した本実施形態では、ＬＦカメラの撮影動作全体として図３に示した一連の動作を説明した。しかし、上記一連の動作はＬＦカメラの１つのモードとして存在するものであってもよい。例えばメカニカルシャッターを併用することが可能なシステムにおいても、時間当たりのコマ数が多い動画モード等では当該メカニカルシャッターの動作速度上の制約から全てのコマに対して使用することが困難である。このため、ＣＭＯＳイメージセンサ特有のローリングシャッター歪みを原理的に回避することができない。そこで、メカニカルシャッターを併用しない動画等を、ＬＦカメラにおける上記１つのモードとして本実施形態に係る処理を適用すれば、動体の歪みを抑制した、常に主要被写体にリフォーカスした動画を再生し、違和感の少ない画像を提示することができる。

また、動体を優先して記録した画像信号に、フォーカシングレンズを駆動して撮影したこと（動体に合焦した状態で撮影されたこと）を示すフラグを付して記録することができる。このようにすれば、処理時間等の制約から撮像装置内におけるリフォーカス処理が困難なシステムで撮影する場合であっても、撮影された画像信号を読み込んだ外部装置が主要被写体に合焦させるリフォーカス処理が必要であることを把握できる。すなわち、撮影された画像信号を外部装置が再生する場合にも、デフォルトとして主要被写体に合焦させたリフォーカス画像を再生して、違和感のない画像を提示することができる。

また、本実施形態では最速の動体に応じてフォーカシングレンズを制御する例について説明した。しかし、動体の速度以外に、動体のローリングシャッター歪みが大きくなる他の状況（例えば動体が撮影画角に占める面積が大きい場合）を考慮して、当該他の状況を満たす動体にフォーカシングレンズを制御してもよい。また、移動速度が同じ動体が存在する場合、動体の移動方向ベクトルによって歪みの大きさが変化する態様を判定し、よりローリングシャッター歪みの影響が大きくなる動体にフォーカシングレンズを制御するようにしてもよい。この場合、例えばＳ３０６において動体の速度を求める際に、固体撮像素子３の副走査方向と平行な移動ベクトルに重み付けして重視するなどの方法が考えられる。

上述した実施形態では、Ｓ３０８において主要被写体を検出する構成を例に説明した。しかし、例えば、ユーザが不図示のタッチパネル等の操作部を介して被写体を特定した場合に、システム制御部１３は指定された主要被写体に対してＳ３０９以降の処理を行ってもよい。このようにすれば、より容易にユーザの所望の被写体に合焦させた画像を生成することができる。

以上説明したように、本実施形態では、入射する光線の角度情報を取得可能なＬＦカメラにおいて、動体を検出し、焦点を検出した動体に合わせるようにフォーカシングレンズを制御するようにした。また、動体に焦点を合わせて撮影した画像信号を用いてリフォーカス処理を行って、別途検出した主要被写体に合焦させた画像を出力するようにした。このようにすることで、動体に発生するローリングシャッター歪みを低減し、当該動体に合焦させるリフォーカス処理を行った際の歪みを低減することができる。換言すれば、ローリングシャッター歪みの影響を低減して、リフォーカス処理の精度を向上させることが可能になる。

（実施形態２）
次に実施形態２について説明する。実施形態１では、最速の動体を検出した場合に当該動体に合焦するようにフォーカシングレンズを駆動させた。実施形態２では、動体の速度と検出された動体の画角に占めるサイズとを複合的に考慮して、ローリングシャッター歪みが顕著になると想定される動体に優先的にフォーカシングレンズを駆動する点が異なる。本実施形態のデジタルカメラ１００は、実施形態１と実質的に同一構成であり、撮影処理における上述した点のみが異なる。このため、同一の構成及びステップについては同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

（本実施形態の撮像処理に係る一連の動作）
図８を参照して、本実施形態の撮像処理に係る一連の動作について説明する。なお、本一連の動作は、実施形態１と同様、例えば不図示の操作部に対するユーザからの操作が検出された場合に開始される。また、システム制御部１３がＲＯＭ１５に記憶されたプログラムをＲＡＭ１４の作業用領域に展開し、実行することにより実現される。

はじめに、システム制御部１３は、実施形態１と同様にＳ３０１〜Ｓ３０６の処理を行う。

Ｓ８０１において、システム制御部１３は、Ｓ３０５において検出された最速の動体について、当該動体の画角に占めるサイズが、ローリングシャッター歪みが顕著に現われるサイズであるかを判定する。例えば、システム制御部１３は、処理対象の動体のサイズが所定の閾値（例えば画面垂直サイズの１／４等）を超えた場合、当該動体のサイズが、ローリングシャッター歪みが顕著に現われるサイズであると判定して、処理をＳ３０７に進める。一方、処理対象の動体のサイズが上記閾値以下である場合、ローリングシャッター歪みが顕著に現われるサイズでないと判定して、Ｓ８０２に処理を進める。

Ｓ８０２において、システム制御部１３は、Ｓ８０１において判定された動体の次に高速な動体があるかを判定する。例えば、システム制御部１３は、Ｓ３０５においてＲＡＭ１４に記憶させた各動体の移動速度を参照して、次に高速な動体がある場合、処理を再び処理をＳ８０１に戻して次に高速な動体のサイズを判定する。すなわち、高速な動体であってローリングシャッター歪みが顕著となるようなサイズの動体を特定するように処理を繰り返す。一方、次に高速な動体がない場合、処理をＳ８０３に進める。なお、条件に適合する動体がない場合には、上述のサイズの閾値を下げてＳ８０１とＳ８０２の処理を繰り返してもよい。Ｓ８０３において、システム制御部１３は、上述のサイズの閾値を超える動体が無いことを示すフラグ（例えば２値）を設定する。

Ｓ８０４において、システム制御部１３は、フォーカシングレンズ駆動部６を介して撮影光学系１のフォーカシングレンズを駆動する。例えば、システム制御部１３は、Ｓ８０３においてフラグが設定されていない場合（すなわち、サイズの閾値を超える動体がある）、ローリングシャッター歪みが顕著となるサイズの被写体に合焦するように、フォーカシングレンズを駆動する。このように制御することにより、ローリングシャッター歪みの影響が大きくなる動体に合焦させて撮影された画像信号を得ることができる。すなわち、ローリングシャッター歪みの影響を低減した画像信号を得ることができる。一方、フラグが設定されている場合（サイズの閾値を超える動体がない）、サイズは小さいものの最速である動体に合焦するように、フォーカシングレンズを駆動する。

さらに、システム制御部１３は実施形態１と同様にＳ３０８〜Ｓ３１１の処理を行って、本処理に係る一連の動作を終了する。

以上説明したように、本実施形態では、動体の速度と検出された動体の画角に占めるサイズとを複合的に考慮して、ローリングシャッター歪みが顕著になると想定される動体に優先的にフォーカシングレンズを駆動するようにした。また、この動体に合焦させて撮影した画像信号を用いてリフォーカス処理を行って、別途検出した主要被写体に合焦させた画像を出力するようにした。このようにすることで、ローリングシャッター歪みによる影響が大きくなる動体から優先的にリフォーカス処理を行った際の歪みを低減することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１…撮影光学系、２…マイクロレンズアレイ、３…固体撮像素子、６…フォーカシングレンズ駆動部、１３…システム制御部、

Claims (12)

1. ２次元状に配列された複数の画素を有し、入射する光線の角度情報を含む画像信号を取得可能な撮像素子と、
   被写体に撮影光学系の焦点を合わせるための焦点調節手段と、
   前記撮像素子の画素の信号を、その画素の位置に応じて異なるタイミングで読み出すことが可能な読み出し手段と、
   前記読み出し手段が、前記画素の信号を、その画素の位置に応じて異なるタイミングで読み出す場合であって、且つ撮影対象である被写体に動体が存在する場合には、前記撮影光学系の焦点を前記動体に合わせるように前記焦点調節手段を制御する制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記撮影光学系の焦点を前記動体に合わせて撮影した前記画像信号に基づいて、前記動体と異なる被写体に合焦させたリフォーカス画像を生成するリフォーカス手段を更に備える、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子から得られる画像信号に基づいて、前記動体を検出する動体検出手段を更に備える、
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記動体検出手段は、移動する速度の速い被写体を優先して前記動体を検出する、
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記動体検出手段は、移動する被写体の画角に占める大きさが所定の閾値を越えるかに更に基づいて、前記動体を検出する、
   ことを特徴とする請求項４に記載の撮像装置。
6. 被写体のうち、前記動体と異なる被写体であって主要な被写体である主要被写体を検出する主要被写体検出手段を更に備え、
   前記リフォーカス手段は、検出された前記主要被写体に合焦するように、前記リフォーカス画像を生成する、
   ことを特徴とする請求項２から５のいずれか１項に記載の撮像装置。
7. 前記撮影光学系の焦点を前記動体に合わせた場合に、前記動体と異なる被写体に合焦させたリフォーカス画像を生成可能であるかを判定する判定手段を更に有し、
   前記焦点調節手段は、前記判定手段が前記動体と異なる被写体に合焦させたリフォーカス画像を生成可能でないと判定した場合、前記撮影光学系の焦点を前記動体に合わせた位置から変更する、
   ことを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記焦点調節手段は、前記動体と異なる被写体に合焦させたリフォーカス画像を生成可能な範囲で前記動体のぼけが小さくなるように、前記撮影光学系の焦点を変更する、
   ことを特徴とする請求項７に記載の撮像装置。
9. 前記撮像素子は、ＣＭＯＳイメージセンサである、
   ことを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
10. 前記撮像素子は、マイクロレンズアレイを備え、それぞれのマイクロレンズが複数の前記画素に対応するように構成される、
    ことを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
11. ２次元状に配列された複数の画素を有し、入射する光線の角度情報を含む画像信号を取得可能な撮像素子を備える撮像装置の制御方法であって、
    被写体に撮影光学系の焦点を合わせるための焦点調節工程と、
    前記撮像素子の画素の信号を、その画素の位置に応じて異なるタイミングで読み出すことが可能な読み出し工程と、
    前記読み出し工程において、前記画素の信号を、その画素の位置に応じて異なるタイミングで読み出す場合であって、且つ撮影対象である被写体に動体が存在する場合には、前記撮影光学系の焦点を前記動体に合わせるように焦点調節手段を制御する制御工程と、
    を備えることを特徴とする撮像装置の制御方法。
12. コンピュータに、請求項１１に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。

Images