JP5482427B2 - 撮像装置、手ブレ補正方法、プログラム - Google Patents

Description

本発明は、デジタルスチルカメラ等の撮像装置に用いて好適な手ブレ補正技術に関するものである。

従来、デジタルスチルカメラ（以下、単にデジタルカメラという。）において、例えば暗所撮影などの長時間露光時の手ブレを補正するための方法として画像信号処理技術を用いたものが知られている。

例えば下記特許文献１には、撮影時の露光時間内に時分割で複数枚の画像を取得し、画像について時間的に１つ前の画像に対する動きベクトルを検出し、検出した動きベクトルに従い、各画像間を、各画像間の位置ずれを打ち消すように位置合わせして加算する方法が記載されている。

上記の方法によれば、撮影時の手ブレに起因した被写体ブレが低減された撮影画像を得ることができる。以下、上記の手ブレ補正方法を連写合成法と呼ぶこととする。

特開平１１−２５２４４５号公報

しかしながら、上記の連写合成法においては、画像毎の露光時間、つまり分割された露光時間が短いため、被写体の光量が十分に無い場合に分割された露光時間に撮像素子から読み出された撮像信号に含まれるノイズの比率が多くなる。そのため、撮影画像における被写体ブレが低減できる反面、通常の一括露光による撮影時における撮像信号に比べノイズの総量が増えＳ／Ｎ比が低下することにより、特に暗い部分の画質が低下する。

また、暗い部分の画質を維持するためには、時分割で取得する画像の枚数を減らし、分割された露光時間を長くすればよいが、それでは各々の画像に被写体ブレが生じてしまう。さらに、被写体ブレが生じた場合には、連写した複数の画像を加算（合成）する際の位置合わせ精度も低下する。したがって、十分な手ブレ補正を行うことができなくなるという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、暗い部分の撮影画像の画質向上と、高精度の手ブレ補正とを同時に実現することを目的とする。

前記課題を解決するため、請求項１記載の発明に係る撮像装置にあっては、被写体を撮像する撮像手段と、前記撮像手段に、撮影時の同一露光時間内に、第１の色成分からなる第１の色成分画像を分割露光により複数回撮像させ、かつ前記第１の色成分以外の他の色成分からなる第２の色成分画像を一括露光により撮像させる撮像制御手段と、前記撮像手段により分割露光で撮像された複数の第１の色成分画像の各々に存在する撮像時の手ブレによる被写体ブレを、点拡がり関数を推定して用いる画像復元演算によりそれぞれ補正する第１の補正手段と、前記第１の補正手段による補正後の複数の第１の色成分画像を対象として、分割露光により相前後して撮像された第１の色成分画像間における被写体の変位を示す変位情報を取得する変位情報取得手段と、前記変位情報取得手段により取得された変位情報に基づいて、前記第１の補正手段により補正された複数の第１の色成分画像を位置合わせして加算することにより加算画像を生成する画像加算手段と、前記変位情報取得手段により取得された変位情報と、前記第１の補正手段の画像復元演算による補正に際し複数の第１の色成分画像毎に推定された点拡がり関数とに基づき、前記撮影時の第２の色成分画像の露光時間内における撮像時の手ブレによる被写体ブレの軌跡を表す新たな点拡がり関数を演算する演算手段と、前記演算手段により演算された新たな点拡がり関数を用いた画像復元演算によって、前記撮像手段により一括露光で撮像された第２の色成分画像に存在する撮像時の手ブレによる被写体ブレを補正する第２の補正手段と、前記画像加算手段により生成された加算画像と、前記第２の補正手段による補正後の第２の色成分画像とを合成する合成手段とを備えたことを特徴とする。

また、請求項２記載の発明に係る撮像装置にあっては、被写体の色情報を取得する色情報取得手段と、前記色情報取得手段により取得された色情報に基づき前記第１の色成分に特定の色成分を選択的に設定する設定手段とをさらに備え、前記撮像制御手段は、前記撮像手段に、撮影時の同一露光時間内に、前記設定手段により設定された第１の色成分画像のみを分割露光により複数回撮像させることを特徴とする。

また、請求項３記載の発明に係る撮像装置にあっては、前記色情報取得手段により取得された色情報に基づき撮影環境下における光源の種類を判断する判断手段をさらに備え、前記設定手段は、前記判断手段により判断された光源の種類に対応して予め決められている特定の色成分を前記第１の色成分に設定することを特徴とする。

また、請求項４記載の発明に係る撮像装置にあっては、前記設定手段は、前記色情報取得手段により取得された色情報に基づき、被写体の色分布において支配的であることを設定条件として、前記第１の色成分に特定の色成分を選択的に設定することを特徴とする。

また、請求項５記載の発明に係る撮像装置にあっては、前記撮像手段は単板式の固体撮像素子であり、前記撮像制御手段は、撮影時の同一露光時間内に、前記固体撮像素子において前記第１の色成分が割り当てられている一群の光電変換素子に分割露光によって前記第１の色成分画像を複数回撮像させ、かつ前記撮像手段において第１の色成分以外の他の色成分が割り当てられている一群の光電変換素子に一括露光によって前記第２の色成分画像を撮像させることを特徴とする。

また、請求項６記載の発明に係る手ブレ補正方法にあっては、被写体を撮像する撮像手段に、撮影時の同一露光時間内に、第１の色成分からなる第１の色成分画像を分割露光により複数回撮像させ、かつ前記第１の色成分以外の他の色成分からなる第２の色成分画像を一括露光により撮像させる工程と、前記撮像手段に分割露光で撮像させた複数の第１の色成分画像の各々に存在する撮像時の手ブレによる被写体ブレを、点拡がり関数を推定して用いる画像復元演算によりそれぞれ補正する工程と、補正後の複数の第１の色成分画像を対象として、分割露光により相前後して撮像された第１の色成分画像間における被写体の変位を示す変位情報を取得する工程と、取得した分割露光時間毎の変位情報に基づいて、前記画像復元演算による補正後の複数の第１の色成分画像を位置合わせして加算することにより加算画像を生成する工程と、前記分割露光時間毎の変位情報と、前記画像復元演算による補正に際し複数の第１の色成分画像毎に推定した点拡がり関数とに基づき、第２の色成分画像の露光時間内における撮像時の手ブレによる被写体ブレの軌跡を表す新たな点拡がり関数を演算する工程と、演算した新たな点拡がり関数を用いた画像復元演算によって、前記撮像手段により一括露光で撮像された第２の色成分画像に存在する撮像時の手ブレによる被写体ブレを補正する工程と、前記加算画像と前記画像復元演算による補正後の第２の色成分画像とを結合する工程とを含むことを特徴とする。

また、請求項７記載の発明に係るプログラムにあっては、撮像装置が有するコンピュータに、被写体を撮像する撮像手段に、撮影時の同一露光時間内に、第１の色成分からなる第１の色成分画像を分割露光により複数回撮像させ、かつ前記第１の色成分以外の他の色成分からなる第２の色成分画像を一括露光により撮像させる処理と、前記撮像手段に分割露光で撮像させた複数の第１の色成分画像の各々に存在する撮像時の手ブレによる被写体ブレを、点拡がり関数を推定して用いる画像復元演算によりそれぞれ補正する処理と、補正後の複数の第１の色成分画像を対象として、分割露光により相前後して撮像された第１の色成分画像間における被写体の変位を示す変位情報を取得する処理と、取得した分割露光時間毎の変位情報に基づいて、前記画像復元演算による補正後の複数の第１の色成分画像を位置合わせして加算することにより加算画像を生成する処理と、前記分割露光時間毎の変位情報と、前記画像復元演算による補正に際し複数の第１の色成分画像毎に推定した点拡がり関数とに基づき、第２の色成分画像の露光時間内における撮像時の手ブレによる被写体ブレの軌跡を表す新たな点拡がり関数を演算する処理と、演算した新たな点拡がり関数を用いた画像復元演算によって、前記撮像手段により一括露光で撮像された第２の色成分画像に存在する撮像時の手ブレによる被写体ブレを補正する処理と、前記加算画像と前記画像復元演算による補正後の第２の色成分画像とを結合する処理とを実行させることを特徴とする。

本発明によれば、暗い部分の画質向上と、高精度の手ブレ補正とを同時に実現することが可能となる。

本発明に係るデジタルカメラの電気的構成を示すブロック図である。 手ブレ補正モードが設定されているときのＣＰＵの処理内容を示すフローチャートである。 ＣＰＵによる撮像処理の内容を示したフローチャートである。 ＣＰＵによる画像再構成処理の内容を示したフローチャートである。 （ａ）は分割色画素データ毎に推定したＰＳＦを表す概念図、（ｂ）は、分割露光時間毎の動きベクトルを表す概念図、（ｃ）はフレーム全体のＰＳＦを表す概念図である。 画像再構成処理の内容を示す説明図である。

以下、本発明の実施形態について説明する。図１は、本発明に係るデジタルカメラ１の電気的構成の概略を示すブロック図である。

デジタルカメラ１は、レンズブロック２と撮像素子３とを有している。レンズブロック２は、フォーカスレンズを含むレンズ群と、絞りと、レンズ群を駆動するレンズモータ、絞りを開閉駆動するアクチュエータを含み、レンズモータやアクチュエータが光学系駆動部４によって駆動されることにより、焦点位置や撮像素子３の受光量が調整される。

撮像素子３は、感光面にベイヤー配列のカラーフィルタが設けられたＣＭＯＳ（Complementary Meta1 0xide Semiconductor）センサである。

つまり撮像素子３は、必要に応じてＲ（Red）、Ｇ（Green）、Ｂ（Blue）の３原色の各色成分の画素信号を色成分毎に独立して読み出すことができる構成を有する固体撮像素子である。同時に、撮像素子３は、任意の色成分が割り当てられている（特定の色のカラーフィルタが設けられている）一群の光電変換素子（以下、画素という。）を、他の色成分が割り当てられている画素とは独立して駆動可能な構成を有する固体撮像素子である。

撮像素子３は、駆動回路５によって駆動され被写体の光学像を光電変換し、変換後の光学像に応じた電気信号つまり撮像信号をＡＦＥ（Analog Front End）６へ出力する。

ＡＦＥ６は、ＣＤＳ（Correlated Double Sampling）回路や、ＰＧＡ（Programmable Gain Amp）、ＡＤＣ（Analog-to-Digital Converter）等によって構成される。ＡＦＥ６は、撮像素子３が出力した撮像信号に所定のアナログ処理を行い、アナログ処理後の撮像信号をデジタル信号に変換した後、変換後の画像データを画像処理部７へ出力する。

画像処理部７は、ＡＦＥ６から入力した画素データを一時記録するバッファ用のメモリ７ａを有している。メモリ７ａに一時記録される画素データは、各画素がカラーフィルタの色配列に応じた色成分を有するベイヤーデータである。

また、上記メモリ７ａには、必要に応じてＲＧＢの色成分毎の画像データも一時記録される。メモリ７ａに一時記録された色成分毎の画像データは、ＣＰＵ８によってベイヤーデータとして結合された後、再びメモリ７ａに一時記録される。なお、メモリ７ａには複数フレーム分の画素データを記憶可能なメモリ容量が確保されている。

画像処理部７は、メモリ７ａに一時記憶された画像データ（ベイヤーデータ）に対し、撮像素子３によって撮像された画像の記録に向けた種々の画像処理を行う。画像処理部７が行う画像処理は、ガンマ補正や、ホワイトバランス調整、画素毎のＲ，Ｇ，Ｂの色成分データの生成、生成したＲＧＢデータからＹＵＶデータを生成するＹＵＶ変換等である。また、画像処理部７は、生成した１フレーム分のＹＵＶデータを、撮影待機状態にある間にはＣＰＵ８へ供給し、かつ撮影時にはＣＯＤＥＣ（Coder & Decoder：符号器／復号器）９へ供給する。

撮影待機状態においてＣＰＵ８へ供給されたＹＵＶデータは表示部１０へ供給され、表示部１０においてライブビュー画像として表示される。表示部１０は、ライブビュー画像等を表示する液晶表示器と、液晶表示器を駆動する駆動回路等から構成される。

ＣＯＤＥＣ９は、撮影時に画像処理部７から供給された画像データ（ＹＵＶデータ）をＪＰＥＧ方式による符号化し、また、符号化されている任意の画像データを復号する。図示しないが、ＣＯＤＥＣ９は、画像データの符号化、及び復号化を行うための直交変換回路、量子化回路、動き検出回路、順方向予測回路、符号化回路、復号化回路、逆直交変換回路、フレームメモリ等から構成される。

撮影時にＣＯＤＥＣ９においてＪＰＥＧ方式で圧縮符号化された画像データは、ＣＰＵ８によって日付情報や画像サイズ等の種々の撮影情報を付加された後、静止画データ（静止画ファイル）として画像メモリ１１に記録される。画像メモリ１１は、例えばカメラ本体に内蔵されたフラッシュメモリや、カメラ本体に着脱自在な各種のメモリカードである。

画像メモリ１１に記録された静止画データは、再生時においてＣＰＵ８により適宜読み出され、ＣＯＤＥＣ９において復号された後、表示部１０へ送られて静止画像として再生される。

また、ＣＰＵ８には、操作部１２、ＲＡＭ（Random Access memory）１３、プログラムメモリ１４が接続されている。ＲＡＭ１３はＣＰＵ８のワーキングメモリである。

操作部１２は、電源キーや、シャッターキー、デジタルカメラ１の基本の動作モードである撮影モードと、記録画像の表示用の再生モードとの切り替えを行うモード切替キー、撮影モードの下位モードの設定等の種々の設定作業に使用されるＭＥＮＵキー、方向キー等の図示しない複数キーを含む。操作部１２における各キーはＣＰＵ８によって操作状態を随時スキャンされる。

シャッターキーは、半押し操作と全押し操作との２段階操作が可能な所謂ハーフシャッター機能を有する構成である。シャッターキーの半押し操作は、ＡＥ（Auto Exposure）動作、及びＡＦ（Auto Focus）動作の開始指示等に使用され、シャッターキーの全押し操作は撮影指示に使用される。

プログラムメモリ１４は、例えば記憶データが書き換え可能なＥＥＰＲＯＭ（Electric Erasable Programmable Read Only Memory）であるフラッシュメモリである。プログラムメモリ１４には、ＣＰＵ８にデジタルカメラ１の全体の動作を制御させるための制御プログラムや各種のデータが記憶されている。

プログラムメモリ１４に記憶されている制御プログラムには、ＣＰＵ８にＡＥ制御、ＡＦ制御、ＡＷＢ（Auto white balance）制御を行わせるためのプログラムが含まれる。また、プログラムメモリ１４に記憶されている各種のデータには、撮影時の適正な露出値に対応する絞り値とシャッタースピードとの組み合わせを示すプログラム線図を構成するプログラムＡＥデータ等が含まれる。

ＣＰＵ８は、プログラムメモリ１４に記憶されている制御プログラムに従いＲＡＭ１３を作業メモリとして動作することにより、デジタルカメラ１の各部を制御する。また、ＣＰＵ８は、後述する手ブレ補正モードが設定されているときには、本発明の撮像制御手段、第１の補正手段、変位情報取得手段、画像加算手段、演算手段、第２の補正手段、合成手段、色情報取得手段、設定手段、判断手段として機能する。

次に、以上の構成からなるデジタルカメラ１の本発明に係る動作について説明する。デジタルカメラ１には、撮影モードの下位モードとして手ブレ補正モードが設けられている。手ブレ補正モードは、撮影時の手ブレに起因した撮影画像における被写体ブレを低減することを目的としてデジタルカメラ１に予め用意されている撮影モードである。

デジタルカメラ１においては、撮影モードが設定されている間、ＣＰＵ８が、所定のフレームレートで撮像素子３を駆動し、撮像素子３によって撮像された被写体の画像がライブビュー画像として表示部１０に逐次表示させる。

図２は、手ブレ補正モードが設定されているとき、ＣＰＵ８がプログラムメモリ１４に記憶されている制御プログラムに従い実行する処理の内容を示したフローチャートである。

ＣＰＵ８は、表示部１０にスルー画像を表示させている間、ユーザーによるシャッターキーの半押し操作の有無を逐次検出しており、シャッターキーの半押し操作を検出すると（ステップＳ１：ＹＥＳ）、ＡＥ制御によって撮影時における絞り値、及び露光時間（シャッタースピード）を決定する（ステップＳ２）。さらに、ＣＰＵ８は、ＡＦ制御によって主たる被写体へのピント合わせを行う（ステップＳ３）。なお、ＣＰＵ８によるＡＦ制御は公知のコントラスト検出方式である。

次に、ＣＰＵ８はホワイトバランスを測定する（ステップＳ４）。ホワイトバランスの測定は、例えばシャッターキーが半押し操作される直前に撮像素子３によって撮像された被写体の画像データにおける色成分情報（ＲＧＢ値）に基づき、色温度毎の画素数の分布状態を示す分光分布データを取得する処理である。

次に、ＣＰＵ８は、ホワイトバランス測定で取得した分光分布データに基づいて、現在の光源の種類を判断する（ステップＳ５）。ＣＰＵ８が判断する光源の種類は、太陽光、蛍光灯、電球（白熱電球）の３種類のいずれかである。

ＣＰＵ８は、光源の種類が太陽光であると判断した場合には（ステップＳ５：「太陽光」）、分割色を「ＲＧＢ」（全ての色成分）に設定する（ステップＳ６）。また、ＣＰＵ８は、光源の種類が蛍光灯であると判断した場合には（ステップＳ５：「蛍光灯」）、分割色を「Ｇｒｅｅｎ」に設定する（ステップＳ７）。また、ＣＰＵ８は、光源の種類が電球（白熱電球）であると判断した場合には（ステップＳ５：「電球」）、分割色を「Ｒｅｄ」に設定する（ステップＳ８）。

ＣＰＵ８がステップＳ７、及びステップＳ８の処理で設定する分割色は、後述する撮像処理において、撮像素子３から分割露光により画素信号を読み出すべき特定の色成分であり、本発明の第１の色成分に対応するものである。

また、ＣＰＵ８は、ステップＳ５で判断した光源の種類を分割色の設定処理だけでなく、ＡＷＢ制御によるホワイトバランス調整にも使用する。すなわちＣＰＵ８は、ステップＳ５で判断した光源の種類に応じたホワイトバランス調整を画像処理部７に行わせる。

引き続き、ＣＰＵ８は分割条件を算出する（ステップＳ９）。分割条件は、後述する撮像処理に際して、ステップＳ６〜ステップＳ８の処理で設定した分割色の画素信号を分割露光により読み出すときの、分割色が割り当てられている一群の画素（光電変換素子）の分割露光時間（１回の露光時間）である。ステップＳ９の処理においてＣＰＵ８は、ステップＳ２のＡＥ制御で決定した露光時間を予め決められている分割回数（露光回数）で除算することにより分割露光時間を求める。

その後、ＣＰＵ８は、シャッターキーの全押しの有無を検出し、シャッターキーの全押しが検出できなければ（ステップＳ１０：ＮＯ）、さらに、シャッターキーの半押しが解除された否かを検出する（ステップＳ１１）。そして、ＣＰＵ８は、シャッターキーの半押し解除を検出したときには（ステップＳ１１：ＹＥＳ）、ステップＳ１の処理へ戻り、ステップＳ１以降の前述した処理を繰り返す。

一方、ＣＰＵ８は、シャッターキーの全押しを検出すると（ステップＳ１０：ＹＥＳ）、直ちに撮像処理を実行する（ステップＳ１２）。図３は、ＣＰＵ８による撮像処理の内容を示したフローチャートである。

撮像処理においてＣＰＵ８は、先に設定した分割色、及びステップＳ９の処理で算出した分割条件に対応する所定の駆動信号を駆動回路５に生成させて撮像素子３を駆動することによって以下の処理を実行する。

図３に示したようにＣＰＵ８は、分割色が「Ｇｒｅｅｎ」又は「Ｒｅｄ」でなく、「ＲＧＢ」であったときには（ステップＳ１０１：ＮＯ）、撮像素子３の全画素の蓄積電荷（画素電荷）をリセットした後（ステップＳ１０２）、ループカウンタｉが予め決められている分割回数Ｎに達するまでステップＳ１０３〜ステップＳ１０６のループ処理を実行する。

係るループ処理においてＣＰＵ８は、撮像素子３の全画素について、ステップＳ９で算出した分割露光時間の露光と（ステップＳ１０４）、分割露光後における画素データの読み出し、及び画素電荷のリセット（ステップＳ１０５）を繰り返し実行する。

これによりＣＰＵ８は、分割回数Ｎに等しい数の分割色画素データを画像処理部７のメモリ７ａに一時記憶させる。ここでメモリ７ａに一時記憶される分割色画素データはＲＧＢの全ての色成分からなる画素データ、つまりベイヤーデータである。そして、ＣＰＵ８は、上記のループ処理が終了した時点で撮像処理を終了し図２の処理に戻る。

一方、ＣＰＵ８は、分割色が「Ｇｒｅｅｎ」又は「Ｒｅｄ」であったときには（ステップＳ１０１：ＹＥＳ）、撮像素子３の全画素の蓄積電荷（画素電荷）をリセットした後（ステップＳ１０７）、ループカウンタｉが予め決められている分割回数Ｎに達するまで、ステップＳ１０８〜ステップＳ１１１のループ処理を実行する。

係るループ処理においてＣＰＵ８は、撮像素子３の分割色が割り当てられた一群の画素について、ステップＳ９で算出した分割露光時間の露光と（ステップＳ１０９）、分割露光後における画素データの読み出し、及び画素電荷のリセット（ステップＳ１１１）を繰り返し実行する。

また、ＣＰＵ８は、上記のループ処理と並行して、撮像素子３における分割色以外の非分割色が割り当てられた一群の画素について、ＡＥ制御により設定した露光時間の一括露光を行う（図では省略する）。そして、上記のループ処理の終了直後に、 非分割色の画素データの読み出しを行う（ステップＳ１１２）。分割色以外の非分割色が本発明の第２の色成分に対応する色である。

これによりＣＰＵ８は、分割露光により撮像された分割回数Ｎに等しい数の各々が分割色からなる分割色画素データと、一括露光により撮像された各々が非分割色の色成分からなる２種類の非分割色画素データとを画像処理部７のメモリ７ａに一時記憶させる。すなわち分割色が「Ｇｒｅｅｎ」あったときには、Ｇ成分からなる複数の画素データと、Ｒ成分からなる画素データと、Ｂ成分からなる画素データとがメモリ７ａに記憶される。また、分割色が「Ｒｅｄ」あったときには、Ｒ成分からなる複数の画素データと、Ｇ成分からなる画素データと、Ｂ成分からなる画素データとがメモリ７ａに記憶される。

そして、ＣＰＵ８は、２種類の非分割色画素データの読み出し処理が終了した時点で撮像処理を終了し図２の処理に戻る。

以上の撮像処理が終了した後、ＣＰＵ８は、画像処理部７のメモリ７ａに一時記憶した画素データ、すなわち分割回数Ｎに等しい数の分割色画素データ、または分割回数Ｎに等しい数の分割色画素データ、及び２種類の非分割色画素データを対象として画像再構成処理を実行する（ステップＳ１３）。図４は、ＣＰＵ８による画像再構成処理の内容を示したフローチャートである。

なお、分割色を設定する際に、ホワイトバランス測定（ステップＳ４）による光源の種類を判断して設定したが、単に色成分情報（ＲＧＢ値）から、その画像のＲＧＢ値の大きい支配的な色を、分割色としてもよい。

画像再構成処理においてＣＰＵ８は、まず、ステップＳ２０１〜ステップＳ２０４のループ処理を実行する。このループ処理は、ループカウンタｉが予め決められている分割回数Ｎに達するまで行われる処理である。

係るループ処理においてＣＰＵ８は、複数枚の分割色画素データを対象として、まず、ｉ枚目の分割色画素データにブラインド・デコンボリューション処理を実施する（ステップＳ２０２）。なお、処理対象となる複数の分割色画素データは、既説したように、分割色が「ＲＧＢ」であればベイヤーデータであり、また、分割色が「Ｇｒｅｅｎ」又は「Ｒｅｄ」であれば、Ｇ成分、又はＲ成分のみの色成分からなる画素データである。

ブラインド・デコンボリューション処理は、ｉ枚目の分割色画素データに含まれる被写体ブレを表すＰＳＦ（Point Spread Function：点拡がり関数）を推定し、推定したＰＳＦを用いた逆畳み込み演算（ＰＳＦの逆関数による畳み込み演算）、つまりデコンボリューションを行う処理である。係る処理によってＣＰＵ８は、ｉ枚目の分割色画素データに生じている分割露光時間内の手ブレに起因した被写体ブレを低減（補正）する。

ブラインド・デコンボリューション処理の具体的な手法については、任意の手法を適用することができ、例えば、"Removing camera shake from a single photograph", R.Fergus 他, ACM SIGGRAPH, 2006）に開示されている手法を適用することもできる。

そして、ＣＰＵ８は、ブラインド・デコンボリューション処理に際して推定したｉ枚目の分割色画素データに関するＰＳＦをＲＡＭ１３に記憶する（ステップＳ２０３）。図５（ａ）は、ステップＳ２０１〜ステップＳ２０４のループ処理によりＲＡＭ１３に記憶される、分割色画素データ毎のＰＳＦ（１）〜（４）を模式的に表した概念図であり、分割回数が４回のときの例を示した図である。なお、図５（ａ）において黒丸で示した点は、ＰＳＦ（１）〜（４）の原点位置である。

上記のループ処理を終了した後、ＣＰＵ８は、引き続きステップＳ２０５〜ステップＳ２０８の次のループ処理を実行する。係るループ処理は、ループカウンタｉの初期値を「２」とし、ループカウンタｉが予め決められている分割回数Ｎに達するまで行われる処理である。

係るループ処理においてＣＰＵ８は、複数枚の分割色画素データを対象として、まず、（ｉ−１）枚目の分割色画素データとｉ枚目（２枚目以降）の分割色画素データとにおける互いに対応する複数の特徴点を抽出する（ステップＳ２０６）。

次に、ＣＰＵ８は、抽出した特徴点の追跡によって動きベクトルを算出し、ＲＡＭ１３に記憶する（ステップＳ２０７）。動きベクトルは、分割露光により相前後して撮像された分割色画素データ間における被写体の変位、つまり分割露光時間毎の被写体の変位を示す変位情報である。ステップＳ２０７の処理においてＣＰＵ８は、大きな回転は生じないとものと仮定してｉ枚目における分割色画素データ全体の動きベクトルを算出する。

なお、動きベクトルの算出に際しては、特徴点の追跡を所定ブロック単位でも良いし、特徴点近傍ブロック単位でもよい。さらに、動きベクトルの算出に際しては、精度低下が許容されるならば、分割色画素データ毎に単一の特徴点だけを追跡してもよい。特徴点の追跡をブロック単位で行う場合には、動きベクトル、つまり分割色画素データとしての平行移動量をメディアンやＲＡＮＳＡＣなどで推定する。

図５（ｂ）は、上記のループ処理によってＲＡＭ１３に記憶される、分割露光時間毎の動きベクトルＶ（１）〜（３）を模式的に表した概念図であり、図５（ａ）に対応する図である。つまり動きベクトルＶ（１）は１枚目の分割色画素データと２枚目の分割色画素データとの間の平行移動、動きベクトルＶ（２）は２枚目の分割色画素データと３枚目の分割色画素データとの間の平行移動、動きベクトルＶ（３）は３枚目の分割色画素データと４枚目の分割色画素データとの間の平行移動をそれぞれ示すものである。

その後、ＣＰＵ８は、ステップＳ２０５〜ステップＳ２０８のループ処理を終了した後、１枚目の分割色画素データを後述するステップＳ２１２の加算処理のベースデータとして設定し、ＲＡＭ１３に記憶する（ステップＳ２０９）。

引き続き、ＣＰＵ８は、ステップＳ２１０〜ステップＳ２１３の新たなループ処理を実行する。係るループ処理も、ループカウンタｉの初期値を「２」とし、ループカウンタｉが予め決められている分割回数Ｎに達するまで行われる処理である。

係るループ処理においてＣＰＵ８は、まず、ステップＳ２０７で記憶した分割露光時間毎の動きベクトルを用いて、ｉ枚目（２枚目以降）の分割露光画素データをベースデータに重ねるための座標変換を実行する（ステップＳ２１１）。

次に、ＣＰＵ８は、座標変換後のｉ枚目（２枚目以降）の分割色画素データを、ＲＡＭ１３に記憶しているベースデータに加算し、ベースデータを更新する（ステップＳ２１２）。

上記のループ処理によって、複数の分割色画素データが、分割色画素データにより表される被写体の位置ずれを順に補正されて加算され、加算後の加算画像データがＲＡＭ１３に記憶される。

つまり、複数の分割色画素データが、本発明の背景技術として説明した連写合成法と同様の手法によって合成されることによって、露光時間内の手ブレに起因した被写体ブレが低減された新たな分割色画素データが生成される。

そして、ＣＰＵ８は、分割色が「ＲＧＢ」であった場合においては（ステップＳ２１４：ＮＯ）、この時点で画像再構成処理を終了する。

一方、ＣＰＵ８は、分割色が「Ｇｒｅｅｎ」又は「Ｒｅｄ」であった場においては（ステップＳ２１４：ＹＥＳ）、引き続き以下の処理を行う。

まず、ＣＰＵ８は、先にブラインド・デコンボリューション処理に際して推定した分割色画素データ毎のＰＳＦを連結することによって、フレーム全体のＰＳＦを取得する（ステップＳ２１５）。ここで、フレーム全体のＰＳＦは、露光時間内における被写体ブレの軌跡を表す新たなＰＳＦである。

ステップＳ２１５の処理においてＣＰＵ８は、ステップＳ２０７の処理で取得した分割時間毎の動きベクトルに従って、分割色画素データ毎のＰＳＦを平行移動することによって連結する。図５（ｃ）は、新たなＰＳＦ（１−４）を模式的に表した概念図であり、図５（ａ）、図５（ｂ）に対応するとともに、分割時間毎の動きベクトルＶ（１）〜（３）を破線で示した図ある。

そして、フレーム全体のＰＳＦを取得した後、ＣＰＵ８は、非分割色の画像データである２種類の非分割色画素データを対象として、取得したＰＳＦを２次元コンボリューションカーネルとして使用するデコンボリューション処理を実施する（ステップＳ２１６）。係る処理によって、ＣＰＵ８は、２種類の非分割色画素データに生じている露光時間内の手ブレに起因した被写体ブレを低減（補正）する。

しかる後、ＣＰＵ８は、デコンボリューション処理後の２種類の非分割色画素データと、ステップＳ２１０〜ステップＳ２１３のループ処理によってＲＡＭ１３に記憶した分割色の加算画像データとを結合する（ステップＳ２１７）。これによりＣＰＵ８は、ＲＧＢの全ての色成分からなる画像データ、つまりベイヤーデータと同様の画像データをＲＡＭ１３内に生成して画像再構成処理を終了する。

図６は、上述した画像再構成処理の概略を示す説明図であり、分割色が「Ｇｒｅｅｎ」の場合の例を示した図である。図６に示したように分割色が「Ｇｒｅｅｎ」の場合、Ｇ成分のみからなる複数の分割色画素データ５０１は、各々に存在する被写体ブレをブラインド・デコンボリューションにより個別に補正され、補正後における新な複数の分割色画素データ５０１ａが、２枚目以降の分割色画素データについて検出された分割時間毎の動きベクトルに基づき、単一の分割色画素データ５０１ｂに加算される。

他方、Ｇ成分のみからなる複数の分割色画素データ５０１のブラインド・デコンボリューションによる補正に際し個別に推定されたＰＳＦは、分割時間毎の動きベクトルに基づいてフレーム全体のＰＳＦ、つまり露光時間内における被写体ブレの軌跡を表す新たなＰＳＦに統合される。そして、Ｒ成分のみからなる非分割色画素データ５０２と、Ｂ成分のみからなる非分割色画素データ５０３とが、フレーム全体のＰＳＦを用いたデコンボリューションによって、被写体ブレが低減された状態の新たな非分割色画素データ５０２ａ，５０３ａに個別に補正される。

その後、加算後の単一の分割色画素データ５０１ｂと補正後の新たな非分割色画素データ５０２ａ，５０３ａとが、ＲＧＢの全ての色成分からなるベイヤーデータと同様の画素データ５０４として結合される。

そして、ＣＰＵ８は、以上の画像再構成処理の終了とともに図２の処理に戻り、記録用の画像データを生成する（ステップＳ１４）。ステップＳ１４の処理においてＣＰＵ８は、その時点でＲＡＭ１３に記憶しているベイヤーデータと同様の画像データを画像処理部７へ供給し、係る画像データを対象として種々の画像処理を画像処理部７に行わせる。

すなわち、ＣＰＵ８は、分割色が「ＲＧＢ」であった場合には、画像再構成処理におけるステップＳ２１０〜ステップＳ２１３のループ処理で生成した画像データ（加算画像データ）に基づく記録用の画像データを画像処理部７に生成させる。また、ＣＰＵ８は、分割色が「Ｇｒｅｅｎ」又は「Ｒｅｄ」であった場合には、画像再構成処理におけるステップＳ２１７の処理で生成した画像データ（結合後の画素データ）に基づく記録用の画像データを画像処理部７に生成させる。

しかる後、ＣＰＵ８は、記録用の画像データをＣＯＤＥＣ９により圧縮し、圧縮後の画像データを静止画ファイルとして画像メモリ１１に保存する（ステップＳ１５）。

以上のように本実施形態のデジタルカメラ１においては、撮影モードとして手ブレ補正モードを設定されているときには、ＣＰＵ８が前述した処理を実行することにより、撮影画像に生じる手ブレに起因した被写体ブレを低減することができる。

すなわち、デジタルカメラ１においては、撮影時に判断した光源の種類が太陽光である場合には、分割色をＲＧＢの全ての色成分に設定し、従来の連写合成法と同様の手法によって、撮影画像に生じる手ブレに起因した被写体ブレを低減する。

また、デジタルカメラ１においては、撮影時に判断した光源の種類が蛍光灯又は電球である場合には、分割色をＧ成分又はＲ成分のみに設定し、前述した信号処理による本発明に係る方法（図６参照）によって、撮影画像に生じる手ブレに起因した被写体ブレを低減する。

ここで、本発明に係る方法においては、分割露光によって取得する画素データが分割色（特定の色成分）のみの画素データであり、分割色以外の非分割色の画素データは一括露光（１回の露光）によって取得する。

そのため、非分割色の画素データに含まれるノイズが僅かであり、加算後の分割色の画素データと、非分割色の画素データ（２種類の画素データ）とを結合して得られる最終的な画素データに含まれるノイズの総量が、従来の連写合成法により得られる画素データに比べて少ない。

したがって、デジタルカメラ１においては、最終的な画素データとして、従来の連写合成法により得られる画素データに比べＳ／Ｎ比が良好な画素データを取得することができ、暗い部分における画質の低下が極僅かなものなる。よって、撮影時に判断した光源の種類が蛍光灯又は電球である場合においては、暗い部分の画質を維持したままで、撮影画像に生じる手ブレに起因した被写体ブレを低減することができる。

しかも、デジタルカメラ１においては、複数枚の分割色の画素データの各々における被写体ブレを、ブラインド・デコンボリューションにより個別に低減した後、補正後における複数枚の分割色の画素データを、補正後の画素データに基づいて取得した動きベクトルを用いることにより高精度で位置合わせして加算する。

そのため、被写体の光量が十分でなく撮影時の露光時間が長い場合、つまり分割露光時間が長い場合であっても、最終的に得られる分割色の画素データが被写体ブレのない極めて良好な状態の画素データとなる。

同時に、デジタルカメラ１においては、非分割色の画素データにおける被写体ブレをデコンボリューションにより低減する際、ＰＳＦとして、各々の分割色の画素データに対するブラインド・デコンボリューションで推定したＰＳＦを統合したフレーム全体のＰＳＦを使用する。

そのため、非分割色の画素データにおける被写体ブレを確実に低減することができる。これは、各々の分割色の画素データに関するＰＳＦが、分割露光時間といった短い時間内での被写体ブレの軌跡を表すＰＳＦであり、フレーム全体のＰＳＦが比較的単純なもの（直線に近く、連結性が高い軌跡を表すもの）となるためである。

以上のことから、デジタルカメラ１においては、被写体の光量が十分でなく撮影時の露光時間が長い場合であっても、最終的な画素データとして、被写体ブレのない極めて良好な画素データを取得することができる。よって、暗い部分の画質向上と、高精度の手ブレ補正とを同時に実現することができる。

また、本実施形態では、非分割色を、撮影時に判断した光源の種類が蛍光灯である場合には「Ｇｒｅｅｎ」に設定し、かつ撮影時に判断した光源の種類が蛍光灯である場合には「Ｒｅｄ」に設定する構成とした。つまり非分割色を、被写体の色分布において支配的である色を設定する構成とした。

そのため、分割露光により取得した複数の画素データの加算時の位置合わせをより高精度で行うことができると同時に、非分割色の画素データを、画素データにより表される被写体にブレのない画素データにより高精度で補正（復元）することができる。その結果、被写体の色に左右されることなく、安定した精度で撮影画像に生じる手ブレに起因した被写体ブレを低減することができる。

さらに、非分割色を、撮影時に判断した光源の種類に対応する色に設定する構成とすることにより、つまりホワイトバランス制御で使用する色情報（分光分布データ）に基づいて分割色を設定することにより、撮影時に分割色の設定に要する処理を簡略化することができる。

なお、本実施形態においては、撮影時に判断した光源の種類が太陽光である場合には、分割色をＲＧＢの全ての色成分に設定することによって、従来の連写合成法と同様の手法による信号処理を行う構成とした。しかし、前記デジタルカメラ１には、撮影時に判断した光源の種類が太陽光である場合についても、本発明に係る方法を実施する構成を採用することができる。その場合には、分割色として予め決められている特定の色成分を設定すればよい。特定の色成分としては、例えば輝度信号の寄与する割合が大きいＧ成分が考えられる。

また、本実施形態においては、メカニカルシャッターを備えることなく、いわゆる電子シャターにより撮影時の露光時間を確保する構成のデジタルカメラ１について説明したが、前記デジタルカメラ１には、図示しないがメカニカルシャッターを設けるようにしてもよい。メカニカルシャッターを設ける場合においては、例えば既説した分割露光の読み出し期間にシャッターを閉じて、撮像素子３が有する全ての色成分の画素の画素信号を読み出す構成を採用することもできる。

また、本実施形態においては、撮像素子３として、感光面にベイヤー配列のカラーフィルタが設けられた構成について説明した。つまり撮影時に個別に取得可能な画素データが、Ｒ成分、Ｇ成分、Ｂ成分の３種類の画素データであるものについて説明した。しかし、撮像素子３の感光面に設けられるカラーフィルタはベイヤー配列以外の色配列であっても構わない。また、カラーフィルタは原色フィルタ配列に限らず、補色フィルタ配列でもよく、さらに、ＲＧＢにＷ（White）、つまりカラーフィルタ無しの透過色が付加された変形型のベイヤー配列でも構わない。なお、カラーフィルタが変形型のベイヤー配列の場合には、分割色（第１の色成分）を最も感度がよいＷとし、非分割色（第２の色成分）をＲ，Ｇ，Ｂにするのが望ましい。

また、本実施形態においては、撮像素子３が単板式のＣＭＯＳセンサである場合について説明した。しかし、本発明の実施に際しては、色成分毎に独立して、画素信号の読み出し及びリセット（シャッター）が可能な構成であれば、任意の撮像素子を用いることができる。なお、画素信号の読み出し形態は、本実施形態のように破壊読出しでもよいし、非破壊読み出しでもよい。

したがって、本発明の実施に際しては、例えばＧ用、ＲＢ用の２つの撮像素子とを含む２板式イメージセンサ、Ｇ用、Ｒ用、Ｂ用の２つの撮像素子を含む３板式イメージセンサ、３層式ＣＭＯＳセンサ（いわゆるＦＯＶＥＯＮ方式のＣＭＯＳセンサ）といった撮像素子を使用することができる。

また、本実施形態においては、前述した画像再構成処理（図４）をＣＰＵ８に行わせる構成としたが、前述した画像再構成処理は、例えば画像処理部７の内部や画像処理部７の前段に専用の信号処理部を設け、係る信号処理部に行わせる構成としてもよい。

また、本発明は、本実施形態で説明したデジタルカメラに限らず、例えばデジタルビデオカメラや、携帯電話端末等の携帯型の任意の電子機器に内蔵されているカメラ等にも適用することができる。

１ デジタルカメラ
２ レンズブロック
３ 撮像素子
４ 光学系駆動部
５ 駆動回路
６ ＡＦＥ
７ 画像処理部
７ａ メモリ
８ ＣＰＵ
９ ＣＯＤＥＣ
１０ 表示部
１１ 画像メモリ
１２ 操作部
１３ ＲＡＭ
１４ プログラムメモリ

Claims (7)

1. 被写体を撮像する撮像手段と、
   前記撮像手段に、撮影時の同一露光時間内に、第１の色成分からなる第１の色成分画像を分割露光により複数回撮像させ、かつ前記第１の色成分以外の他の色成分からなる第２の色成分画像を一括露光により撮像させる撮像制御手段と、
   前記撮像手段により分割露光で撮像された複数の第１の色成分画像の各々に存在する撮像時の手ブレによる被写体ブレを、点拡がり関数を推定して用いる画像復元演算によりそれぞれ補正する第１の補正手段と、
   前記第１の補正手段による補正後の複数の第１の色成分画像を対象として、分割露光により相前後して撮像された第１の色成分画像間における被写体の変位を示す変位情報を取得する変位情報取得手段と、
   前記変位情報取得手段により取得された変位情報に基づいて、前記第１の補正手段により補正された複数の第１の色成分画像を位置合わせして加算することにより加算画像を生成する画像加算手段と、
   前記変位情報取得手段により取得された変位情報と、前記第１の補正手段の画像復元演算による補正に際し複数の第１の色成分画像毎に推定された点拡がり関数とに基づき、前記撮影時の第２の色成分画像の露光時間内における撮像時の手ブレによる被写体ブレの軌跡を表す新たな点拡がり関数を演算する演算手段と、
   前記演算手段により演算された新たな点拡がり関数を用いた画像復元演算によって、前記撮像手段により一括露光で撮像された第２の色成分画像に存在する撮像時の手ブレによる被写体ブレを補正する第２の補正手段と、
   前記画像加算手段により生成された加算画像と、前記第２の補正手段による補正後の第２の色成分画像とを合成する合成手段と
   を備えたことを特徴とする撮像装置。
2. 被写体の色情報を取得する色情報取得手段と、
   前記色情報取得手段により取得された色情報に基づき前記第１の色成分に特定の色成分を選択的に設定する設定手段と
   をさらに備え、
   前記撮像制御手段は、前記撮像手段に、撮影時の同一露光時間内に、前記設定手段により設定された第１の色成分画像のみを分割露光により複数回撮像させる
   ことを特徴とする請求項１記載の撮像装置。
3. 前記色情報取得手段により取得された色情報に基づき撮影環境下における光源の種類を判断する判断手段をさらに備え、
   前記設定手段は、前記判断手段により判断された光源の種類に対応して予め決められている特定の色成分を前記第１の色成分に設定する
   ことを特徴とする請求項２記載の撮像装置。
4. 前記設定手段は、前記色情報取得手段により取得された色情報に基づき、被写体の色分布において支配的であることを設定条件として、前記第１の色成分に特定の色成分を選択的に設定する
   ことを特徴とする請求項２記載の撮像装置。
5. 前記撮像手段は単板式の固体撮像素子であり、
   前記撮像制御手段は、撮影時の同一露光時間内に、前記固体撮像素子において前記第１の色成分が割り当てられている一群の光電変換素子に分割露光によって前記第１の色成分画像を複数回撮像させ、かつ前記撮像手段において第１の色成分以外の他の色成分が割り当てられている一群の光電変換素子に一括露光によって前記第２の色成分画像を撮像させる
   ことを特徴とする請求項１乃至４いずれか記載の撮像装置。
6. 被写体を撮像する撮像手段に、撮影時の同一露光時間内に、第１の色成分からなる第１の色成分画像を分割露光により複数回撮像させ、かつ前記第１の色成分以外の他の色成分からなる第２の色成分画像を一括露光により撮像させる工程と、
   前記撮像手段に分割露光で撮像させた複数の第１の色成分画像の各々に存在する撮像時の手ブレによる被写体ブレを、点拡がり関数を推定して用いる画像復元演算によりそれぞれ補正する工程と、
   補正後の複数の第１の色成分画像を対象として、分割露光により相前後して撮像された第１の色成分画像間における被写体の変位を示す変位情報を取得する工程と、
   取得した分割露光時間毎の変位情報に基づいて、前記画像復元演算による補正後の複数の第１の色成分画像を位置合わせして加算することにより加算画像を生成する工程と、
   前記分割露光時間毎の変位情報と、前記画像復元演算による補正に際し複数の第１の色成分画像毎に推定した点拡がり関数とに基づき、第２の色成分画像の露光時間内における撮像時の手ブレによる被写体ブレの軌跡を表す新たな点拡がり関数を演算する工程と、
   演算した新たな点拡がり関数を用いた画像復元演算によって、前記撮像手段により一括露光で撮像された第２の色成分画像に存在する撮像時の手ブレによる被写体ブレを補正する工程と、
   前記加算画像と前記画像復元演算による補正後の第２の色成分画像とを結合する工程と
   を含むことを特徴とする手ブレ補正方法。
7. 撮像装置が有するコンピュータに、
   被写体を撮像する撮像手段に、撮影時の同一露光時間内に、第１の色成分からなる第１の色成分画像を分割露光により複数回撮像させ、かつ前記第１の色成分以外の他の色成分からなる第２の色成分画像を一括露光により撮像させる処理と、
   前記撮像手段に分割露光で撮像させた複数の第１の色成分画像の各々に存在する撮像時の手ブレによる被写体ブレを、点拡がり関数を推定して用いる画像復元演算によりそれぞれ補正する処理と、
   補正後の複数の第１の色成分画像を対象として、分割露光により相前後して撮像された第１の色成分画像間における被写体の変位を示す変位情報を取得する処理と、
   取得した分割露光時間毎の変位情報に基づいて、前記画像復元演算による補正後の複数の第１の色成分画像を位置合わせして加算することにより加算画像を生成する処理と、
   前記分割露光時間毎の変位情報と、前記画像復元演算による補正に際し複数の第１の色成分画像毎に推定した点拡がり関数とに基づき、第２の色成分画像の露光時間内における撮像時の手ブレによる被写体ブレの軌跡を表す新たな点拡がり関数を演算する処理と、
   演算した新たな点拡がり関数を用いた画像復元演算によって、前記撮像手段により一括露光で撮像された第２の色成分画像に存在する撮像時の手ブレによる被写体ブレを補正する処理と、
   前記加算画像と前記画像復元演算による補正後の第２の色成分画像とを結合する処理と
   を実行させることを特徴とするプログラム。

Images