JP4687619B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関し、詳細には、ＣＣＤセンサ等の撮像デバイスで撮影された画像の手振れや被写体振れを補正する画像処理装置、画像処理方法及びプログラムに関する。

一般的に夜景等の暗い環境において、補助光（ストロボ）無しで写真撮影をする場合には、光量不足を補うためにシャッタ速度が遅くなるので、手振れや被写体振れ（以下、手振れで代表する）が発生しやすくなる。このような手振れ問題は、とりわけ画素数の多いＣＣＤセンサ等の撮像デバイスを備えたデジタルカメラにおいて顕在化する。

たとえば、水平画素数がＶＧＡクラスの６４０画素の撮像デバイスを備えたデジタルカメラを用いて、１／１００秒のシャッタ速度（露光時間１０ミリ秒）が必要な明るさの被写体を水平画角５度（この画角は普及型デジタルカメラのズームレンズにおける望遠端画角に相当する程度である。）で撮影することを考える。この場合、水平画角１度当たりの画素数は６４０／５＝１２８画素となるので、露光時間１０ミリ秒の間にごく僅か動いた場合、たとえば、高々０．１度動いただけでも、０．１×１２８＝１２．８画素もの大きな手振れを生じてしまう。

このように、比較的に画素数が少ないＶＧＡクラスの撮像デバイスであっても、ごく僅かな動き（０．１度の動き）で大きな（１２．８画素もの）手振れを生じるのであるから、それ以上に画素数が多い撮像デバイスを備えたデジタルカメラにおいては、当然のこと、手振れ対策は必要不可欠である。

＜第１の従来技術＞
下記の特許文献１には、撮影用光学系の一部に手振れ補正手段（手振れ補正レンズやその駆動機構等）を組み込み、その手振れ補正レンズを移動させることによって、手振れを光学的に補正するようにした手振れ補正カメラの技術が記載されている。しかしながら、この技術は、手振れ補正レンズやその駆動機構等を撮影用光学系に組み込む必要があり、機器の複雑化や大型化を招く上、コストアップも免れない。

＜第２の従来技術＞
下記の特許文献２には、画像処理によって手振れを補正するようにして、上記の特許文献１の問題点を解決した技術が記載されている。この第２の従来技術の原理は、以下のようなものである。今、１／１００秒のシャッタ速度（露光時間１０ミリ秒）が必要な明るさの被写体を撮影する場合を考える。さて、この露光時間（１０ミリ秒）は手振れを引き起こすのに充分な時間であるが、もし、この１／１０の露光時間（すなわち、１ミリ秒）で撮影したとすれば、この１ミリ秒はシャッタ速度換算で１／１０００秒もの高速シャッタになるから、ほとんど手振れを発生しないはずである。

しかし、単に露出時間を短く（１ミリ秒）しただけでは、当然ながら露光不足を招くので、充分な明るさの画像が得られない。

そこで、第２の従来技術においては、露出時間を１／ｎ（１０ミリ秒→１ミリ秒）にしてｎ（ｎ＝１０）枚の画像を連写し、それらｎ枚の画像を合成して露光不足を補っている。

具体的には、予め設定されたｎ枚（上記の１０枚に相当）の画像を手振れの影響を受けない程度の短い露光時間（上記の１ミリ秒に相当）で順次撮像する撮像素子と、上記ｎ枚の画像の明度補正と、上記ｎ枚の画像中、時間的に隣り合う２枚の画像の位置ずれを１／ｍ画素（１画素または１／２画素〜１／８画素）の精度で検出する処理とを行う手段と、検出した上記位置ずれを補正する手段と、上記位置ずれを補正したｎ枚の画像を加算し、平均化する手段とを備えるというものである。

特開平６−１３８５２９号公報 特開２０００−２２４４６０号公報

しかしながら、上記第２の従来技術にあっては、画像処理によって手振れを補正するので、上記第１の従来技術の不都合（機器の複雑化や大型化及びコストアップ）を解消できるものの、以下の点で解決すべき問題点がある。

上記第２の従来技術の例示によれば、手振れの影響を受けない程度の短い露光時間を１ミリ秒とし、また、手振れのおそれがある露光時間を１０ミリ秒とする。そして、撮像素子において、予め設定されたｎ枚の画像を手振れの影響を受けない程度の短い露光時間で順次撮像するとしている。ここで、ｎは、「手振れのおそれがある露光時間」÷「手振れの影響を受けない程度の短い露光時間」で与えられるから、上記第２の従来技術の例示における撮像素子の画像撮影枚数（ｎ）は１０ミリ秒÷１ミリ秒＝１０〔枚〕になる。

この程度の枚数であれば、所要時間はほぼ一瞬であるので、撮影者にストレスを与えることはない。

しかし、より暗い被写体を撮影する場合、たとえば、１／１０秒のシャッタ速度（露光時間１００ミリ秒）が必要な明るさの被写体を撮影する場合を考えると、この場合の撮像素子の画像撮影枚数（ｎ）は１００ミリ秒÷１ミリ秒＝１００〔枚〕にもなるから、撮影者は１０倍の待ち時間を覚悟しなければならなくなり、大きなストレスを感じる。

このように、上記第２の従来技術においては、撮像素子の画像撮影枚数（ｎ）を、単に「手振れのおそれがある露光時間」÷「手振れの影響を受けない程度の短い露光時間」で設定するようにしているので、より暗い被写体を撮影する場合のｎの値が増大することとなり、結局、被写体が暗くなるほど、撮影者に大きなストレスを強いるという点において、解決しなければならない技術課題がある。

そこで、本発明は、動き予測の精度、たとえば、画像の明るさに応じて、画像合成処理を切り替えることにより、より暗い被写体を撮影する場合における画像の撮影枚数の増大を抑制し、撮影者のストレス緩和を図った画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

請求項１記載の発明は、周期的に複数枚の画像を生成して出力する撮像手段と、前記撮像手段から出力される複数の画像を逐次に取り込み、それらの画像間の動きを予測して両画像の位置ずれを補正する位置補正手段と、所定の画像合成処理を適用して前記位置ずれ補正後の画像を逐次に合成して合成画像を生成出力する画像合成手段と、前記動き予測の精度を推定する推定手段と、前記推定手段の推定結果が精度高である場合には前記画像合成手段で使用する所定の画像合成処理として画像解像度優先の画像合成処理を選択する一方、前記推定手段の推定結果が精度低である場合には前記画像合成手段で使用する所定の画像合成処理として画像Ｓ／Ｎ優先の画像合成処理を選択する画像合成処理選択手段とを備えたことを特徴とする画像処理装置である。
請求項２記載の発明は、前記推定手段は、前記撮像手段から出力される画像の明るさに応じて前記動き予測の精度を推定することを特徴とする請求項１記載の画像処理装置である。
請求項３記載の発明は、前記位置補正手段は、さらに、前記撮像手段から出力される画像の特徴点を、動き予測のために抽出する特徴点抽出手段を備え、前記推定手段は、この特徴点抽出手段の出力に基づいて、前記動き予測の精度を推定することを特徴とする請求項１記載の画像処理装置である。
請求項４記載の発明は、周期的に複数枚の画像を生成して出力する撮像ステップと、前記撮像ステップから出力される複数の画像を逐次に取り込み、それらの画像間の動きを予測して両画像の位置ずれを補正する位置補正ステップと、所定の画像合成処理を適用して前記位置ずれ補正後の画像を逐次に合成して合成画像を生成出力する画像合成ステップと、前記動き予測の精度を推定する推定ステップと、前記推定ステップの推定結果が精度高である場合には前記画像合成ステップで使用する所定の画像合成処理として画像解像度優先の画像合成処理を選択する一方、前記推定ステップの推定結果が精度低である場合には前記画像合成ステップで使用する所定の画像合成処理として画像Ｓ／Ｎ優先の画像合成処理を選択する画像合成処理選択ステップとを含むことを特徴とする画像処理方法である。
請求項５記載の発明は、前記推定ステップは、前記撮像ステップから出力される画像の明るさに応じて前記動き予測の精度を推定することを特徴とする請求項４記載の画像処理方法である。
請求項６記載の発明は、前記位置補正ステップは、さらに、前記撮像ステップから出力される画像の特徴点を、動き予測のために抽出する特徴点抽出ステップを含み、前記推定ステップは、この特徴点抽出ステップの出力に基づいて、前記動き予測の精度を推定することを特徴とする請求項４記載の画像処理方法である。
請求項７記載の発明は、コンピュータに、周期的に複数枚の画像を生成して出力する撮像手段と、前記撮像手段から出力される複数の画像を逐次に取り込み、それらの画像間の動きを予測して両画像の位置ずれを補正する位置補正手段と、所定の画像合成処理を適用して前記位置ずれ補正後の画像を逐次に合成して合成画像を生成出力する画像合成手段と、前記動き予測の精度を推定する推定手段と、前記推定手段の推定結果が精度高である場合には前記画像合成手段で使用する所定の画像合成処理として画像解像度優先の画像合成処理を選択する一方、前記推定手段の推定結果が精度低である場合には前記画像合成手段で使用する所定の画像合成処理として画像Ｓ／Ｎ優先の画像合成処理を選択する画像合成処理選択手段とを実現させることを特徴とするプログラムである。
請求項８記載の発明は、前記推定手段は、前記撮像手段から出力される画像の明るさに応じて前記動き予測の精度を推定することを特徴とする請求項７記載のプログラムである。
請求項９記載の発明は、前記位置補正手段は、さらに、前記撮像手段から出力される画像の特徴点を、動き予測のために抽出する特徴点抽出手段を備え、前記推定手段は、この特徴点抽出手段の出力に基づいて、前記動き予測の精度を推定することを特徴とする請求項７記載のプログラムである。

本発明では、動き予測の精度が高いときには、画像解像度優先の画像合成処理を適用して出力画像の画像合成を行い、一方、動き予測の精度が低いときには、画像Ｓ／Ｎ優先の画像合成処理を適用して出力画像の画像合成を行うので、特に、動き予測の精度が低い（たとえば、相当に暗い画像間の動き予測の精度は低い）ときであっても、多数の撮影画像を必要としない。
したがって、より暗い被写体を撮影する場合における画像の撮影枚数の増大を抑制し、撮影者のストレス緩和を図った画像処理装置、画像処理方法及びプログラムを提供することができる。

以下、本発明の実施形態を、デジタルカメラへの適用を例にして、図面を参照しながら説明する。なお、以下の説明における様々な細部の特定ないし実例および数値や文字列その他の記号の例示は、本発明の思想を明瞭にするための、あくまでも参考であって、それらのすべてまたは一部によって本発明の思想が限定されないことは明らかである。また、周知の手法、周知の手順、周知のアーキテクチャおよび周知の回路構成等（以下「周知事項」）についてはその細部にわたる説明を避けるが、これも説明を簡潔にするためであって、これら周知事項のすべてまたは一部を意図的に排除するものではない。かかる周知事項は本発明の出願時点で当業者の知り得るところであるので、以下の説明に当然含まれている。

図１は、本実施形態の適用システムの一例を示すデジタルカメラの構成図である。この図において、デジタルカメラ１は、ＣＰＵ２等を含む典型的には１チップ化されたマイクロプロセッサからなる制御部３と、この制御部３を中心にして適宜に配置された、デジタルカメラに必要な、少なくとも、以下の各部を備えて構成されている。

撮像部４は、撮影レンズや絞り機構及び焦点合わせ機構（並びに必要であればズーム機構）を含む光学部５と、ＣＣＤセンサまたはＣＭＯＳセンサなどの二次元イメージセンサからなる撮像デバイス６とで構成される。撮像部４の動作〔絞りの大きさやズーム倍率（撮影画角の調整）、焦点合わせ、撮像デバイス６の露光時間（シャッタ速度）の設定、撮像信号の読み出し動作、及び撮影感度（ＩＳＯ感度）の設定等〕は、制御部３からの撮影動作指示を受けた撮像制御部７からのコントロールによって制御される。制御部３からの撮影動作指示は、たとえば、スルー画像（撮影構図確認用の画像のこと。時として低解像度の画像であることもある。）の読み出し指示や、静止画または動画像（高解像度の画像）の読み出し指示、並びに、それらの読み出し動作に必要な絞り値設定やズーム倍率設定等の各種事前動作指示などである。

撮像部４からは、上記の制御部３からの撮影動作指示に応答して、スルー画像や静止画または動画像（以下、フレーム画像という）が所定のフレームレート（典型的には毎秒３０フレーム）で周期的に読み出される。これらのフレーム画像は、不図示のデジタル変換器でデジタル信号に変換された後、メモリ部８のバッファ領域８ａに一時記憶される。

メモリ部８は、上記のバッファ領域８ａに加えて、少なくとも、画像処理領域８ｂ、作業領域８ｃ及び加算法保持領域８ｄの各領域を備える。上記のバッファ領域８ａを含むこれらの領域８ａ〜８ｄは、バス線９を介して、制御部３や画像処理部１０及び表示部１１から任意にアクセスされるようになっている。

画像処理部１０は、制御部３からの指示に従って、バッファ領域８ａに一時保存されているフレーム画像を画像処理領域８ｂに転送し、転送されたフレーム画像に対して所要の圧縮処理（たとえば、ＪＰＥＧ圧縮処理）を行い、その圧縮画像で画像処理領域８ｂの格納データを上書きする。制御部３は、この画像処理領域８ｂの格納データ（圧縮画像）を後述の外部記憶部１７に転送して保存する。

また、画像処理部１０は、制御部３からの指示に従って、後述の外部記憶部１７から読み出された圧縮画像を画像処理領域８ｂに転送し、転送した圧縮画像に対して所要の伸長処理（たとえば、ＪＰＥＧ伸長処理）を行い、その伸長画像で画像処理領域８ｂの格納データを上書きする。

表示部１１は、液晶ディスプレイ等の平面表示デバイスで構成されており、通常は、バッファ領域８ａに一時保存されているスルー画像を撮影構図確認のために逐次に読み出して表示するが、画像の撮影時には、圧縮処理前の撮影画像を画像処理領域８ｂから読み出して表示したり、あるいは、画像の再生時には、伸長処理後の再生画像を画像処理領域８ｂから読み出して表示したりする。さらに、表示部１１は、制御部３から適宜に出力される各種設定画面（たとえば、メニュー図面等）を表示する。

プログラムコード記憶部１２は、各種のソフトウェアリソースを保持する。このソフトウェアリソースには、ＣＰＵ２のアーキテクチャに対応したオペレーティングシステム（ＯＳ）や、そのＯＳと協調してデジタルカメラ１の各種機能的動作（撮影動作や画像の再生動作及びその他の管理動作等）を実現する制御プログラムなどが含まれる。これらのソフトウェアリソースは、必要に応じて、プログラムコード記憶部１２からメモリ部８の作業領域８ｃに読み出され（ロードされ）、制御部２のＣＰＵ２によって実行される。

操作部１３は、デジタルカメラ１のユーザ操作用入力インターフェースに必要な各種操作子、たとえば、静止画撮影や動画撮影を行うためのシャッタキー１３ａや、画像撮影と画像再生のモードを切り替えるためのモードキー１３ｂなどを含む。

コンピュータインターフェース部１４は、たとえば、ＵＳＢやＩＥＥＥ１３９４などの汎用プロトコルに対応したデータ入出力部であり、このコンピュータインターフェース部１４を介し、必要に応じて、外部機器、典型的にはパーソナルコンピュータ１５との間で撮影済み画像の転送や読み込みを行うことができるようになっている。

外部記憶インターフェース部１６は、外部記憶部１７との間で画像データ等の入出力を行うものであり、外部記憶部１７は外部記憶インターフェース部１６から供給された画像データ等を記憶する。

外部記憶部１７は、フラッシュメモリ、ハードディスクまたは光ディスク等の不揮発性（電源をオフにしてもその記憶内容を失わない）の大容量記憶装置によって構成されており、主に、このデジタルカメラ１で撮影された画像を蓄積保存するために用いられる。なお、蓄積保存される各画像は、たとえば、ＪＰＥＧ形式等の圧縮ファイル、または、非圧縮の生データファイル（いわゆるＲＡＷファイル）である。なお、この外部記憶部１７は、固定型であってもよく、あるいは、デジタルカメラ１から取り外して、たとえば、外部のパーソナルコンピュータ１５に装着可能な汎用形式のメモリデバイスであってもよい。

電源部１８は、充電式の二次電池あるいは使い捨て型の一次電池を含み、制御部３をはじめとした、デジタルカメラ１の各部の動作に必要な電源電圧を供給する。

ここで、撮像デバイス６の詳細について説明する。
図２は、撮像デバイス６の構造図である。ここでは、Ｎ列×Ｍ行の画素を有するＣＣＤセンサを例にする。撮像デバイス６は、入射光量に応じた電荷を蓄積するＮ×Ｍ個の光電変換素子６ａをマトリクス状に二次元配列するとともに、各列間に１本ずつ、全部でＮ本の垂直転送部６ｂを配置して撮像領域６ｃを形成し、さらに、撮像領域６ｃの図面に向かって下側に水平転送部６ｄを配置して構成する。光電変換素子６ａに蓄積された信号電荷は、読み出し信号（不図示）に応答して隣接する垂直転送部６ｂに取り込まれ、垂直転送部６ｂの内部を垂直転送クロック（不図示）に同期して図面の下方向に順次転送される。すべての垂直転送部６ｂの出力端は水平転送部６ｄに接続されており、水平転送部６ｄには、垂直転送クロックに同期して１ライン分の信号電荷が順次に取り込まれる。水平転送部６ｄに取り込まれた信号電荷は、水平転送クロック（不図示）に同期して図面の左方向に順次転送され、水平転送部６ｄの出力端に到達した信号電荷は、同端に設けられた電荷検出部６ｅで電気信号に変換され、アンプ６ｆで増幅された後、端子６ｇから画素単位の画像信号（ＣＣＤ出力）として外部に取り出される。

ここで、光電変換素子６ａの水平方向の並び（走査線又はライン）にそれぞれＯ１、Ｅ１、Ｏ２、Ｅ２、Ｏ３、Ｅ３、・・・・の便宜的な符号を付すことにする。但し、Ｏは奇数の略、Ｅは偶数の略である。Ｏ１、Ｏ２、Ｏ３で奇数ラインを、Ｅ１、Ｅ２、Ｅ３で偶数ラインを示すものとする。インターレース型のＣＣＤセンサは、フィールド読み出し（フィールド蓄積ともいう）と、フレーム読み出し（フレーム蓄積ともいう）の二つのモードを外部から切替えることができる。フィールド読み出しでは、ＣＣＤ出力がＯ１＋Ｅ１、Ｏ２＋Ｅ２、Ｏ３＋Ｅ３、・・・・の順番になるが、フレーム読み出しでは、奇数フレームと偶数フレームの２回に分けてＣＣＤ出力が取り出され、したがって、奇数フレームではＣＣＤ出力がＯ１、Ｏ２、Ｏ３、・・・・の順番になり、偶数フレームではＣＣＤ出力がＥ１、Ｅ２、Ｅ３、・・・・の順番になる。

このように、多数の光電変換素子６ａを２次元に配列し、被写体からの光に応じた画像信号を出力するＣＣＤセンサに代表される撮像デバイス６は、そのままでは色情報を含む画像信号を出力できない。光電変換素子６ａが単に光の明暗の強度に対応した信号しか発生しないからである。

色情報を得るために、３個の撮像デバイスを用い、その各々に赤、緑、青の色フィルタを装着して、それぞれの撮像デバイスから赤色、緑色、青色の画像信号を取り出すようにした３板式のカラー撮像デバイスが知られている。この撮像デバイスは、専ら色再現性を重視するスタジオ用テレビカメラなどに用いられているが、家庭用のビデオカメラや普及型のデジタルカメラなどにあっては、サイズや重さ及び電力消費の点から１個の撮像デバイスとモザイク状の色フィルタとを組み合わせた「単板式のカラー撮像デバイス」が用いられる。このことは、本実施形態の撮像デバイス６においても同様である。

図３は、撮像デバイス６と色フィルタ１９とを示す図である。撮像デバイス６の桝目は各々１個の光電変換素子６ａを含む画素であり、各画素は色フィルタ１９の桝目と一対一に対応している。色フィルタ１９の桝目はそれぞれ特定の色を有しており、色の選び方や配列の仕方によって様々なタイプのものが使用されている。

図４は、Ｂ．Ｅ．Ｂａｙｅｒによって考え出された、いわゆるベイヤー方式（又は緑市松方式）と呼ばれる色フィルタの原理図である。この方式は、色信号と輝度信号のバランスがよく、被写体の明るさに依存せずに良好な色再現性が得られることから、広く用いられている方式である。この図において、Ｙは輝度情報を得るためのフィルタ、Ｃ₁ 、Ｃ₂
は色情報を得るためのフィルタである。Ｙフィルタを市松状に配置するとともに、奇数ラインの隙間にＣ₁ フィルタを配置し、偶数ラインの隙間にＣ₂ ラインを配置する。なお、Ｙフィルタを多く配置する理由は、人間の視覚上、色情報よりも輝度情報の方が画像の解像度や輪郭のシャープさをよく知覚するからである。

図５は、実際の色フィルタの構成図であり、Ｒは赤色のフィルタ、Ｇは緑色のフィルタ、Ｂは青色のフィルタである。赤（Ｒ）、緑（Ｇ）、青（Ｂ）は光の三原色であり、特に、緑色は被写体の明るさをよく表すから、Ｇフィルタは輝度情報を得るためのフィルタとしても用いられる。すなわち、Ｇフィルタは、前出のＹフィルタに相当し、ＲフィルタとＢフィルタは、それぞれＣ₁ 、Ｃ₂
フィルタに相当する。なお、図示の例では、６×６のフィルタしか示していないが、これは説明の便宜である。実際には遙かに多くのフィルタ（升目）で構成されている。

図６は、インターレース型ＣＣＤセンサの画素配列図である。この図に示すように、インターレース型ＣＣＤセンサの場合、色フィルタは、奇数ラインと偶数ラインで同一の配列になるが、前記のフィールド読み出しやフレーム読み出しに関わらず、読み出された画素の配列に着目すれば、図５の配列（ベイヤー方式に則った色情報の並び）とまったく同じである。すなわち、フィールド読み出しではＯ１＋Ｅ１、Ｏ２＋Ｅ２、Ｏ３＋Ｅ３の２ライン合成読み出しとなり、一方、フレーム読み出しではＯ１、Ｏ２、Ｏ３、・・・、Ｅ１、Ｅ２、Ｅ３の飛び越しライン読み出しとなるが、何れの読み出しでも、Ｇ／ＲラインとＧ／Ｂラインを順次に読み出す点で同一である。

したがって、本明細書では特に断りのない限り、図５に示すベイヤー方式の配列を例にして、撮像デバイス６の画素や色フィルタの配列を説明することにする。

次に、本実施形態に特有の事項について説明する。本実施態の解決すべき技術課題は、ＣＣＤセンサ等の撮像デバイス６で撮影された画像の手振れや被写体振れを補正するための従来技術（冒頭の第２の従来技術）の問題点を解決することにある。すなわち、第２の従来技術においては、露出時間を１／ｎ（１０ミリ秒→１ミリ秒）にしてｎ（ｎ＝１０）枚の画像を連写し、それらｎ枚の画像を合成して露光不足を補っているが、より暗い被写体を撮影する場合、たとえば、１／１０秒のシャッタ速度（露光時間１００ミリ秒）が必要な明るさの被写体を撮影する場合の撮像素子の画像撮影枚数（ｎ）は、１００ミリ秒÷１ミリ秒＝１００〔枚〕にもなるので、撮影者は１０倍の待ち時間を覚悟しなければならなくなり、大きなストレスを感じるという問題点がある。本実施形態の狙いは、画像の明るさに応じて、画像合成処理を切り替えることにより、より暗い被写体を撮影する場合における画像の撮影枚数の増大を抑制し、撮影者のストレス緩和を図ることにある。

図７は、本実施形態における特徴的な事項を含む制御プログラムのフローチャートを示す図である。この制御プログラムは、予めプログラムコード記憶部１２に保持されており、ユーザによる撮影開始の操作アクション（すなわち、シャッタキー１３ａの押し下げ操作）に応答して、メモリ部８の作業領域８ｃに読み込まれ（ロードされ）、制御部３のＣＰＵ２によって実行される。

このフローチャートを開始すると、まず、メモリ部８のバッファ領域８ａを初期化する（ステップＳ１）。初期化とは、たとえば、バッファ領域８ａの全ビット（全画素）にオール０を書き込むという操作である。次いで、撮像部４を制御して、１枚目の高解像度のフレーム画像（以下、１枚目画像）を撮影する（ステップＳ２）。撮影された１枚目画像は撮像部１０の撮像デバイス６から取り出され、不図示のアナログデジタル変換器でデジタル信号に変換された後、メモリ部８のバッファ領域８ａに書き込まれる。

次いで、バッファ領域８ａに書き込まれた１枚目画像から特徴点の抽出を行う（ステップＳ３）。抽出された特徴点の情報は、後述の２枚目以降の画像の動き予測に用いられる。なお、特徴点の検出器としては、たとえば、ハリスのコーナー検出器（Ｈａｒｒｉｓ ｃｏｒｎｅｒ ｄｅｔｅｃｔｏｒ）やＳＵＳＡＮと呼ばれるコーナー検出器等、公知のものを使用することができる。これらの検出器を用いて、閾値以上のものを特徴点として選択すればよい。

次いで、動き予測の精度を推定する（ステップＳ４）。“動き予測の精度”とは、１枚目の画像と後述の２枚目以降の画像との間における画像間の動き予測の確かさの度合いのことをいう。たとえば、１枚目の画像と後述の２枚目以降の画像の明るさが相当不足している場合（すなわち、相当暗い画像である場合）、各々の画像のコントラストが低くなるので、前記のステップＳ３で抽出された特徴点の誤差が大きくなり、したがって、この場合は、動き予測の精度が悪化する（精度低）と推定できる。これに対して、１枚目の画像と後述の２枚目以降の画像の明るさがそれほど不足していない場合（すなわち、それほど暗くない画像である場合）、各々の画像のコントラストがそこそこ得られるので、前記のステップＳ３で抽出された特徴点の誤差が小さくなり、したがって、この場合は、動き予測の精度が悪化しない（精度高）と推定できる。

このように、動き予測の精度と画像の明るさの間には一定の関係が成立すると考えられるので、ここでは、動き予測の精度を推定するための尺度として、入力された画像の明るさ（輝度値）を用いることにする。輝度値の測定方法は、たとえば、入力画像を間引きながら輝度Ｙを求め、その輝度Ｙの平均をその画像の明るさとしてもよい。次式（１）は、画像のＲＧＢ成分から輝度Ｙを求めるための計算式の例である。

たとえば、間引き数が画像の縦横ともに“８”である場合、注目画素の座標（ｘ，ｙ）におけるｘ及びｙは、次式（２）のようになる。

式（２）における座標（ｘ，ｙ）の画素の色はＧ（録）である。後述のベイヤー構造の画素配列図（図８）に示すように、ベイヤー構造においては、Ｇ画素が輝度情報の画素を兼ねている。したがって、ベイヤー構造の画素配列においては、次式（３）に示すように、輝度Ｙを（ｘ，ｙ）の画素値（Ｇ）と、（ｘ＋１，ｙ）の画素値（青）と、（ｘ，ｙ＋１）の画素値（赤）とから求めることになる。

ここで、Ｐ（ｘ，ｙ）は（ｘ、ｙ）の画素値である。画像の明るさＬｕｍｉは、輝度Ｙの平均として、次式（４）から求める。

ただし、Ｎは間引きした画素の総数である。

このようにして、画像の明るさから動き予測の精度を推定すると、次いで、その動き予測の精度の推定結果を判定する（ステップＳ５）。たとえば、画像の明るさが予め定めた値より大きいか否かを判定する。画像の明るさが予め定めた値より大きい場合は「精度高」（動き予測の精度が高い）と判定し、そうでない場合は、「精度低」（動き予測の精度が低い）と判定する。

そして、それぞれの判定結果に対応した適切な画像合成処理（ここでは、画像加算の画像合成処理）を選択し（ステップＳ６、ステップＳ７）、その選択結果をメモリ部８の加算法保持領域８ｄに格納する。

「精度低」の場合の選択画像合成処理は、「画像Ｓ／Ｎ優先」の加算法に関するものであり、一方、「精度高」の場合の選択画像合成処理は、「画像解像度優先」の加算法に関するものである。これは、画像がそれほど暗くなく動き予測の精度がよい（精度高）と推定されたときには、画像解像度優先で手振れ補正を行ってもよいが、その逆に、画像が暗く動き予測の精度がよくない（精度低）と推定されたときには、無理して高い解像度を得る手振れ補正を行う（したがって、多くの撮影画像を必要とする）よりも、むしろ解像度を犠牲にして少ない撮影画像枚数で出力画像のＳ／Ｎ改善を優先させた手振れ補正の方が、得策だからである。

このように、画像の明るさから動き予測の精度を推定して画像合成処理を選択し、その選択結果に応じた情報（たとえば、「画像Ｓ／Ｎ優先」→“０”、「画像解像度優先」→“１”）をメモリ部８の加算法保持領域８ｄに格納する。次に、動き補正パラメータを初期化（動きなし）（ステップＳ８）した後、メモリ部８の加算法保持領域８ｄから前記の選択結果に応じた情報（“０”、“１”）を取り出し、その情報が“１”であるか（つまり「画像解像度優先」であるか）、または、“０”であるか（つまり「画像Ｓ／Ｎ優先」であるか）を判定する（ステップＳ９）。

ここで、ステップＳ８で動き補正パラメータを初期化する（動きなしとする）理由は、次のステップＳ１０またはステップＳ１１において実行される画像合成処理（画像解像度優先の加算法によるもの、または、画像Ｓ／Ｎ優先の加算法によるもの）では、１枚目の画像が処理対象（基準画像）であり、したがって、この段階では、まだ加算すべき画像が存在しないからである。

具体的には、たとえば、動き補正パラメータがアフィン変換であるモデルを用いたものである場合、画像合成処理では座標（ｕ，ｖ）から座標（ｘ，ｙ）への変換を、次式（５）を用いて処理がなされる。なお、次式（５）は同次座標表現形式である。

この例の場合、動きが無い場合のパラメータは、（ｘ，ｙ）＝（ｕ，ｖ）の関係になるので、そのパラメータは、「ａ＝１，ｂ＝０，ｃ＝０，ｄ＝１，ｅ＝０，ｆ＝０」となる。

このように、メモリ部８の加算法保持領域８ｄに保持されていた前記の選択結果（「画像解像度優先」または「画像Ｓ／Ｎ優先」）に対応して、ステップＳ１０またはステップＳ１１で、画像処理部１０にて画像解像度優先の加算法による画像合成処理、または、画像Ｓ／Ｎ優先の加算法による画像合成処理を実行する。画像処理部１０は、前式（５）の座標変換を行って、メモリ部８のバッファ領域８ａに記録されている一枚目の撮影画像の該当する座標のデータを読み出して、バッファ領域８ａ内で別領域に確保された画像加算データと加算処理がなされる。バッファ領域８ａは、初期化ステップＳ１で“０”に初期化されていたので、処理後、画像加算データは１枚目の画像だけが反映した画像となる。なお、各処理の詳細は後述する。

次に、まだ、シャッタキー１３ａが押され続けているかを調べる（ステップＳ１２）。シャッタキー１３ａが押され続けている場合は、そのまま合成処理を継続するために、２枚目以降の高解像度のフレーム画像（以下、２枚目以降画像）を撮影する（ステップＳ１６）。撮影された２枚目以降画像は、先の１枚目画像と同様に、撮像部１０の撮像デバイス６から取り出され、不図示のアナログデジタル変換器でデジタル信号に変換された後、メモリ部８のバッファ領域８ａに書き込まれる。

そして、基準画像（この段階では１枚目画像）の特徴点が、今回撮影した画像（この段階では２枚目画像）のどの位置に移動したかの追跡を行い、基準画像の各特徴点と今回撮影した画像の対応する座標との対応リストを作成する（ステップＳ１７）。この追跡方法としては、たとえば、勾配法やテンプレートマッチング関数などを用いたピクセル位置推定法などを利用することができる。そして、このように追跡手法によって作成した対応リストから、たとえば、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ Ａｒｇｏｒｉｔｈｍ）などにより、誤った対応点を除外し、残った対応点リストから、前式（５）のパラメータ（ａ〜ｆ）を最小二乗法によって求める（ステップＳ１８）。

次いで、ステップＳ１８で求めた動き補正パラメータを用いて、現在選択されている画像加算法により画像加算を行って、手振れや被写体振れが無く、しかも、充分なコントラストの出力加算画像を求める。求められた出力加算画像はメモリのバッファ領域８ａ内の加算画像データを更新する（ステップＳ１０またはステップＳ１１）。

このように、シャッタキー１３ａが押され続けている間、画像は１枚目、２枚目、３枚目・・・・と連続的に撮影（連写撮影）され、これらの画像が撮影される度に、まずは、１枚目を基準画像として、その基準画像と２枚目との間の動き補正が行われた後、その基準画像と２枚目の画像の画像加算が行われ、以降、基準画像をその加算画像で入れ替えて、その基準画像と３枚目の画像との間の動き補正、その基準画像と２枚目の画像の画像加算・・・・を、シャッタキー１３ａが押されなくなるまで、すなわち、ユーザの指がシャッタキー１３ａから離れるまで繰り返される。

そして、ユーザの指がシャッタキー１３ａから離れると、ステップＳ１２の判定結果がＮＯとなり、その時点のメモリバッファ領域８ａ内の出力加算画像に対して必要な現像処理、たとえば、ホワイトバランス調整やブライト調整、ガンマ（γ）補正及びトーン補正などを行った後（ステップＳ１３）、画像処理部１０において現像処理後の画像を画像処理領域８ｂに転送し、ＪＰＥＧなどの圧縮処理を行い（ステップＳ１４）、最後に、その圧縮画像を外部記憶部１７などに保存処理して（ステップＳ１５）、フローチャートを終了する。

このように、このフローチャートによれば、シャッタキー１３ａの押し下げ直後に１枚目の画像を撮影して、その画像の特徴点を抽出すると共に、たとえば、その画像の明るさから動き予測の精度を推定し、その推定結果に基づいて「画像解像度優先」の画像合成処理を選択するのか、それとも「画像Ｓ／Ｎ優先」の画像合成処理を選択するのかを決定しておいて、以降、シャッタキー１３ａが押され続けている間、２枚目以降の画像を逐次に撮影すると共に、基準画像とその基準画像に続いて撮影された画像との間の特徴点の対応リストから誤った対応点を取り除いた残りの対応リストに基づいて、前式（５）のパラメータを求め、上記決定しておいた画像加算法、すなわち、「画像解像度優先」の画像合成処理、または、「画像Ｓ／Ｎ優先」の画像合成処理を使用して画像加算を行うことにより、手振れや被写体振れが無く、しかも、充分なコントラストの出力加算画像を得ることができる。

＜画像加算法＞
動き補正を伴う画像加算について説明する。ここで、画像加算とは、時間的に連続して撮影された２枚の画像間の位置ずれを補正し、それらの画像を重なり合わせるようにして、両画像の対応画素同士の情報を加算することをいう。

図８は、加算対象画像の画素配列図である。ここでは、先に説明したベイヤー構造のものを示している。この図において、ｘ軸は列方向、ｙ軸は行方向を表し、各画素の座標は（ｘ，ｙ）である。先にも説明したとおり、ベイヤー構造では、Ｇ、Ｂ、Ｇ、Ｂ・・・・の行とＲ、Ｇ、Ｒ、Ｇ・・・・の行が交互に配列される（ただし、ノンインターレース型の配列）。Ｒは赤色画素、Ｇは緑色画素、Ｂは青色画素である、なお、人間の目によく感じられる緑色画素（Ｇ）の割合が多くなっている。これは輝度情報の画素を兼ねるためである。また、Ｒ、Ｇ、Ｂの各々に付した二桁の添え字はそれぞれの画素位置（座標）を表している。

シャッタキー１３ａが押し下げ続けられている間の入力画像は、図示のようなベイヤー構造の画素配列を有している。このため、入力画像の各画素には１チャンネルの色情報（すなわち、Ｒ、Ｇ、Ｂいずれかのカラーデータ）しか含まれていない。これに対して、出力画像をＲＧＢの画像形式とすれば、出力画像の各画素は３チャンネルのカラーデータを持つことになる。

出力画像の座標系を１枚目の画像の座標系と同じに取る。まず、１枚目の画像加算を考える。出力画像の座標系は１枚目の画像の座標系と同じに取っているため、出力画像の座標点（ｕ，ｖ）に対応する入力画像の座標（ｘ，ｙ）は、（ｕ，ｖ）となる。この座標に対応する画素データは、入力画像はベイヤー構造であるので、各画素には１チャンネルのカラーデータしか存在せず、それ以外の画素データは存在しないので、近傍の対応する色の画像データから補間などを用いて求めることになる。

さて、２枚目以降の画像加算を考える。出力画像の座標点（ｕ，ｖ）に対応する入力画像の対応座標（ｘ，ｙ）は、前式（５）のパラメータにステップＳ１８で求めた動き補正パラメータを用いて求めたものである。このため、求めた座標（ｘ，ｙ）は整数値となることは希である。

図９は、入力画像と出力加算画像との座標対応図である。この図に示すように、ｑ＝（ｘ，ｙ）の座標のカラー画素データは、近傍の画像から補間をおこなって求める。

この補間法には、いろいろな方法が考えられるが、本実施形態では、動き予測パラメータの精度を推定し、精度に応じてこの補間法（画像合成処理）を切り替える点に特徴がある。

入力画像の座標（ｘ，ｙ）の各色の最近傍の座標を（Ｘｒ．Ｙｒ）、（Ｘｇ，Ｙｇ）、（Ｘｂ，Ｙｂ）とすると、図９の例では、これらは、Ｒ₄₅、Ｇ₄₄、Ｂ₃₄の各画素の座標点となる。入力画像の座標（Ｘ，Ｙ）の画素値をＰ（Ｘ，Ｙ）、出力画像の座標（ｕ，ｖ）のＲＧＢ成分を、それぞれｒ（ｕ，ｖ）、ｇ（ｕ，ｖ），ｂ（ｕ，ｖ）とすると、画像解像度優先の補間法の一例は次式（６）で、また、画像Ｓ／Ｎ優先の補間法の一例は次式（７）〜（１０）で与えられる。ただし、次式（７）は赤（Ｒ）と青（Ｂ）の補間法の一例であって、同じ色の最近傍の画素を中心とした近傍９点の加算平均を行うもの、また、次式（９）は緑（Ｇ）の補間法の一例であって、同じ色の最近傍の画素を中心とした近傍１３点の加算平均を行うものである。

図１０は、画像Ｓ／Ｎ優先の補間法の一例（ＲとＢの補間法）を示す図である。この図において、５×５の升目は各々画素を表しており、横方向に付した−２、−１、０、１、２はｘ座標、縦方向に付した−２、−１、０、１、２はｙ座標である。座標（０，０）の画素が着目画素である。なお、前式（７）では、ｒ（ｕ，ｖ）、つまり、Ｒ画素の補間を行っているが、この式（７）は、Ｂ画素の補間式でもある。Ｂ画素の補間式とする場合は、ｒ（ｕ，ｖ）をｂ（ｕ，ｖ）と読み替えると共に、式（７）中のＸｒ、ＹｒをＸｂ、Ｙｂと読み替えればよい。

図中の右端に列挙した（１）〜（９）までのｘ座標とｙ座標の組み合わせは、前式（８）の（ｋ，ｌ）の９個の要素に対応する座標である。図中の５×５の升目の該当箇所に、（１）〜（９）を付してそれらの要素を書き入れてある。これにより、ｒ（ｕ，ｖ）またはｂ（ｕ，ｖ）の注目画素の補間が、その注目画素と同一色の近傍９点の画素、すなわち、（１）〜（９）までの画素値の加算平均で与えられることが理解されよう。

図１１は、画像Ｓ／Ｎ優先の補間法の一例（Ｇの補間法）を示す図である。この図において、前記と同様に、５×５の升目は各々画素を表しており、横方向に付した−２、−１、０、１、２はｘ座標、縦方向に付した−２、−１、０、１、２はｙ座標である。座標（０，０）の画素が着目画素である。

図中の右端に列挙した（１）〜（１３）までのｘ座標とｙ座標の組み合わせは、前式（１０）の（ｋ，ｌ）の１３個の要素に対応する座標である。図中の５×５の升目の該当箇所に、（１）〜（１３）を付してそれらの要素を書き入れてある。これにより、ｇ（ｕ，ｖ）の注目画素の補間が、その注目画素と同一色の近傍１３点の画素、すなわち、（１）〜（１３）までの画素値の加算平均で与えられることが理解されよう。

以上のとおりであるから、本実施形態によれば、以下の特有の効果が得られる。
（イ） 動き検出の精度予測に応じて、画像合成処理（画像加算）を切り替えるようにしたので、具体的には、入力画像が相当暗い場合には動き検出の精度が悪化する（合成精度が悪くなる）と推定して、少ない撮影枚数で充分な画像のＳ／Ｎが得られる画像合成処理（画像加算）を採用するようにしたので、むやみに多くの画像を撮影することなく、したがって、撮影者に大きなストレスを与えることなく、品質のよい良好な画像を得ることができる。
（ロ） 他方、入力画像がそれほど暗くない場合には、画像のＳ／Ｎが元々高いので、動き検出の精度が低下せず（合成精度が良好）、しかも、合成に必要な撮影枚数が少なくて済むと判断し、このような場合は、解像度を優先した画像合成処理（画像加算）を選択するようにしたので、少ない撮影枚数でありながら、解像度の高い画像を得ることができ、手振れや被写体振れを補正することができる。
（ハ） 以上の（イ）及び（ロ）により、入力画像の明るさのレベルの大小、すなわち、画像が相当暗い場合〜それほど暗くない場合のいずれにおいても、画像合成に必要な撮影枚数が大きく増減せず、したがって、ほぼ一定の撮影枚数にすることができ、撮影者にストレスを与えることなく、満足のいく品質の合成画像を得ることができる。

なお、前記の実施形態では、動き予測の精度の推定に「画像の明るさ」を用いているが、これに限定されない。動き予測の精度を表す他の情報または信号を利用して推定してもよい。たとえば、図７のステップＳ３で、特徴点を抽出する際に用いられる特徴点を検出するための検出器の出力値を利用することも可能である。特徴点の検出にコーナー検出器を用いた場合、このコーナー検出器は特徴点として相応しいものが検出されたときほど大きな出力値を示すからである。したがって、この出力値が予め決められた値より大きいものが検出された場合には「精度高」と判断し、そうでない場合には「精度低」と判断すればよい。

また、前記の実施形態では、デジタルカメラ１への適用を例にしたが、これに限らず、たとえば、カメラ付き携帯電話機やカメラ付き情報端末等の電子カメラであってもよい。

本実施形態の適用システムの一例を示すデジタルカメラの構成図である。 撮像デバイス６の構造図である。 撮像デバイス６と色フィルタ１９とを示す図である。 ベイヤー方式（又は緑市松方式）と呼ばれる色フィルタの原理図である。 実際の色フィルタの構成図である。 インターレース型ＣＣＤセンサの画素配列図である。 本実施形態における特徴的な事項を含む制御プログラムのフローチャートを示す図である。 加算対象画像の画素配列図である。 入力画像と出力加算画像との座標対応図である。 画像Ｓ／Ｎ優先の補間法の一例（ＲとＢの補間法）を示す図である。 画像Ｓ／Ｎ優先の補間法の一例（Ｇの補間法）を示す図である。

符号の説明

１ デジタルカメラ（画像処理装置）
２ ＣＰＵ（位置補正手段、画像合成手段、推定手段、画像合成処理選択手段、特徴点抽出手段）
４ 撮像部（撮像手段）

Claims (9)

1. 周期的に複数枚の画像を生成して出力する撮像手段と、
   前記撮像手段から出力される複数の画像を逐次に取り込み、それらの画像間の動きを予測して両画像の位置ずれを補正する位置補正手段と、
   所定の画像合成処理を適用して前記位置ずれ補正後の画像を逐次に合成して合成画像を生成出力する画像合成手段と、
   前記動き予測の精度を推定する推定手段と、
   前記推定手段の推定結果が精度高である場合には前記画像合成手段で使用する所定の画像合成処理として画像解像度優先の画像合成処理を選択する一方、前記推定手段の推定結果が精度低である場合には前記画像合成手段で使用する所定の画像合成処理として画像Ｓ／Ｎ優先の画像合成処理を選択する画像合成処理選択手段と
   を備えたことを特徴とする画像処理装置。
2. 前記推定手段は、前記撮像手段から出力される画像の明るさに応じて前記動き予測の精度を推定することを特徴とする請求項１記載の画像処理装置。
3. 前記位置補正手段は、さらに、前記撮像手段から出力される画像の特徴点を、動き予測のために抽出する特徴点抽出手段を備え、前記推定手段は、この特徴点抽出手段の出力に基づいて、前記動き予測の精度を推定することを特徴とする請求項１記載の画像処理装置。
4. 周期的に複数枚の画像を生成して出力する撮像ステップと、
   前記撮像ステップから出力される複数の画像を逐次に取り込み、それらの画像間の動きを予測して両画像の位置ずれを補正する位置補正ステップと、
   所定の画像合成処理を適用して前記位置ずれ補正後の画像を逐次に合成して合成画像を生成出力する画像合成ステップと、
   前記動き予測の精度を推定する推定ステップと、
   前記推定ステップの推定結果が精度高である場合には前記画像合成ステップで使用する所定の画像合成処理として画像解像度優先の画像合成処理を選択する一方、前記推定ステップの推定結果が精度低である場合には前記画像合成ステップで使用する所定の画像合成処理として画像Ｓ／Ｎ優先の画像合成処理を選択する画像合成処理選択ステップと
   を含むことを特徴とする画像処理方法。
5. 前記推定ステップは、前記撮像ステップから出力される画像の明るさに応じて前記動き予測の精度を推定することを特徴とする請求項４記載の画像処理方法。
6. 前記位置補正ステップは、さらに、前記撮像ステップから出力される画像の特徴点を、動き予測のために抽出する特徴点抽出ステップを含み、前記推定ステップは、この特徴点抽出ステップの出力に基づいて、前記動き予測の精度を推定することを特徴とする請求項４記載の画像処理方法。
7. コンピュータに、
   周期的に複数枚の画像を生成して出力する撮像手段と、
   前記撮像手段から出力される複数の画像を逐次に取り込み、それらの画像間の動きを予測して両画像の位置ずれを補正する位置補正手段と、
   所定の画像合成処理を適用して前記位置ずれ補正後の画像を逐次に合成して合成画像を生成出力する画像合成手段と、
   前記動き予測の精度を推定する推定手段と、
   前記推定手段の推定結果が精度高である場合には前記画像合成手段で使用する所定の画像合成処理として画像解像度優先の画像合成処理を選択する一方、前記推定手段の推定結果が精度低である場合には前記画像合成手段で使用する所定の画像合成処理として画像Ｓ／Ｎ優先の画像合成処理を選択する画像合成処理選択手段と
   を実現させることを特徴とするプログラム。
8. 前記推定手段は、前記撮像手段から出力される画像の明るさに応じて前記動き予測の精度を推定することを特徴とする請求項７記載のプログラム。
9. 前記位置補正手段は、さらに、前記撮像手段から出力される画像の特徴点を、動き予測のために抽出する特徴点抽出手段を備え、前記推定手段は、この特徴点抽出手段の出力に基づいて、前記動き予測の精度を推定することを特徴とする請求項７記載のプログラム。

Images