JP4315971B2

JP4315971B2 - 撮像装置

Info

Publication number: JP4315971B2
Application number: JP2006303961A
Authority: JP
Inventors: 正大横畠; 安八浜本
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2006-11-09
Filing date: 2006-11-09
Publication date: 2009-08-19
Anticipated expiration: 2026-11-09
Also published as: JP2008124625A; US20080112644A1

Description

本発明は、デジタルスチルカメラ又はデジタルビデオカメラ等の撮像装置に関する。本発明は、特に、加算式手ぶれ補正の技術に関する。

暗所での撮影において十分な明るさの画像を得るためには、絞りの開度を大きくし、長時間の露光を行う必要がある。一方において、露光時間を長くすると、撮影時におけるカメラの動きに起因する所謂手ぶれが大きくなり、画像が不鮮明になってしまう。手ぶれ自体の抑制には露光時間の短縮化が効果的であるが、露光時間が短いと暗所での撮影において十分な明るさを確保できない。

短い露光時間で撮影しつつ十分な明るさの画像を得る方法として、加算式手ぶれ補正が提案されている。加算式手ぶれ補正では、通常の露光時間ｔ１を分割して得られる露光時間がｔ２の複数の分割露光画像（短時間露光画像）Ｇ１〜Ｇ４を連続撮影する。そして、分割露光画像Ｇ１〜Ｇ４を、各分割露光画像間の動きがキャンセルされるように位置合わせした上で加算合成することにより、手ぶれが少なく且つ所望の明るさが確保された１枚の合成画像を生成する（図１７参照）。

尚、下記特許文献１には、動画像を形成する、連続する複数のフレーム画像から、高解像度静止画像を生成する技術が記載されている。

特開２００６−３３２３２号公報

しかしながら、従来の加算式手ぶれ補正では、複数の分割露光画像の連続撮影中に撮影環境が極端に変化した場合、合成画像の画質が劣化するという問題がある。例えば、分割露光画像Ｇ２についての露光期間において、周囲の他のカメラによってフラッシュが発光されると、図１８に示す如く、分割露光画像Ｇ２の明るさが他の分割露光画像の明るさと大きく異なってしまう。そうすると、分割露光画像Ｇ２と他の分割露光画像との位置合わせの精度が劣化し、合成画像の画質が劣化してしまう。

尚、上記特許文献１に記載の技術は、動画像から高解像度静止画像を生成する技術であり、加算式手ぶれ補正に関する上記のような問題を解決するものではない。

そこで本発明は、加算式手ぶれ補正処理などで生成される合成画像の画質の向上に寄与する撮像装置を提供することを目的とする。

上記目的を達成するために本発明に係る撮像装置は、複数の分割露光画像を順次撮影する撮像手段と、前記複数の分割露光画像から１枚の合成画像を生成する合成画像生成手段と、を備えた撮像装置であって、前記合成画像生成手段は、前記複数の分割露光画像の内の何れかを基準画像とし且つ他の分割露光画像を非基準画像として、前記基準画像と前記非基準画像との間の相関の大きさに基づいて、各非基準画像が有効か否かを判別する相関評価手段と、前記基準画像と有効な前記非基準画像とから成る複数の合成用候補画像の一部又は全部を加算合成することにより前記合成画像を生成する画像合成手段と、を備えたことを特徴とする。

これにより、例えば、基準画像との間の相関の大きさが比較的小さく、加算合成の対象画像とすると合成画像の画質劣化を引き起こすような非基準画像を除外して加算合成を行うことが可能となる。この結果、合成画像の画質の向上が見込める。

具体的には例えば、前記複数の合成用候補画像の枚数が予め設定された必要加算枚数以上である場合、前記画像合成手段は、前記複数の合成用候補画像の内の、前記必要加算枚数分の合成用候補画像の夫々を合成用画像とし、各合成用画像を加算合成することにより前記合成画像を生成する。

また、具体的には例えば、前記複数の合成用候補画像の枚数が予め設定された必要加算枚数よりも少ない場合、前記合成画像生成手段は、前記複数の合成用候補画像に含まれる何れかの画像の複製画像を生成して前記複数の合成用候補画像と前記複製画像の合計枚数を前記必要加算枚数まで増加させ、前記画像合成手段は、前記複数の合成用候補画像と前記複製画像の夫々を合成用画像とし、各合成用画像を加算合成することにより前記合成画像を生成する。

これに代えて例えば、前記複数の合成用候補画像の枚数が予め設定された必要加算枚数よりも少ない場合、前記画像合成手段は、その複数の合成用候補画像を加算合成することにより得られる画像に対し、前記複数の合成用候補画像の枚数と前記必要加算枚数との比に応じた明るさ補正を施すことにより、前記合成画像を生成する。

これらにより、前記複数の合成用候補画像の枚数が前記必要加算枚数よりも少ない場合でも、所望の明るさを有した合成画像を生成することが可能となる。

また例えば、前記撮像手段は、前記合成画像を生成するために、予め設定された必要加算枚数を超える枚数の分割露光画像を、前記複数の分割露光画像として順次撮影する。

これに代えて例えば、前記複数の合成用候補画像の枚数が予め設定された必要加算枚数に達するように、前記複数の分割露光画像の枚数は、各非基準画像に対する有効又は無効の判別結果に基づきつつ、動的に設定されるようにしてもよい。

これにより、本来必要な枚数分の合成用候補画像を確保することが可能となる。

また具体的には例えば、前記相関評価手段は、各分割露光画像に対して、輝度信号又は色信号に基づく評価値を算出し、前記基準画像に対する前記評価値と前記非基準画像に対する前記評価値を対比することにより、前記相関の大きさを評価し、該評価結果に基づいて各非基準画像が有効か否かを判別する。

尚、色信号とは、例えば、Ｒ信号、Ｇ信号又はＢ信号である。

また具体的には例えば、前記撮像手段は、複数の受光画素から成る撮像素子と、複数の色のカラーフィルタを備え、各受光画素には何れかの色のカラーフィルタが設けられ、各分割露光画像は、前記複数の受光画素からの出力信号によって表され、前記相関評価手段は、各分割露光画像に対して、同一色のカラーフィルタが設けられた前記受光画素の出力信号に基づく評価値を算出し、前記基準画像に対する前記評価値と前記非基準画像に対する前記評価値を対比することにより、前記相関の大きさを評価し、該評価結果に基づいて各非基準画像が有効か否かを判別する。

また具体的には例えば、前記撮像手段の出力信号に基づいて、各分割露光画像間の画像の動きを表す動きベクトルを算出する動きベクトル算出手段を更に備え、前記相関評価手段は、前記動きベクトルに基づいて前記相関の大きさを評価し、該評価結果に基づいて各非基準画像が有効か否かを判別する。

本発明によれば、加算式手ぶれ補正処理などで生成される合成画像の画質の向上が見込める。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第４実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。

図１は、本発明の実施の形態に係る撮像装置１の全体ブロック図である。撮像装置１は、動画及び静止画を撮影可能なデジタルビデオカメラである。但し、撮像装置１は、静止画のみを撮影可能なデジタルスチルカメラであってもよい。

撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、映像信号処理部１３と、マイク１４と、音声信号処理部１５と、圧縮処理部１６と、内部メモリの一例としてのＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１７と、メモリカード（記憶手段）１８と、伸張処理部１９と、映像出力回路２０と、音声出力回路２１と、ＴＧ（タイミングジェネレータ）２２と、ＣＰＵ（Central Processing Unit）２３と、バス２４と、バス２５と、操作部２６と、表示部２７と、スピーカ２８と、を備えている。操作部２６は、録画ボタン２６ａ、シャッタボタン２６ｂ及び操作キー２６ｃ等を有している。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。

まず、撮像装置１及び撮像装置１を構成する各部位の、基本的な機能について説明する。

ＴＧ２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。具体的には、タイミング制御信号は、撮像部１１、映像信号処理部１３、音声信号処理部１５、圧縮処理部１６、伸張処理部１９及びＣＰＵ２３に与えられる。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。

ＣＰＵ２３は、撮像装置１内の各部の動作を統括的に制御する。操作部２６は、ユーザによる操作を受け付ける。操作部２６に与えられた操作内容は、ＣＰＵ２３に伝達される。ＳＤＲＡＭ１７は、フレームメモリとして機能する。撮像装置１内の各部は、必要に応じ、信号処理時に一時的に各種のデータ（デジタル信号）をＳＤＲＡＭ１７に記録する。

メモリカード１８は、外部記録媒体であり、例えば、ＳＤ（Secure Digital）メモリカードである。尚、本実施形態では外部記録媒体としてメモリカード１８を例示しているが、外部記録媒体を、１または複数のランダムアクセス可能な記録媒体（半導体メモリ、メモリカード、光ディスク、磁気ディスク等）で構成することができる。

図２は、図１の撮像部１１の内部構成図である。撮像部１１にカラーフィルタなどを用いることにより、撮像装置１は、撮影によってカラー画像を生成可能なように構成されている。

撮像部１１は、光学系３５と、絞り３２と、撮像素子３３と、ドライバ３４を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズを備えて構成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、ＣＰＵ２３からの制御信号に基づいて、ズームレンズ３０及びフォーカスレンズ３１の移動を制御し、光学系３５のズーム倍率や焦点距離を制御する。また、ドライバ３４は、ＣＰＵ２３からの制御信号に基づいて絞り３２の開度（開口部の大きさ）を制御する。

被写体からの入射光は、光学系３５を構成する各レンズ及び絞り３２を介して、撮像素子３３に入射する。光学系３５を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。

撮像素子３３は、例えばＣＣＤ（Charge Coupled Devices）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる。撮像素子３３は、光学系３５及び絞り３２を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の画素（受光画素；不図示）を備え、各撮影において、各画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各画素からの電気信号は、ＴＧ２２からの駆動パルスに従って、後段のＡＦＥ１２に順次出力される。光学系３５に入射する光学像が同じであり且つ絞り３２の開度が同じである場合、撮像素子３３（各画素）からの電気信号の大きさ（強度）は上記露光時間に比例して増大する。

ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、映像信号処理部１３に出力する。

映像信号処理部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像（以下、「撮影画像」ともいう）を表す映像信号を生成する。映像信号は、撮影画像の輝度を表す輝度信号Ｙと、撮影画像の色を表す色差信号Ｕ及びＶと、から構成される。映像信号処理部１３にて生成された映像信号は、圧縮処理部１６と映像出力回路２０に送られる。

尚、映像信号処理部１３は、撮影画像中のフォーカス検出領域内のコントラスト量に応じたＡＦ評価値及び撮影画像の明るさに応じたＡＥ評価値を検出し、それらをＣＰＵ２３に伝達する。ＣＰＵ２３は、ＡＦ評価値に応じて図２のドライバ３４を介してフォーカスレンズ３１の位置を調節することにより、被写体の光学像を撮像素子３３上に結像させる。また、ＣＰＵ２３は、ＡＥ評価値に応じて図２のドライバ３４を介して絞り３２の開度（及び必要に応じてＡＦＥ１２における信号増幅の増幅度）を調節することにより、受光量（画像の明るさ）を制御する。

図１において、マイク１４は、外部から与えられた音声（音）を、アナログの電気信号に変換して出力する。音声信号処理部１５は、マイク１４から出力される電気信号（音声アナログ信号）をデジタル信号に変換する。この変換によって得られたデジタル信号は、マイク１４に対して入力された音声を表す音声信号として圧縮処理部１６に送られる。

圧縮処理部１６は、映像信号処理部１３からの映像信号を、所定の圧縮方式を用いて圧縮する。動画または静止画撮影時において、圧縮された映像信号はメモリカード１８に送られ、メモリカード１８に記録される。また、圧縮処理部１６は、音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。動画撮影時において、映像信号処理部１３からの映像信号と音声信号処理部１５からの音声信号は、圧縮処理部１６にて時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらはメモリカード１８に記録される。

撮像装置１の動作モードには、動画または静止画の撮影が可能な撮影モードと、メモリカード１８に格納された動画または静止画を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。録画ボタン２６ａに対する操作に従って動画撮影の開始又は終了が実施される。また、シャッタボタン２６ｂに対する操作に従って静止画撮影が実施される。

再生モードにおいて、ユーザが操作キー２６ｃに所定の操作を施すと、メモリカード１８に記録された動画または静止画を表す圧縮された映像信号は、伸張処理部１９に送られる。伸張処理部１９は、受け取った映像信号を伸張して映像出力回路２０に送る。また、撮影モードにおいては、通常、動画または静止画を撮影しているか否かに拘らず、映像信号処理１３による映像信号の生成が逐次行われており、その映像信号は映像出力回路２０に送られる。

映像出力回路２０は、与えられたデジタルの映像信号を表示部２７で表示可能な形式の映像信号（例えば、アナログの映像信号）に変換して出力する。表示部２７は、液晶ディスプレイなどの表示装置であり、映像出力回路２０から出力された映像信号に応じた画像を表示する。

また、再生モードにおいて動画を再生する際、メモリカード１８に記録された動画に対応する圧縮された音声信号も、伸張処理部１９に送られる。伸張処理部１９は、受け取った音声信号を伸張して音声出力回路２１に送る。音声出力回路２１は、与えられたデジタルの音声信号をスピーカ２８にて出力可能な形式の音声信号（例えば、アナログの音声信号）に変換してスピーカ２８に出力する。スピーカ２８は、音声出力回路２１からの音声信号を音声（音）として外部に出力する。

撮像装置１は、特徴的な機能として、加算式手ぶれ補正処理を実現可能に形成されている。加算式手ぶれ補正処理では、複数の分割露光画像が連続撮影され、各分割露光画像を位置合わせして加算合成することにより、手ぶれの影響が抑制された１枚の合成画像が生成される。生成された合成画像は、メモリカード１８に格納される。

今、１回の露光によって所望の明るさの画像を得るための露光時間をＴ１とする。加算式手ぶれ補正処理を実施する場合、露光時間Ｔ１がＭ個に分割される。ここで、Ｍは、２以上の整数である。そして、露光時間Ｔ１をＭ個に分割することによって得られた露光時間Ｔ２（＝Ｔ１／Ｍ）にて連続撮影を行う。露光時間Ｔ２の撮影によって得られた撮影画像を「分割露光画像」という。各分割露光画像は、所望の明るさの画像を得るための露光時間Ｔ１をＭで割った露光時間Ｔ２（＝Ｔ１／Ｍ）にて撮影される訳であるから、Ｍは、所望の明るさを有した１枚の合成画像を加算合成によって得るために必要な画像の枚数を表す。この観点から、Ｍを、必要加算枚数と呼ぶことができる。

各分割露光画像内における手ぶれの影響が無視できるように、光学系３５の焦点距離に応じて露光時間Ｔ２が設定される。そして、設定された露光時間Ｔ２と、所望の明るさの画像を得られるようにＡＥ評価値等に応じて設定された露光時間Ｔ１と、に基づいて、必要加算枚数Ｍは決定される。

通常、加算合成によって１枚の合成画像を得る場合、分割露光画像をＭ枚だけ連続撮影するのであるが、撮像装置１では、Ｎ枚の分割露光画像を連続撮影する。Ｎは、Ｍ又はＭより大きい整数である。そして、Ｎ枚の分割露光画像の内の、Ｍ枚の分割露光画像を加算合成することにより、１枚の合成画像を生成する。また、詳細は後述するが、場合によってはＭ枚未満の分割露光画像の加算合成によって、１枚の合成画像が生成されうる。

図３に、加算式手ぶれ補正処理を実現するための手ぶれ補正処理部（合成画像生成手段）４０の機能ブロック図を示す。手ぶれ補正処理部４０は、動き検出部４１、相関評価値算出部４２、有効／無効判別部４３（以下、単に「判別部４３」という）、位置ずれ補正部４４及び画像合成演算部４５を備える。手ぶれ補正処理部４０は、主として図１の映像信号処理部１３によって実現されるが、その実現に際し、撮像装置１の他の部位（例えば、ＣＰＵ２３及び／又はＳＤＲＡＭ１７）の機能も利用されうる。

図４を参照して、動き検出部４１の機能について説明する。図４において、符号１０１は１枚の分割露光画像を表し、符号１０２は該分割露光画像内に定義された複数の動き検出領域を表す。動き検出部４１は、公知又は周知の画像マッチング法（ブロックマッチング法または代表点マッチング法など）を用いることにより、指定された２枚の分割露光画像間における動きベクトルを動き検出領域ごとに算出する。動き検出領域について算出された動きベクトルを領域動きベクトルという。或る動き検出領域についての領域動きベクトルは、対比された２枚の分割露光画像間における、当該動き検出領域内の画像の動きの大きさ及び向きを特定する。

更に、動き検出部４１は、動き検出領域の個数分の領域動きベクトルの平均ベクトルを全体動きベクトルとして算出する。この全体動きベクトルは、対比された２枚の分割露光画像間における、画像全体の動きの大きさ及び向きを特定する。尚、領域動きベクトルごとに、領域動きベクトルの信頼性を評価し、信頼性の低い領域動きベクトルを除外した上で全体動きベクトルを算出するようにしてもよい。

相関評価値算出部４２、判別部４３、位置ずれ補正部４４及び画像合成演算部４５の機能については、後述の各実施例の中で説明する。

加算式手ぶれ補正処理を具体的に説明する各実施例を、以下に説明する。或る実施例に記載した事項は、矛盾なき限り、他の実施例にも適用可能である。

＜＜第１実施例＞＞
まず、第１実施例について説明する。第１実施例では、Ｎは、Ｍより大きい整数とされる。例えば、Ｎの値は、Ｍに所定の自然数を加えた値とされる。

第１実施例では、加算合成のための処理手順として、第１の処理手順が採用される。図５（ａ）及び（ｂ）に、第１の処理手順の概念図を示す。第１の処理手順では、連続撮影によって得られたＮ枚の分割露光画像の全てを、一旦、図５（ａ）に示す如く画像メモリ５０に格納する。この画像メモリ５０として、例えば、図１のＳＤＲＡＭ１７が用いられる。

そして、Ｎ枚の分割露光画像の内の、何れか１枚の分割露光画像を基準画像Ｉ_Oとして決定すると共に、それ以外の（Ｎ−１）枚の分割露光画像を非基準画像Ｉ_n（ｎ＝１、２、・・・、（Ｎ−１））とする。何れの分割露光画像を基準画像Ｉ_Oとするかについては後述する。以下、記述の簡略化上、基準画像Ｉ_Oを単にＩ_Oと記述し、非基準画像Ｉ_nを単にＩ_nと記述する場合がある。また、Ｉ_O又はＩ_nの記号の記載を省略する場合もある。

図３の相関評価値算出部４２は、画像メモリ５０から基準画像を読み出すと共に、非基準画像を順次読み出すことにより、非基準画像ごとに、基準画像と非基準画像との相関の大きさ（換言すれば、類似度）を評価するための相関評価値を算出する。また、相関評価値算出部４２は、基準画像についての相関評価値も算出する。図３の判別部４３は、相関評価値に基づいて、基準画像と非基準画像との相関の大きさを判断し、基準画像との相関が小さいと判断した非基準画像を画像メモリ５０から削除する。図５（ｂ）は、この削除後の画像メモリ５０の記憶内容を模式的に表している。その後、画像メモリ５０内の各画像は、位置ずれ補正部４４によって位置合わせされた後、画像合成演算部４５によって加算合成される。

［図６；動作フロー］
図６を参照して、第１実施例における加算式手ぶれ補正処理の動作を説明する。図６は、この動作の手順を表すフローチャートである。

操作部２６（図１参照）に対する所定操作に応じ、ステップＳ１において、撮像部１１は、Ｎ枚の分割露光画像を連続撮影する。続いてステップＳ２において、図３の手ぶれ補正処理部４０は、１枚の基準画像Ｉ_Oと（Ｎ―１）枚の非基準画像Ｉ_nを決定する。ｎは、１、２、・・・、及び（Ｎ−１）の何れかの値をとる。

その後、ステップＳ３において、図３の相関評価値算出部４２は、基準画像Ｉ_Oについての相関評価値を算出する。或る分割露光画像の相関評価値は、その分割露光画像の特徴を表しており、例えば、その画像全体の平均輝度とされる。相関評価値の算出手法については他の実施例で詳説する。

続くステップＳ４において、変数ｎに１が代入され、ステップＳ５に移行する。ステップＳ５において、相関評価値算出部４２は、非基準画像Ｉ_nについての相関評価値を算出する。例えば、変数ｎが１である時はＩ₁についての相関評価値を算出し、変数ｎが２である時はＩ₂についての相関評価値を算出する。変数ｎが１又は２以外である場合も同様である。

ステップＳ５の後に続くステップＳ６において、判別部４３は、ステップＳ３で算出された基準画像Ｉ_Oについての相関評価値とステップＳ５で算出された非基準画像Ｉ_nについての相関評価値とを対比することにより、基準画像Ｉ_Oと非基準画像Ｉ_nとの間の相関の大きさを評価する。例えば、変数ｎが１である時は、Ｉ_OとＩ₁についての相関評価値の対比を介してＩ_OとＩ₁との間の相関の大きさを評価する。変数ｎが１以外である場合も同様である。

Ｉ_Oとの関係におけるＩ_nの相関の大きさが比較的大きいと判断した場合（ステップＳ６のＹｅｓ）、ステップＳ７に移行し、判別部４３はＩ_nが有効であると判断する。一方、Ｉ_Oとの関係におけるＩ_nの相関の大きさが比較的小さいと判断した場合（ステップＳ６のＮｏ）、ステップＳ８に移行し、判別部４３はＩ_nが無効であると判断する。例えば、変数ｎが１である場合、Ｉ_OとＩ₁との間の相関の大きさに基づいて、Ｉ₁の有効又は無効を判断する。

基準画像Ｉ_Oと非基準画像Ｉ_nとの間の相関の大きさは、基準画像Ｉ_Oと非基準画像Ｉ_nとの類似度を表しており、その相関の大きさが比較的大きい場合、その類似度は比較的大きく、その相関の大きさが比較的小さい場合、その類似度は比較的小さい。或る基準画像と或る非基準画像が完全に同一の画像である場合、両画像の特徴を表す、両画像についての相関評価値は完全に一致し、両画像間について評価された相関の大きさは極大値をとる。

ステップＳ７又はＳ８の処理を終えるとステップＳ９に移行する、ステップＳ９では、変数ｎが（Ｎ−１）と一致しているかが判断され、一致している場合はステップＳ１１に移行する一方、一致していない場合はステップＳ１０にて変数ｎに１を加えてからステップＳ５に戻り、上述のステップＳ５〜Ｓ８の処理が繰り返される。これにより、非基準画像ごとに、基準画像と非基準画像との間の相関の大きさが評価され、評価された各相関の大きさに基づいて各非基準画像が有効であるか或いは無効であるかが判別される。

ステップＳ１１では、合成用候補画像の枚数が、必要加算枚数Ｍ以上であるか否かを判断する。合成用候補画像は、加算合成の対象画像である合成用画像の候補である。基準画像Ｉ_Oと有効な非基準画像（ステップＳ７にて有効であると判別された非基準画像）Ｉ_nの夫々が合成用候補画像とされ、無効な非基準画像（ステップＳ８にて無効であると判別された非基準画像）Ｉ_nは合成用候補画像とならない。従って、有効な非基準画像Ｉ_nの枚数をＰ_NUMで表した場合、ステップＳ１１では、不等式「（Ｐ_NUM＋１）≧Ｍ」の成立又は不成立が判断される。この不等式が成立する場合はステップＳ１２に移行する。

上述したように、Ｉ_Oと有効なＩ_nの夫々は、合成用候補画像とされる。ステップＳ１２において、手ぶれ補正処理部４０は、（Ｐ_NUM＋１）枚の合成用候補画像の内の、Ｍ枚の合成用候補画像を、Ｍ枚の合成用画像として選択する。

（Ｐ_NUM＋１）とＭが同じである場合は、選択するまでもなく、全ての合成用候補画像の夫々がそのまま合成用画像とされる。（Ｐ_NUM＋１）がＭより大きい場合、例えば、まず、基準画像Ｉ_Oを合成用候補画像として選択する。そして例えば、基準画像Ｉ_Oにより近いタイミングで撮影された合成用候補画像を優先的に合成用画像として選択する。或いは、基準画像Ｉ_Oとの間の相関がより大きい合成用候補画像を優先的に合成用画像として選択する。

動き検出部４１は、図７に示す如く、Ｍ枚の合成用画像の中の１枚の合成用画像をずれ補正基準画像として捉えると共に他の（Ｍ−１）枚の合成用画像を被ずれ補正画像として捉え、被ずれ補正画像ごとに、ずれ補正基準画像と被ずれ補正画像との間の全体動きベクトルを算出する。ずれ補正基準画像は、典型的には基準画像Ｉ_Oと一致するが、基準画像Ｉ_O以外であってもよい。例として、以下、ずれ補正基準画像が基準画像Ｉ_Oと一致するものとする。

ステップＳ１２に続くステップＳ１３において、位置ずれ補正部４４は、算出された各全体動きベクトルに基づき、ずれ補正基準画像としての合成用画像（即ち、基準画像Ｉ_O）と他の合成用画像との間の位置ずれがなくなるように、各合成用画像の座標を基準画像Ｉ_Oの座標に座標変換する。即ち、基準画像Ｉ_Oを基準として、（Ｍ−１）枚の他の合成用画像の位置合わせを行う。そして、画像合成演算部４５は、位置合わせ後の各合成用画像の各画素値を同一座標間で加算し合い、その加算結果を画像メモリ５０（図６参照）に格納する。つまり、合成用画像間の位置ずれを補正した上で各画素値を加算合成することにより得られる合成画像が画像メモリ５０に格納される。

ステップＳ１１において、不等式「（Ｐ_NUM＋１）≧Ｍ」が成立しなかった場合、即ち、基準画像Ｉ_Oと有効な非基準画像Ｉ_nとから成る複数の合成用候補画像の枚数（Ｐ_NUM＋１）が必要加算枚数Ｍ未満であった場合、ステップＳ１４に移行する。ステップＳ１４において、手ぶれ補正処理部４０は、基準画像Ｉ_Oと有効な非基準画像Ｉ_nの内の何れかを複製元画像として選択し、複製元画像の複製画像を（Ｍ−（（Ｐ_NUM＋１））枚生成する。そして、基準画像Ｉ_Oと有効な非基準画像Ｉ_nと複製画像とを、加算合成によって合成画像を得るための合成用画像（合計Ｍ枚）とする。

例えば、複製元画像は、基準画像Ｉ_Oとされる。基準画像Ｉ_Oの複製画像は、基準画像Ｉ_Oとの相関が最も大きく、加算合成によって画質劣化が低く抑えられるからである。
また例えば、複製元画像を、有効な非基準画像Ｉ_nであって且つ基準画像Ｉ_Oに最も近いタイミングで撮影された非基準画像Ｉ_nとしてもよい。基準画像Ｉ_Oとの撮影間隔が短いほど、手ぶれの影響が少なく加算合成によって画質劣化が低く抑えられるからである。
但し、複製元画像として、他の任意の有効な非基準画像Ｉ_nを選定することも可能である。

ステップＳ１４にてＭ枚の合成用画像が決定されると、ステップＳ１５に移行する。ステップＳ１５では、上述したステップＳ１３での処理と同様の処理を行うことにより、１枚の合成画像を生成する。

また、ステップＳ１１において、不等式「（Ｐ_NUM＋１）≧Ｍ」が成立しなかった場合、ステップＳ１４の代わりに図８に示すステップＳ２１に移行するようにしてもよい。ステップＳ２１では、基準画像Ｉ_Oと有効な非基準画像Ｉ_nの夫々が合成用画像とされる。ステップＳ２１を終えるとステップＳ２２に移行し、上述したステップＳ１３での処理と同様の処理を行うことにより、必要加算枚数Ｍに満たない（Ｐ_NUM＋１）枚の合成用画像から１枚の合成画像を生成する。この段階で生成される合成画像を、第１次合成画像と呼ぶ。

合成用画像の枚数（Ｐ_NUM＋１）は必要加算枚数Ｍより小さいため、第１次合成画像の明るさは小さい。そこで、ステップＳ２２の処理を終えるとステップＳ２３に移行し、第１次合成画像に対し、ゲイン（Ｍ／（Ｐ_NUM＋１））を用いて明るさ補正を行う。尚、明るさ補正は、例えば、画像合成演算部４５内（又は外）に備えられた明るさ補正部（不図示）によって実現される。

例えば、第１次合成画像がＹＵＶ形式の映像信号にて表現されている場合、即ち、第１次合成画像の各画素の映像信号が輝度信号Ｙ並びに色差信号Ｕ及びＶにて表現されている場合は、第１次合成画像の各画素の輝度信号Ｙをゲイン（Ｍ／（Ｐ_NUM＋１））倍する明るさ補正を施し、この明るさ補正後の画像を、手ぶれ補正処理部４０が出力すべき最終的な合成画像とする。この際、輝度信号だけを大きくすると、画像の観察者は画像の色が薄くなったように感じるため、第１次合成画像の各画素の色差信号Ｕ及びＶも、同一のゲイン又はそれ未満のゲインを用いて、増大させるとよい。
また例えば、第１次合成画像がＲＧＢ形式の映像信号にて表現されている場合、即ち、第１次合成画像の各画素の映像信号が赤成分の強度を表すＲ信号、緑成分の強度を表すＧ信号および青成分の強度を表すＢ信号にて表現されている場合は、第１次合成画像の各画素のＲ信号、Ｇ信号及びＢ信号の夫々をゲイン（Ｍ／（Ｐ_NUM＋１））倍することによって明るさ補正を施し、この明るさ補正後の画像を、手ぶれ補正処理部４０が出力すべき最終的な合成画像とする。
また例えば、撮像素子３３がカラーフィルタを用いた単板式の撮像素子である場合であって、第１次合成画像がＡＦＥ１２の出力信号そのものにて表現されている場合は、第１次合成画像の各画素の画素信号を表すＡＦＥ１２の出力信号をゲイン（Ｍ／（Ｐ_NUM＋１））倍する明るさ補正を施し、この明るさ補正後の画像を、手ぶれ補正処理部４０が出力すべき最終的な合成画像とする。

本実施例によれば、基準画像との相関が小さく加算合成に適さない非基準画像が加算合成対象から除外されるため、合成画像の画質が向上する（画質の劣化が抑制される）。また、基準画像と有効な非基準画像の合計枚数が必要加算枚数Ｍに満たない場合も、上述の複製処理又は明るさ補正処理を実施することにより、合成画像の生成が確保される。

また、第１の処理手順（図５参照）を採用すると、画像メモリ５０の必要記憶容量が比較的大きくなってしまうものの、基準画像Ｉ_Oの選択の自由度が高くなる。例えば、連続撮影されるＮ枚の分割露光画像の内の１番目に撮影された分割露光画像を固定的に基準画像Ｉ_Oとしてしまっていると、１番目の分割露光画像の撮影時点で周辺のカメラによるフラッシュ発光があった場合、良好な画質の合成画像を得がたくなる。

第１の処理手順では、このような問題を、基準画像Ｉ_Oを動的に設定することで解消することが可能である。基準画像Ｉ_Oを動的に設定する手法例として、第１及び第２設定例を例示する。
第１設定例では、一旦、１番目に撮影された分割露光画像を基準画像Ｉ_Oとして取り扱ってステップＳ３〜Ｓ１０の処理を実施し、無効と判断された非基準画像Ｉ_nの枚数をカウントする。そして、無効と判断された非基準画像Ｉ_nの枚数が、比較的大きく、所定枚数以上である場合は、ステップＳ１１に移行するのではなく、１番目に撮影された分割露光画像以外の分割露光画像を新たな基準画像Ｉ_Oとして捉えた上で、再度ステップＳ３〜Ｓ１０の処理を実行するようにする。その後、無効と判断された非基準画像Ｉ_nの枚数が所定枚数未満となれば、ステップＳ１１に移行するようにする。
第２設定例では、ステップＳ２の処理の時点で、分割露光画像ごとに分割露光画像の平均輝度を算出し、更に、分割露光画像ごとに算出した平均輝度の平均値を算出する。そして、この平均値に最も近い平均輝度を有する分割露光画像を基準画像Ｉ_Oとして決定する。

＜＜第２実施例＞＞
次に、第２実施例について説明する。第２実施例では、加算合成のための処理手順として、第２の処理手順が採用される。

図９に、第２の処理手順の概念図を示す。第２の処理手順では、連続撮影されるＮ枚の分割露光画像の内、１番目に撮影された分割露光画像が基準画像Ｉ_Oとされ、２番目以降に撮影された分割露光画像が非基準画像Ｉ_nとされる。基準画像Ｉ_Oは、画像メモリ５０に保存される。

その後、２番目以降の分割露光画像が新たに撮影される度に、新たに撮影された１枚の非基準画像Ｉ_nと基準画像Ｉ_Oとの間における相関の大きさを評価して該１枚の非基準画像Ｉ_nの有効又は無効を判別する。この判別の処理は、第１実施例におけるステップＳ３及びＳ５〜Ｓ８（図６）の処理と同様である。この際、次々と撮影される複数の非基準画像Ｉ_nの内、有効と判断された非基準画像Ｉ_nのみを画像メモリ５０に記憶していくようにする。

そして、有効な非基準画像Ｉ_nの枚数Ｐ_NUNが必要加算枚数Ｍから１を引いた値に達した時点で、新たな非基準画像Ｉ_nの撮影を止める。この時点では、画像メモリ５０に、１枚の基準画像Ｉ_Oと（Ｍ−１）枚の有効な非基準画像Ｉ_nとが保存されている。仮に、無効と判断された非基準画像Ｉ_nが１枚もない場合は、連続撮影の枚数Ｎは、必要加算枚数Ｍと一致することになる。

位置ずれ補正部４４及び画像合成演算部４５は、画像メモリ５０内に保存された、それらの画像を合成用画像（又は合成用候補画像）として捉え、第１実施例におけるステップＳ１３（図６）の処理と同様、各合成用画像を位置合わせして加算合成することにより１枚の合成画像を生成する。

このように、第２の処理手順では、基準画像との相関が大きい非基準画像が（Ｍ−１）枚得られるまで、何枚でも撮影を行うことができるため、必要枚数の合成用画像を得ることができないといった問題を回避することできる。また、第１の処理手順では、各分割露光画像間の相関の大きさに関係なく、画像メモリ５０は、Ｍより大きいＮ枚の分割露光画像を保存する必要があるが、第２の処理手順では、Ｍ枚分の分割露光画像だけを保存すれば足る。このため、第１の処理手順と比較して、画像メモリ５０の記憶容量が小さくて済む。

また、第２の処理手順の説明文中において、「有効な非基準画像Ｉ_nの枚数Ｐ_NUNが必要加算枚数Ｍから１を引いた値に達した時点で、新たな非基準画像Ｉ_nの撮影を止める。」と述べた。この処理は、合成画像を得るための合成用画像（合成用候補画像）の枚数が必要加算枚数Ｍに達するよう、非基準画像Ｉ_nの有効／無効判別結果に基づいて、連続撮影する分割露光画像の枚数Ｎを動的に設定することに相当する。

しかしながら、第２の処理手順においても、第１実施例に係る第１の処理手順と同様、連続撮影の枚数Ｎを固定的に設定しておくことも可能である。この場合、第１の処理手順を採用した場合と同様、Ｎ枚の分割露光画像の撮影後、不等式「（Ｐ_NUM＋１）≧Ｍ」が成立しなくなる場合があるが、不等式「（Ｐ_NUM＋１）≧Ｍ」が成立しない場合は、第１の処理手順を採用した場合と同様、図６のステップＳ１４及びＳ１５の処理、又は、図８のステップＳ２１〜Ｓ２３の処理を介して合成画像を生成すればよい。

尚、第２の処理手順において、基準画像Ｉ_Oを以下のように変更していくことも可能である。この変更を施す変形例を、変形処理手順という。図１０（ｂ）に、変形処理手順（基準画像Ｉ_Oを変更していく手法）の概念図を示す。これと対比するために、図１０（ａ）に、基準画像Ｉ_Oを１番目に撮影された分割露光画像で固定する手法の概念図を示す。図１０（ａ）及び（ｂ）において、矢印の始点に位置する分割露光画像は基準画像Ｉ_Oに対応し、矢印の始点及び終点に位置する分割露光画像間で有効／無効判別がなされる。

図１０（ｂ）に対応する変形処理手順では、まず、１番目に撮影された分割露光画像を基準画像Ｉ_Oとし、２番目以降の分割露光画像が新たに撮影される度に、新たに撮影された１枚の非基準画像Ｉ_nと基準画像Ｉ_Oとの間における相関の大きさを評価して該１枚の非基準画像Ｉ_nの有効又は無効を判別する。そして、或る非基準画像Ｉ_nが有効と判断された時点で、その有効な非基準画像Ｉ_nを新たな基準画像Ｉ_Oとして更新設定し、それ以後、この新たな基準画像Ｉ_Oとの間で新たに撮影される非基準画像Ｉ_nの相関の大きさを評価するようにする。

例えば、１番目に撮影された分割露光画像を基準画像Ｉ_Oと捉えた状態で、２番目に撮影された分割露光画像が無効と判断され、且つ、３番目に撮影された分割露光画像が有効と判断された時、その時点で、基準画像Ｉ_Oを１番目に撮影された分割露光画像から３番目に撮影された分割露光画像に切り換える。その後、３番目に撮影された分割露光画像である基準画像Ｉ_Oと４番目（又は、５番目・・・）に撮影された分割露光画像である非基準画像との間で相関の大きさを評価し、その非基準画像の有効又は無効を判断する。更にその後も、非基準画像が有効と判断される度に、基準画像Ｉ_Oを有効と判断された最新の非基準画像に切り換え設定する。

＜＜第３実施例＞＞
次に、相関の大きさの評価手法を説明する実施例として、第３実施例を説明する。第３実施例は、第１又は第２実施例と組み合わせて実施される。

相関の大きさの評価手法として、第１〜第１５評価手法を例示する。各評価手法の説明の中で、相関評価値の算出手法についても説明する。

第１、第３、第５、第７、第９、第１１及び第１３評価手法では、図１１に示す如く、各分割露光画像内に１つの相関評価領域が定義される。図１１において、符号２０１は１つの分割露光画像を表し、符号２０２は分割露光画像２０１内に定義された１つの相関評価領域を表す。相関評価領域２０２は、例えば、分割露光画像２０１の全体領域とされる。また、分割露光画像２０１内の一部領域を相関評価領域２０２として定義することも可能である。

一方、第２、第４、第６、第８、第１０、第１２及び第１４評価手法では、図１２に示す如く、各分割露光画像内にＱ個の相関評価領域が定義される。ここで、Ｑは、２以上の整数である。図１２において、符号２０１は１つの分割露光画像を表し、符号２０３が付された複数の矩形領域は、分割露光画像２０１内に定義されたＱ個の相関評価領域を表す。図１２は、分割露光画像２０１を垂直方向に３等分し且つ水平方向にも３等分することにより、Ｑを９とする場合を例示している。

尚、第１５評価手法に関しては、上記のような相関評価領域は定義されない。

第１〜第１４評価手法の説明の中で、説明の具体化及び明確化のため、（Ｎ−１）枚の非基準画像Ｉ_nの内、非基準画像Ｉ₁に着目し、基準画像Ｉ_Oと非基準画像Ｉ₁との間の相関の大きさを評価する場合を説明する。上述したように、基準画像Ｉ_Oと非基準画像Ｉ₁との間の相関の大きさが比較的小さいと判断された場合、非基準画像Ｉ₁は無効と判断され、それが比較的大きいと判断された場合、非基準画像Ｉ₁は有効と判断される。他の非基準画像についても同様に、有効または無効が判断される。

［第１評価手法：輝度平均］
まず、第１評価手法を説明する。第１評価手法では、上記の如く各分割露光画像内に１つの相関評価領域が定義される。そして、各分割露光画像に関し、相関評価領域内の各画素の輝度値の平均値が算出され、この平均値を相関評価値とする。

輝度値とは、図１のＡＦＥ１２の出力信号に基づいて映像信号処理部１３にて生成された輝度信号Ｙの値である。分割露光画像内の或る着目画素に関し、輝度値は該着目画素の輝度を表し、輝度値が増加するに従って該着目画素の輝度は増加する。

そして、基準画像Ｉ_Oの相関評価値をＣ_YOとし、非基準画像Ｉ₁の相関評価値をＣ_Y1とした場合、判別部４３は、下記式（１）の成立／不成立を判断する。ここで、ＴＨ₁は、所定の閾値である。
Ｃ_YO−Ｃ_Y1＞ＴＨ₁ ・・・（１）

判別部４３は、式（１）が成立する場合、Ｉ_Oの相関評価領域内の画像とＩ₁の相関評価領域内の画像との類似度が比較的低く、よって、Ｉ_OとＩ₁との間の相関の大きさが比較的小さいと判断する。一方、式（１）が不成立の場合、Ｉ_Oの相関評価領域内の画像とＩ₁の相関評価領域内の画像との類似度が比較的高く、よって、Ｉ_OとＩ₁との間の相関の大きさが比較的大きいと判断する。判別部４３は、式（１）の左辺の値が小さいほど、Ｉ_OとＩ₁との間の相関の大きさが大きいと判断することになる。

［第２評価手法：輝度平均］
次に、第２評価手法を説明する。第２評価手法は、第１評価手法と類似している。第２評価手法では、上記の如く各分割露光画像内にＱ個の相関評価領域が定義される。そして、各分割露光画像に関し、相関評価領域ごとに、第１評価手法と同様の手法にて相関評価値を算出する（即ち、相関評価領域ごとに、相関評価領域内の各画素の輝度値の平均値が算出され、この平均値を相関評価値とする）。従って、１つの分割露光画像について、Ｑ個の相関評価値が算出される。

判別部４３は、第１評価手法と同様の手法にて、相関評価領域ごとに、Ｉ_Oについての相関評価領域内の画像とＩ₁についての相関評価領域内の画像との類似度が比較的高いか或いは低いかを判断する。

そして、以下の「評価手法α」にて、Ｉ_OとＩ₁との間の相関の大きさを評価する。
評価手法αでは、ｐ_A個（ｐ_Aは１又は２以上の所定整数）以上の相関評価領域についての類似度が比較的低いと判断した場合は、Ｉ_OとＩ₁との間の相関の大きさが比較的小さいと判断し、そうでない場合は、Ｉ_OとＩ₁との間の相関の大きさが比較的大きいと判断する。

［第３評価手法：カラーフィルタごと信号平均］
次に、第３評価手法を説明する。第３評価手法及び後述する第４評価手法は、複数色のカラーフィルタを用いることにより、図２の撮像素子３３が単一の撮像素子から形成されている場合を想定している。このような撮像素子は、一般的に単板式の撮像素子と呼ばれる。

例えば、赤の光のみを通過させる赤フィルタと、緑の光のみを通過させる緑フィルタと、青の光のみを通過させる青フィルタとを用意し（何れも不図示）、撮像素子３３の各受光画素の前面に、赤フィルタ、緑フィルタ及び青フィルタの何れかを配置させる。配置の手法は、例えば、ベイヤー配列とされる。赤フィルタに対応する受光画素の出力信号値、緑フィルタに対応する受光画素の出力信号値、青フィルタに対応する受光画素の出力信号値を、夫々、赤フィルタ信号値、緑フィルタ信号値、青フィルタ信号値とよぶ。赤フィルタ信号値、緑フィルタ信号値及び青フィルタ信号値は、実際には、図１のＡＦＥ１２からのデジタル出力信号の値によって表現される。

第３評価手法では、上記の如く各分割露光画像内に１つの相関評価領域が定義され、各分割露光画像に関し、相関評価領域内における赤フィルタ信号値の平均値、緑フィルタ信号値の平均値及び青フィルタ信号値の平均値が、夫々、赤フィルタ評価値、緑フィルタ評価値及び青フィルタ評価値として算出される。赤フィルタ評価値、緑フィルタ評価値及び青フィルタ評価値とによって、相関評価値が形成される。

そして、基準画像Ｉ_Oについての赤フィルタ評価値、緑フィルタ評価値及び青フィルタ評価値を夫々Ｃ_RFO、Ｃ_GFO及びＣ_BFOとし、非基準画像Ｉ₁についての赤フィルタ評価値、緑フィルタ評価値及び青フィルタ評価値を夫々Ｃ_RF1、Ｃ_GF1及びＣ_BF1とした場合、判別部４３は、下記式（２Ｒ）、（２Ｇ）及び（２Ｂ）の成立／不成立を判断する。ここで、ＴＨ_2R、ＴＨ_2G及びＴＨ_2Bは、所定の閾値であり、それらの値の一致又は不一致は任意である。
Ｃ_RFO−Ｃ_RF1＞ＴＨ_2R ・・・（２Ｒ）
Ｃ_GFO−Ｃ_GF1＞ＴＨ_2G ・・・（２Ｇ）
Ｃ_BFO−Ｃ_BF1＞ＴＨ_2B ・・・（２Ｂ）

判別部４３は、式（２Ｒ）、（２Ｇ）及び（２Ｂ）の内、所定個数（１又は２又は３）以上の式が成立する場合、Ｉ_Oの相関評価領域内の画像とＩ₁の相関評価領域内の画像との類似度が比較的低く、よって、Ｉ_OとＩ₁との間の相関の大きさが比較的小さいと判断する。そうでない場合は、Ｉ_Oの相関評価領域内の画像とＩ₁の相関評価領域内の画像との類似度が比較的高く、よって、Ｉ_OとＩ₁との間の相関の大きさが比較的大きいと判断する。

尚、赤、緑及び青の３色のカラーフィルタを設ける場合を例示したが、これは説明具体化のための例示であり、カラーフィルタの色及び色の種類数は、適宜、変更可能である。

［第４評価手法：カラーフィルタごと信号平均］
次に、第４評価手法を説明する。第４評価手法は、第３評価手法と類似している。第４評価手法では、上記の如く各分割露光画像内にＱ個の相関評価領域が定義される。そして、各分割露光画像に関し、相関評価領域ごとに、第３評価手法と同様の手法にて、赤フィルタ評価値、緑フィルタ評価値及び青フィルタ評価値から成る相関評価値を算出する。

判別部４３は、第３評価手法と同様の手法にて、相関評価領域ごとに、Ｉ_Oについての相関評価領域内の画像とＩ₁についての相関評価領域内の画像との類似度が比較的高いか或いは低いかを判断する。そして、上記評価手法α（第２評価手法を参照）にて、判別部４３は、Ｉ_OとＩ₁との間の相関の大きさを判断する。

［第５評価手法：ＲＧＢ信号平均］
次に、第５評価手法を説明する。第５評価手法は、ＲＧＢ信号の段階で相関評価値の算出を行い、これに基づいて相関の大きさの評価を行う。第５評価手法を採用する場合、図１の映像信号処理部１３（又は図３の手ぶれ補正処理４０）は、ＡＦＥ１２の出力信号から各分割露光画像の映像信号として、色信号であるＲ信号、Ｇ信号及びＢ信号を生成する。

第５評価手法では、上記の如く各分割露光画像内に１つの相関評価領域が定義され、各分割露光画像に関し、相関評価領域内におけるＲ信号値の平均値、Ｇ信号値の平均値及びＢ信号値の平均値が、夫々、Ｒ信号評価値、Ｇ信号評価値及びＢ信号評価値として算出される。Ｒ信号評価値、Ｇ信号評価値及びＢ信号評価値とによって、相関評価値が形成される。

Ｒ信号値、Ｇ信号値及びＢ信号値とは、夫々、Ｒ信号の値、Ｇ信号の値及びＢ信号の値である。分割露光画像内の或る着目画素に関し、Ｒ信号値、Ｇ信号値及びＢ信号値は、夫々、その着目画素の赤成分の強度、緑成分の強度、青成分の強度を表す。Ｒ信号値が増加するに従って該着目画素の赤成分は増加する。Ｇ信号値及びＢ信号値についても同様である。

そして、基準画像Ｉ_OについてのＲ信号評価値、Ｇ信号評価値及びＢ信号評価値を夫々Ｃ_RO、Ｃ_GO及びＣ_BOとし、非基準画像Ｉ₁についてのＲ信号評価値、Ｇ信号評価値及びＢ信号評価値を夫々Ｃ_R1、Ｃ_G1及びＣ_B1とした場合、判別部４３は、下記式（３Ｒ）、（３Ｇ）及び（３Ｂ）の成立／不成立を判断する。ここで、ＴＨ_3R、ＴＨ_3G及びＴＨ_3Bは、所定の閾値であり、それらの値の一致又は不一致は任意である。
Ｃ_RO−Ｃ_R1＞ＴＨ_3R ・・・（３Ｒ）
Ｃ_GO−Ｃ_G1＞ＴＨ_3G ・・・（３Ｇ）
Ｃ_BO−Ｃ_B1＞ＴＨ_3B ・・・（３Ｂ）

判別部４３は、式（３Ｒ）、（３Ｇ）及び（３Ｂ）の内、所定個数（１又は２又は３）以上の式が成立する場合、Ｉ_Oの相関評価領域内の画像とＩ₁の相関評価領域内の画像との類似度が比較的低く、よって、Ｉ_OとＩ₁との間の相関の大きさが比較的小さいと判断する。そうでない場合は、Ｉ_Oの相関評価領域内の画像とＩ₁の相関評価領域内の画像との類似度が比較的高く、よって、Ｉ_OとＩ₁との間の相関の大きさが比較的大きいと判断する。

［第６評価手法：カラーフィルタごと信号平均］
次に、第６評価手法を説明する。第６評価手法は、第５評価手法と類似している。第６評価手法では、上記の如く各分割露光画像内にＱ個の相関評価領域が定義される。そして、各分割露光画像に関し、相関評価領域ごとに、第５評価手法と同様の手法にて、Ｒ信号評価値、Ｇ信号評価値及びＢ信号評価値から成る相関評価値を算出する。

判別部４３は、第５評価手法と同様の手法にて、相関評価領域ごとに、Ｉ_Oについての相関評価領域内の画像とＩ₁についての相関評価領域内の画像との類似度が比較的高いか或いは低いかを判断する。そして、上記評価手法α（第２評価手法を参照）にて、判別部４３は、Ｉ_OとＩ₁との間の相関の大きさを判断する。

［第７評価手法：輝度ヒストグラム］
次に、第７評価手法を説明する。第７評価手法では、上記の如く各分割露光画像内に１つの相関評価領域が定義される。そして、各分割露光画像に関し、相関評価領域内の各画素の輝度値のヒストグラムを生成する。今、説明の具体化のため、輝度値は、８ビットで表現され、０〜２５５の範囲内のデジタル値をとるものとする。

図１３（ａ）は、基準画像Ｉ_OについてのヒストグラムＨＳ_Oを表している。基準画像Ｉ_Oの相関評価値領域内の各画素の輝度値を、複数の段階で分類することによってヒストグラムＨＳ_Oを形成する。図１３（ｂ）は、非基準画像Ｉ₁についてのヒストグラムＨＳ₁を表している。ヒストグラムＨＳ₁もヒストグラムＨＳ_Oと同様、非基準画像Ｉ₁の相関評価値領域内の各画素の輝度値を、複数の段階で分類することによって形成される。

分類する段階の個数は、２〜２５６の範囲内から選ばれる。例えば、輝度値を１０ずつ区切って、２６段階で分類する場合を考える。この場合、例えば、輝度値“０〜９”は第１分類段階に属し、輝度値“１０〜１９”は第２分類段階に属し、・・・、輝度値“２４０〜２４９”は第２５分類段階に属し、輝度値“２５０〜２５５”は第２６分類段階に属することになる。

ヒストグラムＨＳ_Oを表す第１〜第２６分類段階の各度数が、基準画像Ｉ_Oについての相関評価値を形成し、ヒストグラムＨＳ₁を表す第１〜第２６分類段階の各度数が、非基準画像Ｉ₁についての相関評価値を形成する。

判別部４３は、第１〜第２６分類段階の分類段階ごとに、ヒストグラムＨＳ_Oについての度数とヒストグラムＨＳ₁についての度数との差分値を算出し、その差分値を所定の差分閾値と比較する。例えば、ヒストグラムＨＳ_Oの第１分類段階の度数とヒストグラムＨＳ₁の第１分類段階の度数との差分値と、上記差分閾値とを比較する。尚、差分閾値は、異なる分類段階間で異なっていても構わないし同じであっても構わない。

そして、ｐ_B個（ｐ_Bは、１≦ｐ_B≦２６を満たす所定整数）以上の分類段階に関して差分値が差分閾値よりも大きくなっている場合は、Ｉ_Oの相関評価領域内の画像とＩ₁の相関評価領域内の画像との類似度が比較的低く、よって、Ｉ_OとＩ₁との間の相関の大きさが比較的小さいと判断する。そうでない場合は、Ｉ_Oの相関評価領域内の画像とＩ₁の相関評価領域内の画像との類似度が比較的高く、よって、Ｉ_OとＩ₁との間の相関の大きさが比較的大きいと判断する。

また、以下のように処理しても良い（この処理を、変形度数処理という）。図１４を参照する。変形度数処理では、図１４（ａ）に表されるように、ヒストグラムＨＳ_Oにおいて最も度数の大きい分類段階を特定し、その分類段階の中心値を基準とした所定の範囲内の輝度値の度数Ａ_Oをカウントする。一方で、図１４（ｂ）に表されるように、ヒストグラムＨＳ₁に関しても、同一範囲内の輝度値の度数Ａ₁をカウントする。例えば、ヒストグラムＨＳ_Oにおいて最も度数の大きい分類段階が第１０分類段階である場合、ヒストグラムＨＳ_Oにおける第９〜第１１分類段階の度数の合計をＡ_Oとし、ヒストグラムＨＳ₁における第９〜第１１分類段階の度数の合計をＡ₁とする。

そして、（Ａ_O−Ａ₁）が所定の閾値ＴＨ₄よりも大きければ、Ｉ_Oの相関評価領域内の画像とＩ₁の相関評価領域内の画像との類似度が比較的低く、よって、Ｉ_OとＩ₁との間の相関の大きさが比較的小さいと判断する。そうでない場合は、Ｉ_Oの相関評価領域内の画像とＩ₁の相関評価領域内の画像との類似度が比較的高く、よって、Ｉ_OとＩ₁との間の相関の大きさが比較的大きいと判断する。

［第８評価手法：輝度ヒストグラム］
次に、第８評価手法を説明する。第８評価手法は、第７評価手法と類似している。第８評価手法では、上記の如く各分割露光画像内にＱ個の相関評価領域が定義される。そして、各分割露光画像に関し、相関評価領域ごとに、第７評価手法と同様の手法にて、輝度のヒストグラムに対応する相関評価値を算出する。

判別部４３は、第７評価手法と同様の手法にて、相関評価領域ごとに、Ｉ_Oについての相関評価領域内の画像とＩ₁についての相関評価領域内の画像との類似度が比較的高いか或いは低いかを判断する。そして、上記評価手法α（第２評価手法を参照）にて、判別部４３は、Ｉ_OとＩ₁との間の相関の大きさを判断する。

［第９評価手法：色フィルタ信号ヒストグラム］
次に、第９評価手法を説明する。第９評価手法及び後述する第１０評価手法は、第３評価手法と同様、図２の撮像素子３３が単一の撮像素子から形成されている場合を想定している。第９評価手法の説明において、第３評価手法の説明文中の文言を適用する。また、第９評価手法では、上記の如く各分割露光画像内に１つの相関評価領域が定義される。

そして、カラーフィルタの色ごとに、第７評価手法と同様の手法にて、ヒストグラムを生成する。つまり、各分割露光画像に関し、相関評価領域内の赤フィルタ信号値のヒストグラム、緑フィルタ信号値のヒストグラム及び青フィルタ信号値のヒストグラムを生成する。

今、基準画像Ｉ_Oについての赤フィルタ信号値のヒストグラムをＨＳ_RFO、緑フィルタ信号値のヒストグラムをＨＳ_GFO、青フィルタ信号値のヒストグラムをＨＳ_BFOにて表すと共に、非基準画像Ｉ₁についての赤フィルタ信号値のヒストグラムをＨＳ_RF1、緑フィルタ信号値のヒストグラムをＨＳ_GF1、青フィルタ信号値のヒストグラムをＨＳ_BF1にて表す。図１５は、これらのヒストグラムの様子を表している。また、第７評価手法の具体例と同様、各ヒストグラムが第１〜第２６分類段階で分類されているとする。

ヒストグラムＨＳ_RFO、ＨＳ_GFO及びＨＳ_BFOを表す各度数が、基準画像Ｉ_Oについての相関評価値を形成し、ヒストグラムＨＳ_RF1、ＨＳ_GF1及びＨＳ_BF1を表す各度数が、非基準画像Ｉ₁についての相関評価値を形成する。

判別部４３は、第１〜第２６分類段階の分類段階ごとに、ヒストグラムＨＳ_RFOについての度数とヒストグラムＨＳ_RF1についての度数との差分値ＤＩＦ_RFを算出し、その差分値ＤＩＦ_RFを所定の差分閾値ＴＨ_RFと比較する。例えば、ヒストグラムＨＳ_RFOの第１分類段階の度数とヒストグラムＨＳ_RF1の第１分類段階の度数との差分値と、上記差分閾値ＴＨ_RFとを比較する。尚、差分閾値ＴＨ_RFは、異なる分類段階間で異なっていても構わないし同じであっても構わない。
同様に、判別部４３は、第１〜第２６分類段階の分類段階ごとに、ヒストグラムＨＳ_GFOについての度数とヒストグラムＨＳ_GF1についての度数との差分値ＤＩＦ_GFを算出し、その差分値ＤＩＦ_GFを所定の差分閾値ＴＨ_GFと比較する。尚、差分閾値ＴＨ_GFは、異なる分類段階間で異なっていても構わないし同じであっても構わない。
同様に、判別部４３は、第１〜第２６分類段階の分類段階ごとに、ヒストグラムＨＳ_BFOについての度数とヒストグラムＨＳ_BF1についての度数との差分値ＤＩＦ_BFを算出し、その差分値ＤＩＦ_BFを所定の差分閾値ＴＨ_BFと比較する。尚、差分閾値ＴＨ_BFは、異なる分類段階間で異なっていても構わないし同じであっても構わない。

そして例えば、以下の第１〜第４のヒストグラム条件の内の、所定数（該所定数は、１又は２以上）以上の条件が満たされる場合、Ｉ_Oの相関評価領域内の画像とＩ₁の相関評価領域内の画像との類似度が比較的低く、よって、Ｉ_OとＩ₁との間の相関の大きさが比較的小さいと判断し、そうでない場合、Ｉ_Oの相関評価領域内の画像とＩ₁の相関評価領域内の画像との類似度が比較的高く、よって、Ｉ_OとＩ₁との間の相関の大きさが比較的大きいと判断する。

第１のヒストグラム条件は、「ｐ_CR個（ｐ_CRは、１≦ｐ_CR≦２６を満たす所定整数）以上の分類段階に関して、差分値ＤＩＦ_RFが差分閾値ＴＨ_RFよりも大きくなっている」という条件である。
第２のヒストグラム条件は、「ｐ_CG個（ｐ_CGは、１≦ｐ_CG≦２６を満たす所定整数）以上の分類段階に関して、差分値ＤＩＦ_GFが差分閾値ＴＨ_GFよりも大きくなっている」という条件である。
第３のヒストグラム条件は、「ｐ_CB個（ｐ_CBは、１≦ｐ_CB≦２６を満たす所定整数）以上の分類段階に関して、差分値ＤＩＦ_BFが差分閾値ＴＨ_BFよりも大きくなっている」という条件である。
第４のヒストグラム条件は、「ＤＩＦ_RF＞ＴＨ_RF、且つ、ＤＩＦ_GF＞ＴＨ_GF、且つ、ＤＩＦ_BF＞ＴＨ_BFを満たす分類段階が、所定個数以上存在する」という条件である。

また、第７評価手法において説明した変形度数処理（図１４参照）を、カラーフィルタの色ごとに適用するようにしてもよい。
例えば、ヒストグラムＨＳ_RFOにおいて最も度数の大きい分類段階を特定し、その分類段階の中心値を基準とした所定の範囲内の輝度値の度数Ａ_RFOをカウントする。一方で、ヒストグラムＨＳ₁に関しても、同一範囲内の輝度値の度数Ａ_RF1をカウントする。
同様に、ヒストグラムＨＳ_GFOにおいて最も度数の大きい分類段階を特定し、その分類段階の中心値を基準とした所定の範囲内の輝度値の度数Ａ_GFOをカウントする。一方で、ヒストグラムＨＳ₁に関しても、同一範囲内の輝度値の度数Ａ_GF1をカウントする。
同様に、ヒストグラムＨＳ_BFOにおいて最も度数の大きい分類段階を特定し、その分類段階の中心値を基準とした所定の範囲内の輝度値の度数Ａ_BFOをカウントする。一方で、ヒストグラムＨＳ₁に関しても、同一範囲内の輝度値の度数Ａ_BF1をカウントする。

そして、不等式：（Ａ_RFO−Ａ_RF1）＞ＴＨ_5R、不等式：（Ａ_GFO−Ａ_GF1）＞ＴＨ_5G及び不等式：（Ａ_BFO−Ａ_BF1）＞ＴＨ_5Bの内、１又は２又は３つの不等式が成立する場合に、Ｉ_Oの相関評価領域内の画像とＩ₁の相関評価領域内の画像との類似度が比較的低く、よって、Ｉ_OとＩ₁との間の相関の大きさが比較的小さいと判断する。そうでない場合は、Ｉ_Oの相関評価領域内の画像とＩ₁の相関評価領域内の画像との類似度が比較的高く、よって、Ｉ_OとＩ₁との間の相関の大きさが比較的大きいと判断する。ここで、ＴＨ_5R、ＴＨ_5G及びＴＨ_5Bは、所定の閾値であり、それらの値の一致又は不一致は任意である。

［第１０評価手法：色フィルタ信号ヒストグラム］
次に、第１０評価手法を説明する。第１０評価手法は、第９評価手法と類似している。第１０評価手法では、上記の如く各分割露光画像内にＱ個の相関評価領域が定義される。そして、各分割露光画像に関し、相関評価領域ごとに、第９評価手法と同様の手法にて、カラーフィルタの色ごとのヒストグラムに相当する相関評価値を算出する。

判別部４３は、第９評価手法と同様の手法にて、相関評価領域ごとに、Ｉ_Oについての相関評価領域内の画像とＩ₁についての相関評価領域内の画像との類似度が比較的高いか或いは低いかを判断する。そして、上記評価手法α（第２評価手法を参照）にて、判別部４３は、Ｉ_OとＩ₁との間の相関の大きさを判断する。

［第１１評価手法：ＲＧＢ信号ヒストグラム］
次に、第１１評価手法を説明する。第１１評価手法では、ＲＧＢ信号についてのヒストグラムが生成される。また、第１１評価手法では、上記の如く各分割露光画像内に１つの相関評価領域が定義される。

そして、Ｒ、Ｇ及びＢ信号ごとに、第７評価手法と同様の手法にて、ヒストグラムを生成する。つまり、各分割露光画像に関し、相関評価領域内のＲ信号値のヒストグラム、Ｇ信号値のヒストグラム及びＢ信号値のヒストグラムを生成する。

今、基準画像Ｉ_OについてのＲ信号値のヒストグラムをＨＳ_RO、Ｇ信号値のヒストグラムをＨＳ_GO、Ｂ信号値のヒストグラムをＨＳ_BOにて表すと共に、非基準画像Ｉ₁についてのＲ信号値のヒストグラムをＨＳ_R1、Ｇ信号値のヒストグラムをＨＳ_G1、Ｂ信号値のヒストグラムをＨＳ_B1にて表す。

ヒストグラムＨＳ_RO、ＨＳ_GO及びＨＳ_BOを表す各度数が、基準画像Ｉ_Oについての相関評価値を形成し、ヒストグラムＨＳ_R1、ＨＳ_G1及びＨＳ_B1を表す各度数が、非基準画像Ｉ₁についての相関評価値を形成する。

第９評価手法では、カラーフィルタの赤、緑、青の色ごとにヒストグラムを生成し、そのヒストグラムに基づいて相関の大きさの評価を行うのに対し、第１１評価手法では、Ｒ、Ｇ、Ｂ信号ごとにヒストグラムを生成し、そのヒストグラムに基づいて相関の大きさの評価を行う。第９及び１１評価手法において、相関の大きさの評価手法は共通するため、共通事項の説明を割愛する。第１１評価手法を採用する場合、第９評価手法におけるヒストグラムＨＳ_RFO、ＨＳ_GFO、ＨＳ_BFO、ＨＳ_RF1、ＨＳ_GF1及びＨＳ_BF1を、夫々、ヒストグラムＨＳ_RO、ＨＳ_GO、ＨＳ_BO、ＨＳ_R1、ＨＳ_G1及びＨＳ_B1に読み替えればよい。

［第１２評価手法：ＲＧＢ信号ヒストグラム］
次に、第１２評価手法を説明する。第１２評価手法は、第１１評価手法と類似している。第１２評価手法では、上記の如く各分割露光画像内にＱ個の相関評価領域が定義される。そして、各分割露光画像に関し、相関評価領域ごとに、第１１評価手法と同様の手法にて、Ｒ、Ｇ、Ｂ信号ごとのヒストグラムに相当する相関評価値を算出する。

判別部４３は、第１１評価手法と同様の手法にて、相関評価領域ごとに、Ｉ_Oについての相関評価領域内の画像とＩ₁についての相関評価領域内の画像との類似度が比較的高いか或いは低いかを判断する。そして、上記評価手法α（第２評価手法を参照）にて、判別部４３は、Ｉ_OとＩ₁との間の相関の大きさを判断する。

［第１３評価手法：画像の高周波成分］
次に、第１３評価手法を説明する。第１３評価手法では、上記の如く各分割露光画像内に１つの相関評価領域が定義される。そして、各分割露光画像に関し、相関評価領域内の高周波成分が算出され、算出された高周波成分の積算値を相関評価値とする。

具体例を挙げる。基準画像Ｉ_Oの相関評価領域内の各画素を注目画素として捉える。そして、注目画素の輝度値をＹ（ｘ，ｙ）にて表すと共に、注目画素の右方向に隣接する画素の輝度値をＹ（ｘ＋１，ｙ）にて表した場合、「Ｙ（ｘ，ｙ）−Ｙ（ｘ＋１，ｙ）」をエッジ成分として算出する。このエッジ成分は、基準画像Ｉ_Oの相関評価領域内の各画素を注目画素として捉えて算出され、各注目画素について算出されたエッジ成分の積算値を、基準画像Ｉ_Oについての相関評価値とする。非基準画像Ｉ₁についても、同様にして相関評価値が算出される。

判別部４３は、基準画像Ｉ_Oについての相関評価値と非基準画像Ｉ₁についての相関評価値との差分値を所定の閾値と比較し、前者が後者よりも大きい場合、Ｉ_Oの相関評価領域内の画像とＩ₁の相関評価領域内の画像との類似度が比較的低く、よって、Ｉ_OとＩ₁との間の相関の大きさが比較的小さいと判断する。一方、前者が後者よりも小さい場合、Ｉ_Oの相関評価領域内の画像とＩ₁の相関評価領域内の画像との類似度が比較的高く、よって、Ｉ_OとＩ₁との間の相関の大きさが比較的大きいと判断する。

上述の例では、２×１のサイズのオペレータを用いて垂直方向のエッジ成分を高周波成分として算出し、これによって相関評価値を算出しているが、他の任意の手法にて、相関評価値の算出の基となる高周波成分を算出することが可能である。例えば、任意のサイズを有する任意のオペレータを用いて、水平方向、垂直方向又は斜め方向のエッジ成分を高周波成分として算出するようにしても良いし、フーリエ変換を利用して高周波成分を算出するようにしてもよい。

［第１４評価手法：画像の高周波成分］
次に、第１４評価手法を説明する。第１４評価手法は、第１３評価手法と類似している。第１４評価手法では、上記の如く各分割露光画像内にＱ個の相関評価領域が定義される。そして、各分割露光画像に関し、相関評価領域ごとに、第１３評価手法と同様の手法にて、高周波成分に基づく相関評価値を算出する。

判別部４３は、第１３評価手法と同様の手法にて、相関評価領域ごとに、Ｉ_Oについての相関評価領域内の画像とＩ₁についての相関評価領域内の画像との類似度が比較的高いか或いは低いかを判断する。そして、上記評価手法α（第２評価手法を参照）にて、判別部４３は、Ｉ_OとＩ₁との間の相関の大きさを判断する。

［第１５評価手法：動きベクトル］
次に、第１５評価手法を説明する。第１５評価手法も、第１実施例に係る第１の処理手順又は第２実施例に係る第２の処理手順と組み合わせて用いられるが、第１５評価手法を採用する場合、基準画像Ｉ_Oについての相関評価値は存在しない。従って例えば、第１５評価手法に図６の動作手順を適用する場合、ステップＳ３の処理は削除され、それに伴って、ステップＳ４〜Ｓ１０の処理内容も適切に変更される。第１５評価手法を採用した場合における、各非基準画像の有効又は無効の判別手法は、以下の説明から明らかとなる。各非基準画像の有効又は無効の判別後の処理は、第１又は第２実施例で述べたものと同様である。

第１５評価手法では、図３の動き検出部４１の機能が利用される。上述したように、動き検出部４１は、対比された２枚の分割露光画像間における、複数の領域動きベクトルを算出する。

また上述したように、各分割露光画像内における手ぶれの影響が無視できるように、各分割露光画像についての露光時間Ｔ２は設定されるため、時間方向に近接して撮影された２枚の分割露光画像間における画像の動きは小さい。このため、通常は、その２枚の分割露光画像間における各領域動きベクトルの大きさは比較的小さい。逆に考えれば、その大きさが比較的大きいということは、その２枚の分割露光画像の内の一方（又は双方）が合成用画像として好ましくないことを表している。第１５評価手法は、このような特性に基づいている。

具体例を説明する。今、１番目に撮影された分割露光画像が基準画像Ｉ_Oであるとする。１番目と２番目に撮影された分割露光画像間における複数の領域動きベクトルを算出し、各領域動きベクトルの大きさを所定の閾値と比較する。そして、所定個数以上の領域動きベクトルの大きさが該閾値よりも大きい場合、判別部４３は、１番目に撮影された分割露光画像（基準画像Ｉ_O）と２番目に撮影された分割露光画像（非基準画像）との間の相関の大きさは比較的小さいと判断して、２番目に撮影された分割露光画像（非基準画像）を無効と判断し、そうでない場合、その相関の大きさは比較的大きいと判断して、２番目に撮影された分割露光画像を有効と判断する。

２番目に撮影された分割露光画像が有効であると判断された場合は、２番目と３番目に撮影された分割露光画像間における複数の領域動きベクトルを算出し、上述と同様の手法にて、３番目に撮影された分割露光画像（非基準画像）の有効又は無効を判断する。４番目以降に撮影された分割露光画像についても同様である。

２番目に撮影された分割露光画像が無効であると判断された場合は、１番目と３番目に撮影された分割露光画像間における複数の領域動きベクトルを算出し、各領域動きベクトルの大きさを所定の閾値と比較する。そして、所定個数以上の領域動きベクトルの大きさが該閾値よりも大きい場合、３番目に撮影された分割露光画像（非基準画像）も無効と判断して、１番目と４番目に撮影された分割露光画像間で同様の処理を行う（５番目以降に撮影された分割露光画像についても同様）一方、そうでない場合、３番目に撮影された分割露光画像を有効と判断して、その後、３番目と４番目の分割露光画像間の領域動きベクトルに基づき４番目の分割露光画像の有効又は無効を判断する。

第１５評価手法においては、図３の相関評価値算出部４２は、動き検出部４１にて算出される領域動きベクトルに基づいて相関評価値を算出すると考えることができる。また、その相関評価値は、例えば、領域動きベクトルの大きさを表す値と考えることができる。判別部４３は、その領域動きベクトルの大きさに基づくことにより基準画像Ｉ_Oとの間における各非基準画像の相関の大きさを見積もって、上述の如く各非基準画像の有効又は無効を判断する。基準画像Ｉ_Oとの間における相関の大きさが比較的大きいと見積もられた非基準画像は有効と判断され、基準画像Ｉ_Oとの間における相関の大きさが比較的小さいと見積もられた非基準画像は無効と判断されることになる。

＜＜第４実施例＞＞
ところで、図１８に示す例では、合成画像を生成するために連続撮影される複数の分割露光画像の内、１枚の分割露光画像のみに、撮影環境の急変に起因する影響が現れている。しかしながら、このような影響は２枚以上の分割露光画像に亘って現れうる。このような影響との関係における、図５に対応する第１の処理手順と図９に対応する第２の処理手順の利用例を、第４実施例として考察する。以下に、第１〜第３状況例を個別に説明する。

［第１状況例］
まず、第１状況例を説明する。第１状況例は、図２の撮像素子３３がＣＣＤイメージセンサである場合を想定している。図１６（ａ）は、このＣＣＤイメージセンサを用いて１番目、２番目、３番目及び４番目に撮影された分割露光画像３０１、３０２、３０３及び３０４を表しており、２番目の分割露光画像３０２の撮影タイミング近辺にて、周辺の他のカメラによってフラッシュが発光された場合を想定している。

撮像素子３３がＣＣＤイメージセンサである場合において、フラッシュの影響が複数フレームに亘る場合、図１６（ａ）に示す如く、例えば、分割露光画像３０２及び３０３の全体の明るさが、分割露光画像３０１などと比べて異常に大きくなる。このような状況の発生をも考慮して、図６のステップＳ１１における不等式「（Ｐ_NUM＋１）≧Ｍ」を満たそうとすると、画像メモリ５０（図５参照）の記憶容量を大きくせざるを得ない。このため、画像メモリ５０の記憶容量を小さく抑えるためには、図９に対応する第２の処理手順の採用が好ましい。

［第２状況例］
次に、第２状況例を説明する。第２状況例は、図２の撮像素子３３が、ローリングシャッタにて撮影を行うＣＭＯＳイメージセンサである場合を想定している。図１６（ｂ）は、このＣＭＯＳイメージセンサを用いて１番目、２番目、３番目及び４番目に撮影された分割露光画像３１１、３１２、３１３及び３１４を表しており、２番目の分割露光画像３１２の撮影タイミング近辺にて、周辺の他のカメラによってフラッシュが発光された場合を想定している。

ローリングシャッタにて撮影を行う場合、異なる水平ライン間で露光タイミングが異なる。このため、他のカメラによるフラッシュ発光の開始タイミング及び終了タイミングに依存して、分割露光画像３１２及び３１３のように、画像の上下で明るさが異なる分割露光画像が得られる場合がある。

このような場合、各分割露光画像内に１つの相関評価領域しか設けていないと（例えば、上記第１評価手法を採用すると）、画像の上下の信号値（輝度値など）の違いが平均化されてしまい、適切に相関の大きさを評価できない可能性がある。従って、ローリングシャッタにて撮影を行うＣＭＯＳイメージセンサを用いる場合は、各分割露光画像内に複数の相関評価領域を定義する評価手法（例えば、上記第２評価手法）の採用が適切である。複数の相関評価領域を定義して、相関評価領域ごとに基準画像と非基準画像との類似度を評価することにより、画像の上下の信号値の違いを適切に非基準画像の有効／無効の判断に反映させることができる。

［第３状況例］
また、図１６（ｃ）に示す如く、他のカメラのフラッシュ光が徐々に小さくなりながら複数フレームに亘って影響を与える場合もある（この状況を第３状況例とする）。図１６（ｃ）は、第３状況例における、１番目、２番目、３番目及び４番目に撮影された分割露光画像３２１、３２２、３２３及び３２４を表しており、２番目の分割露光画像３２２の撮影タイミング近辺にて、周辺の他のカメラによってフラッシュが発光された場合を想定している。尚、第３状況例では、撮像素子３３がＣＣＤイメージセンサであるかＣＭＯＳイメージセンサであるかは問わない。

このような状況の発生をも考慮して、図６のステップＳ１１における不等式「（Ｐ_NUM＋１）≧Ｍ」を満たそうとすると、画像メモリ５０（図５参照）の記憶容量を大きくせざるを得ない。このため、画像メモリ５０の記憶容量を小さく抑えるためには、図９に対応する第２の処理手順の採用が好ましい。

＜＜変形等＞＞
上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。また、或る値に関する「平均」を、矛盾なき限り、「積算」又は「合計」に読み替えて考えることが可能である。

［注釈２］
また、図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図３の手ぶれ補正処理部４０の機能（又は上述の加算式手ぶれ補正処理の機能）は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。

ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。図３の手ぶれ補正処理部４０の機能（又は上述の加算式手ぶれ補正処理の機能）の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。

［注釈３］
上述の実施形態において、図３の手ぶれ補正処理部４０は、合成画像生成手段として機能する。また、図３の判別部４３は、相関評価手段として機能する。この相関評価手段に、相関評価値算出部４２が含まれていると考えることもできる。また、図３の位置ずれ補正部４４と画像合成演算部４５とから成る部位は、画像合成手段として機能する。

本発明の実施の形態に係る撮像装置の全体ブロック図である。図１の撮像部の内部構成図である。図１の撮像装置に含まれる手ぶれ補正処理部の機能ブロック図である。図３の動き検出部にて定義される、分割露光画像内の複数の動き検出領域を示す図である。本発明の第１実施例に係る、第１の処理手順の概念図である。本発明の第１実施例に係る、加算式手ぶれ補正処理の動作フローチャートである。図３の位置ずれ補正部によって参照される全体動きベクトルの算出基画像を示す図である。図６の動作フローチャートの変形例を示す図である。本発明の第２実施例に係る、第２の処理手順の概念図である。図９に対応する第２の処理手順の変形例を説明するための図である。本発明の第３実施例に係り、各分割露光画像内に１つの相関評価領域が定義される様子を示す図である。本発明の第３実施例に係り、各分割露光画像内に複数の相関評価領域が定義される様子を示す図である。本発明の第３実施例に係る第７評価手法を説明するための図である。本発明の第３実施例に係る第７評価手法を説明するための図である。本発明の第３実施例に係る第９評価手法を説明するための図である。本発明の第４実施例に係り、各分割露光画像に対する他のカメラによるフラッシュ光の影響を説明するための図である。従来技術に係る加算式手ぶれ補正を説明するための図である。従来の加算式手ぶれ補正における問題点を説明するための図である。

符号の説明

１撮像装置
１１撮像部
１２ＡＦＥ
１３映像信号処理部
３３撮像素子
４０手ぶれ補正処理部
４１動き検出部
４２相関評価値算出部
４３有効／無効判別部
４４位置ずれ補正部
４５画像合成演算部

Claims

複数の分割露光画像を順次撮影する撮像手段と、
前記複数の分割露光画像から１枚の合成画像を生成する合成画像生成手段と、を備えた撮像装置であって、
前記合成画像生成手段は、
前記複数の分割露光画像の内の何れかを基準画像とし且つ他の分割露光画像を非基準画像として、前記基準画像と前記非基準画像との間の相関の大きさに基づいて、各非基準画像が有効か否かを判別する相関評価手段と、
前記基準画像と有効な前記非基準画像とから成る複数の合成用候補画像の一部又は全部を加算合成することにより前記合成画像を生成する画像合成手段と、を備え、
前記相関評価手段は、有効でない前記非基準画像の数が所定数以上である場合には、前記非基準画像の内の何れかを新たな基準画像とし且つ他の分割露光画像を非基準画像とすることを特徴とする撮像装置。
前記複数の合成用候補画像の枚数が予め設定された必要加算枚数以上である場合、前記画像合成手段は、前記複数の合成用候補画像の内の、前記必要加算枚数分の合成用候補画像の夫々を合成用画像とし、各合成用画像を加算合成することにより前記合成画像を生成する
ことを特徴とする請求項１に記載の撮像装置。
前記複数の合成用候補画像の枚数が予め設定された必要加算枚数よりも少ない場合、
前記合成画像生成手段は、前記複数の合成用候補画像に含まれる何れかの画像の複製画像を生成して前記複数の合成用候補画像と前記複製画像の合計枚数を前記必要加算枚数まで増加させ、前記画像合成手段は、前記複数の合成用候補画像と前記複製画像の夫々を合成用画像とし、各合成用画像を加算合成することにより前記合成画像を生成する
ことを特徴とする請求項１または請求項２に記載の撮像装置。
前記複数の合成用候補画像の枚数が予め設定された必要加算枚数よりも少ない場合、前記画像合成手段は、その複数の合成用候補画像を加算合成することにより得られる画像に対し、前記複数の合成用候補画像の枚数と前記必要加算枚数との比に応じた明るさ補正を施すことにより、前記合成画像を生成する
ことを特徴とする請求項１または請求項２に記載の撮像装置。
前記撮像手段は、前記合成画像を生成するために、予め設定された必要加算枚数を超える枚数の分割露光画像を、前記複数の分割露光画像として順次撮影する
ことを特徴とする請求項１〜請求項４の何れかに記載の撮像装置。
前記複数の合成用候補画像の枚数が予め設定された必要加算枚数に達するように、前記複数の分割露光画像の枚数は、各非基準画像に対する有効又は無効の判別結果に基づきつつ、動的に設定される
ことを特徴とする請求項１または請求項２に記載の撮像装置。
前記相関評価手段は、各分割露光画像に対して、輝度信号又は色信号に基づく評価値を算出し、
前記基準画像に対する前記評価値と前記非基準画像に対する前記評価値を対比することにより、前記相関の大きさを評価し、該評価結果に基づいて各非基準画像が有効か否かを判別する
ことを特徴とする請求項１〜請求項６の何れかに記載の撮像装置。
前記撮像手段は、複数の受光画素から成る撮像素子と、複数の色のカラーフィルタを備え、
各受光画素には何れかの色のカラーフィルタが設けられ、
各分割露光画像は、前記複数の受光画素からの出力信号によって表され、
前記相関評価手段は、各分割露光画像に対して、同一色のカラーフィルタが設けられた前記受光画素の出力信号に基づく評価値を算出し、
前記基準画像に対する前記評価値と前記非基準画像に対する前記評価値を対比することにより、前記相関の大きさを評価し、該評価結果に基づいて各非基準画像が有効か否かを判別する
ことを特徴とする請求項１〜請求項６の何れかに記載の撮像装置。
前記撮像手段の出力信号に基づいて、各分割露光画像間の画像の動きを表す動きベクトルを算出する動きベクトル算出手段を更に備え、
前記相関評価手段は、前記動きベクトルに基づいて前記相関の大きさを評価し、該評価結果に基づいて各非基準画像が有効か否かを判別する
ことを特徴とする請求項１〜請求項６の何れかに記載の撮像装置。