JP4492724B2 - 画像処理装置、画像処理方法、プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及び画像処理のためのプログラムに関するものである。

特開２００５−３５４１６６号公報 特開２００４−２１９７６５号公報 特開２００６−８６９３３号公報 特開２００６−１７４０６９号公報

写真や画像の撮影／撮像手法の１つとして長時間露光が知られている。これは、数秒から数十秒、場合によっては数十分に及ぶ時間、継続して露光を行う手法である。
この長時間露光は、被写体の明るさに対応するためだけでなく、写真の表現技法としても用いられている。
例えば夜景等の撮影で長時間露光が行われるが、これは、光量が少ないので、映像を得るのに十分な量の光を集めるために露光時間を長くすることが行われる。
また、意図的に絞りを暗く設定したり、撮像感度を低くしたりして、被写体の動きを表現したり、動いている被写体の中で静止している被写体の存在を浮かび上がらせたり、といった目的で行われる場合もある。
また、長時間露光中にフラッシュ（閃光装置）を用いることにより、先幕シンクロ／後幕シンクロ／マルチ発光などの効果を得る撮影手法も知られている。

しかしながら、長時間露光による撮像画像として、ユーザが意図した画像を得ることはなかなか困難であった。
近年の撮像装置（例えばデジタルスチルカメラ）では、通常の撮像時にカメラが測光を行い適切な露出設定（絞り値やシャッタースピード）を示すものがあるが、長時間露光を行うような暗い場面では、カメラの測光範囲の光量を外れてしまい、露光設定が示されない。このような場合、ユーザは、長時間露光撮像を行おうとすると、自分の経験と勘で露光時間やシャッタータイミングなどを決定しなければならず、実際上、熟練者でなければ困難である。

また合成処理により長時間露光としての画像効果を得る技術が、上記特許文献１に示されている。
この場合、露光中に固体撮像素子に光が取り込まれ、画像が浮かび上がってくる様子をリアルタイム観測すること、撮影後に、露光中に分割して生成された複数の画像を選択して合成すること、露光中の不適当な画像を除外することなどが示されている。
この技術によれば、長時間露光撮影のうち、被写体に動きのない（動きの少ない、或いは動いたとしても露光時間が十分に長くて写りこまない）撮影条件においては良好な画像が得られる。動きのない夜景などを長時間露光撮影する際には有効である。
しかしながら、被写体の動きのある静止画像、例えば被写体の動きを表現したり、動いている被写体の中で静止している被写体の存在を浮かび上がらせたりするような撮像を目的とする場合は、良好な画像を得ることが困難である。
また、露光中の不適当な画像（例えば、夜景を撮影しているときにそばを自動車が通り過ぎて、辺りが明るく照らし出されてしまった等）を除外することから、動きを円滑に表現する静止画像を得ることは難しい。

また、上述の先幕シンクロ／後幕シンクロ／マルチ発光は、写真撮像の表現手法の１つとして用いられるものであるが、撮像意図に沿った画像を得るためには、ユーザが自分の経験と勘でシャッタータイミング／露光時間／フラッシュの発光量などを決めなくてはならならず、これも熟練者でなければ困難である。
また実際上、美術館などの公衆においては「フラッシュ禁止」とされるような環境があるため、先幕シンクロ／後幕シンクロ／マルチ発光といった効果を得ようにも撮像が実行できない状況も多々ある。
さらに、フラッシュを焚くためには電力を消費しなくてはならないことから、フラッシュ用にバッテリー容量やコンデンサが必要となるため、機器の小型化／低消費電力化／低コスト化の阻害要因となっていた。
また長時間露光においては、カメラが動いてしまわないように三脚でカメラを固定する必要も多く、そのため、撮影者はカメラ本体以外に三脚などのアクセサリーを購入し、運搬しなくてはならず、機材の持ち運びにユーザに負担をかけるとともに、手軽に長時間露光撮像を行うことができなかった。
また、長時間露光においては、被写体の動きや手振れなどにより、撮像画像内で動く被写体のすべてが尾を引いてしまうため、所望の画を撮るための撮像状況を得ること自体が難しかった。
また、長時間露光撮像を行っている時に、例えば他のカメラマンがフラッシュを焚いてしまったり、車が通りかかってライトで一瞬照らされてしまったりした場合、良好な合成画像を得ることができなかった。

これらのことに鑑みて本発明では、特に熟練を必要とせずに、一般ユーザが、多様な画像効果、特に長時間露光や長時間露光を利用した先幕シンクロ／後幕シンクロ／マルチ発光などの画像効果と同様の画像効果を、容易に実現できるようにすること、さらには、ユーザの意図にしたがった画像を、容易に得ることができるようにすることを目的とする。

本発明の画像処理装置は、時間的な連続性を有する複数フレームの画像データを、合成用画像データとして用いるようにする合成前処理を行う合成前処理部と、合成処理のための操作入力情報の検知を行う操作検知部と、上記合成前処理で得られた複数フレームの合成用画像データについて、上記操作検知部で検知された操作入力情報に応じた合成処理を行い、静止画としての合成画像データを生成する合成処理部とを備える。

また上記合成前処理部は、上記合成前処理として、記録媒体に記録された時間的な連続性を有する複数フレームの画像データを取得し、合成用画像データとして用いるようにする。
また上記時間的な連続性を有する複数フレームの画像データとは、時間的に連続した一連の撮像動作により得られた複数フレームから抽出できる、連続もしくは間欠的な複数フレームの画像データであるとする。
また、被写体に対する撮像を行って画像データを得る撮像部と、上記撮像部で得られた画像データについての記録媒体に対する記録再生を行う記録再生部とをさらに備え、上記合成前処理部は、上記合成前処理として、上記撮像部で時間的に連続した一連の撮像動作により撮像され、上記記録再生部により記録媒体に記録された複数フレームの画像データから、連続もしくは間欠的な複数フレームの画像データを抽出して合成用画像データとして用いるようにする。
また上記合成前処理部は、上記合成前処理として、合成用画像データとして用いる時間的な連続性を有する複数フレームの画像データについて、各画像データの輝度調整処理を行う。
この場合、上記合成前処理部は、上記輝度調整処理として、合成用画像データとして用いる全部又は一部の画像データを対象として、各画像データの平均輝度を均一化する処理を行う。
また、上記合成前処理部は、上記輝度調整処理として、合成用画像データとして用いる複数フレームの画像データのうちで、フラッシュ不使用撮像によって撮像された画像データを抽出し、該抽出された複数の画像データの平均輝度を均一化する処理を行う。

また上記合成処理部は、時間的な連続性を有する上記合成用画像データのうちで、上記操作入力情報によって指定される時間軸上の範囲内とされた複数の合成用画像データについて合成処理を行い、静止画としての合成画像データを生成する。
また上記合成処理部は、複数の合成用画像データのそれぞれに対して上記操作入力情報によって指定された重み係数を用いて合成処理を行い、静止画としての合成画像データを生成する。
また上記合成処理部は、複数の合成用画像データについて加重平均による合成処理を行い、静止画としての合成画像データを生成する。
また上記合成処理部は、上記合成用画像データと、上記合成用画像データを用いた補間処理で形成した補間画像データとを用いた合成処理を行って、静止画としての合成画像データを生成する。
また上記合成処理部は、時間的な連続性を有する上記合成用画像データのうちで、フラッシュ使用撮像画像を判別し、少なくとも上記フラッシュ使用撮像画像の重み係数を変化させて上記合成用画像データについての合成処理を行い、フラッシュ効果を無効化した合成画像データを生成する。
また上記合成処理部は、時間的な連続性を有する上記合成用画像データのうちで、フラッシュ使用撮像画像を判別し、少なくとも上記フラッシュ使用撮像画像の重み係数を変化させて上記合成用画像データについての合成処理を行い、フラッシュ効果を補正した合成画像データを生成する。
また上記合成処理部は、時間的な連続性を有する上記合成用画像データのそれぞれについて、被写体の離間距離を判別し、判別した離間距離に応じた重み係数を与えたうえで、上記合成用画像データについての合成処理を行う。
また上記合成処理部は、時間的な連続性を有する上記合成用画像データのうちで、フラッシュ使用状態の重み係数が与えられた合成用画像データのそれぞれについて、被写体の離間距離を判別し、判別した離間距離に応じた重み係数を与えたうえで、上記合成用画像データについての合成処理を行う。
また上記合成処理部は、時間的な連続性を有する上記合成用画像データのそれぞれについて、各合成用画像データ内での静的被写体の動きベクトル検出に基づく座標変換を行ったうえで、上記合成用画像データについての合成処理を行う。
また上記合成処理部は、時間的な連続性を有する上記合成用画像データのそれぞれから、動的被写体の画像領域を抽出し、１つの合成用画像データに、各合成用画像データから抽出した動的被写体の画像領域を合成する合成処理を行う。
また上記合成処理部は、時間的な連続性を有する上記合成用画像データのそれぞれから、動的被写体の画像領域を抽出し、抽出した各動的被写体の画像領域について、各合成用画像データ内での静的被写体の動きベクトル検出に基づく座標変換を行ったうえで、１つの合成用画像データに、各動的被写体の画像領域を合成する合成処理を行う。
また上記合成処理部は、時間的な連続性を有する上記合成用画像データのそれぞれについて、各合成用画像データ内での静的被写体の動きベクトル検出に基づく座標変換を行った後、上記合成用画像データのそれぞれから、動的被写体の画像領域を抽出し、１つの合成用画像データに、各合成用画像データから抽出した動的被写体の画像領域を合成する合成処理を行う。

また上記合成処理部による合成処理内容についての指示又は結果を示す合成作業画像を表示させるために、合成作業画像データを生成して出力する表示制御部を、さらに備える。
上記表示制御部は、上記合成前処理で得られた複数フレームの合成用画像データを用いた動画再生画像を含む、上記合成作業画像データを生成して出力する。
また上記表示制御部は、上記合成前処理で得られた複数フレームの合成用画像データのうちで合成処理に用いる時間軸上の範囲の指定に用いる画像を含む、上記合成作業画像データを生成して出力する。
また上記表示制御部は、複数の合成用画像データのそれぞれに与えられた重み係数を表現する画像を含む、上記合成作業画像データを生成して出力する。
また上記表示制御部は、複数の合成用画像データを用いた合成処理で生成された合成結果画像を含む、上記合成作業画像データを生成して出力する。
また上記表示制御部は、或る合成処理が行われた際に、その合成処理後の画像と、合成処理前の画像の両方を含む、上記合成作業画像データを生成して出力する。

また上記合成処理部で生成された合成画像データを、表示用の画像データとして出力する表示制御部をさらに備える。
また上記合成処理部で生成された合成画像データを、記録媒体に記録する記録部をさらに備える。
また上記合成処理部で生成された合成画像データを、外部機器に送信する送信部をさらに備える。

本発明の画像処理方法は、時間的な連続性を有する複数フレームの画像データを、合成用画像データとして用いるようにする合成前処理を行うステップと、合成処理のための操作入力情報の検知を行うステップと、上記合成前処理で得られた複数フレームの合成用画像データについて、検知された操作入力情報に応じた合成処理を行い、静止画としての合成画像データを生成するステップとを備える。
本発明のプログラムは、上記各ステップの処理を演算処理装置に実行させるプログラムである。

このような本発明では、時間的な連続性を有する複数フレームの画像データ、即ち動画的に撮像されたような一連の画像データについて、それらを合成することで、長時間露光効果を与えた合成画像を得る。
この場合には、まず上記合成前処理として、複数フレームの画像データを合成用画像データとして取得するが、例えば撮像動作によって得られた画像データ、或いは既に自己機器又は他の機器で撮像されて何らかの記録媒体に記録されている一連の画像データを、合成用画像データとすることができる。また、この際に、合成に適した状態となるように各画像データについて輝度調整を行うこともできる。
合成処理においては、合成する画像の範囲（時間軸上の範囲）や、各画像に与える重み係数を操作に応じて設定することで、ユーザの意図に従った画像合成が実現できる。即ち、撮像後の段階で、フレームを選択して画像合成することにより、長時間露光撮像と同様の画像効果を容易に得ることができるようにし、また合成する各フレームについての重み付けを行うことにより、先幕シンクロ／後幕シンクロ／マルチ発光などの効果を得ることができるようにする。
このような本発明の画像処理装置、画像処理方法は、例えばデジタルスチルカメラなどの撮像装置や、パーソナルコンピュータなどの情報処理装置等の各種機器において実施可能である。

本発明によれば、従来、熟練者でなければ困難であった長時間露光撮像や、その他の特殊効果撮像と同様の効果の画像、更には従来の撮像では実現できなかったような画像効果を、一般ユーザが、非常に容易に実現でき、例えば写真表現としての可能性の拡大やおもしろさの向上を促進できる。
また、合成前処理での輝度調整、合成時の補間処理、撮像時のフラッシュ使用に対応した処理、背景の動きを解消するための座標変換や領域抽出処理などにより、より高品質かつユーザの要望に合致した画像を得ることが可能となる。

以下、本発明の実施の形態について、次の順序で説明していく。
［１．撮像装置の構成］
［２．動作モード］
［３．カメラモード処理］
［４．合成モード処理］
＜４−１：合成準備処理＞
＜４−２：合成処理＞
＜４−３：変更前後表示付き調整処理例＞
［５．テンプレートを用いた処理］
［６．固定フレームレートでの撮像動作］
［７．可変フレームレートでの撮像動作］
［８．合成モード処理例：フレーム補間］
［９．合成モード処理例：フラッシュ無効化／補正］
［１０．合成モード処理例：距離補正］
［１１．合成モード処理例：ブレ補正］
［１２．情報処理装置］

［１．撮像装置の構成］
本発明の実施の形態として、例えばデジタルスチルカメラとしての撮像装置の構成を図１，図２，図３で説明する。

図２（ａ）（ｂ）は、本例の撮像装置１を正面側及び背面側から見た外観例を示している。図示のとおり撮像装置１は、例えば特に熟練者ではない一般ユーザでも通常使用されるデジタルスチルカメラとされればよい。
撮像装置１には、正面側に撮像レンズ部２１ａ、フラッシュ発光部１５などが設けられ、また背面側に液晶パネルや有機ＥＬ（Electroluminescence）パネルなどによる表示パネル６が形成されている。また、各所にユーザ操作のための操作子が形成される。例えば操作キー５ａ、５ｂ、５ｃ、５ｄ、５ｆ、５ｇは、それぞれシャッター操作キー、モード操作キー、ワイド／テレ操作キー、メニュー操作キー、露出補正指示キー、再生キーなど、各種の操作機能のためのキーとして割り当てられている。また操作子として、ダイヤル操作部５ｈや、十字キー５ｉも設けられる。ダイヤル操作部５ｈは、例えば撮像モードの選択などに用いられる。十字キー５ｉは、例えば表示パネル６に表示される操作メニュー項目の選択／決定を始めとして各種操作に用いられる。

例えばこのような撮像装置１の構成例を図１で説明する。
図１に示すように撮像装置１は、撮像系２、制御系３、カメラＤＳＰ（Digital Signal Processor）４、操作部５、表示パネル６、表示コントローラ７、外部インターフェース８、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）９、媒体インターフェース１０を備える。

撮像系２は、撮像動作を実行する部位とされ、レンズ機構部２１，絞り／ＮＤフィルタ機構２２、撮像素子部２３、アナログ信号処理部２４、Ａ／Ｄ変換部２５、レンズ駆動部２６、レンズ位置検出部２７、タイミング生成回路２８、ブレ検出部１３、発光駆動部１４、フラッシュ発光部１５、レンズ駆動ドライバ１７、絞り／ＮＤ駆動ドライバ１８、撮像素子ドライバ１９を備える。

被写体からの入射光は、レンズ機構部２１及び絞り／ＮＤフィルタ機構２２を介して撮像素子部２３に導かれる。
レンズ機構部２１は、上記図２（ａ）の撮像レンズ部２１の内部構成であり、カバーレンズ、フォーカスレンズ、ズームレンズなどの複数の光学レンズ群を有する。またレンズ駆動部２６は、フォーカスレンズやズームレンズを光軸方向に移送する移送機構とされる。レンズ駆動部２６はレンズ駆動ドライバ１７によって駆動電力が印加されフォーカスレンズやズームレンズを移送する。後述するＣＰＵ（Central Processing Unit）３１はレンズ駆動ドライバ１７を制御することで、焦点制御やズーム動作を実行させる。

絞り／ＮＤフィルタ機構２２は、絞り機構と、レンズ光学系内に挿入されることによって入射光量を減衰させる（調整する）ＮＤフィルタ機構を有し、光量調整を行う。
絞り／ＮＤ駆動ドライバ１８は、絞り機構の開閉により入射光量の調節を行う。また絞り／ＮＤ駆動ドライバ１８は、ＮＤフィルタを入射光の光軸上に対して出し入れすることで、入射光量の調節を行う。ＣＰＵ３１は、絞り／ＮＤ駆動ドライバ１８を制御して絞り機構やＮＤフィルタを駆動させることで入射光量制御（露光調整制御）を行うことができる。

被写体からの光束はレンズ機構部２１、絞り／ＮＤフィルタ機構２２を通過し、撮像素子部２３上に被写体像が結像される。
撮像素子部２３は、結像される被写体像を光電変換し、被写体像に対応する撮像画像信号を出力する。
この撮像素子部２３は、複数の画素から構成される矩形形状の撮像領域を有し、各画素に蓄積された電荷に対応するアナログ信号である画像信号を、画素単位で順次、アナログ信号処理部２４に出力する。撮像素子部２３としては、例えばＣＣＤ（Charge Coupled Device）センサアレイ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイなどが用いられる。

アナログ信号処理部２４は、内部にＣＤＳ（相関２重サンプリング）回路や、ＡＧＣ（オートゲインコントロール）回路などを有し、撮像素子部２３から入力される画像信号に対して所定のアナログ処理を行う。
Ａ／Ｄ変換部２５は、アナログ信号処理部２４で処理されたアナログ信号をデジタル信号に変換し、カメラＤＳＰ４に供給する。

タイミング生成回路２８は、ＣＰＵ３１により制御され、撮像素子部２３、アナログ信号処理部２４、Ａ／Ｄ変換部２５の各動作のタイミングを制御する。
即ちタイミング生成回路２８は、撮像素子部２３の撮像動作タイミングを制御するために、露光／電荷読出のタイミング信号や、電子シャッタ機能としてのタイミング信号、転送クロック、フレームレートに応じた同期信号等を、撮像素子ドライバ１９を介して撮像素子部２３に供給する。またアナログ信号処理部２４で、撮像素子部２３での画像信号の転送に同期して処理が行われるように、上記各タイミング信号をアナログ信号処理部２４にも供給する。
ＣＰＵ３１は、タイミング生成回路２８により発生させる各タイミング信号の制御を行うことで、撮像画像のフレームレートの変更や、電子シャッタ制御（フレーム内の露光時間可変制御）を行うことができる。またＣＰＵ３１は、例えばタイミング生成回路２８を介してアナログ信号処理部２４にゲイン制御信号を与えるようにすることで、撮像画像信号のゲイン可変制御を行うことができる。

ブレ検出部１３は、手ぶれ量を検出する。例えば加速度センサ、振動センサなどで構成され、ブレ量としての検出情報をＣＰＵ３１に供給する。
フラッシュ発光部１５は発光駆動部１４によって発光駆動される。ＣＰＵ３１は、ユーザの操作その他による所定タイミングで、発光駆動部１４にフラッシュ発光を指示し、フラッシュ発光部１５を発光させることができる。

カメラＤＳＰ４は、撮像系２のＡ／Ｄ変換部２５から入力される撮像画像信号に対して、各種のデジタル信号処理を行う。
このカメラＤＳＰ４では、例えば図示のように画像信号処理部４１，圧縮／解凍処理部４２、ＳＤＲＡＭコントローラ４３、情報生成部４４等の処理機能が内部のハードウエア及びソフトウエアにより実現される。

画像信号処理部４１は入力される撮像画像信号に対する処理を行う。例えば撮像画像信号を用いた撮像系２の駆動制御用の演算処理として、オートフォーカス（ＡＦ）用処理、オートアイリス（ＡＥ）用処理などを行い、また入力される撮像画像信号自体に対する処理としてオートホワイトバランス（ＡＷＢ）処理などを行う。

例えばオートフォーカス用処理としては、画像信号処理部４１は入力される撮像画像信号についてコントラスト検出を行い、検出情報をＣＰＵ３１に伝える。オートフォーカス制御方式としては、各種の制御手法が知られているが、いわゆるコントラストＡＦと呼ばれる手法では、フォーカスレンズを強制的に移動させながら、各時点の撮像画像信号のコントラスト検出を行い、最適コントラスト状態のフォーカスレンズ位置を判別する。即ちＣＰＵ３１は、撮像動作に先立って、フォーカスレンズの移動制御を実行させながら画像信号処理部４１で検出されるコントラスト検出値を確認し、最適なコントラスト状態となった位置をフォーカス最適位置とする制御を行う。
また、撮像中のフォーカス制御としては、いわゆるウォブリングＡＦと呼ばれる検出方式が実行できる。ＣＰＵ３１は、撮像動作中に、常時フォーカスレンズの位置を微小に前後にゆらすように移動させながら、画像信号処理部４１で検出されるコントラスト検出値を確認する。フォーカスレンズの最適位置は、当然、被写体の状況によって変動するが、フォーカスレンズを前後に微小変位させながらコントラスト検出を行うことで、被写体の変動に応じたフォーマット制御方向の変化を判定できる。これによって、被写体状況に追尾したオートフォーカスが実行できることになる。
なお、レンズ駆動部２６における移送機構には、各移送位置毎にアドレスが割り当てられており、その移送位置アドレスによってレンズ位置が判別される。
レンズ位置検出部２７は、フォーカスレンズの現在のレンズ位置としてのアドレスを判別することで、合焦状態となっている被写体までの距離を算出し、それを距離情報としてＣＰＵ３１に供給することができる。これによってＣＰＵ３１は、合焦状態としている主たる被写体までの距離を判別できる。

カメラＤＳＰ４の画像信号処理部４１が実行するオートアイリス用処理としては、例えば被写体輝度の算出が行われる。例えば入力される撮像画像信号の平均輝度を算出し、これを被写体輝度情報、即ち露光量情報としてＣＰＵ３１に供給する。平均輝度の算出としては例えば１フレームの撮像画像データの全画素の輝度信号値の平均値、或いは画像の中央部分に重みを与えた輝度信号値の平均値の算出など、各種の方式が考えられる。
ＣＰＵ３１は、この露光量情報に基づいて、自動露光制御を行うことができる。即ち絞り機構、ＮＤフィルタ、或いは撮像素子部２３における電子シャッタ制御、アナログ信号処理部２４へのゲイン制御により、露光調整を行うことができる。

カメラＤＳＰ４の画像信号処理部４１は、これらのオートフォーカス動作、オートアイリス動作に用いる信号生成処理の他、撮像画像信号自体の信号処理として、オートホワイトバランス、γ補正、エッジ強調処理、手ブレ補正処理等を行う。

カメラＤＳＰ４における圧縮／解凍処理部４２は、撮像画像信号に対する圧縮処理や、圧縮された画像データに対する解凍処理を行う。例えばＪＰＥＧ(Joint Photographic Experts Group)、ＭＰＥＧ(Moving Picture Experts Group)などの方式による圧縮処理／解凍処理を行う。

ＳＤＲＡＭコントローラ４３は、ＳＤＲＡＭ９に対する書込／読出を行う。ＳＤＲＡＭ９は、例えば撮像系２から入力された撮像画像信号の一時保存、画像処理部４１や圧縮／解凍処理部４２での処理過程における保存やワーク領域の確保、情報生成部４４で得られた情報の保存などに用いられ、ＳＤＲＡＭコントローラ４３は、これらのデータについてＳＤＲＡＭ９に対する書込／読出を行う。

情報生成部４４は、後述する合成処理としての各種動作に使用する情報を生成する。例えば撮像画像信号の画面内の各被写体までの距離を示す距離分布情報を生成する。例えば主たる被写体だけでなく各画素単位での各被写体までの距離の情報である。これはデプスマップ（Depth Map）とも呼ばれる情報である。
距離分布情報の生成のための、各画素単位での距離情報の判定は、上記のウォブリングＡＦの際のボケ量の解析などで実行可能である。あるいは、図示しないが非可視光の特定波長とされた補助光を発光する発光部を設け、その特定波長の光が発光後の戻り時間を測定することで、各画素単位での被写体までの距離を判定することも可能である。

制御系３は、ＣＰＵ３１、ＲＡＭ３２、フラッシュＲＯＭ３３、時計回路３４を備える。制御系の各部、及びカメラＤＳＰ４、撮像系２の各部、表示コントローラ７、外部インターフェース８、媒体インターフェース１０は、システムバスによって相互に画像データや制御情報の通信が可能とされている。

ＣＰＵ３１は、撮像装置１の全体を制御する。即ちＣＰＵ３１は内部のＲＯＭ等に保持したプログラム及び操作部５によるユーザの操作に基づいて、各種演算処理や各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。また後述する画像合成のための演算処理、画像解析処理なども行う。
ＲＡＭ（Random Access Memory）３２は、カメラＤＳＰ４で処理された撮像画像信号（各フレームの画像データ）の一時的な保存や、後述する合成処理に用いる画像データの格納、その他ＣＰＵ３１の各種処理に応じた情報が記憶される。
フラッシュＲＯＭ３３は、撮像画像としての（ユーザが静止画又は動画として撮像した）画像データの保存や、その他不揮発的に保存することが求められる情報の記憶に用いられる。撮像装置１の制御用ソフトウェアプログラム、カメラの設定データなどを記憶する場合もある。さらにフラッシュＲＯＭ３３は、後述する合成処理に用いる係数テンプレートの保存にも用いられる。
時計回路３４は、現在日時情報（年月日時分秒）を計数する。

操作部５は、図２に示した各種操作子及びその操作に基づく信号発生部からなる。各種操作子によるユーザの操作情報は、操作部５からＣＰＵ３１に伝達される。
なお、操作部５としては、操作子だけでなく、タッチパネル操作を可能な構成としてもよい。即ち表示パネル６にタッチセンサを配し、画面表示に対するユーザのタッチ操作で、操作入力が行われるようにしてもよい。

表示コントローラ７は、ＣＰＵ３１の制御に基づいて、表示パネル６に所要の表示動作を実行させる。表示パネル６における表示動作としては、モニタ表示（いわゆるライブビュー表示や動画／静止画撮像モニタ表示）、記録媒体９０やフラッシュＲＯＭから読み出した再生画像表示、操作メニュー表示、各種アイコン表示、時刻表示、更には後述する合成処理に関する表示などが行われる。

媒体インタフェース１０は、ＣＰＵ３１の制御に基づいて、撮像装置１の内部にセットされたメモリカード（カード状のリムーバブルメモリ）等の記録媒体９０に対してデータの読出／書込を行う。例えば媒体インタフェース１０は、撮像結果としての静止画データや動画データについて記録媒体９０に記録する動作を行う。また後述する合成処理に用いる画像データを記録媒体９０から読み出す動作を行う。
なお、ここでは記録媒体９０として可搬性のメモリカードを例に挙げているが、撮像結果として残す静止画若しくは動画としての画像データを記録する記録媒体は他の種のものでもよい。例えば光ディスク等の可搬性ディスクメディアを用いるようにしても良いし、ＨＤＤ（Hard Disk Drive）を搭載して記録するようにしてもよい。

外部インタフェース８は、例えばＵＳＢ（Universal Serial Bus）などの信号規格にしたがって、所定のケーブルを介して外部装置との各種データの送受信を行う。もちろんＵＳＢ方式に限らず、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４方式など、他の規格による外部インターフェースとしてもよい。
また、有線伝送方式ではなく、赤外線伝送、近距離無線通信その他の無線伝送方式で外部インターフェース８を構成しても良い。
撮像装置１は、この外部インターフェース８を介して、パーソナルコンピュータその他各種機器とデータ送受信を行うことができる。例えば撮像画像データや、合成処理結果の画像データを外部機器に転送することができる。

このような本例の撮像装置１において、ＣＰＵ３１は、撮像動作制御や後述する各種動作のための演算・制御を内部に保持するプログラムに基づいて実行するが、このようなＣＰＵ３１の演算処理によって行われる動作機能を表すと図３のようになる。即ち、撮像制御部５１、合成前処理部５２、合成処理部５３、記録／再生／送信制御部５４、操作検知部５５、表示制御部５６、テンプレート管理部５７が、ソフトウエア機能ブロックとして形成される。

撮像制御部５１は、撮像動作制御を行う。即ち撮像系２の各部やカメラＤＳＰ４を制御して被写体画像の撮像を実行させる。またオートフォーカス処理、自動露光調整処理、フラッシュ発光制御処理なども行う。

合成前処理部５２は、後述する合成処理に用いる時間的な連続性を有する複数フレームの画像データを、合成用画像データとして用いるようにする合成前処理を行う。例えば合成前処理部５２は、記録媒体９０に記録された時間的な連続性を有する複数フレームの画像データを取得し、合成用画像データとして用いるようにする。時間的な連続性を有する複数フレームの画像データとは、時間的に連続した一連の撮像動作により得られた複数フレームから抽出できる、連続もしくは間欠的な複数フレームの画像データである。なお、合成前処理部５２は、外部機器から供給される一連の画像データを、合成処理対象として取得するようにしてもよい。
また合成前処理部５２は、合成用画像データとして用いる時間的な連続性を有する複数フレームの画像データについて、各画像データの輝度調整処理を行う。輝度調整処理としは、合成用画像データとして用いる全部又は一部の画像データを対象として、各画像データの平均輝度を均一化する処理を行う。特には、合成用画像データとして用いる複数フレームの画像データのうちで、フラッシュ不使用撮像によって撮像された画像データを抽出し、該抽出された複数の画像データの平均輝度を均一化する処理を行うようにもできる。

合成処理部５３は、合成前処理部５２の合成前処理で得られた複数フレームの合成用画像データについて、操作入力情報に応じた合成処理を行い、静止画としての合成画像データを生成する処理を行う。
例えば合成処理部５３は、時間的な連続性を有する上記合成用画像データのうちで、操作入力情報によって指定される時間軸上の範囲内とされた複数の合成用画像データについて合成処理を行い、静止画としての合成画像データを生成する。
また合成処理部５３は、複数の合成用画像データのそれぞれに対して上記操作入力情報によって指定された重み係数を用いて合成処理を行い、静止画としての合成画像データを生成する。
また合成処理部５３は、複数の合成用画像データについて加重平均による合成処理を行い、静止画としての合成画像データを生成する。
またこれら以外にも、後述する各種の合成処理としての演算を行う。

記録／再生／送信制御部５４は、媒体インターフェース１０を指示して記録媒体９０からの読み出しや、記録媒体９０への書込を制御する。例えば媒体インターフェース１０に指示して記録媒体９０に記録された時間的な連続性を有する複数フレームの画像データを読み出させ、これを合成前処理部５２が取得できるようにする。
また合成処理部５３が生成した合成画像データを記録媒体９０に記録させたり、外部インターフェース８を介して外部機器に送信させる処理を行う。

操作検知部５６は、ユーザによる操作入力情報を検知する。即ち操作部５からの入力情報を検知する。この操作検知部５６で検知された操作入力情報に基づいて、撮像制御部５１の撮像動作制御、合成前処理部５２の合成前処理、合成処理部５３の合成処理、記録／再生／送信制御部５４の制御処理が実行される。

表示制御部５６は、表示コントローラ７に指示して表示パネル６に所要の表示を実行させる。例えば撮像時のモニタ表示や再生画像の表示を実行させる。
さらには表示制御部５６は合成処理部５３の合成処理の際に、合成作業画像データを生成して表示コントローラ７に出力し、表示パネル６に合成作業画像を表示させる。
合成作業画像データとしては、合成前処理で得られた複数フレームの合成用画像データを用いた動画再生画像や、複数フレームの合成用画像データのうちで合成処理に用いる時間軸上の範囲の指定に用いる画像や、複数の合成用画像データのそれぞれに与えられた重み係数を表現する画像や、複数の合成用画像データを用いた合成処理で生成された合成結果画像（合成時のプレビュー画像等）などを含む表示データとする。また表示制御部５６は、或る合成処理が行われた際に、その合成処理後の画像と、合成処理前の画像の両方を含む、上記合成作業画像データを生成して表示コントローラ７に出力し、表示パネル６に表示させることもできる。
さらに表示制御部５６は、合成処理で最終的に生成された合成画像データを、表示用の画像データとして表示コントローラ７に出力し、表示パネル６に表示させることもできる。

テンプレート管理部５７は、合成処理の際のユーザ操作の簡略化のために用意されている係数テンプレートの管理、選択を行う。
後述するが、合成する複数フレームの画像データのそれぞれに重み係数を与えることができるが、例えば先幕シンクロ効果、後幕シンクロ効果、マルチ発光効果などを実現する重み係数パターンがテンプレート化されて例えばフラッシュＲＯＭ３３等に保存される。テンプレート管理部５７は、操作検知部５６で検知されるユーザ操作や、表示制御部５６によるテンプレート選択のための画像表示などと連係し、ユーザ操作に応じて係数テンプレートを選択して合成処理の際に用いられるように合成処理部５３に受け渡す処理を行う。

［２．動作モード］

図４で本例の撮像装置１の動作モードを説明する。本例の撮像装置１では、ユーザの操作に応じてカメラモード、再生モード、合成モードを遷移する。なお、実際には外部機器との通信モードなど他のモードもあるが、説明の簡略化のため省略する。

カメラモードは、撮像系２による撮像を行うモードである。つまりユーザが、通常にカメラを用いて撮像を行う場合の動作モードである。このカメラモードでは、図示する多様な撮像モードでの撮像が実行可能である。

合成モード用撮像は、本例の特徴的な動作として、後述する合成処理に用いる画像を撮像する撮像モードである。この場合、時間的な連続性を有する複数フレームの撮像を行って、その複数フレームの画像データを記録媒体９０に記録する。
なお撮像動作時に、その撮像結果としての画像データの保存は記録媒体９０に行われるものとして以下説明していくが、記録媒体９０ではなく、フラッシュＲＯＭ３３において保存を行っていくようにしてもよい良い。また、通常は記録媒体９０に記録するが、記録媒体９０が装填されていない場合はフラッシュＲＯＭ３３に記録するような動作方式でも良い。

オートモードは、最適な絞り値、シャッター速度、ＩＳＯ感度などの設定を撮像装置１が自動的に行う撮像モードである。
ポートレートモードは、人物撮像に適した設定で撮像が行われる撮像モードである。
風景モードは、風景撮像に適した設定で撮像が行われる撮像モードである。
マクロモードは、近接撮像を行う場合に適した設定で撮像が行われる撮像モードである。マクロモードとしては、特にネイチャーマクロモードとして、花や虫などの近接撮像において、色鮮やかに撮るためのモードが設けられる場合もある。
スポーツモードは、動きのある被写体に適した設定で撮像が行われる撮像モードである。
夕景モードは、夕景撮像に適した設定で撮像が行われる撮像モードである。
夜景モードは、夜景撮像に適した設定で撮像が行われる撮像モードである。
動画撮像モードは、動画撮像を行う撮像モードである。
これら以外にも、夜の景色と人物を一緒に撮像するのに適した夜景＆人物モード、花火の撮像に適した花火モードなどが用意される場合もある。

ユーザは、カメラモードとした上で、これら撮像モードのうちで任意の撮像モードを選択し、撮像操作を行うことで、被写体や状況に適した撮像画像を得ることができる。
そして後述する長時間露光効果、先幕シンクロ効果、後幕シンクロ効果、マルチ発光効果などの特殊効果画像を得たい場合は、合成モード用撮像を実行し、後に合成処理において任意の効果の画像を作成することができる。
このカメラモードでは、ＣＰＵ３１では、撮像制御部５１、操作検知部５５，表示制御部５６、記録／再生／送信制御部５４が連係して、撮像系２の制御や記録動作制御、表示動作制御を行い、撮像及び撮像画像データの表示、記録動作を実行させる。

再生モードは、撮像等によって記録媒体９０やフラッシュＲＯＭ３３に記録された画像を再生する動作モードである。
ＣＰＵ３１は、ユーザの操作に応じて、記録媒体９０やフラッシュＲＯＭ３３に記録されている画像を読み出し、表示パネル６で再生表示させる制御を行う。
この再生モードでは、ＣＰＵ３１では、操作検知部５５，表示制御部５６、記録／再生／送信制御部５４が連係して、再生動作制御、表示動作制御を行い、画像データの表示等を実行させる。

合成モードは、時間的な連続性を有する複数フレームの画像データを合成用画像データとして合成処理を行う動作モードである。この場合、ＣＰＵ３１は、ユーザの操作に応じて合成処理を進める。
この合成モードでは、ＣＰＵ３１は、ステップＳＴ１、ＳＴ２として合成前処理を行う。まずステップＳＴ１では合成対象画像選択／取込処理を行う。これは例えば上記の合成モード用撮像として撮像され記録媒体９０に記録されている、時間的な連続性を有する複数フレームの一連の画像データを選択し、合成処理に用いる合成用画像データとして取り込む処理である。
またＣＰＵ３１はステップＳＴ２として、合成準備処理を行う。後述するが、この合成準備処理は、例えば取り込まれた一連の画像データの輝度調整（露光量調整）を行って、輝度状態を均一化し、各画像データを合成処理に適した輝度状態とする処理である。

これらステップＳＴ１，ＳＴ２として合成前処理を終えたら、ＣＰＵ３１はステップＳＴ３で合成処理を行う。この場合、ＣＰＵ３１はユーザ操作に応じて、一連の合成用画像データを用いた合成処理を進めていく。この合成処理についても後に詳述する。

合成処理によって最終的な合成結果としての合成画像データが生成されたら、ＣＰＵ３１はステップＳＴ４で合成画像記録処理を行う。
即ちＣＰＵ３１は、合成処理によって生成した合成画像データを媒体インターフェース１０を介して記録媒体９０に記録させる。あるいはフラッシュＲＯＭ３３に記録させてもよい。これにより、その後ユーザは任意に合成画像を再生させることができる。
またこの場合ＣＰＵ３１は、合成画像データを、外部インターフェース８で接続されている外部機器に送信するようにしてもよい。これにより例えば外部機器で所定の記録媒体に記録されるようにしたり、表示出力させることができる。

この合成モードのステップＳＴ１，ＳＴ２では、ＣＰＵ３１では、合成前処理部５２、操作検知部５５，表示制御部５６、記録／再生／送信制御部５４が連係して必要な処理動作を行う。
またステップＳＴ３では、ＣＰＵ３１では、合成処理部５３、操作検知部５５，表示制御部５６が連係して必要な処理動作を行う。係数テンプレートが使用される場合は、テンプレート管理部５７が機能する。
またステップＳＴ４では、ＣＰＵ３１では、合成処理部５３、操作検知部５５，表示制御部５６、記録／再生／送信制御部５４が連係して必要な処理動作を行う。

［３．カメラモード処理］

まずカメラモードにおけるＣＰＵ３１の処理を図５で説明する。
ステップＦ１０，Ｆ１１，Ｆ１２では、ＣＰＵ３１はユーザの操作を監視する。
ステップＦ１０では、ＣＰＵ３１は撮像モードの操作を監視している。撮像モードとしては上述のように合成モード、オートモード、ポートレートモード等、多様なモードが用意されており、ユーザは撮像目的に合わせて任意の撮像モードを選択することができる。モード選択の操作は、例えば図２（ｂ）に示したダイヤル操作部５ｈにより行うこと、或いは表示パネル６でのメニュー表示上での選択などにより行うことが考えられる。

ユーザが撮像モードの選択操作を行った場合は、ＣＰＵ３１はステップＦ１３に進み、選択された撮像モードに応じて動作設定を行う。例えば撮像系２の各部について、露光量、露光方式、電子シャッタ設定、フレームレート設定、ゲイン設定などの制御を行う。特に合成モード用撮像が選択された場合は、連続撮像の設定も行う。

ＣＰＵ３１はステップＦ１１では、ユーザのシャッタ操作を監視している。ユーザがシャッタ操作を行ったことを検知したら、ＣＰＵ３１はステップＦ１４で、現在の撮像モードが合成モード用撮像であるか否かで処理を分岐する。
合成モード用撮像でない、他の撮像モードであれば、ステップＦ１６で、撮像処理を行う。即ちＣＰＵ３１はシャッタ操作タイミングの１フレームの画像を、撮像データとしての静止画データとして保存するように、カメラＤＳＰ４や媒体インターフェース１０等の制御を行う。
合成モード用撮像とは、後の合成処理に用いる画像データを得るための撮像モードであるが、この合成モード用撮像においてシャッタ操作が行われた場合は、ＣＰＵ３１はステップＦ１５に進み、合成モード用撮像としての連続撮像処理を実行する。これは、動画的な撮像動作となり、撮像系２で連続的に得られる毎フレームを、それぞれ画像データとして記録媒体９０等に保存していく動作となる。なお、この場合のフレームレートの設定にもよるが、例えば１フレームおきなど、間欠的なフレームを保存するようにしてもよい。
撮像画像データは、多数の静止画もしくは動画として保存される。

また、このステップＦ１５では連続して各フレームを撮像画像データとして保存していくわけであるが、その撮像実行期間については、次の（１）（２）（３）のような制御例が考えられる。
（１）ユーザがシャッタ操作を行ってから、再度シャッタ操作を行うまでの各フレーム画像データを撮像画像として保存していく。
（２）ユーザがシャッタ操作を行ってから、ＣＰＵ３１がタイムカウントを行い、タイムアップとなるまで各フレーム画像データを撮像画像として保存していく。タイマ設定時間は固定でも良いし、ユーザが選択できるようにしてもよい。
（３）ユーザがシャッタ操作を継続している（シャッタを押し続けている）間、各フレーム画像データを撮像画像として保存し、ユーザがシャッタを放した時点で終了する。

このステップＦ１５の合成モード用撮像により、時間的な連続性を有する複数フレームの画像データの撮像／保存が行われることになる。
なお、この場合、複数フレームの各画像データは、時間的な連続性を有する一連の画像データであることが分かるように関連付けられて保存される。
例えば各画像データを連番で記録し、その連番の範囲の管理情報を付加するようにしたり、各画像データに一連の撮像によって得られた画像データであることを示すメタデータを付加するようにして関連付けを行う。
ただし、撮像時にこのような関連づけを行わなくとも、後述する合成処理の際に、撮像時刻が連続している画像データを抽出するなどの処理を行って、当該連続する一連の画像データを読み出せるようにしてもよい。撮像して記録する各画像データには、時計回路３４で計時されている日時情報が付加されることにより、このような読み出し時点での関連付けも可能となる。
また、撮像する各フレームの画像データにおいて、そのメタデータとして、フラッシュ発光部１５からのフラッシュ発光を行ったか否かを示す情報を付加するようにしている。フラッシュ発光は、ユーザの操作或いは設定などに応じてＣＰＵ３１が実行制御する。
また、レンズ位置検出部２７で計測される主たる被写体までの距離の情報や、情報生成部４４で生成される距離分布情報なども撮像時に得られるため、これらを各フレームの画像データについてメタデータとして付加しておくこともできる。

撮像モード操作やシャッタ操作以外にも、ユーザは各種操作を行うことができるが、ＣＰＵ３１は、それら他の操作を行ったことを検知したらステップＦ１２からＦ１７に進み、操作に応じた処理を実行する。例えば再生モードや合成モードへのモード遷移操作が行われた場合は、モード遷移処理を行う。また撮像のための各種設定、例えば露光量手動設定、ズーム操作、フォーカス手動設定、フラッシュ使用／未使用／自動発光の設定など、各種の操作に応じてＣＰＵ３１は必要な処理を行う。

カメラモードでは、以上の図５の処理によって、各種の撮像モードでの撮像が行われ、撮像された画像データが記録媒体９０に保存される。
図６には、記録媒体９０に保存された各種の画像データを再生表示した際の例を示している。通常の撮像モード（例えばオートモード、風景モードなど）で撮像された画像データＰＣＴ１、ＰＣＴ２、ＰＣＴ４等とともに、ユーザが合成モード用撮像を選んで撮像した画像データＰＣＴ３などが、記録媒体９０に保存されるが、ユーザは再生モードでの操作により、これらの画像を表示パネル６で再生表示させて確認することができる。
合成モード用撮像で撮像した画像データＰＣＴ３は、例えば画像データ＃０，＃１，＃２・・・として示すように、一連の時間的な連続性を有するものとして関連付けられた画像データ群である。
再生モードによって、ユーザが撮像した各画像を再生させて見る場合、画像データＰＣＴ１、ＰＣＴ２、ＰＣＴ３、ＰＣＴ４・・・が順次再生されることになるが、合成モード用撮像を行った画像データＰＣＴ３については、実際に記録されている画像データ＃０，＃１，＃２・・・のうちの代表画像が再生表示されればよい。例えば先頭の画像データ＃０などが表示されるようにすればよい。
また、合成モード用撮像によって、実際には多数の画像データ（＃０，＃１，＃２・・・）が保存されていることをユーザが分かるようにするため、再生時の表示画面上では、図示するように、合成モード撮像での撮像画像データであることを示すマークＭＫを表示させる。
ユーザは、このマークＭＫによって、当該画像データＰＣＴ３は、実際には時間的に連続する多数の画像が保存されており、これを合成処理に用いることができるということを認識できる。
つまりユーザは、合成モード用撮像を行った後は、画像再生を行い、マークＭＫが付加された画像を選択することで、後述する合成モードの動作として合成作業を行うことができる。

［４．合成モード処理］
＜４−１：合成準備処理＞

続いて合成モードでの処理を説明する。
先に図４で述べたように、合成モードでは、ＣＰＵ３１は合成対象画像選択／取込処理（ＳＴ１）、合成準備処理（ＳＴ２）、合成処理（ＳＴ３）、合成画像記録処理（ＳＴ４）を行う。

合成対象画像選択／取込処理（ＳＴ１）及び合成準備処理（ＳＴ２）は、実際の合成処理の準備等のための合成前処理であるが、まずＣＰＵ３１（合成前処理部５２）は合成対象画像選択／取込処理（ＳＴ１）として、合成用画像データを取り込む処理を行う。
例えば図６のようにユーザが撮像画像を再生させ、合成モード用撮像で撮像した画像（例えば図６の画像ＰＣＴ３）を選択し、合成処理を指示する操作を行うことで、ＣＰＵ３１は合成モードの処理を開始する。この場合ＣＰＵ３１は、ユーザの操作で選択された画像を合成用画像データとして取り込む。即ち図６の画像ＰＣＴ３が選択された場合、ＣＰＵ３１は、記録媒体９０から、当該画像ＰＣＴ３として一連の時間的な連続性を有するものとして関連付けられた画像データ＃０，＃１，＃２・・・を読み出し、合成用画像データとして取り込む。そしてこれら画像データ＃０，＃１，＃２・・・を、合成処理対象の画像データとする。

合成準備処理（ＳＴ２）では、取り込んだ合成用画像データ（画像データ＃０，＃１，＃２・・・）について輝度調整処理を行う。これは、各画像データ＃０，＃１，＃２・・・の露光量（画面輝度）状態を均一化する処理となる。
この場合、ＣＰＵ３１（合成前処理部５２）が、例えば図７のような処理を行う。
まずステップＦ１０１でＣＰＵ３１は、合成対象として取り込んだ画像データ＃０，＃１，＃２・・・＃ｎのうちで、非フラッシュ画像を抽出する。非フラッシュ画像とは、その撮像時にフラッシュ発光を行わなかった画像データである。上述のように、撮像時にフラッシュ発光を行ったか否かの情報がメタデータとして画像データに付加されていることにより、ＣＰＵ３１は取り込んだ画像データ＃０，＃１，＃２・・・＃ｎのメタデータを確認して、非フラッシュ画像を抽出することができる。
なお、ここで言う非フラッシュ画像とは、あくまでも撮像を行った自己機器（撮像装置１自身）でフラッシュ発光を行ったか否かの情報に基づくもので、単に画面輝度がフラッシュ発光状態と同様に突発的に明るくなっているものは含まない。
例えば撮像時に近くに居た他のカメラマンがフラッシュ発光させたり、撮像時に車が近くを通過し、そのヘッドライトで被写体が明るくなった場合などは、自己でフラッシュ発光させた画像ではないため、ここでは非フラッシュ画像として扱われる。

仮に、図示するように画像データ＃０，＃１・・・＃ｎのうち、画像データ＃２の撮像タイミングで自己機器によるフラッシュ発光が行われていた場合（つまり画像データ＃２のメタデータとしてフラッシュ発光が示されていた場合）は、この画像データ＃２を除いて、他の画像データ＃０，＃１，＃３・・・＃ｎを抽出することになる。
続いてＣＰＵ３１はステップＦ１０２で、抽出した各画像データ（例えば＃０，＃１，＃３・・・＃ｎ）のそれぞれについて、輝度平均値を算出する。
この場合、各画像データについて、全画素の輝度信号値の平均値を算出しても良いし、画面内の各領域で重み付けをおこなって重み付け輝度平均値を算出してもよい。この場合、いわゆる自動露光調整のための輝度レベル計算と同様の手法で各画像データの輝度平均値を算出すればよい。

ステップＦ１０３でＣＰＵ３１は、各画像データを輝度平均値によって分類し、代表グループを選定する。例えば図示するように輝度レベルとして低輝度側から高輝度側に数段階にグループＹｇ０、Ｙｇ１・・・Ｙｇ５を設定し、各画像データを、その輝度平均値によって各グループに振り分ける。例えば図では、抽出した画像データ＃０，＃１，＃３・・・＃ｎとして２８個の画像データが存在し、それらの２５個がグループＹｇ１に、２つの画像データがグループＹｇ４に、１つの画像データがグループＹｇ５に振り分けられたとする。このような振り分け結果から、代表グループを選定する。この場合、グループＹｇ１が代表グループとされる。
一連の合成用画像データは、時間的に連続する複数の画像データであり、撮像時に上記図５のステップＦ１５で連続撮像されたものであるため、通常は極端な輝度の差は生じないはずである。従って、自己でフラッシュ発光していない画像データは、通常は同一グループに振り分けられる。ところが、連続撮像中に他のカメラマンがフラッシュを焚いたり、車が通りすぎてヘッドライトが瞬間的に被写体に当たったり、突然雲間から日が差し込んできたりなどの原因で、突発的に被写体輝度が大きく変化する場合がある。この図７に示すグループ分けの結果として、グループＹｇ４、Ｙｇ５に振り分けられた画像は、これらの状況で露光量が突発的に変化した場合の画像と考えられる。
このような被写体輝度が大きく異なる画像が含まれていると、合成処理の際に、その画像のみが強調されるなどし、想定どおりの適切な合成ができなくなる場合がある。

そこでステップＦ１０４以下で、各画像データの輝度調整を行う。
まずステップＦ１０４でＣＰＵ３１は、代表グループ（Ｙｇ１）に含まれる各画像データの輝度平均値の平均値を算出する。そして算出した平均値を基準平均輝度とする。

ＣＰＵ３１はステップＦ１０５では、ステップＦ１０１で抽出した非フラッシュ画像としての画像データ＃０，＃１，＃３・・・＃ｎのうちで、１つ（例えば画像データ＃０）を補正対象とし、ステップＦ１０６で、その補正対象とした画像データ＃０の輝度平均値と、上記の基準平均輝度の比を求め、当該比に基づいて補正係数を算出する。
そしてステップＦ１０７で、当該画像データ＃０の全画素の輝度値に対し、補正係数を乗算することで、画像データ＃０の輝度補正を行う。
ステップＦ１０８で、未処理の画像データがあればステップＦ１０５に戻って、次の画像データ（例えば画像データ＃１）について同様の処理を行う。
即ち、非フラッシュ画像として抽出した全画像データについて、順次ステップＦ１０５，Ｆ１０６，Ｆ１０７により輝度補正を行い、全画像データの処理が終了した時点で、この図７の処理を終える。

この図７の合成準備処理によれば、合成用画像データとして取り込まれた非フラッシュ画像としての全画像データの輝度が均一化され、後述する合成処理に適した画像データとなる。
なお、この例では自己のフラッシュ発光に伴った画像の補正は行わないが、これはフラッシュ発光は撮像したカメラマンの意志によるものであるため、補正しないようにしているものである。
但し、場合によっては、フラッシュ発光の有無にかかわらず、合成用画像データの全部について、輝度均一化のための補正を行うことも考えられる。
また、フラッシュ発光撮像による画像データが複数含まれている場合は、それらの複数のフラッシュ画像データの間で、輝度が均一化されるような補正を行うことも考えられる。

＜４−２：合成処理＞

続いて図４のステップＳＴ３の合成処理について説明する。なお、本例における合成処理では、複数の画像データの対応する各画素の値を単純に加算するのではなく、対応する各画素の値を平均化（もしくは重み付け）して合成画像を生成する画像処理を行う。

ステップＳＴ３の合成処理として、ＣＰＵ３１は、その合成処理部５３，表示制御部５６，操作検知部５５の連係により図８の処理を行う。
まずステップＦ２０１で、ＣＰＵ３１は合成作業画像による合成用画像データの再生表示を開始させる。
図１０〜図１８は表示パネル６に表示させる合成作業画像７０の例を示している。
まず、再生開始当初は図１０の合成作業画像７０を表示させる。この合成作業画像７０では、画像表示領域７１、７２、タイムライン７３、再生位置マーカー７４としての表示が行われる。
画像表示領域７１は、再生画の表示等に用いられる。
画像表示領域７２は、合成画像のプレビュー表示等に用いられる。
タイムライン７３は、一連の時間的に連続した複数の合成用画像データの時間幅を示すものとされる。
再生位置マーカー７４は、タイムライン７３上で現在の再生位置を示す。

再生開始当初は、図１０のように、画像表示領域７１において、合成用画像データにおける時間的に先頭の画像からの画像が順次動画的に再生表示される。例えば合成用画像データのそれぞれを画像データ＃０、＃１，＃２・・・＃ｎとすると、ＣＰＵ３１は、画像データ＃０から順に＃１，＃２，＃３・・・を、画像表示領域７１に表示されるようにし、一連の画像データ＃０〜＃ｎを動画的に表現する。再生位置マーカー７４は、再生の進行に伴って、タイムライン上を左に移動されていくようにする。

ユーザは、このような再生画像を見ながら、任意のタイミングで合成開始位置を指示する操作を行う。例えば合成開始位置の指示操作は、ユーザがシャッターキーを押し込む操作などとする。
ＣＰＵ３１はステップＦ２０１で再生表示を開始させた後、ユーザが合成開始位置を指示する操作を行うことに応じてステップＦ２０２の合成開始位置設定を行う。
例えば図１１に示すように、再生が或る程度進んだ時点でユーザが合成開始位置の指示操作を行ったら、その時点の再生画としての画像データ＃ｘを合成開始位置の画像（以下、合成開始画像）とする。また、合成開始マーカー７５を表示させる。
なお、画像表示領域７１での画像再生表示は引き続き進行させる。

合成開始位置設定後は、ＣＰＵ３１はステップＦ２０５で合成終了位置設定としての操作を検知するまで、ステップＦ２０３，Ｆ２０４の処理を続ける。
ステップＦ２０３のプレビュー画合成とは、合成開始画像から現在画像表示領域７１で再生させている画像までを合成する処理である。
またステップＦ２０４のプレビュー画表示とは、合成画像を画像表示領域７２にプレビュー表示させる処理である。
つまり、合成開始画像から、現在再生中のフレームまでの画像が全て合成されながら、図１２のように、その合成画像が画像表示領域７２にプレビュー表示される。
再生は引き続き進行していくため、再生の進行に伴って、合成範囲が１フレームずつ増えていくことになる。即ち再生画が再生されるたびに対応する各画素の値を加算し、加算された再生画の枚数で除算するという合成を行ってプレビュー画を生成することによって、重み付けのない長時間露光を行ったような画像が得られ、これがプレビュー画として表示される。
一連の画像データ＃０〜＃ｎが、被写体が右から左に移動している画像であった場合、図１２のように、画像表示領域７１での再生の進行に従って、合成開始画像から現在の画像までの合成画として、右から左に移動している被写体について長時間露光を行ったような画像が、画像表示領域７２に表示されることになる。

このような再生画及びプレビュー画を見ながら、ユーザは合成終了位置を指示する。
例えばユーザがシャッターキーを押し込む操作で合成開始位置を指示した後、シャッターキーを放す操作を、合成終了位置設定としての操作とする。
すると、シャッターキーが押し込まれた以降、ＣＰＵ３１はステップＦ２０３，Ｆ２０４を繰り返し、シャッターキーが放された時点で、そのタイミングの再生画像を合成終了位置の画像（以下、合成終了画像）として設定する。この場合、図１２のように合成終了位置を示す合成終了マーカー７６を表示させる。そしてその後、ステップＦ２０５からＦ２０６に進む。

なお合成開始位置／合成終了位置の設定は、シャッターキーの押し込み操作に限らない。例えば１回シャッターキーを押すことを合成開始位置操作、再度シャッターキーを押すことを合成終了位置操作などとすることも考えられる。
また、連続した合成用画像データの最初から最後までをあらかじめ選択するようにしても構わないし、合成開始位置をユーザー操作で行い、プレビュー画や画像合成用のバッファメモリが一杯になるところを合成終了位置としても構わない。
またプレビュー画の生成・表示においては、後述するステップＦ２０７で最終的な画像合成処理を行う前の簡易的な設定（重み付け設定など）で処理を行ったり、事前に設定の効果を確認できる程度の画像サイズで行うなど簡易な処理で行ってもよい。

以上のステップＦ２０５までの処理で、合成開始位置／合成終了位置が設定されたら、ＣＰＵ３１はステップＦ２０６に進んで調整処理を行う。調整処理の詳細を図９に示す。
まずＣＰＵ３１はステップＦ２２０で、選択画像リスト表示、重みバー表示を合成作業画像７０において行うようにする。
図１３に示すように、選択画像リスト表示として、タイムライン７３内に、合成範囲とされた合成開始画像から合成終了画像に至る各画像を表示させる。
例えばこの場合、画像データ＃５が合成開始画像、画像データ＃１１が合成終了画像とされた場合の例として、タイムライン７３内に選択画像リスト表示として画像データ＃５、＃６、＃７・・・＃１１が表示された状態を示している。

なお、実際にはタイムライン７３内に合成範囲内の全画像を表示しきれない場合もあるが、選択画像リストはタイムライン７３内に収まるよう自動的にサイズ変更されるようにする。もちろん、サイズがあまり小さくなってしまうと視認性が悪くなってしまうので、例えば左右にスクロール可能に表示することもできるし、選択画像リスト内で選択状態とする画像の前後のフレームも並べて表示することによって調整操作の際のフレーム選択をユーザが検討しやすくすることもできる。

また、重みバー表示として、各画像データ＃５、＃６、＃７・・・＃１１に対応する重みバーｗ５，ｗ６，ｗ７・・・ｗ１１が表示される。この重みバーは、例えばバーの高さが重み係数を表すものとされる。
ステップＦ２２０での初期状態では、特定の画像データに対する重み付けはされていない。言い換えれば、各画像データに対して均等な重み付けがされている。
なお、本例では重みバーによって重み係数を表現するものとして説明を続けるが、各画像データに与えられている重み係数を表現する画像は、これ以外にも各種考えられる。例えば他の形状（例えば円グラフ状など）でもよいし、重み係数を示す数値を表示してもよい。
さらには、必ずしも重み係数のみを表現する独立した画像でなくてもよい。例えば選択画像リストとして表示されている画像データ＃５、＃６、＃７・・・＃１１の画像自体の明るさを重み係数に応じて変化させるといった手法により、各画像データに与えられている重み係数を表現する画像を実現しても良い。

図９の処理では、ＣＰＵ３１はステップＦ２２１、Ｆ２２２、Ｆ２２３でユーザの操作を監視している。
図１３のような合成作業画像７０において、ユーザは各画像データの重み係数を変更する操作や、合成範囲を変更する操作などを行うことができる。
例えば図２（ｂ）に示した十字キー５ｉの左右操作で、選択画像リスト内の任意の画像データを選択状態とし、その状態で十字キー５ｉの上下操作で、選択中の画像データの重み係数を変更する操作を行うことができる。

ユーザが或る画像を選択して重み係数を変更する操作を行った場合、ＣＰＵ３１は処理をステップＦ２２１からＦ２２４に進める。
ＣＰＵ３１は操作に応じた表示処理として、選択中の画像データ＃（ｘ）に対応する重みバーｗ（ｘ）の高さを変更する。
また選択中の画像データ＃（ｘ）に設定している重み係数を変更する。
さらに、変更した重み係数を反映した上で、合成範囲の画像データの加重平均による合成処理を行い、プレビュー画として生成し、画像表示領域７２に表示させる。

例えばユーザが図１３の状態から画像データ＃５を選択し、その重み係数を高くする操作を行ったとする。するとＣＰＵ３１はステップＦ２２４の処理を行い、図１４のように重みバーｗ５を高くし、また画像データ＃５に設定している重み係数を高い値に変更した上で、合成範囲の画像データ（＃５〜＃１１）の合成処理を行い、プレビュー画を画像表示領域７２に表示させる。
またユーザが他の画像データ＃６〜＃１１についても、それぞれ選択したうえで、それぞれの重み係数を低くする操作を行ったとする。するとＣＰＵ３１は、それぞれの操作に応じてステップＦ２２４の処理を行い、図１４のように重みバーｗ６〜ｗ１１を低くし、また画像データ＃６〜＃１１に設定している重み係数を低い値に変更した上で、合成範囲の画像データ（＃５〜＃１１）の合成処理を行い、プレビュー画を画像表示領域７２に表示させる。

ユーザが各画像データ＃５〜＃１１について、このような重み係数の操作を行った場合、合成範囲内で時間的に先頭となっている画像データ＃５が、他の画像データ＃６〜＃１１より高い重みで強調されて合成されることになり、図１４のプレビュー画として示するように、いわゆる先幕シンクロ効果としての合成画像が得られることになる。
なお、先幕シンクロ効果とは、長時間露光の開始タイミングのみにフラッシュを焚くことで、時間的に最初の状態が明瞭に表現されるような撮像技法である。本例では合成範囲とされた連続するフレームの画像データのうちで、最初のフレームの画像データに対して高い重み係数、後続の他のフレームの画像データに低い重み係数を与えて合成することで、このような先幕シンクロ効果を得る。

重み係数の変更は、例えば８ビット（２５６段階）可変などとすることによってきめ細やかな調整可能とすることができる。又は、よりユーザーにとって簡便にするように、明／暗の２段階としても良いし、上／中／下の３段階としても良い。また段階の中に重みゼロという係数設定を加えても良い。
また重み係数は、連続撮像時の不適当な画像（例えば、夜景を撮影しているときにそばを自動車が通り過ぎて、辺りが明るく照らし出されてしまった等）を除外することなく、露光量すなわち画像の明るさを自由に調整することができるものとしても良い。本例では、上述の合成準備処理によって、そのような合成に不適当な画像が予め補正されるようにしているが、例えばこの重み係数の調整で、ユーザが手動で補正を行うことも可能である。

また、ユーザ操作として、合成開始マーカー７５や合成終了マーカー７６で示される合成範囲を変更することもできる。
例えば合成開始位置の画像データ（＃５）を選択した状態で、特定のキーを押しながら十字キー５ｉの左右操作を行うことによって、合成開始位置を時間的に前後のフレームの画像データに変えることができる。同様に合成終了位置の画像データ（＃１１）を選択した状態で、特定のキーを押しながら十字キー５ｉの左右操作を行うことによって、合成開始位置を時間的に前後のフレームの画像データに変えることができる。
或いは、ユーザ操作として、合成開始マーカー７５や合成終了マーカー７６を直接タイムライン７３に沿って左右に移動させることができるようにしてもよい。

ユーザが合成範囲の変更の操作を行った場合、ＣＰＵ３１は処理をステップＦ２２２からＦ２２５に進める。そして、操作に応じて合成対象の画像範囲を変更し、新たな合成範囲の画像データの合成処理を行い、プレビュー画として生成し、画像表示領域７２に表示させる。
例えばユーザが図１４の状態から、合成終了画像を画像データ＃７とする操作を行ったとする。するとＣＰＵ３１はステップＦ２２５の処理を行い、図１５のように、新たな合成範囲の画像データ（＃５〜＃７）の合成処理を行い、プレビュー画を画像表示領域７２に表示させる。なお合成終了マーカー７６は、画像データ＃７を示す状態とする。
この場合、図１４と図１５のプレビュー画を比較して分かるように、図１５では合成範囲が短くされたことで、先幕シンクロでの露光時間が短くされたような画像効果を得ることになる。

以上のように、ユーザが合成作業画像７０に対して各種操作を行うことで、それに応じたＣＰＵ３１のステップＦ２２４，Ｆ２２５の処理によって、各種の状態の合成画像がプレビュー表示される。
他の各例を図１６，図１７，図１８に示す。

図１６は、例えば図１３の状態から、ユーザが画像データ＃１１を選択し、その重み係数を高くする操作を行うとともに、他の画像データ＃５〜＃１０についても、それぞれ選択したうえで、それぞれの重み係数を低くする操作を行った場合の例を示している。
ＣＰＵ３１は、それぞれの画像データ＃５〜＃１１についての重み係数の操作に応じてステップＦ２２４の処理を行う。
この場合、合成範囲内で時間的に最後となっている画像データ＃１１が、他の画像データ＃５〜＃１０より高い重みで強調されて合成されることになり、図１６のプレビュー画として示するように、いわゆる後幕シンクロ効果としての合成画像が得られることになる。
なお、後幕シンクロ効果とは、長時間露光の終了タイミングのみにフラッシュを焚くことで、時間的に最後の状態が明瞭に表現されるような撮像技法である。本例では合成範囲とされた連続するフレームの画像データのうちで、最後のフレームの画像データに対して高い重み係数、他のフレームの画像データに低い重み係数を与えて合成することで、このような後幕シンクロ効果を得る。

図１７は、図１６の状態からユーザが合成範囲の変更の操作を行った場合を示している。ユーザが合成範囲を画像データ＃９〜＃１１に変更する操作を行うことに応じ、ＣＰＵ３１はステップＦ２２５の処理で、新たな合成範囲の画像データの合成処理を行い、プレビュー画として生成し、画像表示領域７２に表示させる。
この場合、図１６と図１７のプレビュー画を比較して分かるように、図１７では合成範囲が短くされたことで、後幕シンクロでの露光時間が短くされたような画像効果を得ることになる。

図１８は、例えば図１３の状態から、ユーザが画像データ＃５、＃８、＃１１について重み係数を高くする操作を行うとともに、他の画像データ＃６、＃７、＃９、＃１０について重み係数を低くする操作を行った場合の例を示している。
ＣＰＵ３１は、それぞれの画像データ＃５〜＃１１についての重み係数の操作に応じてステップＦ２２４の処理を行う。
この場合、合成範囲内で周期的に画像が強調されて合成されることになり、図１８のプレビュー画として示するように、いわゆるマルチ発光効果としての合成画像が得られることになる。
なお、マルチ発光効果とは、長時間露光の間に周期的にフラッシュを焚くことで、周期的に被写体の状態が明瞭に表現されるような撮像技法である。本例では、合成範囲内の連続するフレームの画像データに対して周期的に高い重み係数と低い重み係数を与えて合成することで、このようなマルチ発光効果を得る。

以上の例示のように、ユーザは合成作業画像７０において所望の操作を行うことで、多様な合成画像を試し、プレビュー画として確認することができる。つまり画像効果を多様に試し、確認しながら、求める画像を容易に生成することができる。
そして、プレビュー画として満足のいく合成画像が得られたら、ユーザは調整終了操作を行えばよい。例えばユーザは、十字キー５ｉの中央の決定キーを押すことなどとして、調整終了操作を行う。
ＣＰＵ３１は、調整終了操作を検知したら、図９の処理をステップＦ２２３から終了し、図８のステップＦ２０７に進む。
ステップＦ２０７では、ＣＰＵ３１は最終的な合成処理を行う。即ち、調整処理の終了時点の合成範囲の各画像データと、各画像データに設定された重み係数を用いて合成を行う。この場合、の合成範囲の各フレームの画像データについて、設定された重み係数を各画素の値に乗算する。そして、各フレームの画像データについて、対応する各画素の値を加算して、加算されたフレームの数で除算するという加重平均処理により行う。
なお、生成される合成画像の露出が指定された明るさになるよう、加算もしくは除算の際に補正をかけることもできるし、計算後の合成画像データに補正をかけることもできる。

以上の図８の処理により図４に示したステップＳＴ３としての合成処理が行われた、ＣＰＵ３１は、ステップＳＴ４として合成画像記録処理を行う。即ち上記のようにして生成された合成画像データを、媒体インターフェース１０を介して記録媒体９０に記録させる制御を行う。
以上で、合成モードでの一連の処理を終了する。

このような合成モードによる動作によって、次のような効果が得られる。
まず、撮像後の画像を用いて画像合成するものであるため、従来は撮像者が自分の経験と勘で露光時間／シャッタータイミングなどを決めなくてはならなかった長時間露光撮像と同等の効果を、特に熟練者でなくとも簡易に得ることができるようになる。しかも、満足のいく画像効果が得られるまで、何度でも試したり、やり直すことができる。
また、撮像後に合成する画像データについて重み係数を任意に設定できるようにしたことで、従来はフラッシュを焚かなくては得られなかった先幕シンクロ／後幕シンクロ／マルチ発光などの画像効果を容易に得ることができる。
また、被写体に動きのある撮像条件、例えば被写体の動きを表現したり、動いている被写体の中で静止している被写体の存在を浮かび上がらせたりするような目的での撮像条件においても良好な画像を得ることができる。

＜４−３：変更前後表示付き調整処理例＞

上述の合成処理例では、ユーザが合成作業画像７０において重み係数等を変更した場合の合成画像のプレビュー画が画像表示領域７２に表示されるが、ここで、その重み係数とうを変更する直前の合成画像（直前のプレビュー画）が同時に表示されるようにすると、ユーザは変更操作前後の合成画像を同時に確認でき、好ましい。
そこで、図８のステップＦ２０６で行われる調整処理は、図９の例に代えて図１９のように行うことも考えられる。

図１９はＣＰＵ３１が実行する調整処理の例であるが、図９と同一の処理については同一ステップ番号を付し、説明を省略する。
この図１９の場合、ユーザが重み係数を変更する操作を行った場合の処理としてのステップＦ２２４Ａ、及びユーザが合成範囲を変更する操作を行った場合の処理としてのステップＦ２２５Ａが、図９と異なるものとなる。

ユーザが重み係数を変更する操作を行った場合、ＣＰＵ３１はステップＦ２２４Ａで、選択中の画像データ＃（ｘ）に対応する重みバーｗ（ｘ）の高さを変更する。また選択中の画像データ＃（ｘ）に設定している重み係数を変更する。さらに、変更した重み係数を反映した上で、合成範囲の画像データの加重平均による合成処理を行い、プレビュー画として生成し、画像表示領域７２に表示させる。
また、その直前までプレビュー画として画像表示領域７２に表示させていた合成画像を画像表示領域７１に表示させる。
即ち、前回のプレビュー画としての合成画像も破棄せずに保持しておき、図２０に示すように、今回新たに合成したプレビュー画としての合成画像とともに、画像表示領域７１，７２に並べて表示させるようにする。
図２０は、例えばユーザが画像データ＃１１の重み係数を高くする操作を行った場合であり、この場合に、重み付け変更後のプレビュー画として、画像表示領域７２に新たな合成画像（後幕シンクロ効果の画像）が表示され、画像表示領域７１に、その直前の合成画像（後幕シンクロ効果のない画像）が表示されている。
この図２０のように重み係数を変更する前後の合成画像を同時に表示することで、ユーザは、重み係数の変更が適切であったか否かを検討し易いものとなる。

またユーザが合成範囲を変更する操作を行った場合、ＣＰＵ３１はステップＦ２２５Ａで、操作に応じて合成対象の画像範囲を変更し、新たな合成範囲の画像データの合成処理を行い、プレビュー画として生成し、画像表示領域７２に表示させる。またその直前までプレビュー画として画像表示領域７２に表示させていた合成画像を画像表示領域７１に表示させる。
この場合もユーザは、合成範囲の変更後、変更前を並べて比較することができる。

例えばこのように、合成する画像の範囲を選択したり、重み付けを指示したりする際にその合成の結果の前後の画像を比較して確認できるようにすることで、ユーザは多様な画像効果を試す場合などに便利となる。
なお、例えば２つの比較した結果、元の方が良いとユーザが判断した場合に、今回の画像合成をキャンセルして元に合成状態に戻す操作を可能とすることは、当然想定される。
またこのように合成前後を並べて表示させる図１９の処理と、上述の図９の処理のどちらが実行されるかを、ユーザが任意に選択できるようにしても良い。

［５．テンプレートを用いた処理］

上記の合成処理では、ユーザが任意に各画像データの重み係数を変更操作することで、先幕シンクロ効果、後幕シンクロ効果、マルチ発光効果などの画像効果の合成画像を作成できるものとしたが、ユーザによっては、どのような重み付けをすれば所望の画像効果が得られるかわからない場合もある。また、わかっていても、逐一画像データを選択して重み係数を変更する操作が面倒であると感じる場合もある。
そこで、所定の画像効果を得るための重み係数のパターンを設定した係数テンプレートを用意し、ユーザが係数テンプレートを選択するという操作手法も考えられる。

いま、長時間露光効果、先幕シンクロ効果、後幕シンクロ効果、マルチ発光効果の４つの係数テンプレートが用意されていると仮定して説明する。
例えばフラッシュＲＯＭ３３には、長時間露光効果、先幕シンクロ効果、後幕シンクロ効果、マルチ発光効果のそれぞれに対応する重み係数パターンが、各係数テンプレートとして記憶されている。例えば先幕シンクロ効果の係数テンプレートは、その重み係数パターンとして、先頭の画像に対する重みが高く、後続の画像に対する重みが低くされたパターンとなる。ＣＰＵ３１のテンプレート管理部５７は、これらの係数テンプレートの管理を行う。

そしてＣＰＵ３１は、図８のステップＦ２０６で行われる調整処理は、図９の例に代えて図２２のように行うようにする。
ＣＰＵ３１は、図８のステップＦ２０６に進んだ段階で、図２２の処理を行う。まずステップＦ３０１でＣＰＵ３１（テンプレート管理部５７及び表示制御部５６）は、効果選択のための係数テンプレートを表示パネル６に表示させる。
図２１に表示例を示す。長時間露光効果、先幕シンクロ効果、後幕シンクロ効果、マルチ発光効果の４つの係数テンプレートに応じた画像が表示される。
このときに、その各係数テンプレートを用いた場合の画像効果を示す効果モデル画像を表示させる。図のように効果モデル画像として長時間露光効果を与えた画像、先幕シンクロ効果を与えた画像、後幕シンクロ効果を与えた画像、マルチ発光効果を与えた画像として、各画像効果がどのようなものであるかをユーザが認識できるようにする。これは各種画像効果がどのようなものであるかわからないユーザにとっては特に好適となる。

なお、これら係数テンプレート選択のための画像は、予めそれらの効果モデル画像データを用意しておき、それを一覧表示すればよい。
また、効果モデル画像を表示させず、単にメニュー形式で、「長時間露光効果」「先幕シンクロ効果」「後幕シンクロ効果」「マルチ発光効果」等を文字項目として選択させるものであってもよい。

この図２１のような表示に対してユーザが、例えば十字キー５ｉの操作により、任意の効果モデル画像を選択し、決定操作を行うことで、１つの係数テンプレートが選択される。
ＣＰＵ３１はユーザの選択決定操作に応じて処理をステップＦ３０２からＦ３０３に進める。この場合、ＣＰＵ３１のテンプレート管理部５７は選択された係数テンプレートの重み係数パターンを合成処理部５３に与え、合成処理部５３は、その重み係数パターンを、合成範囲の各画像に与えるようにする。
上述のように、この図２２に示す図８のステップＦ２０６の調整処理に進む段階は、図１２までで説明したようにユーザが合成範囲（合成開始位置と合成終了位置）を決めた段階であり、合成作業画像７０が図１２から図１３の状態に進む時点である。
この際に、ユーザによって係数テンプレートが選択されることで、図１３のように選択画像リストと重みバーが表示される時点で、ＣＰＵ３１の合成処理部５３は、各画像データに対応する重み係数として、テンプレートの重み係数パターンを与え、またプレビュー画として、当該重み係数を与えた状態での加重平均による合成画像を表示させる。

なお、図２２のステップＦ２２０〜Ｆ２２３として示す以降の処理は、図９と同様であり、重複説明を避ける。
このようにユーザが係数テンプレート選択により、合成範囲の各画像データのそれぞれの重み係数を調整しなくとも、所望の画像効果を得る状態を最初にプレビューできることで、ユーザの操作の容易性や操作効率を格段に高めることができる。
また、先幕シンクロ効果等の効果の内容をよく知らないユーザであっても、係数テンプレートの選択により、多様な画像効果を実現できることにもなる。
もちろん、図２２のステップＦ２２０以降では、図９の場合と同様に、個別の画像データ毎に重み係数を変更したり、合成範囲を変更することも任意にできるため、ユーザは係数テンプレート選択による合成画像をベースとして、よりオリジナリティを追求した合成画像を作成していくことも可能である。

なお、係数テンプレートを選択した後、係数テンプレートで設定された係数パターン自体の調整を行うことができるようにしてもよい。
例えばマルチ発光効果の重み係数パターンについては、テンプレート選択後に発光間隔（重み付けの強いフレームの間隔）を調整できるようにする。このような調整操作は、いずれかの操作ボタンに機能を付加しても良いし、メニューから選択しても良い。また、シャッターボタンを押しながら左右ボタンを押すなどの操作で発光間隔（重み付けの強いフレームの間隔）が自在に操作できるようにしても良い。
また、ゴルフのスイングチェックなど、特定用途に最適な係数テンプレートを用意することもできる。

ところで、合成処理時以外に、カメラモードで撮像を行う際などに、係数テンプレートが選択できるようにすることも考えられる。
例えばカメラモードにおいて撮像モードを選択する際に、図２３のようなモード選択画面を表示パネル６に表示させるようにする。
この場合、図４に示したオートモード撮像、ポートレートモード撮像、夕景モード撮像、マクロモード撮像などの通常の撮像モードとともに、長時間露光効果、先幕シンクロ効果、後幕シンクロ効果、マルチ発光効果などを選択可能とする。
時間露光効果、先幕シンクロ効果、後幕シンクロ効果、マルチ発光効果は、それらが選択された場合は図５のステップＦ１５として合成モード用撮像として、複数フレームの画像撮像が行われるが、その際に、記録する画像データ群に対して、メタデータ等により選択された効果の情報を記録しておく。
すると、その後に図８の合成処理でステップＦ２０３でプレビュー画を合成する際や、ステップＦ２０６に至った時点などで、選択された画像効果の係数テンプレートを用いて重み付け合成を行うことができる。
例えばユーザが、撮像時から先幕シンクロ効果を求めているのであれば、予め撮像の際に先幕シンクロ効果の係数テンプレートを選択しておくことで、合成時には、先幕シンクロ効果の重み係数パターンでプレビュー画の合成が行われることになり、作業効率を向上できる。

また、このように撮像段階で先幕シンクロ効果、後幕シンクロ効果、マルチ発光効果が選択された場合は、ＣＰＵ３１は、係数テンプレートの重み係数パターンを参照してタイミングを設定し、図５のステップＦ１５での連続フレーム撮像時に、実際に上記タイミングでフラッシュ発光制御を行うようにすることも考えられる。

［６．固定フレームレートでの撮像動作］

ところで、デジタルビデオカメラやデジタルスチルカメラなどの撮像装置では、撮像素子への入射光束および電荷蓄積時間を制御することによって露光時間の調節を行う。
例えば、ビデオカメラにおいてはフレームレートに沿って一定露光周期で画像を撮り続けることが一般的であるが、高輝度被写体を撮影するときにはフレームレートで決まる露光時間（例えば、６０ｆｐｓのときには約１／６０秒）よりも短い時間（例えば１／２５０秒）の電子シャッタを用いることがある。
この場合に、フレームレートで決まる露光時間から電子シャッタで実際に露光されている時間を差し引いた残りの時間は、記録されない時間となってしまう。動画としては、パラパラ漫画のようなギクシャクとした画像になってしまう。このような動画にならないように、露出制御を行うのが普通であるが、動画がギクシャクと見えない範囲であれば電子シャッタを用いてフレームレートで決まっている露光時間よりも短い電荷蓄積時間で撮像することが一般的である。

ここで本例の撮像装置１において合成モード用撮像として、連続したフレームの画像データの撮像を行う場合を考える。
図２４（ｂ）（ｄ）は、撮像時に１フレーム期間＝ＦＲとした場合の固定のフレームレートで連続フレーム撮像を行った場合を示している。
図２４（ｂ）は、フレーム期間ＦＲ内で電子シャッタ機能を使用しない場合であり、撮像素子の露光期間＝Ｒ１となる。この場合Ｒ１≒ＦＲである。つまり撮像素子が露光による電荷転送のために最低限必要な期間を除いて、フレーム期間内に継続して露光している状態を示している。なお、説明の簡略化のため、以下では撮像素子が電荷転送を行うための露光できないわずかな期間については無視する。

ここで、被写体輝度が上昇し、露光量を低下させる必要がある場合において、自動露光調整のために電子シャッタ機能を使用した状況を図２４（ｄ）に示している。この場合、1フレーム期間ＦＲ内の露光時間が、露光時間Ｒ２として示すように短くされる。なお斜線部は露光を行っていない期間である。

例えばこの図２４（ｂ）（ｄ）のような連続フレーム撮像を行った場合に、それぞれ上述の合成処理を行ったとしたときに得られる合成画像の例を図２４（ａ）（ｃ）に示している。なお図２４（ａ）（ｃ）は、複数フレームの各画像データの重み係数は均等として長時間露光効果を得るようにした場合の合成画像としている。
図２４（ｂ）のように電子シャッタ機能を使用していない状態で撮像した画像データによる合成画像は、図２４（ａ）のように、滑らかな長時間露光効果が得られる。
一方、図２４（ｄ）のように電子シャッタ機能を使用した状態で撮像した画像データによる合成画像は、図２４（ｃ）のように、滑らかさにかけた長時間露光効果の画像となってしまう。
これは、斜線部として示す非露光期間において、被写体画像の情報が得られないことによる。

ここで、図２４（ｄ）のように電子シャッタ機能を自動露光調整に用いる場合の露光制御動作を図２５で説明する。
撮像装置１では、露光調整を行うには、絞り／ＮＤフィルタ機構２２における絞り機構、ＮＤフィルタ機構、撮像素子部２３の動作をタイミング生成回路２８が制御することで実行される電子シャッタ機能、アナログ信号処理部２４が撮像素子部２３で得られた撮像信号に対して与えるゲインの可変を利用することができる。
図２５は、横軸方向を被写体輝度とし、図２５（ａ）に撮像時のフレームレートで決まる１フレーム周期ＦＲを示している。この場合、フレーム周期ＦＲ＝１／６０秒とし、被写体輝度にかかわらず固定としている。
図２５（ｂ）に電子シャッタＳＨ（フレーム内露光時間）とゲインレベルＧを示している。また、図２５（ｄ）に絞り機構、ＮＤフィルタ機構の動作状態を模式的に示す。
そして図２５（ｃ）は、被写体輝度の変化に応じた露光制御方式を示している。

被写体輝度が最も低い領域（Ａ領域）では、絞り機構によって露光調整を行う。即ち絞り機構の開口量により入射光量を調整する。
絞り機構のみでは入射光量調整ができなくなるＢ領域では、絞り機構とＮＤフィルタ機構を併用する。つまり絞り機構の開口量と、ＮＤフィルタ機構の入射光束への挿入量によって、入射光量を調節する。
絞り機構とＮＤフィルタ機構を併用のみでは調整できないほど被写体輝度が高くなるＣ領域では、電子シャッタ機能を用いる。例えば当初はフレーム内露光時間ＳＨ＝１／６０秒としていたところ、電子シャッタ機能により、被写体輝度が高くなるほど、短くしていくように制御する。例えば最短で１／５００秒までフレーム内露光時間ＳＨを制御する。
なお、通常ではあまり生じない非常に高い被写体輝度となり、電子シャッタ機能まで用いても露光調整ができないような輝度領域をＤ領域としているが、この場合、ゲインレベルＧを可変することで対応する。

例えば撮像装置１では、フレームレートを固定とする場合、このような露光調整制御が考えられるが、すると、被写体輝度が領域Ｃにあるときには電子シャッタ機能が用いられることとなり、その状態で撮像が行われると、上記図２４（ｃ）（ｄ）に示した状況となり、合成画像が長時間露光効果としては滑らかさに欠けた画像となってしまう。

そこで本例の撮像装置は、少なくとも合成モード用撮像を行う場合（つまり図５のステップＦ１５での連続フレーム撮像を行う場合）には、図２６に示すような露光調整制御を行うものとする。
図２６（ａ）（ｂ）（ｃ）（ｄ）は図２５（ａ）（ｂ）（ｃ）（ｄ）と同様に、横軸方向を被写体輝度として、フレーム周期ＦＲ（＝１／６０秒）、ゲインレベルＧ、電子シャッタによる露光時間ＳＨ、露光制御方式、及び絞り機構、ＮＤフィルタ機構の動作状態を示している。

被写体輝度が最も低いＡ領域では、絞り機構によって露光調整を行う。即ち絞り機構の開口量により入射光量を調整する。
絞り機構のみでは入射光量調整ができなくなるＢ領域では、絞り機構とＮＤフィルタ機構を併用する。つまり絞り機構の開口量と、ＮＤフィルタ機構の入射光束への挿入量によって、入射光量を調節する。
そして絞り機構とＮＤフィルタ機構を併用のみでは調整できないほど被写体輝度が高くなるＣ領域では、電子シャッタ機能を用いずに、ゲインレベルＧの可変制御により対応する。
なお、ゲイン調整を行うと、電子的なノイズが発生しやすく諧調や精細さに欠ける撮像画像となってしまうこともあるため、ゲイン調整に関してはリミットを設定したり、ノイズリダクション処理で対応するなどが適切である。
そしてゲインレベルの可変がリミットに達してもなお、対応できないような、通常ではあまり生じない非常に高い被写体輝度のＤ領域となった場合にのみ、電子シャッタ機能を用いて露光調整を行う。

このような露光調整を行うため、上記図５のステップＦ１５の撮像の際には、ＣＰＵ３１（撮像制御部５１）は図２７に示す露光調整処理を行う。この図２７の処理は、連続してフレーム撮像を行っている期間継続する。
ＣＰＵ３１はステップＦ３０１で、被写体輝度を判定する。例えば現在撮像されてカメラＤＳＰ４で処理されているフレームについてデジタル信号処理部４１で算出する露光量情報（例えば平均輝度情報など）を取得し、前フレームの露光量情報と比較して、被写体輝度が上昇したか低下したかを判定する。

被写体輝度に変化がないと判断した場合は、ＣＰＵ３１はステップＦ３０２、Ｆ３０６を介してステップＦ３０１に戻り、次のフレームについての被写体輝度の判定を行う。
被写体輝度が上昇していると判断した場合はＣＰＵ３１はステップＦ３０２からＦ３０３に進み、現在の領域の露光調整方式では制御限界となっているか否かを判定する。即ち今回の被写体光量の上昇は、図２６のＡ領域→Ｂ領域への上昇、Ｂ領域→Ｃ領域への上昇、Ｃ領域→Ｄ領域への上昇のいずれかに相当するか否かを確認する。

現在の領域の露光調整方式で制御限界ではなければ、ステップＦ３１０に進み、現在の露光調整方式で、被写体輝度の上昇に対応する。
つまり現在Ａ領域であったら、絞り機構の開口量を少なくする。現在Ｂ領域であったら、絞り機構とＮＤフィルタ機構の連係で入射光量を少なくするようにする。現在Ｃ領域であったら、ゲインレベルを低く制御する。現在Ｄ領域であったら、電子シャッタ機能によりフレーム内露光時間を短くする制御を行う。

現在の領域の露光調整方式で制御限界である場合は、ステップＦ３０４，Ｆ３０５で処理を分岐する。
即ちＡ領域からＢ領域に遷移するような被写体輝度の上昇であった場合は、ステップＦ３１１に進み、それまでの絞り機構のみによる露光調整から、絞り機構とＮＤフィルタ機構を併用した露光調整に切り換えて、被写体輝度の上昇に対応する制御を行う。
またＢ領域からＣ領域に遷移するような被写体輝度の上昇であった場合は、ステップＦ３１２に進み、それまでの絞り機構とＮＤフィルタ機構の併用による露光調整から、ゲインレベル可変による露光調整に切り換えて、被写体輝度の上昇に対応する制御を行う。
またＣ領域からＤ領域に遷移するような被写体輝度の上昇であった場合は、ステップＦ３１３に進み、それまでのゲインレベル可変による露光調整から、電子シャッタ機能を用いた露光調整に切り換えて、被写体輝度の上昇に対応する制御を行う。

ステップＦ３０１での判定により、被写体輝度が低下していると判断した場合はＣＰＵ３１はステップＦ３０２からＦ３０６に進み、現在の領域の露光調整方式では制御限界となっているか否かを判定する。即ち今回の被写体光量の低下は、図２６のＢ領域→Ａ領域への低下、Ｃ領域→Ｂ領域への低下、Ｄ領域→Ｃ領域への低下のいずれかに相当するか否かを確認する。

現在の領域の露光調整方式で制御限界ではなければ、ステップＦ３１０に進み、現在の露光調整方式で、被写体輝度の低下に対応する。
つまり現在Ａ領域であったら、絞り機構の開口量を大きくする。現在Ｂ領域であったら、絞り機構とＮＤフィルタ機構の連係で入射光量を多くするようにする。現在Ｃ領域であったら、ゲインレベルを高く制御する。現在Ｄ領域であったら、電子シャッタ機能によりフレーム内露光時間を長くする制御を行う。

現在の領域の露光調整方式で制御限界である場合は、ステップＦ３０８，Ｆ３０９で処理を分岐する。
即ちＣ領域からＢ領域に遷移するような被写体輝度の低下であった場合は、ステップＦ３１１に進み、それまでのゲインレベル可変による露光調整から、絞り機構とＮＤフィルタ機構を併用した露光調整に切り換えて、被写体輝度の低下に対応する制御を行う。
またＤ領域からＣ領域に遷移するような被写体輝度の低下であった場合は、ステップＦ３１２に進み、それまでの電子シャッタ機能による露光調整から、ゲインレベル可変による露光調整に切り換えて、被写体輝度の低下に対応する制御を行う。
またＢ領域からＡ領域に遷移するような被写体輝度の低下であった場合は、ステップＦ３１４に進み、それまでの絞り機構とＮＤフィルタ機構の併用による露光調整から、絞り機構のみを用いた露光調整に切り換えて、被写体輝度の低下に対応する制御を行う。

ＣＰＵ３１がこのような処理を行うことにより、図２６の露光調整が実行される。
つまりＣＰＵ３１は、撮像系２に固定フレームレートで時間的に連続性を有する複数フレームの画像データの撮像を実行させるとともに、この撮像実行時の被写体輝度に応じた露光調整制御として、電子シャッタ機能以外の露光調整機能（絞り機構、ＮＤフィルタ機構、ゲインレベル制御）を優先的に用いて露光調整制御を行うことになる。

図５のステップＦ１５の撮像の際に、このような露光調整制御が行われること、即ち電子シャッタ機能は可能な限り使用されないことで、殆どの場合図２４（ｂ）のような撮像動作が行われる。
従って、その後の合成処理によっては、図２４（ａ）のように、実際の長時間露光撮像と比較しても遜色のない、滑らかな画像を得ることができる。特に動きのある被写体を撮像する場合に滑らかな長時間露光画像を得ることができる。
また、この動作は特に固定フレームレートで撮像することを前提としているが、これによっては、合成モード用撮像と動画撮像を共用するようにする場合などに好適である。
つまり、動画撮像を行い、その撮像によって記録された動画データから複数フレームを抽出して合成処理に用いるようにする場合などは、このような露光調整動作によって、固定フレームレートでの適切な動画データであるとともに、合成処理に適した画像データであるという両立ができることになる。

なおＤ領域では電子シャッタ機能を用いることとしたが、このＤ領域は通常は滅多に発生しないほどの高輝度状態であり、殆どの場合は電子シャッタ機能が用いられないこととなり、合成時に滑らかな合成画像が得られるものとなる。
但し、ステップＦ１５で合成モード用撮像としての連続フレーム撮像を行う際には、全く電子シャッタ機能を用いないようにしても良い。つまり図２６のＤ領域では、それ以上の露光調整を行わない、或いはさらにゲインレベルを下げて対応するなどとしてもよい。
また、ステップＦ１５のみでなく、ステップＦ１６での撮像の際にも、このような露光調整制御を行うようにしても良いし、ステップＦ１６の場合は図２５の露光調整制御を行うようにしても良い。
また図２６，図２７では、電子シャッタ機能以外に３つの露光調整要素（絞り機構、ＮＤフィルタ機構、ゲイン可変）を用いたが、必ずしもこれら３つが全て用いられなくても良い。例えばＮＤフィルタ機構を用いない例も考えられる。

ところで、固定フレームレートで撮像を行うことを考えた場合、次のような撮像動作例も考えられる。
即ち固定フレームレートで時間的に連続性を有する複数フレームの画像データの撮像を実行させる際に、電子シャッタ機能により、固定フレームレートでの露光期間内に連続して分割的な露光を実行させ、当該分割的な露光により得られた複数の撮像画像データを合成して１フレームの画像データとするようにする。

図２８、図２９で説明する。
上述したように電子シャッターを使わない露光調整制御を行う場合には、例えばＣＣＤなどの撮像素子における蓄積電荷の限界を超えてしまい、飽和してしまう場合がある。
この場合は、電荷があふれるほど飽和した電荷量になってしまうわけであるから、真っ白に色飛びした画像が形成されることになってしまい、良好な画像を得ることができない。
当然、電荷があふれたような画像を元にして、良好な合成画像を得ることはできない。

そこで、このような場合には、例えばＣＣＤなどの撮像素子における蓄積電荷の限界を超えないように（飽和してしまわないように）電子シャッタ機能を用いて撮像することが考えられる。
但し、電子シャッタ機能を通常どおりに用いると、図２８（ａ）（ｂ）に示すようになり、例えば図２８（ｂ）のように、１フレーム期間ＦＲ１内で露光時間Ｒ３と非露光期間（斜線部）が生ずる状態となって、非露光期間で被写体の情報が欠落することで、合成画像が図２８（ａ）のように滑らかさの欠けたものとなる（上記２４（ｃ）（ｄ）と同様）。
そこで、図２８（ｄ）に示すように、ある特定のフレームレートでのフレーム期間ＦＲ１において、例えば露光期間Ｒ４として示すように分割的に露光を行うようにする。つまり非露光期間が生じないようにする。

この場合、撮像素子部２３では、例えば１フレーム期間ＦＲ１を３分割した露光期間Ｒ４毎に電荷の転送を行い、この撮像画像データを例えばカメラＤＳＰ４内で保存する。撮像素子部２３では、電荷転送直後に露光を再開し、同様に露光期間Ｒ４の露光を行う。
そして露光期間Ｒ４毎の３つの撮像画像データをカメラＤＳＰ４内で合成して、１フレームの画像データとするものとする。
このような動作を行うことで、固定フレームレートでの各フレームの撮像画像データ（＃１，＃２・・・）が得られることになるとともに、撮像素子部２３での飽和を解消し、かつ非露光期間による情報の欠落のない撮像画像データを得ることができる。
これによって、そのような複数フレームの画像データ（＃１，＃２・・・）を合成処理に用いた場合、図２８（ｃ）のように滑らかな長時間露光効果画像を得ることができる。

このような動作を行う場合に、分割露光期間をどのように設定するかは、多様に考えられる。１フレーム期間ＦＲ１を等間隔に分割してもよいし、不等間隔でもよい。また、実際には、固定とするフレームレートと、その撮像時の被写体輝度と、撮像素子部２３での電荷の飽和時間などを考慮して適応的に制御することが考えられる。

例えばカメラＤＳＰ４が、分割露光された複数の撮像画像データを合成して１フレームの画像データを生成する場合においては、分割露光時間に応じた重み付け合成をすることが適切である。
図２９（ａ）は、１フレーム期間ＦＲ１を等間隔に３分割して露光期間Ｒ４毎の分割露光を行った場合を示している。
この場合、１フレームを構成する３つの撮像画像データに対しては、図示するように同じ重み付け（１倍）で合成を行って、各フレームの撮像画像データ（＃０，＃１，＃２・・・）を生成する。
図２９（ｂ）は、１フレーム期間ＦＲ１を不等間隔に３分割した例であり、露光期間Ｒ５，Ｒ６，Ｒ７として各分割露光を行った場合を示している。この場合、Ｒ５，Ｒ６，Ｒ７の時間は、３：２：１であるとすると、露光期間Ｒ５の画像データには１／３の重みを与え、露光期間Ｒ６の画像データには２／３の重みを与え、露光期間Ｒ７の画像データには１倍の重みを与えて合成する。
図２９（ｃ）は、１フレーム期間ＦＲ１を一部不等間隔に３分割した例であり、露光期間Ｒ８，Ｒ８，Ｒ９として各分割露光を行った場合を示している。この場合、Ｒ８，Ｒ９の時間は、３：１であるとすると、露光期間Ｒ８の２つの画像データには１／３の重みを与え、露光期間Ｒ９の画像データには１倍の重みを与えて合成する。

［７．可変フレームレートでの撮像動作］

続いて、フレームレートを可変することを考慮した撮像動作例を説明する。
例えば図５のステップＦ１５の撮像の際に、被写体輝度に応じた自動露光調整のために電子シャッタ機能を用いると、その撮像によって得られた複数フレームの画像データを用いて合成処理を行った場合に、滑らかさに欠ける合成画像となってしまうことは上述のとおりである。図３０（ａ）（ｂ）は、例えば１フレーム期間ＦＲ１の場合に、電子シャッタ機能によって１フレーム内の露光期間＝Ｒ３とした場合であり、このような撮像によって得られた画像データを用いた合成を行うと、斜線部の非露光期間での情報欠落により図３０（ａ）のような合成画像となってしまう。

ここで、合成モード用撮像において、合成処理に用いる連続した複数フレームの画像データを得る場合に、必ずしもフレームレートを固定しなくてもよいという考え方に立つと、図３０（ｄ）のような撮像を行うことが考えられる。即ち１フレーム期間ＦＲ１には固定せず、被写体輝度の上昇に応じて１フレーム期間自体を短くし（つまりフレームレートを可変し）、その１フレーム内の期間では継続して露光を行うようにする。
図３０（ｄ）の場合、１フレーム期間ＦＲ２＝露光期間Ｒ３となるようにフレームレートを変化させたものであり、実質的に、図３０（ｂ）の場合と同等の露光調整効果が得られるものとなる。そしてこの図３０（ｄ）の場合は、１フレーム期間ＦＲ２内で非露光期間が無いことで、被写体情報の欠落が無い状態で、各フレームの画像データが記録されることになるため、このような撮像によって得られた画像データを用いた合成を行うと、図３０（ｃ）のように滑らかな長時間露光効果が得られる合成画像とすることができる。

つまり、ＣＰＵ３１（撮像制御部５１）は、図５のステップＦ１５において撮像系２に時間的に連続性を有する複数フレームの画像データの撮像を実行させる際に、当該撮像実行時の被写体輝度の変化に応じてフレームレートを変化させる制御を行うようにする。すると、その撮像動作によって撮像された、時間的に連続性を有する複数フレームの画像データを合成用画像データとして用いて合成処理を行い、静止画としての合成画像データを生成したときに、滑らかな長時間露光効果が得られるようになる。

図３１に、被写体輝度の変化とフレームレートの関係の一例を示している。
今、図３１（ａ）のように被写体輝度が時刻ｔ０から徐々に上昇し、時刻ｔ１以降はほぼ一定となったとする。この場合に、自動露光調整としてフレームレートを可変し、１フレーム期間を図３１（ｂ）のように制御する。つまり被写体輝度が徐々に上昇する時刻ｔ０〜ｔ１においては、１フレーム期間がＦＲ１→ＦＲ２→ＦＲ３・・・と徐々に短くなるようにして露光調整を行う。１フレーム期間内では非露光期間は設けないことで、１フレームでの露光期間はＲ１→Ｒ２→Ｒ３・・・と、１フレーム期間にあわせて短くなる。
時刻ｔ１以降で被写体輝度が変化しなければ、例えばその期間は１フレーム期間＝ＦＲ８（露光期間Ｒ８）を保てばよい。

このようなフレームレート可変制御を自動露光調整に利用した場合の動作例を図３２に示す。
図３２（ａ）（ｂ）（ｃ）（ｄ）は横軸方向を被写体輝度としている。そして図３２（ａ）はフレーム周期ＦＲ、図３２（ｂ）はゲインレベルＧ、図３２（ｃ）は露光制御方式、図３２（ｄ）は絞り機構、ＮＤフィルタ機構の動作状態を示している。
なお、電子シャッタ機能については示していないが、１期間内においては常時露光（電荷転送のための僅かな期間を除いて）を行うことを前提とし、１フレーム期間内で露光時間をその１フレーム期間より短くするということは行わないためである。

被写体輝度が最も低いＡ領域では、絞り機構によって露光調整を行う。即ち絞り機構の開口量により入射光量を調整する。
絞り機構のみでは入射光量調整ができなくなるＢ領域では、絞り機構とＮＤフィルタ機構を併用する。つまり絞り機構の開口量と、ＮＤフィルタ機構の入射光束への挿入量によって、入射光量を調節する。
そして絞り機構とＮＤフィルタ機構を併用のみでは調整できないほど被写体輝度が高くなるＣ領域では、フレームレート可変制御により対応する。即ち被写体輝度が高くなるほど１フレーム期間ＦＲを短くしていく。例えば被写体輝度が低いときは１フレーム期間＝１／６０秒としていたものを、被写体輝度が高くなることに応じて最短で１／５００秒まで可変制御する。
そして１フレーム期間＝１／５００秒としてもなお対応できないような、通常ではあまり生じない非常に高い被写体輝度のＤ領域となった場合にのみ、ゲイン可変制御により露光調整を行う。

このような露光調整を行うため、上記図５のステップＦ１５の撮像の際には、ＣＰＵ３１（撮像制御部５１）は図３３に示す露光調整処理を行う。この図３３の処理は、連続してフレーム撮像を行っている期間継続する。
なお、ステップＦ３０１〜Ｆ３１１、Ｆ３１４は上述した図２７と同様であり、図２７のステップＦ３１３に代えてステップＦ３２０の処理が、また図２７のステップＦ３１２に代えてステップＦ３２１の処理が行われるものとなる。但し、ステップＦ３１０など、具体的処理内容の一部が異なる点があるため、以下の説明は省略せずに行う。

ＣＰＵ３１はステップＦ３０１で、被写体輝度を判定する。例えば現在撮像されてカメラＤＳＰ４で処理されているフレームについてデジタル信号処理部４１で算出する露光量情報（例えば平均輝度情報など）を取得し、前フレームの露光量情報と比較して、被写体輝度が上昇したか低下したかを判定する。
被写体輝度に変化がないと判断した場合は、ＣＰＵ３１はステップＦ３０２、Ｆ３０６を介してステップＦ３０１に戻り、次のフレームについての被写体輝度の判定を行う。
被写体輝度が上昇していると判断した場合はＣＰＵ３１はステップＦ３０２からＦ３０３に進み、現在の領域の露光調整方式では制御限界となっているか否かを判定する。即ち今回の被写体光量の上昇は、図３２のＡ領域→Ｂ領域への上昇、Ｂ領域→Ｃ領域への上昇、Ｃ領域→Ｄ領域への上昇のいずれかに相当するか否かを確認する。

現在の領域の露光調整方式で制御限界ではなければ、ステップＦ３１０に進み、現在の露光調整方式で、被写体輝度の上昇に対応する。
つまり現在Ａ領域であったら、絞り機構の開口量を少なくする。現在Ｂ領域であったら、絞り機構とＮＤフィルタ機構の連係で入射光量を少なくするようにする。現在Ｃ領域であったら、フレームレートを変化させ、１フレーム期間を短くする制御を行う。現在Ｄ領域であったら、ゲインレベルを低くする制御を行う。

現在の領域の露光調整方式で制御限界である場合は、ステップＦ３０４，Ｆ３０５で処理を分岐する。
即ちＡ領域からＢ領域に遷移するような被写体輝度の上昇であった場合は、ステップＦ３１１に進み、それまでの絞り機構のみによる露光調整から、絞り機構とＮＤフィルタ機構を併用した露光調整に切り換えて、被写体輝度の上昇に対応する制御を行う。
またＢ領域からＣ領域に遷移するような被写体輝度の上昇であった場合は、ステップＦ３２１に進み、それまでの絞り機構とＮＤフィルタ機構の併用による露光調整から、フレームレート可変による露光調整に切り換えて、被写体輝度の上昇に対応する制御を行う。
またＣ領域からＤ領域に遷移するような被写体輝度の上昇であった場合は、ステップＦ３２０に進み、それまでのフレームレート可変による露光調整から、ゲインレベル可変による露光調整に切り換えて、被写体輝度の上昇に対応する制御を行う。

ステップＦ３０１での判定により、被写体輝度が低下していると判断した場合はＣＰＵ３１はステップＦ３０２からＦ３０６に進み、現在の領域の露光調整方式では制御限界となっているか否かを判定する。即ち今回の被写体光量の低下は、図３２のＢ領域→Ａ領域への低下、Ｃ領域→Ｂ領域への低下、Ｄ領域→Ｃ領域への低下のいずれかに相当するか否かを確認する。

現在の領域の露光調整方式で制御限界ではなければ、ステップＦ３１０に進み、現在の露光調整方式で、被写体輝度の低下に対応する。
つまり現在Ａ領域であったら、絞り機構の開口量を大きくする。現在Ｂ領域であったら、絞り機構とＮＤフィルタ機構の連係で入射光量を多くするようにする。現在Ｃ領域であったら、フレームレート可変により、１フレーム期間を長くする。現在Ｄ領域であったら、ゲインレベルを高くする制御を行う。

現在の領域の露光調整方式で制御限界である場合は、ステップＦ３０８，Ｆ３０９で処理を分岐する。
即ちＣ領域からＢ領域に遷移するような被写体輝度の低下であった場合は、ステップＦ３１１に進み、それまでのフレームレート可変による露光調整から、絞り機構とＮＤフィルタ機構を併用した露光調整に切り換えて、被写体輝度の低下に対応する制御を行う。
またＤ領域からＣ領域に遷移するような被写体輝度の低下であった場合は、ステップＦ３２１に進み、それまでのゲインレベル可変による露光調整から、フレームレート可変による露光調整に切り換えて、被写体輝度の低下に対応する制御を行う。
またＢ領域からＡ領域に遷移するような被写体輝度の低下であった場合は、ステップＦ３１４に進み、それまでの絞り機構とＮＤフィルタ機構の併用による露光調整から、絞り機構のみを用いた露光調整に切り換えて、被写体輝度の低下に対応する制御を行う。

ＣＰＵ３１がこのような処理を行うことにより、図３２の露光調整が実行される。
つまりＣＰＵ３１は、撮像系２に時間的に連続性を有する複数フレームの画像データの撮像を実行させるとともに、この撮像実行時の被写体輝度に応じた露光調整制御として、絞り機構、ＮＤフィルタ機構、ゲインレベル制御とともにフレームレート可変制御を実行して露光調整制御を行うことになる。

図５のステップＦ１５の撮像の際に、このような露光調整制御が行われることで、被写体輝度に応じた適切な露光調整が行われることと、撮像された複数フレームの画像データは、非露光期間による情報の欠落が無いものとすることを両立できる。
従って、その後の合成処理によっては、図３０（ｃ）のように、実際の長時間露光撮像と比較しても遜色のない、滑らかな画像を得ることができる。特に動きのある被写体を撮像する場合に滑らかな長時間露光画像を得ることができる。
またＤ領域ではゲイン可変により露光調整を行うが、上述のようにゲイン調整を行うと電子的なノイズが発生しやすい。しかしながら、Ｄ領域は通常は滅多に発生しないほどの高輝度状態であり、殆どの場合はゲイン可変による露光調整は行われないこととなるため、特にノイズリダクション処理などの手法を用いなくてもゲイン可変時のノイズの影響は、実用上で殆ど発生しないと考えることができる。
また、ステップＦ１５のみでなく、ステップＦ１６での撮像の際にも、このような露光調整制御を行うようにしても良い。
また図３２，図３３では、フレームレート可変以外に３つの露光調整要素（絞り機構、ＮＤフィルタ機構、ゲイン可変）を用いたが、必ずしもこれら３つが全て用いられなくても良い。例えばＮＤフィルタ機構を用いない例も考えられる。

ところで以上のようにフレームレート可変制御を行った場合に得られる各画像データを用いて合成処理を行う場合は、各画像データのフレーム期間に応じた重み係数を与えることが好ましい。即ち、合成処理に用いる画像データのそれぞれについて、それぞれの画像データの撮像時のフレームの期間長の比の逆比として求められる重み係数を与えて合成処理を行う。
例えば図３１（ｃ）に示すようにフレームレート可変で得られた各画像データ＃１〜＃２２を合成範囲として合成処理し、合成画像データを生成する場合、図示のように重み係数を与える。例えばフレーム期間＝ＦＲ８の画像データ＃８〜＃２２のそれぞれに対する重み係数＝１とした場合、画像データ＃１のフレーム期間ＦＲ１がフレーム期間ＦＲ８の５倍であったとしたら、画像データ＃１に対する重み係数＝１／５とする。また画像データ＃２のフレーム期間ＦＲ２がフレーム期間ＦＲ８の（１０／３）倍であったとしたら、画像データ＃２に対する重み係数＝３／１０とする。
このように１フレーム期間長に応じて、逆比として求められる重み係数を各画像データに与えることで、合成画像データを滑らかな画像とすることができる。
なお、合成処理の際に、このような重み係数の設定ができるようにする場合、撮像時に各画像データに付加するメタデータとしてフレームレートの情報を含むようにすることが適切である。

［８．合成モード処理例：フレーム補間］

以下では、上述した合成モード処理の際に適用できる各種の例を説明していく。ここでは、まずフレーム補間について述べる。
合成モード用撮像において時間的な連続性を有する複数フレームの画像撮像を行う場合において、露光調整のためなどで電子シャッタ機能が用いられる場合がある。
例えば図２５の露光調整方式を採用した場合や、図２６の露光調整方式で被写体輝度がＤ領域に相当する状態となった場合、さらにはユーザ設定その他で電子シャッタ機能が用いられるような場合などである。このような場合、連続フレーム撮像を行っても、フレーム期間内で非露光期間が生じ、その間の被写体情報が欠落することは先に述べた。
また、電子シャッタ機能を用いなくても、例えば図５のステップＦ１５の連続撮像が、毎フレームごとではなく、１フレーム置きなどの間欠的に行われるような場合は、同様に、時間的な連続性を有する一連の複数フレームの画像データにおいて、被写体情報の欠落が生じている。
これらの状況で、合成処理の対象とする一連の画像データに被写体情報の欠落があると、その合成画像は滑らかさに欠けたものとなる。

一方、上記した図２６或いは図３２の露光調整方式を採用し、また図５のステップＦ１５の連続撮像が全フレームについて行われるのであれば、撮像された一連の画像データにおいて被写体情報の欠落は無い（又はほとんど無い）。
このため、その一連の画像データを用いると、被写体の動きを滑らかに表現する合成画像が得られるが、より滑らかさを向上させたいという要望もある。

これらの事情を考えると、合成処理の際にフレーム補間処理を採用することが好適となる。図３４、図３５でフレーム補間処理を説明する。
図３４（ｃ）に、実際に撮像されて記録媒体９０等に記録されている、一連の画像データ＃１，＃２，＃３，＃４を示している。
この画像データ＃１，＃２，＃３，＃４を合成した場合に、合成画像は図３４（ａ）のようになったとする。つまりあまり滑らかとはいえない長時間露光効果の状態である。
ここで補間処理によって図３４（ｄ）のように補間フレーム＃ｈ１２，＃ｈ２３，＃ｈ３４を生成する。

補間フレーム＃ｈ１２は画像データ＃１，＃２から生成する。補間フレーム＃ｈ２３は画像データ＃２，＃３から生成する。補間フレーム＃ｈ３４は画像データ＃３，＃４から生成する。
これらの場合、ＭＰＥＧ方式などのコーデックによって一般的に用いられているフレーム間（フィールド間）補間技術を用い、動きベクトルを用いて２つのフレームの間の画素値を空間予測によって埋め合わせることにより、補間フレームを作成することができる。
そして、この画像データ＃１，＃ｈ１２，＃２，＃ｈ２３，＃３，＃ｈ３４，＃４を合成した場合を図３４（ｂ）に示しているが、補間フレームを加えて合成することで、合成画像の滑らかさを高めることができる。

また、このような補間フレームを加えての合成処理の際には、各画像データ＃１，＃２，＃３，＃４に付加されているメタデータ（例えばＥｘｉｆデータ）に基づいて撮像間隔や露光時間に基づいて重み付けを行うことが適切である。
例えば図３５（ａ）は、１フレーム期間＝ＦＲ１で固定とした状態で、電子シャッタ機能により４０ｍｓｅｃの露光期間Ｒと、２０ｍｓｅｃの非露光期間（斜線部）として画像データ＃１，＃２，＃３，＃４の撮像を行った場合を示している。
この場合は、補間フレーム＃ｈ１２，＃ｈ２３，＃ｈ３４は、実際には撮像されていない２０ｍｓｅｃを埋め合わせるという意味合いを持つが、実際に露光された４０ｍｓｅｃのフレームにおいて適正露光が得られていた場合には、補間フレームについても適正な画像が作成できる。
そして画像データ＃１，＃２，＃３，＃４と補間フレーム＃ｈ１２，＃ｈ２３，＃ｈ３４を用いた合成処理の際には、露光時間の比に応じた係数を与える。
例えば画像データ＃１、補間フレーム＃ｈ１２、元の画像データ＃２は、時間軸上では２：１：２の関係にあるので、逆比を演算することによって図示のように０．５：１：０．５の重み付けを与える。このようにすることで、実際の被写体の動きに合った露光時間を再現する。
なお重み付けの演算においては、複数の画像の輝度信号の総和を利用しても良いし、メタデータに記録されている露出やシャッタースピードを用いることもできる。

また図３５（ｂ）は、１フレーム期間＝ＦＲ２とし、非露光期間を設けずに画像データ＃１，＃２，＃３，＃４を撮像した場合を示している。
この場合は非露光期間は生じていないため、補間フレーム＃ｈ１２，＃ｈ２３，＃ｈ３４は、より滑らかな合成画像を得るという目的のものとなる。そしてこの場合は、図のように画像データ＃１，＃２，＃３，＃４と補間フレーム＃ｈ１２，＃ｈ２３，＃ｈ３４には、同等の重み付けを行って合成処理を行うことが考えられる。

これらのようなフレーム補間処理を加えたＣＰＵ３１の処理例を図３６に示す。
例えばＣＰＵ３１は、図８のステップＦ２０６で行われる調整処理として、図９の例に代えて図３６のように行うようにする。
ＣＰＵ３１は、図８のステップＦ２０６に進んだ段階で、図３６の処理を行う。まずステップＦ２２０で、図９の場合と同様に、選択画像リスト表示と重みバー表示を行う。例えば合成作業画像７０を図１２から図１３のような状態とする。
このときに、画像表示領域７２にプレビュー画として表示する合成画像としては、ステップＦ２３０、Ｆ２３１においてフレーム補間処理を行って生成し、表示させる。
即ちＣＰＵ３１は、ステップＦ２３０で、その時点で合成範囲とされている一連の画像データを用いて、図３４で説明した補間フレームを作成し、ステップＦ２３１で、図３５で述べたような所定の重み係数を設定して合成処理を行う。これによって例えば図１３の合成作業画像７０の画像表示領域７２に表示される合成画像は、フレーム補間処理を加えた上で合成された合成画像となる。

なお、図３６のステップＦ２２１〜Ｆ２２５Ａとして示す以降の処理は、図１９と同様としており、重複説明を避ける。但し、ステップＦ２２４Ａ、Ｆ２２５Ａにおいてプレビュー画の合成を行う場合には、ステップＦ２３０で生成した補間フレームを用いた合成を行うことになる。
また、この図３６の調整処理を終え、図８のステップＦ２０７で最終的な合成処理を行う場合には、ステップＦ２０６（図３６）調整処理の最終段階で用いられていた補間フレームも用いて合成処理を行う。

このようなフレーム補間処理を加えることで、合成画像として、実際の長時間露光撮像と比較しても遜色のない、より滑らかな画像を得ることができる。
特に、動きの非常に早い被写体を対象とする場合は、このようなフレーム補間処理により合成画像で滑らかな動きが表現できることの効果は大きい。

なお、上記例では図８のステップＦ２０６としての図３６の処理の際には、常に補間フレームを用いた合成画像がプレビュー画として表示されるものとしたが、特にこの調整処理の過程において、ユーザが操作により求めた場合にのみ、補間フレームの生成及び補間フレームを用いた画像合成が行われるようにしてもよい。
また、図８のステップＦ２０６の調整処理の段階ではフレーム補間を行わず、ステップＦ２０７の最終的な合成処理の段階で、補間フレームの生成及び補間フレームを用いた画像合成が行われるようにしてもよい。

また、調整処理の際の合成作業画像７０において、補間フレームが、元の画像データとともに合成画像リスト上で表示され、また対応して重みバーが表示されるようにして、元の画像データと同様に重み係数の変更を行ったり、合成開始位置／合成終了位置の設定に用いることができるようにしてもよい。
或いは逆に、補間フレームの存在はユーザには明示しないようにしてもよい。

［９．合成モード処理例：フラッシュ無効化／補正］

ユーザは、合成モード用撮像を行う際（図５のステップＦ１５の撮像）には、フラッシュを使用することもある。例えば、その後の合成処理によっては、フラッシュを使用しなくとも先幕シンクロ効果等を実現できるが、ユーザによっては、合成作業の際に重み係数の変更等を行わない状態でも最初から先幕シンクロ効果等が得られるようにしたいと考えた場合や、フラッシュを使用することでの画像表現を求めたい場合など、フラッシュを使用しての撮像を行うことがある。

しかしながら、そういった撮像の際には、フラッシュを発光するタイミングや発光量など、撮像者の経験と勘が要求されることにより、実際にはユーザ（撮像者）の意図に合わない画像が撮像されてしまうことがある。
また、実際にフラッシュを焚いて撮像を行ったが、後で、フラッシュを使用していない状態での画像を用いて合成画像を生成したいと思い直すこともある。
さらに、撮像装置の性能やユーザの設定などによりフラッシュの光量が足りなかったといった場合もある。

そこで合成処理の際に、フラッシュ撮像の無効化や補正を行うことができるようにすると、ユーザにとって便利となる。
図３８は、図８の合成処理におけるステップＦ２０６の調整処理過程でフラッシュ無効化を実行できるようにした場合のＣＰＵ３１の処理例を示している。
なお、図３８のステップＦ２２０〜Ｆ２２５Ａは図１９と同様であり、この図３８は、図１９の処理にステップＦ２４０〜Ｆ２４５を加えたものである。

ユーザは、調整処理において合成作業画像７０が表示されている際に、上述のように重み係数の変更や合成範囲の変更の操作に加え、フラッシュ無効化という操作を行うことができる。例えば所定の操作キーやメニュー項目の選択によりフラッシュ無効化操作ができるようにする。
ＣＰＵ３１は、ユーザがフラッシュ無効化操作を行ったことを検知したら、処理をステップＦ２４０からＦ２４１に進める。
ステップＦ２４１〜Ｆ２４４では、合成範囲とされている各画像データについて、フラッシュ無効化のための重み係数の変更を行う。
ＣＰＵ３１は、ステップＦ２４１で、合成範囲とされている各画像データのうちの１つを処理対象として取り出し、ステップＦ２４２で、その画像データがフラッシュ画像（フラッシュを使用して撮像した画像データ）であるか、非フラッシュ画像（フラッシュを使用しないで撮像した画像データ）であるかを判別する。上述したようにフラッシュ画像であるか、非フラッシュ画像であるかは、その画像データに撮像時に付加されたメタデータを確認して判断すればよい。

そしてＣＰＵ３１はステップＦ２４３で、フラッシュ画像、非フラッシュ画像の別に応じて重み係数の変更を行う。
即ちフラッシュ画像であれば、フラッシュ効果が無くなるように重み係数を低下させる。また、非フラッシュ画像であれば、重み係数を上昇させる。
なお、この重み係数は、フラッシュ画像と非フラッシュ画像との間での、画像の全体輝度の差をなくすようにするものであるため、フラッシュ画像についての重み係数の低下量と、非フラッシュ画像についての重み係数の上昇量は、それらの画像の全体輝度の相対的な差に応じて設定するものとなる。場合によっては、フラッシュ画像の重み係数を低下させ、非フラッシュ画像についての重み係数は現状のままでも、フラッシュ画像を非フラッシュ画像と同等の全体輝度とすることができる場合もある。

１つの画像データについて処理を終えたら、ステップＦ２４４からＦ２４１に戻り、合成範囲内での次の画像データを対象として同様の処理を行う。
合成範囲とされている各画像データの全てについて、以上の処理を行った時点で、各画像データに設定されている重み係数によれば、各画像データの画面の全体輝度の差が均一化されている。即ちフラッシュ画像が、非フラッシュ画像と同等の明るさの画像となるように、各画像データに重み係数が設定されたことになる。

この状態でＣＰＵ３１はステップＦ２４５で、当該設定された各画像データに対応する重みバーの表示の高さを変更し、また設定された各画像データに対応する重み係数を用いて合成処理を行い、フラッシュ無効化後の合成画像を生成してプレビュー画として画像表示領域７２に表示させる。
また、無効化前の合成画像（つまり直前まで合成画像のプレビュー画として、画像表示領域７２に表示させていた画像を、画像表示領域７１に表示させる。

図３７は、フラッシュ無効化処理後の合成作業画像７０を示している。
合成範囲とされてタイムライン７３内に選択画像リストとして各画像データ＃５〜＃１１については、図示するように、画像データ＃１１がフラッシュ画像であったとする。
このため、図３８の調整処理に移行した当初であって、画像データ＃５〜＃１１についての重み係数が均等であるとき（例えば図１３のように重み係数が均一で重みバーが同じ高さである初期状態）では、合成画像のプレビュー画としては、この図３７の画像表示領域７１に表示されている後幕シンクロ効果のある合成画像が、画像表示領域７２側に表示されている。
その状態でユーザがフラッシュ無効化操作を行って、ステップＦ２４１〜Ｆ２４５の処理が行われると、合成作業画像７０は図３７のようになる。
即ち、非フラッシュ画像である画像データ＃５〜＃１０については重み係数が上昇され、それが重みバーｗ５〜ｗ１０が高くなることで表現され、またフラッシュ画像である画像データ＃１１については重み係数が低下され、それが重みバーｗ１１が低くなることで表現される。
そして、フラッシュ無効化処理後の合成画像が、画像表示領域７２に表示され、フラッシュ無効化前の合成画像が画像表示領域７１側に表示される。
フラッシュ無効化処理後の合成画像は、図示するように、後幕シンクロ効果のなくなった長時間露光効果としての画像となる。つまり、フラッシュ画像である画像データ＃１１についても、フラッシュが使用されなかった状態の全体輝度とされて合成画像が生成される。
このように、ユーザがフラッシュを使用して撮像を行った場合でも、ユーザの意図に応じて簡易に、合成処理の際にフラッシュ効果を無効化することができる。
例えばフラッシュ撮像が、結果的にユーザの意図に合わない画像となった場合など、フラッシュ無効化操作を行うのみで、あたかもフラッシュを発光しなかったかのような重み付けとして、合成画像を得ることができる。

なお、ステップＦ２４２でフラッシュ画像か非フラッシュ画像かを判断するが、その判断は、メタデータを用いる以外に、連続している前後のフレームの画像データの輝度分布（輝度信号の総和）などから判断することも可能である。
例えば、連続撮像画像について輝度信号の総和を検出／監視／ウォッチすることによって、輝度信号の変化を捉えることができる。
また、露出制御における調光機能（絞り機構、ＮＤフィルタ機構、液晶アイリスなど）、シャッタースピード、電子シャッタースピード、ゲインなどを検出することによっても、間接的ではあるがフラッシュを焚いたフレームであるかどうかを判断することができる。
輝度信号（もしくは撮像した場面の明るさ）の時間的な変化の割合を検知することによって、急激な変化があった場合にはフラッシュが焚かれたと判断する。例えば、１／６０秒の間に明るくなって暗くなる、というような変化を捉えた場合にはフラッシュが焚かれたと判断することもできる。

例えばこれらのようにフレーム間の輝度比較や露光制御状況その他で判断するようにすると、自己の撮像装置１でのフラッシュ発光だけでなく、周囲の他の機器でフラッシュが焚かれた場合、或いは近くを通過した自動車のヘッドライトで瞬間的に被写体が明るくなった場合なども含めて、フラッシュ有無を判断することもできる。
従って、例えば周囲にカメラマンが多数いる状況で、撮像時にユーザ自身が意図しないフラッシュ発光等が行われてしまい、それらのフラッシュ発光を合成時に全て無効化したいような場合を想定すると、フレーム間の輝度比較や露光制御状況等でフラッシュ画像か非フラッシュ画像かを判断することが好適となる。つまり撮像時の状況にかかわらず、撮像時の周囲の状況をキャンセルした状態で合成画像を簡易に得ることができる。

続いて図３９，図４０で、フラッシュ補正を実行できるようにした処理例を述べる。
ユーザが撮像時にフラッシュを使用しても、フラッシュ光量が足りないような場合、合成処理の際に適切な画像効果の合成画像が得られない場合がある。
そこで合成処理の際に、フラッシュ画像補正を行うことができるようにする。
図４０は、図８の合成処理におけるステップＦ２０６の調整処理過程でフラッシュ補正を実行できるようにした場合のＣＰＵ３１の処理例を示している。
なお、図３８のステップＦ２２０〜Ｆ２２５Ａは図１９と同様であり、この図３８は、図１９の処理にステップＦ２５０〜Ｆ２５５を加えたものである。

ユーザは、調整処理において合成作業画像７０が表示されている際に、上述のように重み係数の変更や合成範囲の変更の操作に加え、フラッシュ補正という操作を行うことができる。例えば所定の操作キーやメニュー項目の選択によりフラッシュ補正操作ができるようにする。
ＣＰＵ３１は、ユーザがフラッシュ補正操作を行ったことを検知したら、処理をステップＦ２５０からＦ２５１に進める。
ステップＦ２５１〜Ｆ２５５では、合成範囲とされている各画像データのうちでフラッシュ画像を抽出して重み係数の変更を行う。
ＣＰＵ３１は、ステップＦ２５１で、合成範囲とされている各画像データのうちの１つを処理対象として取り出し、ステップＦ２５２で、その画像データがフラッシュ画像であるか、非フラッシュ画像であるかを判別する。上述したようにフラッシュ画像であるか、非フラッシュ画像であるかは、その画像データに撮像時に付加されたメタデータを確認して判断すればよい。或いは上記のようにフレーム間の輝度比較や露光制御状況等により判断しても良い。

そしてＣＰＵ３１は、現在処理対象としてる画像データがフラッシュ画像であれば、ステップＦ２５３に進み、重み係数の変更を行う。この場合、フラッシュが適切な光量で発光されたように補正するために当該フラッシュ画像のフレームの重み付けを強くする。
現在処理対象としてる画像データが非フラッシュ画像であれば、特に重み係数の変更は行わない。

１つの画像データについて処理を終えたら、ステップＦ２５４からＦ２５１に戻り、合成範囲内での次の画像データを対象として同様の処理を行う。
合成範囲とされている各画像データの全てについて、以上の処理を行った時点で、各画像データに設定されている重み係数によれば、フラッシュ画像について輝度が向上させるような補正のための重み係数が設定されたことになる。
なお、この例では非フラッシュ画像については重み係数を変更していないが、フラッシュ画像を際だたせるために、非フラッシュ画像については重み係数を低くするというように重み係数の変更を行うようにしても良い。

合成範囲の全ての画像データについてステップＦ２５１〜Ｆ２５４の処理を終えたら、ＣＰＵ３１はステップＦ２５５で、当該設定された各画像データに対応する重みバーの表示の高さを変更し、また設定変更された重み係数を用いて各画像データの合成処理を行い、フラッシュ補正後の合成画像を生成してプレビュー画として画像表示領域７２に表示させる。
また、フラッシュ補正前の合成画像（つまり直前まで合成画像のプレビュー画として画像表示領域７２に表示させていた画像）を、画像表示領域７１に表示させる。

図３９は、フラッシュ補正後の合成作業画像７０を示している。
合成範囲とされてタイムライン７３内に選択画像リストとして各画像データ＃５〜＃１１については、図示するように、画像データ＃１１がフラッシュ画像であったとする。
このため、図４０の調整処理に移行した当初であって、画像データ＃５〜＃１１についての重み係数が均等であるとき（例えば図１３のように重み係数が均一で重みバーが同じ高さである初期状態）では、合成画像のプレビュー画としては、この図３９の画像表示領域７１に表示されている後幕シンクロ効果のある合成画像が、画像表示領域７２側に表示されている。但し、撮像時のフラッシュ光量不足により、画像データ＃１１の全体輝度が低めであって、後幕シンクロ効果があまり強調されていない画像となっている。

その状態でユーザがフラッシュ補正操作を行って、ステップＦ２５１〜Ｆ２５５の処理が行われると、合成作業画像７０は図３９のようになる。
即ち、フラッシュ画像である画像データ＃１１について重み係数が上昇され、それが重みバーｗ１１が高くなることで表現される。
そして、フラッシュ補正処理後の合成画像が、画像表示領域７２に表示され、フラッシュ補正前の合成画像が画像表示領域７１側に表示される。
フラッシュ補正処理後の合成画像は、図示するように、後幕シンクロ効果がはっきり表れた画像となる。
このように、ユーザがフラッシュを使用して撮像を行ったが、フラッシュの性能や被写体との距離の状況などで、被写体輝度が十分得られなかったような場合でも、ユーザの意図に応じて簡易に、合成処理の際にフラッシュ効果を補正することができる。

なお、この例ではフラッシュ光量不足に対応して、画像輝度が十分なものとなるようなフラッシュ補正を述べたが、逆にフラッシュ光量が多すぎた場合に、その画面輝度を低下させるような補正を行うようにすることもできる。
また、フラッシュ画像に対する重み係数をどの程度補正するかは、ＣＰＵ３１が自動計算しても良いし、ユーザが段階的に調整できるようにしても良い。
自動計算の場合は、フラッシュ画像と非フラッシュ画像についての輝度総和の標準的な差などを予め設定しておき、その輝度総和の差となるようにフラッシュ画像、非フラッシュ画像についての重み係数の調整を行うようにする。
ユーザが調整する場合は、或る程度固定の重み係数の変更量を設定しておき、フラッシュ補正操作が行われる毎に、フラッシュ画像についての重み係数を、固定の変更量だけ変化させていくようにすればよい。ユーザは所望の状態となるように、フラッシュ補正操作を繰り返せばよい。

以上のフラッシュ無効化、フラッシュ補正については、重み係数を変更することにより実現するものであるため、同様の処理は、合成作業画像７０においてユーザが画像データを選択して手動で重み係数の変更操作を行うことでも可能である。しかしながら実際には多数の画像データのそれぞれの重み係数を変更していくことはユーザにとって面倒である。
そのため、フラッシュ無効化操作、フラッシュ補正操作などに応じて上記処理が実行されるようにすることは、合成作業の操作性を著しく向上させるものとなる。

［１０．合成モード処理例：距離補正］

続いて撮像時の被写体までの距離に応じて重み係数の補正を行う処理例を図４１〜図４４を用いて説明する。
なお、この処理を行うためには、図５のステップＦ１５での撮像時に、各フレームの画像データに付加するメタデータ（例えばＥｘｉｆデータ）に撮像距離（撮像時のピント面までの距離）を保持しておくようにする。上述したように撮像時にはオートフォーカス制御によって主たる被写体に対して合焦状態とされるが、その際にレンズ位置検出部２７はレンズアドレスからの逆算で主たる被写体までの距離を判定する。ＣＰＵ３１は、この距離の情報をメタデータとして付加しておく。

今、合成処理における図８のステップＦ２０６の調整処理に進んだ際に、図４１におけるタイムライン７３内の選択画像リストとして示す画像データ＃５〜＃１１が合成範囲とされているとする。
この場合の画像データ＃５〜＃１１は、被写体が画面上で右上から左下の方向に移動しながら、徐々に撮像装置１側に近づいてくる状況を撮像したものであったとする。

そして画像データ＃５〜＃１１について、重み係数を同じにして合成した画像が画像表示領域７２にプレビュー画として表示されている。
ここで、ユーザが重み係数の操作を行い、図４２のように画像データ＃５、＃８、＃１１の重み係数を高くし、他の画像データ＃６，＃７，＃９，＃１０の重み係数を低くすることで、プレビュー画として表示されているマルチ発光効果を与えたとする。

この場合、画像データ＃５〜＃１１は撮像時にフラッシュを使用しておらず、重み係数によってマルチ発光効果を得るものであるが、ここでフラッシュを実際に焚いて撮像した場合を考える。
実際にフラッシュ撮像を行った場合、被写体の距離が遠くなると、到達する光量が少なくなってしまうため、十分な発光光量がなければ、暗く写ってしまうことになる。これを避けるためにはより大型のフラッシュが必要となり、小型化／低消費電力化の弊害となってしまう。
これに対して本例では図４２のような画像合成によれば、このような従来のフラッシュを実際に焚いた際の問題点を解決することができる。すなわち、大型のフラッシュを用いることなく、十分な光量で発光したかのような画像を得ることができる。
しかしながら、フラッシュを実際に焚いた場合のような画像を、実際にはフラッシュを焚くことなくよりリアルに再現したいというニーズも考えられる。つまり、従来のフラッシュ撮像によるマルチ発光効果を、よりリアルに再現したいという要望も考慮しなければならない。

そこで、フラッシュ効果を補正できるようにする。図４３は、メタデータ（例えばＥｘｉｆデータ）に記録されている撮像距離の情報を元に、フラッシュ効果を与える画像データ（＃５、＃８、＃１１）の重み係数を高くするが、その際に、撮像距離に応じて重み係数を調整し、実際にフラッシュを焚いて撮像したようなマルチ発光効果を得たものである。つまり図４３において、重みバーｗ５，ｗ８，ｗ１１で示されるように、撮像距離が遠くなるほど重み係数が低くなるように調整されることで、画像表示領域７２のフラッシュ距離補正後のプレビュー画に示すように、遠い場合ほどフラッシュ効果が弱くなるような合成画像となるようにする。この場合、画像表示領域７１側には、フラッシュ距離補正前の合成画像（つまり図４２の状態での合成画像）を示しているが、両合成画像を比較してわかるように、フラッシュ距離補正によって、よりリアルな合成画像表現がなされることとなる。

このようなフラッシュ距離補正を実現するためのＣＰＵ３１の処理を図４４に示す。この図４４は、図８の合成処理におけるステップＦ２０６の調整処理過程でフラッシュ距離補正を実行できるようにした場合の処理例である。
なお、図４４のステップＦ２２０〜Ｆ２２５は図９と同様であり、この図４４は、図９の処理にステップＦ２６０〜Ｆ２６６を加えたものである。

ユーザは、調整処理において合成作業画像７０が表示されている際に、上述のように重み係数の変更や合成範囲の変更の操作に加え、フラッシュ距離補正という操作を行うことができる。例えば所定の操作キーやメニュー項目の選択によりフラッシュ補正操作ができるようにする。
例えばユーザが、重み係数の操作（或いはマルチ発光効果の係数テンプレート選択）により、図４２のように合成画像にマルチ発光効果を与えた場合等が想定される。もちろんマルチ発光効果の場合に限らず、先幕シンクロ効果、後幕シンクロ効果の場合、或いは合成範囲内の任意の画像データの重み係数を高くしてフラッシュ効果を与えた場合なども想定される。
それらの際にユーザは、よりリアルな表現を求める場合はフラッシュ距離補正の操作を行えばよい。

ＣＰＵ３１は、ユーザがフラッシュ距離補正操作を行ったことを検知したら、処理をステップＦ２６０からＦ２６１に進める。
ステップＦ２６１〜Ｆ２６４では、合成範囲とされている各画像データのうちで、重み係数によりフラッシュ効果を与えている画像を抽出して重み係数の変更を行う。
ＣＰＵ３１は、ステップＦ２６１で、合成範囲とされている各画像データのうちの１つを処理対象として取り出し、ステップＦ２６２で、その画像データが重み係数によってフラッシュ効果を与えている画像であるか否かを判別する。
そしてＣＰＵ３１は、現在処理対象としてる画像データがフラッシュ効果画像であれば、ステップＦ２６３に進み、まずその画像データのメタデータから、その画像データでの被写体までの撮像距離を判別する。そしてステップＦ２６４でＣＰＵ３１は、撮像距離に基づいて重み係数の補正値を算出し、当該画像データの重み係数の補正値として保持する。
なお、現在処理対象としてる画像データがフラッシュ効果を与えている画像でなければ、ステップＦ２６３，Ｆ２６４の処理は行わない。

１つの画像データについて処理を終えたら、ステップＦ２６５からＦ２６１に戻り、合成範囲内での次の画像データを対象として同様の処理を行う。
合成範囲とされている各画像データの全てについて、以上の処理を行った時点で、合成範囲内でフラッシュ効果が与えられている画像データ（図４２の場合は画像データ＃５，＃８，＃１１）について、撮像距離に基づく重み係数の補正値が算出された状態となる。

合成範囲の全ての画像データについてステップＦ２６１〜Ｆ２６５の処理を終えたら、ＣＰＵ３１はステップＦ２６６で、フラッシュ効果が与えられている画像データの重み係数を、撮像距離に基づく重み係数の補正値に基づいて補正する。
そして補正後に各画像データに対応する重みバーの表示の高さを変更し、また補正後の重み係数を用いて各画像データの合成処理を行い、合成画像を生成して画像表示領域７２に表示させる。
また、このフラッシュ距離補正前の合成画像（つまり直前まで合成画像のプレビュー画として画像表示領域７２に表示させていた画像）を、画像表示領域７１に表示させる。
以上の処理を行うことによって、合成作業画像７０は図４３のような状態となり、フラッシュ距離補正がなされた合成画像が表示されることになる。
なおステップＦ２６６での合成時には、重み係数の補正後に生成される合成画像の明るさが全体的に変化してしまうのを防ぐために、全体の重み係数を自動的に調整し、適正な明るさの合成画像を得られるようにすることが適切である。

ところで、この図４４の処理では、フラッシュ効果を与えている画像データについてのみ、距離に応じた重み係数の補正を行ったが、合成範囲とされている全ての画像データについて撮像距離に応じた重み係数の補正値を算出し、重み係数を補正しても良い。つまり図４４のステップＦ２６２を無くし、合成範囲内の全ての画像データについてステップＦ２６３，Ｆ２６４の処理が行われるようにすればよい。
その場合、距離補正後の合成作業画像７０は図４５のようになる。即ち重みバーｗ５〜ｗ１１でわかるように、各画像データ＃５〜＃１１の重み係数が、撮像距離に応じて補正された状態となり、その補正された重み係数による合成画像が画像表示領域７２に表示される。

なお、実際にフラッシュを焚いたときのフラッシュ到達距離には、
フラッシュ到達距離（ｍ）＝ガイドナンバー（ＩＳＯ１００）÷絞り設定値
という関係があるので、ガイドナンバーを指定することによって、フラッシュ光量が距離の２乗に反比例することに基づいて重み係数の補正値の設定を行うことができる。
仮想的なガイドナンバーの指定はユーザー操作による指示を行うことが画像表現上は望ましいが、被写体の距離分布に応じて自動的にガイドナンバーを選択することもできる。例えば、被写体が近距離から中距離まで分布している際にはガイドナンバーを小さくして、被写体が近距離から遠距離まで分布している場合にはガイドナンバーを大きくする。
もちろん、プリセットで例えば「ガイドナンバー２８」などと指示しても良い。指定するのは「ガイドナンバー」には限定されず、フラッシュ発光量を意味するものであれば特に限定されない。フラッシュ到達距離を指定することもできるし、絞り設定値を実際に撮影した絞り値とは異なる値であると指定することによって、仮想的なフラッシュ効果を得ることもできる。

もちろん上述した係数テンプレートを選択した際に、撮像された画像データのメタデータを参照して、撮像距離をもとに重み付けを判断するようにすることも可能である。
マルチ発光効果については、係数テンプレート選択後に発光間隔（重み付けの強いフレームの間隔）を調整できるようにして、調整された発光間隔に合わせて撮像距離をもとに重み付けを判断し、自動で設定するようにすることも可能である。
調整操作のためには、所定の操作子にその操作機能を付加しても良いし、メニューから選択するようにしても良い。また、シャッターキー５ａを押しながら十字キー５ｉの左右操作などで発光間隔が自在に操作できるようにしても良い。

また、領域抽出によってピントの合っている被写体のみに撮像距離に応じた重み付けを付加して、よりリアルなフラッシュ効果を再現することも可能である。
撮像距離の情報としていわゆるデプスマップ（Depth Map）等の距離分布情報（各画素毎に被写体の距離を測定したもの）を取得することによって、
フラッシュ到達距離（ｍ）＝ガイドナンバー（ＩＳＯ１００）÷絞り設定値
という関係に従って、各画素に重み付けを付加することもできる。
つまり、画像合成によって長時間露光画像を得る際に重み付けを用いるだけでなく、撮像距離に応じた領域抽出あるいはデプスマップなどの距離分布情報に応じて、１つの合成画像内において距離によって重み付けを変えることによって、よりリアルなフラッシュ効果を再現することが可能となる。
なお、上述したように距離分布情報は、撮像時にカメラＤＳＰ４の情報生成部４４で生成することができる。

また画像処理の負荷を軽減するために、撮像距離が近いフレームは重み付けを強くし、撮像距離が遠いフレームは重み付けを弱くすることもできる。領域抽出やデプスマップを用いずに画面全体を重み付けすることで、処理負荷を軽くすることができる。
動被写体の動きを表現するための長時間露光撮影においては背景に動きはないか、背景に動きがあったとしても撮像意図としては重要視されない場合があるから、画面全体を重み付けして画像合成したとしても問題ない撮像シーンが多い。

以上の図４１〜図４５で説明した処理例によれば、被写体の距離情報に応じて画像合成の重み付けを行うことによって、実際にフラッシュを焚くことなく、実際に焚いたかのような画像を得ることができる。これによってマルチ発光効果、先幕シンクロ効果、後幕シンクロ効果、或いは任意のタイミングでの発光効果などを合成画像として得る際に、よりリアルな画像表現が可能となる。

続いて図４６，図４７で他の処理例を説明する。
例えば図４６の合成範囲とされている各画像データ＃５〜＃１１において、画像データ＃５、＃８、＃１１は、撮像時に実際にフラッシュ発光を行ったものであるとする。
しかしながら撮像距離が遠いフレームにおいてはフラッシュ光量が足りずに、適正露出／良好な画像が得られていないとする。この例では、被写体が近い画像データ＃１１ではフラッシュ光量が十分であるが、被写体が遠い画像データ＃８、＃５では光量が足りなかったとする（画像データ＃５が最も光量が足りない状態）。
このため、重み係数を均一にして合成すると、図４６のように、被写体が近いほど強調されたようなマルチ発光効果の画像となる。
このような合成画像は、リアルなマルチ発光効果であるといえるが、ユーザによっては、リアルさよりも逆に、撮像距離にかかわらずはっきりした発光効果を得るようにしたいと望む場合もある。このため、上述した例とは逆に、実際にフラッシュ発光撮像を行って得たリアルな画像を補正して、フラッシュ効果を強く与えるような補正も考えられる。

なお、この処理を行うためには、図５のステップＦ１５での撮像時に、各フレームの画像データに付加するメタデータ（例えばＥｘｉｆデータ）に撮像距離（撮像時のピント面までの距離）を保持しておくようにする。また、フラッシュ発光を行ったか否かの情報もメタデータとして保持するようにする。

実際のＣＰＵ３１の処理例としては、上記図４４を変形すればよい。
つまりステップＦ２６２においては、実際にフラッシュを焚いて撮像したフラッシュ画像であるか否かを判断し、フラッシュ画像であればステップＦ２６３で被写体までの距離を判別し、ステップＦ２６４で距離に応じて重み係数の補正値を算出する。このときに、上記例とは逆に、距離に応じたフラッシュ光量の低下に対して、光量が十分となるように重み係数を補正する補正値とする。
そして、各フラッシュ画像について重み係数の補正値を算出したら、ステップＦ２６６で、各フラッシュ画像について重み係数を補正値を用いて補正し、補正後、合成処理を行えばよい。

図４７に補正後の合成作業画像７０の例を示す。補正された合成画像が画像表示領域７２に示されるが、補正前の合成画像と比較してわかるように、実際にはフラッシュ光量が不足した距離の遠い画像についても、はっきりしたフラッシュ効果が得られるようになる。
重み係数については、重みバーｗ５〜ｗ１１で示されているように、フラッシュ画像＃５，＃８，＃１１のうちで、被写体が遠い画像データほど、重み係数が高くされるように補正されたものとなる。つまり、あたかも発光光量の大きなフラッシュを焚いたかのように補正される。
なおステップＦ２６６での合成時には、重み係数の補正後に生成される合成画像の明るさが全体的に変化してしまうのを防ぐために、全体の重み係数を自動的に調整し、適正な明るさの合成画像を得られるようにすることが適切である。

この場合のフラッシュ画像の重み係数の補正（ステップＦ２６４での補正値の算出）は、以下のように行うことができる。
フラッシュ発光して撮像したフラッシュ画像については、補正（重み係数の変更）が必要であるかを、
フラッシュ到達距離（ｍ）＝ガイドナンバー（ＩＳＯ１００）÷絞り設定値
という関係に沿って判断する。ここでは例えば、
撮影距離（ｍ）＜フラッシュ到達距離（ｍ）
であればフラッシュ光量が不足していると判断して、補正（重み付け）が必要であると判断する。
そして補正が必要である場合は、フラッシュ光量が距離の２乗に反比例すること、および「フラッシュ到達距離（ｍ）＝ガイドナンバー（ＩＳＯ１００）÷絞り設定値」という関係に基づいて補正を行う。

このような補正を行う際には、ガイドナンバーを指定することによって、フラッシュ光量が距離の２乗に反比例することに基づいて重み付けを行う。
仮想的なガイドナンバーの指定はユーザー操作による指示を行うことが画像表現上は望ましいが、被写体の距離分布に応じて自動的にガイドナンバーを選択することもできる。例えば、被写体が近距離から中距離まで分布している際にはガイドナンバーを小さくして、被写体が近距離から遠距離まで分布している場合にはガイドナンバーを大きくする。
もちろん、プリセットで、例えば「ガイドナンバー２８」などと指示しても良い。
指定するのは「ガイドナンバー」には限定されず、フラッシュ発光量を意味するものであれば特に限定されない。フラッシュ到達距離を指定することもできるし、絞り設定値を実際に撮影した絞り値とは異なる値であると指定することによって、仮想的なフラッシュ効果を得ることもできる。

なお、重み係数の補正処理の例として、以下のような例も考えられる。
フラッシュを焚いたフレーム（フラッシュ画像）について、どの程度の補正（重み付け）が必要であるのかは、画像の輝度分布によって補正係数を定めておき、メタデータと補正係数を用いて補正（重み付け）をしても良い。
また、フラッシュを焚いたフレーム（フラッシュ画像）であるかどうかは、連続撮像されて記録された連続している画像の前後のフレームの輝度分布（輝度信号の総和）などから判断しても良い。
さらに、フラッシュを焚いたフレーム（フラッシュ画像）であるかどうかを、画像データに付加されているメタデータを参照することで判断し、連続している画像の前後のフレームの輝度分布（輝度信号の総和）などから他のフラッシュ（隣のカメラマン等によるフラッシュ等）が焚かれた場合や車が通りかかってライトで一瞬照らされてしまったりした場合であるかどうかを判断しても良い。こうして判断することによって、他のカメラマンがフラッシュを焚いてしまった場合などであっても、良好な合成画像を得ることができる。

撮像距離の情報は、メタデータ（例えばＥｘｉｆデータ）として撮影距離（撮影時のピント面までの距離）を保持しておくだけでなく、例えば、領域抽出技術によってピントの合っている被写体までの撮影距離を得ることもできるし、いわゆる距離分布情報（デプスマップ）を取得することもできる。
フラッシュを焚いたフレームについて、補正（重み付け）が必要であるかどうかは、領域抽出あるいは距離分布情報による距離情報と、「フラッシュ到達距離（ｍ）＝ガイドナンバー（ＩＳＯ１００）÷絞り設定値」を用いて、「距離情報（ｍ）＜フラッシュ到達距離（ｍ）」であればフラッシュ光量が不足していると判断して、重み係数の補正が必要であると判断する。
補正が必要である場合は、フラッシュ光量が距離の２乗に反比例することに基づいて補正値を求めるが、このときにも領域抽出あるいは距離分布情報による距離情報を用いることによって、領域もしくは各画素に対して重み付けをすることができる。
つまり、画像合成によって長時間露光画像を得る際に重み付けを用いるだけでなく、撮影距離に応じた領域抽出あるいは距離分布情報などの距離情報に応じて、１つの画像内において距離によって重み付けを変えることによって、より適切なフラッシュ効果を再現することが可能となる。

またフラッシュ発光が到達しているかどうかを判断して、フラッシュ発光が到達している撮像距離の画像の重み付けを弱くすることによって、上述したフラッシュ無効化を行うこともできる。
フラッシュ無効化においても、領域抽出あるいは距離分布情報による距離情報を用いて、領域もしくは各画素に対して重み付けをすることによって、より適正な画像を得ることができる。
フラッシュ到達距離には「フラッシュ到達距離（ｍ）＝ガイドナンバー（ＩＳＯ１００）÷絞り設定値」という関係があり、フラッシュ光量が距離の２乗に反比例するという関係があるので、メタデータに記録されたフラッシュ発光量を利用して、距離ごとの補正値を演算することができる。
補正を行う際には、ガイドナンバーを指定することによって、フラッシュ光量が距離の２乗に反比例することに基づいて重み付けを行うこともできる。ガイドナンバーを指定するときには、メタデータを参照して実際のガイドナンバーを表示し、変更可能にすることもできるし、任意の（すなわち実際のフラッシュとは異なる）ガイドナンバーをも入力可能にすることによって、多彩な画像表現を行うこともできる。

［１１．合成モード処理例：ブレ補正］

続いてブレ補正を加えた合成モード処理例を説明する。
図４８（ａ）（ｂ）（ｃ）は合成処理によって得た合成画像の例を示している。ここでは被写体として、画面上の右上から左下の方向に移動している主たる被写体（動きのある動的被写体）と、その背景の静的被写体が含まれている場合を示している。なおここで言う「静的被写体」とは、背景に撮し込まれる物、建物、風景などの「動かないもの」ではなく、撮像時にユーザが「動いて欲しくない」と思うものであって、例えば人や動物なども含まれる。即ち、合成画像においてブレが生じないようにしたい被写体のことである。

図４８（ａ）はユーザが目的とする画像であり、動的被写体について長時間露光効果が得られ、かつバックの静的被写体は、止まった状態とされている。
しかしながら、図５のステップＦ１５での連続撮像は、或る程度の時間にわたって撮像を行うことから、ユーザの手ぶれや、被写体側の動きによって合成画像に静的被写体のブレが生ずることがある。
例えば図４８（ｂ）は、撮像装置１を三脚などで固定していない場合に手ぶれによってバックの静的被写体がぶれた状態を示している。
また図４８（ｃ）は静的被写体のそれぞれの勝手な動きによってブレが生じた状態（被写体ブレ）を示している。例えば撮像装置１を三脚などで固定したとしても、静的被写体自体が動いてしまえば、合成画像にユーザの望まないブレが生ずる。

以下説明する処理例は、このような手ブレや被写体ブレによる影響を補正する例である。
まず手ブレ画像は、撮像者によって撮像装置自体が揺れることで生ずるものであり、この場合、バックの静的被写体は、それぞれ合成画像上でそれぞれ同様なブレ方をする。
このような手ブレに対する補正処理としては、合成範囲の画像データのそれぞれについて、各合成用画像データ内での静的被写体の動きベクトル検出に基づく座標変換を行ったうえで、上記合成用画像データについての合成処理を行うものとする。
また被写体ブレは、個々の被写体がそれぞれ勝手に動くことで生じ、つまり静的被写体とされる各被写体がそれぞれ異なるブレ方をする。
このような被写体ブレに対しては、合成範囲の画像データのそれぞれから、動的被写体の画像領域を抽出し、１つの合成用画像データに、各合成用画像データから抽出した動的被写体の画像領域を合成する合成処理を行うことで対応する。

まず図４９〜図５２により、手ブレに対する補正処理例を述べる。
図４９は、合成作業画像７０において、合成範囲とされている各画像データ＃５〜＃１１が合成された合成画像が画像表示領域７２にプレビュー画として表示されている状態を示している。そしてこの場合、撮像時の手ブレによってバックの被写体がぶれている（ユーザが意図していない尾を引いてしまう）。
なお説明上「手ブレ」と言っているが、連続撮像時の合成画像であるため、手振れが生じていなくても、撮像時に構図がズレてしまえば、同様のことが生じてしまう。

そこで、動きベクトルを用いて手振れ補正を行う。このような手ブレに対する補正処理を加えた処理例を図５２に示す。なお、図５２のステップＦ２２０〜Ｆ２２５は図９と同様であり、この図５２は、図９の処理にステップＦ２７０〜Ｆ２７４を加えたものである。
ユーザは、調整処理において例えば図４９のような合成作業画像７０が表示されている際に、上述のように重み係数の変更や合成範囲の変更の操作に加え、ブレ補正操作を行うことができる。例えば所定の操作キーやメニュー項目の選択によりブレ補正操作ができるようにする。

ＣＰＵ３１は、ユーザがブレ補正操作を行ったことを検知したら、処理をステップＦ２７０からＦ２７１に進め、まず基準画像選択処理を行う。
この基準画像選択処理とは、合成範囲とされている各画像データ＃５〜＃１１のうちで、補正の基準となる画像データを選択する処理である。
基準画像は、合成開始位置〜合成終了位置に設定された選択画像リストのうち、最初のフレームが選択される。また、中央のフレームとしても良い。もちろんユーザーが基準画像を選択できるようにして、好みの背景状態で画像合成をできるようにしても良い。

続いてＣＰＵ３１は、ステップＦ２７２で特定点抽出処理を行う。この場合ＣＰＵ３１は各画像データ＃５〜＃１１における特定点を抽出し、基準画像上での特定点に対する他の画像上での特定点の変位量を検出する。
特定点としては、静的被写体における特徴的な部分を選択し、変位量は、基準画像データと他の各画像データにおける特定点の動きベクトルに相当する。

この特定点は、複数の画像データのうち、輝度が高く、且つコントラストの高い像を選択しても良い（エッジ検出）し、ユーザがタッチパネルやカーソルなどを操作して選択しても良い。また複数の候補を自動で抽出して、ユーザーが選択できるようにしても良い。
基準画像以外の画像については、基準画像もしくは基準画像に近い（例えば隣のフレーム）画像における特定点の位置座標の周辺近傍（撮像装置１の焦点距離で決まる手ブレによる構図ブレの範囲）で同じ像を探して、抽出する。
フレームを選択して再生画で確認することによって、抽出された特定点を確認することができる。
また、抽出された基準画像以外の画像における特定点を、タッチパネルやカーソルなどを操作することによって、修正することができる。
また単に基準画像から特定点を抽出／選択するのではなく、基準画像以外の画像からも特定点の候補を抽出しておき、最も移動の少ない特定点を選択することができるようにしても良い。移動の少ない順に候補を挙げ、ユーザーが選択できるようにしても良い。
また、基準画像と基準画像以外の画像を相関演算して、各々対応する画素の変化を動きベクトルとして特定点の変化として得ても良い。
特定点を自動で設定する場合でも、ユーザーが選択する場合でも、１つではなく複数選択することができるようにしても良い。
特定点として１箇所だけ選択するのではなく、複数のポイントを選択しておき、これらのポイントの動きベクトルの平均値、又はスカラーの最小値を特定点の変化としても良い。
選択した複数の特定点に重み付けをして、動きベクトルの加重平均値を得ても良い。

ＣＰＵ３１は、ステップＦ２７２で、このように各画像データ＃５〜＃１１について特定点を抽出し、基準画像以外の画像データの基準画像に対する特定点の変位量を算出する。変位量は例えば画像平面をＸＹ座標としたときにＸ軸上及びＹ軸上でのズレ量とする。
このように特定点及び変位量を検出したら、ＣＰＵ３１は、その検出結果に基づいてステップＦ２７３で、基準画像以外の画像の座標変換を行う。
例えば画像データ＃５が基準画像とされたとすると、まず画像データ＃６については、その特定点とされた画像について、基準画像データ＃５での特定点の画像との位置の変位量が求められているため、その変位量分だけ、画像データ＃６の座標変換を行う。即ち画像データ＃６における特定点の位置（ＸＹ座標値）が、画像データ＃５における特定点の位置に一致するように座標変換（画像をＸＹ座標上でずらす）を行う。画像データ＃７〜＃１１についても、同様に座標変換を行い、それぞれの画像データ＃７〜＃１１の特定点の位置が、基準画像データ＃５の特定点の位置と一致するようにする。

そしてその後ステップＦ２７４で、各画像データ＃５〜＃１１について合成処理を行い、プレビュー画として画像表示領域７２に表示させる。
この場合の合成作業画像７０を図５０に示しているが、図のように画像表示領域７２には、手ブレの影響が補正された合成画像が表示されるようになる。
また、手ブレの影響は動きのある主たる被写体にも当然生じているが、座標変換後の合成によっては、この主たる被写体における手ブレの影響も解消されるため、滑らかな長時間露光効果を得ることができる。

なお、基準画像データ以外の各画像データについて座標変換を行うことで、画像同士が重ならなくなってしまう箇所が発生するが、そのような箇所が生じないように、画像データにトリミング処理を施しても良い。
また上記例では画像データ自体から特定点の動きベクトルを検出する手法を用いたが、各画像データのメタデータにセンサ出力（例えば、ブレ検出部１３で検出される手振れの量および方向を検出するセンサ出力）を保持しておくことによって、その値を用いて各画像データの基準画像データに対する変位量を求め、座標変換を行うようにすることも可能である。
なお図５１は、ブレ補正を行った後に、ユーザの重み係数の操作に応じてマルチ発光効果の合成画像を生成した例を示している。
図５２の処理により、このようにブレ補正を行った上で、ユーザは任意の画像効果を得ることができる。

続いて被写体ブレを補正する処理例を説明する。
被写体ブレに対しては、合成範囲の画像データのそれぞれから、動的被写体の画像領域を抽出し、１つの合成用画像データに、各合成用画像データから抽出した動的被写体の画像領域を合成する合成処理を行うことで対応する。

図５３は、合成作業画像７０において、合成範囲とされている各画像データ＃５〜＃１１が合成された合成画像が画像表示領域７２にプレビュー画として表示されている状態を示している。そしてこの場合、撮像時の被写体ブレによってバックの被写体がぶれている。
そこで、被写体ブレ補正を行う。被写体ブレに対する補正処理を加えた処理例を図５４に示す。なお、図５４のステップＦ２２０〜Ｆ２２５は図９と同様であり、この図５４は、図９の処理にステップＦ２８０〜Ｆ２８４を加えたものである。
ユーザは、調整処理において例えば図５３のような合成作業画像７０が表示されている際に、上述のように重み係数の変更や合成範囲の変更の操作に加え、所定の操作キーやメニュー項目の選択によりブレ補正操作を行うことができる。

ＣＰＵ３１は、ユーザがブレ補正操作を行ったことを検知したら、処理をステップＦ２８０からＦ２８１に進め、まず基準画像選択処理を行う。
この基準画像選択処理は、上記手ブレ補正の際に述べた処理と同様であり、合成範囲とされている各画像データ＃５〜＃１１のうちで、補正の基準となる画像データを選択する処理である。
基準画像は、合成開始位置〜合成終了位置に設定された選択画像リストのうち、最初のフレームが選択される。また、中央のフレームとしても良い。もちろんユーザーが基準画像を選択できるようにして、好みの背景状態（つまり、この状態で被写体を動かさずに長時間露光したいというフレーム）で画像合成をできるようにしても良い。

次にステップＦ２８２でＣＰＵ３１は動き画像を選択する処理を行う。
例えば基準画像もしくはそれ以外の画像において、タッチパネルやカーソルなどによる操作により、ユーザが長時間露光で動きを表現したい被写体を選択できるようにする。ＣＰＵ３１はユーザ操作に応じて動き画像を決定する。
そしてステップＦ２８３で、各画像データ＃５〜＃１１における動き画像の領域を抽出する。つまり各画像データ＃５〜＃１１のそれぞれにおいて、指定された動き画像が含まれている座標範囲を抽出する処理を行う。

領域抽出については、動き画像としての輪郭判定による抽出を行う。
また撮像時にメタデータとして距離分布情報を取得し、距離情報に大きな差がある箇所を輪郭部分と判断し、領域抽出しても良い。
また、領域として抽出可能な候補を抽出し、ユーザーに選択を促しても良い。
また最初に領域抽出を設定した画像以外の画像については、設定画像もしくは設定画像に近い（例えば隣のフレーム）画像における特定点の位置座標の周辺近傍（分割露光による露光時間で決まる被写体振れの範囲）で同じ像を探して、抽出する。
フレームを選択して再生画で確認することによって、抽出された領域を確認することが可能である。抽出された領域を、タッチパネルやカーソルなどを操作して修正できるようにしても良い。
動き画像の領域を自動で設定する場合でも、ユーザーが選択する場合でも、１つではなく複数選択することができるようにしても良い。

また、動き画像とした被写体が画面（画角）内を横切るような撮像がなされた場合においては、連続撮像された画像データのうちで、動きを表現したい被写体が写っていない画像データの存在も考えられる。そこで動き画像の領域を抽出できないフレームについては画面内に抽出可能な候補が見つからないことを表示画面に表示して、ユーザーに知らせるようにする。また動き画像とされた被写体の動きの早さによっては、１つのフレームにしか写っていないこともあるので、そのような場合においては１枚の画像データにしか抽出可能な候補が写っていないことをユーザーに知らせるようにするとよい。
すなわち、領域抽出は必ずしもすべてのフレームについて行われるわけではなく、１枚の画像に対してしか行われない場合もある。

領域抽出を行ったら、ＣＰＵ３１はステップＦ２８４で合成処理を行う。この場合、基準画像データに対して、各画像データ＃５〜＃１１から抽出された動き画像の領域（すなわち、長時間露光効果として動きを表現したい被写体）のデータを、基準画像データに対して合成していく処理を行う。つまり基準画像データの画面全体と、それ以外の画像データで抽出した領域だけを用いて合成を行う。
これは抽出された動き画像以外の背景は、基準画像データのみを用い、その基準画像データに、動きを表現したい主たる被写体の画像（抽出された領域の画像）を加えていく処理である。
そしてこのようにして合成したプレビュー画を、画像表示領域７２に表示させる。例えば図５０のようにバックの被写体にブレのない合成画像が得られることになる。バックの画像（静的被写体）は、基準画像データのみから構成されているため、ブレは生じない。

このようにブレ補正を行った後、ユーザ操作に応じて各画像データ＃５〜＃１１の重み係数を変化させることで、多彩な写真表現を行うことができる。
なお合成に用いられる領域およびその輝度に応じて、自動的に合成画像の明るさや色を調整することによって、適正な明るさ／色の合成画像を得ることができる。たとえば、抽出した領域が白っぽかったり、明るかったりする場合には、合成画像全体の輝度情報が明るくなってしまうため、これをマイナス補正するよう、輝度情報を元に演算する。

なお、動き画像は、その動きに応じて画像自体は変化する。例えば人や動物であれば、大きさや姿勢（例えば足の向きや首の角度など）は画像データ＃５〜＃１１毎に異なる。このため、各画像データから領域抽出する際には、最初に抽出した動き画像を基準に、他の画像データにおいて類似の範囲を抽出するようにすることが適切である。
また抽出された領域は、撮像装置１のメモリ（例えばフラッシュＲＯＭ３３）に保持して、次回以降の撮像や画像合成の処理に用いても良い。
また領域抽出（領域分割）は、上記に挙げた手法以外にも、例えば輝度信号の強弱や、閾値を用いて行うことも可能である。例えば、輝度信号を閾値として用いて領域抽出を行うことによって、夜景の中で動く光の軌跡（自動車のテールランプなど）を長時間露光したかのような画像を合成することが可能である。

次に、手ブレに対する補正と被写体ブレに対する補正の両方を行う処理例を図５５で説明する。
ここでは、時間的な連続性を有する合成範囲の画像データのそれぞれから、動的被写体の画像領域を抽出し、抽出した各動的被写体の画像領域について、各画像データ内での静的被写体の動きベクトル検出に基づく座標変換を行ったうえで、１つの基準画像データに、各動的被写体の画像領域を合成する合成処理を行う例を述べる。

図５５にＣＰＵ３１の処理を示す。ステップＦ２９０〜Ｆ２９６がブレ補正操作が行われた際の処理を示している（他のステップＦ２２０〜Ｆ２２５は図９と同様）。
ＣＰＵ３１は、ユーザがブレ補正操作を行ったことを検知したら、処理をステップＦ２９０からＦ２９１に進め、まず上記図５２，図５４の例と同様に基準画像選択処理を行う。
次にステップＦ２９２でＣＰＵ３１は、図５４の例と同様に動き画像を選択する処理を行う。そしてステップＦ２９３で各画像データについて動き画像の領域抽出を行う。

ステップＦ２９４でＣＰＵ３１は、図５２の例と同様、静的被写体についての特定点抽出及び特定点の変位量の検出を行う。即ち基準画像データ以外の各画像データについて、静的被写体の特定点の座標位置の、基準画像データでの特定点の座標位置に対するズレの量を検出する。

ステップＦ２９５ではＣＰＵ３１は、当該変位量を用いて、基準画像データ以外の各画像データについて、動き画像として抽出した領域の座標変換を行う。
例えば画像データ＃５を基準画像データとした場合、まず画像データ＃６における特定点の、基準画像データ＃５の特定点に対して検出した変位量を用いて、この画像データ＃６から抽出した動き画像の領域について座標変換を行う。画像データ＃７〜＃１１についても同様に、それらから抽出した動き画像の領域について座標変換を行う。

そしてＣＰＵ３１はステップＦ２９６で合成処理を行う。この場合、各画像データ＃５〜＃１１から抽出された動き画像の領域（すなわち、長時間露光効果として動きを表現したい被写体）のデータであって、ステップＦ２９５で座標変換した各データを、基準画像データに対して合成していく処理を行う。つまり基準画像データの画面全体と、それ以外の画像データで抽出した領域を用いて合成を行う。
このようにして合成したプレビュー画を、画像表示領域７２に表示させる。例えば図５０のようにバックの被写体にブレのない合成画像が得られることになる。バックの画像（静的被写体）は、基準画像データのみから構成されているため、手ブレの影響も被写体ブレの影響も生じない。また動き画像とした主たる被写体の画像も、座標変換後に合成しているため、手ブレの影響は生じない。

次に、同じく手ブレに対する補正と被写体ブレに対する補正の両方を行う他の処理例を図５６で説明する。
これは、時間的な連続性を有する合成範囲の画像データのそれぞれについて、各画像データ内での静的被写体の動きベクトル検出に基づく座標変換を行った後、画像データのそれぞれから、動的被写体の画像領域を抽出し、１つの基準画像データに、各画像データから抽出した動的被写体の画像領域を合成する合成処理を行うようにする例である。

図５６にＣＰＵ３１の処理を示す。ステップＦ２９０、Ｆ２９１、Ｆ２９２、Ｆ２９７、Ｆ２９８、Ｆ２９９、Ｆ２９６がブレ補正操作が行われた際の処理を示している（他のステップＦ２２０〜Ｆ２２５は図９と同様）。
ＣＰＵ３１は、ユーザがブレ補正操作を行ったことを検知したら、処理をステップＦ２９０からＦ２９１に進め、まず上記図５２，図５４の例と同様に基準画像選択処理を行う。
次にステップＦ２９２でＣＰＵ３１は、図５４の例と同様に動き画像を選択する処理を行う。
また次にステップＦ２９７では、ＣＰＵ３１は図５２の例と同様、静的被写体についての特定点抽出及び特定点の変位量の検出を行う。即ち基準画像データ以外の各画像データについて、静的被写体の特定点の座標位置の、基準画像データでの特定点の座標位置に対するズレの量を検出する。
そしてステップＦ２９８で、ＣＰＵ３１は、当該変位量を用いて、基準画像データ以外の各画像データについて座標変換を行う。
例えば画像データ＃５を基準画像データとした場合、まず画像データ＃６における特定点の、基準画像データ＃５の特定点に対して検出した変位量を用いて、この画像データ＃６の全体の座標変換を行う。画像データ＃７〜＃１１についても同様に座標変換を行う。

基準画像データ以外の各画像データのそれぞれについて座標変換を行ったら、ステップＦ２９９でＣＰＵ３１は、各画像データ＃５〜＃１１について動き画像の領域抽出を行う。
そしてＣＰＵ３１はステップＦ２９６で合成処理を行う。この場合、基準画像データに対して、各画像データ＃５〜＃１１から抽出された動き画像の領域（すなわち、長時間露光効果として動きを表現したい被写体）のデータを合成していく処理を行う。つまり基準画像データの画面全体と、それ以外の画像データで抽出した領域を用いて合成を行う。
このようにして合成したプレビュー画を、画像表示領域７２に表示させる。例えば図５０のようにバックの被写体にブレのない合成画像が得られることになる。バックの画像（静的被写体）は、基準画像データのみから構成されているため、手ブレの影響も被写体ブレの影響も生じない。また動き画像とした主たる被写体の画像も、座標変換後の各画像データ＃５〜＃１１から抽出されたものであるため手ブレの影響も解消されている。

以上の各例の処理により、手ブレの影響や被写体ブレの影響を解消した合成画像を得ることができ、ユーザの望む合成画像をより容易に得ることができるようになる。特には撮像技術が未熟であったり、撮像時にバックで望まない動きが生じても、それを修正した合成画像を得ることができる。

［１２．情報処理装置］

以上の実施の形態は、撮像装置１で撮像及び合成処理を行うものとして述べたが、合成処理は、撮像装置１以外の装置で行っても良い。図５７には合成処理を実行できる機器の例としての情報処理装置、例えばパーソナルコンピュータ２００を挙げている。
図５７はパーソナルコンピュータ（以下「ＰＣ」）２００の構成例を示している。
ＰＣ２００は図示するように、ＣＰＵ（Central Processing Unit）２１１、メモリ部２１２、ネットワークインターフェース部２１３、ディスプレイコントローラ２１４、入力機器インターフェース部２１５、ＨＤＤインターフェース部２１６、キーボード２１７、マウス２１８、ＨＤＤ２１９、表示装置２２０、バス２２１、外部機器インターフェース部２２２、メモリカードインターフェース部２２３などを有する。

ＰＣ２００のメインコントローラであるＣＰＵ２１１は、メモリ部２１２に格納されているプログラムに応じて、各種の制御処理を実行する。ＣＰＵ２１１は、バス２２１によって他の各部と相互接続されている。
バス２２１上の各機器にはそれぞれ固有のメモリアドレス又はＩ／Ｏアドレスが付与されており、ＣＰＵ２１１はこれらアドレスによって機器アクセスが可能となっている。バス２２１の一例はＰＣＩ（Peripheral Component Interconnect）バスである。

メモリ部２１２は揮発メモリ、不揮発性メモリの双方を含むものとして示している。例えばプログラムを格納するＲＯＭ（Read Only Memory）、演算ワーク領域や各種一時記憶のためのＲＡＭ（Random Access Memory）、ＥＥＰ−ＲＯＭ（Electrically Erasable and Programmable Read Only Memory）等の不揮発性メモリを含む。
このメモリ部２１２には、ＣＰＵ２１１において実行されるプログラムコードやＰＣ２００に固有の識別情報その他の情報を格納したり、通信データのバッファ領域や実行中の作業データのワーク領域に用いられる。

ネットワークインターフェース部２１３は、イーサネット（Ethernet：登録商標）などの所定の通信プロトコルに従って、ＰＣ２００をインターネットやＬＡＮ（Local Area Network）などのネットワークに接続する。ＣＰＵ２１１はネットワークインターフェース部２１３を介して、ネットワーク接続された各機器と通信を行うことができる。

ディスプレイコントローラ２１４は、ＣＰＵ２１１が発行する描画命令を実際に処理するための専用コントローラであり、例えばＳＶＧＡ（Super Video Graphic Array）又はＸＧＡ（eXtended Graphic Array）相当のビットマップ描画機能をサポートする。ディスプレイコントローラ２１４において処理された描画データは、例えばフレームバッファ（図示しない）に一旦書き込まれた後、表示装置２２０に画面出力される。表示装置２２０は、例えば、有機ＥＬ（Electroluminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイや、液晶表示ディスプレイ（Liquid Crystal Display）などとして形成される。

入力機器インターフェース部２１５は、キーボード２１７やマウス２１８などのユーザ入力機器をＰＣ２００としてのコンピュータシステムに接続するための装置である。
即ちＰＣ２００に対するユーザの操作入力がキーボード２１７及びマウス２１８を用いて行われ、その操作入力情報が、入力機器インターフェース部２１５を介してＣＰＵ２１１に供給される。

ＨＤＤインターフェース部２１６は、ハードディスクドライブ（ＨＤＤ）２１９に対する書込／読出のインターフェース処理を行う。
ＨＤＤ２１９は、周知の通り記憶担体としての磁気ディスクを固定的に搭載した外部記憶装置であり、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。ソフトウェアプログラムを実行可能な状態でＨＤＤ２１９上に置くことをプログラムのシステムへの「インストール」と呼ぶ。通常、ＨＤＤ２１９には、ＣＰＵ２１１が実行すべきオペレーティングシステムのプログラムコードや、アプリケーションプログラム、デバイスドライバなどが不揮発的に格納されている。
ＨＤＤ２１９に格納されている各種プログラムは、ＰＣ２００の起動時やユーザ層に応じたアプリケーションプログラムの起動時などに、メモリ部２１２に展開される。ＣＰＵ２１１はメモリ部２１２に展開されたプログラムに基づいた処理を行う。

外部機器インターフェース部２２２は、例えばＵＳＢ規格（Universal Serial Bus）などにより接続された外部機器とのインターフェースである。
本例の場合、外部機器としては、例えばデジタルスチルカメラやビデオカメラ、ビデオプレーヤなどが想定される。
ＰＣ２００は、この外部機器インターフェース部２２２を介した通信により、デジタルスチルカメラ等からの画像データの取込などが可能となる。
なお、外部機器インターフェース部２２２は、ＵＳＢ規格に限らず、例えばＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４など、他のインターフェース規格であってもよい。

メモリカードインターフェース部２２３は、メモリカード等の記録媒体９０に対するデータの書込／読出を行う。
例えば上述した撮像装置１のようなデジタルスチルカメラ、或いはビデオカメラ等で用いられた記録媒体９０を装着することで、その記録媒体９０から画像データを読み込むこともできる。

このようなＰＣ２００では、ＣＰＵ２１１におけるソフトウエア構造、即ちアプリケーションプログラム、ＯＳ（Operating System）、デバイスドライバなどのソフトウエアに基づく演算処理／制御動作を行うことで、各種動作が実行される。
本例の場合、図４の合成モードの処理として説明した、ステップＳＴ１〜ＳＴ４の処理、即ち合成対象画像選択／取込処理（ＳＴ１）、合成準備処理（ＳＴ２）、合成処理（ＳＴ３）、合成画像記録処理（ＳＴ４）が実行できるようにするが、この処理を行うためのプログラムは、例えばＨＤＤ２１９にインストールされ、起動時にメモリ部２１２に展開される。ＣＰＵ２１１はメモリ部２１２に展開されたプログラムに基づいて必要な演算処理や制御処理を実行する。
そして、ＣＰＵ２１１においては起動されたプログラムにより、その機能ブロックとして図３の合成前処理部５２、合成処理部５３、記録／再生／送信制御部５４、操作検知部５５、表示制御部５６、テンプレート管理部５７が形成されるものとなる。
つまり、図７、図８、図９で説明した処理、さらには、図１９、図２２，図３６，図３８，図４０，図４４，図５２，図５４，図５５，図５６で説明した処理が、ＣＰＵ２１１において実行される。
これによって上述してきたような各種画像効果を得るための合成処理を、ユーザはＰＣ２００を用いて行うことができる。

なお、これらの処理をＣＰＵ２１１に実行させるプログラムは、ＰＣ２００等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

このようなＰＣ２００においては、例えばＨＤＤ２１９に、各種の画像コンテンツを格納することができる。例えばユーザがデジタルスチルカメラやビデオカメラで撮像した画像コンテンツを取り込んでＨＤＤ２１９に格納することで、ユーザは、このＰＣ２００を用いて撮像した画像を再生させて楽しむこともできる。
例えば上記撮像装置１の外部インターフェース８とＰＣ２００の外部インターフェース部２２２の間を接続し、撮像装置１で撮像された画像データをＰＣ２００に転送させて取り込むことができる。
もちろん撮像装置１で使用していた記録媒体９０（メモリカード）を、メモリカードインターフェース部２２３に装着して、記録媒体９０から撮像装置１で撮像された画像データをＰＣ２００に取り込むこともできる。
また、ユーザが撮像した画像コンテンツだけでなく、例えば外部のビデオプレーヤ等で再生され外部インターフェース部２２２から取り込んだ画像コンテンツ、或いはネットワークインターフェース部２１３によりネットワーク経由で外部サーバからダウンロードした画像コンテンツもＨＤＤ２１９に格納し、再生させることができる。

つまりＰＣ２００では、例えばデジタルスチルカメラやビデオカメラで撮像した、時間的に連続性を有する複数フレームの画像データを例えばＨＤＤ２１９に取り込んで使用することができるが、ユーザは、そのようにして取り込んだ画像データについて、上述した例と同様の合成処理を、ＰＣ２００を用いて実行できる。
例えば、ユーザは撮像装置１を使用し、図５のステップＦ１５で示した合成モード用撮像を行った後、その複数フレームの画像データをＰＣ２００に取り込む。そして合成処理のソフトウエアを起動し、ＣＰＵ２１１に図４の合成モードの処理として説明した、ステップＳＴ１〜ＳＴ４の処理を実行させることで、より操作性の良い環境で、各種の画像合成を行い、多様な画像効果の合成画像を作成することができる。

また必ずしも自分で撮像した画像だけでなく、ＰＣ２００で用いることのできる多様な画像データ（動画コンテンツ）を対象として合成処理を行うこともできる。
例えばダウンロード等によりＨＤＤ２１６に取り込んだ動画データや、図５７には示していないが、ＤＶＤドライブ、ブルーレイディスクドライブなどが接続されることで、ＤＶＤやブルーレイディスクなどの光ディスクに記録された画像コンテンツを再生することもでき、その場合、光ディスクに記録された動画コンテンツを対象として合成処理を行って、長時間露光効果、先幕シンクロ効果、後幕シンクロ効果、マルチ発光効果などの所望の画像表現の合成画像を生成することもできる。さらにテレビジョン放送チューナ等を搭載、又は接続しているのであれば、放送コンテンツを対象として合成画像を生成することもできる。

本例では情報処理装置としてパーソナルコンピュータを例に挙げたが、例えば携帯電話機、ＰＤＡ（Personal Digital Assistant）、ゲーム機器、ビデオ編集機、その他画像データを用いる多様な情報処理装置においても同様の画像合成を実行できるようにすることができる。

本発明の実施の形態の撮像装置のブロック図である。 実施の形態の撮像装置の外観例の説明図である。 実施の形態の撮像装置のＣＰＵの機能構成のブロック図である。 実施の形態の撮像装置のモード動作の説明図である。 実施の形態の撮像装置のカメラモード処理のフローチャートである。 実施の形態の撮像装置の撮像画像の説明図である。 実施の形態の合成準備処理のフローチャートである。 実施の形態の合成処理のフローチャートである。 実施の形態の調整処理のフローチャートである。 実施の形態の合成作業画像の再生開始時の説明図である。 実施の形態の合成作業画像の合成開始位置指定時の説明図である。 実施の形態の合成作業画像の合成終了位置指定時の説明図である。 実施の形態の合成作業画像の調整処理時の初期状態の説明図である。 実施の形態の合成作業画像の先幕シンクロ効果として重み係数を変更した場合の説明図である。 実施の形態の合成作業画像の合成範囲変更時の説明図である。 実施の形態の合成作業画像の後幕シンクロ効果として重み係数を変更した場合の説明図である。 実施の形態の合成作業画像の合成範囲変更時の説明図である。 実施の形態の合成作業画像のマルチ発光効果として重み係数を変更した場合の説明図である。 実施の形態の調整処理で変更前の合成画像を表示する処理例のフローチャートである。 実施の形態の調整処理で変更前の合成画像を表示する場合の合成作業画像の説明図である。 実施の形態の係数テンプレートの選択画面の説明図である。 実施の形態の係数テンプレートを用いた処理例のフローチャートである。 実施の形態の撮像時の係数テンプレート選択画面の説明図である。 実施の形態の電子シャッタ使用有無による合成画像の説明図である。 実施の形態の露光調整制御方式の一例の説明図である。 実施の形態の電子シャッタ以外を優先する露光調整制御方式の説明図である。 実施の形態の電子シャッタ以外を優先する露光調整制御のフローチャートである。 実施の形態の固定フレームレートで分割露光を行う場合の説明図である。 実施の形態の固定フレームレートで分割露光を行う場合のフレーム生成の説明図である。 実施の形態の露光時間の連続／不連続による合成画像状態の説明図である。 実施の形態の可変フレームレート動作の説明図である。 実施の形態の可変フレームレートを用いた露光調整制御方式の説明図である。 実施の形態の可変フレームレートを用いた露光調整制御のフローチャートである。 実施の形態のフレーム間補間有無による合成画像の説明図である。 実施の形態のフレーム間補間の説明図である。 実施の形態のフレーム補間を加えた処理例のフローチャートである。 実施の形態のフラッシュ無効化の際の合成作業画像の説明図である。 実施の形態のフラッシュ無効化を加えた処理例のフローチャートである。 実施の形態のフラッシュ補正の際の合成作業画像の説明図である。 実施の形態のフラッシュ補正を加えた処理例のフローチャートである。 実施の形態の合成作業画像の説明図である。 実施の形態のマルチ発光効果を生じさせた場合の説明図である。 実施の形態のフラッシュ距離補正を行った場合の説明図である。 実施の形態のフラッシュ距離補正を加えた処理例のフローチャートである。 実施の形態の全画像に距離補正を行った場合の説明図である。 実施の形態のフラッシュ画像を合成した場合の説明図である。 実施の形態の他のフラッシュ距離補正を行った場合の説明図である。 実施の形態のブレ発生状態の合成画像の説明図である。 実施の形態の手ブレの影響がある合成画像が表示されている状態の説明図である。 実施の形態の手ブレ補正後の合成画像が表示されている状態の説明図である。 実施の形態の手ブレ補正後にマルチ発光効果を与えた合成画像が表示されている状態の説明図である。 実施の形態の手ブレ補正を加えた処理例のフローチャートである。 実施の形態の被写体ブレの影響がある合成画像が表示されている状態の説明図である。 実施の形態の被写体ブレ補正を加えた処理例のフローチャートである。 実施の形態の手ブレ及び被写体ブレ補正を加えた処理例のフローチャートである。 実施の形態の手ブレ及び被写体ブレ補正を加えた他の処理例のフローチャートである。 実施の形態の情報処理装置の一例の構成図である。

符号の説明

１ 撮像装置、２ 撮像系、３ 制御系、４ カメラＤＳＰ、５ 操作部、６ 表示パネル、７ 表示コントローラ、８ 外部インターフェース、９ ＳＤＲＡＭ、１０ 媒体インターフェース、１３ ブレ検出部、１４ 発光駆動部、１５ フラッシュ発光部、１７ レンズ駆動ドライバ、１８ 絞り／ＮＤ駆動ドライバ、１９ 撮像素子ドライバ２１ レンズ機構部、２２ 絞り／ＮＤフィルタ機構、２３ 撮像素子部、２４ アナログ信号処理部、２５ Ａ／Ｄ変換部、２８ タイミング生成回路、２６ レンズ駆動部、２７ レンズ位置検出部、３１ ＣＰＵ、３２ ＲＡＭ、３３ フラッシュＲＯＭ、３４ 時計回路、４１ 画像信号処理部，４２ 圧縮／解凍処理部、４３ ＳＤＲＡＭコントローラ、４４ 情報生成部、５１ 撮像制御部、５２ 合成前処理部、５３ 合成処理部、５４ 記録／再生／送信制御部、５５ 操作検知部、５６ 表示制御部、５７ テンプレート管理部、９０ メモリカード、２００ パーソナルコンピュータ、２１１ ＣＰＵ、２１２ メモリ部、２１３ ネットワークインターフェース部、２１４ ディスプレイコントローラ、２１５ 入力機器インターフェース部、２１６ ＨＤＤインターフェース部、２１７ キーボード、２１８ マウス、２１９ ＨＤＤ、２２０ 表示装置、２２２ 外部機器インターフェース部、２２３ メモリカードインターフェース部

Claims (20)

1. 時間的な連続性を有する複数フレームの画像データを、合成用画像データとして用いるようにする合成前処理を行うとともに、上記合成前処理として、合成用画像データとして用いる複数フレームの画像データのうちで、フラッシュ不使用撮像によって撮像された画像データを抽出し、該抽出された複数の画像データの平均輝度を均一化する輝度調整処理を行う合成前処理部と、
   合成処理のための操作入力情報の検知を行う操作検知部と、
   上記合成前処理で得られた複数フレームの合成用画像データについて、上記操作検知部で検知された操作入力情報に応じた合成処理を行い、静止画としての合成画像データを生成する合成処理部と、
   を備える画像処理装置。
2. 時間的な連続性を有する複数フレームの画像データを、合成用画像データとして用いるようにする合成前処理を行う合成前処理部と、
   合成処理のための操作入力情報の検知を行う操作検知部と、
   上記合成前処理で得られた複数フレームの合成用画像データについて、上記操作検知部で検知された操作入力情報に応じた合成処理を行い、静止画としての合成画像データを生成する合成処理部であって、時間的な連続性を有する上記合成用画像データのうちで、フラッシュ使用撮像画像を判別し、少なくとも上記フラッシュ使用撮像画像の重み係数を変化させて上記合成用画像データについての合成処理を行い、フラッシュ効果を無効化した合成画像データを生成する合成処理部と、
   を備える画像処理装置。
3. 時間的な連続性を有する複数フレームの画像データを、合成用画像データとして用いるようにする合成前処理を行う合成前処理部と、
   合成処理のための操作入力情報の検知を行う操作検知部と、
   上記合成前処理で得られた複数フレームの合成用画像データについて、上記操作検知部で検知された操作入力情報に応じた合成処理を行い、静止画としての合成画像データを生成する合成処理部であって、時間的な連続性を有する上記合成用画像データのうちで、フラッシュ使用撮像画像を判別し、少なくとも上記フラッシュ使用撮像画像の重み係数を変化させて上記合成用画像データについての合成処理を行い、フラッシュ効果を補正した合成画像データを生成する合成処理部と、
   を備える画像処理装置。
4. 時間的な連続性を有する複数フレームの画像データを、合成用画像データとして用いるようにする合成前処理を行う合成前処理部と、
   合成処理のための操作入力情報の検知を行う操作検知部と、
   上記合成前処理で得られた複数フレームの合成用画像データについて、上記操作検知部で検知された操作入力情報に応じた合成処理を行い、静止画としての合成画像データを生成する合成処理部であって、時間的な連続性を有する上記合成用画像データのそれぞれについて、被写体の離間距離を判別し、判別した離間距離に応じた重み係数を与えたうえで、上記合成用画像データについての合成処理を行う合成処理部と、
   を備える画像処理装置。
5. 時間的な連続性を有する複数フレームの画像データを、合成用画像データとして用いるようにする合成前処理を行う合成前処理部と、
   合成処理のための操作入力情報の検知を行う操作検知部と、
   上記合成前処理で得られた複数フレームの合成用画像データについて、上記操作検知部で検知された操作入力情報に応じた合成処理を行い、静止画としての合成画像データを生成する合成処理部であって、時間的な連続性を有する上記合成用画像データのうちで、フラッシュ使用状態の重み係数が与えられた合成用画像データのそれぞれについて、被写体の離間距離を判別し、判別した離間距離に応じた重み係数を与えたうえで、上記合成用画像データについての合成処理を行う合成処理部と、
   を備える画像処理装置。
6. 上記合成処理部は、複数の合成用画像データのそれぞれに対して上記操作入力情報によって指定された重み係数を用いて合成処理を行い、静止画としての合成画像データを生成する請求項１、請求項２、請求項３、請求項４、又は請求項５に記載の画像処理装置。
7. 上記合成処理部は、時間的な連続性を有する上記合成用画像データのうちで、上記操作入力情報によって指定される時間軸上の範囲内とされた複数の合成用画像データについて、それぞれに対して上記操作入力情報によって指定された重み係数を用い、加重平均による合成処理を行って、静止画としての合成画像データを生成する請求項１、請求項２、請求項３、請求項４、又は請求項５に記載の画像処理装置。
8. 上記合成処理部は、上記合成用画像データと、上記合成用画像データを用いた補間処理で形成した補間画像データとを用いた合成処理を行って、静止画としての合成画像データを生成する請求項１、請求項２、請求項３、請求項４、又は請求項５に記載の画像処理装置。
9. 上記合成処理部による合成処理内容についての指示又は結果を示す合成作業画像を表示させるために、合成作業画像データを生成して出力する表示制御部をさらに備え、
   上記表示制御部は、複数の合成用画像データのそれぞれに与えられた重み係数を表現する画像を含む、上記合成作業画像データを生成して出力する請求項１、請求項２、請求項３、請求項４、又は請求項５に記載の画像処理装置。
10. 上記合成処理部による合成処理内容についての指示又は結果を示す合成作業画像を表示させるために、合成作業画像データを生成して出力する表示制御部をさらに備え、
    上記表示制御部は、或る合成処理が行われた際に、その合成処理後の画像と、合成処理前の画像の両方を含む、上記合成作業画像データを生成して出力する請求項１、請求項２、請求項３、請求項４、又は請求項５に記載の画像処理装置。
11. 時間的な連続性を有する複数フレームの画像データを、合成用画像データとして用いるようにする合成前処理を行うとともに、上記合成前処理として、合成用画像データとして用いる複数フレームの画像データのうちで、フラッシュ不使用撮像によって撮像された画像データを抽出し、該抽出された複数の画像データの平均輝度を均一化する輝度調整処理を行うステップと、
    合成処理のための操作入力情報の検知を行うステップと、
    上記合成前処理で得られた複数フレームの合成用画像データについて、検知された上記操作入力情報に応じた合成処理を行い、静止画としての合成画像データを生成するステップと、
    を備えた画像処理方法。
12. 時間的な連続性を有する複数フレームの画像データを、合成用画像データとして用いるようにする合成前処理を行うステップと、
    合成処理のための操作入力情報の検知を行うステップと、
    上記合成前処理で得られた複数フレームの合成用画像データについて、検知された上記操作入力情報に応じた合成処理を行い、静止画としての合成画像データを生成する処理であって、時間的な連続性を有する上記合成用画像データのうちで、フラッシュ使用撮像画像を判別し、少なくとも上記フラッシュ使用撮像画像の重み係数を変化させて上記合成用画像データについての合成処理を行い、フラッシュ効果を無効化した合成画像データを生成するステップと、
    を備えた画像処理方法。
13. 時間的な連続性を有する複数フレームの画像データを、合成用画像データとして用いるようにする合成前処理を行うステップと、
    合成処理のための操作入力情報の検知を行うステップと、
    上記合成前処理で得られた複数フレームの合成用画像データについて、検知された上記操作入力情報に応じた合成処理を行い、静止画としての合成画像データを生成する処理であって、時間的な連続性を有する上記合成用画像データのうちで、フラッシュ使用撮像画像を判別し、少なくとも上記フラッシュ使用撮像画像の重み係数を変化させて上記合成用画像データについての合成処理を行い、フラッシュ効果を補正した合成画像データを生成するステップと、
    を備えた画像処理方法。
14. 時間的な連続性を有する複数フレームの画像データを、合成用画像データとして用いるようにする合成前処理を行うステップと、
    合成処理のための操作入力情報の検知を行うステップと、
    上記合成前処理で得られた複数フレームの合成用画像データについて、検知された上記操作入力情報に応じた合成処理を行い、静止画としての合成画像データを生成する処理であって、時間的な連続性を有する上記合成用画像データのそれぞれについて、被写体の離間距離を判別し、判別した離間距離に応じた重み係数を与えたうえで、上記合成用画像データについての合成処理を行うステップと、
    を備えた画像処理方法。
15. 時間的な連続性を有する複数フレームの画像データを、合成用画像データとして用いるようにする合成前処理を行うステップと、
    合成処理のための操作入力情報の検知を行うステップと、
    上記合成前処理で得られた複数フレームの合成用画像データについて、検知された上記操作入力情報に応じた合成処理を行い、静止画としての合成画像データを生成する処理であって、時間的な連続性を有する上記合成用画像データのうちで、フラッシュ使用状態の重み係数が与えられた合成用画像データのそれぞれについて、被写体の離間距離を判別し、判別した離間距離に応じた重み係数を与えたうえで、上記合成用画像データについての合成処理を行うステップと、
    を備えた画像処理方法。
16. 時間的な連続性を有する複数フレームの画像データを、合成用画像データとして用いるようにする合成前処理を行うとともに、上記合成前処理として、合成用画像データとして用いる複数フレームの画像データのうちで、フラッシュ不使用撮像によって撮像された画像データを抽出し、該抽出された複数の画像データの平均輝度を均一化する輝度調整処理を行うステップと、
    合成処理のための操作入力情報の検知を行うステップと、
    上記合成前処理で得られた複数フレームの合成用画像データについて、検知された上記操作入力情報に応じた合成処理を行い、静止画としての合成画像データを生成するステップと、
    を演算処理装置に実行させるプログラム。
17. 時間的な連続性を有する複数フレームの画像データを、合成用画像データとして用いるようにする合成前処理を行うステップと、
    合成処理のための操作入力情報の検知を行うステップと、
    上記合成前処理で得られた複数フレームの合成用画像データについて、検知された上記操作入力情報に応じた合成処理を行い、静止画としての合成画像データを生成する処理であって、時間的な連続性を有する上記合成用画像データのうちで、フラッシュ使用撮像画像を判別し、少なくとも上記フラッシュ使用撮像画像の重み係数を変化させて上記合成用画像データについての合成処理を行い、フラッシュ効果を無効化した合成画像データを生成するステップと、
    を演算処理装置に実行させるプログラム。
18. 時間的な連続性を有する複数フレームの画像データを、合成用画像データとして用いるようにする合成前処理を行うステップと、
    合成処理のための操作入力情報の検知を行うステップと、
    上記合成前処理で得られた複数フレームの合成用画像データについて、検知された上記操作入力情報に応じた合成処理を行い、静止画としての合成画像データを生成する処理であって、時間的な連続性を有する上記合成用画像データのうちで、フラッシュ使用撮像画像を判別し、少なくとも上記フラッシュ使用撮像画像の重み係数を変化させて上記合成用画像データについての合成処理を行い、フラッシュ効果を補正した合成画像データを生成するステップと、
    を演算処理装置に実行させるプログラム。
19. 時間的な連続性を有する複数フレームの画像データを、合成用画像データとして用いるようにする合成前処理を行うステップと、
    合成処理のための操作入力情報の検知を行うステップと、
    上記合成前処理で得られた複数フレームの合成用画像データについて、検知された上記操作入力情報に応じた合成処理を行い、静止画としての合成画像データを生成する処理であって、時間的な連続性を有する上記合成用画像データのそれぞれについて、被写体の離間距離を判別し、判別した離間距離に応じた重み係数を与えたうえで、上記合成用画像データについての合成処理を行うステップと、
    を演算処理装置に実行させるプログラム。
20. 時間的な連続性を有する複数フレームの画像データを、合成用画像データとして用いるようにする合成前処理を行うステップと、
    合成処理のための操作入力情報の検知を行うステップと、
    上記合成前処理で得られた複数フレームの合成用画像データについて、検知された上記操作入力情報に応じた合成処理を行い、静止画としての合成画像データを生成する処理であって、時間的な連続性を有する上記合成用画像データのうちで、フラッシュ使用状態の重み係数が与えられた合成用画像データのそれぞれについて、被写体の離間距離を判別し、判別した離間距離に応じた重み係数を与えたうえで、上記合成用画像データについての合成処理を行うステップと、
    を演算処理装置に実行させるプログラム。

Images