JP6370207B2 - 撮像装置、画像処理装置、撮像方法、およびプログラム - Google Patents

Description

本発明は、撮影開始から終了まで複数回撮影を行い、取得した複数の画像データを合成する際に、撮像素子の固定ノイズパターンの影響を除去するようにした撮像装置、画像処理装置、撮像方法、およびプログラムに関する。

従来、一眼レフレックス式の撮像装置においては、被写体像の観察は光学式ファインダにより行っていた。しかし、最近では光学式ファインダをなくし、イメージセンサから読み出した画像を、液晶モニタ等によって表示するライブビュー表示によって、被写体像を観察する撮像装置が知られている。また、光学ファインダの代わりに、ライブビュー表示による画像を、液晶モニタとは別に電子ビューファインダを用いて表示し、液晶モニタと電子ビューファインダを切り換え可能にした撮像装置が市販されている。

従来、光学ファインダの場合も電子ビューファインダの場合もバルブ撮影のような長時間撮影時には、露出中にイメージセンサからの画像信号読出しを行うことができなかったため、被写体の状態や露出状態を確認することができず、撮影が終了してから画像を確認していた。このため、撮影者にとっては、露出設定や露出時間は、被写体の明るさなどから撮影者自身で推定し、露出の開始や終了を決定することとなり、露出不足や過多による撮影失敗をすることなく、所望の撮影画像を得ることは容易ではなかった。

そこで、所定の時間間隔でイメージセンサから画素信号を読み出し、この画像信号をイメージセンサから読み出す毎に単純に累積加算して得られた画像を液晶モニタに表示する撮像装置が提案されている（特許文献１参照）。この撮像装置によれば、バルブ撮影等の長時間撮影時に、途中経過が表示されることから撮影の失敗を減らすことができる。また、連続的にイメージセンサから画像信号を読み出し、比較明合成（画像データの画素毎の輝度レベルを比較し、大きい方を選択し合成後の輝度レベルとする合成手段）により、バルブ撮影画像を生成する撮像装置が提案されている（特許文献２参照）。

特開２００５−１１７３９５号公報 特許第４１４８５８６号公報

バルブ撮影では、数秒〜数分に亘る長時間での露光による撮影が行われる。イメージセンサの特性として、長秒撮影時にイメージセンサの画素を構成するフォトダイオードで暗電流成分が発生し、固定パターンノイズが発生する。暗電流の発生量は画素毎にバラツキがあり、露光時間に比例して増加する。また、イメージセンサの温度が高いほど増加する特性があり、画像には欠陥状のノイズや、画像濃度ムラとして現れる。

この暗電流による固定パターンノイズはシャッタを開けて、露光した状態での撮影でも、遮光した状態での撮影でも無関係に露光時のイメージセンサ温度と露光時間にのみ依存して発生する。このため、現在市販されているデジタルカメラにおいては、バルブ撮影時はユーザが撮影後（撮影画像を明時画像とする）に自動で同じシャッタ速度で遮光画像を撮影し、イメージセンサ後段の画像処理回路にて明時画像データと遮光画像データの減算処理を行うことにより固定パターンノイズを補正するＦＰＮ（Fixed Pattern Noise：固定パターンノイズ）キャンセル処理が行われている。

特許文献１、２に記載の撮像装置では明時画像を撮影した後に暗時画像を撮影している。固定パターンノイズの原因である暗電流はイメージセンサの温度が高くなるほど増加するため、撮影中にイメージセンサ温度が減少する場合、明時画像撮影後に取得した暗時画像では十分に補正することができない。そこで、明時画像撮影の前と後に暗時画像を撮影し、イメージセンサの温度をモニタリングして、温度が高いときに取得した暗時画像を選択してＦＰＮキャンセルに適している画像を選択して補正することが考えられる。

しかし、イメージセンサによっては、暗電流に起因して発生するＦＰＮである撮像面内ムラ（暗電流シェーディング）が、温度が高くなるほど小さくなるものがある。暗電流シェーディングはイメージセンサの画素であるＰＤ（フォトダイオード）を作成する工程で、センサの中央部と周辺部で一様な特性となるＰＤが作成できず、中心部と周辺部での暗電流の発生量にムラができることにより発生する。

また、ＦＰＮである暗電流自体は、中心部も周辺部も温度が高いほど大きくなる。一般にイメージセンサ５０では、図８（ｃ）に示す様に、光像をイメージセンサに入光させて画像出力を得るための有効画素領域５１に加えて、有効画素領域の周辺に配置され、物理的に遮光状態となるＯＢ（Optical Black）画素領域（水平ＯＢ画素５３、垂直ＯＢ画素５４）を有している。このＯＢ画素領域の出力信号を、イメージセンサ有効画素の暗電流出力の代表値（基準ＯＢ出力）として検出している。

しかし、読み出した信号をセンサ周辺に配したＯＢ画素の平均出力を、暗時出力の基準ＯＢ出力としたＯＢクランプ処理を、センサ内部回路またはセンサ後段のＤＳＰ（デジタルシグナルプロセッサ）で実施するのが一般的である。このため、一般的なイメージセンサ５０、すなわち、図８（ａ）に示すような周辺部が中心部よりも暗電流が大きくなる暗電流シェーディングを有するイメージセンサ５０においては、温度が高いほど、センサ中心部の暗時画像の出力が小さくなる面内ムラが発生してしまう。

一方、画素欠陥については、図８（ｂ）に示すように、温度が高いほど大きくなる傾向があるため、撮影開始前と終了時の温度検出結果に応じて、温度が高い方の暗時画像を使用しても画素欠陥はある程度の精度で補正が行える。しかし、この方法でも、面内ムラ（暗電流シェーディング）は、最適に補正することができない。

本発明は、このような事情を鑑みてなされたものであり、複数回の撮影で取得した複数の画像データに対して、確実かつ正確な補正情報を適用してＦＰＮ補正を行い、輝度ムラ等の画像劣化を防止するようにした撮像装置、画像処理装置、撮像方法、およびプログラムを提供することを目的する。

上記目的を達成するため第１の発明に係る撮像装置は、撮像素子から読み出された画像データを基に最初に生成された第１画像データを累積合成画像データとして記憶し、つぎに上記撮像素子から読み出された画像データを基に生成された第２画像データを構成する複数の画素データと、上記累積合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較した比較結果、または平均演算結果に基づいて合成処理した画素データを新たな画素データとして上記累積合成画像データを再構成する合成処理を、上記撮像素子から読み出された画像データを基に生成された２コマ目以降の上記第２画像データに対して順次に繰り返し行う撮像装置において、上記第１画像データを取得する前に、上記撮像素子の撮像面に入射する光線を遮光した状態で撮影して得る第１の暗時画像データと、最後に取得した上記第２画像データの後に上記撮像素子の撮像面に入射する光線を遮光した状態で撮影して得る第２の暗時画像データを取得する暗時画像データ撮像部と、上記第１および第２の暗時画像データを比較した比較結果、または平均演算結果に基づいて合成処理を行って暗時補正画像データを生成する補正画像データ生成部と、上記暗時補正画像データを用いて上記累積合成画像データ中の固定パターンノイズを補正する補正部と、上記合成処理が行う合成処理内容を選択する合成処理選択部と、を備え、上記補正画像データ生成部は、上記合成処理選択部によって選択された合成処理内容に対応した合成処理を行って暗時補正画像データを生成する。

第２の発明に係る撮像装置は、上記第１の発明において、上記合成処理は、比較明合成処理、比較暗合成処理および平均合成処理の少なくとも１つを含むものであり、上記補正画像データ生成部は、上記合成処理が、比較明合成処理である場合は、上記暗時補正画像データは、上記第１の暗時画像データと、上記第２の暗時画像データとを比較明合成処理によって合成処理を行って生成し、上記合成処理が、比較暗合成処理である場合は、上記暗時補正画像データは、上記第１の暗時画像データと、上記第２の暗時画像データとを比較暗合成処理によって合成処理を行って生成し、上記合成処理が、平均合成処理である場合は、上記暗時補正画像データは、上記第１の暗時画像データと、上記第２の暗時画像データとを平均合成処理によって合成処理を行って生成して取得する。

第３の発明に係る撮像装置は、上記第１または第２の発明において、上記撮像装置の撮影開始および終了を操作指示する操作指示部と、表示画像を表示出力する表示部と、をさらに有し、上記操作指示部が撮影を指示している間は、当該撮像装置から上記第１画像データまたは、上記第２画像データを所定の時間毎に取得して、上記累積合成画像データを、上記所定の時間周期毎に生成し、上記補正部は、上記累積合成画像データに対して、上記第１の暗時画像データを用いて上記累積合成画像データ中の固定パターンノイズを補正し、上記表示部は、上記補正部によって補正された画像データを上記表示画像として表示出力をする。

第４の発明に係る撮像装置は、上記第１または第２の発明において、上記撮像装置の撮影開始および終了を操作指示する操作指示部と、上記累積合成画像データを記憶する記憶部と、をさらに有し、上記操作指示部が撮影を指示している間は、当該撮像装置から上記第１画像データまたは、上記第２画像データを所定の時間毎に取得して、上記累積合成画像データを、上記所定の時間周期毎に生成し、上記補正部は、上記累積合成画像データに対して、上記第１の暗時画像データを用いて上記累積合成画像データ中の固定パターンノイズを補正し、上記記憶部は、上記補正部によって補正された画像データを記憶する。

第５の発明に係る画像処理装置は、撮像装置により撮影前後に遮光状態で撮像素子から読み出された第１および第２の暗時画像データと、上記撮像装置が撮影中に繰り返し読み出された複数の画像データを用いて画像合成処理を行って累積合成画像データを生成する画像処理装置であって、上記複数の画像データの内、上記撮像素子から読み出された画像データを基に最初に、生成された第１画像データを累積合成画像データとして記憶する記録部と、上記撮像素子から次に読み出された画像データを基に生成された第２画像データを構成する複数の画素データと、上記累積合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較した比較結果、または平均演算結果に基づいて合成処理した画素データを新たな画素データとして上記累積合成画像データを再構成する合成処理を、上記撮像素子から読み出された画像データを基に生成された２コマ目以降の上記第２画像データに対して順次に繰り返し行う画像合成処理部と、上記第１、および第２の暗時画像データを比較した結果、または平均演算結果に基づいて合成処理を行って暗時補正画像データを生成する補正画像データ生成部と、上記暗時補正画像データ用いて上記累積合成画像データ中の固定パターンノイズを補正する補正部と、上記合成処理が行う合成処理内容を選択する合成処理選択部と、を備え、上記補正画像データ生成部は、上記合成処理選択部によって選択された合成処理内容に対応した合成処理を行って暗時補正画像データを生成する。

第６の発明に係る撮像方法は、撮像素子から読み出された画像データを基に最初に生成された第１画像データを累積合成画像データとして記憶し、つぎに上記撮像素子から読み出された画像データを基に生成された第２画像データを構成する複数の画素データと、上記累積合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較した比較結果、または平均演算結果に基づいて合成処理した画素データを新たな画素データとして上記累積合成画像データを再構成する合成処理を、上記撮像素子から読み出された画像データを基に生成された２コマ目以降の上記第２画像データに対して順次に繰り返し行う撮像装置での撮像方法において、上記第１画像データを取得する前に、上記撮像素子の撮像面に入射する光線を遮光した状態で撮影して得る第１の暗時画像データと、最後に取得した上記第２画像データの後に上記撮像素子の撮像面に入射する光線を遮光した状態で撮影して得る第２の暗時画像データを取得する暗時画像データ取得ステップと、上記第１、および第２の暗時画像データを比較した結果、または平均演算結果に基づいて合成処理を行って暗時補正画像データを生成する補正画像データ生成ステップと、上記暗時補正画像データ用いて上記累積合成画像データ中の固定パターンノイズを補正する補正ステップと、上記合成処理が行う合成処理内容を選択する合成処理選択ステップと、を備え、上記補正画像データ生成ステップは、上記合成処理選択ステップによって選択された合成処理内容に対応した合成処理を行って暗時補正画像データを生成する。

第７の発明に係るプログラムは、撮像装置により撮影前後に遮光状態で撮像素子から読み出された第１および第２の暗時画像データと、上記撮像装置が撮影中に繰り返し読み出された複数の画像データを用いて画像合成処理を行って累積合成画像データを生成する画像処理装置内のコンピュータを実行させるためのプログラムにおいて、上記複数の画像データの内、上記撮像素子から読み出された画像データを基に最初に、生成された第１画像データを累積合成画像データとして記憶する記憶ステップと、上記撮像素子から次に読み出された画像データを基に生成された第２画像データを構成する複数の画素データと、上記累積合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較した比較結果、または平均演算結果に基づいて合成処理した画素データを新たな画素データとして上記累積合成画像データを再構成する合成処理を、上記撮像素子から読み出された画像データを基に生成された２コマ目以降の上記第２画像データに対して順次に繰り返し行う画像合成処理ステップと、上記第１、および第２の暗時画像データを比較した結果、または平均演算結果に基づいて合成処理を行って暗時補正画像データを生成する補正画像データ生成ステップと、上記暗時補正画像データ用いて上記累積合成画像データ中の固定パターンノイズを補正する補正ステップと、上記合成処理が行う合成処理内容を選択する合成処理選択ステップと、を備え、上記補正画像データ生成ステップは、上記合成処理選択ステップによって選択された合成処理内容に対応した合成処理を行って暗時補正画像データを生成することを上記コンピュータに実行させる。

本発明によれば、複数回の撮影で取得した複数の画像データに対して、確実かつ正確な補正情報を適用してＦＰＮ補正を行い、輝度ムラ等の画像劣化を防止するようにした撮像装置、画像処理装置、撮像方法、およびプログラムを提供することができる。

本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の一実施形態に係るカメラにおいて、合成モードが設定されている場合の動作を示すフローチャートである。 本発明の一実施形態に係るカメラにおいて、合成モードが設定されている場合の動作を示すフローチャートである。 本発明の一実施形態に係るカメラにおいて、明合成処理時の動作を示すタイミングチャートである。 本発明の一実施形態に係るカメラにおいて、合成モードで撮影している際の温度変化を示すグラフである。 本発明の一実施形態に係るカメラにおいて、画素欠陥特性と暗時シェーディング特性の傾向が同じ場合の両特性の変化を示すグラフである。 本発明の一実施形態に係るカメラにおいて、画素欠陥特性と暗時シェーディング特性の傾向が異なる場合の両特性の温度変化を示すグラフである。 従来のカメラにおいて、温度特性変化とイメージセンサの画素配置を説明する図であり、（ａ）は画素欠陥特性の温度変化を示すグラフであり、（ｂ）は暗時シェーディング特性の温度変化を示すグラフであり、（ｃ）はイメージセンサの画素配置を示す平面図である。

以下、本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい実施形態に係るカメラは、デジタルカメラであり、概略、イメージセンサから読み出される画像データに基づく画像データを表示部にライブビュー表示すると共にレリーズ釦の操作に応じて記録用に画像処理した画像データを外部メモリに記録する。また、撮影時の明時画像から、撮像素子の撮像面に入射する光線を遮光した状態で取得した暗時画像を差し引くことによりＦＰＮ補正を行う。このＦＰＮ補正にあたっては、明時画像を取得する前と後に取得した２コマの暗時画像を合成した画像を用いて行う。

すなわち、本実施形態においては、イメージセンサから連続的に読み出した画像信号を比較合成してバルブ撮影画像を生成するにあたって、合成処理として比較明合成（画像データの画素毎に輝度レベルを比較し、大きい方を選択し合成後の輝度レベルとする合成）を行う場合には、明時画像撮影前と後に撮影した２コマの暗時画像を比較明合成した画像を用いて、ＦＰＮキャンセルを行う。また、合成処理として、比較暗合成（画像データの画素毎に輝度レベルを比較し、小さい方を選択し合成後の輝度レベルとする合成）を行う場合には、明時画像を撮影後前と後に撮影した暗時画像比較暗合成した画像を用いてＦＰＮキャンセルを行う。また、合成処理として、平均合成（画素毎出力を平均する合成）を行う場合には、明時画像を撮影後前と後に撮影した暗時画像を平均合成した画像を用いてＦＰＮキャンセルを行う。

このＦＰＮキャンセルによって、合成画像の固定パターンノイズを精度よく補正し、画質を向上させる。また、明時画像撮影前に撮影した暗時画像を用いて合成途中の画像についてもＦＰＮキャンセルを行い、ライブビュー表示や途中経過の記録画像の画質も向上させるようにしている。

図１は、本発明の好ましい実施形態としての一実施形態に係るカメラの主として電気的構成を示すブロック図である。本実施形態におけるカメラは、撮像部１、画像処理部１０、システム制御部２０、およびバス３１とこれに接続された各部を有する。なお、本実施形態においては、レンズ２は、カメラ本体と一体に構成されているが、交換レンズとしても勿論かまわない。

撮像部１内には、レンズ２、メカシャッタ３、イメージセンサ４を有する。レンズ２は、イメージセンサ４に被写体の光学像を結像する。このレンズ２内には、露出量を調節するための絞り値を決定する絞りを備える。また、メカシャッタ３は、開閉動作によりイメージセンサ４への露出や遮光を行い、シャッタ速度を制御する。メカシャッタ４を閉じることにより、イメージセンサ１は遮光され、この状態で取得された画像データは暗時画像データと称す。遮光状態は、撮影開始前と撮影終了後の２回あり、この内、撮影開始前の遮光状態で取得された画像データは暗時画像データ＿１と称し、撮影終了後の遮光状態で取得された画像データは暗時画像データ＿２と称す。

イメージセンサ４は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の撮像素子を含み、レンズ２により結像された被写体の光学像を画素毎に電気信号に変換し、画像データを、画像処理部１０およびバス３１に出力する。バス３１は、各ブロック間で信号の送受信を行うための信号線である。メカシャッタ３およびイメージセンサ４は、第１画像データ（第１画像データはイメージセンサから読み出された画像データを基に最初に生成された画像データ）を取得する前および最後に取得した第２画像データ（第２画像データは第１画像データを生成した後、イメージセンサから読み出された画像データを基に生成された画像データ）の後に、イメージセンサの撮像面に入射する光線を遮光した状態で暗時画像データを取得する暗時画像データ撮像部として機能する。

画像処理部１０は、イメージセンサ４から出力された画像データに画像処理を施す。この画像処理部１０は、画像合成部１１、ＦＰＮキャンセル処理部１２、現像処理部１３を有する。

画像合成部１１は、比較明合成部１１ａ、比較暗合成部１１ｂおよび平均合成部１１ｃを有し、イメージセンサ４から連続的に読み出された画像や内部メモリ３３に保存された画像データの内、それぞれ対応する画素毎に出力を比較しまたは平均し、画素毎に比較明合成処理または比較暗合成処理または平均合成処理によって合成画像を生成する。

また、画像合成部１１は、第１画像データを取得する前および最後に取得した第２画像データの後に取得した２コマの暗時画像データ（暗時画像データ＿１と暗時画像データ＿２）を用いて、同様の合成画像を生成する。すなわち、画像合成部１１は、第１および第２の暗時画像データを比較した比較結果、または平均演算結果に基づいて合成処理を行って暗時補正画像データを生成する補正画像データ生成部として機能する（例えば、図３のＳ４１〜Ｓ４５参照）。

比較明合成部１１ａは、以下のような比較明合成処理を行う。最初にイメージセンサ４から読み出された画像データを基に生成された画像データを構成する画素データが累積比較明合成画像データとして内部メモリ３３に記憶されている。次に、イメージセンサ４から画像データが読み出されると、比較明合成部１１ａは、読み出された画像データを基に生成された画像データを構成する画素データと、内部メモリ３３に記憶されている累積比較明合成画像データを構成する複数の画素データについて、それぞれ対応する画素データを比較する。そして、それぞれ対応する画素データを比較した結果に応じて、いずれか大きい方、すなわち明るい方の画素データを検出し、この明るい方の画素データを用いて、累積比較明合成画像データを再構成する。この処理をイメージセンサから画像データが読み出されるたびに繰り返し行う。なお、例えば、天体写真を撮影した場合に比較明合成処理を行うと、夜空の星の光跡の画像を得ることができる。

また、比較明合成処理部１１ａは、第１画像データを取得する前および最後に取得した第２画像データの後に取得した２コマの暗時画像データに対して同様に比較明合成画像データを生成し、後述するＦＰＮキャンセルに使用する。

比較暗合成部１１ｂは、以下のような比較暗合成処理を行う。最初にイメージセンサ４から読み出された画像データを基に生成された画像データを構成する画素データを累積比較暗合成画像データとして内部メモリ３３に記憶されている。次にイメージセンサ４から画像データが読み出されると、比較暗合成部１１ｂは、読み出された画像データを基に生成された画像データを構成する画素データと、内部メモリ３３に記憶されている累積比較暗合成画像データを構成する複数の画素データについて、それぞれ対応する画素データを比較する。そして、それぞれ対応する画素データを比較した結果、いずれか小さい方、すなわち暗い方の画素データを検出し、この暗い方の画素データを用いて、累積比較暗合成画像データを再構成する。なお、例えば、天体写真を撮影した場合に比較暗合成処理を行うと、夜空の星の光跡を消去し、背景の画像を得ることができる。

また、比較暗合成部１１ｂは、第１画像データを取得する前および最後に取得した第２画像データの後に取得した２コマの暗時画像データに対して同様に比較暗合成画像データを生成し、後述するＦＰＮキャンセルに使用する。

平均合成部１１ｃは、以下のような合成処理を行う。最初にイメージセンサ４から読み出された画像データを基に生成された画像データを構成する画素データを累積平均合成画像データとして内部メモリ３３に記憶されている。次にイメージセンサ４から画像データが読み出されると、平均合成部１１ｃは、読み出された画像データを基に生成された画像データを構成する画素データと、内部メモリ３３に記憶されている累積平均合成画像データを構成する複数の画素データについて、それぞれ対応する画素データを比較する。そして、それぞれ対応する画素データを平均した画素データを用いて、累積平均合成画像データを再構成する。なお、例えば、天体写真を撮影した場合に平均合成処理を行うと、ランダムノイズが平均されることで軽減され、低ノイズで高画質な画像を得ることができる。

また、平均合成部１１ｃは、第１画像データを取得する前および最後に取得した第２画像データの後に取得した２コマの暗時画像データに対して同様に平均合成画像データを生成し、後述するＦＰＮキャンセルに使用する。

ＦＰＮキャンセル処理部１２は、明時撮影画像（メカシャッタが開かれている際に撮影された撮影画像）と暗時撮影画像（メカシャッタが閉じられている際に撮影され、暗時画像データを取得するための画像）の画素データ毎の出力の減算処理を行い、固定パターンノイズを補正する。ＦＰＮキャンセル処理部１２は、暗時補正画像データを用いて累積合成画像データ中の固定パターンノイズを補正する補正部として機能する（例えば、図３のＳ４７参照）。

ＦＰＮキャンセル処理部１２は、暗時画像データを用いて累積比較明合成画像データ中の固定パターンノイズを補正する補正部として機能する。この補正部は、第１画像データを取得する前に取得した暗時画像データと最後に取得した第２画像データの後に取得した暗時画像データを比較明合成した画像データを用いて累積比較明合成画像データ中の固定パターンノイズを補正する。

またＦＰＮキャンセル処理部１２は、暗時画像データを用いて累積比較暗合成画像データ中の固定パターンノイズを補正する補正部として機能する。この補正部は、第１画像データを取得する前に取得した暗時画像データと最後に取得した第２画像データの後に取得した暗時画像データを比較暗合成した画像データを用いて累積比較暗合成画像データ中の固定パターンノイズを補正する。

さらにＦＰＮキャンセル処理部１２は、暗時画像データを用いて累積平均合成画像データ中の固定パターンノイズを補正する補正部として機能する。この補正部は、第１画像データを取得する前に取得した暗時画像データと最後に取得した第２画像データの後に取得した暗時画像データを平均合成した画像データを用いて累積平均合成画像データ中の固定パターンノイズを補正する。

現像処理部１３は、画像合成部１１で生成されたＲＡＷ画像データに対して、デモザイキング、ホワイトバランス調整、ガンマ補正、画像圧縮などの現像処理を行う。

バス３１には、前述の画像処理部１０の他、内部メモリ３３、外部メモリ３６、表示部３７、入力ＩＦ（インターフェース：Interface）３８、システム制御部２０が接続されている。

内部メモリ３３は、カメラ動作に必要な各種設定情報や、画像処理時に途中経過の画像データを一時的に記憶する。内部メモリ３３は、フラッシュメモリ、ＳＤＲＡＭ等の不揮発性や揮発性のメモリによって構成される。

外部メモリ３６は、カメラ本体に装填自在、または内部に固定された不揮発性の記憶媒体であり、例えば、ＳＤカードやＣＦカード等である。この外部メモリは、現像処理部１３で現像処理された画像データを記録し、また再生時には、記録された画像データが読み出され、カメラの外部に出力可能である。外部メモリ３６は、累積合成画像データを記憶する記憶部として機能する。

表示部３７は、ＴＦＴ（Thin Film Transistor）液晶や有機ＥＬなどの背面表示部やＥＶＦ（電子ビューファインダ）を有し、現像処理部によって現像された画像を表示する。表示部３７は、表示画像を表示出力する表示部として機能する。

入力ＩＦ３８は、レリーズ釦等の操作部材や、背面表示部等におけるタッチ操作を入力するためのタッチパネル等を有し、ユーザ操作に基づいて各種のモード設定やレリーズ等撮影動作の指示を行う。入力ＩＦ３８は、撮像装置の撮影開始および終了を操作指示する操作指示部として機能する。

システム制御部２０は、ＣＰＵ（Central Processing Unit）を有し、内部メモリ３３内に記憶されたプログラムに従ってカメラの各部を制御することにより全体制御を行う。

また、システム制御部２０は、イメージセンサ４から読み出された画像データを基に最初に生成された第１画像データを累積合成画像データとして記憶し（図２のＳ１７参照）、つぎにイメージセンサ４から読み出された画像データを基に生成された第２画像データを構成する複数の画素データと、累積合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較した比較結果、または平均演算結果に基づいて合成処理した画素データを新たな画素データとして上記累積合成画像データを再構成する合成処理（図２のＳ２１参照）を、イメージセンサ４から読み出された画像データを基に生成された２コマ目以降の上記第２画像データに対して順次に繰り返し行う制御を行う。

また、システム制御部２０は、前述の比較明合成処理の全体制御を行う。この比較明合成処理では、イメージセンサから読み出された画像データを基に最初に生成された第１画像データを累積比較明合成画像データとして記憶し、つぎにイメージセンサから読み出された画像データを基に生成された第２画像データを構成する複数の画素データと累積比較明合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較していずれか大きい方の画素データを新たな画素データとして累積比較明合成画像データを再構成する比較明合成処理を、撮像素子から読み出された画像データを基に生成された２コマ目以降の第２画像データに対して順次に繰り返し行う。

また同様に、システム制御部２０は、前述の比較暗合成処理の全体制御を行う。この比較暗合成処理では、イメージセンサから読み出された画像データを基に最初に生成された第１画像データを累積比較暗合成画像データとして記憶し、つぎにイメージセンサから読み出された画像データを基に生成された第２画像データを構成する複数の画素データと累積比較暗合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較していずれか小さい方の画素データを新たな画素データとして累積比較暗合成画像データを再構成する比較暗合成処理を、撮像素子から読み出された画像データを基に生成される２コマ目以降の第２画像データに対して順次に繰り返し行う。

さらに、システム制御部２０は、前述の平均合成処理の全体制御を行う。この平均成処理では、イメージセンサから読み出された画像データを基に最初に生成された第１画像データを累積平均合成画像データとして記憶し、つぎにイメージセンサから読み出された画像データを基に生成された第２画像データを構成する複数の画素データと累積平均合成画像データを構成する複数の画素データのそれぞれ対応する画素データを平均して新たな画素データとして累積平均合成画像データを再構成する平均合成処理を、撮像素子から読み出された画像データを基に生成される２コマ目以降の第２画像データに対して順次に繰り返し行う。

さらに、システム制御部２０は、合成処理が行う合成処理内容を選択する合成処理選択部として機能する（例えば、図２のＳ２１における合成処理）。補正画像データ生成部として機能する画像合成部１１は、合成処理選択部によって選択された合成処理内容に対応した合成処理を行って暗時補正画像データを生成する（例えば、図３のＳ３９〜Ｓ４５参照）。

次に、図１に示したカメラの動作の概要を述べる。システム制御部２０による制御に基づいて、レンズ２を構成するフォーカスレンズの調整が行われ、絞りが所定値に設定され、メカシャッタ３が開いて、イメージセンサ４により光学像が電気信号に変換される。イメージセンサ４から読み出された画像データは、画像処理部１１において所定の画像処理が施され、外部メモリ３６に記録される。また画像処理部１０で所定の画像処理が施された画像データはリサイズされたのち表示部３７において表示される。

システム制御部２０は、入力ＩＦ３８を介してユーザからの指示を受け、イメージセンサ４の露出開始、信号読出等のタイミング制御、メカシャッタ３の開閉タイミング制御、レンズの絞り制御やオートフォーカス制御を行う。また、システム制御部２０は、画像処理部から画像データを受け取り、表示部３７による画像表示や、外部メモリ３６に画像データの保存等の制御を行う。

次に、図２および図３に示すフローチャートを用いて、本実施形態に係るカメラの処理の流れを説明する。このフローチャートは、内部メモリ３３に記憶されたプログラムに従って、システム制御部２０が各部を制御することにより実行する。

このフローチャートでは、ユーザが入力ＩＦによりバルブ撮影モードを選択し、かつバルブ撮影モード中の合成モードを選択している場合のシーケンスを図示している。バルブ撮影モードであっても、露光中の経過表示を行わない通常のバルブ撮影や、露光中の経過表示を加算画像で行う加算合成表示モードについては省略し、連続的に読み出した画像データを比較合成または平均合成しては順次、撮影経過として表示する経過表示動作について説明する。

合成方法には、比較明合成と比較暗合成または平均合成がある。ユーザの撮影意図に応じて選択できるようにする。カメラの内部処理としては、比較明合成と比較暗合成、平均合成を並列して同時に行っても構わない。なお、比較明合成モードが設定されると、露光時間によらず背景の明るさは一定で、露光時間に応じて光跡の長さを調整可能であり、また、比較暗合成モードが設定されると、移動する光跡は消去され、背景画像のみとなる。平均合成においてはランダムノイズを平均化により低減し、画質を向上する効果がある。

図２に示すフローに入ると、まず、ライブビュー表示を行う（Ｓ１）。このステップでは、メカシャッタ３を開放状態とし、イメージセンサ４から所定のフレームレートで読み出された画像データに基づいて、表示部３７にライブビュー表示を行う。ライブビュー表示がなされると、ユーザはライブビュー画像（または光学ファインダによる被写体像）を確認し、撮影したい被写体を撮影できるように、カメラの向きやレンズの焦点距離（ズーム）やピントを調節する。また、必要に応じて、ユーザは操作釦やタッチパネル等、入力ＩＦ部３８を介して、経過表示モード、比較明合成モード、比較暗合成モード、平均合成モード等の設定を行うことができる。

ライブビュー表示を行うと、次に１ｓｔレリーズがなされた場合の処理を行う（Ｓ３）。ここでは、システム制御部２０は、レリーズ釦の半押しにオンとなる１ｓｔレリーズスイッチを判定し、オンであれば、ＡＦ（自動焦点制御）、ＡＥ（自動露出制御）を行う。ＡＦは、イメージセンサから繰り返し読み出される画像信号に基づくコントラスト信号が最大値になるように、レンズ２中のフォーカスレンズの駆動制御を行い、ピントを合わせる。またＡＥは、絞り値、ＩＳＯ感度、露光時間Ｔをイメージセンサンから繰り返し読み出される画像信号の出力が適正露出になるように自動制御する。カメラの設定によっては、ＡＦ、ＡＥの機能の両方または片方をオフとし、ユーザが手動で入力ＩＦ等を介してフォーカスレンズの位置（ピント調節）、絞り値、ＩＳＯ感度、露出時間Ｔ等を設定するようにしてもよい。

１ｓｔレリーズ処理を行うと、次に、２ｎｄレリーズがオンか否かを判定する（Ｓ５）。構図やピントが合うと撮影を開始するために、ユーザはレリーズ釦を押圧するので、このステップでは、レリーズ釦に連動する２ｎｄレリーズスイッチがオンとなったか否かを判定する。この判定の結果、オンでなかった場合には、ステップＳ１に戻り、ライブビュー表示を繰り返し行い、２ｎｄレリーズスイッチがオンになるまで、１ｓｔレリーズスイッチがオンになるたびにＡＦ、ＡＥ動作を行う。

ステップＳ５における判定の結果、２ｎｄレリーズスイッチがオンになると、ステップＳ７以下において、バルブ撮影を開始する。まず、暗時画像_１撮影を行う（Ｓ７）。ここでは、システム制御部２０は、メカシャッタ３を閉じ、遮光状態で露光時間Ｔの間でイメージセンサ４から取得される暗時画像_１を撮影する。

暗時画像_１の撮影を行うと、次に、暗時画像_１の画像データを内部メモリに保存する（Ｓ９）。ここでは、ステップＳ７において撮影した暗時画像_１の画像データをイメージセンサ４から読み出し、内部メモリ３３に保存する。この保存された暗時画像データは、後にＦＰＮ処理に使用される（Ｓ２５、Ｓ３９−Ｓ４７参照）。

暗時画像_１の画像データを内部メモリに保存すると、次に、露出を開始する（Ｓ１１）。ここでは、システム制御部２０は、メカシャッタ３を開き、イメージセンサ４は１コマ目の露光を開始し、また露出時間を計測するためのタイマをリセットし計時動作を開始する。

露出を開始すると、次に、露出時間Ｔが経過したか否かを判定する（Ｓ１３）。露出時間Ｔは、ユーザが事前に手動で設定、またはＡＥ機能で自動設定され、イメージセンサの画像読み出し周期（露出時間）である。１コマ目の場合には、ステップＳ１１において計時動作を開始したタイマの経過時間に基づいて判定し、２コマ目以降は後述するステップＳ１５において計時動作を開始したタイマの経過時間に基づいて判定する。この判定の結果、露出時間Ｔが経過していない場合には、露出を続行しながら、露出時間Ｔが経過するのを待つ。

ステップＳ１３における判定の結果、露出時間Ｔが経過すると、画像信号を読み出し、また露出を再開する（Ｓ１５）。ここでは、システム制御部２０は、イメージセンサ４から画像信号を読み出し、画像信号の読み出し終了後に、露出を再開する。この露出の再開にあたっては、メカシャッタ３は開いたままで、イメージセンサ４の電子シャッタ制御によって、画像信号の蓄積を再開する。また、露出時間を計時するためのタイマをリセットし、計時動作を再開する。

また、ステップＳ１５において、画像信号の読み出しを行うと、次に、内部メモリに保存する（Ｓ１７）。このステップでは、イメージセンサ４から読み出された画像信号を、デジタルの画像データとして内部メモリ３３に記憶する。内部メモリ３３への画像データの記録と同時に読み出しが完了すると、間をおかずに次のコマの露出を開始している。このため、連続して取り込む画像同士の露光抜けを最小限に抑えることができ、最終的に合成される画像の光跡が途切れることを最小限にすることができる。デジタルカメラのイメージセンサとして一般的に用いられるＣＭＯＳイメージセンサでは、１ライン毎に読み出し、露光開始を順次制御することができるため、連続するコマとコマの間の露光抜けの時間は１ラインの読み出し時間程度となる。この時間は、数１０〜１００μ秒程度と非常に短いため、光跡が途切れた画像として視認されることはない。

ステップＳ１７において画像信号を内部メモリに保存すると、次に、１コマ目の処理か否かを判定する（Ｓ１９）。比較合成処理または平均合成処理は、２コマ目の画像データを取得してから行うことから、このステップでは、１コマ目の画像データの取得時か、２コマ目以降の画像データ取得時かの判定を行う。ステップＳ１９における判定の結果、１コマ目の処理の場合には、ステップＳ２３に進み、合成処理は行わない。

ステップＳ１９における判定の結果、１コマ目処理でなかった場合（すなわち、２コマ目以降の処理の場合）には、次に、合成画像と読み出し画像から合成を行う（Ｓ２１）。ここでは、比較明合成処理および比較暗合成処理および平均合成処理（いずれか一方のみ、または２つでもよい）を、ユーザの設定に従って行う。いま、２コマ目の画像データが読み出された直後とすると、内部メモリ３３には、１コマ目と２コマ目の画像データが一時記憶されている。

比較明合成処理が設定されている場合には、システム制御部２０は、内部メモリ３３に一時記憶された１コマ目と２コマ目の読み出し画像データを用いて、２枚の画像の同じアドレスの画素出力同士を比較し、大きい方の画素データを合成後の画像の画素データとして選択し、比較明合成画像データ（累積比較明合成画像データ）とする。また、比較暗合成処理が設定されている場合には、２枚の画像の同じアドレスの画素出力同士を比較し、小さい方の画素データを合成後の画像の画素データとして選択し、比較暗合成画像データ（累積比較暗合成画像データ）とする。

さらに、平均合成処理が設定されている場合には、システム制御部２０は、２枚の画像の同じアドレスの画素出力同士を平均して合成後の画像の画素データとして平均合成画像データ（累積平均合成画像データ）とする。

ステップＳ２１において、３コマ目以降を処理する場合には、同様に、イメージセンサから読み出された画像データと、内部メモリに保存されたそれまでの累積合成画像データ（それぞれ、累積比較明合成画像データ、累積比較暗合成画像データ、累積平均合成画像データのどれか１つ）を用いて、比較明合成処理・比較暗合成処理・平均合成処理を行う。比較合成処理、平均処理の詳細については後述する。

ステップＳ２１において比較合成処理・平均合成処理を行うと、次に、内部メモリに保存を行う（Ｓ２３）。ここでは、１コマ目の場合には、ステップＳ１５で読み出した画像信号を保存し、２コマ目以降の場合には、ステップＳ２１において比較合成処理・平均合成処理を行った合成画像の画像データを保存する。

内部メモリに保存すると、次に、ＦＰＮ処理を行う（Ｓ２５）。ここでは、ＦＰＮキャンセル処理部１２にて、内部メモリ３３に保存されている合成画像データと、ステップＳ９において取得した暗時画像_１の画像データを用いて、合成画像データを構成する複数の画素データと、暗時画像_１を構成する複数の画素データについて、それぞれ対応する画素データ差分（合成画像−暗時画像_１）を算出する。

ＦＰＮ処理を行うと、次に現像処理を行う（Ｓ２７）。ここでは、内部メモリ３３に記憶された画像データ（１コマ目の画像データ、または合成画像の画像データ）に対して、現像処理部がデモザイキング処理、γ補正処理、ノイズリダクション処理、ＹＣ信号生成処理、リサイズ処理等の現像処理を施す。リサイズ処理は、イメージセンサ４から読み出された画像信号の画素数は表示部３７の表示モニタの表示画素よりも大きいため、表示モニタの表示画素数に合わせるためである。

現像処理を行うと、次に、現像画像の表示を行う（Ｓ３１）。ここでは、ステップＳ２７において現像処理された画像データに基づく画像を、表示部３７に表示する。ステップＳ１３において、露出時間Ｔが経過するたびに、合成処理された画像が、露光経過画像として表示されるので、ユーザは長時間露光によって次第に露光が進んでいく画像を確認することができる。現像画像の表示を行う際に、ＦＰＮ処理されたＲＡＷ画像データ、現像処理画像データを途中経過の画像データとして外部メモリ３６に保存するようにしてもよい。

現像表示を行うと、次に、２ｎｄレリーズがオフか否かを検知する（Ｓ３３）。ユーザは、ステップＳ５においてレリーズ釦を押圧することによりバルブ撮影を開始した後、バルブ撮影を終了する場合には、レリーズ釦の押圧を解除する。そこで、このステップでは、レリーズスイッチがオフになったか否かを判定する。この判定の結果、オフでない場合（オンの場合）には、ステップＳ１３に戻り、ステップＳ１３においてタイマをリセットしてから時間Ｔが経過すると、ステップＳ１５〜Ｓ３３における処理を実行する。

ステップＳ３３における判定の結果、２ｎｄレリーズがオフの場合には、露出時間Ｔが経過していなくても、オフされたタイミングで露光を終了する。このため、イメージセンサから画像データの読み出しは行わず、内部メモリ３３に保存された累積合成画像データを処理する。２ｎｄレリーズスイッチがオフと判定された場合には、まず、暗時画像_２撮影を行う（Ｓ３５）。暗時画像_１と同様にシステム制御部２０は、メカシャッタ３を閉じ、遮光状態で、露光時間Ｔの間でイメージセンサ４から取得する暗時画像_２を撮影する。

暗時画像_２の撮影を行うと、次に、暗時画像_２の画像データを内部メモリに保存する（Ｓ３７）。ここでは、ステップＳ３５において撮影した暗時画像_２の画像データをイメージセンサ４から読み出し、内部メモリ３３に保存する。この保存された暗時画像データは、後にＦＰＮ処理に使用される（Ｓ３９−Ｓ４７参照）。

暗時画像＿２の画像データを内部メモリに保存すると、次に、ユーザにより設定された合成方法が比較明合成か比較暗合成か平均合成かを判別する（Ｓ３９）。比較明合成か比較暗合成か平均合成かは、ユーザが入力ＩＦ３８を介して設定するので、このステップでは設定状態に基づいて判定する。なお、比較明合成と比較暗合成と平均合成の全てまたはそのうちの２つが設定された場合には、それぞれの合成画像に対して異なる処理を施す。

ステップＳ３９における判定の結果、比較明合成が設定されていた場合には、システム制御部は、暗時画像_１と暗時画像_２を比較明合成し、暗時合成画像を合成する（Ｓ４１）。ここでは、ステップＳ７で撮影され、ステップＳ９において保存された暗時画像＿１と、ステップＳ３５で撮影され、ステップＳ３７において保存された暗時画像＿２を読み出し、対応画素同士を比較し、明るい方の画素を採用することにより、暗時画像＿１と暗時画像＿２の比較明合成を行う。

ステップＳ３９における判定の結果、比較暗合成が設定されていた場合には、システム制御部は、暗時画像_１と暗時画像_２を比較暗合成し、暗時合成画像を合成する（Ｓ４３）。ここでは、ステップＳ７で撮影され、ステップＳ９において保存された暗時画像＿１と、ステップＳ３５で撮影され、ステップＳ３７において保存された暗時画像＿２を読み出し、対応画素同士を比較し、暗い方の画素を採用することにより、暗時画像＿１と暗時画像＿２の比較暗合成を行う。

ステップＳ３９における判定の結果、平均合成が設定されていた場合には、システム制御部は、暗時画像_１と暗時画像_２の平均合成を行い、暗時合成画像を合成する（Ｓ４５）。ここでは、ステップＳ７で撮影され、ステップＳ９において保存された暗時画像＿１と、ステップＳ３５で撮影され、ステップＳ３７において保存された暗時画像＿２を読み出し、対応画素同士の平均を算出し、この平均値を採用することにより、暗時画像＿１と暗時画像＿２の平均合成を行う。

ステップＳ４１〜Ｓ４５において暗時画像合成を行うと、次に、最終合成画像から暗時合成画像を減算することによりＦＰＮ処理を行う（Ｓ４７）。比較明合成が設定されている場合には、比較明合成によって生成された最終画像から、ステップＳ４１において生成された暗時合成画像を減算する。ここで、比較明合成によって生成された最終画像は、イメージセンサ４から画像データを読み出す毎に、ステップＳ２１において比較明合成を行い、ステップＳ２３において内部メモリ３３に保存されている画像データの更新を行っていることから、この保存されている画像データを最終合成画像の画像データとして使用する。

また、比較暗合成が設定されている場合には、ステップＳ４７において、比較暗合成によって生成された最終画像から、ステップＳ４３において生成された暗時合成画像を減算する。ここで、比較暗合成によって生成された最終画像は、イメージセンサ４から画像データを読み出す毎に、ステップＳ２１において比較暗合成を行い、ステップＳ２３において内部メモリ３３に保存されている画像データの更新を行っていることから、この保存されている画像データを最終合成画像の画像データとして使用する。

また、平均合成が設定されている場合には、ステップＳ４７において、比較暗合成によって生成された最終画像から、ステップＳ４５において生成された平均合成画像を減算する。ここで、平均合成によって生成された最終画像は、イメージセンサ４から画像データを読み出す毎に、ステップＳ２１において平均合成を行い、ステップＳ２３において内部メモリ３３に保存されている画像データの更新を行っていることから、この保存されている画像データを最終合成画像の画像データとして使用する。

ステップＳ４７においてＦＰＮ処理画像を生成すると、次に、外部メモリに保存する（Ｓ４９）。ここでは、設定された合成モードで合成された画像に対して、ステップＳ４７においてＦＰＮ補正が施された画像を、外部メモリ３６に保存する。

ＦＰＮ処理された合成画像を外部メモリ３６に保存すると、次に、記録画像の画像表示を行う（Ｓ５１）。ここでは、外部メモリ３６に保存した撮影画像データに基づく画像を表示部３７に表示する。記録画像の表示を行うと、比較合成モードにおける動作を終了する。

このように、図２および図３に示すフローチャートにおいて、比較明合成を行う場合には、最初に画像データを取得する前の暗時画像データ（暗時画像_１の画像データ）と２ｎｄレリーズＯＦＦ後に取得した暗時画像データ（暗時画像_２の画像データ）を比較明合成した合成画像（暗時合成画像）を用いて、累積比較明合成画像データ中の固定パターンノイズを補正している（Ｓ４１、Ｓ４７参照）。

また、比較暗合成を行う場合には、最初に画像データを取得する前に暗時画像データ（暗時画像_１の画像データ）と２ｎｄレリーズＯＦＦ後に取得した暗時画像データ（暗時画像_２の画像データ）を比較暗合成した合成画像（暗時合成画像）を用いて、累積比較暗合成画像データ中の固定パターンノイズを補正している（Ｓ４３、Ｓ４７参照）。

また、平均合成を行う場合には、最初に画像データを取得する前に暗時画像データ（暗時画像_１の画像データ）と２ｎｄレリーズＯＦＦ後に取得した暗時画像データ（暗時画像_２の画像データ）を平均合成した合成画像（暗時合成画像）を用いて、累積平均合成画像データ中の固定パターンノイズを補正している（Ｓ４５、Ｓ４７参照）。

また、操作指示部が撮影を指示している間は、撮像装置から第１画像データまたは、第２画像データを所定の時間毎に取得して、累積合成画像データを、所定の時間周期毎に生成している（Ｓ２１）。そして、補正部（ＦＰＮキャンセル処理部１２）は、累積合成画像データに対して、第１の暗時画像データを用いて累積合成画像データ中の固定パターンノイズを補正している（Ｓ２５）。表示部３７は、補正部によって補正された画像データを表示画像として表示する（Ｓ３１）。固定パターンノイズを補正した画像が、経過画像として表示されるため、経過画像の画質が向上する。

また、操作指示部が撮影を指示している間は、撮像装置から第１画像データまたは、第２画像データを所定の時間毎に取得して、累積合成画像データを、所定の時間周期毎に生成し、補正部（ＦＰＮキャンセル処理部１２）は、累積合成画像データに対して、第１の暗時画像データを用いて上記累積合成画像データ中の固定パターンノイズを補正している（Ｓ２５）。そして、記憶部は、補正部によって補正された画像データを記憶している（Ｓ３１）。このため、撮影を終了後に経過画像を選択し、確認し、また選択した経過画像を最終画像として記録することができる。

次に、比較合成処理と平均合成処理について説明する。今、画像データの２次元のアドレスを（ｘ，ｙ）とし、Ｎ枚目（Ｎは整数）の読み出し画像をＮ（ｘ，ｙ）とする。Ｎ−１枚目までの合成画像をＮ−１＿ｃｏｍ（ｘ，ｙ）とすると、Ｎ枚目の合成画像Ｎ＿ｃｏｍ（ｘ，ｙ）は、Ｎ（ｘ，ｙ）とＮ−１＿ｃｏｍ（ｘ，ｙ）のアドレス（ｘ，ｙ）の出力データを比較したもの、または平均したものとなる。なお、ｘは１〜イメージセンサのｘ方向の画素数、ｙは１〜ｙ方向の画素数である。

このときの比較明合成は、同じアドレスの画素出力Ｎ（ｘ，ｙ）とＮ−１＿ｃｏｍ（ｘ，ｙ）の大きさを比較して、大きい方を選択し、合成画像Ｎ＿ｃｏｍ（ｘ，ｙ）の画素出力とする。なお、大きさが等しい場合には、その値を反映する。

また、比較暗合成は、同じアドレスの画素出力Ｎ（ｘ，ｙ）とＮ−１＿ｃｏｍ（ｘ，ｙ）の大きさを比較して、小さい方を選択し、合成画像Ｎ＿ｃｏｍ（ｘ，ｙ）の画素出力とする。なお、大きさが等しい場合には、その値を反映する。

また、平均合成は、同じアドレスの画素出力Ｎ（ｘ，ｙ）とＮ−１＿ｃｏｍ（ｘ，ｙ）を平均し、この平均値を合成画像Ｎ＿ｃｏｍ（ｘ，ｙ）の画素出力とする。なお、大きさが等しい場合には、その値を反映する。

次に、図４を用いて、比較合成処理について説明する。図４において、最上段はイメージセンサ（撮像素子）の動作を示し、その次段は合成処理の時間的変化を示す。この段において、「合」は比較合成処理または平均処理を示し、「−」はＦＰＮキャンセル処理を示す。画像処理の次段は表示画像の時間的変化を示し、表示画像の次段は記録画像の時間的変化を示す。

図４において、撮影を開始すると、暗時画像_１を取得し（Ｔ０、図２のＳ７）、続いて明画像_１を取得する（Ｔ１、図２のＳ１５）。ここで明画像_１は累積合成画像として内部メモリ３３に保存する。明画像_１と暗時画像_１の画像データを用いてＦＰＮ処理がなされ（Ｓ２５）、ＦＰＮ処理なされた画像データに基づいて表示画像１が表示され、また合成画像１として外部メモリ３６に保存される（図３のＳ３１）。

続いて明画像_２が取得されると（Ｔ２、図２のＳ１５）、内部メモリ３３に保存した累積合成画像（明画像_１）と合成を行う。合成された画像は累積合成画像として内部メモリ３３に保存する。暗時画像_１を用いてＦＰＮ処理がなされ（Ｓ２５）、ＦＰＮ処理なされた画像データに基づいて表示画像２が表示され、また合成画像２として外部メモリ３６に保存される（Ｓ３１）。ＦＰＮ処理を行と、暗時画像_１に含まれるランダムノイズが累積合成画像に重畳し画質が悪化するため、ＦＰＮ処理前の画像を累積合資画像として内部メモリ３３に保存することで、ＦＰＮ処理の回数を極力減らし画質を向上することができる。また、外部メモリ３６に合成画像を保存するのは、撮影中の途中経過を撮影者が保存したい場合にユーザが入力ＩＦ３８を介して設定した場合に行う。

以後、明画像が取得されるたびに（Ｔ２、Ｔ３，・・・ＴＮ）、同様の処理がなされる。この状態では、ＴＮの段階で取得した明画像_ＮとＴ０からＴＮまでの間に累積合成処理された累積合成画像とを合成して得られる累積合成画像_Ｎから、暗時画像_１によってＦＰＮ処理された画像である表示画像Ｎが表示部３７に出力されている。

Ｎ回目の明画像が取得された（ＴＮ）後に、撮影者のレリーズ操作による２ｎｄレリーズのオフ状態を検知した場合に撮影が終了する（Ｔstop）。この時（ＴＮ＋１）回目の露光では、露光が途中状態で撮影が終了しているため、イメージセンサ４から画像データの読出しは行わない。その代わりに、最後に取得された明画像_Ｎと累積合成画像を合成して、最終合成画像として内部メモリ３３に保存する。次に、メカシャッタ３を遮光状態として暗時画像_２を撮影し（ＴＮ＋１、図３のＳ３５）、暗時画像_１と暗時画像_２を合成した暗時合成画像（図３のＳ４１〜Ｓ４５）を生成する。そして、この暗時合成画像で最終合成画像をＦＰＮ処理する（図３のＳ４７）。その後ＦＰＮ処理した画像に基づいて（最終表示画像）が表示部３７に表示され、一方、同様にＦＰＮ処理した画像を記録画像として記録される（図３のＳ４９、Ｓ５１）。ここで、明時画像と同じ合成方法（比較明合成、比較暗合成、平均合成）で合成した暗時合成画像によってＦＰＮ処理を行う。

次に、図５を用いて、実際の撮影時に画像に発生する固定パターンノイズ（ＦＰＮ）について説明する。露光時間が同じ場合は、撮影時のイメージセンサ４の温度が高い方が、ＦＰＮが大きくなる。ＦＰＮには欠陥や暗時シェーディングがあり、欠陥は温度が高いほど出力が大きくなり、一方、暗時シェーディングはイメージセンサ４によって出力が大きくなるものもあれば、小さくなるものがあり、また温度によって変化しないものもあり、まちまちである。

図５（ａ）に示す例は、撮影中にイメージセンサ４の温度が低下していく場合の温度の時間変化を示す。この例では、ライブビュー動作中に、高速な読み出し処理、画像処理、表示処理に伴い、イメージセンサの温度４が十分に上昇している。イメージセンサ４の温度が十分、上昇した後に、撮影が開始されると、ライブビューのフレームレートよりも遅い周期Ｔでイメージセンサ４から読み出し処理、画像処理、表示処理が行われるため、撮影開始から徐々にイメージセンサ４の温度は低下していく。

一方、図５（ｂ）に示す例は、撮影中にイメージセンサ４の温度が上昇していく場合の温度の時間変化を示す。この例では、カメラの電源を立ち上げて直ぐに撮影した場合や、露光時間Ｔの周期をライブビューのフレームレートよりも高速に処理する場合等、カメラ自体の放熱効果が低い場合である。この場合には、撮影開始から徐々にイメージセンサの温度は上昇していく。

イメージセンサ４の温度が上昇する場合でも低下する場合も、外部環境温度の急激な変化がなければ、撮影の開始または終了時のどちらかがイメージセンサ４の温度が最大または最小となる。そこで、本実施形態においては、撮影の開始時と終了時に取得した２つの暗時画像を用いてＦＰＮ処理を行うようにしている。

次に、図６（ａ）および図７（ａ）を用いて、イメージセンサ４内での固定パターンノイズ（ＦＰＮ）の分布について説明する。

図６（ａ）および図７（ａ）は、イメージセンサ４の画素位置毎のＦＰＮ出力変化を模式的に示したものである。図６（ａ）は、高温ほど、画素欠陥に基づくＦＰＮ出力が大きくなり、一方、暗時シェーディングに基づくＦＰＮ出力が小さくなる場合を示す。この例では、実線は高温時のＦＰＮ出力を、破線は低温時のＦＰＮ出力を示し、イメージセンサ４の中央部付近でシェーディングに基づくＦＰＮ出力は小さくなり、周辺ほどＦＰＮ出力は大きくなる。また、画素位置Ｌ１、Ｌ２、Ｌ３において、画素欠陥に基づくＦＰＮ出力が大きくなっている。

また、図７（ａ）に示すイメージセンサ４は、高温ほど、画素欠陥に基づくＦＰＮ出力が大きくなり（この点は、図６（ａ）の場合と同じ）、一方、暗時シェーディングに基づくＦＰＮ出力が大きくなる場合を示す。この例でも、実線は高温時のＦＰＮ出力を、破線は低温時のＦＰＮ出力を示し、イメージセンサ４の中央部付近でシェーディングに基づくＦＰＮ出力は大きくなり、周辺でＦＰＮ出力は小さくなる。また、画素位置Ｌ１１、Ｌ１２、Ｌ１３において、画素欠陥に基づくＦＰＮ出力が大きくなっている。図７（ａ）の例では、暗時シェーディングの温度変化の方向が、図６（ａ）の場合とは逆である。

次に、合成処理毎に、ＦＰＮ処理によって固定ノイズパターン（ＦＰＮ）の除去について説明する。

まず、合成処理として、比較明合成を行う場合について説明する。比較明合成では、画素出力が大きい画素の出力が明合成処理の結果、画素出力として反映される。このため、比較合成する画像同士の露出（被写体の明るさ）が等しい場合は、ＦＰＮが一番大きい（ノイズの大きい）明時画像のＦＰＮが最終合成画素に反映される。つまり、明画像_１から明画像_Ｎを比較明合成していくと、画素欠陥は温度の一番高い明画像のＦＰＮ（固定パターンノイズ）が、また暗時シェーディングは温度が一番高いものまたは一番低いときに撮影した明画像のＦＰＮが合成画像に反映される。高いものか低いものかはイメージセンサのシェーディング特性に依存する。撮影の開始または終了時のどちらかがイメージセンサの温度が最大または最小となるので、最初と最後に撮影した明時画像のＦＰＮ（欠陥、暗時シェーディング）の大きい方が最終合成画素に反映される。

よって、最初に撮影した明時画像とほぼ同じ温度で撮影した暗時画像_１と、最後に撮影した明時画像とほぼ同じ温度で撮影した暗時画像_２を比較明合成することによって、最終合成画像同様に暗時合成画像には、欠陥、暗時シェーディングそれぞれの大きい方が反映されるため、ＦＰＮを最適に補正することができる（図６（ｂ）および図７（ｂ）における太線参照）。

一方、比較暗合成では、画素出力が小さい画素の出力が暗合成処理の結果、画素出力として反映されるため、比較合成する画像同士の露出（被写体の明るさ）が等しい場合は、ＦＰＮが一番小さい（ノイズの小さい）明時画像のＦＰＮが最終合成画素に反映される。つまり、明画像_１から明画像_Ｎを比較暗合成していくと、欠陥は温度の一番低い明画像のＦＰＮ（固定パターンノイズ）が、暗時シェーディングは温度が一番高いものまたは一番低いときに撮影した明画像のＦＰＮが合成画像に反映される。高いものか低いものかはイメージセンサのシェーディング特性に依存する。撮影の開始時または終了時のどちらかがイメージセンサの温度が最大または最小となるので、最初と最後に撮影した明時画像のＦＰＮ（欠陥、暗時シェーディング）の小さい方が最終合成画素に反映される。

よって、最初に撮影した明時画像とほぼ同じ温度で撮影した暗時画像_１と、最後に撮影した明時画像とほぼ同じ温度で撮影した暗時画像_２を比較暗合成することによって、最終合成画像同様に暗時合成画像には、欠陥、暗時シェーディングそれぞれの小さい方が反映されるため、ＦＰＮを最適に補正することができる（図６（ｃ）、図７（ｃ）における太線参照）

また、平均合成では、画素出力が平均処理されたものが、画素出力として反映される。このため、平均合成する画像同士の露出（被写体の明るさ）が等しい場合は、各明時画像に含まれるＦＰＮの平均値が最終合成画素に反映される。つまり、明画像_１から明画像_Ｎを平均合成していくと、欠陥および暗時シェーディングはＮコマの明画像のＦＰＮの平均値が合成画像に反映される。撮影の開始時または終了時のどちらかがイメージセンサ４の温度が最大または最小となる場合を想定すると、暗時画像_１または暗時画像_２のどちらか一方でＦＰＮキャンセルを行うよりも、暗時画像_１と暗時画像_２を平均合成した暗時合成画像の方が最終合成画像同様と近いＦＰＮを含んでいるため、ＦＰＮを効果的に補正することができる。

以上、説明したように、本発明の一実施形態においては、バルブ撮影等の長時間露光を行うにあたって、シャッタを開いて明画像を取得する前に、シャッタを遮光した状態で暗時画像_１を取得し、また長時間露光が終了した後に、シャッタを遮光した状態で暗時画像_２を取得している。そして、比較明合成処理を行う場合には、暗時画像_１と暗時画像_２とを比較明合成した画像を用いてＦＰＮ処理を行い、一方、比較暗合成処理を行う場合には、暗時画像_１と暗時画像_２とを比較暗合成した画像を用いてＦＰＮ処理を行っている。また、平均合成処理を行う場合には、暗時画像_１と暗時画像_２とを平均合成した画像を用いてＦＰＮ処理を行っている。このため、ＦＰＮキャンセルの補正効果が高くなるように補正を行うことができ、画質を向上させることができる。

また、本発明の一実施形態に係るカメラ（撮像装置）は、補正部（例えば、ＦＰＮキャンセル処理部１２）は、第１画像データを取得する前に取得した暗時画像データ（暗時画像_１）を用いて累積比較合成画像データ中の固定パターンノイズを補正し（図２のＳ２５）、撮像装置は固定パターンノイズが補正された累積比較合成画像データまたは累積平均合成画像データによって表わされる画像を表示する（図３のＳ３１）。このため、合成途中の画像を順次露光経過としてライブビュー表示を行なう場合でも、合成途中の画像を途中経過画像として保存する場合にも、ライブビュー画像、途中経過画像の固定パターンノイズを補正することができる。すなわち、明時画像撮影前に撮影した暗時画像を用いて合成途中の画像についてもＦＰＮキャンセルを行うことで、ライブビュー表示や途中経過の記録画像の画質も向上することができる。

なお、本発明の一実施形態においては、レリーズ釦を押圧することにより撮影を開始し、押圧を解除することにより撮影を停止していたが、これに限らず、レリーズ釦を押圧することにより撮影を開始し、一旦撮影を開始後に押圧を解除しても撮影が続行され、再度、レリーズ釦を押圧すると撮影を停止するようにしても勿論かまわない。

また、本発明の一実施形態においては、比較明合成、比較暗合成、平均合成が設定可能であったが、これに限らず、いずれか１つ又は２つのみでもよく、またバルブ撮影時の途中経過表示は比較明のみ、比較暗のみまたは平均でもよく、また単純に加算画像を表示するようにしてもよい。

また、本発明の一実施形態においては、イメージセンサ４から画像読み出される毎に、合成された画像を外部メモリ３６に記憶していたが（Ｓ３１）、これに限らず、内部メモリ３３に記憶するだけでもよい。この場合には、経過画像を撮影終了後に確認することができない。

また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォンや携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、長時間露光が可能な撮影のための機器であれば、本発明を適用することができる。

また、本発明の一実施形態においては、撮影のための機器に本発明を適用した例を説明した。しかし、これに限らず、撮像装置において撮影開始から終了までの間に複数の明時画像の画像データと、撮影前と撮影終了時の暗時画像の画像データを取得しておき、この複数の画像データに対して、図２、図３に示したような画像処理を施すようにしても勿論かまわない。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・撮像部、２・・・レンズ（絞り）、３・・・メカシャッタ、４・・・イメージセンサ、１０・・・画像処理部、１１・・・画像合成部、１１ａ・・・比較明合成部、１１ｂ・・・比較暗合成部、１１ｃ・・・平均合成部１２・・・ＦＰＮキャンセル処理部、１３・・・現像処理部、３１・・・バス、３３・・・内部メモリ、３６・・・外部メモリ、３７・・・表示部、３８・・・入力ＩＦ、５０・・・イメージセンサ、５１・・・有効画素、５３・・・水平ＯＢ画素、５４・・・垂直ＯＢ画素

Claims (7)

1. 撮像素子から読み出された画像データを基に最初に生成された第１画像データを累積合成画像データとして記憶し、つぎに上記撮像素子から読み出された画像データを基に生成された第２画像データを構成する複数の画素データと、上記累積合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較した比較結果、または平均演算結果に基づいて合成処理した画素データを新たな画素データとして上記累積合成画像データを再構成する合成処理を、上記撮像素子から読み出された画像データを基に生成された２コマ目以降の上記第２画像データに対して順次に繰り返し行う撮像装置において、
   上記第１画像データを取得する前に、上記撮像素子の撮像面に入射する光線を遮光した状態で撮影して得る第１の暗時画像データと、最後に取得した上記第２画像データの後に上記撮像素子の撮像面に入射する光線を遮光した状態で撮影して得る第２の暗時画像データを取得する暗時画像データ撮像部と、
   上記第１および第２の暗時画像データを比較した比較結果、または平均演算結果に基づいて合成処理を行って暗時補正画像データを生成する補正画像データ生成部と、
   上記暗時補正画像データを用いて上記累積合成画像データ中の固定パターンノイズを補正する補正部と、
   上記合成処理が行う合成処理内容を選択する合成処理選択部と、
   を備え、
   上記補正画像データ生成部は、上記合成処理選択部によって選択された合成処理内容に対応した合成処理を行って暗時補正画像データを生成することを特徴とする撮像装置。
2. 上記合成処理は、比較明合成処理、比較暗合成処理および平均合成処理の少なくとも１つを含むものであり、
   上記補正画像データ生成部は、
   上記合成処理が、比較明合成処理である場合は、上記暗時補正画像データは、上記第１の暗時画像データと、上記第２の暗時画像データとを比較明合成処理によって合成処理を行って生成し、
   上記合成処理が、比較暗合成処理である場合は、上記暗時補正画像データは、上記第１の暗時画像データと、上記第２の暗時画像データとを比較暗合成処理によって合成処理を行って生成し、
   上記合成処理が、平均合成処理である場合は、上記暗時補正画像データは、上記第１の暗時画像データと、上記第２の暗時画像データとを平均合成処理によって合成処理を行って生成して取得する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 上記撮像装置の撮影開始および終了を操作指示する操作指示部と、
   表示画像を表示出力する表示部と、
   をさらに有し、
   上記操作指示部が撮影を指示している間は、当該撮像装置から上記第１画像データまたは、上記第２画像データを所定の時間毎に取得して、上記累積合成画像データを、上記所定の時間周期毎に生成し、
   上記補正部は、上記累積合成画像データに対して、上記第１の暗時画像データを用いて上記累積合成画像データ中の固定パターンノイズを補正し、
   上記表示部は、上記補正部によって補正された画像データを上記表示画像として表示出力をする、
   ことを特徴とする請求項１または２に記載の撮像装置
4. 上記撮像装置の撮影開始および終了を操作指示する操作指示部と、
   上記累積合成画像データを記憶する記憶部と、
   をさらに有し、
   上記操作指示部が撮影を指示している間は、当該撮像装置から上記第１画像データまたは、上記第２画像データを所定の時間毎に取得して、上記累積合成画像データを、上記所定の時間周期毎に生成し、
   上記補正部は、上記累積合成画像データに対して、上記第１の暗時画像データを用いて上記累積合成画像データ中の固定パターンノイズを補正し、
   上記記憶部は、上記補正部によって補正された画像データを記憶する、
   ことを特徴とする請求項１または２に記載の撮像装置
5. 撮像装置により撮影前後に遮光状態で撮像素子から読み出された第１および第２の暗時画像データと、上記撮像装置が撮影中に繰り返し読み出された複数の画像データを用いて画像合成処理を行って累積合成画像データを生成する画像処理装置であって、
   上記複数の画像データの内、上記撮像素子から読み出された画像データを基に最初に、生成された第１画像データを累積合成画像データとして記憶する記録部と、
   上記撮像素子から次に読み出された画像データを基に生成された第２画像データを構成する複数の画素データと、上記累積合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較した比較結果、または平均演算結果に基づいて合成処理した画素データを新たな画素データとして上記累積合成画像データを再構成する合成処理を、上記撮像素子から読み出された画像データを基に生成された２コマ目以降の上記第２画像データに対して順次に繰り返し行う画像合成処理部と、
   上記第１、および第２の暗時画像データを比較した結果、または平均演算結果に基づいて合成処理を行って暗時補正画像データを生成する補正画像データ生成部と、
   上記暗時補正画像データ用いて上記累積合成画像データ中の固定パターンノイズを補正する補正部と、
   上記合成処理が行う合成処理内容を選択する合成処理選択部と、
   を備え、
   上記補正画像データ生成部は、上記合成処理選択部によって選択された合成処理内容に対応した合成処理を行って暗時補正画像データを生成することを特徴とする画像処理装置。
6. 撮像素子から読み出された画像データを基に最初に生成された第１画像データを累積合成画像データとして記憶し、つぎに上記撮像素子から読み出された画像データを基に生成された第２画像データを構成する複数の画素データと、上記累積合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較した比較結果、または平均演算結果に基づいて合成処理した画素データを新たな画素データとして上記累積合成画像データを再構成する合成処理を、上記撮像素子から読み出された画像データを基に生成された２コマ目以降の上記第２画像データに対して順次に繰り返し行う撮像装置での撮像方法において、
   上記第１画像データを取得する前に、上記撮像素子の撮像面に入射する光線を遮光した状態で撮影して得る第１の暗時画像データと、最後に取得した上記第２画像データの後に上記撮像素子の撮像面に入射する光線を遮光した状態で撮影して得る第２の暗時画像データを取得する暗時画像データ取得ステップと、
   上記第１、および第２の暗時画像データを比較した結果、または平均演算結果に基づいて合成処理を行って暗時補正画像データを生成する補正画像データ生成ステップと、
   上記暗時補正画像データ用いて上記累積合成画像データ中の固定パターンノイズを補正する補正ステップと、
   上記合成処理が行う合成処理内容を選択する合成処理選択ステップと、
   を備え、
   上記補正画像データ生成ステップは、上記合成処理選択ステップによって選択された合成処理内容に対応した合成処理を行って暗時補正画像データを生成することを特徴とする撮像方法。
7. 撮像装置により撮影前後に遮光状態で撮像素子から読み出された第１および第２の暗時画像データと、上記撮像装置が撮影中に繰り返し読み出された複数の画像データを用いて画像合成処理を行って累積合成画像データを生成する画像処理装置内のコンピュータを実行させるためのプログラムにおいて、
   上記複数の画像データの内、上記撮像素子から読み出された画像データを基に最初に、生成された第１画像データを累積合成画像データとして記憶する記憶ステップと、
   上記撮像素子から次に読み出された画像データを基に生成された第２画像データを構成する複数の画素データと、上記累積合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較した比較結果、または平均演算結果に基づいて合成処理した画素データを新たな画素データとして上記累積合成画像データを再構成する合成処理を、上記撮像素子から読み出された画像データを基に生成された２コマ目以降の上記第２画像データに対して順次に繰り返し行う画像合成処理ステップと、
   上記第１、および第２の暗時画像データを比較した結果、または平均演算結果に基づいて合成処理を行って暗時補正画像データを生成する補正画像データ生成ステップと、
   上記暗時補正画像データ用いて上記累積合成画像データ中の固定パターンノイズを補正する補正ステップと、
   上記合成処理が行う合成処理内容を選択する合成処理選択ステップと、
   を備え、
   上記補正画像データ生成ステップは、上記合成処理選択ステップによって選択された合成処理内容に対応した合成処理を行って暗時補正画像データを生成することを上記コンピュータに実行させることを特徴とするプログラム。

Images