JP6827854B2 - 画像処理装置及び方法、及び撮像装置 - Google Patents

Description

本発明は、画像処理装置及び方法、及び撮像装置に関し、特に、複数枚の画像を合成する画像処理装置及び方法、及び撮像装置に関する。

近年、家庭用ビデオカメラやデジタルスチルカメラなどの撮像機器が一般に普及している。これらの撮像機器は撮影画像をその場で確認できる機能を提供しており、ユーザーにとって撮影の利便性が向上している。

またコンパクトデジタルカメラの撮像素子の感度が向上し、Ｓ／Ｎ比も改善されてきていることから、星空を手軽に撮影できるモードを搭載したモデルも存在する。満点の星空を撮影するモードや、星が時間とともに移動する日周運動の軌跡を撮影するモードなどがある。

星空の軌跡を撮影するモードでは、複数回撮影を行い、撮影画像間で軌跡の途切れが発生しない比較明合成を行う手法が、特許文献１にて提案されている。

特開２０１５−２３３２３８号公報

しかしながら、特許文献１の方法で星空の軌跡を撮影すると、連続した画像を加算平均してから比較明合成を行うため、星の軌跡の明るさが暗くなってしまうという課題がある。また、特許文献１の方法で連続した画像を加算してから比較明合成を行うと、星の軌跡の明るさは変わらないが、背景が明るくなってしまうという課題があった。

本発明は上記問題点を鑑みてなされたものであり、たとえば星のような光る被写体の軌跡を撮影するモードにおいて、光の軌跡に途切れがない高画質な画像を撮影することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、連続する複数フレームの画像を取得する取得手段と、前記複数フレームの画像を比較明合成する第１の合成手段と、前記複数フレームの画像のうち、連続する２フレームずつ画像を比較暗合成し、前記比較暗合成した２フレームの前または後のフレームの画像を、前記比較暗合成した結果から減算して、減算画像を生成する第２の合成手段と、前記第２の合成手段により得られた前記減算画像を比較明合成する第３の合成手段と、前記第１の合成手段により前記複数フレーム分の画像を比較明合成して得られた第１の画像と、前記第３の合成手段により前記複数フレーム分の減算画像を比較明合成して得られた第２の画像とを加算する加算手段とを有する。

本発明によれば、光る被写体の軌跡を撮影するモードにおいて、光の軌跡に途切れがない高画質な画像を撮影することが可能となる。

本発明の実施形態における撮像装置の構成を示すブロック図。 実施形態における星空の撮影モードを選択する画面を示す図。 実施形態における星空夜景モード及び星空軌跡モードにおける撮影処理を示すフローチャート。 比較明合成により途切れが発生する原因を示した図。 実施形態における比較明合成と比較暗合成を使用した合成方法を説明する図。 実施形態における合成処理全体のデータフローを示した図。 実施形態におけるオフセット補正領域を示す図。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。本実施形態では、本発明をデジタルカメラを例に用いて説明する。

図１は、本発明の実施形態における画像処理機能を有する撮像装置の一例として、デジタルカメラの構成を示すブロック図である。

図１において、１００は撮像装置、１０は撮影レンズ、１２は絞り機能を備える機械式シャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。

タイミング発生回路１８は、撮像素子１４、Ａ／Ｄ変換器１６にクロック信号や制御信号を供給し、メモリ制御回路２２及びシステム制御回路５０により制御される。機械式シャッター１２以外にも、タイミング発生回路１８が撮像素子１４のリセットタイミングを制御することによって、電子シャッタとして、蓄積時間を制御することが可能であり、動画撮影などに使用できる。

画像処理回路２０は、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。また、画像処理回路２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行う。そして、得られた演算結果に基づいてシステム制御回路５０が露光制御部４０、焦点調節部４２に対して、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理を行っている。さらに、画像処理回路２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のオートホワイトバランス（ＡＷＢ）処理も行っている。

メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力される画像データは、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、メモリ３０に書き込まれる。

画像表示部２８は、ＴＦＴ ＬＣＤ等から成り、メモリ３０に書き込まれた表示用の画像データが画像表示部２８により表示される。画像表示部２８を用いて、撮像した画像データを逐次表示することで、電子ファインダー（ＥＶＦ）機能を実現することができる。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することができる。

メモリ３０は、撮影した静止画像や動画像を格納するために用いられ、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０は、システム制御回路５０の作業領域としても使用することが可能である。

システム制御回路５０は、撮像装置１００全体を制御する。不揮発性メモリ３１は、ＦｌａｓｈＲＯＭ等で構成され、システム制御回路５０が実行するプログラムコードは不揮発性メモリ３１に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ３１内にはシステム情報を記憶する領域や、ユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。

圧縮・伸長回路３２は、適応離散コサイン変換（ＡＤＣＴ）等、公知の圧縮方法を用いて画像データを圧縮伸長する。圧縮・伸長回路３２は、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

露光制御部４０は、絞り機能を備えるシャッター１２を制御する。露光制御部４０は、フラッシュ４８と連動することによりフラッシュ調光機能も有する。焦点調節部４２は、撮影レンズ１０のフォーカシングを制御し、ズーム制御部４４は、撮影レンズ１０のズーミングを制御する。

フラッシュ４８は、ＡＦ補助光の投光機能、フラッシュ調光機能を有する。露光制御部４０及び焦点調節部４２はＴＴＬ方式を用いて制御されている。上述の通り、Ａ／Ｄ変換器１６からの画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御部４０及び焦点調節部４２を制御する。

操作手段６０、６２、６４、６６、７０及び７２は、システム制御回路５０の各種の動作指示を入力するために用いられ、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。ここで、これらの操作手段の具体的な説明を行う。

モードダイアルスイッチ６０は、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。

シャッタースイッチＳＷ１（６２）は、不図示のシャッターボタンの操作途中でONとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理等の動作開始を指示する。

シャッタースイッチＳＷ２（６４）は、不図示のシャッターボタンの操作完了（例えば全押し）でＯＮとなり、読み出し処理、現像処理、及び記録処理からなる一連の処理の動作開始を指示する。読み出し処理では、フラッシュ撮影の場合、ＥＦ処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させ、この露光期間中に発光させて、露光期間終了と同時に露光制御部４０により遮光することで、撮像素子１４への露光を終了させる。そして、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む。そして、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理を行う。更に、メモリ３０から画像データを読み出して、圧縮・伸長回路３２で圧縮を行い、記録媒体２００に画像データを書き込む記録処理が行われる。

表示切替スイッチ６６は、画像表示部２８の表示切替をすることができる。この機能により、光学ファインダ１０４を用いて撮影を行う際に、画像表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。

操作部７０は、各種ボタン、タッチパネルや回転式ダイアル等から成り、一例として、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタンを含む。更に、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等も含む。

ズームスイッチ７２は、ユーザーが撮像画像の倍率変更指示を行うために用いられる。ズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ７２を用いることにより、ズーム制御部４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理回路２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。

サーミスタ７４は、撮像装置１００内部の温度を測定する。撮像素子１４の欠陥画素は温度による影響を受けるため、撮影時の温度により傷補正処理を変える必要がある。サーミスタ７４は、撮像装置１００内の撮像素子１４の近くに配置し、撮像素子１４自体の温度を測定する。

電源部８６は、アルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ−ｉｏｎ電池等の二次電池、ＡＣアダプター、または外部バッテリー等からなる。

インタフェース９０は、メモリカードやハードディスク等の記録媒体とのインタフェース、コネクタ９２は、メモリカードやハードディスク等の記録媒体と接続を行う。

光学ファインダ１０４は、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。

通信回路１１０は、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信等の各種通信機能を有する。１１２は、通信回路１１０により撮像装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

記録媒体２００は、メモリカードやハードディスク等の記録媒体である。この記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、撮像装置１００とのインタフェース２０４、撮像装置１００と接続を行うコネクタ２０６を備えている。

図２は、星空の撮影モードを選択する画面である。ユーザーは操作部７０を操作して、星空の撮影モードを選択することができる。撮影画像中の星を流れることなく星空を撮影したい場合は、星空夜景モードを選択し、星が移動する軌跡を撮影したい場合には、星空軌跡モードを選択することで、撮像装置１００は撮影の意図に適した処理を実行する。選択されたモードはシステム制御回路５０がメモリ３０にモード情報を書き込み、ユーザーが選択したモードを記憶させる。

また、星空軌跡モードが選択された場合には、ユーザーに撮影時間を設定させ、モード情報に関連付けてメモリ３０に書き込んでおく。星の軌跡を長く写したいときには長い撮影時間を設定し、短い軌跡を撮影したい場合は、短い撮影時間を設定する。通常１〜２時間の撮影時間が設定される場合が多い。なお、撮影時間として、予め決められたデフォルトの撮影時間や、前回の星空軌跡モードにおける撮影で用いた撮影時間を保持しておき、ユーザーが撮影時間を適宜変更できるようにしても良い。

図３（ａ）は、星空夜景モードにおける撮影処理のフローチャートである。ユーザーによるシャッタースイッチＳＷ２（６４）のＯＮ操作により撮影指示がなされたら、システム制御回路５０はメモリ３０に記憶されたモードを読み出し、指定された撮影モードの撮影処理を行う。

記憶された撮影モードが星空夜景モードであるならば、Ｓ１０１で測光結果に基づいた絞り・シャッター速度・ＩＳＯ感度を設定する。Ｓ１０２ではＳ１０１で設定された露出制御に基づき連続的に静止画の撮影を行う。Ｓ１０３では撮影された画像に対して画像処理回路２０を使用して現像処理を行い、Ｓ１０４で画像を記録媒体２００へ書き込みを行う。

図３（ｂ）は、星空軌跡モードにおける撮影処理のフローチャートである。ユーザーによるシャッタースイッチＳＷ２（６４）のＯＮ操作により撮影指示がなされたら、システム制御回路５０はメモリ３０に記憶されたモードを読み出し、指定された撮影モードの撮影処理を行う。

記憶された撮影モードが星空軌跡モードであるならば、Ｓ２０１において、予めユーザーに設定された撮影時間を設定する。

Ｓ２０２で測光結果に基づいた絞り・シャッター速度・ＩＳＯ感度を設定する。Ｓ２０３ではＳ２０２で設定された露出制御に基づき静止画の撮影を行い、Ｓ２０４で撮影画像の合成処理を行う。なお、Ｓ２０４における合成処理については、図５と図６を用いて詳細に後述する。

Ｓ２０５で、Ｓ２０１で設定された撮影時間が経過したか否かを判断し、経過していなければＳ２０３に戻って静止画撮影及び撮影画像の合成処理を繰り返す。設定された撮影時間が経過していれば、Ｓ２０６に進む。

Ｓ２０６では撮影された画像に対して画像処理回路２０を使用して現像処理を行い、Ｓ２０７において、現像した画像を記録媒体２００に書き込む。

次に、Ｓ２０４における合成処理について説明する。ここで、従来行われていた比較明合成により途切れが発生する原因について、図４を参照して説明する。

図４（ｂ）では、図４（ａ）に示すように星が一定速度で移動した場合に、長秒露光で撮影されたＮ枚目とＮ＋１枚目における星の軌跡の明るさを示している。長秒撮影したときには、星が移動しているために、軌跡の端の部分は暗い一方、軌跡の中心部は星の移動している間完全に露光されているので明るい。このような明るさのＮ枚目とＮ＋１枚目における星の軌跡を比較明合成すると、図４（ｂ）の３列目で示すような軌跡となるため、画像の途切れが目立ってしまう。

図４（ｃ）は、上述した軌跡の明るさを、画素の信号レベルで表したものである。このように、１つの軌跡が２つの画像にまたがり、１枚あたりの信号レベルは半分になってしまう。このため、比較明合成を行うと、図４（ｂ）の３列目で示すように、境界部において、本来得るはずの信号レベルよりも低い信号レベルとなってしまう。

図５は、Ｓ２０４で行われる、本実施形態における比較明合成と比較暗合成を使用した、軌跡が途切れない合成処理の方法を説明するための図であり、３枚分の星の軌跡に対応する画素の画素レベルを示している。

まず、Ｎ枚目に撮影した画像とＮ＋１枚目に撮影した画像を比較明合成すると共に、比較暗合成を行う。比較暗合成の結果から星の軌跡途切れ成分だけを抽出するために、背景分を除去する必要がある。本実施形態においては、比較暗合成の結果からＮ＋２枚目画像を用いて減算することで、星の軌跡途切れ成分だけの画像を生成する。この減算時には、０未満のレベルを０値にクリップすることで、星空軌跡の途切れ成分のみを抽出することができる。これを比較明合成の結果に加算することで、途切れの無い画像を生成することができる。

図６は、Ｓ２０４における画像合成処理のデータフローを示す図である。以下の説明において、撮影指示がなされてから撮影された１フレーム目の画像をＮｏ１画像、２フレーム目の画像をＮｏ２画像といったように記載し、図６においては、それぞれＮｏ１、Ｎｏ２の部分のみを記載している。

Ｎｏ１画像とＮｏ２画像が撮影されると、Ｎｏ１画像とＮｏ２画像の比較明合成を行って、合成画像を生成する。以下、比較明合成により生成された画像を比較明画像と呼ぶ。なお、後ろの括弧内には、合成に用いた画像のフレーム番号の範囲を記す。ここでは、まず、比較明画像（１，２）が生成される。

次に、Ｎｏ１画像とＮｏ２画像で比較暗合成を行って、合成画像を生成する。以下、比較暗合成により生成された画像を比較暗画像と呼び、ここでは、比較暗画像（１，２）が生成される。

Ｎｏ３画像が撮影されると、比較明画像（１，２）とＮｏ３画像の比較明合成を行い、比較明画像（１〜３）を生成するとともに、Ｎｏ２画像とＮｏ３画像の比較暗合成を行い、比較暗画像（２，３）を生成する。更に、比較暗画像（１，２）からＮｏ３画像を減算する。以下、減算して得られた画像を減算画像と呼び、ここでは、減算画像（１，２）が生成される。更に、比較暗画像（２，３）からＮｏ１画像を減算することで、減算画像（２，３）を生成する。そして、減算画像（１，２）と減算画像（２〜３）を比較明合成して、減算比較明画像（１〜３）を生成する。

ここで、減算画像（１，２）を得るためには、比較暗画像（１，２）からＮｏ３画像を減算している。すなわち、比較暗合成元のＮｏ１画像及びＮｏ２画像よりも後に撮影した画像を使用している。これに対し、減算画像（２，３）を得るためには、比較暗画像（２，３）からＮｏ１画像を減算している。すなわち、比較暗合成元のＮｏ２画像及びＮｏ３画像よりも前に撮影した画像を使用している。このように減算画像の生成方法を切り替える理由は次の通りである。まず、減算画像（１，２）を得るために減算処理する時は、Ｎｏ１画像とＮｏ２画像が最初の２フレームの画像であるため、これより前に撮影された画像が無く、３枚目を待ってからでなければ減算を行うことができない。一方、減算画像（２，３）以降を得るために減算処理する時は、先に撮影した画像があるため、これを利用することができるからである。また、最後に撮影するＮｏＮ画像の後は、新たに画像を撮影しないので、最終画像を撮影するよりも前に、比較暗画像から、先に撮影した画像を減算処理するように変更する必要がある。上述した例では３フレーム目で切り替えを行ったが、これ以降、最終画像を撮影するより前であれば、どのフレームで切り替えてもよい。

Ｎｏ４画像が撮影されると、比較明画像（１〜３）とＮｏ４画像の比較明合成を行い、比較明画像（１〜４）を生成するとともに、Ｎｏ３画像とＮｏ４画像で比較暗合成を行い、比較暗画像（３，４）を生成する。比較暗画像（３，４）からＮｏ２画像を減算することで、減算画像（３，４）を生成する。そして、減算比較明画像（１〜３）と減算画像（３，４）を比較明合成することで、減算比較明画像（１〜４）を生成する。

以降、同様の処理を繰り返す。そして、最終画像ＮｏＮを撮影すると、比較明画像（１〜Ｎ−１）とＮｏＮ画像の比較明合成を行い、比較明画像（１〜Ｎ）を生成する。また、ＮｏＮ−１画像とＮｏＮ画像で比較暗合成を行い、比較暗画像（Ｎ−１，Ｎ）を生成する。そして、比較暗画像（Ｎ−１，Ｎ）からＮｏＮ−２画像を減算することで、減算画像（Ｎ−１，Ｎ）を生成する。そして、減算比較明画像（１〜Ｎ−１）と減算画像（Ｎ−１，Ｎ）とを比較明合成することで、減算比較明画像（１〜Ｎ）を生成する。

最後に、比較明画像（１〜Ｎ）と減算比較明画像（１〜Ｎ）とを加算することで、記録画像を得る。このように比較明画像と星空軌跡途切れ成分である減算比較明画像を加算することで、星空軌跡の途切れを無くすことができる。つまり、星空を撮影した画像同士を比較明合成だけでは途切れてしまう星の軌跡成分を補完的に加算することによって軌跡の途切れを無くすことになる。

このようにして得られた記録画像に対して、現像処理を行う前にオフセット補正を行い、加算によるオフセットのズレを補正する。この処理について図７を用いて説明する。

図７は、オフセット補正領域を示した図である。上述したように比較明合成画像（１〜Ｎ）と、星空軌跡途切れ成分である減算比較明画像（１〜Ｎ）を加算することで信号のオフセット成分がずれることがある。これを回避するために、最後にオフセット補正処理を行う。前述の合成処理は遮光画素領域も含めて行うので、合成後画像の遮光画素の状態を検出して、オフセット補正を行う。

図７の検出領域の画素を積分し、１画素当たりのレベルに正規化を行う。正規化を行った後に、合成画像から検出したオフセット量を減算し、所定オフセット量を加算する。

なお、本実施形態では星空を例にして説明を行ったが、星空以外の撮影に適用することも可能である。例えば、夜景撮影で車のライトの軌跡を撮影する場合や、動きのある被写体を撮影する場合等にも有効に適用することができる。

また、オフセット補正はカラーフィルタを問わずに行ってもよいが、カラーフィルタごとに補正したり、撮像素子の内部構造に応じて画素分離をして補正してもよい。

なお、静止画撮影はシャッター１２を使用して撮影する説明としたが、シャッター１２を使用せずに、電子シャッターのみを使用して撮影してもよい。

また、星空軌跡モードで撮影された画像が２枚（２フレーム分の画像）である場合には、その前後に撮影された画像で減算することができないため、図４に示す従来の比較明合成を行う。

また、上述した例では、星空軌跡モードで撮影された複数フレーム分の画像の合成を撮像装置１００内で行うものとして説明したが、本発明はこれに限るものでは無い。得られた複数フレーム分の画像データを外部の情報処理装置（画像処理装置）に供給し、画像データを取得した情報処理装置において、上述した合成処理を行っても構わない。

また、本発明において、比較明合成とは、合成対象の複数の画像について画素ごとに輝度値を比較し、最も大きい輝度値を有する画素を選択して合成する合成方法を示す。同様に、比較暗合成は、合成対象の複数の画像について画素ごとに輝度値を比較し、最も小さい輝度値を有する画素を選択して合成する合成方法を示す。なお、何れの合成方法においても、画素単位ではなく、複数の画素から構成される一定の画像領域単位で合成を行ってもよい。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１４：撮像素子、１６：Ａ／Ｄ変換器、１８：タイミング発生回路、２０：画像処理回路、２２：メモリ制御回路、３０：メモリ、４０：露光制御部、５０：システム制御回路、６０：モードダイアルスイッチ、９０：インタフェース、９２：コネクタ、１００：撮像装置、１１０：通信回路、１１２：コネクタ（またはアンテナ）、２００：記録媒体、２０２：記録部、２０４：インタフェース、２０６：コネクタ

Claims (15)

1. 連続する複数フレームの画像を取得する取得手段と、
   前記複数フレームの画像を比較明合成する第１の合成手段と、
   前記複数フレームの画像のうち、連続する２フレームずつ画像を比較暗合成し、前記比較暗合成した２フレームの前または後のフレームの画像を、前記比較暗合成した結果から減算して、減算画像を生成する第２の合成手段と、
   前記第２の合成手段により得られた前記減算画像を比較明合成する第３の合成手段と、
   前記第１の合成手段により前記複数フレーム分の画像を比較明合成して得られた第１の画像と、前記第３の合成手段により前記複数フレーム分の減算画像を比較明合成して得られた第２の画像とを加算する加算手段と
   を有することを特徴とする画像処理装置。
2. 前記第２の合成手段は、前記比較暗合成する画像が、前記複数フレームのうち、最初の２フレームの画像である場合、前記２フレームの後のフレームの画像を減算することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の合成手段は、前記比較暗合成する画像が、前記複数フレームのうち、最終の２フレームの画像である場合、前記２フレームの前のフレームの画像を減算することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第２の合成手段は、前記比較暗合成する画像が、前記複数フレームのうち、最初の２フレームの画像である場合を除いて、前記２フレームの前のフレームの画像を減算することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記取得手段により取得した画像が２フレーム分の画像である場合、前記第２の合成手段、前記第３の合成手段、及び前記加算手段による処理を行わないことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記加算手段により加算して得た画像にオフセット補正を行う補正手段を更に有することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記第２の合成手段は、前記減算により、信号レベルが０未満になる画素の信号レベルを０で置き換えて、前記減算画像を生成することを特徴とする請求項１に記載の画像処理装置。
8. 光学像を電気信号に変換する撮像手段と、
   請求項１乃至７のいずれか１項に記載の画像処理装置と、を有し、
   前記取得手段は、前記撮像手段から前記連続する複数フレームの画像を取得することを特徴とする撮像装置。
9. 撮影モードを選択する選択手段を更に有し、
   前記選択手段により光の軌跡を撮影するモードが選択された場合に、前記画像処理装置による処理を行うことを特徴とする請求項８に記載の撮像装置。
10. 動きを有する光る被写体を連続的に撮影して得られた複数のフレームの画像を合成して前記被写体の軌跡を表す画像を生成する画像処理装置であって、
    前記複数のフレームの画像を比較明合成する合成手段と、
    前記複数のフレームの画像のうち、連続する２フレームの画像を比較暗合成することによって取得された、前記合成手段による合成画像では途切れる前記被写体の軌跡成分を、前記合成手段による合成画像に加算する加算手段と
    を有することを特徴とする画像処理装置。
11. 被写体を撮影する撮像手段と、
    請求項１０に記載の画像処理装置と、を有し、
    前記撮像手段は、前記被写体を連続的に撮影して、前記複数のフレームの画像を出力することを特徴とする撮像装置。
12. 取得手段が、連続する複数フレームの画像を取得する取得工程と、
    第１の合成手段が、前記複数フレームの画像を比較明合成する第１の合成工程と、
    第２の合成手段が、前記複数フレームの画像のうち、連続する２フレームずつ画像を比較暗合成し、前記比較暗合成した２フレームの前または後のフレームの画像を、前記比較暗合成した結果から減算して、減算画像を生成する第２の合成工程と、
    第３の合成手段が、前記第２の合成工程において得られた前記減算画像を比較明合成する第３の合成工程と、
    加算手段が、前記第１の合成工程において前記複数フレーム分の画像を比較明合成して得られた第１の画像と、前記第３の合成工程において前記複数フレーム分の減算画像を比較明合成して得られた第２の画像とを加算する加算工程と
    を有することを特徴とする画像処理方法。
13. 動きを有する光る被写体を連続的に撮影して得られた複数のフレームの画像を合成して前記被写体の軌跡を表す画像を生成する画像処理方法であって、
    合成手段が、前記複数のフレームの画像を比較明合成する合成工程と、
    加算手段が、前記複数のフレームの画像のうち、連続する２フレームの画像を比較暗合成することによって取得された、前記合成工程による合成画像では途切れる前記被写体の軌跡成分を、前記合成工程で得られたる合成画像に加算する加算工程と
    を有することを特徴とする画像処理方法。
14. コンピュータを、請求項１乃至７、１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
15. 請求項１４に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。