JP4662880B2 - 撮像装置，及び撮像方法 - Google Patents

Description

本発明は，画像を撮影することが可能な撮像装置，及び撮像方法に関する。

従来，手ブレを抑制する技術としては，撮像面に対するレンズの位置を手ブレ方向と反対方向にシフトすることにより，手ブレをキャンセルする光学的手ブレ補正方法が知られている。また，高速シャッターを用いて複数枚の時分割画像を撮影し，被写体の特徴点を基準にして，各画像を合成することにより電子手ブレ補正を行う技術も知られている（例えば，特許文献１を参照）。特に，低速シャッターによる撮影が必要な低輝度シーンでは，この電子手ブレ補正機能が有効である。また，低輝度シーンにおいて行うノイズ低減処理方法として，露光状態で撮影された露光画像から，遮光状態で撮影された遮光画像から減算することにより，固定パターンノイズを除去する方法等も知られている（例えば，特許文献２を参照）。

特開２００５−２９５３０２号公報 特開２００３−１１６０６４号公報

従来のノイズ低減方法では，高速シャッターを用いて撮影された時分割画像を合成した後，遮光状態で低速シャッターにより撮影された遮光画像を減算することにより，固定パターンノイズの低減を図っていた。しかし，電子手ブレ補正と遮光画像の除去機能とを組み合わせて用いると，固定パターンノイズが含まれる時分割画像を合成する際に，各画像の固定パターンノイズが画像領域内に分散してしまい，合成画像から遮光画像を減算したとしても，固定パターンノイズを十分に抑制することができなかった。

そこで，本発明は，上記問題に鑑みてなされたものであり，本発明の目的とするところは，画像に含まれるノイズを低減することが可能な，新規かつ改良された撮像装置，及び撮像方法を提供することにある。

上記課題を解決するために，本発明のある観点によれば，時分割露光して撮影された複数の画像を合成して，電子手ブレ補正をすることが可能な撮像装置が提供される。該撮像装置は，露光状態において，時分割露光により，少なくとも一の露光画像を撮影する露光撮影部と；遮光状態において，時分割露光により，少なくとも一の遮光画像を撮影する遮光撮影部と；時分割露光により撮影された各露光画像から，遮光画像を減算してノイズ抑制処理する減算処理部と；連続して撮影された複数の画像を合成する画像合成部と；を備えることを特徴とする。

上記撮像装置が備える露光撮影部は，露光状態において，時分割露光により，少なくとも一の露光画像を撮影する。また，上記遮光撮影部は，遮光状態において，時分割露光により，少なくとも一の遮光画像を撮影する。上記減算処理部は，時分割露光により撮影された各露光画像から，遮光画像を減算してノイズ抑制処理する。かかる構成により，各時分割画像から固定パターンノイズを低減させることが可能になり，合成画像のノイズを効果的に減少させることができる。

遮光撮影部は，時分割露光により，一の遮光画像を撮影してもよい。減算処理部は，時分割露光により撮影された各露光画像から，一の遮光画像を減算してノイズ抑制処理するとしてもよい。かかる構成により，一枚の遮光画像によりノイズ低減処理が可能になり，必要とするメモリを節約できるだけでなく，高速な処理が可能になる。

露光撮影部と遮光撮影部とは，露光画像と遮光画像とを交互に撮影してもよい。また，減算処理部は，各遮光画像から，それぞれ，各露光画像が撮影された直後に撮影された各遮光画像を減算してノイズ抑制処理をしてもよい。かかる構成により，露光画像の撮影時点と遮光画像の撮影時点との時間差が小さくなり，撮影時点のノイズ状況をより反映した高精細なノイズ低減処理が可能になる。

さらに，少なくとも二の遮光画像に基づいて補間計算し，遮光画像が撮影された時点間の少なくとも一の時点に対応する遮光画像を生成する遮光画像補間部を備えてもよい。また，減算処理部は，露光画像から，補間計算により算出された遮光画像を減算してノイズ抑制処理をしてもよい。かかる構成により，処理時間と必要なメモリ容量とを節約しながら，高精度のノイズ低減処理が可能になる。

また，上記課題を解決するために，本発明の別の観点によれば，時分割露光して撮影された複数の画像を合成して，電子手ブレ補正をすることが可能な撮像装置が提供される。該撮像装置は，露光状態において，時分割露光により，少なくとも一の露光画像を撮影する露光撮影部と；遮光状態において，時分割露光により，少なくとも一の遮光画像を撮影する遮光撮影部と；各露光画像から特徴点を抽出する特徴点抽出部と；特徴点の位置を記憶する特徴点記憶部と；特徴点が一致するように露光画像をシフトして合成し，かつ，露光画像のシフト量に応じて，各露光画像に対応する遮光画像をシフトして合成する画像合成部と；合成された露光画像から合成された遮光画像を減算してノイズ抑制処理する減算処理部と；を備える。

上記撮像装置が備える露光撮影部は，露光状態において，時分割露光により，少なくとも一の露光画像を撮影する。また，上記遮光撮影部は，遮光状態において，時分割露光により，少なくとも一の遮光画像を撮影する。上記特徴点抽出部は，各露光画像から特徴点を抽出する。上記特徴点記憶部は，各露光画像から特徴点を抽出する特徴点抽出部と；特徴点の位置を記憶する。上記画像合成部は，特徴点が一致するように露光画像をシフトして合成し，かつ，露光画像のシフト量に応じて，各露光画像に対応する遮光画像をシフトして合成する。上記減算処理部は，合成された露光画像から合成された遮光画像を減算してノイズ抑制処理する。かかる構成により，一の減算処理により，合成画像のノイズ低減処理を完了することができる。

また，上記課題を解決するために，本発明の別の観点によれば，時分割露光して撮影された複数の画像を合成して，電子手ブレ補正をすることが可能な撮像方法が提供される。該撮像方法は，露光状態において，時分割露光により，少なくとも一の露光画像を撮影する露光撮影過程と；遮光状態において，時分割露光により，少なくとも一の遮光画像を撮影する遮光撮影過程と；連続して撮影された複数の画像を合成する画像合成過程と；時分割露光により撮影された各露光画像から，遮光画像を減算してノイズ抑制処理する減算処理過程と；を含むことを特徴とする。

上記撮像方法が含む露光撮影過程では，露光状態において，時分割露光により，少なくとも一の露光画像が撮影される。上記遮光撮影過程では，遮光状態において，時分割露光により，少なくとも一の遮光画像が撮影される。上記減算処理過程では，時分割露光により撮影された各露光画像から，遮光画像を減算してノイズ抑制処理される。かかる構成により，各時分割画像から固定パターンノイズを低減させることが可能になり，合成画像のノイズを効果的に減少させることができる。

遮光撮影過程では，時分割露光により，一の遮光画像が撮影されてもよい。また，減算処理過程では，時分割露光により撮影された各露光画像から，一の遮光画像が減算されてノイズ抑制処理されてもよい。かかる構成により，一枚の遮光画像によりノイズ低減処理が可能になり，必要とするメモリを節約できるだけでなく，高速な処理が可能になる。

露光撮影過程と遮光撮影過程とにおいて，露光画像と遮光画像とが交互に撮影されてもよい。また，減算処理過程では，各遮光画像から，それぞれ，各露光画像が撮影された直後に撮影された各遮光画像が減算されてノイズ抑制処理されてもよい。かかる構成により，露光画像の撮影時点と遮光画像の撮影時点との時間差が小さくなり，撮影時点のノイズ状況をより反映した高精細なノイズ低減処理が可能になる。

さらに，少なくとも二の遮光画像に基づいて補間計算され，遮光画像が撮影された時点間の少なくとも一の時点に対応する遮光画像が生成される遮光画像補間過程を含んでもよい。また，減算処理過程は，露光画像から，補間計算により算出された遮光画像が減算されてノイズ抑制処理されてもよい。かかる構成により，処理時間と必要なメモリ容量とを節約しながら，高精度のノイズ低減処理が可能になる。

また，上記課題を解決するために，本発明の別の観点によれば，時分割露光して撮影された複数の画像を合成して，電子手ブレ補正をすることが可能な撮像方法が提供される。露光状態において，時分割露光により，少なくとも一の露光画像が撮影される露光撮影過程と；遮光状態において，時分割露光により，少なくとも一の遮光画像が撮影される遮光撮影過程と；各露光画像から特徴点が抽出される特徴点抽出過程と；特徴点の位置が記憶される特徴点記憶過程と；特徴点が一致するように露光画像がシフトされて合成され，かつ，露光画像のシフト量に応じて，各露光画像に対応する遮光画像がシフトされて合成される画像合成過程と；合成された露光画像から合成された遮光画像が減算されてノイズ抑制処理される減算処理過程と；を含むことを特徴とする。

上記撮像方法が含む露光撮影過程では，露光状態において，時分割露光により，少なくとも一の露光画像が撮影される。また，上記遮光撮影過程では，遮光状態において，時分割露光により，少なくとも一の遮光画像が撮影される。上記特徴点抽出過程では，遮光状態において，時分割露光により，少なくとも一の遮光画像が撮影される遮光撮影過程と；各露光画像から特徴点が抽出される。上記特徴点記憶過程では，特徴点の位置が記憶される。上記画像合成過程では，特徴点が一致するように露光画像がシフトされて合成され，かつ，露光画像のシフト量に応じて，各露光画像に対応する遮光画像がシフトされて合成される。上記減算処理過程では，合成された露光画像から合成された遮光画像が減算されてノイズ抑制処理される。かかる構成により，一の減算処理により，合成画像のノイズ低減処理を完了することができる。

また，上記撮像装置は，例えば，被写体の明度を基に適正露光が得られる適正シャッター速度を決定する露光制御部と；適正シャッター速度よりも高速な所定の高速シャッター速度により，適正シャッター速度を除算し，適正露光を得るのに必要な時分割画像の撮影数を設定する分割撮影数設定部と；露光状態において，高速シャッター速度により，設定された撮影数の時分割画像を撮影する露光撮影部と；時分割画像毎に，各画素の輝度値が記録される輝度記録部と；遮光状態において，高速シャッター速度により，少なくとも一の遮光画像を撮影する遮光撮影部と；各時分割画像から，遮光画像を減算処理することにより差分画像を生成する減算処理部と；各差分画像に含まれる各画素について，隣接画素間における輝度値の差分量を比較することにより，特徴点を抽出する特徴点抽出部と；特徴点を基準にして，差分画像を合成する画像合成部と；を備えていてもよい。

さらに，設定された撮影数の時分割画像が撮影された後，一の遮光画像が撮影されるように制御する遮光撮影制御部を備えていてもよい。また，減算処理部は，各時分割画像から，それぞれ，一の遮光画像を減算処理してもよい。

さらに，各時分割画像が撮影される毎に，遮光画像が撮影されるように制御する遮光撮影制御部を備えてもよい。また，減算処理部は，遮光画像が撮影される毎に，各時分割画像から各遮光画像を減算処理してもよい。

さらに，最初の時分割画像が撮影された後，第１遮光画像が撮影され，かつ，最後の時分割画像が撮影された後，第２遮光画像が撮影されるように制御する遮光撮影制御部と；第１遮光画像の輝度データと第２遮光画像の輝度データとを補間計算することにより，最初の時分割画像が撮影された第１時点と，最後の時分割画像が撮影された第２時点との間の各時分割画像の撮影時点に対応する遮光画像を生成する遮光画像補間部と；を備えてもよい。また，減算処理部は，各時分割画像から，各時分割画像の撮影時点に対応する遮光画像を減算処理してもよい。なお，上記の第１時点と第２時点との間で補間計算を行ったのと同様にして，第１時点と第２時点との間の任意時点における遮光画像を撮影し，各時点で撮影された遮光画像に基づいて，第１時点と第２時点との間の任意時点に対応する遮光画像を補間計算により算出してもよい。もちろん，任意時点は一の時点に限られず，複数時点であってもよい。

以上説明したように本発明によれば，画像に含まれるノイズを低減することができる。

以下に添付図面を参照しながら，本発明の好適な実施の形態について詳細に説明する。なお，本明細書及び図面において，実質的に同一の機能構成を有する構成要素については，同一の符号を付することにより重複説明を省略する。

（撮像装置の構成）
図１を参照しながら，本発明の実施形態に係る撮像装置の構成について説明する。

本発明の実施形態に係る撮像装置は，光学系１０２と，ドライバ１０４，１０６，１０８と，タイミング制御部１１０と，ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）１１２と，相関二重サンプリング回路（ＣＤＳ；Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）／増幅器（ＡＭＰ；Ａｍｐｌｉｆｉｅｒ）１１４と，Ａ／Ｄ変換部１１６と，画像入力制御部１１８と，ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２０と，操作部１２２と，画像信号処理部１２４と，ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２６と，圧縮処理部１２８と，メモリ１３０と，表示部１３２と，ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）ドライバ１３４と，記録メディア制御部１３６と，記録メディア１３８と，により構成される。

光学系１０２は，レンズを通して被写体をＣＣＤ１１２に結像させる。ドライバ１０４は，光学系１０２のズーム機構を駆動する。ドライバ１０６は，光学系１０２の絞り機構を駆動する。ドライバ１０８は，光学系１０２のフォーカス機構を駆動する。タイミング制御部１１０は，ＣＣＤ１１２を構成する各画素による露光期間の制御や電荷読出しの制御を行う。ＣＣＤ１１２は，光電変換が可能な素子により構成され，各素子が受け取った光に応じて電気信号を生成する。ＣＤＳ／ＡＭＰ１１４は，ＣＣＤ１１２から得られた電気信号に含まれる低周波ノイズを除去すると共に，電気信号を一定レベルまで増幅する。Ａ／Ｄ変換部１１６は，アナログの電気信号をデジタル信号に変換する。画像入力制御部１１８は，ＣＰＵ１２０からの動作指令を受けて，画像の入力に係るＣＣＤ１１２，ＣＤＳ／ＡＭＰ１１４，及びＡ／Ｄ変換部１１６の動作を制御する。操作部１２２は，電源スイッチ，モード切替手段，及びシャッター釦等から構成され，シャッター速度，及びＩＳＯ感度等の設定をユーザが行う為に用いられる。また，画像信号処理部１２４は，自動露光制御（ＡＥ；Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）により設定された露光量の評価値を算出すると共に，自動焦点制御（ＡＦ；Ａｕｔｏ−Ｆｏｃｕｓ）により設定された焦点距離の評価値を算出する。

ＶＲＡＭ１２６は，画像表示用のメモリであり，表示画像の書込みと表示部１３２への表示を同時に実行できるように，複数のチャネルを有するメモリにより構成される。圧縮処理部１２８は，入力画像データをＪＰＥＧ圧縮形式，又はＬＺＷ圧縮形式等の形式に圧縮処理する。メモリ１３０は，ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）等の半導体記憶素子により構成されていてもよく，時分割撮影された高速シャッター画像が保存される。また，画像信号処理部１２４により合成された合成画像が記録されてもよく，ＣＰＵ１２０の動作プログラムが保存されてもよい。また，撮影された露光画像，又は遮光画像から抽出された特徴点を記憶する特徴点抽出部としての役割も担っているとしてもよい。

表示部１３２は，ＬＣＤ等の表示手段により構成され，ＶＲＡＭ１２６から読み出された画像が表示される。ＬＣＤドライバ１３４は，表示部１３２を駆動し，表示部１３２の出力を制御する。

記録メディア制御部１３６は，記録メディア１３８への画像データの書込み，又は記録メディア１３８に記録された画像データや設定情報等の読出しを制御する。記録メディア１３８は，光学式記憶媒体，光磁気ディスク，磁気ディスク，又は半導体記憶媒体等により構成され，撮影された画像データを記録することができる。また，記録メディア１３８は，当該撮像装置から着脱可能に構成されてもよい。

さらに，図２を参照すると，ＣＰＵ１２０は，露光制御部５０２と，分割撮影数設定部５０４と，露光撮影部５０６と，遮光撮影部５０８と，遮光撮影制御部５１０と，遮光画像補間部５１２と，を含む。つまり，上記の各部が担う機能は，ＣＰＵ１２０により実現される。もちろん，上記の各部は，個別のハードウェアブロックにより構成されてもよい。露光制御部５０２は，被写体の明度に基づいて，適正露光が得られる適正シャッター速度を決定する。つまり，自動露光制御を実現する。分割撮影数設定部５０４は，時分割撮影を実行する為に，適正シャッター速度よりも高速な高速シャッター速度が設定されている場合，適正シャッター速度の値から高速シャッター速度の値を除算することで，撮影された時分割画像を合成することにより，適正露光に必要な光量を確保可能な撮影枚数を算出する。

露光撮影部５０６は，露光状態において，高速シャッター速度により，時分割画像を撮影する。この撮影動作の制御は，ＣＰＵ１２０により行われるが，撮影自体は，光学系１０２，ＣＣＤ１１２，画像入力制御部１１８等の各部による制御を介してもよい。遮光撮影部５０８は，遮光状態において，高速シャッター速度により，少なくとも一の遮光画像を撮影する。後述するように，遮光画像は，全ての時分割画像の撮影が完了した後，一画像だけ撮影されてもよいし，各時分割画像の撮影毎に，撮影されてもよい。もちろん，最初の時分割画像の撮影直後に遮光画像が撮影されてもよい。このような，遮光画像の撮影動作について制御するのが，遮光撮影制御部５１０である。

遮光画像補間部５１２は，複数の遮光画像から，補間画像を生成する。より詳細には，ある２以上の時点で撮影された複数の遮光画像の各画素に対応する輝度値の時系列データから，撮影時点間の任意時点に対応する輝度値が線形補間，又は非線形補間により算出される。補間計算により，各画素に対応する輝度値が算出されると，該各画素の輝度値を有する遮光画像が生成されうる。

さらに，図３を参照すると，画像信号処理部１２４は，減算処理部６０２と，特徴点抽出部６０４と，画像合成部６０６とをさらに含む。減算処理部６０２は，一の時分割画像から一の遮光画像を減算処理して差分画像を生成する。つまり，一の時分割画像に含まれる各画素の輝度値から，該各画素に対応する遮光画像の各画素の輝度値を減算することにより，差分画像の各画素の輝度値を算出する。特徴点抽出部６０４は，各時分割画像，又は各差分画像に含まれる各画素の特徴点を抽出する。つまり，隣接する画素間において，輝度値の差分を算出し，その差分値が大きい点を検出する。特に，被写体画像のエッジ部分などが検出され，各画像毎に，特徴点として抽出される。画像合成部６０６は，上記の種々の処理を経て生成された各差分画像を合成して，合成画像を生成する。

以上，本発明の実施形態に係る撮像装置の構成について説明した。以下では，該撮像装置による撮像方法について説明する。

まず，一般的な電子手ブレ補正の方法について具体例を挙げて説明する。一例として，シャッター速度１／８秒，Ｆ値２．８の場合に適正露光が得られるシーンについて考える。通常，焦点距離が長くなる程，手ブレが発生しやすいが，焦点距離が短い場合でも，シャッター速度１／８秒程度の場合には，手持ち撮影すると手ブレが発生してしまう。焦点距離が２８ｍｍ程度の場合であれば，１／６４秒程度のシャッター速度で撮影することで，手ブレが抑制できる。そこで，電子手ブレ補正機能を有効にした撮像装置は，１／８秒のシャッター速度で撮影する代わりに，手ブレが発生しにくい１／６４秒のシャッター速度で８枚の画像を撮影し，画像を合成することで，手ブレを抑制する。

一般に，手ブレが発生しやすくなるシャッター速度の目安は，３５ｍｍフィルムカメラの焦点距離に換算したときの焦点距離［ｍｍ］の逆数秒より長いとされている。例えば，焦点距離が２００ｍｍのときは１／２００秒である。また，撮影者がズーミングするにつれて，手ブレが発生しやすくなる為，高速のシャッター速度が求められる。

図４には，シャッター速度１／６４秒で撮影された画像と，シャッター速度１／８秒で撮影された画像とを模式的に示した。Ａ図のように，１／６４秒の高速シャッター速度で撮影された画像は，露光量が少なく，全体的に暗い画像となる。しかし，上述のように，Ａ図に示した高速シャッター画像を８枚合成することにより，Ｂ図と同じ明度の画像が生成される。このとき，各画像の特徴点が抽出され，特徴点を基準として，画像の合成が行われる（図５）。この処理により，手ブレが補正される。

このように，適正露光が得られるシャッター速度よりも十分に高速なシャッター速度により撮影された複数の時分割画像を合成処理する電子手ブレ補正機能は，低輝度シーンにおいて有効である。高速シャッター速度は，撮像素子の感度やサイズ，対応する焦点距離等の諸条件により制限があるが，上記の例と同様に，十分に手ブレが抑制可能であると思われるシャッター速度を予め設定しておいてもよい。適正露光が得られる適正シャッター速度は，自動露光制御により設定される。従って，高速シャッターにより時分割撮影される撮影枚数は，適正シャッター速度を所定の高速シャッター速度により除算することで算出が可能である。もちろん，高速シャッター速度，又は，時分割撮影される撮影枚数は，ユーザが適宜，設定可能に構成してもよい。また，被写体の明度，使用する光学系の種類等に応じて設定されるように構成してもよい。

ところで，上記特徴点は，画像に含まれる各画素の輝度データを解析し，隣接する画素間において，輝度値が大きく異なるエッジ部分を検出することにより，抽出することができる。つまり，画素の位置座標に対して輝度値をプロットし，プロットされた各点を結んだ輝度グラフについて，各点の微分値を計算し，微分値が最大になる点を特徴点としてもよい。もちろん，上記の微分値に基づいて，複数の特徴点を抽出してもよく，該特徴点の位置が一致するように，各高速シャッター画像が合成されてもよい。このとき，各高速シャッター画像は，その位置がシフトされるだけでなく，回転されてもよい。

以上，一般的な電子手ブレ補正方法について説明した。次に，遮光画像を減算して，固定パターンノイズを抑制するノイズ低減方法について簡単に説明する。図６に，該固定パターンノイズ抑制方法の模式図を示した。符号２０２は，露光画像を示す。符号２０４は，遮光画像を示す。符号２０６は，露光画像２０２から遮光画像２０４を減算した差分画像を示す。

通常，低輝度撮影シーンにおいては，十分な露光量を確保する為に，長時間露光が行われる。一般に，ＣＣＤやＣＭＯＳ等の撮像素子には，暗ノイズと呼ばれる固定パターンのノイズが発生する。特に，長時間露光を行うと，温度上昇に伴って，固定パターンノイズが顕著になる。例えば，遮光画像２０２に示したように，全体にノイズが混じると同時に，部分的に露光オーバーの画像に似た明るい縞が混入したりする。もちろん，ノイズの形態はこれに限られるものではないことは言うまでもない。そこで，遮光画像２０４を撮影し，露光画像２０２から遮光画像２０４を減算する処理が行われる。その結果，差分画像２０６のように，ノイズが除去される。

しかし，時分割画像を合成し手ブレを抑制する電子手ブレ補正機能を組み合わせた場合は，上述のようなノイズ低減効果が得られない。例えば，図７に示すように，固定パターンノイズが含まれた時分割画像を合成して，電子手ブレ補正を実行した後，遮光画像の減算を行う場合について考えてみる。符号３０２は，高速シャッターを用いて撮影された時分割画像を合成する過程である。露光状態で撮影された各時分割画像には，それぞれ，固定パターンノイズが混入している。しかし，電子手ブレ補正においては，被写体の画像から，特徴点を検出して画像を合成する為，固定パターンノイズを分散させて合成してしまうことになる。その結果，合成画像３０４には，分散した固定パターンノイズが重畳されて拡大したノイズが発生してしまう。この合成画像３０４から，遮光画像３０６を減算すると，拡大したノイズの一部を除去できないばかりか，遮光画像３０６に含まれたノイズの影響により，新たなノイズが発生する結果（３０８）となる。

このように，電子手ブレ補正機能と固定パターンノイズ低減機能とを単純に組合せるだけでは，十分なノイズ低減効果は得られない。そこで，本発明の実施形態に係る撮像装置においては，各時分割画像から，それぞれ，遮光画像を減算してノイズ低減処理を行い，その後，時分割画像を合成する処理方法が実現される。

（第１の実施形態）
まず，本発明の第１の実施形態に係る撮像方法について，図８を参照しながら説明する。図８は，高速シャッターを用いて撮影された時分割画像から，遮光画像を減算する過程を示した模式図である。

符号４０２，４０４，４０６は，時分割撮影された各高速シャッター画像を示す。また，符号４０８は，遮光状態で撮影された遮光画像を示す。なお，遮光画像４０８は，露光状態で撮影された各高速シャッター画像４０２，４０４，４０６と同じシャッター速度で撮影された画像である。本実施形態においては，各高速シャッター画像４０２，４０４，４０６から，それぞれ，遮光画像４０８を減算して差分画像を作成した後，該全ての差分画像を合成して，合成画像４１０を生成する。

ここで，図９を参照しながら，上記のノイズ低減処理の流れについて簡単に纏める。図９は，本実施形態に係る撮像過程を示したフローチャートである。なお，露光状態において，適正露光が得られる適正シャッター速度は，自動露光制御により予め算出されているものとする。また，高速シャッター速度は，予め設定されているものとする。さらに，露光状態で撮影される高速シャッター画像の撮影枚数ｎは，該高速シャッター画像を合成することによって，適正な露光量が得られるように，上記の適正シャッター速度と所定の高速シャッター速度との比から，算出されているものとする。以降，単に高速シャッター画像といった場合には，非露光状態で撮影された高速シャッター画像を示すものとする。また，遮光画像についても，高速シャッター画像と同じシャッター速度で撮影されるものとし，単に遮光画像と表現する。なお，遮光画像が撮影されるタイミングは，最初又は最後に限定されるものではなく，露光画像を連続して撮影する途中時点において，撮影されてもよい。

まず，露光状態で高速シャッター撮影が行われ，ｎ枚の高速シャッター画像がメモリに格納される（Ｓ１０２，Ｓ１０４，Ｓ１０６）。さらに，全ての高速シャッター画像がメモリに格納された後，１枚の遮光画像が撮影されてメモリに格納される（Ｓ１０８）。遮光画像の格納が完了すると，各高速シャッター画像から，それぞれ，遮光画像が減算処理され，差分画像が生成される（Ｓ１１０，Ｓ１１２，Ｓ１１４）。このとき，減算処理する遮光画像は共通である。各差分画像からは，被写体の輝度値等を基に特徴点が抽出され，該特徴点を基準として，全ての差分画像が合成される（Ｓ１１６）。

（第２の実施形態）
次に，本発明の第２の実施形態に係る撮像方法について，図１０を参照しながら説明する。図１０は，本実施形態に係る撮像過程を示したフローチャートである。上記の実施形態と重複する部分に関する説明については省略する。

第１の実施形態においては，所要の撮影枚数ｎについて，露光状態で高速シャッター撮影が行われて取り込まれた後，遮光画像が撮影されて取り込まれ，各差分画像が生成された。本実施形態では，高速シャッター画像が１枚撮影されてメモリに格納される毎に（Ｓ２０４），遮光画像が撮影されてメモリに格納される（Ｓ２０６）。さらに，各遮光画像が格納される毎に，高速シャッター画像から遮光画像が減算処理されて，差分画像が生成される（Ｓ２０８）。差分画像が生成された後は，生成に用いた高速シャッター画像と遮光画像とは，メモリから削除してもよい。この処理が所要の撮影枚数ｎだけ繰り返される（Ｓ２０２，Ｓ２１０）。その後，各差分画像から特徴点が抽出され，該特徴点を基準として，全ての差分画像が合成される（Ｓ２１２）。

本実施形態に係る撮像方法は，第１の実施形態に係る撮像方法と比較して，処理時間が余分に必要である上，必要なメモリ容量も大きいという短所がある。しかし，高速シャッター画像と遮光画像とを撮影する時間差が小さい為，高速シャッター画像を撮影した時点のノイズ状況が遮光画像に如実に反映されると考えられ，高精度のノイズ低減効果が期待できる。

（第３の実施形態）
次に，本発明の第３の実施形態に係る撮像方法について，図１１を参照しながら説明する。図１１は，本実施形態に係る撮像過程を示したフローチャートである。上記の実施形態と重複する部分に関する説明については省略する。

上述のように，第１の実施形態は，遮光画像の撮像枚数が１枚で済む為，高速なノイズ低減処理が可能である上，必要なメモリ容量も少なくて済む。一方，第２の実施形態は，高速シャッター画像と遮光画像との撮影時点の時間差が少なく，高精度のノイズ低減効果が期待できる。そこで，本実施形態に係る撮像方法は，初回（１枚目）の高速シャッター画像の撮影後に第１の遮光画像を撮影し，最終回（ｎ枚目）の高速シャッター画像の撮影後に第２の遮光画像を撮影し，第１の遮光画像と第２の遮光画像とを基に補間計算して，残りの遮光画像を生成することを特徴とする。以降，ｑ枚目に撮影された画像を「画像（ｑ）」と表現する。

まず，高速シャッター画像（１）が撮影されてメモリに格納される（Ｓ３０２）。さらに，遮光画像（１）が撮影されてメモリに格納される（Ｓ３０４）。その後，高速シャッター画像（１）から遮光画像（１）が減算処理されて，差分画像（１）が生成される（Ｓ３０６）。

次に，高速シャッター画像（ｑ）（ｑ＝２〜ｎ−１）が撮影され，メモリに格納される（Ｓ３０８，Ｓ３１０，Ｓ３１２）。その後，高速シャッター画像（ｎ）が撮影され，メモリに格納される（Ｓ３１４）。さらに，遮光画像（ｎ）が撮影されてメモリに格納された後（Ｓ３１６），高速シャッター画像（ｎ）から遮光画像（ｎ）が減算処理されて，差分画像（ｎ）が生成される（Ｓ３１８）。

その後，遮光画像（１）と遮光画像（ｎ）とに基づいて，高速シャッター画像（ｑ）（ｑ＝２〜ｎ−１）に対応する遮光画像（ｑ）が生成される（Ｓ３２０）。より詳細には，高速シャッター画像（ｑ）が撮影されてメモリに格納された時点ｑにおける遮光画像（ｑ）を，補間計算により算出する。通常，画像内における固定ノイズの位置は，ほとんど変化しない。しかし，撮影時間が長くなると，固定ノイズの輝度が変化する。そこで，遮光画像（１）の各画素における輝度値と，対応する遮光画像（ｎ）の各画素における輝度値とを時系列データとしてプロットし，２点間を直線により結ぶことで，任意の時点に対応する遮光画像の輝度値が得られる。つまり，遮光画像（１）と遮光画像（ｎ）との間の線形補間が可能である。等時間間隔で高速シャッター撮影を行う場合には，単純に２点間を撮影枚数で等分することにより，各遮光画像（ｑ）の輝度値が算出される。もちろん，撮影時間に対する輝度値の変化を示す特性曲線が分かっている場合には，２点間を該特性曲線により補間し，各遮光画像を算出してもよい。また，所定の非線形関数により補間することも可能である。例えば，ｍ（≧２）次関数による補間であってもよい。このように，所定の特性曲線又は直線を利用する場合には，撮影する遮光画像の撮影タイミング，及び枚数に特段の制限はなく，途中で取り込んだ遮光画像のレベルに基づいて，シフトさせたり，増幅させたりすることで対応可能である。複数の遮光画像を所定の間隔（コマ数）をおいて複数の遮光画像を撮影した場合に，撮影されず飛ばされたコマに対応する遮光画像を，時間的に一番近い遮光画像により代替して利用してもよい。

上記の補間計算により，遮光画像（ｑ）（ｑ＝２〜ｎ−１）が生成されると，高速シャッター画像（ｑ）から遮光画像（ｑ）が減算処理され，差分画像（ｑ）が生成される（Ｓ３２２，Ｓ３２４，Ｓ３２６）。その後，差分画像（１）〜差分画像（ｎ）の各画像から特徴点が抽出され，該特徴点を基準として，該全ての差分画像が合成される（Ｓ３２８）。このように，補間された遮光画像を利用して，差分画像を生成することにより，精度を犠牲にすることなく，高速なノイズ低減処理を実行することができる。

（第４の実施形態）
次に，本発明の第４の実施形態に係る撮像方法について，図１２を参照しながら説明する。図１２は，本実施形態に係る撮像過程を示したフローチャートである。上記の実施形態と重複する部分に関する説明については省略する。

第３の実施形態では，遮光画像（１）と遮光画像（ｎ）とから，中間時点の遮光画像（ｑ）（ｑ＝２〜ｎ−１）を補間計算により生成し，各高速シャッター画像から減算処理することによって，ノイズ低減処理を実施する方法について述べた。しかし，この方法によると，ノイズの増加特性に強い非線形性がある場合には，期待したノイズ低減効果が得られないという問題がある。もちろん，特性曲線が既知の場合には問題ないが，撮像装置の使用環境等に応じて，ノイズの増加特性が異なることもあり，有効でない場合もある。そこで，本実施形態においては，補間計算の基準となる画像数を増やして，特性曲線の非線形性に対応することを特徴とする。

まず，高速シャッター画像（１）が撮影されてメモリに格納される（Ｓ４０２）。さらに，遮光画像（１）が撮影されてメモリに格納される（Ｓ４０４）。その後，高速シャッター画像（１）から遮光画像（１）が減算処理されて，差分画像（１）が生成される（Ｓ４０６）。

次に，高速シャッター画像（ｑ）（ｑ＝２〜ｋ−１；以下，３≦ｋ≦ｎ−２，ｎ≧５）が撮影され，メモリに格納される（Ｓ４０８，Ｓ４１０，Ｓ４１２）。その後，高速シャッター画像（ｋ）が撮影され，メモリに格納される（Ｓ４１４）。さらに，遮光画像（ｋ）が撮影されてメモリに格納される（Ｓ４１６）。

次に，高速シャッター画像（ｑ）（ｑ＝ｋ＋１〜ｎ−１）が撮影され，メモリに格納される（Ｓ４１８，Ｓ４２０，Ｓ４２２）。

その後，遮光画像（１）と遮光画像（ｋ）との間の補間計算に基づいて，遮光画像（２）〜遮光画像（ｋ−１）が生成される（Ｓ４２４）。さらに，遮光画像（ｋ）と遮光画像（ｎ）との間の補間計算に基づいて，遮光画像（ｋ＋１）〜遮光画像（ｎ−１）が生成される（Ｓ４２６）。補間計算については，第３の実施形態と同様である。

上記の補間計算により，遮光画像（ｑ）（ｑ＝２〜ｋ−１，ｋ＋１〜ｎ−１）が生成されると，高速シャッター画像（ｑ）から遮光画像（ｑ）が減算処理され，差分画像（ｑ）が生成される（Ｓ４２８，Ｓ４３０，Ｓ４３２）。その後，差分画像（１）〜差分画像（ｎ）の各画像から特徴点が抽出され，該特徴点を基準として，該全ての差分画像が合成される（Ｓ４３４）。このように，３以上の補間された遮光画像を利用して差分画像を生成することにより，ノイズの増加特性が非線形であっても，高精度なノイズ低減処理を実行することができる。以上，３時点で撮影された遮光画像を基に補間計算する方法について述べたが，必ずしも３時点に限定されない。ノイズ増加特性に，より強い非線形性が現れることが分かっている場合には，より多くの時点において撮影された遮光画像を用いて補間計算してもよい。また，ｋの決定方法は，例えば，１とｎとの中間に設定してもよいが，ノイズ増加特性に合わせて，早い時点又は遅い時点に設定されてもよい。

（第５の実施形態）
次に，本発明の第５の実施形態に係る撮像方法について，図１３を参照しながら説明する。図１３は，本実施形態に係る撮像過程を示した模式図である。上記の実施形態と重複する部分に関する説明については省略する。

上記の第１〜４の実施形態に係る撮像方法は，いずれも，各高速シャッター画像から各遮光画像を減算処理して，各差分画像を生成した上で，差分画像の合成を行っていた。そこで，本実施形態では，特徴点により位置合わせした高速シャッター画像が合成された後，位置合わせした遮光画像が合成され，両合成画像を基に差分画像が生成されることにより，ノイズ低減処理が実施される。従って，第５の実施形態に係る撮像方法は，第１〜４の実施形態の撮像方法により得られた遮光画像に対して適用可能である。この場合，抽出された各高速シャッター画像の特徴点を基に，位置合わせをする為の，各画像の画素移動量や回転角等の補正情報を保持しておく。保持しておいた補正情報を基に，遮光画像の位置合わせがされて遮光合成画像が生成されると共に，高速シャッター画像の合成画像が生成され，該合成画像から該遮光合成画像が減算処理されることにより，ノイズ低減された画像が生成される。このように，減算処理を一度で完了することができる。

以上，添付図面を参照しながら本発明の好適な実施形態について説明したが，本発明は係る例に限定されないことは言うまでもない。当業者であれば，特許請求の範囲に記載された範疇内において，各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明の実施形態に係る撮像装置の構成を示すブロック図である。 同実施形態に係るＣＰＵの機能を示すブロック図である。 同実施形態に係る画像信号処理部の機能を示すブロック図である。 高速シャッター画像と低速シャッター画像とを示す模式図である。 高速シャッター画像が合成される過程を示した模式図である。 遮光画像を減算処理する過程を示した模式図である。 合成画像から遮光画像を減算処理する過程を示した模式図である。 本発明の第１の実施形態に係る撮像過程を示す模式図である。 本発明の第１の実施形態に係る撮像過程を示すフローチャートである。 本発明の第２の実施形態に係る撮像過程を示すフローチャートである。 本発明の第３の実施形態に係る撮像過程を示すフローチャートである。 本発明の第４の実施形態に係る撮像過程を示すフローチャートである。 本発明の第５の実施形態に係る撮像過程を示す模式図である。

符号の説明

１２０ ＣＰＵ
１２４ 画像信号処理部
１３０ メモリ（輝度記録部）
５０２ 露光制御部
５０４ 分割撮影数設定部
５０６ 露光撮影部
５０８ 遮光撮影部
５１０ 遮光撮影制御部
５１２ 遮光画像補間部
６０２ 減算処理部
６０４ 特徴点抽出部
６０６ 画像合成部

Claims (8)

1. 時分割露光して撮影された複数の画像を合成して，電子手ブレ補正をすることが可能な撮像装置において:
   露光状態において，前記時分割露光により，少なくとも一の露光画像を撮影する露光撮影部と；
   遮光状態において，前記時分割露光により，少なくとも一の遮光画像を撮影する遮光撮影部と；
   前記時分割露光により撮影された各露光画像から，前記遮光画像を減算してノイズ抑制処理する減算処理部と；
   前記連続して撮影された複数の画像を合成する画像合成部と；
   少なくとも二の遮光画像に基づいて補間計算し，前記遮光画像が撮影された時点間の少なくとも一の時点に対応する遮光画像を生成する遮光画像補間部と；
   を備え，
   前記減算処理部は，前記露光画像から，前記補間計算により算出された遮光画像を減算してノイズ抑制処理することを特徴とする，撮像装置。
2. 前記遮光撮影部は，
   前記時分割露光により，一の遮光画像を撮影し，
   前記減算処理部は，
   前記時分割露光により撮影された各露光画像から，前記一の遮光画像を減算してノイズ抑制処理することを特徴とする，請求項１に記載の撮像装置。
3. 前記露光撮影部と前記遮光撮影部とは，
   前記露光画像と前記遮光画像とを交互に撮影し，
   前記減算処理部は，
   前記各遮光画像から，それぞれ，前記各露光画像が撮影された直後に撮影された各遮光画像を減算してノイズ抑制処理することを特徴とする，請求項１に記載の撮像装置。
4. 時分割露光して撮影された複数の画像を合成して，電子手ブレ補正をすることが可能な撮像装置において:
   露光状態において，前記時分割露光により，少なくとも一の露光画像を撮影する露光撮影部と；
   遮光状態において，前記時分割露光により，少なくとも一の遮光画像を撮影する遮光撮影部と；
   前記各露光画像から特徴点を抽出する特徴点抽出部と；
   前記特徴点の位置を記憶する特徴点記憶部と；
   前記特徴点が一致するように前記露光画像をシフトして合成し，かつ，前記露光画像のシフト量に応じて，前記各露光画像に対応する前記遮光画像をシフトして合成する画像合成部と；
   前記合成された露光画像から前記合成された遮光画像を減算してノイズ抑制処理する減算処理部と；
   少なくとも二の遮光画像に基づいて補間計算し，前記遮光画像が撮影された時点間の少なくとも一の時点に対応する遮光画像を生成する遮光画像補間部と；
   を備え，
   前記減算処理部は，前記露光画像から，前記補間計算により算出された遮光画像を減算してノイズ抑制処理することを特徴とする，撮像装置。
5. 時分割露光して撮影された複数の画像を合成して，電子手ブレ補正をすることが可能な撮像方法において:
   露光状態において，前記時分割露光により，少なくとも一の露光画像を撮影する露光撮影過程と；
   遮光状態において，前記時分割露光により，少なくとも一の遮光画像を撮影する遮光撮影過程と；
   前記連続して撮影された複数の画像を合成する画像合成過程と；
   前記時分割露光により撮影された各露光画像から，前記遮光画像を減算してノイズ抑制処理する減算処理過程と；
   少なくとも二の遮光画像に基づいて補間計算され，前記遮光画像が撮影された時点間の少なくとも一の時点に対応する遮光画像が生成される遮光画像補間過程と；
   を含み，
   前記減算処理過程では，前記露光画像から，前記補間計算により算出された遮光画像が減算されてノイズ抑制処理されることを特徴とする，撮像方法。
6. 前記遮光撮影過程では，
   前記時分割露光により，一の遮光画像が撮影され，
   前記減算処理過程では，
   前記時分割露光により撮影された各露光画像から，前記一の遮光画像が減算されてノイズ抑制処理されることを特徴とする，請求項５に記載の撮像方法。
7. 前記露光撮影過程と前記遮光撮影過程とにおいて，
   前記露光画像と前記遮光画像とが交互に撮影され，
   前記減算処理過程では，
   前記各遮光画像から，それぞれ，前記各露光画像が撮影された直後に撮影された各遮光画像が減算されてノイズ抑制処理されることを特徴とする，請求項５に記載の撮像方法。
8. 時分割露光して撮影された複数の画像を合成して，電子手ブレ補正をすることが可能な撮像方法において:
   露光状態において，前記時分割露光により，少なくとも一の露光画像が撮影される露光撮影過程と；
   遮光状態において，前記時分割露光により，少なくとも一の遮光画像が撮影される遮光撮影過程と；
   前記各露光画像から特徴点が抽出される特徴点抽出過程と；
   前記特徴点の位置が記憶される特徴点記憶過程と；
   前記特徴点が一致するように前記露光画像がシフトされて合成され，かつ，前記露光画像のシフト量に応じて，前記各露光画像に対応する前記遮光画像がシフトされて合成される画像合成過程と；
   前記合成された露光画像から前記合成された遮光画像が減算されてノイズ抑制処理される減算処理過程と；
   少なくとも二の遮光画像に基づいて補間計算され，前記遮光画像が撮影された時点間の少なくとも一の時点に対応する遮光画像が生成される遮光画像補間過程と；
   を含み，
   前記減算処理過程では，前記露光画像から，前記補間計算により算出された遮光画像が減算されてノイズ抑制処理されることを特徴とする，撮像方法。
   

Images