JP6833801B2 - 撮像装置、撮像方法、プログラムおよび記録媒体 - Google Patents

Description

本発明は、複数の画像に対して位置合わせを行う撮像装置に関するものである。

デジタルカメラなどの撮像装置からの距離が互いに大きく異なる複数の被写体を撮像する場合や、奥行き方向に長い被写体を撮像する場合に、被写界深度が足りないために被写体の一部にしかピントを合わせられない場合がある。これを解決するため、特許文献１には、ピント位置の異なる複数の画像を撮像し、各画像から合焦領域のみを抽出して１枚の画像に合成し、撮像領域全体に合焦している合成画像を生成する、所謂、深度合成の技術が開示されている。そして、特許文献２では、ユーザがタッチパネルを通じて、合焦させたい被写体を指定して撮像を行い、合焦させたい各々の被写体にピントが合うように深度合成の撮像を行う技術が開示されている。

特開平１０―２９０３８９号公報 特開２０１４−２０７５０２号公報

しかしながら、特許文献１と特許文献２とに記載の方法で、画像を撮像するときのレンズの実効Ｆ値の影響で、以下のような課題が発生する場合がある。

深度合成のための撮像では、ピント位置を変えながら撮像を行っている。ピント位置により、実効Ｆ値が変わる。実効Ｆ値が変わることにより、撮像画像の明るさや深度の入り方が変化してしまい、合成画像にムラが出てしまう可能性がある。

本発明は、上記の課題を鑑みてなされたものであり、異なるピント位置で撮像された画像を用いて複数の合成画像を作成するとき、実効Ｆ値の変化によるムラを抑制することができる撮像装置を提供することを目的とする。

上記課題を解決するため、本願発明は、光軸方向でのピント位置が異なる複数の画像を撮像する撮像手段と、前記撮像手段が前記複数の画像のうちの１枚の画像を撮像するときの実効Ｆ値を取得する取得手段と、前記複数の画像の少なくとも一部の画像を撮像する際に、前記取得手段が取得した前記実効Ｆ値と等しくなるように、撮像に関するパラメータを調整する調整手段と、前記複数の画像に対して合成を行う合成手段と、を有することを特徴とする撮像装置を提供する。

本発明の構成によれば、深度合成のための撮像を行うとき、画像間に生じるムラを抑制する撮像装置を提供することができる。

本発明の実施形態に係るデジタルカメラの概略構成を示す背面斜視図である。 本発明の実施形態におけるデジタルカメラのハードウェア構成を示すブロック図である。 本発明の実施形態における複数の光電変換部を有する画素に光信号が入射する様子を説明するための図である。 本発明の実施形態における被写体像が結像面に結像する様子を示す図である。 本発明の実施形態における深度合成の撮像の一例を説明するための図である。 本発明の実施形態において深度合成のための撮像を説明するためのフローチャートである。 本発明の実施形態におけるピント位置と実効Ｆ値との関係を説明するための図である。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は、本実施形態に係る撮像装置であるデジタルカメラの概略構成を示す背面斜視図である。

デジタルカメラ１００の背面には、画像や各種の情報を表示する表示部１０１と、ユーザによる各種操作を受け付ける各種スイッチやボタン等の操作部材からなる操作部１０２が設けられている。また、デジタルカメラ１００の背面には、撮像モード等を切り替えるモード切替スイッチ１０４と、回転操作可能なコントローラホイール１０３が設けられている。デジタルカメラ１００の上面には、撮像指示を行うシャッタボタン１２１と、デジタルカメラ１００の電源のオン／オフを切り替える電源スイッチ１２２と、被写体に対して閃光を照射するストロボ１４１が設けられている。ストロボ１４１は、被写界が暗い場合などで、撮像指示と同期して発行し、光量不足を補う。なお、表示部１０１をタッチパネルで構成し、操作部１０２、コントローラホイール１０３、モード切替スイッチ１０４、および、シャッタボタン１２１の機能の一部もしくは全部を表示部１０１に対するユーザのタッチ操作で実現できるようにしてもよい。

デジタルカメラ１００は、有線あるいは無線通信を介して外部装置と接続可能であり、外部装置に画像データ（静止画データ、動画データ）等を出力することができる。デジタルカメラ１００の下面には、蓋１３１により開閉可能な記録媒体スロット（不図示）が設けられており、記録媒体スロットに対してメモリカード等の記録媒体１３０を挿抜することができるようになっている。

記録媒体スロットに格納された記録媒体１３０は、デジタルカメラ１００のシステム制御部２１０（図２参照）と通信可能である。なお、記録媒体１３０は、記録媒体スロットに対して挿抜可能なメモリカード等に限定されるものではなく、光学ディスクやハードディスク等の磁気ディスクであってもよく、更に、デジタルカメラ１００の本体に内蔵されていてもよい。

図２は、デジタルカメラ１００のハードウェア構成を示すブロック図である。デジタルカメラ１００は、バリア２０１、撮像レンズ２０２、シャッタ２０３及び撮像部２０４を備える。バリア２０１は、撮像光学系を覆うことにより、撮像光学系の汚れや破損を防止する。撮像レンズ２０２は、ズームレンズ、フォーカスレンズを含むレンズ群により構成されており、撮像光学系を構成する。シャッタ２０３は、絞り機能を備え、撮像部２０４に対する露光量を調節する。撮像部２０４は、光学像を電気信号（アナログ信号）に変換する撮像素子であり、例えば、ＲＧＢの画素が規則的に配置されたベイヤー配列構造を有するＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサである。なお、シャッタ２０３は、機械式シャッタ（以下、メカシャッタという）であってもよいし、撮像素子のリセットタイミングの制御によって蓄積時間を制御する電子シャッタであってもよい。

または、撮像部２０４は、１つ画素に複数の光電変換部を備え、ステレオ画像を取得できる構造となっており、位相差検出による自動焦点検出（ＡＦ）処理を実施することができる。

図３は、本実施形態における複数の光電変換部を有する画素に光信号が入射する様子を説明するための図である。

図３では、画素アレイ３０１が、マイクロレンズ３０２と、カラーフィルタ３０３と、光電変換部３０４および３０５を備えている。光電変換部３０４と３０５とは、同じ画素に属し、共通する１つのマイクロレンズ３０２と１つのカラーフィルタ３０３に対応する。図３はデジタルカメラ１００を上から見た図であって、１つの画素に対応する２つの光電変換部３０４と３０５が左右に並んで配置されていることを示している。射出瞳３０６から出る光束のうち、光軸３０９を境にして、上側の光束（領域３０７からの光束に相当）は光電変換部３０５に入射し、下側の光束（領域３０８からの光束に相当）は光電変換部３０４に入射する。つまり、光電変換部３０４と３０５とはそれぞれ撮像レンズの射出瞳の異なる領域の光を受光している。ここで光電変換部３０４が受光した信号をＡ像、光電変換部３０５で受光した信号をＢ像とすると、Ａ像とＢ像のように、１対の瞳分割画像の位相差に基づいて焦点ズレ量を算出でき、距離情報を取得することができる。特に、撮像素子の全体に、２つの光電変換部を有する画素を全面的に配置すれば、撮像素子が、画面上の任意の位置における被写体の距離情報を得ることができる。

ただし、上述した距離情報は、２つの光電変換部を有する画素でなく、普通の画像を有する撮像素子を用いても得られる。たとえば、撮像部２０４が、複数のレンズの相対位置を変えながら、ピント位置の異なる複数の画像を生成する。後述する画像処理部２０６は、それぞれの画像に対して、ブロックに分割し、分割したブロックのコントラストを算出する。画像処理部２０６は、撮像した複数の画像の同じ位置にあるブロックのコントラストを比較し、コントラストの最も大きいブロックを合焦しているブロックと判断する。最後に、画像処理部２０６は、合焦しているブロックが撮影された画像のピント位置から、各々のブロックの距離情報を求めればよい。

デジタルカメラ１００は、Ａ／Ｄ変換器２０５、画像処理部２０６、メモリ制御部２０７、Ｄ／Ａ変換器２０８、メモリ２０９及びシステム制御部２１０を備える。撮像部２０４からＡ／Ｄ変換器２０５へアナログ信号が出力され、Ａ／Ｄ変換器２０５は、取得したアナログ信号をデジタル信号からなる画像データに変換して、画像処理部２０６またはメモリ制御部２０７へ出力する。

画像処理部２０６は、Ａ／Ｄ変換器２０５から取得した画像データまたはメモリ制御部２０７から取得したデータに対して、画素補間やシェーディング補正等の補正処理、ホワイトバランス処理、γ補正処理、色変換処理等を行う。また、画像処理部２０６は、画像の切り出しや変倍処理を行うことで電子ズーム機能を実現する。更に、画像処理部２０６は撮像した画像の画像データを用いて所定の演算処理を行い、こうして得られた演算結果に基づいてシステム制御部２１０が露光制御や測距制御を行う。例えば、システム制御部２１０により、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（ストロボプリ発光）処理が行われる。画像処理部２０６は、撮像した画像の画像データを用いて所定の演算処理を行い、得られた演算結果を用いて、システム制御部２１０はＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

画像処理部２０６は、画像合成処理回路を有する。なお、画像処理部２０６を備える構成の代わりに、システム制御部２１０によるソフトウェア処理によって画像合成処理の機能を実現する構成としてもよい。

具体的に、画像処理部２０６は合成の処理として、加算合成処理、加重加算合成処理、などが可能である。合成前の画像データのそれぞれの画素値をＩ＿ｉ（ｘ，ｙ）（ｉ＝１〜Ｎ，ｘ，ｙは画面内の座標を表す）、それらのＮ枚の画像の合成後の画像の画素値をＩ（ｘ，ｙ）とする。ここで画素値としては、ＡＷＢ処理がなされた後に出力されるベイヤー配列のＲ、Ｇ１、Ｇ２、Ｂの各信号の値でもよいし、Ｒ、Ｇ１、Ｇ２、Ｂの信号のグループから得られる輝度信号の値（輝度値）でもよい。このとき、ベイヤー配列の信号を、画素毎にＲ、Ｇ、Ｂの信号が存在するように補間処理してから、画素毎に輝度値を算出しても良い。輝度値は、たとえば下記の（式１）を用いて算出される。
Ｙ＝０．３×Ｒ＋０．５９×Ｇ＋０．１１×Ｂ ・・・（式１）

複数の画像データ間で必要に応じて位置合わせ等の処理を行い対応づけられた各画素値について、各処理は下記の式に従って行われる。

加算合成処理は、下記の（式２）を用いて算出できる。
Ｉ（ｘ，ｙ）＝Ｉ＿１（ｘ，ｙ）＋Ｉ＿２（ｘ，ｙ）＋・・・＋Ｉ＿Ｎ（ｘ，ｙ） ・・・・・・（式２）

加重加算合成処理は、ａｋを重み付け係数として、下記の（式３）を用いて算出できる。
Ｉ（ｘ，ｙ）＝（ａ１×Ｉ＿１（ｘ，ｙ）＋ａ２×Ｉ＿２（ｘ，ｙ）＋・・・＋ａＮ×Ｉ＿Ｎ（ｘ，ｙ））／Ｎ ・・・（式３）

Ａ／Ｄ変換器２０５から出力される画像データは、画像処理部２０６及びメモリ制御部２０７を介して、或いは、メモリ制御部２０７を介して、メモリ２０９に書き込まれる。メモリ２０９は、表示部１０１に表示する画像データを格納する画像表示用メモリ（ビデオメモリ）を兼ねている。メモリ２０９は、所定枚数の静止画像、パノラマ画像（広角画像）、パノラマ画像合成結果を格納することができる記憶容量を備えている。なお、メモリ２０９は、システム制御部２１０が不揮発性メモリ２１１から読み出したプログラム等を展開する作業領域として用いることもできる。

メモリ２０９に格納されている画像表示用データ（デジタルデータ）は、Ｄ／Ａ変換器２０８に送信される。Ｄ／Ａ変換器２０８は、受信したデジタルデータをアナログ信号に変換して表示部１０１に供給し、これにより、表示部１０１に画像が表示される。表示部１０１は、液晶ディスプレイまたは有機ＥＬディスプレイ等の表示装置であり、Ｄ／Ａ変換器２０８からのアナログ信号に基づいて画像を表示する。表示部１０１における画像表示のオン／オフは、システム制御部２１０によって切り替えられ、画像表示をオフにすることで電力消費を低減させることができる。なお、撮像部２０４からＡ／Ｄ変換器２０５を通じてメモリ２０９に蓄積されるデジタル信号をＤ／Ａ変換器２０８によりアナログ信号に変換して表示部１０１に逐次表示することにより、スルー画像を表示する電子ビューファインダ機能を実現することができる。

デジタルカメラ１００は、不揮発性メモリ２１１、システムタイマ２１２、システムメモリ２１３、検出部２１５及びストロボ制御部２１７を備える。不揮発性メモリ２１１は、電気的に消去や記憶が可能なメモリ（例えば、ＥＥＰＲＯＭ等）であり、システム制御部２１０が実行するプログラムや動作用の定数等を格納する。ここでいうプログラムは、後述する本実施形態における各種フローチャートを実行するためのプログラムである。また、不揮発性メモリ２１１は、システム情報を記憶する領域やユーザ設定情報を記憶する領域を有しており、システム制御部２１０は、デジタルカメラ１００の起動時に不揮発性メモリ２１１に記憶された種々の情報や設定を読み出して復元する。

システム制御部２１０は、ＣＰＵを備え、不揮発性メモリ２１１に記憶されている各種のプログラムコードを実行することにより、デジタルカメラ１００の全体的な動作を制御する。なお、システム制御部２１０が不揮発性メモリ２１１から読み出したプログラムや動作用の定数、変数等は、システムメモリ２１３上に展開される。システムメモリ２１３には、ＲＡＭが用いられる。更に、システム制御部２１０は、メモリ２０９やＤ／Ａ変換器２０８、表示部１０１等を制御することにより、表示制御を行う。システムタイマ２１２は、各種の制御に用いる時間や内蔵された時計の時間を計測する。ストロボ制御部２１７は、被写体の明るさに応じて、ストロボ１４１の発光を制御する。検出部２１５は、ジャイロや加速度センサなどを含み、デジタルカメラ１００の角速度情報、姿勢情報等を取得する。なお、角速度情報は、デジタルカメラ１００によるパノラマ撮像時の角速度及び角加速度の情報を含む。また、姿勢情報は、水平方向に対するデジタルカメラ１００の傾き等の情報を含む。

図２に示される表示部１０１、操作部１０２、コントローラホイール１０３、シャッタボタン１２１、モード切替スイッチ１０４、電源スイッチ１２２及びストロボ１４１は、図１を参照して説明したものと同じである。

操作部１０２を構成する各種の操作部材は、例えば、表示部１０１に表示される種々の機能アイコンの選択に用いられ、所定の機能アイコンが選択されることにより、場面毎に機能が割り当てられる。即ち、操作部１０２の各操作部材は、各種の機能ボタンとして作用する。機能ボタンとしては、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン、ＤＩＳＰボタン等が挙げられる。例えば、メニューボタンが押下されると、各種の設定を行うためのメニュー画面が表示部１０１に表示される。ユーザは、表示部１０１に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて、直感的に設定操作を行うことができる。

回転操作が可能な操作部材であるコントローラホイール１０３は、４方向ボタンと共に選択項目を指定するとき等に使用される。コントローラホイール１０３を回転操作すると、操作量（回転角度や回転回数等）に応じた電気的なパルス信号が発生する。システム制御部２１０は、このパルス信号を解析して、デジタルカメラ１００の各部を制御する。また、ここでのコントローラホイール１０３は、回転操作が検出できる操作部材であればどのような物でもよい。たとえば、ユーザの回転操作に応じてパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール１０３上でのユーザの指の回転動作などを検出するものであってもよい（いわゆる、タッチホイール）。

シャッタボタン１２１は、第１スイッチＳＷ１と第２スイッチＳＷ２を有する。第１スイッチＳＷ１は、シャッタボタン１２１の操作途中の半押し状態でオンとなり、これにより、撮像準備を指示する信号がシステム制御部２１０に送信される。システム制御部２１０は、第１スイッチＳＷ１がオンになった信号を受信すると、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作を開始する。第２スイッチＳＷ２は、シャッタボタン１２１の操作が完了する全押し状態でオンとなり、これにより、撮像開始を指示する信号がシステム制御部２１０に送信される。システム制御部２１０は、第２スイッチＳＷ２がオンになった信号を受信すると、撮像部２０４からの信号読み出しから記録媒体１３０への画像データの書き込みまでの一連の撮像動作を行う。

モード切替スイッチ１０４は、デジタルカメラ１００の動作モードを、静止画撮像モード、動画撮像モード、再生モード等の各種モードの間で切り替えるためのスイッチである。静止画撮像モードと動画撮像モードとそれぞれは、さらに、オート撮像モード、オートシーン判別モード、マニュアルモード、撮像シーン別の撮像設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等を含む。静止画撮像モードは、さらに、パノラマ撮像（広角画像合成）によりパノラマ画像を合成するパノラマ画像撮像モードを含む。

デジタルカメラ１００は、電源部２１４及び電源制御部２１８を備える。電源部２１４は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、或いは、ＡＣアダプタ等であり、電源制御部２１８へ電力を供給する。電源制御部２１８は、電源部２１４における電池の装着の有無、電池の種類、電池残量等を検出し、その検出結果及びシステム制御部２１０の指示に基づいて、必要な電圧を必要な期間、記録媒体１３０を含む各部へ供給する。

デジタルカメラ１００は、記録媒体１３０が記録媒体スロット（不図示）に装着された際に、記録媒体１３０とシステム制御部２１０との間の通信を可能にするためのＩ／Ｆ２１６を備える。記録媒体１３０の詳細については、図１を参照して既に説明しているため、ここでの説明を省略する。

次に、深度合成（フォーカスブラケット）について簡単に説明する。

図４は、本実施形態における被写体像が結像面に結像する様子を示す図である。

図４（ａ）は、被写体４０１が光学レンズ４０２によって面４０３ａ上に像４０４として結像している様子を示している。すなわち、面４０３ａと撮像素子の撮像センサ面とが互いに一致すれば、被写体４０１は面４０３ａにて「点」として結像し、合焦画像として記録される。

図４（ｂ）は、像の結像面と撮像センサ面とが一致しない場合を示している。撮像センサ面４０３ｂが図４（ａ）に示される面４０３ａとは異なる位置にある場合、光学レンズ４０２により結像される被写体４０１は、錯乱円４０５として撮像センサ面４０３ｂ上に写る。このとき、錯乱円４０５が撮像センサの許容錯乱円よりも小さい場合、錯乱円４０５は合焦した場合の「点」と同等とみなすことができ、合焦画像と同等の画像が得られる。一方、錯乱円４０５が許容錯乱円よりも大きい場合、撮像センサ面４０３ｂではぼけた画像が得られる。

図４（ｃ）は、上記の様子を側面から示した図である。ここで、焦点４１０にて被写体が結像し、面４１１ａの位置に撮像センサ面が存在する場合、錯乱円径４１２ａが得られる。このときの錯乱円径４１２ａは、撮像センサの許容錯乱円径４１３よりも小さい。このため、撮像センサにて記録される画像４１７は、ぼけの無い合焦画像となる。一方、撮像センサ面が面４１４ａの位置に存在する場合、このときの錯乱円径４１５ａは、許容錯乱円径４１３よりも大きい。このため、撮像センサ面４１４ａ上の画像４１８ａは、ぼけた画像となる。錯乱円径４１２ａが許容錯乱円径４１３よりも小さくなる斜線で示される領域は被写界深度４１６ａであり、これを被写体側に換算して置き換えたものが被写界深度となる。

図４（ｄ）は、図４（ｃ）と比べて、絞りを絞った状態を示す図である。絞りを絞った状態では、図４（ｃ）の錯乱円径４１２ａと４１５ａがそれぞれ、面４１１ｂに対しての錯乱円径４１２ｂ、面４１４ｂに対しての錯乱円径４１５ｂとなるように変化する。このとき、図４（ｃ）の錯乱円径４１５ａと比較して、図４（ｄ）の錯乱円径４１５ｂは小さい。このため、そのときに得られる画像４１８ｂは、画像４１８ａよりもぼけ量の少ない画像となる。また、そのときの被写界深度４１６ｂは、被写界深度４１６ａよりも深い。

図５は、本実施形態における深度合成の撮像の一例を説明するための図である。ここでは、合焦させる被写体として、被写体５１乃至５３を想定している。それぞれの被写体５１乃至５３は、互いに異なる距離（被写体距離）に存在するものとし、デジタルカメラ１００に近い側から（近距離側から遠距離側に向かう方向に）被写体５１、５２、５３の順に位置している。デジタルカメラ１００の構造上、１回の撮像で被写体５１乃至５３を全部被写界深度に入れることができない。また、より高い解像感を得るため、各々の画像の被写界深度を浅くすることもある。こうした場合では、複数の被写体５１乃至５３のすべてに対して合焦した深度合成画像を得るには、フォーカスブラケット撮像を行う焦点範囲５００（ブラケット範囲）を、複数の被写界深度でカバーする必要がある。被写界深度５１１乃至５１６は、それぞれの撮像における被写界深度を示し、焦点範囲５００をカバーするように並んでいる。すなわち、被写界深度５１１乃至５１６となるピント位置で同じ画角に対して撮像（６回の撮像）を行うことにより、焦点範囲５００の範囲内の被写体５１乃至５３は、いずれかの画像において合焦した状態となる。このようにして撮像された複数の画像の同じ位置から、最も先鋭度が高い画素、即ち最も焦点の合った画像の画素値を選択し、合成することにより、焦点範囲５００の全域（ブラケット全域）で合焦した画像を得ることができる。

以上に説明した深度合成の撮像では、合成に用いる各々の画像を撮像するときの実効Ｆ値が同じであることが望ましい。合成に用いる画像を撮像するときの実効Ｆ値に大きな差が出てしまうと、合成画像にムラが出てしまう可能性がある。具体的に、実効Ｆ値が変わることにより撮像した画像の明るさに差が出ると、合成画像に明るさのムラができてしまう。また、実効Ｆ値が変わることにより撮像画像の深度の入り方に差が出ると、合成画像に解像度のムラができてしまう。

また、デジタルカメラに供されるレンズはピント位置の違いによって、開放Ｆ値に違いが出る。特に深度合成のための画像を撮像する場合によく用いられる近接撮像用のレンズは、至近端での実効Ｆ値と、無限遠での実効Ｆ値に大きな差があり、一般的に至近側の方の実効Ｆ値が暗い（実効Ｆ値の値が大きい）場合が多い。そのため、至近側から無限遠側にピントを移動しながら撮像開始時に設定した撮像条件で深度合成のための撮像を行おうとすると、実効Ｆ値の変化に伴い撮像する一連の画像の明るさが変化してしまう。その結果、合成画像に明るさのムラが出来てしまう可能性がある。また、合成に用いる画像の深度の入り方が異なると、合成画像に解像度のムラが出てしまう可能性もある。

本実施形態において、上記の課題を解決するために、以下のように、深度合成のための撮像を行う。図６は、本実施形態において深度合成のための撮像を説明するためのフローチャートである。

ステップＳ６０１で、システム制御部２１０は、ユーザの入力またはデフォルト設定に従って、撮像条件の設定を行う。ここでいう撮像条件には、まず、撮像画像の枚数やピント位置などが含まれる。たとえば、ユーザは表示部１０１が兼用するタッチパネルを通して合焦位置を指定し、その合焦位置に相当するピント位置の光軸方向の前後に等間隔に複数のピント位置を指定する。または、ユーザは表示部１０１が兼用するタッチパネルで２つの位置を指定し、この２つの位置の間に等間隔にピント位置を設定してもよい。なお、ピント位置の数（撮像画像の数）については、システム制御部２１０は、処理負荷を考慮して増やしてもよい。システム制御部２１０は、設定したピント位置において、距離順に撮像順番を決める。たとえば、至近側から無限遠側に向かってピント位置を変更させるように設定する。

また、ステップＳ６０１では、システム制御部２１０は、ピント位置に合わせて、撮像するときの被写界深度を設定し、設定した被写界深度に応じてＦ値を決定する。

また、ステップＳ６０１で、システム制御部２１０は、ピント位置や被写界深度以外には、ＩＳＯ感度やシャッタースピードなどの設定も行う。

ステップＳ６０２で、システム制御部２１０は、ステップＳ６０１での設定をもとに撮像する場合の実効Ｆ値を取得し、メモリ２０９に一時保存する。これは、ステップＳ６０５で呼び出すためである。

ステップＳ６０３で、撮像部２０４が、ステップＳ６０１での設定の下で、１枚目の画像の撮像を行う。

ステップＳ６０４で、システム制御部２１０は、ステップＳ６０１で設定した撮像順番に基づいて、ピント位置を変更する。

ステップＳ６０５で、システム制御部２１０は、ステップＳ６０２で保存したＦ値を呼び出して、ステップＳ６０６で撮像を行うときの実効Ｆ値がステップＳ６０２で保存したＦ値と等しくなるように、ステップＳ６０６での実効Ｆ値を調整する。前述したように、ピントを変更して撮像を行う場合では、ピント位置により実効Ｆ値が変わる。ここで撮像するときの実効Ｆ値が、１枚目の画像を撮像するときのＦ値と一致するように調整することにより、合成画像のムラを防止する。

図７は、本実施形態におけるピント位置と実効Ｆ値との関係を説明するための図である。図７では、レンズの絞りを最も開放にしたまま無限遠側から至近側に移動させた場合に、実効Ｆ値が変わってしまうことを示している。このような実効Ｆ値の変化を、予めレンズの情報として取得し、ステップＳ６０５でのＦ値の調整に用いる。たとえば、絞りを開放値であるＦ２．８に設定して撮像したときの至近端での実効Ｆ値はＦ５．６であり、無限遠端での実効Ｆ値はＦ２．８である。つまり、最至近側で絞りを開放値にして撮像し、ピント位置を無限遠側に移動させると、ピント位置が無限遠側にいくにつれ、実効Ｆ値が小さくなる。システム制御部２１０は、予め取得した図７のようなピント位置と実効Ｆ値との関係より、実効Ｆ値を予測し、１枚目の画像以外の画像を撮像するときの実効Ｆ値を、１枚目の実効Ｆ値と同じとなるように絞りを調整する。

また、システム制御部２１０がンズから実効Ｆ値に関する情報を取得できない場合、ステップＳ６０５で実効Ｆ値の調整を行う前に、撮像部２０４が仮撮像を行う。システム制御部２１０が、仮撮像で得られた画像と、その前に撮像した画像の明るさを比較して、実効Ｆ値がどの程度変化したかを推定し、この推定結果に基づいて目標とする実効Ｆ値を算出して、絞りを絞る。

なお、ここでは、表示部１０１は、実効Ｆ値を表示するようにしてもよい。もしくは、実効Ｆ値と公称Ｆ値と異なるとき、表示部１０１が警告を表示する。

ステップＳ６０６で、撮像部２０４が、ステップＳ６０５での調整した設定の下で撮像する。

ステップＳ６０７で、システム制御部２１０が、撮像を終了させるかどうかについて判断する。撮像を終了させる場合、ステップＳ６０８に進み、合成処理を行う。撮像を終了させない場合、ステップＳ６０４に戻り、ピント位置を移動し、次のフレームの画像の撮像を行う。

ステップＳ６０８で、システム制御部２１０は、深度合成の処理を行う。

深度合成の方法の一例について説明する。まず、システム制御部２１０は、合成の対象となる２つの画像の位置のずれ量を算出する。算出方法の一例は、以下に述べる。まず、システム制御部２１０は、片方の画像に、複数のブロックを設定する。システム制御部２１０は、各々のブロックのサイズが同じになるように設定することが好ましい。次に、システム制御部２１０は、もう片方の画像に、設定したそれぞれのブロックと同じ位置に、該ブロックよりも広い範囲を、探索範囲を設定する。最後に、システム制御部２１０は、もう片方の画像のそれぞれの探索範囲に、最初に設定したブロックとの輝度の差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤをいう）が最小となる対応点を算出する。システム制御部２１０は、最初に設定したブロックの中心と前述した対応点から、位置のずれをベクトルとして算出する。システム制御部２１０は、前述する対応点の算出において、ＳＡＤのほかに、差分二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。

次に、システム制御部２１０は位置のずれ量から変換係数を算出する。システム制御部２１０は、変換係数として、例えば射影変換係数を用いる。ただし、変換係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した変換係数を用いてもよい。

たとえば、システム制御部２１０は、（式４）に示した式を用いて変形を行うことができる。

（式４）では、（ｘ´，ｙ´）は変形を行った後の座標を示し、（ｘ，ｙ）は変形を行う前の座標を示す。

次に、画像処理部２０６は、位置合わせを行った後のそれぞれの画像に対してコントラスト値を算出する。コントラスト値の算出方法の一例としては、たとえば、まず、画像処理部２０６は、それぞれの画素の色信号Ｓｒ、Ｓｇ、Ｓｂから、下記の（式５）を用いて輝度Ｙを算出する。
Ｙ ＝ ０．２９９Ｓｒ ＋ ０．５８７Ｓｇ ＋ ０．１１４Ｓｂ・・・（式５）

次に、３×３の画素の輝度Ｙの行列Ｌに、下記の（式６）乃至（式８）に示したように、ソーベルフィルタを用いてコントラスト値Ｉを算出する。

また、上述のコントラスト値の計算方法は一例にすぎず、たとえば、使用するフィルタをラプラシアンフィルタ等のエッジ検出フィルタや所定の帯域を通過するバンドパスフィルタを用いることも可能である。

次に、画像処理部２０６は、合成マップを生成する。合成マップの生成方法としては、画像処理部２０６は、それぞれの画像の同じ位置にある画素のコントラスト値を比較し、コントラスト値の最も高い画素の合成比率を１００％とし、同じ位置にあるほかの画素の合成比率を０％とする。画像処理部２０６は、こうした合成比率の設定を、画像のすべての位置に対して行う。

最後に、画像処理部２０６は、合成マップに従い画素の置き換えを行い、合成画像を生成する。なお、このようにして算出した合成比率に対して、隣接画素間で合成比率が０％から１００％に変化（あるいは１００％から０％に変化）すると、合成境界での不自然さが目立つようになる。そのため、合成マップに対して所定の画素数（タップ数）を持つフィルタをかけ、隣接画素間で合成比率が急激に変化しないようにする。

なお、上記実施形態では、至近端から無限遠端までピント位置をずらして撮像する例を挙げて説明を行ったが、被写体によっては、その一部のピント位置で足りる場合もある。例えば、至近端にピント位置を合わせた画像が不要であるならば、至近端のピント位置を用いる場合に比べて、実効Ｆ値の最大値を小さくすることができる。そのため、一連の撮像を開始する前に、予め深度合成の領域を算出し、深度合成の領域における最大の実効Ｆ値を算出し、この実効Ｆ値を、それぞれのピント位置での実効Ｆ値の目標値とすることが好ましい。

また、無限遠側から至近側に向かってピント位置をずらして撮像する場合は、実効Ｆ値を維持するためには絞りの開口径を段階的に大きくする必要があるが、途中で開放端に達してしまう可能性がある。このとき、ピント位置を至近端に移動させるほど画像が暗くなるが、絞りの開口径をそれ以上大きくすることはできない。

このような場合は、システム制御部２１０が、ゲインであるＩＳＯ感度や、露光時間であるシャッタースピードなどを調整することで、実効Ｆ値の違いによる明るさの差異を補正する。このとき、解像度のムラは残ってしまう可能性があるが、明るさのムラは抑制することができる。なお、ＩＳＯ感度を変更するとノイズ量が変わってしまうので、シャッタースピードを優先して変更する方が望ましい。

さらに、上記実施形態では、実効Ｆ値によるムラを抑制するために、まずは絞りを調整する方法を例に挙げて説明を行ったが、これに限られるものではない。ピント位置に応じて、絞りを変更せずに、ＩＳＯ感度およびシャッタースピードの一方、もしくは両方を変更するようにしてもよい。この場合は、それぞれの画像間で解像度のムラが生じる可能性はあるが、少なくとも画像間の明るさのムラは抑制することができる。すなわち、ピント位置の違いにより実効Ｆ値が異なり、この実効Ｆ値が異なることに起因して、画像に生じてしまった影響を補正するように、撮像に関する少なくともいずれかのパラメータを調整する構成とすればよい。

このように、本実施形態によれば、デジタルカメラなどの撮像装置は、深度合成した画像にムラがでることを抑制することができる。

なお、以上に説明した実施形態では、撮像から合成までの処理は、同一の装置内において行われるが、これに限るわけではない。たとえば、撮像の処理を撮像装置などで実行し、合成の処理を、ＰＣやサーバーといった別の処理装置を用いて実行するようにしてもよい。

（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０２ 操作部
１０４ モード切替スイッチ
１３０ 記録媒体
２０４ 撮像部
２０６ 画像処理部
２０７ メモリ制御部
２０９ メモリ
２１０ システム制御部
２１５ 検出部
２１６ Ｉ／Ｆ

Claims (17)

1. 光軸方向でのピント位置が異なる複数の画像を撮像する撮像手段と、
   前記撮像手段が前記複数の画像のうちの１枚の画像を撮像するときの実効Ｆ値を取得する取得手段と、
   前記複数の画像の少なくとも一部の画像を撮像する際に、前記取得手段が取得した前記実効Ｆ値と等しくなるように、撮像に関するパラメータを調整する調整手段と、
   前記複数の画像に対して合成を行う合成手段と、を有することを特徴とする撮像装置。
2. 前記調整手段は、前記少なくとも一部の画像を撮像する際の前記実効Ｆ値を等しくするために、絞りを調整することを特徴とする請求項１に記載の撮像装置。
3. 前記調整手段は、ピント位置の違いによって実効Ｆ値が異なることに起因する明るさの影響を補正するように、露光時間とゲインの少なくともいずれかを調整することを特徴とする請求項１または２に記載の撮像装置。
4. 前記調整手段が、前記実効Ｆ値を等しくするために絞りを調整することができない場合に、ピント位置の違いによって実効Ｆ値が異なることに起因する明るさの影響を補正するように、露光時間とゲインの少なくともいずれかを調整することを特徴とする請求項１または２に記載の撮像装置。
5. 前記調整手段は、前記ゲインよりも前記露光時間を優先して調整することを特徴とする請求項４に記載の撮像装置。
6. 前記複数の画像は、少なくとも一部の画角が重なることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記合成手段が、前記複数の画像を用いて合成画像を生成し、
   前記合成画像の被写界深度が、前記複数の画像のそれぞれの被写界深度よりも深いことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記複数の画像の少なくとも一部の画像の前記ピント位置は、等間隔であることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記複数の画像の少なくとも一部の画像の被写界深度は同じであることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記撮像手段は、前記ピント位置を、至近側から無限遠側に移動させながら、前記複数の画像を撮像することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記取得手段が、前記複数の画像のうち、最初に撮像される前記画像の前記実効Ｆ値を取得することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 前記取得手段は、前記撮像手段が絞りを最も開放にして前記画像を撮像するときの前記実効Ｆ値を取得することを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 表示手段を有し、
    前記表示手段が前記実効Ｆ値を表示することを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
14. 警告手段を有し、
    前記撮像手段が前記画像を撮像するときの前記実効Ｆ値と公称Ｆ値とが異なるとき、前記警告手段が警告することを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
15. 光軸方向でのピント位置が異なる複数の画像を撮像する撮像ステップと、
    前記撮像ステップにおいて前記複数の画像のうちの１枚の画像を撮像するときの実効Ｆ値を取得する取得ステップと、
    前記複数の画像の少なくとも一部の画像を撮像する際に、前記取得ステップにおいて取得した前記実効Ｆ値と等しくなるように、撮像に関するパラメータを調整する調整ステップと、
    前記複数の画像に対して合成を行う合成ステップと、を有することを特徴とする撮像方法。
16. 撮像装置をコンピュータに動作させるコンピュータのプログラムであって、
    光軸方向でのピント位置が異なる複数の画像を撮像する撮像ステップと、
    前記撮像ステップにおいて前記複数の画像のうちの１枚の画像を撮像するときの実効Ｆ値を取得する取得ステップと、
    前記複数の画像の少なくとも一部の画像を撮像する際に、前記取得ステップにおいて取得した前記実効Ｆ値と等しくなるように、撮像に関するパラメータを調整する調整ステップと、
    前記複数の画像に対して合成を行う合成ステップと、を行わせることを特徴とするプログラム。
17. 請求項１６に記載のプログラムを記録したコンピュータ読出し可能な記録媒体。

Images