JP7409604B2 - 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Description

本発明は、光軸方向でのピント位置の異なる複数の画像を合成する画像処理装置に関するものである。

デジタルカメラなどからの距離が互いに大きく異なる複数の被写体を撮像する場合や、奥行き方向に長い被写体を撮像する場合に、被写界深度が足りないために被写体の一部にしかピントを合わせられない場合がある。これを解決するため、特許文献１には、ピント位置の異なる複数の画像を撮像し、各画像から合焦領域のみを抽出して１枚の画像に合成し、撮像領域全体に合焦している合成画像を生成する、所謂、深度合成の技術が開示されている。そこで、特許文献１では、それぞれの画像の、同じ位置に対応する領域の中で、コントラスト値の最も高い領域を合焦領域とし、合成に用いられる。

特開２０１５－２１６５３２号公報

しかし、深度合成に用いる画像を撮像するとき、どの被写体にもピントが合っていない画像、つまり画像の全面がぼけている画像（以下、全面ボケ画像）を撮像する可能性がある。全面ボケ画像は、どの被写体にもピントがあっていないため、合成画像の作成に使うべきでないが、高輝度領域や移動体領域などが存在すると、誤って合成画像に使われてしまうことがある。

図７は、全面ボケ画像を含む複数の画像に対して深度合成を行うことを説明するための図である。図７（ａ）ないし図７（ｄ）は手前側から順に無限遠側にピント位置を異ならせて撮像した場合の画像を示している。図７（ａ）ないし（ｃ）のそれぞれにおける斜線領域は各画像中の合焦領域を示している。図７の（ｄ）は、ピント位置が無限遠でどの被写体にもあっていない画像を示しており、合焦領域が存在しない全面ボケ画像を示している。図７（ｄ）は、図７（ａ）ないし図７（ｄ）に示した画像に対して深度合成を行う際の理想の合成画像を示している。しかしながら、たとえば強い逆光シーンなどの場合、図７（ｄ）に示す全面ボケ画像であっても被写体７０１と７０２と高輝度領域７０３の境界部分が高コントラストになる。そのため、深度合成を行うと図７（ｆ）のようにピントが合った被写体７０４と７０５にぼけた高輝度領域７０６が侵食したような合成画像になってしまうことがある。

本発明は、上述した課題を鑑みてなされたものであり、ピント位置の異なる複数の画像の中に含まれる全面ボケ画像を判別し合成対象から外すことで深度合成画像の画質低下を防ぐことができる画像処理装置を提供することを目的とする。

上記課題を解決するため、本願発明は、被写体に対して、光軸方向で異なるピント位置で撮像した複数の画像を用いて合成を行い、合成画像を作成する合成手段と、前記複数の画像のコントラスト値を取得する取得手段と、を有し、前記合成画像の被写界深度が、前記複数の画像の被写界深度よりも深く、前記合成手段が、前記複数の画像のコントラスト値を用いて前記合成を行うときの合成比率を算出し、前記合成手段が、前記複数の画像のコントラスト値を用いて前記複数の画像のうち、前記被写体にピントがあっていない画像を判断し、該画像を前記合成に用いず、前記合成手段は、前記複数の画像のうちの第１の画像が、第１の閾値以上の前記合成比率を持つ面積が第２の閾値より小さい、もしくは、前記第１の画像と隣り合うフレームの第２の画像との前記面積の変化が第３の閾値より大きい場合、前記第１の画像を、前記被写体にピントがあっていない画像と判断する画像処理装置を提供する。

本発明の構成によれば、ピント位置の異なる複数の画像の中に含まれる全面ボケ画像を判別し合成対象から外すことで深度合成画像の画質低下を防ぐことができる。

本発明の実施形態に係るデジタルカメラの構造を示すブロック図である。 本発明の実施形態における合成画像の生成について説明するためのフローチャートである。 本発明の実施形態における撮像について説明するためのフローチャートである。 本発明の実施形態における位置合わせについて説明するためのフローチャートである。 本発明の実施形態における画像の合成について説明するためのフローチャートである。 本発明の実施形態における全面ボケ画像判定について説明するためのフローチャートである。 全面ボケ画像を含む複数の画像に対して深度合成を行うことを説明するための図である。 本発明の実施形態における合成マップを説明するための図である。 本発明の実施形態における合成マップの第１の閾値以上の合成比率をもつ面積を説明するためのグラフである。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は本実施形態に係る画像処理装置としてのデジタルカメラの構造を示すブロック図の一例である。デジタルカメラ１００は、静止画を撮像することができ、かつ、合焦位置の情報を記録し、コントラスト値の算出および画像の合成が可能なものである。さらに、デジタルカメラ１００は、撮像して保存した画像、または、外部から入力した画像に対して、拡大処理または縮小処理を行うことができる。

制御部１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサであり、予め後述するＲＯＭ１０５に内蔵されたプログラムを読み出しながら、デジタルカメラ１００の各部分を制御する。たとえば、後述するように、制御部１０１が、後述する撮像部１０４に対して撮像の開始と終了について指令を出す。または、後述する画像処理部１０７に対して、ＲＯＭ１０５に内蔵されたプログラムに基づいて、画像処理の指令を出す。ユーザによる指令は、後述する操作部１１０によってデジタルカメラ１００に入力され、制御部１０１を通して、デジタルカメラ１００の各部分に達する。

駆動部１０２は、モーターなどによって構成され、制御部１０１の指令の下で、後述する光学系１０３を機械的に動作させる。たとえば、制御部１０１の指令に基づいて、駆動部１０２が光学系１０３に含まれるフォーカスレンズの位置を移動させ、光学系１０３の焦点距離を調整する。

光学系１０３は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。レンズの位置を変えることによって、合焦位置を変えることができる。

撮像部１０４は、光電変換素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。たとえば、撮像部１０４に、ＣＣＤセンサやＣＭＯＳセンサなどを適用することができる。撮像部１０４は、動画撮像モードを設け、時間的に連続する複数の画像を動画の各々のフレームとして、撮像することができる。

ＲＯＭ１０５は、記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。ＲＡＭ１０６は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

画像処理部１０７は、撮像部１０４から出力された画像、あるいは後述する内蔵メモリ１０９に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。また、撮像部１０４が撮像した画像信号のデータに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。

画像処理部１０７は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御部１０１がＲＯＭ１０５から読み出したプログラムに従って処理することで、制御部１０１が画像処理部１０７の機能の一部または全部を兼用するようにしてもよい。制御部１０１が画像処理部１０７の全ての機能を兼用する場合には、画像処理部１０７をハードウェアとして有する必要はなくなる。

表示部１０８は、ＲＡＭ１０６に一時保存されている画像、または、後述する内蔵メモリ１０９に保存されている画像、あるいは、デジタルカメラ１００の設定画面などを表示するための液晶ディスプレイや有機ＥＬディスプレイなどである。

内蔵メモリ１０９は、撮像部１０４が撮像した画像や画像処理部１０７の処理を得た画像、および、画像撮像時の合焦位置の情報などを記録する場所である。内蔵メモリの代わりに、メモリカードなどを用いてもよい。

操作部１１０は、たとえば、デジタルカメラ１００につけるボタンやスイッチ、キー、モードダイアルなど、あるいは、表示部１０８に兼用されるタッチパネルなどである。ユーザによる指令は、操作部１１０を経由して、制御部１０１に達する。

図２は、本実施形態における合成画像の生成について説明するためのフローチャートである。ステップＳ２０１では、撮像部１０４は、ピント位置の異なる複数の画像を撮像する。ステップＳ２０２では、制御部１０１は、ステップＳ２０１で撮像部１０４が撮像した複数の画像に対して位置合わせを行う。ステップＳ２０３で、画像処理部１０７は、位置合わせを行った後の画像に対して合成を行い、被写界深度のより深い合成画像を生成する。以下では、それぞれのステップについて詳細に説明する。

図３は、本実施形態におけるステップＳ２０１での撮像について説明するためのフローチャートである。

ステップＳ３０１で、制御部１０１は、ピント位置の設定を行う。たとえば、ユーザは表示部１０８が兼用するタッチパネルを通して合焦位置を指定し、指定された合焦位置に相当するピント位置の光軸方向の前後に等間隔に複数のピント位置を指定する。同時に、制御部１０１は、設定したピント位置において、距離順に撮像順番を決める。

ステップＳ３０２で、撮像部１０４は、ステップＳ３０１で設定したピント位置のうち、未撮像のものの中で、撮像順番が最も先のピント位置において撮像する。

ステップＳ３０３で、制御部１０１は、ステップＳ３０１で設定したすべてのピント位置において撮像を行ったかどうかについて判断する。すべてのピント位置に撮像した場合は、このフローチャートでの処理を終了し、まだ撮像していないピント位置があれば、ステップＳ３０２に戻る。

また、撮像部１０４を複数有する多眼カメラの場合、ステップＳ３０１で設定された複数のピント位置で同時に撮像してもよい。

図４は、本実施形態におけるステップＳ２０２での位置合わせについて説明するためのフローチャートである。

ステップＳ４０１では、制御部１０１は、ステップＳ２０１で撮像部１０４が撮像した画像のうちから、位置合わせの基準画像を取得する。位置合わせの基準画像は、たとえば、撮像順番が最も早いものとする。あるいは、ピント位置を変えながら撮像することで、わずかながら撮像された画像間で画角が変化するため、撮像した画像の中で画角が最も狭いものにしてもよい。

ステップＳ４０２では、制御部１０１は、位置合わせの処理の対象画像を取得する。対象画像は、ステップＳ４０１で取得した基準画像以外の画像で、位置合わせの処理が済んでいないものとする。制御部１０１は、撮像順番が最も早いものを基準画像とするならば、撮像した順番で順次に対象画像を取得すればよい。

ステップＳ４０３では、制御部１０１は、基準画像と対象画像との位置のずれ量を算出する。算出方法の一例は、以下に述べる。まず、制御部１０１は、基準画像に、複数のブロックを設定する。制御部１０１は、各々のブロックのサイズが同じになるように設定することが好ましい。次に、制御部１０１は、対象画像の、基準画像のそれぞれのブロックと同じ位置に、基準画像のブロックよりも広い範囲を、探索範囲を設定する。最後に、制御部１０１は、対象画像のそれぞれの探索範囲に、基準画像のブロックとの輝度の差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤをいう）が最小となる対応点を算出する。制御部１０１は、基準画像のブロックの中心と前述した対応点から、ステップＳ４０３でいう位置のずれをベクトルとして算出する。制御部１０１は、前述する対応点の算出において、ＳＡＤのほかに、差分二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。

ステップＳ４０４で、制御部１０１で、基準画像と対象画像との位置のずれ量から変換係数を算出する。制御部１０１は、変換係数として、例えば射影変換係数を用いる。ただし、変換係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した変換係数を用いてもよい。

ステップＳ４０５で、画像処理部１０７は、ステップＳ４０４で算出した変換係数を用いて対象画像に対して変換を行う。

たとえば、制御部１０１は、（式１）に示した式を用いて変形を行うことができる。

式（１）では、（ｘ´、ｙ´）は変形を行った後の座標を示し、（ｘ、ｙ）は変形を行う前の座標を示す。行列ＡはステップＳ４０４で制御部１０１が算出した変形係数を示す。

ステップＳ４０６で、制御部１０１は、基準画像以外のすべての画像に対して位置合わせを行ったかどうかについて判断する。基準画像以外のすべての画像に対して位置合わせを行った場合は、このフローチャートでの処理を終了し、まだ処理していない画像があれば、ステップＳ４０２に戻る。

また、上述した多眼カメラで撮像された複数の画像を位置合わせする場合、光学系１０３の位置の違いにより生まれる視差量をステップＳ４０３でずれ量算出で求める事が出来るため、同様の処理で位置合わせを行うことが出来る。

図５は、本実施形態におけるステップＳ２０３での画像の合成について説明するためのフローチャートである。

ステップ５０１で、画像処理部１０７は、位置合わせを行った後のそれぞれの画像（基準画像を含む）に対してコントラスト値を算出する。コントラスト値の算出方法の一例としては、たとえば、まず、画像処理部１０７は、それぞれの画素の色信号Ｓｒ、Ｓｇ、Ｓｂから、下記の式（２）を用いて輝度Ｙを算出する。
Ｙ ＝ ０．２９９Ｓｒ ＋ ０．５８７Ｓｇ ＋ ０．１１４Ｓｂ・・・式（２）

次に、３×３の画素の輝度Ｙの行列Ｌに、下記の（式３）ないし（式５）に示したように、ソーベルフィルタを用いてコントラスト値Ｉを算出する。

また、上述のコントラスト値の計算方法は一例にすぎず、たとえば、使用するフィルタをラプラシアンフィルタ等のエッジ検出フィルタや所定の帯域を通過するバンドパスフィルタを用いることも可能である。

ステップＳ５０２で、画像処理部１０７は合成マップを生成する。合成マップの生成方法としては、画像処理部１０７は、それぞれの画像の同じ位置にある画素のコントラスト値を比較し、コントラスト値の大きさに応じた合成比率を算出する。具体的に、同じ位置にある画像のうち、コントラスト値の最も大きい画素に対して１００％の合成比率を与え、同じ位置にある他の画素に対して０％の合成比率を与える。つまり、次の（式６）が成り立つ。

（式６）では、Ｃｍ（ｘ，ｙ）はステップＳ５０１で算出したコントラスト値を表し、Ａｍ（ｘ，ｙ）は合成マップの比率を表し、を生成する。なお、ｍはピント位置の異なる複数画像のうちｍ番目の画像、ｘは画像の水平座標、ｙは垂直座標を示している。

ただし、ステップＳ５０２では、境界部が不自然にならないように合成比率を適宜調整する必要がある。その結果、１枚の画像における合成マップの合成比率は、０％と１００％との二値化のものでなく、連続的に変化するものになる。

ステップＳ５０３では、画像処理部１０７は、ステップ５０２で算出した合成マップを用いて、撮像された複数の画像のうちの１枚の画像に対して全面ボケ画像判定を行う。具体的な方法は後述する。

ステップＳ５０４では、画像処理部１０７は、ステップＳ５０３で判定した結果をもとに処理中の画像が合成に用いられる合成対象画像かどうかの判定を行う。画像処理部１０７は、ステップＳ５０３で全面ボケ画像と判定した画像（後述の合成対象フラグＯＮの画像）を合成対象画像と判定する。合成対象画像である場合にはステップＳ５０５に進み、ステップＳ５０２で算出した合成マップに従い合成を行い、ステップＳ５０６に進む。一方で、合成対象ではない場合には合成を行わず、ステップＳ５０６に進む。

ステップＳ５０６では、すべての画像に対して処理を行った場合には、図５に示したフローの処理を終了し、まだ処理していない画像があればステップＳ５０３に戻る。

前述した通り、もともとステップＳ５０３で全面ボケ画像と判定された画像は、どの被写体にもピットが合わず、ステップＳ５０２で作成した合成マップでは、全面ボケ画像のすべての画素が０％の合成比率が与えられるはずである。しかし、図７（ｄ）のように、強い逆光シーンなどの場合、従来のアルゴリズムでは、誤って全面ボケ画像の一部の領域に０％でない合成比率を与えてしまう可能性がある。したがって、本実施形態では、ステップＳ５０３とステップＳ５０４とを設け、全面ボケ画像を合成から排除する。

以下では、ステップＳ５０３での全面ボケ判定について図６ないし図９を用いて詳細に説明する。

図６は、本実施形態におけるステップＳ５０３の全面ボケ判定について説明するためのフローチャートである。

図７は、全面ボケ画像を含む複数の画像に対して深度合成を行うことを説明するための図である。図８は、本実施形態における合成マップを説明するための図である。図８（ａ）ないし図８（ｄ）のそれぞれは、図７の（ａ）ないし図７（ｄ）のそれぞれに示した画像に対応する合成マップを示しており、各合成マップの白く塗られた領域が合成比率の高い領域を示し、黒く塗られた領域が合成比率の小さい領域を示している。尚、図８では説明のため２値で合成マップを表現しているが、実際には画素毎の合成比率を表す値の階調に制限はない。

ステップＳ６０１では、ステップＳ５０２で算出した合成マップから、あらかじめ設定された第１の閾値以上の合成比率を持つ面積を算出する。例えば図８の（ａ）ないし図８（ｄ）のような合成マップに対して、第１の閾値以上の画素数を算出してもいいし、全体の画素数で正規化した割合を算出してもよい。

図９は、本実施形態における合成マップの第１の閾値以上の合成比率をもつ面積を説明するためのグラフである。図９は、縦軸を第１の閾値以上の合成比率を持つ面積とし、横軸を画像番号として該面積がデジタルカメラ１００から遠くなるにつれて変化していく様子を示したグラフである。フレーム番号の数字が小さいほど手前側、大きいほど無限遠側で撮像された画像を示している。

ステップＳ６０２では、ステップＳ６０１で算出した面積があらかじめ設定された第２の閾値以下かどうかの判別を行う。第２の閾値以下の場合、全面ボケ画像であると判断し合成対象フラグをＯＦＦにする。一方で、第２の閾値以下でない場合、ステップＳ６０３に進む。ここでの第２の閾値は動的に変更してもよく、たとえばステップＳ３０１で設定されるピント位置に依存し、至近側ほど小さくしたり、ピント間隔が小さいほど小さくしたりしてもよい。また、ステップＳ３０２での撮像時の絞り値が小さいほど第２の閾値を小さくしてもよい。

さらに、全面ボケ画像の判別をより正確に行うため、本実施形態では画像間のパラメータの変化を全面ボケ画像の判断に用いる。例えば、ピント位置の異なるｎ枚の画像のうちｎ－１枚目までは合焦領域がある画像で、ｎ枚目は合焦領域が存在しない全面ボケ画像だったとする。この時、ステップＳ６０１で算出した面積に注目すると、図９に示すように全面ボケ画像であるｎ枚目の時の面積はｎ－１枚目の時に比べて急激に小さい方向へ変化する。この変化に着目し、ステップＳ６０３では、ステップＳ６０１で算出した面積の直前画像からの変化率Ｒを算出する。ここで言う変化率Ｒは、直前の画像の面積をＳｎ－１、現画像の面積をＳｎとすると、以下の式で表される。

ステップＳ６０４では、ステップＳ６０３で算出した（式７）で表される変化率が、第３の閾値よりも大きいかを判別を行う。ステップＳ６０３で算出した変化率が第３の閾値よりも大きい場合は、ステップＳ６０６に進み合成対象フラグをＯＦＦにし、小さい場合にはステップＳ６０５に進み合成対象フラグをＯＮにする。ここで言う第３の閾値は動的に変更されてもよく、画像間のピント位置の差が小さい時は小さくするなどしてもよい。

また、ステップＳ６０６で合成対象フラグがＯＦＦにされた画像が存在したとき、該画像のピント位置よりも無限遠側で撮像された画像についても全面ボケ画像と推測し、合成対象フラグをＯＦＦにしてもよい。さらに、該画像のピント位置よりも無限遠側で撮像された画像の中で、ステップＳ６０１で算出された面積が第４の閾値以上の画像については合成対象フラグをＯＮにしてもよく、そうすればデジタルカメラから異なる距離に複数の被写体が存在するシーンも救うことができる。尚、ここで言う第４の閾値は前述した第２の閾値と同様動的に変更してもよく、ステップＳ３０１で設定されるピント位置により変更させてよく、ピント位置がデジタルカメラから近いほど小さくしたり、画像間のピント位置が近いほど小さくしたりしてもよい。また、ステップＳ３０２で撮像する時の絞り値が小さいほど第４の閾値を小さくしてもよい。

以上で、ステップＳ５０３の全面ボケ判定処理を終了する。

本実施形態によれば、算出した合成マップにおける第１の閾値以上の合成比率を持つ画素の面積を算出し、該面積が第２の閾値以下であるか、もしくは前フレームからの変化率が第３の閾値以上である場合に全面ボケ画像であると判断する。それに加えて、全面ボケ画像を合成対象から外すことで、全面ボケ画像が合成されることによる画質低下を防ぐことができる。

以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０１ 制御部
１０２ 駆動部
１０３ 光学系
１０４ 撮像部
１０５ ＲＯＭ
１０６ ＲＡＭ
１０７ 画像処理部
１０８ 表示部
１０９ 内蔵メモリ
１１０ 操作部

Claims (19)

1. 被写体に対して、光軸方向で異なるピント位置で撮像した複数の画像を用いて合成を行い、合成画像を作成する合成手段と、
   前記複数の画像のコントラスト値を取得する取得手段と、を有し、
   前記合成画像の被写界深度が、前記複数の画像の被写界深度よりも深く、
   前記合成手段が、前記複数の画像のコントラスト値を用いて前記合成を行うときの合成比率を算出し、
   前記合成手段が、前記複数の画像のコントラスト値を用いて前記複数の画像のうち、前記被写体にピントがあっていない画像を判断し、該画像を前記合成に用いず、
   前記合成手段は、前記複数の画像のうちの第１の画像が、第１の閾値以上の前記合成比率を持つ面積が第２の閾値より小さい、もしくは、前記第１の画像と隣り合うフレームの第２の画像との前記面積の変化が第３の閾値より大きい場合の少なくとも一方を満たすとき、前記第１の画像を、前記被写体にピントがあっていない画像と判断することを特徴とする画像処理装置。
2. 前記合成手段は、前記複数の画像のそれぞれの対応する領域の前記コントラスト値を比較し、より前記コントラスト値が高い前記領域に対してより大きい前記合成比率を与えることを特徴とする請求項１に記載の画像処理装置。
3. 前記対応する領域とは、前記複数の画像が位置合わせをされた後に同じ位置になる領域であることを特徴とする請求項２に記載の画像処理装置。
4. 前記合成手段が、前記複数の画像のそれぞれの合焦領域を切り出して前記合成に用いることを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
5. 前記合成手段が、前記複数の画像のコントラスト値を用いて前記合焦領域を判断することを請求項４に記載の画像処理装置。
6. 前記複数の画像を撮像した時の絞り値が小さい時ほど、前記第２の閾値が小さいことを特徴とする請求項５に記載の画像処理装置。
7. 前記複数の画像の前記ピント位置が至近側であるほど、前記第２の閾値が小さいことを特徴とする請求項５または６に記載の画像処理装置。
8. 前記複数の画像の前記ピント位置の間隔が小さいほど、前記第２の閾値が小さいことを特徴とする請求項５ないし７のいずれか１項に記載の画像処理装置。
9. 前記面積の変化とは、前記第１の画像と前記第２の画像間における前記面積の差の割合であることを特徴とする請求項５ないし８のいずれか１項に記載の画像処理装置。
10. 前記複数の画像の前記ピント位置の間隔が小さいほど、前記第３閾値が小さいことを特徴とする請求項５ないし９のいずれか１項に記載の画像処理装置。
11. 前記合成手段が、前記複数の画像のうちのいずれかの画像を、前記被写体にピントがあっていない画像と判断すると、該画像よりも無限遠側にある画像も、前記被写体にピントがあっていない画像と判断することを特徴とする請求項１ないし１０のいずれか１項に記載の画像処理装置。
12. 前記合成手段が、前記複数の画像のうちのいずれかの画像を、前記被写体にピントがあっていない画像と判断すると、該画像よりも無限遠側にある画像のうち、前記面積が第４の閾値より大きい画像は、前記被写体にピントがあっている画像と判断することを特徴とする請求項１ないし１０のいずれか１項に記載の画像処理装置。
13. 前記複数の画像を撮像した時の絞り値が小さい時ほど、前記第４の閾値が小さいことを特徴とする請求項１２に記載の画像処理装置。
14. 前記複数の画像の前記ピント位置が至近側であるほど、前記第２の閾値が小さいことを特徴とする請求項１２または１３に記載の画像処理装置。
15. 前記複数の画像の前記ピント位置の間隔が小さいほど、前記第２の閾値が小さいことを特徴とする請求項１２ないし１４のいずれか１項に記載の画像処理装置。
16. 被写体に対して、光軸方向で異なるピント位置で複数の画像を撮像する撮像手段と、
    前記複数の画像を用いて合成を行い、合成画像を作成する合成手段と、
    前記複数の画像のコントラスト値を取得する取得手段と、を有し、
    前記合成画像の被写界深度が、前記複数の画像の被写界深度よりも深く、
    前記合成手段が、前記複数の画像のコントラスト値を用いて前記合成を行うときの合成比率を算出し、
    前記合成手段が、前記複数の画像のコントラスト値を用いて前記複数の画像のうち、前記被写体にピントがあっていない画像を判断し、該画像を前記合成に用いず、
    前記合成手段は、前記複数の画像のうちの第１の画像が、第１の閾値以上の前記合成比率を持つ面積が第２の閾値より小さい、もしくは、前記第１の画像と隣り合うフレームの第２の画像との前記面積の変化が第３の閾値より大きい場合の少なくとも一方を満たすとき、前記第１の画像を、前記被写体にピントがあっていない画像と判断することを特徴とする撮像装置。
17. 被写体に対して、光軸方向で異なるピント位置で撮像した複数の画像を用いて合成を行い、合成画像を作成する合成ステップと、
    前記複数の画像のコントラスト値を取得する取得ステップと、を有し、
    前記合成画像の被写界深度が、前記複数の画像の被写界深度よりも深く、
    前記合成ステップにおいては、前記複数の画像のコントラスト値を用いて前記合成を行
    うときの合成比率を算出し、
    前記合成ステップにおいては、前記複数の画像のコントラスト値を用いて前記複数の画像のうち、前記被写体にピントがあっていない画像を判断し、該画像を前記合成に用いず、
    前記合成ステップにおいては、前記複数の画像のうちの第１の画像が、第１の閾値以上の前記合成比率を持つ面積が第２の閾値より小さい、もしくは、前記第１の画像と隣り合うフレームの第２の画像との前記面積の変化が第３の閾値より大きい場合の少なくとも一方を満たすとき、前記第１の画像を、前記被写体にピントがあっていない画像と判断することを特徴とする画像処理方法。
18. 画像処理装置のコンピュータに動作させるコンピュータのプログラムであって、
    被写体に対して、光軸方向で異なるピント位置で撮像した複数の画像を用いて合成を行い、合成画像を作成する合成ステップと、
    前記複数の画像のコントラスト値を取得する取得ステップと、を行わせ、
    前記合成画像の被写界深度が、前記複数の画像の被写界深度よりも深く、
    前記合成ステップにおいては、前記複数の画像のコントラスト値を用いて前記合成を行うときの合成比率を算出し、
    前記合成ステップにおいては、前記複数の画像のコントラスト値を用いて前記複数の画像のうち、前記被写体にピントがあっていない画像を判断し、該画像を前記合成に用いず、
    前記合成ステップにおいては、前記複数の画像のうちの第１の画像が、第１の閾値以上の前記合成比率を持つ面積が第２の閾値より小さい、もしくは、前記第１の画像と隣り合うフレームの第２の画像との前記面積の変化が第３の閾値より大きい場合の少なくとも一方を満たすとき、前記第１の画像を、前記被写体にピントがあっていない画像と判断することを特徴とするプログラム。
19. 請求項１８に記載のプログラムを記録した読み出し可能な記録媒体。

Images