JP5230456B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、シャープネス補正を行う画像処理装置および画像処理方法に関する。

近年、撮影後に撮影距離や被写界深度を変更可能にするリフォーカス処理技術が注目されている。例えば、Light Field Photography（以下、ＬＦＰ）を用いることにより、撮影後に撮影距離や被写界深度を変更することが可能となる（例えば、特許文献１参照）。このようなリフォーカス処理は、仮想の撮影距離を設定し、この距離を考慮して多視点画像を合成することで、任意の撮影距離、任意の被写界深度の画像を得ることを特徴とする。

例えばＬＦＰでは、撮像センサの前にマイクロレンズアレイを配置することによって、通常のカメラでは得られない多視点画像を１回の撮影で得ることができる。また、多眼カメラから多視点画像を得ることによってリフォーカス処理を実現することも可能である（例えば、特許文献２参照）。

このようなリフォーカス処理を応用することで、各画素の被写体距離を得ることが可能となる。例えばＬＦＰの場合、仮想の撮影距離を最短撮影距離から無限遠まで移動させながら、局所コントラストが最大になる距離を画素毎に保持することによって、距離マップを生成することが考えられる。

また距離マップは、実際に最短撮影距離から無限遠まで変化させながら画像を大量に撮影し、各画素について局所コントラストが最大になる画像を選択してマップにすることによっても生成可能である（例えば、特許文献３参照）。

このようにして得られた距離マップを利用することによって、撮影時の被写体距離に応じてシャープネス処理を変更することができる（例えば、特許文献４参照）。また、画像を近距離、中距離、遠距離等に領域分割し、該距離に応じて異なるフィルタを適用することも可能である（例えば、特許文献５参照）。このように、画像に対して任意に設定された被写体距離（撮影距離）からの相対距離に応じて異なるフィルタ処理を適用することで、平面的な画像から立体感を持った画像を得ることができる。

以上で述べたように従来のシャープネス処理は、任意に指定された被写体距離（撮影距離）に対する相対距離に応じて適用されていた。
ＵＳ２００７／０２５２０７４Ａ１ ＵＳ２００７／０２３０９４４Ａ１ 特開平８−１６３４２３号公報 特開２０００−１５６８１６号公報 特開２００６−６７５２１号公報

しかしながら、例えば被写体が遠く離れた背景の前に配置されているような場合には、被写体表面のテクスチャと、被写体と背景との境界線とを対等に扱うこと、すなわち、同様のシャープネス処理を施すことは好ましくない。また、画像に対して予め設定された距離（撮影距離）からの相対距離に応じて適用するシャープネス量を変更する場合、最終的に得たい画像がパンフォーカスであれば、単純なシャープネス処理とほぼ同じ処理になり、立体感のある出力を得ることはできない。

さらに、特許文献３に記載された方法で距離マップを得る場合、最終出力と同じ解像度の画像を多数用いるため、非常に多くのワークメモリ、あるいは記録媒体が必要になるという問題がある。

リフォーカス処理では、１ショット分の撮影に必要なワークメモリや記録媒体があれば距離マップを得ることができる。しかしながら、１枚の画像に複数視点の画像が記録されるため、視点の数に応じて出力画像の解像度が低下してしまうという問題がある。

本発明は上述した問題を個々にまたはまとめて解決するためになされたものであり、以下のような機能を有する画像処理装置および画像処理方法を提供することを目的とする。すなわち、撮影画像に対し、局所的な距離の変化量に応じたシャープネス処理を適用することにより、被写体と背景の分離性を向上させる。

上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。

すなわち、被写体を撮影して得られた撮影画像に対して補正を施す画像処理装置であって、前記撮影画像の各画素について、前記被写体までの距離を示す物体距離の情報を取得する取得手段と、前記撮影画像における注目画素と該注目画素の周辺画素とで構成される画素群内の２つの画素についての前記物体距離の差を算出する算出手段と、該算出された前記物体距離の差を用いて、前記注目画素に対するシャープネス処理のパラメータを設定するパラメータ設定手段と、該設定されたパラメータを用いて、前記注目画素に対するシャープネス処理を行うシャープネス処理手段と、を有し、前記パラメータ設定手段は、前記パラメータとして、シャープネス処理のフィルタサイズを設定することを特徴とする。

上記構成からなる本発明の画像処理装置によれば、撮影画像に対し、局所的な距離の変化量に応じたシャープネス処理を適用することにより、被写体と背景の分離性を向上させることが可能となる。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜第１実施形態＞
●カメラの構成
図１は、本実施形態におけるディジタルカメラの外観図である。

カメラボディ１００の上部には、ビューファインダの接眼窓１１１、自動露出（ＡＥ）ロックボタン１１４、自動焦点（ＡＦ）の測距点を選択するボタン１１３、撮影操作をするためのレリーズボタン１１２がある。また、撮影モード選択ダイヤル１１７、外部表示部４０９、電子ダイヤル４１１などがある。

電子ダイヤル４１１は、他の操作ボタンと併用してカメラに数値を入力したり、撮影モードを切り換えたりするための多機能信号入力部である。また、ＬＣＤパネルの外部表示部４０９には、シャッタスピード、絞り、撮影モードなどの撮影条件や、その他の情報が表示される。

カメラボディ１００の背面には、カメラが捉えた画像、撮影した画像、各種設定画面などを表示するＬＣＤモニタ４１７、ＬＣＤモニタ４１７の表示をオンオフするためのスイッチ１２１、十字キー１１６、メニューボタン１２４などがある。なお、ＬＣＤモニタ４１７は透過型であるため、ＬＣＤモニタ４１７の駆動だけではユーザが画像を視認することはできない。そのため、ＬＣＤモニタ４１７の裏面には、後述するように、バックライトが必要である。

十字キー１１６は、上下左右にそれぞれ配置された４つのボタンと、中央部に配置された設定ボタンを有し、ＬＣＤモニタ４１７に表示されるメニュー項目などの選択や実行を指示するために用いられる。

メニューボタン１２４は、ＬＣＤモニタ４１７にメニュー画面を表示させるためのボタンである。例えば、撮影モードを選択、設定する場合、メニューボタン１２４を押した後、十字キー１１６の上下左右のボタンを操作して希望の撮影モードを選択し、希望の撮影モードが選択された状態で設定ボタンを押すことで、撮影モードの設定が完了する。なお、メニューボタン１２４と十字キー１１６は、後述するＡＦモードの設定にも使用される。

図２は、ディジタルカメラの垂直断面図である。

撮像光学系の撮影レンズ２００は、レンズマウント２０２を介して、カメラボディ
１００に着脱可能である。

撮影光軸２０１を中心とする撮影光路中に配置されたミラー２０３は、撮影レンズ２００からの被写体光をファインダ光学系に導く位置（斜設位置）と、撮影光路外の退避位置の間でクイックリターンが可能である。

ミラー２０３によってファインダ光学系に導かれた被写体光は、ピント板２０４上に結像する。そして、ピント板２０４を通過した被写体光は、ビューファインダの視認性を向上させるコンデンサレンズ２０５、正立正像を復元するペンタゴナルダハプリズム２０６を通り、接眼レンズ２０８および測光センサ２０７に導かれる。

後幕２０９と先幕２１０は、フォーカルプレーンシャッタ（機械式シャッタ）を構成し、両幕２０９と２１０の開閉によって、その後方に配置された、ＣＣＤやＣＭＯＳセンサである撮像デバイス４１８を必要時間露光する。

撮像デバイス４１８は、プリント板２１１に保持されている。プリント板２１１の後方には、さらにプリント板２１５が配置され、プリント板２１５の反対面にＬＣＤモニタ４１７とバックライト４１６が配置されている。

さらに、カメラボディ１００内には、画像データが記録される記録メディア４１９ａと、携帯用電源である電池２１７がある。なお、記録メディア４１９ａと電池２１７は、カメラボディ１００に着脱可能である。

図３はディジタルカメラの制御、撮影および画像処理に関する構成例を示すブロック図である。

マイクロコンピュータ（ＣＰＵ）４０２は、撮像デバイス４１８が出力する画像データの処理や、ＬＣＤモニタ４１７の表示制御をはじめとし、カメラ全体の動作を制御する。

スイッチ（ＳＷ１）４０５は、レリーズボタン１１２を半分押した状態（半押し状態）で閉になる。スイッチ（ＳＷ１）４０５が閉になるとカメラボディ１００は撮影準備状態になる。スイッチ（ＳＷ２）４０６は、レリーズボタン１１２を最後まで押込んだ状態（全押し状態）で閉になる。スイッチ（ＳＷ２）４０６が閉になるとカメラボディ１００は撮影動作を開始する。

レンズ制御部４０７は、撮影レンズ２００と通信し、ＡＦ時の撮影レンズ２００の駆動制御や絞り羽根の駆動制御を行う。外部表示制御部４０８は、外部表示部（ＯＬＣ）４０９や、ファインダ内の表示部（不図示）を制御する。スイッチセンス部４１０は、上述した電子ダイヤル４１１を含む多数のスイッチやキーから出力される信号をＣＰＵ４０２に伝えるためのインタフェイスである。

ストロボ制御部４１２は、Ｘ接点４１２ａを介して接地されており、外部ストロボの発光および調光制御を行う。記録メディアドライブ４１９には、例えばハードディスクやメモリカードなどの記録メディア４１９ａが装着される。

測距部４１３は、ＡＦ用に被写体に対するデフォーカス量を検出する。本実施形態では、ＡＦモードとして「通常」「ライブビュー」のいずれかのモードを選択可能である。通常モードの場合、カメラ本体に備えられた不図示のＡＦセンサを用いてデフォーカス量を検出する。ライブビューモードの場合、画像処理部４２５から、その転送速度を向上させるために縮小された画像データが送られ、指定された位置の局所コントラストを算出することによってデフォーカス量を決定する。また、画像処理部４２５から送られてきた縮小画像データは、距離マップ生成部４２７へ送られる。

測光部４１４は、被写体の輝度を測定し、露光時間を制御する。シャッタ制御部４１５は、撮像デバイス４１８に対して適正な露光が行われるように、機械式シャッタを制御する。ＬＣＤモニタ４１７とバックライト４１６は、上述したように表示装置を構成する。

画像処理部４２５は、ディジタル信号処理プロセッサ（ＤＳＰ）などから構成される。画素欠陥位置メモリ４２６は、撮像素子内の所定画素そのものに欠陥があることを記憶している不揮発性のメモリであるが、ＣＰＵ４０２が実行するプログラム等を記憶するメモリも兼ねる。

距離マップ生成部４２７は、測距部４１３から送られてきた縮小画像データとその撮影距離から、該縮小画像データにおける各画素の物体距離を算出し、距離マップを生成する。なお、距離マップの生成処理の詳細については後述する。ここで撮影距離とは、ピントを合わせた被写体から撮像素子面までの距離を指す。また物体距離とは、注目画素に対応する位置にある物体から撮像素子面までの距離を指す。すなわち、撮影距離は撮影画像に対して一意に決められた距離であり、物体距離は画素毎に決まる距離である。

画像処理部４２５は、スイッチ（ＳＷ２）４０６がオンされた場合、画像データに対して距離マップ生成部４２７から得た距離マップを用いてシャープネス処理を適用する。なお、シャープネス処理の詳細については後述する。

さらに、ＣＰＵ４０２には、アナログ−ディジタル変換器（Ａ／Ｄ）４２３、画像データをバッファするバッファメモリ４２４などが接続されている。

撮像素子によって画素毎の電気信号に変換された撮影画像は、Ａ／Ｄコンバータ４２３や画像処理部４２５などによって処理され、画像データとして測距部４１３や記録メディア４１９ａへ送られる。画像データが測距部４１３へ送られるのはＡＦモードがライブビューモードの場合であって、この場合の画像データは上述したように、転送速度を向上させるため画像処理部４２５によって縮小される。一方、画像データが記録メディア４１９ａへ送られるのは、スイッチ（ＳＷ２）４０６がオンされた場合である。この場合、特に指定が無い限りは縮小処理を経ずに出力される。

●距離マップ生成処理
図４は、距離マップの一例を示す図である。

本実施形態における距離マップは、撮影画像データの画像解像度と同じ解像度を有するビットマップであって、画素毎に、被写体までの距離（ｃｍ）を２バイトデータとして保持する。このような形式では無限遠が表現できないものの、６５５３５ｃｍを無限遠相当とみなすことができる。

以下、本実施形態の距離マップ生成部４２７における距離マップ生成処理について詳細に説明する。

本実施形態においては、画素毎の物体距離情報を必要とするため、距離マップを生成する方法としては、例えば特許文献１や特許文献２で述べられているリフォーカス処理を用いても良い。リフォーカス処理を用いる場合は、仮想的な撮像センサ位置を最短撮影距離相当から無限遠相当まで変化させることで、各画素の距離情報を取得可能である。また、特許文献３のような方法でも、距離マップを生成することができる。さらに、複数の視差画像から三角測量を用いて距離を推定する方法も考えられる。

本実施形態では、撮影画像の解像度を保ちつつ高速に処理を実行するため、以下で述べる方法によって距離マップを生成する。

ＡＦ処理においては、自動または手動で選択された測距枠内の局所コントラストが最大になる部分を探索するため、ピントの調整範囲をサーチする。本実施形態におけるライブビューモードでの撮影時には、サーチ中の画像をカメラ背面のＬＣＤモニタ４１７に表示するため、低い解像度ながらも撮影画像と同等の画角の画像を得ることができる。そこで本実施形態では、各画素について局所コントラストが最大になる距離を保持することで、低解像度な距離マップを生成する。

実際のＡＦ処理では、最初に粗いサーチを行った後、ピントを合わせるために特定のレンジのみを細かくサーチすることになる。したがって、各画素について距離と局所コントラストを保持し、局所コントラストをスプライン補間することによって、物体距離を推定する。距離マップ生成部は、ＡＦ処理においてサーチされた複数の探索ポイントの各々で取得された低解像度な撮影画像（縮小画像）から距離マップを生成する。

図５は、本実施形態の距離マップ生成部４２７における低解像度な距離マップの生成処理を示すフローチャートである。

まずステップＳ５０１において、測距部４１３から送られてくる各縮小画像データと、レンズ制御部４０７から送られてくる各縮小画像の撮影距離情報を取得する。そしてステップＳ５０２において、各縮小画像データに対し、画素ごとに局所コントラストを求め、縮小画像データごとのコントラストマップを生成する。ここで局所コントラストは、注目画素の輝度と、注目画素を中心とした予め定められた半径に含まれる画素の輝度値の平均との差とする。

次にステップＳ５０３において、縮小画像データごとに生成された複数のコントラストマップを、ステップＳ５０１で取得した撮影距離の逆数の順にソートする。ここで、撮影距離の逆数を使う理由は、取得できる被写体距離の精度が、近距離であるほど高くなるためである。

そして、ステップＳ５０４でカウンタｉを１に初期化し、ステップＳ５０５でｉ番目の画素の局所コントラストを複数のコントラストマップのそれぞれから読み出してスプライン補間し、図６のような撮影距離の逆数とコントラストの対応関係を生成する。ステップＳ５０６では、この生成された対応関係から局所コントラストが最大となる点（推定物体距離）を算出し、この点を挟む前後２つの縮小画像データの撮影距離の逆数を線形補間し、得られた値の逆数をとることで、ｉ番目の画素の物体距離を算出する。

そしてステップＳ５０７においてカウンタｉを１だけインクリメントし、ステップＳ５０８でｉと縮小画像データの画素数を比較する。このとき、ｉが画素数より大きければ処理を終了し、そうでなければステップＳ５０５〜Ｓ５０７の処理を繰り返す。

以上の処理により、各画素における撮影距離を算出することができ、距離マップを生成することができる。

図６は、測距枠で指定された領域以外の画素に関する物体距離の推定例を示す図である。同図において、横軸は撮影距離分の１、すなわち撮影距離の逆数を示し、縦軸はステップＳ５０２で求めたコントラストを示す。本実施形態では、全ての縮小画像データについてコントラストを算出し、スプライン補間したコントラスト値が最大になる位置を用いて、注目画素の物体距離を算出する。なお、図６に示す例では、注目画素が測距枠外領域であるため、推定物体距離は詳細サーチ範囲外になる。

最後に、上述した方法によって得た低い解像度の距離マップを拡大補間することによって、撮影画像と同等の解像度の距離マップを得る。この拡大補間としてはどのような方法を用いても良いが、本実施形態では、計算コストが低い割に好ましい補間結果が得られるバイキュービック補間を用いるとする。

以上の処理により、少ないメモリ使用量で、撮影画像と同等の解像度を持つ距離マップを生成することができる。

●シャープネス処理
以下、本実施形態の特徴であるシャープネス処理について説明する。

主要被写体と背景との距離が離れている場合、主要被写体と背景との分離性を向上させることで、主要被写体を強調した好ましい結果を得ることができる。そこで本実施形態では、主要被写体と背景との境界に近いほど、強い輪郭強調処理が適用されるようにする。具体的には、注目画素についてその周囲画素との距離の変化量を算出し、この変化量が大きいほど、シャープネス補正の適用量が大きくなるように設定する。このような処理により、主要被写体と背景との距離が大きいほど、強いシャープネス補正を適用することができる。

本実施形態におけるシャープネス処理としては、アンシャープマスク処理を用いる。図７に、アンシャープマスク処理の概要を示す。同図に示すようにアンシャープマスク処理は、注目画素を中心とした局所領域に対してぼかしフィルタを適用し、ぼかし処理前後の画素値の差分を、注目画素の画素値に反映することで輪郭強調を実現する処理である。

処理対象の画素値Ｐに対するアンシャープマスク処理は、処理適用後画素値Ｐ'、ぼかしフィルタの半径Ｒ、適用量Ａ（％）を用いて以下の式(1)で表現できる。

Ｐ'(i,j)＝Ｐ(i,j)＋(Ｐ(i,j)−Ｆ(i,j,R))×Ａ／１００ ・・・(1)
式(1)においてＦ(i,j,R)は、画素Ｐ(i,j)に対して半径Ｒのぼかしフィルタを適用して得られる画素値である。本実施形態におけるぼかし処理としては、ガウスぼかしを用いる。ガウスぼかしとは、処理対象画素からの距離に応じてガウス分布による重み付けを行って平均化を行う処理であり、自然な処理結果を得ることができる。また、ぼかしフィルタの半径Ｒの大きさは、シャープネス処理を適用したい画像上の周波の波長に関係する。すなわち、Ｒが小さいほど細かい模様が強調され、Ｒが大きいほど緩やかな模様が強調される。

図８は、本実施形態におけるシャープネス処理を示すフローチャートである。

まずステップＳ８０１において、処理対象となる画像データに対して、仮のシャープネス処理パラメータとして、半径ｒおよび適用量ａを設定しておく。そしてステップＳ８０２で、画素参照用の変数ｉ，ｊを０に初期化する。

ステップＳ８０３では、処理対象画素Ｐ(i,j)に対応する距離マップ上のデータｄ(i,j)を参照し、局所的な距離の変化量δｄを取得する。なお、局所的な距離の変化量δｄの算出方法については後述する。

ステップＳ８０４では、ステップＳ８０１で算出した仮のシャープネス処理パラメータｒおよびａを、ステップＳ８０３で求めた局所的な距離の変化量δｄを用いて補正し、シャープネス処理パラメータＲおよびＡを決定する。なお、シャープネス処理パラメータの補正方法の詳細については後述する。

ステップＳ８０５では、ステップＳ８０４で決定したシャープネス処理パラメータＲ，Ａにしたがって、処理対象画素に対してシャープネス処理を適用する。そしてステップＳ８０６において、画素参照用変数ｉ，ｊを更新する。この更新はすなわち、ｉを１づつインクリメントしていき、ｉが処理対象画像データの幅と同じ値になった場合に、ｉを０にしてｊをインクリメントする。

ステップＳ８０７では、全ての画素に対してシャープネス処理を適用したか否かを判定し、処理を適用していない画素がある場合にはステップＳ８０３へ戻る。一方、全ての画素に対して処理を適用した場合、つまりｊが処理対象画像データの高さと同じ値になった場合には、処理を終了する。

なお、本実施形態において設定される仮のシャープネス処理パラメータとしては、予めユーザによって指定された半径ｒ、適用量ａであるとする。例えば、仮のシャープネス処理パラメータの初期値として、半径ｒを１０、適用量ａを１００として設定する。

●局所的な距離の変化量δｄの算出方法
ここで、上述したステップＳ８０３における局所的な距離の変化量δｄの算出方法について、詳細に説明する。

処理対象である注目画素Ｐ(i,j)に対応する距離マップ上のデータをｄ(i,j)、該注目画素Ｐ(i,j)を中心とした半径Ｌの領域に含まれる全ての周辺画素に対応する距離マップ上のデータをｄ(p,q)とする。この場合、本実施形態では、注目画素Ｐに対応する局所的な距離の変化量δｄ(i,j)を、下式で定義する。

δｄ(i,j)＝Σ(｜ｄ(i,j)−ｄ(p,q)｜)／ｎ ・・・(2)
つまり、注目画素Ｐと周辺画素との物体距離の差の絶対値を平均化した値を、局所的な距離の変化量δｄとする。ここでｎは、周辺画素と判断された画素のピクセル数である。なお、アンシャープマスク処理で用いる半径Ｒと、周辺画素の判定用の半径Ｌは独立に決定しても良い。

したがって、周辺画素も含めた領域が同一被写体に含まれる場合、δｄ(i,j)は小さくなり、異なるオブジェクトに跨る場合にはδｄ(i,j)が大きくなる可能性が高くなることが分かる。特に、主要被写体と背景が離れている場合、その境界付近ではδｄ(i,j)が非常に大きな値をとる。

なお本実施形態では、処理対象画素と周辺画素との距離に関係なく、半径Ｌに含まれる画素を全て対等に扱う例を示したが、例えばガウス分布などを用いて処理対象画素と周辺画素の距離を考慮して、局所的な距離の変化量δｄを算出しても良い。

●シャープネス処理パラメータの補正方法
次に、上述したステップＳ８０４におけるシャープネス処理パラメータの補正方法について、詳細に説明する。

本実施形態では、シャープネス処理パラメータのうち、適用量Ａを変化させる。処理対象となる注目画素Ｐ(i,j)に対するシャープネス適用量Ａ(i,j)は、次式を用いて算出する。

Ａ(i,j)＝ａ×(１−１／δｄ(i,j)) ・・・(3)
式(3)においてａは、ステップＳ８０１で仮のシャープネス適用パラメータとして設定された適用量である。式(3)によれば、局所的な距離の変化量δｄ(i,j)が大きいほど、シャープネス適用量Ａ(i,j)が大きくなることが分かる。したがって本実施形態によれば、周囲画素との距離の変化量が大きい画素に対して、より強いシャープネスを適用することができる。

以上説明したように本実施形態によれば、局所的な距離の変化量に応じてシャープネス処理を適用する。すなわち、局所的な距離の変化量が大きいほど先鋭度が向上するようにシャープネスを適用することによって、被写体と背景の分離性を向上させることが可能となる。

＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。

上述した第１実施形態で説明したように、アンシャープマスクによる輪郭強調処理は、フィルタの半径Ｒが、輪郭強調の対象となる周波数に関係する。そのため、半径Ｒが小さい場合には被写体表面の微細なテクスチャが強調され、半径Ｒが大きい場合にはオブジェクトとその他の領域との境界を強調するのに適している。

そこで第２実施形態では、シャープネスの強さではなく、シャープネスフィルタ（アンシャープマスク）の半径Ｒを、注目画素とその周囲画素との局所的な距離の変化量δｄによって決定する方法について説明する。

第２実施形態におけるシャープネス処理は、上述した第１実施形態と同様に図８のフローチャートに示す手順によって実行されるが、シャープネス処理パラメータの補正方法が異なる。また、局所的な距離の変化量δｄの算出方法については、上述した第１実施形態と同様の方法であっても良いが、第２実施形態ではさらに別の方法を示す。すなわち第２実施形態におけるシャープネス処理としては、図８のステップＳ８０３における局所的な距離の変化量δｄの算出方法と、ステップＳ８０４におけるシャープネス処理パラメータの補正方法が、上述した第１実施形態とは異なる。以下、これら第１実施形態との相違点について説明する。

●局所的な距離の変化量δｄの算出方法
まず、ステップＳ８０３における局所的な距離の変化量δｄの算出方法について、詳細に説明する。

第２実施形態では、処理対象画素を中心とした４方向の勾配を考慮して、局所的な距離の変化量δｄを算出する。

図９に、第２実施形態における局所的な距離の変化量δｄの算出処理のフローチャートを示す。

まずステップＳ９０１において、図１０に示すように処理対象画素Ｐを中心とした４組の周辺画素対を勾配算出画素対（Ａ1-Ａ2，Ｂ1-Ｂ2，Ｃ1-Ｃ2，Ｄ1-Ｄ2）として選択する。そしてステップＳ９０２において、上記４組のうち、勾配算出画素対間の距離変化が単調増加、あるいは単調減少である画素対を選択する。そして、選択された画素対のそれぞれについて、次式によって距離の変化量ΔＤを算出する。

ΔＤ＝(｜Ｐ1―Ｐ(i,j)｜＋｜Ｐ2―Ｐ(i,j)｜)／２ ・・・(4)
式(4)においてＰ1，Ｐ2は、勾配算出画素対として選択された２画素それぞれの物体距離とする。

そしてステップＳ９０３では、ステップＳ９０２で１つ以上の変化量ΔＤが得られたか否かを判定し、得られた場合にはステップＳ９０４へ進み、得られなかった場合にはステップＳ９０５へ進む。つまり、ステップＳ９０１において選択された４組から勾配算出画素対間の距離変化が単調増加、あるいは単調減少である画素対が選択された場合はステップＳ９０４に進み、選択されなかった場合はステップ９０５へ進む。

ステップＳ９０４では、得られた変化量ΔＤを局所的な距離の変化量δｄを決定する。このとき、複数の勾配算出画素対についてΔＤが得られた、すなわち複数の勾配算出画素対の間が単調増加、あるいは単調減少であった場合には、距離の変化量ΔＤが最大になる値を選択して、これを局所的な距離の変化量δｄとする。

一方、ステップＳ９０５では、上述した第１実施形態と同様の方法によって、局所的な距離の変化量δｄを算出する。

第２実施形態では、以上のような処理により、被写体の輪郭をより強く反映した局所的な距離の変化量δｄを算出することができる。

なお、第２実施形態では１つの勾配算出画素対における距離の変化量ΔＤを選択し、これを局所的な距離の変化量δｄとして算出する例を示したが、最大ｎ個（例えば２つ）の勾配算出画素対を選択し、ΔＤの加重平均等を行ってδｄを算出しても良い。また、選択された勾配算出画素対の周辺において、隣接する画素の局所的な距離の変化量δｄが極端に変動する可能性がある。そのため、一旦全ての画素について局所的な距離の変化量を算出し、ガウスぼかしフィルタ等を適用して隣接画素間の変動を抑制しても良い。

●シャープネス処理パラメータの補正方法
次に、ステップＳ８０４におけるシャープネス処理パラメータの補正方法について、詳細に説明する。

第２実施形態では、シャープネス処理パラメータのうち、シャープネスフィルタの半径Ｒを変化させる。処理対象となる注目画素Ｐ(i,j)に対するシャープネス処理の半径Ｒ(i,j)は、次式を用いて算出する。

Ｒ(i,j)＝ｒ×(１−１／δｄ(i,j)) ・・・(5)
式(5)においてｒは、ステップＳ８０１で仮のシャープネス適用パラメータとして設定された半径である。なお、式(5)によって半径Ｒが０．５未満として算出された場合には、Ｒ＝０．５とする。式(5)によれば、局所的な距離の変化量δｄ(i,j)が大きいほど、シャープネス処理の半径Ｒ(i,j)が大きくなることが分かる。したがって本実施形態によれば、周囲画素との距離の変化量が大きいほど、低い周波数の領域に対してシャープネスを適用することができる。

アンシャープマスク処理の半径を小さくすると、同じ適用量であっても相対的に弱くシャープネスがかかって見える場合がある。そこで第２実施形態においては、半径Ｒとあわせて適用量Ａについても、次式のように補正する。

Ａ(i,j)＝ａ×(ｗ−Ｒ(i,j)／ｒ) ・・・(6)
式(6)においてａおよびｒは、ステップＳ８０１で仮のシャープネス適用パラメータとして設定された適用量および半径である。またｗは、シャープネスを強く適用させるための係数であり、局所的な距離の変化量δｄ(i,j)が小さいために半径Ｒが小さくなってしまった場合に、最大ｗ倍強く、シャープネスが適用されるようにする。例えば第２実施形態では、ｗ＝２とする。

一般に、撮影距離が近いと被写体と背景の距離差が大きくなりやすく、被写界深度は浅くなる傾向にある。逆に、撮影距離が遠いと被写界深度が深くなりやすい。また、レンズのＦ値が小さいほど被写界深度が浅くなる。さらに、レンズの焦点距離が小さいほど、被写界深度が深くなりやすいという傾向がある。

被写界深度が浅い場合、主要被写体と背景をよりはっきりと分離させたいという撮影意図があることが多い。したがってこの場合、被写界深度が浅く局所距離差が大きいほど、シャープネス適用半径Ｒが大きくなるように設定すれば良い。逆に、被写界深度外のぼけた領域に対して、半径Ｒに小さい値を指定してアンシャープマスク処理を適用すると、ノイズを強調するだけになってしまうことが多い。したがってこの場合、同一被写体が被写界深度内と被写界深度外に跨る可能性が高いため、被写界深度が浅く局所距離差が小さいほど、シャープネス適用量Ａが小さくなるように設定すれば良い。

このように第２実施形態では、さらに撮影画像の撮影条件（撮影距離、レンズのＦ値、レンズの焦点距離等）を取得し、該条件と物体距離の差に基づいて、シャープネス適用パラメータ設定を行っても良い。

また、第２実施形態では、式(4)〜(6)のシャープネス適用パラメータの補正量演算式において、撮影距離からの相対距離を考慮していないが、局所的な距離の変化量とあわせて該相対距離を用いて、シャープネス適用パラメータを算出しても良い。

●シャープネス処理の具体例
ここで、第２実施形態におけるシャープネス処理の具体例を示す。

以下、図１１のようなスタジオを用意して被写体（この例の場合、チャート）を撮影した場合を例として説明する。

特にシャープネスを適用しない場合、撮影されたオリジナル画像は図１２Ａに示すように得られる。

また、画像全体に一律に小さい半径のシャープネスを適用すると、図１２Ｂに示すような撮影画像が得られる。図１２Ｂによれば、被写体（チャート）を拡大すると微細なテクスチャが強調されるものの、縮小表示すると、解像感はオリジナル画像に近いものになってしまう。逆に、半径の大きいシャープネスを画面全体に適用した場合、図１２Ｃに示すような撮影画像が得られる。図１２Ｃによれば、縮小画像では被写体におけるエッジ部および背景との境界部が太くなって先鋭度が増すものの、被写体表面のテクスチャは強調されず、場合によっては潰れてしまうため、拡大表示した場合の精細感に欠けてしまう。

そこで、第２実施形態の方法、すなわちアンシャープマスクの半径Ｒを局所的な距離の変化量に基づいて決定してシャープネスを適用すると、図１２Ｄに示すような結果が得られる。図１２Ｄによれば、被写体の周囲部分（境界部分）には半径の大きいアンシャープマスク処理が適用され、被写体の周囲部分以外や背景紙部分には半径の小さいアンシャープマスク処理が適用される。したがって、画像を拡大した場合には被写体表面のテクスチャがはっきりと描写され、画像を縮小した場合でも被写体のエッジ部が太くなり、被写体と背景がくっきりと分離するように、撮影画像データを表示することができる。

以上説明したように第２実施形態によれば、アンシャープマスクの半径Ｒを局所的な距離の変化量δｄによって決定する。これにより、画面全体に同じパラメータでアンシャープマスク処理を適用した場合に比べ、被写体表面の細かいテクスチャを強調しつつ、被写体と背景の分離性を向上した画像を得ることができ、被写界深度に関わらず常に好適な撮影画像を得ることができる。

なお、第２実施形態では、局所的な距離の変化量δｄに応じてシャープネスフィルタの半径Ｒ、すなわちフィルタサイズを設定する例を示したが、該変化量δｄに応じてフィルタ係数を制御するようにしても良い。

＜その他の実施形態＞
本発明は例えば、システム、装置、方法、プログラム若しくは記憶媒体(記録媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション、プリンタ等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される。なお、この場合のプログラムとは、実施形態において図に示したフローチャートに対応したコンピュータ可読のプログラムである。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、以下に示す媒体がある。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD-ROM、CD-R、CD-RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM，DVD-R)などである。

プログラムの供給方法としては、以下に示す方法も可能である。すなわち、クライアントコンピュータのブラウザからインターネットのホームページに接続し、そこから本発明のコンピュータプログラムそのもの(又は圧縮され自動インストール機能を含むファイル)をハードディスク等の記録媒体にダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせることも可能である。すなわち該ユーザは、その鍵情報を使用することによって暗号化されたプログラムを実行し、コンピュータにインストールさせることができる。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、実行されることによっても、前述した実施形態の機能が実現される。すなわち、該プログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行うことが可能である。

ディジタルカメラの外観図である。 ディジタルカメラの垂直断面図である。 ディジタルカメラの制御、撮影および画像処理に関する構成例を示すブロック図である。 距離マップの一例を示す図である。 本実施形態における低解像度な距離マップの生成処理を示すフローチャートである。 測距枠で指定された領域以外の画素に関する物体距離の推定例を示す図である。 アンシャープマスク処理の概要を示す図である。 本実施形態におけるシャープネス処理を示すフローチャートである。 第２実施形態における局所的な距離の変化量δｄの算出処理を示すフローチャートである。 処理対象画素Ｐを中心とした４対の勾配算出画素例を示す図である。 被写体を撮影する様子を示す図である。 、 、 、 第２実施形態におけるシャープネス処理の具体例を示す図である。

Claims (15)

1. 被写体を撮影して得られた撮影画像に対して補正を施す画像処理装置であって、
   前記撮影画像の各画素について、前記被写体までの距離を示す物体距離の情報を取得する取得手段と、
   前記撮影画像における注目画素と該注目画素の周辺画素とで構成される画素群内の２つの画素についての前記物体距離の差を算出する算出手段と、
   該算出された前記物体距離の差を用いて、前記注目画素に対するシャープネス処理のパラメータを設定するパラメータ設定手段と、
   該設定されたパラメータを用いて、前記注目画素に対するシャープネス処理を行うシャープネス処理手段と、
   を有し、
   前記パラメータ設定手段は、前記パラメータとして、シャープネス処理のフィルタサイズを設定することを特徴とする画像処理装置。
2. 前記パラメータ設定手段は、前記物体距離の差が大きいほど、前記フィルタサイズが大きくなるように、前記パラメータを設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記パラメータ設定手段は、前記フィルタサイズとして、アンシャープマスクの半径を設定することを特徴とする請求項２に記載の画像処理装置。
4. 被写体を撮影して得られた撮影画像に対して補正を施す画像処理装置であって、
   前記撮影画像の各画素について、前記被写体までの距離を示す物体距離の情報を取得する取得手段と、
   前記撮影画像における注目画素と該注目画素の周辺画素とで構成される画素群内の２つの画素についての前記物体距離の差を算出する算出手段と、
   該算出された前記物体距離の差を用いて、前記注目画素に対するアンシャープマスク処理のパラメータを設定するパラメータ設定手段と、
   該設定されたパラメータを用いて、前記注目画素に対するアンシャープマスク処理を行うアンシャープマスク処理手段と、
   を有し、
   前記パラメータ設定手段は、前記パラメータとして、アンシャープマスク処理の適用量を設定することを特徴とする画像処理装置。
5. 前記パラメータ設定手段は、前記物体距離の差が大きいほど、前記アンシャープマスク処理の適用量が大きくなるように、前記パラメータを設定することを特徴とする請求項４に記載の画像処理装置。
6. 前記取得手段は、前記撮影画像の各画素についての物体距離の情報を示す距離マップを生成し、
   前記算出手段は、前記距離マップに基づいて、前記物体距離の差を算出することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記取得手段は、前記撮影画像の撮影距離および各画素についてのコントラストの情報に基づいて、各画素についての前記物体距離を算出し、前記距離マップを生成することを特徴とする請求項６に記載の画像処理装置。
8. 前記取得手段は、縮小された前記撮影画像に基づいて低解像度の距離マップを生成し、該低解像度の距離マップを拡大補間して前記距離マップを生成することを特徴とする請求項７に記載の画像処理装置。
9. 前記算出手段は、前記注目画素とその複数の周辺画素とにおける、前記物体距離の差の平均を算出することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記算出手段は、前記注目画素を挟む周辺画素対の間の前記物体距離の勾配に基づいて、前記物体距離の差を算出することを特徴とする請求項９に記載の画像処理装置。
11. さらに、前記撮影画像の撮影条件を取得する撮影条件の取得手段を有し、
    前記パラメータ設定手段は、前記撮影条件と前記物体距離の差に基づいて、前記パラメータを設定することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記撮影条件は、撮影距離、レンズのＦ値、レンズの焦点距離、の少なくともいずれか１つを含むことを特徴とする請求項１１に記載の画像処理装置。
13. 被写体を撮影して得られた撮影画像に対して補正を施す画像処理装置が行う画像処理方法であって、
    取得手段が、前記撮影画像の各画素について、前記被写体までの距離を示す物体距離の情報を取得する取得ステップと、
    算出手段が、前記撮影画像における注目画素と該注目画素の周辺画素とで構成される画素群内の２つの画素についての前記物体距離の差を算出する算出ステップと、
    パラメータ設定手段が、該算出された前記物体距離の差を用いて、前記注目画素に対するシャープネス処理のパラメータを設定するパラメータ設定ステップと、
    シャープネス処理手段が、該設定されたパラメータを用いて、前記注目画素に対するシャープネス処理を行うシャープネス処理ステップと、
    を有し、
    前記パラメータ設定ステップでは、前記パラメータとして、シャープネス処理のフィルタサイズを設定することを特徴とする画像処理方法。
14. 被写体を撮影して得られた撮影画像に対して補正を施す画像処理装置が行う画像処理方法であって、
    取得手段が、前記撮影画像の各画素について、前記被写体までの距離を示す物体距離の情報を取得する取得ステップと、
    算出手段が、前記撮影画像における注目画素と該注目画素の周辺画素とで構成される画素群内の２つの画素についての前記物体距離の差を算出する算出ステップと、
    パラメータ設定手段が、該算出された前記物体距離の差を用いて、前記注目画素に対するアンシャープマスク処理のパラメータを設定するパラメータ設定ステップと、
    アンシャープマスク処理手段が、該設定されたパラメータを用いて、前記注目画素に対するアンシャープマスク処理を行うアンシャープマスク処理ステップと、
    を有し、
    前記パラメータ設定ステップでは、前記パラメータとして、アンシャープマスク処理の適用量を設定することを特徴とする画像処理方法。
15. コンピュータ装置を制御して、請求項１乃至１２の何れか１項に記載された画像処理装置の各手段として機能させることを特徴とするプログラム。

Images