JP2011023823A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】適切に短時間でボケ修復を行うことのできる画像処理装置及び方法を提供する。
【解決手段】画像データのボケ修復を行う修復工程と、前記画像データから、少なくとも撮影前の焦点検出動作に関連する情報、被写体移動情報、及び、焦点検出動作の精度情報のいずれか１つを含む画像関連情報を取得する取得工程と、ボケ修復が可能な被写体距離の範囲の情報を設定する設定手段と、前記画像関連情報に基づいて、前記ボケ修復をする被写体距離の範囲を抽出する抽出工程とを備え、前記修復工程では、前記抽出手段によって抽出された被写体距離の範囲において前記画像データのボケ修復を行う画像処理方法を提供する。
【選択図】 図１４

Description

本発明は、画像内の被写体距離情報に基づいてボケ修復を行う技術に関するものである。

従来、撮像素子の画素群の間に焦点検出用画素を離散的に分布させ、焦点検出用画素からの信号に基づいて被写体距離を算出することが可能な撮像装置が特許文献１に開示されている。特許文献１に開示されている構成をとることで、撮影画像内の被写体距離分布を取得することが可能である。

また、ボケ画像を復元して、ボケを修復した画像を生成する手法として、例えば、ウィーナーフィルタ、一般逆フィルタ、射影フィルタ等を適用する手法がある。このような手法を用いてボケ修復する技術が、特許文献２に開示されている。特許文献２に開示された技術を用いることで、撮影条件等に基づく物理的解析や、撮像装置内の測定装置からの出力に基づく推定等により劣化関数を求め、デコンボリューションと呼ばれる画像復元アルゴリズムによって、ボケ画像を復元することが可能となる。

通常、どの被写体距離にピントを合わせるかは、撮影時のフォーカス状態で決まってしまう。そのため、撮影後にピントが合っている被写体距離を変えることはできない。しかし、特許文献１に開示されている技術で撮影画像内の被写体距離分布を取得し、特許文献２に開示されているボケ修復技術でボケ修復を行えば、どの被写体距離にピントを合わせるかを、撮影後に変えることができる。

特開２０００−１５６８２３号公報 特開２０００−２０６９１号公報

しかしながら、特許文献１と特許文献２に開示されている技術を画像処理装置に適用した場合、必要なリソースは大規模になり、高価なハードウェアが必要となったり、ボケ修復処理に時間がかかったりといった問題があった。これは、ボケ修復可能な被写体距離の範囲は、被写体距離に応じたボケ修復フィルタにより設定されると考えられるが、その全範囲のボケ修復を行うと、必要とされる処理の内容が膨大であるためである。また、ボケ修復処理の内容を簡略化するために、ボケ修復フィルタを簡略化すると、ボケ修復後の画像の劣化具合が大きくなるという問題があった。

一方で、撮影者が、被写体に、概ねピントを合わせて撮影した場合には、ボケ修復可能な被写体距離の範囲全ては必要なく、撮影画像に対してピント位置を微修正できれば、撮影者の意図する修復を行える。また、撮影者が、撮影画像を拡大表示している場合には、その表示範囲内に表示されている被写体にピントのあう位置近傍でのボケ修復が行えればよい。

本発明は、上述した課題に鑑みてなされたものであり、その目的は、適切に短時間でボケ修復を行うことである。

上述した課題を解決し、目的を達成するために、本発明に係わる画像処理装置は、撮影レンズを介して入射した被写体光を光電変換する撮像手段により得られた画像データのボケ修復を行う修復手段と、前記画像データから、少なくとも撮影前の焦点検出動作に関連する情報、被写体移動情報、及び、焦点検出動作の精度情報のいずれか１つを含む画像関連情報を取得する取得手段と、前記修復手段によるボケ修復が可能な被写体距離の範囲を設定する設定手段と、前記取得手段により取得された画像関連情報に基づいて、前記ボケ修復が可能な被写体距離の範囲よりも狭い被写体距離の範囲を抽出する抽出手段とを備え、前記修復手段は、前記抽出手段によって抽出された前記被写体距離の範囲において前記画像データのボケ修復を行うことを特徴とする。

また、本発明に係わる画像処理方法は、撮影レンズを介して入射した被写体光を光電変換する撮像手段により得られた画像データのボケ修復を行う修復工程と、前記画像データから、少なくとも撮影前の焦点検出動作に関連する情報、被写体移動情報、及び、焦点検出動作の精度情報のいずれか１つを含む画像関連情報を取得する取得工程と、前記修復工程によるボケ修復が可能な被写体距離の範囲を設定する設定工程と、前記取得工程により取得された画像関連情報に基づいて、前記ボケ修復が可能な被写体距離の範囲よりも狭い被写体距離の範囲を抽出する抽出工程とを備え、前記修復工程では、前記抽出工程によって抽出された前記被写体距離の範囲において前記画像データのボケ修復を行うことを特徴とする。

本発明によれば、ボケ修復を適切に短時間で行うことが可能となる。

第１の実施形態に係わる画像処理装置の構成を示す図である。 第１の実施形態の撮像素子の概略的回路構成を示した図である。 撮像素子の画素部の断面図である。 撮像素子の撮像用画素の平面図と断面図である。 撮像素子の焦点検出用画素の平面図と断面図である。 撮像素子の他の焦点検出用画素の平面図と断面図である。 撮像素子の瞳分割状況を説明する概念図である。 被写体の距離情報を示す図である。 被写体距離とボケ修復可能な距離の関係を示す図である。 撮影画像のボケが修復される様子を示す図である。 第１の実施形態の画像処理装置のメインフロー図である。 被写体距離マップ作成サブルーチンのフロー図である。 撮影サブルーチンのフロー図である。 第１の実施形態における撮影画像確認サブルーチンのフロー図である。 ボケ修復サブルーチンのフロー図である。 ボケ関数生成サブルーチンのフロー図である。 撮影画像のピント位置が微修正される様子を示す図である。 ピント位置の微修正を行う被写体距離とボケ修復可能な距離の関係を示す図である。 第２の実施形態における撮影画像確認サブルーチンのフロー図である。

以下、図１〜図１７を参照して、本発明の第１の実施形態に係わる画像処理装置について詳細に説明する。

図１は、第１の実施形態に係わる画像処理装置の構成を示す図である。図１において、画像処理装置は、撮像素子を有したカメラ本体１３８と、別体の撮影レンズ１３７とで構成されており、カメラ本体１３８に対して撮影レンズ１３７が交換可能な電子カメラを示している。

まず撮影レンズ１３７の構成について説明する。１０１は撮影レンズ先端に配置された第１レンズ群で、光軸方向に進退可能に保持される。１０２は絞りで、その開口径を調節することで撮影時の光量調節を行う。１０３は第２レンズ群である。そして絞り１０２及び第２レンズ群１０３は一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）をなす。１０５は第３レンズ群で、光軸方向の進退により、焦点調節を行うフォーカスレンズである。１１１はズームアクチュエータで、不図示のカム筒を回動することで、第１レンズ群１１１乃至第２レンズ群１０３を光軸方向に進退駆動し、変倍操作を行う。１１２は絞りアクチュエータで、絞り１０２の開口径を制御して撮影光量を調節する。１１４はフォーカスアクチュエータで、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。

１３６はカメラ通信回路で、レンズに関する情報をカメラ本体１３８に渡したり、カメラ本体１３８に関する情報を受け取ったりする。レンズに関する情報とは、ズーム状態、絞り状態、フォーカス状態、レンズ枠情報、レンズのフォーカス駆動の精度情報等のことである。カメラ通信回路１３６は、カメラ本体１３８側に設けられたレンズ通信回路１３５に、これらの情報を渡す。これらのレンズに関する情報の一部は、カメラ本体１３８内で記録されていても良い。そうすることにより、レンズとカメラ本体間の通信量を減らすことができ、より高速に情報の処理を行うことができる。

次にカメラ本体１３８について説明する。１０６は光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減するための光学素子である。１０７はＣ−ＭＯＳセンサとその周辺回路で構成された撮像素子である。撮像素子１０７には、横方向ｍ画素、縦方向ｎ画素の受光ピクセル上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、２次元単板カラーセンサが用いられる。そして、この撮像素子１０７は、撮影レンズ１３７を介して入射した被写体光を光電変換して画像データを出力する。

１１５は撮影時の被写体照明用電子フラッシュで、キセノン管を用いた閃光照明装置が好適であるが、連続発光するＬＥＤを備えた照明装置を用いても良い。１１６はＡＦ補助光装置で、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させる。１２１は、カメラ本体の種々の制御を司るカメラ内ＣＰＵで、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。そして、ＲＯＭに記憶された所定のプログラムに基づいて、カメラが有する各種回路を駆動し、ＡＦ、撮影、画像処理、記録等の一連の動作を実行する。

１２２は電子フラッシュ制御回路で、撮影動作に同期して電子フラッシュ１１５を点灯制御する。１２３は補助光駆動回路で、焦点検出動作に同期してＡＦ補助光装置１１６を点灯制御する。１２４は撮像素子駆動回路で、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。１２５は画像処理回路で、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行う。

１２６はフォーカス駆動回路で、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。１２８は絞り駆動回路で、絞りアクチュエータ１１２を駆動制御して絞り１０２の開口を制御する。１２９はズーム駆動回路で、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。１３５はレンズ通信回路で、撮影レンズ１３７内のカメラ通信回路１３６と通信を行う。１３９はシャッターユニットで、静止画撮影時の露光時間制御を行う。１４０はシャッターユニット１３９を動かすためのシャッターアクチュエータである。１４５はシャッター駆動回路で、シャッターアクチュエータ１４０を駆動する。

１３１はＬＣＤ等の表示器で、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。１３２は操作スイッチ群で、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。１３３は着脱可能なフラッシュメモリで、撮影済み画像を記録する。１４４はカメラ内メモリであり、ＣＰＵ１２１で行う演算に必要な各種データが保存されている。

図２は第１の実施形態の撮像素子の概略的回路構成を示した図であり、特開平０９−０４６５９６号報等に開示された技術が好適である。図２は２次元Ｃ−ＭＯＳエリアセンサの２列×４行画素の範囲を示したものであるが、撮像素子として利用する場合は、当図に示した画素を多数配置し、高解像度画像の取得を可能としている。本実施形態においては、画素ピッチが２μm、有効画素数が横３０００列×縦２０００行＝６００万画素、撮像画面サイズが横６ｍｍ×縦４ｍｍの撮像素子として説明を行う。図２において、１はＭＯＳトランジスタゲートとゲート下の空乏層からなる光電変換素子の光電変換部、２はフォトゲート、３は転送スイッチＭＯＳトランジスタ、４はリセット用ＭＯＳトランジスタである。５はソースフォロワアンプＭＯＳトランジスタ、６は水平選択スイッチＭＯＳトランジスタ、７はソースフォロワの負荷ＭＯＳトランジスタ、８は暗出力転送ＭＯＳトランジスタ、９は明出力転送ＭＯＳトランジスタである。１０は暗出力蓄積容量ＣＴＮ、１１は明出力蓄積容量ＣＴＳ、１２は水平転送ＭＯＳトランジスタ、１３は水平出力線リセットＭＯＳトランジスタ、１４は差動出力アンプ、１５は水平走査回路、１６は垂直走査回路である。

図３に画素部の断面図を示す。図３において、１７はＰ型ウェル、１８はゲート酸化膜、１９は一層目ポリＳｉ、２０は二層目ポリＳｉ、２１はｎ＋フローティングディフュージョン部（ＦＤ）である。ＦＤ２１は別の転送ＭＯＳトランジスタを介して別の光電変換部と接続される。図３において、２つの転送ＭＯＳトランジスタ３のドレインとＦＤ部２１を共通化して微細化とＦＤ部２１の容量低減による感度向上を図っているが、Ａｌ配線でＦＤ部２１を接続しても良い。

図４及び図５は、撮像用画素と焦点検出用画素の構造を説明する図である。本実施形態においては、２行×２列の４画素のうち、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した、ベイヤー配列が採用されている。そして、このベイヤー配列の間に、焦点検出用画素が所定の規則にて分散配置される。撮像用画素の間に、焦点検出用画素を離散的に配置する技術は、特開２０００−１５６８２３号公報等で開示されていて公知の技術であるため、説明は省略する。

図４に撮像用画素の配置と構造を示す。図４（ａ）は２行×２列の撮像用画素の平面図である。周知のごとく、ベイヤー配列では対角方向にＧ画素が、他の２画素にＲとＢの画素が配置される。そしてこの２行×２列の構造が繰り返し配置される。図４（ａ）の断面Ａ−Ａを図４（ｂ）に示す。ＭＬは各画素の最前面に配置されたオンチップマイクロレンズ、ＣＦＲはＲ（Ｒｅｄ）のカラーフィルタ、ＣＦＧはＧ（Ｇｒｅｅｎ）のカラーフィルタである。ＰＤは図３で説明したＣ−ＭＯＳセンサの光電変換部を模式的に示したもの、ＣＬはＣ−ＭＯＳセンサ内の各種信号を伝達する信号線を形成するための配線層である。ＴＬは撮影光学系を模式的に示したものである。

ここで、撮像用画素のオンチップマイクロレンズＭＬと光電変換部ＰＤは、撮影光学系ＴＬを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系ＴＬの射出瞳ＥＰと光電変換部ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換部の有効面積は大面積に設計される。また、図４（ｂ）ではＲ画素の入射光束について説明したが、Ｇ画素及びＢ（Ｂｌｕｅ）画素も同一の構造となっている。従って、撮像用のＲＧＢ各画素に対応した射出瞳ＥＰは大径となり、被写体からの光束を効率よく取り込んで画像信号のＳ／Ｎを向上させている。

図５は、撮影画面の水平方向（横方向）に瞳分割を行うための焦点検出用画素の配置と構造を示す。図５（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図である。撮像信号を得る場合、Ｇ画素は輝度情報の主成分をなす。そして人間の画像認識特性は輝度情報に敏感であるため、Ｇ画素が欠損すると画質劣化が認められやすい。一方でＲもしくはＢ画素は、色情報を取得する画素であるが、人間は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化に気づきにくい。そこで本実施形態においては、２行×２列の画素のうち、Ｇ画素は撮像用画素として残し、ＲとＢの画素を焦点検出用画素としている。これを図５（ａ）においてＳＨＡ及びＳＨＢで示す。

図５（ａ）の断面Ａ−Ａを図５（ｂ）に示す。マイクロレンズＭＬと、光電変換部ＰＤは図４（ｂ）に示した撮像用画素と同一構造である。本実施形態においては、焦点検出用画素の信号は画像創生には用いないため、色分離用カラーフィルタの代わりに透明膜ＣＦＷ（Ｗｈｉｔｅ）が配置される。また、撮像素子で瞳分割を行なうため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対して一方向に偏倚している。具体的には、焦点検出用画素ＳＨＡの開口部ＯＰＨＡは右側に偏倚しているため、撮影レンズＴＬの左側の射出瞳ＥＰＨＡを通過した光束を受光する。同様に、焦点検出用画素ＳＨＢの開口部ＯＰＨＢは左側に偏倚しているため、撮影レンズＴＬの右側の射出瞳ＥＰＨＢを通過した光束を受光する。よって、画素ＳＨＡを水平方向に規則的に配列し、これらの画素群で取得した被写体像をＡ像とする。また、画素ＳＨＢも水平方向に規則的に配列し、これらの画素群で取得した被写体像をＢ像とすると、Ａ像とＢ像の相対位置を検出することで、撮影レンズ１３７のピントずれ量（デフォーカス量）が検出できる。ここで、マイクロレンズＭＬは、撮影レンズＴＬの左側の射出瞳ＥＰＨＡを透過した光束からなるＡ像と、撮影レンズＴＬの右側の射出瞳ＥＰＨＢを透過した光束からなるＢ像の、一対の光学像を生成するレンズ要素の機能を果たしている。

なお、上記焦点検出用画素ＳＨＡ及びＳＨＢでは、撮影画面の横方向に輝度分布を有した被写体、例えば縦線に対しては焦点検出可能だが、縦方向に輝度分布を有する横線は焦点検出不能である。そこで本実施形態では、後者についても焦点検出できるよう、撮影レンズの垂直方向（縦方向）に瞳分割を行う画素も備えている。

図６は、撮影画面の垂直方向に瞳分割を行うための焦点検出用画素の配置と構造を示す。図６（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図で、図５（ａ）と同様に、Ｇ画素は撮像用画素として残し、ＲとＢの画素を焦点検出用画素としている。これを図６（ａ）においてＳＶＣ及びＳＶＤで示す。図６（ａ）の断面Ａ−Ａを図６（ｂ）に示すが、図５（ｂ）の画素が横方向に瞳分離する構造であるのに対して、図６（ｂ）の画素は瞳分離方向が縦方向になっているだけで、画素の構造としては変わらない。すなわち、焦点検出用画素ＳＶＣの開口部ＯＰＶＣは下側に偏倚しているため、撮影レンズＴＬの上側の射出瞳ＥＰＶＣを通過した光束を受光する。同様に、焦点検出用画素ＳＶＤの開口部ＯＰＶＤは上側に偏倚しているため、撮影レンズＴＬの下側の射出瞳ＥＰＶＤを通過した光束を受光する。よって、焦点検出用画素ＳＶＣを垂直方向に規則的に配列し、これらの画素群で取得した被写体像をＣ像とする。また、焦点検出用画素ＳＶＤも垂直方向に規則的に配列し、これらの画素群で取得した被写体像をＤ像とすると、Ｃ像とＤ像の相対位置を検出することで、撮影画面の垂直方向に輝度分布を有する被写体像のピントずれ量（デフォーカス量）が検出できる。

図７は、第１の実施形態における撮像素子の瞳分割状況を概念的に説明する図である。ＴＬは撮影レンズ、１０７は撮像素子、ＯＢＪは被写体、ＩＭＧは被写体像である。撮像用画素は図４で説明したように、撮影レンズの射出瞳全域ＥＰを通過した光束を受光する。一方、焦点検出用画素は図５及び図６で説明したように、瞳分割機能を有している。具体的には、図５の焦点検出用画素ＳＨＡは撮像面からレンズ後端を見て左側の瞳を通過した光束、すなわち図７の瞳ＥＰＨＡを通過した光束を受光する。同様に焦点検出用画素ＳＨＢ、ＳＶＣ及びＳＶＤはそれぞれ瞳ＥＰＨＢ、ＥＰＶＣ及びＥＰＶＤを通過した光束を受光する。そして、焦点検出用画素を、撮像素子１０７の全領域に渡って分布させることで、撮像領域全域で焦点検出を可能としている。

図８は、ＣＰＵ１２１の距離情報取得機能により得られた距離情報を示した図である。第１の実施形態における撮像素子１０７では、図５及び図６で説明したような焦点検出用画素ＳＨＡ、ＳＨＢ、ＳＶＣ、ＳＶＤが、全領域に渡って分布しているため、撮影画面の任意の位置における被写体距離を取得することが可能となる。得られた被写体距離の分布の中で、被写体距離の近い領域をつなぎ合わせてグルーピングすることで、撮影画面中に含まれる被写体の輪郭を抽出することが可能となる。Ｔａｒｇｅｔ１、Ｔａｒｇｅｔ２、Ｔａｒｇｅｔ３は、抽出された被写体領域を示したものであり、ＢａｃｋＧｒｏｕｎｄ１は、背景領域を示したものである。Ｄｉｓｔ１、Ｄｉｓｔ２、Ｄｉｓｔ３、Ｄｉｓｔ４は被写体距離である。Ｄｉｓｔ１は被写体領域Ｔａｒｇｅｔ１における被写体距離の代表値、Ｄｉｓｔ２は被写体領域Ｔａｒｇｅｔ２における被写体距離の代表値、Ｄｉｓｔ３は被写体領域Ｔａｒｇｅｔ３における被写体距離の代表値である。また、Ｄｉｓｔ４は背景領域ＢａｃｋＧｒｏｕｎｄ１における被写体距離である。Ｄｉｓｔ１が最も近く、Ｄｉｓｔ２は２番目に近く、Ｄｉｓｔ３は３番目に近い。そして、Ｄｉｓｔ４は最も遠く位置する。図８に示すような距離情報の取得は、ＣＰＵ１２１が行う。ＣＰＵ１２１は、焦点検出用画素から得られる被写体距離分布から被写体の抽出を行い、各被写体の領域及び距離を取得する。

本実施形態の画像処理装置では、この距離情報と撮影レンズのボケ情報に基づいて、撮影画像（撮影画像データ）のボケ修復を行う。ボケの生成過程は、画像処理装置の特性や撮影レンズの特性から推定することが可能である。このボケの生成過程をモデル化したボケ修復フィルタを定義し、ウィーナーフィルタ等の一般にデコンボリューションと呼ばれる画像復元アルゴリズムによってボケ画像を復元処理することで、ボケ修復を行う。ボケ修復方法については、特開２０００−２０６９１号公報に記載されているため、詳細な説明は省略する。

図９は、被写体距離Ｄｉｓｔ１、Ｄｉｓｔ２、Ｄｉｓｔ３、Ｄｉｓｔ４と、ある撮影レンズの状態におけるボケ修復可能な距離の関係を示した図である。ボケ修復可能な距離は、画像処理装置が有する撮影レンズごとの被写体距離に応じたボケ修復フィルタによって異なる。そこで、ＣＰＵ１２１は、撮影レンズ１３７のフォーカスレンズの状態に応じてボケ修復可能な距離の範囲を算出する。ここで算出されるボケ修復可能な距離の範囲、および、ボケ修復に用いるフィルタは、第１のボケ修復情報と呼ぶ。ボケ修復可能な最も至近側の距離を第１距離Ｄｉｓｔ１１、最も無限遠側の距離を第２距離Ｄｉｓｔ１２とする。ＣＰＵ１２１のボケ修復機能は、第１距離Ｄｉｓｔ１１と第２距離Ｄｉｓｔ１２の範囲の被写体像に対して、ボケ修復が可能となる。図８で説明した被写体距離Ｄｉｓｔ１、Ｄｉｓｔ２、Ｄｉｓｔ３、Ｄｉｓｔ４のうち、Ｄｉｓｔ１〜３については、第１距離Ｄｉｓｔ１１と第２距離Ｄｉｓｔ１２の範囲に位置しており、Ｄｉｓｔ４は範囲外に位置しているとする。

図１０は、ボケ修復部により撮影画像のボケが修復される様子を示した図である。図１０における撮像画像は、図８の撮像画像と同じものである。図１０（Ａ）は、被写体領域Ｔａｒｇｅｔ１にピントを合わせるボケ修復を行った様子を示したものである。被写体領域Ｔａｒｇｅｔ１における被写体距離Ｄｉｓｔ１に対応した画像処理装置の特性情報及び撮影レンズ情報から、ボケ修復フィルタを定義する。被写体領域Ｔａｒｇｅｔ１に対して、このボケ修復フィルタに基づいた修復処理を行うことで、被写体領域Ｔａｒｇｅｔ１はボケ修復されて、ピントの合った画像となる。その際に、被写体領域Ｔａｒｇｅｔ１以外の領域についても、同様に、ボケ修復フィルタを定義し修復処理を行う。こうすることで、図１０（Ａ）に示すような、被写体領域Ｔａｒｇｅｔ１にピントがあった画像を取得することが可能となる。

図１０（Ｂ）は、被写体領域Ｔａｒｇｅｔ２にピントを合わせるボケ修復を行った様子を示したものである。被写体領域Ｔａｒｇｅｔ２における被写体距離Ｄｉｓｔ２に対応した画像処理装置の特性情報及び撮影レンズ情報から、ボケ修復フィルタを定義する。被写体領域Ｔａｒｇｅｔ２に対して、このボケ修復フィルタに基づいた修復処理を行うことで、被写体領域Ｔａｒｇｅｔ２はボケ修復されて、ピントの合った画像となる。その際に、被写体領域Ｔａｒｇｅｔ２以外の領域についても、同様に、ボケ修復フィルタを定義し修復処理を行う。こうすることで、図１０（Ｂ）に示すような、被写体領域Ｔａｒｇｅｔ２にピントがあった画像を取得することが可能となる。

図１０（Ｃ）は、被写体領域Ｔａｒｇｅｔ３にピントを合わせるボケ修復を行った様子を示したものである。被写体領域Ｔａｒｇｅｔ３における被写体距離Ｄｉｓｔ３に対応した画像処理装置の特性情報及び撮影レンズ情報から、ボケ修復フィルタを定義する。被写体領域Ｔａｒｇｅｔ３に対して、このボケ修復フィルタに基づいた修復処理を行うことで、被写体領域Ｔａｒｇｅｔ３はボケ修復されて、ピントの合った画像となる。その際に、被写体領域Ｔａｒｇｅｔ３以外の領域についても、同様に、ボケ修復フィルタを定義し修復処理を行う。こうすることで、図１０（Ｃ）に示すような、被写体領域Ｔａｒｇｅｔ３にピントがあった画像を取得することが可能となる。

以上、図１０（Ａ）〜図１０（Ｃ）を用いて説明したように、本実施形態の画像処理装置では、各被写体の領域及び距離を含む距離情報に基づいてボケ修復することで、ピントを合わせる被写体を選択することが可能となる。

図１１〜図１６は、本発明の第１の実施例の画像処理装置の焦点調節及び撮影工程を説明するためのフローチャートである。図１１は本実施形態の画像処理装置のメインフローである。メインフローの動作はＣＰＵ１２１が制御する。

撮影者がカメラの電源スイッチをオン操作すると（ステップＳ１０１）、ＣＰＵ１２１はカメラ内の各アクチュエータや撮像素子の動作確認を行い、メモリ内容や実行プログラムの初期化を行うと共に、撮影準備動作を実行する（ステップＳ１０２）。ステップＳ１０３では、レンズ通信回路１３５を介して撮影レンズ１３７内のカメラ通信回路１３６とレンズ通信を行う。レンズ通信によりレンズの動作確認を行い、レンズ内のメモリ内容や実行プログラムの初期化を行うと共に、準備動作を実行させる。また、焦点検出や撮像に必要なレンズの諸特性データを取得し、カメラ内メモリ１４４に保存する。ステップＳ１０４では撮像素子の撮像動作を開始し、プレビュー用の低画素動画像を出力する。ステップＳ１０５では読み出した動画をカメラ背面に設けられた表示器１３１に表示し、撮影者はこのプレビュー画像を目視して撮影時の構図決定を行う。

ステップＳ１０６では、プレビュー用動画像に顔が存在するか否かを認識する。そして、プレビュー用動画像から、顔の数、位置、そして大きさを検出し、カメラ内メモリ１４４に記録しておく。顔を認識する技術は、特開２００４−３１７６９９号公報に開示されているため、ここでは説明を省略する。ステップＳ１０７で撮影領域に顔が存在していると認識された場合には、ステップＳ１０８に移行し、焦点調節モードを顔ＡＦモードに設定する。ここで顔ＡＦモードとは、撮影領域の顔の位置とステップＳ２００で作成される被写体距離マップの両方を加味して焦点を合わせるＡＦモードを指す。一方ステップＳ１０７で撮影領域に顔が存在していないと認識された場合は、ステップＳ１０７からステップＳ１０９に移行し、焦点調節モードを多点ＡＦモードに設定する。ここで多点ＡＦモードとは、撮影領域を例えば３×５＝１５分割し、ステップＳ２００で作成される被写体距離マップから算出される各分割領域での焦点検出結果と、被写体の輝度情報とに基づき、主被写体を類推し、その領域を合焦させるモードを指す。

ステップＳ１０８あるいはステップＳ１０９でＡＦモードを決定したら、ステップＳ１１０で、撮影準備スイッチがオン操作されたか否かを判別し、オン操作されていなければステップＳ１１７に進みメインスイッチがオフされたか否かを判別する。ステップＳ１１０で撮影準備スイッチがオン操作されると、ステップＳ２００に移行し、被写体距離マップ作成サブルーチンを実行する。ステップＳ１１１では、ステップＳ２００で算出した被写体距離マップに基づき、焦点検出位置を決定する。ここで検出位置決定方法は至近側優先とし、ステップＳ２００で得られた被写体の中で、最も至近側に位置する被写体の位置を、焦点検出位置として設定する。

ステップＳ１１２では、ステップＳ１１１で決定した焦点検出位置における焦点ずれ量をステップＳ２００で得られる被写体距離マップから算出し、得られた焦点ずれ量が許容値以下か否かを判断する。そして焦点ずれ量が許容値より大きい場合は、非合焦と判断し、ステップＳ１１３でフォーカスレンズを駆動し、その後ステップＳ１１０に戻って撮影準備スイッチが押されたか否かを判別する。そしてステップＳ１１２にて合焦状態に達したと判定されると、ステップＳ１１４にて合焦表示を行い、ステップＳ１１５に移行する。ステップＳ１１５では、撮影開始スイッチがオン操作されたか否かを判別し、オン操作されていなければステップＳ１１５にて撮影待機状態を維持する。ステップＳ１１５で撮影開始スイッチがオン操作されるとステップＳ３００に移行し、撮影サブルーチンを実行する。

ステップＳ３００の撮影サブルーチンが終了したら、ステップＳ１１６に進み、撮影開始スイッチがオフか否かを判断する。撮影開始スイッチがオンの状態で維持されている場合には、再びステップＳ３００に進み、撮影サブルーチンを行う。いわゆる連写の動作を行う。ステップＳ１１６で、撮影開始スイッチがオフであると判断されると、ステップＳ４００に進み、撮影画像確認サブルーチンに進む。撮影画像確認サブルーチンを終えると、ステップＳ１１７に進み、メインスイッチがオフされたか否かを判定する。メインスイッチがオフされていない場合には、ステップＳ１０３に戻る。メインスイッチがオフされた場合には、一連の動作を終了する。

図１２は被写体距離マップ作成サブルーチンのフロー図である。被写体距離マップ作成サブルーチンの一連の動作も測距手段、すなわち、ＣＰＵ１２１が行う。メインフローのステップＳ２００から当サブルーチンのステップＳ２００にジャンプすると、ステップＳ２０１において焦点検出領域の設定を行う。ＡＦモードに基づいて決められた少なくとも１つ以上の焦点検出領域の中から焦点検出領域を決め、ステップＳ２０２以降の処理を行う。ステップＳ２０２では、ステップＳ２０１で設定した焦点検出領域の焦点検出用画素の信号を読み出す。ステップＳ２０３では、相関演算用２像の創生を行う。ステップＳ２０２にて読み出した各焦点検出画素の信号を並べることで、相関演算用のＡ像、Ｂ像の信号とする。

ステップＳ２０４では、得られたＡ像、Ｂ像に基づいて相関演算を行い、Ａ像、Ｂ像の位相差を算出する。ステップＳ２０５では、相関演算結果の信頼性を判定する。ここで信頼性とは、Ａ像、Ｂ像の一致度を指し、Ａ像、Ｂ像の一致度が良い場合は一般的に焦点検出結果の信頼性が高い。そこで、この一致度が或る閾値を超えているか否かで位相差検出結果の信頼性の判定を行ったり、複数の焦点検出領域が選択されている場合に信頼性の高い情報を優先的に使用したりするなどに用いる。ステップＳ２０６では、ステップＳ２０４で得られたＡ像、Ｂ像の位相差に対して、位相差を焦点ずれ量に変換する変換係数をかけることで、焦点ずれ量を演算する。

ステップＳ２０７では、全焦点検出領域について、焦点ずれ量算出が完了したか否かを判別する。全焦点検出領域が完了していないと判別されたときには、ステップＳ２０１に戻り、残っている焦点検出領域の中から焦点検出領域を選んで設定する。ステップＳ２０７で全焦点検出領域が完了したと判別されたときには、ステップＳ２０８に進む。ステップＳ２０８では、ステップＳ２０１〜２０７を繰り返すことで得られた全焦点検出領域における焦点ずれ量から、焦点ずれ量マップを作成する。ここで焦点ずれ量マップとは、撮影画面上の位置と焦点ずれ量とを対応させた分布データである。

ステップＳ２０９では、ステップＳ２０８で得られた焦点ずれ量マップに対して、ステップＳ１０３のレンズ通信で撮影レンズ１３７から取得したレンズ情報を考慮して、焦点ずれ量を被写体距離に変換する。これにより、撮影画面上の位置と被写体距離とを対応させた分布データを得ることが可能となる。ステップＳ２１０では、被写体距離の分布データに基づき、被写体の抽出を行う。得られた被写体距離の分布の中で、被写体距離の近い領域をつなぎ合わせてグルーピングし、撮影画面中に含まれる被写体の輪郭を抽出する。これにより、各被写体の領域と被写体距離を対応させた被写体距離マップが得られることになる。ステップＳ２１０が終わったら、被写体距離マップ作成サブルーチンを終了し、メインフロー内のステップＳ１１１に進む。

図１３は、撮影サブルーチンのフロー図である。撮影サブルーチンの一連の動作も、ＣＰＵ１２１が行う。ステップＳ３０１では、光量調節絞りを駆動し、露光時間を規定するメカニカルシャッタの開口制御を行う。ステップＳ３０２では、高画素静止画撮影のための画像読み出し、すなわち全画素の読み出しを行う。ステップＳ２００では、ステップＳ３０２で得られた撮影画像の中に含まれる焦点検出用画素の出力を用いて、ステップＳ２００で説明した被写体距離マップ作成サブルーチンを行う。これにより得られる各被写体の領域と被写体距離を対応させた被写体距離マップから、撮影画像の焦点ずれの量が分かる。図１１のステップＳ１１０の後に行うステップＳ２００の被写体距離マップ作成サブルーチンと比較すると、得られる画像の画素数が多く、より正確な被写体距離マップを作成することができる。ただし、高画素静止画による被写体距離マップの作成は、処理する画素数が多いため、処理時間がかかったり、コストの高い処理装置が必要となったりする。そのため、ここで、被写体距離マップを作成することは必須ではない。

ステップＳ３０３では読み出した画像信号の欠損画素補間を行う。すなわち、焦点検出用画素の出力は撮像のためのＲＧＢカラー情報を有しておらず、画像を得る上では欠陥画素に相当するため、周囲の撮像用画素の情報から補間により画像信号を創生する。ステップＳ３０４では、画像のγ補正、色変換、エッジ強調等の画像処理を行い、ステップＳ３０５において、フラッシュメモリ１３３に撮影画像を記録する。

ステップ３０６では、ステップＳ３０５で記録した撮影画像に対応させて、カメラ本体１３８の特性情報をフラッシュメモリ１３３とカメラ内メモリ１４４に記録する。ここでカメラ本体１３８の特性情報とは、撮像素子１０７の撮像用画素及び焦点検出用画素の受光感度分布情報、カメラ本体１３８内での撮影光束のケラレ情報、カメラ本体１３８と撮影レンズ１３７との取り付け面から撮像素子１０７までの距離情報、製造誤差情報などが含まれる。撮像素子１０７の撮像用画素及び焦点検出用画素の受光感度分布情報は、オンチップマイクロレンズＭＬと光電変換部ＰＤによって決まるため、これらの情報を記録しても良い。

ステップＳ３０７では、ステップＳ３０５で記録した撮影画像に対応させて、撮影レンズ１３７の特性情報をフラッシュメモリ１３３とカメラ内メモリ１４４に記録する。ここで撮影レンズ１３７の特性情報とは、射出瞳ＥＰの情報、枠情報、撮影時のＦナンバー情報、収差情報、製造誤差情報、などが含まれる。ステップＳ３０８では、撮影した画像に関する画像関連情報をフラッシュメモリ１３３とカメラ内メモリ１４４に記録する。画像関連情報とは、撮影前の焦点検出動作に関する情報や、被写体移動情報、焦点検出動作の精度に関わる情報などが含まれる。

撮影前の焦点検出動作に関する情報には、被写体距離マップや撮影時のフォーカスレンズの位置情報などが含まれる。これらの情報は、画像に関連付けられ、記録される。また、被写体移動情報は、図１１のステップＳ１１５において撮影開始スイッチのオフ状態が検出されず、ステップＳ２００に移行する、いわゆる連写動作に移行した場合に得られる複数の被写体距離マップから算出される。具体的には、一定時間の間隔があいた被写体距離マップから、画像内での被写体の移動や、被写体距離の変化、すなわち被写体移動速度を検出する。

また、焦点検出動作の精度に関わる情報とは、レンズのフォーカス駆動の位置精度や、ステップＳ２００で行う被写体距離マップとして記録される被写体の距離情報の精度に関する情報である。この情報により、撮影された画像が、撮影者が意図した画像に対して、どの程度焦点ずれを起こしている可能性があるかを、推測することができる。例えば、レンズのフォーカス駆動の位置精度が悪いレンズで撮影を行った場合には、撮影された画像の焦点ずれ量は、比較的大きい可能性がある。一方、レンズのフォーカス駆動の位置精度が良いレンズで撮影を行った場合には、撮影された画像の焦点ずれ量は、小さい可能性が高い。このような、焦点ずれ量の大小の期待値を、数段階に区別し、焦点検出動作の精度に関わる情報として記録する。

ステップＳ３０８が終わると、ステップＳ３００の撮影サブルーチンを終了し、メインルーチンのステップＳ１１６に進む。

図１４は、撮影画像確認サブルーチンのフロー図である。撮影画像確認サブルーチンの一連の動作も、ＣＰＵ１２１が行う。ステップＳ４０１では、ステップＳ２００で作成した被写体距離マップを取得する。ここで取得する被写体距離マップは、プレビュー画像から作成される被写体距離マップでも、高画素静止画撮影により作成される被写体距離マップでもよい。より正確な被写体領域と被写体距離を検出するためには、高画素静止画撮影により作成される被写体距離マップの方が望ましい。

ステップＳ４０２では、ボケ修復が可能な被写体距離の範囲と、被写体距離に応じてボケ修復に用いるフィルタを設定する。ステップＳ２００の被写体距離マップ作成サブルーチンで説明したように、被写体距離マップから被写体領域と被写体距離を対応させた情報が得られる。また、図９で説明したように、ボケ修復可能な距離は撮影レンズ１３７の種類により異なり、ボケ修復可能な最も至近側の距離である第１距離Ｄｉｓｔ１１と、最も無限遠側の距離である第２距離Ｄｉｓｔ１２は変わってくる。そこで、撮影レンズ１３７によって決まるボケ修復可能な距離範囲(第１距離Ｄｉｓｔ１１〜第２距離Ｄｉｓｔ１２)内に位置する被写体の画像内における領域を、ボケ修復可能領域として設定する。これにより、各被写体領域と、その領域をボケ修復する際に用いる被写体距離とボケ修復フィルタを設定することができる。図８においては、Ｔａｒｇｅｔ１、Ｔａｒｇｅｔ２、Ｔａｒｇｅｔ３がボケ修復範囲となり、Ｄｉｓｔ１、Ｄｉｓｔ２、Ｄｉｓｔ３が、被写体距離範囲となる。これらのボケ修復可能領域、被写体距離範囲、ボケ修復の際に用いるボケ修復フィルタを、第１のボケ修復情報と呼ぶ。

ステップＳ４０３では、ステップＳ４０２で設定された第１のボケ修復情報から抽出を行い、第２のボケ修復情報を設定する。この処理も上述の通りＣＰＵ１２１が行う。ＣＰＵ１２１は、ボケ修復情報抽出手段として機能する。第２のボケ修復情報の設定に際しては、ステップＳ３０８で得られる画像関連情報を用いる。具体的には、撮影前後の焦点検出動作を行わず、被写体距離マップを算出していない場合には、ボケ修復範囲を、全領域適用外とし、実際のボケ修復処理は施さず、撮影された画像をそのままステップＳ４０４で表示する。一方、被写体距離マップを算出している場合には、最も焦点ずれ量が小さい範囲を有する被写体領域を、ボケ修復可能な領域とし、この領域の被写体距離範囲の設定を行う。ここで算出されるボケ修復可能な距離の範囲、および、ボケ修復に用いるフィルタを、第２のボケ修復情報と呼ぶ。例えば、図８において、被写体Ｔａｒｇｅｔ１〜３のうち、焦点ずれ量が最も小さい被写体が、Ｄｉｓｔ２の距離にあるＴａｒｇｅｔ２の場合は、ボケ修復可能領域として、Ｔａｒｇｅｔ２とその被写体距離範囲としてＤｉｓｔ２を中心とした一定範囲が設定される。Ｄｉｓｔ２は被写体領域Ｔａｒｇｅｔ２における被写体距離の代表値であるため、被写体領域Ｔａｒｇｅｔ２内の全ての領域の距離が一定であるわけではない。そのため、Ｔａｒｇｅｔ２の被写体距離範囲としてＤｉｓｔ２を含む一定範囲を設定する。ここで設定する被写体距離範囲は、Ｔａｒｇｅｔ２内の全領域の距離範囲が含まれるものであることが望ましい。

図１７、図１８を用いて、設定する被写体距離範囲について説明する。図１７（Ｂ）は、図８（Ｂ）と同じ物である。図１７（Ａ）および図１７（Ｃ）は、図８（Ｂ）のボケ修復画像に対して、ピントを前後に若干ずらしてボケ修復を行った画像である。これらのピントを若干ずらしたボケ修復処理は、被写体距離がＤｉｓｔ２とは異なる距離の被写体のピントが合うようにボケ修復を行う処理と等しい。図１８は、図１７（Ａ）および図１７（Ｃ）で行ったボケ修復によりピントがあう被写体距離を図９に対して追記したものである。図１７（Ａ）のボケ修復は、Ｄｉｓｔ２ｆの被写体距離と対応し、図１７（Ｃ）のボケ修復は、Ｄｉｓｔ２ｂの被写体距離と対応する。本実施形態では、被写体距離Ｄｉｓｔ２ｆ〜Ｄｉｓｔ２ｂの範囲内に、被写体Ｔａｒｇｅｔ２の領域全域が含まれるように、被写体距離範囲を設定する。これらの被写体距離範囲、ボケ修復可能領域、ボケ修復の際に用いるボケ修復フィルタを、第２のボケ修復情報と呼ぶ。

また、画像関連情報として、被写体移動情報を用いることも可能である。上述した通り被写体移動情報とは、画像内での被写体の移動や、被写体移動速度の情報である。被写体距離マップを取得した一定時間後に、ステップＳ３０５の画像信号記録を行った場合、画像内の被写体の位置や距離が変化している可能性がある。被写体移動情報を用いて、画像内の被写体位置や被写体距離の推定変化量を算出し、被写体距離マップを更新する。この更新された被写体距離マップから、上述したように焦点ずれ量の小さい範囲を有する被写体領域をボケ修復可能領域とし、その被写体距離範囲とともに設定される。

また、画像関連情報として、焦点検出動作の精度に関わる情報を用いることも可能である。上述した通り、焦点検出動作の精度に関わる情報とは、レンズのフォーカス駆動の位置精度や被写体距離マップの算出精度の情報である。これらの精度情報から、得られた画像の被写体領域における焦点ずれ量の精度を算出することができる。上述した場合と同様に、画像内の第１の範囲内で、最も焦点ずれ量が小さい範囲を有する被写体領域を、ボケ修復可能な領域とし、この領域の被写体距離範囲の設定を行う。例えば、図８において、被写体Ｔａｒｇｅｔ１〜３のうち、焦点ずれ量が最も小さい被写体が、Ｄｉｓｔ２の距離にあるＴａｒｇｅｔ２の場合は、第２の範囲として、Ｔａｒｇｅｔ２とその被写体距離範囲としてＤｉｓｔ２を中心とした一定範囲が設定される。このＴａｒｇｅｔ２の被写体距離範囲を設定する際に、焦点ずれ量の精度情報を用いて、被写体距離範囲の設定を行う。具体的には、レンズのフォーカス駆動の位置精度が悪く、所望の位置に対してレンズの位置がばらつく場合には、画像の焦点ずれ量が大きい可能性があるため、被写体距離範囲は、Ｔａｒｇｅｔ２の全領域の被写体距離より広い範囲を設定する。被写体距離マップの算出精度が悪い場合にも、同様に、被写体距離範囲は、Ｔａｒｇｅｔ２の全領域の被写体距離より広い範囲を設定する。これにより、焦点検出誤差や焦点調節誤差を含むＴａｒｇｅｔ２内の領域の距離範囲を被写体距離範囲として設定することができる。これらの被写体距離マップや、被写体移動情報や焦点検出動作の精度に関わる情報は、画像関連情報に対応し、また測距動作に関する情報にも対応する。

ステップＳ４０３で第２のボケ修復情報の設定が終わると、ステップＳ５００のボケ修復サブルーチンに進む。ステップＳ４０４では、ステップＳ５００でボケ修復された画像を、表示器１３１に表示する。ステップＳ４０４が終わるとステップＳ４０５で、ピント位置微修正の指示の有無を判定する。撮影者の動作によって、ピント位置微修正の指示が出された場合には、ステップＳ４０６に進み、ステップＳ５００のボケ修復で使用した被写体距離情報を修正する。被写体距離情報の修正は、ステップＳ４０３で設定される被写体距離範囲内で行う。ステップＳ４０６で被写体距離情報の修正がなされるとステップＳ５００に戻り、再度ボケ修復処理を行う。

ステップＳ４０５で、ピント位置微修正の指示がなかった場合には、ステップＳ４０７に進み、ボケ修復に使用した情報と共に、ボケ修正画像記録を行う。ステップＳ４０７を終えると、撮影後確認画像表示サブルーチンを終了し、撮影サブルーチンに戻る。

このように、撮影レンズなどから決定する第１のボケ修復情報を、画像関連情報により限定し、第２のボケ修復情報を設定することにより以下のような利点がある。撮影者が、撮影した画像に対して、ピントの修正を行う場合には、撮影者の意図する被写体にある程度、ピントが合っている可能性が高い。そのため、画像処理装置にとってボケ修復可能な範囲全域にある被写体距離全域で、ボケ修復を行うと、撮影者にとっては無駄な修復領域が多く、処理時間などもかかるため、快適な操作を行うことができない。本実施形態のように、撮影した画像に関連する情報からボケ修復を行う範囲を狭めることによって、撮影者の意図するボケ修復画像を含む、より狭い被写体距離範囲のボケ修復処理のみを行えばよい。そのため、ボケ修復処理の計算負荷を低減させることができる。また、処理時間が少ないため、撮影者にとって快適なピント修正処理を行うことができる。

図１５は、ボケ修復サブルーチンのフロー図である。ボケ修復サブルーチンの一連の動作も、ＣＰＵ１２１が行う。ステップＳ５０１では、ＣＰＵ１２１は、画像処理回路１２５における変換処理の内容を示す変換情報を取得する。ステップＳ５０２では、ＣＰＵ１２１は、画像処理回路１２５から供給される画像情報を変換する際の変換方法を決定する。具体的には、ＣＰＵ１２１は、ステップＳ５０１で取得した変換情報（必要に応じて、変換情報の他、ステップＳ３０６やステップＳ３０７で取得した画像処理装置特性や撮影レンズ特性情報）に基づいて、変換方法を決定する。ここで決定される変換方法は、特開２０００−２０６９１号公報に記載されている画像復元処理のアルゴリズムの前提条件である線形性を確保するために、露光値と画素値とが比例関係になるように画像情報を変換する方法である。

例えば、画像処理回路１２５でガンマ補正を実行する場合には、ステップＳ５０２ではガンマ補正による変換の逆変換を実行する。これにより変換前の画像を再生することができ、線形性を有する画像を取得することが可能となる。同様に、画像処理回路１２５で色補正を実行する場合には、ステップＳ５０２では色変換による変換の逆変換を実行する。これにより、線形性を有する画像を取得することが可能となる。以上のように、ステップＳ５０２では、画像処理回路１２５による変換処理の逆変換に相当する変換方法を決定する。

ステップＳ５０３では、画像処理回路１２５より撮影画像を取得する。そしてステップＳ５０４では、ステップＳ５０２で決定した変換方法に従って、取得した撮影画像を変換する。ステップＳ５０４で変換処理が終わると、ステップＳ６００に進み、ボケ関数の生成を行う。上述したボケ修復フィルタとボケ関数は同義である。ステップＳ５０５では、ステップＳ６００で生成したボケ関数の逆変換を行うことで、ステップＳ５０４で変換処理した撮影画像に対してボケ修復処理を行う。ここでは、一般的にデコンボリューション処理と呼ばれる画像復元アルゴリズムによってボケ修復処理を行う。これにより、所定被写体のボケが修復されたボケ修復画像を得ることができる。ボケ関数の逆変換処理を行うことによるボケ修復の方法は、特開２０００−２０６９１号公報に開示されているため、説明は省略する。ステップＳ５０５が終わるとボケ修復サブルーチンを終了し、撮影後確認画像表示サブルーチン内のステップＳ４０４に進む。

図１６は、ボケ関数生成サブルーチンのフロー図である。ボケ関数生成サブルーチンの一連の動作も、ＣＰＵ１２１が行う。ステップＳ６０１では、撮影時にステップＳ３０５でカメラ内メモリ１４４に記録されたカメラ本体１３８の特性情報を取得する。ステップＳ６０２では、撮影時にステップＳ３０６でカメラ内メモリ１４４に記録された撮影レンズ１３７の特性情報を取得する。

ステップＳ６０３では、ボケ関数を定義する際に用いるパラメータを取得する。ボケ関数は、撮影レンズ１３７と撮像素子１０７との間の光伝達特性によって決まる。そしてこの光伝達特性は、カメラ本体１３８の特性情報、撮影レンズ１３７の特性情報、撮影画像における被写体領域の位置、被写体距離などの要因によって変わる。そこで、これらの要因とボケ関数を定義する際に用いるパラメータとを関連付けたテーブルデータを、カメラ内メモリ１４４に記憶しておく。そしてステップＳ６０３が実行されると、ＣＰＵ１２１は、これらの要因に基づいて、カメラ内メモリ１４４からボケ関数定義の際に用いるパラメータを取得する。

ステップＳ６０４では、ステップＳ６０３で取得したボケパラメータに基づいて、ボケ関数を定義する。ボケ関数の例としては、ボケ現象が正規分布法則に沿うものとして考えたガウシアン分布などがある。中心画素からの距離をｒ、正規分布法則の任意のパラメータをσ２とすると、ボケ関数ｈ（ｒ）は、下記のように与えられる。

ｈ（ｒ）＝｛１／（σ√（２π））｝・ｅｘｐ（−ｒ²／σ²）
ステップＳ６０４が終わったら、ボケ関数生成サブルーチンを終了し、ボケ修復サブルーチン内のステップＳ５０５に進む。

第１の実施形態の画像処理装置では、撮影直後の再生時に、ピントの微修正を行う場合を説明したが、ピントの微修正を行う機会は、これに限らない。以前に撮影した画像を再生し、ピント修正を行う場合にも適用可能である。

また、第１の実施形態の画像処理装置では、撮影レンズが交換可能なカメラで説明したが、撮影レンズがカメラに備わっている所謂レンズくくり付けタイプのカメラに適用してもよい。レンズくくり付けタイプのカメラにおいても、従来の課題は存在する。そして本実施形態で説明したようにボケ修復を行う画像範囲の絞込みを行うことで、同様の効果を得ることができる。

また、第１の実施形態の画像処理装置では、焦点検出を撮像素子で行うカメラで説明したが、他の焦点検出手段を有するカメラに適用してもよい。他の焦点検出手段を有するカメラにおいても、従来の課題は存在する。そして本実施形態で説明したようにボケ修復を行う画像範囲の絞込みを行うことで、同様の効果を得ることができる。

（第２の実施形態）
以下、図１９を参照して、本発明の第２の実施形態に係わる画像処理装置について説明する。第２の実施形態と第１の実施形態の違いは、第２の画像範囲を設定する際に利用する画像関連情報が異なる点である。第２の実施形態の構成によれば、より正確に、撮影者の意図する被写体を認識することができ、ボケ修復を行う第２の画像範囲を精度よく設定することができる。

なお、第１の実施形態における画像処理装置の構成を示すブロック図（図１）、焦点検出の実施方法（図２〜図７）、ボケ修復方法（図８〜図１０）、撮影に関する動作（図１１〜図１３）、ボケ修復処理に関する動作（図１５、図１６）に関しては、第２の実施形態でも同様の構成であり、同様の動作を行うため、説明は省略する。

図１１の画像処理装置のメインフローのステップＳ４００にて行われる撮影画像確認サブルーチンについて、図１９のフローチャートを用いて詳細に説明する。図１９のフローチャートにおいて、第１の実施形態で示した撮影画像確認サブルーチンのフローチャートである図１４と同様の処理を行う部分に関しては、同じ番号を付している。

ステップＳ４０１では、ステップＳ２００で作成した被写体距離マップを取得する。ここで取得する被写体距離マップは、プレビュー画像から作成される被写体距離マップでも、高画素静止画撮影により作成される被写体距離マップでもよい。より正確な被写体領域と被写体距離を検出するためには、高画素静止画撮影により作成される被写体距離マップの方が望ましい。

ステップＳ４０２では、ボケ修復が可能な被写体距離の範囲と、被写体距離に応じてボケ修復に用いるフィルタを設定する。ステップＳ２００の被写体距離マップ作成サブルーチンで説明したように、被写体距離マップから被写体領域と被写体距離を対応させた情報が得られる。また、図９で説明したように、ボケ修復可能な距離は撮影レンズ１３７の種類により異なり、ボケ修復可能な最も至近側の距離である第１距離Ｄｉｓｔ１１と、最も無限遠側の距離である第２距離Ｄｉｓｔ１２は変わってくる。そこで、撮影レンズ１３７によって決まるボケ修復可能な距離範囲(第１距離Ｄｉｓｔ１１〜第２距離Ｄｉｓｔ１２)内に位置する被写体の画像内における領域を、ボケ修復可能領域として設定する。これにより、各被写体領域と、その領域をボケ修復する際に用いる被写体距離とボケ修復フィルタを設定することができる。図８においては、Ｔａｒｇｅｔ１、Ｔａｒｇｅｔ２、Ｔａｒｇｅｔ３がボケ修復範囲となり、Ｄｉｓｔ１、Ｄｉｓｔ２、Ｄｉｓｔ３が、被写体距離範囲となる。これらのボケ修復可能領域、被写体距離範囲、ボケ修復の際に用いるボケ修復フィルタを、第１のボケ修復情報と呼ぶ。

ステップＳ４０３では、ステップＳ４０２で設定された第１のボケ修復情報から抽出を行い、第２のボケ修復情報を設定する。この処理も上述の通りＣＰＵ１２１が行う。ＣＰＵ１２１は、ボケ修復情報抽出手段として機能する。第２のボケ修復情報の設定に際しては、ステップＳ３０８で得られる画像関連情報を用いる。具体的には、撮影前後の焦点検出動作を行わず、被写体距離マップを算出していない場合には、ボケ修復範囲を、全領域適用外とし、実際のボケ修復処理は施さず、撮影された画像をそのままステップＳ４０４で、表示する。一方、被写体距離マップを算出している場合には、最も焦点ずれ量が小さい範囲を有する被写体領域を、ボケ修復可能な領域とし、この領域の被写体距離範囲の設定を行う。ここで算出されるボケ修復可能な距離の範囲、および、ボケ修復に用いるフィルタは、第２のボケ修復情報に対応する。例えば、図８において、被写体Ｔａｒｇｅｔ１〜３のうち、焦点ずれ量が最も小さい被写体が、Ｄｉｓｔ２の距離にあるＴａｒｇｅｔ２の場合は、ボケ修復可能領域として、Ｔａｒｇｅｔ２とその被写体距離範囲としてＤｉｓｔ２を中心とした一定範囲が設定される。Ｄｉｓｔ２は被写体領域Ｔａｒｇｅｔ２における被写体距離の代表値であるため、被写体領域Ｔａｒｇｅｔ２内の全ての領域の距離が一定であるわけではない。そのため、Ｔａｒｇｅｔ２の被写体距離範囲としてＤｉｓｔ２を含む一定範囲を設定する。

ここで設定する被写体距離範囲は、Ｔａｒｇｅｔ２内の全領域の距離範囲が含まれるものであることが望ましい。図１７、図１８を用いて、設定する被写体距離範囲について説明する。図１７（Ｂ）は、図８（Ｂ）と同じ物である。図１７（Ａ）および（Ｃ）は、図８（Ｂ）のボケ修復画像に対して、ピントを前後に若干ずらしてボケ修復を行った画像である。これらのピントを若干ずらしたボケ修復処理は、被写体距離がＤｉｓｔ２とは異なる距離の被写体のピントが合うようにボケ修復を行う処理と等しい。図１８は、図１７（Ａ）および（Ｃ）で行ったボケ修復によりピントがあう被写体距離を図９に対して追記したものである。図１７（Ａ）のボケ修復は、Ｄｉｓｔ２ｆの被写体距離と対応し、図１７（Ｃ）のボケ修復は、Ｄｉｓｔ２ｂの被写体距離と対応する。本実施形態では、被写体距離Ｄｉｓｔ２ｆ〜Ｄｉｓｔ２ｂの範囲内に、被写体Ｔａｒｇｅｔ２の領域全域が含まれるように、被写体距離範囲を設定する。これらの被写体距離範囲、ボケ修復可能領域、ボケ修復の際に用いるボケ修復フィルタは、第２のボケ修復情報に対応する。

また、画像関連情報として、被写体移動情報を用いることも可能である。上述した通り被写体移動情報とは、画像内での被写体の移動や、被写体移動速度の情報である。被写体距離マップを取得した一定時間後に、ステップＳ３０５の画像信号記録を行った場合、画像内の被写体の位置や距離が変化している可能性がある。被写体移動情報を用いて、画像内の被写体位置や被写体距離の推定変化量を算出し、被写体距離マップを更新する。この更新された被写体距離マップから、上述したように焦点ずれ量の小さい範囲を有する被写体領域をボケ修復可能領域とし、その被写体距離範囲とともに設定する。

また、画像関連情報として、焦点検出動作の精度に関わる情報を用いることも可能である。上述した通り、焦点検出動作の精度に関わる情報とは、レンズのフォーカス駆動の位置精度や被写体距離マップの算出精度の情報である。これらの精度情報から、得られた画像の被写体領域における焦点ずれ量の精度を算出することができる。上述した場合と同様に、画像内の第１の範囲内で、最も焦点ずれ量が小さい範囲を有する被写体領域を、ボケ修復可能な領域とし、この領域の被写体距離範囲の設定を行う。例えば、図８において、被写体Ｔａｒｇｅｔ１〜３のうち、焦点ずれ量が最も小さい被写体が、Ｄｉｓｔ２の距離にあるＴａｒｇｅｔ２の場合は、第２の範囲として、Ｔａｒｇｅｔ２とその被写体距離範囲としてＤｉｓｔ２を中心とした一定範囲が設定される。このＴａｒｇｅｔ２の被写体距離範囲を設定する際に、焦点ずれ量の精度情報を用いて、被写体距離範囲の設定を行う。具体的には、レンズのフォーカス駆動の位置精度が悪く、所望の位置に対してレンズの位置がばらつく場合には、画像の焦点ずれ量が大きい可能性があるため、被写体距離範囲は、Ｔａｒｇｅｔ２の全領域の被写体距離より広い範囲を設定する。被写体距離マップの算出精度が悪い場合にも、同様に、被写体距離範囲は、Ｔａｒｇｅｔ２の全領域の被写体距離より広い範囲を設定する。これにより、焦点検出誤差や焦点調節誤差を含むＴａｒｇｅｔ２内の領域の距離範囲を被写体距離範囲として設定することができる。これらの被写体距離マップや、被写体移動情報や焦点検出動作の精度に関わる情報は、画像関連情報に対応し、また測距動作に関する情報にも対応する。

ステップＳ４０３で第２の画像範囲と被写体の距離範囲設定が終わると、ステップＳ５００のボケ修復サブルーチンに進む。ステップＳ４０４では、ステップＳ５００でボケ修復された画像を、表示器１３１に表示する。ステップＳ４０４が終わるとステップＳ４０５で、ピント位置微修正の指示の有無を判定する。撮影者の動作によって、ピント位置微修正の指示が出された場合には、ステップＳ４０６に進み、ステップＳ５００のボケ修復で使用した被写体距離情報を修正する。被写体距離情報の修正は、ステップＳ４０３で設定される被写体距離範囲内で行う。

ステップＳ４０６を終えるとステップＳ４００１に移行し、画像の拡大表示がされているか否かを（表示状態を）判断する。画像処理装置に備えられている画像表示装置は、一般に十分に大きくないため、撮影した画像のピント状況を確認するためには、画像の拡大表示を行うと確認しやすい。画像の拡大表示が行われていた場合は、ステップＳ４００２に進み、第２のボケ修復情報の更新を行う。上述したように画像の拡大が行われている場合には、拡大されて表示されている範囲が、撮影者が望むボケ修復領域と推測することができる。その表示領域が、既に設定されているボケ修復領域より狭い場合には、その領域を更新し、第２のボケ修復情報を再度設定する。ここで使用する画像の拡大表示情報は、画像関連情報に対応し、画像表示関連情報にも対応する。ステップＳ４００１で画像の拡大表示がされていなかった場合や、ステップＳ４００２で第２のボケ修復情報の更新がなされるとステップＳ５００に戻り、再度ボケ修復処理を行う。ステップＳ４０５で、ピント位置微修正の指示がなかった場合には、撮影後確認画像表示サブルーチンを終了し、撮影サブルーチンに戻る。

このように、撮影レンズなどから決定する第１のボケ修復情報を、画像関連情報により限定し、第２のボケ修復情報を設定することにより以下のような利点がある。撮影者が、撮影した画像を拡大表示して、ピントの修正を行う場合には、撮影者の意図する被写体が、拡大されて表示されている可能性が高い。本実施形態のように、撮影した画像に関連する再生時の拡大情報からボケ修復を行う範囲を狭めることによって、撮影者の意図するボケ修復画像を含む、より狭い被写体距離範囲のボケ修復処理のみを行えばよい。そのため、ボケ修復処理の計算負荷を低減させることができる。また、処理時間が少ないため、撮影者にとって快適なピント修正処理を行うことができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (5)

1. 撮影レンズを介して入射した被写体光を光電変換する撮像手段により得られた画像データのボケ修復を行う修復手段と、
   前記画像データから、少なくとも撮影前の焦点検出動作に関連する情報、被写体移動情報、及び、焦点検出動作の精度情報のいずれか１つを含む画像関連情報を取得する取得手段と、
   前記修復手段によるボケ修復が可能な被写体距離の範囲を設定する設定手段と、
   前記取得手段により取得された画像関連情報に基づいて、前記ボケ修復が可能な被写体距離の範囲よりも狭い被写体距離の範囲を抽出する抽出手段とを備え、
   前記修復手段は、前記抽出手段によって抽出された前記被写体距離の範囲において前記画像データのボケ修復を行うことを特徴とする画像処理装置。
2. 前記修復手段は、前記撮影レンズと前記撮像手段との間の光伝達特性に基づいた復元処理によりボケ修復を行うことを特徴とする請求項１に記載の画像処理装置。
3. 被写体の距離情報を取得する測距手段をさらに備え、前記画像関連情報とは、撮影前における前記測距手段の測距動作に関する情報であることを特徴とする請求項１に記載の画像処理装置。
4. 前記撮像手段で得られた画像を表示する表示手段をさらに備え、前記画像関連情報とは、前記表示手段による画像の表示状態を示す情報であることを特徴とする請求項１に記載の画像処理装置。
5. 撮影レンズを介して入射した被写体光を光電変換する撮像手段により得られた画像データのボケ修復を行う修復工程と、
   前記画像データから、少なくとも撮影前の焦点検出動作に関連する情報、被写体移動情報、及び、焦点検出動作の精度情報のいずれか１つを含む画像関連情報を取得する取得工程と、
   前記修復工程によるボケ修復が可能な被写体距離の範囲を設定する設定工程と、
   前記取得工程により取得された画像関連情報に基づいて、前記ボケ修復が可能な被写体距離の範囲よりも狭い被写体距離の範囲を抽出する抽出工程とを備え、
   前記修復工程では、前記抽出工程によって抽出された前記被写体距離の範囲において前記画像データのボケ修復を行うことを特徴とする画像処理方法。