JP6452389B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置及びその制御方法に関し、特に画像回復処理を用いた画像の補正に関するものである。

情報のデジタル化に伴い、画像を信号値として扱えることで撮像画像に対する様々な補正処理方法が提案されている。デジタルカメラで被写体を撮像して画像化するとき、得られた画像は特に撮像光学系の収差によって少なからず劣化している。

画像のぼけ成分とは、光学系の球面収差、コマ収差、像面湾曲、非点収差等が原因である。これらの収差による画像のぼけ成分は、無収差で回折の影響もない場合に、本来であれば被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、広がりをもって像を結んでいるものを指している。光学的には点像分布関数（ＰＳＦ）と呼ぶものであるが、これを画像ではぼけ成分と呼ぶことにする。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、あるいは、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違ということができる。

画像のぼけ成分の劣化を補正する方法として、撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いて補正するものが知られている。この方法は画像回復や画像復元という言葉で呼ばれており、以降この撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いて画像の劣化を補正する処理を画像回復処理と記すことにする。

画像回復処理の概要を示す。劣化した画像をｇ（ｘ，ｙ）、もとの画像をｆ（ｘ，ｙ）、前記光学伝達関数のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）としたとき、以下の式１が成り立つ。ただし、＊はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） ・・・（式１）

また、これをフーリエ変換して周波数面での表示形式に変換すると、以下の式２のように周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）をフーリエ変換したものであるので光学伝達関数（ＯＴＦ）である。（ｕ，ｖ）は２次元周波数面での座標、即ち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） ・・・（式２）

撮像された劣化画像からもとの画像を得るためには、以下の式３のように両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） ・・・（式３）

このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）が回復像として得られる。

ここで、Ｈ−１を逆フーリエ変換したものをＲとすると、以下の式４のように実面での画像に対するコンボリューション処理を行うことで元の画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） ・・・（式４）

このＲ（ｘ，ｙ）を画像回復フィルタと呼ぶ。実際の画像にはノイズ成分があるため上記のように光学伝達関数（ＯＴＦ）の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい一般には良好な画像は得られない。この点については例えばウィーナーフィルタのように、画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する方法が知られている。

ここで、ズーム位置の状態や絞り径の状態等の撮像状態に応じて光学伝達関数（ＯＴＦ）が変動するため、画像回復処理に用いる画像回復フィルタもこれに応じて変更する必要がある。

上記フィルタをカラー画像に対して、それぞれの色に対応する画像回復フィルタを作成し撮像画像に適用することにより、画像における光学系に起因する色のにじみを補正することが可能となる。ただし、実際の撮像画像の色ずれと補正に使用するＯＴＦが異なった場合、色にじみが過補正になる場合や補正しきれない場合があると言うような現象が発生する可能性がある。

特許文献１には、上述のような光学伝達関数を用いた倍率色収差の補正方法が記載されている。画像回復処理後の画像のエッジの色ずれから倍率色収差補正成分を検出して補正を行う。こうすることによって、回復レベルによって画像のエッジ部の先鋭度が色成分ごとに変化したことで色ずれ量が変動した場合であっても、好適な量の倍率色収差の補正が可能となる。

特許文献２には、被写体のピントがずれた場合に合焦面の画像回復フィルタで補正してしまうと正しい補正ができないため、予めデフォーカス時の回復フィルタを所持しておくことが開示されている。ピントがずれた画像の領域にピントのずれ量に応じた色ごとの回復フィルタを適用することにより、色にじみを高精度に補正することができる。

一方、カラー画像における色にじみを抑圧する方法として、上述のＯＴＦのような光学情報を用いることなくカラー画像から色にじみ領域を算出し補正するといった手段も提供されている。この方法は飽和部のような色にじみが目立つ領域において、カラー画像からにじみ成分を抑圧することにより色にじみを適応的に補正するという手段である。ただし、多くの場合は誤判定による過補正を嫌うため、補正する色相（例えば紫色）や補正箇所（例えば飽和画素近傍）を限定して補正処理を行っている。特許文献３には、画像の飽和領域を示す白とびマップと予め記録しておいた色収差の補正量に関する色収差モデルから算出した色収差マップを比較する構成が開示されている。この比較結果に基づいて、白とびした領域の近傍画素の紫色の部分を色収差とみなし、彩度低減のような補正処理を行うことが記載されている。

特開２０１０−０８６１３８号公報 特開２０１１−２１１６６９号公報 特開２００７−１３３５９１号公報

上述の特許文献１に開示された従来技術を用いれば、画像回復処理に程度のよらず残留倍率色収差を高精度に検出し補正することは可能である。しかし色収差の倍率色収差以外の要素である軸上色収差、色の球面収差、色のコマ収差等に対しては検出の対象外になり正しく補正することができないことがある。さらに被写体のぼけにより発生する軸上に発生するにじみに対しては補正することについては開示がない。

また特許文献２に開示された従来技術では、理想的にはデフォーカス領域で発生する色にじみも補正することは可能だが、撮像条件ごとのデフォーカス情報を画像回復フィルタとして所持しなければならないため、組合せが膨大な数になり現実的ではない。また、撮像レンズが製造ばらつきや経年変化による光学特性の変化があった場合、補正値と異なる特性で撮像されてしまう可能性がある。

さらに特許文献３に開示された従来技術では、色にじみの補正は可能ではあるが、補正対象領域が白とび近傍であることや対象補正色が限定されてしまう。また上述の画像回復処理を行った後に、この適用的な色にじみ処理を行った場合には、デフォーカス時の色にじみは抑圧できる可能性はある。しかしながら、すでに適切に色にじみが抑圧されている可能性が高い撮像画像の合焦領域においては、被写体の色を消してしまうという弊害リスクが相対的に高まってしまう。

そこで本発明の目的は、上述の画像回復処理時における残存色にじみを好適に補正する画像処理装置を提供することを目的とする。

上記課題を解決するため、本発明は、撮像光学系を介して入射した被写体像を撮像素子によって電気信号に変換されることにより生成された画像データを取得する取得手段と、前記画像データに対して、前記画像データが生成されたときの前記撮像光学系の光学伝達関数に応じたフィルタを用いて第１の補正処理を行う回復処理手段と、前記回復処理手段によって収差が補正された画像データに対して、色にじみを抑制するための第２の補正処理を行う色にじみ補正手段と、前記画像データの領域ごとの被写体距離の情報を取得する情報取得手段を有し、前記色にじみ補正手段は、前記領域ごとの被写体距離と合焦位置までの距離に基づいて、前記第２の補正処理の対象とする色成分を設定することを特徴とする画像処理装置を提供する。

本発明によれば、画像回復処理時における残存色にじみを好適に補正することが可能となる。

本発明の実施形態にかかる撮像装置の構成図である。 本発明の第一の実施形態にかかる画像回復処理のオン／オフに応じた色にじみ補正処理のフロー図である。 本発明の第一の実施形態にかかる画像回復処理のフロー図である。 本発明の第一の実施形態にかかる画像回復フィルタを説明するための図である。 本発明の第一の実施形態にかかるレンズの光学特性と回復ゲインの関係を説明するための図である。 本発明の第一の実施形態にかかる領域毎の色にじみの違いが発生するケースを説明するための図である。 本発明の第一の実施形態にかかるデフォーカス量に応じた色成分毎のＭＴＦの変動を示すグラフである。 本発明の第一の実施形態にかかる色にじみパラメータの算出方法のフロー図である。 本発明の第一の実施形態にかかる位相差検出画素から撮像距離を算出する方法を説明するための図である。 本発明の第一の実施形態にかかるデフォーカス領域の範囲を説明するための図である。 本発明の第一の実施形態にかかるデフォーカス量に応じた色にじみ補正量の変化を示すグラフである。 本発明の第一の実施形態にかかる回復ゲインに応じた色にじみ補正量を算出するフロー図である。 本発明の第一の実施形態にかかる回復ゲインに応じた色にじみ補正量を算出するテーブルの一例を示す図である。 本発明の第一の実施形態にかかる色にじみ判別表の一例を示す図である。 本発明の第一の実施形態にかかる画像からにじみを検出する色にじみ補正処理のフロー図である。 本発明の第二の実施形態にかかるアプリケーションのユーザーインターフェースの一例を示す図である。 本発明の第二の実施形態にかかる色にじみ補正処理のフロー図である。 本発明の第二の実施形態にかかる色にじみパラメータ算出のフロー図である。 本発明の第二の実施形態にかかる色にじみパラメータ算出のフロー図である。 本発明の第二の実施形態にかかる色にじみパラメータ算出のフロー図である。

（第１の実施形態）
以下、本発明の画像処理方法を用いた撮像装置の具体的な実施の形態について図面を用いて説明する。

図１は本発明の撮像装置の基本構成の一例を示している。不図示の被写体像が撮像光学系１０１を介して撮像素子１０２に入射し、電気信号に変換される。撮像素子１０２から出力された電気信号はＡ／Ｄコンバータ１０３でデジタル信号の画像データに変換され、画像処理部１０４に入力される。画像処理部１０４は所定の処理と併せて画像回復処理を行う。まず、画像処理部１０４は状態検知部１０７から撮像装置の撮像状態の情報を得る。状態検知部１０７はシステムコントローラ１１０から撮像状態の情報を得ても良いし、撮像光学系に関する撮像状態の情報を撮像光学系制御部１０６から得るようにしてもよい。次に画像処理部１０４は撮像状態に応じた画像回復フィルタを記憶部１０８から選択し、画像処理部１０４に入力された画像に対して画像回復処理を行う。この画像回復処理は撮像光学系１０１がどのような特性であるかの情報を記憶部１０８に記録しておく必要がある。

レンズ交換式の撮像装置の場合は、記憶部１０８に光学特性が記録されていないレンズが装着される可能性があるため、ユーザーが必要に応じて、画像回復処理を無効にできるユーザーインターフェースを撮像装置が備えることが好ましい。また、画像回復処理によって高周波成分に多く含まれるノイズも増大されることがあるため、ユーザーが必要に応じて、画像回復処理による補正レベルを任意に調整できるユーザーインターフェースを撮像装置が備えることが好ましい。

図２は、画像回復処理のオン／オフに応じた色にじみ補正処理のフロー図である。この図２を用いて本発明の色にじみ補正処理の全体のフローについて説明を行い、各ブロックの詳細についてはそれぞれ後述する。なお、以下の説明では、「ステップ」を「Ｓ」として表記する。例えば、ステップ１０１であれば、Ｓ１０１と表記する。

ユーザーが上述の撮像装置を用いて撮像動作に入った後、撮像装置はユーザーがインターフェース上で画像回復処理をオン（有効）にしたかオフ（無効）にしたかを判断する（Ｓ２０１）。ここで画像回復処理がオフに設定されていた場合は、光学特性情報を取得しない（できない）場合であっても、一定の効果があり、かつ弊害発生リスクが少ない汎用的な予め定められた抑圧量で色にじみ補正処理を行うようにパラメータを設定する（Ｓ２０２）。この色にじみ補正処理のパラメータとしては、撮像光学系１０１に起因して紫近辺の色相の色にじみが発生し易いので、この色相を抑圧するような設定とすることが好ましい。

一方、画像回復処理がオンだった場合は、画像回復処理で参照する光学特性に応じた色にじみ補正パラメータを設定することが可能となる。まずＳ２０２において、撮像時の条件を取得する。撮像の度に撮像光学系１０１の状態が変化することが想定されるため、撮像の度に画像回復処理を適用する画像が撮像された時の条件を、撮像光学系制御部１０６を介して取得する（Ｓ２０３）。次にＳ２０３で取得した条件に応じて画像回復処理を行う（Ｓ２０４）。この処理の詳細は別途後述する。次にＳ２０５においてＳ２０４の画像回復処理で適用した画像回復ゲインを取得する。画像回復処理は常に十分な回復が行われる訳ではなく、システム要件や画質要件によって十分な回復が行われない可能性があるため、実際の設計値に対してどの程度回復処理が行われたかを示す指標のために回復ゲインを取得する。同時に、十分な回復を行うためにはどの程度のゲインが必要であったかも取得しておく。次にＳ２０６において、Ｓ２０４で画像回復処理が行われた画像に対し、さらに被写体の領域毎の距離情報やレンズのデフォーカス時の色にじみ情報を用いて色にじみパラメータを算出する。この処理の詳細についても別途詳細に説明する。そしてＳ２０６で算出された値をシステムコントローラ１１０上にセットする（Ｓ２０７）。最後にＳ２０２またはＳ２０７でセットされたパラメータを元に画像処理部１０４上で色にじみ補正処理を実行する（Ｓ２０８）ことにより色にじみが抑圧された画像を取得することができる。全体の処理としては以上の流れとなる。以降Ｓ２０４、Ｓ２０６およびＳ２０８の処理の詳細について説明を行う。

図３は画像処理部１０４によるＳ２０４の画像回復処理に関するフロー図である。まず、状態検知部１０７から実際の撮像状態の情報を取得する（Ｓ３０１）。撮像状態とは、例えばズーム位置、絞り径、被写体距離等の撮像条件に加えて、撮像装置のＬＰＦ特性や画素ピッチ等も含まれる。

次に、実際の撮像状態の光学系に適した光学伝達関数（ＯＴＦ）データを図１の記憶部１０８から選択する（Ｓ３０２）。このとき、選択する光学伝達関数（ＯＴＦ）データは、予め記憶している光学伝達関数（ＯＴＦ）データのうちＳ３０１で取得した撮像条件に最も近いデータである。あるいは、記憶している光学伝達関数（ＯＴＦ）データのうち、取得した撮像条件に近い複数のものから補間して生成した光学伝達関数（ＯＴＦ）データとしても良い。またこの光学伝達関数（ＯＴＦ）データは像高方向においても異なる特性をもっていることが普通である。つまり光学伝達関数（ＯＴＦ）データを像高毎に計算する必要がある。また、レンズ交換式の撮像装置であれば、レンズごとに光学特性が異なるため、装着されたレンズごとにＯＴＦデータを取得する必要がある。

図４（ａ）は光学中心を中心に撮像画面の１／４の領域を水平方向に７分割、かつ、垂直方向に５分割した場合の例を示す図である。この場合、それぞれの領域において光学特性が異なるため、それぞれの領域に対して光学伝達関数（ＯＴＦ）データを求める必要がある。画面の１／４とした理由は、一般的に撮像レンズは画像中心に対して対称の光学特性を持つ場合が多いためである。図４（ａ）のように画像の１／４に対する領域に対してだけ所持すれば、他の領域に対して中心に対称に展開すれば全領域の光学伝達関数（ＯＴＦ）データを算出することが可能になる。それぞれの領域は４０１〜４０３のように座標を指定して区別できるようにする。もちろん記録領域に余裕がある場合や、光学系の対称性が低い場合には全面の光学伝達関数（ＯＴＦ）データを所持しても良い。あるいは、記録領域を削減するために、像高ごとに光学伝達関数（ＯＴＦ）データを割り当てるようにしてもよい。ここで算出した各領域の光学伝達関数（ＯＴＦ）データを領域毎に記憶部１０８に一時的に記録しておく。

次に、Ｓ３０２で求めた光学伝達関数（ＯＴＦ）データから画像回復フィルタを算出する。この画像回復フィルタは、Ｓ３０２で求めた撮像光学系の光学伝達関数（ＯＴＦ）の逆関数を逆フーリエ変換して得ることができる。一般的には、ノイズの影響を考慮する必要があるため、ウィーナーフィルタを用いる。さらに、光学伝達関数（ＯＴＦ）は撮像レンズの撮像光学系のみならず、画像処理部１０４に入力される画像に対して光学伝達関数（ＯＴＦ）を劣化させるすべての要因を含めることができる。例えば、ローパスフィルタは光学伝達関数（ＯＴＦ）の周波数特性に対して高周波成分を抑制するものである。また、撮像素子の画素開口の形状や開口率も周波数特性に影響している。他にも光源の分光特性や各種波長フィルタの分光特性も、光学伝達関数（ＯＴＦ）に影響を与える要因として挙げられる。これらを含めた広義の光学伝達関数（ＯＴＦ）に基づいて、画像回復フィルタを作成することが望ましい。また撮像光学系には色収差があり、色成分ごとにぼけ方が異なるため、色成分ごとにフィルタ形状が若干異なる。画像回復フィルタの縦横のタップ数に関しても、正方配列である必要はなく、コンボリューション処理時に考慮するようにすれば任意に変更することができる。

図４（ｂ）は画像回復フィルタを説明するための模式図である。画像回復フィルタは撮像光学系の収差量に応じてタップ数を決めることができ、本実施形態では１１×１１タップの２次元フィルタとしている。フィルタの各タップが画像の１画素に対応し、コンボリューション処理を行うことによって画像回復処理を実現する。このタップ数はシステムの都合上、有限の値しか取れないが、タップ数が少ないと十分な回復処理が行えなくなる可能性がある。

図４（ｂ）では各タップ内の値を省略しているが、図４（ｃ）にこのフィルタに含まれる１つラインの各タップが取り得る係数の例を示す。この画像回復フィルタの作成法については上記のように撮像光学系の光学伝達関数（ＯＴＦ）を計算若しくは計測し、その逆関数を逆フーリエ変換して得ることができる。

図４（ｂ）のように画像回復フィルタを１００以上に分割した２次元フィルタとすることで、撮像光学系による球面収差、コマ収差、軸上色収差、軸外色フレア等の結像位置から大きく広がる収差に対しても回復することができる。

図２のＳ２０５の説明でも軽く触れたが、様々な制約により、理想の回復レベルを有する画像回復フィルタを生成することは容易ではない。その理由を図５を用いて説明する。図５（ａ）はあるレンズの空間周波数に対するＭＴＦ応答を示す図である。例えば図５（ａ）に示すような光学特性、つまり低周波側の広い帯域でＭＴＦの応答が０に落ちているような光学特性を持つレンズの場合、撮像画像に高域の信号がほとんど存在しない。そのため、回復レベルの高い画像回復処理を行うと、補正ゲインが高くなるため、ノイズが支配的な高周波帯域に含まれる信号が強調されたり、エッジの淵が黒く沈んだりと、画像回復処理の効果よりも弊害が目立つ場合がある。このような光学特性を持つ領域に関しては、画像回復処理の回復レベルをかなり抑えたり、画像回復処理を行わないといった対策が必要である。このような光学特性を持つレンズは、一般的に安価なレンズで発生することが多く、高倍率のズームレンズの画像周辺部でも同様の光学特性となることが多い。

図５（ｂ）は回復レベルが高い理想の回復ゲインと、実際に設定される回復ゲインの違いを説明するための図である。回復レベルが高い、撮像光学系の設計データに基づく理想の回復ゲイン５０１に対し、上述した理由により、最大値を弱めた回復ゲイン５０２しか設定できないケースが発生する。このような場合、画像回復処理が十分には行えず、補正残りが多く発生してしまう。当然、色毎に補正残りが発生するので、色収差も補正されずに残ってしまう。図２のＳ２０５の回復ゲイン取得処理は、理想の補正ゲイン（以後、最大ゲインと呼ぶ）と実際に補正を行ったゲイン（以後、補正ゲインと呼ぶ）を取得することを示している。

図３のフローに戻ってＳ３０４のステップについて説明する。本実施形態の画像回復フィルタは、倍率色収差の平行移動成分が除去されたフィルタとなっている。換言すると、この画像回復フィルタは、収差の非対称性及び広がりを補正して画像の先鋭化を行うが、倍率色収差の平行移動成分に関しては補正しないフィルタとなっている。このようなフィルタを用いる理由としては、倍率色収差の移動成分に関しては別の方法で補正することにより、画像回復フィルタの必要タップ数を軽減できるメリットがあるためである。このためＳ３０４では、画像回復処理とは別に、従来の手法を用いて倍率色収差補正を行っている。もちろんタップ数に余裕がある場合やシステム処理に余裕がある場合は、画像回復フィルタに倍率色収差成分を加味してもよい。その場合はＳ３０４の処理は不要となる。

最後にＳ３０５においてＳ３０３で算出した画像回復フィルタを用いて、撮像された入力画像に対して、コンボリューション処理を行うことで画像回復処理を実現する。これにより撮像光学系で発生した収差による画像のぼけ成分を除去若しくは低減することができる。前述したようにＲＧＢの色成分ごとに適した画像回復フィルタを用いることで、色収差も補正することができる。ただし図５で示したような光学特性の場合は、ある程度色収差は残存してしまう。さらに上記フィルタは一般的に撮像光学系１０１が被写体に合焦した場合の光学系の特性を用いてフィルタ生成を行っているため、合焦していない被写体（背景や奥行のある被写体）に対しては適切な補正にならず、色収差を完全に除去することできない。その理由を図６を用いて説明を行う。

図６は撮像した画像の一例であり、被写体として、３人の人物（６０１、６０２、６０３）と、その背景に建物（６０４）が写っている。このとき、３人の人物は、手前から人物６０２、人物６０１、人物６０３の順に位置しており、撮像者は人物６０１にピントを合わせて撮像したとする。この画像データに対し、画像回復処理を行った場合、人物６０１に発生しているぼけと色にじみは適切に補正されているが、人物６０２と人物６０３、さらに建物６０４に発生しているぼけと色にじみは適切な補正がされない可能性がある。この場合の色にじみについて図７を用いて説明を行う。

図７はデフォーカス量に応じた色成分毎のＭＴＦの変動を示すグラフである。縦軸に代表的な空間周波数のＭＴＦ値、横軸に距離（デフォーカス量）を設定し、この軸上に曲線７０１、７０２および７０３を示している。曲線７０１がＲ（波長６００ｎｍ付近の光線）のＭＴＦ特性を、曲線７０２がＧ（波長５３０ｎｍ付近の光線）のＭＴＦ特性を、曲線７０３がＢ（波長４７０ｎｍ付近の光線）のＭＴＦ特性を表している。横軸の真ん中にあるインフォーカスは合焦面であり、図６でいうところの人物６０１における結像状態のＭＴＦの強さと言える。この状態ではＲＧＢそれぞれのＭＴＦは高い値を示しており、コントラストも高く、にじみも少ない状態であることが確認できる。人物６０２、人物６０３および建物６０４に対しても、この人物６０１に適した回復フィルタが適用されることになる。人物６０２は人物６０１よりもやや距離が短く（前ピン相当）、人物６０３と建物６０４は人物６０１よりも距離が長い（後ピン相当）ため、人物６０１と同じ結像にはならない。具体的には人物６０２は図７の鎖線７０４の位置、人物６０３は鎖線７０５の位置、建物６０４は鎖線７０６の位置で結像することになる。このとき、鎖線７０４の位置ではＲＧに比べて、ＢのＭＴＦが低いため、画像上では青いにじみが発生する。さらに鎖線７０５の位置では、逆にＢのＭＴＦに対し、ＲＧのＭＴＦが低いため、黄色っぽいにじみが発生する。これら鎖線７０４および７０５の位置ではＧのＭＴＦがそれなりに残っているため、エッジも比較的コントラストが高くなる。そのため、にじみも比較的明瞭に見えてしまい、画像として好ましくない状態になってしまう。このような状態の領域のことを以後小アウトフォーカス領域と呼ぶことにする。一方、鎖線７０６の位置はＲＧＢのＭＴＦすべてが低いため、画像としてはボケの程度が高い状態にある。この領域は多少色にじみが発生していたとしても、人間の視覚上重要ではない領域として処理されることが多い。

次に、図２のＳ２０６の色にじみパラメータ算出の方法について、図８を用いて説明を行う。図８は色にじみパラメータを算出するためのフローチャートである。図４（ａ）で示したように、一般的に光学系は画像の領域ごとに異なる特性を所持することが多いので領域ごとに以下の処理を行うことが望ましいが、今回は説明を簡略化するため、一つの領域における処理について記載する。

まず、該当領域の被写体距離情報を算出する（Ｓ８０１）。これは図７を用いて説明したように被写体によって撮像距離が異なると発生する色にじみも異なるため、領域ごとにその撮像距離を取得する必要がある。領域内に複数被写体が写りこんでいる場合は代表的な被写体の距離を算出してあげればよい。領域毎の被写体距離の算出方法の一例として、撮像面に配列された位相差検出画素を用いた方法を説明する。この画素は主にオートフォーカス（ＡＦ）のために使用される画素である。撮像面上にこのような位相差検出画素を埋め込むことによって外部にＡＦセンサを積まなくて良いため、近年撮像面上に配置されていることが多い。

図９は、位相差検出画素から撮像距離を算出する方法を説明するための図である。撮像光学系１２０１は図１の撮像光学系１０１と等価である。光学系１２０２は撮像素子１０２の前に配置され、位相差検出用に最適な構成をしている。また受光部１２０３は位相差を測定するため、受光素子ＡとＢによって振り分けられた光を受光する。図９（ａ）は合焦時の光線図を示しており受光素子Ａ、Ｂには位相ずれのない信号が入力される。逆にこのとき、ここで撮像されている被写体は合焦状態にあると判定できる。一方、図９（ｂ）は被写体に対して前ピンになっている状況を示している光線図である。このとき受光素子Ａと受光素子Ｂの信号の位相は図のようにずれており、ここから前ピンであることが判定できる。さらにこの位相のズレ量を検出することにより、この時撮像されている被写体がどの程度合焦時からずれているかを測定することが可能となる。図９（ｃ）に関しては図９（ｂ）と逆方向にずれたときを示す図であり、同様に撮像された被写体の合焦位置からのズレの方向と大きさを検出することが可能となる。ここでは位相差を検出できる撮像装置を用いて被写体距離を検出する方法を示したが、検出する方法はこの限りではなく、例えば別途、被写体距離を測定する測距センサが備わっている場合はその値を用いてもよい。

次にＳ８０２において、撮像画像ごとにインフォーカス領域、小アウトフォーカス領域、およびアウトフォーカス領域の幅を決定する必要がある。ここでインフォーカス領域はいわゆる合焦領域を示し、小アウトフォーカスは前述した合焦領域ではないが色にじみが目立つ領域、アウトフォーカス領域は小アウトフォーカス領域よりさらにぼけの多い領域のことを示す。このことを図１０に示す。

図１０はデフォーカス領域の範囲を説明するための図である。図１０は主被写体の位置を真ん中にとり、そこを合焦位置として原点とする。原点から右側が無限遠側の距離であり、左側が撮像者側の距離として座標を設定する。Ｄ_Ｎは撮像者側における小アウトフォーカス領域の端部であり、Ｄ_Ｎ’は撮像者側における合焦領域の端部を示す。Ｄ_Ｆは撮像者側における小アウトフォーカス領域の端部であり、Ｄ_Ｆ’は撮像者側における合焦領域の端部を示す。つまりＤ_Ｎ’およびＤ_Ｆ’で規定される領域が合焦領域、Ｄ_ＮおよびＤ_Ｎ’で規定される領域とＤ_ＦおよびＤ_Ｆ’で規定される領域が、それぞれ小アウトフォーカス領域として定義することができる。これらの値は、どこまでのズレをピントが合焦していると判断するかとう指標になるため、焦点距離や絞りなどの撮像条件によって可変にすることが好ましい。その計算方法の一例を以下に示す。

一般的に任意の距離の被写体に焦点を合わせたときの被写界深度の前端と後端は下記の式５および式６で近似される。

ここでＤｎは被写界深度の前端を示し、Ｄｆは被写界深度の後端を示す。さらにＨは過焦点距離、ｆは焦点距離、ｓは被写体距離を示す。

さらに過焦点距離Ｈは以下の式で近似される。

ここでｄは許容錯乱円の直径、Ｆｎｏは撮像時のＦ値を示す。つまり、合焦領域としての許容錯乱円の直径と、小アウトフォーカス領域としての許容錯乱円の直径を定義することによって、撮像条件からＤ_Ｎ、Ｄ_Ｎ’、Ｄ_ＦおよびＤ_Ｆ’を算出することが可能となる。

次にＳ８０１とＳ８０２で求めた情報からそれぞれの領域の色にじみの抑圧量を決定する（Ｓ８０３）。抑圧量の設定方法算出の一例として領域が前ピンと判定された場合について説明する。

図１１は横軸にデフォーカス量、縦軸に色にじみの抑圧量をとったグラフになっている。このグラフを撮像条件ごとに作成することにより、たとえばＳ８０１で算出された当該領域のデフォーカス量がＤだった場合、色にじみ補正の抑圧量はＲと決定することができる。このグラフを作成するにあたりパラメータＤ_Ｎ、Ｄ_Ｎ’、ＲａおよびＲｂが必要となる。Ｄ_ＮおよびＤ_Ｎ’に関してはＳ８０２で算出した値を用いればよい。一方、Ｒａは抑圧する最大量としての値なので、撮像系のシステムの性能を考慮して設計者が予め決めた値を設定しておけばよい。つまり、撮像毎に変更する必要はない。Ｒｂはデフォーカス量が０からＤ_Ｎ’までの場合、つまり合焦領域と判定された場合に設定する抑圧量である。この領域は合焦領域であるためＳ３０５の画像回復処理において色にじみが良好に補正されている可能性が高い。よって基本的には被写体色を消してしまうという弊害を避けるため、抑圧量は少なくすることが好ましい。ただし図５を用いて説明したように、場合によっては、合焦面とは言え十分に補正がなされていない場合がある。

そこで、Ｒｂに関しては図１２に示すプロセスにより決定することが好ましい。まず該当領域における最大ゲインと補正ゲインを取得する（Ｓ１２０１）。この値は前述したようにそれぞれ図２のＳ２０５で取得可能な値である。次にＳ１２０１で取得した最大ゲインと補正ゲインの比較結果と、図１３に示すテーブルを用いて、最大抑圧量Ｒａからの弱め割合Ｐを算出する。図１３は横軸にＳ１２０１で取得した補正ゲインと最大ゲインの比をとったもの、縦軸はＲａに対する弱め量（％）を示す。Ｐｍｉｎは弱め量の最小値で設計者が規定しておく値、αｔｈは弱め量を落とし始める値であって、こちらも設計者が事前に決めておく値である。弱め量が１００％ということは、最大抑圧量Ｒａをそのまま用いるということである。補正ゲインが最大ゲインの値に近づくほど、抑圧量が小さくなるように弱め量を設定する。当然補正ゲインが最大ゲインを超えることはないので横軸の最大値は１である。このテーブルの利用例として、例えばＳ１２０１で取得した補正ゲインと最大ゲインの比がαだった場合、弱め割合はＰとなる（Ｓ１２０２）。つまり、図１１のＲｂの値はＲａ＊Ｐで算出することができる（Ｓ１２０３）。これで図１１のパラメータはすべて決定できたので、それぞれ値を代入し、図８のＳ８０１で求めたデフォーカス量を元に、図１１のテーブルを参照し該当領域の最終的なにじみ抑圧量Ｒを算出する。

Ｓ８０１〜Ｓ８０３で領域毎に色にじみ補正の抑圧量が決定したので、次に抑圧対象とする色相を決定する（Ｓ８０４）。図７で示したように、合焦位置からずれた位置での色にじみの特性は撮像光学系１０１の状態によって変化する。よってデフォーカス時の色にじみの特性を予め記憶部１０８に記録しておく必要がある。ただし、画像回復データのようにＲＧＢの各色のＯＴＦデータをデフォーカス量毎に所持するとなると莫大なメモリと演算が発生するので現実的ではない。

ここでは図１４に示すようなテーブルを前ピンと後ビン状態でそれぞれ所持することにより簡易的にそれぞれの状態の色にじみ特性を記録することとする。図１４は焦点距離と撮像距離のマトリックス型のテーブルになっている。撮像光学系がズームレンズの場合、ＷｉｄｅからＴｅｌｅまでを４つの領域（Ｌｍｎ１〜Ｌｍｎ４）に分解し、さらにピント位置（被写体距離に相当）を至近から無限を４つの領域（Оｂｊ１〜Оｂｊ４）に分解している。そして、それぞれの光学特性において前ピン状態の被写体に対してどのようなにじみが発生しているかを示している。例えばＷｉｄｅの至近で撮像された画像で前ピンになっている被写体はＢ（青）ににじむということを示している。このテーブルを所持することにより、色にじみ補正を限定した色相で高精度に抑圧することが可能となる。なお、ここでは分りやすいようにＢ（青）とかＣｙ（シアン）と記載しているが、実際に記憶する場合は、例えばＢを「３」、Ｃｙを「４」と数値に置き換えて記録することが好ましい。さらに言うと色相（Ｂなら２４０°Ｃｙなら１８０°）などと記録しておいてもよい。そうすることにより、たとえばＢとＣｙの間に撮像条件がきた場合も補間演算で対象色相を出すことができ、領域毎のキリムラ等の懸念を低減することができる。

Ｓ８０４でデフォーカス時の色にじみの色相が分かったので、次に対象領域がインフォーカス領域にいるのかアウトフォーカス領域（小アウトフォーカス領域とアウトフォーカス領域）にいるのかを判定する。そして、その結果に応じて、補正対象の色相を設定する。ここで合焦領域の色にじみの設定だが、これは画像回復用のＯＴＦ情報に同等の情報が含まれるのでその値を抜き出しても良い。あるいは、合焦領域は基本的ににじみも回復されており、抑圧量も少ないのでデフォルトの色相（画像回復処理がオフの場合に設定している色相）を設定しておいても良い。以上で色にじみパラメータ（補正対象色相と色にじみ補正量）の設定が完了する。

最後にＳ２０２またはＳ２０７で得られた値に基づいて、画像からにじみを検出して、にじみを適応的に低減する色にじみ補正処理を行う。色にじみ補正処理の一例を図１５を用いて説明する。図１５は画像からにじみを検出する色にじみ補正処理のフロー図である。色にじみ補正処理では色プレーン（Ｒ，Ｇ，Ｂプレーン）のうちＲ，Ｂプレーンを色にじみ補正対象とし、基準プレーンとしてＧプレーンを用いる。ただし、補正対象の色相がＧだった場合は、基準プレーンをＲとＢの平均値にしてＧプレーンを補正するといように変更する必要がある。ここでは一般的な場合としてＲ，Ｂプレーンを色にじみ補正対象の場合に対して説明する。基本的な補正の概念としてはエッジ部のＧプレーンのにじみ量に対してＲまたはＢのにじみ量を判定し、それぞれのにじみ量がＧに対して多い場合は、Ｇのにじみ量にそろえることにより色にじみを抑圧するという手法の処理である。

まずＳ１５０１において入力画像のエッジを検出する。これはにじみの現象は画像のエッジ部に表れるためである。次にＳ１５０２において、Ｓ１５０１で検出されたエッジ部において、色にじみが存在するかどうかを検出する。検出方法は様々な手法があるが、一般的な方法として、Ｇのエッジの勾配とＲまたはＢの勾配を比較して、Ｇに対してＲまたはＢがどの程度にじんでいるかを判定する手法である。ここでいう勾配とは隣接画素との差分を言う。算出した色にじみ情報は、エッジの方向、色にじみの色、色にじみ量として持つ。検出の方法としてはその他にもエッジ部周辺の色相を算出し色にじみを検出する方法などがあるが、ここで色にじみの検出手法は特に限定しない。次にＳ１５０２で検出された色にじみが光学起因により発生したものか、被写体色によるものかを判定する。Ｓ１５０２での検出時には光学起因による色にじみだけでなく、色つきの光源の周辺部のような被写体色のにじみも含まれることが多い。よってＳ１５０３は該当画素に対して、Ｓ２０２やＳ２０７で設定された補正対象色相と比較を行い、画像から検出された色相が予め設定された色相と合致する場合にのみ補正対象とする。一方で前記予め設定された色相と合致しない場合は被写体色の可能性が高いため、色にじみ補正処理を行わずに処理を終了する。

画像から検出された色にじみがＳ１５０３により光学系の色にじみと判断された場合は、色にじみの抑圧量をＳ１５０３で算出した値に設定する（Ｓ１５０４）。そして、画像に対して設定した色にじみの抑圧量に応じて抑圧処理を行う（Ｓ１５０５）。

これにより、最終画像においては被写体色を誤って消すことなく、画像回復処理の補正処理による残存色収差を適切に処理することにより、色にじみの少ないより高画質な画像を出力することが可能となる。

（第２の実施形態）
以下、本発明の画像処理方法を用いた画像処理装置の具体的な別の実施の形態を以下に説明する。

実施の形態１においては、被写体領域毎の撮像距離が取得でき、かつ、撮像光学系のデフォーカス時の色にじみ情報を取得できる場合について記載したが、レンズ交換式のカメラシステムの場合、常に両方の情報が取得できる保証はない。撮像データ（特に、画像処理がなされていない状態で記録されている所謂ＲＡＷデータ）に対して、ユーザーが撮像後にＰＣ上で画像回復処理を行う場合、撮像に用いられたカメラの状態と撮像に用いられたレンズの状態で様々な組みあわせが発生する。そのため、全データに対して第１の実施形態で説明した処理を行うことができないという課題がある。

本実施形態では、様々な入力の形態が考えられる画像処理装置で、入力画像の特徴に応じて、最適な色にじみ補正を行う画像処理方法について記述する。画像処理装置については、撮像装置に付随する画像処理装置でも構わないが、ここではより多様なタイプの入力画像が想定されるＰＣ上で動作する画像処理装置を想定して以下記述する。

図１６は、ＰＣ等でアプリケーションを起動したときに表示される画面例を示している。図１６において、アプリケーション上の画像表示領域１６０１であり、ユーザーが選択したフォルダ内にある画像を表示する領域である。１６０２は画像回復処理の選択領域であり、ユーザーが表示された画像に画像回復処理を適用するかしないかを設定することができる。具体的には、「適用」と記載された横のチェックボックスにチェックを入れると画像回復処理が適用することになる。また、ユーザーが選択している画像に対して、アプリケーション上での処理が完了した後にＯＫボタン１８０３を押下することにより、設定した条件で処理された画像を新たに記録することができる。

特に、撮像素子１０２の出力信号を画像処理部１０４を通さずに記録されたＲＡＷ画像は、撮像後にユーザーがＰＣ等で後処理することによって、一般的な画像ファイル（ＪＰＥＧやＢＭＰ）に変換される。

ここで画像表示領域１６０１には、様々なカメラやレンズで撮像される画像が表示される。つまり、被写体領域毎の撮像距離情報や撮像光学系のデフォーカス時の色にじみ情報を有する画像を常に取得できる訳ではない。ユーザーがそれぞれ対して、色にじみパラメータを設定するのは現実的ではないので、アプリケーション側でカメラとレンズの条件に応じて適切な色にじみパラメータを自動で設定する必要がある。

図１７は図１６で示したアプリケーションの画像回復処理時の色にじみ補正のパラメータを対象画像の特徴に応じて、自動的に設定する処理を示すフローチャートである。

まず対象となる画像に画像回復処理を適用するかどうかを判定する（Ｓ１７０１）。ここで適用しないと選択された場合は、図２のＳ２０２およびＳ２０８と同様に、固定のパラメータをセットし（Ｓ１７０２）、このパラメータを用いて色にじみ補正処理を行う（Ｓ１７０３）。

一方、画像回復処理を行う場合は、撮像条件の取得（Ｓ１７０４）、画像回復処理（Ｓ１７０５）、回復ゲインの取得（Ｓ１７０６）までは、図２のＳ２０３乃至Ｓ２０５と同様の処理を行う。

次に画像回復処理の対象となる画像から、領域別距離情報が取得可能であるか否かを判定する（Ｓ１７０７）。この情報が取得できない理由の例としては、撮像カメラが撮像面位相差センサを所持しない場合や、その他の距離情報取得手段を所持しておらず、画像ファイルに撮像時の領域別距離情報が記録されないケースが該当する。さらに画像から領域別の距離情報を検出する場合も判定が難しい空間周波数が低い画像などにおいても、領域別距離情報が取得できない場合がある。

領域別距離情報が取得可能であった場合は、撮像レンズのデフォーカス時の色にじみ情報が取得可能であるか否かを判定する（Ｓ１７０８）。この情報が取得できない理由の例としては、撮像時にもアプリケーション上にもこの情報がない場合である。レンズ交換式のカメラでは、新しく発売されたレンズや、このような情報を有していない古いレンズなど様々なレンズが装着される可能性がある。

Ｓ１９０７、Ｓ１９０８で両情報が取得できた場合の処理は、図２のステップＳ２０６と同様の手順で色にじみパラメータを算出し（Ｓ１７０９）、算出した結果を設定する（Ｓ１７１０）。処理の詳細については第１の実施形態と重複するのでここでは割愛する。

一方Ｓ１７０８でレンズのデフォーカス時の色にじみ情報が取得できないと判定された場合は、領域別距離情報のみを用いて色にじみパラメータを算出する必要がある（Ｓ１７１１）。この場合の処理を図１８を用いて説明を行う。

図１８は領域別距離情報を利用できるが、デフォーカス色にじみ情報を利用できない場合の色にじみパラメータ算出のフロー図である。領域毎別の距離情報は取得することが可能なので、Ｓ１８０１からＳ１８０３までは、図８のＳ８０１乃至Ｓ８０３と同様の処理を行う。一方、レンズのデフォーカス色にじみ情報は取得できないため、各デフォーカス領域に個別の補正対象色相を設定することができない。よってこの場合は画像回復処理がオフの時と同様の弊害と効果のバランスが良い一定のパラメータを設定することが好ましい（Ｓ１８０４）。ここで求めたパラメータをＳ１８１２でセットする。

次にＳ１７０７で領域別距離情報が取得できない場合についての処理について記述する。領域別距離情報が取得できない場合に対しても、Ｓ１７０８と同様に、レンズのデフォーカス色にじみ情報が取得可能か否かを判定する（Ｓ１７１３）。取得可能な場合は図１９に示すフローに従って色にじみパラメータを算出する（Ｓ１７１４）。

図１９は領域別距離情報を利用できないが、デフォーカス色にじみ情報を利用できる場合の色にじみパラメータ算出のフロー図である。まず回復ゲインに応じた抑圧量を算出する（Ｓ１９０１）。この場合、領域別距離情報が取得できないので、全領域に対して一律の抑圧量を設定することになる。色にじみ補正による弊害を極力抑えたい場合は、画面全体が合焦領域であることと過程して、第１の実施形態１の図１１で説明したＲｂの算出方法と同様の方法で算出すれば良い。ただ弊害を許容して色にじみ補正の効果を優先したい場合は、この限りではなく、図１１のＲａに近い値を設定しても良い。一方、補正対象色相に関しては、レンズのデフォーカス時の色にじみ情報が取得できるので、図８のＳ８０５と同様の手法で補正対象色相を設定することができる。ここで算出した値をＳ１７１５でセットする。

最後にＳ１７１３で、領域別距離情報もレンズのデフォーカス色にじみ情報も取得できなかった場合の処理（Ｓ１７１６）について図２０を用いて説明する。図２０は領域別距離情報もデフォーカス色にじみ情報も利用できない場合の色にじみパラメータ算出のフロー図である。まず抑圧量に関しては、図１９のＳ１９０１の時と同様に画像全体一律の抑圧量を回復ゲインに応じて算出する（Ｓ２００１）。一方、補正対象色相はレンズのデフォーカス色にじみ情報が取得できないため、図１８のＳ１８０４と同様固定色相パラメータを設定する。ここで算出した値をＳ１７１７でセットする。

以上のように撮像画像ごとのカメラとレンズの状況に応じて、自動的に色にじみパラメータを変化させることにより、ユーザーに負担をかけずに最適な色にじみ補正を適用することが可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 撮像光学系
１０２ 撮像素子
１０３ Ａ／Ｄコンバータ
１０４ 画像処理部
１０５ 表示部
１０６ 撮像光学系制御部
１０７ 状態検知部
１０８ 記憶部
１０９ 画像記録媒体
１１０ システムコントローラ

Claims (8)

1. 撮像光学系を介して入射した被写体像を撮像素子によって電気信号に変換されることにより生成された画像データを取得する取得手段と、
   前記画像データに対して、前記画像データが生成されたときの前記撮像光学系の光学伝達関数に応じたフィルタを用いて第１の補正処理を行う回復処理手段と、
   前記回復処理手段によって収差が補正された画像データに対して、色にじみを抑制するための第２の補正処理を行う色にじみ補正手段と、
   前記画像データの領域ごとの被写体距離の情報を取得する情報取得手段を有し、
   前記色にじみ補正手段は、前記領域ごとの被写体距離と合焦位置までの距離に基づいて、前記第２の補正処理の対象とする色成分を設定することを特徴とする画像処理装置。
2. 前記色にじみ補正手段は、前記領域ごとの被写体距離と合焦位置までの距離の差に基づいて、前記第２の補正処理の補正レベルを設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記色にじみ補正手段は、被写体距離と合焦位置までの距離に基づく前記第２の補正処理の対象とする色成分を示す情報を取得し、前記色成分を示す情報に基づいて前記第２の補正処理を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記回復処理手段は、合焦位置における被写体距離に基づいて選択した前記撮像光学系の光学伝達関数に応じたフィルタを用いて前記第１の補正処理を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記回復処理手段は、前記第１の補正処理に依って球面収差、コマ収差、軸上色収差、および軸外色フレアの少なくともいずれかを補正することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 請求項１乃至５のいずれか１項に記載の画像処理装置と、
   前記撮像光学系および前記撮像素子を有することを特徴とする撮像装置。
7. 撮像光学系を介して入射した被写体像を撮像素子によって電気信号に変換されることにより生成された画像データを取得する取得工程と、
   前記画像データに対して、前記画像データが生成されたときの前記撮像光学系の光学伝達関数に応じたフィルタを用いて第１の補正処理を行う回復処理工程と、
   前記回復処理工程において収差が補正された画像データに対して、色にじみを抑制するための第２の補正処理を行う色にじみ補正工程と、
   前記画像データの領域ごとの被写体距離の情報を取得する情報取得工程を有し、
   前記色にじみ補正工程では、前記領域ごとの被写体距離と合焦位置までの距離に基づいて、前記第２の補正処理の対象とする色成分を設定することを特徴とする画像処理方法。
8. コンピュータを請求項１乃至５のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。