JP6525718B2 - 画像処理装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、画像処理装置、その制御方法、および制御プログラムに関し、特に、画像回復処理を用いた劣化画像の補正手法に関する。

一般に、デジタルカメラなどの撮像装置で被写体を撮像して画像を得る際、撮像光学系の収差などに起因して画像が少なからず劣化する（つまり、画像が劣化してぼける）。画像に生じるぼけ成分は、一般に撮像光学系の球面収差、コマ収差、像面湾曲、および非点収差などが原因となって発生する。無収差で回折の影響もない状態においては、被写体の一点からの光束が撮像素子の撮像面上で再度一点に集まる。一方、上記の収差が存在すると、撮像面上で再度一点に結像すべき光が広がって結像することになって画像にぼけ成分が発生する。

画像に生じるぼけ成分は、光学的には点像分布関数（ＰＳＦ）によって規定される。なお、例えば、ピントがずれた画像もぼけているが、ここでは、ピントが合っていても撮像光学系の収差に起因する画像のぼけを「ぼけ」というものとする。

カラー画像における色にじみにおいて、撮像光学系の軸上色収差、色の球面収差、および色のコマ収差が起因する色にじみについては光の波長毎のぼけ方の相違ということができる。さらに、画像の横方向の色ズレについても、撮像光学系の倍率色収差に起因するものについては、光の波長毎の撮像倍率の相違による位置ずれ又は位相ずれということができる。

ところで、上記のＰＳＦをフーリエ変換して得られる光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）は、収差の周波数成分であって、複素数で表される。ＯＴＦの絶対値、つまり、振幅成分をＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼び、位相成分をＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ぶ。

これらＭＴＦおよびＰＴＦはそれぞれ収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として次の式（１）で表す。なお、Ｒｅ（ＯＴＦ）およびＩｍ（ＯＴＦ）はそれぞれＯＴＦの実部および虚部を表す。

ＰＴＦ＝ｔａｎ^−１｛Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ）｝ （１）
撮像光学系におけるＯＴＦは画像の振幅成分と位相成分に劣化を与えるので、劣化した画像は被写体の各点がコマ収差のように非対称にぼけた状態となる。また、倍率色収差は、光の波長毎の結像倍率の相違によって結像位置がずれ、分光特性に応じて、例えば、ＲＧＢの色成分として取得すると、倍率色収差が発生する。

これによって、ＲＧＢ成分間において結像位置のずれが生じるばかりでなく、各色成分においても波長毎に結像位置がずれる。つまり、位相ずれによる像の広がりが発生する。正確には倍率色収差は単なる平行シフトの色ズレではないが、特に、記載がない限り色ズレを倍率色収差と同意義なものとして説明する。

振幅（ＭＴＦ）の劣化および位相（ＰＴＦ）の劣化を補正する手法として、例えば、撮像光学系のＯＴＦを用いて補正を行う手法が知られている。この手法は、画像回復又は画像復元と呼ばれている。以下の説明では、撮像光学系のＯＴＦを用いて画像の劣化を補正する処理を画像回復処理又は単に回復処理と呼ぶ。

ここで、画像回復処理の概要について説明する。いま、劣化した画像をｇ（ｘ，ｙ）、元の画像をｆ（ｘ，ｙ）、光学伝達関数を逆フーリエ変換して得られるＰＳＦをｈ（ｘ，ｙ）とする。この際には、次の式（２）が成り立つ。但し、＊はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示す。

ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） （２）
式（２）をフーリエ変換して、周波数における形式に変換すると、次の式（３）で示すように周波数毎の積の形になる。なお、ＨはＰＳＦをフーリエ変換したものであり、ＯＴＦである。（ｕ，ｖ）は２次元周波数面における座標、つまり、周波数を示す。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） （３）
撮影によって得られた劣化画像から元の画像を得るためには、次の式（４）で示すように両辺をＨで除算すればよい。

Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） （４）
式（４）に示すＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻せば元の画像ｆ（ｘ，ｙ）が回復像として得られる。

ここで、式（４）に示す１／Ｈを逆フーリエ変換したものをＲとすると、次の式（５）で示すように、実面において画像についてコンボリューション処理を行うことによって同様に元の画像を得ることができる。

ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） （５）
このＲ（ｘ，ｙ）は画像回復フィルタと呼ばれる。実際の画像にはノイズ成分があるので、上述のように、ＯＴＦの逆数によって生成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまう結果、良好な画像は得られなくなってしまう。

ノイズ成分の増幅を抑えるため、例えば、ウィーナフィルタのように画像とノイズとの強度比に応じて、画像における高周波成分の回復率を抑制する手法がある。また、画像の色にじみ成分の劣化を補正する手法として、例えば、上記のぼけ成分の補正によって画像の色成分毎のぼけ量を均一として色にじみ成分を補正するようにしたものがある。

ところで、ズーム位置の状態および絞り径の状態などの撮影状態に応じてＯＴＦは変動する。このため、画像回復処理に用いる画像回復フィルタも撮影状態に応じて変更する必要がある。例えば、生体内部を観察するための内視鏡において、撮像部の合焦範囲外の範囲について蛍光波長に応じたＰＳＦを用いて像のぼけを解消する手法が知られている（特許文献１参照）。ここでは、蛍光が微弱であるためＦナンバーの小さい対物光学系が必要である。一方、Ｆナンバーの小さい対物光学系を用いると焦点深度が浅くなってしまうので、焦点の合わない範囲については画像回復処理を行って合焦像を得るようにしている。

前述のように、撮像の結果得られた画像について画像回復処理を施して上記の各種収差を補正すれば画質を向上させることができる。ところが、撮像の際には、撮像状態と画像回復フィルタの状態とが最適には一致しないことがある。例えば、立体状の被写体を撮像する際にこのような事態が生じる。

撮像装置では、オートフォーカス又はマニュアルフォーカスを用いて被写体空間の１つの面に焦点を合わせて撮像する。この際、被写体が立体物である場合には画角によって被写体距離が異なる。そして、合焦物体については比較的先鋭に撮像されるものの、非合焦物体についてはその距離に応じたぼけ量を伴って撮像される。被写体距離に関する情報が合焦点のみの場合には、当該被写体距離における各画角に最適な画像回復フィルタを選択又は生成して用いることになる。

画像回復処理後の画像において、合焦物体については画像回復フィルタが最適であるので所望の先鋭度を得ることができる。一方、非合焦物体については画像回復フィルタが最適ではないので、多少の回復効果はあるものの依然ぼけた状態となる。

一方、被写体距離に応じたぼけ具合が有効な効果を演出することは、被写体の立体感表現又は注視物体の抽出表現として従来から知られている。例えば、被写界深度の浅い望遠レンズを用いて、主対象物にピントを合わせ、背景を意図的にぼかす表現がある。このような場合には、画像回復処理後の画像も合焦物体はより先鋭化され、非合焦物体はぼけが残存していることが望ましく、上述の画像回復方法でぼかし表現が行われる。

ところが、非合焦物体距離について最適でない画像回復フィルタを用いて非合焦物体を回復処理すると、画像に色付きが発生することがある。ここで、色付きとは、例えば、非合焦物体のエッジ部において画像の各色成分のぼけ方の関係が画像回復処理を行う前と後で異なって被写体にはない色が画像回復処理後の画像に発生することをいう。

さらに、このような色付きは立体被写体の撮像に限らず発生することがある。つまり、合焦しているか否かに拘わらず、例えば、撮像光学系の製造ばらつき又は撮影の際の光源分光の変動などに起因して、実際の撮像状態における収差の状態と画像回復フィルタが対象としている収差の状態とが異なると、色付きが発生する。

このような色付きを抑制する手法として、例えば、画像回復処理を行う前の画像における色情報に基づいて、画像回復処理後の画像の色を補正する手法がある。ここでは、画像の各画素において画像回復処理による色の変化を判定して、画像回復処理による色付きを抑制するようにしている。

例えば、画像回復処理後の画像の色差が画像回復処理を行う前の色差よりも大きくなった場合に、色差の相違量を低減するように信号値を補正する手法がある（特許文献２参照）。

特開平１０−１６５３６５号公報 特開２０１０−８６１３８号公報

上述のように、撮像の結果得られた画像について画像回復処理を施すことによって、非合焦物体などにおいて生じる色付きを抑えるとともに、各種の収差を補正することによって画質を向上させることができる。

ところが、後述するように、回復処理前後の色差に応じて色付き低減処理を行うと、画像における被写体の色味が変化してしまうことがある。そして、撮像光学系の特性と撮像素子の感度（ＩＳＯ感度）とによっても色味が変化する。

ところが、上述の特許文献２に記載の手法においては、これらの変化に対処しておらず、画像回復処理によって生じる色付きを適切に抑制することが困難である。

そこで、本発明の目的は、画像回復処理で生じる色付きを適切に抑制させることのできる画像処理装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による画像処理装置は、撮像光学系を介して撮像素子に結像した光学像に応じて得られた画像についてその画質の劣化を回復処理する画像処理装置であって、前記回復処理の前において前記画像における画素の色の特徴量を第１の色特徴量として求める第１の色特徴量算出手段と、画像回復フィルタを用いて前記画像を回復処理する画像回復処理手段と、前記画像回復処理手段の出力である回復処理後の画像における画素の色の特徴量を第２の色特徴量として求める第２の色特徴量算出手段と、前記画像を撮像した際の撮影条件に応じて、前記第１の色特徴量および前記第２の色特徴量に含まれる高周波成分を減衰させる減衰手段と、前記減衰手段によって高周波成分が減衰された前記第１の色特徴量および前記第２の色特徴量に応じて、前記回復処理後の画像についてその画素値を補正する補正手段と、を有することを特徴とする。

同様に、上記の目的を達成するため、本発明による画像処理装置は、撮像光学系を介して撮像素子に結像した光学像に応じて得られた画像についてその画質の劣化を回復処理する画像処理装置であって、前記回復処理の前において前記画像における画素の色の特徴量を第１の色特徴量として求める第１の色特徴量算出手段と、画像回復フィルタを用いて前記画像を回復処理する画像回復処理手段と、前記画像を撮像した際の撮影条件に応じて、前記回復処理前の画像と、前記画像回復処理手段の出力である回復処理後の画像とを合成して合成画像とする合成手段と、前記合成画像における画素の色の特徴量を第２の色特徴量として求める第２の色特徴量算出手段と、第１の色特徴量および前記第２の色特徴量に応じて、前記合成画像についてその画素値を補正する補正手段と、を有することを特徴とする。

本発明によれば、画像回復処理で生じる色付きを適切に抑制することができる。

撮像光学系を介して得られた撮影画像上におけるＰＳＦのＧ（緑）およびＲ（赤）成分を説明するための図であり、（ａ）は画像回復処理前のＰＳＦを示す図、（ｂ）は画像回復処理後のＰＳＦを示す図、（ｃ）は画像回復処理前の画素値を示す図、（ｄ）は画像回復処理後の画素値を示す図である。 撮像装置で用いられる撮像素子における光電変換の際に生じるノイズ成分を含む画像において１ラインにおけるＧ信号およびＲ信号の回復処理前後における画素値と色差とを説明するための図であり、（ａ）は回復処理前の画素値の変化を示す図、（ｂ）は回復処理後の画素値の変化を示す図、（ｃ）は回復処理前の色差の変化を示す図、（ｄ）は回復処理後の色差の変化を示す図、（ｅ）は回復処理前後の色差を比較して示す図である。 本発明の第１の実施形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。 図１に示す画像回復処理部の構成についてその一例を示すブロック図である。 図４に示す画像回復処理部で行われる画像回復処理を説明するためのフローチャートである。 図１に示す画像回復処理部に入力される画像（ＲＡＷ画像）の一例（ベイヤ配列）を説明するための図であり、（ａ）はＲＡＷ画像におけるＲＧＢ成分（ベイヤ配列）を示す図、（ｂ）〜（ｄ）は各色成分を示す図、（ｅ）はＧ成分について補間処理を行った状態を示す図である。 適応的な画素補間処理手法によってエッジ部の画素補間を行う際の一例を説明するための図であり、（ａ）はエッジ部の断面における輝度の変化を示す図、（ｂ）は（ａ）における画素配列を示す図である。 ベイヤー配列の撮像素子による撮影の結果得られたＲＡＷ画像における画素配列を説明するための図であり、（ａ）は補間前のＧ成分を示す図、（ｂ）は補間前のＲ成分を示す図、（ｃ）は補間前のＢ成分を示す図、（ｄ）は線形補間後のＧ成分を示す図、（ｅ）は線形補間後のＲ成分を示す図、（ｆ）は線形補間後のＢ成分を示す図、（ｇ）は適応補間後のＧ成分を示す図、（ｈ）適応補間後のＲ成分を示す図、（ｉ）は適応補間後のＢ成分を示す図である。 撮像素子の感度に応じたパラメータの設定を説明するための図であり、（ａ）は撮像素子が高感度に設定された際のパラメータの変化を示す図、（ｂ）は撮像素子が低感度に設定された際のパラメータの変化を示す図である。 画像回復フィルタの一例を説明するための図であり、（ａ）は画像回復フィルタを示す図、（ｂ）はタップとその値との関係を示す図である。 図４に示す画像回復処理部で用いられる画像回復フィルタの一例を説明するための図であり、（ａ）はＧ成分に適用する画像回復フィルタの一例を示す図、（ｂ）はＲおよびＢ成分に適用する画像回復フィルタの一例を示す図である。 図５で説明した画像回復処理を行った画像および行わない画像を現像処理した際のエッジ断面における輝度の変化を説明するための図であり、（ａ）は低感度における輝度の変化を示す図、（ｂ）は高感度における輝度の変化を示す図である。 ＭＴＦと空間周波数特性との関係を説明するための図であり、（ａ）〜（ｄ）は撮像光学系のＭＴＦと画像回復フィルタ適用後の空間周波数特性との関係を示す図、（ｅ）は画像回復フィルタによるＭＴＦの増減率（回復ゲイン）を示す図である。 図３に示すカメラにおいてノイズ成分を多く含む画像の所定の領域の１ラインの画像回復前後の色差の移動平均を示す図である。 色差の帯域を変更するためのフィルタの一例を説明するための図であり、（ａ）は第１のフィルタを示す図、（ｂ）は第２のフィルタを示す図、（ｃ）は第３のフィルタを示す図である。 本発明の第２の実施形態に係るカメラで用いられる画像回復処理部の一例についてその構成を示すブロック図である。 図１６に示す画像回復処理部で行われる画像回復処理を説明するためのフローチャートである。 撮像素子の感度に応じた合成パラメータの設定を説明するための図であり、（ａ）は撮像素子が高感度に設定された際の合成パラメータの変化を示す図、（ｂ）は撮像素子が低感度に設定された際の合成パラメータの変化を示す図である。 本発明の第２の実施形態に係るカメラにおいてノイズ成分を多く含む画像の所定の領域の１ラインの画像回復前後の色差の移動平均を示す図である。

以下に、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。

ここでは、本発明の実施の形態による画像処理装置について説明する前に、まず、画像回復処理による画質の向上について説明する。

図１は、撮像光学系を介して得られた撮影画像上におけるＰＳＦのＧ（緑）およびＲ（赤）成分を説明するための図である。そして、図１（ａ）は画像回復処理前のＰＳＦを示す図であり、図１（ｂ）は画像回復処理後のＰＳＦを示す図である。また、図１（ｃ）は画像回復処理前の画素値を示す図であり、図１（ｄ）は画像回復処理後の画素値を示す図である。

図１（ａ）にはＰＳＦのＧ成分およびＲ成分の断面が示されており、ＰＳＦの形状を参照すると非対称な収差が発生している。さらに、Ｒ成分はＧ成分よりも先鋭度が劣っており、収差による画質劣化が大きいことが分かる。図１（ｃ）には、白および黒からなる被写体のエッジ部を撮影して得られた画像の断面が示されている。ここでは、Ｇ成分よりもＲ成分の画質劣化が大きく、断面における傾斜の傾きが異なっていることが分かる。

その結果、収差の影響によってエッジ部の両側に色のにじみが現れる。この色にじみは画素シフトによる色ズレ補正処理を行ったとしても、傾斜の傾きが異なるので色収差を完全に補正することができない。図１（ａ）および図１（ｃ）に示すＰＳＦおよびエッジ部に対して、画像回復処理を行った結果が図１（ｂ）および図１（ｄ）に示されている。

図示のように、画像回復処理によって、ＰＳＦはその先鋭度が増加し、Ｇ成分およびＲ成分の形状が近似するように補正される。また、エッジ部の断面においては、傾斜の傾きが揃って、色にじみが補正されていることが分かる。つまり、ＯＴＦの振幅成分および位相成分が補正されて非対称なボケが補正される。

上述のように、撮影画像について画像回復処理を行うことによって、各種の収差が補正されて撮影画像の画質を向上させることができる。ところが、撮像の際には撮像素子における光電変換の際に生じるノイズによって画像にはノイズ成分が含まれてしまう。一般に、撮像素子を高感度に設定するほど、このノイズ成分は大きくなる。光電変換の際に生じるノイズ成分を多く含む画像に対して、回復処理前後の色差に応じて色付き低減処理を行うと、画像における被写体の色味が変化してしまうことがある。

図２は、撮像素子における光電変換の際に生じるノイズ成分を含む画像において１ラインにおけるＧ信号およびＲ信号の回復処理前後における画素値と色差とを説明するための図である。そして、図２（ａ）は回復処理前の画素値の変化を示す図であり、図２（ｂ）は回復処理後の画素値の変化を示す図である。また、図２(ｃ）は回復処理前の色差の変化を示す図であり、図２（ｄ）は回復処理後の色差の変化を示す図である。さらに、図２（ｅ）は回復処理前後の色差を比較して示す図である。

ここでは、被写体の輝度および色の変化は小さいものの、図２（ａ）に示すように、画像回復処理前においてノイズ成分に起因して画素値が変動している。そして、ＯＴＦの位相補正効果が高い画像回復フィルタを用いると、位相成分の補正による信号値の変動が大きくなって、画像回復前後の色差の変動が大きくなる。

つまり、図２（ｂ）に示すように、画像回復処理後において画素値の変動は低減していない。なお、図２（ｂ）において、”Ｒ”は画像回復フィルタ適用後のＲ信号値を示し、”Ｒ′”は色付き抑制のための補正を行った信号値を示す。

図２（ｃ）は画像回復処理前における色差を示しており、色差とはＧ信号とＲ信号との差分（Ｒ−Ｇ）である。図２（ｄ）には画像回復処理後の色差が示されており、”Ｃｒ”は画像回復フィルタ適用後の色差を示し、”Ｃｒ′”は色付き抑制のための補正後の色差を示す。ここでは、画像回復処理前の色差よりも画像回復処理後の色差が大きくなった画素について、色差の相違量が小さくなるようにＲ信号値を補正している。

図２（ｅ）には、画像回復処理前後における色差を比較するため、色差の移動平均が示されている。撮像装置で行われる画像処理においては、所謂色差平滑化処理が行われるが、ここでは、簡易的な手法として移動平均を用いて画像観賞の際の色味を比較する。

図２（ｅ）に示すように、色付き抑制のための補正を行うと、画像回復処理前後で色味の変化が発生する。また、この色味の変化はノイズ成分の量によってその傾向が異なる。つまり、撮像素子の感度（ＩＳＯ感度）によっても色味の変化量は変わることになる。

［第１の実施形態］
図３は、本発明の第１の実施形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、撮像光学系１０１を有している。そして、この撮像光学系１０１は少なくとも絞り１０１ａおよびフォーカスレンズ１０１ｂを備えている。撮像光学系１０１の後段にはＣＭＯＳイメージセンサなどの撮像素子１０２が配置されており、撮像光学系１０１を通過した光学像（被写体像）は撮像素子１０２に結像する。

撮像素子１０２は光学像を光電変換して光学像に応じた電気信号（アナログ信号）を出力する。そして、アナログ信号はＡ／Ｄコンバータ１０３によってデジタル信号に変換されて、画像処理部１０４に入力される。

画像処理部１０４は、画質の劣化を回復する画像回復処理を行う画像回復処理部１１１と所定の画像処理を行うその他画像処理部１１２とを有している。画像処理部１０４は、状態検知部１０７からカメラの撮像状態を示す撮影状態情報を得る。なお、状態検知部１０７はシステムコントローラ１１０から直接撮影状態情報を得てもよく、また、状態検知部１０７は撮像光学系１０１に関する撮像状態情報を撮像光学系制御部１０６から得るようにしてもよい。

次に、画像処理部１０４は撮像状態情報に応じて記憶部１０８から画像回復フィルタを選択する。そして、画像回復処理部１１１はデジタル信号（つまり、画像）に対して画像回復フィルタを適用する画像回復処理を行う。画像回復処理部１１１における処理については後述するが、画像処理部１０４は、デジタル信号に対してホワイトバランス処理を行った後、画像回復処理部１１１による画像回復処理を行う。

ところで、記憶部１０８には、画像回復フィルタ自体ではなく、画像回復フィルタを生成するために必要なＯＴＦに関するＯＴＦ情報を記録するようにしてもよい。この際には、画像回復処理部１１１は撮像状態情報に応じて記憶部１０８からＯＴＦ情報を選択して、当該ＯＴＦ情報に基づいて画像回復フィルタを生成する。そして、画像回復処理部１１１は当該画像回復フィルタを用いて画像について画像回復処理を行う。

なお、その他画像処理部１１２は、画像回復処理後の画像について所定の画像処理としてガンマ補正およびカラーバランス調整などを行ってＪＰＥＧファイルなどの画像ファイル（以下出力画像ともいう）を生成する。

画像処理部１０４は出力画像を所定のフォーマットで画像記録媒体１０９に保存する。また、画像処理部１０４は画像回復処理後の画像に表示用の処理を行って、表示部１０５に表示用画像を表示する。

なお、画像処理部１０４は画像回復処理を行わずに表示用画像を表示部１０５に表示するようにしてもよく、簡易的な画像回復処理を行った後の画像を表示部１０５に表示するようにしてもよい。

システムコントローラ１１０はカメラ全体の制御を司る。例えば、システムコントローラ１１０は撮像光学系制御部１０６を制御して撮像光学系１０１を駆動する。ここでは、撮像光学系制御部１０６は、Ｆナンバーの撮影状態設定に応じて絞り１０１ａの開口径を制御する。さらに、撮像光学系制御部１０６は、被写体距離に応じてオートフォーカス（ＡＦ）機構（図示せず）によってフォーカスレンズ１０１ｂを光軸に沿って駆動制御する。なお、撮像光学系制御部１０６は、ユーザ操作に応じてマニュアルフォーカス機構（図示せず）によってフォーカスレンズ１０１ｂを駆動制御する。

図示はしないが、撮像光学系１０１にはローパスフィルタおよび赤外線カットフィルタなどの光学素子を備えるようにしてもよい。ローパスフィルタなどのＯＴＦ特性に影響を与える光学素子を用いる際には、画像回復フィルタを生成する際に光学素子の特性を考慮しなければならないことがある。

また、赤外カットフィルタを用いた際には、分光波長のＰＳＦ積分値であるＲＧＢチャンネルの各ＰＳＦ、特に、ＲチャンネルのＰＳＦに影響を与えるので、この点も画像回復フィルタを生成する際に考慮する必要がある。なお、図示の例では、撮像光学系１０１はカメラに一体のもとのとして示されているが、一眼レフカメラで用いるように交換式のものであってもよい。

図４は、図１に示す画像回復処理部１１１の構成についてその一例を示すブロック図である。また、図５は、図４に示す画像回復処理部１１１で行われる画像回復処理を説明するためのフローチャートである。

さらに、図６は、図１に示す画像回復処理部１１１に入力される画像（ＲＡＷ画像）の一例を説明するための図である。そして、図６（ａ）はＲＡＷ画像におけるＲＧＢ成分（ベイヤ配列）を示す図であり、図６（ｂ）〜図６（ｄ）は各色成分を示す図である。また、図６（ｅ）はＧ成分について補間処理を行った状態を示す図である。

まず、図６を参照して、画像回復処理部１１１には各画素に１色の色成分を有するＲＡＷ画像が入力される（図６（ａ）参照）。ここでは、各色成分は所謂歯抜け状態となっている（図６（ｂ）〜図６（ｄ）参照）。そして、後述するように、Ｇ成分に対して画素補間を行って、各画素にＧ成分を有する状態とする（図６（ｅ）参照）。

続いて、図４〜図６を参照して、画像回復処理について説明する。前述のように、画像回復処理部１１１には図６（ａ）に示すＲＡＷ画像が入力される。画像回復処理を開始すると、画像回復処理部１１１はＲＡＷ画像について画素補間処理を行う（ステップＳ２０１：回復前画素補間）。

ステップＳ２０１の処理では、まず、回復前画素補間部（Ｇ）１００１はＧ成分について画素補間処理を行って補間後Ｇ成分を出力する。この画素補間処理によって、Ｇ成分については、図６（ｂ）に示す歯抜け状態から、図６（ｅ）に示す各画素にＧ成分を有する状態となる。そして、補間後Ｇ成分は回復前画素補間部（Ｒ）１００２および回復前画素補間部（Ｂ）１００３に与えられる。回復前画素補間部（Ｒ）１００２および回復前画素補間部（Ｂ）１００３はそれぞれＲ成分およびＢ成分について補間処理を行って各画素にＲ成分およびＢ成分を有する状態とする。以下、回復前画素補間部（Ｒ）１００２および回復前画素補間部（Ｂ）１００３の補間後出力をそれぞれ補間後Ｒ成分および補間後Ｂ成分と呼ぶ。

ベイヤー配列の撮像素子における画素補間処理については、種々の画素補間手法が知られている。一般的に用いられる手法は、周囲の他の色成分の画素情報を用いて補間画素を生成する適応的な画素補間処理である。例えば、ある画素においてＲの画素値を補間処理により生成する際には、周囲の画素のＧおよびＢ成分を用いてＲ画素値の補間手法を決定する。１つの色成分を単純に線形補間する手法と異なって、適応的な画素補間処理では補間処理による偽色の発生および先鋭度の低下を低減することができる。

図７は、適応的な画素補間処理手法によってエッジ部の画素補間を行う際の一例を説明するための図である。そして、図７（ａ）はエッジ部の断面における輝度の変化を示す図であり、図７（ｂ）は図７（ａ）における画素配列を示す図である。

図示のエッジ部が無彩色であれば、撮像素子の各画素におけるＲＧＢ値を取得した際には、ＲＧＢの各色成分はいずれも同一の値となる。図７（ｂ）に示す例では、画素値”１００”および”２００”で構成される画素配列になる。

図８は、ベイヤー配列の撮像素子による撮影の結果得られたＲＡＷ画像における画素配列を説明するための図である。そして、図８（ａ）は補間前のＧ成分を示す図であり、図８（ｂ）は補間前のＲ成分を示す図である。また、図８（ｃ）は補間前のＢ成分を示す図であり、図８（ｄ）は線形補間後のＧ成分を示す図である。さらに、図８（ｅ）は線形補間後のＲ成分を示す図であり、図８（ｆ）は線形補間後のＢ成分を示す図である。図８（ｇ）は適応補間後のＧ成分を示す図であり、図８（ｈ）適応補間後のＲ成分を示す図である。また、図８（ｉ）は適応補間後のＢ成分を示す図である。

実際には、ベイヤー配列の撮像素子による撮影の結果得られたＲＡＷ画像は各画素に１色の色成分を有するので、色成分毎にその値を抽出した場合、図８（ａ）〜図８（ｃ）に示す画素配列となる。各色成分の画素配列において、黒で示す画素が補間処理の必要な画素である。この場合、画素補間処理後の各色成分は、理想的には図７（ｂ）に示す画素値となる。

以降の説明では、図８（ａ）〜図８（ｃ）に示す画素配列をそれぞれＧ（ｘ、ｙ）、Ｒ（ｘ、ｙ）、およびＢ（ｘ、ｙ）として表す。ここで、ｘは横方向の座標、ｙは縦方向の座標であり、いずれも”０”〜”４”の範囲の値である。

前述したように、回復前画素補間部（Ｇ）１００１はＧ成分について画素補間処理を行う。ここでは、回復前画素補間部（Ｇ）１００１は、図８（ａ）に示すＧ成分について、周囲の他の色成分の画素情報を用いて補間画素を生成する適応的な画素補間処理を行う。なお、以下の説明では、適応的な画素補間処理を、単に適応補間と呼ぶ。

Ｒ成分に値を有する画素のＧ成分を生成する場合（例えば、Ｇ（１，２）を生成する場合）には、次の式（６）〜式（９）が用いられる。

Ｈ＿ＤＩＦＦ＝｛Ｒ（ｘ、ｙ）−Ｒ（ｘ−２、ｙ）｝＋｛Ｒ（ｘ、ｙ）−Ｒ（ｘ＋２、ｙ）｝ （６）
Ｖ＿ＤＩＦＦ＝｛Ｒ（ｘ、ｙ）−Ｒ（ｘ、ｙ−２）｝＋｛Ｒ（ｘ、ｙ）−Ｒ（ｘ、ｙ＋２）｝ （７）
ＩＦ（｜Ｈ＿ＤＩＦＦ｜＞｜Ｖ＿ＤＩＦＦ｜）｛Ｇ（ｘ、ｙ）＝（Ｇ（ｘ、ｙ−１）＋Ｇ（ｘ、ｙ＋１））／２｝ （８）
ＥＬＳＥ｛Ｇ（ｘ、ｙ）＝（Ｇ（ｘ−１、ｙ）＋Ｇ（ｘ＋１、ｙ））／２｝ （９）
回復前画素補間部（Ｒ）１００２は、図８（ｂ）に示す補間前Ｒ成分について、周囲の他の色成分の画素情報を用いて補間画素を生成する適応的な画素補間処理を行う。この際、回復前画素補間部（Ｒ）１００２は、次のようにして補間後Ｇ成分を用いて補間前Ｒ成分について適応的な画素補間処理を行う。

隣接する左右の画素に値がある際に画素のＲ成分を生成する場合（例えば、Ｒ（２，０）を生成する場合）には、次の式（１０）および式（１１）が用いられる。

Ｃｒ＝｛Ｒ（ｘ−１，ｙ）−Ｇ（ｘ−１，ｙ）＋Ｒ（ｘ＋１，ｙ）−Ｇ（ｘ＋１，ｙ）｝／２ （１０）
Ｒ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）＋Ｃｒ （１１）
隣接する上下の画素に値がある際に画素のＲ成分を生成する場合（例えば、Ｒ（１，１）を生成する場合）には、次の式（１２）および式（１３）が用いられる。

Ｃｒ＝｛Ｒ（ｘ、ｙ−１）−Ｇ（ｘ，ｙ−１）＋Ｒ（ｘ，ｙ＋１）−Ｇ（ｘ，ｙ＋１）｝／２ （１２）
Ｒ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）＋Ｃｒ （１３）
隣接する斜め方向の画素に値がある際に画素のＲ成分を生成する場合（例えば、Ｒ（２，１）を生成する場合）には、次の式（１４）および式（１５）が用いられる。

Ｃｒ＝｛Ｒ（ｘ−１，ｙ−１）−Ｇ（ｘ−１，ｙ−１）＋Ｒ（ｘ＋１，ｙ−１）−Ｇ（ｘ＋１，ｙ−１）＋Ｒ（ｘ−１，ｙ＋１）−Ｇ（ｘ−１，ｙ＋１）＋Ｒ（ｘ＋１，ｙ＋１）−Ｇ（ｘ＋１，ｙ＋１）｝／４ （１４）
Ｒ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）＋Ｃｒ （１５）
このようにして、回復前画素補間部（Ｒ）１００２は隣接する画素から得た色差情報（Ｒ−Ｇ）を補間して、Ｒ成分の適応補間を行う。

回復前画素補間部（Ｂ）１００３は、補間前Ｒ成分として同様にして、図８（ｃ）に示す補間前Ｂ成分について、周囲の他の色成分の画素情報を用いて補間画素を生成する適応的な画素補間処理を行う。この際、回復前画素補間部（Ｂ）１００３は補間後Ｇ成分を用いて補間前Ｂ成分について適応的な画素補間処理を行う。つまり、回復前画素補間部（Ｂ）１００３は隣接する画素から得た色差情報（Ｂ−Ｇ）を補間して、適応補間を行うことになる。

上述のようにして適応補間が行われたＧ成分、Ｒ成分、およびＧ成分がそれぞれ図８（ｇ）、図８（ｈ）、および図８（ｉ）に示されている。また、比較のため、適応補間を行わずに、一般的な線形補間によって画素補間を行なった際のＧ成分、Ｒ成分、およびＢ成分がそれぞれ図８（ｄ）、図８（ｅ）、および図８（ｆ）に示されている。

線形補間の場合には、”１００”および”２００”以外の画素値が生成されており、図７（ｂ）に示す画素配列に対して先鋭度は低下している。一方、適応補間の場合には、ＲＧＢ成分の画素値が一致しており、いずれも図７（ｂ）に示す画素配列と一致する。

このように、周囲の他の色成分の画素情報を用いて補間画素を生成する適応補間を行えば、図７（ｂ）に示す画素配列に対して先鋭度が低下することのない画像を生成することができる。

なお、回復前画素補間部（Ｇ）１００１、回復前画素補間部（Ｒ）１００２、および回復前画素補間部（Ｂ）１００３で行われる画素補間処理は上記の例に限定されず、他の補間手法を用いるようにしてもよい。

また、補間処理の精度よりも、補間処理の演算負荷を抑えることを重視するのであれば、補間後Ｇ成分を用いずに一般的な線形補間を用いてＲ成分およびＢ成分の補間処理を行うようにしてもよい。線形補間を用いる場合には、回復前画素補間部（Ｇ）１００１の出力を、回復前画素補間部（Ｒ）１００２および回復前画素補間部（Ｂ）１００３に入力する必要は無い。

再び図４および図５を参照して、第１の色差算出部（Ｒ）１００４は補間後Ｇ成分と補間後Ｒ成分とに応じて第１の色差情報（Ｃｒ）を求める。同様にして、第１の色差算出部（Ｂ）１００５（Ｂ）は補間後Ｇ成分と補間後Ｂ成分とに応じて第１の色差情報（Ｃｂ）を求める（ステップＳ２０２）。なお、ここでは、色差を、Ｇ成分を基準色として、Ｇ成分に対する信号値の差分とする。よって、色差は次の式（１６）〜式（１９）によって求められることになる。

式（１６）〜式（１９）において、（ｘ，ｙ）は画像上の座標値であり、Ｃ１ｒ、Ｃ１ｂ、Ｃ１ｒ′、およびＣ１ｂ′はそれぞれＲ成分およびＢ成分のＧ成分に対する色差を示す。なお、第１の色差情報（Ｃｒ）は、上記のＣ１ｒおよびＣ１ｒ′を示し、第１の色差情報（Ｃｂ）はＣ１ｂおよびＣ１ｂ′を示す。

式（１８）および式（１９）において、パラメータｋは色差情報を取得する領域の大きさを示す。パラメータｋが”０”の場合には、色差情報を１画素単位で取得する。パラメータｋが正の整数の場合には、当該パラメータｋの値に応じた領域の色差平均値を取得する。

図９は、撮像素子の感度に応じたパラメータｋの設定を説明するための図である。そして、図９（ａ）は撮像素子が高感度に設定された際のパラメータｋの変化を示す図であり、図９（ｂ）は撮像素子が低感度に設定された際のパラメータｋの変化を示す図である。

図９（ａ）において、撮像素子が高感度に設定された場合にはノイズ成分が多くなる。この場合、パラメータｋは撮像光学系の絞り値（Ｆ値）に応じて変化する。そして、Ｆ値が所定の値よりも開放側となるとパラメータｋは開放側に向かうにつれて線型的に増加する。一方、Ｆ値が所定の値よりも絞られるとパラメータｋは”０”とされる。

前述のように、画像回復処理においてはＯＴＦの位相補正が大きいと、ノイズ成分が多い画像では適切な色付き抑制処理を行うことができない。また、一般に非対称なコマ収差などを含む横収差の影響は、絞り開放側で大きくなる傾向がある。このため、画像回復処理における位相補正効果も絞り開放側で大きくなる傾向がある。

従って、絞り値（Ｆ値）に応じてパラメータｋを設定して、後述するように、画素単位ではなく隣接する画素領域の平均色差を設定する。

なお、撮像素子が低感度に設定された結果、ノイズ成分の影響が小さい場合には、図９（ｂ）に示すように、パラメータｋはＦ値に拘わらず、常に”０”に設定する。但し、小型のカメラユニットの中には、撮像素子を低感度に設定したとしても、ノイズ成分の影響が小さくならないものもある。このような場合には、撮像素子の感度によらず、Ｆ値に応じてパラメータｋを設定するようにすればよい。

再び図４および図５を参照して、回復フィルタ適用部（Ｇ）１００６、回復フィルタ適用部（Ｒ）１００７、および回復フィルタ適用部（Ｂ）１００８は、それぞれ撮影条件に適した画像回復フィルタを選択する（ステップＳ２０３）。この際、選択した画像回復フィルタを必要に応じて補正するようにしてもよい。例えば、予め記憶部１０８に記憶させる画像回復フィルタに関するデータ数を低減するため、データを離散的に記録しておき、画像回復処理の際に、これらデータを撮影条件に応じて補正して画像回復フィルタを生成する。

さらには、前述のように、画像回復フィルタを生成するために必要なＯＴＦに関するデータに応じて撮像条件に応じた画像回復フィルタを生成するようにしてもよい。

続いて、回復フィルタ適用部（Ｇ）１００６、回復フィルタ適用部（Ｒ）１００７、および回復フィルタ適用部（Ｂ）１００８は、それぞれ画像回復フィルタを適用して、各色成分（ＧＲＢ）の画素に対してコンボリューション処理を行う（ステップＳ２０４）。これによって、撮像光学系１０１で生じた収差の非対称性の補正および画像のぼけ成分を除去又は低減することができる。

図１０は、画像回復フィルタの一例を説明するための図である。そして、図１０（ａ）は画像回復フィルタを示す図であり、図１０（ｂ）はタップとその値との関係を示す図である。

図１０（ａ）に示す画像回復フィルタは、各画素にＲＧＢの各色成分が揃った画像の各色プレーンに適用する画像回復フィルタの例である。画像回復フィルタは、撮像光学系１０１の収差量に応じてタップ数を決定することができ、図示の例では、１１×１１タップの２次元フィルタが示されている。画像回復フィルタの各タップが画像の１画素に対応して画像回復処理においてコンボリューション処理が行われる。

図１０（ａ）に示すように、画像回復フィルタを１００以上に分割された２次元フィルタとすることによって、撮像光学系１０１で生じる球面収差、コマ収差、軸上色収差、および軸外色フレアなどの結像位置から大きく広がる収差に対しても回復処理を行うことができる。

図１０（ａ）においては、各タップの値が省略されている。図１０（ｂ）には図１０（ａ）に示す画像回復フィルタの一断面が示されており、この画像回復フィルタを生成する際には、前述のように、撮像光学系１０１のＯＴＦを計算又は計測して、その逆数を逆フーリエ変換して得ることができる。一般には、ノイズ成分の影響を考慮する必要があるため、ウィーナフィルタ又は関連する画像回復フィルタの生成手法を選択して用いるようにしてもよい。

さらに、ＯＴＦには撮像光学系１０１のみならず、画像処理部１０４に入力される画像に対してＯＴＦを劣化させる要因を含めることができる。例えば、ローパスフィルタはＯＴＦの周波数特性に対して高周波成分を抑制する。また、撮像素子の画素開口の形状および開口率も周波数特性に影響する。他に、光源の分光特性および各種波長フィルタの分光特性がＯＴＦに影響する。これらの要因を含めた広義のＯＴＦに基づいて、画像回復フィルタを生成することが望ましい。

また、画像がＲＧＢ形式のカラー画像である場合には、Ｒ、Ｇ、およびＢの各色成分に対応した３つの画像回復フィルタを生成するようにすればよい。撮像光学系１０１には色収差があり、色成分毎にぼけ方が異なるので、色成分毎の画像回復フィルタはその特性が色収差に応じて若干異なる。

ここでは、図１０（ａ）の断面を示す図１０（ｂ）が色成分毎に異なることに対応する。画像回復フィルタの縦横のタップ数についても正方配列である必要はなく、コンボリューション処理の際に考慮すれば任意に変更することができる。

さらに、予めＰＴＦから直線成分を除去したＯＴＦに基づいて画像回復フィルタを生成すれば、平行移動であるところの倍率色収差の成分を補正しない画像回復フィルタを生成することができる。一方、空間領域において倍率色収差成分を除去する場合には、平行移動したＰＳＦを生成して当該ＰＳＦをフーリエ変換する。これによって、同様に倍率色収差の成分を除去したＯＴＦを生成することができる。そして、当該ＯＴＦに基づいて画像回復フィルタを生成すれば平行移動である倍率色収差の成分を補正しない画像回復フィルタを生成することができる。

なお、予め画素信号のシフトによって倍率色収差を補正した画像について画像回復処理を行う場合に、上述のようにして生成した倍率色収差の成分を補正しない画像回復フィルタが用いられる。

図１１は、図４に示す画像回復処理部１１１で用いられる画像回復フィルタの一例を説明するための図である。そして、図１１（ａ）はＧ成分に適用する画像回復フィルタの一例を示す図であり、図１１（ｂ）はＲおよびＢ成分に適用する画像回復フィルタの一例を示す図である。

図１１には、各画素に１色の色成分をもつＲＡＷ画像に適用する画像回復フィルタの一例が示されている。図示の画像回復フィルタは、対象の色成分が存在する画素に対し係数（フィルタ係数）を有する所謂歯抜け状の画像回復フィルタである。ここでは、フィルタ係数を有する箇所（ブロック）を白色で示し、それ以外の係数として”０”を有する箇所を黒で示す。

Ｒ、Ｇ、およびＢの３つの色成分に対し画像回復を行う際には、Ｇ成分に適用する画像回復フィルタとして図１１（ａ）に示す画像回復フィルタが用いられる。また、ＲおよびＢ成分に適用する画像回復フィルタとして図１１（ｂ）に示す画像回復フィルタが用いられる。

つまり、回復フィルタ適用部（Ｇ）１００６は、図６（ｂ）に示すＧ成分と図１１（ａ）に示す画像回復フィルタとのコンボリューション処理を行う。また、回復フィルタ適用部（Ｒ）１００７および回復フィルタ適用部（Ｂ）１００８は、それぞれ図６（ｃ）および図６（ｄ）に示すＲ成分およびＢ成分と図１１（ｂ）に示す画像回復フィルタとのコンボリューション処理を行う。

なお、ＲＡＷ画像のＧ成分を、Ｒ成分の水平方向に位置するＧｒ成分と、Ｂ成分の水平方向に位置するＧｂ成分に分離すれば、Ｒ成分およびＢ成分と同数のフィルタ係数を有する画像回復フィルタを用いて、Ｇｒ成分およびＧｂ成分の画像回復を行うことになる。Ｇ成分をＧｒ成分およびＧｂ成分に分離すると、画像回復による鮮鋭度の改善はやや効果が落ちる場合があるが、Ｒ成分、Ｂ成分、Ｇｒ成分、およびＧｂ成分の空間周波数の差がなくなるため、画像回復後の偽色が生じにくくなるという効果が期待できる。

再び図４および図５を参照して、回復後画像補間部（Ｇ）１００９は、画像回復後のＧ成分について画素補間を行う（ステップＳ２０５）。さらに、ステップＳ２０５においては、回復後画像補間部（Ｒ）１０１０および回復後画像補間部（Ｂ）１０１１は、回復後画像補間部（Ｇ）１００９の出力である補間後のＧ成分に応じて、それぞれＲ成分およびＢ成分の補間処理を行う。

回復後画像補間部（Ｇ）１００９、回復後画像補間部（Ｒ）１０１０、および回復後画像補間部（Ｂ）１０１１で行われる補間処理は、回復前画素補間部（Ｇ）１００１、回復前画素補間部（Ｒ）１００２、および回復前画素補間部（Ｂ）１００１で行われる補間処理と同様の処理である。

なお、回復後画像補間部（Ｒ）１０１０および回復後画像補間部（Ｂ）１０１１で行われる補間処理についても、演算負荷を抑えることを重視するのであれば、補間後Ｇ成分を用いずに線形補間を行うようにしてもよい。

続いて、第２の色差算出部（Ｒ）１０１２は、回復後画素補間部（Ｇ）１００９の出力である補正後Ｇ成分と回復後画素補間部（Ｒ）１０１０の出力である補正後Ｒ成分に応じて第２の色差情報（Ｃｒ）を求める（ステップＳ２０６）。ステップＳ２０６においては、さらに、第２の色差算出部（Ｂ）１０１３は、回復後画素補間部（Ｇ）１００９の出力である補正後Ｇ成分と回復後画素補間部（Ｂ）１０１１の出力である補正後Ｂ成分に応じて第２の色差情報（Ｃｂ）を求める。

第２の色差算出部（Ｒ）１０１２および第２の色差算出部（Ｂ）１０１３で行われる処理は、それぞれ第１の色差算出部（Ｒ）１００４および第１の色差算出部（Ｂ）１００５と同様である。そして、第２の色差情報（ＣｒおよびＣｂ）の算出には次の式（２０）〜式（２３）が用いられる。

式（２０）〜式（２３）において、Ｃ２ｒ、Ｃ２ｂ、Ｃ２ｒ′、およびＣ２ｂ′はそれぞれＲ成分およびＢ成分のＧ成分に対する色差を示す。なお、第２の色差情報（Ｃｒ）は、上記のＣ２ｒおよびＣ２ｒ′を示し、第２の色差情報（Ｃｂ）はＣ２ｂおよびＣ２ｂ′を示す。

なお、式（２２）および式（２３）で用いられるパラメータｋは式（１８）および式（１９）に関連して説明したように、Ｆ値と撮像素子の感度に応じて設定される。

続いて、画素値調整部（Ｒ）１０１４は第１の色差情報（Ｃｒ）および第２の色差情報（Ｃｒ）について所定の閾値から外れるか否かを判定する。同様にして、画素値調整部（Ｂ）１０１５は第１の色差情報（Ｃｂ）および第２の色差情報（Ｃｂ）について所定の閾値から外れるか否かを判定する（ステップＳ２０７）。つまり、画素値調整部（Ｒ）１０１４および画素値調整部（Ｂ）１０１５の各々は色付き抑制のための画素値調整が必要であるか否かを判定することになる。

この判定にあたっては、色差が増大又はその符号が反転しているか否かが判定される。ここでは、画素値調整部（Ｒ）１０１４および画素値調整部（Ｂ）１０１５はそれぞれＲ成分およびＢ成分について次の判定を行う。そして、いずれかの判定条件が満たされると（ステップＳ２０７において、ＹＥＳ）、画素値調整部（Ｒ）１０１４および画素値調整部（Ｂ）１０１５の各々はその色成分の画素について色付き抑制のための画素値調整を行う（ステップＳ２０８）。

Ｒ成分に係る判定条件
判定条件１：Ｃ１ｒ′（ｘ，ｙ）とＣ２ｒ′（ｘ，ｙ）とが同符号で、且つ｜Ｃ１ｒ′（ｘ，ｙ）｜＜｜Ｃ２ｒ′（ｘ，ｙ）｜
判定条件２：Ｃ１ｒ′（ｘ，ｙ）とＣ２ｒ′（ｘ，ｙ）とが異符号
Ｂ成分に係る判定条件
判定条件１：Ｃ１ｂ′（ｘ，ｙ）とＣ２ｂ′（ｘ，ｙ）とが同符号で、且つ｜Ｃ１ｂ′（ｘ，ｙ）｜＜｜Ｃ２ｂ′（ｘ，ｙ）｜
判定条件２：Ｃ１ｂ′（ｘ，ｙ）とＣ２ｂ′（ｘ，ｙ）とが異符号
ステップＳ２０８で行われる色付き抑制のための画素値調整においては、次のように色差が増大した場合には画像回復前の色差が用いられる。一方、色差の符号が反転した場合には色差が”０”とされる。

Ｒ成分に係る画素値調整
判定条件１を満たす場合（色差増大）には、次の式（２４）によって画素値調整が行われる。

Ｒ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）＋Ｃ１ｒ（ｘ，ｙ） （２４）
判定条件２を満たす場合（色差反転）には、次の式（２５）によって画素値調整が行われる。

Ｒ（ｘ，ｙ）＝Ｇ（ｘ，ｙ） （２５）
Ｂ成分に係る画素値調整
判定条件１を満たす場合（色差増大）場合には、次の式（２６）によって画素調整が行われる。

Ｂ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）＋Ｃ１ｂ（ｘ，ｙ） （２６）
判定条件２を満たす場合（色差反転）には、次の式（２７）によって画素値調整が行われる。

Ｂ（ｘ，ｙ）＝Ｇ（ｘ，ｙ） （２７）
続いて、画素値調整後画素補間部１０１６は、回復フィルタ適用部（Ｇ）１００６の出力であるＧ成分、画素調整部（Ｒ）１０１４の出力であるＲ成分、および画素値調整部（Ｂ）１０１５の出力であるＢ成分について画素補間処理を行う（ステップＳ２０９）。そして、画像回復処理部１１１は画像回復処理を終了する。

なお、判定条件１および２がともに満たされないと（ステップＳ２０７において、ＮＯ）、処理はステップＳ２０９に移行する。

ステップＳ２０９の処理では、周囲の他の色成分の画素情報を用いて補間画素を生成する適応補間が行われる。これによって、色付き抑制処理が行われた各色成分を相互に用いて画素補間処理を行うことができる。なお、画素値調整後画素補間部１０１６における画素補間処理として、例えば、回復前画素補間部（Ｇ）１００１で行う画素補間処理と同様の手法を用いることができる。

なお、ＯＴＦは１つの撮影条件においても撮像光学系の画角（像高）に応じて変化するので、上述の画像回復処理を像高に応じた領域毎に変更して行うことが望ましい。この際には、画像回復フィルタを、コンボリューション処理を行いつつ画像上で走査させて、画像の領域毎に画像回復フィルタを順次変更するようにすればよい。つまり、図５に示すステップＳ２０３の処理を画像回復成分における対象画素毎に実行する。

また、上述の例では、画像回復フィルタを用いて画像回復処理を行うようにしたが、例えば、歪曲補正処理、周辺光量補正処理、又はノイズ低減処理などの処理を組み合わせて画像回復処理を行うようにしてもよい。

図１２は、図５で説明した画像回復処理を行った画像および行わない画像を現像処理した際のエッジ断面における輝度の変化を説明するための図である。そして、図１２（ａ）は低感度における輝度の変化を示す図であり、図１２（ｂ）は高感度における輝度の変化を示す図である。

図１２（ａ）に示す例は、絞り開放でかつ低感度であり、画像回復の色付き抑制処理による色味変化の原因であるノイズ成分が少ない。図１２（ａ）に示す例では、エッジ部は非合焦物体のエッジ部であり、画像回復処理なし（回復なし）のエッジ断面に対して、画像回復を行うことによってエッジ部における色付きが大きくなっている。

図１３は、ＭＴＦと空間周波数特性との関係を説明するための図である。そして、図１３（ａ）〜図１３（ｄ）は撮像光学系のＭＴＦと画像回復フィルタ適用後の空間周波数特性との関係を示す図であり、図１３（ｅ）は画像回復フィルタによるＭＴＦの増減率（回復ゲイン）を示す図である。

図１３（ａ）には、合焦時における撮像光学系１０１のＭＴＦが示されており、Ｒ成分はＧ成分よりも劣化した状態となっている。図１３（ｂ）には、合焦時における画像回復フィルタ適用後のＭＴＦが示されており、Ｇ成分とＲ成分ともにＭＴＦが適切に補正されて、Ｇ成分とＲ成分とは一致している。

つまり、図１３（ｂ）に示す例では、図１３（ａ）に示すＭＴＦに図１３（ｅ）に示す回復ゲインが乗算された結果、Ｇ成分とＲ成分ともにＭＴＦが適切に補正されて、Ｇ成分とＲ成分とは一致する。画像回復フィルタは合焦物体に対して最適に画像回復処理が行えるように設計されており、これによって、合焦時において適切な画像回復処理が行われる。よって、合焦の際には、Ｇ成分およびＲ成分のぼけが適切に除去されるとともに、色にじみも除去される。

一方、図１３（ｃ）および図１３（ｄ）には、非合焦時における撮像光学系１０１のＭＴＦが示されており、図１３（ａ）に示すＭＴＦと比較すると、Ｇ成分およびＲ成分ともに異なる特性を示している。図１２（ａ）に示すエッジ部は、図１３（ｄ）に示すＭＴＦに対応する。

図１３（ｄ）に示すＭＴＦに図１３（ｅ）に示す回復ゲインを乗算すると、Ｒは過補正になって、結果的に、図１２に関連して説明したように回復ありのエッジ部に色付きが発生する。この色付きについて、前述の画像回復処理を行うと色付きが抑制される。つまり、低感度であるので、パラメータｋは”０”であるため、色付きの低減が十分に行われる。

図１２（ｂ）に示す例は高感度であり、ＲＡＷ画像におけるノイズ成分が多い。この場合には、ノイズ成分によって撮像素子に結像する光学像から得られる画像情報を失っているということができる。このため、低感度の際にみられた非合焦物体で発生した色付きが、高感度においてはその程度が小さくなる。さらに、現像処理におけるノイズリダクション処理などによってエッジ部で発生する色付きが目立たなくなることもある。

つまり、高感度の場合には、非合焦物体などで発生する色付きが目立ち難い傾向にあるので、高感度においては周辺画素から得た色差平均値を用いても非合焦物体などで生じる色付きを適切に抑制することができる。

図１４は、ノイズ成分を多く含む画像の所定の領域の１ラインの画像回復前後の色差の移動平均を示す図である。

所定の領域においては、被写体の輝度および色の変化が小さいものとする。図５で説明した画像回復処理を行うと、図２（ｅ）に示す状態に比べて、色味の変化が低減していることが分かる。

このように、周辺画素を用いた平均色差情報を用いることによって、色差情報における高周波成分を減衰させて、平坦部においてノイズ成分が多い場合に位相補正による色差情報の変動を小さくすることが可能となる。その結果、ノイズ成分が多い画像において適切な色付き抑制を行うことができる。

ここでは、パラメータｋを絞り（Ｆ値）に応じて設定することによって、ＯＴＦの位相補正が大きい場合に適切に色付きを抑制する行う手法について説明した。交換レンズタイプの一眼レフカメラの場合には、厳密には位相の補正量は装着された交換レンズによって異なる。よって、パラメータｋに応じた色差情報の調整を交換レンズによって変えることによって、より望ましい結果が得られる。

例えば、交換レンズに応じたパラメータｋをカメラに記録して、カメラに装着された交換レンズに応じてパラメータｋを選択するようにすればよい。

さらに、ＯＴＦの位相の補正量は同一の交換レンズであっても焦点距離および撮影距離によって変化する。よって、交換レンズ並びに焦点距離および撮影距離などの撮影条件に応じてパラメータｋをカメラに記録するようにしてもよい。この場合には、予め位相の補正に伴う画質変化に応じて実験的に適切なパラメータｋを求めるようにすればよい。

図１５は、色差の帯域を変更するためのフィルタの一例を説明するための図である。そして、図１５（ａ）は第１のフィルタを示す図であり、図１５（ｂ）は第２のフィルタを示す図である。また、図１５（ｃ）は第３のフィルタを示す図である。

ここでは、図１５に示す係数を有するフィルタを色差情報に適用して色差の帯域を変える。この場合、前述のＣ１ｒ′およびＣ１ｂ′は次の式（２８）および式（２９）によって設定される。

なお、Ｃ２ｒ′およびＣ２ｂ′についても同様にして設定される。図１５に示すフィルタはローパスフィルタ（ＬＰＦ）であり、撮像素子が高感度に設定されている場合、絞り値に応じてＬＰＦを色差情報に畳み込む。つまり、絞り値に応じて色差情報をローパスフィルタ処理する。具体的には、式（１８）、（１９）、（２２）、および（２３）においては色差平均値を求めていたが、ローパスフィルタ処理では、色差情報の算出対象の画素からの距離に応じて、畳みこみに用いる係数を異ならせている。

開放側においては図１５（ｃ）に示すＬＰＦが用いられる。これによって、色差情報の高周波成分を減衰させる。また、絞り値を絞った場合には、図１５（ａ）又は図１５（ｂ）に示すＬＰＦが用いて、高周波成分の減衰量を調整する。

このように、フィルタのタップ数を固定することによって、扱う画像領域のサイズを固定した処理を行うことができる。

以上のように、本発明の第１の実施形態では、撮影条件である撮像素子の感度および絞り値に応じて、高周波成分を減衰させるようにした。これによって、画像の回復処理で生じる色付きを適切に抑制することができる。

［第２の実施形態］
続いて、本発明の第２の実施形態による画像処理装置を備えるカメラについて説明する。なお、第２の実施形態に係るカメラの構成は、図３に示すカメラと同様である。

前述の第１の実施形態では、色差情報における高周波成分を減衰させることによって、画像回復の際の色付きを抑制した。第２の実施形態では、色差情報における高周波成分を減衰させることなく、画像回復の際の色付きを抑制する。

図１６は、本発明の第２の実施形態に係るカメラで用いられる画像回復処理部１１１の一例についてその構成を示すブロック図である。なお、図１６において、図４に示す画像回復処理部と同一の構成要素については同一の参照番号を付して説明を省略する。

図１６に示す画像回復処理部１１１は、合成部（Ｇ）１０１７、合成部（Ｒ）１０１８、および合成部（Ｂ）１０１９を有している。そして、合成部（Ｇ）１０１７には、Ｇ成分および回復フィルタ適用部（Ｇ）１００６の出力が与えられる。また、合成部（Ｒ）１０１８には、Ｒ成分および回復フィルタ適用部（Ｒ）１００７の出力が与えられる。さらに、合成部（ＢＲ）１０１９には、Ｂ成分および回復フィルタ適用部（Ｂ）１００８の出力が与えられる。

合成部（Ｇ）１０１７、合成部（Ｒ）１０１８、および合成部（Ｂ）１０１９は、後述するようにして、合成処理を行って、その出力をそれぞれ画素値調整後画素補間部１０１６、画素値調整部（Ｒ）１０１４、および画素値調整部（Ｂ）１０１５に送る。

図１７は、図１６に示す画像回復処理部１１１で行われる画像回復処理を説明するためのフローチャートである。なお、図１７において、図５に示すフローチャートのステップと同様のステップについては同一の参照符号を付す。また、図１７に示すステップＳ２０３の処理では、前述の式（１６）および式（１７）によって色差Ｃ１ｒおよびＣ１ｂが求められる。

図１６および図１７を参照して、ステップＳ２０４の処理の後、合成部（Ｇ）１０１７、合成部（Ｒ）１０１８、および合成部（Ｂ）１０１９は、画像回復処理前の画像および画像回復後の画像の合成をＲＧＢの各色成分について行う（ステップＳ３０５）。画像合成の際には、合成部（Ｇ）１０１７、合成部（Ｒ）１０１８、および合成部（Ｂ）１０１９は、それぞれ次の式（３０）、式（３１）、および式（３２）を用いて画像合成を行う。

なお、Ｍは合成パラメータである。また、（ｘ，ｙ）は画像上の座標値であり、Ｒ０、Ｇ０、およびＢ０は画像回復処理前の色成分、Ｒ１、Ｇ２、およびＢ３は画像回復処理後の色成分、そして、Ｒ２、Ｇ２、およびＢ２は合成後の色成分である。

合成パラメータＭは合成率を示しており、合成パラメータＭが”１”の場合には、画像回復処理後の画像と合成後の画像とは等価になる。一方、合成パラメータＭが”０”に近づくと、画像回復処理前の画像が用いられる割合が大きくなる。

図１８は、撮像素子の感度に応じた合成パラメータの設定を説明するための図である。そして、図１８（ａ）は撮像素子が高感度に設定された際の合成パラメータの変化を示す図であり、図１８（ｂ）は撮像素子が低感度に設定された際の合成パラメータの変化を示す図である。

図１８（ａ）において、撮像素子が高感度に設定された場合にはノイズ成分が多くなる。この場合、合成パラメータＭは撮像光学系の絞り値（Ｆ値）に応じて変化する。そして、Ｆ値が所定の値よりも開放側となると合成パラメータＭは開放側に向かうにつれて線型的に逓減する。一方、Ｆ値が所定の値よりも絞られると合成パラメータＭは”１”とされる。

前述のように、画像回復処理においてはＯＴＦの位相補正が大きいと、ノイズ成分が多い画像では適切な色付き抑制処理を行うことができない。また、一般に非対称なコマ収差などを含む横収差の影響は、絞り開放側で大きくなる傾向がある。このため、画像回復処理における位相補正効果も絞り開放側で大きくなる傾向がある。

従って、絞り値（Ｆ値）に応じて合成パラメータＭを設定して、画像回復の効果を絞りに応じて変位させる。

なお、撮像素子が低感度に設定された結果、ノイズ成分の影響が小さい場合には、図１８（ｂ）に示すように、合成パラメータＭはＦ値に拘わらず、常に”１”に設定する。但し、小型のカメラユニットの中には、撮像素子を低感度に設定したとしても、ノイズ成分の影響が小さくならないものもある。このような場合には、撮像素子の感度によらず、Ｆ値に応じて合成パラメータＭを設定するようにすればよい。

続いて、前述のステップＳ２０５およびＳ２０６の処理が行われる。なお、図１７に示すステップＳ２０６においては、次の式（３３）および式（３４）によって色差情報が求められる。なお、Ｃ２ｒはＲ成分のＧ成分に対する色差を示し、Ｃ２ｂはＢ成分のＧ成分に対する色差を示す。

続いて、図１７に示すステップＳ２０７において、色付き抑制のための画素値調整が必要であるか否かが判定されることになるが、ここでは、次の判定条件が用いられる。

Ｒ成分に係る判定条件
判定条件１：Ｃ１ｒ（ｘ，ｙ）とＣ２ｒ（ｘ，ｙ）とが同符号で、且つ｜Ｃ１ｒ（ｘ，ｙ）｜＜｜Ｃ２ｒ（ｘ，ｙ）｜
判定条件２：Ｃ１ｒ（ｘ，ｙ）とＣ２ｒ（ｘ，ｙ）とが異符号
Ｂ成分に係る判定条件
判定条件１：Ｃ１ｂ（ｘ，ｙ）とＣ２ｂ（ｘ，ｙ）とが同符号で、且つ｜Ｃ１ｂ（ｘ，ｙ）｜＜｜Ｃ２ｂ（ｘ，ｙ）｜
判定条件２：Ｃ１ｂ（ｘ，ｙ）とＣ２ｂ（ｘ，ｙ）とが異符号
図１７に示すステップＳ２０８では次のようにして画素値調整が行われる。

Ｒ成分に係る画素値調整については、前述の式（２４）および式（２５）に基づいて画素値調整が行われる。また、Ｂ成分に係る画素値調整については、前述の式（２６）および式（２７）に基づいて画素値調整が行われる。

なお、ステップＳ２０８の処理の後、図５で説明したようにしてステップＳ２０９の処理が行われる。

図１９は、本発明の第２の実施形態に係るカメラにおいてノイズ成分を多く含む画像の所定の領域の１ラインの画像回復前後の色差の移動平均を示す図である。

所定の領域においては、被写体の輝度および色の変化が小さいものとする。図１７で説明した画像回復処理を行うと、図２（ｅ）に示す状態に比べて、色味の変化が低減していることが分かる。

このように、Ｆ値とＩＳＯ感度とに応じて合成率を設定することによって、ノイズ成分が多い画像においても適切な色付き対策処理を行うことができる。

高感度撮影の場合には、ノイズ成分の影響によって画像の細部における情報が失われる傾向にある。また、画像回復処理で用いる回復フィルタはノイズ成分の増幅を考慮して生成することが望ましい。しかしながら、撮像光学系の収差に起因する劣化画像とノイズ成分とを完全に切り分けることは困難であるので、画像回復処理によってノイズ成分が増幅されてしまう。よって、上述のようにすれば、画像回復処理の効果は小さいながらも、色付き抑制を適切に行うことができる。

上述の第２の実施形態では、合成パラメータＭを絞り（Ｆ値）に応じて設定することによって、ＯＴＦの位相補正が大きい場合に適切に色付きを抑制する行う手法について説明した。交換レンズタイプの一眼レフカメラの場合には、厳密には位相の補正量は装着された交換レンズによって異なる。よって、合成パラメータＭに応じた色差情報の調整を交換レンズによって変えることによって、より望ましい結果が得られる。

例えば、交換レンズに応じた合成パラメータＭをカメラに記録して、カメラに装着された交換レンズに応じて合成パラメータＭを選択するようにすればよい。

さらに、ＯＴＦの位相の補正量は同一の交換レンズであっても焦点距離および撮影距離によって変化する。よって、交換レンズ並びに焦点距離および撮影距離などの撮影条件に応じて、合成パラメータＭをカメラに記録するようにしてもよい。この場合には、予め位相の補正に伴う画質変化に応じて実験的に適切な合成パラメータＭを求めるようにすればよい。

以上のように、本発明の第２の実施形態では、撮影条件である撮像素子の感度および絞り値に応じて、回復処理前の画像と回復処理後の画像とを合成する合成率を変更する。そして、拡幅処理前の色差と回復処理後の色差とに応じて合成画像についてその画素値を補正するようにした。これによって、画像の回復処理で生じる色付きを適切に抑制することができる。

上述の説明から明らかなように、図４および図１６に示す例においては、回復前画素補間部（Ｇ）１００１、回復前画素補間部（Ｒ）１００１、回復前画素補間部（Ｂ）１００３、第１の色差算出部（Ｒ）１００４、および第１の色差算出部（Ｂ）１００５が第１の特徴量算出手段として機能する。

また、回復フィルタ適用部（Ｇ）１００６、回復フィルタ適用部（Ｒ）１００７、および回復フィルタ適用部（Ｂ）１００８が画像回復処理手段として機能する。さらに、回復後画素補間部（Ｇ）１００９、回復後画素補間部（Ｒ）１０１０、回復後画素補間部（Ｂ）１０１１、第２の色差算出部（Ｒ）１０１２、および第２の色差算出部（Ｂ）１０１３が第２の色特徴量算出手段として機能する。画素値調整部（Ｒ）１０１４および画素値調整部（Ｂ）１０１５が補正手段として機能する。そして、第１の色差算出部（Ｒ）１００４、第１の色差算出部（Ｂ）１００５、第２の色差算出部（Ｒ）１０１２、および第２の色差算出部（Ｂ）１０１３は減衰手段として機能する。また、合成部（Ｇ）１０１７、合成部（Ｒ）１０１８、および合成部（Ｂ）１０１９は合成手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

また、上記の実施の形態の機能を制御方法として、この制御方法を、カメラで撮影されたＲＡＷ画像を受け取り、このＲＡＷ画像に対して画像回復処理を行う画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 撮像光学系
１０２ 撮像素子
１０４ 画像処理部
１０５ 表示部
１０６ 撮像光学系制御部
１０７ 状態検知部
１０８ 記憶部
１０９ 画像記録媒体
１１０ システムコントローラ
１１１ 画像回復処理部

Claims (15)

1. 撮像光学系を介して撮像素子に結像した光学像に応じて得られた画像についてその画質の劣化を回復処理する画像処理装置であって、
   前記回復処理の前において前記画像における画素の色の特徴量を第１の色特徴量として求める第１の色特徴量算出手段と、
   画像回復フィルタを用いて前記画像を回復処理する画像回復処理手段と、
   前記画像回復処理手段の出力である回復処理後の画像における画素の色の特徴量を第２の色特徴量として求める第２の色特徴量算出手段と、
   前記画像を撮像した際の撮影条件に応じて、前記第１の色特徴量および前記第２の色特徴量に含まれる高周波成分を減衰させる減衰手段と、
   前記減衰手段によって高周波成分が減衰された前記第１の色特徴量および前記第２の色特徴量に応じて、前記回復処理後の画像についてその画素値を補正する補正手段と、
   を有することを特徴とする画像処理装置。
2. 前記減衰手段は、１つの画素と当該１つの画素の周辺に位置する画素のそれぞれから得られた前記第１の色特徴量を平均し、前記１つの画素と当該１つの画素の周辺に位置する画素のそれぞれから得られた前記第２の色特徴量を平均することを特徴とする請求項１に記載の画像処理装置。
3. 前記減衰手段は、１つの画素と当該１つの画素の周辺に位置する画素のそれぞれから得られた前記第１の色特徴量を用いてローパスフィルタ処理を行い、前記１つの画素と当該１つの画素の周辺に位置する画素のそれぞれから得られた前記第２の色特徴量を用いてローパスフィルタ処理を行うことを特徴とする請求項１に記載の画像処理装置。
4. 前記減衰手段は、前記周辺に位置する画素を含む領域の大きさを、前記撮影条件である絞り値に応じて変更することを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記減衰手段は、前記周辺に位置する画素を含む領域の大きさを、前記撮影条件である前記撮像素子の感度に応じて設定することを特徴とする請求項２又は３に記載の画像処理装置。
6. 撮像光学系を介して撮像素子に結像した光学像に応じて得られた画像についてその画質の劣化を回復処理する画像処理装置であって、
   前記回復処理の前において前記画像における画素の色の特徴量を第１の色特徴量として求める第１の色特徴量算出手段と、
   画像回復フィルタを用いて前記画像を回復処理する画像回復処理手段と、
   前記画像を撮像した際の撮影条件に応じて、前記回復処理前の画像と、前記画像回復処理手段の出力である回復処理後の画像とを合成して合成画像とする合成手段と、
   前記合成画像における画素の色の特徴量を第２の色特徴量として求める第２の色特徴量算出手段と、
   第１の色特徴量および前記第２の色特徴量に応じて、前記合成画像についてその画素値を補正する補正手段と、
   を有することを特徴とする画像処理装置。
7. 前記合成手段は、前記撮影条件である絞り値に応じて、前記回復処理前の画像と前記回復処理後の画像とを合成する合成率を変更することを特徴とする請求項６に記載の画像処理装置。
8. 前記合成手段は、前記撮影条件である前記撮像素子の感度に応じて、前記回復処理前の画像と前記回復処理後の画像とを合成する合成率を設定することを特徴とする請求項６又は７に記載の画像処理装置。
9. 前記第１の色特徴量は、前記画像における第１の色を基準として当該第１の色に対する第２の色および第３の色の信号値の差分である色差を示し、前記第２の色特徴量は、前記回復処理後の画像における第１の色を基準として当該第１の色に対する第２の色および第３の色の信号値の差分である色差を示すことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記第１の色、前記第２の色、および前記第３の色は、それぞれ緑、赤、青であることを特徴とする請求項９に記載の画像処理装置。
11. 前記第１の色特徴量算出手段は、前記画像回復前の画像おいて前記第１の色、前記第２の色、および前記第３の色について所定の補間処理を行った後、前記第１の色特徴量を算出し、前記第２の色特徴量算出手段は、前記画像回復後の画像において前記第１の色、前記第２の色、および前記第３の色について所定の補間処理を行った後、前記第２の色特徴量を算出することを特徴とする請求項９又は１０に記載の画像処理装置。
12. 撮像光学系を介して撮像素子に結像した光学像に応じて得られた画像についてその画質の劣化を回復処理する画像処理装置の制御方法であって、
    前記回復処理の前において前記画像における画素の色の特徴量を第１の色特徴量として求める第１の色特徴量算出ステップと、
    画像回復フィルタを用いて前記画像を回復処理する画像回復処理ステップと、
    前記画像回復処理ステップの出力である回復処理後の画像における画素の色の特徴量を第２の色特徴量として求める第２の色特徴量算出ステップと、
    前記画像を撮像した際の撮影条件に応じて、前記第１の色特徴量および前記第２の色特徴量に含まれる高周波成分を減衰させる減衰ステップと、
    前記減衰ステップにおいて高周波成分が減衰された前記第１の色特徴量および前記第２の色特徴量に応じて、前記回復処理後の画像についてその画素値を補正する補正ステップと、
    を有することを特徴とする制御方法。
13. 撮像光学系を介して撮像素子に結像した光学像に応じて得られた画像についてその画質の劣化を回復処理する画像処理装置の制御方法であって、
    前記回復処理の前において前記画像における画素の色の特徴量を第１の色特徴量として求める第１の色特徴量算出ステップと、
    画像回復フィルタを用いて前記画像を回復処理する画像回復処理ステップと、
    前記画像を撮像した際の撮影条件に応じて、前記回復処理前の画像と、前記画像回復処理ステップの出力である回復処理後の画像とを合成して合成画像とする合成ステップと、
    前記合成画像における画素の色の特徴量を第２の色特徴量として求める第２の色特徴量算出ステップと、
    前記第１の色特徴量および前記第２の色特徴量に応じて、前記合成画像についてその画素値を補正する補正ステップと、
    を有することを特徴とする制御方法。
14. 撮像光学系を介して撮像素子に結像した光学像に応じて得られた画像についてその画質の劣化を回復処理する画像処理装置で用いられる制御プログラムであって、
    前記画像処理装置が備えるコンピュータに、
    前記回復処理の前において前記画像における画素の色の特徴量を第１の色特徴量として求める第１の色特徴量算出ステップと、
    画像回復フィルタを用いて前記画像を回復処理する画像回復処理ステップと、
    前記画像回復処理ステップの出力である回復処理後の画像における画素の色の特徴量を第２の色特徴量として求める第２の色特徴量算出ステップと、
    前記画像を撮像した際の撮影条件に応じて、前記第１の色特徴量および前記第２の色特徴量に含まれる高周波成分を減衰させる減衰ステップと、
    前記減衰ステップにおいて高周波成分が減衰された前記第１の色特徴量および前記第２の色特徴量に応じて、前記回復処理後の画像についてその画素値を補正する補正ステップと、
    を実行させることを特徴とする制御プログラム。
15. 撮像光学系を介して撮像素子に結像した光学像に応じて得られた画像についてその画質の劣化を回復処理する画像処理装置で用いられる制御プログラムであって、
    前記画像処理装置が備えるコンピュータに、
    前記回復処理の前において前記画像における画素の色の特徴量を第１の色特徴量として求める第１の色特徴量算出ステップと、
    画像回復フィルタを用いて前記画像を回復処理する画像回復処理ステップと、
    前記画像を撮像した際の撮影条件に応じて、前記回復処理前の画像と、前記画像回復処理ステップの出力である回復処理後の画像とを合成して合成画像とする合成ステップと、前記合成画像における画素の色の特徴量を第２の色特徴量として求める第２の色特徴量算出ステップと、
    前記第１の色特徴量および前記第２の色特徴量に応じて、前記合成画像についてその画素値を補正する補正ステップと、
    を実行させることを特徴とする制御プログラム。