JP2015211319A - 画像処理装置、その制御方法、および制御プログラム - Google Patents

Abstract

【課題】画像回復処理で生じる色付きを適切に抑制する。
【解決手段】画像回復処理部１１１は、回復処理の前において画像における画素の色の特徴量を第１の色特徴量として求める。そして、画像回復処理部は画像回復フィルタを用いて画像を回復処理するとともに、回復処理後の画像における画素の色の特徴量を第２の色特徴量として求める。画像回復処理部は第１の色特徴量と第２の色特徴量との差と所定の条件に応じて設定された閾値との比較結果に応じて、画像回復処理後の画像についてその画素値を補正する。
【選択図】図１

Description

本発明は、画像処理装置、その制御方法、および制御プログラムに関し、特に、劣化画像の補正処理に関する。

一般に、デジタルカメラなどの撮像装置で被写体を撮像して画像を得る際、撮像光学系の収差などに起因して画像が少なからず劣化する（つまり、画像が劣化してぼける）。画像に生じるぼけは、一般に撮像光学系の球面収差、コマ収差、像面湾曲、および非点収差などが原因となって発生する。無収差で回折の影響もない状態においては、被写体の一点からの光束が撮像素子の撮像面上で再度一点に集まる。一方、上記の収差が存在すると、撮像面上で再度一点に結像すべき光が広がって結像することになって画像にぼけ成分が発生する。

画像に生じるぼけ成分は、光学的には点像分布関数（ＰＳＦ）によって規定される。なお、例えば、ピントがずれた画像もぼけているが、ここでは、ピントが合っていても撮像光学系の収差に起因する画像のぼけを「ぼけ」というものとする。カラー画像における色にじみにおいて、撮像光学系の軸上色収差、色の球面収差、および色のコマ収差が起因する色にじみについては光の波長毎のぼけ方の相違ということができる。さらに、画像の横方向の色ズレについても、撮像光学系の倍率色収差に起因するものについては、光の波長毎の撮像倍率の相違による位置ずれ又は位相ずれということができる。

ところで、上記のＰＳＦをフーリエ変換して得られる光学伝達関数（ＯＴＦ、Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）は、収差の周波数成分であって、複素数で表される。ＯＴＦの絶対値、つまり、振幅成分をＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼び、位相成分をＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ぶ。

これらＭＴＦおよびＰＴＦはそれぞれ収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として次の式（１）で表す。なお、Ｒｅ（ＯＴＦ）およびＩｍ（ＯＴＦ）はそれぞれＯＴＦの実部および虚部を表す。
ＰＴＦ＝ｔａｎ^−１｛Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ）｝ （１）

撮像光学系におけるＯＴＦは画像の振幅成分と位相成分に劣化を与えるので、劣化した画像は被写体の各点がコマ収差のように非対称にぼけた状態となる。また、倍率色収差は、光の波長毎の結像倍率の相違によって結像位置がずれ、分光特性に応じて、例えば、ＲＧＢの色成分として取得すると、倍率色収差が発生する。

これによって、ＲＧＢ成分間において結像位置のずれが生じるばかりでなく、各色成分においても波長毎に結像位置がずれる。つまり、位相ずれによる像の広がりが発生する。正確には倍率色収差は単なる平行シフトの色ズレではないが、特に、記載がない限り色ズレを倍率色収差と同意義なものとして説明する。

振幅（ＭＴＦ）の劣化および位相（ＰＴＦ）の劣化を補正する手法として、例えば、撮像光学系のＯＴＦを用いて補正を行う手法が知られている。この手法は、画像回復又は画像復元と呼ばれている。以下の説明では、撮像光学系のＯＴＦを用いて画像の劣化を補正する処理を画像回復処理又は単に回復処理と呼ぶ。

ここで、画像回復処理の概要を説明する。いま、劣化した画像をｇ（ｘ，ｙ）、元の画像をｆ（ｘ，ｙ）、光学伝達関数を逆フーリエ変換して得られるＰＳＦをｈ（ｘ，ｙ）とする。この際には、次の式（２）が成り立つ。但し、＊はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） （２）

式（２）をフーリエ変換して、周波数における形式に変換すると、次の式（３）で示すように周波数毎の積の形になる。なお、ＨはＰＳＦをフーリエ変換したものであり、ＯＴＦである。（ｕ，ｖ）は２次元周波数面における座標、つまり、周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） （３）

撮影によって得られた劣化画像から元の画像を得るためには、次の式（４）で示すように両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） （４）

式（４）に示すＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻せば元の画像ｆ（ｘ，ｙ）が回復像として得られる。

ここで、式（４）に示す１／Ｈを逆フーリエ変換したものをＲとすると、次の式（５）で示すように、実面において画像についてコンボリューション処理を行うことによって同様に元の画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） （５）

このＲ（ｘ，ｙ）は画像回復フィルタと呼ばれる。実際の画像にはノイズ成分があるので、上述のように、ＯＴＦの逆数によって生成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまう結果、良好な画像は得られなくなってしまう。

ノイズ成分の増幅を抑えるため、例えば、ウィーナフィルタのように画像とノイズとの強度比に応じて、画像における高周波成分の回復率を抑制する手法がある。また、画像の色にじみ成分の劣化を補正する手法として、例えば、上記のぼけ成分の補正によって画像の色成分毎のぼけ量を均一として色にじみ成分を補正するようにしたものがある。

ところで、ズーム位置の状態および絞り径の状態などの撮影状態に応じてＯＴＦは変動する。このため、画像回復処理に用いる画像回復フィルタも撮影状態に応じて変更する必要がある。例えば、生体内部を観察するための内視鏡において、撮像部の合焦範囲外の範囲について蛍光波長に応じたＰＳＦを用いて像のぼけを解消する手法がある（特許文献１参照）。ここでは、蛍光が微弱であるためＦナンバーの小さい対物光学系が必要である。一方、Ｆナンバーの小さい対物光学系を用いると焦点深度が浅くなってしまうので、焦点の合わない範囲については画像回復処理を行って合焦像を得るようにしている。

前述のように、撮像の結果得られた画像について画像回復処理を施して上記の各種収差を補正すれば画質を向上させることができる。ところが、撮像の際には、撮像状態と画像回復フィルタの状態とが最適には一致しないことがある。例えば、立体状の被写体を撮像する際にこのようなことが発生する。

撮像装置では、オートフォーカス又はマニュアルフォーカスを用いて被写体空間の１つの面に焦点を合わせて撮像する。この際、被写体が立体物である場合には画角によって被写体距離が異なる。そして、合焦物体については比較的先鋭に撮像されるものの、非合焦物体についてはその距離に応じたぼけ量を伴って撮像される。被写体距離に関する情報が合焦点のみの場合には、当該被写体距離における各画角に最適な画像回復フィルタを選択又は生成して用いることになる。

画像回復処理後の画像において、合焦物体については画像回復フィルタが最適であるので所望の先鋭度を得ることができる。一方、非合焦物体については画像回復フィルタが最適ではないので、多少の回復効果はあるものの依然ぼけた状態となる。

一方、被写体距離に応じたぼけ具合が有効な効果を演出することは、被写体の立体感表現又は注視物体の抽出表現として従来から知られている。例えば、被写界深度の浅い望遠レンズを用いて、主対象物にピントを合わせ、背景を意図的にぼかす表現がある。このような場合には、画像回復処理後の画像も合焦物体はより先鋭化され、非合焦物体はぼけが残存していることが望ましく、上述の画像回復方法でぼかし表現が実行される。

ところが、非合焦物体距離について最適でない画像回復フィルタを用いて非合焦物体を回復処理すると、画像に色付きが発生することがある。ここで、色付きとは、例えば、非合焦物体のエッジ部において画像の各色成分のぼけ方の関係が画像回復処理を行う前と後で異なって被写体にはない色が画像回復処理後の画像に発生することをいう。

さらに、このような色付きは立体被写体の撮像に限らず発生することがある。つまり、合焦しているか否かに拘わらず、例えば、撮像光学系の製造ばらつき又は撮影の際の光源分光の変動などに起因して、実際の撮像状態における収差の状態と画像回復フィルタが対象としている収差の状態とが異なると、色付きが発生する。

このような色付きを抑制する手法として、例えば、画像回復処理を行う前の画像における色情報に基づいて、画像回復処理後の画像の色を補正する手法がある。ここでは、画像の各画素において画像回復処理による色の変化を判定して、画像回復処理による色付きを抑制させるようにしている。

例えば、画像回復処理後の画像の色差が画像回復処理を行う前の色差よりも大きくなった場合に、色差の相違量を低減するように信号値を補正する手法がある（特許文献２参照）。

特開平１０−１６５３６５号公報 特開２０１０−８６１３８号公報

上述のように、撮像の結果得られた画像について画像回復処理を施すことによって、非合焦物体などにおいて生じる色付きを抑えるとともに、各種の収差を補正することによって画質を向上させることができる。

ところが、撮像の際には撮像素子における光電変換の際に生じるノイズによって画像にはノイズ成分が含まれてしまう。一般に、撮像素子を高感度に設定するほど、このノイズは大きくなる。光電変換の際に生じるノイズを多く含む画像に対して、回復処理前後の色差に応じて色付き低減処理を行うと、画像における被写体の色味が変化してしまうことがある。

図２０は、撮像素子における光電変換の際に生じるノイズを含む画像において１ラインにおけるＧ信号およびＲ信号の回復処理前後における画素値と色差とを説明するための図である。そして、図２０（ａ）は回復処理前の画素値の変化を示す図であり、図２０（ｂ）は回復処理後の画素値の変化を示す図である。また、図２０（ｄ）は回復処理前の色差の変化を示す図であり、図２０（ｄ）は回復処理後の色差の変化を示す図である。さらに、図２０（ｅ）は回復処理前後の色差を比較して示す図である。

ここでは、被写体の輝度および色の変化は小さいものの、図２０（ａ）に示すように、画像回復処理前においてノイズに起因して画素値が変動している。前述のように、画像回復処理に用いる回復フィルタはノイズの増幅を考慮して生成することが望ましい。

ところが、撮像光学系の収差による劣化画像とノイズ成分とを完全に切り分けることは困難であるので、画像回復処理によってノイズは増幅されてしまうことになる。つまり、図２０（ｂ）に示すように、画像回復処理後において画素値の変動は低減していない。なお、図２０（ｂ）において、”Ｒ”は回復フィルタ適用後のＲ信号値を示し、”Ｒ′”は色付き抑制のための補正を行った信号値を示す。

図２０（ｃ）は画像回復処理前における色差を示しており、色差とはＧ信号とＲ信号との差分（Ｒ−Ｇ）である。図２０（ｄ）には画像回復処理後の色差が示されており、”Ｃｒ”は回復フィルタ適用後の色差を示し、”Ｃｒ′”は色付き抑制のための補正後の色差を示す。ここでは、画像回復処理前の色差よりも画像回復処理後の色差が大きくなった画素について、色差の相違量が小さくなるようにＲ信号値を補正している。

図２０（ｅ）には、画像回復処理前後における色差を比較するため、色差の移動平均が示されている。撮像装置で行われる画像処理においては、所謂色差平滑化処理が行われるが、ここでは、簡易的な手法として移動平均を用いて画像観賞の際の色味を比較する。

図２０（ｅ）に示すように、色付き抑制のための補正を行うと、画像回復処理前後で色味の変化が発生する。また、この色味の変化はノイズの量によってその傾向が異なる。つまり、撮像素子の感度（ＩＳＯ感度）によっても色味の変化量は変わることになる。

ところが、上述の特許文献２に記載の手法においては、ノイズ量に起因する色味の変化に対処しておらず、画像回復処理によって生じる色付きを適切に抑制することが困難である。

そこで、本発明の目的は、画像回復処理で生じる色付きを適切に抑制させることのできる画像処理装置、その制御方法、および制御プログラムを提供することにある。

上記目的を達成するために、本発明による画像処理装置は、撮像光学系を介して撮像素子に結像した光学像に応じて得られた画像についてその画質の劣化を回復処理する画像処理装置であって、前記回復処理の前において前記画像における画素の色の特徴量を第１の色特徴量として求める第１の特徴量算出手段と、画像回復フィルタを用いて前記画像を回復処理する画像回復処理手段と、前記画像回復処理手段の出力である回復処理後の画像における画素の色の特徴量を第２の色特徴量として求める第２の色特徴量算出手段と、前記第１の色特徴量と前記第２の色特徴量との差と閾値との比較結果に応じて、前記回復処理後の画像についてその画素値を補正する補正手段と、所定の条件に応じて前記閾値を変更する設定手段とを有することを特徴とする。

本発明による制御方法は、撮像光学系を介して撮像素子に結像した光学像に応じて得られた画像についてその画質の劣化を回復処理する画像処理装置の制御方法であって、前記回復処理の前において前記画像における画素の色の特徴量を第１の色特徴量として求める第１の特徴量算出ステップと、画像回復フィルタを用いて前記画像を回復処理する画像回復処理ステップと、前記回復処理の後の画像における画素の色の特徴量を第２の色特徴量として求める第２の色特徴量算出ステップと、所定の条件に応じて閾値を変更する設定ステップと、前記第１の色特徴量と前記第２の色特徴量との差と前記閾値との比較結果に応じて、前記回復処理後の画像についてその画素値を補正する補正ステップと、を有することを特徴とする。

本発明による制御プログラムは、撮像光学系を介して撮像素子に結像した光学像に応じて得られた画像についてその画質の劣化を回復処理する画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記回復処理の前において前記画像における画素の色の特徴量を第１の色特徴量として求める第１の特徴量算出ステップと、画像回復フィルタを用いて前記画像を回復処理する画像回復処理ステップと、前記回復処理の後の画像における画素の色の特徴量を第２の色特徴量として求める第２の色特徴量算出ステップと、所定の条件に応じて閾値を変更する設定ステップと、前記第１の色特徴量と前記第２の色特徴量との差と前記閾値との比較結果に応じて、前記回復処理後の画像についてその画素値を補正する補正ステップと、を有することを特徴とする。

本発明によれば、第１の色特徴量と第２の色特徴量との差と所定の閾値との比較結果に応じて、画像回復処理後の画像についてその画素値を補正するようにしたので、画像回復処理で生じる色付きを適切に抑制させることができる。

本発明の第１の実施形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。 図１に示す画像回復処理部１１１に入力される画像（ＲＡＷ画像）の一例（ベイヤ配列）を説明するための図であり、（ａ）はＲＡＷ画像におけるＲＧＢ成分（ベイヤ配列）を示す図、（ｂ）〜（ｄ）は各色成分を示す図、（ｅ）はＧ成分について補間処理を行った状態を示す図である。 図１に示す画像回復処理部の構成を示すブロック図である。 図３に示す画像回復部で行われる画像回復処理を説明するためのフローチャートである。 適応的な画素補間処理手法によってエッジ部の画素補間を行う際の一例を説明するための図であり、（ａ）はエッジ部の断面における輝度の変化を示す図、（ｂ）は（ａ）における画素配列を示す図である。 ベイヤー配列の撮像素子による撮影の結果得られたＲＡＷ画像における画素配列を説明するための図であり、（ａ）は補間前のＧ成分を示す図、（ｂ）は補間前のＲ成分を示す図、（ｃ）は補間前のＢ成分を示す図、（ｄ）線形補間後のＧ成分を示す図、（ｅ）は線形補間後のＲ成分を示す図、（ｆ）は線形補間後のＢ成分を示す図、（ｇ）は適応補間後のＧ成分を示す図、（ｈ）適応補間後のＲ成分を示す図、（ｉ）は適応補間後のＢ成分を示す図である。 画像回復フィルタの一例を説明するための図であり、（ａ）は画像回復フィルタを示す図、（ｂ）はタップとその値との関係を示す図である。 図３に示す画像回復処理部で用いられる画像回復フィルタの一例を説明するための図であり、（ａ）はＧ成分に適用する画像回復フィルタの一例を示す図、（ｂ）はＲおよびＢ成分に適用する画像回復フィルタの一例を示す図である。 図３に示す画素値調整部で取得する色差判定閾値を説明するための図である。 図１に示す撮像素子のノイズ量に相関するＩＳＯ感度に応じた係数の設定の一例を示す図である。 図４で説明した画像回復処理を行った画像および行わない画像を現像処理した際のエッジ断面における輝度の変化を説明するための図であり、（ａ）は低感度における輝度の変化を示す図、（ｂ）は高感度における輝度の変化を示す図である。 ＭＴＦと空間周波数特性との関係を説明するための図であり、（ａ）〜（ｄ）は撮像光学系のＭＴＦと画像回復フィルタ適用後の空間周波数特性との関係を示す図、（ｅ）は画像回復フィルタによるＭＴＦの増減率（回復ゲイン）を示す図である。 ノイズを多く含む画像の所定の領域の１ラインの画像回復前後の色差の移動平均を示す図である。 ＧおよびＲにおける回復ゲインの特性を示す図である。 最大回復ゲインとパラメータとの関係を示す図である。 本発明の第２の実施形態に係るカメラおいて画像処理部に備えられる画像回復処理部の構成についてその一例を示すブロック図である。 画像の色相、彩度、および輝度とパラメータとの関係の一例を示す図である。 エッジ強度とパラメータとの関係の一例を示す図である。 本発明の第２の実施形態に係るカメラで用いられる色差判定閾値を示す図である。 撮像素子における光電変換の際に生じるノイズを含む画像において１ラインにおけるＧ信号およびＲ信号の回復処理前後における画素値と色差とを説明するための図であり、（ａ）は回復処理前の画素値の変化を示す図、（ｂ）は回復処理後の画素値の変化を示す図、（ｄ）は回復処理前の色差の変化を示す図、（ｄ）は回復処理後の色差の変化を示す図、（ｅ）は回復処理前後の色差を比較して示す図である。

以下に、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、撮像光学系１０１を有している。そして、この撮像光学系１０１は少なくとも絞り１０１ａおよびフォーカスレンズ１０１ｂを備えている。撮像光学系１０１の後段にはＣＭＯＳイメージセンサなどの撮像素子１０２が配置されており、撮像光学系１０１を通過した光学像（被写体像）は撮像素子１０２に結像する。

撮像素子１０２は光学像を光電変換して光学像に応じた電気信号（アナログ信号）を出力する。そして、アナログ信号はＡ／Ｄコンバータ１０３によってデジタル信号に変換されて、画像処理部１０４に入力される。

画像処理部１０４は、画質の劣化を回復する画像回復処理を行う画像回復処理部１１１と所定の処理を行うその他画像処理部１１２とを有している。画像処理部１０４は、状態検知部１０７からカメラの撮像状態を示す撮影状態情報を得る。なお、状態検知部１０７はシステムコントローラ１１０から直接撮影状態情報を得てもよく、また、状態検知部１０７は撮像光学系１０１に関する撮像状態情報を撮像光学系制御部１０６から得るようにしてもよい。

次に、画像処理部１０４は撮像状態情報に応じて記憶部１０８から画像回復フィルタを選択する。そして、画像回復処理部１１１はデジタル信号（つまり、画像）に対して画像回復フィルタを適用する画像回復処理を行う。画像回復処理部１１１における処理については後述するが、画像処理部１０４は、デジタル信号に対してホワイトバランス処理を行った後、画像回復処理部１１１による画像回復処理を行う。

ところで、記憶部１０８には、画像回復フィルタ自体ではなく、画像回復フィルタを生成するために必要なＯＴＦに関するＯＴＦ情報を記録するようにしてもよい。この際には、画像回復処理部１１１は撮像状態情報に応じて記憶部１０８からＯＴＦ情報を選択して、当該ＯＴＦ情報に基づいて画像回復フィルタを生成する。そして、画像回復処理部１１１は当該画像回復フィルタを用いて画像について画像回復処理を行う。なお、その他画像処理部１１２は、画像回復処理後の画像について所定の処理としてガンマ補正およびカラーバランス調整などを行ってＪＰＥＧファイルなどの画像ファイル（以下出力画像ともいう）を生成する。

画像処理部１０４は出力画像を所定のフォーマットで画像記録媒体１０９に保存する。また、画像処理部１０４は画像回復処理後の画像に表示用の処理を行って、表示部１０５に表示用画像を表示する。なお、画像処理部１０４は画像回復処理を行わずに表示用画像を表示部１０５に表示するようにしてもよく、簡易的な画像回復処理を行った後の画像を表示部１０５に表示するようにしてもよい。

システムコントローラ１１０はカメラ全体の制御を司る。例えば、システムコントローラ１１０は撮像光学系制御部１０６を制御して撮像光学系１０１を駆動する。ここでは、撮像光学系制御部１０６は、Ｆナンバーの撮影状態設定に応じて絞り１０１ａの開口径を制御する。さらに、撮像光学系制御部１０６は、被写体距離に応じてオートフォーカス（ＡＦ）機構（図示せず）によってフォーカスレンズ１０１ｂを光軸に沿って駆動制御する。なお、撮像光学系制御部１０６は、ユーザ操作に応じてマニュアルフォーカス機構（図示せず）によってフォーカスレンズ１０１ｂを駆動制御する。

図示はしないが、撮像光学系１０１にはローパスフィルタおよび赤外線カットフィルタなどの光学素子を備えるようにしてもよい。ローパスフィルタなどのＯＴＦ特性に影響を与える光学素子を用いる際には、画像回復フィルタを生成する際に光学素子の特性を考慮する必要になることがある。

また、赤外カットフィルタを用いた際には、分光波長のＰＳＦ積分値であるＲＧＢチャンネルの各ＰＳＦ、特に、ＲチャンネルのＰＳＦに影響を与えるので、この点も画像回復フィルタを生成する際に考慮する必要がある。なお、図示の例では、撮像光学系１０１はカメラに一体のもとのとして示されているが、一眼レフカメラで用いるように交換式のものであってもよい。

図２は、図１に示す画像回復処理部１１１に入力される画像（ＲＡＷ画像）の一例を説明するための図である。そして、図２（ａ）はＲＡＷ画像におけるＲＧＢ成分（ベイヤ配列）を示す図であり、図２（ｂ）〜図２（ｄ）は各色成分を示す図である。また、図２（ｅ）はＧ成分について補間処理を行った状態を示す図である。

図２において、画像回復処理部１１１には各画素に１色の色成分を有するＲＡＷ画像が入力される（図２（ａ）参照）。ここでは、各色成分は所謂歯抜け状態となっている（図２（ｂ）〜図２（ｄ）参照）。そして、後述するように、Ｇ成分に対して画素補間を行って、各画素にＧ成分を有する状態とする（図２（ｅ）参照）。

図３は、図１に示す画像回復処理部１１１の構成を示すブロック図である。また、図４は図３に示す画像回復処理部１１１で行われる画像回復処理を説明するためのフローチャートである。

図３および図４を参照して、画像回復処理について説明を行う。前述のように、画像回復処理部１１１には図２（ａ）に示すＲＡＷ画像が入力される。画像回復処理を開始すると、回復前画素補間部１００１はＧ成分について画素補間処理を行って補間後Ｇ成分を出力する（ステップＳ２０１）。この画素補間処理によって、Ｇ成分については、図２（ｂ）に示す歯抜け状態から、図２（ｅ）に示す各画素にＧ成分を有する状態となる。

続いて、第１の色差算出部１００２（Ｒ）は補間後Ｇ成分と歯抜け状態のＲ成分とに応じて第１の色差情報（Ｃｒ１）を求める。同様にして、第１の色差算出部１００３（Ｂ）は補間後Ｇ成分と歯抜け状態のＢ成分とに応じて第１の色差情報（Ｃｂ１）を求める（ステップＳ２０２）。なお、ここでは、色差を、Ｇ成分を基準色として、Ｇ成分に対する信号値の差分とする。よって、色差は次の式（６）および式（７）によって求められることになる。
Ｃ１ｒ（ｘ，ｙ）＝Ｒ（ｘ，ｙ）−Ｇ（ｘ，ｙ） （６）
Ｃ１ｂ（ｘ，ｙ）＝Ｂ（ｘ，ｙ）−Ｇ（ｘ，ｙ） （７）

式（６）および式（７）において、（ｘ，ｙ）は画像上の座標値であり、Ｃ１ｒおよびＣ１ｂはそれぞれＲ成分およびＢ成分のＧ成分に対する色差を示す。

なお、色差を求める画素は画像の全画素ではなく、対象の色成分を保持する画素のみである。つまり、Ｃ１ｒ（ｘ，ｙ）の場合には、図２（ｃ）で説明したＲ成分を保持する画素のみであり、Ｃ１ｂ（ｘ，ｙ）の場合には、図２（ｄ）で説明したＢ成分を保持する画素のみである。

ベイヤー配列の撮像素子における画素補間処理については、種々の画素補間手法が知られている。一般的に用いられる手法は、周囲の他の色成分の画素情報を用いて補間画素を生成する適応的な画素補間処理である。例えば、ある画素においてＲの画素値を補間処理により生成する際には、周囲の画素のＧおよびＢ成分を用いてＲ画素値の補間手法を決定する。１つの色成分を単純に線形補間する手法と異なって、適応的な画素補間処理では補間処理による偽色の発生および先鋭度の低下を低減することができる。

ここで、適応的な画素補間処理手法によってエッジ部の画素補間を行う際の一例について説明する。

図５は、適応的な画素補間処理手法によってエッジ部の画素補間を行う際の一例を説明するための図である。そして、図５（ａ）はエッジ部の断面における輝度の変化を示す図であり、図５（ｂ）は図５（ａ）における画素配列を示す図である。

図示のエッジ部が無彩色であれば、撮像素子の各画素におけるＲＧＢ値を取得した際には、ＲＧＢの各色成分はいずれも同一の値となる。図５（ｂ）に示す例では、画素値１００および２００で構成される画素配列になる。

図６は、ベイヤー配列の撮像素子による撮影の結果得られたＲＡＷ画像における画素配列を説明するための図である。そして、図６（ａ）は補間前のＧ成分を示す図であり、図６（ｂ）は補間前のＲ成分を示す図である。また、図６（ｃ）は補間前のＢ成分を示す図であり、図６（ｄ）線形補間後のＧ成分を示す図である。さらに、図６（ｅ）は線形補間後のＲ成分を示す図であり、図６（ｆ）は線形補間後のＢ成分を示す図である。図６（ｇ）は適応補間後のＧ成分を示す図であり、図６（ｈ）適応補間後のＲ成分を示す図である。また、図６（ｉ）は適応補間後のＢ成分を示す図である。

実際には、ベイヤー配列の撮像素子による撮影の結果得られたＲＡＷ画像は各画素に１色の色成分を有するので、色成分毎に値を抽出した場合、図６（ａ）〜（ｃ）に示す画素配列となる。各色成分の画素配列において、黒で示す画素が補間処理の必要な画素である。この場合、画素補間処理後の各色成分は、理想的には図５（ｂ）に示す画素値となる。

以降の説明では、図６（ａ）〜図６（ｃ）に示す画素配列をそれぞれＧ（ｘ、ｙ）、Ｒ（ｘ、ｙ）、およびＢ（ｘ、ｙ）で表す。ここで、ｘは横方向の座標、ｙは縦方向の座標であり、いずれも”０”〜”４”の範囲の値である。

前述したように、回復前画素補間部１００１はＧ成分について画素補間処理を行う。ここでは、回復前画素補間部１００１は、図６（ａ）に示すＧ成分について、周囲の他の色成分の画素情報を用いて補間画素を生成する適応的な画素補間処理を行う。なお、以下の説明では、適応的な画素補間処理を、単に適応補間と呼ぶ。

Ｇ成分に係る適応補間は次のようにして行われる。

Ｒ成分に値を有する画素のＧ成分を生成する場合（例えば、Ｇ（１、２）を生成する場合）には、次の式（８）〜式（１１）が用いられる。
Ｈ＿ＤＩＦＦ＝（Ｒ（ｘ、ｙ）−Ｒ（ｘ−２、ｙ））＋（Ｒ（ｘ、ｙ）−Ｒ（ｘ＋２、ｙ）） （８）
Ｖ＿ＤＩＦＦ＝（Ｒ（ｘ、ｙ）−Ｒ（ｘ、ｙ−２））＋（Ｒ（ｘ、ｙ）−Ｒ（ｘ、ｙ＋２）） （９）
ＩＦ（｜Ｈ＿ＤＩＦＦ｜＞｜Ｖ＿ＤＩＦＦ｜）｛Ｇ（ｘ、ｙ）＝（Ｇ（ｘ、ｙ−１）＋Ｇ（ｘ、ｙ＋１））／２｝ （１０）
ＥＬＳＥ｛Ｇ（ｘ、ｙ）＝（Ｇ（ｘ−１、ｙ）＋Ｇ（ｘ＋１、ｙ））／２｝ （１１）

式（８）〜式（１１）を用いて、Ｒ成分から求めたＨ＿ＤＩＦＦおよびＶ＿ＤＩＦＦによって補間する向きを判定する。これによって、補間による先鋭度の低下を低減させることができる。図６（ｇ）には適応補間を行ったＧ成分の一例が示されている。比較のため、適応補間を行わずに、一般的な線形補間によって画素補間を行なった際のＧ成分の一例を図６（ｄ）に示す。

適応補間を行うと、線形補間に比べて先鋭度が低下していないことが分かる。上述の例は、Ｒ成分に値を有する画素のＧ成分を生成する例であるが、同様にして、Ｂ成分に値を有する画素（例えば、Ｇ（２、１））のＧ成分が補間される。なお、回復前画素補間部１００１で行われる画素補間処理は上記の例に限定されず、他の補間手法を用いるようにしてもよい。

再び図４を参照して、回復フィルタ適用部（Ｇ）１００４、回復フィルタ適用部（Ｒ）１００５、および回復フィルタ適用部（Ｂ）１００６は、それぞれ撮影条件に適した画像回復フィルタを選択する（ステップＳ２０３）。この際、選択した画像回復フィルタを必要に応じて補正するようにしてもよい。例えば、予め記憶部１０８に記憶させる画像回復フィルタに関するデータ数を低減するため、データを離散的に記録しておき、画像回復処理の際に、これらデータを撮影条件に応じて補正して画像回復フィルタを生成する。

さらには、前述のように、画像回復フィルタを生成するために必要なＯＴＦに関するデータに応じて撮像条件に応じた画像回復フィルタを生成するようにしてもよい。

続いて、回復フィルタ適用部（Ｇ）１００４、回復フィルタ適用部（Ｒ）１００５、および回復フィルタ適用部（Ｂ）１００６は、それぞれ画像回復フィルタを用いて、各色成分（ＧＲＢ）の画素に対してコンボリューション処理を行う（ステップＳ２０４）。これによって、撮像光学系１０１で生じた収差の非対称性の補正および画像のぼけ成分を除去又は低減することができる。

図７は、画像回復フィルタの一例を説明するための図である。そして、図７（ａ）は画像回復フィルタを示す図であり、図７（ｂ）はタップとその値との関係を示す図である。

図７（ａ）に示す画像回復フィルタは、各画素にＲＧＢの各色成分が揃った画像の各色プレーンに適用する画像回復フィルタの例である。画像回復フィルタは、撮像光学系１０１の収差量に応じてタップ数を決定することができ、図示の例では、１１×１１タップの２次元フィルタが示されている。画像回復フィルタの各タップが画像の１画素に対応して画像回復処理においてコンボリューション処理が行われる。

図７（ａ）に示すように、画像回復フィルタを１００以上に分割された２次元フィルタとすることによって、撮像光学系１０１で生じる球面収差、コマ収差、軸上色収差、および軸外色フレアなどの結像位置から大きく広がる収差に対しても回復処理を行うことができる。

図７（ａ）においては、各タップの値が省略されている。図７（ｂ）には図７（ａ）に示す画像回復フィルタの一断面が示されており、この画像回復フィルタを生成する際には、前述のように、撮像光学系１０１のＯＴＦを計算又は計測して、その逆数を逆フーリエ変換して得ることができる。一般的には、ノイズの影響を考慮する必要があるためウィーナフィルタ又は関連する画像回復フィルタの生成手法を選択して用いるようにしてもよい。

さらに、ＯＴＦには撮像光学系１０１のみならず、画像処理部１０４に入力される画像に対してＯＴＦを劣化させる要因を含めることができる。例えば、ローパスフィルタはＯＴＦの周波数特性に対して高周波成分を抑制する。また、撮像素子の画素開口の形状および開口率も周波数特性に影響する。他に、光源の分光特性および各種波長フィルタの分光特性がＯＴＦに影響する。これらの要因を含めた広義のＯＴＦに基づいて、画像回復フィルタを生成することが望ましい。

また、画像がＲＧＢ形式のカラー画像である場合には、Ｒ、Ｇ、およびＢの各色成分に対応した３つの画像回復フィルタを生成するようにすればよい。撮像光学系１０１には色収差があり、色成分毎にぼけ方が異なるので、色成分毎の画像回復フィルタはその特性が色収差に応じて若干異なる。

ここでは、図７（ａ）の断面を示す図７（ｂ）が色成分毎に異なることに対応する。画像回復フィルタの縦横のタップ数についても正方配列である必要はなく、コンボリューション処理の際に考慮すれば任意に変更することができる。

図８は、図３に示す画像回復処理部１１１で用いられる画像回復フィルタの一例を説明するための図である。そして、図８（ａ）はＧ成分に適用する画像回復フィルタの一例を示す図であり、図８（ｂ）はＲおよびＢ成分に適用する画像回復フィルタの一例を示す図である。

図８には、各画素に１色の色成分をもつＲＡＷ画像に適用する画像回復フィルタの一例が示されている。図示の画像回復フィルタは、対象の色成分が存在する画素に対し係数（フィルタ係数）を有する所謂歯抜け状の画像回復フィルタである。ここでは、フィルタ係数を有する箇所（ブロック）を白色で示し、それ以外の係数として”０”を有する箇所を黒で示す。Ｒ、Ｇ、およびＢの３つの色成分に対し画像回復を行う際には、Ｇ成分に適用する画像回復フィルタとして図８（ａ）に示す画像回復フィルタが用いられる。また、ＲおよびＢ成分に適用する画像回復フィルタとして図８（ｂ）に示す画像回復フィルタが用いられる。

つまり、回復フィルタ適用部（Ｇ）１００４は、図５（ｂ）に示すＧ成分と図８（ａ）に示す画像回復フィルタとのコンボリューション処理を行う。また、回復フィルタ適用部（Ｒ）１００５および回復フィルタ適用部（Ｂ）１００６は、それぞれ図５（ｂ）に示すＲ成分およびＢ成分と図８（ｂ）に示す画像回復フィルタとのコンボリューション処理を行う。

再び図４を参照して、回復後画像補間部（Ｇ）１００７は、画像回復後のＧ成分について画素補間を行う（ステップＳ２０５）。この補間処理は、回復前画素補間部１００１による補間処理と同様の処理であり、当該補間処理によって図２（ｂ）に示す歯抜け状態から図２（ｅ）に示す各画素にＧ成分を有する状態となる。

続いて、第２の色差算出部１００８（Ｒ）は補間後Ｇ成分（回復後画素補間部（Ｇ）１００７の出力）と歯抜け状態のＲ成分（回復フィルタ適用部（Ｒ）１００５の出力）とに応じて第２の色差情報（Ｃｒ２）を求める。同様にして、第２の色差算出部１００９（Ｂ）は補間後Ｇ成分（回復後画素補間部（Ｇ）１００７の出力）と歯抜け状態のＢ成分（回復フィルタ適用部（Ｂ）１００６の出力）とに応じて第２の色差情報（Ｃｂ２）を求める（ステップＳ２０６）。

ここで行われる色差の算出は第１の色差算出部（Ｒ）１００２と第１の色差算出部（Ｂ）１００３で行われる色差の算出と同様であって、次の式（１２）および式（１３）によって求められる。
Ｃ２ｒ（ｘ，ｙ）＝Ｒ（ｘ，ｙ）−Ｇ（ｘ，ｙ） （１２）
Ｃ２ｂ（ｘ，ｙ）＝Ｂ（ｘ，ｙ）−Ｇ（ｘ，ｙ） （１３）

なお、Ｃ２ｒおよびＣ２ｂはそれぞれＲ成分およびＢ成分のＧ成分に対する色差である。

このようにして、回復後画素補間部（Ｇ）１００７において、Ｇ成分のみ画素補間を行うことによって、色付き抑制処理に必要な画像回復フィルタ適用後の色差情報を取得することができる。

続いて、画素値調整部（Ｒ）１０１０および画素値調整部（Ｂ）１０１１は色付き抑制のための色差判定閾値を取得する（ステップＳ２０７）。

図９は、図３に示す画素値調整部で取得する色差判定閾値を説明するための図である。

画素値調整部（Ｒ）１０１０および画素値調整部（Ｂ）１０１１はそれぞれ第１の色差判定閾値Ｔｈ０ｒおよびＴｈ０ｂを取得するとともに、第２の色差判定閾値Ｔｈ１ｒおよびＴｈ１ｂを取得する。なお、図９においては、第１および第２の色差判定閾値はＴｈ０およびＴｈ１で示されている。

ここでは、第１の色差判定閾値Ｔｈ０ｒおよびＴｈ０ｂはそれぞれ画像回復前の色差Ｃ１ｒおよびＣ１ｂに対して画像回復後の色差Ｃ２ｒおよびＣ２ｂが減少した場合の色差判定閾値である。また、第２の色差判定閾値Ｔｈ１ｒおよびＴｈ１ｂは画像回復前の色差Ｃ１ｒおよびＣ１ｂに対して画像回復後の色差Ｃ２ｒおよびＣ２ｂが増加した場合の色差判定閾値である。

なお、画像回復前の色差Ｃ１ｒおよびＣ１ｂが負の場合には、第１の色差判定閾値Ｔｈ０ｒおよびＴｈ０ｂはそれぞれ画像回復前の色差Ｃ１ｒおよびＣ１ｂに対して画像回復後の色差Ｃ２ｒおよびＣ２ｂが増加した場合の色差判定閾値となる。また、第２の色差判定閾値Ｔｈ１ｒおよびＴｈ１ｂは画像回復前の色差Ｃ１ｒおよびＣ１ｂに対して画像回復後の色差Ｃ２ｒおよびＣ２ｂが減少した場合の色差判定閾値となる。

これら第１および第２の色差判定閾値はそれぞれ各画素における画像回復前の色差Ｃ１ｒおよびＣ１ｂに応じて求められる。次の式（１４）に示すように、ここでは、第１の色差判定閾値Ｔｈ０ｒおよびＴｈ０ｂの各々は常にゼロである。また、第２の色差判定閾値Ｔｈ１ｒおよびＴｈ１ｂはそれぞれ画像回復前の色差Ｃ１ｒおよびＣ１ｂに応じて式（１５）および式（１６）によって設定される。
Ｔｈ０ｒ＝Ｔｈ０ｂ＝０ （１４）
Ｔｈ１ｒ＝α×Ｃ１ｒ （１５）
Ｔｈ１ｂ＝α×Ｃ１ｂ （１６）

続いて、画素値調整部（Ｒ）１０１０および画素値調整部（Ｂ）１０１１はそれぞれ画像回復後の色差Ｃ２ｒおよびＣ２ｂを判定して、色付き抑制のための画素値調整が必要か否かを決定する。ここでは、画素値調整部（Ｒ）１０１０および画素値調整部（Ｂ）１０１１はそれぞれ、画像回復後の色差Ｃ２ｒおよびＣ２ｂと第１の色差判定閾値Ｔｈ０ｒおよびＴｈ０ｂ、第２の色差判定閾値Ｔｈ１ｒおよびＴｈ１ｂとを比較して、その比較結果によって色差が色差判定閾値を満たすか否かを判定する（ステップＳ２０８）。つまり、ＲとＢについてそれぞれ以下の判定（判定条件１および２）が行われて、いずれかの判定条件を満たすと当該色成分の画素に対して色付き抑制のための画素値調整が行われる。

Ｒについて、Ｃ１ｒ≧０の場合には次の判定が行われる。
判定条件１：Ｃ２ｒ＜Ｔｈ０ｒ
判定条件２：Ｃ２ｒ＞Ｔｈ１ｒ

Ｒについて、Ｃ１ｒ＜０の場合には次の判定が行われる。
判定条件１：Ｃ２ｒ＞Ｔｈ０ｒ
判定条件２：Ｃ２ｒ＜Ｔｈ１ｒ

Ｂについて、Ｃ１ｂ≧０の場合には次の判定が行われる。
判定条件１：Ｃ２ｂ＜Ｔｈ０ｂ
判定条件２：Ｃ２ｂ＞Ｔｈ１ｂ

Ｂについて、Ｃ１ｒ＜０の場合には次の判定が行われる。
判定条件１：Ｃ２ｂ＞Ｔｈ０ｂ
判定条件２：Ｃ２ｂ＜Ｔｈ１ｂ

判定条件１および２のいずれかが満たされると（ステップＳ２０８において、ＹＥＳ）、画素値調整部（Ｒ）１０１０および画素値調整部（Ｂ）１０１１は色付き抑制のための画素値調整を行う。ここでは、次のように、色差Ｃ２ｒおよびＣ２ｂがそれぞれ第１の色差判定閾値Ｔｈ０ｒおよびＴｈ０ｂ又は第２の色差判定閾値Ｔｈ１ｒおよびＴｈ１ｂになるように画素値調整が行われる。

Ｒに対する画素値調整
判定条件１を満たす場合には次の式（１７）によって画素調整が行われる。
Ｒ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）＋Ｔｈ０ｒ（ｘ，ｙ） （１７）

判定条件２を満たす場合には次の式（１８）によって画素調整が行われる。
Ｒ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）＋Ｔｈ１ｒ（ｘ，ｙ） （１８）

Ｂに対する画素値調整
判定条件１を満たす場合には次の式（１９）によって画素調整が行われる。
Ｂ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）＋Ｔｈ０ｂ（ｘ，ｙ） （１９）

判定条件２を満たす場合には次の式（２０）によって画素調整が行われる。
Ｂ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）＋Ｔｈ１ｂ（ｘ，ｙ） （２０）

式（１４）〜式（２０）から容易に理解できるように、係数αが大きい場合には、画像回復後の色差の許容範囲が大きくなるため、画像回復後の信号値の補正量が小さくなって色味の変化が小さくなる。この係数αは撮像素子１０２のノイズ量（つまり、画像に重畳するノイズ量）に応じて設定される。例えば、前述のステップＳ２０７においてシステムコントローラ１１０は画像特徴量に関する特徴量情報としてノイズ量に相関するＩＳＯ感度情報に応じた係数αを設定する。

図１０は、図１に示す撮像素子１０２のノイズ量に相関するＩＳＯ感度に応じた係数αの設定の一例を示す図である。

図１０においては、ＩＳＯ感度が１００の際に、係数α＝１として、ＩＳＯ感度が高くなるにつれて線形的に係数αが大きくなる。これによって、色付き処理に起因する色味変化を低減させることができる。

なお、係数αが大きすぎると、非合焦物体などで生じる色付きの抑制効果が減少してしまうので、後述する色付き抑制効果と撮像素子１０２のノイズ特性とを考慮して、実験的に係数αを求めることが望ましい。

続いて、画素値調整後画素補間部１０１２は、画像回復フィルタが適用されて色付き抑制のための画素値調整が行なわれたＲＧＢの各色成分について画素補間処理を行う（ステップＳ２１０）。つまり、画素値調整後画素補間部１０１２は、回復フィルタ適用部（Ｇ）１００４の出力、画素値調整部（Ｒ）１０１０の出力、および画素値調整部（Ｂ）１０１１の出力に応じて画素補間処理を行う。なお、判定条件１および２がともに満たされないと（ステップＳ２０８において、ＮＯ）、処理はステップＳ２１０に移行する。

ここでは、周囲の他の色成分の画素情報を用いて補間画素を生成する適応補間が行われる。これによって、色付き抑制処理が行われた各色成分を相互に用いて画素補間処理を行うことができる。なお、画素値調整後画素補間部１０１２における画素補間処理として、例えば、回復前画素補間部（Ｇ）１００１で行う画素補間処理と同様の手法を用いることができる。

ここで、一例として、図６（ｂ）に示す補間前のＲ成分について、周囲の他の色成分の画素情報を用いて補間画素を生成する適応補間について説明する。

画素値調整後画素補間部１０１２は、Ｒ成分に対する適応補間を、次の式（２１）〜式（２６）によって、事前に補間されたＧ成分を用いて行う。

隣接する左右画素に値がある場合（例えば、Ｒ（２，０））
Ｃｒ＝（Ｒ（ｘ−１、ｙ）−Ｇ（ｘ−１、ｙ）＋Ｒ（ｘ＋１、ｙ）−Ｇ（ｘ＋１、ｙ））／２ （２１）
Ｒ（ｘ、ｙ）＝Ｇ（ｘ、ｙ）＋Ｃｒ （２２）
隣接する上下画素に値がある場合（例えば、Ｒ（１，１））
Ｃｒ＝（Ｒ（ｘ、ｙ−１）−Ｇ（ｘ、ｙ−１）＋Ｒ（ｘ、ｙ＋１）−Ｇ（ｘ、ｙ＋１））／２ （２３）
Ｒ（ｘ、ｙ）＝Ｇ（ｘ、ｙ）＋Ｃｒ （２４）
隣接する斜め方向の画素に値がある場合（例えば、Ｒ（２，１））
Ｃｒ＝（Ｒ（ｘ−１、ｙ−１）−Ｇ（ｘ−１、ｙ−１）＋Ｒ（ｘ＋１、ｙ−１）−Ｇ（ｘ＋１、ｙ−１）＋Ｒ（ｘ−１、ｙ＋１）−Ｇ（ｘ−１、ｙ＋１）＋Ｒ（ｘ＋１、ｙ＋１）−Ｇ（ｘ＋１、ｙ＋１））／４ （２５）
Ｒ（ｘ、ｙ）＝Ｇ（ｘ、ｙ）＋Ｃｒ （２６）

このようにして、画素値調整後画素補間部１０１２は隣接する画素で取得した色差情報（Ｒ−Ｇ）を補間して適応補間を行う。

図６（ｃ）で示すＢ成分に対する適応補間もＲ成分と同様にして、隣接する画素に応じて上記の３パターンのいずれかを適用して、隣接する画素で取得した色差情報（Ｂ−Ｇ）を補間して適応補間が行われる。

適応補間を行った後の各色成分の例が図６（ｇ）〜（ｉ）に示されている。なお、比較のため、適応補間を行うことなく線形補間によって画素補間を行った後の各色成分の例を図６（ｄ）〜（ｆ）に示す。

図示のように、線形補間の場合には、”１００”および”２００”以外の画素値が生成されており、図５（ｂ）に示す画素配列に対してその先鋭度は低下している。一方、適応補間の場合には、ＲＧＢの画素値が一致しており、いずれも、図５（ｂ）に示す画素配列と一致している。

このように、周囲の他の色成分の画素情報を用いて補間画素を生成する適応補間を行うと、図５（ｂ）に示す画素配列に対して先鋭度が低下しない画像を生成することができる。

なお、画素値調整後画素補間部１０１２で行われる画素補間処理は特に限定されず、上述した手法の他、周囲の他の色成分の画素情報を用いて補間画素を生成する手法であれば、他の適応補間手法を用いるようにしてもよい。

ステップＳ２１０の処理が終了すると、画像処理部１０４は画像回復処理を終了して、その他画像処理部１１２による処理を行う。

なお、ＯＴＦは１つの撮影条件においても撮像光学系の画角（像高）に応じて変化するので、画像回復処理を像高に応じて画像の分領域毎に変更することが望ましい。例えば、コンボリューション処理を行いつつ、画像回復フィルタを画像上で走査して、領域毎に画像回復フィルタを順次変更するようにすればよい。つまり、前述のステップＳ２０３の処理を、画像回復成分の各対象画素に対して実行するようにする。

本発明の第１の実施形態では、画像回復フィルタの適用を画像回復処理として扱ったが、これに限られるものではない。例えば、歪曲補正処理、周辺光量補正処理、およびノイズ低減処理などの別の処理を図３に示す処理の前後又は途中に組み合わせて、画像回復処理として扱うことようにしてもよい。

図１１は、図４で説明した画像回復処理を行った画像および行わない画像を現像処理した際のエッジ断面における輝度の変化を説明するための図である。そして、図１１（ａ）は低感度における輝度の変化を示す図であり、図１１（ｂ）は高感度における輝度の変化を示す図である。

図１１（ａ）に示す例は低感度であり、画像回復の色付き抑制処理による色味変化の原因であるノイズが少ない。図１１（ａ）に示す例では、エッジは非合焦物体のエッジであり、画像回復処理なし（回復なし）のエッジ断面に対して、画像回復を行うことによってエッジ部における色付きが大きくなっている。

図１２は、ＭＴＦと空間周波数特性との関係を説明するための図である。そして、図１２（ａ）〜図１２（ｄ）は撮像光学系のＭＴＦと画像回復フィルタ適用後の空間周波数特性との関係を示す図であり、図１２（ｅ）は画像回復フィルタによるＭＴＦの増減率（回復ゲイン）を示す図である。

図１２（ａ）には、合焦時における撮像光学系１０１のＭＴＦが示されており、Ｒ成分はＧ成分よりも劣化した状態となっている。図１２（ｂ）には、合焦時における画像回復フィルタ適用後のＭＴＦが示されており、Ｇ成分とＲ成分ともにＭＴＦが適切に補正されて、Ｇ成分とＲ成分とは一致している。

つまり、図１２（ｂ）に示す例では、図１２（ａ）に示すＭＴＦに図１２（ｅ）に示す回復ゲインが乗算された結果、Ｇ成分とＲ成分ともにＭＴＦが適切に補正されて、Ｇ成分とＲ成分とは一致する。画像回復フィルタは合焦物体に対して最適に画像回復処理が行えるように設計されており、これによって、合焦時において適切な画像回復処理が行われる。よって、合焦の際には、Ｇ成分およびＲ成分のぼけが適切に除去されるとともに、色にじみも除去される。

一方、図１２（ｃ）および図１２（ｄ）には、非合焦時における撮像光学系１０１のＭＴＦが示されており、図１２（ａ）に示すＭＴＦと比較すると、Ｇ成分およびＲ成分ともに異なる特性を示している。図１１（ａ）に示すエッジ部は、図１２（ｄ）に示すＭＴＦに対応する。

図１２（ｄ）に示すＭＴＦに図１２（ｅ）に示す回復ゲインを乗算すると、Ｒは過補正になって、結果的に、図１１に関連して説明したように回復ありのエッジ部に色付きが発生する。この色付きについて、前述の画像回復処理を行うと色付きが抑制される。つまり、低感度であるので、係数αを高感度の場合よりも小さい値として、色付きの低減が十分に行えるような値に設定する。

図１１（ｂ）に示す例は高感度であり、ＲＡＷ画像におけるノイズが多い。この場合には、ノイズによって撮像素子に結像する光学像から得られる画像情報を失っているということができる。このため、低感度の際にみられた非合焦物体で発生した色付きが、高感度においてはこの程度が小さくなる。さらに、現像処理におけるノイズリダクション処理などによってエッジ部で発生する色付きが目立たなくなることもある。

つまり、高感度の場合には、非合焦物体などで発生する色付きが目立ち難い傾向にあるので、係数αを低感度の場合よりも大きくして色付き低減処理による色味の変化を抑える。これによって、高感度において適切な色付き低減処理を行うことができる。

図１３は、ノイズを多く含む画像の所定の領域の１ラインの画像回復前後の色差の移動平均を示す図である。

所定の領域においては、被写体の輝度および色の変化が小さいものとする。図４で説明した画像回復処理を行うと、図２０（ｅ）に示す状態に比べて、色味の変化が極めて少ないことが分かる。

このように、ＩＳＯ感度に応じて色差判定閾値を設定すると、ノイズが多い画像において適切な色付き対策処理を行うことができる。

図４で説明したステップＳ２０７の処理においては、システムコントローラ１１０は画像特徴量としてノイズ量に相関のあるＩＳＯ感度を出力するようにしたが、画像特徴量の代わりに、画像回復フィルタの特性に関する特性特徴量を出力するようにしてもよい。

図１４は、ＧおよびＲにおける回復ゲインの特性を示す図である。

図１４において、ＧａｉｎＲおよびＧａｉｎＧはそれぞれＧおよびＲにおける回復ゲインの最大値である。一般に、回復ゲインが大きい程、ノイズ成分も増幅される。従って、ここでは、回復ゲインの大きさに応じて係数αを設定する。

図１５は、最大回復ゲインとパラメータＰｇａｉｎとの関係を示す図である。

図示のように、最大回復ゲインが”１”のとき、パラメータＰｇａｉｎは”１”であり、最大拡幅ゲインの増加につれて、パラメータＰｇａｉｎは線形的に増加する。図１４に示すＧａｉｎＲおよびＧａｉｎＧのうち大きい方を最大回復ゲインとして、最大回復ゲインに応じたパラメータＰｇａｉｎを図１５に示す関係から求める。このパラメータＰｇａｉｎを係数αに置き換えて、第２の色差判定閾値Ｔｈ１ｒおよびＴｈ１ｂを式（１５）および式（１６）によって求める。

さらには、ＩＳＯ感度に応じて設定したαに対して、次の式（２７）に応じて係数α′を求めて、係数α′に基づいて第２の色差判定閾値Ｔｈ１ｒおよびＴｈ１ｂを式（１５）および式（１６）によって求めるようにしてもよい。
α′＝α×Ｐｇａｉｎ （２７）

このように、回復ゲインの大きさに応じて色付き低減処理を行うようにすれば、色付き抑制処理における色味変化が発生しやすい領域における色味変化を低減させることができる。

このようして、本発明の第１の実施形態では、所定の条件に応じた色差判定閾値を設定することで、画像回復処理で生じる色付きを適切に抑制させることができる。

［第２の実施形態］
続いて、本発明による第２の実施形態による画像処理装置を備えるカメラの一例について説明する。なお、第２の実施形態に係るカメラの構成は、図１に示すカメラと同様である。

図１６は、本発明の第２の実施形態に係るカメラおいて画像処理部１０４に備えられる画像回復処理部１１１の構成についてその一例を示すブロック図である。なお、図１６において、図３に示す画像回復処理部１１１と同一の構成要素については同一の参照番号を付して説明を省略する。

図１６に示す画像回復処理部１１１では、特徴量情報として、ＩＳＯ感度又は回復フィルタの特性を用いることなく、画像から特徴量を得て、当該特徴量に応じて係数αを設定する。

図示の画像回復処理部１１１は回復前画素補間部（Ｒ）１０１３、回復前画素補間部（Ｂ）１０１４、および画像特徴量算出部１０１５を有している。そして、回復前画素補間部（Ｒ）１０１３および回復前画素補間部（Ｂ）１０１４は、それぞれ回復前画素補間部（Ｇ）１００１と同様にして、Ｒ成分およびＧ成分について画素補間処理を行う。

回復前画素補間部（Ｇ）１００１、回復前画素補間部（Ｒ）１０１３、および回復前画素補間部（Ｂ）１０１４の出力である画素補間が行われたＲＧＢの信号は画像特徴量算出部１０１５に入力される。画像特徴量算出部１０１５はＲＧＢに応じて各画素の色相、彩度、および輝度を算出する。画像特徴量算出部１０１５は、色相、彩度、および輝度を所定の変換式によってＨＳＢ色空間に変換する。

図１７は、画像の色相、彩度、および輝度とパラメータＰｈ、Ｐｓ、およびＰｂとの関係の一例を示す図である。

図１７に示すように、色相が０から増加するにつれて、パラメータＰｈは低下して、Ｐｈ＝１となる。そして、色相が増加してもしばらく、Ｐｈ＝１の状態となる。さらに色相が増加すると、パラメータｐｈは線形的に増加する。

彩度についは、彩度が０から増加してもパラメータＰｓは一定であるが、彩度が所定の値となると、パラメータＰｓは逓減して、Ｐｓ＝１となる。輝度については、彩度とほぼ同様にして、パラメータＰｂは変化する。

画像特徴量算出部１０１５は色相、彩度、および輝度に応じたパラメータＰｈ、Ｐｓ、およびＰｂを、図１７に示す色相、彩度、および輝度とパラメータＰｈ、Ｐｓ、およびＰｂとの関係を示す図から求める。そして、画像特徴量算出部１０１５は、パラメータＰｈ、Ｐｓ、およびＰｂを用いて、次の式（２８）からパラメータＰｈｓｂを画像特徴量として求める。
Ｐｈｓｂ＝Ｐｈ×Ｐｓ×Ｐｂ （２８）

画素値調整部（Ｒ）１０１０および画素値調整部（Ｂ）１０１１は、パラメータＰｈｓｂを係数αに置き換えて、それぞれ第２の色差判定閾値Ｔｈ１ｒおよびＴｈ１ｂ）を式（１５）および式（１６）によって求める。

さらには、画素値調整部（Ｒ）１０１０および画素値調整部（Ｂ）１０１１は、第１の実施形態で説明したようにしてＩＳＯ感度に応じた係数αを求める。そして、画素値調整部（Ｒ）１０１０および画素値調整部（Ｂ）１０１１は、係数αについて次の式（２９）によって係数α′を求めて、係数α′を用いて第２の色差判定閾値Ｔｈ１ｒおよびＴｈ１ｂを式（１５）および式（１６）によって求めるようにしてもよい。
α′＝α×Ｐｈｓｂ （２９）

このように、画像の色相、彩度、および輝度に応じて色付き低減処理を行うと、例えば、人間の肌の色など色味変化が目につく色に特化して色付き抑制処理における色味変化を低減させることができる。

画像回復処理後の現像においては色再現処理が行われるが、画像回復処理による色差の変動が最終の画像の色味にどの程度寄与するかは色再現処理によって変わる。従って、色再現処理によって、最終の画像の色味変換に敏感に影響する色（色空間におけるある領域）に応じて色差判定閾値を設定することが可能になる。

さらに、ノイズ成分が色付き抑制処理における色味変化の原因であることを説明したが、画像回復処理はホワイトバランス処理済みの画像に対して行われるので、ホワイトバランス処理におけるＲＧＢのゲイン値によってノイズ成分が変動する。このことは色によってノイズ成分の大小が異なることを意味する。従って、ホワイトバランス処理によってノイズが大きくなる色に応じて色差判定閾値を設定することが可能になる。

上述の例では、画像特徴量算出部１０１５において色相、彩度、および輝度に応じて画像特徴量を求めるようにした。一方、画像特徴量を求める際には、としてエッジ部における画素変動量の大小を示すエッジ強度を用いるようにしてもよい。なお、エッジ強度は既知の微分フィルタなどを画像に適用することによって求めることができる。

図１８は、エッジ強度とパラメータＰｅｄｇｅとの関係の一例を示す図である。

図１８に示すように、パラメータＰｅｄｇｅはエッジ強度の増加につれて逓減する。画像特徴量算出部１０１５はエッジ強度に応じたパラメータＰｅｄｇｅを画像特徴量として、図１８に示すエッジ強度とパラメータＰｅｄｇｅとの関係を示す図から求める。

次に、画素値調整部（Ｒ）１０１０および画素値調整部（Ｂ）１０１１は、パラメータＰｅｄｇｅを係数αに置き換えて、それぞれ第２の色差判定閾値Ｔｈ１ｒおよびＴｈ１ｂを式（１５）および式（１６）によって求める。

なお、画素値調整部（Ｒ）１０１０および画素値調整部（Ｂ）１０１１は、上記の式（２９）によって求めた係数α′に、次の（３０）で示すように、パラメータＰｅｄｇｅを乗算して係数α′′を求める。そして、画素値調整部（Ｒ）１０１０および画素値調整部（Ｂ）１０１１は、係数α′′を用いて第２の色差判定閾値Ｔｈ１ｒおよびＴｈ１ｂを式（１５）および式（１６）によって求めるようにしてもよい。
α′′＝α′×Ｐｅｄｇｅ （３０）

画像回復処理において非合焦物体で発生する色付きは主にエッジ部で目立ち易いことを考慮すると、エッジ強度に応じて第２の色差判定閾値Ｔｈ１ｒおよびＴｈ１ｂを設定するようにすればよい。こうすることで、エッジ部においては色付き発生を抑えて、平坦部において色付き処理による色味変化を軽減した処理を行うことができる。

上述の例では、第１の色差制限閾値Ｔｈ０ｒおよびＴｈ０ｂは常に”０”であるとしたが、第１の色差制限閾値Ｔｈ０ｒおよびＴｈ０ｂは”０”でなくてもよい。

図１９は、本発明の第２の実施形態に係るカメラで用いられる色差判定閾値を示す図である。

図１９においては、第１の色差判定閾値Ｔｈ０ｒおよびＴｈ０ｂは、係数αを用いて設定される第２の色差判定閾値Ｔｈ１ｒおよびＴｈ１ｂと同様に、第１の色差判定閾値Ｔｈ０ｒおよびＴｈ０ｂ用の係数から求められる。

このように、第１の色差判定閾値Ｔｈ０ｒおよびＴｈ０ｂを設定すれば、色差増加および減少の際の色差抑制量の相違いが小さくなるので、色味変化が小さくなる。この場合には、画像回復による色にじみ補正効果の低減につながるので、撮影に用いる撮像光学系の特性を考慮して、前述のエッジ強度に応じた閾値設定と組み合わせて設定することが望ましい。

このように、本発明の第２の実施形態においても、画像回復処理で生じる色付きを適切に抑制させることができる。

なお、上述した各実施形態においては、各色差算出部に入力されるＲＧＢ成分のうち、Ｇ成分のみに対して画素補間が行われているが、ＲＧＢ成分の全てに対して画素補間を行って、各画素の色差を求めるようにしてもよい。

上述の説明から明らかなように、図３に示す例においては、回復前画素補間部（Ｇ）１００１、第１の色差算出部（Ｒ）１００２、および第１の色差算出部（Ｂ）１００３が第１の特徴量算出手段として機能し、回復フィルタ適用部（Ｇ）１００４、回復フィルタ適用部（Ｒ）１００５、および回復フィルタ適用部（Ｂ）１００６が画像回復処理手段として機能する。さらに、回復後画素補間部（Ｇ）１００７、第２の色差算出部（Ｒ）１００８、および第２の色差算出部（Ｂ）１００９が第２の色特徴量算出手段として機能し、画素値調整部（Ｒ）１０１０および画素値調整部（Ｂ）１０１１が補正手段として機能する。そして、画素値調整部（Ｒ）１０１０、画素値調整部（Ｂ）１０１１、システムコントローラ１１０は設定手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

また、上記の実施の形態の機能を制御方法として、この制御方法を、カメラで撮影されたＲＡＷ画像を受け取り、このＲＡＷ画像に対して画像回復処理を行う画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも第１の特徴量算出ステップ、画像回復処理ステップ、第２の色特徴量算出ステップ、および補正ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１０１ 撮像光学系
１０２ 撮像素子
１０３ Ａ／Ｄコンバータ
１０４ 画像処理部
１０５ 表示部
１０６ 撮像光学系制御部
１０７ 状態検知部
１０９ 画像記録媒体
１１０ システムコントローラ
１１１ 画像回復処理部

Claims (13)

1. 撮像光学系を介して撮像素子に結像した光学像に応じて得られた画像についてその画質の劣化を回復処理する画像処理装置であって、
   前記回復処理の前において前記画像における画素の色の特徴量を第１の色特徴量として求める第１の特徴量算出手段と、
   画像回復フィルタを用いて前記画像を回復処理する画像回復処理手段と、
   前記画像回復処理手段の出力である回復処理後の画像における画素の色の特徴量を第２の色特徴量として求める第２の色特徴量算出手段と、
   前記第１の色特徴量と前記第２の色特徴量との差と閾値との比較結果に応じて、前記回復処理後の画像についてその画素値を補正する補正手段と、
   所定の条件に応じて前記閾値を変更する設定手段と、
   を有することを特徴とする画像処理装置。
2. 前記設定手段は、前記閾値を前記画像の特徴を示す画像特徴量に応じて設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段は、前記画像特徴量としてとして前記画像に重畳するノイズ量を用いることを特徴とする請求項２に記載の画像処理装置。
4. 前記設定手段は、前記閾値を前記撮像素子の感度に応じて設定することを特徴とする請求項１に画像処理装置。
5. 前記設定手段は、前記画像における色相、彩度、および輝度に応じて前記画像特徴量を求めることを特徴とする請求項２に記載の画像処理装置。
6. 前記設定手段は、前記画像におけるエッジの強度を示すエッジ強度に応じて前記画像特徴量を求めることを特徴とする請求項２に記載の画像処理装置。
7. 前記第１の色特徴量が前記第２の色特徴量よりも大きいと第１の閾値が前記閾値として用いられ、前記第１の色特徴量が前記第２の色特徴量よりも小さいと前記第１の閾値と異なる第２の閾値が前記閾値として用いられることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記設定手段は、前記画像回復フィルタの特性に応じて前記閾値を設定することを特徴とする請求項１に記載の画像処理装置。
9. 前記第１の色特徴量は、前記画像における第１の色を基準として当該第１の色に対する第２の色および第３の色の信号値の差分を示し、前記第２の色特徴量は、前記回復処理後の画像における第１の色を基準として当該第１の色に対する第２の色および第３の色の信号値の差分を示すことを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
10. 前記第１の色、前記第２の色、および前記第３の色は、それぞれ緑、赤、青であることを特徴とする請求項９に記載の画像処理装置。
11. 前記第１の色特徴量算出手段は、前記画像回復前の画像おいて前記第１の色について所定の補間処理を行った後、前記第１の色特徴量を算出し、前記第２の色特徴量算出手段は、前記画像回復後の画像において前記第１の色について所定の補間処理を行った後、前記第１の色特徴量を算出することを特徴とする請求項９又は１０に記載の画像処理装置。
12. 撮像光学系を介して撮像素子に結像した光学像に応じて得られた画像についてその画質の劣化を回復処理する画像処理装置の制御方法であって、
    前記回復処理の前において前記画像における画素の色の特徴量を第１の色特徴量として求める第１の特徴量算出ステップと、
    画像回復フィルタを用いて前記画像を回復処理する画像回復処理ステップと、
    前記回復処理の後の画像における画素の色の特徴量を第２の色特徴量として求める第２の色特徴量算出ステップと、
    所定の条件に応じて閾値を変更する設定ステップと、
    前記第１の色特徴量と前記第２の色特徴量との差と前記閾値との比較結果に応じて、前記回復処理後の画像についてその画素値を補正する補正ステップと、
    を有することを特徴とする制御方法。
13. 撮像光学系を介して撮像素子に結像した光学像に応じて得られた画像についてその画質の劣化を回復処理する画像処理装置で用いられる制御プログラムであって、
    前記画像処理装置が備えるコンピュータに、
    前記回復処理の前において前記画像における画素の色の特徴量を第１の色特徴量として求める第１の特徴量算出ステップと、
    画像回復フィルタを用いて前記画像を回復処理する画像回復処理ステップと、
    前記回復処理の後の画像における画素の色の特徴量を第２の色特徴量として求める第２の色特徴量算出ステップと、
    所定の条件に応じて閾値を変更する設定ステップと、
    前記第１の色特徴量と前記第２の色特徴量との差と前記閾値との比較結果に応じて、前記回復処理後の画像についてその画素値を補正する補正ステップと、
    を実行させることを特徴とする制御プログラム。