JP5344648B2 - 画像処理方法、画像処理装置、撮像装置および画像処理プログラム - Google Patents

Description

本発明は、撮像装置により生成された画像の劣化を低減するための画像回復処理を行う画像処理技術に関する。

デジタルカメラ等の撮像装置により被写体を撮像して得られた画像には、撮像光学系（以下、単に光学系という）の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。

ここにいうぼけ成分は、光学的には、点像分布関数（Point Spread Function：ＰＳＦ）により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。さらに、横方向の色ずれも、光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれ又は位相ずれと言うことができる。

点像分布関数（ＰＳＦ）をフーリエ変換して得られる光学伝達関数（Optical Transfer Function：ＯＴＦ）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数（ＯＴＦ）の絶対値、すなわち振幅成分を、ＭＴＦ（Modulation Transfer Function）といい、位相成分をＰＴＦ（Phase Transfer Function）という。ＭＴＦおよびＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式で表す。Ｒｅ（ＯＴＦ）およびＩｍ（ＯＴＦ）はそれぞれ、ＯＴＦの実部および虚部を表す。
ＰＴＦ＝ｔａｎ^-1（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
このように、光学系の光学伝達関数（ＯＴＦ）は、画像の振幅成分と位相成分に対して劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になる。

劣化画像（入力画像）における振幅成分（ＭＴＦ）の劣化と位相成分（ＰＴＦ）の劣化を補正する方法として、光学系の光学伝達関数の情報を用いるものが知られている。この方法は、画像回復や画像復元とも呼ばれており、以下、この光学系の光学伝達関数の情報を用いて劣化画像を補正（低減）する処理を画像回復処理と称する。そして、詳細は後述するが、画像回復処理の方法の１つとして、光学伝達関数の逆特性を有する実空間の画像回復フィルタを入力画像に対して畳み込む（コンボリューション）方法が知られている。

画像回復処理を効果的に行うためには、光学系のより正確なＯＴＦを得る必要がある。ＯＴＦを得る方法は、例えば、光学系の設計値の情報があれば、その情報から計算によって求めることが可能である。また、点光源を撮像し、その強度分布にフーリエ変換を施すことでも求めることが可能である。

きわめて高性能に設計および製造された光学系を除く一般的な光学系のＯＴＦは、像高（画像上での位置）によって大きく変動する。このため、高精度に入力画像に対する画像回復処理を行うためには、像高ごとのＯＴＦの変動に基づいて生成した画像回復フィルタを用いる必要がある。像高に応じて画像回復特性を変更するためには、画像回復処理を周波数空間にて一括して行うのではなく、実空間において画像回復フィルタを変更しながら行うことが望ましい。

特許文献１には、画像回復の度合いを調節することを目的とした調節パラメータを有し、画像回復の度合いを連続的に変化させる画像処理方法が開示されている。

特開２００７−１８３８４２号公報

しかしながら、光学系のレンズの特性や撮影条件に依っては、撮像素子のナイキスト周波数の帯域内でＭＴＦが零又はほぼ零になる（以下、これを「零落ち」といい、零落ちが生じる周波数を「零落ち周波数」と称する）場合がある。

零落ちの原因としては、収差や回折が挙げられる。また、撮像装置の使用者の手振れによっても零落ちが発生する。零落ちの例を図１２（ａ）に示す。横軸は空間周波数を、縦軸はＭＴＦを示す。図中の下向き矢印の周波数で零落ちが生じており、この周波数が零落ち周波数である。

画像回復処理に一般的に用いられるウィナーフィルタ（Wiener filter）を用いた場合、画像回復フィルタの周波数特性の絶対値（回復ゲイン特性）は、図１２（ｂ）に示すようになる。図１２（ｂ）において、横軸は空間周波数を、縦軸は回復ゲイン値を示している。ウィナーフィルタの詳細については後述する。

この場合、図中の下向き矢印よりも低周波数側の帯域は増幅されているが、該矢印よりも高周波数側の帯域に対してはローパスフィルタ効果が得られることになる。このときの実空間での画像回復フィルタのプロファイル、すなわちフィルタ内の位置（タップ）ごとの係数値は図１２（ｃ）に示すようになる。この画像回復フィルタを用いた画像回復処理を行うと、入力画像における高周波数側のディテールがぼけてしまう。

また、図１３を用いて別の例を示す。図１３（ａ）の横軸は、サンプリング周波数（ナイキスト周波数の２倍）までの周波数を示している。図１３（ｂ）は回復ゲイン特性を示し、図１３（ｃ）は実空間での画像回復フィルタのプロファイルを示す。図１３（ｃ）では、画像回復フィルタの係数値が狭い位置範囲内の複数箇所で大きく変化している。

ここで、光学系の製造誤差や入力画像中の輝度飽和等の原因で、入力画像のＰＳＦが光学系のＰＳＦと異なる場合には、回復された画像（回復画像）にリンギング等のアーティファクトが発生する場合がある。このような場合に、図１３（ｃ）に示す画像回復フィルタはＰＳＦの不一致に対して敏感となり、この結果、アーティファクトが発生し易くなる。

このように、高精細な回復画像を得るためには、零落ちに対する対策がきわめて重要である。

特許文献１では、画像回復の度合いを調節可能にしているが、これは使用者による画像回復の度合いの変更を可能にするものであって、零落ち周波数に応じて画像回復フィルタの特性を変更するものではない。このため、特許文献１にて開示された方法では、零落ちによるアーティファクトを抑制するために画像回復の度合いを下げることはできるが、高精細な回復画像を得ることはできない。

本発明は、ＭＴＦの零落ちが存在するような場合でも、高精細な回復画像を得ることができるようにした画像処理技術を提供する。

本発明の画像処理方法は、撮像装置により生成された入力画像に対して画像回復処理を行う。該画像処理方法は、入力画像および該入力画像を生成した際の撮像装置における撮影条件に関する情報を得るステップと、撮影条件に関する情報に応じた撮像装置の光学伝達関数を得るステップと、光学伝達関数を用いて得られる指標値が所定値となる特定周波数をアジムス方向ごとに求めるステップと、アジムス方向ごとに求められた特定周波数よりも低周波数側の帯域と高周波数側の帯域とを分ける窓関数を生成するステップと、窓関数および光学伝達関数を用いて、入力画像のうち上記低周波数側の帯域に対しては画像回復処理を行い、上記高周波数側の帯域に対しては画像回復処理を制限する画像回復フィルタを生成するステップと、画像回復フィルタを用いて画像回復処理を行うステップとを有することを特徴とする。

また、本発明の他の一側面としての画像処理装置は、撮像装置により生成された入力画像に対して画像回復処理を行う。該画像処理装置は、入力画像および該入力画像を生成した際の撮像装置における撮影条件に関する情報を得る入力部と、撮影条件に関する情報に応じた撮像装置の光学伝達関数を得て、該光学伝達関数を用いて得られる指標値が所定値となる特定周波数をアジムス方向ごとに求める演算部と、アジムス方向ごとに求められた特定周波数よりも低周波数側の帯域と高周波数側の帯域とを分ける窓関数を生成する窓関数生成部と、窓関数および光学伝達関数を用いて、入力画像のうち上記低周波数側の帯域に対しては画像回復処理を行い、上記高周波数側の帯域に対しては画像回復処理を制限する画像回復フィルタを生成するフィルタ生成部と、画像回復フィルタを用いて画像回復処理を行う処理部とを有することを特徴とする。

なお、撮影光学系により形成された被写体像を光電変換する撮像素子を含み、該撮像素子からの出力を用いて撮影画像を生成する撮像系と、撮影画像である入力画像に対して画像回復処理を行う上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。

さらに、本発明の画像処理プログラムは、コンピュータに、撮像装置により生成された入力画像に対する画像回復処理を行わせる、該画像処理プログラムは、入力画像および該入力画像を生成した際の前記撮像装置における撮影条件に関する情報を得るステップと、撮影条件に関する情報に応じた撮像装置の光学伝達関数を得るステップと、光学伝達関数を用いて得られる指標値が所定値となる特定周波数をアジムス方向ごとに求めるステップと、アジムス方向ごとに求められた特定周波数よりも低周波数側の帯域と高周波数側の帯域とを分ける窓関数を生成するステップと、窓関数および光学伝達関数を用いて、入力画像のうち上記低周波数側の帯域に対しては画像回復処理を行い、上記高周波数側の帯域に対しては画像回復処理を制限する画像回復フィルタを生成するステップと、画像回復フィルタを用いて画像回復処理を行うステップとを有することを特徴とする。

本発明によれば、入力画像のうち特定周波数（例えば、零落ち周波数）よりも低周波数側の帯域に対しては画像回復処理を行い、該特定周波数よりも高周波数側の帯域に対しては画像回復処理を制限する画像回復フィルタを生成する。これにより、零落ちが存在するような場合でも、零落ち周波数より高周波数側にて画像のぼけが生じない高精細な回復画像を得ることができる。

本発明の実施例１である画像回復処理の流れを示すフローチャート。 実施例１の画像回復処理における画像回復フィルタを説明する図。 実施例１の画像回復処理における画像回復フィルタ内の各タップの値を説明する図。 実施例１の画像処理方法における点像の補正状態を説明する図。 実施例１の画像処理方法における振幅と位相を説明する図。 実施例１における互いに異なるアジムス方向のＭＴＦと零落ち周波数を示す図。 実施例１における互いに直交する２つのアジムス方向のＭＴＦと零落ち周波数を示す図。 実施例１における窓関数を説明する図。 実施例１における画像回復フィルタの特性を説明する図。 実施例１における画像回復フィルタの他の特性を説明する図。 本発明の実施例２である撮像装置の構成を示すブロック図。 ウィナーフィルタを用いた従来の画像回復処理を説明する図。 ウィナーフィルタを用いた従来の画像回復処理を説明する図。

以下、本発明の実施例について図面を参照しながら説明する。

まず、以下に説明する実施例にて用いる用語の定義と画像回復処理について説明する。
「入力画像」
入力画像は、撮像装置において撮影光学系により形成された被写体像を光電変換した撮像素子からの出力を用いて生成されたデジタル画像である。このデジタル画像は、レンズや光学フィルタ等の光学素子を含む撮影光学系の収差を含む光学伝達関数（ＯＴＦ）により劣化した画像である。撮像素子は、ＣＭＯＳやＣＣＤ等の光電変換素子により構成される。撮影光学系は、曲率を有するミラー（反射面）を含んでもよい。また、撮影光学系は、撮像装置に対して着脱（交換）が可能であってもよい。撮像装置において、撮像素子および該撮像素子の出力を用いてデジタル画像（入力画像）を生成する信号処理回路により撮像系が構成される。

入力画像の色成分は、例えばＲＧＢ色成分の情報を有している。色成分の扱いとしては、これ以外にもＬＣＨで表現される明度、色相および彩度や、ＹＣｂＣｒで表現される輝度および色差信号等、一般に用いられている色空間を選択して用いることができる。その他の色空間としては、例えば、ＸＹＺ，Ｌａｂ，Ｙｕｖ，ＪＣｈを用いることが可能であり、さらに色温度を用いることも可能である。

入力画像や回復画像（出力画像）には、入力画像を生成した際の撮像装置における撮影光学系の焦点距離や絞り値、さらに撮影距離等の撮影条件に関する情報（以下、撮影条件情報という）を付帯することができる。また、入力画像を補正するための各種の補正情報も付帯することができる。撮像装置から、これとは別に設けられた画像処理装置に入力画像を出力し、該画像処理装置にて画像回復処理を行う場合には、入力画像に撮影条件情報や補正情報を付帯することが好ましい。撮影条件情報や補正情報は、入力画像に付帯する以外に、撮像装置から画像処理装置に直接または間接的に通信により受け渡すこともできる。
「画像回復処理」
撮像装置により生成された入力画像（劣化画像）をｇ（ｘ，ｙ）とし、元の画像（劣化していない画像）をｆ（ｘ，ｙ）とし、光学伝達関数（ＯＴＦ）のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とする場合、以下の式が成り立つ。ただし、＊はコンボリューション（畳み込み積分または積和）を示し、（ｘ，ｙ）は入力画像上の座標（位置）を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
この式をフーリエ変換して周波数面での表示形式に変換すると、以下の式のように周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）ｈをフーリエ変換したものであり、光学伝達関数（ＯＴＦ）に相当する。Ｇ，Ｆはそれぞれ、ｇ，ｆをフーリエ変換したものである。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
撮像装置により生成された劣化画像から元の画像を得るためには、以下のように、上記式の両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）である回復画像が得られる。

ここで、Ｈ^−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像ｆ（ｘ，ｙ）である回復画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
Ｒ（ｘ，ｙ）が画像回復フィルタである。入力画像が２次元であるとき、一般に画像回復フィルタも該２次元画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、一般に画像回復フィルタのタップ数（セル数）が多いほど画像回復精度が向上するため、出力画像としての要求画質、画像処理装置としての画像処理能力、撮影光学系の収差の特性等に応じて実現可能なタップ数を設定する。

画像回復フィルタは、少なくとも収差の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）等とは全く異なる。また、画像回復フィルタは、光学伝達関数（ＯＴＦ）に基づいて生成されるため、劣化画像（入力画像）における振幅成分と位相成分の劣化をともに高精度に補正することができる。

また、実際の入力画像にはノイズ成分が含まれる。このため、上記のように光学伝達関数（ＯＴＦ）の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像が回復されるだけでなくノイズ成分が大幅に増幅されてしまう。これは、入力画像の振幅成分にノイズの振幅が付加されている状態に対して撮影光学系のＭＴＦ（振幅成分）を全周波数にわたって１に戻すようにＭＴＦを持ち上げるためである。撮影光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズ成分のパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合い、すなわち回復ゲインに応じてノイズが増幅されてしまう。

したがって、ノイズ成分がある入力画像からは鑑賞用画像として良好な回復画像が得られない。これを式で示すと以下のように表せる。Ｎはノイズ成分を表す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）
この点については、例えば、式（１）に示すウィナーフィルタのように画像信号とノイズ信号の強度比（ＳＮＲ）に応じて回復度合いを制御する方法が知られている。

Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性を示し、｜Ｈ（ｕ，ｖ）｜は光学伝達関数（ＯＴＦ）の絶対値（ＭＴＦ）を示す。この方法は、周波数ごとに、ＭＴＦが小さいほど回復ゲインを抑制し、ＭＴＦが大きいほど回復ゲインを強くするものである。一般に、撮影光学系のＭＴＦは、低周波数側が高く、高周波数側が低くなるため、実質的に画像信号の高周波数側の回復ゲインを抑制する方法となる。

画像回復フィルタを図２および図３を用いて説明する。画像回復フィルタは、撮影光学系の収差特性や要求される画像回復精度に応じてタップ数が決められる。図２では、例として、１１×１１タップの２次元画像回復フィルタを示している。図２では、各タップ内の値（係数値）を省略しているが、この画像回復フィルタの１つの断面を図３に示す。画像回復フィルタの各タップ内の値の分布が、収差によって空間的に広がった信号値（ＰＳＦ）を、理想的には元の１点に戻す役割を果たす。

画像回復処理では、画像回復フィルタの各タップの値が、入力画像における各タップに対応する各画素に対してコンボリューション（畳み込み積分や積和ともいう）される。コンボリューションの処理では、ある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、入力画像と画像回復フィルタの対応画素ごとに入力画像の信号値と画像回復フィルタのタップの値（係数値）との積をとり、その総和を中心画素の信号値として置き換える。

画像回復処理の実空間と周波数空間での特性を図４および図５を用いて説明する。図４の（ａ）は画像回復前のＰＳＦを示し、（ｂ）は画像回復後のＰＳＦを示している。また、図５の（Ｍ）の（ａ）は画像回復前のＭＴＦを示し、（Ｍ）の（ｂ）は画像回復後のＭＴＦを示している。さらに、図５の（Ｐ）の（ａ）は画像回復前のＰＴＦを示し、（Ｐ）の（ｂ）は画像回復後のＰＴＦを示している。画像回復前のＰＳＦは非対称な広がりを持っており、この非対称性によりＰＴＦは周波数に対して非直線的な値を持つ。画像回復処理は、ＭＴＦを増幅し、ＰＴＦを零に補正するため、画像回復後のＰＳＦは対称で、かつ鮮鋭になる。

画像回復フィルタの作成法については、撮影光学系の光学伝達関数（ＯＴＦ）の逆関数に基づいて設計した関数を逆フーリエ変換して得ることができる。例えば、ウィナーフィルタを用いる場合、式（１）を逆フーリエ変換することで、実際に入力画像に畳み込む実空間の画像回復フィルタを作成することができる。

また、光学伝達関数（ＯＴＦ）は、同じ撮影条件であっても撮影光学系の像高（画像上での位置）に応じて変化するので、画像回復フィルタは像高に応じて変更して使用される。

以下、本発明の具体的な実施例について説明する。

図１には、本発明の実施例１である画像処理方法の手順を示している。この画像処理方法は、画像処理装置に含まれるＣＰＵ等により構成されるコンピュータがコンピュータプログラムとしての画像処理プログラムに従って実行する。

ステップＳ１１では、コンピュータは、撮像装置から入力画像（以下、撮影画像ともいう）を取得する。撮像装置からの撮影画像の取得は、該撮像装置と画像処理装置とを有線または無線による通信を介して行ってもよいし、半導体メモリや光ディスク等の記憶媒体を介して行ってもよい。

次にステップＳ１２では、コンピュータは、撮像装置が撮影画像を生成した際の撮影条件に関する情報（以下、撮影条件情報という）を取得する。撮影条件は、撮像光学系の焦点距離や絞り値のほか、撮影距離や撮像装置の識別情報（カメラＩＤ）等を含む。また、撮影光学系の交換が可能な撮像装置においては、撮影条件に、該撮影光学系（交換レンズ）の識別情報（レンズＩＤ）を含む。撮影条件情報は、撮影画像に付帯された情報として取得してもよいし、有線または無線による通信や記憶媒体を介して取得してもよい。

次にステップＳ１３では、コントローラは、撮影条件に対応する（適した）光学伝達関数を取得する。この光学伝達関数は、画像処理装置内又は該装置外のメモリに予め保持された複数の光学伝達関数から撮影条件に対応するものを選択して取得してもよい。また、光学伝達関数を生成するための関数を予め記憶しておき、その変数に撮影条件を代入して生成（算出）することで取得してもよい。

なお、離散的に選択された焦点距離、絞り値および撮影距離等の撮影条件に対する光学伝達関数を予めメモリに記憶しておいてもよい。この場合において、実際の撮影条件が記憶された撮影条件と異なるときは、記憶された撮像条件のうち実際の撮像条件に近い複数の撮像条件に対応する光学伝達関数からの補間演算により実際の撮影条件に対応する光学伝達関数を生成できる。これにより、予めメモリに記憶させる光学伝達関数のデータ量を削減することができる。補間処理の方法としては、バイリニア補間（線形補間）やバイキュービック補間等が挙げられるが、どのような方法であってもよい。

次にステップＳ１４では、コンピュータは、ステップＳ１３で取得した光学伝達関数を用いて得られる指標値が所定値としての閾値となる特定周波数を求める。本実施例では、光学伝達関数（ＯＴＦ）の絶対値（ＭＴＦ）を指標値として用いるが、光学伝達関数を用いて得られる指標値であれば、他の指標値を用いてもよい。詳細については後述する。

次にステップＳ１５では、コンピュータは、特定周波数を零とする窓関数を生成する。窓関数の詳細については後述する。

次にステップＳ１６では、コンピュータは、光学伝達関数と窓関数とを用いて画像回復フィルタを生成する。この詳細についても後述する。

次にステップＳ１７では、コンピュータは、撮影画像に画像回復フィルタをコンボリューションして撮影画像に対する画像回復処理を行う。そして、ステップＳ１８にて回復画像を出力する。

ここで、ステップＳ１４での特定周波数の求め方について詳しく説明する。図６には、ＭＴＦの周波数特性を示している。ここで示すＭＴＦは、横軸の１を撮像素子の画素ピッチで決まるナイキスト周波数として正規化したものである。図６中の（ａ），（ｂ），（ｃ）は、撮影光学系において光学特性が互いに異なる３つのアジムス方向でのＭＴＦの例を示している。（ａ），（ｂ）のＭＴＦが閾値ｔ１となる周波数ｆａ，ｆｂがそれぞれの特定周波数である。（ｃ）のＭＴＦは閾値以下とならないので、特定周波数は存在しない。閾値ｔ１は、目的に応じて適宜設定することが可能である。例えば、特定周波数を、前述した零落ち周波数として使用する場合には、ｔ１＝０とすればよい。ただし、実用的にはＭＴＦが完全に０にならなくとも十分小さな値として０と等価とみなせるので、ｔ１＝０．０３（ＭＴＦが３％）等と０よりも大きな値として、ＭＴＦがこの値となる周波数を零落ち周波数としての特定周波数としてもよい。

偽解像がある場合等のように周波数に対してＭＴＦが０の近傍で増加したり減少したりする場合には、ＭＴＦが閾値に対して高い側から低い側に該閾値を通過するように変化する周波数が複数存在することになる。この場合は、該複数の周波数のうち最も低い周波数を特定周波数として用いることが好ましい。

さらに、図６に示すようにＭＴＦがアジムス方向によって異なる場合には、特定周波数もアジムス方向によって異なるように設定することが望ましい。この場合、アジムス方向によって異なる特定周波数を関数データとして保持したり、ルックアップテーブルデータとして保持したりすることができる。また、アジムス方向によって異なる特定周波数のうち１つ（例えば最も低い特定周波数）を代表特定周波数として用いることもできる。

次に、ステップＳ１６での画像回復フィルタを生成する処理について詳しく説明する。ここでは、画像回復フィルタを設計するための基本となる関数として、例えば前述した式（１）により表されるウィナーフィルタを用いる。式（１）中のＭ（ｕ，ｖ）と窓関数Ｗ（ｕ，ｖ）とを用いて、式（２）に従って画像回復フィルタの周波数特性Ｍ_Ｌ（ｕ，ｖ）を生成する。

Ｍ_Ｌ（ｕ，ｖ）は、窓関数により画像回復処理を行う周波数帯域（以下、画像回復帯域ともいう）を制限された画像回復フィルタである。言い換えれば、窓関数により、撮影画像のうち特定周波数よりも低周波数側の帯域に対しては画像回復処理を行い、特定周波数よりも高周波数側の帯域に対しては画像回復処理を制限するように生成された画像回復フィルタである。

このような画像回復フィルタを図９に示す。図９（ａ）には、図１２（ａ）と同じＭＴＦを示している。横軸は空間周波数を、縦軸はＭＴＦを示す。

また、図９（ｂ）には、特定周波数（零落ち周波数）に対応して画像回復帯域を制限した画像回復フィルタの周波数特性を示している。横軸は空間周波数を、縦軸は回復ゲイン値を示している。図１２（ｂ）との比較から分かるように、図９（ｂ）の画像回復フィルタでは、高周波数側がローパスフィルタ化していないため、図９（ｃ）に示す画像回復フィルタのプロファイル（横軸はフィルタでのタップ位置を、縦軸はタップの係数値を示す）が尖鋭である。このため、この画像回復フィルタを用いて画像回復処理を行うと、撮影画像においてＭＴＦが低いもののディテールとして存在する画像部分をそのままにして（画像回復処理によりぼかすことなく）、低周波数側の画像部分を良好に回復させることができる。

また、図１０（ａ）には、図１３（ａ）と同じＭＴＦを示している。横軸は空間周波数を、縦軸はＭＴＦを示す。さらに、図１０（ｂ）には、特定周波数（零落ち周波数）に対応して画像回復帯域を制限した画像回復フィルタの周波数特性を示している。横軸は空間周波数を、縦軸は回復ゲイン値を示している。また、図１０（ｃ）には、画像回復フィルタのプロファイルを示している。図１３（ｂ）との比較において、図１０（ｂ）の画像回復フィルタでは、係数値が狭い位置範囲内の複数箇所で大きく変化するようなことがない。このため、この画像回復フィルタは、零落ちしていない周波数帯域の画像部分を良好に回復させながらも、ＰＳＦの不一致に対して耐性のある画像回復フィルタとなる。
なお、撮像光学系のＯＴＦの特性は、像高、すなわち撮影画像上での位置ごとに異なるため、零落ち周波数も像高に依存する。このため、撮影画像上での位置ごとに特定周波数を求め、該位置ごとに生成する画像回復フィルタの特性を変更するようにしてもよい。特定周波数が異なるという点以外は、本実施例で説明しているフローチャートに従って処理を行えばよい。

次に、ステップＳ１５にて生成する窓関数について詳しく説明する。図７には、互いに直交する２つのアジムス方向のＭＴＦを示している。図８（ａ）および（ｃ）には、図７のＭＴＦの分布を上から（二次元画像面に垂直な方向から）見て示している。図中の破線は、図７に示した閾値ｔ１により決定された、アジムス方向に応じて変化する特定周波数を示す。また、実線は、その内側においては値が０より大きい窓関数の値が、０となる周波数である。ここいう窓関数の値としての０は、１よりも十分小さく、０とみなせる値を含む意味である。

図８（ｂ）には、図８（ａ）に示した窓関数のプロファイルを示している。破線は図８（ａ）における垂直方向のプロファイルを、実線は同水平方向のプロファイルを示している。図８（ｂ）に示すように、アジムス方向に応じたＭＴＦの零落ち特性に応じて窓関数を生成することが好ましい。図８（ｂ）の窓関数は、アジムス方向に応じて変化する特定周波数（零落ち周波数）に対応する非回転対称な関数である。

別の例として、図８（ｃ）および（ｄ）には、アジムス方向に応じて変化する零落ち周波数（特定周波数）のうち最小値を特定周波数（代表特定周波数）として生成された、回転対称な窓関数を示している。この場合、ＭＴＦが零落ちしていないにもかかわらず、窓関数によって帯域を制限されているアジムス方向については画像回復帯域が狭くなる。

なお、これらのように、アジムス方向に応じて変化する実際のＭＴＦ（ＯＴＦの絶対値）から得た特定周波数を用いて窓関数を生成することにより、撮影光学系の光学伝達関数（ＯＴＦ）に精度良く適合した窓関数、ひいては画像回復フィルタを生成することができる。

なお、窓関数としては、一般的に知られているガウス窓やハン窓等の窓関数を、光学伝達関数から得られたアジムス方向ごとの特定周波数特性に応じて非対称に変形して用いてもよいし、新たに窓関数を生成してもよい。

さらに、アジムス方向に応じて変化する特定周波数に対して精度良く適合する窓関数を生成する方法として、各像高（画像上での位置）でのＭＴＦに基づいて窓関数Ｗ（ｕ，ｖ）を生成することができる。この例として、式（３）が挙げられる。

ただし、Ｎは実数のパラメータである。

画像回復処理では、画像回復フィルタを生成するために像高ごとのＯＴＦを用いるため、このように像高ごとのＭＴＦを用いた窓関数を生成することにより、新たにデータ量が増大することはない。さらに、特定周波数のアジムス特性を精度良く関数で再現するのが難しい場合にも、ＭＴＦは対応することができる。これは窓関数で抑制すべき周波数とＭＴＦとを対応させることができるためである。

図１のフローチャートに戻り、ステップＳ１７では、コンピュータは、ステップＳ１６で生成した画像回復フィルタを用いて撮影画像にコンボリューションを行い、さらに所定の現像処理を行うことで、出力画像としての回復画像を、ステップＳ１８にて出力する。

本実施例によれば、ＭＴＦの零落ちが存在するような入力画像に対しても、零落ち周波数より高周波数側での画像のぼけやリンギング等の弊害の発生を抑制しつつ、高精細な回復画像を得ることができる。

次に、本発明の実施例２である撮像装置について、図１１を用いて説明する。該撮像装置は、実施例１にて説明した画像処理方法による画像回復処理を行う画像処理装置を搭載している。

撮影光学系２０１は、不図示の被写体からの光に被写体像を形成させる。撮像素子２０２は、該被写体像を光電変換して電気信号であるアナログ信号を出力する。撮像素子２０２から出力されたアナログ信号は、Ａ／Ｄコンバータ２０３によってデジタル信号に変換され、画像処理部２０４に入力される。

画像処置部２０４は、入力されたデジタル信号に対して各種画像処理を行うことにより撮影画像（入力画像）を生成する。そして、該撮影画像に対して実施例１で説明した画像回復処理を行う。撮像素子２０２から画像処理部２０４のうち撮影画像を生成する部分までの系が撮像系に相当する。また、画像処理部２０４のうち画像回復処理を行う部分が、入力部、演算部、窓関数生成部、フィルタ生成部および処理部を含む画像処理装置に相当する。

画像処理部２０４に画像回復処理を行わせるために、状態検知部２０７は、撮影画像を生成する際における撮像装置の撮像条件情報を得る。撮像条件情報については、実施例１にて説明した通りである。状態検知部２０７は、撮像条件情報をシステムコントローラ２１０から得てもよい。また、撮影光学系に関する撮像条件情報については、撮影光学系２０１の絞り２０１ａの動作やズームレンズ又はフォーカスレンズ等のレンズ２０１ｂの移動を制御する撮影光学系制御部２０６から得てもよい。そして、画像処理部２０４は、図１のフローチャートにより説明した画像回復処理を実行する。光学伝達関数（ＯＴＦ）または光学伝達関数（ＯＴＦ）を生成するための係数データは、予め記憶部２０８に保持されている。

画像処理部２０４は、画像回復処理により生成した出力画像である回復画像を半導体メモリや光ディスク等の画像記録媒体２０９に出力して記録させたり、表示部２０５に出力して表示させたりする。以上説明した一連の動作は、システムコントローラ２１０により制御される。

なお、撮影光学系２０１にはローパスフィルタや赤外線カットフィルタ等の光学素子を含ませてもよい。ただし、ローパスフィルタ等、撮影光学系２０１の光学伝達関数（ＯＴＦ）に影響を与える光学素子を用いる場合には、該光学素子に関する画像回復フィルタを作成する時点で該光学素子に関する考慮が必要になる。赤外カットフィルタにおいても、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルのそれぞれのＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、画像回復フィルタを作成する時点での考慮が必要になる。

なお、前述したように、撮影光学系２０１は、撮像装置に対して交換可能なものであってもよい。

実施例２では、画像処理方法を使用する（画像処理装置を搭載した）撮像装置について説明したが、本発明の画像処理方法は、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。この場合、パーソナルコンピュータが本発明の画像処理装置に相当する。パーソナルコンピュータは、撮像装置により生成された画像回復処理前の撮影画像（入力画像）を、該撮像装置から有線／無線通信を介して、または他のパーソナルコンピュータからインターネット等の回線を介して取得する。撮影画像が記録された画像記録媒体を介して該撮影画像を取得してもよい。そして、撮影画像を取得したパーソナルコンピュータは、画像処理プログラムによって画像回復処理を行い、その結果得られた回復画像を出力する。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

撮像によって劣化した画像に対して良好な画像回復処理を行うことが可能な画像処理装置や撮像装置を提供できる。

２０１ 撮影光学系
２０２ 撮像素子
２０４：画像処理部
２０７：撮影条件検知部

Claims (9)

1. 撮像装置により生成された入力画像に対して画像回復処理を行う画像処理方法であって、
   前記入力画像および該入力画像を生成した際の前記撮像装置における撮影条件に関する情報を得るステップと、
   前記撮影条件に関する情報に応じた前記撮像装置の光学伝達関数を得るステップと、
   前記光学伝達関数を用いて得られる指標値が所定値となる特定周波数をアジムス方向ごとに求めるステップと、
   前記アジムス方向ごとに求められた前記特定周波数よりも低周波数側の帯域と高周波数側の帯域とを分ける窓関数を生成するステップと、
   前記窓関数および前記光学伝達関数を用いて、前記入力画像のうち前記低周波数側の帯域に対しては前記画像回復処理を行い、前記高周波数側の帯域に対しては前記画像回復処理を制限する画像回復フィルタを生成するステップと、
   前記画像回復フィルタを用いて前記画像回復処理を行うステップとを有することを特徴とする画像処理方法。
2. 前記特定周波数は、前記指標値が前記所定値となる周波数のうち最も低い周波数であることを特徴とする請求項１に記載の画像処理方法。
3. 前記窓関数は、前記アジムス方向に応じて変化する前記特定周波数に対応する非回転対称な関数であることを特徴とする請求項１又は２に記載の画像処理方法。
4. 前記窓関数を生成するステップにおいて、前記光学伝達関数の絶対値を用いて前記窓関数を生成することを特徴とする請求項１から３のいずれか一項に記載の画像処理方法。
5. 前記特定周波数を求めるステップにおいて、前記入力画像上での位置ごとに前記特定周波数を求め、
   前記画像回復フィルタを生成するステップにおいて、前記位置ごとに前記画像回復フィルタの特性を変更することを特徴とする請求項１から４のいずれか一項に記載の画像処理方法。
6. 撮像装置により生成された入力画像に対して画像回復処理を行う画像処理装置であって、
   前記入力画像および該入力画像を生成した際の前記撮像装置における撮影条件に関する情報を得る入力部と、
   前記撮影条件に関する情報に応じた前記撮像装置の光学伝達関数を得て、該光学伝達関数を用いて得られる指標値が所定値となる特定周波数をアジムス方向ごとに求める演算部と、
   前記アジムス方向ごとに求められた前記特定周波数よりも低周波数側の帯域と高周波数側の帯域とを分ける窓関数を生成する窓関数生成部と、
   前記窓関数および前記光学伝達関数を用いて、前記入力画像のうち前記低周波数側の帯域に対しては前記画像回復処理を行い、前記高周波数側の帯域に対しては前記画像回復処理を制限する画像回復フィルタを生成するフィルタ生成部と、
   前記画像回復フィルタを用いて前記画像回復処理を行う処理部とを有することを特徴とする画像処理装置。
7. 撮影光学系により形成された被写体像を光電変換する撮像素子を含み、該撮像素子からの出力を用いて撮影画像を生成する撮像系と、
   前記撮影画像である入力画像に対して画像回復処理を行う請求項６に記載の画像処理装置とを有することを特徴とする撮像装置。
8. コンピュータに、撮像装置により生成された入力画像に対する画像回復処理を行わせる画像処理プログラムであって、
   前記入力画像および該入力画像を生成した際の前記撮像装置における撮影条件に関する情報を得るステップと、
   前記撮影条件に関する情報に応じた前記撮像装置の光学伝達関数を得るステップと、
   前記光学伝達関数を用いて得られる指標値が所定値となる特定周波数をアジムス方向ごとに求めるステップと、
   前記アジムス方向ごとに求められた前記特定周波数よりも低周波数側の帯域と高周波数側の帯域とを分ける窓関数を生成するステップと、
   前記窓関数および前記光学伝達関数を用いて、前記入力画像のうち前記低周波数側の帯域に対しては前記画像回復処理を行い、前記高周波数側の帯域に対しては前記画像回復処理を制限する画像回復フィルタを生成するステップと、
   前記画像回復フィルタを用いて前記画像回復処理を行うステップとを有することを特徴とする画像処理プログラム。
9. 撮像装置により生成された入力画像に対して画像回復処理を行う画像処理方法であって、
   前記入力画像および該入力画像を生成した際の前記撮像装置における撮影条件に関する情報を得るステップと、
   前記撮影条件に関する情報に応じた前記撮像装置の光学伝達関数を得るステップと、
   前記光学伝達関数を用いて得られる指標値が所定値となる特定周波数を求めるステップと、
   求められた前記特定周波数よりも低周波数側の帯域と高周波数側の帯域とを分ける窓関数を生成するステップと、
   前記窓関数および前記光学伝達関数を用いて、前記入力画像のうち前記低周波数側の帯域に対しては前記画像回復処理を行い、前記高周波数側の帯域に対しては前記画像回復処理を制限する画像回復フィルタを生成するステップと、
   前記画像回復フィルタを用いて前記画像回復処理を行うステップとを有することを特徴とする画像処理方法。