JP4487903B2 - 画像処理装置および方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、画像に含まれる色収差の補正処理に用いて好適な画像処理装置および方法、並びにプログラムに関する。

近年における電子カメラは小型化、高倍率、多画素化を実現すると共に高画質が要求されている。しかしながら、小型化、高倍率、かつ多画素に対応した高いMTF（Modulation Transfer Function）特性をもつレンズを製造することが非常に困難になってきている。例えばレンズを小型にすることで、画面の位置や波長によって合焦位置がズレる「収差」、画面の端にいくにつれて入射光量が減衰する「シェーディング」、画面の位置によって歪みが生じる「ディストーション」など様々な問題が発生する。

その中でレンズ特有の問題の１つに挙げられる収差、特に色収差に関して信号処理で補正を行う技術が提案されている（例えば特許文献１参照）。

同文献には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各画像ごとに、上述の撮影レンズの光軸中心の位置を定め、この位置を中心に上述の変換比率のデータに従って画像の拡大／縮小を行う解像度変換を行うことが提案されている。
特開２００３−２５５４２４号公報

しかしながら、色収差には、色によって像の倍率が異なる「倍率色収差」だけでなく、色によるピント位置の差によって起こる「軸上色収差」も含まれる。上述した文献の方法では、この「軸上色収差」に対する補正を行うことができない恐れがあった。

本発明は、このような状況に鑑みてなされたものであり、「軸上色収差」および「倍率色収差」の２つの色収差を単離することなく、適切に補正することができるようにするものである。

本発明の一側面は、画像データの色収差を補正する画像処理装置であって、RGB信号よりなる前記画像データのＧ信号を用いて、白とびが発生した白とび画素を検出する白とび画素検出手段と、前記RGB信号に対して、複数ラインに渡る空間的な信号処理を行う空間的信号処理手段と、前記空間的信号処理手段により信号処理が行われた前記RGB信号より、色信号を生成する色信号生成手段と、注目画素の周囲の所定の範囲内における、前記白とび画素検出手段により検出された前記白とび画素の分布を示す白とび分布情報を、前記画像データの各画素に対してそれぞれ作成する白とび分布情報作成手段と、前記白とび分布情報作成手段により作成された、各画素に対する前記白とび分布情報と、注目画素の白とびによる周辺画素の色収差に関する補正量である色収差量の分布を示す色収差量分布情報を用いて、各画素の色収差量を算出する色収差量算出手段と、前記色収差量算出手段により算出された前記色収差量を用いて、前記色信号生成手段により生成された前記色信号に対して各画素の色収差の補正を行い、補正済み信号を生成する補正済み信号生成手段とを備える画像処理装置である。

前記白とび画素検出手段は、注目画素に対して、所定の閾値を用いて前記白とび画素の判定を行う白とび画素閾値判定手段と、前記白とび画素閾値判定手段により白とび画素であると判定された前記注目画素の近傍に、他の白とび画素が存在するか否かを判定する白とび複数画素判定手段とを備え、前記白とび複数画素判定手段により、白とび画素である前記注目画素の近傍に他の白とび画素が存在すると判定された場合のみ、前記注目画素を白とび画素として検出することができる。

前記色収差量算出手段は、前記画像データの各画素について、前記色収差量分布情報と前記白とび分布情報を比較する比較手段を備え、前記比較手段の比較結果に基づいて、各画素の色収差量を算出することができる。

前記比較手段は、前記画像データの各画素について、前記色収差量分布情報を用いて、前記白とび分布情報に含まれる各白とび画素による注目画素の色収差量をそれぞれ求めて積分することにより、各画素の色収差量をそれぞれ算出することができる。

前記色収差量算出手段は、前記色収差の補正を行う注目画素の画面内位置に応じて、倍率色収差を補正するように、前記色収差量分布情報の分布を補正する倍率色収差補正手段を備えることができる。

前記画像データの色信号に基づいて、各画素について前記色の度合いを示す色度を算出する色度算出手段をさらに備え、前記補正済み信号生成手段は、前記色度算出手段により算出された前記色度を、前記色収差量算出手段により算出された前記色収差量に乗算し、その乗算結果を用いて前記色信号に対して各画素の色収差補正を行い、前記補正済み信号を生成することができる。

前記補正済み信号生成手段により生成された前記補正済み信号と、補正前の前記画像データの色信号を、前記補正済み信号生成手段により算出された前記乗算結果に基づいた比率で混合する混合手段をさらに備えることができる。

本発明の他の側面は、画像データの色収差を補正する画像処理装置の画像処理方法であって、前記画像処理装置の白とび画素検出手段が、RGB信号よりなる前記画像データのＧ信号を用いて、白とびが発生した白とび画素を検出し、前記画像処理装置の空間的信号処理手段が、前記RGB信号に対して、複数ラインに渡る空間的な信号処理を行い、前記画像処理装置の色信号生成手段が、前記信号処理が行われた前記RGB信号より、色信号を生成し、前記画像処理装置の白とび分布情報作成手段が、注目画素の周囲の所定の範囲内における前記白とび画素の分布を示す白とび分布情報を、前記画像データの各画素に対してそれぞれ作成し、前記画像処理装置の色収差量算出手段が、各画素に対する前記白とび分布情報と、注目画素の白とびによる周辺画素の色収差に関する補正量である色収差量の分布を示す色収差量分布情報とを用いて、各画素の色収差量を算出し、前記画像処理装置の補正済み信号生成手段が、前記色収差量を用いて、生成された前記色信号に対して各画素の色収差の補正を行い、補正済み信号を生成する画像処理方法である。

本発明の他の側面は、画像データの色収差を補正するコンピュータを、RGB信号よりなる前記画像データのＧ信号を用いて、白とびが発生した白とび画素を検出する白とび画素検出手段と、前記RGB信号に対して、複数ラインに渡る空間的な信号処理を行う空間的信号処理手段と、前記空間的信号処理手段により信号処理が行われた前記RGB信号より、色信号を生成する色信号生成手段と、注目画素の周囲の所定の範囲内における、前記白とび画素検出手段により検出された前記白とび画素の分布を示す白とび分布情報を、前記画像データの各画素に対してそれぞれ作成する白とび分布情報作成手段と、前記白とび分布情報作成手段により作成された、各画素に対する前記白とび分布情報と、注目画素の白とびによる周辺画素の色収差に関する補正量である色収差量の分布を示す色収差量分布情報を用いて、各画素の色収差量を算出する色収差量算出手段と、前記色収差量算出手段により算出された前記色収差量を用いて、前記色信号生成手段により生成された前記色信号に対して各画素の色収差の補正を行い、補正済み信号を生成する補正済み信号生成手段として機能させるプログラムである。

本発明の側面においては、RGB信号よりなる画像データのＧ信号が用いられて、白とびが発生した白とび画素が検出され、RGB信号に対して、複数ラインに渡る空間的な信号処理が行われ、信号処理が行われたRGB信号より、色信号が生成され、注目画素の周囲の所定の範囲内における白とび画素の分布を示す白とび分布情報が、画像データの各画素に対してそれぞれ作成され、各画素に対する白とび分布情報と、注目画素の白とびによる周辺画素の色収差に関する補正量である色収差量の分布を示す色収差量分布情報とが用いられて、各画素の色収差量が算出され、色収差量が用いられて、生成された色信号に対して各画素の色収差の補正が行われ、補正済み信号が生成される。

本発明の側面によれば、画像を処理することができる。特に、より容易に、より正確な色収差補正を行うことができる。

次に、本発明を適用した実施の形態について、図面を参照して説明する。

図１は、本発明を適用した撮像装置の構成例を示すブロック図である。

図１において、撮像装置１は、被写体を撮像して得られる画像をデジタルデータとして取得する装置であり、レンズ部１１、CCD（Charge Coupled Device）１２、AD（Analog / Digital）変換部１３、および画像処理部１４を有している。

レンズ部１１は、例えば、レンズ群や絞り等により構成され、被写体からの入射光を透過し、CCD１２に集光させる。CCD１２は、この入射光を受光する受光部としてのフォトダイオード等の光電変換素子を有する撮像素子であり、レンズ部１１を介して入射された入射光は、受光部において受光され、光電変換され、電気信号としてAD変換部１３に出力される。

この受光部の各フォトダイオードには、それぞれ、入射光を透過させる、赤（Ｒ）、緑（Ｇ）、または青（Ｂ）の、図示せぬ色フィルタが設けられている。入射光は、この色フィルタを通過することにより、色フィルタの各色成分のみが受光部に到達する。つまり、受光部においては、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の各成分が互いに異なる位置に入射され、光電変換される。すなわち、CCD１２は、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の各成分の電気信号をAD変換部１３に出力する。

AD変換部１３は、CCD１２より供給された各成分の電気信号（アナログ信号）をデジタル化し、そのデジタル信号（画像データ）を画像処理部１４に供給する。画像処理部１４は、供給された画像データ（Ｒ信号、Ｇ信号、およびＢ信号）に対して、その画像データに対応する画像を加工するように、信号処理（画像処理）を施し、その画像データを輝度信号および色信号として出力する。

なお、撮像装置１は、例えば、取得した画像データを記録する記録媒体等、その他の構成をさらに有するようにしても、もちろんよい。

図１に示されるように、画像処理部１４は、光学素子・撮像素子補正処理部２１、ノイズリダクション処理部２２、デモザイク処理部２３、ホワイトバランス処理部２４、γ補正部２５、Ｙ信号処理部２６、ラインメモリ２７、Ｃ信号処理部２８、および色収差補正部２９を有している。

光学素子・撮像素子補正処理部２１は、黒レベルを合わせるデジタルクランプや、レンズの周辺光量落ちを補正するシェーディング補正等の、撮像素子や光学素子等の影響に対する補正を行う処理部である。光学素子・撮像素子補正処理部２１は、AD変換部１３より供給される画像データ（Ｒ信号、Ｇ信号、およびＢ信号）を取得すると、それらに対して上述した補正を行い、補正後の画像データ（Ｒ信号、Ｇ信号、およびＢ信号）を、ノイズリダクション処理部２２に供給する。

ノイズリダクション処理部２２は、CCD１２による光学変換時や、AD変換部１３による、画素データがアナログ転送時に生じるノイズを低減させるノイズリダクション（NR（Noise Reduction））の処理を行う処理部であり、光学素子・撮像素子補正処理部２１より供給された画像データ（Ｒ信号、Ｇ信号、およびＢ信号）を取得すると、それらに対してノイズリダクションの処理を行い、処理後の画像データ（Ｒ信号、Ｇ信号、およびＢ信号）を、デモザイク処理部２３に供給する。

デモザイク処理部２３は、例えば、CCD１２においてベイヤ配列の色フィルタが用いられる等したことにより互いに空間位相がずれているＲ信号、Ｇ信号、Ｂ信号に対して、色構造を生成し、３枚のＲＧＢプレーン信号（互いに空間位置が等しいＲ信号、Ｇ信号、およびＢ信号の組）を作る。つまり、デモザイク処理部２３は、ノイズリダクション処理部２２より供給されたＲＧＢ信号（互いに空間位相がずれているＲ信号、Ｇ信号、Ｂ信号の組）に対してデモザイク処理を行い、色構造を生成してＲＧＢプレーン信号を生成し、それらをホワイトバランス処理部２４に供給する。

ホワイトバランス処理部２４は、そのＲＧＢプレーン信号の同じ空間位置のＲＧＢ信号のそれぞれに対してホワイトバランスを行い、白い被写体のＲＧＢレベルが等しくなるようにゲインを乗算し、そのＲＧＢ信号をγ（ガンマ）補正部２５に供給する。

γ補正部２５は、供給されたＲＧＢ信号（Ｒ信号、Ｇ信号、およびＢ信号の組）に対して、画像の明るさの変化に対する電圧換算値の変化の比であるγ（ガンマ）値を補正することにより、素子の特性等を吸収させ、より自然に近い表示を得るようにする。γ補正部２５は、γ補正後のＲＧＢ信号をＹ信号処理部２６およびＣ信号処理部２８に供給する。

Ｙ信号処理部２６は、γ補正部２５より供給されたＲＧＢ信号を用いて、以下の式（１）を演算することにより、輝度信号（Ｙ信号）を生成する。

Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂ ・・・（１）

式（１）において、Ｙは、輝度値（Ｙ信号の値）を示し、Ｒは、Ｒ信号の信号レベル（赤成分の量）を示し、Ｇは、Ｇ信号の信号レベル（緑成分の量）を示し、Ｂは、Ｂ信号の信号レベル（青成分の量）を示している。

Ｙ信号処理部２６は、得られた輝度信号（Ｙ信号）をラインメモリ２７および色収差補正部２９に供給する。

ラインメモリ２７は、SRAM（Static Random Access Memory）やDRAM（Dynamic Random Access Memory）等の揮発性の半導体メモリ等により構成され、画面の水平方向の画素列（ライン）単位で、画像データを一時的に保持する記憶部である。ラインメモリ２７は、Ｙ信号処理部２６より供給される画像データ（Ｙ信号）を所定のライン数分、所定の期間保持し、色収差補正部２９より出力される色信号（Ｃｒ信号、Ｃｂ信号）の出力タイミングに対応するようなタイミングで、保持しているＹ信号を出力する。

Ｃ信号処理部２８は、γ補正部２５より供給されたＲＧＢ信号を用いて、以下の式（２）および式（３）を演算することにより、色信号（Ｃｒ信号およびＣｂ信号）を生成する。

Ｃｒ（Ｒ−Ｙ）＝ ０．７Ｒ−０．６Ｇ−０．１Ｂ ・・・（２）
Ｃｂ（Ｂ−Ｙ）＝ −０．３Ｒ−０．６Ｇ＋０．９Ｂ ・・・（３）

式（２）および式（３）において、左辺のＣｒ（Ｒ−Ｙ）およびＣｂ（Ｂ−Ｙ）は、各色信号の値を示し、右辺のＲは、Ｒ信号の信号レベル（赤成分の量）を示し、Ｇは、Ｇ信号の信号レベル（緑成分の量）を示し、Ｂは、Ｂ信号の信号レベル（青成分の量）を示している。

Ｃ信号処理部２８は、得られた色信号（Ｃｒ信号およびＣｂ信号）を色収差補正部２９に供給する。

色収差補正部２９は、供給されたＹ信号、Ｃｒ信号、およびＣｂ信号に基づいて、その画像データに含まれる、軸上色収差や倍率色収差等の色収差の補正を行い、補正後のＣｒ信号やＣｂ信号を出力する。

色収差補正部２９は、色収差補正として、Ｙ信号（または、ＲＧＢ信号のいずれか）の信号レベルが飽和した「白とび」の周辺画素の色が「紫色」であるときに対象画素の色消しを行う。

色収差の影響は、木の木漏れ日等のように、コントラストの大きい画像において特に顕著であり、そのような画像においては、色収差補正の効果が大きい。換言すると、白とびがないところでは色収差が発生しても目立たず、その補正の効果も小さい。また、一般的に、緑（Ｇ）値が小さい紫色は輝度値（Ｙ）も小さくなるので、紫色の画像付近において白とびが発生する可能性は非常に低い。換言すると、白とびの周辺において、元々紫色の画像（色収差によるものでない紫色）が存在する可能性は、非常に低い。従って、色収差補正部２９は、「白とび」の周辺（近傍）に発生する紫色を、色収差によるものと見なして補正する（色消しを行う）。

このように、白とびの発生した画素を考慮して補正を行うことにより、色収差補正部２９は、不要な補正を低減し、より正確に適切な補正を行うことができる。

また、色収差の影響により、紫色、緑色などの色が見えることがあるが、一般的に、輝度値（Ｙ）が大きい場合、緑（Ｇ）値も大きくなるため、白とび周辺に元々緑色（色収差によるものでない緑色）が存在する可能性が高い。つまり、不用意に緑色を消すようにすると、例えば、木の木漏れ日を撮影したときに木の葉の色を消してしまう恐れがある。従って、色収差補正部２９は、緑色に関して補正を行わない。

このように、補正対象の色を限定して補正を行うことにより、色収差補正部２９は、不要な補正を低減し、より正確に適切な補正を行うことができる。

図２は、図１の色収差補正部２９の詳細な構成例を示すブロック図である。

図２において、色収差補正部２９は、白とび判定部４１、白とび情報保持部４２、色収差量算出部４３、ラインメモリ４４、紫領域算出部４５、補正済み信号生成部４６、補正リミッタ４７、ぼかし４８、および混合処理部４９を有している。

白とび判定部４１は、Ｙ信号処理部２６（図１）より供給された輝度信号（Ｙ信号）の信号レベルが所定の閾値以上である（輝度値が飽和した）か否かを画素毎に判定し、その判定結果（例えば１ビットの情報）を白とび情報保持部４２に供給する。判定方法の詳細については後述する。例えば、白とび判定部４１は、白とびが発生した画素（白とび画素）に対して、値「１」を判定結果として白とび情報保持部４２に供給し、白とびが発生しなかった画素に対して、値「０」を判定結果として白とび情報保持部４２に供給する。なお、この判定結果を示す情報のビット数や値は任意であるが、情報量は少ないほど負荷が軽減される。

白とび情報保持部４２は、RAM（Random Access Memory）等の記憶媒体を内蔵し、記憶領域を有する。白とび情報保持部４２は、その記憶領域を用いて、白とび判定部４１より供給される各画素の判定結果（各画素が白とび画素であるか否かを示す情報）を一時的に保持する。白とび情報保持部４２は、その保持している情報から、次の色収差量算出部４３における注目画素に対する周囲の白とび画素の分布を示す白とびマップを作成し、それを色収差量算出部４３に供給する。白とびマップの詳細については後述する。

色収差量算出部４３は、RAMやROM（Read Only Memory）等の記憶媒体を内蔵し、その記憶領域に、注目画素周辺の色収差の補正量（色収差量）に関する情報である色収差モデルを記憶している。色収差量算出部４３は、その色収差モデルより、色収差量の分布を示す色収差マップを生成する。色収差モデルおよび色収差マップの詳細については後述する。

色収差量算出部４３は、その色収差マップと、白とび情報保持部４３より供給される白とびマップとを用いて、周囲の白とび画素による注目画素の色収差量の積分値を算出し、その算出した色収差量を補正済み信号生成部４６に供給する。

ラインメモリ４４は、RAM等の記憶媒体を内蔵し、その記憶領域を用いて、Ｃ信号処理部２８より供給される色信号（Ｃｒ信号およびＣｂ信号）を、例えば画面のライン毎に所定の期間保持する（複数ライン分の色信号を保持する）。そして、ラインメモリ４４は、その保持している色信号の一部または全部を、紫領域算出部４５、補正済み信号生成部４６、および混合処理部４９に、それぞれ所定のタイミングで供給する。

紫領域算出部４５は、ラインメモリ４４より供給される色信号（Ｃｒ信号およびＣｂ信号）から、各画素の紫度（どれだけ紫色に近いかを示す度合い）を算出し、その算出結果を補正済み信号生成部４６に供給する。つまり、紫領域算出部４５は、画面内の紫色の部分（紫領域）を特定する。この算出方法の詳細については後述する。

補正済み信号生成部４６は、色収差量算出部４３より供給された色収差量、および紫領域算出部４５より供給された紫度に基づいて、上述したような白とびに応じた色収差量（白とび画素近傍の紫色の画素に対する色収差の補正量）を算出し、その値を用いて、ラインメモリ４４より供給された、補正されていない色信号である無補正信号に対して色収差補正を行い、補正済み信号を生成する。この色収差補正の詳細については後述する。補正済み信号生成部４６は、生成した補正済み信号を補正リミッタ４７に供給する。また、補正済み信号生成部４６は、白とびに応じた色収差量を混合処理部４９に供給する。

補正リミッタ４７は、補正済み信号生成部４６より供給された補正済み信号について、彩度の低下量の補正を実行する。すなわち、補正リミッタ４７は、補正済み信号生成部４６における補正処理により彩度を低下させすぎた部分などを検出し、周辺の画素の彩度を参考にした彩度補正処理を行う。

補正リミッタ４７は、補正済み信号生成部４６において彩度低下処理が実行された画素、すなわち、主として色収差補正が行われた画素を補正対象として選択して補正処理を行う。このような彩度補正において、その対象範囲は彩度を落とした部分になるため、彩度削減率が０でない画素を選択することが必要となる。従って、補正リミッタ４７は、図示は省略するが、補正済み信号とともに彩度削減率に関する情報も取得し、彩度削減率が「０」でない画素について、彩度補正を行う。補正リミッタ４７は、彩度補正を行った補正済み信号をぼかし４８に供給する。

ぼかし４８は、補正リミッタ４７より供給された信号に対して、ローパスフィルタ（LPF）を用いて、ぼかし処理を施し、補正ムラの修正を行う。ぼかし４８は、修正した補正済み信号を混合処理部４９に供給する。

以上のように、補正リミッタ４７およびぼかし４８によって補正済み信号をさらに処理することにより、画像として不自然で目立つ補正を低減させることができるので、色収差補正部２９は、より自然な色収差補正結果を得ることができる。

混合処理部４９は、ラインメモリ４４より供給される無補正信号と、ぼかし４８より供給される補正済み信号とを、補正済み信号生成部４６より供給される白とびに応じた色収差量に基づいて混合し、補正後信号（混合信号）を生成し、それを出力する。つまり、混合処理部４９は、色収差量に基づいて２信号の混合比を決定することにより、色収差補正を行った画素に対しては補正済み信号を強調するように、色収差補正を行っていない画素に対しては無補正信号を強調するように、２信号（補正済み信号および無補正信号）を混合する。このように２信号の混合を行うことにより、混合処理部４９は、色収差補正された信号に、補正前の信号を反映させることができ、より自然な補正後信号を得ることができる。なお、混合処理の具体的な方法については後述する。

図３は、図２の白とび判定部４１の詳細な構成例を示すブロック図である。

図３において、白とび判定部４１は、白とび画素閾値判定部６１、白とび複数画素判定部６２、および判定結果保持部６３を有している。

白とび画素閾値判定部６１は、入力された輝度信号（Ｙ信号）から、各画素の輝度値を参照し、予め定められた所定の閾値より大きいか否か（信号レベルが飽和しているか否か）を判定し、その判定結果（閾値判定結果）を白とび複数画素判定部６２に供給する。この閾値の値は、どのような値であってもよいが、白とび画素を検出するための閾値であるので、一般的には、輝度値のレンジ幅の最大値近傍の、十分に大きな値に設定される。

白とび複数画素判定部６２は、白とび画素閾値判定部６１より供給された判定結果を判定結果保持部６３に供給し、保持させる。また、白とび複数画素判定部６２は、その供給された判定結果に基づいて、注目画素が白とび画素であるかを確認し、白とび画素である場合、その周辺の画素の判定結果を判定結果保持部６３より取得し、注目画素近傍に白とび画素が存在するか否かを判定する。つまり、白とび複数画素判定部６２は、互いに連続または近接する複数の白とび画素を検出する。白とび複数画素判定部６２は、このようにして得られた判定結果（互いに連続または近接する複数の白とび画素の情報）を、白とび判定結果として、白とび情報保持部４２に供給する。

白とびは、例えば光源を撮影した場合などに発生するため、一般的に、複数画素に渡って発生することが多く、１つの画素単独で発生する可能性は極めて低い。換言すると、１つの画素単独で発生した白とびは、画素の欠陥による可能性が高い。そこで、白とび複数画素判定部６２は、上述したように、１画素のみの白とびを無視し、複数画素に渡って発生した白とびのみ検出することにより、欠陥画素等の誤検出を抑制する。

このように、白とび判定部４１は、白とび画素閾値判定部６１において閾値判定を行うだけでなく、白とび複数画素判定部６２によって周囲の白とび画素の存在も確認するので、より正確に白とび画素を検出することができる。

なお、判定結果保持部６３は、実質的に、注目画素近傍（所定の範囲）の各画素の判定結果（例えば、１ビットの情報）を保持することができるのであれば、どのような情報を保持するようにしてもよく、例えば、注目画素の近傍画素となりうる各画素の判定結果を全て保持し、近傍画素となる可能性の無くなった画素の判定結果から順に破棄するようにしてもよいし、白とび画素と判定された画素のアドレス情報を保持するようにしてもよい。どのような手法を用いてどのような情報を保持するかは、任意であり、例えば、保持する情報量や処理の負荷の大小等に基づいて最適なものを適用すればよい。

図４は、図２の色収差量算出部４３の詳細な構成例を示すブロック図である。

図４において、色収差量算出部４３は、色収差モデル保持部７１、色収差マップ生成部７２、色収差マップ保持部７３、倍率色収差情報保持部７４、倍率色収差補正部７５、およびマップ比較部７６を有している。

色収差モデル保持部７１は、ROMやRAM等を内蔵し、その記憶領域に色収差モデルを予め保持している。色収差モデルは、１画素の白とびがある場合に、その周囲に対して収差の影響がどれくらいあるかを示す色収差マップを生成するためのモデル情報である。

つまり、色収差マップとは、１つの白とび画素の周辺に発生する、その白とびによる色収差量（色収差の度合い）の分布の様子を示す情報であり、色収差モデルは、その色収差マップを生成するための情報であればどのような情報であってもよい。

色収差マップの詳細については後述するが、色収差モデルが、例えば、白とび画素からの距離と、色収差量との関係を示すテーブル情報であり、色収差マップが、そのテーブル情報に基づいて算出した、白とび画素を中心とする、その周囲の各画素の色収差量のマップ情報であるようにしてもよい。また、色収差モデルが色収差マップの一部または全部（マップ情報）であってもよい。

色収差モデル保持部７１は、その色収差モデルを、色収差マップ生成部７２の要求に基づいて、色収差マップ生成部７２に供給する。

色収差マップ生成部７２は、色収差モデル保持部７２より供給された色収差モデルを用いて、上述した色収差マップを生成し、それを色収差マップ保持部７３に供給する。

色収差マップ保持部７３は、RAM等を内蔵しており、その記憶領域に、色収差マップ生成部７２より供給された色収差マップを一時的に保持し、マップ比較部７６の要求に基づいて、その色収差マップをマップ比較部７６に供給する。

倍率色収差情報保持部７４は、ROMやRAM等を内蔵し、その記憶領域に、画面内の各画素において倍率色収差がどの程度発生するかを示す倍率色収差情報を予め保持している。詳細については後述するが、波長の差が像倍率の違いとなって現れる倍率色収差は、特に画面周辺部で大きく発生する。倍率色収差情報は、この画面内の位置と倍率色収差量との関係を示す情報であり、テーブル情報や演算式など、どのような情報であってもよい。倍率色収差情報保持部７４は、倍率色収差補正部７５の要求に基づいて、この倍率色収差情報を、倍率色収差補正部７５に供給する。

倍率色収差補正部７５は、倍率色収差情報保持部７４より倍率色収差情報を取得して参照し、マップ比較部７６における注目画素において倍率色収差が発生するか否かを確認し、発生する場合、その倍率色収差情報に基づいて、色収差マップ保持部７３に保持されている色収差マップを補正する。色収差マップ保持部７３は、その注目画素の処理のために、補正された色収差マップを、マップ比較部７６に供給する。

このように、色収差マップ保持部７３は、画素毎に色収差マップをマップ比較部７６に供給する。

マップ比較部７６は、その色収差マップと、白とび情報保持部４２（図２）より供給される白とびマップの２つのマップのマッチングをとることで、各画素の白とびに対応した色収差量を算出し、それを補正済み信号生成部４６に供給する。マップ比較部７６の詳細については後述する。

このとき、補正対象画素（注目画素）から最近接の白とび画素までの距離に対して補正量を決める方法も考えられるが、実際には補正対象画素が周囲にどれだけハイコントラストな被写体があるかによって色収差量が決まるため、マップ比較部７６は、最近接白とびまでの距離で補正量を算出するよりも、すべての白とび情報を積分して補正量を決定する方法の方が、処理がより容易になるだけでなく、より正確に色収差量を算出することができる。

また、倍率色収差を考慮して色収差量を算出するので、色収差量算出部４３は、より正確に色収差量を算出することができる。

図５は、図２の紫領域算出部４５の詳細な構成例を示すブロック図である。

図５において、紫領域算出部４５は、第１補正値算出部８１、第２補正値算出部８２、および補正値選択部８３を有している。

紫領域算出部４５は、補正対象画素の色である紫色を検出し、その紫色の領域に対して大きな重みがかかるような値（紫度）を出力する処理部であるが、その際、後述するように２つの補正式を用いて、色信号値から２つの補正値を算出し、そのうち一方を選択する。

第１補正値算出部８１は、Ｃｒ信号およびＣｂ信号から、その一方の補正式を用いて一方の補正値（第１補正値）を算出し、それを補正値選択部８３に供給する。同様に、第２補正値算出部８２は、Ｃｒ信号およびＣｂ信号から、その他方の補正式を用いて他方の補正値（第２補正値）を算出し、それを補正値選択部８３に供給する。

補正値選択部８３は、第１補正値算出部８１より供給される第１補正値、および、第２補正値算出部８２より供給される第２補正値のうち、値の小さい方を選択し、それを紫度として出力する。

つまり、第１補正値算出部８１および第２補正値算出部８２が演算に用いる２つの補正式（詳細については後述する）は、紫色に対して重み付けを行う式である。

なお、以上においては、紫領域算出部４５が演算式により紫度を算出するように説明したが、紫度の算出方法はこれに限らず、例えば、紫領域算出部４５がテーブル情報に基づいて紫度を算出するようにしてもよい。

図６は、図２の補正済み信号生成部４６の詳細な構成例を示すブロック図である。

図６において、補正済み信号生成部４６は、乗算器９１、減算器９２、および乗算器９３を有している。

乗算器９１は、紫度Ｐと色収差量Ａを乗算し、その乗算結果である白とびに応じた色収差量（色消しゲイン）P*A（０≦P*A≦１）を、減算器９２および混合処理部４９（図２）に供給する。

減算器９２は、値「１」から白とびに応じた色収差量P*Aを減算することにより、白とびに応じた色収差量P*Aを反転させて補正ゲイン１−P*A（０≦１−P*A≦１）を算出し、その補正ゲイン１−P*Aを乗算器９３に供給する。

乗算器９３は、色信号の信号値（ＣｒおよびＣｂ）と補正ゲイン１−P*Aを乗算することにより、Ｃｒ*（１−P*A）およびＣｂ*（１−P*A）を算出し、それらを補正済み信号として補正リミッタ４７に供給する。

すなわち、乗算器９１が紫度Ｐと色収差量Ａを乗算することにより、注目画素が、白とびの近傍に存在する紫領域（色収差により発生した紫である可能性が高く、かつ、その収差量が大きい領域）の画素に対して色収差量（白とびに応じた色収差量）を大きく設定することができる。

また、減算器９２および乗算器９３を用いて、その白とびに応じた色収差量P*Aを反転させて色信号の信号値（ＣｒおよびＣｂ）に乗算させることにより、補正済み信号生成部４６は、色信号に対して、乗算器９１により設定された色収差量に応じた量の補正を行うことができる。

つまり、補正済み信号生成部４６は、このような構成をとることにより、色収差に対する補正を、より簡単な構成で、より容易に、かつ、より正確に行うことができる。

図７は、図２の混合処理部４９の詳細な構成例を示すブロック図である。

図７において、混合処理部４９は、乗算器１０１、減算器１０２、乗算器１０３、および加算器１０４を有している。

乗算器１０１は、無補正信号と色消しゲイン（白とびに応じた色収差量）P*Aを乗算し、その乗算結果を加算器１０４に供給する。

減算器１０２は、値「１」から色消しゲインP*Aを減算することにより、色消しゲインP*Aを反転させて補正ゲイン１−P*Aを算出し、その補正ゲイン１−P*Aを乗算器１０３に供給する。

乗算器１０３は、乗算器１０１より供給された、補正済み信号に、色消しゲインP*Aの反転値である補正ゲイン１−P*Aを乗算し、その乗算結果を加算器１０４に供給する。

加算器１０４は、乗算器１０１の乗算結果と、乗算器１０３の乗算結果を加算し、その加算結果を補正後信号（混合信号）として出力する。

つまり、混合処理部４９は、乗算器１０１および乗算器１０３において、それぞれ、色消しゲインの値に応じて、無補正信号と補正済み信号に対して重み付けを行わせ、加算器１０４において、それらの値が加算（混合）されて補正後信号（混合信号）が作成されようにする。このようにすることにより、色収差補正部２９は、補正後の画像にさらに補正前の画像を反映させることができ、より自然で適切な色収差補正結果を得ることができる。

次に、以上に説明した各部により実行させる各処理の流れについて説明する。

最初に、図１の画像処理部１４による画像処理全体の流れの例を、図８のフローチャートを参照して説明する。

AD変換部１３より画像信号（デジタルデータ）が供給されると、画像処理部１４は画像処理を開始する。画像処理が開始されると、ステップＳ１において、光学素子・撮像素子補正処理部２１が画像信号に対して光学素子・撮像素子補正処理を行い、ステップＳ２において、ノイズリダクション処理部２２が画像信号に対してノイズリダクション処理を行い、ステップＳ３において、デモザイク処理部２３が画像信号に対してデモザイク処理を行い、ステップＳ４において、ホワイトバランス処理部２４が画像信号に対してホワイトバランス処理を行い、ステップＳ５において、γ補正部２５が画像信号に対してγ補正処理を行う。

γ補正処理が終了すると、Ｙ信号処理部２６は、ステップＳ６において、γ補正された画像信号（RGB信号）より輝度信号（Ｙ信号）を生成し、ラインメモリ２７は、ステップＳ７においてその輝度信号（Ｙ信号）を保持する。また、Ｃ信号処理部２８は、ステップＳ８において、γ補正された画像信号（RGB信号）より色信号（Ｃｒ信号およびＣｂ信号）を生成する。

色収差補正部２９は、ステップＳ９において、Ｙ信号処理部２６において生成された輝度信号を用いて、Ｃ信号処理部２８により生成された色信号の色収差を補正する色収差補正処理を行う。色収差補正処理の詳細は、図９のフローチャートを参照して説明する。色収差補正処理が終了すると、ラインメモリ２７および色収差補正部２９は、それぞれ、輝度信号および色信号を関連付けて画像処理部１４の外部に出力し、画像処理を終了する。

画像処理部１４は、以上のような画像処理を繰り返し、AD変換部１３より供給される画像信号を処理する。このように、画像処理部１４は、画像信号に対して、より正確な色収差補正を、より容易に行うことができる。

次に、図８のステップＳ９において実行される色収差補正処理の詳細な流れの例を、図９のフローチャートを参照して説明する。また、必要に応じて、図１０を参照して説明する。

色収差補正処理が開始されると、白とび判定部４１は、ステップＳ２１において、Ｙ信号処理部２６より供給された輝度信号（Ｙ信号）に対して白とび判定処理を行う。白とび判定処理の詳細は、図１１フローチャートを参照して説明する。白とび判定処理を終了すると、白とび情報保持部４２は、ステップＳ２２において、判定結果を保持し、ステップＳ２３において、図１０に示されるような、色収差算出部４３による色収差算出処理の注目画素についての白とびマップを作成する。

図１０は、白とびマップの構成例を説明する模式図である。

図１０において、白とびマップ１１１は、注目画素１１２の近傍における白とび画素１１３の分布を示すマップ情報である。図１０の例の場合、白とびマップ１１１は、注目画素を中心とする９画素×９画素のマップ情報であり、注目画素の座標を（０，０）とし、図中左右方向に、左から右に向かって「−４」、「−３」、「−２」・・・、「４」のように、ｘ座標が設定され、図中上下方向に、下から上に向かって「−４」、「−３」、「−２」・・・、「４」のように、ｙ座標が設定されている。つまり、白とびマップ１１１は、所定の範囲内の白とび画素の、注目画素に対する相対座標情報を有している。この場合、白とび画素１１３の座標は（２，２）である。

なお、この画像処理部１４で処理される画像信号において、各画素の画素値は、ライン毎に左端の画素から右端の画素まで整列された１ラインの画素値群が、１番上のラインから順に１番下のラインまで整列されている。つまり、画像信号は、画像の左上端の画素から右方向に１画素ずつ進み、下方向に１ラインずつ進むように処理される。

白とび情報保持部４２は、この処理順どおりに判定結果を保持していくので、図１０の白とびマップ１１１の画素配列は、処理対象の画像信号の画像に対応している（左右方向は逆向き）。つまり、図１０の白とびマップ１１１は、判定結果のマトリクスであるが、この白とびマップ１１１において、座標値の小さいほど（水平方向については左側ほど、垂直方向については下側ほど）最近保持された新しい判定結果である。

なお、白とびマップは、図１０に示される情報と同等の情報を有していればどのような情報であってもよい。

図９に戻り、以上のような白とびマップを作成した白とび情報保持部４２は、その作成した白とびマップを色収差量算出部４３に供給する。白とびマップを取得すると、色収差量算出部４３は、ステップＳ２４において、色収差量算出処理を行う。色収差量算出処理の詳細については、図１２のフローチャートを参照して後述する。

また、紫領域算出部４５は、ステップＳ２５において、ラインメモリ４４より色信号を取得し、紫領域算出処理を行う。紫領域算出処理の詳細については、図１７のフローチャートを参照して後述する。

ステップＳ２６において、補正済み信号生成部４６は、補正済み信号生成処理を行う。補正済み信号生成処理の詳細については、図１９のフローチャートを参照して後述する。補正済み信号生成処理が終了すると、その補正済み信号に対して、補正リミッタ４７がステップＳ２７において補正済み信号に対して補正リミッタ処理を行い、ぼかし４８がステップＳ２８においてぼかし処理を行う。

ステップＳ２９において、混合処理部４９は、白とびに応じた色収差量（色消しゲイン）に基づいて、無補正信号と補正済み信号の混合処理を行う。混合処理の詳細については、図２０のフローチャートを参照して後述する。混合処理が終了し、補正後信号が出力されると、色収差補正部２９は、色収差補正処理を終了し、図８のステップＳ９に処理を戻し、ステップＳ１０以降の処理を実行させる。

次に、図９の各処理の詳細について説明する。最初に、図９のステップＳ２１において実行される白とび判定処理の詳細な流れの例を、図１１のフローチャートを参照して説明する。

輝度信号が供給されると白とび判定部４１は、白とび判定処理を開始する。白とび判定処理が開始されると、白とび画素閾値判定部６１は、ステップＳ４１において、閾値を用いて、処理対象である注目画素の白とび画素判定を行う。すなわち、白とび画素閾値判定部６１は、入力された輝度信号の注目画素の輝度値を、予め保持している所定の閾値と比較し、注目画素が白とび画素となりうるか否か（輝度値が飽和しているか否か）を判定する。

ステップＳ４２において、判定結果保持部６３は、白とび複数画素判定部６２を介して、その注目画素に関する閾値判定結果を取得すると、それを保持する。ステップＳ４３において、白とび複数画素判定部６２は、閾値判定結果に基づいて、白とび画素閾値判定部６１において注目画素が白とび判定されたか否かを判定する。白とび判定されたと判定した場合、白とび複数画素判定部６２は、処理をステップＳ４４に進め、判定結果保持部６３より、注目画素の近傍（図１０の例の場合、注目画素を中心とする９画素×９画素）の画素（近傍画素）の判定結果を取得する。

近傍画素の判定結果を取得すると、白とび複数画素判定部６２は、ステップＳ４５において、その近傍画素の判定結果に基づいて、注目画素近傍に白とび判定された画素が存在するか否かを判定し、存在すると判定した場合、処理をステップＳ４６に進め、注目画素を白とび画素と判定し、その判定結果を白とび情報保持部４２に供給する。判定結果を供給すると白とび複数画素判定部６２は、白とび判定処理を終了し、処理を図９のステップＳ２１に戻し、ステップＳ２２以降の処理を実行させる。

また、ステップＳ４５において、注目画素近傍に白とび判定された画素が存在しないと判定した場合、白とび複数画素判定部６２は、処理をステップＳ４７に進め、その注目画素を欠陥画素として無視し、その判定結果を白とび情報保持部４２に供給する。判定結果を供給すると白とび複数画素判定部６２は、白とび判定処理を終了し、処理を図９のステップＳ２１に戻し、ステップＳ２２以降の処理を実行させる。

さらに、ステップＳ４３において、白とび画素閾値判定部６１において注目画素が白とび判定されなかったと判定した場合、白とび複数画素判定部６２は、処理をステップＳ４８に進め、注目画素を白とびしなかった画素と判定して無視し、その判定結果を白とび情報保持部４２に供給する。判定結果を供給すると白とび複数画素判定部６２は、白とび判定処理を終了し、処理を図９のステップＳ２１に戻し、ステップＳ２２以降の処理を実行させる。

以上のように、注目画素の閾値判定だけでなく、近傍画素の判定結果も含めて、注目画素が白とび画素であるか否かを判定することにより、白とび判定部４１は、欠陥画素の白とびを無視することができ、より正確な白とび画素の検出を行うことができる。すなわち、色収差補正部２９は、この白とび画素の検出結果を用いることにより、より正確な色収差補正を行うことができる。

次に、図９のステップＳ２４において実行される色収差量算出処理の詳細な流れの例を、図１２のフローチャートを参照して説明する。また、必要に応じて、図１３乃至図１６を参照して説明する。

色収差量算出処理が開始されると、色収差マップ生成部７２は、ステップＳ６１において、色収差モデル保持部７１より色収差モデルを取得し、ステップＳ６２において、その色収差モデルに基づいて、図１３に示されるような色収差マップを生成する。

図１３は、色収差マップの構成例を説明する模式図である。

図１３において、色収差マップ１２１は、注目画素の周囲の色収差量の分布の様子を示すマップ情報であり、図１０の白とびマップ１１１と同様に、処理対象の注目画素を中心とする９画素×９画素のマップ情報である。ただし、この色収差マップ１２１においては、９画素×９画素の全画素に、それぞれ、色収差量が割り当てられている。つまり、図１３の例の場合、色収差マップ１２１は、８１個の色収差量の情報が９×９のマトリクス状に配置されている。

なお、色収差マップは、図１３に示される枠１２３内のように、色収差マップ１２１の一部のみとしてもよい。このようにすることにより色収差マップの情報量を削減することができ、色収差マップを用いた各処理の負荷を軽減させることができ、回路規模の縮小や、製造や運用等のコストを低減させることができる。なお、後述するように、この色収差マップは、図１０の白とびマップ１１１とマッチング（位置合わせ）させて利用されるが、枠１２３内のみの情報を色収差マップとして利用する場合、座標変換を行うことにより、マッチングを成立させることができる。

図１２に戻り、色収差マップが生成されると、色収差マップ保持部７３は、ステップＳ６３において、それを取得して保持する。ステップＳ６４において、マップ比較部７６は、白とび情報保持部４２より、注目画素の白とびマップを取得する。白とび情報保持部４２は、保持している白とび判定部４１より供給される判定結果群から、マップ比較部７６における注目画素の近傍画素の判定結果を抽出して、その注目画素の白とびマップを作成し、所定のタイミングでそれをマップ比較部７６に供給する。マップ比較部７６は、その白とびマップを取得する。なお、マップ比較部７６が白とび情報保持部４２に白とびマップの供給を要求し、その要求に基づいて白とびマップが白とび情報保持部４２からマップ比較部７６に供給されるようにしてもよい。

ステップＳ６５において、倍率色収差補正部７５は、倍率色収差情報保持部７４より倍率色収差情報を取得する。倍率色収差は、各色の波長の差が像倍率の違いとなって現れる現象であるが、この倍率色収差によって、図１４に示されるように、画像の端付近において色収差の分布に歪みが生じる。

図１４は、倍率色収差の例を説明する模式図である。図１４において、画面１３１の中央付近の画素１３２Ａの周囲では、顕著な倍率色収差は発生せず、波長によって光軸上の焦点位置が異なることにより発生する軸上色収差によるものが主となり、その色収差の分布１３３Ａは、画素１３２Ａを中心として略均等に広がる。これに対して、画面１３１の端の画素の周囲では、顕著な倍率色収差が発生するので、色収差の分布に偏りが生じる。例えば、図１４の場合、画面１３１の左上端の画素１３２Ｂの分布１３３Ｂは、その中心が、画素１３２Ｂより左上にずれており、画面１３１の右下端の画素１３２Ｃの分布１３３Ｃは、その中心が、画素１３２Ｃより右下にずれている。

従って、色収差マップは、注目画素の画面内位置に応じて補正を行う必要がある。図１２のステップＳ６５において、倍率色収差補正部７５が取得した倍率色収差情報は、このような、画面内位置と色収差分布のずれとの関係を示す情報を含んでいる。図１２のステップＳ６６において、倍率色収差補正部７５は、取得した倍率色収差情報を参照し、注目画素の画面内位置に基づいて、倍率色収差補正が必要であるか否かを判定する。

注目画素が画面の端付近の画素であり、倍率色収差補正が必要であると判定した場合、倍率色収差補正部７５は、処理をステップＳ６７に進め、倍率色収差情報に基づいて、色収差マップのマップシフト量を算出し、ステップＳ６８において、色収差マップ保持部７３に保持されている色収差マップをシフトして、倍率色収差によるずれを補正した色収差マップを生成する。この補正後の色収差マップも色収差マップ保持部７３に保持される。

ステップＳ６８の処理を終了すると、倍率色収差補正部７５は、処理をステップＳ６９に進める。また、ステップＳ６６において、注目画素が画面中央付近の画素であり、倍率色収差補正が必要でないと判定した場合、倍率色収差補正部７５は、ステップＳ６７およびステップＳ６８の処理を省略し、ステップＳ６９に進める。

ステップＳ６９において、マップ比較部７６は、色収差マップ保持部７３が保持している色収差マップ（倍率色収差に対する補正が行われた場合、その補正後の色収差マップ）を取得し、白とびマップおよび色収差マップに基づいて色収差量を算出する。

図１５は、倍率色収差が無い場合のマッチング方法の例を説明する図である。

図１５の一番左に示されるように、白とびマップ１４０において、注目画素１４１の座標が（０，０）であり、その近傍の座標（２，２）に白とび画素１４２が存在するとする。マップ比較部７６は、この白とび画素に色収差マップの注目画素（座標（０，０））をマッチングさせるために、白とびマップ１４０の各画素をシフトする（ｘ座標およびｙ座標に「−２」を加算する）。図１５の中央に示されるように、色収差マップ１４３は、分布１４４の一部の情報であるが、このシフトによって、白とび画素１４２は、分布１４４の中心（色収差マップ１４３における注目画素）にマッチングされる。

このマッチングにより、白とびマップ１４０における注目画素１４１の座標は（−２，−２）にシフトされており、色収差マップ１４３上に位置していないが、その場合、マップ比較部７６は、図１５の一番右に示されるように、座標変換を行い、ｘ座標およびｙ座標をそれぞれ絶対値化することにより、注目画素１４１を座標（２，２）の注目画素１４５の位置に移動させ、色収差マップ１４３上に位置させる。

つまり、注目画素１４５の位置（２，２）の色収差量が、白とび画素１４２に起因する注目画素１４１の色収差量になる。白とびマップ１４０の注目画素の周囲に白とび画素が複数存在する場合、マップ比較部７６は、各白とび画素に対して上述のマッチング処理を行い、各白とび画素による色収差量の積分（合計）値を、注目画素の色収差量とする。

このように、マップ比較部７６は、白とびマップの白とび画素を色収差マップの注目画素にマッチングさせ、さらに必要に応じて座標変換を行い、注目画素を色収差マップ上に移動させ、その色収差マップから注目画素の位置の色収差量を求める処理を、白とびマップの全白とび画素のそれぞれについて行い、全白とび画素に対応する色収差量の積分値を注目画素の色収差量とする。

換言すると、マップ比較部７６は、白とびマップの注目画素を、色収差マップの注目画素にマッチングさせ、さらに、必要に応じて座標変換を行い、白とび画素を色収差マップ上に移動させ、その色収差マップから白とび画素の位置の色収差量を全て求め、それらの積分値を注目画素の色収差量とする。

実際の色収差の場合、注目画素である補正対象画素は周囲にどれだけハイコントラストな被写体があるかで色収差量が決まる。従って、色収差量算出部４３は、上述したように、補正範囲内（白とびマップ内）の全ての白とび画素に対して色収差マップを適用し、すべての白とび画素からの情報を積分することで補正量を算出することにより、注目画素である補正対象画素から最も近接する白とび画素までの距離に基づいて補正量を決定する方法と比べて、より正確に色収差量を算出することができる。また、マップ情報をマッチングさせるだけなので、注目画素である補正対象画素から最も近接する白とび画素までの距離に基づいて補正量を決定する方法のように複雑な演算を行う必要が無く、色収差量算出部４３は、より容易に色収差量を算出することができる。つまり、色収差補正部２９は、より容易に、より正確な色収差補正を行うことができる。

図１６は、倍率色収差がある場合のマッチング方法の例を説明する図である。

この場合、図１６に示されるように、倍率色収差補正により、倍率色収差の影響に応じて座標をシフトさせてからマッチングが行われる。例えば、図１６の一番左に示されるように、色収差マップ１４３の分布１４４の中心画素は、倍率色収差に合わせて、座標（１，−１）にずらしてある。マップ比較部７６は、色収差マップ１４０の白とび画素１４２を色収差マップ１４３の注目画素にマッチングさせた後、その白とび画素１４２を、色収差マップ１４３の分布１４４の中心画素にマッチングさせるように（白とび画素１４６）、白とびマップの全画素をシフトさせる。

このシフトにより、注目画素１４１の座標は（−２，−２）から（−３，−１）にシフトする（注目画素１４７）。そして、マップ比較部７６は、座標変換を行い、この注目画素１４７の座標を絶対値化し、図１６の一番右に示されるように、座標（３，１）の注目画素１４８の位置に移動させ、色収差マップ１４３上に位置させる。

つまり、注目画素１４８の位置（３，１）の色収差量が、白とび画素１４６に起因する注目画素１４８の色収差量になる。マップ比較部７６は、このような処理を白とびマップ１４０の各白とび画素について行い、その積分値を注目画素の色収差量とする。

このように、軸上色収差および倍率色収差の両方を考慮して色収差量を算出することにより、色収差量算出部４３は、軸上色収差のみに基づいて色収差量を算出する場合や倍率色収差のみに基づいて色収差量を算出する場合と比べて、より正確に色収差量を算出することができる。また、白とびマップと色収差マップの両方を用いることにより、色収差量算出部４３は、軸上色収差および倍率色収差をを単離することなく、１つの色収差として色収差量を求めることができ、より容易に、より正確な色収差量を算出することができる。つまり、色収差補正部２９は、より容易に、より正確な色収差補正を行うことができる。

図１２に戻り、色収差量を算出すると、マップ比較部７６は、その色収差量を補正済み信号生成部４６に供給し、色収差量算出処理を終了し、処理を図９のステップＳ２４に戻し、ステップＳ２５以降の処理を実行させる。

次に、図９のステップＳ２５において実行される紫領域算出処理の詳細な流れの例を、図１７のフローチャートを参照して説明する。また、必要に応じて、図１８を参照して説明する。

紫領域算出処理が開始されると、紫領域算出部４５の第１補正値算出部８１は、ステップＳ８１において、以下の式（４）に示される第１補正式を用いて、第１補正値を算出する。

第１補正値＝(Cr + offset1) * gain_ry1 + (Cb + offset2) * gain_by1
・・・（４）

式（４）において、offset1，offset2，gain_ry1、およびgain_by1は、それぞれ所定の定数であり、CrはＣｒ信号値であり、CbはＣｂ信号値である。

ステップＳ８２において、紫領域算出部４５の第２補正値算出部８２は、以下の式（５）に示される第２補正式を用いて、第２補正値を算出する。

第２補正値＝(Cr + offset1) * gain_ry2 + (Cb + offset2) * gain_by2
・・・（５）

式（５）において、offset1，offset2，gain_ry2、およびgain_by2は、それぞれ所定の定数であり、CrはＣｒ信号値であり、CbはＣｂ信号値である。

第１補正値および第２補正値が算出されると、補正値選択部８３は、ステップＳ８３において、第１補正値と第２補正値のうち、小さい方を選択し、ステップＳ８４において、その選択結果を紫度として出力する。

つまり、紫領域算出部４５は、図１８に示されるように、Ｃｂ（Ｂ−Ｙ）をｘ軸とし、ＣＲ（Ｒ−Ｙ）をｙ軸とし、出力レベルをｚ軸とする空間（ｘ，ｙ、およびｚがいずれも正の範囲の空間）において、第１補正式で表される平面Ａと第２補正式で表される平面Ｂの２平面のうち、出力レベルが小さい方で示される、色収差補正したい色（紫色）に対して大きな出力がでるような補正値を算出する。

offset1，offset2，gain_ry1，gain_by1，gain_ry2、およびgain_by2の各パラメータは、この平面Ａおよび平面Ｂの位置や傾きを決定するパラメータであり、その値は、どの色領域の出力レベルを強調するかによって決定される。例えば、図１８の例の場合、各パラメータの値は、以下のように決定される。

offset1 = offset2 = 0
gain_ry1 = gain_by1 = gain_ry2 = 2.0
gain_by2 = -2.0

紫度を出力すると、補正値選択部８３は、紫領域算出処理を終了し、処理を図９のステップＳ２５に戻し、ステップＳ２６以降の処理を実行させる。

次に、図９のステップＳ２６において実行される補正済み信号生成処理の詳細な流れの例を、図１９のフローチャートを参照して説明する。

補正済み信号生成処理が開始されると、ステップＳ１０１において、乗算器９１は、紫度（Ｐ）と色収差量（Ａ）を乗算し、白とびに応じた色収差量（P*A（０≦P*A≦１））を生成する。つまり、乗算器９１は、白とびによる色収差量に紫度を乗算することにより、紫色の部分の色収差量を大きくする（または、紫色でない部分の色収差量を小さくする）ように補正する。

ステップＳ１０２において、減算器９２は、値「１」から、ステップＳ１０１において算出された白とびに応じた色収差量（P*A）を減算することにより、白とびに応じた色収差量（P*A）の値を反転し、補正ゲイン（１−P*A（０≦１−P*A≦１））を生成する。

そして、ステップＳ１０３において、乗算器９３は、その補正ゲイン（１−P*A）を色信号（Ｃｒ，Ｃｂ）に乗算し、補正済み信号（Cr(１−P*A)，Cb(１−P*A)）を生成する。つまり、補正済み信号生成部４６は、白とび画素により近く、かつ、補正すべき色（例えば、紫色）により近い色の画素に対して、より強く色消しを行った補正済み信号を生成し、出力する。

このように紫度を考慮して補正を行うことにより、補正済み信号生成部４６は、単に、白とび画素近傍の画素に対して色収差補正を行う方法や、単に紫度のみに基づいて色収差補正を行う方法よりも、より正確な色収差補正を行った補正済み信号を生成することができる。つまり、色収差補正部２９は、より正確に色収差補正を行うことができる。

補正済み信号を生成すると、乗算器９３は、補正済み信号生成処理を終了し、処理を図９のステップＳ２６に戻し、ステップＳ２７以降の処理を実行させる。

図９のステップＳ２９において実行される補正済み混合処理の詳細な流れの例を、図２０のフローチャートを参照して説明する。

混合処理が開始されると、ステップＳ１２１において、乗算器１０１は、無補正信号に、色消しゲイン（白とびに奥羽自他色収差量）を乗算する。ステップＳ１２２において、減算器１０２は、値「１」より、その色消しゲインを減算し、色消しゲインを反転する。

ステップＳ１２３において、乗算器１０３は、補正済み信号に、反転した色消しゲインを乗算する。ステップＳ１２４において、加算器１０４は、ステップＳ１２１において算出された乗算結果と、ステップＳ１２３において算出された乗算結果を加算し、補正後信号（混合信号）として出力する。

すなわち、混合処理部４９は、無補正信号、補正済み信号、および色消しゲインを用いて、以下の式（６）を演算し、無補正信号と補正済み信号を、色消しゲイン（Ｐ（０≦Ｐ≦１））の値に応じた比率で混合する。

混合信号＝（無補正信号×Ｐ）＋（補正済み信号×（１−Ｐ）） ・・・（６）

このように、混合処理部４９は、色消しゲインを用いて、色収差補正された画素は補正データを、色収差補正されていない画素はオリジナルデータを出力するように無補正信号と補正済み信号を混合する。このように補正前の画像データを混合することにより、混合処理部４９は、補正されていない部分の画質の劣化を抑制し、かつ、より自然な色収差補正結果を得ることができる。つまり、色収差補正部２９は、不要な画質の劣化や不自然な補正を抑制し、より適切な色収差補正を行うことができる。

ステップＳ１２４の処理を終了すると、加算器１０４は、混合処理を終了し、処理を図９のステップＳ２９に戻し、色収差補正処理を終了させる。

以上のように、色収差補正部２９は、より容易に、より正確な色収差補正を行うことができるので、画像処理部１４は、入力された画像信号に対して、より容易に、より正確な色収差補正を行うことができる。また、これにより撮像装置１は、より容易に、より正確に色収差補正が行われた撮像画像データを得ることが出来る。

なお、以上においては、色収差補正部２９の白とび判定部４１は、輝度信号を用いて白とび判定を行うように説明したが、式（１）にも示されるように、輝度信号（Ｙ信号）とRGB信号の緑信号（Ｇ信号）は、相関性が強いので、白とび判定部４１は、Ｇ信号を用いて白とび判定を行うようにしてもよい。

以上のように輝度信号を用いて白とび判定を行う場合、白とびマップ生成のために遅延が生じるので、ラインメモリ２７において輝度信号を保持する必要がある。例えば、白とびマップが画像垂直方向に２０ライン分の範囲で作成するとすると、ラインメモリ２７は、図２１Ａに示されるように、２０ライン分の輝度信号を保持しなければならない。１ラインが２０００画素とし、輝度値が８ビットのデータとすると、８（ビット）×２０（ライン）×２０００（画素）＝３２００００ビットの記憶領域が必要になる。

また、その遅延の間、色信号もラインメモリ４４により保持しなければならない。つまり、上述の例の場合、図２１Ｂに示されるように、ラインメモリ４４は、１０ライン分のデータを保持しなければならないので、１ラインが２０００画素とし、色値が８ビットのデータとする場合、８（ビット）×１０（ライン）×２０００（画素）＝１６００００ビットの記憶領域が必要になる。

つまり、図１の画像処理部１４の場合、色収差補正のために、３２００００＋１６００００＝４８０００００ビットの記憶領域が必要になる。

図１の撮像装置１の場合、輝度信号を用いて色とび判定が行われるため、画像処理部１４において、色収差補正部２９の白とび判定部４１は、画像信号に対して、光学素子・撮像素子補正処理部２１乃至γ補正部２５により各種処理が行われた後、Ｙ信号処理部２６が輝度信号を生成するまで白とび判定を行うことができない。

ところで、光学素子・撮像素子補正処理部２１乃至γ補正部２５による各種処理の内、例えば、ノイズリダクション処理部２２によるノイズリダクション処理や、デモザイク処理部２３によるデモザイク処理等においては、画像の垂直方向に対しても複数ラインに渡る空間的な処理が行われる。そのため、ノイズリダクション処理部２２やデモザイク処理部２３は、ラインメモリを有し、複数ラインの画像信号を所定の期間保持する。そのため、それらの出力は、その分遅延される。

例えば、このような空間的な処理を行う例として、図２２に示されるようなローパスフィルタがある。図２２は、画像垂直方向の５タップローパスフィルタの構成例を示すブロック図である。

図２２に示されるローパスフィルタは、加算器２０１、SRAM２０２、乗算器２０３、SRAM２０４、乗算器２０５、SRAM２０６、乗算器２０７、SRAM２０８、および除算器２０９を有している。

SRAM２０２、SRAM２０４、SRAM２０６、およびSRAM２０８は、それぞれ１ライン分の画像信号を保持するラインメモリである。これらは、直列に接続されており、新たな１ライン分の画像信号がSRAM２０２に供給されると、各SRAMが保持している画像信号は、順番に転送される。また、SRAM２０２の出力は乗算器２０３により４倍されて加算器２０１に供給される。同様に、SRAM２０４の出力は乗算器２０５により６倍され、SRAM２０６の出力は乗算器２０７により４倍されて、それぞれ、加算器２０１に供給される。また、SRAM２０２の入力と、SRAM２０８の出力は、そのまま加算器２０１に供給される。

加算器２０１は、それらの入力を全て加算し、加算結果を除算器２０９に供給する。除算器２０９は、加算結果の１６分の１を出力する。

つまり、このローパルフィルタは、（1, 4, 6, 4, 1）という縦方向のローパスフィルタであり、１ライン分の画像信号を保持するラインメモリ（SRAM）を用いて、縦方向に４段連結するように構成されている。図２１において、下側のSRAMの方がより過去（画面上側）のデータが保持され、上側のSRAMの方がより新しい（画面下側）データが保持されている。このとき、画像データの出力位相はこのローパスフィルタの中央、すなわちSRAM２０４に保持され、乗算器２０５により６倍されて出力されるカレント信号に対して２ライン分遅延することになる。

このように、画像処理において縦方向の複数画素を使って処理をする場合には上記のようなSRAMを用いた構成が必要になり、それにより、数ライン分の遅延が生じることになる。

そこで、上述したように緑信号（Ｇ信号）を用いて白とび判定を行うようにすることにより、このラインメモリ（SRAM）による遅延を利用し、色収差補正に必要なメモリ量を削減するようにしてもよい。

図２３は、本発明を適用した撮像装置の他の構成例を示すブロック図である。

図２３において、撮像装置２５１は、図１の撮像装置１の構成の画像処理部１４の代わりに画像処理部２６４を有している。

画像処理部２６４は、画像処理部１４と同様の、光学素子・撮像素子補正処理部２１、ノイズリダクション処理部２２、デモザイク処理部２３、ホワイトバランス処理部２４、γ補正部２５、Ｙ信号処理部２６、およびＣ信号処理部２８を有し、さらに、白とび判定部２７１、白とび情報保持部２７２、および色収差補正部２７３を有している。

白とび判定部２７１は、基本的に図３に示される白とび判定部４１と同様の構成を有し、同様の処理を行うが、白とび判定部４１が輝度信号を用いて白とび判定を行うのに対して、AD変換部１３より出力される緑信号（Ｇ信号）を用いて白とび判定を行う。ただし、判定処理の方法は、どちらも同じであり、白とび判定部２７１は、緑信号より得られた白とび判定結果（例えば、１ビットの情報）を白とび情報保持部２７２に供給する。

白とび情報保持部２７２は、図２の白とび情報保持部４２と同様に、白とび判定部２７１より供給される判定結果を白とび情報として一時的に保持する。そして、白とび情報保持部２７２は、ノイズリダクション処理やデモザイク処理が行われている間に蓄積した白とび情報から、色収差補正部２７３における注目画素の白とびマップを生成し、それを所定のタイミングで色収差補正部２７３に供給する。

色収差補正部２７３は、その白とびマップを用いて色信号の色収差補正を行う。

図２４は、図２３の色収差補正部２７３の詳細な構成例を示すブロック図である。図２４において、色収差補正部２７３は、色収差量算出部４３、紫領域算出部４５、補正済み信号生成部４６、補正リミッタ４７、ぼかし４８、および混合処理部４９を有している。

つまり、色収差補正部２７３の構成は、図２の色収差補正部２９の構成から、白とび判定部４１、白とび情報保持部４２、およびラインメモリ４４を除いたものと同等であるので、各部についての説明は省略する。

次に、図２３の画像処理部２６４により実行される画像処理の流れの例を、図２５のフローチャートを参照して説明する。この図２５の画像処理のフローは、図１の画像処理部１４による図８の画像処理のフローに対応する。

画像処理が開始されると、最初に、画像処理部２６４の白とび判定部２７１は、AD変換部１３より供給される緑信号（Ｇ信号）を用いて、白とび判定処理を行う。この白とび判定処理は、図１１のフローチャートを参照して説明した場合と同様に行われるので、その詳細な説明は省略する。ただし、図２５の場合、輝度信号の代わりに緑信号（Ｇ信号）が用いられる。

ステップＳ２０１の白とび判定処理が終了すると、白とび情報保持部２７２は、ステップＳ２０２において、その判定結果を保持する。

ステップＳ２０３乃至ステップＳ２０９の各処理は、図８のステップＳ１乃至ステップＳ８と同様に実行される。

ステップＳ２１０において、白とび情報保持部２７２は、保持している判定結果から、色収差補正部２７３における注目画素の白とびマップを作成し、それを色収差補正部２７３に供給する。色収差補正部２７３は、ステップＳ２１１において、色収差補正処理を実行し、ステップＳ２１２において、輝度信号および色信号を出力し、画像処理を終了する。

次に、図２５のステップＳ２１１において実行される色収差補正処理の詳細な流れの例を図２６のフローチャートを参照して説明する。この図２５の色収差補正処理のフローは、図２の色収差補正部２９による図９の色収差補正処理のフローに対応する。

色収差補正処理が開始されると、色収差補正部２７３の各部は、図９のステップＳ２４乃至ステップＳ２９の場合と同様に、ステップＳ２３１乃至ステップＳ２３６の処理を実行し、混合信号を出力する。つまり、色収差補正部２７３は、予め、白とびマップが生成されていること以外は、図２の色収差補正部２９と同様に色収差補正処理を行う。混合信号を出力すると、混合処理部４９は、色収差補正処理を終了し、図２５のステップＳ２１１に処理を戻し、ステップＳ２１２以降の処理を実行させる。

以上のように、AD変換部１３の出力を用いて白とび判定処理を先に行い、この白とび情報を、例えば１ビットの情報として白とび情報保持部２７３に保持させる。このような構成により、画像データがAD変換部１３から色収差補正部２７３に到達するまでの時間差（遅延）を利用して、白とび情報を蓄積しておくことができる。つまり、画像処理部の各部が有するラインメモリを利用して、白とびマップ作成のために白とび情報を蓄積する時間を省略することができるので、色収差補正に必要なメモリの容量を大幅に削減することができる。この時間差はノイズリダクション処理やデモザイク処理等の縦方向の空間的な処理を行う回路の量、すなわちラインメモリの本数によって決定される。

図２７は、図２３の画像処理部２６４における時系列における白とび検出処理と色収差補正処理との関係を説明する図であり、図２８は、図２３の画像処理部２６４における画面内における白とび検出処理と色収差補正処理との関係を説明する図である。

例えば、AD変換部１３より供給される画像信号が、図２７Ａに示される垂直同期信号（Ｖ）と図２７Ｂに示される水平同期信号（Ｈ）を有し、図２７Ｃに示される画像読み出しラインのようにCCD１２から１ラインずつ読み出されている信号であるとする。このような画像信号の９ライン目が画像処理部２６４に入力されると、図２７Ｄに示されるように、白とび判定部２７１による白とび画素の検出がその９ライン目に対して行われ、色収差補正部２７３による色収差補正が例えば５ライン目に対して行われる。このとき、補正範囲（白とびマップの範囲）は、図２７Ｅに示されるように、２ライン目乃至８ライン目である。

つまり、図２８に示されるように、画面２９１において、９ライン目の白とび検出注目画素２９２に対して白とび判定が行われるとき、５ライン目の色収差補正注目画素２９３に対する白とびマップとして、太線で示される２ライン目乃至８ライン目の補正範囲２９４内の判定結果が色収差補正部２７３に出力される。色収差補正部２７３は、この白とびマップを用いて５ライン目の色収差補正注目画素２９３に対して色収差補正処理を行う。

つまり、この場合、白とびマップの生成により４ライン分の遅延が生じるが、上述したように他の処理の遅延を利用するため、実際には、白とびマップの生成による遅延は発生しない。

つまり、図２３に示される画像処理部２６４の場合、色収差補正部２７３において遅延が発生しないので、図１の画像処理部１４のラインメモリ２７およびラインメモリ４４（図２）を省略することができる。なお、白とび情報保持部２７２の記憶領域は、例えば、図２９に示されるように、１（ビット）×２０（ライン）×２０００（画素）＝４００００ビットあればよい。すなわち、画像処理部２６４は、これに対して図２１に示される記憶領域を省略することが出来るので、色収差補正処理に必要な記憶容量を大幅に削減することができ、回路規模を縮小することができ、製造コストを低減させることができる。また、消費電力を低下させ運用コストを低減させることもできる。また、部品点数の削減により、耐久性や信頼性を向上させることもできる。つまり、画像処理部２６４は、より容易に、より容易な色収差補正を行うことができる。

なお、以上において撮像装置について説明したが、画像処理を行う装置であればどのようなものであってもよい。

また、以上においては、白とびマップと色収差マップを作成して比較するように説明したが、これらのマップの範囲の大きさや形状は、上述した例以外のどのようなものであってもよい。また、白とびマップと色収差マップで範囲の大きさや形状が互いに異なるようにしてもよい。さらに、実質的に、上述した白とびマップや色収差マップと同等の情報を有し、それらを上述したように比較して色収差補正を行うことができるものであれば、各画素についてデータを羅列したマップ情報以外であってもよく、例えば、必要な情報のみをテーブル化したテーブル情報であってもよいし、座標と値を関数化したものであってもよい。つまり、例えば、画像処理部１４および画像処理部２６４が、白とびに依存した関数（白とび画素の分布を示す白とび分布情報）と、色関数の出力（注目画素の白とびによる周辺画素の色収差に関する補正量である色収差量の分布を示す色収差量分布情報）を乗算した結果を用いて色消しを行うようにしてもよい。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、上述した各装置は、それぞれ、図３０に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。

図３０において、パーソナルコンピュータ３００のCPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２に記憶されているプログラム、または記憶部３１３からRAM（Random Access Memory）３０３にロードされたプログラムに従って各種の処理を実行する。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU３０１、ROM３０２、およびRAM３０３は、バス３０４を介して相互に接続されている。このバス３０４にはまた、入出力インタフェース３１０も接続されている。

入出力インタフェース３１０には、キーボード、マウスなどよりなる入力部３１１、CRT（Cathode Ray Tube）、LCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部３１２、ハードディスクなどより構成される記憶部３１３、モデムなどより構成される通信部３１４が接続されている。通信部３１４は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース３１０にはまた、必要に応じてドライブ３１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１３にインストールされる。

上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図３０に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア１６２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM３０２や、記憶部３１３に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、以上において、一つの装置として説明した構成を分割し、複数の装置として構成するようにしてもよい。逆に、以上において複数の装置として説明した構成をまとめて一つの装置として構成されるようにしてもよい。また、各装置の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置の構成の一部を他の装置の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明は、画像処理装置に適用することが可能である。

本発明の実施の形態の撮像装置の構成例を示すブロック図である。 図１の色収差補正部の詳細な構成例を示すブロック図である。 図２の白とび判定部の詳細な構成例を示すブロック図である。 図２の色収差量算出部の詳細な構成例を示すブロック図である。 図２の紫領域算出部の詳細な構成例を示すブロック図である。 図２の補正済み信号生成部の詳細な構成例を示すブロック図である。 図２の混合処理部の詳細な構成例を示すブロック図である。 画像処理の流れの例を説明するフローチャートである。 色収差補正処理の詳細な流れの例を説明するフローチャートである。 白とびマップの構成例を説明する模式図である。 白とび判定処理の詳細な流れの例を説明するフローチャートである。 色収差量算出処理の詳細な流れの例を説明するフローチャートである。 色収差マップの構成例を説明する模式図である。 倍率色収差の例を説明する模式図である。 倍率色収差が無い場合のマッチング方法の例を説明する図である。 倍率色収差がある場合のマッチング方法の例を説明する図である。 紫領域算出処理の詳細な流れの例を説明するフローチャートである。 紫領域の抽出の様子の例を示す図である。 補正済み信号生成処理の詳細な流れの例を説明するフローチャートである。 補正済み混合処理の詳細な流れの例を説明するフローチャートである。 ローパスフィルタの構成例を示すブロック図である。 図１に示される画像処理部に必要なメモリの容量の例を説明する図である。 本発明の他の実施の形態の撮像装置の構成例を示すブロック図である。 図２３の色収差補正部の詳細な構成例を示すブロック図である。 画像処理の流れの例を説明するフローチャートである。 色収差補正処理の詳細な流れの例を説明するフローチャートである。 時系列における白とび検出処理と色収差補正処理との関係を説明する図である。 画面内における白とび検出処理と色収差補正処理との関係を説明する図である。 図２３に示される画像処理部に必要なメモリの容量の例を説明する図である。 本発明を適用したパーソナルコンピュータの構成例を説明する図である。

符号の説明

１ 撮像装置， １４ 画像処理部， ２１ 光学素子・撮像素子補正処理部， ２２ ノイズリダクション処理部， ２３ デモザイク処理部， ２４ ホワイトバランス処理部， ２５ γ補正部， ２６ Ｙ信号処理部， ２７ ラインメモリ， ２８ Ｃ信号処理部， ２９ 色収差補正部， ４１ 白とび判定部， ４２ 白とび情報保持部， ４３ 色収差量算出部， ４４ ラインメモリ， ４５ 紫領域算出部， ４６ 補正済み信号生成部， ４７ 補正リミッタ， ４８ ぼかし， ４９ 混合処理部， ６１ 白とび画素閾値判定部， ６２ 白とび複数画素判定部， ６３ 判定結果保持部， ７１ 色収差モデル保持部， ７２ 色収差マップ生成部， ７３ 色収差マップ保持部， ７４ 倍率色収差情報保持部， ７５ 倍率色収差補正部， ７６ マップ比較部， ８１ 第１補正値算出部， ８２ 第２補正値算出部， ８３ 補正値選択部， ９１ 乗算器， ９２ 減算器， ９３ 乗算器， １０１ 乗算器， １０２ 減算器， １０３ 乗算器， １０４ 加算器， ２５１ 撮像装置， ２６４ 画像処理部， ２７１ 白とび
判定部， ２７２ 白とび情報保持部， ２７３ 色収差補正部

Claims (9)

1. 画像データの色収差を補正する画像処理装置であって、
   RGB信号よりなる前記画像データのＧ信号を用いて、白とびが発生した白とび画素を検出する白とび画素検出手段と、
   前記RGB信号に対して、複数ラインに渡る空間的な信号処理を行う空間的信号処理手段と、
   前記空間的信号処理手段により信号処理が行われた前記RGB信号より、色信号を生成する色信号生成手段と、
   注目画素の周囲の所定の範囲内における、前記白とび画素検出手段により検出された前記白とび画素の分布を示す白とび分布情報を、前記画像データの各画素に対してそれぞれ作成する白とび分布情報作成手段と、
   前記白とび分布情報作成手段により作成された、各画素に対する前記白とび分布情報と、注目画素の白とびによる周辺画素の色収差に関する補正量である色収差量の分布を示す色収差量分布情報を用いて、各画素の色収差量を算出する色収差量算出手段と、
   前記色収差量算出手段により算出された前記色収差量を用いて、前記色信号生成手段により生成された前記色信号に対して各画素の色収差の補正を行い、補正済み信号を生成する補正済み信号生成手段と
   を備える画像処理装置。
2. 前記白とび画素検出手段は、
   注目画素に対して、所定の閾値を用いて前記白とび画素の判定を行う白とび画素閾値判定手段と、
   前記白とび画素閾値判定手段により白とび画素であると判定された前記注目画素の近傍に、他の白とび画素が存在するか否かを判定する白とび複数画素判定手段と
   を備え、
   前記白とび複数画素判定手段により、白とび画素である前記注目画素の近傍に他の白とび画素が存在すると判定された場合のみ、前記注目画素を白とび画素として検出する
   請求項１に記載の画像処理装置。
3. 前記色収差量算出手段は、
   前記画像データの各画素について、前記色収差量分布情報と前記白とび分布情報を比較する比較手段を備え、
   前記比較手段の比較結果に基づいて、各画素の色収差量を算出する
   請求項１に記載の画像処理装置。
4. 前記比較手段は、前記画像データの各画素について、前記色収差量分布情報を用いて、前記白とび分布情報に含まれる各白とび画素による注目画素の色収差量をそれぞれ求めて積分することにより、各画素の色収差量をそれぞれ算出する
   請求項３に記載の画像処理装置。
5. 前記色収差量算出手段は、前記色収差の補正を行う注目画素の画面内位置に応じて、倍率色収差を補正するように、前記色収差量分布情報の分布を補正する倍率色収差補正手段を備える
   請求項１に記載の画像処理装置。
6. 前記画像データの色信号に基づいて、各画素について前記色の度合いを示す色度を算出する色度算出手段をさらに備え、
   前記補正済み信号生成手段は、前記色度算出手段により算出された前記色度を、前記色収差量算出手段により算出された前記色収差量に乗算し、その乗算結果を用いて前記色信号に対して各画素の色収差補正を行い、前記補正済み信号を生成する
   請求項１に記載の画像処理装置。
7. 前記補正済み信号生成手段により生成された前記補正済み信号と、補正前の前記画像データの色信号を、前記補正済み信号生成手段により算出された前記乗算結果に基づいた比率で混合する混合手段をさらに備える
   請求項６に記載の画像処理装置。
8. 画像データの色収差を補正する画像処理装置の画像処理方法であって、
   前記画像処理装置の白とび画素検出手段が、RGB信号よりなる前記画像データのＧ信号を用いて、白とびが発生した白とび画素を検出し、
   前記画像処理装置の空間的信号処理手段が、前記RGB信号に対して、複数ラインに渡る空間的な信号処理を行い、
   前記画像処理装置の色信号生成手段が、前記信号処理が行われた前記RGB信号より、色信号を生成し、
   前記画像処理装置の白とび分布情報作成手段が、注目画素の周囲の所定の範囲内における前記白とび画素の分布を示す白とび分布情報を、前記画像データの各画素に対してそれぞれ作成し、
   前記画像処理装置の色収差量算出手段が、各画素に対する前記白とび分布情報と、注目画素の白とびによる周辺画素の色収差に関する補正量である色収差量の分布を示す色収差量分布情報とを用いて、各画素の色収差量を算出し、
   前記画像処理装置の補正済み信号生成手段が、前記色収差量を用いて、生成された前記色信号に対して各画素の色収差の補正を行い、補正済み信号を生成する
   画像処理方法。
9. 画像データの色収差を補正するコンピュータを、
   RGB信号よりなる前記画像データのＧ信号を用いて、白とびが発生した白とび画素を検出する白とび画素検出手段と、
   前記RGB信号に対して、複数ラインに渡る空間的な信号処理を行う空間的信号処理手段と、
   前記空間的信号処理手段により信号処理が行われた前記RGB信号より、色信号を生成する色信号生成手段と、
   注目画素の周囲の所定の範囲内における、前記白とび画素検出手段により検出された前記白とび画素の分布を示す白とび分布情報を、前記画像データの各画素に対してそれぞれ作成する白とび分布情報作成手段と、
   前記白とび分布情報作成手段により作成された、各画素に対する前記白とび分布情報と、注目画素の白とびによる周辺画素の色収差に関する補正量である色収差量の分布を示す色収差量分布情報を用いて、各画素の色収差量を算出する色収差量算出手段と、
   前記色収差量算出手段により算出された前記色収差量を用いて、前記色信号生成手段により生成された前記色信号に対して各画素の色収差の補正を行い、補正済み信号を生成する補正済み信号生成手段
   として機能させるプログラム。

Images