JP6238673B2 - 画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体 - Google Patents

Description

本発明は、カラー画像における色にじみを低減する画像処理装置に関する。

従来から、撮影光学系の色収差により、カラー画像の明るい部分の周囲に本来存在しない色が色にじみとして生じる場合がある。撮影光学系の色収差は、異なる分散を有する材料からなる複数のレンズを組み合わせることにより、ある程度光学的に低減することができる。しかし近年では、撮像装置の小型化が進み、撮像素子に用いられるセンサの高解像度化および撮影光学系の小型化が要求され、撮影光学系の構成により色収差を十分に抑制することは困難である。

色収差は、横色収差（倍率色収差）と縦色収差（軸上色収差）に大別される。横色収差は、結像位置が波長により像面に沿う方向にずれる現象である。縦色収差は、結像位置が波長により光軸に沿う方向にずれる現象である。特許文献１に開示されているように、横色収差は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色プレーンに対して異なる歪曲を加える幾何変換により補正することができる。一方、縦色収差は、上記幾何変換では補正できない。

特許文献２には、色にじみが主に白とび（予め設定した信号の飽和領域）周辺に生じる特性を利用して、Ｇ（緑）プレーンの飽和している領域を探索し、その周辺の領域の画素を積分して補正量を算出する方法が開示されている。特許文献３には、カラー画像における色プレーンの画素値が単調増加または単調減少している領域を色にじみ発生領域と判定し、色にじみを除去する方法が開示されている。

米国特許第６７２４７０２号 特開２００７−１３３５９２号公報 特開２００９−２６８０３３号公報

しかしながら、特許文献２に開示されている方法では、白とびしていない領域にも観察者にとって違和感のある色にじみが生じるため、色にじみの補正は不十分である。また特許文献３に開示されている方法によれば、白とびしていない領域の色にじみも補正が可能である。しかしながら、色にじみは、撮影光学系の収差により発生するため、コマ収差などの非対称な収差を有する撮影光学系では、被写体に対して色にじみが発生する方向や発生しない方向が存在する。被写体の色が色にじみと同系色の場合、本来は色にじみが発生しない方向でも被写体の色を色にじみとして誤判定し、被写体の本来の色を除去してしまう可能性がある。

そこで本発明は、カラー画像における色にじみを効果的に低減可能な画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体を提供する。

本発明の一側面としての画像処理装置は、複数のカラーフィルタを備えた撮像素子から得られた画像の少なくとも一つのカラーフィルタに対応する色プレーンの信号レベル、または、該画像から生成される輝度プレーンの信号レベルが、所定の区間において第１の方向に単調増加または単調減少している第１の領域を検出する検出手段と、撮影光学系の色にじみに関する光学情報および前記第１の領域に関する情報に基づいて、該色にじみが発生している第２の領域を判定する判定手段と、前記色にじみを低減させるように前記画像を修正する修正手段とを有し、前記光学情報は、前記撮影光学系の色にじみが発生する第２の方向に関する情報であり、前記判定手段は、前記第１の方向と前記第２の方向とを比較することにより前記第２の領域を判定する。

本発明の他の側面としての撮像装置は、光学像を光電変換する撮像素子と、複数のカラーフィルタを備えた前記撮像素子から得られた画像の少なくとも一つのカラーフィルタに対応する色プレーンの信号レベル、または、該画像から生成される輝度プレーンの信号レベルが、所定の区間において第１の方向に単調増加または単調減少している第１の領域を検出する検出手段と、撮影光学系の色にじみに関する光学情報および前記第１の領域に関する情報に基づいて、該色にじみが発生している第２の領域を判定する判定手段と、前記色にじみを低減させるように前記画像を修正する修正手段とを有し、前記光学情報は、前記撮影光学系の色にじみが発生する第２の方向に関する情報であり、前記判定手段は、前記第１の方向と前記第２の方向とを比較することにより前記第２の領域を判定する。

本発明の他の側面としての撮像システムは、撮影光学系を備えたレンズ装置と、前記撮像装置とを有する。

本発明の他の側面としての画像処理方法は、複数のカラーフィルタを備えた撮像素子から得られた画像の少なくとも一つのカラーフィルタに対応する色プレーンの信号レベル、または、該画像から生成される輝度プレーンの信号レベルが、所定の区間において第１の方向に単調増加または単調減少している第１の領域を検出するステップと、撮影光学系の色にじみに関する光学情報および前記第１の領域に関する情報に基づいて、該色にじみが発生している第２の領域を判定するステップと、前記色にじみを低減させるように前記画像を修正するステップとを有し、前記光学情報は、前記撮影光学系の色にじみが発生する第２の方向に関する情報であり、前記第１の方向と前記第２の方向とを比較することにより前記第２の領域を判定する。

本発明の他の側面としての画像処理プログラムは、前記画像処理方法をコンピュータに実行させるように構成されている。

本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、カラー画像における色にじみを効果的に低減可能な画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

本実施形態における画像処理装置のブロック図である。 本実施形態における画像処理方法を示すフローチャートである。 本実施形態における単調増減判定処理を示すフローチャートである。 本実施形態において、単調増減判定対象の画素区間が単調増減特性を有する場合の一例を示す図である。 本実施形態において、単調増減判定対象の画素区間が単調増減特性を有しない場合の一例を示す図である。 本実施形態において、注目画素を中心とした単調増減判定用の画素区間を示す図である。 本実施形態において、注目画素を端の点とした単調増減判定用の画素区間を示す図である。 本実施形態において、画像内の３×３画素の領域を示す図である。 本実施形態において、画像内の３×３画素の領域の各画素に対してローパスフィルタを適用した結果を示す図である。 本実施形態において、各画素に対してローパスフィルタを適用した場合の入力信号の変化の例を示す図である。 本実施形態において、対称な収差を有する撮影光学系の単調増減検出の例を示す図である。 本実施形態において、非対称な収差を有する撮影光学系の単調増減検出の例を示す図である。 本実施形態における光学情報の説明図である。 本実施形態において、光学情報および単調増減検出結果に基づいて色にじみ領域を判定する例を示す図である。 本実施形態における２次元の光学情報の説明図である。 本実施形態において、光学情報を用いた色にじみ判定処理を示す図である。 本実施形態における光学情報の算出方法の説明図である。 本実施形態において、青色にじみの典型的な画素値変化を示す図である。 本実施形態において、Ｂプレーンの画素値に対する非線形変換の特性図である。 本実施形態における色度座標ａｂ面を示す図である。 本実施形態において、単調増減判定結果によるＢプレーン内の３×３画素の領域を示す図である。 実施例１における撮像装置の構成図である。 実施例２における画像処理システムの構成図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

まず、図１Ａおよび図１Ｂを参照して、本実施形態における画像処理装置および画像処理方法について説明する。図１Ｂは、本実施形態における画像処理装置１００のブロック図である。図１Ａは、本実施形態における画像処理方法（画像処理プログラム）のフローチャートである。図１Ｂの各ステップは、画像処理装置１００の指令に基づいて、すなわち画像処理装置１００の各手段により実行される。

図１Ａに示されるように、画像処理装置１００は、入力手段１０１、検出手段１０２、判定手段１０３、修正手段１０４、および、出力手段１０５を備えて構成される。まず、図１ＢのステップＳ１において、画像処理装置１００（入力手段１０１）は、撮影画像を入力画像として取得する。入力画像は、撮影光学系を介して撮像素子で受光することにより得られたデジタル画像（撮影画像）であり、レンズと各種の光学フィルタ類を含む撮影光学系の収差（軸上色収差など）により劣化している。撮影光学系は、レンズだけでなく曲率を有するミラー（反射面）を用いて構成することもできる。

入力画像の色成分は、例えばＲＧＢ色成分の情報を有する。色成分としては、これ以外にもＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号など一般に用いられている色空間を選択して用いることができる。その他の色空間として、ＸＹＺ、Ｌａｂ、Ｙｕｖ、ＪＣｈを用いることが可能である。また、色温度を用いてもよい。撮影画像は、撮像装置と画像処理装置とを有線または無線で接続して取得することができる。また撮影画像は、記憶媒体を介して取得することもできる。

続いてステップＳ２において、画像処理装置１００（検出手段１０２）は、カラー画像を構成する複数の色プレーンのうちいずれかの色プレーンの画素値（信号レベル）が単調増加または単調減少している領域を検出する。そして検出手段１０２は、検出した領域を色にじみ発生領域と仮判定する（単調増減検出工程）。単調増減検出工程において色にじみ発生領域を判定する方法としては、いくつかの方法が考えられる。本実施形態では、一定の画素区間（所定の区間）の色にじみの画素値の変化特性に基づいて判定を行う。

色にじみは、結像位置が波長により光軸に沿う方向にずれることで発生するため、例えば青色のにじみの場合、青色プレーン（Ｂプレーン）の焦点が合わない（ピンボケしている）ことになる。ピンボケによる色にじみは、一定の画素区間に渡って存在し、その際の色にじみの画素値変化は、画像のハイライト部からシャドウ部にかけて緩やかに減少する特性を有する。従って、一定の画素区間の色にじみの画素値変化が単調増加または単調減少の特性を有する場合、色にじみが発生している可能性があるため、色にじみ発生領域として仮判定する。

このように本実施形態において、撮像素子は、複数のカラーフィルタを備えている。そして検出手段１０２は、撮像素子から得られた画像の少なくとも一つのカラーフィルタに対応する色プレーンの信号レベル（画素値）が、所定の区間においていずれかの方向（第１の方向）に単調増加または単調減少している領域（第１の領域）を検出する。ただし本実施形態はこれに限定されるものではなく、色プレーンの信号レベルに代えて、例えば、撮像素子から得られた画像から生成される輝度プレーン（Ｙプレーン）の信号レベルが単調増加または単調減少している領域を検出するように構成してもよい。

ところで、実際には、撮影光学系がコマ収差などの非対称な収差を有する場合、撮影光学系により発生する色にじみは、被写体に対して発生する方向と発生しない方向が存在する。このため、単調増減のみから色にじみ発生領域を判定すると、被写体が色にじみと同系色である場合、被写体の色を色にじみと誤判定する可能性がある。従って、単調増減検出のみでは色にじみ発生領域を正しく判定することができない。

本実施形態において、単調増加または単調減少を検出する領域は、カラー画像の注目画素を中心とした水平方向、垂直方向、または、斜め方向の画素区間、注目画素を端の点とした水平方向、垂直方向、または、斜め方向の画素区間、のいずれかを含む。

単調増減の検出は、まず、色プレーンの画素値傾斜を計算することにより行われる。入力画像が、例えば、Ｇプレーン、Ｂプレーン、Ｒプレーンの３色の色プレーンで構成されている場合、Ｂプレーンを色にじみ除去対象とし、基準プレーンとしてＧプレーンを用いる。Ｂプレーン、Ｇプレーンに対するそれぞれの輝度傾斜Ｂｌｅａ、Ｇｌｅａは、以下の式（１）で表されるように算出される。

式（１）において、Ｇ（ｘ＋１，ｙ）、Ｂ（ｘ＋１，ｙ）は、それぞれ、Ｇプレーン、Ｂプレーンにおける注目画素の右隣の画素値である。Ｇ（ｘ−１，ｙ）、Ｂ（ｘ−１，ｙ）は、それぞれ、Ｇプレーン、Ｂプレーンにおける注目画素の左隣の画素値である。Ｇ（ｘ，ｙ＋１）、Ｂ（ｘ，ｙ＋１）は、それぞれ、Ｇプレーン、Ｂプレーンにおける注目画素の下隣の画素値である。Ｇ（ｘ，ｙ−１）、Ｂ（ｘ，ｙ−１）は、それぞれ、Ｇプレーン、Ｂプレーンにおける注目画素の上隣の画素値である。本実施形態は、３色の色プレーンで説明するが、画像を構成する色プレーン数により任意の色プレーンで処理を行うことが可能である。

次に、図２乃至図４を参照して、単調増減検出工程の色にじみ発生領域の判定方法について説明する。図２は、本実施形態における単調増減判定処理（単調増減検出工程：ステップＳ２）を示すフローチャートである。図２の各ステップは、主に、画像処理装置１００（検出手段１０２）により実行される。まずステップＳ１５２０において、画像処理装置１００は、ＩＳＯ感度が高いか否か（ＩＳＯ感度が所定の感度よりも高いか否か）を判定する。ＩＳＯ感度が高い場合、ステップＳ１５２１に移行する。一方、ＩＳＯ感度が高くない場合、ステップＳ１５２２に移行する。

ステップＳ１５２２において、画像処理装置１００は、入力画像の注目画素を中心とした時の縦・横・斜めの画素区間（所定の区間）に対して、入力信号の画素値変化を解析する。そしてステップＳ１５２３において、画像処理装置１００は、上記画素区間の入力信号の画素値変化が単調増減の特性を有するか否かを判定（検出）する。その判定の結果、上記の画素区間の入力信号の画素値変化が単調増減の特性を有さない場合、ステップＳ１５２４において、画像処理装置１００は、注目画素を端の点とした時の縦・横・斜めの画素区間に対して入力信号の画素値変化を解析する。そしてステップＳ１５２５において、画像処理装置１００は、上記の画素区間の入力信号の画素値変化が単調増減の特性を有するか否かを判定する。

図３は、単調増減判定対象の画素区間が単調増減特性を有する場合の一例を示す図であり、縦軸は画素値、横軸は距離をそれぞれ示している。図４は、単調増減判定対象の画素区間が単調増減特性を有しない場合の一例を示す図であり、縦軸は画素値、横軸は距離をそれぞれ示している。図３および図４に示されるような画素値変化を有する入力信号に対して、画像処理装置１００は単調増減判定を行う。図３および図４のそれぞれ示される白い四角は注目画素である。

図３に示されるように、入力信号の画素値変化が単調増減の特性を有する画像は、単調増減判定を行う画素区間内において単調増減の特性を有する。このためステップＳ１５２２またはＳ１５２４の解析の結果、ステップＳ１５２３またはＳ１５２５において、画像処理装置１００は、画素区間内において単調増減の特性を有すると判定する。一方、図４に示されるような入力信号の画素値変化の特性を有する画像に対しては、単調増減の特性を有さないと判定する。

上記の画素区間の入力信号の画素値変化が単調増減の特性（単調増加の特性または単調減少の特性）を有している場合、ステップＳ１５２７において、画像処理装置１００は単調増減フラグを立てる。一方、上記の画素区間の入力信号の画素値変化が単調増減の特性（単調増加の特性または単調減少の特性）を有していない場合、ステップＳ１５２６において、画像処理装置１００は単調増減フラグを立てない。

上述した単調増減判定を、Ｂプレーンの各画素に対して適用する。その結果、各画素において単調増減フラグが立っていれば「１」、単調増減フラグが立っていなければ「０」をそれぞれ対応させ、単調増減判定結果プレーンとして生成して保持し、後述の色にじみ判定（図１のステップＳ３）で利用する。単調増減判定結果プレーンの利用方法の詳細については後述する。

次に、図５および図６を参照して、注目画素に対する単調増減判定を行う画素区間の設定方法について説明する。図５（ａ）〜（ｄ）は、注目画素を中心とした単調増減判定用の画素区間を示す図である。図６（ａ）〜（ｈ）は、注目画素を端の点とした単調増減判定用の画素区間を示す図である。注目画素を中心とした画素区間の設定方法および注目画素を端の点とした画素区間の設定方法のうち、注目画素を中心とした画素区間の設定方法としては、図５（ａ）、（ｂ）のように注目画素を中心として水平方向および垂直方向に設定する方法が考えられる。

また、注目画素を中心とした画素区間の設定方法としては、図５（ｃ）、（ｄ）に示されるように注目画素を中心として斜め方向に設定する方法が考えられる。すなわち、斜め方向についても水平方向または垂直方向と同程度の距離の画素区間を設定すれば、等方性を持たせることができる。この場合、斜め方向の角度は、図５（ｃ）、（ｄ）に示されるように水平方向または垂直方向に対して４５度の設定に限定される。ただし本実施形態はこれに限定されるものではなく、４５度以外の任意の角度を設定することができる。その際の画素区間の距離ｄは、以下の式（２）を用いて算出される。

式（２）において、ｘは水平方向、θは水平からの角度をそれぞれ示す。

一方、画像におけるハイライト部周辺の色にじみやシャドウ部周辺の色にじみは、それぞれ、飽和やノイズの影響を受けることにより、色にじみが存在するにも関わらず、判定対象の画素区間内では単調増減の特性を持たず正しく判定できない場合がある。その場合、図６に示されるように、注目画素を端の点として画素区間を設定する方法が効果的である。以上のような方法で単調増減判定を行い、図５および図６に示される画素区間のいずれか１つでも単調増減の特性を有する画素区間が存在する場合、注目画素は単調増減の特性を有する画素であると判定される。

本実施形態では、単調増減判定を行う対象として入力信号の画素値を利用しているが、輝度傾斜を利用しても構わない。その場合、一定の画素区間において輝度傾斜の変化が１回だけ反転する特性を有する場合が色にじみであると判定する。画素区間の画素数の適正値は、撮像装置のある撮影条件にて発生する色にじみのうち、最小の色にじみのにじみ幅に合わせるのが効果的である。

色にじみのにじみ幅は、撮像装置の撮影条件（絞り値、焦点距離、フォーカシング精度、画像面内におけるフォーカス位置、撮像素子上の座標等）により様々である。そのため、画素区間の画素数の適正値を、各種の撮影条件により発生する様々な色にじみの最小幅の色にじみに合わせることで、最小幅の色にじみを検出することが可能となる。最大幅の色にじみに関しては、最小幅の色にじみ用に合わせた画素区間を利用しても検出は可能である。

以上のように単調増減判定を行うことにより、検出したい色にじみを抽出することが可能となる。ただし、高いＩＳＯ感度などの撮影条件によっては、入力信号にノイズが含まれることによりＳ／Ｎ比が低下し、その結果、色にじみが単調増減の特性を有しなくなることが考えられる。その場合、図２のステップＳ１５２１において、入力信号に対してデジタルフィルタによるフィルタリング処理を行うことが有効である。本実施形態では、デジタルフィルタをローパスフィルタとした場合について説明するが、これに限定されるものではない。

入力信号にローパスフィルタを適用する方法としては、幾つかの方法が考えられる。例えば、注目画素の重み係数を隣接する画素の２倍の係数とする［１ ２ １］のローパスフィルタを適用する場合について説明する。図７は、画像内の３×３画素の領域を示す図である。図７に示されるように画像内の３×３画素のある領域においてｐを注目画素としたとき、まず、［１ ２ １］のローパスフィルタを水平方向に適用する。このとき、注目画素は以下の式（３）のように表される。

Ｐ＝（ｄ・１＋ｐ・２＋ｅ・１）／４ … （３）
隣接する画素も同様に計算すると、図８に示されるようになる。図８は、画像内の３×３画素の領域の各画素に対してローパスフィルタを適用した結果を示す図である。続いて、［１ ２ １］のローパスフィルタを垂直方向に適用すると、注目画素は以下の式（４）のように表される。

ＰＰ＝（Ｂ・１＋Ｐ・２＋Ｇ・１）／４ … （４）
図９を参照して、ローパスフィルタを適用したときの入力信号の変化の一例について説明する。図９は、各画素に対してローパスフィルタを適用した場合の入力信号の変化の例を示す図である。図９において、横軸は距離（画像上の断面、すなわち注目画素からの画素区間）、縦軸はプレーンの画素値をそれぞれ示している。

図９中の実線はローパスフィルタを適用しない場合、細かい破線は［１ ２ １］のローパスフィルタを適用した場合、粗い破線は［１ ４ ６ ４ １］のローパスフィルタを適用した場合をそれぞれ示している。ここで、［１ ４ ６ ４ １］は、注目画素と隣接する画素と更にもう１画素分離れた画素にも重み係数をかけてローパスフィルタを適用することを意味する。このようにローパスフィルタを適用して入力信号を滑らかにすることで、色にじみが本来持つ単調増減の特性を際立たせることが可能となる。なお本実施形態では、ローパスフィルタを水平方向、垂直方向の順番で適用しているが、これに限定されるものではない。ローパスフィルタを逆の順番、すなわち垂直方向、水平方向の順番で適用しても構わない。また、２次元のローパスフィルタ係数を算出してローパスフィルタを水平方向および垂直方向に同時に適用することもできる。

図１Ｂに戻り、ステップＳ３において、画像処理装置１００（判定手段１０３）は、ステップＳ２にて検出手段１０２により色にじみ発生領域と仮判定された領域（第１の領域）が、色にじみ発生領域（第２の領域）であるか否かを判定する（色にじみ判定工程）。すなわち判定手段１０３は、撮影光学系の色にじみに関する光学情報および第１の領域に関する情報に基づいて、色にじみが発生している領域（第２の領域）を判定する。光学情報は、例えば、撮影光学系の色にじみが発生する第２の方向に関する情報（色にじみ発生方向の光学情報）である。本実施形態において、色にじみ発生領域は、入力画像を撮影した撮影光学系の色にじみ発生方向の光学情報を用いて判定される。

このように判定手段１０３は、第１の方向（信号レベルが単調増加または単調減少する方向）と第２の方向（撮影光学系の色にじみが発生する方向）とを比較することにより第２の領域を判定する。判定手段１０３は、例えば第１の方向と第２の方向とが互いに一致する場合、第１の領域（ステップＳ２にて検出された領域）が第２の領域（色にじみが発生している領域）であると判定する。

ここで、図１０および図１１を参照して、単調増減検出工程のみから、色にじみ領域を判定した場合の弊害について説明する。デジタルカメラなどの撮像装置により被写体を撮像して得られた画像には、撮影光学系の球面収差、コマ収差、像面湾曲、非点収差などに起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。

ぼけ成分は、光学的には、点像分布関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ：ＰＳＦ）により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。さらに、横方向の色ずれも、光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれ又は位相ずれと言うことができる。

点像分布関数（ＰＳＦ）をフーリエ変換して得られる光学伝達関数（Ｏｐｔｉｃａｌ ＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ：ＯＴＦ）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数（ＯＴＦ）の絶対値、すなわち振幅成分を、ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）といい、位相成分をＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）という。ＭＴＦおよびＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として、以下の式（５）のように表される。

ＰＴＦ＝ｔａｎ^−１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ）） … （５）
式（５）において、Ｒｅ（ＯＴＦ）およびＩｍ（ＯＴＦ）はそれぞれ、ＯＴＦの実部および虚部である。

このように、光学系の光学伝達関数（ＯＴＦ）は、画像の振幅成分と位相成分に対して劣化を与与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になる。

図１０は、被写体の各点が球面収差のような対称にぼける光学特性の状態で撮影された画像に対し、単調増減検出を行う場合を説明した図である。図１０（ａ）は被写体の画素値断面、図１０（ｂ）は撮影光学系のＰＳＦ断面、図１０（ｃ）は撮影光学系で撮影された被写体の画素値断面を示している。図１０（ｂ）に示されるように、撮影光学系が対称な収差特性を有しＰＳＦが対称である場合、被写体の両側のエッジ断面は、両方とも劣化した画像として図１０（ｃ）の実線のように撮影される。図１０（ｃ）では、比較のため、図１０（ａ）に示される被写体の輝度断面を点線で示している。図１０（ｃ）の白い四角を注目画素として、単調増減判定を行うとすると、両エッジとも単調増減領域として判定される。また、色のにじみも実際に発生するため、色にじみ発生領域の判定としては正しく判定される。

図１１は、被写体の各点がコマ収差のような非対称にぼける光学特性の状態で撮影された画像に対し、単調増減検出を行う場合を説明した図である。図１１（ａ）は被写体の画素値断面、図１１（ｂ）は撮影光学系のＰＳＦ断面、図１１（ｃ）は撮影光学系で撮影された被写体の画素断面である。図１１（ｂ）に示されるように、撮影光学系が非対称な収差特性を有しＰＳＦが非対称である場合、特に片側のエッジのみ大きく劣化する光学特性では、被写体のエッジ断面は、片側のみ大きく劣化した画像として図１１（ｃ）の実線のように撮影される。このような撮影画像に対し単調増減検出を行うと、両エッジとも単調増減領域として判定されるが、実際に撮影光学系により発生する色にじみは片側のみであるため、被写体本来の色を色にじみとして判定してしまう弊害が発生する。単調増減のみで色にじみ補正を行うと被写体本来の色を除去することになり、不自然な画像となる場合がある。これを回避しようとすると補正が弱くなってしまう。

そこで本実施形態において、画像処理装置１００は、図１０（ｂ）や図１１（ｂ）に示されるような撮影光学系の色にじみ発生方向に関する光学情報を保持または取得する。そして画像処理装置１００は、単調増減検出の単調増減方向と色にじみ発生方向が一致した場合、色にじみ発生領域である判定する。ここで一致とは、厳密に一致する場合だけでなく実質的に一致である場合も含む意味である。

図１２を参照して、光学情報について説明する。図１２は、本実施形態における光学情報の説明図であり、撮影光学系のＰＳＦ断面および光学情報を示している。図１２（ａ）は、図１０（ｂ）に示される、撮影光学系のＰＳＦが対称な場合の光学情報である。図１２（ｂ）は、図１１（ｂ）に示される、撮影光学系のＰＳＦが非対称な場合の光学情報である。例えば、撮影光学系の収差により色にじみが発生する方向には１を持ち、発生しない場合は０を持つ。図１２（ａ）は、色にじみが対称に両側で発生するため光学情報は両側とも１の値を持つ。図１２（ｂ）では、色にじみが非対称に発生しており、左側エッジでは色にじみが発生しないため０、右側エッジでは色にじみが発生するため１の値を持つ。

図１３は、光学情報および単調増減検出結果に基づいて色にじみ領域を判定する例を示す図である。図１３（ａ）に示されるように、単調増減検出により、例えば、単調減少が検出された場合、その単調減少方向の光学情報を参照し、１を有していれば色にじみ補正領域と判定する。また、図１３（ｂ）に示されるように、単調減少方向の光学情報を参照し、０を有していれば被写体の色であると判定する。このように、撮影光学系の収差として色収差が発生する方向と、発生しない方向の情報を有することで、被写体の色と色にじみを正しく判定することができるため、色にじみ補正の精度を向上させることが可能となる。なお、色にじみの発生方向を１、発生しない方向を０としたが、発生の方向がわかればよく、０と１である必要はない。撮影光学系の収差は、像高により変化するため、複数の像高での光学情報を有しておくことで、高精度に補正を行うことが可能となる。補正値を持たない像高では、近傍の補正値より補間生成してもよい。また、撮影光学系の収差は、撮影条件（撮影光学系の焦点距離、被写体距離、絞り値（Ｆｎｏ））でも変化するため、撮影条件ごとに光学情報を記憶または取得することにより、高精度に補正を行うことが可能となる。

図１０および図１１では、光学情報を１次元の情報として説明したが、撮影画像が２次元配列のデータの場合、光学情報も２次元のデータとして保持してもよい。図１４は、光学情報が２次元である場合の説明図である。図１４（ｃ）は、光学情報を画面上下左右、斜め４５度、１３５度の８方向のデータとして保持する場合の例を示している。図１４では、撮影光学系の色のコマ収差が画面上方向に発生しており、その発生方向に１の光学情報を保持する。色にじみの発生しない方向には０を保持する。単調増減検出を前記８方向で行い、単調減少が検出された方向に光学情報の１が保持されていた場合に色にじみと判定される。単調減少が検出されても、検出された方向に光学情報の１が保持されていなければ被写体の色と判定を行う。

以上のように、画像処理装置１００は、撮影光学系の色にじみが発生する方向に関する光学情報を保持または取得する。好ましくは、画像処理装置１００は、光学情報を記憶する記憶手段１０６を有する。より好ましくは、記憶手段１０６は、撮影条件ごとに光学情報を記憶する。撮影条件は、撮影光学系の焦点距離、被写体距離、絞り値の少なくとも一つを含む。なお、記憶手段１０６は、画像処理装置１００の外部に設けられていてもよい。

そして、画像処理装置１００は、単調増減検出時に検出方向と光学情報を参照することにより、高精度に色にじみ領域を判定することが可能となる。なお、単調増減判定を単調減少方向で説明したが、単調増加方向を使用して色にじみ判定を行ってもよい。また、単調増減判定と光学情報の補正値を８方向で説明したが、８方向に限定されるものではない。精度を向上させるため、検出方向の数を増加させてもよい。または、光学情報に関するデータ量を削減するため、検出方向の数を減少させてもよい。

また画像処理装置１００は、光学情報として、色にじみ発生方向に加え、色にじみの強度に関する情報（色にじみの強度情報）を保持または取得するように構成してもよい。この場合、更に高精度に補正を行うことが可能となる。図１４（ｂ）に示されるように、一般に撮影光学系の収差による色にじみの発生量は方向により異なる。そこで、図１４（ｄ）に示されるように、色にじみの発生する方向に色にじみの発生量に関する色にじみの強度情報を追加してもよい。

続いて、図１５を参照して、色にじみ強度情報を用いた場合の色にじみ判定について説明する。図１５は、光学情報を用いた色にじみ判定処理を示す図であり、光学情報に色にじみ発生方向のみを持つ場合の例を示している。図中の四角で囲まれた注目画素１について色にじみ発生領域の判定を行う場合、まず、注目画素を中心に上下左右、斜め４５度、斜め１３５度の８方向について単調減少判定を行う。図１５（ａ）の場合、高輝度被写体が注目画素の下側に位置するため、注目画素１の単調減少が検出される方向は、上と右上、左上の３箇所が判定される。その３方向の光学情報は色にじみ発生方向を示す「１」であるため、この注目画素１は色にじみ発生領域と判定される。また、同様に注目画素２についても検出を行うと、単調減少方向は上、右上、右、右下が判定される。しかしながら、光学情報の色にじみ発生方向は、右下に発生しない方向を表す「０」を保持しているため、単調減少と光学情報より、最終的な注目画素２の色にじみ検出方向は、上、右上、右の３方向となる。注目画素１、注目画素２共に色にじみ発生が素と判定されるが、図１４（ｂ）に示されるように、撮影光学系の色にじみ発生量は方向により異なるため、注目画素１と注目画素２では、色にじみの発生量が異なっている。光学情報に強度情報を持たない場合、色にじみ量を判定できないため、このあとの色にじみ補正工程において補正の強さを変えて補正を行うことができない。よって、注目画素１にあわせて色にじみ補正を強くすると注目画素２では過補正となり、注目画素２にあわせて色にじみ補正を弱くすると注目画素１では、補正不足となってしまう。

そこで、図１４（ｄ）のように、光学情報に色にじみの発生方向と、その方向の色にじみ強度情報を追加することが好ましい。図１５（ａ）、（ｂ）は、光学情報に色にじみ強度情報も付加した場合の色にじみ領域の判定方法を示している。図１５（ｂ）の注目画素３では、単調減少判定にて上、左上、右上の３方向が判定されるが、光学情報の色にじみ強度もそれぞれ２、３、２と強い色にじみ強度と検出することができる。図１５（ｃ）の注目画素４においては、上、右上、左下の３方向が判定されるが、その方向の光学情報の色にじみ強度はそれぞれ３、２、１と注目画素３に対して弱い色にじみ強度が検出される。よって、例えば、検出された方向の色にじみ強度の平均値により、この後の色にじみ補正処理の補正の強さ（画像を修正する強度）を変更することで、色にじみの発生量が方向で異なる場合でもより正確な補正が可能となる。

注目画素３では色にじみ強度の平均値が約２．３であり、また、注目画素４では色にじみ強度の平均値が２．０となり、この値を使って補正の強さを変えることが可能となる。色にじみ強度の平均値を使用する説明を行ったが、これに限定されるものではない。例えば、色にじみ方向と検出された複数の方向の重心方向の色にじみ強度値を使用して色にじみ補正係数を変えてもよい。注目画素３では重心方向が上となるため色にじみ強度は３、注目画素４では重心方向が右上となるため色にじみ強度は２となり、この値を使って補正の強さを変えることが可能となる。重心方向を採用する場合、例えば上、右上、右、右下の４方向の重心を計算すると、重心方向に最も近い方向は右上、右の２方向となる場合がある。この場合、２方向の平均値、２方向のうち大きい方の色にじみ強度、または、２方向のうち小さいほうの色にじみ強度を用いるなどが考えられる。なお本実施形態において、平均値、重心方向を利用することについて説明したが、光学情報の色にじみ強度情報を任意に演算して色にじみ補正時の補正の強さを変えてもよい。

このように、好ましくは、画像処理装置１００（修正手段１０４）は、第１の方向と第２の方向とが複数の方向において互いに一致する場合、複数の方向における色にじみの強度に関する情報を演算して画像を修正する。より好ましくは、修正手段１０４は、第１の方向と第２の方向とが複数の方向において互いに一致する場合、複数の方向の重心方向における色にじみの強度に関する情報または平均値を用いて画像を修正する。

続いて、図１６を参照して、光学情報の算出方法について説明する。図１６は、光学情報の算出方法の説明図であり、光学情報として保持する任意の方向での、撮影光学系のＧプレーンのＰＳＦ断面（実線）とＢプレーンのＰＳＦ断面（点線）を示している。ここでは、Ｇプレーンを基準プレーンとし、Ｂプレーンの色にじみに関して光学情報を算出する方法について説明する。

撮影光学系の色収差により、Ｇプレーン、Ｂプレーンは、それぞれの波長帯での収差により、異なったＰＳＦ形状となる。また、倍率色収差により、Ｇプレーン、Ｂプレーンは、それぞれ、ずれた位置に結像するため、それぞれのＰＳＦのピーク位置も図１６（ａ）に示されるように、ずれた位置で算出される。倍率色収差による各色プレーンのずれは、従来から行われている、各色プレーンに対し異なる歪曲を加える幾何学変換により補正することができる。そのため、図１６（ｂ）に示されるように、Ｇプレーン、ＢプレーンのそれぞれのＰＳＦのピーク位置を一致させて、図の斜線部にあたる基準であるＧプレーンとＢプレーンのＰＳＦ面積差を色にじみ強度として採用する方法が考えられる。

図１６（ｂ）では、ピークよりも左側エッジの面積差よりも右側エッジの面積差が大きいため、右側エッジで大きく色にじみが発生することがわかる。この面積が小さければ色にじみは目立たないため、面積が小さい場合を色にじみが発生しない方向とすることができる。また、面積比より、色にじみ強度を決定することが可能となる。以上により、光学情報の色にじみが発生する方向や色にじみ強度を算出できるが、算出方法としてＰＳＦの面積差を使用する方法に限定されるものではない。例えば、図１６（ｂ）において、ＧプレーンとＢプレーンのエッジの傾き差を使用する方法が考えられる。色にじみが発生する場合、エッジの傾きは緩くなる傾向にあるため、傾き差などを利用することにより、光学情報を決定するなどしてもよい。

本実施例では、色にじみ強度を計算する際にピーク値を一致させる方法で説明しているが、ピーク値ではなくＰＳＦの重心が一致をさせて色にじみ強度を算出してもよい。このように本実施形態によれば、光学情報の色にじみ発生方向と、色にじみ強度情報を算出することができる。

図１Ｂに戻り、ステップＳ４において、画像処理装置１００（修正手段１０４）は、ステップＳ３にて判定手段１０３により色にじみ領域と判定された領域（第２の領域）に対し、色にじみを補正する処理（画像を修正する処理）を行う（色にじみ補正工程）。すなわち修正手段１０４は、色にじみを低減させるように画像を修正する。

図１７は、青色にじみの典型的な画素値変化を示す図である。図１７において、横軸は距離（画像上の断面）であり、縦軸はＢプレーン及びＧプレーンの画素値である。図１７では、左端に飽和輝度を超える高輝度被写体が存在するものとする。そして、本来明るくない光源周囲も、収差やフレアにより光源からにじんだ光により、画素値変化の裾が指数関数的に拡がる。

基準プレーンであるＧプレーンでもにじみは無いわけではなく、ある程度の拡がりが存在する。しかし、それは色にじみ除去対象のＢプレーンに比べると小さい。また、撮像素子は一定の飽和レベル以上の画素値を測定することはできない。このような画素値変化において、色にじみ除去対象のＢプレーンの強度が基準プレーンであるＧプレーンの強度を上回ると、青色にじみとなる。

本実施形態では、画像処理装置１００は、色にじみ除去対象のＢプレーンの画素値変化の傾きによりＢプレーンのにじみ量を推定する。そこで、Ｂプレーンの輝度傾斜Ｂｌｅａの絶対値に係数ｋ１を乗じることにより、以下の式（６）で表されるように第１の推定にじみ量Ｅ１とする。

Ｅ１＝ｋ１｜Ｂｌｅａ｜ … （６）
式（６）において、ｋ１は正値である。ただし、Ｂプレーンが飽和している領域Ａ１では画素値傾斜は０になってしまい飽和前の輝度傾斜が得られない。

そこで、Ｂプレーンが飽和している領域Ａ１に対する推定にじみ量Ｅ２を、以下の式（７）に示されるように、Ｇプレーンの画素値変化の輝度傾斜Ｇｌｅａに基づいて推定する。

Ｅ２＝ｋ２｜Ｇｌｅａ｜ … （７）
式（７）において、ｋ２は正値である。

次に、Ｂプレーンの画素値に対する非線形変換を行い、飽和度Ｓを生成する。この非線形変換は、Ｂプレーンが飽和しているか否かを示すものであり、Ｂプレーンの強度が飽和している領域では飽和度Ｓが１となり、Ｂプレーンの強度が小さい領域では飽和度Ｓは０となる。飽和度Ｓは０、１の２値でもよいが、図１８に示されるように、飽和度Ｓは０〜１にかけて連続的に変化する値としてもよい。図１８は、Ｂプレーンの画素値に対する非線形変換の特性図である。

そして、上記の生成した飽和度Ｓにより、上記のように算出した推定にじみ量Ｅ１または推定にじみ量Ｅ２を選択する。即ち、飽和度Ｓが０、１の２値であれば新たな推定にじみ量Ｅを、
Ｅ＝Ｅ１ （Ｓ＝０の場合）
Ｅ＝Ｅ２ （Ｓ＝１の場合）
とする。また、飽和度Ｓが０〜１にかけて連続的に変化する値であれば、新たな推定にじみ量Ｅを、
Ｅ＝（１−Ｓ）Ｅ１＋ＳＥ２
とする。

次に、上記の推定にじみ量Ｅを修正し、実際に除去する量Ｅ’を決定する。推定にじみ量（除去量）は、一定のモデルに沿ったものであり、実際のにじみ量とは必ずしも一致しない。例えば、同じＢプレーンに検出される光であっても、波長４５０ｎｍの光と波長４００ｎｍの光ではにじみ方が変化するが、ステップＳ３（色にじみ判定工程）では、これを考慮していない。推定にじみ量（除去量）が過小である場合、青色にじみの除去後も若干の青みが残る。一方、推定にじみ量（除去量）が過大である場合、灰色の背景に対してＢプレーンを減らし過ぎ、黄緑色になる場合がある。

特に後者（黄緑色になる場合）は、不自然で観察者に大きな違和感を与える。そこで、ステップＳ４（色にじみ補正工程）では、一定の色相範囲内でのみ、にじみ除去が作用するよう制限する。このため、まずステップＳ４において、画素の色度を計算する。Ｒ、Ｇ、Ｂの各プレーンの強度に対し、以下の式（８）が成立する。

図１９は、式（８）のａを横軸とし、ｂを縦軸とする色度座標ａｂ面である。図１９に示されるように、青色は色度座標ａｂ面の斜線で示す第４象限にある（尚、赤、黄、紫は第１象限、緑、白は第２象限、青緑は第３象限にある）。Ｂプレーンの強度から推定にじみ量Ｅを除去すると、Ｂ＝Ｂ−Ｅとなり、色度座標ａｂ面上では点線矢印のように左上方向へ移動する。矢印の始点が推定にじみ量Ｅの除去前の色度であり、終点が推定にじみ量Ｅの除去後の色度である。このことから、作用する色相範囲をａ＞０かつｂ＜０に制限すると、以下の式（９）が成立する。

Ｂ＞０．２２Ｒ＋０．６８Ｇ かつ Ｂ＞−１．８４Ｒ＋３．３０Ｇ … （９）
このため、式（９）を満たさない画素に対し、実際に除去する除去量Ｅ’＝０とし、色にじみ除去対象から外す。これにより、式（９）を満たさない画素は、画素値が影響を受けることがない。図１９では、斜線で示す第４象限の領域のみが除去対象となる。

更に、式（９）を満たす画素に対しても、除去量Ｅ’を、以下の式（１０）を満たすように設定する。

Ｅ’＝ｍｉｎ（Ｅ，Ｂ−（０．２２Ｒ＋０．６８Ｇ），Ｂ−（−１．８４Ｒ＋３．３０Ｇ）） … （１０）
これにより、除去量Ｅ’の除去による色度変化は、図１９中の実線矢印で示されるように、第４象限内に留まるようになる。

なお本実施形態において、色度座標ａｂ面の第４象限で制限したが、これに限定されるものではなく、任意の角度で制限してもよい。このとき、以下の式（１１）を満たす必要がある。

Ｂ＞ｒ１・Ｇ＋ｒ２・Ｒ かつ Ｂ＞ｒ３・Ｇ＋ｒ４・Ｒ … （１１）
式（１１）において、ｒ１〜ｒ４は制限角θを用いて、以下の式（１２）のように算出される。色相制限は、色度座標ａｂ面の原点を通る２本の直線で定義され、θ１、θ２はその２本の直線を表す角度である

これにより、色相制限範囲を超えてＢプレーンが減少するのを防ぐことができる。以上のようにして算出した、色にじみの除去対象とする色プレーンの除去量Ｅ’を除去量プレーンとして保持し、色にじみ補正処理を行う。除去量プレーンに対しては、上記のローパスフィルタを適用する。なお本実施形態では、色相制限に簡易的なａ＊ｂ＊平面を用いているが、これに限定されるものではなく、３×３のＲＧＢ→ＹＵＶマトリクスを用いてｕｖ平面にて色相制限処理を行っても構わない。

上記の除去量Ｅ’をＢプレーンの強度から差し引くことにより、新たなＢプレーンを作成する。色にじみ除去対象としては、色にじみ判定ステップＳ４にて色にじみ領域と判定された画素のみとする。従って、新たなＢプレーンの強度は、単調増減判定フラグが「１」ならば、
Ｂ＝Ｂ−Ｅ’
単調増減判定フラグが「０」ならば、
Ｂ＝Ｂ
となる。このように、図１のステップＳ５において、画像処理装置１００（出力手段１０５）は、Ｂプレーンを修正したカラー画像を出力画像として出力する。

ここで、図７に示される画像内の３×３画素のある領域における単調増減判定結果が、図２０に示されるように隣接する画素で単調増減判定フラグの値が切り替わる場合を考える。このような場合、画素の境界部では除去量がばたつき（隣接する画素で除去される場合と除去されない場合が混在すること）、画素値の変化が急峻になり、不自然で観察者に違和感を与える場合がある。そこで、生成した除去量プレーンに対してローパスフィルタを適用する方法が有効である。

また、以下の式（１３）により、単調増減判定結果プレーンを用いて色プレーンの各画素のゲインを算出し、除去量に乗算することで、境界部（単調増減判定結果プレーン）に対するスムージング処理を行ってもよい。

図２０に示す例では、画素ｐの除去量Ｅ’’は、以下の式（１４）のように表される。

以上の方法で、色にじみのみを違和感無く除去することが可能となる。

次に、図２１を参照して、本発明の実施例１における撮像装置について説明する。図２１は、本実施例における撮像装置２００の構成図である。撮像装置２００には、撮影画像の色にじみ補正処理（上述の画像処理方法）を行う画像処理プログラムがインストールされており、この色にじみ補正処理は撮像装置２００の内部の画像処理部２０４（画像処理装置）により実行される。

撮像装置２００は、撮影光学系２０１（レンズ）および撮像装置本体（カメラ本体）を備えて構成されている。撮影光学系２０１は、絞り２０１ａおよびフォーカスレンズ２０１ｂを備え、撮像装置本体（カメラ本体）と一体的に構成されている。ただし本実施例はこれに限定されるものではなく、撮影光学系２０１が撮像装置本体に対して交換可能に装着される撮像装置にも適用可能である。

撮像素子２０２は、撮影光学系２０１を介して得られた被写体像（光学像）を光電変換して画像（撮影画像）を得る。すなわち被写体像は、撮像素子２０２により光電変換が行われてアナログ信号（電気信号）に変換される。そして、このアナログ信号はＡ／Ｄコンバータ２０３によりデジタル信号に変換され、このデジタル信号は画像処理部２０４に入力される。

画像処理部２０４（画像処理装置１００に相当する）は、このデジタル信号に対して所定の処理を行うとともに、上述の色にじみ補正処理を行う。まず画像処理部２０４（撮影条件取得手段）は、状態検知部２０７から撮像装置の撮像条件情報を取得する。撮像条件情報とは、絞り、撮影距離、または、ズームレンズの焦点距離等に関する情報である。状態検知部２０７は、システムコントローラ２１０から直接に撮像条件情報を取得することができるが、これに限定されるものではない。例えば撮影光学系２０１に関する撮像条件情報は、撮影光学系制御部２０６から取得することもできる。なお、本実施例の色にじみ補正処理（画像処理方法）は、図１を参照して説明したとおりである。

撮影光学系２０１の色にじみ発生方向に関する光学情報は、記憶部２０８に保持されている。画像処理部２０４は、上記撮影条件に該当する光学情報を記憶部２０８より取得し、色にじみ補正処理を行い、その出力画像は、画像記録媒体２０９に所定のフォーマットで保存される。表示部２０５には、本実施例の色にじみ補正処理を行った画像に表示用の所定の処理を行った画像が表示される。ただし本実施例はこれに限定されるものではなく、高速表示のために簡易処理を行った画像を表示部２０５に表示するように構成してもよい。

本実施例における一連の制御はシステムコントローラ２１０により行われ、撮影光学系２０１の機械的な駆動はシステムコントローラ２１０の指示に基づいて撮影光学系制御部２０６により行われる。撮影光学系制御部２０６は、Ｆナンバーの撮影状態設定として、絞り２０１ａの開口径を制御する。また撮影光学系制御部２０６は、被写体距離に応じてピント調整を行うため、不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構により、フォーカスレンズ２０１ｂの位置を制御する。なお、絞り２０１ａの開口径制御やマニュアルフォーカスなどの機能は、撮像装置２００の仕様に応じて実行しなくてもよい。また、撮影光学系２０１には、ローパスフィルタや赤外線カットフィルタなどの光学素子を設けることができる。

次に、図２２を参照して、本発明の実施例２における画像処理システムについて説明する。図２２は、本実施例における画像処理システム３００の構成図である。なお、本実施例の色にじみ補正処理（画像処理方法）は、図１を参照して説明したとおりであるため、その説明は省略する。

図２２において、画像処理装置３０１（画像処理装置１００に相当する）は、本実施例の画像処理方法をコンピュータに実行させるための画像処理ソフトウエア３０６を搭載したコンピュータ機器である。撮像機器３０２は、カメラ、顕微鏡、内視鏡、または、スキャナなどの撮像装置である。記憶媒体３０３は、半導体メモリ、ハードディスク、または、ネットワーク上のサーバなど、撮影画像を記憶した記憶手段である。

画像処理装置３０１は、撮像機器３０２または記憶媒体３０３から撮影画像データを取得し、所定の画像処理を行った画像データを出力機器３０５、撮像機器３０２、記憶媒体３０３のいずれか一つまたは複数に出力する。また、その出力先を画像処理装置３０１に内蔵された記憶部に保存することもできる。出力機器３０５は、例えばプリンタである。また、ネットワークまたはＣＤ−ＲＯＭ３０７などの記憶媒体から画像処理ソフトウエア３０６を画像処理装置３０１にインストールすることもできる。

画像処理装置３０１には、モニタである表示機器３０４が接続されている。このため、ユーザは表示機器３０４を通して画像処理作業を行うとともに、補正された画像を評価することができる。画像処理ソフトウエア３０６は、本実施例の色にじみ補正処理（画像処理方法）を行うほか、必要に応じて現像やその他の画像処理を行う。

なお、本実施例における画像処理を行うためのデータの内容や機器間での受け渡しなどに関する情報（補正情報）については、個々の画像データに付帯させることが好ましい。必要な補正情報を画像データに付帯させることで、本実施例の画像処理装置を搭載した機器であれば、適切に本実施例の補正処理を行うことが可能である。

上記各実施例によれば、撮影光学系の色にじみ発生方向に関する光学情報を保持しておき、単調増減検出手段の結果と光学情報より色にじみ補正領域を決定することにより、被写体の色を除去する弊害を低減することができ、高品質な画像を得ることが可能となる。従って、各実施例によれば、良好な画像回復処理が可能な画像処理方法、画像処理装置、撮像装置、および、画像処理プログラムを提供することができる。

なお、撮影光学系の色にじみ発生方向に関する光学情報は、本実施例の画像処理装置を搭載した機器の記録部から読み出す方法だけでなく、ネットワークを介して取得してもよいし、ＰＣやカメラ、レンズ等から情報を取得してもよい。

また各実施例は、以下の処理を実行することによっても実現される。即ち、上述の機能を実現するソフトウエア（プログラム）を、ネットワーク又はＣＤ−ＲＯＭなどの各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（ＣＰＵ、ＭＰＵなど）がプログラムを読み出して実行する処理である。

各実施例によれば、カラー画像の色にじみ補正処理の際、各色プレーンの画素値の単調増加或いは単調減少判定と結像光学系の色にじみ発生方向の情報を用いることで、被写体本来の色を除去する弊害を低減でき、効果的に色にじみを補正することが可能となる。このため各実施例によれば、カラー画像における色にじみを効果的に低減可能な画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 画像処理装置
１０２ 検出手段
１０３ 判定手段
１０４ 修正手段

Claims (13)

1. 複数のカラーフィルタを備えた撮像素子から得られた画像の少なくとも一つのカラーフィルタに対応する色プレーンの信号レベル、または、該画像から生成される輝度プレーンの信号レベルが、所定の区間において第１の方向に単調増加または単調減少している第１の領域を検出する検出手段と、
   撮影光学系の色にじみに関する光学情報および前記第１の領域に関する情報に基づいて、該色にじみが発生している第２の領域を判定する判定手段と、
   前記色にじみを低減させるように前記画像を修正する修正手段と、を有し、
   前記光学情報は、前記撮影光学系の色にじみが発生する第２の方向に関する情報であり、
   前記判定手段は、前記第１の方向と前記第２の方向とを比較することにより前記第２の領域を判定することを特徴とする画像処理装置。
2. 前記判定手段は、前記第１の方向と前記第２の方向とが互いに一致する場合、前記第１の領域が前記第２の領域であると判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記光学情報は、前記撮影光学系の色にじみの強度に関する情報であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記修正手段は、前記色にじみの強度に関する情報に基づいて、前記画像を修正する強度を変更することを特徴とする請求項３に記載の画像処理装置。
5. 前記修正手段は、前記第１の方向と前記第２の方向とが複数の方向において互いに一致する場合、該複数の方向における色にじみの強度に関する情報を演算して前記画像を修正することを特徴とする請求項２に記載の画像処理装置。
6. 前記修正手段は、前記第１の方向と前記第２の方向とが複数の方向において互いに一致する場合、該複数の方向の重心方向における色にじみの強度に関する情報を用いて前記画像を修正することを特徴とする請求項５に記載の画像処理装置。
7. 撮影条件ごとに前記光学情報を記憶する記憶手段を更に有することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記撮影条件は、前記撮影光学系の焦点距離、被写体距離、絞り値の少なくとも一つを含むことを特徴とする請求項７に記載の画像処理装置。
9. 光学像を光電変換する撮像素子と、
   複数のカラーフィルタを備えた前記撮像素子から得られた画像の少なくとも一つのカラーフィルタに対応する色プレーンの信号レベル、または、該画像から生成される輝度プレーンの信号レベルが、所定の区間において第１の方向に単調増加または単調減少している第１の領域を検出する検出手段と、
   撮影光学系の色にじみに関する光学情報および前記第１の領域に関する情報に基づいて、該色にじみが発生している第２の領域を判定する判定手段と、
   前記色にじみを低減させるように前記画像を修正する修正手段と、を有し、
   前記光学情報は、前記撮影光学系の色にじみが発生する第２の方向に関する情報であり、
   前記判定手段は、前記第１の方向と前記第２の方向とを比較することにより前記第２の領域を判定することを特徴とする撮像装置。
10. 撮影光学系を備えたレンズ装置と、
    請求項９に記載の撮像装置と、を有することを特徴とする撮像システム。
11. 複数のカラーフィルタを備えた撮像素子から得られた画像の少なくとも一つのカラーフィルタに対応する色プレーンの信号レベル、または、該画像から生成される輝度プレーンの信号レベルが、所定の区間において第１の方向に単調増加または単調減少している第１の領域を検出するステップと、
    撮影光学系の色にじみに関する光学情報および前記第１の領域に関する情報に基づいて、該色にじみが発生している第２の領域を判定するステップと、
    前記色にじみを低減させるように前記画像を修正するステップと、を有し、
    前記光学情報は、前記撮影光学系の色にじみが発生する第２の方向に関する情報であり、
    前記第１の方向と前記第２の方向とを比較することにより前記第２の領域を判定することを特徴とする画像処理方法。
12. 請求項１１に記載の画像処理方法をコンピュータに実行させるように構成されていることを特徴とする画像処理プログラム。
13. 請求項１２に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。