JP2012165204A - 信号処理装置、信号処理方法、撮像装置及び撮像処理方法 - Google Patents

Abstract

【課題】画素値にリニアマトリクスゲインが掛けられた画像信号による画像の一部に色の強調を生じさせないこと。
【解決手段】撮像装置１０は、撮像素子の画素がチャンネル毎に出力する画像信号の画素値にリニアマトリクス係数を用いたリニアマトリクスゲインが掛けられた画像信号による画像に色の強調が生じた場合に、画素値を補正する強調対策部９を備える。このとき、強調対策部９は、チャンネル毎に画素値にリニアマトリクス係数を掛けた結果から分離した色差成分、及び結果から求めた輝度に基づいてチャンネル毎に色の強調が生じた部分を補正した画像信号を出力する。
【選択図】図２

Description

本開示は、信号処理装置、信号処理方法、撮像装置及び撮像処理方法に関する。詳しくは、画像中に含まれる高輝度の物体の縁部分に生じる色付きのエッジ（以下、カラーフリンジ（Color Fringe）という。）を補正する技術に関する。

従来、撮像素子が読み出した赤（Ｒ）、緑（Ｇ）、青（Ｂ）（以下、「ＲＧＢ」と略記する。）の画像信号の画素値のゲインを調整することにより、画像の色相や色の飽和度等の色再現性を高める処理を行うリニアマトリクス回路が知られている。ここで、モニタ等の表示装置に出力する画像が被写体の本来の色に再現される程度を「色再現性」と呼ぶ。また、リニアマトリクス回路が画素値のゲインを調整する処理は「リニアマトリクスゲインを掛ける」と呼ぶ。

リニアマトリクスが掛けられた後の画像信号による画像には、高輝度の物体の縁部分に色付きのエッジが生じることがあった。この色付きのエッジは「カラーフリンジ」と呼ばれており、このカラーフリンジは目立つので、ユーザは、カラーフリンジが生じた部分を認識したり、違和感を覚えたりすることがあった。ここで、カラーフリンジが生じる理由と、カラーフリンジが生じた画像の例について、図５〜図８を参照して説明する。

図５は、Ｌ＊ａ＊ｂ＊色空間における理想的なリニアマトリクスゲインを掛けた場合における測色値の例を示す。図５及び後述する図６に示すＬ＊ａ＊ｂ＊色空間は、明度を示すＬ＊を所定値として、座標軸をａ＊軸とｂ＊軸にとした座標系を示している。

Ｌ＊ａ＊ｂ＊色空間では、ａ＊軸とｂ＊軸からなる色度座標上を画素の測色値が移動すると画素の色相が変わる。ａ＊軸のプラス方向は赤色を表し、マイナス方向は青緑色（シアン）又は緑色を表す。一方、ｂ＊軸のプラス方向は黄色を表し、マイナス方向は青色を表す。また、原点は無彩色であり、原点から遠ざかるほどに彩度が高まることを表す。

ここで、リニアマトリクス回路の動作がオフ状態であり、リニアマトリクスゲインを掛けていない場合に、色度座標（ａ＊，ｂ＊）＝（８，２８）に測色点１００が存在することを想定する。ここで、従来のリニアマトリクス回路をオン状態にして、測色点１００で表される色相を、座標（−１８，６０）の測色点１０１で表される色に設定したいという要望がある。

図６は、Ｌ＊ａ＊ｂ＊色空間における実際にリニアマトリクスゲインを掛けた場合における測色値の例を示す。
図５で示したように、リニアマトリクス回路の動作がオン状態であり、リニアマトリクスゲインを掛けると、測色点１０２で示されるように、意図した測色点１０１を超えてリニアマトリクスゲインを掛けすぎることがあった。このようにリニアマトリクスゲインを掛けることにより、色相が変わることは、「色相が回る」と呼ばれる。

図７は、リニアマトリクスゲインを掛けすぎて画像にカラーフリンジが表示される例を示す。
図７Ａは、リニアマトリクスゲインを掛ける前の画像信号による画像の例を示す。
図７Ｂは、リニアマトリクスゲインを掛けた後の画像信号による画像の例を示す。

図７Ａは、明るい外光が差し込む格子窓を被写体として暗い室内から撮像した画像であり、リニアマトリクスゲインを掛ける前の画像信号による画像を元画像として説明する。元画像の一部を拡大した拡大部分１０５では、明るい外部の風景と暗い格子部分との境界部分の色がにじんでいることが示される。一方、図７Ｂには、元画像の画像信号にリニアマトリクスゲインを掛けたことにより、拡大部分１０５に対応する拡大部分１０６では青色のカラーフリンジが強調されている。以下、リニアマトリクスゲインを掛けることにより色味が強調されたカラーフリンジが画像に表示されることを「フリンジ強調」と呼ぶ。

図８は、リニアマトリクスゲインを掛けすぎて、カラーフリンジが生じた部分の階調の差がなくなる（以下、「階調が潰れる」と呼ぶ。）場合の表示例を示す。
図８Ａは、リニアマトリクスゲインを掛ける前の画像信号による画像を示す。
図８Ｂは、リニアマトリクスゲインを掛けた後の画像信号による画像の例を示す。

図８Ａは、明るい外光が差し込む格子窓を被写体として暗い室内から撮像した画像であり、リニアマトリクスゲインが掛けられていない画像信号による画像を元画像として説明する。元画像の一部を拡大した拡大部分１０７では、明るい外部の風景と暗い格子部分との輝度差が大きい。そして、図８Ｂには、元画像にリニアマトリクスゲインを掛けると、拡大部分１０７に対応する拡大部分１０８ではリニアマトリクスゲインを掛けすぎて格子部分の階調が潰れることが示される。このように階調が潰れるのは、暗い部分と明るい部分のレベル差が大きく、さらにリニアマトリクスゲインが掛けられることによって、レベル差が拡大するために、モニタ等が表示可能なレベルを超えてしまうためである。このように図８Ｂに示される画像は、被写体の階調の変化が十分に表現されておらず、品質が悪いと言える。

特許文献１には、リニアマトリクスゲインの調整後に得た結果をフィードバックして画像信号の高域成分のゲインを調整し、色相が変化する箇所のノイズを低減する技術が開示されている。

特許文献２には、色分離後にＹ信号の傾きが大きい箇所を傾き補正してカラーフリンジを低減する技術が開示されている。

特開２００７−３６７１９号公報 特開２０１０−１７８２２６号公報

ところで、カラーフリンジが生じる原因にはいくつかあり、光学的には、撮像素子の前面に設けられたレンズがプリズムのように入射光をいくつかの色に分離する倍率色収差によるものが挙げられる。また、リニアマトリクス回路が画像のゲインを調整することによって、元々あった収差や、周辺の画素から漏れてくる光によって色が強調されることもある。また、撮像素子の特性によってカラーフリンジが画像の高輝度部分に生じることにより、デジタル画像に特有である、画像中の紫色が強調される「パープルフリンジ」が生じることもある。

このため、カラーフリンジの発生を防ぐためには、光学的な原因を除く収差補正を行ったり、撮像素子を改良して周辺の画素から光が漏れてこないように補正を行ったりする対策がとられてきた。しかし、撮像装置は多数の処理ブロックを備え、各ブロックで多くの信号処理がなされる。このため、光学的又は撮像素子による原因を個別に除くことにより、画像信号からカラーフリンジによる影響を除いたにも関わらず、後続の処理で行われる画作りの過程でカラーフリンジが強調されることもあった。

例えば、画作りに際して、ホワイトバランス処理、リニアマトリクスゲイン等の画像を強調する処理が行われると、予め軽減したはずのカラーフリンジ等が強調されることがある。また、画像信号に過度にゲインを掛け過ぎると、フリンジ強調だけでなく、ある輝度の領域における特定の色の色相が変わってしまい、画像の階調が潰れることもあった。

ここで、特許文献１に記載された技術では、色相が回って階調が潰れることには対応できない。この技術は、輝度信号・色差信号等の差分信号に依存して処理するため、カラーフリンジの影響を除く「カラーフリンジ対策」をしても輝度が明るい領域にしか効かなかったり、画像内の彩度の変化と色相の変化の違いを検出できなかったりしていた。また、カラーフリンジ対策では、色相の変化を自然なものとすることが必要であるが、意図した色相に変えることができなかった。

また、特許文献２には、リニアマトリクスゲインを用いて補正する技術は開示されておらず、ベイヤ配列を用いた単板式の撮像装置について画像信号を補間する方法が開示されているにすぎない。

本開示はこのような状況に鑑みて成されたものであり、画素値にリニアマトリクスゲインが掛けられた画像信号による画像の一部に過度な色の強調を生じさせないことを目的とする。

本開示は、撮像素子の画素がチャンネル毎に出力する画像信号の画素値にリニアマトリクス係数を用いたリニアマトリクスゲインが掛けられた画像信号による画像に色の強調が生じた場合に適用される。そして、チャンネル毎に画素値にリニアマトリクス係数を掛けた結果から分離した色差成分、及び画素値から求めた輝度に基づいてチャンネル毎に補正した画像信号を出力するものである。

このようにしたことで、リニアマトリクスゲインがかけられた画像信号による画像に生じた過度な色の強調を補正することができる。

本開示によれば、リニアマトリクスゲインを掛けすぎたことによってカラーフリンジが発生し、または、階調潰れが生じる画像の画像信号の色の強調を補正することにより、不自然なカラーフリンジを抑えることができるという効果がある。

本開示の一実施の形態における撮像装置の内部構成例を示すブロック図である。 本開示の一実施の形態における強調対策部の内部構成例を示すブロック図である。 本開示の一実施の形態におけるカラーフリンジを補正する処理例を示すフローチャートである。 本開示の一実施の形態におけるカラーフリンジ対策を施した場合における画像の例を示す説明図である。 Ｌ＊ａ＊ｂ＊色空間における理想的なリニアマトリクスゲインを掛けた場合における測色値の例を示す説説明図である。 Ｌ＊ａ＊ｂ＊色空間における実際にリニアマトリクスゲインを掛けた場合における測色値の例を示す説明図である。 リニアマトリクスゲインを掛けすぎてカラーフリンジが強調される例を示す説明図である。 リニアマトリクスゲインを掛けすぎて階調が潰れる例を示す説明図である。

以下、本開示を実施するための最良の形態（以下実施の形態とする。）について説明する。なお、説明は以下の順序で行う。
１．一実施の形態（カラーフリンジを補正する例）
２．変形例

＜１．一実施の形態＞
［カラーフリンジを補正する例］
以下、本開示の一実施の形態について、図１〜図４を参照して説明する。本実施の形態では、画像に生じたカラーフリンジを補正する画像信号処理を撮像装置１０に適用した例（以下、「本例」という。）について説明する。本開示に係る技術は、撮像装置１０にて実行される撮像処理方法にも適用される。また、後述する強調対策部９は、画像信号に所定の処理を加える信号処理装置として用いられる。この信号処理装置は、以下に強調対策部９が行う信号処理方法を、ソフトウェアプログラムを実行することにより実現するものである。

図１は、撮像装置１０の内部構成例を示すブロック図である。
撮像装置１０は、レンズ部１と、色フィルタ２と、撮像素子３とを有する。レンズ部１は、光学レンズ系や不図示の絞り機構等によって構成され、撮像素子３の撮像面に被写体の像光を結像する。撮像素子３は、二次元配置され、ＲＧＢのアナログ画像信号を出力する複数の画素からなる。撮像素子３には、例えば、ＣＣＤ（Charge Coupled Devices）イメージャ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等が用いられる。

撮像素子３の画素には、ＲＧＢの色フィルタ２を配置してあり、色フィルタ２を通過する入射光により、１画素当たり１色に相当するアナログ画像信号が得られる。入射光は色フィルタ２を通過することにより、色フィルタ２の各色成分の入射光が撮像素子３の受光部に到達する。このとき、受光部においては、ＲＧＢの各成分の入射光が互いに異なる位置に入射する。そして、撮像素子３は、光学系を介して撮像面に入射する入射光を光電変換したアナログ画像信号を読み出して、後続の処理ブロックにアナログ画像信号を出力する。

また、撮像装置１０は、撮像素子３が出力するアナログ画像信号をデジタル画像信号に変換するアナログ・デジタル変換部４と、アナログ・デジタル変換部４が変換したデジタル画像信号に対して所定の補正処理を行う補正処理部５を備える。アナログ・デジタル変換部４は、撮像素子３が出力するＲＧＢの各成分のアナログ画像信号をデジタル画像信号に変換し、そのデジタル画像信号を補正処理部５に出力する。補正処理部５は、光学系や撮像系の特性に起因して発生した輝度ムラを補正するシェーディング補正や、撮像素子３の欠陥等に起因して発生した画素欠陥の補正等の処理を行う。

また、撮像装置１０は、ベイヤ配列等の撮像素子から出力される画像信号を空間的に補間してＲＧＢのフルカラーの画像信号を得る色分離部６を備える。また、ＲＧＢの画像信号にリニアマトリクス係数Ｃ_０〜Ｃ_８に従ってリニアマトリクスゲインを掛けるリニアマトリクス演算部７と、リニアマトリクス演算部７にリニアマトリクス係数Ｃ_０〜Ｃ_８を出力するリニアマトリクス係数生成部８と、を備える。また、撮像素子の画素がチャンネル毎に出力する画像信号の画素値にリニアマトリクス係数を用いたリニアマトリクスゲインが掛けられた画像信号による画像に色の強調が生じた場合に、画素値を補正した画像信号を出力する強調対策部９を備える。また、カラーフリンジが抑制されたＲＧＢの画像信号を出力する信号出力部１１を備える。

リニアマトリクス演算部７は、リニアマトリクス係数生成部８が出力するリニアマトリクス係数Ｃ_０〜Ｃ_８を用いて、色分離部６が出力した画像信号の画素値にリニアマトリクスゲインを掛ける。強調対策部９は、リニアマトリクスゲインが掛けられたＲＧＢの画像信号のうち、カラーフリンジや階調潰れが生じた箇所の画素が出力する画像信号に対して、これらの色の強調を抑制する。そして、信号出力部１１は、強調対策部９が出力するＲＧＢの画像信号に対して、所定の伝送規格に対応する信号処理を加え、ＲＧＢの画像信号を出力する。ＲＧＢの画像信号は、不図示の画像処理部によって、ニー補正、ガンマ補正及び輪郭強調等の画像処理が加えられ、モニタ等の表示装置やプリンタ等の出力装置に出力される。

図２は、強調対策部９の内部構成例を示す。
強調対策部９は、リニアマトリクス係数を掛けられた画素値からチャンネル毎に色差成分を分離する色差成分分離部２１を備える。ここで、ＲＧＢの三原色の各色を「チャンネル」という。

また、強調対策部９は、ＲＧＢのチャンネル毎の画素の画素値から色差成分の値を減じた値が所定値より小さい値とならないような輝度Ｙ及び、輝度Ｙを抑制する抑制ゲインを求める輝度生成部２２を備える。また、チャンネル毎の画素の画素値に加えた色差成分の値が、輝度及び抑制ゲインによって求まる値以上となるように、色差成分の値を補正する補正係数αを求めるカラーフリンジ補正係数算出部２３を備える。また、強調対策部９は、補正係数αを用いて補正した色差成分の値を加えてチャンネル毎の画素値を補正することによって、カラーフリンジを補正するカラーフリンジ補正部２４を備える。

強調対策部９は、チャンネル毎の画素の画素値にリニアマトリクス係数を掛けた結果から分離した色差成分、及び結果から求めた輝度に基づいてチャンネル毎に色の強調が生じた部分を補正した画像信号を出力する。また、色の強調が、高輝度の画像の周囲に付く特定の色のカラーフリンジ又は階調の差がなくなる階調潰れである場合に、カラーフリンジが発生する条件に基づいて特定の色の反対の色相を強調する輝度を求める。そして、チャンネル毎の画素の画素値に加えた色差成分と所定の補正係数を掛けた値が、輝度に色差成分を掛けた値以上となる関係を満たす補正係数を求めて、補正係数を用いてチャンネル毎の画素値を補正する。

次に、上記の強調対策部９の機能を実現する各部の動作を具体的に説明する。
色差成分分離部２１は、チャンネル毎に画素値にリニアマトリクス係数を掛けた結果から、画素のチャンネル毎にＲＧＢの色差成分を分離し、ＲＧＢの色差成分をカラーフリンジ補正係数算出部２３とカラーフリンジ補正部２４に出力する。また、色差成分分離部２１は、ＲＧＢの画像信号を輝度生成部２２とカラーフリンジ補正係数算出部２３に出力する。

輝度生成部２２は、ＲＧＢの画像信号に対して、画像に生じたカラーフリンジの色相の反対の色相を生成するような輝度Ｙを生成する。そして、この輝度と所定のゲイン係数gain_r，gain_g，gain_b（以下、「gain_rgb」と略記する。）を掛けた値Ｙ×gain_rgbをカラーフリンジ補正係数算出部２３に出力する。このとき、輝度Ｙは、係数β，γ，κで求まる。係数β，γ，κは、輝度Ｙを求めるために用いられ、詳細は後述する。カラーフリンジ補正係数算出部２３は、ＲＧＢの画素値及びＲＧＢの色差成分並びに、ゲイン係数が掛けられた輝度Ｙ×gain_rgbに基づいて、カラーフリンジを補正するために必要な補正係数αを算出する。なお、輝度及び補正係数αは、不図示の操作部を用いるユーザの手動操作によって可変とすることもできる。例えば、補正係数αを不図示のＲＡＭ等に保存することにより、ユーザが操作部を操作して外部から補正係数αを変えたり、絞りの情報と連動して輝度Ｙを変えたりするようにしてもよい。

カラーフリンジ補正部２４は、ＲＧＢの画素値、ＲＧＢの色差成分及び補正係数αに基づいて、ＲＧＢの画素値からカラーフリンジを生じさせる色差成分を補正し、補正後のＲＧＢの画像信号を信号出力部１１に出力する。各部の詳細な処理例については、図３を参照して後述する。

（１）リニアマトリクスゲインの掛け方
ここで、リニアマトリクス演算部７がどのようにリニアマトリクスゲインを画像信号に掛けるかについて説明する。
リニアマトリクス演算部７が画像信号にリニアマトリクスゲインを掛けて、画素毎に色相や彩度の調整を行い、鮮やかな色再現性を実現する補正を行うと、フリンジ強調や階調潰れ等の現象が生じやすい。例えば、青空等を鮮やかな色に強調するリニアマトリクスゲインを掛けるときに、階調潰れ等の現象が生じやすいことが知られている。以下に、リニアマトリクス演算部７がＲＧＢの画像信号にリニアマトリクスゲインを掛ける場合に用いる基本的な式（１）を示す。リニアマトリクスゲインが掛けられた三原色の画像信号の画素値は、それぞれＲ_１，Ｇ_１，Ｂ_１の画素値として求められる。

リニアマトリクス演算部７は、ＲＧＢの画像信号にリニアマトリクスゲインを掛ける際に、係数Ｃ_１及びＣ_２、Ｃ_３及びＣ_５並びに、Ｃ_６及びＣ_７に負のゲインを掛けてＣ_０，Ｃ_３及びＣ_６に正のゲインを掛ける。

Ｒに掛けるゲインだけに注目すると、青空等や青い服等の単色の色ではＲのレベルが低く、Ｃ_０に正のゲインを掛けようとすると、Ｃ_１，Ｃ_２のゲインが負であるために、Ｒ_１の画素値が０以下になってしまう。Ｇ_１の画素値についても同様に０以下となる。このとき、Ｂ_１の画素値だけが正の値になるため、補正後の画像では青色が一層強調される。また、撮像装置１０を出力する時点でＲ_１，Ｇ_１の画素値を共に０以下の値として出力することができないので、Ｒ_１とＧ_１については共に画素値を０とする０クリップがかかる。これにより補正しようとする画素の色相が回り、この画素の周囲にある同じ程度のレベルの色は単色の青色しかなくなり、さらに、Ｒ_１とＧ_１の画素値は０付近に詰まるため、補正後の画像の階調が潰れてしまう。

（２）一般的な画像の色の表現
次に、一般的な画像の色の表現について説明する。
画像に含まれる画素毎に色を表現するために、ＲＧＢの三原色毎に画素値を表現するデータ領域として「チャンネル」が定められる。例えば、ＲＧＢの画素値が（Ｒ，Ｇ，Ｂ）＝（２５５，０，０）である場合、赤の単色を表現することができる。そして、チャンネルを組み合わせることによって、任意の色を再現し、モニタ等の表示装置に表示することが可能となる。しかし、ＲＧＢのうち、いずれか単色（例えば、Ｂ）のチャンネルによって画像が表示される物体はあっても、他の色（例えば、Ｒ、Ｇ）によってチャンネルが０になってしまうような物体色や光源色は、ほとんど世の中に存在しない。このため、画像信号にリニアマトリクスゲインを掛けすぎると、強調しすぎた単色の青は不自然な色を含む画像としてユーザに見えてしまう。

また、図５に示すように画素の色相を変えたい場合であっても、単にリニアマトリクスゲインを掛けるだけでは、図６に示すようにＬ＊ａ＊ｂ＊色空間で色相が回ってしまい、フリンジ強調がされることがある。同様に、画像から収差等の影響を除くためにリニアマトリクスゲインを掛けると、その色がより単色に強調された収差として出力され、階調潰れの生じた画像が表示装置に表示されてしまう。このときユーザは、表示された画像の中で過度に強調された部分を、リニアマトリクスゲインが過度に掛かった部分であるとして認識しやすかった。

一方、リニアマトリクスゲインを掛ける量を減らしても所望の色を再現できない。他の色（例えば、Ｒ、Ｇ）に対して、例えば青空が不自然な色になったり、地面に反射している太陽光の色味を鮮やかに表現できなかったり、他の物体の色再現等を調整できなくなったりするからである。このことは同系色についても同様であり、青味が強い青空では、階調が潰れるが、薄い青味の物体色や光源色等は、彩度を強調しても色味が薄いので、この部分が不自然に潰れることはない。しかし、色味が薄い部分であってもできるなら鮮やかな色味を持たせることが望ましいため、リニアマトリクスゲインを掛けた上で、得られる画像信号を補正することが必要であった。

このように、リニアマトリクスゲインを掛け過ぎて、カラーフリンジや階調潰れによる過度の強調が生じることと、光源色と薄い物体色を鮮やかに表現する色再現性を実現することはトレードオフの関係にあった。このため、従来のゲインマトリクス回路では、カラーフリンジが生じることを恐れるあまり、光源色と物体色を鮮やかに再現するようなリニアマトリクスゲインを掛けることができず、代わりに画像の色味を抑えることしかできなかった。しかし、本開示に係る撮像装置１０では、強調対策部９がＲＧＢの画素値にリニアマトリクスゲインを掛けた後、画像に生じた色の強調を抑えつつ、画像を鮮やかに表現できるようにしている。

以下、カラーフリンジを補正する処理の例について、図３のカラーフリンジを補正する処理フローを参照しながら説明する。

（３）リニアマトリクス演算処理後の色差成分の分離
始めに、リニアマトリクス演算部７は、上述した式（１）を用いて、画像の色再現性が最適となるように処理を行う。この処理は、ＲＧＢの画素値に対して３×３行列を用いたリニアマトリクス係数Ｃ_０〜Ｃ_８を掛けるリニアマトリクス処理である（ステップＳ１）。

次に、強調対策部９は、画像中にカラーフリンジが生じた部分の画素に対応する画素値に対してカラーフリンジを抑制するカラーフリンジ対策処理を行う。

強調対策部９が備える色差成分分離部２１は、カラーフリンジ対策を行うか否かを判別するため、以下の式（２）のように、リニアマトリクスゲインを掛けて補正したチャンネル毎に補正前の画素値と色差成分に分離する（ステップＳ２）。ただし無彩色（Ｒ＝Ｇ＝Ｂ）についてはリニアマトリクスゲインの影響がないようにＣ_０＋Ｃ_１＋Ｃ_２＝１、Ｃ_３＋Ｃ_４＋Ｃ_５＝１、Ｃ_６＋Ｃ_７＋Ｃ_８＝１の条件を満たす。

色差成分分離部２１が分離した色差成分は、式（２）の右辺に含まれる式（３）で示される。
−Ｃ_１×（Ｒ−Ｇ）−Ｃ_２×（Ｒ−Ｂ）
−Ｃ_３×（Ｇ−Ｒ）−Ｃ_５×（Ｇ−Ｂ）……（３）
−Ｃ_６×（Ｂ−Ｒ）−Ｃ_７×（Ｂ−Ｇ）

色差成分を上げるように一律のゲインを設定すると、画素の色相は変わらず、彩度が上がる方向に色が動く。つまり、この色差成分に掛けるゲインを制御することができれば、色を回さずに彩度を抑えることも可能である。このときにカラーフリンジが生じている画素を判別できれば、この画素に対応する画像信号のゲインを弱くして、階調潰れやフリンジ強調を避けることができる。

（４）カラーフリンジが発生する条件となるレベルの算出
式（２）に示す色差成分だけを抑制すれば、カラーフリンジを抑えることができるが、輝度生成部２２は、カラーフリンジの発生条件を設定する。リニアマトリクスゲインを掛けることで、階調が潰れたり、カラーフリンジが強調されたりする原因として、ＲＧＢのチャンネルによって示される画素値が０以下の値になり、画素の色相が変わってしまう点が挙げられる。ここで、画像信号にリニアマトリクスゲインを掛けた際に、あるチャンネルの画素値が０以下の値になってしまう現象を「チャンネルが潰れる」と呼ぶ。

例えば、式（２）の右辺に相当する以下の（４）式を満たすチャンネルが１つでもあるとき、階調が潰れた不自然な画像が表示装置に表示されてしまう。
Ｒ−Ｃ_１×（Ｒ−Ｇ）−Ｃ_２×（Ｒ−Ｂ）＜０
Ｇ−Ｃ_３×（Ｇ−Ｒ）−Ｃ_５×（Ｇ−Ｂ）＜０……（４）
Ｂ−Ｃ_６×（Ｂ−Ｒ）−Ｃ_７×（Ｂ−Ｇ）＜０

チャンネルが潰れた状態で表示される画像の色は、Ｌ＊ａ＊ｂ＊色空間において、ａ＊−ｂ＊座標系に垂直であるＬ＊軸方向の下側に潰れて明度が低くなるために、色相もずれてしまう。撮像装置１０が備える各種の回路、ブロック内では、負の符号を有する画素値であっても保持するが、表示装置や出力装置に画像信号を出力する際にはチャンネルの画素値を０以下で切らなければならない。これは、表示装置が表示し、又は出力装置が出力する画像は、画素値が０以上の範囲で画像を表現するためであり、画素値が０以下であると、チャンネルが潰れることにより画像の明度が下がってしまう。階調潰れが生じる現象は、どの表示装置や出力装置を用いても必ず生じる。

このため、輝度生成部２２は、チャンネルの画素値が０以下に下がる前にゲインを抑える抑制ゲインとして、gain_rgbを設定し、輝度Ｙを併せて求める。そして、輝度生成部２２は、輝度Ｙ×gain_rgb以下になることを、階調潰れ等のカラーフリンジが生じる条件と設定する。

輝度生成部２２は、次式（５）で示すカラーフリンジが生じる条件を満たす画素値が含まれるチャンネルが１つでもあるとき、画素の色相が回ってカラーフリンジが生じていると認識する。
Ｒ＋（−Ｃ_１（Ｒ−Ｇ）−Ｃ_２（Ｒ−Ｂ））＜Ｙ×gain_r
Ｇ＋（−Ｃ_３（Ｇ−Ｒ）−Ｃ_５（Ｇ−Ｂ））＜Ｙ×gain_g ……（５）
Ｂ＋（−Ｃ_６（Ｂ−Ｒ）−Ｃ_７（Ｂ−Ｇ））＜Ｙ×gain_b

そして、輝度生成部２２は、次式（６）に基づいて画像信号の輝度Ｙを生成する（ステップＳ３）。次式（６）で用いられるβ、γ、κは、自由係数とし、カラーフリンジの色によって可変としている。
Ｙ＝β×Ｒ_１＋γ×Ｇ_１＋κ×Ｂ_１……（６）

例えば、青色が強調されるブルーフリンジが生じる場合には、ブルーの反対の色相であるマゼンタ（Ｒ，Ｇチャンネル）を強調する画素値を輝度Ｙに設定する。このため、β＝０．５，γ＝０．５，κ＝０のように、画像中に生じたカラーフリンジの色によって、自由係数を変えることを可能としている。

また、輝度生成部２２は、抑制ゲインとしてgain_rgbを設定することで、カラーフリンジの発生条件を定める輝度Ｙのレベルを自由に変えることもできる。例えば、gain_rgbを０に設定すれば、式（５）の左辺に配されるチャンネル毎の画素値が０未満になったときに、カラーフリンジが発生するという条件となる。また、gain_rgbの値を大きくしていけば、Ｙ×gain_rgbも大きくなり、多くの画像でカラーフリンジが発生する条件に合いやすくなる。このようにして輝度生成部２２は、カラーフリンジが発生する条件となる輝度ＹとＹ×gain_rgbを設定する。

（５）カラーフリンジ制御方法
次に、カラーフリンジ補正係数算出部２３は、カラーフリンジ補正部２４が式（１）によって分離された色差成分に掛ける補正係数αを定義する。補正係数αは、カラーフリンジ補正部２４が後述する式（９）において、リニアマトリクス係数の効果を弱めるために用いられる。カラーフリンジ補正係数算出部２３は、カラーフリンジ補正を行うためにゲイン（Ｙ×gain_rgb）を演算する（ステップＳ４）。

次に、カラーフリンジ補正係数算出部２３は、補正係数αの値を調整し、画像にカラーフリンジが生じないように制御する。このとき、カラーフリンジ補正係数算出部２３は、色差成分分離部２１が出力する色差成分が負であるか否かを判断し（ステップＳ５）、色差成分が０又は正であれば補正係数αを１とする（ステップＳ６）。一方、色差成分が負であればＲＧＢのチャンネル毎に補正係数αを算出する。

補正係数αは０〜１の区間を動き、カラーフリンジの影響度が大きくなるほど補正係数αが０に近づき、リニアマトリクスゲインの効果を弱める。一方、補正係数αが１に近づくほど、画像中にカラーフリンジの影響度が少ないと判定して、リニアマトリクスゲインの効果を保つ。

補正係数αを制御するためには、いくつかの方法がある。しかし、各チャンネルのレベルの閾値（Ｙ×gain_rgb）や差分値（Ｙ−Ｒ，Ｙ−Ｇ，Ｙ−Ｂ）を用いて補正係数αを算出すると、画素の輝度レベルが変わると補正係数αも輝度に依存して値が変わる。この場合、輝度レベルが低い箇所では有効なカラーフリンジ対策を行えない。このため、カラーフリンジ補正係数算出部２３は、画素値にリニアマトリクスゲインを掛けた結果を用いて、チャンネル毎に輝度のレベルを補正するための閾値である「下限レベル」を設定する。ＲＧＢのチャンネルのうち、下限レベルを下回りそうなチャンネルの輝度に対して補正係数αを設定する。補正係数αは、リニアマトリクスゲインを掛けても、下限レベル以下にならない値である。そして、カラーフリンジ補正係数算出部２３は、各ＲＧＢに対してリニアマトリクスゲインを掛けた結果をフィードバックして、下限レベルを監視しつつ、チャンネル毎に補正係数αを算出する。本例では、カラーフリンジが発生する下限レベルを、輝度Ｙに抑制ゲインgain_rgbを掛けた値とする。

上記の条件を満たす式（７）を以下に示す。
Ｒ＋α_ｒ×（−Ｃ_１（Ｒ−Ｇ）−Ｃ_２（Ｒ−Ｂ）≧Ｙ×gain_r
Ｇ＋α_ｇ×（−Ｃ_３（Ｇ−Ｒ）−Ｃ_５（Ｇ−Ｂ）≧Ｙ×gain_g ……（７）
Ｂ＋α_ｂ×（−Ｃ_６（Ｂ−Ｒ）−Ｃ_７（Ｂ−Ｇ）≧Ｙ×gain_b

このとき、カラーフリンジ補正係数算出部２３は、画素値にリニアマトリクス係数を掛けた結果が、Ｙ×gain_rgb未満にならないようチャンネル毎に補正係数αを設定する。ここで、カラーフリンジ補正係数算出部２３は、各チャンネルの補正係数αｒ，αｇ，αｂから最小値を抽出する次式（８）を演算することにより、式（７）を満たす補正係数αを算出する（ステップＳ８）。ここで、ＭＩＮ関数は、複数の値から最小値を抽出する関数である。
α＝ＭＩＮ（αｒ，αｇ，αｂ）……（８）

式（８）を満たすように、カラーフリンジ補正係数算出部２３が複数のチャンネルに共通する補正係数αとして、上記のαｒ，αｇ，αｂのうち最も小さい補正係数に合わせる。このように補正係数αを求めることによって、いずれのチャンネルであってもカラーフリンジが画素に生じず、どのチャンネルであってもカラーフリンジを判定するための不等式（７）を満たす。ただし、カラーフリンジ補正係数算出部２３は、色差成分が負になる場合以外には補正係数αを計算しない。なぜなら色差成分が負であるという条件を満たさないとは、画素値にリニアマトリクス係数を掛けた結果が常に正の整数になることを意味しており、画素値が下限方向に潰れないことを示すためである。このとき常に、補正係数α＝１となる。ここで、画素値が高くなると色が上方向に潰れる場合も想定されるが、この場合には、不図示の画像処理部におけるニー補正回路やガンマ補正回路等で上方向の画素値が潰れないようなカーブを設定するので、強調対策部９では補正を行わない。

（６）カラーフリンジ補正方法
その後、カラーフリンジ補正部２４は、カラーフリンジ補正係数算出部２３が算出した補正係数αを用いて、次式（９）に示すようにＲＧＢのチャンネル毎に画素値（Ｒ_１，Ｇ_１，Ｂ_１）を算出する（ステップＳ９）。このように、色差成分に補正係数αを掛けることによってリニアマトリクス係数の効きを弱めることができる。

Ｒ_１＝Ｒ＋α×（−Ｃ_１（Ｒ−Ｇ）−Ｃ_２（Ｒ−Ｂ）≧Ｙ×gain_r
Ｇ_１＝Ｇ＋α×（−Ｃ_３（Ｇ−Ｒ）−Ｃ_５（Ｇ−Ｂ）≧Ｙ×gain_g ……（９）
Ｂ_１＝Ｂ＋α×（−Ｃ_６（Ｂ−Ｒ）−Ｃ_７（Ｂ−Ｇ）≧Ｙ×gain_b

（７）設定例
カラーフリンジ補正部２４が式（９）に示す演算処理を用いてブルーフリンジを補正する場合には、パラメータgain_rgbを調整して、青系色の反対の色相である画素のレベルだけが画素値の下限方向に貼り付かないようにすればよい。つまり、gain_b＝０とすることで、Ｂチャンネルの画素値に余計な判定要素が入らないようにする。ここで、gain_r，gain_gが大きいほど、カラーフリンジが画像に生じていると判定される確率が上がるため、ブルーフリンジが発生している部分に掛けられたリニアマトリクスゲインの色の強調を抑えることができる。このとき、リニアマトリクスゲインを掛け過ぎたことにより、不自然に青色が強調されなくなるという効果が得られる。

同様にパープルフリンジに関しても、カラーフリンジ補正部２４は、gain_r＝０、かつ、gain_b＝０に設定して、gain_gを増加させてカラーフリンジを抑制する処理を行う。これにより、パープルフリンジが生じた画素ではリニアマトリクスゲインを掛け過ぎたことによって過度に画像を強調することがない。

図４は、カラーフリンジ補正を行った画像の例を示す。
図４Ａは、被写体として室内から撮影された格子窓を含む画像を示し、図４Ｂは、格子の拡大画像を示す。

図４Ｃは、図４Ｂの拡大画像にリニアマトリクスゲインを掛けた画像を示す。
リニアマトリクスゲインが掛けられることにより、格子に濃淡の差がなくなり、色再現性が低下したことが示される。

図４Ｄは、図４Ｃの拡大画像に強調対策部９がカラーフリンジ補正を行って得た画像を示す。
カラーフリンジを補正することにより、補正後の画像の格子には濃淡の差が生じ、色再現性を高めたことが示される。

以上説明した一実施の形態に係る強調対策部９は、リニアマトリクスゲインを掛けたことによりカラーフリンジが生じた画素のＲＧＢチャンネルに対して、カラーフリンジの発生を抑えるように画素値を補正する。強調対策部９が行うカラーフリンジを抑制する処理は、色分離部６が行う色分離によって生じるカラーフリンジを除くものでなく、リニアマトリクスゲインによって画像に生じた過度な色の強調を低減するものである。このため、単に高輝度物体を撮像したこと以外にも、各種センサによるノイズが画像信号に漏れ込んだり、レンズ部１の収差の影響や色分離によってモワレが生じたりといった様々な要因で色再現性が低下した画像に有効である。このとき、リニアマトリクス演算部７は、リニアマトリクスを掛けることにより、画像の色再現性を高め、強調対策部９は、リニアマトリクスゲインを掛けて高めた色再現性を損なうことなく保持できる。

また、強調対策部９がカラーフリンジを抑制する際には、画像中の色が不自然にずれたり、色が突然潰れて、色相が変わったりする画素値に注目しており、輝度や彩度の値が大きい画素には注目していない。ただし、輝度のゲインを抑制する効果があるので、既存のノイズ軽減につながるというよりは、リニアマトリクスゲインの掛け過ぎによるノイズ軽減にはつながると言える。

また、強調対策部９が行う処理は、色分離によって発生したカラーフリンジを除去することを目的としていない。また、金属光沢等の明るい部分を撮像することによって高輝度域に生じる白とびの色付き補正を行うことを目的とするものでもない。画像に生じた高輝度域の有無にかかわらず、ＲＧＢのいずれかのチャンネルの階調潰れやフリンジ強調を補正することを目的としている。画像に高輝度域が存在することにより表示装置や出力装置が表現しきれないような輝度のオーバーフローが生じた場合には、後続の処理ブロックにおいてニー補正やガンマ補正で対処すればよい。

＜２．変形例＞
なお、上述した実施の形態では、リニアマトリクス演算部７と強調対策部９を備えた撮像装置１０に適用した例を説明したが、この形態に限られない。例えば、撮像装置１０からリニアマトリクス演算部７と強調対策部９を離して独立した信号処理装置としても用いてもよい。この際、リアルタイムに映像を処理せず、例えば、外部記憶装置から読み出した画像信号に対して補正してもよい。また、図１では、撮像装置１０がレンズ部１を備えている例について説明したが、撮像装置１０からレンズ部１を着脱可能な構成としてもよい。

また、上述した実施の形態における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種の機能を実行するためのプログラムをインストールしたコンピュータにより、実行可能である。例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させればよい。

また、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給してもよい。また、そのシステムあるいは装置のコンピュータ（またはＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、機能が実現されることは言うまでもない。

この場合のプログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現される。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行う。その処理によって上述した実施の形態の機能が実現される場合も含まれる。

また、本開示は上述した実施の形態に限られるものではなく、特許請求の範囲に記載した本開示の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。

なお、本開示は以下のような構成も取ることができる。
（１）撮像素子の画素がチャンネル毎に出力する画像信号の画素値にリニアマトリクス係数を用いたリニアマトリクスゲインが掛けられたことにより、前記画像信号による画像に色の強調が生じた場合に、チャンネル毎に前記画素値に前記リニアマトリクス係数を掛けた結果から分離した色差成分、及び前記結果から求めた輝度に基づいて前記チャンネル毎に前記色の強調が生じた部分を補正した前記画像信号を出力する強調対策部を備える
信号処理装置。
（２）前記強調対策部は、前記色の強調が、高輝度の画素に対応する画像の周囲に生じる特定の色のカラーフリンジ又は階調の差がなくなる階調潰れである場合に、前記特定の色の反対の色相を強調する輝度を求め、前記チャンネル毎の画素の画素値に加えた前記色差成分と所定の補正係数を掛けた値が、前記輝度に前記色差成分を掛けた値以上となる関係を満たす前記補正係数を求めて、前記補正係数を用いて前記チャンネル毎の画素値を補正する
（１）記載の信号処理装置。
（３）前記強調対策部は、
前記チャンネル毎の画素の画素値に前記リニアマトリクス係数を掛けた結果から、画素のチャンネル毎に色差成分を分離する色差成分分離部と、
前記チャンネル毎の画素の画素値から前記色差成分の値を減じた値が所定値より小さい値とならないような輝度及び、前記輝度を抑制する抑制ゲインを求める輝度生成部と、
前記チャンネル毎の画素の画素値に加えた前記色差成分の値が、前記輝度及び抑制ゲインによって求まる値以上となるように、前記色差成分の値を補正する前記補正係数を求めるカラーフリンジ補正係数算出部と、
前記補正係数を用いて補正した前記色差成分の値を加えて前記チャンネル毎の画素値を補正するカラーフリンジ補正部と、を備える
（１）又は（２）記載の信号処理装置。
（４）前記輝度及び補正係数は、手動操作によって可変である
（１）〜（３）のいずれか１項に記載の信号処理装置。
（５）チャンネル毎の画像信号の画素値にリニアマトリクス係数を用いたリニアマトリクスゲインが掛けられたことにより、前記画像信号による画像に色の強調が生じた場合に、前記チャンネル毎に前記画素値に前記リニアマトリクス係数を掛けた結果から分離した色差成分、及び前記結果から求めた輝度に基づいて前記チャンネル毎に色の強調が生じた部分を補正した前記画像信号を出力する
信号処理方法。
（６）光学系を介して撮像面に入射する入射光を光電変換した画像信号を出力する撮像素子と、
チャンネル毎の前記画像信号の画素値にリニアマトリクス係数を用いたリニアマトリクスゲインを掛けるリニアマトリクス演算部と、
リニアマトリクスゲインが掛けられたことにより、前記画像信号による画像に色の強調が生じた場合に、前記チャンネル毎に前記画素値に前記リニアマトリクス係数を掛けた結果から分離した色差成分、及び前記結果から求めた輝度に基づいて前記チャンネル毎に色の強調が生じた部分を補正した前記画像信号を出力する強調対策部と、を備える
撮像装置。
（７）チャンネル毎の画像信号の画素値にリニアマトリクス係数を用いたリニアマトリクスゲインを掛け、
リニアマトリクスゲインが掛けられたことにより、前記画像信号による画像に色の強調が生じた場合に、前記チャンネル毎に前記画素値に前記リニアマトリクス係数を掛けた結果から分離した色差成分、及び前記結果から求めた輝度に基づいて前記チャンネル毎に色の強調が生じた部分を補正した前記画像信号を出力する
撮像処理方法。

１…レンズ部、２…色フィルタ、３…撮像素子、４…アナログ・デジタル変換部、５…補正処理部、６…色分離部、７…カラーフリンジ抑制部、８…画像処理部、１０…撮像装置、１１…リニアマトリクス演算部、１２…リニアマトリクス係数生成部、１３…強調対策部、１４…信号出力部、２１…色差成分分離部、２２…輝度生成部、２３…カラーフリンジ補正係数算出部、２４…カラーフリンジ補正部

Claims (7)

1. 撮像素子の画素がチャンネル毎に出力する画像信号の画素値にリニアマトリクス係数を用いたリニアマトリクスゲインが掛けられたことにより、前記画像信号による画像に色の強調が生じた場合に、チャンネル毎に前記画素値に前記リニアマトリクス係数を掛けた結果から分離した色差成分、及び前記結果から求めた輝度に基づいて前記チャンネル毎に前記色の強調が生じた部分を補正した前記画像信号を出力する強調対策部を備える
   信号処理装置。
2. 前記強調対策部は、前記色の強調が、高輝度の画素に対応する画像の周囲に生じる特定の色のカラーフリンジ又は階調の差がなくなる階調潰れである場合に、前記特定の色の反対の色相を強調する輝度を求め、前記チャンネル毎の画素の画素値に加えた前記色差成分と所定の補正係数を掛けた値が、前記輝度に前記色差成分を掛けた値以上となる関係を満たす前記補正係数を求めて、前記補正係数を用いて前記チャンネル毎の画素値を補正する
   請求項１記載の信号処理装置。
3. 前記強調対策部は、
   前記チャンネル毎の画素の画素値に前記リニアマトリクス係数を掛けた結果から、画素のチャンネル毎に色差成分を分離する色差成分分離部と、
   前記チャンネル毎の画素の画素値から前記色差成分の値を減じた値が所定値より小さい値とならないような輝度及び、前記輝度を抑制する抑制ゲインを求める輝度生成部と、
   前記チャンネル毎の画素の画素値に加えた前記色差成分の値が、前記輝度及び抑制ゲインによって求まる値以上となるように、前記色差成分の値を補正する前記補正係数を求めるカラーフリンジ補正係数算出部と、
   前記補正係数を用いて補正した前記色差成分の値を加えて前記チャンネル毎の画素値を補正するカラーフリンジ補正部と、を備える
   請求項２記載の信号処理装置。
4. 前記輝度及び補正係数は、手動操作によって可変である
   請求項３記載の信号処理装置。
5. チャンネル毎の画像信号の画素値にリニアマトリクス係数を用いたリニアマトリクスゲインが掛けられたことにより、前記画像信号による画像に色の強調が生じた場合に、前記チャンネル毎に前記画素値に前記リニアマトリクス係数を掛けた結果から分離した色差成分、及び前記結果から求めた輝度に基づいて前記チャンネル毎に色の強調が生じた部分を補正した前記画像信号を出力する
   信号処理方法。
6. 光学系を介して撮像面に入射する入射光を光電変換した画像信号を出力する撮像素子と、
   チャンネル毎の前記画像信号の画素値にリニアマトリクス係数を用いたリニアマトリクスゲインを掛けるリニアマトリクス演算部と、
   リニアマトリクスゲインが掛けられたことにより、前記画像信号による画像に色の強調が生じた場合に、前記チャンネル毎に前記画素値に前記リニアマトリクス係数を掛けた結果から分離した色差成分、及び前記結果から求めた輝度に基づいて前記チャンネル毎に色の強調が生じた部分を補正した前記画像信号を出力する強調対策部と、を備える
   撮像装置。
7. チャンネル毎の画像信号の画素値にリニアマトリクス係数を用いたリニアマトリクスゲインを掛け、
   リニアマトリクスゲインが掛けられたことにより、前記画像信号による画像に色の強調が生じた場合に、前記チャンネル毎に前記画素値に前記リニアマトリクス係数を掛けた結果から分離した色差成分、及び前記結果から求めた輝度に基づいて前記チャンネル毎に色の強調が生じた部分を補正した前記画像信号を出力する
   撮像処理方法。