JP3633561B2

JP3633561B2 - 画像処理装置、画像処理方法およびプログラム

Info

Publication number: JP3633561B2
Application number: JP2002019862A
Authority: JP
Inventors: 広明久保
Original assignee: ミノルタ株式会社
Priority date: 2002-01-29
Filing date: 2002-01-29
Publication date: 2005-03-30
Anticipated expiration: 2022-01-29
Also published as: JP2003224859A

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ等に用いられる画像処理装置の構成および画像処理方法に関する。
【０００２】
【従来の技術】
デジタルカメラやデジタルビデオカメラ等においては、従来から画像撮像装置としてＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）が利用されている。ＣＣＤは光電変換をつかさどる多数のフォトダイオードがマトリクス状に配列されて構成されている。
【０００３】
撮像レンズを含む光学系を介してＣＣＤに入射した被写体の光学像は、フォトダイオードで光電変換されたのち電荷蓄積される。マトリクス配置されたフォトダイオードに蓄積された電荷は、ＣＣＤから順次取り出された後、画像処理回路に転送されて画像信号として検出されるのである。
【０００４】
このようにＣＣＤは光学像の明暗に応じた電荷の蓄積を行い、電気信号として出力する役割を果たすが、カラー画像を取得するためには、３原色成分（Ｒ、Ｇ、Ｂ）に対応した電気信号が得られる必要がある。
【０００５】
図９を用いて、単板式のカラー撮像装置に用いられるベイヤー方式の色フィルタアレイ１００について説明する。
【０００６】
ベイヤー方式の色フィルタアレイ１００は、市松状に輝度信号に寄与するＧのフィルタを配置し、残りの部分にＲ、Ｂのフィルタをさらに市松状に配置している。このように配置された各色のフィルタが、各画素（フォトダイオード）に対応しており、各画素にはＲ，Ｇ，Ｂいずれかの原色成分に対応した電荷が蓄積されることとなる。
【０００７】
ベイヤー方式によると、各画素からは、いずれかの原色成分に対する電気信号が出力されることになるため、各画素に対しては、欠落している色の情報を補う必要がある。
【０００８】
たとえば、Ｒのフィルタに覆われた画素では、Ｒの情報しか持っていないため、ＧとＢを周辺の画素の値を基に推測する補間処理を行うのである。このようにして、１個のＣＣＤを利用してカラー画像を撮像するようにしている。
【０００９】
このように、近傍画素の情報を利用して補間処理を行うベイヤー方式においては、補間処理を行う領域内で同じ被写体が結像することが好ましい。たとえば、図９に太線で示した領域１１０内で、画素の補間を相互に行う場合には、領域１１０内には同じ被写体が結像することが好ましい。
【００１０】
しかし、被写体のもつコントラストパターンによっては、領域１１０よりも狭い領域内で高周波成分を持つ場合があり、このような場合には、いわゆる偽色が発生することとなる。偽色は高周波部分で発生し、被写体の輪郭部、ライン、細かな模様などで発生し、光学ＬＰＦ（ｌｏｗ−ｐａｓｓｆｉｌｔｅｒ）、補間処理等では完全に除去することができない。
【００１１】
たとえば、図１０に示すように、領域１１０内に境界１２１やドット１２２の被写体が結像している場合を想定する。この場合、領域１１０内の右下の画素１１４については、Ｂの情報しか持っていないため、画素１１１，１１２，１１３などからＲやＧの情報を補間することとなる。このため、画素１１４には本来存在しない被写体についての情報で補間処理が行われることになり、偽色が発生するのである。
【００１２】
そこで、偽色の発生する部分に対して彩度の抑圧を行い、発生した偽色を目立たなくする処理が行われている。
【００１３】
図１１は、偽色の抑圧を行う処理装置の従来構成図を示す。ＣＣＤから出力されたＲＧＢの原色成分の電気信号は、色差マトリクス回路９３に入力される。色差マトリクス回路９３において、ＲＧＢの原色成分をもつ色空間が、輝度成分（Ｙ）と、色差成分（Ｃｒ，Ｃｂ）とをもつ色空間に変換される。
【００１４】
変換された電気信号のうち、輝度成分Ｙは、輪郭強調フィルタ９５に入力される。輪郭強調フィルタ９５において、輝度成分Ｙは、ＨＰＦ（ｈｉｇｈ−ｐａｓｓｆｉｌｔｅｒ）、アンプ、ベースクリップを経て、所定値以上の高周波成分が検出される。
【００１５】
検出された高周波成分は、ＬＰＦを通過した輝度成分Ｙに加算される。これによって、輝度成分Ｙに対して輪郭強調処理が施されることとなる。
【００１６】
一方、検出された高周波部分については、前述の如く、偽色が発生している確率が高い。そこで、色差抑圧回路９７には輪郭強調フィルタ９５において高周波成分として検出された領域（画素）の情報が入力され、当該画素の色差成分Ｃｒ，Ｃｂに対して色差の抑圧制御が行われるのである。このようにして、ベイヤー方式の画像形成により生ずる偽色を目立たなくするようにしているのである。
【００１７】
【発明が解決しようとする課題】
しかしながら、上述した偽色抑圧制御では、被写体のエッジを強調する輪郭強調フィルタ９５の出力から抑圧対象となる画素を決定するため、被写体の高周波成分をすべて抑圧することになる。つまり、高周波成分（エッジ成分）の強い部分はすべて色差が抑圧されることになる。
【００１８】
そして、この場合、エッジ部分における偽色の発生を防止することはできるものの、その一方で「色抜け」と呼ばれる現象が生じてしまうという問題が存在する。「色抜け」とは、上記従来技術により色差が抑圧されたエッジ部分において色が抜けてしまう現象（色彩が失われてしまう現象）である。
【００１９】
そこで、本発明は前記問題点に鑑み、色抜けの発生を低減しつつ、偽色の発生を効果的に抑制することが可能な画像処理技術を提供することを目的とする。
【００２０】
【課題を解決するための手段】
上記目的を達成するため、請求項１の発明は、撮像素子から入力した画像信号に所定の画像処理を施す画像処理装置であって、前記撮像素子は、３原色成分のうち、いずれかの原色成分の画像信号をそれぞれ出力する３種の光電変換素子が、画素ごとに所定の配列規則に従って配置されたものであり、前記撮像素子から入力した各画素の画像信号に対して近傍の画素の画像信号を用いて補間処理を行い、各画素について３原色成分の画像信号を取得する補間手段と、３原色成分をもつ色空間の画像信号を、輝度成分と色成分とをもつ色空間の画像信号に変換する色空間変換手段と、前記輝度成分の信号値に基づいて、各画素近傍における当該輝度成分の信号値の高周波成分の含有程度を検出する高周波成分検出手段と、前記色成分の信号値に基づいて低彩度エリアを抽出する低彩度エリア抽出手段と、前記低彩度エリア内の画素については、前記高周波成分の前記含有程度の検出結果に基づいて前記色成分の信号値を抑圧する抑圧手段と、を備えることを特徴とする。
【００２１】
請求項２の発明は、請求項１の発明に係る画像処理装置において、前記抑圧手段は、前記高周波成分の含有程度に応じて、前記画素の色成分の信号値の抑圧の程度を変更することを特徴とする。
【００２２】
請求項３の発明は、請求項１または請求項２の発明に係る画像処理装置において、前記低彩度エリア抽出手段は、ローパスフィルタを用いて低彩度エリアを抽出することを特徴とする。
【００２３】
請求項４の発明は、３原色成分のうちいずれかの原色成分の画像信号をそれぞれ出力する３種の光電変換素子が画素ごとに所定の配列規則に従って配置された撮像素子から入力した画像信号に所定の画像処理を施す画像処理方法であって、前記撮像素子から入力した各画素の画像信号に対して近傍の画素の画像信号を用いて補間処理を行い、各画素について３原色成分の画像信号を取得するステップと、３原色成分をもつ色空間の画像信号を、輝度成分と色成分とをもつ色空間の画像信号に変換するステップと、前記輝度成分の信号値に基づいて、各画素近傍における当該輝度成分の信号値の高周波成分の含有程度を検出するステップと、前記色成分の信号値に基づいて低彩度エリアを抽出するステップと、前記低彩度エリア内の画素については、前記高周波成分の前記含有程度の検出結果に基づいて前記色成分の信号値を抑圧するステップと、を含むことを特徴とする。
【００２４】
請求項５の発明は、コンピュータに、３原色成分のうちいずれかの原色成分の画像信号をそれぞれ出力する３種の光電変換素子が画素ごとに所定の配列規則に従って配置された撮像素子から入力した各画素の画像信号に対して近傍の画素の画像信号を用いて補間処理を行うことによって生成された、各画素についての３原色成分の画像信号を、輝度成分と色成分とをもつ色空間の画像信号に変換された状態で取得するステップと、前記輝度成分の信号値に基づいて、各画素近傍における当該輝度成分の信号値の高周波成分の含有程度を検出するステップと、前記色成分の信号値に基づいて低彩度エリアを抽出するステップと、前記低彩度エリア内の画素については、前記高周波成分の前記含有程度の検出結果に基づいて前記色成分の信号値を抑圧するステップと、を実行させるためのプログラムであることを特徴とする。
【００２５】
【発明の実施の形態】
以下、図面を参照しつつ本発明の実施の形態について説明する。まず、本実施の形態にかかる画像処理装置１０（図１参照）を搭載したデジタルカメラ３１の概略構成について説明する。
【００２６】
｛１．デジタルカメラの概略構成｝
図２は、デジタルカメラ３１の正面図である。デジタルカメラ３１は、箱型のカメラ本体部３２と直方体状の撮像部３３とから構成されている。撮像部３３の前面側には、撮像レンズであるズームレンズ３４が設けられるとともに、光学ファインダ３５が設けられている。
【００２７】
カメラ本体部３２の一端部はグリップ部３６としており、前面側の中央上部に内蔵フラッシュ３７が設けられ、上面側にはシャッタボタン３８が設けられている。
【００２８】
図示を省略するが、カメラ本体部３２の背面側には、撮像画像のモニタ表示、記録画像の再生表示等を行うための液晶ディスプレイ（ＬＣＤ）が設けられている。その他、カメラ本体部３２の背面側には、電源スイッチや、各種操作ボタン等が設けられている。
【００２９】
｛２．画像処理装置の構成｝
図１は、デジタルカメラ３１が内部に搭載する本実施形態にかかる画像処理装置１０のブロック構成図である。
【００３０】
＜２−１．ベイヤー式ＣＣＤおよび補間処理＞
ＣＣＤ１はベイヤー方式の色フィルタアレイを備えた単板式ＣＣＤである。ＣＣＤ１には、光電変換をつかさどる多数のフォトダイオードがマトリクス状に２次元配列されて各画素に対応しており、各画素は原色成分（Ｒ，Ｇ，Ｂ）のうちいずれかの色フィルタに覆われている。
【００３１】
本実施の形態では図５で示した色フィルタアレイ１００と同様に、市松状に輝度信号に寄与するＧのフィルタを配置し、残りの部分にＲ、Ｂのフィルタをさらに市松状に配置している。このようにして、各画素にはＲ，Ｇ，Ｂいずれかの原色成分に対応した電荷が蓄積されることとなる。
【００３２】
なお、ベイヤー方式の色フィルタアレイとしては、図９で示したタイプの他に、Ｇを上下方向に並べたタイプ等、いくつかの方式が存在するが、本実施形態の画像処理装置に適用できる色フィルタアレイのタイプは特に限定されるものではない。ただし、後述する補間処理においては、色フィルタアレイのタイプに応じた処理が行われる必要がある。
【００３３】
ＣＣＤ１において蓄積された電荷は、１ラインずつ順次取り出され、１次元の電気信号として出力される。さらに、各画素の電気信号は、Ａ／Ｄ変換回路（図示せぬ）において１２ｂｉｔのデジタル電気信号に変換された後、ＷＢ（ホワイトバランス）回路２に入力され、ＲＧＢのレベル変換が行われることでホワイトバランスが調整される。
【００３４】
ホワイトバランスの調整が行われた後、各画素の電気信号は補間回路３に入力され、各画素について補間処理が行われる。
【００３５】
つまり、各画素は、Ｒ，Ｇ，Ｂいずれか１つの原色成分に関する情報しか持っていないため、他の原色成分の情報を周辺の画素の値を基に推測する補間処理を行うのである。この補間処理により、各画素に対して、Ｒ，Ｇ，Ｂそれぞれ１２ｂｉｔの情報が与えられることになる。すなわち、各画素についての３原色成分の画像信号（Ｒ，Ｇ，Ｂ）が生成される。
【００３６】
補間処理が行われた後、各画素の電気信号（Ｒ，Ｇ，Ｂ）は、リニアマトリクス回路４において、所定の補正処理が行われた後、γ補正回路５に入力される。γ補正回路５において、電気信号（Ｒ，Ｇ，Ｂ）はγ補正テーブル（ＲＧＢガンマＬＵＴ）５１によって、表示ディスプレイの再現特性に応じた補正が行われる。さらに、γ補正回路５においては、１２ｂｉｔの電気信号が８ｂｉｔに圧縮される。
【００３７】
＜２−２．色空間の変換処理＞
８ｂｉｔに圧縮された電気信号（Ｒ，Ｇ，Ｂ）は、次に、色差マトリクス回路６に入力される。色差マトリクス回路６は、変換用のマトリクスであるＹマトリクス６１、Ｃｒマトリクス６２、Ｃｂマトリクス６３を備えており、ＲＧＢの原色成分（Ｒ，Ｇ，Ｂ）をもつ色空間が、輝度成分（Ｙ）と、色差成分（Ｃｒ，Ｃｂ）とをもつ色空間に変換される。
【００３８】
次の数１は、Ｙマトリクス６１、Ｃｒマトリクス６２、Ｃｂマトリクス６３を、３行３列の色差マトリクスで表現したものである。従って、ＲＧＢ色空間が、色差マトリクスによって、輝度成分と色差成分とをもつ色空間に変換されると表現することができる。
【００３９】
【数１】

【００４０】
＜２−３．輪郭強調フィルタ処理＞
色差マトリクス回路６において出力された輝度成分Ｙ（以下の説明においては、適宜、輝度成分の電気信号を輝度信号Ｙと表現する。）は、次に、輪郭（エッジ）強調フィルタ回路７に入力される。輪郭強調フィルタ回路７において、輝度信号Ｙは２つに分岐される。分岐された輝度信号Ｙのうち、１つはＨＰＦ（ｈｉｇｈ−ｐａｓｓｆｉｌｔｅｒ）７２を通過し、１つはＬＰＦ（ｌｏｗ−ｐａｓｓｆｉｌｔｅｒ）７１を通過する。
【００４１】
ＨＰＦ７２を通過した輝度信号Ｙからは、高周波成分が検出され、この検出された高周波成分をアンプ７３に入力して増幅させた後、さらにベースクリップ７４において所定値以上の高周波成分のみが検出され、出力される。
【００４２】
そして、加算器７５において、ＬＰＦ７１を通過した輝度信号Ｙに、ベースクリップ７４から出力された所定値以上の高周波成分を加算することによって、輝度信号Ｙは輪郭強調されたうえで出力されるのである。
【００４３】
なお、輝度信号Ｙは、バッファ（図示せず）に蓄積されており、このバッファに蓄積された信号Ｙをもとに対象画素のＨＰＦ処理が行われる。たとえば、本実施の形態においては、ＨＰＦ７２は５行５列の行列形式で表されており、対象画素の輝度信号Ｙ、および、対象画素の近傍の２４個の画素の輝度信号Ｙを使ってエッジ抽出処理が行われることになる。したがって、バッファには少なくともこれら２５画素の輝度信号Ｙが蓄積されている必要がある。このような必要性を満たすためには、たとえば、対象画素（注目画素）が属する水平ラインを中心とする上下２本ずつ（合計５本）の水平ラインに含まれる複数の画素の画素値を格納するための容量を有するバッファを設けておけばよい。
【００４４】
また、ＬＰＦ７１を用いた処理等についても同様であり、色差信号Ｃｒ，Ｃｂは、各フィルタのサイズ等に応じた所定容量を有するバッファに蓄積された上で、所定のＬＰＦ処理が施される。さらに、後述するＬＰＦ８２を用いた処理についても同様である。
【００４５】
＜２−４．高周波成分の検出処理＞
つぎに、高周波成分の検出処理について説明する。
【００４６】
輪郭強調フィルタ回路７のＨＰＦ７２からの出力値は、高周波成分がどの程度含まれているか、すなわち高周波成分の含有程度（言い換えれば、エッジ成分の検出レベル）の検出結果を表している。また、この出力値は、各画素について求められるので、各画素位置における高周波成分の含有程度に関する情報が取得されることになる。そして、エッジクロマキラー設定ＬＵＴ（ＬｏｏｋｕｐＴａｂｌｅ）８６を参照してこの出力値を適宜に修正することによって、両色差成分の電気信号（以下、色差信号とも称する）Ｃｒ，Ｃｂの抑圧度を求める。これにより、各画素位置の高周波成分の含有程度に応じた各画素位置の色差信号Ｃｒ，Ｃｂの抑圧度を求めることができる。
【００４７】
具体的には、ＨＰＦ７２からの出力値は、エッジクロマキラー設定ＬＵＴ８６を参照して修正された後、抑圧度を表す値として、マスキング回路８３に入力される。その後、後述する彩度情報をも考慮して、この抑圧度はマスキング回路８３においてさらに修正された後、乗算器８４，８５によって修正後の抑圧度に応じた色差信号Ｃｒ，Ｃｂの抑圧処理が行われる。
【００４８】
図３は、エッジクロマキラーの設定ＬＵＴ８６の設定内容を抑圧度曲線ＬＣとしてグラフ化して示した図である。図中、横軸は、高周波成分の含有程度を示し、縦軸は、抑圧度を示している。つまり、高周波成分の含有程度が高い画素程、高い抑圧をかけるような抑圧制御を行うのである。
【００４９】
たとえば、画素ｎにおける高周波成分の含有程度がＡｎである場合には、画素ｎにおける色差成分には２０％程度の抑圧を行うのである。また、画素ｍにおける高周波成分の含有程度がＡｍである場合には、画素ｍにおける色差成分には６０％程度の抑圧を行うのである。このように、高周波成分の含有程度が比較的高い画素ｍについては、高周波成分の含有程度が比較的低い画素ｎよりも大きな抑圧を行うようにする。これによれば、高周波成分の含有程度に応じて、画素の色成分の信号値の抑圧の程度（すなわち抑圧制御の程度）を変更しているので、出力画像に不自然さが残らないような抑圧制御が可能となる。
【００５０】
ただし、ノイズ成分を除去するため、高周波成分の含有程度が小さいときには抑圧度を低めの値に設定し、抑圧度が過度に大きくならないようにすることが好ましい。たとえば、図３に示すように、高周波成分の含有程度がＡｎよりも小さいときには、抑圧度曲線ＬＣが仮想的な正比例直線ＬＬよりも下側に存在するようにすることが好ましい。
【００５１】
＜２−５．低彩度エリアの抽出処理＞
つぎに、低彩度エリアの抽出処理について説明する。
【００５２】
この低彩度エリア抽出処理においては、色差信号（色差成分の電気信号）Ｃｒ，Ｃｂに基づいて、低彩度エリアを抽出する。ここで、「低彩度エリア」とは、各画素位置の近傍領域における彩度が所定程度よりも低い部分を意味するものとする。
【００５３】
具体的には、まず、絶対値加算回路８１において、色差信号Ｃｒ（＝Ｒ−Ｙ）の絶対値と色差信号Ｃｂ（＝Ｂ−Ｙ）の絶対値とを加算する。ここで、Ｒはレッド成分の画像信号、Ｂはブルー成分の画像信号、Ｙは輝度信号を表す。
【００５４】
そして、各画素を中心位置とする所定サイズ（たとえば５画素×５画素のサイズ）のＬＰＦ８２を用いた処理を行うことによって、高周波成分を除去する。ＬＰＦ８２を用いることによって、絶対値加算回路８１の出力値から色相の遷移等に伴う高周波成分を除去することが可能になるので、彩度の高い部分をより的確に抽出することができる。
【００５５】
このＬＰＦ８２からの出力値は、マスキング回路８３に入力される。このマスキング回路８３では、ＬＰＦ８２からの出力値を各ビットに対するＮＯＴ演算を行うことにより反転させた値（以下、反転値とも称する）を用いたマスク処理が行われる。ここで、ＬＰＦ８２からの出力値に対する反転値は、その大小関係が元の出力値におけるものと逆になるので、彩度が低い程大きな値となる。すなわち、この反転値は、低彩度の程度を表す指標値である。したがって、当該反転値が所定値よりも大きな値を有する画素を低彩度エリア内の画素として抽出することができる。また、上述したようにＬＰＦ８２を用いることによって、絶対値加算回路８１の出力値から色相の遷移等に伴う高周波成分を除去することが可能になるので、低彩度エリアをより的確に抽出することができる。
【００５６】
＜２−６．色差信号の抑圧処理＞
つぎに、色差信号の抑圧処理について説明する。
【００５７】
クロマキラー回路８０は、輝度信号Ｙの高周波成分の含有程度と色差信号Ｃｒ，Ｃｂに基づいて算出される彩度とに応じて抑圧度を算出し、算出された抑圧度に応じて色差信号Ｃｒ，Ｃｂに対する抑圧処理を施す。
【００５８】
ここでは、低彩度エリア内の画素について、その色差信号Ｃｒ，Ｃｂに対する抑圧処理を、高周波成分の含有程度に応じて行う場合を例示する。これにより、高周波成分の含有程度が高く且つ低彩度の画素について、比較的大きな抑圧処理を施すことができる。
【００５９】
具体的には、上記のＬＰＦ８２からの出力値と、エッジクロマキラー設定ＬＵＴ８６を用いて修正されたＨＰＦ７２からの出力値とが、マスキング回路８３に入力される。このマスキング回路８３では、ＬＰＦ８２からの出力値を各ビットに対するＮＯＴ演算を行うことにより反転させた値（反転値）を用いたマスク処理が行われる。具体的には、この反転値を所定の閾値ＬＶで二値化し、この二値化された値をマスクにして、エッジクロマキラー設定ＬＵＴを用いた変換処理が施されたＨＰＦ７２からの出力値に対するマスク処理演算が行われる。
【００６０】
ここで、上述したように、ＬＰＦ８２からの出力値に対する反転値は、彩度が低い程大きな値となる値、すなわち、低彩度の程度を表す指標値である。また、エッジクロマキラー設定ＬＵＴ８６を用いて修正されたＨＰＦ７２からの出力値は、高周波成分の含有程度が大きい程大きくなる値、すなわち、高周波成分の含有程度を示す指標値である。そして、これらの値を考慮して、彩度が低い画素に対して、高周波成分の含有程度が大きい程、その抑圧度をより大きな値として求める。
【００６１】
そして、求められた抑圧度を乗算器８４，８５に入力し、色差信号Ｃｒ，Ｃｂに対して乗じることによって、抑圧処理が施された色差信号Ｃｒ，Ｃｂを得るのである。
【００６２】
以上の処理により、本実施の形態にかかる画像処理装置においては、輪郭強調処理が施された輝度信号Ｙと、抑圧制御が行われた色差信号Ｃｒ，Ｃｂが出力されることになる。出力された輝度信号Ｙ、色差信号Ｃｒ，Ｃｂはバッファ９に記録された後、たとえば、ＪＰＥＧ等の圧縮規格に従った処理が行われ、画像ファイルとしてメモリカード等に保存されるのである。
【００６３】
このように、本実施形態においては、彩度が低いエリア内の画素であるとして抽出された画素に対してのみ、抑圧制御を行うようにしているので、全てのエッジ成分に対して抑圧制御を行うことによる問題を解消することができる。
【００６４】
従来は、全てのエッジ成分を抑圧していたため、発生した偽色の抑圧には効果が得られるが、その一方で、彩度が大きなエッジ部分に対しても色の抑圧がかかり不自然な色抜けが発生してしまうという問題があった。本実施形態によれば、低彩度のエッジ部分のみに色の抑圧がかけられるため、彩度が高い部分の色抜けをなくすことにより、色抜けが低減された自然な画像を得ることが可能になる。
【００６５】
｛３．色差抑圧制御処理｝
図４は、上述した色差抑圧制御処理のフローチャートである。また、図５〜図８は、画像中の所定の１本の水平ラインにおける各処理信号の一例を示す図である。図５〜図８のグラフにおいては、横軸は画像中における水平位置ｘを表し、縦軸は各信号の大きさを表す。以下では、これらの図を参照しながら、この色差抑圧制御処理について説明する。
【００６６】
まず、ステップＳ１（図４）において、ＣＣＤ１から出力されたＲＧＢの画像信号を入力する。この画像信号は、各画素におけるＲＧＢ原色成分のうち、いずれか１つの原色成分の画像信号である。
【００６７】
次のステップＳ２においては、入力した画素について、近傍の画素を用いて補間処理が行われる。この工程により、各画素においてそれぞれ３原色成分の画像信号が得られることになる（ステップＳ２）。
【００６８】
ステップＳ３においては、ＲＧＢ３原色成分の画像信号が、輝度信号Ｙおよび色差信号Ｃｒ，Ｃｂに変換される。
【００６９】
図５においては、各信号Ｙ，Ｃｒ，Ｃｂが表されている。詳細には、図５（ａ）は輝度信号Ｙを表しており、図５（ｂ）は色差信号Ｃｒ（＝Ｒ−Ｙ）を表しており、図５（ｃ）は色差信号Ｃｂ（＝Ｂ−Ｙ）を表している。
【００７０】
最も左側の区間ＤＸ１においては、赤色成分および青色成分がともに強い色、すなわち紫色を有する画素が比較的多く分布している。
【００７１】
また、最も右側の区間ＤＸ３においては、色差信号Ｃｒ，Ｃｂがいずれもほとんどゼロで輝度信号が高い部分、すなわち白色の画素が比較的多く分布している。また、区間ＤＸ３の色差信号Ｃｒ，Ｃｂにおいては、パルス状の部分が存在する。このパルス状部分は、上記の補間処理（ステップＳ２）によって発生した偽色を表す部分である。すなわち、区間ＤＸ３では、全体的に白色を帯びた領域内にパルス状の偽色部分が存在している。
【００７２】
さらに、区間ＤＸ２においても、同様にパルス状の偽色部分が発生している。ただし、区間ＤＸ２は区間ＤＸ３よりも大きな彩度を有している点で、区間ＤＸ３と相違している。
【００７３】
以下の抑圧処理によれば、区間ＤＸ２内の偽色部分を変化させないことにより色抜けを防止し、かつ、区間ＤＸ３の低彩度領域内のパルス状の偽色部分を低減することが可能になる。
【００７４】
ステップＳ４においては、ステップＳ３で得られた輝度信号Ｙに基づいて、注目画素近傍における高周波成分の含有程度が検出される。
【００７５】
図６は、輝度信号Ｙと、高周波成分の含有程度を表す値として検出された信号ＹＰとを示す図である。詳細には、図６（ｂ）は、ＨＰＦ７２により処理した輝度信号Ｙを、エッジクロマキラー設定ＬＵＴ８６を参照してさらに修正した信号ＹＰを表しており、図６（ａ）は、図５（ａ）と同一の輝度信号Ｙを表している。
【００７６】
図６（ｂ）に示すように、このＨＰＦ７２は微分フィルタとして機能し、エッジ部分が抽出されている。また、このエッジ部分は、上記の偽色発生部分の位置と同一の位置に存在している。これは、上述の「偽色」がエッジ部分の存在に起因するものだからである。
【００７７】
そして、ステップＳ５においては、ステップＳ３で得られた色差信号Ｃｒ，Ｃｂに基づいて、注目画素近傍における彩度が検出される。図７を参照しながら、低彩度エリアの抽出動作について説明する。
【００７８】
まず、図７（ｃ）においては、絶対値加算回路８１による加算結果としての信号ＳＧ１が示されている。この信号ＳＧ１は、具体的には、色差信号Ｃｒの絶対値と色差信号Ｃｂの絶対値とを加算した信号である。なお、図７（ａ）および図７（ｂ）においては、それぞれ、図５（ｂ）および図５（ｃ）と同一の信号Ｃｒ，Ｃｂが表されている。
【００７９】
さらに、図７（ｄ）は、この信号ＳＧ１に対してさらにＬＰＦ８２による処理を施した信号ＳＧ２を表す図である。これによって、信号全体に対して、「平滑化処理」が施され、高周波成分が除去された信号ＳＧ２を得ることができる。
【００８０】
また、図７（ｅ）は、この信号ＳＧ２をｘ軸に関して折り返して所定値（最大値）だけ全体的に底上げした信号ＳＧ３を表す図である。この信号ＳＧ３は、信号ＳＧ２の反転値に相当し、彩度が低い程大きな値を有する信号、すなわち、低彩度の度合いを示す信号である。
【００８１】
さらに、この信号ＳＧ３が所定の閾値ＬＶ以上であるか否かに応じて修正を加えた信号ＳＧ４を生成する。図７（ｆ）は、この信号ＳＧ４を表す図である。信号ＳＧ４の値は、元の信号ＳＧ３が閾値ＬＶ以上のときには「１」となり、元の信号ＳＧ３が閾値ＬＶより小さいときには値「０」となる。この信号ＳＧ４が値「１」を有するエリア（図中の区間ＤＸ４）は、彩度が比較的低いエリア、すなわち「低彩度エリア」である。ここでは、説明の簡略化のため、低彩度エリアである区間ＤＸ４は、区間ＤＸ３とほぼ同一の区間として検出されるものとする。
【００８２】
そして、ステップＳ６において、各注目画素について、注目画素近傍における高周波成分の含有程度と注目画素近傍における彩度の程度とに応じて、色差信号Ｃｒ，Ｃｂの抑圧を行う。図８を参照しながらこの抑圧動作について説明する。
【００８３】
具体的には、図８（ｃ）に示すように、信号ＹＰを信号ＳＧ４でマスクすることによって、信号ＳＧ５を生成する。この信号ＳＧ５は、低彩度エリア外ではゼロであり、かつ、低彩度エリア内においては各位置における高周波成分の含有程度が大きいほど大きな値となる信号である。なお、図８（ａ）においては信号ＳＧ４が表され、図８（ｂ）においては信号ＹＰが表されている。
【００８４】
そして、生成された信号ＳＧ５と色差信号Ｃｒとの乗算によって、修正後の色差信号Ｃｒが生成される。同様に、この信号ＳＧ５と色差信号Ｃｂとの乗算によって、修正後の色差信号Ｃｂが生成される。なお、図８（ｄ）においては、修正後の色差信号Ｃｒが表され、図８（ｅ）においては、修正後の色差信号Ｃｂが表されている。また、修正前の色差信号Ｃｒ，Ｃｂは、それぞれ、図７（ａ），図７（ｂ）などに示されている。
【００８５】
そして、ステップＳ７において、各注目画素について、輝度信号Ｙと修正後の色差信号Ｃｒ，Ｃｂとが出力される。
【００８６】
上記の信号ＳＧ５を用いた抑圧処理を行うことによって、低彩度エリア内の画素に対してのみ抑圧処理を行うことが可能であり、なおかつ、各画素に対する抑圧度を、その画素についての高周波成分の含有程度が大きいほど大きな値とすることができる。これにより、偽色の発生を効果的に抑制することができる。
【００８７】
図５〜図８の例においては、区間ＤＸ４内の白色領域（低彩度エリア）における偽色が除去されている。偽色は低彩度エリアでは特に目立ちやすいという特質を有しているので、偽色を低彩度エリアから除去することによって、より自然な画像にすることができる。
【００８８】
一方、区間ＤＸ２内の高彩度エリアでは、抑圧がなされていない（あるいは抑圧の程度が抑制されている）ことによって、偽色が残ったままになっている。高彩度エリアでは、偽色は目立ちにくく、その一方で、色抜けは目立ち易いという特質が存在する。したがって、このような特質を利用して、高彩度エリアでは偽色を除去しない（あるいは除去の程度を抑制する）ことによって、彩度が高い部分で「色抜け」が生じることを防止しつつ、自然な画像を得ることができる。すなわち、偽色の発生を効果的に抑制することが可能である。
【００８９】
以上説明した本実施の形態にかかる画像処理装置は、デジタルカメラ、デジタルビデオなど、ベイヤー方式などの各種の色フィルタアレイを備えたＣＣＤから画像信号を入力するあらゆる機器に適応可能である。
【００９０】
｛４．変形例｝
＜彩度の利用＞
上述した実施形態においては、二値化信号ＳＧ４に基づいて低彩度エリアを判別したが、二値化される前の信号ＳＧ３を用いてより精緻な抑圧処理を行うようにしても良い。すなわち、彩度の程度に応じて抑圧処理を行うようにしても良い。より詳細には、彩度が低い程より大きな抑圧度を用いて抑圧処理を行うようにしても良い。
【００９１】
詳細には、低彩度の程度を表す信号ＳＧ３を、高周波成分の含有程度を表す信号ＹＰに乗じることによって抑圧用の信号を生成し、その生成された信号を各色差信号Ｃｒ，Ｃｂにさらに乗じる。これにより、抑圧処理が施された色差信号Ｃｒ，Ｃｂを生成することができる。したがって、高周波成分の含有程度が高い程より大きな抑圧度を用いて抑圧処理を行い、かつ、彩度が低い程より大きな抑圧度を用いて抑圧処理を行うことができる。
【００９２】
この場合、彩度の度合い（程度）に応じて、より精緻な抑圧処理を施すことができるので、より的確に偽色の発生を抑制することが可能になる。なお、この場合、低彩度の程度を示す信号ＳＧ３を用いて抑圧度を求めることが、各画素が低彩度エリア内の画素であるか否かを判定すること（言い換えれば、低彩度エリアを抽出してその低彩度エリア内の画素についてその色差信号の抑圧処理を施すこと）に対応している。
【００９３】
＜色差信号以外の色信号＞
また、上記実施形態においては、色成分を表す信号（色信号）として、色差信号を抑圧する場合を例示しているが、これに限定されない。たとえば、色差信号以外の色信号（たとえば、彩度のみを表す信号）に対して上記と同様の思想を用いて抑圧処理を行うようにしても良い。
【００９４】
＜他方式のＣＣＤ＞
さらに、上記実施形態においては、各色成分画素が市松状に配置されたベイヤー方式のＣＣＤを利用する場合を例示したが、これに限定されない。
【００９５】
たとえば、Ｒ成分およびＢ成分が交互に配置されるラインと、Ｇ成分が一列に配置されるラインとが交互に配置されるストライプ状配列を有するＣＣＤにより撮像された画像に対して本発明を適用しても良い。
【００９６】
さらには、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の各色を有する原色ＣＣＤではなく、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）の各色を有する補色ＣＣＤを用いるようにしても良い。
【００９７】
このように、近傍画素の情報（画像信号）を利用して補間処理を行う方式を採用する場合において、偽色の発生を効果的に抑制することが可能である。
【００９８】
＜コンピュータを用いた実現＞
また、上記実施形態においては、デジタルカメラ３１内のハードウエア回路によって所定の画像処理を実現していたが、これに限定されず、パーソナルコンピュータ（単に「コンピュータ」とも称する）などにおいて所定のソフトウエアプログラム（単に「プログラム」とも称する）を実行することによって、上記の画像処理を実現するようにしても良い。
【００９９】
なお、このようなプログラムは、コンピュータ読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）等）に記録された状態で提供されても良い。ユーザはこのような記録媒体をコンピュータに読み込ませることによって、コンピュータを上述したような画像処理機能を有する画像処理装置として機能させることができる。また、このようなプログラムは、記録媒体として提供されるだけでなく、ネットワークを介して提供されてもよい。この場合、コンピュータがネットワークを介して取り込んだプログラムを、そのコンピュータ上で実行するようにしてもよい。
【０１００】
また、この場合において、各画素についての３原色成分の画像信号を、デジタルカメラ３１が各画素の近傍画素の画像信号を用いて補間処理により生成しておき、生成された３原色成分の画像信号（画像データ）を所定のコンピュータが読み込むようにしても良い。その後、コンピュータは、この画像信号（画像データ）に対して、色空間変換動作を行うことによって、輝度成分と色成分とをもつ色空間の画像信号に変換された状態で、各画素についての３原色成分の画像信号を取得することができる。あるいは、デジタルカメラ３１側で、各画素についての３原色成分の画像信号を、輝度成分と色成分とをもつ色空間の画像信号に予め変換しておき、変換された画像信号をコンピュータに読み込むようにしてもよい。このようにして、コンピュータは、輝度成分と色成分とをもつ色空間の画像信号に変換された状態で各画素についての３原色成分の画像信号を取得した後、ステップＳ４以降の動作を行うようにすればよい。
【０１０１】
＜線分抽出＞
さらに、上記実施形態においては、ＨＰＦ７２を用いて高周波成分の含有程度を検出しているが、これに限定されず、高周波成分として線分成分を検出するようにしてもよい。具体的には、輪郭強調フィルタ回路７内で分岐された輝度信号Ｙをソーベル線分抽出フィルタを用いることによって、輝度信号Ｙから線分成分を抽出できる。ソーベル線分抽出フィルタＡ１〜Ａ４を数２に示す。
【０１０２】
【数２】

【０１０３】
数２において、フィルタＡ１は、右上がりの斜線の境界を検出する空間フィルタであり、フィルタＡ２は、縦線の境界を検出する空間フィルタであり、フィルタＡ３は、右下がりの斜線の境界を検出する空間フィルタであり、フィルタＡ４は、横線の境界を検出する空間フィルタである。各線分抽出フィルタＡ１〜Ａ４は３行３列の行列形式で表されており、対象画素の輝度信号Ｙ、および、対象画素の８近傍の画素の輝度信号Ｙを使って線分抽出処理が行われる。
【０１０４】
具体的には、注目画素について線分抽出フィルタＡ１を施した場合を例にとると、注目画素および８近傍画素の輝度信号Ｙの値に、フィルタＡ１の対応する各成分を係数として乗算し、これらの演算値の合計値を得る。そして、この合計値の絶対値が所定の値よりも大きくなる場合には、注目画素はフィルタＡ１により線分成分として判断されることになるのである。そして、上記の演算値（合計値）は注目画素における線分の検出レベルを表すことになる。つまり、各線分フィルタＡ１〜Ａ４のいずれか空間フィルタを用いた演算値（合計値）は、その値が大きい程、線分としての検出度合が大きいことを意味するのである。
【０１０５】
このような線分検出用のフィルタを用いることによって、高周波成分として線分成分を検出することができる。これによれば、線分として認識できるエッジ領域に対してのみ抑圧制御を行い、ドット程度の高周波成分領域に対しては抑圧制御を行わないようにすることができる。したがって、ドット部分の「色抜け」をさらに的確に防止しつつ効率的に偽色の発生を効果的に抑制できる。
【０１０６】
【発明の効果】
以上のように、請求項１ないし請求項５に記載の発明によれば、低彩度エリア内の画素については、高周波成分の前記含有程度の検出結果に基づいて色成分の信号値を抑圧するので、色抜けを低減しつつ偽色の発生を効果的に抑制できる。
【０１０７】
特に、請求項２に記載の発明によれば、高周波成分の含有程度に応じて、画素の色成分の信号値の抑圧の程度が変更されるので、より的確に偽色の発生を防止できる。
【０１０８】
また、請求項３に記載の発明によれば、ローパスフィルタを用いることにより、低彩度エリアをより的確に抽出できる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像処理装置１０のブロック構成図である。
【図２】デジタルカメラ３１の正面図である。
【図３】エッジクロマキラーの設定ＬＵＴ８６の設定内容をグラフ化して示す図である。
【図４】色差抑圧制御処理を示すフローチャートである。
【図５】画像中の所定の１本の水平ラインにおける色差抑圧制御処理前の各処理信号Ｙ，Ｃｒ，Ｃｂの一例を示す図である。
【図６】輝度信号Ｙと、高周波成分の含有程度を表す値として検出された信号ＹＰとを示す図である。
【図７】低彩度エリアの抽出動作について説明する図である。
【図８】抑圧動作について説明する図である。
【図９】ベイヤー方式ＣＣＤにおける色フィルタアレイの一例を示す図である。
【図１０】高周波成分をもつ被写体の光学像がベイヤー方式のＣＣＤに結像した状態を示す図である。
【図１１】従来の画像処理装置のブロック図である。
【符号の説明】
１０画像処理装置
１００色フィルタアレイ
３１デジタルカメラ
８０クロマキラー回路
８１絶対値加算回路
９３色差マトリクス回路
９５輪郭強調フィルタ
９７色差抑圧回路
Ｃｒ，Ｃｂ色差信号
Ｙ輝度信号

Claims

撮像素子から入力した画像信号に所定の画像処理を施す画像処理装置であって、
前記撮像素子は、３原色成分のうち、いずれかの原色成分の画像信号をそれぞれ出力する３種の光電変換素子が、画素ごとに所定の配列規則に従って配置されたものであり、
前記撮像素子から入力した各画素の画像信号に対して近傍の画素の画像信号を用いて補間処理を行い、各画素について３原色成分の画像信号を取得する補間手段と、
３原色成分をもつ色空間の画像信号を、輝度成分と色成分とをもつ色空間の画像信号に変換する色空間変換手段と、
前記輝度成分の信号値に基づいて、各画素近傍における当該輝度成分の信号値の高周波成分の含有程度を検出する高周波成分検出手段と、
前記色成分の信号値に基づいて低彩度エリアを抽出する低彩度エリア抽出手段と、
前記低彩度エリア内の画素については、前記高周波成分の前記含有程度の検出結果に基づいて前記色成分の信号値を抑圧する抑圧手段と、
を備えることを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記抑圧手段は、前記高周波成分の含有程度に応じて、前記画素の色成分の信号値の抑圧の程度を変更することを特徴とする画像処理装置。
請求項１または請求項２に記載の画像処理装置において、
前記低彩度エリア抽出手段は、ローパスフィルタを用いて低彩度エリアを抽出することを特徴とする画像処理装置。
３原色成分のうちいずれかの原色成分の画像信号をそれぞれ出力する３種の光電変換素子が画素ごとに所定の配列規則に従って配置された撮像素子から入力した画像信号に所定の画像処理を施す画像処理方法であって、
前記撮像素子から入力した各画素の画像信号に対して近傍の画素の画像信号を用いて補間処理を行い、各画素について３原色成分の画像信号を取得するステップと、
３原色成分をもつ色空間の画像信号を、輝度成分と色成分とをもつ色空間の画像信号に変換するステップと、
前記輝度成分の信号値に基づいて、各画素近傍における当該輝度成分の信号値の高周波成分の含有程度を検出するステップと、
前記色成分の信号値に基づいて低彩度エリアを抽出するステップと、
前記低彩度エリア内の画素については、前記高周波成分の前記含有程度の検出結果に基づいて前記色成分の信号値を抑圧するステップと、
を含むことを特徴とする画像処理方法。
コンピュータに、
３原色成分のうちいずれかの原色成分の画像信号をそれぞれ出力する３種の光電変換素子が画素ごとに所定の配列規則に従って配置された撮像素子から入力した各画素の画像信号に対して近傍の画素の画像信号を用いて補間処理を行うことによって生成された、各画素についての３原色成分の画像信号を、輝度成分と色成分とをもつ色空間の画像信号に変換された状態で取得するステップと、
前記輝度成分の信号値に基づいて、各画素近傍における当該輝度成分の信号値の高周波成分の含有程度を検出するステップと、
前記色成分の信号値に基づいて低彩度エリアを抽出するステップと、
前記低彩度エリア内の画素については、前記高周波成分の前記含有程度の検出結果に基づいて前記色成分の信号値を抑圧するステップと、
を実行させるためのプログラム。