JP2003224859A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

(57)【要約】 【課題】 色抜けの発生を低減しつつ、偽色の発生を効
果的に抑制することが可能な画像処理技術を提供する。 【解決手段】 画像処理装置１０は、ベイヤー方式のＣ
ＣＤから入力した各画素の画像信号に対して近傍の画素
の画像信号を用いて補間処理を行い、各画素について３
原色成分の画像信号を出力する。この３原色成分をもつ
色空間の画像信号は、輝度信号Ｙと色差信号Ｃｒ，Ｃｂ
とをもつ色空間の画像信号に変換される。さらに、ＨＰ
Ｆ７２等によって各画素近傍における当該輝度信号Ｙの
高周波成分の含有程度が検出され、絶対値加算回路８１
およびＬＰＦ７２により色差信号Ｃｒ，Ｃｂに基づいて
低彩度エリアが抽出される。そして、クロマキラー回路
８０は、低彩度エリア内の画素については、高周波成分
の含有程度に応じた色差信号Ｃｒ，Ｃｂの抑圧制御を行
って出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタルカメラ等
に用いられる画像処理装置の構成および画像処理方法に
関する。

【０００２】

【従来の技術】デジタルカメラやデジタルビデオカメラ
等においては、従来から画像撮像装置としてＣＣＤ（Ch
arge Coupled Device）が利用されている。ＣＣＤは光
電変換をつかさどる多数のフォトダイオードがマトリク
ス状に配列されて構成されている。

【０００３】撮像レンズを含む光学系を介してＣＣＤに
入射した被写体の光学像は、フォトダイオードで光電変
換されたのち電荷蓄積される。マトリクス配置されたフ
ォトダイオードに蓄積された電荷は、ＣＣＤから順次取
り出された後、画像処理回路に転送されて画像信号とし
て検出されるのである。

【０００４】このようにＣＣＤは光学像の明暗に応じた
電荷の蓄積を行い、電気信号として出力する役割を果た
すが、カラー画像を取得するためには、３原色成分
（Ｒ、Ｇ、Ｂ）に対応した電気信号が得られる必要があ
る。

【０００５】図９を用いて、単板式のカラー撮像装置に
用いられるベイヤー方式の色フィルタアレイ１００につ
いて説明する。

【０００６】ベイヤー方式の色フィルタアレイ１００
は、市松状に輝度信号に寄与するＧのフィルタを配置
し、残りの部分にＲ、Ｂのフィルタをさらに市松状に配
置している。このように配置された各色のフィルタが、
各画素（フォトダイオード）に対応しており、各画素に
はＲ，Ｇ，Ｂいずれかの原色成分に対応した電荷が蓄積
されることとなる。

【０００７】ベイヤー方式によると、各画素からは、い
ずれかの原色成分に対する電気信号が出力されることに
なるため、各画素に対しては、欠落している色の情報を
補う必要がある。

【０００８】たとえば、Ｒのフィルタに覆われた画素で
は、Ｒの情報しか持っていないため、ＧとＢを周辺の画
素の値を基に推測する補間処理を行うのである。このよ
うにして、１個のＣＣＤを利用してカラー画像を撮像す
るようにしている。

【０００９】このように、近傍画素の情報を利用して補
間処理を行うベイヤー方式においては、補間処理を行う
領域内で同じ被写体が結像することが好ましい。たとえ
ば、図９に太線で示した領域１１０内で、画素の補間を
相互に行う場合には、領域１１０内には同じ被写体が結
像することが好ましい。

【００１０】しかし、被写体のもつコントラストパター
ンによっては、領域１１０よりも狭い領域内で高周波成
分を持つ場合があり、このような場合には、いわゆる偽
色が発生することとなる。偽色は高周波部分で発生し、
被写体の輪郭部、ライン、細かな模様などで発生し、光
学ＬＰＦ（low-pass filter）、補間処理等では完全に
除去することができない。

【００１１】たとえば、図１０に示すように、領域１１
０内に境界１２１やドット１２２の被写体が結像してい
る場合を想定する。この場合、領域１１０内の右下の画
素１１４については、Ｂの情報しか持っていないため、
画素１１１，１１２，１１３などからＲやＧの情報を補
間することとなる。このため、画素１１４には本来存在
しない被写体についての情報で補間処理が行われること
になり、偽色が発生するのである。

【００１２】そこで、偽色の発生する部分に対して彩度
の抑圧を行い、発生した偽色を目立たなくする処理が行
われている。

【００１３】図１１は、偽色の抑圧を行う処理装置の従
来構成図を示す。ＣＣＤから出力されたＲＧＢの原色成
分の電気信号は、色差マトリクス回路９３に入力され
る。色差マトリクス回路９３において、ＲＧＢの原色成
分をもつ色空間が、輝度成分（Ｙ）と、色差成分（Ｃ
ｒ，Ｃｂ）とをもつ色空間に変換される。

【００１４】変換された電気信号のうち、輝度成分Ｙ
は、輪郭強調フィルタ９５に入力される。輪郭強調フィ
ルタ９５において、輝度成分Ｙは、ＨＰＦ（high-pass
filter）、アンプ、ベースクリップを経て、所定値以上
の高周波成分が検出される。

【００１５】検出された高周波成分は、ＬＰＦを通過し
た輝度成分Ｙに加算される。これによって、輝度成分Ｙ
に対して輪郭強調処理が施されることとなる。

【００１６】一方、検出された高周波部分については、
前述の如く、偽色が発生している確率が高い。そこで、
色差抑圧回路９７には輪郭強調フィルタ９５において高
周波成分として検出された領域（画素）の情報が入力さ
れ、当該画素の色差成分Ｃｒ，Ｃｂに対して色差の抑圧
制御が行われるのである。このようにして、ベイヤー方
式の画像形成により生ずる偽色を目立たなくするように
しているのである。

【００１７】

【発明が解決しようとする課題】しかしながら、上述し
た偽色抑圧制御では、被写体のエッジを強調する輪郭強
調フィルタ９５の出力から抑圧対象となる画素を決定す
るため、被写体の高周波成分をすべて抑圧することにな
る。つまり、高周波成分（エッジ成分）の強い部分はす
べて色差が抑圧されることになる。

【００１８】そして、この場合、エッジ部分における偽
色の発生を防止することはできるものの、その一方で
「色抜け」と呼ばれる現象が生じてしまうという問題が
存在する。「色抜け」とは、上記従来技術により色差が
抑圧されたエッジ部分において色が抜けてしまう現象
（色彩が失われてしまう現象）である。

【００１９】そこで、本発明は前記問題点に鑑み、色抜
けの発生を低減しつつ、偽色の発生を効果的に抑制する
ことが可能な画像処理技術を提供することを目的とす
る。

【００２０】

【課題を解決するための手段】上記目的を達成するた
め、請求項１の発明は、撮像素子から入力した画像信号
に所定の画像処理を施す画像処理装置であって、前記撮
像素子は、３原色成分のうち、いずれかの原色成分の画
像信号をそれぞれ出力する３種の光電変換素子が、画素
ごとに所定の配列規則に従って配置されたものであり、
前記撮像素子から入力した各画素の画像信号に対して近
傍の画素の画像信号を用いて補間処理を行い、各画素に
ついて３原色成分の画像信号を取得する補間手段と、３
原色成分をもつ色空間の画像信号を、輝度成分と色成分
とをもつ色空間の画像信号に変換する色空間変換手段
と、前記輝度成分の信号値に基づいて、各画素近傍にお
ける当該輝度成分の信号値の高周波成分の含有程度を検
出する高周波成分検出手段と、前記色成分の信号値に基
づいて低彩度エリアを抽出する低彩度エリア抽出手段
と、前記低彩度エリア内の画素については、前記高周波
成分の前記含有程度の検出結果に基づいて前記色成分の
信号値を抑圧する抑圧手段と、を備えることを特徴とす
る。

【００２１】請求項２の発明は、請求項１の発明に係る
画像処理装置において、前記抑圧手段は、前記高周波成
分の含有程度に応じて、前記画素の色成分の信号値の抑
圧の程度を変更することを特徴とする。

【００２２】請求項３の発明は、請求項１または請求項
２の発明に係る画像処理装置において、前記低彩度エリ
ア抽出手段は、ローパスフィルタを用いて低彩度エリア
を抽出することを特徴とする。

【００２３】請求項４の発明は、３原色成分のうちいず
れかの原色成分の画像信号をそれぞれ出力する３種の光
電変換素子が画素ごとに所定の配列規則に従って配置さ
れた撮像素子から入力した画像信号に所定の画像処理を
施す画像処理方法であって、前記撮像素子から入力した
各画素の画像信号に対して近傍の画素の画像信号を用い
て補間処理を行い、各画素について３原色成分の画像信
号を取得するステップと、３原色成分をもつ色空間の画
像信号を、輝度成分と色成分とをもつ色空間の画像信号
に変換するステップと、前記輝度成分の信号値に基づい
て、各画素近傍における当該輝度成分の信号値の高周波
成分の含有程度を検出するステップと、前記色成分の信
号値に基づいて低彩度エリアを抽出するステップと、前
記低彩度エリア内の画素については、前記高周波成分の
前記含有程度の検出結果に基づいて前記色成分の信号値
を抑圧するステップと、を含むことを特徴とする。

【００２４】請求項５の発明は、コンピュータに、３原
色成分のうちいずれかの原色成分の画像信号をそれぞれ
出力する３種の光電変換素子が画素ごとに所定の配列規
則に従って配置された撮像素子から入力した各画素の画
像信号に対して近傍の画素の画像信号を用いて補間処理
を行うことによって生成された、各画素についての３原
色成分の画像信号を、輝度成分と色成分とをもつ色空間
の画像信号に変換された状態で取得するステップと、前
記輝度成分の信号値に基づいて、各画素近傍における当
該輝度成分の信号値の高周波成分の含有程度を検出する
ステップと、前記色成分の信号値に基づいて低彩度エリ
アを抽出するステップと、前記低彩度エリア内の画素に
ついては、前記高周波成分の前記含有程度の検出結果に
基づいて前記色成分の信号値を抑圧するステップと、を
実行させるためのプログラムであることを特徴とする。

【００２５】

【発明の実施の形態】以下、図面を参照しつつ本発明の
実施の形態について説明する。まず、本実施の形態にか
かる画像処理装置１０（図１参照）を搭載したデジタル
カメラ３１の概略構成について説明する。

【００２６】｛１．デジタルカメラの概略構成｝図２
は、デジタルカメラ３１の正面図である。デジタルカメ
ラ３１は、箱型のカメラ本体部３２と直方体状の撮像部
３３とから構成されている。撮像部３３の前面側には、
撮像レンズであるズームレンズ３４が設けられるととも
に、光学ファインダ３５が設けられている。

【００２７】カメラ本体部３２の一端部はグリップ部３
６としており、前面側の中央上部に内蔵フラッシュ３７
が設けられ、上面側にはシャッタボタン３８が設けられ
ている。

【００２８】図示を省略するが、カメラ本体部３２の背
面側には、撮像画像のモニタ表示、記録画像の再生表示
等を行うための液晶ディスプレイ（ＬＣＤ）が設けられ
ている。その他、カメラ本体部３２の背面側には、電源
スイッチや、各種操作ボタン等が設けられている。

【００２９】｛２．画像処理装置の構成｝図１は、デジ
タルカメラ３１が内部に搭載する本実施形態にかかる画
像処理装置１０のブロック構成図である。

【００３０】＜２−１．ベイヤー式ＣＣＤおよび補間処
理＞ＣＣＤ１はベイヤー方式の色フィルタアレイを備え
た単板式ＣＣＤである。ＣＣＤ１には、光電変換をつか
さどる多数のフォトダイオードがマトリクス状に２次元
配列されて各画素に対応しており、各画素は原色成分
（Ｒ，Ｇ，Ｂ）のうちいずれかの色フィルタに覆われて
いる。

【００３１】本実施の形態では図５で示した色フィルタ
アレイ１００と同様に、市松状に輝度信号に寄与するＧ
のフィルタを配置し、残りの部分にＲ、Ｂのフィルタを
さらに市松状に配置している。このようにして、各画素
にはＲ，Ｇ，Ｂいずれかの原色成分に対応した電荷が蓄
積されることとなる。

【００３２】なお、ベイヤー方式の色フィルタアレイと
しては、図９で示したタイプの他に、Ｇを上下方向に並
べたタイプ等、いくつかの方式が存在するが、本実施形
態の画像処理装置に適用できる色フィルタアレイのタイ
プは特に限定されるものではない。ただし、後述する補
間処理においては、色フィルタアレイのタイプに応じた
処理が行われる必要がある。

【００３３】ＣＣＤ１において蓄積された電荷は、１ラ
インずつ順次取り出され、１次元の電気信号として出力
される。さらに、各画素の電気信号は、Ａ／Ｄ変換回路
（図示せぬ）において１２ｂｉｔのデジタル電気信号に
変換された後、ＷＢ（ホワイトバランス）回路２に入力
され、ＲＧＢのレベル変換が行われることでホワイトバ
ランスが調整される。

【００３４】ホワイトバランスの調整が行われた後、各
画素の電気信号は補間回路３に入力され、各画素につい
て補間処理が行われる。

【００３５】つまり、各画素は、Ｒ，Ｇ，Ｂいずれか１
つの原色成分に関する情報しか持っていないため、他の
原色成分の情報を周辺の画素の値を基に推測する補間処
理を行うのである。この補間処理により、各画素に対し
て、Ｒ，Ｇ，Ｂそれぞれ１２ｂｉｔの情報が与えられる
ことになる。すなわち、各画素についての３原色成分の
画像信号（Ｒ，Ｇ，Ｂ）が生成される。

【００３６】補間処理が行われた後、各画素の電気信号
（Ｒ，Ｇ，Ｂ）は、リニアマトリクス回路４において、
所定の補正処理が行われた後、γ補正回路５に入力され
る。γ補正回路５において、電気信号（Ｒ，Ｇ，Ｂ）は
γ補正テーブル（ＲＧＢガンマＬＵＴ）５１によって、
表示ディスプレイの再現特性に応じた補正が行われる。
さらに、γ補正回路５においては、１２ｂｉｔの電気信
号が８ｂｉｔに圧縮される。

【００３７】＜２−２．色空間の変換処理＞８ｂｉｔに
圧縮された電気信号（Ｒ，Ｇ，Ｂ）は、次に、色差マト
リクス回路６に入力される。色差マトリクス回路６は、
変換用のマトリクスであるＹマトリクス６１、Ｃｒマト
リクス６２、Ｃｂマトリクス６３を備えており、ＲＧＢ
の原色成分（Ｒ，Ｇ，Ｂ）をもつ色空間が、輝度成分
（Ｙ）と、色差成分（Ｃｒ，Ｃｂ）とをもつ色空間に変
換される。

【００３８】次の数１は、Ｙマトリクス６１、Ｃｒマト
リクス６２、Ｃｂマトリクス６３を、３行３列の色差マ
トリクスで表現したものである。従って、ＲＧＢ色空間
が、色差マトリクスによって、輝度成分と色差成分とを
もつ色空間に変換されると表現することができる。

【００３９】

【数１】

【００４０】＜２−３．輪郭強調フィルタ処理＞色差マ
トリクス回路６において出力された輝度成分Ｙ（以下の
説明においては、適宜、輝度成分の電気信号を輝度信号
Ｙと表現する。）は、次に、輪郭（エッジ）強調フィル
タ回路７に入力される。輪郭強調フィルタ回路７におい
て、輝度信号Ｙは２つに分岐される。分岐された輝度信
号Ｙのうち、１つはＨＰＦ（high-pass filter）７２を
通過し、１つはＬＰＦ（low-pass filter）７１を通過
する。

【００４１】ＨＰＦ７２を通過した輝度信号Ｙからは、
高周波成分が検出され、この検出された高周波成分をア
ンプ７３に入力して増幅させた後、さらにベースクリッ
プ７４において所定値以上の高周波成分のみが検出さ
れ、出力される。

【００４２】そして、加算器７５において、ＬＰＦ７１
を通過した輝度信号Ｙに、ベースクリップ７４から出力
された所定値以上の高周波成分を加算することによっ
て、輝度信号Ｙは輪郭強調されたうえで出力されるので
ある。

【００４３】なお、輝度信号Ｙは、バッファ（図示せ
ず）に蓄積されており、このバッファに蓄積された信号
Ｙをもとに対象画素のＨＰＦ処理が行われる。たとえ
ば、本実施の形態においては、ＨＰＦ７２は５行５列の
行列形式で表されており、対象画素の輝度信号Ｙ、およ
び、対象画素の近傍の２４個の画素の輝度信号Ｙを使っ
てエッジ抽出処理が行われることになる。したがって、
バッファには少なくともこれら２５画素の輝度信号Ｙが
蓄積されている必要がある。このような必要性を満たす
ためには、たとえば、対象画素（注目画素）が属する水
平ラインを中心とする上下２本ずつ（合計５本）の水平
ラインに含まれる複数の画素の画素値を格納するための
容量を有するバッファを設けておけばよい。

【００４４】また、ＬＰＦ７１を用いた処理等について
も同様であり、色差信号Ｃｒ，Ｃｂは、各フィルタのサ
イズ等に応じた所定容量を有するバッファに蓄積された
上で、所定のＬＰＦ処理が施される。さらに、後述する
ＬＰＦ８２を用いた処理についても同様である。

【００４５】＜２−４．高周波成分の検出処理＞つぎ
に、高周波成分の検出処理について説明する。

【００４６】輪郭強調フィルタ回路７のＨＰＦ７２から
の出力値は、高周波成分がどの程度含まれているか、す
なわち高周波成分の含有程度（言い換えれば、エッジ成
分の検出レベル）の検出結果を表している。また、この
出力値は、各画素について求められるので、各画素位置
における高周波成分の含有程度に関する情報が取得され
ることになる。そして、エッジクロマキラー設定ＬＵＴ
（Lookup Table）８６を参照してこの出力値を適宜に修
正することによって、両色差成分の電気信号（以下、色
差信号とも称する）Ｃｒ，Ｃｂの抑圧度を求める。これ
により、各画素位置の高周波成分の含有程度に応じた各
画素位置の色差信号Ｃｒ，Ｃｂの抑圧度を求めることが
できる。

【００４７】具体的には、ＨＰＦ７２からの出力値は、
エッジクロマキラー設定ＬＵＴ８６を参照して修正され
た後、抑圧度を表す値として、マスキング回路８３に入
力される。その後、後述する彩度情報をも考慮して、こ
の抑圧度はマスキング回路８３においてさらに修正され
た後、乗算器８４，８５によって修正後の抑圧度に応じ
た色差信号Ｃｒ，Ｃｂの抑圧処理が行われる。

【００４８】図３は、エッジクロマキラーの設定ＬＵＴ
８６の設定内容を抑圧度曲線ＬＣとしてグラフ化して示
した図である。図中、横軸は、高周波成分の含有程度を
示し、縦軸は、抑圧度を示している。つまり、高周波成
分の含有程度が高い画素程、高い抑圧をかけるような抑
圧制御を行うのである。

【００４９】たとえば、画素ｎにおける高周波成分の含
有程度がＡｎである場合には、画素ｎにおける色差成分
には２０％程度の抑圧を行うのである。また、画素ｍに
おける高周波成分の含有程度がＡｍである場合には、画
素ｍにおける色差成分には６０％程度の抑圧を行うので
ある。このように、高周波成分の含有程度が比較的高い
画素ｍについては、高周波成分の含有程度が比較的低い
画素ｎよりも大きな抑圧を行うようにする。これによれ
ば、高周波成分の含有程度に応じて、画素の色成分の信
号値の抑圧の程度（すなわち抑圧制御の程度）を変更し
ているので、出力画像に不自然さが残らないような抑圧
制御が可能となる。

【００５０】ただし、ノイズ成分を除去するため、高周
波成分の含有程度が小さいときには抑圧度を低めの値に
設定し、抑圧度が過度に大きくならないようにすること
が好ましい。たとえば、図３に示すように、高周波成分
の含有程度がＡｎよりも小さいときには、抑圧度曲線Ｌ
Ｃが仮想的な正比例直線ＬＬよりも下側に存在するよう
にすることが好ましい。

【００５１】＜２−５．低彩度エリアの抽出処理＞つぎ
に、低彩度エリアの抽出処理について説明する。

【００５２】この低彩度エリア抽出処理においては、色
差信号（色差成分の電気信号）Ｃｒ，Ｃｂに基づいて、
低彩度エリアを抽出する。ここで、「低彩度エリア」と
は、各画素位置の近傍領域における彩度が所定程度より
も低い部分を意味するものとする。

【００５３】具体的には、まず、絶対値加算回路８１に
おいて、色差信号Ｃｒ（＝Ｒ−Ｙ）の絶対値と色差信号
Ｃｂ（＝Ｂ−Ｙ）の絶対値とを加算する。ここで、Ｒは
レッド成分の画像信号、Ｂはブルー成分の画像信号、Ｙ
は輝度信号を表す。

【００５４】そして、各画素を中心位置とする所定サイ
ズ（たとえば５画素×５画素のサイズ）のＬＰＦ８２を
用いた処理を行うことによって、高周波成分を除去す
る。ＬＰＦ８２を用いることによって、絶対値加算回路
８１の出力値から色相の遷移等に伴う高周波成分を除去
することが可能になるので、彩度の高い部分をより的確
に抽出することができる。

【００５５】このＬＰＦ８２からの出力値は、マスキン
グ回路８３に入力される。このマスキング回路８３で
は、ＬＰＦ８２からの出力値を各ビットに対するＮＯＴ
演算を行うことにより反転させた値（以下、反転値とも
称する）を用いたマスク処理が行われる。ここで、ＬＰ
Ｆ８２からの出力値に対する反転値は、その大小関係が
元の出力値におけるものと逆になるので、彩度が低い程
大きな値となる。すなわち、この反転値は、低彩度の程
度を表す指標値である。したがって、当該反転値が所定
値よりも大きな値を有する画素を低彩度エリア内の画素
として抽出することができる。また、上述したようにＬ
ＰＦ８２を用いることによって、絶対値加算回路８１の
出力値から色相の遷移等に伴う高周波成分を除去するこ
とが可能になるので、低彩度エリアをより的確に抽出す
ることができる。

【００５６】＜２−６．色差信号の抑圧処理＞つぎに、
色差信号の抑圧処理について説明する。

【００５７】クロマキラー回路８０は、輝度信号Ｙの高
周波成分の含有程度と色差信号Ｃｒ，Ｃｂに基づいて算
出される彩度とに応じて抑圧度を算出し、算出された抑
圧度に応じて色差信号Ｃｒ，Ｃｂに対する抑圧処理を施
す。

【００５８】ここでは、低彩度エリア内の画素につい
て、その色差信号Ｃｒ，Ｃｂに対する抑圧処理を、高周
波成分の含有程度に応じて行う場合を例示する。これに
より、高周波成分の含有程度が高く且つ低彩度の画素に
ついて、比較的大きな抑圧処理を施すことができる。

【００５９】具体的には、上記のＬＰＦ８２からの出力
値と、エッジクロマキラー設定ＬＵＴ８６を用いて修正
されたＨＰＦ７２からの出力値とが、マスキング回路８
３に入力される。このマスキング回路８３では、ＬＰＦ
８２からの出力値を各ビットに対するＮＯＴ演算を行う
ことにより反転させた値（反転値）を用いたマスク処理
が行われる。具体的には、この反転値を所定の閾値ＬＶ
で二値化し、この二値化された値をマスクにして、エッ
ジクロマキラー設定ＬＵＴを用いた変換処理が施された
ＨＰＦ７２からの出力値に対するマスク処理演算が行わ
れる。

【００６０】ここで、上述したように、ＬＰＦ８２から
の出力値に対する反転値は、彩度が低い程大きな値とな
る値、すなわち、低彩度の程度を表す指標値である。ま
た、エッジクロマキラー設定ＬＵＴ８６を用いて修正さ
れたＨＰＦ７２からの出力値は、高周波成分の含有程度
が大きい程大きくなる値、すなわち、高周波成分の含有
程度を示す指標値である。そして、これらの値を考慮し
て、彩度が低い画素に対して、高周波成分の含有程度が
大きい程、その抑圧度をより大きな値として求める。

【００６１】そして、求められた抑圧度を乗算器８４，
８５に入力し、色差信号Ｃｒ，Ｃｂに対して乗じること
によって、抑圧処理が施された色差信号Ｃｒ，Ｃｂを得
るのである。

【００６２】以上の処理により、本実施の形態にかかる
画像処理装置においては、輪郭強調処理が施された輝度
信号Ｙと、抑圧制御が行われた色差信号Ｃｒ，Ｃｂが出
力されることになる。出力された輝度信号Ｙ、色差信号
Ｃｒ，Ｃｂはバッファ９に記録された後、たとえば、Ｊ
ＰＥＧ等の圧縮規格に従った処理が行われ、画像ファイ
ルとしてメモリカード等に保存されるのである。

【００６３】このように、本実施形態においては、彩度
が低いエリア内の画素であるとして抽出された画素に対
してのみ、抑圧制御を行うようにしているので、全ての
エッジ成分に対して抑圧制御を行うことによる問題を解
消することができる。

【００６４】従来は、全てのエッジ成分を抑圧していた
ため、発生した偽色の抑圧には効果が得られるが、その
一方で、彩度が大きなエッジ部分に対しても色の抑圧が
かかり不自然な色抜けが発生してしまうという問題があ
った。本実施形態によれば、低彩度のエッジ部分のみに
色の抑圧がかけられるため、彩度が高い部分の色抜けを
なくすことにより、色抜けが低減された自然な画像を得
ることが可能になる。

【００６５】｛３．色差抑圧制御処理｝図４は、上述し
た色差抑圧制御処理のフローチャートである。また、図
５〜図８は、画像中の所定の１本の水平ラインにおける
各処理信号の一例を示す図である。図５〜図８のグラフ
においては、横軸は画像中における水平位置ｘを表し、
縦軸は各信号の大きさを表す。以下では、これらの図を
参照しながら、この色差抑圧制御処理について説明す
る。

【００６６】まず、ステップＳ１（図４）において、Ｃ
ＣＤ１から出力されたＲＧＢの画像信号を入力する。こ
の画像信号は、各画素におけるＲＧＢ原色成分のうち、
いずれか１つの原色成分の画像信号である。

【００６７】次のステップＳ２においては、入力した画
素について、近傍の画素を用いて補間処理が行われる。
この工程により、各画素においてそれぞれ３原色成分の
画像信号が得られることになる（ステップＳ２）。

【００６８】ステップＳ３においては、ＲＧＢ３原色成
分の画像信号が、輝度信号Ｙおよび色差信号Ｃｒ，Ｃｂ
に変換される。

【００６９】図５においては、各信号Ｙ，Ｃｒ，Ｃｂが
表されている。詳細には、図５（ａ）は輝度信号Ｙを表
しており、図５（ｂ）は色差信号Ｃｒ（＝Ｒ−Ｙ）を表
しており、図５（ｃ）は色差信号Ｃｂ（＝Ｂ−Ｙ）を表
している。

【００７０】最も左側の区間ＤＸ１においては、赤色成
分および青色成分がともに強い色、すなわち紫色を有す
る画素が比較的多く分布している。

【００７１】また、最も右側の区間ＤＸ３においては、
色差信号Ｃｒ，Ｃｂがいずれもほとんどゼロで輝度信号
が高い部分、すなわち白色の画素が比較的多く分布して
いる。また、区間ＤＸ３の色差信号Ｃｒ，Ｃｂにおいて
は、パルス状の部分が存在する。このパルス状部分は、
上記の補間処理（ステップＳ２）によって発生した偽色
を表す部分である。すなわち、区間ＤＸ３では、全体的
に白色を帯びた領域内にパルス状の偽色部分が存在して
いる。

【００７２】さらに、区間ＤＸ２においても、同様にパ
ルス状の偽色部分が発生している。ただし、区間ＤＸ２
は区間ＤＸ３よりも大きな彩度を有している点で、区間
ＤＸ３と相違している。

【００７３】以下の抑圧処理によれば、区間ＤＸ２内の
偽色部分を変化させないことにより色抜けを防止し、か
つ、区間ＤＸ３の低彩度領域内のパルス状の偽色部分を
低減することが可能になる。

【００７４】ステップＳ４においては、ステップＳ３で
得られた輝度信号Ｙに基づいて、注目画素近傍における
高周波成分の含有程度が検出される。

【００７５】図６は、輝度信号Ｙと、高周波成分の含有
程度を表す値として検出された信号ＹＰとを示す図であ
る。詳細には、図６（ｂ）は、ＨＰＦ７２により処理し
た輝度信号Ｙを、エッジクロマキラー設定ＬＵＴ８６を
参照してさらに修正した信号ＹＰを表しており、図６
（ａ）は、図５（ａ）と同一の輝度信号Ｙを表してい
る。

【００７６】図６（ｂ）に示すように、このＨＰＦ７２
は微分フィルタとして機能し、エッジ部分が抽出されて
いる。また、このエッジ部分は、上記の偽色発生部分の
位置と同一の位置に存在している。これは、上述の「偽
色」がエッジ部分の存在に起因するものだからである。

【００７７】そして、ステップＳ５においては、ステッ
プＳ３で得られた色差信号Ｃｒ，Ｃｂに基づいて、注目
画素近傍における彩度が検出される。図７を参照しなが
ら、低彩度エリアの抽出動作について説明する。

【００７８】まず、図７（ｃ）においては、絶対値加算
回路８１による加算結果としての信号ＳＧ１が示されて
いる。この信号ＳＧ１は、具体的には、色差信号Ｃｒの
絶対値と色差信号Ｃｂの絶対値とを加算した信号であ
る。なお、図７（ａ）および図７（ｂ）においては、そ
れぞれ、図５（ｂ）および図５（ｃ）と同一の信号Ｃ
ｒ，Ｃｂが表されている。

【００７９】さらに、図７（ｄ）は、この信号ＳＧ１に
対してさらにＬＰＦ８２による処理を施した信号ＳＧ２
を表す図である。これによって、信号全体に対して、
「平滑化処理」が施され、高周波成分が除去された信号
ＳＧ２を得ることができる。

【００８０】また、図７（ｅ）は、この信号ＳＧ２をｘ
軸に関して折り返して所定値（最大値）だけ全体的に底
上げした信号ＳＧ３を表す図である。この信号ＳＧ３
は、信号ＳＧ２の反転値に相当し、彩度が低い程大きな
値を有する信号、すなわち、低彩度の度合いを示す信号
である。

【００８１】さらに、この信号ＳＧ３が所定の閾値ＬＶ
以上であるか否かに応じて修正を加えた信号ＳＧ４を生
成する。図７（ｆ）は、この信号ＳＧ４を表す図であ
る。信号ＳＧ４の値は、元の信号ＳＧ３が閾値ＬＶ以上
のときには「１」となり、元の信号ＳＧ３が閾値ＬＶよ
り小さいときには値「０」となる。この信号ＳＧ４が値
「１」を有するエリア（図中の区間ＤＸ４）は、彩度が
比較的低いエリア、すなわち「低彩度エリア」である。
ここでは、説明の簡略化のため、低彩度エリアである区
間ＤＸ４は、区間ＤＸ３とほぼ同一の区間として検出さ
れるものとする。

【００８２】そして、ステップＳ６において、各注目画
素について、注目画素近傍における高周波成分の含有程
度と注目画素近傍における彩度の程度とに応じて、色差
信号Ｃｒ，Ｃｂの抑圧を行う。図８を参照しながらこの
抑圧動作について説明する。

【００８３】具体的には、図８（ｃ）に示すように、信
号ＹＰを信号ＳＧ４でマスクすることによって、信号Ｓ
Ｇ５を生成する。この信号ＳＧ５は、低彩度エリア外で
はゼロであり、かつ、低彩度エリア内においては各位置
における高周波成分の含有程度が大きいほど大きな値と
なる信号である。なお、図８（ａ）においては信号ＳＧ
４が表され、図８（ｂ）においては信号ＹＰが表されて
いる。

【００８４】そして、生成された信号ＳＧ５と色差信号
Ｃｒとの乗算によって、修正後の色差信号Ｃｒが生成さ
れる。同様に、この信号ＳＧ５と色差信号Ｃｂとの乗算
によって、修正後の色差信号Ｃｂが生成される。なお、
図８（ｄ）においては、修正後の色差信号Ｃｒが表さ
れ、図８（ｅ）においては、修正後の色差信号Ｃｂが表
されている。また、修正前の色差信号Ｃｒ，Ｃｂは、そ
れぞれ、図７（ａ），図７（ｂ）などに示されている。

【００８５】そして、ステップＳ７において、各注目画
素について、輝度信号Ｙと修正後の色差信号Ｃｒ，Ｃｂ
とが出力される。

【００８６】上記の信号ＳＧ５を用いた抑圧処理を行う
ことによって、低彩度エリア内の画素に対してのみ抑圧
処理を行うことが可能であり、なおかつ、各画素に対す
る抑圧度を、その画素についての高周波成分の含有程度
が大きいほど大きな値とすることができる。これによ
り、偽色の発生を効果的に抑制することができる。

【００８７】図５〜図８の例においては、区間ＤＸ４内
の白色領域（低彩度エリア）における偽色が除去されて
いる。偽色は低彩度エリアでは特に目立ちやすいという
特質を有しているので、偽色を低彩度エリアから除去す
ることによって、より自然な画像にすることができる。

【００８８】一方、区間ＤＸ２内の高彩度エリアでは、
抑圧がなされていない（あるいは抑圧の程度が抑制され
ている）ことによって、偽色が残ったままになってい
る。高彩度エリアでは、偽色は目立ちにくく、その一方
で、色抜けは目立ち易いという特質が存在する。したが
って、このような特質を利用して、高彩度エリアでは偽
色を除去しない（あるいは除去の程度を抑制する）こと
によって、彩度が高い部分で「色抜け」が生じることを
防止しつつ、自然な画像を得ることができる。すなわ
ち、偽色の発生を効果的に抑制することが可能である。

【００８９】以上説明した本実施の形態にかかる画像処
理装置は、デジタルカメラ、デジタルビデオなど、ベイ
ヤー方式などの各種の色フィルタアレイを備えたＣＣＤ
から画像信号を入力するあらゆる機器に適応可能であ
る。

【００９０】｛４．変形例｝ ＜彩度の利用＞上述した実施形態においては、二値化信
号ＳＧ４に基づいて低彩度エリアを判別したが、二値化
される前の信号ＳＧ３を用いてより精緻な抑圧処理を行
うようにしても良い。すなわち、彩度の程度に応じて抑
圧処理を行うようにしても良い。より詳細には、彩度が
低い程より大きな抑圧度を用いて抑圧処理を行うように
しても良い。

【００９１】詳細には、低彩度の程度を表す信号ＳＧ３
を、高周波成分の含有程度を表す信号ＹＰに乗じること
によって抑圧用の信号を生成し、その生成された信号を
各色差信号Ｃｒ，Ｃｂにさらに乗じる。これにより、抑
圧処理が施された色差信号Ｃｒ，Ｃｂを生成することが
できる。したがって、高周波成分の含有程度が高い程よ
り大きな抑圧度を用いて抑圧処理を行い、かつ、彩度が
低い程より大きな抑圧度を用いて抑圧処理を行うことが
できる。

【００９２】この場合、彩度の度合い（程度）に応じ
て、より精緻な抑圧処理を施すことができるので、より
的確に偽色の発生を抑制することが可能になる。なお、
この場合、低彩度の程度を示す信号ＳＧ３を用いて抑圧
度を求めることが、各画素が低彩度エリア内の画素であ
るか否かを判定すること（言い換えれば、低彩度エリア
を抽出してその低彩度エリア内の画素についてその色差
信号の抑圧処理を施すこと）に対応している。

【００９３】＜色差信号以外の色信号＞また、上記実施
形態においては、色成分を表す信号（色信号）として、
色差信号を抑圧する場合を例示しているが、これに限定
されない。たとえば、色差信号以外の色信号（たとえ
ば、彩度のみを表す信号）に対して上記と同様の思想を
用いて抑圧処理を行うようにしても良い。

【００９４】＜他方式のＣＣＤ＞さらに、上記実施形態
においては、各色成分画素が市松状に配置されたベイヤ
ー方式のＣＣＤを利用する場合を例示したが、これに限
定されない。

【００９５】たとえば、Ｒ成分およびＢ成分が交互に配
置されるラインと、Ｇ成分が一列に配置されるラインと
が交互に配置されるストライプ状配列を有するＣＣＤに
より撮像された画像に対して本発明を適用しても良い。

【００９６】さらには、Ｒ（レッド）、Ｇ（グリー
ン）、Ｂ（ブルー）の各色を有する原色ＣＣＤではな
く、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）の
各色を有する補色ＣＣＤを用いるようにしても良い。

【００９７】このように、近傍画素の情報（画像信号）
を利用して補間処理を行う方式を採用する場合におい
て、偽色の発生を効果的に抑制することが可能である。

【００９８】＜コンピュータを用いた実現＞また、上記
実施形態においては、デジタルカメラ３１内のハードウ
エア回路によって所定の画像処理を実現していたが、こ
れに限定されず、パーソナルコンピュータ（単に「コン
ピュータ」とも称する）などにおいて所定のソフトウエ
アプログラム（単に「プログラム」とも称する）を実行
することによって、上記の画像処理を実現するようにし
ても良い。

【００９９】なお、このようなプログラムは、コンピュ
ータ読み取り可能な記録媒体（フレキシブルディスク、
ＣＤ−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）等）
に記録された状態で提供されても良い。ユーザはこのよ
うな記録媒体をコンピュータに読み込ませることによっ
て、コンピュータを上述したような画像処理機能を有す
る画像処理装置として機能させることができる。また、
このようなプログラムは、記録媒体として提供されるだ
けでなく、ネットワークを介して提供されてもよい。こ
の場合、コンピュータがネットワークを介して取り込ん
だプログラムを、そのコンピュータ上で実行するように
してもよい。

【０１００】また、この場合において、各画素について
の３原色成分の画像信号を、デジタルカメラ３１が各画
素の近傍画素の画像信号を用いて補間処理により生成し
ておき、生成された３原色成分の画像信号（画像デー
タ）を所定のコンピュータが読み込むようにしても良
い。その後、コンピュータは、この画像信号（画像デー
タ）に対して、色空間変換動作を行うことによって、輝
度成分と色成分とをもつ色空間の画像信号に変換された
状態で、各画素についての３原色成分の画像信号を取得
することができる。あるいは、デジタルカメラ３１側
で、各画素についての３原色成分の画像信号を、輝度成
分と色成分とをもつ色空間の画像信号に予め変換してお
き、変換された画像信号をコンピュータに読み込むよう
にしてもよい。このようにして、コンピュータは、輝度
成分と色成分とをもつ色空間の画像信号に変換された状
態で各画素についての３原色成分の画像信号を取得した
後、ステップＳ４以降の動作を行うようにすればよい。

【０１０１】＜線分抽出＞さらに、上記実施形態におい
ては、ＨＰＦ７２を用いて高周波成分の含有程度を検出
しているが、これに限定されず、高周波成分として線分
成分を検出するようにしてもよい。具体的には、輪郭強
調フィルタ回路７内で分岐された輝度信号Ｙをソーベル
線分抽出フィルタを用いることによって、輝度信号Ｙか
ら線分成分を抽出できる。ソーベル線分抽出フィルタＡ
１〜Ａ４を数２に示す。

【０１０２】

【数２】

【０１０３】数２において、フィルタＡ１は、右上がり
の斜線の境界を検出する空間フィルタであり、フィルタ
Ａ２は、縦線の境界を検出する空間フィルタであり、フ
ィルタＡ３は、右下がりの斜線の境界を検出する空間フ
ィルタであり、フィルタＡ４は、横線の境界を検出する
空間フィルタである。各線分抽出フィルタＡ１〜Ａ４は
３行３列の行列形式で表されており、対象画素の輝度信
号Ｙ、および、対象画素の８近傍の画素の輝度信号Ｙを
使って線分抽出処理が行われる。

【０１０４】具体的には、注目画素について線分抽出フ
ィルタＡ１を施した場合を例にとると、注目画素および
８近傍画素の輝度信号Ｙの値に、フィルタＡ１の対応す
る各成分を係数として乗算し、これらの演算値の合計値
を得る。そして、この合計値の絶対値が所定の値よりも
大きくなる場合には、注目画素はフィルタＡ１により線
分成分として判断されることになるのである。そして、
上記の演算値（合計値）は注目画素における線分の検出
レベルを表すことになる。つまり、各線分フィルタＡ１
〜Ａ４のいずれか空間フィルタを用いた演算値（合計
値）は、その値が大きい程、線分としての検出度合が大
きいことを意味するのである。

【０１０５】このような線分検出用のフィルタを用いる
ことによって、高周波成分として線分成分を検出するこ
とができる。これによれば、線分として認識できるエッ
ジ領域に対してのみ抑圧制御を行い、ドット程度の高周
波成分領域に対しては抑圧制御を行わないようにするこ
とができる。したがって、ドット部分の「色抜け」をさ
らに的確に防止しつつ効率的に偽色の発生を効果的に抑
制できる。

【０１０６】

【発明の効果】以上のように、請求項１ないし請求項５
に記載の発明によれば、低彩度エリア内の画素について
は、高周波成分の前記含有程度の検出結果に基づいて色
成分の信号値を抑圧するので、色抜けを低減しつつ偽色
の発生を効果的に抑制できる。

【０１０７】特に、請求項２に記載の発明によれば、高
周波成分の含有程度に応じて、画素の色成分の信号値の
抑圧の程度が変更されるので、より的確に偽色の発生を
防止できる。

【０１０８】また、請求項３に記載の発明によれば、ロ
ーパスフィルタを用いることにより、低彩度エリアをよ
り的確に抽出できる。

【図面の簡単な説明】

【図１】本発明の実施形態に係る画像処理装置１０のブ
ロック構成図である。

【図２】デジタルカメラ３１の正面図である。

【図３】エッジクロマキラーの設定ＬＵＴ８６の設定内
容をグラフ化して示す図である。

【図４】色差抑圧制御処理を示すフローチャートであ
る。

【図５】画像中の所定の１本の水平ラインにおける色差
抑圧制御処理前の各処理信号Ｙ，Ｃｒ，Ｃｂの一例を示
す図である。

【図６】輝度信号Ｙと、高周波成分の含有程度を表す値
として検出された信号ＹＰとを示す図である。

【図７】低彩度エリアの抽出動作について説明する図で
ある。

【図８】抑圧動作について説明する図である。

【図９】ベイヤー方式ＣＣＤにおける色フィルタアレイ
の一例を示す図である。

【図１０】高周波成分をもつ被写体の光学像がベイヤー
方式のＣＣＤに結像した状態を示す図である。

【図１１】従来の画像処理装置のブロック図である。

【符号の説明】

１０ 画像処理装置 １００ 色フィルタアレイ ３１ デジタルカメラ ８０ クロマキラー回路 ８１ 絶対値加算回路 ９３ 色差マトリクス回路 ９５ 輪郭強調フィルタ ９７ 色差抑圧回路 Ｃｒ，Ｃｂ 色差信号 Ｙ 輝度信号

フロントページの続き Ｆターム(参考） 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE17 CE18 CH08 5C065 AA01 AA03 BB01 BB12 BB48 CC02 CC03 DD01 EE06 GG02 GG13 GG23 5C066 AA01 CA09 CA17 EA13 EC05 GA01 GA02 GB03 JA01 KC02 KC03 KC07 KE03 KM02 5C077 LL19 MM03 MP08 PP01 PP31 PP32 PP34 PP37 PP48 PP49 PQ08 PQ12 RR19 TT09 5C079 HB01 HB04 HB11 LA14 LA28 LB01 NA03

Claims (5)

【特許請求の範囲】
1. 【請求項１】 撮像素子から入力した画像信号に所定の
   画像処理を施す画像処理装置であって、 前記撮像素子は、３原色成分のうち、いずれかの原色成
   分の画像信号をそれぞれ出力する３種の光電変換素子
   が、画素ごとに所定の配列規則に従って配置されたもの
   であり、 前記撮像素子から入力した各画素の画像信号に対して近
   傍の画素の画像信号を用いて補間処理を行い、各画素に
   ついて３原色成分の画像信号を取得する補間手段と、 ３原色成分をもつ色空間の画像信号を、輝度成分と色成
   分とをもつ色空間の画像信号に変換する色空間変換手段
   と、 前記輝度成分の信号値に基づいて、各画素近傍における
   当該輝度成分の信号値の高周波成分の含有程度を検出す
   る高周波成分検出手段と、 前記色成分の信号値に基づいて低彩度エリアを抽出する
   低彩度エリア抽出手段と、 前記低彩度エリア内の画素については、前記高周波成分
   の前記含有程度の検出結果に基づいて前記色成分の信号
   値を抑圧する抑圧手段と、を備えることを特徴とする画
   像処理装置。
2. 【請求項２】 請求項１に記載の画像処理装置におい
   て、 前記抑圧手段は、前記高周波成分の含有程度に応じて、
   前記画素の色成分の信号値の抑圧の程度を変更すること
   を特徴とする画像処理装置。
3. 【請求項３】 請求項１または請求項２に記載の画像処
   理装置において、 前記低彩度エリア抽出手段は、ローパスフィルタを用い
   て低彩度エリアを抽出することを特徴とする画像処理装
   置。
4. 【請求項４】 ３原色成分のうちいずれかの原色成分の
   画像信号をそれぞれ出力する３種の光電変換素子が画素
   ごとに所定の配列規則に従って配置された撮像素子から
   入力した画像信号に所定の画像処理を施す画像処理方法
   であって、 前記撮像素子から入力した各画素の画像信号に対して近
   傍の画素の画像信号を用いて補間処理を行い、各画素に
   ついて３原色成分の画像信号を取得するステップと、 ３原色成分をもつ色空間の画像信号を、輝度成分と色成
   分とをもつ色空間の画像信号に変換するステップと、 前記輝度成分の信号値に基づいて、各画素近傍における
   当該輝度成分の信号値の高周波成分の含有程度を検出す
   るステップと、 前記色成分の信号値に基づいて低彩度エリアを抽出する
   ステップと、 前記低彩度エリア内の画素については、前記高周波成分
   の前記含有程度の検出結果に基づいて前記色成分の信号
   値を抑圧するステップと、を含むことを特徴とする画像
   処理方法。
5. 【請求項５】 コンピュータに、 ３原色成分のうちいずれかの原色成分の画像信号をそれ
   ぞれ出力する３種の光電変換素子が画素ごとに所定の配
   列規則に従って配置された撮像素子から入力した各画素
   の画像信号に対して近傍の画素の画像信号を用いて補間
   処理を行うことによって生成された、各画素についての
   ３原色成分の画像信号を、輝度成分と色成分とをもつ色
   空間の画像信号に変換された状態で取得するステップ
   と、 前記輝度成分の信号値に基づいて、各画素近傍における
   当該輝度成分の信号値の高周波成分の含有程度を検出す
   るステップと、 前記色成分の信号値に基づいて低彩度エリアを抽出する
   ステップと、 前記低彩度エリア内の画素については、前記高周波成分
   の前記含有程度の検出結果に基づいて前記色成分の信号
   値を抑圧するステップと、を実行させるためのプログラ
   ム。