JP3706789B2

JP3706789B2 - 信号処理装置及び信号処理方法

Info

Publication number: JP3706789B2
Application number: JP2000140809A
Authority: JP
Inventors: 敏朗遠藤; 貴明福井; 栄一郎池田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2000-05-12
Filing date: 2000-05-12
Publication date: 2005-10-19
Anticipated expiration: 2020-05-12
Also published as: US20020025069A1; JP2001320722A; US6853748B2

Description

【０００１】
【発明の属する技術分野】
本発明は信号処理装置及び信号処理方法に関し、更に詳しくは輝度適応補間を行う場合に、偽色の発生を低減する信号処理装置及び信号処理方法に関する。
【０００２】
【従来の技術】
図３は従来の単板方式のデジタルカメラの構成を示すブロック図であり、特に信号処理部を詳しく示す。
【０００３】
ＣＣＤ撮像素子５０１からの信号は、ホワイトバランス（ＷＢ）回路５０２で白のゲインが調整され、輝度ノッチ回路５１０に送られる。輝度ノッチ回路５１０にて、垂直ローパスフィルタ（ＶＬＰＦ）を用いて、垂直方向に色のナイキスト付近の周波数の信号ゲインを低減する処理が施される。水平方向も同様に水平ローパスフィルタ（ＨＬＰＦ）によるゲインの低減処理が施される。以下、このフィルタを輝度ノッチフィルタと呼ぶ。その後、水平バンドパスフィルタ（ＨＢＰＦ）回路５１１及び垂直バンドパスフィルタ（ＶＢＰＦ）回路５１４によって、ノッチフィルタにより弱められたナイキスト周波数よりも若干低い周波数をもちあげる。
【０００４】
その後、水平、垂直ともにＰＰ（Aperture Peak）Ｇａｉｎ回路５１２及び５１５で振幅が調整され、ベースクリップ（ＢＣ）回路５１３及び５１６で小振幅がカットされノイズ除去される。その後、加算器５１７で水平成分と垂直成分が加算され、ＡＰＣ（Aperture Control）ＭａｉｎＧａｉｎ回路５１８でメインゲインがかかり、加算器５１９でベースバンド信号と加算される。その後、ガンマ変換回路５２０でガンマ変換が施され、輝度修正（YCOMP)回路５２１で、色による輝度信号レベル補正が実施される。
【０００５】
ここで、図４に示すような市松模様のベイヤー配列のフィルターを備えた撮像素子からの出力を処理した場合を考える。特に純色フィルターの場合、色の分離がよいために、例えば図５（ａ）のように、左半分が赤、右半分が青といった相反する色相を有する画像のエッジ部では、ノッチフィルタ方式であると、ＬＰＦだけでは異なる色フィルタ間のゲイン差を吸収することができず、ギザギザ（ジャギ）となって再生画像の画質を劣化させてしまう。以下に、図５（ｂ）を参照して更に説明する。
【０００６】
図５（ｂ）は、撮像素子の各画素からの出力レベルを示す説明図である。同図においては、説明の簡略化のため、比較的大きい値を出力する画素を白で、出力がほぼ０である画素を黒で示している。このように、相反する色相のエッジであると異なる色フィルタでの信号レベル差が大きくなり、結果としてにジャギとなって現れる。更に、ＬＰＦによって落ちた解像感（ＭＴＦ）をあげるためにエッジ強調を行なうため、さらにジャギを強調させてしまうという欠点があった。
【０００７】
そこで、このジャギを回避するために以下のような適応補間輝度信号作成手法が提案されている。すなわち、補間対象画素の上下左右の信号相関を検出し、これにより縦縞か横縞かを判別し、縦縞の場合は上下の信号から補間を行ない、横縞の場合は左右の信号から補間することで、輝度信号のジャギを防ぐものである。
【０００８】
まずグリーン信号の補間を行う。例えば、図６（ａ）に示す画像において、画素Ｐ１〜Ｐ９に対する補間を行う場合（括弧内は、その画素から得られる色信号を示し、フィルタの色に対応する。）、画素Ｐ５におけるグリーン信号（Ｐ５（Ｇ））の補間方法は以下の通りである。
【０００９】
１．式（１）により補間対象の上下、左右の画素の差の絶対値（ＨＤｉｆｆ，ＶＤｉｆｆ）を求める。
ＨＤｉｆｆ＝｜Ｐ４（Ｇ）−Ｐ６（Ｇ）｜、
ＶＤｉｆｆ＝｜Ｐ２（Ｇ）−Ｐ８（Ｇ）｜ …（１）
【００１０】
２．求めた絶対値に基づいて、補間の仕方を変更する。
【００１１】
ＶＤｉｆｆ＜ＨＤｉｆｆならば、垂直の画素を用い、式（２）を用いて補間する。
Ｐ５（Ｇ）＝（Ｐ２（Ｇ）＋Ｐ８（Ｇ））／２ …（２）
【００１２】
また、ＶＤｉｆｆ＞ＨＤｉｆｆなら、水平の画素を用い、式（３）を用いて補間する。
Ｐ５（Ｇ）＝（Ｐ４（Ｇ）＋Ｐ６（Ｇ））／２ …（３）
【００１３】
上記のようにして、グリーン信号以外を出力する画素についてグリーン信号を補間した後で、レッド信号とブルー信号の補間を行う。レッド信号は、
P2(R)=((P1(R)-P1(G))+(P3(R)-P3(G)))/2+P2(G)
P4(R)=((P1(R)-P1(G))+(P7(R)-P7(G)))/2+P4(G)
P5(R)=((P1(R)-P1(G))+(P3(R)-P3(G))+(P7(R)-P7(G))+(P9(R)-P9(G)))/4+P5(G) …（４）
【００１４】
で求まる。ブルー信号も同様の計算で求めることができる。これにより同一画素についてＲＧＢ３色分の信号を得ることができる。更に、
Ｙ＝０．３×Ｒ＋０．５９×Ｇ＋０．１１×Ｂ …（５）
より輝度信号Ｙを求める。
一方、色信号は色補間回路５０３により全ての画素について全ての色画素値が存在するように補間され、色変換マトリクス（ＭＴＸ）回路５０４によりＲＧＢ信号から変換される。その後クロマ抑圧（ＣＳＵＰ：Chroma Supress)回路５０５によって低輝度及び高輝度領域の色ゲインが抑圧され、クロマローパスフィルタ（ＣＬＰＦ）回路５０６にて帯域が制限される。帯域制限されたクロマ信号はガンマ変換回路５０７において、ＲＧＢ信号に変換されると同時にガンマ変換が施される。ガンマ変換後のＲＧＢ信号は再び色差信号に変換され、ＣＧａｉｎＫｎｅｅ(Chroma Gain Knee)回路５０８にて色ゲインが調整され、ＬＣＭＴＸ(Linear Clip Matrix)回路５０９によって色相補正がなされ、輝度信号とともに出力される。
【００１５】
ここで、この色変換ＭＴＸ回路５０４でのマトリクス演算は、無彩色の被写体を撮影した場合、垂直方向に偽色が出ないような条件を満たすようにする。
【００１６】
【発明が解決しようとする課題】
しかしながら、従来の適応補間手法では、縦縞横縞判別で２値的に補間方向を切り替えているため、図６（ａ）のような１画素ピッチの縞の被写体において画素、例えば画素Ｐ５を補間して作成する場合、ＶＤｉｆｆ（＝｜Ｐ２（Ｇ）−Ｐ８（Ｇ）｜＝０）、ＨＤｉｆｆ（＝｜Ｐ４（Ｇ）−Ｐ６（Ｇ）｜＝０）の両者の値がほぼ０となる。この結果、撮像素子のノイズなどの影響で、図６（ｂ）のように縦からの補間と横からの補間がランダム（不規則）に２値的に切り替わり（縦縞横縞の誤判別）、本来あるべきでないところに縞が発生するという欠点があった。つまり、ナイキスト周波数近傍である高周波数において偽色が発生しやすかった。
【００１７】
本発明は上記問題点に鑑みてなされたものであり、従来のような縦縞、横縞判別を行い垂直方向および水平方向からの補間を適応的に切り替える手法において、とくに高周波の画像に発生する偽色を簡単に低減させ、より高品位な画像を作成することを目的とする。
【００１８】
さらに、垂直方向と水平方向の偽色の出方を調整することで、光学ＬＰＦの特性が変わった場合に解像感を損ねることなく、柔軟に偽色の加減を調整することを他の目的とする。
【００１９】
【課題を解決するための手段】
上記目的を達成するために、カラーフィルタを備えた撮像素子から画像信号を取得して処理する本発明の信号処理装置は、前記画像信号の垂直及び水平方向の相関を判断する相関演算手段と、撮像素子の各画素について、前記カラーフィルタを構成する色の色信号が得られるように色信号を補間し、当該補間の際に、補間対象画素の垂直方向及び水平方向における画素が補間する色の画像信号である場合に、前記相関演算手段で求めた垂直及び水平方向の相関の内、相関の高い方向を判断して、判断した方向における画素の画像信号を用いて色信号を補間する第１の補間手段と、前記画像信号中の色信号を補間する第２の補間手段と、垂直方向の偽色を抑制する信号処理を行う第１の信号処理手段と、水平方向の偽色を抑制する信号処理を行う第２の信号処理手段と、前記第１の補間手段により判断された相関に基づいて、垂直方向の相関が高い場合に前記第１の信号処理手段を選択し、水平方向の相関が高い場合に前記第２の信号処理手段を選択する選択手段とを有し、前記第２の補間手段により補間された色信号を、前記選択手段により選択された第１または第２の信号処理手段により処理する。
【００２０】
また、カラーフィルタを備えた撮像素子から画像信号を取得して処理する本発明の信号処理方法は、前記画像信号の垂直及び水平方向の相関を判断する相関演算工程と、前記撮像素子の各画素について、前記カラーフィルタを構成する色の色信号が得られるように補間し、当該補間の際に、補間対象画素の垂直方向及び水平方向における画素が補間しようとする色の画像信号である場合に、前記相関演算工程で求めた垂直及び水平方向の相関の内、相関の高い方向を判断して、判断した方向における画素の画像信号を用いて色信号を補間する第１の補間工程と、前記画像信号中の色信号を補間する第２の補間工程と、垂直方向の偽色を抑制する信号処理を行う第１の信号処理工程と、水平方向の偽色を抑制する信号処理を行う第２の信号処理工程と、前記第１の補間工程で判断された相関に基づいて、垂直方向の相関が高い場合に前記第１の信号処理工程を選択し、水平方向の相関が高い場合に前記第２の信号処理工程を選択する選択工程とを有し、前記第２の補間工程により補間された色信号を、前記選択工程により選択された第１または第２の信号処理工程により処理する。
【００２１】
本発明の好適な一様態によれば、前記第２の補間手段または第２の補間工程では、各画素が第１〜第４の色信号ｘ１〜ｘ４を有するように補間を行い、前記第１の色信号ｘ１と前記第２の色信号ｘ２、及び、前記第３の色信号ｘ３と前記第４の色信号ｘ４はそれぞれ前記カラーフィルタの異なる行において水平方向に交互に配置された色に対応し、かつ、前記第２の色信号ｘ２と前記第３の色信号ｘ３は、同じ色に対応し、前記第１の信号処理手段または第１の信号処理工程では、前記カラーフィルタの色の配置に基づいて定義された
【００２２】

【００２３】
のマトリクス演算を行い、マトリクス係数は
ａ１１＋ａ１２＝ａ２１＋ａ２２＝ａ３１＋ａ３２
ａ１３＋ａ１４＝ａ２３＋ａ２４＝ａ３３＋ａ３４
の条件を満たす。また、前記第２の補間手段または第２の補間工程では、各画素が第１〜第４の色信号ｘ１〜ｘ４を有するように補間を行い、前記第１の色信号ｘ１と前記第２の色信号ｘ２、及び、前記第３の色信号ｘ３と前記第４の色信号ｘ４はそれぞれ前記カラーフィルタの異なる行において水平方向に交互に配置された色に対応し、かつ、前記第２の色信号ｘ２と前記第３の色信号ｘ３は、同じ色に対応し、前記第２の信号処理手段または第２の信号処理工程では前記カラーフィルタの色の配置に基づいて定義された

【００２４】
のマトリクス演算を行い、マトリクス係数は
ａ１１＋ａ１２＝ａ２１＋ａ２２＝ａ３１＋ａ３２
ａ１３＋ａ１４＝ａ２３＋ａ２４＝ａ３３＋ａ３４
の条件を満たす。
本発明の好適な別の一様態によれば、前記第２の補間手段または第２の補間工程では、各画素が第１〜第４の色信号ｘ１〜ｘ４を有するように補間を行い、前記第１の色信号ｘ１と前記第２の色信号ｘ２、及び、前記第３の色信号ｘ３と前記第４の色信号ｘ４はそれぞれ前記カラーフィルタの異なる行において水平方向に交互に配置された色に対応し、かつ、前記第２の色信号ｘ２と前記第３の色信号ｘ３は、同じ色に対応し、前記第２の信号処理手段または第２の信号処理工程では、前記カラーフィルタの色の配置に基づいて定義された
【００２５】

【００２６】
のマトリクス演算を行い、マトリクス係数は
ａ１１＋ａ１３＝ａ２１＋ａ２３＝ａ３１＋ａ３３
ａ１２＋ａ１４＝ａ２２＋ａ２４＝ａ３２＋ａ３４
の条件を満たす係数を用いて演算を行う。
【００２７】
また、本発明の好適な一様態によれば、前記カラーフィルタはべイヤー配列のフィルタであり、前記相関演算手段は、グリーンフィルタ以外のフィルタに対応する各画素について、上下画素の信号値の差の絶対値を計算する垂直相関演算手段と、左右画素の信号値の差の絶対値を計算する水平相関演算手段と、前記垂直相関演算手段及び前記水平相関演算手段により求めた絶対値の値を比較し、相関を判断する相関判断手段とを有し、前記相関演算工程は、グリーンフィルタ以外のフィルタに対応する各画素について、上下画素の信号値の差の絶対値を計算する垂直相関演算工程と、左右画素の信号値の差の絶対値を計算する水平相関演算工程と、前記垂直相関演算工程及び前記水平相関演算工程により求めた絶対値の値を比較し、相関を判断する相関判断工程とを有する。
【００２８】
また、本発明の好適な一様態によれば、前記相関判断手段は、前記水平相関演算手段により求めた絶対値から、前記垂直相関演算手段により求めた絶対値を減じ、得られた差が負の場合に水平方向の相関が高いと判断し、正の場合に垂直方向の相関が高いと判断し、前記相関判断工程では、前記水平相関演算工程により求めた絶対値から、前記垂直相関演算工程により求めた絶対値を減じ、得られた差が負の場合に水平方向の相関が高いと判断し、正の場合に垂直方向の相関が高いと判断する。
【００２９】
また、本発明の好適な一様態によれば、前記カラーフィルタはべイヤー配列のフィルタであり、前記第１の補間手段は、グリーン信号以外の信号を出力する各画素について、前記判断された相関の高い方向に接する画素のグリーン信号を用いてグリーン信号を補間するＧ補間手段と、レッド信号及びブルー信号と、補間した対応するグリーン信号との色差を求める色差信号作成手段と、前記色差信号作成手段により求めた色差とグリーン信号とからレッド信号及びブルー信号を補間するＲＢ補間手段と、前記撮像素子から得られる画像信号及び前記Ｇ補間手段及びＲＢ補間手段により得られたグリーン信号、レッド信号、ブルー信号から、輝度信号を作成する輝度信号補間手段とを有し、前記第１の補間工程は、相関の高い方向にグリーン信号を補間するＧ補間工程と、レッド信号及びブルー信号と、補間した対応するグリーン信号との色差を求める色差信号作成工程と、前記色差信号作成工程により求めた色差とグリーン信号とからレッド信号及びブルー信号を補間するＲＢ補間工程と、前記撮像素子から得られる画像信号及び前記Ｇ補間工程及びＲＢ補間工程により得られたグリーン信号、レッド信号、ブルー信号から、輝度信号を作成する輝度信号補間工程とを有する。
【００３０】
上記構成によれば、高周波数の画像において発生する偽色をもともとある色信号を消すことはなく偽色のみを低減させることができる。
【００３１】
また、本発明の好適な一様態によれば、前記相関判断手段は、前記水平相関演算手段により求めた絶対値から、前記垂直相関演算手段により求めた絶対値及び所定の定数を減じ、得られた値が負の場合に水平方向の相関が高いと判断し、正の場合に垂直方向の相関が高いと判断し、前記相関判断工程は、前記水平相関演算工程により求めた絶対値から、前記垂直相関演算工程により求めた絶対値及び所定の定数を減じ、得られた値が負の場合に水平方向の相関が高いと判断し、正の場合に垂直方向の相関が高いと判断する。
【００３２】
上記構成によれば、前記補間方向相関係数に対する閾値を調整することにより、垂直方向と水平方向の偽色の出方を調整することができるため、光学ＬＰＦの特性が変わっても解像感を損ねることなく、柔軟に偽色の加減を調整することができる。
【００３３】
【発明の実施の形態】
図１は、本発明の実施の形態における画像信号処理ブロック図の例である。撮像素子１００からの信号は、ホワイトバランス（ＷＢ）回路１０１でＷＢがとられ、遅延回路１３０により遅延され、輝度適応補間回路１１１によって、垂直方向あるいは水平方向の画素信号から補間を行う。補間方法の詳細は後述する。また、補間方向検出回路１１２からの判別信号が色変換マトリクス（ＭＴＸ）切り替え回路１０３の制御信号となる。
【００３４】
次に輝度信号にエッジ強調（アパチャー回路）をかける。適応補間後の輝度信号は、水平バンドパスフィルタ１１３、垂直バンドパスフィルタ１１６、ＰＰ（Aperture Peak）Ｇａｉｎ回路１１４及び１１７、ベースクリップ（ＢＣ）回路１１５及び１１８を通り、加算器１１９にて水平成分及び垂直成分の高周波信号が加算され、ＡＰＣ（Aperture Control）ＭａｉｎＧａｉｎ回路１２０に入力される。加算器１２１ではＡＰＣＭａｉｎＧａｉｎ回路１２０からの出力信号と、輝度適応補間回路１１１からの輝度信号のベースバンド信号が加算され、ガンマ変換回路１２２に送られる。さらに輝度修正（YCOMP)回路１２３にて輝度補正が施される。
【００３５】
一方、色補間回路１０２あるいは輝度適応補間回路１１１にて補間された信号は、その後、色変換ＭＴＸ回路１０４または１０５によりＲＧＢ信号に色変換がなされる。これらの色変換ＭＴＸ回路１０４及び１０５は後述するようにそれぞれ異なるマトリクス演算を行い、前述の補間方向検出回路１１２からの補間方向判別信号により、色変換ＭＴＸ切り替え回路１０３が切り替えられて、色変換ＭＴＸ回路１０４または１０５のいずれか一方が選択される。色変換ＭＴＸ回路１０４または１０５からの出力信号は色差信号に変換され、クロマ抑圧（ＣＳＵＰ：Chroma Supress)回路１０６にて高輝度、低輝度領域の色ゲインが抑圧される。その後クロマローパスフィルタ（ＣＬＰＦ）回路１０７により帯域が圧縮され、ＲＧＢ信号に変換されガンマ変換回路１０８によってガンマ変換が施される。ガンマ変換後のＲＧＢ信号は再び色差信号に変換され、ＣＧａｉｎＫｎｅｅ(Chroma Gain Knee)回路１０９にて色ゲインが調整され、ＬＣＭＴＸ(Linear Clip Matrix)回路１１０によって色相補正がなされ、輝度信号とともに出力される。
【００３６】
次に、上記構成を有する画像信号処理ブロックにおける本実施の形態における適応補間方法を説明する。基本となる方法は、グリーン信号を適応的に補間した後、グリーン信号をもとにレッド信号及びブルー信号を補間し輝度信号を作成する手法であり、輝度適応補間回路１１１で実施される。本実施の形態では、グリーン信号の補間時に、縦縞、横縞判別の結果に応じて水平方向補間、垂直方向補間を２値的に切り替える。
【００３７】
まず、グリーン以外の全ての画素、すなわちレッド画素、ブルー画素について、グリーン信号を補間する。例えば図４に示す配列のフィルターを有し、図２の画素Ｐ５（Ｐ１〜Ｐ９は画素の位置を示し、括弧内は、その画素から得られる色信号を示し、フィルタの色に対応する。）にグリーン信号（Ｐ５（Ｇ））を補間する場合、補間対象画素の上下左右の信号相関を検出し、これにより縦縞、横縞を判別する。すなわち、補間対象の上下、左右の画素の差の絶対値を求める。（相関度算出）
ＨＤｉｆｆ＝｜Ｐ４（Ｇ２）−Ｐ６（Ｇ２）｜、
ＶＤｉｆｆ＝｜Ｐ２（Ｇ１）−Ｐ８（Ｇ１）｜ …（６）
【００３８】
そしてＨＤｉｆｆとＶＤｉｆｆの差をとったものを補間方向判別信号ＭａｔＳｗとする。
ＭａｔＳｗ＝Ｈｄｉｆｆ−Ｖｄｉｆｆ …（７）
【００３９】
その差が負であればつまり水平方向の相関が強いことになり、水平方向の画素信号から補間する。逆に、その差が正であれば垂直方向の画素信号から補間する。同様の方法で、全てのブルー画素及びレッド画素についても補間を行う。
【００４０】
次に、補間したグリーン信号を用いて、レッド以外の全ての画素についてレッド信号を補間する。グリーン画素については、左右または上下のレッド信号及びそのレッド画素のグリーン信号を用いて、また、ブルー画素については、周辺の４つのレッド画素を用いて、以下の式に示すように補間を行う。
P2(R)=((P1(R)-P1(G))+(P3(R)-P3(G)))/2+P2(G１)
P4(R)=((P1(R)-P1(G))+(P7(R)-P7(G)))/2+P4(G２)
P5(R)=((P1(R)-P1(G))+(P3(R)-P3(G))+(P7(R)-P7(G))+(P9(R)-P9(G)))/4+P5(G) …（８）
【００４１】
また、ブルー信号も同様の計算により求めることができる。これにより同一画素についてＲＧＢ３色分の信号を得る。更に、例えば
Ｙ＝０．３×Ｒ＋０．５９×Ｇ＋０．１１×Ｂ …（９）
【００４２】
より輝度信号Ｙを求める。なお、式（９）の各項の係数は、適宜変更することが可能である。
また、色補間回路１０２では、全ての画素がＲ、Ｇ１、Ｇ２、Ｂの信号を持つように補間を行う。以下に補間方法の一例を示すが、Ｇ１及びＧ２信号の補間方法のみならずＲ及びＢ信号の補間方法についてはこれに限るものではない。
【００４３】
図２の構成ではグリーン画素Ｐ２（Ｇ１），Ｐ４（Ｇ２），Ｐ６（Ｇ２），Ｐ８（Ｇ１）は、各画素周辺の４つのグリーン信号Ｇ１またはＧ２を加算平均することにより、それぞれＧ２，Ｇ１，Ｇ１，Ｇ２信号を持つようにする。また、レッド画素では、左右のグリーン信号Ｇ１を加算平均することによりグリーン信号Ｇ１を、上下のグリーン信号Ｇ２を加算平均することによりグリーン信号Ｇ２を得る。同様に、ブルー画素では、左右のグリーン信号Ｇ２を加算平均することによりグリーン信号Ｇ２を、上下のグリーン信号Ｇ１を加算平均することによりグリーン信号Ｇ１を得る。
【００４４】
次に、上記式（８）と同様の方法にてレッド画素以外の画素について、レッド信号を補間するが、この場合、グリーン画素以外のＧの値はＧ１とＧ２の加算平均を用いるものとする。また、ブルー信号も同様の計算で求める。これにより、各画素について、Ｒ、Ｇ１、Ｇ２、Ｂ信号を得ることができる。
【００４５】
なお、Ｒ及びＢ信号の補間信号については、輝度適応補間回路１１１で算出したＲ及びＢ信号を用いることも可能である。
【００４６】
このようにして補間して得られたＲ、Ｇ１、Ｇ２、Ｂ信号は、補間方向検出回路１１２により切り替え制御されるＭＴＸ切り替え回路１０３を介して、色変換ＭＴＸ回路１０４または１０５に入力される。
【００４７】
補間方向検出回路１１２は、輝度適応補間回路１１１で得られた補間方向判別信号ＭａｔＳｗにより垂直方向の補間か、水平方向の補間かを判断し、垂直方向の補間であると判断するとマトリクス切り替え回路１０３を制御して、垂直方向の偽信号を抑圧する色変換マトリクス回路１０４に接続させ、また、水平方向の補間であると判断すると、水平方向の偽信号を抑圧する色変換ＭＴＸ回路１０５に接続させる。
【００４８】
この色変換マトリクス回路１０４及び１０５について以下に説明する。
【００４９】
撮像素子１００に図４に示すような純色ベイヤー配列のフィルターが配置されているとした場合、この色変換ＭＴＸ回路１０４では以下の演算（１０）を行う。
【００５０】

【００５１】
但し、λは光の波長を示す。
式（１０）のリニアマトリクスの係数｛ａij｝は次の条件を満たさなければならない。すなわち、例えば無彩色の被写体を図６に示すような純色ベイヤー配列のフィルターで出力した場合に、各フィルターに対応する出力信号Ｒ(λ)，Ｇ１(λ)，Ｇ２(λ)，Ｂ(λ)をマトリクス［ａij］（ｉ＝３，ｊ＝４）で変換すると、変換後のＲＧＢ信号は、
Ｒ'(λ)＝ａ１１Ｒ(λ)＋ａ１２Ｇ１(λ)＋ａ１３Ｇ２(λ)＋ａ１４Ｂ(λ)、
Ｇ'(λ)＝ａ２１Ｒ(λ)＋ａ２２Ｇ１(λ)＋ａ２３Ｇ２(λ)＋ａ２４Ｂ(λ)、
Ｂ'(λ)＝ａ３１Ｒ(λ)＋ａ３２Ｇ１(λ)＋ａ３３Ｇ２(λ)＋ａ３４Ｂ(λ)…（１１）
【００５２】
となる。
このとき、例えば図２に示すように、フィルターのＲ，Ｇ１の位置は被写体の暗部に、Ｇ２，Ｂの位置は被写体の明部に一致しているとすると、どのような補間フィルターを用いても
Ｒ(λ)＝αＧ１(λ)＝Ｖ１(λ)、
Ｂ(λ)＝βＧ２(λ)＝Ｖ２(λ) …（１２）
【００５３】
が成り立つ。このα、βは被写体の色温度に依存するパラメータである。
式（１１）、（１２）より、
Ｒ'(λ)＝(ａ11＋ａ12／α)Ｖ1(λ)＋(ａ13／β＋ａ14)Ｖ2(λ)、
Ｇ'(λ)＝(ａ21＋ａ22／α)Ｖ1(λ)＋(ａ23／β＋ａ24)Ｖ2(λ)、
Ｂ'(λ)＝(ａ31＋ａ32／α)Ｖ1(λ)＋(ａ33／β＋ａ34)Ｖ2(λ)…（１３）
【００５４】
無彩色の被写体を撮影している場合、式（１３）においてＲ'(λ)＝Ｇ'(λ)＝Ｂ'(λ)でなければ、垂直方向の偽色が発生してしまう。この垂直方向の偽色を防止する目的で、次の条件を満たすようにする。
【００５５】
ａ１１＋ａ１２／α＝ａ２１＋ａ２２／α＝ａ３１＋ａ３２／α
【００５６】
ａ１３／β＋ａ１４＝ａ２３／β＋ａ２４＝ａ３３／β＋ａ３４ …（１４）
【００５７】
ここで、α、βは被写体の色温度によって変化するのであらかじめ複数の各色温度における無彩色被写体のα、βを測定しておく。今Ｇ１(λ)の出力をα倍、Ｇ２(λ)の出力をβ倍したものを各々Ｇ１'(λ)、Ｇ２'(λ)として式（１）の代わりに変換することを考えると、式（４）は
ａ１１＋ａ１２＝ａ２１＋ａ２２＝ａ３１＋ａ３２
ａ１３＋ａ１４＝ａ２３＋ａ２４＝ａ３３＋ａ３４ …（１５）
【００５８】
と書きかえられ、これが垂直偽色抑圧条件となる。この条件を満たす係数を予め求め、色変換マトリクス回路１０４に保持させる。
一方、上記説明と各色フィルターの配列の関係から、式（１０）においてＧ１(λ)とＧ２(λ)を入れ替えることによって、色変換ＭＴＸ回路１０５において簡単に水平偽色抑圧条件を満たすマトリクス演算を行うことができる。
【００５９】
すなわち、式（１５）の条件を満たすマトリクス係数を用いて、
【００６０】

【００６１】
のマトリクス演算を行う。
なお、Ｇ１，Ｇ２の順番を入れ替えずに、異なる係数を保持するようにしても良い。その場合、例えば図２に示すように、フィルターのＲ，Ｇ２の位置は被写体の暗部に、Ｇ１，Ｂの位置は被写体の明部に一致しているとすると、どのような補間フィルターを用いても
Ｒ(λ)＝αＧ２(λ)＝Ｖ１(λ)、
Ｂ(λ)＝βＧ１(λ)＝Ｖ２(λ) …（１７）
【００６２】
が成り立つため、上記と同様の演算により、
ａ１１＋ａ１３＝ａ２１＋ａ２３＝ａ３１＋ａ３３
ａ１２＋ａ１４＝ａ２２＋ａ２４＝ａ３２＋ａ３４ …（１８）
を水平偽色抑圧条件とすることができる。
このように、適応補間したときの補間方向を判別し、その判別信号に基づき、垂直方向から補間した画素については垂直偽色抑圧条件を満たすマトリクス係数を有する色変換ＭＴＸ回路１０４によるマトリクス演算を行い、水平方向から補間した画素については水平偽色抑圧条件を満たすマトリクス係数を有する色変換ＭＴＸ回路１０５によるマトリクス演算を行う。つまり、発生しやすい方向の偽色を抑圧するように色変換マトリクス演算を切り替えて、色処理系におけるＲＧＢ信号を生成する。
【００６３】
このようにすることにより、従来のような縦縞、横縞判別を行い垂直方向および水平方向からの補間を適応的に切り替える手法において、その補間方向判別信号に基づき使用する色変換マトリクス回路を切り替えるだけで、とくに高周波の画像に発生する偽色を簡単に低減させ、より高品位な画像作成が可能となる。
【００６４】
さらに、前記補間方向判別信号ＭａｔＳｗに対し、
ＭａｔＳｗ＝Ｈｄｉｆ−Ｖｄｉｆｆ−Ｏｆｆｓｅｔ
【００６５】
と上式のようにオフセット値を導入して閾値を調整することにより、垂直偽色抑圧条件と水平偽色抑圧条件のマトリクス切り替えを調整することができる。これにより、垂直方向と水平方向の偽色の出方を調整することができるため、光学ＬＰＦの特性が変わっても解像感を損ねることなく、柔軟に偽色の加減を調整することができる。
【００６６】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００６７】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６９】
【発明の効果】
以上説明したように、本発明によれば、縦縞、横縞判別を行い垂直方向および水平方向からの補間を適応的に切り替える手法において、とくに高周波の画像に発生する偽色を簡単に低減させ、より高品位な画像を作成することができる。
【００７０】
さらに、垂直方向と水平方向の偽色の出方を調整することで、光学ＬＰＦの特性が変わった場合に解像感を損ねることなく、柔軟に偽色の加減を調整することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における信号処理ユニットの構成を示すブロック図である。
【図２】本発明の実施の形態における補間方法を説明するための図である。
【図３】従来のデジタルカメラにおける信号処理部の構成を示すブロック図である。
【図４】フィルタ配列を示す図である。
【図５】ジャギの発生を説明する図である。
【図６】適応補間で誤判別を起こすパターン例を示す図である。
【符号の説明】
１００，５０１撮像素子
１０１，５０２ホワイトバランス回路
１０２，５０３色補間回路
１０３マトリクス切り替え回路
１０４，１０５，５０４色変換マトリクス回路
１０６，５０５クロマ抑圧回路
１０７，５０６クロマローパスフィルタ回路
１０８，１２２，５０７，５２０ガンマ変換回路
１０９，５０８ＣＧａｉｎＫｎｅｅ回路
１１０，５０９ＬＣＭＴＸ回路
１１１輝度適応補間回路
１１２補間方向検出回路
５１０輝度ノッチ回路
１１３，５１１水平バンドパスフィルタ回路
１１４，１１７，５１２，５１５ＰＰＧａｉｎ回路
１１５，１１８，５１３，５１６ベースクリップ回路
１１６，５１４垂直バンドパスフィルタ回路
１１９，１２１，５１７，５１９加算器
１２０，５１８ＡＰＣＭａｉｎＧａｉｎ回路
１２３，５２１輝度修正回路
１３０遅延回路

Claims

カラーフィルタを備えた撮像素子から画像信号を取得して処理する信号処理装置であって、
前記画像信号の垂直及び水平方向の相関を判断する相関演算手段と、
前記撮像素子の各画素について、前記カラーフィルタを構成する色の色信号が得られるように色信号を補間し、当該補間の際に、補間対象画素の垂直方向及び水平方向における画素が補間する色の画像信号である場合に、前記相関演算手段で求めた垂直及び水平方向の相関の内、相関の高い方向を判断して、判断した方向における画素の画像信号を用いて色信号を補間する第１の補間手段と、
前記画像信号中の色信号を補間する第２の補間手段と、
垂直方向の偽色を抑制する信号処理を行う第１の信号処理手段と、
水平方向の偽色を抑制する信号処理を行う第２の信号処理手段と、
前記第１の補間手段により判断された相関に基づいて、垂直方向の相関が高い場合に前記第１の信号処理手段を選択し、水平方向の相関が高い場合に前記第２の信号処理手段を選択する選択手段とを有し、
前記第２の補間手段により補間された色信号を、前記選択手段により選択された第１または第２の信号処理手段により処理することを特徴とする信号処理装置。
前記第２の補間手段は、各画素が第１〜第４の色信号ｘ１〜ｘ４を有するように補間を行い、前記第１の色信号ｘ１と前記第２の色信号ｘ２、及び、前記第３の色信号ｘ３と前記第４の色信号ｘ４はそれぞれ前記カラーフィルタの異なる行において水平方向に交互に配置された色に対応し、かつ、前記第２の色信号ｘ２と前記第３の色信号ｘ３は、同じ色に対応し、前記第１の信号処理手段は、前記カラーフィルタの色の配置に基づいて定義された

のマトリクス演算を行い、マトリクス係数は
ａ１１＋ａ１２＝ａ２１＋ａ２２＝ａ３１＋ａ３２
ａ１３＋ａ１４＝ａ２３＋ａ２４＝ａ３３＋ａ３４
の条件を満たすことを特徴とする請求項１に記載の信号処理装置。
前記第２の補間手段は、各画素が第１〜第４の色信号ｘ１〜ｘ４を有するように補間を行い、前記第１の色信号ｘ１と前記第２の色信号ｘ２、及び、前記第３の色信号ｘ３と前記第４の色信号ｘ４はそれぞれ前記カラーフィルタの異なる行において水平方向に交互に配置された色に対応し、かつ、前記第２の色信号ｘ２と前記第３の色信号ｘ３は、同じ色に対応し、前記第２の信号処理手段は、前記カラーフィルタの色の配置に基づいて定義された

のマトリクス演算を行い、マトリクス係数は
ａ１１＋ａ１２＝ａ２１＋ａ２２＝ａ３１＋ａ３２
ａ１３＋ａ１４＝ａ２３＋ａ２４＝ａ３３＋ａ３４
の条件を満たすことを特徴とする請求項１または２に記載の信号処理装置。
前記第２の補間手段は、各画素が第１〜第４の色信号ｘ１〜ｘ４を有するように補間を行い、前記第１の色信号ｘ１と前記第２の色信号ｘ２、及び、前記第３の色信号ｘ３と前記第４の色信号ｘ４はそれぞれ前記カラーフィルタの異なる行において水平方向に交互に配置された色に対応し、かつ、前記第２の色信号ｘ２と前記第３の色信号ｘ３は、同じ色に対応し、前記第２の信号処理手段は、前記カラーフィルタの色の配置に基づいて定義された

のマトリクス演算を行い、マトリクス係数は
ａ１１＋ａ１３＝ａ２１＋ａ２３＝ａ３１＋ａ３３
ａ１２＋ａ１４＝ａ２２＋ａ２４＝ａ３２＋ａ３４
の条件を満たすことを特徴とする請求項１または２に記載の信号処理装置。
前記カラーフィルタはべイヤー配列のフィルタであり、前記相関演算手段は、グリーンフィルタ以外のフィルタに対応する各画素について、上下画素の信号値の差の絶対値を計算する垂直相関演算手段と、左右画素の信号値の差の絶対値を計算する水平相関演算手段と、前記垂直相関演算手段及び前記水平相関演算手段により求めた絶対値の値を比較し、相関を判断する相関判断手段とを有することを特徴とする請求項１乃至４のいずれかに記載の信号処理装置。
前記相関判断手段は、前記水平相関演算手段により求めた絶対値から、前記垂直相関演算手段により求めた絶対値を減じ、得られた差が負の場合に水平方向の相関が高いと判断し、正の場合に垂直方向の相関が高いと判断することを特徴とする請求項５に記載の信号処理装置。
前記カラーフィルタはべイヤー配列のフィルタであり、前記第１の補間手段は、
グリーン信号以外の信号を出力する各画素について、前記判断された相関の高い方向に接する画素のグリーン信号を用いてグリーン信号を補間するＧ補間手段と、
レッド信号及びブルー信号と、補間した対応するグリーン信号との色差を求める色差信号作成手段と、
前記色差信号作成手段により求めた色差とグリーン信号とからレッド信号及びブルー信号を補間するＲＢ補間手段と、
前記撮像素子から得られる画像信号及び前記Ｇ補間手段及びＲＢ補間手段により得られたグリーン信号、レッド信号、ブルー信号から、輝度信号を作成する輝度信号補間手段と
を有することを特徴とする請求項１乃至４のいずれかに記載の信号処理装置。
前記相関判断手段は、前記水平相関演算手段により求めた絶対値から、前記垂直相関演算手段により求めた絶対値及び所定の定数を減じ、得られた値が負の場合に水平方向の相関が高いと判断し、正の場合に垂直方向の相関が高いと判断することを特徴とする請求項５に記載の信号処理装置。
カラーフィルタを備えた撮像素子から画像信号を取得して処理する信号処理方法であって、
前記画像信号の垂直及び水平方向の相関を判断する相関演算工程と、
前記撮像素子の各画素について、前記カラーフィルタを構成する色の色信号が得られるように色信号を補間し、当該補間の際に、補間対象画素の垂直方向及び水平方向における画素が補間しようとする色の画像信号である場合に、前記相関演算工程で求めた垂直及び水平方向の相関の内、相関の高い方向を判断して、判断した方向における画素の画像信号を用いて色信号を補間する第１の補間工程と、
前記画像信号中の色信号を補間する第２の補間工程と、
垂直方向の偽色を抑制する信号処理を行う第１の信号処理工程と、
水平方向の偽色を抑制する信号処理を行う第２の信号処理工程と、
前記第１の補間工程で判断された相関に基づいて、垂直方向の相関が高い場合に前記第１の信号処理工程を選択し、水平方向の相関が高い場合に前記第２の信号処理工程を選択する選択工程とを有し、
前記第２の補間工程により補間された色信号を、前記選択工程により選択された第１または第２の信号処理工程により処理することを特徴とする信号処理方法。
前記第２の補間工程では、各画素が第１〜第４の色信号ｘ１〜ｘ４を有するように補間を行い、前記第１の色信号ｘ１と前記第２の色信号ｘ２、及び、前記第３の色信号ｘ３と前記第４の色信号ｘ４はそれぞれ前記カラーフィルタの異なる行において水平方向に交互に配置された色に対応し、かつ、前記第２の色信号ｘ２と前記第３の色信号ｘ３は、同じ色に対応し、前記第１の信号処理工程では、前記カラーフィルタの色の配置に基づいて定義された

のマトリクス演算を行い、マトリクス係数は
ａ１１＋ａ１２＝ａ２１＋ａ２２＝ａ３１＋ａ３２
ａ１３＋ａ１４＝ａ２３＋ａ２４＝ａ３３＋ａ３４
の条件を満たすことを特徴とする請求項９に記載の信号処理方法。
前記カラーフィルタは第１、第２、第３の色を含み、前記第２の補間工程では、各画素が第１〜第４の色信号ｘ１〜ｘ４を有するように補間を行い、前記第１の色信号ｘ１と前記第２の色信号ｘ２、及び、前記第３の色信号ｘ３と前記第４の色信号ｘ４はそれぞれ前記カラーフィルタの異なる行において水平方向に交互に配置された色に対応し、かつ、前記第２の色信号ｘ２と前記第３の色信号ｘ３は、同じ色に対応し、前記第２の信号処理工程では、前記カラーフィルタの色の配置に基づいて定義された

のマトリクス演算を行い、マトリクス係数は
ａ１１＋ａ１２＝ａ２１＋ａ２２＝ａ３１＋ａ３２
ａ１３＋ａ１４＝ａ２３＋ａ２４＝ａ３３＋ａ３４
の条件を満たすことを特徴とする請求項９または１０に記載の信号処理方法。
前記第２の補間工程では、各画素が第１〜第４の色信号ｘ１〜ｘ４を有するように補間を行い、前記第１の色信号ｘ１と前記第２の色信号ｘ２、及び、前記第３の色信号ｘ３と前記第４の色信号ｘ４はそれぞれ前記カラーフィルタの異なる行において水平方向に交互に配置された色に対応し、かつ、前記第２の色信号ｘ２と前記第３の色信号ｘ３は、同じ色に対応し、前記第２の信号処理工程では、カラーフィルタの色の配置に基づいて定義された

のマトリクス演算を行い、マトリクス係数は
ａ１１＋ａ１３＝ａ２１＋ａ２３＝ａ３１＋ａ３３
ａ１２＋ａ１４＝ａ２２＋ａ２４＝ａ３２＋ａ３４
の条件を満たすことを特徴とする請求項９または１０に記載の信号処理方法。
前記カラーフィルタはべイヤー配列のフィルタであり、前記相関演算工程は、グリーンフィルタ以外のフィルタに対応する各画素について、上下画素の信号値の差の絶対値を計算する垂直相関演算工程と、左右画素の信号値の差の絶対値を計算する水平相関演算工程と、前記垂直相関演算工程及び前記水平相関演算工程により求めた絶対値の値を比較し、相関を判断する相関判断工程とを有することを特徴とする請求項９乃至１２のいずれかに記載の信号処理方法。
前記相関判断工程では、前記水平相関演算工程により求めた絶対値から、前記垂直相関演算工程により求めた絶対値を減じ、得られた差が負の場合に水平方向の相関が高いと判断し、正の場合に垂直方向の相関が高いと判断することを特徴とする請求項１３に記載の信号処理方法。
前記カラーフィルタはべイヤー配列のフィルタであり、前記第１の補間工程は、
グリーン信号以外の信号を出力する各画素について、前記判断された相関の高い方向に接する画素のグリーン信号を用いてグリーン信号を補間するＧ補間工程と、
レッド信号及びブルー信号と、補間した対応するグリーン信号との色差を求める色差信号作成工程と、
前記色差信号作成工程により求めた色差とグリーン信号とからレッド信号及びブルー信号を補間するＲＢ補間工程と、
前記撮像素子から得られる画像信号及び前記Ｇ補間工程及びＲＢ補間工程により得られたグリーン信号、レッド信号、ブルー信号から、輝度信号を作成する輝度信号補間工程と
を有することを特徴とする請求項９乃至１２のいずれかに記載の信号処理方法。
前記相関判断工程は、前記水平相関演算工程により求めた絶対値から、前記垂直相関演算工程により求めた絶対値及び所定の定数を減じ、得られた値が負の場合に水平方向の相関が高いと判断し、正の場合に垂直方向の相関が高いと判断することを特徴とする請求項１３に記載の信号処理方法。
コンピュータ装置が実行可能なプログラムを格納した記憶媒体であって、前記プログラムを実行したコンピュータ装置を、請求項１乃至８のいずれかに記載の信号処理装置として機能させることを特徴とする記憶媒体。
請求項９乃至１６のいずれかに記載の信号処理方法を実現するためのプログラムコードを保持する記憶媒体。