JP4118397B2

JP4118397B2 - 固体カラー撮像デバイスのノイズ除去方法

Info

Publication number: JP4118397B2
Application number: JP18650498A
Authority: JP
Inventors: 俊樹宮野; 恭一小俣
Original assignee: イーストマンコダックカンパニー
Priority date: 1998-07-01
Filing date: 1998-07-01
Publication date: 2008-07-16
Anticipated expiration: 2018-07-01
Also published as: JP2000023173A

Description

【０００１】
【発明の属する技術分野】
本発明は、固体カラー撮像デバイスにより得られた画像のノイズ除去の技術に関する。
【０００２】
【従来の技術】
ＣＣＤなどの固体カラー撮像デバイスを利用したビデオカメラや電子スチルカメラなどが普及している。このような固体カラー撮像デバイスでえた画像にノイズが含まれる場合、ノイズ除去が必要となる。画像のノイズ除去のためには、従来一般に、画像信号をローパスフィルタに通すことにより高周波成分を抑圧する回路的な手法や、メディアンフィルタなど平滑化作用を持つ空間フィルタを画像に作用させるデジタル演算的な手法などが用いられている。
【０００３】
【発明が解決しようとする課題】
ローパスフィルタを用いる手法は、ノイズの周波数が既知で、しかもノイズと本来の画像信号とが周波数的に分離可能である場合には有効である。しかしながら、そのような条件が満たされることは一般的にまれである。この方法は簡便かつ高速ではあるが、効果が薄い場合も少なくなかった。また、ローパスフィルタにより高周波成分を除去すると、画像のシャープさが損なわれるという問題もあった。
【０００４】
メディアンフィルタは、近傍画素群の画素値の中央値を求めるのに比較的時間を要するため、処理時間が比較的長くなってしまうという問題があった。また、メディアンフィルタは、細い線状のエッジやルーフエッジ（画素値の分布が山状になるときの尾根の部分のエッジ）などのエッジが鈍化する可能性があり、解像度の低下をもたらすおそれがあった。
【０００５】
また、固体撮像デバイス（特にＣＣＤ）には、その出力値（明るさ）に応じてノイズ量が異なるという性質があるが、上記各手法はすべての画素に対し同じフィルタを作用させるものであるため、すべての出力値に対して十分な強度のフィルタを作用させると、ノイズの少ない画素についてはフィルタが強くなってエッジの鈍化などの副作用が大きくなりすぎ、かといってこれを避けるためにフィルタを弱くすると、十分なノイズ除去効果が得られない画素が出てくるという問題があった。
【０００６】
本発明は、上記問題点を解決するためになされたものであり、固体カラー撮像素子から得られた画像において、線的なエッジをも保存して解像度を落とすことなくノイズ除去を行うことを目的とする。また、本発明は、ノイズ量に応じて適応的にフィルタ強度を調節することを目的とする。
【０００７】
【課題を解決するための手段】
参考例の固体カラー撮像デバイスのノイズ除去方法は、注目画素の画素値とその近傍の同色画素の画素値とに基づき、前記注目画素が前記画像のどの方向のエッジ上にあるかを判定し、前記注目画素の画素値と、前記判定で求められたエッジの方向について前記注目画素に近接する同色画素の画素値と、の平均及び分散を求め、前記平均及び分散を用いて、前記判定で求められたエッジの方向についてノイズ除去フィルタを構成し、このフィルタにより前記注目画素のノイズを除去することを特徴とする。
【０００８】
この方法では、注目画素がどの方向のエッジの上にあるかを求め、注目画素近傍の同色画素（すなわち注目画素と同色の画素）のうちそのエッジの方向にあるもののみを選択してノイズ除去フィルタを構成する。
【０００９】
一般に、エッジ方向に沿っては画素値の変化は少ないのに対し、それ以外の方向に沿っては画素値が大きく変化する。従来のメディアンフィルタを用いる手法では、処理の際に画素値が大きく変化する方向の情報をも必然的に利用してしまうため、注目画素の画素値が、値の大きく異なる近傍画素の画素値に置き換えられる可能性があり、これがエッジの鈍化につながっていた。これに対し、本発明では、エッジの方向の情報のみを選択して用いる構成としたので、そのような問題は起こらない。したがって、参考例によれば、解像度の劣化を防止しつつ、ノイズ除去を行うことができる。
【００１０】
なお、この方法を各色画素のうち画像の輝度に影響の強い色（例えば緑）の画素に適用すれば、解像度の劣化を効果的に抑えつつノイズ除去を行うことができる。
【００１１】
この方法において、注目画素を中心として各方向にラプラシアンフィルタを構成し、出力値が最小となるラプラシアンフィルタの方向をエッジの方向とすることが好適である。
【００１２】
また、この方法において、ノイズ除去フィルタとしてウィーナーフィルタを用いることが好適である。ウィーナーフィルタは、ノイズが大きいときには注目画素近傍の画素群の平均値を出力し、ノイズが小さいときは注目画素自体の画素値を出力する。すなわち、ノイズの強さに応じて適応的にフィルタの強さが変わるので、ノイズの強さに応じて常に適切な強さのフィルタ作用を与えることができる。なお、ウィーナーフィルタの構成に当たり、エッジ方向についての注目画素及び同色画素の平均に基づき注目画素のノイズレベルを推定し、このノイズレベルをウィーナーフィルタに反映させることも好適である。この方法では、注目画素の画素値（平均値）に応じてノイズレベルを求め、このノイズレベルをウィーナーフィルタに反映させるので、出力（画素値）が大きいほどノイズレベルが高くなるという固体カラー撮像デバイスの特性を考慮して、すべての画素値にわたって適切なノイズ除去を行うことができる。
【００１３】
また、本発明では、輝度に影響が強い（すなわち解像度に影響の強い）緑画素については、上述のエッジ方向を考慮したウィーナーフィルタを構成し、解像度への影響よりも色ノイズへの影響の方が顕著な赤画素及び青画素については、補間処理により当該画素位置における緑値を求め、この緑値と当該画素の画素値（赤値又は青値）との色差についてウィーナーフィルタを構成する。この方法では、解像度に影響の強い緑画素については、エッジ方向を考慮したウィーナーフィルタにより解像度の劣化を抑えつつノイズ抑制ができ、赤画素及び青画素については色差をベースにフィルタ処理を行うことにより、少ない演算量で効果的にノイズ除去を行うことができる。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。以下では、固体カラー撮像デバイスとして、ベイヤー（Bayer）タイプの色フィルタアレイを有するＣＣＤ（電荷結合素子）を例にとって説明する。
【００１５】
図１は、ベイヤータイプにおける色フィルタの配列パターンを示す図である。図において、Ｒは赤のカラー信号を取り出すための赤画素用のフィルタである。同様にＧは緑画素用フィルタ、Ｂは青画素用フィルタを示す。各色の色フィルタは、ＣＣＤの各セル（画素）に対応して設けられる。以下、このような色フィルタアレイを持つＣＣＤから得られる画像のノイズ除去方法を説明する。
【００１６】
（１）緑画素のノイズ除去
まず、輝度信号の元になり、画像の解像度に強い影響を与える緑画素についてのノイズ除去の手順について図２を参照して説明する。
【００１７】
図２は、ベイヤータイプのＣＣＤの各色画素配列のうち緑（Ｇ）画素を特に取り出して示したものであり、個々の緑画素の区別のためにＧ１，Ｇ２・・・とそれぞれに符号を付す。以下、この図における緑画素Ｇ３を注目画素とし、この注目画素のノイズ除去について説明する。
【００１８】
まず、Ｇ３が縦方向のエッジ上にあるか横方向のエッジ上にあるかを判定する。この判定のため、Ｇ３について、縦方向及び横方向のラプラシアンフィルタを構成する。すなわち、次の２式を計算する。
【００１９】
【数１】
DV = abs((-G1+2*G3-G5)) ・・・（１）
DH = abs((-G2+2*G3-G4)) ・・・（２）
ここでは、Ｇ１〜Ｇ５は、それぞれ対応する画素の画素値を示する。また、ａｂｓ（）は、（）内の値の絶対値を求める関数である。そして、ＤＶが縦方向のラプラシアンフィルタの出力であり、ＤＨが横方向のラプラシアンフィルタの出力である。式（１）、（２）から分かるように、エッジに沿った方向についてはラプラシアンフィルタの値は小さく、エッジを横切る方向についてはラプラシアンフィルタの値は大きくなる。特に線状エッジやルーフエッジの場合、そのエッジを横切る方向については、ラプラシアンフィルタの値は極めて大きくなる。
【００２０】
ＤＶとＤＨの値が求められると、次に両者を比較する。そして、値の小さい方に対応する方向を、注目画素Ｇ３のあるエッジの方向と判定する。具体的には次のようになる。
【００２１】
ＤＨ＜ＤＶの場合は、Ｇ３は横方向のエッジ上と判定する。そして、注目画素Ｇ３と、横方向についてＧ３と近接する緑画素Ｇ２，Ｇ４とについて、画素値の平均（Ａｖｅ）及び分散（Ｖａｒ）を次式に従い求める。
【００２２】
【数２】
Ave = (G2+G3+G4)/3 ・・・（３ａ）
Var = (G2²+G3²+G4²)/3-Ave² ・・・（４ａ）
一方、ＤＶ＜ＤＨの場合は、注目画素Ｇ３は縦方向のエッジ上にあると判定し、縦方向についてＧ３と近接する緑画素Ｇ１，Ｇ５について、次式に従い平均及び分散を求める。
【００２３】
【数３】
Ave = (G1+G3+G5)/3 ・・・（３ｂ）
Var = (G1²+G3²+G5²)/3-Ave² ・・・（４ｂ）
そして、（３ａ）及び（４ａ）又は（３ｂ）及び（４ｂ）により求めた平均Ａｖｅと分散Ｖａｒを用いて、注目画素Ｇ３についてウィーナー（Wiener）フィルタを構成する。この場合、ウィーナーフィルタは次式で表される。
【００２４】
【数４】
G3' = Ave+(G3-Ave)*(Var-Noise)/Var ・・・（５）
この式において、Ｇ３’はウィーナーフィルタの出力値を表し、Ｎｏｉｓｅは注目画素におけるノイズレベルを示す。ここで、ノイズレベルＮｏｉｓｅは、ノイズの分散値のディメンジョンで表す。本実施形態では、このウィーナーフィルタの出力Ｇ３’を、ノイズ除去された注目画素Ｇ３の画素値として用いる。
【００２５】
ここで、ノイズレベルＮｏｉｓｅを注目画素Ｇ３の画素値に応じて推定している。すなわち、ノイズレベルは次式によって求められる。
【００２６】
【数５】
Noise = F(Ave) ・・・（６）
ここで、Ｆ（）は、画素値とノイズレベルＮｏｉｓｅとの関係を表す関数である。式（６）から分かるように、本実施形態では、注目画素Ｇ３の値にノイズが混じっていることを考慮して、Ｇ３の画素値そのままではなく、近傍画素群での平均Ａｖｅを用いてノイズレベルを推定している。なお、関数Ｆは撮像デバイスの特性によって決まってくるものであり、撮像デバイスの機種ごとに、経験的に、あるいは実験などを行って、予め定めておく。図３に、関数Ｆの一例のグラフを例示する。
【００２７】
さて、再びウィーナーフィルタの式（５）を参照して説明する。この式から分かるように、ウィーナーフィルタの出力Ｇ３’は、ノイズレベルが大きいときには、近傍画素群の平均値（Ａｖｅ）に近い値となり、ノイズレベルが小さいときは注目画素Ｇ３自身の画素値に近くなる。すなわち、ノイズレベルが大きい画素ほどフィルタが強く作用することになる。したがって、本実施形態によれば、フィルタの強さを、推定される各画素のノイズレベルに応じて適応的に調整することができる。
【００２８】
このように、この方法では、緑画素が縦方向エッジ又は横方向エッジのいずれの上にあるかを判定し、この判定で求められたエッジ方向において近接する緑画素の値のみを用いてノイズ除去用のフィルタを構成する。この場合、線状エッジやルーフエッジ上の緑画素については、そのエッジ上にある隣の緑画素を用いてフィルタが構成されるので、エッジ情報がよく保存される。このように、本実施形態によれば、解像度に影響の強い緑画素についてエッジ情報の劣化の少ないノイズ除去を実現でき、ひいては画像全体についてエッジ鈍化を抑えつつノイズ除去を行うことができる。
【００２９】
なお、以上の例では、ラプラシアンフィルタを縦横の２方向について構成し、注目画素におけるエッジの方向性が縦であるか横であるかを判定したが、更に右下がり、右上がりなど斜め方向についてもラプラシアンフィルタを構成し、エッジの方向性を更にきめ細かく判定することも可能である。この場合、各方向のラプラシアンフィルタのうち出力値が最小となるものの方向をエッジ方向と判定し、この方向についてウィーナーフィルタを構成すればよい。
【００３０】
（２）赤画素及び青画素のノイズ除去
赤画素及び青画素は、緑画素に比べて輝度に対する影響が小さいので、解像度への影響は小さい。このため、赤画素及び青画素については、緑画素のようなエッジ方向の考慮は行わず、注目画素近傍のすべての同色画素を用いてウィーナーフィルタを構成する。
【００３１】
ここで、本実施形態では、赤画素や青画素の画素値そのものの代わりに、輝度を表す緑値との当該画素の画素値（赤値又は青値）との差（色差と呼ぶ）を用いてウィーナーフィルタを構成する。
【００３２】
赤画素のノイズ除去を例にとって説明すると、まず各赤画素ごとに、その周囲の緑画素の画素値に基づき補間処理を行い、その赤画素の位置における緑（Ｇ）値を求める。例えば、赤画素に隣接する４つの緑画素（図１参照）の画素値の平均を、その赤画素の緑値とするなどの方法を用いればよい。
【００３３】
図４に示すように、注目する赤画素Ｒ３についてのウィーナーフィルタは、Ｒ１〜Ｒ５の赤画素に基づき構成する。ここで、補間処理で求めた各赤画素Ｒ１〜Ｒ５の位置における緑値をそれぞれｇ１，ｇ２，・・・ｇ５と表すと、本実施形態では、次式を用いて注目画素Ｒ３における色差の平均Ａｖｅと分散Ｖａｒを算出する。
【００３４】
【数６】

注目画素Ｒ３についてのウィーナーフィルタは次式によって表される。
【００３５】
【数７】
R3'-g3 = Ave +((R3-g3)-Ave)*(Var-Noise)/Var ・・・（９）
なお、Ｒ３’はウィーナーフィルタの出力であり、注目画素Ｒ３におけるノイズが除去された画素値を表す。また、Ｎｏｉｓｅはセンサ特性等より求める固定値である。
【００３６】
青画素についてのノイズ除去は、以上説明した赤画素の場合と同様に行えばよい。
【００３７】
以上説明したように、本実施形態では、赤画素及び青画素については、その画素位置での緑値との色差を用い、注目画素近傍のすべての同色画素の情報を用いてノイズ除去処理を行うため、エッジ方向の判定を行わなくてよい。したがって、本実施形態では、赤画素及び青画素については時間の掛かる条件判定の処理を行わず、画素値によるノイズレベルの計算も簡便化していることで、高速処理を実現することもできる。
【００３８】
このような処理により、色ノイズに大きな影響を与える赤画素及び青画素についてのノイズ除去を少ない演算量で実現することができる。
【００３９】
以上、本発明に係るノイズ除去方法の好適な実施形態を説明した。以上説明したように、本実施形態によれば、解像度に影響の強い緑画素についてはエッジ方向を考慮することによりエッジ鈍化を抑制しつつノイズを除去することができ、解像度よりもむしろ色ノイズへの影響が問題となる赤画素及び青画素については少ない演算量でノイズ除去を実現することができる。
【００４０】
また、上記実施形態では、ノイズ除去にウィーナーフィルタを用いることにより、画像各部ごとにそのノイズレベルに合わせて適応的にノイズ除去（フィルタリング）を行うことができる。また、ウィーナーフィルタで用いるノイズレベルを、注目画素の画素値（平均値）から推定するので、画素値に応じてノイズ量が変わるというＣＣＤの性質を考慮した、適切なノイズ除去を実現することができる。
【００４１】
なお、例示したウィーナーフィルタは、ノイズ除去用のフィルタとして最も好適なものの一つであるが、これ以外のフィルタももちろん利用可能である。例えば、平均値フィルタやメディアンフィルタなどを用いることもできる。例えば緑画素の場合は、求めたエッジ方向についてそれらフィルタを構成すればよい。このように、ウィーナーフィルタ以外のフィルタを用いる場合、ウィーナーフィルタの特徴であるノイズレベルに応じた適応的なフィルタリング作用を得ることはできないが、線状エッジやルーフエッジなどのエッジの鈍化の抑制にはある程度の効果を得ることができる。
【００４２】
また、上記実施形態では、緑画素についてのみエッジの方向性を考慮した処理を行ったが、赤画素や青画素についても緑画素と同様エッジ方向性を考慮した処理を行うことも可能である。
【００４３】
また、上記実施形態では、ベイヤータイプの色フィルタを持つＣＣＤを例にとって説明したが、緑画素の配列パターンについてはインタライン方式の色フィルタはベイヤータイプと同じなので、上記実施形態で示した方法は緑画素についてはインタライン方式のＣＣＤにも適用可能である。
【００４４】
また、上記実施形態では、固体カラー撮像デバイスとしてＣＣＤを例にとって説明したが、明らかなように上述の方法はＣＣＤ以外の撮像デバイスにも適用可能であり、同様の効果を得ることができる。
【図面の簡単な説明】
【図１】ベイヤータイプの色フィルタアレイにおける各色の配列パターンを示す図である。
【図２】緑画素のノイズ除去方法の説明のために、ベイヤータイプの色フィルタアレイのうち緑画素の配列を示した図である。
【図３】ノイズレベル（Noise）と画素値（Ave）との関数Ｆの一例を示すグラフである。
【図４】赤画素のノイズ除去方法の説明のために、ベイヤータイプの色フィルタアレイのうち緑画素の配列を示した図である。
【符号の説明】
Ｒ，Ｒ１〜Ｒ５赤画素、Ｇ，Ｇ１〜Ｇ５緑画素、Ｂ青画素。

Claims

ベイヤータイプの色フィルタを持つ固体カラー撮像デバイスにより得られた画像のノイズを除去する方法であって、
緑画素については、当該画素とその近傍の緑画素とに基づき当該画素が前記画像のどの方向のエッジ上にあるかを判定し、当該画素の画素値 G3 と、前記判定において求められたエッジの方向における緑画素の画素値と、の平均 Ave1 及び分散 Var1 を求め、前記平均 Ave1 に基づき当該画素のノイズレベル Noise1 を推定し、前記平均 Ave1 及び分散 Var1 と前記ノイズレベル Noise1 とを用いて、前記判定において求められたエッジの方向について式 G3' = Av1e+(G3-Ave1)*(Var1-Noise1)/Var1 で定義されるウィーナーフィルタを構成し、
このウィーナーフィルタにより当該画素のノイズを除去した値 G3' を計算し、
赤画素及び青画素については、各画素ごとに近傍の緑画素の画素値の補間により当該画素位置における緑値 g3 を求めると共にこの緑値 g3 と当該画素自体の画素値 P3 とに基づき当該画素における色差を求め、当該画素及びこれに近接する同色画素の前記色差の平均 Ave2 及び分散 Var2 を求め、前記平均 Ave2 及び分散 Var2 と所定のノイズレベル Noise2 とを用いて式 P3'-g3 = Ave2 +((P3-g3)-Ave2)*(Var2-Noise2)/Var2 で定義されるウィーナーフィルタを構成し、このウィーナーフィルタにより当該画素のノイズを除去した値 P3' を計算する方法。