JP2007172170A - 画像処理回路及び画像処理方法 - Google Patents

Abstract

【課題】解像感を低下させることなくノイズを低減することができる画像処理回路を提供すること。
【解決手段】空間フィルタ１１は、処理対象画素を含む画素Ｐ００〜Ｐ２２の画素値と、フィルタ係数Ｋ００〜Ｋ２２とに基づいてフィルタ値Ｆ１１を生成する。第１比較器１２と第１選択回路１３と第２比較器１４と第２選択回路１５とにより構成される補正手段は、フィルタ値Ｆ１１を上限値Ｖｈｉから下限値Ｖｌｏｗまでの間の値に補正する。この補正された値により処理対象である画素Ｐ１１の元の画素値を補正する。
【選択図】図１

Description

本発明は、画像処理回路及び画像処理方法に係り、詳しくは解像感（解像に対する視覚の感覚）を低下させることなくノイズを低減する回路及び方法に関するものである。
近年、撮像素子の高画素化により、個々の画素の面積が小さくなり、信号量（電圧，電流）が小さくなってＳ／Ｎ比が低下している。このため、元画像データの解像度を低下させることなくノイズを低減することが求められている。

従来、画像データに対して、処理対象の画素と、その画素の周辺の画素とを用いた各種の空間フィルタにより、画像データに含まれるノイズを除去する方法が用いられている（例えば、特許文献１参照）。

例えば、汎用空間フィルタは、図６（ａ）に示すように、処理対象の画素Ｐ１１を中心とする所定範囲（３×３）内の画素の画素値と、図６（ｂ）に示すように、対応する大きさの係数テーブルを用い、画素Ｐ００〜Ｐ２２の画素値にフィルタ係数Ｋ００〜Ｋ２２をそれぞれ乗算し各乗算結果に基づいてフィルタ値を算出する。そして、フィルタ値に基づいて、画素Ｐ１１の画素値を補正する。補正方法には、画素Ｐ１１の画素値をフィルタ値と置き換える方法、画素Ｐ１１の画素値にフィルタ値を加算する方法、等がある。係数テーブルの各係数は、補正方法に応じて設定されている。

また、メディアンフィルタは、処理対象の画素Ｐ１１を中心とする所定範囲（３×３，５×５，…）内の各画素の画素値の大小を相互に比較し、昇順（又は降順）において中央値の画素値を対象画素Ｐ１１の画素値とするものである。
特開２００３−２５９１２６号公報（第１図）

ところが、上記処理方法では、算出したフィルタ値と元の画素値との差が大きい場合であっても画素値をフィルタ値で置き換えてしまうため、画像の境界などにおいて元の画像が損なわれてしまい、画像がぼけるなどの解像度が低下した様な印象を受けるといった、解像感を低下させる虞があった。

本発明は上記問題点を解決するためになされたものであって、その目的は、解像感を低下させることなくノイズを低減することができる画像処理回路及び画像処理方法を提供することにある。

上記目的を達成するため、請求項１，４に記載の発明によれば、空間フィルタにより、画像を構成する各画素のうちの処理対象画素の画素値及び処理対象画素の近傍に位置する複数の画素の画素値とフィルタ係数とに基づいて処理対象画素に対するフィルタ値が生成され、補正手段により、フィルタ値と第１範囲値、フィルタ値と第２範囲値とがそれぞれ比較され、該比較結果に基づいて、フィルタ値が第１範囲値から第２範囲値までの間の値に補正され、その補正手段の出力値に基づいて処理対象画素の画素値が補正される。これにより、ノイズが除去された補正後の画素値と元の画素値との差が大きくなることを防止され、解像感の低下が抑制される。

請求項２，５に記載の発明によれば、加算器により、補正手段の出力値を処理対象画素の画素値に加算して処理対象画素に対する補正後の画素値が生成される。
請求項３，６に記載の発明によれば、第２の空間フィルタにより、画像を構成する各画素のうちの処理対象画素の画素値及び処理対象画素の近傍に位置する複数の画素の画素値と第２のフィルタ係数とに基づいて処理対象画素に対する第２フィルタ値が生成され、算出手段により、第２フィルタ値に基づいて第１範囲値及び第２範囲値が算出される。このため、処理対象画素及び処理対象画素の近傍に位置する複数の画素の画素値により、第１範囲値と第２範囲値とが動的に設定され、有意味な画像部分で元の画像情報が保存され、解像感の低下が抑制される。

本発明によれば、解像感を低下させることなくノイズを低減することが可能な画像処理回路及び画像処理方法を提供することができる。

（第一実施形態）
以下、本発明を具体化した第一実施形態を図面に従って説明する。
図１に示すように、画像処理回路は空間フィルタ１１を備え、該空間フィルタ１１には図２（ａ）に示す所定数（図において３×３）の画素Ｐ００〜Ｐ２２の画素値と、図２（ｂ）に示す係数テーブルＴ１のフィルタ係数Ｋ００〜Ｋ２２が入力される。尚、図２（ａ）において、中心の画素Ｐ１１が処理対象画素である。係数テーブルＴ１は、例えばＲＯＭ等の記憶装置に記憶されており、各フィルタ係数Ｋ００〜Ｋ２２は正又は負の値に設定されている。

空間フィルタ１１は、入力画素数に対応する９個の乗算器１１ａと１つの加算器１１ｂとを備える。各乗算器１１ａは、位置的に対応関係にある画素の画素値にフィルタ係数を乗算し、その演算結果を出力する。例えば、図１において左端の乗算器１１ａは、図２（ａ）（ｂ）の左上の画素Ｐ００の画素値にフィルタ係数Ｋ００を乗算する。加算器１１ｂは、各乗算器１１ａの演算結果の総和値を、画素Ｐ１１に対するフィルタ値Ｆ１１として出力する。このフィルタ値Ｆ１１は、第１比較器１２と第１選択回路１３に入力される。

第１比較器１２には、予め設定され記憶装置に記憶された第１範囲値としての上限値Ｖｈｉが入力される。上限値Ｖｈｉは正の値に設定されている。第１比較器１２は、フィルタ値Ｆ１１と上限値Ｖｈｉとを比較してフィルタ値Ｆ１１が上限値Ｖｈｉより大きいか否かに応じた信号を出力する。

第１選択回路１３には、フィルタ値Ｆ１１と上限値Ｖｈｉとが入力される。第１選択回路１３は、第１比較器１２の比較結果に基づいてフィルタ値Ｆ１１又は上限値Ｖｈｉを選択して出力する。詳しくは、第１選択回路１３は、フィルタ値Ｆ１１が上限値Ｖｈｉより大きい場合には上限値Ｖｈｉを出力し、フィルタ値Ｆ１１が上限値Ｖｈｉより大きくない場合にフィルタ値Ｆ１１を出力する。第１選択回路１３の出力値は第２比較器１４と第２選択回路１５に入力される。

第２比較器１４には、予め設定され記憶装置に記憶された第２範囲値としての下限値Ｖｌｏｗが入力される。下限値Ｖｌｏｗは負の値に設定されている。第２比較器１４は、第１選択回路１３の出力値と下限値Ｖｌｏｗとを比較して出力値が下限値Ｖｌｏｗより小さいか否かに応じた信号を出力する。

第２選択回路１５には、第１選択回路１３の出力値と下限値Ｖｌｏｗとが入力される。第２選択回路１５は、第２比較器１４の比較結果に基づいて第１選択回路１３の出力値又は下限値Ｖｌｏｗを選択して出力する。詳しくは、第２選択回路１５は、第１選択回路１３の出力値が下限値Ｖｌｏｗより小さい場合には下限値Ｖｌｏｗを出力し、第１選択回路１３の出力値が下限値Ｖｌｏｗより小さくない場合には出力値を出力する。

即ち、第１比較器１２と第２比較器１４とにより、フィルタ値Ｆ１１と上限値Ｖｈｉと下限値Ｖｌｏｗの大小関係が比較される。そして、第１選択回路１３と第２選択回路１５とにより、フィルタ値Ｆ１１が上限値Ｖｈｉより大きい場合には上限値Ｖｈｉが、フィルタ値Ｆ１１が下限値Ｖｌｏｗより小さい場合には下限値Ｖｌｏｗが、上記以外の場合にはフィルタ値Ｆ１１が選択され出力される。つまり、第１比較器１２と第１選択回路１３と第２比較器１４と第２選択回路１５は、フィルタ値Ｆ１１を上限値Ｖｈｉと下限値Ｖｌｏｗとの間の値に補正する補正回路（補正手段）を構成する。

第２選択回路１５の出力値は加算器１６に入力される。加算器１６には画素Ｐ１１の画素値が入力される。加算器１６は、画素Ｐ１１の画素値に第２選択回路１５の出力値を加算して生成した画素値Ｐｄを出力する。この画素値Ｐｄは、処理対象の画素Ｐ１１の画素値として格納される。

上記のように生成された画素値Ｐｄは、元の画素Ｐ１１の画素値と比べて、空間フィルタ１１によりノイズが低減されている。そして、画素値Ｐｄと元の画素Ｐ１１の画素値との差は、正側で上限値Ｖｈｉまで、負側で下限値Ｖｌｏｗまでとなる。このため、画素値Ｐｄと元の画素Ｐ１１の画素値との差が大きくなるのが妨げられ、画像の境界などにおいて元の画像を損なうことが低減され、画像がぼけるなどの解像感の低下が抑制される。

以上記述したように、本実施形態によれば、以下の効果を奏する。
（１）空間フィルタ１１は、処理対象画素を含む画素Ｐ００〜Ｐ２２の画素値と、フィルタ係数Ｋ００〜Ｋ２２とに基づいてフィルタ値Ｆ１１を生成する。第１比較器１２と第１選択回路１３と第２比較器１４と第２選択回路１５とにより構成される補正手段は、フィルタ値Ｆ１１を上限値Ｖｈｉから下限値Ｖｌｏｗまでの間の値に補正する。この補正された値により処理対象である画素Ｐ１１の元の画素値を補正するようにした。この結果、補正後の画素値のノイズが除去され、この補正後の画素値と元の画素値との差が大きくなることを防止出来る。このため、解像感の低下を抑制することができる。

（２）処置対象である画素Ｐ１１の画素値に補正後のフィルタ値を加算して新たな画素値を生成する画像処理回路において、ノイズを除去するとともに、解像感の低下を抑制することができる。

（第二実施形態）
以下、本発明を具体化した第二実施形態を図面に従って説明する。
尚、説明の便宜上、第一実施形態と同様の構成については同一の符号を付してその説明を一部省略する。

図３に示すように、画像処理回路は、第１の空間フィルタ１１と第２の空間フィルタ２１とを備えている。第１の空間フィルタ１１は、第一実施形態と同様に、図４（ａ）に示す所定数（図において３×３）の画素Ｐ００〜Ｐ２２の画素値と、図４（ｂ）に示す第１係数テーブルＴ１のフィルタ係数とに基づいて第１フィルタ値Ｆ１１を生成する。

第２の空間フィルタ２１には、第１の空間フィルタ１１と同様に画素Ｐ００〜Ｐ２２の画素値が入力されるとともに、図４（ｃ）に示す第２係数テーブルＴ２のフィルタ係数Ｌ００〜Ｌ２２が入力される。第２係数テーブルＴ２は、例えばＲＯＭ等の記憶装置に記憶されており、各フィルタ係数Ｌ００〜Ｌ２２は正又は負の値に設定されている。

第２の空間フィルタ２１は、入力画素数に対応する９個の乗算器２１ａと１つの加算器２１ｂとを備える。各乗算器２１ａは、位置的に対応関係にある画素の画素値にフィルタ係数を乗算し、その演算結果を出力する。例えば、図３において左端の乗算器２１ａは、図４（ａ）（ｃ）の左上の画素Ｐ００の画素値にフィルタ係数Ｌ００を乗算する。加算器２１ｂは、各乗算器２１ａの演算結果の総和値を、画素Ｐ１１に対する第２フィルタ値Ｆ２１として出力する。この第２フィルタ値Ｆ２１は、絶対値演算回路２２に入力される。

算出手段としての絶対値演算回路２２は、第２フィルタ値Ｆ２１の絶対値を算出し、この絶対値を第１範囲値である上限値Ｖｈｉとして第１比較器１２と第１選択回路１３と乗算器２３とに出力する。

算出手段としての乗算器２３は負の値を持つ下限値を生成するために設けられ、絶対値演算回路２２の出力値に負の固定値「−１」を乗算して第２範囲値としての下限値Ｖｌｏｗを生成し、この下限値Ｖｌｏｗを第２比較器１４に出力する。

即ち、本実施形態の画像処理回路は、第１フィルタ値Ｆ１１に対する上限値及び下限値を、各画素Ｐ００〜Ｐ２２の画素値と第２係数テーブルＴ２のフィルタ係数Ｌ００〜Ｌ２２とに基づいて算出する。

第２係数テーブルＴ２のフィルタ係数Ｌ００〜Ｌ２２は、処理対象画素Ｐ１１の周辺画像部分に画像の境界などの有意味な画像情報が含まれる場合に第２フィルタ値Ｆ２１が小さく、処理対象の画素を含む各画素Ｐ００〜Ｐ２２の画素値の相互差が小さい場合、つまり平坦な特徴のない画像部分では第２フィルタ値Ｆ２１が大きくなるように設定されている。

従って、画像処理回路は、第１フィルタ値Ｆ１１の変動範囲、つまり第１フィルタ値Ｆ１１の上限値及び下限値を処理対象の画素Ｐ１１及びその周辺画素の画素値に基づいて動的に変更する。このため、有意味な画像部分では元の画像情報が保持され、平坦な特徴のない画像部分ではよりノイズが除去される。

以上記述したように、本実施形態によれば、第一実施形態の効果に加え、以下の効果を奏する。
（１）第２の空間フィルタ２１は、処理対象の画素を含む画素Ｐ００〜Ｐ２２の画素値と、第２のフィルタ係数Ｌ００〜Ｌ２２とに基づいて、処理対象の画素Ｐ１１に対する第２フィルタ値Ｆ２１を生成する。絶対値演算回路２２は第２フィルタ値Ｆ２１に基づいて上限値Ｖｈｉを算出し、乗算器２３は上限値Ｖｈｉに基づいて下限値Ｖｌｏｗを生成する。この結果、画素Ｐ００〜Ｐ２２の画素値に応じて上限値Ｖｈｉ及び下限値Ｖｌｏｗを動的に設定し、有意味な画像部分で元の画像情報を保持して解像感の低下を抑制することができる。

尚、上記各実施形態は、以下の態様で実施してもよい。
・上記各実施形態は３×３画素に対する空間フィルタ１１，２１を示したが、例えば５×５，７×７等のように、処理対象の画素に対する周辺画素の数を適宜変更してもよい。

・上記第二実施形態では、算出手段として絶対値演算回路２２と乗算器２３とを用いて上限値及び下限値を設定したが、図５に示すように、ルックアップテーブル（ＬＵＴ）３１と乗算器２３とを用いて上限値及び下限値を設定するようにしてもよい。

・上記第二実施形態では、第１の空間フィルタ１１の入力画素数と第２の空間フィルタ２１の入力画素数とが同じであるが、異なる入力画素数を設定してもよい。
・上記第二実施形態では、上限値の符号を反転して下限値を設定したが、例えば乗算器２３に入力する固定値を「−１」以外に設定する、第３の空間フィルタを用いる、参照するＬＵＴを変更する等のように、上限値と下限値とを別々に設定するようにしてもよい。

・上記各実施形態では、汎用空間フィルタである空間フィルタ１１，２１を用いた画像処理回路に具体化したが、メディアンフィルタ等の他の空間フィルタを用いた画像処理回路に具体化してもよい。

・上記各実施形態では、空間フィルタ１１により生成したフィルタ値を元の画素Ｐ１１の画素値に加算して生成した画素値Ｐｄを画素Ｐ１１に対する新たな画素値とするようにしたが、空間フィルタにより生成したフィルタ値、詳しくは第２選択回路の出力値を処理対象の画素Ｐ１１の元の画素値と置き換える画像処理回路に具体化してもよい。この場合、第１比較器は元の画素値に上限値を加算した値とフィルタ値とを比較し、第２比較器は元の画素値に下限値を加算した値と第１選択回路の出力値とを比較するように構成すればよい。

第一実施形態の画像処理回路の回路図である。 （ａ）は入力画像データ、（ｂ）は係数テーブルの説明図である。 第二実施形態の画像処理回路の回路図である。 （ａ）は入力画像データ、（ｂ）（ｃ）は係数テーブルの説明図である。 別の画像処理回路の回路図である。 （ａ）は入力画像データ、（ｂ）は係数テーブルの説明図である。

符号の説明

Ｐｄ…画素値
Ｆ１１ フィルタ値（第１フィルタ値）
Ｆ２１ 第２フィルタ値
Ｋ００〜Ｋ２２ フィルタ係数（第１フィルタ係数）
Ｌ００〜Ｌ２２ 第２フィルタ係数
Ｐ００〜Ｐ２２ 画素
１１ 空間フィルタ（第１の空間フィルタ）
１２ 第１比較器
１３ 第１選択回路
１４ 第２比較器
１５ 第２選択回路
１６ 加算器
２１ 第２の空間フィルタ
２２ 絶対値演算回路
２３ 乗算器

Claims (6)

1. 画像に含まれるノイズを除去するために、前記画像を構成する各画素の値をそれぞれ補正する画像処理回路において、
   前記画像を構成する各画素のうちの処理対象画素の画素値及び前記処理対象画素の近傍に位置する複数の画素の画素値とフィルタ係数とに基づいて前記処理対象画素に対するフィルタ値を生成する空間フィルタと、
   前記フィルタ値と第１範囲値、前記フィルタ値と第２範囲値とをそれぞれ比較し、該比較結果に基づいて、前記フィルタ値を前記第１範囲値から前記第２範囲値までの間の値に補正する補正手段と、
   を備え、
   前記補正手段の出力値に基づいて前記処理対象画素の画素値を補正することを特徴とする画像処理回路。
2. 前記補正手段の出力値を前記処理対象画素の画素値に加算して前記処理対象画素に対する補正後の画素値を生成する加算器を備えたことを特徴とする請求項１記載の画像処理回路。
3. 前記画像を構成する各画素のうちの処理対象画素の画素値及び前記処理対象画素の近傍に位置する複数の画素の画素値と第２のフィルタ係数とに基づいて前記処理対象画素に対する第２フィルタ値を生成する第２の空間フィルタと、
   前記第２フィルタ値に基づいて前記第１範囲値及び第２範囲値を算出する算出手段と、
   を備えたことを特徴とする請求項１又は請求項２記載の画像処理回路。
4. 画像に含まれるノイズを除去するために、前記画像を構成する各画素の値をそれぞれ補正する画像処理方法において、
   空間フィルタにより前記画像を構成する各画素のうちの処理対象画素の画素値及び前記処理対象画素の近傍に位置する複数の画素の画素値とフィルタ係数とに基づいて前記処理対象画素に対するフィルタ値を生成し、補正手段により前記フィルタ値と第１範囲値、前記フィルタ値と第２範囲値とをそれぞれ比較し、該比較結果に基づいて、前記フィルタ値を前記第１範囲値から前記第２範囲値までの間の値に補正し、前記補正手段の出力値に基づいて前記処理対象画素の画素値を補正することを特徴とする画像処理方法。
5. 前記補正手段の出力値を前記処理対象画素の画素値に加算して前記処理対象画素に対する補正後の画素値を生成することを特徴とする請求項４記載の画像処理方法。
6. 第２の空間フィルタにより前記画像を構成する各画素のうちの処理対象画素の画素値及び前記処理対象画素の近傍に位置する複数の画素の画素値と第２のフィルタ係数とに基づいて前記処理対象画素に対する第２フィルタ値を生成し、算出手段により前記第２フィルタ値に基づいて前記第１範囲値及び第２範囲値を算出することを特徴とする請求項４又は請求項５記載の画像処理方法。

Images