JP4288623B2 - 撮像装置、ノイズ除去装置、ノイズ除去方法、ノイズ除去方法のプログラム及びノイズ除去方法のプログラムを記録した記録媒体 - Google Patents

Description

本発明は、撮像装置、ノイズ除去装置、ノイズ除去方法、ノイズ除去方法のプログラム及びノイズ除去方法のプログラムを記録した記録媒体に関し、例えばデジタルスチルカメラに適用することができる。本発明は、複数のεフィルタの出力値と、注目画素の画素値を重み付け加算して画像データのノイズを抑圧することにより、簡易な処理、構成で、バイラテラルフィルタと同程度のノイズ抑圧性能を確保することができるようにする。

従来、デジタルスチルカメラ等の画像処理では、例えば特開２００４−１７２７２６号公報に開示されているように、条件付き平均値フィルタであるεフィルタを用いてノイズを抑圧している。

ここでεフィルタは、エッジ成分を保存して平均値を出力するフィルタである。εフィルタは、注目画素を中心とした処理領域内の他の画素毎に、注目画素の画素値に対する画素値の差分絶対値を計算する。εフィルタは、この差分絶対値が所定のしきい値以下の画素を選択して平均値化の処理を実行し、計算された平均値を注目画素の画素値に設定する。従って注目画素の座標が(X,Y) 、注目画素の画素値がIN(X,Y) であって、処理領域内の他の画素の画素値がIN(PX,PY) である場合、εフィルタは、画素値IN(X,Y) と画素値IN(PX,PY) との差分絶対値がしきい値Ｔ以下の画素を選択し、このしきい値Ｔ以下の画素がｍ個の場合、このｍ個の画素と注目画素とで画素値を平均値化する。なお以下において、タップ数がＮ、しきい値がＴのεフィルタをε（N,T）と表記し、εフィルタからの出力値をε(N,T)と表記する。また処理領域における他の画素の座標を(PX,PY) と表記する。

このようなノイズ除去に関して、例えば特開２００６−１８０２６８号公報には、εフィルタに代えてバイラテラルフィルタを用いる方法が提案されている。ここでバイラテラルフィルタは、条件付き平均値フィルタの１つであり、注目画素からの距離と、注目画素の画素値に対する画素値の差分値とにより、それぞれ係数Ｗｓ、Ｗｅを計算し、この係数Ｗｓ、Ｗｅを用いた平均値化処理によりエッジ成分を保存してノイズを抑圧する。

すなわち図２５は、バイラテラルフィルタを示すブロック図である。バイラテラルフィルタ１は、図２６に示すように、例えばラスタ走査の順序で順次注目画素P(X,Y) を走査させ、この注目画素P(X,Y) の座標(X,Y) 及び画素値IN(X,Y) 、注目画素P(X,Y) を中心にした処理領域内の他の画素P(PX,PY) の画素値IN(PX,PY) を順次入力する。なおここでこの図２６において、処理領域は、垂直方向及び水平方向に２Ｎ＋１画素の範囲であり、Ｎは整数である。但し、処理領域は、垂直方向と水平方向とで大きさが異なるように設定される場合もある。

バイラテラルフィルタ１は（図２５）、注目画素P(X,Y) の座標(X,Y) を係数演算部２の距離演算部３に入力し、また注目画素P(X,Y) の画素値IN(X,Y) 、処理領域内の他の画素P(PX,PY) の画素値IN(PX,PY) をエッジ演算部４に入力する。

距離演算部３は、注目画素P(X,Y) の座標(X,Y) を用いて次式の演算処理を実行し、処理領域内の各画素P(X,Y) 、P(PX,PY) について、ガウス曲線の特性により注目画素P(X,Y) からの距離が大きくなるに従って値が小さくなる距離係数Ｗｓ（Ｗｓ(X,Y,PX,PY) ）を生成する。なおここでσｓは、ノイズ除去の強さを決めるパラメータである。

エッジ演算部４は、画素値IN(X,Y) 、画素値IN(PX,PY) を用いて次式の演算処理を実行し、処理領域内の各画素P(X,Y) 、P(PX,PY) について、ガウス曲線の特性により注目画素P(X,Y) の画素値IN(X,Y) から画素値が遠ざかるに従って値が小さくなるエッジ係数Ｗｅ（Ｗｅ(X,Y,PX,PY) ）を生成する。なおここでσｅは、ノイズ除去の強さを決めるパラメータである。

乗算部５は、次式の演算処理により、距離係数Ｗｓ（Ｗｓ(X,Y,PX,PY) ）と、エッジ係数Ｗｅ（Ｗｅ(X,Y,PX,PY) ）とを乗算し、重み付け係数Ｗ（Ｗ(X,Y,PX,PY) ）を計算する。

フィルタ部６は、次式の演算処理を実行し、重み付け係数Ｗを用いて処理領域内の各画素P(X,Y) 、P(PX,PY) の画素値IN(X,Y) 、IN(PX,PY) を重み付けして平均値化の処理を実行する。バイラテラルフィルタ１は、このフィルタ部６の演算処理結果OUT(X,Y)を出力する。

このバイラテラルフィルタ１を用いたノイズの除去では、εフィルタを使用する場合に比してエッジ成分を保存して滑らかにノイズを抑圧することができる。従ってεフィルタを使用する場合に比して画質を向上することができる。しかしながらバイラテラルフィルタ１では、（１）式、（２）式で表されるように、ｅｘｐにより表される指数関数の演算処理を、処理領域の全ての画素で実行することが必要であり、結局、１画素の画素値の計算に、（２Ｎ＋１）×（２Ｎ＋１）×２回、指数関数の演算処理が必要になる。従って、演算処理が膨大になり、処理が煩雑な問題がある。

またバイラテラルフィルタ１では、注目画素毎に重み付け係数Ｗが異なり、（４）式における分母の計算を十分な精度を確保して注目画素毎に実行することが必要になる。この場合に、割り算器、ルックアップテーブル等でフィルタ部を構成したのでは、構成が煩雑になる問題がある。またソフトウエアの処理によりフィルタ部を構成したのでは、割り算を必要とする計算量が膨大になる問題がある。
特開２００４−１７２７２６号公報 特開２００６−１８０２６８号公報

本発明は以上の点を考慮してなされたもので、簡易な処理、構成で、バイラテラルフィルタと同程度のノイズ抑圧性能を確保することができる撮像装置、ノイズ除去装置、ノイズ除去方法、ノイズ除去方法のプログラム及びノイズ除去方法のプログラムを記録した記録媒体を提案しようとするものである。

上記の課題を解決するため請求項１の発明は、撮像装置に適用して、撮像結果を取得して画像データを出力する撮像部と、前記画像データのノイズを抑圧して出力データを出力するノイズ抑圧部とを有し、前記ノイズ抑圧部は、前記画像データを処理する第１のεフィルタと、前記第１のεフィルタとタップ数が異なり、前記第１のεフィルタとしきい値が等しく、前記画像データを処理する第２のεフィルタと、前記第１のεフィルタとタップ数が等しく、前記第１のεフィルタとしきい値が異なり、前記画像データを処理する第３のεフィルタと、前記第２のεフィルタとタップ数が等しく、前記第３のεフィルタとしきい値が等しく、前記画像データを処理する第４のεフィルタと、前記第１のεフィルタの出力値、前記第２のεフィルタの出力値、前記第３のεフィルタの出力値、前記第４のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して前記出力データを出力する重み付け加算部とを有するようにする。

また請求項４の発明は、撮像装置に適用して、撮像結果を取得して画像データを出力する撮像部と、前記画像データのノイズを抑圧して出力データを出力するノイズ抑圧部とを有し、前記ノイズ抑圧部は、前記画像データを処理する第１のεフィルタと、前記第１のεフィルタとタップ数が異なり、前記第１のεフィルタとしきい値が等しく、前記画像データを処理する第２のεフィルタと、前記第１のεフィルタとタップ数が等しく、前記第１のεフィルタとしきい値が異なり、前記画像データを処理する第３のεフィルタと、前記第１のεフィルタの出力値、前記第２のεフィルタの出力値、前記第３のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して前記出力データを出力する重み付け加算部とを有するようにする。

また請求項５の発明は、撮像装置に適用して、撮像結果を取得して画像データを出力する撮像部と、前記画像データのノイズを抑圧して出力データを出力するノイズ抑圧部とを有し、前記ノイズ抑圧部は、前記画像データを処理する第１のεフィルタと、前記第１のεフィルタとしきい値が異なり、前記第１のεフィルタとタップ数が等しく、前記画像データを処理する第２のεフィルタと、前記第２のεフィルタとしきい値が等しく、前記第１のεフィルタとタップ数が異なり、前記画像データを処理する第３のεフィルタと、前記第１のεフィルタの出力値、前記第２のεフィルタの出力値、前記第３のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して前記出力データを出力する重み付け加算部とを有するようにする。

また請求項６の発明は、撮像装置に適用して、撮像結果を取得して画像データを出力する撮像部と、前記画像データのノイズを抑圧して出力データを出力するノイズ抑圧部とを有し、前記ノイズ抑圧部は、前記画像データを処理する第１のεフィルタと、前記第１のεフィルタとタップ数が異なり、前記第１のεフィルタとしきい値が等しく、前記画像データを処理する第２のεフィルタと、前記第１のεフィルタの出力値、前記第２のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して前記出力データを出力する重み付け加算部とを有するようにする。また請求項７の発明は、撮像装置に適用して、撮像結果を取得して画像データを出力する撮像部と、前記画像データのノイズを抑圧して出力データを出力するノイズ抑圧部とを有し、前記ノイズ抑圧部は、前記画像データを処理する第１のεフィルタと、前記第１のεフィルタとタップ数が異なり、前記第１のεフィルタとしきい値が異なり、前記画像データを処理する第２のεフィルタと、前記第１のεフィルタの出力値、前記第２のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して前記出力データを出力する重み付け加算部とを有するようにする。

また請求項８の発明は、ノイズ除去装置に適用して、画像データを処理する第１のεフィルタと、前記第１のεフィルタとタップ数が異なり、前記第１のεフィルタとしきい値が等しく、前記画像データを処理する第２のεフィルタと、前記第１のεフィルタとタップ数が等しく、前記第１のεフィルタとしきい値が異なり、前記画像データを処理する第３のεフィルタと、前記第２のεフィルタとタップ数が等しく、前記第３のεフィルタとしきい値が等しく、前記画像データを処理する第４のεフィルタと、前記第１のεフィルタの出力値、前記第２のεフィルタの出力値、前記第３のεフィルタの出力値、前記第４のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して前記出力データを出力する重み付け加算部とを有するようにする。

また請求項９の発明は、ノイズ除去方法に適用して、第１のεフィルタにより画像データを処理する第１の処理ステップと、前記第１のεフィルタとタップ数が異なり、前記第１のεフィルタとしきい値が等しい第２のεフィルタにより前記画像データを処理する第２の処理ステップと、前記第１のεフィルタとタップ数が等しく、前記第１のεフィルタとしきい値が異なる第３のεフィルタにより前記画像データを処理する第３の処理ステップと、前記第２のεフィルタとタップ数が等しく、前記第３のεフィルタとしきい値が等しい第４のεフィルタにより前記画像データを処理する第４の処理ステップと、前記第１のεフィルタの出力値、前記第２のεフィルタの出力値、前記第３のεフィルタの出力値、前記第４のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して出力データを出力する重み付け加算ステップとを有するようにする。

また請求項１０の発明は、ノイズ除去方法のプログラムに適用して、第１のεフィルタにより画像データを処理する第１の処理ステップと、前記第１のεフィルタとタップ数が異なり、前記第１のεフィルタとしきい値が等しい第２のεフィルタにより前記画像データを処理する第２の処理ステップと、前記第１のεフィルタとタップ数が等しく、前記第１のεフィルタとしきい値が異なる第３のεフィルタにより前記画像データを処理する第３の処理ステップと、前記第２のεフィルタとタップ数が等しく、前記第３のεフィルタとしきい値が等しい第４のεフィルタにより前記画像データを処理する第４の処理ステップと、前記第１のεフィルタの出力値、前記第２のεフィルタの出力値、前記第３のεフィルタの出力値、前記第４のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して出力データを出力する重み付け加算ステップとを有するようにする。

また請求項１１の発明は、画像データのノイズを除去するノイズ除去方法のプログラムを記録した記録媒体に適用して、前記ノイズ除去方法のプログラムは、第１のεフィルタにより前記画像データを処理する第１の処理ステップと、前記第１のεフィルタとタップ数が異なり、前記第１のεフィルタとしきい値が等しい第２のεフィルタにより前記画像データを処理する第２の処理ステップと、前記第１のεフィルタとタップ数が等しく、前記第１のεフィルタとしきい値が異なる第３のεフィルタにより前記画像データを処理する第３の処理ステップと、前記第２のεフィルタとタップ数が等しく、前記第３のεフィルタとしきい値が等しい第４のεフィルタにより前記画像データを処理する第４の処理ステップと、前記第１のεフィルタの出力値、前記第２のεフィルタの出力値、前記第３のεフィルタの出力値、前記第４のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して出力データを出力する重み付け加算ステップとを有するようにする。

請求項１、請求項４、請求項５、請求項６、請求項７、請求項８、請求項９、請求項１０、又は請求項１１の構成によれば、注目画素からの距離と、注目画素の画素値に対する画素値の差分値とに応じた重み付け加算処理により、ノイズ成分を抑圧することができ、簡易な処理、構成で、バイラテラルフィルタと同程度のノイズ抑圧性能を確保することができる。

本発明によれば、簡易な処理、構成で、バイラテラルフィルタと同程度のノイズ抑圧性能を確保することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図２は、本発明の実施例１のデジタルスチルカメラを示すブロック図である。このデジタルスチルカメラ１１において、撮像素子１３は、ＣＣＤ（Charge Coupled Device ）固体撮像素子、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor ）固体撮像素子等により構成される。撮像素子１３は、図示しないレンズユニットにより撮像面に形成された光学像を光電変換処理し、赤色、青色、緑色の画素値をベイヤー配列に対応する順序で順次出力する。

前処理部１４は、撮像素子１３の出力信号を相関二重サンプリング処理、自動利得調整処理、アナログディジタル変換処理し、ＲＡＷデータＤ１を出力する。

光学補正部１５は、例えばディジタルシグナルプロセッサにより構成され、この前処理部１４から出力されるＲＡＷデータＤ１を欠陥補正処理、ノイズ抑圧処理し、ＲＡＷデータＤ２を出力する。

画像処理部１６は、このＲＡＷデータＤ２に対してデモザイク処理、解像度変換処理、ガンマ補正処理、ホワイトバランス調整処理、画質補正処理等の画質補正処理を実行し、輝度信号及び色差信号の画像データに変換して出力する。このデジタルスチルカメラ１１は、この画像処理部１６で処理した画像データを図示しない表示装置で表示し、撮像結果のモニタ画像を表示する。

エンコーダ（ＥＮＣ）１７は、例えばＪＰＥＧ（Joint Photographic Experts Group ）等の静止画像の符号化方式により、画像処理部１６から出力される画像データをデータ圧縮して出力する。

インターフェース（ＩＦ）１８は、このエンコーダ１７の出力データ、又は光学補正部１５から出力されるＲＡＷデータＤ２を記録媒体１９に記録する。記録媒体１９は、この実施例ではメモリカードであり、インターフェース１８から出力される各種のデータを記録する。なお記録媒体１９は、メモリカードに限らず、光ディスク、磁気ディスク等、種々の記録媒体を広く適用することができる。

図３は、光学補正部１５のノイズ除去処理に関する構成を示すブロック図である。光学補正部１５は、前処理部１４から出力されるＲＡＷデータＤ１をラインバッファ２１を介して入力する。

周辺画素参照部２２は、それぞれ画像データＤ１を出力可能な複数のラインバッファの直列回路で構成され、バッファ２１から出力されるＲＡＷデータＤ１を順次入力して転送しながら、これら複数のラインバッファからＲＡＷデータＤ１を同時並列的に出力することにより、ＲＡＷデータＤ１により構成されるモザイク画像上に順次注目画素を設定し、この注目画素の画像データと対応する周辺画素の画像データとを順次出力する。

高域通過フィルタ２３は、周辺画素参照部２２から出力されるＲＡＷデータを帯域制限し、高域成分を選択的に出力する。

高域ノイズ除去部２４は、２次元のメディアンフィルタ等で構成され、高域通過フィルタ２３の出力データからノイズを抑圧して出力する。

低域通過フィルタ２５は、周辺画素参照部２２から出力されるＲＡＷデータを帯域制限し、低域成分の画像データＤ３を出力する。

低域ノイズ除去部２６は、低域通過フィルタ２５の出力データＤ３からノイズを抑圧し、画像データＤ４を出力する。

画像合成部２８は、高域ノイズ除去部２４の出力データ、低域ノイズ除去部２６の出力データＤ４を加算し、ノイズを抑圧したＲＡＷデータＤ２を出力する。

図１は、低域ノイズ除去部２６の構成を詳細に示すブロック図である。この低域ノイズ除去部２６は、低域通過フィルタ２５から出力される画像データＤ３をラインバッファ３１を介して入力する。

周辺画素参照部３２は、それぞれ画像データＤ３を出力可能な複数のラインバッファの直列回路で構成され、バッファ３１から出力される画像データＤ３を順次入力して転送しながら、これら複数のラインバッファから画像データＤ３を同時並列的に出力することにより、画像データＤ３により構成される画像上に順次注目画素を設定し、この注目画素の画像データと、この注目画素を中心とした処理領域の対応する画像データとを順次出力する。なおここで図１では、図２５との対比により、注目画素P(X,Y)の画素値をIN(X,Y) で表し、処理領域における他の画素P(PX,PY)の画素値をIN(PX,PY) で表す。

多段εフィルタ部３３は、周辺画素参照部３２の出力データを入力して処理することにより、エッジ成分を保存しつつ、バイラテラルフィルタとほぼ同等の滑らかさで、画像データＤ３のノイズを抑圧して画像データＤ４を出力する。多段εフィルタ部３３は、εフィルタ部３４に設けられた複数のεフィルタ３５Ａ〜３５Ｄに周辺画素参照部３２の出力データを入力する。

すなわちεフィルタ部３４において、εフィルタ３５Ａ〜３５Ｄは、それぞれタップ数及びしきい値がＮ１及びＴ１、Ｎ１及びＴ２、Ｎ２及びＴ１、Ｎ２及びＴ２のεフィルタである。ここでタップ数Ｎ１、Ｎ２は、Ｎ１＜Ｎ２であり、タップ数Ｎ２は、処理領域に対応するタップ数である。またしきい値Ｔ１及びＴ２は、Ｔ１＜Ｔ２である。

乗算部３６Ａ〜３６Ｄは、それぞれ重み付け係数Ｋ１〜Ｋ４でεフィルタ３５Ａ〜３５Ｄの出力データを乗算して出力する。乗算部３７は、注目画素P(X,Y) の画素値IN(X,Y) を重み付け係数Ｋ０で乗算して出力する。

加算部３８は、これら乗算部３６Ａ〜３６Ｄの出力データ、乗算部３７の出力データを加算し、ノイズを抑圧した低域成分の画像データＤ４を出力する。

このεフィルタ３５Ａ〜３５Ｄ、乗算部３６Ａ〜３６Ｄ、３７、加算部３８の構成により、多段εフィルタ部３３は、タップ数が異なり、しきい値の等しいεフィルタの出力値を重み付け加算した特性と、しきい値が異なり、タップ数の等しいεフィルタの出力値、注目画素P(X,Y) の画素値IN(PX,PY) を重み付け加算した特性との合成の特性で表される（図１０参照）。

ここで図４において、符号Ａにより、ＧＡ＝( 7 ×ε(7, T) ＋6 ×ε(3, T)) ／13で表されるＸ方向の周波数特性を示す。この周波数特性は、タップ数が異なり、しきい値の等しいεフィルタの出力値を重み付け加算した特性である。なおここでこの周波数特性は、タップ数７、しきい値Ｔのεフィルタε(7, T)の出力値と、タップ数３、しきい値Ｔのεフィルタε(3, T)の出力値を、重み付け係数７／１３、６／１３で重み付け加算した場合の周波数特性であり、全ての入力値がしきい値以下の場合である。またεフィルタε(7, T)は、Ｘ方向のタップ係数が〔1 1 1 1 1 1 1 〕であり、εフィルタε(3, T)は、Ｘ方向のタップ係数が〔0 0 1 1 1 0 0 〕である。またＧＡ＝( 7 ×ε(7, T) ＋6 ×ε(3, T)) ／13で表されるＸ方向の周波数特性は、タップ係数が〔1 1 3 3 3 1 1 〕のεフィルタの周波数特性と同等である。

これに対して図４において、符号Ｂは、σｓが１．６５の場合の、（１）式で表される距離係数Ｗｓの周波数特性である。なおこの周波数特性は、σｓを１．６５に設定し、エッジ係数Ｗｅを値１に設定した場合のバイラテラルフィルタの周波数特性を示すものであり、このバイラテラルフィルタでは、Ｘ方向のタップ係数が〔1 5 19 48 83 100 83 48 19 5 1 〕となる。この符号Ａ及びＢの周波数特性を比較すれば、ゲインが０．２以上の場合には、ほぼ同一の周波数特性であることが判る。従ってσｓを１．６５、エッジ係数Ｗｅを値１に設定した場合のバイラテラルフィルタの周波数特性は、タップ数が異なり、しきい値の等しいεフィルタの出力値の重み付け加算により近似させることができる。

なお次式は、タップ係数が〔1 1 3 3 3 1 1 〕のεフィルタの周波数特性を、タップ数が３タップ及び７タップであって、しきい値の等しいεフィルタの出力値の重み付け加算により実現できることを検証する数式である。

また図５において符号Ｃ〜Ｅは、εフィルタε(7, T)、εフィルタε(3, T)の出力値の合成比率をそれぞれ１：３、２：２、３：１に設定した場合の周波数特性を示す図である。この図５の周波数特性により、合成比率を変化させれば、σｓが種々に異なる場合でも、同様に、エッジ係数Ｗｅを値１に設定した場合のバイラテラルフィルタの周波数特性を、タップ数が異なり、しきい値の等しいεフィルタの出力値の重み付け加算により実現できることが判る。

これに対して図６は、σｅが値１．０の場合の、（２）式で表されるエッジ係数Ｗｅの値を示す特性曲線図である。なおこの特性は、距離係数Ｗｓを値１に設定し、σｅを１．０に設定した場合のバイラテラルフィルタの応答と等価である。この図６では、縦軸であるエッジ係数Ｗｅの値を１００倍して示し、横軸が、注目画素P(X,Y)の画素値IN(X,Y) と処理領域の他の画素P(PX,PY)の画素値IN(PX,PY) との差分絶対値である。この図６において、差分絶対値が値０の場合、エッジ係数Ｗｅは値１となり、差分絶対値が値１の場合、エッジ係数Ｗｅは値０．６１となる。また差分絶対値が値２の場合、エッジ係数Ｗｅは値０．１４となり、差分絶対値が値３以上の場合、エッジ係数Ｗｅはほぼ値０となる。

従ってこのガウス曲線によるエッジ係数Ｗｅの特性は、差分絶対値が増大するに従って順次階段状に値の減少する特性と等価であると言える。従ってこの階段状の値の減少値を重み付け係数に設定して、この図６における各画素差分値をしきい値に設定したεフィルタの出力値を重み付け加算すれば、図７に示すように、距離係数Ｗｓを値１に設定し、σｅを１．０に設定した場合のバイラテラルフィルタの応答を確保することができる。

すなわちこの距離係数Ｗｓを値１に設定し、σｅを１．０に設定した場合のバイラテラルフィルタの応答ＧＢは、14/100×ε(N,2) ＋47/100×ε(N,1) ＋39/100×IN(X,Y) で表すことができ、しきい値が異なり、タップ数の等しいεフィルタの出力値と、注目画素P(X,Y) の画素値IN(X,Y) との重み付け加算により実現することができる。なお図７では、それぞれ数字１４、４７は、εフィルタε(N,2) 、ε(N,1) の重みを１００倍した値であり、数字３９は、注目画素P(X,Y)の画素値IN(X,Y) の重みを１００倍した値である。

ここで次式は、この距離係数Ｗｓを値１に設定した場合のバイラテラルフィルタの周波数特性を、しきい値が異なり、タップ数の等しいεフィルタの出力値の重み付け加算により実現できることを検証する数式である。この数式において、OUTe(X,Y) は、距離係数Ｗｓを値１に設定した場合のバイラテラルフィルタの出力値を示す。またε(N,0) は、しきい値Ｔが値０のεフィルタであり、注目画素P(X,Y)の画素値IN(X,Y) と等価である。従ってこの数式の変形によっても、距離係数Ｗｓを値１に設定した場合のバイラテラルフィルタの周波数特性を、しきい値が異なり、タップ数の等しいεフィルタの出力値と、注目画素P(X,Y) の画素値IN(X,Y) との重み付け加算により実現できることが判る。

これに対して図８は、σｅが値１０の場合の、（２）式で表されるエッジ係数Ｗｅの値を示す特性曲線図である。この場合、図６について上述したσｅが値１．０の場合に対して、差分絶対値を１０倍に拡大したことになり、従って図７との対比により図９に示すように、σｅの値に対応するようにしきい値を１０倍に設定したεフィルタの出力値と、注目画素P(X,Y) の画素値IN(X,Y) との重み付け加算により、バイラテラルフィルタの周波数特性を実現できることが判る。なおこの図９に示す例では、ガウス曲線の近似精度が劣化することになるが、εフィルタの段数を増大させれば、近似精度を向上させることができる。

従ってσｓ＝1.65, σｓ＝1.0 のバイラテラルフィルタは、図１０に示すように、複数のεフィルタの出力値の重み付け加算処理により構成することができる。すなわちこの図１０の例では、しきい値が２、１、０に設定された３タップのεフィルタε(3,2) 、ε(3,1) 、ε(3,0) の出力値をそれぞれ重み付け係数0.14、0.47、0.39で重み付け加算して第１の加算値を生成し、またしきい値が２、１、０に設定された７タップのεフィルタε(7,2) 、ε(7,1) 、ε(7,0) の出力値をそれぞれ重み付け係数0.14、0.47、0.39で重み付け加算して第２の加算値を生成する。また第１及び第２の加算値をそれぞれ重み付け係数6/13、7/13で重み付け加算し、σｓ＝1.65, σｓ＝1.0 のバイラテラルフィルタを構成することができる。

ここでこの図１０に示す構成は、次式により表現することができる。

またこの（７）式は、整理して次式で表すことができる。従ってしきい値が２、１の３タップのεフィルタε(3,2) 、ε(3,1) の出力値、しきい値が２、１の７タップのεフィルタε(7,2) 、ε(7,1) の出力値、注目画素P(X,Y) の画素値IN(X,Y) との重み付け加算により、σｓ＝1.65, σｓ＝1.0 のバイラテラルフィルタを構成することができる。

この（８）式に対応して、εフィルタ３５Ａ〜３５Ｄ（図１）は、タップ数Ｎ１、Ｎ２が値３、７に設定され、またしきい値Ｔ１、Ｔ２が値１、値２に設定される。また乗算部３７の重み付け係数Ｋ０、乗算部３６Ａ〜３６Ｄの重み付け係数Ｋ１〜Ｋ４が、（８）式で表される係数に設定される。

図１１は、図１の構成による低域ノイズ除去部２６の処理手順を示すフローチャートである。なおここで width、heightは、処理対象である画像データＤ３の水平方向及び垂直方向の画素数であり、ｉ、ｊは、それぞれ注目画素の垂直方向及び水平方向の位置を、height、 widthとの対比により示す変数である。

この処理手順を開始すると、低域ノイズ除去部２６は、ステップＳＰ１からステップＳＰ２に移り、垂直方向の位置を示す変数ｉを値０に初期化する。また続くステップＳＰ３において、水平方向の位置を示す変数ｊを値０に初期化する。続いて低域ノイズ除去部２６は、ステップＳＰ４において、加算部３８における加算値を示す変数sum を値０に初期化する。

続いて低域ノイズ除去部２６は、乗算部３７において、注目画素P(X,Y) の画素値IN(X,Y) を係数Ｋ０で重み付けして変数sum に加算する。また続くステップＳＰ６において、εフィルタ３５Ａ〜３５Ｄを特定する変数ｋを０に初期化する。また続くステップＳＰ７において、変数ｋで特定されるεフィルタで周辺画素参照部３２の出力データを処理し、この変数ｋで特定されるεフィルタの出力値を、対応する係数で重み付けして変数sum に加算する。

低域ノイズ除去部２６は、続くステップＳＰ８において、変数ｋを値１だけインクリメントする。また続くステップＳＰ９で未処理のεフィルタが残っているか否か判断し、ここで肯定結果が得られると、ステップＳＰ７に戻る。従って低域ノイズ除去部２６は、順次εフィルタを切り換えて、各εフィルタの出力値を重み付けして加算し、全てのεフィルタで処理を完了すると、ステップＳＰ９で否定結果が得られ、ステップＳＰ１０に移る。

低域ノイズ除去部２６は、このステップＳＰ１０において、変数sum の加算値を出力し、続くステップＳＰ１１で、水平方向の位置を示す変数ｊを値１だけインクリメントする。また続くステップＳＰ１２でこの変数ｊを水平方向の画素数 widthと比較して１ライン分の処理が未だ完了していないか否か判断する。

ここで肯定結果が得られると、低域ノイズ除去部２６は、ステップＳＰ４に戻り、続く水平方向の注目画素について処理を繰り返す。これに対してステップＳＰ１２で否定結果が得られると、低域ノイズ除去部２６は、ステップＳＰ１３に移り、垂直方向の位置を示す変数ｉを値１だけインクリメントし、続くステップＳＰ１４でこの変数ｉを垂直方向の画素数heightと比較して１画面分の処理が未だ完了していないか否か判断する。

ここで肯定結果が得られると、低域ノイズ除去部２６は、ステップＳＰ３に戻り、続くラインの処理を開始する。これに対してステップＳＰ１４で否定結果が得られると、ステップＳＰ１５に移り、ノイズ抑圧処理を完了する。

（２）実施例の動作
以上の構成において、このデジタルスチルカメラ１１では（図２）、撮像素子１３から出力される撮像信号が前処理部１４でアナログディジタル変換処理されてＲＡＷデータＤ１が生成され、このＲＡＷデータＤ１のノイズが光学補正部１５で抑圧される。また続く画像処理部１６において、ＲＡＷデータＤ２がデモザイク処理されてフルカラーの画像データが生成され、このフルカラーの画像データが輝度信号及び色差信号による画像データに変換された後、エンコーダ１７によりデータ圧縮されて記録媒体１９に記録される。またユーザーがＲＡＷデータによる記録を指示した場合には、光学補正部１５から出力されるＲＡＷデータＤ２が記録媒体１９に記録される。

この光学補正部１５におけるノイズ除去処理において（図３）、ＲＡＷデータＤ１は、ラインバッファ２１、周辺画素参照部２２を介して高域通過フィルタ２３、低域通過フィルタ２５に入力され、ここでそれぞれ高域成分及び低域成分に分離される。またこれら高域成分及び低域成分がそれぞれ高域ノイズ除去部２４、低域ノイズ除去部２６に入力されてノイズが抑圧された後、画像合成部２８で合成されてＲＡＷデータＤ２が生成される。従ってこのデジタルスチルカメラ１１では、ＲＡＷデータＤ１による画像データを高域成分と低域成分とに帯域分離してそれぞれノイズ抑圧することになり、何ら帯域分離することなくノイズ抑圧する場合に比して、画質の劣化を低減して効率良くノイズを抑圧することができる。

ここでこの光学補正部１５における低域側のノイズの抑圧は、従来、εフィルタを適用してエッジ成分を保存しつつノイズを抑圧し、画質の劣化を防止しているものの、ノイズ抑圧性能にさらなる改善が求められている。このノイズ抑圧の処理にεフィルタに代えてバイラテラルフィルタを使用すれば、一段とノイズ抑圧性能を向上することができるものの、構成、処理が煩雑になる。

そこでこのデジタルスチルカメラ１１では（図１）、ラインバッファ３１、周辺画素参照部３２を介して低域成分の画像データＤ３が多段εフィルタ部３３に入力され、複数のεフィルタ３５Ａ〜３５Ｄの出力値と、注目画素P(X,Y) の画素値IN(X,Y) との重み付け加算により、バイラテラルフィルタと同様に、注目画素からの距離と、注目画素の画素値に対する画素値の差分値とに応じた重み付け加算処理により、ノイズ成分が抑圧される。

従ってこのデジタルスチルカメラ１１では、単にεフィルタを使用してノイズを抑圧する場合に比して格段的にノイズ抑圧性能を向上することができる。すなわち具体的には、単にεフィルタを使用してノイズを抑圧する場合に比して、エッジを滑らかに保存して十分にノイズを抑圧することができる。

また構成が簡易なεフィルタ３５Ａ〜３５Ｄを用いてノイズを抑圧することができることにより、バイラテラルフィルタを使用する場合に比して、構成、処理を簡略化することができる。すなわちこの実施例のεフィルタは、係数が値１の平均処理を実行するフィルタであることから、割り算の計算における分母が平均値化処理する画素数となる。従って分母が有限な整数値となり、例えばルックアップテーブル等を用いて割り算の処理を実行することができる。また係数が値１であることから、分子の計算も簡単であり、従って全体として計算が簡単な特徴がある。従って低域ノイズ除去部２６をソフトウエアで構成する場合には、処理を簡略化することができ、またハードウエアで構成する場合には、構成を簡略化し、さらには並列処理して処理速度を高速度化することができる。

またさらに単なる重み付け係数を用いた線形合成の処理によりノイズを抑圧することにより、この重み付け係数を変更する等により、ノイズ除去フィルタとしての特性を柔軟に変更することができる。

（３）実施例の効果
以上の構成によれば、複数のεフィルタの出力値と、注目画素の画素値とを重み付け加算して画像データのノイズを抑圧することにより、簡易な処理、構成で、バイラテラルフィルタと同程度のノイズ抑圧性能を確保することができる。すなわちタップ数及びしきい値がＮ１及びＴ１、Ｎ２及びＴ１、Ｎ１及びＴ２、Ｎ２及びＴ２に設定された第１〜第４のεフィルタの出力値と、注目画素の画素値とを重み付け加算して画像データのノイズを抑圧することにより、簡易な処理、構成で、バイラテラルフィルタと同程度のノイズ抑圧性能を確保することができる。

図１２は、図１との対比により本発明の実施例２のデジタルスチルカメラに適用される低域ノイズ除去部を示すブロック図である。ここでＲＡＷデータにおいて、輝度レベルが小さい箇所は、画像処理部１６の画像処理で適用されるγ曲線による画素値の補正により、又はコンピュータ等におけるＲＡＷデータの現像処理で適用されるγ曲線による画素値の補正により、ノイズが目立つようになる。そこでこの実施例において、低域ノイズ除去部４６は、制御部４７により乗算部３６Ａ〜３６Ｄにおける重み付け係数Ｋ１〜Ｋ４を可変し、輝度レベルが小さい箇所程、ノイズ抑圧量を増大させて画像データＤ３のノイズを抑圧する。より具体的には、等価的に、バイラテラルフィルタにおいて距離係数Ｗｓを計算するσｓが、暗い部分程、大きくなるように、重み付け係数Ｋ１〜Ｋ４を可変する。この実施例のデジタルスチルカメラは、この重み付け係数Ｋ１〜Ｋ４の可変に関する構成を除いて、実施例１のデジタルスチルカメラ１１と同一に構成される。

すなわち低域ノイズ除去部４６において、制御部４７は、周辺画素参照部３２から出力される画像データを入力し、所定ブロック毎に、平均輝度レベルを計算する。なお所定ブロック毎の平均輝度レベルに代えて、画素毎に、輝度レベルを計算するようにしてもよい。制御部４７は、この計算した輝度レベルに応じて、図１３に示す特性曲線により輝度レベルが増大するに従って値が減少するように、パラメータαｓを計算する。

またこの計算したパラメータαｓを用いて、次式により示すように、しきい値がＴ１の３タップのεフィルタ３５Ａと、対応する７タップのεフィルタ３５Ｃとの合成比率が変化するように、またこれに連動してしきい値がＴ２の３タップのεフィルタ３５Ｂと、対応する７タップのεフィルタ３５Ｄとの合成比率が変化するように、乗算部３６Ａ〜３６Ｄにおける重み付け係数Ｋ１〜Ｋ４を可変する。従って低域ノイズ除去部４６は、この場合、輝度レベルが低い箇所程、タップ数の少ないεフィルタの出力信号成分が増大するように、重み付け係数Ｋ１〜Ｋ４を可変する。

ここで図１４において、符号Ｌ１、Ｌ２、Ｌ３は、それぞれ３タップのεフィルタの出力信号と７タップのεフィルタの出力信号とを、３：１、１：１、１：３で合成した場合の周波数特性である。この図１４に示すように、タップ数の少ないεフィルタの出力信号成分が増大するように、重み付け係数Ｋ１〜Ｋ４を可変すれば、カットオフ周波数を低下させることができ、ノイズを抑圧する能力を増大させることができる。

この実施例によれば、輝度レベルの低い部分程、タップ数の少ないεフィルタの出力信号成分が増大するように、重み付け係数を可変することにより、一段と効率良くノイズを除去して実施例１と同様の効果を得ることができる。

この実施例では、明るい部分における光学ショットノイズを低減する。このためこの実施例においては、等価的に、バイラテラルフィルタにおいてエッジ係数Ｗｅを計算するσｅが、明るい部分程、大きくなるように、εフィルタの特性を可変する。なおこの実施例では、このεフィルタの特性の可変に関する構成が異なる点を除いて、実施例２のデジタルスチルカメラと同一に構成されることから、以下においては、図１２の構成を流用して説明する。

すなわち低域ノイズ除去部４６において、制御部４７は、周辺画素参照部３２から出力される画像データを入力し、所定ブロック毎に、平均輝度レベルを計算する。なお所定ブロック毎の平均輝度レベルに代えて、画素毎に、輝度レベルを計算するようにしてもよい。制御部４７は、この計算した輝度レベルに応じて、図１５に示す特性曲線により輝度レベルが増大するに従って値が増大するように、パラメータαｅを計算する。

またこの計算したパラメータαｅを用いて、次式により示すように、３タップのεフィルタ３５Ａ、３５Ｂのしきい値をαｅに設定し、また７タップのεフィルタ３５Ｃ、３５Ｄのしきい値を２αｅに設定する。従ってこの場合、低域ノイズ除去部４６は、図１６に示すように、タップ数の異なるεフィルタのしきい値の比率を一定値に維持したまま、明るい部分程、大きくなるようにしきい値を可変し、明るい部分における光学ショットノイズを低減する。

この実施例によれば、タップ数の異なるεフィルタのしきい値の比率を一定値に維持したまま、明るい部分程、大きくなるようにしきい値を可変することにより、明るい部分における光学ショットノイズを低減して一段と効率良くノイズを除去し、実施例１と同様の効果を得ることができる。

この実施例では、実施例２及び３で上述したノイズ除去処理の構成を併用し、暗い部分におけるノイズと、明るい部分における光学ショットノイズとの双方を低減する。なおこの実施例では、このノイズ除去処理に関する構成が異なる点を除いて、実施例２のデジタルスチルカメラと同一に構成されることから、以下においては、図１２の構成を流用して説明する。

すなわち低域ノイズ除去部４６において、制御部４７は、周辺画素参照部３２から出力される画像データを入力し、所定ブロック毎に、平均輝度レベルを計算する。なお所定ブロック毎の平均輝度レベルに代えて、画素毎に、輝度レベルを計算するようにしてもよい。制御部４７は、この計算した輝度レベルに応じて、図１３に示す特性曲線により輝度レベルが増大するに従って値が減少するように、パラメータαｓを計算する。また図１５に示す特性曲線により輝度レベルが増大するに従って値が増大するように、パラメータαｅを計算する。

またこの計算したパラメータαｅ、αｓを用いて、次式により示すように、３タップのεフィルタ３５Ａ、３５Ｂ、７タップのεフィルタ３５Ｃ、３５Ｄのしきい値をαｅ、２αｅに設定し、また３タップのεフィルタ３５Ａと、対応する７タップのεフィルタ３５Ｃとの合成比率、３タップのεフィルタ３５Ｂと、対応する７タップのεフィルタ３５Ｄとの合成比率を可変する。

この実施例によれば、輝度レベルの低い部分程、タップ数の少ないεフィルタの出力信号成分が増大するように、重み付け係数を可変すると共に、タップ数の異なるεフィルタのしきい値の比率を一定値に維持したまま、明るい部分程、大きくなるようにしきい値を可変することにより、明るい部分における光学ショットノイズと、暗い部分におけるγ曲線によるノイズとを低減して一段と効率良くノイズを除去し、実施例１と同様の効果を得ることができる。

図１７は、図１との対比により本発明の実施例５のデジタルスチルカメラに適用される低域ノイズ除去部の構成を示すブロック図である。この低域ノイズ除去部５６は、タップ数Ｎ２、しきい値Ｔ２のεフィルタ３５Ｄ、このεフィルタ３５Ｄに係る乗算部３６Ｄが省略された点を除いて、上述の実施例と同一に構成される。

ここで図１８は、図９との対比により、図１の低域ノイズ除去部２６におけるεフィルタ３５Ａ〜３５Ｄの処理の説明に供する略線図である。なおここでこの図１８及び以降の説明では、εフィルタ３５Ａ〜３５Ｄの出力をそれぞれ符号ａ〜ｄで示す。図１の例による低域ノイズ除去部２６では、差分絶対値がしきい値Ｔ１より小さい場合、εフィルタ３５Ａ〜３５Ｄの出力が合成されて出力されることになる（図１８（Ａ））。これに対して差分絶対値がしきい値Ｔ１より大きく、しきい値Ｔ２より小さい場合、しきい値がＴ２のεフィルタ３５Ｂ、３５Ｄの出力のみが合成されて出力されることになる（図１８（Ｂ））。従って注目画素からの距離と、注目画素の画素値に対する画素値の差分値とに応じた重み付け加算処理により、ノイズ成分を抑圧し、単にεフィルタを使用する場合に比して、ノイズ除去性能を向上することができる。

ここで図１７の例では、図１９に示すように、差分絶対値がしきい値Ｔ１より小さい場合、εフィルタ３５Ａ〜３５Ｃの出力が合成されて出力されることになり（図１９（Ａ））、差分絶対値がしきい値Ｔ１より大きく、しきい値Ｔ２より小さい場合、しきい値がＴ２のεフィルタ３５Ｂの出力のみが出力されることになる（図１９（Ｂ））。従ってこの図１７の例でも、注目画素からの距離と、注目画素の画素値に対する画素値の差分値とに応じた重み付け加算処理により、ノイズ成分を抑圧し、単にεフィルタを使用する場合に比して、ノイズ除去性能を向上することができる。

この実施例によれば、第１のεフィルタと、この第１のεフィルタとタップ数が異なる第２のεフィルタと、第１のεフィルタとしきい値が異なる第３のεフィルタと、注目画素の画素値とを重み付け加算するようにしても、実施例１と同様の効果を得ることができる。

図２０は、図１との対比により本発明の実施例６のデジタルスチルカメラに適用される低域ノイズ除去部の構成を示すブロック図である。この低域ノイズ除去部６６は、タップ数Ｎ２、しきい値Ｔ１のεフィルタ３５Ｃ、このεフィルタ３５Ｃに係る乗算部３６Ｃが省略された点を除いて、上述の実施例と同一に構成される。

ここで図１８との対比により図２１に示すように、この図２０の例では、差分絶対値がしきい値Ｔ１より小さい場合、εフィルタ３５Ａ、３５Ｂ、３５Ｄの出力が合成されて出力されることになり（図２１（Ａ））、差分絶対値がしきい値Ｔ１より大きく、しきい値Ｔ２より小さい場合、しきい値がＴ２のεフィルタ３５Ｂ、３５Ｄの出力が合成されて出力されることになる（図２１（Ｂ））。従ってこの図２０の例でも、注目画素からの距離と、注目画素の画素値に対する画素値の差分値とに応じた重み付け加算処理により、ノイズ成分を抑圧し、単にεフィルタを使用する場合に比して、ノイズ除去性能を向上することができる。

この実施例によれば、第１のεフィルタと、この第１のεフィルタとしきい値が異なる第２のεフィルタと、第２のεフィルタのしきい値で、第１のεフィルタとタップ数が異なる第３のεフィルタと、注目画素の画素値とを重み付け加算するようにしても、実施例１と同様の効果を得ることができる。

図２２は、図１との対比により本発明の実施例７のデジタルスチルカメラに適用される低域ノイズ除去部の構成を示すブロック図である。この低域ノイズ除去部７６は、タップ数Ｎ１、しきい値Ｔ１のεフィルタ３５Ａ、このεフィルタ３５Ａに係る乗算部３６Ａ、タップ数Ｎ２、しきい値Ｔ２のεフィルタ３５Ｄ、このεフィルタ３５Ｄに係る乗算部３６Ｄが省略された点を除いて、上述の実施例と同一に構成される。

ここで図１８との対比により図２３に示すように、この図２２の例では、差分絶対値がしきい値Ｔ１より小さい場合、εフィルタ３５Ｂ、３５Ｃの出力が合成されて出力されることになり（図２３（Ａ））、差分絶対値がしきい値Ｔ１より大きく、しきい値Ｔ２より小さい場合、しきい値がＴ２のεフィルタ３５Ｂの出力が出力されることになる（図２３（Ｂ））。従ってこの図２２の例でも、注目画素からの距離と、注目画素の画素値に対する画素値の差分値とに応じた重み付け加算処理により、ノイズ成分を抑圧し、単にεフィルタを使用する場合に比して、ノイズ除去性能を向上することができる。なお、εフィルタ３５Ｂ、３５Ｃに代えて、εフィルタ３５Ａ、３５Ｂ、又はεフィルタ３５Ａ、３５Ｄを用いてεフィルタ部３４を構成するようにしてもよい。

この実施例によれば、第１のεフィルタと、この第１のεフィルタとタップ数が異なる第２のεフィルタと、注目画素の画素値とを重み付け加算するようにしても、実施例１と同様の効果を得ることができる。

なお上述の実施例においては、図２４（Ａ）の模式図により示すように、３タップのεフィルタと７タップのεフィルタとの出力を所定の重み付け係数（図２４の例では、ａ及びｂ）で重み付け加算する場合について述べたが、本発明はこれに限らず、図２４（Ａ）との対比により図２４（Ｂ）に示すように、３タップのεフィルタで計算した処理領域を除くように、残りのフィルタで条件付き平均値化の処理を実行し、３タップのεフィルタで計算した計算結果との合成により７タップのεフィルタの出力を求めるようにしてもよい。なおこの図２４では、各フィルタの処理領域をハッチングで示す。この図２４の例によれば、一段と処理を簡略化することができる。

また上述の実施例においては、輝度レベルに応じて処理を切り換える場合について述べたが、本発明はこれに限らず、輝度レベルに代えて特定のεフィルタにおけるしきい値以下のサンプル数に応じて処理を切り換える場合等、種々の手法を組み合わせるようにしてもよい。

また上述の実施例においては、低域側のノイズを単に複数のεフィルタで除去する場合について述べたが、本発明はこれに限らず、メディアンフィルタなどの他のフィルタを組み合わせてノイズ除去するようにしてもよい。

また上述の実施例においては、画像データを高域成分と低域成分とに分離してノイズを除去する場合について述べたが、本発明はこれに限らず、例えばバンドパスフィルタを用いて３帯域以上に分離して処理する場合、何ら帯域分離せずに直接処理する場合等にも広く適用することができる。

また上述の実施例においては、ＲＡＷデータのノイズを除去する場合について述べたが、本発明はこれに限らず、フルカラーの画像データ、輝度信号及び色差信号による画像データ等、種々のフォーマットによる画像データのノイズを除去する場合に広く適用することができる。

また上述の実施例においては、デモザイク処理の前段階でノイズを除去する場合について述べたが、本発明はこれに限らず、デモザイク処理の後にノイズ除去する場合、画像処理部における処理途中、処理後にノイズ除去する場合等、種々の過程でノイズ除去する場合に広く適用することができる。

また上述の実施例においては、係数が値１のεフィルタを使用する場合について述べたが、本発明はこれに限らず、係数が１以外のεフィルタを使用する場合にも広く適用することができる。

また上述の実施例においては、画素値の差分絶対値、注目画素からの距離をパラメータにしてガウス曲線の特性により重み付けが変化するように設定してバイラテラルフィルタと同様の特性を確保する場合について述べたが、本発明はこれに限らず、ガウス曲線に代えて種々の特性により重み付けが変化するように設定してもよい。

また上述の実施例においては、本発明をデジタルスチルカメラ、デジタルビデオカメラに適用する場合について述べたが、本発明はこれに限らず、画像データを処理する各種画像処理装置、各種画像処理プログラムに広く適用することができる。なおこの画像処理プログラムは、コンピュータ、画像処理装置等に事前にインストールして提供するようにしてもよく、またこれに代えて光ディスク、磁気ディスク、メモリカード等の各種記録媒体に記録して提供するようにしてもよく、さらにはインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。

本発明は、例えばデジタルスチルカメラに適用することができる。

本発明の実施例１のデジタルスチルカメラにおける低域ノイズ除去部の構成を示すブロック図である。 本発明の実施例１のデジタルスチルカメラを示すブロック図である。 図２のデジタルスチルカメラにおける光学補正部の構成を示すブロック図である。 εフィルタとバイラテラルフィルタとの特性を示す特性曲線図である。 複数のεフィルタの出力の合成の説明に供する特性曲線図である。 バイラテラルフィルタにおけるエッジ係数の説明に供する特性曲線図である。 複数のεフィルタの出力の合成の説明に供する特性曲線図である。 σｅを１０倍にした場合のバイラテラルフィルタにおけるエッジ係数の説明に供する特性曲線図である。 図８の例に対応する複数のεフィルタの出力の合成の説明に供する特性曲線図である。 タップ数、しきい値の異なるεフィルタの出力の合成の説明に供する略線図である。 図１の低域ノイズ除去部の処理手順を示すフローチャートである。 本発明の実施例２のデジタルスチルカメラに適用される低域ノイズ除去部を示すブロック図である。 パラメータαｓを示す特性曲線図である。 合成比率を可変した場合の周波数特性を示す特性曲線図である。 パラメータαｅを示す特性曲線図である。 図１５のパラメータの説明に供する特性曲線図である。 本発明の実施例５のデジタルスチルカメラに適用される低域ノイズ除去部の構成を示すブロック図である。 図１の構成によるεフィルタの処理の説明に供する略線図である。 図１７の低域ノイズ除去部の処理の説明に供する略線図である。 本発明の実施例６のデジタルスチルカメラに適用される低域ノイズ除去部の構成を示すブロック図である。 図２０の低域ノイズ除去部の処理の説明に供する略線図である。 本発明の実施例７のデジタルスチルカメラに適用される低域ノイズ除去部の構成を示すブロック図である。 図２２の低域ノイズ除去部の処理の説明に供する略線図である。 他の実施例による低域ノイズ除去部の構成の説明に供する模式図である。 バイラテラルフィルタを示すブロック図である。 バイラテラルフィルタの動作の説明に供する略線図である。

符号の説明

１……バイラテラルフィルタ、１１……デジタルスチルカメラ、１５……光学補正部、２６、４６、５６、６６……低域ノイズ除去部、３３……多段εフィルタ部、３４……εフィルタ部、３５Ａ〜３５Ｄ……εフィルタ、３６Ａ〜３６Ｄ、３７……乗算部、３８……加算部、４７……制御部

Claims (11)

1. 撮像結果を取得して画像データを出力する撮像部と、
   前記画像データのノイズを抑圧して出力データを出力するノイズ抑圧部とを有し、
   前記ノイズ抑圧部は、
   前記画像データを処理する第１のεフィルタと、
   前記第１のεフィルタとタップ数が異なり、前記第１のεフィルタとしきい値が等しく、前記画像データを処理する第２のεフィルタと、
   前記第１のεフィルタとタップ数が等しく、前記第１のεフィルタとしきい値が異なり、前記画像データを処理する第３のεフィルタと、
   前記第２のεフィルタとタップ数が等しく、前記第３のεフィルタとしきい値が等しく、前記画像データを処理する第４のεフィルタと、
   前記第１のεフィルタの出力値、前記第２のεフィルタの出力値、前記第３のεフィルタの出力値、前記第４のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して前記出力データを出力する重み付け加算部とを有する
   撮像装置。
2. 前記画像データの輝度レベルを検出し、輝度レベル検出結果に基づいて、前記輝度レベルの低い部分程、タップ数の少ないεフィルタの出力信号成分が増大するように、前記加算部における重み付け係数を可変する制御部を有する
   請求項１に記載の撮像装置。
3. 前記画像データの輝度レベルを検出し、輝度レベル検出結果に基づいて、前記輝度レベルの高い部分程、しきい値が大きくなるように、前記第１〜第４のεフィルタのしきい値を可変する制御部を有する
   請求項１に記載の撮像装置。
4. 撮像結果を取得して画像データを出力する撮像部と、
   前記画像データのノイズを抑圧して出力データを出力するノイズ抑圧部とを有し、
   前記ノイズ抑圧部は、
   前記画像データを処理する第１のεフィルタと、
   前記第１のεフィルタとタップ数が異なり、前記第１のεフィルタとしきい値が等しく、前記画像データを処理する第２のεフィルタと、
   前記第１のεフィルタとタップ数が等しく、前記第１のεフィルタとしきい値が異なり、前記画像データを処理する第３のεフィルタと、
   前記第１のεフィルタの出力値、前記第２のεフィルタの出力値、前記第３のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して前記出力データを出力する重み付け加算部とを有する
   撮像装置。
5. 撮像結果を取得して画像データを出力する撮像部と、
   前記画像データのノイズを抑圧して出力データを出力するノイズ抑圧部とを有し、
   前記ノイズ抑圧部は、
   前記画像データを処理する第１のεフィルタと、
   前記第１のεフィルタとしきい値が異なり、前記第１のεフィルタとタップ数が等しく、前記画像データを処理する第２のεフィルタと、
   前記第２のεフィルタとしきい値が等しく、前記第１のεフィルタとタップ数が異なり、前記画像データを処理する第３のεフィルタと、
   前記第１のεフィルタの出力値、前記第２のεフィルタの出力値、前記第３のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して前記出力データを出力する重み付け加算部とを有する
   撮像装置。
6. 撮像結果を取得して画像データを出力する撮像部と、
   前記画像データのノイズを抑圧して出力データを出力するノイズ抑圧部とを有し、
   前記ノイズ抑圧部は、
   前記画像データを処理する第１のεフィルタと、
   前記第１のεフィルタとタップ数が異なり、前記第１のεフィルタとしきい値が等しく、前記画像データを処理する第２のεフィルタと、
   前記第１のεフィルタの出力値、前記第２のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して前記出力データを出力する重み付け加算部とを有する
   撮像装置。
7. 撮像結果を取得して画像データを出力する撮像部と、
   前記画像データのノイズを抑圧して出力データを出力するノイズ抑圧部とを有し、
   前記ノイズ抑圧部は、
   前記画像データを処理する第１のεフィルタと、
   前記第１のεフィルタとタップ数が異なり、前記第１のεフィルタとしきい値が異なり、前記画像データを処理する第２のεフィルタと、
   前記第１のεフィルタの出力値、前記第２のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して前記出力データを出力する重み付け加算部とを有する
   撮像装置。
8. 画像データを処理する第１のεフィルタと、
   前記第１のεフィルタとタップ数が異なり、前記第１のεフィルタとしきい値が等しく、前記画像データを処理する第２のεフィルタと、
   前記第１のεフィルタとタップ数が等しく、前記第１のεフィルタとしきい値が異なり、前記画像データを処理する第３のεフィルタと、
   前記第２のεフィルタとタップ数が等しく、前記第３のεフィルタとしきい値が等しく、前記画像データを処理する第４のεフィルタと、
   前記第１のεフィルタの出力値、前記第２のεフィルタの出力値、前記第３のεフィルタの出力値、前記第４のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して前記出力データを出力する重み付け加算部とを有する
   ノイズ除去装置。
9. 第１のεフィルタにより画像データを処理する第１の処理ステップと、
   前記第１のεフィルタとタップ数が異なり、前記第１のεフィルタとしきい値が等しい第２のεフィルタにより前記画像データを処理する第２の処理ステップと、
   前記第１のεフィルタとタップ数が等しく、前記第１のεフィルタとしきい値が異なる第３のεフィルタにより前記画像データを処理する第３の処理ステップと、
   前記第２のεフィルタとタップ数が等しく、前記第３のεフィルタとしきい値が等しい第４のεフィルタにより前記画像データを処理する第４の処理ステップと、
   前記第１のεフィルタの出力値、前記第２のεフィルタの出力値、前記第３のεフィルタの出力値、前記第４のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して出力データを出力する重み付け加算ステップとを有する
   ノイズ除去方法。
10. 第１のεフィルタにより画像データを処理する第１の処理ステップと、
    前記第１のεフィルタとタップ数が異なり、前記第１のεフィルタとしきい値が等しい第２のεフィルタにより前記画像データを処理する第２の処理ステップと、
    前記第１のεフィルタとタップ数が等しく、前記第１のεフィルタとしきい値が異なる第３のεフィルタにより前記画像データを処理する第３の処理ステップと、
    前記第２のεフィルタとタップ数が等しく、前記第３のεフィルタとしきい値が等しい第４のεフィルタにより前記画像データを処理する第４の処理ステップと、
    前記第１のεフィルタの出力値、前記第２のεフィルタの出力値、前記第３のεフィルタの出力値、前記第４のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して出力データを出力する重み付け加算ステップとを有する
    ノイズ除去方法のプログラム。
11. 画像データのノイズを除去するノイズ除去方法のプログラムを記録した記録媒体において、
    前記ノイズ除去方法のプログラムは、
    第１のεフィルタにより前記画像データを処理する第１の処理ステップと、
    前記第１のεフィルタとタップ数が異なり、前記第１のεフィルタとしきい値が等しい第２のεフィルタにより前記画像データを処理する第２の処理ステップと、
    前記第１のεフィルタとタップ数が等しく、前記第１のεフィルタとしきい値が異なる第３のεフィルタにより前記画像データを処理する第３の処理ステップと、
    前記第２のεフィルタとタップ数が等しく、前記第３のεフィルタとしきい値が等しい第４のεフィルタにより前記画像データを処理する第４の処理ステップと、
    前記第１のεフィルタの出力値、前記第２のεフィルタの出力値、前記第３のεフィルタの出力値、前記第４のεフィルタの出力値、前記画像データにおける注目画素の画素値を重み付け加算して出力データを出力する重み付け加算ステップとを有する
    ノイズ除去方法のプログラムを記録した記録媒体。

Images