JP4224882B2

JP4224882B2 - データ処理装置およびデータ処理方法

Info

Publication number: JP4224882B2
Application number: JP03112199A
Authority: JP
Inventors: 哲二郎近藤; 健司田中; 浩二太田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-02-09
Filing date: 1999-02-09
Publication date: 2009-02-18
Anticipated expiration: 2019-02-09
Also published as: CN1561092B; KR100753345B1; EP1028390A2; CN1169088C; TW469736B; CN1263327A; JP2000232384A; EP1028390A3; KR20000076619A; CN1561092A; US6999633B1; ID24776A

Description

【０００１】
【発明の属する技術分野】
本発明は、データ処理装置およびデータ処理方法に関し、特に、例えば、データに含まれるノイズの効果的な除去を、容易に行うことができるようにするデータ処理装置およびデータ処理方法に関する。
【０００２】
【従来の技術】
例えば、伝送や再生等された画像データや音声データなどのデータには、一般に、時間的に変動するノイズが含まれているが、データに含まれるノイズを除去する方法としては、従来より、入力データ全体の平均（以下、適宜、全平均という）や、入力データの局所的な平均である移動平均を求めるもの、さらには、注目しているデータを、その近傍にあるデータのメディアン（中央値）に置き換えるものなどが知られている。また、画像については、例えば、ある１のフレームを参照フレームとして、他の１のフレームの動きベクトルを求め、その動きベクトルによって、他の１フレームの動き補償を行い、その動き補償後のフレームと、参照フレームとの加重平均を求めることにより、ノイズを除去する方法が知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、全平均を計算する方法は、データに含まれるノイズの度合い、即ち、データのＳ／Ｎ（Signal/Noise）が一定である場合は有効であるが、データのＳ／Ｎが変動する場合には、Ｓ／Ｎの悪いデータが、Ｓ／Ｎの良いデータに影響し、効果的にノイズを除去することが困難となることがある。
【０００４】
また、移動平均を計算する方法では、入力されたデータから時間的に近い位置にあるデータの平均が求められるため、その処理結果は、データのＳ／Ｎの変動の影響を受ける。即ち、データのＳ／Ｎの良い部分については、処理結果のＳ／Ｎも良くなるが、Ｓ／Ｎの悪い部分については、処理結果のＳ／Ｎも悪くなる。さらに、全平均や移動平均を計算する方法によれば、データが平滑化されるから、画像に適用すると、データが急激に変化する部分、即ち、急峻なエッジ等が失われることになる。
【０００５】
また、メディアンに置き換える方法では、データの時間的な順序が無視されるため、元の波形の特徴が大きく損なわれることがある。
【０００６】
さらに、動きベクトルを用いる方法では、動きベクトルの検出を誤ると、処理後の画像の画質が大きく劣化する。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、データに含まれるノイズを、容易かつ効果的に除去することができるようにするものである。
【０００８】
【課題を解決するための手段】
本発明のデータ処理装置は、入力データに含まれるノイズ量を推定する推定手段と、前記入力データのうちの、注目している注目入力データとの差分を引数とする重み関数と、前記注目入力データとの空間的又は時間的な距離を引数とする重み関数とを、前記ノイズ量に基づいて設定する設定手段と、前記注目入力データに空間的又は時間的に近い前記入力データを、重み付け加算値の計算に用いる処理対象データとして、前記処理対象データに対して、前記差分を引数とする重み関数による重みと、前記距離を引数とする重み関数による重みとを乗算する重み付けを行い、重み付け後の前記処理対象データを加算することにより、前記入力データの処理結果としての出力データを求める処理手段とを備えるデータ処理装置である。
【０００９】
本発明のデータ処理方法は、入力データを処理し、その処理結果としての出力データを出力するデータ処理装置が、前記入力データに含まれるノイズ量を推定し、前記入力データのうちの、注目している注目入力データとの差分を引数とする重み関数と、前記注目入力データとの空間的又は時間的な距離を引数とする重み関数とを、前記ノイズ量に基づいて設定し、前記注目入力データに空間的又は時間的に近い前記入力データを、重み付け加算値の計算に用いる処理対象データとして、前記処理対象データに対して、前記差分を引数とする重み関数による重みと、前記距離を引数とする重み関数による重みとを乗算する重み付けを行い、重み付け後の前記処理対象データを加算することにより、前記入力データの処理結果としての出力データを求めるステップを含むデータ処理方法である。
【００１０】
上記構成のデータ処理装置およびデータ処理方法においては、入力データに含まれるノイズ量が推定され、前記入力データのうちの、注目している注目入力データとの差分を引数とする重み関数と、前記注目入力データとの空間的又は時間的な距離を引数とする重み関数とが、前記ノイズ量に基づいて設定される。そして、前記注目入力データに空間的又は時間的に近い前記入力データを、重み付け加算値の計算に用いる処理対象データとして、前記処理対象データに対して、前記差分を引数とする重み関数による重みと、前記距離を引数とする重み関数による重みとを乗算する重み付けを行い、重み付け後の前記処理対象データを加算することにより、前記入力データの処理結果としての出力データが求められる。
【００１１】
【発明の実施の形態】
図１は、本発明を適用したＮＲ（Noise Reduction）処理回路の第１実施の形態の構成例を示している。
【００１２】
このＮＲ処理回路においては、画像を対象としたＮＲ処理が行われるようになされており、ＮＲ処理すべき画像は、例えば、フレーム単位で、フレームメモリ部１に供給されるようになされている。フレームメモリ部１は、複数フレーム（例えば、１０乃至２０フレームなど）を記憶することのできる記憶容量を有し、そこに供給される画像を一時記憶する。画像処理部２は、フレームメモリ部１に記憶された画像を読み出し、その画像からノイズを除去するための処理（ＮＲ処理）を行う。画像処理部２において処理された画像は、フレームメモリ部３に供給される。フレームメモリ部３は、画像処理部２から供給される画像を一時記憶して出力する。
【００１３】
次に、図２は、図１の画像処理部２の構成例を示している。
【００１４】
フレームメモリ１（図１）に記憶された画像は、適宜読み出され、必要に応じて、重み関数設定部１１または画素値方向重み付け部１２に供給されるようになされている。
【００１５】
重み関数設定部１１は、後述するような画素値方向の重み関数ｗ_Val、垂直方向の重み関数ｗ_Ver、水平方向の重み関数ｗ_Hor、時間方向の重み関数ｗ_Frを適応的に設定し、重み関数ｗ_Valを画素値方向重み付け部１２に、重み関数ｗ_Verおよびｗ_Horを空間方向重み付け部１３に、重み関数ｗ_Frを時間方向重み付け部１４に、それぞれ供給するようになされている。
【００１６】
画素値方向重み付け部１２は、そこに供給される画素に対して、重み関数ｗ_Valにしたがった重み付けを行い、空間方向重み付け部１３に供給するようになされている。空間方向重み付け部１３は、画素値方向重み付け部１２からの画素に対して、重み関数ｗ_Verおよびｗ_Horにしたがった重み付けを行い、時間方向重み付け部１４に供給するようになされている。時間方向重み付け部１４は、空間方向重み付け部１３からの画素に対して、重み関数ｗ_Frにしたがった重み付けを行い、加算部１５に供給するようになされている。加算部１５は、時間方向重み付け部１４からの画素（画素値）を順次加算して出力するようになされている。
【００１７】
次に、図３のフローチャートを参照して、図２の画像処理部２の動作について説明する。
【００１８】
まず最初に、ステップＳ１において、重み関数が設定される。即ち、ステップＳ１では、重み関数設定部１１において、フレームメモリ部１に記憶された画像が適宜読み出され、いま注目しているフレーム（注目フレーム）のノイズ量が推定される。さらに、重み関数設定部１１では、その推定されたノイズ量に基づいて、重み関数ｗ_Val，ｗ_Ver，ｗ_Hor、およびｗ_Frが設定される。
【００１９】
ここで、画像処理部２においては、ある注目画素の画素値が、複数の画素の画素値の重み付け加算値で置き換えられることにより、ノイズの除去が行われるようになされており、重み関数ｗ_Valは、重み付け加算値の計算に用いる処理対象画素と注目画素との画素値の差分に対応した重み付けを、処理対象画素に対して行うためのもので、本実施の形態では、例えば、次のようなガウス分布の式ｆ（ｘ）で与えられるようになされている。
【００２０】
ｆ（ｘ）＝１／（（２π）^1/2σ）ｅｘｐ（−（ｘ−μ）²／（２σ²））
・・・（１）
但し、μは平均値を、σは標準偏差を、それぞれ表す。
【００２１】
また、重み関数ｗ_Ver，ｗ_Hor、およびｗ_Frは、処理対象画素に対して、その処理対象画素と注目画素との間の空間的、時間的距離に対応した重み付けを行うためのもので、本実施の形態では、例えば、やはり、式（１）に示したようなガウス分布で与えられるようになされている。但し、重み関数は、ガウス分布以外の形で与えることも可能である。
【００２２】
従って、重み関数ｗ_Valは、注目画素と処理対象画素との画素値の差分subの関数であり、正確には、ｗ_Val（sub）と表される。重み関数ｗ_Ver，ｗ_Hor、またはｗ_Frも、同様に、注目画素と処理対象画素との垂直方向の距離ｊ、水平方向の距離ｉ、または時間方向の距離ｋの関数であり、正確には、それぞれｗ_Ver（ｊ），ｗ_Hor（ｉ）、またはｗ_Fr（ｋ）と表される。
【００２３】
ここで、ガウス分布で与えられる重み関数ｗ_Valを図４（Ａ）に、同じくガウス分布で与えられる重み関数ｗ_Ver，ｗ_Hor、およびｗ_Frを図４（Ｂ）に、それぞれ示す。なお、図４（Ｂ）においては、重み関数ｗ_Ver，ｗ_Hor、およびｗ_Frをまとめて、ｗ_Locと表してある。
【００２４】
重み関数設定部１１では、推定されたノイズ量に基づいて、重み関数ｗ_Val，ｗ_Ver，ｗ_Hor、およびｗ_Frを規定する式（１）の標準偏差σが設定され、それにより得られる重み関数ｗ_Val，ｗ_Ver，ｗ_Hor，ｗ_Frが、画素値方向重み付け部１２、空間方向重み付け部１３、時間方向重み付け部１４に供給される。即ち、重み関数ｗ_Valは画素値方向重み付け部１２に、重み関数ｗ_Verおよびｗ_Horは空間方向重み付け部１３に、重み関数ｗ_Frは時間方向重み付け部１４に、それぞれ供給される。
【００２５】
そして、ステップＳ２に進み、画素値方向重み付け部１２、空間方向重み付け部１３、時間方向重み付け部１４、および加算部１５において、重み付け加算が行われ、その重み付け加算結果が、注目画素の新たな画素値として出力される。
【００２６】
即ち、いま、フレームメモリ部１に記憶された画像の第ｔフレームの、上からｙ＋１番目で、左からｘ＋１番目の画素の画素値を、Ｌ［ｔ］［ｙ］［ｘ］と表すと、画素値方向重み付け部１２、空間方向重み付け部１３、時間方向重み付け部１４、および加算部１５において、次式で示されるＬ’［ｔ］［ｙ］［ｘ］が、注目画素の新たな画素値として求められる。
【００２７】
【数１】

・・・（２）
【００２８】
その後、ステップＳ３に進み、１フレームの画素すべてを注目画素として、処理を行ったかどうかが判定され、まだ処理を行っていないと判定された場合、ステップＳ２に戻り、まだ処理の対象としていない画素を、新たな注目画素として、同様の処理を繰り返す。また、ステップＳ３において、１フレームの画素すべてを注目画素として、処理を行ったと判定された場合、ステップＳ１に戻り、次のフレームを新たな注目フレームとして、以下、同様の処理を繰り返す。
【００２９】
即ち、図２の画像処理部２では、上述したように、重み付け加算を行うことで、注目画素の画素値のノイズを除去した新たな画素値が求められるようになされているが、その際の重み付けは、まず、画素値方向重み付け部１２において、注目画素の画素値Ｌ［ｔ］［ｙ］［ｘ］と、重み付け加算値の計算に用いる処理対象画素の画素値Ｌ［ｔ＋ｋ］［ｙ＋ｊ］［ｘ＋ｉ］との差分（Ｌ［ｔ＋ｋ］［ｙ＋ｊ］［ｘ＋ｉ］−Ｌ［ｔ］［ｙ］［ｘ］）に基づいて行われる。
【００３０】
その結果、注目画素と近い画素値の処理対象画素に対しては大きな重みが用いられ、注目画素と離れた画素値の処理対象画素に対しては小さな重みが用いられることとなり、即ち、極端には、注目画素と離れた画素値の処理対象画素に対する重みは０とされることとなり、これにより、注目画素と比較的近い画素値の処理対象画素のみが抽出され、そのような処理対象画素を用いた重み付け加算を行うことで、注目画素の画素値のノイズを除去した新たな画素値が求められる。
【００３１】
さらに、重み付けは、空間方向重み付け部１３において、注目画素と、重み付け加算を行う処理対象画素との間の垂直方向の距離ｊ、および水平方向の距離ｉに基づいて行われるようになされている。即ち、注目画素と空間的に近い処理対象画素に対しては大きな重みが用いられ、注目画素と空間的に遠い処理対象画素に対しては小さな重みが用いられる。
【００３２】
また、重み付けは、時間方向重み付け部１４において、注目画素と、重み付け加算を行う処理対象画素との間の時間方向の距離ｋに基づいて行われるようになされている。即ち、注目画素と時間的に近い処理対象画素に対しては大きな重みが用いられ、注目画素と時間的に遠い処理対象画素に対しては小さな重みが用いられる。
【００３３】
以上のように、注目画素と空間的、時間的に近い処理対象画素に対しては、ある程度の重みが与えられ、注目画素と空間的、時間的に遠い処理対象画素の重みは０とされる。
【００３４】
従って、図５に示すように、注目画素と同じような画素値の画素が抽出され、さらに、その中から、注目画素と空間的、時間的に近い画素が抽出され、そのような画素を用いての重み付け加算値が、注目画素の新たな画素値として求められるので、注目画素に含まれるノイズを、容易かつ効果的に除去することができる。
【００３５】
次に、図６は、図２の重み関数設定部１１の構成例を示している。
【００３６】
いま注目フレームを、第ｎフレームとすると、差分回路２１には、その第ｎフレームと、その次の第ｎ＋１フレームとが供給される。差分回路２１は、第ｎフレームと第ｎ＋１フレームとの、対応する画素値どうしの差分を計算し、そのような差分で構成されるフレーム（差分フレーム）を、ブロック分割回路２２に供給する。
【００３７】
ブロック分割回路２２は、差分回路２１からの差分フレームを、所定の画素数のブロック（例えば、横と縦それぞれが、８乃至１６画素程度のブロック）に分割し、ＲＭＳ（Root Mean Square）計算回路２３に供給する。ＲＭＳ計算回路２３では、ブロック分割回路２２からの各ブロックの画素値の差分のＲＭＳが計算される。各ブロックについてのＲＭＳは、ＲＭＳ計算回路２３からヒストグラム生成回路２４に供給される。ヒストグラム生成回路２４では、ＲＭＳ計算回路２３からの各ブロックについてのＲＭＳのヒストグラムが生成され、ノイズ量推定回路２５に供給される。
【００３８】
ノイズ量推定回路２５では、ヒストグラム生成回路２４からのＲＭＳのヒストグラムから、注目フレームである第ｎフレームのノイズ量が推定される。
【００３９】
即ち、ノイズ量推定回路２５は、例えば、ＲＭＳのヒストグラムにおいて、０でない最小のＲＭＳを検出し、その最小のＲＭＳを、注目フレームのノイズ量として出力する。ここで、画像の信号成分とノイズ成分とが無相関であると仮定すれば（上述したように、横と縦それぞれが、８画素以上のブロックについては、このように仮定しても問題ない）、統計的には、差分フレームにおいて、信号成分を有するブロックのＲＭＳは、信号成分を有しないブロックのＲＭＳより大になるから、信号成分を有しないブロックのＲＭＳ、即ち、ノイズのみのブロックのＲＭＳは、ＲＭＳのヒストグラムにおいて、最小値として現れる。
【００４０】
なお、ＲＭＳのヒストグラムにおいて、０でない最小のＲＭＳは、フレームによって大きく変動する場合があり、従って、０でない最小のＲＭＳを、そのままノイズ量として用いると、ノイズ量が、フレームごとに大きく変動することがある。そこで、例えば、ＲＭＳのヒストグラムに対して、例えば、ｙ＝ｅ^-x等による重み付けをし（小さなＲＭＳには大きな重みを、大きなＲＭＳには小さな重みを、それぞれ乗算し）、さらに、その重み付け後のＲＭＳの加重平均を演算し、その加重平均値を、ノイズ量と推定するようにすることも可能である。この場合、ノイズ量が、フレームごとに大きく変動することはなく、ある程度安定した値が得られる。
【００４１】
ノイズ量推定回路２５において推定されたノイズ量は、重み関数設定回路２６に供給される。重み関数設定回路２６では、ノイズ量推定回路２５からの注目フレームのノイズ量に基づき、重み関数ｗ_Val，ｗ_Ver，ｗ_Hor、およびｗ_Frとしてのガウス分布の標準偏差σが設定される。
【００４２】
即ち、重み関数設定回路２６は、例えば、ノイズ量が大きい場合には、重み関数ｗ_Valの標準偏差σを大きくする。このようにノイズ量にしたがって、重み関数ｗ_Valの標準偏差σを変えることで、元の画像に含まれるノイズに応じた最適なＮＲ処理を行うことが可能となる。
【００４３】
なお、元の画像の動き量、あるいは動きの有無を検出し、その検出結果に基づいて、重み関数ｗ_Val，ｗ_Ver，ｗ_Hor、およびｗ_Frとしてのガウス分布の標準偏差σを設定するようにすることも可能である。即ち、画像が動きを有するもの（動き系画像）である場合には、重み関数ｗ_Verおよびｗ_Horの標準偏差σを大きくし、画像がほとんど動きのないもの（静止画系画像）である場合には、重み関数ｗ_Frの標準偏差σを大きくするようにすることができる。この場合、元の画像の動きを考慮したＮＲ処理を行うことが可能となる。
【００４４】
次に、図７乃至図１０を参照して、図１の画像処理部２により画像をＮＲ処理したシミュレーション結果について説明する。
【００４５】
図７および図９は、ＮＲ処理の対象とした画像を示している。なお、図７は静止系画像であり、図９は動き系画像である。
【００４６】
図８は、図７の画像を対象としたシミュレーション結果を、図１０は、図９の画像を対象としたシミュレーション結果を、それぞれ示している。
【００４７】
図８において、曲線Ａ１は、図７の画像のＳ／Ｎを示しており、開始の部分と終わりの部分のフレームのＳ／Ｎが約３３ｄＢに、中間の部分のフレームのＳ／Ｎが約４０ｄＢになっている。
【００４８】
曲線Ａ２は、図７の画像を対象に、図２の画像処理部２によるＮＲ処理を行った結果得られる画像のＳ／Ｎを示しており、曲線Ａ３およびＡ４は、図７の画像を対象に、動き判定付き平均（動き判定を行い、動きのない部分の画素について平均をとる手法）によるＮＲ処理を行った結果得られる画像のＳ／Ｎを示している。なお、曲線Ａ３とＡ４とでは、動き判定を行う際のパラメータの値が異なっている。
【００４９】
また、図１０において、曲線Ｂ１は、図９の画像のＳ／Ｎを示しており、図７の画像と同様に、開始の部分と終わりの部分のフレームのＳ／Ｎが約３３ｄＢに、中間の部分のフレームのＳ／Ｎが約４０ｄＢになっている。
【００５０】
曲線Ｂ２は、図９の画像を対象に、図２の画像処理部２によるＮＲ処理を行った結果得られる画像のＳ／Ｎを示しており、曲線Ｂ３は、図９の画像を対象に、動き判定付き平均によるＮＲ処理を行った結果得られる画像のＳ／Ｎを示している。
【００５１】
図８および図１０から、図２の画像処理部２によるＮＲ処理によれば、静止系画像か、動き系画像かにかかわらず、さらに、元の画像のＳ／Ｎにもよらず、効果的にノイズが除去され、Ｓ／Ｎが向上していることが分かる。
【００５２】
なお、上述の場合においては、注目画素と画素値の近い画素の中から、注目画素と空間的、時間的に近い画素を抽出するようにしたが、その際、空間的な方向については、水平方向のみ、または垂直方向のみに注目して、画素の抽出を行うようにすることが可能である。
【００５３】
次に、以上のように、注目画素と画素値の近い画素を抽出し、そのような画素を対象とした重み付け加算を行うことによって、ノイズが除去される（Ｓ／Ｎが向上する）原理について説明する。なお、ここでは、説明を簡単にするため、重み付け加算として、最も単純な相加平均を考える。
【００５４】
画素値の観測値と真値との間の誤差、即ち、ノイズが正規分布となると仮定すると（このような仮定をしても、基本的に問題ない）、画素値の観測値も、図１１に示すように、正規分布になる。
【００５５】
いま、ある注目画素の画素値の観測値が、Ｃであったとすると、そのような観測値Ｃに近い画素は、図１１においてＤで示す、観測値Ｃの周辺に分布する。そして、観測値Ｃに近い画素の相加平均を、Ｃ’とすると、その相加平均値Ｃ’は、図１１の正規分布のうちの、Ｄで示す斜線部分の面積を２等分するような値となる。従って、画素値の観測値が正規分布であれば、観測値Ｃに近い画素値の相加平均値Ｃ’は、真値に近づくから、観測値Ｃに近い画素の相加平均をとることにより、ノイズが低減されることになる。
【００５６】
図１２は、ある画像を構成する各画素の画素値の観測値と真値との間の誤差の分布を示している。注目画素と画素値の近い画素の相加平均を計算することで、この分布は、図１３に示すようになる。
【００５７】
即ち、相加平均を演算することで、誤差Ｅを有していた画素の誤差の分布は、図１３においてＦで示すようになる。この場合、誤差が、元の誤差Ｅよりも増加する画素も多少は存在するが、ほとんどの画素の誤差は、元の誤差Ｅよりも減少する。その結果、誤差の分布は、図１３に実線で示すように、元の分布（図１２）に比較して、急峻なもの（従って、誤差の小さい画素が増加したもの）となる。
【００５８】
なお、以上のようなノイズ除去（低減）の原理から明らかなように、重み付け加算によってノイズを低減した画像を対象に、再び、重み付け加算を計算することによって、さらなるノイズの低減を図ることができる。
【００５９】
ここで、上述の重み関数ｗ_Valの標準偏差σを設定することは、図１１に示した重み付け加算に用いるデータの範囲Ｄを設定することに対応する。
【００６０】
次に、図１４は、本発明を適用したＮＲ処理回路の第２実施の形態の構成例を示している。
【００６１】
このＮＲ処理回路においては、入力データから、注目している入力データ（注目入力データ）と値の近い入力データが抽出され、その抽出された入力データを用いて、注目入力データに含まれるノイズの除去（低減）が行われるようになされている。
【００６２】
即ち、入力データは、ラッチ回路３１₁および前処理部３２に供給される。ラッチ回路３１₁は、そこに供給される入力データを、例えば、その入力データが供給されるタイミングに同期してラッチ（記憶）し、その後段のラッチ回路３１₂および前処理部３２に供給する。ラッチ回路３１₂または３１₃それぞれは、ラッチ回路３１₁と同様に、その前段のラッチ回路３１₁または３１₂が出力する入力データをラッチし、その後段のラッチ回路３１₃または３１₄と、前処理部３２に供給する。ラッチ回路３１₄は、その前段のラッチ回路３１₃が出力する入力データをラッチし、前処理部３２に供給する。
【００６３】
従って、いま、ラッチ回路３１₁および前処理部３２に、入力データｘ（ｔ＋２）が供給されたとすると、前処理部３２には、さらに、ラッチ回路３１₁乃至３１₄それぞれでラッチされた入力データｘ（ｔ＋１），ｘ（ｔ），ｘ（ｔ−１），ｘ（ｔ−２）も供給される。即ち、前処理部３２には、連続する５サンプルの入力データｘ（ｔ＋２）乃至ｘ（ｔ−２）が同時に供給される。前処理部３２は、５サンプルの入力データｘ（ｔ＋２）乃至ｘ（ｔ−２）のうちの、いわば中心のｘ（ｔ）を注目入力データとして後述するような前処理を行うことで、５サンプルの入力データｘ（ｔ＋２）乃至ｘ（ｔ−２）の中から、注目入力データｘ（ｔ）と値の近いものを抽出し、モデル化部３３に供給する。
【００６４】
モデル化部３３は、所定のモデルに基づき、前処理部３２からの入力データを用いて近似処理を行うことで、注目入力データｘ（ｔ）に対する出力データｙ（ｔ）を求める。
【００６５】
即ち、モデル化部３３は、ここでは、線形回帰部４１と出力計算部４２から構成されている。線形回帰部４１は、例えば、一次式（直線）で表されるモデルによって、前処理部３２からの入力データを用いて近似処理を行うことで、入力データを局所的にモデル化する。具体的には、線形回帰部４１は、前処理部３２からの入力データを線形回帰によって一次式のモデルに当てはめる。
【００６６】
ここで、線形回帰とは、図１５に示すように、一次式ｙ＝ａｔ＋ｂによって表される直線と、前処理部３２からの入力データ（図１５において●印で示す）それぞれとの間の２乗誤差の総和が最小になるような定数ａおよびｂを求めることを意味する。
【００６７】
定数ａおよびｂが求められると、線形回帰部４１は、その定数ａ，ｂを、出力計算部４２に供給する。出力計算部４２は、線形回帰部４１からの定数ａ，ｂを用いて、式ｙ（ｔ）＝ａｔ＋ｂを演算し、その結果得られるｙ（ｔ）を、注目入力データｘ（ｔ）に対する出力データとして出力する。
【００６８】
以上の処理を、各時刻ｔにおける入力データｘ（ｔ）を対象に行うことで、図１６に示すように、入力データｘ（ｔ）のノイズを効果的に低減（除去）した（真値に近い、従って、Ｓ／Ｎの良い）出力データｙ（ｔ）を得ることができる。
【００６９】
ところで、一次式で表されるモデルは、真値が連続性を有する場合には有効であるが、真値が連続性を有しない場合、即ち、例えば、真値が不連続な変化点を有する場合には、そのような変化点において、一次式で表されるモデルから得られる出力データｙ（ｔ）は、図１７に示すように、その波形が鈍ったものになる。
【００７０】
そこで、前処理部３２は、そこに入力される５サンプルの入力データから、一次式で表されるモデルに適合するもののみを抽出し、線形回帰部４１に供給するようになされている。
【００７１】
即ち、前処理部３２では、注目入力データｘ（ｔ）と、そこに入力される入力データｘ（ここでは、ｘ（ｔ＋２）乃至ｘ（ｔ−２））それぞれと、注目入力データｘ（ｔ）との差分の絶対値（｜ｘ（ｔ）−ｘ｜）が計算され、その絶対値が所定の閾値ｔｈ以下（未満）となる入力データだけが抽出され、線形回帰部４１に供給される。従って、線形回帰部４１では、図１８に示すように、注目入力データを基準とする±ｔｈの範囲内にある入力データのみを用いて線形回帰が行われるため、真値が不連続な変化点において、出力データｙ（ｔ）の波形が鈍ったものになることを防止することができる。即ち、真値が不連続な変化点を有する場合であっても、図１９に示すように、そのような真値に追随するような出力データｙ（ｔ）を得ることができる。
【００７２】
次に、図２０は、本発明を適用したＮＲ処理回路の第３実施の形態の構成例を示している。なお、図中、図１４における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２０のＮＲ処理回路は、ノイズ量推定部５１が新たに設けられている他は、図１４における場合と同様に構成されている。
【００７３】
図１４のＮＲ処理回路においては、前処理部３２において用いられる閾値ｔｈが固定とされていたが、図２０のＮＲ処理回路においては、前処理部３２において用いられる閾値ｔｈが、入力データに含まれるノイズ量に基づいて適応的に設定されるようになされている。
【００７４】
即ち、ノイズ量推定部５１には、前処理部３２に供給されるのと同一の５サンプルの入力データｘ（ｔ＋２）乃至ｘ（ｔ−２）が供給されるようになされており、ノイズ量推定部５１は、入力データのノイズ量を推定し、前処理部３２に供給するようになされている。そして、前処理部３２においては、ノイズ量推定部５１からのノイズ量に基づいて、閾値ｔｈが設定されるようになされている。
【００７５】
次に、図２１のフローチャートを参照して、その動作について説明する。
【００７６】
まず最初に、ステップＳ１１において、５サンプルの入力データｘ（ｔ＋２）乃至ｘ（ｔ−２）が、前処理部３２およびノイズ量推定部５１に入力される。そして、ノイズ量推定部５１では、ステップＳ１２において、５サンプルの入力データｘ（ｔ＋２）乃至ｘ（ｔ−２）に含まれるノイズ量が推定される。即ち、ノイズ量推定部５１は、例えば、５サンプルの入力データｘ（ｔ＋２）乃至ｘ（ｔ−２）の分散が演算され、その分散に基づいて、入力データのノイズ量が推定される。このノイズ量は、ノイズ量推定部５１から前処理部３２に供給される。
【００７７】
前処理部３２は、ステップＳ１３において、ノイズ量推定部５１からのノイズ量に基づいて、閾値ｔｈを設定し、即ち、ノイズ量が大のときは、大きな閾値ｔｈを設定し、ノイズ量が小のときは、小さな閾値ｔｈを設定し、５サンプルの入力データｘ（ｔ＋２）乃至ｘ（ｔ−２）から、注目入力データｘ（ｔ）との差分の絶対値が閾値ｔｈ以下となるものを抽出する。この前処理部３２で抽出された入力データは、モデル化部３３に供給される。
【００７８】
モデル化部３３では、ステップＳ１４において、前処理部３２からの入力データが局所的にモデル化され、これにより、それらの入力データを最も良く近似する一次式ｙ＝ａｔ＋ｂを規定する定数ａおよびｂが求められる。さらに、モデル化部３３では、ステップＳ１５において、ステップＳ１４で求められた定数ａおよびｂを用いて、式ｙ（ｔ）＝ａｔ＋ｂが演算され、その結果得られるｙ（ｔ）が、注目入力データｘ（ｔ）に対する出力データとして出力される。
【００７９】
そして、ステップＳ１６に進み、入力データが終了したかどうかが判定される。ステップＳ１６において、入力データが終了していないと判定された場合、新たな入力データが供給されるのを待って、ステップＳ１１に戻り、ステップＳ１１以降の処理を繰り返す。また、ステップＳ１６において、入力データが終了したと判定された場合、処理を終了する。
【００８０】
次に、図２２は、本発明を適用したＮＲ処理回路の第４実施の形態の構成例を示している。なお、図中、図１４または図２０における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２２のＮＲ処理回路は、誤差計算部６１が新たに設けられていることを除けば、図１４における場合と同様に構成されている。
【００８１】
図１４のＮＲ処理回路においては、前処理部３２において用いられる閾値ｔｈが固定とされていたが、図２２のＮＲ処理回路においては、図２０における場合と同様に、前処理部３２において用いられる閾値ｔｈが、入力データに含まれるノイズ量に基づいて適応的に設定されるようになされている。但し、図２０においては、入力データのノイズ量が、入力データの分散に基づいて推定されるようになされていたが、図２２においては、入力データをモデル化したときのモデル化誤差に基づいて推定されるようになされている。
【００８２】
即ち、誤差計算部６１には、５サンプルの入力データｘ（ｔ＋２）乃至ｘ（ｔ−２）と、その５サンプルの入力データを最も良く近似する一次式ｙ＝ａｔ＋ｂを規定する定数ａおよびｂが供給されるようになされている。
【００８３】
そして、誤差計算部６１は、例えば、次式で示されるモデル化誤差ｅを計算し、そのモデル化誤差ｅに基づいて、入力データのノイズ量を推定する。
【００８４】
e=|a×(t+2)+b-x(t+2)|+|a×(t+1)+b-x(t+1)|+|a×t+b-x(t)|
+|a×(t-1)+b-x(t-1)|+|a×(t-2)+b-x(t-2)|
・・・（３）
【００８５】
誤差計算部６１で得られたノイズ量は、前処理部３２に供給される。そして、前処理部３２では、誤差計算部６１からのノイズ量に基づいて、閾値ｔｈが設定され、以下、図２０における場合と同様の処理が行われる。
【００８６】
以上のように、入力データから、注目入力データと値の近いものを抽出し、その抽出した入力データを局所的にモデル化するようにしたので、そのモデルに当てはまらない入力データの成分、即ち、ノイズを低減することができる。
【００８７】
なお、上述の場合においては、入力データとして、一次元のデータを用いるようにしたが、本発明は、画像などの２次元以上のデータを入力データとする場合にも適用可能である。ここで、入力データがＮ次元の場合には、線形回帰において用いる一次式のモデルは、次式で表される。
【００８８】
【数２】

・・・（４）
【００８９】
また、上述の場合においては、入力データを近似するモデルとして、一次式を用いるようにしたが、入力データを近似するモデルとしては、その他、例えば、Ｎ次多項式や、各種の形状を近似可能なベジェ曲線等を用いることも可能である。
【００９０】
さらに、入力データを近似する手法は、線形回帰に限定されるものではない。
【００９１】
なお、本実施の形態では、本発明について、ノイズの除去という観点から説明を行ったが、本発明によれば、入力データの波形整形（波形等化）などを行うことも可能である。
【００９２】
【発明の効果】
以上の如く、本発明のデータ処理装置およびデータ処理方法によれば、入力データに含まれるノイズを効果的に除去した出力データを得ることができる。
【図面の簡単な説明】
【図１】本発明を適用したＮＲ処理回路の第１実施の形態の構成例を示すブロック図である。
【図２】図１の画像処理部２の構成例を示すブロック図である。
【図３】図２の画像処理部２の動作を説明するためのフローチャートである。
【図４】重み関数を示す図である。
【図５】図２の画像処理部２の動作を説明するための図である。
【図６】図２の重み関数設定部１１の構成例を示すブロック図である。
【図７】シミュレーションに用いた画像を示すディスプレイ上に表示された中間階調の写真である。
【図８】図７の画像を用いたシミュレーション結果を示す図である。
【図９】シミュレーションに用いた画像を示すディスプレイ上に表示された中間階調の写真である。
【図１０】図９の画像を用いたシミュレーション結果を示す図である。
【図１１】注目画素と画素値の近い画素の加重平均によってノイズが除去される原理を説明するための図である。
【図１２】観測値と真値との間の誤差の分布を示す図である。
【図１３】観測値と真値との間の誤差の分布を示す図である。
【図１４】本発明を適用したＮＲ処理回路の第２実施の形態の構成例を示すブロック図である。
【図１５】入力データのモデル化を説明するための図である。
【図１６】図１４のＮＲ処理回路による処理結果を示す図である。
【図１７】図１４のＮＲ処理回路による処理結果を示す図である。
【図１８】図１４の前処理部３２の処理を説明するための図である。
【図１９】図１４のＮＲ処理回路による処理結果を示す図である。
【図２０】本発明を適用したＮＲ処理回路の第３実施の形態の構成例を示すブロック図である。
【図２１】図２０のＮＲ処理回路の動作を説明するためのフローチャートである。
【図２２】本発明を適用したＮＲ処理回路の第４実施の形態の構成例を示すブロック図である。
【符号の説明】
１フレームメモリ部，２画像処理部，３フレームメモリ部，１１重み関数設定部，１２画素値方向重み付け部，１３空間方向重み付け部，１４時間方向重み付け部，１５加算部，２１差分回路，２２ブロック分割回路，２３ＲＭＳ計算回路，２４ヒストグラム生成回路，２５ノイズ量推定回路，２６重み関数設定回路，３１₁乃至３１₄ ラッチ回路，３２前処理部，３３モデル化部，４１線形回帰部，４２出力計算部，５１ノイズ量推定部，６１誤差計算部

Claims

入力データに含まれるノイズ量を推定する推定手段と、
前記入力データのうちの、注目している注目入力データとの差分を引数とする重み関数と、前記注目入力データとの空間的又は時間的な距離を引数とする重み関数とを、前記ノイズ量に基づいて設定する設定手段と、
前記注目入力データに空間的又は時間的に近い前記入力データを、重み付け加算値の計算に用いる処理対象データとして、前記処理対象データに対して、前記差分を引数とする重み関数による重みと、前記距離を引数とする重み関数による重みとを乗算する重み付けを行い、重み付け後の前記処理対象データを加算することにより、前記入力データの処理結果としての出力データを求める処理手段と
を備えるデータ処理装置。
前記入力データは、画像データであり、
前記推定手段は、
前記画像データのフレーム間の画素値の差分で構成される差分フレームを複数のブロックに分割し、
前記複数のブロックそれぞれについて、画素値の差分の平均値を求め、
前記差分フレームの前記複数のブロックそれぞれについて得られた前記平均値のうちの、 0 でない最小値、又は、前記差分フレームの前記複数のブロックそれぞれについて得られた前記平均値の重み付け平均値を、前記ノイズ量として推定する
請求項１に記載のデータ処理装置。
前記重み関数は、ガウス分布であり、
前記設定手段は、前記ガウス分布を規定する標準偏差を、前記ノイズ量に基づいて設定する
請求項１に記載のデータ処理装置。
前記設定手段は、前記ガウス分布を規定する標準偏差を、前記画像データの動きにも基づいて設定する
請求項３に記載のデータ処理装置。
入力データを処理し、その処理結果としての出力データを出力するデータ処理装置が、
前記入力データに含まれるノイズ量を推定し、
前記入力データのうちの、注目している注目入力データとの差分を引数とする重み関数と、前記注目入力データとの空間的又は時間的な距離を引数とする重み関数とを、前記ノイズ量に基づいて設定し、
前記注目入力データに空間的又は時間的に近い前記入力データを、重み付け加算値の計算に用いる処理対象データとして、前記処理対象データに対して、前記差分を引数とする重み関数による重みと、前記距離を引数とする重み関数による重みとを乗算する重み付けを行い、重み付け後の前記処理対象データを加算することにより、前記入力データの処理結果としての出力データを求める
ステップを含むデータ処理方法。