JP4344964B2

JP4344964B2 - 画像処理装置および画像処理方法

Info

Publication number: JP4344964B2
Application number: JP15335499A
Authority: JP
Inventors: 哲二郎近藤; 小林　　直樹
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-06-01
Filing date: 1999-06-01
Publication date: 2009-10-14
Anticipated expiration: 2019-06-01
Also published as: US6970605B1; CN1208947C; JP2000341559A; US7209595B2; KR100844807B1; CN100463495C; CN1292621A; EP1058210A2; US20060274975A1; US20050157938A1; KR20010020938A; US7454083B2; EP1862968A1; CN1674640A; EP1058210A3

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法に関し、特に、例えば、動画像等のデータに含まれるノイズの除去を、より効果的に行うことができるようにする画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
例えば、伝送や再生等された画像データや音声データなどのデータには、一般に、時間的に変動するノイズが含まれているが、データに含まれるノイズを除去する方法としては、従来より、入力データ全体の平均（以下、適宜、全平均という）や、入力データの局所的な平均である移動平均を求めるものなどが知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、全平均を計算する方法は、データに含まれるノイズの度合い、即ち、データのＳ／Ｎ（Signal/Noise）が一定である場合は有効であるが、データのＳ／Ｎが変動する場合には、Ｓ／Ｎの悪いデータが、Ｓ／Ｎの良いデータに影響し、効果的にノイズを除去することが困難となることがある。
【０００４】
また、移動平均を計算する方法では、入力されたデータから時間的に近い位置にあるデータの平均が求められるため、その処理結果は、データのＳ／Ｎの変動の影響を受ける。即ち、データのＳ／Ｎの良い部分については、処理結果のＳ／Ｎも良くなるが、Ｓ／Ｎの悪い部分については、処理結果のＳ／Ｎも悪くなる。
【０００５】
さらに、ノイズを除去する対象が、動画像の画像データである場合には、動きがあるため、各フレームの同一位置にある画素の全平均や移動平均を求めても、有効に、ノイズを除去することが困難なことがある。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、特に、動画像について、その画像データに含まれるノイズの度合いが一定の場合だけでなく、時間的に変動する場合であっても、そのノイズを、効果的に除去することができるようにするものである。
【０００７】
【課題を解決するための手段】
本発明の一側面の画像処理装置は、入力画素を処理し、その処理結果としての出力画素を出力する画像処理装置であって、前記入力画素に含まれるノイズ量に対応する値を、前記入力画素の信頼性を表す入力信頼度として計算する入力信頼度計算手段と、前記入力信頼度の積算値を、前記出力画素の信頼性を表す出力信頼度として計算する出力信頼度計算手段と、前記入力画素の動き量を検出する動き量検出手段と、前記入力画素の動き量に基づいて、前記動き量が大きい場合に、過去の入力信頼度の影響が小さくなるように、前記出力信頼度を補正する補正手段と、前記入力信頼度に比例する重み、および補正された出力信頼度に比例する重みを用いた、前記入力画素と、１時刻前に得られた出力画素との重み付け加算により、現在時刻の出力画素を求める処理手段とを含む画像処理装置である。
【０００８】
本発明の一側面の画像処理方法は、入力画素を処理し、その処理結果としての出力画素を出力する画像処理方法であって、前記入力画素に含まれるノイズ量に対応する値を、前記入力画素の信頼性を表す入力信頼度として計算する入力信頼度計算ステップと、前記入力信頼度の積算値を、前記出力画素の信頼性を表す出力信頼度として計算する出力信頼度計算ステップと、前記入力画素の動き量を検出する動き量検出ステップと、前記入力画素の動き量に基づいて、前記動き量が大きい場合に、過去の入力信頼度の影響が小さくなるように、前記出力信頼度を補正する補正ステップと、前記入力信頼度に比例する重み、および補正された出力信頼度に比例する重みを用いた、前記入力画素と、１時刻前に得られた出力画素との重み付け加算により、現在時刻の出力画素を求める処理ステップとを含む画像処理方法である。
【００１１】
本発明の一側面においては、前記入力画素に含まれるノイズ量に対応する値が、前記入力画素の信頼性を表す入力信頼度として計算され、前記入力信頼度の積算値が、前記出力画素の信頼性を表す出力信頼度として計算されるとともに、前記入力画素の動き量が検出される。そして、前記入力画素の動き量に基づいて、前記動き量が大きい場合に、過去の入力信頼度の影響が小さくなるように、前記出力信頼度が補正され、前記入力信頼度に比例する重み、および補正された出力信頼度に比例する重みを用いた、前記入力画素と、１時刻前に得られた出力画素との重み付け加算により、現在時刻の出力画素が求められる。
【００１３】
【発明の実施の形態】
次に、図１は、本発明を適用したＮＲ（Noise Reduction）処理回路の一実施の形態の構成例を示している。
【００１４】
このＮＲ処理回路は、ノイズ量推定部１およびノイズ除去部２から構成されている。そして、ノイズ量推定部１において、入力データに含まれるノイズ量が推定され、さらに、ノイズ除去部２において、そのノイズ量に基づいて、入力データに対して処理が施され、これにより、入力データからノイズを効果的に除去した出力データが出力されるようになされている。
【００１５】
即ち、例えば、いま、説明を簡単にするために、図２（Ａ）に示すような、真値が一定で、かつ時間的に変動するノイズが重畳された入力データについて、その平均をとることで、時間的に変動するノイズを除去することを考えると、ノイズの度合いとしての、例えば、ノイズのレベルが大きい入力データ（従って、Ｓ／Ｎの悪いデータ）については、その重みを小さくし（あまり考慮しないようにする）、ノイズのレベルの小さい入力データ（従って、Ｓ／Ｎの良いデータ）については、その重みを大きくすることにより、ノイズを効果的に除去することができる。
【００１６】
そこで、図１のＮＲ処理回路では、入力データの評価値として、例えば、図２（Ｂ）に示すような、入力データの、真値に対する近さ、即ち、入力データが真値であることの信頼性を表す信頼度を求め、その信頼度に対応した重み付けを入力データに対して行いながら、その平均を計算することで、ノイズを効果的に除去するようになっている。
【００１７】
従って、図１のＮＲ処理回路では、入力データについて、その信頼度に対応した重みを用いた重み付け平均が求められ、出力データとして出力されるが、いま、時刻ｔにおける入力データ、出力データ、入力データの信頼度を、それぞれｘ（ｔ），ｙ（ｔ），α_x(t)と表すと、次式にしたがって、出力データｙ（ｔ）が求められることになる。
【００１８】
【数１】

・・・（１）
なお、ここでは、入力データの信頼度α_x(t)が大きいほど、大きな重みを与えることとしている。
【００１９】
式（１）から、現在時刻ｔから１サンプル前の出力データｙ（ｔ−１）は、次式で求められる。
【００２０】
【数２】

・・・（２）
また、出力データｙ（ｔ）についても、その出力データｙ（ｔ）の評価値として、真値に対する近さ、即ち、出力データｙ（ｔ）が真値であることの信頼性を表す信頼度α_y(t)を導入し、現在時刻ｔから１サンプル前の出力データｙ（ｔ−１）の信頼度α_y(t-1)を、次式で定義する。
【００２１】
【数３】

・・・（３）
ここで、式（３）によれば、出力データｙ（ｔ−１）の信頼度α_y(t-1)は、それまでに処理された入力データｘ（ｉ）の信頼度α_x(i)の積算値で与えられており（ｉ＝０，１，２，・・・，ｔ−１）、従って、出力データｙ（ｔ−１）の信頼度α_y(t-1)は、いままでに入力された入力データが真値に近いものが多ければ大きくなり、少なければ小さくなることになる。即ち、出力データｙ（ｔ−１）の信頼度α_y(t-1)には、いままでに入力された入力データの真値に対する近さ（信頼性）が反映される。そして、いままでに入力された入力データが真値に近いということは、出力データｙ（ｔ−１）も真値に近いということになり、逆に、いままでに入力された入力データが真値から離れているということは、出力データｙ（ｔ−１）も真値から離れているということになる。従って、式（３）で表される信頼度α_y(t-1)は、出力データｙ（ｔ−１）の真値に対する近さを表すことになる。
【００２２】
式（１）乃至（３）から、出力データｙ（ｔ）およびその信頼度α_y(t)は、次のように表すことができる。
【００２３】
【数４】

・・・（４）
α_y(t)＝α_y(t-1)＋α_x(t)
・・・（５）
また、時刻ｔにおいて、出力データｙ（ｔ）を求めるのに用いる重みを、ｗ（ｔ）と表し、これを、次式で定義する。
【００２４】
ｗ（ｔ）＝α_y(t-1)／（α_y(t-1)＋α_x(t)）
・・・（６）
式（６）から、次式が成り立つ。
【００２５】
１−ｗ（ｔ）＝α_x(t)／（α_y(t-1)＋α_x(t)）
・・・（７）
式（６）および（７）を用いると、式（４）における出力データｙ（ｔ）は、次のような乗算と加算による重み付け平均によって表すことができる。
【００２６】
ｙ（ｔ）＝ｗ（ｔ）ｙ（ｔ−１）＋（１−ｗ（ｔ））ｘ（ｔ）
・・・（８）
なお、式（８）で用いる重みｗ（ｔ）（および１−ｗ（ｔ））は、式（６）から、１サンプル前の出力データｙ（ｔ−１）の信頼度α_y(t-1)と、現在の入力データｘ（ｔ）の信頼度α_x(t)とから求めることができる。また、式（５）における、現在の出力データｙ（ｔ）の信頼度α_y(t)も、その１サンプル前の出力データｙ（ｔ−１）の信頼度α_y(t-1)と、現在の入力データｘ（ｔ）の信頼度α_x(t)とから求めることができる。
【００２７】
ここで、図２（Ｂ）に示した入力データｘ（ｔ）の信頼度α_x(t)は、その近傍の入力データの分散の逆数となっている。そこで、入力データｘ（ｔ）の信頼度α_x(t)、または出力データｙ（ｔ）の信頼度α_y(t)として、それぞれの分散σ_x(t) ²、またはσ_y(t) ²の逆数を用いることとすると、即ち、信頼度α_x(t)，信頼度α_y(t)を、式
α_x(t)＝１／σ_x(t) ²
α_y(t)＝１／σ_y(t) ²
・・・（９）
とおくと、式（８）における重みｗ（ｔ）は、次式で求めることができる。
【００２８】
ｗ（ｔ）＝σ_x(t) ²／（σ_y(t-1) ²＋σ_x(t) ²）
・・・（１０）
この場合、式（８）における１−ｗ（ｔ）は、次式で求めることができる。
【００２９】
１−ｗ（ｔ）＝σ_y(t-1) ²／（σ_y(t-1) ²＋σ_x(t) ²）
・・・（１１）
また、σ_y(t) ²は、次式で求めることができる。
【００３０】
σ_y(t) ²＝ｗ（ｔ）²σ_y(t-1) ²＋（１−ｗ（ｔ））²σ_x(t) ²
・・・（１２）
式（４）と（５）から導かれる式（８）は、式（４）から明らかなように、入力データｘ（ｔ）に対して、その信頼度α_x(t)に相当する重み付けをするとともに、１サンプル前の出力データｙ（ｔ−１）に対して、その信頼度α_y(t-1)に相当する重み付けをし、これらを加算したものを、入力データｘ（ｔ）からノイズを除去した出力データｙ（ｔ）とするものである。
【００３１】
そして、入力データｘ（ｔ）に対する重みに相当する信頼度α_x(t)は、その入力データｘ（ｔ）の真値への近さを表しており、１サンプル前の出力データｙ（ｔ−１）に対する重みに相当する信頼度α_y(t-1)は、その出力データｙ（ｔ−１）の真値への近さを表している。いまの場合、真値が一定としているから、入力データｘ（ｔ）と出力データｙ（ｔ−１）のうちの、より真値に近い方に重みをおいて加算を行う式（８）により出力データｙ（ｔ）を求めれば、この出力データｙ（ｔ）は、より真値に近いものとなることになる。
【００３２】
即ち、式（１）から導かれる（式（１）と等価な）式（８）によって求められる出力データｙ（ｔ）は、過去に入力された入力データのうち、信頼度の小さいものには小さな重み付けをするとともに、信頼度の大きいものには大きな重み付けをし、このような重み付けを行った過去の入力データを積算したものである。より直感的には、出力データｙ（ｔ）は、ノイズを多く含む入力データの影響が小さくなり、かつノイズの少ない入力データの影響が大きくなるように、入力データの加算を行ったものである。
【００３３】
従って、単に平均をとる全平均の場合には、Ｓ／Ｎの悪い入力データも、また良い入力データも、出力データに対して、同等の影響を与えるが、式（８）によれば、Ｓ／Ｎの悪い入力データは、出力データに対して、ほとんど影響を与えず、また、Ｓ／Ｎの良い入力データは、出力データに対して、大きな影響を与える。その結果、単に平均をとる全平均の場合に比較して、より効果的にノイズが除去された出力データを得ることができる。
【００３４】
さらに、移動平均をとる場合には、時間的に離れた入力データは、Ｓ／Ｎの良いものであっても、出力データに対して、まったく影響を与えず、時間的に近い入力データは、Ｓ／Ｎの悪いものであっても、出力データに対して大きな影響を与える。これに対して、式（８）によれば、上述のように、入力データの時間的な近さは関係なく、Ｓ／Ｎの良し悪しによって、出力データに対する影響力が異なる。その結果、移動平均をとる場合に比較して、より効果的にノイズが除去された出力データを得ることができる。
【００３５】
以上から、式（８）によれば、出力データは、信頼度の高い（真値に近い）入力データによる影響によって、真値に近いものとなる。従って、信頼度の高い入力データがより多く処理されるにつれて、出力データは、真値に近づいていくことになる。その結果、出力データのＳ／Ｎは、時間の経過とともに改善されていくことになる。
【００３６】
なお、上述の場合においては、真値が一定であると仮定したが、真値が変化するデータの系列については、例えば、真値が一定であるとみなせる区間に区切り、その区間ごとに、処理を行うようにすれば良い。
【００３７】
また、上述の場合においては、入力データの信頼度（以下、適宜、入力信頼度という）として、その時間的近傍にある幾つかの入力データの分散を用いることとしたが、この場合、その幾つかの入力データの入力があるまでは、入力信頼度、さらには、出力データ、およびその信頼度（以下、適宜、出力信頼度という）を求めることができないが、入力信頼度を求めることができる入力データの入力があるまでは、例えば、入力信頼度および出力信頼度のいずれも計算せず、また、出力データとしては、いままで入力された入力データの単純な平均値を求めて出力するようにすることができる。但し、入力信頼度を求めることができる入力データの入力があるまでの対処方法は、これに限定されるものではない。
【００３８】
図３は、以上のようにして入力データのノイズを除去する図１のＮＲ処理回路の詳細構成例を示している。
【００３９】
ラッチ回路１１₁には、入力データが供給されるようになされており、ラッチ回路１１₁は、そこに供給される入力データを、例えば、その入力データが供給されるタイミングに同期してラッチ（記憶）し、その後段のラッチ回路１１₂およびノイズ計算部１１に供給するようになされている。ラッチ回路１１₂またはラッチ回路１１₃それぞれは、ラッチ回路１１₁と同様に、その前段のラッチ回路１１₁または１１₂が出力する入力データをラッチし、その後段のラッチ回路１１₃または１１₄と、ノイズ計算部１１に供給するようになされている。ラッチ回路１１₄は、その前段のラッチ回路１１₃が出力する入力データをラッチし、ノイズ計算部１１に供給するようになされている。
【００４０】
ノイズ計算部１１には、ラッチ回路１１₁乃至１１₄でラッチされた入力データが供給される他、ラッチ回路１１₁に供給されるのと同一の入力データが供給されるようになされている。従って、いま、ラッチ回路１１₁およびノイズ計算部１１に、入力データｘ（ｔ）が供給されたとすると、ノイズ計算部１１には、さらに、ラッチ回路１１₁乃至１１₄それぞれでラッチされた入力データｘ（ｔ−１）乃至ｘ（ｔ−４）も供給されるようになされている。そして、ノイズ計算部１１は、入力データｘ（ｔ）乃至ｘ（ｔ−４）から、例えば、その分散を計算し、その分散を、入力データｘ（ｔ）のノイズ量と推定して、入力信頼度計算部１２に供給するようになされている。
【００４１】
ここで、以上のノイズ計算部１１およびラッチ回路１１₁乃至１１₄が、図１のノイズ量推定部１に相当する。
【００４２】
入力信頼度計算部１２は、ノイズ計算部１１からのノイズ量に基づいて、入力ｘ（ｔ）の入力信頼度α_x(t)を計算し、出力信頼度計算部１３および重み計算部１５に供給するようになされている。即ち、入力信頼度計算部１２は、ノイズ計算部１１からのノイズ量としての分散の逆数を求め、それを、入力信頼度α_x(t)として出力するようになされている。
【００４３】
出力信頼度計算部１３は、入力信頼度計算部１２からの入力信頼度α_x(t)と、ラッチ回路１４の出力とから、式（５）にしたがって、出力データｙ（ｔ）の出力信頼度α_y(t)を求め、ラッチ回路１４に出力するようになされている。
【００４４】
ラッチ回路１４は、出力信頼度計算部１３からの出力信頼度α_y(t)を、例えば、入力データｘ（ｔ）に同期してラッチし、出力信頼度計算部１３および重み計算部１５に供給するようになされている。従って、ラッチ回路１４から、出力信頼度計算部１３および重み計算部１５には、１サンプル前の出力信頼度α_y(t-1)が供給されるようになされている。
【００４５】
重み計算部１５は、入力信頼度計算部１２からの入力信頼度α_x(t)、およびラッチ回路１４からの出力信頼度α_y(t-1)を用い、式（６）にしたがって、重みｗ（ｔ）を求め、重み付け部２１および演算器２２に出力するようになされている。
【００４６】
重み付け部２１は、重み付け計算部１５からの重みｗ（ｔ）を、ラッチ回路２５の出力に乗算し、その乗算結果を、演算器２４に供給するようになされている。演算器２２は、重み付け計算部１５からの重みｗ（ｔ）を１から減算し、その減算値１−ｗ（ｔ）を、重み付け部２３に供給するようになされている。重み付け部２３には、演算器２２の出力の他、入力データｘ（ｔ）が供給されるようになされており、重み付け部２３は、演算器２２の出力と、入力データｘ（ｔ）とを乗算し、その乗算結果を、演算器２４に供給するようになされている。演算器２４は、重み付け部２１と２３の出力どうしを加算し、その加算結果を、出力データｙ（ｔ）として出力するとともに、ラッチ回路２５に供給するようになされている。ラッチ回路２５は、演算器２４からの出力データを、例えば、入力データｘ（ｔ）に同期してラッチし、重み付け部２１に供給するようになされている。
【００４７】
ここで、入力信頼度計算部１２、出力信頼度計算部１３、ラッチ回路１４、重み計算部１５、重み付け部２１、演算器２２、重み付け部２３、演算器２４、およびラッチ回路２５が、図１のノイズ除去部２に相当する。
【００４８】
次に、図４は、図３のノイズ計算部１１の構成例を示している。
【００４９】
上述したように、ノイズ計算部１１には、現在の入力データｘ（ｔ）の他、その４サンプル前までの入力データｘ（ｔ−１）乃至ｘ（ｔ−４）が入力されるようになされており、ノイズ計算部１１では、図５に示すように、その５サンプルの入力データｘ（ｔ）乃至ｘ（ｔ−４）についての分散が求められ、これが、入力データｘ（ｔ）のノイズ量として出力されるようになされている。
【００５０】
即ち、入力データｘ（ｔ）乃至ｘ（ｔ−４）は、平均値計算回路３１および分散計算回路３２に供給されるようになされている。平均値計算部３１は、次式にしたがって、５サンプルの入力データｘ（ｔ）乃至ｘ（ｔ−４）の平均値ｍ（ｔ）を計算し、分散計算回路３２に供給する。
【００５１】
【数５】

・・・（１３）
ここで、図４の実施の形態においては、式（１３）におけるＮは、５である。
【００５２】
分散計算回路３２は、そこに入力される入力データｘ（ｔ）乃至ｘ（ｔ−４）、および平均値計算回路３１からの平均値ｍ（ｔ）を用い、式（１４）にしたがって、分散σ_x(t)を計算し、これを、入力データｘ（ｔ）のノイズ量として出力する。
【００５３】
【数６】

・・・（１４）
ここで、式（１３）における場合と同様に、図４の実施の形態では、式（１４）におけるＮも、５である。
【００５４】
なお、このノイズ量としての分散σ_x(t)は、入力信頼度計算部１２（図３）に供給され、入力信頼度計算部１２では、次式に示すように、この分散σ_x(t)の逆数が求められ、入力信頼度α_x(t)として出力される。
【００５５】
【数７】

・・・（１５）
次に、図６は、図３の出力信頼度計算部１３の構成例を示している。
【００５６】
同図に示すように、出力信頼度計算部１３は、演算器４１から構成されており、演算器４１には、入力信頼度計算部１２からの現在の入力信頼度α_x(t)と、ラッチ回路１４からの１サンプル前の出力信頼度α_y(t-1)が供給されるようになされている。そして、演算器４１は、式（５）にしたがい、入力信頼度α_x(t)と出力信頼度α_y(t-1)とを加算し、その加算値を、現在の出力信頼度α_y(t)として出力する。
【００５７】
次に、図７および図８を参照して、図３のＮＲ処理回路の動作について説明する。
【００５８】
ＮＲ処理回路では、図７（Ａ）に示すように、現在の入力データｘ（ｔ）に、その４サンプル前までの入力データｘ（ｔ−１）乃至ｘ（ｔ−４）を加えた５サンプルを用いて、その分散σ_x(t) ²が求められ、さらに、その逆数が、入力信頼度α_x(t)として求められる。
【００５９】
また、図７（Ｂ）に示すように、入力信頼度α_x(t)と、１サンプル前の出力信頼度α_y(t-1)から、重みｗ（ｔ）が求められ、その重みｗ（ｔ）に基づき、入力データｘ（ｔ）と１サンプル前の出力データｙ（ｔ−１）との重み付け平均値が計算され、その重み付け平均値が、出力データｙ（ｔ）として出力される。
【００６０】
即ち、図８のフローチャートに示すように、まず最初に、ステップＳ１１において、入力データｘ（ｔ）が、ノイズ量推定部１（ラッチ回路１１₁およびノイズ量計算部１１）、並びにノイズ除去部２（重み付け部２３）に入力される。
【００６１】
そして、ステップＳ１２に進み、ノイズ量推定部１において、入力データｘ（ｔ）のノイズ量が推定され、さらに、ノイズ除去部２の入力信頼度計算部１２において、そのノイズ量から入力信頼度α_x(t)が求められる。
【００６２】
即ち、ノイズ量推定部１のラッチ回路１１₁は、そこに供給される入力データを、その入力データが供給されるタイミングに同期してラッチし、その後段のラッチ回路１１₂およびノイズ量計算部１１に供給する。ラッチ回路１１₂またはラッチ回路１１₃それぞれは、ラッチ回路１１₁と同様に、その前段のラッチ回路１１₁または１１₂が出力する入力データをラッチし、その後段のラッチ回路１１₃または１１₄と、ノイズ量計算部１１に供給する。そして、ラッチ回路１１₄は、その前段のラッチ回路１１₃が出力する入力データをラッチし、ノイズ量計算部１１に供給する。従って、ノイズ量計算部１１には、入力データｘ（ｔ）が供給されるのと同時に、ラッチ回路１１₁乃至１１₄それぞれから入力データｘ（ｔ−１）乃至ｘ（ｔ−４）が供給される。ノイズ量計算部１１は、上述したように、入力データｘ（ｔ）乃至ｘ（ｔ−４）の分散を求め、その分散を、入力データｘ（ｔ）のノイズ量とし、入力信頼度計算部１２に供給する。
【００６３】
入力信頼度計算部１２では、ノイズ計算部１１からのノイズ量の逆数が求められ、これが入力データｘ（ｔ）の入力信頼度α_x(t)として、出力信頼度計算部１３および重み計算部１５に供給される。
【００６４】
入力信頼度計算部１２から重み計算部１５に対して、入力信頼度α_x(t)が供給されるタイミングにおいては、ラッチ回路１４において、出力信頼度計算部１３が１サンプル前に出力した出力信頼度α_y(t-1)がラッチされており、重み計算部１５では、ステップＳ１３において、入力信頼度計算部１２からの入力信頼度α_x(t)と、ラッチ回路１４にラッチされている出力信頼度α_y(t-1)とを用い、式（６）にしたがって、重みｗ（ｔ）が求められる。この重みｗ（ｔ）は、重み付け部２１および演算器２２に供給される。
【００６５】
そして、重み付け部２１、演算器２２、重み付け部２３、演算器２４、およびラッチ回路２５では、ステップＳ１４において、重み計算部１５が出力する重み（ｔ）を用い、式（８）にしたがって、入力データｘ（ｔ）と、１サンプル前の出力データｙ（ｔ−１）との重み付け平均値が計算される。
【００６６】
即ち、重み付け部２１では、重み付け計算部１５からの重みｗ（ｔ）が、ラッチ回路２５の出力に乗算され、その乗算結果が、演算器２４に供給される。ここで、ラッチ回路２５は、重み付け計算部１５が重みｗ（ｔ）を出力するタイミングにおいて、演算器２４が前回出力した出力データｙ（ｔ−１）をラッチしており、従って、重み付け部２１では、出力データｙ（ｔ−１）と重みｗ（ｔ）との積ｗ（ｔ）ｙ（ｔ−１）が求められ、演算器２４に供給される。
【００６７】
また、演算器２２では、重み付け計算部１５からの重みｗ（ｔ）が１から減算され、その減算値１−ｗ（ｔ）が、重み付け部２３に供給される。重み付け部２３は、演算器２２の出力１−ｗ（ｔ）と、入力データｘ（ｔ）とを乗算し、その乗算結果（１−ｗ（ｔ））ｘ（ｔ）を、演算器２４に供給する。
【００６８】
演算器２４では、重み付け部２１の出力ｗ（ｔ）ｙ（ｔ−１）と、重み付け部２３の出力（１−ｗ（ｔ））ｘ（ｔ）とが加算される。即ち、重み計算部１５が出力する重みｗ（ｔ）を用い、式（８）にしたがって、入力データｘ（ｔ）と、１サンプル前の出力データｙ（ｔ−１）との重み付け平均値が計算される。
【００６９】
この重み付け平均値は、ステップＳ１５において、出力データｙ（ｔ）として出力される。さらに、出力データｙ（ｔ）は、ラッチ回路２５に供給されてラッチされる。
【００７０】
そして、ステップＳ１６に進み、まだ、入力データが存在するかどうかが判定され、まだ存在すると判定された場合、ステップＳ１７に進み、出力信頼度計算部１３において、出力信頼度が更新される。即ち、出力信頼度計算部１３は、ステップＳ１２で入力信頼度計算部１２が計算した入力信頼度α_x(t)と、ラッチ回路１４がラッチしている１サンプル前の出力信頼度α_y(t-1)とを、式（５）にしたがって加算することで、現在の出力信頼度α_y(t)を求め、ラッチ回路１４に出力する。そして、ステップＳ１１に戻り、次の入力データを対象に、同様の処理が繰り返される。
【００７１】
一方、ステップＳ１６において、処理すべき入力データが存在しないと判定された場合、処理を終了する。
【００７２】
以上のように、現在の入力データｘ（ｔ）の信頼度（入力信頼度）α_x(t)を求め、それと、１サンプル前の出力信頼度α_y(t-1)とを加味して、重みｗ（ｔ）を計算する。さらに、この重みｗ（ｔ）を用いて、現在の入力データｘ（ｔ）と、１サンプル前の出力データｙ（ｔ−１）との重み付け平均値を計算し、その平均値を、入力データｘ（ｔ）の処理結果としての出力データｙ（ｔ）とする。そして、その出力データｙ（ｔ）の信頼度（出力信頼度）α_y(t)を、現在の入力信頼度α_x(t)と、１サンプル前の出力信頼度α_y(t-1)とを加算することで求め（更新し）、次の入力データｘ（ｔ＋１）を処理することを繰り返す。従って、重みｗ（ｔ）は、過去の入力データにおいて、ノイズの多い部分はあまり加味せずに、かつノイズの少ない部分は十分に加味するようにして、いわば学習されていき、即ち、入力データに対して適応的な重みｗ（ｔ）が求められていき、その結果、出力データは、重みｗ（ｔ）の学習が進むにつれて時々刻々と改善されて、入力データから効果的にノイズを除去したものが得られるようになる。
【００７３】
次に、上述の場合には、入力信頼度α_x(t)として、入力データの分散の逆数を用いたことから、その入力信頼度α_x(t)は、ある時間的範囲の入力データのばらつきを表しており、従って、入力データに含まれるノイズの度合いとしての、例えば、その入力データのＳ／Ｎが変動する場合には、非常に効果的なノイズの除去を行うことができる。
【００７４】
しかしながら、入力信頼度α_x(t)として、入力データの分散の逆数を用いた場合には、分散の性質上、ノイズのレベルの局所的な変化分（ごく狭い範囲における変化）については、ノイズ除去の効果が幾分薄れることになる。
【００７５】
そこで、ノイズのレベルの局所的な変化分については、例えば、入力データの平均値に対する、現在の入力データの自乗誤差の逆数などを、入力信頼度α_x(t)として用いることで、効果的に対処することが可能である。
【００７６】
この場合、入力信頼度α_x(t)は、次のようにして計算することができる。
【００７７】
即ち、例えば、図９に示すように、５サンプルの入力データｘ（ｔ）乃至ｘ（ｔ−４）の平均値ｍ（ｔ）を、式（１６）にしたがって計算する。
【００７８】
【数８】

・・・（１６）
なお、図９の実施の形態においては、式（１６）におけるＮは、５である。
【００７９】
さらに、入力データｘ（ｔ）および平均値ｍ（ｔ）を用い、式（１７）にしたがって、入力データｘ（ｔ）の平均値ｍ（ｔ）に対する自乗誤差ｄ_x(t) ²を計算する。
【００８０】
【数９】

・・・（１７）
そして、次式に示すように、自乗誤差ｄ_x(t) ²の逆数を求めることで、入力信頼度α_x(t)を求める。
【００８１】
【数１０】

・・・（１８）
以上のように、自乗誤差の逆数を、入力信頼度α_x(t)として用いる手法は、平均値ｍ（ｔ）が、真値に近い値となる場合には、特に有効である。
【００８２】
なお、入力信頼度α_x(t)は、上述したように、分散σ_x(t) ²、または自乗誤差ｄ_x(t) ²のいずれか一方だけに基づいて求める他、その２つに基づいて求めることも可能である。即ち、例えば、分散σ_x(t) ²の逆数と、自乗誤差ｄ_x(t) ²逆数との加算値を、入力信頼度α_x(t)として用いることが可能である。
【００８３】
分散σ_x(t) ²は、入力データについて、ある程度広い範囲における局所的な散らばり具合を表し、また、自乗誤差ｄ_x(t) ²は、狭い範囲の局所的な散らばり具合を表すから、それらを組み合わせたものを、入力信頼度α_x(t)として用いた場合には、入力データのＳ／Ｎが変動しており、かつその入力データに含まれるノイズの局所的なレベルも変動しているようなときであっても、効果的に対処することが可能となる。
【００８４】
次に、入力データｘ（ｔ）が、例えば、音声データのような、いわば１次元のデータの系列である場合には、出力データｙ（ｔ−１）は、入力データｘ（ｔ）の１サンプル前の入力データｘ（ｔ−１）の処理結果となるが、入力データｘ（ｔ）が、例えば、画像データのような、いわば２次元のデータの系列である場合、出力データｙ（ｔ−１）は、入力データｘ（ｔ）の１フレーム（またはフィールド）前の入力データｘ（ｔ−１）の処理結果となる。
【００８５】
即ち、いま、第ｔフレームの画素（画素の画素値）をｘ（ｔ）と表し、この画素ｘ（ｔ）を、入力画素として、式（８）によってノイズの除去を行い、その結果得られる出力画素を出力する場合には、入力画素ｘ（ｔ−１）は、例えば、第ｔフレームの入力画素ｘ（ｔ）と空間的に同一位置にある、第ｔ−１フレームの入力画素を表し、従って、ｙ（ｔ−１）は、その入力画素ｘ（ｔ−１）からノイズを除去した出力画素を表す。
【００８６】
この場合、入力データとしての画像に動きがない場合、即ち、入力データとしての画像が静止している場合には問題ないが、入力データとしての画像に動きがある場合（ノイズを除去する対象が動画像である場合）においては、動きのある入力画素ｘ（ｔ）の真値と、それと同一位置にある、１フレーム前の入力画素ｘ（ｔ−１）の真値とは異なるため、入力画素ｘ（ｔ）からノイズを除去した出力画素ｙ（ｔ）を求めるのにあたって、その入力画素ｘ（ｔ）と真値が異なる１フレーム前の入力画素ｘ（ｔ−１）に対する出力画素ｙ（ｔ−１）の出力信頼度α_y(t-1)は、信頼できないものとなる。
【００８７】
即ち、画像に動きがある場合には、入力画素ｘ（ｔ）に対する出力画素ｙ（ｔ）を求めるのに用いる出力画素ｙ（ｔ−１）の出力信頼度α_y(t-1)は、入力画素ｘ（ｔ）の動き量の影響を受け、その動き量に対応する分だけ低下するものと考えられる。
【００８８】
そこで、ここでは、入力画素ｘ（ｔ）の動き量を、ｍ（ｔ）とし、これを補正項として、出力信頼度α_y(t-1)を、（１．０−ｍ（ｔ））×α_y(t-1)に補正することとする。なお、本実施の形態では、動き量ｍ（ｔ）は、０乃至１の範囲の実数値をとるものとする。即ち、動き量ｍ（ｔ）は、入力画素ｘ（ｔ）が完全に静止している場合には０となり、その動きの大きさに応じて大きな値となる。そして、入力画素ｘ（ｔ）の動きが大きく（入力画素ｘ（ｔ）が完全に動いており）、入力画素ｘ（ｔ）の真値が、その１フレーム前の同一位置にある入力画素ｘ（ｔ−１）の真値とまったく関係のない値となっていると考えられる場合には、動き量ｍ（ｔ）は１となる。
【００８９】
この場合、式（５）により求めることとした出力信頼度α_y(t)は、次式により求められることになる。
【００９０】
α_y(t)＝（１．０−ｍ（ｔ））α_y(t-1)＋α_x(t)
・・・（１９）
式（１９）によれば、動き量ｍ（ｔ）が０の場合には、１フレーム前の出力画素ｙ（ｔ−１）の出力信頼度（前回の出力信頼度）α_y(t-1)をそのまま用いて、出力画素ｙ（ｔ）の出力信頼度（今回の出力信頼度）α_y(t)が求められることとなる。一方、動き量ｍ（ｔ）が１の場合には、前回の出力信頼度α_y(t-1)を無視して（用いずに）、即ち、いままで積算してきた入力信頼度を破棄して、今回の出力信頼度α_y(t)が求められることとなる。
【００９１】
また、この場合、式（６）により求めることとした重みｗ（ｔ）は、次式により求められることになる。
【００９２】
w（t）＝（1−m（t））α_y(t-1)／（（1−m（t）α_y(t-1)＋α_x(t)）
・・・（２０）
さらに、式（７）で表される重み１−ｗ（ｔ）は、次式により表されることになる。
【００９３】
１−ｗ（ｔ）＝α_x(t)／（（１−ｍ（ｔ））α_y(t-1)＋α_x(t)）
・・・（２１）
次に、図１０は、以上のように、動き量ｍ（ｔ）を導入し、画像を対象としてノイズの除去を行う場合の図１のＮＲ処理回路の詳細構成例を示している。なお、図中、図３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１０のＮＲ処理回路は、動き量計算部１６が新たに設けられている他は、図３における場合と基本的に同様に構成されている。
【００９４】
動き量計算部１６には、入力データとしての入力画素ｘ（ｔ）が供給されるようになっており、動き量計算部１６は、その入力画素ｘ（ｔ）の動き量ｍ（ｔ）を求めて、出力信頼度計算部１３に供給するようになっている。
【００９５】
ここで、入力画素ｘ（ｔ）の動き量ｍ（ｔ）とは、入力画素ｘ（ｔ）の真値と、その１フレーム前の同一位置の入力画素ｘ（ｔ−１）の真値との差分に対応する値、即ち、入力画素ｘ（ｔ）が動くことによって（入力画素ｘ（ｔ）に表示された画像が動くことによって）生じた真値の変化分に相当するから、基本的には、入力画素ｘ（ｔ）とｘ（ｔ−１）との差分（ｘ（ｔ）−ｘ（ｔ−１））をとることによって求めることができる。
【００９６】
しかしながら、入力画素ｘ（ｔ）とｘ（ｔ−１）との差分には、それらの真値どうしの差分だけでなく、ノイズの変化分（入力画素ｘ（ｔ）に含まれるノイズと、ｘ（ｔ−１）に含まれるノイズとの差分）も含まれるため、入力画素ｘ（ｔ）とｘ（ｔ−１）との差分は、そのノイズの変化分をできるだけ除去した形で求めるのが望ましい。
【００９７】
そこで、動き量計算部１６では、図１１に示すようにして、動き量ｍ（ｔ）が求められるようになっている。
【００９８】
即ち、動き量計算部１６においては、いま動き量ｍ（ｔ）を求めようとしている入力画素ｘ（ｔ）を注目画素として、図１１（Ａ）に示すように、その注目画素（図１１（Ａ）において、斜線を付した○印で示す）を中心とする所定の大きさのブロックが構成され（図１１（Ａ）では、９×９の入力画素のブロックが構成されているが、ブロックの大きさはこれに限定されるものではなく、例えば７×７画素のブロック等であっても良い）、そのブロックから、注目画素との差分絶対値が所定の閾値以内のもの（図１１（Ａ）において、●印で示す）が検出される。さらに、その検出された入力画素と注目画素それぞれについて、その１フレーム前の同一位置にある入力画素との差分が計算され、その差分の平均値が、空間方向におけるノイズの変化分を極力除去した状態の、入力画素ｘ（ｔ）とｘ（ｔ−１）との差分値ｘ（ｔ）−ｘ（ｔ−１）として求められる。
【００９９】
ここで、上述のように、ブロックから入力画素を検出するのに用いる閾値としては、例えば、ノイズ計算部１１で求められるノイズ量の標準偏差の２倍程度の値を用いることができる。
【０１００】
そして、動き量計算部１６では、その差分値ｘ（ｔ）−ｘ（ｔ−１）が、例えば、図１１（Ｂ）に示すような変換関数によって変換され、これにより、０乃至１の範囲の値をとる動き量ｍ（ｔ）が求められる。
【０１０１】
即ち、図１１（Ｂ）の実施の形態では、差分値ｘ（ｔ）−ｘ（ｔ−１）が、所定の閾値ＴＨ０以下のとき、動き量ｍ（ｔ）は０とされる。さらに、差分値ｘ（ｔ）−ｘ（ｔ−１）が、所定の閾値ＴＨ０を越えると、動き量ｍ（ｔ）は、差分値ｘ（ｔ）−ｘ（ｔ−１）に比例して増加する値とされる。そして、差分値ｘ（ｔ）−ｘ（ｔ−１）が、所定の閾値ＴＨ１（＞ＴＨ０）以上となると、動き量ｍ（ｔ）は１とされる。
【０１０２】
ここで、閾値ＴＨ０としては、例えば、０を用いることができる。また、閾値ＴＨ１としては、例えば、ノイズ計算部１１で求められるノイズ量の標準偏差の３倍程度の値を用いることができる。
【０１０３】
なお、上述の場合には、注目画素のフレームの入力画素と、その１フレーム前の入力画素との差分をとることにより、動き量ｍ（ｔ）を求めるようにしたが、動き量ｍ（ｔ）は、その他、例えば、注目画素のフレームの入力画素と、その１フレーム前の出力画素との差分をとることにより求めるようにすることも可能である。
【０１０４】
また、図１１（Ｂ）では、差分値ｘ（ｔ）−ｘ（ｔ−１）が、閾値ＴＨ０以上ＴＨ１以下の場合には、差分値ｘ（ｔ）−ｘ（ｔ−１）を、線形な関数によって、動き量ｍ（ｔ）に変換するようにしたが、差分値ｘ（ｔ）−ｘ（ｔ−１）は、非線形な関数によって、動き量ｍ（ｔ）に変換することも可能である。
【０１０５】
次に、図１２は、図１０の出力信頼度計算部１３の構成例を示している。なお、図中、図６における場合と対応する部分については、同一の符号を付してある。即ち、図１２においては、演算器５１および５２が新たに設けられて、出力信頼度計算部１３が構成されている。
【０１０６】
演算器５１には、動き量計算部１６で求められた動き量ｍ（ｔ）が供給されるようになっており、演算器５１は、１から、その動き量ｍ（ｔ）を減算し、その減算値１−ｍ（ｔ）を演算器５２に供給する。演算器５２には、演算器５１の演算結果１−ｍ（ｔ）の他、ラッチ回路１４から前回の出力信頼度α_y(t-1)が供給されるようになっており、演算器５２は、１−ｍ（ｔ）を補正項として、その補正項を、前回の出力信頼度α_y(t-1)に乗算し、その乗算値（（１−ｍ（ｔ））α_y(t-1)）を、前回の出力信頼度α_y(t-1)を、動き量ｍ（ｔ）に対応して補正した補正結果として、演算器４１に出力する。
【０１０７】
演算器４１は、演算器５２の出力（（１−ｍ（ｔ））α_y(t-1)）に、入力信頼度計算部１２から供給される今回の入力信頼度α_x(t)を加算し、それを、今回の出力信頼度α_y(t)として出力する。即ち、これにより、式（１９）に示した、補正された出力信頼度α_y(t)が求められる。
【０１０８】
以上のように、図１０のＮＲ処理回路では、入力画素ｘ（ｔ）の動き量ｍ（ｔ）に基づいて、出力信頼度α_y(t-1)が補正され、それを用いて、重みｗ（ｔ）が求められる。そして、そのような重みｗ（ｔ）に基づいて、入力画素ｘ（ｔ）に対する出力画素ｙ（ｔ）が求められるので、入力画素ｘ（ｔ）から効果的にノイズを除去した出力画素ｙ（ｔ）を得ることができる。
【０１０９】
なお、図１０の実施の形態においては、上述したようにｘ（ｔ−１）は、ｘ（ｔ）の１フレーム前の入力画素であるから、ラッチ回路１１₄，１４，２５は、そこに入力されるデータを１フレーム分の時間だけラッチ（遅延）して出力するようになっている。
【０１１０】
次に、上述のように、画像を対象としてノイズの除去を行う図１０のＮＲ処理回路におけるラッチ回路１１₁乃至１１₄では、入力画素ｘ（ｔ）が１フレーム分だけ遅延され、これにより、ノイズ量計算部１１においては、いま処理しようとしている入力画素ｘ（ｔ）のフレームを含む過去５フレームの、入力画素ｘ（ｔ）と同一位置にある入力画素ｘ（ｔ）乃至ｘ（ｔ−４）の分散が、入力画素ｘ（ｔ）のノイズ量として求められることとなるが、入力画素ｘ（ｔ）乃至ｘ（ｔ−４）に動きがある場合には、それらの分散は、その動きにも影響されるため、入力画素ｘ（ｔ）乃至ｘ（ｔ−４）の分散を、入力画素ｘ（ｔ）のノイズ量としたのでは、そのノイズ量は、動きによる影響を受けて不正確なものとなる。そして、この場合、そのようなノイズ量を用いて、入力信頼度計算部１２で求められる入力信頼度α_x(t)も不正確なものとなり好ましくない。
【０１１１】
そこで、入力画素ｘ（ｔ）のノイズ量は、例えば、その動きベクトルを求めて、動き補償を行い、その動き補償後の画像を用いて求めるようにすることが可能である。
【０１１２】
しかしながら、この場合、動きベクトルを検出する動きベクトル検出装置や、動き補償を行う動き補償装置が別に必要となる。
【０１１３】
そこで、入力画素ｘ（ｔ）のノイズ量は、例えば、次のようにして求める（推定する）ようにすることができる。
【０１１４】
即ち、例えば、いま、画像に含まれるノイズが、時間的には変動するが、空間的には変動しないものと仮定すると、ノイズを含む画像は、図１３（Ａ）に示すノイズを含まない画像（真値による画像）（以下、適宜、原画像という）と、図１３（Ｂ）に示す、フレームごとには変動するが、空間的には一定のノイズのみによる画像（以下、適宜、ノイズ画像）との加算値となる。
【０１１５】
このようなノイズを含む画像について、図１４に示すように、原画像に対する画素値の誤差の分布、即ち、画素値の分散（または標準偏差）を、そのノイズ量と定義すると、このノイズ量は、例えば、次のようにして、比較的精度良く推定することができる。
【０１１６】
即ち、図１５（Ａ）に示すように、ノイズを含む画像の１フレームを構成する各画素を、順次、注目画素として、その注目画素を中心とする局所領域（空間方向の局所領域）に含まれる画素の分散を計算する。そして、図１５（Ｂ）に示すように、その１フレームについての分散のヒストグラムを求め、最大頻度（最頻値）を与える分散を、その１フレームを構成する各画素に含まれるノイズ量と推定する。
【０１１７】
図１０のＮＲ処理回路におけるノイズ量推定部１には、以上のようにして、入力画素のノイズ量を求めさせるようにすることができ、この場合のノイズ量推定部１の構成例を、図１６に示す。
【０１１８】
フレームメモリ６１には、ノイズを含む画像（入力画像）が供給されるようになっており、フレームメモリ６１は、そこに供給されるノイズを含む画像を、１フレーム単位で記憶するようになっている。
【０１１９】
局所領域分散計算部６２は、フレームメモリ６１に記憶された入力画像を構成する画素（入力画素）を、順次、注目画素として、図１５（Ａ）に示したように、その注目画素を中心とする局所領域に含まれる入力画素の分散を計算し、分散ヒストグラム保存用メモリ６３に供給するようになっている。さらに、局所領域分散計算部６２は、フレームメモリ６１に記憶された入力画像を構成するすべての入力画素を、注目画素として、上述のような分散の計算が終了すると、その旨の終了信号を、ヒストグラム出力信号発生器６４に供給するようにもなっている。
【０１２０】
分散ヒストグラム保存用メモリ６３は、局所領域分散計算部６２から供給される、フレームメモリ６１に記憶された入力画像を構成する各入力画素についての分散のヒストグラムを生成するようになっている。即ち、分散ヒストグラム保存用メモリ６３は、局所領域分散計算部６２から入力画素についての分散を受信すると、その分散に対応するアドレスの記憶値を１だけインクリメントするようになっている。なお、分散ヒストグラム保存用メモリ６３の記憶値は、後述するピーク位置計算部６６から供給されるリセット信号によって、０にリセットされるようになっている。
【０１２１】
ヒストグラム出力信号発生器６４は、局所領域分散計算部６２から終了信号を受信すると、ヒストグラムを出力すべき旨を指示するヒストグラム出力信号を、スイッチ６５に出力するようになっている。スイッチ６５は、ヒストグラム出力信号発生器６４からヒストグラム出力信号を受信すると、一時的に、オフからオン状態になり、これにより、分散ヒストグラム保存用メモリ６３に記憶された分散のヒストグラムを、ピーク位置計算部６６に供給するようになっている。
【０１２２】
ピーク位置計算部６６は、分散ヒストグラム保存用メモリ６３から、スイッチ６５を介して供給される分散のヒストグラムを受信し、そのヒストグラムのピーク値を求め、そのピーク値を与える分散を、入力画像を構成する各入力画素に含まれるノイズ量の推定値として出力するようになっている。なお、ピーク位置計算部６６は、分散ヒストグラム保存用メモリ６３に記憶されている分散のヒストグラムを受信したタイミングで、上述のリセット信号を、分散ヒストグラム保存用メモリ６３に供給するようになっている。
【０１２３】
次に、図１７のフローチャートを参照して、図１６のノイズ量推定部１による、入力画素のノイズ量を推定するノイズ量推定処理について説明する。
【０１２４】
ノイズ量推定部１では、そこに、１フレーム分の入力画像が入力されると、図１７のノイズ量推定処理が行われる。
【０１２５】
即ち、ノイズ量推定処理では、まず最初に、ステップＳ２１において、入力された１フレームの入力画像が、フレームメモリ６１に記憶され、ステップＳ２２に進む。ステップＳ２２では、局所領域分散計算部６２において、フレームメモリ６１に記憶された入力画像を構成する所定の入力画素が、注目画素とされ、その注目画素を中心とする局所領域に含まれる入力画素の分散が計算される。
【０１２６】
この分散は、局所領域分散計算部６２から分散ヒストグラム保存用メモリ６３に供給され、分散ヒストグラム保存用メモリ６３では、ステップＳ２３において、局所領域分散計算部６２から供給される分散に対応するアドレスの記憶値が１だけインクリメントされ、これにより、その分散の頻度が更新される。
【０１２７】
そして、ステップＳ２４に進み、局所領域分散計算部６２において、フレームメモリ６１に記憶された入力画像を構成するすべての入力画素を、注目画素として、分散の計算が終了したか否かが判定される。ステップＳ２４において、フレームメモリ６１に記憶された入力画素すべてについて、まだ分散の計算が終了していないと判定された場合、まだ注目画素とされていない入力画素を、新たに注目画素として、ステップＳ２２に戻り、以下、同様の処理が繰り返される。即ち、以上のようにして、ステップＳ２２乃至Ｓ２４の処理が繰り返され、これにより、分散ヒストグラム保存用メモリ６３において、フレームメモリ６１に記憶された入力画像を構成する各入力画素についての分散のヒストグラムが生成される。
【０１２８】
一方、ステップＳ２４において、フレームメモリ６１に記憶された入力画素すべてについて、分散の計算が終了したと判定された場合、即ち、分散ヒストグラム保存用メモリ６３において、フレームメモリ６１に記憶された入力画像を構成する各入力画素についての分散のヒストグラムが生成された場合、局所領域分散計算部６２は、終了信号を、ヒストグラム出力信号発生器６４に供給し、この終了信号を受信したヒストグラム出力信号発生器６４では、ヒストグラム出力信号が、スイッチ６５に出力される。これにより、スイッチ６５は、一時的に、オフからオン状態になり、分散ヒストグラム保存用メモリ６３に記憶された分散のヒストグラムが、ピーク位置計算部６６に供給される。
【０１２９】
ピーク位置計算部６６では、分散ヒストグラム保存用メモリ６３から、スイッチ６５を介して供給される分散のヒストグラムを受信すると、ステップＳ２５において、そのヒストグラムのピーク値が求められ、ステップＳ２６に進む。そして、ステップＳ２６では、ピーク位置計算部６６において、そのヒストグラムのピーク値を与える分散が、入力画像を構成する各入力画素に含まれるノイズ量の推定値として出力されるとともに、リセット信号が、分散ヒストグラム保存用メモリ６３に供給され、これにより、分散ヒストグラム保存用メモリ６３の記憶値が０にリセットされて、ノイズ量推定処理を終了する。
【０１３０】
以上のように、１フレームを構成する入力画素それぞれについて、各入力画素を含む局所領域における分散を計算し、そのヒストグラムのピーク値を求めて、そのピーク値を与える分散を、入力画素に含まれるノイズ量としたので、その１フレームの画素のノイズ量を、その１フレームのみを用い、かつ動きベクトル検出装置や動き補償装置等を新たな設けることなく、比較的精度良く推定することができる。
【０１３１】
即ち、１フレームを構成する画素すべてを用いて分散を求めた場合には、その分散は、１フレームの画像に含まれるノイズによる分散だけでなく、その画像（原画像）が有している分散の影響も受けるため、１フレームを構成する画素すべてを用いた分散では、そこに含まれるノイズを、精度良く推定することは困難である。
【０１３２】
一方、上述したように、１フレームを構成する入力画素それぞれについて、各入力画素を含む局所領域を考えると、その局所領域には、ノイズによる分散と、原画像が有している分散とが混在するものの他、ノイズによる分散が支配的なものも存在する。ここで、このノイズによる分散が支配的な局所領域とは、原画像において平坦になっている部分や、平坦に近い部分が該当する。
【０１３３】
そして、例えば、自然画像について、１フレームを構成する入力画素それぞれを含む局所領域の分散のヒストグラムを作成すると、そのヒストグラムにおいては、エッジが多数存在するような画像を除いて、一般に、ノイズによる分散が支配的な局所領域の分散が、ピークとして現れる傾向がある。図１６のノイズ量推定部１によるノイズ量推定処理は、このような性質を利用して、比較的精度良く、ノイズ量を推定するようになっている。
【０１３４】
図１８は、ある自然画像を原画像とし、その原画像に、上述のようなノイズ画像を重畳して得られた入力画像（ノイズを含む画像）について求めた、原画像、ノイズ画像、入力画像に関する、上述したような局所領域の分散のヒストグラムを示している。
【０１３５】
図１８においては、実線、２点破線、細い点線が、入力画像、ノイズ画像、原画像について求められた分散のヒストグラムを、それぞれ表しており、入力画像についてのヒストグラムのピークの位置と、ノイズ画像についてのヒストグラムのピークの位置とが、ほぼ一致しているのが分かる。なお、図１８のヒストグラムを求めるのにあたっては、局所領域は、５×５画素の正方形のブロックを用いている。
【０１３６】
図１９は、図１７で説明したノイズ量推定処理によって、入力画像に含まれるノイズ量を推定したシミュレーション結果を示している。
【０１３７】
図１９においては、実線が、ノイズ画像についての分散を表しており、点線が、そのノイズ画像を、原画像に重畳して得られた入力画像を対象に、ノイズ量推定処理を行うことで求められたノイズ量としての分散を示している。
【０１３８】
シミュレーションに用いたノイズ画像は、他のフレームに比較して、第２０フレーム乃至第４０フレームで、分散が小さくなるものであるが、図１９から、そのようなノイズ画像が重畳されている入力画像について、比較的精度良く、ノイズ量が推定されていることが分かる。
【０１３９】
なお、本発明は、それ専用のハードウェアによっても、また、上述したような処理を行うためのプログラムを、コンピュータに実行させることによっても、実現可能である。
【０１４０】
また、本実施の形態では、本発明について、ノイズの除去という観点から説明を行ったが、上述したように、入力データは、出力データが時間の経過とともに改善されるように処理されていくので、本発明は、その他、例えば、入力データの波形整形（波形等化）などを行う場合に適用することも可能である。
【０１４１】
さらに、図１７のノイズ量推定処理では、１フレームの画像を構成する各画素に共通のノイズ量を推定するようにしたが、ノイズ量は、その他、例えば、１フレームの画像を幾つかの領域に分けて、各領域ごとに推定することも可能であるし、また、複数フレームについて共通に推定することも可能である。
【０１４２】
【発明の効果】
以上の如く、本発明の一側面によれば、入力画素から、ノイズを効果的に除去した出力画素を得ること等が可能となる。
【図面の簡単な説明】
【図１】本発明を適用したＮＲ処理回路の一実施の形態の構成例を示すブロック図である。
【図２】図１のＮＲ処理回路の処理対象となる入力データと、その信頼度を示す図である。
【図３】図１のＮＲ処理回路の第１の詳細構成例を示すブロック図である。
【図４】図３のノイズ計算部１１の構成例を示すブロック図である。
【図５】図３の入力信頼度計算部１２の処理を説明するための図である。
【図６】図３の出力信頼度計算部１３の構成例を示すブロック図である。
【図７】図３のＮＲ処理回路の処理を説明するための図である。
【図８】図３のＮＲ処理回路の処理を説明するためのフローチャートである。
【図９】入力信頼度の算出方法を説明するための図である。
【図１０】図１のＮＲ処理回路の第２の詳細構成例を示すブロック図である。
【図１１】図１０の動き量計算部１６における動き量の算出方法を説明するための図である。
【図１２】図１０の出力信頼度計算部１３の構成例を示すブロック図である。
【図１３】ノイズ量を推定する対象とする入力画像を説明するための図である。
【図１４】ノイズ量を説明するための図である。
【図１５】本発明によるノイズ量の推定方法を説明するための図である。
【図１６】図１０のノイズ量推定部１の他の構成例を示すブロック図である。
【図１７】図１６のノイズ量推定部１によるノイズ量推定処理を説明するためのフローチャートである。
【図１８】原画像、ノイズ画像、入力画像それぞれのノイズ量のヒストグラムを示す図である。
【図１９】本発明によるノイズ量の推定を行ったシミュレーション結果を示す図である。
【符号の説明】
１ノイズ量推定部，２ノイズ除去部，１１ノイズ計算部，１１₁乃至１１₄ ラッチ回路，１２入力信頼度計算部，１３出力信頼度計算部，１４ラッチ回路，１５重み計算部，１６動き量計算部，２１重み付け部，２２演算器，２３重み付け部，２４演算器，２５ラッチ回路，３１平均値計算回路，３２分散計算回路，３３逆数計算回路，４１，５１，５２演算器，６１フレームメモリ，６２局所領域分散計算部，６３分散ヒストグラム保存用メモリ，６４ヒストグラム出力信号発生器，６５スイッチ，６６ピーク位置計算部

Claims

入力画素を処理し、その処理結果としての出力画素を出力する画像処理装置であって、
前記入力画素に含まれるノイズ量に対応する値を、前記入力画素の信頼性を表す入力信頼度として計算する入力信頼度計算手段と、
前記入力信頼度の積算値を、前記出力画素の信頼性を表す出力信頼度として計算する出力信頼度計算手段と、
前記入力画素の動き量を検出する動き量検出手段と、
前記入力画素の動き量に基づいて、前記動き量が大きい場合に、過去の入力信頼度の影響が小さくなるように、前記出力信頼度を補正する補正手段と、
前記入力信頼度に比例する重み、および補正された出力信頼度に比例する重みを用いた、前記入力画素と、１時刻前に得られた出力画素との重み付け加算により、現在時刻の出力画素を求める処理手段と
を含む画像処理装置。
前記動き量検出手段は、注目している入力画素を含む所定のブロックを構成する入力画素それぞれと、そのブロックと同一位置にある、隣接する画面のブロックを構成する入力画素それぞれとの差分に基づいて、注目している入力画素の動き量を求める
請求項１に記載の画像処理装置。
前記動き量検出手段は、注目している入力画素を含む所定のブロックを構成する入力画素のうち、注目している入力画素との差分値が所定の閾値以内のもののみを用いて、前記動き量を求める
請求項２に記載の画像処理装置。
前記動き量検出手段は、前記差分の平均値に基づいて、前記動き量を求める
請求項２に記載の画像処理装置。
前記入力画素に含まれるノイズ量を推定するノイズ量推定手段をさらに含む
請求項１に記載の画像処理装置。
前記ノイズ量推定手段は、
１画面を構成する前記入力画素それぞれについて、各入力画素を含む局所領域における分散を計算する分散計算手段と、
１画面を構成する前記入力画素それぞれについての前記分散のヒストグラムを生成するヒストグラム生成手段と、
前記ヒストグラムに基づいて、前記入力画素に含まれるノイズ量を求めるノイズ量算出手段と
を有する
請求項５に記載の画像処理装置。
前記ノイズ量算出手段は、前記ヒストグラムのピーク値を求め、そのピーク値を与える前記分散に対応する値を、前記ノイズ量として求める
請求項６に記載の画像処理装置。
前記入力信頼度計算手段は、複数の前記入力画素の分散と、複数の前記入力画素の平均値に対する誤差とを、前記ノイズ量として、前記分散に対応する値と、前記誤差に対応する値との加算値を、前記入力信頼度として計算する
請求項１に記載の画像処理装置。
入力画素を処理し、その処理結果としての出力画素を出力する画像処理方法であって、
前記入力画素に含まれるノイズ量に対応する値を、前記入力画素の信頼性を表す入力信頼度として計算する入力信頼度計算ステップと、
前記入力信頼度の積算値を、前記出力画素の信頼性を表す出力信頼度として計算する出力信頼度計算ステップと、
前記入力画素の動き量を検出する動き量検出ステップと、
前記入力画素の動き量に基づいて、前記動き量が大きい場合に、過去の入力信頼度の影響が小さくなるように、前記出力信頼度を補正する補正ステップと、
前記入力信頼度に比例する重み、および補正された出力信頼度に比例する重みを用いた、前記入力画素と、１時刻前に得られた出力画素との重み付け加算により、現在時刻の出力画素を求める処理ステップと
を含む画像処理方法。