JP4344968B2 - 画像処理装置および画像処理方法、並びにデータ処理装置およびデータ処理方法 - Google Patents
画像処理装置および画像処理方法、並びにデータ処理装置およびデータ処理方法 Download PDFInfo
- Publication number
- JP4344968B2 JP4344968B2 JP30664899A JP30664899A JP4344968B2 JP 4344968 B2 JP4344968 B2 JP 4344968B2 JP 30664899 A JP30664899 A JP 30664899A JP 30664899 A JP30664899 A JP 30664899A JP 4344968 B2 JP4344968 B2 JP 4344968B2
- Authority
- JP
- Japan
- Prior art keywords
- reliability
- input
- output
- pixel
- input pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 72
- 238000003672 processing method Methods 0.000 title claims description 16
- 239000013598 vector Substances 0.000 claims description 122
- 238000000034 method Methods 0.000 claims description 43
- 238000012937 correction Methods 0.000 claims description 36
- 230000007423 decrease Effects 0.000 claims description 10
- 230000015654 memory Effects 0.000 description 106
- 238000001514 detection method Methods 0.000 description 41
- 230000014509 gene expression Effects 0.000 description 28
- 230000010354 integration Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 6
- 238000009825 accumulation Methods 0.000 description 4
- 230000001934 delay Effects 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Picture Signal Circuits (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、並びにデータ処理装置およびデータ処理方法に関し、特に、例えば、動画像等のデータに含まれるノイズの除去を、より効果的に行うことができるようにする画像処理装置および画像処理方法、並びにデータ処理装置およびデータ処理方法に関する。
【０００２】
【従来の技術】
例えば、伝送や再生等された画像データや音声データなどのデータには、一般に、時間的に変動するノイズが含まれているが、データに含まれるノイズを除去する方法としては、従来より、入力データ全体の平均（以下、適宜、全平均という）や、入力データの局所的な平均である移動平均を求めるものなどが知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、全平均を計算する方法は、データに含まれるノイズの度合い、即ち、データのＳ／Ｎ（Signal/Noise）が一定である場合は有効であるが、データのＳ／Ｎが変動する場合には、Ｓ／Ｎの悪いデータが、Ｓ／Ｎの良いデータに影響し、効果的にノイズを除去することが困難となることがある。
【０００４】
また、移動平均を計算する方法では、入力されたデータから時間的に近い位置にあるデータの平均が求められるため、その処理結果は、データのＳ／Ｎの変動の影響を受ける。即ち、データのＳ／Ｎの良い部分については、処理結果のＳ／Ｎも良くなるが、Ｓ／Ｎの悪い部分については、処理結果のＳ／Ｎも悪くなる。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、データに含まれるノイズの度合いが一定の場合だけでなく、時間的に変動する場合であっても、そのノイズを、効果的に除去することができるようにするものである。
【０００６】
【課題を解決するための手段】
本発明の第１の側面の画像処理装置は、入力画素を処理し、その処理結果としての出力画素を出力する画像処理装置であって、前記入力画素の動きを判定する動き判定手段と、前記入力画素の動きの判定結果に基づいて、その入力画素の静止している部分のノイズ量を推定する推定手段と、前記ノイズ量に基づいて、前記ノイズ量が小さいほど大きくなる値を、前記入力画素の信頼性を表す入力信頼度として計算する入力信頼度計算手段と、前記入力信頼度の積算値を、前記出力画素の信頼性を表す出力信頼度として計算する出力信頼度計算手段と、前記入力信頼度に比例する重み、および、前記出力信頼度に比例する重みを用いた、前記入力画素と、１画面前に得られた出力画素との重み付け加算により、現在時刻の出力画素を求める処理手段とを含む画像処理装置である。
【０００７】
本発明の第１の側面の画像処理方法は、入力画素を処理し、その処理結果としての出力画素を出力する画像処理方法であって、前記入力画素の動きを判定する動き判定ステップと、前記入力画素の動きの判定結果に基づいて、その入力画素の静止している部分のノイズ量を推定する推定ステップと、前記ノイズ量に基づいて、前記ノイズ量が小さいほど大きくなる値を、前記入力画素の信頼性を表す入力信頼度として計算する入力信頼度計算ステップと、前記入力信頼度の積算値を、前記出力画素の信頼性を表す出力信頼度として計算する出力信頼度計算ステップと、前記入力信頼度に比例する重み、および、前記出力信頼度に比例する重みを用いた、前記入力画素と、１画面前に得られた出力画素との重み付け加算により、現在時刻の出力画素を求める処理ステップとを含む画像処理方法である。
【０００８】
本発明の第２の側面のデータ処理装置は、入力画素を処理し、その処理結果としての出力画素を出力するデータ処理装置であって、前記入力画素のノイズ量が小さいほど大きくなる値を、前記入力画素の信頼性を表す入力信頼度として計算する入力信頼度計算手段と、前記入力信頼度の積算値を、前記出力画素の信頼性を表す出力信頼度として計算する出力信頼度計算手段と、前記入力画素の動きベクトルの信頼性を表すベクトル信頼度を、前記出力信頼度の補正に用いる出力補正項として算出する出力補正項算出手段と、前記出力信頼度を、前記出力補正項に基づいて補正する出力補正手段と、前記入力信頼度に比例する重み、および補正された前記出力信頼度に比例する重みを用いた、前記入力画素と、１画面前に得られた出力画素との重み付け加算により、現在時刻の出力画素を求める処理手段とを含むデータ処理装置である。
【０００９】
本発明の第２の側面のデータ処理方法は、入力画素を処理し、その処理結果としての出力画素を出力するデータ処理方法であって、前記入力画素のノイズ量が小さいほど大きくなる値を、前記入力画素の信頼性を表す入力信頼度として計算する入力信頼度計算ステップと、前記入力信頼度の積算値を、前記出力画素データの信頼性を表す出力信頼度として計算する出力信頼度計算ステップと、前記入力画素の動きベクトルの信頼性を表すベクトル信頼度を、前記出力信頼度の補正に用いる出力補正項として算出する出力補正項算出ステップと、前記出力信頼度を、前記出力補正項に基づいて補正する出力補正ステップと、前記入力信頼度に比例する重み、および補正された前記出力信頼度に比例する重みを用いた、前記入力画素と、１画面前に得られた出力画素との重み付け加算により、現在時刻の出力画素を求める処理ステップとを含むデータ処理方法である。
【００１０】
本発明の第１の側面においては、前記入力画素の動きが判定され、前記入力画素の動きの判定結果に基づいて、その入力画素の静止している部分のノイズ量が推定される。さらに、前記ノイズ量に基づいて、前記ノイズ量が小さいほど大きくなる値が、前記入力画素の信頼性を表す入力信頼度として計算され、前記入力信頼度の積算値が、前記出力画素の信頼性を表す出力信頼度として計算される。そして、前記入力信頼度に比例する重み、および、前記出力信頼度に比例する重みを用いた、前記入力画素と、１画面前に得られた出力画素との重み付け加算により、現在時刻の出力画素が求められる。
【００１１】
本発明の第２の側面においては、前記入力画素のノイズ量が小さいほど大きくなる値が、前記入力画素の信頼性を表す入力信頼度として計算され、前記入力信頼度の積算値が、前記出力データの信頼性を表す出力信頼度として計算される。さらに、前記入力画素の動きベクトルの信頼性を表すベクトル信頼度が、前記出力信頼度の補正に用いる出力補正項として算出され、前記出力信頼度が、前記出力補正項に基づいて補正される。そして、前記入力信頼度に比例する重み、および補正された前記出力信頼度に比例する重みを用いた、前記入力画素と、１画面前に得られた出力画素との重み付け加算により、現在時刻の出力画素が求められる。
【００１２】
【発明の実施の形態】
以下、本発明を適用したノイズ除去装置について説明するが、その前に、本発明によるノイズ除去の原理について説明する。
【００１３】
いま、説明を簡単にするために、図１（Ａ）に示すような、真値が一定で、かつ時間的に変動するノイズが重畳された入力データについて、その足し込み（積算）を行うことで、時間的に変動するノイズを除去することを考えると、ノイズの度合いとしての、例えば、ノイズのレベルが大きい入力データ（従って、Ｓ／Ｎの悪いデータ）については、その重みを小さくし（あまり考慮しないようにする）、ノイズのレベルの小さい入力データ（従って、Ｓ／Ｎの良いデータ）については、その重みを大きくして足し込みを行うことにより、ノイズを効果的に除去することができる。
【００１４】
従って、入力データの評価値として、例えば、図１（Ｂ）に示すような、入力データの、真値に対する近さ、即ち、入力データが真値であることの信頼性を表す信頼度を求め、その信頼度に対応した重み付けを入力データに対して行いながら、その平均（重み付け加算値）を計算することで、ノイズを効果的に除去することができる。
【００１５】
そこで、いま、時刻ｔにおける入力データ、出力データ、入力データの信頼度を、それぞれｘ（ｔ），ｙ（ｔ），αｘ（ｔ）と表すと、次式にしたがい、入力データｘ（ｔ）について、その信頼度αｘ（ｔ）に対応した重みを用いた重み付け加算を行うことで、ノイズを効果的に除去した出力データｙ（ｔ）を得ることができる。
【００１６】
【数１】
・・・（１）
ここで、式（１）では、入力データｘ（ｔ）には、その信頼度αｘ（ｔ）が大きいほど、大きな重みが与えられる。
【００１７】
式（１）から、現在時刻ｔから１サンプル前の出力データｙ（ｔ−１）は、次式で求められる。
【００１８】
【数２】
・・・（２）
【００１９】
また、出力データｙ（ｔ）についても、その出力データｙ（ｔ）の評価値として、真値に対する近さ、即ち、出力データｙ（ｔ）が真値であることの信頼性を表す信頼度αｙ（ｔ）を導入し、現在時刻ｔから１サンプル前の出力データｙ（ｔ−１）の信頼度αｙ（ｔ−１）を、次式で定義する。
【００２０】
【数３】
・・・（３）
ここで、式（３）によれば、出力データｙ（ｔ−１）の信頼度αｙ（ｔ−１）は、それまでに処理された入力データｘ（ｉ）の信頼度αｘ（ｉ）の積算値で与えられており（ｉ＝０，１，２，・・・，ｔ−１）、従って、出力データｙ（ｔ−１）の信頼度αｙ（ｔ−１）は、いままでに入力された入力データが真値に近いものが多ければ大きくなり、少なければ小さくなることになる。即ち、出力データｙ（ｔ−１）の信頼度αｙ（ｔ−１）には、いままでに入力された入力データの真値に対する近さ（信頼性）が反映される。そして、いままでに入力された入力データが真値に近いということは、出力データｙ（ｔ−１）も真値に近いということになり、逆に、いままでに入力された入力データが真値から離れているということは、出力データｙ（ｔ−１）も真値から離れているということになる。従って、式（３）で表される信頼度αｙ（ｔ−１）は、出力データｙ（ｔ−１）の真値に対する近さを表すことになる。
【００２１】
式（１）乃至（３）から、出力データｙ（ｔ）と、その信頼度αｙ（ｔ）は、式（４）と（５）でそれぞれ表される。
【００２２】
【数４】
・・・（４）
αｙ（ｔ）＝αｙ（ｔ−１）＋αｘ（ｔ）
・・・（５）
【００２３】
また、時刻ｔにおいて、出力データｙ（ｔ）を求めるのに用いる重みを、ｗ（ｔ）と表し、これを、次式で定義する。
【００２４】
ｗ（ｔ）＝αｙ（ｔ−１）／（αｙ（ｔ−１）＋αｘ（ｔ））
・・・（６）
【００２５】
式（６）から、次式が成り立つ。
【００２６】
１−ｗ（ｔ）＝αｘ（ｔ）／（αｙ（ｔ−１）＋αｘ（ｔ））
・・・（７）
【００２７】
式（６）および（７）を用いると、式（４）における出力データｙ（ｔ）は、次のような乗算と加算による重み付け平均（重み付け加算）によって表すことができる。
【００２８】
ｙ（ｔ）＝ｗ（ｔ）ｙ（ｔ−１）＋（１−ｗ（ｔ））ｘ（ｔ）
・・・（８）
【００２９】
なお、式（８）で用いる重みｗ（ｔ）（および１−ｗ（ｔ））は、式（６）から、１サンプル前の出力データｙ（ｔ−１）の信頼度αｙ（ｔ−１）と、現在の入力データｘ（ｔ）の信頼度αｘ（ｔ）とから求めることができる。また、式（５）における現在の出力データｙ（ｔ）の信頼度αｙ（ｔ）も、その１サンプル前の出力データｙ（ｔ−１）の信頼度αｙ（ｔ−１）と、現在の入力データｘ（ｔ）の信頼度αｘ（ｔ）とから求めることができる。
【００３０】
ここで、入力データｘ（ｔ）の信頼度αｘ（ｔ）、または出力データｙ（ｔ）の信頼度αｙ（ｔ）として、それぞれの時間的近傍にある幾つかの入力データまたは出力データの分散σｘ（ｔ）２、またはσｙ（ｔ）２の逆数を用いることとすると、即ち、信頼度αｘ（ｔ），信頼度αｙ（ｔ）を、式
αｘ（ｔ）＝１／σｘ（ｔ）２
αｙ（ｔ）＝１／σｙ（ｔ）２
・・・（９）
とおくと、式（８）における重みｗ（ｔ）は、次式で求めることができる。
【００３１】
ｗ（ｔ）＝σｘ（ｔ）２／（σｙ（ｔ−１）２＋σｘ（ｔ）２）
・・・（１０）
【００３２】
この場合、式（８）における１−ｗ（ｔ）は、次式で求めることができる。
【００３３】
ｗ（ｔ）＝σｙ（ｔ−１）２／（σｙ（ｔ−１）２＋σｘ（ｔ）２）
・・・（１１）
【００３４】
また、σｙ（ｔ）２は、次式で求めることができる。
【００３５】
σｙ（ｔ）２＝ｗ（ｔ）２σｙ（ｔ−１）２＋（１−ｗ（ｔ））２σｘ（ｔ）２
・・・（１２）
【００３６】
式（４）と（５）から導かれる式（８）は、式（４）から明らかなように、入力データｘ（ｔ）に対して、その信頼度αｘ（ｔ）に相当する重み付けをするとともに、１サンプル前の出力データｙ（ｔ−１）に対して、その信頼度αｙ（ｔ−１）に相当する重み付けをし、これらを加算したものを、入力データｘ（ｔ）からノイズを除去した出力データｙ（ｔ）とするものである。
【００３７】
そして、入力データｘ（ｔ）に対する重みに相当する信頼度αｘ（ｔ）は、その入力データｘ（ｔ）の真値への近さを表しており、１サンプル前の出力データｙ（ｔ−１）に対する重みに相当する信頼度αｙ（ｔ−１）は、その出力データｙ（ｔ−１）の真値への近さを表している。いまの場合、真値が一定としているから、入力データｘ（ｔ）と出力データｙ（ｔ−１）のうちの、より真値に近い方に重みをおいて加算を行う式（８）により出力データｙ（ｔ）を求めれば、この出力データｙ（ｔ）は、より真値に近いものとなることになる。
【００３８】
即ち、式（１）から導かれる（式（１）と等価な）式（８）によって求められる出力データｙ（ｔ）は、過去に入力された入力データのうち、信頼度の小さいものには小さな重み付けをするとともに、信頼度の大きいものには大きな重み付けをし、このような重み付けを行った過去の入力データを積算したものである。より直感的には、出力データｙ（ｔ）は、ノイズを多く含む入力データの影響が小さくなり、かつノイズの少ない入力データの影響が大きくなるように、入力データの加算を行ったものである。
【００３９】
従って、単に平均をとる全平均の場合には、Ｓ／Ｎの悪い入力データも、また良い入力データも、出力データに対して、同等の影響を与えるが、式（８）によれば、Ｓ／Ｎの悪い入力データは、出力データに対して、ほとんど影響を与えず、また、Ｓ／Ｎ良い入力データは、出力データに対して、大きな影響を与える。その結果、単に平均をとる全平均の場合に比較して、より効果的にノイズが除去された出力データを得ることができる。
【００４０】
さらに、移動平均をとる場合には、時間的に離れた入力データは、Ｓ／Ｎの良いものであっても、出力データに対して、まったく影響を与えず、時間的に近い入力データは、Ｓ／Ｎの悪いものであっても、出力データに対して大きな影響を与える。これに対して、式（８）によれば、上述のように、入力データの時間的な近さは関係なく、Ｓ／Ｎの良し悪しによって、出力データに対する影響力が異なる。その結果、移動平均をとる場合に比較して、より効果的にノイズが除去された出力データを得ることができる。
【００４１】
以上から、式（８）によれば、出力データは、信頼度の高い（真値に近い）入力データによる影響によって、真値に近いものとなる。従って、信頼度の高い入力データが処理されるにつれて、出力データは、真値に近づいていくことになる。即ち、出力データのＳ／Ｎは、時間の経過とともに改善されていく。
【００４２】
なお、上述の場合においては、真値が一定であると仮定したが、真値が変化するデータの系列については、例えば、真値が一定であるとみなせる区間に区切り、その区間ごとに、処理を行うようにすれば良い。
【００４３】
また、上述の場合においては、入力データの信頼度（以下、適宜、入力信頼度という）として、その時間的近傍にある幾つかの入力データの分散を用いることとしたため、その幾つかの入力データの入力があるまでは、入力信頼度、さらには、出力データ、およびその信頼度（以下、適宜、出力信頼度という）を求めることができないが、入力信頼度を求めることができる入力データの入力があるまでは、例えば、入力信頼度および出力信頼度のいずれも計算せず、また、出力データとしては、いままで入力された入力データの単純な平均値を求めて出力するようにすることができる。但し、入力信頼度を求めることができる入力データの入力があるまでの対処方法は、これに限定されるものではない。
【００４４】
次に、入力データｘ（ｔ）が、例えば、音声データのような、いわば１次元のデータの系列である場合には、出力データｙ（ｔ−１）は、入力データｘ（ｔ）の１サンプル前の入力データｘ（ｔ−１）の処理結果となるが、入力データｘ（ｔ）が、例えば、画像データのような、いわば２次元のデータの系列である場合、出力データｙ（ｔ−１）は、入力データｘ（ｔ）の、例えば１フレーム（またはフィールド）前の入力データｘ（ｔ−１）の処理結果となる。
【００４５】
即ち、いま、第ｔフレームの画素（正確には、画素の画素値）をｘ（ｔ）と表し、この画素ｘ（ｔ）を、入力画素として、式（８）によってノイズの除去を行い、その結果得られる出力画素を出力する場合には、入力画素ｘ（ｔ−１）は、第ｔフレームの入力画素ｘ（ｔ）に対応する、第ｔ−１フレームの入力画素を表し、従って、ｙ（ｔ−１）は、その入力画素ｘ（ｔ−１）からノイズを除去した出力画素を表す。
【００４６】
そして、画像には、一般に動きがあるから、入力画素ｘ（ｔ）の位置と、その１フレーム前の出力画素ｙ（ｔ−１）の位置とは、一致していないことがあり、従って、式（８）によってノイズの除去を行う場合には、入力画素ｘ（ｔ）に対応する出力画素ｙ（ｔ−１）を検出する必要がある。
【００４７】
入力画素ｘ（ｔ）に対応する出力画素ｙ（ｔ−１）は、入力画素ｘ（ｔ）の動きベクトル（ここでは、入力画素ｘ（ｔ）を基準とし、出力画素ｘ（ｔ−１）の位置を表すようなベクトルとする）を検出し、その動きベクトルに基づいて行うことが可能であるが、動きベクトルが必ずしも正しく求められるとは限らない。従って、そのような動きベクトルに基づいて、出力画素ｙ（ｔ−１）を検出しても、その出力画素ｙ（ｔ−１）が、入力画素ｘ（ｔ）に真に対応する、前のフレームの画素からずれたものである場合がある。
【００４８】
このような出力画素ｙ（ｔ−１）は、式（８）の計算において本来用いるべき値からずれた値となるから、そのずれの分だけ、出力画素ｙ（ｔ−１）の出力信頼度αｙ（ｔ−１）は低下するものと考えられる。
【００４９】
即ち、入力画素ｘ（ｔ）に動きがある場合には、その動きが、出力画素ｙ（ｔ−１）の出力信頼度αｙ（ｔ−１）に影響を与える。
【００５０】
そこで、ここでは、動きベクトルの信頼性（真値への近さ）を表す信頼度（以下、適宜、ベクトル信頼度という）ｍを導入し、これを補正項として、出力信頼度αｙ（ｔ−１）を、ｍ×αｙ（ｔ−１）に補正することとする。
【００５１】
この場合、式（５）により求めることとした出力信頼度αｙ（ｔ）は、次式により求められることになる。
【００５２】
αｙ（ｔ）＝ｍαｙ（ｔ−１）＋αｘ（ｔ）
・・・（１３）
【００５３】
また、式（６）により求めることとした重みｗ（ｔ）は、次式により求められることになる。
【００５４】
ｗ（ｔ）＝ｍαｙ（ｔ−１）／（ｍαｙ（ｔ−１）＋αｘ（ｔ））
・・・（１４）
【００５５】
ところで、ここでは、上述のように、出力信頼度αｙ（ｔ−１）は、ベクトル信頼度ｍを乗算することで補正されるから、ベクトル信頼度ｍは、動きベクトルが真値に近いほど１に近く、真値から離れるほど、１未満の小さいあたいにする必要がある。そこで、ここでは、ベクトル信頼度ｍを、例えば、次式で定義するものとする。
【００５６】
ｍ＝Ｎ（ｔ）／Ｄ（ｔ）
・・・（１５）
ここで、Ｎ（ｔ）は、入力画素ｘ（ｔ）のノイズ量（の推定値）を表す。また、Ｄ（ｔ）は、入力画素ｘ（ｔ）について求められた動きベクトルによる動き補償後の残差を表す。なお、この残差としては、ここでは、例えば、入力画素ｘ（ｔ）と、その入力画素ｘ（ｔ）に対応する１フレーム前の出力画素ｙ（ｔ−１）（その入力画素ｘ（ｔ）の位置を基準として、動きベクトル分だけ移動した位置にある１フレーム前の出力画素ｙ（ｔ−１））との差分の絶対値を用いることとする。
【００５７】
この場合、Ｄ（ｔ）は、ノイズを含む入力画素ｘ（ｔ）と、ノイズが除去された出力画素ｙ（ｔ−１）とを用いて計算されるから、そこには、真の残差の他、ノイズも含まれる。従って、式（１５）によれば、ベクトル信頼度ｍは、［ノイズ量］／（［ノイズ量］＋［真の残差］）という計算で求められることになるから、真の残差が０に近づけば、１に近づき、真の残差が大きければ、１未満の小さな値になることになる。
【００５８】
次に、図２は、以上のような原理により画像からノイズを除去するノイズ除去装置の一実施の形態の構成例を示している。即ち、このノイズ除去装置においては、入力画素ｘ（ｔ）の動きベクトルが検出され、式（１５）によって、そのベクトル信頼度ｍが求められる。そして、そのベクトル信頼度ｍを補正項として、出力信頼度αｙ（ｔ−１）を補正しながら、式（１４）によって、重みｗ（ｔ）を求め、最終的には、式（８）を計算することによって、入力画素ｘ（ｔ）からノイズを効果的に除去した出力画素ｙ（ｔ）が出力されるようになっている。
【００５９】
即ち、ノイズ除去の対象である入力画像を構成する入力画素は、ＭＥ（動き検出）部１、ノイズ量推定部２、およびノイズリダクション部３に供給されるようになっている。
【００６０】
ＭＥ部１には、入力画素の他、メモリ５に記憶された１フレーム前の出力画素が供給されるようになっており、ＭＥ部１は、入力画素の動きベクトルを検出して、ノイズ量推定部２およびノイズリダクション部３に供給するようになっている。ノイズ量推定部２は、そこに入力される入力画像のノイズ量を、例えば、１フレーム単位で推定し、ノイズリダクション部３に供給するようになっている。
【００６１】
ノイズリダクション部３には、上述したように、入力画素、その動きベクトル、およびノイズ量が供給される他、メモリ４から１フレーム前の出力画素の出力信頼度が供給されるとともに、メモリ５から１フレーム前の出力画素が供給されるようになっている。そして、ノイズリダクション部３は、入力画素の入力信頼度を計算し、さらに、式（８），（１３）乃至（１５）にしたがって、入力画素を処理し、それからノイズを除去した出力画素を出力するようになっている。この出力画素は、入力画素の処理結果として出力される他、メモリ５に供給されるようにもなっている。また、ノイズリダクション部３では、上述したように、式（１４）にしたがって処理が行われることにより、出力画像の出力信頼度が求められるが、この出力信頼度は、メモリ４に供給されるようになっている。
【００６２】
メモリ４または５は、ノイズリダクション部３が出力する出力信頼度または出力画素を、それぞれ記憶するようになっている。
【００６３】
次に、図３のフローチャートを参照して、図１のノイズ除去装置の処理について説明する。
【００６４】
ＭＥ部１に対して、あるフレームの入力画素の入力が開始されると、メモリ５において、そこに記憶されている１フレーム前の出力画素が読み出され、ＭＥ部１に供給される。ＭＥ部１では、ステップＳ１において、そこに供給される入力画素と１フレーム前の出力画素とを用いて、その入力画素の動きベクトルが、例えば、後述する可変ブロックサイズブロックマッチングを行うことにより検出され、ノイズ量推定部２およびノイズリダクション部３に供給される。
【００６５】
ノイズ量推定部２では、ステップＳ２において、入力画素の動きベクトルに基づいて、その入力画素を有するフレーム（以下、適宜、注目フレームという）の静止している部分（静止部分）が判定され、その静止部分の入力画素を用いて、注目フレームのノイズ量が推定される。このノイズ量の推定結果は、ノイズリダクション部３に供給される。
【００６６】
ノイズリダクション部３では、ノイズ量推定部２からのノイズ量に基づいて、入力画素ｘ（ｔ）の入力信頼度αｘ（ｔ）が求められ、さらに、メモリ４または５それぞれに記憶された１フレーム前の出力信頼度αｙ（ｔ−１）または出力画素ｙ（ｔ−１）を用いて、式（８），（１３）乃至（１５）が計算される。これにより、入力画素ｘ（ｔ）からノイズを除去した出力画素ｙ（ｔ）およびその出力信頼度αｙ（ｔ）が求められる。そして、この出力画素ｙ（ｔ）または出力信頼度αｙ（ｔ）は、それぞれ、メモリ５または４に供給されて記憶される。
【００６７】
以上のようにして、注目フレームを構成するすべての入力画素の処理が終了すると、ステップＳ４に進み、次のフレームが存在するかどうかが判定され、存在すると判定された場合、ステップＳ１に戻り、以下、同様の処理が繰り返される。また、ステップＳ４において、次のフレームが存在しないと判定された場合、処理を終了する。
【００６８】
次に、図４は、図２のＭＥ部１の構成例を示している。
【００６９】
現フレームメモリ１１には、注目フレームを構成する入力画素ｘ（ｔ）が順次供給されるようになっており、現フレームメモリ１１は、その入力画素ｘ（ｔ）を順次記憶するようになっている。また、現フレームメモリ１１は、そこに記憶された入力画素ｘ（ｔ）のうちの、所定の注目入力画素を中心とする所定のサイズのブロック（以下、適宜、参照ブロックという）を構成するものを、アドレス出力部２１が出力するアドレスにしたがって読み出し、差分絶対値和演算部１３に供給するようにもなっている。
【００７０】
前フレームメモリ１２には、メモリ５に記憶された、注目フレームの１フレーム前のフレームを構成する出力画素ｙ（ｔ−１）が順次供給されるようになっており、前フレームメモリ１２は、この前フレーム（注目フレームの１フレーム前のフレーム）の出力画素ｙ（ｔ−１）を順次記憶するようになっている。また、前フレームメモリ１２は、そこに記憶された出力画素ｙ（ｔ−１）のうちの、参照ブロックと同一のサイズのブロック（以下、適宜、検出ブロックという）を構成するものを、アドレス出力部２１が出力するアドレスにしたがって読み出し、差分絶対値和演算部１３に供給するようにもなっている。
【００７１】
差分絶対値和演算部１３は、現フレームメモリ１１からの参照ブロックを構成する入力画素と、前フレームメモリ１２からの検出ブロックを構成する出力画素とについて、それぞれのブロック内で同一位置にあるものどうしの差分を演算し、さらに、その絶対値和を求め、これを残差として、残差メモリ１４に供給するようになっている。残差メモリ１４は、差分絶対値和演算部１３からの残差を記憶するようになっている。
【００７２】
最小値検出部１５は、残差メモリ１４に記憶された残差のうちの最小値（以下、適宜、最小残差という）を検出し、差分演算部１７に供給するようになっている。さらに、最小値検出部１５は、最小残差が残差メモリ１４に記憶されていたアドレスを、コントローラ２０に供給するようにもなっている。
【００７３】
次点検出部１６は、残差メモリ１４に記憶された残差のうちの２番目に小さいもの（以下、適宜、次点残差という）を検出し、差分演算部１７に供給するようになっている。差分演算部１７は、次点検出部１６より供給される次点残差と、最小値検出部１５より供給される最小残差との差分値を演算し、即ち、次点残差から最小残差を減算し、その差分値を、判定部１８に供給するようになっている。
【００７４】
判定部１８は、差分演算部１７からの差分値に基づいて、参照ブロックおよび検出ブロックのブロックサイズを拡大するかどうかを判定し、その判定結果を、ブロックサイズ拡大指示部１９に供給するようになっている。また、判定部１８は、その判定結果にしたがい、コントローラ２０から供給される候補ベクトルを、入力画素の動きベクトルとして出力するようにもなっている。
【００７５】
ブロックサイズ拡大指示部１９は、判定部１８の判定結果にしたがい、参照ブロックおよび検出ブロックのブロックサイズの拡大を、コントローラ２０に指示するようになっている。
【００７６】
コントローラ２０は、現フレームメモリ１１に記憶された注目フレームの各入力画素を、順次、注目入力画素とし、その注目入力画素を中心とする参照ブロック内にある入力画素が現フレームメモリ１１に記憶されているアドレスを出力するように、アドレス出力部２１を制御するようになっている。さらに、コントローラ２０は、入力画素の動きベクトルの候補となる複数のベクトル（候補ベクトル）を順次設定し、注目入力画素から、その候補ベクトルの分だけずれた位置にある出力画素を中心とする検出ブロック内にある出力画素が前フレームメモリ１２に記憶されているアドレスを出力するように、アドレス出力部２１を制御するようになっている。なお、この場合における参照ブロックおよび検出ブロックのブロックサイズは、ブロックサイズ拡大指示部１９からの指示に基づいて設定されるようになっている。
【００７７】
さらに、コントローラ２０は、最小値検出部１５からの、最小残差が残差メモリ１４に記憶されていたアドレスに基づいて、その最小残差が得られたときの候補ベクトルを認識し、その候補ベクトルを、判定部１８に供給するようになっている。
【００７８】
アドレス出力部２１は、コントローラ２０の制御にしたがい、現フレームメモリ１１または前フレームメモリ１２それぞれに対して、読み出すべき入力画素または出力画素のアドレスを供給するようになっている。
【００７９】
以上のように構成されるＭＥ部１では、可変ブロックサイズブロックマッチングを行うことにより、注目フレームを構成する各入力画素の動きベクトルが検出されるようになっている。
【００８０】
即ち、例えば、いま、ある程度大きな物体が動いている画像が表示された第ｎ−１および第ｎフレームについて、第ｎフレームを注目フレームとして動き検出を行う場合に、検出ブロックおよび参照ブロックが、図５（Ａ）に示すように、大きな物体に包含されてしまうようなブロックサイズであるときには、検出ブロックおよび参照ブロックが、物体内からはみ出さないような位置にあれば、いずれの位置における残差（ここでは、差分絶対値和演算部１３で計算される差分絶対値和）も、それほど大きな違いがないため、精度の高い動きベクトルを検出することが困難となる。
【００８１】
そこで、このような場合には、図５（Ｂ）に示すように、検出ブロックおよび参照ブロックのブロックサイズを大きくする（拡大する）。検出ブロックおよび参照ブロックのブロックサイズが拡大されることにより、検出ブロックおよび参照ブロックは、物体に包含されず、はみ出すようになるので、残差は、検出ブロックが、参照ブロックに対応する位置にある場合と、ない場合とで、大きく異なるようになり、その結果、精度の高い動きベクトルを検出することが可能となる。
【００８２】
以上のように、必要に応じて、ブロックサイズを変更して、ブロックマッチング（最小残差の検出）を行うのが、可変ブロックサイズブロックマッチングである。
【００８３】
次に、図６のフローチャートを参照して、図４のＭＥ部１による動きベクトル検出処理について説明する。
【００８４】
現フレームメモリ１１には、入力画素ｘ（ｔ）が順次供給されて記憶され、また、前フレームメモリ１２には、メモリ５に記憶された出力画素ｙ（ｔ−１）が順次供給されて記憶される。
【００８５】
そして、動きベクトル検出処理では、まず最初に、ステップＳ１１において、ブロックサイズ拡大指示部１９が、ブロックサイズを所定の初期値に設定し、コントローラ２０に供給する。コントローラ２０は、ブロックサイズ拡大指示部１９から指示のあったブロックサイズ（以下、適宜、指示サイズという）の参照ブロックまたは検出ブロックの画素を、現フレームメモリ１１または前フレームメモリ１２からそれぞれ読み出すためのアドレスを出力するように、アドレス出力部２１を制御する。
【００８６】
即ち、コントローラ２０は、現フレームメモリ１１に記憶された注目フレームのある入力画素を、注目入力画素とし、その注目入力画素を中心とする、指示サイズの参照ブロック内にある入力画素が現フレームメモリ１１に記憶されているアドレスを出力するように、アドレス出力部２１を制御する。さらに、コントローラ２０は、入力画素の動きベクトルの候補となる複数の候補ベクトルを順次設定し、注目入力画素から、その候補ベクトルの分だけずれた位置にある出力画素を中心とする、指示サイズの検出ブロック内にある出力画素が前フレームメモリ１２に記憶されているアドレスを出力するように、アドレス出力部２１を制御する。
【００８７】
これにより、現フレームメモリ１１からは、注目入力画素を中心とする参照ブロック内にある入力画素が読み出され、差分絶対値和演算部１３に供給される。さらに、前フレームメモリ１２からは、注目入力画素から、複数の候補ベクトルそれぞれの分だけずれた位置にある出力画素を中心とする検出ブロック内にある出力画素が、順次読み出され、差分絶対値和演算部１３に供給される。そして、現フレームメモリ１１からの参照ブロックと、前フレームメモリ１２からの、複数の候補ベクトルに対応する検出ブロックそれぞれとのブロックマッチングが行われる。
【００８８】
即ち、差分絶対値和演算部１３では、ステップＳ１２において、参照ブロックと、複数の候補ベクトルに対する検出ブロックそれぞれとについて、対応する画素どうしの差分絶対値和が演算される。これらの差分絶対値和は、複数の候補ベクトルそれぞれに対する残差として、残差メモリ１４に供給される。残差メモリ１４では、差分絶対値演算部１３からの複数の候補ベクトルそれぞれに対する残差が、その対応するアドレスに記憶される。
【００８９】
そして、ステップＳ１３に進み、最小値検出部１５において、残差メモリ１４に記憶された残差のうちの最小残差ε１が検出されるとともに、次点検出部１６において、次点残差ε２が検出される。この最小残差ε１および次点残差ε２は、いずれも、差分演算部１７に供給され、その差分値ε２−ε１が演算される。差分演算部１７で求められた差分値ε２−ε１は、判定部１８に供給され、判定部１８では、ステップＳ１４において、差分値ε２−ε１が所定の閾値εより大きいかどうかが判定される。
【００９０】
ステップＳ１４において、差分値ε２−ε１が所定の閾値εより大きくないと判定された場合、即ち、最小残差ε１と次点残差ε２との間に、あまり差がなく、従って、図５（Ａ）に示したように、ブロックサイズが小さいと考えられる場合、ステップＳ１５に進み、ブロックサイズ拡大指示部１９は、コントローラ２０に対して、ブロックサイズの拡大を指示する。この場合、コントローラ２０は、ブロックサイズ拡大指示部１９からの指示にしたがってブロックサイズを拡大した参照ブロックおよび検出ブロックについて、上述した場合と同様のアドレスを出力するように、アドレス出力部２１を制御する。
【００９１】
これにより、現フレームメモリ１１から、注目入力画素を中心とする、拡大された参照ブロック内にある入力画素が読み出されるとともに、前フレームメモリ１２から、注目入力画素を基準として、複数の候補ベクトルそれぞれの分だけずれた位置にある出力画素を中心とする、拡大された検出ブロック内にある出力画素が、順次読み出され、ステップＳ１２に戻り、以下、同様の処理が繰り返される。即ち、大きいブロックサイズの参照ブロックおよび検出ブロックを用いて、ブロックマッチングが行われる。
【００９２】
一方、ステップＳ１４において、差分値ε２−ε１が所定の閾値εより大きいと判定された場合、即ち、最小残差ε１と次点残差ε２との間に、大きな差があり、従って、図５（Ｂ）に示したように、ブロックサイズが適切な大きさであると考えられる場合、ステップＳ１６に進み、判定部１８において、最小残差ε１が得られた候補ベクトルが、注目入力画素の動きベクトルとして出力される。
【００９３】
即ち、この場合、最小値検出部１５は、最小残差ε１が記憶されていた残差メモリ１４のアドレスを、コントローラ２０に出力し、コントローラ２０は、このアドレスから最小残差ε１が得られた候補ベクトルを認識する。そして、コントローラ２０は、この候補ベクトルを、判定部１８に供給し、判定部１８は、コントローラ２０からの候補ベクトルを、注目入力画素の動きベクトルとして出力する。
【００９４】
そして、ステップＳ１７に進み、現フレームメモリ１１に記憶されたフレームの入力画素すべてを、注目入力画素として、その動きベクトルを検出したかどうかが判定される。ステップＳ１７において、現フレームメモリ１１に記憶されたフレームの入力画素すべてを、まだ、注目入力画素としていないと判定された場合、ステップＳ１１に戻り、まだ注目入力画素とされていない入力画素が、新たに注目入力画素とされ、以下、同様の処理が繰り返される。
【００９５】
また、ステップＳ１７において、現フレームメモリ１１に記憶されたフレームの入力画素すべてを、注目入力画素としたと判定された場合、ステップＳ１８に進み、次に処理すべきフレームが存在するかどうかが判定される。ステップＳ１８において、次に処理すべきフレームが存在すると判定された場合、即ち、現フレームメモリ１１に、次のフレームが供給された場合、ステップＳ１１に戻り、以下、同様の処理が繰り返される。
【００９６】
一方、ステップＳ１８において、次に処理すべきフレームが存在しないと判定された場合、動きベクトル検出処理を終了する。
【００９７】
なお、ここでは、可変ブロックサイズブロックマッチングによって、動きベクトルの検出を行うようにしたが、動きベクトルの検出は、参照ブロックおよび検出ブロックのブロックサイズを固定にして行うことも可能である。
【００９８】
次に、図７は、図２のノイズ量推定部２の構成例を示している。
【００９９】
処理すべき入力画素ｘ（ｔ）は、遅延回路３１および分散計算部３９に入力されるようになっている。また、ＭＥ部１で検出された入力画素ｘ（ｔ）の動きベクトルは、遅延回路３５および静止判定部４２に供給されるようになっている。
【０１００】
遅延回路３１は、そこに入力される入力画素ｘ（ｔ）を１フレーム分の時間だけ遅延し、入力画素ｘ（ｔ−１）として、遅延回路３２および分散計算部３９に供給するようになっている。遅延回路３２は、遅延回路３１からの入力画素ｘ（ｔ−１）を１フレーム分の時間だけ遅延し、入力画素ｘ（ｔ−２）として、遅延回路３３および分散計算部３９に供給するようになっている。遅延回路３３は、遅延回路３２からの入力画素ｘ（ｔ−２）を１フレーム分の時間だけ遅延し、入力画素ｘ（ｔ−３）として、遅延回路３４および分散計算部３９に供給するようになっている。遅延回路３４は、遅延回路３３からの入力画素ｘ（ｔ−３）を１フレーム分の時間だけ遅延し、入力画素ｘ（ｔ−４）として、分散計算部３９に供給するようになっている。
【０１０１】
遅延回路３５乃至３８それぞれは、動きベクトルについて、遅延回路３１乃至３４における場合と同様の遅延処理を行うようになっている。従って、例えば、いま、入力画素ｘ（ｔ）の動きベクトルを、ｖ（ｔ）と表すと、遅延回路３５乃至３８は、動きベクトルｖ（ｔ−１）乃至ｖ（ｔ−４）を、それぞれ出力する。この動きベクトルｖ（ｔ−１）乃至ｖ（ｔ−４）は、静止判定部４３乃至４６にそれぞれ供給されるようになっている。
【０１０２】
分散計算部３９は、そこに供給される入力画素ｘ（ｔ）乃至ｘ（ｔ−４）の分散を演算し、分散積算メモリ４０に供給するようになっている。分散積算メモリ４０は、メモリコントローラ４８の制御の下、分散計算部３９から供給される分散の積算を行うようになっている。分散値フレーム平均計算部４１は、分散積算メモリ４０において積算された分散の平均値を演算し（分散の積算値を、その積算された分散の数で除算し）、それを、入力画素ｘ（ｔ）のノイズ量として出力するようになっている。
【０１０３】
静止判定部４２は、そこに入力される動きベクトルｖ（ｔ）に基づいて、入力画素ｘ（ｔ）が静止している部分のものであるかどうかを判定し、その判定結果を、連続静止位置検出部４７に供給するようになっている。静止判定部４２乃至４６も、静止判定部４２と同様に、遅延回路３５乃至３８から供給される動きベクトルｖ（ｔ−１）乃至ｖ（ｔ−４）に基づいて、入力画素ｘ（ｔ−１）乃至ｘ（ｔ−４）が静止している部分のものであるかどうかを、それぞれ判定し、その判定結果を、連続静止位置検出部４７に供給するようになっている。
【０１０４】
連続静止位置検出部４７は、静止判定部４２乃至４６からの判定結果に基づいて、連続したフレームにおいて、静止している部分の画素の位置を検出するようになっている。即ち、連続静止位置検出部４７は、静止判定部４２乃至４６からの判定結果が、いずれも静止しているものとなっている位置の入力画素ｘ（ｔ）を検出し、その位置を、メモリコントローラ４８に供給するようになっている。
【０１０５】
メモリコントローラ４８は、分散計算部３９が出力する分散のうち、連続静止位置検出部４７から供給された、静止している位置にある画素から求められたもののみを積算するように、分散積算メモリ４０を制御するようになっている。さらに、メモリコントローラ４８には、新たなフレームの入力画素の供給が開始されることを示すフレームリセット信号が供給されるようになっており、メモリコントローラ４８は、このフレームリセット信号を受信すると、分散値フレーム平均計算部４１に、分散積算メモリ４０に記憶された分散の積算値の平均値を計算させるとともに、分散積算メモリ４０の記憶値を０にリセットするようになっている。
【０１０６】
以上のように構成されるノイズ量推定部２では、いま処理（ノイズを除去する処理）の対象となっているフレーム（注目フレーム）を構成する入力画素のうちの、静止している部分だけを用いて、入力画素のノイズ量を推定するノイズ量推定処理が行われるようになっている。
【０１０７】
即ち、図８は、ノイズ量推定処理を説明するためのフローチャートである。
【０１０８】
ノイズ量推定処理では、まず最初に、ステップＳ２１において、注目フレームを構成する所定の入力画素を、注目入力画素ｘ（ｔ）として、その注目入力画素ｘ（ｔ）と、それと同一位置にある、過去４フレームの入力画素ｘ（ｔ−１）乃至ｘ（ｔ−４）との５画素を用いて、分散が計算されるとともに、その５画素ｘ（ｔ）乃至ｘ（ｔ−４）それぞれが、静止している部分の画素（静止画素）であるかどうかの静止判定が行われる。
【０１０９】
即ち、遅延回路３１および分散計算部３９には、注目フレームを構成する入力画素ｘ（ｔ）が供給され、また、遅延回路３５および静止判定部４２には、ＭＥ部１で検出された入力画素ｘ（ｔ）の動きベクトルｖ（ｔ）が供給される。
【０１１０】
そして、遅延回路３１乃至３４それぞれでは、そこに入力される入力画素が、１フレーム分の時間だけ遅延され、分散計算部３９に供給される。即ち、これにより、分散計算部３９には、入力画素ｘ（ｔ）乃至ｘ（ｔ−４）が供給される。分散計算部３９では、入力画素ｘ（ｔ）乃至ｘ（ｔ−４）の分散が求められ、分散積算メモリ４０に供給される。
【０１１１】
一方、遅延回路３５乃至３８それぞれでは、そこに入力される動きベクトルが、１フレーム分の時間だけ遅延され、静止判定部４３乃至４６に供給される。従って、静止判定部４２乃至４６には、入力画素ｘ（ｔ）乃至ｘ（ｔ−４）の動きベクトルｖ（ｔ）乃至ｖ（ｔ−４）がそれぞれ供給される。そして、静止判定部４２乃至４６では、そこに入力される動きベクトルｖ（ｔ）乃至ｖ（ｔ−４）に基づいて、入力画素ｘ（ｔ−１）乃至ｘ（ｔ−４）が静止している部分のものであるかどうかが、それぞれ判定され、その判定結果が、連続静止位置検出部４７に供給される。
【０１１２】
連続静止位置検出部４７では、静止判定部４２乃至４６それぞれにおける静止判定結果に基づき、注目入力画素ｘ（ｔ）の位置が、連続したフレーム（ここでは、第ｔ−４フレームから第ｔフレームまでの５フレーム）において、静止している部分となっているかどうかが検出される。この検出結果は、メモリコントローラ４８に供給される。
【０１１３】
メモリコントローラ４８では、ステップＳ２２において、連続静止位置検出部４７の出力に基づいて、注目入力画素ｘ（ｔ）の位置が、連続したフレームで、静止している部分となっているかどうかが判定される。ステップＳ２２において、注目入力画素ｘ（ｔ）の位置が、連続したフレームで、静止している部分となっていないと判定された場合、即ち、注目入力画素ｘ（ｔ）と同一位置にあるｘ（ｔ−１）乃至ｘ（ｔ−４）のうちのいずれかが動きを有するものである場合、メモリコントローラ４８は、分散積算メモリ４０に、分散計算部３９からの分散を破棄するように指令し、ステップＳ２３をスキップして、ステップＳ２４に進む。従って、この場合、分散積算メモリ４０では、分散計算部３９からの分散、即ち、動きを有する画素から求められた分散は積算されずに破棄される。
【０１１４】
一方、ステップＳ２２において、注目入力画素ｘ（ｔ）の位置が、連続したフレームで、静止している部分となっていると判定された場合、即ち、注目入力画素ｘ（ｔ）と同一位置にあるｘ（ｔ−１）乃至ｘ（ｔ−４）のうちのいずれも動きを有しないものである場合、ステップＳ２３に進み、メモリコントローラ４８は、分散積算メモリ４０に、分散計算部３９からの分散を積算するように指令し、ステップＳ２４に進む。従って、この場合、分散積算メモリ４０では、分散計算部３９からの分散、即ち、静止している画素から求められた分散が、既に記憶されている分散に積算され、その積算値が、新たに記憶される。
【０１１５】
ステップＳ２４では、注目フレームのすべての入力画素を、注目入力画素として、処理を行ったかどうかが判定され、まだ、行っていないと判定された場合、ステップＳ２１に戻り、注目フレームを構成する入力画素のうちの、まだ注目入力画素とされていないものを、新たに注目入力画素として、ステップＳ２１以下の処理が繰り返される。
【０１１６】
また、ステップＳ２４において、注目フレームのすべての入力画素を、注目入力画素として、処理を行ったと判定された場合、ステップＳ２５に進み、分散値フレーム平均計算部４１において、注目フレームを構成する各入力画素に含まれるノイズ量が求められる。
【０１１７】
即ち、注目フレームのすべての入力画素についての処理が終了すると、メモリコントローラ４８には、フレームリセット信号が入力される。メモリコントローラ４８は、フレームリセット信号を受信すると、分散値フレーム平均計算部４１に、分散積算メモリ４０に記憶された分散の積算値の平均値を計算させるとともに、分散積算メモリ４０の記憶値を０にリセットする。
【０１１８】
分散値フレーム平均計算部４１では、メモリコントローラ４８の制御にしたがい、分散積算メモリ４０に記憶された分散の積算値の平均値が計算される。分散積算メモリ４０では、上述したことから、静止している画素から求められた分散のみが積算され、その積算値が記憶されており、従って、分散値フレーム平均計算部４１では、そのような静止している画素（ここでは、５フレーム連続して静止している画素）から求められた分散の平均値が求められる。この平均値は、注目フレーム（第ｔフレーム）の入力画素に含まれるノイズ量Ｎ（ｔ）として出力される。
【０１１９】
そして、ステップＳ２６に進み、次のフレームの入力画素およびその動きベクトルが存在するかどうかが判定され、存在すると判定された場合、ステップＳ２１に戻り、そのフレームを、新たに注目フレームとして、以下、同様の処理が繰り返される。
【０１２０】
また、ステップＳ２６において、次のフレームの入力画素およびその動きベクトルが存在しないと判定された場合、ノイズ量推定処理を終了する。
【０１２１】
以上のように、ノイズ量推定部２では、注目フレームから、５フレーム前までの５フレームの間静止し続けている同一位置の５つ画素が検出され、そのような５画素の分散の平均値が、注目フレームの入力画素に含まれるノイズ量であると推定される。従って、この場合、ノイズ量の推定に、動きのある画素が用いられないため、画像の動きの影響が、推定されたノイズ量に反映されることを防止することができる。即ち、画像の動きの影響がほとんどないノイズ量（真のノイズ量に近いノイズ量）を推定することができる。
【０１２２】
なお、上述の場合においては、注目フレームから、５フレーム前までの間静止し続けている同一位置の５つ画素から分散を求めるようにしたが、分散を求める対象とする画素は５画素に限定されるものではない。
【０１２３】
次に、図９は、図２のノイズリダクション部３の構成例を示している。このノイズリダクション部３においては、入力画素ｘ（ｔ）からノイズを除去するノイズリダクション処理が行われるようになっている。
【０１２４】
即ち、メモリコントローラ５１または５２には、ＭＥ部１で検出された入力画素ｘ（ｔ）の動きベクトルｖ（ｔ）が供給されるようになっており、メモリコントローラ５１または５２は、その動きベクトルｖ（ｔ）に基づいて、メモリ４または５の読み出しアドレスを設定し、それぞれから、１フレーム前の出力画素ｙ（ｔ−１）の出力信頼度αｙ（ｔ−１）または出力画素ｙ（ｔ−１）を読み出すようになっている。さらに、メモリコントローラ５１は、メモリ４から読み出した出力信頼度αｙ（ｔ−１）を、重み／信頼度算出部５５に供給し、メモリコントローラ５２は、メモリ５から読み出した出力画素ｙ（ｔ−１）を、フレーム間差分演算部５３および重み付き平均演算部５６に供給するようになっている。
【０１２５】
フレーム間差分演算部５３には、上述したように、メモリコントローラ５２から出力画素ｙ（ｔ−１）が供給される他、入力画素ｘ（ｔ）が供給されるようになっている。そして、フレーム間差分演算部５３は、入力画素ｘ（ｔ）と、それに対応する１フレーム前の出力画素ｙ（ｔ−１）との差分の絶対値、即ち、入力画素ｘ（ｔ）について検出された動きベクトルｖ（ｔ）の残差Ｄ（ｔ）を演算し、ベクトル信頼度算出部５４に供給するようになっている。
【０１２６】
ベクトル信頼度算出部５４には、上述したように、フレーム間差分演算部５３から残差Ｄ（ｔ）が供給される他、ノイズ量推定部２から入力画素ｘ（ｔ）のノイズ量Ｎ（ｔ）が供給されるようになっている。そして、ベクトル信頼度算出部５４は、残差Ｄ（ｔ）とノイズ量Ｎ（ｔ）とを用い、式（１５）にしたがって、動きベクトルｖ（ｔ）の信頼性を表すベクトル信頼度ｍを演算し、重み／信頼度算出部５５に供給するようになっている。
【０１２７】
重み／信頼度算出部５５には、上述したように、メモリコントローラ５１から出力信頼度αｙ（ｔ−１）が供給されるとともに、ベクトル信頼度算出部５４からベクトル信頼度ｍが供給される他、ノイズ量推定部２から入力画素ｘ（ｔ）のノイズ量Ｎ（ｔ）が供給されるようになっている。そして、重み／信頼度算出部５５は、ノイズ量Ｎ（ｔ）に基づいて、入力画素ｘ（ｔ）の入力信頼度αｘ（ｔ）を求め、その入力信頼度、メモリコントローラ５１からの出力信頼度αｙ（ｔ−１）、およびベクトル信頼度算出部５４からベクトル信頼度ｍを用いて、式（１３）または（１４）にしたがい、入力画素ｘ（ｔ）に対する出力画素ｙ（ｔ）の出力信頼度αｙ（ｔ）、または出力画素ｙ（ｔ）を求めるための重みｗ（ｔ）をそれぞれ求めるようになっている。重み／信頼度算出部５５で求められた出力信頼度αｙ（ｔ）は、メモリ４に供給されて記憶され、重みｗ（ｔ）は、重み付き平均演算部５６に供給されるようになっている。
【０１２８】
重み付き平均演算部５６は、そこに供給される入力画素ｘ（ｔ）、出力画素ｙ（ｔ−１）、および重みｗ（ｔ）を用いて、式（８）にしたがい、重み付き平均（重み付け加算値）を演算し、その結果得られる値を、入力画素ｘ（ｔ）からノイズを除去した出力画素ｙ（ｔ）（入力画素ｘ（ｔ）に対する出力画素ｙ（ｔ））として出力するようになっている。
【０１２９】
次に、図１０のフローチャートを参照して、図９のノイズリダクション部３が行うノイズリダクション処理について説明する。
【０１３０】
処理すべき入力画素ｘ（ｔ）である注目入力画素ｘ（ｔ）は、フレーム間差分演算部５３および重み付き平均演算部５６に供給され、このとき、ステップＳ３１において、その注目入力画素ｘ（ｔ）に対応する、１フレーム前の出力画素ｙ（ｔ−１）が、フレーム間差分演算部５３および重み付き平均演算部５６に供給されるとともに、その出力信頼度αｙ（ｔ−１）が、重み／信頼度算出部５５に供給される。
【０１３１】
即ち、注目入力画素ｘ（ｔ）が、フレーム間差分演算部５３および重み付き平均演算部５６に供給されるのと同時に、その注目入力画素ｘ（ｔ）の動きベクトルｖ（ｔ）が、メモリコントローラ５１および５２に供給される。
【０１３２】
メモリコントローラ５１は、動きベクトルｖ（ｔ）に基づき、メモリ４において、注目入力画素ｘ（ｔ）に対応する１フレーム前の出力画素ｙ（ｔ−１）の出力信頼度αｙ（ｔ−１）が記憶されているアドレスを算出し、そのアドレスから、出力信頼度αｙ（ｔ−１）を読み出して、重み／信頼度算出部５５に供給する。また、メモリコントローラ５２にも、動きベクトルｖ（ｔ）に基づき、メモリ５において、注目入力画素ｘ（ｔ）に対応する１フレーム前の出力画素ｙ（ｔ−１）が記憶されているアドレスを算出し、そのアドレスから、出力画素ｙ（ｔ−１）を読み出して、フレーム間差分演算部５３および重み付き平均演算部５６に供給する。
【０１３３】
そして、ステップＳ３２に進み、フレーム間差分演算部５３において、メモリコントローラ５２から出力画素ｙ（ｔ−１）と、入力画素ｘ（ｔ）との差分の絶対値、即ち、注目入力画素ｘ（ｔ）について検出された動きベクトルｖ（ｔ）の残差Ｄ（ｔ）が演算される。この残差Ｄ（ｔ）は、ベクトル信頼度算出部５４に供給される。
【０１３４】
ベクトル信頼度算出部５４には、注目入力画素ｘ（ｔ）のフレーム（注目フレーム）についての処理が開始されるときに、ノイズ量推定部２からノイズ量Ｎ（ｔ）が供給されるようになっており、ベクトル信頼度算出部５４では、ステップＳ３３において、残差Ｄ（ｔ）とノイズ量Ｎ（ｔ）とを用い、式（１５）にしたがって、動きベクトルｖ（ｔ）の信頼性を表すベクトル信頼度ｍが演算される。そして、このベクトル信頼度ｍが、重み／信頼度算出部５５に供給され、ステップＳ３４に進む。
【０１３５】
ステップＳ３４では、重み／信頼度算出部５５において、注目入力画素ｘ（ｔ）の入力信頼度αｘ（ｔ）が計算され、さらに、入力画素ｘ（ｔ）に対する出力画素ｙ（ｔ）の出力信頼度αｙ（ｔ）と、その出力画素ｙ（ｔ）を求めるための重みｗ（ｔ）が求められる。
【０１３６】
即ち、重み／信頼度算出部５５では、ノイズ量Ｎ（ｔ）を用いて、次式にしたがい、注目入力画素ｘ（ｔ）の入力信頼度αｘ（ｔ）が求められる。
【０１３７】
αｘ（ｔ）＝１／Ｎ（ｔ）
・・・（１６）
ここで、Ｎ（ｔ）は、上述したように、画像の動きの影響がほとんどないノイズ量（真のノイズ量に近いノイズ量）であるから、式（１６）に示したように、これを用いて、入力信頼度αｘ（ｔ）を規定することで、注目入力画素ｘ（ｔ）の信頼性を、精度良く表す入力信頼度が得られることになる。なお、ノイズ量Ｎ（ｔ）は、上述したように、注目フレームから、５フレーム前までの間静止し続けている同一位置の５つ画素の分散の平均値であり、従って、注目フレームについて、１つだけ得られる。その結果、そのようなノイズ量Ｎ（ｔ）から求められる入力信頼度αｘ（ｔ）も、注目フレームについて、１つだけ得られる。即ち、ここでは、注目フレームの各入力画素に含まれるノイズ量は、すべてＮ（ｔ）であるとして、入力信頼度αｘ（ｔ）が求められる。
【０１３８】
さらに、重み／信頼度算出部５５では、式（１６）によって求められた入力信頼度αｘ（ｔ）の他、メモリコントローラ５１からの出力信頼度αｙ（ｔ−１）、およびベクトル信頼度算出部５４からベクトル信頼度ｍを用いて、式（１３）または（１４）にしたがい、入力画素ｘ（ｔ）に対する出力画素ｙ（ｔ）の出力信頼度αｙ（ｔ）、または出力画素ｙ（ｔ）を求めるための重みｗ（ｔ）がそれぞれ求められる。そして、出力信頼度αｙ（ｔ）は、メモリ４に供給されて記憶され、重みｗ（ｔ）は、重み付き平均演算部５６に供給される。
【０１３９】
重み付き平均演算部５６では、ステップＳ３５において、注目入力画素ｘ（ｔ）、メモリコントローラ５２からの出力画素ｙ（ｔ−１）、および重み／信頼度算出部５５からの重みｗ（ｔ）を用いて、式（８）にしたがい、重み付き平均が演算される。即ち、重み付き平均演算部５６は、１−ｗ（ｔ）とｗ（ｔ）を重みとして、注目入力画素ｘ（ｔ）と、その注目入力画素ｘ（ｔ）に対応する、１フレーム前の出力画素ｙ（ｔ−１）との重み付け加算値を演算し、その加算値を、入力画素ｘ（ｔ）からノイズを除去した出力画素ｙ（ｔ）として出力する。この出力画素ｙ（ｔ）は、メモリ５に供給されて記憶される。
【０１４０】
その後、ステップＳ３６に進み、注目フレームの画素すべてについて処理を行ったか否かが判定され、まだ行っていないと判定された場合、ステップＳ３１に戻り、まだ、注目フレームの入力画素のうち、まだ、注目入力画素とされていないものを、新たに注目入力画素として、ステップＳ３１以下の処理が繰り返される。
【０１４１】
また、ステップＳ３６において、注目フレームの画素すべてについて処理を行ったと判定された場合、ステップＳ３７に進み、次に処理すべきフレームが存在するか否かが判定される。ステップＳ３７において、次に処理すべきフレームが存在すると判定された場合、ステップＳ３１に戻り、次に処理すべきフレームを、新たに注目フレームとして、以下、同様の処理が繰り返される。
【０１４２】
一方、ステップＳ３６において、次に処理すべきフレームが存在しないと判定された場合、ノイズリダクション処理を終了する。
【０１４３】
以上のように、静止している部分の画素のみを用いて、入力画素ｘ（ｔ）に含まれるノイズ量を推定し、そのノイズ量から、入力信頼度αｘ（ｔ）を求め、また、動きベクトルｖ（ｔ）のベクトル信頼度ｍを求め、そのベクトル信頼度ｍを補正項として、出力信頼度αｙ（ｔ−１）を補正するようにしたので、動画像からのノイズの除去を、より効果的に行うことが可能となる。
【０１４４】
ところで、上述の場合には、ベクトル信頼度ｍによって、出力信頼度を補正するようにしたが、このように出力信頼度を補正する他、入力信頼度も補正するようにすることが可能である。
【０１４５】
即ち、上述の場合には、ノイズ量推定部２において、時間方向において連続して静止している入力画素の分散の平均値を計算し、その逆数を、入力画素ｘ（ｔ）の入力信頼度αｘ（ｔ）とするようにしたが、この場合、その静止している入力画素の平均値を真値としていることになる。しかしながら、この平均値は、入力画素の真値に一致するとは限らず、従って、入力画素ｘ（ｔ）が真値であることの信頼性を表す入力信頼度αｘ（ｔ）としては、例えば、式（１７）で表されるような、入力画素ｘ（ｔ）の、その真値Ｘに対する誤差を直接反映する値を用いるのが理想的である（式（１７）では、入力画素ｘ（ｔ）の、真値Ｘに対する自乗誤差の逆数を、入力信頼度αｘ（ｔ）としており、これは、入力画素ｘ（ｔ）に含まれるノイズのパワーの自乗の逆数である）。
【０１４６】
αｘ（ｔ）＝１／（ｘ（ｔ）−Ｘ）２
・・・（１７）
【０１４７】
式（１７）において、入力画素ｘ（ｔ）の真値Ｘは不明であるから、真値Ｘを用いずに、入力信頼度αｘ（ｔ）を求める必要があり、このため、上述の場合においては、静止している入力画素の平均値を、入力画素の真値とみなして、入力信頼度αｘ（ｔ）を求めている。
【０１４８】
従って、静止している入力画素の平均値が、入力画素の真値からずれている場合には、そのずれている分、入力信頼度αｘ（ｔ）が表す入力画素の信頼性は、いわば当てにならないものとなる。
【０１４９】
即ち、いま、入力画素の真値とみなす、静止している入力画素の平均値を、仮の真値Ｘ’とし、その仮の真値Ｘ’に対する入力画素ｘ（ｔ）の自乗誤差の逆数を、入力信頼度αｘ（ｔ）として用いることを考えると、この入力信頼度αｘ（ｔ）は、次式で与えられる。
【０１５０】
αｘ（ｔ）＝１／△ｘ（ｔ）２
＝１／（ｘ（ｔ）−Ｘ’）２
・・・（１８）
【０１５１】
式（１８）における△ｘ（ｔ）２は、入力画素ｘ（ｔ）の、仮の真値Ｘ’に対する自乗誤差（（ｘ（ｔ）−Ｘ’）２）であるから、入力画素ｘ（ｔ）に含まれるノイズを概ね見積もることができるが、この自乗誤差△ｘ（ｔ）２には、真値に対する仮の真値Ｘ’の誤差が含まれていないため、真値Ｘに対する入力画素ｘ（ｔ）の自乗誤差（ｘ（ｔ）−Ｘ）２とは、図１１に示すように、基本的に異なる値となる。
【０１５２】
そこで、仮の真値Ｘ’に対する入力画素ｘ（ｔ）の自乗誤差△ｘ（ｔ）２が、真値Ｘに対する入力画素ｘ（ｔ）の自乗誤差（ｘ（ｔ）−Ｘ）２に等しいことの信頼性、即ち、仮の真値Ｘ’が真値Ｘに等しいことの信頼性を表す仮真値信頼度を、入力信頼度αｘ（ｔ）の補正に用いる補正項（補正値）σＸ’２として導入し、これによって、仮の真値Ｘ’に対する入力画素ｘ（ｔ）の自乗誤差△ｘ（ｔ）２の逆数として表される入力信頼度αｘ（ｔ）を補正することにより、より信頼性の高い入力信頼度αｘ（ｔ）（入力画素ｘ（ｔ）が真値であることの信頼性を、より正確に表す入力信頼度αｘ（ｔ））を求めるようにすることができる。
【０１５３】
即ち、いま、仮の真値Ｘ’として、例えば、式（１９）に示すような、入力画素ｘ（ｔ）を含む、過去Ｎ個の入力画素ｘ（ｔ）乃至ｘ（ｔ−（Ｎ−１））の平均値（移動平均）を用いることとする。
【０１５４】
【数５】
・・・（１９）
なお、式（１９）において、ｘの上にバー（−）を付したものが、入力画素ｘ（ｔ）乃至ｘ（ｔ−（Ｎ−１））の平均値を表すが、本明細書中では、このｘの上にバー（−）を付したものを、以下、適宜、ｘ〜と表す。
【０１５５】
この場合、補正項σＸ’２としては、例えば、次式に示すような、入力画素ｘ（ｔ）を含む、過去Ｎ個の入力画素ｘ（ｔ）乃至ｘ（ｔ−（Ｎ−１））の分散の平均値σｘ〜２を用いることができる。
【０１５６】
【数６】
・・・（２０）
ここで、式（２０）における右辺の分子を、Ｎ−１で除算したものが、入力画素ｘ（ｔ）乃至ｘ（ｔ−（Ｎ−１））の分散であり、式（２０）では、これを、Ｎで除算することにより、入力画素ｘ（ｔ）乃至ｘ（ｔ−（Ｎ−１））の分散の平均値σｘ〜２を求めている。なお、式（２０）により求められるσｘ〜２は、統計学上は、「平均値の分散」と呼ばれるが、意味的には、分散をＮで除算することから、「分散の平均値」の方が分かりやすいので、ここでは、「分散の平均値」と呼ぶこととする。
【０１５７】
この場合、入力信頼度αｘ（ｔ）は、例えば、次式にしたがって補正することができる。
【０１５８】
αｘ（ｔ）＝１／（△ｘ（ｔ）２＋σＸ’２）
・・・（２１）
【０１５９】
式（２１）においては、仮の真値Ｘ’に対する入力画素ｘ（ｔ）の自乗誤差△ｘ（ｔ）２（補正前の入力信頼度の逆数）が、補正項σＸ’２によって補正され、その逆数が補正された入力信頼度αｘ（ｔ）として求められている。即ち、自乗誤差△ｘ（ｔ）２と、補正項σＸ’２との加算値の逆数が、補正された入力信頼度αｘ（ｔ）として求められている。
【０１６０】
統計的には、仮の真値Ｘ’に対する入力画素ｘ（ｔ）の自乗誤差△ｘ（ｔ）２は、真値Ｘに対する入力画素ｘ（ｔ）の自乗誤差（ｘ（ｔ）−Ｘ）２よりも小さく見積もられることが多いことから、式（２１）に示すように、自乗誤差△ｘ（ｔ）２と、補正項σＸ’２とを加算し、その加算値の逆数を、入力信頼度αｘ（ｔ）とすることで、入力画素ｘ（ｔ）が真値であることの信頼性を、より正確に表す入力信頼度αｘ（ｔ）を得ることができる。
【０１６１】
ここで、式（１７）乃至（２１）では、仮の真値Ｘ’と入力データｘ（ｔ）との自乗誤差の逆数で定義される入力信頼度αｘ（ｔ）を補正するようにしたが、式（１６）で表される入力信頼度αｘ（ｔ）も、上述の場合と同様に補正することが可能である。
【０１６２】
なお、本発明は、画像データや、音声データ、その他のデータからのノイズの除去を行う場合に適用可能である。
【０１６３】
また、本実施の形態では、本発明について、ノイズの除去という観点から説明を行ったが、本発明においては、上述したように、出力データが時間の経過とともに改善されるように、入力データが処理されることから、例えば、入力データの波形整形（波形等化）などを行う場合にも適用可能である。
【０１６４】
【発明の効果】
本発明の第１の側面によれば、動画像のデータに含まれるノイズの除去を、より効果的に行うことが可能となる。
【０１６５】
本発明の第２の側面によれば、例えば、出力画素が真値であることの信頼性を、より正確に表す出力信頼度を得ることが可能となり、これを用いることで、より効果的なノイズの除去等が可能となる。
【図面の簡単な説明】
【図１】入力データと、その信頼度とを示す図である。
【図２】本発明を適用したノイズ除去装置の一実施の形態の構成例を示すブロック図である。
【図３】図２のノイズ除去装置の処理を説明するためのフローチャートである。
【図４】図２のＭＥ部１の構成例を示すブロック図である。
【図５】可変ブロックサイズブロックマッチングを説明するための図である。
【図６】図４のＭＥ部１の処理を説明するためのフローチャートである。
【図７】図２のノイズ量推定部２の構成例を示すブロック図である。
【図８】図７のノイズ量推定部２の処理を説明するためのフローチャートである。
【図９】図２のノイズリダクション部３の処理を説明するためのフローチャートである。
【図１０】図９のノイズリダクション部３の処理を説明するためのフローチャートである。
【図１１】仮の真値Ｘ’と、真値Ｘとの関係を示す図である。
【符号の説明】
１ ＭＥ部， ２ ノイズ量推定部， ３ ノイズリダクション部， ４，５メモリ， １１ 現フレームメモリ， １２ 前フレームメモリ， １３ 差分絶対値和演算部， １４ 残差メモリ， １５ 最小値検出部， １６ 次点検出部， １７ 差分演算部， １８ 判定部， １９ ブロックサイズ拡大指示部， ２０ コントローラ， ２１ アドレス出力部， ３１乃至３８ 遅延回路， ３９ 分散計算部， ４０ 分散積算メモリ， ４１ 分散値フレーム平均計算部， ４２乃至４６ 判定部， ４７ 連続静止位置検出部， ４８ メモリコントローラ， ５１，５２ メモリコントローラ， ５３ フレーム間差分演算部， ５４ ベクトル信頼度算出部， ５５ 重み／信頼度算出部， ５６ 重み付き平均演算部
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、並びにデータ処理装置およびデータ処理方法に関し、特に、例えば、動画像等のデータに含まれるノイズの除去を、より効果的に行うことができるようにする画像処理装置および画像処理方法、並びにデータ処理装置およびデータ処理方法に関する。
【０００２】
【従来の技術】
例えば、伝送や再生等された画像データや音声データなどのデータには、一般に、時間的に変動するノイズが含まれているが、データに含まれるノイズを除去する方法としては、従来より、入力データ全体の平均（以下、適宜、全平均という）や、入力データの局所的な平均である移動平均を求めるものなどが知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、全平均を計算する方法は、データに含まれるノイズの度合い、即ち、データのＳ／Ｎ（Signal/Noise）が一定である場合は有効であるが、データのＳ／Ｎが変動する場合には、Ｓ／Ｎの悪いデータが、Ｓ／Ｎの良いデータに影響し、効果的にノイズを除去することが困難となることがある。
【０００４】
また、移動平均を計算する方法では、入力されたデータから時間的に近い位置にあるデータの平均が求められるため、その処理結果は、データのＳ／Ｎの変動の影響を受ける。即ち、データのＳ／Ｎの良い部分については、処理結果のＳ／Ｎも良くなるが、Ｓ／Ｎの悪い部分については、処理結果のＳ／Ｎも悪くなる。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、データに含まれるノイズの度合いが一定の場合だけでなく、時間的に変動する場合であっても、そのノイズを、効果的に除去することができるようにするものである。
【０００６】
【課題を解決するための手段】
本発明の第１の側面の画像処理装置は、入力画素を処理し、その処理結果としての出力画素を出力する画像処理装置であって、前記入力画素の動きを判定する動き判定手段と、前記入力画素の動きの判定結果に基づいて、その入力画素の静止している部分のノイズ量を推定する推定手段と、前記ノイズ量に基づいて、前記ノイズ量が小さいほど大きくなる値を、前記入力画素の信頼性を表す入力信頼度として計算する入力信頼度計算手段と、前記入力信頼度の積算値を、前記出力画素の信頼性を表す出力信頼度として計算する出力信頼度計算手段と、前記入力信頼度に比例する重み、および、前記出力信頼度に比例する重みを用いた、前記入力画素と、１画面前に得られた出力画素との重み付け加算により、現在時刻の出力画素を求める処理手段とを含む画像処理装置である。
【０００７】
本発明の第１の側面の画像処理方法は、入力画素を処理し、その処理結果としての出力画素を出力する画像処理方法であって、前記入力画素の動きを判定する動き判定ステップと、前記入力画素の動きの判定結果に基づいて、その入力画素の静止している部分のノイズ量を推定する推定ステップと、前記ノイズ量に基づいて、前記ノイズ量が小さいほど大きくなる値を、前記入力画素の信頼性を表す入力信頼度として計算する入力信頼度計算ステップと、前記入力信頼度の積算値を、前記出力画素の信頼性を表す出力信頼度として計算する出力信頼度計算ステップと、前記入力信頼度に比例する重み、および、前記出力信頼度に比例する重みを用いた、前記入力画素と、１画面前に得られた出力画素との重み付け加算により、現在時刻の出力画素を求める処理ステップとを含む画像処理方法である。
【０００８】
本発明の第２の側面のデータ処理装置は、入力画素を処理し、その処理結果としての出力画素を出力するデータ処理装置であって、前記入力画素のノイズ量が小さいほど大きくなる値を、前記入力画素の信頼性を表す入力信頼度として計算する入力信頼度計算手段と、前記入力信頼度の積算値を、前記出力画素の信頼性を表す出力信頼度として計算する出力信頼度計算手段と、前記入力画素の動きベクトルの信頼性を表すベクトル信頼度を、前記出力信頼度の補正に用いる出力補正項として算出する出力補正項算出手段と、前記出力信頼度を、前記出力補正項に基づいて補正する出力補正手段と、前記入力信頼度に比例する重み、および補正された前記出力信頼度に比例する重みを用いた、前記入力画素と、１画面前に得られた出力画素との重み付け加算により、現在時刻の出力画素を求める処理手段とを含むデータ処理装置である。
【０００９】
本発明の第２の側面のデータ処理方法は、入力画素を処理し、その処理結果としての出力画素を出力するデータ処理方法であって、前記入力画素のノイズ量が小さいほど大きくなる値を、前記入力画素の信頼性を表す入力信頼度として計算する入力信頼度計算ステップと、前記入力信頼度の積算値を、前記出力画素データの信頼性を表す出力信頼度として計算する出力信頼度計算ステップと、前記入力画素の動きベクトルの信頼性を表すベクトル信頼度を、前記出力信頼度の補正に用いる出力補正項として算出する出力補正項算出ステップと、前記出力信頼度を、前記出力補正項に基づいて補正する出力補正ステップと、前記入力信頼度に比例する重み、および補正された前記出力信頼度に比例する重みを用いた、前記入力画素と、１画面前に得られた出力画素との重み付け加算により、現在時刻の出力画素を求める処理ステップとを含むデータ処理方法である。
【００１０】
本発明の第１の側面においては、前記入力画素の動きが判定され、前記入力画素の動きの判定結果に基づいて、その入力画素の静止している部分のノイズ量が推定される。さらに、前記ノイズ量に基づいて、前記ノイズ量が小さいほど大きくなる値が、前記入力画素の信頼性を表す入力信頼度として計算され、前記入力信頼度の積算値が、前記出力画素の信頼性を表す出力信頼度として計算される。そして、前記入力信頼度に比例する重み、および、前記出力信頼度に比例する重みを用いた、前記入力画素と、１画面前に得られた出力画素との重み付け加算により、現在時刻の出力画素が求められる。
【００１１】
本発明の第２の側面においては、前記入力画素のノイズ量が小さいほど大きくなる値が、前記入力画素の信頼性を表す入力信頼度として計算され、前記入力信頼度の積算値が、前記出力データの信頼性を表す出力信頼度として計算される。さらに、前記入力画素の動きベクトルの信頼性を表すベクトル信頼度が、前記出力信頼度の補正に用いる出力補正項として算出され、前記出力信頼度が、前記出力補正項に基づいて補正される。そして、前記入力信頼度に比例する重み、および補正された前記出力信頼度に比例する重みを用いた、前記入力画素と、１画面前に得られた出力画素との重み付け加算により、現在時刻の出力画素が求められる。
【００１２】
【発明の実施の形態】
以下、本発明を適用したノイズ除去装置について説明するが、その前に、本発明によるノイズ除去の原理について説明する。
【００１３】
いま、説明を簡単にするために、図１（Ａ）に示すような、真値が一定で、かつ時間的に変動するノイズが重畳された入力データについて、その足し込み（積算）を行うことで、時間的に変動するノイズを除去することを考えると、ノイズの度合いとしての、例えば、ノイズのレベルが大きい入力データ（従って、Ｓ／Ｎの悪いデータ）については、その重みを小さくし（あまり考慮しないようにする）、ノイズのレベルの小さい入力データ（従って、Ｓ／Ｎの良いデータ）については、その重みを大きくして足し込みを行うことにより、ノイズを効果的に除去することができる。
【００１４】
従って、入力データの評価値として、例えば、図１（Ｂ）に示すような、入力データの、真値に対する近さ、即ち、入力データが真値であることの信頼性を表す信頼度を求め、その信頼度に対応した重み付けを入力データに対して行いながら、その平均（重み付け加算値）を計算することで、ノイズを効果的に除去することができる。
【００１５】
そこで、いま、時刻ｔにおける入力データ、出力データ、入力データの信頼度を、それぞれｘ（ｔ），ｙ（ｔ），αｘ（ｔ）と表すと、次式にしたがい、入力データｘ（ｔ）について、その信頼度αｘ（ｔ）に対応した重みを用いた重み付け加算を行うことで、ノイズを効果的に除去した出力データｙ（ｔ）を得ることができる。
【００１６】
【数１】
ここで、式（１）では、入力データｘ（ｔ）には、その信頼度αｘ（ｔ）が大きいほど、大きな重みが与えられる。
【００１７】
式（１）から、現在時刻ｔから１サンプル前の出力データｙ（ｔ−１）は、次式で求められる。
【００１８】
【数２】
【００１９】
また、出力データｙ（ｔ）についても、その出力データｙ（ｔ）の評価値として、真値に対する近さ、即ち、出力データｙ（ｔ）が真値であることの信頼性を表す信頼度αｙ（ｔ）を導入し、現在時刻ｔから１サンプル前の出力データｙ（ｔ−１）の信頼度αｙ（ｔ−１）を、次式で定義する。
【００２０】
【数３】
ここで、式（３）によれば、出力データｙ（ｔ−１）の信頼度αｙ（ｔ−１）は、それまでに処理された入力データｘ（ｉ）の信頼度αｘ（ｉ）の積算値で与えられており（ｉ＝０，１，２，・・・，ｔ−１）、従って、出力データｙ（ｔ−１）の信頼度αｙ（ｔ−１）は、いままでに入力された入力データが真値に近いものが多ければ大きくなり、少なければ小さくなることになる。即ち、出力データｙ（ｔ−１）の信頼度αｙ（ｔ−１）には、いままでに入力された入力データの真値に対する近さ（信頼性）が反映される。そして、いままでに入力された入力データが真値に近いということは、出力データｙ（ｔ−１）も真値に近いということになり、逆に、いままでに入力された入力データが真値から離れているということは、出力データｙ（ｔ−１）も真値から離れているということになる。従って、式（３）で表される信頼度αｙ（ｔ−１）は、出力データｙ（ｔ−１）の真値に対する近さを表すことになる。
【００２１】
式（１）乃至（３）から、出力データｙ（ｔ）と、その信頼度αｙ（ｔ）は、式（４）と（５）でそれぞれ表される。
【００２２】
【数４】
αｙ（ｔ）＝αｙ（ｔ−１）＋αｘ（ｔ）
・・・（５）
【００２３】
また、時刻ｔにおいて、出力データｙ（ｔ）を求めるのに用いる重みを、ｗ（ｔ）と表し、これを、次式で定義する。
【００２４】
ｗ（ｔ）＝αｙ（ｔ−１）／（αｙ（ｔ−１）＋αｘ（ｔ））
・・・（６）
【００２５】
式（６）から、次式が成り立つ。
【００２６】
１−ｗ（ｔ）＝αｘ（ｔ）／（αｙ（ｔ−１）＋αｘ（ｔ））
・・・（７）
【００２７】
式（６）および（７）を用いると、式（４）における出力データｙ（ｔ）は、次のような乗算と加算による重み付け平均（重み付け加算）によって表すことができる。
【００２８】
ｙ（ｔ）＝ｗ（ｔ）ｙ（ｔ−１）＋（１−ｗ（ｔ））ｘ（ｔ）
・・・（８）
【００２９】
なお、式（８）で用いる重みｗ（ｔ）（および１−ｗ（ｔ））は、式（６）から、１サンプル前の出力データｙ（ｔ−１）の信頼度αｙ（ｔ−１）と、現在の入力データｘ（ｔ）の信頼度αｘ（ｔ）とから求めることができる。また、式（５）における現在の出力データｙ（ｔ）の信頼度αｙ（ｔ）も、その１サンプル前の出力データｙ（ｔ−１）の信頼度αｙ（ｔ−１）と、現在の入力データｘ（ｔ）の信頼度αｘ（ｔ）とから求めることができる。
【００３０】
ここで、入力データｘ（ｔ）の信頼度αｘ（ｔ）、または出力データｙ（ｔ）の信頼度αｙ（ｔ）として、それぞれの時間的近傍にある幾つかの入力データまたは出力データの分散σｘ（ｔ）２、またはσｙ（ｔ）２の逆数を用いることとすると、即ち、信頼度αｘ（ｔ），信頼度αｙ（ｔ）を、式
αｘ（ｔ）＝１／σｘ（ｔ）２
αｙ（ｔ）＝１／σｙ（ｔ）２
・・・（９）
とおくと、式（８）における重みｗ（ｔ）は、次式で求めることができる。
【００３１】
ｗ（ｔ）＝σｘ（ｔ）２／（σｙ（ｔ−１）２＋σｘ（ｔ）２）
・・・（１０）
【００３２】
この場合、式（８）における１−ｗ（ｔ）は、次式で求めることができる。
【００３３】
ｗ（ｔ）＝σｙ（ｔ−１）２／（σｙ（ｔ−１）２＋σｘ（ｔ）２）
・・・（１１）
【００３４】
また、σｙ（ｔ）２は、次式で求めることができる。
【００３５】
σｙ（ｔ）２＝ｗ（ｔ）２σｙ（ｔ−１）２＋（１−ｗ（ｔ））２σｘ（ｔ）２
・・・（１２）
【００３６】
式（４）と（５）から導かれる式（８）は、式（４）から明らかなように、入力データｘ（ｔ）に対して、その信頼度αｘ（ｔ）に相当する重み付けをするとともに、１サンプル前の出力データｙ（ｔ−１）に対して、その信頼度αｙ（ｔ−１）に相当する重み付けをし、これらを加算したものを、入力データｘ（ｔ）からノイズを除去した出力データｙ（ｔ）とするものである。
【００３７】
そして、入力データｘ（ｔ）に対する重みに相当する信頼度αｘ（ｔ）は、その入力データｘ（ｔ）の真値への近さを表しており、１サンプル前の出力データｙ（ｔ−１）に対する重みに相当する信頼度αｙ（ｔ−１）は、その出力データｙ（ｔ−１）の真値への近さを表している。いまの場合、真値が一定としているから、入力データｘ（ｔ）と出力データｙ（ｔ−１）のうちの、より真値に近い方に重みをおいて加算を行う式（８）により出力データｙ（ｔ）を求めれば、この出力データｙ（ｔ）は、より真値に近いものとなることになる。
【００３８】
即ち、式（１）から導かれる（式（１）と等価な）式（８）によって求められる出力データｙ（ｔ）は、過去に入力された入力データのうち、信頼度の小さいものには小さな重み付けをするとともに、信頼度の大きいものには大きな重み付けをし、このような重み付けを行った過去の入力データを積算したものである。より直感的には、出力データｙ（ｔ）は、ノイズを多く含む入力データの影響が小さくなり、かつノイズの少ない入力データの影響が大きくなるように、入力データの加算を行ったものである。
【００３９】
従って、単に平均をとる全平均の場合には、Ｓ／Ｎの悪い入力データも、また良い入力データも、出力データに対して、同等の影響を与えるが、式（８）によれば、Ｓ／Ｎの悪い入力データは、出力データに対して、ほとんど影響を与えず、また、Ｓ／Ｎ良い入力データは、出力データに対して、大きな影響を与える。その結果、単に平均をとる全平均の場合に比較して、より効果的にノイズが除去された出力データを得ることができる。
【００４０】
さらに、移動平均をとる場合には、時間的に離れた入力データは、Ｓ／Ｎの良いものであっても、出力データに対して、まったく影響を与えず、時間的に近い入力データは、Ｓ／Ｎの悪いものであっても、出力データに対して大きな影響を与える。これに対して、式（８）によれば、上述のように、入力データの時間的な近さは関係なく、Ｓ／Ｎの良し悪しによって、出力データに対する影響力が異なる。その結果、移動平均をとる場合に比較して、より効果的にノイズが除去された出力データを得ることができる。
【００４１】
以上から、式（８）によれば、出力データは、信頼度の高い（真値に近い）入力データによる影響によって、真値に近いものとなる。従って、信頼度の高い入力データが処理されるにつれて、出力データは、真値に近づいていくことになる。即ち、出力データのＳ／Ｎは、時間の経過とともに改善されていく。
【００４２】
なお、上述の場合においては、真値が一定であると仮定したが、真値が変化するデータの系列については、例えば、真値が一定であるとみなせる区間に区切り、その区間ごとに、処理を行うようにすれば良い。
【００４３】
また、上述の場合においては、入力データの信頼度（以下、適宜、入力信頼度という）として、その時間的近傍にある幾つかの入力データの分散を用いることとしたため、その幾つかの入力データの入力があるまでは、入力信頼度、さらには、出力データ、およびその信頼度（以下、適宜、出力信頼度という）を求めることができないが、入力信頼度を求めることができる入力データの入力があるまでは、例えば、入力信頼度および出力信頼度のいずれも計算せず、また、出力データとしては、いままで入力された入力データの単純な平均値を求めて出力するようにすることができる。但し、入力信頼度を求めることができる入力データの入力があるまでの対処方法は、これに限定されるものではない。
【００４４】
次に、入力データｘ（ｔ）が、例えば、音声データのような、いわば１次元のデータの系列である場合には、出力データｙ（ｔ−１）は、入力データｘ（ｔ）の１サンプル前の入力データｘ（ｔ−１）の処理結果となるが、入力データｘ（ｔ）が、例えば、画像データのような、いわば２次元のデータの系列である場合、出力データｙ（ｔ−１）は、入力データｘ（ｔ）の、例えば１フレーム（またはフィールド）前の入力データｘ（ｔ−１）の処理結果となる。
【００４５】
即ち、いま、第ｔフレームの画素（正確には、画素の画素値）をｘ（ｔ）と表し、この画素ｘ（ｔ）を、入力画素として、式（８）によってノイズの除去を行い、その結果得られる出力画素を出力する場合には、入力画素ｘ（ｔ−１）は、第ｔフレームの入力画素ｘ（ｔ）に対応する、第ｔ−１フレームの入力画素を表し、従って、ｙ（ｔ−１）は、その入力画素ｘ（ｔ−１）からノイズを除去した出力画素を表す。
【００４６】
そして、画像には、一般に動きがあるから、入力画素ｘ（ｔ）の位置と、その１フレーム前の出力画素ｙ（ｔ−１）の位置とは、一致していないことがあり、従って、式（８）によってノイズの除去を行う場合には、入力画素ｘ（ｔ）に対応する出力画素ｙ（ｔ−１）を検出する必要がある。
【００４７】
入力画素ｘ（ｔ）に対応する出力画素ｙ（ｔ−１）は、入力画素ｘ（ｔ）の動きベクトル（ここでは、入力画素ｘ（ｔ）を基準とし、出力画素ｘ（ｔ−１）の位置を表すようなベクトルとする）を検出し、その動きベクトルに基づいて行うことが可能であるが、動きベクトルが必ずしも正しく求められるとは限らない。従って、そのような動きベクトルに基づいて、出力画素ｙ（ｔ−１）を検出しても、その出力画素ｙ（ｔ−１）が、入力画素ｘ（ｔ）に真に対応する、前のフレームの画素からずれたものである場合がある。
【００４８】
このような出力画素ｙ（ｔ−１）は、式（８）の計算において本来用いるべき値からずれた値となるから、そのずれの分だけ、出力画素ｙ（ｔ−１）の出力信頼度αｙ（ｔ−１）は低下するものと考えられる。
【００４９】
即ち、入力画素ｘ（ｔ）に動きがある場合には、その動きが、出力画素ｙ（ｔ−１）の出力信頼度αｙ（ｔ−１）に影響を与える。
【００５０】
そこで、ここでは、動きベクトルの信頼性（真値への近さ）を表す信頼度（以下、適宜、ベクトル信頼度という）ｍを導入し、これを補正項として、出力信頼度αｙ（ｔ−１）を、ｍ×αｙ（ｔ−１）に補正することとする。
【００５１】
この場合、式（５）により求めることとした出力信頼度αｙ（ｔ）は、次式により求められることになる。
【００５２】
αｙ（ｔ）＝ｍαｙ（ｔ−１）＋αｘ（ｔ）
・・・（１３）
【００５３】
また、式（６）により求めることとした重みｗ（ｔ）は、次式により求められることになる。
【００５４】
ｗ（ｔ）＝ｍαｙ（ｔ−１）／（ｍαｙ（ｔ−１）＋αｘ（ｔ））
・・・（１４）
【００５５】
ところで、ここでは、上述のように、出力信頼度αｙ（ｔ−１）は、ベクトル信頼度ｍを乗算することで補正されるから、ベクトル信頼度ｍは、動きベクトルが真値に近いほど１に近く、真値から離れるほど、１未満の小さいあたいにする必要がある。そこで、ここでは、ベクトル信頼度ｍを、例えば、次式で定義するものとする。
【００５６】
ｍ＝Ｎ（ｔ）／Ｄ（ｔ）
・・・（１５）
ここで、Ｎ（ｔ）は、入力画素ｘ（ｔ）のノイズ量（の推定値）を表す。また、Ｄ（ｔ）は、入力画素ｘ（ｔ）について求められた動きベクトルによる動き補償後の残差を表す。なお、この残差としては、ここでは、例えば、入力画素ｘ（ｔ）と、その入力画素ｘ（ｔ）に対応する１フレーム前の出力画素ｙ（ｔ−１）（その入力画素ｘ（ｔ）の位置を基準として、動きベクトル分だけ移動した位置にある１フレーム前の出力画素ｙ（ｔ−１））との差分の絶対値を用いることとする。
【００５７】
この場合、Ｄ（ｔ）は、ノイズを含む入力画素ｘ（ｔ）と、ノイズが除去された出力画素ｙ（ｔ−１）とを用いて計算されるから、そこには、真の残差の他、ノイズも含まれる。従って、式（１５）によれば、ベクトル信頼度ｍは、［ノイズ量］／（［ノイズ量］＋［真の残差］）という計算で求められることになるから、真の残差が０に近づけば、１に近づき、真の残差が大きければ、１未満の小さな値になることになる。
【００５８】
次に、図２は、以上のような原理により画像からノイズを除去するノイズ除去装置の一実施の形態の構成例を示している。即ち、このノイズ除去装置においては、入力画素ｘ（ｔ）の動きベクトルが検出され、式（１５）によって、そのベクトル信頼度ｍが求められる。そして、そのベクトル信頼度ｍを補正項として、出力信頼度αｙ（ｔ−１）を補正しながら、式（１４）によって、重みｗ（ｔ）を求め、最終的には、式（８）を計算することによって、入力画素ｘ（ｔ）からノイズを効果的に除去した出力画素ｙ（ｔ）が出力されるようになっている。
【００５９】
即ち、ノイズ除去の対象である入力画像を構成する入力画素は、ＭＥ（動き検出）部１、ノイズ量推定部２、およびノイズリダクション部３に供給されるようになっている。
【００６０】
ＭＥ部１には、入力画素の他、メモリ５に記憶された１フレーム前の出力画素が供給されるようになっており、ＭＥ部１は、入力画素の動きベクトルを検出して、ノイズ量推定部２およびノイズリダクション部３に供給するようになっている。ノイズ量推定部２は、そこに入力される入力画像のノイズ量を、例えば、１フレーム単位で推定し、ノイズリダクション部３に供給するようになっている。
【００６１】
ノイズリダクション部３には、上述したように、入力画素、その動きベクトル、およびノイズ量が供給される他、メモリ４から１フレーム前の出力画素の出力信頼度が供給されるとともに、メモリ５から１フレーム前の出力画素が供給されるようになっている。そして、ノイズリダクション部３は、入力画素の入力信頼度を計算し、さらに、式（８），（１３）乃至（１５）にしたがって、入力画素を処理し、それからノイズを除去した出力画素を出力するようになっている。この出力画素は、入力画素の処理結果として出力される他、メモリ５に供給されるようにもなっている。また、ノイズリダクション部３では、上述したように、式（１４）にしたがって処理が行われることにより、出力画像の出力信頼度が求められるが、この出力信頼度は、メモリ４に供給されるようになっている。
【００６２】
メモリ４または５は、ノイズリダクション部３が出力する出力信頼度または出力画素を、それぞれ記憶するようになっている。
【００６３】
次に、図３のフローチャートを参照して、図１のノイズ除去装置の処理について説明する。
【００６４】
ＭＥ部１に対して、あるフレームの入力画素の入力が開始されると、メモリ５において、そこに記憶されている１フレーム前の出力画素が読み出され、ＭＥ部１に供給される。ＭＥ部１では、ステップＳ１において、そこに供給される入力画素と１フレーム前の出力画素とを用いて、その入力画素の動きベクトルが、例えば、後述する可変ブロックサイズブロックマッチングを行うことにより検出され、ノイズ量推定部２およびノイズリダクション部３に供給される。
【００６５】
ノイズ量推定部２では、ステップＳ２において、入力画素の動きベクトルに基づいて、その入力画素を有するフレーム（以下、適宜、注目フレームという）の静止している部分（静止部分）が判定され、その静止部分の入力画素を用いて、注目フレームのノイズ量が推定される。このノイズ量の推定結果は、ノイズリダクション部３に供給される。
【００６６】
ノイズリダクション部３では、ノイズ量推定部２からのノイズ量に基づいて、入力画素ｘ（ｔ）の入力信頼度αｘ（ｔ）が求められ、さらに、メモリ４または５それぞれに記憶された１フレーム前の出力信頼度αｙ（ｔ−１）または出力画素ｙ（ｔ−１）を用いて、式（８），（１３）乃至（１５）が計算される。これにより、入力画素ｘ（ｔ）からノイズを除去した出力画素ｙ（ｔ）およびその出力信頼度αｙ（ｔ）が求められる。そして、この出力画素ｙ（ｔ）または出力信頼度αｙ（ｔ）は、それぞれ、メモリ５または４に供給されて記憶される。
【００６７】
以上のようにして、注目フレームを構成するすべての入力画素の処理が終了すると、ステップＳ４に進み、次のフレームが存在するかどうかが判定され、存在すると判定された場合、ステップＳ１に戻り、以下、同様の処理が繰り返される。また、ステップＳ４において、次のフレームが存在しないと判定された場合、処理を終了する。
【００６８】
次に、図４は、図２のＭＥ部１の構成例を示している。
【００６９】
現フレームメモリ１１には、注目フレームを構成する入力画素ｘ（ｔ）が順次供給されるようになっており、現フレームメモリ１１は、その入力画素ｘ（ｔ）を順次記憶するようになっている。また、現フレームメモリ１１は、そこに記憶された入力画素ｘ（ｔ）のうちの、所定の注目入力画素を中心とする所定のサイズのブロック（以下、適宜、参照ブロックという）を構成するものを、アドレス出力部２１が出力するアドレスにしたがって読み出し、差分絶対値和演算部１３に供給するようにもなっている。
【００７０】
前フレームメモリ１２には、メモリ５に記憶された、注目フレームの１フレーム前のフレームを構成する出力画素ｙ（ｔ−１）が順次供給されるようになっており、前フレームメモリ１２は、この前フレーム（注目フレームの１フレーム前のフレーム）の出力画素ｙ（ｔ−１）を順次記憶するようになっている。また、前フレームメモリ１２は、そこに記憶された出力画素ｙ（ｔ−１）のうちの、参照ブロックと同一のサイズのブロック（以下、適宜、検出ブロックという）を構成するものを、アドレス出力部２１が出力するアドレスにしたがって読み出し、差分絶対値和演算部１３に供給するようにもなっている。
【００７１】
差分絶対値和演算部１３は、現フレームメモリ１１からの参照ブロックを構成する入力画素と、前フレームメモリ１２からの検出ブロックを構成する出力画素とについて、それぞれのブロック内で同一位置にあるものどうしの差分を演算し、さらに、その絶対値和を求め、これを残差として、残差メモリ１４に供給するようになっている。残差メモリ１４は、差分絶対値和演算部１３からの残差を記憶するようになっている。
【００７２】
最小値検出部１５は、残差メモリ１４に記憶された残差のうちの最小値（以下、適宜、最小残差という）を検出し、差分演算部１７に供給するようになっている。さらに、最小値検出部１５は、最小残差が残差メモリ１４に記憶されていたアドレスを、コントローラ２０に供給するようにもなっている。
【００７３】
次点検出部１６は、残差メモリ１４に記憶された残差のうちの２番目に小さいもの（以下、適宜、次点残差という）を検出し、差分演算部１７に供給するようになっている。差分演算部１７は、次点検出部１６より供給される次点残差と、最小値検出部１５より供給される最小残差との差分値を演算し、即ち、次点残差から最小残差を減算し、その差分値を、判定部１８に供給するようになっている。
【００７４】
判定部１８は、差分演算部１７からの差分値に基づいて、参照ブロックおよび検出ブロックのブロックサイズを拡大するかどうかを判定し、その判定結果を、ブロックサイズ拡大指示部１９に供給するようになっている。また、判定部１８は、その判定結果にしたがい、コントローラ２０から供給される候補ベクトルを、入力画素の動きベクトルとして出力するようにもなっている。
【００７５】
ブロックサイズ拡大指示部１９は、判定部１８の判定結果にしたがい、参照ブロックおよび検出ブロックのブロックサイズの拡大を、コントローラ２０に指示するようになっている。
【００７６】
コントローラ２０は、現フレームメモリ１１に記憶された注目フレームの各入力画素を、順次、注目入力画素とし、その注目入力画素を中心とする参照ブロック内にある入力画素が現フレームメモリ１１に記憶されているアドレスを出力するように、アドレス出力部２１を制御するようになっている。さらに、コントローラ２０は、入力画素の動きベクトルの候補となる複数のベクトル（候補ベクトル）を順次設定し、注目入力画素から、その候補ベクトルの分だけずれた位置にある出力画素を中心とする検出ブロック内にある出力画素が前フレームメモリ１２に記憶されているアドレスを出力するように、アドレス出力部２１を制御するようになっている。なお、この場合における参照ブロックおよび検出ブロックのブロックサイズは、ブロックサイズ拡大指示部１９からの指示に基づいて設定されるようになっている。
【００７７】
さらに、コントローラ２０は、最小値検出部１５からの、最小残差が残差メモリ１４に記憶されていたアドレスに基づいて、その最小残差が得られたときの候補ベクトルを認識し、その候補ベクトルを、判定部１８に供給するようになっている。
【００７８】
アドレス出力部２１は、コントローラ２０の制御にしたがい、現フレームメモリ１１または前フレームメモリ１２それぞれに対して、読み出すべき入力画素または出力画素のアドレスを供給するようになっている。
【００７９】
以上のように構成されるＭＥ部１では、可変ブロックサイズブロックマッチングを行うことにより、注目フレームを構成する各入力画素の動きベクトルが検出されるようになっている。
【００８０】
即ち、例えば、いま、ある程度大きな物体が動いている画像が表示された第ｎ−１および第ｎフレームについて、第ｎフレームを注目フレームとして動き検出を行う場合に、検出ブロックおよび参照ブロックが、図５（Ａ）に示すように、大きな物体に包含されてしまうようなブロックサイズであるときには、検出ブロックおよび参照ブロックが、物体内からはみ出さないような位置にあれば、いずれの位置における残差（ここでは、差分絶対値和演算部１３で計算される差分絶対値和）も、それほど大きな違いがないため、精度の高い動きベクトルを検出することが困難となる。
【００８１】
そこで、このような場合には、図５（Ｂ）に示すように、検出ブロックおよび参照ブロックのブロックサイズを大きくする（拡大する）。検出ブロックおよび参照ブロックのブロックサイズが拡大されることにより、検出ブロックおよび参照ブロックは、物体に包含されず、はみ出すようになるので、残差は、検出ブロックが、参照ブロックに対応する位置にある場合と、ない場合とで、大きく異なるようになり、その結果、精度の高い動きベクトルを検出することが可能となる。
【００８２】
以上のように、必要に応じて、ブロックサイズを変更して、ブロックマッチング（最小残差の検出）を行うのが、可変ブロックサイズブロックマッチングである。
【００８３】
次に、図６のフローチャートを参照して、図４のＭＥ部１による動きベクトル検出処理について説明する。
【００８４】
現フレームメモリ１１には、入力画素ｘ（ｔ）が順次供給されて記憶され、また、前フレームメモリ１２には、メモリ５に記憶された出力画素ｙ（ｔ−１）が順次供給されて記憶される。
【００８５】
そして、動きベクトル検出処理では、まず最初に、ステップＳ１１において、ブロックサイズ拡大指示部１９が、ブロックサイズを所定の初期値に設定し、コントローラ２０に供給する。コントローラ２０は、ブロックサイズ拡大指示部１９から指示のあったブロックサイズ（以下、適宜、指示サイズという）の参照ブロックまたは検出ブロックの画素を、現フレームメモリ１１または前フレームメモリ１２からそれぞれ読み出すためのアドレスを出力するように、アドレス出力部２１を制御する。
【００８６】
即ち、コントローラ２０は、現フレームメモリ１１に記憶された注目フレームのある入力画素を、注目入力画素とし、その注目入力画素を中心とする、指示サイズの参照ブロック内にある入力画素が現フレームメモリ１１に記憶されているアドレスを出力するように、アドレス出力部２１を制御する。さらに、コントローラ２０は、入力画素の動きベクトルの候補となる複数の候補ベクトルを順次設定し、注目入力画素から、その候補ベクトルの分だけずれた位置にある出力画素を中心とする、指示サイズの検出ブロック内にある出力画素が前フレームメモリ１２に記憶されているアドレスを出力するように、アドレス出力部２１を制御する。
【００８７】
これにより、現フレームメモリ１１からは、注目入力画素を中心とする参照ブロック内にある入力画素が読み出され、差分絶対値和演算部１３に供給される。さらに、前フレームメモリ１２からは、注目入力画素から、複数の候補ベクトルそれぞれの分だけずれた位置にある出力画素を中心とする検出ブロック内にある出力画素が、順次読み出され、差分絶対値和演算部１３に供給される。そして、現フレームメモリ１１からの参照ブロックと、前フレームメモリ１２からの、複数の候補ベクトルに対応する検出ブロックそれぞれとのブロックマッチングが行われる。
【００８８】
即ち、差分絶対値和演算部１３では、ステップＳ１２において、参照ブロックと、複数の候補ベクトルに対する検出ブロックそれぞれとについて、対応する画素どうしの差分絶対値和が演算される。これらの差分絶対値和は、複数の候補ベクトルそれぞれに対する残差として、残差メモリ１４に供給される。残差メモリ１４では、差分絶対値演算部１３からの複数の候補ベクトルそれぞれに対する残差が、その対応するアドレスに記憶される。
【００８９】
そして、ステップＳ１３に進み、最小値検出部１５において、残差メモリ１４に記憶された残差のうちの最小残差ε１が検出されるとともに、次点検出部１６において、次点残差ε２が検出される。この最小残差ε１および次点残差ε２は、いずれも、差分演算部１７に供給され、その差分値ε２−ε１が演算される。差分演算部１７で求められた差分値ε２−ε１は、判定部１８に供給され、判定部１８では、ステップＳ１４において、差分値ε２−ε１が所定の閾値εより大きいかどうかが判定される。
【００９０】
ステップＳ１４において、差分値ε２−ε１が所定の閾値εより大きくないと判定された場合、即ち、最小残差ε１と次点残差ε２との間に、あまり差がなく、従って、図５（Ａ）に示したように、ブロックサイズが小さいと考えられる場合、ステップＳ１５に進み、ブロックサイズ拡大指示部１９は、コントローラ２０に対して、ブロックサイズの拡大を指示する。この場合、コントローラ２０は、ブロックサイズ拡大指示部１９からの指示にしたがってブロックサイズを拡大した参照ブロックおよび検出ブロックについて、上述した場合と同様のアドレスを出力するように、アドレス出力部２１を制御する。
【００９１】
これにより、現フレームメモリ１１から、注目入力画素を中心とする、拡大された参照ブロック内にある入力画素が読み出されるとともに、前フレームメモリ１２から、注目入力画素を基準として、複数の候補ベクトルそれぞれの分だけずれた位置にある出力画素を中心とする、拡大された検出ブロック内にある出力画素が、順次読み出され、ステップＳ１２に戻り、以下、同様の処理が繰り返される。即ち、大きいブロックサイズの参照ブロックおよび検出ブロックを用いて、ブロックマッチングが行われる。
【００９２】
一方、ステップＳ１４において、差分値ε２−ε１が所定の閾値εより大きいと判定された場合、即ち、最小残差ε１と次点残差ε２との間に、大きな差があり、従って、図５（Ｂ）に示したように、ブロックサイズが適切な大きさであると考えられる場合、ステップＳ１６に進み、判定部１８において、最小残差ε１が得られた候補ベクトルが、注目入力画素の動きベクトルとして出力される。
【００９３】
即ち、この場合、最小値検出部１５は、最小残差ε１が記憶されていた残差メモリ１４のアドレスを、コントローラ２０に出力し、コントローラ２０は、このアドレスから最小残差ε１が得られた候補ベクトルを認識する。そして、コントローラ２０は、この候補ベクトルを、判定部１８に供給し、判定部１８は、コントローラ２０からの候補ベクトルを、注目入力画素の動きベクトルとして出力する。
【００９４】
そして、ステップＳ１７に進み、現フレームメモリ１１に記憶されたフレームの入力画素すべてを、注目入力画素として、その動きベクトルを検出したかどうかが判定される。ステップＳ１７において、現フレームメモリ１１に記憶されたフレームの入力画素すべてを、まだ、注目入力画素としていないと判定された場合、ステップＳ１１に戻り、まだ注目入力画素とされていない入力画素が、新たに注目入力画素とされ、以下、同様の処理が繰り返される。
【００９５】
また、ステップＳ１７において、現フレームメモリ１１に記憶されたフレームの入力画素すべてを、注目入力画素としたと判定された場合、ステップＳ１８に進み、次に処理すべきフレームが存在するかどうかが判定される。ステップＳ１８において、次に処理すべきフレームが存在すると判定された場合、即ち、現フレームメモリ１１に、次のフレームが供給された場合、ステップＳ１１に戻り、以下、同様の処理が繰り返される。
【００９６】
一方、ステップＳ１８において、次に処理すべきフレームが存在しないと判定された場合、動きベクトル検出処理を終了する。
【００９７】
なお、ここでは、可変ブロックサイズブロックマッチングによって、動きベクトルの検出を行うようにしたが、動きベクトルの検出は、参照ブロックおよび検出ブロックのブロックサイズを固定にして行うことも可能である。
【００９８】
次に、図７は、図２のノイズ量推定部２の構成例を示している。
【００９９】
処理すべき入力画素ｘ（ｔ）は、遅延回路３１および分散計算部３９に入力されるようになっている。また、ＭＥ部１で検出された入力画素ｘ（ｔ）の動きベクトルは、遅延回路３５および静止判定部４２に供給されるようになっている。
【０１００】
遅延回路３１は、そこに入力される入力画素ｘ（ｔ）を１フレーム分の時間だけ遅延し、入力画素ｘ（ｔ−１）として、遅延回路３２および分散計算部３９に供給するようになっている。遅延回路３２は、遅延回路３１からの入力画素ｘ（ｔ−１）を１フレーム分の時間だけ遅延し、入力画素ｘ（ｔ−２）として、遅延回路３３および分散計算部３９に供給するようになっている。遅延回路３３は、遅延回路３２からの入力画素ｘ（ｔ−２）を１フレーム分の時間だけ遅延し、入力画素ｘ（ｔ−３）として、遅延回路３４および分散計算部３９に供給するようになっている。遅延回路３４は、遅延回路３３からの入力画素ｘ（ｔ−３）を１フレーム分の時間だけ遅延し、入力画素ｘ（ｔ−４）として、分散計算部３９に供給するようになっている。
【０１０１】
遅延回路３５乃至３８それぞれは、動きベクトルについて、遅延回路３１乃至３４における場合と同様の遅延処理を行うようになっている。従って、例えば、いま、入力画素ｘ（ｔ）の動きベクトルを、ｖ（ｔ）と表すと、遅延回路３５乃至３８は、動きベクトルｖ（ｔ−１）乃至ｖ（ｔ−４）を、それぞれ出力する。この動きベクトルｖ（ｔ−１）乃至ｖ（ｔ−４）は、静止判定部４３乃至４６にそれぞれ供給されるようになっている。
【０１０２】
分散計算部３９は、そこに供給される入力画素ｘ（ｔ）乃至ｘ（ｔ−４）の分散を演算し、分散積算メモリ４０に供給するようになっている。分散積算メモリ４０は、メモリコントローラ４８の制御の下、分散計算部３９から供給される分散の積算を行うようになっている。分散値フレーム平均計算部４１は、分散積算メモリ４０において積算された分散の平均値を演算し（分散の積算値を、その積算された分散の数で除算し）、それを、入力画素ｘ（ｔ）のノイズ量として出力するようになっている。
【０１０３】
静止判定部４２は、そこに入力される動きベクトルｖ（ｔ）に基づいて、入力画素ｘ（ｔ）が静止している部分のものであるかどうかを判定し、その判定結果を、連続静止位置検出部４７に供給するようになっている。静止判定部４２乃至４６も、静止判定部４２と同様に、遅延回路３５乃至３８から供給される動きベクトルｖ（ｔ−１）乃至ｖ（ｔ−４）に基づいて、入力画素ｘ（ｔ−１）乃至ｘ（ｔ−４）が静止している部分のものであるかどうかを、それぞれ判定し、その判定結果を、連続静止位置検出部４７に供給するようになっている。
【０１０４】
連続静止位置検出部４７は、静止判定部４２乃至４６からの判定結果に基づいて、連続したフレームにおいて、静止している部分の画素の位置を検出するようになっている。即ち、連続静止位置検出部４７は、静止判定部４２乃至４６からの判定結果が、いずれも静止しているものとなっている位置の入力画素ｘ（ｔ）を検出し、その位置を、メモリコントローラ４８に供給するようになっている。
【０１０５】
メモリコントローラ４８は、分散計算部３９が出力する分散のうち、連続静止位置検出部４７から供給された、静止している位置にある画素から求められたもののみを積算するように、分散積算メモリ４０を制御するようになっている。さらに、メモリコントローラ４８には、新たなフレームの入力画素の供給が開始されることを示すフレームリセット信号が供給されるようになっており、メモリコントローラ４８は、このフレームリセット信号を受信すると、分散値フレーム平均計算部４１に、分散積算メモリ４０に記憶された分散の積算値の平均値を計算させるとともに、分散積算メモリ４０の記憶値を０にリセットするようになっている。
【０１０６】
以上のように構成されるノイズ量推定部２では、いま処理（ノイズを除去する処理）の対象となっているフレーム（注目フレーム）を構成する入力画素のうちの、静止している部分だけを用いて、入力画素のノイズ量を推定するノイズ量推定処理が行われるようになっている。
【０１０７】
即ち、図８は、ノイズ量推定処理を説明するためのフローチャートである。
【０１０８】
ノイズ量推定処理では、まず最初に、ステップＳ２１において、注目フレームを構成する所定の入力画素を、注目入力画素ｘ（ｔ）として、その注目入力画素ｘ（ｔ）と、それと同一位置にある、過去４フレームの入力画素ｘ（ｔ−１）乃至ｘ（ｔ−４）との５画素を用いて、分散が計算されるとともに、その５画素ｘ（ｔ）乃至ｘ（ｔ−４）それぞれが、静止している部分の画素（静止画素）であるかどうかの静止判定が行われる。
【０１０９】
即ち、遅延回路３１および分散計算部３９には、注目フレームを構成する入力画素ｘ（ｔ）が供給され、また、遅延回路３５および静止判定部４２には、ＭＥ部１で検出された入力画素ｘ（ｔ）の動きベクトルｖ（ｔ）が供給される。
【０１１０】
そして、遅延回路３１乃至３４それぞれでは、そこに入力される入力画素が、１フレーム分の時間だけ遅延され、分散計算部３９に供給される。即ち、これにより、分散計算部３９には、入力画素ｘ（ｔ）乃至ｘ（ｔ−４）が供給される。分散計算部３９では、入力画素ｘ（ｔ）乃至ｘ（ｔ−４）の分散が求められ、分散積算メモリ４０に供給される。
【０１１１】
一方、遅延回路３５乃至３８それぞれでは、そこに入力される動きベクトルが、１フレーム分の時間だけ遅延され、静止判定部４３乃至４６に供給される。従って、静止判定部４２乃至４６には、入力画素ｘ（ｔ）乃至ｘ（ｔ−４）の動きベクトルｖ（ｔ）乃至ｖ（ｔ−４）がそれぞれ供給される。そして、静止判定部４２乃至４６では、そこに入力される動きベクトルｖ（ｔ）乃至ｖ（ｔ−４）に基づいて、入力画素ｘ（ｔ−１）乃至ｘ（ｔ−４）が静止している部分のものであるかどうかが、それぞれ判定され、その判定結果が、連続静止位置検出部４７に供給される。
【０１１２】
連続静止位置検出部４７では、静止判定部４２乃至４６それぞれにおける静止判定結果に基づき、注目入力画素ｘ（ｔ）の位置が、連続したフレーム（ここでは、第ｔ−４フレームから第ｔフレームまでの５フレーム）において、静止している部分となっているかどうかが検出される。この検出結果は、メモリコントローラ４８に供給される。
【０１１３】
メモリコントローラ４８では、ステップＳ２２において、連続静止位置検出部４７の出力に基づいて、注目入力画素ｘ（ｔ）の位置が、連続したフレームで、静止している部分となっているかどうかが判定される。ステップＳ２２において、注目入力画素ｘ（ｔ）の位置が、連続したフレームで、静止している部分となっていないと判定された場合、即ち、注目入力画素ｘ（ｔ）と同一位置にあるｘ（ｔ−１）乃至ｘ（ｔ−４）のうちのいずれかが動きを有するものである場合、メモリコントローラ４８は、分散積算メモリ４０に、分散計算部３９からの分散を破棄するように指令し、ステップＳ２３をスキップして、ステップＳ２４に進む。従って、この場合、分散積算メモリ４０では、分散計算部３９からの分散、即ち、動きを有する画素から求められた分散は積算されずに破棄される。
【０１１４】
一方、ステップＳ２２において、注目入力画素ｘ（ｔ）の位置が、連続したフレームで、静止している部分となっていると判定された場合、即ち、注目入力画素ｘ（ｔ）と同一位置にあるｘ（ｔ−１）乃至ｘ（ｔ−４）のうちのいずれも動きを有しないものである場合、ステップＳ２３に進み、メモリコントローラ４８は、分散積算メモリ４０に、分散計算部３９からの分散を積算するように指令し、ステップＳ２４に進む。従って、この場合、分散積算メモリ４０では、分散計算部３９からの分散、即ち、静止している画素から求められた分散が、既に記憶されている分散に積算され、その積算値が、新たに記憶される。
【０１１５】
ステップＳ２４では、注目フレームのすべての入力画素を、注目入力画素として、処理を行ったかどうかが判定され、まだ、行っていないと判定された場合、ステップＳ２１に戻り、注目フレームを構成する入力画素のうちの、まだ注目入力画素とされていないものを、新たに注目入力画素として、ステップＳ２１以下の処理が繰り返される。
【０１１６】
また、ステップＳ２４において、注目フレームのすべての入力画素を、注目入力画素として、処理を行ったと判定された場合、ステップＳ２５に進み、分散値フレーム平均計算部４１において、注目フレームを構成する各入力画素に含まれるノイズ量が求められる。
【０１１７】
即ち、注目フレームのすべての入力画素についての処理が終了すると、メモリコントローラ４８には、フレームリセット信号が入力される。メモリコントローラ４８は、フレームリセット信号を受信すると、分散値フレーム平均計算部４１に、分散積算メモリ４０に記憶された分散の積算値の平均値を計算させるとともに、分散積算メモリ４０の記憶値を０にリセットする。
【０１１８】
分散値フレーム平均計算部４１では、メモリコントローラ４８の制御にしたがい、分散積算メモリ４０に記憶された分散の積算値の平均値が計算される。分散積算メモリ４０では、上述したことから、静止している画素から求められた分散のみが積算され、その積算値が記憶されており、従って、分散値フレーム平均計算部４１では、そのような静止している画素（ここでは、５フレーム連続して静止している画素）から求められた分散の平均値が求められる。この平均値は、注目フレーム（第ｔフレーム）の入力画素に含まれるノイズ量Ｎ（ｔ）として出力される。
【０１１９】
そして、ステップＳ２６に進み、次のフレームの入力画素およびその動きベクトルが存在するかどうかが判定され、存在すると判定された場合、ステップＳ２１に戻り、そのフレームを、新たに注目フレームとして、以下、同様の処理が繰り返される。
【０１２０】
また、ステップＳ２６において、次のフレームの入力画素およびその動きベクトルが存在しないと判定された場合、ノイズ量推定処理を終了する。
【０１２１】
以上のように、ノイズ量推定部２では、注目フレームから、５フレーム前までの５フレームの間静止し続けている同一位置の５つ画素が検出され、そのような５画素の分散の平均値が、注目フレームの入力画素に含まれるノイズ量であると推定される。従って、この場合、ノイズ量の推定に、動きのある画素が用いられないため、画像の動きの影響が、推定されたノイズ量に反映されることを防止することができる。即ち、画像の動きの影響がほとんどないノイズ量（真のノイズ量に近いノイズ量）を推定することができる。
【０１２２】
なお、上述の場合においては、注目フレームから、５フレーム前までの間静止し続けている同一位置の５つ画素から分散を求めるようにしたが、分散を求める対象とする画素は５画素に限定されるものではない。
【０１２３】
次に、図９は、図２のノイズリダクション部３の構成例を示している。このノイズリダクション部３においては、入力画素ｘ（ｔ）からノイズを除去するノイズリダクション処理が行われるようになっている。
【０１２４】
即ち、メモリコントローラ５１または５２には、ＭＥ部１で検出された入力画素ｘ（ｔ）の動きベクトルｖ（ｔ）が供給されるようになっており、メモリコントローラ５１または５２は、その動きベクトルｖ（ｔ）に基づいて、メモリ４または５の読み出しアドレスを設定し、それぞれから、１フレーム前の出力画素ｙ（ｔ−１）の出力信頼度αｙ（ｔ−１）または出力画素ｙ（ｔ−１）を読み出すようになっている。さらに、メモリコントローラ５１は、メモリ４から読み出した出力信頼度αｙ（ｔ−１）を、重み／信頼度算出部５５に供給し、メモリコントローラ５２は、メモリ５から読み出した出力画素ｙ（ｔ−１）を、フレーム間差分演算部５３および重み付き平均演算部５６に供給するようになっている。
【０１２５】
フレーム間差分演算部５３には、上述したように、メモリコントローラ５２から出力画素ｙ（ｔ−１）が供給される他、入力画素ｘ（ｔ）が供給されるようになっている。そして、フレーム間差分演算部５３は、入力画素ｘ（ｔ）と、それに対応する１フレーム前の出力画素ｙ（ｔ−１）との差分の絶対値、即ち、入力画素ｘ（ｔ）について検出された動きベクトルｖ（ｔ）の残差Ｄ（ｔ）を演算し、ベクトル信頼度算出部５４に供給するようになっている。
【０１２６】
ベクトル信頼度算出部５４には、上述したように、フレーム間差分演算部５３から残差Ｄ（ｔ）が供給される他、ノイズ量推定部２から入力画素ｘ（ｔ）のノイズ量Ｎ（ｔ）が供給されるようになっている。そして、ベクトル信頼度算出部５４は、残差Ｄ（ｔ）とノイズ量Ｎ（ｔ）とを用い、式（１５）にしたがって、動きベクトルｖ（ｔ）の信頼性を表すベクトル信頼度ｍを演算し、重み／信頼度算出部５５に供給するようになっている。
【０１２７】
重み／信頼度算出部５５には、上述したように、メモリコントローラ５１から出力信頼度αｙ（ｔ−１）が供給されるとともに、ベクトル信頼度算出部５４からベクトル信頼度ｍが供給される他、ノイズ量推定部２から入力画素ｘ（ｔ）のノイズ量Ｎ（ｔ）が供給されるようになっている。そして、重み／信頼度算出部５５は、ノイズ量Ｎ（ｔ）に基づいて、入力画素ｘ（ｔ）の入力信頼度αｘ（ｔ）を求め、その入力信頼度、メモリコントローラ５１からの出力信頼度αｙ（ｔ−１）、およびベクトル信頼度算出部５４からベクトル信頼度ｍを用いて、式（１３）または（１４）にしたがい、入力画素ｘ（ｔ）に対する出力画素ｙ（ｔ）の出力信頼度αｙ（ｔ）、または出力画素ｙ（ｔ）を求めるための重みｗ（ｔ）をそれぞれ求めるようになっている。重み／信頼度算出部５５で求められた出力信頼度αｙ（ｔ）は、メモリ４に供給されて記憶され、重みｗ（ｔ）は、重み付き平均演算部５６に供給されるようになっている。
【０１２８】
重み付き平均演算部５６は、そこに供給される入力画素ｘ（ｔ）、出力画素ｙ（ｔ−１）、および重みｗ（ｔ）を用いて、式（８）にしたがい、重み付き平均（重み付け加算値）を演算し、その結果得られる値を、入力画素ｘ（ｔ）からノイズを除去した出力画素ｙ（ｔ）（入力画素ｘ（ｔ）に対する出力画素ｙ（ｔ））として出力するようになっている。
【０１２９】
次に、図１０のフローチャートを参照して、図９のノイズリダクション部３が行うノイズリダクション処理について説明する。
【０１３０】
処理すべき入力画素ｘ（ｔ）である注目入力画素ｘ（ｔ）は、フレーム間差分演算部５３および重み付き平均演算部５６に供給され、このとき、ステップＳ３１において、その注目入力画素ｘ（ｔ）に対応する、１フレーム前の出力画素ｙ（ｔ−１）が、フレーム間差分演算部５３および重み付き平均演算部５６に供給されるとともに、その出力信頼度αｙ（ｔ−１）が、重み／信頼度算出部５５に供給される。
【０１３１】
即ち、注目入力画素ｘ（ｔ）が、フレーム間差分演算部５３および重み付き平均演算部５６に供給されるのと同時に、その注目入力画素ｘ（ｔ）の動きベクトルｖ（ｔ）が、メモリコントローラ５１および５２に供給される。
【０１３２】
メモリコントローラ５１は、動きベクトルｖ（ｔ）に基づき、メモリ４において、注目入力画素ｘ（ｔ）に対応する１フレーム前の出力画素ｙ（ｔ−１）の出力信頼度αｙ（ｔ−１）が記憶されているアドレスを算出し、そのアドレスから、出力信頼度αｙ（ｔ−１）を読み出して、重み／信頼度算出部５５に供給する。また、メモリコントローラ５２にも、動きベクトルｖ（ｔ）に基づき、メモリ５において、注目入力画素ｘ（ｔ）に対応する１フレーム前の出力画素ｙ（ｔ−１）が記憶されているアドレスを算出し、そのアドレスから、出力画素ｙ（ｔ−１）を読み出して、フレーム間差分演算部５３および重み付き平均演算部５６に供給する。
【０１３３】
そして、ステップＳ３２に進み、フレーム間差分演算部５３において、メモリコントローラ５２から出力画素ｙ（ｔ−１）と、入力画素ｘ（ｔ）との差分の絶対値、即ち、注目入力画素ｘ（ｔ）について検出された動きベクトルｖ（ｔ）の残差Ｄ（ｔ）が演算される。この残差Ｄ（ｔ）は、ベクトル信頼度算出部５４に供給される。
【０１３４】
ベクトル信頼度算出部５４には、注目入力画素ｘ（ｔ）のフレーム（注目フレーム）についての処理が開始されるときに、ノイズ量推定部２からノイズ量Ｎ（ｔ）が供給されるようになっており、ベクトル信頼度算出部５４では、ステップＳ３３において、残差Ｄ（ｔ）とノイズ量Ｎ（ｔ）とを用い、式（１５）にしたがって、動きベクトルｖ（ｔ）の信頼性を表すベクトル信頼度ｍが演算される。そして、このベクトル信頼度ｍが、重み／信頼度算出部５５に供給され、ステップＳ３４に進む。
【０１３５】
ステップＳ３４では、重み／信頼度算出部５５において、注目入力画素ｘ（ｔ）の入力信頼度αｘ（ｔ）が計算され、さらに、入力画素ｘ（ｔ）に対する出力画素ｙ（ｔ）の出力信頼度αｙ（ｔ）と、その出力画素ｙ（ｔ）を求めるための重みｗ（ｔ）が求められる。
【０１３６】
即ち、重み／信頼度算出部５５では、ノイズ量Ｎ（ｔ）を用いて、次式にしたがい、注目入力画素ｘ（ｔ）の入力信頼度αｘ（ｔ）が求められる。
【０１３７】
αｘ（ｔ）＝１／Ｎ（ｔ）
・・・（１６）
ここで、Ｎ（ｔ）は、上述したように、画像の動きの影響がほとんどないノイズ量（真のノイズ量に近いノイズ量）であるから、式（１６）に示したように、これを用いて、入力信頼度αｘ（ｔ）を規定することで、注目入力画素ｘ（ｔ）の信頼性を、精度良く表す入力信頼度が得られることになる。なお、ノイズ量Ｎ（ｔ）は、上述したように、注目フレームから、５フレーム前までの間静止し続けている同一位置の５つ画素の分散の平均値であり、従って、注目フレームについて、１つだけ得られる。その結果、そのようなノイズ量Ｎ（ｔ）から求められる入力信頼度αｘ（ｔ）も、注目フレームについて、１つだけ得られる。即ち、ここでは、注目フレームの各入力画素に含まれるノイズ量は、すべてＮ（ｔ）であるとして、入力信頼度αｘ（ｔ）が求められる。
【０１３８】
さらに、重み／信頼度算出部５５では、式（１６）によって求められた入力信頼度αｘ（ｔ）の他、メモリコントローラ５１からの出力信頼度αｙ（ｔ−１）、およびベクトル信頼度算出部５４からベクトル信頼度ｍを用いて、式（１３）または（１４）にしたがい、入力画素ｘ（ｔ）に対する出力画素ｙ（ｔ）の出力信頼度αｙ（ｔ）、または出力画素ｙ（ｔ）を求めるための重みｗ（ｔ）がそれぞれ求められる。そして、出力信頼度αｙ（ｔ）は、メモリ４に供給されて記憶され、重みｗ（ｔ）は、重み付き平均演算部５６に供給される。
【０１３９】
重み付き平均演算部５６では、ステップＳ３５において、注目入力画素ｘ（ｔ）、メモリコントローラ５２からの出力画素ｙ（ｔ−１）、および重み／信頼度算出部５５からの重みｗ（ｔ）を用いて、式（８）にしたがい、重み付き平均が演算される。即ち、重み付き平均演算部５６は、１−ｗ（ｔ）とｗ（ｔ）を重みとして、注目入力画素ｘ（ｔ）と、その注目入力画素ｘ（ｔ）に対応する、１フレーム前の出力画素ｙ（ｔ−１）との重み付け加算値を演算し、その加算値を、入力画素ｘ（ｔ）からノイズを除去した出力画素ｙ（ｔ）として出力する。この出力画素ｙ（ｔ）は、メモリ５に供給されて記憶される。
【０１４０】
その後、ステップＳ３６に進み、注目フレームの画素すべてについて処理を行ったか否かが判定され、まだ行っていないと判定された場合、ステップＳ３１に戻り、まだ、注目フレームの入力画素のうち、まだ、注目入力画素とされていないものを、新たに注目入力画素として、ステップＳ３１以下の処理が繰り返される。
【０１４１】
また、ステップＳ３６において、注目フレームの画素すべてについて処理を行ったと判定された場合、ステップＳ３７に進み、次に処理すべきフレームが存在するか否かが判定される。ステップＳ３７において、次に処理すべきフレームが存在すると判定された場合、ステップＳ３１に戻り、次に処理すべきフレームを、新たに注目フレームとして、以下、同様の処理が繰り返される。
【０１４２】
一方、ステップＳ３６において、次に処理すべきフレームが存在しないと判定された場合、ノイズリダクション処理を終了する。
【０１４３】
以上のように、静止している部分の画素のみを用いて、入力画素ｘ（ｔ）に含まれるノイズ量を推定し、そのノイズ量から、入力信頼度αｘ（ｔ）を求め、また、動きベクトルｖ（ｔ）のベクトル信頼度ｍを求め、そのベクトル信頼度ｍを補正項として、出力信頼度αｙ（ｔ−１）を補正するようにしたので、動画像からのノイズの除去を、より効果的に行うことが可能となる。
【０１４４】
ところで、上述の場合には、ベクトル信頼度ｍによって、出力信頼度を補正するようにしたが、このように出力信頼度を補正する他、入力信頼度も補正するようにすることが可能である。
【０１４５】
即ち、上述の場合には、ノイズ量推定部２において、時間方向において連続して静止している入力画素の分散の平均値を計算し、その逆数を、入力画素ｘ（ｔ）の入力信頼度αｘ（ｔ）とするようにしたが、この場合、その静止している入力画素の平均値を真値としていることになる。しかしながら、この平均値は、入力画素の真値に一致するとは限らず、従って、入力画素ｘ（ｔ）が真値であることの信頼性を表す入力信頼度αｘ（ｔ）としては、例えば、式（１７）で表されるような、入力画素ｘ（ｔ）の、その真値Ｘに対する誤差を直接反映する値を用いるのが理想的である（式（１７）では、入力画素ｘ（ｔ）の、真値Ｘに対する自乗誤差の逆数を、入力信頼度αｘ（ｔ）としており、これは、入力画素ｘ（ｔ）に含まれるノイズのパワーの自乗の逆数である）。
【０１４６】
αｘ（ｔ）＝１／（ｘ（ｔ）−Ｘ）２
・・・（１７）
【０１４７】
式（１７）において、入力画素ｘ（ｔ）の真値Ｘは不明であるから、真値Ｘを用いずに、入力信頼度αｘ（ｔ）を求める必要があり、このため、上述の場合においては、静止している入力画素の平均値を、入力画素の真値とみなして、入力信頼度αｘ（ｔ）を求めている。
【０１４８】
従って、静止している入力画素の平均値が、入力画素の真値からずれている場合には、そのずれている分、入力信頼度αｘ（ｔ）が表す入力画素の信頼性は、いわば当てにならないものとなる。
【０１４９】
即ち、いま、入力画素の真値とみなす、静止している入力画素の平均値を、仮の真値Ｘ’とし、その仮の真値Ｘ’に対する入力画素ｘ（ｔ）の自乗誤差の逆数を、入力信頼度αｘ（ｔ）として用いることを考えると、この入力信頼度αｘ（ｔ）は、次式で与えられる。
【０１５０】
αｘ（ｔ）＝１／△ｘ（ｔ）２
＝１／（ｘ（ｔ）−Ｘ’）２
・・・（１８）
【０１５１】
式（１８）における△ｘ（ｔ）２は、入力画素ｘ（ｔ）の、仮の真値Ｘ’に対する自乗誤差（（ｘ（ｔ）−Ｘ’）２）であるから、入力画素ｘ（ｔ）に含まれるノイズを概ね見積もることができるが、この自乗誤差△ｘ（ｔ）２には、真値に対する仮の真値Ｘ’の誤差が含まれていないため、真値Ｘに対する入力画素ｘ（ｔ）の自乗誤差（ｘ（ｔ）−Ｘ）２とは、図１１に示すように、基本的に異なる値となる。
【０１５２】
そこで、仮の真値Ｘ’に対する入力画素ｘ（ｔ）の自乗誤差△ｘ（ｔ）２が、真値Ｘに対する入力画素ｘ（ｔ）の自乗誤差（ｘ（ｔ）−Ｘ）２に等しいことの信頼性、即ち、仮の真値Ｘ’が真値Ｘに等しいことの信頼性を表す仮真値信頼度を、入力信頼度αｘ（ｔ）の補正に用いる補正項（補正値）σＸ’２として導入し、これによって、仮の真値Ｘ’に対する入力画素ｘ（ｔ）の自乗誤差△ｘ（ｔ）２の逆数として表される入力信頼度αｘ（ｔ）を補正することにより、より信頼性の高い入力信頼度αｘ（ｔ）（入力画素ｘ（ｔ）が真値であることの信頼性を、より正確に表す入力信頼度αｘ（ｔ））を求めるようにすることができる。
【０１５３】
即ち、いま、仮の真値Ｘ’として、例えば、式（１９）に示すような、入力画素ｘ（ｔ）を含む、過去Ｎ個の入力画素ｘ（ｔ）乃至ｘ（ｔ−（Ｎ−１））の平均値（移動平均）を用いることとする。
【０１５４】
【数５】
なお、式（１９）において、ｘの上にバー（−）を付したものが、入力画素ｘ（ｔ）乃至ｘ（ｔ−（Ｎ−１））の平均値を表すが、本明細書中では、このｘの上にバー（−）を付したものを、以下、適宜、ｘ〜と表す。
【０１５５】
この場合、補正項σＸ’２としては、例えば、次式に示すような、入力画素ｘ（ｔ）を含む、過去Ｎ個の入力画素ｘ（ｔ）乃至ｘ（ｔ−（Ｎ−１））の分散の平均値σｘ〜２を用いることができる。
【０１５６】
【数６】
ここで、式（２０）における右辺の分子を、Ｎ−１で除算したものが、入力画素ｘ（ｔ）乃至ｘ（ｔ−（Ｎ−１））の分散であり、式（２０）では、これを、Ｎで除算することにより、入力画素ｘ（ｔ）乃至ｘ（ｔ−（Ｎ−１））の分散の平均値σｘ〜２を求めている。なお、式（２０）により求められるσｘ〜２は、統計学上は、「平均値の分散」と呼ばれるが、意味的には、分散をＮで除算することから、「分散の平均値」の方が分かりやすいので、ここでは、「分散の平均値」と呼ぶこととする。
【０１５７】
この場合、入力信頼度αｘ（ｔ）は、例えば、次式にしたがって補正することができる。
【０１５８】
αｘ（ｔ）＝１／（△ｘ（ｔ）２＋σＸ’２）
・・・（２１）
【０１５９】
式（２１）においては、仮の真値Ｘ’に対する入力画素ｘ（ｔ）の自乗誤差△ｘ（ｔ）２（補正前の入力信頼度の逆数）が、補正項σＸ’２によって補正され、その逆数が補正された入力信頼度αｘ（ｔ）として求められている。即ち、自乗誤差△ｘ（ｔ）２と、補正項σＸ’２との加算値の逆数が、補正された入力信頼度αｘ（ｔ）として求められている。
【０１６０】
統計的には、仮の真値Ｘ’に対する入力画素ｘ（ｔ）の自乗誤差△ｘ（ｔ）２は、真値Ｘに対する入力画素ｘ（ｔ）の自乗誤差（ｘ（ｔ）−Ｘ）２よりも小さく見積もられることが多いことから、式（２１）に示すように、自乗誤差△ｘ（ｔ）２と、補正項σＸ’２とを加算し、その加算値の逆数を、入力信頼度αｘ（ｔ）とすることで、入力画素ｘ（ｔ）が真値であることの信頼性を、より正確に表す入力信頼度αｘ（ｔ）を得ることができる。
【０１６１】
ここで、式（１７）乃至（２１）では、仮の真値Ｘ’と入力データｘ（ｔ）との自乗誤差の逆数で定義される入力信頼度αｘ（ｔ）を補正するようにしたが、式（１６）で表される入力信頼度αｘ（ｔ）も、上述の場合と同様に補正することが可能である。
【０１６２】
なお、本発明は、画像データや、音声データ、その他のデータからのノイズの除去を行う場合に適用可能である。
【０１６３】
また、本実施の形態では、本発明について、ノイズの除去という観点から説明を行ったが、本発明においては、上述したように、出力データが時間の経過とともに改善されるように、入力データが処理されることから、例えば、入力データの波形整形（波形等化）などを行う場合にも適用可能である。
【０１６４】
【発明の効果】
本発明の第１の側面によれば、動画像のデータに含まれるノイズの除去を、より効果的に行うことが可能となる。
【０１６５】
本発明の第２の側面によれば、例えば、出力画素が真値であることの信頼性を、より正確に表す出力信頼度を得ることが可能となり、これを用いることで、より効果的なノイズの除去等が可能となる。
【図面の簡単な説明】
【図１】入力データと、その信頼度とを示す図である。
【図２】本発明を適用したノイズ除去装置の一実施の形態の構成例を示すブロック図である。
【図３】図２のノイズ除去装置の処理を説明するためのフローチャートである。
【図４】図２のＭＥ部１の構成例を示すブロック図である。
【図５】可変ブロックサイズブロックマッチングを説明するための図である。
【図６】図４のＭＥ部１の処理を説明するためのフローチャートである。
【図７】図２のノイズ量推定部２の構成例を示すブロック図である。
【図８】図７のノイズ量推定部２の処理を説明するためのフローチャートである。
【図９】図２のノイズリダクション部３の処理を説明するためのフローチャートである。
【図１０】図９のノイズリダクション部３の処理を説明するためのフローチャートである。
【図１１】仮の真値Ｘ’と、真値Ｘとの関係を示す図である。
【符号の説明】
１ ＭＥ部， ２ ノイズ量推定部， ３ ノイズリダクション部， ４，５メモリ， １１ 現フレームメモリ， １２ 前フレームメモリ， １３ 差分絶対値和演算部， １４ 残差メモリ， １５ 最小値検出部， １６ 次点検出部， １７ 差分演算部， １８ 判定部， １９ ブロックサイズ拡大指示部， ２０ コントローラ， ２１ アドレス出力部， ３１乃至３８ 遅延回路， ３９ 分散計算部， ４０ 分散積算メモリ， ４１ 分散値フレーム平均計算部， ４２乃至４６ 判定部， ４７ 連続静止位置検出部， ４８ メモリコントローラ， ５１，５２ メモリコントローラ， ５３ フレーム間差分演算部， ５４ ベクトル信頼度算出部， ５５ 重み／信頼度算出部， ５６ 重み付き平均演算部
Claims (10)
- 入力画素を処理し、その処理結果としての出力画素を出力する画像処理装置であって、
前記入力画素の動きを判定する動き判定手段と、
前記入力画素の動きの判定結果に基づいて、その入力画素の静止している部分のノイズ量を推定する推定手段と、
前記ノイズ量に基づいて、前記ノイズ量が小さいほど大きくなる値を、前記入力画素の信頼性を表す入力信頼度として計算する入力信頼度計算手段と、
前記入力信頼度の積算値を、前記出力画素の信頼性を表す出力信頼度として計算する出力信頼度計算手段と、
前記入力信頼度に比例する重み、および、前記出力信頼度に比例する重みを用いた、前記入力画素と、１画面前に得られた出力画素との重み付け加算により、現在時刻の出力画素を求める処理手段と
を含む画像処理装置。 - 前記入力画素の動きベクトルを検出する動きベクトル検出手段をさらに含み、
前記動き判定手段は、前記入力画素の動きを、前記動きベクトルに基づいて判定する
請求項１に記載の画像処理装置。 - 前記動きベクトルの信頼性を表すベクトル信頼度を計算するベクトル信頼度計算手段と、
前記ベクトル信頼度に基づいて、前記出力信頼度を補正する補正手段と
をさらに含み、
前記処理手段は、前記入力信頼度に比例する重み、および補正された前記出力信頼度に比例する重みを用いた、前記入力画素と、１画面前に得られた出力画素との重み付け加算により、現在時刻の出力画素を求める
請求項２に記載の画像処理装置。 - 前記ベクトル信頼度計算手段は、前記ノイズ量と、前記動きベクトルの残差とに基づいて、前記ベクトル信頼度を計算する
請求項３に記載の画像処理装置。 - 入力画素を処理し、その処理結果としての出力画素を出力する画像処理方法であって、
前記入力画素の動きを判定する動き判定ステップと、
前記入力画素の動きの判定結果に基づいて、その入力画素の静止している部分のノイズ量を推定する推定ステップと、
前記ノイズ量に基づいて、前記ノイズ量が小さいほど大きくなる値を、前記入力画素の信頼性を表す入力信頼度として計算する入力信頼度計算ステップと、
前記入力信頼度の積算値を、前記出力画素の信頼性を表す出力信頼度として計算する出力信頼度計算ステップと、
前記入力信頼度に比例する重み、および、前記出力信頼度に比例する重みを用いた、前記入力画素と、１画面前に得られた出力画素との重み付け加算により、現在時刻の出力画素を求める処理ステップと
を含む画像処理方法。 - 入力画素を処理し、その処理結果としての出力画素を出力するデータ処理装置であって、
前記入力画素のノイズ量が小さいほど大きくなる値を、前記入力画素の信頼性を表す入力信頼度として計算する入力信頼度計算手段と、
前記入力信頼度の積算値を、前記出力画素の信頼性を表す出力信頼度として計算する出力信頼度計算手段と、
前記入力画素の動きベクトルの信頼性を表すベクトル信頼度を、前記出力信頼度の補正に用いる出力補正項として算出する出力補正項算出手段と、
前記出力信頼度を、前記出力補正項に基づいて補正する出力補正手段と、
前記入力信頼度に比例する重み、および補正された前記出力信頼度に比例する重みを用いた、前記入力画素と、１画面前に得られた出力画素との重み付け加算により、現在時刻の出力画素を求める処理手段と
を含むデータ処理装置。 - 前記入力画素の動きベクトルを検出する動きベクトル検出手段をさらに含み、
前記出力補正項算出手段は、前記動きベクトルの信頼性を表すベクトル信頼度を求め、そのベクトル信頼度を、前記出力補正項として出力する
請求項６に記載のデータ処理装置。 - 前記入力画素のノイズ量を推定する推定手段をさらに含み、
前記出力補正項算出手段は、前記ノイズ量と、前記動きベクトルの残差とに基づいて、前記ベクトル信頼度を求める
請求項７に記載のデータ処理装置。 - 前記入力信頼度の補正に用いる入力補正項を算出する入力補正項算出手段と、
前記入力信頼度を、前記入力補正項に基づいて補正する入力補正手段と
をさらに含み、
前記処理手段は、補正された前記入力信頼度に比例する重み、および補正された前記出力信頼度に比例する重みを用いた、前記入力画素と、１画面前に得られた出力画素との重み付け加算により、現在時刻の出力画素を求める
請求項６に記載のデータ処理装置。 - 入力画素を処理し、その処理結果としての出力画素を出力するデータ処理方法であって、
前記入力画素のノイズ量が小さいほど大きくなる値を、前記入力画素の信頼性を表す入力信頼度として計算する入力信頼度計算ステップと、
前記入力信頼度の積算値を、前記出力画素の信頼性を表す出力信頼度として計算する出力信頼度計算ステップと、
前記入力画素の動きベクトルの信頼性を表すベクトル信頼度を、前記出力信頼度の補正に用いる出力補正項として算出する出力補正項算出ステップと、
前記出力信頼度を、前記出力補正項に基づいて補正する出力補正ステップと、
前記入力信頼度に比例する重み、および補正された前記出力信頼度に比例する重みを用いた、前記入力画素と、１画面前に得られた出力画素との重み付け加算により、現在時刻の出力画素を求める処理ステップと
を含むデータ処理方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30664899A JP4344968B2 (ja) | 1999-10-28 | 1999-10-28 | 画像処理装置および画像処理方法、並びにデータ処理装置およびデータ処理方法 |
| EP00309244A EP1096791A3 (en) | 1999-10-28 | 2000-10-20 | Image processing and data processing |
| US09/697,637 US6678330B1 (en) | 1999-10-28 | 2000-10-26 | Image processing apparatus, image processing method, data-processing apparatus, data processing method, and storage medium |
| KR1020000063774A KR100724652B1 (ko) | 1999-10-28 | 2000-10-28 | 이미지 처리 장치, 이미지 처리 방법, 데이터 처리 장치,데이터 처리 방법, 및 저장 매체 |
| CNB001366416A CN1192596C (zh) | 1999-10-28 | 2000-10-28 | 图像处理设备和方法,数据处理设备和方法,存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30664899A JP4344968B2 (ja) | 1999-10-28 | 1999-10-28 | 画像処理装置および画像処理方法、並びにデータ処理装置およびデータ処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001126061A JP2001126061A (ja) | 2001-05-11 |
| JP4344968B2 true JP4344968B2 (ja) | 2009-10-14 |
Family
ID=17959647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30664899A Expired - Fee Related JP4344968B2 (ja) | 1999-10-28 | 1999-10-28 | 画像処理装置および画像処理方法、並びにデータ処理装置およびデータ処理方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6678330B1 (ja) |
| EP (1) | EP1096791A3 (ja) |
| JP (1) | JP4344968B2 (ja) |
| KR (1) | KR100724652B1 (ja) |
| CN (1) | CN1192596C (ja) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4344964B2 (ja) * | 1999-06-01 | 2009-10-14 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| US7269220B2 (en) | 2002-07-16 | 2007-09-11 | Broadcom Corporation | Adaptive motion detection and control |
| JP3941644B2 (ja) * | 2002-08-15 | 2007-07-04 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| TWI260509B (en) * | 2002-08-15 | 2006-08-21 | Sony Corp | Method and apparatus for processing image data and semiconductor storage device |
| US7139035B2 (en) * | 2002-12-30 | 2006-11-21 | Texas Instruments Incorporated | Video noise floor estimator with impulse noise detection |
| KR100579493B1 (ko) * | 2003-06-16 | 2006-05-15 | 삼성전자주식회사 | 움직임 벡터 생성 장치 및 방법 |
| FR2860941A1 (fr) * | 2003-10-14 | 2005-04-15 | Nextream France | Dispositif et procede d'estimation de bruit d'un signal video |
| KR20050049680A (ko) * | 2003-11-22 | 2005-05-27 | 삼성전자주식회사 | 노이즈 감쇠장치 및 디인터레이싱 장치 |
| JP4556122B2 (ja) * | 2005-01-27 | 2010-10-06 | ソニー株式会社 | 情報処理装置および方法、並びに回収基板 |
| KR100688536B1 (ko) | 2005-03-09 | 2007-03-02 | 삼성전자주식회사 | 영상신호 잡음제거장치 및 영상신호 잡음제거방법 |
| US7663701B2 (en) * | 2005-04-11 | 2010-02-16 | Ati Technologies, Inc. | Systems, methods, and apparatus for noise reduction |
| US7570309B2 (en) * | 2005-09-27 | 2009-08-04 | Samsung Electronics Co., Ltd. | Methods for adaptive noise reduction based on global motion estimation |
| JP4551873B2 (ja) * | 2006-02-07 | 2010-09-29 | Ｏｋｉセミコンダクタ株式会社 | 雑音量測定装置 |
| JP4692371B2 (ja) * | 2006-04-26 | 2011-06-01 | オムロン株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体、ならびに移動物体検出システム |
| JP4714647B2 (ja) * | 2006-07-31 | 2011-06-29 | 日本放送協会 | カット点検出装置及びカット点検出プログラム |
| KR100787242B1 (ko) * | 2006-10-23 | 2007-12-21 | 포항공과대학교 산학협력단 | 격자의 점유 확률을 통한 형상 기반 지도의 신뢰도 평가방법 |
| JP4869049B2 (ja) * | 2006-12-08 | 2012-02-01 | 株式会社東芝 | 補間フレーム画像作成方法および補間フレーム画像作成装置 |
| JP4862668B2 (ja) * | 2007-01-24 | 2012-01-25 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
| JP4321626B2 (ja) | 2007-05-23 | 2009-08-26 | ソニー株式会社 | 画像処理方法および画像処理装置 |
| CN101355646B (zh) * | 2007-07-26 | 2010-06-02 | 广达电脑股份有限公司 | 噪声消除装置及方法 |
| JP4513034B2 (ja) * | 2008-02-20 | 2010-07-28 | ソニー株式会社 | 画像信号処理装置、画像信号処理方法、およびプログラム |
| JP2009290827A (ja) * | 2008-06-02 | 2009-12-10 | Sony Corp | 画像処理装置および画像処理方法 |
| KR100990791B1 (ko) * | 2008-12-31 | 2010-10-29 | 포항공과대학교 산학협력단 | 영상의 블러 제거 방법 및 블러 제거 방법이 기록된 기록매체 |
| JP4930541B2 (ja) * | 2009-04-20 | 2012-05-16 | ソニー株式会社 | 画像処理方法および画像処理装置 |
| WO2011004427A1 (ja) | 2009-07-07 | 2011-01-13 | 株式会社 東芝 | 画像処理装置 |
| JP5150862B2 (ja) * | 2010-01-08 | 2013-02-27 | 中央電子株式会社 | 画像処理装置、方法、プログラム、および撮像システム |
| US8670073B2 (en) * | 2010-08-02 | 2014-03-11 | Broadcom Corporation | Method and system for video noise filtering |
| KR101669819B1 (ko) | 2010-11-11 | 2016-10-27 | 삼성전자주식회사 | 깊이 영상의 고정밀 복원을 위한 필터링 장치 및 방법 |
| US9510018B2 (en) * | 2011-11-23 | 2016-11-29 | Luca Rossato | Signal analysis and generation of transient information |
| JP6057629B2 (ja) * | 2012-09-07 | 2017-01-11 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム |
| JP6100064B2 (ja) * | 2013-04-10 | 2017-03-22 | 株式会社東芝 | 電子機器および画像処理方法 |
| US10911698B2 (en) * | 2016-09-30 | 2021-02-02 | Huddly As | ISP bias-compensating noise reduction systems and methods |
| JP2018137547A (ja) * | 2017-02-20 | 2018-08-30 | 株式会社東芝 | 情報処理装置及び画像形成装置 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5237405A (en) * | 1990-05-21 | 1993-08-17 | Matsushita Electric Industrial Co., Ltd. | Image motion vector detecting device and swing correcting device |
| KR930001678A (ko) * | 1991-06-13 | 1993-01-16 | 강진구 | 영상 신호에 있어서의 잡음 검출 알고리즘 |
| US5235419A (en) * | 1991-10-24 | 1993-08-10 | General Instrument Corporation | Adaptive motion compensation using a plurality of motion compensators |
| US6285710B1 (en) * | 1993-10-13 | 2001-09-04 | Thomson Licensing S.A. | Noise estimation and reduction apparatus for video signal processing |
| WO1997016923A1 (en) * | 1995-11-01 | 1997-05-09 | Philips Electronics N.V. | Video signal scan conversion |
| US5802220A (en) * | 1995-12-15 | 1998-09-01 | Xerox Corporation | Apparatus and method for tracking facial motion through a sequence of images |
| JPH1075274A (ja) * | 1996-08-29 | 1998-03-17 | Mitsubishi Electric Corp | 軟判定復号器 |
| US5694342A (en) * | 1996-10-24 | 1997-12-02 | The United States Of America As Represented By The Secretary Of The Navy | Method for detecting signals in non-Gaussian background clutter |
| JPH10206442A (ja) * | 1997-01-21 | 1998-08-07 | Nippon Telegr & Teleph Corp <Ntt> | 時系列画像動き信頼度計測方法および装置 |
| KR100582856B1 (ko) * | 1997-09-23 | 2006-05-24 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 움직임 추정 및 움직임 보상된 보간법 |
| JP4164712B2 (ja) * | 1999-02-09 | 2008-10-15 | ソニー株式会社 | データ処理装置およびデータ処理方法 |
| EP1407616A1 (en) * | 2001-07-06 | 2004-04-14 | Koninklijke Philips Electronics N.V. | Motion estimation and compensation with controlled vector statistics |
-
1999
- 1999-10-28 JP JP30664899A patent/JP4344968B2/ja not_active Expired - Fee Related
-
2000
- 2000-10-20 EP EP00309244A patent/EP1096791A3/en not_active Withdrawn
- 2000-10-26 US US09/697,637 patent/US6678330B1/en not_active Expired - Fee Related
- 2000-10-28 CN CNB001366416A patent/CN1192596C/zh not_active Expired - Fee Related
- 2000-10-28 KR KR1020000063774A patent/KR100724652B1/ko not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| CN1297304A (zh) | 2001-05-30 |
| JP2001126061A (ja) | 2001-05-11 |
| KR20010060219A (ko) | 2001-07-06 |
| CN1192596C (zh) | 2005-03-09 |
| EP1096791A3 (en) | 2004-03-24 |
| US6678330B1 (en) | 2004-01-13 |
| KR100724652B1 (ko) | 2007-06-04 |
| EP1096791A2 (en) | 2001-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4344968B2 (ja) | 画像処理装置および画像処理方法、並びにデータ処理装置およびデータ処理方法 | |
| JP4344964B2 (ja) | 画像処理装置および画像処理方法 | |
| US10404917B2 (en) | One-pass video stabilization | |
| US8818046B2 (en) | Image processing device, image processing method, and program | |
| CN100499778C (zh) | 用于使用迭代质心来估计摄像机模型参数的方法和装置 | |
| CN110163909A (zh) | 用于获得设备位姿的方法、装置和存储介质 | |
| US20120134541A1 (en) | Object tracking device capable of detecting intruding object, method of tracking object, and storage medium | |
| JPH07505749A (ja) | ディジタルビデオ信号の画像シーケンスにおける不所望の全体的画像不安定性の推定方法 | |
| KR101885839B1 (ko) | 객체추적을 위한 특징점 선별 장치 및 방법 | |
| US20080095399A1 (en) | Device and method for detecting occlusion area | |
| JP3308617B2 (ja) | 動きベクトル検出装置及びその方法 | |
| JP4496595B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| US8243801B2 (en) | Motion prediction apparatus and motion prediction method | |
| JP2000232384A (ja) | データ処理装置およびデータ処理方法 | |
| KR20080066486A (ko) | 움직임 벡터 추정 장치 및 방법 | |
| JP2012227791A (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
| JP5197374B2 (ja) | 動き推定 | |
| JPH05122590A (ja) | 手ブレ補正機能付きビデオカメラの動きベクトル特定回路 | |
| JP2971513B2 (ja) | 画像の動きベクトル検出装置および揺れ補正装置 | |
| JP3265590B2 (ja) | 画像の動きベクトル検出装置及び画像揺れ補正装置 | |
| US20240320802A1 (en) | Image processing method | |
| KR101362761B1 (ko) | 카메라 패닝 상황에서 안정적인 손떨림 보정 방법 및 장치 | |
| US20230070520A1 (en) | Image processing apparatus, radiation imaging system, image processing method, and computer-readable medium | |
| JP4039273B2 (ja) | 動きベクトル検出装置 | |
| KR100748174B1 (ko) | 동영상의 손떨림 검출 및 보정 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060221 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090206 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090423 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090618 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090701 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120724 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130724 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |