JP2008301336A - 画像処理装置、画像符号化装置及び画像復号化装置 - Google Patents

Abstract

【課題】入力する画像のエッジを保存しながらノイズを除去し高画質な画像を得ること。
【解決手段】エッジ強調フィルタ１４は、入力される画像に対してエッジを強調する処理を行う。非等方拡散処理フィルタ１５は、エッジ強調処理を行った画像に、画像内のエッジの方向に応じて異なる平滑化処理を行う。すなわち、エッジと平行な方向に対しては強い平滑化を行い、エッジと垂直な方向に対しては弱い平滑化を行う。
【選択図】図１

Description

本発明は、フィルタ等により高画質化を行う画像処理装置、画像符号化装置及び画像復号化装置に関する。

一般に映像、音声情報をデジタル化して記録・伝送する場合、デジタルデータを圧縮符号化してデータ量を低減し、これを受信・再生する場合は圧縮されたデータを復号化する圧縮符号化技術が用いられる。例えば非特許文献１には、Ｈ．２６４／ＡＶＣ方式という高精細画像向けの高圧縮技術が開示されている。このような圧縮符号化技術によって圧縮された画像には、ブロックノイズ、モスキートノイズと呼ばれる圧縮によって生じるノイズが付加されてしまう。よって復号再生時にこれらのノイズを除去することが必要で、次のようなポストフィルタが提案されている。

例えば特許文献１には、画像データの高周波成分を抽出するラプラシアンフィルタと、抽出された高周波成分のうち輪郭部分を表わす高周波成分のみを保存するメディアンフィルタとを備える画像圧縮装置が開示されている。

また特許文献２には、二次元領域の画素信号の信号段差を検出し、画像の輪郭または線の方向に直交する方向には信号段差を強調する処理を行い、画像の輪郭または線の方向と同一方向には信号段差を平滑化する処理を行う画像信号処理装置が開示されている。

特開平０５−３４４３４６号公報 特開２００５−２６９４０８号公報 Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ（ＪＶＴ） ｏｆ ＩＳＯ／ＩＥＣ ＭＰＥＧ＆ＩＴＵ−Ｔ ＶＣＥＧ："Ｔｅｘｔ ｏｆ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ ｏｆ Ｊｏｉｎｔ Ｖｉｄｅｏ Ｓｐｅｃｉｆｉｃａｔｉｏｎ"，ＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４｜ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ，（Ｄｅｃｅｍｂｅｒ，２００３）．

特許文献１の技術によれば、メディアンフィルタは輪郭（エッジ）を崩してしまう場合があるため、必ずしも高い画質を実現することができない。また特許文献２の技術では、エッジ強調と平滑化を対象画素の近傍に対して同時に行うため、ノイズを誤って強調して画質を劣化させる場合がある。このように、ノイズの除去とエッジの再現はトレードオフの関係にあり、両者を同時に満足させることは困難であった。

本発明は、上記課題に鑑みてなされたものであり、その目的はエッジを保存しながらノイズを除去する高画質処理技術を提供することにある。

本発明による画像処理装置は、入力される画像に対してエッジを強調する処理を行う第１のフィルタと、第１のフィルタによりエッジ強調処理が行われた画像に、画像内のエッジの方向に応じて異なる平滑化処理を行う第２のフィルタとを備え、第２のフィルタは、エッジと平行な方向に対しては強い平滑化を行い、エッジと垂直な方向に対しては弱い平滑化を行う。

本発明による画像符号化装置は、参照画像を保持する参照画像メモリと、参照画像を用いて入力する画像の動きベクトルを求める動き予測部と、動きベクトル及び動きベクトルを用いて生成した画像残差データを含む符号化ストリームを出力する符号出力部と、参照画像に対して精細化処理を行う精細化フィルタを備える。

本発明による画像復号化装置は、参照画像を保持する参照画像メモリと、入力する画像符号化データから取得した動きベクトルと参照画像を用いて予測画像を生成する予測補償部と、画像符号化データから取得した残差成分データと予測画像とを合成して生成した復号画像を保持する復号画像メモリと、参照画像に対して精細化処理を行う精細化フィルタを備える。

ここに精細化フィルタは、参照画像に対してエッジを強調する処理を行う第１のフィルタと、第１のフィルタによりエッジ強調処理が行われた画像に、画像内のエッジの方向に応じて異なる平滑化処理を行う第２のフィルタとを含み、第２のフィルタは、エッジと平行な方向に対しては強い平滑化を行い、エッジと垂直な方向に対しては弱い平滑化を行う。

本発明によれば、エッジを保存しながらノイズを除去することで、高画質の画像を提供することができる。

以下、本発明の実施例を、図面を参照して説明する。各図面において、同一の符号が付されている構成要素は同一の機能を有するものである。

図１は、本発明による画像処理装置の一実施例を示す構成図である。この実施例では、画像処理装置１０を画像復号化装置の一部として構成したものである。

画像復号化部１１は、圧縮された符号化ストリームを復号化して画像処理装置１０に入力する。画像処理装置１０は、入力した画像信号のノイズを除去して高画質化するポストフィルタで、以下、「精細化フィルタ」とも呼ぶことにする。画質処理装置１０にて処理された画像信号は画像出力部１６から出力される。

画像処理装置（精細化フィルタ）１０は、画像処理の要否を判定する画像判定部１２と、画像信号を保持する画像メモリ１３と、画像のエッジ強調処理を行うエッジ強調フィルタ１４と、エッジ方向に適応した平滑化処理を行う非等方拡散フィルタ１５とを備える。本実施例では高画質なポストフィルタを実現するために、エッジ強調と平滑化を分離して画像の広範囲な情報を利用することと、高精度な平滑化フィルタを利用することに特徴がある。

エッジ強調フィルタ１４は、画像のエッジ（輪郭）を立ち上げる処理を行うもので、例としてはラプラシアンフィルタを用いることができる。非等方拡散フィルタ１５は、線状のエッジを含む２次元画像において、エッジと平行な方向には強い平滑化を行い、エッジと垂直な方向には弱い平滑化を行う。非等方拡散フィルタの定義式については参考文献１に記述されているが、その演算手法は、非等方な熱拡散方程式に基づく偏微分方程式で表される処理を対象画素に行うものである。非等方拡散フィルタの例としては、例えば参考文献２に示されるトータルバリエーションフィルタ（Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ Ｆｉｌｔｅｒ）を用いることができる。これらのフィルタの詳細動作については、後述する。

なお上記非等方拡散フィルタは、元々画像の復元用に開発されたものであるが、本実施例ではこれをポストフィルタとして用いたことに特徴がある。

〔参考文献１〕：辻，徳増，高橋，中嶋：“非等方拡散法に基づく空間平滑化フィルタの構築に関する基礎検討”，電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ８８−Ｄ−ＩＩ，Ｎｏ．６，ｐｐ．１０２４−１０３４，（２００５）。
〔参考文献２〕：Ｌ．Ｖｅｓｅ，Ｓ．Ｏｓｈｅｒ：“Ｍｏｄｅｌｉｎｇ Ｔｅｘｔｕｒｅｓ ｗｉｔｈ Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ Ｍｉｎｉｍｉｚａｔｉｏｎ ａｎｄ Ｏｓｃｉｌｌａｔｉｎｇ Ｐａｔｔｅｒｎｓ ｉｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ”，Ｊｏｕｒｎａｌ ｏｆ Ｓｃｉｅｎｔｉｆｉｃ Ｃｏｍｐｕｔｉｎｇ，１９，ｐｐ．５５３−５７２，（２００３）。

本実施例の装置の各部の動作を説明する。
画像復号化部１１は、入力された符号化ストリームを復号化する。これには、非特許文献１に示したＨ．２６４／ＡＶＣ復号化器等を用いればよい。画像処理装置１０は復号化された画像信号を入力し、画像判定部１２によって、エッジ強調処理を実行するかどうかを判定する。通常の画像では、エッジ強調とその後の非等方拡散フィルタを組み合わせることで画質改善効果が得られるので、エッジ強調処理を実行するが、例えば画像全体の信号レベルの分散値が小さい平坦な画像の場合、エッジ強調による画質改善効果が小さいので、エッジ強調処理を実行しない。エッジ強調を行うと判定した画像については、エッジ強調フィルタ１４によってエッジの強調処理を行う。画像判定部１２又はエッジ強調フィルタ１４から出力された画像は、画像メモリ１３に格納される。

なお、エッジ強調フィルタ１４については、複雑な模様が多い画像であるとか、平坦でなめらかな模様が多い画像であるとか等の画像の性質、または画像の周波数成分等のパラメータを考慮してフィルタの種類を選択しても良い。例えば、画像の性質等のパラメータに応じてラプラシアンフィルタを用いる、ソーベルフィルタ（Ｓｏｂｅｌ Ｆｉｌｔｅｒ）を用いる、エッジ強調フィルタを用いない等の選択を行っても良い。

次に、画像メモリ１３格納された画像に対して、非等方拡散フィルタ１５による平滑化処理を行う。この平滑化処理は、大きなエッジ（信号段差）のある方向に対しては平滑化を弱くし、小さなエッジのある方向に対しては平滑化を強くすることで、エッジを保存しつつノイズを除去する。平滑化処理は、図示するようなループによって同一画像に対し繰り返し行っても良い。複数回繰り返すことによりエッジが好適に平坦化され、画質がより向上する。繰り返しの回数は画質の性質に応じて変更するようにしても良い。また、非等方拡散フィルタ１５による平滑化処理は、１つの画面内の空間的に近接する画素に対してのみ行っても良いが、複数フレームの画像を用いて時間方向に近接する画素に対して処理しても良い。フィルタ処理の詳細については後述する。最後に画像出力部１６によって処理結果の画像が出力される。

このように本実施例の画像処理装置では、入力する画像に対してエッジ強調フィルタをかけ、さらにエッジに適応した非等方拡散フィルタによる平滑化を行う構成としたことに特徴がある。

図２は、図１の画像処理装置における画像処理方法の手順を示すフローチャートである。ステップＳ１０１にて、画像復号化部１１によって復号された画像を入力する。ステップＳ１０２にて、画像判定部１２はエッジ強調処理が必要かどうか判定する。判定の結果、エッジ強調処理が不要の場合は（Ｓ１０２でＮｏ）、ステップＳ１０４へ進み画像メモリ１３に格納する。

判定の結果、エッジ強調処理が必要な場合は（Ｓ１０２でＹｅｓ）、ステップＳ１０３にて、エッジ強調フィルタ１４によってエッジ強調処理を行う。エッジ強調フィルタとしては、例えばラプラシアンフィルタを用いる。処理後の画像は、ステップＳ１０４にて画像メモリ１３に格納する。

次にステップＳ１０５にて、画像メモリ１３に格納した画像を読み出し、非等方拡散フィルタ１５にて平滑化処理を行う。非等方拡散フィルタ１５としては、例えばトータルバリエーションフィルタを用いる。平滑化処理に複数フレームの参照画像を用いてもよい。処理後の画像は、ステップＳ１０６にて画像メモリ１３に格納する。

ステップＳ１０５の平滑化処理は、予め設定した回数だけ繰り返して実行する。ステップＳ１０７にて処理回数をカウントし、規定回数に達したら処理を止める。そしてステップＳ１０８にて、画像メモリ１３から高精細画像を読み出し画像出力部１６へ出力する。

このように本実施例の処理によれば、エッジ強調処理の要不要を判定し、平滑化処理を複数回繰り返すことにより、無駄な処理工程を省略しつつ良好な画質を効率良く得ることができる。

図３は、本実施例における高精細化処理の概念を説明する図である。（ａ）は画像の輝度分布を、（ｂ）は画像の高精細化を模式的に示す。原画像が圧縮符号化によって劣化したものを、エッジ強調処理と非等方拡散フィルタによる平滑化処理を行うことで高精細化する。

（ａ）において、原画像の輝度分布は符号３０１のような矩形状であったとする。原画像を圧縮符号化後、復号化によって再現すると、符号３０２のようにエッジがなまった劣化信号となる。これは一般にぼやけた画像であり、ブロックノイズやモスキートノイズを含んだ画像となっている。本実施例による高精細化処理では、エッジ強調処理を行い符号３０３のようにエッジを一旦立ち上げる。この状態ではエッジが強すぎるため、画像にはリンギングが発生する。そこで、さらに非等方拡散フィルタを用いて平滑化処理を行い、大きなエッジはそのままに小さなエッジであるリンギングを除去する。その結果、符号３０４のような当初の原画像の輝度分布３０１に近い画像が得られる。

（ａ）では、エッジ部分を１次元的に示したものであるが、実際には後述するように２次元方向に処理が行われる。即ち、非等方拡散フィルタによって、大きなエッジ（段差）のある方向に対しては平滑化を弱くし（又は平滑化なし）、小さなエッジのある方向に対しては平滑化を強くするため、エッジが保存されノイズが除去される。

（ｂ）は、劣化した画像３０２と高精細化した画像３０４を比較して示す。本実施例の処理により、画像内の物体のエッジ３０５を鮮明に復元することができる。

このように本実施例の画像処理によれば、画像が本来持っている物体の形状や物体と背景の境界といったエッジを保存しながら、圧縮によって生じたブロックノイズやモスキートノイズを削減することができ、入力する画像を高精細化して高画質な出力画像を得ることができる。

以下、本実施例で用いる各フィルタの動作を説明する図である。ここでは、エッジ強調フィルタとしてラプラシアンフィルタを、非等方拡散フィルタとしてトータルバリエーションフィルタを例に説明する。

図４は、ラプラシアンフィルタの演算処理を説明する図である。エッジ強調のため、対象画素４０１に隣接する上下左右４個の近傍画素４０２の画素データと、図４に示すパラメータ表４００を用いて演算し、対象画素４０１のエッジを強調するものである。すなわち、入力画像の座標（ｘ，ｙ）における画素値をｆ（ｘ，ｙ）とした時、出力画像ｇ（ｘ，ｙ）は（１）式により求める。ここでａは強調の度合いを調整するパラメータである。

エッジ強調フィルタには、他にＴｅａｇｅｒフィルタがありこれを用いてもよい。Ｔｅａｇｅｒフィルタは入力画像の座標（ｘ，ｙ）における画素値をｆ（ｘ，ｙ）とした時、出力画像ｇ（ｘ，ｙ）を（２）式により求め、エッジ強調を行うものである。Ｔｅａｇｅｒフィルタは、ラプラシアンフィルタより人間の視覚特性に近いエッジ強調が可能である。

図５は、トータルバリエーションフィルタの演算処理を説明する図である。トータルバリエーションフィルタは、処理対象画素と時間および空間方向に隣接または関連付けられた画素との絶対値差分（Ｌ１ノルム）を基準としてエッジに適応した平滑化を行うフィルタであり、（３）式により演算処理する。

ここでαは処理を行う対象画素位置を示し、β、γはαの近傍の画素を示す。Ｎ（α）はαの近傍の画素の集合であり、画面内処理の場合には近傍の４画素又は８画素を用いる。この処理は、複数のフレームを用いて時間方向の処理を行っても良い。

例えば図５（ａ）に示すように、５０１を処理対象画素とし、他の矢印で示される空間的、時間的に近接する画素５０２，５０３を近傍画素として用いることもできる。これにより、ブロックノイズやモスキートノイズといった空間方向のノイズだけでなく、画面のフリッカやドリフトノイズといった時間方向のノイズも除去することができる。

ｕは画素の輝度値を示す。ｗ（ｕ）は画素間の輝度の差に反比例した関数である。λはフィッティングパラメータで、フィルタリングの強度を調整する。トータルバリエーションフィルタでは、（３）式のフィルタを繰り返しかけることによってフィルタリングを行う。画素の輝度は繰り返し処理された画像のものを用いるが、（３）式の第２項についてはラプラシアンフィルタ後の入力画像の画素を用いる。

図５（ｂ）は、簡単な場合として近傍画素として４個の画素５０４を用いた例である。中心画素５０１がα、その周りにある近傍画素５０４がβに当たる。（３）式において、ｗ（ｕ）は画素間の輝度の差に反比例した関数であるから、αと４個のβを比較して、大きなエッジのある方向に対しては平滑化の重みが小さくなり、小さなエッジのある方向に対しては平滑化の重みが大きくなる。これを繰り返し処理することによって、画面の広い範囲に対してエッジの方向性に応じた平滑化処理が実現できる。

非等方拡散フィルタの例としては、他にＰｅｒｏｎａ−Ｍａｌｉｋによって提案された非等方拡散法（Ｐｅｒｏｎａ−Ｍａｌｉｋ Ｄｉｆｆｕｓｉｏｎ；ＰＭＤ）によるフィルタを使用することもできる。

図６は、本発明による画像符号化装置の一実施例を示す構成図である。画像符号化装置２０は、前記実施例１（図１）に示した画像処理装置（精細化フィルタ）１０を精細化フィルタ２６として含む。全体の構成は、原画像を保持する原画像メモリ２１と、フレーム間予測を行う動き予測部２２と、周波数変換と量子化を行う変換量子化部２３と、符号化画像の符号化ストリームを出力する符号出力部２４と、参照画像を作成するための逆量子化、逆変換を行う逆量子化・逆変換部２５と、画像の精細化を行う精細化フィルタ２６と、参照画像を保持する参照画像メモリ２０を備える。

原画像メモリ２１は入力画像を保持し、これを動き予測部２２に渡す。動き予測部２２は、参照画像に対して動き探索を行い、動きベクトルを検出して符号化モード情報等とともに符号出力部２４に渡す。また検出された動きベクトルにより示される参照画像の部分と原画像との残差成分を算出し、残差成分を変換量子化部２３に渡す。変換量子化部２３は、残差成分を離散余弦変換（ＤＣＴ）等により周波数変換し、量子化後に読み出し（スキャニング）し、読み出したデータを符号出力部２４に渡す。符号出力部２４は、動きベクトル情報、符号化モード情報、残差成分の係数情報等を符号化し、符号化画像の符号化ストリームとして出力する。

一方これらの情報は、同時に参照画像作成のために逆量子化・逆変換部２５にも渡される。逆量子化・逆変換部２５では、残差成分の係数情報を逆量子化後に逆周波数変換し、動き予測の情報と合わせて参照画像を作成する。精細化フィルタ２６は参照画像のノイズを除去して高画質な画像に変換し、これを参照画像メモリ２７に格納する。動き予測部２２は、参照画像メモリ２７の画像を参照して動き予測処理を行う。

ここに精細化フィルタ２６は、実施例１で述べたように、入力する画像に対してエッジ強調フィルタをかけ、さらにエッジに適応した非等方拡散フィルタによる平滑化を行う構成である。よって、参照画像メモリ２７に格納する参照画像を高画質化するとき、エッジを保存しながら、圧縮によって生じたブロックノイズやモスキートノイズを削減することができる。その結果、動き予測部２２における動き予測の精度が高くなる。すなわち伝送する画像中のノイズを低減することにより伝送するデータ量を低減し、画像の圧縮率を高めることができる。

なお、精細化フィルタ２６による参照画像の高画質化処理は、必要時にのみ行うようにしても良い。すなわち処理の要否をフレーム毎、シーケンス毎に判断し、精細化を行ったか否かの情報をフラグとして符号出力部２４に渡し、符号化ストリームに付加して伝送しても良い。

本実施例の符号化装置によれば、動き予測の精度が高くなり符号化ストリームの符号量を小さくすることが可能となる。よって高圧縮率の画像符号化装置が実現できる。

図７は、本発明による画像復号化装置の一実施例を示す構成図である。画像復号化装置３０は、前記実施例１（図１）に示した画像処理装置（精細化フィルタ）１０を精細化フィルタ３６として含む。全体の構成は、入力ストリームを解析するストリーム解析部３１と、残差成分の係数を解析する係数解析部３２と、係数情報を逆量子化した後に逆周波数変換して残差成分を復元する逆量子化・逆変換部３３と、復号された画像を保持する復号画像メモリ３４と、復号画像を参照画像とする際に画像の精細化を行う精細化フィルタ３６と、参照画像を保持する参照画像メモリ３７と、ストリームから得られた符号化モード情報や動きベクトル情報等の動き予測情報に従い、動き補償予測を行う予測補償部３５とを備える。

ストリーム解析部３１は、入力された符号化ストリームを解析し、残差成分の係数情報、符号化モード情報、動きベクトル情報、フィルタ組み合わせフラグ情報等を取得して、これを係数解析部３２と予測補償部３５に渡す。係数解析部３２は、残差成分の係数情報の読み出し（スキャニング）をして逆量子化・逆変換部３３に渡す。逆量子化・逆変換部３３は、残差成分の係数情報を逆量子化した後に逆周波数変換し、画像の残差成分を復元する。予測補償部３５は参照画像と動きベクトル情報から予測画像を作成する。そして残差成分と予測画像を合成し、復号画像として復号画像メモリ３４に格納する。復号画像メモリ３４に格納された復号画像は、表示順に従い出力する。

復号画像メモリ３４に格納された復号画像は、参照画像として利用する。この時精細化フィルタ３６は、参照画像を高画質な画像に変換し、参照画像メモリ３７に格納する。予測補償部３５は、参照画像メモリ３７に格納された参照画像を用いて動き補償予測を行う。

ここに精細化フィルタ３６は、実施例１で述べたように、入力する画像に対してエッジ強調フィルタをかけ、さらにエッジに適応した非等方拡散フィルタによる平滑化を行う構成である。よって、参照画像メモリ３７に格納する参照画像を高画質化するとき、エッジを保存しながら、圧縮によって生じたブロックノイズやモスキートノイズを削減することができる。その結果、予測補償部３５における予測の精度が高くなり、より高画質な復号画像を得ることができる。

なお、精細化フィルタ３６による参照画像の高画質化処理は、必要時にのみ行うようにしても良い。すなわち符号化ストリームに、フレーム毎、あるいはストリーム毎に精細化を行うか否かのフラグを付加して伝送し、これに従って要否を判定してもよい。

本実施例の画像復号化装置によれば、より高画質な参照画像を用いることができ、高画質な復号化画像を得ることができる。

以上説明した各実施例は、単独でもまた組み合わせても有効に実施できる。例えば、実施例２（図６）の画像符号化装置と実施例３（図７）の画像復号化装置を組み合わせれば、高画質を確保しつつ圧縮率が高く伝送効率の優れた画像符号化復号化システムが実現できる。また、各装置における高画質化のために用いる精細化フィルタの具体構成は、実施例で述べたものに限定されず、同様の機能を有するフィルタであれば同様に使用できることは言うまでもない。

さらに、本実施例の画像処理装置、画像符号化装置、画像復号化装置は、画像記録装置、プレーヤ、携帯電話、携帯端末、デジタルカメラＴＶ、プロジェクタ、各種ディスプレイ、ゲーム機等の各種の映像処理装置に適用することによって、精度の高い映像処理装置を提供することができる。

本発明による画像処理装置の一実施例を示す構成図。 画像処理装置における画像処理方法を示すフローチャート。 本実施例における高精細化処理の概念を説明する図。 ラプラシアンフィルタの演算処理を説明する図。 トータルバリエーションフィルタの演算処理を説明する図。 本発明による画像符号化装置の一実施例を示す構成図。 本発明による画像復号化装置の一実施例を示す構成図。

符号の説明

１０…画像処理装置（精細化フィルタ）、１１…画像復号化部、１２…画像判定部、１３…画像メモリ、１４…エッジ強調フィルタ、１５…非等方拡散フィルタ、１６…画像出力部、２０…画像符号化装置、２１…原画像メモリ、２２…動き予測部、２３…変換量子化部、２４…符号出力部、２５…逆量子化・逆変換部、２６…精細化フィルタ、２７…参照画像メモリ、３０…画像復号化装置、３１…ストリーム解析部、３２…係数解析部、３３…逆量子化・逆変換部、３４…復号画像メモリ、３５…予測補償部、３６…精細化フィルタ、３７…参照画像メモリ。

Claims (10)

1. 入力される画像に対してエッジを強調する処理を行う第１のフィルタと、
   該第１のフィルタによりエッジ強調処理が行われた画像に、画像内のエッジの方向に応じて異なる平滑化処理を行う第２のフィルタとを備え、
   該第２のフィルタは、エッジと平行な方向に対しては強い平滑化を行い、エッジと垂直な方向に対しては弱い平滑化を行うことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記第２のフィルタにて平滑化処理を行った画像を格納する画像メモリを備え、
   前記第２のフィルタは、上記画像メモリへの画像の格納と読み出しを繰り返し、同一画像に対する平滑化処理を複数回行うことを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記第２のフィルタは、空間的あるいは時間的に近接する複数の近傍画素を用いて平滑化処理を行うことを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置であって、
   前記第２のフィルタは非等方拡散処理フィルタであることを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置であって、
   前記非等方拡散処理フィルタはトータルバリエーションフィルタであることを特徴とする画像処理装置。
6. 請求項１に記載の画像処理装置であって、
   入力する画像の平坦度を判定する画像判定部を備え、
   該画像判定部が平坦な画像と判定した場合、前記第１のフィルタはエッジ強調処理を行わないことを特徴とする画像処理装置。
7. 請求項１に記載の画像処理装置であって、
   前記第１のフィルタはラプラシアンフィルタであることを特徴とする画像処理装置。
8. 入力する画像を符号化する画像符号化装置において、
   参照画像を保持する参照画像メモリと、
   該参照画像を用いて入力する画像の動きベクトルを求める動き予測部と、
   該動きベクトル及び該動きベクトルを用いて生成した画像残差データを含む符号化ストリームを出力する符号出力部と、
   上記参照画像に対して精細化処理を行う精細化フィルタを備え、
   該精細化フィルタは、
   上記参照画像に対してエッジを強調する処理を行う第１のフィルタと、
   該第１のフィルタによりエッジ強調処理が行われた画像に、画像内のエッジの方向に応じて異なる平滑化処理を行う第２のフィルタとを含み、
   該第２のフィルタは、エッジと平行な方向に対しては強い平滑化を行い、エッジと垂直な方向に対しては弱い平滑化を行うことを特徴とする画像符号化装置。
9. 請求項８に記載の画像符号化装置において、
   前記精細化フィルタにより精細化処理を行った場合、前記符号出力部は精細化処理を行ったことを示す情報を符号化ストリームに付加して出力することを特徴とする画像符号化装置。
10. 入力する画像符号化データを復号化する画像復号化装置において、
    参照画像を保持する参照画像メモリと、
    上記画像符号化データから取得した動きベクトルと上記参照画像を用いて予測画像を生成する予測補償部と、
    上記画像符号化データから取得した残差成分データと上記予測画像とを合成して生成した復号画像を保持する復号画像メモリと、
    上記参照画像に対して精細化処理を行う精細化フィルタを備え、
    該精細化フィルタは、
    上記参照画像に対してエッジを強調する処理を行う第１のフィルタと、
    該第１のフィルタによりエッジ強調処理が行われた画像に、画像内のエッジの方向に応じて異なる平滑化処理を行う第２のフィルタとを含み、
    該第２のフィルタは、エッジと平行な方向に対しては強い平滑化を行い、エッジと垂直な方向に対しては弱い平滑化を行うことを特徴とする画像復号化装置。

Images