JP2006114979A - 画像符号化装置及びその方法 - Google Patents

Abstract

【課題】 人間の視覚特性に適した復号画像が得られるように、符号化時のフィルタ処理の制御を行うことを目的とする。
【解決手段】 入力した画像データを複数画素で構成されるブロックで分割した際の各ブロックの画像パターンを判定する判定部（１１５）と、入力した画像データに係る局部復号化された局部復号画像における前記各ブロックに対してフィルタ処理を行うループフィルタ（１２０）と、前記判定部で判定された画像パターンに基づいて、ループフィルタの処理を制御する制御部（１１８）とを備える。
【選択図】 図１

Description

本発明は、画像符号化装置及びその方法に関し、特に、Ｈ．２６４と呼ばれる符号化方式を採用した画像符号化装置及びその方法におけるループフィルタを制御する技術に関する。

動画像を高能率符号化するための技術として、ＭｏｔｉｏｎＪＰＥＧやＭＰＥＧ１，２といった符号化方式が確立されている。各メーカーはこれらの符号化方式を利用して動画像を保存可能としたディジタルカメラやディジタルビデオカメラといった撮像装置或いはＤＶＤレコーダーなどを開発し、製品化しており、ユーザーはこれらの装置或いはパーソナルコンピュータやＤＶＤプレーヤーなどを用いて簡単に動画像を視聴することが可能となっている。

ところで、ディジタル化された動画像は膨大なデータ量となる。そこで、上記したＭＰＥＧ１，２などよりも更なる高圧縮が望める動画像の符号化方式が研究され続けてきて、近年ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）とＩＳＯ（国際標準化機構）によりＨ．２６４／ＭＰＥＧ−４ ｐａｒｔ１０という符号化方式（以下、Ｈ．２６４と称す）が標準化された。

Ｈ．２６４の画像符号化方法について、図９のブロック図を参照して説明する。図９はＨ．２６４の符号化ブロック図を表わすものである。図９において、減算器１０１、整数変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆整数変換部１０６、加算器１０７、フレームメモリ１０８及び１１１、イントラ予測部１０９、ループフィルタ１１０、インター予測部１１２、動き検出部１１３及びスイッチ１１４から構成され、入力画像データを符号化処理して符号化データを出力する。

入力画像データを所定の画素数で構成される複数のブロックに分割し、そのブロック単位で処理を行う。まず、減算器１０１は、入力画像データから予測画像データを減算し、画像残差データを出力する。予測画像データの生成については後述する。

整数変換部１０２は、減算器１０１から出力された画像残差データを直交変換処理して、変換係数を出力する。そして量子化部１０３は、上記変換係数を所定の量子化パラメータを用いて量子化する。

エントロピー符号化部１０４は、量子化部１０３で量子化された変換係数を入力し、これをエントロピー符号化して符号化データとして出力する。

一方、量子化部１０３で量子化された変換係数は予測画像データの生成にも使われる。逆量子化部１０５は、量子化部１０３で量子化された変換係数を逆量子化する。さらに、逆整数変換部１０６は逆量子化部１０５で逆量子化された変換係数を逆整数変換し、復号画像残差データとして出力する。加算器１０７は、復号画像残差データと後述する予測画像データとを加算し、再構成画像データとして出力する。

再構成画像データはフレームメモリ１０８に保存されるとともに、ループフィルタ１１０でフィルタ処理されたものが、フレームメモリ１１１に保存される。再構成画像データの中で、以降の予測処理で参照される可能性があるデータは、フレームメモリ１０８または１１１に暫くの期間、保存される。また、ループフィルタ１１０はノイズを除去する為に用いられる。

イントラ予測部１０９は、フレームメモリ１０８に保存された再構成画像データを用いてフレーム内予測処理を行い、予測画像データを生成する。また、インター予測部１１２は、フレームメモリ１１１に保存された再構成画像データを用いて、動き検出部１１３によって検出された動きベクトル情報に基づいてフレーム間予測処理を行い、予測画像データを生成する。動き検出部１１３は入力画像データにおける動きベクトルを検出し、検出した動きベクトル情報をインター予測部１１２とエントロピー符号化部１０４へ出力する。

スイッチ１１４は、イントラ予測、インター予測のどちらを用いるか選択するための選択部である。イントラ予測部１０９からの出力とインター予測部１１２からの出力の一方を選択して、選択された予測画像データを減算器１０１、加算器１０７へ出力する。以上がＨ．２６４の画像符号化方法に関する概要である。

Ｈ．２６４では、ＭＰＥＧ１，２とは異なり局部復号化された局部復号画像に対してフィルタ処理を行うループフィルタを備えることが規定されている。ここで、ループフィルタ１１０の構成についてさらに説明する。

ループフィルタ１１０は、４×４画素ブロック境界又は１６×１６画素ブロック境界の平滑化を行い、復号画像におけるブロック歪みを除去するとともに、動き補償処理により復号画像を参照する画像にブロック歪みが伝播するのを防ぐという効果を有する。Ｈ．２６４ではループフィルタ処理強度の制御は主にＱパラメータと呼ばれる量子化値に応じて行われる。また、画像を分割する“スライス”におけるスライスヘッダに含まれるｓｌｉｃｅ＿ａｌｐｈａ＿ｃ０＿ｏｆｆｓｅｔ＿ｄｉｖ２、及び、ｓｌｉｃｅ＿ｂｅｔａ＿ｏｆｆｓｅｔ＿ｄｉｖ２という２つのパラメータにより、スライス単位でループフィルタ処理強度の変更が可能となっている。以上が、Ｈ．２６４におけるループフィルタに関する説明である。

ところで、符号化器内のフィルタ処理の制御について開示した先行技術として、例えば特許文献１及び特許文献２が存在する。

特許文献１では、入力画像と動き補償された画像の差分画像を予測画像データとして使用するために、逆量子化した後に得られたＤＣＴ係数、つまり、復号画像残差データのＤＣＴ係数を用いて歪み発生を判定し、歪みの大きさにより復号画像残差データに行うフィルタ処理の強度を制御して、適応的な歪み除去を行っていた。

また、特許文献２では入力画像の画像パターンであるエッジの強度に応じて量子化スケールを変更し、量子化スケールが小さい時は符号量増加を抑えるために、入力画像をＤＣＴ変換した結果得られたＤＣＴ係数にフィルタ処理を行っていた。
特開平６−３１１４９９号公報 特開平９−１８７００５号公報

ループフィルタ処理の制御方法に関して、前述したように、Ｈ．２６４では、主にＱパラメータと呼ばれる量子化値に応じてループフィルタ処理を制御する。

しかしながら、Ｑパラメータはバッファ容量等によっても変化してしまうので、必ずしも画像に対する視覚特性を反映したループフィルタ制御ができるとは言えない。

また、上記した特許文献１に開示されたフィルタ処理の制御方法は、予測画像データと復号画像残差データを足し合わせた再構成画像データではなく、復号画像残差データのＤＣＴ係数のみを、歪み発生の判定手段として使用するものであるため、フィルタ処理に視覚特性は反映されていない。また、上記した特許文献２は、量子化スケールが小さい時に符号量増加を抑えるためにフィルタ処理を行うものであり、入力画像の画像パターンに応じてのフィルタ処理は行っていないので、フィルタ処理に視覚特性は反映されていない。すなわち、これらの従来例は、人間の画像に対する視覚特性に適したフィルタ処理制御を行っていないため、良い画質の画像が得られ難いという課題がある。

本発明は上記の如き課題を鑑みてなされたものであり、例えばＨ．２６４による画像符号化装置及びその方法において、人間の視覚特性に適した復号画像が得られるようにフィルタ処理の制御を行うことを目的とする。

上記課題を解決するために、本発明の画像符号化装置は、入力した画像データを複数画素で構成されるブロックで分割した際の各ブロックの画像パターンを判定する判定手段と、前記入力した画像データに係る局部復号化された局部復号画像における前記各ブロックに対してフィルタ処理を行うフィルタ手段と、前記判定手段で判定された画像パターンに基づいて、前記フィルタ手段におけるフィルタ処理を制御する制御手段とを備えることを特徴とする。

また、本発明の他の画像符号化装置は、入力した画像データを複数画素で構成されるブロックで分割した際の各ブロックに関し、少なくとも画像の平坦さを基準にブロックの判定を行う判定手段と、前記判定手段により平坦と判定された少なくとも一つ以上の前記ブロックを集めて、少なくても一つのスライスを構成するスライス構成手段と、前記入力した画像データに係る局部復号化された局部復号画像における前記各ブロックに対してフィルタ処理を行うフィルタ手段と、前記スライス構成手段で構成されたスライスに対応するブロックについては、その他のブロックより強度を弱くしてフィルタ処理を行うよう、前記フィルタ手段におけるフィルタ処理を制御する制御手段とを備えることを特徴とする。

また、本発明の画像符号化方法は、入力した画像データを複数画素で構成されるブロックで分割した際の各ブロックの画像パターンを判定する判定ステップと、前記入力した画像データに係る局部復号化された局部復号画像における前記各ブロックに対してフィルタ処理を行うフィルタ処理ステップと、前記判定ステップにおいて判定された画像パターンに基づいて、前記フィルタ処理ステップにおけるフィルタ処理を制御する制御ステップとを有することを特徴とする。

また、本発明の他の画像符号化方法は、入力した画像データを複数画素で構成されるブロックで分割した際の各ブロックに関し、少なくとも画像の平坦さを基準にブロックの判定を行う判定ステップと、前記判定ステップにおいて平坦と判定された少なくとも一つ以上の前記ブロックを集めて、少なくても一つのスライスを構成するスライス構成ステップと、前記入力した画像データに係る局部復号化された局部復号画像における前記各ブロックに対してフィルタ処理を行うフィルタ処理ステップと、前記スライス構成ステップにおいて構成されたスライスに対応するブロックについては、その他のブロックより強度を弱くしてフィルタ処理を行うよう、前記フィルタ処理ステップにおけるフィルタ処理を制御する制御ステップとを有することを特徴とする。

本発明によれば、入力画像の画像パターンに応じて、フィルタ処理の強度等を制御することにより、人間の視覚特性を反映した良好な復号画像が得られる。

以下、図面を参照しながら本発明の好適な実施の形態を説明する。

図１は本発明の実施形態となる画像符号化装置のブロック図である。図１の画像符号化装置はＨ．２６４と呼ばれる符号化方式（フォーマット）により符号化処理する構成であるが、Ｈ．２６４のループフィルタに相当するデブロッキングフィルタを備えるものであれば、その他のフォーマットを用いても良い。

図１の画像符号化装置によれば、入力画像の画像パターンを判定し、その判定結果を用いて入力画像に適したループフィルタ処理を行うよう制御しながら符号化処理することで、人間の視覚特性を反映した復号画像を得る為の符号化データを生成することができる。以下、図１の画像符号化装置の構成について説明する。なお、図１において、図９で説明したＨ．２６４の符号化ブロック図と同じ符号のブロックに関しては、同様の構成，機能となるので、説明が重複するので省略する。

図１において、１０１〜１０９並びに１１１〜１１４は前述したとおりである。さらに、１１５は入力画像データの画像パターンを判定する画像パターン判定部である。１１６は上記画像パターン判定部１１５により判定された画像パターンの判定結果に基づき、画像パターンに応じた“スライス”を構成するスライス構成部である。１１７は上記画像パターン判定部１１５及びスライス構成部１１６の結果に基づき、ループフィルタ１２０で行うフィルタ処理の強度を、構成されたスライス毎に設定可能なフィルタ処理強度設定部である。

１１８は画像パターン判定部１１５、スライス構成部１１６及びフィルタ処理強度設定部１１７の各動作を制御する制御部である。制御部１１８はメモリ１１９を用いながら制御動作を実行する。メモリ１１９には、各種処理に必要なプログラム等も格納されている。

１２０はループフィルタである。前述したループフィルタ１１０と同様な構成，機能を備え、更にフィルタ処理強度設定部１１７からの設定命令に応じてフィルタリング処理の内容を変更できる構成となっている。以上が図１の構成である。

ここで上記した“スライス”に関して、Ｈ．２６４におけるスライスについて図１０を参照して説明する。Ｈ．２６４におけるスライスとは、あるピクチャ内における少なくとも１つ以上の１６×１６画素のブロック（以下、マクロブロックと称す）をひとまとまりにしたものである。また、少なくとも１つ以上のスライスをひとまとまりにしたものが１フレームの画像であるピクチャを構成する。

ピクチャを分割するスライスを構成する方法は、例えば、図１０（ａ）のようにラスタスキャンオーダーで左から右、上から下へと順番にスライスを構成しても良いし、図１０（ｂ）のように市松模様のようにスライスを構成しても良いし、図１０（ｃ）のようにピクチャの一部分の領域をくりぬいたようにスライスを構成しても良い。どのような形のスライスが構成可能であるかはスライスヘッダに含まれるｓｌｉｃｅ＿ｇｒｏｕｐ＿ｍａｐ＿ｔｙｐｅで規定されている。Ｈ．２６４ではこのような柔軟なスライス構成によりマクロブロックを任意のスライスに分類することが可能となっている。

続いて、図１の画像符号化装置の動作について説明を行う。ここでは上記画像パターン判定部１１５の構成例として、１６×１６画素マクロブロックに切り出した入力画像データに対して、直交変換としてアダマール変換することで画像パターン判定する例を説明する。ただし、ブロックの大きさ及び画像パターンを判定する手段、方法はこれに限ったものではない。

入力画像データの画素データを１６×１６画素マクロブロックに切り出したものに対し、上記画像パターン判定部１１５はそれぞれアダマール変換を実行し、得られたアダマール変換係数に基づき入力画像データの画像パターンを判定する。

ここで、アダマール変換について図２を参照して説明する。ここでは簡単のため４×４のアダマール変換について説明する。なお、アダマール変換は直交変換の一種である。図２は上記画像パターン判定部１１５において４×４のアダマール変換を行った例を示しており、図２（ａ）が４×４画素の入力画像、図２（ｂ）がアダマール変換することにより得られたアダマール変換係数を示している。Ｘ_{１１〜４４}が入力画像の各画素値、Ｙ_{１１〜４４}が各アダマール変換係数を示している。

ここでＨ_４を４×４のアダマール変換行列、Ｘを入力画像信号、Ｙをアダマール変換係数の信号とするとアダマール変換は、
［Ｙ］＝［Ｈ_４］［Ｘ］［Ｈ_４］ （式１）
で表わされる。

さらに、

とすれば、アダマール変換は

となり、１回の割り算と加算と減算のみで実行できる。なお、（式５）の左辺のＹ_１１が入力画像のＤＣ成分、Ｙ_１２〜Ｙ_４４が入力画像のＡＣ成分を表すアダマール変換係数である。

図３は、１画素８ｂｉｔ（２５６階調）の画像データを４×４画素のブロックに切り出した入力画像に対するアダマール変換の例を示している。図３中の（ａ）が入力画像、（ｂ）がアダマール変換係数を示す。図３の（１）−（ａ）のように入力画像ブロック内が平坦な画像の場合は、図３の（１）−（ｂ）のように図２（ｂ）のＹ_１１の位置に対応するアダマール変換係数が大きくなり、その他の変換係数は０となる。一方、図３の（２）−（ａ）のように入力画像ブロック内が複雑な画像の場合は、図３の（２）−（ｂ）のように図２（ｂ）のＹ_４４の位置に対応するアダマール変換係数が大きくなってくる。一般的に、入力画像ブロック内が平坦な画像の場合はＡＣ成分を表すアダマール変換係数の総和が小さくなり、複雑な画像の場合はＡＣ成分を表すアダマール変換係数の総和が大きくなることが知られている。

このような手法を用いることにより、画像パターン判定部１１５では、入力画像をアダマール変換することによって得られたアダマール変換係数に基づいて、平坦な画像、複雑な画像等の入力画像の画像パターンを判定する。

次に図１のスライス構成部１１６の動作を説明する。スライス構成部１１６は、１枚のピクチャ内において１６×１６画素マクロブロックを、画像パターン判定部１１５の判定結果に基づいて同じ画像パターン毎にひとまとまりにしてスライスを構成する。図４は、１枚のピクチャを２つのスライスで構成する例を示した図である。図４を参照しながら、以下の説明を行う。

上記スライス構成部１１６は、上記画像パターン判定部１１５によって、例えば、１６×１６画素マクロブロック毎に判定された画像パターンに基づき、少なくとも１つ以上のマクロブロックをひとまとまりにしてスライスを構成する。例として、ある１枚のピクチャが図４（ａ）のように中心部分のみ細かい縦縞の画像であり、その周囲が平坦な画像の場合、まず、上記画像パターン判定部１１５によって中心の縦縞部分に相当するブロックで複雑な画像と判定され、その周囲の部分のブロックで平坦な画像と判定される。そして、上記スライス構成部１１６が判定された画像パターンに対応して、図４（ｂ）のように、中心部分がスライス＃０（Ｓｌｉｃｅ＃０）、その周囲がスライス＃１（Ｓｌｉｃｅ＃１）というスライスを構成する。２種類以上の画像パターンが判定された場合は、スライス＃０，１，２，３・・・とスライスの数が増加する。このような手法を用いることにより、スライス構成部１１６は、入力画像のマクロブロック毎に判定された画像パターンに基づきスライスを構成する。

次に図１のフィルタ処理強度設定部１１７の動作を説明する。フィルタ処理強度設定部１１７は、上記画像パターン判定部１１５において判定された画像パターンに基づき、上記スライス構成部１１６において構成されたスライス毎にフィルタ処理の強度を設定する。ループフィルタ１２０では、上記フィルタ処理強度設定部１１７でスライス毎に設定されたフィルタ処理強度に基づき、１６×１６画素マクロブロックのブロック境界に対してフィルタ処理を行う。

ここで、まずループフィルタ１２０で行うフィルタ処理について、図５、図６、図７を参照して説明する。ここでは、ループフィルタ処理として３×３フィルターマスクを用いた平滑化フィルタ処理を行う例について説明する。ただし、ループフィルタ処理はこのフィルタ処理に限ったものではない。

図５（ａ）のｆ（ｉ，ｊ）はフィルタ処理を行う注目画素値を示し、フィルタ処理後の注目画素値ｆ（ｉ，ｊ）の新しい画素値ｇ（ｉ，ｊ）（図５（ｂ））は、フィルタ処理前の画像における注目画素を取り巻く３×３フィルターマスク上の画素値、すなわち、図５（ａ）のｆ（ｉ−１，ｊ−１），ｆ（ｉ，ｊ−１），ｆ（ｉ＋１，ｊ−１），ｆ（ｉ−１，ｊ），ｆ（ｉ，ｊ），ｆ（ｉ＋１，ｊ），ｆ（ｉ−１，ｊ＋１），ｆ（ｉ，ｊ＋１）及びｆ（ｉ＋１，ｊ＋１）の９個の値を用いて決定される。

続いて、３×３フィルターマスクを用いたフィルタ処理について、図６を参照して説明する。なお、図６に示す数字１又は２は、それぞれの位置に対応する画素値にかけるフィルタ係数を表す。例えば、図６（ａ）のような３×３フィルターマスクを用いたフィルタ処理の場合のフィルタ処理後の画素値ｇ（ｉ，ｊ）は、

で表される。このフィルタ処理を行うことにより注目画素と注目画素の周囲の画素値との差分が小さくなり、ぼけた画像が得られる。

図６（ｂ）のような３×３フィルターマスクを用いたフィルタ処理の場合のフィルタ処理後の画素値ｇ（ｉ，ｊ）は、

で表される。このフィルタ処理は、（式６）のような近傍の画素値の単純平均ではなく、自分自身の画素値の重みを周りと比較して２倍してから１０で割ることにより、平均を取るというものであり、（式６）のフィルタ処理と比較してフィルタ処理後の注目画素と注目画素の周囲の画素値との差分は大きくなる。つまり、画像をぼけさせる効果は薄い。このことを、フィルタ処理強度を弱くするという。逆に、（式７）で表されるフィルタ処理から見ると、（式６）で表されるフィルタ処理強度は強いということができる。

続いて、フィルタ処理を行う画素について図７を参照して説明する。図７は１枚のピクチャのある部分を拡大したものであり、太線で囲まれた領域はマクロブロックであり、そのマクロブロック内の小さい四角は１画素を表している。図７の網線部で示したある１つの画素を注目画素ｆ（ｉ，ｊ）として前述のフィルタ処理を行う。この処理をすべての網線部の画素、つまり、１６×１６画素マクロブロックのブロック境界画素に対して行う。このように１６×１６画素マクロブロックのブロック境界画素に対しフィルタ処理を行うことにより、ブロック境界画素値の差分が小さくなりブロック歪みを低減させることができる。

続いて、フィルタ処理強度設定について説明する。上記フィルタ処理強度設定部１１７では、上記画像パターン判定部１１５において判定された画像パターンに基づき、上記スライス構成部１１６において構成されたスライス毎に行うフィルタ処理の強度を設定する。例えば、視覚特性上ブロック歪みなどの劣化が目立ち易い、平坦な画像ブロックの集合体であるスライスにはフィルタ処理の強度を強く設定する。逆に視覚的に劣化が目立ち難い、複雑な画像ブロックの集合体であるスライスにはフィルタ処理の強度を弱く設定する。つまり図４を参照して具体的に説明すると、平坦な画像であるスライス＃１にはフィルタ処理の強度を強く設定し、複雑な画像であるスライス＃０にはフィルタ処理の強度を弱く設定する。ループフィルタ１２０に対するフィルタ処理の強弱の設定は、図６を用いて述べた手法を応用することで設定可能である。ループフィルタ１２０は、フィルタ処理強度設定部１１７からの設定情報を受けて、上記した如きフィルタ処理の内容を設定された状態に合わせて動作させ、スライス毎にフィルタ処理を変化させて、適応的なフィルタ処理を行う。

以上が図１の画像符号化装置の構成及び動作の説明である。本画像符号化装置で生成された符号化データを不図示の復号装置でデコードすれば、画像パターンに応じて適応的にフィルタリングされた画像、すなわち人間の視覚特性を反映した良好な画像が復元できる。

次に、これまでに述べたような、画像符号化装置におけるループフィルタ１２０のフィルタ処理の制御手順を、図８のフローチャートを参照して説明する。なお、図８のフローチャートは、図１における制御部１１８が実行する制御動作に関するものであり、制御プログラムに応じたフローを表わしたものである。

まず、上記画像パターン判定部１１５は、ステップＳ８０１において、入力画像データを１６×１６画素に切り出した画像を入力し、ステップＳ８０２においてアダマール変換を行う。そして、ステップＳ８０３において、アダマール変換によって得られたアダマール変換係数のＡＣ係数の総和を算出する。その総和がある閾値よりも小さい場合（ｎｏのとき）はステップＳ８０４において劣化が目立ち易いブロック（平坦といえる画像）であると判定し、ステップＳ８０５において上記スライス構成部１１６がスライス＃１に設定する。ステップＳ８０３で総和がある閾値よりも大きい場合（ｙｅｓのとき）はステップＳ８０６において劣化が目立ち難いブロック（複雑といえる画像）であると判定し、ステップＳ８０７において上記スライス構成部１１６がスライス＃０に設定する。

そして、ステップＳ８０８で１枚のピクチャ内におけるすべてのブロックをスライスに設定できたかを判定し、すべて終えるまでは上記の動作を各ブロックに繰り返す（ステップＳ８０８でｎｏのとき）。１枚のピクチャ内におけるすべてのブロックをスライスに設定し終えたら（ステップＳ８０８でｙｅｓのとき）、上記フィルタ処理強度設定部１１７は、ステップＳ８０９において劣化が目立ち易い平坦な画像ブロックがひとまとまりにされたスライス＃１にはフィルタ処理強度を強く設定し、劣化が目立ち難い複雑な画像ブロックがひとまとまりにされたスライス＃０にはフィルタ処理強度を弱く設定する。そして、ステップＳ８１０において上記ループフィルタ１１０はスライス毎に設定されたフィルタ処理強度に基づき、スライス毎に適応的に、ブロック境界に対して平滑化フィルタ処理を行う。以上で図８のフローは終了する。

なお、これまでの説明では、入力画像データとして１枚のピクチャを例に説明したが、動画の場合は複数ピクチャから構成されるので、各ピクチャ（フレーム又はフィールド）毎に所定の周期で同様の処理を繰り返すことになる。

また、劣化が目立ち難い複雑な画像ブロックがひとまとまりにされたスライスには、上記した構成では弱いフィルタ処理を行うとしたが、フィルタ処理を行わないように設定することも可能である。

また、本実施形態であげた例では、平坦さまたは複雑さを画像パターンとして判定しているが、これら以外の特徴（輝度分布、色分布、エッジ等）を判定して、ループフィルタ処理の制御に用いる場合であっても、本発明の範疇となるのは言うまでもない。

このように本発明の画像符号化装置によれば、入力画像の画像パターンに直接対応してループフィルタ処理を制御することにより、人間の視覚特性に適したループフィルタ処理制御ができる。これにより、人間の視覚特性を反映した良好な画像を得ることができるという効果がある。

＜その他の実施形態＞
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、ブルーレイディスク、光ディスク、光磁気ディスクなどが考えられる。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャート図に対応するプログラムコードが格納されることになる。

画像符号化装置のブロック図である。 アダマール変換の説明図である。 アダマール変換の変換例を示す図である。 スライス構成方法の説明図である。 ループフィルタ処理の説明図である。 ３×３フィルターマスクの例である。 フィルタ処理を行う画素値の説明図である。 フィルタ処理の制御動作を説明する為のフローチャートである。 一般的なＨ．２６４における符号化ブロック図である。 Ｈ．２６４におけるスライス構成の説明図である。

符号の説明

１０１ 減算器
１０２ 整数変換部
１０３ 量子化部
１０４ エントロピー符号化部
１０５ 逆量子化部
１０６ 逆整数変換部
１０７ 加算器
１０８ フレームメモリ
１０９ イントラ予測部
１１０ ループフィルタ
１１１ フレームメモリ
１１２ インター予測部
１１３ 動き検出部
１１４ スイッチ
１１５ 画像パターン判定部
１１６ スライス構成部
１１７ フィルタ処理強度設定部
１１８ 制御部
１１９ メモリ
１２０ ループフィルタ

Claims (13)

1. 入力した画像データを複数画素で構成されるブロックで分割した際の各ブロックの画像パターンを判定する判定手段と、
   前記入力した画像データに係る局部復号化された局部復号画像における前記各ブロックに対してフィルタ処理を行うフィルタ手段と、
   前記判定手段で判定された画像パターンに基づいて、前記フィルタ手段におけるフィルタ処理を制御する制御手段とを備えることを特徴とする画像符号化装置。
2. 前記ブロックのうち少なくとも１つ以上をひとまとまりにしてスライスを構成するスライス構成手段をさらに有し、該スライス構成手段は、前記画像パターンに応じて分類されるスライスを少なくとも１つ以上構成することを特徴とする請求項１に記載の画像符号化装置。
3. 前記制御手段は、前記スライス構成手段により構成されたスライス毎に前記フィルタ手段におけるフィルタ処理を変更するよう制御することを特徴とする請求項２に記載の画像符号化装置。
4. 前記フィルタ手段におけるフィルタ処理の強度を設定するフィルタ設定手段をさらに有し、該フィルタ設定手段は、前記スライス構成手段により構成されたスライス毎に前記フィルタ手段におけるフィルタ処理の強度を設定することを特徴とする請求項２又は３に記載の画像符号化装置。
5. 前記制御手段は、前記判定手段で判定された画像パターンが平坦さと表わす結果のときと、複雑さをあらわす結果のときとで、前記フィルタ手段におけるフィルタ処理の強度を変更するよう制御することを特徴とする請求項１に記載の画像符号化装置。
6. 前記判定手段は、前記ブロックに対して直交変換を行うことにより、前記画像パターンを判定することを特徴とする請求項１に記載の画像符号化装置。
7. 前記フィルタ手段におけるフィルタ処理の強度を設定するフィルタ設定手段をさらに有し、該フィルタ設定手段は前記直交変換によって得られた変換係数のＡＣ成分の総和が、所定の閾値より大きい時は前記フィルタ手段におけるフィルタ処理の強度が強くなるよう設定し、前記所定の閾値より小さい時は前記フィルタ手段におけるフィルタ処理の強度が弱くなるよう設定することを特徴とする請求項６に記載の画像符号化装置。
8. 前記判定手段は、前記ブロックに対してアダマール変換を行うことにより、前記画像パターンを判定することを特徴とする請求項１に記載の画像符号化装置。
9. 前記フィルタ手段におけるフィルタ処理の強度を設定するフィルタ設定手段をさらに有し、該フィルタ設定手段は前記アダマール変換によって得られた変換係数のＡＣ成分の総和が、所定の閾値より大きい時は前記フィルタ手段におけるフィルタ処理の強度が強くなるよう設定し、前記所定の閾値より小さい時は前記フィルタ手段におけるフィルタ処理の強度が弱くなるよう設定することを特徴とする請求項８に記載の画像符号化装置。
10. 前記フィルタ手段は、前記局部復号画像における各ブロックの境界の平滑化処理を行うことを特徴とする請求項１乃至９の何れか一項に記載の画像符号化装置。
11. 入力した画像データを複数画素で構成されるブロックで分割した際の各ブロックに関し、少なくとも画像の平坦さを基準にブロックの判定を行う判定手段と、
    前記判定手段により平坦と判定された少なくとも一つ以上の前記ブロックを集めて、少なくても一つのスライスを構成するスライス構成手段と、
    前記入力した画像データに係る局部復号化された局部復号画像における前記各ブロックに対してフィルタ処理を行うフィルタ手段と、
    前記スライス構成手段で構成されたスライスに対応するブロックについては、その他のブロックより強度を弱くしてフィルタ処理を行うよう、前記フィルタ手段におけるフィルタ処理を制御する制御手段とを備えることを特徴とする画像符号化装置。
12. 入力した画像データを複数画素で構成されるブロックで分割した際の各ブロックの画像パターンを判定する判定ステップと、
    前記入力した画像データに係る局部復号化された局部復号画像における前記各ブロックに対してフィルタ処理を行うフィルタ処理ステップと、
    前記判定ステップにおいて判定された画像パターンに基づいて、前記フィルタ処理ステップにおけるフィルタ処理を制御する制御ステップとを有することを特徴とする画像符号化方法。
13. 入力した画像データを複数画素で構成されるブロックで分割した際の各ブロックに関し、少なくとも画像の平坦さを基準にブロックの判定を行う判定ステップと、
    前記判定ステップにおいて平坦と判定された少なくとも一つ以上の前記ブロックを集めて、少なくても一つのスライスを構成するスライス構成ステップと、
    前記入力した画像データに係る局部復号化された局部復号画像における前記各ブロックに対してフィルタ処理を行うフィルタ処理ステップと、
    前記スライス構成ステップにおいて構成されたスライスに対応するブロックについては、その他のブロックより強度を弱くしてフィルタ処理を行うよう、前記フィルタ処理ステップにおけるフィルタ処理を制御する制御ステップとを有することを特徴とする画像符号化方法。

Images