JP2005020771A - 動画像復号化装置および動画像復号化方法 - Google Patents

Abstract

【課題】動き補償予測（ＭＣ）と離散コサイン変換（ＤＣＴ）を用いた動画像符号化方式において、大幅な画質の劣化を伴わずに符号化処理の高速化を図る。
【解決手段】動画像を動き補償予測と離散コサイン変換を用いた動画像符号化方式にて符号化したデータを復号化処理して再生する動画像復号化装置において、復号化され画像信号に対し、ポストフィルタ処理を施すフィルタ手段と、符号化時における量子化処理での使用量子化幅に応じて前記復号化された画像信号に対するフィルタ手段でのポストフィルタ処理の実施を制御する手段とを有する。
【選択図】図６

Description

本発明は、動画像符号化の国際標準方式、例えばＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９WＧ１１のＭＰＥＧ１(Motion Picture Experts Group１)，ＭＰＥＧ２、(Motion Picture Experts Group ２)およびＭＰＥＧ４(Motion Picture Experts Group ４)やＩＴＵ−Ｔの Ｈ．２６３に採用されている、動き補償予測（ＭＣ）と離散コサイン変換（ＤＣＴ）を用いたハイブリッド符号化方式において、大幅な画質の劣化を伴わずに符号化処理および復号化処理の高速化を図ることができるようにした動画像復号化装置および動画像復号化方法に関する。

動画像符号化の国際標準方式であるＭＰＥＧ１，ＭＰＥＧ２およびＭＰＥＧ４では、符号化の基本方式としてＭＣ＋ＤＣＴ方式が採用されている。以下、参考文献（三木編著、“ＭＰＥＧ−４のすべて”第３章、工業調査会、１９９８）を参照して、ＭＰＥＧ４検証（Verification）モデルに従って説明する。

＜ＭＣ＋ＤＣＴ方式の概要＞まずはじめに、ＭＣ＋ＤＣＴ方式の符号化法の概要を、図８と図９を用いて説明する。

ＭＣ＋ＤＣＴ方式の動画像符号化装置は、図８に示されるように、差分値算出部１０１、動き補償予測部（ＭＣ）１０２、フレーム内／フレーム間（Ｉｎｔｒａ／Ｉｎｔｅｒ）切り替え部１０３、フレームメモリ（ＦＭ）１０４、動きベクトル検出部（ＭＥ）１０５、離散コサイン 変換部（ＤＣＴ）１０６、量子化部（Ｑ）１０７、可変長符号化部（ＶＬＣ）１０８、逆量子化部（ＩＱ）１０９、逆離散コサイン変換部（ＩＤＣＴ）１１０、加算部１１１、出力バッファ（Ｂｕｆｆｅｒ）１１２、レート制御部（Rate Control）１１３とから構成される。

画像信号入力線１１には、図９（ａ）に示されるように、マクロブロック（ＭＢ）化された画像信号が供給される。

図９の例では、ＭＢには、８×８画素で構成されるブロックが、輝度信号（Ｙ）には４つ、色差信号（ＵあるいはＶ）には各々１つずつ含まれる。差分値算出部１０１において、画像信号入力線１１を介して供給される画像信号と、信号線１２を介して供給される動き補償予測信号との差分が計算され、この差分信号は信号線１３を介して離散コサイン変換部１０６に供給される。

信号線１２には、フレーム内符号化（Ｉｎｔｅｒ）モードの場合には、動き補償予測部（ＭＣ）１０２で生成される動き補償予測信号がフレーム内／フレーム間切り替え部１０３を介して供給されるが、フレーム間符号化（Ｉnｔｒａ）モードの場合には、信号が供給されない。

つまり、信号線１３には差分信号ではなく、画像信号入力線１１の信号がそのまま供給される。Intra ／Inter モードの切り替えは、後述するように動きベクトル検出部１０５で判定され、この判定結果が信号線１４を介して切り替え信号としてフレーム内／フレーム間切り替え部１０３に供給されることで、この判定結果対応にフレーム内／フレーム間切り替え部１０３が動き補償予測部１０２の出力をスイッチングすることにより行われる。

動き補償予測部（ＭＣ）１０２で生成される動き補償予測信号は、フレームメモリ１０４に蓄積されている既に符号化済みのフレームの信号から、動きベクトル検出部１０５で検出された動きベクトル情報にしたがって生成される。

離散コサイン変換部（ＤＣＴ）1０６では、信号線１３を介して供給される信号を離散コサイン変換し、この離散コサイン変換して得られた信号は量子化部１０７に供給される。量子化部１０７で量子化された離散コサイン変換係数は、可変長符号化部１０８に供給され、可変長符号化されると共に、逆量子化部（ＩＱ）１０９に供給され、ここで逆量子化される。逆量子化部１０９で逆量子化されることにより得られた変換係数は、逆離散コサイン変換部（ＩＤＣＴ）１１０に供給されて信号線１３に対する再生信号が生成され、加算部１１１に供給される。

加算部１１１では、逆離散コサイン変換部１１０か ら供給される信号と、信号線１２を介して供給される信号とを加算して画像信号を再生した後、フレームメモリ１０４に送られてこのフレームメモリ１０４に蓄積させる。

可変長符号化部１０８では、量子化部（Ｑ）１０７で量子化された離散コサイン変換 係数や動きベクトル情報（図示せず）などを符号化した後、多重化してビットストリームを生成し、出力バッファ１１２に供給する。出力バッファ１１２では、信号線１５を介してネットワークや蓄積媒体へ、その特性に応じたビットストリームとして出力する。

出力バッファ１１２からはレート制御部１１３にビットストリーム蓄積量の情報が信号線１６を介して与えられており、レート制御部１１３では、このバッファのビットストリーム蓄積量に応じて、量子化パラメータを決定し、信号線１７を介して量子化部１０７と逆量子化部１０９に供給する。

ここで、バッファ内の蓄積量が大きくなってきた場合は、量子化パラメータを大きくして発生符号量を少なくし、バッファ内の蓄積量が小さくなってきた場合は、量子化パラメータを小さくすることで、発生符号量が一定になるように制御される。

以上が、ＭＣ＋ＤＣＴ方式の動画像符号化装置の概要である。

次に、ＭＣ＋ＤＣＴ方式の動画像符号化装置の重要な構成要素である動きベクトル検出部（ＭＥ）１０５について説明する。

＜動きベクトル検出部の詳細＞図１０、図１１および図１２を用いて動きベクトル検出部（ＭＥ）１０５の説明をする。

図１０は、動きベクトル検出部１０５の処理内容を示す一般的なフローチャートであり、各ＭＢの輝度信号に対して該フローに従った処理が実行される。まず、ステップＳ２０１において、動きベクトル（ＭＶ）を初期化する。これは動きベクトルの初期値をゼロべクトルとする処理である。

次に、ステップＳ２０２において、ゼロべクトルでの動き補償予測誤差信号の絶対値和（ＳＡＤ０）が、予め設定されているしきい値（ＴＨ０）よりも大きいか否かを判定する。そして、このステップＳ２０２での判定の結果、ゼロべクトルでの動き補償予測誤差信号の絶対値和（ＳＡＤ０）が、しきい値（ＴＨ０）よりも小さかったならば、ゼロべクトルが検出されたものとして終了する。

一方、ステップＳ２０２での判定の結果、ゼロべクトルでの動き補償予測誤差信号の絶対値和（ＳＡＤ０）が、しきい値（ＴＨ０）よりも大きかったならば、ステップＳ２０３において整数画素精度の動きベクトル（ＭＶint ）を検出すると共に、次のステップＳ２０４において該ＭＢの輝度信号のブロック内アクティビティ（ＡＣＴ）を算出する。

ここで、ブロック内アクティビティ（ＡＣＴ）とは、例えば、ブロック内の平均値とブロック内の各画素値との差分の絶対値和である。

次に、次にステップＳ２０５の処理に移り、ＭＶint での動き補償予測誤差信号の絶対値和（ＳＡＤｉ）が、ＡＣＴよりも小さいか否かを判定する。そして、当該ステップＳ２０５での判定の結果、ＳＡＤｉの方がＡＣＴよりも大きかった場合には、ステップＳ２０６の処理に移り、ここで該ＭＢの符号化モードをＩｎｔｒａとして動きベクトル検出を終了する。

ここで、Ｓ２０６で該ＭＢの符号化モードがＩｎｔｒａにセットされない場合は、該ＭＢの符号化モードはＩｎtｅｒになる。

一方、ステップＳ２０５での判定の結果、ＳＡＤｉの方がＡＣＴより小さかった場合には、ステップＳ２０７の処理に移り、ここで半画素精度の動きベクトル（ＭＶhalf）を検出した後、ステップＳ２０８において８×８画素毎の動きベクトル（ＭＶ４ｍｖ）を検出する。

なお、半画素精度の動きベクトル検出の結果として、整数画素位置の動きベクトルが検出される場合もある（図１２におけるＯ印）。

また、図１１に示されるように、１６×１６画素毎の動きベクトル検出を１ＭＶモード、８×８画素毎の動きベクトル検出を４ＭＶモードと呼び、４ＭＶモードでも半画素精度の動きベクトル検出が行われる。

次に、ステップＳ２０９では、ＭＶ４ｍｖでの予測誤差信号の絶対値和（ＳＡＤ４ｍｖ）が、ＭＶhalfでの予測誤差信号の絶対値和（ＳＡＤhalf）よりも大きいか否かを判定する。そして、このステップＳ２０９での判定の結果、ＳＡＤ4mv がＳＡＤhalfより大きかった場合には、ステップＳ２１０の処理に移り、ＭＶhalfを検出されたＭＶとし、動きベクトル検出を終了する。

一方、ステップＳ２０９での判定の結果、ＳＡＤ4mv がＳＡＤhalfより小さかった場合には、ステップＳ２１１の処理に移り、ＭＶ4mv を検出されたＭＶとし、動きベクトル検出を終了する。

図１２は、半画素精度動き補償を説明する図である。図１２において、半画素位置（△あるいは×）の予測値は、整数画素位置（Ｏ）の画素値を用いて求められる。例えば、画素ｅの倍および画素ｆの値は、次式にて求められる。

ｅ=（ａ＋ｂ＋ｃ＋ｄ＋２−ｒｃ）／２ｆ=（ｃ＋ｄ＋１−ｒｃ）／２ここで、図１２（ｂ）に図１２（ａ）の部分拡大図で示すように、ｅはΔの画素位置であり、ａ，ｂ，ｃ，ｄはｅの周囲の整数画素位置であり、ｆは整数画素位置間の画素位置であって、それぞれその画素位置での予測値を示し、また、ｒｃ＝０ or １である。ｒｃの値は固定値でも良いし、周期的に切り替えても良い。つまり、動きベクトル検出において半画素位置の画素値を求めるには上記のような演算が必要となり、処理時間がかかってしまう問題がある。従って、半画素精度の動きベクトルを検出する際の処理量と、半画素精度動き補償予測による予測効率向上とのトレードオフを図る必要がある。

以上が、ＭＣ＋ＤＣＴ方式の動画像符号化装置における動きベクトル検出部（ＭＥ）１０５の処理内容である。

ところで、動画像を上述したＭＣ＋ＤＣＴ方式によって符号化した場合に、量子化幅が粗いと、その再生画像にはブロック状の歪が発生し、見た目が悪くなることが良く知られている。この歪の影響を低減するために、デコーダ（動画像復号化装置）において再生画像に対してフィルタ処理を施すことが良く行われるが、これがポストフィルタである。

しかしながら、フィルタ処理を施すと、見た目は良くなるものの、そのための処理量が増大するので再生処理系での負担が増大するという問題点がある。

また、量子化幅を細かくすればブロック歪みは目立たなくなるが、逆にＭＣやＤＣＴ変換などを含めて符号化処理に至る系統での処理負荷が重くなり、円滑な動画像符号化ができなくなる心配がある。

また、動画像符号化装置では、量子化部で量子化された離散コサイン変換 係数や動きベクトル情報などを可変長符号化部において符号化した後、多重化してビットストリームを生成し、圧縮動画像データとしてこれを出力バッファに一旦、蓄積する。そして、出力バッファでは、ネットワークや蓄積媒体へ、その特性に応じて当該圧縮動画像データのビリトストリームを出力することとなる。

このとき、レート制御部では、出力バッファのビットストリーム蓄積量に応じて、量子化パラメータＱｐを決定し、量子化部と逆量子化部に供給して符号量を調整する。

すなわち、バッファ内の蓄積量が大きくなってきた場合は、量子化パラメータＱｐを大きくして発生符号量を少なくし、出力バッファ内の蓄積量が小さくなってきた場合は、量子化パラメータＱｐを小さくすることで、発生符号量が一定になるように制御する。

そのため、状況により量子化処理に使用する量子化幅が変化する。このことは、符号化段階での画質に元々差があることを意味する。すなわち、量子化幅が小さい場合は、高画質であるが、量子化幅が大きくなると画質が粗くなる。この画質にばらつきがあるのに、動き補償予測に用いる動きベクトル検出の精度をそれ相応に反映させなければ、無用に処理負荷を負担させる結果となり、無駄である。

処理負荷の適正化は、動画像符号化／復号化処理系に用いるプロセッサなどのデバイスを必要以上に高性能なものとする必要が生じて、コストアップとなり、また、能力が低ければ、動画像の符号化や再生に円滑さを欠くこととなって、問題である。

従って、動画像符号化処理系や復号化処理系での処理負荷の軽減が図れると共に、再生に際してフィルタ処理の負担を最小限にとどめることができ、しかも、ブロック状の歪みの発生を抑制できるようにする動画像符号化／復号化技術の開発が嘱望される。

そこで、本発明の目的とするところは、動き補償予測（ＭＣ）と離散コサイン変換（ＤＣＴ）を用いたハイブリッド符号化方式において、大幅な画質の劣化を伴わずに符号化処理の高速化を図ることができるようにした動画像復号化装置および動画像復号化方法を提供することにある。

上記目的を達成するため、本発明は動き補償予測と離散コサイン変換を用いた動画像符号化手段において符号化されたデータを再生する動画像復号化装置であって、再生画像を出力する際にポストフィルタをかける手段と、上記ポストフィルタを輝度信号と色差信号とで別々にオン／オフする手段と、量子化パラメータが第１のしきい値よりも大きいか否かを判定する第１の判定手段と、第１の判定手段が偽(NO)の場合は、輝度信号と色差信号共にポストフィルタ処理をオフとする手段と、第１の判定手段が真（YES）の場合は、量子化パラメータが第２のしきい値よりも大きいか否かを判定する第２の判定手段と、第２の判定手段の結果が真(YES)の場合は、輝度信号と色差信号共にポストフィルタ処理する手段と、上記判定手段の結果が偽(NO)の場合は、輝度信号のみにポストフィルタ処理をする手段を有する構成とする。

量子化処理に用いる量子化幅は、量子化パラメータにより与えられるが、この量子化パラメータが小さい場合、つまり、量子化幅が小さい場合には、参照画像が符号化歪の影響をあまり受けていないと推定できるため、量子化パラメータが小さい場合には、フィルタ処理の効果が薄い。

そこで、本発明では、フィルタ処理を施すに当たって効果の期待できる対象はフィルタ処理を施すようにするが、効果の薄いものや効果が期待できないものはフィルタ処理を省いてフィルタ処理による負荷を軽減させるべく、量子化パラメータが予め設定した所定のしきい値ＴＨp1、ＴＨp2 よりも大きいか否かを判定し、この判定結果に応じてフィルタ処理の実施／不実施の制御をするようにするものである。

このように、動画像復号化装置において、量子化幅に応じて適応的にポストフィルタ処理のオン／オフを行うようにしたことで、画質の劣化を招くことなくポストフィルタ処理の処理量を低減できるようになるものである。

本発明によれば、動き補償予測（ＭＣ）と離散コサイン変換（ＤＣＴ）を用いたハイブリッド符号化方式において、適応的にポストフィルタ処理のオン／オフを行うことで、大幅な画質の劣化を伴わずにポストフィルタ処理の高速化を図ることができる。

以下、本発明具体例について、図面を参照して説明する。

＜第１の具体例＞図１、図２、図３、および図１０を用いて本発明の第１の具体例を説明する。

本具体例は、適応的に半画素精度の動きベクトル検出を省くようにすることで、画質の劣化を伴わずに動きベクトル検出の処理量を低減するものである。動きベクトル検出には整数画素精度と半画素精度があるが、前者より後者の方が精度が高い。そして、半画素精度の動きベクトル検出によって得られる半画素精度動き補償の効果は、半画素位置の動き補償予測値を生成し得る効果だけでなく、フレームメモリに蓄積されている参照画像信号が符号化歪によって劣化している場合に、フィルタ処理を施すことで予測信号への符号化歪の影響が低減される効果が大きい。

一方、適用した量子化パラメータＱｐが小さい場合（量子化幅が細かい場合）には、参照画像が符号化歪の影響をあまり受けていないと推定できるため、量子化パラメータＱｐが小さい場合には、符号化歪み低減効果がほとんど得られない。

従って、ここでは量子化幅対応に動きベクトル検出の精度を適正な精度にして、オーバスペック（過剰品質）とならないようにし、以て、無意味に処理負荷を大きくならないようにして、処理負荷軽減を図ると共に、適正な精度にすることで、画質の劣化は起きないようにする実施例を説明する。

（第１の具体例その１）本発明では動きベクトル検出をどこまで実施するかを適用する量子化幅と符号量から決定し、段階で動きベクトル検出を切り上げることで、動きベクトル検出処理の負荷軽減を図るようにする。

最もシンプルな具体例を説明する。この具体例は、８×８画素毎の動きベクトル検出処理（４ＭＶ検出の処理）も半画素精度動きベクトル検出処理と共に省くようにし、以て最小限の処理で済ますようにした例である。

本発明にかかる動画像符号化装置は、図１に示されるように、差分値算出部１０１、動き補償予測部（ＭＣ）１０２、フレーム内／フレーム間（Ｉｎｔｒａ／Ｉｎｔｅｒ）切り替え部１０３、フレームメモリ（ＦＭ）１０４、動きベクトル検出部（ＭＥ）１０５Ａ、離散コサイン 変換部（ＤＣＴ）１０６、量子化部（Ｑ）１０７、可変長符号化部（ＶＬＣ）１０８、逆量子化部（ＩＱ）１０９、逆離散コサイン変換部（ＩＤＣＴ）１１０、加算部１１１、出力バッファ（Ｂｕｆｆｅｒ）１１２、レート制御部（RateControl）１１３とから構成される。

これらのうち、差分値算出部１０１は、符号化処理対象の動画像の信号に対して、動き補償予測部（ＭＣ）１０２の出力する動き予測信号分を引き算し、得た差分信号（動き補償予測誤差信号）を出力するものであり、動きベクトル検出部（ＭＥ）１０５Ａは、符号化処理対象の動画像の信号より、画像の各ブロックの動きを検出して動きベクトルを得ると共に、この動きベクトルからIntra／Interモードの切り替えを判定するという機能を有するものであり、フレームメモリ１０４は、符号化済みのフレームの信号をフレーム単位で蓄積するためのものである。

また、動き補償予測部（ＭＣ）１０２は、前記フレームメモリ１０４上の信号と、前記動きベクトル検出部１０５からの動きベクトルとを元に、符号化処理対象の動画像の各ブロックの動きを予測して動き補償予測信号として出力するものである。

フレーム内／フレーム間（Ｉｎｔｒａ／Ｉｎｔｅｒ）切り替え部１０３は、動きベクトル検出部（ＭＥ）１０５の出力するIntra ／Inter モードの切り替えの判定結果に基づき切り替え制御されるものであって、その判定結果対応に動き補償予測部（ＭＣ）１０２の動き補償予測信号の１０１への供給を制御するものである。

また、離散コサイン変換部（ＤＣＴ）１０６は、差分値算出部１０１の出力する差分値（動き補償予測誤差信号）を離散コサイン変換するものであり、この離散コサイン変換されて得られた変換係数を量子化部（Ｑ）１０７は、量子化して出力するものである。なお、離散コサイン変換はＭＰＥＧでは標準的に使用するが、これは画像を空間周波数成分に分解する直交変換の一つの種類であり、直交変換方式は他にも種々のものが知られていることは周知の通りであるから、他の方式に適用する場合など、必要に応じて他の直交変換手段を用いて良いことは云うまでもない。

可変長符号化部（ＶＬＣ）１０８は、この量子化出力を可変長符号化するものであり、出力バッファ（Ｂｕｆｆｅｒ）１１２はこの可変長符号化された信号をバッファリングして出力線１５に送り出すためのものである。

また、逆量子化部（ＩＱ）１０９は、量子化部１０７の量子化出力を逆量子化してもとの離散コサイン変換係数に戻すためのものであり、逆離散コサイン変換部（ＩＤＣＴ）１１０は、この逆量子化部１０９の出力を逆離散コサイン変換して、再生信号を生成するものである。

また、加算部１１１は、動き補償予測部１０２の出力と逆離散コサイン変換部１１０の再生信号出力を加算してフレームメモリ（ＦＭ）１０４に保持させるためのものである。

また、レート制御部（Rate Control）１１３は、出力バッファ１１２から与えられるビットストリーム蓄積量の情報を用いて、このバッファのビットストリーム蓄積量対応に量子化パラメータＱｐを決定し、量子化部１０７と逆量子化部１０９に与えて、量子化幅を調整する機能を有する。

このような構成によるＭＣ＋ＤＣＴ方式の動画像符号化装置は、画像信号入力線１１より、図９（ａ）に示されるように、マクロブロック（ＭＢ）化された画像信号が供給される。

図９の例では、ＭＢには、８×８画素で構成されるブロックが、輝度信号（Ｙ）には４つ、色差信号（ＵあるいはＶ）には各々１つずつ含まれる。差分値算出部１０１において、画像信号入力線１１を介して供給される画像信号と、信号線１２を介して供給される動き補償予測信号との差分が計算され、この差分信号は信号線１３を介して離散コサイン変換部１０６に供給される。

信号線１２には、フレーム内符号化（Ｉｎｔｅｒ）モードの場合には、動き補償予測部（ＭＣ）１０２で生成される動き補償予測信号がフレーム内／フレーム間切り替え部１０３を介して供給されるが、フレーム間符号化（Ｉnｔｒａ）モードの場合には、信号が供給されない。

つまり、信号線１３には差分信号ではなく、画像信号入力線１１の信号がそのまま供給される。Intra ／Inter モードの切り替えは、動きベクトル検出部１０５で判定され、この判定結果が信号線１４を介して切り替え信号としてフレーム内／フレーム間切り替え部１０３に供給されることで、この判定結果対応にフレーム内／フレーム間切り替え部１０３が動き補償予測部１０２の出力をスイッチングすることにより行われる。

動き補償予測部（ＭＣ）１０２では、フレームメモリ１０４に蓄積されている前フレームの再生画像信号から、動きベクトル検出部１０５Ａで検出された動きベクトル情報に従って動き補償予測信号を生成する。

離散コサイン変換部（ＤＣＴ）１０６では、信号線１３を介して供給される差分値算出部１０１からの信号を離散コサイン変換し、得られた係数を量子化部１０７に供給する。量子化部１０７ではこの離散コサイン変換して得られた係数（ＤＣＴ係数）を、レート制御部１１３から与えられる量子化パラメータＱｐで定まる量子化幅にて量子化処理して可変長符号化部１０８に供給すると共に、逆量子化部（ＩＱ）１０９にも供給する。

可変長符号化部１０８では、この供給された量子化された離散コサイン変換係数を、可変長符号化して圧縮動画像信号としてバッファ１１２に送り出す。具体的には、可変長符号化部１０８では、量子化部（Ｑ）１０７で量子化された離散コサイン変換係数や動きベクトル情報などを符号化した後、多重化してビットストリームを生成し、出力バッファ１１２に供給する。

そして、出力バッファ１１２では、信号線１５を介してネットワークや蓄積媒体へ、その特性に応じたビットストリームとして出力する。

なお、 多重化部は図示していないが、実際には、 動画像符号化部からは、ＤＣＴ係数を量子化し、これを可変長符号化することにより圧縮した動画像データが、使用した量子化幅の情報（具体的には量子化パラメータＱｐ）と共に多重化されて出力される。

一方、逆量子化部（ＩＱ）１０９では供給された量子化された離散コサイン変換変換係数（ＤＣＴ係数）を、レート制御部１１３から与えられる量子化パラメータＱｐで定まる量子化幅にて逆量子化し、逆離散コサイン変換部（ＩＤＣＴ）１１０に供給してここで元の画像信号に復元させる。そして、この再生画像信号を加算部１１１に供給する。

加算部１１１では、逆離散コサイン変換部１１０から供給される復元画像信号と、信号線１２を介して供給される動き補償予測部１０２からの動き補償予測信号とを加算して画像信号を再生した後、フレームメモリ１０４に送ってこのフレームメモリ１０４に蓄積させる。

出力バッファ１１２からはレート制御部１１３にビットストリーム蓄積量の情報が信号線１６を介して与えられており、レート制御部１１３では、このバッファのビットストリーム蓄積量に応じて、量子化パラメータＱｐを決定する。そして、この決定した量子化パラメータＱｐは信号線１７を介して量子化部１０７と逆量子化部１０９に供給する。

ここで、レート制御部１１３では、バッファ内の蓄積量が大きくなってきた場合は、量子化パラメータＱｐを大きくして発生符号量を少なくし、バッファ内の蓄積量が小さくなってきた場合は、量子化パラメータＱｐを小さくすることで、発生符号量が一定になるように制御している。

すなわち、バッファ内の符号蓄積量に応じて量子化幅が変化する。量子化幅が大きい（粗い）と動きベクトルの精度を細かくしても意味がないので、精度を粗くし、量子化幅が小さい（細かい）ときは動きベクトルの精度を高めるようにすると動きベクトル検出処理の負荷が量子化幅対応に調整でき、無駄な処理をなくすことができる。

そのために、本発明の画像符号化装置においては、動きベクトル検出部１０５Ａに、この量子化幅対応に動きベクトル検出処理精度を可変させる機能を持たせてある。具体的には、レート制御部１１３からの量子化パラメータＱp や動きベクトル検出結果を参照してどの精度の動きベクトルを検出ベクトルとして利用するかを決めるといった機能である。

なお、動きベクトル検出の精度には、整数値精度の動きベクトル検出、半画素精度の動きベクトル検出があり、前者より後者の方が精度が細かい。

図２は、本発明の第１の具体例その１である、動きベクトル検出部１０５Ａの処理内容を示すフローチャートであり、各ＭＢ（マクロブロック）の輝度信号に対して該フローが実行される。まず、ステップＳ１０１において、動きベクトル（ＭＶ）の初期値をゼロベクトルとする。

次に、ステップＳ１０２において、ゼロベクトルでの予測誤差信号の絶対値和（ＳＡＤ０）が、予め定めたゼロベクトル用しきい値（ＴＨ０）よりも大きいか否かを判定する。ステップＳ１０２での判定の結果、ＳＡＤ０が、しきい値（ＴＨ０）よりも小さかった場合には、ゼロベクトルが検出されたものとして動きベクトル検出処理を終了する。

一方、ステップＳ１０２での判定の結果、ＳＡＤ０が、ゼロベクトル用しきい値（ＴＨ０）よりも大きかった場合には、ステップＳ１０３において整数画素精度の動きベクトル（ＭＶint ）を検出すると共に、ステップＳ１０４において該ＭＢの輝度信号のブロック内アクティビティ（ＡＣＴ）が算出される。ここで、ブロック内アクティビティとは、例えば、ブロック内の平均値とブロック内の各画素値との差分の絶対値和である。

次に、ステップＳ１０５では、整数画素精度の動きベクトル（ＭＶint ）での予測誤差信号の絶対値和（ＳＡＤｉ）が、ＡＣＴよりも小さいか否かを判定する。このステップＳ１０５での判定の結果、ＳＡＤｉが、ＡＣＴよりも大きかった場合は、ステップＳ１０６で該ＭＢの符号化モードを“Ｉｎｔｒａ”（フレーム間符号化）とし、動きベクトル検出処理を終了する。

ここで、ステップＳ１０６において該ＭＢの符号化モードが“Ｉn t r a” にセットされない場合は、該ＭＢの符号化モードは“Ｉｎｔｅｒ”（フレーム内符号化）になる。

一方、ステップＳ１０５での判定の結果、ＳＡＤｉが、ＡＣＴよりも小さかった場合には、ステップＳ１０７の処理に移り、ここにおいて、Ｑp が整数画素精度の動きベクトル検出実施をするか否かを決める予め定めた整数画素精度判断用しきい値ＴＨint よりも大きいか否かを判定する。

ここで、Ｑp とは、レート制御部１１３から、信号線１７を介して動きベクトル検出部１０５に供給される（図示せず）量子化パラメータであり、量子化幅を決めるパラメータであって、例えば、“１”〜“３１”の整数値が採用される。

すなわち、量子化パラメータＱｐはこの例の場合、３１段階のレベル分けになっており、量子化パラメータＱｐが小さいほど、量子化幅が小さい（細かい）ものとなっている。

上述したように、量子化パラメータＱｐは、圧縮符号化され、多重化された動画像信号を送り出す役割を担う出力バッファ１１２におけるビットストリーム蓄積量の情報に基づいてレート制御部１１３から与えられるものである。そして、レート制御部１１３では、この出力バッファ１１のビットストリーム蓄積量が大きくなってきた場合は、量子化パラメータＱｐを大きくして発生符号量を少なくし、出力バッファ１１２内の蓄積量が小さくなってきた場合は、量子化パラメータＱｐを小さくして発生符号量を増やせるようにすることで、できるだけ量子化幅は細かく保ちつつもバッファが溢れないように制御される。

そして、量子化幅が大きいときは、半画素精度の動きベクトルを用いる意味が薄いので、本発明では、動きベクトル検出にあたり、効果の期待できないものは半画素精度の動きベクトル検出を省いて整数値画素精度の動きベクトル検出結果で動きベクトルを代用し、効果の期待できるときは半画素精度の動きベクトル検出を行い、その検出結果を動きベクトルとして用いるようにすることで、動きベクトル検出処理を状況に応じてどこまで実施するか決めるようにし、以て、動きベクトル検出処理に費やす負荷を状況に応じて軽減させるようにする。

そのために、本発明では、レート制御部１１３からの量子化パラメータＱp がしきい値ＴＨint よりも大きいか否かを判定し、この判定結果に応じて半画素精度の動きベクトル検出を行わず、整数画素精度の動きベクトルを動きベクトルとして用いるようにするものである。

従って、ステップＳ１０７での判定の結果、Ｑp がＴＨint よりも小さかった場合には、整数画素精度の動きベクトル（ＭＶint ） を検出された動きベクトルとして採用し、動きベクトル検出を終了する。一方、ステップＳ１０７での判定の結果、Ｑp がＴＨint よりも大きかった場合には、半画素精度の動きベクトル（ＭＶhalf）を検出する（ステップＳ１０９）。そして、その後、さらに８×８画素毎の動きベクトル（ＭＶ4mv ）を検出する（ステップＳ１１０）。

次に、Ｓ１１１では、ＭＶ4mv での予測誤差信号の絶対値和（ＳＡＤ4mv ）が、半画素精度の動きベクトル（ＭＶhalf）での予測誤差信号の絶対値和（ＳＡＤhalf）よりも大きいか否かを判定する。このステップＳ１１１での判定の結果、ＳＡＤ4mv がＳＡＤhalfよりも大きかった場合には、ＭＶhalfを検出されたＭＶとして用いるようにし（ステップＳ１１２）、動きベクトル検出処理を終了する。

一方、ステップＳ１１１での判断の結果、ＳＡＤ4mv がＳＡＤhalfよりも小さかった場合、ＭＶ4mv を検出されたＭＶとして用いるようにし（ステップＳ１１３）、動きベクトル検出処理を終了する。

このように、符号化するに際して使用する量子化幅対応に、適正な動きベクトル検出精度を選択し、その選択した制度での動きベクトル検出処理を行わせるようにしたものであるから、動きベクトル検出精度を適正化することができ、後段でのＤＣＴや量子化処理での無駄をなくす効果と相俟って、処理に費やす負荷を状況に応じて適正なレベルに軽減させることができる。

また、量子化幅は、圧縮符号化され、多重化された動画像信号を送り出す役割を担う出力バッファ１１２におけるビットストリーム蓄積量の情報に基づいてレート制御部１１３により決定されるものであり、レート制御部１１３では、この出力バッファ１１のビットストリーム蓄積量が大きくなってきた場合は、量子化パラメータＱｐを大きくして発生符号量を少なくし、出力バッファ１１２内の蓄積量が小さくなってきた場合は、量子化パラメータＱｐを小さくして発生符号量を増やせるようにすることで、できるだけ量子化幅は細かく保ちつつもバッファが溢れないように制御するために設けてあること、そして、量子化幅が大きいときは、半画素精度の動きベクトルを用いる意味が薄いので、本発明では、動きベクトル検出にあたり、効果の期待できないものは半画素精度の動きベクトル検出を省いて整数値画素精度の動きベクトル検出結果で動きベクトルを代用し、効果の期待できるときは半画素精度の動きベクトル検出を行い、その検出結果を動きベクトルとして用いるようにすることで、量子化幅対応に適正化されたものとなるから、画質に悪影響を与える心配はなく、従って、画質を損なうことなく、適正に処理負荷を軽減できるようになる。

以上の、 第１の具体例その１の処理手法においては、動きベクトル検出処理において、量子化幅が整数画素精度の適用範囲のものであった場合に、一義的に整数画素精度の動きベクトル検出を適用してしまう構成であり、４ＭＶ検出の処理を省いてしまったが、複雑な動きを含む画像シーケンスに対しては４ＭＶの効果が大きいので、単純にこのようにしてしまうと、複雑な動きを含む画像シーケンスの画像にあっては問題が残る。そこで、次に、動きベクトル検出処理において、量子化幅が整数画素精度の適用範囲のものであった場合においても、４ＭＶ検出適用の可能性を残した具体例を、具体例その２として説明する。

（第１の具体例その２）図３は、４ＭＶ検出（８×８画素毎の動きベクトル検出）も含めるようにした本発明の第１の具体例その２としての動きベクトル検出部１０５Ａの処理フローチャートである。図２のフローチャートでは、量子化幅が整数画素精度の適用範囲のものであった場合（Ｓ１０７）に、一義的に整数画素精度の動きベクトル検出を適用してしまう構成であったのを、この場合においても、４ＭＶ検出適用の可能性を探るようにした点（Ｓ３０８〜Ｓ３１１）が異なるが、他は基本的には図２のフローチャートの処理と同じである。

図３を参照して処理の具体的な内容を説明する。

ここでは、各ＭＢの輝度信号に対して該フローに沿った処理が実行される。

まず、ステップＳ３０１において、動きベクトル（ＭＶ）の初期値をゼロベクトルとする。次に、ステップＳ３０２において、ゼロべクトルでの予測誤差信号の絶対値和（ＳＡＤ０）が、しきい値（ＴＨ０）よりも大きいか否かを判定する。そして、ステップＳ３０２での判定の結果、ＳＡＤ０がＴＨ０より小さい場合には、ゼロベクトルが検出されたものとして処理を終了する。

一方、ステップＳ３０２での判別の結果、ＳＡＤ０がＴＨ０より大きかった場合には、ステップＳ３０３において整数画素精度の動きベクトル（ＭＶint ）を検出すると共に、ステップＳ３０４において該ＭＢの輝度信号のブロック内アクティビティ（ＡＣＴ）を算出する。ここで、ブロック内アクティビティとは、例えば、ブロック内の平均値とブロック内の各画素値との差分の絶対値和である。

次に、ステップＳ３０５では、ＭＶint での予測誤差信号の絶対値和（ＳＡＤint ）が、ＡＣＴよりも小さいか否かを判定する。

このステップＳ３０５での判定の結果、ＳＡＤint がＡＣＴよりも大きかった場合には、ステップＳ３０６で該ＭＢの符号化モードを“Ｉｎｔｒａ”とし、動きベクトル検出処理を終了する。ここで、ステップＳ３０６で該ＭＢの符号化モードが“Ｉｎｔｒａ”にセットされない場合は、該ＭＢの符号化モードは“Ｉｎｔｅｒ”になる。

一方、ステップＳ３０５での判定の結果、ＳＡＤint がＡＣＴより小さかった場合には、ステップＳ３０７において、Ｑｐの値がしきい値ＴＨint よりも大きいか否かを判定する。

そして、このステップＳ３０７での判定の結果、Ｑｐの値がしきい値ＴＨintよりも小さかった場合には、ステップＳ３０８において４ＭＶ検出の内、整数画素精度の動きベクトル（ＭＶint4mv）を検出する。

次に、ステップＳ３０９では、ＭＶint での予測誤差信号の絶対値和（ＳＡＤint ）が、ＭＶint4mvでの予測誤差信号の絶対値和（ＳＡＤint4mv）よりも大きいか否かを判定する。そして、このステップＳ３０９での判定の結果、ＳＡＤint がＳＡＤint4mvよりも小さかった場合には、ＭＶint を検出されたＭＶとして用いるようにし（ステップＳ３１０）、動きベクトル検出処理を終了する。

一方、ステップＳ３０９での判定の結果、ＳＡＤint がＳＡＤint4mvより大きかった場合には、ＭＶint4mvを検出されたＭＶとして用いるようにし（ステップＳ３１１）、動きベクトル検出処理を終了する。

また、ステップＳ３０７での判定の結果、ＱｐがＴＨint より大きかった場合には、半画素精度の動きベクトル（ＭＶhalf）を検出した後（ステップＳ３１２）、８×８画素毎の動きベクトル（ＭＶ4mv ）を検出する（ステップＳ３１３）。そして、次に、ＭＶ4mv での予測誤差信号の絶対値和（ＳＡＤ4mv ）が、ＭＶhalfでの予測誤差信号の絶対値和（ＳＡＤhalf）よりも大きいか否かを判定する（ステップＳ３１４）。

ステップＳ３１４での判定の結果、ＳＡＤ4mv が、ＳＡＤhalfよりも大きかった場合には、ＭＶhalfを検出されたＭＶとして用いるようにし（ステップＳ３１５）、動きベクトル検出処理を終了する。

一方、ステップＳ３１４での判定の結果、ＳＡＤ4mv がＳＡＤhalfより小さかった場合には、ＭＶ4mv を検出されたＭＶとして用いるようにし（ステップＳ３１６）、動きベクトル検出処理を終了する。

以上の、 第１の具体例その２の処理手法においては、第１の具体例のその１の機能に、さらに動きベクトル検出処理において、量子化幅が整数画素精度の適用範囲のものであった場合に、一義的に整数画素精度の動きベクトル検出を適用してしまうのではなく、４ＭＶ検出の処理を行って、複雑な動きを含む画像シーケンスに対しても画質を損なうことなく、処理の適正化を図ることができる動画像符号化装置を提供できる。

以上は、動ベクトル検出に着目し、動きベクトル検出をどこまで実施するかを適応的に変えていくことにより、画像の劣化を伴うことなく処理の低減を図る技術であった。

次に、マクロブロックに着目し、これらのうち、処理を施す必要がないブロックである無意ブロックについては、はじめから処理をしないようにして、処理の無駄を省くことにより、画質の劣化を伴うことなく、ＤＣＴや量子化の処理の無駄を省くことができるようにして、負荷の低減を図ることを可能にする例を第２の具体例として説明する。

＜第２の具体例＞ここで、マクロブロックのうち、有意のブロックというのはＤＣＴ係数（離散コサイン変換係数が）すべて“０”となるブロックであり、それ以外のマクロブロックは有意のブロックである。

図２において、量子化部（Ｑ）１０７から信号線１８を介して逆量子化部（ＩＱ）１０９に出力される量子化された離散コサイン変換係数が、すべて“０”となる場合は、逆量子化部１０９と逆離散コサイン変換部（ＩＤＣＴ）１１０を介さずとも信号線１９を介して出力される信号は全て“０”になる。

このような場合、図９（ｂ）に例示されるようなパターンにより、該ブロックは無意であるとの情報がデコーダ側に送られるため、エンコーダ／デコーダ共に逆量子化と逆離散コサイン変換処理をする必要はない。つまり、無意のブロックは処理をする必要がないのである。

なお、離散コサイン変換と量子化処理をしなくても明らかに無意ブロックと判定できる場合がある。例えば、動き補償予測信号が完璧に一致して、信号線１３を介して供給される予測誤差信号が“０”となる場合には、離散コサイン変換処理と量子化処理をしなくても明らかに無意ブロックであると判定できる。また、予測誤差信号が小さく、かつ量子化パラメータが大きい場合には、無意ブロックになると判定できる。このような場合にも、離散コサイン変換処理と量子化処理をするのは無駄である。

このように、無意ブロックは処理を施す必要がないブロックである。従って、無意ブロックについては、はじめから処理をしないようにして、無駄を省くことにより、負荷を軽減させるようにするのが第２の具体例であり、以下、図４、図５および図９を用いて一例を説明する。

図４に、システム構成をブロック図で示す。

本発明にかかる動画像符号化装置は、図１に示されるように、差分値算出部１０１、動き補償予測部（ＭＣ）１０２、フレーム内／フレーム間（Ｉｎｔｒａ／Ｉｎｔｅｒ）切り替え部１０３、フレームメモリ（ＦＭ）１０４、動きベクトル検出部（ＭＥ）１０５、離散コサイン変換部（ＤＣＴ）１０６、量子化部（Ｑ）１０７、可変長符号化部（ＶＬＣ）１０８、逆量子化部（ＩＱ）１０９、逆離散コサイン変換部（ＩＤＣＴ）１１０、加算部１１１、出力バッファ（Ｂｕｆｆｅｒ）１１２、レート制御部（Rate Control）１１３、有意／無意ブロック判定部２１４、切り替え部２１５，２１６とから構成される。

これらのうち、図１における要素と同一符号、同一名称を付したものは図１で説明したものと基本的には変わらないので、ここでは改めて説明はしない。

本具体例では、図１に、新たに有意／無意ブロック判定部２１４、切り替え部２１５，２１６を追加し、動きベクトル検出部（ＭＥ）は１０５Ａに代えて従来からの動きベクトル検出部（ＭＥ）１０５を設けた構成である。

本具体例は、予測誤差信号を解析して、予め該ブロックが無意ブロックとなると推定されるブロックを強制的に無意ブロックとすることで、画質の劣化を伴わずにＤＣＴや量子化の処理を省くことを目的とするものである。従って、画像の劣化を伴うことなく処理の低減を図る技術を併用しなくとも無意ブロックついての処理を省くことで、処理の低減を図る効果が享受できるが、動動きベクトル検出部１０５に代えて、動きベクトル検出部１０５Ａを用いるようにし、これによって、動きベクトル検出をどこまで実施するかを適応的に変えていくことができるようする第１の具体例の方式も併用すれば処理の低減効果は一層大きいものとなる。

図４に示すように、有意／無意ブロック判定部２１４は、信号線１３を介して差分値算出部１０１から与えられる動き補償予測誤差信号と、レート制御部１１３から与えられる量子化パラメータＱｐとを入力とし、差分値算出部１０１から供給される動き補償予測誤差信号が“０”のとき、および、当該動き補償予測誤差信号が小さく、かつ量子化パラメータＱｐが大きい場合には、無意ブロックと判定するものである。

また、切り替え部２１６は、逆離散コサイン変換部（ＩＤＣＴ）１１０と加算部１１１との間に配されて、有意／無意ブロック判定部２１４の判定が無意ブロックであった場合に、逆離散コサイン変換部１１０の出力の、加算部１１１への供給を遮断し、有意ブロックであった場合には供給を行うスイッチ機能部である。

このような構成の本装置は、画像信号入力線１１より、図９（ａ）に示されるようなマクロブロック（ＭＢ）化された画像信号が供給される。そして、これは動きベクトル検出部１０５と差分値算出部１０１とに入力される。

そして、差分値算出部１０１においては、この供給される画像信号と、信号線１２を介して供給される動き補償予測信号との差分（動き補償予測誤差信号）が計算される。そして、この差分値算出部１０１において算出された差分信号（動き補償予測誤差信号）は信号線１３を介して有意／無意ブロック判定部２１４および切り替え部１１５に供給される。

信号線１２には、フレーム内符号化（Ｉｎｔｅｒ）モードの場合には、動き補償予測部１０２で生成される動き補償予測信号が、フレーム内／フレーム間切り替え部１０３を介して供給され、フレーム間符号化（Ｉｎｔｒａ）モードの場合には、信号が供給されない。つまり、信号線１３には、差分値算出部１０１からの差分信号（動き補償予測誤差信号）ではなく、画像入力線１１からの動画像信号がそのまま供給される。

Ｉｎｔｒａ／Ｉｎｔｅｒモードの切り替えは、動きベクトル検出部１０５で判定され、信号線１４を介してフレーム内／フレーム間切り替え部１０３に供給される。動き補償予測部１０２で生成される動き補償予測信号は、フレームメモリ１０４に蓄積されている既に符号化済みの画像フレームの再生信号から、動きベクトル検出部１０５で検出された動きベクトル情報にしたがって生成される。

有意／無意ブロック判定部２１４では、信号線１３を介して供給される動き補償予測誤差信号の絶対値和（ＳＡＥ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｅｒｒｏｒ）をブロックアクティビティとして計算し、ブロックアクティビティが小さい場合には、該ブロックを強制的に無意ブロックと判定する。

この判定結果は、信号線３０を介して切り替え部２１５，２１６にそれぞれ供給され、無意ブロックと判定された場合には、信号線３１を介して信号が供給されないため、離散コサイン変換部１０６，量子化部１０７，逆量子化部１０９，逆離散コサイン変換部１１０の経路への信号供給がオフとなると共に、信号線１９を介して切り替え部２１６に供給する信号も加算部１１１に供給されないため、離散コサイン変換部１０６，量子化部１０７，逆量子化部１０９，逆離散コサイン変換部１１０それぞれでの処理をする必要がなくなる。

また、無意ブロックと判定された場合には、図９（ｂ）のフラグをこの例では、“０”としておく。

なお、処理しようとするマクロブロックが有意ブロックであるか無意ブロックであるかを判定する有意／無意ブロック判定部２１４は、次のような処理手順を実行する構成とすることで実現可能である。

図５を用いて有意／無意ブロック判定部２１４の処理内容を具体的に説明する。まずはじめに、ステップＳ４０１では、処理対象となる画像のブロック毎に動き補償予測誤差信号の絶対値和（ＳＡＥ）を計算する。次に、ステップＳ４０２において、この計算により求めたＳＡＥがしきい値ＴＨ（Ｂ）よりも大きいか否かを判定する。

ＴＨ（Ｂ）は、レート制御部１１３に供給される、出力バッファ１１２のビットストリーム蓄積量（Ｂ）に応じて値が変化する関数とし、当該レート制御部１１３より与えられるものとする。そして、レート制御部２１３では、このＴＨ（Ｂ）を、バッファ内の蓄積量が大きくなってきた場合は値を大きくし、バッファ内の蓄積量が小さくなってきた場合は値を小さくするように調整制御することで、出力バッファ１１２があふれそうになった場合には、無意ブロックが増加して発生符号量が抑えられるようにする。

ステップＳ４０２での判定の結果、ＳＡＥがＴＨ（Ｂ）よりも小さかった場合には、ステップＳ４０３において該ブロックを強制的に無意ブロックとし、処理を終了する。

一方、ステップＳ４０２での判定の結果、ＳＡＥがＴＨ（Ｂ）よりも大きかった場合にはそのまま終了する。なお、ここでブロック毎に有意／無意判定をする例をあげたが、マクロブロック毎に有意／無意判定をしても良い。

離散コサイン変換部１０６では、信号線３１を介して供給される信号が離散コサイン変換された後、量子化部１０７に供給されてここで量子化される。量子化部１０７により量子化された離散コサイン変換係数は、可変長符号化部１０８に供給され、可変長符号化されると共に、逆量子化部１０９に供給されて逆量子化される。

逆量子化された変換係数は、逆離散コサイン変換部１１０に供給されて信号線２３に対する再生信号が生成され、加算部１１１に供給される。加算部１１１では、逆離散コサイン変換部１１０から供給される信号と、信号線１２を介して供給される信号とを加算して画像信号を再生した後、フレームメモリ１０４に蓄積する。

可変長符号化部１０８では、量子化部１０７で量子化された離散コサイン変換係数や動きベクトル情報（図示せず）などを符号化した後、多重化してビットストリームを生成し、出力バッファ１１２に供給する。出力バッファ１１２では、ネットワークや蓄積媒体へ、その特性に応じて信号線２５を介してビリトストリームを出力する。

レート制御部１１３では、信号線２６を介して供給される出力バッファ１１２のビットストリーム蓄積量に応じて、量子化パラメータＱｐを決定し、信号線２７を介して量子化部１０７と逆量子化部１０９に供給する。ここで、バッファ内の蓄積量が大きくなってきた場合は、量子化パラメータＱｐを大きくして発生符号量を少なくし、出力バッファ１１２内の蓄積量が小さくなってきた場合は、量子化パラメータを小さくすることで、発生符号量が一定になるように制御する。

多重化部は図示していないが、実際には、 動画像符号化部からは、ＤＣＴ係数を量子化し、これを可変長符号化することにより圧縮した動画像データが、使用した量子化幅の情報（具体的には量子化パラメータＱｐ）と共に多重化されて出力される。

このように、第２の具体例によれば、予測誤差信号を解析して、予め処理対象のブロックが無意ブロックとなると推定される場合にはそのブロックを強制的に無意ブロックとしてしまうようにした。これにより、画質の劣化を伴うことなく、ＤＣＴや量子化の処理を省くことができるようになり、負荷を低減することが可能になる。

以上は、いずれも動画像符号化装置側の実施例であった。次に、処理負荷を低減することを可能にする動画像復号化装置側での実施例を第３の具体例として説明する。

＜第３の具体例＞符号化に際して適用する量子化幅は発生符号量調整などのために状況対応に変化させる。そして、復号化装置においては、ブロック歪みを除去するためにポストフィルタ処理を施すが、量子化幅が細かい場合はブロック歪みの影響を受けている心配は少なく、量子化幅が粗い場合にポストフィルタ処理の意味がでる。

従って、ここでは、フィルタ処理を施すに当たって効果の期待できる対象はフィルタ処理を施すようにするが、効果の薄いものや効果が期待できないものはフィルタ処理を省くようにしてフィルタ処理による負荷を軽減させるようにする例を説明する。

図６、図７を用いて本発明の第３の具体例を説明する。

本具体例は、動画像復号化装置に関する技術であって、デコード時に適応的にポストフィルタ処理のオン／オフを行うことで、画質の劣化を伴わずにポストフィルタ処理の処理量を低減するものである。具体的には、逆量子化部に与えられる量子化パラメータＱｐに応じて、ポストフィルタ処理のオン／オフ制御を行うようにする。

図６は、本発明の第３の具体例を説明する動画像復号化装置のブロック図であり、図中、４０１は受信した圧縮動画像データを復号する可変長符号復号部であり、４０２は逆量子化部であって、この可変長符号復号部４０１にて復号されたデータを逆量子化し、もとの離散コサイン変換係数（ＤＣＴ係数）に戻す処理を行うものである。

また、４０３は逆離散コサイン変換部であって、逆量子化部４０２により得られたＤＣＴ係数を逆離散コサイン変換して元の動き補償予測誤差信号に戻すものであり、４０４は加算部で、この復元された動き補償予測誤差信号と動き補償予測部４０６からの動き補償予測信号とを加算処理してフレーム画像を復元するためのものであり、４０５はフレームメモリで、この加算部４０４にて加算処理されて復元されたフレーム画像を保持するメモリである。

また、動き補償予測部４０６は、フレームメモリ４０５上のフレーム画像から動き補償予測を行って動き補償予測信号を求めるものであり、４０７はフレーム内符号化（Inter）／フレーム間符号化（Intra）切り替え部であって動き補償予測部４０６の動き補償予測信号の前記加算部４０４への供給をオンオフするためのものである。フレーム内符号化（Inter）とフレーム間符号化（Intra）のいずれのモードとするかは、動画像符号化装置側での処理時に圧縮画像データ中に多重化してあるので、これに従って、フレーム内符号化／フレーム間符号化切り替え部４０７はモード対応に上記オンオフ制御するようにしてある。４０８は加算部４０４にて加算処理されて復元された動き補償予測信号に対してポストフィルタ処理を施し、歪みのない動画像データにして出力するポストフィルタ部である。

動画像符号化部からは、ＤＣＴ係数を量子化し、これを可変長符号化することにより圧縮した動画像データが、使用した量子化幅の情報（具体的には量子化パラメータＱｐ）と共に多重化されて出力される。

次にこのような構成の本装置の作用を説明する。

動画像復号化装置ではこれを分離して量子化幅の情報と圧縮動画像データに分け、処理する。圧縮動画像データは信号線４１を介して可変長復号部４０１に与えられ、量子化幅の情報は信号線４２を介して逆量子化部４０２とポストフィルタ部４０８とに与えられる。

可変長符号復号部４０１では、信号線４１を介して供給されたＤＣＴ係数の可変長符号を復号処理してＤＣＴ係数に戻し、逆量子化部４０２に供給する。逆量子化部４０２では、信号線４２を介して供給される量子化パラメータＱｐに従ってＤＣＴ係数を逆量子化する。

逆量子化部４０２で逆量子化されたＤＣＴ係数は、逆離散コサイン変換部４０３にて逆ＤＣＴされて、動き補償予測誤差信号に再生される。再生された動き補償予測誤差信号は、加算部４０４に供給され、信号線４３を介して供給される動き補償予測信号と加算されることで再生信号となる。再生信号は、信号線４４を介してフレームメモリ４０５とポストフィルタ部４０８に供給される。

ここで、信号線４３には、フレーム内符号化（Ｉｎｔｅｒ）モードの場合には、動き補償予測部４０６で生成される動き補償予測信号がフレーム内／フレーム間切り替え部４０７を介して供給され、フレーム間符号化（Ｉｎｔｒａ）モードの場合には、信号が供給されない。

ポストフィルタ部４０８は、ＭＣ＋ＤＣＴ符号化方式によるブロック歪を低減し、見た目の良い再生画像をユーザに提供するものである。ここで、量子化パラメータＱｐが小さいときは、ブロック歪が小さいため再生画像の視覚的劣化はそれほどでもない。

従って、このような場合にポストフィルタ部４０８によるフィルタ処理を施しても、見た目が格別改善されるわけでもなく、むしろフィルタ処理によるボケの影響の方が大きいからフィルタ処理は逆効果となる場合もある。

また、輝度信号（Ｙ）よりも色差信号（Ｕ，Ｖ）の方が、感度が低いため、ブロック歪みの影響も輝度信号よりも色差信号の方が少ない。従って、輝度信号と同様に色差信号にポストフィルタ処理を施しても、見た目がほとんど改善されずに処理量の無駄となる。

そこで、本具体例においては、この点に着目して量子化パラメータＱｐの値に応じ、ポストフィルタ処理を施したり、施さなかったりする機能を持たせてある。すなわち、この機能を確保するために、本具体例ではポストフィルタ部４０８は図７の如き処理ステップで処理される構成のソフトウエアフィルタとしてある。

図７の処理ステップを説明する。

最初に、ステップＳ５０１において、Ｑｐが第１のしきい値ＴＨｐ１よりも大きいか否か を判定する。そして、ステップＳ５０１での判定の結果、ＱｐがＴＨp1より小さかった場合には、ステップＳ５０２の処理に移り、信号線４４から供給される再生画像にポストフィルタ処理を行わずに、信号線４５に出力し、ユーザに提供する。

ステップＳ５０１での判定の結果、ＱｐがＴＨp1より大きかった場合には、ステップＳ５０３の処理に移り、Ｑｐを第２のしきい値ＴＨp2と比較することで、Ｑｐが第２のしきい値ＴＨp2よりも大きいか否かを判定する。

そして、ステップＳ５０３での判定の結果、ＱｐがＴＨp2より小さかった場合には、ステップＳ５０４の処理に移って、信号線４４から供給される再生画像の輝度信号（Ｙ）のみにポストフィルタ処理を行ない、信号線４５に出力して最終的な再生画像信号とし、ユーザに提供する。

ステップＳ５０３での判定の結果、ＱｐがＴＨp2より大きかった場合には、ステップＳ５０５の処理に移り、信号線４４から供給される再生画像にポストフィルタ処理を行ない、信号線４５を介して出力し、ユーザに提供する。

ここで、しきい値ＴＨp1とＴＨp2の関係は、通常“ＴＨｐ１＜ＴＨｐ２”となる。なお、“ＴＨｐ１＝ＴＨｐ２”として、ステップＳ５０１とステップＳ５０２のフローのみとしたり、ステップＳ５０３，Ｓ５０４とステップＳ５０５のみのフローとしても良い。

ここで、Ｑp とは、レート制御部１１３から、信号線１７を介して動きベクトル検出部１０５Ａに供給される量子化パラメータであり、量子化幅を決めるパラメータであって、例えば、“１”〜“３１”の整数値が採用される。

すなわち、量子化パラメータＱｐはこの例の場合、３１段階のレベル分けになっており、量子化パラメータＱｐの値が小さいほど、量子化幅が小さい（細かい）ものとなっている。そして、量子化パラメータＱｐの値が小さい場合、つまり、量子化幅が小さい場合には、参照画像が符号化歪の影響をあまり受けていないと推定できるため、量子化パラメータＱｐが小さい場合には、フィルタ処理の効果が薄い。

そこで、本発明では、フィルタ処理を施すに当たって効果の期待できる対象はフィルタ処理を施すようにするが、効果の薄いものや効果が期待できないものはフィルタ処理を省いてフィルタ処理による負荷を軽減させるべく、Ｑp がしきい値ＴＨp1、ＴＨp2 よりも大きいか否かを判定し、この判定結果に応じてフィルタ処理の実施／不実施の制御をするようにするものである。

このように、本具体例は、動画像復号化装置において、量子化幅に応じて適応的にポストフィルタ処理のオン／オフを行うようにしたことで、画質の劣化を招くことなくポストフィルタ処理の処理量を低減できるようになるものである。

以上、種々の具体例を説明したが、本発明は上述した例に限定されるものではなく、種々変形して実施可能である。

本発明にかかる動画像符号化装置の構成例を示すブロック図である。 本発明の第１の具体例における動きベクトル検出の動作を説明するためのフローチャートである。 本発明の第１の具体例における動きベクトル検出の動作を説明するための第２のフローチャートである。 本発明の第２の具体例を説明する図である。 有意／無意ブロック判定部の動作を説明するフローチャートである。 本発明の第３の具体例を説明する図である。 本発明の第３の具体例におけるポストフィルタ部の動作を説明するフローチャートである。 検証モデルのエンコーダブロック図である。 マクロブロックを説明する図である。 検証モデルにおける動きベクトル検出の動作を説明するためのフローチャートである。 １６×１６画素単位の動きベクトルと８×８画素単位の動きベクトルを説明する図である。 半画素精度動き補償を説明する図である。

符号の説明

１０１…差分値算出部
１０２，４０６…動き補償予測部（ＭＣ）
１０３…フレーム内／フレーム間（Ｉｎｔｒａ／Ｉｎｔｅｒ）切り替え部
１０４，４０５…フレームメモリ（ＦＭ）
１０５…動きベクトル検出部（ＭＥ）
１０６…離散コサイン変換部（ＤＣＴ）
１０７…量子化部（Ｑ）
１０８…可変長符号化部（ＶＬＣ）
１０９，４０２…逆量子化部（ＩＱ）
１１０，４０３…逆離散コサイン変換部（ＩＤＣＴ）
１１１，４０４…加算部
１１２…出力バッファ（Ｂｕｆｆｅｒ）
１１３…レート制御部（Rate Control）
２１４…有意／無意ブロック判定部
２１５，２１６，４０７…切り替え部
４０８…ポストフィルタ部。

Claims (8)

1. 動画像を動き補償予測と離散コサイン変換を用いた動画像符号化方式にて符号化したデータを復号化処理して再生する動画像復号化装置において、
   復号化され画像信号に対し、ポストフィルタ処理を施すフィルタ手段と、
   符号化時における量子化処理での使用量子化幅に応じて前記復号化された画像信号に対するフィルタ手段でのポストフィルタ処理の実施を制御する手段とを備えたことを特徴とする画像復号化装置。
2. 請求項１記載の動画像復号化装置において、
   前記ポストフィルタ処理の実施を制御する手段は、符号化時における量子化処理での使用量子化幅が細かいときは前記ポストフィルタ処理を施さないように制御することを特徴とする画像復号化装置。
3. 請求項１記載の動画像復号化装置において、
   前記フィルタ手段は、前記ポストフィルタを輝度信号と色差信号別とし、前記ポストフィルタ処理の実施を制御する手段は、符号化時における量子化処理での使用量子化幅が所定のレベルより粗いときは輝度信号と色差信号共にポストフィルタ処理させるべく制御し、前記使用量子化幅が所定のレベルより細かいときは輝度信号のみにポストフィルタ処理させるべく制御させることを特徴とする動画像復号化装置。
4. 動画像を動き補償予測と離散コサイン変換を用いた動画像符号化方式にて符号化したデータを復号化処理して再生する動画像復号化装置において、
   輝度信号と色差信号別にポストフィルタ処理するフィルタ手段であって、復号化され画像信号に対し、ポストフィルタ処理を施すフィルタ手段と、
   符号化時における量子化処理での使用量子化幅に応じて前記復号化された画像信号に対する前記フィルタ手段でのポストフィルタ処理の実施を制御するものであって、符号化時における量子化処理での使用量子化幅が所定の第１レベルより細かいときは前記ポストフィルタ処理を施さないように制御し、符号化時における量子化処理での使用量子化幅が前記所定の第１レベルより粗いときは所定の第２レベルと比較して粗いときに輝度信号と色差信号共にポストフィルタ処理させるべく制御し、他は輝度信号のみにポストフィルタ処理させるべく制御する手段とを具備することを特徴とする動画像復号化装置。
5. 動画像を動き補償予測と離散コサイン変換を用いた動画像符号化方式にて符号化したデータを復号化処理して再生する動画像復号化方法において、
   符号化時における量子化処理での使用量子化幅に応じて前記復号化された画像信号に対するポストフィルタ処理の実施を制御することを特徴とする動画像復号化方法。
6. 請求項５記載の動画像復号化方法において、
   符号化時における量子化処理での使用量子化幅が細かいときは前記ポストフィルタ処理を施さないようにすることを特徴とする動画像復号化方法。
7. 請求項５記載の動画像復号化方法において、
   前記ポストフィルタ処理は輝度信号と色差信号別とすると共に、符号化時における量子化処理での使用量子化幅が所定のレベルより粗いときは輝度信号と色差信号共にポストフィルタ処理させるべく制御し、前記使用量子化幅が所定のレベルより細かいときは輝度信号のみにポストフィルタ処理させることを特徴とする動画像復号化方法。
8. 動画像を動き補償予測と離散コサイン変換を用いた動画像符号化方式にて符号化したデータを復号化処理して再生する動画像復号化方法において、
   復号化され画像信号に対し、輝度信号と色差信号別にポストフィルタ処理するフィルタ手段を設け、符号化時における量子化処理での使用量子化幅が所定の第１レベルより細かいときは前記ポストフィルタ処理を施さないように制御し、符号化時における量子化処理での使用量子化幅が前記所定の第１レベルより粗いときは所定の第２レベルと比較して粗いときに輝度信号と色差信号共にポストフィルタ処理させるべく制御し、他は輝度信号のみにポストフィルタ処理させるべく制御することを特徴とする動画像復号化方法。

Images