JP4660433B2

JP4660433B2 - 符号化回路、復号回路、エンコーダ回路、デコーダ回路、ｃａｂａｃ処理方法

Info

Publication number: JP4660433B2
Application number: JP2006179905A
Authority: JP
Inventors: 亮押切; 隆二境
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2006-06-29
Filing date: 2006-06-29
Publication date: 2011-03-30
Anticipated expiration: 2026-06-29
Also published as: US20080001796A1; US7460042B2; JP2008011204A

Description

この発明は、Ｈ．２６４／ＡＶＣで用いられるＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding）と呼ばれるエントロピー符号化方式に関する。

最近、ブロードバンドの急速な発展と普及により、高品質な通信方法が望まれており、Ｈ.２６４／ＡＶＣは、高い圧縮率が知られている国際標準である。このＨ.２６４は、ＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding）と呼ばれるエントロピー符号化方式を採用しており、Context-Adaptive、すなわち周囲の状況に応じて効率の良いコンテキストを適応的に選択する方式をとっている。ここで、ＣＡＢＡＣは、汎用ＣＰＵでの負荷が非常に高いという特徴をもつため、並列で処理することが望ましいといえる。

特許文献１には、Ｈ.２６４／ＡＶＣ等の画像符号化方式に基づく画像圧縮情報を出力する画像情報符号化装置において、パイプライン等の並列処理のために隣接ブロックの必要なベクトル情報等が得られない場合でも、擬似的な情報を生成し利用することで、高速な符号化処理を実現することができる技術が開示されている。
特開２００５−２４４５０３公報。

しかしながら、この特許文献１の従来技術が開示するものは、本発明が課題とするＣＡＢＡＣではないため、当業者がこの文献を参照したとしても、ＣＡＢＡＣの並列処理をどのように高速化させるかを知ることはできない。

即ち、ＣＡＢＡＣ処理では、隣接マクロブロック（以下、ＭＢとする）の情報を利用するため、同一フレームで並列処理するにはフレームを複数のスライスに分割する必要がある。しかし、分割の影響でスライス境界のＭＢの依存関係がなくなり、例えば、図６を用いて後述するように、他のスライスに属した隣接ＭＢの情報が利用できなくなってしまい、結果的に符号化効率を低下させてしまう。同様に、図５を用いて後述するように、確率テーブルをスライス毎に初期化する必要があるために、符号化効率が低下してしまう。

本発明は、Ｈ．２６４／ＡＶＣのＣＡＢＡＣを高速化処理する符号化回路、復号回路、エンコーダ回路、デコーダ回路、ＣＡＢＡＣ処理方法を提供することを目的とする。

この課題を解決するための手段の一実施形態は、
一定時間間隔で連続的に与えられ、Ｎ個に分割された分割領域（Ｕ１，Ｕ２，Ｕ３）をもつフレーム画像（…Ｆ_−１，Ｆ_０…）について、一つ前のフレーム画像の分割領域（Ｕ１，Ｕ２，Ｕ３）の確率テーブル（Ｔ１_−１、Ｔ２_−１、Ｔ３_−１）を、現在のフレーム画像の分割領域（Ｕ１，Ｕ２，Ｕ３）にそれぞれ継承する継承部（Ｂ１：Ｓ１２）と、
前記分割領域中の処理単位であるマクロブロック（ＭＢ）のパラメータの計算を行う際に、そのマクロブロックが前記分割領域中の分割した境界に位置する場合は、一つ前のフレーム画像（Ｆ_−１）の隣接するマクロブロックのパラメータ（ＭＢＰ_−１）を取得する取得部（Ｂ２：Ｓ１３，Ｓ１４，Ｓ１７）と、
前記取得した隣接するマクロブロックのパラメータ（ＭＢＰ_０，ＭＢＰ_−１）を計算して、前記確率テーブル（Ｔ１_−１、Ｔ２_−１、Ｔ３_−１）中の確率モデル（ｍ１，ｍ２，ｍ３，ｍ４，…）の一つを選択する選択部（Ｂ３：Ｓ１５）と、
前記選択した確率モデル（ｍ１，ｍ２，ｍ３，ｍ４，…）に基づいて、前記フレーム画像中の残差信号を算術符号化して符号化ビット列（Ｌ）を生成する符号化部（Ｂ４：Ｓ１６）と、を具備することを特徴とする符号化回路である。

並列処理のためにフレーム画像を分割しており、分割して境界におけるマクロブロックは隣接するマクロブロックのパラメータを得ることができないが、一つ前のフレーム画像のマクロブロックのパラメータを利用することで、高画質が補償される。又、通常は分割領域毎に確率テーブルを初期化する必要があるが、一つ前のフレーム画像の分割領域の確率テーブルを承継することで高画質が補償される。

以下、この発明の実施の形態について図面を参照して詳細に説明する。

図１は、Ｈ.２６４／ＡＶＣのエンコーダ回路の構成の一例を示す回路図。図２は、Ｈ.２６４／ＡＶＣのデコーダ回路の構成の一例を示す回路図。図３は、Ｈ.２６４／ＡＶＣのエンコーダ回路の他の構成の一例を示す回路図。図４は、Ｈ.２６４／ＡＶＣのデコーダ回路の他の構成の一例を示す回路図。図５は、ＣＡＢＡＣのコンテキスト計算の一例を示す説明図。図６は、ＣＡＢＡＣの隣接ＭＢを参照するコンテキスト計算の一例を示す説明図。図７は、ＣＡＢＡＣの前フレームを利用したコンテキスト計算の一例を示す説明図。図８は、ＣＡＢＡＣの前フレームを利用したコンテキスト計算と符号化処理の一例を示すフローチャート。図９は、ＣＡＢＡＣの前フレームを利用したコンテキスト計算と復号処理の一例を示すブロック図。図１０は、ＣＡＢＡＣの前フレームを利用したコンテキスト計算の一例を示すブロック図である。

＜本発明の一実施形態であるＣＡＢＡＣを含むエンコーダ回路・デコーダ回路の一例＞
（エンコーダ回路の構成・動作）
本発明の一実施形態であるＣＡＢＡＣを含むエンコーダ回路１は、図１に示すように、フレーム画像が供給される符号化制御部１１と、減算演算子を介してＤＣＴ量子化部１２と、ＤＣＴ量子化部１２の量子化データを受けるエントロピー符号化部１３とを有している。更に、エンコーダ回路１は、ＤＣＴ量子化部１２の出力を受ける逆量子化逆ＤＣＴ部１４と、この出力をフレーム画像を加算する加算演算子を介して供給されるデブロッキング・フィルタ部１６と、この出力を受ける動き補償部１７と、この出力を受ける重み付き予測部１８と、画面内予測部１８を有している。更にエンコーダ回路１は、フレーム画像を受ける動きベクトル検出部１９を持っており、その出力が動きベクトル補償部１７に供給される。

このような構成をもつエンコーダ回路１において、フレーム画像がＤＣＴ量子化部１２により量子化されてエントロピー符号化部１３に供給される。又、フレーム画像が供給される動きベクトル検出部１９により検出された動きベクトルが動き補償部１７に供給され、重み付き予測部１８に供給され、画面内予測部１５からの信号と適宜、切り替えられることにより、動きベクトル信号が先の量子化データに加えられて、エントロピー符号化部１３に供給される。

エントロピー符号化部１３では、符号化制御部１１からの動作タイミングに応じてＣＡＶＬＣ又はＣＡＢＡＣによる符号化処理を行ない、量子化データを符号化処理することで動きベクトル成分を含んだ符号化ビット列を出力する。

（デコーダ回路の構成・動作）
本発明の一実施形態であるＣＡＢＡＣを含むデコーダ回路２は、図２に示すように、符号化ビット列を受けるエントロピー復号部２１と、この出力を受ける逆量子化逆ＤＣＴ部２２と、逆量子化逆ＤＣＴ部２２からの出力を加算演算子を介して受けるデブロッキング・フィルタ部２３と、このデブロッキング・フィルタ部２３からの出力を受ける動き補償部２４と、この出力を受ける重み付き予測部２５と、エントロピー復号部２１により動作制御される画面内予測部２６とを有している。重み付き予測部２５と画面内予測部２６との出力がスイッチで選択的に加算演算子に供給される。

このような構成をもつデコーダ回路２において、動きベクトル成分を含んだ符号化ビット列が、エントロピー復号部２１により動きベクトル成分を伴うフレーム画像へと復号される。ここで動きベクトル成分は動き補償部２４に供給され、動きベクトル成分に応じた重み付き予測部で重み付けが行なわれ、画面内予測部２６の出力と適宜、スイッチで切り替えられることにより、適切な出力がデブロッキング・フィルタ部２３に供給される。

このようにして符号化ビット列が復号され、フレーム画像として出力端から出力されるものである。

（ＣＡＢＡＣの構成・動作）
このような構成のエンコーダ回路１及びデコーダ回路２の実施形態において、エントロピー符号化部１３及びエントロピー復号部２１の特にＣＡＢＡＣの並列動作を以下に図面を用いて詳細に説明する。

・原理
Ｈ.２６４／ＡＶＣはＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding）と呼ばれるエントロピー符号化方式を採用している。ＣＡＢＡＣは、Context-Adaptive、すなわち周囲の状況に応じて効率の良いコンテキストを適応的に選択する方式をとっている。これを図５に示す。図５のように隣接ＭＢの情報を反映することで、符号化効率の高い確率モデルを選択することができる。

ＣＡＢＡＣは汎用ＣＰＵでの負荷が非常に高いという特徴をもつため、並列で処理することが望ましいといえる。しかし、ＣＡＢＡＣは隣接ＭＢの情報を利用するため、同一フレームで並列処理するにはフレームを複数のスライスに分割する必要がある。しかし、分割の影響でスライス境界のＭＢの依存関係がなくなり、例えば図６のように他のスライスに属した隣接ＭＢの情報が利用できなくなってしまい、結果的に符号化効率を低下させてしまう。同様に、図５の確率テーブルＴをスライスごとに初期化する必要があるために、確率テーブルが１つのフレームで最適化されずに符号化効率が低下してしまう。

そこで、図７に示すように、本発明の一実施形態においては、時間的な依存関係に注目し、前のフレームＦ_−１の確率テーブルＴ１_−１、Ｔ２_−１を現在のフレームＦ_０の各確率テーブルＴ２_０、Ｔ３_０に引き継ぐ方法をとる。これにより、例えば、分割フレームＵ２は、マクロブロック毎に行なわれる確率テーブル更新処理を、分割フレームＵ１の確率テーブル更新処理の結果の確率テーブルが得られるまで待つ必要がなくなる。従って、確率テーブル更新処理についても、複数の分割フレーム毎の並列処理が可能となるものである。

又、コンテキスト計算時の参照ＭＢとして、図７に示すように、前のフレームのＭＢを
利用する。これにより、符号化効率を低下させずに、同一フレーム内のＭＢの処理を並列に行える。このとき、各フレームでの並列化の単位を揃えることで、フレーム間の確率テーブルの引継ぎを無駄なく行える。

・フローチャート及びブロック図による説明
次に、この一実施形態のＣＡＢＡＣの並列動作を図８及び図９のフローチャート、図１０のブロック図を用いて、本発明の一実施形態に係るＣＡＢＡＣのコンテキスト計算の処理を更に詳細に説明する。

与えられる画像フレームを初めにＮ分割する。これは、２分割、３分割、それ以上の分割等が考えられ、例えば、２個のＣＰＵ、３個のＣＰＵ等で並列処理を行なうことができる。ここで、画像フレームの分割処理は、図３及び図４のように、エンコーダ回路１の手前の分割部１０及び合成部２７等で行なってもよい。

又、エントロピー符号化部１３の中で図８のステップＳ１１のように行なったり、エントロピー復号部２１の中で図９のステップＳ２２のように行なうことも好適である。

次に、前のフレームの分割領域iの確率テーブルを、現在のフレームの分割領域i+1に継承する（ステップＳ１２）。

一般的に動画は時間的な依存関係が強く、フレーム内の情報は前後でかなり類似するといえる。そのため、通常は同一フレーム内の一つ前のＭＢから継承される確率テーブルを、前フレームの同位置での確率テーブルに置き換えても、符号化効率的にあまり影響がないと考えられる。

前フレームの確率テーブルを継承することにより、一つ前のＭＢの処理を待つ必要がなくなり、同一フレーム内のＭＢが並列に行えるようになる。又、Ｈ．２６４等の動画形式では、Ｂピクチャ等、符号化時に後方フレームを用いる場合があるが、後述する他の実施形態の後方フレームの利用はこの場合を想定している。

次に、符号化（復号）対象のＭＢが分割した境界に位置するかどうかを判断する（ステップＳ１３，Ｓ２１）。図６でも説明したように、分割領域Ｕ１，Ｕ２，Ｕ３を並列に処理する場合、分割境界に位置するＭＢは隣接ＭＢを参照できなくなる。この場合、前フレームのＭＢ情報を利用して予測の精度を上げる。

ここで、現在、符号化対象としているＭＢが、境界に位置していなければ、現在のフレームの隣接ＭＢ情報を取得する（ステップＳ１４）。なお、この場合も次の場合と同様に、前のフレームのＭＢ情報を取得して利用することも好適である。

又、現在、符号化対象としているＭＢが、境界に位置していれば、前のフレームの隣接ＭＢ情報を取得する（ステップＳ１５）。

次に、取得した隣接するＭＢのパラメータ等の情報に基づいて、確率テーブルＴの中の確率モデルｍ１，…，ｍ４…の中の使用すべき確率モデルを選択する（ステップＳ１６）。すなわち、確率テーブル中の使用すべき確率モデルを示すインデックスを計算結果により求めることで、一つの使用すべき確率モデルが選択される。

次に、この選択された確率モデルに基づいて、与えられらフレーム画像中の残差信号を算術符号化することで、符号化ビット列Ｌを出力する。

なお、エントロピー復号部２１内でのＣＡＢＡＣの復号処理の場合も同様であるが、図９のフローチャートに示すように、部分的に異なる点だけを説明する。すなわち、ステップＳ２１において、復号対象となるＭＢが、分割した境界に位置するかどうかが判断され、隣接ＭＢが取得される。

又、ステップＳ２２において、エントロピー復号部２１に与えられる符号化データが、選択した確率モデルに基づいて復号される。

又、ステップＳ２３において、出力された分割領域毎のデータが合成される。

又、更に、図１０においては、エントロピー符号化部１３及びエントロピー復号部２１での処理を行なう処理回路がブロック図として示されている。すなわち、エントロピー符号化部１３及びエントロピー復号部２１での処理回路は、確率テーブル承継部Ｂ１と、ＭＢ情報取得部Ｂ２と、インデックス算術部Ｂ３と、算術符号化／復号部Ｂ４を有している。ここで、これらの構成は、それぞれ図８及び図９のフローチャートが示す各機能を有するものである。

（その他の実施形態）
上述した実施形態では、並列処理の効率化のために、上部隣接位置に相当する前方フレームのＭＢを参照したが、符号化効率の向上を目的として、その周辺ＭＢ（例えば自分位置に相当するＭＢ）を参照することも好適である。

又、上述した実施形態では、並列処理の効率化のために前方フレームを利用したが、符号化効率の向上を目的として、後方フレームを利用することも好適である。

以上、詳細に説明したように、本発明の一実施形態においては、ＣＡＢＡＣのコンテキスト計算部で、前のフレームとの依存関係を利用することにより、符号化効率を低下させずにＣＡＢＡＣを効率よく並列処理することが可能となる。

以上記載した様々な実施形態により、当業者は本発明を実現することができるが、更にこれらの実施形態の様々な変形例を思いつくことが当業者によって容易であり、発明的な能力をもたなくとも様々な実施形態へと適用することが可能である。従って、本発明は、開示された原理と新規な特徴に矛盾しない広範な範囲に及ぶものであり、上述した実施形態に限定されるものではない。

本発明の一実施形態に係るＨ.２６４／ＡＶＣのエンコーダ回路の構成の一例を示す回路図。本発明の一実施形態に係るＨ.２６４／ＡＶＣのデコーダ回路の構成の一例を示す回路図。本発明の一実施形態に係るＨ.２６４／ＡＶＣのエンコーダ回路の他の構成の一例を示す回路図。本発明の一実施形態に係るＨ.２６４／ＡＶＣのデコーダ回路の他の構成の一例を示す回路図。本発明の一実施形態に係るＣＡＢＡＣのコンテキスト計算の一例を示す説明図。本発明の一実施形態に係るＣＡＢＡＣの隣接ＭＢを参照するコンテキスト計算の一例を示す説明図。本発明の一実施形態に係るＣＡＢＡＣの前フレームを利用したコンテキスト計算の一例を示す説明図。本発明の一実施形態に係るＣＡＢＡＣの前フレームを利用したコンテキスト計算と符号化処理の一例を示すフローチャート。本発明の一実施形態に係るＣＡＢＡＣの前フレームを利用したコンテキスト計算と復号処理の一例を示すブロック図。本発明の一実施形態に係るＣＡＢＡＣの前フレームを利用したコンテキスト計算の一例を示すブロック図。

符号の説明

１…エンコーダ回路、２…デコーダ回路、１０…分割部、１１…符号化制御部、１２…ＤＣＴ量子化部、１３…エントロピー符号化部、１４…逆量子化逆ＤＣＴ部、１５…画面内予測部、１６…デブロッキング・フィルタ部、１７…動き補償部、１８…重み付き予測部、１９…動きベクトル検出部、２１…エントロピー復号部、２２…逆量子化・逆ＤＣＴ部、２３…デブロッキング・フィルタ部、２４…動き補償部、２５…重み付き予測部、２６…画面内予測部、２７…合成部。

Claims

一定時間間隔で連続的に与えられ、Ｎ個に分割された分割領域をもつフレーム画像について、一つ前のフレーム画像の分割領域の確率テーブルを、現在のフレーム画像の分割領域にそれぞれ継承する継承部と、
前記分割領域中の処理単位であるマクロブロックのパラメータの計算を行う際に、そのマクロブロックが前記分割領域中の分割した境界に位置する場合は、一つ前のフレーム画像の隣接するマクロブロックのパラメータを取得する取得部と、
前記取得した隣接するマクロブロックのパラメータを計算して、前記確率テーブル中の確率モデルの一つを選択する選択部と、
前記選択した確率モデルに基づいて、前記フレーム画像中の残差信号を算術符号化して符号化ビット列を生成する符号化部を具備することを特徴とする符号化回路。
前記フレーム画像が与えられると、これを前記Ｎ個の分割領域に分割する分割部を更に有することを特徴とする請求項１記載の符号化回路。
前記取得部は、前記マクロブロックが前記分割領域中の分割した境界に位置しない場合は、現在のフレーム画像の隣接するマクロブロックのパラメータを取得することを特徴とする請求項１記載の符号化回路。
前記取得部は、前記マクロブロックが前記分割領域中の分割した境界に位置しない場合は、前のフレーム画像の隣接するマクロブロックのパラメータを取得することを特徴とする請求項１記載の符号化回路。
一定時間間隔で連続的に与えられ、Ｎ個に分割された分割領域をもつフレーム画像について、一つ前のフレーム画像の分割領域の確率テーブルを、現在のフレーム画像の分割領域にそれぞれ継承する継承部と、
前記分割領域中の処理単位であるマクロブロックのパラメータの計算を行う際に、そのマクロブロックが前記分割領域中の分割した境界に位置する場合は、一つ前のフレーム画像の隣接するマクロブロックのパラメータを取得する取得部と、
前記取得した隣接するマクロブロックのパラメータを計算して、前記確率テーブル中の確率モデルの一つを選択する選択部と、
前記選択した確率モデルに基づいて、与えられる符号化ビット列を算術復号して、前記フレーム画像中の残差信号を出力する復号部を具備することを特徴とする復号回路。
前記復号部が出力した残差信号を他の前記分割領域の残差信号と合成する合成部を更に有することを特徴とする請求項５記載の復号回路。
前記取得部は、前記マクロブロックが前記分割領域中の分割した境界に位置しない場合は、現在のフレーム画像の隣接するマクロブロックのパラメータを取得することを特徴とする請求項５記載の復号回路。
前記取得部は、前記マクロブロックが前記分割領域中の分割した境界に位置しない場合は、前のフレーム画像の隣接するマクロブロックのパラメータを取得することを特徴とする請求項５記載の復号回路。
与えられるフレーム画像を量子化して量子化情報を出力する量子化部と、
前記与えられるフレーム画像から動きベクトル情報を検出する検出部と、
一定時間間隔で連続的に与えられ、Ｎ個に分割された分割領域をもつフレーム画像について、一つ前のフレーム画像の分割領域の確率テーブルを、現在のフレーム画像の分割領域にそれぞれ継承する継承部と、前記分割領域中の処理単位であるマクロブロックのパラメータの計算を行う際に、そのマクロブロックが前記分割領域中の分割した境界に位置する場合は、一つ前のフレーム画像の隣接するマクロブロックのパラメータを取得する取得部と、前記取得した隣接するマクロブロックのパラメータを計算して、前記確率テーブル中の確率モデルの一つを選択する選択部と、
前記選択した確率モデルに基づいて、前記量子化部からの量子化情報の残差信号を算術符号化して前記検出部が検出した前記動きベクトル情報と共に符号化ビット列を生成する符号化部を有するＣＡＢＡＣ符号化回路を具備することを特徴とするエンコーダ回路。
前記フレーム画像が与えられると、これを前記Ｎ個の分割領域に分割する分割部を更に有することを特徴とする請求項９記載のエンコーダ回路。
前記取得部は、前記マクロブロックが前記分割領域中の分割した境界に位置しない場合は、現在のフレーム画像の隣接するマクロブロックのパラメータを取得することを特徴とする請求項９記載のエンコーダ回路。
前記取得部は、前記マクロブロックが前記分割領域中の分割した境界に位置しない場合は、前のフレーム画像の隣接するマクロブロックのパラメータを取得することを特徴とする請求項９記載のエンコーダ回路。
一定時間間隔で連続的に与えられ、Ｎ個に分割された分割領域をもつフレーム画像について、一つ前のフレーム画像の分割領域の確率テーブルを、現在のフレーム画像の分割領域にそれぞれ継承する継承部と、
前記分割領域中の処理単位であるマクロブロックのパラメータの計算を行う際に、そのマクロブロックが前記分割領域中の分割した境界に位置する場合は、一つ前のフレーム画像の隣接するマクロブロックのパラメータを取得する取得部と、
前記取得した隣接するマクロブロックのパラメータを計算して、前記確率テーブル中の確率モデルの一つを選択する選択部と、
前記選択した確率モデルに基づいて、与えられる符号化ビット列を算術復号して、前記フレーム画像中の残差信号及び動きベクトル情報を出力する復号部を有するＣＡＢＡＣ復号回路と、
前記ＣＡＢＡＣ復号回路から出力される残差信号を逆量子化して出力する逆量子化部と、
前記ＣＡＢＡＣ復号回路から出力される動きベクトル情報に基づく画像信号を生成して前記残差信号と共に出力する動き補償部を具備することを特徴とするデコーダ回路。
前記復号部が出力した残差信号を他の前記分割領域の残差信号と合成する合成部を更に有することを特徴とする請求項１３記載のデコーダ回路。
前記取得部は、前記マクロブロックが前記分割領域中の分割した境界に位置しない場合は、現在のフレーム画像の隣接するマクロブロックのパラメータを取得することを特徴とする請求項１３記載のデコーダ回路。
前記取得部は、前記マクロブロックが前記分割領域中の分割した境界に位置しない場合は、前のフレーム画像の隣接するマクロブロックのパラメータを取得することを特徴とする請求項１３記載のデコーダ回路。
一定時間間隔で連続的に与えられ、Ｎ個に分割された分割領域をもつフレーム画像について、一つ前のフレーム画像の分割領域の確率テーブルを、現在のフレーム画像の分割領域にそれぞれ継承し、
前記分割領域中の処理単位であるマクロブロックのパラメータの計算を行う際に、そのマクロブロックが前記分割領域中の分割した境界に位置する場合は、一つ前のフレーム画像の隣接するマクロブロックのパラメータを取得し、
前記取得した隣接するマクロブロックのパラメータを計算して、前記確率テーブル中の確率モデルの一つを選択し、
前記選択した確率モデルに基づいて、前記フレーム画像中の残差信号を算術符号化して符号化ビット列を生成し、
他の符号化ビット列が与えられると、前記選択した確率モデルに基づいて、前記他の符号化ビット列を復号して残差信号を生成することを特徴とするＣＡＢＡＣ処理方法。