JP5957559B2 - 大きいサイズの変換単位を用いた映像符号化、復号化方法及び装置 - Google Patents

Description

本発明は、映像符号化、復号化方法及び装置に係り、さらに詳細には、ピクセルドメインの映像を周波数ドメインの係数に変換して映像を符号化、復号化する方法及び装置に関する。

大部分の映像符号化、復号化方法及び装置は、映像圧縮のためにピクセルドメインの映像を周波数ドメインに変換して符号化する。周波数変換のうち１つの技法である離散コサイン変換は、映像または音声圧縮に使われる周知の技術である。離散コサイン変換を用いた映像符号化方法では、ピクセルドメインの映像を離散コサイン変換して離散コサイン係数を生成し、生成された係数を量子化、エントロピー符号化する。

本発明が解決しようとする技術的課題は、さらに効率的な離散コサイン変換を用いた映像を符号化、復号化する方法及び装置を提供するところにあり、前記方法を行うためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供するところにある。

前記技術的課題を解決するための本発明の一実施形態による映像符号化方法は、映像の複数の符号化単位に対して予測を行って、前記複数の符号化単位に基づいて複数の予測単位を生成する段階と、前記複数の予測単位を１つの変換単位でグループ化する段階と、前記グループ化された複数の予測単位に含まれたレジデュアル値を、前記変換単位によって周波数ドメインの周波数成分係数に変換する段階と、前記周波数成分係数を量子化する段階と、前記量子化された周波数成分係数をエントロピー符号化する段階と、を含む。

本発明のさらに他の実施形態によれば、前記グループ化する段階は、最大符号化単位から前記複数の符号化単位に段階的に縮少された程度を表す前記複数の予測単位の深度に基づいて、前記複数の予測単位をグループ化して１つの変換単位を設定する段階を含む。

本発明のさらに他の実施形態によれば、前記グループ化する段階は、予測モードの種類によって予測が行われた、前記複数の予測単位のうち隣接する複数の予測単位を選択して１つの変換単位を設定する段階を含む。

本発明のさらに他の実施形態によれば、前記予測を行う段階は、前記複数の予測単位のうちイントラ予測される予測単位は、少なくとも１つの隣接する予測単位の予測値に基づいて予測して、前記複数の符号化単位に対するレジデュアル値を生成する段階を含む。

本発明のさらに他の実施形態によれば、前記予測を行う段階は、前記複数の符号化単位に含まれたあらゆる予測単位をインター予測して、前記複数の符号化単位に対するレジデュアル値を生成する段階を含む。

前記技術的課題を解決するための本発明の一実施形態による映像符号化装置は、映像の複数の符号化単位に対して予測を行って前記複数の符号化単位に基づいた複数の予測単位を生成する予測部と、前記複数の予測単位を１つの変換単位でグループ化し、前記グループ化された複数の予測単位に含まれたレジデュアル値を、前記変換単位によって変換して周波数ドメインの周波数成分係数に変換する変換部と、前記周波数成分係数を量子化する量子化部と、前記量子化された周波数成分係数をエントロピー符号化するエントロピー符号化部と、を備える。

前記技術的課題を解決するための本発明の一実施形態による映像復号化方法は、複数の符号化単位に含まれる複数の予測単位のために、１つの変換単位によって前記複数の予測単位の変換されたレジデュアル値から、周波数ドメインの周波数成分係数をエントロピー復号化する段階と、前記エントロピー復号化された周波数成分係数を逆量子化する段階と、前記逆量子化された周波数成分係数を、前記変換単位に含まれた前記複数の符号化単位の復元されたレジデュアル値としてピクセルドメインに逆変換する段階と、前記復元されたレジデュアル値に基づいて前記複数の符号化単位を復元する段階と、を含む。

前記技術的課題を解決するための本発明の一実施形態による映像復号化装置は、複数の符号化単位に含まれる複数の予測単位のために、１つの変換単位によって前記複数の予測単位の変換されたレジデュアル値から、周波数ドメインの周波数成分係数をエントロピー復号化するエントロピー復号化部と、前記エントロピー復号化された周波数成分係数を逆量子化する逆量子化部と、前記逆量子化された周波数成分係数を、前記変換単位に含まれた前記複数の符号化単位の復元されたレジデュアル値としてピクセルドメインに逆変換する逆変換部と、前記復元されたレジデュアル値に基づいて前記複数の符号化単位を復元する復元部と、を備える。

前記技術的課題を解決するために本発明の一実施形態は前記映像符号化、復号化方法を行うためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

本発明によれば、予測単位より大きいサイズに変換単位を設定し、離散コサイン変換を行うことができて、映像をさらに効率的に圧縮符号化できる。

本発明の一実施形態による映像符号化装置を示す図である。 本発明の一実施形態による映像復号化装置を示す図である。 本発明の一実施形態による階層的符号化単位を示す図である。 本発明の一実施形態による符号化単位に基づいた映像符号化部を示す図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部を示す図である。 本発明の一実施形態による最大符号化単位、サブ符号化単位及び予測単位を示す図である。 本発明の一実施形態による、符号化単位及び変換単位を示す図である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の分割形態を示す図である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の分割形態を示す図である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の分割形態を示す図である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の分割形態を示す図である。 本発明のさらに他の実施形態による映像符号化装置を示す図である。 本発明の一実施形態による予測方法を説明するための図である。 本発明の一実施形態による変換部を示す図である。 本発明の一実施形態による変換単位の類型を示す図である。 本発明の一実施形態による変換単位の類型を示す図である。 本発明の一実施形態による変換単位の類型を示す図である。 本発明の他の実施形態による変換単位の類型を示す図である。 本発明の他の実施形態による変換単位の類型を示す図である。 本発明の他の実施形態による変換単位の類型を示す図である。 本発明の他の実施形態による変換単位の類型を示す図である。 本発明の一実施形態による相異なる変換単位を示す図である。 本発明のさらに他の実施形態による映像復号化装置を示す図である。 本発明の一実施形態による映像符号化方法を説明するためのフローチャートである。 本発明の一実施形態による映像復号化方法を説明するためのフローチャートである。

以下、図面を参照して本発明の望ましい実施形態を詳細に説明する。

図１は、本発明の一実施形態による映像符号化装置を図示する。図１を参照すれば、本発明の一実施形態による映像符号化装置１００は、最大符号化単位分割部１１０、符号化深度決定部１２０、映像データ符号化部１３０及び符号化情報符号化部１４０を備える。

最大符号化単位分割部１１０は、最大サイズの符号化単位である最大符号化単位に基づいて現在ピクチャーまたは現在スライスを分割できる。現在ピクチャーまたは現在スライスを、少なくとも１つの最大符号化単位で分割できる。

本発明の一実施形態によれば、最大符号化単位及び深度を用いて符号化単位が表現される。前述したように、最大符号化単位は、現在ピクチャーの符号化単位のうちサイズの最も大きい符号化単位を表し、深度は、符号化単位が階層的に縮少されたサブ符号化単位のサイズを表す。深度が大きくなりつつ、符号化単位は、最大符号化単位から最小符号化単位まで縮少し、最大符号化単位の深度は最小深度と定義され、最小符号化単位の深度は最大深度と定義される。最大符号化単位は、深度が大きくなるにつれて深度別符号化単位のサイズは減少するので、ｋ深度のサブ符号化単位は、複数のｋより大きい深度のサブ符号化単位を含む。

符号化されるピクチャーのサイズが大きくなるにつれて、さらに大きい単位で映像を符号化すれば、さらに高い映像圧縮率で映像を符号化できる。しかし、符号化単位を大きくしてそのサイズを固定させれば、変り続ける映像の特性を反映して効率的に映像を符号化できない。

例えば、海または空などの平坦な領域を符号化する時には、符号化単位を大きくするほど圧縮率が向上するが、人々またはビルディングなどの複雑な領域を符号化する時には、符号化単位を小さくするほど圧縮率が向上する。

このために、本発明の一実施形態は、ピクチャーまたはスライスごとに相異なる最大映像符号化単位を設定し、最大深度を設定する。最大深度は、符号化単位が縮少できる最大回数を意味するので、最大深度によって最大映像符号化単位に含まれた最小符号化単位サイズを可変的に設定できるようになる。

符号化深度決定部１２０は、最大深度を定める。最大深度は、Ｒ−Ｄコスト（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ Ｃｏｓｔ）計算に基づいて定められる。最大深度は、ピクチャーまたはスライスごとに異なって定められるか、またはそれぞれの最大符号化単位ごとに異なって定められてもよい。定められた最大深度は符号化情報符号化部１４０に出力され、最大符号化単位別映像データは映像データ符号化部１３０に出力される。

最大深度は、最大符号化単位に含まれうる最も小さなサイズの符号化単位、すなわち、最小符号化単位を意味する。言い換えれば、最大符号化単位は、相異なる深度によって相異なるサイズのサブ符号化単位に分割される。図８Ａ及び図８Ｂを参照して詳細に後述する。また、最大符号化単位に含まれた相異なるサイズのサブ符号化単位は、相異なるサイズの処理単位に基づいて予測または周波数変換される。言い換えれば、映像符号化装置１００は、映像符号化のための複数の処理段階を、多様なサイズ及び多様な形態の処理単位に基づいて行える。映像データの符号化のためには、予測、周波数変換、エントロピー符号化などの処理段階を経るが、あらゆる段階にわたって同じサイズの処理単位が用いられてもよく、段階別に相異なるサイズの処理単位が用いられてもよい。

例えば、映像符号化装置１００は、符号化単位を予測するために、符号化単位と異なる処理単位を選択できる。

符号化単位のサイズが２Ｎ×２Ｎ（ただし、Ｎは正の整数）である場合、予測のための処理単位は、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎなどでありうる。言い換えれば、符号化単位の高さまたは幅のうち少なくとも１つを半分する形態の処理単位に基づいて動き予測が行われてもよい。以下、予測の基礎になるデータ単位は、‘予測単位’という。

予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも１つであり、特定予測モードは、特定サイズまたは形態の予測単位に対してのみ行われる。例えば、イントラモードは、正方形である２Ｎ×２Ｎ、Ｎ×Ｎサイズの予測単位に対してのみ行われる。また、スキップモードは、２Ｎ×２Ｎサイズの予測単位に対してのみ行われる。符号化単位の内部に複数の予測単位があれば、それぞれの予測単位に対して予測を行って符号化誤差の最も少ない予測モードが選択される。

また、映像符号化装置１００は、符号化単位と異なるサイズの処理単位に基づいて映像データを周波数変換できる。符号化単位の周波数変換のために、符号化単位より小さいか、または同じサイズのデータ単位に基づいて周波数変換が行われる。以下、周波数変換の基礎になる処理単位を、‘変換単位’という。

符号化深度決定部１２０は、ラグランジュの乗数基盤の率−歪曲最適化技法を用いて、最大符号化単位に含まれたサブ符号化単位を定められる。言い換えれば、最大符号化単位がいかなる形態の複数のサブ符号化単位に分割されるかが決定できるが、ここで、複数のサブ符号化単位は深度によってそのサイズが異なる。次いで、映像データ符号化部１３０は、符号化深度決定部１２０で定められた分割形態に基づいて、最大符号化単位を符号化してビットストリームを出力する。

符号化情報符号化部１４０は、符号化深度決定部１２０で最大符号化単位の符号化モードに関する情報を符号化する。最大符号化単位の分割形態に関する情報、最大深度に関する情報及び深度別サブ符号化単位の符号化モードに関する情報を符号化してビットストリームを出力する。サブ符号化単位の符号化モードに関する情報は、サブ符号化単位の予測単位に関する情報、予測単位別予測モード情報、サブ符号化単位の変換単位に関する情報などを含む。

最大符号化単位ごとに相異なるサイズのサブ符号化単位が存在し、それぞれのサブ符号化単位ごとに符号化モードに関する情報が定められねばならないので、１つの最大符号化単位に対しては、少なくとも１つの符号化モードに関する情報が定められる。

映像符号化装置１００は、深度が大きくなるにつれて最大符号化単位の高さ及び幅を半分してサブ符号化単位を生成できる。すなわち、ｋ深度の符号化単位のサイズが２Ｎ×２Ｎならば、ｋ＋１深度の符号化単位のサイズはＮ×Ｎである。

したがって、一実施形態による映像復号化装置１００は、映像の特性を考慮した最大符号化単位のサイズ及び最大深度に基づいて、それぞれの最大符号化単位ごとに最適の分割形態が定められる。映像特性を考慮して可変的に最大符号化単位のサイズを調節し、相異なる深度のサブ符号化単位に最大符号化単位を分割して映像を符号化することで、多様な解像度の映像をさらに効率的に符号化できる。

図２は、本発明の一実施形態による映像復号化装置を図示する。図２を参照すれば、本発明の一実施形態による映像復号化装置２００は、映像データ獲得部２１０、符号化情報抽出部２２０及び映像データ復号化部２３０を備える。

映像関連データ獲得部２１０は、映像復号化装置２００が受信したビットストリームをパージングして、最大符号化単位別に映像データを獲得して映像データ復号化部２３０に出力する。映像データ獲得部２１０は、現在ピクチャーまたはスライスに対するヘッダから、現在ピクチャーまたはスライスの最大符号化単位に関する情報を抽出できる。言い換えれば、ビットストリームを最大符号化単位で分割して、映像データ復号化部２３０をして最大符号化単位ごとに映像データを復号化させる。

符号化情報抽出部２２０は、映像復号化装置２００が受信したビット列をパージングして、現在ピクチャーに対するヘッダから、最大符号化単位、最大深度、最大符号化単位の分割形態、サブ符号化単位の符号化モードに関する情報を抽出する。分割形態及び符号化モードに関する情報は、映像データ復号化部２３０に出力される。

最大符号化単位の分割形態に関する情報は、最大符号化単位に含まれた深度によって相異なるサイズのサブ符号化単位に関する情報を含むことができ、符号化モードに関する情報は、サブ符号化単位別予測単位に関する情報、予測モードに関する情報及び変換単位に関する情報などを含む。

映像データ復号化部２３０は、符号化情報抽出部で抽出された情報に基づいてそれぞれの最大符号化単位の映像データを復号化して、現在ピクチャーを復元する。最大符号化単位の分割形態に関する情報に基づいて、映像データ復号化部２３０は、最大符号化単位に含まれたサブ符号化単位を復号化できる。復号化過程は、イントラ予測及び動き補償を含む動き予測過程、及び周波数逆変換過程を含む。

映像データ復号化部２３０は、サブ符号化単位の予測のために、サブ符号化単位別予測単位に関する情報及び予測モードに関する情報に基づいてイントラ予測またはインター予測を行える。また、映像データ復号化部２３０は、サブ符号化単位の変換単位に関する情報に基づいてサブ符号化単位ごとに周波数逆変換を行える。

図３は、本発明の一実施形態による階層的符号化単位を図示する。図３を参照すれば、本発明による階層的符号化単位は、幅ｘ高さが６４×６４の符号化単位から、３２×３２、１６×１６、８×８、４×４を含む。正方形状の符号化単位以外にも、幅ｘ高さが６４×３２、３２×６４、３２×１６、１６×３２、１６×８、８×１６、８×４、４×８の符号化単位が存在する。

図３を参照すれば、解像度が１９２０×１０８０の映像データ３１０に対して、最大符号化単位のサイズは６４×６４、最大深度が２に設定されている。

さらに他の解像度が１９２０×１０８０の映像データ３２０に対して、最大符号化単位のサイズは６４×６４、最大深度が４に設定されている。解像度が３５２×２８８のビデオデータ３３０に対して、最大符号化単位のサイズは１６×１６、最大深度が２に設定されている。

解像度が高いか、またはデータ量が多い場合、圧縮率向上だけでなく映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。したがって、映像データ３３０に比べて、解像度の高い映像データ３１０及び３２０は、最大符号化単位のサイズが６４×６４に選択されうる。

最大深度は、階層的符号化単位で総階層数を表す。映像データ３１０の最大深度は２であるため、映像データ３１０の符号化単位３１５は、長軸サイズが６４の最大符号化単位から、深度が増加するにつれて長軸サイズが３２、１６のサブ符号化単位まで含む。

一方、映像データ３３０の最大深度は２であるため、映像データ３３０の符号化単位３３５は、長軸サイズが１６の最大符号化単位から、深度が増加するにつれて長軸サイズが８、４の符号化単位まで含む。

映像データ３２０の最大深度は４であるため、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４の最大符号化単位から、深度が増加するにつれて長軸サイズが３２、１６、８、４のサブ符号化単位まで含む。深度が増加するほどさらに小さなサブ符号化単位に基づいて映像を符号化するので、さらに細密な場面を含んでいる映像の符号化に好適になる。

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部を図示する。イントラ予測部４１０は、現在フレーム４０５のうちイントラモードの予測単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの予測単位に対して、現在フレーム４０５及び参照フレーム４９５を用いてインター予測及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力された予測単位に基づいてレジデュアル値が生成され、生成されたレジデュアル値は、周波数変換部４３０及び量子化部４４０を経て量子化された変換係数に出力される。

量子化された変換係数は、逆量子化部４６０、周波数逆変換部４７０を通じて再びレジデュアル値に復元され、復元されたレジデュアル値は、デブロッキング部４８０及びループフィルタリング部４９０を経て後処理されて参照フレーム４９５に出力される。量子化された変換係数は、エントロピー符号化部４５０を経てビットストリーム４５５に出力される。

本発明の一実施形態による映像符号化方法によって符号化するために、映像符号化部４００の構成要素のイントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループフィルタリング部４９０は、いずれも最大符号化単位、深度によるサブ符号化単位、予測単位及び変換単位に基づき映像符号化過程を処理する。

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部を図示する。ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て逆量子化されたデータに出力され、周波数逆変換部５４０を経てレジデュアル値に復元される。レジデュアル値は、イントラ予測部５５０のイントラ予測の結果または動き補償部５６０の動き補償結果と加算されて、符号化単位別に復元される。復元された符号化単位は、デブロッキング部５７０及びループフィルタリング部５８０を経て次の符号化単位または次のピクチャーの予測に用いられる。

本発明の一実施形態による映像復号化方法によって復号化するために、映像復号化部４００の構成要素であるパージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループフィルタリング部５８０が皆最大符号化単位、深度によるサブ符号化単位、予測単位及び変換単位に基づいて映像復号化過程を処理する。

特に、イントラ予測部５５０、動き補償部５６０は、最大符号化単位及び深度を考慮してサブ符号化単位内の予測単位及び予測モードを定め、周波数逆変換部５４０は、変換単位のサイズを考慮して周波数逆変換を行う。

図６は、本発明の一実施形態による最大符号化単位、サブ符号化単位及び予測単位を図示する。

本発明の一実施形態による映像符号化装置１００及び映像復号化装置２００は、映像特性を考慮して符号化、復号化を行うために、階層的な符号化単位を用いる。最大符号化単位及び最大深度は、映像の特性によって適応的に設定されるか、またはユーザの要求に応じて多様に設定される。

本発明の一実施形態による符号化単位の階層構造６００は、最大符号化単位６１０の高さ及び幅が６４であり、最大深度が４である場合を図示する。符号化単位の階層構造６００の縦軸に沿って深度が増加し、深度の増加によってサブ符号化単位６２０ないし６５０の高さ及び幅が縮少される。また、符号化単位の階層構造６００の横軸に沿って、最大符号化単位６１０及びサブ符号化単位６２０ないし６５０の予測単位が図示されている。

最大符号化単位６１０は深度が０であり、符号化単位のサイズ、すなわち、高さ及び幅が６４×６４である。縦軸に沿って深度が増加し、サイズ３２×３２の深度１のサブ符号化単位６２０、サイズ１６×１６の深度２のサブ符号化単位６３０、サイズ８×８の深度３のサブ符号化単位６４０、サイズ４×４の深度４のサブ符号化単位６５０が存在する。サイズ４×４の深度４のサブ符号化単位６５０は、最小符号化単位である。

図６を参照すれば、それぞれの深度別に横軸に沿って予測単位の例示が図示されている。すなわち、深度０の最大符号化単位６１０の予測単位は、サイズ６４×６４の符号化単位６１０と同一な、または小さなサイズであるサイズ６４×６４の予測単位６１０、サイズ６４×３２の予測単位６１２、サイズ３２×６４の予測単位６１４、サイズ３２×３２の予測単位６１６でありうる。

深度１のサイズ３２×３２の符号化単位６２０の予測単位は、サイズ３２×３２の符号化単位６２０と同一な、または小さなサイズであるサイズ３２×３２の予測単位６２０、サイズ３２×１６の予測単位６２２、サイズ１６×３２の予測単位６２４、サイズ１６×１６の予測単位６２６でありうる。

深度２のサイズ１６×１６の符号化単位６３０の予測単位は、サイズ１６×１６の符号化単位６３０と同一な、または小さなサイズであるサイズ１６×１６の予測単位６３０、サイズ１６ｘ８の予測単位６３２、サイズ８ｘ１６の予測単位６３４、サイズ８×８の予測単位６３６でありうる。

深度３のサイズ８×８の符号化単位６４０の予測単位は、サイズ８×８の符号化単位６４０と同一な、または小さなサイズであるサイズ８×８の予測単位６４０、サイズ８ｘ４の予測単位６４２、サイズ４ｘ８の予測単位６４４、サイズ４×４の予測単位６４６でありうる。

最後に、深度４のサイズ４×４の符号化単位６５０は最小符号化単位であり、最大深度の符号化単位であり、予測単位は、サイズ４×４の予測単位６５０である。

図７は、本発明の一実施形態による符号化単位及び変換単位を図示する。

本発明の一実施形態による映像符号化装置１００及び映像復号化装置２００は、最大符号化単位そのままで符号化するか、または最大符号化単位より小さいか、または同じサブ符号化単位に最大符号化単位を分割して符号化する。符号化過程中に周波数変換のための変換単位のサイズは、最適の圧縮率が達成されるように選択される。例えば、現在符号化単位７１０が６４×６４サイズである時、３２×３２サイズの変換単位７２０を用いて周波数変換が行われる。図１３Ａないし図１３Ｄと関連して後述するように、符号化単位より大きい変換単位を設定してもよい。

図８Ａ及び図８Ｂは、それぞれ本発明の一実施形態による符号化単位、予測単位及び周波数変換単位の分割形態を図示する。

図８Ａは、本発明の一実施形態による符号化単位及び予測単位を図示する。図８Ａの左側は、最大符号化単位８１０を符号化するために、本発明の一実施形態による映像符号化装置１００が選択した分割形態を図示する。映像符号化装置１００は、多様な形態に最大符号化単位８１０を分割して符号化した後、多様な分割形態の符号化結果をＲ−Ｄコストに基づいて比較して最適の分割形態を選択する。最大符号化単位８１０をそのまま符号化することが最適である場合には、図８Ａ及び図８Ｂのように、最大符号化単位８１０を分割せずに最大符号化単位８００を符号化してもよい。

図８Ａの左側を参照すれば、深度０の最大符号化単位８１０を、深度１以上のサブ符号化単位８１２、８５４に分割して符号化する。最大符号化単位８１０を４つの深度１のサブ符号化単位に分割した後、全部または一部の深度１のサブ符号化単位を、再び深度２のサブ符号化単位に分割する。

深度１のサブ符号化単位のうち、右側上部に位置するサブ符号化単位及び左側下部に位置するサブ符号化単位が、深度２以上のサブ符号化単位に分割された。深度２以上のサブ符号化単位のうち一部は、再び深度３以上のサブ符号化単位に分割されうる。

図８Ａの右側は、最大符号化単位８１０に対する予測単位の分割形態を図示する。図８Ａの右側を参照すれば、最大符号化単位に対する予測単位８６０は、最大符号化単位８１０と異なって分割される。言い換えれば、サブ符号化単位それぞれに対する予測単位は、サブ符号化単位より小さい。

例えば、深度１のサブ符号化単位のうち右側下部に位置するサブ符号化単位８５４に対する予測単位は、サブ符号化単位８５４より小さい。深度２のサブ符号化単位８１４、８１６、８１８、８２８、８５０、８５２のうち一部のサブ符号化単位８１５、８１６、８５０、８５２に対する予測単位は、サブ符号化単位より小さい。また、深度３のサブ符号化単位８２２、８３２、８４８に対する予測単位は、サブ符号化単位より小さい。予測単位は、それぞれのサブ符号化単位を高さまたは幅方向に半分にした形態でもあり、高さ及び幅方向に４分にした形態でもありうる。

図８Ｂは、本発明の一実施形態による予測単位及び変換単位を図示する。図８Ｂの左側は、図８Ａの右側に示した最大符号化単位８１０に対する予測単位の分割形態を図示し、図８Ｂの右側は、最大符号化単位８１０の変換単位の分割形態を図示する。

図８Ｂの右側を参照すれば、変換単位８７０の分割形態は、予測単位８６０と異なって設定される。

例えば、深度１の符号化単位８５４に対する予測単位が高さを半分にした形態に選択されるとしても、変換単位は、深度１の符号化単位８５４のサイズと同じサイズに選択される。同様に、深度２の符号化単位８１４、８５０に対する予測単位が深度２の符号化単位８１４、８５０の高さを半分にした形態に選択されるとしても、変換単位は、深度２の符号化単位８１４、８５０の元のサイズと同じサイズに選択される。

予測単位よりさらに小さなサイズに変換単位が選択されてもよい。例えば、深度２の符号化単位８５２に対する予測単位が幅を半分にした形態に選択された場合に、変換単位は、予測単位よりさらに小さなサイズである高さ及び幅を半分にした形態に選択される。最も小さな変換単位として、２×２サイズに設定してもよい。

また、図１３Ａないし図１３Ｄを参照して後述するように、変換単位は、符号化単位と関係なく符号化単位のサイズより大きく設定されてもよい。

図９は、本発明のさらに他の実施形態による映像符号化装置を図示する。図９を参照すれば、本発明の一実施形態に他の映像符号化装置９００は、予測部９１０、変換部９２０、量子化部９３０及びエントロピー符号化部９４０を備える。

予測部９１０は、１つまたは複数の符号化単位を、イントラ予測またはインター予測してレジデュアル値を生成する。後述するように、本発明は、複数の予測単位に含まれたレジデュアル値を１つにグループ化して周波数ドメインに変換できるところ、複数の予測単位に基づいて１つまたは複数の符号化単位を予測してレジデュアル値を生成する。周波数ドメインへの変換は、離散コサイン変換でありうる。

図８Ａと関連して前述したように、本発明の一実施形態による映像符号化方法は、１つの符号化単位が複数の予測単位を含むことができるところ、予測部９１０は、複数の予測単位をそれぞれ予測して、１つの符号化単位に含まれた複数の予測単位に対するレジデュアル値を生成する。

また、予測部９１０は、複数の符号化単位を一回に予測できる。後述するように、本発明の一実施形態によれば、複数の符号化単位に含まれた複数の予測単位を１つにグループ化して１つの変換単に設定できるので、複数の符号化単位に含まれた複数の予測単位をそれぞれ予測してレジデュアル値を生成する。例えば、１つの最大符号化単位に含まれたあらゆるサブ符号化単位をいずれも予測することで、複数の符号化単位に対するレジデュアル値を生成できる。

従来技術によれば、予測単位より小さいか、または同じサイズで離散コサイン変換を行うため、所定の予測単位を独立的に符号化し、再び復元して次の予測単位の予測に用いることができた。しかし、後述する本願発明の一実施形態による映像符号化方法によれば、１つまたは複数の符号化単位に含まれた予測単位を１つにグループ化して離散コサイン変換を行うため、所定の予測単位を独立的に符号化して復元できない。図１０を参照して詳細に説明する。

図１０は、本発明の一実施形態による予測方法を説明するための図である。図１０を参照すれば、１つの符号化単位１０００は、複数の予測単位１０１０ないし１０４０を含む。従来技術のように予測単位より小さいか、または同じサイズで離散コサイン変換を行えば、右側下部の予測単位１０４０を符号化する前に、他の予測単位１０１０ないし１０３０を符号化して再び復元できる。

したがって、従来技術によって、もし予測単位１０４０をイントラ予測を用いて予測するためには、予測単位１０１０ないし１０３０を符号化した後で再び復元して生成されたピクセルうち、予測単位１０４０に隣接するピクセルを用いて予測単位１０４０をイントラ予測せねばならない。

しかし、後述する本願発明による一実施形態は、複数の予測単位を１つにグループ化して変換単位を設定し、離散コサイン変換を行う。この時、図１０の予測単位１０１０ないし１０４０が１つの変換単位でグループ化されれば、右側下部の予測単位１０４０も他の予測単位１０１０ないし１０３０と共に符号化されるので、右側下部の予測単位１０４０が符号化する前に他の予測単位１０１０ないし１０３０を符号化できない。したがって、他の予測単位１０１０ないし１０３０を符号化した後で再び復元したピクセルを用いて予測単位１０４０をイントラ予測出できないという問題がある。

これらの問題を解決するために、本願発明による予測部９１０は、他の予測単位１０１０ないし１０３０の予測値を用いて予測単位１０４０を予測できる。他の予測単位１０１０ないし１０３０を符号化した後で復元したピクセル値ではない、他の予測単位１０１０ないし１０３０の予測値を用いて右側下部１０４０の予測単位を予測する。

言い換えれば、１つの変換単位でグループ化される複数の予測単位のうち、イントラ予測によって予測される第１予測単位があれば、第１予測単位は、隣接する少なくとも１つの予測単位の予測値を用いてイントラ予測できる。

また、本発明のさらに他の実施形態によれば、１つの変換単位でグループ化される複数の予測単位は、いずれもインター予測のみ用いて予測してもよい。図１０と関連して前述したように、複数の予測単位を１つの変換単位でグループ化するに際して問題になる予測単位は、イントラ予測によって予測される予測単位であるため、１つの変換単位でグループ化されるあらゆる予測単位は、インター予測のみ用いて予測できる。

再び図９を参照すれば、変換部９２０は、ピクセルドメインの映像処理単位を入力されて周波数ドメインに変換する。予測部９１０で生成されたレジデュアル値を周波数ドメインに変換する。

前述したように、変換部９２０は、複数の予測単位をグループ化して１つの変換単位を設定し、設定された変換単位によって離散コサイン変換する。レジデュアル値は、１つの符号化単位に含まれた複数の予測単位に対するレジデュアル値でもあり、複数の符号化単位に含まれた複数の予測単位に対するレジデュアル値でもありうる。周波数ドメインに変換した結果、周波数成分等の係数が生成される。

本発明の一実施形態によれば、周波数ドメインへの変換は離散コサイン変換であり、離散コサイン変換結果、離散コサイン係数が生成される。以下では、離散コサイン変換を例として説明するが、当業者あらば、あらゆるピクセルドメインの映像を周波数ドメインに変換するあらゆる変換に本発明が適用されうるということが容易に分かる。

図１１は、本発明の一実施形態による変換部９２０を図示する。図１１を参照すれば、本発明の一実施形態による変換部９１０は、選択部１１１０及び変換実行部１１２０を備える。

選択部１１１０は、隣接する複数の予測単位を選択して１つの変換単位を設定する。前述したように従来の映像符号化装置によれば、所定の予測単位によってイントラ予測またはインター予測を行い、予測単位より小さいか、または同じサイズで離散コサイン変換を行う。言い換えれば、従来の映像符号化装置は、予測単位より小さいか、または同じ変換単位に基づいて離散コサイン変換を行った。

しかし、それぞれの変換単位ごとに付加されるヘッダ情報のため、変換単位が小さいほど付加されるオーバーヘッドが大きくなり映像符号化の圧縮率を低下させた。これらの問題点解決するために、本発明の一実施形態による映像符号化装置９００は、隣接する複数の予測単位を１つの変換単位でグループ化し、グループ化結果で生成された変換単位によって離散コサイン変換を行う。特に、隣接する複数の予測単位は、類似したレジデュアル値を含んでいる確率が高いので、隣接する複数の予測単位を合わせて１つの変換単位で離散コサイン変換すれば、符号化の圧縮率を大きく向上させる。

したがって、選択部１１１０は、１つの変換単位でグループ化して離散コサイン変換を行う複数の予測単位を選択する。複数の予測単位は、隣接する複数の予測単位でありうる。図１２Ａないし図１２Ｃ、図１３Ａないし図１３Ｄを参照して詳細に説明する。

図１２Ａないし図１２Ｃは、本発明の一実施形態による変換単位の類型を図示する。

図１２Ａないし図１２Ｃを参照すれば、所定の符号化単位１２１０に対して、予測単位１２２０は符号化単位１２１０の幅を半分にした形態でありうる。符号化単位１２１０は、前述した最大符号化単位であっても、最大符号化単位より小さなサイズのサブ符号化単位であってもよい。

符号化単位１２１０及び予測単位１２２０が同じ場合にも、変換単位１２３０ないし１２５０は相異なる。図１２Ａに示したように、変換単位１２３０のサイズが予測単位１２２０より小さいか、または図１２Ｂに示したように、変換単位１２４０の再が予測単位１２２０と同一である。また、本発明の一実施形態による変換単位１２５０は、図１２Ｃに示したように、予測単位１２２０のサイズより大きい。

１つの変換単位でグループ化される複数の予測単位は、図１２Ａないし図１２Ｃのように、符号化単位に含まれた複数の予測単位であっても、相異なる符号化単位に含まれた複数の予測単位であってもよい。言い換えれば、１つ以上の符号化単位に含まれた複数の予測単位を１つの変換単位でグループ化して、周波数ドメインに変換できる。

図１３Ａないし図１３Ｄは、本発明のさらに他の実施形態による変換単位の類型を図示する。

図１３Ａに示したように、１つの最大符号化単位１３００は、複数の相異なるサイズのサブ符号化単位１３０２ないし１３０８に分けられて符号化され、また、図１３Ｂに示したように、それぞれのサブ符号化単位１３０２ないし１３０８は、少なくとも１つの予測単位１３１０ないし１３４０を含む。

選択部１１１０は、図１３Ｂに示したような複数の予測単位を１つにグループ化して、図１３Ｃに示したように、１つの変換単位１３５０に設定して周波数ドメインに変換できる。

また、選択部１１１０は、図１３Ｄのように、左側半分に含まれている符号化単位１３０２及び１３０６に対する複数の予測単位１３１０及び１３３０ないし１１３９を、１つにグループ化して１つの変換単位１３６０に設定し、右側半分に含まれている符号化単位１３０４及び１３０８に対する複数の予測単位１３２０ないし１３２８及び１３４０を、１つにグループ化してさらに１つの変換単位１３６２を設定してもよい。

再び図１１を参照すれば、選択部１１１０が隣接する複数の予測単位を選択する基準には制限がない。しかし、本発明の一実施形態によれば、選択部１１１０は、深度に基づいて変換単位を選択できる。深度とは、前述したように、現在スライスまたは現在ピクチャーの最大符号化単位からサブ符号化単位のサイズに段階的に縮少された程度をいう。図３及び図６と関連して前述したように、深度が大きいほどサブ符号化単位のサイズが小さいことを意味し、これにより、含まれた予測単位も小さくなる。この場合、予測単位より小さいか、または同じサイズの変換単位によって離散コサイン変換を行えば、前述したように、変換単位ごとにヘッダ情報が付加されて映像符号化の圧縮率が落ちる。

したがって、所定深度以上のサブ符号化単位は、サブ符号化単位に含まれた予測単位をグループ化して１つの変換単位に設定し、離散コサイン変換することが望ましい。このために、選択部１１１０は、サブ符号化単位の深度に基づいて変換単位を設定する。例えば、選択部１１１０は、図１２Ｃに示した符号化単位１２１０の深度がｋより大きい場合には、予測単位１２２０をグループ化して１つの変換単位１２５０に設定する。

また、選択部１１１０は、最大符号化単位に所定深度以上のサブ符号化単位が複数ならば、深度が所定値以上である複数のサブ符号化単位の予測単位を１つにグループ化して、１つの変換単位で設定できる。図１３Ｃは、最大符号化単位の深度より大きい深度サブ符号化単位、すなわち、深度が‘１’より大きいあらゆるサブ符号化単位の予測単位を１つにグループ化して１つの変換単位に設定した例である。

また、本発明のさらに他の実施形態によれば、選択部１０１０は同種の予測モードによって予測が行われた隣接する複数の予測単位を、１つの変換単位に設定できる。イントラ予測またはインター予測を用いて予測された隣接する複数の予測単位を１つの変換単位に設定する。同種の予測モードによって予測が行われた隣接する複数の予測単位は類似したレジデュアル値を含む確率が高いので、１つの変換単位でグループ化して離散コサイン変換できる。

選択部１０１０が変換単位を設定すれば、変換実行部１０２０は、設定された変換単位によって複数の予測単位を周波数ドメインに変換する。選択された複数の予測単位を１つの変換単位で離散コサイン変換して、離散コサイン係数を生成する。

再び図９を参照すれば、量子化部９２０は、変換部９１０で生成された周波数成分係数、例えば、離散コサイン係数を量子化する。所定の量子化ステップによって入力された離散コサイン係数を量子化できる。

エントロピー符号化部９３０は、量子化部９２０で量子化された離散コサイン係数をエントロピー符号化する。ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）またはＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）を用いて離散コサイン係数をエントロピー符号化する。

また、映像符号化装置９００は、複数の予測単位をグループ化して生成された変換単位が離散コサイン係数を含むかどうかを表すフラッグ情報を符号化できる。離散コサイン係数を量子化した結果、エントロピー符号化する量子化された係数がない場合、すなわち、量子化された離散コサイン係数がいずれも‘０’である場合には、変換単位が離散コサイン係数を含んでいないことを表すフラッグ情報のみ符号化し、量子化された係数を別途にエントロピー符号化しない。

本発明のさらに他の実施形態による映像符号化装置９００は、相異なる変換単位に対して前述した離散コサイン変換、量子化及びエントロピー符号化を繰り返して、最適の変換単位を定められる。前述した深度または予測モードの同一性などの所定の基準によって複数の予測単位を選択するものではなく、多様な形態で複数の予測単位を選択する過程を機械的に繰り返して行って最適の変換単位を定めてもよい。最適の変換単位は、Ｒ−Ｄコスト（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ Ｃｏｓｔ）を考慮して定められるが、図１４を参照して詳細に説明する。

図１４は、本発明の一実施形態による相異なる変換単位を図示する。図１４を参照すれば、本発明による映像符号化装置９００は、相異なる変換単位に対して符号化を繰り返す。

図１４に示したように、所定の符号化単位１４１０は、符号化単位より小さなサイズの予測単位１４２０に基づいて予測符号化される。予測結果で生成されたレジデュアル値は離散コサイン変換されるが、この時、図１４に示したように、相異なる変換単位に基づいて離散コサイン変換される。

最初に図示された変換単位１４３０は、符号化単位１４１０と同じサイズの変換単位であり、符号化単位１４１０に含まれたあらゆる予測単位をグループ化したサイズの変換単位である。

２番目に図示された変換単位１４４０は、符号化単位１４１０の幅を半分にしたサイズの変換単位であり、縦方向に隣接する２つの予測単位をそれぞれグループ化したサイズの変換単位である。

３番目に図示された変換単位１４５０は、符号化単位１４１０の高さを半分にしたサイズの変換単位であり、横方向に隣接する２つの予測単位をそれぞれグループ化したサイズの変換単位である。

４番目に図示された変換単位１４５０は、予測単位１４２０と同じサイズで変換を行う場合に用いる変換単位である。

映像符号化装置９００は、図１４に図示された変換単位に対して離散コサイン変換、量子化及びエントロピー符号化を繰り返して最適の変換単位を定められる。

また、映像符号化装置９００は、１つの符号化単位に含まれた複数の予測単位をグループ化して変換単位を設定したか、または複数の符号化単位に含まれた複数の予測単位をグループ化して変換単位を設定したかを表すフラッグ情報を符号化してもよい。例えば、図１２Ａないし図１２Ｃに示したように、１つの符号化単位に含まれた複数の予測単位をグループ化して変換単位を設定した場合には、フラッグ情報を‘０’に設定し、図１３Ａないし図１３Ｄに示したように、複数の符号化単位に含まれた複数の予測単位をグループ化して変換単位を設定した場合には、フラッグ情報を‘１’に設定する。

図１４は、１つの符号化単位に含まれた予測単位をグループ化して１つの変換単位に設定する場合に、最適の変換単位を定める方法を例として図示したが、複数の符号化単位に含まれた予測単位をグループ化して１つの変換単位に設定する場合にも、図１４のように互いに異なる変換単位に対して離散コサイン変換、量子化及びエントロピー符号化を繰り返して最適の変換単位を定められる。

図１５は、本発明のさらに他の実施形態による映像復号化装置を図示する。図１５を参照すれば、本発明の一実施形態による映像復号化装置１５００は、エントロピー復号化部１５１０、逆量子化部１５２０、逆変換部１５３０及び復元部１５４０を備える。

エントロピー復号化部１５１０は、所定の変換単位に対する周波数成分係数をエントロピー復号化する。図１２Ａないし図１２Ｃ、図１３Ａないし図１３Ｄと関連して前述したように、変換単位は、複数の予測単位をグループ化して生成された変換単位でありうる。複数の予測単位は、前述したように、隣接する複数の予測単位であり、または１つの符号化単位に含まれた複数の予測単位であるか、または相異な複数の符号化単位に含まれた複数の予測単位でありうる。

映像符号化装置９００と関連して前述したように、変換単位は、深度に基づいて隣接する複数の予測単位をグループ化した変換単位または同種の予測モード、すなわち、イントラ予測モードまたはインター予測モードによって予測が行われた隣接する複数の予測単位をグループ化した変換単位でありうる。また、図１４と関連して前述したように、複数の予測単位をグループ化する過程を機械的に繰り返して、相異なる変換単位に対して離散コサイン変換、量子化及びエントロピー復号化を繰り返して行うことで選択された最適の変換単位でありうる。

また、エントロピー復号化部１５１０は、変換単位が離散コサイン係数を含んでいない場合には、量子化された係数を別途にエントロピー復号化しない。変換単位が量子化された離散コサイン係数を含まないと、所定のフラッグ情報を参照して量子化された係数を別途にエントロピー復号化しない。

逆量子化部１５２０は、エントロピー復号化部１５１０でエントロピー復号化された周波数成分係数を逆量子化する。変換単位の符号化時に用いられた量子化ステップによって、エントロピー復号化された周波数成分係数を逆量子化する。

逆変換部１５３０は、逆量子化された周波数成分係数をピクセルドメインに逆変換する。逆量子化された離散コサイン係数を逆離散コサイン変換して、ピクセルドメインの変換単位を復元する。逆変換結果、変換単位に対するレジデュアル値が復元される。

復元された変換単位は複数の予測単位を含み、前述したように、複数の予測単位は、１つの符号化単位に含まれた複数の予測単位であるか、または相異なる複数の符号化単位に含まれた複数の予測単位でありうる。

復元部１５４０は、復元された変換単位に含まれている複数の予測単位を予測して予測値を生成する。１つの変換単位でグループ化された複数の予測単位が１つの符号化単位に含まれた複数の予測単位ならば、１つの符号化単位に対する予測値が生成され、１つの変換単位でグループ化された複数の予測単位が複数の符号化単位に含まれた複数の予測単位ならば、複数の符号化単位に対する予測値が生成される。生成された予測値と逆変換部１５３０で復元されたレジデュアル値とを加算して、１つの符号化単位または複数の符号化単位を復元する。

１つの符号化単位に対する予測値が生成されるか、または複数の符号化単位に対する予測値が生成されるかは、符号化時に映像符号化装置９００で符号化された１つの符号化単位に含まれた複数の予測単位をグループ化して変換単位を設定したか、または、複数の符号化単位に含まれた複数の予測単位をグループ化して変換単位を設定したかを表すフラッグ情報に基づいて判断できる。

本発明の一実施形態によれば、図１０と関連して前述したように、１つの変換単位でグループ化される複数の予測単位がイントラ予測される予測単位を含めば、少なくとも１つの隣接する予測単位の予測値に基づいてイントラ予測を行える。また、本発明のさらに他の実施形態によれば、１つの変換単位でグループ化される複数の予測単位は、いずれもインター予測のみを用いて予測される。

図１６は、本発明の一実施形態による映像符号化方法を説明するためのフローチャートである。図１６を参照すれば、段階１６１０で、本発明の一実施形態による映像符号化装置は、１つまたは複数の符号化単位に対して予測を行ってレジデュアル値を生成する。

１つの変換単位で設定される複数の予測単位は、１つの符号化単位に含まれた複数の予測単位でもあり、複数の符号化単位に含まれた複数の予測単位でもありうる。したがって、複数の予測単位が１つの符号化単位に含まれた複数の予測単位ならば、１つの符号化単位に対して予測を行ってレジデュアル値を生成し、複数の予測単位が複数の符号化単位に含まれた複数の予測単位ならば、複数の符号化単位に対して予測を行ってレジデュアル値を生成する。

複数の予測単位を一回に予測してレジデュアル値を生成する方法は、図１０と関連して前述した。

段階１６２０で、映像符号化装置は、複数の予測単位を選択して１つの変換単位を設定する。複数の予測単位は、１つの符号化単位に含まれた複数の予測単位でもあり、複数の符号化単位に含まれた複数の予測単位でもありうる。深度に基づいて隣接する複数の予測単位を選択するか、または同種の予測モードで予測が行われた隣接する複数の予測単位を選択することができる。

段階１６３０で、映像符号化装置は、段階１６２０で設定された変換単位によって複数の予測単位を周波数ドメインに変換する。複数の予測単位をグループ化して設定された１つの変換単位を離散コサイン変換することで、離散コサイン係数を生成する。

段階１６４０で、映像符号化装置は、段階１６３０で生成された周波数成分係数、すなわち、離散コサイン係数を所定の量子化ステップによって量子化する。

段階１６５０で、映像符号化装置は、段階１６４０で量子化された周波数成分係数をエントロピー符号化する。ＣＡＢＡＣまたはＣＡＶＬＣを用いて離散コサイン係数をエントロピー符号化する。

本発明のさらに他の実施形態による映像符号化方法は、図１４と関連して前述したように、相異なる変換単位に対して段階１６１０ないし１６４０を繰り返して、最適の変換単位を設定する段階をさらに含む。図１４に示したような相異なる変換単位に対して、離散コサイン変換、量子化及びエントロピー符号化を繰り返して最適の変換単位を設定できる。

図１７は、本発明の一実施形態による映像復号化方法を説明するためのフローチャートである。図１７を参照すれば、段階１７１０で、本発明の一実施形態による映像復号化装置は、所定の変換単位に対する周波数成分係数をエントロピー復号化する。周波数成分係数は、離散コサイン係数でありうる。変換単位は、複数の予測単位をグループ化して設定された変換単位でありうる。複数の予測単位は、前述したように、隣接する複数の予測単位でもあり、１つの符号化単位に含まれた複数の予測単位であるか、または相異なる複数の符号化単位に含まれた複数の予測単位でありうる。

段階１７２０で、映像復号化装置は、段階１７１０でエントロピー復号化された周波数成分係数を逆量子化する。符号化時に用いられた量子化ステップを用いて離散コサイン係数を逆量子化する。

段階１７３０で、映像復号化装置は、段階１７３０で逆量子化された周波数成分係数をピクセルドメインに逆変換して変換単位を復元する。復元された変換単位は、複数の予測単位をグループ化して設定された変換単位である。変換単位に含まれたレジデュアル値が復元される。複数の予測単位が１つの符号化単位に含まれた複数の予測単位ならば、１つの符号化単位に対するレジデュアル値が復元され、複数の予測単位が複数の符号化単位に含まれた複数の予測単位ならば、複数の符号化単位に対するレジデュアル値が復元される。

前述したように、変換単位は、深度に基づいて隣接する複数の予測単位をグループ化して設定された変換単位、または、同じ予測モードによって予測が行われた隣接する複数の予測単位をグループ化して設定された変換単位でありうる。

段階１７４０で、映像復号化装置は、段階１７３０で復元された変換単位に含まれたレジデュアル値に基づいて１つまたは複数の符号化単位を復元する。１つまたは複数の符号化単位を予測して予測値を生成し、生成された予測値を、段階１７３０で復元されたレジデュアル値と加算して１つまたは複数の符号化単位を復元する。１つまたは複数の符号化単位に含まれた複数の予測単位を予測する方法は、図１０と関連して前述した。

変換単位が、１つの符号化単位に含まれた複数の予測単位をグループ化して設定された変換単位ならば、１つの符号化単位が復元され、複数の符号化単位に含まれた複数の予測単位をグループ化して設定された変換単位ならば、複数の符号化単位が復元される。

以上のように、本発明は、たとえ限定された実施形態及び図面により説明されたとしても、本発明が前記の実施形態に限定されるものではなく、当業者ならば、これらの記載から多様な修正及び変形ができるであろう。したがって、本発明の思想は、特許請求の範囲のみにより把握され、これと均等または等価的な変形はいずれも本発明の思想の範ちゅうに属するといえる。また、本発明によるシステムは、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードとして具現できる。

例えば、本発明の例示的な実施形態による映像符号化装置、映像復号化装置、映像符号化部及び映像復号化部は、図１、２、４、５、９、１１、１５に示したような装置のそれぞれのユニットにカップリングされたバス、前記バスに結合された少なくとも１つのプロセッサーを備える。また、命令、受信されたメッセージまたは生成されたメッセージを保存するために前記バスに結合されて、前述したような命令を行うための少なくとも１つのプロセッサーにカップリングされたメモリを備える。

また、コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存されるあらゆる種類の記録装置を含む。記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。またコンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードが保存されて行われる。また、コンピュータで読み取り可能な記録媒体は、インターネットなどのネットワークを通じる通信のためのキャリアウェーブまたは信号でもありうる。
（付記）
上記の実施形態につき以下の付記を残しておく。
（付記１）
映像符号化方法において、
映像の複数の符号化単位に対して予測を行って、前記複数の符号化単位に基づいて複数の予測単位を生成する段階と、
前記複数の予測単位を１つの変換単位でグループ化する段階と、
前記グループ化された複数の予測単位に含まれたレジデュアル値を、前記変換単位によって周波数ドメインの周波数成分係数に変換する段階と、
前記周波数成分係数を量子化する段階と、
前記量子化された周波数成分係数をエントロピー符号化する段階と、を含むことを特徴とする映像符号化方法。
（付記２）
前記グループ化する段階は、
最大符号化単位から前記複数の符号化単位に段階的に縮少された程度を表す前記複数の予測単位の深度に基づいて、前記複数の予測単位をグループ化して１つの変換単位を設定する段階を含むことを特徴とする付記１に記載の映像符号化方法。
（付記３）
前記グループ化する段階は、
予測モードの種類によって予測が行われた、前記複数の予測単位のうち隣接する複数の予測単位を選択して１つの変換単位を設定する段階を含むことを特徴とする付記１に記載の映像符号化方法。
（付記４）
前記予測を行う段階は、
前記複数の予測単位のうちイントラ予測される予測単位は、少なくとも１つの隣接する予測単位の予測値に基づいて予測して、前記複数の符号化単位に対するレジデュアル値を生成する段階を含むことを特徴とする付記１に記載の映像符号化方法。
（付記５）
前記予測を行う段階は、
前記複数の符号化単位に含まれたあらゆる予測単位をインター予測して、前記複数の符号化単位に対するレジデュアル値を生成する段階を含むことを特徴とする付記１に記載の映像符号化方法。
（付記６）
映像符号化装置において、
映像の複数の符号化単位に対して予測を行って前記複数の符号化単位に基づいた複数の予測単位を生成する予測部と、
前記複数の予測単位を１つの変換単位でグループ化し、前記グループ化された複数の予測単位に含まれたレジデュアル値を、前記変換単位によって変換して周波数ドメインの周波数成分係数に変換する変換部と、
前記周波数成分係数を量子化する量子化部と、
前記量子化された周波数成分係数をエントロピー符号化するエントロピー符号化部と、を備えることを特徴とする映像符号化装置。
（付記７）
映像復号化方法において、
複数の符号化単位に含まれる複数の予測単位のために、１つの変換単位によって前記複数の予測単位の変換されたレジデュアル値から、周波数ドメインの周波数成分係数をエントロピー復号化する段階と、
前記エントロピー復号化された周波数成分係数を逆量子化する段階と、
前記逆量子化された周波数成分係数を、前記変換単位に含まれた前記複数の符号化単位の復元されたレジデュアル値としてピクセルドメインに逆変換する段階と、
前記復元されたレジデュアル値に基づいて前記複数の符号化単位を復元する段階と、を含むことを特徴とする映像復号化方法。
（付記８）
最大符号化単位から前記複数の符号化単位に段階的に縮少された程度を表す前記複数の予測単位の深度に基づいて、前記変換単位の前記複数の予測単位は共にグループ化されたことを特徴とする付記７に記載の映像復号化方法。
（付記９）
前記変換単位は、
予測モードの種類によって予測が行われた前記複数の予測単位のうち隣接する複数の予測単位を選択することで、前記複数の予測単位が共にグループ化されたことを特徴とする付記７に記載の映像復号化方法。
（付記１０）
前記復元段階は、前記復元された値に基づいて前記複数の符号化単位を復元し、前記複数の符号化単位に含まれた予測単位のうち少なくとも１つの隣接する予測単位の予測値に基づいて予測された前記予測単位をイントラ予測することで、前記予測値を復元する段階を含むことを特徴とする付記７に記載の映像復号化方法。
（付記１１）
映像復号化装置において、
複数の符号化単位に含まれる複数の予測単位のために、１つの変換単位によって前記複数の予測単位の変換されたレジデュアル値から、周波数ドメインの周波数成分係数をエントロピー復号化するエントロピー復号化部と、
前記エントロピー復号化された周波数成分係数を逆量子化する逆量子化部と、
前記逆量子化された周波数成分係数を、前記変換単位に含まれた前記複数の符号化単位の復元されたレジデュアル値としてピクセルドメインに逆変換する逆変換部と、
前記復元されたレジデュアル値に基づいて前記複数の符号化単位を復元する復元部と、を備えることを特徴とする映像復号化装置。
（付記１２）
最大符号化単位から前記複数の符号化単位に段階的に縮少された程度を表す前記複数の予測単位の深度に基づいて、前記変換単位の前記複数の予測単位は共にグループ化されたことを特徴とする付記１１に記載の映像復号化装置。
（付記１３）
前記変換単位は、
予測モードの種類によって予測が行われた前記複数の予測単位のうち隣接する複数の予測単位を選択することで、前記複数の予測単位が共にグループ化されたことを特徴とする付記１１に記載の映像復号化装置。
（付記１４）
前記復元段階は、前記復元された値に基づいて前記複数の符号化単位を復元し、前記複数の符号化単位に含まれた予測単位のうち少なくとも１つの隣接する予測単位の予測値に基づいて予測された前記予測単位をイントラ予測することで、前記予測値を復元する段階を含むことを特徴とする付記１３に記載の映像復号化装置。
（付記１５）
付記１ないし５及び付記７ないし１０に記載の方法を行うためのプログラムを記録したコンピュータで読み取り可能な記録媒体。

１００ 映像符号化装置
１１０ 最大符号化単位分割部
１２０ 符号化深度決定部
１３０ 映像データ符号化部
１４０ 符号化情報符号化部
２００ 映像復号化装置
２１０ 映像データ獲得部
２２０ 符号化情報抽出部
２３０ 映像データ復号化部
３１０、３２０、３３０ 映像データ
３１５、３２５ 符号化単位
４００ 映像符号化部
５１０ パージング部
５２０ エントロピー復号化部
６００ 階層構造
６１０ 最大符号化単位
９００ 映像符号化装置
１０００ 符号化単位
１３００ 最大符号化単位
１５００ 映像復号化装置

Claims (4)

1. 映像復号化方法において、
   映像から分割された複数の最大符号化単位を決定し、ビットストリームからパージングされた符号化単位の分割情報を用いて前記最大符号化単位から階層的に分割された前記符号化単位を決定する段階と、
   前記ビットストリームからパージングされたパーティションタイプに関する情報を用いて前記符号化単位から分割された少なくとも一つの予測単位を決定する段階と、
   前記ビットストリームからパージングされた変換単位の分割形態に対する情報を用いて前記符号化単位から分割された少なくとも一つの変換単位を決定する段階と、
   前記ビットストリームからパージングされた前記変換単位の量子化された変換係数に対して逆量子化及び逆変換を行ってレジデュアル値を復元する段階と、
   前記予測単位を用いてイントラ予測またはインター予測を行って予測映像を生成し、前記予測映像と前記レジデュアル値を用いて前記符号化単位を復号化する段階を含み、
   予測モードがイントラ予測モードでないインター予測モードと決定された場合、前記符号化単位に含まれた変換単位のサイズと前記符号化単位に含まれた予測単位のサイズは個別的に決定され、
   前記予測モードがイントラ予測モードと決定された場合、前記符号化単位に含まれた変換単位のサイズは、前記符号化単位に含まれた予測単位のサイズより小さいか、同じく決定される、ことを特徴とする映像復号化方法。
2. 前記変換単位のサイズは、前記少なくとも一つの予測単位のサイズと異なることを特徴とする、請求項１に記載の映像復号化方法。
3. 前記分割情報が現在深度で分割されることを示す場合、前記現在深度の符号化単位は隣接符号化単位と独立して正方形の下位深度の符号化単位で４分割されることを特徴とする、請求項１に記載の映像復号化方法。
4. 映像復号化装置において、
   映像から分割された複数の最大符号化単位を決定し、ビットストリームからパージングされた符号化単位の分割情報を用いて前記最大符号化単位から階層的に分割された前記符号化単位を決定するプロセッサと、
   前記ビットストリームからパージングされた変換単位の量子化された変換係数に対して逆量子化及び逆変換を行ってレジデュアル値を復元し、前記符号化単位に含まれた予測単位を用いてイントラ予測またはインター予測を行って予測映像を生成し、前記予測映像と前記レジデュアル値を用いて前記符号化単位を復号化する復号化部と、
   を備え、
   前記プロセッサは、前記ビットストリームからパージングされたパーティションタイプに関する情報を用いて前記符号化単位から分割された少なくとも一つの予測単位を決定し、
   前記ビットストリームからパージングされた変換単位の分割形態に対する情報を用いて前記符号化単位から分割された少なくとも一つの前記変換単位を決定し、
   予測モードがイントラ予測モードでないインター予測モードと決定された場合、前記符号化単位の変換単位のサイズと前記符号化単位の予測単位のサイズは個別的に決定され、
   前記予測モードがイントラ予測モードと決定された場合、前記符号化単位に含まれた変換単位のサイズは、前記符号化単位に含まれた予測単位のサイズより小さいか、同じく決定される、ことを特徴とする映像復号化装置。
   

Images