JPWO2016203981A1

JPWO2016203981A1 - 画像復号装置及び画像符号化装置

Info

Publication number: JPWO2016203981A1
Application number: JP2017524811A
Authority: JP
Inventors: 知宏猪飼; 健史筑波
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2015-06-16
Filing date: 2016-06-02
Publication date: 2018-04-05
Also published as: CN107637081A; HK1250587A1; US20180192076A1; WO2016203981A1

Abstract

一部領域の残差の情報を低減させる方法と、スライス分割、４分木分割により自由度の高い予測ブロック、変換ブロックを切り替える方法を組み合わせ、効率のよい符号化／復号処理を実現する。ピクチャを符号化ツリーブロック単位に分割して復号する画像復号装置において、上記符号化ツリーブロックを、ルートの符号化ツリーとして再帰的に分割する符号化ツリー分割部を備え、上記符号化ツリーを分割するか否かを示す、符号化ユニット分割フラグを復号するＣＵ分割フラグ復号部と、上記符号化ツリー以下の残差を第１のモードで復号するか、第１のモードとは異なる第２のモードで復号するかを示す、残差モードを復号する残差モード復号部を備える。

Description

本発明は、画像を表す符号化データを復号する画像復号装置、画像を符号化することによって符号化データを生成する画像符号化装置に関する。

動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置が用いられている。

具体的な動画像符号化方式としては、例えば、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣや、その後継コーデックであるＨＥＶＣ（High-Efficiency Video Coding）にて提案されている方式（非特許文献１）などが挙げられる。

このような動画像符号化方式においては、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化単位（コーディングユニット（Coding Unit）と呼ばれることもある）、及び、符号化単位を分割することより得られるブロックである予測ユニット（ＰＵ）、変換ユニット（ＴＵ）からなる階層構造により管理され、普通、ブロックごとに符号化／復号される。

また、このような動画像符号化方式においては、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。また、予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。

非特許文献１では、四分木分割を用いて、上述の符号化ユニット及び変換ユニットを実現することにより、自由度の高いブロックサイズを選択し、符号量と精度のバランスをとる技術が知られている。

非特許文献２、非特許文献３、非特許文献４には、ピクチャ単位で内部解像度を低下させることで符号量を低減させるARC(Adaptive Resolution Coding)またはRRU(Reduced resolution update)という技術が知られている。

ITU-T Rec. H.265 (V2), （2014年10月29日公開） ITU-T Rec. H.263 Annex P and Annex Q T. Davies, P. Topiwala, "AHG18: Adaptive Resolution Coding (ARC)", JCTVC-G264, 7th Meeting: Geneva, CH, 21-30 November, 2011 Alexis Tourapis, Lowell Winger, "Reduced resolution update mode for enhanced compression", JCTVC-H0447, 8th Meeting: San Jose, CA, USA, 1-10 February, 2012

しかしながら、非特許文献２、非特許文献３、非特許文献４では、自由度の高いブロックサイズ選択を行うスライス分割や四分木分割と内部解像度を低下させる方法を効果的に組み合わせる方法は不明であるとの課題がある。

さらに、解像度変更を行う場合において、解像度変更に伴う符号化データの削減量（量子化）への影響を考慮していないため、固定的な符号量低下及び画質低下が生じるという課題がある。すなわち、解像度変換を行う領域に対する符号量低減及び画質低下を制御する方法が知られていなかった。

本発明の１つの形態は、ピクチャを符号化ツリーブロック単位に分割して復号する画像復号装置において、上記符号化ツリーブロックを、ルートの符号化ツリーとして再帰的に分割する符号化ツリー分割部と、上記符号化ツリーを分割するか否かを示す、符号化ユニット分割フラグを復号するＣＵ分割フラグ復号部と、上記符号化ツリー以下の残差を第１のモードで復号するか、第１のモードとは異なる第２のモードで復号するかを示す、残差モードを復号する残差モード復号部とを備えることを特徴とする。

本発明の１つの形態では、上記残差モード復号部は、最上位の符号化ツリーでのみ、残差モード(rru_flag)を符号化データから復号し、それより下位の符号化ツリーでは、残差モード(rru_flag)を復号しないことを特徴とする。

本発明の１つの形態では、上記残差モード復号部は、指定された階層の符号化ツリーでのみ、残差モードを復号し、それより下位の符号化ツリーでは、指定された階層の符号化ツリー以外では残差モードの復号を省略することを特徴とする。

本発明の１つの形態では、上記ＣＵ分割フラグ復号部は、上記残差モードが上記第２のモードで復号することを示す場合、残差モードが上記第１のモードで復号することを示す場合に比べて分割する階層を１つ減らすことを特徴とする。

本発明の１つの形態では、上記ＣＵ分割フラグ復号部は、残差モードが上記第１のモードである場合、符号化ツリーのサイズである符号化ブロックサイズ(log2CbSize)が最小符号化ブロック(MinCbLog2Size)よりも大きい場合、符号化データから上記ＣＵ分割フラグを復号し、残差モードが上記第２のモードである場合、符号化ツリーのサイズである符号化ブロックサイズ(log2CbSize)が最小符号化ブロック(MinCbLog2Size＋１)よりも大きい場合、符号化データから上記ＣＵ分割フラグを復号し、それ以外の場合には、上記ＣＵ分割フラグの復号を省略し、上記ＣＵ分割フラグを分割しないことを示す０を導出することを特徴とする。

本発明の１つの形態では、上記残差モード復号部は、リーフとなる符号化ツリーである符号化ユニットにおいて、残差モードを復号することを特徴とする。

本発明の１つの形態は、さらに、リーフとなる符号化ツリーである符号化ユニットにおいて、残差の復号を省略して復号するか否かを示すスキップフラグを復号するスキップフラグ復号部を備え、上記残差モード復号部は、上記符号化ユニットにおいて、上記スキップフラグが残差を復号しないことを示す場合、残差モードを復号し、それ以外の場合、残差モードを復号しないことを特徴とする。

本発明の１つの形態は、さらに、符号化ユニットが残差を含むか否かを示すＣＢＦフラグを復号するＣＢＦフラグ復号部を備え、上記残差モード復号部は、上記ＣＢＦフラグが残差が存在することを示す場合、上記残差モードを復号し、それ以外の場合、上記残差モードが上記第１のモードであることを示す残差モードを導出することを特徴とする。

本発明の１つの形態では、上記残差モード復号部は、符号化ツリーのサイズである符号化ブロックサイズ(log2CbSize)が所定の最小符号化ブロックサイズ(MinCbLog2Size)よりも大きい場合、符号化データから上記残差モードを復号し、それ以外の場合、上記残差モードが符号化データに存在しない場合に、上記残差モードを上記第１のモードとして導出することを特徴とする。

本発明の１つの形態は、さらに、符号化ユニットをさらに予測ブロックに分割するか否かを示すＰＵ分割モードを復号するＰＵ分割モード復号部を備え、上記残差モード復号部は、上記ＰＵ分割モードがＰＵ分割しないことを示す値の場合のみ、残差モードを復号し、それ以外の場合には、残差モードを復号しないことを特徴とする。

本発明の１つの形態は、さらに、符号化ユニットをさらに予測ブロックに分割するか否かを示すＰＵ分割モードを復号するＰＵ分割モード復号部を備え、上記ＰＵ分割モード復号部は、上記残差モードが上記第２のモードを示す場合、上記ＰＵ分割モードの復号を省略し、ＰＵ分割しないことを示す値を導出し、上記残差モードが上記第１のモードを示す場合、上記ＰＵ分割モードを復号することを特徴とする。

本発明の１つの形態は、さらに、符号化ユニットをさらに予測ブロックに分割するか否かを示すＰＵ分割モードを復号するＰＵ分割モード復号部を備え、上記ＰＵ分割モード復号部は、上記残差モードが上記第２のモードを示す場合、符号化ブロックサイズ(log2CbSize)が最小符号化ブロック(MinCbLog2Size)と１の和（MinCbLog2Size＋１）と等しい場合に、上記ＰＵ分割モードを復号し、上記残差モードが上記第１のモードを示す場合、インターであるか、符号化ブロックサイズ(log2CbSize)が最小符号化ブロック(MinCbLog2Size)と等しい場合に、上記ＰＵ分割モードを復号し、それ以外の場合、上記ＰＵ分割モードの復号を省略し、ＰＵ分割しないことを示す値を導出することを特徴とする。

本発明の１つの形態は、さらに、符号化ユニットをさらに変換ブロックに分割するか否かを示すＴＵ分割モードを復号するＴＵ分割モード復号部を備え、上記ＴＵ分割モード復号部は、上記残差モードが上記第２のモードを示す場合、符号化ブロックサイズ(log2CbSize)が最大変換ブロック(MaxTbLog2SizeY)と１の和（MaxTbLog2SizeY＋１）以下かつ最小変換ブロック(MinCbLog2Size)と１の和（MinCbLog2Size＋１）より大きい場合に、上記ＴＵ分割フラグを復号し、上記残差モードが上記第１のモードを示す場合、符号化ブロックサイズ(log2CbSize)が最大変換ブロック(MaxTbLog2Size)以下かつ最小変換ブロック(MinCbLog2Size)より大きい場合に、上記ＴＵ分割フラグを復号し、それ以外の場合には、上記ＴＵ分割フラグの復号を省略し、分割しないことを示すＴＵ分割フラグの値を導出することを特徴とする。

本発明の１つの形態は、さらに、符号化ユニットをさらに変換ブロックに分割するか否かを示すＴＵ分割モードを復号するＴＵ分割モード復号部を備え、上記ＴＵ分割モード復号部は、上記残差モードが上記第２のモードを示す場合、符号化変換デプス(trafoDepth)が、最大符号化デプス(MaxTrafoDepth)と１の差（MaxTrafoDepth―１）未満の場合に、上記ＴＵ分割フラグを復号し、上記残差モードが上記第１のモードを示す場合、符号化変換デプス(trafoDepth)が最大符号化デプス(MaxTrafoDepth)未満の場合に、上記ＴＵ分割フラグを復号し、それ以外の場合、上記ＴＵ分割フラグの復号を省略し、分割しないことを示す値を導出することを特徴とする。

本発明の１つの形態は、さらに、残差を復号する残差復号部と、復号された上記残差を逆量子化する逆量子化する逆量子化部とを備え、上記逆量子化部は、上記残差モードが上記第１のモードの場合、第１の量子化ステップにより逆量子化を行い、上記残差モードが上記第２のモードの場合、上記第１の量子化ステップから導出される第２の量子化ステップにより逆量子化をすることを特徴とする。

本発明の１つの形態は、さらに、量子化ステップ修正値を復号する量子化ステップ制御情報復号を備え、上記逆量子化部は、第１の量子化ステップに上記量子化ステップ修正値を加算することで第２の量子化ステップを導出することを特徴とする。

本発明の１つの形態では、ピクチャをスライス単位に分割して、上記スライスをさらに符号化ツリーブロック単位に分割して復号する画像復号装置において、スライス内の最上位ブロックサイズを可変とすることを特徴とする。

本発明の１つの形態では、スライス先頭の水平位置を示す値と垂直位置を示す値を復号することを特徴とする。

本発明の１つの形態では、スライス先頭の先頭アドレスを示す値を復号し、選択肢となる最上位ブロックサイズの内の最小のブロックサイズに基づいて、スライス先頭位置または対象ブロックの水平位置と垂直位置を導出することを特徴とする。

本発明は、スライス先頭または４分木を構成する階層において、少ない符号量で残差を符号化する残差モードを符号化することにより、自由度の高いブロックサイズ選択を行うスライス分割、四分木分割と、特定領域の残差低減を組み合わせて最適な符号化効率を実現可能とするという効果を奏する。

本発明の一実施形態に係る動画像復号装置が備えるＣＵ情報復号部および復号モジュールの構成例について示す機能ブロック図である。上記動画像復号装置の概略的構成について示した機能ブロック図である。本発明の一実施形態に係る動画像符号化装置によって生成され、上記動画像復号装置によって復号される符号化データのデータ構成を示す図であり、（ａ）〜（ｄ）は、それぞれ、ピクチャレイヤ、スライスレイヤ、ツリーブロックレイヤ、およびＣＵレイヤを示す図である。ＰＵ分割タイプのパターンを示す図である。（ａ）〜（ｈ）は、それぞれ、ＰＵ分割タイプが、２Ｎ×２Ｎ、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、および、Ｎ×Ｎの場合のパーティション形状について示している。発明の一実施形態に係るＣＵ情報復号部１１（ＣＴＵ情報復号Ｓ１３００、ＣＴ情報復号Ｓ１４００）の概略的動作を説明するフローチャートである。発明の一実施形態に係るＣＵ情報復号部１１（ＣＵ情報復号Ｓ１５００）、ＰＵ情報復号部１２（ＰＵ情報復号Ｓ１６００）、ＴＵ情報復号部１３（ＴＵ情報復号Ｓ１７００）の概略的動作を説明するフローチャートである。発明の一実施形態に係るＴＵ情報復号部１３（ＴＴ情報復号Ｓ１７００）の概略的動作を説明するフローチャートである。発明の一実施形態に係るＴＵ情報復号部１３（ＴＵ情報復号Ｓ１７６０）の概略的動作を説明するフローチャートである。本発明の一実施形態に係るＣＵ情報のシンタックス表の構成例を示す図である。本発明の一実施形態に係るＣＵ情報、ＰＴ情報ＰＴＩ、ＴＴ情報ＴＴＩのシンタックス表の構成例を示す図である。本発明の一実施形態に係るＰＴ情報ＰＴＩのシンタックス表の構成例を示す図である。本発明の一実施形態に係るＴＴ情報ＴＴＩのシンタックス表の構成例を示す図である。本発明の一実施形態に係るＴＵ情報のシンタックス表の構成例を示す図である。本発明の一実施形態に係る量子化予測残差のシンタックス表の構成例を示す図である。は、本発明の一実施形態に係る量子化予測残差情報のシンタックス表の構成例を示す図である。発明の一実施形態に係るＴＵ情報復号部１３（ＴＵ情報復号Ｓ１７６０Ａ）の概略的動作を説明するフローチャートである。発明の一実施形態に係る予測画像生成部１４（予測残差生成Ｓ２０００）、逆量子化・逆変換部１５（逆量子化・逆変換Ｓ３０００Ａ）、加算器１７（復号画像生成Ｓ４０００）の概略的動作を説明するフローチャートである。発明の一実施形態に係る予測画像生成部１４（予測残差生成Ｓ２０００）、逆量子化・逆変換部１５（逆量子化・逆変換Ｓ３０００Ａ）、加算器１７（復号画像生成Ｓ４０００）の概略的動作を説明するフローチャートである。発明の一実施形態に係る逆量子化・逆変換部１５（逆量子化・逆変換Ｓ３０００Ｂ）の概略的動作を説明するフローチャートである。発明の一実施形態に係る逆量子化・逆変換部１５（逆量子化・逆変換Ｓ３０００Ｂ）の概略的動作を説明するフローチャートである。本発明の一実施形態に係る動画像符号化装置によって生成され、上記動画像復号装置によって復号される符号化データのデータ構成を示す図である。本発明の一実施形態に係るＣＵ情報のシンタックス表の構成例を示す図である。発明の一実施形態に係るＣＵ情報復号部１１（ＣＴＵ情報復号Ｓ１３００、ＣＴ情報復号Ｓ１４００Ａ）の概略的動作を説明するフローチャートである。発明の一実施形態に係るＣＵ情報復号部１１（ＣＴＵ情報復号Ｓ１３００、ＣＴ情報復号Ｓ１４００）の概略的動作を説明するフローチャートである。本発明の一実施形態に係る動画像符号化装置によって生成され、上記動画像復号装置によって復号される符号化データのデータ構成を示す図である。本発明の一実施形態に係るＣＵ情報のシンタックス表の構成例を示す図である。発明の一実施形態に係るＣＵ情報復号部１１（ＣＴＵ情報復号Ｓ１３００、ＣＴ情報復号Ｓ１４００）の概略的動作を説明するフローチャートである。発明の一実施形態に係るＣＵ情報復号部１１（ＣＴＵ情報復号Ｓ１３００、ＣＴ情報復号Ｓ１４００）の概略的動作を説明するフローチャートである。本発明の一実施形態に係る動画像符号化装置によって生成され、上記動画像復号装置によって復号される符号化データのデータ構成を示す図である。本発明の一実施形態に係るＣＵ情報のシンタックス表の構成例を示す図である。発明の一実施形態に係るＣＵ情報復号部１１（ＣＴＵ情報復号Ｓ１３００、ＣＴ情報復号Ｓ１４００）の概略的動作を説明するフローチャートである。発明の一実施形態に係るＣＵ情報復号部１１（ＣＴＵ情報復号Ｓ１３００、ＣＴ情報復号Ｓ１４００）の概略的動作を説明するフローチャートである。本発明の一実施形態に係る動画像符号化装置によって生成され、上記動画像復号装置によって復号される符号化データのデータ構成を示す図である。本発明の一実施形態に係るＣＵ情報、ＰＴ情報ＰＴＩ、ＴＴ情報ＴＴＩのシンタックス表の構成例を示す図である。発明の一実施形態に係るＣＵ情報復号部１１（ＣＵ情報復号Ｓ１５００）、ＰＵ情報復号部１２（ＰＵ情報復号Ｓ１６００）、ＴＵ情報復号部１３（ＴＵ情報復号Ｓ１７００）の概略的動作を説明するフローチャートである。本発明の一実施形態に係る動画像符号化装置によって生成され、上記動画像復号装置によって復号される符号化データのデータ構成を示す図である。本発明の一実施形態に係るＣＵ情報、ＰＴ情報ＰＴＩ、ＴＴ情報ＴＴＩのシンタックス表の構成例を示す図である。発明の一実施形態に係るＣＵ情報復号部１１（ＣＵ情報復号Ｓ１５００）、ＰＵ情報復号部１２（ＰＵ情報復号Ｓ１６００）、ＴＵ情報復号部１３（ＴＵ情報復号Ｓ１７００）の概略的動作を説明するフローチャートである。本発明の一実施形態に係る動画像符号化装置によって生成され、上記動画像復号装置によって復号される符号化データのデータ構成を示す図である。変換ツリー情報ＴＴＩのシンタックス表の構成例を示す図である。発明の一実施形態に係るＴＵ情報復号部１３（ＴＵ情報復号Ｓ１７００）の概略的動作を説明するフローチャートである。本発明の一実施形態に係るＣＵ情報、ＰＴ情報ＰＴＩ、ＴＴ情報ＴＴＩのシンタックス表の構成例を示す図である。発明の一実施形態に係るＣＵ情報復号部１１（ＣＵ情報復号Ｓ１５００）、ＰＵ情報復号部１２（ＰＵ情報復号Ｓ１６００）、ＴＵ情報復号部１３（ＴＵ情報復号Ｓ１７００）の概略的動作を説明するフローチャートである。本発明の一実施形態に係るＣＵ情報、ＰＴ情報ＰＴＩ、ＴＴ情報ＴＴＩのシンタックス表の構成例を示す図である。発明の一実施形態に係るＣＵ情報復号部１１（ＣＵ情報復号Ｓ１５００）、ＰＵ情報復号部１２（ＰＵ情報復号Ｓ１６００）、ＴＵ情報復号部１３（ＴＵ情報復号Ｓ１７００）の概略的動作を説明するフローチャートである。本発明の一実施形態に係るＴＴ情報ＴＴＩのシンタックス表の構成例を示す図である。発明の一実施形態に係るＴＵ情報復号部１３（ＴＵ情報復号１７００）の概略的動作を説明するフローチャートである。本発明の一実施形態に係る動画像符号化装置によって生成され、上記動画像復号装置によって復号される符号化データのデータ構成を示す図である。本発明の一実施形態に係るピクチャ毎に異なる符号化ツリーブロックを用いる構成を説明する図である。本発明の一実施形態に係るピクチャ内でスライス毎に異なる符号化ツリーブロック（最上位ブロックサイズ）を用いる構成を説明する図である。本発明の一実施形態に係るピクチャ内でスライス毎に異なる符号化ツリーブロック（最上位ブロックサイズ）を用いる場合のスライス先頭位置の課題を説明する図である。本発明の一実施形態に係るピクチャ内でスライス毎に異なる符号化ツリーブロック（最上位ブロックサイズ）を用いる場合に、スライス先頭位置の水平位置、垂直位置を符号化データに含める例を説明する図である。本発明の一実施形態に係るピクチャ内でスライス毎に異なる符号化ツリーブロック（最上位ブロックサイズ）を用いる場合に、スライス先頭位置の水平位置、垂直位置のスライスアドレスslice_segment_addressからの導出方法を説明する図である。本発明の一実施形態に係るピクチャ内でスライス毎に異なる符号化ツリーブロック（最上位ブロックサイズ）を用いる場合のスライス先頭位置の課題を説明する図である。本発明の一実施形態に係るピクチャ内でスライス毎に異なる符号化ツリーブロック（最上位ブロックサイズ）を用いる場合に、解像度変更モードの復号処理を説明するフローチャートである。本発明の一実施形態に係る動画像符号化装置の概略的構成について示した機能ブロック図である。上記動画像符号化装置を搭載した送信装置、および、上記動画像復号装置を搭載した受信装置の構成について示した図である。（ａ）は、動画像符号化装置を搭載した送信装置を示しており、（ｂ）は、動画像復号装置を搭載した受信装置を示している。上記動画像符号化装置を搭載した記録装置、および、上記動画像復号装置を搭載した再生装置の構成について示した図である。（ａ）は、動画像符号化装置を搭載した記録装置を示しており、（ｂ）は、動画像復号装置を搭載した再生装置を示している。

本発明の一実施形態について図１〜図５８を参照して説明する。まず、図２を参照しながら、動画像復号装置（画像復号装置）１および動画像符号化装置（画像符号化装置）２の概要について説明する。図２は、動画像復号装置１の概略的構成を示す機能ブロック図である。

図２に示す動画像復号装置１および動画像符号化装置２は、ＨＥＶＣ（High-Efficiency Video Coding）にて採用されている技術を実装している。動画像符号化装置２は、これらの動画像符号化方式において、エンコーダからデコーダに伝送されることが規定されているシンタックス（syntax）の値をエントロピー符号化して符号化データ＃１を生成する。

エントロピー符号化方式としては、コンテキスト適応型可変長符号化（CAVLC：Context-based Adaptive Variable Length Coding）、および、コンテキスト適応型２値算術符号化（CABAC：Context-based Adaptive Binary Arithmetic Coding）が知られている。

ＣＡＶＬＣおよびＣＡＢＡＣによる符号化／復号においては、コンテキストに適応した処理が行われる。コンテキストとは、符号化／復号の状況（文脈）のことであり、関連シンタックスの過去の符号化／復号結果により定まるものである。関連シンタックスとしては、例えば、イントラ予測、インター予測に関する各種シンタックス、輝度（Luma）、色差（Chroma）に関する各種シンタックス、およびＣＵ(Coding Unit 符号化単位)サイズに関する各種シンタックスなどがある。また、ＣＡＢＡＣでは、シンタックスに対応する２値データ（バイナリ列）における、符号化／復号対象となるバイナリの位置をコンテキストとして用いる場合もある。

ＣＡＶＬＣでは、符号化に用いるＶＬＣテーブルを適応的に変更して、各種シンタックスが符号化される。一方、ＣＡＢＡＣでは、予測モードおよび変換係数等の多値を取り得るシンタックスに対して２値化処理が施され、この２値化処理によって得られた２値データが発生確率に応じて適応的に算術符号化される。具体的には、バイナリ値（０または１）の発生確率を保持するバッファを複数用意し、コンテキストに応じて一つのバッファを選択し、当該バッファに記録されている発生確率に基づいて算術符号化を行う。また、復号／符号化するバイナリ値に基づいて、当該バッファの発生確率を更新することで、コンテキストに応じて適切な発生確率を維持できる。

動画像復号装置１には、動画像符号化装置２が動画像を符号化した符号化データ＃１が入力される。動画像復号装置１は、入力された符号化データ＃１を復号して動画像＃２を外部に出力する。動画像復号装置１の詳細な説明に先立ち、符号化データ＃１の構成を以下に説明する。

〔符号化データの構成〕
図３を用いて、動画像符号化装置２によって生成され、動画像復号装置１によって復号される符号化データ＃１の構成例について説明する。符号化データ＃１は、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。

符号化データ＃１におけるピクチャレイヤ以下の階層の構造を図３に示す。図３の（ａ）〜（ｅ）は、それぞれ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、符号化ツリーブロック（Coding Tree block）ＣＴＢを規定するツリーブロックレイヤ、符号化ツリー（Coding Tree、ＣＴ）を規定する符号化ツリーレイヤ、符号化ツリーブロックＣＴＵに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示す図である。

（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図３の（ａ）に示すように、ピクチャヘッダＰＨ、及び、スライスＳ₁〜Ｓ_NSを含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。

なお、以下、スライスＳ₁〜Ｓ_NSのそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化データ＃１に含まれるデータであって、添え字を付している他のデータについても同様である。

ピクチャヘッダＰＨには、対象ピクチャの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれている。ピクチャヘッダＰＨは、ピクチャー・パラメーター・セット（ＰＰＳ：Picture Parameter Set）とも称される。

（スライスレイヤ）
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図３の（ｂ）に示すように、スライスヘッダＳＨ、及び、ツリーブロックＣＴＵ₁〜ＣＴＵ_NC（ＮＣはスライスＳに含まれるツリーブロックの総数）を含んでいる。

スライスヘッダＳＨには、対象スライスの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。

スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単予測、又は、イントラ予測を用いるＰスライス、（３）符号化の際に単予測、双予測、又は、イントラ予測を用いるＢスライスなどが挙げられる。

また、スライスヘッダＳＨには、動画像復号装置１の備えるループフィルタ（不図示）によって参照されるフィルタパラメータが含まれていてもよい。

（ツリーブロックレイヤ）
ツリーブロックレイヤでは、処理対象のツリーブロックＣＴＵ（以下、対象ツリーブロックとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。ツリーブロックＣＴＢは、スライス（ピクチャ）を固定サイズに分割するブロックである。なお、固定サイズのブロックであるツリーブロックにおいて、領域の画像データ（画素）に注目する場合には、ツリーブロック、領域の画像データだけではなく、画像データを復号するための情報（例えば分割情報等）も含める場合には、ツリーユニットと呼ぶことがある。以下、区別せずに単にツリーブロックＣＴＵと呼ぶ。以下、符号化ツリー、符号化ユニットなども、対応する領域の画像データだけではなく、画像データを復号するための情報（例えば分割情報等）も含めて扱う。

ツリーブロックＣＴＵは、ツリーブロックヘッダＣＴＵＨと、符号化単位情報ＣＱＴを含む。ここで、まず、ツリーブロックＣＴＵと、符号化ツリーＣＴとの関係について説明すると次のとおりである。

ツリーブロックＣＴＵは、スライス（ピクチャ）を固定サイズに分割するユニットである。

ツリーブロックＣＴＵは、符号化ツリー（ＣＴ）を有する。符号化ツリー（ＣＴ）は、再帰的な４分木分割により分割されている。この再帰的な４分木分割により得られる木構造及びそのノードのことを以下、符号化ツリー（coding tree）と称する。

以下、符号化ツリーの末端のノードであるリーフ（leaf）に対応するユニットを、符号化ノード（coding node）として参照する。また、符号化ノードは、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位（ＣＵ）とも称する。つまり、最上位の符号化ツリーＣＴが、ＣＴＵ（ＣＱＴ）であり、末端の符号化ツリーＣＴが、ＣＵである。

つまり、符号化単位情報ＣＵ_１〜ＣＵ_ＮＬは、ツリーブロックＣＴＵを再帰的に４分木分割して得られる各符号化ノード（符号化単位）に対応する情報である。

また、符号化ツリーのルート（root）は、ツリーブロックＣＴＵに対応付けられる。換言すれば、ツリーブロックＣＴＵ（ＣＱＴ）は、複数の符号化ノード（ＣＴ）を再帰的に含む４分木分割の木構造の最上位ノードに対応付けられる。

なお、各符号化ノードのサイズは、当該符号化ノードが直接に属する符号化ノード（すなわち、当該符号化ノードの１階層上位のノードのユニット）のサイズの縦横とも半分である。

また、各符号化ノードの取り得るサイズは、符号化データ＃１のシーケンスパラメータセットＳＰＳに含まれる、符号化ノードのサイズ指定情報および最大階層深度（maximum hierarchical depth）に依存する。例えば、ツリーブロックＣＴＵのサイズが６４×６４画素であって、最大階層深度が３である場合には、当該ツリーブロックＣＴＵ以下の階層における符号化ノードは、４種類のサイズ、すなわち、６４×６４画素、３２×３２画素、１６×１６画素、および８×８画素の何れかを取り得る。

（ツリーブロックヘッダ）
ツリーブロックヘッダＣＴＵＨには、対象ツリーブロックの復号方法を決定するために動画像復号装置１が参照する符号化パラメータが含まれる。具体的には、図３の（ｃ）に示すように、対象ツリーブロックのフィルタ方法を指定するＳＡＯが含まれる。ＣＴＵＨなど、ＣＴＵに含まれる情報を符号化ツリーユニット情報（ＣＴＵ情報）と呼ぶ。

（符号化ツリー）
符号化ツリーＣＴは、ツリーブロックを分割するための情報であるツリーブロック分割情報ＳＰを有する。例えば、具体的には、図３の（ｄ）に示すように、ツリーブロック分割情報ＳＰは、対象ツリーブロック全体またはツリーブロックの部分領域を四分割するか否かを示すフラグであるＣＵ分割フラグ(split_cu_flag)であってもよい。ＣＵ分割フラグsplit_cu_flagが１の場合には、符号化ツリーＣＴをさらに４つの符号化ツリーＣＴに分割する。split_cu_flagが０の場合には、符号化ツリーＣＴは分割されない末端ノードであることを意味する。符号化ツリーが有するＣＵ分割フラグsplit_cu_flagなどの情報を符号化ツリー情報（ＣＴ情報）と呼ぶ。ＣＴ情報は、当該符号化ツリーをさらに分割するか否かを示すＣＵ分割フラグsplit_cu_flagの他、当該符号化ツリーとそれ以下の符号化ユニットで適用されるパラメータを含んでいても良い。例えば、ＣＴ情報において、符号化データが残差モードを備える場合には、ある復号された残差モードの値は、その残差モードを復号した符号化ツリーとそれ以下の符号化ユニットの残差モードの値として適用される。

（ＣＵレイヤ）
ＣＵレイヤでは、処理対象のＣＵ（以下、対象ＣＵとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。

ここで、符号化単位情報ＣＵに含まれるデータの具体的な内容の説明をする前に、ＣＵに含まれるデータの木構造について説明する。符号化ノードは、予測ツリー（predictiontree；ＰＴ）および変換ツリー（transform tree；ＴＴ）のルートのノードとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。

予測ツリーにおいては、符号化ノードが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ノードを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。

予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit；ＰＵ）とも称する。

予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。

イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）と、Ｎ×Ｎとがある。

また、インター予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）、２Ｎ×Ｎ、Ｎ×２Ｎ、および、Ｎ×Ｎなどがある。

また、変換ツリーにおいては、符号化ノードが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ノードを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。

変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit；ＴＵ）とも称する。

（符号化単位情報のデータ構造）
続いて、図３の（ｅ）を参照しながら符号化単位情報ＣＵに含まれるデータの具体的な内容について説明する。図３の（ｅ）に示すように、符号化単位情報ＣＵは、具体的には、ＣＵ情報（スキップフラグＳＫＩＰ、ＣＵ予測タイプ情報Ｐｒｅｄ＿ｔｙｐｅ）、ＰＴ情報ＰＴＩ、および、ＴＴ情報ＴＴＩを含む。

［スキップフラグ］
スキップフラグＳＫＩＰは、対象ＣＵについて、スキップモードが適用されているか否かを示すフラグ（skip_flag）であり、スキップフラグＳＫＩＰの値が１の場合、すなわち、対象ＣＵにスキップモードが適用されている場合、その符号化単位情報ＣＵにおけるＰＴ情報ＰＴＩ、ＴＴ情報ＴＴＩは省略される。なお、スキップフラグＳＫＩＰは、Ｉスライスでは省略される。

［ＣＵ予測タイプ情報］
ＣＵ予測タイプ情報Ｐｒｅｄ＿ｔｙｐｅは、ＣＵ予測方式情報（PredMode）およびＰＵ分割タイプ情報（PartMode）を含む。

ＣＵ予測方式情報（PredMode）は、対象ＣＵに含まれる各ＰＵについての予測画像生成方法として、スキップモード、イントラ予測（イントラＣＵ）、および、インター予測（インターＣＵ）のいずれを用いるのかを指定するものである。なお、以下では、対象ＣＵにおける、スキップ、イントラ予測、および、インター予測の種別を、ＣＵ予測モードと称する。

ＰＵ分割タイプ情報（PartMode）は、対象符号化単位（ＣＵ）の各ＰＵへの分割のパターンであるＰＵ分割タイプを指定するものである。以下、このように、ＰＵ分割タイプに従って、対象符号化単位（ＣＵ）を各ＰＵへ分割することをＰＵ分割と称する。

ＰＵ分割タイプ情報（PartMode）は、例示的には、ＰＵ分割パターンの種類を示すインデックスであってもよいし、対象予測ツリーに含まれる各ＰＵの形状、サイズ、および、対象予測ツリー内での位置が指定されていてもよい。なお、ＰＵ分割は、予測単位分割タイプとも呼称される。

なお、選択可能なＰＵ分割タイプは、ＣＵ予測方式とＣＵサイズに応じて異なる。また、さらにいえば、選択可能できるＰＵ分割タイプは、インター予測およびイントラ予測それぞれの場合において異なる。また、ＰＵ分割タイプの詳細については後述する。

また、Ｉスライスでない場合、ＣＵ予測方式情報（PredMode）の値およびＰＵ分割タイプ情報（PartMode）の値は、ＣＵ分割フラグ(split_cu_flag)、スキップフラグ（skip_flag）、マージフラグ（merge_flag；後述）、ＣＵ予測方式情報（PredMode）、およびＰＵ分割タイプ情報（PartMode）の組み合わせを指定するインデックス（cu_split_pred_part_mode）によって特定されるようになっていてもよい。cu_split_pred_part_modeのようなインデックスのことを結合シンタックス（あるいは、ジョイント符号）とも称する。

［ＰＴ情報］
ＰＴ情報ＰＴＩは、対象ＣＵに含まれるＰＴに関する情報である。言い換えれば、ＰＴ情報ＰＴＩは、ＰＴに含まれる１または複数のＰＵそれぞれに関する情報の集合である。上述のとおり予測画像の生成は、ＰＵを単位として行われるので、ＰＴ情報ＰＴＩは、動画像復号装置１によって予測画像が生成される際に参照される。ＰＴ情報ＰＴＩは、図３の（ｄ）に示すように、各ＰＵにおける予測情報等を含むＰＵ情報ＰＵＩ_１〜ＰＵＩ_ＮＰ（ＮＰは、対象ＰＴに含まれるＰＵの総数）を含む。

予測情報ＰＵＩは、予測タイプ情報Ｐｒｅｄ＿ｍｏｄｅが何れの予測方法を指定するのかに応じて、イントラ予測情報、または、インター予測情報を含む。以下では、イントラ予測が適用されるＰＵをイントラＰＵとも呼称し、インター予測が適用されるＰＵをインターＰＵとも呼称する。

インター予測情報は、動画像復号装置１が、インター予測によってインター予測画像を生成する際に参照される符号化パラメータを含む。

インター予測パラメータとしては、例えば、マージフラグ（ｍｅｒｇｅ＿ｆｌａｇ）、マージインデックス（ｍｅｒｇｅ＿ｉｄｘ）、推定動きベクトルインデックス（ｍｖｐ＿ｉｄｘ）、参照画像インデックス（ｒｅｆ＿ｉｄｘ）、インター予測フラグ（ｉｎｔｅｒ＿ｐｒｅｄ＿ｆｌａｇ）、および動きベクトル残差（ｍｖｄ）が挙げられる。

イントラ予測情報は、動画像復号装置１が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータを含む。

イントラ予測パラメータとしては、例えば、推定予測モードフラグ、推定予測モードインデックス、および、残余予測モードインデックスが挙げられる。

なお、イントラ予測情報では、ＰＣＭモードを用いるか否かを示すＰＣＭモードフラグが符号化されていてもよい。ＰＣＭモードフラグが符号化されている場合であって、ＰＣＭモードフラグがＰＣＭモードを用いることを示しているときには、予測処理（イントラ）、変換処理、および、エントロピー符号化の各処理が省略される。

［ＴＴ情報］
ＴＴ情報ＴＴＩは、ＣＵに含まれるＴＴに関する情報である。言い換えれば、ＴＴ情報ＴＴＩは、ＴＴに含まれる１または複数のＴＵそれぞれに関する情報の集合であり、動画像復号装置１により残差データを復号する際に参照される。なお、以下、ＴＵのことをブロックと称することもある。

ＴＴ情報ＴＴＩは、図３の（ｅ）に示すように、対象ＣＵが残差データを含むか否かを示す情報ＣＵ残差フラグＣＢＰ＿ＴＵ、対象ＣＵの各変換ブロックへの分割パターンを指定するＴＴ分割情報ＳＰ＿ＴＵ、および、ＴＵ情報ＴＵＩ₁〜ＴＵＩ_NT（ＮＴは、対象ＣＵに含まれるブロックの総数）を含んでいる。

ＣＵ残差フラグＣＢＰ＿ＴＵが０の場合には、対象ＣＵは残差データ、すなわち、ＴＴ情報ＴＴＩを含まない。ＣＵ残差フラグＣＢＰ＿ＴＵが１の場合には、対象ＣＵは残差データ、すなわち、ＴＴ情報ＴＴＩを含む。ＣＵ残差フラグＣＢＰ＿ＴＵは、例えば、対象ブロック以下を分割して得られる残差ブロックの全てにおいて残差が存在しないことを示す、残差ルートフラグrqt_root_cbf（Residual Quad Tree Root Coded Block Flag）であっても良い。ＴＴ分割情報ＳＰ＿ＴＵは、具体的には、対象ＣＵに含まれる各ＴＵの形状、サイズ、および、対象ＣＵ内での位置を決定するための情報である。例えば、ＴＴ分割情報ＳＰ＿ＴＵは、対象となるノードの分割を行うのか否かを示すＴＵ分割フラグ（split_transform_flag）と、その分割の深度を示すＴＵ深度（ＴＵ階層、trafoDepth）とから実現することができる。ＴＵ分割フラグsplit_transform_flagは変換（逆変換）を行う変換ブロックを分割するか否かを示すフラグであり、分割する場合にはさらに小さなブロックを用いて変換（逆変換、逆量子化、量子化）が行われる。

また、例えば、ＣＵのサイズが、６４×６４の場合、分割により得られる各ＴＵは、３２×３２画素から４×４画素までのサイズを取り得る。

ＴＵ情報ＴＵＩ₁〜ＴＵＩ_NTは、ＴＴに含まれる１または複数のＴＵそれぞれに関する個別の情報である。例えば、ＴＵ情報ＴＵＩは、量子化予測残差を含んでいる。

各量子化予測残差は、動画像符号化装置２が以下の処理１〜３を、処理対象のブロックである対象ブロックに施すことによって生成した符号化データである。

処理１：符号化対象画像から予測画像を減算した予測残差をＤＣＴ変換（Discrete Cosine Transform）する；
処理２：処理１にて得られた変換係数を量子化する；
処理３：処理２にて量子化された変換係数を可変長符号化する；
なお、上述した量子化パラメータｑｐは、動画像符号化装置２が変換係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２^qp/6）。

（ＰＵ分割タイプ）
ＰＵ分割タイプ（PartMode）には、対象ＣＵのサイズを２Ｎ×２Ｎ画素とすると、次の合計８種類のパターンがある。すなわち、２Ｎ×２Ｎ画素、２Ｎ×Ｎ画素、Ｎ×２Ｎ画素、およびＮ×Ｎ画素の４つの対称的分割（symmetric splittings）、並びに、２Ｎ×ｎＵ画素、２Ｎ×ｎＤ画素、ｎＬ×２Ｎ画素、およびｎＲ×２Ｎ画素の４つの非対称的分割（asymmetric splittings）である。なお、Ｎ＝２^ｍ（ｍは１以上の任意の整数）を意味している。以下、対称ＣＵを分割して得られる領域のことをパーティションとも称する。

図４の（ａ）〜（ｈ）に、それぞれの分割タイプについて、ＣＵにおけるＰＵ分割の境界の位置を具体的に図示している。

なお、図４の（ａ）は、ＣＵの分割を行わない２Ｎ×２ＮのＰＵ分割タイプを示している。

また、図４の（ｂ）、（ｃ）、および（ｄ）は、それぞれ、ＰＵ分割タイプが、それぞれ、２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤである場合のパーティションの形状について示している。以下、ＰＵ分割タイプが、２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤである場合のパーティションを、まとめて横長パーティションと称する。

また、図４の（ｅ）、（ｆ）、および（ｇ）は、それぞれ、ＰＵ分割タイプが、Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎである場合のパーティションの形状について示している。以下、ＰＵ分割タイプが、Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎである場合のパーティションを、まとめて縦長パーティションと称する。

また、横長パーティションおよび縦長パーティションをまとめて長方形パーティションと称する。

また、図４の（ｈ）は、ＰＵ分割タイプが、Ｎ×Ｎである場合のパーティションの形状を示している。図４の（ａ）および（ｈ）のＰＵ分割タイプのことを、そのパーティションの形状に基づいて、正方形分割とも称する。また、図４の（ｂ）〜（ｇ）のＰＵ分割タイプのことは、非正方形分割とも称する。

また、図４の（ａ）〜（ｈ）において、各領域に付した番号は、領域の識別番号を示しており、この識別番号順に、領域に対して処理が行われる。すなわち、当該識別番号は、領域のスキャン順を表している。

また、図４の（ａ）〜（ｈ）において、左上がＣＵの基準点（原点）であるとする。

［インター予測の場合の分割タイプ］
インターＰＵでは、上記８種類の分割タイプのうち、Ｎ×Ｎ（図４の（ｈ））以外の７種類が定義されている。なお、上記４つの非対称的分割は、ＡＭＰ（Asymmetric Motion Partition、非対称パーティション）と呼ばれることもある。一般に、非対称パーティションにより分割されるＣＵには、形状またはサイズが異なるパーティションが含まれている。また、対称的分割は、対称パーティションと呼ばれることもある。一般に、対称パーティションにより分割されるＣＵには、形状およびサイズが一致するパーティションが含まれている。

なお、上述のＮの具体的な値は、当該ＰＵが属するＣＵのサイズによって規定され、ｎＵ、ｎＤ、ｎＬ、および、ｎＲの具体的な値は、Ｎの値に応じて定められる。例えば、１２８×１２８画素のインターＣＵは、１２８×１２８画素、１２８×６４画素、６４×１２８画素、６４×６４画素、１２８×３２画素、１２８×９６画素、３２×１２８画素、および、９６×１２８画素のインターＰＵへ分割することが可能である。

［イントラ予測の場合の分割タイプ］
イントラＰＵでは、次の２種類の分割パターンが定義されている。すなわち、対象ＣＵを分割しない、すなわち対象ＣＵ自身が１つのＰＵとして取り扱われる分割パターン２Ｎ×２Ｎと、対象ＣＵを、４つのＰＵへと対称的に分割するパターンＮ×Ｎと、である。

したがって、イントラＰＵでは、図４に示した例でいえば、（ａ）および（ｈ）の分割パターンを取ることができる。

例えば、１２８×１２８画素のイントラＣＵは、１２８×１２８画素、および、６４×６４画素のイントラＰＵへ分割することが可能である。

なお、Iスライスの場合、符号化単位情報ＣＵにおいて、ＰＵ分割タイプ（PartMode）を特定するためのイントラ分割モード（intra_part_mode）が含まれていてもよい。

〔動画像復号装置〕
以下では、本実施形態に係る動画像復号装置１の構成について、図１〜図２４を参照して説明する。

（動画像復号装置の概要）
動画像復号装置１は、ＰＵ毎に予測画像を生成し、生成された予測画像と、符号化データ＃１から復号された予測残差とを加算することによって復号画像＃２を生成し、生成された復号画像＃２を外部に出力する。

ここで、予測画像の生成は、符号化データ＃１を復号することによって得られる符号化パラメータを参照して行われる。符号化パラメータとは、予測画像を生成するために参照されるパラメータのことである。符号化パラメータには、画面間予測において参照される動きベクトルや画面内予測において参照される予測モードなどの予測パラメータに加えて、ＰＵのサイズや形状、ブロックのサイズや形状、および、原画像と予測画像との残差データなどが含まれる。以下では、符号化パラメータに含まれる情報のうち、上記残差データを除く全ての情報の集合を、サイド情報と呼ぶ。

また、以下では、復号の対象となるピクチャ（フレーム）、スライス、ツリーブロック、ブロック、および、ＰＵをそれぞれ、対象ピクチャ、対象スライス、対象ツリーブロック、対象ブロック、および、対象ＰＵと呼ぶことにする。

なお、ツリーブロックのサイズは、例えば６４×６４画素であり、ＰＵのサイズは、例えば、６４×６４画素、３２×３２画素、１６×１６画素、８×８画素や４×４画素などである。しかしながら、これらのサイズは、単なる例示であり、ツリーブロックおよびＰＵのサイズは以上に示したサイズ以外のサイズであってもよい。

（動画像復号装置の構成）
再び、図２を参照して、動画像復号装置１の概略的構成について説明すると次のとおりである。図２は、動画像復号装置１の概略的構成について示した機能ブロック図である。

図２に示すように動画像復号装置１は、復号モジュール１０、ＣＵ情報復号部１１、ＰＵ情報復号部１２、ＴＵ情報復号部１３、予測画像生成部１４、逆量子化・逆変換部１５、フレームメモリ１６および加算器１７を備えている。

［基本復号フロー］
図１は、動画像復号装置１の概略的動作を説明するフローチャートである。

（Ｓ１１００）復号モジュール１０は、符号化データ＃１からＳＰＳ、ＰＰＳなどのパラメータセット情報を復号する。

（Ｓ１２００）復号モジュール１０は、符号化データ＃１からスライスヘッダ（スライス情報）を復号する。

以下、復号モジュール１０は、対象ピクチャに含まれる各ＣＴＢについて、Ｓ１３００からＳ４０００の処理を繰り返すことにより各ＣＴＢの復号画像を導出する。

（Ｓ１３００）ＣＵ情報復号部１１は、符号化データ＃１から符号化ツリーユニット情報（ＣＴＵ情報）を復号する。

（Ｓ１４００）ＣＵ情報復号部１１は、符号化データ＃１から符号化ツリー情報（ＣＴ情報）を復号する。

（Ｓ１５００）ＣＵ情報復号部１１は、符号化データ＃１から符号化ユニット情報（ＣＵ情報）を復号する。

（Ｓ１６００）ＰＵ情報復号部１２は、符号化データ＃１から予測ユニット情報（ＰＴ情報ＰＴＩ）を復号する。

（Ｓ１７００）ＴＵ情報復号部１３は、符号化データ＃１から変換ユニット情報（ＴＴ情報ＴＴＩ）を復号する。

（Ｓ２０００）予測画像生成部１４は、対象ＣＵに含まれる各ＰＵについて、ＰＴ情報ＰＴＩに基づいて予測画像を生成する。

（Ｓ３０００）逆量子化・逆変換部１５は、対象ＣＵに含まれる各ＴＵについて、ＴＴ情報ＴＴＩに基づいて逆量子化・逆変換処理を実行する。

（Ｓ４０００）復号モジュール１０は、加算器１７により、予測画像生成部１４より供給される予測画像Ｐｒｅｄと、逆量子化・逆変換部１５より供給される予測残差Ｄとを加算することによって、対象ＣＵについての復号画像Ｐを生成する。

（Ｓ５０００）復号モジュール１０は、復号画像Ｐにデブロッキングフィルタやサンプル適応フィルタ（ＳＡＯ）などのループフィルタをかける。

以下、各モジュールの概略動作を説明する。
［復号モジュール］
復号モジュール１０は、バイナリからシンタックス値を復号する復号処理を行う。復号モジュール１０は、より具体的には、供給元から供給される符号化データおよびシンタックス種別に基づいて、ＣＡＢＡＣおよびＣＡＶＬＣ等のエントロピー符号化方式により符号化されているシンタックス値を復号し、復号したシンタックス値を供給元に返す。

以下に示す例では、符号化データおよびシンタックス種別の供給元は、ＣＵ情報復号部１１、ＰＵ情報復号部１２、およびＴＵ情報復号部１３である。

［ＣＵ情報復号部］
ＣＵ情報復号部１１は、復号モジュール１０を用いて、動画像符号化装置２から入力された１フレーム分の符号化データ＃１について、ツリーブロックおよびＣＵレベルでの復号処理を行う。ＣＵ情報復号部１１は、具体的には、以下の手順により符号化データ＃１から、ＣＴＵ情報、ＣＴ情報、ＣＵ情報、ＰＴ情報ＰＴＩ、ＴＴ情報ＴＴＩを復号する。

まず、ＣＵ情報復号部１１は、符号化データ＃１に含まれる各種ヘッダを参照して、符号化データ＃１を、スライス、ツリーブロックに順次分離する。

ここで、各種ヘッダには、（１）対象ピクチャのスライスへの分割方法についての情報、および（２）対象スライスに属するツリーブロックのサイズ、形状および対象スライス内での位置についての情報が含まれる。

そして、ＣＵ情報復号部１１は、ＣＴ情報として、ツリーブロックヘッダＣＴＵＨに含まれるツリーブロック分割情報ＳＰ＿ＣＴＵを復号し、対象ツリーブロックを、ＣＵに分割する。次に、ＣＵ情報復号部１１は、分割により得られたＣＵに対応する符号化単位情報（以下、ＣＵ情報と称する）を取得する。ＣＵ情報復号部１１は、ツリーブロックに含まれる各ＣＵを順に対象ＣＵとして、対象ＣＵに対応するＣＵ情報の復号処理を実行する。

ＣＵ情報復号部１１は、対象ＣＵについて得られる変換ツリーに関するＴＴ情報ＴＴＩ、および、対象ＣＵについて得られる予測ツリーに関するＰＴ情報ＰＴＩを逆多重化する。なお、ＴＴ情報ＴＴＩには、上述のとおり、変換ツリーに含まれるＴＵに対応するＴＵ情報ＴＵＩが含まれる。また、ＰＴ情報ＰＴＩには、上述のとおり、対象予測ツリーに含まれるＰＵに対応するＰＵ情報ＰＵＩが含まれる。

ＣＵ情報復号部１１は、対象ＣＵについて得られたＰＴ情報ＰＴＩをＰＵ情報復号部１２に供給する。また、ＣＵ情報復号部１１は、対象ＣＵについて得られたＴＴ情報ＴＴＩをＴＵ情報復号部１３に供給する。

より詳細には、ＣＵ情報復号部１１は、図５に示すように以下の動作を行う。図５は、発明の一実施形態に係るＣＵ情報復号部１１（ＣＴＵ情報復号Ｓ１３００、ＣＴ情報復号Ｓ１４００）の概略的動作を説明するフローチャートである。

図９は、本発明の一実施形態に係るＣＵ情報のシンタックス表の構成例を示す図である。

（Ｓ１３１１）ＣＵ情報復号部１１は、符号化データ＃１からＣＴＵ情報を復号し、再帰的に分割される符号化ツリーＣＴを管理するための変数を初期化する。具体的には、下記式のように、符号化ツリーの階層を示すＣＴ階層（ＣＴ深度、ＣＵ階層、ＣＵ深度）cqtDepthに０を設定し、符号化ユニットサイズであるＣＵサイズ（ここでは対数ＣＵサイズlog2CbSize＝変換ツリーブロックのサイズ）として符号化ツリーブロックのサイズであるＣＴＢサイズCtbLog2SizeY（CtbLog2Size）を設定する。

cqtDepth = 0
log2CbSize = CtbLog2SizeY
なお、ＣＴ階層（ＣＴ深度）cqtDepthは最上位階層で０とし、下位層が深くなるにつれて１つづつ大きくなるものとするが、これに限らない。上記では、ＣＵサイズ及びＣＴＢサイズを２の指数乗（4, 8, 16, 32, 64, 128, 256, …など）に限定することで、これらブロックのサイズを２を底とする対数で扱っているが、これに限らない。なお、ブロックサイズが4, 8, 16, 32, 64, 128, 256の場合、各々2, 3, 4, 5, 6, 7, 8が対数値となる。

以下、ＣＵ情報復号部１１は再帰的に、符号化ツリーＴＵ（coding_quadtree）を復号する（Ｓ１４００）。ＣＵ情報復号部１１は、最上位（ルート）の符号化ツリーcoding_quadtree( xCtb, yCtb, CtbLog2SizeY, 0 )を復号する（ＳＹＮ１４００）。なお、xCtb, yCtbはＣＴＢの左上座標、CtbLog2SizeYはＣＴＢのブロックサイズ（例えば64, 128, 256）である。

（Ｓ１４１１）ＣＵ情報復号部１１は、対数ＣＵサイズlog2CbSizeが所定の最小ＣＵサイズMinCbLog2SizeY（最小変換ブロックサイズ）より大きいか否かを判定する（ＳＹＮ１４１１）。対数ＣＵサイズlog2CbSizeがMinCbLog2SizeYより大きい場合には、Ｓ１４２１に遷移し、それ以外の場合Ｓ１４２２に遷移する。

（Ｓ１４２１）ＣＵ情報復号部１１は、対数ＣＵサイズlog2CbSizeがMinCbLog2SizeYより大きいと判定された場合には、ＳＹＮ１４２１に示すシンタックス要素であるＣＵ分割フラグ(split_cu_flag)を復号する。

（Ｓ１４２２）ＣＵ情報復号部１１は、それ以外の場合（対数ＣＵサイズlog2CbSizeがMinCbLog2SizeY以下）、つまり、符号化データ＃１にＣＵ分割フラグsplit_cu_flagが現れない場合には、符号化データ＃１からのＣＵ分割フラグsplit_cu_flagの復号を省略し、ＣＵ分割フラグsplit_cu_flagを０として導出する。

（Ｓ１４３１）ＣＵ情報復号部１１は、ＣＵ分割フラグsplit_cu_flagが０以外（＝１）である場合（ＳＹＮ１４３１）には、対象符号化ツリーに含まれる１つ以上の符号化ツリーを復号する。ここでは、対数ＣＴサイズlog2CbSize − 1、ＣＴ階層 cqtDepth + 1である位置(x0, y0)、(x1, y0)、(x0, y1)、(x1, y1)の４つの下位の符号化ツリーＣＴを復号する。ＣＵ情報復号部１１は、下位の符号化ツリーＣＴにおいても、Ｓ１４１１から開始されるＣＴ復号処理Ｓ１４００を継続する。

coding_quadtree( x0, y0, log2CbSize − 1, cqtDepth + 1 ) （ＳＹＮ１４４１Ａ）
coding_quadtree( x1, y0, log2CbSize − 1, cqtDepth + 1 ) （ＳＹＮ１４４１Ｂ）
coding_quadtree( x0, y1, log2CbSize − 1, cqtDepth + 1 ) （ＳＹＮ１４４１Ｃ）
coding_quadtree( x1, y1, log2CbSize − 1, cqtDepth + 1 ) （ＳＹＮ１４４１Ｄ）
ここで、x0, y0は、対象符号化ツリーの左上座標、x1、y1は、以下の式のように、ＣＴ座標に、対象ＣＴサイズ（1<< log2CbSize）の1/2を加えて導出される座標である。

x1 = x0 + ( 1<<( log2CbSize − 1 ) )
y1 = y0 + ( 1<<( log2CbSize − 1 ) )
なお、<<は左シフトを示す。1<<Nは2^Nと同値である（以下同様）。同様に以下>>は右シフトを示す。

それ以外の場合（ＣＵ分割フラグsplit_cu_flagが０の場合）には、符号化ユニットを復号するためＳ１５００に遷移する。

（Ｓ１４４１）上述のように、再帰的に符号化ツリーcoding_quadtreeを復号する前に、以下の式により、符号化ツリーの階層を示すＣＴ階層cqtDepthに１を加算し、符号化ユニットサイズである対数ＣＵサイズlog2CbSizeを１だけ減算（符号化ユニットサイズを1/2）して更新する。

cqtDepth＝cqtDepth＋１
log2CbSize＝log2CbSize−１
（Ｓ１５００）ＣＵ情報復号部１１は、符号化ユニットＣＵcoding_unit( x0, y0, log2CbSize )を復号する（ＳＹＮ１４５０）。ここで、x0, y0は、符号化ユニットの座標である。符号化ツリーのサイズであるlog2CbSizeは、ここでは符号化ユニットのサイズに等しい。

［ＰＵ情報復号部］
ＰＵ情報復号部１２は、復号モジュール１０を用いて、ＣＵ情報復号部１１から供給されるＰＴ情報ＰＴＩについて、ＰＵレベルでの復号処理を行う。ＰＵ情報復号部１２は、具体的には、以下の手順によりＰＴ情報ＰＴＩを復号する。

ＰＵ情報復号部１２は、ＰＵ分割タイプ情報Ｐａｒｔ＿ｔｙｐｅを参照して、対象予測ツリーにおけるＰＵ分割タイプを決定する。続いて、ＰＵ情報復号部１２は、対象予測ツリーに含まれる各ＰＵを順に対象ＰＵとして、対象ＰＵに対応するＰＵ情報の復号処理を実行する。

すなわち、ＰＵ情報復号部１２は、対象ＰＵに対応するＰＵ情報から、予測画像の生成に用いられる各パラメータの復号処理を行う。

ＰＵ情報復号部１２は、対象ＰＵについて復号したＰＵ情報を、予測画像生成部１４に供給する。

より詳細には、ＣＵ情報復号部１１及びＰＵ情報復号部１２は、図６に示すように以下の動作を行う。図６は、Ｓ１６００に示されるＰＵ情報復号の概略的動作を説明するフローチャートである。

図１０は、本発明の一実施形態に係るＣＵ情報、ＰＴ情報ＰＴＩ、ＴＴ情報ＴＴＩのシンタックス表の構成例を示す図である。図１１は、本発明の一実施形態に係るＰＴ情報ＰＴＩのシンタックス表の構成例を示す図である。

Ｓ１５１１ＣＵ情報復号部１１は、符号化データ＃１からスキップフラグskip_flagを復号する。

Ｓ１５１２ＣＵ情報復号部１１は、スキップフラグskip_flagが０以外（＝１）か否かを判定する。スキップフラグskip_flagが０以外（＝１）の場合には、ＰＵ情報復号部１２は、符号化データ＃１からの予測タイプＰｒｅｄ＿ｔｙｐｅであるＣＵ予測方式情報PredModeとＰＵ分割タイプ情報PartModeの復号を省略し、各々、インター予測、分割しない（２Ｎ×２Ｎ）を導出する。また、スキップフラグskip_flagが０以外（＝１）の場合には、ＴＵ情報復号部１３は、Ｓ１７００で示される符号化データ＃１からのＴＴ情報ＴＴＩの復号処理を省略し、対象ＣＵはＴＵ分割なし、かつ、対象ＣＵの量子化予測残差TransCoeffLevel[][]が０であると導出する。

Ｓ１６１１ＰＵ情報復号部１２は、符号化データ＃１からＣＵ予測方式情報PredMode（シンタックス要素pred_mode_flag）を復号する。

Ｓ１６２１ＰＵ情報復号部１２は、符号化データ＃１からＰＵ分割タイプ情報PartMode（シンタックス要素part_mode）を復号する。

Ｓ１６３１ＰＵ情報復号部１２は、ＰＵ分割タイプ情報Ｐａｒｔ＿ｔｙｐｅの示すＰＵ分割数に応じて対象ＣＵが含む各ＰＵ情報を符号化データ＃１から復号する。

例えば、ＰＵ分割タイプが２Ｎｘ２Ｎの場合には、ＣＵを１つのＰＵとする下記の１つのＰＵ情報ＰＵＩを復号する。

prediction_unit( x0, y0, nCbS, nCbS ) （ＳＹＮ１６３１Ａ）
ＰＵ分割タイプが２ＮｘＮの場合には、ＣＵを上下に分割する下記の２つのＰＵ情報ＰＵＩを復号する。

prediction_unit( x0, y0, nCbS, nCbS ) （ＳＹＮ１６３１Ｂ）
prediction_unit( x0, y0 + ( nCbS / 2 ), nCbS, nCbS / 2 ) （ＳＹＮ１６３１Ｃ）
ＰＵ分割タイプがＮｘ２Ｎの場合には、ＣＵを左右に分割する下記の２つのＰＵ情報ＰＵＩを復号する。

prediction_unit( x0, y0, nCbS, nCbS ) （ＳＹＮ１６３１Ｄ）
prediction_unit( x0 + ( nCbS / 2 ), y0, nCbS / 2, nCbS ) （ＳＹＮ１６３１Ｅ）
ＰＵ分割タイプがＮｘＮの場合には、ＣＵを四等分する下記の４つのＰＵ情報ＰＵＩを復号する。

prediction_unit( x0, y0, nCbS, nCbS ) （ＳＹＮ１６３１Ｆ）
prediction_unit( x0 + ( nCbS / 2 ), y0, nCbS / 2, nCbS ) （ＳＹＮ１６３１Ｇ）
prediction_unit( x0, y0 + ( nCbS / 2 ), nCbS, nCbS / 2 ) （ＳＹＮ１６３１Ｈ）
prediction_unit( x0 + ( nCbS / 2 ), y0 + ( nCbS / 2 ), nCbS / 2, nCbS / 2 ) （ＳＹＮ１６３１Ｉ）
Ｓ１６３２スキップフラグが１の場合は、ＰＵ分割タイプを２Ｎｘ２Ｎとし、１つのＰＵ情報ＰＵＩを復号する。

prediction_unit( x0, y0, nCbS, nCbS ) （ＳＹＮ１６３１Ｓ）
Ｓ１７００発明の一実施形態に係るＣＵ情報復号部１１（ＣＵ情報復号Ｓ１５００）、ＰＵ情報復号部１２（ＰＵ情報復号Ｓ１６００）、ＴＵ情報復号部１３（ＴＴ情報復号Ｓ１７００）の概略的動作を説明するフローチャートである。

［ＴＵ情報復号部］
ＴＵ情報復号部１３は、復号モジュール１０を用いて、ＣＵ情報復号部１１から供給されるＴＴ情報ＴＴＩについて、ＴＵレベルでの復号処理を行う。ＴＵ情報復号部１３は、具体的には、以下の手順によりＴＴ情報ＴＴＩを復号する。

ＴＵ情報復号部１３は、ＴＴ分割情報ＳＰ＿ＴＵを参照して、対象変換ツリーをノードまたはＴＵに分割する。なお、ＴＵ情報復号部１３は、対象ノードについて、さらに分割を行うことが指定されていれば、再帰的にＴＵの分割処理を行う。

分割処理が終了すると、ＴＵ情報復号部１３は、対象予測ツリーに含まれる各ＴＵを順に対象ＴＵとして、対象ＴＵに対応するＴＵ情報の復号処理を実行する。

すなわち、ＴＵ情報復号部１３は、対象ＴＵに対応するＴＵ情報から、変換係数の復元に用いられる各パラメータの復号処理を行う。

ＴＵ情報復号部１３は、対象ＴＵについて復号したＴＵ情報を、逆量子化・逆変換部１５に供給する。

より詳細には、ＴＵ情報復号部１３は、図７に示すように以下の動作を行う。図７は、発明の一実施形態に係るＴＵ情報復号部１３（ＴＴ情報復号Ｓ１７００）の概略的動作を説明するフローチャートである。

（Ｓ１７１１）ＴＵ情報復号部１３は、符号化データ＃１から対象ＣＵが０以外の残差（量子化予測残差）を有するか否かを示すＣＵ残差フラグrqt_root_cbf（ＳＹＮ１７１１に示すシンタックス要素）を復号する。

（Ｓ１７１２）ＴＵ情報復号部１３は、ＣＵ残差フラグrqt_root_cbfが０以外（＝１）の場合（ＳＹＮ１７１２）、ＴＵを復号するためにＳ１７２１に遷移する。逆に、ＣＵ残差フラグrqt_root_cbfが０の場合には、対象ＣＵのＴＴ情報ＴＴＩを符号化データ＃１から復号する処理を省略し、ＴＴ情報ＴＴＩとして、対象ＣＵはＴＵ分割なし、かつ、対象ＣＵの量子化予測残差が０であるとして導出する。

（Ｓ１７１３）ＴＵ情報復号部１３は、再帰的に分割される変換ツリーを管理するための変数を初期化する。具体的には、下記式のように、変換ツリーの階層を示すＴＵ階層trafoDepthに０を設定し、変換ユニットサイズであるＴＵサイズ（ここでは対数ＴＵサイズlog2TrafoSize）として符号化ユニットのサイズ（ここでは対数ＣＴサイズlog2CbSize）を設定する。

trafoDepth = 0
log2TrafoSize = log2CbSize
続いて、最上位（ルート）の変換ツリーtransform_tree( x0, y0, x0, y0, log2CbSize, 0, 0 )を復号する（ＳＹＮ１７２０）。ここで、x0, y0は、対象ＣＵの座標である。

以下、ＴＵ情報復号部１３は再帰的に、変換ツリーＴＵ（transform_tree）を復号する。

（Ｓ１７２０）。変換ツリーＴＵは、再帰的な分割により得られるリーフノード（変換ブロック）のサイズが所定のサイズになるように分割される。つまり、変換の最大サイズMaxTbLog2SizeY以下、最小サイズMinTbLog2SizeY以上になるように分割する。例えば最大サイズMaxTbLog2SizeYは６４×６４を示す６、最小サイズMinTbLog2SizeYは４×４を示す２などが適当である。変換ツリーＴＵが最大サイズMaxTbLog2SizeYより大きい場合には変換ツリーを分割しないと、変換ブロックが最大サイズMaxTbLog2SizeY以下にならないため、必ず分割する。また、変換ツリーＴＵが最小サイズMinTbLog2SizeYの場合には分割すると変換ブロックが最小サイズMinTbLog2SizeY未満となるので分割しない。また、再帰的な階層が深くなりすぎないように、対象ＴＵの階層trafoDepthとして最大ＴＵ階層（MaxTrafoDepth）以下となるように、制限することが適当である。
（Ｓ１７２１）ＴＵ情報復号部１３に含まれるＴＵ分割フラグ復号部は、対象ＴＵサイズ（例えば対数ＴＵサイズlog2TrafoSize）が、所定の変換サイズの範囲（ここではMaxTbLog2SizeY以下、MinTbLog2SizeYより大きい）にある、か、対象ＴＵの階層trafoDepthが所定の階層MaxTrafoDepth未満の場合には、ＴＵ分割フラグ(split_transform_flag)を復号する。より具体的には、対数ＴＵサイズlog2TrafoSize <=最大ＴＵサイズMaxTbLog2SizeY かつ対数ＴＵサイズlog2TrafoSize > 最小ＴＵサイズMinTbLog2SizeY かつＴＵ階層trafoDepth＜最大ＴＵ階層MaxTrafoDepth の場合には、ＴＵ分割フラグ(split_transform_flag)を復号する。

（Ｓ１７３１）ＴＵ情報復号部１３に含まれるＴＵ分割フラグ復号部は、Ｓ１７２１の条件に従って、ＴＵ分割フラグsplit_transform_flagを復号する。

（Ｓ１７３２）ＴＵ情報復号部１３に含まれるＴＵ分割フラグ復号部は、それ以外の場合、つまり、符号化データ＃１にsplit_transform_flagが現れない場合には、符号化データ＃１からのＴＵ分割フラグsplit_transform_flagの復号を省略し、対数ＴＵサイズlog2TrafoSizeが最大ＴＵサイズMaxTbLog2SizeYより大きい場合には、ＴＵ分割フラグsplit_transform_flagを分割する（＝１）として導出し、それ以外の場合（対数ＴＵサイズlog2TrafoSizeが最小ＴＵサイズMaxTbLog2SizeYと等しい、または、ＴＵ階層trafoDepthが最大ＴＵ階層MaxTrafoDepthと等しい）には、ＴＵ分割フラグsplit_transform_flagを分割しない（＝０）として導出する。

（Ｓ１７４１）ＴＵ情報復号部１３に含まれるＴＵ分割フラグ復号部は、ＴＵ分割フラグsplit_transform_flagが分割することを示す０以外（＝１）である場合には、対象符号化ユニットＣＵに含まれる変換ツリーを復号する。ここでは、対数ＣＴサイズlog2CbSize − 1、ＴＵ階層 trafoDepth + 1 である位置(x0, y0)、(x1, y0)、(x0, y1)、(x1, y1)の４つの下位の変換ツリーＴＴを復号する。ＴＵ情報復号部１３は、さらに下位の符号化ツリーＴＴにおいてもＳ１７１１から開始されるＴＴ情報復号処理Ｓ１７００を継続する。

transform_tree( x0, y0, x0, y0, log2TrafoSize−1, trafoDepth+1, 0 ) （ＳＹＮ１７４１Ａ）
transform_tree( x1, y0, x0, y0, log2TrafoSize−1, trafoDepth+1, 1 ) （ＳＹＮ１７４１Ｂ）
transform_tree( x0, y1, x0, y0, log2TrafoSize−1, trafoDepth+1, 2 ) （ＳＹＮ１７４１Ｃ）
transform_tree( x1, y1, x0, y0, log2TrafoSize−1, trafoDepth+1, 3 ) （ＳＹＮ１７４１Ｄ）
ここで、x0, y0は、対象変換ツリーの左上座標、x1、y1は、以下の式のように、変換ツリー座標(x0, y0)に、対象ＴＵサイズ（1<<log2TrafoSize）の1/2を加えて導出される座標である。

x1 = x0 + ( 1<<( log2TrafoSize − 1 ) )
y1 = y0 + ( 1<<( log2TrafoSize − 1 ) )
それ以外の場合（ＴＵ分割フラグsplit_transform_flagが０の場合）には、変換ユニットを復号するためＳ１７５１に遷移する。

上述のように、再帰的に変換ツリーtransform_treeを復号する前に、以下の式により、変換ツリーの階層を示すＴＵ階層trafoDepthに１を加算し、対象ＴＵサイズである対数ＣＴサイズlog2TrafoSizeを１だけ減算して更新する。

trafoDepth＝trafoDepth＋１
log2TrafoSize＝log2TrafoSize−１
（Ｓ１７５１）ＴＵ情報復号部１３は、ＴＵ分割フラグsplit_transform_flagが０の場合に、対象ＴＵに残差が含まれているかを示すＴＵ残差フラグを復号する。ここでは、ＴＵ残差フラグとして、対象ＴＵの輝度成分において残差が含まれているかを示す輝度残差フラグcbf_lumaを用いるがこれに限らない。

（Ｓ１７６０）ＴＵ情報復号部１３は、ＴＵ分割フラグsplit_transform_flagが０の場合に、ＳＹＮ１７６０に示す変換ユニットＴＵtransform_unit( x0, y0, xBase, yBase, log2TrafoSize, trafoDepth, blkIdx )を復号する。

図８は、発明の一実施形態に係るＴＵ情報復号部１３（ＴＵ情報復号Ｓ１６００）の概略的動作を説明するフローチャートである。

図１２は、本発明の一実施形態に係るＴＴ情報ＴＴＩのシンタックス表の構成例を示す図である。図１３は、本発明の一実施形態に係るＴＵ情報のシンタックス表の構成例を示す図である。

（Ｓ１７６１）ＴＵ情報復号部１３は、ＴＵに残差が含まれているか（ＴＵ残差フラグが０以外か否か）を判定する。なお、ここ（ＳＹＮ１７６１）では、ＴＵに残差が含まれているかを、以下の式で導出されるcbfLuma || cbfChromaにより判定しているが、これに限らない。つまり、ＴＵ残差フラグとしては、対象ＴＵの輝度成分に残差が含まれているかを示す輝度残差フラグcbf_lumaを用いても良い。

cbfLuma = cbf_luma[ x0 ][ y0 ][ trafoDepth ]
cbfChroma = cbf_cb[ xC ][ yC ][ cbfDepthC ] | | cbf_cr[ xC ][ yC ][ cbfDepthC ])
なお、cbf_cb、cbf_crは、符号化データ＃１から復号されるフラグであり、対象ＴＵの色差成分Ｃｂ、Ｃｒに残差が含まれているか、｜｜は、論理和を示す。ここでは、ＴＵの輝度位置(x0、y0)、色差位置(xC、yC)、ＴＵ深度trafoDepth、cfbDepthCのシンタックス要素cbf_luma、cbf_cb、cbf_crから輝度のＴＵ残差フラグcbfLuma、色差のＴＵ残差フラグcbfChromaを導出し、その和（論理和）を対象ＴＵのＴＵ残差フラグとして導出している。

（Ｓ１７７１）ＴＵ情報復号部１３は、ＴＵに残差が含まれている場合（ＴＵ残差フラグが０以外の場合には、ＱＰ更新情報（量子化補正値）を復号する。ここで、ＱＰ更新情報は、量子化パラメータQPの予測値である量子化パラメータ予測値qPpredからの差分値を示す値である。ここでは、差分値は符号化データのシンタックス要素として絶対値cu_qp_delta_absと符号cu_qp_delta_sign_flagから復号するが、これに限らない。

（Ｓ１７８１）ＴＵ情報復号部１３は、ＴＵ残差フラグ（ここではcbfLuma）が０以外か否かを判定する。

（Ｓ１８００）ＴＵ情報復号部１３は、ＴＵ残差フラグ（ここではcbfLuma）が０以外の場合には、量子化予測残差を復号する。なお、ＴＵ情報復号部１３は、量子化予測残差として複数の色成分を順に復号しても良い。図の例では、ＴＵ情報復号部１３は、ＴＵ残差フラグ（ここではcbfLuma）が０以外の場合には、輝度量子化予測残差（第１色成分）residual_coding( x0, y0, log2TrafoSize−rru_flag, 0 )、第２色成分残差フラグcbf_cbが０以外の場合にはresidual_coding( x0, y0, log2TrafoSize−rru_flag, 0 )、、第３色成分量子化予測残差residual_coding( x0, y0, log2TrafoSizeC−rru_flag, 2 )を復号する。

［予測画像生成部］
予測画像生成部１４は、対象ＣＵに含まれる各ＰＵについて、ＰＴ情報ＰＴＩに基づいて予測画像を生成する。具体的には、予測画像生成部１４は、対象予測ツリーに含まれる各対象ＰＵについて、対象ＰＵに対応するＰＵ情報ＰＵＩに含まれるパラメータに従ってイントラ予測またはインター予測を行うことにより、復号済み画像である局所復号画像Ｐ’から予測画像Ｐｒｅｄを生成する。予測画像生成部１４は、生成した予測画像Ｐｒｅｄを加算器１７に供給する。

なお、予測画像生成部１４が、動き補償予測パラメータ（動きベクトル、参照画像インデックス、インター予測フラグ）に基づいて対象ＣＵに含まれるＰＵの予測画像を生成する手法について説明すると以下のとおりである。

インター予測フラグが単予測を示す場合、予測画像生成部１４は、参照画像インデックスの示す参照画像の動きベクトルが示す場所に位置する復号画像に相当する予測画像を生成する。

一方、インター予測フラグが双予測を示す場合には、予測画像生成部１４は、２組の参照画像インデックスと動きベクトルとの組み合わせのそれぞれについて動き補償により予測画像を生成し、平均を算出することで、または、各予測画像を対象ピクチャと各参照画像との表示時間間隔に基づいて重み付け加算することで、最終的な予測画像を生成する。

［逆量子化・逆変換部］
逆量子化・逆変換部１５は、対象ＣＵに含まれる各ＴＵについて、ＴＴ情報ＴＴＩに基づいて逆量子化・逆変換処理を実行する。具体的には、逆量子化・逆変換部１５は、対象変換ツリーに含まれる各対象ＴＵについて、対象ＴＵに対応するＴＵ情報ＴＵＩに含まれる量子化予測残差を逆量子化および逆直交変換することによって、画素毎の予測残差Ｄを復元する。なお、ここで直交変換とは、画素領域から周波数領域への直交変換のことを指す。したがって、逆直交変換は、周波数領域から画素領域への変換である。また、逆直交変換の例としては、逆ＤＣＴ変換（Inverse Discrete Cosine Transform）、および逆ＤＳＴ変換（Inverse Discrete Sine Transform）等が挙げられる。逆量子化・逆変換部１５は、復元した予測残差Ｄを加算器１７に供給する。

［フレームメモリ］
フレームメモリ１６には、復号された復号画像Ｐが、当該復号画像Ｐの復号に用いられたパラメータと共に、順次記録される。フレームメモリ１６には、対象ツリーブロックを復号する時点において、当該対象ツリーブロックよりも先に復号された全てのツリーブロック（例えば、ラスタスキャン順で先行する全てのツリーブロック）に対応する復号画像が記録されている。フレームメモリ１６に記録される復号パラメータの例としては、ＣＵ予測方式情報（PredMode）などが挙げられる。

［加算器］
加算器１７は、予測画像生成部１４より供給される予測画像Ｐｒｅｄと、逆量子化・逆変換部１５より供給される予測残差Ｄとを加算することによって、対象ＣＵについての復号画像Ｐを生成する。なお、加算器１７は、さらに、後述のように、復号画像Ｐを拡大する処理を実行しても良い。

なお、動画像復号装置１において、画像内の全てのツリーブロックに対して、ツリーブロック単位の復号画像生成処理が終わった時点で、動画像復号装置１に入力された１フレーム分の符号化データ＃１に対応する復号画像＃２が外部に出力される。

＜本発明の構成＞
本発明の動画像復号装置１は、ピクチャを符号化ツリーブロック単位に分割して復号する画像復号装置で、符号化ツリーブロックを、ルートの符号化ツリーとして再帰的に分割する符号化ツリー分割部（ＣＵ情報復号部１１）を備え、符号化ツリーを分割するか否かを示す、ＣＵ分割フラグを復号するＣＵ分割フラグ復号部と、符号化ツリー以下の残差を第１のモードで復号するか、第１のモードよりとは異なる第２のモードで復号するかを示す、残差モードＲＲＵ（rru_flag、解像度変換モード）を復号する残差モード復号部を備える。

以下、残差モードrru_flag＝０を第１のモード、残差モードrru_flag＝１を第２のモードを例に説明するが、値の割り当てはこれに限らない。また、残差モードは例えば通常の解像度（第１のモード）と、縮小解像度（第２のモード）の２つに限定されず、例えば、第２のモードとして、水平縮小解像度（rru_mode=1）、垂直縮小解像度（rru_mode=2）、水平垂直縮小解像度（rru_mode=3）を用いても良い。

以下、本発明の動画像復号装置１に関し、Ｐ１：残差モードに応じたＴＵ情報復号部１３のＴＵ情報復号、Ｐ２：残差モードに応じたブロック画素値復号、Ｐ３：残差モードに応じた量子化制御、Ｐ４：残差モードrru_flagの復号、Ｐ５：残差モードによるフラグ復号制限、Ｐ６：スライスレベルで解像度変更（残差モード変更）の順に説明する。

＜＜Ｐ１：残差モードに応じたＴＵ情報復号＞＞
既に、図７を用いて説明した通り（Ｓ１７５１、ＳＮ１７５１）、ＴＵ情報復号部１３は、ＴＵ分割フラグsplit_transform_flagが０の場合に、ＴＵ残差フラグcbf_lumaを復号する。

（Ｓ１７６０）ＴＵ情報復号部１３は、変換ユニットＴＵtransform_unit( x0, y0, xBase, yBase, log2TrafoSize, trafoDepth, blkIdx )を復号し、量子化予測残差をえる。図１５は、本発明の一実施形態に係る量子化予測残差情報のシンタックス表の構成例を示す図である。

図１６は、発明の一実施形態に係るＴＵ情報復号部１３（ＴＵ情報復号１７６０Ａ）の概略的動作を説明するフローチャートである。Ｓ１７６１、Ｓ１７７１、Ｓ１７８１は、ＴＵ情報復号Ｓ１７６０で既に説明した通りなので説明を省略する。ＴＵ情報復号１７６０ＡではＳ１８００の代わりにＳ１８００Ａの処理を行う。

（Ｓ１８００Ａ）ＴＵ情報復号部１３は、ＴＵ残差フラグ（ここではcbfLuma）が０以外の場合には、対象領域（対象ＴＵ）の量子化予測残差を復号する。本実施形態では、残差モードrru_flagが第１のモード（＝０）の場合には、対象ＴＵに対応する領域のサイズ（ＴＵサイズ）の量子化予測残差を復号し、残差モードrru_flagが第２のモード（！＝０）の場合には、ＴＵサイズの半分のサイズの量子化予測残差を復号する。例えば、ＴＵサイズが３２×３２の場合には、残差モードrru_flagが第１のモード（＝０）の場合には、３２×３２の残差を復号し、残差モードrru_flagが第１のモード（＝０）の場合には、１６×１６の残差を復号する。ＴＵサイズが対数量子化サイズlog2TrafoSizeである場合には、（1<< log2TrafoSize）×（1<< log2TrafoSize）のサイズの量子化予測残差を復号する。なお、量子化サイズは変換のサイズ（逆変換のサイズ）に対応する。

なお、残差モードrru_flagが第２のモード（！＝０）の場合に、水平方向のみ量子化予測残差のサイズを半分にすることも可能であり、その場合、残差モードrru_flagが第２のモード（！＝０）の場合に、（1<< (log2TrafoSize−1)）×（1<< log2TrafoSize）のサイズの量子化予測残差を復号する。

なお、残差モードrru_flagが第２のモード（！＝０）の場合に、垂直方向のみ量子化予測残差のサイズを半分にすることも可能であり、その場合、残差モードrru_flagが第２のモード（！＝０）の場合に、（1<< log2TrafoSize）×（1<< (log2TrafoSize−1)）のサイズの量子化予測残差を復号する。

実際に復号する量子化予測残差ブロックサイズについては対数サイズとしてlog2TrafoSize−rru_flagで導出しても良い。つまり、残差モードrru_flagが第１のモード（＝０）の場合、対数量子化予測残差ブロックのサイズは対数ＴＵサイズlog2TrafoSize、残差モードrru_flagが第２のモード（！＝０）の場合、対数量子化予測残差ブロックのサイズは対数ＴＵサイズlog2TrafoSize−1とする。

図１６のフローチャートを用いて、Ｓ１８００Ａの動作の詳細を説明すると以下になる。

（Ｓ１８１１）ＴＵ情報復号部１３は、残差モードrru_flagが第１のモード（＝０）であるかを判定する。

（Ｓ１８２１）ＴＵ情報復号部１３は、残差モードrru_flagが第１のモード（＝０）の場合、量子化予測残差ブロックのサイズにＴＵサイズ（対数量子化予測残差ブロックサイズをlog2TrafoSize）とする。量子化予測残差ブロックサイズ（＝逆変換サイズ）は、（1<<log2TrafoSize）×（1<<log2TrafoSize）。

（Ｓ１８２２）ＴＵ情報復号部１３は、残差モードrru_flagが第２のモード（！＝０）の場合、量子化予測残差ブロックのサイズにＴＵサイズの1/2とする（対数量子化予測残差ブロックサイズをlog2TrafoSize-rru_flag= log2TrafoSize-1）とする。量子化予測残差ブロックサイズ（＝逆変換サイズ）は、（1<<(log2TrafoSize-1)）×（1<<(log2TrafoSize-1)）。

（Ｓ１８３１）ＴＵ情報復号部１３は、量子化予測残差ブロックのサイズ（対数量子化予測残差ブロックサイズ）の残差を導出する。

なお、上記のフローチャートでは、輝度について扱っているが別の色成分についても同様の処理をすれば良い。すなわち、色差のＴＵサイズがlog2TrafoSizeCの場合、残差モードrru_flagが第１のモード（＝＝０）の場合には、log2TrafoSizeCのサイズの量子化予測残差を復号し、残差モードrru_flagが第２のモード（！＝０）の場合には、log2TrafoSizeC−1のサイズの量子化予測残差を復号する。以上の構成では、実際の対象ＴＵサイズ（変換ブロックサイズ）よりも小さい（例えば対象ＴＵサイズの1/2の残差情報）だけの量子化予測残差を符号化データから復号することにより、対象ＴＵサイズの予測残差Ｄを導出することができ、残差情報の符号量を低減させる効果を奏する。また、残差情報の復号処理を簡略化する効果を奏する。

縮小されたブロックの量子化予測残差を復号して処理する場合には、どこかで拡大することが適当である、以下、予測残差画像の段階で拡大する方法（Ｐ２Ａ）と、復号画像の段階で復号する方法（Ｐ２Ｂ）について説明する。但し、拡大する方法は以下の２つによらず、例えば、復号画像のブロックを保存するフレームバッファに格納する時点で拡大しても良いし、フレームバッファから予測や再生などにおいて読み出す際に拡大しても構わない。

＜＜Ｐ２：残差モードに応じたブロック画素値復号の構成＞＞
＜Ｐ２Ａ：残差モードに応じた予測残差Ｄ拡大＞
動画像復号装置１の一つの構成を説明する。

図１７は、発明の一実施形態に係る予測画像生成部１４（予測残差生成Ｓ２０００）、逆量子化・逆変換部１５（逆量子化・逆変換Ｓ３０００Ａ）、加算器１７（復号画像生成Ｓ４０００）の概略的動作を説明するフローチャートである。

（Ｓ３０００Ａ）
（Ｓ３０１１）逆量子化・逆変換部１５は、対象ＣＵに含まれる各ＴＵについて、ＴＴ情報ＴＴＩに基づいて予測残差残差TransCoeffLevelの逆量子化を実行する。例えば、以下の式により、予測残差残差TransCoeffLevelを逆量子化予測残差d[][]に変換する。
d[ x ][ y ] = Clip3( coeffMin, coeffMax, ( ( TransCoeffLevel[ x ][ y ] * m[ x ][ y ] *levelScale[ qP%6 ] << (qP / 6 ) ) + ( 1 << ( bdShift − 1 ) ) ) >> bdShift )
ここで、coeffMin, coeffMaxは、逆量子化予測残差の最小値と最大値、Clip3(x, y, z)は、zをx以上、y以下の値に制限するクリップ関数である。m[x][y]は、スケーリングリストと呼ばれる周波数位置(x, y)毎の逆量子化の重みを示すマトリックスである。スケーリングリストm[][]は、例えば、ＰＰＳから復号しても良いし、m[x][y]として、周波数位置によらない固定値（例えば１６）を用いても良い。qPは、対象ブロックの量子化パラメータ（例えば０から５１）、levelScale[ qP%6 ]、bdShiftはおのおの量子化パラメータから導出される量子化スケール及び量子化シフト値である。量子化予測残差に、量子化スケールを掛けて、量子化シフト値で右シフトすることにより、整数演算により、小数点精度の量子化ステップを量子化予測残差にかけることと等価な演算を実現している。ここで、変換ブロックサイズをnTbS（＝1<< log2TrafoSize）とすると、levelScale[ qP%6 ]（＝32*2^(qP+1)/6）は、たとえば{ 40, 45, 51, 57, 64, 72 }、bdShift = BitDepthY+log2(nTbS)−５から導出すれば良い。

（Ｓ３０２１）逆量子化・逆変換部１５は、逆量子化された残差をＴＴ情報ＴＴＩに基づいて逆変換を実行し、予測残差Ｄを導出する。

例えば、以下の式により、逆量子化予測残差d[][]を予測残差g[ x ][ y ]に変換する。まず、逆量子化・逆変換部１５は、垂直方向１次元変換により、中間値e[x][y]を導出する。

e[x][y] = Σ （transMatrix[y][j]×d[x][j]）
ここで、transMatrix[][]は、変換ブロックサイズnTbS毎に定まるnTbS×nTbSの行列である。４×４変換（nTbS=4）の場合には、例えばtransMatrix[][] ={{29 55 74 84}{74 74 0 −74}{84 −29 −74 55}{55 −84 74 −29}}を用いてもよい。Σの記号は、添え字jについて、j=0.. nTbS−１までの行列transMatrix[y][j]とd[x][j]の積を加算する処理を意味する。つまり、e[x][y]は、d[x][y]の各列（column）であるd[x][j](j=0.. nTbS−１)と行列transMatrixの積から得られる列を並べて得られる。

逆量子化・逆変換部１５は、中間値e[][]をクリップし、g[x][y]を導出する。

g[ x ][ y ] = Clip3( coeffMin, coeffMax, ( e[ x ][ y ] + 64 ) >> 7 )
逆量子化・逆変換部１５は、水平方向１次元変換により、予測残差r[x][y]を導出する。

r[x][y] =Σ transMatrix[x][j]×g[j][y]
上記記号Σは、添え字jについて、j=0.. nTbS−１までの行列transMatrix[x][j]とg[j][y]の積を加算する処理を意味する。つまり、r[x][y]は、g[x][y]の各行（row）であるg[j][y](j=0.. nTbS−１)と行列transMatrixの積から得られる行を並べて得られる。

（Ｓ３０３５）逆量子化・逆変換部１５は、残差モードが第２のモードを示す場合（！＝０）、逆量子化・逆変換後の予測残差ＤをＴＵサイズに拡大する（Ｓ３０３６）。それ以外（残差モードが第１のモードである０）の場合は、逆量子化・逆変換後の予測残差ＤをＴＵサイズに拡大しない。

例えば、逆量子化・逆変換部１５は、予測残差rlPicSampleL [x][y]を以下の式により拡大する。r´[][][]は拡大後の予測残差である。
tempArray[ n ] = ( fL[ xPhase, 0 ] * rlPicSampleL[xRef−３, yPosRL ] +
fL[ xPhase, 1 ] * rlPicSampleL[xRef−２, yPosRL ] +
fL[ xPhase, 2 ] * rlPicSampleL[xRef−１, yPosRL ] +
fL[ xPhase, 3 ] * rlPicSampleL[xRef−０, yPosRL ] +
fL[ xPhase, 4 ] * rlPicSampleL[xRef＋１, yPosRL ] +
fL[ xPhase, 5 ] * rlPicSampleL[xRef＋２, yPosRL ] +
fL[ xPhase, 6 ] * rlPicSampleL[xRef＋３, yPosRL ] +
fL[ xPhase, 7 ] * rlPicSampleL[xRef＋４, yPosRL ] +offset1)>>shift1
r´ = ( fL[ yPhase, 0 ] * tempArray [0 ] +
fL[ yPhase, 1 ] * tempArray [1 ] +
fL[ yPhase, 2 ] * tempArray [2 ] +
fL[ yPhase, 3 ] * tempArray [3 ] +
fL[ yPhase, 4 ] * tempArray [4 ] +
fL[ yPhase, 5 ] * tempArray [5 ] +
fL[ yPhase, 6 ] * tempArray [6 ] +
fL[ yPhase, 7 ] * tempArray [7 ] +offset2)>>shift2
ここで、xRef, yRefRLは、参照画素の整数座標、xPhase、yPhaseは理想参照画素座標と参照画素整数座標のズレを1/16画素精度で表現したフェーズ、fL[i, j]は、フェーズがiの場合に参照画素の整数座標からの相対位置jに応じた重み、offset1、offset2はラウンド用変数で各々(1<<(shift1-1))、(1<<(shift2-1))を用いる、shift1、shift2は重みを乗算した後に元の値の範囲に正規化するためのシフト値である。上記では、分離型フィルタを用いたフィルタ処理により拡大を実現しているが、この限りではない。例えば拡大率を2倍とする場合、上記値は、対象画素の位置を(x, y)から、xRef = x >> 1、yRefRL=y>>1、xPhase=((x×16)>>1) - xRef×16、yPhase=((y×16)>>1) - xRefRL×16により導出しても良い。

フィルタ係数fLは、例えば、2倍の拡大で発生する整数位置(フェーズ=0)及び、1/2画素ズレ位置（1/16画素精度のフェーズでは、フェース=8）に対しては、各々、以下の値を用いても良い。
fL[ 0, n] = {0, 0, 0, 64, 0, 0, 0, 0}
fL[ 8, n] = {-1, 4, -11, 40, 40, 11, 4, 1}
また、拡大率は2倍に限定されず、1.33倍、1.6倍、(2倍)、2.66倍、4倍等であっても良い。上記の拡大率は各々、量子化予測残差（逆変換）のサイズが12、10、（8）、6、4の場合に、拡大後のサイズを16に拡大する場合に相当する値である。

以上の構成では、残差モードが第２のモード（！＝０）の場合には、逆量子化・逆変換部１５は、変換画像を拡大する。従って、実際の対象ＴＵサイズよりも小さい（例えば対象ＴＵサイズの1/2の残差情報）だけを復号することにより、対象ＴＵサイズの予測残差Ｄを導出することができ、残差情報の符号量を低減させる効果を奏する。また、残差情報の復号処理を簡略化する効果を奏する。

＜Ｐ２Ｂ：残差モードに応じた復号画像拡大＞
動画像復号装置１の一つの構成を説明する。

図１８は、発明の一実施形態に係る予測画像生成部１４（予測残差生成Ｓ２０００）、逆量子化・逆変換部１５（逆量子化・逆変換Ｓ３０００Ａ）、加算器１７（復号画像生成Ｓ４０００）の概略的動作を説明するフローチャートである。

（Ｓ３０００）逆量子化・逆変換部１５は、Ｓ３０１１、Ｓ３０１２の処理により逆量子化・逆変換を行う。

（Ｓ３０１１）逆量子化・逆変換部１５は、対象ＣＵに含まれる各ＴＵについて、ＴＴ情報ＴＴＩに基づいて逆量子化を実行する。逆量子化の詳細は既に説明済みなので省略。

（Ｓ３０２１）逆量子化・逆変換部１５は、逆量子化された残差をＴＴ情報ＴＴＩに基づいて逆変換を実行し、予測残差Ｄを導出する。逆変換の詳細は既に説明済みなので省略。

（Ｓ４０００Ａ）復号モジュール１０は、復号画像Ｐを生成する。

（Ｓ４０１１）復号モジュール１０は、加算器１７により、予測画像生成部１４より供給される予測画像Ｐｒｅｄと、逆量子化・逆変換部１５より供給される予測残差Ｄとを加算することによって、対象ＣＵについての復号画像Ｐを生成する。

（Ｓ４０１５）残差モードが第２のモードを示す場合（！＝０）、予測画像Ｐｒｅｄと予測残差Ｄから復号された復号画像を拡大する（Ｓ３０３６）。それ以外（残差モードが第１のモードである０）の場合は、復号画像を拡大しない。

拡大の詳細は、予測残差画像を拡大するＰ２Ａと同様である。但し、入力はrlPicSampleL [x][y]、予測残差の代わりに、復号画像になり、出力r´[][][]は拡大後の復号画像となる。

以上の構成では、残差モードが第２のモード（！＝０）の場合には、復号モジュール１０は、復号画像を拡大する。従って、実際の対象領域よりも小さい領域サイズの予測残差情報（例えば対象領域の1/2のサイズの予測残差情報）だけを復号することにより、対象領域の復号画像を導出することができ、残差情報の符号量を低減させる効果を奏する。また、残差情報の復号処理を簡略化する効果を奏する。

＜＜Ｐ３：残差モードに応じた量子化制御の構成例＞＞
図１９は、発明の一実施形態に係る逆量子化・逆変換部１５（逆量子化・逆変換Ｓ３０００Ｂ）の概略的動作を説明するフローチャートである。

（Ｓ３００５）逆量子化・逆変換部１５は、残差モードが第２のモードを示す場合（！＝０）、量子化パラメータqPとして第２のＱＰ値を設定する（Ｓ３００７）。それ以外（残差モードが第１のモードである０）の場合は、量子化パラメータqPとして第１のＱＰ値を設定する。

例えば、逆量子化・逆変換部１５は、第１のＱＰ値として、量子化補正値CuQpDeltaValと量子化パラメータ予測値qPpredから導出される以下の値qP1を用いる。

qP1 = qP_pred + CuQpDeltaVal
なお、qP1の導出に以下の式を用いても良い。

qP1 = ( ( qP_pred + CuQpDeltaVal + 52 + 2 * QpBdOffset_Y )%( 52 + QpBdOffset_Y ) ) − QpBdOffset_Y
なおQpBdOffset_Yは画素値のビットデプス用（例えば8, 10, 12）毎に量子化を調整するための補正値である。

また、逆量子化・逆変換部１５は、第２のＱＰ値として、量子化補正値CuQpDeltaValと量子化パラメータ予測値QPpredから導出される以下の値qP2を用いる。量子化パラメータ予測値QPpredは、例えば、対象ブロックの左ブロックのQPと上ブロックのQPの平均値などを用いる。

qP2 = qP1 + offset_rru
ここで、offset_rruは、固定の定数（例えば５や６）でも良いし、スライスヘッダやＰＰＳで符号化される値を用いても良い。

続いて、逆量子化・逆変換部１５は、既に説明したように残差モードに応じて設定された量子化パラメータqP（ここではqP1、qP2）を用いて、逆量子化（Ｓ３０１１）、逆変換（Ｓ３０２１）を行う。

＜残差モードに応じた量子化制御の別の構成例＞
図２０は、発明の一実施形態に係る逆量子化・逆変換部１５（逆量子化・逆変換Ｓ３０００Ｃ）の概略的動作を説明するフローチャートである。

（Ｓ３００５）残差モードが第１のモードを示す場合（＝０）、量子化ステップＱＰとして通常の量子化ステップＱＰを設定する。それ以外（残差モードが第２のモードである！＝０）の場合は、量子化ステップＱＰとして通常のＱＰ値にＱＰ修正差分を加え量子化ステップＱＰを修正する。

例えば、逆量子化・逆変換部１５は、ＱＰ値として、通常のＱＰ値qPに、ＱＰ修正差分offset_rruを加えた値を用いる。

qP = qP + offset_rru
ここで、offset_rruは、固定の定数（例えば５や６）でも良いし、スライスヘッダやＰＰＳで符号化される値を用いても良い。

続いて、逆量子化・逆変換部１５は、既に説明したように残差モードに応じて設定された量子化パラメータqPを用いて、逆量子化（Ｓ３０１１）、逆変換（Ｓ３０２１）を行う。

以上の残差モードに応じた量子化制御によれば、残差モードに応じて量子化パラメータqPを制御することにより、残差モードの適用対象となる領域（例えば、ピクチャ、スライス、ＣＴＵ、ＣＴ、ＣＵ、ＴＵ）の残差情報の符号量の低減量を適切に制御できる効果を奏する。また、残差情報の符号量は画質と相関することから、結果として、残差モードの適用対象となる領域の画質を適切に制御できる効果を奏する。

なお、上記構成は、発明者が実験的及び解析的に発見した以下の知見による。解像度を1/2にする。実験的には、ある領域のサイズを1/2に縮小して変換を行うと、同一量子化パラメータ（量子化ステップ）では符号量はおおよそ1/2になる。特にピクチャ全体ではなく、残差モードにより、スライスや符号化ユニットなどピクチャの一部の領域の解像度を低下（量子化残差の情報を低下）させると、1/2の符号量に変更することは、符号量を低下させしすぎる、または、依然として符号量の低下が十分ではない、可能性がある。この問題を解決するために、領域単位で量子化を制御するためのパラメータである量子化パラメータ補正（量子化ステップ差分、qpOffset、deltaQP、dQPなどとも呼ばれる）を符号化すると、今度は、量子化パラメータ補正に符号量が必要となり、全体として符号量を低減する効果が小さくなる、または、符号化効率低下を招く、という課題がある。

また、発明者によれば、ある領域のサイズを1/2に縮小して変換を行うと、符号化されるエネルギーは1/2になることが解析的に理解される。すなわち、Nサイズの変換（例えばDCT変換）に比べ、N/2サイズの変換では、面積が1/4になる分、画素領域のエネルギーは1/4になる。それに対し、N/2サイズの変換では、通常、変換時に行われる正規化処理用に割る数（一種の量子化ステップ）が1/2だけ小さく設定し、小さなエネルギーも変換係数として残るように設定する。結果として、ある領域のサイズを1/2に縮小した場合に、変換係数領域で得られるエネルギーは、縮小前の1/2（=1/4*2）となる。この事実は、残差モードとして残差を少なく符号化するモードを選択し、ピクチャの一部領域の解像度を低下（量子化残差の情報を低下）させると、ここでは、符号量を約1/2にような縮小率に合わせて予め決められた削減率だけ、画質が低下することを意味する。削減率が固定的であるため、上述の符号量と同様に、画質が低下しすぎる、または、場合により画質の低下が不十分である、という課題が有る。従来からある量子化パラメータ補正を用いることなく、残差モードにより、量子化を粗くする領域の符号量及び画質を制御する、ということが本実施形態の構成の目的（効果）である。

＜＜Ｐ４：残差モード復号部の構成＞＞
以下、残差モード復号部の構成の異なる動画像復号装置１の形態を順にさらに説明する。以下、Ｐ４ａ：ＣＴＵレイヤの残差モード復号部の構成、Ｐ４ｂ：ＣＴレイヤの残差モードの構成、Ｐ４ｃ：ＣＵレイヤの残差モードの構成、Ｐ４ｄ：ＴＵレイヤの残差モードの構成の順に説明する。

＜Ｐ４ａ：ＣＴＵレイヤの残差モード復号部の構成＞
以下、図２１〜図２３を用いて、動画像復号装置１の一つの構成を説明する。

図２１は、本発明の一実施形態に係る動画像符号化装置によって生成され、上記動画像復号装置によって復号される符号化データのデータ構成を示す図である。図２１（ｃ）に示すように、動画像復号装置１は、符号化データ＃１中のＣＴＵ階層（ここではＣＴＵヘッダ、ＣＴＵＨ）に含まれる残差モードＲＲＵ（rru_flag）を復号する。

図２２は、本発明の一実施形態に係るＣＵ情報のシンタックス表の構成例を示す図である。

図２３は、発明の一実施形態に係るＣＵ情報復号部１１（ＣＴＵ情報復号Ｓ１３００、ＣＴ情報復号Ｓ１４００Ａ）の概略的動作を説明するフローチャートである。既に説明した図５と比較して、ＣＵ情報復号部１１はＳ１３００の処理の代わりにＳ１３００Ａの処理を行う。すなわち、ＣＵ情報復号部１１は、符号化ユニット（ＣＵ分割フラグやＣＵ情報、ＰＴ情報ＰＴＩ、ＴＴ情報ＴＴＩ）を復号する前に、ＣＵ情報復号部１１の含む残差モード復号部は符号化データからＳＹＮ１３０５に示される残差モードrru_flagを復号する（Ｓ１３０５）。

それ以外のＣＵ情報復号部１１の動作は、図５を用いて既に説明したＳ１３００の処理と同じである。

この構成の残差モード復号部は、最上位の符号化ツリーである符号化ツリーユニットＣＴＵでのみ、符号化データ＃１から残差モード(rru_flag)を復号し、それより下位の符号化ツリーでは、残差モード(rru_flag)を復号せず、上位の符号化ツリーで復号された残差モードの値を、下位のツリーにある対象ブロックの残差モードとして用いる。例えば、対象ＣＴの階層がcqtDepthである場合には、上位の符号化ツリーＣＴであるcqtDepth−１やcqtDepth−２の符号化ツリーＣＴなどで復号された残差モードの値、ＣＴＵヘッダで復号された残差モードの値、または、スライスヘッダやパラメータセットで復号された残差モードの値を用いる。

以上の構成では、ピクチャを構成するスライス未満の最大の単位領域である符号化ツリーユニット（ＣＴＵブロック）のみで残差モードrru_flagを符号化データに含めるため、残差モードrru_flagの符号量を抑える効果がある。また、符号化ツリーユニット以下において、４分木によるブロック分割を併用するため、残差モードrru_flagにより残差の構成を変化させる領域においても、自由度の高いブロックサイズでの予測や変換が可能になるという効果を奏する。

簡単にいえば、以上の構成では、残差モードが第１のモードでありブロックサイズが大きい場合と、残差モードが第１のモードでありブロックサイズが小さい場合と、残差モードが第２のモードでありブロックサイズが大きい場合と、残差モードが第２のモードでありブロックサイズが小さい場合の中から最も符号化効率の高いモードを選択可能となるため、符号化効率が向上する効果を奏する。

＜残差モードの値に応じたＣＵ分割フラグ復号＞
なお、本構成のＣＴＵレベルで残差モードを復号する構成（Ｐ４ａ）や、後述するＣＴレベルで残差モードを復号する構成（Ｐ４ｂ）のように、ＣＵ分割フラグを復号する前に、残差モードを復号する構成では、残差モードの値に応じてＣＵ分割フラグを復号することが適当である。以下、この構成について、図２３に示す以下のＳ１４１１Ａの処理を用いて説明する。本構成のＣＵ情報復号部１１は、Ｓ１４１１の処理の代わりに、Ｓ１４１１Ａの処理を行う。

（Ｓ１４１１Ａ）ＣＵ情報復号部１１は、図２２のＳＹＮ１３１１Ａのシンタックス構成にも示すように、残差モードに応じて、対数ＣＵサイズlog2CbSizeが所定の最小ＣＵサイズMinCbLog2SizeYより大きいか否かを判定する。対数ＣＵサイズlog2CbSize＋残差モードrru_modeがMinCbLog2SizeYより大きい場合には、符号化データからＳＹＮ１３２１のシンタックス要素に示されるＣＵ分割フラグsplit_cu_flagを復号し（Ｓ１４２１）、それ以外の場合には、ＣＵ分割フラグsplit_cu_flagの復号を省略し、分割しないことを示す０を推定する（Ｓ１４２２）。

なお、残差モードの値を加算による判定式の項（log2CbSize＋rru_mode）は、残差モードが０以外では１を加算する処理（log2CbSize＋（rru_mode ? 1 : 0））により導出しても良い（以下同様）上述したＳ１４１１Ａの処理は、以下の処理と等しい。すなわち、ＣＵ情報復号部１１は、残差モードが第１のモードである０の場合には、対数ＣＵサイズlog2CbSizeが所定の最小ＣＵサイズMinCbLog2SizeYより大きい場合（符号化ブロックサイズが最小符号化ブロックよりも大きい場合）に、ＣＵ分割フラグsplit_cu_flagを復号し（Ｓ１４２１）、それ以外の場合には、ＣＵ分割フラグsplit_cu_flagを復号せず分割しないことを示す０を推定する（Ｓ１４２２）。ＣＵ情報復号部１１は、残差モードが第２のモードである１の場合には、対数ＣＵサイズlog2CbSizeが所定の最小ＣＵサイズMinCbLog2SizeY＋１より大きい場合（符号化ブロックサイズが最小符号化ブロック＋１よりも大きい場合）に、ＣＵ分割フラグsplit_cu_flagを復号し（Ｓ１４２１）、それ以外の場合には、ＣＵ分割フラグsplit_cu_flagを復号せず分割しないことを示す０を推定する（Ｓ１４２２）。

上記では、ＣＵ情報復号部１１に含まれるＣＵ分割フラグ復号部は、残差モードが第２のモードである場合には、分割の閾値である最小ＣＵサイズMinCbLog2SizeYに１を加える。すなわち、残差モードが第１のモードである場合には、ＣＵ分割サイズが最小ＣＵサイズMinCbLog2SizeYと等しい場合には領域を分割せずに符号化ツリーの４分木分割を終了するが、残差モードが第２のモードである場合には、上記１の加算により、ＣＵ分割フラグが最小ＣＵサイズMinCbLog2SizeY＋１と等しい場合に領域を分割せずに符号化ツリーの４分木分割を終了する。このことは、符号化ツリーの４分木分割で可能な最大の階層の深さを、残差モードが第１のモードである場合に比べて、第２のモードである場合に１段階減らすことに対応する。なお、残差モードの値に応じて１を加算による判定式（log2CbSize＋rru_mode）はの代わりに、残差モードが０以外では２を加算する処理（log2CbSize＋（rru_mode ? ２ : 0））を判定式としても良い。この場合、４分木分割を行う最大の階層の数を、残差モードが第２のモードである場合には、２段階減らすことができる。

以上の構成では、分割しすぎることによりブロックサイズが小さくなりすぎることを防ぐ効果を奏する。また、残差モードrru_flagが第２のモード（！＝０）の場合には、残差モードrru_flagが第１のモード（＝０）の場合に比べて、１つ低い階層までしか分割を行わない（ＣＵ分割フラグを復号しない）ので、ＣＵ分割フラグに関するオーバーヘッドを小さくする効果を奏する。

＜Ｐ４ｂ：ＣＴレイヤの残差モードの構成＞
以下、図２５〜図２７を用いて、動画像復号装置１の別の構成を説明する。

図２５は本発明の一実施形態に係る動画像符号化装置によって生成され、上記動画像復号装置によって復号される符号化データのデータ構成を示す図である。図２５（ｃ）に示すように、動画像復号装置１は、符号化データ＃１中のＣＴ階層に含まれる残差モードrru_flagを復号する。

図２６は、本発明の一実施形態に係るＣＵ情報のシンタックス表の構成例を示す図である。

図２７は、発明の一実施形態に係るＣＵ情報復号部１１（ＣＴＵ情報復号Ｓ１３００、ＣＴ情報復号Ｓ１４００Ｂ）の概略的動作を説明するフローチャートである。

既に図６を用いて説明したＣＵ情報復号部１１とはＳ１４０５の残差モードrru_flagを復号する処理が追加された点が異なる。

（Ｓ１４０５）ＣＵ情報復号部１１は、ＣＴＢを分割して符号化ツリー（ＣＴ）において、ＳＹＮ１４０５に示すシンタックス要素である残差モードrru_flagを復号する。

Ｓ１４０５の動作は、Ｓ１３０５と異なり、最上位階層の符号化ツリー（ＣＴＢ）より下の階層でも、残差モードrru_flagを復号することができる。

なお、図２６のＳＹＮ１４０４に示すように、ＣＵ情報復号部１１の含む残差モード復号部は、ＣＴ階層cqtDepthが特定の条件を満たす場合、例えば、所定の階層rruDepthと等しい場合に、残差モードrru_flagを復号することが望ましい。

なお、ＣＴ階層cqtDepthが所定の階層rruDepthと等しい場合に、残差モードrru_flagを復号する、ということは、符号化ツリーが特定のサイズである場合に残差モードを復号する、ことと等価である。従って、ＣＴ階層cqtDepthを用いずにＣＴサイズ（ＣＵサイズ）を用いても良い。

下記式のように、対数ＣＴサイズlog2CbSize == log2RRUSizeの場合、残差モードrru_flagを復号することが望ましい。つまり、ＳＹＮ１４０４の代わりに、ＳＹＮ１４０４´を用いても良い。

if( cqtDepth == rruDepth) ＳＹＮ１４０４
if(log2CbSize == log2RRUSize) ＳＹＮ１４０４´
なお、log2RRUSizeは、残差モードを復号するブロックのサイズである。例えば３２×３２〜２５６×２５６を示す５〜８などが適当である。残差モードを復号するブロックのサイズlog2RRUSizeを符号化データに含め、パラメータセットやスライスヘッダで復号する構成でも良い。

以上の構成では、残差モードrru_flagにより残差の構成を変化させる領域においても、自由度の高いブロックサイズでの予測や変換が可能になるという効果を奏する。また、残差モードrru_flagは特定の階層のみで復号する場合には、残差モードのオーバーヘッドを小さくする効果を奏する。

なお、既に説明したように、ＣＴ階層で残差モードを復号する本構成のＣＵ情報復号部１１も、Ｓ１４１１の処理の代わりに、既に説明した図２３で説明したＳ１４１１Ａの処理を用いても良い（図２３のＳＹＮ１４１１Ａに相当）。

＜Ｐ４ｂ：ＣＴレイヤの残差モードの構成＞
図２８は、符号化ツリーレベルのシンタックス表の別の構成例を示す図である。この構成では、ＳＹＮ１４０４Ａに示すように、ＣＵ情報復号部１１の含む残差モード復号部はＣＴ階層cqtDepthが特定の条件を満たす場合、例えば、ＣＴ階層cqtDepthが所定の階層rruDepth未満の場合に、残差モードrru_flagを復号する。なお、ＳＹＮ１４０４Ａに!rru_flagの条件が示すように、既に上位の階層で残差モードrru_flagが第２のモード（！＝０）であると復号された場合には、残差モードrru_flagの復号を省略する（１のままとする）ことが望ましい。例えば、所定の階層rruDepthが６４×６４ブロックの階層の場合には、ＣＵサイズが６４×６４の場合には、残差モードrru_flagを復号する。

なお、ＣＴ階層cqtDepthが所定の階層rruDepth未満の場合に、残差モードrru_flagを復号する、ということは、符号化ツリーのサイズが比較的大きい、符号化ツリーの階層が小さい場合にのみ残差モードを復号する、ということであるから、ＣＴ階層cqtDepthの代わりに、符号化ツリーＣＴサイズ（ＣＵサイズ）を用いても良い。

下記式のように、対数ＣＴサイズlog2CbSize == log2RRUSizeの場合、残差モードrru_flagを復号することが望ましい。つまり、ＳＹＮ１４０４Ａの代わりに、ＳＹＮ１４０４Ａ´を用いても良い。

if( cqtDepth ＜ rruDepth ＆＆ !rru_flag) ＳＹＮ１４０４Ａ
if(log2CbSize ＜ log2RRUSize ＆＆ !rru_flag) ＳＹＮ１４０４Ａ´
以上の構成では、残差モードrru_flagにより残差の構成を変化させる領域においても、自由度の高いブロックサイズでの予測や変換が可能になるという効果を奏する。また、同時に残差モードのオーバーヘッドを小さくする効果を奏する。

＜Ｐ４ｃ：ＣＵレイヤの残差モードの構成＞
以下、図２９〜図３１を用いて、動画像復号装置１の別の構成を説明する。

図２９は本発明の一実施形態に係る動画像符号化装置によって生成され、上記動画像復号装置によって復号される符号化データのデータ構成を示す図である。図２９（ｄ）に示すように、動画像復号装置１は、符号化データ＃１中のＣＵ分割フラグＳＰが１である場合にＣＴ階層に含まれる残差モードＲＲＵ（rru_flag）を復号する。

図３０は、本発明の一実施形態に係るＣＵ情報のシンタックス表の構成例を示す図である。

図３１は、発明の一実施形態に係るＣＵ情報復号部１１（ＣＴＵ情報復号Ｓ１３００、ＣＴ情報復号Ｓ１４００Ｃ）の概略的動作を説明するフローチャートである。

ＣＵ情報復号部１１の処理は、既に図６を用いて説明したＳ１４００の処理に比べ、Ｓ１４３５に示す残差モード復号処理がＣＵ情報復号に追加された点が異なる。

（Ｓ１４３５）ＣＵ情報復号部１１は、ＣＵ分割フラグsplit_cu_flagが１である場合において（Ｓ１４３１、ＳＹＮ１４３１）、ＳＹＮ１４３５に示すシンタックス要素である残差モードrru_flagを復号する。

Ｓ１４３５の動作は、Ｓ１３０５と異なり、最上位階層の符号化ツリー（ＣＴＢ）より下の階層でも、残差モードrru_flagを復号することができる。なお、ＳＹＮ１４３４に!rru_flagの条件が示すように、既に上位の階層で残差モードrru_flagが一度第２のモード（！＝０）であると復号された場合には、残差モードrru_flagの復号を省略し、対象ブロックも第２のモードのままとすることが望ましい。残差モードrru_flagは、対象ブロックまたは対象ブロックの上位階層で復号されるまでは、０に初期化されているものとする。

以上の構成では、残差モードrru_flagにより残差の構成を変化させる領域においても、自由度の高いブロックサイズでの予測や変換が可能になるという効果を奏する。

また、残差モードrru_flagは特定の階層のみで復号する場合には、残差モードのオーバーヘッドを小さくする効果を奏する。

なお、本構成のＣＵ情報復号部１１も、Ｓ１４１１の処理の代わりに、既に説明した図２３に示す上述のＳ１４１１Ａの処理を用いても良い。

Ｓ１４１１Ａを用いる構成では、さらに、分割しすぎることによりブロックサイズが小さくなりすぎることを防ぐ効果を奏する。また、残差モードrru_flagが第２のモード（！＝０）の場合には、残差モードrru_flagが第１のモード（＝０）の場合に比べて、１つ低い階層までしか分割を行わない（ＣＵ分割フラグを復号しない）ので、ＣＵ分割フラグに関するオーバーヘッドを小さくする効果を奏する。

図３２は、符号化ツリーレベルのシンタックス表の別の構成例を示す図である。この構成では、ＳＹＮ１４３４Ａに示すように、ＣＵ分割フラグsplit_cu_flagとＣＴ階層cqtDepthが所定の条件を満たす場合に、残差モードrru_flagを復号することが望ましい。例えば、ＣＵ分割フラグsplit_cu_flagが１の場合（小ＣＵに分割する場合）には、ＣＴ階層cqtDepthが所定の階層rruDepthである場合に、残差モードrru_flagを復号し、ＣＵ分割フラグsplit_cu_flagが０の場合（小ＣＵに分割しない場合）には、ＣＴ階層cqtDepthが所定の階層rruDepth未満である場合に、残差モードrru_flagを復号する。それ以外の場合には、残差モードrru_flagの復号を省略する。残差モードrru_flagの復号を省略する場合には、上位階層のＣＴにおいて、残差モードrru_flagが既に復号されている場合には、その残差モードの値を用いる。それ以外の場合には、残差モードrru_flagの値を０とする。

例えば、所定の階層rruDepthが６４×６４ブロックの階層の場合には、ＣＵサイズが６４×６４の場合でさらにＣＵを分割する場合（３２×３２）に残差モードrru_flagを復号するのと同時に、ＣＵを分割しない場合にも、ＣＵサイズが６４×６４以上である場合には、残差モードrru_flagを復号する。

＜Ｐ４ｃ：ＣＵレイヤの残差モードの構成＞
以下、図３３〜図３５を用いて、動画像復号装置１の別の構成を説明する。

図３３は本発明の一実施形態に係る動画像符号化装置によって生成され、上記動画像復号装置によって復号される符号化データのデータ構成を示す図である。図３３（ｅ）に示すように、動画像復号装置１は、符号化データ＃１中のＣＵ階層に含まれる残差モードrru_flagを復号する。

図３４は、本発明の一実施形態に係るＣＵ情報、ＰＴ情報ＰＴＩ、ＴＴ情報ＴＴＩのシンタックス表の構成例を示す図である。

図３５は、発明の一実施形態に係るＣＵ情報復号部１１（ＣＵ情報復号Ｓ１５００Ａ）、ＰＵ情報復号部１２（ＰＵ情報復号Ｓ１６００）、ＴＵ情報復号部１３（ＴＴ情報復号Ｓ１７００）の概略的動作を説明するフローチャートである。

既に図６を用いて説明したＣＵ情報復号部１１とはＳ１５０５の残差モードrru_flagを復号する処理が追加された点が異なる。

（Ｓ１５０５）ＣＵ情報復号部１１は、ＳＹＮ１５０５に示すシンタックス要素である残差モードrru_flagを復号する。

Ｓ１５０５の動作は、Ｓ１３０５と異なり、最下位階層の符号化ツリーである符号化ユニットＣＵで、残差モードrru_flagを復号することができる。

以上の構成では、残差モードrru_flagにより残差の構成を変化させる領域においても、４分木を用いた自由度の高いブロックサイズでの予測や変換が可能になるという効果を奏する。また、各符号化ツリー（ＣＴ）で、残差モードrru_flagを切り替えることができるため、ＣＴＵで切り替える場合よりもさらに自由度の高い構成が可能であるという効果を奏する。

＜Ｐ４ｃ：ＣＵレイヤの残差モードの構成＞
以下、図３６〜図３８を用いて、動画像復号装置１の別の構成を説明する。

図３６は本発明の一実施形態に係る動画像符号化装置によって生成され、上記動画像復号装置によって復号される符号化データのデータ構成を示す図である。図３６（ｅ）に示すように、動画像復号装置１は、符号化データ＃１中のＣＵ階層に含まれるスキップフラグＳＫＩＰの後に位置する残差モードrru_flagを復号する。

図３７は、本発明の一実施形態に係るＣＵ情報、ＰＴ情報ＰＴＩ、ＴＴ情報ＴＴＩのシンタックス表の構成例を示す図である。

図３８は、発明の一実施形態に係るＣＵ情報復号部１１（ＣＵ情報復号Ｓ１５００Ｂ）、ＰＵ情報復号部１２（ＰＵ情報復号Ｓ１６００）、ＴＵ情報復号部１３（ＴＵ情報復号Ｓ１７００）の概略的動作を説明するフローチャートである。

既に図６を用いて説明したＣＵ情報復号部１１とはＳ１５１５の残差モードrru_flagを復号する処理が追加された点が異なる。

（Ｓ１５１５）ＣＵ情報復号部１１は、スキップフラグが１である場合において（Ｓ１５１２、ＳＹＮ１５１２）、ＳＹＮ１５１５に示すシンタックス要素である残差モードrru_flagを復号する。それ以外の場合（スキップフラグ＝０）、ＣＵ情報復号部１１は、残差モードrru_flagを省略し、残差モードが第１のモードであることを示す０を導出する。

Ｓ１５１５の動作は、Ｓ１３０５と異なり、最下位階層の符号化ツリーである符号化ユニットＣＵで、残差モードrru_flagを復号することができる。

以上の構成では、残差モードrru_flagにより残差の構成を変化させた場合にも、自由度の高い４分木での分割が可能になるという効果を奏する。また、各符号化ユニットで、残差モードrru_flagを切り替えることができるため、自由度の高い構成が可能であるという効果を奏する。

さらに、以上の構成では、残差を省略するスキップモードではない場合（残差を符号化する可能性のあるモード）に限り残差モードrru_flagを復号し、残差の存在しない場合であるスキップモードが１の場合には残差モードrru_flagの復号を省略するため、残差モードのオーバーヘッドを小さくする効果を奏する。

＜Ｐ４ｄ：ＴＵレイヤの残差モードの構成＞
以下、図３９〜図４１を用いて、動画像復号装置１の別の構成を説明する。

図３９は本発明の一実施形態に係る動画像符号化装置によって生成され、上記動画像復号装置によって復号される符号化データのデータ構成を示す図である。図３９（ｅ）に示すように、動画像復号装置１は、符号化データ＃１中のＴＵ階層に含まれるＣＵ残差フラグＣＢＰ＿ＴＵの後に位置する残差モードrru_flagを復号する。

図４０は、変換ツリー情報ＴＴＩのシンタックス表の構成例を示す図である。

図４１は、発明の一実施形態に係るＴＵ情報復号部１３（ＴＵ情報復号Ｓ１７００Ａ）の概略的動作を説明するフローチャートである。

既に図６を用いて説明したＣＵ情報復号部１１とはＳ１７１５の残差モードrru_flagを復号する処理が追加された点が異なる。本実施形態では、Ｓ１７００の処理をＳ１７００Ａの処理に置き替える。

（Ｓ１７１５）ＴＵ情報復号部１１は、ＣＵ残差フラグrqt_root_cbfが０以外（＝１）である場合において（Ｓ１７１２、ＳＹＮ１７１２）、ＳＹＮ１７１５に示すシンタックス要素である残差モードrru_flagを復号する。それ以外の場合（スキップフラグ＝０）、ＣＵ情報復号部１１は、残差モードrru_flagを省略し、残差モードが第１のモードであることを示す０を導出する。

Ｓ１７００Ａの動作は、Ｓ１７００と異なり、これ以上分割しない最下位階層（リーフ）の符号化ツリーである符号化ユニットＣＵで、残差モードrru_flagを復号する（Ｓ１７１５）。

さらに、以上の構成では、ＣＵに残差（予測量子化残差）が存在する場合（ＣＵ残差フラグが０以外の場合）に限り残差モードrru_flagを復号し、ＣＵに残差が存在しない場合（ＣＵ残差フラグが０の場合）に、残差モードrru_flagの復号を省略するため、残差モードのオーバーヘッドを小さくする効果を奏する。

＜＜Ｐ５：残差モードによるフラグ復号制限＞＞
＜Ｐ５ａ：残差モードによるＰＵ分割フラグ復号制限＞
以下、図４２〜図４３を用いて、動画像復号装置１の別の構成を説明する。

図４２は、本発明の一実施形態に係るＣＵ情報、ＰＴ情報ＰＴＩ、ＴＴ情報ＴＴＩのシンタックス表の構成例を示す図である。

図４３は、発明の一実施形態に係るＣＵ情報復号部１１（ＣＵ情報復号Ｓ１５００）、ＰＵ情報復号部１２（ＰＵ情報復号Ｓ１６００）、ＴＵ情報復号部１３（ＴＵ情報復号Ｓ１７００）の概略的動作を説明するフローチャートである。

Ｓ１６１１ＰＵ情報復号部１２は、符号化データ＃１から予測タイプＰｒｅｄ＿ｔｙｐｅ（CuPredMode、シンタックス要素はpred_mode_flag）を復号する。

Ｓ１６１５ＰＵ情報復号部１２の備えるＰＵ分割モード復号部は、残差モードrru_flagが第１のモード（＝０）の場合のみ、ＰＵ分割タイプＰｒｅｄ＿ｔｙｐｅを復号する（Ｓ１６２１）、それ以外の場合には、ＰＵ分割タイプＰｒｅｄ＿ｔｙｐｅの復号を省略し、ＰＵ分割タイプとして予測ブロックを分割しないことを示す値（２Ｎ×２Ｎ）を導出する。

より詳細には、図４２のＳＹＮ１６１５に示すように、予測タイプCuPredModeがイントラ（MODE_INTRA）以外、または、対数ＣＴサイズlog2CbSizeが最小対数ＣＴサイズMinCbLog2SizeYである場合、かつ、残差モードrru_flagが０である場合（＝!rru_flag）に、符号化データ＃１からＰＵ分割タイプを復号する（Ｓ１６２１）、それ以外の場合には、ＰＵ分割タイプの復号を省略し、ＰＵ分割タイプとして予測ブロックを分割しないことを示す値（２Ｎ×２Ｎ）を導出する。

上記画像復号装置は、符号化ユニットをさらに予測ブロック（ＰＵ）に分割するか否かを示すＰＵ分割モードを復号するＰＵ情報復号部１２（ＰＵ分割モード復号部）を備え、ＰＵ分割モード復号部は、残差モードが「第２のモード」を示す場合には、上記ＰＵ分割モードの復号を省略し、上記残差モードが「第１のモード」を示す場合には、上記ＰＵ分割モードを復号する。ＰＵ情報復号部１２は、残差モードが「第２のモード」を示す場合。つまり、ＰＵ分割モードの復号が省略される場合には、ＰＵ分割しないことを示す値（2Nx2N）を導出する。

以上の構成では、残差モードrru_flagが第１のモード（＝０）である場合のみＰＵ分割モードを復号し、残差モードrru_flagが第２のモード（！＝０）である場合にはＰＵ分割モードの復号を省略するため、ＰＵ分割モードのオーバーヘッドを小さくする効果を奏する。

＜Ｐ５ａ：残差モードによるＰＵ分割フラグ復号制限＞
以下、図４４〜図４５を用いて、動画像復号装置１の別の構成を説明する。

図４４は、本発明の一実施形態に係るＣＵ情報、ＰＴ情報ＰＴＩ、ＴＴ情報ＴＴＩのシンタックス表の構成例を示す図である。

図４５は、発明の一実施形態に係るＣＵ情報復号部１１（ＣＵ情報復号Ｓ１５００）、ＰＵ情報復号部１２（ＰＵ情報復号Ｓ１６００Ａ）、ＴＵ情報復号部１３（ＴＵ情報復号Ｓ１７００）の概略的動作を説明するフローチャートである。

（Ｓ１６１５Ａ）ＰＵ情報復号部１２の備えるＰＵ分割モード復号部は、残差モードrru_flagが第１のモード（＝０）の場合のみ、ＰＵ分割タイプを復号する（Ｓ１６２１）、それ以外の場合には、ＰＵ分割タイプの復号を省略し、ＰＵ分割タイプとして分割しないことを示す２Ｎ×２Ｎを導出する。

より詳細には、ＳＹＮ１６１５Ａに示すように、予測タイプCuPredModeがイントラ（MODE_INTRA）かつ残差モードrru_flagが第１のモード（＝０）である場合（＝!rru_flag）、または、対数ＣＴサイズlog2CbSizeが最小対数ＣＴサイズMinCbLog2SizeY＋残差モードと等しい場合（log2CbSize==(MinCbLog2SizeY+rru_flag）に、符号化データ＃からＰＵ分割タイプを復号する（Ｓ１６２１）、それ以外の場合には、ＰＵ分割タイプの復号を省略し、ＰＵ分割タイプとして予測ブロックを分割しないことを示す２Ｎ×２Ｎ（＝０）を導出する。

なお、対数ＣＴサイズlog2CbSizeが最小対数ＣＴサイズMinCbLog2SizeY＋残差モードrru_flagである場合とは、残差モードrru_flagが第１のモード（＝０）である場合には、対数ＣＴサイズlog2CbSizeが最小対数ＣＴサイズMinCbLog2SizeYであるか否かを判定し、残差モードrru_flagが第２のモード（！＝０）である場合には、対数ＣＴサイズlog2CbSizeが最小対数ＣＴサイズMinCbLog2SizeY＋１であるか否かを判定する、ことと等しい。

上記画像復号装置は、符号化ユニットをさらに予測ブロック（ＰＵ）に分割するか否かを示すＰＵ分割モードを復号するＰＵ分割モード復号部を備え、ＰＵ分割モード復号部は、残差モードが「第２のモード」を示す場合には、上記ＰＵ分割モードの復号を省略し、ＰＵ分割しないことを示す値（2Nx2N）を導出し、上記残差モードが「第１のモード」を示す場合には、上記ＰＵ分割モードを復号する。

さらに、以上の構成では、残差モードrru_flagが第１のモード（＝０）である場合のみＰＵ分割モードを復号し、残差モードrru_flagが第２のモード（！＝０）である場合にはＰＵ分割モードの復号を省略するため、ＰＵ分割モードのオーバーヘッドを小さくする効果を奏する。

＜Ｐ５ｂ：残差モードによるＴＵ分割フラグ復号制限Ｃ＞
以下、図４６〜図４７を用いて、動画像復号装置１の別の構成を説明する。図４６は、本発明の一実施形態に係るＴＴ情報ＴＴＩのシンタックス表の構成例を示す図である。図４７は、発明の一実施形態に係るＴＵ情報復号部１３（ＴＵ情報復号１７００Ｃ）の概略的動作を説明するフローチャートである。

ＴＵ情報復号部１３に含まれるＴＵ分割フラグ復号部は、対象ＴＵサイズが、所定の変換サイズの範囲に入る、か、対象ＴＵの階層が所定の階層未満の場合には、ＴＵ分割フラグ(split_transform_flag)を復号する。より具体的には、図４６のＳＹＮ１７２１Ｃに示すように、対数ＴＵサイズlog2TrafoSize <=最大ＴＵサイズMaxTbLog2SizeYと残差モードの和（MaxTbLog2SizeY＋残差モードrru_flag）かつ対数ＴＵサイズlog2TrafoSize >最小ＴＵサイズMinTbLog2SizeYと残差モードの和（MaxTbLog2SizeY＋残差モードrru_flag）
かつＴＵ階層trafoDepth＜最大ＴＵ階層MaxTrafoDepthと残差モードの差（MaxTrafoDepth−残差モードrru_flag）の場合には、ＴＵ分割フラグ(split_transform_flag)を復号する（Ｓ１７３１）、それ以外の場合、つまり、符号化データにsplit_transform_flagが現れない場合には、ＴＵ分割フラグの復号を省略し、対数ＴＵサイズlog2TrafoSizeが最大ＴＵサイズMaxTbLog2SizeY＋残差モードrru_flagより大きい場合には、ＴＵ分割フラグsplit_transform_flagを１として導出し、それ以外の場合（対数ＴＵサイズlog2TrafoSizeが最小ＴＵサイズMaxTbLog2SizeYと残差モードの和（MaxTbLog2SizeY＋残差モードrru_flag）と等しいまたはＴＵ階層trafoDepthが最大ＴＵ階層と残差モードの差（MaxTrafoDepth−残差モードrru_flag）と等しい）には、ＴＵ分割フラグsplit_transform_flagを分割しないことを示す０として導出する（Ｓ１７３２）。

本構成は、後述する、残差モードによるＴＵ分割フラグ復号制限Ａと残差モードによるＴＵ分割フラグ復号制限Ｂを組み合わせた構成であり、制限Ａの効果と制限Ｂの効果を奏する。

＜Ｐ５ｂ：残差モードによるＴＵ分割フラグ復号制限Ｃ＞
なお、上記では、発明の一実施形態に係るＴＵ情報復号部１３は、図４６のＳＹＮ１７２１Ｃに示す条件（＝図４７のＳ１７２１Ｃ）に示す条件により、ＴＵ分割フラグ(split_transform_flag)を復号する。つまり、対象ＴＵサイズlog2TrafoSizeと、ＴＵ階層trafoDepthの両者を用いて、ＴＵ分割フラグ(split_transform_flag)を復号するが、以下のＳ１７２１Ａに示すように対象ＴＵサイズlog2TrafoSizeを用いて条件判定を行っても良い。

（Ｓ１７２１Ａ）log2TrafoSize <= (MaxTbLog2SizeY+rru_flag) && log2TrafoSize > (MinTbLog2SizeY+rru_flag)
この構成では、符号化ユニットをさらに変換ブロック（ＴＵ）に分割するか否かを示すＴＵ分割モードを復号するＴＵ情報復号部１３（ＴＵ分割モード復号部）を備え、上記ＴＵ分割モード復号部は、上記残差モードが「第２のモード」を示す場合には、符号化ブロックサイズlog2CbSizeが最大変換ブロックMaxTbLog2SizeY＋１以下かつ最小変換ブロックMinCbLog2Size＋１より大きい場合に、上記ＴＵ分割フラグ(split_transform_flag)を復号し、上記残差モードが「第１のモード」を示す場合には、符号化ブロックサイズlog2CbSizeが最大変換ブロックMaxTbLog2SizeY以下かつ最小変換ブロックMinCbLog2Sizeより大きい場合に、上記ＴＵ分割フラグ(split_transform_flag)を復号し、それ以外(符号化ブロックサイズlog2CbSizeが最大変換ブロックMaxTbLog2SizeYより大きい、または、最小変換ブロックMinCbLog2Size以下)の場合には、上記ＴＵ分割フラグ(split_transform_flag)の復号を省略し、分割しないことを示す値を導出する。

すなわち、残差モードrru_flagが第１のモードである０である場合には、通常の最大ＴＵサイズMaxTbLog2SizeY（変換ブロックの最大サイズ）と最小ＴＵサイズMinTbLog2SizeY（変換ブロックの最小サイズ）を用い、残差モードrru_flagが第２のモードである１である場合には、最大サイズとして、通常の最大ＴＵサイズMaxTbLog2SizeYと１の和（MaxTbLog2SizeY＋１）、最小ＴＵサイズとして、通常の最小ＴＵサイズMinTbLog2SizeYと１の和（MinTbLog2SizeY＋１）を用いる。これは、残差モードが第２のモードである０以外である場合には、対象ＴＵ（サイズはnTbS×nTbS、nTbS＝1<<log2TrafoSize）の量子化予測残差として、対象ＴＵサイズ（nTbS×nTb）ではなく、例えば対象ＴＵサイズの1/2のサイズ（nTbS/2×nTb/2）の量子化予測残差を復号する（前述の＜＜Ｐ１：残差モードに応じたＴＵ情報復号＞＞）ことに対応する処理である。

例えば、逆変換対象となるブロック（量子化予測残差ブロック）の最大サイズが３２×３２（MaxTbLog2SizeY＝５）、逆変換対象となるブロックの最小サイズが４×４（MaxTbLog2SizeY＝２）の場合、残差モードrru_flagに応じて以下の処理を行う。

残差モードrru_flagが第１のモードである０である場合には、対象ＴＵサイズ（対数ＴＵサイズlog2TrafoSize）が、最大サイズの３２×３２（MaxTbLog2SizeY＝５）より大きい場合には、ＴＵ分割フラグsplit_transform_flagの復号を省略して分割することを示す１として導出し、対象ＴＵサイズ（対数ＴＵサイズlog2TrafoSize）が、最小サイズの４×４（MaxTbLog2SizeY＝２）と等しい場合には、ＴＵ分割フラグsplit_transform_flagの復号を省略して分割しないことを示す０として導出する。

残差モードrru_flagが第２のモードである０以外である場合には、対象ＴＵサイズの1/2（対数ＴＵサイズlog2TrafoSize−１）が、最大サイズの３２×３２（MaxTbLog2SizeY＝５）より大きい場合には、ＴＵ分割フラグsplit_transform_flagの復号を省略して分割することを示す１として導出し、対象ＴＵサイズの1/2（対数ＴＵサイズlog2TrafoSize−１）が、最小サイズの４×４（MaxTbLog2SizeY＝２）と等しい場合には、ＴＵ分割フラグsplit_transform_flagの復号を省略して分割しないことを示す０として導出する。

上記によれば、残差モードが第２のモードに合わせて、逆変換対象となるブロックのサイズが小さくなりすぎないようにする効果を奏する。これにより、必要以上に小さな変換サイズ（２×２変換）を用いることにより、処理が複雑になる、符号化効率上意味の小さい処理を用いることがないという効果を奏する。また、残差モードが第２のモードにのために、専用の小ブロック予測や、小ブロック変換を実装することがない、という効果を奏する。

＜Ｐ５ｂ：残差モードによるＴＵ分割フラグ復号制限Ｂ＞
なお、上記では、発明の一実施形態に係るＴＵ情報復号部１３は、図４６のＳＹＮ１７２１Ａに示す条件（＝図４７のＳ１７２１Ｃ）に示す条件により、ＴＵ分割フラグ(split_transform_flag)を復号する。つまり、対象ＴＵサイズlog2TrafoSizeと、ＴＵ階層trafoDepthの両者を用いて、ＴＵ分割フラグ(split_transform_flag)を復号するが、以下のＳ１７２１Ｂに示すように対象ＴＵ階層trafoDepthを用いて条件判定を行っても良い。

（Ｓ１７２１Ｂ） trafoDepth < (MaxTrafoDepth−rru_flag)
上記の構成では、上記画像復号装置は、符号化ユニットをさらに変換ブロック（ＴＵ）に分割するか否かを示すＴＵ分割モードを復号するＴＵ分割モード復号部を備え、上記ＴＵ分割モード復号部は、上記残差モードが「第２のモード」を示す場合には、符号化変換デプスtrafoDepthが、最大符号化デプスMaxTrafoDepthと１の差（MaxTrafoDepth―１）未満の場合に、上記ＴＵ分割フラグsplit_transform_flagを復号し、上記残差モードが「第１のモード」を示す場合には、符号化変換デプスtrafoDepthが最大符号化デプスMaxTrafoDepthY未満の場合に、上記ＴＵ分割フラグsplit_transform_flagを復号し、それ以外の場合（対象ＴＵ階層trafoDepthの残差モードが「第１のモード」かつ最大符号化デプスMaxTrafoDepthY以上の場合、または残差モードが「第２のモード」かつMaxTrafoDepthY＋１以上の場合）には、上記ＴＵ分割フラグ(split_transform_flag)の復号を省略し、変換ブロック（ＴＵ）を分割しないことを示す値（2Nx2N）を導出する。

上記によれば、残差モードが第２のモードに合わせて、逆変換対象となるブロックのサイズが小さくなりすぎないようにする効果を奏する。

＜変形例＞
上記制限Ａ、制限Ｂ、制限Ｃについては、さらに以下の式の条件を用いることができる。

（Ｓ１７２１Ａ´´）log2TrafoSize <= (MaxTbLog2SizeY+（rru_flag？１：０）) &&log2TrafoSize > (MinTbLog2SizeY+（rru_flag？２：０）)
（Ｓ１７２１Ｂ´´）trafoDepth < (MaxTrafoDepth−（rru_flag？２：０）)
（Ｓ１７２１Ｃ´´）log2TrafoSize <= (MaxTbLog2SizeY+（rru_flag？１：０）) &&log2TrafoSize > (MinTbLog2SizeY+（rru_flag？２：０）) && trafoDepth < (MaxTrafoDepth−（rru_flag？２：０）)
なお、上記では、残差モードが第２のモードの場合に、最小変換ブロックサイズMinCbLog2Sizeと１の和）（MinCbLog2Size＋１）としたが、さらに小さいブロックを制限するために残差モードが第２のモードの場合に、最小変換ブロックサイズMinCbLog2Sizeと２の和）MinCbLog2Size＋２）を用いても良い。より具体的には、対数ＴＵサイズlog2TrafoSize <=最大サイズMaxTbLog2SizeY＋（残差モードrru_flag？１：０）かつ対数ＴＵサイズlog2TrafoSize > MinTbLog2SizeY＋（残差モードrru_flag？２：０）かつＴＵ階層trafoDepth＜最大ＴＵ階層MaxTrafoDepth ＋残差モードrru_flagの場合には、ＴＵ分割フラグ(split_transform_flag)を復号する（Ｓ１７３１）、それ以外の場合、つまり、符号化データにsplit_transform_flagが現れない場合には、ＴＵ分割フラグの復号を省略し、対数ＴＵサイズlog2TrafoSizeが最大サイズMaxTbLog2SizeY＋（残差モードrru_flag？１：０）より大きい場合には、ＴＵ分割フラグsplit_transform_flagを１として導出し、それ以外の場合（対数ＴＵサイズlog2TrafoSizeが最小サイズMaxTbLog2SizeY＋（残差モードrru_flag？２：０）と等しいまたはＴＵ階層trafoDepthが最大ＴＵ階層MaxTrafoDepthと等しい）には、ＴＵ分割フラグsplit_transform_flagを分割しないことを示す０として導出する（Ｓ１７３２）。

＜＜Ｐ６：スライス単位での解像度変更＞＞
上記までは、ＣＴＵレベルで残差モードを復号する例を説明してきたが、スライス単位で残差モードを復号しても良い。以下、ＣＴＵレベルで残差モードを復号する例を説明する。残差モードは、量子化予測残差を低減するものであり、ある領域の画像を少ない符号量で符号化できる。また、同じ大きさの領域を、それより小さな変換ブロックで復号することができる。逆にいえば、本来の変換ブロックの最大サイズ（例えば６４×６４）よりも大きな領域（例えば１２８×１２８）を変換することができる。そのため、大きなブロックを用いた符号化に有効である。よって、以下の例では、残差モードを解像度変換モードと捉え、残差モード（以下、解像度変換モード）に応じて、符号化ツリーブロックサイズ（最大ブロックサイズ）を変更する画像復号装置を説明する。

＜Ｐ６共通：スライス別の残差モード＞
図４９は、本発明の一実施形態に係るピクチャ単位で異なる符号化ツリーブロック（残差モードの値）を用いる構成を説明する図である。本実施形態の動画像符号化装置１のＣＵ復号部１１は、符号化データ＃１からスライス先頭のスライスヘッダを復号し、スライスヘッダで定義される解像度変換モード（残差モード）を復号する。さらにＣＵ復号部１１は、解像度変換モード（残差モード）に応じて、ピクチャ及びスライスを分割する最上位のブロックであるツリーブロック（ＣＴＵ）のサイズを変更する。例えば、解像度変換モード（残差モード）が第１のモード（＝０）に比べ、解像度変換モード（残差モード）が第１のモード（＝０）の場合のＣＴＵサイズを２倍とする。より具体的には、ＣＵ復号部１１は、スライス先頭で解像度変換モード（残差モード）を復号し、解像度変換モード（残差モード）が第１のモード（＝０）の場合には、復号された所定のツリーブロックサイズ（ＣＴＵサイズ）をピクチャ及びスライスを分割する最上位のブロックであるツリーブロック（ＣＴＵ）のサイズ（ＣＴＵサイズ）として用いて復号を行い、残差モードが第２のモード（＝１）の場合には、復号された所定の符号化ツリーブロックサイズの２倍のツリーブロックサイズ（ＣＴＵサイズ）をＣＴＵサイズとして用いて復号を行う。既に、Ｐ１：残差モードに応じたＴＵ情報復号において説明した通り、ＴＵ情報復号部１３は、対象スライスの残差モードrru_flagが第１のモード（＝０）の場合には、対象スライスに属する対象ＣＵの対象ＴＵに対応する領域のサイズ（ＴＵサイズ）の量子化予測残差を復号し、残差モードrru_flagが第２のモード（！＝０）の場合には、ＴＵサイズの半分のサイズの量子化予測残差を復号する。また、復号された所定の符号化ツリーブロックサイズの領域の画像を復号するために、残差モードが第２のモードの場合には、Ｐ２ａで説明したように予測残差画像を拡大しても良いし、Ｐ２ｂで説明したように復号画像を拡大しても良い。本構成は、以下に説明するＰ６ａ、Ｐ６ｂの構成でも同様である。

＜Ｐ６ａ：スライス位置導出＞
図５０は、本発明の一実施形態に係るピクチャ内でスライス毎に異なる符号化ツリーブロック（最上位ブロックサイズ）を用いる構成を説明する図である。本発明では、ピクチャをスライス単位に分割して、上記スライスをさらに符号化ツリーブロック単位に分割して復号する画像復号装置において、スライス内の符号化ツリーブロック（最上位ブロックのサイズ、ＣＴＵサイズ）を可変とすることを特徴とする画像復号装置である。ＣＵ復号部１１は、スライスヘッダにおいて、上記解像度を示す情報である解像度変更モード（残差モード）を復号する残差モード復号部を備える。これにより、ピクチャよりも細かい単位で、量子化予測残差の符号量を制御することができるという効果を奏する。

図５１は、本発明の一実施形態に係るピクチャ内でスライス毎に異なる符号化ツリーブロック（最上位ブロックサイズ）を用いる場合のスライス先頭位置の課題を説明する図である。図５１（ａ）は、符号化ツリーブロックサイズが６４×６４（解像度変換モード＝０）で、０から４のＣＴＵから構成されるスライス＃０と、符号化ツリーブロックサイズが１２８×１２８（解像度変換モード＝１）で、５から７のＣＴＵから構成されるスライス＃１を示す。図５１（ｂ）は、符号化ツリーブロックサイズが１２８×１２８（解像度変換モード＝１）で、０から２のＣＴＵから構成されるスライス＃０と、符号化ツリーブロックサイズが６４×６４（解像度変換モード＝０）で、３から４のＣＴＵから構成されるスライス＃１を示す、符号化ツリーブロックサイズが６４×６４（解像度変換モード＝０）で、５から７のＣＴＵから構成されるスライス＃２を示す。スライスアドレスslice_segment_addressがスライス先頭で符号化される場合において、図５１（ａ）のスライス＃１と図５１（ｂ）のスライス＃３は、同じ５のスライスアドレスslice_segment_addressを有するが、スライス先頭の位置（水平位置、垂直位置）が異なる。従来、ピクチャ内で同じ符号化ツリーブロックサイズの場合には、スライスアドレスslice_segment_addressから一意に、スライス先頭の位置を導出することができた。しかしながら、ピクチャ内でスライス毎に符号化ツリーブロックサイズが異なる場合には、スライスアドレスslice_segment_address及び対象スライスの符号化ツリーブロックサイズだけではなく、対象スライスよりもピクチャ上で先に位置するスライスの符号化ツリーブロックサイズにも依存する。従って、スライスアドレスslice_segment_addressから、スライス先頭の位置を導出することができないという課題がある。

図５２は、本発明の一実施形態に係るピクチャ内でスライス毎に異なる符号化ツリーブロック（最上位ブロックサイズ）を用いる場合に、スライス先頭位置の水平位置slice_addr_x、垂直位置slice_addr_yを符号化データに含める例を説明する図である。本例では、明示的に、スライス先頭で、スライス先頭位置の水平位置、垂直位置を復号することにより、スライス先頭の位置を導出する。例えば、スライス先頭の水平位置を示す値と垂直位置は、ピクチャ内で利用可能な符号化ツリーブロックの最小値に基づいて設定しても良いし、固定のサイズに基づいて説呈しても良い。図５２の（ａ）例では、スライス＃１に対して、（水平位置slice_addr_x、垂直位置slice_addr_y）＝（０、１）。ここでは、３２×３２ブロックに基づいて設定しているため、スライス＃１の先頭座標は、（３２×slice_addr_x、３２×slice_addr_y）の（０、３２）となる。図５２の（ｂ）例では、スライス＃１に対して、（水平位置slice_addr_x、垂直位置slice_addr_y）＝（０、２）。スライス＃２に対して、（水平位置slice_addr_x、垂直位置slice_addr_y）＝（２、２）。ここでは、３２×３２ブロックに基づいて設定しているため、スライス＃１、スライス＃２の先頭座標は各々（０、３２）、（６４、６４）となる。つまり、スライス先頭の水平位置を示す値と垂直位置を示す値を復号することを特徴とする。なお、先頭スライスは、スライス先頭位置の水平位置、垂直位置は常に（０，０）であるため、先頭スライス以外のスライスにおいて、スライス先頭位置の水平位置、垂直位置を復号する構成としても良い。

上記構成の画像復号装置によれば、ピクチャ内でスライス毎に異なる符号化ツリーブロック（最上位ブロックサイズ）を用いる場合においても、スライス先頭の位置が特定可能であるという効果を奏する。

図５３は、本発明の一実施形態に係るピクチャ内でスライス毎に異なる符号化ツリーブロック（最上位ブロックサイズ）を用いる場合に、スライス先頭位置の水平位置、垂直位置のスライスアドレスslice_segment_addressからの導出方法を説明する図である。本例では、ピクチャ内で利用可能な符号化ツリーブロックの最小値MinCtbSizeYを用いて、スライスアドレスslice_segment_addressから、スライス先頭の位置（xSicePos、ySlicePos）を導出する。まず、スライスアドレスslice_segment_addressをSliceAddrRsに代入する。ピクチャの幅pic_width_in_luma_samplesと高さpic_height_in_luma_samplesから、以下のように、ピクチャを構成する符号化ツリーブロックの最小値MinCtbSizeYの幅PicWidthInMinCtbsYと高さPicHeightInMinCtbsYを導出する。

MinCtbSizeY = 1 << MinCtbLog2SizeY
PicWidthInMinCtbsY = Ceil( pic_width_in_luma_samples ÷MinCtbSizeY )
PicHeightInMinCtbsY = Ceil( pic_height_in_luma_samples ÷MinCtbSizeY )
なお、Ceil(x)は、実数xを、x以上の最小の整数に変換する関数である。続いて、スライス先頭の位置（xSicePos、ySlicePos）を以下の式から導出する。

xSlicePos = (SliceAddrRs% PicWidthInMinCtbsY ) << MinCtbLog2SizeY
ySlicePos = (SliceAddrRs % PicWidthInMinCtbsY ) << MinCtbLog2SizeY
逆にいえば、スライスアドレスslice_segment_addressを、ピクチャ内で利用可能な符号化ツリーブロックの最小値に基づいて設定する。図５３の例では、利用可能な符号化ツリーブロックサイズは６４×６４と１２８×１２８であるから、最小値は６４×６４である。図５３（ａ）では、スライス＃１の先頭アドレスを５と設定する（復号する）。括弧内の値が、符号化ツリーブロックサイズが６４×６４である場合の各領域の番号を示し、この番号が、スライス先頭のアドレスとして符号化される。図５３（ｂ）では、スライス＃１の先頭アドレスを１０と設定する（復号する）。括弧内の値が、符号化ツリーブロックサイズが６４×６４である場合の各領域の番号を示し、この番号が、スライス先頭のアドレスとして符号化される。

つまり、スライス先頭の先頭アドレスを示す値を復号し、選択肢となる最上位ブロックサイズの内の最小のブロックサイズに基づいて、スライス先頭位置または対象ブロックの水平位置と垂直位置を導出することを特徴とする。

＜Ｐ６ｂ：解像度変更制限＞
図５４は、比較例のピクチャ毎に異なる符号化ツリーブロックを用いる構成を説明する図である。図５４（ａ）、（ｂ）は、ピクチャの左端以外にスライス境界がある場合（スライス開始位置の水平座標が０以外の場合）においても、符号化ツリーブロックサイズを変更を行う例を示している。この例では、例えば、図５４（ａ）のように、前のスライスの符号化ツリーブロックサイズに比べ、次のスライスの符号化ツリーブロックサイズがピクチャ左端以外で大きくなる例では、「？」と示された領域をどのスライスに割り当て、どのように復号するかが不明である。また、割り当て方法を定義する場合にも処理が複雑になるという課題が有る。図５４（ｂ）は、符号化ツリーブロックサイズがピクチャ左端以外のスライスで、前のスライスよりも小さくなる例では、「？」と示された領域をどのスライスに割り当てるかは比較的容易に解決するが、ラスタスキャン以外のスキャン順が必要になるなど、スライス内の符号化ツリーブロックのスキャン順が異なるものとなるなど、処理が複雑になるという課題が有る。

再度、図５０を用いて、解像度変更制限について説明する。本実施形態の画像復号装置は、図５０に示すようにスライス開始位置がピクチャ左端である場合のみ（スライス開始位置の水平位置が０である場合のみ）で、符号化ツリーブロックサイズ（最上位ブロックサイズ）の変更を行う。つまり、スライス開始位置がピクチャ左端もしくはタイル左端である場合のみ、前のスライスと異なる符号化ツリーブロックサイズを適用する。例えば、図５０（ａ）は、符号化ツリーブロックサイズがピクチャ左端で大きくなる例であり、図５０（ｂ）は、符号化ツリーブロックサイズがピクチャ左端で小さくなる例である。

図５５は、本発明の一実施形態に係るピクチャの左端に位置するスライスのみで、解像度変更（符号化ツリーブロックの変更）処理を行う例を示す構成のフローチャートである。図５５に示すように、本発明の画像復号装置１は、あるスライスのスライス開始位置の水平位置が０である場合のみ（スライス開始位置がピクチャ左端）上記あるスライスの前の（直前の）スライスの解像度変換モードと異なる解像度変換モード（残差モード）を適用する。これはすなわち、あるスライスのスライス開始位置の水平位置が０である場合のみ（スライス開始位置がピクチャ左端）、上記あるスライスの直前の前のスライスと異なる符号化ツリーブロックサイズを用いる。なお、ピクチャを矩形に分割するタイルがスライスの上位構造として用いられる（タイルがスライスを含む）場合には、ピクチャ左端に限らずタイル左端において、解像度変換モード変更（符号化ツリーブロックサイズ変更）を行っても良い。すなわち、本発明の画像復号装置１は、スライス開始位置の水平位置が０もしくはタイル内水平位置が０である場合のみ（スライス開始位置がピクチャ左端もしくはタイルの左端）、前のスライスと異なる解像度変換モード（残差モード）を適用する。本発明の画像復号装置１は、スライスのスライス開始位置の水平位置が０もしくはタイル内水平位置が０である場合のみ（スライス開始位置がピクチャ左端もしくはタイルの左端）、上記スライスの前のスライスと異なる符号化ツリーブロックサイズを適用する。

上記は、本発明の画像復号装置１は、同一ピクチャ内の前のスライスの符号化ツリーブロックサイズと後のスライスの最上位ブロックサイズ（符号化ツリーブロックサイズ）は、後のスライスのスライス開始位置がピクチャ左端（もしくはタイル左端）以外の場合には、等しくなくてはならない、ような符号化データ＃１を復号することにより、処理を複雑化することなく、最上位ブロックサイズを変更することができる。本発明の画像復号装置１は、後のスライスのスライス開始位置のピクチャ内水平位置もしくはタイル内水平位置が０の場合以外には、互いに前後するスライスの最上位ブロックサイズは等しくなければならない、ような符号化データ＃１を復号する。

図５５に示す構成の画像復号装置によれば、スライス毎に異なる符号化ツリーブロック（最上位ブロックサイズ）を用いる場合においてピクチャの左端のみで、解像度変更（符号化ツリーブロックの変更）処理を行うため、符号化ツリーブロックのスキャン処理が容易になるという効果を奏する。

〔動画像符号化装置〕
以下において、本実施形態に係る動画像符号化装置２について、図５６を参照して説明する。

（動画像符号化装置の概要）
動画像符号化装置２は、概略的に言えば、入力画像＃１０を符号化することによって符号化データ＃１を生成し、出力する装置である。

（動画像符号化装置の構成）
まず、図５６を用いて、動画像符号化装置２の構成例について説明する。図５６は、動画像符号化装置２の構成について示す機能ブロック図である。図５６に示すように、動画像符号化装置２は、符号化設定部２１、逆量子化・逆変換部２２、予測画像生成部２３、加算器２４、フレームメモリ２５、減算器２６、変換・量子化部２７、および符号化データ生成部（適応処理手段）２９を備えている。

符号化設定部２１は、入力画像＃１０に基づいて、符号化に関する画像データおよび各種の設定情報を生成する。

具体的には、符号化設定部２１は、次の画像データおよび設定情報を生成する。

まず、符号化設定部２１は、入力画像＃１０を、スライス単位、ツリーブロック単位に順次分割することにより、対象ＣＵについてのＣＵ画像＃１００を生成する。

また、符号化設定部２１は、分割処理の結果に基づいて、ヘッダ情報Ｈ’を生成する。ヘッダ情報Ｈ’は、（１）対象スライスに属するツリーブロックのサイズ、形状および対象スライス内での位置についての情報、並びに、（２）各ツリーブロックに属するＣＵのサイズ、形状および対象ツリーブロック内での位置についてのＣＵ情報ＣＵ’を含んでいる。

さらに、符号化設定部２１は、ＣＵ画像＃１００、および、ＣＵ情報ＣＵ’を参照して、ＰＴ設定情報ＰＴＩ’を生成する。ＰＴ設定情報ＰＴＩ’には、（１）対象ＣＵの各ＰＵへの可能な分割パターン、および、（２）各ＰＵに割り付ける可能な予測モード、の全ての組み合わせに関する情報が含まれる。

符号化設定部２１は、ＣＵ画像＃１００を減算器２６に供給する。また、符号化設定部２１は、ヘッダ情報Ｈ’を符号化データ生成部２９に供給する。また、符号化設定部２１は、ＰＴ設定情報ＰＴＩ’を予測画像生成部２３に供給する。

逆量子化・逆変換部２２は、変換・量子化部２７より供給される、ブロック毎の量子化予測残差を、逆量子化、および、逆直交変換することによって、ブロック毎の予測残差を復元する。逆直交変換については、図１に示す逆量子化・逆変換部１３について、既に説明したとおりであるので、ここではその説明を省略する。

また、逆量子化・逆変換部２２は、ブロック毎の予測残差を、ＴＴ分割情報（後述）により指定される分割パターンに従って統合し、対象ＣＵについての予測残差Ｄを生成する。逆量子化・逆変換部２２は、生成した対象ＣＵについての予測残差Ｄを、加算器２４に供給する。

予測画像生成部２３は、フレームメモリ２５に記録されている局所復号画像Ｐ’、および、ＰＴ設定情報ＰＴＩ’を参照して、対象ＣＵについての予測画像Ｐｒｅｄを生成する。予測画像生成部２３は、予測画像生成処理により得られた予測パラメータを、ＰＴ設定情報ＰＴＩ’に設定し、設定後のＰＴ設定情報ＰＴＩ’を符号化データ生成部２９に転送する。なお、予測画像生成部２３による予測画像生成処理は、動画像復号装置１の備える予測画像生成部１４と同様であるので、ここでは説明を省略する。

加算器２４は、予測画像生成部２３より供給される予測画像Ｐｒｅｄと、逆量子化・逆変換部２２より供給される予測残差Ｄとを加算することによって、対象ＣＵについての復号画像Ｐを生成する。

フレームメモリ２５には、復号された復号画像Ｐが順次記録される。フレームメモリ２５には、対象ツリーブロックを復号する時点において、当該対象ツリーブロックよりも先に復号された全てのツリーブロック（例えば、ラスタスキャン順で先行する全てのツリーブロック）に対応する復号画像が、当該復号画像Ｐの復号に用いられたパラメータと共に、記録されている。

減算器２６は、ＣＵ画像＃１００から予測画像Ｐｒｅｄを減算することによって、対象ＣＵについての予測残差Ｄを生成する。減算器２６は、生成した予測残差Ｄを、変換・量子化部２７に供給する。

変換・量子化部２７は、予測残差Ｄに対して、直交変換および量子化を行うことで量子化予測残差を生成する。なお、ここで直交変換とは、画素領域から周波数領域への直交変換のことをさす。また、逆直交変換の例としては、ＤＣＴ変換（Discrete Cosine Transform）、およびＤＳＴ変換（Discrete Sine Transform）等が挙げられる。

具体的には、変換・量子化部２７は、ＣＵ画像＃１００、および、ＣＵ情報ＣＵ’を参照し、対象ＣＵの１または複数のブロックへの分割パターンを決定する。また、決定された分割パターンに従って、予測残差Ｄを、各ブロックについての予測残差に分割する。

また、変換・量子化部２７は、各ブロックについての予測残差を直交変換することによって周波数領域における予測残差を生成した後、当該周波数領域における予測残差を量子化することによってブロック毎の量子化予測残差を生成する。

また、変換・量子化部２７は、生成したブロック毎の量子化予測残差と、対象ＣＵの分割パターンを指定するＴＴ分割情報と、対象ＣＵの各ブロックへの可能な全分割パターンに関する情報とを含むＴＴ設定情報ＴＴＩ’を生成する。変換・量子化部２７は、生成したＴＴ設定情報ＴＴＩ’を逆量子化・逆変換部２２および符号化データ生成部２９に供給する。

符号化データ生成部２９は、ヘッダ情報Ｈ’、ＴＴ設定情報ＴＴＩ’、およびＰＴ設定情報ＰＴＩ’を符号化し、符号化したヘッダ情報Ｈ、ＴＴ設定情報ＴＴＩ、およびＰＴ設定情報ＰＴＩを多重化して符号化データ＃１を生成し、出力する。

（動画像復号装置との対応関係）
動画像符号化装置２は、動画像復号装置１の各構成と対応する構成を含む。ここで、対応とは、同様の処理、または、逆の処理を行う関係にあるということである。

例えば、上述したように、動画像復号装置１が備える予測画像生成部１４の予測画像生成処理と、動画像符号化装置２が備える予測画像生成部２３の予測画像生成処理とは、同様である。

例えば、動画像復号装置１において、ビット列から、シンタックス値を復号する処理は、動画像符号化装置２において、シンタックス値から、ビット列を符号化する処理と逆の処理としての対応となっている。

以下では、動画像符号化装置２における各構成が、動画像復号装置１のＣＵ情報復号部１１、ＰＵ情報復号部１２、およびＴＵ情報復号部１３とどのような対応となっているかについて説明する。これにより、動画像符号化装置２における各構成の動作・機能はより詳細に明らかになるだろう。

符号化データ生成部２９は、復号モジュール１０に対応している。より詳しくいえば、復号モジュール１０が、符号化データおよびシンタックス種別に基づいてシンタックス値を導出するのに対して、符号化データ生成部２９は、シンタックス値およびシンタックス種別に基づいて符号化データを生成する。

符号化設定部２１は、上述した動画像復号装置１のＣＵ情報復号部１１に対応している。符号化設定部２１と、上述したＣＵ情報復号部１１とを比較すると次のとおりである。

予測画像生成部２３は、上述した動画像復号装置１のＰＵ情報復号部１２および予測画像生成部１４に対応している。これらを比較すると次のとおりである。

上述のとおり、ＰＵ情報復号部１２は、動き情報に係る符号化データとシンタックス種別とを復号モジュール１０に供給し、復号モジュール１０により復号された動き情報に基づいて動き補償パラメータを導出する。また、予測画像生成部１４は、導出された動き補償パラメータに基づいて予測画像を生成する。

これに対して、予測画像生成部２３は、予測画像生成処理において、動き補償パラメータを決定し、動き補償パラメータに係るシンタックス値とシンタックス種別とを符号化データ生成部２９に供給する。

変換・量子化部２７は、上述した動画像復号装置１のＴＵ情報復号部１３および逆量子化・逆変換部１５に対応している。これらを比較すると次のとおりである。

上述したＴＵ情報復号部１３が備えるＴＵ分割設定部１３１は、ノードの分割を行うのか否かを示す情報に係る符号化データおよびシンタックス種別を復号モジュール１０に供給し、復号モジュール１０により復号されたノードの分割を行うのか否かを示す情報に基づいてＴＵ分割を行う。

さらに、上述したＴＵ情報復号部１３が備える変換係数復元部１３２は、判定情報および変換係数に係る符号化データおよびシンタックス種別を復号モジュール１０に供給し、復号モジュール１０により復号された判定情報および変換係数に基づいて変換係数を導出する。

これに対して、変換・量子化部２７は、ＴＵ分割の分割方式を決定し、ノードの分割を行うのか否かを示す情報に係るシンタックス値およびシンタックス種別を符号化データ生成部２９に供給する。

また、変換・量子化部２７は、予測残差を変換・量子化して得られる量子化変換係数に係るシンタックス値およびシンタックス種別を符号化データ生成部２９に供給する。

本実施形態の動画像符号化装置２は、ピクチャを符号化ツリーブロック単位に分割して符号化する画像符号化装置において、上記符号化ツリーブロックを、ルートの符号化ツリーとして再帰的に分割する符号化ツリー分割部を備え、上記符号化ツリーを分割するか否かを示す、符号化ユニット分割フラグを符号化するＣＵ分割フラグ復号部と、上記符号化ツリー以下の残差を第１のモードで復号するか、第１のモードとは異なる第２のモードで符号化するかを示す、残差モードを符号化する残差モード復号部を備える。

＜＜Ｐ１：残差モードに応じたＴＵ情報符号化＞＞
また、上述した変換・量子化部２７の備える変換部は、実際の変換ブロックのサイズ（対象対象ＴＵサイズ）よりも小さい（例えば対象ＴＵサイズの1/2の残差情報）だけの量子化予測残差を符号化データとして符号化することにより残差情報の符号量を低減させる効果を奏する。また、残差情報の符号化処理を簡略化する効果を奏する。＜＜Ｐ２：残差モードに応じたブロック画素値符号化の構成＞＞
また、上述した変換・量子化部２７の備える変換部は、残差モードが第２のモードの場合には、予測残差を縮小してから変換する。

さらに、上述したＴＵ情報復号部１３の備える逆量子化・逆変換部１５は、残差モードが第２のモードの場合には、変換画像を拡大する（Ｐ２Ａに対応）または復号画像（Ｐ２Ｂ）に対応する。従って、実際の対象領域よりも小さい領域サイズの予測残差情報（例えば対象領域の1/2のサイズの予測残差情報）だけを符号化することにより、対象領域の復号画像を導出することができ、残差情報の符号量を低減させる効果を奏する。また、残差情報の符号化処理を簡略化する効果を奏する。

＜＜Ｐ３：残差モードに応じた量子化制御の構成例＞＞
動画像符号化装置２は、さらに残差を変換、量子化する変換・量子化部２７と、量子化された残差を復号化する符号化データ生成部２９を備え、変換・量子化部２７は、残差モードが「第２のモード」（０）の場合には、第１の量子化パラメータにより量子化を行い、量子化部は、残差モードが「第１のモード」（１）の場合には、第１の量子化パラメータから導出される第２の量子化パラメータにより量子化をする。

動画像符号化装置２は、さらに量子化パラメータ修正値を符号化する量子化パラメータ制御情報符号化を備え、逆量子化部は、第２の量子化パラメータを第１の量子化パラメータに量子化ステップ修正値を加算することで導出する。

また、上述したＴＵ情報復号部１３の備えるＴＵ符号化部によれば、残差モードに応じて量子化パラメータqPを制御することにより、残差モードの対象となる領域の残差情報の符号量の低減量を適切に制御できる効果を奏する。

＜＜Ｐ４：残差モード符号化部の構成＞＞
さらに、残差モード符号化部は、最上位の符号化ツリーでのみ、残差モード(rru_flag)を符号化データから符号化し、それより下位の符号化ツリーでは、残差モード(rru_flag)を符号化しない。

さらに、残差モード符号化部は、指定された階層の符号化ツリーでのみ、残差モードを符号化し、それより下位の符号化ツリーでは、指定された階層の符号化ツリー以外では残差モードの符号化を省略する。

さらに、分割フラグ符号化部は、残差モードが「第２のモードで符号化すること」を示す場合には、残差モードが「第１のモードで符号化すること」を示す場合に比べて分割する階層を１つ減らす。

さらに、分割フラグ符号化部は、残差モードが第１のモードである場合は、符号化ツリーのサイズである符号化ブロックサイズlog2CbSizeが最小符号化ブロックMinCbLog2Sizeよりも大きい場合に、符号化データからＣＵ分割フラグを符号化し、残差モードが第２のモードである場合は、符号化ツリーのサイズである符号化ブロックサイズlog2CbSizeが最小符号化ブロックMinCbLog2Size＋１よりも大きい場合に、符号化データからＣＵ分割フラグを符号化し、それ以外の場合には、ＣＵ分割フラグの符号化を省略し、ＣＵ分割フラグを分割しないことを示す０と設定する。

さらに、残差モード符号化部は、これ以上、分割を行わない符号化ツリー、すなわち、リーフとなる符号化ツリーである符号化ユニットにおいて、残差モードを符号化する。

さらに、動画像符号化装置２は、これ以上、分割を行わない符号化ツリー、すなわち、リーフとなる符号化ツリーである符号化ユニットにおいて、残差の符号化を省略して符号化するか否かを示すスキップフラグを符号化するスキップフラグ符号化部を備え、残差モード符号化部は、符号化ユニットにおいて、スキップフラグが残差を符号化しないことを示す場合に、残差モードを符号化し、それ以外では残差モードを符号化しない。

さらに、動画像符号化装置２は、符号化ユニットが残差を含むか否かを示すＣＢＦフラグ(rqt_root_flag)を符号化するＣＢＦフラグ符号化部を備え、残差モード符号化部は、ＣＢＦフラグが残差が存在することを示す場合（！＝０）には、残差モードを符号化し、それ以外の場合には、残差モードが第１のモードであると導出する。

また、上述したＴＵ情報符号化部１３の備えるＴＵ符号化部によれば、残差モードrru_flagにより残差の構成を変化させた場合にも、自由度の高い４分木での分割が可能になるという効果を奏する。

＜＜Ｐ５：残差モード符号化部の構成＞＞
動画像符号化装置２は、符号化ユニットをさらに予測ブロック（ＰＵ）に分割するか否かを示すＰＵ分割モードを符号化するＰＵ情報符号化部１２（ＰＵ分割モード符号化部）を備え、ＰＵ分割モード符号化部は、残差モードが「第１のモード」を示す場合には、ＰＵ分割モードの符号化を省略し、残差モードが「第２のモード」を示す場合には、ＰＵ分割モードを符号化する。ＰＵ情報符号化部１２は、残差モードが「第１のモード」を示す場合。つまり、ＰＵ分割モードの符号化が省略される場合には、ＰＵ分割しないことを示す値（2Nx2N）を設定する。

動画像符号化装置２は、符号化ユニットをさらに変換ブロック（ＴＵ）に分割するか否かを示すＴＵ分割フラグsplit_transform_flagを符号化するＴＵ分割設定部１３１を備え、ＴＵ分割設定部１３１は、残差モードが「第１のモード」を示す場合には、符号化ブロックサイズlog2CbSizeが最大変換ブロックMaxTbLog2SizeY＋１以下かつ最小変換ブロックMinCbLog2Size＋１より大きい場合に、ＴＵ分割フラグsplit_transform_flagを符号化し、残差モードが「第２のモード」を示す場合には、符号化ブロックサイズlog2CbSizeが最大変換ブロックMaxTbLog2SizeY以下かつ最小変換ブロックMinCbLog2Sizeより大きい場合に、ＴＵ分割フラグ(split_transform_flag)を符号化し、それ以外(符号化ブロックサイズlog2CbSizeが最大変換ブロックMaxTbLog2SizeYより大きい、または、最小変換ブロックMinCbLog2Size以下)の場合には、ＴＵ分割フラグsplit_transform_flagの符号化を省略し、分割しないことを示す値を設定する。

〔応用例〕
上述した動画像符号化装置２及び動画像復号装置１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい。

まず、上述した動画像符号化装置２及び動画像復号装置１を、動画像の送信及び受信に利用できることを、図５７を参照して説明する。

図５７の（ａ）は、動画像符号化装置２を搭載した送信装置ＰＲＯＤ＿Ａの構成を示したブロック図である。図５７の（ａ）に示すように、送信装置ＰＲＯＤ＿Ａは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ａ１と、符号化部ＰＲＯＤ＿Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部ＰＲＯＤ＿Ａ２と、変調部ＰＲＯＤ＿Ａ２が得た変調信号を送信する送信部ＰＲＯＤ＿Ａ３と、を備えている。上述した動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ａ１として利用される。

送信装置ＰＲＯＤ＿Ａは、符号化部ＰＲＯＤ＿Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ａ４、動画像を記録した記録媒体ＰＲＯＤ＿Ａ５、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ａ６、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図５７の（ａ）においては、これら全てを送信装置ＰＲＯＤ＿Ａが備えた構成を例示しているが、一部を省略しても構わない。

なお、記録媒体ＰＲＯＤ＿Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体ＰＲＯＤ＿Ａ５と符号化部ＰＲＯＤ＿Ａ１との間に、記録媒体ＰＲＯＤ＿Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。

図５７の（ｂ）は、動画像復号装置１を搭載した受信装置ＰＲＯＤ＿Ｂの構成を示したブロック図である。図５７の（ｂ）に示すように、受信装置ＰＲＯＤ＿Ｂは、変調信号を受信する受信部ＰＲＯＤ＿Ｂ１と、受信部ＰＲＯＤ＿Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部ＰＲＯＤ＿Ｂ２と、復調部ＰＲＯＤ＿Ｂ２が得た符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｂ３と、を備えている。上述した動画像復号装置１は、この復号部ＰＲＯＤ＿Ｂ３として利用される。

受信装置ＰＲＯＤ＿Ｂは、復号部ＰＲＯＤ＿Ｂ３が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｂ４、動画像を記録するための記録媒体ＰＲＯＤ＿Ｂ５、及び、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｂ６を更に備えていてもよい。図５７の（ｂ）においては、これら全てを受信装置ＰＲＯＤ＿Ｂが備えた構成を例示しているが、一部を省略しても構わない。

なお、記録媒体ＰＲＯＤ＿Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｂ３と記録媒体ＰＲＯＤ＿Ｂ５との間に、復号部ＰＲＯＤ＿Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。

なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。

例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。

また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線又は有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、及びタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。

なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置ＰＲＯＤ＿Ａ及び受信装置ＰＲＯＤ＿Ｂの双方として機能する。

次に、上述した動画像符号化装置２及び動画像復号装置１を、動画像の記録及び再生に利用できることを、図５８を参照して説明する。

図５８の（ａ）は、上述した動画像符号化装置２を搭載した記録装置ＰＲＯＤ＿Ｃの構成を示したブロック図である。図５８の（ａ）に示すように、記録装置ＰＲＯＤ＿Ｃは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ｃ１と、符号化部ＰＲＯＤ＿Ｃ１が得た符号化データを記録媒体ＰＲＯＤ＿Ｍに書き込む書込部ＰＲＯＤ＿Ｃ２と、を備えている。上述した動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ｃ１として利用される。

なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)などのように、記録装置ＰＲＯＤ＿Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（Universal Serial Bus）フラッシュメモリなどのように、記録装置ＰＲＯＤ＿Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc（登録商標））などのように、記録装置ＰＲＯＤ＿Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

また、記録装置ＰＲＯＤ＿Ｃは、符号化部ＰＲＯＤ＿Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ｃ３、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ｃ４、動画像を受信するための受信部ＰＲＯＤ＿Ｃ５、及び、画像を生成または加工する画像処理部Ｃ６を更に備えていてもよい。図５８の（ａ）においては、これら全てを記録装置ＰＲＯＤ＿Ｃが備えた構成を例示しているが、一部を省略しても構わない。

なお、受信部ＰＲＯＤ＿Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部ＰＲＯＤ＿Ｃ５と符号化部ＰＲＯＤ＿Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。

このような記録装置ＰＲＯＤ＿Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤＤ（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子ＰＲＯＤ＿Ｃ４又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＰＲＯＤ＿Ｃ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部ＰＲＯＤ＿Ｃ５又は画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラＰＲＯＤ＿Ｃ３又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）なども、このような記録装置ＰＲＯＤ＿Ｃの一例である。

図５８の（ｂ）は、上述した動画像復号装置１を搭載した再生装置ＰＲＯＤ＿Ｄの構成を示したブロックである。図５８の（ｂ）に示すように、再生装置ＰＲＯＤ＿Ｄは、記録媒体ＰＲＯＤ＿Ｍに書き込まれた符号化データを読み出す読出部ＰＲＯＤ＿Ｄ１と、読出部ＰＲＯＤ＿Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｄ２と、を備えている。上述した動画像復号装置１は、この復号部ＰＲＯＤ＿Ｄ２として利用される。

なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置ＰＲＯＤ＿Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

また、再生装置ＰＲＯＤ＿Ｄは、復号部ＰＲＯＤ＿Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｄ３、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｄ４、及び、動画像を送信する送信部ＰＲＯＤ＿Ｄ５を更に備えていてもよい。図５８の（ｂ）においては、これら全てを再生装置ＰＲＯＤ＿Ｄが備えた構成を例示しているが、一部を省略しても構わない。

なお、送信部ＰＲＯＤ＿Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｄ２と送信部ＰＲＯＤ＿Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。

このような再生装置ＰＲＯＤ＿Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子ＰＲＯＤ＿Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＰＲＯＤ＿Ｄ３が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子ＰＲＯＤ＿Ｄ４又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、ラップトップ型又はタブレット型ＰＣ（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）なども、このような再生装置ＰＲＯＤ＿Ｄの一例である。

（ハードウェア的実現およびソフトウェア的実現）
また、上述した動画像復号装置１および動画像符号化装置２の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。

後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）／ＭＯディスク（Magneto-Optical disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc）／ＣＤ−Ｒ（CD Recordable）／ブルーレイディスク（Blu-ray Disc（登録商標））等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）／ＥＥＰＲＯＭ（登録商標）（Electrically Erasable and Programmable Read-Only Memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。

また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＩＳＤＮ（Integrated Services Digital Network）、ＶＡＮ（Value-Added Network）、ＣＡＴＶ（Community Antenna television/Cable Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（Institute of Electrical and ElectronicEngineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡ（Infrared Data Association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（登録商標）（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、画像データが符号化された符号化データを復号する画像復号装置、および、画像データが符号化された符号化データを生成する画像符号化装置に好適に適用することができる。また、画像符号化装置によって生成され、画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。

１動画像復号装置（画像復号装置）
１０復号モジュール
１１ＣＵ情報復号部（残差モード復号部、ＣＵ分割フラグ復号部）
１２ＰＵ情報復号部
１３ＴＵ情報復号部（残差モード復号部、ＴＵ分割フラグ復号部）
１６フレームメモリ
２動画像符号化装置（画像符号化装置）
１３１ＴＵ分割設定部
２１符号化設定部
２５フレームメモリ
２９符号化データ生成部（ＣＵ分割フラグ符号化部、ＴＵ分割フラグ復号部、残差モード符号化部）

Claims

ピクチャを符号化ツリーブロック単位に分割して復号する画像復号装置において、
上記符号化ツリーブロックを、ルートの符号化ツリーとして再帰的に分割する符号化ツリー分割部と、
上記符号化ツリーを分割するか否かを示す、符号化ユニット分割フラグを復号するＣＵ分割フラグ復号部と、
上記符号化ツリー以下の残差を第１のモードで復号するか、第１のモードとは異なる第２のモードで復号するかを示す、残差モードを復号する残差モード復号部とを備えることを特徴とする画像復号装置。
上記残差モード復号部は、最上位の符号化ツリーでのみ、残差モード(rru_flag)を符号化データから復号し、それより下位の符号化ツリーでは、残差モード(rru_flag)を復号しないことを特徴とする請求項１に記載の画像復号装置。
上記残差モード復号部は、指定された階層の符号化ツリーでのみ、残差モードを復号し、それより下位の符号化ツリーでは、指定された階層の符号化ツリー以外では残差モードの復号を省略することを特徴とする請求項１に記載の画像復号装置。
上記ＣＵ分割フラグ復号部は、上記残差モードが上記第２のモードで復号することを示す場合、残差モードが上記第１のモードで復号することを示す場合に比べて分割する階層を１つ減らすことを特徴とする請求項１に記載の画像復号装置。
上記ＣＵ分割フラグ復号部は、残差モードが上記第１のモードである場合、
符号化ツリーのサイズである符号化ブロックサイズ(log2CbSize)が最小符号化ブロック(MinCbLog2Size)よりも大きい場合、符号化データから上記ＣＵ分割フラグを復号し、
残差モードが上記第２のモードである場合、
符号化ツリーのサイズである符号化ブロックサイズ(log2CbSize)が最小符号化ブロック(MinCbLog2Size＋１)よりも大きい場合、符号化データから上記ＣＵ分割フラグを復号し、
それ以外の場合には、上記ＣＵ分割フラグの復号を省略し、上記ＣＵ分割フラグを分割しないことを示す０を導出することを特徴とする請求項１に記載の画像復号装置。
上記残差モード復号部は、リーフとなる符号化ツリーである符号化ユニットにおいて、残差モードを復号することを特徴とする請求項１に記載の画像復号装置。
リーフとなる符号化ツリーである符号化ユニットにおいて、残差の復号を省略して復号するか否かを示すスキップフラグを復号するスキップフラグ復号部を備え、
上記残差モード復号部は、上記符号化ユニットにおいて、
上記スキップフラグが残差を復号しないことを示す場合、残差モードを復号し、
それ以外の場合、残差モードを復号しないことを特徴とする請求項６に記載の画像復号装置。
符号化ユニットが残差を含むか否かを示すＣＢＦフラグを復号するＣＢＦフラグ復号部を備え、
上記残差モード復号部は、
上記ＣＢＦフラグが残差が存在することを示す場合、上記残差モードを復号し、
それ以外の場合、上記残差モードが上記第１のモードであることを示す残差モードを導出することを特徴とする請求項６に記載の画像復号装置。
上記残差モード復号部は、
符号化ツリーのサイズである符号化ブロックサイズ(log2CbSize)が所定の最小符号化ブロックサイズ(MinCbLog2Size)よりも大きい場合、符号化データから上記残差モードを復号し、
それ以外の場合、上記残差モードが符号化データに存在しない場合に、上記残差モードを上記第１のモードとして導出することを特徴とする請求項６に記載の画像復号装置。
符号化ユニットをさらに予測ブロックに分割するか否かを示すＰＵ分割モードを復号するＰＵ分割モード復号部を備え、
上記残差モード復号部は、
上記ＰＵ分割モードがＰＵ分割しないことを示す値の場合のみ、残差モードを復号し、
それ以外の場合には、残差モードを復号しないことを特徴とする請求項６に記載の画像復号装置。
符号化ユニットをさらに予測ブロックに分割するか否かを示すＰＵ分割モードを復号するＰＵ分割モード復号部を備え、
上記ＰＵ分割モード復号部は、
上記残差モードが上記第２のモードを示す場合、上記ＰＵ分割モードの復号を省略し、ＰＵ分割しないことを示す値を導出し、
上記残差モードが上記第１のモードを示す場合、上記ＰＵ分割モードを復号することを特徴とする請求項６に記載の画像復号装置。
符号化ユニットをさらに予測ブロックに分割するか否かを示すＰＵ分割モードを復号するＰＵ分割モード復号部を備え、
上記ＰＵ分割モード復号部は、
上記残差モードが上記第２のモードを示す場合、符号化ブロックサイズ(log2CbSize)が最小符号化ブロック(MinCbLog2Size)と１の和（MinCbLog2Size＋１）と等しい場合に、上記ＰＵ分割モードを復号し、
上記残差モードが上記第１のモードを示す場合、インターであるか、符号化ブロックサイズ(log2CbSize)が最小符号化ブロック(MinCbLog2Size)と等しい場合に、上記ＰＵ分割モードを復号し、
それ以外の場合、上記ＰＵ分割モードの復号を省略し、ＰＵ分割しないことを示す値を導出することを特徴とする請求項１に記載の画像復号装置。
符号化ユニットをさらに変換ブロックに分割するか否かを示すＴＵ分割モードを復号するＴＵ分割モード復号部を備え、
上記ＴＵ分割モード復号部は、
上記残差モードが上記第２のモードを示す場合、符号化ブロックサイズ(log2CbSize)が最大変換ブロック(MaxTbLog2SizeY)と１の和（MaxTbLog2SizeY＋１）以下かつ最小変換ブロック(MinCbLog2Size)と１の和（MinCbLog2Size＋１）より大きい場合に、上記ＴＵ分割フラグを復号し、
上記残差モードが上記第１のモードを示す場合、符号化ブロックサイズ(log2CbSize)が最大変換ブロック(MaxTbLog2Size)以下かつ最小変換ブロック(MinCbLog2Size)より大きい場合に、上記ＴＵ分割フラグを復号し、
それ以外の場合には、上記ＴＵ分割フラグの復号を省略し、分割しないことを示すＴＵ分割フラグの値を導出することを特徴とする請求項１に記載の画像復号装置。
符号化ユニットをさらに変換ブロックに分割するか否かを示すＴＵ分割モードを復号するＴＵ分割モード復号部を備え、
上記ＴＵ分割モード復号部は、
上記残差モードが上記第２のモードを示す場合、符号化変換デプス(trafoDepth)が、最大符号化デプス(MaxTrafoDepth)と１の差（MaxTrafoDepth―１）未満の場合に、上記ＴＵ分割フラグを復号し、
上記残差モードが上記第１のモードを示す場合、符号化変換デプス(trafoDepth)が最大符号化デプス(MaxTrafoDepth)未満の場合に、上記ＴＵ分割フラグを復号し、
それ以外の場合、上記ＴＵ分割フラグの復号を省略し、分割しないことを示す値を導出することを特徴とする請求項１に記載の画像復号装置。
残差を復号する残差復号部と、
復号された上記残差を逆量子化する逆量子化する逆量子化部とを備え、
上記逆量子化部は、
上記残差モードが上記第１のモードの場合、第１の量子化ステップにより逆量子化を行い、
上記残差モードが上記第２のモードの場合、上記第１の量子化ステップから導出される第２の量子化ステップにより逆量子化をすることを特徴とする請求項１に記載の画像復号装置。
上記画像復号装置は、量子化ステップ修正値を復号する量子化ステップ制御情報復号を備え、
上記逆量子化部は、第１の量子化ステップに上記量子化ステップ修正値を加算することで第２の量子化ステップを導出することを特徴とする請求項１５に記載の画像復号装置。
ピクチャをスライス単位に分割して、上記スライスをさらに符号化ツリーブロック単位に分割して復号する画像復号装置において、スライス内の最上位ブロックサイズを可変とすることを特徴とする画像復号装置。
スライス先頭の水平位置を示す値と垂直位置を示す値を復号することを特徴とする請求項１６に記載の画像復号装置。
スライス先頭の先頭アドレスを示す値を復号し、選択肢となる最上位ブロックサイズの内の最小のブロックサイズに基づいて、スライス先頭位置または対象ブロックの水平位置と垂直位置を導出することを特徴とする請求項１６に記載の画像復号装置。
ピクチャを符号化ツリーブロック単位に分割して符号化する画像符号化装置において、
上記符号化ツリーブロックを、ルートの符号化ツリーとして再帰的に分割する符号化ツリー分割部と、
上記符号化ツリーを分割するか否かを示す符号化ユニット分割フラグを符号化するＣＵ分割フラグ復号部と、
上記符号化ツリー以下の残差を第１のモードで復号するか、第１のモードとは異なる第２のモードで符号化するかを示す、残差モードを符号化する残差モード復号部とを備えることを特徴とする画像符号化装置。