[go: up one dir, main page]

JP6190499B2 - 画像復号装置、画像復号方法および画像符号化装置 - Google Patents

画像復号装置、画像復号方法および画像符号化装置 Download PDF

Info

Publication number
JP6190499B2
JP6190499B2 JP2016140060A JP2016140060A JP6190499B2 JP 6190499 B2 JP6190499 B2 JP 6190499B2 JP 2016140060 A JP2016140060 A JP 2016140060A JP 2016140060 A JP2016140060 A JP 2016140060A JP 6190499 B2 JP6190499 B2 JP 6190499B2
Authority
JP
Japan
Prior art keywords
prediction
unit
size
inter
flag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016140060A
Other languages
English (en)
Other versions
JP2016195452A (ja
Inventor
山本　智幸
智幸 山本
知宏 猪飼
知宏 猪飼
将伸 八杉
将伸 八杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2016195452A publication Critical patent/JP2016195452A/ja
Application granted granted Critical
Publication of JP6190499B2 publication Critical patent/JP6190499B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像を表す符号化データを復号する画像復号装置、および画像復号方法、ならびに画像を符号化することによって符号化データを生成する画像符号化装置に関する。
動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置が用いられている。
具体的な動画像符号化方式としては、例えば、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣ、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフ
トウェアに採用されている方式、ＴＭｕＣ（Test Model under Consideration）ソフトウェアに採用されている方式や、その後継コーデックであるＨＥＶＣ（High-Efficiency Video Coding）にて提案されている方式（非特許文献１、４）などが挙げられる。
このような動画像符号化方式においては、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化単位（コーディングユニット（Coding Unit）と呼ばれることもある）、及び、符号化単
位を分割することより得られるブロックおよびパーティションからなる階層構造により管理され、普通、ブロックごとに符号化／復号される。
また、このような動画像符号化方式においては、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。また、予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。
イントラ予測においては、同一フレーム内の局所復号画像に基づいて、当該フレームにおける予測画像が順次生成される。
一方、インター予測においては、フレーム全体が復号された参照フレーム（復号画像）内の参照画像に対し、動きベクトルを用いた動き補償を適用することによって、予測対象フレーム内の予測画像が予測単位（例えば、ブロック）毎に生成される。
インター予測については、近時開催されたJCT-VCの第６回会合（Torino, IT, 14-22 July, 2011）において、インター予測を用いる場合において、符号化処理の単位となる符号化単位を非対称のパーティション（ＰＵ）に分割する技術が採用されている（AMP; Asymmetric Motion Partition，非特許文献２、３）。
また、パーティションのタイプが、非対称パーティションである場合、非正方形の４分木変換（NSQT; Non-Square Quadtree Transform）を行うことが提案されている（非特許
文献２）。
「WD4: Working Draft 4 of High-Efficiency Video Coding (JCTVC-F803_d1)」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011（２０１１年９月８日公開） 「CE2: Non-Square Quadtree Transform for symmetric and asymmetric motion partition（JCTVC-F412）」, Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG116th Meeting: Torino, IT, 14-22 July, 2011（２０１１年７月２日公開） 「CE2: Test results of asymmetric motion partition (AMP) （JCTVC-F379）」, Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG116th Meeting: Torino, 14-22 July, 2011（２０１１年７月２日公開） 「WD4: Working Draft 4 of High-Efficiency Video Coding (JCTVC-F803_d5)」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011（２０１１年１０月２８日公開）
しかしながら、インター予測において、上述した非対称パーティションが新たに追加されることによりサイド情報の符号量は増加している。また、新たに追加された非対称パーティションは、従来の対称パーティションと性質が異なっているにもかかわらず、その性質が符号化処理において十分に活用されていないという課題がある。
本発明は、上記問題を鑑みてなされたものであり、その目的は、非対称パーティションを用いる場合における符号量の削減と、非対称パーティションの性質を活用した効率のよい符号化／復号処理を実現することができる画像復号装置、画像復号方法および画像符号化装置を提供することにある。
上記の課題を解決するために、本発明の一態様に係る画像復号装置は、画面間予測の予測方式として、１枚の参照画像を参照する単予測または２枚の参照画像を参照する双予測を用いて予測単位内の画像を復号する画像復号装置において、前記単予測または前記双予測のいずれかの予測方式を示す動き補償パラメータを導出する動き補償パラメータ導出部を備え、前記予測単位が所定のサイズ以下の場合、前記動き補償パラメータ導出部は、前記予測方式を切り替えて前記動き補償パラメータを導出することを特徴とする。
上記の課題を解決するために、本発明の一態様に係る画像復号方法は、画面間予測の予測方式として、１枚の参照画像を参照する単予測または２枚の参照画像を参照する双予測を用いて予測単位内の画像を復号する画像復号方法において、前記単予測または前記双予測のいずれかの予測方式を示す動き補償パラメータを導出するステップと、前記予測単位のサイズが、所定のサイズ以下か否かを判定するステップとを少なくとも含み、前記動き補償パラメータを導出するステップは、前記予測単位が前記所定のサイズ以下の場合、前記予測方式を切り替えて前記動き補償パラメータを導出することを特徴とする。
上記の課題を解決するために、本発明の一態様に係る画像符号化装置は、画面間予測の予測方式として、１枚の参照画像を参照する単予測または２枚の参照画像を参照する双予測を用いて予測単位内の画像を符号化する画像符号化装置において、前記単予測または前記双予測のいずれかの予測方式を示す動き補償パラメータを導出する動き補償パラメータ導出部を備え、前記予測単位が所定のサイズ以下の場合、前記動き補償パラメータ導出部は、前記予測方式を切り替えて前記動き補償パラメータを導出することを特徴とする。
上記の課題を解決するために、本発明の一態様に係る画像復号装置は、符号化単位毎に、画像符号化データを復号して復号画像を生成する画像復号装置において、前記符号化単位を分割する分割タイプを指定する情報を復号するＣＵ情報復号部と、コンテキストを用いた算術復号又はコンテキストを用いない算術復号により、前記画像符号化データからバイナリ値を復号する算術復号部とを備え、前記ＣＵ情報復号部が、前記分割タイプとして非対称的分割（ＡＭＰ; Asymmetric Motion Partition）を指定する情報を復号する場合
、前記算術復号部は、前記バイナリ値の位置に応じて、前記コンテキストを用いた算術復号と前記コンテキストを用いない算術復号とを切り替えて復号することを特徴とする。
本発明の一態様によれば、非対称パーティションを用いる場合における符号量の削減と、非対称パーティションの性質を活用した効率のよい符号化／復号処理を実現することができる。
本発明の一実施形態に係る動画像復号装置が備えるＣＵ情報復号部および復号モジュールの構成例について示す機能ブロック図である。 上記動画像復号装置の概略的構成について示した機能ブロック図である。 本発明の一実施形態に係る動画像符号化装置によって生成され、上記動画像復号装置によって復号される符号化データのデータ構成を示す図であり、（ａ）〜（ｄ）は、それぞれ、ピクチャレイヤ、スライスレイヤ、ツリーブロックレイヤ、およびＣＵレイヤを示す図である。 ＰＵ分割タイプのパターンを示す図である。（ａ）〜（ｈ）は、それぞれ、ＰＵ分割タイプが、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤの場合のパーティション形状について示している。 ＣＵのサイズおよびＰＵ分割タイプに対応付けて、ＰＵの個数およびサイズが定義されているＰＵサイズテーブルの具体的な構成例を示す図である。 傾斜を有するエッジが存在する２Ｎ×ＮのＣＵおよび２Ｎ×ｎＵのＣＵを示す図である。 ＣＵ予測タイプおよびＰＵ分割タイプの組み合わせと、ｂｉｎ列との対応付けを定義する二値化情報の一例を示すテーブルである。 ８×８サイズのＣＵについて定義する上記二値化情報の一例を示す図である。 ８×８サイズのＣＵについて定義する上記二値化情報の他の例を示す図である。 ＣＵ予測タイプおよびＰＵ分割タイプの組み合わせと、ｂｉｎ列との対応付けを定義する二値化情報の他の例を示すテーブルである。 ＣＵ予測タイプおよびＰＵ分割タイプの組み合わせと、ｂｉｎ列との対応付けを定義する二値化情報の別の例を示すテーブルである。 上記動画像復号装置が備えるＰＵ情報復号部および復号モジュールの構成例について示す機能ブロック図である。 非対称パーティションが選択されたＣＵを示す図である。 対称パーティションが選択されたＣＵにおけるマージ候補の優先順位を示す図である。 非対称パーティションが選択されたＣＵにおけるマージ候補の優先順位を示す図である。（ａ）および（ｂ）は、いずれも、ＰＵ分割タイプが２Ｎ×ｎＵである場合のＣＵを示している。（ａ）は、小さい方のパーティションにおけるマージ候補の優先順位について示しており、（ｂ）は、大きい方のパーティションにおけるマージ候補の優先順位について示している。また、（ｃ）および（ｄ）は、いずれも、ＰＵ分割タイプが２Ｎ×ｎＤである場合のＣＵを示している。また、（ｃ）は、大きい方のパーティションにおけるマージ候補の優先順位について示しており、（ｄ）は、小さい方のパーティションにおけるマージ候補の優先順位について示している。 上記動画像復号装置が備えるＴＵ情報復号部および復号モジュールの構成例について示す機能ブロック図である。 ＣＵのサイズ、ＴＵ分割の深度（trafoDepth）、および対象ＰＵのＰＵ分割タイプに応じて、ＴＵ分割パターンが定義される変換サイズ決定情報の一例を示す図である。 正方形のノードを正方形または非正方形に４分木分割する分割方式について示す図である。（ａ）は、正方形の分割、（ｂ）は、横長の長方形の分割、および、（ｃ）は、縦長の長方形の分割を示している。 正方形のノードを正方形または非正方形に４分木分割する分割方式について示す図である。（ａ）は、横長のノードの横長の分割、（ｂ）は、横長のノードの正方形の分割、（ｃ）は、縦長のノードの縦長の分割、および（ｄ）は、縦長のノードの正方形の分割を示している。 ＰＵ分割タイプ２Ｎ×Ｎの３２×３２ＣＵにおけるＴＵ分割の例を示す図である。 ＰＵ分割タイプ２Ｎ×ｎＵの３２×３２ＣＵにおけるＴＵ分割の例を示す図である。 図１７に示す変換サイズ決定情報に従って分割を行った場合のＴＵ分割の流れを示す図である。（ａ）は、ＰＵ分割タイプが、２Ｎ×２Ｎの場合を示しており、（ｂ）は、ＰＵ分割タイプが、２Ｎ×ｎＵの場合を示している。 ＰＵ分割タイプが２Ｎ×２Ｎの領域の分割を行った場合のＴＵ分割の流れの一例を示す図である。 ＣＵ復号処理の流れの一例を示すフローチャートである。 本発明の一実施形態に係る動画像符号化装置の概略的構成について示した機能ブロック図である。 ＣＵ符号化処理の流れの一例を示すフローチャートである。 上記動画像符号化装置を搭載した送信装置、および、上記動画像復号装置を搭載した受信装置の構成について示した図である。（ａ）は、動画像符号化装置を搭載した送信装置を示しており、（ｂ）は、動画像復号装置を搭載した受信装置を示している。 上記動画像符号化装置を搭載した記録装置、および、上記動画像復号装置を搭載した再生装置の構成について示した図である。（ａ）は、動画像符号化装置を搭載した記録装置を示しており、（ｂ）は、動画像復号装置を搭載した再生装置を示している。 上記動画像復号装置が備えるＰＵ情報復号部の動き補償パラメータ導出部の詳細な構成例について示す機能ブロック図である。 上記動画像復号装置が備える復号モジュールの動き情報復号部の詳細な構成例について示す機能ブロック図である。 従来技術におけるＰＵのシンタックステーブルの例であり、双予測制限を行わない場合の符号化データの構成を示す図である。 インター予測フラグの意味について示す図である。（ａ）は、２値フラグである場合のインター予測フラグの意味を示し、（ｂ）は、３値フラグである場合のインター予測フラグの意味を示す。 ＰＵのシンタックステーブルの例を示す図であり、（ａ）および（ｂ）は各々双予測制限を行う場合の符号化データの構成の特にインター予測フラグinter_pred_flagの部分を示す。 双予測制限に関するシンタックステーブルの例を示す図である。（ａ）は、シーケンスパラメータセットが双予測制限をするか否かを制限するフラグdisable_bipred_in_small_PUを含む場合を示す。（ｂ）は、共通のフラグとして予測制約フラグuse_restricted_predictionを設ける例である。（ｃ）は、双予測を禁止するＰＵのサイズを示すdisable_bipred_sizeを符号化データに含める例である。 双予測制限を実施する範囲および双予測制限方法の対応関係を示す図である。 双予測制限に関するシンタックステーブルの例を示す図である。 双予測制限に関するコンバインドテーブルを説明する図であり、（ａ）、（ｂ）、（ｃ）は、combined_inter_pred_ref_idxの値の例を説明するための図であり、（ｄ）は最大値MaxPredRefの導出方法を示すテーブルおよび擬似コードを示す図である。 コンバインドテーブルに対する可変テーブルを説明する図であり、（ａ）は、変換可変テーブルEncTableと逆変換可変テーブルDecTableの例を示す図であり、（ｂ）は、逆変換可変テーブルDecTableを示す図である。 双予測制限に関するinter_pred_flagを復号を説明する図である。 双予測制限に関する結合結合インター予測参照インデックスフラグcombined_inter_pred_ref_idxの復号を説明する図である。 逆変換可変テーブルを用いる場合のcombined_inter_pred_ref_idxの復号処理を示す擬似コード。 変換可変テーブルを用いる場合のcombined_inter_pred_ref_idxの符号化処理を示す擬似コード。 マージ動き補償パラメータ導出部の構成を示すブロック図である。 マージ動き補償パラメータ導出部の動作を示すフローチャートである。 隣接マージ候補導出部１２１２Ａの動作を説明する図である。 （ａ）〜（ｃ）は、時間的マージ候補導出部１２１２Ｂの動作を説明する図である。 ユニーク候補導出部１２１２Ｃの動作を説明する図である。 （ａ）〜（ｃ）は、結合双予測マージ候補導出部１２１２Ｄの動作を説明する図である。 （ａ）、（ｂ）は、非スケール双予測マージ候補導出部１２１２Ｅの動作を説明する図である。 ゼロベクトルマージ候補導出部１２１２Ｆの動作を説明する図である。 双単予測変換の動作を説明する図である。 双予測制限方法の例を説明する図であり、（ａ）は、４ｘ４、４ｘ８、４ｘ８のサイズのＰＵに対して、一様に、基本インターＰＵの双予測制限、マージＰＵの双予測制限、双予測マージ候補導出のスキップを適用する例を示す図であり、（ｂ）、（ｃ）は、マージＰＵの双予測制限、双予測マージ候補導出のスキップは行わず基本インターＰＵにのみ双予測制限を行う例を示す図であり、（ｄ）は、４ｘ４、４ｘ８、４ｘ８のサイズのＰＵに対して、一様に、基本インターＰＵの双予測制限、８ｘ８のサイズのＰＵに対してマージＰＵの双予測制限、双予測マージ候補導出のスキップを適用する例を示す図である。 双予測制限方法の例を説明する図であり、（ａ）は、４ｘ４、４ｘ８、４ｘ８、８ｘ８に対して、基本インターＰＵの双予測制限と双予測マージ候補導出のスキップを適用する例を示す図であり、（ｂ）は、４ｘ４、４ｘ８、４ｘ８、８ｘ８に対して、双予測マージ候補導出のスキップを適用する例を示す図である。 基本動き補償パラメータ導出部の構成を示すブロック図である。 ＰＵ情報生成部の構成を示すブロック図である。 マージ動き補償パラメータ生成部の構成を示すブロック図である。 基本動き補償パラメータ生成部の構成を示すブロック図である。 Ｈ．２６４／ＡＶＣにおけるレベル規制を定義するテーブルである。 Ｈ．２６４／ＡＶＣにおけるレベル規制を定義するテーブルである。 適応的なＰＵサイズ制約および双予測制限について示した図である。（ａ）は、１６×１６ＣＵの場合について示しており、（ｂ）は、８×８ＣＵの場合について示している。 ＰＵ情報復号部が備えるマージ動き補償パラメータ導出部等の構成例を示すブロック図である。 双予測制限に関するシンタックステーブルの一例を示す図である。 双予測制限ＰＵ判定部の動作について示した疑似コードの一例を示す図である。 双予測制限に関するシンタックステーブルの他の例を示す図である。 双予測制限ＰＵ判定部の動作について示した疑似コードの他の例を示す図である。 双予測制限に関するシンタックステーブルの別の例を示す図である。 双予測制限ＰＵ判定部の動作について示した疑似コードの別の例を示す図である。 双予測制限ＰＵ判定部の動作について示した疑似コードの別の例の変形例を示す図である。 双予測制限に関するシンタックステーブルのさらに別の例を示す図である。 双予測制限ＰＵ判定部の動作について示した疑似コードのさらに別の例を示す図である。 マージ動き補償パラメータ導出部および双単予測変換部の処理の流れの一例について示すフローチャートである。 ＰＵ情報復号部が備えるマージ動き補償パラメータ導出部等の構成例を示すブロック図である。 マージ動き補償パラメータ導出部および双単予測変換部の処理の流れの変形例について示すフローチャートである。 マージ候補導出処理と、双単変換処理と、リスト作成処理とからなる一連の処理のタイムチャートである。 マージ候補導出処理と、双単変換処理と、リスト作成処理とからなる一連の処理のタイムチャートである。 ＰＵ情報復号部が備えるマージ動き補償パラメータ導出部等の構成例を示すブロック図である。 Ｘ座標を整数化する整数化処理の具体例について説明する図である。 Ｙ座標を整数化する整数化処理の具体例について説明する図である。 Ｘ座標およびＹ座標を整数化する整数化処理の具体例について説明する図である。 片方のリストのみＸ座標およびＹ座標を整数化する整数化処理の具体例について説明する図である。 ＰＵ情報生成部が備えるマージ動き補償パラメータ生成部等の構成例を示すブロック図である。 ＰＵ情報生成部が備えるマージ動き補償パラメータ生成部等の構成例を示すブロック図である。 ＰＵ情報生成部が備えるマージ動き補償パラメータ生成部等の構成例を示すブロック図である。 本発明におけるレベル規制を定義するテーブルである。 本発明におけるレベル規制の別の例を定義するテーブルである。 双予測制限ＰＵ判定部の動作について示した疑似コードの別の例の変形例を示す図である。 動き補償パラメータ制限部の動作について示した疑似コードの例を示す図である。 PU情報生成部３０の別の構成を示すブロック図である。
本発明の一実施形態について図１〜図２４を参照して説明する。まず、図２を参照しながら、動画像復号装置（画像復号装置）１および動画像符号化装置（画像符号化装置）２の概要について説明する。図２は、動画像復号装置１の概略的構成を示す機能ブロック図である。
図２に示す動画像復号装置１および動画像符号化装置２は、Ｈ．２６４／ＭＰＥＧ−４
ＡＶＣ規格に採用されている技術、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフトウェアに採用されている技術、ＴＭｕＣ（Test Model under Consideration）ソフトウェアに採用されている技術、および、その後継コーデックであるＨＥＶＣ（High-Efficiency Video Coding）にて提案されている技術を実装している。
動画像符号化装置２は、これらの動画像符号化方式において、エンコーダからデコーダに伝送されることが規定されているシンタックス（syntax）の値をエントロピー符号化して符号化データ＃１を生成する。
エントロピー符号化方式としては、コンテキスト適応型可変長符号化（CAVLC：Context-based Adaptive Variable Length Coding）、および、コンテキスト適応型２値算術符号化（CABAC：Context-based Adaptive Binary Arithmetic Coding）が知られている。
ＣＡＶＬＣおよびＣＡＢＡＣによる符号化／復号においては、コンテキストに適応した処理が行われる。コンテキストとは、符号化／復号の状況（文脈）のことであり、関連シンタックスの過去の符号化／復号結果により定まるものである。関連シンタックスとしては、例えば、イントラ予測、インター予測に関する各種シンタックス、輝度（Luma）、色差（Chroma）に関する各種シンタックス、およびＣＵ(Coding Unit 符号化単位)サイズに関する各種シンタックスなどがある。また、ＣＡＢＡＣでは、シンタックスに対応する２値データ（バイナリ列）における、符号化／復号対象となるバイナリの位置をコンテキストとして用いる場合もある。
ＣＡＶＬＣでは、符号化に用いるＶＬＣテーブルを適応的に変更して、各種シンタックスが符号化される。一方、ＣＡＢＡＣでは、予測モードおよび変換係数等の多値を取り得るシンタックスに対して２値化処理が施され、この２値化処理によって得られた２値データが発生確率に応じて適応的に算術符号化される。具体的には、バイナリ値（０または１）の発生確率を保持するバッファを複数用意し、コンテキストに応じて一つのバッファを選択し、当該バッファに記録されている発生確率に基づいて算術符号化を行う。また、復号／符号化するバイナリ値に基づいて、当該バッファの発生確率を更新することで、コンテキストに応じて適切な発生確率を維持できる。
動画像復号装置１には、動画像符号化装置２が動画像を符号化した符号化データ＃１が入力される。動画像復号装置１は、入力された符号化データ＃１を復号して動画像＃２を外部に出力する。動画像復号装置１の詳細な説明に先立ち、符号化データ＃１の構成を以下に説明する。
〔符号化データの構成〕
図３を用いて、動画像符号化装置２によって生成され、動画像復号装置１によって復号される符号化データ＃１の構成例について説明する。符号化データ＃１は、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。
符号化データ＃１におけるピクチャレイヤ以下の階層の構造を図３に示す。図３の（ａ
）〜（ｄ）は、それぞれ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、ツリーブロック（Tree block）ＴＢＬＫを規定するツリーブロックレイヤ、ツリーブロックＴＢＬＫに含まれる符号化単位（Coding Unit；ＣＵ）を規定
するＣＵレイヤを示す図である。
（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図３の（ａ）に示すように、ピクチャヘッダＰＨ、及び、スライスＳ1〜ＳNS
を含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。
なお、以下、スライスＳ1〜ＳNSのそれぞれを区別する必要が無い場合、符号の添え字
を省略して記述することがある。また、以下に説明する符号化データ＃１に含まれるデータであって、添え字を付している他のデータについても同様である。
ピクチャヘッダＰＨには、対象ピクチャの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれている。例えば、動画像符号化装置２が符号化の際に用いた可変長符号化のモードを示す符号化モード情報（entropy_coding_mode_flag）は、ピクチャヘッダＰＨに含まれる符号化パラメータの一例である。
entropy_coding_mode_flagが０の場合、当該ピクチャＰＩＣＴは、ＣＡＶＬＣ（Context-based Adaptive Variable Length Coding）によって符号化されている。また、entropy_coding_mode_flagが１である場合、当該ピクチャＰＩＣＴは、ＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）によって符号化されている。
なお、ピクチャヘッダＰＨは、ピクチャー・パラメーター・セット（ＰＰＳ：Picture Parameter Set）とも称される。
（スライスレイヤ）
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図３の（ｂ）に示すように、スライスヘッダＳＨ、及び、ツリーブロックＴＢＬＫ1〜ＴＢＬＫNC
（ＮＣはスライスＳに含まれるツリーブロックの総数）を含んでいる。
スライスヘッダＳＨには、対象スライスの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。
スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単予測、又は、イントラ予測を用いるＰスライス、（３）符号化の際に単予測、双予測、又は、イントラ予測を用いるＢスライスなどが挙げられる。
また、スライスヘッダＳＨには、動画像復号装置１の備えるループフィルタ（不図示）によって参照されるフィルタパラメータが含まれていてもよい。
（ツリーブロックレイヤ）
ツリーブロックレイヤでは、処理対象のツリーブロックＴＢＬＫ（以下、対象ツリーブロックとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定され
ている。
ツリーブロックＴＢＬＫは、ツリーブロックヘッダＴＢＬＫＨと、符号化単位情報ＣＵ１〜ＣＵＮＬ（ＮＬはツリーブロックＴＢＬＫに含まれる符号化単位情報の総数）とを含む。ここで、まず、ツリーブロックＴＢＬＫと、符号化単位情報ＣＵとの関係について説明すると次のとおりである。
ツリーブロックＴＢＬＫは、イントラ予測またはインター予測、および、変換の各処理ためのブロックサイズを特定するためのユニットに分割される。
ツリーブロックＴＢＬＫの上記ユニットは、再帰的な４分木分割により分割されている。この再帰的な４分木分割により得られる木構造のことを以下、符号化ツリー（coding tree）と称する。
以下、符号化ツリーの末端のノードであるリーフ（leaf）に対応するユニットを、符号化ノード（coding node）として参照する。また、符号化ノードは、符号化処理の基本的
な単位となるため、以下、符号化ノードのことを、符号化単位（ＣＵ）とも称する。
つまり、符号化単位情報ＣＵ１〜ＣＵＮＬは、ツリーブロックＴＢＬＫを再帰的に４分木分割して得られる各符号化ノード（符号化単位）に対応する情報である。
また、符号化ツリーのルート（root）は、ツリーブロックＴＢＬＫに対応付けられる。換言すれば、ツリーブロックＴＢＬＫは、複数の符号化ノードを再帰的に含む４分木分割の木構造の最上位ノードに対応付けられる。
なお、各符号化ノードのサイズは、当該符号化ノードが直接に属する符号化ノード（すなわち、当該符号化ノードの１階層上位のノードのユニット）のサイズの縦横とも半分である。
また、各符号化ノードの取り得るサイズは、符号化データ＃１のシーケンスパラメータセットＳＰＳに含まれる、符号化ノードのサイズ指定情報および最大階層深度（maximum hierarchical depth）に依存する。例えば、ツリーブロックＴＢＬＫのサイズが６４×６４画素であって、最大階層深度が３である場合には、当該ツリーブロックＴＢＬＫ以下の階層における符号化ノードは、４種類のサイズ、すなわち、６４×６４画素、３２×３２画素、１６×１６画素、および８×８画素の何れかを取り得る。
（ツリーブロックヘッダ）
ツリーブロックヘッダＴＢＬＫＨには、対象ツリーブロックの復号方法を決定するために動画像復号装置１が参照する符号化パラメータが含まれる。具体的には、図３の（ｃ）に示すように、対象ツリーブロックの各ＣＵへの分割パターンを指定するツリーブロック分割情報ＳＰ＿ＴＢＬＫ、および、量子化ステップの大きさを指定する量子化パラメータ差分Δｑｐ（qp_delta）が含まれる。
ツリーブロック分割情報ＳＰ＿ＴＢＬＫは、ツリーブロックを分割するための符号化ツリーを表す情報であり、具体的には、対象ツリーブロックに含まれる各ＣＵの形状、サイズ、および、対象ツリーブロック内での位置を指定する情報である。
なお、ツリーブロック分割情報ＳＰ＿ＴＢＬＫは、ＣＵの形状やサイズを明示的に含んでいなくてもよい。例えばツリーブロック分割情報ＳＰ＿ＴＢＬＫは、対象ツリーブロック全体またはツリーブロックの部分領域を四分割するか否かを示すフラグ(split_coding_
unit_flag)の集合であってもよい。その場合、ツリーブロックの形状やサイズを併用することで各ＣＵの形状やサイズを特定できる。
また、量子化パラメータ差分Δｑｐは、対象ツリーブロックにおける量子化パラメータｑｐと、当該対象ツリーブロックの直前に符号化されたツリーブロックにおける量子化パラメータｑｐ’との差分ｑｐ−ｑｐ’である。
（ＣＵレイヤ）
ＣＵレイヤでは、処理対象のＣＵ（以下、対象ＣＵとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。
ここで、符号化単位情報ＣＵに含まれるデータの具体的な内容の説明をする前に、ＣＵに含まれるデータの木構造について説明する。符号化ノードは、予測ツリー（prediction
tree；ＰＴ）および変換ツリー（transform tree；ＴＴ）のルートのノードとなる。予
測ツリーおよび変換ツリーについて説明すると次のとおりである。
予測ツリーにおいては、符号化ノードが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ノードを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。
予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit；ＰＵ）とも称する。
予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。
イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）と、Ｎ×Ｎとがある。
また、インター予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）、２Ｎ×Ｎ、Ｎ×２Ｎ、および、Ｎ×Ｎなどがある。
また、変換ツリーにおいては、符号化ノードが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ノードを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。
変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit；ＴＵ）とも称する。
（符号化単位情報のデータ構造）
続いて、図３の（ｄ）を参照しながら符号化単位情報ＣＵに含まれるデータの具体的な内容について説明する。図３の（ｄ）に示すように、符号化単位情報ＣＵは、具体的には、スキップモードフラグＳＫＩＰ、ＣＵ予測タイプ情報Ｐｒｅｄ＿ｔｙｐｅ、ＰＴ情報ＰＴＩ、および、ＴＴ情報ＴＴＩを含む。
［スキップフラグ］
スキップフラグＳＫＩＰは、対象ＣＵについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグＳＫＩＰの値が１の場合、すなわち、対象ＣＵにス
キップモードが適用されている場合、その符号化単位情報ＣＵにおけるＰＴ情報ＰＴＩは省略される。なお、スキップフラグＳＫＩＰは、Ｉスライスでは省略される。
［ＣＵ予測タイプ情報］
ＣＵ予測タイプ情報Ｐｒｅｄ＿ｔｙｐｅは、ＣＵ予測方式情報ＰｒｅｄＭｏｄｅおよびＰＵ分割タイプ情報ＰａｒｔＭｏｄｅを含む。
ＣＵ予測方式情報ＰｒｅｄＭｏｄｅは、対象ＣＵに含まれる各ＰＵについての予測画像生成方法として、イントラ予測（イントラＣＵ）、および、インター予測（インターＣＵ）のいずれを用いるのかを指定するものである。なお、以下では、対象ＣＵにおける、スキップ、イントラ予測、および、インター予測の種別を、ＣＵ予測モードと称する。
ＰＵ分割タイプ情報ＰａｒｔＭｏｄｅは、対象符号化単位（ＣＵ）の各ＰＵへの分割のパターンであるＰＵ分割タイプを指定するものである。以下、このように、ＰＵ分割タイプに従って、対象符号化単位（ＣＵ）を各ＰＵへ分割することをＰＵ分割と称する。
ＰＵ分割タイプ情報ＰａｒｔＭｏｄｅは、例示的には、ＰＵ分割パターンの種類を示すインデックスであってもよいし、対象予測ツリーに含まれる各ＰＵの形状、サイズ、および、対象予測ツリー内での位置が指定されていてもよい。
なお、選択可能なＰＵ分割タイプは、ＣＵ予測方式とＣＵサイズに応じて異なる。また、さらにいえば、選択可能できるＰＵ分割タイプは、インター予測およびイントラ予測それぞれの場合において異なる。また、ＰＵ分割タイプの詳細については後述する。
また、Ｉスライスでない場合、ＰＵ分割タイプ情報ＰａｒｔＭｏｄｅの値は、ツリーブロックの分割（partition）、予測方式、およびＣＵの分割（split）の方法の組み合わせを指定するインデックス（cu_split_pred_part_mode）によって特定されるようになって
いてもよい。
［ＰＴ情報］
ＰＴ情報ＰＴＩは、対象ＣＵに含まれるＰＴに関する情報である。言い換えれば、ＰＴ情報ＰＴＩは、ＰＴに含まれる１または複数のＰＵそれぞれに関する情報の集合である。上述のとおり予測画像の生成は、ＰＵを単位として行われるので、ＰＴ情報ＰＴＩは、動画像復号装置１によって予測画像が生成される際に参照される。ＰＴ情報ＰＴＩは、図３の（ｄ）に示すように、各ＰＵにおける予測情報等を含むＰＵ情報ＰＵＩ１〜ＰＵＩＮＰ（ＮＰは、対象ＰＴに含まれるＰＵの総数）を含む。
予測情報ＰＵＩは、予測タイプ情報Ｐｒｅｄ＿ｍｏｄｅが何れの予測方法を指定するのかに応じて、イントラ予測情報、または、インター予測情報を含む。以下では、イントラ予測が適用されるＰＵをイントラＰＵとも呼称し、インター予測が適用されるＰＵをインターＰＵとも呼称する。
インター予測情報は、動画像復号装置１が、インター予測によってインター予測画像を生成する際に参照される符号化パラメータを含む。
インター予測パラメータとしては、例えば、マージフラグ（ｍｅｒｇｅ＿ｆｌａｇ）、マージインデックス（ｍｅｒｇｅ＿ｉｄｘ）、推定動きベクトルインデックス（ｍｖｐ＿ｉｄｘ）、参照画像インデックス（ｒｅｆ＿ｉｄｘ）、インター予測フラグ（ｉｎｔｅｒ＿ｐｒｅｄ＿ｆｌａｇ）、および動きベクトル残差（ｍｖｄ）が挙げられる。
イントラ予測情報は、動画像復号装置１が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータを含む。
イントラ予測パラメータとしては、例えば、推定予測モードフラグ、推定予測モードインデックス、および、残余予測モードインデックスが挙げられる。
なお、イントラ予測情報では、ＰＣＭモードを用いるか否かを示すＰＣＭモードフラグが符号化されていてもよい。ＰＣＭモードフラグが符号化されている場合であって、ＰＣＭモードフラグがＰＣＭモードを用いることを示しているときには、予測処理（イントラ）、変換処理、および、エントロピー符号化の各処理が省略される。
［ＴＴ情報］
ＴＴ情報ＴＴＩは、ＣＵに含まれるＴＴに関する情報である。言い換えれば、ＴＴ情報ＴＴＩは、ＴＴに含まれる１または複数のＴＵそれぞれに関する情報の集合であり、動画像復号装置１により残差データを復号する際に参照される。なお、以下、ＴＵのことをブロックと称することもある。
ＴＴ情報ＴＴＩは、図３の（ｄ）に示すように、対象ＣＵの各変換ブロックへの分割パターンを指定するＴＴ分割情報ＳＰ＿ＴＵ、および、ＴＵ情報ＴＵＩ1〜ＴＵＩNT（ＮＴ
は、対象ＣＵに含まれるブロックの総数）を含んでいる。
ＴＴ分割情報ＳＰ＿ＴＵは、具体的には、対象ＣＵに含まれる各ＴＵの形状、サイズ、および、対象ＣＵ内での位置を決定するための情報である。例えば、ＴＴ分割情報ＳＰ＿ＴＵは、対象となるノードの分割を行うのか否かを示す情報（split_transform_flag）と、その分割の深度を示す情報（trafoDepth）とから実現することができる。
また、例えば、ＣＵのサイズが、６４×６４の場合、分割により得られる各ＴＵは、３２×３２画素から４×４画素までのサイズを取り得る。
ＴＵ情報ＴＵＩ1〜ＴＵＩNTは、ＴＴに含まれる１または複数のＴＵそれぞれに関する
個別の情報である。例えば、ＴＵ情報ＴＵＩは、量子化予測残差を含んでいる。
各量子化予測残差は、動画像符号化装置２が以下の処理１〜３を、処理対象のブロックである対象ブロックに施すことによって生成した符号化データである。
処理１：符号化対象画像から予測画像を減算した予測残差をＤＣＴ変換（Discrete Cosine Transform）する；
処理２：処理１にて得られた変換係数を量子化する；
処理３：処理２にて量子化された変換係数を可変長符号化する；
なお、上述した量子化パラメータｑｐは、動画像符号化装置２が変換係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２qp/6）。
（ＰＵ分割タイプ）
ＰＵ分割タイプには、対象ＣＵのサイズを２Ｎ×２Ｎ画素とすると、次の合計８種類のパターンがある。すなわち、２Ｎ×２Ｎ画素、２Ｎ×Ｎ画素、Ｎ×２Ｎ画素、およびＮ×Ｎ画素の４つの対称的分割（symmetric splittings）、並びに、２Ｎ×ｎＵ画素、２Ｎ×ｎＤ画素、ｎＬ×２Ｎ画素、およびｎＲ×２Ｎ画素の４つの非対称的分割（asymmetric splittings）である。なお、Ｎ＝２ｍ（ｍは１以上の任意の整数）を意味している。以下、
対象ＣＵを分割して得られる領域のことをパーティションとも称する。
図４の（ａ）〜（ｈ）に、それぞれの分割タイプについて、ＣＵにおけるＰＵ分割の境界の位置を具体的に図示している。
なお、図４の（ａ）は、ＣＵの分割を行わない２Ｎ×２ＮのＰＵ分割タイプを示している。
また、図４の（ｂ）、（ｃ）、および（ｄ）は、それぞれ、ＰＵ分割タイプが、それぞれ、２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤである場合のパーティションの形状について示している。以下、ＰＵ分割タイプが、２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤである場合のパーティションを、まとめて横長パーティションと称する。
また、図４の（ｅ）、（ｆ）、および（ｇ）は、それぞれ、ＰＵ分割タイプが、Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎである場合のパーティションの形状について示している。以下、ＰＵ分割タイプが、Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎである場合のパーティションを、まとめて縦長パーティションと称する。
また、横長パーティションおよび縦長パーティションをまとめて長方形パーティションと称する。
また、図４の（ｈ）は、ＰＵ分割タイプが、Ｎ×Ｎである場合のパーティションの形状を示している。図４の（ａ）および（ｈ）のＰＵ分割タイプのことを、そのパーティションの形状に基づいて、正方形分割とも称する。また、図４の（ｂ）〜（ｇ）のＰＵ分割タイプのことは、非正方形分割とも称する。
また、図４の（ａ）〜（ｈ）において、各領域に付した番号は、領域の識別番号を示しており、この識別番号順に、領域に対して処理が行われる。すなわち、当該識別番号は、領域のスキャン順を表している。
また、図４の（ａ）〜（ｈ）において、左上がＣＵの基準点（原点）であるとする。
［インター予測の場合の分割タイプ］
インターＰＵでは、上記８種類の分割タイプのうち、Ｎ×Ｎ（図４の（ｈ））以外の７種類が定義されている。なお、上記４つの非対称的分割は、ＡＭＰ（Asymmetric Motion Partition）と呼ばれることもある。
なお、上述のＮの具体的な値は、当該ＰＵが属するＣＵのサイズによって規定され、ｎＵ、ｎＤ、ｎＬ、および、ｎＲの具体的な値は、Ｎの値に応じて定められる。例えば、１２８×１２８画素のインターＣＵは、１２８×１２８画素、１２８×６４画素、６４×１２８画素、６４×６４画素、１２８×３２画素、１２８×９６画素、３２×１２８画素、および、９６×１２８画素のインターＰＵへ分割することが可能である。
［イントラ予測の場合の分割タイプ］
イントラＰＵでは、次の２種類の分割パターンが定義されている。すなわち、対象ＣＵを分割しない、すなわち対象ＣＵ自身が１つのＰＵとして取り扱われる分割パターン２Ｎ×２Ｎと、対象ＣＵを、４つのＰＵへと対称的に分割するパターンＮ×Ｎと、である。
したがって、イントラＰＵでは、図４に示した例でいえば、（ａ）および（ｈ）の分割パターンを取ることができる。
例えば、１２８×１２８画素のイントラＣＵは、１２８×１２８画素、および、６４×
６４画素のイントラＰＵへ分割することが可能である。
なお、Iスライスの場合、符号化単位情報ＣＵにおいて、ＰＵ分割タイプＰａｒｔＭｏ
ｄｅを特定するためのイントラ分割モード（intra_part_mode）が含まれていてもよい。
（ＴＵ分割およびノード内のＴＵの順序）
次に、図１８〜図２０を用いて、ＴＵ分割およびノード内のＴＵの順序について説明する。ＴＵ分割のパターンは、ＣＵのサイズ、分割の深度（trafoDepth）、および対象ＰＵのＰＵ分割タイプにより定まる。
また、ＴＵ分割のパターンには、正方形の４分木分割と、非正方形の４分木分割とが含まれる。ＴＵ分割のパターンの具体例は、図１８および図１９に示すとおりである。
図１８は、正方形のノードを正方形または非正方形に４分木分割する分割方式について示している。
図１８の（ａ）は、正方形のノードを正方形に４分木分割する分割方式を示している。また、同図の（ｂ）は、正方形のノードを横長の長方形に４分木分割する分割方式を示している。そして、同図の（ｃ）は、正方形のノードを縦長の長方形に４分木分割する分割方式を示している。
また、図１９は、非正方形のノードを正方形または非正方形に４分木分割する分割方式について示している。
図１９の（ａ）は、横長の長方形のノードを横長の長方形に４分木分割する分割方式を示している。また、同図の（ｂ）は、横長の長方形のノードを正方形に４分木分割する分割方式を示している。また、同図の（ｃ）は、縦長の長方形のノードを縦長の長方形に４分木分割する分割方式を示している。そして、同図の（ｄ）は、縦長の長方形のノードを正方形に４分木分割する分割方式を示している。
また、図２０に、ＰＵ分割タイプ２Ｎ×Ｎの３２×３２ＣＵのＴＵ分割の例を示している。同図において、“ｄｅｐｔｈ”は、分割の深度（trafoDepth）を示している。また、“ｓｐｌｉｔ”は、当該ｄｅｐｔｈにおけるsplit_transform_flagの値を示している。“ｓｐｌｉｔ”が“１”であれば、当該ｄｅｐｔｈのノードについてＴＵ分割を行い、“０”であれば、ＴＵ分割を行わない。
ＣＵのサイズ、分割の深度（trafoDepth）、および対象ＰＵのＰＵ分割タイプと、ＴＵ分割パターンとの対応関係の詳細については後述する。
〔動画像復号装置〕
以下では、本実施形態に係る動画像復号装置１の構成について、図１〜図２４を参照して説明する。
（動画像復号装置の概要）
動画像復号装置１は、ＰＵ毎に予測画像を生成し、生成された予測画像と、符号化データ＃１から復号された予測残差とを加算することによって復号画像＃２を生成し、生成された復号画像＃２を外部に出力する。
ここで、予測画像の生成は、符号化データ＃１を復号することによって得られる符号化パラメータを参照して行われる。符号化パラメータとは、予測画像を生成するために参照
されるパラメータのことである。符号化パラメータには、画面間予測において参照される動きベクトルや画面内予測において参照される予測モードなどの予測パラメータに加えて、ＰＵのサイズや形状、ブロックのサイズや形状、および、原画像と予測画像との残差データなどが含まれる。以下では、符号化パラメータに含まれる情報のうち、上記残差データを除く全ての情報の集合を、サイド情報と呼ぶ。
また、以下では、復号の対象となるピクチャ（フレーム）、スライス、ツリーブロック、ブロック、および、ＰＵをそれぞれ、対象ピクチャ、対象スライス、対象ツリーブロック、対象ブロック、および、対象ＰＵと呼ぶことにする。
なお、ツリーブロックのサイズは、例えば６４×６４画素であり、ＰＵのサイズは、例えば、６４×６４画素、３２×３２画素、１６×１６画素、８×８画素や４×４画素などである。しかしながら、これらのサイズは、単なる例示であり、ツリーブロックおよびＰＵのサイズは以上に示したサイズ以外のサイズであってもよい。
（動画像復号装置の構成）
再び、図２を参照して、動画像復号装置１の概略的構成について説明すると次のとおりである。図２は、動画像復号装置１の概略的構成について示した機能ブロック図である。
図２に示すように動画像復号装置１は、復号モジュール１０、ＣＵ情報復号部１１、ＰＵ情報復号部１２、ＴＵ情報復号部１３、予測画像生成部１４、逆量子化・逆変換部１５、フレームメモリ１６および加算器１７を備えている。
［復号モジュール］
復号モジュール１０は、バイナリからシンタックス値を復号する復号処理を行う。復号モジュール１０は、より具体的には、供給元から供給される符号化データおよびシンタックス種別に基づいて、ＣＡＢＡＣおよびＣＡＶＬＣ等のエントロピー符号化方式により符号化されているシンタックス値を復号し、復号したシンタックス値を供給元に返す。
以下に示す例では、符号化データおよびシンタックス種別の供給元は、ＣＵ情報復号部１１、ＰＵ情報復号部１２、およびＴＵ情報復号部１３である。
復号モジュール１０における復号処理の例として、ＣＵ情報復号部１１から、復号モジュール１０に対して、符号化データのバイナリ（ビット列）と、シンタックス種別“split_coding_unit_flag”とが供給された場合について説明すると次のとおりである。すなわち、この場合、復号モジュール１０は、“split_coding_unit_flag”に関するビット列とシンタックス値との対応付けを参照して、バイナリからシンタックス値を導出して、導出したシンタックス値をＣＵ情報復号部１１に返す。
［ＣＵ情報復号部］
ＣＵ情報復号部１１は、復号モジュール１０を用いて、動画像符号化装置２から入力された１フレーム分の符号化データ＃１について、ツリーブロックおよびＣＵレベルでの復号処理を行う。ＣＵ情報復号部１１は、具体的には、以下の手順により符号化データ＃１を復号する。
まず、ＣＵ情報復号部１１は、符号化データ＃１に含まれる各種ヘッダを参照して、符号化データ＃１を、スライス、ツリーブロックに順次分離する。
ここで、各種ヘッダには、（１）対象ピクチャのスライスへの分割方法についての情報、および（２）対象スライスに属するツリーブロックのサイズ、形状および対象スライス
内での位置についての情報が含まれる。
そして、ＣＵ情報復号部１１は、ツリーブロックヘッダＴＢＬＫＨに含まれるツリーブロック分割情報ＳＰ＿ＴＢＬＫを参照して、対象ツリーブロックをＣＵに分割する。
次に、ＣＵ情報復号部１１は、分割により得られたＣＵに対応する符号化単位情報（以下、ＣＵ情報と称する）を取得する。ＣＵ情報復号部１１は、ツリーブロックに含まれる各ＣＵを順に対象ＣＵとして、対象ＣＵに対応するＣＵ情報の復号処理を実行する。
すなわち、ＣＵ情報復号部１１は、対象ＣＵについて得られる変換ツリーに関するＴＴ情報ＴＴＩ、および、対象ＣＵについて得られる予測ツリーに関するＰＴ情報ＰＴＩを逆多重化する。
なお、ＴＴ情報ＴＴＩには、上述のとおり、変換ツリーに含まれるＴＵに対応するＴＵ情報ＴＵＩが含まれる。また、ＰＴ情報ＰＴＩには、上述のとおり、対象予測ツリーに含まれるＰＵに対応するＰＵ情報ＰＵＩが含まれる。
ＣＵ情報復号部１１は、対象ＣＵについて得られたＰＴ情報ＰＴＩをＰＵ情報復号部１２に供給する。また、ＣＵ情報復号部１１は、対象ＣＵについて得られたＴＴ情報ＴＴＩをＴＵ情報復号部１３に供給する。
［ＰＵ情報復号部］
ＰＵ情報復号部１２は、復号モジュール１０を用いて、ＣＵ情報復号部１１から供給されるＰＴ情報ＰＴＩについて、ＰＵレベルでの復号処理を行う。ＰＵ情報復号部１２は、具体的には、以下の手順によりＰＴ情報ＰＴＩを復号する。
ＰＵ情報復号部１２は、ＰＵ分割タイプ情報Ｐａｒｔ＿ｔｙｐｅを参照して、対象予測ツリーにおけるＰＵ分割タイプを決定する。続いて、ＰＵ情報復号部１２は、対象予測ツリーに含まれる各ＰＵを順に対象ＰＵとして、対象ＰＵに対応するＰＵ情報の復号処理を実行する。
すなわち、ＰＵ情報復号部１２は、対象ＰＵに対応するＰＵ情報から、予測画像の生成に用いられる各パラメータの復号処理を行う。
ＰＵ情報復号部１２は、対象ＰＵについて復号したＰＵ情報を、予測画像生成部１４に供給する。
［ＴＵ情報復号部］
ＴＵ情報復号部１３は、復号モジュール１０を用いて、ＣＵ情報復号部１１から供給されるＴＴ情報ＴＴＩについて、ＴＵレベルでの復号処理を行う。ＴＵ情報復号部１３は、具体的には、以下の手順によりＴＴ情報ＴＴＩを復号する。
ＴＵ情報復号部１３は、ＴＴ分割情報ＳＰ＿ＴＵを参照して、対象変換ツリーをノードまたはＴＵに分割する。なお、ＴＵ情報復号部１３は、対象ノードについて、さらに分割を行うことが指定されていれば、再帰的にＴＵの分割処理を行う。
分割処理が終了すると、ＴＵ情報復号部１３は、対象予測ツリーに含まれる各ＴＵを順に対象ＴＵとして、対象ＴＵに対応するＴＵ情報の復号処理を実行する。
すなわち、ＴＵ情報復号部１３は、対象ＴＵに対応するＴＵ情報から、変換係数の復元
に用いられる各パラメータの復号処理を行う。
ＴＵ情報復号部１３は、対象ＴＵについて復号したＴＵ情報を、逆量子化・逆変換部１５に供給する。
［予測画像生成部］
予測画像生成部１４は、対象ＣＵに含まれる各ＰＵについて、ＰＴ情報ＰＴＩに基づいて予測画像を生成する。具体的には、予測画像生成部１４は、対象予測ツリーに含まれる各対象ＰＵについて、対象ＰＵに対応するＰＵ情報ＰＵＩに含まれるパラメータに従ってイントラ予測またはインター予測を行うことにより、復号済み画像である局所復号画像Ｐ’から予測画像Ｐｒｅｄを生成する。予測画像生成部１４は、生成した予測画像Ｐｒｅｄを加算器１７に供給する。
なお、予測画像生成部１４が、動き補償予測パラメータ（動きベクトル、参照画像インデックス、インター予測フラグ）に基づいて対象ＣＵに含まれるＰＵの予測画像を生成する手法について説明すると以下のとおりである。
インター予測フラグが単予測を示す場合、予測画像生成部１４は、参照画像インデックスの示す参照画像の動きベクトルが示す場所に位置する復号画像に相当する予測画像を生成する。
一方、インター予測フラグが双予測を示す場合には、予測画像生成部１４は、２組の参照画像インデックスと動きベクトルとの組み合わせのそれぞれについて動き補償により予測画像を生成し、平均を算出することで、もしくは、各予測画像を対象ピクチャと各参照画像との表示時間間隔に基づいて重み付け加算することで、最終的な予測画像を生成する。
［逆量子化・逆変換部］
逆量子化・逆変換部１５は、対象ＣＵに含まれる各ＴＵについて、ＴＴ情報ＴＴＩに基づいて逆量子化・逆変換処理を実行する。具体的には、逆量子化・逆変換部１５は、対象変換ツリーに含まれる各対象ＴＵについて、対象ＴＵに対応するＴＵ情報ＴＵＩに含まれる量子化予測残差を逆量子化および逆直交変換することによって、画素毎の予測残差Ｄを復元する。なお、ここで直交変換とは、画素領域から周波数領域への直交変換のことを指す。したがって、逆直交変換は、周波数領域から画素領域への変換である。また、逆直交変換の例としては、逆ＤＣＴ変換（Inverse Discrete Cosine Transform）、および逆ＤＳ
Ｔ変換（Inverse Discrete Sine Transform）等が挙げられる。逆量子化・逆変換部１５
は、復元した予測残差Ｄを加算器１７に供給する。
［フレームメモリ］
フレームメモリ１６には、復号された復号画像Ｐが、当該復号画像Ｐの復号に用いられたパラメータと共に、順次記録される。フレームメモリ１６には、対象ツリーブロックを復号する時点において、当該対象ツリーブロックよりも先に復号された全てのツリーブロック（例えば、ラスタスキャン順で先行する全てのツリーブロック）に対応する復号画像が記録されている。フレームメモリ１６に記録される復号パラメータの例としては、ＣＵ予測方式情報ＰｒｅｄＭｏｄｅなどが挙げられる。
［加算器］
加算器１７は、予測画像生成部１４より供給される予測画像Ｐｒｅｄと、逆量子化・逆変換部１５より供給される予測残差Ｄとを加算することによって、対象ＣＵについての復号画像Ｐを生成する。
なお、動画像復号装置１において、画像内の全てのツリーブロックに対して、ツリーブロック単位の復号画像生成処理が終わった時点で、動画像復号装置１に入力された１フレーム分の符号化データ＃１に対応する復号画像＃２が外部に出力される。
以下では、（１）ＣＵ情報復号部１１、（２）ＰＵ情報復号部１２、および（３）ＴＵ情報復号部１３の構成について、それぞれの構成に対応する復号モジュール１０の構成と共に詳細に説明する。
（１）ＣＵ情報復号部の詳細
次に、図１を用いて、ＣＵ情報復号部１１および復号モジュール１０の構成例について説明する。図１は、動画像復号装置１において、ＣＵ予測情報を復号するための構成、すなわちＣＵ情報復号部１１および復号モジュール１０の構成について例示する機能ブロック図である。
以下、ＣＵ情報復号部１１および復号モジュール１０の順で、各部の構成について説明する。
（ＣＵ情報復号部）
図１に示すように、ＣＵ情報復号部１１は、ＣＵ予測モード決定部１１１、ＰＵサイズ決定部１１２、およびＰＵサイズテーブル１１３を備える。
ＣＵ予測モード決定部１１１は、ＣＵ予測モードの符号化データおよびシンタックス種別と、ＰＵ分割タイプの符号化データおよびシンタックス種別とを、復号モジュール１０に供給する。また、ＣＵ予測モード決定部１１１は、復号モジュール１０から、復号されたＣＵ予測モードのシンタックス値と、ＰＵ分割タイプのシンタックス値とを取得する。
具体的には、ＣＵ予測モード決定部１１１は、次のようにして、ＣＵ予測モードおよびＰＵ分割タイプを決定する。
まず、ＣＵ予測モード決定部１１１は、スキップフラグＳＫＩＰを復号モジュール１０により復号して、対象ＣＵがスキップＣＵであるか否かを決定する。
対象ＣＵがスキップＣＵでない場合、ＣＵ予測タイプ情報Ｐｒｅｄ＿ｔｙｐｅを復号モジュール１０により復号する。また、ＣＵ予測タイプ情報Ｐｒｅｄ＿ｔｙｐｅに含まれるＣＵ予測方式情報ＰｒｅｄＭｏｄｅに基づいて、対象ＣＵがイントラＣＵか、インターＣＵかを決定するとともに、ＰＵ分割タイプ情報ＰａｒｔＭｏｄｅに基づいてＰＵ分割タイプを決定する。
ＰＵサイズ決定部１１２は、ＰＵサイズテーブル１１３を参照して、対象ＣＵのサイズと、ＣＵ予測モード決定部１１１において決定されたＣＵ予測タイプおよびＰＵ分割タイプとから、ＰＵの個数およびサイズを決定する。
ＰＵサイズテーブル１１３は、ＣＵのサイズとＣＵ予測タイプ−ＰＵ分割タイプとの組み合わせにＰＵの個数およびサイズを対応付けるテーブルである。
ここで、図５を用いて、ＰＵサイズテーブル１１３の具体的な構成例について説明すると次のとおりである。
図５に示すＰＵサイズテーブル１１３では、ＣＵのサイズと、ＰＵ分割タイプ（イント
ラＣＵおよびインターＣＵ）に応じて、ＰＵの個数およびサイズが定義されている。なお、表中の“ｄ”は、ＣＵの分割深度を示す。
ＰＵサイズテーブル１１３では、ＣＵのサイズとして、６４×６４、３２×３２、１６×１６、および８×８の４つが定義されている。
また、ＰＵサイズテーブル１１３では、ＣＵのサイズに対して、各ＰＵ分割タイプにおけるＰＵの個数およびサイズが定義されている。
例えば、６４×６４のインターＣＵであって、２Ｎ×Ｎ分割である場合は、ＰＵは２個でサイズは共に６４×３２である。
また、６４×６４のインターＣＵであって、２Ｎ×ｎＵ分割である場合は、ＰＵは２個でサイズは６４×１６と６４×４８とである。
また、８×８のイントラＣＵであって、Ｎ×Ｎ分割である場合は、ＰＵは４個でサイズはすべて４×４である。
なお、スキップＣＵのＰＵ分割タイプは、２Ｎ×２Ｎと推定される。また、表中、“−”で示している箇所は、選択できないＰＵ分割タイプであることを示している。
すなわち、ＣＵサイズが、８×８の場合、インターＣＵにおいて、非対称パーティション（２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２Ｎ）のＰＵ分割タイプは選択不可である。また、インターＣＵの場合、Ｎ×ＮのＰＵ分割タイプは、選択不可である。
また、イントラ予測では、ＣＵサイズが、８×８の場合のみ、Ｎ×ＮのＰＵ分割タイプを選択することが可能である。
（復号モジュール）
図１に示すように、復号モジュール１０は、ＣＵ予測モード復号部（復号手段、変更手段）１０１１、二値化情報記憶部１０１２、コンテキスト記憶部１０１３、および確率設定記憶部１０１４を備える。
ＣＵ予測モード復号部１０１１は、ＣＵ予測モード決定部１１１から供給される符号化データおよびシンタックス種別に応じて、符号化データに含まれるバイナリからシンタックス値の復号を行う。具体的には、ＣＵ予測モード復号部１０１１は、二値化情報記憶部１０１２に記憶されている二値化情報に従って、ＣＵ予測モードおよびＰＵ分割タイプの復号処理を行う。また、ＣＵ予測モード復号部１０１１は、スキップフラグの復号処理を行う。
二値化情報記憶部１０１２には、ＣＵ予測モード復号部１０１１が、バイナリから、シンタックス値を復号するための二値化情報が記憶されている。二値化情報は、バイナリ（ｂｉｎ列）と、シンタックス値との対応付けを示す情報である。
コンテキスト記憶部１０１３には、ＣＵ予測モード復号部１０１１が、復号処理の際に参照するコンテキストが記憶されている。
確率設定記憶部１０１４には、ＣＵ予測モード復号部１０１１が、符号化データから算術復号処理によりｂｉｎ列を復号する際に参照する確率設定値が記録されている。なお、確率設定値は、各コンテキストに対応する記録設定値と、既定の確率設定値がある。各コ
ンテキストに対応する確率設定値は、算術復号の結果に基づいて更新される。一方、既定の確率設定値は一定であり、算術復号の結果により更新されない。なお、確率設定値は、確率の値自体ではなく、確率の値に対応する整数値で示される状態で表現しても良い。
［具体的構成例］
［１−１］コンテキストの参照を制限する構成の例
ＣＵ予測モード復号部１０１１は、ＰＵ分割タイプが非対称パーティションであるとき、非対称パーティションの分割の種類を示す情報を、ＣＡＢＡＣのコンテキストを用いないで復号処理を行ってもかまわない。言い換えると、非対称パーティションの分割の種類を示す情報に対応するｂｉｎ列を算術復号により符号化データから復号する際に、確率設定記憶部１０１４にコンテキスト毎に記録された確率設定値を用いず、既定の確率設定値（例えば０，１の発生確率が等確率に対応する確率設定値）を用いて復号処理を行ってもかまわない。
以下、図７を参照しながら、このようにコンテキストの参照の制限を行う構成について例示する。
ＣＵ予測モード復号部１０１１は、規定の確率を仮定して非対称パーティションの分割の種類を示す情報を復号する。
図７を参照しながら、本構成例についてさらに具体的に例示すると次のとおりである。図７に示す対応付けテーブルＢＴ１では、長方形の分割について、プレフィックス部は、分割の方向が横長（水平）および縦長（垂直）のいずれであるかを示しており、サフィックス部は、分割の種類を示している。
例えば、プレフィックス部が、ＰＵ分割タイプが横長の分割であることを示すとき、サフィックス部は、２Ｎ×Ｎ、２Ｎ×ｎＵ、および２Ｎ×ｎＤの３つの横長の分割のうち、いずれを選択するかを示す。
ＣＵ予測モード復号部１０１１は、ＰＵ分割タイプが、長方形の分割である場合、確率設定記憶部１０１４に設定されているコンテキスト毎に記録された確率設定値の代わりに、確率設定記憶部１０１４に設定されている既定の確率設定値を参照して、サフィックス部の各ｂｉｎの算術復号を行う。なお、当該確率設定値は、例えば、等確率を仮定して設定しておくことができる。
ここで、コンテキストを用いたＣＡＢＡＣの算術復号とは、バイナリの位置（コンテキスト）に応じてバイナリ値の発生確率（を示す状態）を記録・更新しておき、その発生確率（状態）に基づき算術復号を行う処理のことを言う。一方、コンテキストを用いないＣＡＢＡＣの算術復号とは、バイナリ値の発生確率（状態）の更新を行わず確率設定値により定まる固定確率に基づき算術復号を行うことを言う。コンテキストを用いない場合には、符号化処理、復号処理における発生確率（状態）の更新が不要である分、処理負荷が低減されスループットが向上する。またコンテキストに応じた発生確率（状態）を蓄積するメモリが不要になる。固定確率として、確率０．５を用いる場合は、ＥＰ符号化（等確率、Equal Probability符号化）もしくはBypass（バイパス）と呼ばれることがある。
図６を用いて、上記構成による作用・効果を説明する。まず、コンテキストが符号化効率の向上に有効なのは、特定の状況において、同一の符号が連続して発生する場合である。コンテキストを参照してサフィックス部を復号することで符号化効率が向上するのは、具体的には、横長の分割が選択された状況において、２Ｎ×Ｎ、２Ｎ×ｎＵ、または２Ｎ×ｎＤが連続して選択される場合である。例えば、２Ｎ×Ｎが選択された予測単位の次の
予測単位において、２Ｎ×Ｎが選択されるような場合である。
一方、パーティションは、図６に示すようにエッジ境界をまたがないように設定される場合が多い。
すなわち、図６に示すように、傾斜を有するエッジＥ１が領域内に存在するとき、当該エッジＥ１をまたがないように、ＣＵ１０およびＣ２０のＰＵ分割タイプが決定される。
より詳細には、ＣＵ１０では、エッジＥ１は、領域の垂直方向中央寄りに存在し、ＣＵ２０では、エッジＥ１が領域上方に存在する。
このように傾斜を有するエッジＥ１が領域内に存在する場合、ＣＵ１０は、エッジＥ１をまたがないように、２Ｎ×ＮのＰＵ分割タイプにより対称なＰＵ１１およびＰＵ１２分割される。
また、ＣＵ２０は、エッジＥ１をまたがないように、２Ｎ×ｎＵの分割タイプにより、非対称なＰＵ２１およびＰＵ２２に分割される。
このように、傾斜を有するエッジＥ１が、領域内に存在する場合、同一の形状のパーティションが連続して出現しないときがある。
このような場合は、２Ｎ×Ｎ、２Ｎ×ｎＵ、または２Ｎ×ｎＤが連続して選択される場合に該当しない。このような場合には、コンテキストを用いなくても符号化効率が低下しない場合がある。
上記構成のように、プレフィックス部を規定の確率を仮定して上記情報を復号することで、符号化効率を維持しつつ、ｐｒｅｄ＿ｔｙｐｅの復号処理を簡略化することができる。
［作用・効果］
本発明は以下のように表現することもできる。すなわち、本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成して画像を復元する画像復号装置において、上記予測単位への分割タイプは、長方形の予測単位への分割を含み、上記長方形が縦長および横長のいずれであるかを示す符号と、上記長方形の種類を示す符号とを含む、上記長方形の予測単位への分割を特定するための符号のうち、上記長方形の種類を示す符号を、コンテキストを用いずに復号する復号手段を備える構成である。
よって、符号化効率を維持しつつ、コンテキストを参照しないことによる処理の簡略化を図ることができる。
なお、上記の例は、複数の長方形パーティションを含むＰＵ分割に対応するＰＵ分割タイプの集合であって、対称分割と非対称分割の分割タイプを共に含むＰＵ分割タイプの集合において、何れかのＰＵ分割タイプを選択するための情報を復号する際に、コンテキストを用いずに復号してもよい、と表現することもできる。
また、上記の例において、非対称パーティションの選択に係る情報に対応するｂｉｎ列のうち、全てのｂｉｎの復号にコンテキストを用いないのではなく、一部のｂｉｎにコンテキストを用いてもよい。例えば、上述した図７の例では、８×８より大きいＣＵで長方形パーティションを含む分割が選択された場合、最大２桁のｂｉｎが複号される。このう
ち１桁目は対称分割か非対称分割かを示す情報である。２桁目は、１桁目が‘０’すなわち非対称分割であることを示す場合に複号されるｂｉｎであって、非対称分割における小さいＰＵと大きいＰＵの位置関係を表す。１桁目については、前述の図６に基づき説明した理由から同一の符号が連続しない場合もあるため、コンテキストを設定しないことが好ましい。一方、２桁目については、非対称パーティションが利用されるという前提条件が成立した状態において、小さいＰＵは局所的には片側の辺（例えば２桁目が２ＮｘｎＵと２Ｎ×ｎＤの選択情報を表す場合、上方側または下方側の何れか）に寄りやすい傾向があるため、コンテキストを設定することが好ましい。
［１−２］ＣＵ予測タイプ情報（ｐｒｅｄ＿ｔｙｐｅ）を復号する構成
ＣＵ予測モード復号部１０１１は、以下に示すように、二値化情報記憶部１０１２に記憶される二値化情報を参照してＣＵ予測タイプ情報を復号するよう構成してもよい。
図７を用いて、二値化情報記憶部１０１２に記憶される二値化情報の構成例について説明する。図７は、ＣＵ予測タイプおよびＰＵ分割タイプの組み合わせと、ｂｉｎ列との対応付けを定義する二値化情報の一例を示すテーブルである。
なお、図７では、例示的に、二値化情報を、ｂｉｎ列と、ＣＵ予測タイプ−ＰＵ分割タイプとを対応付けるテーブル形式にて示しているが、これに限られない。二値化情報は、ＰＵ分割タイプと、ＣＵ予測タイプとを導出するための導出式であってもかまわない。後に説明する二値化情報についても同様である。
また、二値化情報は、データとして記憶されていなければならないわけではなく、復号処理を行うプログラムのロジックとして実現されていてもかまわない。
図７に例示する対応付けテーブルＢＴ１では、ＣＵ予測タイプおよびＰＵ分割タイプと、ＣＵサイズとに応じて、ｂｉｎ列が対応付けられている。
まず、ＣＵサイズの定義について説明する。対応付けテーブルＢＴ１では、ＣＵサイズの定義として、ＣＵサイズが８×８より大きい場合（ＣＵ＞８×８）の非８×８ＣＵ１０１２Ｂと、ＣＵサイズが８×８（ＣＵ＝＝８×８）の場合の８×８ＣＵ１０１２Ａの２種類の対応付けが定義されている。
なお、非８×８ＣＵ１０１２Ｂおよび８×８ＣＵ１０１２Ａそれぞれにおいて対応付けられているｂｉｎ列は、プレフィックス部（ｐｒｅｆｉｘ）とサフィックス部（ｓｕｆｆｉｘ）とから構成される。
また、対応付けテーブルＢＴ１では、それぞれのＣＵサイズの定義について、ＣＵ予測タイプとして、前述のイントラＣＵ（“Ｉｎｔｒａ”と図示）およびインターＣＵ（“Ｉｎｔｅｒ”と図示）の２系統が定義されている。さらに、それぞれのＣＵ予測タイプに応じて、ＰＵ分割タイプが定義されている。
具体的には、以下のとおりである。まず、イントラＣＵの場合、２Ｎ×２ＮおよびＮ×Ｎの２種類のＰＵ分割タイプについて定義されている。
２Ｎ×２Ｎについて説明すると次のとおりである。非８×８ＣＵ１０１２Ｂでは、プレフィックス部のみが定義されており、ｂｉｎ列は、“０００”である。サフィックス部は、符号化されていない。また、８×８ＣＵ１０１２Ａでは、プレフィックス部は、“０００”であり、サフィックス部は、“０”である。
一方、Ｎ×Ｎについては、非８×８ＣＵ１０１２Ｂにのみ定義されている。この場合、プレフィックス部は、“０００”であり、サフィックス部は、“１”である。
このように、イントラＣＵの場合は、サフィックス部については、“０００”で共通である。
次に、インターＣＵの場合、２Ｎ×２Ｎ、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎの７つのＰＵ分割タイプについて定義されている。
ＰＵ分割タイプが、２Ｎ×２Ｎのときは、非８×８ＣＵ１０１２Ｂおよび８×８ＣＵ１０１２Ａのいずれにおいても、プレフィックス部のみが定義されており、ｂｉｎ列は、“１”である。
非８×８ＣＵ１０１２Ｂでは、水平方向の分割を行う横長パーティションのＰＵ分割タイプ、２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤについて、共通のプレフィックス部“０１”が割り当てられている。
また、２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤのサフィックス部は、それぞれ、“１”、“００”、および“０１”である。
また、垂直方向の分割を行う縦長パーティションのＰＵ分割タイプ、Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎについて、共通のプレフィックス部“００１”が割り当てられている。
Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎのサフィックス部は、それぞれ、“１”、“００”、および“０１”である。サフィックス部については、上述の水平方向の分割を行うＰＵ分割タイプの場合と同様である。
つまり、横長パーティションおよび縦長パーティションの定義では、サフィックス部は、分割の種類を表している。すなわち、対称分割である場合、ｂｉｎは、“１”である。また、“００”は、分割の境界が対称分割のときよりも原点側にあることを示し、“０１”は、分割の境界が対称分割のときよりも原点から遠い側にあることを示している。
続いて、８×８ＣＵ１０１２Ａでは、２Ｎ×２Ｎ、２Ｎ×Ｎ、および、Ｎ×２Ｎについてプレフィックス部のみが定義されている。２Ｎ×２Ｎ、２Ｎ×Ｎ、および、Ｎ×２Ｎのプレフィックス部は、それぞれ、“１”、“０１”、および、“００１”である。
ＣＵ予測モード復号部１０１１は、上記の二値化情報に従った復号処理において、プレフィックス部およびサフィックス部の各ｂｉｎ位置に対して異なるコンテキストを用いてもよい。
プレフィックス部およびサフィックス部の各ｂｉｎ位置に対して異なるコンテキストを用いる場合、コンテキストは、以下の合計８個になる。
まず、プレフィックス部は、最大３ビットのｂｉｎが定義されているため、コンテキストの数は、３個である。
以下、サフィックス部については、まず、２Ｎ×２ＮおよびＮ×Ｎの場合、１個である。そして、横長パーティション（２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤ）の場合、２個であり、縦長パーティション（Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎ）の場合
、２個である。
［１−３］小サイズのＣＵにおいて、イントラＣＵについて短い符号を復号する構成
ＣＵ予測モード復号部１０１１は、小サイズのＣＵにおいて、イントラＣＵについて短い符号を復号するよう構成してもよい。小サイズのＣＵとは、所定サイズ以下のサイズのＣＵであるが、以下では、例示的に、８×８サイズのＣＵとする。
［構成例１−３−１］
そこで、図８に示すように二値化情報記憶部１０１２に記憶される二値化情報を構成してもよい。図８は、二値化情報の定義である８×８ＣＵ１０１２Ａの他の構成例を示している。すなわち、図８に示す８×８ＣＵ１０１２Ａ＿１は、図７に示す対応付けテーブルＢＴ１に含まれる８×８ＣＵ１０１２Ａの他の構成例である。
図８に示すように、二値化情報の定義である８×８ＣＵ１０１２Ａ＿１では、小サイズのＣＵである８×８サイズのＣＵにおいて、イントラＣＵに短い符号を割り当てる。
図８に示す８×８ＣＵ１０１２Ａ＿１では、大サイズのＣＵにおいてイントラＣＵに対して割り当てられている符号に比べて短い符号が割り当てられている（図７の非８×８ＣＵ１０１２Ｂを参照）。なお、大サイズのＣＵとは、小サイズのＣＵでないＣＵのことであり、具体的には、サイズが８×８より大きいＣＵのことを意味する。
また、８×８ＣＵ１０１２Ａ＿１では、イントラＣＵに割り当てられている符号のほうが、インターＣＵに割り当てられている符号よりも短い。言い換えれば、同一サイズのＣＵにおいては、イントラＣＵでない他のＰＵ分割タイプに比べて、イントラＣＵに短い符号が割り当てられる。
例えば、８×８ＣＵ１０１２Ａ＿１では、イントラＣＵには、１ビットの符号が割り当てられており、インターＣＵには、２ビットまたは３ビットの符号が割り当てられている。
インター予測が当たりにくい領域では、小さいＣＵのイントラ予測が用いられる傾向がある。そのため、小さいＣＵでは、イントラＣＵの使用率が高い。一方、図７に示す構成例では、イントラＣＵに長い符号が割り当てられている。これに対して、上記データ構成によれば、小さいサイズのイントラＣＵに短い符号が割り当てられるようにする。
これにより、インター予測が当たりにくい領域では、ＣＵ予測モード復号部１０１１は、小さいサイズのイントラＣＵについて、短い符号を復号する。これにより、符号化効率が向上するという効果を奏する。
なお、上記構成では、ＣＵ予測モード復号部１０１１は、大サイズのＣＵのプレフィックス部と、小サイズのＣＵのプレフィックス部とで、異なるコンテキストを設定することが好ましい。
そこで、コンテキスト記憶部１０１３において、大サイズのＣＵのプレフィックス部を復号するためのコンテキストである８×８ＣＵ ｐｒｅｆｉｘ１０１３Ａと、小サイズの
ＣＵのプレフィックス部を復号するためのコンテキストである非８×８ＣＵ ｐｒｅｆｉ
ｘ１０１３Ｂとが記憶されていてもよい。ここで、８×８ＣＵ ｐｒｅｆｉｘ１０１３Ａ
と、非８×８ＣＵ ｐｒｅｆｉｘ１０１３Ｂとは異なるコンテキストである。
小サイズのＣＵ（ＣＵ＝＝８×８）と、大サイズのＣＵ（ＣＵ＞８×８）との間で、プ
レフィックス部の各ｂｉｎの意味が異なる。
例えば、プレフィックス部の１ビット目は、小サイズのＣＵでは、ＣＵ予測タイプが、イントラＣＵおよびインターＣＵのいずれであるかを示す情報であるのに対して、大サイズのＣＵでは、２Ｎ×２ＮのインターＣＵであるか、それとも、それ以外のインターＣＵであるかを示す情報である。
また、意味が異なるｂｉｎは、出現傾向が異なる。このため、大サイズのＣＵおよび小サイズのＣＵ、双方のプレフィックス部に、同一のコンテキストを設定した場合、ｂｉｎの出現傾向が異なるため、符号化効率が低下するおそれがある。
上記構成によれば、出現傾向が異なるｂｉｎに合わせて、異なるコンテキストを設定することができるため、ｂｉｎの符号化効率を向上させることができる。
［構成例１−３−２］
また、図９に示すように二値化情報記憶部１０１２に記憶される二値化情報を構成してもよい。図９は、二値化情報の定義である８×８ＣＵ１０１２Ａの別の構成例を示している。すなわち、図９に示す８×８ＣＵ１０１２Ａ＿２は、図７に示す対応付けテーブルＢＴ１に含まれる８×８ＣＵ１０１２Ａの別の構成例である。
図９に示す８×８ＣＵ１０１２Ａ＿２では、ｂｉｎ列が、フラグ（ｆｌａｇ）、プレフィックス部およびサフィックス部の３つの部分から構成されている。
イントラＣＵの場合、フラグは、“１”であり、インターＣＵの場合、フラグは、“０”である。
また、イントラＣＵの場合、サフィックス部のみが定義されている。すなわち、ＰＵ分割タイプが、２Ｎ×２Ｎのときは、サフィックス部が“０”であり、Ｎ×Ｎのときは、サフィックス部が“１”である。
一方、インターＣＵの場合、プレフィックス部のみが定義されている。すなわち、２Ｎ×２Ｎ、２Ｎ×Ｎ、および、Ｎ×２Ｎのとき、それぞれ、“１”、“０１”、および、“００”である。
図９に示す８×８ＣＵ１０１２Ａ＿２では、図８に示した８×８ＣＵ１０１２Ａ＿１と同様、大サイズのＣＵにおいてイントラＣＵに対して割り当てられている符号に比べて短い符号が割り当てられているとともに、イントラＣＵに割り当てられている符号のほうが、インターＣＵに割り当てられている符号よりも短い。
図９に示すように８×８ＣＵ１０１２Ａ＿２を構成することで、インター予測が当たりにくい領域では、ＣＵ予測モード復号部１０１１は、小さいサイズのイントラＣＵについて、短い符号を復号する。これにより、符号化効率が向上するという効果を奏する。
なお、上記構成では、フラグに、プレフィックス部およびサフィックス部に設定されているコンテキストとは別の独自のコンテキストを設定することが好ましい。また、プレフィックス部には、小サイズのＣＵおよび大サイズのＣＵの間で、同一のコンテキストを設定することが好ましい。
例えば、コンテキスト記憶部１０１３において、８×８ＣＵ ｐｒｅｆｉｘ１０１３Ａ
と、非８×８ＣＵ ｐｒｅｆｉｘ１０１３Ｂとを統合した一つのコンテキストを記憶して
おけばよい。
上記構成では、小サイズのＣＵのプレフィックス部と、大サイズのＣＵのプレフィックス部との間で、各ｂｉｎが、同じ意味となるよう設計されている。このため、両者の間で、同一のコンテキストを設定することで、ｂｉｎの符号化効率を向上させることができる。
［作用・効果］
本発明は以下のとおり表現することもできる。すなわち、本発明の一態様に係る画像復号装置は、符号化単位毎に、画像を復元するための情報を画像符号化データから復号して画像を復元する画像復号装置において、予測単位のサイズと符号化単位に適用される予測方式との組み合わせに割り当てられている符号について、所定サイズ以下のサイズの符号化単位に画面内予測の予測方式が適用される組み合わせに対して、該組み合わせ以外の組み合わせに割り当てられている符号より短い符号を復号する復号手段を備える構成である。
よって、所定サイズ以下のサイズの符号化単位において発生確率が高い組み合わせに短い符号を割り当てることができ、符号化効率が向上するという効果を奏する。
［１−４］近傍の予測パラメータに応じてｂｉｎ列の解釈を変更する構成
ＣＵ予測モード復号部１０１１は、隣接領域に割り付けられている予測パラメータを参照して、ｂｉｎ列の解釈を変更するよう構成してもよい。
［構成例１−４−１］
そこで、図１０に示すように二値化情報記憶部１０１２に記憶される二値化情報を構成してもよい。
図１０は、二値化情報記憶部１０１２に記憶される二値化情報のさらに別の構成例を示す図である。
図１０に示す二値化情報対応付けテーブルＢＴ２０では、図７に示す８×８ＣＵ１０１２Ａを、インターＣＵの定義（１０１２Ｄ）およびイントラＣＵの定義（１０１２Ｃ）に置き換えることで、隣接領域の予測パラメータの値に応じて、ｂｉｎ列の解釈が変わるように構成されている。
具体的には、対応付けテーブルＢＴ２０では、小サイズのＣＵについての定義において、隣接ＣＵの少なくとも一方がインターＣＵの場合における二値化情報の定義であるインターＣＵ１０１２Ｄと、隣接ＣＵが共にイントラＣＵの場合における二値化情報の定義であるイントラＣＵ１０１２Ｃとの間で、ｂｉｎ列の解釈が変わるように構成されている。
インターＣＵ１０１２Ｄ（隣接ＣＵの少なくとも一方がインターＣＵの場合）では、プレフィックス部のｂｉｎ列が“０００”のとき、対象ＣＵがイントラＣＵ（２Ｎ×２ＮまたはＮ×Ｎ）であると解釈し、プレフィックス部のｂｉｎ列が“１”のとき、対象ＣＵがインターＣＵの２Ｎ×２Ｎであると解釈する。
一方、イントラＣＵ１０１２Ｃ（隣接ＣＵが共にイントラＣＵの場合）では、プレフィックス部のｂｉｎ列が“１”であるとき、対象ＣＵがイントラＣＵ（２Ｎ×２ＮまたはＮ×Ｎ）であると解釈し、プレフィックス部のｂｉｎ列が“０００”のとき、対象ＣＵがインターＣＵの２Ｎ×２Ｎであると解釈する。
近傍のＣＵが、イントラＣＵである場合、空間相関性により、対象ＣＵもイントラＣＵ
である可能性が高い。よって、近傍のＣＵがイントラＣＵである場合に、イントラＣＵに対して、短い符号に割り当てることで、符号量を削減することができる。
また、小サイズのＣＵでは、イントラＣＵの発生頻度が高くなる。このため、小さいサイズのＣＵにおいて、イントラＣＵに対して短い符号に割り当てることで、符号化効率のより一層の向上を図ることができる。
これに対して、小サイズのＣＵでないＣＵ（例えば、大サイズのＣＵ）では、図１０に示すように、“隣接ＣＵが共にイントラの場合、イントラＣＵに対して短い符号に割り当てる”構成でなくてもかまわない。どのサイズのＣＵにおいて、“隣接ＣＵが共にイントラの場合、イントラＣＵに対して短い符号に割り当てる”構成を適用するかは、イントラＣＵの発生頻度に応じて決定することができる。一般には、小さいサイズのＣＵほどイントラＣＵの選択率が高い傾向があるため、最小サイズのＣＵを含め、所定の大きさ（例えば１６×１６）以下のサイズのＣＵでイントラＣＵに対して短い符号を割り当てる構成とすることが好ましい。上記構成によれば、近傍のＣＵがイントラＣＵである場合、ＣＵ予測モード復号部１０１１が、イントラＣＵ１０１２Ｃを参照し、イントラＣＵに対して、短い符号に割り当てる。一方、近傍のＣＵにインターＣＵが含まれている場合、ＣＵ予測モード復号部１０１１が、インターＣＵ１０１２Ｄを参照し、インターＣＵに対して、短い符号に割り当てる。その結果、符号量を削減し、符号化効率の向上を図ることができる。
［構成例１−４−２］
また、図１１に示すように二値化情報記憶部１０１２に記憶される二値化情報を構成してもよい。
図１１は、二値化情報記憶部１０１２に記憶される二値化情報のさらに別の構成例を示す図である。
図１１に示す二値化情報対応付けテーブルＢＴ３０では、図７に示す非８×８ＣＵ１０１２Ｂを、『上ＣＵのサイズが対象ＣＵ以上』の定義（１０１２Ｂ＿１）および『上ＣＵのサイズが対象ＣＵより小さい』の定義（１０１２Ｂ＿２）に置き換えることで、隣接領域の予測パラメータの値に応じて、ｂｉｎ列の解釈が変わるように構成されている。
すなわち、対応付けテーブルＢＴ３０では、大サイズのＣＵについての定義において、上隣接ＣＵが対象ＣＵ以上のサイズである場合と、上隣接ＣＵが対象サイズより小さい場合との間で、ｂｉｎ列の解釈が変わるように構成されている。
『上ＣＵのサイズが対象ＣＵ以上』１０１２Ｂ＿１（上隣接ＣＵが対象ＣＵ以上のサイズである場合）では、プレフィックス部のｂｉｎ列が“００１”のとき、対象ＣＵが縦長パーティションであると解釈し、プレフィックス部のｂｉｎ列が“０１”のとき、対象ＣＵが横長パーティションであると解釈する。
一方、『上ＣＵのサイズが対象ＣＵより小さい』１０１２Ｂ＿２（上隣接ＣＵが対象ＣＵより小さいサイズである場合）では、プレフィックス部のｂｉｎ列が“０１”のとき、対象ＣＵが縦長パーティションであると解釈し、プレフィックス部のｂｉｎ列が“００１”のとき、対象ＣＵが横長パーティションであると解釈する。
隣接ＣＵのサイズが対象ＣＵより小さい場合、当該隣接ＣＵ内にエッジが存在する可能性が高い。
従って、このような場合、対象ＣＵは、隣接ＣＵとの境界にあたる辺と垂直な方向にパーティション分割される可能性が高い。このため、上隣接ＣＵが対象ＣＵより小さいサイズである場合、縦長パーティションが選択される可能性が高い。
よって、上隣接ＣＵが対象ＣＵより小さいサイズである場合、選択される可能性が高い縦長パーティションに短い符号を割り当てることで符号化効率を向上させることができる。
上記構成によれば、上隣接ＣＵが対象ＣＵより小さいサイズである場合、ＣＵ予測モード復号部１０１１が、『上ＣＵのサイズが対象ＣＵより小さい』１０１２Ｂ＿２を参照し、縦長パーティションに短い符号を割り当てる。
一方、上隣接ＣＵが対象ＣＵ以上のサイズである場合、ＣＵ予測モード復号部１０１１が、『上ＣＵのサイズが対象ＣＵ以上』１０１２Ｂ＿１を参照し、横長パーティションに短い符号を割り当てる。その結果、符号量を削減し、符号化効率の向上を図ることができる。
さらにいえば、隣接ＣＵに基づくプレフィックス部の解釈に依存せず、サフィックス部の解釈が同じであることが好ましい。対応付けテーブルＢＴ３０では、プレフィックス部が、縦長パーティションか、横長パーティションかに依存せず、同一のサフィックス部の解釈は同じである。すなわち、対応付けテーブルＢＴ３０の例では、プレフィックス部が、縦長パーティションか、横長パーティションかに応じて、サフィックス部の復号処理を変更しなくてもかまわない。
すなわち、対応付けテーブルＢＴ３０では、ＰＵ分割タイプ（分割数）が、参照するパラメータに依存しないように構成されている。
分割数が、参照するパラメータの値に依存しないため、参照パラメータにエラーが生じている場合でも、以降の可変長復号処理への影響が少ない。具体的には、隣接ＣＵのサイズに誤りがあり、プレフィックス部が縦長と横長何れのパーティションを示すかの解釈が誤った場合でも、サフィックス部を含め、後続のシンタックスの復号を継続できる。
すなわち、隣接ＣＵのサイズによらずサフィックス部の復号処理が可能となるため、隣接パラメータのエラーに影響されなくなりエラー耐性が向上する。
なお、左隣接ＣＵが対象ＣＵより小さいサイズである場合、横長パーティションが選択される可能性が高い。よって、左隣接ＣＵが対象ＣＵより小さいサイズである場合、選択されやすい横長パーティションに短い符号を割り当てるようにしてもよい。これにより上記と同様の効果を得る事ができる。
また、最小サイズのＣＵに対しては、隣接ＣＵのサイズに基づく解釈の切り替え処理を行わないことが好ましい。対象ＣＵが最小サイズのＣＵである場合、常に対象ＣＵは、隣接ＣＵ以下のサイズであるため、解釈の切り替え処理を省略することで、復号処理を簡略化することができる。
なお、上隣接ＣＵのサイズが対象ＣＵのサイズより小さいとは、対象ＣＵの上辺（頂点を除く）において、当該上辺に対して垂直な位置関係にあるＣＵ境界が存在するとも言える。
よって、対象ＣＵの上辺（頂点を除く）において、当該上辺に対して垂直な位置関係に
あるＣＵ境界またはＰＵ境界が存在する場合、縦長パーティションに短い符号を割り当ててもよい。
また、以上では、対象ＣＵに隣接する隣接ＣＵについて説明したがこれに限られない。空間相関性が認められる程度に近傍に位置するＣＵについても同様のことがいえる。
以上の構成を、より一般化して言えば次のとおりである。すなわち、以上の構成は、複数のバイナリ列と、複数の対応する分割数が互いに等しいｐｒｅｄ＿ｔｙｐｅについて、隣接の予測パラメータに応じてｐｒｅｄ＿ｔｙｐｅの発生可能性の優先順位を決定し、優先順位の高いｐｒｅｄ＿ｔｙｐｅほど短いバイナリ列に関連付けるものである。
なお、上記説明における、上側隣接ＣＵのサイズが対象ＣＵのサイズより小さい、という条件は、次のように表現することもできる。
（１）対象ＣＵ内の左上画素を(xc,yc)とする。
（２）上側隣接ＣＵとして、(xc,yc-1)を含むＣＵを導出して、当該上側隣接ＣＵの左
上画素を(xu,yu)とする。
（３）「log2CUSize[xu][yu] < log2CUSize[xc][yc] 」が成り立つならば、上側隣接ＣＵのサイズが対象ＣＵのサイズより小さいと判定する。ここで、log2CUSize[x][y]は、(x,y)の画素を左上画素とするＣＵのサイズの２を底とする対数値である。
ここで、上記のように対象ＣＵの左上画素の上に位置するＣＵのサイズのみを対象ＣＵのサイズと比較して判定することが好ましい。
以上では、上側隣接ＣＵの場合について記載したが、左側隣接ＣＵのサイズを判定する場合にも、対象ＣＵの左上画素の左に位置するＣＵのサイズのみを対象ＣＵのサイズと比較して判定することが好ましい。
なお、上記判定手順の（３）ではＣＵのサイズの値を直接比較する例を挙げたが、ＣＵのサイズと関連付けられた別の値を比較してもよい。例えば、上記（３）の条件は、ツリーブロック（ＬＣＵ）を何回分割するかに対応するＣＵ分割深度（cuDepth[x][y]）の値
を用いて、「cuDepth[xu][yu] > cuDepth[xc][yc]」という式により判定してもよい。
［作用・効果］
本発明は以下のように表現することもできる。すなわち、本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成して画像を復元する画像復号装置において、復号対象となる上記符号化単位である対象符号化単位を上記予測単位へ分割するタイプである分割タイプと予測方式との複数の組に対して対応付けられる複数の符号を、復号の対象となる上記予測単位である対象予測単位の近傍の復号済み予測単位に割り付けられている復号済みパラメータに応じて変更する変更手段を備える構成である。
よって、近傍の復号済み予測単位に割り付けられている復号済みパラメータに応じて、より発生確率が高い予測方式および分割タイプの組に、より短い符号を割り当てることができ、これにより符号化効率を向上させることができる。
（２）ＰＵ情報復号部の詳細
次に、図１２を用いて、ＰＵ情報復号部１２および復号モジュール１０の構成例について
説明する。図１２は、動画像復号装置１において、動き情報を復号するための構成、すなわちＰＵ情報復号部１２および復号モジュール１０の構成について例示する機能ブロック図である。
以下、ＰＵ情報復号部１２および復号モジュール１０の順で、各部の構成について説明する。
（ＰＵ情報復号部）
図１２に示すように、ＰＵ情報復号部１２は、動き補償パラメータ導出部（双予測制限手段、候補決定手段、推定手段）１２１、マージ候補優先順位情報記憶部１２２、および参照フレーム設定情報記憶部１２３を備える。
動き補償パラメータ導出部１２１は、符号化データから対象ＣＵに含まれる各ＰＵの動き補償パラメータを導出する。
動き補償パラメータ導出部１２１は、具体的には、以下の手順にて、動き補償パラメータを導出する。ここで、対象ＣＵがスキップＣＵである場合に、マージインデックスの代わりに、スキップインデックスを復号し、その値に基づいてスキップＣＵにおける予測パラメータを導出してもよい。
まず、動き補償パラメータ導出部１２１は、スキップフラグを判定する。その結果、対象ＣＵが非スキップＣＵであれば、動き情報復号部１０２１を用いて、マージフラグを復号する。
ここで、対象ＣＵが、スキップＣＵまたはマージＰＵである場合、動き補償パラメータ導出部１２１は、マージインデックスを復号して、復号したマージインデックスの値に基づいて予測パラメータ（動きベクトル、参照画像インデックス、インター予測フラグ）を導出する。なお、動き補償パラメータ導出部１２１は、マージ候補優先順位情報記憶部１２２に記憶されているマージ候補情報に従って、マージインデックスで指定されるマージ候補を決定する。
一方、対象ＣＵが、スキップＣＵおよびマージＰＵのいずれでもない場合、動き補償パラメータ導出部１２１は、予測パラメータ（インター予測フラグ、参照画像インデックス、動きベクトル差分、推定動きベクトルインデックス）を復号する。
さらに、動き補償パラメータ導出部１２１は、推定動きベクトルインデックスの値に基づいて、推定動きベクトルを導出するとともに、動きベクトル差分と推定動きベクトルとに基づいて動きベクトルを導出する。
マージ候補優先順位情報記憶部１２２には、いずれの領域をマージ候補とするかを示す情報およびマージ候補の優先順位を示す情報を含むマージ候補情報が記憶されている。
参照フレーム設定情報記憶部１２３には、１枚の参照画像を参照する単予測、及び、２枚の参照画像を参照する双予測の何れの画面間予測の予測方式を用いるかを決定するための参照フレーム設定情報が記憶されている。
（復号モジュール）
図１２に示すように、復号モジュール１０は、動き情報復号部１０２１を備える。動き情報復号部１０２１は、動き補償パラメータ導出部１２１から供給される符号化データおよびシンタックス種別に応じて、符号化データに含まれるバイナリからシンタックス値の復
号を行う。動き情報復号部１０２１が復号する動き補償パラメータは、マージフラグ（ｍｅｒｇｅ＿ｆｌａｇ）、マージインデックス（ｍｅｒｇｅ＿ｉｄｘ）、推定動きベクトルインデックス（ｍｖｐ＿ｉｄｘ）、参照画像インデックス（ｒｅｆ＿ｉｄｘ）、インター予測フラグ（ｉｎｔｅｒ＿ｐｒｅｄ＿ｆｌａｇ）、動きベクトル差分（ｍｖｄ）である。
［マージＰＵにおいて予測パラメータを導出するための構成例］
［２−１］マージ候補の位置および優先順位の例図１３〜図１５を用いて、マージＰＵにおける予測パラメータ導出について説明する。
動き補償パラメータ導出部１２１は、ＰＵ分割タイプが非対称である場合、ＰＵ分割タイプが対称である場合と異なる方法でマージ候補の優先順位を決定する構成であってもよい。
まず、非対称パーティションの特性について説明する。非対称パーティションでは、小さい方のパーティションに、長辺方向のエッジが存在する可能性が高い。また、エッジが存在する領域は、正確な動きベクトルが導出されている可能性が高い。
図１３を用いて、具体的に説明すると次のとおりである。図１３は、非対称パーティションが選択されたＣＵを示している。図１３に示すように、対象ＣＵ３０では、傾斜を有するエッジＥ１が領域内に存在し、２Ｎ×ｎＵのＰＵ分割タイプが選択されている。
対象ＣＵには、ＰＵ３１とＰＵ３２とが含まれる。ここで、対象ＰＵをＰＵ３１とする。傾斜を有するエッジＥ１が、対象ＰＵ３１の領域内を横断している。
図１３に示す例では、対象ＰＵ３１の短辺側付近の領域Ｒ１０にも、対象ＰＵ３１の領域内に存在するエッジと同じエッジが存在する可能性が高い。従って、対象ＰＵ３１と同じ動きベクトル（ｍｖ）が割り付けられている可能性が高い。
従って、エッジが存在する可能性の高い領域、すなわち小さいパーティションでは、短辺側の領域に割り付けられている動きベクトルを参照し、大きいパーティションでは、小さいパーティションの周辺の領域に割り付けられている動きベクトルを参照することで、動きベクトルの精度を高めることができる。
そこで、マージ候補優先順位情報記憶部１２２において記憶されているマージ候補優先順位情報を、対称ＰＵ分割タイプ１２２Ａおよび非対称ＰＵ分割タイプ１２２Ｂの２つのマージ候補優先順位情報を含む構成とする。
図１４を用いて、対称ＰＵ分割タイプ１２２Ａのマージ候補優先順位情報について説明すると次のとおりである。
図１４は、対称パーティションが選択されたＣＵを示している。図１４に示すように、対称ＣＵでは、２Ｎ×ＮのＰＵ分割タイプが選択されている。また、同図では、対象ＰＵを、“Ｃｕｒｒ ＰＵ”にて示している。対象ＰＵでは、マージ候補として、左（Ｌ）、
上（Ｕ）、右上（ＵＲ）、左下（ＢＬ）、左上（ＵＬ）の順に優先順位が割り当てられている。
また、図１５を用いて、非対称ＰＵ分割タイプ１２２Ｂのマージ候補優先順位情報について説明すると次のとおりである。図１５の（ａ）および（ｂ）は、それぞれ、２Ｎ×n
Ｕの小さい方のパーティション、および、２Ｎ×ｎＵの大きい方のパーティションにおける優先順位の設定について示している。また、図１５の（ｃ）および（ｄ）は、それぞれ
、２Ｎ×ｎＤの大きい方のパーティション、および、２Ｎ×ｎＤの小さい方のパーティションにおける優先順位の設定について示している。
図１５の（ａ）および（ｄ）に示すように、非対称パーティション内の小さい方のパーティションでは、短辺側のマージ候補に高い優先順位を割り当てる。
具体的には、２Ｎ×ｎＵおよび２Ｎ×ｎＤの小さい方のＰＵでは、それぞれ（ａ）および（ｄ）に示すように、短辺に、隣接（Ｌ）、頂点に隣接（ＵＲ、ＢＬ、ＵＬ）、長辺に隣接（Ｕ）の順に優先順位が割り当てられている。
また、図１５の（ｂ）および（ｃ）に示すように、非対称パーティション内の大きい方のパーティションでは、小さい方のパーティションに近い位置のマージ候補に高い優先順位を割り当てる。
具体的には、２Ｎ×ｎＵの大きい方のＰＵでは、図１５の（ｂ）に示すように、小さい方のＰＵ内におけるマージ候補（Ｕ）、小さい方のＰＵに近いマージ候補（ＵＲ、ＵＬ）、それ以外のマージ候補（Ｌ、ＢＬ）の順に優先度が割り当てられている。
また、２Ｎ×ｎＤの大きい方のＰＵでは、図１５の（ｃ）に示すように、小さい方のＰＵに近いマージ候補（Ｌ、ＢＬ）それ以外のマージ候補（Ｕ、ＢＬ、ＵＬ）の順に優先順位が割り当てられている。
なお、優先順位の高い候補に対して小さいマージインデックスを割り当て、小さいマージインデックスに短い符号を割り当てる。また、優先順位の高い候補のみを選択可能なマージ候補としてもよい。
なお、上記の説明は、マージＰＵにおける予測パラメータ導出について記載したが、同様の導出方法をインターＣＵ内の非マージＰＵにおいて動きベクトルの復元に用いる推定動きベクトルの導出に用いても良い。一般的には、非対称ＰＵ内の各ＰＵにおいて、隣接領域に対応する動きパラメータの推定値または予測値を導出する際に、上記方式が適応できる。
［作用・効果］
本発明は以下のように表現することもできる。すなわち、本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに画面間予測の予測方式によって予測画像を生成して画像を復元する画像復号装置において、上記予測単位への分割タイプは、符号化単位を複数の異なる大きさの予測単位に分割する非対称分割または符号化単位を複数の同一の大きさの予測単位に分割する対称分割を含み、上記分割タイプが非対称分割である場合、上記分割タイプが対称分割である場合と異なる推定方法によって、画面間予測の予測パラメータの推定を行う推定手段を備える構成である。
よって、分割タイプが非対称分割である場合と、上記分割タイプが対称分割である場合とで異なる推定方法を変更することで、分割タイプに応じた好ましい推定方法により画面間予測の予測パラメータの推定を行うことができるという効果を奏する。
［２−２］ＣＵサイズとスキップ／マージとの組み合わせによるマージ候補の変更
動き補償パラメータ導出部１２１は、ＣＵサイズと、当該ＣＵがスキップ／マージを行うＣＵであるか否かとの組み合わせに応じてマージ候補を変更する構成であってもよい。そこで、マージ候補優先順位情報記憶部１２２に記憶されるマージ候補情報を、小ＰＵサイズ１２２Ｃおよび大ＰＵサイズ１２２Ｄの２つの定義情報を含む構成とする。
小ＰＵサイズ１２２Ｃのマージ候補情報は、小サイズのＰＵに適用されるマージ候補数を定義する。また、大ＰＵサイズ１２２Ｄのマージ情報は、大サイズのＰＵに適用されるマージ候補数を定義する。
一例としては、マージ候補情報において、小ＰＵサイズ１２２Ｃに定義されるマージ候補数（小サイズのＰＵのマージ候補数）が、大ＰＵサイズ１２２Ｄに定義されるマージ候補数（大サイズのＰＵのマージ候補数）に比べて少なくなるよう定義する。
小サイズのＰＵが選択される領域では、動きが複雑な場合が多い。このため、近傍のＰＵに割り付けられる動きベクトルの相関が小さくなる傾向がある。
このため、マージ候補を増やしても大サイズのＰＵの場合に比べて推定精度の向上が少ない場合がある。
よって、マージ候補数を少なくすることにより、サイド情報の符号量を削減するほうが好ましい。
上記例では、マージ候補情報において、動きが複雑な場合が多い小サイズのＰＵのマージ候補数を大サイズのＰＵのマージ候補数に比べて少なくするため、サイド情報の符号量を削減することができる。
小サイズＰＵと大サイズＰＵの組み合わせの例について列挙すると以下の通りである。・小サイズＰＵは少なくとも一辺が所定の閾値（例えば８）より小さいＰＵであり、大サイズＰＵはそれ以外のＰＵである。例えば、１６×４、４×１６、８×４、４×８、４×４のサイズのＰＵは小サイズＰＵであり、８×８、１６×１６のサイズのＰＵが大サイズＰＵとなる。
・小サイズＰＵは面積が所定の閾値（例えば６４）より小さいＰＵであり、大サイズＰＵはそれ以外のＰＵである。例えば、８×４、４×８、４×４のサイズのＰＵは小サイズＰＵであり、８×８、１６×４、４×１６、１６×１６等のサイズのＰＵが大サイズＰＵとなる。
・小サイズＰＵは所定のサイズ（例えば８×８）以下のＣＵに含まれるＰＵであり、大サイズＰＵはそれより大きいＣＵに含まれるＰＵである。例えば、８×８ＣＵに含まれる８×８、８×４、４×８、４×４のサイズのＰＵは小サイズＰＵである。
・小サイズＰＵは、非対称分割が適応されるＣＵにおいて、小さい方のＰＵであり、大サイズＰＵは、非対称分割が適応されるＣＵにおいて、大きい方のＰＵである。
また、他の例としては、マージ候補情報において、小さいＰＵでは、時間予測によるマージ候補の数を、大きいＰＵにおける時間予測によるマージ候補の数に比べて少なくすることが好ましい。小さいＰＵでは、マージ候補情報において時間予測によるマージ候補を含めないように定義してもよい。
また、小サイズのＰＵが選択されるような、動きが複雑な領域では、時間予測に使用されるｃｏｌｌｏｃａｔｅｄ ＰＵと、対象ＰＵとの相関が小さいため、時間予測が選択さ
れる可能性が低い。よって、時間予測によるマージ候補の数を減らす、または、時間予測によるマージ候補を含めないことが好ましい。
［作用・効果］
本発明は以下のように表現することもできる。すなわち、本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに画面間予測の予測方
式によって予測画像を生成して画像を復元する画像復号装置において、復号の対象となる上記予測単位である対象予測単位が、該対象予測単位の近傍の領域に割り付けられている予測パラメータから、該対象予測単位の予測パラメータの推定を行う予測単位である場合、該対象予測単位のサイズに応じて、推定に用いる領域の候補を決定する候補決定手段を備える構成である。
よって、候補数を削減することによりサイド情報を削減することができ、その結果、符号化効率を向上させることができる。
［２−３］参照フレーム数の決定
動き補償パラメータ導出部１２１を、以下の［２−３−１］〜［２−３−４］に示すように構成してもよく、これによりインター予測において単予測および双予測のいずれの予測方式を適用するかを決定してもよい。
［２−３−１］小サイズＰＵでの双予測制限
動き補償パラメータ導出部１２１は、参照フレーム設定情報記憶部１２３に記憶される参照フレーム設定情報を参照して、インター予測において単予測および双予測のいずれの予測方式を適用するかを決定してもよい。
動き補償パラメータ導出部１２１は、小サイズのＰＵでは、双予測を制限する構成であってもよい。そこで、参照フレーム設定情報を、小ＰＵサイズ１２３Ａおよび大ＰＵサイズ１２３Ｂの２つの定義情報を含む構成とする。
大ＰＵサイズ１２３Ｂは、大きいサイズのＰＵにおいて選択可能な予測方式が定義される。大ＰＵサイズ１２３Ｂでは、大きいサイズのＰＵにおいて双予測および単予測いずれの予測方式も制限なく選択できるよう定義される。
小ＰＵサイズ１２３Ａは、小さいサイズのＰＵにおいて選択可能な予測方式が定義される。小ＰＵサイズ１２３Ａでは、小さいサイズのＰＵにおいて双予測が制限されるよう定義される。
小ＰＵサイズ１２３Ａの定義の一例としては、インターＣＵに含まれる、マージを適用しないＰＵであって、サイズが１６×１６未満のＰＵにおいて、インター予測フラグの復号を省略して単予測を適用する旨定義する。
また、小ＰＵサイズ１２３Ａの定義の他の例としては、インターＣＵに含まれる、マージを適用するＰＵであって、サイズが１６×１６未満のＰＵにおいて、単予測を適用する旨定義する。
また、小ＰＵサイズ１２３Ａの定義の別の例としては、スキップＣＵに含まれる各ＰＵにおいて単予測を適用する。
また、小ＰＵサイズ１２３Ａの定義のさらに別の例としては、インターＣＵに含まれる、マージを適用しないＰＵであって、サイズが１６×１６未満のＰＵにおいて、重み付け予測を適用しない。すなわち、重み付け予測に関する情報を省略する。
以下、参照フレーム設定情報に基づき双予測を制限する場合に関し、シンタックステーブル及びブロック図を用いて、さらに、符号化データの構成、及び、動画像復号装置の構成の詳細を説明する。
（双予測制限の種類）
ＰＵの種類には、対象ＣＵがスキップであるＰＵ（スキップＰＵ）、対象ＰＵがマージを適応するＰＵ（マージＰＵ）、対象ＰＵがスキップでもマージでもないＰＵ（基本インターＰＵ、または、非動き情報省略ＰＵ）がある。基本インターＰＵでは、双予測であるか単予測であるかを示すインター予測フラグを符号化データから復号し、動き補償パラメータを導出する。それに対して、スキップＰＵ及びマージＰＵでは、インター予測フラグを復号せずに動き補償パラメータを導出する。これらのＰＵでは、スキップ候補、または、マージ候補から、動き補償に用いる候補をスキップインデックスまたはマージインデックスに基づき選択し、当該選択候補における動き補償パラメータに基づいて、対象ＰＵにおける動き補償パラメータを導出する。通常、スキップＰＵの動き補償パラメータの導出方法は、マージＰＵと同様である。なお、シーケンスパラメータセットのフラグなどを用いてマージの利用を制限する場合には、動きベクトル残差（ｍｖｄ）を復号しない点を除き、基本インターＰＵと同一の方法を用いてもよい。この場合、スキップＰＵの双予測制限の動作は、基本インターＰＵと同じ動作を行う。
図３５の（ａ）は、各ＰＵにおける双予測制限の例を示す。場合としては、基本インターＰＵのみに双予測制限を行う場合と、動き補償予測を適用する全ＰＵに双予測制限を行う場合がある。基本インターＰＵのみに双予測制限を行う場合には、スキップＰＵ及びマージＰＵでは双予測制限を行わず、基本インターＰＵのみに双予測制限を行う。基本インターＰＵのみに双予測制限を行う場合にも、全ＰＵに双予測制限を行う場合にも、動画像符号化装置および動画像復号装置における処理量の低減と回路規模の削減が可能である。
図３５の（ｂ）は、各ＰＵにおける双予測制限の方法を示す。スキップＰＵ及びマージＰＵの場合には、スキップ候補またはマージ候補に基づく動き補償パラメータ導出において双予測を行わないことを示す情報を導出することによって、双予測制限を行う。具体的には、動き補償パラメータ導出部で後述するように、動き補償パラメータに含まれるインター予測フラグの値を双予測から単予測に変換することで双予測制限を行う。基本インターＰＵに対して双予測制限を行う場合には、ＰＵサイズ情報に応じて双予測制限の適用有無を判定する。双予測制限を適用しない場合にはインター予測フラグの復号を行う。また、双予測制限を適用する場合にはインター予測フラグの復号を省略するとともに、さらにインター予測フラグの値を単予測と推定する処理を行う。
ここで、ＰＵサイズ情報とは、小さなＰＵであるか否かを判定するための情報であり、対象ＣＵのサイズとＰＵ分割タイプ、もしくは、対象ＣＵのサイズとＰＵ分割数、もしくは、ＰＵの幅もしくは高さ、もしくはＰＵの面積などを用いることができる。
スキップＰＵ及びマージＰＵと、基本インターＰＵは、動き補償パラメータの復号方法だけでなく用いられる場面も異なる。スキップＰＵとマージＰＵは、選択可能な動き補償パラメータを制限することによって符号量の低減を行う。このようなＰＵでは、動きが一様であるような領域で主に用いられる。動きが一様である場合には、２つの予測画像が近く双予測によるノイズ除去効果が大きいことが多い。そのため、基本インターＰＵの双予測制限に比べると、スキップＰＵ及びマージＰＵでは、基本インターＰＵと比較して双予測制限により符号化効率が低下する場合が生じやすい。そのため、上述のように基本インターＰＵのみで双予測を用いる制限や、後述のように、基本インターＰＵと、スキップＰＵおよびマージＰＵで制限するＰＵサイズを変更する方法も好適である。また、基本インターＰＵでの双予測制限は、符号化データの構造の観点からみると、インター予測フラグを符号化しないことによる符号量低減効果があるためにより有効である。
（ＰＵの動き補償パラメータ）
ＰＵの動き補償パラメータは、予測リスト利用フラグpredFlagL0およびpredFlagL1と、参
照インデックス番号refIdxL0およびrefIdxL1と動きベクトルmvL0およびmvL1と、で表現される。予測リスト利用フラグpredFlagL0、predFlagL1は、参照予測リストが用いられるか否かを示す。以下、利用する場合を１、利用しない場合を０で示す。２つの参照予測リストを用いる場合、predFlagL0=1, predFlagL1=1の場合が双予測に対応し、１つの参照予測リストを用いる場合、すなわち(predFlagL0, predFlagL1) = (1, 0)もしくは(predFlagL0, predFlagL1) = (0, 1)の場合が単予測に対応する。なお、双予測であるか否かは、後述のインター予測フラグで表現することもでき、符号化データから、参照ピクチャの数が１（単予測）か２（双予測）かの情報を復号する場合にはこちらが用いられる。
予測リスト利用フラグpredFlagL0が１の場合には、参照インデックス番号refIdxL0によってＬ０リストの参照ピクチャを指定し、動きベクトルmvL0によって指定された参照ピクチャに対する動きベクトルを指定する。
予測リスト利用フラグpredFlagL1が１の場合には、参照インデックス番号refIdxL1によってＬ１リストの参照ピクチャを指定し、動きベクトルmvL1によって指定された参照ピクチャに対する動きベクトルを指定する。
なお、リストＸを使用しない場合（Ｘは０もしくは１）、すなわち、予測リスト利用フラグpredFlagLXが０の場合には、基本的には参照インデックス番号refIdxLXの値を-1、動きベクトルmvL1の値を(0, 0)とする。
（インター予測フラグの詳細）
ここでは、インター予測フラグの詳細を説明する。インター予測フラグinter_pred_flag
は、単予測であるか双予測であるかを示す２値フラグである場合の他、単予測において参照する参照画像のリスト（参照リスト）を複数の参照リストの中から選択する情報を含む場合がある。例えば、２種類の参照リスト（Ｌ０リストとＬ１リスト）のいずれかを選択するフラグを含む３値フラグとしてインター予測フラグが定義されていてもよい。以下、各々の場合を説明する。
復号モジュール１０では、スライスヘッダ等から参照フレームリストとしてＬ０、Ｌ１リストを用いるか、コンバインドリスト（LCリスト）を用いるかを選択するコンバインドリストフラグref_pic_list_combination_flagを復号する。単予測の場合の参照フレーム
決定方法は、コンバインドリストフラグの値に応じて異なる。コンバインドリストフラグが１の場合には、単予測の参照フレームの指定に用いる参照リストとしてコンバインドリストLCを用い、各ＰＵにおいて参照リストを指定するためのフラグは不要である。そのためインター予測フラグinter_pred_flagは２値フラグで良い。コンバインドリストフラグ
が０の場合には、各ＰＵにおいて、参照リストをＬ０リストもしくはＬ１リストから選択する必要がある、そのためインター予測フラグinter_pred_flagは３値フラグとなる。
図３２の（ａ）は、２値フラグである場合のインター予測フラグの意味を示し、図３２の（ｂ）は、３値フラグである場合のインター予測フラグの意味を示す。
（双予測制限におけるシンタックステーブル例）
図３１は、従来技術におけるＰＵのシンタックステーブルの例であり双予測制限を行わない場合の符号化データの構成を示す。図３３は、ＰＵのシンタックステーブルの例であり、（ａ）および（ｂ）は各々双予測制限を行う場合の符号化データの構成の特にインター予測フラグinter_pred_flagの部分を示す。図３３の（ａ）は、インター予測フラグが常
に２値フラグである場合のシンタックステーブルの例である。この場合、inter_pred_flagにより単予測を意味するPred_LCと、双予測を意味するPred_Biの２つを区別する。スラ
イスがＢスライスでかつ双予測が有効である場合（DisableBiPred = false）には、単予
測と双予測を区別するために符号化データは、インター予測フラグinter_pred_flagを含
み、双予測が有効ではない場合（DisableBiPred = true）には、常に単予測であるからインター予測フラグinter_pred_flagを含まない。
図３３の（ｂ）は、インター予測フラグが３値フラグである場合のシンタックステーブルの例である。コンバインドリストを利用する場合にはinter_pred_flagによりLCリスト
の参照フレームを１つ用いる単予測を意味するPred_LCと、双予測を意味するPred_Biの2
つを区別するが、そうでない場合には、L1リストの単予測を意味するPred_L1、L1リスト
の単予測を意味するPred_L2と、双予測を意味するPred_Biの3つを区別する。スライスが
Ｂスライスでかつ双予測が有効である場合（DisableBiPred = false）には、符号化デー
タは単予測と双予測を指定するために第１のインター予測フラグinter_pred_flag0を含み、双予測が有効ではない場合には、コンバインドリストを用いない場合に限り、符号化データは、参照リストを指定するための単予測と双予測を指定するために第２のインター予測フラグinter_pred_flag1を含む。コンバインドリストを用いない場合とは詳細には図３３の（ａ）に示すように!UsePredRefLC && !NoBackPredFlagにより判定する。すなわち、コンバインドリストを使用するか否かを指定するフラグUsePredRefLC（UsePredRefLCの値が真の場合にコンバインドリストを使用することを示す）と、後方向予測を用いるか否かを示すフラグNoBackPredFlag（NoBackPredFlagの値が真の場合に後方向予測を用いないことを示す）により指定される。コンバインドリストを利用する場合には、リスト選択をせずともコンバインドリストであることが分かる。後方向予測を用いない場合にはPred_L1
を禁止することであるから、第２のインター予測フラグinter_pred_flag1を符号化しない場合にも使用するリストが、コンバインドリストであるか（Pred_LC）、L0リストである
かPred_L0が分かる。なお、NoBackPredFlagの代わりにL1リストを用いないという意味でNoL1PredFlagという表現を用いることもできる。
双予測制限を行うか否か、もしくは、双予測制限を行う場合のＰＵサイズの判定に用いる閾値を符号化データに含めても構わない。図３４は、双予測制限に関するシンタックステーブルの例である。図３４の（ａ）は、シーケンスパラメータセットが双予測制限をするか否かを制限するフラグdisable_bipred_in_small_PUを含む場合を示す。図に示すように、双予測制限のフラグは、小サイズのＰＵ（ここでは４ｘ４サイズのＰＵ）を禁止するフラグdisable_inter_4x4と独立に符号化しても良い。なお、小サイズのＰＵを禁止する
フラグの目的も、双予測制限と同じく、ＰＵ予測画像を生成する場合における最悪の処理量の低減であるから、小サイズのＰＵを禁止するフラグと小サイズの双予測を禁止するフラグを共通フラグとしても用いても良い。図３４の（ｂ）は、共通のフラグとして予測制約フラグuse_restricted_predictionを設ける例である。この場合には、予測制約フラグ
がtrueの場合には、小サイズのＰＵの適用と小サイズＰＵにおける双予測を同時に禁止する。図３４の（ｃ）は、双予測を禁止するＰＵのサイズを示すdisable_bipred_sizeを符
号化データに含める例である。disable_bipred_sizeとしては双予測制限の判定方法で後
述する閾値ＴＨの２を底とする対数の値等を用いることなどができる。なお、これらのフラグは、シーケンスパラメータセット以外のパラメータセットで符号化しても構わないし、スライスヘッダで符号化しても構わない。
以上において、ＣＡＢＡＣの場合のシンタックスについて説明したが、続いて、ＣＡＶＬＣの場合のシンタックスについて説明する。上述のとおり図３３はＣＡＢＡＣの場合のシンタックステーブルである。それに対し図３６はＣＡＶＬＣの場合を含むシンタックステーブルである。図３６中のcombined_inter_pred_ref_idxは、インター予測フラグinter_pred_flagと参照ピクチャインデックス（ref_idx_l0、ref_idx_lc、ref_idx_l1）を結合したフラグである。図３６に示すように、符号化モード情報（entropy_coding_mode_flag）が0、すなわちＣＡＶＬＣの場合には、インター予測フラグinter_pred_flagと参照ピクチャインデックスを別々に符号化、復号するのではなく、結合フラグであるcombined_int
er_pred_ref_idxを符号化する。従って、符号化データはcombined_inter_pred_ref_idxを含む。
さらに双予測が使用可能な場合（双予測制限を示すフラグDisableBipredがfalseである場合）で、かつcombined_inter_pred_ref_idxが所定の値MaxPredRef（後述）であれば、
符号化データはインター予測フラグinter_pred_flagをさらに含む。DisableBipredは、ＰＵサイズが小サイズである場合にtrueとする。図３６のDisableBipredの導出方法は一例
であり、この場合、4x4、4x8、8x4のＰＵサイズの場合にDisableBipred=trueとなる。
（結合インター予測参照インデックス）
図３７は、結合インター予測参照インデックスcombined_inter_pred_ref_idxを説明する
ための図である。図３７の（ａ）、（ｂ）、（ｃ）は、combined_inter_pred_ref_idxの
値の例を説明するための図である。図３７の（ｄ）は、combined_inter_pred_ref_idxの
最大値MaxPredRefの導出方法を示すテーブルＴＢＬ３７および擬似コードＣＯＤＥ３７である。combined_inter_pred_ref_idxは、発生確率の高いインター予測フラグinter_pred_flagと参照ピクチャインデックスの組み合わせを短いビットで符号化するために用いられる。combined_inter_pred_ref_idxは、発生確率の高い参照ピクチャの組み合わせを要素
にもつ参照リストＬＣ（ＬＣのＣはcombinedの略）で管理される参照ピクチャを選択するために用いられるインデックスである。
図３７の（ａ）、（ｃ）の例では、combined_inter_pred_ref_idxの値の範囲は０から
８（＝MaxPredRef）である。図３７の（ｃ）に示す通り、０から７に発生しやすい組み合わせ（結合参照ピクチャセット）が割り当てられる。インター予測フラグinter_pred_flagと参照ピクチャインデックスの組み合わせがそれ以外の場合には、８（＝MaxPredRef）
が割り当てられる。図３７の（ｄ）に示す最大値MaxPredRefの導出方法については、後に説明する。
ＣＡＶＬＣでは、combined_inter_pred_ref_idxは、変換可変テーブルEncTableと呼ば
れるテーブルでコード番号codeNumに変換され、コード番号codeNumがMaxPredRefを最大値としたtruncated unary codeで符号化される。すなわち、codeNum = EncTable[combined_inter_pred_ref_idx]が符号化される。truncated unary codeでは小さい値ほど短いビッ
ト数で符号化される。また最大値を明示的に用いることで無駄なビットなく符号化できる。なお、最大値cMaxの場合のtruncated unary codeによるコード番号（codeNum）の復号
は次の擬似コードに規定される処理により実現できる。ここで、read_bits(1)は符号化データから1bitのバイナリを読み出してその値を返す関数である。
leadingZeroBits = -1
for( b = 0; !b && leadingZeroBits < cMax; leadingZeroBits++ )
b = read_bits( 1 )
codeNum = leadingZeroBits
図３８の（ａ）および（ｂ）に、それぞれ、変換可変テーブルEncTableと逆変換可変テーブルDecTableの例を示す。図３８の（ａ）の例に示されるように、変換可変テーブルEncTableを用いることにより、結合参照ピクチャセットの中で、さらに、発生しやすい組み合わせに小さい値が割り振られ、短い符号長で符号化される。変換可変テーブル及び逆変換可変テーブルは、１つのcombined_inter_pred_ref_idxを符号化、復号する度に、発生し
た値が短いコード番号となるように更新される。これにより固定的な可変テーブルを用いる場合に比べさらに短い符号長で符号化できる。図３８の（ｂ）は、逆変換可変テーブルDecTableを示す。復号されたcodeNumはDecTableによりcombined_inter_pred_ref_idxに直される。すなわち、combined_inter_pred_ref_idx = DecTable[combined_inter_pred_ref_idx]である。復号動作の詳細はインター予測フラグ復号部１０２８の説明で後述する。
（双予測制限における動き補償パラメータ導出部）
図２９は、動き補償パラメータ導出部１２１の構成を示す。動き補償パラメータ導出部１２１は、スキップ動き補償パラメータ導出部１２１１、マージ動き補償パラメータ導出部１２１２、基本動き補償パラメータ導出部１２１３、双予測制限ＰＵ判定部１２１８、および、双単予測変換部１２１９から構成される。
動き補償パラメータ導出部１２１では、特に、インター予測フラグを復号しない場合のＰＵであるスキップＰＵとマージＰＵの双予測制限を行う。
スキップ動き補償パラメータ導出部１２１１は、対象ＣＵがスキップの場合に、スキップＰＵの動き補償パラメータを導出し、双単予測変換部１２１９に入力する。双単予測変換部１２１９は、双予測限定条件に応じて動き補償パラメータを変換し、スキップ動き補償パラメータ導出部１２１１に戻す。双予測限定条件とは、双予測制限を行うか否かを決定するための条件であり、その判定は、後述のとおり、双予測制限ＰＵ判定部１２１８が行う。また、双単予測変換部１２１９が、双予測を単予測へ変換する方法（双予測変換方法）の詳細については後述する。スキップ動き補償パラメータ導出部１２１１は、双予測限定条件に応じて変換された動き補償パラメータを、対象ＰＵの動き補償パラメータとして外部に出力する。なお、スキップインデックスによって、動き補償パラメータが定まる場合には、スキップ候補の各々に対して、双単予測変換部１２１９で変換を行い、変換後のスキップ候補をスキップインデックスで選択する構成でも構わない。なお、スキップＰＵのスキップ候補導出と、マージＰＵのマージ候補導出の導出方法とが同じ場合には、スキップ動き補償パラメータ導出部１２１１をマージ動き補償パラメータ導出部１２１２に置き換えて、マージ候補をスキップ候補に置き換えて導出する。
マージ動き補償パラメータ導出部１２１２は、対象ＰＵがマージの場合に、対象ＰＵの動き補償パラメータを導出し、双単予測変換部１２１９に入力する。双単予測変換部１２１９は、双予測限定条件に応じて動き補償パラメータを変換し、マージ動き補償パラメータ導出部１２１２に戻す。マージ動き補償パラメータ導出部１２１２は、双予測限定条件に応じて変換された動き補償パラメータを、対象ＰＵの動き補償パラメータとして外部に出力する。なお、マージインデックスによって、動き補償パラメータが定まる場合には、マージ候補の各々に対して、双単予測変換部１２１９で変換を行い、変換後のマージ候補を、マージインデックスで選択する構成でも構わない。
基本動き補償パラメータ導出部１２１３は、対象ＰＵがスキップでも、マージでもない場合において、対象ＰＵの動き補償パラメータを導出し、外部に出力する。
双予測制限ＰＵ判定部１２１８は、対象ＰＵのＰＵサイズ情報を参照し、対象ＰＵにおいて双予測を用いない双予測制限を行うか否かを判定する。スキップＣＵ及びマージＰＵの双予測制限を行うか否か、及び、基本インターＰＵの双予測制限を行うか否かを、独立に判定しても良い。例えば、全てのＰＵを同じＰＵサイズを閾値として双予測制限を行って良いし、スキップＰＵ及びマージＰＵの方が大きなＰＵサイズを閾値として双予測制限を行っても良い。またスキップＰＵ及びマージＰＵは双予測制限を行わず、基本インターＰＵにのみ双予測制限を行っても良い。
なお、マージの利用を制限する場合のように、スキップＰＵでインター予測フラグを復号する場合には、スキップＰＵ、マージＰＵ、基本インターＰＵの各々で双予測制限を行うか否かを、独立に判定することも可能である。
また、上記の構成では、スキップ動き補償パラメータ導出部１２１１において設定された双予測・単予測の設定を双単予測変換部１２１９において双予測制限ＰＵ判定部１２１
８に基づき判定すると説明したが、この構成に限らない。例えば、双予測制限ＰＵ判定部１２１８の判定結果を直接スキップ動き補償パラメータ導出部１２１１に入力し、双予測・単予測の設定を行う構成でも構わない。
以下では、上記動き補償パラメータ導出部１２１の各構成のうち、マージ動き補償パラメータ導出部１２１２、基本動き補償パラメータ導出部１２１３、双予測制限ＰＵ判定部１２１８、および、双単予測変換部１２１９の詳細について、順に説明する。
（マージ動き補償パラメータ導出部１２１２の詳細）
図４３は、マージ動き補償パラメータ導出部１２１２の構成を示すブロック図である。なお、スキップＰＵの場合に用いられる場合には、以下のマージ候補をスキップ候補に置き換えて動作させる。
マージ動き補償パラメータ導出部１２１２は、隣接マージ候補導出部１２１２Ａ、時間的マージ候補導出部１２１２Ｂ、ユニーク候補導出部１２１２Ｃ、結合双予測マージ候補導出部１２１２Ｄ、非スケール双予測マージ候補導出部１２１２Ｅ、ゼロベクトルマージ候補導出部１２１２Ｆ、マージ候補導出制御部１２１２Ｇ、マージ候補格納部１２１２Ｈ、マージ候補選択部１２１２Ｊから構成される。図４３では図示しないが、隣接マージ候補導出部１２１２Ａおよび時間的マージ候補導出部１２１２Ｂには、フレームメモリ１６に格納されている既に復号されたＣＵ及びＰＵの復号パラメータ、特に、ＰＵ単位の動き補償パラメータが供給される。なお、以下では、隣接マージ候補導出部１２１２Ａ、時間的マージ候補導出部１２１２Ｂ、ユニーク候補導出部１２１２Ｃ、結合双予測マージ候補導出部１２１２Ｄ、非スケール双予測マージ候補導出部１２１２Ｅ、ゼロベクトルマージ候補導出部１２１２Ｆのことを、まとめて、マージ候補導出手段と称する。
マージ動き補償パラメータ導出部１２１２においては、マージ候補導出制御部１２１２Ｇが、各マージ候補導出手段を制御し、所定の数MRG_MAX_NUM_CANDSのマージ候補を導出
しマージ候補格納部１２１２Ｈに格納する。ここで、マージ候補は、ＰＵの動き補償パラメータである予測リスト利用フラグpredFlagL0とpredFlagL1、参照インデックス番号refIdxL0とrefIdxL1、動きベクトルmvL0とmvL1から構成される。マージ候補格納部１２１２Ｈには、上記動きパラメータの組がマージ候補として格納される。格納するマージ候補は格納順に順序づけられたリスト（マージ候補リスト）として管理される。マージ候補選択部１２１２Ｊは、マージインデックスで指定されるマージ候補を選択し予測情報ＰＵＩとして出力する。
結合双予測マージ候補導出部１２１２Ｄ、非スケール双予測マージ候補導出部１２１２Ｅは、特に、双予測のマージ候補を導出するので、双予測マージ候補導出手段と呼ぶ。
図４４は、マージ動き補償パラメータ導出部１２１２の動作を示すフロー図である。なお、各マージ候補導出手段が、マージ候補を導出する手法については、別の図を用いて後述する。始めに、隣接マージ候補導出部１２１２Ａにおいて、隣接ブロックの動き補償パラメータを用いてマージ候補Ａ０〜マージ候補Ｂ２が求められる（Ｓ１０１）。続いて、時間的マージ候補導出部１２１２Ｂにおいて、既に復号した参照ピクチャの動き補償パラメータを用いてマージ候補Ｔが求められる（Ｓ１０２）。Ｓ１０３では、導出したマージ候補Ａ０〜マージ候補Ｔの中で重複するマージ候補が取り除かれ、マージ候補格納部１２１２Ｈに格納される。ここで重複しないマージ候補数がMRG_MAX_NUM_CANDS個以上であれ
ば、マージ候補の導出を終了する（Ｓ１０４でＹＥＳ）。それ以外であれば（Ｓ１０４でＮＯ）、Ｓ１０５に遷移する。Ｂスライスであれば（Ｓ１０５でＹＥＳ）、Ｓ１０６に遷移し、そうではなければ（Ｓ１０５でＮＯ）、Ｓ１０７、Ｓ１０８をスキップしＳ１０９に遷移する（Ｓ１０５）。双予測制限を行う場合、ここでは、双方向マージ候補導出をス
キップする場合に相当する小サイズＰＵの場合も、Ｓ１０７、Ｓ１０８の双予測動き候補導出の処理をスキップし、Ｓ１０９に遷移する（Ｓ１０６）。Ｓ１０７では、結合双予測マージ候補導出部１２１２Ｄにおいて、結合双予測マージ候補が導出されマージ候補格納部１２１２Ｈに格納される。Ｓ１０８では、非スケール双予測マージ候補導出部１２１２Ｅにおいて、非スケール双予測マージ候補が導出されマージ候補格納部１２１２Ｈに格納される。ここでマージ候補数がMRG_MAX_NUM_CANDS個以上であれば（Ｓ１０９でＹＥＳ）
、マージ候補の導出を終了する。また、図示しないが、Ｓ１０７及びＳ１０８のステップ中に、マージ候補数がMRG_MAX_NUM_CANDS個に到達した時点で、各処理を停止し、マージ
候補の導出を終了する。Ｓ１１０では、ゼロベクトルマージ候補導出部１２１２Ｆにおいて、マージ候補数がMRG_MAX_NUM_CANDS個に到達するまでゼロベクトルのマージ候補が導
出され、マージ候補格納部１２１２Ｈに格納される。
上記処理では、小サイズＰＵにおいて、双予測マージ候補に関わるマージ候補導出処理が省略されるため、マージ候補導出に掛る処理量を低減することができる。双予測マージ候補に関わる結合双予測マージ候補導出処理（Ｓ１０７）および非スケール双予測マージ候補導出処理（Ｓ１０８）は繰り返し複数の判定を行う必要がある重い処理であるため、復号にかけられる時間（処理量）が限られる小サイズＰＵで処理を省略できることは、実時間で復号処理を行う必要がある機器おいて特に有効である。なお、双予測のマージ候補の省略は、結合双予測マージ候補導出部１２１２Ｄ、非スケール双予測マージ候補導出部１２１２Ｅの動作に限らず、双予測のマージ候補を主に生成する他のマージ候補導出処理にも適用可能である。
以下、各マージ候補導出手段の詳細を説明する。図４５は、隣接マージ候補導出部１２１２Ａの動作を説明するための図である。図４５に示すとおり、Ａ０、Ａ１、Ｂ０、Ｂ１、Ｂ２の位置を含む隣接ブロックの動き補償パラメータを、コピーすることにより、各マージ候補を導出する。導出する順序は、Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２であるとする。導出されたマージ候補は、双単予測変換部１２１９で変換後、マージ候補格納部１２１２Ｈに格納する。双単予測変換部１２１９は、双予測制限が行われる場合に、入力されるマージ候補を単予測に変換する。単予測に変換されたマージ候補が複数になる場合（例えばＬ０予測とＬ１予測の２つ）には、その複数のマージ候補を、マージ候補格納部１２１２Ｈに格納する。双単予測変換部１２１９の出力が複数のマージ候補で良いというのは、以後、説明する他のマージ候補導出部でも同様である。
なお、隣接ブロックが、availableではない場合（unavailable）やイントラブロックの場合には、対応するマージ候補は導出されない。なお、availableではない場合とは、画
面外にある場合、スライス外にある場合、ブロックのスキャン順からみて、未復号である場合である。Ａ０〜Ｂ１の位置は、ＰＵの左上座標を(xP,yP)、ＰＵのサイズnPSW、nPSH
として、以下のように表現できる。
Ａ０：(xP - 1,yP + nPSH)
Ａ１：(xP - 1,yP + nPSH - 1)
Ｂ０：(xP + nPSH,yP - 1)
Ｂ１：(xP + nPSH - 1,yP - 1)
Ｂ２：(xP - 1,yP - 1)
なお、Ａ０、Ａ１、Ｂ０、Ｂ１の位置に対応するマージ候補が全て導出された場合には、Ｂ２の位置に対応するマージ候補は導出されない。ＰＵの分割タイプが、２Ｎ×ＮもしくはＮ×２Ｎの場合でＰＵのインデックスが１である場合のマージ候補の導出においては、各マージ候補の動き補償パラメータが、インデックスが０のＰＵの動き補償パラメータと一致しない場合に限り、対応するマージ候補が導出されマージ候補格納部１２１２Ｈに格納される。ブロックＡ、ブロックＢの動き補償パラメータの一致判定を行う関数equalMotion（A、B）の動作は、以下のように規定できる。
equalMotion(A, B) = (predFlagL0A == predFlagL0B) && (predFlagL1A == predFlagL1B) && mvL0A[0] == mvL0B[0] && mvL0A[1] == mvL0B[1] && mvL1A[0] == mvL1B[0] && mvL1A[1] == mvL1B[1])
ここで、predFlagL0A、predFlagL1Aは、各々、ブロックＡにおいてL0、L1の参照ピクチャが用いられる場合に１、それ以外は０となる。mvL0[0]、mvL0[1]は、L0の水平動きベクトル、垂直動きベクトル、mvL1[0]、mvL1[1]は、L1の水平動きベクトル、垂直動きベクトルである。なお、ブロックＢの場合には、上記AをBに置き換える。
図４６は、時間的マージ候補導出部１２１２Ｂの動作を説明する図である。図４６の（ａ）を参照すると、時間的マージ候補は、現ピクチャがcurrPicである場合、現ピクチャ
内における対象ＰＵの空間的位置とほぼ同じ空間的位置を占める参照インデックス番号refIdxL0で指定される参照ピクチャPU、もしくは、参照ピクチャインデックス番号で指定される参照ピクチャのPUの動き補償パラメータをコピーすることにより、導出される。図４６の（ｂ）を参照して、参照インデックス番号refIdxL0、参照インデックス番号refIdxL1の導出方法を説明する。参照インデックス番号refIdxLX（ここでXは0もしくは1もしくは
Ｃ）は、対象ＰＵの隣接ＰＵ、Ａ、Ｂ、Ｃのブロックの参照ピクチャrefIdxLXA、refIdxLXB、refIdxLXCを用いて以下のように求められる。
（１）refIdxLXA = refIdxLXB = refIdxLXCの場合、
refIdxLXA = -1のとき、refIdxLX = 0
それ以外のとき、refIdxLX = refIdxLXA
（２）refIdxLXA = refIdxLXBの場合、
refIdxLXA = -1のとき、refIdxLX = refIdxLXC それ以外のとき、refIdxLX = refIdxLXA
（３）refIdxLXB = refIdxLXCの場合、
refIdxLXB = -1のとき、refIdxLX = refIdxLXA
それ以外のとき、refIdxLX = refIdxLXB
（４）refIdxLXA = refIdxLXCの場合、
refIdxLXA = -1のとき、refIdxLX = refIdxLXB
それ以外のとき、refIdxLX = refIdxLXA
（５）refIdxLXA = -1の場合、
refIdxLX = min( refIdxLXB, refIdxLXC)
（６）refIdxLXB = -1の場合、
refIdxLX = min( refIdxLXA, refIdxLXC)
（７）refIdxLXC = -1の場合、
refIdxLX = min( refIdxLXA, refIdxLXB)
（８）その他の場合、
refIdxLX = min( refIdxLXA, refIdxLXB, refIdxLXC)
ここで、minは最小値をとる関数である。
なお、ブロックＡ、Ｂの座標は、以下の通りである。
Ａ：(xP - 1,yP + nPSH - 1)
Ｂ：(xP + nPSW - 1,yP - 1)
ブロックＣの座標は、下記Ｃ０、Ｃ１、Ｃ２の何れかである。Ｃ０からＣ２の順に走査し、各位置に対応するPUが、availableであり、イントラ以外である場合に、その位置のＰ
ＵのrefIdxLXを、refIdxLXCとする。
Ｃ０：(xP + nPSW - 1,yP - 1)
Ｃ１：(xP - 1,yP + nPSH)
Ｃ２：(xP - 1,yP - 1)
上記のようにrefIdxL0、refIdxL1が導出されると、refIdxL0で示される参照ピクチャの位置（xP +nPSW、yP +nPSH）の動き補償パラメータを用いて、L0の動きベクトルを定め、refIdxL1で示される参照ピクチャの位置（xP +nPSW、yP +nPSH）の動き補償パラメータを用
いて、L1の動きベクトルを定めることにより、時間的マージ候補を導出する。すなわち、各参照ピクチャリストLX（X=0、X=1もしくはX=C）に対する動きベクトルmvLXCol[0]、mvLXCol[0]を、LXリスト及びrefIdxLXで示される参照ピクチャから算出する。具体的には、refIdxLXで示される参照ピクチャの位置（xP +nPSW、yP +nPSH）のPUがunavailableである、もしくは、イントラ予測モードである場合には、時間的マージ候補のLXの動きベクトルmvLXCol[0]、mvLXCol[1]を０に定める。それ以外、すなわち、該PUのPredFlagL0が0であ
る場合には、該PUのL1の動きベクトルMvL1を、時間的マージ候補のLXの動きベクトルmvLXCol[0]、mvLXCol[1]として用いる。それ以外の場合には、該PUのL0の動きベクトルMvL0を、時間的マージ候補のLXの動きベクトルmvLXCol[0]、mvLXCol[1]として用いる。
続いて、現フレームのＰＯＣ（Picture Order Count）と参照ピクチャのＰＯＣを用い
て、動きベクトルのスケーリングを行う。時間的マージ候補においても隣接マージ候補と同様に、マージ候補をマージ候補格納部１２１２Ｈに格納する前に、双単予測変換部１２１９にマージ候補を入力し変換する。変換後のマージ候補が時間的マージ候補として、マージ候補格納部１２１２Ｈに格納される。
ユニーク候補導出部１２１２Ｃは、マージ候補リストの各マージ候補が互いにユニークになるように、マージ候補リストを更新する。マージ候補リストに格納されたマージ候補がインデックス０〜インデックスＣＡＮＤＸまでである場合、図４７の擬似コードに示すステップによりユニークなマージ候補リストを得ることができる。なお、マージ候補リストは、マージ候補を格納する配列motion_cand[]を用いて管理する。また、マージ候補数
をNumcandとすると、ＣＡＮＤＸ＝Numcand−１である。図４７の擬似コードの各ステップＳについて、以下に説明する。
Ｓ４７０１：インデックス０からインデックスＣＡＮＤＸの有効性フラグを全て有効に初期化する。ここでmotion_valid[]は有効性フラグを格納する配列である。
Ｓ４７０２：ループ変数i（ｉ＝１からＣＡＮＤＸ）に対して、ｉのマージ候補motion_cand[i]と同じ動き補償パラメータが、ｉより小さい番号のインデックスｊ（0<=j<i）のmotion_cand[j]で出現していたら、ｉの有効性フラグmotion_valid[i]を無効にする。Ｓ４７０２−１では、インデックスｉとｊの動き補償パラメータを比較する。動き補償パラメータの比較には、equalMotion関数を用いる。ここでequalMotion(A, B)は、入力された動き補償パラメータAとBとの同一性を判定する関数である（同図においては、“hasEqualMotion”と表記している）。動き補償パラメータが一致していたら、ｉの有効性フラグmotion_valid[i]を無効にする。
Ｓ４７０３：有効性フラグmotion_validがtrueのマージ候補motion_candをマージ候補リ
ストに格納する。このマージ候補リストの再構成は、マージ候補motion_candの配列から
構成されるマージ候補リストに番号が小さい順にコピーすることで行う。ここでcopy(Ａ,
Ｂ)はＢをＡにコピーする関数である。
Ｓ４７０４：有効性フラグmotion_validを再設定する。
Ｓ４７０５：有効なマージ候補数NumCandを更新する。
図４８は、結合双予測マージ候補導出部１２１２Ｄの動作を説明する図である。結合双予測マージ候補は、マージ候補リストに格納された２つの参照マージ候補を用いて、一方の参照マージ候補からリストＬ０の動き補償パラメータをコピーし、もう一方の参照マージ候補からリストＬ１の動き補償パラメータをコピーすることで導出される。図４８の（ｃ）は、抽出する２つの参照マージ候補リストを決定するためのテーブルである。導出する結合双予測マージ候補のインデックスをcombCandk で表現する。なお、combCandkは、
既に導出されたマージ候補リストの最後のインデックスの値に１を加えた値を用いる。ｋは、０から開始するインデックスであり、結合双予測マージ候補をマージ候補リストに追加する際に１ずつインクリメントする。また、combIdxインデックスは、結合双予測マー
ジ候補の導出の際に用いられる一時的なインデックスで０から１１までの値を持つ。０か
ら１１までのcombIdxインデックスについて、２つのインデックスl0CandIdx及びl1CandIdxで示されるインデックスの参照マージ候補をマージ候補リストから選択する。ここでイ
ンデックスlXCandIdx(X=0もしくはX=1)のインデックスの候補を選択するとは、マージ候
補リストに格納されたインデックス０〜ＣＡＮＤＸまでのマージ候補の内、インデックスlXCandIdxで示される候補を抽出することを言う。図４８の（ａ）は、結合双予測マージ
候補を導出するか否かを判定する判定式を示す。l0CandIdxで選択されたマージ候補のL0
の動き補償パラメータpredFlagL0l0Cand、refIdxL0l0Cand、mvL0l0Candと、l1CandIdxで
選択されたL1のマージ候補の動き補償パラメータpredFlagL1l1Cand、refIdxL1l1Cand、mvL1l1Candが図４８（ａ）の判定式を全て満たす場合に、結合双予測マージ候補が導出される。図４８の（ｂ）は、インデックスcombCandkで示される結合双予測マージ候補の導出
方法を示す図である。結合双予測マージ候補の動き補償パラメータrefIdxL0combCandk、refIdxL1combCandk、predFlagL0combCandk、predFlagL1combCandk、mvL0combCandk[0]、mvL0combCandk[1]、mvL1combCandk[0]、mvL1combCandk[1]を上記L0の動き補償パラメータと上記Ｌ１の動き補償パラメータをコピーすることにより導出する。導出された結合双予測マージ候補がマージ候補格納部１２１２Ｈのマージ候補リストに格納された全てのマージ候補と一致しない場合に、結合双予測マージ候補をマージ候補リストの最後に格納する。一致判定は既に説明した関数equalMotionを用いる。
マージ候補数が、MRG_MAX_NUM_CANDS個に到達していれば、結合双予測マージ候補導出
部１２１２Ｄの動作を終了する。到達していなければcombIdxを１だけインクリメントし
、図４８の（ｃ）のテーブルを用いて２つの参照マージ候補を抽出し、マージ候補導出を継続する。全てのテーブルについて抽出した時点で、結合双予測マージ候補導出部１２１２Ｄの動作を終了する。
図４９は、非スケール双予測マージ候補導出部１２１２Ｅの導出を説明する図である。図４９の（ａ）は、非スケール双予測マージ候補を導出するか否かを判定する判定式を示す。図４９の（ｂ）は、インデックスnscaleCandlで示される非スケール双予測マージ候
補の導出方法を示す図である。ここで、インデックスnscaleCandlは、既に導出されたマ
ージ候補リストの最後のインデックスの値に１を加えた値を用いる。ｌは、０から開始するインデックスであり、非スケール双予測マージ候補をマージ候補リストに追加する際に１ずつインクリメントする。非スケール双予測マージ候補導出部１２１２Ｅは、既に導出されマージ候補格納部１２１２Ｈに格納されたマージ候補の動きベクトルを利用して、２つの参照ピクチャに対する動きベクトルが互いに反転する関係になるようなマージ候補を導出する。参照するマージ候補のインデックスをorigCandとして、図４９の（ａ）の判定式を全て満たす場合に、図４９の（ｂ）に従い非スケール双予測マージ候補の導出が行われる。非スケール双予測マージ候補についても、関数equalMotionを用いて、導出された
結合双予測マージ候補がマージ候補格納部１２１２Ｈのマージ候補リストに格納された全てのマージ候補と一致しない場合に、結合双予測マージ候補をマージ候補リストの最後に格納する。マージ候補数が、MRG_MAX_NUM_CANDS個に到達していれば動作を終了し、到達
していなければ処理を繰り返す。
図５０は、ゼロベクトルマージ候補導出部１２１２Ｆの動作を示す図である。マージ候補格納部１２１２Ｈのマージ候補数が、MRG_MAX_NUM_CANDS個に到達していれば処理を行
わない。到達していなければ、マージ候補数が、MRG_MAX_NUM_CANDS個に到達するまでゼ
ロベクトルを格納する。すなわち、参照するマージ候補のインデックスをmvL0zeroCandm
として、L0の動きベクトル（mvL0zeroCandm[0]、mvL0zeroCandm[1]）、L1の動きベクトル（mvL1zeroCandm[0]、mvL1zeroCandm[1]）が共に０となるような候補を導出する。ここで、インデックスzeroCandmは、既に導出されたマージ候補リストの最後のインデックスの
値に１を加えた値を用いる。mは、０から開始するインデックスであり、ゼロベクトル予
測マージ候補をマージ候補リストに追加する際に１ずつインクリメントする。なお、ゼロ
ベクトルマージ候補導出部１２１２Ｆにおいても、２つの参照ピクチャを用いるマージ候補、すなわちpredFlagL1=1、predFlagL1=1のマージ候補を導出することが可能であるが、マージＰＵの双予測制限を行う場合には、双予測制限を行う小サイズのＰＵにおいて、単予測のマージ候補のみを導出することとする。
マージ候補導出制御部１２１２Ｇは、図４４のフローチャートで示した動作を行い、マージ候補を導出する。
マージ候補格納部１２１２Ｈは、導出したマージ候補を保存する。
（基本動き補償パラメータ導出部１２１３の詳細）
図５４は、基本動き補償パラメータ導出部１２１３の構成を示すブロック図である。基本動き補償パラメータ導出部１２１３は、隣接動きベクトル候補導出部１２１３Ａ、時間的動きベクトル候補導出部１２１３Ｂ、ゼロベクトルマージ候補導出部１２１３Ｆ、動きベクトル候補導出制御部１２１３Ｇ、動きベクトル候補格納部１２１３Ｈ、動きベクトル候補選択部１２１３Ｉ、動きベクトル復元部１２１３Ｊから構成される。なお、以下では、隣接動きベクトル候補導出部１２１３Ａ、時間的動きベクトル候補導出部１２１３Ｂ、ゼロベクトルマージ候補導出部１２１３Ｆのことを、まとめて、動きベクトル／マージ候補導出手段と称する。
基本動き補償パラメータ導出部１２１３においては、動きベクトル候補導出制御部１２１３Ｇが、各動きベクトル／マージ候補導出手段を制御し、所定の数PMV_MAX_NUM_CANDS
の予測動きベクトル候補を導出し動きベクトル候補格納部１２１３Ｈに格納する。ここで、予測動きベクトル候補は、動きベクトルmvL0とmvL1とから構成される。動きベクトル候補格納部１２１３Ｈには、上記動きパラメータの組が予測動きベクトル候補として格納される。格納する予測動きベクトル候補は格納順に順序づけられたリスト（予測動きベクトル候補リスト）として管理される。
隣接動きベクトル候補導出部１２１３Ａは、隣接マージ候補導出部１２１２Ａと同様に、隣接ブロックの動き補償パラメータを、コピーすることにより、各予測動きベクトル候補を導出する。
時間的動きベクトル候補導出部１２１３Ｂは、時間的マージ候補導出部１２１２Ｂと同様に、既に復号済みのピクチャの動き補償パラメータを、コピーすることにより、時間的予測動きベクトル候補を導出する。
ゼロベクトルマージ候補導出部１２１３Ｆは、ゼロベクトルを予測動きベクトル候補として導出する。
動きベクトル候補導出制御部１２１３Ｇは、所定の数PMV_MAX_NUM_CANDSの予測動きベ
クトル候補が導出された時点で導出を終了する。また、内部のユニーク候補判定部１２１３Ｃを用いて、隣接動きベクトル候補導出部１２１３Ａおよび時間的動きベクトル候補導出部１２１３Ｂから導出される予測動きベクトルが互いに一致しない（ユニークになる）ように、動きベクトル候補格納部１２１３Ｈに格納する。具体的には、動きベクトル候補導出制御部１２１３Ｇは、ユニーク候補判定部１２１３Ｃに２つの動きベクトルＡと動きベクトルＢとを入力し、動きベクトルＡと動きベクトルとＢが一致しているか否かを判定させる。ユニーク候補判定部１２１３Ｃは入力された２つの動きベクトルが互いに一致しているが否かを判定する。
（双予測制限ＰＵ判定部１２１８の詳細：双予測制限の判定方法）
双予測制限ＰＵ判定部１２１８において、双予測制限を行うべき小サイズのＰＵであるか否かを判定する方法の好適な例を以下に説明する。なお、判定方法は以下の例に限定されるものではなく、ＰＵサイズ情報として他のパラメータを用いることも可能である。
（判定方法の例１）
判定方法の例１では、ＰＵサイズの判定に用いる閾値をＴＨとした場合に、THxTH未満のPUの場合に双予測制限を行う。この時の対象ＣＵサイズ（ここではCU Width）とＰＵ分割
タイプを用いた判定式は以下の通りである。
DisableBiPred = ((CU Width == TH && PU分割タイプ!= 2Nx2N) || CU Width < TH) ? true : false
具体的には、
TH = 16の場合には、16x8、8x16、12x16、4x16、16x12、16x4、8x8、8x4、4x8、4x4の各PUにおいて双予測制限が行われる。
TH = 8の場合には、8x4、4x8、4x4の各PUにおいて双予測制限が行われる。
なお、ＰＵサイズの判定に用いるＣＵサイズとしてCU Widthの代わりに、ＣＵサイズ（CU Width）の底を２とする対数log2CUSizeを用いても良い。この場合、16x8、8x16、12x16、4x16、16x12、16x4、8x8、8x4、4x8、4x4を双予測制限する場合の判定式は、以下になる。
DisableBiPred = ((log2CUSize == 4 && PU分割タイプ!= 2Nx2N) || log2CUSize < 4) ? true : false
また、8x4、4x8、4x4を双予測制限する場合の判定式は、以下になる。
DisableBiPred = (log2CUSize == 3 && PU分割タイプ!= 2Nx2N)
なお、対象ＣＵサイズとＰＵ分割タイプ以外のパラメータを用いて判定を行うことも可能である。例えば、ＰＵ分割数NumPartを用いて以下のような判定も可能である。
DisableBiPred = ((CU Width == TH && NumPart > 1) && CU Width < TH) ? true : false
（判定方法の例２）
判定方法の例２では、THxTH以下のPUにおいて双予測制限を行う。この時の判定式は以下
の通りである。
DisableBiPred = ((CU Width == 2*TH && PU分割タイプ== NxN) || CU Width < 2*TH) ? true : false
具体的には、
TH = 16の場合には、16x16、16x8、8x16、12x16、4x16、16x12、16x4、8x8、8x4、4x8、4x4の各PUにおいて双予測制限が行われる。
TH = 8の場合には、8x8、8x4、4x8、4x4の各PUにおいて双予測制限が行われる。
TH = 4の場合には、4x4のPUにおいて双予測制限が行われる。
なお、ＰＵサイズの判定にlog2CUSize を用いる場合、8x8、8x4、4x8、4x4を双予測制
限する場合の判定式は、以下になる。
DisableBiPred = ((log2CUSize == 4 && PU分割タイプ== NxN) || log2CUSize < 4) ? true : false
4x4の判定式は、以下になる。
DisableBiPred = ((log2CUSize == 3 && PU分割タイプ== NxN)) ? true : false
なお、PUの分割数NumPartを用いて以下のような判定も可能である。
DisableBiPred = ((CU Width == 2*TH && NumPart != 4) || CU Width < 2*TH) ? true
: false
なお、上述の例においてスキップＰＵ及びマージＰＵと、基本インターＰＵとで異なるＰＵサイズ（閾値ＴＨ）を用いても構わない。また、図３４の（ｃ）で既に示したように、判定に用いるＰＵサイズ（閾値ＴＨ）を符号化しても良い。
（双単予測変換部１２１９の詳細）
双単予測変換部１２１９は、入力された動き補償パラメータが双予測を示しており、さらに、双予測制限ＰＵ判定部においてスキップＰＵ及びマージＰＵの双予測制限を行うと判定された場合において、双単予測変換部１２１９に入力される動き補償パラメータを単予測に変換する。
なお、双単予測変換部１２１９は複数の双予測変換方法を切り替えることが可能であり、マージ候補導出部の指定する双予測変換方法を用いて双単予測変換を行っても構わない。また、双単予測変換部１２１９に、双単予測変換を行うか否かを入力し、それに合わせて切り替えを行っても構わない。
また、後述するように、双単予測変換部１２１９は、入力された動き補償パラメータが双予測の場合には、２つの動き補償パラメータを順次、出力しても良い。
動き補償パラメータは、時間的及び空間的に近接するＰＵの動き補償パラメータのコピー、もしくは、時間的及び空間的に近接するＰＵの動き補償パラメータの組み合わせから導出される動き補償パラメータのインター予測フラグinter_pred_flagが双予測を示す２
である場合には、単予測を示す１に変換する。また、内部の処理に用いるインター予測フラグ（内部インター予測フラグ）がＬ０予測を示す１、Ｌ１予測を示す２、双予測を示す３からなるフラグである場合には、以下の動作を行う。内部インター予測フラグが３である場合には、内部インター予測フラグの値がＬ０予測を意味する１、もしくは、Ｌ１予測を意味する２に変換する。また、Ｌ０予測に変換する場合にはＬ１予測に関する動き補償パラメータを例えばゼロにリフレッシュすることも可能である。Ｌ１予測に変換する場合には、Ｌ０予測に関する動き補償パラメータを例えばゼロにリフレッシュすることも可能である。なお、内部インター予測フラグと、予測リスト利用フラグpredFlagL0、predFlagL1の関係は以下のように相互に変換可能である。
内部インター予測フラグ＝(predFlagL1<<1) + predFlagL0
predFlagL0 ＝内部インター予測フラグ& 1
predFlagL1 ＝内部インター予測フラグ>> 1
単予測に変換する方法としては、インター予測フラグ（及び内部インター予測フラグ）を変更する方法の他、予測リスト利用フラグpredFlagL0、predFlagL1の両者が利用するを示す値である１の場合に、予測リスト利用フラグの一方を使用しないことを示す値の０に変換すること、で行うこともできる。
図５１は、単予測への変換の方法（双予測変換方法）の例を説明する図である。Ｌ０選択は、予測リスト利用フラグpredFlagL1を０に変更する。Ｌ１選択は、予測リスト利用フラグpredFlagL0を０に変更する。参照インデックス番号選択は、参照インデックス番号refIdxL0、参照インデックス番号refIdxL1の内、値が大きい方のリストの予測リスト利用フラグを０に変更する。式としては、X = (ref_idx_L1 < ref_idx_L0) ? 0 : 1、predFlagLX = 0。これにより、参照インデックス番号が小さい方のリストが使用される。POC選択は
、現ピクチャのＰＯＣ（POC_curr）と、参照インデックス番号refIdxL0で示される参照ピクチャのＰＯＣ（POC_L0）の差分と、現ピクチャのＰＯＣと、参照インデックス番号refIdxL1で示される参照ピクチャのＰＯＣ（POC_L1）の絶対値差分との内、値が大きい方のリストの予測リスト利用フラグを０に変更する。X = (|POC_L1 ‐ POC_curr| < |POC_L0 ‐
POC_curr| ) ? 0 : 1、predFlagLX = 0。これにより現ピクチャに対してＰＯＣが近い参照ピクチャが用いられる。
両選択は、L0の動き補償パラメータを用いる場合とL1の動き補償パラメータを用いる場合の両方を候補として用いる。すなわち、入力されたマージ候補が双予測の場合には、predFlagL1 = 0のようにL0を用いるように変更されたマージ候補と、predFlagL0 = 0のように変更されたマージ候補の２つを、入力元であるマージ候補導出部に出力する。
発明者による実験では、ＰＵサイズが８×４、４×８の場合に双予測を制限する場合で、双単予測変換にＬ１選択を行う方法において、符号化効率の低下がほぼゼロであることを確認している。この場合、双単予測変換は、以下のように表現できる。ＣＵサイズlog2CUSizeが３、かつ、ＰＵ分割タイプPartModeが２Ｎ×２Ｎ以外の場合において、予測リスト利用フラグpredFlagL0と予測リスト利用フラグpredFlagL1の両者が１である場合には、予測リスト利用フラグpredFlagL0を０に設定する。
一般に、動き補償パラメータの導出では、Ｌ０リストの参照ピクチャを優先することが多い。逆に、Ｌ０リストの参照ピクチャの代わりにＬ１リストの参照ピクチャを使用することによれば、これらのＬ０リストを優先する導出処理と差別化することができる。ある符号化パラメータにより複数の導出処理が選択可能な場合において、あるグループの導出処理をＬ０リスト優先、他のグループの導出処理をＬ１リスト優先とすると、各々の導出処理は互いに相補的に用いることができるため、より多くの動きの性質のシーケンスや領域において有効に作用する。そのため、双単予測変換においては、Ｌ１リストを用いることによって高い符号化効率を得ることができる。
図５１の例以外の単予測への変換の方法の例をさらに説明する。双予測マージ候補毎に、双予測である（predFlagL0とpredFlagL1が共に1）である場合に、predFlagL1を0にする（Ｌ0リストを用いる）かを切り替えても良い。例えば、隣接マージ候補導出部１２１２
Ａでは、Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２の順にマージ候補を導出するが、Ａ１、Ｂ０、Ｂ２でpredFlagL1=0、Ｂ１、Ａ０でpredFlagL1=1とする方法がある。この例では、マージ候補を導出する毎に、L0リストを用いる場合とL1リストを用いる場合を交互に選択する。また、この例では、左方向に隣接するブロックから算出されるマージ候補Ａ０、Ａ１および上方向に隣接するブロックから算出されるマージ候補Ｂ０、Ｂ１の各々に対して、一方についてL0リストを用いる場合とし、もう一方についてL1リストを用いる場合とする。このように、隣接マージ候補の一部をpredFlagL1=0、一部をpredFlagL0=0により、単予測に変換する場合には、各々の参照リストの動き補償パラメータをバランスよく使用することができるため、高い符号化効率が得られる。また、隣接方向が右方向（Ａ０、Ａ１）、上方向（Ｂ０、Ｂ１、Ｂ２）であるマージ候補は互いに異なる参照リストを選択するようにすることが好ましい。なお、どのマージ候補をpredFlagL1=0として、どのマージ候補をpredFlagL0=0とするかについては上記以外の方法でも良い。例えば、Ａ１、Ｂ０、Ｂ２でpredFlagL1=1、Ｂ１、Ａ０でpredFlagL1=0としても良い。また、導出する順番もしくはマージ候補リストに格納する場合のインデックス毎に、反対の参照リストを用いるようにしても良い。
また、参照リストＸの予測リスト利用フラグpredFlagLXを０にすることで、双単予測変換を行う場合に、参照インデックス番号refIdxLXの値を-1、動きベクトルmvL1の値を(0, 0)などの初期値にリフレッシュしないこととするが、リフレッシュすることも可能である
。発明者による実験では、これらの値はリフレッシュを行わない方が高い符号化効率が得られることを確認している。リフレッシュしない場合においては、参照ピクチャリストの使用を制限した場合においても、後続の処理において、制限した方の、参照インデックス番号および動きベクトルの値を使用することができる。そのため、高い符号化効率が得られる。
なお、双単予測変換部１２１９は、スキップ動き補償パラメータ導出部１２１１及びマージ動き補償パラメータ導出部１２１２の内部に備える手段として構成しても構わない。また、基本インターＰＵのみに双予測制限を行う場合には、双単予測変換部１２１９を備えない構成でも良い。
（双予測制限における動き情報復号部１０２１）
図３０は、動き情報復号部１０２１の構成を示すブロック図である。動き情報復号部１０２１は少なくともインター予測フラグ復号部１０２８を備える。動き情報復号部１０２１では、特に、インター予測フラグを復号する場合のＰＵである基本インターＰＵの双予測制限を行う。インター予測フラグ復号部１０２８は、上述の双予測制限ＰＵ判定部１２１８で、基本インターＰＵの双予測制限を行うか否かに応じて、インター予測フラグの復号を行うか否かを変更する。
なお、マージの利用を制限する場合のように、スキップＰＵでインター予測フラグを復号する場合には、スキップＰＵの双予測制限を行う。
（インター予測フラグ復号部１０２８）
図３９は、ＣＡＢＡＣの場合のインター予測フラグ復号部１０２８の動作を示すフロー図である。インター予測フラグ復号部１０２８は、スライスがＢスライスの場合（Ｓ１３１でＹＥＳ）には、Ｓ１３２に遷移する。それ以外では（Ｓ１３１でＮＯ）、インター予測フラグinter_pred_flagを復号せずに終了する。ＰＵサイズが小ＰＵサイズの場合（DisableBiPred = trueの場合）には（Ｓ１３２でＹＥＳ）、インター予測フラグinter_pred_flagを復号せずに終了する。それ以外の場合には（Ｓ１３２でＮＯ）、インター予測フラグinter_pred_flagを復号する（Ｓ１３３）。
図４０は、ＣＡＶＬＣの場合のインター予測フラグ復号部１０２８の動作を示すフロー図である。インター予測フラグ復号部１０２８は、スライスがＢスライスの場合（Ｓ１４１でＹＥＳ）には、Ｓ１４２に遷移する。それ以外では（Ｓ１４１でＮＯ）、インター予測フラグinter_pred_flagを復号せずに終了する。ＰＵサイズが小ＰＵサイズ以外の場合
（DisableBiPred != trueの場合）には（Ｓ１４２でＮＯ）、Ｓ１４３、Ｓ１４４、１４
５により、結合インター予測参照インデックスcombined_inter_pred_ref_idxを復号する
。ＰＵサイズが小ＰＵサイズの場合には（Ｓ１４２でＹＥＳ）、Ｓ１４６、Ｓ１４７、Ｓ１４８により、結合インター予測参照インデックスcombined_inter_pred_ref_idxを復号
する。
Ｓ１４３およびＳ１４６では、最大値MaxPredRefを算出する。最大値MaxPredRefは、図３７の（ｄ）のテーブルＴＢＬ３７および擬似コードＣＯＤＥ３７に示す通りである。具体的には、小サイズＰＵ以外の場合、すなわち、双予測制限なしの場合（DisableBiPred != true）の最大値MaxPredRefは、NumPredRefLC＋NumPredRefL0*NumPredRefL1もしくは、NumPredRefL0＋NumPredRefL0*NumPredRefL1、すなわち、単予測の結合参照ピクチャセッ
トの数（NumPredRefLC、もしくはNumPredRefL0）と双予測の結合参照ピクチャセットの数（NumPredRefL0*NumPredRefL1）の和で算出する（Ｓ１４３）。双予測制限ありの場合（DisableBiPred = true）の最大値MaxPredRefは、NumPredRefLCもしくは、NumPredRefL0、
すなわち、単予測の結合参照ピクチャセットの数（NumPredRefLC、もしくはNumPredRefL0
）で算出し、双予測の結合参照ピクチャセットを含まない（Ｓ１４６）。これにより、無駄な符号を排除することができる。なお、num_ref_idx_lc_active_minus1は、参照リストＬＣで管理される参照リスト番号の数（参照リストＬＣのサイズ）から１を引いた数である。num_ref_idx_lc_active_minus1が０より大きいことは、参照リストＬＣが用いられることを示す。同様に、num_ref_idx_l0_active_minus1は参照リストＬ０で管理される参照リスト番号の数（参照リストＬ０のサイズ）から１を引いた数であり、参照リストＬ０が用いられることを示す。同様に、num_ref_idx_l1_active_minus1は参照リストＬ１で管理される参照リスト番号の数（参照リストＬ１のサイズ）から１を引いた数である。なお、単予測の結合参照ピクチャセットの数は、以下の式のように、参照リストのサイズを最大値（参照リストＬＣは４、それ以外の参照リストは２）でクリップした数として定められる。
NumPredRefLC = Min(°4,°num_ref_idx_lc_active_minus1°+°1°)
NumPredRefL0 = Min(°2,°num_ref_idx_l0_active_minus1°+°1°)
NumPredRefL1 = Min(°2,°num_ref_idx_l1_active_minus1°+°1°)
Ｓ１４４、Ｓ１４７における、combined_inter_pred_ref_idxの復号では、最大値をMaxPredRefとするunary codeで符号化されたcodeNumを復号する。Ｓ１４５、Ｓ１４８において、codeNumはcombined_inter_pred_ref_idxに変換される。小サイズＰＵ以外の場合には、逆変換可変テーブルDecTableによってcombined_inter_pred_ref_idxに変換する。すなわ
ち、combined_inter_pred_ref_idx = DecTable[codeNum]である（Ｓ１４５）。小サイズ
ＰＵの場合には、codeNumをcombined_inter_pred_ref_idxの値としてそのまま用いる。すなわち、combined_inter_pred_ref_idx = codeNumである（Ｓ１４８）。そして、combined_inter_pred_ref_idxが最大値MaxPredRefに一致するか否かを判定する（Ｓ１４９）。一致する場合で（Ｓ１４９でＹＥＳ）、さらに、小サイズＰＵ以外の場合には、inter_pred_flagを復号する（Ｓ１５０）。この動作は、図３６に示すシンタックステーブルの復号
に対応する。
上記の例では、小サイズＰＵでは逆変換可変テーブルを用いないことで簡易な復号を行っているが、上記Ｓ１４８のステップを図４１の擬似コードで示す処理に置き換えることにより、逆変換可変テーブルを用いたcombined_inter_pred_ref_idxの復号も可能である
。逆変換可変テーブル及び変換可変テーブルは、双予測制限を用いる場合と用いない場合とで同一のテーブルを用いる。双予測テーブルを用いない場合には、テーブルのエントリの内、双予測に対応するエントリは無効である。そのため、無効なエントリをスキップする処理が必要になる。具体的には復号部では、コード番号を復号した後、逆変換可変テーブルDecTableのエントリを発生確率の高い順、すなわち、番号が小さい方から大きい方にむけて順にスキャンする。エントリの内容が双予測である、すなわち、２つの予測リストを用いる場合には無効であるのでスキップし、有効である場合のみをカウントする。このカウント値が復号したコード番号に一致する場合に、このカウント値のエントリのパラメータを復号すべきcombined_inter_pred_ref_idxの値とする。また、逆変換可変テーブルDecTableの更新は、無効なカウントを含めたカウント値をコード番号とみなして行われる
。具体的には図４１の動作を行う。図４１は、逆変換可変テーブルを用いる場合のcombined_inter_pred_ref_idxの復号処理を示す擬似コードである。以下に、図４１に示す擬似
コードの各ステップＳについて説明する。なお、図４１では、コーディングスタイルの都合により、最大値MaxPredRefを、uiMaxValと表記している。また、NumPredRefLC、NumPredRefL0、および、NumPredRefL1は、それぞれ、uiValNumRefIdx0fLC、uiValNumRefIdx0fL0、および、uiValNumRefIdx0fL1と表記している。
Ｓ５０１：最大値MaxPredRefを得る。
Ｓ５０２：双予測制限を行う場合の最大値MaxPredRefとuiBipredValを得る。
Ｓ５０３：最大値MaxPredRefを引数としてunary復号処理xReadUnaryMaxSymbolを呼び出すことにより、コード番号tmpを得る。
Ｓ５０４：逆変換可変テーブルm_uiMITableDを用いてコード番号tmpからcombined_inter_
pred_ref_idxを得る。双予測制限を行わない場合はこの値が最終的なcombined_inter_pred_ref_idxの値である。
Ｓ５０５：双予測制限を行う場合においてコード番号からcombined_inter_pred_ref_idx
を得る処理に入る分岐である。
Ｓ５０６：後に、Ｓ５０９での判定に用いるため、双予測制限を行わない場合の最大値MaxPredRefを得る。
Ｓ５０７：仮のコード番号tmp2をループ変数として０から最大値MaxPredRefまで処理を行う。第２の仮のコード番号cxは０に処理化しておく。
Ｓ５０８：仮のコード番号tmp2を逆変換可変テーブルで変換して得られる仮のcombined_inter_pred_ref_idxの値xを得る。
Ｓ５０９：仮のcombined_inter_pred_ref_idxの値xが、有効範囲であるか否かを判定する。有効であるのは、双予測制限を行う場合の最大値uiBipredValを超えない場合と、双予
測制限を行わない場合の最大値MaxPredRefである場合である。
Ｓ５１０：第２の仮のコード番号cxが、復号したコード番号tmpに一致する場合にループ
を終了する。ループを終了する時点の仮のコード番号tmp2は、双予測制限を行わない場合のコード番号に対応する。よって、コード番号tmpに代入する。
Ｓ５１１：第２の仮のコード番号cxをインクリメントする。
Ｓ５１２：ループを終了した時点の仮のcombined_inter_pred_ref_idxの値xをcombined_inter_pred_ref_idxの復号値として得る。
Ｓ５１３：双予測制限を行わない場合のコード番号tmpを用いて、逆変換可変テーブルを
更新する処理adaptCodewordを呼び出す。
なお、図４２は、可変テーブルを用いる場合のcombined_inter_pred_ref_idxの符号化
処理を示す擬似コードである。
以上、小ＰＵサイズの処理量削減方法として、基本インターＰＵの双予測制限（インター予測フラグ、結合インター予測参照インデックスの復号方法の変更）、マージＰＵの双予測制限（マージ候補導出における双単予測変換）、双予測マージ候補算出のスキップを説明したが、これら制限を単独で用いる、もしくは、これら制限を行うＰＵサイズを各々異なる値としても良い。図５２、図５３は、双予測の処理量低減の例を示すものである。なお、図中の○はその処理を行うことを示し、図中の×はその処理を行わないことを示す。
図５２の（ａ）は、４ｘ４、４ｘ８、４ｘ８のサイズのＰＵに対して、一様に、基本インターＰＵの双予測制限、マージＰＵの双予測制限、双予測マージ候補導出のスキップを適用する例である。図５２の（ｂ）、（ｃ）は、マージＰＵの双予測制限、双予測マージ候補導出のスキップは行わず基本インターＰＵにのみ双予測制限を行う例である。一般にマージＰＵの双予測制限を行うと符号化効率の低下が生じる場合があるため、基本インターＰＵにのみ双予測制限を行う例は適当である。
図５２の（ｄ）は、４ｘ４、４ｘ８、４ｘ８のサイズのＰＵに対して、一様に、基本インターＰＵの双予測制限、８ｘ８のサイズのＰＵに対してマージＰＵの双予測制限、双予測マージ候補導出のスキップを適用する例である。基本インターＰＵの双予測制限に比べ、マージＰＵの双予測制限を緩くすることは符号化効率上適当である。
図５３の（ａ）は、４ｘ４、４ｘ８、４ｘ８、８ｘ８に対して、基本インターＰＵの双予測制限と双予測マージ候補導出のスキップを適用する例である。マージＰＵの双予測制限は行わないが、マージＰＵの動き補償パラメータとして用いられるマージ候補導出を簡略化することにより、マージＰＵにおける双予測関連の処理量を低下させることができる。図５３の（ｂ）は、４ｘ４、４ｘ８、４ｘ８、８ｘ８に対して、双予測マージ候補導出
のスキップを適用する例である。このように、双予測マージ候補導出のスキップを単独で用いることもできる。
このような場合の実現には、判定方法を別のフラグで管理すればよい。例えば、各用予測制限を行うことを示すフラグDisableBiPredFlag、DisableBiPredMerge、DisableBiPredMergeDeriveを設け、以下に示す動作によりこれらが可能である。
例えば、双予測制限PU判定部１２１８では、３つのフラグDisableBiPredFlag、DisableBiPredMerge、DisableBiPredMergeDeriveを各々導出する。図５２の（ｄ）に示す例であ
れば、以下で導出できる。
DisableBiPredFlag = (log2CUSize == 3 && PU分割タイプ!= 2Nx2N) ? true : false
DisableBiPredMerge、DisableBiPredMergeDerive ＝((log2CUSize == 4 && PU分割タイプ== NxN) || log2CUSize < 4) ? true : false
インター予測フラグ復号部１０２８では、DisableBiPredFlagが真の場合に、インター予
測フラグ、結合インター予測参照インデックスの復号方法の変更を行う。
マージ動き補償パラメータ導出部１２１２では、DisableBiPredMergeが真の場合に、マージ候補導出において、双単予測変換部１２１９を用いて双単予測変換を行う。
マージ動き補償パラメータ導出部１２１２では、DisableBiPredMergeDeriveが真の場合に、マージ候補導出において、双予測マージ候補導出のスキップを行う。
動き補償パラメータ導出部１２１が、小ＰＵサイズ１２３Ａを参照して双予測制限を行うことによる作用・効果は以下のとおりである。双予測は、単予測よりも処理量が大きく、また小サイズのＰＵは、大サイズのＰＵに比べて単位面積あたりの処理量が大きい。従って、小サイズのＰＵにおける双予測は、処理のボトルネックとなりかねない。このため、小サイズのＰＵでは、双予測を抑制することで、処理量が過度に増大することを抑えることができる。とくに、最も小さいサイズのＰＵを処理するような最悪ケースの処理量を抑制することができる。
なお、インター予測フラグについて補足しておくと次のとおりである。非特許文献１では、インター予測フラグ（ｉｎｔｅｒ＿ｐｒｅｄ＿ｆｌａｇ）は、基本的には、双予測か単予測かを選択するフラグとなっている。しかし、コンバインドリストを使用せず、後方予測禁止フラグが禁止でない場合には、単予測に用いる参照フレームリストとしてＬ０、Ｌ１のいずれかを選択するためのフラグをｉｎｔｅｒ＿ｐｒｅｄ＿ｆｌａｇにより送信する場合もある。
［作用・効果］
本発明は以下のとおり表現することもできる。すなわち、本発明の一態様に係る画像復号装置は、予測単位内の画像を、１枚の参照画像を参照する単予測、及び、２枚の参照画像を参照する双予測の何れかの画面間予測の予測方式によって復元する画像復号装置において、上記画面間予測が適用される、所定サイズ以下のサイズの予測単位である対象予測単位について、双予測を行うことを制限する双予測制限手段を備える構成である。
上記制限を行うことで、復号処理のボトルネックになるような処理の処理量を低減することができるという効果を奏する。
［２−３−２］双予測の制限を行うサイズの決定
以下では、図５８〜図７０を用いて、双予測の制限を行うサイズを決定するための構成に
ついて開示する。
（レベル規制）
まず、図５８および図５９を用いて、Ｈ．２６４／ＡＶＣにおけるレベル規制（level limit）について説明する。図５８および図５９は、Ｈ．２６４／ＡＶＣにおけるレベル規
制を定義するテーブルである。
図５８を参照しながら、レベル規制について説明する。レベル規制におけるレベルとは、デコーダの性能や、ビット・ストリームの複雑さを規定するものである。
レベルは、整数部と、非整数部とにより指定される。整数部のレベルは、主として、取り扱う画像の解像度に応じた大まかな区分を表している。図５８に示すように、整数には、１〜５までの数が指定される。レベル１、レベル２、およびレベル３は、それぞれＱＩＣＦ、ＣＩＦ、ＳＤＴＶ（標準テレビ）の解像度に対応している。
また、レベル４は、ＨＤＴＶ（高精細テレビ）の解像度に対応している。そして、レベル５は、スーパーＨＤＴＶの解像度への対応している。
また、図５８に示すように、各整数レベルでは、さらに、非整数部によって、中間レベルが指定される場合がある（ＣＯＬ５８１で示す“Ｌｅｖｅｌ ｎｕｍｂｅｒ”の項目を
参照）。
これらのレベル指定に対し、デコーダの性能や、ビット・ストリームの複雑さを表すパラメータが定義される。
図５８に示す表に規定されるパラメータは、Ｌｅｖｅｌ ｎｕｍｂｅｒ（ＣＯＬ５８１
）から、表中、右側に向けて順に、ＭａｘＭＢＰＳ、ＭａｘＦＳ、ＭａｘＤＰＢ、ＭａｘＢＲ、ＭａｘＣＰＢ、ＭａｘＶｍｖＲ、ＭｉｎＣＲ、ＭａｘＭｖｓＰｅｒ２Ｍｂである。
ここで、参照番号ＣＯＬ５８２で示すＭａｘＦＳについて、説明すると次のとおりである。ＭａｘＦＳは、最大のフレーム・サイズを、マクロブロックの数（ＭＢｓ）で規定するものである。
例えば、レベル２．２および３では、ＭａｘＦＳ＝１６２０である。また、レベル３．１では、ＭａｘＦＳ＝３６００であり、レベル３．２では、ＭａｘＦＳ＝５１２０である。
画面サイズには、４８０ｐ、７２０ｐ、１０８０ｐ、４ｋなどがあるが、これらの画面サイズが、どのレベルで処理可能かは、ＭａｘＦＳにより定まる。
１つのマクロブロックは、１６×１６＝２５６画素から構成される。よって、例えば、４８０ｐ（７２０×４８０）に含まれるマクロブロックの数は、７２０×４８０／２５６＝１３５０（ＭＢｓ）である。上述のとおりレベル２．２では、ＭａｘＦＳ＝１６２０であるので、４８０ｐを処理することが可能である。
また、例えば、７２０ｐ（１２８０×７２０）については、１フレームあたり１２８０×７２０／２５６＝３６００（ＭＢｓ）のマクロブロックを処理できればよい。よって、レベル３．１および３．２では、７２０ｐを処理することが可能である。なお、画像サイズの処理能力の計算において、１６で割り切れない画像サイズが対象となる場合、画像サイズを１６で割り切れる値に切り上げて計算が行われる。例えば、「１０８０ｐ」は１９
２０ｘ１０８８に相当する画面としてマクロブロック分割されてから計算が行われる。
以下、図５８において、４〜５．１の各レベルにおいて処理可能な画面サイズを、表の右側に示している。
レベル４〜４．２では、１０８０ｐを処理可能である。また、レベル５では、ＰＣディスプレイで使用されるサイズである２５６０ｘ１６００が処理可能である。また、レベル５．１では、４ｋが処理可能である。
なお、図５９において参照番号ＣＯＬ５９１に示すように、レベル３．１以上（７２０ｐ以上の画面サイズ）においては、輝度の双予測が許容される最小のブロックサイズは、８×８である（ＭｉｎＬｕｍａＢｉＰｒｅｄＳｉｚｅ）。つまり、レベル３．１以上では、サブマクロブロック単位（８×４、４×８、および４×４）での双予測は禁止される。
Ｈ．２６４／ＡＶＣにおけるマクロブロックは、ＨＥＶＣでは、ＣＵ、ＴＵおよびＰＵに相当する単位である。
ところで、Ｈ．２６４／ＡＶＣでは双予測のみが制限されているが、小サイズのＰＵでは単予測においても、動き補償のためのフィルタ処理に必要な処理量および参照画素の転送量が大きくなる。従って、小ＰＵサイズの双予測制限と同時に、小ＰＵサイズの制限が適当である。なお、レベルが大きくなるにつれて、基本的に使用される解像度（画像サイズ）が大きくなるが、解像度が大きくなるほど処理量および転送量が厳しくなる。同時に解像度が大きい場合は、オブジェクトサイズもそれに応じて大きくなるため（動きの空間相関が大きくなるため）、比較的大きなＰＵだけでも高い符号化効率が実現できる。逆に符号化効率の大きな低下なく、小ＰＵサイズの使用、および、小ＰＵサイズでの双予測を制限できるようになる。解像度は基本的にレベルに対応するため、レベルに応じて、制約を設けたいＰＵサイズおよび双予測の制限を行いたい予測単位（ＰＵ）は異なる。例えば、ｌｅｖｅｌ ３．１（７２０Ｐ）では、４×４ＰＵに制約を設けるとともに、８×４Ｐ
Ｕ、および４×８ＰＵにおいて双予測の制限を行うことが好ましい。また、ｌｅｖｅｌ
５（２５６０×１６００相当および４ｋ相当）では、８×４ＰＵおよび４×８ＰＵに制約を設けるとともに、８×８ＰＵにおいて双予測の制限を行うことが好ましい。
また、ＨＥＶＣでは、後述する符号化データ中の値log2_min_coding_block_size_minus3により、最小のＣＵサイズを制御できるが、最小のＣＵサイズを小さくする目的は、処
理量および転送量の削減であるから、処理量および転送量に大きな影響を与える双予測も同時に制限することが適当である。また、制限したい処理量および転送量の度合いは、最小のＣＵサイズ毎に代わることから、最小のＣＵサイズに応じて、双予測の制限を適応的に変更することが好ましい。図６０を用いて、適応的な制約・制限の例について説明する。図６０の（ａ）は、１６×１６ＣＵの場合の双予測の制限を例示している。また、図６０の（ｂ）は、８×８ＣＵの場合の双予測の制限を例示している。図６０の（ａ）に例示するように、１６×１６ＣＵについては、１６×１６ＰＵ、１６×８ＰＵ、８×１６ＰＵ、および８×８ＰＵ等を取り得る。ここで、１６×１６ＰＵ、１６×８ＰＵ、８×１６ＰＵには双予測制限を行わない一方で、８×８ＰＵには双予測制限を行う。
また、図６０の（ｂ）に例示するように、８×８ＣＵについては、８×８ＰＵ、８×４ＰＵ、および４×８ＰＵを取り得る。ここで、８×８ＰＵには双予測制限を行わない一方で、８×４ＰＵ、および４×８ＰＵには双予測制限を行う。
（レベル規制による符号化データの制限）
図６０に示したような適応的な制約・制限は、動画像復号装置１に特別な構成を施さずと
も、レベルに応じて、符号化データを復号する際に導出される動き補償パラメータの値を制限するレベル規制によっても実現することができる。図８４は、本発明のレベル規制の一例である。図８４のテーブル中の、MaxLog2MinCUSize、MinPUSize、およびMinBipredPUSizeは、各々、最小ＣＵサイズの対数値、最小ＰＵサイズ、および最小双予測ＰＵサイズであり、特定レベルにおいて使用可能なＣＵサイズおよびＰＵサイズの最小値を示す。図８４のように、レベルlevel_idcが所定の閾値ＴＨ１未満である場合には、最小ＣＵサイ
ズの対数値、最小ＰＵサイズは各々３、４×４であり特に制限しない。最小双予測ＰＵサイズは８×４、４×８であり、４×４ＰＵの双予測を使用不可とする。続いて、レベルlevel_idcが所定の閾値ＴＨ１以上、所定の閾値ＴＨ２未満の場合には、最小ＣＵサイズの
対数値（最小ＰＵサイズの対数値）は、３であり特に制限しないが、最小ＰＵサイズは８×４、４×８とする。すなわち４×４ＰＵを使用不可とする。さらに、最小双予測ＰＵサイズは８×４、４×８であり、４×４ＰＵの双予測を使用不可とする。続いて、所定の閾値ＴＨ２以上の場合には、最小ＣＵサイズの対数値は４であり最小ＰＵサイズは８×８に制限する。すなわち、８×４ＰＵ、４×８ＰＵ、４×４ＰＵを使用不可とする。さらに、最小双予測ＰＵサイズは１６×８であり、８×８ＰＵの双予測を使用不可とする。なお、８×４ＰＵ、４×８ＰＵ、４×４ＰＵの双予測も最小ＰＵサイズ制限により使用不可である。なお、閾値ＴＨ１は７２０Ｐのラインであるレベル２．１、閾値ＴＨ２は、２５６０×１６００相当のラインであるレベル５とすることが適当であるが、他の閾値を用いても良い。
図８５は、本発明のレベル規制の別の例である。本例では、図８４の例とほぼ同一であるが、レベルlevel_idcが所定の閾値ＴＨ０未満である場合には、最小ＣＵサイズの対数
値、最小ＰＵサイズ、最小双予測ＰＵサイズは各々３、４×４、４×４であり全て制限を加えない。このように、制限を加えないレベルを設けても良い。なお、レベル規制は、符号化データの制限を行うだけ、すなわち、小ＰＵサイズにおける、インター予測フラグの復号のスキップ、マージ候補の双単変換、マージ候補導出における双予測マージ候補導出のスキップの一部、もしくは、全部を行わなくても良い。また逆に、小ＰＵサイズにおける、インター予測フラグの復号のスキップ、マージ候補の双単変換、マージ候補導出における双予測マージ候補導出のスキップの一部もしくは全部を併用しても良い。
［作用・効果］
本レベル規制によれば、使用可能なＰＵサイズと使用可能な双予測ＰＵサイズの両者をレベルに応じて制限するため、動き補償のためのフィルタ処理に必要な処理量および参照画素の転送量を適切に制限することができる。Ｈ．２６４／ＡＶＣにおけるレベル規制のように、使用可能な双予測ＰＵサイズだけを制限する場合には、使用可能なＰＵサイズの制限を行わないため、小ＰＵの場合に、単予測においても双予測の場合と同様に大きな処理量および転送量が必要となるという課題がある。すなわち、本レベル規制によれば、双予測に伴う処理量および転送量は制限されるが、単予測の処理量および転送量は制限されないというアンバランスがなくなる。
さらに、本レベル規制によれば、同じ閾値を用いて、使用可能なＰＵサイズと使用可能な双予測ＰＵサイズの両者をレベルに応じて切り替える。例えば、閾値ＴＨ１の前後で、最小ＰＵサイズMinPUSizeを変更する場合には、同じ閾値ＴＨ１を用いて最小双予測ＰＵ
サイズMinBipredPUSizeを変更する。このように、使用可能なＰＵサイズと使用可能な双
予測ＰＵサイズの閾値を同じ値を用いることで、特定のレベル以下の復号をサポートする動画像復号手段において、処理量および転送量を適切に制限することができる。また、どのレベルで必要な制限が変化するかが簡明となる。
さらに、本レベル規制によれば、以下の使用可能なＰＵサイズと使用可能な双予測ＰＵサイズとして以下の組み合わせを用いる。
４×４ＰＵ制限と８×４ＰＵ双予測制限
８×４ＰＵ制限と８×８ＰＵ双予測制限
本組み合わせのＰＵ制限および双予測制限は互いに同程度の処理量および転送量の制限を行うことになるので、バランスが良い。
（構成の説明）
まず、図６１に加えて、図６２〜図７０を参照しながら、双予測の制限を行うサイズを決定するための構成について説明する。図６１に示す構成は、図４３に示した構成において、双予測制限ＰＵ判定部１２１８を双予測制限ＰＵ判定部１２１８Ａに変更したものである。
双予測制限ＰＵ判定部１２１８Ａは、双予測限定条件を判定し、対象ＰＵにおいて双予測を用いない双予測制限を行うか否かを判定する。双予測制限ＰＵ判定部１２１８Ａは、スキップＣＵ及びマージＰＵの双予測制限を行うか否か、及び、基本インターＰＵの双予測制限を行うか否かを、独立に判定しても良い。
なお、マージの利用を制限する場合のように、スキップＰＵでインター予測フラグを復号する場合には、スキップＰＵ、マージＰＵ、基本インターＰＵの各々で双予測制限を行うか否かを、独立に判定することも可能である。
また、図４３に示した構成と同様、上記の構成では、スキップ動き補償パラメータ導出部１２１１において設定された双予測・単予測の設定を双単予測変換部１２１９Ａにおいて双予測制限ＰＵ判定部１２１８Ａに基づき判定する構成でもよい。また、これに限られず、例えば、双予測制限ＰＵ判定部１２１８Ａの判定結果を直接スキップ動き補償パラメータ導出部１２１１に入力し、双予測・単予測の設定を行う構成でも構わない。
双予測制限ＰＵ判定部１２１８Ａが行う双予測限定条件の判定は、エンコーダ側から設定された各種のフラグ・パラメータに基づいて行われる。双予測制限ＰＵ判定部１２１８Ａは、具体的には、以下の（１Ａ）〜（１Ｅ）に例示するように構成することが可能である。以下において、（１Ａ）〜（１Ｅ）の各構成例について、シンタックステーブルと、疑似コードとを示しながら説明する。なお、レベル規制と各構成例は対立するものではなく、併用することも可能である。
（１Ａ）双予測制限を行うか否かを示すフラグを設けて、双予測制限のサイズを直接指定する
［シンタックステーブル］
図６２を用いて、双予測制限に関するシンタックステーブルの一例について説明する。図６２は、双予測制限に関するシンタックステーブルの一例を示す図である。図６２に示すように、符号化データのシーケンスパラメータセットのＲＢＳＰ（Raw Byte Sequence Payload）では、log2_min_coding_block_size_minus3（ＳＹＮ６２１）、inter_4x4_enabled_flag（ＳＹＮ６２２）、restrict_bipred_flag（ＳＹＮ６２３）、および、log2_min_bipred_coding_block_size_minus3（ＳＹＮ６２５）が符号化される。
log2_min_coding_block_size_minus3は、最小ＣＵサイズを決定するフラグである。log2_min_coding_block_size_minus3には、指定したい最小ＣＵサイズの対数値から３を差し引いた値が格納される。例えば、最小ＣＵサイズが８×８の場合、log2_min_coding_block_size_minus3 = 0であり、最小ＣＵサイズが１６×１６の場合、log2_min_coding_block_size_minus3 = 1である。
inter_4x4_enabled_flagは、その名称のとおり、インター４×４ＰＵを禁止するフラグである。
log2_min_coding_block_size_minus3およびinter_4x4_enabled_flagは、各々、最小Ｃ
Ｕサイズの対数値Log2MinCUSizeと４×４ＰＵ使用可能性を示し、使用可能なＰＵのサイ
ズを制約する。最小ＣＵサイズの対数値Log2MinCUSizeは、log2_min_coding_block_size_minus3＋３により導出される。例えば、Log2MinCUSize=3の場合には最小ＣＵサイズは８
×８であり、Log2MinCUSize=4の場合には最小ＣＵサイズは１６×１６になる。最小ＣＵ
サイズが８×８の場合には、最小ＣＵを分割して得られるＰＵである、８×４ＰＵ、４×８ＰＵ、４×４ＰＵが使用可能である。但し、inter_4x4_enabled_flagが０の場合には４×４ＰＵは使用不可となる。
また、例えば、Log2MinCUSize=4（log2_min_coding_block_size_minus3=1）のとき、すなわち、最小ＣＵサイズが１６×１６ＣＵであるときには、８×８のＣＵサイズは使用できない。よって、８×８ＰＵは、使用可能であるが、８×８を分割してのみ得られるＰＵである８×４ＰＵ、４×８ＰＵ、４×４ＰＵは、使用不可となる。
restrict_bipred_flagおよびlog2_min_bipred_coding_block_size_minus3は、双予測制限に関する情報である。
restrict_bipred_flagは、双予測を制限すべきか否かを示すフラグである。このフラグの値は、動画像符号化装置２において、レベルに応じて決定される。restrict_bipred_flagが、“１”である場合、双予測の制限をすることを示す。また、restrict_bipred_flagが、“０”である場合、双予測の制限をしないことを示す。
log2_min_bipred_coding_block_size_minus3は、双予測制限を行う最小のＣＵサイズ（以下、最小双予測制限ＣＵサイズと称する）を直接指定するものである。log2_min_bipred_coding_block_size_minus3におけるサイズの指定の仕方は、log2_min_coding_block_size_minus3と同様である。また、log2_min_bipred_coding_block_size_minus3は、restrict_bipred_flagが符号化されている場合に復号される（ＳＹＮ６２５）。
［疑似コード］
続いて、図６３に示す疑似コードを用いて、双予測制限ＰＵ判定部１２１８Ａの動作について説明する。以下に、図６３に示す擬似コードの各ステップＳについて説明する。
Ｓ６３１：双予測制限ＰＵ判定部１２１８Ａは、restrict_bipred_flagが“０”か否かを判定する。
Ｓ６３２：restrict_bipred_flagが“０”である場合、双予測制限ＰＵ判定部１２１８Ａは、DisableBipred変数に、“０”を設定する。DisableBipred変数は、双予測の制限を行うか否かを示す変数である。DisableBipred変数に、“０”が設定されている場合、双
予測の制限は行れない。DisableBipred変数に、“１”が設定されている場合、双予測の
制限が行れる。
Ｓ６３３：一方、restrict_bipred_flagが“０”でない場合、双予測制限ＰＵ判定部１２１８Ａは、さらにLog2MinBipredCUSizeが“３”であるか否かを判定する。なお、ここ
で、Log2MinBipredCUSize = log2_min_bipred_coding_block_size_minus3 + 3である。すなわち、Ｓ６３３では、双予測制限を行う最小ＣＵサイズが８×８ＣＵであるか否かを判定している。
Ｓ６３４：Log2MinBipredCUSizeが“３”である場合、双予測制限ＰＵ判定部１２１８
Ａは、DisableBipred変数を次のように設定する。
ＣＵサイズの対数値（log2CUSize）が、Log2MinBipredCUSize（=3）と一致しており、
かつ、ＰＵのモードが、２Ｎ×２Ｎ以外のモードのＰＵについて双予測を制限する。
すなわち、Ｓ６３４では、最小双予測制限ＣＵサイズが８×８ＣＵの場合、８×８ＣＵについて、８×８ＰＵ以外（２Ｎ×２Ｎ）のＰＵにおける双予測を制限する。
なお、Ｓ６３４において、“＆＆”の演算子は、論理積を示している。すなわち、“＆＆”の左項においては、対象ブロックのＣＵサイズの対数値（log2CUSize）が、Log2MinBipredCUSize（ここでは、“3”）と一致するか否かを判定している。また、“＆＆”の右項においては、ＰＵのモード（ＰａｒｔＭｏｄｅ）が、２Ｎ×２Ｎでないことを判定している。なお、“！＝”は、「等しくない」関係を示す関係演算子である。
Ｓ６３５：一方、Log2MinBipredCUSizeが“３”でない場合、双予測制限ＰＵ判定部１
２１８Ａは、DisableBipred変数を次のように設定する。
ＣＵサイズの対数値（log2CUSize）が、Log2MinBipredCUSizeと一致しており、かつ、
ＰＵのモードが、Ｎ×ＮであるＰＵ（最小ＰＵ）について双予測を制限する。
すなわち、Ｓ６３５では、最小双予測制限ＣＵサイズが８×８以外（例えば、１６×１６）の場合には、最小双予測制限ＣＵサイズと一致するサイズのＣＵについて、最小ＰＵ（Ｎ×Ｎ）における双予測を制限している。図中、“Ｂを制限する”と記載しているのは、“双予測（Bi-predictive prediction）を制限する”の意味である。
なお、Ｓ６３５は、次のＳ６３５’のように変形しても構わない。
Ｓ６３５’：Log2MinBipredCUSizeが“３”でない場合、双予測制限ＰＵ判定部１２１
８Ａは、DisableBiPred変数を次のように設定する。
「ＣＵサイズの対数値（log2CUSize）が、Log2MinBipredCUSizeと一致しており、かつ
、ＰＵのモードが、Ｎ×Ｎである場合」または、「ＣＵサイズの対数値（log2CUSize）が、Log2MinBipredCUSizeよりも小さい場合」に、双予測を制限する。
Ｓ６３５’では、Ｓ６３５における制限に加えて、最小双予測制限ＣＵサイズよりも小さいＣＵサイズの場合、すべてのモードについて双予測を制限する。
［作用・効果］
本構成例では、動画像符号化装置２の意図（符号化データに含まれる情報）に合わせて適応的に双予測制限を行うことができる。
動画像符号化装置２は、例えば、動画像の解像度や動画像復号装置１の性能に合わせて、双予測制限に関する情報を符号化すればよい。
これにより、動画像復号装置１において、動画像の解像度や動画像復号装置１の性能に合わせて、双予測制限に関する細かい調整が可能となる。
（１Ｂ）双予測制限に関する追加のフラグを設けないで、最小ＣＵサイズに連動して双予測制限のサイズを決定する
［シンタックステーブル］
図６４を用いて、双予測制限に関するシンタックステーブルの他の例について説明する。図６４は、双予測制限に関するシンタックステーブルの他の例を示す図である。図６４に示すように、符号化データのシーケンスパラメータセットのＲＢＳＰでは、log2_min_coding_block_size_minus3が符号化されていればよい（ＳＹＮ６４１）。
［疑似コード］
続いて、図６５に示す疑似コードを用いて、双予測制限ＰＵ判定部１２１８Ａの動作について説明する。以下に、図６５に示す擬似コードの各ステップＳについて説明する。
Ｓ６５１：双予測制限ＰＵ判定部１２１８Ａは、Log2MinCUSizeが“３”であるか否か
を判定する。ここで、Log2MinCUSize = log2_min_coding_block_size_minus3 + 3である
。すなわち、Ｓ６５１では、最小ＣＵサイズが８×８ＣＵであるか否かを判定している。
Ｓ６５２：Log2MinCUSizeが“３”である場合、双予測制限ＰＵ判定部１２１８Ａは、DisableBipred変数を次のように設定する。
ＣＵサイズの対数値（log2CUSize）が、Log2MinCUSize（=3）と一致しており、かつ、
ＰＵのモードが、２Ｎ×２Ｎ以外のモードのＰＵについて双予測を制限する。
すなわち、Ｓ６５２では、ＣＵサイズが８×８ＣＵの場合、最小ＣＵサイズと一致するサイズのＣＵについて、８×８ＰＵ以外（２Ｎ×２Ｎ）のＰＵにおける双予測を制限する。
Ｓ６５３：一方、Log2MinCUSizeが“３”でない場合、双予測制限ＰＵ判定部１２１８
Ａは、DisableBipred変数を次のように設定する。
ＣＵサイズの対数値（log2CUSize）が、Log2MinCUSizeと一致しており、かつ、ＰＵの
モードが、Ｎ×ＮであるＰＵ（最小ＰＵ）について双予測を制限する。
すなわち、Ｓ６５３では、最小ＣＵサイズが、８×８以外（例えば、１６×１６）の場合、最小ＣＵサイズと一致するサイズのＣＵについて、最小ＰＵ（Ｎ×Ｎ）における双予測を制限している。
［作用・効果］
本構成例では、最小ＣＵサイズに合わせて、双予測の制限を行う。よって、双予測制限に関する情報を追加で符号化することなく双予測の制限が可能となる。
（１Ｃ）双予測制限を行うか否かを示すフラグを設けて、最小ＣＵサイズに連動して双予測制限のサイズを決定する
［シンタックステーブル］
図６６を用いて、双予測制限に関するシンタックステーブルの別の例について説明する。図６６は、双予測制限に関するシンタックステーブルの別の例を示す図である。図６６に示すように、符号化データのシーケンスパラメータセットのＲＢＳＰでは、log2_min_coding_block_size_minus3（ＳＹＮ６６１）、restrict_bipred_flag（ＳＹＮ６６３）を符
号化する。なお、符号化データのシーケンスパラメータセットのＲＢＳＰにおいて、inter_4x4_enabled_flagが符号化されていてもよい（ＳＹＮ６６２）。
［疑似コード］
続いて、図６７に示す疑似コードを用いて、双予測制限ＰＵ判定部１２１８Ａの動作につ
いて説明する。以下に、図６７に示す擬似コードの各ステップＳについて説明する。
Ｓ６７１：双予測制限ＰＵ判定部１２１８Ａは、restrict_bipred_flagが“０”か否かを判定する。
Ｓ６７２：restrict_bipred_flagが“０”である場合、双予測制限ＰＵ判定部１２１８Ａは、DisableBipred変数に、“０”を設定する。
Ｓ６７３：一方、restrict_bipred_flagが“０”でない場合、双予測制限ＰＵ判定部１２１８Ａは、さらにLog2MinCUSizeが“３”であるか否かを判定する。
Ｓ６７４：Log2CUMinSizeが“３”である場合、双予測制限ＰＵ判定部１２１８Ａは、DisableBipred変数を次のように設定する。
ＣＵサイズの対数値（log2CUSize）が、Log2MinCUSize（=3）と一致しており、かつ、
ＰＵのモードが、２Ｎ×２Ｎ以外のモードのＰＵについて双予測を制限する。
すなわち、Ｓ６７４では、Ｓ６５２と同様、ＣＵサイズが８×８ＣＵの場合、最小ＣＵサイズと一致するサイズのＣＵについて、８×８ＰＵ以外（２Ｎ×２Ｎ）のＰＵにおける双予測を制限する。
Ｓ６７５：Log2MinCUSizeが“３”でない場合、双予測制限ＰＵ判定部１２１８Ａは、DisableBipred変数を次のように設定する。
ＣＵサイズの対数値（log2CUSize）が、Log2MinCUSizeと一致しており、かつ、ＰＵの
モードが、Ｎ×ＮであるＰＵ（最小ＰＵ）について双予測を制限する。
すなわち、Ｓ６７５では、Ｓ６５３と同様、最小ＣＵサイズが、８×８以外（例えば、１６×１６）の場合、最小ＣＵサイズと一致するサイズのＣＵについて、最小ＰＵ（Ｎ×Ｎ）における双予測を制限している。
［作用・効果］
本構成例では、双予測制限を行うか否かを示すフラグの判定に応じて、最小ＣＵサイズに合わせて、双予測の制限を行う。よって、最小双予測制限ＣＵサイズを直接指定する双予測制限に関する情報については、追加で符号化することなく双予測の制限が可能となる。本構成例では、使用可能なＰＵサイズと使用可能な双予測ＰＵサイズの両者を同じLog2MinCUSizeフラグによって制御するため、双予測に伴う処理量および転送量と、単予測に伴
う処理量および転送量をバランスよく制限することができる。
なお、本構成例は、以下に示す（１Ｃ’）のように変形してもよい。
（１Ｃ’）１Ｃにおいて、双予測制限を行うか否かを示すフラグを３値のフラグに変更する
以下では、図６８に示す疑似コードを用いて、１Ｃにおいて、restrict_bipred_flagを３値フラグとする変形例について説明する。本変形例では、restrict_bipred_flagは、０、１、および、これら以外の値（例えば、２）を取り得るものとする。以下に、図６７に示す擬似コードの各ステップＳについて説明する。
Ｓ６８１：restrict_bipred_flagが“０”である場合、双予測制限ＰＵ判定部１２１８Ａは、DisableBipred変数に、“０”を設定する。
Ｓ６８２：restrict_bipred_flagが“１”である場合、双予測制限ＰＵ判定部１２１８Ａは、DisableBipred変数を次のように設定する。
「ＣＵサイズの対数値（log2CUSize）が、Log2MinCUSizeと一致しており、かつ、ＰＵ
のモードが、２Ｎ×２Ｎ以外である場合」または、「ＣＵサイズの対数値（log2CUSize）が、Log2MinCUSizeよりも小さい場合」に、双予測を制限する。
Ｓ６８２：restrict_bipred_flagが、上記以外の値である場合（例えば、“２”の場合）、双予測制限ＰＵ判定部１２１８Ａは、DisableBipred変数を次のように設定する。
「ＣＵサイズの対数値（log2CUSize）が、Log2MinCUSizeと一致しており、かつ、ＰＵ
のモードが、Ｎ×Ｎである場合」または、「ＣＵサイズの対数値（log2CUSize）が、Log2MinCUSizeよりも小さい場合」に、双予測を制限する。
［作用・効果］
本変形例によれば、restrict_bipred_flagを３値フラグとして構成しているので、双予測制限に関するより細かい調整を実現することができる。
例えば、１６×１６ＣＵにおいて、８×８ＰＵにおける双予測制限のみを行うことや、８×８ＰＵ、１６×８ＰＵ、および８×１６ＰＵにおける双予測制限を行うことができる。このように、本変形例によれば、双予測制限に関し、幅広い選択肢を提供することができる。
（１Ｄ）双予測制限を行うか否かを示すフラグが、インター４×４ＰＵを禁止することを示すフラグを兼ねる
［シンタックステーブル］
図６９を用いて、双予測制限に関するシンタックステーブルのさらに別の例について説明する。図６９は、双予測制限に関するシンタックステーブルのさらに別の例を示す図である。図６９に示すように、符号化データのシーケンスパラメータセットのＲＢＳＰでは、log2_min_coding_block_size_minus3（ＳＹＮ６９１）およびrestrict_motion_compensation_flag（ＳＹＮ６９２）が符号化される。
ここで、図６６に示した（１Ｃ）のシンタックステーブルと、図６９に示す（１Ｄ）のシンタックステーブルとの比較を行うと次のとおりである。
すなわち、本構成例に係る符号化データのシーケンスパラメータセットのＲＢＳＰでは、図６６に示すinter_4x4_enabled_flag（ＳＹＮ６６２）およびrestrict_bipred_flag（ＳＹＮ６６３）に替えて、restrict_motion_compensation_flag（ＳＹＮ６９２）が符号
化される。
restrict_motion_compensation_flagは、!inter_4x4_enabled_flag（“！”は、論理否定の論理演算子を表す）およびrestrict_motion_compensation_flagを共通化したもので
ある。すなわち、restrict_motion_compensation_flagは、インター４×４を禁止するか
否かを示すフラグでもあり、双予測を制限すべきか否かを示すフラグでもある。
［疑似コード］
続いて、図７０に示す疑似コードを用いて、双予測制限ＰＵ判定部１２１８Ａの動作について説明する。以下に、図７０に示す擬似コードの各ステップＳについて説明する。
Ｓ７０１：双予測制限ＰＵ判定部１２１８Ａは、restrict_motion_compensation_flag
が“０”か否かを判定する。
Ｓ７０２：restrict_motion_compensation_flagが“０”である場合、双予測制限ＰＵ
判定部１２１８Ａは、DisableBipred変数に、“０”を設定する。
Ｓ７０３：一方、restrict_motion_compensation_flagが“０”でない場合、双予測制
限ＰＵ判定部１２１８Ａは、さらにLog2MinCUSizeが“３”であるか否かを判定する。
Ｓ７０４：Log2CUSizeが“３”である場合、双予測制限ＰＵ判定部１２１８Ａは、DisableBipred変数を次のように設定する。
ＣＵサイズの対数値（log2CUSize）が、Log2MinCUSize（=3）と一致しており、かつ、
ＰＵのモードが、２Ｎ×２Ｎ以外のモードのＰＵについて双予測を制限する。
すなわち、Ｓ７０４では、Ｓ６７４と同様、ＣＵサイズが８×８ＣＵの場合、最小ＣＵサイズと一致するサイズのＣＵについて、８×８ＰＵ以外（２Ｎ×２Ｎ）のＰＵにおける双予測を制限する。
Ｓ７０５：Log2CUSizeが“３”でない場合、双予測制限ＰＵ判定部１２１８Ａは、DisableBipred変数を次のように設定する。
ＣＵサイズの対数値（log2CUSize）が、Log2MinCUSizeと一致しており、かつ、ＰＵの
モードが、Ｎ×ＮであるＰＵ（最小ＰＵ）について双予測を制限する。
すなわち、Ｓ７０５では、Ｓ６７５と同様、最小ＣＵサイズが、８×８以外（例えば、１６×１６）の場合、最小ＣＵサイズと一致するサイズのＣＵについて、最小ＰＵ（Ｎ×Ｎ）における双予測を制限している。
［作用・効果］
本構成例では、双予測制限を行うか否かを示すフラグが、インター４×４ＰＵを禁止することを示すフラグを兼ねる。本構成例によれば、フラグの数を削減することができ、比較的簡易に双予測の制限を実現することができる。
（１Ｅ）レベルの値に基づいて双予測制限のサイズを決定する
［シンタックステーブル］
図６４のシンタックステーブルを用いる。図６４に示すように、符号化データのシーケンスパラメータセットのＲＢＳＰでは、level_idcが符号化されていればよい（ＳＹＮ６４
２）。
［疑似コード］
続いて、図８６に示す疑似コードを用いて、双予測制限ＰＵ判定部１２１８Ａの動作について説明する。以下に、図８６に示す擬似コードの各ステップＳについて説明する。
Ｓ８６１：双予測制限ＰＵ判定部１２１８Ａは、レベルlevel_idcの値が所定の閾値Ｔ
Ｈ１未満であるか否かを判定する。
Ｓ８６２：レベルlevel_idcの値がＴＨ１未満である場合、双予測制限ＰＵ判定部１２
１８Ａは、特に処理は行わない。
Ｓ８６３：一方、レベルlevel_idcの値がＴＨ１未満でない場合、双予測制限ＰＵ判定
部１２１８Ａは、さらにレベルlevel_idcの値が所定の閾値ＴＨ２未満か否かを判定する
。
Ｓ８６４：レベルlevel_idcの値がＴＨ２未満である場合、双予測制限ＰＵ判定部１２
１８Ａは、DisableBipred変数を次のように設定する。
ＣＵサイズの対数値（log2CUSize）が、Log2MinCUSize（=3）と一致しており、かつ、
ＰＵのモードが、２Ｎ×２Ｎ以外のモードのＰＵについて双予測を制限する。
すなわち、Ｓ８６４では、最小ＣＵサイズである８×８のＣＵについて、８×８ＰＵ以外（２Ｎ×２Ｎ）のＰＵにおける双予測を制限する。
Ｓ８６５：レベルlevel_idcの値がＴＨ２未満でない場合、双予測制限ＰＵ判定部１２
１８Ａは、DisableBipred変数を次のように設定する。
ＣＵサイズの対数値（log2CUSize）が、Log2MinCUSize（=4）と一致しており、かつ、
ＰＵのモードが、Ｎ×ＮであるＰＵ（最小ＰＵ）について双予測を制限する。
すなわち、Ｓ８６５では、最小ＣＵサイズが、８×８以外（例えば、１６×１６）の場合、最小ＣＵサイズと一致するサイズのＣＵについて、最小ＰＵ（Ｎ×Ｎ）における双予測を制限している。なお、Ｓ８６４およびＳ８６５において、双予測制限ＰＵ判定部１２１８Ａは、レベルlevel_idcの値に応じて、図８４のテーブルのMaxLog2MinCUSizeを参照
して、Log2MinCUSizeを決定してもよい。例えば、図８４に示すように、レベルlevel_idcの値がＴＨ１以上、ＴＨ２未満である場合、MaxLog2MinCuSize=3であるので、Ｓ８６４において、双予測制限ＰＵ判定部１２１８Ａは、Log2MinCUSizeの値として、MaxLog2MinCuSize=3を用いることができる。Ｓ８６５においても同様に、双予測制限ＰＵ判定部１２１
８Ａは、Log2MinCUSizeの値として、MaxLog2MinCuSize=4を用いることができる。
［作用・効果］
本構成例では、レベルの値に応じて、双予測制限を行うサイズを変更する。本構成例によれば、双予測制限を行うフラグを用いることなく、レベルで示される目的の環境に合わせて双予測の制限を実現することができる。
以上の（１Ａ）〜（１Ｅ）に示したように構成することで、図６０に示したような、適応的な制約・制限を実現することができる。なお、図８４、図８５で示すように、符号化データの制限するレベル規制によっても、図６０に示したような、適応的な制約・制限を実現することができる。
［２−３−３］ 部分的な双予測制限を行うための構成
以下では、再び図６１を参照しながら、部分的な双予測制限を行うための構成について説明する。図６１に示す構成は、図４３に示した構成において、双単予測変換部１２１９を、双単予測変換部１２１９Ａに変更したものである。
双単予測変換部１２１９Ａは、導出されたマージ候補に対して、部分的な双予測制限を行う。より具体的には、以下に示すとおりである。
まず、双単予測変換部１２１９Ａは、隣接マージ候補導出部１２１２Ａ、時間的マージ候補導出部１２１２Ｂが導出したマージ候補を、それぞれ取得する。
そして、取得したマージ候補の動き補償パラメータが双予測を示しており、さらに、双予測制限ＰＵ判定部１２１８Ａにおいて双予測制限を行うと判定されている場合、双単予測変換部１２１９Ａは、取得したマージ候補の少なくとも一部について双予測を制限する。
ここで、取得したマージ候補から双予測を制限するマージ候補を選択する方法としては、先頭Ｎ個のマージ候補を選択する方法が挙げられる。双単予測変換部１２１９Ａは、例えば、隣接マージ候補から、先頭１つ、または、先頭２つのマージ候補（双予測）を選択してもよい。
また、隣接マージ候補から１つまたは２つ、及び、時間的マージ候補から１つを選択しても良い。８×８ＰＵの双予測においては、発明者らの実験により、時間的マージ候補を双単変換することが有用であるとの知見が得られているため、マージ候補のうち、双単変換を行うマージ候補に時間的マージ候補を含める構成は有効である。
つまり、双単予測変換部１２１９Ａは、選択したマージ候補に対して双単変換を行う。双単変換については上述したとおりであるので、ここではその説明を省略する。
［処理の流れ］
図７１を用いて、双単予測変換部１２１９Ａの処理の流れについて説明すると、以下のとおりである。図７１は、マージ動き補償パラメータ導出部１２１２および双単予測変換部１２１９Ａの処理の流れの一例について示すフローチャートである。
図７１に示すように、隣接マージ候補導出部１２１２Ａが隣接マージ候補を導出すると（Ｓ７１１）、双単予測変換部１２１９Ａが、導出された隣接マージ候補に対して双単変換処理を行う（Ｓ７１４）。Ｓ７１４では、双予測制限ＰＵ判定部１２１８Ａにおいて双予測制限を行うと判定されている場合、双単予測変換部１２１９Ａが、先頭Ｎ個の隣接マージ候補について双単変換処理を行う。なお、図７１の図中、点線は、Ｓ７１１〜Ｓ７１３の処理と、並行してＳ７１４が実行されることを示している。また、双単予測変換部１２１９Ａは、隣接マージ候補導出部１２１２Ａから、導出されたマージ候補を１つずつ逐次取得することとする。しかしながらこれに限られず、双単予測変換部１２１９Ａは、隣接マージ候補導出部１２１２Ａにおいて導出されるマージ候補すべてを一括で取得してもよい。
続いて、時間的マージ候補導出部１２１２Ｂ、時間的マージ候補を導出すると（Ｓ７１２）、双単予測変換部１２１９Ａが、導出された時間的マージ候補に対して双単変換処理を行う（Ｓ７１４）。このとき、Ｓ７１４では、双単予測変換部１２１９Ａが、先頭Ｎ個の時間的マージ候補について双単変換処理を行ってもよいし、すべての時間的マージ候補について双単変換処理を行ってもよいし、また、双単変換処理を省略してもよい。
そして、その他のマージ候補が導出され（Ｓ７１３）、双単予測変換部１２１９Ａにおける双単変換処理が完了すると処理は終了する。
［作用・効果］
双単予測変換部１２１９Ａは、隣接マージ候補導出部１２１２Ａから、逐次、隣接マージ候補を取得し、双予測制限が制限されている場合には、先頭Ｎ個のマージ候補について双単変換処理を行う。
上記構成によれば、一部のマージ候補について、双単変換処理を行うので、すべてのマージ候補について双単変換処理を行う場合に比べれば、双単変換処理の処理負荷が軽減さ
れる。また、少なくとも１つの時間的マージ候補において双単変換を行う構成とすれば、比較的大きいＰＵサイズである８×８ＰＵにおいて双予測制限を行った場合にも、８×８ＰＵの時間的マージ候補は単予測である、すなわち使用可能であることが保証されるため、符号化効率の低下を最小限に抑えることができる。また、マージ候補導出処理と、双単変換処理とを並行して実行するので、効率的に処理を行うことができる。
（変形例）
本構成の好ましい変形例１〜３を説明する。
（変形例１）
双単予測変換部１２１９Ａは、すべてのマージ候補が導出され、マージ候補リストが、マージ候補格納部１２１２Ｈに格納されてから、双単予測処理を行う構成であってもよい。
そこで、図７２に示すように構成変更する。図７２に示す構成は、図６１に示す構成において、双単予測変換部１２１９Ａを、マージ候補導出制御部１２１２Ｇからのマージ候補リスト完成通知に基づいてマージ候補格納部１２１２Ｈに格納されているマージ候補リストに対して双単変換処理を行う双単予測変換部１２１９Ｂに変更したものである。
なお、双単予測変換部１２１９Ｂにおける双単変換処理自体は、双単予測変換部１２１９Ａと同様であるのでその説明を省略する。
［処理の流れ］
図７３を用いて、図７２に示す双単予測変換部１２１９Ｂの処理の流れについて説明すると、以下のとおりである。図７３は、マージ動き補償パラメータ導出部１２１２および双単予測変換部１２１９Ｂの処理の流れの一例について示すフローチャートである。
Ｓ７３１〜Ｓ７３３は、図４４を用いて示したＳ１０１〜Ｓ１０３と同様であるので、その説明を省略する。
Ｓ７３３に続くＳ７３４において、Ｂスライスであれば（Ｓ７３４においてＹＥＳ）、双予測制限ＰＵ判定部１２１８Ａが、双予測制限を行うか否かを判定する（Ｓ７３５）。
双予測制限を行う場合（Ｓ７３５においてＹＥＳ）、双単予測変換部１２１９Ｂは、マージ候補リストの先頭Ｎ個のマージ候補の双単変換を行う（Ｓ７３６）。そして、双単変換の実行後、その他のマージ候補が導出される（Ｓ７３７）。
これに対して、Ｂスライスでない（Ｓ７３４においてＮＯ）、または、双予測制限を行わない場合（Ｓ７３５においてＮＯ）には、双単変換を行うことなくその他のマージ候補が導出される（Ｓ７３７）。
［作用・効果］
双単予測変換部１２１９Ｂは、Ｓ７３１〜Ｓ７３３が実行されることで、マージ候補格納部１２１２Ｈにマージ候補リストが生成された後、双予測制限が制限されている場合には、マージ候補リストの先頭Ｎ個のマージ候補について双単変換処理を行う。
上記構成によれば、一部のマージ候補について、双単変換処理を行うので、すべてのマージ候補について双単変換処理を行う場合に比べれば、双単変換処理の処理負荷が軽減される。
また、Ｓ７３１〜Ｓ７３３は、Ｓ１０１〜Ｓ１０３と同様に構成することができるので
、マージ候補生成処理に関しては、図４４から構成を大幅に変更しなくても済む。このように、簡易な構成変更により部分的な双予測制限処理を実現することができる。
（比較）
ここで、図６１、図７１に示した構成と、図７２、図７３に示した構成との比較を行うと次のとおりである。
図６１、図７１に示した構成は、すでに説明したとおり、マージ候補導出処理と、双単変換処理とを並行して実行する構成である。
従って、一連の処理のタイムテーブルは、例えば、図７４に示すとおりになる。図７４に示すタイムチャートでは、マージ候補Ａ〜Ｅが導出されており、このうち、双予測の制限により、２個のマージ候補を双単変換することにしている。また、マージ候補Ａ、Ｂ、およびＤの導出よりも、マージ候補Ｃ、Ｅの導出に、より時間がかかるとする。
図７４に示すように、マージ候補Ａ、Ｂが、マージ候補Ａ〜Ｅにおける先頭２個のマージ候補であるので、双単変換の対象となる。マージ候補Ａ、Ｂの双単変換は、処理時間の長いマージ候補Ｃ、Ｅの実行中に並行して行われる。このため、図７４に示す例では、マージ候補Ｃ、Ｄの導出処理が終了すると、リスト作成処理が開始され、リスト作成処理が終了することで処理全体が終了する。
これに対して、図７２、図７３に示した構成は、マージ候補リストが生成された後、双単変換処理を行う構成である。
従って、一連の処理のタイムチャートは、例えば、図７５に示すとおりになる。図７５に示すタイムチャートも、図７４と同様、マージ候補Ａ〜Ｅが導出されており、このうち、双予測の制限により、２個のマージ候補を双単変換することにしている。また、マージ候補Ａ、Ｂ、およびＤの導出よりも、マージ候補Ｃ、Ｅの導出に、より時間がかかるとする。
図７５に示す例では、マージ候補Ａ〜Ｅが導出された後、マージ候補リストが完成してから、双単変換を行っている。
よって、図７４および図７５に示す例を比較すると、図７５に示す例では、双単変換を行う処理時間の分だけ、図７４に示す例よりも処理全体が終了する時間が遅れる。
一方、図７５に示す例は、双単変換を行う処理を、マージ候補リスト作成後に追加するだけで済み、マージ候補導出からマージ候補リスト作成までのロジックを変更しなくても済む。
また、図７４に示す例では、双単変換後のマージ候補をマージ候補リストとしてマージ候補格納部１２１２Ｈに格納したあと、ユニークチェックが行われる。よって、図７５に示したように、作成後のマージ候補リストに含まれるマージ候補に対して、双単変換を行う場合に比較すれば、図７３に示す例では、マージ候補リストに含まれるマージ候補のユニーク性が保たれる。
また、タイムチャート上は不利ではあるが、双単予測変換部１２１９Ａと双単予測変換部１２１９Ｂを組み合わせたタイプの構成としても良い。すなわち、時間的マージ候補に限り、マージ候補導出時（マージ候補リスト格納前）に双単変換を行い、それ以外のマージ候補については、マージ候補リスト格納後に双単変換を行う構成としても良い。この場
合には、８×８ＰＵにおける双予測制限において有効な時間的マージ候補で双単変換を行うことを保証しつつ、簡易な構成で双単変換を行うことが可能になる。
（変形例２）
双単予測変換部１２１９Ｂにおいて、マージ候補リストに含まれる単予測の数に応じて双単変換を行ってもよい。
具体的には、双単予測変換部１２１９Ｂにおいて、マージ候補導出時に単予測の数をカウントし、マージ候補リストにおいてＮ個以上の単予測がない場合に限り、先頭Ｎ個のマージ候補を双単変換してもよい。なお、Ｎは、正の整数であり、例えば、Ｎ＝１とすることができる。
上記構成によれば、マージ候補リストにＮ個以上の単予測が存在する場合には、双単変換を行わなくてもよいので、マージ候補導出処理の負荷軽減を図ることができる。
（変形例３）
双単予測変換部１２１９Ａまたは双単予測変換部１２１９Ｂは、双予測のマージ候補についての２つの動きベクトルが非整数動きベクトルであるか否かに応じて、双単変換を行ってもよい。
ここで、非整数動きベクトルとは、画素位置を整数値として表現したときに、少なくとも一部の該動きベクトルの成分が非整数によって表されるものを指す。これに対して、画素位置を整数値として表現したときに、該動きベクトルの成分がすべて整数によって表されるものを整数動きベクトルと称する。
非整数動きベクトルに対しては、補間画像を生成するための補間フィルタを適用するため、処理負荷が高くなり、また動き補償に必要な参照画素の範囲が大きくなるため、参照画素の転送のため転送量が高くなる傾向がある。これに対して、整数動きベクトルの場合には、このようなフィルタ処理は必須ではない。
また、整数動きベクトルの場合、動き補償で必要とされる参照範囲は、対象ブロックと同一となる。よって、双予測に整数動きベクトルが含まれる場合、双予測を行っても、転送量および処理量はそれほどに多くはならない。
そこで、双単予測変換部１２１９Ａまたは双単予測変換部１２１９Ｂは、双予測のマージ候補についての２つの動きベクトルの少なくとも一方が整数動きベクトルである場合、双単変換を省略してもよい。
すなわち、双単予測変換部１２１９Ａまたは双単予測変換部１２１９Ｂは、双予測のマージ候補についての２つの動きベクトルがともに非整数動きベクトルである場合に限り、双単変換を行ってもよい。
また、双単予測変換部１２１９Ａまたは双単予測変換部１２１９Ｂを次のように構成してもよい。すなわち、双単予測変換部１２１９Ａまたは双単予測変換部１２１９Ｂは、双予測のマージ候補についての２つの動きベクトルがともに整数動きベクトルである場合、双単変換を省略してもよい。
また、双単予測変換部１２１９Ａまたは双単予測変換部１２１９Ｂは、双予測のマージ候補についての２つの動きベクトルの少なくとも一方が非整数動きベクトルである場合、双単変換を行ってもよい。
上記構成によれば、双予測のすべてについて双単変換をしなくても済むため、双予測制限に関わるマージ候補の変換を最小限におさえることができる。
［２−３−４］ 動きベクトルの整数化
以下では、図７６〜図８０を用いて、動きベクトルの整数化について説明する。まず、図７６を用いて、動きベクトルの整数化を行うための構成について開示する。図７６に示す構成は、図６１に示した構成において、双単予測変換部１２１９Ａを動きベクトル整数化部１２２０に変更したものである。
動きベクトル整数化部１２２０は、非整数動きベクトルに含まれる１以上の非整数の成分のうち、少なくとも１つの成分を整数の成分に変換する。以下、動きベクトル整数化部１２２０による上記変換を、動きベクトルの整数化と称する。
より具体的には、動きベクトル整数化部１２２０は、双予測が制限される場合、隣接マージ候補導出部１２１２Ａまたは時間的マージ候補導出１２１２Ｂから入力されるマージ候補に双予測が含まれるとき、双予測の２つの動きベクトルが非整数動きベクトルであるか否かを判定する。そして、双予測の２つの動きベクトルのうち、少なくとも一方が非整数動きベクトルである場合、動きベクトル整数化部１２２０は、当該非整数動きベクトルを整数化する。
次に、図７７〜図８０を用いて、整数化処理の具体例について説明する。図７７〜図８０は、動きベクトル整数化部１２２０における整数化処理の具体例を示す図である。
なお、以下では、動きベクトルが（Ｘ，Ｙ）の２次元座標表示により表されるものとする。また、以下の説明では、説明の便宜上、非整数動きベクトルとは、Ｘ成分、Ｙ成分ともに、非整数である非整数動きベクトルを指すものとする。また、ｍｖ＿Ｌｘは、リストＬｘ（ｘ＝０ or １）の動きベクトルを示す。また、ｍｖ＿Ｌｘ［０］は、動きベクトルのＸ成分を示しており、ｍｖ＿Ｌｘ［１］は、動きベクトルのＹ成分を示している。
［Ｘ座標を整数化する］
動きベクトル整数化部１２２０は、図７７に例示するように、動きベクトルのＸ座標を整数化してもよい。以下に、図７７に示す擬似コードの各ステップＳについて説明する。
Ｓ７７１：Ｌ０の動きベクトルが、非整数ベクトルであるか否かを判定する。なお、動きベクトルの座標成分の下位２ビットは、小数位置を表すビットである。“ｍｖ＿Ｌ０［ｘ］ ＆ ３”（ｘ＝０ or １）は、座標成分の下位２ビットが“１１（３）”であるか否かを判定しており、座標位置が小数位置を示しているかどうかを判定している。
Ｓ７７２：Ｌ０の動きベクトルが、非整数ベクトルである場合、Ｌ０のＸ座標の下位２ビットを“００”に設定することでＬ０の動きベクトルのＸ座標の整数化を行う。なお、“〜”は、ビット否定の演算子であｒ、“〜３”は、“１１”のビット否定、すなわち“００”を示す。また、“＆＝”は、ビット積代入の演算子である。例えば、“Ａ ＆＝ Ｂ”は、“Ａ ＝ Ａ＆ Ｂ”を意味する。
Ｓ７７３：Ｌ１の動きベクトルが、非整数ベクトルであるか否かを判定する。
Ｓ７７４：Ｌ１の動きベクトルが、非整数ベクトルである場合、Ｌ１の動きベクトルのＸ座標の整数化を行う。
［Ｙ座標を整数化する］
また、動きベクトル整数化部１２２０は、図７８に例示するように、動きベクトルのＹ座標を整数化してもよい。以下に、図７８に示す擬似コードの各ステップＳについて説明する。
Ｓ７８１：Ｌ０の動きベクトルが、非整数ベクトルであるか否かを判定する。
Ｓ７８２：Ｌ０の動きベクトルが、非整数ベクトルである場合、Ｌ０の動きベクトルのＹ座標の整数化を行う。
Ｓ７８３：Ｌ１の動きベクトルが、非整数ベクトルであるか否かを判定する。
Ｓ７８４：Ｌ１の動きベクトルが、非整数ベクトルである場合、Ｌ１の動きベクトルのＹ座標の整数化を行う。
［Ｘ座標およびＹ座標を整数化する］
また、動きベクトル整数化部１２２０は、図７９に例示するように、動きベクトルのＸ座標およびＹ座標を整数化してもよい。以下に、図７９に示す擬似コードの各ステップＳについて説明する。
Ｓ７９１：Ｌ０の動きベクトルが、非整数ベクトルであるか否かを判定する。
Ｓ７９２：Ｌ０の動きベクトルが、非整数ベクトルである場合、Ｌ０の動きベクトルのＸ座標およびＹ座標の整数化を行う。
Ｓ７９３：Ｌ１の動きベクトルが、非整数ベクトルであるか否かを判定する。
Ｓ７９４：Ｌ１の動きベクトルが、非整数ベクトルである場合、Ｌ１の動きベクトルのＸ座標およびＹ座標の整数化を行う。
［片方のリストのみＸ座標およびＹ座標を整数化する］
また、動きベクトル整数化部１２２０は、図８０に例示するように、片方のリストの動きベクトルのＸ座標およびＹ座標を整数化してもよい。以下に、図８０に示す擬似コードの各ステップＳについて説明する。
Ｓ８０１：ＬＸの動きベクトルが、非整数ベクトルであるか否かを判定する（ただし、Ｘ＝０or １）。
Ｓ８０２：ＬＸの動きベクトルが、非整数ベクトルである場合、ＬＸの動きベクトルのＸ座標およびＹ座標の整数化を行う。
［作用・効果］
すでに説明したとおり、整数動きベクトルの場合には、補間フィルタによるフィルタ処理を行わなくても済む。よって、動き補償で参照される参照範囲は、対象ブロックと一致する。このため、双予測を行っても、フィルタ処理の処理量および参照画素の転送量は、それほど多くはならない。
このため、双予測の動きベクトルの少なくとも一方が、Ｘ座標およびＹ座標ともに非整数成分である非整数動きベクトルである場合、Ｘ座標およびＹ座標ともに非整数成分を有する非整数動きベクトルの少なくとも一方の非整数成分を、整数成分に変換することがで
きれば、非整数動きベクトルをそのまま処理するよりも、処理量および転送量を抑えられる場合がある。
また、非整数動きベクトルを、整数動きベクトルに変換すれば、参照範囲が、対象ブロックと一致するので、より一層、処理量および転送量の軽減を図ることができる。
なお、動きベクトル整数化部１２２０は、Ｘ座標およびＹ座標のいずれか一方が非整数成分でない非整数動きベクトルに対して上記整数化処理を適用しても構わない。
（３）ＴＵ情報復号部の詳細
次に、図１６を用いて、ＴＵ情報復号部１３および復号モジュール１０の構成例について説明する。図１６は、動画像復号装置１において、ＴＵ分割復号処理、変換係数復号処理、および、予測残差導出処理を行うための構成、すなわち、ＴＵ情報復号部１３および復号モジュール１０の構成について例示する機能ブロック図である。
以下、ＴＵ情報復号部１３および復号モジュール１０の順で、各部の構成について説明する。
［ＴＵ情報復号部］
図１６に示すように、ＴＵ情報復号部１３は、ＴＵ分割設定部１３１および変換係数復元部１３２を備える。
ＴＵ分割設定部１３１は、符号化データから復号したパラメータとＣＵサイズおよびＰＵ分割タイプとに基づいて、ＴＵ分割の方式を設定するものである。また、変換係数復元部１３２は、ＴＵ分割設定部１３１によって設定されたＴＵ分割に従って、各ＴＵの予測残差を復元するものである。
［ＴＵ分割設定部］
まず、図１６を参照しながら、ＴＵ分割設定部１３１の詳細について説明する。ＴＵ分割設定部１３１は、より詳細には、対象領域設定部１３１１、分割決定部１３１２、分割領域設定部（変換単位分割手段、分割手段）１３１３、および変換サイズ決定情報記憶部１３１４を備える。
対象領域設定部１３１１は、対象領域となるノードである対象ノードを設定する。対象領域設定部１３１１は、対象変換ツリーについてＴＵ分割の処理が開始されたとき、対象領域の初期値として、対象ＣＵ全体を設定する。また、分割の深度は、“０”に設定する。
分割決定部１３１２は、領域分割フラグ復号部１０３１を用いて、対象領域設定部１３１１によって設定された対象ノードを分割するか否かを示す情報（split_transform_flag）を復号し、復号した情報に基づいて対象ノードの分割要否を決定する。
分割領域設定部１３１３は、分割決定部１３１２によって分割要と決定された対象ノードについて分割領域を設定する。具体的には、分割領域設定部１３１３は、分割要と決定された対象ノードについて、分割の深度を１加算するとともに、変換サイズ決定情報記憶部１３１４に記憶されている変換サイズ決定情報に基づいて対象ノードを分割する。
なお、分割により得られた各対象ノードは、対象領域設定部１３１１によりさらに対象領域として設定される。
すなわち、ＴＵ分割では、分割した対象ノードについて、対象領域設定部１３１１、分割決定部１３１２および分割領域設定部１３１３によって、“対象領域の設定”、“分割の決定”、および“分割領域の設定”の一連の処理が、再帰的に繰り返される。
変換サイズ決定情報記憶部１３１４には、対象ノードの分割方式を示す変換サイズ決定情報が記憶されている。変換サイズ決定情報は、具体的には、ＣＵのサイズ、ＴＵ分割の深度（trafoDepth）、および対象ＰＵのＰＵ分割タイプと、ＴＵ分割パターンとの対応関係を定義する情報である。
ここで、図１７を用いて、変換サイズ決定情報の具体的な構成例について説明すると次のとおりである。図１７に示す変換サイズ決定情報では、ＣＵのサイズ、ＴＵ分割の深度（trafoDepth）、および対象ＰＵのＰＵ分割タイプに応じて、ＴＵ分割パターンが定義されている。なお、なお、表中の“ｄ”は、ＣＵの分割深度を示す。
変換サイズ決定情報では、ＣＵのサイズとして、６４×６４、３２×３２、１６×１６、および８×８の４つが定義されている。
また、変換サイズ決定情報では、ＣＵのサイズに応じて、選択可能なＰＵ分割タイプが定義されている。
ＣＵのサイズが、６４×６４、３２×３２、および１６×１６である場合、ＰＵ分割タイプとして、２Ｎ×２Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、およびｎＲ×２Ｎのいずれかを選択可能である。
また、ＣＵのサイズが、８×８である場合、ＰＵ分割タイプとして、２Ｎ×２Ｎ、２Ｎ×ＮおよびＮ×２Ｎのいずれかを選択可能である。
また、変換サイズ決定情報では、ＣＵのサイズおよびＰＵ分割タイプに応じて、各ＴＵ分割の深度におけるＴＵ分割パターンが定義されている。
例えば、ＣＵのサイズが６４×６４である場合、次のとおりである。まず、ＴＵ分割の深度“０”は定義されておらず、６４×６４のＣＵは、強制的に分割が行われる（図１７において※１にて示している）。これは、変換単位の最大サイズが３２×３２と定義されているためである。
ＴＵ分割深度“１”および“２”では、正方形の４分木分割のみを含む場合と、非正方形の４分木分割のみを含む場合とで異なるＴＵ分割パターンが定義されている。
ＰＵ分割タイプが２Ｎ×２Ｎであり、かつ、正方形の４分木分割のみを含むＴＵ分割パターンの場合、ＴＵ分割深度“１”では、３２×３２の正方形４分木分割、ＴＵ分割深度“２”では、１６×１６の正方形４分木分割が定義されている。
ＰＵ分割タイプが、２Ｎ×２Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、およびｎＲ×２Ｎのいずれかであり、かつ、非正方形の４分木分割のみを含む場合の定義は次のとおりである。
まず、ＴＵ分割深度“１”では、３２×３２の正方形４分木分割が定義されている。続いて、ＴＵ分割深度“２”では、ＰＵ分割タイプ：２Ｎ×２Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤに対しては、３２×８の非正方形４分木分割が定義されており、ＰＵ分割タイプ：Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎに対しては、８×３２の非正方形４分木分割が定義されてい
る。
さらに、ＣＵのサイズが８×８である場合について例示すれば次のとおりである。ＣＵのサイズが８×８である場合、選択可能なＰＵ分割タイプは、２Ｎ×２Ｎ、２Ｎ×２、およびＮ×２Ｎである。それぞれのＰＵ分割タイプについて、ＴＵ分割深度“１”では、８×８の正方形４分木分割、ＴＵ分割深度“２”では、４×４の正方形４分木分割が定義されている。なお、ＴＵ分割の深度“３”は定義されておらず、強制的に非分割である（図１７において、※２にて示している）。
ここで、図２０を用いて、ＴＵ分割設定部１３１におけるＴＵ分割について詳細について説明すると次のとおりである。図２０は、ＣＵのサイズが３２×３２であり、かつ、ＰＵ分割タイプが２Ｎ×Ｎである場合のＴＵ分割の例を示す図である。
まず、対象領域設定部１３１１は、ＴＵ分割処理が開始されると、対象ＣＵ全体を、対象領域の初期値として設定するとともに、ｄｅｐｔｈ＝０とする。なお、ｄｅｐｔｈ＝０では、領域垂直方向中央において点線にて、ＰＵ境界Ｂ１を示している。
次に、分割決定部１３１２が、対象ノードを分割するか否かを示す情報（ｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇ）に基づいて、対象ノードの分割要否を決定する。
ｓｐｌｉｔ＝１であるので、分割決定部１３１２は、対象ノードを分割することを決定する。
分割領域設定部１３１３は、ｄｅｐｔｈを１加算し、変換サイズ決定情報に基づいて、対象ノードについて、ＴＵ分割パターンを設定する。分割領域設定部１３１３は、対象領域である対象ＣＵについて、ｄｅｐｔｈ＝１のＴＵ分割を実行する。
図１７に示す変換サイズ決定情報の定義に従って、分割領域設定部１３１３は、ｄｅｐｔｈ＝１では、対象ノードを３２×８の領域に四分木分割する。
これにより、対象ノードは、図１８の（ｂ）に示す分割方式で、ＴＵ０、ＴＵ１、ＴＵ２、および、ＴＵ３の４つの横長の長方形領域に分割される。
さらに対象領域設定部１３１１は、ｄｅｐｔｈ＝１の分割深度において、ＴＵ０、ＴＵ１、ＴＵ２、および、ＴＵ３の各ノードを、順に対象領域に設定する。
ここで、ＴＵ１について、ｓｐｌｉｔ＝１が設定されているので、分割決定部１３１２は、ＴＵ１を分割する事を決定する。
分割領域設定部１３１３は、ＴＵ１について、ｄｅｐｔｈ＝２のＴＵ分割を実行する。図１７に示す変換サイズ決定情報の定義に従って、分割領域設定部１３１３は、ｄｅｐｔｈ＝２では、対象ノードを１６×４の領域に四分木分割する。
これにより、対象ノードであるＴＵ１は、図１９の（ａ）に示す分割方式で、ＴＵ１−０、ＴＵ１−１、ＴＵ１−２、およびＴＵ１−３の４つに横長の長方形領域に分割される。
［３−１］ＰＵ分割タイプが非対称の場合において分割領域サイズを導出する構成の例分割領域設定部１３１３は、ＰＵ分割タイプが非対称の場合、小さい方のＰＵでは、長方形（非正方形）の変換を適用する一方で、大きい方のＰＵの少なくとも一部では、正方形
の変換を適用する構成であってもよい。
例えば、変換サイズ決定情報記憶部１３１４に記憶される変換サイズ決定情報において、定義情報である小ＰＵサイズ１３１４Ａと、大ＰＵサイズ１３１４Ｂとを設ける。
小ＰＵサイズ１３１４Ａでは、非対称に分割されたＰＵのうち、小さいサイズのＰＵにおいて、長方形の変換が適用されるよう定義する。
大ＰＵサイズ１３１４Ｂは、非対称に分割されたＰＵのうち、大きいサイズのＰＵにおいて、正方形の変換が適用されるよう定義する。
また、分割領域設定部１３１３は、非対称に分割されたＰＵのサイズに応じて、小ＰＵサイズ１３１４Ａの定義情報と、大ＰＵサイズ１３１４Ｂの定義情報とのいずれか一方を参照し、分割領域を設定する。
図２１を用いて、上記構成例によるＴＵ分割について説明すると次のとおりである。
図２１は、ＰＵ分割タイプが２Ｎ×ｎＵである場合の上記構成例によるＴＵ分割の例を示す図である。
まず、対象領域設定部１３１１は、ＴＵ分割処理が開始されると、対象ＣＵ全体を、対象領域の初期値として設定するとともに、ｄｅｐｔｈ＝０とする。なお、ｄｅｐｔｈ＝０では、領域垂直方向中央より上方において点線にて、ＰＵ境界Ｂ２を示している。
次に、分割決定部１３１２が、対象ノードを分割するか否かを示す情報（ｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇ）に基づいて、対象ノードの分割要否を決定する。
ｓｐｌｉｔ＝１であるので、分割決定部１３１２は、対象ノードを分割することを決定する。
分割領域設定部１３１３は、ｄｅｐｔｈを１加算し、変換サイズ決定情報に基づいて、対象ノードについて、ＴＵ分割パターンを設定する。分割領域設定部１３１３は、対象領域である対象ＣＵについて、ｄｅｐｔｈ＝１のＴＵ分割を実行する。
ここで、分割領域設定部１３１３は、小ＰＵサイズ１３１４Ａに従って、非対称に分割されたＰＵのうち、小さいサイズのＰＵについて、横長の長方形のＴＵ分割を行う。
また、分割領域設定部１３１３は、大ＰＵサイズ１３１４Ｂに従って、非対称に分割されたＰＵのうち、大きいサイズのＰＵについて、正方形のＴＵ分割を含める。なお、分割領域設定部１３１３は、ＰＵ境界側に位置する領域については、図２１に示すように長方形のＴＵ分割領域を含めてもかまわない。
結果として、分割領域設定部１３１３は、ｄｅｐｔｈ＝１では、対象ノードを、２つの長方形のノードおよび２つの正方形のノードに四分木分割する。
これにより、対象ノードは、横長の長方形のＴＵ０およびＴＵ１と、正方形のＴＵ２およびＴＵ３との４つの領域に分割される。
さらに対象領域設定部１３１１は、ｄｅｐｔｈ＝１の分割深度において、ＴＵ０、ＴＵ１、ＴＵ２、および、ＴＵ３の各ノードを、順に対象領域に設定する。
ここで、ＴＵ０およびＴＵ２について、ｓｐｌｉｔ＝１が設定されているので、分割決定部１３１２は、ＴＵ０およびＴＵ２を分割する事を決定する。
分割領域設定部１３１３は、ＴＵ０およびＴＵ２について、ｄｅｐｔｈ＝２のＴＵ分割を実行する。分割領域設定部１３１３は、ｄｅｐｔｈ＝２では、ＴＵ０を、４つの横長の長方形にＴＵ分割し、ＴＵ２を、４つの正方形にＴＵ分割する。
これにより、ＴＵ０は、ＴＵ０−０、ＴＵ０−１、ＴＵ０−２、およびＴＵ０−３の４つに横長の長方形領域に分割される。また、ＴＵ２は、ＴＵ２−０、ＴＵ２−１、ＴＵ２−２、およびＴＵ２−３の４つに横長の長方形領域に分割される。
なお、上記のようにＰＵ分割タイプが非対称のＣＵにおけるＴＵ分割を行う場合、パーティションがＰＵ境界をまたがず、かつ、分割後の各ＴＵ分割領域の面積が同一となるよう分割することが好ましい。
［作用・効果］
本発明は以下のとおり表現することもできる。すなわち、本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成するとともに、符号化単位を１以上の数に分割して得られる変換単位ごとに予測残差を復号し、予測画像に予測残差を加算することで画像を復元する画像復号装置において、上記予測単位への分割タイプは、符号化単位を複数の異なる大きさの予測単位に分割する非対称分割または符号化単位を複数の同一の大きさの予測単位に分割する対称分割を含み、復号の対象となる上記符号化単位である対象符号化単位の分割タイプが非対称分割であるとき、上記対象符号化単位に含まれる予測単位の大きさに応じて、変換単位の分割方式を決定する変換単位分割手段を備える構成である。
よって、分割タイプが非対称分割であるときは、上記対象符号化単位に含まれる予測単位の大きさに応じて、効率よく相関を除去できるような変換単位の分割方式を選択することができる。
［３−２］一部のＣＵサイズにおいて、ＰＵ分割タイプが正方形の分割であるとき非矩形変換を適用する構成の例
［構成例３−２−１］
分割領域設定部１３１３は、ＰＵ分割タイプが正方形の分割である場合、対象ノードを非正方形に分割してもよい。
そこで、変換サイズ決定情報記憶部１３１４に記憶される変換サイズ決定情報において、ＰＵ分割タイプが正方形の分割である場合、対象ノードを非正方形に分割する旨定義する正方形ＰＵ分割タイプ１３１４Ｃが定義されていてもよい。
そして、分割領域設定部１３１３は、ＰＵ分割タイプが正方形の分割である場合、正方形ＰＵ分割タイプ１３１４Ｃを参照して対象ノードを非正方形に分割する。
分割領域設定部１３１３は、ＣＵサイズが、３２×３２サイズであり、かつＰＵ分割タイプが、２Ｎ×２Ｎである場合、ＴＵ分割において領域を３２×８のノードに分割してもよい。
また、分割領域設定部１３１３は、ＣＵサイズが、３２×３２サイズであり、かつＰＵ分割タイプが、２Ｎ×２Ｎである場合、ＴＵ分割の分割方式を示す情報を追加で復号し、
復号した情報に基づいて３２×８、１６×１６、８×３２のいずれかのノードに分割してもよい。
また、分割領域設定部１３１３は、ＣＵサイズが、３２×３２サイズであり、かつＰＵ分割タイプが、２Ｎ×２Ｎである場合、隣接ＣＵのサイズおよびＰＵ分割タイプに基づいて、対象ＣＵを分割するＴＵサイズを推定してもよい。また、分割領域設定部１３１３は、以下の(i)〜（iii）のとおり推定を行ってもよい。
(i) 左辺にＣＵ境界またはＰＵ境界が存在し、上辺にはＣＵ境界およびＰＵ境界の境界が存在しない場合、３２×８を選択。
(ii) 上辺にＣＵ境界またはＰＵ境界が存在し、左辺にはＣＵ境界およびＰＵ境界の境
界が存在しない場合、８×３２を選択。
(iii) 上記（ｉ）および（ii）以外（左辺または上辺に境界が存在するか、左辺および上辺のいずれにも境界が存在しない場合）、１６×１６を選択。
［作用・効果］
本発明は、以下のとおり表現することもできる。すなわち、本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成するとともに、符号化単位を１以上の数に分割して得られる変換単位ごとに予測残差を復号し、予測画像に予測残差を加算することで画像を復元する画像復号装置において、上記変換単位への分割方式は、正方形および長方形の分割を含み、復号の対象となる上記予測単位である対象予測単位の形状が正方形である場合、対象変換単位を長方形の分割方式により分割する分割手段を備える構成である。
上記構成による作用・効果は以下のとおりである。領域内にエッジが存在し、画像に方向性があるにもかかわらず、正方形の予測単位が選択される場合がある。例えば、多数の横エッジが存在するオブジェクトが移動している場合、オブジェクト内では、動きは一様であるため、正方形の予測単位が選択される。しかしながら、このような場合は、変換処理では、横エッジに沿った、水平方向に長い形状の変換単位を適用することが望ましい。
上記構成によれば、復号の対象となる上記予測単位である対象予測単位の形状が正方形である場合、対象変換単位を長方形の分割方式により分割する。
よって、正方形の符号化単位においても、長方形の変換単位を選択することができ、このため上記のような領域に対する符号化効率を向上させることができる。
［構成例３−２−２］
上記構成３−２−１に加えて、分割領域設定部１３１３は、ＣＵサイズが、１６×１６サイズであり、かつＰＵ分割タイプが、２Ｎ×２Ｎである場合、各分割深度において以下のとおり分割を行う。
分割深度＝１ … １６×４のＴＵに分割する。
分割深度＝２ … ４×４のＴＵに分割する。
上記構成によれば、４×４のＴＵにおいて、１６×１６ＣＵのＰＵ分割タイプに依存せず、スキャン順が統一される。４×４のＴＵにおいて、１６×１６ＣＵのＰＵ分割タイプが異なることで、スキャン順が統一されていないと、１６×１６ＣＵのＰＵ分割タイプに
応じてスキャン処理を変更しなければならないため、処理が複雑となる。よって、このようなスキャン順の不統一は、処理のボトルネックとなり得る。
上記構成によれば、スキャン順が統一されることにより、処理を簡略化できるという効果を奏する。
図２２および図２３を用いて、より具体的に説明すると、以下のとおりである。まず、図２２に示すＴＵ分割から説明する。図２２は、図１７に示した変換サイズ決定情報に従って分割を行った場合のＴＵ分割の流れを示している。
図２２の（ａ）に示すように、ＰＵ分割タイプが２Ｎ×２Ｎの場合…ｄｅｐｔｈ＝１において、分割領域設定部１３１３は、対象ノードの正方形の４分木分割を行う。また、ｄｅｐｔｈ＝２において、分割領域設定部１３１３は、正方形に分割された各ノードに対して、さらに正方形の４分木分割を行う。ここで、スキャン順は、再帰的なｚスキャンが用いられる。具体的には、図２２に図示するとおりである。
図２２の（ｂ）に示すように、ＰＵ分割タイプが２Ｎ×ｎＵの場合…ｄｅｐｔｈ＝１において、分割領域設定部１３１３は、対象ノードに対して、横長の長方形の４分木分割を行う。また、ｄｅｐｔｈ＝２において、分割領域設定部１３１３は、横長の長方形に分割された各ノードに対して、さらに正方形の４分木分割を行う。ここで、各ＴＵのスキャン順は、ラスタスキャンが用いられる。具体的には、図２２に図示するとおりである。
次に、図２３に示すＴＵ分割について説明する。図２３は、正方形ＰＵ分割タイプ１３１４Ｃに従って、ＰＵ分割タイプが２Ｎ×２Ｎの領域の分割を行った場合のＴＵ分割の流れを示している。
ＰＵ分割タイプ：２Ｎ×２Ｎの場合… ｄｅｐｔｈ＝１において、分割領域設定部１３
１３は、対象ノードに対して、横長の長方形の４分木分割を行う。また、ｄｅｐｔｈ＝２において、分割領域設定部１３１３は、横長の長方形に分割された各ノードに対して、さらに正方形の４分木分割を行う。
その結果、スキャン順は、ラスタスキャンが用いられる。よって、ＰＵ分割タイプが２Ｎ×ｎＵである場合と、２Ｎ×２Ｎである場合との間で、スキャン順をラスタスキャンに統一することができる。
［変換係数復元部］
次に、再び図１６を参照しながら、変換係数復元部１３２の詳細について説明する。変換係数復元部１３２は、より詳細には、非ゼロ係数判定部１３２１および変換係数導出部１３２２を備える。
非ゼロ係数判定部１３２１は、判定情報復号部（係数復号手段）１０３２を用いて、対象ＣＵに含まれる各ＴＵまたは変換ツリーについての非ゼロ変換係数の存否情報を復号し、各ＴＵに非ゼロ変換係数が存在するか否かを判定する。
変換係数導出部１３２２は、変換係数復号部（係数復号手段）１０３３を用いて非ゼロ変換係数が存在する各ＴＵの変換係数を復元する一方で、非ゼロ変換係数が存在しない各ＴＵの変換係数を０（ゼロ）に設定する。
［復号モジュール］
図１６に示すように、復号モジュール１０は、領域分割フラグ復号部１０３１、判定情報
復号部１０３２、変換係数復号部１０３３、およびコンテキスト記憶部１０３４を備える。
領域分割フラグ復号部１０３１は、分割決定部１３１２から供給される符号化データおよびシンタックス種別に応じて、符号化データに含まれるバイナリからシンタックス値の復号を行う。領域分割フラグ復号部１０３１は、対象ノードを分割するか否かを示す情報（split_transform_flag）を復号する。
判定情報復号部１０３２は、変換係数導出部１３２２から供給される非ゼロ変換係数の存否情報の符号化データおよびシンタックス種別に応じて、当該符号化データに含まれるバイナリからシンタックス値の復号を行う。判定情報復号部１０３２が復号するシンタックスは、具体的には、ｎｏ＿ｒｅｓｉｄｕａｌ＿ｄａｔａ＿ｆｌａｇ、ｃｂｆ＿ｌｕｍａ、ｃｂｆ＿ｃｂ、ｃｂｆ＿ｃｒ、およびｃｂｐ等である。
変換係数復号部１０３３は、変換係数導出部１３２２から供給される変換係数の符号化データおよびシンタックス種別に応じて、当該符号化データに含まれるバイナリからシンタックス値の復号を行う。変換係数復号部１０３３が復号するシンタックスは、具体的には、変換係数の絶対値であるレベル（ｌｅｖｅｌ）、変換係数の符号（ｓｉｇｎ）、連続するゼロのランの長さ（ｒｕｎ）などである。
コンテキスト記憶部１０３４は、判定情報復号部１０３２および変換係数復号部１０３３が、復号処理の際に参照するコンテキストが記憶されている。
［３−３］変換係数復号時にコンテキストを参照する具体的構成
判定情報復号部１０３２および変換係数復号部１０３３は、それぞれ、ＰＵ分割タイプが非対称分割である場合、小さい方のＰＵに含まれるＴＵと、大きい方のＰＵに含まれるＴＵとで異なるコンテキストを用いて、変換係数に係るシンタックス値を復号する構成であってもよい。例えば、そのようなシンタックスの種類として、非ゼロ変換係数フラグ、変換係数レベル、変換係数のラン、ＴＵツリーの各ノードにおける非ゼロ変換係数の存否情報が含まれる。前記シンタックスの組み合わせを含んでいてもよい。
そこで、コンテキスト記憶部１０３４では、小さい方のＰＵに含まれるＴＵにおいて参照されるコンテキストにおける変換係数に係る各種シンタックス値に対応する確率設定値である小ＰＵサイズ１０３４Ａと、大きい方のＰＵに含まれるＴＵにおいて参照されるコンテキストにおける確率設定値である大ＰＵサイズ１０３４Ｂとが記憶されていてもよい。ここで、小ＰＵサイズ１０３４Ａおよび大ＰＵサイズ１０３４Ｂは異なるコンテキストに対応する確率設定値である。
判定情報復号部１０３２は、対象ＴＵが、小さいＰＵに含まれる場合、小ＰＵサイズ１０３４Ａを参照する一方で、対象ＴＵが、大きい方のＰＵに含まれる場合、大ＰＵサイズ１０３４Ｂを参照し、対象ＴＵにおけるＣｂｆ（ｃｂｆ＿ｌｕｍａ、ｃｂｆ＿ｃｂ、ｃｂｆ＿ｃｒ等）を算術復号する。
また、変換係数復号部１０３３は、対象ＴＵが、小さいＰＵに含まれる場合、小ＰＵサイズ１０３４Ａを参照する一方で、対象ＴＵが、大きい方のＰＵに含まれる場合、大ＰＵサイズ１０３４Ｂを参照し、対象ＴＵにおける変換係数（ｌｅｖｅｌ、ｓｉｇｎ、ｒｕｎ等）を算術復号する。
なお、判定情報復号部１０３２および変換係数復号部１０３３は、対象ＴＵが、大きい方のＰＵに含まれる場合であって、対象ＴＵが、小さい方のＰＵに近い側に位置するとき
、小ＰＵサイズ１０３４Ａを参照してもかまわない。
言い換えれば、対象ＴＵが、大きい方のＰＵに含まれる場合であっても、対象ＴＵがＰＵ境界の近傍に位置している場合、判定情報復号部１０３２および変換係数復号部１０３３は、小ＰＵサイズ１０３４Ａを参照してもかまわない。
小さい方のＰＵには、エッジが存在する可能性が高く変換係数が発生しやすい。これに対して、大きい方のＰＵでは変換係数が発生しにくい。対象ＴＵが、小さいＰＵに含まれる場合と大きい方のＰＵに含まれる場合とで、異なるコンテキストを用いることで、それぞれの領域内における変換係数の発生確率に応じた可変長復号を行うことができる。
［作用・効果］
本発明は、以下のとおり表現することもできる。すなわち、本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成するとともに、符号化単位を１以上の数に分割して得られる変換単位ごとに予測残差を復号し、予測画像に予測残差を加算することで画像を復元する画像復号装置において、上記予測単位への分割タイプは、異なる大きさの予測単位に分割する非対称形への分割および同一の大きさの予測単位に分割する対称形への分割を含み、復号の対象となる上記予測単位である対象予測単位の分割タイプが非対称形への分割であるとき、該分割により得られた小さい予測単位および大きい予測単位の間で、異なるコンテキストを参照して変換係数を復号する係数復号手段を備える構成である。
よって、小さい予測単位に含まれる変換単位および大きい予測単位に含まれる変換単位のそれぞれの領域内における変換係数の発生確率に応じた可変長復号を行うことができる。
（処理の流れ）
図２４を用いて、動画像復号装置１におけるＣＵ復号処理について説明すると以下のとおりである。なお、以下では、対象ＣＵは、インターＣＵ、または、スキップＣＵであるとする。図２４は、動画像復号装置１におけるＣＵ復号処理（インター／スキップＣＵ）の流れの一例について示すフローチャートである。
ＣＵ復号処理が開始されると、ＣＵ情報復号部１１が、復号モジュール１０を用いて、対象ＣＵについてＣＵ予測情報を復号する（Ｓ１１）。この処理は、ＣＵ単位で行われる。
具体的には、ＣＵ情報復号部１１において、ＣＵ予測モード決定部１１１が、復号モジュール１０を用いて、スキップフラグＳＫＩＰを復号する。また、スキップフラグがスキップＣＵであることを示していなければ、さらに、ＣＵ予測モード決定部１１１は、復号モジュール１０を用いて、ＣＵ予測タイプ情報Ｐｒｅｄ＿ｔｙｐｅを復号する。
次に、ＰＵ単位の処理が行われる。すなわち、ＰＵ情報復号部１２が備える動き補償パラメータ導出部１２１が、動き情報を復号するとともに（Ｓ１２）、予測画像生成部１４が、復号された当該動き情報に基づいてインター予測により予測画像を生成する（Ｓ１３）。
次に、ＴＵ情報復号部１３が、ＴＵ分割復号処理を行う（Ｓ１４）。具体的には、ＴＵ情報復号部１３において、ＴＵ分割設定部１３１が、符号化データから復号したパラメータとＣＵサイズおよびＰＵ分割タイプとに基づいて、ＴＵ分割の方式を設定する。この処理は、ＣＵ単位で行われる。
次に、ＴＵ単位の処理が行われる。すなわち、ＴＵ情報復号部１３が、変換係数を復号し（Ｓ１５）、逆量子化・逆変換部１５が、復号された変換係数から予測残差を導出する（Ｓ１６）。
次に、加算器１７において、予測画像と予測残差とが加算されることにより、復号画像が生成される（Ｓ１７）。この処理は、ＣＵ単位で行われる。
〔動画像符号化装置〕
以下において、本実施形態に係る動画像符号化装置２について、図２５および図２６を参照して説明する。
（動画像符号化装置の概要）
動画像符号化装置２は、概略的に言えば、入力画像＃１０を符号化することによって符号化データ＃１を生成し、出力する装置である。
（動画像符号化装置の構成）
まず、図２５を用いて、動画像符号化装置２の構成例について説明する。図２５は、動画像符号化装置２の構成について示す機能ブロック図である。図２５に示すように、動画像符号化装置２は、符号化設定部２１、逆量子化・逆変換部２２、予測画像生成部２３、加算器２４、フレームメモリ２５、減算器２６、変換・量子化部２７、および符号化データ生成部（符号化手段）２９を備えている。
符号化設定部２１は、入力画像＃１０に基づいて、符号化に関する画像データおよび各種の設定情報を生成する。
具体的には、符号化設定部２１は、次の画像データおよび設定情報を生成する。
まず、符号化設定部２１は、入力画像＃１０を、スライス単位、ツリーブロック単位に順次分割することにより、対象ＣＵについてのＣＵ画像＃１００を生成する。
また、符号化設定部２１は、分割処理の結果に基づいて、ヘッダ情報Ｈ’を生成する。ヘッダ情報Ｈ’は、（１）対象スライスに属するツリーブロックのサイズ、形状および対象スライス内での位置についての情報、並びに、（２）各ツリーブロックに属するＣＵのサイズ、形状および対象ツリーブロック内での位置についてのＣＵ情報ＣＵ’を含んでいる。
さらに、符号化設定部２１は、ＣＵ画像＃１００、および、ＣＵ情報ＣＵ’を参照して、ＰＴ設定情報ＰＴＩ’を生成する。ＰＴ設定情報ＰＴＩ’には、（１）対象ＣＵの各ＰＵへの可能な分割パターン、および、（２）各ＰＵに割り付ける可能な予測モード、の全ての組み合わせに関する情報が含まれる。
符号化設定部２１は、各分割パターンおよび各予測モードの組み合わせのコストを算出し、最低コストの分割パターンおよび予測モードを決定する。
符号化設定部２１は、ＣＵ画像＃１００を減算器２６に供給する。また、符号化設定部２１は、ヘッダ情報Ｈ’を符号化データ生成部２９に供給する。また、符号化設定部２１は、ＰＴ設定情報ＰＴＩ’を予測画像生成部２３に供給する。
逆量子化・逆変換部２２は、変換・量子化部２７より供給される、ブロック毎の量子化
予測残差を、逆量子化、および、逆直交変換することによって、ブロック毎の予測残差を復元する。逆直交変換については、図２に示す逆量子化・逆変換部１５について、既に説明したとおりであるので、ここではその説明を省略する。
また、逆量子化・逆変換部２２は、ブロック毎の予測残差を、ＴＴ分割情報（後述）により指定される分割パターンに従って統合し、対象ＣＵについての予測残差Ｄを生成する。逆量子化・逆変換部２２は、生成した対象ＣＵについての予測残差Ｄを、加算器２４に供給する。
予測画像生成部２３は、フレームメモリ２５に記録されている局所復号画像Ｐ’、および、ＰＴ設定情報ＰＴＩ’を参照して、対象ＣＵについての予測画像Ｐｒｅｄを生成する。予測画像生成部２３は、予測画像生成処理により得られた予測パラメータを、ＰＴ設定情報ＰＴＩ’に設定し、設定後のＰＴ設定情報ＰＴＩ’を符号化データ生成部２９に転送する。なお、予測画像生成部２３による予測画像生成処理は、動画像復号装置１の備える予測画像生成部１４と同様であるので、ここでは説明を省略する。
加算器２４は、予測画像生成部２３より供給される予測画像Ｐｒｅｄと、逆量子化・逆変換部２２より供給される予測残差Ｄとを加算することによって、対象ＣＵについての復号画像Ｐを生成する。
フレームメモリ２５には、復号された復号画像Ｐが順次記録される。フレームメモリ２５には、対象ツリーブロックを復号する時点において、当該対象ツリーブロックよりも先に復号された全てのツリーブロック（例えば、ラスタスキャン順で先行する全てのツリーブロック）に対応する復号画像が、当該復号画像Ｐの復号に用いられたパラメータと共に、記録されている。
減算器２６は、ＣＵ画像＃１００から予測画像Ｐｒｅｄを減算することによって、対象ＣＵについての予測残差Ｄを生成する。減算器２６は、生成した予測残差Ｄを、変換・量子化部２７に供給する。
変換・量子化部２７は、予測残差Ｄに対して、直交変換および量子化を行うことで量子化予測残差を生成する。なお、ここで直交変換とは、画素領域から周波数領域への直交変換のことをさす。また、逆直交変換の例としては、ＤＣＴ変換（Discrete Cosine Transform）、およびＤＳＴ変換（Discrete Sine Transform）等が挙げられる。
具体的には、変換・量子化部２７は、ＣＵ画像＃１００、および、ＣＵ情報ＣＵ’を参照し、対象ＣＵの１または複数のブロックへの分割パターンを決定する。また、決定された分割パターンに従って、予測残差Ｄを、各ブロックについての予測残差に分割する。
また、変換・量子化部２７は、各ブロックについての予測残差を直交変換することによって周波数領域における予測残差を生成した後、当該周波数領域における予測残差を量子化することによってブロック毎の量子化予測残差を生成する。
また、変換・量子化部２７は、生成したブロック毎の量子化予測残差と、対象ＣＵの分割パターンを指定するＴＴ分割情報と、対象ＣＵの各ブロックへの可能な全分割パターンに関する情報とを含むＴＴ設定情報ＴＴＩ’を生成する。変換・量子化部２７は、生成したＴＴ設定情報ＴＴＩ’を逆量子化・逆変換部２２および符号化データ生成部２９に供給する。
ＰＵ情報生成部３０は、ＰＴ設定情報ＰＴＩ’に示される予測タイプがインター予測で
ある場合において、ＰＴ設定情報ＰＴＩ’を符号化し、ＰＴ設定情報ＰＴＩを導出する。また、マージ候補についてのＰＴＩ設定情報ＰＴＩ’を生成し、符号化設定部２１に供給する。
符号化データ生成部２９は、ヘッダ情報Ｈ’、ＴＴ設定情報ＴＴＩ’、およびＰＴ設定情報ＰＴＩ’を符号化し、符号化したヘッダ情報Ｈ、ＴＴ設定情報ＴＴＩ、およびＰＴ設定情報ＰＴＩを多重化して符号化データ＃１を生成し、出力する。
（動画像復号装置との対応関係）
動画像符号化装置２は、動画像復号装置１の各構成と対応する構成を含む。ここで、対応とは、同様の処理、または、逆の処理を行う関係にあるということである。
例えば、上述したように、動画像復号装置１が備える予測画像生成部１４の予測画像生成処理と、動画像符号化装置２が備える予測画像生成部２３の予測画像生成処理とは、同様である。
例えば、動画像復号装置１において、ビット列から、シンタックス値を復号する処理は、動画像符号化装置２において、シンタックス値から、ビット列を符号化する処理と逆の処理としての対応となっている。
以下では、動画像符号化装置２における各構成が、動画像復号装置１のＣＵ情報復号部１１、ＰＵ情報復号部１２、およびＴＵ情報復号部１３とどのような対応となっているかについて説明する。これにより、動画像符号化装置２における各構成の動作・機能はより詳細に明らかになるだろう。
符号化データ生成部２９は、復号モジュール１０に対応している。より詳しくいえば、復号モジュール１０が、符号化データおよびシンタックス種別に基づいてシンタックス値を導出するのに対して、符号化データ生成部２９は、シンタックス値およびシンタックス種別に基づいて符号化データを生成する。
符号化設定部２１は、動画像復号装置１のＣＵ情報復号部１１に対応している。符号化設定部２１と、ＣＵ情報復号部１１とを比較すると次のとおりである。
ＣＵ情報復号部１１が、ＣＵ予測タイプ情報に係る符号化データとシンタックス種別とを復号モジュール１０に供給し、復号モジュール１０により復号されたＣＵ予測タイプ情報に基づいてＰＵ分割タイプを決定する。
これに対して、符号化設定部２１は、ＰＵ分割タイプを決定してＣＵ予測タイプ情報を生成し、ＣＵ予測タイプ情報に係るシンタックス値とシンタックス種別とを符号化データ生成部２９に供給する。
なお、符号化データ生成部２９は、復号モジュール１０が備える二値化情報記憶部１０１２、コンテキスト記憶部１０１３、および確率設定記憶部１０１４と同様の構成を備えていてもよい。
ＰＵ情報生成部３０および予測画像生成部２３は、動画像復号装置１のＰＵ情報復号部１２および予測画像生成部１４に対応している。これらを比較すると次のとおりである。
上述のとおり、ＰＵ情報復号部１２は、動き情報に係る符号化データとシンタックス種別とを復号モジュール１０に供給し、復号モジュール１０により復号された動き情報に基
づいて動き補償パラメータを導出する。また、予測画像生成部１４は、導出された動き補償パラメータに基づいて予測画像を生成する。
これに対して、ＰＵ情報生成部３０および予測画像生成部２３は、予測画像生成処理において、動き補償パラメータを決定し、動き補償パラメータに係るシンタックス値とシンタックス種別とを符号化データ生成部２９に供給する。
また、ＰＵ情報生成部３０および予測画像生成部２３は、ＰＵ情報復号部１２が備えるマージ候補優先順位情報記憶部１２２、および参照フレーム設定情報記憶部１２３と同様の構成を備えていてもよい。
変換・量子化部２７は、動画像復号装置１のＴＵ情報復号部１３および逆量子化・逆変換部１５に対応している。これらを比較すると次のとおりである。
ＴＵ情報復号部１３が備えるＴＵ分割設定部１３１は、ノードの分割を行うのか否かを示す情報に係る符号化データおよびシンタックス種別を復号モジュール１０に供給し、復号モジュール１０により復号されたノードの分割を行うのか否かを示す情報に基づいてＴＵ分割を行う。
さらに、ＴＵ情報復号部１３が備える変換係数復元部１３２は、判定情報および変換係数に係る符号化データおよびシンタックス種別を復号モジュール１０に供給し、復号モジュール１０により復号された判定情報および変換係数に基づいて変換係数を導出する。
これに対して、変換・量子化部２７は、ＴＵ分割の分割方式を決定し、ノードの分割を行うのか否かを示す情報に係るシンタックス値およびシンタックス種別を符号化データ生成部２９に供給する。
また、変換・量子化部２７は、予測残差を変換・量子化して得られる量子化変換係数に係るシンタックス値およびシンタックス種別を符号化データ生成部２９に供給する。
なお、変換・量子化部２７は、ＴＵ分割設定部１３１が備える変換サイズ決定情報記憶部１３１４と同様の構成を備えていてもよい。また、符号化データ生成部２９は、復号モジュール１０が備えるコンテキスト記憶部１０３４と同様の構成を備えていてもよい。
（ＰＵ情報生成部３０の詳細）
図５５は、ＰＵ情報生成部３０の構成を示すブロック図である。ＰＵ情報生成部３０は、動き補償パラメータを生成するための動き補償パラメータ生成部３０１を備える。動き補償パラメータ生成部３０１は、双予測制限ＰＵ判定部１２１８、双単予測変換部１２１９、マージ動き補償パラメータ生成部３０１２、および基本動き補償パラメータ生成部３０１３を備える。マージ動き補償パラメータ生成部３０１２は、マージ候補を生成し、ＰＴＩ設定情報ＰＴＩ’として、符号化設定部２１に供給する。また、マージ動き補償パラメータ生成部３０１２は、マージ候補を選択するためのインデックスを、ＰＴ設定情報ＰＴＩとして出力する。基本動き補償パラメータ生成部３０１３は、入力されたＰＴＩ設定情報ＰＴＩ’、ここでは動き補償パラメータからＰＴ設定情報ＰＴＩを符号化する。
続いて、図５６を用いて、マージ動き補償パラメータ生成部３０１２のより詳細な構成について説明すると次のとおりである。図５６は、マージ動き補償パラメータ生成部３０１２の構成を示すブロック図である。なお、スキップＰＵの動きパラメータ導出もマージ動き補償パラメータ生成部３０１２で行われる。
マージ動き補償パラメータ生成部３０１２は、隣接マージ候補導出部１２１２Ａ、時間的マージ候補導出部１２１２Ｂ、ユニーク候補導出部１２１２Ｃ、結合双予測マージ候補導出部１２１２Ｄ、非スケール双予測マージ候補導出部１２１２Ｅ、ゼロベクトルマージ候補導出部１２１２Ｆ、マージ候補導出制御部１２１２Ｇ、マージ候補格納部１２１２Ｈから構成される。
マージ候補を導出する処理は、マージ動き補償パラメータ導出部１２１２と同様に、双予測制限ＰＵ判定部１２１８において双予測制限を行うと判定された小サイズのＰＵについて、双単予測変換部１２１９を用いて双予測であれば単予測の動き補償パラメータに変換することによって、単予測のマージ候補のみを導出する。各部の詳細は既に説明済みであるので省略する。
マージ動き補償パラメータ生成部３０１２は、マージ候補を生成し、ＰＴＩ設定情報ＰＴＩ’として、符号化設定部２１に供給する。また、マージインデックスを、ＰＴ設定情報ＰＴIとして、符号化データ生成部２９に供給する。
続いて、図５７を用いて、基本動き補償パラメータ生成部３０１３のより詳細な構成について説明すると次のとおりである。図５７は、基本動き補償パラメータ生成部３０１３の構成を示すブロック図である。基本動き補償パラメータ生成部３０１３は、隣接動きベクトル候補導出部１２１３Ａ、時間的動きベクトル候補導出部１２１３Ｂ、ゼロベクトルマージ候補導出部１２１３Ｆ、動きベクトル候補導出制御部１２１３Ｇ、動きベクトル候補格納部１２１３Ｈ、動きベクトル候補選択部３０１３Ａ、差分動きベクトル算出部３０１３Ｂ、から構成される。
予測動きベクトル候補を導出する処理は、図５４に示した基本動き補償パラメータ導出部１２１３と同様であるので説明を省略する。動きベクトル候補選択部３０１３Ａは、供給された予測動きベクトルに最も近い予測動きベクトル候補を、動きベクトル候補格納部１２１３Ｈに格納された予測動きベクトル候補から選択し、そのインデックスを予測動きベクトルインデックスとして導出する。選択された予測動きベクトルは、差分動きベクトル算出部３０１３Ｂに供給される。差分動きベクトル算出部３０１３Ｂは供給された動きベクトルと予測動きベクトルとの差分を差分動きベクトルとして算出する。インター予測フラグ、参照インデックス番号、及び、導出された予測動きベクトルインデックス、差分動きベクトルは、ＰＴ設定情報ＰＴとして、符号化データ生成部２９に供給される。
（具体的構成との対応関係）
［１］’ 符号化設定部および符号化データ生成部
［１−１］’コンテキストの参照を制限する構成の例
符号化データ生成部２９は、ＰＵ分割タイプが非対称パーティションであるとき、非対称パーティションの分割の種類を示す情報を、ＣＡＢＡＣのコンテキストを用いないで符号化処理を行ってもかまわない。
具体的な構成は、例えば、動画像復号装置１の構成例［１−１］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［１−１］の説明における「ＣＵ予測モード復号部１０１１」、「確率設定記憶部１０１４」、および「復号（する）」を、それぞれ、「符号化データ生成部２９」、「確率設定記憶部１０１４に相当する構成」、および「符号化（する）」と読み替えるものとする。
［１−２］’ＣＵ予測タイプ情報（ｐｒｅｄ＿ｔｙｐｅ）を符号化する構成
符号化データ生成部２９は、二値化情報を参照してＣＵ予測タイプ情報を符号化するよう構成してもよい。
具体的な構成は、例えば、動画像復号装置１の構成例［１−２］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［１−２］の説明における「ＣＵ予測モード復号部１０１１」、「二値化情報記憶部１０１２」、および「復号（する）」を、それぞれ、「符号化データ生成部２９」、「二値化情報記憶部１０１２に相当する構成」、および「符号化（する）」と読み替えるものとする。
［１−３］’小サイズのＣＵにおいて、イントラＣＵについて短い符号を符号化する構成
符号化データ生成部２９は、小サイズのＣＵにおいて、イントラＣＵについて短い符号を符号化するよう構成してもよい。
具体的な構成は、例えば、動画像復号装置１の構成例［１−３］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［１−３］の説明における「ＣＵ予測モード復号部１０１１」、「コンテキスト記憶部１０１３」、「二値化情報記憶部１０１２」、および「復号（する）」を、それぞれ、「符号化データ生成部２９」、「コンテキスト記憶部１０１３に相当する構成」、「二値化情報記憶部１０１２に相当する構成」、および「符号化（する）」と読み替えるものとする。
［１−４］’近傍の予測パラメータに応じてｂｉｎ列の解釈を変更する構成
符号化データ生成部２９は、隣接領域に割り付けられている予測パラメータを参照して、ｂｉｎ列の解釈を変更するよう構成してもよい。
具体的な構成は、例えば、動画像復号装置１の構成例［１−４］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［１−４］の説明における「ＣＵ予測モード復号部１０１１」、「二値化情報記憶部１０１２」、および「復号（する）」を、それぞれ、「符号化データ生成部２９」、「二値化情報記憶部１０１２に相当する構成」および「符号化（する）」と読み替えるものとする。
［２］’予測画像生成部および符号化データ生成部
［２−１］’マージ候補の位置および優先順位の例
ＰＵ情報生成部３０は、ＰＵ分割タイプが非対称である場合、ＰＵ分割タイプが対称である場合と異なる方法でマージ候補の優先順位を決定する構成であってもよい。
具体的な構成は、例えば、動画像復号装置１の構成例［２−１］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［２−１］の説明における「動き補償パラメータ導出部１２１」、および「マージ候補優先順位情報記憶部１２２」を、それぞれ、「動き補償パラメータ生成部３０１」、および「マージ候補優先順位情報記憶部１２２に相当する構成」と読み替えるものとする。
［２−２］’ＣＵサイズとスキップ／マージとの組み合わせによるマージ候補の変更
ＰＵ情報生成部３０は、ＣＵサイズと、当該ＣＵがスキップ／マージを行うＣＵであるか否かとの組み合わせに応じてマージ候補を変更する構成であってもよい。
具体的な構成は、例えば、動画像復号装置１の構成例［２−２］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［２−２］の説明における「動き補償パラメータ導出部１２１」、および「マージ候補優先順位情報記憶部１２２」を、それぞれ、「動き補償パラメータ生成部３０１」、および「マージ候補優先順位情報記憶部１２２に相当する構成」と読み替えるものとする。
［２−３］’参照フレーム数の決定
動き補償パラメータ生成部３０１を、以下の［２−３−１］’〜［２−３−４］’に示すように構成してもよく、これによりインター予測において単予測および双予測のいずれの予測方式を適用するかを決定してもよい。
［２−３−１］’小サイズＰＵでの双予測制限
動き補償パラメータ生成部３０１は、参照フレーム設定情報を参照して、インター予測において単予測および双予測のいずれの予測方式を適用するかを決定してもよい。
具体的な構成は、例えば、動画像復号装置１の構成例［２−３−１］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［２−３−１］の説明における「動き補償パラメータ導出部１２１」、および「参照フレーム設定情報記憶部１２３」を、それぞれ、「動き補償パラメータ生成部３０１」、および「参照フレーム設定情報記憶部１２３に相当する構成」と読み替えるものとする。
参照フレーム設定情報において、小サイズの予測方向を単予測に限定することによって、動き補償パラメータ生成部３０１における予測画像生成に必要な処理量を大幅に低減することができる。また、小サイズのＰＵにおいて、マージ候補を単予測に制限することによっても、予測画像生成に必要な処理量を低減することができる。さらに、小サイズのＰＵにおいて、双予測マージ候補の導出を省略することによっても、マージ候補の導出に必要な処理量を低減することができる。
［２−３−２］’双予測の制限を行うサイズの決定
ＰＵ情報生成部３０は、双予測の制限を行うサイズを決定し符号化してもよい。具体的な構成は、図８１に示すとおりである。図８１に示す構成は、図５５、５６に示したＰＵ情報生成部３０において、双予測制限ＰＵ判定部１２１８を、双予測制限ＰＵ判定部１２１８Ａに変更したものである。
より詳細については、例えば、動画像復号装置１の構成例［２−３−２］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［２−３−２］の説明における「動き補償パラメータ導出部１２１」、「マージ動き補償パラメータ導出部１２１２」および「参照フレーム設定情報記憶部１２３」を、それぞれ、「動き補償パラメータ生成部３０１」、「マージ動き補償パラメータ生成部３０１２」および「参照フレーム設定情報記憶部１２３に相当する構成」と読み替えるものとする。
［２−３−３］’部分的な双予測制限を行うための構成
ＰＵ情報生成部３０は、部分的な双予測制限を行ってもよい。具体的な構成は、図８１および図８２に示すとおりである。図８１に示す構成は、図５５、５６に示したＰＵ情報生成部３０において、双単予測変換部１２１９を、双単予測変換部１２１９Ａに変更したものである。図８２に示す構成は、図５５、５６に示したＰＵ情報生成部３０において、双単予測変換部１２１９を、双単予測変換部１２１９Ｂに変更したものである。
より詳細については、例えば、動画像復号装置１の構成例［２−３−３］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［２−３−３］の説明における「動き補償パラメータ導出部１２１」、「マージ動き補償パラメータ導出部１２１２」および「参照フレーム設定情報記憶部１２３」を、それぞれ、「動き補償パラメータ生成部３０１」、「マージ動き補償パラメータ生成部３０１２」および「参照フレーム設定情報記憶部１２３に相当する構成」と読み替えるものとする。
［２−３−４］’動きベクトルの整数化
ＰＵ情報生成部３０は、動きベクトルの整数化を行ってもよい。具体的な構成は、図８３に示すとおりである。図８３に示す構成は、図５５、５６に示したＰＵ情報生成部３０において、双単予測変換部１２１９を、双単予測変換部１２１９Ａに変更したものである。図８２に示す構成は、図５５、５６に示したＰＵ情報生成部３０において、双単予測変換部１２１９を、動きベクトル整数化部１２２０に変更したものである。
より詳細については、例えば、動画像復号装置１の構成例［２−３−４］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［２−３−４］の説明における「動き補償パラメータ導出部１２１」、「マージ動き補償パラメータ導出部１２１２」および「参照フレーム設定情報記憶部１２３」を、それぞれ、「動き補償パラメータ生成部３０１」、「マージ動き補償パラメータ生成部３０１２」および「参照フレーム設定情報記憶部１２３に相当する構成」と読み替えるものとする。
［２−３−２］’〜［２−３−４］’に示したように双予測を制限することによって、動き補償パラメータ生成部３０１における予測画像生成に必要な処理量を低減することができる。
（符号化データ上の動き補償パラメータの制限）
動画像復号装置では、レベル規制による符号化データの制限を説明した。これはレベル毎に符号化データを導出して得られる動き補償パラメータの値を制限するものである。このような制限は、以下に示す動画像符号化装置２により実現できる。なお、ここではインター予測フラグの符号化のスキップ、マージ候補の双単変換、マージ候補導出を行わない例を説明する。
本構成の動画像符号化装置２は、図８８に示すＰＵ情報生成部３０を用いる。ＰＵ情報生成部３０は、動き補償パラメータ生成部３０１を備える。動き補償パラメータ生成部３０１は、マージ動き補償パラメータ生成部３０１２、および基本動き補償パラメータ生成部３０１３を備える。予測制限ＰＵ判定部１２１８の代わりに、動き補償パラメータ制限部３０１４を備える。本構成では、マージ候補の双単変換を行わないため、双単予測変換部１２１９を含めないが、小ＰＵサイズの場合にマージ候補の双単変換を行うために双単予測変換部１２１９を含める構成でも良い。
動き補償パラメータ制限部３０１４は、ＰＵサイズ情報と、ＰＴＩ設定情報ＰＴＩ’を入力し、ＰＴＩ設定情報ＰＴＩ’の動き補償パラメータに応じて追加コストを算出する。追加コストは、符号化設定部２１に伝送される。伝送された追加コストは最小コストに追加されるため大きな追加コストを設定することにより、特定の動き補償パラメータの選択を防ぐことができる。
［疑似コード］
続いて、図８７に示す疑似コードを用いて、動き補償パラメータ制限部３０１４の動作について説明する。以下に、図８７に示す擬似コードの各ステップＳについて説明する。
Ｓ８７１：動き補償パラメータ制限部３０１４は、レベルlevel_idcの値が所定の閾値
ＴＨ１未満であるか否かを判定する。
Ｓ８７２：レベルlevel_idcの値がＴＨ１未満である場合、動き補償パラメータ制限部
３０１４は、特に処理は行わない。
Ｓ８７３：一方、レベルlevel_idcの値がＴＨ１未満でない場合、動き補償パラメータ
制限部３０１４は、さらにレベルlevel_idcの値が所定の閾値ＴＨ２未満か否かを判定す
る。
Ｓ８７４：レベルlevel_idcの値がＴＨ２未満である場合、動き補償パラメータ制限部
３０１４は、DisableBipred変数を次のように設定する。
ＣＵサイズの対数値（log2CUSize）が、Log2MinCUSize（=3）と一致しており、かつ、
ＰＵのモードが、２Ｎ×２Ｎ以外のモードのＰＵについて双予測を制限する。
すなわち、Ｓ８７４では、最小ＣＵサイズである８×８のＣＵについて、８×８ＰＵ以外（２Ｎ×２Ｎ）のＰＵにおける双予測を制限する。
さらに、ＰＴＩ設定情報ＰＴＩ’が上記、制限に該当する場合には、追加コストを十分に大きく設定する。該当しない場合には、追加コストを０とする。
Ｓ８７４´：レベルlevel_idcの値がＴＨ１未満である場合、動き補償パラメータ制限
部３０１４は、使用可能なＰＵサイズを制限する。すなわち、動き補償パラメータ制限を制限するフラグinter_4x4_enable_flag = 0とし４×４ＰＵの使用を制限を行う。さらに
、ＰＴＩ設定情報ＰＴＩ’が上記、制限に該当する場合、すなわちＰＵサイズが４×４の場合には、追加コストを十分に大きく設定する。該当しない場合には、追加コストを０とする。なお、上記では動き補償パラメータを制限するフラグとしてinter_4x4_enable_flagを用いたが、４×４ＰＵの使用を制限する他のフラグ（例えば、use_restricted_prediction）でも構わない。
Ｓ８７５：レベルlevel_idcの値がＴＨ２未満でない場合、動き補償パラメータ制限部
３０１４は、DisableBipred変数を次のように設定する。
ＣＵサイズの対数値（log2CUSize）が、Log2MinCUSize（=4）と一致しており、かつ、
ＰＵのモードが、Ｎ×ＮであるＰＵ（最小ＰＵ）について双予測を制限する。
すなわち、Ｓ８７５では、最小ＣＵサイズが、８×８以外（例えば、１６×１６）の場合、最小ＣＵサイズと一致するサイズのＣＵについて、最小ＰＵ（Ｎ×Ｎ）における双予測を制限している。
さらに、ＰＴＩ設定情報ＰＴＩ’が上記、制限に該当する場合には、追加コストを十分に大きく設定する。該当しない場合には、追加コストを０とする。
Ｓ８７５´：レベルlevel_idcの値がＴＨ２未満でない場合、動き補償パラメータ制限
部３０１４は、使用可能なＣＵサイズを制限することで、使用可能なＰＵサイズを制限する。すなわち、ＣＵサイズの対数値Log2MinCuSizeを４以上に制限する。log2_min_cu_size_minus3を１以上に制限する。
さらに、ＰＴＩ設定情報ＰＴＩ’が上記、制限に該当する場合、すなわちＣＵサイズが８×８の場合には、追加コストを十分に大きく設定する。該当しない場合には、追加コストを０とする。なお、Ｓ８７４において、動き補償パラメータ制限部３０１４は、レベルlevel_idcの値に応じて、図８４のテーブルのMaxLog2MinCUSizeを参照して、Log2MinCUSizeを決定してもよい。例えば、図８４に示すように、レベルlevel_idcの値がＴＨ１以上
、ＴＨ２未満である場合、MaxLog2MinCuSize=3であるので、Ｓ８７４において、動き補償パラメータ制限部３０１４は、Log2MinCUSizeの値として、MaxLog2MinCuSize=3を用いる
ことができる。
［３］’変換・量子化部および符号化データ生成部
［３−１］’ＰＵ分割タイプが非対称の場合において分割領域サイズを導出する構成の例変換・量子化部２７は、ＰＵ分割タイプが非対称の場合、小さい方のＰＵでは、長方形（非正方形）の変換を適用する一方で、大きい方のＰＵでは、正方形の変換を適用する構成であってもよい。
具体的な構成は、例えば、動画像復号装置１の構成例［３−１］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［３−１］の説明における「対象領域設定部１３１１」「分割決定部１３１２」および「分割領域設定部１３１３」は、「変換・量子化部２７」と読み替えるものとする。また、構成例［３−１］の説明における「変換サイズ決定情報記憶部１３１４」を、「変換サイズ決定情報記憶部１３１４に相当する構成」と読み替えるものとする。
［３−２］’一部のＰＵ分割タイプが正方形の分割であるとき非矩形変換を適用する構成の例
変換・量子化部２７は、ＰＵ分割タイプが正方形の分割である場合、対象ノードを非正方形に分割する構成であってもよい。また、上記構成に加えて、変換・量子化部２７は、は、ＣＵサイズが、１６×１６サイズであり、かつＰＵ分割タイプが、２Ｎ×２Ｎである場合、各分割深度においてスキャン順が統一できるように分割を行う構成であってもよい。
具体的な構成は、例えば、動画像復号装置１の構成例［３−２］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［３−２］の説明における「分割領域設定部１３１３」、および「変換サイズ決定情報記憶部１３１４」は、それぞれ、「変換・量子化部２７」、および「変換サイズ決定情報記憶部１３１４に相当する構成」と読み替えるものとする。
［３−３］’変換係数符号化時にコンテキストを参照する具体的構成
符号化データ生成部２９は、ＰＵ分割タイプが非対称分割である場合、小さい方のＰＵに含まれるＴＵと、大きい方のＰＵに含まれるＴＵとで異なるコンテキストを用いて、非ゼロ変換係数の存否情報および変換係数の少なくとも一方を符号化する構成であってもよい。
具体的な構成は、例えば、動画像復号装置１の構成例［３−３］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［３−３］の説明における「判定情報復号部１０３２」および「変換係数復号部１０３３」は、「符号化データ生成部２９」と読み替えるものとする。また、構成例［３−３］の説明における「復号（する）」、および「コンテキスト記憶部１０３４」を、それぞれ、「符号化（する）」、および「コンテキスト記憶部１０３４に相当する構成」と読み替えるものとする。
（処理の流れ）
図２６を用いて、動画像符号化装置２におけるＣＵ符号化処理について説明すると以下のとおりである。なお、以下では、対象ＣＵは、インターＣＵ、または、スキップＣＵであるとする。図２４は、動画像符号化装置２におけるＣＵ符号化処理（インター／スキップＣＵ）の流れの一例について示すフローチャートである。
ＣＵ符号化処理が開始されると、符号化設定部２１が、対象ＣＵについてＣＵ予測情報を決定し、符号化データ生成部２９が、符号化設定部２１により決定されたＣＵ予測情報を符号化する（Ｓ２１）。この処理は、ＣＵ単位で行われる。
具体的には、符号化設定部２１が、対象ＣＵがスキップＣＵであるか否かを決定する。
対象ＣＵがスキップＣＵである場合、符号化設定部２１は、スキップフラグＳＫＩＰを符号化データ生成部２０に符号化させる。また、対象ＣＵがスキップＣＵでない場合、符号化設定部２１は、ＣＵ予測タイプ情報Ｐｒｅｄ＿ｔｙｐｅを符号化データ生成部２０に符号化させる。
次に、ＰＵ単位の処理が行われる。すなわち、予測画像生成部２３が動き情報を導出し、符号化データ生成部２９が、予測画像生成部２３により導出された動き情報を符号化する（Ｓ２２）。また、予測画像生成部１４は、導出した当該動き情報に基づいてインター予測により予測画像を生成する（Ｓ２３）。
次に、変換・量子化部２７が、ＴＵ分割符号化処理を行う（Ｓ２４）。具体的には、変換・量子化部２７は、対象ＣＵのＣＵサイズおよびＰＵ分割タイプに基づいて、ＴＵ分割の方式を設定する。この処理は、ＣＵ単位で行われる。
次に、ＴＵ単位の処理が行われる。すなわち、変換・量子化部２７が、予測残差を変換係数に変換・量子化し（Ｓ２５）、符号化データ生成部２９が、変換・量子化された変換係数を符号化する（Ｓ２６）。
次に、逆量子化・逆変換部２２が、変換・量子化された変換係数を、逆量子化・逆変換して予測残差を復元するとともに、加算器２４が、予測画像および予測残差を加算することにより、復号画像が生成される（Ｓ２７）。この処理は、ＣＵ単位で行われる。
〔応用例〕
上述した動画像符号化装置２及び動画像復号装置１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい。
まず、上述した動画像符号化装置２及び動画像復号装置１を、動画像の送信及び受信に利用できることを、図２７を参照して説明する。
図２７の（ａ）は、動画像符号化装置２を搭載した送信装置ＰＲＯＤ＿Ａの構成を示したブロック図である。図２７の（ａ）に示すように、送信装置ＰＲＯＤ＿Ａは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ａ１と、符号化部ＰＲＯＤ＿Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部ＰＲＯＤ＿Ａ２と、変調部ＰＲＯＤ＿Ａ２が得た変調信号を送信する送信部ＰＲＯＤ＿Ａ３と、を備えている。上述した動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ａ１として利用される。
送信装置ＰＲＯＤ＿Ａは、符号化部ＰＲＯＤ＿Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ａ４、動画像を記録した記録媒体ＰＲＯＤ＿Ａ５、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ａ６、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図２７の（ａ）においては、これら全てを送信装置ＰＲＯＤ＿Ａが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体ＰＲＯＤ＿Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体ＰＲＯＤ＿Ａ５と符号化部ＰＲＯＤ＿Ａ１との間に、記録媒体ＰＲＯＤ＿Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。
図２７の（ｂ）は、動画像復号装置１を搭載した受信装置ＰＲＯＤ＿Ｂの構成を示したブロック図である。図２７の（ｂ）に示すように、受信装置ＰＲＯＤ＿Ｂは、変調信号を受信する受信部ＰＲＯＤ＿Ｂ１と、受信部ＰＲＯＤ＿Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部ＰＲＯＤ＿Ｂ２と、復調部ＰＲＯＤ＿Ｂ２が得た符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｂ３と、を備えている。上述した動画像復号装置１は、この復号部ＰＲＯＤ＿Ｂ３として利用される。
受信装置ＰＲＯＤ＿Ｂは、復号部ＰＲＯＤ＿Ｂ３が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｂ４、動画像を記録するための記録媒体ＰＲＯＤ＿Ｂ５、及び、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｂ６を更に備えていてもよい。図２７の（ｂ）においては、これら全てを受信装置ＰＲＯＤ＿Ｂが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体ＰＲＯＤ＿Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｂ３と記録媒体ＰＲＯＤ＿Ｂ５との間に、復号部ＰＲＯＤ＿Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。
なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。
また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービ
スなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線又は有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、及びタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置ＰＲＯＤ＿Ａ及び受信装置ＰＲＯＤ＿Ｂの双方として機能する。
次に、上述した動画像符号化装置２及び動画像復号装置１を、動画像の記録及び再生に利用できることを、図２８を参照して説明する。
図２８の（ａ）は、上述した動画像符号化装置２を搭載した記録装置ＰＲＯＤ＿Ｃの構
成を示したブロック図である。図２８の（ａ）に示すように、記録装置ＰＲＯＤ＿Ｃは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ｃ１と、符号化部ＰＲＯＤ＿Ｃ１が得た符号化データを記録媒体ＰＲＯＤ＿Ｍに書き込む書込部ＰＲＯＤ＿Ｃ２と、を備えている。上述した動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ｃ１として利用される。
なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)などのように、記録装置ＰＲＯＤ＿Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（UniversalSerial Bus）フラッシュメモリなど
のように、記録装置ＰＲＯＤ＿Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc:登録商標）などのように、記録
装置ＰＲＯＤ＿Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
また、記録装置ＰＲＯＤ＿Ｃは、符号化部ＰＲＯＤ＿Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ｃ３、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ｃ４、動画像を受信するための受信部ＰＲＯＤ＿Ｃ５、及び、画像を生成または加工する画像処理部Ｃ６を更に備えていてもよい。図２８の（ａ）においては、これら全てを記録装置ＰＲＯＤ＿Ｃが備えた構成を例示しているが、一部を省略しても構わない。
なお、受信部ＰＲＯＤ＿Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部ＰＲＯＤ＿Ｃ５と符号化部ＰＲＯＤ＿Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。
このような記録装置ＰＲＯＤ＿Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤＤ（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子ＰＲＯＤ＿
Ｃ４又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＰＲＯＤ＿Ｃ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部ＰＲＯＤ＿Ｃ５又は画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラＰＲＯＤ＿Ｃ３又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）なども、このような記録装置ＰＲＯＤ＿Ｃの一例である。
図２８の（ｂ）は、上述した動画像復号装置１を搭載した再生装置ＰＲＯＤ＿Ｄの構成を示したブロックである。図２８の（ｂ）に示すように、再生装置ＰＲＯＤ＿Ｄは、記録媒体ＰＲＯＤ＿Ｍに書き込まれた符号化データを読み出す読出部ＰＲＯＤ＿Ｄ１と、読出部ＰＲＯＤ＿Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｄ２と、を備えている。上述した動画像復号装置１は、この復号部ＰＲＯＤ＿Ｄ２として利用される。
なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置ＰＲＯＤ＿Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
また、再生装置ＰＲＯＤ＿Ｄは、復号部ＰＲＯＤ＿Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｄ３、動画像を外部に出力するための出力
端子ＰＲＯＤ＿Ｄ４、及び、動画像を送信する送信部ＰＲＯＤ＿Ｄ５を更に備えていてもよい。図２８の（ｂ）においては、これら全てを再生装置ＰＲＯＤ＿Ｄが備えた構成を例示しているが、一部を省略しても構わない。
なお、送信部ＰＲＯＤ＿Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｄ２と送信部ＰＲＯＤ＿Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。
このような再生装置ＰＲＯＤ＿Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子ＰＲＯＤ＿Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＰＲＯＤ＿Ｄ３が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子ＰＲＯＤ＿Ｄ４又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、ラップトップ型又はタブレット型ＰＣ（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）なども、このような再生装置ＰＲＯＤ＿Ｄの一例である。
〔まとめ〕
本発明の一対応に係る画像復号装置は、画面間予測の予測方式として、１枚の参照画像を参照する単予測または２枚の参照画像を参照する双予測を用いて予測単位内の画像を復号する画像復号装置において、前記単予測または前記双予測のいずれかの予測方式を示す動き補償パラメータを導出する動き補償パラメータ導出部を備え、前記予測単位が所定のサイズ以下の場合、前記動き補償パラメータ導出部は、前記予測方式を切り替えて前記動き補償パラメータを導出する。
本発明の一態様に係る画像復号装置は、予測単位の動き補償パラメータをマージ候補として導出する処理において、隣接する予測単位の動き補償パラメータに基づいて、該マージ候補を導出するマージ候補導出手段を備え、前記マージ候補が前記双予測を示している場合、前記動き補償パラメータ導出部は、前記予測方式として前記単予測を用いて前記動き補償パラメータを導出する。
本発明の一態様に係る画像復号装置は、前記動き補償パラメータは、少なくとも第１の参照予測リストを用いるか否かを示す第１の予測リスト利用フラグと第２の参照予測リストを用いるか否かを示す第２の予測リスト利用フラグとを含み、前記動き補償パラメータ導出部は、前記第１の予測リスト利用フラグ及び前記第２の予測リスト利用フラグを用いて、前記動き補償パラメータを導出する。
本発明の一態様に係る画像復号装置は、前記第１の予測リスト利用フラグ及び第２の予測リスト利用フラグが、該第１及び第２の予測リスト利用フラグを利用することを示している場合、前記動き補償パラメータ導出部は、前記第１の予測リスト利用フラグ又は前記第２の予測リスト利用フラグを利用しないように変換する。
本発明の一態様に係る画像復号装置は、前記予測単位のサイズが、該予測単位の幅と高さを用いて算出される。
本発明の一態様に係る画像復号方法は、画面間予測の予測方式として、１枚の参照画像
を参照する単予測または２枚の参照画像を参照する双予測を用いて予測単位内の画像を復号する画像復号方法において、前記単予測または前記双予測のいずれかの予測方式を示す動き補償パラメータを導出するステップと、前記予測単位のサイズが、所定のサイズ以下か否かを判定するステップとを少なくとも含み、前記動き補償パラメータを導出するステップは、前記予測単位が前記所定のサイズ以下の場合、前記予測方式を切り替えて前記動き補償パラメータを導出する。
本発明の一態様に係る画像符号化装置は、画面間予測の予測方式として、１枚の参照画像を参照する単予測または２枚の参照画像を参照する双予測を用いて予測単位内の画像を符号化する画像符号化装置において、前記単予測または前記双予測のいずれかの予測方式を示す動き補償パラメータを導出する動き補償パラメータ導出部を備え、前記予測単位が所定のサイズ以下の場合、前記動き補償パラメータ導出部は、前記予測方式を切り替えて前記動き補償パラメータを導出する。
本発明の一態様に係る画像復号装置は、符号化単位毎に、画像符号化データを復号して復号画像を生成する画像復号装置において、前記符号化単位を分割する分割タイプを指定する情報を復号するＣＵ情報復号部と、コンテキストを用いた算術復号又はコンテキストを用いない算術復号により、前記画像符号化データからバイナリ値を復号する算術復号部とを備え、前記ＣＵ情報復号部が、前記分割タイプとして非対称的分割（ＡＭＰ; Asymmetric Motion Partition）を指定する情報を復号する場合、前記算術復号部は、前記バイ
ナリ値の位置に応じて、前記コンテキストを用いた算術復号と前記コンテキストを用いない算術復号とを切り替えて復号する。
本発明の上記の態様によれば、非対称パーティションを用いる場合における符号量の削減と、非対称パーティションの性質を活用した効率のよい符号化／復号処理を実現することができる。
また、本発明は以下のように表現することもできる。本発明の一態様に係る画像復号装置は、符号化単位毎に、画像を復元するための情報を画像符号化データから復号して画像を復元する画像復号装置において、予測単位のサイズと符号化単位に適用される予測方式との組み合わせに割り当てられている符号について、所定サイズ以下のサイズの符号化単位に画面内予測の予測方式が適用される組み合わせに対して、該組み合わせ以外の組み合わせに割り当てられている符号より短い符号を復号する復号手段を備えることを特徴とする。
上記の構成において、所定サイズ以下のサイズの符号化単位は、当該所定サイズよりも大きいサイズの符号化単位では、インター予測が当たりにくくなるようなサイズの符号化単位である。
インター予測が当たりにくい領域では、所定サイズ以下のサイズの小さい符号化単位が適用される傾向がある。なお、以下、所定サイズよりも大きいサイズの符号化単位のことを大きい符号化単位と称する。
所定サイズ以下のサイズの符号化単位は、例示的には、最小サイズの符号化単位であり、８×８画素の符号化単位である。
このような小さい符号化単位では、大きい符号化単位よりも空間相関性が高くなるので、予測精度の向上を図るためイントラＣＵが適用されることが多い。
上記の構成では、符号化サイズが小さく、予測方式が画面内予測である組み合わせにつ
いて、それ以外の組み合わせよりも短い符号が割り当てられる。
このため、上記の構成によれば、所定サイズ以下のサイズの符号化単位において発生確率が高い組み合わせに短い符号を割り当てることができ、符号化効率が向上するという効果を奏する。
本発明の一態様に係る画像復号装置は、上記復号手段が、上記組み合わせに対して、上記所定サイズより大きいサイズの符号化単位に画面内予測の予測方式が適用される組み合わせに対して割り当てられている符号に比べて、短い符号を復号することが好ましい。
上記の構成によれば、画面内予測が当たりにくい大きい符号化単位において画面内予測の予測方式が適用される場合よりも、画面内予測が当たりやすい小さい符号化単位において画面内予測の予測方式が適用される場合に、より短い符号が復号される。
これにより、出現頻度が高い組み合わせに対して、短い符号を復号することができ、その結果、符号化効率を向上させることができる。
本発明の一態様に係る画像復号装置は、上記復号手段が、上記組み合わせに対して、上記所定サイズと同一サイズの符号化単位に画面内予測以外の予測方式が適用される組み合わせに対して割り当てられている符号に比べて、短い符号を復号することが好ましい。
上記の構成によれば、小さい符号化単位において予測が当たりにくい画面間予測よりも、予測が当たりやすい画面内予測について、短い符号を復号することができる。
これにより、出現頻度が高い組み合わせに対して、短い符号を復号することができ、その結果、符号化効率を向上させることができる。
本発明の一態様に係る画像復号装置は、予測単位内の画像を、１枚の参照画像を参照する単予測、及び、２枚の参照画像を参照する双予測の何れかの画面間予測の予測方式によって復元する画像復号装置において、上記画面間予測が適用される、所定サイズ以下のサイズの予測単位である対象予測単位について、双予測を行うことを制限する双予測制限手段を備えることを特徴とする。
双予測は、単予測よりも処理量が多い。なお、双予測とは、画面間予測において参照する画像を２つ用いる予測方式のことである。参照する画像は、対象フレームに対して時間的に前方であっても後方であってもよい。
また、所定サイズ以下のサイズの小さい予測単位では、所定サイズよりも大きいサイズの大きい予測単位よりも、単位面積当たりの処理量が多い。
従って、小さい予測単位において双予測を行うと、どちらも処理量が多いため、復号処理のボトルネックになりやすい。
上記の構成によれば、小さい予測単位において双予測を行うことを制限する。なお、制限するとは、双予測における一部の処理を省略すること、および、双予測の処理を行わないことを含む。
上記制限を行うことで、復号処理のボトルネックになるような処理の処理量を低減することができるという効果を奏する。
本発明の一態様に係る画像復号装置は、上記双予測制限手段が、上記対象予測単位における予測画像の生成に用いる動きベクトルの少なくとも一部の復号を省略しない予測単位であって、かつ、上記対象予測単位の近傍の予測単位に割り付けられている予測パラメータから、該対象予測単位に割り付ける予測パラメータの推定を行わない上記対象予測単位に対して、上記制限を行うことが好ましい。
上記の構成によれば、いわゆるスキップ処理およびマージ処理を行わず、実際に対象予測単位に予測パラメータを導出する場合において、双予測を制限する。
スキップ処理やマージ処理を行わない場合、動きベクトルを全て復号する必要があり処理量が増加する。したがって、そのような場合に上記制限を行うことで、復号処理のボトルネックになるような処理の処理量を低減することができる。
本発明の一態様に係る画像復号装置は、上記双予測制限手段が、双予測および単予測のいずれを行うかを示す情報の復号を省略して、単予測を行うことが好ましい。
上記の構成によれば、双予測を制限する対象予測単位における復号処理を簡略化することができる。また、単予測を行うことが予め決まっているのに、双予測および単予測のいずれを行うかを示す情報を復号するというオーバーヘッドを回避することができる。
本発明の一態様に係る画像復号装置は、上記双予測制限手段が、双予測における重み付け予測に関する情報の処理を省略することが好ましい。
上記の構成によれば、双予測における重み付け予測に関する情報の処理を省略することで、双予測における処理量を軽減できる。その結果、重み付け予測に関する情報の処理のような、復号処理のボトルネックになるような処理の処理量を低減することができる。
本発明の一態様に係る画像復号装置では、当該画像復号装置は、復号済みの予測単位の復号に用いた動き補償パラメータからマージ候補を導出するマージ候補導出手段を備え、上記双予測制限手段は、上記マージ候補導出手段で導出されるマージ候補が双予測である場合には、該双予測を単予測に変換する双単予測変換手段を備えるものであってもよい。
上記の構成によれば、対象予測単位における予測画像の復号にマージ処理を用いる場合でも、双予測を制限することができ、対象予測単位における復号処理を簡略化することができる。
本発明の一態様に係る画像復号装置は、上記双単予測変換手段が、参照ピクチャリストの使用の有無を示すフラグである予測リスト利用フラグを２つ用いる場合に、該２つの予測リスト利用フラグの両者が、上記参照ピクチャリストを使用することを示しているとき、上記２つの予測リスト利用フラグの一方のフラグを、上記参照ピクチャリストを使用しないことを示すように変換するものであってもよい。
上記の構成によれば、予測リスト利用フラグを用いて双予測を行うか、単予測を行うかを制御する画像復号装置において、双予測を制限することができ、対象予測単位における復号処理を簡略化することができる。
本発明の一態様に係る画像復号装置は、上記双単予測変換手段が、Ｌ０リストを使用することを示す参照ピクチャリストのフラグを、当該Ｌ０リストを使用しないことを示すように変換するものであってもよい。
上記の構成によれば、予測リスト利用フラグを用いて双予測を行うか、単予測を行うかを制御する復号装置において、符号化効率を保持したまま、双予測を制限することができ、対象予測単位における復号処理を簡略化することができる。
ここで、Ｌ０リストとは、主として前方向予測に使用するピクチャのリストである。一般に、動き補償パラメータの導出では、Ｌ０リストの参照ピクチャを優先することが多い。逆に、Ｌ０リストの参照ピクチャの代わりにＬ１リストの参照ピクチャを使用することによれば、これらのＬ０リストを優先する導出処理と差別化することができる。ある符号化パラメータにより複数の導出処理が選択可能な場合において、あるグループの導出処理をＬ０リスト優先、他のグループの導出処理をＬ１リスト優先とすると、各々の導出処理は互いに相補的に用いることができるため、より多くの動きの性質のシーケンスや領域において有効に作用する。そのため、双単予測変換においては、Ｌ１リストを用いることによって高い符号化効率を得ることができる。
本発明の一態様に係る画像復号装置は、上記双単予測変換手段が、上記参照ピクチャリストの使用の有無を示すフラグを、上記参照ピクチャリストを使用しないことを示すように変換する場合、参照インデックス番号および動きベクトルのリフレッシュを行わないものであってもよい。
上記の構成によれば、参照ピクチャリストの使用を制限した場合においても、後続の処理において、制限した方の、参照インデックス番号および動きベクトルの値を使用することができる。そのため、リフレッシュを行う場合と比較して符号化効率を保持したまま、双予測を制限することができ、対象予測単位における復号処理を簡略化することができる。
本発明の一態様に係る画像復号装置は、上記双予測制限手段が、結合インター予測参照インデックスに対応するコード番号を復号する場合、コード番号の値の最大値を、双予測を制限するときは単予測の結合参照ピクチャセットの数に設定し、双予測を制限しないときは、単予測の結合参照ピクチャセットの数と双予測の結合参照ピクチャセットの数との和に設定するものであってもよい。
上記の構成によれば、結合インター予測参照インデックスを用いる画像復号装置において、単予測を行うことが予め決まっているのに、双予測の場合に対応するコード番号を復号するというオーバーヘッドを回避することができる。
本発明の一態様に係る画像復号装置は、上記双予測制限手段が、結合インター予測参照インデックスを復号する場合に、双予測を制限するときは、コード番号から可変テーブルを用いて上記結合インター予測参照インデックスを導出し、制限しないときは、可変テーブルを用いずにコード番号から上記結合インター予測参照インデックスを導出するものであってもよい。
上記の構成によれば、可変テーブルを用いてコード番号から結合インター予測参照インデックスを復号する画像復号装置において、双予測を制限する場合における可変テーブルに関する復号処理を簡略することができる。
本発明の一態様に係る画像復号装置は、上記双予測制限手段が、復号した結合インター予測参照インデックスが結合参照ピクチャセット以外を示す場合、双予測を制限するときは、双予測および単予測のいずれを行うかを示す情報の復号を省略して単予測を行い、双予測を制限しないときは、双予測および単予測のいずれを行うかを示す情報の復号を行うものであってもよい。
上記の構成によれば、結合インター予測参照インデックスを用いる画像復号装置において、単予測を行うことが予め決まっているのに、双予測および単予測のいずれを行うかを示す情報を復号するというオーバーヘッドを回避することができる。
本発明の一態様に係る画像復号装置では、当該画像復号装置は、対象予測単位における予測画像の復号にマージ処理を用いる場合に動き補償パラメータの候補であるマージ候補を導出するマージ候補導出手段を備え、上記マージ候補導出手段は、上記対象予測単位に隣接している隣接対象予測単位の復号に用いた動き補償パラメータからマージ候補を導出する隣接マージ候補導出手段と、複数の参照ピクチャからマージ候補を導出する双予測マージ候補導出手段を備え、上記マージ候補導出手段は、上記対象予測単位が、所定のサイズのとき、上記双予測マージ候補導出手段によるマージ候補を用いないものであってもよい。
上記の構成によれば、双予測に対するマージ候補の導出を省略することにより、マージ候補の導出を簡略化することができる。
本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成して画像を復元する画像復号装置において、復号対象となる上記符号化単位である対象符号化単位を上記予測単位へ分割するタイプである分割タイプと予測方式との複数の組に対して対応付けられる複数の符号を、復号の対象となる上記予測単位である対象予測単位の近傍の復号済み予測単位に割り付けられている復号済みパラメータに応じて変更する変更手段を備えることを特徴とする。
予測画像を生成する単位は、符号化処理の単位となる符号化単位を基準に決定される。具体的には、符号化単位と同じ領域または符号化単位を分割して得られる領域を予測単位とする。
上記の構成において、上記予測単位への分割タイプは、正方形への分割および非正方形への分割を含んでいてもよい。正方形への分割は、分割によって得られる予測単位が正方形である場合である。
例えば、正方形の符号化単位を、４つの正方形に四分割する場合がこれに該当する。また、正方形の符号化単位と同じサイズの領域を予測単位とする非分割の場合もこれに該当する。非分割の場合の分割タイプは、一般的には、２Ｎ×２Ｎと表される。
非正方形への分割は、分割によって得られる予測単位が非正方形である場合である。例えば、符号化単位の領域を大きな長方形と、小さな長方形とに分割する場合がこれに該当する。
また、符号とは、符号化されたパラメータ値のバイナリ（ｂｉｎ）列のことをいう。バイナリ列は直接符号化されてもよいし、算術符号化により符号化されてもよい。予測方式は、画面間予測および画面内予測のいずれかである。また、予測方式および分割タイプの組とは、例えば、（画面内予測，非分割）であり、ｐｒｅｄ＿ｔｙｐｅというパラメータ値によって表されることもある。
また、上記の構成では、符号と、予測方式および分割タイプの組とは、１対１で対応付けられる。
上記の構成によれば、復号済みパラメータに応じて、上記対応付けを変更する。言い換
えれば、同じ符号であっても、復号済みパラメータに応じて、いずれの予測方式および分割タイプの組を示すかの解釈を変更するということである。
このため、より発生確率が高い予測方式および分割タイプの組に、より短い符号を割り当てることができる。
具体的には、対象符号化単位に隣接する符号化単位が、画面内予測を行う符号化単位である場合、対象符号化単位も画面内予測が採用される可能性が高くなる。
よって、このような場合、画面内予測を含む組に短い符号を割り当てることが望ましい。
上記の構成によれば、近傍の復号済み予測単位に割り付けられている復号済みパラメータに応じて、より発生確率が高い予測方式および分割タイプの組に、より短い符号を割り当てるので、符号化効率を向上させることができる。
本発明の一態様に係る画像復号装置は、上記変更手段が、上記対象符号化単位の近傍の復号済み符号化単位に画面内予測の予測方式が割り付けられているときに、画面内予測の予測方式を含む組に対応付けられる符号を、短い符号に変更することが好ましい。
上記の構成によれば、対象符号化単位の近傍の復号済み符号化単位に画面内予測の予測方式が割り付けられているときに、画面内予測の予測方式を含む組に対応付けられる符号を、短い符号に変更する。
なお、近傍とは、複数であってもよく、例えば、上隣接符号化単位および左隣接符号化単位を近傍とすることが挙げられる。
この場合、上隣接符号化単位および左隣接符号化単位のいずれか、もしくは、両方において、画面内予測の予測方式が割り付けられていればよい。
対象符号化単位の近傍の復号済み符号化単位に画面内予測の予測方式が割り付けられているとき、対象符号化単位も画面内予測が割り付けられる可能性が高い。
このため、発生頻度が高い組に対応付けられる符号を短くすることができ、符号化効率が向上する。
本発明の一態様に係る画像復号装置は、上記変更手段が、上記対象符号化単位に隣接する復号済み符号化単位が、上記対象符号化単位よりも小さいときに、隣接する方向への分割を行う分割タイプを含む組に対応付けられる符号を、短い符号に変更することが好ましい。
上記の構成によれば、上記対象符号化単位に隣接する復号済み符号化単位が、上記対象符号化単位よりも小さいときに、隣接する方向への分割を行う分割タイプを含む組に対応付けられる符号を、短い符号に変更する。
上記対象符号化単位に隣接する復号済み符号化単位が、上記対象符号化単位よりも小さいとき、対象符号化単位と、隣接する復号済み符号化単位との間の境界に対し、垂直な方向にエッジが存在する可能性が高い。すなわち、対象符号化単位が上記復号済み符号化単位に隣接する方向にエッジが現れることが多い。
このような場合、隣接する方向への分割を行う分割タイプが選択されやすくなる。
このため、発生頻度が高い組に対応付けられる符号を短くすることができ、符号化効率が向上する。
本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに画面間予測の予測方式によって予測画像を生成して画像を復元する画像復号装置において、復号の対象となる上記予測単位である対象予測単位が、該対象予測単位の近傍の領域に割り付けられている予測パラメータから、該対象予測単位の予測パラメータの推定を行う予測単位である場合、該対象予測単位のサイズに応じて、推定に用いる領域の候補を決定する候補決定手段を備えることを特徴とする。
上記の構成によれば、対象予測単位のサイズに応じて、いわゆるスキップや、マージに用いる領域の候補を決定する。または、復号した差分動きベクトルと合わせて動きベクトルを復元するために用いる推定動きベクトルの導出に用いる領域の候補を設定する。
対象予測単位のサイズに応じて、画面間予測の動きベクトルの相関は変動する。例えば、所定のサイズ以下の小さい予測単位が選択される領域では、オブジェクトの動きが複雑な場合が多く、動きベクトルの相関は小さい。
よって、上記構成によれば、例えば、動きの複雑度に応じて、候補数を削減することができる。これにより、サイド情報を削減することができ、その結果、符号化効率を向上させることができる。
本発明の一態様に係る画像復号装置は、上記候補決定手段が、所定のサイズ以下の小さい予測単位の上記候補の数を、該小さい予測単位よりも大きい予測単位の上記候補の数よりも少なくすることが好ましい。
上記の構成によれば、所定のサイズ以下の小さい予測単位の上記候補の数を、該小さい予測単位よりも大きい予測単位の上記候補の数よりも少なくする。
上述のとおり、所定のサイズ以下の小さい予測単位が選択される領域では、オブジェクトの動きが複雑な場合が多く、動きベクトルの相関は小さい。
そのため、上記のような領域では、候補数を少なくしたほうが、サイド情報を削減することができるため好ましい。
本発明の一態様に係る画像復号装置では、上記候補決定手段は、所定のサイズ以下の小さい予測単位では、時間予測を上記候補に含めないことが好ましい。
上記の構成によれば、所定のサイズ以下の小さい予測単位では、時間予測を上記候補に含めない。
小さい予測単位が選択されるような動きが複雑な領域では、時間予測に用いられる関連予測単位（ｃｏｌｌｏｃａｔｅｄ ＰＵ）と対象予測単位との相関が小さいため、時間予
測が選択される可能性が小さい。よって、このような領域では、時間予測をマージ候補に含めないことが好ましい。
本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成して画像を復元する画像復号装置において、上記予測単位へ
の分割タイプは、長方形の予測単位への分割を含み、上記長方形が縦長および横長のいずれであるかを示す符号と、上記長方形の種類を示す符号とを含む、上記長方形の予測単位への分割を特定するための符号のうち、上記長方形の種類を示す符号を、コンテキストを用いずに復号する復号手段を備えることを特徴とする。
上記の構成によれば、予測単位への分割タイプが、長方形の予測単位への分割の場合、長方形の種類を示す符号を、コンテキストを用いずに復号する。
長方形の種類とは、例えば、分割タイプが、横長の長方形の分割である場合、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤの３種類である。
予測単位の分割は、符号化単位の領域内に存在するエッジをまたがないように行われることが多い。傾きを有するエッジが領域内に存在する場合、必ずしも同一の長方形の種類が続けて選ばれないことがある。このような領域においては、コンテキストを用いて復号処理を行っても、符号化効率が向上しない場合がある。
逆に言えば、このような領域においては、コンテキストを用いないで復号処理を行っても、符号化効率が低下しない場合がある。
上記の構成によれば、上述のような領域において、符号化効率を維持しつつ、コンテキストを参照しないことによる処理の簡略化を図ることができる。
本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに画面間予測の予測方式によって予測画像を生成して画像を復元する画像復号装置において、上記予測単位への分割タイプは、符号化単位を複数の異なる大きさの予測単位に分割する非対称分割または符号化単位を複数の同一の大きさの予測単位に分割する対称分割を含み、上記分割タイプが非対称分割である場合、上記分割タイプが対称分割である場合と異なる推定方法によって、画面間予測の予測パラメータの推定を行う推定手段を備えることを特徴とする。
上記の構成によれば、分割タイプが非対称分割である場合、上記分割タイプが対称分割である場合と異なる推定方法によって、画面間予測の予測パラメータの推定を行う。
非対称分割が選択される符号化単位は、予測単位を得るための分割において、小さい方の予測単位と、大きい方の予測単位とに非対称に分割される。
また、非対称分割が選択される符号化単位では、小さい方の予測単位を長辺方向に横切るエッジが存在する可能性が高い。
また、エッジが存在する領域は正確な動きベクトルが導出されている可能性が高い。つまり、分割タイプが非対称分割である場合、上記分割タイプが対称分割である場合と、精度の高い動きベクトルが導出されている領域が異なる。
よって、分割タイプが非対称分割である場合と、上記分割タイプが対称分割である場合とで異なる推定方法を変更することで、分割タイプに応じた好ましい推定方法により画面間予測の予測パラメータの推定を行うことができるという効果を奏する。
本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成するとともに、符号化単位を１以上の数に分割して得られる変換単位ごとに予測残差を復号し、予測画像に予測残差を加算することで画像を復元する
画像復号装置において、上記予測単位への分割タイプは、符号化単位を複数の異なる大きさの予測単位に分割する非対称分割または符号化単位を複数の同一の大きさの予測単位に分割する対称分割を含み、復号の対象となる上記符号化単位である対象符号化単位の分割タイプが非対称分割であるとき、上記対象符号化単位に含まれる予測単位の大きさに応じて、変換単位の分割方式を決定する変換単位分割手段を備えることを特徴とする。
上記の構成によれば、復号の対象となる上記符号化単位である対象符号化単位の分割タイプが非対称分割であるとき、上記対象符号化単位に含まれる予測単位の大きさに応じて、変換単位の分割方式を決定する。
非対称分割が適用されるとき、小さい方の予測単位にはエッジが含まれる可能性が高いのに対して、大きい方の予測単位にはエッジが含まれる可能性が低い。
予測残差に方向性がない場合、変換単位の分割方式として、長方形の変換を適用するよりも、正方形の変換を適用したほうが、効率よく相関を除去できる。
上記の構成によれば、分割タイプが非対称分割であるときは、上記対象符号化単位に含まれる予測単位の大きさに応じて、効率よく相関を除去できるような変換単位の分割方式を選択することができる。その結果、符号化効率が向上する。
本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成するとともに、符号化単位を１以上の数に分割して得られる変換単位ごとに予測残差を復号し、予測画像に予測残差を加算することで画像を復元する画像復号装置において、上記変換単位への分割方式は、正方形および長方形の分割を含み、復号の対象となる上記予測単位である対象予測単位の形状が正方形である場合、対象変換単位を長方形の分割方式により分割する分割手段を備えることを特徴とする。
領域内にエッジが存在し、画像に方向性があるにもかかわらず、正方形の予測単位が選択される場合がある。例えば、多数の横エッジが存在するオブジェクトが移動している場合、オブジェクト内では、動きは一様であるため、正方形の予測単位が選択される。しかしながら、このような場合は、変換処理では、横エッジに沿った、水平方向に長い形状の変換単位を適用することが望ましい。
上記の構成によれば、復号の対象となる上記予測単位である対象予測単位の形状が正方形である場合、対象変換単位を長方形の分割方式により分割する。
これにより、正方形の符号化単位においても、長方形の変換単位を選択することができ、このため上記のような領域に対する符号化効率を向上させることができる。
本発明の一態様に係る画像復号装置は、上記分割手段が、さらに、所定の大きさの符号化単位において分割深度２に対応する変換単位の形状が正方形である場合、上記所定の大きさの符号化単位において、分割深度１に対応する対象変換単位を長方形とすることが好ましい。
上記の構成によれば、対象予測単位の形状が正方形である場合、対象変換単位を長方形の分割方式により分割する。
変換単位を正方形の４分木分割方式により再帰的に２回分割すると、すなわち分割深度を２まで上げると、１６個の正方形の変換単位が得られる。この場合、スキャン順は、ｚスキャンが再帰的に適用されたものになる。従来、対象符号化単位の分割タイプが正方形
の分割である場合、この分割方式が適用されていた。
一方、変換単位を横長の４分木分割方式により分割する場合は、分割深度２では、各ノードが正方形の変換単位に分割される。すなわち、分割深度を２では、最終的に、１６個の正方形の変換単位が得られる。この場合、スキャン順は、１６個の正方形の変換単位に対してラスタスキャンが適用される。従来、対象符号化単位の分割タイプが非正方形の分割である場合、この分割方式が適用されていた。
よって、対象符号化単位の分割タイプが、正方形の分割である場合と非正方形の分割である場合とで、スキャン順が異なっていた。
これに対して、上記構成によれば、符号化単位の分割タイプが正方形の分割であり、すなわち対象予測単位の形状が正方形である場合、対象変換単位を長方形の分割方式により分割する。
このため、正方形の分割である場合と非正方形の分割である場合とで、スキャン順を統一させることができるという効果を奏する。
本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成するとともに、符号化単位、または、分割した符号化単位として得られる変換単位ごとに予測残差を復号し、予測画像に予測残差を加算することで画像を復元する画像復号装置において、上記予測単位への分割タイプは、異なる大きさの予測単位への分割である非対称形への分割および同一の大きさの予測単位への分割である対称形への分割を含み、復号の対象となる上記予測単位である対象予測単位の分割タイプが非対称形への分割であるとき、該分割により得られた小さい予測単位および大きい予測単位の間で、異なるコンテキストを参照して変換係数を復号する係数復号手段を備えることを特徴とする。
非対称分割により得られた小さい予測単位には、エッジが存在する可能性が高く変換係数が発生しやすい。これに対して、大きい予測単位では変換係数が発生しにくい。対象変換単位が、小さい予測単位に含まれる場合と大きい予測単位に含まれる場合とで、異なるコンテキストを用いることで、それぞれの領域内における変換係数の発生確率に応じた可変長復号を行うことができる。
本発明の一態様に係る画像符号化装置は、符号化単位毎に、画像を復元するための情報を符号化して画像符号化データを生成する画像符号化装置において、予測単位のサイズと符号化単位に適用される予測方式との組み合わせに割り当てられている符号について、所定サイズ以下のサイズの符号化単位に画面内予測の予測方式が適用される組み合わせに対して、該組み合わせ以外の組み合わせに割り当てられている符号より短い符号を符号化する符号化手段を備えることを特徴とする。
なお、上記画像復号装置に対応する構成を備える画像符号化装置も本発明の範疇に入る。上記のように構成された画像符号化装置によれば、本発明の一態様に係る画像復号装置と同様の効果を奏することができる。
本発明の一態様に係る画像復号装置は、符号化データを復号して、予測単位内の画像を、１枚の参照画像を参照する単予測、及び、２枚の参照画像を参照する双予測の何れかの画面間予測の予測方式によって復元する画像復号装置において、上記符号化データに含まれる、双予測の制限を行う予測単位のサイズを示す情報である双予測制限情報に基づいて、双予測の制限を行う双予測制限手段を備えることを特徴とする。
上記の構成によれば、画像符号化装置が、画像の符号化において、意図に応じて適応的に双予測制限情報を符号化すれば、画像復号装置において、上記意図に応じた双予測の制限を行うことができる。これにより、画像の解像度や、画像符号化装置／画像復号装置の性能に応じた細かい調整を行うことができるという効果を奏する。
本発明の一態様に係る画像復号装置では、上記符号化データに含まれる、双予測の制限を行うか否かを示すフラグである双予測制限フラグが双予測の制限を行うことを示すときに、上記双予測制限情報を復号する制限情報復号手段を備えることが好ましい。
上記の構成によれば、画像符号化装置から明示的にしてされたフラグに応じて適応的に双予測の制限を行うことができる。これにより画像符号化装置が意図するに双予測制限処理を画像復号装置において行うことができる。
本発明の一態様に係る画像復号装置は、上記双予測制限フラグが、上記符号化データのストリームの複雑度および上記符号化データを復号する画像復号装置の性能の少なくとも何れか一方に応じて設定されているものであることが好ましい。
双予測制限フラグは、上記のとおり、双予測の制限を行うか否かを示すフラグである。当該双予測制限フラグは、画像符号化装置において、符号化データのストリームの複雑度および画像復号装置の性能の少なくとも何れか一方に応じて設定される。符号化データのストリームの複雑度および画像復号装置の性能を示す指標としては、例えば、Ｈ．２６４／ＡＶＣにおけるレベル規制（level limit）が挙げられる。レベル規制では、デコーダ
がビット・ ストリームを復号するスピード等が規定されている。また、レベル規制は、
整数レベルおよびサブレベル（小数点以下のレベル）の２つのレベルにより構成されている。整数レベルは、大まかな範囲を規定しており、ｌｅｖｅｌ １〜５までが規定されて
いる。
例えば、ｌｅｖｅｌ ４は、ＨＤＴＶ（High Definition Television；高精細テレビ）
の１０８０ｐの解像度に対応しており、ｌｅｖｅｌ ５は、４ｋの解像度に対応している
。
また、さらにサブレベルにおいて、各整数レベルにおける詳細な仕様が規定されている。
ここで、レベルに応じて、制約を設けたいＰＵサイズおよび双予測の制限を行いたい予測単位（ＰＵ）は異なる。例えば、ｌｅｖｅｌ ４（ＨＤ）では、４×４ＰＵに制約を設
けるとともに、８×４ＰＵ、および４×８ＰＵにおいて双予測の制限を行うことが好ましい。また、ｌｅｖｅｌ ５（４ｋ）では、８×４ＰＵおよび４×８ＰＵに制約を設けると
ともに、８×８ＰＵにおいて双予測の制限を行うことが好ましい。
また、このような双予測の制限は、画像符号化装置において明示的に指定されていることが好ましい。
上記の構成によれば、画像符号化装置が、符号化データにおいて、レベルに応じて双予測制限フラグおよび双予測制限情報を設定している場合、画像復号装置において、双予測制限フラグおよび双予測制限情報に基づいた双予測の制限を行うことができる。
すなわち、画像符号化装置において明示的に設定された双予測の制限の指定に従って、画像復号装置において双予測の制限を行うことができる。
このように、双予測制限フラグの判定結果に応じて双予測制限情報に基づく双予測制限を行うことで、すなわちストリームの複雑度・画像復号装置の性能（レベル）に応じて適応的に双予測の制限を行うことができるという効果を奏する。
本発明の一態様に係る画像復号装置は、符号化データを復号して、予測単位内の画像を、１枚の参照画像を参照する単予測、及び、２枚の参照画像を参照する双予測の何れかの画面間予測の予測方式によって復元する画像復号装置において、符号化の単位である符号化単位のサイズに応じて、上記予測単位の取り得るサイズが定まっており、上記符号化データに含まれる、符号化単位の最小サイズを示すフラグの値に応じて、双予測の制限を行う双予測制限手段を備えることを特徴とする。
例えば、引用文献１では、”log2_min_coding_block_size_minus3”というパラメータ
によって、最小の符号化単位（ＣＵ）のサイズを規定する。また、予測単位（ＰＵ）の形状（サイズ）は、符号化単位（ＣＵ）のサイズも考慮して定められる。最小ＣＵサイズが、８×８である場合、８×８ＰＵに加えて、８×８ＣＵを分割した８×４ＰＵ、４×８ＰＵ、４×４ＰＵが使用可能である。また、最小ＣＵサイズが１６×１６である場合、８×８ＰＵが使用可能である一方で、８×４ＰＵ、４×８ＰＵ、４×４ＰＵは、使用不可である。
上述のとおり、符号化データのストリームの複雑度および画像復号装置の性能の少なくとも何れか一方に応じて設定される、いわゆるレベルに応じて双予測の制限を行うことが好ましい。
最小ＣＵサイズに基づいて双予測の制限を行えば、双予測制限を行うＰＵサイズと、単予測自体を制限するＰＵサイズのバランスを取ることができる。すなわち、双予測に伴う処理量および転送量は制限されるが、単予測の処理量および転送量は制限されないというアンバランスがなくなる。
最小ＣＵサイズは、引用文献１に見られるように、既存のパラメータとして規定されている。よって、このような既存のパラメータを活用することで、双予測制限専用のフラグを追加する場合と比べて、符号量の増大を招来することなく、簡易に双予測の制限を行うことができる。
本発明の一態様に係る画像復号装置では、上記双予測制限手段は、双予測の制限を行うか否かを示すフラグである双予測制限フラグが双予測の制限を行うことを示すときに、上記双予測の制限を行うことが好ましい。
上記の構成によれば、画像符号化装置が設定した予測制限フラグに基づく双予測の制限を行うことができる。これにより、画像符号化装置が明示的に設定した指定に基づいて、適応的に双予測の制限を行うことができる。
本発明の一態様に係る画像復号装置は、上記双予測制限フラグが、上記符号化データのストリームの複雑度および上記符号化データを復号する画像復号装置の性能の少なくとも何れか一方に応じて設定されているものであることが好ましい。
上記の構成によれば、レベルに応じて適応的に双予測の制限を行うことができる。
本発明の一態様に係る画像復号装置では、上記双予測制限フラグは、少なくとも３値を取り得えるものであり、上記双予測制限手段は、上記双予測制限フラグの値に応じた双予
測の制限を行うことが好ましい。
上記の構成によれば、双予測の制限に関し、双予測制限フラグの値に応じた細かい調整を行うことができる。例えば、双予測制限フラグの値を３値に設定した場合は、次のような双予測の制限が考えられる。すなわち、あるサイズのＣＵについて、双予測の制限を行わない場合、２Ｎ×２Ｎ・ＰＵ以外の双予測を制限する場合、および、Ｎ×Ｎ・ＰＵの双予測を制限する場合、の３つの場合を、３値を取り得る双予測制限フラグによって表現することができる。
より具体的には、双予測制限フラグの値に応じて、１６×１６ＣＵにおいて、双予測の制限を行わない場合、８×８ＰＵだけ双予測を制限する場合、および、８×８ＰＵ、１６×８ＰＵ、８×１６ＰＵについて双予測を制限する場合を選択することができる。
本発明の一態様に係る画像復号装置では、上記双予測制限フラグは、処理の対象となる符号化単位について予め定められている最小のサイズのインター予測単位を禁止するフラグを兼ねていることが好ましい。
上記の構成においては、最小のＰＵ（Ｎ×Ｎ）でのインター予測単位を禁止する場合、上記双予測制限フラグが双予測の制限を行うことを示すように設定することができる。逆もまた同様である。
例えば、最小のＰＵ（Ｎ×Ｎ）でのインター予測単位を許容するか否かを示すフラグとしては、引用文献１では、inter_4x4_enabled_flagが規定されている。なお、ＣＵのサイズが、８×８以上である場合、または、inter_4x4_enabled_flagが、“１”である場合、Ｎ×Ｎのインター予測が許容される。
ここで、!inter_4x4_enabled_flag（“！”は、論理否定の論理演算子を表す）とすれ
ば、このように構成されたフラグは、インター４×４を禁止するか否かを示すフラグということができる。
あるＣＵのサイズに関して取り得る最小のサイズのＰＵ（Ｎ×Ｎ）において、双予測を制限する場合、上記のように構成したフラグによって実現することが可能である。よって、このような場合、フラグの数を削減することができ、比較的簡易に双予測の制限を実現することができる。
本発明の一態様に係る画像復号装置は、符号化データを復号して、予測単位内の画像を、１枚の参照画像を参照する単予測、及び、２枚の参照画像を参照する双予測の何れかの画面間予測の予測方式によって復元する画像復号装置において、復号済みの予測単位の復号に用いた動き補償パラメータからマージ候補を導出するマージ候補導出手段と、上記導出されたマージ候補の少なくとも一部に対して、双予測の制限を行う双予測制限手段とを備えることを特徴とする。
双予測は、単予測よりも処理量が多い。なお、単予測とは、画面間予測において参照する画像を１つ用いる予測方式のことであり、双予測とは、画面間予測において参照する画像を２つ用いる予測方式のことである。参照する画像は、対象フレームに対して時間的に前方であっても後方であってもよい。
上記の構成によれば、対象予測単位における予測画像の復号にマージ処理を用いる場合でも、双予測を制限することができ、対象予測単位における復号処理を簡略化することができる。なお、制限するとは、双予測における一部の処理を省略すること、双予測の動き
ベクトルを、より処理負荷が軽減できるようなものに変換すること、および、双予測の処理を行わない（禁止する）ことを含む。
導出されたマージ候補の少なくとも一部において上記双予測の制限を行うことで、復号処理のボトルネックになるような処理の処理量を低減することができるという効果を奏する。
本発明の一態様に係る画像復号装置では、上記双予測制限手段は、上記双予測の制限において、上記双予測を単予測に変換することが好ましい。
上記構成において、“双予測を制限する”とは、双予測を単予測に変換して、双予測を行わなくても済むようにするということである。すでに説明したとおり、双予測よりも単予測のほうが、処理が複雑でなく、また処理量も少なくて済む。
また、「双予測を単予測に変換する」とは、参照される参照画像の枚数を２枚から１枚に制限することを指す。
上記の構成によれば、対象予測単位における予測画像の復号にマージ処理を用いる場合において、上述のとおり双予測を制限することで、対象予測単位における復号処理を簡略化することができる。
本発明の一態様に係る画像復号装置では、上記双予測制限手段は、上記導出されたマージ候補のうち、双予測のマージ候補であって、２つの動きベクトルの少なくとも一方が、非整数の成分を含む非整数動きベクトルであるマージ候補に対して、上記双予測の制限を行うことが好ましい。
上記の構成によれば、２つの動きベクトルが非整数動きベクトルであるマージ候補を、双予測の制限対象とする。その一方で、マージ候補が整数動きベクトルの場合には双予測を制限しなくても済む。
ここで、非整数動きベクトルとは、画素位置を整数値として表現したときに、少なくとも一部の該動きベクトルの成分が非整数によって表されるものを指す。
非整数動きベクトルに対しては、補間画像を生成するための補間フィルタを適用するため、処理負荷が高くなる傾向がある。これに対して、整数動きベクトルの場合には、このようなフィルタ処理は必須ではない。
また、整数動きベクトルの場合には、補間フィルタ処理が必須ではないため、動き補償で参照する範囲は、対象ブロックと同一とすることができる。
このため、整数動きベクトルの場合には、双予測を行っても転送量および処理量が過度には増大しない。
上記の構成によれば、双予測を制限しなくてもそれほど負荷がかからないような整数動きベクトルに対しては、双単変換を省略することができるので、マージ候補を双単変換する双予測制限処理の負荷を軽減することができる。
本発明の一態様に係る画像復号装置では、上記双予測制限手段は、上記導出されたマージ候補のうち、非整数の成分を含んでいる非整数動きベクトルを含む双予測のマージ候補に対して、該非整数動きベクトルが含んでいる非整数の成分の少なくとも一部を、整数の
成分に変換することが好ましい。
上記の構成において、“双予測を制限する”とは、非整数動きベクトルによる双予測を制限するということである。
上述のとおり整数動きベクトルについては、補間フィルタを適用しなくても済む。よって、双予測のマージ候補の非整数動きベクトルの成分を整数化することにより、動き補償で参照する範囲を対象ブロックの範囲に、より一致させることができる。なお、すべての成分が整数化されれば、動き補償で参照する範囲が対象ブロックに一致する。
なお、整数化は、（Ｘ，Ｙ）の２次元座標表現である場合、Ｘ座標に対してのみ行ってもよいし、Ｙ座標に対してのみ行ってもよいし、Ｘ座標およびＹ座標の両方に対して行ってもよい。また、Ｌ０およびＬ１リストの片方のみを整数化してもよい。
このようにして得られる整数化された動きベクトルにより双予測を行えば、非整数動きベクトルのまま双予測を行う場合と比べて、転送量および処理量の増大を抑えることができる。
本発明の一態様に係る画像復号装置では、上記双予測制限手段は、上記導出されたマージ候補のうち、所定の数のマージ候補に対して、上記双予測の制限を行うことが好ましい。
上記の構成によれば、導出されたマージ候補のうちの一部のマージ候補に対して双予測の制限を行うことができる。例えば、マージ候補の導出の順序が定められている場合、または、導出したマージ候補が格納されているリストに順序が定められている場合、先頭からＮ個を双予測の制限対象とすることができる。なお、Ｎは正の整数であり、Ｎ＝１であってもよい。
これにより、すべてのマージ候補に対して双予測の制限を行う場合と比べて、処理負荷を軽減することができる。
本発明の一態様に係る画像復号装置では、上記双予測制限手段は、上記導出されたマージ候補に、所定数以上の単予測が含まれていない場合、上記双予測の制限を行うことが好ましい。
マージ候補リストにおいて、所定数以上の単予測が含まれる場合、双予測を許容しても、全体的に見てそれほど処理負荷が増大しない場合がある。上記構成によれば、このような場合において、双予測の制限処理を省略することができ、双予測の制限処理による不可増大の抑制を図ることができる。
本発明の一態様に係る画像復号装置では、上記マージ候補導出手段が、すべてのマージ候補を導出したのち、上記双予測制限手段が、上記導出されたマージ候補に対して上記双予測の制限を行うことが好ましい。
上記の構成によれば、まず、マージ候補リストを生成する。また、マージ候補の導出においては、このような処理が一般的である。上記構成によれば、このように一般的なマージ候補リスト生成処理に変更を加えなくても済むので、処理ロジックが複雑になることを防ぐことができる。
本発明の一態様に係る画像復号装置では、上記マージ候補導出手段が、マージ候補を導
出する処理と、並列的に、上記双予測制限手段が、上記導出されたマージ候補に対する上記双予測を制限する処理を行うことが好ましい。
上記の構成によれば、マージ候補をマージ候補リストに格納する前に、双予測を制限する。また、この処理は、マージ候補を導出する処理と、並列的に行われる。
このような並列化により処理効率の向上を図ることができる。処理のレイテンシの許容範囲が狭い場合に、特に有用である。
また、マージ候補の双単変換により、双予測の制限を行う場合であって、マージ候補のユニーク性をチェックする場合、マージ候補リストの生成を行って、ユニーク性のチェックを行ってから、双単変換する場合と比べて、マージ候補の重複なくマージ候補リストを作成することができる。
本発明の一態様に係る画像符号化装置は、符号化単位毎に、画像を復元するための情報を符号化して画像符号化データを生成する画像符号化装置において、上記符号化データのストリームの複雑度および上記符号化データを復号する画像復号装置の性能の少なくとも何れか一方に応じて、１枚の参照画像を参照する単予測、及び、２枚の参照画像を参照する双予測の画面間予測のうち、双予測の制限を行うか否かを示すフラグである双予測制限フラグを符号化データおいて符号化する符号化手段を備えることを特徴とする。
本発明の一態様に係る画像符号化データのデータ構造は、符号化単位毎に、画像を復元するための情報が画像符号化装置によって符号化されている画像符号化データのデータ構造において、上記符号化データのストリームの複雑度および上記符号化データを復号する画像復号装置の性能の少なくとも何れか一方に応じて、１枚の参照画像を参照する単予測、及び、２枚の参照画像を参照する双予測の画面間予測のうち、双予測の制限を行うか否かを示すフラグである双予測制限フラグを含むことを特徴とする。
なお、上記画像復号装置に対応する構成を備える画像符号化装置および当該画像符号化装置によって生成される画像符号化データのデータ構造も本発明の範疇に入る。上記のように構成された画像符号化装置および画像符号化データのデータ構造によれば、本発明の一態様に係る画像復号装置と同様の効果を奏することができる。
（ハードウェア的実現およびソフトウェア的実現）
また、上述した動画像復号装置１および動画像符号化装置２の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（Compact Di
sc Read-Only Memory）／ＭＯディスク（Magneto-Optical disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc）／ＣＤ−Ｒ（CD Recordable）／ブルーレイディスク
（Blu-ray Disc:登録商標）等の光ディスクを含むディスク類、ＩＣカード（メモリカー
ドを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（Erasable ProgrammableRead-Only Memory）／ＥＥＰＲＯＭ（登録商標）（Electrically Erasableand Programmable Read-Only Memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路
類などを用いることができる。
また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＩＳＤＮ（Integrated Services Digital Network）、ＶＡＮ（Value-Added Network）、ＣＡＴＶ（Community Antenna television/Cable Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（Institute of Electrical and Electronic
Engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡ（Infrared Data Association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０
２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（登録商標）（Digital Living Network Alliance）、携帯電話網、衛星回線、地上
波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は、画像データが符号化された符号化データを復号する画像復号装置、および、画像データが符号化された符号化データを生成する画像符号化装置に好適に適用することができる。また、画像符号化装置によって生成され、画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。
１ 動画像復号装置
１０ 復号モジュール
１１ ＣＵ情報復号部
１２ ＰＵ情報復号部
１３ ＴＵ情報復号部
１６ フレームメモリ
１１１ ＣＵ予測モード決定部
１１２ ＰＵサイズ決定部
１２１ 動き補償パラメータ導出部（双予測制限手段、候補決定手段、
推定手段）
１２２ マージ候補優先順位情報記憶部
１２３ 参照フレーム設定情報記憶部
１３１ ＴＵ分割設定部
１３２ 変換係数復元部
１０１１ ＣＵ予測モード復号部（復号手段、変更手段）
１０１２ 二値化情報記憶部
１０１３ コンテキスト記憶部
１０１４ 確率設定記憶部
１０２１ 動き情報復号部（制限情報復号手段）
１０３１ 領域分割フラグ復号部
１０３２ 判定情報復号部（係数復号手段）
１０３３ 変換係数復号部（係数復号手段）
１３１１ 対象領域設定部
１３１２ 分割決定部
１３１３ 分割領域設定部（変換単位分割手段、分割手段）
１３１４ 変換サイズ決定情報記憶部
２ 動画像符号化装置
２１ 符号化設定部
２３ 予測画像生成部
２５ フレームメモリ
２７ 変換・量子化部
２９ 符号化データ生成部（符号化手段）
１２１１ スキップ動き補償パラメータ導出部
１２１２ マージ動き補償パラメータ導出部（マージ候補導出部）
１２１３ 基本動き補償パラメータ導出部
１２１８ 双予測制限ＰＵ判定部
１２１９ 双単予測変換部
１２２０ 動きベクトル整数化部
１２１２Ａ 隣接マージ候補導出部
１２１２Ｂ 時間的マージ候補導出部
１２１２Ｃ ユニーク候補導出部
１２１２Ｄ 結合双予測マージ候補導出部
１２１２Ｅ 非スケール双予測マージ候補導出部
１２１２Ｆ ゼロベクトルマージ候補導出部
１２１２Ｇ マージ候補導出制御部
１２１２Ｈ マージ候補格納部
１２１２Ｊ マージ候補選択部
１２１３Ａ 隣接動きベクトル候補導出部
１２１３Ｂ 時間的動きベクトル候補導出部
１２１３Ｆ ゼロベクトルマージ候補導出部
１２１３Ｇ 動きベクトル候補導出制御部
１２１３Ｈ 動きベクトル候補格納部
１２１３Ｉ 動きベクトル候補選択部
１２１３Ｊ 動きベクトル復元部
１２１８Ａ 双予測制限ＰＵ判定部
１２１９Ａ 双単予測変換部（双予測制限手段）
１２１９Ｂ 双単予測変換部（双予測制限手段）
３０１２ マージ動き補償パラメータ生成部
３０１３ 基本動き補償パラメータ生成部
３０１３Ａ 動きベクトル候補選択部
３０１３Ｂ 差分動きベクトル算出部
３０１４ 動き補償パラメータ制限部

Claims (6)

  1. 画面間予測の予測方式として、１枚の参照画像を参照する単予測または２枚の参照画像を参照する双予測を用いて予測単位内の画像を復号する画像復号装置において、
    前記単予測または前記双予測の予測方式を示す動き補償パラメータを導出する動き補償パラメータ導出部を備え、
    マージ候補に対する動き補償パラメータが双予測を示し、かつ前記予測単位が所定のサイズ以下の場合、前記動き補償パラメータ導出部は、双予測を示す前記マージ候補に対する動き補償パラメータを、単予測を示す動き補償パラメータへ変換することを特徴とする画像復号装置。
  2. 前記動き補償パラメータは、少なくとも第１の参照予測リストを用いるか否かを示す第１の予測リスト利用フラグと第２の参照予測リストを用いるか否かを示す第２の予測リスト利用フラグとを含むことを特徴とする請求項１に記載の画像復号装置。
  3. 前記第１の予測リスト利用フラグ及び第２の予測リスト利用フラグの値が、１である場合、
    前記動き補償パラメータ導出部は、前記第１の予測リスト利用フラグ又は前記第２の予測リスト利用フラグの値を０に変換することを特徴とする請求項２に記載の画像復号装置。
  4. 前記予測単位のサイズは、該予測単位の幅と高さを用いて算出されることを特徴とする請求項１から請求項３のいずれかに記載の画像復号装置。
  5. 画面間予測の予測方式として、１枚の参照画像を参照する単予測または２枚の参照画像を参照する双予測を用いて予測単位内の画像を復号する画像復号方法において、
    前記単予測または前記双予測の予測方式を示す動き補償パラメータを導出するステップを少なくとも含み、
    前記ステップは、マージ候補に対する動き補償パラメータが双予測を示し、かつ前記予測単位が所定のサイズ以下の場合、双予測を示す前記マージ候補に対する動き補償パラメータを、単予測を示す動き補償パラメータへ変換することを特徴とする画像復号方法。
  6. 画面間予測の予測方式として、１枚の参照画像を参照する単予測または２枚の参照画像を参照する双予測を用いて予測単位内の画像を符号化する画像符号化装置において、
    前記単予測または前記双予測の予測方式を示す動き補償パラメータを導出する動き補償パラメータ導出部を備え、
    マージ候補に対する動き補償パラメータが双予測を示し、かつ前記予測単位が所定のサイズ以下の場合、前記動き補償パラメータ導出部は、双予測を示す前記マージ候補に対する動き補償パラメータを、単予測を示す動き補償パラメータへ変換することを特徴とする画像符号化装置。
JP2016140060A 2011-09-29 2016-07-15 画像復号装置、画像復号方法および画像符号化装置 Active JP6190499B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2011215475 2011-09-29
JP2011215475 2011-09-29
JP2011242843 2011-11-04
JP2011242843 2011-11-04
JP2011289936 2011-12-28
JP2011289936 2011-12-28

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013536456A Division JP5976658B2 (ja) 2011-09-29 2012-09-28 画像復号装置、画像復号方法および画像符号化装置

Publications (2)

Publication Number Publication Date
JP2016195452A JP2016195452A (ja) 2016-11-17
JP6190499B2 true JP6190499B2 (ja) 2017-08-30

Family

ID=47995834

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013536456A Active JP5976658B2 (ja) 2011-09-29 2012-09-28 画像復号装置、画像復号方法および画像符号化装置
JP2016140060A Active JP6190499B2 (ja) 2011-09-29 2016-07-15 画像復号装置、画像復号方法および画像符号化装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2013536456A Active JP5976658B2 (ja) 2011-09-29 2012-09-28 画像復号装置、画像復号方法および画像符号化装置

Country Status (10)

Country Link
US (5) US10075733B2 (ja)
EP (2) EP3754982B1 (ja)
JP (2) JP5976658B2 (ja)
CN (3) CN108650508B (ja)
DK (1) DK2763414T3 (ja)
IN (1) IN2014CN02456A (ja)
MX (2) MX353235B (ja)
MY (1) MY164898A (ja)
PL (1) PL3754982T3 (ja)
WO (1) WO2013047811A1 (ja)

Families Citing this family (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101619972B1 (ko) * 2008-10-02 2016-05-11 한국전자통신연구원 이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법
WO2011139099A2 (ko) * 2010-05-04 2011-11-10 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
BR112013017799B1 (pt) * 2011-01-13 2022-05-24 Nec Corporation Dispositivo de decodificação de vídeo e método de decodificação de vídeo
TWI601411B (zh) 2011-09-14 2017-10-01 三星電子股份有限公司 視訊解碼裝置
CN103858430B (zh) * 2011-09-29 2017-05-03 夏普株式会社 图像解码装置、图像解码方法及图像编码装置
GB2496201A (en) * 2011-11-07 2013-05-08 Sony Corp Context adaptive data encoding and decoding
BR112014004645B1 (pt) 2011-11-08 2022-04-26 Kabushiki Kaisha Toshiba Método de codificação de imagem e aparelho de codificação de imagem
US9451277B2 (en) * 2012-02-08 2016-09-20 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
US10721487B2 (en) 2012-04-17 2020-07-21 Texas Instruments Incorporated Converting a bi-predicted merging candidate in a merging candidate list for a prediction unit of a picture
TW201415904A (zh) * 2012-07-02 2014-04-16 Samsung Electronics Co Ltd 幀間預測的運動預測方法、運動補償方法、運動預測裝置、運動補償裝置以及電腦可讀記錄媒體
US9380305B2 (en) * 2013-04-05 2016-06-28 Qualcomm Incorporated Generalized residual prediction in high-level syntax only SHVC and signaling and management thereof
US9832478B2 (en) * 2013-05-14 2017-11-28 Mediatek Inc. Video encoding method and apparatus for determining size of parallel motion estimation region based on encoding related information and related video decoding method and apparatus
US9918098B2 (en) * 2014-01-23 2018-03-13 Nvidia Corporation Memory management of motion vectors in high efficiency video coding motion vector prediction
US10327001B2 (en) * 2014-06-19 2019-06-18 Qualcomm Incorporated Systems and methods for intra-block copy
MX368411B (es) * 2014-08-08 2019-10-02 Koninklijke Philips Nv Metodos y aparatos para codificacion de imagenes de alto rango dinamico (hdr).
US10412387B2 (en) 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
US9918105B2 (en) * 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
WO2016074147A1 (en) * 2014-11-11 2016-05-19 Mediatek Singapore Pte. Ltd. Separated coding tree for luma and chroma
WO2016078511A1 (en) * 2014-11-18 2016-05-26 Mediatek Inc. Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate
CA2981916C (en) * 2015-04-13 2021-08-31 Mediatek, Inc. Methods of constrained intra block copy for reducing worst case bandwidth in video coding
US10721467B2 (en) * 2015-05-05 2020-07-21 Lg Electronics Inc. Method and device for processing coding unit in image coding system
US10602188B2 (en) * 2015-06-10 2020-03-24 Samsung Electronics Co., Ltd. Method and apparatus for encoding or decoding image using syntax signaling for adaptive weight prediction
CN114866769A (zh) * 2015-08-07 2022-08-05 Lg 电子株式会社 视频编译系统中的帧间预测方法和装置
WO2017069588A1 (ko) * 2015-10-22 2017-04-27 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
US10282831B2 (en) * 2015-12-28 2019-05-07 Novatek Microelectronics Corp. Method and apparatus for motion compensated noise reduction
KR102728701B1 (ko) * 2016-02-15 2024-11-12 삼성전자주식회사 영상처리장치, 영상처리방법 및 이를 기록한 기록매체
KR102480191B1 (ko) * 2016-05-13 2022-12-21 브이아이디 스케일, 인크. 비디오 코딩을 위한 일반화된 다중-가설 예측 시스템 및 방법
KR102424417B1 (ko) 2016-08-03 2022-07-22 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN117176947A (zh) 2016-10-04 2023-12-05 有限公司B1影像技术研究所 图像编码/解码方法、记录介质和传输比特流的方法
CN114245120B (zh) * 2016-10-04 2023-03-21 有限公司B1影像技术研究所 图像数据编码/解码方法和计算机可读记录介质
CN116600146A (zh) 2016-11-08 2023-08-15 株式会社Kt 对图像进行解码和编码的方法、非暂态计算机可读介质
WO2018110462A1 (ja) * 2016-12-16 2018-06-21 シャープ株式会社 画像復号装置及び画像符号化装置
US10750203B2 (en) * 2016-12-22 2020-08-18 Mediatek Inc. Method and apparatus of adaptive bi-prediction for video coding
US12058309B2 (en) 2018-07-08 2024-08-06 Mellanox Technologies, Ltd. Application accelerator
US20200014945A1 (en) 2018-07-08 2020-01-09 Mellanox Technologies, Ltd. Application acceleration
EP4492789A1 (en) 2017-06-26 2025-01-15 Panasonic Intellectual Property Corporation of America Encoding device, decoding device, encoding method and decoding method
US20230308626A1 (en) * 2017-07-17 2023-09-28 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
JP6487002B2 (ja) * 2017-08-25 2019-03-20 株式会社東芝 復号方法および復号装置
EP3701719B1 (en) * 2017-10-27 2024-02-21 Huawei Technologies Co., Ltd. Methods and apparatuses for signaling partioning information for picture encoding and decoding
MX2020006250A (es) 2017-12-14 2020-09-25 Lg Electronics Inc Método y dispositivo para decodificar iimágen de conformidad con la inter-predicción en el sistema de codificación de imágen.
CN118741140A (zh) 2018-01-24 2024-10-01 交互数字Vc控股公司 用于具有降低的译码复杂性的视频译码的广义双预测
WO2019163795A1 (ja) * 2018-02-21 2019-08-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置及び符号化方法
WO2019216325A1 (en) * 2018-05-09 2019-11-14 Sharp Kabushiki Kaisha Systems and methods for performing motion vector prediction using a derived set of motion vectors
CN120128726A (zh) * 2018-05-23 2025-06-10 株式会社Kt 对视频进行解码、编码的方法以及用于传送压缩视频数据的装置
KR102738271B1 (ko) 2018-06-05 2024-12-04 두인 비전 컴퍼니 리미티드 Ibc 및 atmvp 간의 상호 작용
WO2019234604A1 (en) * 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Extended quad-tree with asymmetric sub-blocks
US12348762B2 (en) 2018-06-19 2025-07-01 Qualcomm Incorporated Signaling sub-prediction unit motion vector predictor
CN110636298B (zh) 2018-06-21 2022-09-13 北京字节跳动网络技术有限公司 对于Merge仿射模式和非Merge仿射模式的统一约束
CN113115046A (zh) 2018-06-21 2021-07-13 北京字节跳动网络技术有限公司 分量相关的子块分割
CN114466197B (zh) 2018-06-29 2024-10-22 北京字节跳动网络技术有限公司 用于查找表更新的编码的运动信息的选择
TWI728388B (zh) 2018-06-29 2021-05-21 大陸商北京字節跳動網絡技術有限公司 Lut中的運動候選的檢查順序
WO2020003282A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Managing motion vector predictors for video coding
CN114125450B (zh) 2018-06-29 2023-11-17 北京字节跳动网络技术有限公司 一种用于处理视频数据的方法、装置和计算机可读介质
TWI752331B (zh) 2018-06-29 2022-01-11 大陸商北京字節跳動網絡技術有限公司 當向Merge/AMVP添加HMVP候選時的部分/完全修剪
WO2020003266A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Resetting of look up table per slice/tile/lcu row
CN110662059B (zh) 2018-06-29 2021-04-20 北京字节跳动网络技术有限公司 使用查找表存储先前编码的运动信息并用其编码后续块的方法和装置
TWI744662B (zh) 2018-06-29 2021-11-01 大陸商北京字節跳動網絡技術有限公司 更新查閱資料表（lut）的條件
KR102627814B1 (ko) 2018-06-29 2024-01-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 룩업 테이블의 업데이트: fifo, 제약된 fifo
CN110677662B (zh) 2018-07-02 2022-09-02 北京字节跳动网络技术有限公司 Hmvp和非相邻运动的组合使用方法
TWI703861B (zh) * 2018-07-06 2020-09-01 聯發科技股份有限公司 解碼器的視訊解碼方法及裝置
CN110719481B (zh) * 2018-07-15 2023-04-14 北京字节跳动网络技术有限公司 跨分量编码信息导出
US10798376B2 (en) * 2018-07-17 2020-10-06 Tencent America LLC Method and apparatus for video coding
AU2018217336B2 (en) * 2018-08-17 2025-04-24 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a transformed block of video samples
AU2018217333B2 (en) 2018-08-17 2025-04-24 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a transformed block of video samples
MX2021001745A (es) 2018-08-17 2021-07-16 Huawei Tech Co Ltd Gestión de imágenes de referencia en codificación de video.
TWI820186B (zh) * 2018-08-19 2023-11-01 大陸商北京字節跳動網絡技術有限公司 擴展四叉樹分割的強制邊界分割
UA128232C2 (uk) 2018-08-28 2024-05-15 Хуавей Текнолоджиз Ко., Лтд. Спосіб і пристрій для розбивання зображення
CN110876058B (zh) * 2018-08-30 2021-09-21 华为技术有限公司 一种历史候选列表更新方法与装置
WO2020053800A1 (en) 2018-09-12 2020-03-19 Beijing Bytedance Network Technology Co., Ltd. How many hmvp candidates to be checked
JP7459069B2 (ja) 2018-09-21 2024-04-01 オッポ広東移動通信有限公司 映像信号符号化／復号化方法及びその装置
TWI818086B (zh) 2018-09-24 2023-10-11 大陸商北京字節跳動網絡技術有限公司 擴展Merge預測
CN117692651A (zh) 2018-10-08 2024-03-12 华为技术有限公司 用于译码块的几何划分块的帧间预测的装置及方法
CN117528077A (zh) * 2018-10-27 2024-02-06 华为技术有限公司 图像预测方法及装置
WO2020094149A1 (en) 2018-11-10 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Rounding in triangular prediction mode
EP3893508A4 (en) * 2018-12-07 2022-09-14 Sharp Kabushiki Kaisha Moving image decoding device
WO2020116242A1 (ja) 2018-12-07 2020-06-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US10887611B2 (en) * 2018-12-27 2021-01-05 Qualcomm Incorporated Pruning for illumination compensation mode
CN111416975B (zh) * 2019-01-08 2022-09-16 华为技术有限公司 预测模式确定方法和装置
MX2021008340A (es) 2019-01-08 2021-09-30 Huawei Tech Co Ltd Método, aparato y sistema de prediccion de imagenes, dispositivo y medio de almacenamiento.
JP7303255B2 (ja) * 2019-01-09 2023-07-04 ベイジン ダジア インターネット インフォメーション テクノロジー カンパニー リミテッド ビデオコーディングの方法、ビデオコーディングデバイス、コンピュータ可読記憶媒体およびコンピュータプログラム
CN116800962B (zh) * 2019-01-09 2024-08-09 北京达佳互联信息技术有限公司 视频编解码方法、设备和非暂时性计算机可读存储介质
EP3909241A4 (en) 2019-01-09 2022-04-06 Beijing Dajia Internet Information Technology Co., Ltd. SYSTEM AND METHODS FOR IMPROVING COMBINED INTER AND INTRA PREDICTION
KR102450491B1 (ko) * 2019-01-09 2022-09-30 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 조합된 인터 및 인트라 예측을 위한 시스템 및 방법
WO2020143741A1 (en) 2019-01-10 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Invoke of lut updating
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
CN113330739B (zh) 2019-01-16 2025-01-10 北京字节跳动网络技术有限公司 Lut中的运动候选的插入顺序
CN119172548A (zh) * 2019-03-08 2024-12-20 Jvc建伍株式会社 动图像编码装置和方法、以及动图像解码装置和方法
JP7548928B2 (ja) * 2019-03-11 2024-09-10 ヴィド スケール インコーポレイテッド 対称的マージモード動きベクトル符号化
MX2021010392A (es) 2019-03-12 2021-10-01 Beijing Dajia Internet Information Tech Co Ltd Metodos y aparatos de codificacion de video para prediccion de triangulo.
CN113615193B (zh) 2019-03-22 2024-06-25 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
US11394990B2 (en) 2019-05-09 2022-07-19 Tencent America LLC Method and apparatus for signaling predictor candidate list size
CN113940072B (zh) 2019-06-19 2025-05-13 索尼集团公司 图像处理装置和方法
CN110363776B (zh) * 2019-06-28 2021-10-22 联想(北京)有限公司 图像处理方法及电子设备
CN112465698B (zh) * 2019-09-06 2024-12-03 华为技术有限公司 一种图像处理方法和装置
US12238273B2 (en) 2019-12-03 2025-02-25 Mellanox Technologies, Ltd Video coding system
WO2021197862A1 (en) * 2020-03-31 2021-10-07 Nokia Technologies Oy Merge candidate list for gradual decoding refresh
US12339902B2 (en) * 2021-10-05 2025-06-24 Mellanox Technologies, Ltd Hardware accelerated video encoding
CN115103194B (zh) * 2022-06-16 2023-03-24 慧之安信息技术股份有限公司 基于多解码模式的视频解码方法

Family Cites Families (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6003129A (en) 1996-08-19 1999-12-14 Samsung Electronics Company, Ltd. System and method for handling interrupt and exception events in an asymmetric multiprocessor architecture
JPH11122624A (ja) * 1997-10-16 1999-04-30 Matsushita Electric Ind Co Ltd ビデオデコーダ処理量を低減する方法および装置
FI113124B (fi) 1999-04-29 2004-02-27 Nokia Corp Tiedonsiirto
US7417568B2 (en) 2000-10-03 2008-08-26 Realtime Data Llc System and method for data feed acceleration and encryption
CN1305311C (zh) 2001-06-29 2007-03-14 株式会社Ntt都科摩 图像编码装置、图像解码装置、图像编码方法、及图像解码方法
US7739319B2 (en) 2001-10-29 2010-06-15 Intel Corporation Method and apparatus for parallel table lookup using SIMD instructions
JP4047183B2 (ja) 2002-03-07 2008-02-13 キヤノン株式会社 画像圧縮符号化装置及びその制御方法
US7809204B2 (en) 2002-10-18 2010-10-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding key value data of coordinate interpolator
US7599438B2 (en) * 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
US7620106B2 (en) * 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
US8009739B2 (en) * 2003-09-07 2011-08-30 Microsoft Corporation Intensity estimation/compensation for interlaced forward-predicted fields
US7616692B2 (en) * 2003-09-07 2009-11-10 Microsoft Corporation Hybrid motion vector prediction for interlaced forward-predicted fields
US7577198B2 (en) * 2003-09-07 2009-08-18 Microsoft Corporation Number of reference fields for an interlaced forward-predicted field
US7761238B2 (en) 2003-10-03 2010-07-20 Allan Robert Moser Method and apparatus for discovering patterns in binary or categorical data
KR100597397B1 (ko) 2003-11-06 2006-07-07 삼성전자주식회사 고속 움직임추정 알고리즘을 갖는 동영상 코딩방법 및 장치
US7379608B2 (en) * 2003-12-04 2008-05-27 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Arithmetic coding for transforming video and picture data units
EP1603339A1 (en) 2004-06-01 2005-12-07 STMicroelectronics S.r.l. Method and system for communicating video data in a packet-switched network, related network and computer program product therefor
KR100648258B1 (ko) 2004-08-02 2006-11-23 삼성전자주식회사 고속의 디코딩을 수행하는 파이프라인 구조의 내용 기반적응적 이진 산술 디코더
US7671894B2 (en) * 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
US7468745B2 (en) * 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
US7728878B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Labortories, Inc. Method and system for processing multiview videos for view synthesis using side information
US8823821B2 (en) * 2004-12-17 2014-09-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using motion vector predictor list
EP1832116A1 (en) 2004-12-22 2007-09-12 Koninklijke Philips Electronics N.V. Video stream modifier
US8565307B2 (en) * 2005-02-01 2013-10-22 Panasonic Corporation Picture encoding method and picture encoding device
US8457203B2 (en) * 2005-05-26 2013-06-04 Ntt Docomo, Inc. Method and apparatus for coding motion and prediction weighting parameters
US20070025442A1 (en) * 2005-07-28 2007-02-01 Sanyo Electric Co., Ltd. Coding method for coding moving images
JP2007067731A (ja) * 2005-08-30 2007-03-15 Sanyo Electric Co Ltd 符号化方法
KR101018504B1 (ko) 2005-09-20 2011-03-03 미쓰비시덴키 가부시키가이샤 화상 복호 방법 및 화상 복호 장치
EP1962514A4 (en) 2005-12-05 2012-02-15 Huawei Tech Co Ltd BINARIZATION METHOD AND ASSOCIATED DEVICE
US7983343B2 (en) 2006-01-12 2011-07-19 Lsi Corporation Context adaptive binary arithmetic decoding for high definition video
US20110160075A1 (en) 2006-02-09 2011-06-30 Wei-Mei Ching Diagnostic assay for orientia tsutsugamushi by detection of responsive gene expression
KR100736104B1 (ko) 2006-04-06 2007-07-06 삼성전자주식회사 독립적 파싱을 지원하는 비디오 코딩 방법 및 장치
JP4734168B2 (ja) * 2006-05-09 2011-07-27 株式会社東芝 画像復号化装置及び画像復号化方法
JP4752631B2 (ja) * 2006-06-08 2011-08-17 株式会社日立製作所 画像符号化装置、及び画像符号化方法
US8126046B2 (en) 2006-06-30 2012-02-28 Intel Corporation Flexible macroblock ordering and arbitrary slice ordering apparatus, system, and method
US20080013624A1 (en) 2006-07-14 2008-01-17 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding video signal of fgs layer by reordering transform coefficients
US8559514B2 (en) * 2006-07-27 2013-10-15 Qualcomm Incorporated Efficient fetching for motion compensation video decoding process
CA2659351A1 (en) * 2006-07-28 2008-01-31 Kabushiki Kaisha Toshiba Method and apparatus for encoding and decoding image
US7760948B1 (en) 2006-10-13 2010-07-20 Xilinx, Inc. Parallel coefficient bit modeling
JP4878262B2 (ja) * 2006-10-31 2012-02-15 キヤノン株式会社 エントロピー符号化装置
US7788685B2 (en) 2006-11-22 2010-08-31 Broadcom Corporation Software RASP parser for a PVR-enabled set-top system
US20080120676A1 (en) * 2006-11-22 2008-05-22 Horizon Semiconductors Ltd. Integrated circuit, an encoder/decoder architecture, and a method for processing a media stream
US7365659B1 (en) 2006-12-06 2008-04-29 Silicon Image Gmbh Method of context adaptive binary arithmetic coding and coding apparatus using the same
US9445128B2 (en) * 2006-12-08 2016-09-13 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers
US9961372B2 (en) * 2006-12-08 2018-05-01 Nxp Usa, Inc. Adaptive disabling of deblock filtering based on a content characteristic of video information
US8400338B2 (en) 2006-12-29 2013-03-19 Teradyne, Inc. Compensating for harmonic distortion in an instrument channel
JP2008193627A (ja) * 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
KR101539240B1 (ko) 2007-06-14 2015-07-30 삼성전자주식회사 영상 데이터의 엔트로피 부호화, 복호화 방법 및 장치
US9648325B2 (en) 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
EP2208350A2 (en) * 2007-10-12 2010-07-21 Thomson Licensing Methods and apparatus for video encoding and decoding geometrically partitioned bi-predictive mode partitions
US8379729B2 (en) * 2007-11-21 2013-02-19 Texas Instruments Incorporated Content adaptive error localization to improve quality of corrupted video data streams upon decode
CN101163244A (zh) * 2007-11-22 2008-04-16 上海交通大学 视频解码器运动补偿过程中的像素缓存方法及系统
US9008171B2 (en) 2008-01-08 2015-04-14 Qualcomm Incorporated Two pass quantization for CABAC coders
US8891615B2 (en) 2008-01-08 2014-11-18 Qualcomm Incorporated Quantization based on rate-distortion modeling for CABAC coders
SG155790A1 (en) 2008-03-18 2009-10-29 Radiantrust Pte Ltd Method for embedding covert data in a text document using space encoding
KR100949917B1 (ko) * 2008-05-28 2010-03-30 한국산업기술대학교산학협력단 적응적 인트라 예측을 통한 고속 부호화 방법 및 시스템
EP2286595A1 (en) * 2008-06-16 2011-02-23 Dolby Laboratories Licensing Corporation Rate control model adaptation based on slice dependencies for video coding
WO2010021699A1 (en) 2008-08-19 2010-02-25 Thomson Licensing Context-based adaptive binary arithmetic coding (cabac) video stream compliance
US8750378B2 (en) * 2008-09-23 2014-06-10 Qualcomm Incorporated Offset calculation in switched interpolation filters
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
US7932843B2 (en) 2008-10-17 2011-04-26 Texas Instruments Incorporated Parallel CABAC decoding for video decompression
US20100127904A1 (en) 2008-11-26 2010-05-27 Horizon Semiconductors Ltd. Implementation of a rapid arithmetic binary decoding system of a suffix length
US8638850B2 (en) 2009-05-06 2014-01-28 Advanced Micro Devices, Inc. Execution units for context adaptive binary arithmetic coding (CABAC)
US9788010B2 (en) * 2009-05-07 2017-10-10 Texas Instruments Incorporated Reducing computational complexity when video encoding uses bi-predictively encoded frames
US8498330B2 (en) * 2009-06-29 2013-07-30 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for coding mode selection
WO2011002914A1 (en) 2009-06-30 2011-01-06 Massachusetts Institute Of Technology System and method for providing high throughput entropy coding using syntax element partitioning
US8711930B2 (en) * 2009-07-09 2014-04-29 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
KR101452860B1 (ko) 2009-08-17 2014-10-23 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR101504887B1 (ko) * 2009-10-23 2015-03-24 삼성전자 주식회사 데이터 단위 레벨의 독립적 파싱 또는 복호화에 따른 비디오 복호화 방법 및 그 장치, 그리고 데이터 단위 레벨의 독립적 파싱 또는 복호화를 위한 비디오 부호화 방법 및 그 장치
KR101457894B1 (ko) 2009-10-28 2014-11-05 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치
KR101484280B1 (ko) * 2009-12-08 2015-01-20 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
KR101700358B1 (ko) 2009-12-09 2017-01-26 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US8588536B2 (en) * 2010-02-22 2013-11-19 Texas Instruments Incorporated Guaranteed-rate tiled image data compression
US9973768B2 (en) * 2010-03-16 2018-05-15 Texas Instruments Incorporated CABAC decoder with decoupled arithmetic decoding and inverse binarization
TWI666882B (zh) * 2010-04-13 2019-07-21 美商Ｇｅ影像壓縮有限公司 在樣本陣列多元樹細分中之繼承技術
CN106412606B (zh) * 2010-04-13 2020-03-27 Ge视频压缩有限责任公司 解码数据流的方法、生成数据流的方法
US8400336B2 (en) 2010-04-19 2013-03-19 Research In Motion Limited Methods and devices for reordered parallel entropy coding and decoding
WO2011139099A2 (ko) * 2010-05-04 2011-11-10 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
US20130058410A1 (en) * 2010-05-13 2013-03-07 Sharp Kabushiki Kaisha Encoding device, decoding device, and data structure
CN101917615A (zh) * 2010-06-03 2010-12-15 北京邮电大学 一种混合视频编码框架中的增强型双向运动矢量预测方法
US9398308B2 (en) * 2010-07-28 2016-07-19 Qualcomm Incorporated Coding motion prediction direction in video coding
US20120075436A1 (en) * 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
KR102062821B1 (ko) * 2010-09-29 2020-01-07 한국전자통신연구원 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치
US9137544B2 (en) * 2010-11-29 2015-09-15 Mediatek Inc. Method and apparatus for derivation of mv/mvp candidate for inter/skip/merge modes
US8548057B2 (en) * 2011-01-25 2013-10-01 Microsoft Corporation Video coding redundancy reduction
US9848197B2 (en) 2011-03-10 2017-12-19 Qualcomm Incorporated Transforms in video coding
GB2488830B (en) * 2011-03-10 2015-07-29 Canon Kk Method and device for encoding image data and method and device for decoding image data
JP2014515108A (ja) 2011-04-19 2014-06-26 ポーレックス コーポレイション 液体試料の採取、保存、輸送および送達用器具
US9866859B2 (en) 2011-06-14 2018-01-09 Texas Instruments Incorporated Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding
CN103891291A (zh) * 2011-08-30 2014-06-25 诺基亚公司 用于视频编码和解码的设备、方法和计算机程序
TWI601411B (zh) * 2011-09-14 2017-10-01 三星電子股份有限公司 視訊解碼裝置
CN103858430B (zh) * 2011-09-29 2017-05-03 夏普株式会社 图像解码装置、图像解码方法及图像编码装置
CN104081772B (zh) * 2011-10-06 2018-04-10 弗劳恩霍夫应用研究促进协会 熵编码缓冲器配置
KR20130049524A (ko) * 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 방법
KR20130049525A (ko) * 2011-11-04 2013-05-14 오수미 잔차 블록 복원을 위한 역변환 방법
US9288508B2 (en) 2011-11-08 2016-03-15 Qualcomm Incorporated Context reduction for context adaptive binary arithmetic coding
US9485503B2 (en) * 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
US9451277B2 (en) * 2012-02-08 2016-09-20 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
US10200709B2 (en) * 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US9143781B2 (en) * 2012-04-03 2015-09-22 Qualcomm Incorporated Weighted prediction parameter coding
US9325990B2 (en) * 2012-07-09 2016-04-26 Qualcomm Incorporated Temporal motion vector prediction in video coding extensions
US9344718B2 (en) * 2012-08-08 2016-05-17 Qualcomm Incorporated Adaptive up-sampling filter for scalable video coding
WO2014072571A1 (en) 2012-10-01 2014-05-15 Nokia Corporation Method and apparatus for scalable video coding
US20140098880A1 (en) * 2012-10-05 2014-04-10 Qualcomm Incorporated Prediction mode information upsampling for scalable video coding
US20140198846A1 (en) 2013-01-16 2014-07-17 Qualcomm Incorporated Device and method for scalable coding of video information
US9491460B2 (en) * 2013-03-29 2016-11-08 Qualcomm Incorporated Bandwidth reduction for video coding prediction
US20140301463A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for video coding and decoding
US10277895B2 (en) 2016-12-28 2019-04-30 Arris Enterprises Llc Adaptive unequal weight planar prediction
CN118972568A (zh) 2018-06-27 2024-11-15 韩国电子通信研究院 图像编码/解码方法和装置以及存储比特流的记录介质

Also Published As

Publication number Publication date
US20170310991A1 (en) 2017-10-26
EP2763414B1 (en) 2020-09-23
MX353235B (es) 2018-01-08
CN108632608A (zh) 2018-10-09
EP2763414A1 (en) 2014-08-06
MX2014003736A (es) 2014-05-01
US20210409760A1 (en) 2021-12-30
EP3754982A1 (en) 2020-12-23
US12075088B2 (en) 2024-08-27
US10194169B2 (en) 2019-01-29
US11128889B2 (en) 2021-09-21
CN103828364A (zh) 2014-05-28
US10743024B2 (en) 2020-08-11
CN108650508A (zh) 2018-10-12
CN103828364B (zh) 2018-06-12
JP2016195452A (ja) 2016-11-17
EP3754982B1 (en) 2024-05-01
WO2013047811A1 (ja) 2013-04-04
MY164898A (en) 2018-01-30
US10075733B2 (en) 2018-09-11
US20190110070A1 (en) 2019-04-11
US20150312588A1 (en) 2015-10-29
CN108650508B (zh) 2022-07-29
PL3754982T3 (pl) 2024-09-02
DK2763414T3 (da) 2020-11-30
MX337446B (es) 2016-03-07
US20200304830A1 (en) 2020-09-24
CN108632608B (zh) 2022-07-29
IN2014CN02456A (ja) 2015-06-19
JPWO2013047811A1 (ja) 2015-03-30
EP2763414A4 (en) 2015-01-21
JP5976658B2 (ja) 2016-08-24

Similar Documents

Publication Publication Date Title
JP6190499B2 (ja) 画像復号装置、画像復号方法および画像符号化装置
JP6190494B2 (ja) 画像復号装置、画像復号方法および画像符号化装置
JP6441418B2 (ja) 画像復号装置、画像復号方法、画像符号化装置、および画像符号化方法
WO2013065431A1 (ja) 画像復号装置、画像復号方法および画像符号化装置
JP2013223049A (ja) 画像復号装置、および画像符号化装置
HK1194224B (en) Image decoding device, image decoding method, and image encoding device
HK1194224A (en) Image decoding device, image decoding method, and image encoding device
HK1194223A (en) Image decoding apparatus, image decoding method and image encoding apparatus
HK1194223B (en) Image decoding apparatus, image decoding method and image encoding apparatus

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20161104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170804

R150 Certificate of patent or registration of utility model

Ref document number: 6190499

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150