CN103563375B

CN103563375B - 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编码解码装置

Info

Publication number: CN103563375B
Application number: CN201280025496.7A
Authority: CN
Inventors: 笹井寿郎; 西孝启; 柴原阳司; 杉尾敏康; 谷川京子; 松延彻
Original assignee: Sun Patent Trust Inc
Current assignee: Sun Patent Trust Inc
Priority date: 2011-06-27
Filing date: 2012-06-22
Publication date: 2017-04-05
Anticipated expiration: 2032-06-22
Also published as: JP6587076B2; US20150373336A1; US20140301443A1; AU2012277214B2; US9912961B2; US8811762B2; US20120328209A1; JP5933545B2; WO2013001764A1; JP6112375B2; CN103563375A; JP2016167864A; CA2842646C; BR112013030347A2; MY169636A; US9591311B2; MX2013013483A; JPWO2013001764A1; EP4270950A3; KR20140028035A

Abstract

有关本发明的一形态的图像解码方法包括：上下文控制步骤（S204），在多个上下文中决定对处理对象块使用的上下文；算术解码步骤（S210），对与上述处理对象块对应的比特序列使用所决定的上述上下文进行算术解码；在上述上下文控制步骤（S204）中，在上述控制参数的信号种类是第1种类的情况下，使用利用与上述处理对象块邻接的左块及上块的控制参数的条件决定上述上下文（S206），在上述控制参数的信号种类是第2种类的情况下，使用不利用上述上块的控制参数的条件决定上述上下文（S207），上述第2种类是"mvd_l0"或"mvd_l1"。

Description

图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编码解码装置

技术领域

本发明涉及图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编码解码装置，特别涉及使用算术编码或算术解码的图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编码解码装置。

背景技术

自然图像的图像信号具有统计上的波动，该波动呈变动性的特性。在利用统计上的波动的变动性的熵编码方式之一中，有Context-Based Adaptive Binary ArithmeticCoding(CABAC，基于上下文的自适应二进制算术编码)(参照非专利文献1)。该CABAC方式在ITU-T/ISOIEC standard for video coding，H.264/AVC方式中被采用。

以下，说明在CABAC方式中使用的用语的意义。

(1)"Context-Based Adaptive"(基于上下文的自适应)，是使编码及解码方法自适应于统计性波动的变动。即，"Context-Based Adaptive"也可以说是在将某个码元编码或解码的情况下，匹配于周围的条件的发生事件作为该码元的发生概率而预测适当的概率。例如，在编码中，在决定某个码元S的各值的发生概率p(x)的情况下，使用以实际发生的事件或事件的列F(z)为条件的带条件的发生概率。

(2)"Binary"(二进制)是指将码元用二进制排列表现。关于用多值表示的码元，一次变形为称作bin string的二值排列。并且对于各个排列要素，一边切换使用预测概率(条件概率)，一边将发生了两个值的事件的哪个进行比特序列化。由此，能够用比信号种类的单位更详细的单位(二进制数要素单位)对值的概率进行管理(初始化及更新)(参照非专利文献1的图2等)。

(3)所谓"arithmetic"(算术)，是指上述的比特序列生成处理不是通过表的对应、而是通过计算输出。在使用H.263、MPEG-4及H.264中的可变长代码表的编码方式中，即使是具有发生概率比0.5(50％)高的发生概率的码元，也需要使码元能够取的各个值对应于1个二进制数列(比特序列)。由此，关于概率最高的值，也最短必须使1个比特与1个码元建立对应。相对于此，算术编码能够将事件的较高的概率下的发生用整数值1比特以下表现。例如，有第1个二进制数的值为“0”的发生概率超过0.9(90％)那样的信号种类，在作为事件而第1个二进制数的值连续N次是“0”的情况下，不再需要对各个值“0”将1比特的数据输出N次。

现有技术文献

非专利文献

非专利文献1：Detlev Marpe,et.al.,"Context-Based Adaptive BinaryArithmetic Coding in the H.264/AVC Video Compression Standard",IEEETransaction on circuits and systems for video technology,Vol.13,No.7,July2003.

非专利文献2：Joint Collaborative Team on Video Coding(JCT-VC)of ITU-TSG16 WP3 and ISO/IEC JTC1/SC29/WG11 4th Meeting:Daegu,KR,20-28 January,2011"WD2:Working Draft 2 of High-Efficiency Video Coding"JCTVC-D503 http://wftp3.itu.int/av-arch/jctvc-site/2011_01_D_Daegu/JCTVC-D503.doc

非专利文献3：Joint Collaborative Team on Video Coding(JCT-VC)of ITU-TSG16 WP3 and ISO/IEC JTC1/SC29/WG11 4th Meeting:Daegu,KR,20-28 January,2011,"Common test conditions and software reference configurations",JCTVC-E700

非专利文献4：Gisle Bjontegaard,“Improvements of the BD-PSNR model,"ITU-T SG16 Q.6 Document,VCEG-AI11,Berlin,July 2008

发明内容

发明要解决的问题

但是，在这样的图像编码方法及图像解码方法中，希望存储器使用量(使用的存储器容量)的减少。

所以，本发明的目的是提供一种能够削减存储器使用量的图像编码方法或图像解码方法。

用于解决问题的手段

为达成上述目的，本发明的一个形态的图像解码方法，使用算术解码，包括以下步骤：上下文控制步骤，在多个上下文中决定对处理对象块使用的上下文；算术解码步骤，将通过对控制参数进行算术编码而得到的、与上述处理对象块对应的比特序列使用所决定的上述上下文进行算术解码，由此将二值排列复原；以及多值化步骤，通过将上述二值排列多值化，将上述控制参数复原；在上述上下文控制步骤中，判断上述处理对象块的控制参数的信号种类；在上述信号种类是第1种类的情况下，使用利用与上述处理对象块邻接的左块及上块的已解码的控制参数的第1条件，决定上述上下文；在上述信号种类是与上述第1种类不同的第2种类的情况下，使用不利用上述上块的已解码的控制参数的第2条件，决定上述上下文；上述第1种类是"split_coding_unit_flag"或"skip_flag"；上述第2种类是"mvd_l0"或"mvd_l1"。

发明效果

本发明能够提供能削减存储器使用量的图像编码方法或图像解码方法。

附图说明

图1是有关本发明的实施方式1的图像编码装置的功能框图。

图2是有关本发明的实施方式1的可变长编码部的功能框图。

图3是关于有关本发明的实施方式1的控制参数的上下文模型的表。

图4是表示有关本发明的实施方式1的算术编码方法的流程图。

图5是有关本发明的实施方式2的图像解码装置的功能框图。

图6是有关本发明的实施方式2的可变长解码部的功能框图。

图7是表示有关本发明的实施方式2的算术解码方法的流程图。

图8是表示有关本发明的实施方式2的算术解码方法的变形例的流程图。

图9是表示有关本发明的实施方式2的HEVC的分割块(树构造)的图。

图10是用来说明有关本发明的实施方式2的多层级块构造的图。

图11是表示有关本发明的实施方式3的split_coding_unit_flag的算术解码方法的表。

图12A是表示有关本发明的实施方式3的关于split_coding_unit_flag的验证结果的表。

图12B是表示有关本发明的实施方式3的关于split_coding_unit_flag的验证结果的表。

图13是表示有关本发明的实施方式3的skip_flag的算术解码方法的表。

图14A是表示有关本发明的实施方式3的关于skip_flag的验证结果的表。

图14B是表示有关本发明的实施方式3的关于skip_flag的验证结果的表。

图15是表示有关本发明的实施方式3的mvd_l0(l1,lc)的算术解码方法的表。

图16A是表示有关本发明的实施方式3的关于mvd_l0(l1,lc)的验证结果的表。

图16B是表示有关本发明的实施方式3的关于mvd_l0(l1,lc)的验证结果的表。

图16C是表示有关本发明的实施方式3的关于mvd_l0(l1,lc)的上下文模型的表。

图16D是表示有关本发明的实施方式3的关于mvd_l0(l1,lc)的上下文模型的表。

图17是用来说明有关本发明的实施方式的、利用邻接两块的对应的控制参数的值的上下文模型的图。

图18是用来说明有关本发明的实施方式的、利用上块的情况下的存储器使用量的增加的图。

图19是实现内容分发服务的内容供给系统的整体结构图。

图20是数字广播用系统的整体结构图。

图21是表示电视机的结构例的模块图。

图22是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。

图23是表示作为光盘的记录介质的构造例的图。

图24A是表示便携电话的一例的图。

图24B是表示便携电话的结构例的模块图。

图25是表示复用数据的结构的图。

图26是示意地表示各流在复用数据中怎样被复用的图。

图27是更详细地表示在PES包序列中视频流怎样被保存的图。

图28是表示复用数据的TS包和源包的构造的图。

图29是表示PMT的数据结构的图。

图30是表示复用数据信息的内部结构的图。

图31是表示流属性信息的内部结构的图。

图32是表示识别影像数据的步骤的图。

图33是表示实现各实施方式的运动图像编码方法及运动图像解码方法的集成电路的结构例的模块图。

图34是表示切换驱动频率的结构的图。

图35是表示识别影像数据、切换驱动频率的步骤的图。

图36是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。

图37A是表示将信号处理部的模块共用的结构的一例的图。

图37B是表示将信号处理部的模块共用的结构的另一例的图。

具体实施方式

(作为本发明的基础的认识)

本发明者发现，会发生以下的问题。

这里，在作为下一代编码方式的High-Efficiency Video Coding(HEVC)中，关于各种控制参数的编码及解码中的上下文模型的研究也正在进展(非专利文献2)。所谓控制参数，是指包含在编码比特流中、在编码处理或解码处理中使用的参数(标志等)，具体而言，是syntax element。

所谓上下文模型，是表示(1)对怎样的单位(多值、二进制数值、或二进制数排列(bin string)的各个要素)的信号、(2)考虑怎样的条件(Condition)的信息。这里，所谓怎样的条件，是应用怎样的条件的要素数的条件、或者作为条件考虑的控制参数的信号种类最好是什么。将该条件越详细地区分，即，越是增加条件数τ(the number of conditions)，与1个条件对应的次数越减少。结果，通过每个条件的学习次数减少，概率的预测的精度下降(例如，参照非专利文献1的"dilution effect")。

此外，越是减少条件数，越是不考虑上下文(周围的条件)，越不追随于(adaptive)统计性变动。

在上下文的模型设计中决定模型的设计方针后，需要通过进行图像内容的统计性波动的验证、或控制图像的编码及解码的控制参数的统计性波动的验证等的为图像而特殊化的验证来考虑其妥当性。

在H.264中，将在码元的编码中使用限定的数量的事前事件作为规则的规范，并将上下文模型类型化为4个基本的类型(basic design types)。

第1及第2类型关于控制参数的编码及解码。

第1类型的上下文模型使用以两个为上限(up to two)的邻接的已编码的值(参照非专利文献1)。邻接的两个已编码的值的定义依存于控制参数的各个信号种类，但通常使用在左及上邻接的块中包含的对应的控制参数的值。

第2上下文模型的类型是作为发生概率而基于二进制数树决定上下文的类型。具体而言，应用到控制参数mb_type及sub_mb_type中。

第3及第4类型关于图像数据等的残差值(residual data)的编码及解码。在第3类型中，根据频率系数(或量化系数)的扫描的顺序，仅利用过去编码或解码的值。在第4类型中，根据解码并累积的值(水平(level)值)决定上下文。

上述第1类型等的、H.264的概率转移(probability transition)模型的设计方针及安装方法被较长地验证了效果，研究正在进展，以使得也应用到目前研究中的HEVC中(参照非专利文献2)。例如正在研究将第1类型(使用相邻语法元素(using neighbouringsyntax elements)的上下文模型)用在控制参数alf_cu_flag、split_coding_unit_flag、skip_flag、merge_flag、intra_chroma_pred_mode、inter_pred_flag、ref_idx_lc、ref_idx_l0、ref_idx_l1、mvd_l0、mvd_l1、mvd_lc、no_residual_data_flag、cbf_luma、cbf_cb及cbf_cr中(参照非专利文献2的9.3.3.1.1节)。

但是，关于利用该第1类型“利用邻接两块的上下文模型”的编码，本发明者发现，关于其存储器使用量存在以下的问题。

图17是用来说明利用邻接两块的对应的控制参数的值的上下文模型的图。此外，图17表示H.264中的利用邻接块的上下文模型。

图中的块C包括作为当前(Current)的编码或解码对象的控制参数SE的值。在将该SE的值编码的情况下，利用在已经编码的上块A及左块B中包含的同种控制参数SE的值。具体而言，使用以上块A的控制参数SE的值和左块B的控制参数SE的值为条件的条件概率p(x|(condition A(上块的值)且condition B(左块的值)))预测块C的控制参数SE(或控制参数SE的bin string的第1个二进制数)的值x是“1”还是“0”的概率p(x)。

图18是用来说明利用上块的情况下的存储器使用量的增加的图。

图中的(xP，yP)表示包含块C的Prediction Unit(PU：运动预测单位)的左上像素位置。这里，块C是包括当前的编码对象的控制参数(例如skip_flag)的块。此外，图中的(xP，yA)表示作为condition A(上块的控制参数skip_flag的值)使用的、块B中包含的像素位置。图中(xL，yP)表示作为condition B(左块的控制参数skip_flag的值)使用的、块A中包含的像素位置。

在此情况下，为了将块C的控制参数skip_flag的值编码或解码，编码或解码装置需要保持与上块B中包含的(xP，yA)的位置对应的PU的skip_flag的值(或条件的判断结果)、和与左块A中包含的(xL，yP)的位置对应的PU的skip_flag的值(或条件的判断结果)。这里，如果设该图片的横宽是4096像素，则为了1个控制参数skip_flag的编码，需要保持上块行(图18所示的Line L)中包含的全部的判断值。即，为了1个控制参数，需要4096像素÷块尺寸的存储器容量。

这里，编码对象的块C的块尺寸是可变的，例如是64×64、16×16或4×4等。此外，在包含(xP，yA)的上方的行(Line L)中包含的块的编码或解码时，在之后编码或解码的块C的块尺寸不能预测。这是因为，编码或解码装置在上方的行(包含块A的行)的编码或解码的时点，不知道其之下的行(包含块C的行)的各块的尺寸。因而，编码或解码装置设想作为下方的行的块尺寸而使用应用该控制参数的块尺寸中的最小的块尺寸的情况，必须按照每个该最小的块尺寸保持控制参数的值(或判断值)。另外，图18的黑圈的位置表示实际在下方的行(包含块C的行)的编码或解码中尽管不需要该条件值但必须保持的条件。

进而，图18所示的邻接两块(左块A和上块B)表示H.264时点的邻接块的概念，没有导入新的层级块分割的观点。如后述那样，对适应于计划用HEVC导入的递归4分块分割树构造(quad tree partitioning)的控制参数，根据递归的执行顺序、层级深度或块的位置，有由图18表示的参照的条件值没有意义的情况。

这样，本发明者发现，通过在控制参数的算术编码或解码中利用上块的条件值，存储器使用量增加。进而，本发明者发现，在HEVC中，该存储器使用量进一步增加。

对此，本发明的一个形态的图像解码方法，使用算术解码，包括以下步骤：上下文控制步骤，在多个上下文中决定对处理对象块使用的上下文；算术解码步骤，将通过对控制参数进行算术编码而得到的、与上述处理对象块对应的比特序列使用所决定的上述上下文进行算术解码，由此将二值排列复原；以及多值化步骤，通过将上述二值排列多值化，将上述控制参数复原；在上述上下文控制步骤中，判断上述处理对象块的控制参数的信号种类；在上述信号种类是第1种类的情况下，使用利用与上述处理对象块邻接的左块及上块的已解码的控制参数的第1条件，决定上述上下文；在上述信号种类是与上述第1种类不同的第2种类的情况下，使用不利用上述上块的已解码的控制参数的第2条件，决定上述上下文；上述第1种类是"split_coding_unit_flag"或"skip_flag"；上述第2种类是"mvd_l0"或"mvd_l1"。

据此，该图像解码方法能够削减存储器使用量。具体而言，该图像解码方法由于对第2种类的控制参数不使用上块的控制参数，所以不需要保持上块的第2种类的控制参数。由此，该图像解码方法与划一地作为“利用基于邻接块的控制参数的值的上下文模型”而利用左块和上块的情况相比能够削减存储器使用量。进而，该图像解码方法能够不损害图像的BD-rate值评价等而适当地削减第2种类的控制参数的存储器使用量。

此外，该图像解码方法能够进行在现有技术的H.264中没有考虑的、适合于新的HEVC特有的数据构造的层级树构造的上下文的利用或存储器参照。

此外，也可以是，上述第2条件是不利用上述上块的已解码的控制参数也不利用上述左块的已解码的控制参数的条件。

据此，该图像解码方法通过除了上块以外也不使用左块的控制参数，能够进一步削减存储器使用量。

此外，也可以是，在上述上下文控制步骤中，在上述信号种类是上述第2种类的情况下，作为上述第2条件，将预先设定的上下文决定为在上述对象块的算术解码中使用的上下文。

据此，该图像解码方法能够降低处理量。

此外，也可以是，在上述上下文控制步骤中，还基于上述处理对象块的位置，判断在解码时是否能够利用上述上块的控制参数；在不能利用上述上块的控制参数的情况下，使用上述第2条件决定上述上下文。

据此，该图像解码方法能够降低处理量。

此外，也可以是，在上述上下文控制步骤中，在上述处理对象块属于切片边界的情况下，判断为在解码时不能利用上述上块的控制参数。

此外，也可以是，在上述上下文控制步骤中，根据上述处理对象块的控制参数所属的数据单位的层级的深度判断在解码时是否能够利用上述上块的控制参数。

此外，也可以是，上述第2种类是具有预先设定的数据构造的控制参数。

此外，也可以是，在上述上下文控制步骤中，还基于第1单位的控制参数的值，对比上述第1单位小的第2单位的控制参数，切换是使用上述第1条件决定上述上下文、还是使用上述第2条件决定上下文。

此外，也可以是，在上述上下文控制步骤中，从上述处理对象块的mvd_l0及mvd_l1的至少一方的值导出mvd_lc的上下文决定条件。

据此，该图像解码方法不必参照周边块的mvd_lc的值，就能够导出mvd_lc的条件值。

此外，也可以是，在上述上下文控制步骤中，将mvd的水平方向及垂直方向的一方的条件值从另一方的条件值导出。

据此，该图像解码方法能够削减上下文索引的数量。

此外，也可以是，上述"split_coding_unit_flag"表示上述处理对象块是否被分割为多个块，上述"skip_flag"表示是否跳过上述处理对象块，上述"mvd_l0"表示对上述处理对象块使用的列表0的运动矢量成分与其预测值的差分，上述"mvd_l1"表示对上述处理对象块使用的列表1的运动矢量成分与其预测值的差分，上述"mvd_lc"表示对上述处理对象块使用的合成列表的运动矢量成分与其预测值的差分。

此外，也可以是，上述图像解码方法根据编码信号中包含的、表示第1标准或第2标准的识别符，对依据上述第1标准的解码处理、和依据上述第2标准的解码处理进行切换；在上述ID表示第1标准的情况下，作为依据上述第1标准的解码处理，进行上述上下文控制步骤、上述算术解码步骤和上述多值化步骤。

此外，有关本发明的一形态的图像编码方法，使用算术编码，包括以下步骤：二值化步骤，通过将处理对象块的控制参数二值化，生成二值排列；上下文控制步骤，在多个上下文中，决定对上述处理对象块使用的上下文；以及算术编码步骤，通过使用所决定的上述上下文对上述二值排列进行算术编码，生成比特序列；在上述上下文控制步骤中，判断上述处理对象块的控制参数的信号种类；在上述信号种类是第1种类的情况下，使用利用与上述处理对象块邻接的左块及上块的控制参数的第1条件，决定上述上下文；在上述信号种类是与上述第1种类不同的第2种类的情况下，使用不利用上述上块的控制参数的第2条件，决定上述上下文；上述第1种类是"split_coding_unit_flag"或"skip_flag"；上述第2种类是"mvd_l0"或"mvd_l1"。

据此，该图像编码方法能够削减存储器使用量。具体而言，该图像编码方法由于对第2种类的控制参数不使用上块的控制参数，所以不需要保持上块的第2种类的控制参数。由此，该图像编码方法与划一地作为“利用基于邻接块的控制参数的值的上下文模型”而利用左块和上块的情况相比能够削减存储器使用量。进而，该图像编码方法能够不损害图像的BD-rate值评价等而适当地削减第2种类的控制参数的存储器使用量。

此外，该图像编码方法能够进行在现有技术的H.264中没有考虑的、适合于新的HEVC特有的数据构造的层级树构造的上下文的利用或存储器参照。

此外，有关本发明的一形态的图像解码装置，使用算术解码，包括：上下文控制部，在多个上下文中决定对处理对象块使用的上下文；算术解码部，将通过对控制参数进行算术编码而得到的、与上述处理对象块对应的比特序列使用所决定的上述上下文进行算术解码，由此将二值排列复原；以及多值化部，通过将上述二值排列多值化，将上述控制参数复原；上述上下文控制部，判断上述处理对象块的控制参数的信号种类；在上述信号种类是第1种类的情况下，使用利用与上述处理对象块邻接的左块及上块的已解码的控制参数的第1条件，决定上述上下文；在上述信号种类是与上述第1种类不同的第2种类的情况下，使用不利用上述上块的已解码的控制参数的第2条件，决定上述上下文；上述第1种类是"split_coding_unit_flag"或"skip_flag"；上述第2种类是"mvd_l0"或"mvd_l1"。

据此，该图像解码装置能够削减存储器使用量。

此外，有关本发明的一形态的图像编码装置，使用算术编码，其特征在于，包括：二值化部，通过将处理对象块的控制参数二值化，生成二值排列；上下文控制部，在多个上下文中，决定对上述处理对象块使用的上下文；以及算术编码部，通过使用所决定的上述上下文对上述二值排列进行算术编码，生成比特序列；上述上下文控制部，判断上述处理对象块的控制参数的信号种类；在上述信号种类是第1种类的情况下，使用利用与上述处理对象块邻接的左块及上块的控制参数的第1条件，决定上述上下文；在上述信号种类是与上述第1种类不同的第2种类的情况下，使用不利用上述上块的控制参数的第2条件，决定上述上下文；上述第1种类是"split_coding_unit_flag"或"skip_flag"；上述第2种类是"mvd_l0"或"mvd_l1"。

据此，该图像编码装置能够削减存储器使用量。

此外，有关本发明的一形态的图像编解码装置包括上述图像解码装置和上述图像编码装置。

另外，这些总括性或具体的形态也可以通过系统、方法、集成电路、计算机程序或记录介质实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合实现。

以下，参照附图对有关本发明的一形态的图像解码装置及图像编码装置具体地说明。

另外，以下说明的实施方式都是表示本发明的一具体例的。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，不是限定本发明的意思。此外，关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素，设为任意的构成要素进行说明。

(实施方式1)

以下，对有关本发明的实施方式1的图像编码装置进行说明。有关本发明的实施方式1的图像编码装置在算术编码中根据控制参数的信号种类，切换(1)利用上块决定上下文、还是(2)不利用上块决定上下文。由此，能够在抑制画质的劣化的同时削减存储器使用量。

首先，说明有关本发明的实施方式1的图像编码装置的结构。

图1是有关本实施方式的图像编码装置100的框图。

图1所示的图像编码装置100是使用算术编码的图像编码装置，通过将输入图像信号121编码而生成比特流124。该图像编码装置100包括控制部101、差分部102、变换及量化部103、可变长编码部104、逆量化及逆变换部105、加法部106、画面内预测部107、画面间预测部108和开关109。

控制部101基于编码对象的输入图像信号121计算控制参数130。例如，控制参数130包括表示编码对象的输入图像信号121的图片类型的信息、编码对象块的运动预测单位(Prediction Unit PU)的尺寸及运动预测单位的控制信息等。这里，控制参数130(Controldata)其自身为编码对象。由此，控制部101将该控制参数130向可变长编码部104输出。

差分部102计算作为块单位的输入图像信号121与预测图像信号129的差值(残差值)的残差信号122。

变换及量化部103将残差信号122变换为频率系数值，通过将得到的频率系数值量化，生成量化变换系数123(residual data)。

逆量化及逆变换部105将量化变换系数123逆量化为频率系数值，通过将得到的频率系数值逆变换，生成复原的残差信号125。

加法部106通过将残差信号125与预测图像信号129相加，输出复原图像信号126。

画面内预测部107通过使用复原图像信号126进行画面内预测处理而生成预测图像信号127。画面间预测部108通过使用复原图像信号126进行画面间预测处理而生成预测图像信号128。

开关109选择预测图像信号127及预测图像信号128的一方，将所选择的信号作为预测图像信号129输出。

可变长编码部104通过将输入的各块的量化变换系数123及控制参数130使用上述的CABAC编码而生成比特流124。

接着，说明可变长编码部104的结构。

图2是可变长编码部104的功能框图。可变长编码部104包括二值化部141、上下文控制部142和二值算术编码部143。以下，对控制参数130的可变长编码处理进行说明。另外，关于量化变换系数123的可变长编码处理省略说明，例如可以使用已知的技术实现。

二值化部141通过将控制参数130二值化，生成二值排列151。具体而言，二值化部141是执行非专利文献1中的II.1)binarizaion处理的处理部。该二值化部141将控制参数130通过按照每个信号种类事前设定的二值化处理方法变换为称作bin string的二值排列151。另外，关于信号种类与二值化处理方法的对应在后面叙述。此外，二值化部141在输入的控制参数130是flag等的1个二进制数值的情况下，将该控制参数130原样作为二值排列151输出。

上下文控制部142在多个上下文(概率状态表)中，决定在包含于处理对象的块中的控制参数130的算术编码中使用的上下文。此外，上下文控制部142将指定所决定的上下文的上下文索引152向二值算术编码部143输出。

具体而言，上下文控制部142是执行非专利文献1中的2)context modeling处理的处理部。对于该上下文控制部142，依次输入在二值算术编码部143输出的二值排列151中包含的多个要素。上下文控制部142根据控制参数130的信号种类和该二进制数的二值排列151中的要素位置，在多个上下文中选择在该二进制数中使用的上下文，将表示所选择的上下文的索引即上下文索引152向二值算术编码部143输出。

此外，上下文控制部142作为上下文的状态而保持着将控制参数130的二值排列的各个要素进一步详细区分化为条件概率的条件的数量(所谓的上下文索引数)的概率状态表，将该概率状态表初始化及更新。

此外，上下文控制部142作为按照每个信号种类(在二值排列的要素数是2以上的情况下，是控制参数130的二值排列的每个要素号码。以下相同)更加详细区分而保持每个发生条件τ(每个上下文)的状态(probability state index：概率状态索引)。该状态是“0”或“1”的二值中的概率较低一方的发生概率P(内分比率：典型地是6比特的值)、与概率较高一方是哪个的值(1比特)的合计7比特值。此外，所谓保持状态，是初始化及更新。例如，所谓更新处理，与H264同样，是64个有限的状态间的转变，是将现在处于哪个概率状态probability state(即哪个概率)的indexing变更。

具体而言，上下文控制部142在二值中的概率较高的most probable侧的事件X发生的情况下，使作为most probable侧的概率的比例稍稍增加。例如，上下文控制部142通过使与64个表对应的概率索引(probability state index)的值增减1，能够使作为mostprobable侧的概率的比例稍稍增加。另一方面，在(与预测的概率相反)而概率较低的事件not X发生的情况下，上下文控制部142使保持的most probable的概率的比例变大，基于规定的缩放系数α(例如≒0.95)减少(参照非专利文献1，图6)。本实施方式的上下文控制部142与H.264同样，基于建立了对应的表索引变更值使状态转变并保持，以便对应于考虑到该α的变更。

二值算术编码部143通过使用由上下文控制部142决定的上下文将二值排列151算术编码，生成比特流124(比特序列)。

具体而言，二值算术编码部143是执行非专利文献1的3)binary arithmeticcoding处理的处理部。该二值算术编码部143通过使用由上下文索引152指定的上下文将二值排列151算术编码，从而生成比特流124。这里，所谓算术编码，是指将关于各种信号种类的控制参数130发生的事件作为概率的累计处置，将进行怎样的事件一边缩窄范围一边与1个数线(number line)上的规定范围建立对应。

首先，二值算术编码部143将1个数线根据从上下文控制部142给出的、二进制数能够取的两个值的发生概率内分为两个半区间。在实际发生的二进制数的值(例如“0”)是较高的概率(超过0.5的概率(例如0.75))侧的值的情况下，二值算术编码部143不变更而维持数线中的范围的下值限值low，将与对此次的概率0.75乘以1次缩放系数0.95的结果相对应的值设定为新的幅度Range。另一方面，在实际发生的二进制数的值是预测的较低的概率侧的值的情况下，二值算术编码部143使范围的下限值low移动较高的概率的量，使幅度Range根据较低的概率而变更。这样，通过概率幅度Range的相乘结果的累计而保持区间，但在概率较低的值连续发生的情况下，幅度Range的长度成为在运算中能够确保的精度以下。在此情况下，二值算术编码部143为了维持精度而进行将幅度Range扩大的处理(renorm)并且将用来表示当前时点的范围的比特序列输出。相反，在概率较高(0.95等)的值连续发生的情况下，即使乘以该概率值，在幅度Range的长度变得比规定的长度短之前也能够进行多次的运算(在基于表的安装的情况下是状态转变)。因而，在此情况下，在将比特输出之前能够累计的码元数较多。

图3是将利用基于邻接块的控制参数130的值的上下文模型的控制参数130整理的表。

从左起，说明列的意义。

(c2)信号种类(syntax element)表示控制参数130的信号种类的具体名称。另外，各信号种类的意义后述。

(c3)二值化方式(binarization scheme)表示在由紧挨着的左方的列指定的控制参数130(SE)中应用的二值化方式。另外，二值化处理由上述二值化部141执行。此外，所谓栏中“固定长”，是指二值化部141将紧挨着的左方的控制参数130的值用固定长(FixedLength)的二值排列(bin string)输出。在HEVC中信号种类名用"flag"结束的信号种类的控制参数130是取“0”或“1”的某个值的1个二进制数值。因而，二值化部141输出的二值排列151的要素只是第1个要素(binIdx＝0)，第2个以后的要素(binIdx>＝1的要素不输出。即，二值化部141将控制参数130的值原样作为二值排列151输出。

此外，栏中“可变长”，表示二值化部141将控制参数130的值，使用以成为以该值的发生频度顺序由短到长的二进制数长的方式建立了对应的可变长的二进制数列(binstring或二值排列，要素数≧1)来进行二值排列化并输出。例如，二值化部141将(Truncated)Unary型或Unary型与其他指数的Golomb方式等的多个方式的组合等的、对应于信号种类的方式输出(参照非专利文献1，A.Binarization)。另外，在可变长的情况下，也有二值排列151的排列要素是1个的情况，但也有为两个以上的情况。此外，在后述的图像解码装置的多值化部中，通过进行该二值化方式的逆变换，将输入的二值排列复原为多值或标志值。

(c4)第1个要素(binIdx＝0)上下文索引表示上下文控制部142对在通过由c3的栏指定的二值化方式生成的二进制数排列中包含的第1个要素应用的上下文索引(增值)的选择分支。在栏中记载有“0，1，2”的情况下，意味着上下文控制部142从3个概率状态表(上下文)中选择应用一个概率状态表。例如，对于信号种类"skip_flag"，关于该1个信号种类准备3个用条件细分化的上下文索引，即意味着准备3个上下文进行算术编码。

同样，在c4栏中记载有“0，1，2，3”的情况下，意味着在将由c2栏指定的信号种类的控制参数130的值应用到在通过c3栏的二值化方式二值排列化的二值排列151中包含的第1要素(binIdx＝0)中的上下文是0、1、2或3的4个择一。另外，关于栏中的条件式在后面叙述。

(c5)左块条件L(condL)表示上下文控制部142用来在栏c4中选择0、1、2的值的某个值的左块的条件(condition)。该条件对应于编码对象(或解码对象)的控制参数，取根据左块的控制参数的值决定的true或false的值。

例如，在控制参数(SE)是skip_flag的情况下，如果skip_flag[xL][yL]的值是true(例如“1”)则输出true，如果是false(例如“0”)则输出false。

(c6)上块条件A(condA)表示上下文控制部142用来在由栏c4指定的排列要素的编码及解码中选择0、1、2的值的某个值的上块的条件(condition)。该条件取与编码对象(或解码对象)的控制参数对应的、根据上块的控制参数的值决定的true或false的值。例如，在控制参数(SE)是skip_flag的情况下，如果skip_flag[xA][yA]的值是true(例如“1”)则输出true，如果是false(例如“0”)则输出false。

另外，虽然没有图示，但将对(c7)“binIdx>＝1应用的上下文增量值”与2比特以上的信号种类建立了对应。该(c7)表示上下文控制部142对二值排列的第2要素以后的二进制数(具有binIdx>＝1的索引值的二进制数排列要素的二进制数值)应用的上下文模型。

有关本实施方式的图像编码方法对于上述左块条件L及上块条件A，根据控制参数130的信号种类切换以下的动作(利用不同的模式动作)。

(模式1)使用两个邻接块(左块条件L的判断值和上块条件A的判断值)。

(模式2)使用1个邻接块(仅左块条件L的判断值)。

(模式3)使用0个邻接块(左块条件L和上块条件A都不使用)。

图4是表示图2所示的可变长编码部104执行的有关本实施方式的图像编码方法的流程图。

首先，二值化部141将控制参数130的值以与该控制参数130的信号种类对应的方式二值排列化(S101)。

接着，上下文控制部142取得在该控制参数130的算术编码中使用的上下文的基本值(S102)。例如，上下文控制部142根据图片类型(I，P，B)决定该基本值。

接着，上下文控制部142根据控制参数130的信号种类，使用上述模式1～模式3的某个来决定上下文值(S103)。这里，所谓决定上下文值，与决定上下文的相对于基本值的调整值(递增值CtxIdxInc)是等价的。

首先，上下文控制部142判别控制参数130的信号种类(S103)。在控制参数130的信号种类是与模式1对应的第1种类的情况下(S104中第1种类)，上下文控制部142使用根据邻接的两个块(块A和块B)的各自的控制参数的值导出的判断值决定上下文值(S105)。换言之，上下文控制部142使用利用左块及上块的两个邻接块的控制参数的条件来决定上下文。在此情况下，上下文控制部142利用图3所示的(c5)CondL的判断结果和(c6)condA的判断结果的两者的值。因而，对于第1种类的控制参数保持图片的横一列的数据。

另一方面，在控制参数130的信号种类是与模式2对应的第2种类的情况下(S104中第2种类)，上下文控制部142决定使用1个邻接块(在编码顺序上最近的邻接块)的控制参数的值决定上下文值(S106)。换言之，上下文控制部142使用不利用上块的控制参数的条件决定上下文。

另一方面，在控制参数130的信号种类是与模式3对应的第3种类的情况下(S104中第3种类)，上下文控制部142对上块及左块的控制参数都不利用，固定地决定上下文值(S107)。

接着，上下文控制部142通过对在步骤S102中决定的上下文的基本值加上在步骤S103中决定的增量值，导出上下文索引值(S108)。

最后，二值算术编码部143通过将第1要素的二进制数值使用由在步骤S108中决定的上下文索引值指定的上下文值，进行算术编码，生成比特序列(比特流124)(S109)。

接着，在步骤S102～S109的处理的执行对二值排列中包含的全部的要素没有完成的情况下(S110中否)，可变长编码部104对二值排列中包含的下个要素执行步骤S102～S109的处理。另一方面，在对二值排列中包含的全部的要素完成了步骤S102～S109的处理的执行的情况下(S110中“是”)，可变长编码部104结束对于处理对象块的控制参数的编码处理。

如以上这样，有关本实施方式的图像编码装置100在算术编码中，对第1种类的控制参数利用上块决定上下文，对第2种类及第3种类的控制参数不利用上块而决定上下文。

通过该结构，该图像编码装置100与划一地作为“利用基于邻接块的控制参数的值的上下文模型”而利用左块和上块的情况相比能够削减存储器使用量。由此，该图像编码装置100能够在抑制画质的劣化的同时削减存储器使用量。

(实施方式2)

在本实施方式中，对将由上述图像编码装置100生成的比特流124解码的图像解码装置进行说明。

图5是有关本实施方式的图像解码装置200的框图。该图像解码装置200是使用算术解码的图像解码装置，通过将比特流124解码而生成图像信号229。这里，比特流124例如是由上述图像编码装置100生成的比特流124。

图像解码装置200包括控制部201、可变长解码部202、逆量化部204、逆变换部205、加法部206、画面内预测部207和画面间预测部208。

图像解码装置200按照规定的处理单位的每个代码序列进行解码处理。这里，处理单位例如是切片(slice)单位或块单位。

可变长解码部202通过对比特流124进行算术解码，生成控制参数230(controldata syntax element)和量化变换系数223(Residual data syntax element值)。将所生成的控制参数230向控制部201输出。

控制部201根据控制参数230控制图像解码装置200中包含的处理部。

逆量化部204通过将量化变换系数223逆量化，生成正交变换系数224。

逆变换部205通过将正交变换系数224逆变换，将残差信号225复原。加法部206通过将残差信号225与预测图像信号(图像信号229)相加，生成解码图像信号226。

画面内预测部207通过使用解码图像信号226进行画面内预测处理而生成预测图像信号227。画面间预测部208通过使用解码图像信号226进行画面间预测处理而生成预测图像信号228。

开关209选择预测图像信号227及预测图像信号228的一方，将所选择的信号作为图像信号229(预测图像信号)输出。

接着，说明可变长解码部202的结构。

图6是表示可变长解码部202的结构的功能框图。可变长解码部202包括二值算术解码部243、上下文控制部242和多值化部241。以下，对控制参数230的可变长解码处理进行说明。另外，关于量化变换系数223的可变长解码处理省略说明，例如可以使用已知的技术实现。

上下文控制部242在多个上下文中，决定在处理对象的块的控制参数230的算术解码中使用的上下文。此外，上下文控制部242将指定所决定的上下文的上下文索引252向二值算术解码部243输出。

具体而言，上下文控制部242使用与图2所示的上下文控制部142相同的上下文模型作为所保持的概率转移模型。在二值算术编码部143使用64个概率状态的情况下，二值算术解码部243也具有64个概率状态。这是因为，需要将编码的数线上的范围在编码侧及解码侧的两侧同样地解释。由此，在解码装置侧也使用与编码侧从上述模式1～3的3个模式中选择的模式相同的模式。

二值算术解码部243通过使用由上下文控制部242决定的上下文将比特序列(比特流124)算术解码，将二值排列251复原。具体而言，二值算术解码部243使用由从上下文控制部242给出的上下文索引指定的上下文(概率状态表)，将输入的比特序列复原为二值排列251。

多值化部241将二值排列251根据需要进行多值化从而复原为控制参数230。这样，图像编码装置100具备的上下文控制部142和图像解码装置200具备的上下文控制部242在某个信号种类的控制参数的算术编码及算术解码时在两者中利用相同的上下文模型。

图7是表示可变长解码部202执行的有关本实施方式的图像解码方法的流程图。

首先，可变长解码部202取得比特流124(S201)。

接着，上下文控制部242根据比特流124的数据构造决定解码对象的控制参数的信号种类(S202)。

接着，上下文控制部242决定在解码对象的控制参数的算术解码中使用的上下文的基本值(S203)。例如，上下文控制部242根据图片类型(I，P，B)决定该基本值。

接着，上下文控制部242根据控制参数的信号种类，使用上述模式1～模式3的某个决定上下文值(S204)。这里，所谓决定上下文值，与决定上下文的相对于基本值的调整值(递增值CtxIdxInc)等价。例如，上下文控制部242根据控制参数的信号种类，按照静态地事前决定的表进行使用模式1～模式3的哪个的判断。

上下文控制部242根据控制参数的信号种类，切换在为了通过算术解码得到二值排列251中包含的第1要素的二进制数的值而使用的上下文的决定中搜索使用的邻接块。

首先，上下文控制部242判断控制参数230的信号种类(S205)。在信号种类是与模式1对应的第1种类的情况下(S205中第1种类)，上下文控制部242使用邻接的两个块的各自的控制参数决定上下文值(S206)。换言之，上下文控制部242使用利用左块及上块的两个邻接块的已解码的控制参数的条件来决定上下文。

另一方面，在信号种类是与模式2对应的第2种类的情况下(S205中第2种类)，上下文控制部242使用1个邻接块(在编码顺序上最近的邻接块)的控制参数的值决定上下文值(S207)。换言之，上下文控制部242使用不利用上块的已解码的控制参数的条件来决定上下文。

另一方面，在信号种类是与模式3对应的第3种类的情况下(S205中第3种类)，上下文控制部242固定地决定上下文值(S208)。换言之，上下文控制部242使用对上块及左块的已解码的控制参数都不利用的条件来决定上下文。

接着，上下文控制部242通过将在步骤S203中决定的上下文索引的基本值与在步骤S204中决定的增量值相加，决定上下文索引值(S209)。

接着，二值算术解码部243使用由从上下文控制部242给出的上下文索引值表示的上下文值，通过解码得到二值排列的要素的1个(S210)。

接着，在步骤S203～S210的处理的执行对于二值排列中包含的全部的要素没有完成的情况下(S211中“否”)，可变长解码部202对二值排列中包含的下个要素执行步骤S203～S210的处理。

另一方面，在对二值排列中包含的全部的要素完成了步骤S203～S210的处理的执行的情况下(S211中“是”)，多值化部241通过将通过重复1次以上上述步骤S203～S210的处理而得到的二值排列251的1个以上的要素多值化，生成控制参数230(S212)。

根据以上，有关本实施方式的图像解码装置200在算术解码中，对第1种类的控制参数利用上块决定上下文，对于第2种类及第3种类的控制参数不利用上块而决定上下文。

通过该结构，该图像解码装置200与划一地作为“利用基于邻接块的控制参数的值的上下文模型”而利用左块和上块的情况相比能够削减存储器使用。由此，该图像解码装置200能够在抑制画质的劣化的同时削减存储器使用量。

另外，多值化部241在二值排列251是flag等、要素数是1个情况下，即在1binary的情况下，也可以将该二值排列251原样输出。

此外，除了上述说明以外，控制部101或201也可以经由未图示的信号线进行控制各处理部的处理、或参照存储器的值的处理等。

此外，在上述说明中，上下文控制部142或242根据控制参数的信号种类切换模式1～模式3的3个模式，但也可以根据信号种类切换模式1～模式3中的两个模式。换言之，上下文控制部142或242也可以根据控制参数的信号种类对利用/不利用上块条件进行切换。

此外，上下文控制部142或242也可以将这样的选择的上下文模型的切换方法(也包括变更上下文模型增量值的情况，以下相同)根据规定的图像信息变更。例如，上下文控制部142或242也可以根据对存储器保持量及各上下文的学习次数有影响的图像的横宽的尺寸或采样格式等进一步切换该切换方针本身。

此外，在上述说明中，为了说明的简略化，上下文控制部142或242对利用/不利用上块条件进行切换，但上下文控制部142或242也可以将上块原本不能利用的情况与其组合而应用。例如，上下文控制部142或242也可以根据处理对象的切片是否是熵切片(entropy_slice_flag是1还是0)来切换该切换方针本身。同样，在原本不能保证上邻接块的可利用性的情况下，上下文控制部142或242也可以不利用上块而变更切换方针。

例如，如图8所示，上下文控制部142或242也可以根据规定的单位的参数的值(S301)，将上下文模型的决定方针通过第1决定规范(S302)和第2决定规范(S303)切换。这里，所谓根据规定的单位的参数的值，如上述那样，是根据切片是否是entropy slice等。此外，所谓第1决定规范，是进行图7所示的处理的规范。所谓第2决定规范，是不包含图7所示的步骤S204的决定规范，例如是现有技术的决定规范。这与将上下文索引的增量值通过局部的规定的单位的参数和比该单位大的单位的参数的值决定是等价的。

即，上下文控制部142或242也可以基于第1单位的控制参数的值，将在比第1单位小的单位中应用的决定规范切换为其他决定规范。

此外，上下文控制部142或242也可以根据图像系列的特征来变更所使用的决定规范。例如，上下文控制部142或242也可以根据I图片的间隔(IntraPeriod的设定值)来变更所使用的决定规范。

另外，这里上下文控制部142或242根据上述条件切换决定规范，但也可以切换是否利用上块。

此外，上下文控制部142或242也可以基于在位置上上块的控制参数是否能够在编码或解码时利用，来决定是否利用上块的控制参数。即，上下文控制部142或242也可以基于处理对象的块位置，判断在解码时是否能够利用上块的控制参数，在不能利用上块的控制参数的情况下，使用模式2或模式3决定上下文。进而，上下文控制部142或242也可以基于TU、CU或PU块分割的树构造决定是否能够利用该上块的参照值。即，上下文控制部142或242也可以根据处理对象的控制参数所属的数据单位的层级的深度判断在解码时是否能够利用上块的控制参数。

图9是表示HEVC标准中的图片(picture)、切片和块的关系的图。1个图片被分割为1个以上的切片。在图9所示的例子中，图片被分割为两个切片(SLICE1及SLICE2)。1个切片由多个块301(例如treeblocks)构成。这里，块301在将切片分割为规定的尺寸的情况下，作为某种控制单位是最大的单位，是将该单位作为层级分割的root(根)的情况下的该root的尺寸。

在图9所示的例子中，SLICE2由从块301A(startTb)开始、包括经由被涂阴影的块301到右下角的块的多个块的1个序列构成。另外，图中被涂阴影的块是作为当前的处理对象的1个块(Treeblock)。

各个块301由N×M像素构成。此外，1个块301在内部被递归地分割(典型地是4分割)。即，1个Treeblock在概念上构成1个4叉树(QuadTree)。在图9所示的块301B中，4分割后的右上的块遍及2层级被递归地4分割。即，块301B从左上的0号到右下的9号，包括以规定的观点分割的10个逻辑单元。

这里，所谓观点，是指关于编码单位(CU)的tree、或关于residual_data的Tree等，以某个root为基点相互深度可能不同的多个树。这里，各种控制参数的值属于某个叶节点。

这里，实际在上块中包含的某个信号种类的控制参数的值“是否能够利用(available)”，依存于该控制参数属于的树的种类。由此，上下文控制部142或242也可以按照控制参数所属的树的种类来变更决定规范。这与变更为语法单位是等价的。例如，上下文控制部142或242也可以对关于自适应滤波器的alf_param等的数据构造的数据使用不利用上块的模式2或模式3，对于其他语法使用现有技术那样的上下文模型方针(模式1)。即，上述第2种类或第3种类也可以是具有预先设定的数据构造的控制参数。此外，这意味着根据邻接的定义的树的种类而变化。

实际是否能够利用该控制参数的值、或者在存储器使用量的削减中是否发生效果，根据块的层级关系上的位置而不同。即，上下文控制部142或242也可以根据块的层级及层级内的位置切换是否利用上块。

例如，假设图9所示的块301B的各号码0～9是解码顺序。在此情况下，在将号码4的块编码或解码的情况下，能够利用号码1的块及号码2的块的控制参数。

进而，从存储器使用量的削减的观点，上下文控制部142或242也可以如果是不为Depth0的块、并且是自己的位置为纵向分割的第二个以上的要素则选择利用上块的模式1。这里，所谓depth(深度)，表示从root起的层级数。即，在将某个块规定为block[xn]，[y0][depth]的情况下，也可以根据处理对象的块是否是block[xn][(y0)+1][depth])成立的块来变更决定规范。即，对图9所示的号码4～9的块利用上块。这是因为，如果该树的编码或解码是图示的号码顺序(从0开始、以9结束的顺序)，则在号码4～9的块中显然能够利用上块中包含的控制参数。进而，在这些块中，还有数据的保持为暂时就可以的优点。此外，这也可以说是除了x、y坐标以外还根据包括层级的三维的位置决定上下文值。此外，能够利用(沿袭)上层级的块的条件值作为下层级的块的条件值。

进而，上下文控制部142或242也可以考虑处理对象的块与其他切片的位置关系来变更这些规范。以下，说明图9所示的3个涂阴影的块301A、301B及301C的例子。

这里，块301A是开始块，左块及上块都包含在其他切片中。块301B的上块包含在别的切片中。块301C的上块及左块都包含在与包含自身的块的切片相同的切片中。上下文控制部142或242也可以根据这样的条件来切换规范。即，上下文控制部142或242(1)也可以根据上块是否包含在其他切片中来切换规范，(2)也可以根据左块是否包含在其他切片中来切换规范，(3)也可以根据它们双方来切换规范。换言之，上下文控制部142或242也可以在处理对象的块属于切片边界的情况下，判断为在解码时不能利用上块的控制参数。由此，例如在上方的切片1的解码处理没有结束的情况下，能够实现考虑到在切片2的内部中是否自己能得到信息的解码处理。

以下，对层级化的处理单位(多层级块构造)进行说明。图10是用来说明层级化的处理单位(多层级块构造)的说明图。

上述图像编码装置100将运动图像按照每个处理单位编码，图像解码装置200将编码流按照每个处理单位解码。以将该处理单位分割为多个较小的处理单位、将该较小的处理单位再分割为多个更小的处理单位的方式，进行层级化。另外，处理单位越小，该处理单位所处的层级越深，处于低层，表示该层级的值较大。相反，处理单位越大，该处理单位所处的层级越浅，处于高层，表示该层级的值较小。

在处理单位中，有编码单位(CU)、预测单位(PU)和变换单位(TU)。CU是最大由128×128像素构成的块，是相当于现有技术的宏块的单位。PU是画面间预测的基本单位。TU是正交变换的基本单位，该TU的尺寸是与PU相同、或比PU小一个级别的尺寸。CU例如被分割为4个子CU，其中的1个子CU包括与该子CU相同的尺寸的PU及TU(在此情况下，PU和TU处于相互重叠的状态)。例如，该PU被进一步分割为4个子PU，TU也被进一步分割为4个子TU。另外，在处理单位被分割为多个较小的处理单位的情况下，将该较小的处理单位称作子处理单位。例如，在处理单位是CU的情况下，子处理单位是子CU，在处理单位是PU的情况下，子处理单位是子PU，在处理单位是TU的情况下，子处理单位是子TU。

具体而言，是以下这样的。

图片被分割为切片。切片是最大编码单位的序列。最大编码单位的位置由最大编码单位地址lcuAddr表示。

包括最大编码单位的各个编码单位被分割为4个编码单位。结果，构成编码单位的大小的四叉树分割。编码单位的位置由以最大编码单位的左上端的样本(像素或系数)为起点的编码单位索引cuIdx表示。

在许可编码单位的分割的情况下，将该编码单位作为预测单位处置。与编码单位同样，预测单位的位置由以最大编码单位的左上端的样本为起点的预测单位索引puIdx表示。

预测单位也可以包括多个分区(预测单位分区或子PU)。预测单位分区由以预测单位的左上端的样本为起点的预测单位分区索引puPartIdx表示。

预测单位也可以包括多个变换单位。与编码单位同样，变换单位也可以被分割为4个较小的尺寸的变换单位(子变换单位)。这许可残差信号的四叉树分割。变换单位的位置由以预测单位的左上端的样本为起点的变换单位索引tuIdx表示。

这里，各处理单位的定义是以下这样的。

CTB(coding tree block，编码树块)：用来确定正方形区域的四叉树分割的基本单位。CTB具有正方形的多种多样的尺寸。

LCTB(largest coding tree block，最大编码树块)：在切片中许可的最大的尺寸的CTB。切片由不重复的多个LCTB构成。

SCTB(smallest coding tree block，最小编码树块)：在切片中许可的最小的尺寸的CTB。不许可将SCTB分割为更小的CTB。

PU(prediction unit，预测单位)：用来确定预测处理的基本单位。PU的尺寸与不被许可分割的CU的尺寸相同。在CU中，许可将CU分割为4个正方形区域，相对于此，在PU中，能够将PU分割为任意的形状的多个分区。

TU(transform unit，变换单位)：用来确定变换及量化的基本单位。

CU(coding unit，编码单位)：与CTB相同。

LCU(largest coding unit，最大编码单位)：与最大CTB相同。

SCU(smallest coding unit，最小编码单位)：与最小CTB相同。

此外，量化参数包括德尔塔量化缩放参数(delta QP或QP delta)、量化偏移参数、索引(Qmatrix select idc)及量化死区偏移参数中的至少1个。另外，索引是用来从多个量化缩放矩阵中选择1个的。

德尔塔量化缩放参数(delta QP或QP delta)是应在变换系数中应用的量化缩放参数、与由序列头或切片头指定的量化缩放参数(或在z扫描顺序上紧接着的之前的量化缩放参数)的差。

量化偏移参数也称作量化偏移，是进行量化时的信号的取整方式的调整值(偏移值)。因而，图像编码装置100在进行量化时，将其量化偏移编码，图像解码装置200将该编码后的量化偏移解码。并且，图像解码装置200在将变换系数逆量化时，进行使用该量化偏移的修正。

索引(Qmatrix select idc)也称作自适应量化矩阵，是表示从多个量化缩放矩阵中使用哪个量化缩放矩阵的索引。此外，Qmatrix select idc在仅有1个量化缩放矩阵的情况下表示是否使用该量化缩放矩阵。另外，自适应用量化矩阵能够以块单位(处理单位)控制。

量化死区偏移参数也称作自适应死区，是用来将死区按照每个块自适应地变更的控制信息。死区是频率系数通过量化成为0的幅度(在量化后为+1或-1的之前的幅度)。

另外，在上述说明中，作为模式3而叙述了使用预先设定的固定值作为上下文值的例子，但只要是对上块及左块的控制参数都不利用的条件就可以，作为模式3也可以使用不包含上块及左块的控制参数的条件的条件。例如，作为模式3，上下文控制部142或242也可以根据控制参数所属的数据单位的层级的深度决定上下文。

(实施方式3)

在本实施方式中，对作为上述第1种类及第2种类(或第3种类)应利用怎样的信号种类进行说明。

具体而言，本发明者对在图3(非专利文献2，9.3.3.1.1.1节)所示的信号种类中的以下的各个信号种类进行了验证。对各个信号种类进行验证是因为，参数遍及多个分支，根据关于1个信号种类的验证结果(模式1～模式3的哪个更好)难以进行其他信号种类的各模式是否满足妥当性。

验证依据在JCTVC-E700，"Common test conditions and software referenceconfigurations"(参照非专利文献3)中记载的结构(设定参数，及软件版本HM3.0)。此外，是测试图像的长度全部被限制为49帧的结果。

有关本实施方式的图像编码方法及图像解码方法是关于CABAC的。由此，作为Entropy Coding(熵编码)模式，使用作为SymbolMode的值是1(#0：LCEC，1：CABAC)的设定值的组的以下的4个测试模式进行了验证。

4.1 Intra，high-efficiency setting

4.3 Random access，high-efficiency setting

4.5 Low delay，high-efficiency setting

4.7 Low delay，high-efficiency setting(P slices only)

此外，评价使用在HEVC中的安装评价中作为统一的评价尺度利用的称作"BD-RATE"值的评价值。Y BD-rate、U BD-rate及V BD-rate是关于颜色空间Y、U、V的BD-rate，是评价尺度值。这里，所谓BD-rate，是将记载在VCEG-AI11(非专利文献4)中的两组代码量和PSNR的结果积分、通过其面积的比来表示编码效率的评价值。此外，在BD-rate表示负值的情况下表示编码效率变好。比较的基准是安装模式1的参照程序的输出结果，此次的结果表示模式2及模式3的各自相对于模式1的值。

以下，说明各信号种类的验证结果。

(第1验证)"split_coding_unit_flag"

(第2验证)"skip_flag"

(第3验证)"inter_pred_flag"

(第1验证)"split_coding_unit_flag"

图11是用来对split_coding_unit_flag的算术解码方法进行说明的表。

在验证中，仅验证对象的信号种类将上下文模型从模式1变更为模式2或模式3，关于其他信号种类、以及由非专利文献3指定的验证用参数不进行变更而进行验证。此外，在图11的栏中的值中，所谓“固定”，是在上下文值(或增量值)的导出中不使用记载有“固定”的列的条件(不使用左块条件或上块条件)。即，在仅左块条件及右块条件的一方的条件是“固定”的情况下，仅使用另一方的条件。此外，在左块条件及右块条件的两者为“固定”的情况下，作为上下文值(或增量值)而使用预先设定的值(例如“0”)。

信号种类"split_coding_unit_flag"的意义在以下定义。

split_coding_unit_flag[x0][y0]表示对象的CU是否被分割为水平及垂直的尺寸为一半的多个CU。x0及y0表示以位于图像的左上角的亮度样本为基准的、位于对象的CU的左上角的亮度样本的坐标。即，split_coding_unit_flag表示对象的CU是否被4分割。具体而言，在split_coding_unit_flag的值为“1”的情况下，对象的CU被分割，在该值为“0”的情况下，对象的CU没有被分割。

该split_coding_unit_flag作为syntax而数据构造化为Coding tree syntax。图像解码装置依据该数据构造的语法解释比特序列。

图12A及图12B是表示关于split_coding_unit_flag的验证结果的表。

图12A表示使用(模式2)1个邻接块(仅左块条件L的判断值)的情况下的验证结果。图12B表示使用(模式3)0个邻接块的(上块条件L和左都没有使用)的情况下的验证结果。

此外，图12A及图12B所示的验证结果表示上述4个测试模式的BD-Rate值的增减。

此外，评价值是表示与使用左块及上块的两者的模式1的情况下的评价值的相对的值的评价尺度。具体而言，如果评价值是正值，则其结果比模式1的情况下的评价值(BD-rate)差。此外，如果评价值是负值，则其结果相比模式1的情况下的评价值被改善。

根据该结果可知，关于split_coding_unit_flag，作为上下文模型的模式，模式1较好。换言之，模式2及模式3的评价值比模式1差。

因而，上下文控制部142及242在控制参数的信号种类是"split_coding_unit_flag"的情况下，从BD-rate的观点，利用作为现有技术那样的上下文模型的模式的模式1决定上下文值。

(第2验证)“skip_flag”

图13是用来对skip_flag的算术解码方法进行说明的表。另外，验证方法与上述第1验证是同样的。

信号种类"skip_flag"的意义在以下定义。

在将P或B切片解码的情况下，在skip_flag[x0][y0]的值是“1”的情况下，意味着在该skip_flag[x0][y0]后，除了预测运动矢量索引以外，不存在当前的CU用的语法要素。此外，在skip_flag[x0][y0]的值为“1”的情况下，意味着当前的CU不能被跳过。x0及y0表示以位于图像的左上角的亮度样本为基准的、位于对象的CU的左上角的亮度样本的坐标。即，skip_flag表示是否将对象的CU跳过(是否作为被跳过的块处置)。

该skip_flag作为syntax而被数据构造化为Coding unit syntax。即，skip_flag被按照每个CU设定。在图像解码装置中，依据该数据构造的语法解释比特序列。

图14A及图14B是表示关于skip_flag的验证结果的表。

图14A表示使用(模式2)1个邻接块(仅左块条件L的判断值)的情况下的验证结果。图14B表示使用(模式3)0个邻接块(上块条件L和左都不使用)的情况下的验证结果。

另外，图14A及图14B所示的验证结果与第1验证同样，表示上述4个测试模式的BD-Rate值的增减。此外，评价值的意义与第1验证是同样的。

根据该结果可知，关于"skip_flag"，作为上下文模型的模式，模式1较好。换言之，模式2及模式3的评价值比模式1差。

因而，上下文控制部142及242在控制参数的信号种类是"skip_flag"的情况下，从BD-rate的观点，利用作为现有技术那样的上下文模型的模式的模式1决定上下文值。

(第3验证)"mvd_l0(l1,lc)"

图15是用于说明mvd_l0(l1,lc)的算术解码方法的表。

信号种类mvd_l0(l1,lc)的意义在以下定义。

mvd_l0[x0][y0][compIdx]表示所使用的列表0的矢量成分与其预测值的差分。x0及y0表示以位于图像的左上角的亮度样本为基准的、位于对象的预测块的左上角的亮度样本的坐标。对水平方向的运动矢量成分的差分分配compIdx＝0。此外，对垂直方向的运动矢量成分分配compIdx＝1。2个成分都不存在的情况下，将值看作“0”。即，mvd_l0使用第1成分(水平成分compIdx＝0)和第2成分(垂直成分compIdx＝1)来表示某PU位置(xP,yP)的运动矢量与预测矢量的差分。

mvd_l1[x0][y0][compIdx]具有将mvd_l0中的l0及列表0分别置换为l1及列表1时同样的意义。该mvd_l1的有无能够基于图片类型等来决定。

此外，mvd_lc[x0][y0][compIdx]具有将mvd_l0中规定l0及列表0分别置换为lc及合成列表时同样的意义。即，mvd_lc通过将mvd_l0和mvd_l1合成来生成。

以下，仅称为mvd时，该mvd至少包括mvd_l0，根据图像的条件而包括mvd_l1及mvd_lc的至少一方。

该mvd作为syntax而被数据构造化为"Prediction Unit"。在图像解码装置中，依据该数据构造的语法解释比特序列。

图16A及图16B是表示关于mvd的验证结果的表。

图16A表示使用(模式2)1个邻接块(仅左块条件L的判断值)的情况下的验证结果。图16B表示使用(模式3)0个邻接块(上块条件L和左都不使用)的情况下的验证结果。

另外，图16A及图16B所示的验证结果与第1验证同样，表示上述4个测试模式的BD-Rate值的增减。此外，评价值的意义与第1验证是同样的。

根据该结果，结果与上述第1验证的split_coding_unit_flag及第2验证的skip_flag不同，关于该mvd，作为上下文模型的模式而在模式1与模式2或模式3之间不发生BD-rate的较大的差。

因而，上下文控制部142及242在混合存在多个信号种类的控制参数的环境中，特别在信号种类是mvd_l0(l1,lc)的情况下，决定作为邻接块而不利用上块的上下文值。即，上下文控制部142及242在控制参数的信号种类是mvd_l0(l1,lc)的情况下，使用模式2或模式3决定上下文值。换言之，上述第1种类包括"split_coding_unit_flag"或"skip_flag"，上述第2种类或第3种类包括"mvd_l0"、"mvd_l1"或"mvd_lc"。由此，有关本实施方式的图像编码装置及图像解码装置能够在抑制BD-rate值的下降的同时削减存储器使用量。

另外，上述第2种类或第3种类包含mvd_l0、mvd_l1及mvd_lc中的至少一个即可。例如，上述第2种类或第3种类可以不包含mvd_lc而包含mvd_l0及mvd_l1。

另外，在将对于mvd的模式2与模式3比较的情况下，在它们的BD-rate中不发生较大的差。由此，对于mvd_l0(l1,lc)更优选的是使用模式3。由此，能够实现进一步的存储器使用量的削减及处理量的削减。

在此，在跳跃时不发送运动矢量的残差数据(mvd)，但是在合并模式时发送运动矢量的残差数据(mvd)。由此，在合并模式时，即使所使用的上下文不是最优的，通过使用该mvd的处理，也能够一定程度上弥补由未能使用最优的上下文而导致的画质的下降。由于该理由，能够抑制不利用mvd的周边的块的情况下的画质下降。

按照前述的规定条件而利用上块或左块的条件值(condA或condL)的情况下，也可以应用以下的变形。

第一个变形例是利用mvd_l0、mvd_l1及mvd_lc的从属关系的方法。

具体地说，上下文控制部142及242使用mvd_l0、mvd_l1及mvd_lc这3个信号种类中的2个信号种类的条件值(condL或condA)，来导出具备从属于这些信号种类的条件值的其他信号种类的条件值。

例如，对于mvd_l0和lvd_l1这2个信号种类的条件值(l0的condA的值和l1的condA的值)，mvd_lc的condA的值处于从属关系的情况下，上下文控制部142及242不需要参照mvd_lc的condA的值。

图16C是表示非种类文献2所示的mvd的条件A及条件L的表。图16D是表示本实施方式的mvd的条件A及条件L的表。

如图16D所示，上下文控制部142及242可以将mvd_lc的条件值condL及condA从同一块的mvd_l0及mvd_l1的条件值的至少一方导出。

另外，上下文控制部142及242也可以将这些关系应用于水平方向(compIdx＝0)或垂直方向(compIdx＝1)的一方或双方。

进而，上下文控制部142及242也可以利用compIdx＝0与1之间的从属关系。即，上下文控制部142及242可以使水平方向mvd_l0[][][0]及垂直方向mvd_l0[][][1]的2个条件值中的一方的条件值的结果从属于另一方。即，上下文控制部142及242可以将水平方向及垂直方向的一方的mvd的条件值condL及condA从另一方的mvd的条件值导出。在此，在非专利文献2中，对水平方向的mvd(mvd_l0[][][0]、mvd_l1[][][0]、mvd_lc[][][0])和垂直方向的mvd(mvd_l0[][][1]、mvd_l1[][][1]、mvd_lc[][][1])分别设定上下文索引(索引增加值+基准值)。通过使用上述从属关系，能够消除该浪费。即，能够削减上下文索引的数量。

在此，在非专利文献2的记载中，仅对于mvd的第1比特使用上块及左块的条件值。即，上下文控制部142及242可以对于mvd的第1比特使用上述模式2或模式3。换言之，上下文控制部142及242可以对于表示运动矢量和预测矢量的差分是否为0以上的abs_mvd_greater0_flag[compIdx]使用上述模式2或模式3。

以上，对有关本发明的实施方式的图像编码装置及图像解码装置进行了说明，但本发明并不限定于该实施方式。

例如，也可以将有关上述实施方式1～3的图像编码装置、图像解码装置及它们的变形例的功能中的至少一部分组合。

此外，在上述中使用的数字及逻辑值全部是为了具体地说明本发明而例示的，本发明并不受例示的数字限制。

此外，框图中的功能块的分割是一例，也可以将多个功能块作为一个功能块实现，或将一个功能块分割为多个，或将一部分的功能转移到其他功能块中。此外，也可以是单一的硬件或软件将具有类似的功能的多个功能块的功能并行或分时处理。

此外，上述图像编码装置的图像编码方法及图像解码装置的图像解码方法中的执行各步骤的顺序是为了具体地说明本发明而例示的，也可以是上述以外的顺序。此外，上述步骤的一部分也可以与其他步骤同时(并行)执行。

(实施方式4)

通过将用来实现上述各实施方式所示的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。

进而，这里说明在上述各实施方式中示出的运动图像编码方法(图像编码方法)及运动图像解码方法(图像解码方法)的应用例和使用它的系统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他结构，可以根据情况而适当变更。

图19是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。

该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、及基站ex107～ex110连接着计算机ex111、PDA(Personal Digital Assistant)ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。

但是，内容供给系统ex100并不限定于图19那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex107～ex110将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离无线等直接相互连接。

照相机ex113是能够进行数字摄像机等的运动图像摄影的设备，照相机ex116是能够进行数字照相机等的静止图像摄影、运动图像摄影的设备。此外，便携电话ex114是GSM(Global System for Mobile Communications)方式、CDMA(Code Division MultipleAccess)方式、W－CDMA(Wideband－Code Division Multiple Access)方式、或LTE(LongTerm Evolution)方式、HSPA(High Speed Packet Access)的便携电话机、或PHS(PersonalHandyphone System)等，是哪种都可以。

在内容供给系统ex100中，通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上，能够进行现场转播等。在现场转播中，对用户使用照相机ex113摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理(即，作为本发明的一个方式的图像编码装置发挥作用)，向流媒体服务器ex103发送。另一方面，流媒体服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现(即，作为本发明的一个方式的图像解码装置发挥作用)。

另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可以将由照相机ex116摄影的静止图像及/或运动图像数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。

此外，这些编码解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将运动图像编码解码用的软件装入到能够由计算机ex111等读取的某些记录介质(CD－ROM、软盘、硬盘等)中、使用该软件进行编码解码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话ex114具有的LSIex500编码处理的数据。

此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。

如以上这样，在内容供给系统ex100中，客户端能够接收编码的数据而再现。这样，在内容供给系统ex100中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。

另外，并不限定于内容供给系统ex100的例子，如图20所示，在数字广播用系统ex200中也能够装入上述实施方式的至少运动图像编码装置(图像编码装置)或运动图像解码装置(图像解码装置)的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的运动图像编码方法编码后的数据(即，通过本发明的一个方式的图像编码装置编码后的数据)。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机(接收机)ex300或机顶盒(STB)ex217等的装置将接收到的复用数据解码并将其再现(即，作为本发明的一个方式的图像解码装置发挥作用)。

此外，也可以是，在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以是，在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装运动图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入运动图像解码装置。

图21是表示使用在上述各实施方式中说明的运动图像解码方法及运动图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。

此外，电视机ex300具备：具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305(即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用)的信号处理部ex306；具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。

首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以是，在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。

此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以是，不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。

此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。

作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图22中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。

以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用近场光进行高密度的记录的结构。

在图23中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽(沟)，在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。

以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。

此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现运动图像。另外，车载导航仪ex211的结构可以考虑例如在图21所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114等中也可以考虑同样的结构。

图24A是表示使用在上述实施方式中说明的运动图像解码方法和运动图像编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。

进而，使用图24B对便携电话ex114的结构例进行说明。便携电话ex114对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD(LiquidCrystal Display：液晶显示器)控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。

电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话ex114起动为能够动作的状态。

便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话ex114在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。

进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站ex110发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex350。

在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的运动图像编码方法进行压缩编码(即，作为本发明的一个方式的图像编码装置发挥作用)，将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。

复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部(调制/解调电路部)ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。

在数据通信模式时接收到链接到主页等的运动图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的运动图像编码方法相对应的运动图像解码方法进行解码，由此对影像信号进行解码(即，作为本发明的一个方式的图像解码装置发挥作用)，经由LCD控制部ex359从显示部ex358显示例如链接到主页的运动图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码，从声音输出部ex357输出声音。

此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。

这样，将在上述各实施方式中表示的运动图像编码方法或运动图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。

此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。

(实施方式5)

也可以通过将在上述各实施方式中示出的运动图像编码方法或装置、与依据MPEG－2、MPEG4－AVC、VC－1等不同的标准的运动图像编码方法或装置根据需要而适当切换，来生成影像数据。

这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。

为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG－2传输流形式的数字流。

图25是表示复用数据的结构的图。如图25所示，复用数据通过将视频流、音频流、演示图形流(PG)、交互图形流中的1个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流(IG)表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的运动图像编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的运动图像编码方法或装置编码。音频流由杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或线性PCM等的方式编码。

包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到0x111F，对演示图形分配0x1200到0x121F，对交互图形流分配0x1400到0x141F，对在电影的副影像中使用的视频流分配0x1B00到0x1B1F，对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。

图26是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。

图27更详细地表示在PES包序列中怎样保存视频流。图27的第1段表示视频流的视频帧序列。第2段表示PES包序列。如图27的箭头yy1、yy2、yy3、yy4所示，视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS(Presentation Time-Stamp)及作为图片的解码时刻的DTS(Decoding Time-Stamp)。

图28表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD－ROM的情况下，对于TS包赋予4字节的TP_Extra_Header，构成192字节的源包，写入到复用数据中。在TP_Extra_Header中记载有ATS(Arrival_Time_Stamp)等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图28下段所示排列，从复用数据的开头起递增的号码被称作SPN(源包号)。

此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program ClockReference)等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为0。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC(Arrival Time Clock)与作为PTS及DTS的时间轴的STC(System Time Clock)的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。

图29是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符构成。流描述符存在复用数据中存在的流的数量。

在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。

复用数据信息文件如图30所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。

复用数据信息如图30所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。

流属性信息如图31所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。

在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的运动图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。

此外，在图32中表示本实施方式的运动图像解码方法的步骤。在步骤exS100中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exS101中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的运动图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的运动图像解码方法进行解码。

这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的运动图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的运动图像编码方法或装置、或者运动图像解码方法或装置用在上述任何设备、系统中。

(实施方式6)

在上述各实施方式中示出的运动图像编码方法及装置、运动图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图33中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。

例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。

另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成1个芯片，也可以形成多个芯片。

此外，在上述中，假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex510的结构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。

另外，这里设为LSI，但根据集成度的差异，也有称作IC、系统LSI、超级(super)LSI、特级(ultra)LSI的情况。

此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。

进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。

(实施方式7)

在将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。

为了解决该问题，电视机ex300、LSIex500等的运动图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图34表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。

更具体地讲，驱动频率切换部ex803由图33的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图33的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式5中记载的识别信息。关于识别信息，并不限定于在实施方式5中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图36所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。

图35表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。

进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。

此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4－AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。

进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况相比，将停止时间设定得短。

这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。

(实施方式8)

在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。

为了解决该问题，采用将用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部、和依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的解码处理部一部分共用的结构。图37A的ex900表示该结构例。例如，在上述各实施方式中示出的运动图像解码方法和依据MPEG4－AVC标准的运动图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构：关于共通的处理内容，共用对应于MPEG4－AVC标准的解码处理部ex902，关于不对应于MPEG4－AVC标准的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。特别是，本发明的一个方式在算术编码方面具有特征，因此可以考虑例如对于算术编码使用专用的解码处理部ex901，对于除此之外的逆量化、解块滤波、运动补偿中的某一个或者全部的处理，共用解码处理部。关于解码处理部的共用，也可以是如下结构：关于共通的处理内容，共用用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部，关于MPEG4－AVC标准所特有的处理内容，使用专用的解码处理部。

此外，用图37B的ex1000表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部ex1001、和与其他的以往标准所特有的处理内容对应的专用的解码处理部ex1002、和与在本发明的一个方式的运动图像解码方法和其他的以往标准的运动图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里，专用的解码处理部ex1001、ex1002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的结构。

这样，对于在本发明的一个方式的运动图像解码方法和以往的标准的运动图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。

产业上的可利用性

本发明能够应用在图像编码方法、图像解码方法、图像编码装置及图像解码装置中，特别能够在进行算术编码及算术解码的图像编码方法、图像解码方法、图像编码装置及图像解码装置中利用。

标号说明

100 图像编码装置

101 控制部

102 差分部

103 变换及量化部

104 可变长编码部

105 逆量化及逆变换部

106、206 加法部

107、207 面内预测部

108、208 面间预测部

109、209 开关

121 输入图像信号

122、125、225 残差信号

123、223 量化变换系数

124 比特流

126 复原图像信号

127、128、129、227、228 预测图像信号

130、230 控制参数

141 二值化部

142、242 上下文控制部

143 二值算术编码部

151、251 二值排列

152、252 上下文索引

200 图像解码装置

201 控制部

202 可变长解码部

204 逆量化部

205 逆变换部

224 正交变换系数

226 解码图像信号

229 图像信号

241 多值化部

243 二值算术解码部

Claims

1.一种解码方法，用于对控制参数进行解码，该控制参数用于对图像的解码进行控制，包括以下步骤：

上下文控制步骤，在多个上下文中决定用于上述图像内的处理对象块的上下文；以及

算术解码步骤，将与上述处理对象块对应的比特序列使用所决定的上述上下文进行算术解码，从而得到用于上述处理对象块的上述控制参数；

在上述上下文控制步骤中，

判断用于上述处理对象块的控制参数被分类的信号种类；

在上述信号种类是第1种类的情况下，同时使用用于与上述处理对象块左邻接的左块及与上述处理对象块上邻接的上块的已解码的控制参数，决定上述上下文；

在上述信号种类是与上述第1种类不同的第2种类的情况下，不同时利用用于上述上块及上述左块的上述已解码的控制参数而使用预先设定的固定值来决定上述上下文；

被判定为上述第1种类的控制参数所属的上述处理对象块的大小为，被判定为上述第2种类的控制参数所属的上述处理对象块的大小以上，

表示上述处理对象块是否被分割为多个块的切割标志和表示是否跳过上述处理对象块的跳过标志中的一方被分类为上述第1种类，

表示上述处理对象块的运动矢量和其预测值之间的差分的差分参数被分类为上述第2种类。

2.如权利要求1所述的解码方法，

在上述上下文控制步骤中，

还基于上述处理对象块的位置，判断在解码时是否能够利用上述上块的控制参数；

在不能利用上述上块的控制参数的情况下，使用上述预先设定的固定值决定上述上下文。

3.如权利要求2所述的解码方法，

在上述上下文控制步骤中，

在上述处理对象块属于切片边界的情况下，判断为在解码时不能利用上述上块的控制参数。

4.如权利要求2所述的解码方法，

在上述上下文控制步骤中，

根据上述处理对象块的控制参数所属的数据单位的层级的深度判断在解码时是否能够利用上述上块的控制参数。

5.如权利要求1所述的解码方法，

在上述上下文控制步骤中，

还基于第1单位的控制参数的值，对比上述第1单位小的第2单位的控制参数，切换是同时使用用于上述左块及上述上块的上述已解码的控制参数来决定上述上下文、还是使用上述预先设定的固定值来决定上下文。

6.如权利要求1～5中任一项所述的解码方法，

上述解码方法根据编码信号中包含的、表示第1标准或第2标准的识别符，对依据上述第1标准的解码处理、和依据上述第2标准的解码处理进行切换；

在上述识别符表示第1标准的情况下，作为依据上述第1标准的解码处理，进行上述上下文控制步骤和上述算术解码步骤。

7.一种解码装置，用于对控制参数进行解码，该控制参数对图像的解码进行控制包括：

上下文控制部，在多个上下文中，决定用于上述图像内的处理对象块的上下文；以及

算术解码部，将与上述处理对象块对应的比特序列使用所决定的上述上下文进行算术解码，从而得到用于上述处理对象块的上述控制参数；

上述上下文控制部，

判断用于上述处理对象块的控制参数被分类的信号种类；

表示上述处理对象块的的运动矢量和其预测值之间的差分的差分参数被分类为上述第2种类。