CN103636209B - 图像解码方法和图像解码装置 - Google Patents

Abstract

图像编码方法包括以下步骤：上下文算术编码步骤(S511)，通过作为使用可变概率的算术编码的上下文算术编码，对(i)表示是否对图像的第1区域进行作为像素值的偏移处理的SAO(样本自适应偏移)处理的第1信息、和(ii)表示是否在针对第1区域的SAO处理中使用针对与第1区域不同的区域的SAO处理的信息的第2信息进行连续编码；以及旁路算术编码步骤(S512)，在第1信息和第2信息被编码后，通过作为使用固定概率的算术编码的旁路算术编码，对下述其他信息进行编码，所述其他信息是针对第1区域的SAO处理的信息，并且是与第1信息和第2信息不同的信息。

Description

图像解码方法和图像解码装置

技术领域

本发明涉及使用算术编码的图像编码方法。

背景技术

关于使用算术编码的图像编码方法，存在非专利文献1和非专利文献2 所记载的技术。

现有技术文献

非专利文献

非专利文献1：ISO/IEC 14496-10“MPEG-4Part 10Advanced Video Coding”

非专利文献2：Frank Bossen、“Common test conditions and softwarereference configurations”、JCTVC-H1100、Joint Collaborative Team on VideoCoding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG118th Meeting、SanJose、CA、USA、1-10February、2012、http： //phenix.it-sudparis.eu/jct/doc_end_user/documents/8_San％20Jose/wg11/JCTV C-H1100-v1.zip

发明内容

发明概要

发明要解决的问题

但是，在编码的处理效率较低的情况下，很难抑制在编码中产生的处理延迟。

因此，本发明提供能够以较高的处理效率进行编码的图像编码方法。

用于解决问题的手段

本发明的一个方式的图像编码方法，包括以下步骤：上下文算术编码步骤，通过作为使用可变概率的算术编码的上下文算术编码，对(i)表示是否对图像的第1区域进行作为像素值的偏移处理的SAO样本自适应偏移处理的第1信息、和(ii)表示是否在针对所述第1区域的SAO处理中使用针对与所述第1区域不同的区域的SAO处理的信息的第2信息进行连续编码；以及旁路算术编码步骤，在所述第1信息和所述第2信息被编码后，通过作为使用固定概率的算术编码的旁路算术编码，对下述其他信息进行编码，所述其他信息是针对所述第1区域的SAO处理的信息，并且是与所述第1信息和所述第2信息不同的信息。

另外，这些全部或具体的方式可以通过系统、装置、集成电路、计算机程序或计算机可读取的CD-ROM等非临时的记录介质来实现，也可以通过系统、装置、方法、集成电路、计算机程序和记录介质的任意组合来实现。

发明效果

本发明的图像编码方法能够以较高的处理效率进行编码。

附图说明

图1是示出实施方式1的图像编码装置的结构的一例的框图。

图2是示出实施方式1的图像解码装置的结构的一例的框图。

图3是示出实施方式1的边缘偏移的一例的示意图。

图4是示出实施方式1的边缘偏移的范畴的示意图。

图5是示出实施方式1的边缘偏移的类型的示意图。

图6是示出实施方式1的带偏移的一例的示意图。

图7是示出实施方式1的带偏移的范畴的示意图。

图8是示出实施方式1的带偏移的编码对象信息的示意图。

图9A是示出实施方式1的区域的分割顺序的一例的示意图。

图9B是示出实施方式1的区域的分割结果的一例的示意图。

图10是示出实施方式1的图像编码装置中的环路滤波部的结构的一例的框图。

图11是示出实施方式1的图像解码装置中的环路滤波部的结构的一例的框图。

图12是示出实施方式1的图像编码装置中的环路滤波部的动作的一例的流程图。

图13是示出实施方式1的图像解码装置中的环路滤波部的动作的一例的流程图。

图14是示出实施方式1的针对表示像素分类方法的索引编号的比特分配的一例的示意图。

图15是示出实施方式1的编码流的一例的示意图。

图16A是示出实施方式1的APS内的语法(aps_sao_param)的一例的示意图。

图16B是示出实施方式1的APS内的语法(sao_unit_vlc)的一例的示意图。

图16C是示出实施方式1的APS内的语法(sao_offset_vlc)的一例的示意图。

图17A是示出实施方式1的切片数据内的语法(slice_data)的一例的示意图。

图17B是示出实施方式1的切片数据内的语法(sao_unit_cabac)的一例的示意图。

图17C是示出实施方式1的切片数据内的语法(sao_offset_cabac)的一例的示意图。

图18是示出实施方式1的共用偏移信息的区域的一例的示意图。

图19是示出实施方式1的表示像素分类方法的索引编号的编码的一例的流程图。

图20是示出实施方式1的表示像素分类方法的索引编号的解码的一例的流程图。

图21是示出实施方式2的图像编码装置中的环路滤波部的结构的一例的框图。

图22是示出实施方式2的图像解码装置中的环路滤波部的结构的一例的框图。

图23是示出实施方式2的图像编码装置中的环路滤波部的动作的一例的流程图。

图24是示出实施方式2的图像解码装置中的环路滤波部的动作的一例的流程图。

图25是示出实施方式2的针对表示像素分类方法的索引编号的比特分配的一例的示意图。

图26是示出实施方式2的针对表示像素分类方法的索引编号的比特分配的另一例的示意图。

图27A是示出实施方式2的APS内的语法(sao_unit_vlc)的一例的示意图。

图27B是示出实施方式2的APS内的语法(sao_offset_vlc)的一例的示意图。

图27C是示出实施方式2的针对APS内的偏移信息的上下文索引的分配例的示意图。

图27D是示出实施方式2的APS内的偏移信息的编码的一例的流程图。

图27E是示出实施方式2的APS内的偏移信息的解码的一例的流程图。

图28A是示出实施方式2的切片数据内的语法(sao_unit_cabac)的一例的示意图。

图28B是示出实施方式2的切片数据内的语法(sao_offset_cabac)的一例的示意图。

图28C是示出实施方式2的针对切片数据内的偏移信息的上下文索引的分配例的示意图。

图28D是示出实施方式2的切片数据内的偏移信息的编码的一例的流程图。

图28E是示出实施方式2的切片数据内的偏移信息的解码的一例的流程图。

图29是示出实施方式2的表示像素分类方法的索引编号的编码的一例的流程图。

图30是示出实施方式2的表示像素分类方法的索引编号的解码的一例的流程图。

图31A是示出实施方式3的针对偏移信息的上下文索引的分配例的示意图。

图31B是示出实施方式3的图像编码装置和图像解码装置的客观性能的图。

图32是示出实施方式3的偏移信息编码部的结构的一例的框图。

图33是示出实施方式3的偏移信息解码部的结构的一例的框图。

图34是示出实施方式3的偏移信息编码部的动作的一例的流程图。

图35是示出实施方式3的偏移信息解码部的动作的一例的流程图。

图36是示出实施方式3的编码的特征的一例的流程图。

图37是示出实施方式3的解码的特征的一例的流程图。

图38是实现内容分发服务的内容供给系统的整体结构图。

图39是数字广播用系统的整体结构图。

图40是示出电视机的结构例的框图。

图41是示出对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的框图。

图42是示出作为光盘的记录介质的构造例的图。

图43A是示出便携电话的一例的图。

图43B是示出便携电话的结构例的框图。

图44是示出复用数据的结构的图。

图45是示意地表示各流在复用数据中怎样被复用的图。

图46是更详细地表示在PES包序列中视频流怎样被保存的图。

图47是示出复用数据的TS包和源包的构造的图。

图48是示出PMT的数据结构的图。

图49是示出复用数据信息的内部结构的图。

图50是示出流属性信息的内部结构的图。

图51是示出识别影像数据的步骤的图。

图52是示出实现各实施方式的运动图像编码方法及运动图像解码方法的集成电路的结构例的框图。

图53是示出切换驱动频率的结构的图。

图54是示出识别影像数据、切换驱动频率的步骤的图。

图55是示出将影像数据的标准与驱动频率建立了对应的查找表的一例的图。

图56A是示出将信号处理部的模块共用的结构的一例的图。

图56B是示出将信号处理部的模块共用的结构的另一例的图。

具体实施方式

(作为本发明的基础的知识和见解)

本发明人针对“背景技术”一栏中记载的使用算术编码的图像编码方法发现了课题。下面具体进行说明。

以被称为H.26x的ITU-T标准和被称为MPEG-x的ISO/IEC标准为代表的图像编码方式的图像编码装置将图片(picture)分割成预定的单位，按照该单位进行编码。例如，H.264/MPEG-4AVC方式(参照非专利文献1)的图像编码装置以水平16像素和垂直16像素的被称为宏块的单位进行处理。

图像编码装置在进行运动补偿的情况下，将宏块分割成子块(最小为水平4像素和垂直4像素)。然后，图像编码装置使用按照每个子块而不同的运动矢量进行运动补偿，对原信号与预测信号的差分信号进行频率变换，将差分信号的信息集中在低频率区域，通过进行量化，能够压缩信息。

在使用将差分信号的信息集中在低频率区域的DCT等正交变换以块单位对图片进行编码的方法中，公知在块的边界发现被称为块失真的格子状的失真。图像编码装置通过解块滤波处理，能够减少块失真。

但是，在上述解块滤波这样的仅对块边界进行处理的方式中，很难减少块失真以外的编码劣化。

因此，本发明的一个方式的图像编码方法，包括以下步骤：上下文算术编码步骤，通过作为使用可变概率的算术编码的上下文算术编码，对(i) 表示是否对图像的第1区域进行作为像素值的偏移处理的SAO样本自适应偏移处理的第1信息、和(ii)表示是否在针对所述第1区域的SAO处理中使用针对与所述第1区域不同的区域的SAO处理的信息的第2信息进行连续编码；以及旁路算术编码步骤，在所述第1信息和所述第2信息被编码后，通过作为使用固定概率的算术编码的旁路算术编码，对下述其他信息进行编码，所述其他信息是针对所述第1区域的SAO处理的信息，并且是与所述第1信息和所述第2信息不同的信息。

由此，对于用于提高画质的SAO处理的信息，连续进行上下文算术编码。即，抑制了上下文算术编码和旁路算术编码的频繁切换，连续进行同种处理。因此，处理效率提高。

例如，也可以是，在所述旁路算术编码步骤中，对包括第3信息和第4 信息的所述其他信息进行编码，所述第3信息表示针对所述第1区域的SAO 处理是按照边缘进行的边缘偏移处理还是按照像素值进行的带偏移处理，所述第4信息表示偏移值的绝对值。

由此，在上下文算术编码之后，多种信息以旁路算术编码被编码。即，同种处理被汇总进行。因此，处理效率提高。

并且，例如，也可以是，在所述旁路算术编码步骤中，在针对所述第1 区域的SAO处理是带偏移处理的情况下，对包括表示所述偏移值的正负的第5信息和表示所述偏移值的应用范围的第6信息在内的所述其他信息进行编码。

由此，在上下文算术编码后，根据状况，还利用旁路算术编码对各种信息进行编码。因此，处理效率提高。

并且，例如，也可以是，在所述上下文算术编码步骤中，对包括表示是否在针对所述第1区域的SAO处理中使用针对与所述第1区域的左侧邻接的左区域的SAO处理的信息的信息、以及表示是否在针对所述第1区域的SAO处理中使用针对与所述第1区域的上侧邻接的上区域的SAO处理的信息的信息中的至少一个信息在内的所述第2信息进行编码。

由此，在连续进行的上下文算术编码中，适当地对表示从上侧或左侧进行沿用的信息进行编码。

并且，本发明的一个方式的图像解码方法，包括以下步骤：上下文算术解码步骤，通过作为使用可变概率的算术解码的上下文算术解码，对(i) 表示是否对图像的第1区域进行作为像素值的偏移处理的SAO样本自适应偏移处理的第1信息、和(ii)表示是否在针对所述第1区域的SAO处理中使用针对与所述第1区域不同的区域的SAO处理的信息的第2信息进行连续解码；以及旁路算术解码步骤，在所述第1信息和所述第2信息被解码后，通过作为使用固定概率的算术解码的旁路算术解码，对下述其他信息进行解码，所述其他信息是针对所述第1区域的SAO处理的信息，并且是与所述第1信息和所述第2信息不同的信息。

由此，对于用于提高画质的SAO处理的信息，连续进行上下文算术解码。即，抑制了上下文算术解码和旁路算术解码的频繁切换，连续进行同种处理。因此，处理效率提高。

例如，也可以是，在所述旁路算术解码步骤中，对包括第3信息和第4 信息的所述其他信息进行解码，所述第3信息表示针对所述第1区域的SAO 处理是按照边缘进行的边缘偏移处理还是按照像素值进行的带偏移处理，所述第4信息表示偏移值的绝对值。

由此，在上下文算术解码之后，多种信息以旁路算术解码被解码。即，同种处理被汇总进行。因此，处理效率提高。

并且，例如，也可以是，在所述旁路算术解码步骤中，在针对所述第1 区域的SAO处理是带偏移处理的情况下，对包括表示所述偏移值的正负的第5信息和表示所述偏移值的应用范围的第6信息在内的所述其他信息进行解码。

由此，在上下文算术解码后，根据状况，还利用旁路算术解码对各种信息进行解码。因此，处理效率提高。

并且，例如，也可以是，在所述上下文算术解码步骤中，对包括表示是否在针对所述第1区域的SAO处理中使用针对与所述第1区域的左侧邻接的左区域的SAO处理的信息的信息、以及表示是否在针对所述第1区域的SAO处理中使用针对与所述第1区域的上侧邻接的上区域的SAO处理的信息的信息中的至少一个信息在内的所述第2信息进行解码。

由此，在连续进行的上下文算术解码中，适当地对表示从上侧或左侧进行沿用的信息进行解码。

另外，这些全部或具体的方式可以通过系统、装置、集成电路、计算机程序或计算机可读取的CD-ROM等非临时的记录介质来实现，也可以通过系统、装置、方法、集成电路、计算机程序或记录介质的任意组合来实现。

下面，利用附图对实施方式进行详细说明。另外，以下说明的实施方式均示出全部或具体的例子。以下实施方式所示的数值、形状、材料、结构要素、结构要素的配置位置和连接方式、步骤、步骤的顺序等是一例，并不是限定本发明的意思。并且，关于以下实施方式的结构要素中的、在示出最上位概念的独立权利要求中没有记载的结构要素，作为任意的结构要素进行说明。

并且，下述有时将coding用作encoding的意思。

(实施方式1)

图1示出本实施方式的图像编码装置的结构。图1所示的图像编码装置100具有控制部110和编码部120。编码部120包括减法部121、频率变换部122、量化部123、熵编码部124、逆量化部125、逆频率变换部126、加法部127、环路滤波部128、存储部129、帧内(intra)预测部130、运动补偿部131、运动检测部132和开关133。

编码部120按照每个块对图像141进行编码，生成编码流142。此时，编码部120的减法部121从由图像141的多个像素值构成的像素块中减去由预测图像的多个像素值构成的像素块。频率变换部122将通过减法而得到的像素块变换为由多个频率系数构成的系数块。量化部123对由频率变换部122得到的系数块进行量化。

另一方面，运动检测部132使用图像141的像素块来检测运动矢量。运动补偿部131使用存储部129的参照图像和由运动检测部132检测到的运动矢量进行帧间(inter)预测(间预测)。帧内预测部130根据帧内预测模式，使用由加法部127得到的像素块进行帧内预测(内预测)。开关133将通过帧内预测或帧间预测得到的预测图像的像素块输入到减法部121和加法部127。

然后，熵编码部124通过对块的分割信息、预测的种类、运动矢量、预测模式(帧内预测模式)、量化参数和量化后的系数块等实施熵编码，生成编码流142。

并且，逆量化部125对量化后的系数块进行逆量化。然后，逆频率变换部126将逆量化后的系数块变换为像素块。然后，加法部127在由逆频率变换部126得到的像素块中加上预测图像的像素块。环路滤波部128从由加法部127得到的像素块中抑制失真，将像素块作为参照图像存储在存储部129中。

并且，控制部110对编码部120进行控制。

图像编码装置100通过上述动作对图像141进行编码。然后，图像编码装置100通过频率变换、量化、帧内预测、帧间预测、熵编码和环路滤波等各种处理，减少编码流142的数据量。

图2示出与图1所示的图像编码装置100对应的图像解码装置200的结构。图2所示的图像解码装置200具有控制部210和解码部220。解码部 220包括熵解码部224、逆量化部225、逆频率变换部226、加法部227、环路滤波部228、存储部229、帧内预测部230、运动补偿部231和开关233。

解码部220按照每个块对编码流242中包含的图像241进行解码。此时，解码部220的熵解码部224通过对编码流242实施熵解码，取得块的分割信息、预测的种类、运动矢量、帧内预测模式、量化参数和量化后的系数块等。

然后，控制部210对解码部220的动作进行控制。

解码部220的逆量化部225对量化后的系数块进行逆量化。逆频率变换部226将逆量化后的系数块变换为像素块。

加法部227在由逆频率变换部226得到的像素块中加上预测图像的像素块。环路滤波部228从由加法部227得到的像素块中抑制失真。然后，环路滤波部228将由像素块构成的参照图像存储在存储部229中。并且，环路滤波部228输出由像素块构成的图像241。

在预测的种类为帧内预测的情况下，帧内预测部230根据帧内预测模式，使用由加法部227得到的像素块进行帧内预测。在预测的种类为帧间预测的情况下，运动补偿部231使用运动矢量和存储部229的参照图像进行帧间预测。开关233将通过帧内预测或帧间预测得到的预测图像的像素块输入到加法部227。

如上所述，图像解码装置200通过与图像编码装置100对应的动作，按照每个块对编码流242中包含的图像241进行解码。

这里，进一步详细说明环路滤波处理。环路滤波处理是用于减少重构信号的编码劣化的处理，在H.264/MPEG-4AVC方式(参照非专利文献1) 中，进行减少在宏块边界产生的块状的失真的解块滤波处理。

但是，在解块滤波处理中无法消除宏块内产生的编码劣化。因此，在本实施方式中，进行用于减少编码劣化的偏移处理。在偏移处理中，通过在重构信号的处理对象块内包含的像素中加上偏移值，减轻相对于原信号的失真。

并且，在偏移处理中，将处理对象块内的像素分类为多个范畴 (category)，按照每个范畴使用共同的偏移值。在像素分类方法中，存在根据分类对象像素及其邻接像素的比较进行的边缘偏移(edge offset)的像素分类方法、以及根据分类对象像素的像素值进行的带偏移(band offset)的像素分类方法。边缘偏移是根据边缘进行的偏移，带偏移是根据像素值进行的偏移。

下面，有时将使用边缘偏移的像素分类方法的情况表现为像素分类方法为边缘偏移、或者表现为在像素分类方法中使用边缘偏移。并且，同样，有时将使用带偏移的像素分类方法的情况表现为像素分类方法为带偏移、或者表现为在像素分类方法中使用带偏移。

图3是示出基于边缘偏移的像素分类方法的例子的示意图。在边缘偏移中，根据分类对象像素c及其左右的邻接像素c1、c2的大小关系进行分类。

图4是示出通过边缘偏移将处理对象块分类为5个范畴的例子的示意图。例如，在c的像素值比c1的像素值大、且与c2的像素值相等的情况下，对象像素被分类为范畴3，加上对范畴3分配的偏移值Offset[3]。

并且，如图5所示，在边缘偏移中，与分类对象像素进行比较的像素是左右邻接像素(EO(0))、上下邻接像素(EO(1))、倾斜邻接像素(EO (2)或EO(3))、或它们的组合(EO(4)或EO(5))等。

图6是示出基于带偏移的像素分类方法的例子的示意图。这里，处理对象像素值可取的灰度被均等地进行M分割。M例如为32。分割后的灰度区分成为范畴。处理对象像素被分类为包含其像素值的范畴。

图7是示出通过带偏移将处理对象块分类为16个组(class)的例子的示意图。例如，在c的像素值为R9以上且小于R10的情况下，处理对象像素被分类为范畴9，加上对范畴9分配的偏移值Offset[9]。

并且，不需要对全部范畴分配偏移值，如图8所示，图像编码装置100 能够仅对针对偏移效应较高的范畴的偏移值进行编码。此时，图像编码装置100还一并对表示编码后的偏移值的范畴的范畴索引编号进行编码。

并且，SAO(样本自适应偏移：Sample Adaptive Offset)如图9A所示，针对通过分层次地分割块而得到的处理对象区域单位，决定最佳的像素分类方法和偏移值。图9B示出分割图案(pattern)的一例。

图10是示出本实施方式的图像编码装置100中的环路滤波部128的结构的一例的框图。

环路滤波部128包括信号取得部151、偏移信息计算部152、偏移处理部153、偏移信息编码部154和信号输出部155。

信号取得部151取得已重构的处理对象区域的像素信号。

偏移信息计算部152计算偏移处理中使用的分割图案、像素分类方法和偏移值等偏移信息。

偏移处理部153使用偏移信息，将处理对象区域内的像素分类为范畴，按照每个范畴进行偏移处理。

偏移信息编码部154将偏移信息输出到图1所示的熵编码部124。另外，偏移信息编码部154也可以对偏移信息进行编码。并且，偏移信息编码部154也可以包含在熵编码部124中。

信号输出部155输出进行偏移处理后的处理对象区域的像素信号。

图11是示出本实施方式的图像解码装置200中的环路滤波部228的结构的一例的框图。

环路滤波部228包括信号取得部251、偏移信息解码部252、偏移处理部253和信号输出部254。

信号取得部251取得已重构的处理对象区域的像素信号。

偏移信息解码部252取得偏移处理中使用的分割图案、像素分类方法和偏移值等偏移信息。另外，偏移信息解码部252也可以对偏移信息进行解码。并且，偏移信息解码部252也可以包含在熵解码部224中。

偏移处理部253使用偏移信息，将处理对象区域内的像素分类为范畴，按照每个范畴进行偏移处理。

信号输出部254输出进行偏移处理后的处理对象区域的像素信号。

图12是主要示出图1所示的图像编码装置100中的图10所示的环路滤波部128的动作的流程图。

首先，信号取得部151从加法部127取得已重构的处理对象区域的像素信号(S151)。接着，偏移信息计算部152计算偏移处理中使用的分割图案、像素分类方法和偏移值等偏移信息(S152)。接着，偏移处理部153根据偏移信息对区域进行分割，将分割区域的像素分类为范畴，按照每个范畴对偏移值进行相加(S153)。

接着，偏移信息编码部154将分割图案、像素分类方法、范畴索引编号和偏移值等偏移信息输出到熵编码部124。熵编码部124对偏移信息进行编码，将编码后的偏移信息插入编码流中(S154)。另外，偏移信息编码部 154也可以对偏移信息进行编码，将编码后的偏移信息插入编码流中。

接着，信号输出部155将已偏移的处理对象区域的像素信号输出到存储部129(S155)。

图13是主要示出图2所示的图像解码装置200中的图11所示的环路滤波部228的动作的流程图。

首先，信号取得部251从加法部227取得已重构的处理对象区域的像素信号(S251)。

接着，熵解码部224从编码流中，将分割图案、像素分类方法、范畴索引编号和偏移值等偏移信息解码，偏移信息解码部252取得解码后的偏移信息(S252)。另外，偏移信息解码部252也可以从编码流中将偏移信息解码。

接着，偏移处理部253根据偏移信息对区域进行分割，将分割区域的像素分类为范畴，按照每个范畴对偏移值进行相加(S253)。接着，信号输出部254将已偏移的处理对象区域的像素信号输出到存储部229(S254)。

这里，进一步详细地说明偏移信息编码部154和偏移信息解码部252 中的偏移信息的编码和解码。在偏移处理中的像素分类方法中，作为一例，存在边缘偏移中的EO(0)、EO(1)、EO(2)和EO(3)、带偏移中的BO (0)这5种。

图14示出表示上述各像素分类方法的索引编号的分配的一例。在图14 中，对索引编号进行2值化，以使得较小的值成为较小的比特长，较大的值成为较大的比特长，最大比特长被指定为5比特。但是，分配方法不限于此。例如，也可以如下那样分配比特：不指定最大比特长，在全部索引编号中，最后的结尾成为0。

并且，表示不对处理对象块进行偏移处理的信息被分配索引编号的0 号。

实施方式1的图像编码装置100通过对动态图像进行编码而生成编码流。如图15所示，编码流包括SPS(Sequence Parameter Set：序列参数集) 和PPS(Picture ParameterSet：图片参数集)等头部分以及编码后的图像数据即图片数据。

图片数据还包括切片头(SH)和切片数据。切片数据包括切片中包含的编码后的图像数据。切片数据还包括块头(BH)和块数据。块数据包括块中包含的编码后的图像数据。

并且，编码流包括存储了与上述不同的1个或多个切片中使用的参数的APS(Adaptation Parameter Set：自适应参数集)。对APS分配索引编号 aps_idx，图像编码装置100能够将用于调出要使用的APS的索引编号 aps_idx插入切片头中。

在偏移信息编码部154(或熵编码部124)中，对偏移信息进行编码，并将其插入SPS、PPS、SH、切片数据、BH、块数据和APS中的任意一方中。并且，在偏移信息解码部252(或熵解码部224)中，从SPS、PPS、 SH、切片数据、BH、块数据和APS中的任意一方中取得偏移信息，并对其进行解码。

图16A、图16B和图16C示出将偏移信息插入APS中的例子。图像编码装置100能够统一将位于切片内的全部块的偏移信息插入APS中，图像解码装置200能够统一从APS取得偏移信息。

并且，图17A、图17B和图17C示出将偏移信息插入切片数据中的例子。图像编码装置100能够将偏移信息插入切片数据的块单位中，图像解码装置200能够以切片数据的块单位取得偏移信息。

在本实施方式中，如图18所示，图像编码装置100(图像解码装置200) 能够在多个处理对象区域中共用偏移信息。图18的实线是偏移处理的处理对象区域区分的边界，虚线是使用共同的偏移信息的区域区分的边界。这里，图像编码装置100通过在编码流中插入表示共用偏移值等的信息，而不是插入表示偏移值等的偏移信息，能够抑制由于偏移处理而导致的比特量的增加。

例如，如图16A的sao_one_luma_unit_flag、sao_one_cr_unit_flag和 sao_one_cb_unit_flag那样，图像编码装置100也可以对表示在切片内的全部块中共用偏移信息的标志进行编码。并且，如图16A的 sao_repeat_row_flag那样，图像编码装置100也可以对表示从上一行复制一行量的偏移信息的标志进行编码。

并且，如图16B的saoRun和sao_run_diff那样，图像编码装置100也可以对表示共用偏移信息的处理对象区域的数量的参数进行编码。并且，如图16B和图17B那样，图像编码装置100也可以对表示从左侧或上侧的区域复制偏移信息的sao_merge_left_flag或sao_merge_up_flag进行编码。

图19是示出偏移信息编码部154对偏移信息中的表示像素分类方法的索引编号进行编码的动作的流程图。

首先，偏移信息编码部154判定是否进行了偏移处理(S1541)。偏移信息计算部152计算分割图案、像素分类方法、范畴索引编号和偏移值等偏移信息。偏移信息计算部152在偏移信息所需要的比特量比编码劣化的校正量大的情况下，判定为不进行偏移处理。该情况下，偏移处理部153 不进行偏移处理。

这里，偏移信息编码部154从偏移信息计算部152或偏移处理部153 取得与是否进行了偏移处理有关的信息。在未进行偏移处理的情况下(S1541：否)，偏移信息编码部154将表示像素分类方法的索引编号编码为0(S1542)。

在进行了偏移处理的情况下(S1541：是)，偏移信息编码部154判定像素分类方法是否是边缘偏移EO(0)(S1543)。在像素分类方法是边缘偏移EO(0)的情况下(S1543：是)，偏移信息编码部154将表示像素分类方法的索引编号编码为1(S1544)。

在像素分类方法不是边缘偏移EO(0)的情况下(S1543：否)，偏移信息编码部154判定像素分类方法是否是边缘偏移EO(1)(S1545)。在像素分类方法是边缘偏移EO(1)的情况下(S1545：是)，偏移信息编码部 154将表示像素分类方法的索引编号编码为2(S1546)。

在像素分类方法不是边缘偏移EO(1)的情况下(S1545：否)，偏移信息编码部154判定像素分类方法是否是边缘偏移EO(2)(S1547)。在像素分类方法是边缘偏移EO(2)的情况下(S1547：是)，偏移信息编码部 154将表示像素分类方法的索引编号编码为3(S1548)。

在像素分类方法不是边缘偏移EO(2)的情况下(S1547：否)，偏移信息编码部154判定像素分类方法是否是边缘偏移EO(3)(S1549)。在像素分类方法是边缘偏移EO(3)的情况下(S1549：是)，偏移信息编码部 154将表示像素分类方法的索引编号编码为4(S1550)。

在像素分类方法不是边缘偏移EO(3)的情况下(S1549：否)，偏移信息编码部154将表示像素分类方法的索引编号编码为5(S1551)。

图20是示出偏移信息解码部252对偏移信息中的表示像素分类方法的索引编号进行解码的动作、以及偏移处理部253进行偏移处理的动作的流程图。

首先，偏移处理部253判定偏移信息解码部252解码后的索引编号是否为0(S2521)。在索引编号为0的情况下(S2521：是)，偏移处理部253 不进行偏移处理(S2522)。

在索引编号不为0的情况下(S2521：否)，偏移处理部253判定偏移信息解码部252解码后的索引编号是否为1(S2523)。在索引编号为1的情况下(S2523：是)，偏移处理部253进行边缘偏移EO(0)(S2524)。

在索引编号不为1的情况下(S2523：否)，偏移处理部253判定偏移信息解码部252解码后的索引编号是否为2(S2525)。在索引编号为2的情况下(S2525：是)，偏移处理部253进行边缘偏移EO(1)(S2526)。

在索引编号不为2的情况下(S2525：否)，偏移处理部253判定偏移信息解码部252解码后的索引编号是否为3(S2527)。在索引编号为3的情况下(S2527：是)，偏移处理部253进行边缘偏移EO(2)(S2528)。

在索引编号不为3的情况下(S2527：否)，偏移处理部253判定偏移信息解码部252解码后的索引编号是否为4(S2529)。在索引编号为4的情况下(S2529：是)，偏移处理部253进行边缘偏移EO(3)(S2530)。

在索引编号不为4的情况下(S2529：否)，偏移处理部253进行带偏移BO(0)(S2531)。

如上所述，图像编码装置100和图像解码装置200在已重构的图像信号中加上用于弥补原信号与已重构的图像信号之差的偏移值。由此，能够生成近似原信号的重构信号。

(实施方式2)

在实施方式1中，能够在多个区域中共用偏移信息。但是，当考虑低处理延迟或低存储量时，共用对象区域限定为附近区域。例如，如果仅将共用对象区域限定为与左侧和上侧邻接的区域，则处理延迟减少。并且，如果仅将共用对象区域限定为与左侧邻接的区域，则抑制了用于存储已处理的区域的偏移信息的存储量。

另一方面，由于共用对象区域的限定，很难在较大区域中共用偏移信息。因此，偏移信息本身的编码的频度上升，比特量增加。这里，如图16C 或图17C所示，在带偏移中，作为参数，对带偏移编码开始范畴sao_band_position进行编码。因此，与边缘偏移相比，比特量较大。因此，从比特量增加的观点来看，使用边缘偏移更为有利。

因此，本实施方式的图像编码装置为了改善带偏移相对于边缘偏移的不利，削减带偏移的使用时所需要的比特量。另外，带偏移编码开始范畴 sao_band_position是表示偏移值的应用范围的信息的例子。

下面，对本实施方式的图像编码装置和与图像编码装置对应的图像解码装置进行说明。

图21是示出本实施方式的图像编码装置的环路滤波部的结构的框图。本实施方式的图像编码装置的其他结构与图1所示的图像编码装置100的结构相同。图22是示出本实施方式的图像解码装置的环路滤波部的结构的框图。本实施方式的图像解码装置的其他结构与图2所示的图像解码装置 200的结构相同。

图23是示出图21所示的环路滤波部300(图像编码装置的环路滤波部) 的动作的流程图。图24是示出图22所示的环路滤波部400(图像解码装置的环路滤波部)的动作的流程图。

首先，对图21所示的环路滤波部300(图像编码装置的环路滤波部) 的结构和动作进行说明。环路滤波部300具有信号取得部301、偏移信息计算部302、偏移处理部303、信号输出部304、偏移信息编码部305和控制部306。省略与实施方式1重复的部分的说明，对不同之处、即图21的控制部306、图21的偏移信息编码部305和图23的步骤S304进行说明。

控制部306对偏移信息编码部305进行控制，以使得在像素分类方法是带偏移的情况下，带偏移的偏移信息的比特量变小。

偏移信息编码部305进行编码，以使得表示像素分类方法是带偏移的索引编号的数值变小。

在图23的步骤S304中，偏移信息编码部305对像素分类方法分配索引编号，对偏移信息进行编码。此时，偏移信息编码部305分配索引编号，以使得表示带偏移BO(0)的索引编号比4个边缘偏移EO(0)、EO(1)、 EO(2)和EO(3)小。然后，偏移信息编码部305将编码后的偏移信息插入编码流中。

接着，对图22所示的环路滤波部400(图像解码装置的环路滤波部) 的结构和动作进行说明。环路滤波部400具有信号取得部401、偏移信息解码部402、偏移处理部403、信号输出部404和控制部405。省略与实施方式1重复的部分的说明，对不同之处、即图22的控制部405、图22的偏移信息解码部402和图24的步骤S402进行说明。

控制部405对偏移信息解码部402进行控制，以使得在像素分类方法是带偏移的情况下，以较小的比特量对带偏移的偏移信息进行解码。

偏移信息解码部402将数值较小的索引编号作为表示像素分类方法是带偏移的索引编号进行解码。

在图24的步骤S402中，偏移信息解码部402对像素分类方法分配索引编号，对偏移信息进行解码。此时，偏移信息解码部402分配索引编号，以使得表示带偏移BO(0)的索引编号比4个边缘偏移EO(0)、EO(1)、 EO(2)和EO(3)小。

这里，进一步详细说明偏移信息编码部305和偏移信息解码部402中的偏移信息的编码和解码。在偏移处理中的像素分类方法中，与实施方式1 同样，采用边缘偏移EO(0)、EO(1)、EO(2)和EO(3)以及带偏移 BO(0)。该情况下，除了不进行偏移处理的情况下的索引编号0以外，与表示像素分类方法的索引编号对应的最小比特量与最大比特量之差为3比特。

在实施方式1中，如图14那样，对带偏移分配最大比特量。在带偏移的范畴数为32的情况下，包含sao_band_position在内，在带偏移与边缘偏移之间产生最大8比特和最小5比特的差。

因此，在本实施方式中，如图25那样，对表示带偏移的索引编号分配比边缘偏移小的比特。由此，带偏移与边缘偏移的比特量之差为最大4比特和最小2比特，改善了带偏移相对于边缘偏移的不利。

另外，如图26那样，偏移处理ON/OFF标志(偏移处理标志)也可以作为sao_on_flag而独立于表示像素分类方法的索引编号sao_type_idx。

在图26中，将带偏移分配给索引编号的0号。而且，对索引编号进行 2值化，以使得较小的值成为较小的比特长，较大的值成为较大的比特长，最大比特长被指定为4比特。但是，分配方法不限于此。例如，也可以如下那样分配比特：不指定最大比特长，在全部索引编号中，最后的尾部成为0。下面，以图26的比特分配为前提进行说明。

图27A和图27B示出将偏移信息插入APS中的例子。独立于表示像素分类方法的索引的偏移处理ON/OFF标志sao_on_flag新设置在图27A的 sao_unit_vlc内。并且，在图27B的sao_offset_vlc内的sao_type_idx中，对带偏移分配最小的比特。

图27C是示出APS内的偏移信息的上下文的一例的图。图27D是示出 APS内的偏移信息的编码的一例的流程图。图27E是示出APS内的偏移信息的解码的一例的流程图。

并且，图28A和图28B示出将偏移信息插入切片数据中的例子。在图 28A的sao_unit_cabac内新设置偏移处理ON/OFF标志sao_on_flag。并且，在图28B的sao_offset_cabac内的sao_type_idx中，对带偏移分配最小的比特。

图28C是示出切片数据内的偏移信息的上下文的一例的示意图。图28D 是示出切片数据内的偏移信息的编码的一例的流程图。图28E是示出切片数据内的偏移信息的解码的一例的流程图。

图29是示出偏移信息编码部305对偏移信息中的表示像素分类方法的索引编号进行编码的动作的流程图。

首先，偏移信息编码部305判定是否进行了偏移处理(S3051)。偏移信息计算部302计算分割图案、像素分类方法、范畴索引编号和偏移值等偏移信息。偏移信息计算部302在偏移信息所需要的比特量比编码劣化的校正量大的情况下，判定为不进行偏移处理。该情况下，偏移处理部303 不进行偏移处理。

这里，偏移信息编码部305从偏移信息计算部302或偏移处理部303 取得与是否进行了偏移处理有关的信息。在未进行偏移处理的情况下(S3051：否)，偏移信息编码部305将偏移处理ON/OFF标志编码为0 (S3052)。

在进行了偏移处理的情况下(S3051：是)，偏移信息编码部305将偏移处理ON/OFF标志编码为1(S3053)。然后，偏移信息编码部305判定像素分类方法是否是带偏移BO(0)(S3054)。

在像素分类方法是带偏移BO(0)的情况下(S3054：是)，偏移信息编码部305将表示像素分类方法的索引编号编码为0(S3055)。在像素分类方法不是带偏移BO(0)的情况下(S3054：否)，偏移信息编码部305判定像素分类方法是否是边缘偏移EO(0)(S3056)。

在像素分类方法是边缘偏移EO(0)的情况下(S3056：是)，偏移信息编码部305将表示像素分类方法的索引编号编码为1(S3057)。在像素分类方法不是边缘偏移EO(0)的情况下(S3056：否)，偏移信息编码部305 判定像素分类方法是否是边缘偏移EO(1)(S3058)。

在像素分类方法是边缘偏移EO(1)的情况下(S3058：是)，偏移信息编码部305将表示像素分类方法的索引编号编码为2(S3059)。在像素分类方法不是边缘偏移EO(1)的情况下(S3058：否)，偏移信息编码部305 判定像素分类方法是否是边缘偏移EO(2)(S3060)。

在像素分类方法是边缘偏移EO(2)的情况下(S3060：是)，偏移信息编码部305将表示像素分类方法的索引编号编码为3(S3061)。在像素分类方法不是边缘偏移EO(2)的情况下(S3060：否)，偏移信息编码部305 将表示像素分类方法的索引编号编码为4(S3062)。

图30是示出偏移信息解码部402对偏移信息中的表示像素分类方法的索引编号进行解码的动作、以及偏移处理部403进行偏移处理的动作的流程图。

首先，偏移处理部403判定偏移信息解码部402解码后的偏移处理 ON/OFF标志是否为0(S4021)。在偏移处理ON/OFF标志为0的情况下 (S4021：是)，偏移处理部403不进行偏移处理(S4022)。

在偏移处理ON/OFF标志不为0的情况下(S4021：否)，偏移信息解码部402对索引编号进行解码(S4023)。然后，偏移处理部403判定偏移信息解码部402解码后的索引编号是否为0(S4024)。

在索引编号为0的情况下(S4024：是)，偏移处理部403进行带偏移 BO(0)(S4025)。在索引编号不为0的情况下(S4024：否)，偏移处理部 403判定偏移信息解码部402解码后的索引编号是否为1(S4026)。

在索引编号为1的情况下(S4026：是)，偏移处理部403进行边缘偏移EO(0)(S4027)。在索引编号不为1的情况下(S4026：否)，偏移处理部403判定偏移信息解码部402解码后的索引编号是否为2(S4028)。

在索引编号为2的情况下(S4028：是)，偏移处理部403进行边缘偏移EO(1)(S4029)。在索引编号不为2的情况下(S4028：否)，偏移处理部403判定偏移信息解码部402解码后的索引编号是否为3(S4030)。

在索引编号为3的情况下(S4030：是)，偏移处理部403进行边缘偏移EO(2)(S4031)。在索引编号不为3的情况下(S4030：否)，偏移处理部403进行边缘偏移EO(3)(S4032)。

如上所述，图像编码装置和图像解码装置减小带偏移与边缘偏移的偏移信息的编码所需要的比特量的差分。由此，图像编码装置和图像解码装置能够按照每个处理对象区域进行适当的偏移处理。因此，编码效率和主观画质提高。

另外，图像编码装置和图像解码装置也可以在对亮度信号进行偏移处理的情况下，对边缘偏移的索引编号分配较小的比特量。而且，图像编码装置和图像解码装置也可以在对色差信号进行偏移处理的情况下，对带偏移的索引编号分配较小的比特量。由此，容易使用适于要处理的信号的特征的像素分类方法。因此，编码效率和主观画质进一步提高。

并且，图像编码装置和图像解码装置也可以参照频率变换系数，在低频成分较小的处理对象区域中，对边缘偏移的索引编号分配较小的比特量。而且，图像编码装置和图像解码装置也可以在低频成分较大的处理对象区域中，对带偏移的索引编号分配较小的比特量。由此，容易使用适于要处理的信号的特征的像素分类方法。因此，编码效率和主观画质进一步提高。

并且，在上述低频成分的多寡的判定中，可以使用阈值，也可以对该阈值进行编码。

这里，作为在偏移信息编码部305和偏移信息解码部402中进行偏移信息的编码和解码的方法，对算术编码进行说明。在算术编码中，首先，图像编码装置将编码对象信号从多值信号变换为2值信号(bin、0或1的信号)(2值化)，对2值信号进行算术编码而生成码列。在算术编码中，存在使用自适应的码元发生概率进行算术编码的上下文算术编码(上下文自适应算术编码)。

在上下文算术编码中，图像编码装置按照编码对象的每个信号选择上下文，与上下文对应地确定码元发生概率。更具体而言，在上下文算术编码中，图像编码装置最初加载上下文，根据针对该上下文的码元(symbol) 产生概率进行对象信号的算术编码。然后，图像编码装置根据编码后的对象信号的值来更新与上下文对应的码元发生概率。

在亮度信号、色差信号Cb和色差信号Cr中，在偏移处理ON/OFF标志sao_on_flag的编码中，可以使用共同的上下文，也可以如图27C或图28C 那样在各个信号中切换上下文。

图28D是示出偏移信息编码部305在对偏移处理ON/OFF标志 sao_on_flag进行编码并将其插入切片数据中的情况下使用3个上下文的例子的流程图。

首先，偏移信息编码部305判定处理对象信号是否是亮度信号(S3041)。在亮度信号的判定中，偏移信息编码部305使用图28A所示的cIdx。这里，在cIdx＝0的情况下，处理对象信号是亮度信号。

在处理对象信号是亮度信号的情况下(S3041：是)，偏移信息编码部 305选择上下文1并进行加载(S3042)。在处理对象信号不是亮度信号的情况下(S3041：否)，偏移信息编码部305判定处理对象信号是否是色差信号Cb(S3043)。在色差信号Cb的判定中，与亮度信号的判定(S3041)同样，偏移信息编码部305使用cIdx。这里，在cIdx＝1的情况下，处理对象信号是色差信号Cb。

在处理对象信号是色差信号Cb的情况下(S3043：是)，偏移信息编码部305选择上下文2并进行加载(S3044)。在处理对象信号不是色差信号 Cb的情况下(S3043：否)，偏移信息编码部305选择上下文3并进行加载 (S3045)。

然后，偏移信息编码部305使用选择并加载的上下文对偏移处理 ON/OFF标志sao_on_flag进行编码(S3046)。

另外，图27D的流程图示出对偏移处理ON/OFF标志sao_on_flag进行编码并将其插入APS中的情况的例子，但是，由于与上述图28D相同，所以省略说明。

图28E是示出偏移信息解码部402在对插入切片数据中的偏移处理 ON/OFF标志sao_on_flag进行解码的情况下使用3个上下文的例子的流程图。

首先，偏移信息解码部402判定处理对象信号是否是亮度信号(S4021)。在亮度信号的判定中，偏移信息解码部402使用图28A所示的cIdx。这里，在cIdx＝0的情况下，处理对象信号是亮度信号。

在处理对象信号是亮度信号的情况下(S4021：是)，偏移信息解码部 402选择上下文1并进行加载(S4022)。在处理对象信号不是亮度信号的情况下(S4021：否)，偏移信息解码部402判定处理对象信号是否是色差信号Cb(S4023)。在色差信号Cb的判定中，与亮度信号的判定(S4021)同样，偏移信息解码部402使用cIdx。这里，在cIdx＝1的情况下，处理对象信号是色差信号Cb。

在处理对象信号是色差信号Cb的情况下(S4023：是)，偏移信息解码部402选择上下文2并进行加载(S4024)。在处理对象信号不是色差信号 Cb的情况下(S4023：否)，偏移信息解码部402选择上下文3并进行加载 S4025)。

然后，偏移信息解码部402使用选择并加载的上下文对偏移处理 ON/OFF标志sao_on_flag进行解码(S4026)。

另外，图27E的流程图示出对插入APS中的偏移处理ON/OFF标志 sao_on_flag进行解码的情况的例子，但是，由于与上述图28E相同，所以省略说明。

如上所述，图像编码装置和图像解码装置通过在亮度信号、色差信号 Cb和色差信号Cr中使用分别不同的上下文，能够根据各信号的特征来分配码元发生概率。因此，图像编码装置和图像解码装置能够抑制偏移处理 ON/OFF标志sao_on_flag的码量。

另外，图像编码装置和图像解码装置通过仅在色差信号Cb和Cr中共用上下文，也可以使编码和解码中使用的上下文的数量为2个(亮度信号和色差信号)。

(实施方式3)

在实施方式2中，图像编码装置将表示是否按照每个处理对象区域进行偏移处理的信息作为偏移处理ON/OFF标志sao_on_flag，独立于像素分类方法sao_type_idx而在偏移信息的开头进行编码。然后，图像编码装置在不进行偏移处理的情况下，不进行表示是否从左侧或上侧的区域复制偏移信息的sao_merge_left_flag或sao_merge_up_flag的编码。

由此，能够抑制比特量。本实施方式的图像编码装置进一步通过进行针对各偏移信息的算术编码的统一化或简略化，能够改善吞吐量。

在算术编码中，除了实施方式2中说明的上下文算术编码以外，还存在旁路(bypass)算术编码。上下文算术编码使用自适应的码元发生概率。另一方面，旁路算术编码设码元发生概率为50％进行算术编码。由此，在旁路算术编码中，图像编码装置可以不进行上下文的加载和更新，所以，能够实现处理的高速化。

图31A示出偏移信息的各语法要素中使用的算术编码的种类的组合的一例。

在此，与偏移信息的编码和解码有关的语法与图28A和图28B所示的实施方式2的语法相同。另外，针对偏移处理ON/OFF标志sao_on_flag和像素分类方法sao_type_idx的比特的分配，与图26所示的实施方式2中的分配相同。但是，语法以及比特的分配不限于此。

例如，在图28B中，为了抑制由于if语句而导致的条件分支数，连续对偏移值±符号sao_offset_sign和带偏移编码开始范畴sao_band_position进行编码(解码)。但是，编码(解码)的顺序不限于此。另外，关于图26 所示的向像素分类方法sao_type_idx的比特的分配，也可以对带偏移分配最大的比特量。

偏移处理ON/OFF标志sao_on_flag、左侧偏移信息复制标志 sao_merge_left_flag和上侧偏移信息复制标志sao_merge_up_flag的码元发生概率的偏倚较大。因此，使用上下文算术编码。

另一方面，像素分类方法sao_type_idx、偏移绝对值sao_offset、偏移值±符号sao_offset_sign以及带偏移编码开始范畴sao_band_position的码元发生概率的偏倚较小。因此，使用旁路算术编码。

另外，实施方式2的图像编码装置针对偏移处理ON/OFF标志 sao_on_flag以及左侧偏移信息复制标志sao_merge_left_flag，在亮度信号、色差信号Cb和色差信号Cr各自中使用不同的上下文。由此，图像编码装置能够提高编码效率。

另一方面，关于上述偏移信息，本实施方式的图像编码装置也可以与上侧偏移信息复制标志sao_merge_up_flag同样，在亮度信号、色差信号Cb 和色差信号Cr各自中共用上下文。由此，能够削减上下文的数量，并且削减存储器尺寸。

图31B是示出本实施方式的图像编码装置和图像解码装置的客观性能的表。图31B示出根据非专利文献2的指标、客观性能的劣化较少的情况。关于客观性能在后面叙述。

在本实施方式中，与实施方法2中说明的图像编码装置及图像解码装置相比，偏移信息编码部305及偏移信息解码部402的动作不同。其他与实施方式2相同。以下，针对差异进行说明。

图32示出在本实施方式的图像编码装置中进行偏移信息的编码的偏移信息编码部307的结构。偏移信息编码部307包括算术编码控制部3071、上下文算术编码部3072及旁路算术编码部3073。

算术编码控制部3071根据偏移信息切换使用上下文算术编码和旁路算术编码中的哪个。另外，算术编码控制部3071也可以包含在图1所示的图像编码装置100的控制部110中。上下文算术编码部3072根据偏移信息加载上下文并进行编码。旁路算术编码部3073在码元发生概率中使用50％进行编码。

图33示出在本实施方式的图像解码装置中进行偏移信息的解码的偏移信息解码部406的结构。偏移信息解码部406包括算术解码控制部4061、上下文算术解码部4062和旁路算术解码部4063。

算术解码控制部4061根据偏移信息切换使用上下文算术解码(上下文自适应算术解码)和旁路算术解码中的哪个。另外，算术解码控制部4061 也可以包含在图2所示的图像解码装置200的控制部210中。上下文算术解码部4062根据偏移信息加载上下文并进行解码。旁路算术解码部4063 在码元发生概率中使用50％进行解码。

图34是示出偏移信息编码部307根据算术编码对偏移信息进行编码的例子的流程图。

首先，在偏移信息编码部307开始进行处理的时点，算术编码控制部 3071设定上下文算术编码作为编码方法(S3070)。

接着，上下文算术编码部3072加载偏移处理ON/OFF标志sao_on_flag 用的上下文，使用该上下文对偏移处理ON/OFF标志sao_on_flag进行编码 (S3071)。

接着，算术编码控制部3071判定偏移处理ON/OFF标志sao_on_flag 是否为1(S3072)。这里，sao_on_flag为0表示不进行处理对象区域的偏移处理，sao_on_flag为1表示进行处理对象区域的偏移处理。

在偏移处理ON/OFF标志sao_on_flag为1的情况下(S3072：是)，算术编码控制部3071判定处理对象区域是否是切片或瓦片(tile)的左端 (S3073)。偏移信息的复制仅从相同切片且相同瓦片的区域进行。因此，在左侧偏移信息复制标志sao_merge_left_flag的编码前，进行上述判定。

在处理对象区域不是左端的情况下(S3073：否)，上下文算术编码部3072加载左侧偏移信息复制标志sao_merge_left_flag用的上下文。然后，上下文算术编码部3072对左侧偏移信息复制标志sao_merge_left_flag进行编码(S3074)。

在左端的情况下(S3073：是)或者sao_merge_left_flag的编码(S3074) 后，算术编码控制部3071判定sao_merge_left_flag是否为0(S3075)。这里，sao_merge_left_flag为0表示不从左侧的区域复制偏移信息， sao_merge_left_flag为1表示从左侧的区域复制偏移信息。

另外，在不进行sao_merge_left_flag的编码(S3074)的情况下，不存在sao_merge_left_flag的值。该情况下，sao_merge_left_flag的值作为0进行处理。并且，偏移信息编码部307也可以在开始进行处理的时点确保 sao_merge_left_flag用的存储器，设定初始值0。

接着，在sao_merge_left_flag为0的情况下(S3075：是)，算术编码控制部3071判定处理对象区域是否是切片或瓦片的上端(S3076)。与左端的判定(S3073)同样，由于偏移信息的复制仅从相同切片且相同瓦片的区域进行，所以，在上侧偏移信息复制标志sao_merge_up_flag的编码前，进行上述判定。

在处理对象区域不是上端的情况下(S3076：否)，上下文算术编码部 3072加载上侧偏移信息复制标志sao_merge_up_flag用的上下文。然后，上下文算术编码部3072对上侧偏移信息复制标志sao_merge_up_flag进行编码(S3077)。

在上端的情况下(S3076：是)或者sao_merge_up_flag的编码(S3077) 后，算术编码控制部3071判定sao_merge_up_flag是否为0(S3078)。这里， sao_merge_up_flag为0表示不从上侧的区域复制偏移信息， sao_merge_up_flag为1表示从上侧的区域复制偏移信息。

另外，在不进行sao_merge_up_flag的编码(S3077)的情况下，不存在 sao_merge_up_flag的值。该情况下，sao_merge_up_flag的值作为0进行处理。并且，偏移信息编码部307也可以在开始进行处理的时点确保 sao_merge_up_flag用的存储器，设定初始值0。

接着，在sao_merge_up_flag为0的情况下(S3078：是)，算术编码控制部3071将编码方法切换为旁路算术编码(S3079)。由此，以后的编码步骤全部使用旁路算术编码进行。

接着，旁路算术编码部3073对像素分类方法sao_type_idx和偏移绝对值sao_offset进行编码(S3080)。这里，在本实施方式中，多个偏移绝对值 sao_offset的个数在任意的像素分类方法中均相同，为4个。但是，旁路算术编码部3073也可以按照每个像素分类方法对不同个数的偏移绝对值进行编码。

接着，算术编码控制部3071判定像素分类方法是否是带偏移(S3081)。这里，算术编码控制部3071在判定中使用像素分类方法sao_type_idx。

在本实施方式中，作为sao_type_idx的值，对带偏移分配0。因此，算术编码控制部3071在sao_type_idx为0的情况下，判定为像素分类方法是带偏移，在sao_type_idx不为0的情况下，判定为像素分类方法不是带偏移。

在像素分类方法是带偏移的情况下(S3081：是)，旁路算术编码部3073 对偏移值±符号sao_offset_sign和带偏移编码开始范畴sao_band_position进行编码(S3082)。

另外，在本实施方式中，仅在带偏移的情况下，旁路算术编码部3073 对偏移值±符号sao_offset_sign进行编码。但是，在边缘偏移的情况下，旁路算术编码部3073也可以对偏移值±符号sao_offset_sign进行编码。该情况下，在步骤S3080中对偏移值±符号sao_offset_sign进行编码。

并且，该情况下，在步骤S3080中，也可以对偏移绝对值sao_offset和偏移值±符号sao_offset_sign进行统合，作为偏移值进行编码。

图35是示出偏移信息解码部406通过算术解码对偏移信息进行解码的例子的流程图。

首先，在偏移信息解码部406开始进行处理的时点，算术解码控制部 4061设定上下文算术解码作为解码方法(S4060)。

接着，上下文算术解码部4062加载偏移处理ON/OFF标志sao_on_flag 用的上下文，使用该上下文对偏移处理ON/OFF标志sao_on_flag进行解码 (S4061)。

接着，算术解码控制部4061判定偏移处理ON/OFF标志sao_on_flag 是否为1(S4062)。这里，sao_on_flag为0表示不进行处理对象区域的偏移处理，sao_on_flag为1表示进行处理对象区域的偏移处理。

接着，在sao_on_flag为1的情况下(S4062：是)，算术解码控制部4061 判定处理对象区域是否是切片或瓦片的左端(S4063)。偏移信息的复制仅从相同切片且相同瓦片的区域进行。因此，在左侧偏移信息复制标志 sao_merge_left_flag的解码前，进行上述判定。

在处理对象区域不是左端的情况下(S4063：否)，上下文算术解码部 4062加载左侧偏移信息复制标志sao_merge_left_flag用的上下文。然后，上下文算术解码部4062对左侧偏移信息复制标志sao_merge_left_flag进行解码(S4064)。

在左端的情况下(S4063：是)或者sao_merge_left_flag的解码(S4064) 后，算术解码控制部4061判定sao_merge_left_flag是否为0(S4065)。这里，sao_merge_left_flag为0表示不从左侧的区域复制偏移信息， sao_merge_left_flag为1表示从左侧的区域复制偏移信息。

另外，在不进行sao_merge_left_flag的解码(S4064)的情况下，不存在sao_merge_left_flag的值。该情况下，sao_merge_left_flag的值作为0进行处理。并且，偏移信息解码部406也可以在开始进行处理的时点确保 sao_merge_left_flag用的存储器，设定初始值0。

接着，在sao_merge_left_flag为0的情况下(S4065：是)，算术解码控制部4061判定处理对象区域是否是切片或瓦片的上端(S4066)。与左端的判定(S4063)同样，由于偏移信息的复制仅从相同切片且相同瓦片的区域进行，所以，在上侧偏移信息复制标志sao_merge_up_flag的解码前，进行上述判定。

在处理对象区域不是上端的情况下(S4066：否)，上下文算术解码部 4062加载上侧偏移信息复制标志sao_merge_up_flag用的上下文。然后，上下文算术解码部4062对上侧偏移信息复制标志sao_merge_up_flag进行解码(S4067)。

在上端的情况下(S4066：是)或者sao_merge_up_flag的解码(S4067) 后，算术解码控制部4061判定sao_merge_up_flag是否为0(S4068)。这里， sao_merge_up_flag为0表示不从上侧的区域复制偏移信息， sao_merge_up_flag为1表示从上侧的区域复制偏移信息。

另外，在不进行sao_merge_up_flag的解码(S4067)的情况下，不存在 sao_merge_up_flag的值。该情况下，sao_merge_up_flag的值作为0进行处理。并且，偏移信息解码部406也可以在开始进行处理的时点确保 sao_merge_up_flag用的存储器，设定初始值0。

接着，在sao_merge_up_flag为0的情况下(S4068：是)，算术解码控制部4061将解码方法切换为旁路算术解码(S4069)。由此，此后的解码步骤全部使用旁路算术解码进行。

接着，旁路算术解码部4063对像素分类方法sao_type_idx和偏移绝对值sao_offset进行解码(S4070)。这里，在本实施方式中，多个偏移绝对值 sao_offset的个数在任意的像素分类方法中均相同，为4个。但是，旁路算术解码部4063也可以按照每个像素分类方法对不同个数的偏移绝对值进行解码。

接着，算术解码控制部4061判定像素分类方法是否是带偏移(S4071)。这里，算术解码控制部4061在判定中使用像素分类方法sao_type_idx。

在本实施方式中，作为sao_type_idx的值，对带偏移分配0。因此，算术解码控制部4061在sao_type_idx为0的情况下，判定为像素分类方法是带偏移，在sao_type_idx不为0的情况下，判定为像素分类方法不是带偏移。

在像素分类方法是带偏移的情况下(S4071：是)，旁路算术解码部4063 对偏移值±符号sao_offset_sign和带偏移解码开始范畴sao_band_position进行解码(S4072)。

另外，在本实施方式中，仅在带偏移的情况下，旁路算术解码部4063 对偏移值±符号sao_offset_sign进行解码。但是，在边缘偏移的情况下，旁路算术解码部4063也可以对偏移值±符号sao_offset_sign进行解码。该情况下，在步骤S4070中对偏移值±符号sao_offset_sign进行解码。

并且，该情况下，在步骤S4070中，也可以对偏移绝对值sao_offset和偏移值±符号sao_offset_sign进行统合，作为偏移值进行解码。

如上所述，在偏移处理ON/OFF标志sao_on_flag、左侧偏移信息复制标志sao_merge_left_flag和上侧偏移信息复制标志sao_merge_up_flag的开头的3个参数之后的全部参数的编码及解码中使用旁路算术编码及旁路算术解码。由此，图像编码装置和图像解码装置可以不随处进行上下文的加载和更新。因此，改善了吞吐量。

图36是示出上述编码的特征的一例的流程图。首先，上下文算术编码部3072通过上下文算术编码对第1信息和第2信息进行连续编码(S511)。上下文算术编码是使用可变概率的算术编码。第1信息表示是否对图像的第1区域进行作为像素值的偏移处理的SAO(样本自适应偏移)处理。第 2信息表示是否在针对第1区域的SAO处理中使用针对与第1区域不同的区域的SAO处理的信息。

接着，旁路算术编码部3073在第1信息和第2信息被编码后，通过旁路算术编码对其他信息进行编码(S512)。旁路算术编码是使用固定概率的算术编码。其他信息是针对第1区域的SAO处理的信息，而且是与第1信息和第2信息不同的信息。

图37是示出上述解码的特征的一例的流程图。首先，上下文算术解码部4062通过上下文算术解码对第1信息和第2信息进行连续解码(S521)。上下文算术解码是使用可变概率的算术解码。第1信息表示是否对图像的第1区域进行作为像素值的偏移处理的SAO(样本自适应偏移)处理。第 2信息表示是否在针对第1区域的SAO处理中使用针对与第1区域不同的区域的SAO处理的信息。

接着，旁路算术解码部4063在第1信息和第2信息被解码后，通过旁路算术解码对其他信息进行解码(S522)。旁路算术解码是使用固定概率的算术解码。其他信息是针对第1区域的SAO处理的信息，而且是与第1信息和第2信息不同的信息。

另外，可以对第1信息和第2信息中的任意一方先进行编码。同样，可以对第1信息和第2信息中的任意一方先进行解码。

并且，编码的顺序是将信息作为码(代码)写入编码流的顺序，解码的顺序是从编码流中读入码(代码)作为信息的顺序。即，使用多个附图如上所述例示的编码和解码的顺序与编码流内的信息的顺序对应。并且，使用多个附图如上所述例示的语法要素的顺序与编码流内的信息的顺序对应，与编码和解码的顺序对应。

并且，图像编码装置可以是仅进行图36所示的处理的装置。同样，图像解码装置可以是仅进行图37所示的处理的装置。其他装置可以进行其他处理。

图31B示出基于HEVC标准中策定的测试条件(参照非专利文献2) 的结果作为本实施方式的客观性能。

图31B的Configuration(配置)是编码的参数设定条件。BD-rate是根据重构图像的PSNR(Peak Signal-to-Noise Ratio：峰值信噪比)和编码流的码量而计算出的客观指标。负的BD-rate表示客观性能的改善，正的BD-rate 表示客观性能的劣化。另外，图31B的BD-rate根据与实施方式1的比较而示出本实施方式的客观性能的改善或劣化。

如图31B所示，BD-rate收敛在±0.1的范围内。这表示本实施方式的客观性能与是实施方式1基本同等。即，在本实施方式中，客观性能的劣化很少，且改善了吞吐量。

如上所述，本实施方式的图像编码装置能够以较高的处理效率对图像进行编码。并且，本实施方式的图像解码装置能够以较高的处理效率对图像进行解码。

另外，在上述各实施方式中，各结构要素可以由专用的硬件构成，或者，可以通过执行适于各结构要素的软件程序来实现。通过由CPU或处理器等程序执行部读出记录在硬盘或半导体存储器等记录介质中的软件程序并执行，可以实现各结构要素。

换言之，图像编码装置和图像解码装置具有控制电路(control circuitry) 和与该控制电路电连接(能够从该控制电路进行访问)的存储装置 (storage)。控制电路包括专用的硬件和程序执行部中的至少一方。并且，在控制电路包括程序执行部的情况下，存储装置存储由该程序执行部执行的软件程序。

这里，实现上述各实施方式的图像编码装置等的软件是如下的程序。

即，该程序使计算机执行如下的图像编码方法，该图像编码方法包括以下步骤：上下文算术编码步骤，通过作为使用可变概率的算术编码的上下文算术编码，对(i)表示是否对图像的第1区域进行作为像素值的偏移处理的SAO(样本自适应偏移)处理的第1信息、和(ii)表示是否在针对所述第1区域的SAO处理中使用针对与所述第1区域不同的区域的SAO处理的信息的第2信息进行连续编码；以及旁路算术编码步骤，在所述第1 信息和所述第2信息被编码后，通过作为使用固定概率的算术编码的旁路算术编码，对下述其他信息进行编码，所述其他信息是针对所述第1区域的SAO处理的信息，而且是与所述第1信息和所述第2信息不同的信息。

并且，该程序使计算机执行如下的图像解码方法，该图像解码方法包括以下步骤：上下文算术解码步骤，通过作为使用可变概率的算术解码的上下文算术解码，对(i)表示是否对图像的第1区域进行作为像素值的偏移处理的SAO(样本自适应偏移)处理的第1信息、和(ii)表示是否在针对所述第1区域的SAO处理中使用针对与所述第1区域不同的区域的SAO 处理的信息的第2信息进行连续解码；以及旁路算术解码步骤，在所述第1 信息和所述第2信息被解码后，通过作为使用固定概率的算术解码的旁路算术解码，对下述其他信息进行解码，所述其他信息是针对所述第1区域的SAO处理的信息，而且是与所述第1信息和所述第2信息不同的信息。

并且，各结构要素可以是电路。这些电路可以作为整体构成1个电路，也可以是分别不同的电路。并且，各结构要素可以由通用的处理器实现，也可以由专用的处理器实现。

以上根据实施方式说明了一个或多个方式的图像编码装置等，但是，本发明不限于该实施方式。只要不脱离本发明的主旨，则对本实施方式施加本领域技术人员想到的各种变形而得到的方式、组合不同实施方式中的结构要素而构筑的方式也可以包含在一个或多个方式的范围内。

例如，图像编码解码装置可以具有图像编码装置和图像解码装置。并且，特定处理部执行的处理也可以由其他处理部执行。并且，可以变更执行处理的顺序，也可以并行执行多个处理。并且，可以在结构中追加用于存储各种信息的专用或共用存储部。

(实施方式4)

通过将用来实现上述各实施方式所示的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。

进而，这里说明在上述各实施方式中示出的运动图像编码方法(图像编码方法)及运动图像解码方法(图像解码方法)的应用例和使用它的系统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他结构，可以根据情况而适当变更。

图38是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。

该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102 及电话网ex104、及基站ex107～ex110连接着计算机ex111、PDA(Personal Digital Assistant)ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。

但是，内容供给系统ex100并不限定于图38那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex107～ex110 将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离无线等直接相互连接。

照相机ex113是能够进行数字摄像机等的运动图像摄影的设备，照相机 ex116是能够进行数字照相机等的静止图像摄影、运动图像摄影的设备。此外，便携电话ex114是GSM(Global System for Mobile Communications)方式、CDMA(Code Division MultipleAccess)方式、W－CDMA(Wideband －Code Division Multiple Access)方式、或LTE(LongTerm Evolution)方式、HSPA(High Speed Packet Access)的便携电话机、或PHS(PersonalHandyphone System)等，是哪种都可以。

在内容供给系统ex100中，通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上，能够进行现场转播等。在现场转播中，对用户使用照相机ex113摄影的内容(例如音乐会现场的影像等) 如在上述各实施方式中说明那样进行编码处理(即，作为本发明的一个方式的图像编码装置发挥作用)，向流媒体服务器ex103发送。另一方面，流媒体服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex111、 PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现(即，作为本发明的一个方式的图像解码装置发挥作用)。

另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器 ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可以将由照相机ex116摄影的静止图像及/或运动图像数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机 ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。

此外，这些编码解码处理一般在计算机ex111或各设备具有的LSIex500 中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将运动图像编码解码用的软件装入到能够由计算机ex111等读取的某些记录介质(CD－ROM、软盘、硬盘等)中、使用该软件进行编码解码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话ex114 具有的LSIex500编码处理的数据。

此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。

如以上这样，在内容供给系统ex100中，客户端能够接收编码的数据而再现。这样，在内容供给系统ex100中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。

另外，并不限定于内容供给系统ex100的例子，如图39所示，在数字广播用系统ex200中也能够装入上述实施方式的至少运动图像编码装置(图像编码装置)或运动图像解码装置(图像解码装置)的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的运动图像编码方法编码后的数据(即，通过本发明的一个方式的图像编码装置编码后的数据)。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机(接收机)ex300或机顶盒(STB)ex217等的装置将接收到的复用数据解码并将其再现(即，作为本发明的一个方式的图像解码装置发挥作用)。

此外，也可以是，在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215 在其他装置或系统中能够再现影像信号。此外，也可以是，在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装运动图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入运动图像解码装置。

图40是表示使用在上述各实施方式中说明的运动图像解码方法及运动图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。

此外，电视机ex300具备：具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305(即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用)的信号处理部ex306；具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300 具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216 是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。

首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305 使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以是，在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。

此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以是，不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。

此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218 的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。

作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图41中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215 中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部 ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部 ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。

以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用近场光进行高密度的记录的结构。

在图42中表示作为光盘的记录介质ex215的示意图。在记录介质ex215 的记录面上，以螺旋状形成有导引槽(沟)，在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域 ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。

以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。

此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210 从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现运动图像。另外，车载导航仪ex211的结构可以考虑例如在图40 所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114 等中也可以考虑同样的结构。

图43A是表示使用在上述实施方式中说明的运动图像解码方法和运动图像编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站 ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部 ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。

进而，使用图43B对便携电话ex114的结构例进行说明。便携电话ex114 对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部 ex355、照相机接口部ex363、LCD(LiquidCrystal Display：液晶显示器) 控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部 ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。

电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话ex114起动为能够动作的状态。

便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话ex114在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354 变换为模拟声音数据后，将其经由声音输出部ex357输出。

进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部 ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部 ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站ex110发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex350。

在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的运动图像编码方法进行压缩编码(即，作为本发明的一个方式的图像编码装置发挥作用)，将编码后的影像数据送出至复用/分离部 ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。

复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部(调制/解调电路部) ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。

在数据通信模式时接收到链接到主页等的运动图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370 将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的运动图像编码方法相对应的运动图像解码方法进行解码，由此对影像信号进行解码(即，作为本发明的一个方式的图像解码装置发挥作用)，经由LCD控制部ex359从显示部ex358显示例如链接到主页的运动图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码，从声音输出部ex357输出声音。

此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200 中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。

这样，将在上述各实施方式中表示的运动图像编码方法或运动图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。

此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。

(实施方式5)

也可以通过将在上述各实施方式中示出的运动图像编码方法或装置、与依据MPEG－2、MPEG4－AVC、VC－1等不同的标准的运动图像编码方法或装置根据需要而适当切换，来生成影像数据。

这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。

为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG－2传输流形式的数字流。

图44是表示复用数据的结构的图。如图44所示，复用数据通过将视频流、音频流、演示图形流(PG)、交互图形流中的1个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流(IG)表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI 部件而制作的对话画面。视频流通过在上述各实施方式中示出的运动图像编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的运动图像编码方法或装置编码。音频流由杜比AC－3、Dolby Digital Plus、 MLP、DTS、DTS－HD、或线性PCM等的方式编码。

包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到0x111F，对演示图形分配0x1200到0x121F，对交互图形流分配0x1400到0x141F，对在电影的副影像中使用的视频流分配0x1B00到0x1B1F，对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。

图45是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES 包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。

图46更详细地表示在PES包序列中怎样保存视频流。图46的第1段表示视频流的视频帧序列。第2段表示PES包序列。如图46的箭头yy1、 yy2、yy3、yy4所示，视频流中的多个作为Video Presentation Unit的I图片、 B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES 包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS(Presentation Time-Stamp)及作为图片的解码时刻的DTS(Decoding Time-Stamp)。

图47表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD－ROM的情况下，对于TS包赋予4字节的TP_Extra_Header，构成 192字节的源包，写入到复用数据中。在TP_Extra_Header中记载有ATS(Arrival_Time_Stamp)等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图47下段所示排列，从复用数据的开头起递增的号码被称作SPN(源包号)。

此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT(Program Association Table)、PMT(Program Map Table)、 PCR(Program ClockReference)等。PAT表示在复用数据中使用的PMT的 PID是什么，PAT自身的PID被登记为0。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC (Arrival Time Clock)与作为PTS及DTS的时间轴的STC(System Time Clock)的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。

图48是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符构成。流描述符存在复用数据中存在的流的数量。

在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。

复用数据信息文件如图49所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。

复用数据信息如图49所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。

流属性信息如图50所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。

在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的运动图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。

此外，在图51中表示本实施方式的运动图像解码方法的步骤。在步骤 exS100中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exS101中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的运动图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG －2、MPEG4－AVC、VC－1等的标准的复用数据的情况下，在步骤exS103 中，通过依据以往的标准的运动图像解码方法进行解码。

这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的运动图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的运动图像编码方法或装置、或者运动图像解码方法或装置用在上述任何设备、系统中。

(实施方式6)

在上述各实施方式中示出的运动图像编码方法及装置、运动图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图52中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、 ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。

例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501 的控制，通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。

另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成1个芯片，也可以形成多个芯片。

此外，在上述中，假设控制部ex501具有CPUex502、存储器控制器 ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex501的结构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的 CPUex502的结构。

另外，这里设为LSI，但根据集成度的差异，也有称作IC、系统LSI、超级(super)LSI、特级(ultra)LSI的情况。

此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。这种可编程设备典型的是，通过加载或从存储器等读入构成软件或固件的程序，能够执行上述各实施方式所示的运动图像编码方法或运动图像解码方法。

进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。

(实施方式7)

在将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG－2、MPEG4－AVC、 VC－1等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。

为了解决该问题，电视机ex300、LSIex500等的运动图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图53表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。

更具体地讲，驱动频率切换部ex803由图52的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图52的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式5中记载的识别信息。关于识别信息，并不限定于在实施方式5中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图55所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。

图54表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201 中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中， CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。

进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500 的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。

此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4－AVC 标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。

进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG－2、MPEG4－AVC、 VC－1等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG －2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况相比，将停止时间设定得短。

这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。

(实施方式8)

在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。

为了解决该问题，采用将用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部、和依据以往的MPEG－2、MPEG4－AVC、VC －1等的标准的解码处理部一部分共用的结构。图56A的ex900表示该结构例。例如，在上述各实施方式中示出的运动图像解码方法和依据MPEG4 －AVC标准的运动图像解码方法在熵编码、逆量化、解块滤波、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构：关于共通的处理内容，共用对应于MPEG4－AVC标准的解码处理部ex902，关于不对应于 MPEG4－AVC标准的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。特别是，本发明的一个方式在熵解码方面具有特征，因此可以考虑例如对于熵解码使用专用的解码处理部ex901，对于除此之外的逆量化、解块滤波、运动补偿中的某一个或者全部的处理，共用解码处理部。关于解码处理部的共用，也可以是如下结构：关于共通的处理内容，共用用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部，关于MPEG4－AVC标准所特有的处理内容，使用专用的解码处理部。

此外，用图56B的ex1000表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部 ex1001、和与其他的以往标准所特有的处理内容对应的专用的解码处理部 ex1002、和与在本发明的一个方式的运动图像解码方法和其他的以往标准的运动图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里，专用的解码处理部ex1001、ex1002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的结构。

这样，对于在本发明的一个方式的运动图像解码方法和以往的标准的运动图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI 的电路规模并且降低成本。

产业上的可利用性

本发明的图像编码方法和图像解码方法发挥能够防止画质劣化并提高处理效率的效果，例如，能够用于图像的蓄积、传送和通信等各种用途。例如，本发明的图像编码方法和图像解码方法能够用于电视机、数字录像机、车载导航仪、便携电话、数字照相机和数字摄像机等高分辨率的信息显示设备和摄像设备，利用价值高。

标号说明

100：图像编码装置；

110、210、306、405：控制部；

120：编码部；

121：减法部；

122：频率变换部；

123：量化部；

124：熵编码部；

125、225：逆量化部；

126、226：逆频率变换部；

127、227：加法部；

128、228、300、400：环路滤波部；

129、229：存储部；

130、230：帧内预测部；

131、231：运动补偿部；

132：运动检测部；

133、233：开关；

141、241：图像；

142、242：编码流；

151、251、301、401：信号取得部；

152、302：偏移信息计算部；

153、253、303、403：偏移处理部；

154、305、507：偏移信息编码部；

155、254、304、404：信号输出部；

200：图像解码装置；

220：解码部；

224：熵解码部；

252、402、606：偏移信息解码部；

3071：算术编码控制部；

3072：上下文算术编码部；

3073：旁路算术编码部；

4061：算术解码控制部；

4062：上下文算术解码部；

4063：旁路算术解码部。

Claims (5)

1.一种图像解码方法，对与SAO即样本自适应偏移处理相关的信息进行解码，该SAO处理是像素值的偏移处理，所述与SAO相关的信息包含：(i)表示是否对图像的第1区域进行SAO处理的第1信息、(ii)表示是否在针对所述第1区域的SAO处理中使用针对与所述第1区域不同的区域的SAO处理的信息的第2信息、和(iii)针对所述第1区域的多个其他SAO处理的信息，该图像解码方法包括以下步骤：

上下文算术解码步骤，通过作为使用可变概率的算术解码的上下文算术解码，对所述第1信息、和所述第2信息进行连续解码；以及

旁路算术解码步骤，在所述第1信息和所述第2信息被解码后，通过作为使用固定概率的算术解码的旁路算术解码，对所述与SAO相关的信息中包含的、全部的所述多个其他SAO处理的信息进行解码。

2.如权利要求1所述的图像解码方法，

在所述旁路算术解码步骤中，对包括第3信息和第4信息的所述多个其他SAO处理的信息进行解码，所述第3信息表示针对所述第1区域的SAO处理是按照边缘进行的边缘偏移处理还是按照像素值进行的带偏移处理，所述第4信息表示偏移值的绝对值。

3.如权利要求2所述的图像解码方法，

在所述旁路算术解码步骤中，在针对所述第1区域的SAO处理是带偏移处理的情况下，对包括表示所述偏移值的正负的第5信息和表示所述偏移值的应用范围的第6信息在内的所述多个其他SAO处理的信息进行解码。

4.如权利要求1～3中任一项所述的图像解码方法，

在所述上下文算术解码步骤中，对包括表示是否在针对所述第1区域的SAO处理中使用针对与所述第1区域的左侧邻接的左区域的SAO处理的信息的信息、以及表示是否在针对所述第1区域的SAO处理中使用针对与所述第1区域的上侧邻接的上区域的SAO处理的信息的信息中的至少一个信息在内的所述第2信息进行解码。

5.一种图像解码装置，对与SAO即样本自适应偏移处理相关的信息进行解码，该SAO处理是像素值的偏移处理，具有：

控制电路；以及

与所述控制电路电连接的存储装置，

所述与SAO相关的信息包含：(i)表示是否对图像的第1区域进行SAO处理的第1信息、(ii)表示是否在针对所述第1区域的SAO处理中使用针对与所述第1区域不同的区域的SAO处理的信息的第2信息、和(iii)针对所述第1区域的多个其他SAO处理的信息，

所述控制电路执行以下步骤：

上下文算术解码步骤，通过作为使用可变概率的算术解码的上下文算术解码，对所述第1信息、和所述第2信息进行连续解码；以及

旁路算术解码步骤，在所述第1信息和所述第2信息被解码后，通过作为使用固定概率的算术解码的旁路算术解码，对所述与SAO相关的信息中包含的、全部的所述多个其他SAO处理的信息进行解码。