CN104272734A - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置，包括配置为在利用第一编码方案解码的基础层中设置宏块的第一设置部分，以及配置为根据由第一设置部分设置的块尺寸、在利用第二编码方案解码的增强层中设置编码单位的第二设置部分，其中第一编码方案基于具有固定尺寸的宏块，第二编码方案是基于接受递归分块的编码单位。

Description

图像处理装置和图像处理方法

技术领域

本公开涉及图像处理装置和图像处理方法。

背景技术

为了提高编码效率超过H.264/AVC，由JCTVC(联合协作团队-视频编码)对称为HEVC(高效视频编码)的图像编码方案的标准化目前正在进行当中，其中JCTVC是ITU-T和ISO/IEC的联合标准化组织。对于HEVC标准，作为第一草案规范的委员会草案在2012年2月发行(见例如以下的非专利文献1)。

为了使编码流能够利用另一种图像编码方案解码，已经建议利用相关领域的图像编码方案编码可缩放视频编码中的基础层并且根据HEVC编码增强层(例如，见以下的非专利文献2)。

可缩放视频编码(SVC)一般而言是分级地编码发送粗糙图像信号的层和发送精细图像信号的层的技术。在可缩放视频编码中分级的典型属性主要包括以下三个：

-空间缩放性：空间分辨率或图像尺寸被分级。

-时间缩放性：帧速率被分级。

-SNR(信噪比)缩放性：SN比被分级。

另外，虽然还没有在标准中采样，但是对位深度缩放性(bitdepth scalability)和色度格式缩放性(chroma format scalability)也进行了讨论。而且，通过常规图像编码方案编码可缩放视频编码中的基础层并且通过HEVC编码增强层也被推荐(见以下的非专利文献3)。

在可缩放视频编码中，编码效率可以通过仅在一层中编码可以在各层之间共享的参数来提高。

引用列表

非专利文献

非专利文献1：Benjamin Bross,Woo-Jin Han,Jens-RainerOhm,Gary J.Sullivan,Thomas Wiegand,“High efficiency videocoding(HEVC)text specification draft 6”(JCTVC-H1003 ver20,February 17,2012)

非专利文献2：Ajay Luthra,Jens-Rainer Ohm,JoernOstermann,“Draft requirements for the scalable enhancement ofHEVC”(ISO/IEC JTC1/SC29/WG11 N12400,November,2011)

但在HEVC中，编码过程是对四叉树(Quad-Tree)结构中的每个编码单位执行的，其中四叉树结构是通过递归地对图像执行分块形成的。另一方面，在相关领域的图像编码方案中，诸如MPEG2或AVC，编码过程是对具有固定尺寸的每个宏块执行的。另外，在相关领域中基础层的图像编码方案中，还没有建议块结构如何在多编解码器的可缩放视频编码中的层之间映射的最佳解决方案，其中在多编解码器中每个增强层是根据HEVC编码的。

例如，当基础层中的宏块结构完全被忽视并且四叉树结构从头开始在增强层中形成时，层之间的块映射会丢失。这种情况下，难以在层之间重用为每个块设置的各种参数，可缩放视频编码的优点丢失了，并且因此编码效率恶化。

因此，在多编解码器的可缩放视频编码中，期望提供一种改进结构，其被配置为在增强层中设置块。

发明内容

根据本公开内容，提供一种图像处理装置，包括配置为在利用第一编码方案解码的基础层中设置宏块的第一设置部分，以及配置为根据由第一设置部分设置的块尺寸、在利用第二编码方案解码的增强层中设置编码单位的第二设置部分，其中第一编码方案基于具有固定尺寸的宏块，而第二编码方案基于接受递归分块的编码单位。

上述图像处理装置通常可以实现为解码图像的图像解码设备。

另外，根据本公开内容，提供了一种图像处理方法，包括在利用第一编码方案解码的基础层中设置宏块，以及根据在基础层中设置的块尺寸、在利用第二编码方案解码的增强层中设置编码单位，其中第一编码方案基于具有固定尺寸的宏块，而第二编码方案基于接受递归分块的编码单位。

另外，根据本公开内容，提供了一种图像处理装置，包括配置为在利用第一编码方案编码的基础层中设置宏块的第一设置部分，以及配置为根据由第一设置部分设置的块尺寸、在利用第二编码方案编码的增强层中设置编码单位的第二设置部分，其中第一编码方案基于具有固定尺寸的宏块，而第二编码方案基于接受递归分块的编码单位。

上述图像处理装置通常可以实现为编码图像的图像编码设备。

另外，根据本公开内容，提供了一种图像处理方法，包括在利用第一编码方案编码的基础层中设置宏块，以及根据在基础层中设置的块尺寸、在利用第二编码方案编码的增强层中设置编码单位，其中第一编码方案基于具有固定尺寸的宏块，而第二编码方案基于接受递归分块的编码单位。

根据本公开内容的技术，根据配置为在多个编解码器的可缩放视频编码的增强层中设置块的改进结构，编码效率可以提高。

附图说明

图1是说明可缩放视频编码的解释性图。

图2是说明HEVC中编码单位的四叉树结构的解释性图。

图3A是说明设置HEVC的LCU尺寸的第一种方法的解释性图。

图3B是说明设置HEVC的LCU尺寸的第二种方法的解释性图。

图4A是说明设置HEVC的SCU尺寸的第一种方法的解释性图。

图4B是说明设置HEVC的SCU尺寸的第二种方法的解释性图。

图5A是说明设置HEVC的TU尺寸的第一种方法的解释性图。

图5B是说明设置HEVC的TU尺寸的第二种方法的解释性图。

图6A是说明设置HEVC的PU尺寸的第一种方法的解释性图。

图6B是说明设置HEVC的PU尺寸的第二种方法的解释性图。

图7A是说明在AVC的帧间预测中可用的预测块尺寸候选的解释性图。

图7B是说明设置HEVC的帧间预测的PU尺寸的第三种方法的解释性图。

图8是示出根据实施例的图像编码设备的示意性配置的框图。

图9是示出根据实施例的图像解码设备的示意性配置的框图。

图10是示出图8中所示第一编码部分和第二编码部分的配置例子的框图。

图11是示出图10中所示块设置部分的详细配置例子的框图。

图12是示出图10中所示正交变换部分的详细配置例子的框图。

图13是示出图10中所示帧内预测部分的详细配置例子的框图。

图14是示出图10中所示帧间预测部分的详细配置例子的框图。

图15A是示出在编码时增强层中块设置过程流的第一个例子的流程图。

图15B是示出在编码时增强层中块设置过程流的第二个例子的流程图。

图16A是示出在编码时增强层中正交变换过程流的第一个例子的流程图。

图16B是示出在编码时增强层中正交变换过程流的第二个例子的流程图。

图17A是示出在编码时增强层中帧内预测过程流的第一个例子的流程图。

图17B是示出在编码时增强层中帧内预测过程流的第二个例子的流程图。

图18A是示出在编码时增强层中帧间预测过程流的第一个例子的流程图。

图18B是示出在编码时增强层中帧间预测过程流的第二个例子的流程图。

图19是示出图9中所示第一解码部分和第二解码部分的配置例子的框图。

图20是示出图19中所示块设置部分的详细配置例子的框图。

图21是示出图19中所示逆正交变换部分的详细配置例子的框图。

图22是示出图19中所示帧内预测部分的详细配置例子的框图。

图23是示出图19中所示帧间预测部分的详细配置例子的框图。

图24A是示出在解码时增强层中块设置过程流的第一个例子的流程图。

图24B是示出在解码时增强层中块设置过程流的第二个例子的流程图。

图25A是示出在解码时增强层中逆正交变换过程流的第一个例子的流程图。

图25B是示出在解码时增强层中逆正交变换过程流的第二个例子的流程图。

图26A是示出在解码时增强层中帧内预测过程流的第一个例子的流程图。

图26B是示出在解码时增强层中帧内预测过程流的第二个例子的流程图。

图27A是示出在解码时增强层中帧间预测过程流的第一个例子的流程图。

图27B是示出在解码时增强层中帧间预测过程流的第二个例子的流程图。

图28是示出电视机的示意性配置例子的框图。

图29是示出移动电话的示意性配置例子的框图。

图30是示出记录/再现设备的示意性配置例子的框图。

图31是示出图像捕捉设备的示意性配置例子的框图。

图32是说明可缩放视频编码用途的第一个例子的解释性图。

图33是说明可缩放视频编码用途的第二个例子的解释性图。

图34是说明可缩放视频编码用途的第三个例子的解释性图。

图35是说明多视点编解码器的解释性图。

图36是示出用于多视点编解码器的图像编码设备的示意性配置的框图。

图37是示出用于多视点编解码器的图像解码设备的示意性配置的框图。

具体实施方式

下文中，将参考附图详细地描述本公开内容的优选实施例。应当指出，本说明书和附图中，具有基本上相同功能和结构的元件用相同的标号指示，并且略去重复的解释。

本描述将按以下次序进行。

1.概述

1-1.问题的描述

1-2.编码单位中的映射

1-3.变换单元中的映射

1-4.预测单元中的映射

1-5.编码器的基本配置例子

1-6.解码器的基本配置例子

2.根据实施例的编码部分的配置例子

2-1.整体配置

2-2.块设置部分的详细配置

2-3.正交变换部分的详细配置

2-4.帧内预测部分的详细配置

2-5.帧间预测部分的详细配置

3.根据实施例在编码时的过程流

3-1.块设置过程

3-2.正交变换过程

3-3.帧内预测过程

3-4.帧间预测过程

4.根据实施例的解码部分的配置例子

4-1.整体配置

4-2.块设置部分的详细配置

4-3.逆正交变换部分的详细配置

4-4.帧内预测部分的详细配置

4-5.帧间预测部分的详细配置

5.根据实施例在解码时的过程流

5-1.块设置过程

5-2.逆正交变换过程

5-3.帧内预测过程

5-4.帧间预测过程

6.示例应用

6-1.对各种产品的应用

6-2.可缩放视频编码的各种用途

6-3.其它

7.结论

<1.概述>

[1-1.问题的描述]

可缩放视频编码中，多个层被编码，其中每个层包括一系列图像。基础层(base layer)是首先被编码为代表最粗糙图像的层。无需解码其它层的编码流，基础层的编码流可以独立地被解码。除基础层之外的层是被称为增强层(enhancement layers)的层，代表更精细的层。增强层的编码流是使用被包含在基础层的编码流中的信息来编码的。因此，为了再现增强层的图像，基础层和增强层的编码流都要被解码。在可缩放视频编码中被处理的层数可以是等于2或更大的任何数量。当三层或更多层被编码时，最下面的层是基础层，而剩余的层是增强层。对于更高增强层的编码流，包含在更低增强层和基础层的编码流中的信息可以用于编码和解码。本说明书中，对于具有依赖性的至少两层，被依赖一侧的层被称为下层，而在依赖一侧的层被称为上层。

图1示出了接受可缩放视频编码的三层L1、L2、L3。层L1是基础层，层L2、L3是增强层。这里，在各种类型的缩放性当中，以空间缩放性作为例子。层L2与层L1的空间分辨率之比是2:1(即，缩放比SR＝2.0)。层L3与层L1的空间分辨率之比是4:1。但是，缩放比不限于这种例子。例如，像SR＝1.5的非整数缩放比也可以采用。

这里，假设基础层了L1利用用于宏块基础(macroblock base)的图像编码方案编码，诸如MPEG2或AVC。基础层L1的块B1是一个宏块。宏块的尺寸定义为固定尺寸，因此宏块B1具有16×16像素的尺寸。当假设增强层L2利用用于宏块基础的图像编码方案编码时，层L2与层L1的缩放比是2.0，因此增强层L2中对应于块B1的图像区域可以被分成四个宏块B21、B22、B23、B24。

但是，当增强层L2根据HEVC编码时，情况就不同了。在HEVC中，编码过程是在通过对图像执行递归分块形成的四叉树结构中的每个编码单位中执行的。图2是说明HEVC中编码单位的四叉树结构的解释性图。图2左侧示出其中一个人的脸部被拍摄的图像IM01。图像IM01首先被分成多个最大编码单位(LCU)，其中LCU具有在序列参数集(SPS)中指定的尺寸。最大可用的LCU尺寸是64×64像素。在不低于以相同方式在SPS中指定的最小编码单位(SCU)的范围内，每个LCU被递归地分成至少一个编码单位(CU)。在图2右侧，以扩大方式示出了其中LCU0被递归地分成多个CU的情况，其中纹理边界跨过该LCU0。该纹理边界附近的区域中，更小的CU通过重复划分来设置。其它区域中，更大的CU通过减少划分次数来设置。例如，当假设LCU0的尺寸是64×64像素时，CU01的尺寸是32×32像素，CU02的尺寸是16×16像素，并且CU03的尺寸是8×8像素。虽然没有示出，但是每个CU被划分成多个变换单元(TU)，每个变换单元是正交变换的处理单元。每个CU被划分成多个预测单元(PU)，每个预测单元是帧内预测或帧间预测的处理单元。根据递归分块，高清晰度图像的编码效率可以通过根据图像的内容灵活地改变编码过程的处理单元的尺寸来提高。

回来参考图1，当基础层L1根据AVC编码而增强层L2根据HEVC编码时，对应于块B1并且包括块B21、B22、B23和B24的32×32像素的一个CU可以根据最简单的方法在增强层L2中设置。但是，当某个纹理只在块B21、B22、B23和B24中的块B21中存在时，就编码效率而言，存在设置更小CU的优选概率，而不是包括这四个块的一个CU。相反，当纹理普遍存在于相邻的外围区域之间时，也有设置更大CU的优选概率，而不是包括这四个块的一个CU。因此，在增强层L2中简单地重新使用基础层L1的晶格(lattice)形式的宏块结构的方法中，HEVC的独特的四叉树结构的优点不能被采用并且编码效率不能优化。

当基础层L1中的宏块结构完全被忽视并且增强层L2中的四叉树结构从头开始形成时，层之间块的映射会丢失。这种情况下，难以在各层之间重新使用为每个块设置的各种参数，并且因此编码效率也不能优化。

因此，本说明书中，多编解码器的可缩放视频编码中各层之间各块的映射定义为解决或者至少部分地校正这些问题。于是，将描述根据映射编码和解码图像的设备的配置例子。

以下描述中，例如，假设基础层是根据高级视频编码(AVC)编码的，并且假设增强层是根据高效视频编码(HEVC)编码的。但是，本公开内容中的技术不限于这个例子，并且还适用于其它图像编码方案的组合(例如，基础层根据MPEG2编码，而增强层根据HEVC编码)。本公开内容中的技术不仅适用于图1示例的空间缩放性，而且适用于SNR缩放性、位深度缩放性以及色度格式缩放性。

[1-2.编码单位中的映射]

在本公开内容的技术中，CU中映射的基本构思是，根据在基础层中设置的宏块的块尺寸，在根据HEVC编码的增强层中设置CU。即，在增强层中，四叉树结构不是从头开始形成的，而是四叉树结构利用基础层中的宏块尺寸形成。

更具体而言，增强层中的LCU尺寸设置成等于或大于基础层中宏块尺寸与缩放比之积的值。实际设置的LCU尺寸可以确定性地被确定为：可用尺寸中最接近该乘积的尺寸或者可以从利用这个乘积作为参考来缩小的多个尺寸中选择。以这种方式设置的每个LCU可以灵活地被分成更小的CU，而不管基础层中的宏块尺寸是多少。

图3A是说明设置HEVC的LCU尺寸的第一种方法的解释性图。第一种方法中，LCU尺寸是确定性地确定的。在图3A的左侧，示出了AVC中具有16×16像素的块尺寸的宏块。在图3A的右侧，示出具有在HEVC中可用的四种块尺寸(64×64像素、32×32像素、16×16像素和8×8像素)的4个LCU。例如，在缩放比“SR＝2.0”的情况下，宏块尺寸与缩放比之积是“16×2.0＝32”。这种情况下，32×32像素可以确定性地设置为增强层中的LCU尺寸。同样，在“3.0≤SR”的情况下，64×64像素可以确定性地设置为LCU尺寸。在“1.5≤SR<3.0”的情况下，32×32像素可以确定性地设置为LCU尺寸。在“1.0≤SR<1.5”的情况下，16×16像素可以确定性地设置为LCU尺寸。根据第一种方法，LCU尺寸可以在增强层中确定，而无需另外编码指示LCU尺寸的参数。

图3B是说明设置HEVC的LCU尺寸的第二种方法的解释性图。第二种方法中，LCU尺寸是从利用宏块尺寸与缩放比之积作为参考来缩小的尺寸的至少一个候选中选择的。例如，在缩放比“SR＝2.0”的情况下，宏块尺寸与缩放比之积是“16×2.0＝32”。因而，增强层中的LCU尺寸从等于或大于这个乘积的2种尺寸(即，64×64像素和32×32像素)之中选择。例如，当优选地设置比对应于基础层中的宏块的区域更宽的CU时，可以选择64×64像素的LCU尺寸。否则，可以选择32×32像素的LCU尺寸。第二种方法中，指示LCU尺寸的参数(LCU尺寸信息)是另外生成的并且所生成的参数在增强层中编码。但是，由于选定的LCU尺寸的候选被缩小，因此另外编码的参数的位数比所有类型LCU尺寸都可以选择的时候少。在图3B的例子中，另外编码的参数的位数是1。例如，参数值“0”可以指示64×64像素，并且参数值“1”可以指示32×32像素(或者反之亦然)。根据第二种方法，指示LCU尺寸的参数的编码量可以在增强层中减少，同时仍然维持LCU尺寸的选择灵活性。

缩小LCU尺寸候选的方法不限于图3B中示例的方法。例如，当缩放比不等于二的幂时，和宏块尺寸与缩放比之积完全相同的LCU尺寸在HEVC中不可用。这种情况下，LCU尺寸的候选可以缩小到可用LCU尺寸中大于前面乘积的最小尺寸和可用LCU尺寸小于前面乘积的最大尺寸。例如，在缩放比“SR＝1.5”的情况下，宏块尺寸和缩放比之积是“16×1.5＝24”。因此，LCU尺寸的候选可以缩小到两种尺寸，即，16×16像素和32×32像素。这种情况下，生成指示哪个LCU尺寸被选择的1-位参数，并且所生成的参数被编码。解码器解码这个参数并且参考解码后的参数来选择LCU尺寸。相同的构思还可适用于以下要描述的SCU尺寸、TU尺寸和PU尺寸的缩小。

增强层中的SCU尺寸可以设置成等于或小于LCU尺寸的值，使得期望的分块可以被执行。无需依赖基础层的块尺寸，SCU的尺寸就可以确定。作为替代，当在基础层中定义了子宏块尺寸时，SCU尺寸可以根据子宏块尺寸与缩放比之积来确定。

图4A是说明设置HEVC的SCU尺寸的第一种方法的解释性图。第一种方法中，SCU尺寸是确定性地确定的。在图4A的左侧，示出了AVC中具有8×8像素的块尺寸的子宏块。在图4A的右侧，示出了具有四种块尺寸(64×64像素、32×32像素、16×16像素和8×8像素)的4个SCU。例如，在缩放比“SR＝2.0”的情况下，子宏块与缩放比之积是“8×2.0＝16”。这种情况下，16×16像素可以确定性地设置为增强层中的SCU尺寸。同样，在“3.0≤SR”的情况下，32×32像素可以确定性地设置为SCU尺寸。在“1.5≤SR<3.0”的情况下，32×32像素可以确定性地设置为SCU尺寸。在“1.0≤SR<1.5”的情况下，16×16像素可以确定性地设置为SCU尺寸。根据这第一种方法，无需另外编码指示SCU尺寸的参数，SCU尺寸就可以在增强层中确定。

图4B是说明设置HEVC的SCU尺寸的第二种方法的解释性图。第二种方法中，SCU尺寸是从等于或小于LCU尺寸的多个尺寸中选择的。例如，在图4B中，32×32像素被设置为LCU尺寸。因此，SCU尺寸的候选可以包括32×32像素、16×16像素和8×8像素。例如，当优选地是启用更细腻的分块时，可以选择更小的SCU尺寸。第二种方法中，指示SCU尺寸的参数(SCU尺寸信息)另外地在增强层中生成，并且所生成的参数被编码。在图4B的例子中，参数值“0”可以指示32×32像素，参数值“1”可以指示16×16像素，而参数值“2”可以指示8×8像素。

这部分描述的设置LCU的方法和设置SCU的方法可以以任何方式组合。

[1-3.变换单元中的映射]

TU中映射的基本构思类似于CU中映射的基本构思。本公开内容的技术中，在增强层中设置的TU尺寸是根据在基础层中设置的变换块的尺寸(即，离散余弦变换(DCT)尺寸)确定的。

在AVC中，作为正交变换的处理单元的变换块的DCT尺寸从8×8像素和4×4像素中选择。在HEVC中，作为正交变换的处理单元的变换块的尺寸(即，TU尺寸)从32×32像素、16×16像素、8×8像素和4×4像素中选择。关于可用的尺寸，实际在增强层中设置的TU尺寸可以确定性地被确定为最接近缩放比与基础层中DCT尺寸之积的尺寸。作为替代，实际设置的TU尺寸可以从利用前面的乘积作为参考来缩小的多个尺寸中选择。

图5A是说明设置HEVC的TU尺寸的第一种方法的解释性图。第一种方法中，TU尺寸是确定性地确定的。在图5A的左侧，点线范围指示在AVC中设置了8×8像素的DCT尺寸。在图5A的右侧，示出了具有在HEVC中可用的4种块尺寸(64×64像素、32×32像素、16×16像素和8×8像素)的4个TU。例如，在缩放比“SR＝2.0”的情况下，DCT尺寸与缩放比之积是“8×2.0＝16”。这种情况下，16×16像素可以确定性地设置为增强层中的TU尺寸。同样，在“3.0≤SR”的情况下，32×32像素可以确定性地设置为TU尺寸。在“1.5≤SR<3.0”的情况下，16×16像素可以确定性地设置为TU尺寸。在“1.0≤SR<1.5”的情况下，8×8像素可以确定性地设置为TU尺寸。根据这第一种方法，无需另外编码指示TU尺寸的参数，TU尺寸就可以在增强层中确定。

图5B是说明设置HEVC的TU尺寸的第二种方法的解释性图。第二种方法中，TU尺寸是从利用DCT尺寸与缩放比之积作为参考来缩小的至少一个尺寸候选中选择的。例如，假设缩放比“SR＝2.0”并且假设在基础层中设置的DCT尺寸是8×8像素。这种情况下，DCT尺寸与缩放比之积是“8×2.0＝16”。在这里，当考虑基础层中小于8×8像素的DCT尺寸不被选择的事实时，尽管从增强层中的候选排除了小于16×16像素的DCT尺寸，但是也可以说对编码效率的不利影响没有发生。因此，这种情况下，增强层中TU尺寸的候选被缩小到2种尺寸，即，32×32像素和16×16像素。另外，指示实际设置的TU尺寸的参数(TU尺寸信息)另外地生成、并且所生成的参数在增强层中编码。同样，例如，假设缩放比“SR＝2.0”并且假设在基础层中设置的DCT尺寸是4×4像素。在这里，当考虑基础层中大于4×4像素的DCT尺寸不被选择的事实时，尽管从增强层中的候选排除了大于8×8像素的DCT尺寸，但是也可以说对编码效率的不利影响没有发生。因此，这种情况下，增强层中TU尺寸的候选被缩小到2种尺寸，即，8×8像素和4×4像素。另外，指示实际设置的TU尺寸的参数(TU尺寸信息)另外地生成、并且所生成的参数在增强层中编码。在任何情况下，由于TU尺寸的候选范围缩小，因此另外编码的参数的位数都比在所有种类TU尺寸都可以选择的时候少。根据第二种方法，指示TU尺寸的参数的编码量可以在增强层中减少，同时仍然维持TU尺寸的选择灵活性。

[1-4.预测单元中的映射]

PU中映射的基本构思类似于TU中映射的基本构思。在本公开内容的技术中，在增强层中设置的PU尺寸是根据在基础层中设置的预测块的尺寸确定的。

在AVC中，对于帧内预测，作为预测的处理单元的预测块的尺寸(即，预测块尺寸)是从16×16像素、8×8像素和4×4像素中选择的。对于帧间预测(运动补偿)，非方形的预测块尺寸，即8×16像素、16×8像素、4×8像素和8×4像素，也可用。在HEVC中，对于帧内预测，作为预测的处理单元的预测块的尺寸(即，PU尺寸)是从64×64像素、32×32像素、16×16像素、8×8像素和4×4像素中选择的。对于帧间预测(运动补偿)，非方形的预测块尺寸也可用。对于可用的尺寸，在增强层中实际设置的PU尺寸可以确定性地被确定为最接近缩放比与基础层中设置的预测块尺寸之积的尺寸。作为替代，实际设置的PU尺寸可以从利用前面的乘积作为参考来缩小的多个尺寸中选择。

图6A是说明设置HEVC的PU尺寸的第一种方法的解释性图。这里，例如，将描述帧内预测。第一种方法中，PU尺寸是确定性地确定的。在图6A的左侧，点线范围指示在AVC中设置4×4像素的预测块尺寸。在图6A的右侧，示出了具有4种PU尺寸(32×32像素、16×16像素、8×8像素和4×4像素)的4个PU。例如，在缩放比“SR＝2.0”的情况下，预测块尺寸与缩放比之积是“4×2.0＝16”。这种情况下，8×8像素可以确定性地设置为增强层中的PU尺寸。同样，在“6.0≤SR”的情况下，32×32像素可以确定性地设置为PU尺寸。在“3.0≤SR<6.0”的情况下，16×16像素可以确定性地设置为PU尺寸。在“1.5≤SR<3.0”的情况下，8×8像素可以确定性地设置为PU尺寸。在“1.0≤SR<1.5”的情况下，4×4像素可以确定性地设置为PU尺寸。根据这第一种方法，无需另外编码指示PU尺寸的参数，PU尺寸就可以在增强层中确定。

图6B是说明设置HEVC的PU尺寸的第二种方法的解释性图。这里，例如，将描述帧内预测。第二种方法中，PU尺寸从利用预测块尺寸与缩放比之积作为参考来缩小的尺寸的至少一个候选中选择。例如，假设缩放比“SR＝2.0”并且假设在基础层中设置的预测块尺寸是16×16像素。这种情况下，预测块尺寸与缩放比之积是“16×2.0＝32”。在这里，当考虑基础层中小于16×16像素的预测块尺寸不被选择的事实时，尽管从增强层中的候选排除了小于32×32像素的DCT尺寸，但是也可以说对编码效率的不利影响没有发生。因此，这种情况下，增强层中PU尺寸的候选被缩小到2种尺寸，即，64×64像素和32×32像素。另外，指示实际设置的PU尺寸的参数(PU尺寸信息)另外生成并且所生成的参数在增强层中编码。同样，例如，假设缩放比“SR＝2.0”并且假设在基础层中设置的预测块尺寸是4×4像素。这种情况下，预测块尺寸与缩放比之积是“4×2.0＝8.0”。在这里，当考虑基础层中大于4×4像素的预测块尺寸不被选择的事实时，尽管从增强层中的候选排除了大于8×8像素的预测块尺寸，但是也可以说对编码效率的不利影响没有发生。因此，这种情况下，增强层中PU尺寸的候选被缩小到2种尺寸，即，8×8像素和4×4像素。另外，指示实际设置的PU尺寸的参数(PU尺寸信息)另外生成并且所生成的参数在增强层中编码。当设置缩放比“SR＝2.0”并且基础层中设置的预测块尺寸是8×8像素时，作为缩小的结果，增强层中PU尺寸的候选只有16×16像素。这种情况下，16×16像素的PU尺寸必然会在增强层中设置并且不生成指示PU尺寸的参数。在任何情况下，由于PU尺寸的候选范围缩小，因此另外编码的参数的位数比在所有种类PU尺寸都可以选择的时候少。根据这第二种方法，指示PU尺寸的参数的编码量可以在增强层中减少，同时仍然维持PU尺寸的选择灵活性。

虽然可用预测块的候选在参考图6A和6B描述的两种方法之间是不同的，但是候选可以用来设置HEVC的帧间预测的PU。

图7A是说明在AVC的帧间预测中可用的预测块尺寸候选的解释性图。在AVC中，当具有等于或小于8×8像素的尺寸的预测块在帧间预测时使用时，即，使用划分成子宏块，编码作为指示子宏块形状和尺寸的子宏块类型的参数。因而，在增强层中，PU尺寸的候选可以根据是否使用划分成子宏块(即，编码子宏块类型)来缩小。

图7B是说明设置HEVC的帧间预测的PU尺寸的第三种方法的解释性图。第三种方法中，PU尺寸是根据子宏块类型是否为对应于基础层的块编码来缩小的。例如，当设置缩放比“SR＝2.0”并且子宏块类型没有在基础层中编码时，增强层中PU尺寸的候选被缩小到等于或大于16×16像素的尺寸。此外，指示实际设置的PU尺寸的参数(PU尺寸信息)另外生成、并且所生成的参数在增强层中编码。相反，例如，当设置缩放比“SR＝2.0”并且子宏块类型在基础层中编码时，增强层中PU尺寸的候选缩小到等于或小于8×8像素的尺寸。此外，指示实际设置的PU尺寸的参数(PU尺寸信息)另外生成、并且所生成的参数在增强层中编码。在任何情况下，由于PU尺寸的候选范围缩小，因此另外编码的参数的位数比当所有种类PU尺寸都可以选择时少。根据这第三种方法，指示PU尺寸的参数的编码量可以在增强层中减少，同时仍然维持PU尺寸的选择灵活性。

[1-5.编码器的基本配置例子]

图8是示出根据实施例支持可缩放视频编码的图像编码设备10的示意性配置的框图。参考图8，图像编码设备10包括第一编码部分1a、第二编码部分1b、公共存储器2以及多路复用部分3。

第一编码部分1a编码基础层图像，以生成基础层的编码流。第二编码部分1b编码增强层图像，以生成增强层的编码流。公共存储器2存储在层之间公共使用的信息。多路复用部分3多路复用由第一编码部分1a生成的基础层的编码流和由第二编码部分1b生成的至少一个增强层的编码流，以生成多层的多路复用流。

[1-6.解码器的基本配置例子]

图9是示出根据实施例支持可缩放视频编码的图像解码设备60的示例性配置的框图。参考图9，图像解码设备60包括多路分解部分5、第一解码部分6a、第二解码部分6b以及公共存储器7。

多路分解部分5把多层的多路复用流多路分解成基础层的编码流和至少一个增强层的编码流。第一解码部分6a从基础层的编码流解码基础层图像。第二解码部分6b从增强层的编码流解码增强层图像。公共存储器7存储在层之间公共使用的信息。

在图8所说明的图像编码设备10中，编码基础层的第一编码部分1a的配置和编码增强层的第二编码部分1b的配置是彼此相似的，但是在图像编码系统中存在一些区别。由第一编码部分1a生成或获取的有些参数通过使用公共存储器2被缓冲并且被第二编码部分1b重用。在下一部分中，将详细地描述第一编码部分1a和第二编码部分1b的这种配置。

类似地，在图9所说明的图像解码设备60中，解码基础层的第一解码部分6a的配置和解码增强层的第二解码部分6b的配置是彼此相似的，但是在图像编码系统中存在一些区别。由第一解码部分6a生成或获取的有些参数通过使用公共存储器7被缓冲并且被第二解码部分6b重用。此外，在下一部分中，将详细地描述第一解码部分6a和第二解码部分6b的这种配置。

<2.根据实施例的编码部分的配置例子>

[2-1.整体配置]

图10是示出图8中所示第一编码部分1a和第二编码部分1b的配置例子的框图。参考图10，第一编码部分1a包括排序缓冲区11、块设置部分12a、减法部分13、正交变换部分14a、量化部分15、无损编码部分16a、累加缓冲区17、速率控制部分18、逆量化部分21、逆正交变换部分22a、加法部分23、解块过滤器24、帧存储器25、选择器26和27、帧内预测部分30a以及帧间预测部分40a。代替块设置部分12a、正交变换部分14a、无损编码部分16a、累逆正交变换部分22a、帧内预测部分30a和帧间预测部分40a，第二编码部分1b包括块设置部分12b、正交变换部分14b、无损编码部分16b、逆正交变换部分22b、帧内预测部分30b以及帧间预测部分40b。

排序缓冲区11把包括在图像数据序列中的图像排序。在根据编码过程把根据GOP(图片组)结构的图像排序之后，排序缓冲区11把已经排序的图像数据输出到块设置部分12a或12b。

块设置部分12a在从排序缓冲区11输入的基础层的图像数据中设置至少一个宏块。例如，AVC中的宏块尺寸定义为固定的尺寸，并且该宏块尺寸事先由公共存储器2存储。块设置部分12a把用于所设置的每个宏块的图像数据输出到减法部分13、帧内预测部分30a和帧间预测部分40a。

块设置部分12b为从排序缓冲区11输入的增强层的图像数据设置LCU尺寸和SCU尺寸。LCU尺寸和SCU尺寸的设置可以对每个序列改变。块设置部分12b可以利用由公共存储器2存储的宏块尺寸和缩放比来确定LCU尺寸。SCU尺寸可以通过进一步参考由公共存储器2存储的子宏块尺寸来确定。然后，块设置部分12b把用于所设置的每个LCU的图像数据输出到减法部分13、帧内预测部分30b和帧间预测部分40b。

从块设置部分12a或12b输入的图像数据以及由随后所述帧内预测部分30a或30b或者帧间预测部分40a或40b输入的预测的图像数据提供给减法部分13。减法部分13计算预测的误差数据，这是从排序缓冲区12输入的图像数据与预测的图像数据之间的差值，并且把计算出的预测的误差数据输出到正交变换部分14a或14b。

正交变换部分14a关于从减法部分13输入的基础层的预测误差数据在宏块中来设置变换块，并且对所设置的每个变换块执行正交变换。由正交变换部分14a执行的正交变换可以是，例如，离散余弦变换(DCT)。由正交变换部分14a设置的变换块的尺寸是8×8像素或4×4像素。正交变换部分14a把通过对每个变换块的正交变换过程所获取的变换系数数据输出到量化部分15。正交变换部分14a使公共存储器2缓冲指示所设置的每个变换块的尺寸的DCT尺寸信息。

正交变换部分14b关于从减法部分13输入的增强层的预测误差数据在LCU中设置TU，并且对所设置的每个TU执行正交变换。由正交变换部分14b执行的正交变换也可以是离散余弦变换(DCT)。由正交变换部分14b设置的TU的尺寸是32×32像素、16×16像素、8×8像素或4×4像素。正交变换部分14b可以利用存储在公共存储器2中的缩放比和基础层的DCT尺寸信息来确定要在增强层中设置的TU尺寸。正交变换部分14b把通过对每个TU的正交变换过程所获取的变换系数数据输出到量化部分15。

从正交变换部分14a或14b输入的变换系数数据以及来自随后所述速率控制部分18的速率控制信号提供给量化部分15。量化部分15量化变换系统数据，并且把已经量化的变换系数数据(在下文中称为量化数据)输出到无损编码部分16a或16b和逆量化部分21。而且，量化部分15基于来自速率控制部分18的速率控制信号来切换量化参数(量化级别)，由此改变量化数据的位速率。

无损编码部分16a对从量化部分15输入的基础层的量化数据执行无损编码过程，以生成基础层的编码流。无损编码部分16a编码关于在基础层中设置的各个块尺寸的信息，并且在编码流的首部区域中多路复用所编码的参数。在本文中，编码的信息可以包括，例如，DCT尺寸信息、关于帧内预测的信息，以及关于帧间预测的信息。然后，无损编码部分16a把生成的编码流输出到累加缓冲区17。

无损编码部分16b对从量化部分15输入的增强层的量化数据执行无损编码过程，以生成增强层的编码流。无损编码部分16b编码关于在增强层中设置的各个块尺寸的信息，并且在编码流的首部区域中多路复用编码的参数。在本文中，编码的信息可以包括，例如，缩放比、块尺寸信息、指示每个LCU中块分割的分割标记(split_flag)、关于帧内预测的信息，以及关于帧间预测的信息。然后，无损编码部分16b把生成的编码流输出到累加缓冲区17。

累加缓冲区17利用诸如半导体存储器的存储介质暂时性地累加从无损编码部分16a输入的基础层的编码流和从无损编码部分16b输入的增强层的编码流。然后，累加缓冲区17以与传输路径的频带相符的速率把累加的编码流输出到传输部分(未示出)(例如，通信接口或者到外围设备的接口)。

速率控制部分18监视累加缓冲区17的自由空间。然后，速率控制部分18根据累加缓冲区17上的自由空间生成速率控制信号并且把生成的速率控制信号输出到量化部分15。例如，当累加缓冲区17上没有太多自由空间时，速率控制部分18生成用于降低量化数据的位速率的速率控制信号。而且，例如，如果累加缓冲区17上的自由空间足够大时，速率控制部分18生成用于增加爱量化数据的位速率的速率控制信号。

逆量化部分21对从量化部分15输入的量化数据执行逆量化过程。然后，逆量化部分21把通过逆量化过程获取的变换系数数据输出到逆正交变换部分22a或22b。

对于由正交变换部分14a设置的每个变换块，逆正交变换部分22a对从逆量化部分21输入的基础层的变换系数数据执行逆正交变换过程，以恢复预测误差数据。然后，逆正交变换部分22a把恢复的预测的误差数据输出到加法部分23。

对于由正交变换部分14b设置的每个TU，逆正交变换部分22b对从逆量化部分21输入的增强层的变换系数数据执行逆正交变换过程，以恢复预测误差数据。然后，逆正交变换部分22b把恢复的预测的误差数据输出到加法部分23。

加法部分23把从逆正交变换部分22a或22b输入的恢复的预测的误差数据以及从帧内预测部分30a或30b或者帧间预测部分40a或40b输入的预测的图像数据相加，由此生成解码的图像数据(所谓重构的图像)。然后，加法部分23把生成的解码的图像数据输出到解块过滤器24和帧存储器25。

解块过滤器24执行用于减少在图像编码时发生的块变形的过滤过程。解块过滤器24过滤从加法部分23输入的解码的图像数据，以除去块变形，并且把过滤之后解码的图像数据输出到帧存储器25。

帧存储器25利用存储介质存储从加法部分23输入的解码的图像数据以及从解块过滤器24输入的过滤之后解码的图像数据。

选择器26从帧存储器25读取过滤之前要用于帧内预测的解码的图像数据，并且把已经读出的解码的图像数据作为参考图像数据提供给帧内预测部分30a或30b。而且，选择器26从帧存储器25读取过滤之后要用于帧间预测的解码的图像数据，并且把已经读出的解码的图像数据作为参考图像数据提供给帧间预测部分40a或40b。

在帧内预测模式，选择器27把作为帧内预测的结果从帧内预测部分30a或30b输出的预测图像数据输出到减法部分13，并且还把关于帧内预测的信息输出到无损编码部分16a或16b。在帧间预测模式，选择器27把作为帧间预测的结果从帧间预测部分40a或40b输出的预测的图像数据输出到减法部分13，并且还把关于帧间预测的信息输出到无损编码部分16a或16b。根据成本函数值的量值，选择器27切换帧内预测模式和帧间预测模式。

基于基础层的原始图像数据和解码的图像数据，帧内预测部分30a对AVC的每个预测块执行帧内预测过程。例如，帧内预测部分30a在宏块中设置预测块并且对所设置的每个预测块执行帧内预测。由帧内预测部分30a设置的预测块的尺寸是16×16像素、8×8像素或4×4像素。然后，帧内预测部分30a利用预定的成本函数评估每种预测模式下的预测结果。接下来，帧内预测部分30a选择其中成本函数值最小(即，压缩比最高)的预测模式作为最优预测模式。而且，帧内预测部分30a根据最优预测模式生成基础层的预测的图像数据。然后，帧内预测部分30a把关于帧内预测的信息，包括指示选定的最优预测模式的预测模式信息、成本函数值和预测的图像数据，输出到选择器27。帧内预测部分30a使公共存储器2缓冲预测块尺寸信息。

基于增强层的原始图像数据和解码的图像数据，帧内预测部分30b对HEVC的每个PU执行帧内预测过程。例如，帧内预测部分30b在LCU中设置PU并且对所设置的每个PU执行帧内预测。由帧内预测部分30b设置的PU的尺寸是32×32像素、16×16像素、8×8像素或4×4像素。帧内预测部分30b可以利用由公共存储器2存储的基础层的预测块尺寸信息以及缩放比来确定在要增强层中设置的PU尺寸。接下来，帧内预测部分30b利用预定的成本函数评估每种预测模式下的预测结果。接下来，帧内预测部分30b选择其中成本函数值最小(即，压缩比最高)的预测模式作为最优预测模式。帧内预测部分30b根据最优预测模式生成增强层的预测的图像数据。然后，帧内预测部分30b把关于帧内预测的信息，包括指示选定的最优预测模式的预测模式信息、成本函数值和预测的图像数据，输出到选择器27。

基于基础层的原始图像数据和解码的图像数据，帧间预测部分40a对AVC的每个预测块执行帧间预测过程(运动搜索过程)。例如，帧间预测部分40a在宏块中设置预测块并且对所设置的每个预测块执行帧间预测。由帧间预测部分40a设置的预测块的尺寸是图7A中所示的7种尺寸之一。接下来，帧间预测部分40a利用预定的成本函数评估每种预测模式下的预测结果。接下来，帧间预测部分40a选择其中成本函数值最小(即，压缩比最高)的预测模式作为最优预测模式。帧间预测部分40a根据最优预测模式生成基础层的预测的图像数据。然后，帧间预测部分40a把关于帧间预测的信息，包括对应于定选的最优预测模式的运动信息、成本函数值和预测的图像数据，输出到选择器27。接下来，帧间预测部分40a使公共存储器2缓冲预测块尺寸信息。预测块尺寸信息可以包括子宏块类型。

基于增强层的原始图像数据和解码的图像数据，帧间预测部分40b对HEVC的每个PU执行帧间预测过程(运动搜索过程)。例如，帧间预测部分40b在LCU中设置PU并且对所设置的每个PU执行帧间预测。帧间预测部分40b可以利用由公共存储器2存储的基础层的预测块尺寸信息及缩放比来确定要在增强层中设置的PU尺寸。接下来，帧间预测部分40b利用预定的成本函数评估每种预测模式下的预测结果。接下来，帧间预测部分40b选择其中成本函数值最小(即，压缩比最高)的预测模式作为最优预测模式。帧间预测部分40b根据最优预测模式生成增强层的预测的图像数据。然后，帧间预测部分40b把关于帧间预测的信息，包括对应于选定的最优预测模式的运动信息、成本函数值和预测的图像数据，输出到选择器27。

第一编码部分1a对基础层的图像数据序列执行这里所描述的一系列编码过程。第二编码部分1b对增强层的图像数据序列执行这里所描述的一系列编码过程。当存在多个增强层时，增强层的编码过程可以重复与增强层数一样多的次数。

[2-2.块设置部分的详细配置]

图11是示出图10所示块设置部分12a和12b的详细配置例子的框图。参考图11，块设置部分12a包括设置控制部分111a和宏块设置部分112a。块设置部分12b包括设置控制部分111b和CU设置部分112b。

(1)基础层的块设置过程

块设置部分12a的设置控制部分111a获取事先由公共存储器2存储的固定的宏块尺寸并且指示宏块设置部分112a利用所获取的尺寸设置宏块。

响应于来自设置控制部分111a的指令，宏块设置部分112a在基础层的图像数据中设置至少一个宏块。然后，宏块设置部分112a把用于所设置的每个宏块的图像数据输出到减法部分13、帧内预测部分30a以及帧间预测部分40a。

(2)增强层的块设置过程

块设置部分12b的设置控制部分111b获取事先由公共存储器2存储的宏块的尺寸以及基础层与增强层之间的缩放比。该缩放比可以事先由公共存储器2存储，或者可以从两个层的分辨率数据计算。然后，设置控制部分111b指示CU设置部分112b设置利用宏块尺寸以及缩放比确定的LCU尺寸和SCU尺寸。

响应于来自设置控制部分111b的指令，CU设置部分112b在增强层中设置LCU尺寸和SCU尺寸。通过根据参考图3A所述的第一种方法用缩放比乘以宏块尺寸，CU设置部分112b可以确定性地确定LCU尺寸。作为代替，CU设置部分112b可以根据参考图3B所述的第二种方法确定从利用宏块尺寸和缩放比之积作为参考来缩小的多个尺寸候选中选择的一个尺寸作为LCU尺寸。后一种情况下，CU设置部分112b生成指示选定的LCU尺寸的LCU尺寸信息。

通过根据参考图4A所述的第一种方法用缩放比乘以由公共存储器2事先存储的子宏块尺寸，CU设置部分112b可以确定性地确定SCU尺寸。作为代替，CU设置部分112b可以根据参考图4B所述的第二种方法确定从等于或小于LCU尺寸的多个尺寸候选中选择的一个尺寸作为SCU尺寸。后一种情况下，CU设置部分112b生成指示选定的SCU尺寸的SCU尺寸信息。

然后，CU设置部分112b把用于每个LCU的图像数据输出到减法部分13、帧内预测部分30b以及帧间预测部分40b。此外，当生成LCU尺寸信息或SCU尺寸信息时，宏块设置部分112b把生成的尺寸信息输出到无损编码部分16b。

[2-3.正交变换部分的详细配置]

图12是示出图10所示正交变换部分14a和14b的详细配置例子的框图。参考图12，正交变换部分14a包括变换控制部分121a、4×4变换部分122a、8×8变换部分123a，以及尺寸确定部分126a。正交变换部分14b包括变换控制部分121b、4×4变换部分122b、8×8变换部分123b、16×16变换部分124b、32×32变换部分125b，以及尺寸确定部分126b。

(1)基础层的正交变换过程

正交变换部分14a的变换控制部分121a关于基础层的预测的误差数据在宏块中设置4×4像素的变换块，并且使4×4变换部分122a为所设置的每个变换块执行正交变换。同样，变换控制部分121a在宏块中设置8×8像素的变换块并且使8×8变换部分123a为所设置的每个变换块执行正交变换。变换控制部分121a使尺寸确定部分126a确定最优DCT尺寸。

4×4变换部分122a对用于由变换控制部分121a设置的每个变换块的预测的误差数据执行4×4像素的2维DCT。然后，4×4变换部分122a把变换系数数据输出到尺寸确定部分126a。8×8变换部分123a对用于由变换控制部分121a设置的每个变换块的预测的误差数据执行8×8像素的2维DCT。然后，8×8变换部分123a把变换系数数据输出到尺寸确定部分126a。

基于从4×4变换部分122a和8×8变换部分123a输入的变换系数数据，尺寸确定部分126a确定最优DCT尺寸，并且把对应于最优DCT尺寸的变换系数数据输出到量化部分15。此外，尺寸确定部分126a把指示最优DCT尺寸的DCT尺寸信息输出到无损编码部分16a和逆正交变换部分22a并且使公共存储器2缓冲DCT尺寸信息。

(2)增强层的正交变换过程

正交变换部分14b的变换控制部分121b获取由公共存储器2存储的缩放比和DCT尺寸信息。然后，变换控制部分121b利用至少一个利用DCT尺寸和缩放比确定的尺寸在LCU中设置TU。

例如，变换控制部分121b在增强层的LCU中利用根据参考图5A所述的第一种方法通过用缩放比乘以DCT尺寸确定性地确定的尺寸来设置TU。然后，变换控制部分121b使4×4变换部分122b、8×8变换部分123b、16×16变换部分124b和32×32变换部分125b中对应于所确定的TU尺寸的变换部分对预测的误差数据执行正交变换。

作为代替，变换控制部分121b在LCU中利用根据参考图5B所述的第二种方法，利用DCT尺寸与缩放比之积作为参考来缩小的至少一个TU尺寸当中每一个来设置TU。然后，变换控制部分121b使4×4变换部分122b、8×8变换部分123b、16×16变换部分124b和32×32变换部分125b中对应的变换部分对预测的误差数据执行正交变换。当采用第二种方法时，变换控制部分121b使尺寸确定部分126b确定最优TU尺寸。

4×4变换部分122b对预测的误差数据执行4×4像素的2维DCT。8×8变换部分123b对预测的误差数据执行8×8像素的2维DCT。16×16变换部分124b对预测的误差数据执行16×16像素的2维DCT。32×32变换部分125b对预测的误差数据执行32×32像素的2维DCT。

当多个TU尺寸由变换控制部分121b为位于相同位置的预测的误差数据设置时，基于从多个对应的变换部分输入的变换系统数据，尺寸确定部分126b确定最优TU。然后，尺寸确定部分126b把对应于最优TU尺寸的变换系数数据输出到量化部分15。此外，尺寸确定部分126b把指示最优TU尺寸的TU尺寸信息输出到无损编码部分16b和逆正交变换部分22b。

[2-4.帧内预测部分的详细配置]

图13是示出图10所示帧内预测部分30a和30b的详细配置例子的框图。参考图13，帧内预测部分30a包括预测控制部分131a、预测部分132a以及模式确定部分133a。帧内预测部分30b包括预测控制部分131b、预测部分132b以及模式确定部分133b。

(1)基础层的帧内预测过程

帧内预测部分30a的预测控制部分131a控制基础层的帧内预测过程。更具体而言，预测控制部分131a利用基础层的宏块中的各种尺寸设置预测块并且使预测部分132a在各种预测模式下执行帧内预测。然后，预测控制部分131a使模式确定部分133a确定最优预测块尺寸和预测模式。

对于由预测控制部分131a设置的每个预测块，预测部分132a在各种预测模式下(例如，DC预测、水平预测、垂直预测和平面预测)利用从帧存储器25输入的解码的图像数据来生成预测的图像数据。然后，预测部分132a把生成的预测图像数据输出到模式确定部分133a。

通过比较从预测部分132a输入的预测图像数据与原始图像数据，模式确定部分133a计算成本函数值，并且选择其中成本函数值最小的预测块尺寸与预测模式的组合。然后，模式确定部分133a把关于帧内预测的信息，包括指示最优预测块尺寸和预测模式的组合的预测模式信息、成本函数值和预测的图像数据，输出到选择器27。此外，模式确定部分133a使公共存储器2缓冲预测块尺寸信息。

(2)增强层的帧内预测过程

帧内预测部分30b的预测控制部分131b控制增强层的帧内预测过程。更具体而言，预测控制部分131b在增强层的LCU中设置至少一个PU并且使预测部分132b在各种预测模式下执行帧内预测。然后，预测控制部分131b使模式确定部分133b确定最优预测模式。

为了确定PU尺寸，预测控制部分131b获取由公共存储器2存储的缩放比以及基础层的预测块尺寸信息。然后，预测控制部分131b利用预测块尺寸和缩放比确定要在LCU中设置的PU尺寸。

例如，预测控制部分131b可以利用根据参考图6A所述的第一种方法通过用LCU中的缩放比乘以预测块尺寸确定性地确定的PU尺寸来设置PU。作为替代，预测控制部分131b可以利用根据参考图6B所述的第二种方法利用预测块尺寸与缩放比之积作为参考来缩小的至少一个PU尺寸来设置PU。

对于由预测控制部分131b设置的每个PU，预测部分132b在各种预测模式下(例如，DC预测、角度预测、平面预测和亮度基本色差预测)利用从帧存储器25输入的解码的图像数据生成预测的图像数据。然后，预测部分132b把生成的预测图像数据输出到模式确定部分133b。

通过比较从预测部分132b输入的预测的图像数据与原始图像数据，模式确定部分133b计算成本函数值，并且选择其中成本函数值最小的PU尺寸和预测模式的组合。然后，模式确定部分133b把关于帧内预测的信息，包括预测模式信息、成本函数值和预测的图像数据，输出到选择器27。当多个PU尺寸被预测控制部分131b设置时，模式确定部分133b生成的信息可以包括在图6B示例的PU尺寸信息。

[2-5.帧间预测部分的详细配置]

图14是示出图10所示帧间预测部分40a和40b的详细配置例子的框图。参考图14，帧间预测部分40a包括预测控制部分141a、预测部分142a和模式确定部分143a。帧间预测部分40b包括预测控制部分141b、预测部分142b和模式确定部分143b。

(1)基础层的帧间预测过程

帧间预测部分40a的预测控制部分141a控制基础层的帧间预测过程。更具体而言，预测控制部分141a在基础层的宏块中利用各种尺寸设置预测块。预测控制部分141a在每个预测块中设置参考图像。预测控制部分141a使预测部分142a在各种预测模式下执行帧间预测。预测控制部分141a使模式确定部分143a确定最优预测块尺寸和预测模式。

预测部分142a为由预测控制部分141a设置的每个预测块计算运动矢量并且利用计算出的运动矢量以及参考图像数据来生成预测的图像数据。然后，预测部分142a把运动矢量信息和预测的图像数据输出到模式确定部分143a。

通过比较从预测部分142a输入的预测的图像数据与原始图像数据，模式确定部分143a计算成本函数值，并且选择其中成本函数值最小的预测块尺寸和预测模式的组合。根据选定的最优组合，模式确定部分143a生成预测块尺寸信息、预测模式信息以及运动信息(运动矢量信息和参考图像信息)。模式确定部分143a把关于帧间预测的信息、成本函数值和预测的图像数据输出到选择器27。模式确定部分143a使公共存储器2缓冲预测块尺寸信息(这可以包括子宏块类型)。

(2)增强层的帧间预测过程

帧间预测部分40b的预测控制部分141b控制增强层的帧间预测过程。更具体而言，预测控制部分141b在增强层的LCU中设置至少一个PU并且使预测部分142b执行帧间预测。然后，预测控制部分141b使模式确定部分143b确定最优预测模式。

为了确定PU尺寸，预测控制部分141b获得由公共存储器2存储的缩放比以及基础层的预测块尺寸信息。然后，预测控制部分141b利用预测块尺寸和缩放比来确定要在LCU中设置的PU尺寸。

例如，预测控制部分141b可以通过用LCU中的缩放比乘以预测块尺寸来确定性地确定的PU尺寸而设置PU。作为替代，预测控制部分141b可以利用至少一个利用预测块尺寸与缩放比之积作为参考来缩小的PU尺寸来设置PU。关于基础层中对应的预测块，在LCU中，预测控制部分141b可以利用根据子宏块类型是否存在来缩小的至少一个PU尺寸而设置PU。

预测部分142b为由预测控制部分141b设置的每个PU计算运动矢量并且利用计算出的运动矢量和参考图像数据生成预测的图像数据。然后，预测部分142b把运动矢量信息和预测的图像数据输出到模式确定部分143b。

通过比较从预测部分142b输入的预测的图像数据与原始图像数据，模式确定部分143b计算成本函数值，并且选择其中成本函数值最小的PU尺寸和预测模式的组合。模式确定部分143b根据选定的最优组合生成预测模式信息和运动信息。模式确定部分143b把关于帧间预测的信息、成本函数信息和预测的图像数据输出到选择器27。当多个PU尺寸被预测控制部分141b设置时，由模式确定部分143b生成的信息可以包括指示从缩小后的PU尺寸中选择的PU尺寸的PU尺寸信息。

<3.根据实施例在编码时的过程流>

接下来将参考图15A至18B描述根据实施例在编码时的过程流。为了描述的简洁，与本公开内容中的技术不直接相关的过程的描述将被忽略。

[3-1.块设置过程]

(1)第一个例子

图15A是示出在编码时增强层中的块设置过程流的第一个例子的流程图。图15A所示的块设置过程是根据如参考图3A所述的设置LCU尺寸的第一种方法和如参考图4A所述的设置SCU尺寸的第一种方法的组合过程。

参考图15A，用于增强层的块设置部分12b的设置控制部分111b首先从公共存储器2获取指示基础层的宏块尺寸和子宏块尺寸的块尺寸信息(步骤S110a)。接下来，设置控制部分111b获取基础层和增强层之间的缩放比(步骤S111)。

接下来，通过用缩放比乘以由块尺寸信息指示的宏块尺寸，CU设置部分112b确定性地确定增强层的LCU尺寸(步骤S112a)。通过用缩放比乘以由块尺寸信息指示的子宏块尺寸，CU设置部分112b确定性地确定增强层的SCU尺寸(步骤S114a)。

接下来，CU设置部分112b在增强层中利用在步骤S112a中确定的LCU尺寸来设置LCU(步骤S115a)。从每个LCU分块成CU可以根据正交变换、帧内预测和帧间预测的结果来确定。基于由CU设置部分112b确定的LCU尺寸和SCU尺寸，无损编码部分16b生成指示分块的划分标记(步骤S117)。

(2)第二个例子

图15B是示出在编码时增强层中的块设置过程流的第二个例子的流程图。图15B中所示的块设置过程是根据如参考图3B所述的设置LCU尺寸的第二种方法和如参考图4B所述的设置SCU尺寸的第二种方法的组合的过程。

参考图15B，用于增强层的块设置部分12b的设置控制部分111b首先从公共存储器2获取指示基础层的宏块尺寸的块尺寸信息(步骤S110b)。接下来，设置控制部分111b获取基础层与增强层之间的缩放比(步骤S111)。

接下来，利用宏块尺寸与缩放比之积作为参考，CU设置部分112b确定增强层的LCU尺寸的至少一个候选(步骤S112b)。接下来，CU设置部分112b从缩小后的LCU尺寸的候选中选择要设置的LCU尺寸(步骤S113)。然后，CU设置部分112b从等于或小于在步骤S113中选定的LCU尺寸的SCU尺寸的至少一个候选中选择要设置的SCU尺寸。

接下来，CU设置部分112b在增强层中利用在步骤S113中选定的LCU尺寸而设置LCU(步骤S115b)。然后，CU设置部分112b生成指示选定的LCU尺寸和SCU尺寸的参数(步骤S116)。在本文中，所生成的参数由无损编码部分16编码并且插入到例如SPS中。

从每个LCU分块成CU可以根据正交变换、帧内预测和帧间预测的结果来确定。基于由CU设置部分112b选择的LCU尺寸和SCU尺寸，无损编码部分16b生成指示分块的划分标记(步骤S117)。

[3-2.正交变换过程]

(1)第一个例子

图16A是示出在编码时增强层中正交变换过程流的第一个例子的流程图。图16A中所示的正交变换过程是根据参考图5A所述设置TU尺寸的第一种方法的过程。

参考图16A，用于增强层的正交变换部分14b的变换控制部分121b首先从公共存储器2获取指示在基础层中设置的DCT尺寸的DCT尺寸信息(步骤S120)。接下来，变换控制部分121b获取基础层与增强层之间的缩放比(步骤S121)。

接下来，通过用缩放比乘以由DCT尺寸信息指示的DCT尺寸，变换控制部分121b确定性地确定增强层中对应于基础层中变换块的TU的尺寸(步骤S122a)。变换控制部分121b利用所确定的TU尺寸在增强层中设置TU。

接下来，4×4变换部分122b、8×8变换部分123b、16×16变换部分124b和32×32变换部分125b中对应于在步骤S122a中确定的TU尺寸的变换部分对由变换控制部分121b设置的TU执行正交变换(步骤S123a)。然后，这个变换部分把作为正交变换的结果所获得的变换系数数据输出到量化部分15(步骤S125a)。

(2)第二个例子

图16B是示出在编码时增强层中的正交变换过程流的第二个例子的流程图。图16B中所示的正交变换过程是根据参考图5B所述的设置TU尺寸的第二种方法的过程。

参考图16B，用于增强层的正交变换部分14b的变换控制部分121b首先从公共存储器2获取指示在基础层中设置的DCT尺寸的DCT尺寸信息(步骤S120)。接下来，变换控制部分121b获取基础层与增强层之间的缩放比(步骤S121)。

接下来，利用DCT尺寸与缩放比之积作为参考，变换控制部分121b确定增强层中对应于基础层中变换块的TU的TU尺寸的至少一个候选(步骤S122b)。然后，变换控制部分121b利用被确定为是增强层中候选的TU尺寸来设置TU。

接下来，4×4变换部分122b、8×8变换部分123b、16×16变换部分124b和32×32变换部分125b中对应于在步骤S122b中确定的TU尺寸的变换部分对TU尺寸的每个候选执行正交变换(步骤S123b)。

接下来，通过比较作为正交变换的结果获得的变换系数数据，尺寸确定部分126b从TU尺寸的至少一个候选中确定最优TU尺寸(步骤S124)。然后，尺寸确定部分126b把对应于最优TU尺寸的变换系数数据输出到量化部分15(步骤S125b)。然后，尺寸确定部分126b生成指示最优TU尺寸的参数并且把生成的参数输出到无损编码部分16b和逆正交变换部分22b(步骤126)。

[3-3.帧内预测过程]

(1)第一个例子

图17A是示出在编码时增强层中的帧内预测过程流的第一个例子的流程图。图17A中所示的帧内预测过程是根据参考图6A所述设置PU尺寸的第一种方法的过程。

参考图17A，用于增强层的帧内预测部分30b的预测控制部分131b首先从公共存储器2获取指示在基础层中设置的预测块尺寸的预测块尺寸信息(步骤S130)。接下来，预测控制部分131b获取基础层与增强层之间的缩放比(步骤S131)。

接下来，通过用缩放比乘以由预测块尺寸信息指示的预测块尺寸，预测控制部分131b确定性地确定增强层中对应于基础层中预测块的PU的尺寸(步骤S132a)。预测控制部分131b利用所确定的PU尺寸在增强层中设置PU。

接下来，预测部分132b在各种预测模式下对由预测控制部分131b设置的PU执行帧内预测(步骤S133a)。接下来，通过比较从预测部分132b输入的预测的图像数据与原始图像数据，模式确定部分133b选择最优预测模式(步骤S134a)。

然后，模式确定部分133b生成指示选定的最优预测模式的预测模式信息(步骤S136)。模式确定部分133b把关于帧内预测的信息、成本函数值和预测的图像数据输出到选择器27。

(2)第二个例子

图17B是示出在编码时增强层中的帧内预测过程流的第二个例子的流程图。图17B中所示的帧内预测过程是根据参考图6B所述设置PU尺寸的第二种方法的过程。

参考图17B，用于增强层的帧内预测部分30b的预测控制部分131b首先从公共存储器2获取指示在基础层中设置的预测块尺寸的预测块尺寸信息(步骤S130)。接下来，预测控制部分131b获取基础层与增强层之间的缩放比(步骤S131)。

接下来，利用预测块尺寸与缩放比之积作为参考，预测控制部分131b确定增强层中对应于基础层中预测块的PU的PU尺寸的至少一个候选(步骤S132b)。预测控制部分131b利用被确定为增强层中候选的PU尺寸来设置PU。

接下来，预测部分132b在各种预测模式下对具有作为候选的PU尺寸的每个PU执行帧内预测(步骤S133b)。接下来，通过比较从预测部分132b输入的预测的图像数据与原始图像数据，模式确定部分133b选择最优PU尺寸和预测模式(步骤S134b)。

然后，模式确定部分133b生成指示选定的最优PU尺寸的参数(步骤S135b)。模式确定部分133b生成指示最优预测模式的预测模式信息(步骤S136)。模式确定部分133b把关于帧内预测的信息、成本函数值和预测的图像数据输出到选择器27。

[3-4.帧间预测过程]

(1)第一个例子

图18A是示出在编码时增强层中的帧间预测过程流的第一个例子的流程图。图18A中所示的帧间预测过程是根据参考图6A所述设置PU尺寸的第一种方法的过程。

参考图18A，用于增强层的帧间预测部分40b的预测控制部分141b首先从公共存储器2获取指示在基础层中设置的预测块尺寸的预测块尺寸信息(步骤S140a)。接下来，预测控制部分141b获取基础层与增强层之间的缩放比(步骤S141)。

接下来，通过用缩放比乘以由预测块尺寸信息指示的预测块尺寸，预测控制部分141b确定性地确定增强层中对应于基础层中预测块的PU的尺寸(步骤S142a)。预测控制部分141b利用所确定的PU尺寸在增强层中设置PU。

接下来，预测部分142b在各种预测模式下对由预测控制部分141b设置的PU执行帧间预测(步骤S143a)。接下来，通过比较从预测部分142b输入的预测的图像数据与原始图像数据，模式确定部分143b选择最优预测模式(步骤S144a)。

然后，模式确定部分143b生成指示选定的最优预测模式的运动信息和预测模式信息(步骤S146)。模式确定部分143b把关于帧间预测的信息、成本函数值和预测的图像数据输出到选择器27。

(2)第二个例子

图18B是示出在编码时增强层中的帧间预测过程流的第二个例子的流程图。图18B中所示的帧内预测过程是根据参考图7B所述设置PU尺寸的第三种方法的过程。

参考图18B，用于增强层的帧间预测部分40b的预测控制部分141b首先从公共存储器2获取指示是否使用在基础层中分成子块的子宏块类型(步骤S140b)。接下来，预测控制部分141b获取基础层与增强层之间的缩放比(步骤S141)。

接下来，参考子宏块类型，根据是否使用在基础层中的预测块中分成子块，预测控制部分141b确定增强层中对应于基础层中预测块的PU的PU尺寸的至少一个候选(步骤S142b)。预测控制部分141b利用被确定为增强层中候选的PU尺寸来设置PU。

接下来，预测部分142b在各种预测模式下对具有作为候选的PU尺寸的每个PU执行帧间预测(步骤S143b)。接下来，通过比较从预测部分142b输入的预测的图像数据与原始图像数据，模式确定部分143b选择最优PU尺寸和预测模式(步骤S144b)。

然后，模式确定部分143b生成指示选定的最优PU尺寸的参数(步骤S145b)。模式确定部分143b生成指示最优预测模式的运动信息和预测模式信息(步骤S146)。模式确定部分143b把关于帧间预测的信息、成本函数值和预测的图像数据输出到选择器27。

<4.根据实施例的解码部分的配置例子>

[4-1.整体配置]

图19是说明图9中所示第一解码部分6a和第二解码部分6b的配置例子的框图。参考图19，第一解码部分6a包括无损解码部分61a、块设置部分62a、逆量化部分63、逆正交变换部分64a、加法部分65、解块过滤器66、排序缓冲区67、D/A(数-模)变换部分68、帧存储器69、选择器70和71、帧内预测部分80a以及帧间预测部分90a。代替无损解码部分61a、块设置部分62a、逆正交变换部分64a、帧内预测部分80a和帧间预测部分90a，第二解码部分6b包括无损解码部分61b、块设置部分62b、逆正交变换部分64b、帧内预测部分80b以及帧间预测部分90b。

无损解码部分61a根据在编码时使用的编码方案解码经传输路径输入的基础层的编码流，以生成基础层的量化数据。无损解码部分61a解码在编码流的首部区域中多路复用的信息。被无损解码部分61a解码的信息可以包括，例如，DCT尺寸信息、关于帧内预测的信息，以及关于帧间预测的信息。

无损解码部分61b根据在编码时使用的编码方案解码经传输路径输入的增强层的编码流，以生成增强层的量化数据。无损解码部分61b解码在编码流的首部区域中多路复用的信息。被无损解码部分61b解码的信息可以包括，例如，缩放比、块尺寸信息、划分标记、关于帧内预测的信息，以及关于帧间预测的信息。

块设置部分62a利用固定的尺寸在基础层中设置宏块。对于设置的每个宏块，块设置部分62a都把量化的数据输出到逆量化部分63、把关于帧内预测的信息输出到帧内预测部分80a，并且把关于帧间预测的信息输出到帧间预测部分90a。宏块尺寸事先由公共存储器7存储。

块设置部分62b根据由块设置部分62a设置的宏块尺寸在增强层中设置CU。更具体而言，通过根据LCU尺寸、SCU尺寸以及划分标记对LCU执行递归分块，块设置部分62b首先在增强层中设置LCU并且在每个LCU中设置CU。块设置部分62b可以利用由公共存储器7所存储的缩放比和宏块尺寸来确定LCU尺寸。SCU尺寸可以通过进一步参考可以由公共存储器7存储的子宏块尺寸来确定。对于所设置的每个LCU，块设置部分62b都把量化的数据输出到逆量化部分63、把关于帧内预测的信息输出到帧内预测部分80b，并且把关于帧间预测的信息输出到帧间预测部分90b。

逆量化部分63对从块设置部分62a或62b输入的量化数据执行逆量化，以生成变换系数数据。然后，逆量化部分63把生成的变换系数数据输出到逆正交变换部分64a或64b。

逆正交变换部分64a根据由无损解码部分61a解码的DCT尺寸信息在宏块中设置变换块并且对从逆量化部分63输入的基础层的变换系数数据执行逆正交变换。由逆正交变换部分64a执行的逆正交变换可以是例如，逆离散余弦变换(逆DCT)。DCT尺寸是8×8像素或4×4像素。逆正交变换部分64a把通过逆正交变换过程为每个变换块获取的预测的误差数据输出到加法部分65。逆正交变换部分64a使公共存储器7缓冲指示所设置的每个变换块的尺寸的DCT尺寸信息。

逆正交变换部分64b在由块设置部分62b设置的每个CU中设置TU并且对从逆量化部分63输入的增强层的变换系数数据执行逆正交变换。由逆正交变换部分64b执行的逆正交变换也可以是，例如，逆DCT。由逆正交变换部分64b设置的TU的尺寸是32×32像素、16×16像素、8×8像素或4×4像素。逆正交变换部分64b可以利用由公共存储器7存储的缩放比以及基础层的DCT尺寸信息来确定要在增强层中设置的TU尺寸。逆正交变换部分64b把通过正交变换过程为每个TU获取的变换系数数据输出到加法部分65。

加法部分65把从逆正交变换部分64a或64b输入的预测的误差数据和从选择器71输入的预测的图像数据相加，由此生成解码的图像数据。然后，加法部分65把生成的解码的图像数据输出到解块过滤器66和帧存储器69。

解块过滤器66通过过滤从加法部分65输入的解码的图像数据来除去块变形，并且把过滤之后解码的图像数据输出到排序缓冲区67和帧存储器69。

通过把从解块过滤器66输入的图像排序，排序缓冲区67按时间序列生成一系列图像数据。然后，排序缓冲区67把生成的图像数据输出到D/A转换部分68。

D/A转换部分68把从排序缓冲区67输入的数字格式的图像数据转换成模拟格式的图像信号。然后，例如，通过把模拟信号输出到连接到图像解码设备60的显示器(未示出)，D/A转换部分68使图像显示。

帧存储器69利用存储介质存储从加法部分65输入的过滤之前解码的图像数据，以及从解块过滤器66输入的过滤之后解码的图像数据。

对于图像中的每个块，选择器70在帧内预测部分80a或80b与帧间预测部分90a或90b之间切换来自帧存储器69的图像数据的输出目的地。例如，当帧内预测模式由解码的参数指定时，选择器70把从帧存储器69提供的过滤之前解码的图像数据作为参考图像数据输出到帧内预测部分80a或80b。当指定了帧间预测模式时，选择器70把从帧存储器69提供的过滤之后解码的图像数据作为参考图像数据输出到帧间预测部分90a或90b。

基于关于从块设置部分62a为每个宏块输入的帧内预测的信息，通过执行基础层的帧内预测过程，帧内预测部分80a生成预测的图像数据。例如，帧内预测部分80a根据预测块尺寸信息在宏块中设置预测块并且根据预测模式信息为所设置的每个预测块执行帧内预测。由帧内预测部分80a设置的预测块的尺寸是16×16像素、8×8像素或4×4像素。帧内预测部分80a把生成的基础层的预测的图像数据输出到选择器71。帧内预测部分80a使公共存储器7缓冲预测块尺寸信息。

基于关于从块设置部分62b为每个LCU输入的帧内预测的信息以及来自帧存储器69的参考图像数据，通过执行增强层的帧内预测过程，帧内预测部分80b生成预测图像数据。例如，帧内预测部分80b在每个CU中设置PU并且根据预测模式信息为所设置的每个PU执行帧内预测。由帧内预测部分80b设置的PU的尺寸是64×64像素、32×32像素、16×16像素、8×8像素或4×4像素。帧内预测部分80b可以利用由公共存储器7存储的缩放比以及基础层的预测块尺寸信息来确定要在增强层中设置的PU尺寸。帧内预测部分80b把生成的增强层的预测的图像数据输出到选择器71。

基于关于从块设置部分62a为每个宏块输入的帧间预测的信息以及来自帧存储器69的参考图像数据，通过执行基础层的帧间预测过程，帧间预测部分90a生成预测图像数据。例如，帧间预测部分90a根据预测块尺寸信息在宏块中设置预测块并且利用运动信息为所设置的每个预测块执行帧间预测(运动补偿)。由帧间预测部分90a设置的预测块的尺寸是图7A中所示7种尺寸之一。然后，帧间预测部分90a把生成的基础层的预测图像数据输出到选择器71。帧间预测部分90a使公共存储器7缓冲预测块尺寸信息。预测块尺寸信息可以包括子宏块类型。

基于关于从块设备部分62b为每个LCU输入的帧间预测的信息以及来自帧存储器69的参考图像数据，通过执行增强层的帧间预测过程，帧间预测部分90b生成预测图像数据。例如，帧间预测部分90b在每个CU中设置PU并且利用运动信息为所设置的每个PU执行帧间预测。帧间预测部分90b可以利用由公共存储器7存储的缩放比以及基础层的预测块尺寸来确定要在增强层中设置的PU尺寸。然后，帧间预测部分90b把生成的增强层的预测图像数据输出到选择器71。

第一解码部分6a对基础层的图像数据序列执行这里所述的一系列解码过程。第二解码部分6b对增强层的图像数据序列执行这里所述的一系列解码过程。当存在多个增强层时，增强层的解码过程可以重复与增强层数一样多的次数。

[4-2.块设置部分的详细配置]

图20是示出图19所示块设置部分62a和62b的详细配置例子的框图。参考图20，块设置部分62a包括设置控制部分161a和宏块设置部分162a。块设置部分62b包括设置控制部分161b、尺寸设置部分162b以及CU设置部分163b。

(1)基础层的块设置过程

块设置部分62a的设置控制部分161a获取事先由公共存储器7存储的固定的宏块尺寸并且指示宏块设置部分162a利用所获取的尺寸设置宏块。

响应于来自设置控制部分161a的指令，宏块设置部分162a在基础层中设置至少一个宏块。然后，对于所设置的每个宏块，宏块设置部分162a把量化数据输出到逆量化部分63、把关于帧内预测的信息输出到帧内预测部分80a，并且把关于帧间预测的信息输出到帧间预测部分90a。

(2)增强层的块设置过程

块设置部分62b的设置控制部分161b获取由公共存储器7存储的宏块尺寸以及基础层与增强层之间的缩放比。缩放比可以由无损解码部分61b解码的参数直接指示或者可以从两层的分辨率数据计算。然后，设置控制部分161b指示尺寸设置部分162b设置利用宏块尺寸和缩放比确定的LCU尺寸和SCU尺寸。

响应于来自设置控制部分161b的指令，尺寸设置部分162b在增强层中设置LCU尺寸和SCU尺寸。通过根据参考图3A所述的第一种方法用缩放比乘以宏块尺寸，尺寸设置部分162b可以确定性地确定宏块尺寸。作为替代，尺寸设置部分162b可以根据参考图3B所述的第二种方法利用宏块与缩放比之积作为参考来缩小尺寸的候选，然后参考由无损解码部分61b解码的LCU尺寸信息来选择LCU尺寸。

根据参考图4A所述的第一种方法通过用可缩放比乘以事先由公共存储器7存储的子宏块尺寸，尺寸设置部分162b可以确定性地确定SCU尺寸。作为替代，尺寸设置部分162b可以根据参考图4B所述的第二种方法，参考由无损解码部分61b解码的SCU尺寸信息，从等于或小于LCU尺寸的多个尺寸候选中选择SCU尺寸。

通过根据由尺寸设置部分162b设置的LCU尺寸和SCU尺寸以及由无损解码部分61b解码的划分标记来执行对LCU的递归分块，CU设置部分163b在每个LCU中设置CU。然后，对于每个LCU，CU设置部分163b把量化数据输出到逆量化部分63并且把关于帧内预测的信息输出到帧内预测部分80b，并且把关于帧间预测的信息输出到帧间预测部分90b。

[4-3.逆正交变换部分的详细配置]

图21是示出图19所示逆正交变换部分64a和64b的详细配置例子的框图。参考图21，逆正交变换部分64a包括变换控制部分171a、4×4变换部分172a，及8×8变换部分173a。逆正交变换部分64b包括变换控制部分171b、4×4变换部分172b、8×8变换部分173b、16×16变换部分174b，及32×32变换部分175b。

(1)基础层的逆正交变换过程

逆正交变换部分64a的变换控制部分171a利用由无损解码部分61a解码的DCT尺寸信息所指示的DCT尺寸在宏块中设置变换快。变换控制部分171a使4×4变换部分172a和8×8变换部分173a之间对应于所设置的DCT尺寸的变换部分对从逆量化部分63输入的基础层的变换系统数据执行逆正交变换。变换控制部分171a使公共存储器7缓冲指示每个变换块的尺寸的DCT尺寸信息。

当设置具有4×4像素尺寸的变换块时，4×4变换部分172a对这个变换块的变换系数数据执行4×4像素的2维逆DCT。然后，4×4变换部分172a把预测误差数据输出到加法部分65。当设置具有8×8像素尺寸的变换块时，8×8变换部分173a对这个变换块的变换系数数据执行8×8像素的2维逆DCT。然后，8×8变换部分173a把预测误差数据输出到加法部分65。

(2)增强层的逆正交变换过程

逆正交变换部分64b的变换控制部分171b获取由公共存储器7所存储的缩放比和DCT尺寸信息。变换控制部分171b利用通过DCT尺寸和缩放比确定的尺寸在增强层的每个CU中设置TU。

例如，通过根据参考图5A所述的第一种方法用缩放比乘以DCT尺寸，变换控制部分171b可以确定性地确定TU尺寸。作为替代，变换控制部分171b可以根据参考图5B所述的第二种方法，利用DCT尺寸和缩放比之积作为参考来缩小尺寸的候选，然后可以参考由无损解码部分61b解码的TU尺寸信息来选择TU尺寸。变换控制部分171b使4×4变换部分172b、8×8变换部分173b、16×16变换部分174b和32×32变换部分175b当中对应于所设置的TU尺寸的变换部分，对从逆量化部分63输入的增强层的变换系数数据执行逆正交变换。

当设置具有4×4像素尺寸的TU时，4×4变换部分172b对这个TU的变换系统数据执行4×4像素的2维逆DCT。然后，4×4变换部分172b把预测的误差数据输出到加法部分65。当设置具有8×8像素尺寸的TU时，8×8变换部分173b对这个TU的变换系统数据执行8×8像素的2维逆DCT。然后，8×8变换部分173b把预测的误差数据输出到加法部分65。当设置具有16×16像素尺寸的TU时，16×16变换部分174b对这个TU的变换系统数据执行16×16像素的2维逆DCT。然后，16×16变换部分174b把预测的误差数据输出到加法部分65。当设置具有32×32像素尺寸的TU时，32×32变换部分175b对这个TU的变换系统数据执行32×32像素的2维逆DCT。然后，32×32变换部分175b把预测误差数据输出到加法部分65。

[4-4.帧内预测部分的详细配置]

图22是说明图19所示帧内预测部分80a和80b的详细配置例子的框图。参考图22，帧内预测部分80a包括预测控制部分181a、模式获取部分182a，及预测部分183a。帧内预测部分80b包括预测控制部分181b、模式获取部分182b，及预测部分183b。

(1)基础层的帧内预测过程

帧内预测部分80a的预测控制部分181a控制基础层的帧内预测过程。更具体而言，预测控制部分181a利用由无损解码部分61a解码的预测块尺寸信息所指示的尺寸在宏块中设置预测块。模式获取部分182a获取由无损解码部分61a解码的预测模式信息。预测控制部分181a使预测部分183a在由预测模式信息指示的预测模式下执行帧内预测。预测控制部分181a使公共存储器7缓冲指示每个预测块的尺寸的预测块尺寸信息。

在预测模式信息指示的预测模式下，对于预测控制部分181a设置的每个预测块，预测部分183a利用从帧存储器69输入的解码的图像数据生成预测的图像数据。然后，预测部分183a把生成的预测图像数据输出到加法部分65。

(2)增强层的帧内预测过程

帧内预测部分80b的预测控制部分181b控制增强层的帧内预测过程。更具体而言，预测控制部分181b在增强层的每个CU中设置PU。预测控制部分181b获取由公共存储器7存储的缩放比以及基础层的预测块尺寸信息，以确定PU尺寸。预测控制部分181b利用预测块尺寸和缩放比来确定要设置的PU尺寸。

例如，通过根据参考图6A所述的第一种方法，用缩放比乘以预测块尺寸，预测控制部分181b可以确定性地确定PU尺寸。作为替代，预测控制部分181b可以根据参考图6B所述的第二种方法，利用预测块尺寸和缩放比之积作为参考来缩小尺寸的候选范围，然后可以参考由无损解码部分61b解码的PU尺寸信息来选择PU尺寸。

模式获取部分182b获取由无损解码部分61b解码的预测模式信息。在预测模式信息指示的预测模式下，对于由预测控制部分181b设置的每个PU，预测部分183b利用从帧存储器69输入的解码的图像数据生成预测的图像数据。然后，预测部分183b把生成的预测图像数据输出到加法部分65。

[4-5.帧间预测部分的详细配置]

图23是说明图19所示帧间预测部分90a和90b的详细配置例子的框图。参考图23，帧间预测部分90a包括预测控制部分191a、信息获取部分192a，及预测部分193a。帧间预测部分90b包括预测控制部分191b、信息获取部分192b，及预测部分193b。

(1)基础层的帧间预测过程

帧间预测部分90a的预测控制部分191a控制基础层的帧间预测过程。更具体而言，预测控制部分191a利用由无损解码部分61a解码的预测块尺寸信息所指示的尺寸在宏块中设置预测块。信息获取部分192a获取由无损解码部分61a解码的预测模式信息和运动信息。预测控制部分191a使预测部分193a在由预测模式信息指示的预测模式下执行帧间预测。预测控制部分191a使公共存储器7缓冲指示每个预测块的尺寸的预测块尺寸信息(可以包括子宏块类型)。

在由预测模式信息指示的预测模式下，对于由预测控制部分191a设置的每个预测块，预测部分193a利用从帧存储器69输入的运动信息和解码的图像数据来生成预测的图像数据。然后，预测部分193a把生成的预测图像数据输出到加法部分65。

(2)增强层的帧间预测过程

帧间预测部分90b的预测控制部分191b控制增强层的帧间预测过程。更具体而言，预测控制部分191b在增强层的每个CU中设置PU。预测控制部分191b获取由公共存储器7存储的缩放比以及基础层的预测块尺寸信息，以确定PU尺寸。预测控制部分191b利用预测块尺寸和缩放比来确定要设置的PU尺寸。

例如，通过用缩放比乘以预测块尺寸，预测控制部分191b可以确定性地确定PU尺寸。作为替代，预测控制部分191b可以利用预测块尺寸与缩放比之积作为参考来缩小尺寸的候选，然后可以参考由无损解码部分61b解码的PU尺寸信息来选择PU尺寸。关于基础层中对应的预测块，预测控制部分191b可以根据子宏块类型是否存在来缩小尺寸的候选范围，然后可以参考由无损解码部分61b解码的PU尺寸信息来选择PU尺寸。

信息获取部分192b获取由无损解码部分61b解码的运动信息预测模式信息。根据参考图像信息和包括在运动信息中的运动矢量信息，预测部分193b利用从帧存储器69输入的解码的图像数据生成预测的图像数据。然后，预测部分193b把生成的预测图像数据输出到加法部分65。

<5.根据实施例在解码时的过程流>

接下来，将参考图24A至27B描述根据实施例在解码时的过程流。为了描述的简洁，与本公开内容中的技术不直接相关的过程的描述将被忽略。

[5-1.块设置过程]

(1)第一个例子

图24A是示出在解码时增强层中块设置过程流的第一个例子的流程图。图24A所示的块设置过程是根据如参考图3A所述的设置LCU尺寸的第一种方法和如参考图4A所述的设置SCU尺寸的第一种方法的组合的过程。

参考图24A，用于增强层的块设置部分62b的设置控制部分161b首选获取指示基础层的宏块尺寸和子宏块尺寸的块尺寸信息(步骤S160a)。接下来，设置控制部分161b获取基础层与增强层之间的缩放比(步骤S161)。

接下来，通过用缩放比乘以由块尺寸信息指示的宏块尺寸，尺寸设置部分162b确定性地确定增强层的LCU尺寸(步骤S164a)。通过用缩放比乘以由块尺寸信息指示的子宏块尺寸，尺寸设置部分162b确定性地确定增强层的SCU尺寸(步骤S166a)。在步骤S164a和166a中确定的LCU尺寸和SCU尺寸可以在增强层的每个序列中设置。

接下来，尺寸设置部分162b利用在步骤S164a中确定的LCU尺寸在增强层中设置LCU(步骤S167a)。然后，根据由尺寸设置部分162b设置的LCU尺寸和SCU尺寸以及由无损解码部分61b解码的划分标记，通过对LCU执行递归分块，CU设置部分163b在每个LCU中设置CU(步骤S168)。

(2)第二个例子

图24B是示出在解码时增强层中块设置过程流的第二个例子的流程图。图24B中所示的块设置过程是根据如参考图3B所述设置LCU尺寸的第二种方法和如参考图4B所述设置SCU尺寸的第二种方法的组合的过程。

参考图24B，用于增强层的块设置部分62b的设置控制部分161b首选获取指示基础层的宏块尺寸的块尺寸信息(步骤S160b)。接下来，设置控制部分161b获取基础层与增强层之间的缩放比(步骤S161)。然后，设置控制部分161b获取由无损解码部分61b解码的LCU尺寸和SCU尺寸(步骤S162b)。

接下来，利用宏块尺寸与缩放比之积作为参考，尺寸设置部分162b确定LCU尺寸的至少一个候选(步骤S163b)。接下来，尺寸设置部分162b从LCU尺寸的候选中选择由无损解码部分61b解码的参数指定的LCU尺寸(步骤S164b)。然后，尺寸设置部分162b确定等于或小于选定的LCU尺寸的SCU尺寸的至少一个候选(步骤S165b)。接下来，尺寸设置部分162b从SCU尺寸的候选中选择由无损解码部分61b解码的参数指定的SCU尺寸(步骤S166b)。在步骤S164b和步骤S166b中选定的LCU尺寸和SCU尺寸可以在增强层的每个序列中设置。

接下来，尺寸设置部分162b利用在步骤S164b中选定的LCU尺寸在增强层中设置LCU(步骤S167b)。然后，根据由尺寸设置部分162b设置的lCU尺寸和SCU尺寸以及由无损解码部分61b解码的划分标记，通过对LCU指向递归的分块，CU设置部分163b在每个LCU中设置CU(步骤S168)。

[5-2.逆正交变换过程]

(1)第一个例子

图25A是示出在解码时增强层中的逆正交变换过程流的第一个例子的流程图。图25A中所示的正交变换过程是根据参考图5A所述设置TU尺寸的第一种方法的过程。

参考图25A，用于增强层的逆正交变换部分64b的变换控制部分171b首先从公共存储器7获取指示基础层的DCT尺寸的DCT尺寸信息(步骤S170)。接下来，变换控制部分171b获取基础层和增强层之间的缩放比(步骤S171)。

接下来，通过用缩放比乘以DCT尺寸，变换控制部分171b确定性地确定增强层的TU尺寸(步骤S174a)。然后，变换控制部分171b利用所确定的TU尺寸在增强层的每个CU中设置TU(步骤S175a)。

接下来，4×4变换部分172b、8×8变换部分173b、16×16变换部分174b和32×32变换部分175b当中对应于由变换控制部分171b确定的TU尺寸的变换部分对所设置的TU执行逆正交变换(步骤S176)。

(2)第二个例子

图25B是示出在解码时增强层中的逆正交变换过程流的第二个例子的流程图。图25B中所示的正交变换过程是根据参考图5B所述设置TU尺寸的第二种方法的过程。

参考图25B，用于增强层的逆正交变换部分64b的变换控制部分171b首先从公共存储器7获取指示基础层的DCT尺寸的DCT尺寸信息(步骤S170)。接下来，变换控制部分171b获取基础层与增强层之间的缩放比(步骤S171)。然后，变换控制部分171b获取由无损解码部分61b解码的TU尺寸信息(步骤S172)。

接下来，利用DCT尺寸与缩放比之积作为参考，变换控制部分171b确定TU尺寸的至少一个候选(步骤S173)。然后，变换控制部分171b从TU尺寸的候选中选择由TU尺寸信息指定的TU尺寸(步骤S174b)。接下来，变换控制部分171b利用选定的TU尺寸在增强层的每个CU中设置TU(步骤S175b)。

接下来，4×4变换部分172b、8×8变换部分173b、16×16变换部分174b和32×32变换部分175b当中对应于由变换控制部分171b选择的TU尺寸的变换部分对所设置的TU执行逆正交变换(步骤S176)。

[5-3.帧内预测过程]

(1)第一个例子

图26A是示出在解码时增强层中的帧内预测过程流的第一个例子的流程图。图26A中所示的帧内预测过程是根据参考图6A所述设置PU尺寸的第一种方法的过程。

参考图26A，用于增强层的帧内预测部分80b的预测控制部分181b首先从公共存储器7获取指示基础层的预测块尺寸的预测块尺寸信息(步骤S180)。接下来，预测控制部分181b获取基础层与增强层之间的缩放比(步骤S181)。

接下来，通过用缩放比乘以预测块尺寸，预测控制部分181b确定性地确定增强层的PU尺寸(步骤S184a)。然后，预测控制部分181b利用所确定的PU尺寸在增强层的每个CU中设置PU(步骤S185a)。

接下来，关于由预测控制部分181b设置的PU，模式获取部分182b获取由无损解码部分61b解码的预测模式信息(步骤S186)。然后，根据由预测模式信息指示的预测模式，预测部分183b对由预测控制部分181b设置的PU执行帧内预测(步骤S187)。

(2)第二个例子

图26B是示出在解码时增强层中的帧内预测过程流的第二个例子的流程图。图26B中所示的帧内预测过程是根据参考图6B所述设置PU尺寸的第二种方法的过程。

参考图26B，用于增强层的帧内预测部分80b的预测控制部分181b首先从公共存储器7获取指示基础层的预测块尺寸的预测块尺寸信息(步骤S180)。接下来，预测控制部分181b获取基础层与增强层之间的缩放比(步骤S181)。然后，预测控制部分181b获取由无损解码部分61b解码的PU尺寸信息(步骤S182)。

接下来，利用预测块尺寸与缩放比之积作为参考，预测控制部分181b确定PU尺寸的至少一个候选(步骤S183)。然后，预测控制部分181b从PU尺寸的候选中选择由PU尺寸信息指定的PU尺寸(步骤S184b)。接下来，预测控制部分181b利用选定的PU尺寸在增强层的每个CU中设置PU(步骤S185b)。

接下来，关于由预测控制部分181b设置的PU，模式获取部分182b获取由无损解码部分61b解码的预测模式信息(步骤S186)。然后，根据由预测模式信息指示的预测模式，预测部分183b对由预测控制部分181b设置的PU执行帧内预测(步骤S187)。

[5-4.帧间预测过程]

(1)第一个例子

图27A是示出在解码时增强层中的帧间预测过程流的第一个例子的流程图。图27A中所示的帧间预测过程是其中参考图6A所述设置PU尺寸的第一种方法用于帧间预测的过程。

参考图27A，用于增强层的帧间预测部分90b的预测控制部分191b首先从公共存储器7获取指示基础层的预测块尺寸的预测块尺寸信息(步骤S190a)。接下来，预测控制部分191b获取基础层与增强层之间的缩放比(步骤S191)。

接下来，通过用缩放比乘以预测块尺寸，预测控制部分191b确定性地确定增强层的PU尺寸(步骤S194a)。然后，预测控制部分191b利用所确定的PU尺寸在增强层的每个CU中设置PU(步骤S195a)。

接下来，对于由预定控制部分191b设置的PU，信息获取部分192b获取由无损解码部分61b解码的预测模式信息和运动信息(步骤S196)。然后，根据由预测模式信息指示的预测模式，预测部分193b利用运动信息对由预测控制部分191b设置的PU执行帧间预测(步骤S197)。

(2)第二个例子

图27B是示出在解码时增强层中的帧间预测过程流的第二个例子的流程图。图27B中所示的帧间预测过程是根据参考图7B所述设置PU尺寸的第三种方法的过程。

参考图27B，用于增强层的帧间预测部分90b的预测控制部分191b首先从公共存储器7获取包括在基础层的对应预测块中指定的子宏块类型在内的预测块尺寸信息(步骤S190b)。接下来，预测控制部分191b获取基础层与增强层之间的缩放比(步骤S191)。然后，预测控制部分191b获取由无损解码部分61b解码的PU尺寸信息(步骤S192)。

接下来，参考子宏块类型，预测控制部分191b确定PU尺寸的至少一个候选(步骤S193)。然后，预测控制部分191b从PU尺寸的候选中选择由PU尺寸信息指定的PU尺寸(步骤S194b)。接下来，预测控制部分191b利用选定的PU尺寸在增强层的每个CU中设置PU(步骤S195b)。

接下来，对于由预定控制部分191b设置的PU，信息获取部分192b获取由无损解码部分61b解码的预测模式信息和运动信息(步骤S196)。然后，根据由预测模式信息指示的预测模式，预测部分193b利用运动信息对由预测控制部分191b设置的PU执行帧间预测(步骤S197)。

<6.示例应用>

[6-1.对各种产品的应用]

根据上述实施例的图像编码设备10和图像解码设备60可以应用到各种电子用具，诸如用于卫星广播、诸如有线电视的有线广播、在互联网上分发的、经蜂窝通信分发到终端等的发送器和接收器，在诸如光盘、磁盘或闪存存储器之类的介质中记录图像的记录设备，从这种存储介质再现图像的再现设备，等等。以下将描述四个示例应用。

(1)第一个应用例子

图28是说明应用上述实施例的电视机设备的示意性配置例子的图。电视机设备900包括天线901、调谐器902、多路分解器903、解码器904、视频信号处理单元905、显示器906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911以及总线912。

调谐器902从通过天线901接收到的广播信号提取期望频道的信号并且解调提取出的信号。然后，调谐器902把通过解调获得的编码位流输出到多路分解器903。即，在电视机设备900中，调谐器902具有作为接收图像在其中编码的编码流的传输装置的角色。

多路分解器903从编码位流隔离要观看的节目中的视频流和音频流并且把隔离出的每个流输出到解码器904。多路分解器903还从编码位流提取诸如EPG(电子节目指南)的辅助数据并且把提取出的数据提供给控制单元910。在这里，在编码位流被加扰时，多路分解器903可以对其解扰。

解码器904解码从多路分解器903输入的视频流和音频流。然后，解码器904把由解码过程生成的视频数据输出到视频信号处理单元905。此外，解码器904把由解码过程生成的音频数据输出到音频信号处理单元907。

视频信号处理单元905再现从解码器904输入的视频数据并且在显示器906上显示该视频。视频信号处理单元905还可以在显示器906上显示通过网络提供的应用屏幕。视频信号处理单元905还可以根据设置对视频数据执行诸如噪声减小之类的附加过程。此外，视频信号处理单元905可以生成诸如菜单、按钮或光标之类的GUI(图形用户接口)的图像并且把生成的图像叠加到输出图像上。

显示器906利用从视频信号处理单元905提供的驱动信号驱动并且在显示设备(诸如液晶显示器、等离子体显示器或者OELD(有机电致发光显示器))的视频屏幕上显示视频或图像。

音频信号处理单元907对从解码器904输入的音频数据执行诸如D/A转换和放大之类的再现过程并且从扬声器908输出音频。音频信号处理单元907还可以对音频数据执行诸如噪声减小之类的附加过程。

外部接口909是把电视机设备900与外部设备或网络连接的接口。例如，解码器904可以解码通过外部接口909接收到的视频流或音频流。这意味着，在电视机设备900中，外部接口909也具有作为接收图像在其中编码的编码流的传输装置的角色。

控制单元910包括诸如中央处理单元(CPU)的处理器以及诸如RAM和ROM的存储器。存储器存储由CPU执行的程序、节目数据、EPG数据，以及通过网络获取的数据。例如，存储在存储器中的程序在电视机设备900启动时被读取，并且被执行。例如，通过执行程序，根据从用户接口911输入的操作信号，CPU控制电视机设备900的操作。

用户接口911连接到控制单元910。例如，用户接口911包括让用户操作电视机设备900的按钮和开关以及接收遥控信号的接收部分。用户接口911通过这些部件检测用户操作、生成操作信号并且把生成的操作信号输出到控制单元910。

总线912把调谐器902、多路分解器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909以及控制单元910相互连接。

具有这种配置的电视机设备900中，解码器904具有根据上述实施例的图像解码设备60的功能。因而，由于电视机设备900中图像的多个编解码器的可缩放解码，通过采用在增强层中设置块的改进结构，编码效率可以提高。

(2)第二个应用例子

图29是说明应用上述实施例的移动电话的示意性配置例子的图。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、相机单元926、图像处理单元927、多路分解单元928、记录/再现单元929、显示器930、控制单元931、操作单元932，以及总线933。

天线921连接到通信单元922。扬声器924和麦克风925连接到音频编解码器923。操作单元932连接到控制单元931。总线933把通信单元922、音频编解码器923、相机单元926、图像处理单元927、多路分解单元928、记录/再现单元929、显示器930及控制单元931相互连接。

移动电话920执行诸如以下的操作：发送/接收音频信号、发送/接收电子邮件或图像数据、把图像成像，或者在包括音频呼叫模式、数据通信模式、摄影模式和视频电话模式的各种操作模式下记录数据。

在音频呼叫模式下，由麦克风925生成的模拟音频信号供给音频编解码器923。然后，音频编解码器923把模拟音频信号转换成音频数据、对转换后的音频数据执行A/D转换，并且压缩数据。其后，音频编解码器923把压缩的音频数据输出到通信单元922。通信单元922编码并调制音频数据，以生成传输信号。然后，通信单元922把生成的传输信号通过天线921发送到基站(未示出)。此外，通信单元922放大通过天线921接收到的无线电信号、转换信号的频率，并且获取接收信号。其后，通信单元922解调并解码接收信号，以生成音频数据并把生成的音频数据输出到音频编解码器923。音频编解码器923扩大音频数据、对数据执行D/A转换，并且生成模拟音频信号。然后，音频编解码器923通过把生成的音频信号供给扬声器924来输出音频。

在数据通信模式下，例如，根据通过操作单元932的用户操作，控制单元931生成配置电子邮件的字符数据。控制单元931还在显示器930上显示字符。而且，控制单元931根据通过操作单元932来自用户的传输指令生成电子邮件数据并且把生成的电子邮件数据输出到通信单元922。通信单元922编码并调制电子邮件数据，以生成传输信号。然后，通信单元922把生成的传输信号通过天线921发送到基站(未示出)。通信单元922还放大通过天线921接收到的无线电信号、转换信号的频率，并且获取接收信号。其后，通信单元922解调并解码接收信号、恢复电子邮件数据，并且把恢复后的电子邮件数据输出到控制单元931。控制单元931在显示器930上显示电子邮件的内容并且在记录/再现单元929的存储介质中存储电子邮件数据。

记录/再现单元929包括可读并且可写的任意存储介质。例如，存储介质可以是内置的存储介质，诸如RAM或闪存存储器，或者可以是外部安装的存储介质，诸如硬盘、磁盘、磁光盘、光盘、USB(未分配空间位图)存储器或存储卡。

在摄影模式下，例如，相机单元926把对象成像、生成图像数据，并且把生成的图像数据输出到图像处理单元927。图像处理单元927编码从相机单元926输入的图像数据并且在存储/再现单元929的存储介质中存储编码流。

在视频电话模式下，例如，多路分解单元928多路复用由图像处理单元927编码的视频流和从音频编解码器923输入的音频流，并且把多路复用的流输出到通信单元922。通信单元922编码并调制该流，以生成传输信号。通信单元922随后把生成的传输信号通过天线921发送到基站(未示出)。而且，通信单元922放大通过天线921接收到的无线电信号、转换信号的频率，并且获取接收信号。传输信号和接收信号可以包括编码的位流。然后，通信单元922解调并解码接收信号，以恢复该流，并且把恢复后的流输出到多路分解单元928。多路分解单元928从输入流隔离视频流和音频流并且把视频流和音频流分别输出到图像处理单元927和音频编解码器923。图像处理单元927解码视频流，以生成视频数据。然后，视频数据被提供给显示器930，该显示器显示一系列图像。音频编解码器923扩大音频流并对其执行D/A转换，以生成模拟音频信号。然后，音频编解码器923把生成的音频信号供给扬声器924，以输出音频。

移动电话920中以上述方式配置的图像处理单元927具有根据上述实施例的图像编码设备10和图像解码设备60的功能。因此，针对移动电话920进行的图像的多编解码器可缩放视频编码和解码，通过采用在增强层中设置块的改进系统，编码效率可以提高。

(3)第三个应用例子

图30是说明应用上述实施例的记录/再现设备940的示意性配置例子的图。例如，记录/再现设备940编码接收到的广播节目的音频数据和视频数据并且把数据记录到记录介质中。例如，记录/再现设备940还可以编码从另一设备获取的音频数据和视频数据并且把数据记录到记录介质中。响应于用户指令，例如，记录/再现设备940在监视器和扬声器上再现记录介质中所记录的数据。这个时候，记录/再现设备940解码音频数据和视频数据。

记录/再现设备940包括调谐器941、外部接口942、编码器943、HDD(硬盘驱动器)944、盘驱动器945、选择器946、解码器947、OSD(屏幕显示)948、控制单元949，以及用户接口950。

调谐器941从通过天线(未示出)接收到的广播信号提取期望频道的信号并且解调提取出的信号。然后，调谐器941把通过解调获得的编码位流输出到选择器946。即，在记录/再现设备940中，调谐器941具有作为传输装置的角色。

外部接口942是连接记录/再现设备940与外部设备或网络的接口。外部接口942可以是，例如，IEEE 1394接口、网络接口、USB接口，或闪存存储器接口。例如，通过外部接口942接收到的视频数据和音频数据输入到编码器943。即，在记录/再现设备940中，外部接口942具有作为传输装置的角色。

当从外部接口942输入的视频数据和音频数据未编码时，编码器943编码视频数据和音频数据。其后，编码器943把编码位流输出到选择器946。

HDD 944把编码位流、各种程序及其它数据记录到内部硬盘中，其中诸如视频和音频的内容数据在编码位流中压缩。当再现视频和音频时，HDD 944从硬盘读取这些数据。

盘驱动器945把数据记录到安装到盘驱动器的记录介质/从该介质读取数据。安装到盘驱动器945的记录介质可以是，例如，DVD盘(诸如DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R或者DVD+RW)或者Blue-ray(注册商标)盘。

当记录视频和音频时，选择器946选择从调谐器941或编码器943输入的编码位流，并且把选定的编码位流输出到HDD 944或盘驱动器945。另一方面，当再现视频和音频时，选择器946把从HDD 944或盘驱动器945输入的编码位流输出到解码器947。

解码器947解码编码位流，以生成视频数据和音频数据。然后，解码器947把生成的视频数据输出到OSD 948并把生成的音频数据输出到外部扬声器。

OSD 948再现从解码器947输入的视频数据并显示该视频。OSD 948还可以把诸如菜单、按钮或光标之类的GUI的图像叠加到所显示的视频上。

控制单元949包括诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储由CPU执行的程序以及节目数据。例如，在记录/再现设备940启动时，存储在存储器中的程序被CPU读取，并且被执行。例如，通过执行该程序，CPU根据从用户接口950输入的操作信号控制记录/再现设备940的操作。

用户接口950连接到控制单元949。例如，用户接口950包括让用户操作记录/再现设备940的按钮和开关以及接收遥控信号的接收部分。用户接口950通过这些部件检测用户操作、生成操作信号，并且把生成的操作信号输出到控制单元949。

记录/再现设备940中以上述方式配置的编码器943具有根据上述实施例的图像编码设备10的功能。另一方面，解码器947具有根据上述实施例的图像解码设备60的功能。因此，对于记录/再现设备940进行的图像的多编解码器可缩放视频编码和解码，通过采用在增强层中设置块的改进系统，编码效率可以提高。

(4)第四种应用例子

图31示出应用上述实施例的图像捕捉设备的示意性配置的例子。成像设备960把对象成像、生成图像、编码图像数据，并且把数据记录到记录介质中。

成像设备960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示器965、外部接口966、存储器967、介质驱动器968、OSD 969、控制单元970、用户接口971，以及总线972。

光学块961连接到成像单元962。成像单元962连接到信号处理单元963。显示器965连接到图像处理单元964。用户接口971连接到控制单元970。总线972把图像处理单元964、外部接口966、存储器967、介质驱动器968、OSD 969和控制单元970相互连接。

光学块961包括聚焦透镜和光圈机制。光学块961在成像单元962的成像表面上形成对象的光学图像。成像单元962包括诸如CCD(电荷耦合设备)或CMOS(互补金属氧化物半导体)的图像传感器并且执行光电转换，以便把在成像表面上形成的光学图像转换成作为电信号的图像信号。随后，成像单元962把图像信号输出到信号处理单元963。

信号处理单元963对从成像单元962输入的图像信号执行各种相机信号处理，诸如膝关节校正、伽玛校正和颜色校正。信号处理单元963把已经对其执行了相机信号处理的图像数据输出到图像处理单元964。

图形处理单元964编码从信号处理单元963输入的图像数据并且生成编码的数据。然后，图像处理单元964把生成的编码数据输出到外部接口966或介质驱动器968。图像处理单元964还解码从外部接口966或介质驱动器968输入的编码数据，以生成图像数据。然后，图像处理单元964把生成的图像数据输出到显示器965。而且，图像处理单元964可以把从信号处理单元963输入的图像数据输出到显示器965，以显示该图像。此外，图像处理单元964可以把从OSD 969获取的显示数据叠加到在显示器965上输出的图像上。

OSD 969生成诸如菜单、按钮或光标之类的GUI的图像并且把生成的图像输出到图像处理单元964。

例如，外部接口966配置为USB输入/输出终端。例如，当打印图像时，外部接口966连接成像设备960和打印机。而且，驱动器根据需要连接到外部接口966。诸如磁盘或光盘的移动介质安装到驱动器，例如，使得从移动介质读出的程序可以安装到成像设备960。外部接口966还可以配置为连接到诸如LAN或互联网之类的网络的网络接口。即，成像设备960中，外部接口966具有作为传输装置的角色。

安装到介质驱动器968的记录介质可以是可读并且可写的任意移动介质，诸如磁盘、磁光盘、光盘，或半导体存储器。此外，例如，记录介质可以固定地安装到介质驱动器968，使得诸如内置硬盘驱动器或SSD(固态驱动器)的不可移动存储单元得以配置。

控制单元970包括诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储由CPU执行的程序以及节目数据。在成像设备960启动时，存储在存储器中的程序被CPU读取，然后被执行。例如，通过执行该程序，CPU根据从用户接口971输入的操作信号控制成像设备960的操作。

用户接口971连接到控制单元970。例如，用户接口971包括让用户操作成像设备960的按钮和开关。用户接口971通过这些部件检测用户操作、生成操作信号并且把生成的操作信号输出到控制单元970。

成像设备960中以上述方式配置的图像处理单元964具有根据上述实施例的图像编码设备10和图像解码设备60的功能。因此，对于成像设备960进行的图像的多编解码器可缩放视频编码和解码，通过采用在增强层中设置块的改进系统，编码效率可以提高。

[6-2.可缩放视频编码的各种用途]

上述可缩放视频编码的优点可以在各种用途中享有。以下将描述这些用途的例子。

(1)第一个例子

第一个例子中，可缩放视频编码用于数据的选择性传输。参考图32，数据传输系统1000包括流存储设备1001和输送服务器1002。输送服务器1002经网络1003连接到一些终端设备。网络1003可以是有线网络或无线网络或者其组合。作为终端设备的例子，图32示出了PC(个人计算机)1004、AV设备1005、平板设备1006，以及移动电话1007。

流存储设备1001存储例如流数据1011，包括图像编码设备10生成的多路复用的流。多路复用的流包括基础层(BL)的编码流和增强层(EL)的编码流。输送服务器1002读取存储在流存储设备1001中的流数据1011并且把读出的流数据1011的至少一部分经网络1003输送到PC 1004、AV设备1005、平板设备1006以及移动电话1007。

当流输送到终端设备时，输送服务器1002基于某种条件，诸如终端设备的能力或者通信环境，选择要输送的流。例如，通过不输送具有超过可以被终端设备处理的图像质量的高图像质量的编码流，输送服务器1002可以避免终端设备中的延迟或者处理器的过流或过载的发生。通过不输送具有高图像质量的编码流，输送服务器1002还可以避免网络1003的通信频带的占用。另一方面，当不存在要避免的风险、或者基于用户的合同或某种条件被认为合适时，输送服务器1002可以把整个多路复用的流输送到终端设备。

图32的例子中，输送服务器1002从流存储设备1001读取流数据1011。然后，输送服务器1002把流数据1011直接输送到具有高处理能力的PC 1004。因为AV设备1005具有低处理能力，所以输送服务器1002生成从流数据1011中提取出的、只包含基础层的编码流的流数据1012并且把流数据1012输送到AV设备1005。输送服务器1002把流数据1011直接输送到能够以高通信速率通信的平板设备1006。因为移动电话1007可以以低通信速率通信，所以输送服务器1002把只包含基础层的编码流的流数据1012输送到移动电话1007。

通过以这种方式使用多路复用的流，要发送流量的量可以适应性地调节。当与每层都独立编码时的情况相比时，流数据1011的代码量减少，因此，即使整个流数据1011都输送，网络1003上的负载也可以减小。此外，节约了流存储设备1001的存储器资源。

终端设备的硬件性能每个设备都有所不同。此外，在终端设备上运行的应用能力是不同的。次外，网络1003的通信能力是变化的。可用于数据传输的能力会由于其它流量而在每个时刻变化。因此，在开始流数据的输送之前，输送服务器1002可以通过与输送目的地终端设备的信令来获取关于终端设备的硬件性能和应用能力的终端信息以及关于网络1003的通信能力的网络信息。然后，输送服务器1002可以基于所获取的信息选择要输送的流。

顺便提及，要解码的层可以由终端设备提取。例如，PC 1004可以在其屏幕上显示基础层图像，该基础层图像从接收到的多路复用流提取并解码。通过从接收到的多路复用流提取基础层的编码流而生成流数据1012之后，PC 1004可以使存储介质存储流数据1012或者把流数据传送到另一设备。

图32所示数据传输系统1000的配置仅仅是例子。数据传输系统1000可以包括任何数量的流存储设备1001、输送服务器1002、网络1003以及终端设备。

(2)第二个例子

第二个例子中，可缩放视频编码用于数据经多个通信通道的传输。参考图33，数据传输系统1100包括广播站1101和终端设备1102。广播站1101在地面频道1111上广播基础层的编码流1121。广播站1101还经网络1112向终端设备1102广播增强层的编码流1122。

终端设备1102具有经地面频道1111接收由广播站1101广播的地面广播并且接收基础层的编码流1121的接收功能。终端设备1102还具有经网络1112与广播站1101通信并且接收增强层的编码流1122的通信功能。

接收到基础层的编码流1121之后，例如，响应于用户的指令，终端设备1102可以从接收到的编码流1121解码基础层图像、并且在屏幕上显示基础层图像。或者，终端设备1102可以使存储介质存储解码的基础层图像或者把基础层图像传送到另一设备。

经网络1112接收到增强层的编码流1122之后，例如，响应于用户的指令，终端设备1102可以通过多路复用基础层的编码流1121和增强层的编码流1122来生成多路复用流。终端设备1102还可以从增强层的编码流1122解码增强图像，以便在屏幕上显示增强图像。或者，终端设备1102可以使存储介质存储解码的增强层图像或者把增强层图像传送到另一设备。

如上所述，多路复用流中所包含的每一层的编码流可以经用于每一层的不同通信通道发送。因此，通信延迟或者过载(overflow)的出现可以通过在各个通道上分布负载来减少。

用于传输的通信通道可以根据某种条件动态地选择。例如，其数据量相对大的基础层的编码流1121可以经具有较宽带宽的通信通道来发送并且其数据量相对小的增强层的编码流1122可以经具有较窄带宽的通信通道来发送。特定层的编码流1122在其上发送的通信通道可以根据通信通道的带宽来切换。因此，各个通道上的负载可以更有效地减小。

图33所示数据传输系统1100的配置仅仅是例子。数据传输系统1100可以包括任何数量的通信通道和终端设备。这里所述的系统的配置也可以应用到除广播之外的其它用途。

(3)第三个例子

第三个例子中，可缩放视频编码用于视频存储。参考图34，数据传输系统1200包括成像设备1201和流存储设备1202。成像设备1201可缩放编码由被成像的主体1211生成的图像数据，以生成多路复用流1221。多路复用流1221包括基础层的编码流和增强层的编码流。然后，成像设备1201把多路复用流1221供给流存储设备1202。

按照用于每种模式的不同图像质量，流存储设备1202存储从成像设备1201提供的多路复用流1221。例如，流存储设备1202在正常模式下从多路复用流1221提取基础层的编码流1222并且存储提取出的基础层的编码流1222。作为对比，在高质量模式下，流存储设备1202照原样存储多路复用流1221。因此，只有当期望高质量的视频记录时，流存储设备1202才会存储具有大量数据的高质量流。因此，存储器资源可以节约，同时，图像降级对用户的影响也得到了控制。

例如，假设成像设备1201是监控相机。当没有监控对象(例如，没有入侵者)出现在捕捉到的图像中时，选择正常模式。这种情况下，捕捉到的图像有可能是不重要的并且优先级给予数据量的减少，因此视频以低图像质量记录(即，只存储基础层的编码流1222)。相反，当监控对象(例如，作为入侵者的主体1211)出现在捕捉到的图像中时，选择高质量模式。这种情况下，捕捉到的图像有可能是重要的并且优先级给予高图像质量，因此视频以高图像质量记录(即，存储多路复用流1221)。

图34的例子中，模式是由流存储设备1202基于例如图像分析结果来选择的。但是，本实施例不限于这种例子并且成像设备1201可以选择模式。后一种情况下，成像设备1201可以在正常模式下把基础层的编码流1222提供给流存储设备1202并且在高质量模式下把多路复用流1221提供给流存储设备1202。

选择模式的选择标准可以是任何标准。例如，模式可以根据通过麦克风获取的语音音量或者语音的波形来切换。模式还可以周期性地切换。而且，模式可以响应于用户指令来切换。此外，可选择的模式的数量可以是任何数量，只要没超过分级层的个数就可以。

图34所示数据传输系统1200的配置仅仅是例子。数据传输系统1200可以包括任何数量的成像设备1201。这里所述的系统的配置也可以应用到除监控相机之外的其它用途。

[6-3.其它]

(1)对多视点编解码器的应用

多视点编解码器是一种多层编解码器并且是编码和解码所谓多视点视频的图像编码系统。图35是说明多视点编解码器的解释性图。参考图35，示出了从三个视点捕捉的三个视图帧的序列。视图ID(view_id)附连到每个视图。多个这些视图之中，一个视图被规定为基础视图。除基础视图之外的其它视图被称为非基础视图。在图35的例子中，其视图ID为“0”的视图是基础视图，而其视图ID为“1”或“2”的两个视图是非基础视图。当这些视图被分级编码时，每个视图可以对应于一个层。如图35中的箭头所指示的，非基础视图的图像是通过参考基础视图的图像来编码和解码的(其它非基础视图的图像也可以参考)。

图36是示出支持多视点编解码器的图像编码设备10v的示意性配置的框图。参考图36，图像编码设备10v包括第一层编码部分1c、第二层编码部分1d、公共存储器2，以及多路复用部分3。

第一层编码部分1c的功能与利用图8描述的第一编码部分1a的功能相同，除了不是基础层图像、而是基础视图图像被接收作为输入之外。第一层编码部分1c编码基本视图图像，以生成第一层的编码流。第二层编码部分1d的功能与利用图8描述的第二编码部分1b的功能相同，除了不是增强层图像、而是非基础视图图像被接收作为输入之外。第二层编码部分1d编码非基础视图图像，以生成第二层的编码流。公共存储器2存储在层之间公共使用的信息。多路复用部分3多路复用由第一层编码部分1c生成的第一层的编码流和由第二层编码部分1d生成的第二层的编码流，以生成多层的多路复用流。

图37是示出支持多视点编解码器的图像解码设备60v的示意性配置的框图。参考图37，图像解码设备60v包括多路分解部分5、第一层解码部分6c、第二层解码部分6d，以及公共存储器7。

多路分解部分5把多层的多路复用流多路分解成第一层的编码流和第二层的编码流。第一层解码部分6c的功能与利用图9描述的第一解码部分6a的功能相同，除了不是基础层图像、而是基础视图图像被接收作为输入的编码流之外。第一层解码部分6c从第一层的编码流解码基本视图图像。第二层解码部分6d的功能与利用图9描述的第二解码部分6b的功能相同，除了不是增强层图像、而是非基础视图图像被接收作为输入的编码流之外。第二层解码部分6d从第二层的编码流解码非基础视图图像。公共存储器7存储在各层之间公共使用的信息。

当多视点图像数据被编码或解码时，通过本公开内容中的技术在非基础视图的各层中设置块，编码效率可以增加。

(2)对流化技术的应用

本公开内容中的技术还可以应用到流化协议。在MPEG-DASH(经HTTP的动态适应性流化)中，例如，具有相互不同的参数(诸如分辨率)的多个编码流由流服务器事先准备。然后，流化服务器从多个编码流动态地选择适当的数据用于流化，并且输送选定的数据。这种流化协议中，本公开内容中的技术可以适用。

<7.结论>

以上参考图1至37描述了图像编码设备10和图像解码设备60的各种实施例。根据上述实施例，根据在多编解码器的可缩放视频编码中基础层中设置的块尺寸，基础层利用宏块基础的图像编码方案编码并且在增强层中设置CU，其中在多编解码器中，增强层是利用接受递归分块的CU基础的图像编码方案编码的。因此，与在增强层中从头开始形成四叉树结构的方法相比，可以实现高编码效率。

根据上述实施例，CU的最大尺寸(即，LCU尺寸)是利用基础层中的块尺寸以及各层之间的缩放比来确定的。另一方面，在LCU中分块成CU不必依赖于基础层中的块尺寸。因此，保持四叉树结构灵活性的优点的同时，增强层的编码效率可以优化，而不会用基础层的晶格形式限制HEVC的独特的宏块结构。当LCU尺寸利用宏块尺寸和缩放比来确定性地被确定时，增强层中的块尺寸信息可以不编码，由此减少编码量。此外，当LCU尺寸的候选利用宏块尺寸与缩放比之积作为参考来缩小时，LCU尺寸设置的灵活性也可以与减少编码量的优点同时获得。

本文主要描述的是其中各种信息片段，诸如关于帧内预测的信息和关于帧间预测的信息，多路复用到编码流的首部并且从编码侧发送到解码侧的例子。但是，发送这些信息片段的方法不限于这种例子。例如，这些信息片段可以作为与编码位流关联的独立数据被发送或记录，而不多路复用到编码位流。这里，术语“关联”意味着允许位流中所包括的图像(可以是图像的一部分，诸如一条或一块)和对应于当前图像的信息在解码时建立链接。即，信息可以在与图像(或者位流)不同的传输路径上发送。信息还可以在与图像(或者位流)不同的记录介质(或者相同记录介质的不同记录区域)上记录。此外，信息和图像(或者位流)可以通过任意单元，诸如多个帧、一个帧或者帧中的一部分，彼此关联。

以上已经参考附图描述了本公开内容的优选实施例，但是本公开内容当然不限于以上的例子。本领域技术人员可以发现在所附权利要求范围之内的各种变更和修改，并且应当理解，它们将自然属于本公开内容的技术范围。

此外，本技术还可以如下配置。

(1)图像处理装置，包括：

第一设置部分，配置为在利用第一编码方案解码的基础层中设置宏块，其中第一编码方案基于具有固定尺寸的宏块；及

第二设置部分，配置为根据由第一设置部分设置的块尺寸、在利用第二编码方案解码的增强层中设置编码单位，其中第二编码方案基于接受递归分块的编码单位。

(2)根据(1)的图像处理装置，其中第二设置部分利用宏块尺寸以及各层之间的缩放比来确定编码单位的尺寸。

(3)根据(2)的图像处理装置，其中第二设置部分通过用缩放比乘以宏块尺寸来确定编码单位的最大尺寸。

(4)根据(2)的图像处理装置，其中第二设置部分确定选自多个尺寸中的一个尺寸为编码单位的最大尺寸，其中所述多个尺寸的范围是根据从编码流获取的参数利用宏块尺寸和缩放比之积作为参考来缩小的。

(5)根据(3)或(4)的图像处理装置，其中第二设置部分通过用缩放比乘以子宏块尺寸来确定编码单位的最小尺寸。

(6)根据(3)或(4)的图像处理装置，其中第二设置部分根据从编码流获取的参数来确定编码单位的最小尺寸。

(7)根据(2)至(6)中任何一项的图像处理装置，还包括：

第一预测部分，配置为在基础层中设置第一预测块，并且对第一预测块执行帧内预测或帧间预测；及

第二预测部分，配置为利用第一预测块的尺寸以及缩放比在增强层中设置对应于第一预测块的第二预测块，并且对第二预测块执行帧内预测或帧间预测。

(8)根据(7)的图像处理装置，其中第二预测部分通过用缩放比乘以由第一预测部分设置的第一预测块的尺寸来确定第二预测块的尺寸。

(9)根据(7)的图像处理装置，其中第二预测部分确定选自多个尺寸中的一个尺寸为第二预测块的尺寸，其中所述多个尺寸的范围是根据从编码流获取的参数、利用由第一预测块设置的第一预测块的尺寸和缩放比之积作为参考来缩小的。

(10)根据(7)的图像处理装置，

其中第一和第二预测部分执行帧间预测，及

其中第二预测部分确定选自多个尺寸中的一个尺寸为第二预测块的尺寸，其中所述多个尺寸范围是根据从编码流获取的参数、判断在设置第一预测块时第一预测部分是否使用子宏块分割来缩小的。

(11)根据(2)至(10)中任何一项的图像处理装置，还包括：

第一变换部分，配置为在基础层中设置第一变换块，并且对第一变换块执行逆正交变换；及

第二变换部分，配置为利用第一变换块的尺寸以及缩放比在增强层中设置对应于第一变换块的第二变换块，并且对第二变换块执行逆正交变换。

(12)根据(11)的图像处理装置，其中第二变换部分通过用缩放比乘以由第一变换部分设置的第一变换块的尺寸来确定第二变换块的尺寸。

(13)根据(11)的图像处理装置，其中第二变换部分确定选自多个尺寸中的一个尺寸作为第二变换块的尺寸，其中所述多个尺寸的范围是根据从编码流获取的参数、利用由第一变换部分设置的第一变换块的尺寸和缩放比之积作为参考来缩小的。

(14)一种图像处理方法，包括：

在利用第一编码方案解码的基础层中设置宏块，其中第一编码方案基于具有固定尺寸的宏块；及

根据在基础层中设置的块尺寸、在利用第二编码方案解码的增强层中设置编码单位，其中第二编码方案基于接受递归分块的编码单位。

(15)一种图像处理装置，包括：

第一设置部分，配置为在利用第一编码方案编码的基础层中设置宏块，其中第一编码方案基于具有固定尺寸的宏块；及

第二设置部分，配置为根据由第一设置部分设置的块尺寸、在利用第二编码方案编码的增强层中设置编码单位，其中第二编码方案基于接受递归分块的编码单位。

(16)根据(15)的图像处理装置，其中第二设置部分利用宏块尺寸以及各层之间的缩放比来确定编码单位的尺寸。

(17)根据(16)的图像处理装置，其中第二设置部分通过用缩放比乘以宏块尺寸来确定编码单位的最大尺寸。

(18)根据(17)的图像处理装置，其中第二设置部分通过用缩放比乘以子宏块尺寸来确定编码单位的最小尺寸。

(19)根据(17)的图像处理装置，其中第二设置部分生成参数以指示被选作编码单位最小尺寸的尺寸。

(20)一种图像处理方法，包括：

在利用第一编码方案编码的基础层中设置宏块，其中第一编码方案基于具有固定尺寸的宏块；及

根据在基础层中设置的块尺寸、在利用第二编码方案编码的增强层中设置编码单位，其中第二编码方案基于接受递归分块的编码单位。

标号列表

10    图像编码设备(图像处理装置)

12a   块设置部分(第一设置部分)

12b   块设置部分(第二设置部分)

14a   正交变换部分(第一变换部分)

14b   正交变换部分(第二变换部分)

30a   帧内预测部分(第一预测部分)

30b   帧内预测部分(第二预测部分)

40a   帧间预测部分(第一预测部分)

40b   帧间预测部分(第二预测部分)

60    图像解码设备(图像处理装置)

62a   块设置部分(第一设置部分)

62b   块设置部分(第二设置部分)

64a   逆正交变换部分(第一变换部分)

64b   逆正交变换部分(第二变换部分)

80a   帧内预测部分(第一预测部分)

80b   帧内预测部分(第二预测部分)

90a   帧间预测部分(第一预测部分)

90b   帧间预测部分(第二预测部分)

Claims (20)

1.一种图像处理装置，包括：

第一设置部分，配置为在利用第一编码方案解码的基础层中设置宏块，其中第一编码方案基于具有固定尺寸的宏块；及

第二设置部分，配置为根据由第一设置部分设置的块尺寸在利用第二编码方案解码的增强层中设置编码单位，其中第二编码方案基于接受递归分块的编码单位。

2.如权利要求1所述的图像处理装置，其中第二设置部分利用宏块尺寸以及各层之间的缩放比来确定编码单位的尺寸。

3.如权利要求2所述的图像处理装置，其中第二设置部分通过用缩放比乘以宏块尺寸来确定编码单位的最大尺寸。

4.如权利要求2所述的图像处理装置，其中第二设置部分确定选自多个尺寸范围中的一个尺寸作为编码单位的最大尺寸，其中所述多个尺寸范围是根据从编码流获取的参数、利用宏块尺寸和缩放比之积作为参考来缩小的。

5.如权利要求3所述的图像处理装置，其中第二设置部分通过用缩放比乘以子宏块尺寸来确定编码单位的最小尺寸。

6.如权利要求3所述的图像处理装置，其中第二设置部分根据从编码流获取的参数来确定编码单位的最小尺寸。

7.如权利要求2所述的图像处理装置，还包括：

第一预测部分，配置为在基础层中设置第一预测块，并且对所述第一预测块执行帧内预测或帧间预测；及

第二预测部分，配置为利用第一预测块的尺寸以及缩放比在增强层中设置对应于第一预测块的第二预测块，并且对第二预测块执行帧内预测或帧间预测。

8.如权利要求7所述的图像处理装置，其中第二预测部分通过用缩放比乘以由第一预测部分设置的第一预测块的尺寸来确定第二预测块的尺寸。

9.如权利要求7所述的图像处理装置，其中第二预测部分确定选自多个尺寸范围中的一个尺寸为第二预测块的尺寸，其中所述多个尺寸范围是根据从编码流获取的参数、利用由第一预测块设置的第一预测块的尺寸和缩放比之积作为参考来缩小的。

10.如权利要求7所述的图像处理装置，

其中第一和第二预测部分执行帧间预测，及

其中第二预测部分确定选自多个尺寸范围中的一个尺寸为第二预测块的尺寸，其中所述多个尺寸范围是根据从编码流获取的参数、判断在设置第一预测块时第一预测部分是否使用子宏块分割来缩小的。

11.如权利要求2所述的图像处理装置，还包括：

第一变换部分，配置为在基础层中设置第一变换块，并且对第一变换块执行逆正交变换；及

第二变换部分，配置为利用第一变换块的尺寸以及缩放比在增强层中设置对应于第一变换块的第二变换块，并且对第二变换块执行逆正交变换。

12.如权利要求11所述的图像处理装置，其中第二变换部分通过用缩放比乘以由第一变换部分设置的第一变换块的尺寸来确定第二变换块的尺寸。

13.如权利要求11所述的图像处理装置，其中第二变换部分确定选自多个尺寸范围中的一个尺寸作为第二变换块的尺寸，其中所述多个尺寸范围是根据从编码流获取的参数、利用由第一变换部分设置的第一变换块的尺寸和缩放比之积作为参考来缩小的。

14.一种图像处理方法，包括：

在利用第一编码方案解码的基础层中设置宏块，其中第一编码方案基于具有固定尺寸的宏块；及

根据基础层中设置的块尺寸、在利用第二编码方案解码的增强层中设置编码单位，其中第二编码方案基于接受递归分块的编码单位。

15.一种图像处理装置，包括：

第一设置部分，配置为在利用第一编码方案编码的基础层中设置宏块，其中第一编码方案基于具有固定尺寸的宏块；及

第二设置部分，配置为根据由第一设置部分设置的块尺寸、在利用第二编码方案编码的增强层中设置编码单位，其中第二编码方案基于接受递归分块的编码单位。

16.如权利要求15所述的图像处理装置，其中第二设置部分利用宏块尺寸以及各层之间的缩放比来确定编码单位的尺寸。

17.如权利要求16所述的图像处理装置，其中第二设置部分通过用缩放比乘以宏块尺寸来确定编码单位的最大尺寸。

18.如权利要求17所述的图像处理装置，其中第二设置部分通过用缩放比乘以子宏块尺寸来确定编码单位的最小尺寸。

19.如权利要求17所述的图像处理装置，其中第二设置部分生成参数，该参数指示被选作编码单位最小尺寸的尺寸。

20.一种图像处理方法，包括：

在利用第一编码方案编码的基础层中设置宏块，其中第一编码方案基于具有固定尺寸的宏块；及

根据在基础层中设置的块尺寸、在利用第二编码方案编码的增强层中设置编码单位，其中第二编码方案基于接受递归分块的编码单位。