CN110999288A - 图像处理器和图像处理方法 - Google Patents

Abstract

本技术涉及使得可以提高编码效率的图像处理器和图像处理方法。预测单元通过在根据图片顺序计数(POC)距离从多个运动补偿模式中选择的运动补偿模式下执行运动补偿来生成预测图像，该POC距离是待处理的块的POC与用于生成该块的预测图像的参考图像的POC之间的距离。例如，本技术可以应用于用于对图像进行编码的图像编码装置或用于对图像进行解码的图像解码装置中。

Description

图像处理器和图像处理方法

技术领域

本技术涉及图像处理器和图像处理方法，并且更具体地涉及例如使得可以提高编码效率的图像处理器和图像处理方法。

背景技术

在搜索ITU-T(国际电信联盟电信标准化部门)的下一代视频编码的JVET(联合视频探索小组)中，提出了通过基于两个顶点的运动矢量执行参考图像的仿射变换来执行运动补偿的帧间预测处理(仿射运动补偿(MC)预测)(例如，参见NPTL 1和NPTL 2)。根据这样的帧间预测处理，通过不仅补偿屏幕之间的平移移动(平行移动)，而且还补偿沿旋转方向的运动以及形状的变化(例如放大和缩小)，可以生成高精度的预测图像。

引文列表

非专利文献

NPTL 1：Jianle Chen等人的“Algorithm Description of Joint ExplorationTest Model 4(JVET-C1001)”,JVET of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,2016年5月26日至6月1日

NPTL 2：Feng Zou的“Improved affine motion prediction(JVET-C0062)”,JVETof ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,2016年5月26日至6月1日

发明内容

本发明要解决的问题

然而，与帧间预测处理相比，使用仿射变换的运动补偿中使用的参数数目增加，在帧间预测处理中，仅补偿平移移动以基于一个运动矢量生成预测图像。因此，增加了开销而降低了编码效率。

本技术鉴于这样的情形而做出，并且被设计成使得可以提高编码效率。

解决问题的方案

本技术的第一图像处理器是包括预测部的图像处理器，预测部通过在根据POC(图片顺序计数)距离从多个运动补偿模式中选择的运动补偿模式下执行运动补偿来生成待处理的块的预测图像，POC距离是该块的POC与用于生成该块的预测图像的参考图像的POC之间的距离。

本技术的第一图像处理方法是包括以下操作的图像处理方法：使图像处理器通过在根据POC(图片顺序计数)距离从多个运动补偿模式中选择的运动补偿模式下执行运动补偿来生成待处理的块的预测图像，POC距离是该块的POC与用于生成该块的预测图像的参考图像的POC之间的距离。

在本技术的第一图像处理器和第一图像处理方法中，通过在根据POC(图片顺序计数)距离从多个运动补偿模式中选择的运动补偿模式下执行运动补偿来生成待处理的块的预测图像，该POC距离是该块的POC与用于生成该块的预测图像的参考图像的POC之间的距离。

本技术的第二图像处理器是包括预测部的图像处理器，预测部以单位块为单位、通过平移移动与单位块对应的参考图像的参考单位块来生成待处理的块的预测图像，单位块通过根据POC(图片顺序计数)距离对该块进行划分来获得，POC距离是该块的POC与用于生成该块的预测图像的参考图像的POC之间的距离。

本技术的第二图像处理方法是包括以下操作的图像处理方法：使图像处理器以单位块为单位、通过平移移动与单位块对应的参考图像的参考单位块来生成待处理的块的预测图像，单位块通过根据POC(图片顺序计数)距离对该块进行划分来获得，POC距离是该块的POC与用于生成该块的预测图像的参考图像的POC之间的距离。

在本技术的第二图像处理器和第二图像处理方法中，以单位块为单位、通过平移移动与单位块对应的参考图像的参考单位块来生成待处理的块的预测图像，单位块通过根据POC(图片顺序计数)距离对该块进行划分来获得，POC距离是该块的POC与用于生成该块的预测图像的参考图像的POC之间的距离。

本发明的效果

根据本技术，可以提高编码效率。也就是说，根据本技术，例如，在基于运动矢量生成高精度的预测图像的情况下，可以减少开销并且从而提高编码效率。

应当注意，此处描述的效果不一定是限制性的，并且可以是在本公开内容中描述的任何效果。

附图说明

[图1]图1描述了基于一个运动矢量执行运动补偿的帧间预测处理。

[图2]图2描述了基于一个运动矢量和旋转角度执行运动补偿的帧间预测处理。

[图3]图3描述了基于两个运动矢量执行运动补偿的帧间预测处理。

[图4]图4描述了基于三个运动矢量执行运动补偿的帧间预测处理。

[图5]图5描述了基于三个运动矢量的仿射变换之前和之后的块。

[图6]图6描述了QTBT。

[图7]图7是示出图像编码器的实施方式的配置示例的框图。

[图8]图8描述了平移模式。

[图9]图9描述了平移旋转模式的第一示例。

[图10]图10描述了平移旋转模式的第二示例。

[图11]图11描述了平移缩放模式的第一示例。

[图12]图12描述了平移缩放模式的第二实施方式。

[图13]图13示出了执行了运动补偿的状态。

[图14]图14描述了用于根据POC距离从多个运动补偿模式中选择用于运动补偿的运动补偿模式的模式选择方法的示例。

[图15]图15示出了待处理的PU 31的POC距离与能够用于PU 31的帧间预测处理的运动补偿的运动补偿模式之间的关系的示例。

[图16]图16描述了运动补偿模式信息和参数信息。

[图17]图17描述了用作预测矢量的候选的相邻参数中包括的运动矢量。

[图18]图18是描述图像编码处理的流程图。

[图19]图19是描述设置帧间预测处理模式的处理的流程图。

[图20]图20是描述合并模式编码处理的流程图。

[图21]图21是描述AMVP模式编码处理的流程图。

[图22]图22是示出图像解码器的实施方式的配置示例的框图。

[图23]图23是描述图像解码处理的流程图。

[图24]图24是描述运动补偿模式信息解码处理的流程图。

[图25]图25是描述合并模式解码处理的流程图。

[图26]图26是描述AMVP模式解码处理的流程图。

[图27]图27示出了通过插值滤波器对分数位置处的像素进行插值的第一示例。

[图28]图28示出了通过插值滤波器对分数位置处的像素进行插值的第二示例。

[图29]图29示出了通过插值滤波器对分数位置处的像素进行插值的第三示例。

[图30]图30示出了在通过2×2个像素配置单位块的情况下，在水平方向上进行用于在单位块的运动矢量v所指向的分数位置处生成像素的插值的示例。

[图31]图31示出了在通过2×2个像素配置单位块的情况下，在竖直方向上进行用于在单位块的运动矢量v所指向的分数位置处生成像素的插值的示例。

[图32]图32描述了在完全仿射变换模式下的运动补偿的第一示例。

[图33]图33示出了在PU 31被划分成4×4的16个单位块的情况下确定第i个单位块的运动矢量v的状态。

[图34]图34描述了在完全仿射变换模式下的运动补偿的第二示例。

[图35]图35示出了在PU 31被划分成8×8的64个单位块的情况下确定第i个单位块的运动矢量v的状态。

[图36]图36示出了PU 31的POC距离与单位块尺寸之间的关系的示例。

[图37]图37是描述根据POC距离将PU划分成单位块的运动补偿中的处理的示例的流程图。

[图38]图38示出了单位块的运动矢量v的精度的第一示例。

[图39]图39示出了单位块的运动矢量v的精度的第二示例。

[图40]图40是示出计算机的硬件的配置示例的框图。

[图41]图41是示出电视设备的示意性配置的示例的框图。

[图42]图42是示出移动电话的示意性配置的示例的框图。

[图43]图43是示出记录再现设备的示意性配置的示例的框图。

[图44]图44是示出成像设备的示意性配置的示例的框图。

[图45]图45是示出视频设备的示意性配置的示例的框图。

[图46]图46是示出视频处理器的示意性配置的示例的框图。

[图47]图47是示出视频处理器的示意性配置的另一示例的框图。

[图48]图48是示出网络系统的示意性配置的示例的框图。

具体实施方式

在下面描述本技术的实施方式之前，给出帧间预测处理的描述。

<帧间预测处理>

图1描述了基于一个运动矢量执行运动补偿的帧间预测处理(在下文中，也称为2参数MC预测处理)。

应当注意，在下文中，除非另有说明，否则将图像(图片)的横向方向(水平方向)设置为x方向，并且将图像的纵向方向(竖直方向)设置为y方向。

如图1所示，在2参数MC预测处理中，为要预测的PU 11(当前块)判定一个运动矢量v_c(v_cx,v_cy)。然后，将块13用作用于生成预测图像的块(在下文中，也称为参考块)，块13与PU11尺寸相同并且位于与包括PU 11的图片10时间不同的参考图像中的与PU 11相距运动矢量v_c的位置处；基于运动矢量v_c将作为参考块的块13进行平移移动以执行运动补偿，从而生成PU 11的预测图像。

也就是说，在2参数MC预测处理中，不对参考图像执行仿射变换，并且生成仅补偿屏幕之间的平移移动的预测图像。此外，用于运动补偿的两个参数是v_cx和v_cy。在AVC(高级视频编码)、HEVC(高效视频编码)等中采用这样的帧间预测处理。

图2描述了基于一个运动矢量和旋转角度执行运动补偿的帧间预测处理。

如图2所示，在基于一个运动矢量和旋转角度执行运动补偿的帧间预测处理中，针对要预测的PU 11判定一个运动矢量v_c(v_cx，v_cy)和旋转角度θ。然后，将块21用作参考块，块21与PU 11尺寸相同并且位于与包括PU 11的图片10时间不同的参考图像中的与PU 11相距运动矢量v_c和旋转角度θ的位置处；基于运动矢量v_c和旋转角度θ对作为参考块的块21进行仿射变换以执行运动补偿，从而生成PU 11的预测图像。

也就是说，在基于一个运动矢量和旋转角度来执行运动补偿的帧间预测处理中，基于一个运动矢量和旋转角度对参考图像执行仿射变换。因此，生成屏幕之间的平移移动和沿旋转方向的运动得到补偿的预测图像。因此，与2参数MC预测处理相比，提高了预测图像的精度。此外，用于运动补偿的三个参数是v_cx、v_cy和θ。

图3描述了基于两个运动矢量执行运动补偿的帧间预测处理(在下文中，也称为4参数仿射MC预测处理)。

如图3所示，在4参数仿射MC预测处理中，针对要预测(要处理)(要被编码或要被解码)的PU 31判定在PU 31的左上顶点A处的运动矢量v₀＝(v_0x，v_0y)和在右上顶点B处的运动矢量v₁＝(v_1x，v_1y)。

然后，将与包括PU 31的图片时间不同的参考图像中的块32用作参考块，块32具有与顶点A相距运动矢量v₀的点A′作为左上顶点并且具有与顶点B相距运动矢量v₁的点B′作为右上顶点；基于运动矢量v₀和运动矢量v₁对作为参考块的块32进行仿射变换以执行运动补偿，从而生成PU 31的预测图像。

具体地，PU 31被划分成预定尺寸的块(在下文中，被称为单位块)，其是生成预测图像的单位。然后，基于运动矢量v₀＝(v_0x，v_0y)和运动矢量v₁＝(v_1x，v_1y)，通过下面的表达式(1)确定每个单位块的运动矢量v＝(v_x，v_y)。

V_x＝(v_1x-V_0x)x/W-(v_1y(-V_0y)y/H+v_0x

v_y＝(v_1y-v_0y)x/W-(v_1x-v_0x)y/H+v_0y...(1)

在表达式(1)中，W是PU 31在x方向上的尺寸，并且H表示PU 31在y方向上的尺寸。在下文中，为了简化描述，假设W和H彼此相等，并且假设PU 31呈正方形。x和y分别表示单位块在x方向和y方向上的位置(x＝0、1、...并且y＝0、1、...)。根据表达式(1)，基于单位块的位置来判定单位块的运动矢量v。

然后，基于运动矢量v、通过平移移动单位块中与单位块尺寸相同并且与每个单位块相距运动矢量v的块(在下文中，也称为“参考单位块”)，以单位块为单位生成PU 31的预测图像。

如上所述，在4参数仿射MC预测处理中，基于两个运动矢量对参考图像执行仿射变换。因此，生成不仅补偿了屏幕之间的平移移动和沿旋转方向的运动而且还补偿了形状的变化(例如放大和缩小)的预测图像。因此，与基于一个运动矢量和旋转角度执行运动补偿的帧间预测处理相比，提高了预测图像的精度。此外，用于运动补偿的四个参数是v_0x、v_0y、v_1x和v_1y。在JEM(联合探索模型)参考软件中采用了这种帧间预测处理。

应当注意，基于两个运动矢量的仿射变换是在假设仿射变换之前和之后的块是矩形下的仿射变换。即使在仿射变换之前和之后的块是除矩形之外的四边形的情况下，也需要三个运动矢量来执行仿射变换。

图4描述了基于三个运动矢量执行运动补偿的帧间预测处理(在下文中，也称为6参数仿射MC预测处理)。

如图4所示，在6参数仿射MC预测处理中，针对要预测的PU 31不仅判定运动矢量v₀＝(v_0x,v_0y)和运动矢量v₁＝(v_1x,v_1y)，还判定左下顶点C的运动矢量v₂＝(v_2x,v_2y)。

然后，将与包括PU 31的图片时间不同的参考图像中的块42用作参考块，块42具有与顶点A相距运动矢量v₀的点A′作为左上顶点，具有与顶点B相距运动矢量v₁的点B′作为右上顶点并且具有与顶点C相距运动矢量v₂的点C′作为左下顶点；基于运动矢量v₀到运动矢量v₂对作为参考块的块42进行仿射变换以执行运动补偿，从而生成PU 31的预测图像。

也就是说，PU 31被划分成单位块，并且根据表达式(2)，基于运动矢量v₀＝(v_0x,v_0y)、v₁＝(v_1x,v_1y)和v₂＝(v_2x,v_2y)，确定每个单位块的运动向量v＝(v_x,v_y)。

V_x＝(v_1x-V_0x)x/W+(v_2x-V_0x)y/H+v_0x

v_y＝(v_1y-v_0y)x/W+(v_2y-v_0y)y/H+v_0y...(2)

在表达式(2)中，如参考表达式(1)中描述的，W、H、x和y分别表示PU 31在x方向上的尺寸、PU 31在y方向上的尺寸以及单位块在x方向上的位置和单位块在y方向上的位置。根据表达式(2)，确定单位块的运动矢量v以根据单位块的位置(x，y)按比例地分配运动矢量v₀至v₂。

在下文中，在6参数仿射MC预测处理中，与参照图3描述的4参数仿射MC预测处理类似，基于运动矢量v，通过平移移动参考图像中与单位块尺寸相同并且与每个单位块相距运动矢量v的参考单位块，以单位块为单位生成PU 31的预测图像。

图5示出了在6参数仿射MC预测处理中基于三个运动矢量对参考图像执行的仿射变换的概况。

根据基于三个运动矢量对参考图像执行的仿射变换，对于作为参考块的块42，可以表示如图5的A所示的平移移动(平移)、如图5的B所示的偏斜(偏斜)、如图5的C所示的旋转(旋转)以及如图5的D所示的放大或缩小(缩放)。

因此，可以生成其中补偿了屏幕之间的平移移动、旋转、放大/缩小、偏斜或其组合的运动(包括形状的变化)的预测图像。

应当注意，在图5中，仿射变换之前的块42由实线表示，并且仿射变换之后的块42由虚线表示。

同时，在参照图3描述的4参数仿射MC预测处理中，无法针对预测图像补偿偏斜；然而，可以补偿屏幕之间的平移移动、旋转、放大/缩小或其组合的运动。

在4参数仿射MC预测处理和6参数仿射MC预测处理中，与仅补偿屏幕之间的平移移动的2参数MC预测处理相比，提高了预测图像的精度。

然而，在4参数仿射MC预测处理中，帧间预测处理中的参数是v_0x、v_0y、v_1x和v_1y。另外，在6参数仿射MC预测处理中，用于运动补偿的参数是v_0x、v_0y、v_1x、v_1y、v_2x和v_2y。因此，在4参数仿射MC预测处理和6参数仿射MC预测处理中，与2参数MC预测处理相比，增加了用于运动补偿的参数数目。

如上所述，帧间预测处理中的预测精度的提高和开销的抑制处于折衷关系。

应当注意，JVET提出了使用控制信号在4参数仿射MC预测处理与6参数仿射MC预测处理之间切换的技术。

图6描述了在JVET中采用的QTBT(四叉树加二叉树)。

在诸如MPEG2(移动图片专家组2)(ISO/IEC 13818-2)和AVC的图像编码系统中，在称为宏块的处理单元中执行编码处理。宏块是具有16×16像素的均匀尺寸的块。同时，在HEVC中，在称为CU(编码单元)的处理单元中执行编码处理。CU是通过对作为最大编码单元的LCU(最大编码单元)进行递归地划分而形成的具有可变尺寸的块。可选择的CU的最大尺寸是64×64像素的尺寸。可选择的CU的最小尺寸是8×8像素的尺寸。最小尺寸的CU被称为SCU(最小编码单元)。应当注意，CU的最大尺寸不限于64×64像素，而可以是更大的块尺寸，例如128×128像素的块尺寸、256×256像素的块尺寸等。

如上所述，作为采用具有可变尺寸的CU的结果，HEVC可以根据图像的内容自适应地调整图像质量和编码效率。在被称为PU的处理单元中执行用于预测编码的预测处理。PU是通过使用若干划分模式之一划分CU来形成的。此外，PU通过针对亮度(Y)和色差(Cb、Cr)中的每一个的称为PB(预测块)的处理单元来配置。此外，在称为TU(变换单元)的处理单元中执行正交变换处理。通过将CU或PU划分至特定深度来形成TU。另外，TU通过针对亮度(Y)和色差(Cb、Cr)中的每一个的称为TB(变换块)的处理单元(变换块)来配置。

在下文中，“块”(不是处理单元的块)被用作图像(图片)的部分区域或处理单元，以便在某些情况下进行描述。这种情况下的“块”表示图片中的任意部分区域，并且其尺寸、形状、特性等不受限制。也就是说，假设这种情况下的“块”包括任意部分区域(处理单元)，例如TB、TU、PB、PU、SCU、CU、LCU(CTB)、子块、宏块、瓦片、片等。

HEVC仅可以在水平方向和竖直方向上将一个块划分为4(＝2×2)个子块。同时，QTBT不仅可以将一个块划分为4(＝2×2)个子块，而且可以通过在水平方向和竖直方向中的仅一个方向上划分块将一个块划分为2(＝1×2、2×1)个子块。也就是说，在QTBT中，通过递归地重复将一个块划分为四个或两个子块来执行CU(编码单元)的形成，从而形成四叉树(Quad-Tree)或二叉树(Binary-Tree)的树状结构。因此，CU的形状不仅可以是正方形，还可以是矩形。应当注意，在下文中，为了简化描述，假设PU和TU与CU相同。

<应用该技术的图像编码器的实施方式>

图7是示出作为应用本技术的图像处理器的图像编码器的实施方式的配置示例的框图。

在图7中，像AVC或HEVC中一样，图像编码器100对图像与图像的预测图像之间的预测残差进行编码。例如，图像编码器100能够实现HEVC的技术或JVET中提出的技术。

应当注意，图7示出了诸如处理部和数据流的主要元件，并且在图7中未示出所有元件。即，在图像编码器100中，可以存在图7中未图示为块的处理部，或者可以存在图7中未由箭头等指示的处理或数据流。

图像编码器100根据需要通过帧间预测处理对图像进行编码。此外，在图像编码器100中，例如，准备了平移模式、平移旋转模式、平移缩放模式、简单仿射变换模式以及完全仿射变换模式作为帧间预测处理中要执行的运动补偿的运动补偿模式；在PU的帧间预测处理中，以适当的运动补偿模式执行运动补偿。

此处，平移模式是如参照图1所述那样执行了2参数MC预测处理的运动补偿模式，并且是基于一个运动矢量v_c＝(v_cx,v_cy)的两个参数来补偿平移移动的运动的运动补偿模式。

平移旋转模式是通过基于一个运动矢量v_c＝(v_cx,v_cy)和指示旋转角度的角度信息的三个参数执行平移移动和旋转来补偿平移移动和旋转方向上的运动的运动补偿模式。

平移缩放模式是通过基于一个运动矢量v_c＝(v_cx,v_cy)和指示缩放率的缩放信息的三个参数执行平移和缩放来补偿平移移动和缩放的模式。

简单仿射变换模式是如参照图3所述的那样执行4参数仿射MC预测处理的运动补偿模式，并且是基于作为两个运动矢量v₀＝(v_0x,v_0y)和v₁＝(v_1x,v_1y)的四个参数来补偿平移移动、旋转和缩放移动的运动补偿模式。

如参照图4所述的，完全仿射变换模式是执行6参数仿射MC预测处理的运动补偿模式，并且是基于作为三个运动矢量v₀＝(v_0x,v_0y)、v₁＝(v_1x,v_1y)和v₂＝(v_2x,v_2y)的六个参数来补偿平移移动、旋转、缩放以及偏斜移动的运动补偿模式。

对于平移模式、平移旋转模式、平移缩放模式、简单仿射变换模式和完全仿射变换模式，预测图像中的预测精度按照平移模式、平移旋转模式和平移缩放模式、简单仿射变换模式和完全仿射变换模式的顺序趋于提高；然而，按照这种顺序，运动补偿所需的参数数目增加，并且从而开销增加。

因此，在帧间预测处理中，例如，对于每个PU，图像编码器100从作为多个运动补偿模式的平移模式、平移旋转模式、平移缩放模式、简单仿射变换模式和完全仿射变换模式中选择适当的运动补偿模式，并且在所选择的运动补偿模式下执行运动补偿。

因此，与以一种运动补偿模式以固定方式执行帧间预测处理的情况相比，可以减少开销并且提高编码效率。此外，提高了预测图像的预测精度，从而减少了预测残差；因此，可以提高编码效率。

应当注意，在图像编码器100中准备的多个运动补偿模式不限于平移模式、平移旋转模式、平移缩放模式、简单仿射变换模式和完全仿射变换模式这五个模式。

在图7中，图像编码器100包括控制部101、运算部111、变换部112、量化部113、编码部114、逆量化部115、逆变换部116、运算部117、帧存储器118和预测部119。图像编码器100针对每个CU以要输入的帧为单位对作为运动图像的图片执行编码。

具体地，图像编码器100的控制部101(设置部)基于来自外部的输入、RDO(率失真优化)等来设置编码参数(头部信息Hinfo、预测信息Pinfo、变换信息Tinfo等)。

例如，头部信息Hinfo包括诸如视频参数集(VPS(视频参数集))、序列参数集(SPS(序列参数集))、图片参数集(PPS(图片参数集))和切片头部(SH)的信息。例如，头部信息Hinfo包括限定图像尺寸(横向宽度PicWidth、纵向宽度PicHeight)、比特深度(亮度bitDepthY、色差bitDepthC)、CU尺寸的最大值MaxCUSize/最小值MinCUSize等的信息。不必说，头部信息Hinfo的内容是可选的，并且除了以上提及的示例之外的任何信息可以被包括在该头部信息Hinfo中。

预测信息Pinfo包括例如划分标志，该划分标志指示当形成PU(CU)时在每个划分层中是否存在水平方向或竖直方向划分。此外，预测信息Pinfo包括针对每个PU的模式信息pred_mode_flag，模式信息pred_mode_flag指示PU的预测处理是帧内预测处理还是帧间预测处理。

在模式信息pred_mode_flag指示帧间预测处理的情况下，预测信息Pinfo包括合并标志、运动补偿模式信息、参数信息、用于指定参考图像的参考图像指定信息等。合并标志指示帧间预测处理的模式是合并模式还是AMVP模式。合并模式是基于从候选中选择的预测参数来执行帧间预测处理的模式，该候选包括基于用于相邻PU的运动补偿的参数(运动矢量、角度信息和缩放信息)而生成的参数(在下文中，被称为相邻参数)，该相邻PU是与待处理的PU相邻的编码PU。AMVP模式是基于待处理的PU的参数来执行帧间预测处理的模式。在指示合并模式的情况下，合并标志为1，并且在指示AMVP模式的情况下合并标志为0。

运动补偿模式信息是指示运动补偿模式是平移模式、平移旋转模式、平移缩放模式、简单仿射变换模式或完全仿射变换模式的信息以及稍后描述的POC距离。

参数信息是用于在合并标志为1的情况下从包括相邻参数的候选中指定用于帧间预测处理的参数作为预测参数(预测矢量、预测角度信息、预测缩放信息)的信息。另外，参数信息是用于在合并标志为0的情况下指定预测参数的信息，并且是预测参数与待处理的PU的参数之间的差。

在模式信息pred_mode_flag指示帧内预测处理的情况下，预测信息Pinfo包括帧内预测模式信息等，帧内预测模式信息指示作为帧内预测处理的模式的帧内预测模式。不必说，预测信息Pinfo的内容是可选的，并且除了以上提及的示例之外的任何信息可以被包括在该预测信息Pinfo中。

变换信息Tinfo包括指示TB的尺寸的TBSize等。不必说，变换信息Tinfo的内容是可选的，并且除了以上提及的示例之外的任何信息可以被包括在该变换信息Tinfo中。

运算部111基于预测信息Pinfo的划分标志，依次将输入的图片设置为要编码的图片，并且针对要编码的图片设置要编码的CU(PU和TU)。运算部111从要编码的PU的图像I(当前块)中减去从预测部119提供的PU的预测图像P(预测块)以确定预测残差D，并且将确定的预测残差D提供给变换部112。

变换部112基于从控制部101提供的变换信息Tinfo而对从运算部111提供的预测残差D执行正交变换等，以计算变换系数Coeff。变换部112将变换系数Coeff提供至量化部113。

量化部113基于从控制部101提供的变换信息Tinfo对从变换部112提供的变换系数Coeff进行缩放(量化)，以计算量化变换系数级别level。量化部113将量化变换系数级别level提供至编码部114和逆量化部115。

编码部114以预定方式对从量化部113提供的量化变换系数级别level等进行编码。例如，编码单元114根据语法表的定义将从控制部101提供的编码参数(头部信息Hinfo、预测信息Pinfo、变换信息Tinfo等)和从量化部113提供的量化变换系数级别level变换成相应语法元素的语法值。然后，编码部114对相应语法值进行编码(例如，执行诸如CABAC(基于上下文的自适应二进制算术编码)的算术编码)。

此时，编码部114基于相邻PU的运动补偿模式信息来切换CABAC概率模型的上下文，因此将CABAC概率模型设置为允许相邻PU的运动补偿模式信息的概率为高，并且对PU的运动补偿模式信息进行编码。

也就是说，PU与其相邻的PU之间的运动补偿模式信息很有可能是相同的，因此，通过设置CABAC概率模型以对PU的运动补偿模式信息进行编码以允许对其运动补偿模式信息进行了编码的PU的相邻PU的运动补偿模式信息的概率在编码部114中为高，使得可以减少开销并且提高编码效率。

应当注意，当相邻PU的数目大于一个时，编码部114可以基于每个运动补偿模式信息的相邻PU的数目来设置CABAC概率模型。另外，代替基于运动补偿模式信息来切换CABAC概率模型的上下文，编码部114可以切换要分配给运动补偿模式信息的代码(比特串)。

例如，编码部114对作为编码的结果而获得的作为语法元素的比特串的编码数据进行复用，并且将复用后的编码数据作为编码流输出。

逆量化部115基于从控制部101提供的变换信息Tinfo，对从量化部113提供的量化变换系数级别level的值进行缩放(逆量化)，以计算逆量化之后的变换系数Coeff_IQ。逆量化部115将变换系数Coeff_IQ提供至逆变换部116。由逆量化部115执行的逆量化是由量化部113执行的量化的逆处理。

逆变换部116基于从控制部101提供的变换信息Tinfo，对从逆量化部115提供的变换系数Coeff_IQ执行逆正交变换等，以计算预测残差D′。逆变换部116将预测残差D′提供至运算部117。由逆变换部116执行的逆正交变换是由变换部112执行的正交变换的逆处理。

运算部117将从逆变换部116提供的预测残差D′和从预测部119提供的与预测残差D′对应的预测图像P相加，以计算局部解码图像Rec。运算部117将局部解码图像Rec提供至帧存储器118。

帧存储器118使用从运算部117提供的局部解码图像Rec以图片为单位来重构解码图像，并且将重构的解码图像存储在帧存储器118中的称为DPB(解码图片缓冲器)的缓冲器(未示出)中。帧存储器118从缓冲器读取由预测部119指定为参考图像的解码图像，并且将读取的解码图像提供至预测部119。此外，帧存储器118可以将与解码图像的生成有关的头部信息Hinfo、预测信息Pinfo、变换信息Tinfo等存储在帧存储器118中的缓冲器中。

在预测信息Pinfo的模式信息pred_mode_flag指示帧内预测处理的情况下，预测部119获取存储在帧存储器118中的、与要被编码的CU处于相同时间的解码图像作为参考图像。然后，预测部119使用参考图像对要编码的PU执行由帧内预测模式信息指示的帧内预测模式的帧内预测处理。

另外，在模式信息pred_mode_flag指示帧间预测处理的情况下，预测部119基于参考图像指定信息获取存储在帧存储器118中的、与要被编码的CU处于不同时间的解码图像作为参考图像。预测部119基于合并标志、运动补偿模式信息、参数信息等，使用参考图像来执行要被编码的PU的帧间预测处理。

具体地，在运动补偿模式是平移模式的情况下，预测部119通过在基于一个运动矢量对参考图像执行平移移动的补偿的平移模式下的运动补偿来执行帧间预测处理。应当注意，在合并标志为1的情况下，用于帧间预测处理的一个运动矢量是由参数信息指定的一个预测矢量。另一方面，在合并标志为0的情况下，用于帧间预测处理的一个运动矢量是通过将由参数信息指定的一个预测矢量与参数信息中包括的差相加而获得的一个运动矢量。

在运动补偿模式是平移旋转模式的情况下，预测部119根据基于一个运动矢量和角度信息对参考图像补偿平移移动和旋转方向上的运动的平移旋转模式下的运动补偿来执行帧间预测处理。应当注意，在合并标志为1的情况下，用于帧间预测处理的一个运动矢量和角度信息分别是由参数信息指定的预测矢量和预测角度信息。另一方面，在合并标志为0的情况下，用于帧间预测处理的一个运动矢量是通过将由参数信息指定的一个预测矢量与参数信息中包括的差相加而获得的一个运动矢量。此外，角度信息是通过将由参数信息指定的预测角度信息与参数信息中包括的差相加而获得的一条角度信息。

在运动补偿模式是平移缩放模式的情况下，预测部119根据基于一个运动矢量和缩放信息对参考图像补偿平移移动和缩放的平移缩放模式下的运动补偿来执行帧间预测处理。应当注意，在合并标志为1的情况下，用于帧间预测处理的一个运动矢量和缩放信息分别是由参数信息指定的预测矢量和预测缩放信息。另一方面，在合并标志为0的情况下，用于帧间预测处理的一个运动矢量是通过将由参数信息指定的一个预测矢量与参数信息中包括的差相加而获得的一个运动矢量。此外，缩放信息是通过将由参数信息指定的预测缩放信息与参数信息中包括的差相加而获得的一条缩放信息。

在运动补偿模式是简单仿射变换模式的情况下，预测部119对参考图像执行基于两个运动矢量的仿射变换，从而通过简单仿射变换模式下的运动补偿执行帧间预测处理，该简单仿射变换模式补偿平移移动、旋转和缩放。应当注意，在合并标志为1的情况下，用于帧间预测处理的两个运动矢量是由参数信息指定的两个预测矢量。另一方面，在合并标志为0的情况下，用于帧间预测处理的两个运动矢量是通过将由参数信息指定的两个预测矢量与对应于每个预测矢量的参数信息中包括的差相加而获得的两个运动矢量。

在运动补偿模式是完全仿射变换模式的情况下，预测部119对参考图像执行基于三个运动矢量的仿射变换，从而通过完全仿射变换模式下的运动补偿执行帧间预测处理，该完全仿射变换模式补偿平移移动、旋转、缩放和偏斜。应当注意，在合并标志为1的情况下，用于帧间预测处理的三个运动矢量是由参数信息指定的三个预测矢量。另一方面，在合并标志为0的情况下，用于帧间预测处理的三个运动矢量是通过将由参数信息指定的三个预测矢量与对应于每个预测矢量的参数信息中包括的差相加而获得的三个运动矢量。

预测部119将作为帧内预测处理或帧间预测处理的结果而生成的预测图像P提供给运算部111和运算部117。

图8描述了在平移模式下通过运动补偿生成预测图像的示例。

如图8所示，在运动补偿模式是平移模式的情况下，预测部119基于要处理的PU 31的左上顶点A的运动矢量v₀，平移移动参考图像中的参考块133，参考块133是与PU 31的尺寸相同的块，具有与PU 31相距运动矢量v₀的点A′作为左上顶点。然后，预测部119将平移移动之后的参考块133设置为PU 31的预测图像。在这种情况下，用于运动补偿的两个参数是v_0x和v_0y。

图9描述了在平移旋转模式下通过运动补偿生成预测图像的示例。

如图9所示，在运动补偿模式是平移旋转模式的情况下，预测部119基于要处理的PU 31的顶点A的运动矢量v₀和作为角度信息的旋转角度θ，平移移动并且旋转参考图像中的参考块134，参考块134是与旋转了旋转角度θ的PU 31的尺寸相同的块并且具有被设置为左上顶点的与PU 31相距运动矢量v₀的点A′。然后，预测部119将平移移动和旋转之后的参考块134设置为PU 31的预测图像。在这种情况下，用于运动补偿的三个参数是v_0x、v_0y和θ。

在平移旋转模式下的运动补偿中，如上所述生成预测图像的处理是按照如下近似执行的。

换句话说，在平移旋转模式下的运动补偿中，使用运动矢量v₀＝(v_0x,v_0y)和旋转角度θ确定矢量(v_0x+Wcosθ-W,v_0y+Wsinθ)作为PU 31的顶点B的运动矢量v₁＝(v_1x,v_1y)，矢量(v_0x+Wcosθ-W,v_0y+Wsinθ)是以PU 31的(右上)顶点B作为起点的矢量，并且被平移移动了运动矢量v₀＝(v_0x,v_0y)，以将平移移动之后绕顶点A旋转了旋转角度θ之后PU 31的顶点B作为终点。应当注意，在这种情况下，当旋转角度θ小时，可以通过(v_1x,v_1y)＝(v_0x,v_0y+Wsinθ)来近似顶点B的运动矢量v₁＝(v_1x,v_1y)。

然后，在参考图像中，执行运动补偿以平移移动和旋转参考块134，其中将从PU 31的顶点A移动了运动矢量v₀的点设置为左上顶点A′；将从PU 31的顶点B移动了运动矢量v₁的点设置为右上顶点B′；并且将以线段A′B′为边的正方形块设置为参考块134。

通过以参考单位块为单位进行平移移动来执行参考块134的平移移动和旋转，参考单位块是参考图像中与通过将PU 31水平地和竖直地划分成例如2×2像素或4×4像素的预定尺寸的单位块而获得的单位块对应的块。也就是说，参考块134的平移移动和旋转是通过近似与划分PU 31而获得的单位块对应的参考单位块的平移移动来执行的。

具体地，根据上述表达式(1)、基于顶点A的运动矢量v₀＝(v_0x,v_0y)和顶点B的运动矢量v₁＝(v_1x,v_1y)来确定每个单位块的运动矢量v＝(v_x,v_y)。

然后，通过基于运动矢量v平移移动下述参考单位块来以单位块为单位生成PU 31的预测图像，该参考单位块是单位块中与单位块具有相同尺寸、与每个单位块相距运动矢量v的块。

图10描述了在平移旋转模式下通过运动补偿生成预测图像的示例。

在图9的示例中，旋转角度θ用作角度信息，但是作为角度信息，可以如图10所示使用顶点A的运动矢量v₀和顶点B的运动矢量v₁之间在竖直方向上的差dv_y。也就是说，在旋转角度θ小时，Wsinθ可以由差dv_y来近似，并且因此可以将差dv_y用作角度信息而不是将旋转角度θ用作角度信息。在将差dv_y用作角度信息的情况下，根据运动补偿中的表达式(v_1x,v_1y)＝(v_0x,v_0y+Wsinθ)≈(v_0x,v_0y+dv_y)确定运动矢量v₁＝(v_1x,v_1y)。因此，不需要在运动补偿时计算三角函数，因此使得可以减少运动补偿时的计算量。

图11描述了在平移缩放模式下通过运动补偿生成预测图像的示例。

如图11所示，在运动补偿模式是平移缩放模式的情况下，预测部119基于PU 31的顶点A的运动矢量v₀和作为缩放信息的缩放率S，对参考块135执行平移移动和1/S时间缩放，参考块135是参考图像中的要处理的PU 31的尺寸的S倍的块，并且具有被设置为左上顶点的与PU 31相距运动矢量v₀的点A′。然后，预测部119将平移移动和缩放之后的参考块135设置为PU 31的预测图像。在这种情况下，用于运动补偿的三个参数是v_0x、v_0y和S。此外，缩放率S由S₂/S₁表示，其中S₁是PU 31在x方向上的尺寸W，S₂是参考块135在x方向上的尺寸。尺寸S₁是已知的，并且因此缩放率S能够用于根据尺寸S₁确定尺寸S₂。

在平移缩放模式下的运动补偿中，如上所述生成预测图像的处理是按照如下近似执行的。

也就是说，在平移缩放模式下的运动补偿中，运动矢量v₀＝(v_0x,v_0y)和缩放率S用于将矢量(v_0x+S₁S-S₁,v_0y)确定为PU 31的顶点B的运动矢量v₁＝(v_1x,v_1y)，矢量(v_0x+S₁S-S₁,v_0y)是以PU 31的顶点B作为起点的矢量，并且平移移动了运动矢量v₀＝(v_0x,v_0y)，以将在对平移移动的PU 31缩放了缩放率S之后的PU 31的顶点B作为终点。

然后，在参考图像中，执行运动补偿以平移移动和缩放参考块135，其中将从PU 31的顶点A移动了运动矢量v₀的点设置为左上顶点A′；将从PU 31的顶点B移动了运动矢量v₁的点设置为右上顶点B′；并且将以线段A′B′为边的正方形块设置为参考块135。

通过以参考单位块为单位进行平移移动来执行参考块135的平移移动和缩放，该参考单位块是参考图像中与通过将PU 31划分为单位块而获得的单位块对应的块。也就是说，参考块135的平移移动和缩放是通过近似与划分PU 31而获得的单位块对应的参考单位块的平移移动来执行的。

具体地，根据上述表达式(1)、基于顶点A的运动矢量v₀＝(v_0x,v_0y)和顶点B的运动矢量v₁＝(v_1x,v_1y)来确定每个单位块的运动矢量v＝(v_x,v_y)。

然后，通过基于运动矢量v平移移动下述的参考单位块来以单位块为单位生成PU31的预测图像，该参考单位块是单位块中与单位块具有相同尺寸、与每个单位块相距运动矢量v的块。

图12描述了在平移缩放模式下通过运动补偿生成预测图像的另一示例。

在图11的示例中，缩放率S用作缩放信息，但是作为缩放信息，可以如图12所示使用顶点A的运动矢量v₀和顶点B的运动矢量v₁之间在水平方向上的差dv_x。在这种情况下，仅通过将尺寸S₁和差dv_x相加就能够确定参考块135在横向方向上的尺寸S₂；即，仅通过根据表达式(v_1x,v_1y)＝(v_0x+dv_x,v_0y)的加法就能够确定PU 31的顶点B的运动矢量v₁＝(v_1x,v_1y)，从而使得可以减少运动补偿时的计算量。应当注意，缩放率S由(S₁+dv_x)/S₁表示。

如上所述，在平移旋转模式和平移缩放模式下的运动补偿中，使用三个参数(一个运动矢量v₀＝(v_0x,v_0y)和角度信息或缩放信息)，其小于图3中的简单仿射变换模式下的运动补偿(的4参数仿射MC预测处理)中使用的四个参数。然而，类似于简单仿射变换模式下的运动补偿，通过根据两个运动矢量v₀和v₁确定单位块的运动矢量v并且基于运动矢量v平移移动参考单位块，以单位块为单位执行预测图像的生成。

图13示出了执行运动补偿的状态。

在图13中，图片p(N-3)、p(N-2)、p(N-1)、p(N)和p(N+1)按显示顺序排列，并且第N+1张图片p(N+1)是要处理的图片。图片p(n)是具有第n个显示顺序的图片。

在图13中，对于图片p(N-3)至p(N)完成编码和(局部)解码，并且图片p(N-3)至p(N)作为解码图像存储(存储)在图7中的帧存储器118(的缓冲器)中。

在图像编码器100中，将参考索引分配给存储在帧存储器118中的图片p(N-3)至p(N)的每一个。在图13中，参考索引3、2、1和0分别分配给图片p(N-3)至p(N)。

在图13中，要处理的图片p(N+1)中的某个PU 31是处理目标，并且通过参考索引指定要在要处理的PU 31的帧间预测处理中用于运动补偿的参考图像。参考索引是用于指定参考图像的信息，并且将不同的参考索引分配给具有不同POC(图片顺序计数)的图片。参考索引对应于参照图7描述的参考图像指定信息。

在图13中，对于要处理的PU 31，具有参考索引0的图片p(N)用作参考图像，并且因此，使用图片p(N)作为参考图像执行运动补偿，并且生成PU 31的预测图像。

在图13中，基于三个运动矢量v₀＝(v_0x,v_0y)、v₁＝(v_1x,v_1y)和v₂＝(v_2x,v_2y)的运动补偿，即完全仿射变换模式下的运动补偿被执行。

用于完全仿射变换模式下的运动补偿的六个参数是v_0x、v_0y、v_1x、v_1y、v_2x和v_2y。与需要两个参数v_0x和v_0y的平移模式下的运动补偿、需要一个运动矢量v_c＝(v_cx，v_cy)和角度信息或缩放信息的三个参数的平移旋转模式或平移缩放模式下的运动补偿、以及需要两个运动矢量v₀＝(v_0x,v_0y)和v₁＝(v_1x,v_1y)的四个参数的简单仿射变换模式下的运动补偿相比，在完全仿射变换模式下的运动补偿中，提高了预测精度；然而，增加了开销，从而降低了编码效率。

因此，在图像编码器100中，在根据POC距离从多个运动补偿模式中选择的运动补偿模式下执行运动补偿，以生成预测图像，从而减少开销并且提高编码效率，该POC距离是表示(包括)要处理的PU 31(的图片)的显示顺序的POC与用于生成PU 31的预测图像的参考图像的POC之间的距离。

应当注意，(包括)PU 31(的图片)的POC与参考图像的POC之间的POC距离能够被确定为PU 31的POC与参考图像的POC之间的差的绝对值。在参考图像是例如作为包括PU 31的图片P(N+1)之前的一幅图片的图片P(N)的情况下，PU 31的POC与参考图像的POC之间的POC距离是1。

图14描述了用于根据POC距离从多个运动补偿模式中选择用于运动补偿的运动补偿模式的模式选择方法的示例。

在图14中，与图13类似，图片p(N-3)至p(N+1)以显示顺序示出。

在图14的A中，在要处理的PU 31的帧间预测处理中用于运动补偿的参考图像是相对于包括PU 31的图片P(N+1)具有POC距离为1的图片P(N)。

另一方面，在图14的B中，在要处理的PU 31的帧间预测处理中用于运动补偿的参考图像是相对于包括PU 31的图片P(N+1)具有POC距离为4的图片P(N-3)。

此处，在运动图像中，POC距离短的图片趋于具有小的由于运动而引起的变化，而POC距离长的图片趋于具有大的由于运动而引起的变化。

在由于运动引起的变化小的情况下，很可能不仅在例如在参数数目(即参数的数目)大的完全仿射变换模式下的运动补偿中，而且在例如参数数目小并且使用一个运动矢量v₀的平移模式等下的运动补偿中能够获得具有高预测精度的预测图像。

另一方面，在由于运动引起的变化大的情况下，不太可能例如在平移模式等下能够获得具有高预测精度的预测图像。例如，使用三个运动矢量v₀至v₂的完全仿射变换模式能够获得具有较高预测精度的预测图像的可能性高。

因此，根据(包括)PU 31(的图片)的POC与参考图像的POC之间的POC距离，当POC距离较短时，图像编码器100选择参数数目少的运动补偿模式用于帧间预测处理。

也就是说，例如，如图14的A所示，在PU 31的POC与参考图像的POC之间的POC距离小到1的情况下，图像编码器100选择例如参数数目少的平移模式等下的运动补偿用于帧间预测处理。在这种情况下，通过参数数目少的运动补偿，可以获得具有高预测精度的预测图像，并且因此，可以减少开销并且提高编码效率。

此外，例如，如图14的B所示，在PU 31的POC与参考图像的POC之间的POC距离大到4的情况下，图像编码器100选择例如参数数目多的完全仿射变换模式等下的运动补偿用于帧间预测处理。在这种情况下，尽管参数的数目增加以增加开销，但是可以获得具有高预测精度的预测图像，因此预测残差变小，并且因此可以提高编码效率。

此处，在下文中，PU 31的POC与参考图像的POC之间的POC距离也适当地简称为PU31的POC距离。

在图14中，取决于PU 31的POC距离是1还是4，选择平移模式或完全仿射变换模式作为执行PU 31的运动补偿的运动补偿模式；然而，根据POC距离选择运动补偿模式的方法不限于此。

图15示出了要处理的PU 31的POC距离与能够用于PU 31的帧间预测处理的运动补偿的运动补偿模式之间的关系的示例。

在图15中，当PU 31的POC距离较短时，可以选择参数数目较少的运动补偿模式用于帧间预测处理(当POC距离较长时，可以选择参数数目较多的运动补偿模式用于帧间预测处理)。

也就是说，在图15中，“1”指示可以选择用于帧间预测处理的运动补偿模式，并且“0”指示不能选择用于帧间预测处理的运动补偿模式。

根据图15，在PU 31的POC距离为1的情况下，可以选择作为候选模式的平移模式(的运动补偿)作为作为运动补偿模式的候选的候选模式，其中，仅可以选择必要参数数目为两个的平移模式用于PU 31的帧间预测处理。

在PU 31的POC距离为2的情况下，可以采用必要参数数目为两个的平移模式以及必要参数数目为三个的平移旋转模式和平移缩放模式作为候选模式，并且选择作为候选模式的平移模式、平移旋转模式或平移缩放模式作为PU 31的帧间预测处理。

在PU 31的POC距离为3的情况下，可以采用必要参数数目为两个的平移模式、以及必要参数数目为三个的平移旋转模式和平移缩放模式、以及必要参数数目为四个的简单仿射变换模式作为候选模式，并且选择作为候选模式的平移模式、平移旋转模式、平移缩放模式或简单仿射变换模式作为PU 31的帧间预测处理。

在PU 31的POC距离为4或更大的情况下，可以采用必要参数数目为两个的平移模式、必要参数数目为三个的平移旋转模式和平移缩放模式、必要参数数目为四个的简单仿射变换模式、以及必要参数数目为六个的完全仿射变换模式作为候选模式，并且选择作为候选模式的平移模式、平移旋转模式、平移缩放模式、简单仿射变换模式或完全仿射变换模式作为PU 31的帧间预测处理。

图16描述了运动补偿模式信息和参数信息。

运动补偿模式信息例如由0位、1位、2位、3位或4位标志来配置。

此处，在本实施方式中，根据PU 31的POC距离，从平移模式、平移旋转模式、平移缩放模式、简单仿射变换模式和完全仿射变换模式中选择用于PU 31的帧间预测处理的运动补偿的运动补偿模式。

也就是说，根据PU 31的POC距离，从平移模式、平移旋转模式、平移缩放模式、简单仿射变换模式和完全仿射变换模式中选择候选模式，并且从候选模式中选择用于PU 31的帧间预测处理的运动补偿的运动补偿模式。

因此，用于PU 31的帧间预测处理的运动补偿的运动补偿模式根据PU 31的POC距离被限制为候选模式，并且从候选模式中选择。因此，相比全部的平移模式、平移旋转模式、平移缩放模式、简单仿射变换模式和完全仿射变换模式，对于运动补偿模式信息来说，表示用作根据POC距离而限制的候选模式的运动补偿模式就足够了。

也就是说，在POC距离为1的情况下，仅选择平移模式作为候选模式。在这种情况下，可以用于帧间预测处理的运动补偿的运动补偿模式仅是平移模式；不需要运动补偿模式信息来表示该平移模式。因此，在POC距离为1的情况下，采用0位标志作为运动补偿模式信息。即，假设运动补偿模式信息为无。

在这种情况下，当POC距离为1时，可以根据POC距离将运动补偿模式确定(识别)为平移模式。

在POC距离为2的情况下，选择平移模式、平移旋转模式和平移缩放模式作为候选模式。在这种情况下，可以用于帧间预测处理的运动补偿的运动补偿模式是平移模式、平移旋转模式或平移缩放模式，并且采用1位或2位标志作为运动补偿模式信息以表示平移模式、平移旋转模式或平移缩放模式。

也就是说，在POC距离为2的情况下，采用1位标志作为表示平移模式的运动补偿模式信息，并且采用2位标志作为表示平移旋转模式和平移缩放模式中的每一个的运动补偿模式信息。

具体地，采用值为1的1位标志作为表示平移模式的运动补偿模式信息，并且采用值为01或00的2位标志作为分别表示平移旋转模式或平移缩放模式的运动补偿模式信息。

在这种情况下，当POC距离为2时，如果POC距离的运动补偿模式信息是1位标志，则可以根据作为1位或2位标志的运动补偿模式信息来确定运动补偿模式是平移模式。此外，当运动补偿模式信息是01或00的2位标志时，可以将运动补偿模式分别确定为平移旋转模式或平移缩放模式。

在POC距离为3的情况下，选择平移模式、平移旋转模式、平移缩放模式和简单仿射变换模式作为候选模式。在这种情况下，可以用于帧间预测处理的运动补偿的运动补偿模式是平移模式、平移旋转模式、平移缩放模式或简单仿射变换模式，并且采用1位、2位或3位标志作为运动补偿模式信息以表示平移模式、平移旋转模式、平移缩放模式或简单仿射变换模式。

也就是说，在POC距离为3的情况下，采用1位标志作为表示平移模式的运动补偿模式信息，并且采用2位标志作为表示平移旋转模式的运动补偿模式信息。此外，采用3位标志作为表示平移缩放模式或简单仿射变换模式的运动补偿模式信息。

具体地，采用值为1的1位标志作为表示平移模式的运动补偿模式信息，并且采用值为01的2位标志作为表示平移旋转模式的运动补偿模式信息。此外，采用值为001或000的3位标志作为分别表示平移缩放模式或简单仿射变换模式的运动补偿模式信息。

在这种情况下，当POC距离为3时，根据作为1位、2位或3位标志的运动补偿模式信息，如果运动补偿模式信息是为1的1位标志，则可以确定运动补偿模式是平移模式，并且如果运动补偿模式信息是为01的2位标志，则可以确定运动补偿模式是平移旋转模式。此外，当运动补偿模式信息是001或000的3位标志时，可以将运动补偿模式分别确定为平移缩放模式或简单仿射变换模式。

在POC距离为4或更大的情况下，选择平移模式、平移旋转模式、平移缩放模式、简单仿射变换模式和完全仿射变换模式作为候选模式。在这种情况下，可以用于帧间预测处理的运动补偿的运动补偿模式是作为候选模式的平移模式、平移旋转模式、平移缩放模式或简单仿射变换模式或完全仿射变换模式。采用1位、2位、3位或4位标志作为运动补偿模式信息以表示作为候选模式的平移模式、平移旋转模式、平移缩放模式或简单仿射变换模式或完全仿射变换模式。

也就是说，在POC距离为4或更大的情况下，采用1位标志作为表示平移模式的运动补偿模式信息，并且采用2位标志作为表示平移旋转模式的运动补偿模式信息。此外，采用3位标志作为表示平移缩放模式的运动补偿模式信息，并且采用4位标志作为表示简单仿射变换模式或完全仿射变换模式的运动补偿模式信息。

具体地，采用值为1的1位标志作为表示平移模式的运动补偿模式信息，并且采用值为01的2位标志作为表示平移旋转模式的运动补偿模式信息。此外，采用值为001的3位标志作为表示平移缩放模式的运动补偿模式信息，并且采用值为0001或0000的4位标志作为分别表示简单仿射变换模式或完全仿射变换模式的运动补偿模式信息。

在这种情况下，当POC距离为4或更大时，根据作为1位标志、2位标志、3位标志或4位标志的运动补偿模式信息，如果运动补偿模式信息是为1的1位标志，则可以确定运动补偿模式是平移模式，并且如果运动补偿模式信息是为01的2位标志，则可以确定运动补偿模式是平移旋转模式。此外，如果运动补偿模式信息是为001的3位标志，则可以确定运动补偿模式是平移缩放模式，并且如果运动补偿模式信息是为0001或0000的4位标志，则可以分别确定运动补偿模式是简单仿射变换模式或完全仿射变换模式。

如参照图15所描述的，可能依次选择平移模式、平移旋转模式、平移缩放模式、简单仿射变换模式和完全仿射变换模式作为候选模式，并且从而作为PU 31的运动补偿的运动补偿模式。

因此，如图16所示，通过采用其中以可能会被选作PU 31的运动补偿的运动补偿模式的平移模式、平移旋转模式和平移缩放模式、简单仿射变换模式和完全仿射变换的顺序位数趋于增加的标志作为运动补偿模式信息，可以抑制构成开销的运动补偿模式信息的数据量，并且可以提高编码效率。

应当注意，在帧间预测处理模式是AMVP模式并且运动补偿模式是平移模式的情况下，用于指定要处理的PU 31的一个运动矢量v₀(即与PU 31的顶点A的运动矢量v₀对应的预测矢量)的信息被设置为参数信息的refidx0，并且该一个运动矢量v₀与预测矢量之间的差被设置为参数信息的mvd0。

当运动补偿模式是平移旋转模式时，与平移模式类似地设置参数信息的refidx0和mvd0。此外，用于指定与要处理的PU 31的角度信息对应的预测角度信息的信息被设置为参数信息的refidx1，并且角度信息与预测角度信息之间的差被设置为参数信息的dr。

因此，在角度信息表示旋转角度θ的情况下，dr是要处理的PU 31的旋转角度θ与作为预测角度信息的旋转角度θ′之间的差dθ。另一方面，在角度信息表示差dv_y的情况下，dr是要处理的PU 31的差dv_y与作为预测角度信息的差dv_y之间的差mvd1.y。

当运动补偿模式是平移缩放模式时，类似于运动补偿模式是平移模式的情况，设置参数信息的refidx0和mvd0。此外，用于指定与要处理的PU 31的缩放信息对应的预测缩放信息的信息被设置为参数信息的refidx1，并且缩放信息与预测缩放信息之间的差被设置为参数信息的ds。

因此，在缩放信息表示缩放率S的情况下，ds是要处理的PU 31的缩放率S与作为预测缩放信息的缩放率S之间的差dS。另一方面，在缩放信息表示差dv_x的情况下，ds是要处理的PU 31的差dv_x与作为预测缩放信息的差dv_x之间的差mvd1.x。

当运动补偿模式是简单仿射变换模式时，与平移模式类似地设置参数信息的refidx0和mvd0。此外，用于指定要处理的PU 31的另一运动矢量v₁(即与PU 31的顶点B的运动矢量v₁对应的预测矢量)的信息被设置为参数信息的refidx1，并且运动矢量v₁与预测矢量之间的差被设置为参数信息的mvd1。

当运动补偿模式是完全仿射变换模式时，与简单仿射变换模式类似地设置参数信息的refidx0和mvd0以及refidx1和mvd1。此外，用于指定要处理的PU 31的又一运动矢量v₂(即与PU 31的顶点C的运动矢量v₂对应的预测矢量)的信息被设置为参数信息的refidx2，并且运动矢量v₂与预测矢量之间的差被设置为参数信息的mvd2。

应当注意，在帧间预测处理模式是合并模式的情况下，不设置mvd0、mvd1、mvd2、ds、dr、refidx0、refidx1和refidx2。

图17描述了在用作预测矢量的候选的相邻参数(在下文中，称为“相邻矢量”)中包括的运动矢量。

预测部119基于顶点A被设置为顶点的作为PU 151的左上编码PU的块a、作为上侧编码PU的块b或作为左侧编码PU的块c的运动矢量来生成相邻矢量，该相邻矢量用作在图17中要预测的PU151的左上顶点A的运动矢量v₀的预测矢量pv₀的候选。

此外，预测部119还基于顶点B被设置为顶点的作为PU 151的上侧编码PU的块d或作为右上编码PU的块e的运动矢量来生成相邻矢量，该相邻矢量用作PU 151的右上顶点B的运动矢量v₁的预测矢量pv₁的候选。

此外，预测部119基于顶点C被设置为顶点的作为PU 151的左侧编码PU的块f或块g的运动矢量来生成相邻矢量，该相邻矢量用作PU 151的左下顶点C的运动矢量v₂的预测矢量pv₂的候选。应当注意，块a至块g的运动矢量的每一个是对于在预测部119中保存的每个块的一个运动矢量。

在图17中，对于用于生成用作预测矢量pv₀、pv₁和pv₂的候选的相邻矢量的运动矢量的组合的候选，存在12(＝3×2×2)种组合。预测部119选择例如由以下表达式(3)确定的DV在十二种候选组合中最小的组合，作为用于生成用作预测矢量pv₀、pv₁和pv₂的候选的相邻矢量的运动矢量组合。

DV＝|(v_1x′-v_0x′)H-(v_2y-v_0y′)W|+|(v_1y′-v_0y′)H-(v_2x′-v_0x′)W|...(3)

应当注意，v_0x′和v_0y′是用于生成预测矢量pv₀的块a至块c中的任意块在x方向和y方向上的相应运动矢量。v_1x′和v_1y′是用于生成预测矢量pv₁的块d和块e中的任意块在x方向和y方向上的运动矢量。v_2x′和v_2y′是用于生成预测矢量pv₂的块f和块g中的任意块在x方向和y方向上的相应运动矢量。

<图像编码器100的图像编码处理>

图18是描述图7中的图像编码器100的图像编码处理的流程图。

在图18中，在步骤S11中，控制部101基于来自外部、RDO等的输入来设置编码参数(头部信息Hinfo、预测信息Pinfo、变换信息Tinfo等)。控制部101将所设置的编码参数提供至每个块，并且处理从步骤S11进行至步骤S12。

在步骤S12中，预测部119确定预测信息Pinfo的模式信息pred_mode_flag是否指示帧间预测处理。在步骤S12中确定模式信息pred_mode_flag指示帧间预测处理的情况下，处理进行至步骤S13，在步骤S13中预测部119确定预测信息Pinfo的合并标志是否为1。

在步骤S13中确定合并标志为1的情况下，处理进行至步骤S14，在步骤S14中预测部119执行合并模式编码处理，该合并模式编码处理使用通过合并模式帧间预测处理生成的预测图像P对要编码的图像进行编码，并且图像编码处理完成。

另一方面，在步骤S13中确定合并标志不为1的情况下，处理进行至步骤S15，在步骤S15中预测部119执行AMVP模式编码处理，该AMVP模式编码处理使用通过AMVP模式的帧间预测处理生成的预测图像P对要编码的图像进行编码，并且图像编码处理完成。

此外，在步骤S12中确定模式信息pred_mode_flag不指示帧间预测处理的情况下，即，在模式信息pred_mode_flag指示帧内预测处理的情况下，处理进行至步骤S16。

在步骤S16中，预测部119执行帧内编码处理，该帧内编码处理使用通过帧内预测处理生成的预测图像P来对要编码的图像I进行编码。然后，图像编码处理完成。

图19是描述在图18的步骤S11的处理中设置用于设置合并标志和运动补偿模式信息的帧间预测处理模式的处理的流程图。例如以PU(CU)为单位执行设置帧间预测处理模式的处理。

在图19中，在步骤S41中，控制部101根据要处理的PU 31的POC距离选择作为运动补偿模式的候选的候选模式，并且处理进行至步骤S42。

也就是说，例如，如参照图15所描述的，在POC距离为1的情况下，仅选择平移模式作为候选模式，并且在POC距离为2的情况下，选择平移模式、平移旋转模式和平移缩放模式作为候选模式。此外，在POC距离为3的情况下，选择平移模式、平移旋转模式、平移缩放模式和简单仿射变换模式作为候选模式，并且在POC距离为4或更大的情况下，选择平移模式、平移旋转模式、平移缩放模式、简单仿射变换模式和完全仿射变换模式作为候选模式。

在步骤S42中，控制部101从候选模式中选择尚未在步骤S42中设置为运动补偿模式的候选模式作为运动补偿模式，并且设置表示运动补偿模式的运动补偿模式信息，并且处理进行至步骤S43。

例如，如参照图16中描述的，当在作为POC距离为2的情况下的候选模式的平移模式、平移旋转模式和平移缩放模式中选择平移缩放模式作为运动补偿模式时，将表示平移缩放模式的为00的2位标志设置为POC距离为2的情况下的运动补偿模式信息。

此外，例如，如参照图16中描述的，当在作为POC距离为3的情况下的候选模式的平移模式、平移旋转模式、平移缩放模式和简单仿射变换模式中选择平移缩放模式作为运动补偿模式时，将表示平移缩放模式的为001的3位标志设置为POC距离为3的情况下的运动补偿模式信息。

在步骤S43中，控制部101控制每个块以针对用作候选的除合并标志和运动补偿模式信息以外的每个预测信息Pinfo对要处理的PU 31执行合并模式编码处理，以计算RD成本，并且处理进行至步骤S44。应当注意，RD成本的计算是基于作为编码的结果而获得的生成比特量(代码量)、解码图像的SSE(平方误差和)等来执行的。

在步骤S44中，控制部101控制每个块以针对用作候选的除合并标志和运动补偿模式信息以外的每个预测信息Pinfo对要处理的PU 31执行AMVP模式编码处理，以计算RD成本，并且处理进行至步骤S45。

在步骤S45中，控制部101确定是否所有候选模式被选择为运动补偿模式。

在步骤S45中确定所有候选模式尚未被选择为运动补偿模式的情况下，处理进行至步骤S42。如上所述，在步骤S42中，在候选模式中，将尚未被设置为运动补偿模式的候选模式选择为运动补偿模式，并且在下文中重复类似的处理。

此外，在步骤S45中确定所有候选模式已经被选择为运动补偿模式的情况下，处理进行至步骤S46。

在步骤S46中，对于候选模式的每一个，控制部101从通过步骤S43中的合并模式编码处理获得的RD成本和通过步骤S44中的AMVP模式编码处理获得的RD成本中，检测作为最小的RD成本的最小RD成本，并且处理进行至步骤S47。

在步骤S47中，控制部101确定最小RD成本是否是通过合并模式编码处理获得的RD成本。

在步骤S47中确定最小RD成本是通过合并模式编码处理获得的RD成本的情况下，处理进行至步骤S48并且控制部101将要处理的PU 31的合并标志设置为1，并且处理进行至步骤S50。

另一方面，在步骤S47中确定最小RD成本不是通过合并模式编码处理获得的RD成本的情况下，处理进行至步骤S49并且控制部101将要处理的PU 31的合并标志设置为0，并且处理进行至步骤S50。

在步骤S50中，控制部101根据PU 31的POC距离，将表示获得了最小RD成本的候选模式的运动补偿模式信息设置为PU 31的运动补偿模式信息，并且设置帧间预测处理模式的处理完成。

图20是描述合并模式编码处理的流程图。例如以CU(PU)为单位执行合并模式编码处理。

在合并模式编码处理中，在步骤S101中，预测部119根据要处理的PU 31的POC距离和运动补偿模式信息，确定PU 31(的用于执行运动补偿)的运动补偿模式。

如参照图16所描述的，在POC距离为1的情况下，根据POC距离确定运动补偿模式是平移模式。

在POC距离为2的情况下，当运动补偿模式信息是值为1的1位标志时，运动补偿模式被确定为平移模式，并且当运动补偿模式信息是值为01或00的2位标志时，运动补偿模式分别被确定为平移旋转模式或平移缩放模式。

在POC距离为3的情况下，当运动补偿模式信息是值为1的1位标志时，运动补偿模式被确定为平移模式，并且当运动补偿模式信息是值为01的2位标志时，运动补偿模式被确定为平移旋转模式。此外，当运动补偿模式信息是值为001或000的3位标志时，运动补偿模式分别被确定为平移缩放模式或简单仿射变换模式。

在POC距离为4或更大的情况下，当运动补偿模式信息是值为1的1位标志时，运动补偿模式被确定为平移模式，并且当运动补偿模式信息是值为01的2位标志时，运动补偿模式被确定为平移旋转模式。此外，当运动补偿模式信息是值为001的3位标志时，运动补偿模式被确定为平移缩放模式，并且当运动补偿模式信息是值为0001或0000的4位标志时，运动补偿模式分别被确定为简单仿射变换模式或完全仿射变换模式。

在步骤S101中确定运动补偿模式是平移模式的情况下，处理进行至步骤S102。

在步骤S102中，预测部119基于参数信息判定预测矢量pv₀，并且处理进行至步骤S103。具体地，在参数信息是用于将相邻矢量指定为预测矢量的信息的情况下，预测部119基于被保存的块a至块g的运动矢量，将根据在表达式(3)中具有最小DV的块a至块c的任何运动矢量生成的相邻矢量确定为预测矢量pv₀。

在步骤S103中，预测部119将在步骤S102中判定的预测矢量pv₀用作要处理的PU31的运动矢量v₀，并且对由帧存储器118中存储的参考图像指定信息(参考索引)指定的参考图像以平移模式执行运动补偿，从而生成PU 31的预测图像P。预测部119将通过运动补偿生成的PU 31的预测图像P提供给运算部111和运算部117，并且处理从步骤S103进行至步骤S112。

在步骤S101中确定运动补偿模式是完全仿射变换模式的情况下，处理进行至步骤S104。

在步骤S104中，预测部119基于参数信息判定三个预测矢量pv₀、pv₁、和pv₂，并且处理进行至步骤S105。

具体地，在参数信息是用于将相邻矢量指定为预测矢量的信息的情况下，预测部119基于被保存的块a至块g的运动矢量，选择以下的组合：表达式(3)的DV最小的块a至块c的任何运动矢量、块d和块e的任何运动矢量以及块f和块g的任何运动矢量。然后，预测部119将使用所选择的块a至块c的任何运动矢量生成的相邻矢量判定为预测矢量pv₀。此外，预测部119将使用所选择的块d或块e的运动矢量生成的相邻矢量判定为预测矢量pv₁，并且将使用所选择的块f或块g的运动矢量生成的相邻矢量判定为预测矢量pv₂。

在步骤S105中，预测部119使用在步骤S104中判定的预测矢量pv₀、pv₁和pv₂分别作为要处理的PU 31的运动矢量v₀、v₁和v₂，在完全仿射变换模式下对由参考图像指定信息指定的参考图像执行运动补偿。

也就是说，预测部119使用运动矢量v₀、v₁和v₂根据表达式(2)，确定通过对PU 31进行划分而获得的每个单位块的运动矢量v。此外，预测部119基于每个单位块的运动矢量v，平移移动参考图像中与该单位块对应的参考单位块，从而生成PU 31的预测图像P。预测部119将通过运动补偿生成的PU 31的预测图像P提供给运算部111和运算部117，并且处理从步骤S105进行至步骤S112。

在步骤S101中确定运动补偿模式是简单仿射变换模式的情况下，处理进行至步骤S106。

在步骤S106中，与步骤S104的情况类似，预测部119基于参数信息判定两个预测矢量pv₀和pv₁，并且处理进行至步骤S107。

在步骤S107中，预测部119使用在步骤S106中判定的预测矢量pv₀和pv₁分别作为要处理的PU 31的运动矢量v₀和v₁，在简单仿射变换模式下对由参考图像指定信息指定的参考图像执行运动补偿。

也就是说，预测部119使用运动矢量v₀和v₁根据表达式(1)，确定通过对PU 31进行划分而获得的每个单位块的运动矢量v。此外，预测部119基于每个单位块的运动矢量v，平移移动参考图像中与该单位块对应的参考单位块，从而生成PU 31的预测图像P。预测部119将通过运动补偿生成的PU 31的预测图像P提供给运算部111和运算部117，并且处理从步骤S107进行至步骤S112。

在步骤S101中确定运动补偿模式是平移旋转模式的情况下，处理进行至步骤S108。

在步骤S108中，预测部119基于参数信息，与步骤S102的处理类似地判定一个预测矢量pv₀和预测角度信息，并且处理进行至步骤S109。

在步骤S109中，预测部119使用在步骤S108中判定的预测矢量和预测角度信息作为要处理的PU 31的运动矢量v₀和角度信息，在平移旋转模式下对参考图像执行运动补偿。

也就是说，如参照图9或图10所描述的，预测部119根据PU 31的运动矢量v₀和角度信息确定运动矢量v₁。然后，预测部119使用运动矢量v₀和v₁根据表达式(1)，确定通过对PU31进行划分而获得的每个单位块的运动矢量v。此外，预测部119基于每个单位块的运动矢量v，平移移动参考图像中与该单位块对应的参考单位块，从而生成PU 31的预测图像P。预测部119将通过运动补偿生成的PU 31的预测图像P提供给运算部111和运算部117，并且处理从步骤S109进行至步骤S112。

在步骤S101中确定运动补偿模式是平移缩放模式的情况下，处理进行至步骤S110。

在步骤S110中，与步骤S102的处理类似地，预测部119基于参数信息判定一个预测矢量pv₀和预测缩放信息，并且处理进行至步骤S111。

在步骤S111中，预测部119使用在步骤S110中判定的预测矢量和预测缩放信息作为要处理的PU 31的运动矢量v₀和缩放信息，在平移缩放模式下对参考图像执行运动补偿。

也就是说，如参照图11或图12所描述的，预测部119根据PU 31的运动矢量v₀和缩放信息确定运动矢量v₁。然后，预测部119使用运动矢量v₀和v₁根据表达式(1)，确定通过对PU 31进行划分而获得的每个单位块的运动矢量v。此外，预测部119基于每个单位块的运动矢量v，平移移动参考图像中与该单位块对应的参考单位块，从而生成PU 31的预测图像P。预测部119将通过运动补偿生成的PU 31的预测图像P提供给运算部111和运算部117，并且处理从步骤S111进行至步骤S112。

在步骤S112中，运算部111执行将图像I与预测图像P之间的差作为预测残差D的运算，并且将该差提供给变换部112。与原始图像I相比，以该方式获得的预测残差D减少了数据量。因此，与按原样对图像I进行编码的情况相比，可以对数据量进行压缩。

在步骤S113中，变换部112基于从控制部101提供的变换信息Tinfo来对从运算部111提供的预测残差D执行正交变换等，以计算变换系数Coeff。变换部112将变换系数Coeff提供至量化部113。

在步骤S114处，量化部113基于从控制部101提供的变换信息Tinfo来缩放(量化)从变换部112提供的变换系数Coeff，以计算量化变换系数级别level。量化部113将量化变换系数级别level提供至编码部114和逆量化部115。

在步骤S115中，逆量化部115基于从控制部101提供的变换信息Tinfo，利用与步骤S114的量化特性对应的特性，对从量化部113提供的量化变换系数级别level进行逆量化。逆量化部115将产生的变换系数Coeff_IQ提供至逆变换部116。

在步骤S116中，基于从控制部101提供的变换信息Tinfo，逆变换部116以与步骤S113的正交变换等对应的方式对从逆量化部115提供的变换系数Coeff_IQ执行逆正交变换等，以计算预测残差D′。

在步骤S117处，运算部117将通过步骤S116中的处理计算的预测残差D′与从预测部119提供的预测图像P相加，从而生成局部解码图像Rec。

在步骤S118中，帧存储器118使用通过步骤S117的处理而获得的局部解码图像Rec来以图片为单位重构解码图像，并且将重构的解码图像存储在帧存储器118中的缓冲器中。

在步骤S119中，编码部114以预定方式对通过图18的步骤S11的处理设置的编码参数和通过步骤S114的处理获得的量化变换系数级别level进行编码。编码部114对所产生的编码数据进行复用，并且将经复用的数据作为编码流输出至图像编码器100的外部。编码流经由例如传输路径或记录介质传输至解码侧。

当步骤S119的处理完成时，合并模式编码处理完成。

图21是描述AMVP模式编码处理的流程图。例如以CU(PU)为单位执行AMVP模式编码处理。

在步骤S131中，与图20的步骤S101类似，根据要处理的PU 31的POC距离和运动补偿模式信息确定PU 31的运动补偿模式。

在步骤S131中确定运动补偿模式是平移模式、完全仿射变换模式、简单仿射变换模式、平移旋转模式或平移缩放模式的情况下，处理分别进行至步骤S132、S135、S138、S141或S144。

在步骤S132、S135、S138、S141或S144中，执行与图20中的步骤S102、S104、S106、S108或S110中的处理类似的处理，并且因此省略其描述。

在步骤S132、S135、S138、S141或S144之后，处理分别进行至步骤S133、S136、S139、S142或S145。

在步骤S133中，预测部119通过将在步骤S132中判定的一个预测矢量pv₀和参数信息的预测矢量pv₀与要处理的PU 31的运动矢量v₀之间的差dv₀相加来确定要处理的PU 31的运动矢量v₀，并且处理进行至步骤S134。

在步骤S134中，预测部119使用在步骤S133中确定的运动矢量v₀，与图20中的S103类似地，在平移模式下执行运动补偿并且生成PU 31的预测图像P。预测部119将预测图像P提供至运算部111和运算部117，并且处理从步骤S134进行至步骤S147。

在步骤S136中，预测部119将在步骤S135中判定的三个预测矢量pv₀、pv₁和pv₂中的每一个与对应于预测矢量pv₀、pv₁和pv₂的参数信息的差相加，以确定要处理的PU 31的三个运动矢量v₀、v₁和v₂。

具体地，预测部119将预测矢量pv_i(此处，i＝0、1、2)和参数信息的预测矢量pv_i与要处理的PU 31的运动矢量v_i之间的差dv_i相加，以确定要处理的PU 31的三个运动矢量v₀、v₁和v₂。

然后，处理从步骤S136进行至步骤S137，并且与图20中的步骤S105类似地，预测部使用在步骤S136中确定的运动矢量v₀、v₁和v₂以在完全仿射变换模式下执行运动补偿，并且生成PU 31的预测图像P。预测部119将预测图像P提供至运算部111和运算部117，并且处理从步骤S137进行至步骤S147。

在步骤S139中，预测部119将在步骤S138中判定的两个预测矢量pv₀和pv₁中的每一个与对应于预测矢量pv₀和pv₁的参数信息的差相加，以确定要处理的PU 31的两个运动矢量v₀和v₁。

具体地，预测部119将预测矢量pv_i(此处，i＝0、1)和参数信息的预测矢量pv_i与要处理的PU 31的运动矢量v_i之间的差dv_i相加，以确定要处理的PU 31的两个运动矢量v₀和v₁。

然后，处理从步骤S139进行至步骤S140，并且与图20中的步骤S107类似地，预测部119使用在步骤S139中确定的运动矢量v₀和v₁以在简单仿射变换模式下执行运动补偿，并且生成PU 31的预测图像P。预测部119将预测图像P提供至运算部111和运算部117，并且处理从步骤S140进行至步骤S147。

在步骤S142中，与步骤S133的处理类似地，预测部119确定一个运动矢量v₀。此外，预测部119通过将在步骤S141中判定的预测角度信息和参数信息的预测角度信息与要处理的PU 31的角度信息之间的差相加来确定要处理的PU 31的角度信息，并且处理从步骤S142进行至步骤S143。

在步骤S143中，预测部119使用在步骤S142中确定的一个运动矢量v₀和角度信息，与图20的步骤S109类似地，在平移旋转模式下对参考图像执行运动补偿，并且生成PU 31的预测图像P。预测部119将预测图像P提供至运算部111和运算部117，并且处理从步骤S143进行至步骤S147。

在步骤S145中，与步骤S133的处理类似地，预测部119确定一个运动矢量v₀。此外，预测部119通过将在步骤S144中判定的预测缩放信息和参数信息的预测缩放信息与要处理的PU 31的缩放信息之间的差相加来确定要处理的PU 31的缩放信息，并且处理从步骤S145进行至步骤S146。

在步骤S146中，预测部119使用在步骤S145中确定的一个运动矢量v₀和缩放信息，与图20的步骤S111类似地，在平移缩放模式下对参考图像执行运动补偿，并且生成PU 31的预测图像P。预测部119将预测图像P提供至运算部111和运算部117，并且处理从步骤S146进行至步骤S147。

步骤S147至S154的处理类似于图20中的步骤S112至S119的处理，并且因此省略其描述。

如上所述，图像编码器100根据要处理的PU 31的POC距离，在从多个运动补偿模式中选择的运动补偿模式下执行运动补偿，从而生成预测图像。

也就是说，例如，在PU 31与参考图像之间的POC距离短并且很可能由于PU 31与参考图像之间的运动而引起的变化不太大的情况下，执行参数数目少的平移模式等下的运动补偿，并且在POC距离长并且很可能由于PU 31与参考图像之间的运动而引起的变化大或复杂的情况下，执行参数数目多的完全仿射变换模式等下的运动补偿。

因此，在PU 31与参考图像之间的POC距离短的情况下，执行参数数目少的运动补偿，从而减少(在AMVP模式下)帧间预测处理时的开销并且提高编码效率。此外，在PU 31与参考图像之间的POC距离长的情况下，可以执行参数数目多的运动补偿；然而，由于生成了预测精度高的预测图像，因此减少了预测残差，并且因此可以提高编码效率。

<应用本技术的图像解码器的实施方式>

图22是示出作为应用本技术的图像处理器的图像解码器的实施方式的配置示例的框图。

图22中的图像解码器200通过与图像编码器100中的编码方法对应的解码方法来对由图像编码器100生成的编码流进行解码。例如，图像解码器200可以实现在HEVC中提出的技术或在JVET中提出的技术。

应当注意，图22示出了诸如处理部和数据流的主要元件，并且在图22中未示出所有元件。即，在图像解码器200中，可以存在图22中未图示为块的处理部，或者可以存在图22中未由箭头等指示的处理或数据流。

图22中的图像解码器200包括解码部211、逆量化部212、逆变换部213、运算部214、帧存储器215和预测部216。图像解码器200针对每个CU而对由图像编码器100生成的编码流进行解码。

具体地，图像解码器200的解码部211通过与编码部114中的编码方法对应的预定解码方法来对由图像编码器100生成的编码流进行解码。例如，解码部211根据语法表的定义从编码流的比特串对编码参数(头部信息Hinfo、预测信息Pinfo、变换信息Tinfo等)和量化变换系数级别level进行解码。解码部211基于编码参数中包括的划分标志来划分LCU，并且将与各个量化变换系数级别level对应的CU依次设置为要解码的CU(PU和TU)。

解码部211将编码参数提供至每个块。例如，解码部211将预测信息Pinfo提供至预测部216，将变换信息Tinfo提供至逆量化部212和逆变换部213，并且将头部信息Hinfo提供至每个块。此外，解码部211将量化变换系数级别level提供给逆量化部212。

逆量化部212基于从解码部211提供的变换信息Tinfo对从解码部211提供的量化变换系数级别level进行缩放(逆量化)，以计算变换系数Coeff_IQ。逆量化是由图像编码器100的量化部113(图7)执行的量化的逆处理。应当注意，逆量化部115(图7)执行与逆量化部212中的逆量化类似的逆量化。逆量化部212将产生的变换系数Coeff_IQ提供至逆变换部213。

逆变换部213基于从解码部211提供的变换信息Tinfo等对从逆量化部212提供的变换系数Coeff_IQ执行逆正交变换等，以计算预测残差D′。逆正交变换是由图像编码器100的变换部112(图7)执行的正交变换的逆处理。应当注意，逆变换部116执行与逆变换部213的逆正交变换类似的逆正交变换。逆变换部213将产生的预测残差D′提供至运算部214。

运算部214将从逆变换部213提供的预测残差D′和与预测残差D′对应的预测图像P相加，以计算局部解码图像Rec。运算部214使用产生的局部解码图像Rec来对每个图片单元重构解码图像，并且将产生的解码图像输出至图像解码器200的外部。此外，运算部214还将局部解码图像Rec提供至帧存储器215。

帧存储器215使用从运算部214提供的局部解码图像Rec针对每个图片单元来重构解码图像，并且将重构的解码图像存储在帧存储器215中的缓冲器(DPB)中。帧存储器215从缓冲器中读取由预测部216指定为参考图像的解码图像，并且将读取的解码图像提供至预测部216。此外，帧存储器215可以将与解码图像的生成有关的头部信息Hinfo、预测信息Pinfo、变换信息Tinfo等存储在帧存储器215的缓冲器中。

在预测信息Pinfo的模式信息pred_mode_flag指示帧内预测处理的情况下，预测部216获取帧存储器215中存储的、与要被解码的CU处于相同时间的解码图像作为参考图像。然后，预测部216使用参考图像对要解码的PU执行由帧内预测模式信息指示的帧内预测模式的帧内预测处理。

此外，在模式信息pred_mode_flag指示帧间预测处理的情况下，预测部216基于参考图像指定信息获取帧存储器215中存储的、与要被解码的CU处于不同时间的解码图像作为参考图像。与图7中的预测部119类似，预测部216基于合并标志、运动补偿模式信息和参数信息，使用参考图像来执行要被解码的PU的帧间预测处理。预测部216将作为帧内预测处理或帧间预测处理的结果而生成的预测图像P提供给运算部214。

<图像解码器200的处理>

图23是描述图22中的图像解码器200的图像解码处理的流程图。

在步骤S201中，解码部211对向图像解码器200提供的编码流进行解码，以获得编码参数和量化变换系数级别level。解码部211将编码参数提供至每个块。此外，解码部211将量化变换系数级别level提供至逆量化部212。

此后，处理从步骤S201进行至步骤S202，在步骤S202中，解码部211基于编码参数中包括的划分标志对LCU进行划分，将与相应量化变换系数级别level对应的CU设置为要解码的CU(PU和TU)，并且处理进行至步骤S203。在下文中，对要解码的每个CU(PU和TU)执行步骤S203至步骤S207的处理。

除了处理是由预测部216而不是预测部119执行的之外，步骤S203和步骤S204的处理与图18中的步骤S12和步骤S13的处理相似，并且因此省略其描述。

在步骤S204中确定合并标志为1的情况下，处理进行至步骤S205。

在步骤S205中，预测部216执行合并模式解码处理，该合并模式解码处理使用通过合并模式的帧间预测处理生成的预测图像P对要解码的图像进行解码，并且图像解码处理完成。

在步骤S204中确定合并标志不为1的情况下，处理进行至步骤S206。

在步骤S206中，预测部216执行AMVP模式解码处理，该AMVP模式解码处理使用通过AMVP模式的帧间预测处理生成的预测图像P对要解码的图像进行解码，并且图像解码处理完成。

在步骤S203中确定模式信息pred_mode_flag不指示帧间预测处理的情况下，即，在模式信息pred_mode_flag指示帧内预测处理的情况下，处理进行至步骤S207。

在步骤S207中，预测部216执行帧内解码处理，该帧内解码处理使用通过帧内预测处理生成的预测图像P对要解码的图像进行解码，并且图像解码处理完成。

图24是描述图23的步骤S201的对运动补偿模式信息进行解码的运动补偿模式信息解码处理的流程图。

在图24的步骤S211中，解码部211确定要处理的PU 31的POC距离是否为1。

在步骤S211中确定POC距离为1的情况下，运动补偿模式信息是0位标志，即，运动补偿模式信息不存在于预测信息Pinfo中，并且因此运动补偿模式信息解码处理完成。

此外，在步骤S211中确定POC距离不为1的情况下，处理进行至步骤S212，在步骤S212中，解码部211确定POC距离是否为2。

在步骤S212中确定POC距离为2的情况下，处理进行至步骤S213，在步骤S213中解码部211对作为预测信息Pinfo中包括的运动补偿模式信息(图16)的1位标志或2位标志进行解码，并且运动补偿模式信息解码处理完成。

此外，在步骤S212中确定POC距离不为2的情况下，处理进行至步骤S214，在步骤S214中，解码部211确定POC距离是否为3。

在步骤S214中确定POC距离为3的情况下，处理进行至步骤S215，在步骤S215中解码部211对作为预测信息Pinfo中包括的运动补偿模式信息(图16)的1位标志、2位标志或3位标志进行解码，并且运动补偿模式信息解码处理完成。

此外，在步骤S214中确定POC距离不为3的情况下，即，在POC距离为4或更大的情况下，处理进行至步骤S216，在步骤S216中，解码部211对作为预测信息Pinfo中包括的运动补偿模式信息(图16)的1位标志、2位标志、3位标志或4位标志进行解码，并且运动补偿模式信息解码处理完成。

图25是描述图23中的步骤S205的合并模式解码处理的流程图。

在步骤S231中，逆量化部212对通过图23中的步骤S201的处理而获得的量化变换系数级别level进行逆量化，以计算变换系数Coeff_IQ。该逆量化是在图像编码处理的步骤S114(图20)中执行的量化的逆处理，并且是与在图像编码处理的步骤S115(图20)中执行的逆量化类似的处理。

在步骤S232中，逆变换部213对通过步骤S231的处理而获得的变换系数Coeff_IQ执行逆正交变换等，以计算预测残差D′。该逆正交变换是在图像编码处理的步骤S113(图20)中执行的正交变换的逆处理，并且是与在图像编码处理的步骤S116(图20)中执行的逆正交变换类似的处理。

在步骤S233至步骤S244中，除了由预测部216代替预测部119执行处理之外，执行与图20中的步骤S101至步骤S111的处理类似的处理，并且因此省略其描述。

在步骤S244中，运算部214将在步骤S232中计算的预测残差D′与从预测部216提供的预测图像P相加，以计算局部解码图像Rec。运算部214使用产生的局部解码图像Rec来对每个图片单元重构解码图像，并且将产生的解码图像输出至图像解码器200的外部。此外，运算部214将局部解码图像Rec提供给帧存储器215，并且处理从步骤S244进行至步骤S245。

在步骤S245中，帧存储器215使用从运算部214提供的局部解码图像Rec对每个图片单元重构解码图像并且将重构的解码图像存储在帧存储器215中的缓冲器中，并且合并模式解码处理完成。

图26是描述图23中的步骤S206的AMVP模式解码处理的流程图。

图26中的步骤S251和步骤S252的处理类似于图25中的步骤S231和步骤S232的处理，并且因此省略其描述。

在步骤S253至步骤S268中，除了由预测部216代替预测部119执行处理之外，执行与图21中的步骤S131至步骤S146的处理类似的处理，并且因此省略其描述。

步骤S269和步骤S270的处理类似于图25中的步骤S244和步骤S245的处理，并且因此省略其描述。

在图像解码器200中，与图像编码器100(图7)类似，根据要处理的PU 31的POC距离，通过在从多个运动补偿模式中选择的运动补偿模式下执行运动补偿来生成预测图像，从而使得可以提高预测图像的图像质量。

<运动补偿>

图27描述了由预测部119(图7)和预测部216(图22)执行的运动补偿。

通过平移移动参考图像中的参考单位块来执行运动补偿，该参考单位块与通过划分要处理的PU 31而获得的单位块相距单位块的运动矢量v。

此处，构成(包括)PU 31(的图片)和参考图像的像素的每个位置被称为由整数表示的整数位置。在这种情况下，相邻整数位置之间的位置用分数(或小数)表示，并且因此称为分数位置。

应当注意，为了方便起见，分数位置包括整数位置。此外，从预定方向(例如，向左或向上的方向)上的某个分数位置的最近整数位置所观察到的相对于分数位置的位置也称为分数位置的相对位置。

作为单位块的运动矢量v，例如，可以使用分数精度的矢量，该分数精度是诸如1/4或1/8的分数位置的精度。

参考图像的像素仅存在于整数位置；因此，在距离单位块为分数精度的运动矢量v的位置是除整数位置之外的分数位置的情况下，在该分数位置处不存在参考图像的像素。

因此，在运动补偿中，插值滤波器(插值滤波器)被应用于参考图像，以在参考图像中距离构成单位块的每个像素为分数精度的运动矢量v的每个分数位置处生成构成参考单位块的像素，并且通过插值生成分数位置处的像素(的像素值)。

在下文中，以HEVC为例描述由插值滤波器进行的插值。在HEVC中，8抽头(一维)FIR(有限脉冲响应)滤波器被用作插值滤波器。

图27示出了通过插值滤波器对分数位置处的像素进行插值的第一示例。

在图27中，通过将插值滤波器应用于在某个参考图像的水平线上连续对齐的整数位置处的八个像素p11，通过在水平方向上插值来生成与整数位置相距1/4的(相对位置为1/4的)分数位置处的像素hp11。

每当通过插值生成的像素的分数位置的相对位置不同时，就准备插值滤波器的特性，即，插值滤波器的抽头系数，并且根据单位块的运动矢量v指向的参考图像上的分数位置的相对位置，针对每个单位块改变插值滤波器的特性，即，插值滤波器的抽头系数。

插值滤波器是8抽头滤波器，并且因此在竖直方向上插值需要在竖直方向上对齐的八个像素。因此，在竖直方向上的插值中，对于八个连续水平线中的每一个，执行图27中的水平方向上的插值，并且生成在竖直方向上对齐的八个分数位置处的像素hp11。

图28示出了通过插值滤波器对分数位置处的像素进行插值的第二示例。

在图28中，对八个连续水平线的每一个执行图27中的水平方向上的插值，以在竖直对齐的八个分数位置处生成像素hp11。

图29示出了通过插值滤波器对分数位置处的像素进行插值的第三示例。

在图29中，通过插值滤波器在竖直方向上对通过在图28中的水平方向上的插值获得的八个分数位置处的像素hp11进行插值，并且生成在分数位置处的像素vp11。

现在，在单位块的运动矢量v指向像素vp11的分数位置的情况下，运动补偿执行参照图27至图29描述的插值以在分数位置处生成像素vp11。

在单位块由1×1像素构成的情况下，需要通过对构成单位块的每个像素执行参照27至图29描述的插值来生成单位块的运动矢量v所指向的分数位置处的像素。

也就是说，如图28所示，需要将与像素hp11的分数位置处(水平方向上)的相对位置对应的特性的插值滤波器应用于八个水平线，以在水平方向上执行插值，从而在竖直方向上对齐的八个分数位置生成像素hp11。如图29所示，需要将与像素vp11的分数位置处(竖直方向上)的相对位置对应的特性的插值滤波器应用于八个分数位置处的像素hp11，以在竖直方向上进行插值，从而针对每个像素在单位块的运动矢量v所指向的分数位置处生成一个像素vp11。

因此，当在水平方向上执行插值时以及在竖直方向上执行插值时，可以针对每个像素改变插值滤波器的特性。

改变插值滤波器的特性非常耗时。因此，从使用插值滤波器进行插值并且从而高速执行运动补偿处理的观点来看，期望改变插值滤波器的特性的频率小。

作为减小改变插值滤波器的特性的频率的方法，存在增加单位块的尺寸即构成单位块的像素数的方法。

也就是说，例如，在单位块由1×1像素构成的情况下，当在水平方向上执行插值时以及在竖直方向上执行插值时，可以针对构成单位块的每个像素改变插值滤波器的特性。

同时，在将单位块配置成比1×1像素大，例如2×2像素的情况下，当在水平方向上执行插值时以及在竖直方向上执行插值时，可以针对构成单位块的四个像素中的每个像素改变插值滤波器的特性。

也就是说，为了简化描述，假设在水平方向上执行插值时与在竖直方向上执行插值时之间插值滤波器的特性没有变化。在这种情况下，当单位块由1×1像素构成时，需要针对构成单位块的每个像素改变插值滤波器的特性，而在单位块由2×2像素构成的情况下，对于构成单位块的四个像素中的每个像素，足以改变插值滤波器的特性。也就是说，在单位块由2×2像素构成的情况下，对于构成单位块的四个像素，不需要改变插值滤波器的特性。

图30示出了在由2×2像素构成单位块的情况下在水平方向上进行用于在单位块的运动矢量v所指向的分数位置处生成像素的插值的示例。

在图30中，与图28的情况类似，通过将具有与像素hp11的分数位置处的相对位置对应的特性的8抽头插值滤波器应用于具有某个整数位置C1的列作为九个水平线的每一个的头的八列像素，通过在水平方向上执行插值来生成在竖直方向上对齐的九个分数位置处的像素hp11。

此外，在图30中，与图28的情况类似，通过将具有与像素hp21的分数位置处的相对位置对应的特性的8抽头插值滤波器应用于具有与整数位置C1的右侧相邻的整数位置C2的列作为九个水平线的每一个的头的八列像素，通过在水平方向上执行插值来生成在竖直方向上对齐的九个分数位置处的像素hp21。

像素hp11和像素hp21的分数位置处的相对位置相同，并且因此能够使用具有相同特性的插值滤波器来执行用于生成像素hp11和像素hp21的插值，并且因此不需要改变插值滤波器。

图31示出了在由2×2像素构成单位块的情况下，在竖直方向上进行用于在单位块的运动矢量v所指向的分数位置处生成像素的插值的示例。

在图31中，与图29的情况类似，对通过水平方向上的插值获得的分数位置处的九个像素hp11中的从顶部起第一到第八(行)处的八个像素hp11执行由8抽头插值滤波器进行的竖直方向上的插值，并且生成分数位置处的像素vp11。

此外，在图31中，与图29的情况类似，对通过水平方向上的插值获得的分数位置处的九个像素hp11中的从顶部起第二到第九处的八个像素hp11执行由8抽头插值滤波器进行的竖直方向上的插值，并且生成分数位置处的像素vp12。

此外，在图31中，与图29的情况类似，对通过水平方向上的插值获得的分数位置处的九个像素hp21中的从顶部起第一到第八处的八个像素hp21执行由8抽头插值滤波器进行的竖直方向上的插值，并且生成分数位置处的像素vp21。

此外，在图31中，与图29的情况类似，对通过水平方向上的插值获得的分数位置处的九个像素hp21中的从顶部起第二到第九处的八个像素hp21执行由8抽头插值滤波器进行的竖直方向上的插值，并且生成分数位置处的像素vp22。

像素vp11、vp21、vp12和vp22的分数位置处的相对位置相同，并且因此具有相同特性的插值滤波器用于插值以生成像素vp11、vp21、vp12和vp22，因此使得无需改变插值滤波器。

在2×2(水平×竖直)像素的单位块的运动矢量v指向单位块的2×2像素中的像素vp11、vp21、vp12和vp22的情况下，运动补偿能够通过执行参照图30和图31描述的插值来在分数位置处生成像素vp11、vp21、vp12和vp22。

如上所述，为了简化描述，假设在水平方向上执行插值时与在竖直方向上执行插值时之间不考虑插值滤波器的特性变化，在单位块由1×1像素构成的情况下，需要针对构成单位块的每个像素改变插值滤波器的特性，以便执行插值用于在构成单位块的一个像素被设置为起点的单位块的运动矢量v所指向的分数位置处生成像素vp11。同时，在单位块由2×2像素构成的情况下，不必改变插值滤波器的特性，以便执行插值用于在构成单位块的2×2个像素中的每一个被设置为起点的单位块的运动矢量v所指向的分数位置处生成像素vp11、vp21、vp12和vp22。

因此，增大单位块的尺寸能够减小改变插值滤波器的特性的频率，这使得可以高速执行运动补偿处理。

图32描述了在完全仿射变换模式下的运动补偿的第一示例。

如参照图4所描述的，在完全仿射变换模式下的运动补偿中，参考图像中的块42被用作参考块，块42具有距离顶点A为运动矢量v₀的点A′作为左上顶点，具有距离顶点B为运动矢量v₁的点B′作为右上顶点，以及具有距离顶点C为运动矢量v₂的点C′作为左下顶点；参考块42基于运动矢量v₀至运动矢量v₂被仿射变换，从而执行运动补偿，因此生成PU 31的预测图像。

也就是说，将要处理的PU 31划分为单位块，并且基于运动矢量v₀＝(v_0x,v_0y)、v₁＝(v_1x,v_1y)和v₂＝(v_2x,v_2y)根据上述表达式(2)确定每个单位块的运动矢量v＝(v_x,v_y)。

然后，通过基于运动矢量v平移移动参考图像中的参考单位块来以单位块为单位生成PU 31的预测图像，该参考单位块与单位块具有相同尺寸、距每个单位块的距离为运动矢量v。

在图32中，PU 31被划分为4×4的16个单位块。然后，通过将运动矢量v₀、v₁和v2按比例地分布到单位块的位置，根据表达式(2)确定每个单位块的运动矢量v。

图33示出了在PU 31被划分成4×4的16个单位块的情况下确定第i个单位块的运动矢量v的状态。

对于第i个单位块的每个像素，通过上述插值滤波器进行插值来确定构成距离像素为第i个单位块的运动矢量v的参考单位块的分数位置处的像素，并且基于运动矢量v平移移动分数位置处的像素，从而生成第i个单位块的预测图像。

在PU 31被划分成4×4的16个单位块的情况下，对于16个单位块中的每一个，将插值滤波器的特性改变为与单位块的运动矢量所指向的分数位置对应的特性，并且生成预测图像。

图34描述了在完全仿射变换模式下的运动补偿的第二示例。

在图34中，PU 31被划分为8×8的64个单位块。然后，通过将运动矢量v₀、v₁和v2按比例地分布到单位块的位置，根据表达式(2)确定每个单位块的运动矢量v。

图35示出了在PU 31被划分成8×8的64个单位块的情况下确定第i个单位块的运动矢量v的状态。

对于第i个单位块的每个像素，通过上述插值滤波器进行插值来确定构成距离像素为第i个单位块的运动矢量v的参考单位块的分数位置处的像素，并且基于运动矢量v平移移动分数位置处的像素，从而生成第i个单位块的预测图像。

在PU 31被划分成8×8的64个单位块的情况下，对于64个单位块中的每一个，将插值滤波器的特性改变为与单位块的运动矢量所指向的分数位置对应的特性，并且生成预测图像。

如上所述，在完全仿射变换模式下的运动补偿中，仿射变换(进行的运动)通过以单位块为单位的平移移动来近似。因此，作为趋势，单位块的尺寸越小(当PU 31被划分成较小尺寸的单位块时)，能够获得具有更高预测精度的预测图像。这同样适用于简单仿射变换模式、平移旋转模式和平移缩放模式下的运动补偿。

根据上面所描述的，如图32和图33所示，与在PU 31被划分成16(＝4×4)个较大单位块的情况下相比，在如图34和图35所示PU 31被划分成64(＝8×8)个更小单位块的情况下，可以获得具有更高预测精度的预测图像。

然而，在PU 31被划分成64个单位块的情况下，改变插值滤波器的特性的频率增加，这是因为单位块的数目大于将PU 31划分成16个单位块的情况下的单位块的数目，这阻止了运动补偿处理的加速。

也就是说，在PU 31被划分成更小尺寸的单位块的情况下，能够提高预测图像的预测精度，因此能够提高编码效率，但是增加了改变插值滤波器的特性的频率，这阻止了运动补偿处理的加速。另一方面，在PU 31被划分成更大尺寸的单位块的情况下，改变插值滤波器的特性的频率变低，因此能够高速执行运动补偿处理，但是由于预测图像中的预测精度的降低，编码效率可能降低。

因此，根据本技术，通过根据PU 31的POC距离将PU 31划分成单位块来执行运动补偿，从而提高了运动补偿处理的速度和编码效率。

根据PU 31的POC距离，通过在完全仿射变换模式、简单仿射变换模式、平移旋转模式和平移缩放模式下的运动补偿，能够执行将PU 31划分成单位块。在下文中，通过以完全仿射变换模式下的运动补偿为例，给出根据PU 31的POC距离将PU 31划分成单位块的描述。

图36示出了PU 31的POC距离与单位块尺寸之间的关系的示例。

在图36中，单位块的尺寸不固定为诸如4×4像素的恒定值，而是根据POC距离可变地设置。

也就是说，在图36中，例如在PU 31的POC距离为1的情况下，PU 31被划分成更大尺寸如4×4像素的单位块。此外，例如当PU 31的POC距离为2或3时，PU 31被划分成中等尺寸如2×2像素的单位块。此外，例如当PU 31的POC距离为4或更大时，PU 31被划分成更小尺寸如1×1像素的单位块。

此处，如参照图14所描述的，在运动图像中，POC距离短的图片趋于具有小的由于运动而引起的变化，而POC距离长的图片趋于具有大的由于运动而引起的变化。

在由于运动而引起的变化小的情况下，甚至在PU 31被划分成较大尺寸的单位块时，很有可能能够获得具有高预测精度的预测图像。

另一方面，在由于运动而引起的变化大的情况下，当PU 31被划分成具有大尺寸的单位块时，获得具有高预测精度的预测图像的可能性降低；将PU 31划分成较小尺寸的单位块使得获得具有高预测精度的预测图像的可能性更高。

因此，如图36所示，在运动补偿中，根据PU 31的POC距离，当POC距离较短时，PU 31能够被划分成较大尺寸的单位块。

例如，如图36所示，在运动补偿中，在PU 31的POC距离小到1的情况下，当PU 31被划分成4×4像素的较大尺寸的单位块时，POC距离小，并且因此，具有足够精度的仿射变换(具有接近理想仿射变换的精度的仿射变换)被执行为通过以单位块为单位的平移移动近似的仿射变换，并且能够获得具有高预测精度的预测图像，以提高编码效率和解码图像的图像质量。此外，PU 31被划分成较大尺寸的单位块，从而降低了用于在运动补偿中执行的插值的插值滤波器的特性的频率，从而使得可以高速执行运动补偿处理。

此外，例如，如图36所示，在运动补偿中，在PU 31的POC距离大于或等于4的情况下，当PU 31被划分成1×1像素的小尺寸的单位块时，单位块的尺寸小，具有足够精度的仿射变换被执行为通过以单位块为单位的平移移动近似的仿射变换，并且能够获得具有高预测精度的预测图像，以提高编码效率和解码图像的图像质量。

图37是描述如上所述根据POC距离将PU划分成单位块的运动补偿中的处理的示例的流程图。

图37中的运动补偿的处理能够通过图19中的步骤S43中的合并模式编码处理的运动补偿，图19中的步骤S44中的AMVP模式编码处理的运动补偿，图20中的步骤S105、S107、S109和S111中执行的运动补偿，图21中的步骤S137、S140、S143和S146中执行的运动补偿，图25中的步骤S237、S239、S241和S243中执行的运动补偿以及图26中的步骤S259、S262、S265和S268中执行的运动补偿来执行。

应当注意，在此给出作为图像编码器100的预测部119执行的处理的图37中的运动补偿的处理的描述。

在图37的运动补偿中，在步骤S301中，如图36所示出的，预测部119将PU 31划分为根据要处理的PU 31的POC距离而定尺寸的单位块，并且处理进行至步骤S302。

在步骤S302中，预测部119确定通过划分PU 31获得的每个单位块的运动矢量v，并且处理进行至步骤S303。

此处，在运动补偿模式是完全仿射变换模式的情况下，使用PU 31的三个运动矢量v₀、v₁和v₂，根据表达式(2)确定单位块的运动矢量v。此外，在运动补偿模式是简单仿射变换模式、平移旋转模式或平移缩放模式下的情况下，使用PU 31的两个运动矢量v₀和v₁根据表达式(1)确定单位块的运动矢量v。

在步骤S303中，预测部119基于运动矢量v平移移动参考图像中的参考单位块，该参考单位块与单位块尺寸相同、距离每个单位块为运动矢量v，从而以单位块为单位生成PU31的预测图像，并且运动补偿处理完成。

此处，在步骤S303中，通过插值滤波器的插值，生成参考单位块的分数位置处的、与单位块的每个像素相距单位块的运动矢量v的每个像素。

应当注意，可以执行以下操作的一个或两个：根据POC距离选择运动补偿模式以及将PU 31划分成根据PUC距离而定尺寸的单位块。

<单位块的运动矢量v的精度与改变插值滤波器的特性的频率之间的关系>

图38示出了单位块的运动矢量v的精度的第一示例。

如参照图27至图31所描述的，改变插值滤波器的特性的频率根据单位块的尺寸而变化，但也根据单位块的运动矢量v的精度而变化。

图38示出了在单位块的运动矢量v是能够指向1/8的分数位置的分数精度的矢量的情况下的运动补偿的概况。

在图38中，要处理的PU 31被划分成4×4个单位块。在图38中，集中于通过划分PU31而获得的4×4个单位块的(从顶部开始)第一行中的单位块来给出描述。这同样适用于稍后描述的图39。

对于单位块，根据表达式(1)或表达式(2)确定运动矢量v；然而，在图38中，根据表达式(1)或表达式(2)确定的运动矢量v被四舍五入为分数精度的矢量，该矢量能够指向1/8的分数位置。

因此，在图38中，4×4个单位块的左上单位块b11的运动矢量v指向距离整数位置0右侧4/8的分数位置，并且挨着单位块b11右侧的单位块b12的运动矢量v指向距离整数位置1右侧6/8的分数位置。

现在假设采用从分数位置向左最接近的整数位置观察时分数位置处的相对位置作为相对位置，则单位块b11的运动矢量v所指向的分数位置处的相对位置为4/8，并且单位块b12的运动矢量v所指向的分数位置处的相对位置为6/8。

因此，单位块b11的运动矢量v所指向的分数位置处的相对位置与单位块b12的运动矢量v所指向的分数位置处的相对位置彼此不同。因此，插值滤波器的特性在用于生成单位块b11的预测图像的插值(构成与单位块b11对应的参考单位块的像素)与用于生成单位块b12的预测图像的插值之间改变。

应当注意，在图38中，与第一行的四个单位块中的每一个对应的参考单位块处于水平扩展状态，并且因此参考图像上的参考块成为大于PU 31的块；在运动补偿中，执行变换以将比PU 31大的参考块的尺寸减小到PU 31的尺寸。

图39示出了单位块的运动矢量v的精度的第二示例。

也就是说，图39示出了在单位块的运动矢量v是能够指向1/2的分数位置的分数精度的矢量的情况下的运动补偿的概况。因此，图39中的单位块的运动矢量v的精度比图38的情况更粗糙。

在图39中，与图38的情况类似，要处理的PU 31被划分成4×4个单位块。

对于单位块，根据表达式(1)或表达式(2)确定运动矢量v；然而，在图39中，根据表达式(1)或表达式(2)确定的运动矢量v被四舍五入为分数精度的矢量，该矢量能够指向1/2的分数位置。

因此，在图39中，4×4个单位块的左上单位块b11的运动矢量v指向距离整数位置0右侧1/2的分数位置，并且挨着单位块b11右侧的单位块b12的运动矢量v指向距离整数位置1右侧1/2的分数位置。此外，挨着单位块b12右侧的单位块b13的运动矢量v指向与整数位置3相距0的分数位置(整数位置3)，并且挨着单位块b13右侧的单位块b14的运动矢量v指向与整数位置4相距0的分数位置(整数位置4)。

因此，单位块b11和单位块b12的每一个的运动矢量v所指向的分数位置处的相对位置为1/2，并且单位块b13和单位块b14的每一个的运动矢量v所指向的分数位置处的相对位置为0。

因此，由于单位块b11和单位块b12的每一个的运动矢量v所指向的分数位置处的相对位置相同，因此插值滤波器的特性在用于生成单位块b11的预测图像的插值与用于生成单位块b12的预测图像的插值之间没有改变。

类似地，由于单位块b13和单位块b14的各自的运动矢量v所指向的分数位置处的相对位置相同，因此插值滤波器的特性在用于生成单位块b13的预测图像的插值与用于生成单位块b14的预测图像的插值之间没有改变。

如上所述，在单位块的运动矢量v的精度精细到1/8的情况下，插值滤波器的特性在用于生成单位块b11的预测图像的插值与用于生成单位块b12的预测图像的插值之间改变；然而，在单位块的运动矢量v的精度粗糙到1/2的情况下，插值滤波器的特性在用于生成单位块b11的预测图像的插值与用于生成单位块b12的预测图像的插值之间不改变。

因此，类似于将PU 31划分成根据POC距离而定尺寸的单位块同时保持单位块的尺寸固定的情况，通过根据PU 31的POC距离，当POC距离变得更小时，更粗略地调整单位块的运动矢量v的精度，可以减小改变插值滤波器的特性的频率并且以高速执行运动补偿处理。

<对应用本技术的计算机的描述>

上述一系列处理能够通过硬件或软件来执行。在通过软件执行一系列处理的情况下，将构成软件的程序安装在计算机中。此处，计算机的示例包括并入到专用硬件中的计算机以及能够通过安装各种程序来执行各种功能的通用个人计算机。

图40是示出通过程序执行上述一系列处理的计算机中的硬件的配置示例的框图。

在计算机800中，CPU(中央处理单元)801、ROM(只读存储器)802和RAM(随机存取存储器)803通过总线804彼此耦接。

输入/输出接口810也耦接至总线804。输入单元811、输出单元812、存储单元813、通信单元814和驱动器815耦接至输入/输出接口810。

输入单元811包括键盘、鼠标、麦克风等。输出单元812包括显示器、扬声器等。存储单元813包括硬盘、非易失性存储器等。通信单元814包括网络接口等。驱动器815驱动可移除介质821如磁盘、光盘、磁光盘或半导体存储器。

在如上所述配置的计算机800中，CPU 801经由输入/输出接口810和总线804将存储在例如存储单元813中的程序加载到RAM 803中，并且执行该程序，从而执行上述一系列处理。

例如，能够通过被记录在作为封装介质的可移除介质821等中来提供计算机800(CPU 801)执行的程序。也可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。

在计算机800中，可以通过将可移除介质821安装在驱动器815上经由输入/输出接口810将程序安装在存储单元813中。此外，可以由通信单元814经由有线或无线传输介质来接收程序并且将程序安装在存储单元813中。此外，程序可以预先安装在ROM 802或存储单元813中。

应当注意，由计算机800执行的程序可以是其中根据本说明书中描述的顺序以时间序列执行处理的程序，或者可以是其中并行执行处理或在必要的定时例如在进行调用时执行处理的程序。

<电视设备>

图41示出了应用了前述实施方式的电视设备的示意性配置的示例。电视设备900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口(I/F)单元909、控制单元910、用户接口(I/F)单元911和总线912。

调谐器902从经由天线901接收到的广播信号中提取期望频道的信号，并且对所提取的信号进行解调。然后，调谐器902将通过解调获得的经编码的比特流输出至解复用器903。即，调谐器902用作用于接收对图像进行了编码的编码流的电视设备900中的发送单元。

解复用器903将编码的比特流分离为要观看的节目的视频流和音频流，并且将分离出的流的每一个输出至解码器904。此外，解复用器903从经编码的比特流中提取辅助数据如EPG(电子节目指南)并且将提取的数据提供至控制单元910。应当注意，解复用器903可以对被加扰的编码比特流进行解扰。

解码器904对从解复用器903输入的视频流和音频流进行解码。然后，解码器904将通过解码处理生成的视频数据输出至视频信号处理单元905。此外，解码器904将通过解码处理生成的音频数据输出至音频信号处理单元907。

视频信号处理单元905再现从解码器904输入的视频数据并且将视频显示在显示单元906上。此外，视频信号处理单元905可以将经由网络提供的应用画面显示在显示单元906上。此外，视频信号处理单元905可以根据设置执行附加处理，例如对视频数据的降噪。此外，视频信号处理单元905可以生成GUI(图形用户界面)诸如菜单、按钮或光标的图像，并且将所生成的图像叠加到输出图像上。

显示单元906由从视频信号处理单元905提供的驱动信号驱动，并且在显示装置(例如，液晶显示器、等离子显示器或OELD(Organic ElectroLuminescence Display)(有机电致发光显示器))的视频表面上显示视频或图像。

音频信号处理单元907对从解码器904输入的音频数据执行诸如D/A转换和放大的再现处理，并且从扬声器908输出音频数据。此外，音频信号处理单元907可以对音频数据执行诸如降噪的附加处理。

外部接口单元909是用于将电视设备900与外部设备或网络彼此耦接的接口。例如，经由外部接口单元909接收的视频流或音频流可以由解码器904来解码。也就是说，外部接口单元909还用作用于接收对图像进行了编码的编码流的电视设备900中的发送单元。

控制单元910包括：诸如CPU的处理器；以及诸如RAM和ROM的存储器。存储器存储要由CPU执行的程序、程序数据、EPG数据、经由网络获取的数据等。例如，当电视设备900被激活时，CPU读取并且执行存储在存储器中的程序。例如，CPU执行程序，从而根据从用户接口单元911输入的操作信号来控制电视设备900的操作。

用户接口单元911被耦接至控制单元910。用户接口单元911包括例如用于用户操作电视设备900的按钮和开关、远程控制信号的接收单元等。用户接口单元911检测用户经由这些部件的操作、生成操作信号并且将生成的操作信号输出至控制单元910。

总线912将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口单元909和控制单元910彼此耦接。

在如上所述配置的电视设备900中，解码器904可以具有上述图像解码器200的功能。也就是说，解码器904可以通过前述实施方式中描述的方法对编码数据进行解码。这样的配置使得电视设备900能够实现与前述实施方式的效果类似的效果。

此外，在如上所述配置的电视设备900中，例如，视频信号处理单元905可以对从解码器904提供的图像数据进行编码，并且可以经由外部接口单元909将所得到的编码数据输出至电视设备900的外部。此外，视频信号处理单元905可以具有上述图像编码器100的功能。也就是说，视频信号处理单元905可以通过前述实施方式中描述的方法对从解码器904提供的图像数据进行编码。这样的配置使得电视设备900能够实现与前述实施方式的效果类似的效果。

<移动电话>

图42示出了应用前述实施方式的移动电话的示意性配置的示例。移动电话920包括：天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、摄像装置单元926、图像处理单元927、多重分离单元928、记录再现单元929、显示单元930、控制单元931、操作单元932以及总线933。

天线921被耦接至通信单元922。扬声器924和麦克风925被耦接至音频编解码器923。操作单元932被耦接至控制单元931。总线933将通信单元922、音频编解码器923、摄像装置单元926、图像处理单元927、多重分离单元928、记录再现单元929、显示单元930和控制单元931彼此耦接。

移动电话920在包括语音呼叫模式、数据通信模式、拍摄模式以及视频电话模式的各种操作模式下执行诸如发送和接收音频信号、发送和接收电子邮件或图像数据、图像捕获以及记录数据的操作。

在语音呼叫模式下，将通过麦克风925生成的模拟音频信号提供至音频编解码器923。音频编解码器923将模拟音频信号转换成音频数据，并且对经转换的音频数据执行A/D转换以进行压缩。然后，音频编解码器923将经压缩的音频数据输出至通信单元922。通信单元922对音频数据进行编码和调制以生成发送信号。然后，通信单元922经由天线921将生成的发送信号发送至基站(未示出)。此外，通信单元922将经由天线921接收的无线电信号进行放大，执行无线电信号的频率转换，并且获取接收信号。然后，通信单元922对接收信号进行解调和解码以生成音频数据，并且将生成的音频数据输出至音频编解码器923。音频编解码器923对音频信号进行解压缩并且对该音频数据执行D/A转换以生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供给扬声器924以输出音频信号。

此外，在数据通信模式下，例如，控制单元931响应于经由操作单元932的用户的操作来生成构成电子邮件的字符数据。此外，控制单元931将字符显示在显示单元930上。此外，控制单元931响应于来自用户的经由操作单元932的发送指令而生成电子邮件数据，并且将生成的电子邮件数据输出至通信单元922。通信单元922对电子邮件数据进行编码和调制以生成发送信号。然后，通信单元922经由天线921将所生成的发送信号发送至基站(未示出)。此外，通信单元922将经由天线921接收的无线电信号进行放大，执行无线电信号的频率转换，并且获取接收信号。然后，通信单元922对接收信号进行解调和解码以恢复电子邮件数据，并且将恢复的电子邮件数据输出至控制单元931。控制单元931使显示单元930显示电子邮件的内容，并且还将电子邮件数据提供给记录再现单元929用于将电子邮件数据写入其存储介质中。

记录再现单元929包括任何可读和可写的存储介质。例如，存储介质可以是内置型存储介质，例如RAM或闪速存储器，或者可以是外部安装的存储介质，例如硬盘、磁盘、磁光盘、光盘、USB(通用串行总线)存储器或存储卡。

此外，在拍摄模式下，例如，摄像装置单元926捕获对象的图像以生成图像数据并且将所生成的图像数据输出至图像处理单元927。图像处理单元927对从摄像装置单元926输入的图像数据进行编码，并且将编码流提供至记录再现单元929，以将编码流写入存储介质中。

此外，在图像显示模式下，记录再现单元929读出在存储介质中记录的编码流，并且将编码流输出至图像处理单元927。图像处理单元927对从记录再现单元929输入的编码流进行解码，并且将图像数据提供至显示单元930以显示图像数据。

在视频电话模式下，例如，多重分离单元928对由图像处理单元927编码的视频流和从音频编解码器923输入的音频流进行复用，并且将复用流输出至通信单元922。通信单元922对该流进行编码和调制，并且生成发送信号。然后，通信单元922经由天线921将所生成的发送信号发送至基站(未示出)。此外，通信单元922将经由天线921接收的无线电信号进行放大，执行无线电信号的频率转换，并且获取接收信号。发送信号和接收信号可以包括编码比特流。然后，通信单元922对接收信号进行解调和解码以恢复流，并且将所恢复的流输出至多重分离单元928。多重分离单元928将输入流分离成视频流和音频流，并且将视频流输出至图像处理单元927以及将音频流输出至音频编解码器923。图像处理单元927对视频流进行解码以生成视频数据。视频数据被提供给显示单元930，并且显示单元930显示一系列图像。音频编解码器923对音频流进行解压缩并且对该音频流执行D/A转换以生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供给扬声器924以输出音频。

在如上述配置的移动电话920中，例如，图像处理单元927可以具有上述图像编码器100的功能。也就是说，图像处理单元927可以通过前述实施方式中描述的方法来对图像数据进行编码。这样的配置使得移动电话920能够实现与前述实施方式的效果类似的效果。

此外，在如上述配置的移动电话920中，例如，图像处理单元927可以具有上述图像解码器200的功能。也就是说，图像处理单元927可以通过前述实施方式中描述的方法来对编码数据进行解码。这样的配置使得移动电话920能够实现与前述实施方式的效果类似的效果。

<记录/再现设备>

图43示出了应用上述实施方式的记录再现设备的示意性配置的示例。例如，记录再现设备940对接收到的广播节目的音频数据和视频数据进行编码，并且将经编码的数据记录在记录介质中。此外，记录再现设备940可以对例如从另一设备中获取的音频数据和视频数据进行编码，并且将经编码的数据记录在记录介质中。此外，记录再现设备940响应于例如来自用户的指令来在监视器和扬声器上再现记录在记录介质中的数据。此时，记录再现设备940对音频数据和视频数据进行解码。

记录再现设备940包括调谐器941、外部接口(I/F)单元942、编码器943、HDD(硬盘驱动器)单元944、盘驱动器945、选择器946、解码器947、OSD(屏上显示)单元948、控制单元949和用户接口(I/F)单元950。

调谐器941从经由天线(未示出)接收到的广播信号中提取期望信道的信号，并且对所提取的信号进行解调。然后，调谐器941将通过解调获得的编码比特流输出至选择器946。即，调谐器941用作记录再现设备940中的发送单元。

外部接口单元942是用于将记录再现设备940与外部设备或网络彼此耦接的接口。外部接口单元942可以是例如IEEE(电气和电子工程师协会)1394接口、网络接口、USB接口、闪速存储器接口等。例如，经由外部接口单元942接收到的视频数据和音频数据被输入至编码器943。即，外部接口单元942用作记录再现设备940中的发送单元。

在从外部接口单元942输入的视频数据和音频数据未被编码的情况下，编码器943对该视频数据和音频数据进行编码。然后，编码器943将经编码的比特流输出至选择器946。

HDD单元944将经编码的比特流、各种程序以及其他数据记录在内部硬盘中，在经编码的比特流中诸如视频和音频的内容数据被压缩。此外，在对视频和音频进行再现时，HDD单元944从硬盘读出这些数据。

硬盘驱动器945将数据记录在安装的记录介质中，并且从安装的记录介质中读取数据。安装在盘驱动器945上的记录介质可以是例如DVD(数字多功能盘)盘(DVD-视频、DVD-RAM(DVD-随机存取存储器)、DVD-R(DVD-可记录)、DVD-RW(DVD-可重写)、DVD+R(DVD+可记录)、DVD+RW(DVD+可重写)等)、或蓝光(注册商标)盘。

当记录视频和音频时，选择器946选择从调谐器941或编码器943输入的编码比特流，并且将选择的编码比特流输出至HDD单元944或盘驱动器945。此外，当再现视频和音频时，选择器946将从HDD单元944或盘驱动器945输入的编码比特流输出至解码器947。

解码器947对编码比特流进行解码并且生成视频数据和音频数据。然后，解码器947将所生成的视频数据输出至OSD单元948。此外，解码器947将所生成的音频数据输出至外部扬声器。

OSD单元948再现从解码器947输入的视频数据并且显示视频。此外，OSD单元948可以将诸如菜单、按钮或光标的GUI的图像叠加在视频上以进行显示。

控制单元949包括诸如CPU的处理器和诸如RAM和ROM的存储器。存储器存储要由CPU执行的程序、程序数据等。例如，当记录再现设备940被激活时，存储在存储器中的程序由CPU读取并执行。CPU执行程序，以根据例如从用户接口单元950输入的操作信号来控制记录再现设备940的操作。

用户接口单元950被耦接至控制单元949。例如，用户接口单元950包括用于用户操作记录再现设备940的按钮和开关以及用于远程控制信号的接收单元。用户接口单元950检测用户经由这些部件进行的操作、生成操作信号并且将所生成的操作信号输出至控制单元949。

在如上所述配置的记录再现设备940中，例如，编码器943可以具有上述图像编码器100的功能。也就是说，编码器943可以通过前述实施方式中描述的方法对图像数据进行编码。这样的配置使得记录再现设备940能够实现与前述实施方式的效果类似的效果。

此外，在如上所述配置的记录再现设备940中，例如，解码器947可以具有上述图像解码器200的功能。也就是说，解码器947可以通过前述实施方式中描述的方法对编码数据进行解码。这样的配置使得记录再现设备940能够实现与前述实施方式的效果类似的效果。

<成像设备>

图44示出了应用前述实施方式的成像设备的示意性配置的示例。成像设备960捕获对象的图像以生成图像、对图像数据进行编码并且将编码图像数据记录到记录介质中。

成像设备960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口(I/F)单元966、存储器单元967、介质驱动器968、OSD单元969、控制单元970、用户接口(I/F)单元971和总线972。

光学块961被耦接至成像单元962。成像单元962被耦接至信号处理单元963。显示单元965被耦接至图像处理单元964。用户接口单元971被耦接至控制单元970。总线972将图像处理单元964、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969和控制单元970彼此耦接。

光学块961包括聚焦透镜、光圈机构等。光学块961在成像单元962的成像表面上形成对象的光学图像。成像单元962具有诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)的图像传感器，并且通过光电转换将形成在成像表面上的光学图像转换为作为电信号的图像信号。然后，成像单元962将图像信号输出至信号处理单元963。

信号处理单元963对从成像单元962输入的图像信号执行各种摄像装置信号处理，例如拐点校正、伽马校正和颜色校正。信号处理单元963将在摄像装置信号处理之后的图像数据输出至图像处理单元964。

图像处理单元964对从信号处理单元963输入的图像数据进行编码以生成编码数据。然后，图像处理单元964将所生成的编码数据输出至外部接口单元966或介质驱动器968。此外，图像处理单元964对从外部接口单元966或介质驱动器968输入的编码数据进行解码以生成图像数据。然后，图像处理单元964将所生成的图像数据输出至显示单元965。此外，图像处理单元964可以将从信号处理单元963输入的图像数据输出至显示单元965以显示图像。此外，图像处理单元964可以将从OSD单元969获取的显示数据叠加到待输出至显示单元965的图像上。

OSD单元969生成诸如菜单、按钮或光标的GUI的图像，并且将所生成的图像输出至图像处理单元964。

外部接口单元966例如被配置为USB输入/输出终端。例如，当打印图像时，外部接口单元966将成像设备960和打印机彼此耦接。根据需要，将驱动器耦接至外部接口单元966。例如，诸如磁盘或光盘的可移除介质被安装在驱动器上，并且从可移除介质读出的程序可以被安装在成像设备960中。此外，外部接口单元966可以被配置为耦接至网络如LAN或因特网的网络接口。也就是说，外部接口单元966用作成像设备960的发送单元。

例如，安装在介质驱动器968上的记录介质可以是任何可读/可写的可移除介质，例如磁盘、磁光盘、光盘或半导体存储器。此外，例如，记录介质可以固定地安装在介质驱动器968上，并且可以配置非便携式存储单元，例如内置硬盘驱动器或SSD(固态驱动器)。

控制单元970包括诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储待由CPU执行的程序、程序数据等。例如，当成像设备960被激活时，存储在存储器中的程序由CPU读取并执行。通过执行该程序，CPU根据例如从用户接口单元971输入的操作信号来控制成像设备960的操作。

用户接口单元971被耦接至控制单元970。用户接口单元971例如包括用于用户操作成像设备960的按钮、开关等。用户接口单元971检测用户经由这些部件进行的操作、生成操作信号并且将所生成的操作信号输出至控制单元970。

在如上述配置的成像设备960中，例如，图像处理单元964可以具有上述图像编码器100的功能。也就是说，图像处理单元964可以通过前述实施方式中描述的方法来对图像数据进行编码。这样的配置使得成像设备960能够实现与前述实施方式的效果类似的效果。

此外，在如上述配置的成像设备960中，例如，图像处理单元964可以具有上述图像解码器200的功能。也就是说，图像处理单元964可以通过前述实施方式中描述的方法来对编码数据进行解码。这样的配置使得成像设备960能够实现与前述实施方式的效果类似的效果。

<视频设备>

此外，可以将本技术实现为安装在构成系统的任何一个或多个设备上的任何配置，例如，作为系统LSI(大规模集成)等的处理器、使用多个处理器等的模块、使用多个模块等的单元、或向该单元添加其他功能的设备(即设备的一部分的配置)。图45示出了应用本技术的视频设备的示意性配置的示例。

近年来，多功能电子装置一直在发展；在配置的一部分在其开发和制造中被实现为销售、提供等的情况下，不仅经常意识到将实现方式作为具有一个功能的配置来执行的情况，而且还经常意识到将具有相关功能的多个配置结合以将实现方式作为具有多个功能的设备来执行的情况。

图45中示出的视频设备1300具有这样的多功能配置，其中将具有与图像的编码和解码(中的一者或两者)有关的功能的装置和具有与该功能有关的另一功能的装置组合。

如图45所示，视频设备1300包括模块，例如视频模块1311、外部存储器1312、电力管理模块1313和前端模块1314以及具有相关功能的装置，例如连接器1321、摄像装置1322和传感器1323。

模块是具有彼此相关的若干个类似部件功能并且具有统一功能的部件。虽然具体的物理配置是可选的，但是例如，可以想到这样的配置：其中每个均具有功能的多个处理器、诸如电阻器和电容器的电子电路元件、以及其他装置可以被布置并集成在布线板等上。此外，还可以想到将模块与另一模块、处理器等组合以形成新模块。

在图45的示例的情况下，视频模块1311是具有与图像处理有关的功能的配置的组合，并且包括应用处理器、视频处理器、宽带调制解调器1333和RF模块1334。

该处理器包括具有预定功能的配置，这些配置通过SoC(片上系统)集成到半导体芯片中，并且有时可以称为例如系统LSI(大规模集成)等。具有预定功能的配置可以是逻辑电路(硬件配置)；CPU；ROM；RAM等；使用CPU、ROM、RAM等执行的程序(软件配置)；或其组合。例如，处理器可以包括逻辑电路、CPU、ROM、RAM等，并且一些功能可以通过逻辑电路(硬件配置)来实现，并且其他功能可以通过CPU执行的程序(软件配置)来实现。

图45中的应用处理器1331是执行与成像处理有关的应用的处理器。例如，在应用处理器1331中执行的应用不仅能够执行操作处理以实现预定功能，而且还能够根据需要控制视频模块1311的内部配置和外部配置，例如视频处理器1332。

视频处理器1332是具有与图像的编码和解码(中的一者或两者)相关的功能的处理器。

宽带调制解调器1333对要通过经由诸如因特网或公共电话线路网络的宽带线路执行的有线或无线(或有线和无线两者)宽带通信发送的数据(数字信号)执行数字调制等以将数据(数字信号)转换成模拟信号，或者对通过宽带通信接收到的模拟信号进行解调以将模拟信号转换成数据(数字信号)。宽带调制解调器1333处理任意信息，例如要由视频处理器1332处理的图像数据、其中图像数据被编码的流、应用程序、设置数据等。

RF模块1334是对经由天线发送或接收的RF(射频)信号执行频率转换、调制/解调、放大、滤波处理等的模块。例如，RF模块1334对通过宽带调制解调器1333生成的基带信号执行频率转换等以生成RF信号。此外，例如，RF模块1334对经由前端模块1314接收到的RF信号执行频率转换等以生成基带信号。

应当注意，如图45中的虚线1341中所示，应用处理器1331和视频处理器1332可以被集成并被配置为单个处理器。

外部存储器1312是被设置在视频模块1311外部并且包括要由视频模块1311使用的存储装置的模块。外部存储器1312的存储装置可以通过任何物理配置来实现；然而，在许多情况下，外部存储器1312的存储装置通常用于存储大量数据，例如逐帧图像数据。因此，例如期望通过具有大容量的相对便宜的半导体存储器来实现该存储装置，例如DRAM(动态随机存取存储器)。

电力管理模块1313管理和控制对视频模块1311(在视频模块1311中的每个配置)的电力供应。

前端模块1314是向RF模块1334提供前端功能(在天线侧的发送端和接收端的电路)的模块。如图45所示，前端模块1314包括例如天线单元1351、滤波器1352以及放大单元1353。

天线单元1351具有发送和接收无线电信号的天线及其外围的配置。天线单元1351将从放大单元1353提供的信号作为无线电信号进行发送，并且将接收的无线电信号作为电信号(RF信号)提供给滤波器1352。滤波器1352对经由天线单元1351接收到的RF信号执行滤波处理等，并且将经处理的RF信号提供至RF模块1334。放大单元1353将从RF模块1334提供的RF信号进行放大，并且将经放大的RF信号提供至天线单元1351。

连接器1321是具有与到外部的耦接相关的功能的模块。连接器1321的物理配置是可选的。例如，连接器1321包括具有除了与宽带调制解调器1333对应的通信标准之外的通信功能、外部输入/输出端子等的配置。

例如，连接器1321可以包括下述模块：具有符合无线通信标准例如蓝牙(注册商标)、IEEE 802.11(例如，Wi-Fi(无线保真，注册商标))、NFC(近场通信)和IrDA(红外数据协会)的通信功能；发送和接收符合该标准的信号的天线等。此外，例如，连接器1321可以包括下述模块：具有符合有线通信标准例如USB(通用串行总线)和HDMI(注册商标)(高清晰度多媒体接口)的通信功能以及符合该标准的端子。此外，例如，连接器1321可以具有其他数据(信号)传输功能等，例如模拟输入/输出端子。

应当注意，连接器1321可以包括要向其发送数据(信号)的装置。例如，连接器1321可以包括从记录介质例如磁盘、光盘、磁光盘或半导体存储器中读出数据或者向记录介质例如磁盘、光盘、磁光盘或半导体存储器中写入数据的驱动器(不仅包括可移除介质的驱动器，还包括硬盘、SSD(固态驱动器)、NAS(网络附接存储装置)等)。此外，连接器1321可以包括用于输出图像和声音的装置(例如监视器或扬声器)。

摄像装置1322是具有捕获对象的图像并获得对象的图像数据的功能的模块。通过摄像装置1322的成像捕获的图像数据被提供至例如视频处理器1332并且被编码。

例如，传感器1323是具有可选的传感器功能的模块，例如音频传感器、超声传感器、光传感器、照度传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁识别传感器、冲击传感器和温度传感器。由传感器1323检测到的数据被提供至例如应用处理器1331并且被应用等使用。

上述作为模块描述的配置可以实现为处理器，或者相反地，上述作为处理器描述的配置可以实现为模块。

在如上所述配置的视频设备1300中，本技术应用于如稍后描述的视频处理器1332。因此，视频设备1300可以被实现为应用本技术的设备。

(视频处理器的配置示例)

图46示出了应用本技术的视频处理器1332(图45)的示意性配置的示例。

在图46的示例的情况下，视频处理器1332具有接收视频信号和音频信号的输入并且以预定方式对视频信号和音频信号进行编码的功能，以及对经编码的视频数据和经编码的音频数据进行解码并且对视频信号和音频信号进行再现并输出的功能。

如图46所示，视频处理器1332包括视频输入处理部1401、第一图像缩放部1402、第二图像缩放部1403、视频输出处理部1404、帧存储器1405和存储器控制部1406。此外，视频处理器1332包括编码/解码引擎1407、视频ES(基本流)缓冲器1408A和1408B以及音频ES缓冲器1409A和1409B。此外，视频处理器1332包括音频编码器1410、音频解码器1411、复用部(MUX(复用器))1412、解复用部(DMUX(解复用器))1413和流缓冲器1414。

视频输入处理部1401获取从例如连接器1321(图45)等输入的视频信号，并且将视频信号转换为数字图像数据。第一图像缩放部1402对图像数据执行格式转换、图像放大/缩小处理等。第二图像缩放部1403根据经由视频输出处理部1404的输出目的地中的格式来对图像数据进行图像放大/缩小处理，并且执行与第一图像缩放部1402的格式转换和图像放大/缩小处理类似的格式转换和图像放大/缩小处理等。视频输出处理部1404对图像数据执行格式转换，转换为模拟信号等，并且将图像数据作为再现的视频信号输出至例如连接器1321。

帧存储器1405是用于由视频输入处理部1401、第一图像缩放部1402、第二图像缩放部1403、视频输出处理部1404和编码/解码引擎1407共享的图像数据的存储器。帧存储器1405例如由诸如DRAM的半导体存储器来实现。

存储器控制部1406从编码/解码引擎1407接收同步信号，并且根据写入访问管理表1406A中的对帧存储器1405的访问调度来控制对帧存储器1405的写入/读出访问。访问管理表1406A由存储器控制部1406根据由编码/解码引擎1407、第一图像缩放部1402、第二图像缩放部1403等执行的处理进行更新。

编码/解码引擎1407执行对图像数据的编码处理以及对作为通过编码图像数据获得的数据的视频流的解码处理。例如，编码/解码引擎1407对从帧存储器1405中读出的图像数据进行编码并且将经编码的图像数据作为视频流顺序地写入视频ES缓冲器1408A中。此外，例如，视频流从视频ES缓冲器1408B顺序地读出，被解码，并且顺序地作为图像数据写入到帧存储器1405中。编码/解码引擎1407使用帧存储器1405作为这些编码和解码中的工作区。此外，编码/解码引擎1407例如在开始对每个宏块进行处理的定时处向存储器控制部1406输出同步信号。

视频ES缓冲器1408A对通过编码/解码引擎1407生成的视频流进行缓冲，并且将视频流提供至复用部(MUX)1412。视频ES缓冲器1408B对从解复用部(DMUX)1413提供的视频流进行缓冲，并且将视频流提供至编码/解码引擎1407。

音频ES缓冲器1409A对通过音频编码器1410生成的音频流进行缓冲，并且将该音频流提供至复用部(MUX)1412。音频ES缓冲器1409B对从解复用部(DMUX)1413提供的音频流进行缓冲，并且将该音频流提供至音频解码器1411。

音频编码器1410例如对从连接器1321等输入的音频信号执行数字转换，并且通过例如诸如MPEG音频方法或AC3(音频代码号3)方法的预定方法来对音频信号进行编码。音频编码器1410将作为通过编码音频信号而获得的数据的音频流顺序地写入到音频ES缓冲器1409A中。音频解码器1411对从音频ES缓冲器1409B提供的音频流进行解码，例如执行转换到模拟信号等，并且将经解码的音频流作为再现的音频信号提供至例如连接器1321等。

复用部(MUX)1412对视频流和音频流进行复用。复用的方法(即，通过复用生成的比特流的格式)是可选的。此外，在该复用中，复用部(MUX)1412还可以将预定头部信息等添加至比特流。也就是说，复用部(MUX)1412可以通过复用来转换流的格式。例如，复用部(MUX)1412对视频流和音频流进行复用，从而将视频流和音频流转换为传输流，该传输流是用于传输的格式的比特流。此外，例如，复用部(MUX)1412对视频流和音频流进行复用，以转换成用于记录的文件格式的数据(文件数据)。

解复用部(DMUX)1413以与复用部(MUX)1412的复用对应的方法对其中视频流和音频流被复用的比特流进行解复用。也就是说，解复用部(DMUX)1413从自流缓冲器1414读出的比特流中提取视频流和音频流(将视频流和音频流彼此分离)。也就是说，解复用部(DMUX)1413能够通过解复用来执行流的格式的转换(复用部(MUX)1412的转换的逆转换)。例如，解复用部(DMUX)1413能够经由流缓冲器1414获取例如从连接器1321、宽带调制解调器1333等提供的传输流并且对传输流进行解复用，从而将解复用的传输流转换为视频流和音频流。例如，解复用部(DMUX)1413能够经由流缓冲器1414获取例如由连接器1321从各种记录介质中读出的文件数据并且对文件数据进行解复用，从而将解复用的文件数据转换为视频流和音频流。

流缓冲器1414对比特流进行缓冲。例如，流缓冲器1414对从复用部(MUX)1412提供的传输流进行缓冲，并且在预定时刻或基于来自外部的请求等向例如连接器1321、宽带调制解调器1333等提供传输流。

此外，例如，流缓冲器1414对从复用部(MUX)1412提供的文件数据进行缓冲，在预定时刻或者基于来自外部的请求等向例如连接器1321等提供缓冲的文件数据并且将缓冲的文件数据记录在各种记录介质中。

此外，流缓冲器1414对经由例如连接器1321、宽带调制解调器1333等获取的传输流进行缓冲，并且在预定时刻或基于来自外部的请求等将传输流提供至解复用部(DMUX)1413。

此外，流缓冲器1414例如对从连接器1321等中的各种记录介质读出的文件数据进行缓冲，并且在预定的时刻或基于来自外部的请求等将缓冲的文件数据提供至解复用部(DMUX)1413。

接下来，给出具有这样的配置的视频处理器1332的操作的示例的描述。例如，将从连接器1321等输入至视频处理器1332的视频信号转换成视频输入处理部1401中的预定系统例如4:2:2Y/Cb/Cr系统的数字图像数据，并且将转换的数字图像数据依次写入到帧存储器1405中。数字图像数据由第一图像缩放部1402或第二图像缩放部1403读出；对数字图像数据执行到预定系统例如4:2:0Y/Cb/Cr系统的格式转换以及放大/缩小处理；并且将数字图像数据再次写入帧存储器1405中。图像数据由编码/解码引擎1407编码，并且将经编码的图像数据作为视频流写入到视频ES缓冲器1408A中。

此外，由音频编码器1410对从连接器1321等输入至视频处理器1332的音频信号进行编码，并且将其作为音频流写入到音频ES缓冲器1409A中。

视频ES缓冲器1408A的视频流和音频ES缓冲器1409A的音频流由复用部(MUX)1412读出、被复用并且被转换成传输流、文件数据等。由复用部(MUX)1412生成的传输流在流缓冲器1414中进行缓冲，并且然后经由例如连接器1321、宽带调制解调器1333等输出至外部网络。此外，由复用部(MUX)1412生成的文件数据在流缓冲器1414中进行缓冲，并且然后输出至例如连接器1321等，并且被记录在各种记录介质中。

此外，经由例如连接器1321、宽带调制解调器1333等从外部网络输入至视频处理器1332的传输流通过流缓冲器1414进行缓冲，并且然后由解复用部(DMUX)1413解复用。此外，例如，通过连接器1321等从各种记录介质读出并且被输入至视频处理器1332的文件数据通过流缓冲器1414进行缓冲，并且然后通过解复用部(DMUX)1413进行解复用。也就是说，输入至视频处理器1332的传输流或文件数据被解复用部(DMUX)1413分离成视频流和音频流。

音频流经由音频ES缓冲器1409B被提供至音频解码器1411，并且被解码以再现音频信号。此外，在视频流被写入到视频ES缓冲器1408B之后，视频流被编码/解码引擎1407依次读出、解码，并且被写入到帧存储器1405中。经解码的图像数据由第二图像缩放部1403进行放大/缩小处理，并且图像数据被写入到帧存储器1405中。然后，经解码的图像数据通过视频输出处理部1404读出；执行到诸如4:2:2Y/Cb/Cr系统的预定系统的解码图像数据的格式转换；此外，执行到模拟信号的转换；以及再现并输出视频信号。

在将本技术应用于如上所述配置的视频处理器1332的情况下，将根据前述实施方式的本技术应用于编码/解码引擎1407就足够了。也就是说，例如，编码/解码引擎1407可以具有上述图像编码器100的功能或上述图像解码器200的功能，或者可以具有这两种功能。这样的配置使得视频处理器1332能够实现与前述实施方式的效果类似的效果。

应当注意，在编码/解码引擎1407中，本技术(即，图像编码器100的功能或图像解码器200的功能或者其两者)可以通过诸如逻辑电路的硬件或者通过诸如结合的程序的软件来实现，或者可以通过其两者来实现。

(视频处理器的另一配置示例)

图47示出了应用本技术的视频处理器1332的示意性配置的另一示例。在图47的示例的情况下，视频处理器1332具有在预定系统中对视频数据进行编码和解码的功能。

更具体地，如在图47中所示，视频处理器1332包括控制部1511、显示接口1512、显示引擎1513、图像处理引擎1514以及内部存储器1515。此外，视频处理器1332包括编解码器引擎1516、存储器接口1517、复用/解复用部(MUX/DMUX)1518、网络接口1519以及视频接口1520。

控制部1511对视频处理器1332中的相应的处理部如显示接口1512、显示引擎1513、图像处理引擎1514和编解码器引擎1516的操作进行控制。

如在图47中所示，控制部1511包括例如主CPU 1531、子CPU 1532以及系统控制器1533。主CPU 1531执行用于控制视频处理器1332中的相应的处理部的操作的程序等。主CPU1531根据程序等生成控制信号，并且将控制信号提供至相应的处理部(即，控制相应的处理部的操作)。子CPU 1532对主CPU 1531起辅助作用。例如，子CPU 1532执行诸如主CPU 1531执行的程序、子例程等的子处理。系统控制器1533对主CPU 1531和子CPU1532的操作如指定要由主CPU 1531和子CPU 1532执行的程序进行控制。

显示接口1512在控制部1511的控制下将图像数据输出至例如连接器1321等。例如，显示接口1512可以将作为数字数据的图像数据转换为模拟信号，并且将经转换的模拟信号作为再现的视频信号或按原样作为作为数字数据的图像数据输出至连接器1321的监视设备等。

在控制部1511的控制下，显示引擎1513对图像数据执行各种类型的转换处理，例如格式转换、尺寸转换和色域转换，以符合用于显示图像的监视器设备等的硬件规格。

在控制部1511的控制下，图像处理引擎1514例如对图像数据执行预定图像处理例如用于提高图像质量的滤波处理。

内部存储器1515是设置在视频处理器1332内部并且由显示引擎1513、图像处理引擎1514以及编解码器引擎1516共享的存储器。内部存储器1515例如用于在显示引擎1513、图像处理引擎1514与编解码器引擎1516之间交换执行的数据。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码器引擎1516提供的数据，并且必要时(例如，根据请求)将该数据提供至显示引擎1513、图像处理引擎1514或编解码器引擎1516。内部存储器1515可以通过任何存储装置来实现；然而，在许多情况下，内部存储器1515通常用于存储少量数据，例如逐块图像数据、参数等。因此，期望通过具有相对较小容量(例如，与外部存储器1312相比)但是响应速度高的半导体存储器例如SRAM(静态随机存取存储器)来实现该存储装置。

编解码器引擎1516执行与图像数据的编码和解码有关的处理。对应于编解码器引擎1516的编码/解码方法是可选的，并且其数目可以是一个或多个。例如，编解码器引擎1516可以具有多种编码/解码方法的编解码功能，并且可以通过从编解码功能中选择的编解码功能对图像数据进行编码或对经编码的数据进行解码。

在图47所示的示例中，例如，编解码器引擎1516包括MPEG-2视频1541、AVC/H.2641542、HEVC/H.265 1543、HEVC/H.265(可伸缩)1544、HEVC/H.265(多视图)1545和MPEG-DASH1551作为与编解码器有关的处理的功能块。

MPEG-2视频1541是通过MPEG-2方法对图像数据进行编码和解码的功能块。AVC/H.264 1542是通过AVC方法对图像数据进行编码和解码的功能块。HEVC/H.265 1543是通过HEVC方法对图像数据进行编码和解码的功能块。HEVC/H.265(可伸缩)1544是通过HEVC方法对图像数据执行可伸缩编码或可伸缩解码的功能块。HEVC/H.265(多视图)1545是通过HEVC方法对图像数据执行多视图编码或多视图解码的功能块。

MPEG-DASH 1551是通过MPEG-DASH(HTTP上的MPEG-动态自适应流)方法来发送和接收图像数据的功能块。MPEG-DASH是一种使用HTTP(超文本传输协议)流式传输视频的技术，并且其特征在于，从预先准备的具有不同分辨率等的多条编码数据中，逐段地选择并传输适当的编码数据。MPEG-DASH 1551生成符合标准的流、执行流的传输控制等，并且利用上述MPEG-2视频1541或HEVC/H.265(多视图)1545进行图像数据的编码和解码。

存储器接口1517是用于外部存储器1312的接口。从图像处理引擎1514或编解码器引擎1516提供的数据经由存储器接口1517被提供至外部存储器1312。此外，从外部存储器1312读出的数据经由存储器接口1517被提供至视频处理器1332(图像处理引擎1514或编解码器引擎1516)。

复用/解复用部(MUX DMUX)1518执行与图像有关的各种类型的数据的复用和解复用，例如编码数据、图像数据、视频信号等的比特流。这种复用/解复用方法是可选的。例如，在进行复用时，复用/解复用部(MUX DMUX)1518不仅能够将多条数据聚集成一条数据，还能够将预定的头部信息等添加至数据。此外，在解复用中，复用/解复用部(MUX DMUX)1518不仅能够将一个数据划分成多条数据，而且还能够将预定的头部信息等添加至每条划分的数据。也就是说，复用/解复用部(MUX DMUX)1518能够通过复用/解复用来执行数据格式的转换。例如，复用/解复用部(MUX DMUX)1518能够对比特流进行复用，从而执行到传输流的转换，该传输流是用于传输的格式的比特流或用于记录的文件格式的数据(文件数据)。不用说，也可以使用逆复用来执行逆转换。

网络接口1519例如是用于宽带调制解调器1333、连接器1321等的接口。视频接口1520例如是用于连接器1321、摄像装置1322等的接口。

接下来，给出视频处理器1332的操作示例的描述。例如，当经由连接器1321、宽带调制解调器1333等从外部网络接收传输流时，传输流经由网络接口1519被提供至复用/解复用部(MUX DMUX)1518，被复用，并且由编解码器引擎1516进行解码。通过由编解码器引擎1516进行的解码获得的图像数据例如经受由图像处理引擎1514进行的预定图像处理，经受由显示引擎1513进行的预定转换，并且经由显示接口1512被提供至例如连接器1321等，并且在监视器上显示图像。此外，例如，通过由编解码器引擎1516进行的解码而获得的图像数据由编解码器引擎1516重新编码，由复用/解复用部(MUX DMUX)1518复用，被转换成文件数据，经由视频接口1520被输出至例如连接器1321等，并且被记录在各种记录介质中。

此外，例如，通过连接器1321等从未示出的记录介质中读出的、作为具有经编码的图像数据的编码数据的文件数据经由视频接口1520被提供至复用/解复用部(MUX DMUX)1518，被解复用，并且由编解码器引擎1516进行解码。通过由编解码器引擎1516进行的解码获得的图像数据经受由图像处理引擎1514进行的预定图像处理，经受由显示引擎1513进行的预定转换，并且经由显示接口1512被提供至例如连接器1321等，并且在监视器上显示图像。此外，例如，通过由编解码器引擎1516进行的解码而获得的图像数据由编解码器引擎1516重新编码，由复用/解复用部(MUX DMUX)1518复用，被转换成传输流，经由网络接口1519被提供至例如连接器1321、宽带调制解调器1333等，并且被发送至未示出的另一设备。

应当注意，通过使用例如内部存储器1515和外部存储器1312在视频处理器1332中的相应的处理部之间交换图像数据和其他数据。此外，例如，电力管理模块1313控制对控制部1511的电力提供。

在将本技术应用于如上所述配置的视频处理器1332的情况下，将根据前述实施方式的本技术应用于编解码器引擎1516就足够了。也就是说，例如，编解码器引擎1516具有上述图像编码器100的功能或图像解码器200的功能，或者具有这两者就足够了。这样的配置使得视频处理器1332能够实现与前述实施方式的效果类似的效果。

注意，在编解码器引擎1516中，本技术(即，图像编码器100的功能)可以由诸如逻辑电路的硬件实现或者由诸如并入的程序的软件来实现，或者可以由其二者来实现。

尽管上面已经给出了视频处理器1332的配置的两个示例，但是视频处理器1332的配置是可选的并且可以是除了上述两个示例之外的配置。此外，视频处理器1332可以被配置为一个半导体芯片，或者可以被配置为多个半导体芯片。例如，可以采用其中堆叠了多个半导体的三维堆叠的LSI。此外，视频处理器1332可以由多个LSI来实现。

<应用于设备的示例>

可以将视频设备1300并入到对图像数据进行处理的各种设备中。例如，可以将视频设备1300并入到电视设备900(图41)、移动电话920(图42)、记录再现设备940(图43)、成像设备960(图44)等中。并入视频设备1300使得该设备能够实现与前述实施方式的效果类似的效果。

应当注意，只要包括视频处理器1332，即使上述视频设备1300的部件的一部分也能够被实现为应用本技术的配置。例如，仅视频处理器1332能够被实现为应用本技术的视频处理器。此外，例如，如上所述，由虚线1341指示的处理器、视频模块1311等能够被实现为应用本技术的处理器、模块等。此外，例如，视频模块1311、外部存储器1312、电力管理模块1313以及前端模块1314能够被组合并且被实现为应用本技术的视频单元1361。在任何一种配置的情况下，都可以实现与前述实施方式的效果类似的效果。

也就是说，与视频设备1300的情况类似，可以将包括视频处理器1332的任何配置并入到处理图像数据的各种设备中。例如，可以将视频处理器1332、由虚线1341指示的处理器、视频模块1311或者视频单元1361并入到电视设备900(图41)、移动电话920(图42)、记录再现设备940(图43)、成像设备960(图44)等中。与视频设备1300的情况类似，并入应用本技术的任何配置使得该设备能够实现与前述实施方式的效果类似的效果。

<网络系统>

此外，本技术还可以应用于由多个设备配置的网络系统。图48示出了应用本技术的网络系统的示意性配置的示例。

图48中所示的网络系统1600是其中设备经由网络交换关于图像(运动图像)的信息的系统。网络系统1600的云服务1601是向通信地耦接至云服务1601的终端(例如计算机1611、AV(视听)设备1612、便携式信息处理终端1613、IoT(物联网)设备1614)提供与图像(运动图像)有关的服务的系统。例如，云服务1601向终端提供用于提供图像(运动图像)内容的服务，例如所谓的运动图像分发(按需或实时分发)。此外，例如，云服务1601提供备份服务，用于从终端接收和存储图像(运动图像)的内容。此外，例如，云服务1601提供用于调解终端之间的图像(运动图像)的内容的交换的服务。

云服务1601的物理配置是可选的。例如，云服务1601可以包括各种服务器，例如存储和管理运动图像的服务器、将运动图像分发到终端的服务器、从终端获取运动图像的服务器、管理用户(终端)和计费的服务器，以及例如因特网和LAN的任何网络。

计算机1611例如由诸如个人计算机、服务器或工作站的信息处理器构成。AV设备1612例如由诸如电视接收器、硬盘记录器、游戏机或摄像装置的图像处理器构成。便携式信息处理终端1613例如由诸如笔记本个人计算机、平板终端、移动电话或智能电话的便携式信息处理器构成。IoT设备1614由诸如机器、家用电器、家具、其他设备、IC标签或卡型装置的处理图像的任何对象构成。这些终端中的每一个具有通信功能，并且能够耦接至云服务1601(建立会话)并且能够与云服务1601交换信息(即，执行通信)。此外，每个终端还能够与其他终端进行通信。终端之间的通信可以经由云服务1601执行，或者可以在没有云服务1601的情况下执行。

如上所述，当通过将本技术应用于网络系统1600而在终端之间或者在终端与云服务1601之间交换图像(运动图像)的数据时，可以如上所述在各个实施方式中对图像数据进行编码和解码。也就是说，终端(计算机1611至IoT设备1614)和云服务1601均可以具有上述图像编码器100或图像解码器200的功能。这样的配置使得交换图像数据的终端(计算机1611至IoT设备1614)和云服务1601能够实现与前述实施方式的效果类似的效果。

应当注意，与编码数据(比特流)有关的各种类型的信息可以以复用的方式发送或记录到编码数据，或者可以作为与编码数据相关联的单独数据发送或记录，而无需复用到编码数据。如本文所使用的，术语“相关联”是指，例如，在处理其他数据时可以利用(可以链接)一个数据。话句话说，彼此相关联的数据可以被分组在一起作为一个数据，或者可以是单独的数据。例如，可以在与编码数据(图像)的传输路径不同的传输路径上传输与编码数据(图像)相关联的信息。此外，例如，与编码数据(图像)相关联的信息可以记录在与用于编码数据(图像)的记录介质不同的记录介质(或相同记录介质的另一记录区域)中。应当注意，可以对一部分数据而不是全部数据执行“相关联”。例如，图像和与该图像对应的信息可以以可选的单位例如以多个帧、一个帧或帧内的一部分为单位彼此相关联。

此外，如上所述，在本说明书中，术语“组合”、“复用”、“添加”、“集成”、“包括”、“存储”、“植入”、“插入中间”、“插入”等意味着将多个项组合为一个项，例如，将编码数据和元数据组合为一个数据，并且意指上述术语“相关联”的一种方法。

应当注意，本说明书中描述的效果仅是示例性的而不是限制性的，并且可以提供其他效果。

此外，本技术的实施方式不限于前述实施方式，并且可以在不脱离本技术的主旨的范围内进行各种修改。

要注意的是，本技术可以具有以下配置。

<1>

一种图像处理器，包括预测部，所述预测部通过在根据图片顺序计数POC距离从多个运动补偿模式中选择的运动补偿模式下执行运动补偿来生成待处理的块的预测图像，所述POC距离是所述块的POC与用于生成所述块的预测图像的参考图像的POC之间的距离。

<2>

根据<1>所述的图像处理器，其中，从具有不同数目的用于运动补偿的参数的多个运动补偿模式中选择所述运动补偿模式。

<3>

根据<2>所述的图像处理器，其中，所述POC距离越短，从具有越少数目的所述参数的运动补偿模式中选择所述运动补偿模式。

<4>

根据<1>至<3>中任一项所述的图像处理器，其中，从平移模式、完全仿射变换模式、简单仿射变换模式、平移旋转模式和平移缩放模式中选择所述运动补偿模式，所述平移模式通过平移移动来执行运动补偿，所述完全仿射变换模式通过基于三个运动矢量的仿射变换来执行运动补偿，所述简单仿射变换模式通过基于两个运动矢量的仿射变换来执行运动补偿，所述平移旋转模式通过平移移动和旋转来执行运动补偿，所述平移缩放模式通过平移移动和缩放来执行运动补偿。

<5>

根据<4>所述的图像处理器，其中，在所述平移模式下，所述预测部基于一个运动矢量对所述参考图像执行运动补偿。

<6>

根据<4>或<5>所述的图像处理器，其中，在所述完全仿射变换模式下，所述预测部通过对所述参考图像执行基于三个运动矢量的仿射变换来执行运动补偿。

<7>

根据<4>至<6>中任一项所述的图像处理器，其中，在所述简单仿射变换模式下，所述预测部通过对所述参考图像执行基于两个运动矢量的仿射变换来执行运动补偿。

<8>

根据<4>至<7>中任一项所述的图像处理器，其中，在所述平移旋转模式下，所述预测部基于一个运动矢量和旋转角度对所述参考图像执行运动补偿。

<9>

根据<4>至<7>中任一项所述的图像处理器，其中，在所述平移旋转模式下，所述预测部基于一个运动矢量以及所述一个运动矢量与其他运动矢量之间的竖直方向上的差对所述参考图像执行运动补偿。

<10>

根据<4>至<9>中任一项所述的图像处理器，其中，在所述平移缩放模式下，所述预测部基于一个运动矢量和缩放率对所述参考图像执行运动补偿。

<11>

根据<4>至<9>中任一项所述的图像处理器，其中，在所述平移缩放模式下，所述预测部基于一个运动矢量以及所述一个运动矢量与其他运动矢量之间的水平方向上的差对所述参考图像执行运动补偿。

<12>

根据<1>至<11>中任一项所述的图像处理器，其中，所述预测部根据所述POC距离和根据所述POC距离设置的运动补偿模式信息来执行运动补偿，所述运动补偿模式信息表示所述运动补偿模式。

<13>

根据<12>所述的图像处理器，还包括设置部，所述POC距离越短，所述设置部将具有越少位数的标志设置为所述运动补偿模式信息。

<14>

一种图像处理方法，包括：使图像处理器通过在根据图片顺序计数POC距离从多个运动补偿模式中选择的运动补偿模式下执行运动补偿来生成待处理的块的预测图像，所述POC距离是所述块的POC与用于生成所述块的预测图像的参考图像的POC之间的距离。

<15>

一种图像处理器，包括预测部，所述预测部以单位块为单位、通过平移移动与所述单位块对应的参考图像的参考单位块来生成待处理的块的预测图像，所述单位块通过根据图片顺序计数POC距离对所述块进行划分来获得，所述POC距离是所述块的POC与用于生成所述块的预测图像的所述参考图像的POC之间的距离。

<16>

根据<15>所述的图像处理器，其中，所述块被划分成与所述POC距离对应的尺寸的多个单位块。

<17>

根据<16>所述的图像处理器，其中，所述块被划分成所述多个单位块，所述POC距离越短，每个单位块具有越大的尺寸。

<18>

根据<15>至<17>中任一项所述的图像处理器，其中，所述预测部通过以下操作执行基于多个运动矢量的运动补偿：

根据所述多个运动矢量确定所述单位块的运动矢量，以及

基于所述单位块的运动矢量，平移移动与所述单位块对应的参考单位块。

<19>

根据<15>至<18>中任一项所述的图像处理器，其中，所述预测部根据所述POC距离将所述块划分成多个单位块。

<20>

一种图像处理方法，包括：使图像处理器以单位块为单位、通过平移移动与所述单位块对应的参考图像的参考单位块来生成待处理的块的预测图像，所述单位块通过根据图片顺序计数POC距离对所述块进行划分来获得，所述POC距离是所述块的POC与用于生成所述块的预测图像的所述参考图像的POC之间的距离。

[附图标记列表]

100 图像编码器

101 控制部

119 预测部

200 图像解码器

216 预测部

Claims (20)

1.一种图像处理器，包括预测部，所述预测部通过在根据图片顺序计数POC距离从多个运动补偿模式中选择的运动补偿模式下执行运动补偿来生成待处理的块的预测图像，所述POC距离是所述块的POC与用于生成所述块的预测图像的参考图像的POC之间的距离。

2.根据权利要求1所述的图像处理器，其中，从具有不同数目的用于运动补偿的参数的多个运动补偿模式中选择所述运动补偿模式。

3.根据权利要求2所述的图像处理器，其中，所述POC距离越短，从具有越少数目的所述参数的运动补偿模式中选择所述运动补偿模式。

4.根据权利要求3所述的图像处理器，其中，从平移模式、完全仿射变换模式、简单仿射变换模式、平移旋转模式和平移缩放模式中选择所述运动补偿模式，所述平移模式通过平移移动来执行运动补偿，所述完全仿射变换模式通过基于三个运动矢量的仿射变换来执行运动补偿，所述简单仿射变换模式通过基于两个运动矢量的仿射变换来执行运动补偿，所述平移旋转模式通过平移移动和旋转来执行运动补偿，所述平移缩放模式通过平移移动和缩放来执行运动补偿。

5.根据权利要求4所述的图像处理器，其中，在所述平移模式下，所述预测部基于一个运动矢量对所述参考图像执行运动补偿。

6.根据权利要求4所述的图像处理器，其中，在所述完全仿射变换模式下，所述预测部通过对所述参考图像执行基于三个运动矢量的仿射变换来执行运动补偿。

7.根据权利要求4所述的图像处理器，其中，在所述简单仿射变换模式下，所述预测部通过对所述参考图像执行基于两个运动矢量的仿射变换来执行运动补偿。

8.根据权利要求4所述的图像处理器，其中，在所述平移旋转模式下，所述预测部基于一个运动矢量和旋转角度对所述参考图像执行运动补偿。

9.根据权利要求4所述的图像处理器，其中，在所述平移旋转模式下，所述预测部基于一个运动矢量以及所述一个运动矢量与其他运动矢量之间的竖直方向上的差对所述参考图像执行运动补偿。

10.根据权利要求4所述的图像处理器，其中，在所述平移缩放模式下，所述预测部基于一个运动矢量和缩放率对所述参考图像执行运动补偿。

11.根据权利要求4所述的图像处理器，其中，在所述平移缩放模式下，所述预测部基于一个运动矢量以及所述一个运动矢量与其他运动矢量之间的水平方向上的差对所述参考图像执行运动补偿。

12.根据权利要求1所述的图像处理器，其中，所述预测部根据所述POC距离和根据所述POC距离设置的运动补偿模式信息来执行运动补偿，所述运动补偿模式信息表示所述运动补偿模式。

13.根据权利要求12所述的图像处理器，还包括设置部，所述POC距离越短，所述设置部将具有越少位数的标志设置为所述运动补偿模式信息。

14.一种图像处理方法，包括：使图像处理器通过在根据图片顺序计数POC距离从多个运动补偿模式中选择的运动补偿模式下执行运动补偿来生成待处理的块的预测图像，所述POC距离是所述块的POC与用于生成所述块的预测图像的参考图像的POC之间的距离。

15.一种图像处理器，包括预测部，所述预测部以单位块为单位、通过平移移动与所述单位块对应的参考图像的参考单位块来生成待处理的块的预测图像，所述单位块通过根据图片顺序计数POC距离对所述块进行划分来获得，所述POC距离是所述块的POC与用于生成所述块的预测图像的所述参考图像的POC之间的距离。

16.根据权利要求15所述的图像处理器，其中，所述块被划分成与所述POC距离对应的尺寸的多个单位块。

17.根据权利要求16所述的图像处理器，其中，所述块被划分成所述多个单位块，所述POC距离越短，每个单位块具有越大的尺寸。

18.根据权利要求15所述的图像处理器，其中，所述预测部通过以下操作执行基于多个运动矢量的运动补偿：

根据所述多个运动矢量确定所述单位块的运动矢量，以及

基于所述单位块的运动矢量，平移移动与所述单位块对应的参考单位块。

19.根据权利要求15所述的图像处理器，其中，所述预测部根据所述POC距离将所述块划分成多个单位块。

20.一种图像处理方法，包括：使图像处理器以单位块为单位、通过平移移动与所述单位块对应的参考图像的参考单位块来生成待处理的块的预测图像，所述单位块通过根据图片顺序计数POC距离对所述块进行划分来获得，所述POC距离是所述块的POC与用于生成所述块的预测图像的所述参考图像的POC之间的距离。

Images