CN102342108A

CN102342108A - 图像处理设备和方法

Info

Publication number: CN102342108A
Application number: CN2010800100211A
Authority: CN
Inventors: 佐藤数史
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2009-03-06
Filing date: 2010-02-25
Publication date: 2012-02-01
Anticipated expiration: 2030-02-25
Also published as: KR20110139684A; WO2010101064A1; EP2405659A4; AU2010219746A1; BRPI1009535A2; JPWO2010101064A1; CN102342108B; EP2405659A1; US20120057632A1; MX2011009117A; RU2011136072A; CA2752736A1; TW201041404A

Abstract

公开了能够抑制压缩信息的增加并且还能够提高预测精度的图像处理设备和方法。精度标志生成单元(93)将来自当前运动向量精度确定单元(91)的当前块的运动向量信息的精度参数与来自相邻运动向量精度确定单元(92)的相邻块的运动向量信息的精度参数相比较，并且生成指示当前块的运动向量信息的精度与相邻块的运动向量信息的精度是一致还是不同的精度标志。在最优帧间预测模式中的预测图像已由预测图像选择单元(77)选择的情况中，该精度标志与运动向量信息mvd_E等一起被输出给无损编码单元(66)并被编码。本发明可以应用于例如使用H.264/AVC系统执行编码的图像编码设备。

Description

图像处理设备和方法

技术领域

本发明涉及图像处理设备和方法，并且具体地涉及能够抑制压缩信息的增加并且还能够提高预测精度的图像处理设备和方法。

背景技术

近年来，为了执行信息的高效发送和累积，利用作为图像信息的特征的冗余，通过采用将图像信息处理为数字信号的编码系统来对图像进行压缩编码并且此时通过诸如离散余弦变换等的正交变换和运动补偿对图像进行压缩的设备已广泛普及。这样的编码方法的示例包括MPEG(运动图像专家组)等。

具体地，MPEG2(ISO/IEC 13818-2)被定义为通用图像编码系统，并且是一种涵盖了隔行扫描图像和逐行扫描图像两者以及标准清晰图像和高清晰图像的标准。例如，MPEG2当前被广泛用在用于专业运用和消费者运用的广范围应用中。例如在具有720×480像素的标准分辨率的隔行扫描图像的情况中，通过利用MPEG2压缩系统，4至8 Mbps的代码量(比特率)被分配。例如在具有1920×1088像素的高分辨率的隔行扫描图像的情况中，通过利用MPEG2压缩系统，1 8至22 Mbps的代码量(比特率)被分配。因此，可以实现高压缩率和优良的图像质量。

MPEG2起初致力于适合于广播运用的高图像质量编码，但不处理低于MPEG1的代码量(比特率)，即，具有较高压缩率的编码系统。由于个人数字助理的普及，预期对这种编码系统的需求将增长，并且响应于此，MPEG4编码系统的标准化已被执行。关于图像编码系统，其规范已在1 998年1 2月被确认为如ISO/IEC 14496-2的国际标准。

此外，近年来，已在进行以用于电视会议运用的图像编码为目标的、称为H.26L(ITU-T Q6/16 VCEG)的标准的标准化。对于H.26L，虽然众所周知与诸如MPEG2和MPEG4之类的传统编码系统相比需要用于其编码和解码的更大计算量，但是实现了更高的编码效率。此外，当前，作为MPEG4的活动的一部分，以该H.26L为基础利用H.26L所不支持的功能以实现更高编码效率的标准化已被执行，如增强压缩视频编码联合模型。作为标准化的日程表，H.264和MPEG-4第10部分(高级视频编码，以下被写为H.264/AVC)在2003年3月成为国际标准。

顺便提及，在MPEG2系统中，1/2像素精度的运动预测/补偿处理已通过线性插值处理被执行。另一方面，在H.264/AVC系统中，1/4像素精度的预测/补偿利用6抽头FIR(有限冲激响应滤波器)滤波器被执行。

在MPEG2系统中，在帧运动补偿模式的情况中，运动预测和补偿处理是以16×16像素为单位来执行的。在场运动补偿模式的情况中，运动预测和补偿处理是针对第一场和第二场的每场以16×8像素为单位来执行的。

另一方面，在H.264/AVC系统中，运动预测和补偿处理可以以块大小作为变量来执行。具体地，在H.264/AVC系统中，由16×16像素构成的一个宏块可被划分为16×16，16×8，8×16或8×8的分区中的一种，其中每种分区具有独立的运动向量信息。此外，8×8分区可被划分为8×8，8×4，4×8或4×4的子分区中的一种，其中，每种子分区具有独立的运动向量信息。

然而，在H.264/AVC系统中，通过执行1/4像素精度和块可变的运动预测和补偿处理，使得大量运动向量信息被生成，如果它们不加改变地被编码则导致编码效率恶化。

因此，已提出通过如下方法来抑制编码效率的恶化，该方法通过中间操作等利用已被编码的相邻块的运动向量信息来生成从现在起将被编码的当前块的预测运动向量信息。

顺便提及，近年来，已经进行了研究以便进一步提高H.264/AVC系统的效率。作为用于此的编码方法之一，在NPL 1中提出了1/8像素精度的运动预测。

具体地，在NPL 1中，通过滤波器[-3，12，-39，158，158，-39，12，-3]/256来执行1/2像素精度的插值处理。此外，通过滤波器[-3，12，-37，229，71，-21，6，-1]/256来执行1/4像素精度的插值处理，并且通过线性插值来执行1/8像素精度的插值处理。

以这种方式，使用具有较高像素精度的插值处理的运动预测被执行，从而尤其是对于具有高分辨率的纹理的相对慢的运动序列来说，可以提高预测精度，并且可以实现编码效率的提高。

引用列表

非专利文献

NPL 1：″Motion compensated prediction with 1/8-pel displacement vectorresolution″，VCEG-AD09，ITU-Telecommunications Standardization SectorSTUDY GROUP Question 6 Video coding Experts Group(VCEG)，23-27 Oct2006(2006年10月)

发明内容

技术问题

现在，考虑将被发送给解码侧的经压缩图像信息内的运动向量信息。在整数像素精度中，对于值为“1”的运动向量信息，在执行1/4像素精度的运动预测时，经压缩图像信息内的处理中的值变为“4”，但是在执行1/8像素精度的运动预测时，经压缩图像信息内的处理中的值变为“8”。

具体地，在执行1/8像素精度的运动预测的情况中，与执行1/4像素精度的运动预测的情况相比，更多的代码量必须被分派给运动向量信息。当相当于该增加的量超过了运动预测效率的提高时，在执行1/8像素精度的运动预测时，效率可能相反地会降低。

本发明是鉴于这样的情形作出的，本发明抑制压缩信息的增加并且还提高预测精度。

问题的解决方案

根据本发明第一方面的图像处理设备包括：精度标志生成装置，被配置为生成指示当前块的运动向量信息的精度和与当前块相邻的相邻块的运动向量信息的精度是一致还是不同的精度标志；以及编码装置，配置为对当前块的运动向量信息以及由精度标志生成装置生成的精度标志进行编码。

该图像处理设备还可以包括：预测运动向量生成装置，被配置为在由精度标志生成装置生成的精度标志指示当前块的运动向量信息的精度与相邻块的运动向量信息的精度不同的情况中，通过将相邻块的运动向量信息的精度转换为当前块的运动向量信息的精度来执行中值预测，以生成预测运动向量信息，其中，编码装置将当前块的运动向量信息与预测运动向量信息之差编码为当前块的运动向量信息。

精度标志生成装置和预测运动向量生成装置可以使用与当前块的左边相邻的块作为相邻块。

精度标志生成装置和预测运动向量生成装置可以使用与当前块相邻的并且还是在最近(之前刚刚)经过了编码处理的块作为相邻块。

精度标志生成装置和预测运动向量生成装置可以使用与当前块相邻的并且还提供通过中值预测选择的运动向量信息的块作为相邻块。

根据本发明第一方面的图像处理方法包括以下步骤：使得图像处理设备生成指示当前块的运动向量信息的精度和与当前块相邻的相邻块的运动向量信息的精度是一致还是不同的精度标志；以及对当前块的运动向量信息和所生成的精度标志进行编码。

根据本发明第二方面的图像处理设备包括：解码装置，被配置为对当前块的经编码运动向量信息以及指示当前块的运动向量信息的精度和与当前块相邻的相邻块的运动向量信息的精度是一致还是不同的精度标志进行解码；运动向量重构装置，被配置为利用由解码装置解码的精度标志来重构由解码装置解码的当前块的运动向量信息；以及预测图像生成装置，被配置为利用由运动向量重构装置重构的当前块的运动向量信息来生成当前块的预测图像。

该图像处理设备还可以包括：预测运动向量生成装置，被配置为在由解码装置解码出的精度标志指示当前块的运动向量信息的精度与相邻块的运动向量信息的精度不同的情况中，通过将相邻块的运动向量信息的精度转换为当前块的运动向量信息的精度来执行中值预测，以生成预测运动向量信息；其中，运动向量重构装置利用由解码装置解码的精度标志以及由预测运动向量生成装置生成的预测运动向量信息来重构由解码装置解码的当前块的运动向量信息。

运动向量重构装置和预测运动向量生成装置可以使用与当前块的左边相邻的块作为相邻块。

运动向量重构装置和预测运动向量生成装置可以使用与当前块相邻的并且还是在最近经过了编码处理的块作为相邻块。

运动向量重构装置和预测运动向量生成装置可以使用与当前块相邻的并且还提供通过中值预测选择的运动向量信息的块作为相邻块。

根据本发明第二方面的图像处理方法包括以下步骤：使得图像处理设备对当前块的经编码运动向量信息以及指示当前块的运动向量信息的精度和与当前块相邻的相邻块的运动向量信息的精度是一致还是不同的精度标志进行解码；利用经解码的精度标志来重构当前块的经解码运动向量信息；以及利用重构出的当前块的运动向量信息来生成当前块的预测图像。

在本发明的第一方面中，指示当前块的运动向量信息的精度和与当前块相邻的相邻块的运动向量信息的精度是一致还是不同的精度标志被生成，并且所生成的精度标志与当前块的运动向量信息一起被编码。

在本发明的第二方面中，当前块的经编码运动向量信息以及指示当前块的运动向量信息的精度和与当前块相邻的相邻块的运动向量信息的精度是一致还是不同的精度标志被解码。经解码的当前块的运动向量信息利用经解码的精度标志被重构，并且当前块的预测图像利用重构出的当前块的运动向量信息被生成。

注意，上述图像处理设备可以是单独设备，或者可以是组成单个图像编码设备或图像解码设备的内部块。

本发明的有益效果

根据本发明的第一方面，图像可被编码。而且，根据本发明的第一方面，可以抑制压缩信息的增加，并且还可以提高预测精度。

根据本发明第二方面，图像可被解码。根据本发明的第二方面，可以抑制压缩信息的增加，并且还可以提高预测精度。

附图说明

图1是图示出应用了本发明的图像编码设备的实施例的配置的框图。

图2是用于描述具有可变块大小的运动预测和补偿处理的示图。

图3是用于描述1/4像素精度的运动预测和补偿处理的示图。

图4是用于描述多参考帧的运动预测和补偿方法的示图。

图5是用于描述运动向量信息生成方法的示例的示图。

图6是描述时间直接模式的示图。

图7是图示出图1中的运动预测和补偿单元以及运动向量精度确定单元的配置示例的框图。

图8是用于描述图1中的图像编码设备的编码处理的流程图。

图9是用于描述图8的步骤S21中的预测处理的流程图。

图10是用于描述图9的步骤S31中的帧内预测处理的流程图。

图11是用于描述图9的步骤S32中的帧间运动预测处理的流程图。

图12是用于描述图11的步骤S53中的运动向量精度确定处理的流程图。

图13是图示出应用了本发明的图像解码设备的实施例的配置的框图。

图14是图示出图13中的运动预测和补偿单元以及运动向量精度确定单元的配置示例的框图。

图15是用于描述图13中的图像解码设备的解码处理的流程图。

图16是用于描述图15的步骤S138中的预测处理的流程图。

图17是图示出扩展块大小的示例的示图。

图18是图示出计算机硬件的配置示例的框图。

图19是图示出应用了本发明的电视接收机的主要配置示例的框图。

图20是图示出应用了本发明的蜂窝电话的主要配置示例的框图。

图21是图示出应用了本发明的硬盘记录器的主要配置示例的框图。

图22是图示出应用了本发明的相机的主要配置示例的框图。

具体实施方式

现在参考附图描述本发明的实施例。

[图像编码设备的配置示例]

图1表示用作应用了本发明的图像处理设备的图像编码设备的实施例的配置。

该图像编码设备51例如利用H.264和MPEG-4第10部分(高级视频编码)(下面描述为H.264/AVC)系统来对图像进行压缩编码。

在图1的示例中，图像编码设备51包括A/D转换单元61、画面排序缓冲器62、计算单元63、正交变换单元64、量化单元65、无损编码单元66、累积缓冲器67、逆量化单元68、逆正交变换单元69、计算单元70、解块滤波器71、帧存储器72、开关73、帧内预测单元74、运动预测/补偿单元75、运动向量精度确定单元76、预测图像选择单元77以及速率控制单元78。

A/D转换单元61对输入图像进行模数转换，并输出给画面排序缓冲器62以进行排序。画面排序缓冲器62将具有被排序用于显示的顺序的帧的图像排序为用于根据GOP(图片组)进行编码的帧顺序。

计算单元63从自画面排序缓冲器62读出的图像中减去由预测图像选择单元77选择的来自帧内预测单元74的预测图像或者来自运动预测/补偿单元75的预测图像，并且将其差分信息输出给正交变换单元64。正交变换单元64对来自计算单元63的差分信息执行诸如离散余弦变换、Karhunen-Loève变换等的正交变换，并且输出其变换系数。量化单元65对正交变换单元64输出的变换系数进行量化。

作为量化单元65的输出的经量化变换系数被输入无损编码单元66，并且经过诸如可变长度编码、算术编码等的无损编码并被压缩。

无损编码单元66从帧内预测单元74获取指示帧内预测的信息，并且从运动预测/补偿单元75获取指示帧间预测模式等的信息。注意，下面，指示帧内预测的信息和指示帧间预测的信息分别被称为帧内预测模式信息和帧间预测模式信息。

无损编码单元66对经量化的变换系数编码，并且还对指示帧内预测的信息和指示帧间预测和直接模式的信息等进行编码，并且将它们作为经压缩图像的头部信息的一部分。无损编码单元66将经编码数据提供给累积缓冲器67以用于累积。

例如，在无损编码单元66中，执行诸如可变长度编码或算术编码等的无损编码。可变长度编码的示例包括由H.264/AVC系统确定的CAVLC(基于上下文的自适应可变长度编码)等。算术编码的示例包括CABAC(基于上下文的自适应二进制算术编码)。

累积缓冲器67将从无损编码单元66提供来的数据作为通过H.264/AVC系统被编码的压缩图像输出给例如未在图中示出的下游存储设备或传送路径等。

此外，从量化单元65输出的经量化变换系数还被输入逆量化单元68，经过逆量化，并且然后在逆正交变换单元69中再经过逆正交变换。经过了逆正交变换的输出被计算单元70与从预测图像选择单元77提供来的预测图像相加，并被变为本地解码图像。解块滤波器71去除该解码图像中的块失真，并且然后提供给帧存储器72用于累积。图像在由解块滤波器71执行解块滤波器处理之前也被提供给帧存储器72用于累积。

开关73将累积在帧存储器72中的参考图像输出给运动预测/补偿单元75或帧内预测单元74。

在该图像编码设备51中，例如，I图片、B图片和P图片从画面排序缓冲器62被提供给帧内预测单元74作为将经过帧内预测(也称为帧内处理)的图像。此外，从画面排序缓冲器62读出的B图片和P图片被提供给运动预测/补偿单元75作为将经过帧间预测(也称为帧间处理)的图像。

帧内预测单元74基于从画面排序缓冲器62读出的将经过帧内预测的图像和从帧存储器72提供来的参考图像来对作为候选的所有帧内预测模式执行帧内预测处理，以生成预测图像。

此时，帧内预测单元74计算针对作为候选的所有帧内预测模式的成本函数值，并且将所计算出的其成本函数值提供了最小值的帧内预测模式选为最优帧内预测模式。

帧内预测单元74将在最优帧内预测模式中生成的预测图像及其成本函数值提供给预测图像选择单元77。当在最优帧内预测模式中生成的预测图像被预测图像选择单元77选择时，帧内预测单元74将指示该最优帧内预测模式的信息提供给无损编码单元66。无损编码单元66对该信息编码，并且将其作为压缩图像中的头部信息的一部分。

运动预测/补偿单元75针对作为候选的所有帧间预测模式执行运动预测和补偿处理。具体地，对于运动预测/补偿单元75，从画面排序缓冲器62读出的将经过帧内预测的图像被提供来，并且参考图像经由开关73从帧存储器72被提供来。运动预测/补偿单元75基于将经过帧帧间处理的图像以及参考图像，检测作为候选的所有帧间预测模式的运动向量，基于运动向量对参考图像进行压缩处理，并生成预测图像。

注意，运动预测/补偿单元75执行在上述NPL 1中描述的1/8像素精度的运动预测和补偿处理，而非在H.264/AVC系统中确定的1/4像素精度的运动预测和补偿处理，这将在后面参考图3进行描述。

由运动预测/补偿单元75获得的当前块的运动向量信息和与当前块相邻的相邻块的运动向量信息被提供给运动向量精度确定单元76。响应于此，指示当前块的运动向量信息的精度与相邻块的运动向量信息的精度一致或不同的精度标志从运动向量精度确定单元76被提供给运动预测/补偿单元75。

运动预测/补偿单元75基于该精度标志使用相邻块的运动向量信息来计算当前块的预测运动向量信息，并且将所获得的运动向量信息与所生成的预测运动向量信息之差当作将被发送给解码侧的运动向量信息。

此外，运动预测/补偿单元75计算对于用作候选的所有帧间预测模式的成本函数值。运动预测/补偿单元75将计算出的成本函数值中提供了最小值的预测模式确定为最优帧间预测模式。

运动预测/补偿单元75将在最优帧间预测模式中生成的预测图像及其成本函数值提供给预测图像选择单元77。当在最优帧间预测模式中生成的预测图像被预测图像选择单元77选择时，运动预测/补偿单元75将指示该最优帧间预测模式的信息(帧间预测模式信息)输出给无损编码单元66。

此时，运动向量信息、精度标志、参考信息等被输出给无损编码单元66。无损编码单元66也对来自运动预测/补偿单元75的信息进行诸如可变长度编码、算术编码之类的无损编码处理，并且插入压缩图像的头部部分中。

当前块的运动向量信息和相邻块的运动向量信息从运动预测/补偿单元75被提供给运动向量精度确定单元76。运动向量精度确定单元76生成指示当前块的运动向量信息的精度与相邻块的运动向量信息的精度一致或不同的精度标志，并将所生成的精度标志提供给运动预测/补偿单元75。

预测图像选择单元77基于从帧内预测单元74或运动预测/补偿单元75输出的成本函数值来从最优帧内预测模式和最优帧间预测模式中确定最优预测模式。预测图像选择单元77然后选择所确定的最优预测模式中的预测图像，并提供给计算单元63和70。此时，预测图像选择单元77将预测图像的选择信息提供给帧内预测单元74或运动预测/补偿单元75。

速率控制单元78基于累积在累积缓冲器67中的压缩图像来控制量化单元65的量化操作的速率，以使得不会出现上溢或下溢。

[H.264/AVC系统的描述]

图2是描述根据H.264/AVC系统的运动预测和补偿中的块大小的示例的示图。在H.264/AVC系统中，运动预测和补偿处理在以块大小作为变量的情况下来执行。

图2的上面一排按照从左边起的顺序示出了由16×16像素构成的宏块，该宏块被划分为16×16像素、16×8像素、8×16像素和8×8像素的分区。此外，图2的下面一排按照从左边起的顺序示出了8×8像素分区，该分区被划分为8×8像素子分区、8×4像素子分区、4×8像素子分区和4×4像素子分区。

具体地，在H.264/AVC系统中，一个宏块可被划分为16×16像素、16×8像素、8×16像素或8×8像素分区中的一种，其中每种分区具有独立的运动向量信息。此外，8×8像素分区可被划分为8×8像素、8×4像素、4×8像素或4×4像素子分区中的一种，其中每种子分区具有独立的运动向量信息。

图3是用于描述利用H.264/AVC格式的1/4(四分之一)像素精度的预测/补偿处理的示图。在该H.264/AVC格式中，1/4像素精度的预测/补偿处理利用6抽头FIR(有限冲激响应滤波器)滤波器来执行。

在图3的示例中，位置A指示整数精度像素位置，位置b、c和d指示1/2像素精度位置，并且位置e1、e2和e3指示1/4像素精度位置。首先，下面，Clip()在以下的表达式(1)中被定义。

[数学表达式1]

Clip 1 (a) = \{\begin{matrix} 0; if (a < 0) \\ a; otherwise \\ \max_pix; if (a > \max_pix) \end{matrix} . . . (1)

注意，当输入图像具有8比特精度时，max_pix的值为255。

利用6抽头FIR滤波器如下面的表达式(2)这样来生成位置b和d处的像素值。

[数学表达式2]

F＝A_-2-5·A_-1+20·A₀+20·A₁-5·A₂+A₃

b，d＝Clip1((F+16)＞＞5) ...(2)

在水平方向和垂直方向上通过应用6抽头FIR滤波器如下面的表达式(3)这样来生成位置c处的像素值。

[数学表达式3]

F＝b_-2-5·b_-1+20·b₀+20·b₁-5·b₂+b₃

或者

F＝d_-2-5·d_-1+20·d₀+20·d₁-5·d₂+d₃

c＝Clip1((F+512)＞＞10) ...(3)

注意，Clip处理仅当在水平方向和垂直方向两者上执行了乘积求和处理之后在最后被执行一次。

如下面的表达式(4)这样通过线性插值来生成位置e1至e3。

[数学表达式4]

e₁＝(A+b+1)＞＞1

e₂＝(b+d+1)＞＞1

e₃＝(b+c+1)＞＞1 ...(4)

注意，在图1的运动预测/补偿单元75中，在上述NPL 1中描述的1/8像素精度的运动预测和补偿处理被执行，取代1/4像素精度的运动预测和补偿处理。

具体地，在运动预测/补偿单元75中，利用滤波器[-3，12，-39，158，158，-39，12，-3]/256来执行1/2像素精度的插值处理。此外，利用滤波器[-3，12，-37，229，71，-21，6，-1]/256来执行1/4像素精度的插值处理，并且通过线性插值来执行1/8像素精度的插值处理。

图4是描述根据H.264/AVC系统的多参考帧的预测和补偿处理的示图。在H.264/AVC系统中，确定了多参考帧(Multi-Reference Frame)的运动预测和补偿方法。

在图4的示例中，示出了从现在起将被编码的当前帧Fn以及已编码帧Fn-5至Fn-1。帧Fn-1是在时间轴上在当前帧Fn之前一帧的帧，帧Fn-2是在当前帧Fn之前两帧的帧，并且帧Fn-3是在当前帧Fn之前三帧的帧。类似地，帧Fn-4是在当前帧Fn之前四帧的帧，并且帧Fn-5是在当前帧Fn之前五帧的帧。一般地，帧在时间轴上越接近当前帧Fn，则将被添加的参考图片编号(ref_id)越小。具体地，帧Fn-1具有最小的参考图片编号，并且此后参考图片编号以Fn-2，...，Fn-5的顺序变小。

在当前帧Fn中，块A1和块A2被显示，假设块A1与在当前帧Fn之前两帧的帧Fn-2中的块A1′相关，则搜索运动向量V1。类似地，假设块A2与在当前帧Fn之前四帧的帧Fn-4中的块A2′相关，则搜索运动向量V2。

如上所述，在H.264/AVC系统中，在多个参考帧被存储在存储器中的情况下，可在一个帧(图片)中参考不同参考帧。具体地，例如，块A1参考帧Fn-2，并且块A2参考帧Fn-4，可以为一个图片中的每个块提供独立的参考帧信息(参考图片编号(ref_id))。

这里，块指示参考图2描述的16×16像素、16×8像素、8×16像素或8×8像素分区中的一种。8×8像素子块分区内的参考帧必须一致。

在H.264/AVC系统中，通过执行如上面参考图2至图4描述的运动预测和补偿处理，大量运动向量信息被生成，并且如果它们不加改变地被编码，则将导致编码效率恶化。响应于此，在H.264/AVC系统中，根据图5所示的方法，实现了运动向量编码信息的减少。

图5是描述根据H.264/AVC系统的运动向量信息生成方法的示图。

在图5中的示例中，示出了从现在起将被编码的当前块E(例如，16×16像素)，以及与该当前块E相邻的已被编码的块A至块D。

具体地，块D与当前块E的左上部相邻，块B与当前块E的上部相邻，块C与当前块E的右上部相邻，并且块A与当前块E的左边相邻。注意，块A至块D未被切分的原因在于每个块表示具有上面参考图2描述的16×16像素至4×4像素中的一种结构的块。

例如，将关于X(＝A，B，C，D，E)的运动向量信息表达为mv_X。首先，利用与块A、B和C有关的运动向量信息通过中值预测(medianprediction)如以下表达式(5)这样来生成关于当前块E的预测运动向量信息pmv_E。

pmv_E＝med(mv_A，mv_B，mv_C) ...(5)

有关块C的运动向量信息可能由于诸如在图像帧的边缘、尚未被编码之类的原因而不可被使用(不可用)。在此情况中，使用有关块D的运动向量信息来取代有关块C的运动向量信息。

利用pmv_E如以下表达式(6)那样来生成将被添加到压缩图像的头部部分的数据mvd_E，作为关于当前块E的运动向量信息。

mvd_E＝mv_E-pmv_E ...(6)

注意，在实际中，处理是针对运动向量信息的水平方向和垂直方向上的分量独立地执行的。

下面，为了将该数据mvd_E与通过运动预测获得的运动向量信息区分开，该数据mvd_E还将被适当地称为差分运动向量信息。

以这种方式，预测运动向量信息被生成，作为基于与相邻块的相关性生成的预测运动向量信息与运动向量信息之差的差分运动向量信息被添加到压缩图像的头部部分，从而可以减少运动向量信息。

顺便提及，关于B图片的运动向量信息的信息量是巨大的，但是在H.264/AVC系统中，准备了称为直接模式(direct mode)的模式。在直接模式中，运动向量信息不被存储在压缩图像中。

具体地，在解码侧，在当前块周围的运动向量信息或者参考图片中，从共位块(co-located block)的运动向量信息提取当前块的运动向量信息，共位块是具有与当前块相同坐标的块。因此，无需将运动向量信息发送给解码侧。

该直接模式包括空间直接模式(Spatial Direct Mode)和时间直接模式(Temporal Direct Mode)两种。空间直接模式是一种主要利用空间方向上(图片内的水平和垂直二维空间)的运动信息的相关性的模式，并且通常在图像包括运动速度不同的类似运动的情况中具有优点。另一方面，时间直接模式是一种主要利用时间方向上的运动信息的相关性的模式，并且通常在图像包括运动速度恒定的不同运动的情况中具有优点。

可以针对每个片段来切换要采用这些空间直接模式和时间直接模式中的哪种。

将再次参考图5描述根据H.264/AVC系统的空间直接模式。在图5的示例中，如上所述，示出了从现在起将被编码的当前块E(例如，16×16像素)，以及与该当前块E相邻的已被编码的块A至块D。关于X(＝A，B，C，D，E)的运动向量信息例如利用mv_x来表示。

利用与块A、B和C有关的运动向量信息通过如上述表达式(5)那样的中值预测来生成针对当前块E的预测运动向量信息pmv_E。对于空间直接模式中的当前块E的运动向量信息mv_E如下面的表达式(7)这样来表示。

mv_E＝pmv_E ...(7)

具体地，在空间直接模式中，通过中值预测生成的预测运动向量信息被当作当前块的运动向量信息。即是说，当前块的运动向量信息是通过经编码块的运动向量信息生成的。因此，根据空间直接模式的运动向量在解码侧上也可以被生成，因此，运动向量信息不必被发送给解码侧。

接下来，将参考图6描述根据H.264/AVC系统的时间直接模式。

在图6的示例中，时间轴表示时间的过去，从左边起依次示出了L0(List0)参考图片、从现在起将被编码的当前图片以及L1(List1)参考图片。注意，在H.264/AVC系统中，L0参考图片、当前图片和L1参考图片的该行不限于此顺序。

当前图片的当前块例如被包括在B片段中。因此，对于当前图片的当前块，关于L0参考图片和L1参考图片来计算基于时间直接模式的L0运动向量信息mv_L0和L1运动向量信息mv_L1。

此外，在L0参考图片中，基于L0参考图片和L1参考图片来计算共位块中的运动向量信息mv_col，该共位块是位于与从现在起将被编码的当前块相同空间地址(坐标)中的块。

现在，将在时间轴上当前图片与L0参考图片之间的距离取为TD_B，并且将在时间轴上L0参考图片与L1参考图片之间的距离取为TD_D。在此情况中，可以通过下面的表达式(8)来计算出当前图片中的L0运动向量信息mv_L0以及当前图片中的L1运动向量信息mv_L1。

[数学表达式5]

{mv}_{L 0} = \frac{{TD}_{B}}{{TD}_{D}} {mv}_{col}

{mv}_{L 1} = \frac{{TD}_{D} - {TD}_{B}}{{TD}_{D}} {mv}_{col} . . . (8)

注意，在H.264/AVC系统中，没有与针对压缩图像内的当前图片的在时间轴上的距离TD_B和TD_D相当的信息。因此，作为指示图片的输出顺序的信息的POC(图片顺序计数)被采用作为距离TD_B和TD_D的实际值。

此外，在H.264/AVC系统中，另外提供了一种跳跃模式(skipmode)，在其中，类似地不必发送运动向量信息。在与运动向量有关的经编码数据为0(在H.264/AVC系统的情况中，上述表达式(7)成立)的情况中，并且此外当所有DCT系数为0时，该当前块处于跳跃模式中。此外，在B图片的情况中，当直接模式是活动的，并且DCT系数也为0时，该当前块处于跳跃模式中。

[运动预测/补偿单元和运动向量精度确定单元的配置示例]

图7是图示出运动预测/补偿单元和运动向量精度确定单元的详细配置示例的框图。注意，将适当地参考图5中的上述当前块E和相邻块A至D来描述细节。

在图7的示例中，运动预测/补偿单元75包括整数像素精度运动预测/补偿单元81、小数像素精度运动预测/补偿单元82、运动向量信息累积缓冲器83、预测运动向量计算单元84、运动向量信息编码单元85和模式确定单元86。

运动向量精度确定单元76包括当前运动向量精度确定单元91、相邻运动向量精度确定单元92和精度标志生成单元93。

对于整数像素精度运动预测/补偿单元81，从画面排序缓冲器62读出的将经过帧间处理的原始图像被提供来，并且参考图像从帧存储器72经由开关73被提供来。整数像素精度运动预测/补偿单元81对于用作候选的所有帧间预测模式来执行当前块E的整数像素精度运动预测和补偿处理。此时，所获得的当前块E的整数像素精度运动向量信息与将经过帧间处理的图像以及参考图像一起被提供给小数像素精度运动预测/补偿单元82。

小数像素精度运动预测/补偿单元82基于整数像素精度运动向量信息，使用将经过帧间处理的图像以及参考图像来执行当前块E的小数像素精度运动预测和补偿处理。这里，如上所述，1/8像素精度的运动预测和补偿处理被执行。此时，所获得的运动向量信息mv_E被累积在运动向量信息累积缓冲器83中，并且还被提供给运动向量信息编码单元85和当前运动向量精度确定单元91。此外，通过小数像素精度的补偿处理获得的预测图像与原始图像和参考帧信息一起被提供给模式确定单元86。

运动向量信息累积缓冲器83累积由小数像素精度运动预测/补偿单元82获得的运动向量信息mv_X(X＝A，B，C，D，E)。

预测运动向量计算单元84从运动向量信息累积缓冲器83读出与当前块相邻的相邻块的运动向量信息mv_A，mv_B和mv_C。预测运动向量计算单元84使用所读取的运动向量信息通过上述表达式(5)中的中值预测来计算当前块E的预测运动向量信息pmv_E。此时，由精度标志生成单元93生成的精度标志(horizontal_mv_precision_change_flag，vertical_mv_precision_change_flag)被提供给预测运动向量计算单元84。

在该精度标志指示用于生成预测运动向量信息的相邻块的运动向量信息的精度与当前块E的运动向量信息的精度不同的情况中，预测运动向量计算单元84执行如下处理。具体地，在此情况中，预测运动向量计算单元84将相邻块的运动向量信息的精度转换(调节)为当前块E的运动向量信息的精度，并且计算当前块E的预测运动向量信息pmv_E。

由预测运动向量计算单元84生成的当前块E的预测运动向量信息pmv_E被提供给运动向量信息编码单元85。

对于运动向量信息编码单元85，当前块E的运动向量信息mv_E从小数像素精度运动预测/补偿单元82被提供来，并且当前块E的预测运动向量信息pmv_E从预测运动向量计算单元84被提供来。此外，精度标志从精度标志生成单元93被提供给运动向量信息编码单元85。

运动向量信息编码单元85使用当前块E的运动向量信息mv_E和当前块E的预测运动向量信息pmv_E，通过上述表达式(6)来获得将被添加到压缩图像的头部部分中的当前块E的差分运动向量信息mvd_E。运动向量信息编码单元85将所获得的当前块E的差分运动向量信息mvd_E与精度标志一起提供给模式确定单元86。

来自小数像素精度运动预测/补偿单元82的参考帧信息、预测图像和原始图像、来自运动向量信息编码单元85的差分运动向量信息mvd_E与精度标志等被提供给模式确定单元86。模式确定单元86适当地使用所提供来的信息对于作为候选的所有帧间预测模式来计算成本函数值。模式确定单元86将其成本函数值提供了最小值的预测模式确定为最优帧间预测模式，并且将在该最优帧间预测模式中生成的预测图像及其成本函数值提供给预测图像选择单元77。

在最优帧间预测模式中的预测图像被预测图像选择单元77选择的情况中，模式确定单元86将指示该最优帧间预测模式的信息、差分运动向量信息mvd_E、精度标志、参考帧信息等输出给无损编码单元66。

当前运动向量精度确定单元91辨别来自小数像素精度运动预测/补偿单元82的当前块的运动向量信息mv_E的精度。当前运动向量精度确定单元91然后针对当前块的运动向量信息来确定与水平分量和垂直分量有关的精度参数(curr_horizontal_mv_precision_param，curr_vertical_mv_precision_param)。所确定的当前块的运动向量信息的精度参数被提供给精度标志生成单元93。

例如，在当前块E的运动向量信息mv_E仅具有达到1/4像素精度的信息的情况中，当前块E的水平分量的精度参数和垂直分量的精度参数的值被设为0。在当前块E的运动向量信息mv_E具有达到1/8像素精度的信息的情况中，当前块E的水平分量的精度参数和垂直分量的精度参数的值被设为1。

相邻运动向量精度确定单元92读出运动向量信息累积缓冲器83中的相邻块的运动向量信息，并且辨别该相邻块的运动向量信息的精度。相邻运动向量精度确定单元92然后针对相邻块的运动向量信息来确定与水平分量和垂直分量有关的精度参数(pred_horizontal_mv_precision_param，pred_vertical_mv_precision_param)。所确定的相邻块的运动向量信息的精度参数被提供给精度标志生成单元93。

例如，在相邻块的运动向量信息仅具有达到1/4像素精度的信息的情况中，相邻块的水平分量的精度参数和垂直分量的精度参数的值被设为0。在相邻块的运动向量信息具有达到1/8像素精度的信息的情况中，相邻块的水平分量的精度参数和垂直分量的精度参数的值被设为1。

这里，相邻块是可以提供针对当前块E的运动向量信息mv_E的预测值(预测运动向量信息)pmv_E的块，并且其示例是图5中的块A、B、C和D中的一个块。具体地，相邻块通过下面的方法之一来定义。

第一方法是使用与当前块E的左边部分相邻的块A作为相邻块的方法。

第二方法是使用最近经过解码处理的块作为相邻块的方法。

第三方法是使用提供了通过上述表达式(5)的中值预测选出的预测值的块作为相邻块的方法。即是说，在此情况中，使用通过中值预测被确定为预测值的运动向量的精度。

注意，在上述第一方法和第二方法中，在提供了pred_horizontal_mv_precision_param和pred_vertical_mv_precision_param的块是经过了帧内编码的块的情况中，在将其运动向量信息的值取为0的情况下来执行处理。此外，在第三方法的情况中，基于由H.264/AVC系统确定的中值预测的处理被执行。

来自当前运动向量精度确定单元91的当前块E的运动向量信息的精度参数和来自相邻运动向量精度确定单元92的相邻块的运动向量信息的精度参数被提供给精度标志生成单元93。精度标志生成单元93将这两个精度参数相比较，并且生成指示当前块E的运动向量信息的精度与相邻块的运动向量信息的精度是一致还是不同的精度标志。

具体地，在当前块E的水平分量的精度参数与相邻块的水平分量的精度参数具有相同值的情况中，当前块E的水平分量的精度标志(horizontal_mv_precision_change_flag)的值被设为0。在当前块E的水平分量的精度参数与相邻块的水平分量的精度参数具有不同值的情况中，当前块E的水平分量的精度标志(horizontal_mv_precision_change_flag)的值被设为1。

此外，在当前块E的垂直分量的精度参数与相邻块的垂直分量的精度参数具有相同值的情况中，当前块E的垂直分量的精度标志(vertical_mv_precision_change_flag)的值被设为0。在当前块E的垂直分量的精度参数与相邻块的垂直分量的精度参数具有不同值的情况中，当前块E的垂直分量的精度标志(vertical_mv_precision_change_flag)的值被设为1。

换言之，指示当前块E的运动向量信息的精度与相邻块的运动向量信息的精度是一致还是不同的精度标志指示了当前块E的运动向量信息的精度是否是从相邻块的运动向量信息的精度改变来的。

所生成的当前块的水平分量和垂直分量的精度标志被提供给预测运动向量计算单元84和运动向量信息编码单元85。

[图像编码设备的编码处理的描述]

接下来，将参考图8的流程图描述图1中的图像编码设备51的编码处理。

在步骤S11，A/D转换单元61执行对输入图像的模数转换。在步骤S12，画面排序缓冲器62存储从A/D转换单元61提供来的图像，并且执行从显示图片的顺序到用于编码的顺序的排序。

在步骤S13，计算单元63计算在步骤S12中排序后的图像与预测图像之间的差分。预测图像在执行帧间预测的情况中从运动预测/补偿单元75并且在执行帧内预测的情况中从帧内预测单元74经由预测图像选择单元77被提供给计算单元63。

与原始图像数据相比差分数据的数据量较小。因此，与不加改变地对原始图像编码的情况相比数据量可被压缩。

在步骤S14，正交变换单元64对从计算单元63提供来的差分信息执行正交变换。具体地，诸如离散余弦变换、Karhunen-Loève变换等的正交变换被执行，并且变换系数被输出。在步骤S15，量化单元65对变换系数执行量化。在该量化时，如后面在步骤S25中描述的处理那样来对速率进行控制。

如此被量化的差分信息如下这样在本地被解码。具体地，在步骤S16，逆量化单元68利用与量化单元65的特性相对应的特性来对经量化单元65量化的变换系数执行逆量化。在步骤S17，逆正交变换单元69利用与正交变换单元64的特性相对应的特性，来对在逆量化单元68处经过了逆量化的变换系数执行逆正交变换。

在步骤S18，计算单元70将经由预测图像选择单元77输入的预测图像加到在本地被解码的差分信息中，并且生成本地解码图像(与到计算单元63的输入相对应的图像)。在步骤S19，解块滤波器71对从计算单元70输出的图像执行滤波。因此，块失真被去除。在步骤S20，帧存储器72存储经滤波的图像。注意，未经过解块滤波器71的滤波器处理的图像也从计算单元70被提供给帧存储器72以用于存储。

在步骤S21，帧内预测单元74和运动预测/补偿单元75各自执行图像预测处理。具体地，在步骤S21，帧内预测单元74在帧内预测模式中执行帧内预测处理。运动预测/补偿单元75在帧间预测模式中执行1/8像素精度的运动预测和补偿处理。

此时，运动向量精度确定单元76生成指示由运动预测/补偿单元75获得的当前块的运动向量信息的精度和与当前块相邻的相邻块的运动向量信息的精度是一致还是不同的精度标志。运动预测/补偿单元75基于该精度标志，使用相邻块的运动向量信息来计算当前块的预测运动向量信息，并且将所获得的运动向量信息与计算出的预测运动向量信息之差作为将被发送给解码侧的差分运动向量信息。

在最优帧间预测模式中的预测图像被选择的情况中，该精度标志和差分运动向量信息在步骤S22中与指示最优帧间预测模式的信息和参考帧信息一起被提供给无损编码单元66。

尽管将在后面参考图9描述步骤S21中的预测处理的细节，然而根据该处理，在作为候选的所有帧内预测模式中执行预测处理，并且计算出作为候选的所有帧内预测模式中的成本函数值。基于计算出的成本函数值选择最优帧内预测模式，并且通过该最优帧内预测模式中的帧内预测生成的预测图像及其成本函数值被提供给预测图像选择单元77。

此外，根据该处理，在作为候选的所有帧间预测模式中执行预测处理，并且计算出作为候选的所有帧间预测模式中的成本函数值。基于计算出的成本函数值从帧间预测模式中选择最优帧间预测模式，并且通过该最优帧间预测模式中的帧间预测生成的预测图像及其成本函数值被提供给预测图像选择单元77。

在步骤S22，预测图像选择单元77基于从帧内预测单元74和运动预测/补偿单元75输出的成本函数值，来将最优帧内预测模式和最优帧间预测模式中的一者确定为最优预测模式。预测图像选择单元77然后选择所确定的最优预测模式中的预测图像，并且提供给计算单元63和70。如上所述，该预测图像被用于步骤S13和S18中的计算。

注意，该预测图像的选择信息被提供给帧内预测单元74或运动预测/补偿单元75。当最优帧内预测模式中的预测图像被选择时，帧内预测单元74将指示该最优帧内预测模式的信息(即，帧内预测模式信息)提供给无损编码单元66。

当最优帧间预测模式中的预测图像被选择时，运动预测/补偿单元75将指示该最优帧间预测模式的信息以及(按照需要)将根据该最优帧间预测模式的信息输出给无损编码单元66。根据该最优帧间预测模式的信息的示例包括差分运动向量信息、精度标志和参考帧信息。

在步骤S23，无损编码单元66对从量化单元65输出的经量化变换系数进行编码。具体地，差分图像经过诸如可变长度编码、算术编码等的无损编码，并被压缩。此时，在上述步骤S22中输入无损编码单元66的、来自帧内预测单元74的帧内预测模式信息或来自运动预测/补偿单元75的根据最优帧间预测模式的信息等也被编码，并被添加到头部信息中。

在步骤S24，累积缓冲器67累积差分图像作为压缩图像。累积在累积缓冲器67中的压缩图像适当地被读出，并且经由发送路径被发送给解码侧。

在步骤S25，速率控制单元78基于累积在累积缓冲器67中的压缩图像，来控制量化单元65的量化操作的速率以使得不会发生上溢或下溢。

[预测处理的描述]

接下来，将参考图9的流程图描述图8的步骤S21中的预测处理。

当从画面排序缓冲器62提供来的将被处理的图像是将要经过帧内处理的块中的图像时，将被参考的解码图像从帧存储器72被读出，并经由开关73被提供给帧内预测单元74。在步骤S31，基于这些图像，帧内预测单元74利用作为候选的所有帧内预测模式来对将被处理的块中的像素执行帧内预测。注意，未经过解块滤波器71的解块滤波的像素也被用作将被参考的经解码像素。

将在后面参考图10描述步骤S31中的帧内预测处理的细节，然而根据该处理，帧内预测利用作为候选的所有帧内预测模式被执行，并且针对作为候选的所有帧内预测模式来计算成本函数值。然后基于计算出的成本函数值选择最优帧内预测模式，并且通过该最优帧内预测模式中的帧内预测生成的预测图像及其成本函数值被提供给预测图像选择单元77。

当从画面排序缓冲器62提供来的将被处理的图像是将经过帧间处理的图像时，将被参考的图像从帧存储器72被读出，并经由开关73被提供给运动预测/补偿单元75。在步骤S32，基于这些图像，运动预测/补偿单元75执行帧间运动预测处理。即是说，运动预测/补偿单元75参考从帧存储器72提供来的图像，来在作为候选的所有帧间预测模式中执行运动预测处理。

注意，此时，运动向量精度确定单元76生成指示由运动预测/补偿单元75获得的当前块的运动向量信息的精度和与当前块相邻的相邻块的运动向量信息的精度是一致还是不同的精度标志。运动预测/补偿单元75基于该精度标志，使用相邻块的运动向量信息来计算当前块的预测运动向量信息，并且将所获得的运动向量信息与所生成的预测运动向量信息之差作为将被发送给解码侧的差分运动向量信息。

在最优帧间预测模式中的预测图像在图8的步骤S22中被选择的情况中，该精度标志和差分运动向量信息与指示最优帧间预测模式的信息和参考帧信息一起被提供给无损编码单元66。

将在后面参考图11描述步骤S32中的帧间运动预测处理的细节，然而根据该处理，作为候选的所有帧间预测模式中的运动预测处理被执行，并且对于作为候选的所有帧间预测模式的成本函数值被计算出。

在步骤S33，运动预测/补偿单元75的模式确定单元86将在步骤S32中计算出的针对帧间预测模式的成本函数值相比较。模式确定单元86将提供最小值的预测模式确定为最优帧间预测模式，并且将在该最优帧间预测模式中生成的预测图像及其成本函数值提供给预测图像选择单元77。

[帧内预测处理的描述]

接下来，将参考图10的流程图描述图9的步骤S31中的帧内预测处理。注意，在图10的示例中，将以亮度信号的情况作为示例进行描述。

在步骤S41，帧内预测单元74对于4×4像素、8×8像素和16×16像素的帧内预测模式执行帧内预测。

就用于亮度信号的帧内预测模式而言，提供了以4×4像素和8×8像素的块为单位和以16×16像素的宏块为单位的九种预测模式，并且就用于色差信号的帧内预测模式而言，提供了以8×8像素的块为单位的四种预测模式。用于色差信号的帧内预测模式可以与用于亮度信号的帧内预测模式相独立地来设置。对于亮度信号的4×4像素和8×8像素的帧内预测模式，针对4×4像素和8×8像素的每个亮度信号块定义一种帧内预测模式。对于亮度信号的16×16像素的帧内预测模式以及色差信号的帧内预测模式，针对一个宏块来定义一种预测模式。

具体地，帧内预测单元74参考从帧存储器72读出并经由开关73提供来的解码图像来对将被处理的块中的像素执行帧内预测。该帧内预测处理在帧内预测模式中被执行，因此，帧内预测模式中的预测图像被生成。注意，未经过解块滤波器71的解块滤波的像素被用作将被参考的经解码像素。

在步骤S42，帧内预测单元74计算对于4×4像素、8×8像素和16×16像素的帧内预测模式的成本函数值。这里，成本函数值的计算是基于高复杂度模式或低复杂度模式的技术中的一种技术来执行的。这些模式在作为H.264/AVC系统中的参考软件的JM(联合模型)中被确定。

具体地，在高复杂度模式中，试验性地，假定针对作为候选的所有预测模式执行编码处理，来作为步骤S41的处理。对于预测模式来计算利用下面的表达式(9)表示的成本函数值，并且提供其最小值的预测模式被选作最优预测模式。

成本(模式)＝D+λ·R ...(9)

D表示原始图像与解码图像之差(失真)，R表示包括正交变换系数的所生成代码量，并且λ表示作为量化参数QP的函数被提供的拉格朗日乘子。

另一方面，在低复杂度模式中，作为步骤S41的处理，生成预测图像，并且假定针对作为候选的所有预测模式计算出运动向量信息、预测模式信息、标志信息等的头部比特。针对预测模式计算出由下面的表达式(10)表示的成本函数值，并且提供其最小值的预测模式被选作最优预测模式。

成本(模式)＝D+QPtoQuant(QP)·Header_Bit ...(10)

D表示原始图像与解码图像之差(失真)，Header_Bit表示针对预测模式的头部比特，并且QPtoQuant是作为量化参数QP的函数而被提供的函数。

在低复杂度模式中，仅仅针对所有预测模式生成预测图像，并且无需执行编码处理和解码处理，因此可以减小计算量。

在步骤S43，帧内预测单元74针对4×4像素、8×8像素和16×16像素的帧内预测模式确定最优模式。具体地，如上所述，在帧内4×4预测模式和帧内8×8预测模式的情况中，预测模式类型的数目为九种，并且在帧内16×16预测模式的情况中，预测模式类型数目为四种。因此，帧内预测单元74基于在步骤S42中计算出的成本函数值来从其中确定最优帧内4×4预测模式、最优帧内8×8预测模式和最优帧内16×16预测模式。

在步骤S44，帧内预测单元74基于在步骤S42中计算出的成本函数值，从针对4×4像素、8×8像素和16×16像素的帧内预测模式确定的最优模式中选择最优帧内预测模式。具体地，帧内预测单元74从针对4×4像素、8×8像素和16×16像素确定的最优模式中选择其成本函数值为最小值的模式，作为最优帧内预测模式。帧内预测单元74然后将在该最优帧内预测模式中生成的预测图像及其成本函数值提供给预测图像选择单元77。

[帧间运动预测处理的描述]

接下来，将参考图11的流程图描述图9的步骤S32中的帧间运动预测处理。

在步骤S51，运动预测/补偿单元75针对上面参考图2描述的由16×16像素至4×4像素组成的八种帧间预测模式中的每种来确定运动向量和参考图像。即是说，在每种帧间预测模式中确定针对将被处理的块的运动向量和参考图像。

在步骤S52，运动预测/补偿单元75对于由16×16像素至4×4像素组成的八种帧间预测模式中的每种，基于在步骤S51中确定的运动向量，来对参考图像执行运动预测和补偿处理。根据该运动预测和补偿处理，每个帧间预测模式中的预测图像被生成。

具体地，上述步骤S51和S52中的处理是由整数像素精度运动预测/补偿单元81利用对于每种帧间预测模式的当前块的整数像素精度来执行的，并且是由小数像素精度运动预测/补偿单元82以1/8像素精度来执行的。

首先，整数像素精度运动预测/补偿单元81针对作为候选的所有帧间预测模式执行当前块的整数像素精度的运动预测和补偿处理。此时，所获得的当前块的整数精度的运动向量信息与将经过帧间处理的图像和参考图像一起被提供给小数像素精度运动预测/补偿单元82。响应于此，小数像素精度运动预测/补偿单元82基于具有整数像素精度的运动向量信息，使用将经过帧间处理的图像和参考图像来执行当前块的小数像素精度的运动预测和补偿处理。

所获得的运动向量信息被累积在运动向量信息累积缓冲器83中，并且还被提供给运动向量信息编码单元85和当前运动向量精度确定单元91。此外，根据小数像素精度的补偿处理，所获得的预测图像与原始图像和参考帧信息一起被提供给模式确定单元86。

当当前块的运动向量信息从小数像素精度运动预测/补偿单元82被提供来时，在步骤S53，运动向量精度确定单元76执行运动向量精度确定处理。该运动向量精度确定处理将在后面参考图12进行描述。

根据步骤S53中的运动向量精度确定处理，指示当前块的运动向量信息的精度与相邻块的运动向量信息的精度是一致还是不同的精度标志被生成。所生成的精度标志被提供给预测运动向量计算单元84和运动向量信息编码单元85。

在步骤S54，预测运动向量计算单元84和运动向量信息编码单元85生成与针对由16×16像素至4×4像素组成的八种帧间预测模式中的每种确定的运动向量有关的差分运动向量信息mvd_E。此时，使用上面参考图5描述的运动向量生成方法。

具体地，预测运动向量计算单元84使用相邻块运动向量信息通过上述表达式(5)中的中值预测来计算当前块E的预测运动向量信息pmv_E。运动向量信息编码单元85如上述表达式(6)所示那样，利用来自小数像素精度运动预测/补偿单元82的运动向量信息mv_E与计算出的预测运动向量信息pmv_E之差来获得差分运动向量信息mvd_E。

注意，在执行预测运动向量信息的计算时，例如，图5所示的相邻块A、B、C和D中的运动向量信息的精度可被固定以1/4像素精度和1/8像素精度。例如，当前块E的运动向量信息mv_E关于水平和垂直分量的每个为1/8像素精度，但是在相邻块X＝A，B，C，D中的运动向量信息mv_E为1/4像素精度的情况中，像以下表达式(11)这样来执行中值预测。

mv_X＝mv_X*2 ...(11)

即是说，在此情况中，相邻块的运动向量信息被转换为1/8像素精度，并且中值预测被执行。

反之，当前块E的运动向量信息mv_E关于水平和垂直分量的每个为1/4像素精度，但是在相邻块X＝A，B，C，D中的运动向量信息mv_E为1/8像素精度的情况中，像以下表达式(12)这样来执行中值预测。

mv_X＝mv_X/2 ...(12)

即是说，在此情况中，相邻块的运动向量信息被转换为1/4像素精度，并且中值预测被执行。

所获得的差分运动向量信息与精度标志一起被提供给模式确定单元86。该差分运动向量信息还在下一步骤S54中计算成本函数值时使用。在对应的预测图像已被预测图像选择单元77选择的情况中，差分运动向量信息与精度标志、预测模式信息和参考帧信息一起被输出到无损编码单元66。

在步骤S54，模式确定单元86针对由16×16像素至4×4像素组成的八种帧间预测模式中的每种来计算在上述表达式(9)或表达式(10)中指示的成本函数值。

具体地，来自小数像素精度运动预测/补偿单元82的参考帧信息、预测图像和原始图像、来自运动向量信息编码单元85的差分运动向量信息mvdE与精度标志等被提供给模式确定单元86。模式确定单元86适当地使用所提供来的信息对于作为候选的所有帧间预测模式来计算成本函数值。这里计算出的成本函数值在图8中的上述步骤S34中确定最优帧间预测模式时使用。

[运动向量精度确定处理的描述]

接下来，将参考图12的流程图描述图11的步骤S53中的运动向量精度确定处理。

在步骤S71，当前运动向量精度确定单元91确定curr_horizontal_mv_precision_param和curr_vertical_mv_precision_param。具体地，当前块的运动向量信息从小数像素精度运动预测/补偿单元82被提供给当前运动向量精度确定单元91。当前运动向量精度确定单元91辨别当前块的运动向量信息的精度，并且在步骤S71中针对当前块的运动向量信息来确定水平分量的精度参数和垂直分量的精度参数。所确定的curr_horizontal_mv_precision_param和curr_vertical_mv_precision_param被提供给精度标志生成单元93。

在步骤S72，相邻运动向量精度确定单元92确定pred_horizontal_mv_precision_param和pred_vertical_mv_precision_param。具体地，相邻运动向量精度确定单元92从运动向量信息累积缓冲器83读出相邻块的运动向量信息。相邻运动向量精度确定单元92辨别相邻块的运动向量信息的精度，并且在步骤S72中针对相邻块的运动向量信息来确定水平分量的精度参数和垂直分量的精度参数。所确定的pred_horizontal_mv_precision_param和pred_vertical_mv_precision_param被提供给精度标志生成单元93。

在步骤S73，精度标志生成单元93判断curr_horizontal_mv_precision_param与pred_horizontal_mv_precision_param是否一致。

当在步骤S73中判定curr_horizontal_mv_precision_param与pred_horizontal_mv_precision_param一致时，处理前进到步骤S74。在步骤S74，精度标志生成单元93将当前块的水平分量的精度标志(horizontal_mv_precision_change_flag)的值设为0。换言之，值为0的当前块的水平分量的精度标志被生成。

当在步骤S73中判定curr_horizontal_mv_precision_param与pred_horizontal_mv_precision_param不同时，处理前进到步骤S75。在步骤S75，精度标志生成单元93将当前块的水平分量的精度标志(horizontal_mv_precision_change_flag)的值设为1。换言之，值为1的当前块的水平分量的精度标志被生成。

在步骤S76，精度标志生成单元93判断curr_vertical_mv_precision_param与pred_vertical_mv_precision_param是否一致。

当在步骤S76中判定curr_vertical_mv_precision_param与pred_vertical_mv_precision_param一致时，处理前进到步骤S77。在步骤S77，精度标志生成单元93将当前块的垂直分量的精度标志(vertical_mv_precision_change_flag)的值设为0。换言之，值为0的当前块的垂直分量的精度标志被生成。

当在步骤S76中判定curr_vertical_mv_precision_param与pred_vertical_mv_precision_param不同时，处理前进到步骤S78。在步骤S78，精度标志生成单元93将当前块的垂直分量的精度标志(vertical_mv_precision_change_flag)的值设为1。换言之，值为1的当前块的垂直分量的精度标志被生成。

所生成的当前块的水平分量和垂直分量的精度标志被提供给预测运动向量计算单元84和运动向量信息编码单元85。当最优帧间预测模式中的预测图像在图8的步骤S22中被选择时，精度标志与差分运动向量信息、指示最优帧间预测模式的信息和参考帧信息一起被提供给无损编码单元66，被编码并被发送给解码侧。

如上所述，已进行了这样的布置，其中，对于每个当前块，指示当前块的运动向量信息的精度与其相邻块的运动向量信息的精度是一致还是不同的精度标志被添加到压缩图像的头部中，并被发送给解码侧。

即是说，在本发明中，精度标志是关于压缩图像信息内的每个运动预测块来定义的。

因此，可以仅在必要时发送1/8像素精度的运动向量信息，而不用总是发送1/8像素精度的运动向量信息。换言之，当不必要时可以发送1/4像素精度的运动向量信息。作为其结果，不需要将更多代码量分派给所有运动向量信息，从而可以在不增加运动向量信息的情况下提高运动预测效率。

注意，当当前块是块B的情况中，对于List0和List1中的每个来执行一系列处理。

此外，如上面参考图5或图6所述的，当前块处于直接模式或跳跃模式中，在精度标志(horizontal_mv_precision_change_flag，vertical_mv_precision_change_flag)的值为0的假设下精度标志不被发送给解码侧。

经编码压缩图像经由预定传输路径被发送，并且由图像解码设备解码。

[图像解码设备的配置示例]

图13表示用作应用了本发明的图像处理设备的图像解码设备的实施例的配置。

图像解码设备101包括累积缓冲器111、无损解码单元112、逆量化单元113、逆正交变换单元114、计算单元115、解块滤波器116、画面排序缓冲器117、D/A转换单元118、帧存储器119、开关120、帧内预测单元121、运动预测/补偿单元122、运动向量精度确定单元123以及开关124。

累积缓冲器111累积发送来的压缩图像。无损解码单元112利用与无损编码单元66的编码系统相对应的系统，对从累积缓冲器111提供来的、经图1的无损编码单元66编码的信息进行解码。逆量化单元113利用与图1的量化单元65的量化系统相对应的系统来对经无损解码单元112解码的图像执行逆量化。逆正交变换单元114利用与图1的正交变换单元64的正交变换系统相对应的系统来对逆量化单元113的输出执行逆正交变换。

经过逆正交变换的输出通过由计算单元115与从开关124提供来的预测图像相加而被解码。解块滤波器116去除解码图像中的块失真，然后提供给帧存储器119用于累积，并且还输出给画面排序缓冲器117。

画面排序缓冲器117对图像执行排序。具体地，由图1的画面排序缓冲器62针对编码顺序进行了排序的帧顺序被重新排序为原始显示顺序。D/A转换单元118对从画面排序缓冲器117提供来的图像执行数模转换，并且输出给未示出的显示器用于显示。

开关120从帧存储器119读出将经过帧间处理的图像和将被参考的图像，输出给运动预测/补偿单元122，并且还从帧存储器119读出将用于帧内预测的图像，并提供给帧内预测单元121。

通过对头部信息解码而获得的指示帧内预测模式的信息从无损解码单元112被提供给帧内预测单元121。帧内预测单元121基于该信息生成预测图像，并将所生成的预测图像输出给开关124。

在对头部信息解码而获得的信息中，预测模式信息、差分运动向量信息、参考帧信息等从无损解码单元112被提供给运动预测/补偿单元122。当指示帧间预测模式的信息被提供时，运动预测/补偿单元122参考来自运动向量精度确定单元123的当前块的运动向量信息的精度参数，并且使用经解码差分运动向量信息来重构运动向量信息。

具体地，运动预测/补偿单元122参考来自运动向量精度确定单元123的当前块的运动向量信息的精度参数来从相邻块的运动向量信息中生成当前块的预测运动向量信息。运动预测/补偿单元122从来自无损解码单元112的差分运动向量信息、当前块的运动向量信息的精度参数以及当前块的预测运动向量信息来重构当前块的运动向量信息。

运动预测/补偿单元122然后基于参考帧信息所指示的帧存储器119中的参考图像以及所重构的运动向量信息来对图像进行补偿处理，以生成预测图像。所生成的预测图像被输出给开关124。

在通过解码头部信息获得的信息中，精度标志从无损解码单元112被提供给运动向量精度确定单元123。运动向量精度确定单元123从来自无损解码单元112的精度标志以及来自运动预测/补偿单元122的相邻块的运动向量信息的精度来确定当前块的运动向量信息的精度参数。所确定的当前块的运动向量信息的精度参数被提供给运动预测/补偿单元122。

开关124选择由运动预测/补偿单元122或帧内预测单元121生成的预测图像，并提供给计算单元115。

[运动预测/补偿单元和运动向量精度确定单元的配置示例]

图14是图示出运动预测/补偿单元和运动向量精度确定单元的详细配置示例的框图。注意，将适当地参考图5中的上述当前块E和相邻块A至D来描述细节。

在图14的示例中，运动预测/补偿单元122包括运动向量信息接收单元151、预测运动向量生成单元152、运动向量重构单元153、运动向量信息累积缓冲器154和图像预测单元155。

运动向量精度确定单元123包括精度标志接收单元161、相邻运动向量精度确定单元162和当前运动向量精度确定单元163。

运动向量信息接收单元151接收来自无损解码单元112(即，图像编码设备51)的当前块E的差分运动向量信息mvd_E，并且将所接收的差分运动向量信息mvd_E提供给运动向量重构单元153。

来自当前运动向量精度确定单元163的对于当前块E的运动向量的有关水平分量和垂直分量的精度参数(curr_horizontal_mv_precision_param，curr_vertical_mv_precision_param)被提供给预测运动向量生成单元152。预测运动向量生成单元152从运动向量信息累积缓冲器154读出相邻块的运动向量信息mv_A，mv_B和mv_C。

预测运动向量生成单元152参考当前块E的运动向量的精度参数并且使用相邻块的运动向量信息mv_A，mv_B和mv_C，通过上述表达式(5)中的中值预测来生成当前块E的预测运动向量信息pmv_E。所生成的预测运动向量信息pmv_E被提供给运动向量重构单元153。

来自运动向量信息接收单元151的差分运动向量信息mvd_E和来自预测运动向量生成单元152的预测运动向量信息pmv_E已被提供给运动向量重构单元153。此外，来自当前运动向量精度确定单元163的当前块E的运动向量的精度参数已被提供给运动向量重构单元153。

运动向量重构单元153参考当前块E的运动向量的精度参数来将差分运动向量信息mvd_E从处理中的值转换为实际值。运动向量重构单元153通过将来自预测运动向量生成单元152的预测运动向量信息pmv_E加到转换后的差分运动向量信息mvd_E中来重构当前块E的运动向量信息mv_E。重构出的当前块E的运动向量信息mv_E被累积在运动向量信息累积缓冲器154中，并且还被输出给图像预测单元155。

运动向量信息累积缓冲器154累积由运动向量重构单元153重构出的运动向量信息mv_X(X＝A，B，C，D，E)。

图像预测单元155经由开关120从帧存储器119读出来自无损解码单元112的参考帧信息所指示的参考图像。图像预测单元155基于由运动向量重构单元153重构出的当前块E的运动向量信息mv_E的来对参考图像执行补偿处理，以生成当前块E的预测图像。所生成的预测图像被输出给开关124。

精度标志接收单元161从无损解码单元112接收对于当前块E的运动向量信息的水平分量和垂直分量的精度标志(horizontal_mv_precision_change_flag，vertical_mv_precision_change_flag)。所接收的对于当前块E的运动向量信息的水平分量和垂直分量的精度标志被提供给当前运动向量精度确定单元163。

相邻运动向量精度确定单元162从运动向量信息累积缓冲器154读出相邻运动向量信息，并且辨别出相邻块的运动向量信息的精度。相邻运动向量精度确定单元162然后针对相邻块的运动向量信息确定有关水平分量和垂直分量的精度参数(pred_horizontal_mv_precision_param，pred_vertical_mv_precision_param)。所确定的相邻块的运动向量信息的精度参数被提供给当前运动向量精度确定单元163。

注意，相邻块是可以提供针对当前块E的运动向量信息mv_E的预测值(预测运动向量信息)pmv_E的块，并且通过上面参考图7描述的第一至第三方法来定义。

来自精度标志接收单元161的对于当前块E的运动向量信息的水平和垂直分量的精度标志以及来自相邻运动向量精度确定单元162的相邻块的运动向量信息的精度参数被提供给当前运动向量精度确定单元163。

当前运动向量精度确定单元163从对于当前块E的运动向量信息的水平和垂直分量的精度标志以及相邻块的运动向量信息的精度参数来辨别当前块E的运动向量信息的精度。当前运动向量精度确定单元163然后对于当前块E的运动向量信息确定有关水平分量和垂直分量的精度参数(curr_horizontal_mv_precision_param，curr_vertical_mv_precision_param)。所确定的当前块E的运动向量信息的精度参数被提供给预测运动向量生成单元152和运动向量重构单元153。

[图像解码设备的解码处理的描述]

接下来，将参考图15的流程图描述图像解码设备101执行的解码处理。

在步骤S131，累积缓冲器111累积发送来的图像。在步骤S132，无损解码单元112对从累积缓冲器111提供来的压缩图像进行解码。具体地，经图1的无损编码单元66编码的I图片、P图片和B图片被解码。

此时，差分运动向量信息、参考帧信息、预测模式信息(指示帧内预测模式或帧间预测模式的信息)以及精度标志也被解码。

具体地，当预测模式信息是帧内预测模式信息时，预测模式信息被提供给帧内预测单元121。当预测模式信息是帧间预测模式信息时，与该预测模式信息相对应的差分运动向量信息和参考帧信息被提供给运动预测/补偿单元122。此外，在此情况中，精度标志被提供给运动向量精度确定单元123。

在步骤S133，逆量化单元113利用与图1的量化单元65的特性相对应的特性来对经无损解码单元112解码的变换系数执行逆量化。在步骤S134，逆正交变换单元114利用与图1的正交变换单元64的特性相对应的特性来对在逆量化单元113处经过逆量化的变换系数执行逆正交变换。这意味着与图1的正交变换单元64的输入(计算单元63的输出)相对应的差分信息已被解码。

在步骤S135，计算单元115将在后面描述的步骤S141的处理中选择的并且经由开关124输入的预测图像与该差分信息相加。因此，原始图像被解码。在步骤S136，解块滤波器116对从计算单元115输出的图像执行滤波。因此，块失真被去除。在步骤S137，帧存储器119存储经过滤波的图像。

在步骤S138，帧内预测单元121或运动预测/补偿单元122响应于从无损解码单元112提供来的预测模式信息执行对应的图像预测处理。

具体地，当帧内预测模式信息从无损解码单元112被提供来时，帧内预测单元121在帧内预测模式中执行帧内预测处理。当帧间预测模式信息从无损解码单元112被提供来时，运动预测/补偿单元122在帧间预测模式中执行运动预测和补偿处理。此时，运动预测/补偿单元122参考来自运动向量精度确定单元123的当前块的运动向量信息的精度参数，并且使用来自无损解码单元112的差分运动向量信息来重构当前块的运动向量信息。

后面将参考图16描述步骤S138中的预测处理的细节，然而根据该处理，由帧内预测单元121生成的预测图像或者由运动预测/补偿单元122生成的预测图像被提供给开关124。

在步骤S139，开关124选择预测图像。具体地，由帧内预测单元121生成的预测图像或者由运动预测/补偿单元122生成的预测图像被提供来。因此，所提供的预测图像被选择并被提供给计算单元115，并且在如上所述的步骤S134中被与逆正交变换单元114的输出相加。

在步骤S140，画面排序缓冲器117执行排序。具体地，以原始显示顺序来对被图像编码设备51的画面排序缓冲器62排序以用于编码的帧的顺序进行排序。

在步骤S141，D/A转换单元118对来自画面排序缓冲器117的图像执行数模转换。该图像被输出给未示出的显示器，并且该图像被显示。

[图像解码设备的预测处理的描述]

接下来，将参考图16的流程图描述图15的步骤S138中的预测处理。

在步骤S171，帧内预测单元121判断当前块是否经过了帧内编码。当帧内预测模式信息从无损解码单元112被提供给帧内预测单元121时，帧内预测单元121在步骤S171中判定当前块经过了帧内编码，并且处理前进到步骤S172。

在步骤S172，帧内预测单元121获取帧内预测模式信息，并且在步骤S173中执行帧内预测。

具体地，当将被处理的图像是经过了帧内处理的图像时，所需图像从帧内存储器119被读出，并经由开关120被提供给帧内预测单元121。在步骤S173，帧内预测单元121根据在步骤S172中获得的帧内预测模式信息来执行帧内预测，以生成预测图像。所生成的预测图像被输出给开关124。

另一方面，当在步骤S171判定帧内编码未被执行时，则处理前进到步骤S174。

在步骤S174，运动预测/补偿单元122从无损解码单元112获取预测模式信息等。

当将被处理的图像是要经过帧间处理的图像时，则帧间预测模式信息、参考帧信息和差分运动向量信息从无损解码单元112被提供给运动预测/补偿单元122。在此情况中，在步骤S174，运动预测/补偿单元122获取帧间预测模式信息、参考帧信息和差分运动向量信息。

注意，此时，精度标志接收单元161接收并获取精度标志。所接收的对于当前块的运动向量信息的水平分量和垂直分量的精度标志被提供给当前运动向量精度确定单元163。此外，相邻运动向量精度确定单元162基于来自运动向量信息累积缓冲器154的相邻运动向量信息来确定相邻块的运动向量信息的精度参数，并提供给当前运动向量精度确定单元163。

在步骤S175，当前运动向量精度确定单元163从对于当前块的运动向量信息的水平分量和垂直分量的精度标志以及相邻块的运动向量信息的精度参数来确定当前块的运动向量信息的精度。所确定的当前块的运动向量信息的精度参数被提供给预测运动向量生成单元152和运动向量重构单元153。

当当前块的运动向量信息的精度参数从当前运动向量精度确定单元163被提供来时，在步骤S176，预测运动向量生成单元152执行上面参考图5描述的中值预测。

具体地，预测运动向量生成单元152从运动向量信息累积缓冲器154读出相邻块的运动向量信息mv_A，mv_B和mv_C，并且通过上述表达式(5)中的中值预测来生成当前块的预测运动向量信息pmv_E。此时，用于当前块的运动向量的精度参数被参考。具体地，在精度参数所指示的当前块的运动向量信息的精度与用于生成预测运动向量信息的相邻块的运动向量信息的精度不同的情况中，相邻块的运动向量信息的精度被转换为当前块的运动向量信息的精度。

由预测运动向量生成单元152生成的当前块的预测运动向量信息pmv_E被提供给运动向量重构单元153。

在步骤S177，运动向量重构单元153使用来自运动向量信息接收单元151的差分运动向量信息mvd_E来重构当前块的运动向量信息。即是说，来自运动向量信息接收单元151的差分运动向量信息mvd_E和来自预测运动向量生成单元152的预测运动向量信息pmv_E被提供给运动向量重构单元153。此外，来自当前运动向量精度确定单元163的用于当前块的运动向量的精度参数已被提供给运动向量重构单元153。

运动向量重构单元153参考用于当前块的运动向量的精度参数来将差分运动向量信息mvd_E的值从处理中的值转换为实际值。运动向量重构单元153将来自预测运动向量生成单元152的预测运动向量信息pmv_E加到其值已被转换的差分运动向量信息mvd_E中。因此，当前块的运动向量信息mv_E已被重构出。重构出的运动向量信息mv_E被累积在运动向量信息累积缓冲器154中，并且还被输出给图像预测单元155。

在步骤S178，图像预测单元155生成当前块的预测图像。具体地，图像预测单元155经由开关120从帧存储器119读出来自无损解码单元112的参考帧信息所指示的参考图像。图像预测单元155基于由运动向量重构单元153重构出的运动向量信息mv_E的来对参考图像执行补偿处理，以生成当前块的预测图像。所生成的预测图像被输出给开关124。

如上所述，已作出了这样的布置，其中，对于每个当前块，指示当前块的运动向量信息的精度与其相邻块的运动向量信息的精度是一致还是不同的精度标志被添加到压缩图像的头部中，并且该压缩图像被发送给解码侧。因此，可以仅在必要时发送1/8像素精度的运动向量信息，而不用总是发送1/8像素精度的运动向量信息。作为其结果，可以在不增加运动向量信息的情况下提高运动预测效率。

换言之，可以在不导致压缩信息增加的情况下来执行1/8像素精度的运动预测和补偿，因此，可以提高预测精度。

注意，到此为止已描述了精度达到1/4像素精度或1/8像素精度的示例，但是精度不限于此示例。

具体地，本发明可以应用于用于执行具有例如整数像素精度与1/2像素精度之间以及1/2像素精度与1/4像素精度之间的小数像素精度的运动预测和补偿的每种情况。此外，本发明还可应用于以诸如整数像素精度、1/2像素精度和1/4像素精度之类的三个以上的阶段来执行处理的情况。

此外，到此为止描述了宏块大小是16×16像素的情况，然而本发明还可以应用于在“Video Coding Using Extended Block Sizes”，VCEG-AD09，ITU-Telecommunications Standardization Sector STUDY GROUP Question 16-Contribution 123，Jan 2009(2009年1月)中描述的扩展宏块大小。

图17是图示出扩展宏块大小的示例的示图。在以上提议中，宏块大小被扩展为32×32像素。

图17的最上面一排从左边起依次示出了由32×32像素构成的宏块，该宏块被划分为32×32像素、32×16像素、16×32像素和16×16像素的块(分区)。图17的中间一排从左边起依次示出了由16×16像素构成的宏块，该宏块被划分为16×16像素、16×8像素、8×16像素和8×8像素的块(分区)。图17的最下面一排从左边起依次示出了由8×8像素构成的宏块，该宏块被划分为8×8像素、8×4像素、4×8像素和4×4像素的块(分区)。

换言之，32×32像素的宏块可以通过图17的最上面一排所示的32×32像素、32×16像素、16×32像素和16×16像素的块来处理。

此外，最上面一排的右侧所示的16×16像素的块可以以与H.264/AVC系统相同的方式通过中间一排所示的16×16像素、16×8像素、8×16像素和8×8像素的块被处理。

此外，中间一排的右侧所示的8×8像素的块可以以与H.264/AVC系统相同的方式通过最下面一排所示的8×8像素、8×4像素、4×8像素和4×4像素的块被处理。

在扩展宏块大小中，通过采用这样的层级结构，对于16×16像素块和更小块，在维持与H.264/AVC系统的兼容性的同时更大的块被定义为其超集(superset)。

本发明还可应用于如上所述的所提出的扩展宏块大小。

到此为止利用H.264/AVC系统作为编码系统进行了描述，然而也可以使用其它编码系统/解码系统。

注意，本发明可应用于在经由诸如卫星广播、有线电视、因特网和蜂窝电话等之类的网络介质接收如MPEG、H.26x等那样通过诸如离散余弦变换等的正交变换和运动补偿被压缩的图像信息(比特流)时的图像编码设备和图像解码设备。此外，本发明可应用于用于诸如光盘、磁盘和闪存之类的存储介质上的处理的图像编码设备和图像解码设备。此外，本发明可应用于包括在这些图像编码设备和图像解码设备等中的运动预测补偿设备。

上述处理序列可通过硬件来执行，或者可通过软件来执行。当处理序列通过软件来执行时，构成其软件的程序被安装在计算机中。这里，计算机的示例包括构建于专用硬件内的计算机，以及能够通过安装到其中的各种程序来执行各种功能的通用个人计算机。

图18是图示出利用程序执行上述处理序列的计算机的硬件配置示例的框图。

在该计算机中，CPU(中央处理单元)301、ROM(只读存储器)302和RAM(随机存取存储器)303通过总线304互连。

此外，输入/输出接口305被连接到总线304。输入单元306、输出单元307、存储单元308、通信单元309和驱动器310被连接到输入/输出接口305。

输入单元306由键盘、鼠标、麦克风等构成。输出单元307由显示器、扬声器等构成。存储单元308由硬盘、非易失性存储器等构成。通信单元309由网络接口等构成。驱动器310驱动诸如磁盘、光盘、磁光盘或半导体存储器等之类的可移除介质311。

在如此配置的计算机中，例如，CPU 301将存储在存储单元308中的程序经由输入/输出接口305和总线304载入RAM 303中并执行程序，并且因此，上述处理序列被执行。

计算机(CPU 301)执行的程序可以通过被记录在用作封装介质的可移除介质311中而被提供。此外，程序可以经由诸如局域网、因特网、数字广播等之类的有线或无效通信介质来提供。

在该计算机中，可以通过将可移除介质311装载到驱动器310中来经由输入/输出接口305将程序安装到存储单元308中。此外，程序可由通信单元309经由有线或无线通信介质被接收，并被安装到存储单元308。另外，程序可以预先被安装到ROM 302或存储单元308中。

注意，计算机执行的程序可以是根据本说明书中描述的顺序以时间顺序来执行处理的程序，或者可以是并行地或者在诸如执行调用之类的所需定时处执行处理的程序。

本发明的实施例不限于上述实施例，并且可以在不脱离本发明的本质的情况下做出各种修改。

例如，上述图像编码设备51和图像解码设备101可被应用于可选电子设备。下面将描述其示例。

图19是图示出使用应用了本发明的图像解码设备的电视接收机的主要配置示例的框图。

图19所示的电视接收机1300包括地面调谐器1313、视频解码器1315、视频信号处理电路1318、图形生成电路1319、面板驱动电路1320和显示面板1321。

地面调谐器1313经由天线接收地面模拟广播的广播波信号，解调，获取视频信号，并将它们提供给视频解码器1315。视频解码器1315对从地面调谐器1313提供来的视频信号进行解码处理，并且将所获得的数字分量信号提供给视频信号处理电路1318。

视频信号处理电路1318对从视频解码器1315提供来的视频数据进行诸如去噪等之类的预定处理，并将所获得的视频数据提供给图形生成电路1319。

图形生成电路1319生成将被显示在显示面板1321上的节目的视频数据，或者通过基于经由网络等提供的应用的处理生成图像数据，并将所生成的视频数据或图像数据提供给面板驱动电路1320。此外，图形生成电路1319还适当地执行如下处理，例如，将通过生成用于显示由用户用来选择项目等的画面的视频数据(图形)，并将其叠加在节目的视频数据上而获得的视频数据提供给面板驱动电路1320。

面板驱动电路1320基于从图形生成电路1319提供来的数据来驱动显示面板1321，以在显示面板1321上显示上述各种画面或节目的视频。

显示面板1321由LCD(液晶显示器)等构成，并且根据面板驱动电路1320的控制来显示节目等的视频。

此外，该电视接收机1300还包括音频A/D(模数)转换电路1314、音频信号处理电路1322、回声消除/音频合成电路1323、音频放大电路1324和扬声器1325。

地面调谐器1313解调所接收的广播波信号，从而不仅获取视频信号而且获取音频信号。地面调谐器1313将所获得的音频信号提供给音频A/D转换电路1314。

音频A/D转换电路1314对从地面调谐器1313提供来的音频信号进行A/D转换处理，并将所获得的数字音频信号提供给音频信号处理电路1322。

音频信号处理电路1322对从音频A/D转换电路1314提供来的音频数据进行诸如噪声去除等之类的预定处理，并且将所获得的音频数据提供给回声消除/音频合成电路1323。

回声消除/音频合成电路1323将从音频信号处理电路1322提供来的音频数据提供给音频放大电路1324。

音频放大电路1324对从回声消除/音频合成电路1323提供来的音频数据进行D/A转换处理，进行放大处理以调节到预定音量，然后从扬声器1325输出音频。

此外，电视接收机1300还包括数字调谐器1316和MPEG解码器1317。

数字调谐器1316经由天线接收数字广播(地面数字广播、BS(广播卫星)/CS(通信卫星)数字广播)的广播波信号，解调以获得MPEG-TS(运动图像专家组-传输流)，并将其提供给MPEG解码器1317。

MPEG解码器1317对从数字调谐器1316提供来的MPEG-TS所经受的加扰进行解扰，并提取包括作为回放对象(观看对象)的节目数据的流。MPEG解码器1317对组成所提取流的音频分组进行解码，将所获得的音频数据提供给音频信号处理电路1322，并且还对组成该流的视频分组进行解码并将所获得的视频数据提供给视频信号处理电路1318。此外，MPEG解码器1317将从MPEG-TS提取的EPG(电子节目指南)数据经由未示出的路径提供给CPU 1332。

该电视接收机1300使用上述图像解码设备101作为MPEG解码器1317，来以这种方式对视频分组解码。因此，MPEG解码器1317可以以与图像解码设备101的情况相同的方式抑制压缩信息的增加，并且还提高预测精度。

从MPEG解码器1317提供来的视频数据在视频信号处理电路1318处按照与从视频解码器1315提供来的视频数据的情况相同的方式经过预定处理。经过预定处理的视频数据然后在图形生成电路1319处适当地与所生成视频数据等相叠加，经由面板驱动电路1320被提供给显示面板1321，并且该图像被显示在其上。

从MPEG解码器1317提供来的音频数据在音频信号处理电路1322处按照与从音频A/D转换电路1314提供来的音频数据相同的方式经过预定处理。经过预定处理的音频数据然后经由回声消除/音频合成电路1323被提供给音频放大电路1324，并经过D/A转换处理和放大处理。结果，调节为预定音量的音频从扬声器1325被输出。

此外，电视接收机1300还包括麦克风1326和A/D转换电路1327。

A/D转换电路1327接收由麦克风1326收集的用户的音频信号，以提供给电视接收机1300用于音频转换。A/D转换电路1327对所接收的音频信号进行A/D转换处理，并将所获得的数字音频数据提供给回声消除/音频合成电路1323。

当电视接收机1300的用户(用户A)的音频数据从A/D转换电路1327被提供来时，回声消除/音频合成电路1323以用户A的音频数据作为对象来执行回声消除。回声消除之后，回声消除/音频合成电路1323将通过与其它音频数据等相合成获得的音频数据经由音频放大电路1324从扬声器1325输出。

此外，电视接收机1300还包括音频编解码器1328、内部总线1329、SDRAM(同步动态随机存取存储器)1330、闪存1331、CPU 1332、USB(通用串行总线)I/F 1333和网络I/F 1334。

A/D转换电路1327接收由麦克风1326收集的用户的音频信号，以提供给电视接收机1300用于音频转换。A/D转换电路1327对所接收的音频信号进行A/D转换处理，并将所获得的数字音频数据提供给音频编解码器1328。

音频编解码器1328将从A/D转换电路1327提供来的音频数据转换为用于通过网络发送的预定格式的数据，并经由内部总线1329提供给网络I/F 1334。

网络I/F 1334经由安装在网络端子1335上的电缆被连接到网络。网络I/F 1334将从音频编解码器1328提供来的音频数据发送给例如连接到该网络的另一设备。此外，网络I/F 1334经由网络端子1335接收从经由网络相连的另一设备发送来的音频数据，并经由内部总线1329将其提供给音频编解码器1328。

音频编解码器1328将从网络I/F 1334提供来的音频数据转换为预定格式的数据，并将其提供给回声消除/音频合成电路1323。

回声消除/音频合成电路1323对从音频编解码器1328提供来的音频数据执行回声消除，并将通过与其它音频数据等相合成而获得的音频数据经由音频放大电路1324从扬声器1325输出。

SDRAM 1330存储CPU 1332执行处理所需的各种数据。

闪存1331存储CPU 1332执行的程序。存储在闪存1331中的程序由CPU 1332在预定定时处(例如，电视接收机1300启动时等)读出。闪存1331还存储通过数字广播获得的EPG数据、经由网络从预定服务器获得的数据等。

例如，闪存1331在CPU 1332的控制下存储经由网络从预定服务器获得的包括内容数据的MPEG-TS。闪存1331例如在CPU 1332的控制下经由内部总线1329将MPEG-TS提供给MPEG解码器1317。

MPEG解码器1317按照与从数字调谐器1316提供来的MPEG-TS相同的方式处理该MPEG-TS。以这种方式，电视接收机1300经由网络接收由视频和音频等组成的内容数据并利用MPEG解码器1317进行解码，从而可以显示该视频并且可以输出该音频。

此外，电视接收机1300还包括光接收单元1337，用于接收从遥控器1351发送来的红外信号。

光接收单元1337接收来自遥控器1351的红外线，并且将通过解调获得的表示用户操作的内容的控制码输出给CPU 1332。

CPU 1332根据从光接收单元1337提供来的控制码等，执行存储在闪存1331中的程序以控制电视接收机1300的整体操作。CPU 1332和电视接收机1300的各个部分经由未示出的路径相连。

USB I/F 1333针对经由安装在USB端子1336上的USB电缆相连的电视接收机1300的外部设备执行数据的发送/接收。网络I/F 1334经由安装在网络端子1335上的电缆连接到网络，还针对连接到该网络的各种设备执行音频数据以外的数据的发送/接收。

电视接收机1300使用图像解码设备101作为MPEG解码器1317，从而可以提高编码效率。作为其结果，电视接收机1300可以从经由天线接收的广播波信号或者经由网络获得的内容数据中获得具有更高精度的解码图像，并显示它。

图20是图示出使用应用了本发明的图像编码设备和图像解码设备的蜂窝电话的主要配置示例的框图。

图20所示的蜂窝电话1400包括被配置来集中控制各个单元的主控制单元1450、电源电路单元1451、操作输入控制单元1452、图像编码器1453、相机I/F单元1454、LCD控制单元1455、图像解码器1456、复用/分离单元1457、记录/回放单元1462、调制/解调电路单元1458和音频编解码器1459。这些经由总线1460相互连接。

此外，蜂窝电话1400包括操作键1419、CCD(电荷耦合器件)相机1416、液晶显示器1418、存储单元1423、发送/接收电路单元1463、天线1414、麦克风(MIC)1421和扬声器1417。

当通话结束并且通过用户操作接通电源键时，电源电路单元1451通过从电池组向每个单元提供电力来将蜂窝电话1400激活为可操作状态。

蜂窝电话1400在由CPU、ROM和RAM构成的主控制单元1450的控制下，在诸如语音通话模式、数据通信模式等各种模式中执行各种操作，例如，发送/接收音频信号、发送/接收电子邮件和图像数据、图像拍摄、数据记录等。

例如，在语音通话模式中，蜂窝电话1400通过音频编解码器1459将在麦克风(MIC)1421处收集的音频信号转换为数字音频数据，在调制/解调电路1458处对其执行扩频处理，并且在发送/接收电路单元1463处执行数模转换处理和频率转换处理。蜂窝电话1400将通过该转换处理获得的发送信号经由天线1414发送给未示出的基站。发送给基站的发送信号(音频信号)经由公共电话线网络被提供给对方的蜂窝电话。

此外，例如，在语音通话模式中，蜂窝电话1400在发送/接收电路单元1463处放大在天线1414处接收到的接收信号，还执行频率转换处理和模数转换处理，并在调制/解调电路1458处执行逆扩频处理，并由音频编解码器1459转换为模拟音频信号。蜂窝电话1400将通过该转换获得的模拟音频信号从扬声器1417输出。

此外，例如当在数据通信模式中发送电子邮件时，蜂窝电话1400在操作输入控制单元1452处接受通过操作操作键1419输入的电子邮件的文本数据。蜂窝电话1400在主控制单元1450处处理该文本数据，并且经由LCD控制单元1455在液晶显示器1418上显示为图像。

此外，在主控制单元1450处，蜂窝电话1400基于操作输入控制单元1452所接受的文本数据以及用户指令等来生成电子邮件数据。蜂窝电话1400在调制/解调电路1458处对电子邮件数据执行扩频处理，并且在发送/接收电路单元1463处执行数模转换处理和频率转换处理。蜂窝电话1400将通过该转换处理获得的发送信号经由天线1414发送给未示出的基站。发送给基站的发送信号(电子邮件)经由网络被提供给预定目的地，如邮件服务器等。

此外，例如，当在数据通信模式中接收电子邮件时，蜂窝电话1400利用发送/接收电路单元1463经由天线1414接收从基站发送来的信号，放大，并且还执行频率转换处理和模数转换处理。蜂窝电话1400在调制/解调电路1458处对该接收信号执行逆扩频处理以恢复原始电子邮件数据。蜂窝电话1400经由LCD控制单元1455将所恢复的电子邮件数据显示在液晶显示器1418上。

注意，蜂窝电话1400还经由记录/回放单元1462将所接收的电子邮件数据记录(存储)在存储单元1423中。

该存储单元1423是可选的可重写存储介质。存储单元1423例如可以是诸如RAM或内置闪存等之类的半导体存储器，可以是硬盘，或者可以是诸如磁盘、磁光盘、光盘、USB存储器或存储卡等之类的可移除介质。当然，存储单元1423可以是除此之外的其它事物。

此外，例如当在数据通信模式中发送图像数据时，蜂窝电话1400通过在CCD相机1416处进行成像来生成图像数据。CCD相机1416包括用作诸如透镜和光圈之类的光学设备并且用作对物体成像的光电转换设备的CCD，将所接收光的强度转换为电信号，并生成物体的图像的图像数据。该图像数据经由相机I/F单元1454在图像编码器1453处利用诸如MPEG2或MPEG4等之类的预定编码系统经过压缩编码，因此该图像数据被转换为经编码图像数据。

蜂窝电话1400使用上述图像编码设备51作为用于执行这些处理的图像编码器1453。因此，以与图像编码设备51的情况相同的方式，图像编码器1453可以抑制压缩信息的增加，并且还可以提高预测精度。

注意，与此同时，蜂窝电话1400在音频编解码器1459处对在利用CCD相机1416成像期间通过麦克风(MIC)1421收集的音频进行模数转换，并且还对其编码。

在复用/分离单元1457处，蜂窝电话1400利用预定方法来复用从图像编码器1453提供来的经编码图像数据和从音频编解码器1459提供来的数字音频数据。蜂窝电话1400在调制/解调电路1458处对作为其结果获得的经复用数据进行扩频处理，并且在发送/接收电路单元1463处执行数模转换处理和频率转换处理。蜂窝电话1400将通过该转换处理获得的发送信号经由天线1414发送给未示出的基站。发送给基站的发送信号(图像数据)经由网络等被提供给通信对方。

注意，当不发送图像数据时，取代图像编码器1453，蜂窝电话1400还可以经由LCD控制单元1455将在CCD相机1416处生成的图像数据显示在液晶显示器1418上。

此外，例如，当在数据通信模式中接收链接到简单网站等的运动图像文件的数据时，蜂窝电话1400经由天线1414利用发送/接收电路单元1463接收从基站发送来的信号，放大，并且还执行频率转换处理和模数转换处理。蜂窝电话1400在调制/解调电路1458处对所接收信号执行逆扩频处理以恢复原始复用数据。蜂窝电话1400在复用/分离单元1457处将该复用数据分离为经编码图像数据和音频数据。

在图像解码器1456处，蜂窝电话1400利用与诸如MPEG2或MPEG4等预定编码系统相对应的解码系统来对编码图像数据进行解码，从而生成回放运动图像数据，并且经由LCD控制单元1455将其显示在液晶显示器1418上。因此，例如，包括在链接到简单网站的运动图像文件中的运动图像数据被显示在液晶显示器1418上。

蜂窝电话1400使用上述图像解码设备101作为用于执行这样的处理的图像解码器1456。因此，以与图像解码设备101的情况相同的方式，图像解码器1456可以抑制压缩信息的增加，并且还可以提高预测精度。

此时，同时地，蜂窝电话1400在音频编解码器1459处将数字音频数据转换为模拟音频信号，并将其从扬声器1417输出。因此，例如包括在链接到简单网站的运动图像文件中的音频数据可被播放。

注意，以与电子邮件的情况相同的方式，蜂窝电话1400也可以经由记录/回放单元1462将链接到简单网站等的所接收数据记录(存储)在存储单元1423中。

此外，蜂窝电话1400可以在主控制单元1450处分析通过CCD相机1416进行摄取而获得的二维码，从而可以获得记录在二维码中的信息。

此外，蜂窝电话1400可以在红外通信单元1481处利用红外线与外部设备通信。

蜂窝电话1400利用图像编码设备51作为图像编码器1453，例如，从而可以提高通过对在CCD相机1416处生成的图像数据进行编码而生成的编码数据的编码效率。结果，蜂窝电话1400可以向其他设备提供具有优良编码效率的编码数据(图像数据)。

此外，蜂窝电话1400利用图像解码设备101作为图像解码器1456，从而可以生成高精度的预测图像。结果，蜂窝电话1400例如可以从链接到简单网站的运动图像文件获得并显示具有更高精度的解码图像并显示该图像。

注意，虽然到此为止描述了蜂窝电话1400使用CCD相机1416的示例，然而蜂窝电话1400还可以使用利用CMOS(互补金属氧化物半导体)的图像传感器(CMOS图像传感器)来取代CCD相机1416。在此情况中，同样，蜂窝电话1400可以按照利用CCD相机1416时相同的方式来对物体成像并生成物体的图像的图像数据。

此外，虽然上面对蜂窝电话1400进行了描述，然而图像编码设备51和图像解码设备101还可以以与蜂窝电话1400的情况相同的方式被应用于任何种类的设备，只要该设备具有与蜂窝电话1400相同的成像功能和通信功能即可，例如，PDA(个人数字助理)、智能电话、UMPC(超便携个人计算机)、上网本、膝上型个人计算机等。

图21是图示出使用应用了本发明的图像编码设备和图像解码设备的硬盘记录器的主要配置示例的框图。

图21所示的硬盘记录器(HDD记录器)1500是这样的设备，其将由调谐器接收的、从卫星或地面天线等发送来的广播波信号(电视信号)中包括的广播节目中的音频数据和视频数据存储在内置硬盘中，并且在根据用户指示的定时处将所存储数据提供给用户。

硬盘记录器1500例如可以从广播波信号中提取音频数据和视频数据，对它们进行适当的解码，并存储在内置硬盘中。此外，硬盘记录器1500例如还可以经由网络从其它设备获取音频数据和视频数据，对它们进行适当的解码，并存储在内置硬盘中。

此外，例如，硬盘记录器1500对记录在内置硬盘中的音频数据和视频数据进行解码并提供给监视器1560，并将其图像显示在监视器1560的屏幕上。此外，硬盘记录器1500可以从监视器1560的扬声器输出其声音。

硬盘记录器1500例如还可以对从经由调谐器获得的广播波信号提取的音频数据和视频数据或者经由网络从其它设备获得的音频数据和视频数据进行解码，提供给监视器1560，并将其图像显示在监视器1560的屏幕上。此外，硬盘记录器1500可以从监视器1560的扬声器输出其声音。

显然，也可以执行其它操作。

如图21所示，硬盘记录器1500包括接收单元1521、解调单元1522、解复用器1523、音频解码器1524、视频解码器1525和记录器控制单元1526。硬盘记录器1500还包括EPG数据存储器1527、程序存储器1528、工作存储器1529、显示转换器1530、OSD(屏上显示)控制单元1531、显示控制单元1532、记录/回放单元1533、D/A转换器1534和通信单元1535。

此外，显示转换器1530包括视频解码器1541。记录/回放单元1533包括编码器1551和解码器1552。

接收单元1521从遥控器(未示出)接收红外信号，转换为电信号，并输出给记录器控制单元1526。记录器控制单元1526例如由微处理器等构成，并且根据存储在程序存储器1528中的程序来执行各种处理。记录器控制单元1526此时按照需要使用工作存储器1529。

连接到网络的通信单元1535经由网络与其它设备执行通信处理。例如，通信单元1535由记录器控制单元1526控制来与调谐器(未示出)通信并且主要向调谐器输出信道选择控制信号。

解调单元1522解调从调谐器提供来的信号，并输出给解复用器1523。解复用器1523将从解调单元1522提供来的数据分离为音频数据、视频数据和EPG数据，并且分别输出给音频解码器1524、视频解码器1525和记录器控制单元1526。

音频解码器1524例如利用MPEG系统来对输入音频数据进行解码，并且输出给记录/回放单元1533。视频解码器1525例如利用MPEG系统对输入视频数据进行解码，并输出给显示转换器1530。记录器控制单元1526将输入EPG数据提供给EPG数据存储器1527以进行存储。

显示转换器1530例如利用视频编码器1541将从视频解码器1525或记录器控制单元1526提供来的视频数据编码为遵循NTSC(国际电视标准委员会)系统的视频数据，并输出给记录/回放单元1533。此外，显示转换器1530将从视频解码器1525或记录器控制单元1526提供来的视频数据的画面大小转换为与监视器1560的大小相对应的大小。显示转换器1530还利用视频编码器1541将画面大小已被转换的视频数据转换为遵循NTSC系统的视频数据，转换为模拟信号，并输出给显示控制单元1532。

在记录器控制单元1526的控制下，显示控制单元1532将从OSD(屏上显示)控制单元1531输出的OSD信号叠加到从显示转换器1530输入的视频信号，并输出给监视器1560的显示装置以进行显示。

此外，从音频解码器1524输出的音频数据利用D/A转换器1534被转换为模拟信号，并被提供给监视器1560。监视器1560从内置扬声器输出该音频信号。

记录/回放单元1533包括作为存储介质的硬盘，其中记录了视频数据和音频数据等。

记录/回放单元1533例如通过编码器1551利用MPEG系统对从音频解码器1524提供来的音频数据进行编码。此外，记录/回放单元1533通过编码器1551利用MPEG系统对从显示转换器1530的视频编码器1541提供来的视频数据编码。记录/回放单元1533利用复用器来合成该音频数据的编码数据和该视频数据的编码数据。记录/回放单元1533通过信道编码来放大合成数据，并且经由记录头将该数据写入硬盘。

记录/回放单元1533经由回放头来播放记录在硬盘中的数据，放大，并利用解复用器分离为音频数据和视频数据。记录/回放单元1533通过解码器1552利用MPEG系统对音频数据和视频数据解码。记录/回放单元1533对经解码的音频数据执行数模转换，并输出给监视器1560的扬声器。此外，记录/回放单元1533对经解码的视频数据执行数模转换，并输出给监视器1560的显示装置。

记录器控制单元1526基于经由接收单元1521从遥控器接收的红外线信号所指示的用户指令，来从EPG数据存储器1527读出最新的EPG数据，并提供给OSD控制单元1531。OSD控制单元1531生成与所输入EPG数据相对应的图像数据，并输出给显示控制单元1532。显示控制单元1532将从OSD控制单元1531输入的视频数据输出给监视器1560的显示装置以被显示。因此，EPG(电子节目指南)被显示在监视器1560的显示装置上。

此外，硬盘记录器1500可以获取经由诸如因特网之类的网络从其它设备提供来的各种数据，例如视频数据、音频数据、EPG数据等。

通信单元1535由记录器控制单元1526控制来获取经由网络从其它设备发送来的诸如视频数据、音频数据、EPG数据等的编码数据，并将它们提供给记录器控制单元1526。记录器控制单元1526例如将所获得的视频数据和音频数据的编码数据提供给记录/回放单元1533，并存储在硬盘中。此时，记录器控制单元1526和记录/回放单元1533可以按照需要执行诸如重编码等之类的处理。

此外，记录器控制单元1526对所获得的视频数据和音频数据的编码数据进行解码，并将所获得的视频数据提供给显示转换器1530。显示转换器1530按照与从视频解码器1525提供来的视频数据相同的方式来处理从记录器控制单元1526提供来的视频数据，并经由显示控制单元1532将其提供给监视器1560以用于显示其图像。

替代地，可以做出这样的布置，其中，根据该图像显示，记录器控制单元1526将经解码音频数据经由D/A转换器1534提供给监视器1560，并将其音频从扬声器输出。

此外，记录器控制单元1526对所获得的EPG数据的编码数据进行解码，并将经解码的EPG数据提供给EPG数据存储器1527。

如此配置的硬盘记录器1500使用图像解码设备101作为视频解码器1525、解码器1552和内置于记录器控制单元1526中的解码器。因此，以与图像解码设备101的情况相同的方式，视频解码器1525、解码器1552和内置于记录器控制单元1526中的解码器可以抑制压缩信息的增加，并且还可以提高预测精度。

因此，硬盘记录器1500可以生成高精度的预测图像。结果，硬盘记录器1500例如可以从经由调谐器接收到的视频数据的编码数据、自记录/回放单元1533的硬盘读出的视频数据的编码数据，以及经由网络获得的视频数据的编码数据来获得具有较高精度的解码图像，并显示在监视器1560上。

此外，硬盘记录器1500使用图像编码设备51作为图像编码器1551。因此，以与图像编码设备51的情况相同的方式，编码器1551可以抑制压缩信息的增加，并且还可以提高预测精度。

因此，硬盘记录器1500可以提高例如将被记录在硬盘中的编码数据的编码效率。结果，硬盘记录器1500可以更高效地使用硬盘的存储区域。

注意，虽然上面描述了用于将视频数据和音频数据记录在硬盘中的硬盘记录器1500，然而当然，还可以采用任何种类的记录介质。例如，即使对于应用了硬盘以外的诸如闪存、光盘、视频磁带等之类的记录介质的记录器，也可以按照与上述硬盘记录器1500的情况相同的方式，来将图像编码设备51和图像解码设备101应用于它。

图22是图示出使用应用了本发明的图像解码设备和图像编码设备的相机的主要配置示例的框图。

图22所示的相机1600对物体成像，将物体的图像显示在LCD 1616上，并且将其作为图像数据记录在记录介质1633中。

透镜块1611将光(即，对象的视频)输入CCD/CMOS 1612。CCD/CMOS 1612是使用CCD或CMOS的图像传感器，将所接收光的强度转换为电信号，并提供给相机信号处理单元1613。

相机信号处理单元1613将从CCD/CMOS 1612提供来的电信号转换为色差信号Y、Cr和Cb，并提供给图像信号处理单元1614。图像信号处理单元1614在控制器1621的控制下，对从相机信号处理单元1613提供来的图像信号执行预定图像处理，或者例如利用MPEG系统通过编码器1641对图像信号编码。图像信号处理单元1614将通过对图像信号编码生成的编码数据提供给解码器1615。此外，图像信号处理单元1614获取在屏上显示(OSD)1620中生成的显示数据，并将其提供给解码器1615。

在以上处理中，相机信号处理单元1613根据需要，利用经由总线1617相连的DRAM(动态随机存取存储器)1618来将图像数据、通过对该图像数据编码获得的编码数据等保存在该DRAM 1618中。

解码器1615对从图像信号处理单元1614提供来的编码数据进行解码并且将所获得的图像数据(经解码图像数据)提供给LCD 1616。此外，解码器1615将从图像信号处理单元1614提供来的显示数据提供给LCD1616。LCD 1616将从解码器1615提供来的经解码图像数据的图像与显示数据的图像适当地合成，并显示该合成图像。

在控制器1621的控制下，屏上显示1620经由总线1617向图像信号处理单元1614输出诸如由符号、字符和图形组成的菜单画面或图标等的显示数据。

控制器1621基于表示用户利用操作单元1622指示的内容的信号来执行各种处理，并且还经由总线1617来控制图像信号处理单元1614、DRAM 1618、外部接口1619、屏上显示1620、介质驱动器1623等。FLASH ROM(闪速ROM)1624存储控制器1621执行各种处理所需的程序、数据等。

例如，控制器1621可以取代图像信号处理单元1614和解码器1615来对存储在DRAM 1618中的图像数据编码或者对存储在DRAM 1618中的经编码数据解码。此时，控制器1621可以利用与图像信号处理单元1614和解码器1615的编码和解码系统相同的系统来执行编码和解码处理，或者可以利用图像信号处理单元1614和解码器1615不能处理的系统来执行编码和解码处理。

此外，例如当从操作单元1622指示了开始图像打印时，控制器1621从DRAM 1618读出图像数据，并经由总线1617将其提供给连接到外部接口1619的打印机1634以便进行打印。

此外，例如当从操作单元1622指示了图像记录时，控制器1621从DRAM 1618读出经编码数据，并经由总线1617将其提供给装载到介质驱动器1623上的记录介质1633，以便被存储。

记录介质1633是可选的可读/可写可移除介质，例如，磁盘、磁光盘、光盘、半导体存储器等。当然，记录介质1633在可移除介质的类型方面也是可选的，并且因此可以是磁带设备，或者可以是盘，或者可以是存储卡。当然，记录介质1633还可以是非接触IC卡等。

替代地，介质驱动器1623和记录介质1633例如可被配置为被集成到不可拆卸存储介质中，例如内置盘驱动器、SSD(固态驱动器)等。

外部接口1619例如由USB输入/输出端子等构成，并且在执行图像打印时被连接到打印机1634。此外，驱动器1631根据需要被连接到外部接口1619，诸如磁盘、光盘或磁光盘等之类的可移除介质1632被装载到驱动器1631上，并且从其读出的计算机程序根据需要被安装到FLASH ROM1624中。

此外，外部接口1619包括连接到诸如LAN或因特网等之类的预定网络的网络接口。例如，控制器1621可以根据来自操作单元1622的指令，从DRAM 1618读出经编码数据并将其从外部接口1619提供给经由网络相连的另一设备。此外，控制器1621可以通过外部接口1619获取经由网络从另一设备提供来的经编码数据或图像数据，并将其保存在DRAM 1618中或将其提供给图像信号处理单元1614。

如此配置的相机1600使用图像解码设备101作为解码器1615。因此，以与图像解码设备101的情况相同的方式，解码器1615可以抑制压缩信息的增加，并且还可以提高预测精度。

因此，相机1600可以生成具有高精度的预测图像。结果，相机1600例如可以从在CCD/CMOS 1612处生成的图像数据、自DRAM 1618或记录介质1633读出的视频数据的经编码数据或者经由网络获得的视频数据的经编码数据中获得具有更高精度的解码图像，并显示在LCD 1616上。

此外，相机1600使用图像编码设备51作为编码器1641。因此，以与图像编码设备51的情况相同的方式，编码器1641可以抑制压缩信息的增加，并且还可以提高预测精度。

因此，相机1600例如可以提高将被记录在硬盘中的编码数据的编码效率。结果，相机1600可以更高效地利用DRAM 1618和记录介质1633的存储区域。

注意，图像解码设备101的解码方法可被应用于控制器1621执行的解码处理。类似地，图像编码设备51的编码方法可被应用于控制器1621执行的编码处理。

此外，相机1600所成像的图像数据可以是运动图像或者可以是静止图像。

当然，图像编码设备51和图像解码设备101可应用于上述设备以外的设备或系统。

参考标号列表

51 图像编码设备

66 无损编码单元

74 帧内预测单元

75 运动预测/补偿单元

76 运动向量精度确定单元

77 预测图像选择单元

81 整数像素精度运动预测/补偿单元

82 小数像素精度运动预测/补偿单元

83 运动向量信息累积缓冲器

84 预测运动向量计算单元

85 运动向量信息编码单元

86 模式确定单元

91 当前运动向量精度确定单元

92 相邻运动向量精度确定单元

93 精度标志生成单元

101 图像解码设备

112 无损解码单元

121 帧内预测单元

122 运动预测/补偿单元

123 运动向量精度确定单元

124 开关

151 运动向量信息接收单元

152 预测运动向量生成单元

153 运动向量重构单元

154 运动向量信息累积缓冲器

155 图像预测单元

161 精度标志接收单元

162 相邻运动向量精度确定单元

163 当前运动向量精度确定单元

Claims

1.一种图像处理设备，包括：

精度标志生成装置，被配置为生成指示当前块的运动向量信息的精度和与所述当前块相邻的相邻块的运动向量信息的精度是一致还是不同的精度标志；以及

编码装置，被配置为对所述当前块的运动向量信息以及由所述精度标志生成装置生成的所述精度标志进行编码。

2.根据权利要求1所述的图像处理设备，还包括：

预测运动向量生成装置，被配置为在由所述精度标志生成装置生成的所述精度标志指示所述当前块的运动向量信息的精度与所述相邻块的运动向量信息的精度不同的情况中，通过将所述相邻块的运动向量信息的精度转换为所述当前块的运动向量信息的精度来执行中值预测，以生成预测运动向量信息；

其中，所述编码装置将所述当前块的运动向量信息与所述预测运动向量信息之差编码为所述当前块的运动向量信息。

3.根据权利要求2所述的图像处理设备，其中，所述精度标志生成装置和所述预测运动向量生成装置使用与所述当前块的左边相邻的块作为所述相邻块。

4.根据权利要求2所述的图像处理设备，其中，所述精度标志生成装置和所述预测运动向量生成装置使用与所述当前块相邻的并且还是在最近经过了编码处理的块作为所述相邻块。

5.根据权利要求2所述的图像处理设备，其中，所述精度标志生成装置和所述预测运动向量生成装置使用与所述当前块相邻的并且还提供通过中值预测选择的运动向量信息的块作为所述相邻块。

6.一种图像处理方法，包括以下步骤：

使得图像处理设备

生成指示当前块的运动向量信息的精度和与所述当前块相邻的相邻块的运动向量信息的精度是一致还是不同的精度标志；以及

对所述当前块的运动向量信息和所生成的精度标志进行编码。

7.一种图像处理设备，包括：

解码装置，被配置为对当前块的经编码运动向量信息以及指示所述当前块的运动向量信息的精度和与所述当前块相邻的相邻块的运动向量信息的精度是一致还是不同的精度标志进行解码；

运动向量重构装置，被配置为利用由所述解码装置解码的所述精度标志来重构由所述解码装置解码的所述当前块的运动向量信息；以及

预测图像生成装置，被配置为利用由所述运动向量重构装置重构的所述当前块的运动向量信息来生成所述当前块的预测图像。

8.根据权利要求7所述的图像处理设备，还包括：

预测运动向量生成装置，被配置为在由所述解码装置解码出的所述精度标志指示所述当前块的运动向量信息的精度与所述相邻块的运动向量信息的精度不同的情况中，通过将所述相邻块的运动向量信息的精度转换为所述当前块的运动向量信息的精度来执行中值预测，以生成预测运动向量信息；

其中，所述运动向量重构装置利用由所述解码装置解码的所述精度标志以及由所述预测运动向量生成装置生成的所述预测运动向量信息来重构由所述解码装置解码的所述当前块的运动向量信息。

9.根据权利要求8所述的图像处理设备，其中，所述运动向量重构装置和所述预测运动向量生成装置使用与所述当前块的左边相邻的块作为所述相邻块。

10.根据权利要求8所述的图像处理设备，其中，所述运动向量重构装置和所述预测运动向量生成装置使用与所述当前块相邻的并且还是在最近经过了编码处理的块作为所述相邻块。

11.根据权利要求8所述的图像处理设备，其中，所述运动向量重构装置和所述预测运动向量生成装置使用与所述当前块相邻的并且还提供通过中值预测选择的运动向量信息的块作为所述相邻块。

12.一种图像处理方法，包括以下步骤：

使得图像处理设备

对当前块的经编码运动向量信息以及指示所述当前块的运动向量信息的精度和与所述当前块相邻的相邻块的运动向量信息的精度是一致还是不同的精度标志进行解码；

利用经解码的精度标志来重构所述当前块的经解码运动向量信息；以及

利用重构出的所述当前块的运动向量信息来生成所述当前块的预测图像。