CN101262607A - 二重预测视频编解码方法和装置 - Google Patents

Abstract

本发明公开了一种二重预测视频编解码方法和装置。在第二重预测补偿过程中根据第一重残差参考值进行预测而获得第一重残差预测值，其中第一重残差参考值由已解码的像素值或已编码的像素值生成；第二重预测存储所存储的信息包括第二重预测判断信息和已解码的像素值或已编码的像素值。该装置包括由第二重模式生成器、第二重预测生成器、第二重预测参考生成器和加法器或减法器组成的第二重预测补偿器或第二重预测器及第二重预测存储器。本发明使用二重预测编解码方法和装置去除视频编解码中预测后的残留冗余，而且第一重残差参考值通过已解码像素值或已编码的像素值生成，解决了块间不连续性的问题，充分利用了冗余之中的相关性，得到编码性能的提高。

Description

二重预测视频编解码方法和装置

技术领域

本发明涉及数字数据处理技术，特别是涉及一种二重预测视频编解码方法和装置。

背景技术

数字图像、视频信号处理和编码技术的研究开始于20世纪50年代，最初采用的编码方法是空间域上差分脉冲编码调制(简称DPCM)。到20世纪70年代，变换编码技术和运动补偿预测技术开始出现。在1974年，Ahmed等引入基于块的二维离散余弦变换(简称DCT)，成为现代先进视频编码框架中的一项核心技术。这些技术逐渐成熟，在20世纪80年代发展为实用的编码技术，确立了基于块的混合编码框架，集预测编码、变换编码和熵编码于一体的传统混合编码框架，即Hybrid Coding框架。基于这个框架，在后面20多年中，出现了一系列的国际视频编码标准，如ITU制定的H.261，H.263，H.26L标准和ISO的MPEG组织制定的MPEG-1，MPEG-2，MPEG-4等。到了21世纪，随着技术的发展，人们对多媒体通信的进一步需求要求视频编码能够提供更高效的压缩技术和异质网络的适应技术，新一代视频编码标准H.264/MPEG-AVC(简称H.264)就是在这样的背景下开始制定，并在2003年颁布的。与此同时，中国自主知识产权的视频编码标准AVS第二部分也于2003年底制定完成，并于2006年2月获颁为正式的国家标准(GB/T 20090.2)。AVS、H.264的压缩效率大约是MPEG-2的两倍，同时复杂度也提高不少。同样，AVS和H.264都是基于传统混合编码框架的视频编码标准。

视频编码的一个重要目的就是对视频信号进行压缩，减少视频信号的数据量，从而节约视频信号的存储空间和传输带宽。原始的未压缩的视频信号，数据量是非常巨大的。举个例子，一帧CIF的YUV图像，大小为352×288，格式为4:2:0，亮度色度用8比特表示，这一帧图像就有1216512比特，在视频播放时，按每秒25帧的速率，码率就高达30.4Mbps。对于标清、高清的视频序列，这个码率还要高几十倍。如此高的码率在传输和存储中都是很难实现的，因此高效的视频压缩技术是保证视频通信、存储的必要手段。幸运的是，视频信号巨大的数据量中存在着大量的冗余信息，这些冗余信息可以分成空间冗余信息、时间冗余信息、数据冗余信息和视觉冗余信息。其中前面三种冗余信息仅仅只是考虑像素间的冗余信息，统称像素间统计冗余信息，视觉冗余信息更加侧重考虑人眼视觉系统的特性。视频编码的一个重要目的就是要降低冗余信息，压缩视频数据量。传统混合编码框架是综合考虑预测编码、变换编码以及熵编码方法的编码框架，着力降低视频信号像素间的冗余信息，传统视频混合编码框架有以下主要特点：

1)利用预测编码降低时间冗余信息和空间冗余信息；

2)利用变换编码进一步降低空间冗余信息；

31)利用熵编码降低数据冗余信息。

传统视频混合编码框架使用的编码方法和解码方法相互独立且能够组合成为编解码系统。

传统视频混合编码框架中的预测编码包括帧内预测编码和帧间预测编码，见H.264/AVC标准和AVS标准。其中帧内预测编码又称空域预测，帧间预测编码又称时域预测；其中空域预测包括像素域预测和变换域预测。

预测编码的编码方法如下：首先，将编码帧分成编码单元；对编码单元进行预测编码(可以是空域预测或时域预测或时空域结合的预测)，预测值和待编码值的差为残差数据，然后对残差数据进行二维变换编码；然后在变换域中对变换系数进行量化；然后经过扫描将二维信号转换成一维信号；最后进行熵编码。

使用帧内预测编码技术压缩的视频帧，称为帧内编码帧(I帧)。帧内预测支持不同块大小及不同模式。帧内预测中采用的是方向预测方法时，在H.264标准中表现为如在I4MB模式中，使用8方向的角度预测模式和DC预测模式；如在I16MB模式中，使用两方向的角度预测模式、DC预测模式和PLANE预测模式，在AVS-P2标准中表现为4方向的角度预测模式和DC预测模式；此时使用的参考点位置可以是当前待处理单元左方一列和上方一行的相邻位置，也可以是当前待处理单元周围的某几行或多行或某几列或多列位置；参考值可以是当前待处理单元左方一列和上方一行的相邻位置点的像素值或变换后的系数，也可以是当前待处理单元周围的某几行或多行或某几列或多列位置点的像素值或变换后的系数；预测值由参考值的计算或组合或拷贝生成。帧内预测也可以采用双方向预测方法。帧内预测也可以采用模板匹配的预测方法；此时使用的此时使用的参考点位置可以是当前帧内由模板匹配矢量所指向位置，参考值是当前帧内由模板匹配矢量所指向位置点的像素值，预测值由参考值的拷贝生成。模式信息对于帧内预测单元，包括当前单元的预测分块大小、预测方向和预测模式相关信息等。

帧间预测(时域预测)编码技术压缩的视频帧，称为帧间编码帧，帧间编码包括前向、后向和双向的预测(P帧、B帧)，支持不同块大小。帧间编码帧的编码方法如下：首先，将编码帧分成编码单元；对编码单元采用运动搜索和运动预测的运动估计技术得到运动矢量和参考单元；然后采用运动补偿技术，得到帧间预测(时域预测)后的残差数据。模式信息对于帧间预测单元，包括当前单元的预测分块大小、参考方向(前向、后向或双向的预测)及使用的参考个数、参考索引、运动矢量等。帧间预测模式信息如宏块级别的P16X16、P16X8、P8X16、P8X8、B16X16等，亚宏块级别的如P8X4、P4X8、P4X4等。此外，还有时空域结合的预测编码，见Kenneth Andersson，“Combined IntraInter-prediction Coding Mode”，VCEG-AD11，18 October 2006。

预测编码后的残差数据，也就是残差信号，相对于原始视频信号，空间冗余信息和时间冗余信息都减小了。如果这种空间冗余信息和时间冗余信息用数学上相关性来表示，则残差信号的空间相关性和时间相关性都比原始视频信息小。然后对残差信号进行二维变换编码，进一步降低空间相关性，最后对变换系数进行量化和熵编码降低数据冗余信息。可见要继续提高视频编码的压缩效率，需要更精确的预测编码技术，进一步降低预测后残差信号的空间相关性和时间相关性；同时也需要更有效的变换编码技术，进一步降低空间相关性；同时在预测编码和变换编码后，设计相适应的扫描技术、量化技术和熵编码技术。着眼于传统混合视频编解码框架的瓶颈，预测后所获得的残差单元仍然存在冗余，进一步去除这些冗余能够实现更有效地编码。在中国专利(申请号200710181975.9)《二重预测视频编解码方法和装置》中提出了一种使用二重预测的编解码方法，见图3，此方法将传统混合视频编解码框架中的预测定义为第一重预测，解码重建图像的重建过程包含二重预测补偿过程和第二重预测存储，相应地把传统混合视频编解码框架中的预测残差定义为第一重残差，把针对第一重残差的预测定义为第二重预测；其中二重预测补偿过程包括第一重预测补偿过程和第二重预测补偿过程。第二重预测补偿过程的输入包括重建后的第一重残差和重建后的第二重残差，由此两者得到重建后的第一重残差。编码方法包括二重预测过程和第二重预测存储，其中二重预测过程包括第一重预测过程和第二重预测过程，其中第二重预测过程的输入包括和第一重残差和第一重残差预测值并由此两者生成第二重残差。编码方法产生的相应码流，包括第一重模式和第二重残差，不包括第一重残差；或包括第一重模式、第二重模式和第二重残差，不包括第一重残差。此编解码方法中第一重残差预测值的生成是由重建后的第一重残差，根据第二重模式，使用预测方法生成第一重残差预测值。它的第二重预测存储中包括重建后的第一重残差作为第二重预测的参考值，对残差单元的冗余去除有一定作用，但没有充分利用信号的相关性且会由于所存储的重建后的第一重残差的块间不连续性造成编码效率的下降。

然而充分发掘和利用当前待处理视频信号的相关性能够进一步地去除残差单元的冗余而实现更有效的编码，得到编码性能的提高。

发明内容

针对现有技术的不足，本发明的目的在于提供一种二重预测视频编解码方法和装置。

本发明解决其技术问题所采用的技术方案是：

一、一种二重预测视频编解码方法：

1、一种二重预测视频解码方法：

(1)在第二重预测补偿过程中根据第一重残差参考值进行预测而获得第一重残差预测值，其中第一重残差参考值由已解码的像素值生成；

i.所述第一重残差参考值，其生成过程为第二重预测参考生成过程，该过程的输入至少包括以下值：

A.当第二重预测生成过程中使用的预测方法是空域预测：

a)当前待处理单元E空域预测参考点位置已解码的像素值D；

b)由当前待处理单元E的第一重模式信息所指向的参考帧图像R1中与空域预测参考点位置对应的已解码像素值根据第一重模式信息生成的已解码像素值D的预测值D1；

B.当第二重预测生成过程中使用的预测方法是时域预测：

a)由当前待处理单元E的第一重模式信息和第二重模式信息所指向的参考图像R1中与当前待处理单元位置对应所在单元E1的已解码像素值D1；

b)由单元E1的第一重模式信息和单元E的第二重模式信息所指向位置的参考图像R2中与当前待处理单元位置对应所在单元E2的已解码像素值根据单元E1的第一重模式信息和单元E的第二重模式信息生成的已解码像素值D1的预测值D2；

C.当第二重预测生成过程中使用的预测方法是时空域结合的预测，输入包括(A)中所述的信息和(B)中所述的信息；

ii.第一重残差参考值由(i)中的输入经组合得到；

iii.所述第一重残差预测值，其生成过程为第二重预测生成过程，该过程由第一重残差参考值根据第二重模式信息预测生成第一重残差预测值，所述预测为空域预测或时域预测或时空域结合的预测。

(2)第二重预测存储所存储的信息包括第二重预测判断信息和已解码的像素值。所述第二重预测判断信息包括当前待处理单元、当前待处理单元周围可用单元和当前待处理单元所在图像的可用参考图像位置的以下信息：

1)预定义值

2)重建图像像素值

3)图像像素的预测值

4)重建后的第一重残差

5)第一重残差预测值

6)第一重模式信息

7)重建后的第二重残差

8)第二重模式信息；

第二重预测判断信息组合产生第二重模式信息。

2、一种二重预测视频编码方法：

(1)在第二重预测过程中根据第一重残差参考值进行预测而获得第一重残差预测值，其中第一重残差参考值由已编码的像素值生成；

i.所述第一重残差参考值，其生成过程为第二重预测参考生成过程，该过程的输入至少包括以下值：

A.当第二重预测生成过程中使用的预测方法是空域预测，

a)当前待处理单元E空域预测参考点位置已编码的像素值P；

b)由当前待处理单元E的第一重模式信息所指向的参考图像R1中与空域预测参考点位置对应的已编码像素值根据第一重模式信息生成的已编码的像素值P的预测值P1；

B.当第二重预测生成过程中使用的预测方法是时域预测，

a)由当前待处理单元E的第一重模式信息和第二重模式信息所指向的参考图像R1中与当前待处理单元位置对应所在单元E1的已编码像素值P1；

b)由单元E1的第一重模式信息和单元E的第二重模式信息所指向位置的参考图像R2中与当前待处理单元位置对应所在单元E2的已解码像素值根据单元E1的第一重模式信息和单元E的第二重模式信息生成的已编码像素值P1的预测值P2；

C.当第二重预测生成过程中使用的预测方法是时空域结合的预测，输入包括(A)中所述的信息和(B)中所述的信息；

ii.第一重残差参考值由(i)中的输入经组合得到；

iii.所述第一重残差预测值，其生成过程为第二重预测生成过程，该过程由第一重残差参考值根据第二重模式信息预测生成第一重残差预测值，所述预测为空域预测或时域预测或时空域结合的预测。

(2)第二重预测存储所存储的信息包括第二重预测判断信息和已编码的像素值。所述第二重预测判断信息包括当前待处理单元、当前待处理单元周围可用单元和当前待处理单元所在图像的可用参考图像位置的以下信息：

1)预定义值

2)重建图像像素值

3)图像像素的预测值

4)重建后的第一重残差

5)第一重残差预测值

6)第一重模式信息

7)重建后的第二重残差

8)第二重模式信息；

第二重模式信息第二重预测判断信息组合产生第二重模式信息。

二、一种二重预测视频编解码装置：

1、一种二重预测视频解码装置：

包括由第二重模式生成器、第二重预测生成器、第二重预测参考生成器和加法器组成的第二重预测补偿器；第二重预测存储器；

第二重预测补偿器的一个输入端接自码流解码的重建后的第二重残差，另一个输入端接自第二重预测存储器的第二重预测存储信息，输出端接到第一重预测补偿；

第二重模式生成器输入端接第二重预测存储器，输出端接到第二重预测生成器的一个输入端；第二重预测生成器的另一输入端接来自第二重预测参考生成器，输出端接到加法器；第二重预测参考生成器输入端接来自第二重预测存储器，输出端接到第二重预测生成器；

第二重预测存储器，第一输入端接码流解码的第二重预测存储信息，第二输入端接来自第二重预测补偿器的第二重预测存储信息，第三输入端接第一重预测补偿器的输出端，输出端接到第二重预测补偿器的第二重预测存储信息。

2、一种二重预测视频编码装置：

第二重预测器的一个输入端接来自第一重预测器的第一重残差，另一个输入端接来自第二重预测存储器的第二重预测存储信息，输出端为接码流编码的第二重残差；

第二重模式生成器输入端接自第二重预测存储器，输出端接到第二重预测生成器；第二重预测生成器的一个输入端接来自第二重模式生成器，另一输入端接来自第二重预测参考生成器，输出端接减法器；第二重预测参考生成器输入端接来自第二重预测存储器，输出端接到第二重预测生成器；

第二重预测存储器，一个输入端接来自解码装置的第二重预测存储信息，另一输入端接来自第一重预测的第二重预测存储信息，输出端接到第二重预测器的第二重预测存储信息。

本发明具有的有益效果是：针对现有背景技术的不足，使用二重预测编解码方法和装置去除视频编解码中预测后的残留冗余，而且第一重残差参考值通过已解码像素值或已编码的像素值生成，解决了块间不连续性的问题，充分利用了冗余之中的相关性，得到编码性能的提高。

附图说明

图1是一种二重预测视频解码方法的装置。

图2是一种二重预测视频编码方法的装置。

图3是背景技术中的二重预测视频编解码方法的装置。

图4是方向性预测示意图。

图5是已解码像素值D位置与第一重残差参考值位置示意图。

图6是已解码像素值D1位置示意图。

图7是一种二重预测视频编解码方法的系统示意图。

具体实施方式

如图1所示是一种二重预测视频解码方法的装置，包括由第二重模式生成器8011、第二重预测生成器8012、第二重预测参考生成器8013和加法器组成的第二重预测补偿器801；第二重预测存储器802；

第二重预测补偿器801的一个输入端接自码流解码的重建后的第二重残差，另一个输入端接自第二重预测存储器802的第二重预测存储信息，输出端接到第一重预测补偿；

第二重模式生成器8011输入端接第二重预测存储器802，输出端接到第二重预测生成器8012的一个输入端；第二重预测生成器8012的另一输入端接来自第二重预测参考生成器8013，输出端接到加法器；第二重预测参考生成器8013输入端接来自第二重预测存储器802，输出端接到第二重预测生成器8012；

第二重预测存储器802，第一输入端接码流解码的第二重预测存储信息，第二输入端接来自第二重预测补偿器801的第二重预测存储信息，第三输入端接第一重预测补偿器的输出端，输出端接到第二重预测补偿器801的第二重预测存储信息。

如图2所示是一种二重预测视频编码方法的装置，包括由第二重模式生成器8031、第二重预测生成器8032、第二重预测参考生成器8033和减法器组成的第二重预测器803；第二重预测存储器802；

第二重预测器803的一个输入端接来自第一重预测器的第一重残差，另一个输入端接来自第二重预测存储器802的第二重预测存储信息，输出端为接码流编码的第二重残差；

第二重模式生成器8031输入端接自第二重预测存储器802，输出端接到第二重预测生成器8032；第二重预测生成器8032的一个输入端接来自第二重模式生成器8031，另一输入端接来自第二重预测参考生成器8033，输出端接减法器；第二重预测参考生成器8033输入端接来自第二重预测存储器802，输出端接到第二重预测生成器8032；

第二重预测存储器802一个输入端接来自解码装置的第二重预测存储信息，另一输入端接来自第一重预测的第二重预测存储信息，输出端接到第二重预测器803的第二重预测存储信息。

下面是本发明的具体实施方法：

实施例1：

一种二重预测视频解码方法，如图1所示，具体包括以下步骤：

步骤1：在码流中读取第二重残差和第一重模式信息等的编码信息，经过解码过程如熵解码、反量化和反变换等过程获得重建后的第二重残差和第一重模式信息等。此处的第一重模式信息来自第一重预测，本例中第一重预测是背景技术中所述的帧间预测P16X16，第一重预测不限于本例中所举例的情况，如背景模式中所述的帧间预测或背景技术中所述的帧内预测如I16MB模式等。

步骤2：第二重预测补偿器中，实现第二重预测，本例中的第二重预测为空域预测，使用是的背景技术中帧内预测的方向预测，所使用的帧内预测还可以是背景技术中的其他帧内预测方法；本例中的第二重预测包括以下步骤：

步骤2.1：第一重残差参考值的生成：

(1)设当前待处理单元为m×n大小的矩形块，其左上像素点位置为(x，y)，首先取得当前待处理单元参考点位置的已解码像素值，本例使用的是当前待处理单元周围上方相邻行像素位置与左方相邻列像素位置的已解码的像素值D，见图5阴影位置点，图5中非阴影位置为当前待处理单元内的点，即D所来自的点的位置是(x+dx，y+dy)。其中当dy为-1时，dx为[-1，m]范围内的整数；当dx为-1时，dy为[-1，n]范围内的整数；所使用的当前待处理单元周围位置可以不限于本例所使用的位置，包括背景技术中帧内预测所使用的参考点位置。

(2)其次根据当前待处理单元的第一重帧间预测模式信息中的第一重帧间预测运动信息，包括运动矢量和参考索引信息，其中运动矢量信息表示为(mv1_x，mv1_y)；从当前待处理单元周围上方相邻行像素位置与左方相邻列像素位置出发，取得第一重预测参考帧图像的已解码像素值D1，即D1所来自的点的位置是第一重预测参考帧图像中的(x+dx+mv1_x，y+dy+mv1_y)。其中当dy为-1时，dx为[-1，m]范围内的整数；当dx为-1时，dy为[-1，n]范围内的整数；

(3)以上二值D与D1的差即为当前待处理单元的第一重残差参考值，其所对应点的位置为(x+dx，y+dy)。其中当dy为-1时，dx为[-1，m]范围内的整数；当dx为-1时，dy为[-1，n]范围内的整数

步骤2.2：第二重模式信息的生成：

(1)本例中第二重预测生成过程中使用的预测方法是空域预测。其中的方向预测模式包括背景技术中所述的8方向的角度预测模式和直流预测即DC预测模式，其中8方向的角度预测包括水平方向预测、竖直方向预测、左上对角方向预测、右上对角方向预测和其他角度方向预测等，由图4示出。

(2)本例中通过计算当前待处理单元的图像像素单元的图像预测值PP的方向信息而确定的方向预测模式，获得第二重方向预测模式。即本例中由当前待处理单元E的第一重模式信息所指向的参考帧图像R1中与当前待处理单元位置对应所在单元E1的已解码像素值确定第二重模式信息；本方法所使用的第二重判断信息及其组合不限于本例所述。本例中使用的计算方向信息的方法是使用背景技术中的Sobel算子判图像预测值PP的最大方向强度。此处最大方向强度的计算方法是对于m×n大小的单元，使用3x3的Sobel算子，计算(m-1)×(n-1)个点的方向信息，此方向信息由角度的正切函数表示。将平面360度角分为8个连续的方向区间，见图4，根据方向信息正切函数的值，每个点的方向信息将落在8个方向区间之一，计算完(m-1)×(n-1)个点之后，8个区间统计中落得点数最多的方向即为最大方向强度所指示的方向。本例中的第二重模式信息的方向预测即为与此最大方向强度所指示的方向相同的方向预测模式。此外本例中，若最大方向强度所指示的方向区间中的落点数不大于(m-1)×(n-1)/8个的k倍，将使用DC预测模式作为第二重模式信息，其中k为方向判断阈值，本例中k为1.5，k的取值不限于本例所述情况。

步骤3：第一重残差预测值的生成：使用背景技术中所述的帧内预测方法，本例中第一重残差预测值将为第一重残差参考值的拷贝或线性组合。若当前的第二重预测模式信息为竖直预测模式，当前待处理单元第i列的第一重残差预测值为第一重残差参考值中所对应点的位置为(x+i，-1)的值，其中i为[0，m-1]范围内的整数。

步骤4：重建后的第二重残差和第一重残差预测值相加的得到重建后的第一重残差。

步骤5：存储第二重预测存储信息，第二重预测存储不限于本例所述情况。

步骤6：第一重预测器中，按背景技术中所述方法，实现第一重预测补偿过程，解码后输出重建图像。

实施例2：

一种二重预测视频编码方法，如图2所示，具体包括以下步骤：

步骤1：第一重预测器中，按背景技术中所述方法，实现第一重预测过程，接受原始图像，输出第一重残差，送到第二重预测器；第一重模式信息等直接送出到编码器。此处的第一重模式信息来自第一重预测，此处的第一重预测不限于本例中所举例的情况，包括预测编码的其他方法，包括背景模式中所述的帧间预测模式如P16X8等或背景技术中所述的帧内预测模式I4MB等。

步骤2：第二重预测器中，实现第二重预测，实现第二重预测，本例中的第二重预测为帧内预测中的方向预测，所使用的帧内预测还可以是背景技术中的其他帧内预测方法；本例中的第二重预测包括以下步骤：

步骤2.1：第一重残差参考值的生成：

(1)设当前待处理单元为m×n大小的矩形块，其左上像素点位置为(x，y)，首先取得当前待处理单元参考点位置的已解码像素值，本例使用的是当前待处理单元周围上方相邻行像素位置与左方相邻列像素位置的已编码的像素值P，见图5阴影位置点，图5中非阴影位置为当前待处理单元内的点，即P所来自的点的位置是(x+dx，y+dy)。其中当dy为-1时，dx为[-1，m]范围内的整数；当dx为-1时，dy为[-1，n]范围内的整数；所使用的当前待处理单元周围位置可以不限于本例所使用的位置，包括背景技术中帧内预测所使用的参考点位置。

(2)其次根据当前待处理单元的第一重帧间预测模式信息中的第一重帧间预测运动信息，包括运动矢量和参考索引信息，其中运动矢量信息表示为(mv1_x，mv1_y)；从当前待处理单元周围上方相邻行像素位置与左方相邻列像素位置出发，取得第一重预测参考帧图像的已编码像素值P1，即P1所来自的点的位置是第一重预测参考帧图像中的(x+dx+mv1_x，y+dy+mv1_y)。其中当dy为-1时，dx为[-1，m]范围内的整数；当dx为-1时，dy为[-1，n]范围内的整数；

(3)以上二值D与D1的差即为当前待处理单元的第一重残差参考值，其所对应点的位置为(x+dx，y+dy)。其中当dy为-1时，dx为[-1，m]范围内的整数；当dx为-1时，dy为[-1，n]范围内的整数

步骤2.2：第二重模式信息的生成：

(1)本例中第二重预测生成过程中使用的预测方法是空域预测。其中的方向预测模式包括背景技术中所述的8方向的角度预测模式和直流预测即DC预测模式，其中8方向的角度预测包括水平方向预测、竖直方向预测、左上对角方向预测、右上对角方向预测和其他角度方向预测等，由图4示出。

(2)本例中通过计算当前待处理单元的图像像素单元的图像预测值PP的方向信息而确定的方向预测模式，获得第二重方向预测模式。即本例中由当前待处理单元E的第一重模式信息所指向的参考帧图像R1中与当前待处理单元位置对应所在单元E1的已编码像素值确定第二重模式信息；本方法所使用的第二重判断信息及其组合不限于本例所述。本例中使用的计算方向信息的方法是使用背景技术中的Sobel算子判图像预测值PP的最大方向强度。此处最大方向强度的计算方法是对于m×n大小的单元，使用3x3的Sobel算子，计算(m-1)×(n-1)个点的方向信息，此方向信息由角度的正切函数表示。将平面360度角分为8个连续的方向区间，见图4，根据方向信息正切函数的值，每个点的方向信息将落在8个方向区间之一，计算完(m-1)×(n-1)个点之后，8个区间统计中落得点数最多的方向即为最大方向强度所指示的方向。本例中的第二重模式信息的方向预测即为与此最大方向强度所指示的方向相同的方向预测模式。此外本例中，若最大方向强度所指示的方向区间中的落点数不大于(m-1)×(n-1)/8个的k倍，将使用DC预测模式作为第二重模式信息，其中k为方向判断阈值，本例中k为1.5，k的取值不限于本例所述情况。

(3)以上二值P与P1的差即为当前待处理单元的第一重残差参考值，其所对应点的位置为(x+dx，y+dy)。其中当dy为-1时，dx为[-1，m]范围内的整数；当dx为-1时，dy为[-1，n]范围内的整数。

步骤3：第一重残差预测值的生成：使用背景技术中所述的帧内预测中的方向预测方法，本例中第一重残差预测值将为第一重残差参考值的拷贝或线性组合。举例来说，若当前的第二重预测模式信息为方向预测中的竖直预测模式，当前待处理单元第i列的第一重残差预测值为第一重残差参考值中所对应点的位置为(x+i，-1)的值，其中i为[0，m-1]范围内的整数。若当前的第二重预测模式信息为方向预测中的左下对角预测模式，当前待处理单元内(i，j)位置的第一重残差预测值为第一重残差参考值中所对应位置值的组合。第一重残差预测值的生成方式不限于本例所述情况。

步骤4：第一重残差和第一重残差预测值的差即为第二重预测器输出的第二重残差。

步骤5：存储第二重预测存储信息，第二重预测存储不限于本例所述情况。

步骤6：第二重预测器送出的第二重残差进行编码后，编码信息写入码流。

实施例3：

一种二重预测视频解码方法，具体包括以下步骤：

步骤1：在码流中读取第二重残差和第一重模式信息等的编码信息，码流中不包括第一重残差和第二重模式信息；经过解码过程如熵解码、反量化和反变换等过程获得重建后的第二重残差和第一重模式信息等。此处的第一重模式信息来自第一重预测，此处的第一重预测不限于本例中所举例的情况，包括预测编码的其他方法，包括背景模式中所述的帧间预测或背景技术中所述的帧内预测如I16MB模式等。

步骤2：第二重预测补偿器中，实现第二重预测，本例中的第二重预测为时域预测，使用背景技术中所述的前向单参考帧帧间预测，所使用的帧间预测还可以是且不限于背景技术中的其他时域预测方法或时空域结合的预测方法；本例中的第二重预测包括以下步骤：

步骤2.1：第一重残差参考值的生成：

设当前待处理单元为m×n大小的矩形块，其左上像素点位置为(x，y)，本例中第二重预测生成过程中使用的预测方法是时域预测：由当前待处理单元E的第一重模式信息和第二重模式信息所指向的参考图像R1中与当前待处理单元位置对应所在单元E1的已解码像素值D1，见图5阴影所示标注D1位置；即D1所来自的点的位置是(x+mv1_x(c)+mv2_x(c)+i，y+mv1_y(c)+mv2_y(c)+j)，其中i，为[0，m]范围内的整数；j为[0，n]范围内的整数；所使用的D1位置可以不限于本例所使用的位置。

由单元E1的第一重模式信息和单元E的第二重模式信息所指向位置的参考图像R2中与当前待处理单元位置对应所在单元E2的已解码像素值根据单元E1的第一重模式信息和E的第二重模式信息生成的D1的预测值D2，见图6阴影所示标注D2位置；即D2所来自的点的位置是(x+mv1_x(c)+mv2_x(c)+mv1_x(r1)+i，y+mv1_y(c)+mv2_y(c)+mv1_y(r1)+j)，其中i，为[0，m]范围内的整数；j为[0，n]范围内的整数；所使用的D2位置可以不限于本例所使用的位置。本例中单元E和单元E1的第一重模式信息均为单一参考帧与前向预测，本方法中第二重预测使用时域预测时，单元E和单元E1的第一重模式信息不限于本例所述情况，均分别可以为多参考帧或后向预测或双向预测，即本方法中的E1单元和E2单元可以不限于1个。以上二值D1与D2的差即为当前待处理单元的第一重残差参考值；

步骤2.2：第二重模式信息的生成：第二重预测生成过程中使用的预测方法是时域预测，由解码端和当前待处理单元E时域相关及空域相关的已解码像素单元的第一重模式信息等以及第二重模式信息等确定。

步骤3：第二重预测生成过程中使用的预测方法是时域预测，使用背景技术中所述的帧间预测，根据第一重残差参考值，生成第一重残差预测值；

步骤4：重建后的第二重残差和第一重残差预测值相加的得到重建后的第一重残差；

步骤5：存储第二重预测存储信息。本例中存储的为已解码像素值和第二重预测判断信息。

步骤6：第一重预测器中，按背景技术中所述方法，实现第一重预测补偿过程，解码后输出重建图像。

实施例4：

一种二重预测视频编码方法，具体包括以下步骤：

步骤1：第一重预测器中，按背景技术中所述方法，实现第一重预测过程，接受原始图像，输出第一重残差，送到第二重预测器；第一重模式信息等直接送出到编码器。

步骤2：第二重预测器中，实现第二重预测过程，第二重预测补偿器中，实现第二重预测，本例中的第二重预测为帧间预测，包括以下步骤：

步骤2.1：第一重残差参考值的生成：

设当前待处理单元为m×n大小的矩形块，其左上像素点位置为(x，y)，本例中第二重预测生成过程中使用的预测方法是时域预测：由当前待处理单元E的第一重模式信息和第二重模式信息所指向的参考图像R1中与当前待处理单元位置对应所在单元E1的已编码像素值P1，见图5阴影所示标注P1位置；即P1所来自的点的位置是(x+mv1_x(c)+mv2_x(c)+i，y+mv1_y(c)+mv2_y(c)+j)，其中i，为[0，m]范围内的整数；j为[0，n]范围内的整数；所使用的D1位置可以不限于本例所使用的位置。

由单元E1的第一重模式信息和单元E的第二重模式信息所指向位置的参考图像R2中与当前待处理单元位置对应所在单元E2的已编码像素值根据单元E1的第一重模式信息和E的第二重模式信息生成的P1的预测值P2，见图6阴影所示标注P2位置；即P2所来自的点的位置是(x+mv1_x(c)+mv2_x(c)+mv1_x(r1)+i，y+mv1_y(c)+mv2_y(c)+mv1_y(r1)+j)，其中i，为[0，m]范围内的整数；j为[0，n]范围内的整数；所使用的P2位置可以不限于本例所使用的位置。本例中单元E和单元E1的第一重模式信息均为单一参考帧与前向预测，本方法中第二重预测使用时域预测时，单元E和单元E1的第一重模式信息不限于本例所述情况，均分别可以为多参考帧或后向预测或双向预测，即本方法中的单元E1和单元E2可以不限于1个。以上二值P1与P2的差即为当前待处理单元的第一重残差参考值；

步骤2.2：第二重预测生成过程中使用的预测方法是时域预测，所述第二重模式包括模式信息等，由解码端可得的和当前待处理单元E时域相关及空域相关的已编码像素单元的第一重模式信息等以及第二重模式信息等而确定。

步骤3：第二重预测生成过程中使用的预测方法是时域预测，预测方法使用的是背景技术中所述的帧间预测，生成第一重残差预测值。

步骤4：第一重残差和第一重残差预测值的差即为第二重预测器输出的第二重残差。

步骤5：存储第二重预测存储信息。本例中存储的为第一重模式信息作为第二重预测判断信息以及已解码像素值。

步骤6：第二重预测器送出的第二重残差进行编码后，编码信息写入码流。

实施例5：

一种二重预测视频解码方法，具体包括以下步骤：

步骤1：在码流中读取第二重残差和第一重模式信息等的编码信息，码流中不包括第一重残差和第二重模式信息；经过解码过程如熵解码、反量化和反变换等过程获得重建后的第二重残差和第一重模式信息等。此处的第一重模式信息来自第一重预测，此处的第一重预测不限于本例中所举例的情况，包括预测编码的其他方法，包括背景模式中所述的帧间预测或背景技术中所述的帧内预测如I16MB模式等。

步骤2：第二重预测补偿器中，实现第二重预测，本例中的第二重预测为时空域结合的预测方法，包括以下步骤：

步骤2.1：第一重残差参考值的生成，本方法中使用时空域结合第二重预测时生成第一重残差参考值的方法不限于本例所述：

获取空域预测的第一重残差参考值，本例中使用实施例1中所述的D(1)、D1(1)，求差得到空域预测的第一重残差参考值RF_S；

获取时域预测的第一重残差参考值，本例中使用实施例3中所述的D1(3)、D2(3)，求差得到时域预测的第一重残差参考值RF_T；

步骤2.2：第二重模式信息的生成，本方法中使用时空域结合第二重预测时生成第二重模式信息的方法不限于本例所述：

获取空域预测的第二重模式信息，本例中根据实施例1中所述方法得到空域预测的第二重模式信息M_S，

获取时域预测的第二重模式信息，本例中根据实施例1中所述方法得到时域预测的第二重模式信息M_T，

步骤3：使用RF_S和RF_T生成第一重残差预测值，本例中若M_S是竖直预测，M_T是16×16的分块大小，位置为(i，j)的第一重残差预测值为第i列的空域预测的第一重残差参考值即RF_S(i)和位置为(i，j)的时域预测的第一重残差参考值即RF_T(i，j)生成，本例中使用两个参考值的算术平均值即(RF_S(i)+RF_T(i，j))/2作为第一重残差预测值；本方法中使用时空域结合第二重预测时生成第一重残差预测值的方法不限于本例所述。

步骤4：重建后的第二重残差和第一重残差预测值相加的得到重建后的第一重残差；

步骤5：存储第二重预测存储信息。本例中存储的为已解码像素值。

步骤6：第一重预测器中，按背景技术中所述方法，实现第一重预测补偿过程，解码后输出重建图像。

实施例6：

一种二重预测视频解码方法，具体包括以下步骤：

步骤1：在码流中读取第二重残差和第一重模式信息等的编码信息，经过解码过程如熵解码、反量化和反变换等过程获得重建后的第二重残差和第一重模式信息等。此处的第一重模式信息来自第一重预测，本例中第一重预测是背景技术中所述的帧间预测P16X16，第一重预测不限于本例中所举例的情况，如背景模式中所述的帧间预测或背景技术中所述的帧内预测如I16MB模式等。

步骤2：第二重预测补偿器中，实现第二重预测，本例中的第二重预测为帧内预测中的方向预测，所使用的帧内预测还可以是背景技术中的其他帧内预测方法；本例中的第二重预测包括以下步骤：

步骤2.1：第一重残差参考值的生成：

设当前待处理单元为m×n大小的矩形块，其左上像素点位置为(x，y)，首先取得当前待处理单元参考点位置的已解码像素值，本例使用的是当前待处理单元周围上方相邻行像素位置与左方相邻列像素位置的已解码的像素值D，见图5阴影位置点，图5中非阴影位置为当前待处理单元内的点，即D所来自的点的位置是(x+dx，y+dy)。其中当dy为-1时，dx为[-1，m]范围内的整数；当dx为-1时，dy为[-1，n]范围内的整数；所使用的当前待处理单元周围位置可以不限于本例所使用的位置，包括背景技术中帧内预测所使用的参考点位置。

其次根据当前待处理单元的第一重帧间预测模式信息中的第一重帧间预测运动信息，包括运动矢量和参考索引信息，其中运动矢量信息表示为(mv1_x，mv1_y)；从当前待处理单元周围上方相邻行像素位置与左方相邻列像素位置出发，取得第一重预测参考帧图像的已解码像素值D1，即D1所来自的点的位置是第一重预测参考帧图像中的(x+dx+mv1_x，y+dy+mv1_y)。其中当dy为-1时，dx为[-1，m]范围内的整数；当dx为-1时，dy为[-1，n]范围内的整数；

以上二值D与D1的差即为当前待处理单元的第一重残差参考值，其所对应点的位置为(x+dx，y+dy)。其中当dy为-1时，dx为[-1，m]范围内的整数；当dx为-1时，dy为[-1，n]范围内的整数

步骤2.2：第二重模式信息的生成：本例中第二重预测生成过程中使用的预测方法是空域预测。本例中由当前待处理单元E的第一重模式信息所指向的参考帧图像R1中与当前待处理单元位置对应所在单元E1的已解码像素值和当前待处理单元E的第一重模式信息组合确定第二重模式信息；本方法所使用的第二重判断信息及其组合不限于本例所述。本例中首先计算E1单元的已解码像素的最大方向强度，当最大方向强度指向水平方向而当前待处理单元E的第一重模式信息为8×16的分块模式，或最大方向强度指向竖直方向而当前待处理单元E的第一重模式信息为16×8的分块模式，将使用DC预测模式作为第二重模式信息；否则本例中的第二重模式信息的方向预测为与最大方向强度所指示的方向相同的方向预测模式。

步骤3：第一重残差预测值的生成：使用背景技术中所述的帧内预测方法，本例中第一重残差预测值将为第一重残差参考值的拷贝或线性组合。若当前的第二重预测模式信息为竖直预测模式，当前待处理单元第i列的第一重残差预测值为第一重残差参考值中所对应点的位置为(x+i，-1)的值，其中i为[0，m-1]范围内的整数。

步骤4：重建后的第二重残差和第一重残差预测值相加的得到重建后的第一重残差。

步骤5：存储第二重预测存储信息。

步骤6：第一重预测器中，按背景技术中所述方法，实现第一重预测补偿过程，解码后输出重建图像。

实施例7：

一种二重预测视频编解码系统，如图7，具体包括实施例2所述的一种二重预测视频编码方法和实施例1所述的一种二重预测视频解码方法：通过实施例2所述的一种二重预测视频编码方法得到编码码流，通过实施例1所述的一种二重预测视频解码方法进行码流解码可以获得编码恢复后的图像序列。

实施例8：

一种二重预测视频解码装置，实现的是实施例1所述的二重预测编解码系统，见图1所示。第二重预测补偿器的一个输入端接自码流解码的重建后的第二重残差，另一个输入端接自第二重预测存储器的第二重预测存储信息，输出端接到第一重预测补偿；第二重模式生成器输入端接第二重预测存储器输出端接到第二重预测生成器的一个输入端；第二重预测生成器的另一输入端接来自第二重预测参考生成器，输出端接到加法器；第二重预测参考生成器输入端接来自第二重预测存储器，输出端接到第二重预测生成器；第二重预测存储器，第一输入端接码流解码的第二重预测存储信息，第二输入端接来自第二重预测补偿器的第二重预测存储信息，第三输入端接第一重预测补偿器的输出端，输出端接到第二重预测补偿器的第二重预测存储信息；第一重预测补偿器，一输入端接为码流中解码出的第一重模式信息，另一输入端接为来自第二重预测补偿器的重建后的第一重残差，输出端接为重建图像像素值。

实施例9：

一种二重预测视频编码装置，实现的是实施例2所述的二重预测编解码系统，见图2所示。第二重预测器的一个输入端接来自第一重预测器的第一重残差，另一个输入端接来自第二重预测存储器的第二重预测存储信息，输出端为接码流编码的第二重残差；

第二重模式生成器输入端接自第二重预测存储器，输出端接到第二重预测生成器；第二重预测生成器的一个输入端接来自第二重模式生成器，另一输入端接来自第二重预测参考生成器，输出端接减法器；第二重预测参考生成器输入端接来自第二重预测存储器，输出端接到第二重预测生成器；第二重预测存储器，一个输入端接来自解码装置的第二重预测存储信息，另一输入端接来自第一重预测的第二重预测存储信息，输出端接到第二重预测器的第二重预测存储信息；第一重预测器，一输入端接为原始图像信息，一输入端接为来自解码装置的重建图像和第一重预测信息，一输出端输出接第一重残差到第二重预测器，另一输出端输出接供码流编码的第一重模式信息，一输出端输出接到第二重预测存储器的第二重预测存储信息。

Claims (8)

1.一种二重预测视频解码方法，其特征在于：

(1)在第二重预测补偿过程中根据第一重残差参考值进行预测而获得第一重残差预测值，其中第一重残差参考值由已解码的像素值生成；

(2)第二重预测存储所存储的信息包括第二重预测判断信息和已解码的像素值。

2.根据权利要求1所述的二重预测视频解码方法，其特征在于：

i.所述第一重残差参考值，其生成过程为第二重预测参考生成过程，该过程的输入至少包括以下值：

A.当第二重预测生成过程中使用的预测方法是空域预测：

a)当前待处理单元E空域预测参考点位置已解码的像素值D；

b)由当前待处理单元E的第一重模式信息所指向的参考帧图像R1中与空域预测参考点位置对应的已解码像素值根据第一重模式信息生成的已解码像素值D的预测值D1；

B.当第二重预测生成过程中使用的预测方法是时域预测：

a)由当前待处理单元E的第一重模式信息和第二重模式信息所指向的参考图像R1中与当前待处理单元位置对应所在单元E1的已解码像素值D1；

b)由单元E1的第一重模式信息和单元E的第二重模式信息所指向位置的参考图像R2中与当前待处理单元位置对应所在单元E2的已解码像素值根据单元E1的第一重模式信息和单元E的第二重模式信息生成的已解码像素值D1的预测值D2；

C.当第二重预测生成过程中使用的预测方法是时空域结合的预测，输入包括(A)中所述的信息和(B)中所述的信息；

ii.第一重残差参考值由(i)中的输入经组合得到；

iii.所述第一重残差预测值，其生成过程为第二重预测生成过程，该过程由第一重残差参考值根据第二重模式信息预测生成第一重残差预测值，所述预测为空域预测或时域预测或时空域结合的预测。

3.根据权利要求1所述的二重预测视频解码方法，其特征在于，所述第二重预测判断信息包括当前待处理单元、当前待处理单元周围可用单元和当前待处理单元所在图像的可用参考图像位置的以下信息：

1)预定义值

2)重建图像像素值，

3)图像像素的预测值，

4)重建后的第一重残差，

5)第一重残差预测值，

6)第一重模式信息，

7)重建后的第二重残差，

8)第二重模式信息；

第二重预测判断信息组合产生权利要求2中的第二重模式信息。

4.一种二重预测视频编码方法，其特征在于，

(1)在第二重预测过程中根据第一重残差参考值进行预测而获得第一重残差预测值，其中第一重残差参考值由已编码的像素值生成；

(2)第二重预测存储所存储的信息包括第二重预测判断信息和已编码的像素值。

5.根据权利要求4所述的二重预测视频编码方法，其特征在于，

i.所述第一重残差参考值，其生成过程为第二重预测参考生成过程，该过程的输入至少包括以下值：

A.当第二重预测生成过程中使用的预测方法是空域预测：

a)当前待处理单元E空域预测参考点位置已编码的像素值P；

b)由当前待处理单元E的第一重模式信息所指向的参考图像R1中与空域预测参考点位置对应的已编码像素值根据第一重模式信息生成的已编码的像素值P的预测值P1；

B.当第二重预测生成过程中使用的预测方法是时域预测：

a)由当前待处理单元E的第一重模式信息和第二重模式信息所指向的参考图像R1中与当前待处理单元位置对应所在单元E1的已编码像素值P1；

b)由单元E1的第一重模式信息和单元E的第二重模式信息所指向位置的参考图像R2中与当前待处理单元位置对应所在单元E2的已解码像素值根据单元E1的第一重模式信息和单元E的第二重模式信息生成的已编码像素值P1的预测值P2；

C.当第二重预测生成过程中使用的预测方法是时空域结合的预测：输入包括(A)中所述的信息和(B)中所述的信息；

ii.第一重残差参考值由(i)中的输入经组合得到；

iii.所述第一重残差预测值，其生成过程为第二重预测生成过程，该过程由第一重残差参考值根据第二重模式信息预测生成第一重残差预测值，所述预测为空域预测或时域预测或时空域结合的预测。

6.根据权利要求4所述的二重预测视频编码方法，其特征在于，所述第二重预测判断信息包括当前待处理单元、当前待处理单元周围可用单元和当前待处理单元所在图像的可用参考图像位置的以下信息：

1)预定义值，

2)重建图像像素值，

3)图像像素的预测值，

4)重建后的第一重残差，

5)第一重残差预测值，

6)第一重模式信息，

7)重建后的第二重残差，

8)第二重模式信息；

第二重模式信息第二重预测判断信息组合产生权利要求6中的第二重模式信息。

7.一种用于权利要求1所述一种二重预测视频解码方法的装置，其特征在于包括：包括由第二重模式生成器(8011)、第二重预测生成器(8012)、第二重预测参考生成器(8013)和加法器组成的第二重预测补偿器(801)；第二重预测存储器(802)；

第二重预测补偿器(801)的一个输入端接自码流解码的重建后的第二重残差，另一个输入端接自第二重预测存储器(802)的第二重预测存储信息，输出端接到第一重预测补偿；

第二重模式生成器(8011)输入端接第二重预测存储器(802)，输出端接到第二重预测生成器(8012)的一个输入端；第二重预测生成器(8012)的另一输入端接来自第二重预测参考生成器(8013)，输出端接到加法器；第二重预测参考生成器(8013)输入端接来自第二重预测存储器(802)，输出端接到第二重预测生成器(8012)；

第二重预测存储器(802)，第一输入端接码流解码的第二重预测存储信息，第二输入端接

来自第二重预测补偿器(801)的第二重预测存储信息，第三输入端接第一重预测补偿器的输出端，输出端接到第二重预测补偿器(801)的第二重预测存储信息。

8.一种用于权利要求4所述一种二重预测视频编码方法的装置，其特征在于包括：包括由第二重模式生成器(8031)、第二重预测生成器(8032)、第二重预测参考生成器(8033)和减法器组成的第二重预测器(803)；第二重预测存储器(802)；

第二重预测器(803)的一个输入端接来自第一重预测器的第一重残差，另一个输入端接来自第二重预测存储器(802)的第二重预测存储信息，输出端为接码流编码的第二重残差；

第二重模式生成器(8031)输入端接自第二重预测存储器(802)，输出端接到第二重预测生成器(8032)；第二重预测生成器(8032)的一个输入端接来自第二重模式生成器(8031)，另一输入端接来自第二重预测参考生成器(8033)，输出端接减法器；第二重预测参考生成器(8033)输入端接来自第二重预测存储器(802)，输出端接到第二重预测生成器(8032)；

第二重预测存储器(802)一个输入端接来自解码装置的第二重预测存储信息，另一输入端接来自第一重预测的第二重预测存储信息，输出端接到第二重预测器(803)的第二重预测存储信息。

Images