CN102752588B - 使用空间缩放预测的视频编解码方法 - Google Patents

Abstract

本发明公开了一种使用空间缩放预测的视频编解码方法。所述编码方法包括：利用缩放信息，在原始参考帧不同缩放比的缩放参考帧上做运动估计，找到最佳匹配；利用缩放预测通过预先设定的缩放层数、最小缩放步长以及缩放预测值来估计所述缩放参考帧的缩放步长和缩放窗口；利用参考帧索引预测来预测原始参考帧和缩放参考帧的编号方式，节省编码参考帧索引所需的比特数。所述解码方法解码每个宏块时包括：先进行参考帧索引预测，并找出参考帧所在参考帧矩阵中的位置；进行缩放预测，找出参考帧缩放比；根据缩放比和MV生成预测块；最后进行运动补偿等步骤。

Description

使用空间缩放预测的视频编解码方法

技术领域

本发明涉及数字视频编解码技术领域，特别是涉及到一种使用视频序列的空间缩放信息对当前帧进行预测的编码和解码方法。

技术背景

目前主流的基于块匹配混合编码框架的视频编解码标准，例如MPEG4，H.264/AVC，AVS等，在帧间预测中，从空间上主要考虑了图像块在二维平面中的运动，即横向和纵向的运动。通过基于块匹配的运动估计得到当前图像块的运动矢量，找出当前图像块在前一帧或多帧中，以及在后一帧中的对应块，用这些对应块对当前图像块进行预测，并将运动向量编入码流。此外，对运动向量同样进行了预测，即使用当前块周围一些块的运动矢量计算当前块的预测运动矢量，而仅将预测运动矢量和通过运动估计得到的实际运动矢量之差编入码流，大大节约了编码所需比特数。

在大部分视频序列中，图像内容都不是简单的在二维平面中运动，而是存在缩放现象。场景中的物体相对于拍摄镜头的距离发生变化，会引起物体的缩放；摄像机拉伸镜头会造成整个场景的缩放。因此，如果当前块和参考帧中对应块存在缩放关系，使用现有视频编码标准中的运动估计算法则得不到最佳匹配的块。而如果能利用视频序列中的缩放关系进行辅助预测，则能很好地提升编码质量。

经过对现有文献检索和调研发现，香港城市大学的Lai-Man Po等人于2010年发表的《Subsampled Block-Matching for Zoom Motion Compensated Prediction》即提出了利用缩放信息进行视频编码的方法。该论文中提出，利用原编解码标准中分像素预测所需的插值图像，来生成某些特定缩放比的参考帧。同时，使用多帧参考的参考帧索引来表示原多帧参考的参考帧和进行缩放之后的参考帧。该方法能提升编码性能，并能较为方便地整合到现有编解码框架中。但是由于该方法只能使用特定缩放比的参考帧，而实际应用中的视频缩放比是不确定的，因此该方法不能达到较高的编码质量提升。同时，由于编码需要生成较多的参考帧，因此使用到的参考帧索引值会比较大，影响了编码性能。

因此，本发明提出针对每一个宏块通过缩放预测，使用不同的缩放步长和缩放窗口生成不同的缩放参考帧的方法，使得对缩放的预测更加精确。同时，提出使用参考帧索引预测的方法来预测参考帧索引编号方式，减小了为表示参考帧索引需消耗的比特数。

发明内容

本发明的目的在于提供一种利用视频序列的空间缩放信息辅助压缩的视频编解码方法，在不大幅增加解码复杂度的情况下，提高视频压缩的质量和效率。

为实现上述目的，根据本发明的一方面，提供了一种视频编码方法，使运动估计在原始参考帧的不同缩放比的缩放参考帧上进行，以查找最佳匹配块。所述方法包括：在每一个图像帧中记录原始参考帧数目R、缩放层层数L和最小缩放步长S，缩放层层数及最小缩放步长可以人为设定或通过前面若干帧估计得到；所述原始参考帧即当前帧在原始视频序列中前后若干帧未经缩放的重建帧；所述图像帧中一个宏块的一个原始参考帧具有一组共L个相等缩放步长的包括所述原始参考帧在内的缩放参考帧组，所述缩放参考帧组的缩放步长以及缩放窗口通过缩放预测得到；不同宏块可以具有不同缩放步长及缩放窗口的缩放参考帧；所述宏块内的子块可以在所述原始参考帧的缩放参考帧组中进行运动估计，寻找最佳匹配块；所述宏块选择的参考帧的索引值可以采用不同的方法进行编号，编号的方法通过参考帧索引预测得出。

所述缩放参考帧组是由一系列根据原始参考帧使用不同缩放比进行双线性插值缩放变换得到的缩放参考帧组成，其中包含缩放比为1的缩放参考帧，即原始参考帧。这些缩放参考帧的缩放比从小到大排列，相邻缩放比之间具有相等的缩放步长。所述缩放步长以及缩放窗口由缩放预测得到。

所述缩放预测包括：将当前宏块左方、左上方、上方、右上方宏块中，可用宏块的缩放比平均值Z₀作为当前宏块的缩放比预测值；所述可用宏块是指宏块存在，并且其缩放比也存在的宏块；根据Z₀和1的大小关系以及所述当前帧缩放层层数L，通过表1查询缩放窗口设置。其中，当前帧缩放层层数L可表示为3n+k(n为自然数，k＝1，2，3)：

表1

从表1可以查看当缩放比预测值Z₀同1的差的绝对值大于最小缩放步长S的n倍时，缩放比在1和Z₀之间的缩放参考帧有n+1个，其中包含1不包含Z₀，将1和Z₀之间的缩放比值平均分为n+1份，即求得缩放步长为当缩放比预测值Z₀同1的差的绝对值小于等于最小缩放步长S的n倍时，缩放步长设为从表1中还可查询得到缩放窗口设置，即缩放比在不同范围的缩放参考帧数目。根据所述缩放窗口和缩放步长，可确定一个缩放参考帧组中每一个缩放参考帧的缩放比，并对原始参考帧进行双线性缩放操作，生成所述每一个缩放参考帧。缩放参考帧生成之后，所述宏块就可以在缩放参考帧上进行运动估计，而只需要用参考帧索引区分不同的缩放参考帧及原始参考帧。若所述宏块有多个原始参考帧，则每一个原始参考帧具有一个缩放参考帧组，所有缩放参考帧组的缩放窗口和缩放步长都相同，且都是通过以上所述缩放预测得到。

所述参考帧索引预测是指针对参考帧索引的编号方式进行预测。由于引入了缩放关系，因此原来以时间排布的一维的参考帧序列变为以时间和缩放关系排布的二维的参考帧矩阵。基本的编号方式可以以时间维度优先，先编号同一时刻不同缩放比的参考帧，再编号不同时刻的参考帧；也可以以缩放关系优先，先编号同一缩放比不同时刻的参考帧，再编号不同缩放比的参考帧。所述参考帧索引预测方法为：判断当前宏块左方、左上方、上方、右上方宏块中可用宏块的缩放比；若所述可用宏块的缩放比同时大于1，或者同时小于1，则以时间维度优先，先编号同一时刻不同缩放比的参考帧；反之，则先编号同一缩放比不同时刻的参考帧。

根据本发明的另一方面，提供了一种视频解码方法，所述方法包括：解码一帧图像时，先解码出该图像的缩放层层数L和最小缩放比S；在解码每个宏块时，先进行所述的参考帧索引预测，根据所述宏块的参考帧索引计算得出所述宏块所用的参考帧在参考帧矩阵中的位置；根据周围宏块的缩放比、缩放层层数L、最小缩放比S以及表1进行缩放预测求得缩放窗口及缩放步长，进而根据所述宏块所用参考帧在参考帧矩阵中的位置计算出该参考帧的缩放比；然后解码所述宏块的各个子块，根据各个子块的运动失量以及参考帧的缩放比从原始参考帧对应位置的图像块通过双线性差值缩放操作求出所述各个子块的预测子块；最后将预测子块用于运动补偿。

本发明具有以下优点：能利用缩放信息提高视频编码压缩率；不同宏块根据缩放预测采用不同缩放步长以及缩放窗口，能更好的适应图像中不同区域缩放关系的差异性，提高压缩率；对参考帧索引进行预测，减少表示参考帧索引所需的比特数，提高编码效率。

附图说明

图1是实施例中编码的流程图；

图2是缩放预测和参考帧索引预测所使用的当前宏块的周围宏块示意图；

图3是实施例中不同预测缩放比下的缩放窗口和缩放步长；

图4是实施例中不同的参考帧索引编号方法。

图5是实施例中解码的流程图。

具体实施方式

下面结合附图和实施例，对本发明进行详细的描述。本实施例仅为本发明的一个实施例而不是全部实施例。

该实施例的编码流程如图1所示，当编码一帧图像的时候，首先将人为设定的缩放层层数L和最小缩放步长S写入图像头中。该实施例中，将原始参考帧个数设为3，缩放层层数设为5，最小缩放步长设为0.05。针对每一个宏块使用缩放预测的运动估计。首先进行缩放预测，根据周围宏块的缩放比和所述缩放层层数5，以及最小缩放步长0.05，预测缩放窗口和缩放步长。根据缩放窗口和缩放步长通过双线性插值生成3个原始参考帧对应的3个缩放参考帧组共15个缩放参考帧。在各个缩放参考帧上进行运动估计，找到某一个缩放参考帧上该宏块各个子块的运动矢量。根据当前宏块周围的可用宏块进行参考帧索引预测，预测该宏块参考帧索引的编号方式。最后将参考帧索引和宏块各子块的残差、运动矢量等进行编码。

在对每一个宏块进行所述的缩放预测和参考帧索引预测的时候，先查看所述当前宏块左方、左上、上方以及右上的宏块状态，如图2所示。首先看这些宏块是否存在；若存在，这些宏块编码模式是否是帧间编码，是否有缩放比。若这些宏块存在且有缩放比，则是可用宏块。例如图2中当前宏块为宏块10，宏块11和宏块14不存在，宏块12和宏块13存在且具有缩放比，为可用宏块，则根据宏块12和宏块13的缩放比平均值作为宏块10的预测缩放比；并且根据宏块12和宏块13的缩放比大小来预测宏块10的参考帧索引编号方式。

该实施例中，所述缩放层层数为5，可表示为3*1+2。对每一个宏块进行所述的缩放预测的时候，利用每个宏块预测得到的缩放比以及最小缩放步长0.05，进行缩放窗口和缩放步长的预测。如图3所示，针对不同的预测缩放比可以得到不同的缩放窗口和缩放步长。对宏块100，预测缩放比为1.4。由于1.4＞1+1*0.05，根据表1可以得到缩放比位于1和1.4之间有一个缩放参考帧，因此计算得到缩放步长为并进而求出预测窗口中其他缩放参考帧的缩放比。对宏块200，预测缩放比为0.8，同理通过表1可得到缩放步长为0.1。对宏块300，预测缩放比为0.95，根据表1，该宏块缩放步长为最小缩放步长0.05，且缩放比大于1和小于1的缩放参考帧各有两个。

该实施例中原始参考帧设为3，因此对于每一个原始参考帧，都需要进行缩放操作生成另外4个缩放参考帧，共需生成12个缩放参考帧，具有较高的运算量。该实施例中，生成缩放参考帧时，跟据编码设定的最大搜索范围，仅跟据原始参考帧通过双线性插值计算出每个参考帧上搜索范围覆盖的局部画面，而不用生成完整一帧缩放参考帧。

该实施例中，所述参考帧索引编号方式有时间优先方式，即先编号同一时间不同缩放比的参考帧，如图4(a)所示，按虚线方向由0开始从小到大顺序开始编号；有缩放优先方式，即先编号同一缩放比的参考帧，如图4(b)所示，按虚线方向由0开始从小到大顺序编号。对每一个宏块进行所述参考帧索引预测的时候，跟据图2所示的当前块周围的可用宏块的缩放比预测当前宏块的参考帧索引编号方式。若可用宏块的缩放比全大于1或全小于1，则按时间优先方式编号，反之则按缩放优先方式编号。

该实施例中一个典型的解码流程如图5所示，解码一帧图像时，首先解码得到缩放层层数L和最小缩放步长S。然后对每一个宏块进行解码操作：进行参考帧索引预测，跟据如图2所示的当前宏块周围可用宏块的缩放比预测参考帧索引编号方式，若可用宏块的缩放比全大于1或全小于1，则按时间优先方式编号，反之则按缩放优先方式编号；跟据预测的参考帧索引编号方式和参考帧索引值，可以计算得到参考帧在参考帧矩阵中的位置；然后计算如图2所示的当前宏块周围可用宏块的缩放比均值，得到预测缩放比；根据预测缩放比、缩放层层数L和最小缩放步长S，在表1中查询缩放窗口设置，并计算出缩放步长；跟据缩放步长和所述参考帧在参考帧矩阵中的位置计算参考帧的缩放比；跟据参考帧缩放比和对应的原始参考帧以及宏块中子块的运动矢量计算子块的预测块；跟据预测块以及解码得到的残差进行运动补偿及其余解码步骤。

Claims (6)

1.一种使用空间缩放预测的视频编码方法，其特征在于：

在一帧编码图像头中记录该图像的原始参考帧数目R、缩放层层数L和最小缩放步长S；所述原始参考帧是当前帧在原始视频序列中前后若干个未经缩放的重建帧；所述缩放层层数是对一个原始参考帧经缩放得到的缩放参考帧组中参考帧的个数，其中包括了缩放比为1的原始参考帧本身；

对同一宏块不同原始参考帧进行缩放生成各个原始参考帧的缩放参考帧组时，要使用相同的缩放窗口和缩放步长；所述缩放窗口为缩放比在不同范围的缩放参考帧数目；

不同宏块可以拥有不同的缩放窗口和缩放步长；

缩放窗口和缩放步长通过缩放预测得到；

将所有参考帧排布成按时间维度和缩放维度组织的二维参考帧矩阵，对矩阵中参考帧按横向或纵向进行编号作为参考帧索引；

对参考帧编号的方式通过参考帧索引预测得到；

所述缩放预测方法包括：

当前宏块左方、左上方、上方、右上方宏块中，若宏块存在且宏块的缩放比也存在，则为可用宏块；

使用当前周围的可用宏块缩放比的平均值Z₀作为当前宏块的缩放比预测值；

跟据所述缩放比预测值Z₀、所述当前帧的缩放层层数L、所述当前帧的最小缩放步长通过查表方法求得缩放窗口；

跟据缩放窗口求得缩放步长。

2.如权利要求1所述的使用空间缩放预测的视频编码方法，其中，所述最小缩放步长S，是指图像中对任意一个宏块的任意一个原始参考帧进行缩放，允许的两个相邻的缩放比之差的最小值。

3.如权利要求1所述的使用空间缩放预测的视频编码方法，其中，所述查表方法包括：

将所述当前帧的缩放层层数表示为3n+k(n为自然数，k＝1，2，3)的形式；

根据所述当前宏块的缩放比预测值Z₀和1的大小关系，以及k的取值，在下表中查询缩放比在不同区间内的缩放参考帧数目。

4.如权利要求1所述的使用空间缩放预测的视频编码方法，其中，所述的跟据缩放窗口求得缩放步长的方法为：

当缩放比预测值Z₀同1的差的绝对值大于最小缩放步长S的n倍时，缩放比在Z₀和1之间的缩放参考帧有n+1个，其中包含1不包含Z₀，将1和Z₀之间的缩放比值平均分为n+1份，即求得缩放步长为

当缩放比预测值Z₀同1的差的绝对值小于等于最小缩放步长S的n倍时，缩放步长设为

5.如权利要求1所述的使用空间缩放预测的视频编码方法，其中，所述的参考帧索引预测方法为：

当前宏块左方、左上方、上方、右上方宏块中，若宏块存在且宏块的缩放比也存在，则为可用宏块；若所述可用宏块的缩放比同时大于1，或者同时小于1，则以时间维度优先，先编号同一时刻不同缩放比的参考帧；反之，则先编号同一缩放比不同时刻的参考帧。

6.一种使用空间缩放预测的视频解码方法，其特征在于：

先解码出图像的原始参考帧数目R、缩放层层数L和最小缩放比S；

在解码每个宏块时，先进行如权利要求5所述的参考帧索引预测，并跟据参考帧索引计算得出所述宏块所用的参考帧在参考帧矩阵中的位置；

进行如权利要求1所述的缩放预测，求得缩放窗口及缩放步长；

计算参考帧的缩放比；

根据所述宏块的各个子块的运动矢量以及参考帧的缩放比从原始参考帧对应位置的图像块通过双线性差值缩放操作求出所述各个子块的预测子块。