CN101895756B - 视频图像块的编码、解码、重构方法及系统 - Google Patents

Abstract

本发明公开了一种视频图像块的编码、解码、重构方法及系统。其中，编码方法包括：选择预测模式，根据图像块周围已经重构的像素生成预测块；计算图像块和预测块对应像素之间的差值，得到残差值，所有残差值组成一个残差块；从一组待选的残差值的重排列顺序中，选择至少一个残差值的排列顺序，对残差块内的残差值进行重新排序；选择变换函数对重排序之后的残差块进行变换，得到残差块的变换系数表示，并进行变换系数扫描，量化，熵编码。本发明通过在空域对残差块内的残差采样值进行重排序，使得不同模式的残差统计特性近似相同，从而可以仅使用少量的变换函数实现与模式相关变换近似的性能，同时降低了编解码器的存储复杂度。

Description

视频图像块的编码、解码、重构方法及系统

技术领域

本发明涉及图像编码领域，尤其涉及一种视频图像块的编码、解码、重构方法及系统。

背景技术

新一代的视频编码标准H.264/AVC在已有的视频编码标准的框架之下，实现了编码效率的大幅度提高，成为今后视频信息压缩格式的主流标准。

在视频编码器中，视频数据首先被划分为若干个16×16大小的块，其中每一个16×16大小的块被称为宏块(Macroblock)，视频编码的过程以宏块(Macroblock)为单位进行。在编码器编码一个宏块的过程当中，会进一步将宏块划分为多个更小的单元，比如16个4×4的块，如图1所示，或者4个8×8的块等。以H.264/AVC中4×4块的帧内编码为例，如图2所示，编码器首先利用每个4×4块周围的像素(A～L，Q，图2左)根据某个预测方向(图2右)生成一个4×4大小的预测块(Predicted block)，然后将4×4块与这个预测块逐个像素求差值，得到一个4×4大小的残差块(Residual block)，残差块中的16个元素称之为残差采样(Residual sample)值。由于不同的预测方向对应的残差的统计特性有所不同，近年来，有研究者提出模式相关的方向变换，即对不同的预测方向，采用不同的变换函数，在此基础之上，又有研究者进一步提出率失真最优变换，即每个预测方向有若干个待选的变换函数，在编码过程中，编码器会针对每个残差块分别选择对应的性能最优的变换函数。这些方法显著地提高了H.264/AVC帧内编码的性能，但同时也提高了编码器和解码器的复杂度，一个主要的方面就是变换函数数量的显著增加导致更高的编解码器的存储复杂度。

发明内容

本发明的目的在于提供一种视频图像块的编码、解码、重构方法及系统，以降低了编解码器的存储复杂度。

第一方面，本发明公开了一种视频图像块的编码方法，所述图像块是图像像素值的集合，该方法包括，预测块生成步骤，选择预测模式，根据图像块周围已经重构的像素生成预测块；残差块计算步骤，计算图像块和预测块对应像素之间的差值，得到残差值，所有残差值组成一个残差块；残差值重排序步骤，从一组待选的残差值的重排列顺序中，选择至少一个残差值的排列顺序，对残差块内的残差值进行重新排序；编码步骤，选择变换函数对重排序之后的残差块进行变换，得到残差块的变换系数表示，并进行变换系数扫描，量化，熵编码。

上述编码方法，优选所述残差值重排序步骤中，残差值的重排列顺序的选择有如下三种选择方式：方式一、根据所选择的预测模式，从一组待选的残差值的重排列顺序中，选择至少一个残差值的排列顺序；或方式二、根据当前残差块的数值，从一组待选的残差值的重排列顺序中，选择至少一个残差值的排列顺序；或方式三、根据所选择的预测模式以及当前残差块的数值，从一组待选的残差值的重排列顺序中，选择至少一个残差值的排列顺序。

上述编码方法，优选对于帧内编码过程，采用所述方式一或所述方式三进行残差值的重排列顺序的选择；对于帧间编码过程，采用所述方式二进行残差值的重排列顺序的选择。

第二方面，本发明公开了一种视频图像块的解码方法，所述图像块是图像像素值的集合，该方法包括如下步骤：解码步骤，对编码的结果进行熵解码，反量化，变换系数逆扫描，得到用于编码当前图像块的预测模式，以及残差块的变换系数表示；预测步骤，根据解码得到的预测模式，并根据图像块周围已经解码得到的像素生成预测块；反变换步骤，选择变换函数对解码步骤得到的残差块的变换系数表示进行反变换，得到残差块；残差值逆重排序步骤，根据解码步骤得到的信息，从一组待选的残差值的重排列顺序中，选择至少一个残差值的排列顺序，对残差块内的残差值进行逆重排序；残差预测步骤，根据预测块和逆重排序的残差块生成预测残差。

第三方面，本发明公开了一种视频图像块的重构方法，所述图像块是图像像素值的集合，该方法包括如下步骤：反量化及反变换步骤，对量化后的残差块的变换系数表示进行反量化，并选择变换函数对反量化后的变换系数表示进行反变换，得到残差块；残差值逆重排序步骤，根据编码过程所选定的残差值的重排列顺序，对反量化及反变换步骤得到的残差块内的残差值进行逆重排序；残差预测步骤，根据预测块和逆重排序的残差块生成预测残差。

第四方面，本发明公开了一种视频图像块的编码系统，所述图像块是图像像素值的集合，包括：预测块生成模块，用于选择预测模式，根据图像块周围已经重构的像素生成预测块；残差块计算模块，用于计算图像块和预测块对应像素之间的差值，得到残差值，所有残差值组成一个残差块；残差值重排序模块，从一组待选的残差值的重排列顺序中，选择至少一个残差值的排列顺序，对残差块内的残差值进行重新排序；编码模块，用于选择变换函数对重排序之后的残差块进行变换，得到残差块的变换系数表示，并进行变换系数扫描和量化，变换，熵编码。

上述编码系统，优选所述残差值重排序模块中，残差值的重排列顺序的选择有如下三种选择方式：方式一、根据所选择的预测模式，从一组待选的残差值的重排列顺序中，选择至少一个残差值的排列顺序；或方式二、根据当前残差块的数值，从一组待选的残差值的重排列顺序中，选择至少一个残差值的排列顺序；或方式三、根据所选择的预测模式以及当前残差块的数值，从一组待选的残差值的重排列顺序中，选择至少一个残差值的排列顺序。

上述编码系统，优选对于帧内编码过程，采用所述方式一或所述方式三进行残差值的重排列顺序的选择；对于帧间编码过程，采用所述方式二进行残差值的重排列顺序的选择。

第五方面，本发明公开了一种视频图像块的解码系统，所述图像块是图像像素值的集合，包括解码模块、预测模块、反变换模块、残差值逆重排序模块和残差预测模块。其中，解码模块用于对编码的结果进行熵解码，反量化，变换系数逆扫描，得到用于编码当前图像块的预测模式，以及残差块的变换系数表示；预测模块用于根据解码得到的预测模式，并根据图像块周围已经解码得到的像素生成预测块；反变换模块用于选择变换函数对解码步骤得到的残差块的变换系数表示进行反变换，得到残差块；残差值逆重排序模块用于根据解码步骤得到的信息，从一组待选的残差值的重排列顺序中，选择至少一个残差值的排列顺序，对残差块内的残差值进行逆重排序；残差预测模块用于根据预测块和逆重排序的残差块生成预测残差。

第五方面，本发明公开了一种视频图像块的重构系统，所述图像块是图像像素值的集合，包括：反量化及反变换模块、残差值逆重排序模块和残差预测模块。其中，反量化及反变换模块用于对量化后的残差块的变换系数表示进行反量化，并选择变换函数对反量化后的变换系数表示表示进行反变换，得到残差块；残差值逆重排序模块用于根据编码过程所选定的残差值的重排列顺序，对反量化及反变换模块得到的残差块内的残差值进行逆重排序；残差预测模块用于根据预测块和逆重排序的残差块生成预测残差。

相对于现有技术而言，本发明通过在空域对残差块内的残差采样值进行重排序，使得不同模式的残差统计特性近似相同，从而可以仅使用少量的变换函数实现与模式相关变换近似的性能，同时降低了编解码器的存储复杂度。

附图说明

图1是本发明视频图像块的编码方法实施例的步骤流程图；

图2是将单个宏块划分为16个4×4的块的示意图；

图3是本发明一种视频图像块的编码方法实施例的步骤流程图；

图4是H.264/AVC中4×4块的帧内预测示意图；

图5是H.264/AVC中4×4块的帧内预测模式0和帧内预测模式1的残差幅值分布示意图；

图6是经过重排序后，H.264/AVC中4×4块的帧内预测模式0和帧内预测模式1的残差幅值分布示意图；

图7是H.264/AVC中4×4块的9个帧内预测模式的一种重排序方法的示意图；

图8A为本发明视频图像块的编码系统的结构示意图；

图8B为残差值重排序模块的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图3，图3为本发明一种视频图像块的编码方法实施例的步骤流程图，包括如下步骤：预测块生成步骤S1，选择预测模式，根据图像块周围已经重构的像素生成预测块；残差块计算步骤S2，计算图像块和预测块对应像素之间的差值，得到残差值，所有残差值组成一个残差块；残差值重排序步骤S3，从一组待选的残差值的重排列顺序中，选择至少一个残差值的排列顺序，对残差块内的残差值进行重新排序；编码步骤S4，选择变换函数对重排序之后的残差块进行变换，得到残差块的变换系数表示，并进行变换系数扫描，量化，熵编码。

其中，残差值重排序步骤中，残差值的重排列顺序的选择有如下三种选择方式：

1)、根据所选择的预测模式，从一组待选的残差值的重排列顺序中，选择至少一个残差值的排列顺序。该方式适用于帧内预测过程。

2)、根据当前残差块的数值，从一组待选的残差值的重排列顺序中，选择至少一个残差值的排列顺序。改方式适用于帧间编码过程。

3)、根据所选择的预测模式以及当前残差块的数值，从一组待选的残差值的重排列顺序中，选择至少一个残差值的排列顺序。该方式适用于帧内预测过程。

参照图4，图4为本发明一种视频编码中预测残差的重排序方法实施例的步骤流程图，包括如下步骤：统计特性获取步骤110，统计各个模式下残差的幅度分布，获取不同模式的残差分布的统计特性；重排序步骤120，对残差进行重排序，使得所述不同模式的残差分布的统计特性近似相同。

上述实施例通过在空域对残差块内的残差采样值进行重排序，使得不同模式的残差统计特性近似相同，从而可以仅使用少量的变换函数实现与模式相关变换近似的性能，同时降低了编解码器的存储复杂度。

上述实施例中，首先对各个模式下的残差的幅度分布进行统计，以H.264/AVC中4×4块的帧内预测模式0和帧内预测模式1为例，如图5所示，可以看出：模式0的残差呈现水平方向幅值相近，垂直方向幅值由上到下增大的统计特征，而模式1的残差呈现垂直方向幅值相近，水平方向幅值由左到右增大的统计特征。为了使预测模式0和帧内预测模式1的残差的分布特性近似相同，通过对预测模式0进行水平方向的逐行扫描，预测模式1进行垂直方向的逐行扫描，得到图6所示的重排序后的残差块的幅度值的分布特性，可以看出：通过重排序，预测模式0和帧内预测模式1的残差的分布特性都呈现水平方向幅值相近，垂直方向幅值由上到下增大的统计特征。

类似地，对其余的帧内模式的残差也按照统计特性近似相同的目标进行重排序，使得不同帧内模式的残差的统计特性近似相同。然后记录各个帧内模式下经过重排序后的残差块，训练一组变换函数用于编码和解码过程中的变换和反变换。图7为H.264/AVC中9个帧内预测模式的一种重排序方法的示意图。在帧内编码过程中，对宏块中的每个块，首先进行帧内预测，然后根据帧内预测模式选定重排序的方法对残差进行重排序，随后进行变换，量化，熵编码等运算；在解码以及重建过程中，根据帧内预测模式，对反变换后的残差块进行逆重排序，然后再对逆重排序后的残差块进行像素重建等运算。

编码过程：

以宏块的形式提供视频数据，将视频中的一帧(称为本帧)划分为宏块，然后将宏块划分为多个图像块，(图1即为将单个宏块划分为块的示意图)并按照以下步骤循环地对当前帧每个块进行编码；

根据当前帧内预测模式，利用当前块周围已经重建的像素值生成预测块，并计算预测块和图像块之间的差值，即残差块；

根据当前帧内预测模式，按照图6中所示的排序顺序，选定对应的重排序方法对残差块进行重排序；

根据步骤(三)中得到的重排序后的残差块，进行量化，变换，熵编码

重复上述步骤，继续下一帧的编码，直到视频最后一帧处理完毕。

按照本发明的一个具体实施方式，本发明所提出的方法可以直接应用在KTA参考软件中的帧内编码过程中。

表1和表2列出了本发明与已有的方法已有方法在KTA参考软件上的性能差异，其中分辨率分别为720p(1280×720)和1080p(1920×1080)，全部宏块采用帧内编码。实验表明，本发明能够保持和已有方法一致的性能，同时变换矩阵的数量大大减少，即存储复杂度降低。这里的已有方法是指“|Y.Ye and M.Karczewicz，“Improved h.264 intra coding based on bi-directional intra prediction，directional transform，and adaptive coefficient scanning，”Proceedings ofthe 2008 IEEE International Conference on Image Processing(ICIP)，pp.2116-2119，Oct.2008”中记载的方法。

表1本发明与已有方法的性能差异

	BD-YPSNR	BD-Rate
			Rush_Hour(1080p)	-0.028	0.951
Station2(1080p)	0.009	-0.260
			Sunflower(1080p)	-0.062	1.528
Tennis(1080p)	0.006	-0.193
			Tractor(1080p)	-0.021	0.426
BigShips(720p)	0.023	-0.484
			Night(720p)	0.059	-0.921
Sailormen(720p)	0.013	-0.348
			City(720p)	0.053	-0.749
Crew(720p)	0.014	-0.210
			Harbour(720p)	0.003	-0.026
平均	0.006	-0.026

表2本发明与已有方法的所用到的变换矩阵的数量

帧内预测模式	已有方法	本发明方法
			I4MB	18	3
I8MB	18	3
			I16MB	8	3

虽然本发明是在KTA参考软件的帧内编码中，但可以它同样适用于其他的编解码平台，如H.264/AVC，VC-1，AVS等。本发明也同样适用于P帧和B帧的帧内编码模块。

参照图8A和图8B，图8A为本发明视频图像块的编码系统的结构示意图，图8B为残差值重排序模块的结构示意图。视频图像块的编码系统包括：预测块生成模块80，用于选择预测模式，根据图像块周围的像素生成预测块；残差块计算模块82，用于计算图像块和预测块对应像素之间的差值，得到残差值，所有残差值组成一个残差块；残差值重排序模块84，用于根据所选的预测模式，选择至少一个残差值的排列顺序，对残差块内的残差值进行重新排序；编码模块86，用于选择变换函数对重排序之后的残差块进行量化，变换，熵编码。其中，残差值重排序模块84包括统计特性获取单元841和重排序单元842，其中，统计特性获取单元841用于统计各个模式下残差的幅度分布，获取不同模式的残差分布的统计特性；重排序单元842用于对残差块内的残差进行重排序，使得所述不同模式的残差分布的统计特性近似相同。

需要说明的是，编码系统实施例与编码方法实施例的原理相同，解码系统与解码方法的原理相同，并且，解码与编码是相互对应的，相关之处参考系统实施例即可，在此不再赘述。

以上对本发明所提供的一种视频图像块的编码、解码、重构方法及系统进行详细介绍，本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (2)

1.一种视频图像块的编码方法，所述图像块是图像像素值的集合，其特征在于，该方法包括，

预测块生成步骤，选择预测模式，根据图像块周围已经重构的像素生成预测块；

残差块计算步骤，计算图像块和预测块对应像素之间的差值，得到残差值，所有残差值组成一个残差块；

残差值重排序步骤，从一组待选的残差值的重排列顺序中，选择至少一个残差值的排列顺序，对残差块内的残差值进行重新排序；

编码步骤，选择变换函数对重排序之后的残差块进行变换，得到残差块的变换系数表示，并进行变换系数扫描，量化，熵编码；

所述残差值重排序步骤中，残差值的重排列顺序的选择有如下三种选择方式：

方式一、根据所选择的预测模式，从一组待选的残差值的重排列顺序中，选择至少一个残差值的排列顺序；或

方式二、根据当前残差块的数值，从一组待选的残差值的重排列顺序中，选择至少一个残差值的排列顺序；或

方式三、根据所选择的预测模式以及当前残差块的数值，从一组待选的残差值的重排列顺序中，选择至少一个残差值的排列顺序；

对于帧内编码过程，采用所述方式一或所述方式三进行残差值的重排列顺序的选择；对于帧间编码过程，采用所述方式二进行残差值的重排列顺序的选择。

2.一种视频图像块的编码系统，所述图像块是图像像素值的集合，其特征在于，包括：

预测块生成模块，用于选择预测模式，根据图像块周围已经重构的像素生成预测块；

残差块计算模块，用于计算图像块和预测块对应像素之间的差值，得到残差值，所有残差值组成一个残差块；

残差值重排序模块，从一组待选的残差值的重排列顺序中，选择至少一个残差值的排列顺序，对残差块内的残差值进行重新排序；

编码模块，用于选择变换函数对重排序之后的残差块进行变换，得到残差块的变换系数表示，并进行变换系数扫描和量化，变换，熵编码；

所述残差值重排序模块中，残差值的重排列顺序的选择有如下三种选择方式：

方式一、根据所选择的预测模式，从一组待选的残差值的重排列顺序中，选择至少一个残差值的排列顺序；或

方式二、根据当前残差块的数值，从一组待选的残差值的重排列顺序中，选择至少一个残差值的排列顺序；或

方式三、根据所选择的预测模式以及当前残差块的数值，从一组待选的残差值的重排列顺序中，选择至少一个残差值的排列顺序；

对于帧内编码过程，采用所述方式一或所述方式三进行残差值的重排列顺序的选择；对于帧间编码过程，采用所述方式二进行残差值的重排列顺序的选择。

Images