CN101521819B - 一种在视频图像压缩中对率失真进行优化的方法 - Google Patents

Abstract

本发明涉及视频图像处理领域，提供了一种在视频图像压缩中对率失真进行优化的方法。所述方法包括以下步骤：A编码器对获取到的图像进行空间域到频域的变换，并生成变换后的频域能量分布；B编码器根据编码输入参数和频域能量分布求取率失真最优化值；C编码器根据率失真最优化值，控制图像的编码压缩。本发明在率失真估算时，与现有技术相比的区别在于，将编码输入参数和变换后的频域能量分布同时引入了评估参数，从而根据该评估参数求取率失真最优化值，提高了评估精度，因此进一步增强了图像压缩的性能。

Description

一种在视频图像压缩中对率失真进行优化的方法

技术领域

本发明涉及视频图像处理领域，更具体地说，涉及一种在视频图像压缩中对率失真进行优化的方法。

背景技术

对于现代视频压缩技术来说，一般采用混合编码框架，这样的编码框架一般都提供了运动搜索，空间纹理预测、变换编码、熵编码等系列工具与算法。根据信息论，对于不同特征的图像区域，熵有很大的变化，其理论最大压缩率在波动，需要用不同的工具来实施压缩。而在编码方式及编码压缩工具的选择方面，现代编码理论及已经被纳为国际标准的H.264，MPEG-4，H.264等，均使用率失真优化(Rate-Distortion Optimization)方法。

现有技术中的率失真优化过程，包括以下步骤：(1)通过码率函数R(Qp)估算某种编码方式下的输出码率；(2)通过失真函数D(Qp)估算某种编码方式下产生的失真；(3)根据率失真函数J＝D(Qp)+λ·R(Qp)进行最优化选择。在上述过程中，编码输入参数Qp是唯一的量化参数，λ也是根据经验值从Qp计算所得。现有技术通过对该单一参数的经验性估计，来近似求取各个编码模式或参数下产生的码率和失真，生成率失真曲线。

由此可知，现有技术仅仅根据Qp求取码率和失真，将使得率失真函数精度不够，尤其是编码器在无损压缩或过量化时，导致的偏差更大。

因此需要一种新的在视频图像压缩中对率失真进行优化的方法，提高编码器的率失真评估精度，从而进一步增强图像压缩的性能。

发明内容

本发明的目的在于提供一种在视频图像压缩中对率失真进行优化的方法，旨在解决现有技术在视频图像压缩中率失真的评估精度较低，导致图像压缩性能较差的问题。

为了实现发明目的，所述在视频图像压缩中对率失真进行优化的方法包括以下步骤：

A.编码器对获取到的图像进行空间域到频域的变换，并生成变换后的频域能量分布；

B.编码器根据编码输入参数和频域能量分布求取率失真最优化值；

C.编码器根据率失真最优化值，控制图像的编码压缩。

优选地，所述步骤A进一步包括，通过傅立叶变换或者离散余弦变换，对视频图像进行空间域到频域的变换。

优选地，所述步骤B进一步包括：

B1.根据编码输入参数及频域能量分布计算评估参数；

B2.根据所述评估参数计算率失真值；

B3.遍历编码模式，求取使率失真值达到最优时的参数，即率失真最优化值。

优选地，所述步骤B1中评估参数的计算公式为：

$p=\mathrm{\α}\·(1-\mathrm{\γ})+\mathrm{\β}\·(\frac{a}{\mathrm{Qp}}+\frac{b}{Q{p}^2});$

其中，α、β是经验值常数，a、b是修正因子，Qp是编码输入参数，γ是变换后的频域能量分布。

优选地，所述步骤B2中率失真值的计算公式为：

J＝R(p)+pD(p)；

其中J是率失真值，P是评估参数，R(p)是码率，D(p)是失真。

优选地，所述步骤B2的率失真值的计算公式中：

码率的计算公式为R(p)＝p+(1/δ-1)R(o)，其中δ是经验值调节因子，R(o)是一个编码模式下求得的码率；

失真的计算公式为 $D\left(p\right)=\left(\underset{x,y}{\mathrm{\Σ}}\right|\mathrm{DiffT}(x,y)\left|\right)/2,$ 其中(x，y)表示视频图像中各象素的位置坐标，DiffT(x，y)是原始图象与目标图象在(x，y)位置对应象素的能量差转换到频域后的系数。

优选地，所述步骤C进一步包括：

通过遍历各种编码模式，对率失真值采取拉格朗日逼近的方式，求取使率失真值达到最小时的参数，即率失真最优化值。

为了更好的实现发明目的，前述方法基于编码器而实现，该编码器包括根据编码输入参数求取率失真最优化值的率失真优化单元、根据率失真最优化值控制图像编码的编码压缩单元，所述编码器还包括与率失真优化单元进行数据交互的图像域变换单元，用于对视频图像进行空间域到频域的变换，并将变换后的频域能量分布输入率失真优化单元；

所述率失真优化单元根据编码输入参数及所述频域能量分布，求取率失真最优化值，并将其送入编码压缩单元。

优选地，所述图像域变换单元通过傅立叶变换或者离散余弦变换，对视频图像进行空间域到频域的变换。

优选地，所述率失真优化单元进一步包括评估参数判定模块、率失真计算模块、轮询优化模块；

所述评估参数判定模块用于根据编码输入参数及频域能量分布计算评估参数；

所述率失真计算模块与评估参数判定模块进行数据交互，用于根据所述评估参数计算率失真值；

所述轮询优化模块与率失真计算模块进行数据交互，用于遍历编码模式，求取使率失真值达到最优时的参数。

本发明在率失真估算时，与现有技术相比的区别在于，将编码输入参数和变换后的频域能量分布同时引入了评估参数，从而根据该评估参数求取率失真最优化值，提高了评估精度，因此进一步增强了图像压缩的性能。

附图说明

图1是本发明在视频图像压缩中对率失真进行优化的方法流程图；

图2是本发明的一个实施例在视频图像压缩中对率失真进行优化的方法流程图；

图3是本发明中编码系统的结构图；

图4是现有技术与本发明的一个实施例分别获得的率失真曲线图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明在率失真估算时，将编码输入参数和变换后的频域能量分布同时引入评估参数，从而根据该评估参数计算率失真值，然后进行拉格朗日线性逼近求取达到率失真最优化值，提高了率失真的评估精度。

图1示出了本发明在视频图像压缩中对率失真进行优化的方法流程，过程如下：

在步骤S101中，对获取到的图像进行空间域到频域的变换，并生成变换后的频域能量分布。

在步骤S102中，根据编码输入参数和频域能量分布求取率失真最优化值。

在步骤S103中，根据率失真最优化值，控制图像的编码压缩。

图2示出了本发明的一个实施例在视频图像压缩中对率失真进行优化的方法流程，该方法流程基于图1所示的方法流程，具体过程如下：

在步骤S201中，对获取到的图像进行空间域到频域的变换，并生成变换后的频域能量分布。

在一个示例方案中，通过傅立叶(Fourier)变换对视频图像进行空间域到频域的变换。在该示例方案下的一个实施例中，通过傅立叶变换后得到的频域能量分布如下所示：

其中γ是频域能量分布，(x，y)表示视频图像中各象素的位置坐标，X(x，y)是图象区域经过变换后的频谱，h(x，y)是修正因子，其具体取值可以在实验中根据具体情况调整，在一个实施例中可取h(x，y)＝1，

是归一化因子，A是象素个数。应当说明的是，上述计算公式只是本发明的其中一个示例，对于该公式的其他变换式，也应包含在本发明的保护范围内。

在另一示例方案中，通过离散余弦变换(Discrete Cosine Transform，DCT)对视频图像进行空间域到频域的变换。在该示例方案下的一个实施例中，通过DCT变换后得到的频域能量分布如下所示：

$\mathrm{\γ}=\frac{1}{A}\underset{x,y\∈X(x,y)}{\mathrm{\Σ}}X(x,y)\·h(x,y).$

其中X(x，y)、h(x，y)的意义与前式中相同，A指象素个数。应当说明的是，上述计算公式只是本发明的其中一个示例，对于该公式的其他变换式，也应包含在本发明的保护范围内。

在步骤S202中，根据编码输入参数及频域能量分布计算评估参数。在一个实施例中，评估参数P的计算公式为：

$p=\mathrm{\α}\·(1-\mathrm{\γ})+\mathrm{\β}\·(\frac{a}{\mathrm{Qp}}+\frac{b}{Q{p}^2}).$

其中α、β是经验值常数，a、b是修正因子，Qp是编码输入参数，γ是变换后的频域能量分布。对α、β、a、b的取值，在应用中可根据具体情况进行调整，在一个实施例中，可取值如下：α＝0.7231，β＝0.2769，a＝b＝1。应当说明的是，上述计算公式只是本发明的其中一个示例，对于该公式的其他变换式，也应包含在本发明的保护范围内。

在步骤S203中，根据所述评估参数计算率失真值。在一个实施例中，率失真值的计算公式为：

J＝R(p)+pD(p)，其中J是率失真值，P是评估参数，R(p)是码率，D(p)是失真。应当说明的是，上述计算公式只是本发明的其中一个示例，对于该公式的其他变换式，也应包含在本发明的保护范围内。

而在上式中，码率R(p)在不同编码体系中对不同编码模式计算时，有不同的预测方法。在一个实施例中，如在运动搜索时，需要考虑到残差量化、熵编码后的码率，还需要加上编码具体运动矢量所耗费的比特数目，求得该编码模式下的码率R(o)。例如在该实施例下码率R(p)计算公式为：

R(p)＝p+(1/δ-1)R(o)。

其中δ是经验值调节因子，是一个经验值，与具体编码体系有关，在一个实施例中，例如在H.264及MPEG-4等编码器中，可以取值 $\mathrm{\δ}=Q{p}^{\frac{2}{3}},$ 其中，Qp是率失真模块的输入参数，编码器在进入率失真模块时已经携带进来。应当说明的是，上述计算公式只是本发明的其中一个示例，对于该公式的其他变换式，也应包含在本发明的保护范围内。

在上式中，使用SATD(Sum of Absolute Transform Difference，变换域的绝对差和)来衡量图象区域之间的能量差，因此一个实施例中，失真D(p)的计算公式为：

$D\left(p\right)=\left(\underset{x,y}{\mathrm{\Σ}}\right|\mathrm{DiffT}(x,y)\left|\right)/2.$

其中(x，y)表示视频图像中各象素的位置坐标，DiffT(x，y)是原始图象与目标图象在(x，y)位置对应象素的能量差转换到频域后的系数。应当说明的是，上述计算公式只是本发明的其中一个示例，对于该公式的其他变换式，也应包含在本发明的保护范围内。

在该实施例中，

DiffT(x，y)＝H×Diff(x，y)×H，其中，Diff(x，y)＝Original(x，y)-Prediction(x，y)。

其中，H是哈德迈变换矩阵，通过H×Diff(x，y)×H的计算，将失真度的衡量变换到频域，由于本发明已经在p中包含了频域信息，所以使用DiffT(x，y)，而不直接使用Diff(x，y)，这样可以带来更高的精度。

在上述实施例中，该哈德迈变换矩阵H如下所示：

在步骤S204中，遍历编码模式，求取使率失真值达到最优时的参数，即率失真最优化值。在一个示例方案中，是通过遍历各种编码模式，对率失真值采取拉格朗日逼近的方式，求取使率失真值达到最小时的参数，将这组参数作为率失真最优化值。由此可知，率失真最优化值并不是通过计算直接获得的，而是基于本文的算法进行遍历而查找出来的一组最佳值。

一般率失真曲线都是以码率(Kbps)作为横坐标，以信噪比(Pear Signal toNoise Ratio，PSNR)(dB)作为纵坐标，曲线上的点一般是采用QP＝28，32，36，40这四个Qp下的编码码率和编码质量，曲线点越高，表明性能越好。在一个具体的应用场景中，例如在H.264参考软件JM7.6中，应用本发明而获得的率失真曲线(采用标准测试序列作为样本)，如图4所示。其中，位于下方的曲线是现有技术中的率失真曲线，位于上方的曲线是本发明中获得的率失真曲线，各点对应数据如下表所示：

现有技术率失真曲线		本发明率失真曲线
				信噪比(dB)	码率(kbit/s)	信噪比(dB)	码率(kbit/s)
38.71	115.34	38.68	112.34
				37.14	89.95	37.28	87.26
35.71	70.64	36.05	69.54
				34.21	54.45	34.95	53.05
32.75	41.66	33.85	39.26

在步骤S205中，根据率失真最优化值，控制图像的编码压缩。具体的编码过程可参考现有技术，此处不再赘述。

在一个应用场景中，本发明的上述方法是基于一个编码系统来实现的。该编码系统可以应用到多种编码器中，例如任意一款H.120、H.261、H.263、H.264、MPEG-1、MPEG-4或其它任何混合框架的编码器。

图3示出了本发明中编码系统的结构，包括以下逻辑功能单元：图像域变换单元100、率失真优化单元200、编码压缩单元300。应当说明的是，上述逻辑功能单元在具体应用中可通过多种设备、元件或其组合来实现，因此并不用以将其保护范围限定为特定的物理设备；另外，本发明所有图示中各设备或逻辑功能单元之间的连接关系是为了清楚阐释其信息交互及控制过程的需要，因此应当视为逻辑上的连接关系，也不应限于物理连接。其中：

(1)图像域变换单元100与率失真优化单元200进行数据交互，用于对视频图像进行空间域到频域的变换，并将变换后的频域能量分布输入率失真优化单元200。

在一个示例方案中，图像域变换单元100通过傅立叶(Fourier)变换对视频图像进行空间域到频域的变换。在该示例方案下的一个实施例中，通过傅立叶变换后得到的频域能量分布如下所示：

其中，γ是频域能量分布，(x，y)表示视频图像中各象素的位置坐标，X(x，y)是图象区域经过变换后的频谱，h(x，y)是修正因子，其具体取值可以在实验中根据具体情况调整，在一个实施例中可取h(x，y)＝1，

是归一化因子，A是象素个数。

在另一示例方案中，图像域变换单元100通过离散余弦变换(Discrete CosineTransform，DCT)对视频图像进行空间域到频域的变换。在该示例方案下的一个实施例中，通过DCT变换后得到的频域能量分布如下所示：

$\mathrm{\γ}=\frac{1}{A}\underset{x,y\∈X(x,y)}{\mathrm{\Σ}}X(x,y)\·h(x,y).$

其中，X(x，y)、h(x，y)的意义与前述的式(1)中相同，A指象素个数。(2)率失真优化单元200根据编码输入参数及所述频域能量分布，求取率失真最优化值，并将其送入编码压缩单元300。其内部结构包括评估参数判定模块201、率失真计算模块202、轮询优化模块203，其中：

评估参数判定模块201用于根据编码输入参数及频域能量分布计算评估参数(用P表示)。在一个实施例中，评估参数P的计算公式为：

$p=\mathrm{\α}\·(1-\mathrm{\γ})+\mathrm{\β}\·(\frac{a}{\mathrm{Qp}}+\frac{b}{Q{p}^2}).$

其中，α、β是经验值常数，a、b是修正因子，Qp是编码输入参数，γ是变换后的频域能量分布。对α、β、a、b的取值，在应用中可根据具体情况进行调整，在一个实施例中，可取值如下：α＝0.7231，β＝0.2769，a＝b＝1。

率失真计算模块202与评估参数判定模块201进行数据交互，用于根据所述评估参数计算率失真值。在一个实施例中，率失真值的计算公式为：

J＝R(p)+pD(p)。

其中J是率失真值，P是评估参数，R(p)是码率，D(p)是失真。

而在上式中，码率R(p)在不同编码体系中对不同编码模式计算时，有不同的预测方法。在一个实施例中，如在运动搜索时，需要考虑到残差量化、熵编码后的码率，还需要加上编码具体运动矢量所耗费的比特数目，求得该编码模式下的码率R(o)。例如在该实施例下码率R(p)计算公式为：

R(p)＝p+(1/δ-1)R(o)。

其中δ是经验值调节因子，是一个经验值，与具体编码体系有关，在一个实施例中，例如在H.264及MPEG-4等编码器中，可以取值 $\mathrm{\δ}=Q{p}^{\frac{2}{3}},$ 其中，Qp是率失真模块的输入参数，编码器在进入率失真模块时已经携带进来。

在上式中，使用SATD(Sum of Absolute Transform Difference，变换域的绝对差和)来衡量图象区域之间的能量差，因此一个实施例中，失真D(p)的计算公式为：

$D\left(p\right)=\left(\underset{x,y}{\mathrm{\Σ}}\right|\mathrm{DiffT}(x,y)\left|\right)/2.$

其中(x，y)表示视频图像中各象素的位置坐标，DiffT(x，y)是原始图象与目标图象在(x，y)位置对应象素的能量差转换到频域后的系数。在该实施例中，

DiffT(x，y)＝H×Diff(x，y)×H。

其中，Diff(x，y)＝Original(x，y)-Prediction(x，y)。

H是哈德迈变换矩阵，通过H×Diff(x，y)×H的计算，将失真度的衡量变换到频域，由于本发明已经在p中包含了频域信息，所以使用DiffT(x，y)，而不直接使用Diff(x，y)，这样可以带来更高的精度。

在上述实施例中，该哈德迈变换矩阵H如下所示：

轮询优化模块203与率失真计算模块202进行数据交互，用于遍历编码模式，求取使率失真值达到最优时的参数。在一个示例方案中，该轮询优化模块203是通过遍历各种编码模式，对率失真值采取拉格朗日逼近的方式，求取使率失真值达到最小时的参数，将这组参数作为率失真最优化值。由此可知，率失真最优化值并不是通过计算直接获得的，而是基于本文的算法进行遍历而查找出来的一组最佳值。

率失真模型本身不依赖于具体的编码框架，可以应用于H.264、MPEG-4及其它使用率失真优化策略的编码器。在一个具体的应用场景中，例如在H.264参考软件JM7.6中，应用本发明而获得的率失真曲线(采用标准测试序列作为样本)，如图4所示。

(3)编码压缩单元300根据率失真优化单元200输入的率失真最优化值控制图像编码，其具体的编码过程可参考现有技术，此处不再赘述。

应当说明的是，本发明可以应用到多种编码器中，例如任意一款H.120、H.261、H.263、H.264、MPEG-1、MPEG-4或其它任何混合框架的编码器。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种在视频图像压缩中对率失真进行优化的方法，其特征在于，所述方法包括以下步骤：

A.编码器对获取到的图像进行空间域到频域的变换，并生成变换后的频域能量分布；

B.编码器根据编码输入参数和频域能量分布求取率失真最优化值；

C.编码器根据率失真最优化值，控制图像的编码压缩；

其中，所述步骤B进一步包括：

B1.根据编码输入参数及频域能量分布计算评估参数；

B2.根据所述评估参数计算率失真值；

B3.遍历编码模式，求取使率失真值达到最优时的参数，即率失真最优化值。

2.根据权利要求1所述的在视频图像压缩中对率失真进行优化的方法，其特征在于，所述步骤A进一步包括，通过傅立叶变换或者离散余弦变换，对视频图像进行空间域到频域的变换。

3.根据权利要求1所述的在视频图像压缩中对率失真进行优化的方法，其特征在于，所述步骤B1中评估参数的计算公式为：

$P=\mathrm{\α}\·(1-\mathrm{\γ})+\mathrm{\β}\·(\frac{a}{\mathrm{Qp}}+\frac{b}{{\mathrm{Qp}}^2});$

其中，P是评估参数，α、β是经验值常数，a、b是修正因子，Qp是编码输入参数，γ是变换后的频域能量分布。

4.根据权利要求1所述的在视频图像压缩中对率失真进行优化的方法，其特征在于，所述步骤B2中率失真值的计算公式为：

J＝R(p)+pD(p)；

其中J是率失真值，P是评估参数，R(p)是码率，D(p)是失真。

5.根据权利要求4所述的在视频图像压缩中对率失真进行优化的方法，其特征在于，所述步骤B2的率失真值的计算公式中：

码率的计算公式为R(p)＝p+(1/δ-1)R(o)，其中δ是经验值调节因子，R(o)是一个编码模式下求得的码率；

失真的计算公式为

其中(x，y)表示视频图像中各象素的位置坐标，DiffT(x，y)是原始图象与目标图象在(x，y)位置对应象素的能量差转换到频域后的系数。

6.根据权利要求4所述的在视频图像压缩中对率失真进行优化的方法，其特征在于，所述步骤C进一步包括：

通过遍历各种编码模式，对率失真值采取拉格朗日逼近的方式，求取使率失真值达到最小时的参数，即率失真最优化值。

Images