CN101783951B - 基于人类视觉系统的视频编码帧间预测模式快速确定方法 - Google Patents

Abstract

本发明公开了一种基于人类视觉系统的视频编码帧间预测模式快速确定方法，其特征在于，包括如下执行步骤：首先对输入的参考帧图像和当前帧图像进行HVS滤波，然后对滤波后的图像划分成宏块并按照HVS滤波后图像中每个MB的均值和方差确定该MB的划分方式是SKIP，16x16，16x8，8x16，8x8五种模式中的一种，如果所确定的类型为8x8，则再计算其中8x8，4x8，8x4，4x4中的均值和方差，并最终确定8x8，4x8，8x4，4x4中的具体对应模式。在帧间预测模式确定基础上进行有针对性的运动估计与运动补偿。

Description

基于人类视觉系统的视频编码帧间预测模式快速确定方法

技术领域

本发明涉及视频编码标准中的帧间预测模式划分或确定方法，具体涉及一种按照人类视觉系统(HVS)特性进行H.264/AVC视频编码帧间预测模式的确定方法。

背景技术

视频编码中的帧间预测模式由于涉及运动估计，所以计算的复杂度非常高，尤其是在H.264/AVC视频编码中，帧间预测模式在确定前需要从大量候选的帧间预测模式中确定一种最优的模式。这种编码方式需要大量的运算，

发明内容

本发明的目的是提供一种按照HVS滤波的方法进行最优的H.264/AVC视频编码帧间预测模式选择，在确定最优模式之后进行运动估计，这样的运动估计和运动补偿方法仅仅针对所选择的模式进行，而对其它非选择的模式不进行运动估计，因此能够有效地提高编码器的执行效率，尤其是在实时编码的场合中更能体现其优越性。

为达到以上目的，本发明是采取如下技术方案予以实现的：

一种基于人类视觉系统的视频编码帧间预测模式快速确定方法，其特征在于，包括下述步骤：

首先执行步骤01，对参考帧图像和当前帧图像进行基于人类视觉系统特性相关的滤波，得到滤波后的残差图像PRD；同时执行步骤06，对当前帧图像进行帧内预测模式选择，以确定一种最佳的帧内预测模式及其相应的编码代价RDC；

然后执行步骤02，对残差图像PRD划分成16x16的宏块MB并计算每个宏块MB的均值和方差；

接下来执行步骤03，对每个宏块MB进行帧间预测模式划分，将MB划分成SKIP模式、一个16x16块模式、两个16x8块模式、两个8x16块模式或四个8x8块模式；当所述宏块MB的模式划分为SKIP模式时，则自动跳至步骤08；当所述宏块MB的模式划分为16x16，16x8，或者8x16三种模式中的一种，则自动跳过步骤04，执行步骤05、步骤07至08；当所述宏块MB的模式划分为8x8模式，则执行步骤04；

步骤04对8x8块模式再划分成：一个8x8块、两个8x4块、两个4x8块或四个4x4块；

接下来执行步骤05，对步骤03和步骤04中所确定的划分模式来进行运动估计和运动补偿，以确定最终划分块的运动矢量MV，并计算在上述模式划分下宏块MB的编码代价RDC；

然后执行步骤07，根据步骤05所确定的帧间预测模式的编码代价RDC以及步骤06所确定的帧内预测模式的编码代价RDC选择当前宏块MB是采用帧内还是帧间预测模式；

最后执行步骤08，进行H.264/AVC熵编码器并形成最终的编码比特输出。

上述方法中，步骤02所述对每个宏块的均值和方差计算按照以下公式进行，对一个大小为MxN的块f(m，n)的均值μ(M，N)和方差δ(M，N)为：

$\mathrm{\μ}(M,N)=\frac{1}{N\×M}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}f(m,n)---\left(1\right)$

$\mathrm{\δ}(M,N)=\frac{1}{N\×M}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{\left(\mathrm{\μ}-f(m,n)\right)}^2---\left(2\right)$

式中：M，N的取值为4、8、16，(m，n)表示横纵坐标位置。

步骤03所述将一个16x16的MB划分成SKIP模式，16x16模式，16x8模式，8x16模式和8x8模式的计算依据如下式：

式中Mode_16x16表示最终所确定的MB划分的类型，JND_th表示对应16x16宏块MB所设定的阈值；δ^*(16，8)，δ^*(8，16)和δ^*(8，8)分别表示两个16x8，两个8x16和四个8x8模式中方差最大值。

步骤04所述将一个8x8块再划分成8x8模式，8x4模式，4x8模式和8x8模式的计算依据如下式：

式中：Mode_8x8表示最终所确定的MB划分的类型，

表示对应8x8宏块MB所设定的阈值，δ^*(4，8)，δ^*(8，4)和δ^*(4，4)分别表示两个4x8，两个8x4和四个4x4模式中方差最大值。

与现有技术相比，本发明的方法可以嵌入H.264/AVC编解码器中，因此不会破坏H.264/AVC的码流结构，具有良好的通用性。可以和目前H.264/AVC编解码器相兼容。另外，本发明中给出了QP和JND_th之间的映射关系，这样可以在不改变编码配置的情况下，实现编码，因此具有易用性。

附图说明

以下结合附图及具体实施方式对本发明作进一步的详细说明。

图1为本发明的基于HVS的视频编码帧间预测模式快速确定方法的步骤流程框图。

具体实施方式

如图1所示，本发明基于HVS进行H.264/AVC视频编码快速确定帧间预测模式的方法包括如下执行步骤：

首先执行步骤01，对参考帧和当前编码帧(P帧或者B帧)进行基于人类视觉系统特性相关的滤波(简称HVS滤波)，得到滤波后的残差图像(简称PRD)；同时执行步骤06，对当前帧图像进行帧内预测模式选择，以确定一种最佳的帧内预测模式及其相应的编码代价RDC；

然后执行步骤02，对HVS滤波后的残差图像PRD划分成16x16的宏块(简称MB)并计算每个MB的均值和方差；

接下来执行步骤03，对每个MB进行帧间预测模式选择，将MB划分成：单元030所对应的SKIP(即对当前MB的运动矢量和残差不进行编码)模式，或单元031所对应的一个16x16块；或单元032所对应的两个16x8块；或单元033所对应的两个8x16块；或单元034所对应的四个8x8块中的一种。

在步骤03中如果一个MB的模式划分为030单元所对应的SKIP模式，则自动跳至步骤08进行熵编码该模式进行码流输出；若一个MB划分的模式为16x16，16x8，或者8x16三种模式中的一种，则自动跳过步骤04，执行步骤05至步骤08；若一个MB划分的模式为单元034中所对应的8x8模式，则需对这4个8x8块的模式执行步骤04以再次确定其更为精细的模式。步骤04对034单元中所划分的四个8x8块再划分成：单元041所对应的一个8x8块；或单元042所对应的两个8x4块；或单元043所对应的两个4x8块；或单元044所对应的四个4x4块中的一种；

接下来执行步骤05，对当前MB按照步骤03和04中所确定的划分模式来进行运动估计和运动补偿，以确定最终划分块的运动矢量MV，并计算在上述模式划分下当前MB的编码的码率与失真度优化关系函数RDC；

然后执行步骤07，帧内和帧间预测模式选择，根据步骤05中所确定的帧间预测模式以及06步骤中所确定的帧内预测模式的RDC选择当前MB是采用帧内还是帧间预测模式。

最后执行步骤08，进行熵编码器并形成最终的编码比特输出。

在上述步骤01中，对预测参考帧和当前参考帧作HVS滤波的方法采用公知的方法。该部分内容在文献(X.Zhang，W.Lin，and P.Xue，“Improvedestimation for just-noticeable visual distortion，”Signal Process，vol.85，pp.795-808，2005.)中有详细的报道。经过HVS滤波之后得到一个基于视觉率的残差图像PRD。

在上述步骤02中残差图像PRD中每个宏块的均值和方差按照公式(1)和公式(2)进行计算。对一个大小为MxN的块f(m，n)的均值μ(M，N)和方差δ(M，N)

$\mathrm{\μ}(M,N)=\frac{1}{N\×M}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}f(m,n)---\left(1\right)$

$\mathrm{\δ}(M,N)=\frac{1}{N\×M}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{\left(\mathrm{\μ}-f(m,n)\right)}^2---\left(2\right)$

式中：M，N的取值为4、8、16，对应一个MB可能划分的尺寸范围，如16x16，16x8，8x16，8x8，8x4，4x8，4x4。在上述步骤03中根据上述公式中的均值和方差将一个MB的具体模式划分为单元030，单元031，单元032，单元033，和单元034所对应的5种模式中的一种。本发明中将一个16x16的MB划分成SKIP，16x16，16x8，8x16和8x8模式的计算依据是公式(3)

在公式(3)中Mode_16x16表示最终所确定的MB划分的类型。如果当一个宏块同时满足均值为0和方差为0的约束条件(也即μ(16，16)＝0&δ(16，16)＝0)则该MB的类型确定为030单元中所对应的SKIP模式。如果一个MB的均值为0但是方差小于或等于一个设定的阈值JND_th(也即μ(16，16)＝0&δ(16，16)≤JND_th)，则确定该MB的类型为031单元中所对应的16x16模式。如果当一个宏块同时满足均值不为0和方差大于JND_th的约束条件(也即μ(16，16)≠0&δ(16，16)＞JND_th)，此时需要对该MB作细致的类型划分，划分的类型包括如下三种模式：单元032两个16x8，单元033两个8x16和单元034四个8x8模式。设δ^*(16，8)，δ^*(8，16)和δ^*(8，8)分别表示两个16x8，两个8x16和四个8x8模式中方差最大值。如果δ^*(16，8)上述三种细致划分的最大值(也即δ^*(16，8)＝max{δ^*(16，8)，δ^*(8，16)，δ^*(8，8)})，则将该MB划分成单元032中所对应的两个16x8块模式。如果δ^*(8，16)上述三种细致划分中的最大值(也即δ^*(8，16)＝max{δ^*(16，8)，δ^*(8，16)，δ^*(8，8)})，则将该MB划分成单元033中所对应的两个8x16块模式。如果δ^*(8，8)上述三种细致划分中的最大值(也即δ^*(8，8)＝max{δ^*(16，8)，δ^*(8，16)，δ^*(8，8)})，则将该MB划分成单元034中所对应的四个8x8块模式。

在步骤04中将该每个8x8块划分成如下四个模式：单元041中的一个8x8块模式，单元042中的两个8x4块模式，单元043中的两个4x8块模式和单元043中的四个4x4块模式中的一种模式。本发明中将一个8x8块划分成8x8，8x4，4x8和8x8模式的计算依据是公式(4)

在公式(4)中Mode_8x8表示最终所确定的MB划分的类型。如果一个8x8块的均值为0但是方差小于或等于一个设定的阈值

(也即

)则确定该8x8块的类型为8x8。如果当一个8x8块同时满足均值不为0和方差大于

的约束条件(也即)，此时需要对该8x8块作细致的类型划分，划分的类型包括如下几种模式：两个4x8，两个8x4和四个4x4模式。设δ^*(4，8)，δ^*(8，4)和δ^*(4，4)分别表示两个4x8，两个8x4和四个4x4模式中方差最大值。如果δ^*(8，4)上述三种细致划分中的最大值(也即δ^*(8，4)＝max{δ^*(4，8)，δ^*(8，4)，δ^*(4，4)})，则将该8x8块划分成两个8x4块模式。如果δ^*(4，8)上述三种细致划分中的最大值(也即δ^*(4，8)＝max{δ(4，8)，δ(8，4)，δ^*(4，4)})，则将该8x8块划分成两个4x8块模式。如果δ^*(4，4)上述三种细致划分中的最大值(也即δ^*(4，4)＝max{δ^*(4，8)，δ^*(8，4)，δ^*(4，4)})，则将该8x8块划分成4个4x4块模式。

经过步骤03和04将模式进行了划分，在划分模式之后执行运动估计步骤05，对每个划分的子块分别作运动估计并得出其相应的运动矢量。在获得一个MB的模式划分和相应的运动矢量之后，可以得到运动补偿之后的残差信息。计算在上述划分下的帧间预测模式下所得出的编码代价RDC。

其中步骤05、07、08和H.264/AVC标准中的处理方式完全一致，在本发明中不作改动。

在上述步骤03和04中JND_th和

的作用与H.264/AVC编码标准中的QP(量化参数值)的相同。本发明中设定

通过调整值JND_th就可以达到实现视频质量可控的目的。为了和原始的H.264/AVC视频编码标准中的视频质量设置方法相一致，本发明中给出了JND_th和QP值之间对应的映射关系对照表。

表1.JND_th和QP值之间对应的映射关系对照表

QP	40	36	32	28	24	20	16	12
									JNDth	2	1.5	1.2	1.0	0.7	0.2	0.08	0.03

我们对football，foreman，mobile，bus和soccer五个视频测试序列在同样参数配置的情况下所得出的性能对比如表2所示。其中ΔY_PSNR是本发明中的方法相对于H.264/AVC中的方法的PSNR增益。而Speedup是本发明方法相对于H.264/AVC中的时间节省情况。

ΔY_PSNR＝HVS_PSNR-JM_PSNR

$\mathrm{Speedup}=\frac{{\mathrm{Time}}_{\mathrm{JM}}-{\mathrm{Time}}_{\mathrm{HVS}}}{{\mathrm{Time}}_{\mathrm{JM}}}\×100\%$

从表2的对比实验可以看出本发明中的方法在编码参数设置相同的时候，不仅具有编码质量的提升同时还能够有效地提升编码的速度。

表2.本发明中的方法与H.264/AVC编码器(JM16.0)的性能对比

Sequence	football	foreman	mobile	bus	soccer
						ΔYPSNR(dB)	0.691	0.302	0.363	0.214	0.167
Speedup(％)	71.54	78.34	88.15	89.34	80.63

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。

以上仅为本发明较佳的具体实施方式：如改变HVS滤波器，改用模式选择中的阈值确定方法，QP和JND_th之间映射关系等，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都可能落入本发明的保护范围之内。

Claims (5)

1.一种基于人类视觉系统的视频编码帧间预测模式快速确定方法，其特征在于，包括下述步骤：

首先执行步骤01，对参考帧图像和当前帧图像进行基于人类视觉系统特性相关的滤波，得到滤波后的残差图像PRD；同时执行步骤06，对当前帧图像进行帧内预测模式选择，以确定一种最佳的帧内预测模式及其相应的编码代价RDC；

然后执行步骤02，对残差图像PRD划分成16x16的宏块MB并计算每个宏块MB的均值和方差；

接下来执行步骤03，对每个宏块MB进行帧间预测模式划分，将MB划分成SKIP模式、一个16x16块模式、两个16x8块模式、两个8x16块模式或四个8x8块模式；当所述宏块MB的模式划分为SKIP模式时，则自动跳至步骤08；当所述宏块MB的模式划分为16x16，16x8，或者8x16三种模式中的一种，则自动跳过步骤04，执行步骤05、步骤07至08；当所述宏块MB的模式划分为8x8模式，则执行步骤04；

步骤04对8x8块模式再划分成：一个8x8块、两个8x4块、两个4x8块或四个4x4块；

接下来执行步骤05，对步骤03和步骤04中所确定的划分模式来进行运动估计和运动补偿，以确定最终划分块的运动矢量MV，并计算在上述模式划分下宏块MB的编码代价RDC；

然后执行步骤07，根据步骤05所确定的帧间预测模式的编码代价RDC以及步骤06所确定的帧内预测模式的编码代价RDC选择当前宏块MB是采用帧内还是帧间预测模式；

最后执行步骤08，进行H.264/AVC熵编码器并形成最终的编码比特输出。

2.如权利要求1所述的基于人类视觉系统的视频编码帧间预测模式快速确定方法，其特征在于，步骤02所述对每个宏块的均值和方差计算按照以下公式进行，对一个大小为MxN的块f(m，n)的均值μ(M，N)和方差δ(M，N)为：

式中：M，N的取值为4、8、16，(m，n)表示横纵坐标位置。

3.如权利要求1所述的基于人类视觉系统的视频编码帧间预测模式快速确定方法，其特征在于，步骤03所述将一个16x16的MB划分成SKIP模式，16x16模式，16x8模式，8x16模式和8x8模式的计算依据如下式：

式中Mode_16x16表示最终所确定的MB划分的类型，JND_th表示对应16x16宏块MB所设定的阈值；δ^*(16，8)，δ^*(8，16)和δ^*(8，8)分别表示两个16x8，两个8x16和四个8x8模式中方差最大值。

4.如权利要求1所述的基于人类视觉系统的视频编码帧间预测模式快速确定方法，其特征在于，步骤04所述将一个8x8块再划分成8x8模式，8x4模式，4x8模式和4x4模式的计算依据如下式：

式中：Mode_8x8表示最终所确定的MB划分的类型； 表示对应8x8宏块MB所设定的阈值，δ^*(4，8)，δ^*(8，4)和δ^*(4，4)分别表示两个4x8，两个8x4和四个4x4模式中方差最大值。

5.如权利要求3所述的基于人类视觉系统的视频编码帧间预测模式快速确定方法，其特征在于，步骤03所述的JND_th与H.264/AVC编码标准中的量化参数值QP之间为对应的映射关系。