CN105392001B - 基于梯度的自适应高性能视频编码码率控制方法 - Google Patents

Abstract

本发明针对HEVC视频编码标准提供了一种基于梯度的自适应高性能视频编码码率控制方法。主要包括利用缓冲区状态调节帧层码率控制，以及LCU层自适应梯度选择。在帧层码率控制中，通过已编码帧累加的缓冲区数据量对当前帧目标比特进行调节；在LCU层码率控制中，对LCU的复杂度表示方式进行改进，对I帧的LCU采用帧内梯度表示复杂度，对非I帧的LCU自适应选择帧内帧间梯度的较小值表示复杂度。本发明方法使实际码率更加符合给定的目标码率，并使缓冲区数据量明显减少，同时使输出比特趋于平稳。实验结果表明，本发明方法与HEVC标准码率控制提案K0103相比，缓冲区数据量平均减少约41.26％，峰值信噪比平均提高约0.54dB，同时实际码率与目标码率之间的码率偏差平均降低约0.41％。

Description

基于梯度的自适应高性能视频编码码率控制方法

技术领域

本发明涉及图像通信领域中的视频编码码率控制问题，尤其是涉及一种高性能视频编码标准HEVC的帧间编码自适应码率控制方法。

背景技术

随着技术的不断进步，视频分辨率逐渐提高，视频编码标准也在不断更新。经过MPEG、JPEG以及H.264/AVC等视频编码标准的发展与完善，新一代视频编码标准HEVC诞生。虽然与H.264/AVC相比，HEVC编码标准节约了约50％的编码码率，但是随着高清视频的出现，节省传输数据量的问题逐渐进入人们视野。因此，如何在有限带宽下，实时传输编码码流，尽可能降低时延，同时避免缓冲区数据溢出成为视频编码领域研究的热点。

目前已有的码率分配模型主要有三种，R-Q模型、R-ρ模型和R-λ模型，由于R-Q模型和R-ρ模型存在较多的缺点，HEVC采用的是最新的R-λ模型。HEVC标准的码率控制过程分为三层，GOP层，帧层和LCU层。码率分配的主要思想是根据复杂度进行目标比特分配，目标比特影响编码参数更新，编码参数精确度直接决定实际编码比特精确度。目前学术界关于如何使实际比特更加接近目标比特，缓冲区滞留数据量减少，同时使输出比特更加平稳的优化算法已有很多，并大多数已经取得了良好的效果。

在HEVC码率控制算法的研究中，Zhongzhu Yang等在现有的R-λ模型基础上提出了一种低延时的基于缓冲区状态的码率控制算法，设置较小的缓冲区，利用缓冲区状态进行码率控制，从而达到实际码率与目标码率尽量接近，同时避免缓冲区溢出的目的。LingTian等人提出了一种基于梯度的帧内码率控制算法，通过建立帧内像素的平均梯度与编码比特之间的对应关系达到码率控制的目的，另外还改善了量化参数QP的计算方式，提出一种新的目标比特与QP之间的对应关系。在H.264/AVC码率控制算法的研究中，Yun Gu Lee等人提出一种基于梯度的H.264/AVC帧内码率控制算法，在标准的分层基础上增加了宏块行层，利用宏块行梯度占帧总梯度的比例分配宏块行目标比特，然后利用每一个宏块的梯度占当前宏块行总梯度的比例分配当前宏块的目标比特。此外，在帧层分配目标比特时还使用了缓冲区状态反馈，达到更准确地分配实际比特的目的。

发明内容

针对新一代视频压缩编码标准HEVC中的码率控制问题，本发明利用视频序列的帧间相似性及缓冲区状态，提出了一种基于梯度的自适应高性能视频编码码率控制方法，降低了缓冲区滞留数据量，降低了时延，提高了视频质量，在带宽一定的实时编码传输过程中具有较好的应用前景。

本发明的基本思想是利用梯度作为复杂度的度量方式，自适应地获取LCU的帧内帧间梯度表示其复杂度，进行LCU层目标比特分配。同时，利用已编码帧累加的缓冲区滞留数据量 对帧层目标比特分配进行调节，达到实际比特与目标比特尽量准确的目的。

本发明针对HEVC视频编码标准提供了一种基于梯度的自适应高性能视频编码码率控制方法。主要包括缓冲区状态调节帧层目标比特以及LCU层自适应梯度选择。在帧层码率控制过程中，通过已编码帧累加的缓冲区滞留数据量对当前帧目标比特进行调节；在LCU层码率控制中，对LCU的复杂度表示方式进行改进，对I帧的LCU采用帧内梯度表示复杂度，对非I帧的LCU自适应选择帧内帧间梯度的较小值表示复杂度。本发明利用缓冲区状态调节帧层目标比特，并根据帧类型自适应地选择梯度表示复杂度，从而使实际码率更加符合给定的目标码率，并使缓冲区滞留数据量明显减少，同时使实际比特趋于平稳，以充分利用有限的带宽。具体主要包括以下过程步骤：

(1)根据配置文件设置的目标码率、帧率以及GOP大小得到GOP层目标比特和帧层标准目标比特，并设置缓冲区大小；

(2)判断当前编码帧是否为第一帧，若为第一帧，帧层目标比特为标准目标比特加缓冲区大小。若不是第一帧，帧层目标比特为经过缓冲区状态调整后的标准目标比特；

(3)遍历当前帧的每个LCU，求出其帧内梯度，判断当前帧是不是I帧，若是I帧，则将帧内梯度累加得到帧层总梯度。若不是I帧，则遍历每个LCU，获取其帧内帧间自适应梯度，将每个LCU的自适应梯度累加，得到帧层总梯度；

(4)根据当前LCU的梯度占当前帧总梯度的比例分配每个LCU的目标比特，并根据LCU的尺寸得到每个LCU的模拟带宽；

(5)进入xCompressCU，对每个LCU进行编码，其编码实际比特与模拟带宽的差值累加到缓冲区，得到已编码帧累加的缓冲区滞留数据，并在下一帧的帧层比特分配时进行反馈调节，得到下一帧的目标比特。

在本发明的上述技术方案中，所述帧层标准目标比特为配置文件设置的目标码率除以帧率得到的每帧目标比特，未经缓冲区状态调整，而所述帧层目标比特是经缓冲区状态调整后的帧层目标比特。

在本发明的上述技术方案中，所述缓冲区大小为帧层标准目标比特的三分之一。

在本发明的上述技术方案中，所述缓冲区状态调整帧层目标比特的具体方法为：

其中，Rtar/f表示每帧的标准目标比特，bufsize表示缓冲区大小，bufused表示缓冲区滞留数据量。θ为调整系数，经过实验统计，本发明的方法取最优值2。

在本发明的上述技术方案中，所述帧间梯度为当前LCU每个像素点与参考帧相同位置的像素点之间的亮度差值累加，具体求解公式为：

R(x,y)＝I_f(x,y)-I_r(x,y) (2)

其中，I_f(x,y)表示当前位置像素亮度，I_r(x,y)表示参考帧同位置像素亮度。G_inter(i,j,k)即为帧间梯度。

在本发明的上述技术方案中，所述非I帧的自适应梯度为帧内梯度与帧间梯度的较小值表示当前LCU的复杂度。

在本发明的上述技术方案中，所述LCU模拟带宽为根据当前LCU的尺寸占帧尺寸的比例分配的LCU目标比特。

根据本发明的上述方法可以编制执行上述基于梯度的自适应高性能视频编码码率控制方法的HEVC视频编码器。

本发明是基于以下思路分析而完成的：

标准的HEVC码率控制算法主要分为两步：第一步是根据帧结构、纹理复杂度等参数进行目标比特分配；第二步是根据目标比特调整编码器参数，从而影响实际比特分配，使实际比特更加接近目标比特。由于目标比特分配是码率控制的首要一步，其准确程度直接影响着后续编码的性能，因此，码率控制优化方法主要是通过改善目标比特分配的方法来改善码率控制效果。

HEVC目标码率分配方法分为三层：GOP层是码率控制的第一层，该层通过提前设置的目标码率、序列帧率以及GOP的大小等参数设置一个GOP的目标比特。帧层目标比特取决于当前帧在GOP中的位置，即当前帧在GOP中目标比特所占结构权重。LCU层目标比特取决于当前LCU的复杂度在帧复杂度中所占权重。帧层目标比特影响LCU层目标比特，LCU层目标比特影响LCU层编码参数更新，从而影响LCU层实际编码比特，最终影响帧层实际比特。因此，可以通过改善帧层和LCU层目标比特分配方式来改善码率控制性能。

码率控制效果的主要参数之一是实际编码比特与固定带宽之间的差值，即缓冲区滞留数据量。缓冲区滞留数据量少而且平稳，表示在固定带宽实时传输情况下的延时低，反之亦然。为了优化帧层目标比特的分配，本发明的方法采用了已编码帧缓冲区状态反馈机制。通过当前缓冲区状态来调整当前帧的目标比特，使当前帧实际编码比特更加精确，同时使该帧累加到缓冲区的数据对缓冲区滞留数据量有所调整。

帧层码率控制的效果由LCU层比特分配效果直接决定。在标准的HEVC码率控制方法中，LCU层目标比特分配采用复杂度权重的方式，其复杂度用MAD表示。常用的复杂度表示方式还有SATD、Sobel算子等，而梯度表示复杂度的方式因为计算比较简单而被广泛应用。因此，通过改善LCU层梯度复杂度的计算方式使每个LCU实际编码比特尽量准确也是本发明方法的一个重要特点。由于视频序列的帧间相似性，本发明方法将梯度的计算扩展到了帧间：对于I帧，直接采用帧内梯度表示复杂度，对于非I帧，获取帧内梯度和帧间梯度，采用二者较小值表示复杂度。

与标准的HEVC视频编码码率控制方法相比，本发明的方法在提高了峰值信噪比的基础上，较大幅度降低了缓冲区滞留数据量，降低了实际码率与目标码率之间的码率偏差。本发明的方法利用已编码帧累加的缓冲区滞留数据量对下一帧的目标比特分配进行调整，得到更加精确的帧层目标比特，并使该帧累加到缓冲区的数据量对缓冲区状态进行调整。对梯度的表示方式也进行了改进，自适应获取帧内帧间梯度，使LCU的目标比特更加精确。通过本发明方法，可以大幅度减少缓冲区滞留数据量，使编码输出比特更加平稳，同时改善视频质量。

附图说明

图1为本发明的基于梯度的自适应高性能视频编码码率控制方法的流程图。

图2～图3为本发明方法与K0103提案每帧缓冲区滞留数据量对比图，其中图2为序列RaceHorses在QP为22时的缓冲区状态；图3为序列Johnny在QP为27时的缓冲区状态。

图4～图5为本发明方法与K0103提案每帧实际输出比特对比图，其中图4为RaceHorses序列在QP为22时的实际输出比特；图5为Johnny序列在QP为27时的实际输出比特。

具体实施方式

下面结合实施例对本发明作进一步的详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。

本发明的自适应码率控制算法，与HEVC标准测试模型HM10.0的帧间编码方法比较过程如下：

1、打开标准HM10.0测试模型，配置文件为lowdelay_P_main，在不采用码率控制方法的情况下得到量化参数分别为22、27、32时的输出码率，该码率即码率控制的目标码率。

2、本发明方法将与HEVC视频编码标准的参考软件算法HM10.0的码率控制方法进行比较。同时打开本发明方法和标准方法的程序，设置好相同的配置文件，打开码率控制开关，量化参数分别取22、27、32。对四种视频编码性能：峰值信噪比(PSNR)、码率偏差、每帧缓冲区滞留数据量以及每帧实际编码输出比特(其中PSNR体现视频的客观质量，码率偏差、缓冲区滞留数据量和每帧实际编码输出比特体现码率控制的效果)进行比较分析，比较性能的差距用以下三个指标进行评价：

ΔPSNR＝PSNR_Proposed-PSNR_HM10.0 (4)

其中，△PSNR表示本发明方法与HM10.0标准方法峰值信噪比的差值，△码率表示的是本发明方法与HM10.0标准方法的实际码率与目标码率相比的码率偏差百分率，△bufused表 示本发明方法与HM10.0标准方法平均每帧缓冲区滞留数据量差值的百分率。

3、编码对象为标准的HEVC测试视频，它们的名称、分辨率和帧率分别为：RaceHorses(416x240，30帧/秒)、PartyScene(832x480，50帧/秒)、Johnny(1280x720，60帧/秒)、BQTerrace(1920x1080，60帧/秒)。另外，为了测试本发明的方法对突变图像是否同样具有普适性，将四个具有不同纹理特性的大小为832x480的序列分别取前30帧，连接成一个拼接序列，即pinjie(832x480，50帧/秒)。

4、输入2个相同的视频测试序列；

5、利用HM10.0标准方法对视频测试序列在HEVC方式下进行视频编码；

6、利用本发明方法对视频测试序列在HEVC方式下进行视频编码；

7、两个程序分别输出视频编码后的码率、PSNR、平均每帧缓冲区数据量，上述3个指标的结果如表1～表3所示。统计结果显示，本发明方法与HEVC标准方法的码率偏差平均约降低0.41％，峰值信噪比平均提高约0.54dB，每帧缓冲区滞留数据量平均降低约41.26％。而对于拼接序列，本发明方法也具有绝对优势，充分证明了本发明方法的普适性。

表1本发明算法与HM10.0标准算法之间码率偏差的比较

表2本发明算法与HM10.0标准算法之间PSNR值的比较

表3本发明算法与HM10.0标准算法之间平均每帧缓冲区数据量的比较

Claims (7)

1.一种基于梯度的自适应高性能视频编码码率控制方法，在HEVC编码标准中的码率控制部分做了改进，其主要特征在于包括以下过程步骤：

(1)根据配置文件设置的目标码率、帧率以及GOP大小得到GOP层目标比特和帧层标准目标比特，并设置缓冲区大小；

(2)判断当前编码帧是否为第一帧，若为第一帧，帧层目标比特为标准目标比特加缓冲区大小；若不是第一帧，帧层目标比特为经过缓冲区状态调整后的标准目标比特，调整方法为：

其中，R_tar表示目标码率，f表示帧率，R_tar/f表示每帧的标准目标比特，bufsize表示缓冲区大小，bufused表示缓冲区滞留数据量，θ为调整系数，θ可取2；

(3)遍历当前帧的每个LCU，求出其帧内梯度，判断当前帧是不是I帧，若是I帧，则将帧内梯度累加得到帧层总梯度；若不是I帧，则遍历每个LCU，分别计算出帧内与帧间的梯度，将二者较小值作为该LCU的自适应梯度，将每个LCU的自适应梯度累加，得到帧层总梯度；

(4)根据当前LCU的梯度占当前帧总梯度的比例分配每个LCU的目标比特，并根据LCU的尺寸得到每个LCU的模拟带宽；

(5)进入到对每一帧的CU层进行预编码的函数xCompressCU，对每个LCU进行编码，其编码实际比特与模拟带宽的差值累加到缓冲区，得到已编码帧累加的缓冲区滞留数据，并在下一帧的帧层比特分配时进行反馈调节，得到下一帧的目标比特。

2.如权利要求1所述的基于梯度的自适应高性能视频编码码率控制方法，其特征在于在步骤(2)中已编码帧累加的缓冲区状态对当前帧目标比特的调节。

3.如权利要求2所述的基于梯度的自适应高性能视频编码码率控制方法，其特征在于所述帧层标准目标比特为配置文件设置的目标码率除以帧率得到的每帧目标比特，未经缓冲区状态调整，而所述帧层目标比特是经缓冲区状态调整后的帧层目标比特。

4.如权利要求3所述的基于梯度的自适应高性能视频编码码率控制方法，其特征在于所述缓冲区大小为帧层标准目标比特的三分之一。

5.如权利要求4所述的基于梯度的自适应高性能视频编码码率控制方法，其特征在于所述帧间梯度为当前LCU每个像素点与参考帧相同位置的像素点之间的亮度差值累加，具体求解公式为：

R(x,y)＝I_f(x,y)-I_r(x,y) (2)

其中，I_f(x,y)表示当前位置像素亮度，I_r(x,y)表示参考帧同位置像素亮度，G_inter(i,j,k)即为帧间梯度，k表示当前帧在视频中的序号，M表示视频的宽，N表示视频的高。

6.如权利要求5所述的基于梯度的自适应高性能视频编码码率控制方法，其特征在于所述非I帧的自适应梯度为帧内梯度与帧间梯度的较小值表示当前LCU的复杂度。

7.如权利要求6所述的基于梯度的自适应高性能视频编码码率控制方法，其特征在于所述LCU模拟带宽为根据当前LCU的尺寸占帧尺寸的比例分配的LCU目标比特。