CN104994387B - 一种融合图像特征的码率控制方法 - Google Patents

Abstract

本发明公开了一种融合图像特征的码率控制方法，其在帧层帧内目标比特分配时充分考虑了图像的图像复杂度以及每个像素点的目标比特，图像复杂度高的图像得到了更多的目标比特，使编码码率利用更充分，质量更加稳定；在帧层帧间目标比特分配时充分考虑了图像组内图像之间的图像复杂度，使得图像复杂度高的图像分配了更多的目标比特；在最大编码单元层根据最大编码单元所在的帧的帧类型，使用不同的码率控制策略，使得目标比特分配过程更加兼顾图像的特征；优点是利用本发明方法的编码重建视频的峰值信噪比提高了0.04～0.67dB，码率控制精度提高到了0.00～8.49kb/s。

Description

一种融合图像特征的码率控制方法

技术领域

本发明涉及一种码率控制技术，尤其是涉及一种融合图像特征的码率控制方法。

背景技术

随着数字视频和显示技术的快速发展，高清以及超高清视频逐渐步入人们的视野，作为新一代视频技术的发展方向，其将应用于家庭影院、视频会议、网络视频等领域。然而，未经压缩的高清以及超高清视频含有巨大的数据量，网络带宽的限制已成为制约其广泛应用的瓶颈，为此，国际电信联盟视频编码专家组联合国际电工委员会运动图像专家组开发了新一代视频编码标准——高效视频编码(High Efficiency Video Coding，HEVC)，该编码标准相对于H.264/AVC，能提升一倍以上的压缩效率。

HEVC依旧沿用H.264的混合编码框架，即预测编码、变换过程、量化和熵编码，预测编码主要是为了消除时间域和空间域的相关性；变换过程主要是对残差进行变换编码以消除空间相关性；熵编码则是用来消除统计上的冗余度。然而，一方面，在编码过程中，如果使用固定的量化参数进行编码，则会使得单位时间内产生的比特会随着视频内容的变化有很大的不同；另一方面，网络的复杂性，不同网络的带宽差异很大，会造成视频在网络中传输的不稳定性，当码率小于通信信道所允许的带宽时，通信信道带宽没有被充分的利用，用户不能获得最优的视频质量；当码率大于通信信道所允许的带宽时，视频传输过程中会产生丢包现象，造成视频序列不完整传输。因此，在视频编码传输中需进行码率控制，码率控制的目的就是在给定带宽的情况下根据视频内容来调节量化参数，获得与通信信道带宽相匹配的码率。

HEVC现有的码率控制算法包括两个步骤：比特分配；量化参数计算。比特分配过程分为三层即图像组(Group ofPicture，GOP)层、帧层和最大编码单元(Largest CodingUnit，LCU)层。在GOP层是将用户设定的目标比特平均分到每个图像组；在帧层根据预设的权重将GOP层的目标比特分配到每一帧；在最大编码单元层，根据一次运动估计后的预测误差将帧层的目标比特分配到每个最大编码单元，然后计算其编码的量化参数。但是，这种码率控制算法没有考虑到视频图像的特征，只是简单地按照平均的方法进行目标比特分配，也没有考虑到不同类型的帧编码方式也有很大区别，一种码率控制策略不能适用所有类型的帧，这种码率控制算法的码率控制精度不够高，编码出来的视频质量的稳定性也不够高，导致图像复杂度很高的区域没有分配合理的码率。

发明内容

本发明所要解决的技术问题是提供一种融合图像特征的码率控制方法，其能够有效地保证码率控制的精度，且能够有效地提高编码视频的质量。

本发明解决上述技术问题所采用的技术方案为：一种融合图像特征的码率控制方法，其特征在于包括以下步骤：

①将YUV颜色空间且未经压缩的HEVC彩色视频序列分为N^*个图像组，然后将HEVC彩色视频序列中当前待处理的第i个图像组定义为当前图像组；其中，N表示HEVC彩色视频序列的长度，N_GOP表示HEVC彩色视频序列中的图像组的长度，符号为向下取整符号，i的初始值为1，1≤i≤N^*；

②利用一个缓冲窗将用户设定的目标比特数分配给当前图像组，将分配给当前图像组的目标比特数记为 其中，R_tar表示用户设定的目标比特数，f表示HEVC彩色视频序列的帧率，SW表示缓冲窗的大小，N_used表示HEVC彩色视频序列中已编码的彩色图像的总帧数，R_used表示HEVC彩色视频序列中已编码消耗的目标比特数；

③将当前图像组中当前待处理的第j帧彩色图像定义为当前帧，其中，j的初始值为1，1≤j≤N_GOP；

④将当前图像组的目标比特数分配给当前帧，将分配给当前帧的目标比特数记为如果当前帧为I帧，则如果当前帧为P帧或B帧，则其中，α_frame和β_frame均为中的模型参数，表示当前帧的图像复杂度，bpp表示HEVC彩色视频序列中的每帧彩色图像中的每个像素点的目标比特数，W和H对应表示HEVC彩色视频序列中的彩色图像的宽和高，R_used,GOP表示当前图像组中已编码消耗的目标比特数，表示当前图像组中的所有彩色图像的图像复杂度之和，表示当前图像组中未编码的所有彩色图像的权重之和，表示当前帧的权重；

⑤将当前帧中当前待处理的第k个最大编码单元定义为当前最大编码单元；其中，k的初始值为1，符号为向上取整符号，W和H对应表示HEVC彩色视频序列中的彩色图像的宽和高；

⑥将当前帧的目标比特数分配给当前最大编码单元，将分配给当前最大编码单元的目标比特数记为如果当前最大编码单元所在的彩色图像为I帧，则如果当前最大编码单元所在的彩色图像为P帧或B帧，则或其中，R_used,frame表示当前帧中已编码消耗的目标比特数，表示当前最大编码单元的复杂度，表示当前帧中未编码的所有最大编码单元的复杂度之和，表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元的残差梯度值，表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中从与当前最大编码单元相同坐标位置的最大编码单元开始至最后一个最大编码单元的残差梯度值之和；

⑦根据当前最大编码单元的目标比特数，计算当前最大编码单元的量化参数，记为QP^i,j,k，如果当前最大编码单元所在的彩色图像为I帧，则先计算当前最大编码单元的量化步长，记为 然后计算当前最大编码单元的量化参数QP^i,j,k，再利用QP^i,j,k对当前最大编码单元进行编码；其中，α'和β'均为中的模型参数；

如果当前最大编码单元所在的彩色图像为P帧或B帧，则令QP^i,j,k＝4.2005lnλ'+13.7122，其中， 和ρ均为中的模型参数；

⑧令k＝k+1，然后将当前帧中下一个待处理的最大编码单元作为当前最大编码单元，再返回步骤⑥继续执行，直至当前帧中的所有最大编码单元编码完毕；其中，k＝k+1中的“＝”为赋值符号；

⑨令j＝j+1，然后将当前图像组中下一帧待处理的彩色图像作为当前帧，再返回步骤④继续执行，直至当前图像组中的所有彩色图像的目标比特数分配完毕；其中，j＝j+1中的“＝”为赋值符号；

⑩令i＝i+1，然后将HEVC彩色视频序列中下一个待处理的图像组作为当前图像组，再返回步骤②继续执行，直至HEVC彩色视频序列中的所有图像组的目标比特数分配完毕；其中，i＝i+1中的“＝”为赋值符号。

所述的步骤②中取SW＝40。

所述的步骤④中当前帧的图像复杂度的计算过程为： 其中，W和H对应表示HEVC彩色视频序列中的彩色图像的宽和高，(u,v)表示HEVC彩色视频序列中的彩色图像中的像素点的坐标位置，在此取0≤u≤W-2,0≤v≤H-2，I_u,v表示当前帧中坐标位置为(u,v)的像素点的亮度分量值，I_u+1,v表示当前帧中坐标位置为(u+1,v)的像素点的亮度分量值，I_u,v+1表示当前帧中坐标位置为(u,v+1)的像素点的亮度分量值，符号“| |”为取绝对值符号。

所述的步骤⑥中当前最大编码单元的复杂度的计算过程为： 其中，(p,q)表示HEVC彩色视频序列中的彩色图像中的最大编码单元中的像素点的坐标位置，在此取0≤p≤62,0≤q≤62，U_p,_q表示当前最大编码单元中坐标位置为(p,q)的像素点的亮度分量值，U_p+1,q表示当前最大编码单元中坐标位置为(p+1,q)的像素点的亮度分量值，U_p,q+1表示当前最大编码单元中坐标位置为(p,q+1)的像素点的亮度分量值，符号“| |”为取绝对值符号。

所述的步骤⑥中HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元的残差梯度值的计算过程为：其中，S_p,q表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元得到最佳深度划分后坐标位置为(p,q)的像素点的编码残差，S_p+1,q表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元得到最佳深度划分后坐标位置为(p+1,q)的像素点的编码残差，S_p,q+1表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元得到最佳深度划分后坐标位置为(p,q+1)的像素点的编码残差，编码残差的获取为现有技术，符号“| |”为取绝对值符号。

所述的步骤④中α_frame和β_frame的获取过程为：

④-1、选取四个不同的量化参数分别对HEVC通用测试条件下的class C及class D类型的每个序列中的每帧进行编码，得到每个序列在不同量化参数下的码率；

④-2、将每个序列在不同量化参数下的码率分别作为对应序列的目标码率；

④-3、采用R-λ模型，利用每个序列的四个目标码率分别对每个序列进行编码，得到每个序列在不同目标码率下的实际编码码率；

④-4、从每个序列在不同目标码率下的实际编码码率中，提取出每个序列中的第1帧在不同目标码率下的实际编码比特，将第g个序列中的第1帧在第h个目标码率下的实际编码比特记为IntraBit^g,h，并令其中，g和h的初始值均为1，1≤g≤8，1≤h≤4，表示第g个序列中的第1帧的图像复杂度，bpp'表示第g个序列中的每帧中的每个像素点的目标比特数，R_tar'表示针对第g个序列用户设定的目标比特数，f'表示第g个序列的帧率，W”和H”对应表示第g个序列中的每帧的宽和高，Bit_avg表示第g个序列中的每帧均等分配的目标比特数，

④-5、对所有序列中的第1帧在四个目标码率下的实际编码比特和所有序列中的第1帧的图像复杂度进行拟合，得到α_frame和β_frame。

所述的步骤⑦中α'和β'的获取过程为：

⑦-1、采用多个不同的量化参数分别对HEVC通用测试条件下的class C及class D类型的每个序列中的每帧进行全I帧编码，得到每个序列中的每帧在不同量化参数下的实际编码比特；其中，量化参数的取值范围为22至40，且步长为3；

⑦-2、提取出每个序列中的第10帧在不同量化参数下的实际编码比特，然后计算每个序列中的第10帧中的每个像素点在不同量化参数下的实际编码比特，将第g个序列中的第10帧中的每个像素点在第k个量化参数下的实际编码比特记为bpp^g,k，其中，g和k的初始值均为1，1≤g≤8，1≤k≤7，R_actual表示第g个序列中的第10帧在不同量化参数下的实际编码比特，W”和H”对应表示第g个序列中的每帧的宽和高，表示第g个序列中的第10帧的图像复杂度，表示采用的第k个量化参数对应的量化步长，QP^g,k表示采用的第k个量化参数；

⑦-3、对所有序列中的第10帧中的每个像素点在不同量化参数下的实际编码比特和所有序列中的第10帧的图像复杂度以及采用的所有量化参数各自对应的量化步长进行拟合，得到α'和β'。

所述的步骤⑦中取取ρ＝-1.367。

所述的步骤④中当前帧的权重的取值由bpp和当前帧在当前图像组中的位置来决定，当N_GOP＝4时，如果当前帧为当前图像组中的第1帧，则当bpp>0.2时取当0.1<bpp≤0.2时取当0.05<bpp≤0.1时取其余情况取如果当前帧为当前图像组中的第2帧，则当bpp>0.2时取当0.1<bpp≤0.2时取当0.05<bpp≤0.1时取其余情况取如果当前帧为当前图像组中的第3帧，则当bpp>0.2时取当0.1<bpp≤0.2时取当0.05<bpp≤0.1时取其余情况取如果当前帧为当前图像组中的第4帧，则当bpp>0.2时取当0.1<bpp≤0.2时取当0.05<bpp≤0.1时取其余情况取

与现有技术相比，本发明的优点在于：

本发明方法针对不同帧类型的编码帧，能够按照不同的码率控制策略进行控制，在总码率限制的条件下，本发明方法在帧层帧内目标比特分配时充分考虑了图像的图像复杂度以及每个像素点的目标比特，图像复杂度高的图像得到了更多的目标比特，从而使编码码率利用更充分，质量更加稳定；在帧层帧间目标比特分配时充分考虑了图像组内图像之间的图像复杂度，使得图像复杂度高的图像分配了更多的目标比特；本发明方法在最大编码单元层根据最大编码单元所在的帧的帧类型，使用不同的码率控制策略，其中在P或B类型帧的最大编码单元层根据之前编码帧中有无与最大编码单元所在帧属于同一级别的编码帧中处于同一位置的参考最大编码单元，使用不同的目标比特分配策略，使得目标比特分配过程更加兼顾图像的特征；实验结果表明，与原始码率控制方法相比，利用本发明方法进行码率控制后，整体视频质量较稳定，编码重建视频的峰值信噪比提高了0.04～0.67dB，主观效果得到了明显提高；码率控制精度即码率偏差相比原始码率控制方法的0.01～52.04kb/s提高到0.00～8.49kb/s。

附图说明

图1为本发明方法的总体实现框图；

图2为低延时编码结构的示意图；

图3为Class C和Class D类型的每个序列中的第1帧的实际编码比特-图像复杂度的统计曲线图；

图4a为Class C类型的每个序列中的第10帧的实际编码比特、图像复杂度与量化步长的统计曲线图；

图4b为Class D类型的每个序列中的第10帧的实际编码比特、图像复杂度与量化步长的统计曲线图；

图5为PartyScene序列在编码后的峰值信噪比波动图；

图6为RaceHorsesC序列在编码后的峰值信噪比波动图；

图7a为PartyScene序列采用原始码率控制方法得到的重构图像；

图7b为PartyScene序列采用本发明方法得到的重构图像；

图7c为PartyScene序列采用原始码率控制方法得到的重构图像的局部区域；

图7d为PartyScene序列采用本发明方法得到的重构图像的局部区域；

图8a为RaceHorsesC序列采用原始码率控制方法得到的重构图像；

图8b为RaceHorsesC序列采用本发明方法得到的重构图像；

图8c为RaceHorsesC序列采用原始码率控制方法得到的重构图像的局部区域；

图8d为RaceHorsesC序列采用本发明方法得到的重构图像的局部区域；

图9a为BasketballDrill序列采用原始码率控制方法得到的重构图像；

图9b为BasketballDrill序列采用本发明方法得到的重构图像；

图9c为BasketballDrill序列采用原始码率控制方法得到的重构图像的局部区域；

图9d为BasketballDrill序列采用本发明方法得到的重构图像的局部区域。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种融合图像特征的码率控制方法，其总体实现框图如图1所示，其通过对图像组层、帧层、最大编码单元层这三个层次分别进行码率控制，在图像组层，根据图像的特征对图像组内图像的目标比特分配进行优化；在帧层，根据编码帧的类型选择不同的码率控制模型进行控制；在最大编码单元层，类似于帧层，同样根据最大编码单元所在的帧的帧类型选择不同的目标比特分配策略。

本发明的码率控制方法包括以下步骤：

①将YUV颜色空间且未经压缩的HEVC彩色视频序列分为N^*个图像组，然后将HEVC彩色视频序列中当前待处理的第i个图像组定义为当前图像组；其中，N表示HEVC彩色视频序列的长度，即N表示HEVC彩色视频序列中包含的彩色图像的总帧数，N≥100，如取N＝300，N_GOP表示HEVC彩色视频序列中的图像组的长度，在本实施例中取N_GOP＝4，由于N不一定能被N_GOP整除，而能不能被整除都不影响编码，因此当N不能被N_GOP整除时，将剩余的彩色图像也作为一个图像组，这样能够保证编码的普适性，符号为向下取整符号，i的初始值为1，1≤i≤N^*。

在此，YUV颜色空间的HEVC彩色视频序列由三个颜色分量构成，Y为亮度分量，U和V分别表示第一色度分量和第二色度分量，用以描述色彩及饱和度。

②为了防止图像组的码率波动，利用一个缓冲窗将用户设定的目标比特数分配给当前图像组，将分配给当前图像组的目标比特数记为 其中，R_tar表示用户设定的目标比特数，HEVC彩色视频序列在编码时用户设定的目标比特数R_tar固定，f表示HEVC彩色视频序列的帧率，SW表示缓冲窗的大小，在本实施例中取SW＝40，N_used表示HEVC彩色视频序列中已编码的彩色图像的总帧数，R_used表示HEVC彩色视频序列中已编码消耗的目标比特数。

在此，缓冲窗的作用主要是用来平滑比特输出；由于对于每个图像组，彩色视频序列中已编码的彩色图像的总帧数和已用的目标比特各不相同，因此分配给每个图像组的目标比特也不相同。

③将当前图像组中当前待处理的第j帧彩色图像定义为当前帧，其中，j的初始值为1，1≤j≤N_GOP。

④由于HEVC彩色视频序列中的I帧采用帧内编码，P帧和B帧采用帧间编码，两种编码方式存在较大差异，因此在帧层，本发明根据彩色图像的帧类型，对彩色图像采用不同的目标比特数分配方式。即：将当前图像组的目标比特数分配给当前帧，将分配给当前帧的目标比特数记为如果当前帧为I帧，则如果当前帧为P帧或B帧，则在帧层目标比特数分配时，其目标比特的分配参考其所在图像组的图像复杂度，即当前帧若在其所在的图像组中具有很高的图像复杂度，那么将图像组层的目标比特数多分配到当前帧，反之亦然，具体为：其中，α_frame和β_frame均为中的模型参数，在本实施例中取α_frame＝0.7199，取β_frame＝0.5456，表示当前帧的图像复杂度，bpp表示HEVC彩色视频序列中的每帧彩色图像中的每个像素点的目标比特数，W和H对应表示HEVC彩色视频序列中的彩色图像的宽和高，R_used,GOP表示当前图像组中已编码消耗的目标比特数，表示当前图像组中的所有彩色图像的图像复杂度之和，表示当前图像组中未编码的所有彩色图像的权重之和，表示当前帧的权重。

由于在原始码率控制方法中使用的是分级的比特分配，如图2所示为低延时编码结构，在图2中，所有的帧一共分为三个不同的级别，帧f_4n属于第一级，这一级的帧消耗最多的比特，帧f_4n+1和f_4n+3属于最后一级，这一级的帧消耗最少的比特，帧f_4n+2属于中间级，这一级帧的比特消耗处于中间，因此在此，当前帧的权重的取值由bpp和当前帧在当前图像组中的位置来决定，以N_GOP＝4为例，如果当前帧为当前图像组中的第1帧，则当bpp>0.2时取当0.1<bpp≤0.2时取当0.05<bpp≤0.1时取其余情况取如果当前帧为当前图像组中的第2帧，则当bpp>0.2时取当0.1<bpp≤0.2时取当0.05<bpp≤0.1时取其余情况取如果当前帧为当前图像组中的第3帧，则当bpp>0.2时取当0.1<bpp≤0.2时取当0.05<bpp≤0.1时取其余情况取如果当前帧为当前图像组中的第4帧，则当bpp>0.2时取当0.1<bpp≤0.2时取当0.05<bpp≤0.1时取其余情况取在当前图像组中的每帧彩色图像的权重已知的情况下，当前图像组中未编码的所有彩色图像的权重之和也是确定的。

在此，代表当前帧的亮度分量的梯度值，本发明利用当前帧的亮度分量的梯度值来反映当前帧的图像复杂度。在此具体实施例中，当前帧的图像复杂度的计算过程为：其中，W和H对应表示HEVC彩色视频序列中的彩色图像的宽和高，(u,v)表示HEVC彩色视频序列中的彩色图像中的像素点的坐标位置，在此取0≤u≤W-2,0≤v≤H-2，I_u,v表示当前帧中坐标位置为(u,v)的像素点的亮度分量值，I_u+1,v表示当前帧中坐标位置为(u+1,v)的像素点的亮度分量值，I_u,v+1表示当前帧中坐标位置为(u,v+1)的像素点的亮度分量值，符号“| |”为取绝对值符号。

在此具体实施例中，步骤④中α_frame和β_frame的获取过程为：

④-1、采用全I帧编码模式选取四个不同的量化参数分别对HEVC通用测试条件下的class C及class D类型的每个序列中的每帧进行编码，得到每个序列在不同量化参数下的码率。

在此，class C类型的有BasketballDrill、BQMall、PartyScene和RaceHorsesC四个序列，class D类型的有BasketballPass、BQSquare、BlowingBubbles和RaceHorses四个序列，每个序列包含的编码帧数为300帧。

④-2、将每个序列在不同量化参数下的码率分别作为对应序列的目标码率；由于选取了四个不同的量化参数，因此每个序列对应有四个目标码率。

④-3、采用现有的R-λ模型，利用每个序列的四个目标码率分别对每个序列进行编码，得到每个序列在不同目标码率下的实际编码码率。

④-4、从每个序列在不同目标码率下的实际编码码率中，提取出每个序列中的第1帧在不同目标码率下的实际编码比特，将第g个序列中的第1帧在第h个目标码率下的实际编码比特记为IntraBit^g,h，并令(为R-C模型)，其中，g和h的初始值均为1，1≤g≤8，1≤h≤4，表示第g个序列中的第1帧的图像复杂度，bpp'表示第g个序列中的每帧中的每个像素点的目标比特数，R_tar'表示针对第g个序列用户设定的目标比特数，f'表示第g个序列的帧率，W”和H”对应表示第g个序列中的每帧的宽和高，Bit_avg表示第g个序列中的每帧均等分配的目标比特数，

④-5、对所有序列中的第1帧在四个目标码率下的实际编码比特和所有序列中的第1帧的图像复杂度进行拟合，得到α_frame和β_frame。即根据获得所有序列中的第1帧在四个目标码率下的实际编码比特相对应的联立方程，解联立方程得到α_frame和β_frame。在本实施例中，选取的四个不同的量化参数分别为22、27、32、37时，得到的α_frame和β_frame的值对应为0.7199和0.5456。

图3给出了class C以及classD类型的每个序列中的第1帧的实际编码比特与图像复杂度的统计曲线图。图3中C/bpp为第1帧的图像复杂度与实际编码每个像素点的比特的商，IntraBit为第1帧的实际编码比特，Bitavg为第1帧均等分配的比特。图3中共有32个数据点，即8个序列，每个序列用4个目标码率分别进行编码得到每个序列第1帧的实际编码比特。对所有序列中的第1帧的图像复杂度与每个像素点的比特的商、所有序列中的第1帧的实际编码比特以及均等分配的比特进行拟合，拟合出的相关系数高达0.9948，相关系数取值范围是[0,1]，相关系数越接近于1，说明回归曲线对观测值的拟合程度越好。

⑤将当前帧中当前待处理的第k个最大编码单元定义为当前最大编码单元；其中，k的初始值为1，符号为向上取整符号，W和H对应表示HEVC彩色视频序列中的彩色图像的宽和高。

⑥将当前帧的目标比特数分配给当前最大编码单元，将分配给当前最大编码单元的目标比特数记为如果当前最大编码单元所在的彩色图像为I帧，则如果当前最大编码单元所在的彩色图像为P帧或B帧，则在最大编码单元层进行目标比特数分配时，若之前编码帧中无与当前编码帧属于同一级别的帧中处于同一位置的最大编码单元作为参考，那么参照最大编码单元自身的复杂度在整帧中的图像复杂度情况进行目标比特分配；若之前编码帧中有与当前编码帧属于同一级别帧中处于同一位置的最大编码单元可供其参考，那么将同一级别帧中处于同一位置的最大编码单元的编码残差图像的梯度值作为其复杂度进行目标比特分配，即根据当前最大编码单元有无参考最大编码单元分两种目标比特分配策略，具体为：第一种策略，若当前最大编码单元无同一级别帧中处于同一位置的最大编码单元作为参考，则参考其自身的图像复杂度进行目标比特分配，即或第二种策略，若当前最大编码单元有同一级别帧中处于同一位置的最大编码单元作为参考，则计算其参考的最大编码单元的残差梯度值，以此作为其复杂度，即其中，R_used,frame表示当前帧中已编码消耗的目标比特数，表示当前最大编码单元的复杂度，表示当前帧中未编码的所有最大编码单元的复杂度之和，表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元的残差梯度值，表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中从与当前最大编码单元相同坐标位置的最大编码单元开始至最后一个最大编码单元的残差梯度值之和，图2所示的HEVC编码结构采用的是帧之间分级的分配比特策略，图2中f_4n+1、f_4n+3、f_4n+5与f_4n+7属于同一级别，f_4n+2和f_4n+6属于同一级别，f_4n、f_4n+4和f_4n+8属于同一级别，如果当前最大编码单元是f_4n+2帧中的最大编码单元，由于无之前编码的属于同一级别帧中处于同一位置的最大编码单元进行参考，则参考其自身的图像复杂度；如果当前最大编码单元是f_4n+7帧中的c1，则可参考f_4n+5帧中的p1；如果当前帧是第1帧，第1帧为I帧，则采用I帧最大编码单元的分配策略。

在此具体实施例中，步骤⑥中当前最大编码单元的复杂度的计算过程为：其中，(p,q)表示HEVC彩色视频序列中的彩色图像中的最大编码单元中的像素点的坐标位置，在此取0≤p≤62,0≤q≤62，U_p,_q表示当前最大编码单元中坐标位置为(p,q)的像素点的亮度分量值，U_p+1,q表示当前最大编码单元中坐标位置为(p+1,q)的像素点的亮度分量值，U_p,q+1表示当前最大编码单元中坐标位置为(p,q+1)的像素点的亮度分量值，符号“| |”为取绝对值符号。

在此具体实施例中，步骤⑥中HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元的残差梯度值的计算过程为：其中，S_p,q表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元得到最佳深度划分后坐标位置为(p,q)的像素点的编码残差，S_p+1,q表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元得到最佳深度划分后坐标位置为(p+1,q)的像素点的编码残差，S_p,q+1表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元得到最佳深度划分后坐标位置为(p,q+1)的像素点的编码残差，编码残差的获取为现有技术，符号“| |”为取绝对值符号。

⑦根据当前最大编码单元的目标比特数，计算当前最大编码单元的量化参数，记为QP^i,j,k，如果当前最大编码单元所在的彩色图像为I帧，则先计算当前最大编码单元的量化步长，记为 然后计算当前最大编码单元的量化参数QP^i,j,k，再利用QP^i,j,k对当前最大编码单元进行编码，同时在当前最大编码单元编码模式选择的率失真代价函数中，将当前最大编码单元的拉格朗日乘子修改为：其中，α'和β'均为中的模型参数，在本实施例中取α'＝0.6564，取β'＝-0.9385，λ表示当前最大编码单元的拉格朗日乘子。

如果当前最大编码单元所在的彩色图像为P帧或B帧，则令QP^i,j,k＝4.2005lnλ'+13.7122，其中， 和ρ均为中的模型参数，在本实施例中取取ρ＝-1.367。

在此具体实施例中，步骤⑦中α'和β'的获取过程为：

⑦-1、采用多个不同的量化参数分别对HEVC通用测试条件下的class C及class D类型的每个序列中的每帧进行全I帧编码，得到每个序列中的每帧在不同量化参数下的实际编码比特；其中，量化参数的取值范围为22至40，且步长为3，即量化参数分别为22、25、28、31、34、37、40。

在此，class C类型的有BasketballDrill、BQMall、PartyScene和RaceHorsesC四个序列，class D类型的有BasketballPass、BQSquare、BlowingBubbles和RaceHorses四个序列，每个序列包含的编码帧数为300帧。

⑦-2、提取出每个序列中的第10帧在不同量化参数下的实际编码比特，然后计算每个序列中的第10帧中的每个像素点在不同量化参数下的实际编码比特，将第g个序列中的第10帧中的每个像素点在第k个量化参数下的实际编码比特记为bpp^g,k，(在此为R-C-Q模型)，其中，g和k的初始值均为1，1≤g≤8，1≤k≤7，R_actual表示第g个序列中的第10帧在不同量化参数下的实际编码比特，W”和H”对应表示第g个序列中的每帧的宽和高，表示第g个序列中的第10帧的图像复杂度，表示采用的第k个量化参数对应的量化步长，QP^g,k表示采用的第k个量化参数。

⑦-3、对所有序列中的第10帧中的每个像素点在不同量化参数下的实际编码比特和所有序列中的第10帧的图像复杂度以及采用的所有量化参数各自对应的量化步长进行拟合，得到α'和β'。即根据获得所有序列中的第10帧中的每个像素点在7个不同量化参数下的实际编码比特相对应的联立方程，解联立方程得到α'和β'。在本实施例中，选取的七个不同的量化参数分别为22、25、28、31、34、37、40时，得到的α'和β'的值对应为0.6564和-0.9385。

图4a给出了Class C类型的每个序列中的第10帧的实际编码比特、图像复杂度与量化步长的统计曲线图，图4b给出了Class D类型的每个序列中的第10帧的实际编码比特、图像复杂度与量化步长的统计曲线图。图4a和图4b中bpp/C为第10帧图像实际编码每个像素点的比特与图像复杂度的商，Q_step为第10帧图像的编码量化步长。

⑧令k＝k+1，然后将当前帧中下一个待处理的最大编码单元作为当前最大编码单元，再返回步骤⑥继续执行，直至当前帧中的所有最大编码单元编码完毕；其中，k＝k+1中的“＝”为赋值符号。

⑨令j＝j+1，然后将当前图像组中下一帧待处理的彩色图像作为当前帧，再返回步骤④继续执行，直至当前图像组中的所有彩色图像的目标比特数分配完毕；其中，j＝j+1中的“＝”为赋值符号。

⑩令i＝i+1，然后将HEVC彩色视频序列中下一个待处理的图像组作为当前图像组，再返回步骤②继续执行，直至HEVC彩色视频序列中的所有图像组的目标比特数分配完毕；其中，i＝i+1中的“＝”为赋值符号。

以下就利用本发明方法对HEVC通用测试条件下的ClassA、Class B、Class C以及Class D类型的序列进行码率控制的性能进行比较。

将利用本发明方法进行码率控制的性能与利用原始码率控制方法进行码率控制的性能进行对比。原始码率控制方法是将JCTVC-K0103算法应用到HM11.0平台上，不做其他任何改进。目标码率的设定采用JCTVC-A204建议的码率，对本发明方法与原始码率控制方法进行实验比较，采用低延时编码配置，共编码300帧，实验结果如表1和表2所列，其中，码率控制精度即实际编码码率相对于目标码率的偏差，记为RE，RE＝R_actual-R_target，R_target和R_actual对应表示目标码率和实际编码码率。

从表1中可以看出本发明方法在码率偏差方面相对原始码率控制方法有所改进，利用本发明方法的最大码率偏差为8.49kb/s，最小码率偏差为0.00kb/s；而利用原始码率控制方法的最大码率偏差为52.04kb/s，最小码率偏差为0.01kb/s。利用本发明方法的码率偏差之所以这么小，是因为在帧层引入了图像的图像复杂度，优化了帧层的目标比特分配，每个图像组内图像复杂度低的帧分配较少的目标比特，而图像复杂度高的帧分配较多的目标比特。从表2中可以看出本发明方法与原始码率控制方法相比PSNR以及PSNR标准差均有所改善，利用本发明方法的平均PSNR相对利用原始码率控制方法最大能增加0.67dB，最小增加0.04dB，虽然个别序列的PSNR相对原始码率控制方法有所降低，最大降低0.05dB，但PSNR标准差波动较小，并不影响主观效果。图5给出了PartyScene序列在编码后的峰值信噪比(PSNR)波动图，图6给出了RaceHorsesC序列在编码后的峰值信噪比(PSNR)波动图。由于本发明方法在比特分配时考虑了图像的特征，故峰值信噪比波动幅度更小，即质量更稳定。图7a给出了PartyScene序列采用原始码率控制方法得到的重构图像；图7b给出了PartyScene序列采用本发明方法得到的重构图像；图7c给出了PartyScene序列采用原始码率控制方法得到的重构图像的局部区域；图7d给出了PartyScene序列采用本发明方法得到的重构图像的局部区域。从图7a至图7d可以看出，采用原始码率控制方法得到的重构图像中人物失真非常明显，采用本发明方法得到的重构图像中人物的脸部、衣服以及手比采用原始码率控制方法得到的重构图像更加清晰，这是由于在比特分配的过程中考虑了编码块的复杂度，复杂度越大的区域分配了更多的比特。图8a给出了RaceHorsesC序列采用原始码率控制方法得到的重构图像；图8b给出了RaceHorsesC序列采用本发明方法得到的重构图像；图8c给出了RaceHorsesC序列采用原始码率控制方法得到的重构图像的局部区域；图8d给出了RaceHorsesC序列采用本发明方法得到的重构图像的局部区域。从图8a至图8d可以看出，采用原始码率控制方法得到的重构图像中马胸部的链子失真到完全看不到，骑师的脚尖有明显的锯齿状并且较模糊，旁边的小草地也很模糊，而采用本发明方法得到的重构图像中不管是马胸部的链子，骑师的脚尖还是旁边的小草地编码质量都要好于采用原始码率控制方法得到的重构图像。图9a给出了BasketballDrill序列采用原始码率控制方法得到的重构图像；图9b给出了BasketballDrill序列采用本发明方法得到的重构图像；图9c给出了BasketballDrill序列采用原始码率控制方法得到的重构图像的局部区域；图9d给出了BasketballDrill序列采用本发明方法得到的重构图像的局部区域。从图9a至图9d可以看出，采用本发明方法得到的重构图像好于采用原始码率控制方法得到的重构图像，人物的脸部以及手指相对采用原始码率控制方法得到的重构图像更加清晰可见。

表1利用本发明方法与利用原始码率控制方法的码率控制精度比较

表2利用本发明方法与利用原始码率控制方法的平均PSNR和PSNR标准差的比较

Claims (7)

1.一种融合图像特征的码率控制方法，其特征在于包括以下步骤：

①将YUV颜色空间且未经压缩的HEVC彩色视频序列分为N^*个图像组，然后将HEVC彩色视频序列中当前待处理的第i个图像组定义为当前图像组；其中，N表示HEVC彩色视频序列的长度，N_GOP表示HEVC彩色视频序列中的图像组的长度，符号为向下取整符号，i的初始值为1，1≤i≤N^*；

②利用一个缓冲窗将用户设定的目标比特数分配给当前图像组，将分配给当前图像组的目标比特数记为 其中，R_tar表示用户设定的目标比特数，f表示HEVC彩色视频序列的帧率，SW表示缓冲窗的大小，N_used表示HEVC彩色视频序列中已编码的彩色图像的总帧数，R_used表示HEVC彩色视频序列中已编码消耗的目标比特数；

③将当前图像组中当前待处理的第j帧彩色图像定义为当前帧，其中，j的初始值为1，1≤j≤N_GOP；

④将当前图像组的目标比特数分配给当前帧，将分配给当前帧的目标比特数记为如果当前帧为I帧，则如果当前帧为P帧或B帧，则其中，α_frame和β_frame均为中的模型参数，表示当前帧的图像复杂度，bpp表示HEVC彩色视频序列中的每帧彩色图像中的每个像素点的目标比特数，W和H对应表示HEVC彩色视频序列中的彩色图像的宽和高，R_used,GOP表示当前图像组中已编码消耗的目标比特数，表示当前图像组中的所有彩色图像的图像复杂度之和，表示当前图像组中未编码的所有彩色图像的权重之和，表示当前帧的权重；

所述的步骤④中代表当前帧的亮度分量的梯度值，利用当前帧的亮度分量的梯度值来反映当前帧的图像复杂度，当前帧的图像复杂度的计算过程为：其中，W和H对应表示HEVC彩色视频序列中的彩色图像的宽和高，(u,v)表示HEVC彩色视频序列中的彩色图像中的像素点的坐标位置，在此取0≤u≤W-2,0≤v≤H-2，I_u,v表示当前帧中坐标位置为(u,v)的像素点的亮度分量值，I_u+1,v表示当前帧中坐标位置为(u+1,v)的像素点的亮度分量值，I_u,v+1表示当前帧中坐标位置为(u,v+1)的像素点的亮度分量值，符号“| |”为取绝对值符号；

⑤将当前帧中当前待处理的第k个最大编码单元定义为当前最大编码单元；其中，k的初始值为1，符号为向上取整符号，W和H对应表示HEVC彩色视频序列中的彩色图像的宽和高；

⑥将当前帧的目标比特数分配给当前最大编码单元，将分配给当前最大编码单元的目标比特数记为如果当前最大编码单元所在的彩色图像为I帧，则如果当前最大编码单元所在的彩色图像为P帧或B帧，则或其中，R_used,frame表示当前帧中已编码消耗的目标比特数，表示当前最大编码单元的复杂度，表示当前帧中未编码的所有最大编码单元的复杂度之和，表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元的残差梯度值，表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中从与当前最大编码单元相同坐标位置的最大编码单元开始至最后一个最大编码单元的残差梯度值之和；

所述的步骤⑥中当前最大编码单元的复杂度的计算过程为： 其中，(p,q)表示HEVC彩色视频序列中的彩色图像中的最大编码单元中的像素点的坐标位置，在此取0≤p≤62,0≤q≤62，U_p,_q表示当前最大编码单元中坐标位置为(p,q)的像素点的亮度分量值，U_p+1,q表示当前最大编码单元中坐标位置为(p+1,q)的像素点的亮度分量值，U_p,q+1表示当前最大编码单元中坐标位置为(p,q+1)的像素点的亮度分量值，符号“| |”为取绝对值符号；

⑦根据当前最大编码单元的目标比特数，计算当前最大编码单元的量化参数，记为QP^{i ,j,k}，如果当前最大编码单元所在的彩色图像为I帧，则先计算当前最大编码单元的量化步长，记为 然后计算当前最大编码单元的量化参数QP^i,j,k，再利用QP^i,j,k对当前最大编码单元进行编码；其中，α'和β'均为中的模型参数；

如果当前最大编码单元所在的彩色图像为P帧或B帧，则令QP^i,j,k＝4.2005lnλ'+13.7122，其中， 和ρ均为中的模型参数；

⑧令k＝k+1，然后将当前帧中下一个待处理的最大编码单元作为当前最大编码单元，再返回步骤⑥继续执行，直至当前帧中的所有最大编码单元编码完毕；其中，k＝k+1中的“＝”为赋值符号；

⑨令j＝j+1，然后将当前图像组中下一帧待处理的彩色图像作为当前帧，再返回步骤④继续执行，直至当前图像组中的所有彩色图像的目标比特数分配完毕；其中，j＝j+1中的“＝”为赋值符号；

⑩令i＝i+1，然后将HEVC彩色视频序列中下一个待处理的图像组作为当前图像组，再返回步骤②继续执行，直至HEVC彩色视频序列中的所有图像组的目标比特数分配完毕；其中，i＝i+1中的“＝”为赋值符号。

2.根据权利要求1所述的一种融合图像特征的码率控制方法，其特征在于所述的步骤②中取SW＝40。

3.根据权利要求1所述的一种融合图像特征的码率控制方法，其特征在于所述的步骤⑥中HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元的残差梯度值的计算过程为：其中，S_p,_q表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元得到最佳深度划分后坐标位置为(p,q)的像素点的编码残差，S_p+1,q表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元得到最佳深度划分后坐标位置为(p+1,q)的像素点的编码残差，S_p,q+1表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元得到最佳深度划分后坐标位置为(p,q+1)的像素点的编码残差，编码残差的获取为现有技术，符号“| |”为取绝对值符号。

4.根据权利要求3所述的一种融合图像特征的码率控制方法，其特征在于所述的步骤④中α_frame和β_frame的获取过程为：

④-1、选取四个不同的量化参数分别对HEVC通用测试条件下的class C及class D类型的每个序列中的每帧进行编码，得到每个序列在不同量化参数下的码率；

④-2、将每个序列在不同量化参数下的码率分别作为对应序列的目标码率；

④-3、采用R-λ模型，利用每个序列的四个目标码率分别对每个序列进行编码，得到每个序列在不同目标码率下的实际编码码率；

④-4、从每个序列在不同目标码率下的实际编码码率中，提取出每个序列中的第1帧在不同目标码率下的实际编码比特，将第g个序列中的第1帧在第h个目标码率下的实际编码比特记为IntraBit^g,h，并令其中，g和h的初始值均为1，1≤g≤8，1≤h≤4，表示第g个序列中的第1帧的图像复杂度，bpp'表示第g个序列中的每帧中的每个像素点的目标比特数，R_tar'表示针对第g个序列用户设定的目标比特数，f'表示第g个序列的帧率，W”和H”对应表示第g个序列中的每帧的宽和高，Bit_avg表示第g个序列中的每帧均等分配的目标比特数，

④-5、对所有序列中的第1帧在四个目标码率下的实际编码比特和所有序列中的第1帧的图像复杂度进行拟合，得到α_frame和β_frame。

5.根据权利要求4所述的一种融合图像特征的码率控制方法，其特征在于所述的步骤⑦中α'和β'的获取过程为：

⑦-1、采用多个不同的量化参数分别对HEVC通用测试条件下的class C及class D类型的每个序列中的每帧进行全I帧编码，得到每个序列中的每帧在不同量化参数下的实际编码比特；其中，量化参数的取值范围为22至40，且步长为3；

⑦-2、提取出每个序列中的第10帧在不同量化参数下的实际编码比特，然后计算每个序列中的第10帧中的每个像素点在不同量化参数下的实际编码比特，将第g个序列中的第10帧中的每个像素点在第k个量化参数下的实际编码比特记为bpp^g,k，其中，g和k的初始值均为1，1≤g≤8，1≤k≤7，R_actual表示第g个序列中的第10帧在不同量化参数下的实际编码比特，W”和H”对应表示第g个序列中的每帧的宽和高，表示第g个序列中的第10帧的图像复杂度，表示采用的第k个量化参数对应的量化步长，QP^g,k表示采用的第k个量化参数；

⑦-3、对所有序列中的第10帧中的每个像素点在不同量化参数下的实际编码比特和所有序列中的第10帧的图像复杂度以及采用的所有量化参数各自对应的量化步长进行拟合，得到α'和β'。

6.根据权利要求5所述的一种融合图像特征的码率控制方法，其特征在于所述的步骤⑦中取取ρ＝-1.367。

7.根据权利要求6所述的一种融合图像特征的码率控制方法，其特征在于所述的步骤④中当前帧的权重的取值由bpp和当前帧在当前图像组中的位置来决定，当N_GOP＝4时，如果当前帧为当前图像组中的第1帧，则当bpp>0.2时取当0.1<bpp≤0.2时取当0.05<bpp≤0.1时取其余情况取如果当前帧为当前图像组中的第2帧，则当bpp>0.2时取当0.1<bpp≤0.2时取当0.05<bpp≤0.1时取其余情况取如果当前帧为当前图像组中的第3帧，则当bpp>0.2时取当0.1<bpp≤0.2时取当0.05<bpp≤0.1时取其余情况取如果当前帧为当前图像组中的第4帧，则当bpp>0.2时取当0.1<bpp≤0.2时取当0.05<bpp≤0.1时取其余情况取