CN114666585A - 一种基于视觉感知的码率控制方法及装置 - Google Patents

Abstract

本发明公开了一种基于视觉感知的码率控制方法，包括如下步骤：步骤S10：计算LCU内部纹理丰富区域的梯度幅值，并将计算结果作为LCU的纹理感知因子。步骤S20：计算LCU内部运动丰富区域的帧差幅值与面积占比的乘积，并将计算结果作为LCU的运动感知因子。所述步骤S10和步骤S20的顺序或者任一在前，或者同时进行。步骤S30：根据LCU的纹理感知因子和运动感知因子计算LCU的比特分配权重，进而计算出LCU的目标编码比特数。本发明取得的技术效果是使图像帧内LCU的目标比特分配更加符合人眼主观感知的特征，提升人眼主观视觉质量，并且适合于采用硬件实现。

Description

一种基于视觉感知的码率控制方法及装置

技术领域

本发明涉及一种视频编码技术，特别是涉及一种基于视觉感知的、适合于硬件实现的码率控制方法及装置。

背景技术

视频编码是一种通过压缩视频图像中的冗余成分，并使用尽可能少的数据来表征视频信息的技术。HEVC(High Efficiency Video Coding，又称H.265)是新一代的视频编码标准。相比于上一代的视频编码标准AVC(Advanced Video Coding，又称H.264)，在达到相同视频编码质量的前提下，HEVC可以减少约50％的编码比特率，视频压缩性能较AVC提升了约一倍。由于视频编码算法的运算量很大，为了提高视频编码速度，使用专用集成电路(ASIC)对视频编码过程进行硬件加速成为业界的通用做法。

视频编码技术以图像块作为基本编码单元。在HEVC中，基本编码单元是CU(CodingUnit，编码单元)。CU可以为64像素×64像素、32像素×32像素、16像素×16像素、8像素×8像素的图像块。其中64像素×64像素的图像块又称为LCU(Largest Coding Unit，最大编码单元)。

在实际应用中，用来传输压缩视频的信道带宽容量是有限的。如果压缩视频的编码比特率过高，超出了信道带宽的容量，就会造成视频传输拥塞甚至丢包。如果压缩视频的编码比特率过低，又会导致信道带宽没有得到充分利用，也无法获得更高的视频质量。因此，有必要使用码率控制(Rate Control)技术，对视频编码器的输出码率进行控制，使之与信道带宽容量相匹配。

码率控制技术的目的就是通过调整视频编码器的编码参数，使视频编码器的输出码率等于预先设置的目标码率，同时尽可能减少编码失真以提升视频编码质量。目前在HEVC参考编码器HM(HEVC Test Model，HEVC测试模型)中，采用的码率控制算法基于JCTVC-K0103提案。JCTVC-K0103提案建立了编码比特率R与拉格朗日乘子λ的数学关系模型(即R-λ模型)，通过目标比特分配和目标比特控制两个环节来实现码率控制任务。

JCTVC-K0103提案中，目标比特分配在三个层次进行，分别是GOP(Group OfPictures，图像组，即一组时间连续的图像帧的集合)级别、图像帧级别、基本编码单元级别。为了减少运算复杂度，在基本编码单元级别的目标比特分配中，一般选择LCU作为目标比特分配的基本单元。因此，基本编码单元级别的目标比特分配通常又称为LCU级别目标比特分配。

在经过GOP级别和图像帧级别的目标比特分配之后，当前待编码视频帧的目标编码比特数就被确定下来，下一步要进行LCU级别目标比特分配，以决定当前视频帧内部各个LCU的比特分配权重，并依据每个LCU的比特分配权重为各个LCU分配目标编码比特数。在JCTVC-K0103提案中，LCU级别比特分配依据如下公式进行。

其中，T_{LCU_curr}为当前待编码LCU分配的目标编码比特数，T_Pic为当前待编码视频帧(视频帧也称图像帧)分配的目标编码比特数，Bit_H为事先预估的视频帧头信息需要的比特数，Coded_Pic为当前待编码视频帧中已编码的LCU的实际编码比特数，ω_{LCU_curr}为当前待编码LCU的比特分配权重，ω_LCU表示不特指某一个LCU的比特分配权重，∑_{{AllNotCodedLCUs}}ω_LCU为当前待编码视频帧中所有未编码LCU的比特分配权重之和。

从上式中可以发现，LCU级别比特分配的核心是LCU的比特分配权重ω_LCU。在计算出当前待编码视频帧内所有LCU的比特分配权重之后，通过累加各个未编码LCU的比特分配权重，就可以得到当前帧内所有未编码LCU的比特分配权重之和。然后通过各个LCU的比特分配权重在当前帧内所有未编码LCU的比特分配权重之和中的占比，就可以计算出各个LCU的目标编码比特数，完成LCU级别的目标比特分配。

在JCTVC-K0103提案中，LCU的比特分配权重ω_LCU依据前一编码帧同位(即相同位置)LCU的预测误差MAD值(Mean Absolute Differences，平均绝对差)来进行计算，其计算公式如下。

其中，ω_LCU为LCU的比特分配权重，MAD_LCU为LCU在前一编码帧中的同位LCU的预测误差MAD值。

其中，N_pixels为LCU中像素点的数目，∑_{{AllPixelsInLCU}}是对LCU中的所有像素点进行累加，P_org为原始像素点的亮度值，P_pred为预测像素点的亮度值。

人眼在观看视频图像时，受到主观感知的影响，更侧重于关注视频图像中纹理复杂、细节丰富的区域，对于图像中纹理特征不明显的平坦区域关注较少。同时，人眼在观看视频图像时，也更侧重于关注视频图像中的运动剧烈、变化丰富的区域，对于图像中静止不动的区域关注较少。换句话说，在视频图像中，运动丰富区域和纹理丰富区域更容易引起人眼视觉的关注。基于人眼的这种视觉感知特征，有必要在视频编码的过程中，在图像帧目标编码比特率固定的情况下，为图像帧中运动丰富区域和纹理丰富区域的LCU分配更多的目标编码比特数，以提升人眼主观感知的视觉质量。为达到这个目的，就需要视频编码的码率控制算法能够检测出运动丰富区域和纹理丰富区域，并据此来计算LCU级别的比特分配权重，以使更多的目标编码比特数分配到位于人眼关注区域内的LCU中，进而提升人眼主观感知的视觉质量。

对基于JCTVC-K0103提案的HEVC码率控制技术的研究可以发现，LCU级别的比特分配权重是依据前一编码帧同位LCU的预测误差MAD值来进行计算的，它仅仅从信号处理的角度计算像素点之间的亮度差异，并未考虑人眼的主观视觉感知特征，无法达到为人眼关注区域分配更多目标编码比特的目的。因此，有必要对HEVC码率控制技术中的LCU级别目标比特分配方式进行改良，选取能够表征人眼视觉感知的因子来计算LCU级别的比特分配权重，为图像帧中运动丰富区域和纹理丰富区域的LCU分配更多的目标编码比特数，以达到提升人眼主观感知的视觉质量的目的。这里提到的视觉感知因子需要能够表征人眼对图像内容的主观关注程度，它需要满足如下特征：(1)对于人眼关注区域，如运动丰富区域和纹理丰富区域，视觉感知因子的取值较大；且运动幅度和纹理复杂度越大，视觉感知因子的取值越大。(2)对于人眼不关注的区域，如运动稀疏区域和纹理简单区域，视觉感知因子的取值较小；且运动幅度越小、纹理越简单，视觉感知因子的取值越小；

目前已经有一些技术方案对HEVC码率控制技术进行改进，以达到提升人眼主观感知视觉质量的目的。这些方案大多也是从寻找能够表征人眼视觉感知的因子入手，利用视觉感知因子来计算LCU级别的比特分配权重，为处于人眼关注区域之内的LCU分配更多的目标编码比特数。但是这些现有的技术方案普遍存在如下问题。

第一类现有技术方案需要在当前帧编码之前，对整帧图像进行预处理。预处理的目的是依据选取的视觉感知因子计算当前帧内部每一个LCU的比特分配权重，然后累加得到当前帧内所有LCU的比特分配权重之和，进而通过每一个LCU的比特分配权重在当前帧内所占的比例计算出各个LCU的目标编码比特数。这类技术方案需要在图像编码前添加预处理级将整帧图像内所有LCU的比特分配权重都计算出来以后，才能计算每一个LCU的目标编码比特数。这类技术方案中，整帧图像的预处理需要耗费大量的时间，且图像帧的分辨率越大，预处理需要的时间就越长，会引入很大的帧级编码延迟。同时，由于整帧图像的预处理与图像编码分开进行，导致预处理和编码需要分别从内存中读取图像内容，会额外耗费很多的总线带宽。因此，这一类技术方案适合于软件编码器实现，不适合硬件编码器实现。

第二类现有技术方案利用视频帧之间的相关性，使用前一帧中各个LCU的比特分配权重，来作为当前帧中同位LCU的比特分配权重。这类方案在进行前一帧的编码时，在编码每一个LCU的过程中，同时依据视觉感知因子计算出这个LCU对应的比特分配权重。在前一帧编码完成时，前一帧上的各个LCU的比特分配权重也同时计算完成。当前帧上各个LCU的比特分配权重就采用前一帧同位LCU的比特分配权重。对于这类技术方案，虽然不需要添加额外的预处理级，实时性较好，且不会消耗额外的总线带宽，但是由于当前帧上LCU的比特分配权重完全由前一帧的图像内容计算得出，当帧与帧之间的变化较大时，会造成当前帧上的LCU的比特分配权重与人眼主观视觉敏感区域不匹配，LCU比特分配误差较大。

除了上述问题，很多现有技术方案选取的视觉感知的因子的算法都很复杂，运算量很大，需要消耗很多的计算资源和带宽资源，不适合硬件实现。

发明内容

本发明所要解决的技术问题是提出了一种基于人眼主观视觉感知的、适合于硬件实现的HEVC码率控制方法及装置。

为解决上述技术问题，本发明提出了一种基于视觉感知的码率控制方法，包括如下步骤：步骤S10：计算LCU内部纹理丰富区域的梯度幅值，并将计算结果作为LCU的纹理感知因子。步骤S20：计算LCU内部运动丰富区域的帧差幅值与面积占比的乘积，并将计算结果作为LCU的运动感知因子。所述步骤S10和步骤S20的顺序或者任一在前，或者同时进行。步骤S30：根据LCU的纹理感知因子和运动感知因子计算LCU的比特分配权重，进而计算出LCU的目标编码比特数。

进一步地，所述LCU的纹理感知因子表征了人眼对于LCU纹理特征的视觉敏感程度；所述LCU的纹理感知因子取值越大，表示LCU内部的纹理越丰富，人眼主观视觉越关注；所述LCU的纹理感知因子取值越小，表示LCU内部的纹理越平坦，人眼主观视觉越不关注。

进一步地，所述LCU的运动感知因子表征了人眼对于LCU运动特征的视觉敏感程度；所述LCU的运动感知因子取值越大，表示LCU内部的运动越丰富，人眼主观视觉越关注；所述LCU的运动感知因子取值越小，表示LCU内部的运动越轻微，人眼主观视觉越不关注。

进一步地，所述步骤S10中计算LCU的纹理感知因子具体包括如下步骤。步骤S11：计算LCU内部每一个像素的梯度幅值Grad_x,y，并由前一帧梯度信息得到的纹理丰富像素的梯度判定阈值来判断LCU内部的各个像素是否为纹理丰富像素；LCU内部由纹理丰富像素组成的区域即为LCU内部纹理丰富区域。步骤S12：计算LCU内部纹理丰富区域的梯度幅值Grad_LCU；在计算当前帧中各个LCU的Grad_LCU时，记录下其中的最大值G_max。步骤S13：对LCU内部纹理丰富区域的梯度幅值Grad_LCU进行归一化处理得到

其中使用前一帧的LCU内部纹理丰富区域的梯度幅值的最大值作为当前帧中LCU内部纹理丰富区域的梯度幅值的归一化的基准；归一化值

即为LCU的纹理感知因子。步骤S14：使用当前帧的像素梯度均值计算下一帧纹理丰富像素的梯度判定阈值Grad_Thr。

进一步地，所述步骤S11中，若满足Grad_x,y>Grad_Thr，判定该像素属于纹理丰富像素，否则判定该像素不属于纹理丰富像素；Grad_Thr是由前一帧梯度信息得到的纹理丰富像素的梯度判定阈值。

进一步地，所述步骤S12中，

Grad_x,y>Grad_Thr；其中，M是LCU的水平宽度，N是LCU的垂直高度，Grad_LCU是LCU内部所有纹理丰富像素的梯度幅值之和。

进一步地，所述步骤S13中，

其中，G_max是前一帧中各个LCU的Grad_LCU的最大值；

的取值在[0,ZZ]之间并且为整数，使用0到ZZ之间的整数来代表0至1的归一化范围，ZZ代表归一化后的最大值。

进一步地，所述步骤S14中，Grad_Thr＝Grad_avg+Grad_offset或Grad_Thr＝α×Grad_avg；其中，Grad_offset为梯度阈值调节偏差，α为梯度阈值调节乘数，Grad_avg是当前帧的像素梯度均值；

其中，W是当前图像帧的水平宽度，H是当前图像帧的垂直高度。

进一步地，所述步骤S20中计算LCU的运动感知因子具体包括如下步骤。步骤S21：计算LCU内部每一个像素与前一帧同位LCU对应像素的帧差幅值Diff_x,y，并由前一帧帧差信息得到的运动丰富像素的帧差判定阈值来判断LCU内部的各个像素是否为运动丰富像素；LCU内部由运动丰富像素组成的区域即为LCU内部运动丰富区域。步骤S22：计算LCU内部运动丰富区域的帧差幅值Diff_LCU；在计算当前帧中各个LCU的Diff_LCU时，记录下其中的最大值D_max。步骤S23：计算LCU内部运动丰富区域的面积占比Area_LCU。所述步骤S22和步骤S23的顺序或者任一在前，或者同时进行。步骤S24：计算LCU内部运动丰富区域的帧差幅值与面积占比的乘积的归一化值

其中使用前一帧的LCU内部运动丰富区域的帧差幅值的最大值来作为当前帧中LCU内部运动丰富区域的帧差幅值与面积占比的乘积的归一化的基准；归一化值

即为LCU的运动感知因子。步骤S25：使用当前帧的帧差幅值均值计算下一帧的运动丰富像素的帧差判定阈值Diff_Thr。

进一步地，所述步骤S21中，若满足Diff_x,y>Diff_Thr，判定该像素属于运动丰富像素，否则判定该像素不属于运动丰富像素；Diff_Thr是由前一帧帧差信息得到的运动丰富像素的帧差判定阈值。

进一步地，所述步骤S22中，

Diff_x,y>Diff_Thr；其中，M是LCU的水平宽度，N是LCU的垂直高度，Diff_LCU是LCU内部所有运动丰富像素的帧差幅值之和。

进一步地，所述步骤S23中，

其中，Area_LCU的取值在[0,ZZ]之间并且为整数，对应面积占比0％至100％；M是LCU的水平宽度，N是LCU的垂直高度；

其中，若像素为运动丰富像素，则其对应的Mov_x,y取值为1，否则取值为0。

进一步地，所述步骤S24中，

其中，

的取值在[0,ZZ]之间并且为整数，使用0到ZZ之间的整数来代表0至1的归一化范围，ZZ代表归一化后的最大值；D_max是前一帧中各个LCU的Diff_LCU的最大值。

进一步地，所述步骤S25中，Diff_Thr＝Diff_avg+Diff_offset或Diff_Thr＝β×Diff_avg；其中，Diff_offset为运动阈值调节偏差，β为运动阈值调节乘数，Diff_avg是当前帧的帧差幅值均值；

其中，W是图像帧的水平宽度，H是图像帧的垂直高度。

进一步地，所述步骤S30中，依据LCU的纹理感知因子K_T和LCU的运动感知因子K_M计算LCU的比特分配权重的公式如下；ω_LCU＝μ_T×K_T+μ_M×K_M；其中，ω_LCU为LCU的比特分配权重，其取值在[0,ZZ]之间并且为整数，使用0到ZZ之间的整数来代表0至1；μ_T为LCU纹理感知因子的权重系数，μ_M为LCU运动感知因子的权重系数，两者满足μ_T+μ_M＝1以及0<μ_T<1以及0<μ_M<1。

进一步地，所述步骤S30中，在计算出当前帧中的LCU的比特分配权重ω_LCU后，使用前一帧统计的LCU比特分配权重之和代替当前帧中LCU的比特分配权重之和，实时计算出当前帧中的LCU的比特分配权重在整个图像帧中的占比

进而计算出LCU的目标编码比特数；

优选地，ZZ的取值为127、255、511、或1023之一。

本申请还提出了一种基于视觉感知的码率控制装置，包括纹理感知因子计算模块、运动感知因子计算模块和LCU比特分配模块。所述纹理感知因子计算模块用于计算LCU内部纹理丰富区域的梯度幅值，并将计算结果作为LCU的纹理感知因子。所述运动感知因子计算模块用于计算LCU内部运动丰富区域的帧差幅值与面积占比的乘积，并将计算结果作为LCU的运动感知因子。所述LCU比特分配模块根据LCU的纹理感知因子和运动感知因子计算LCU的比特分配权重，进而计算出LCU的目标编码比特数。

本发明取得的技术效果是使图像帧内LCU的目标比特分配更加符合人眼主观感知的特征，提升人眼主观视觉质量，并且适合于采用硬件实现。

附图说明

图1是本发明提出的码率控制方法的流程示意图。

图2是本发明提出的码率控制装置的结构示意图。

图3是步骤S10中计算LCU的纹理感知因子的具体流程示意图。

图4是步骤S20中计算LCU的运动感知因子的具体流程示意图。

图中附图标记说明：10为纹理感知因子计算模块、20为运动感知因子计算模块、30为LCU比特分配模块。

具体实施方式

请参阅图1，本发明提出的码率控制方法包括如下步骤。

步骤S10：计算LCU内部纹理丰富区域的梯度幅值，并将计算结果作为LCU的纹理感知因子。所述纹理感知因子表征了人眼对于LCU纹理特征的视觉敏感程度。

步骤S20：计算LCU内部运动丰富区域的帧差幅值与面积占比的乘积，并将计算结果作为LCU的运动感知因子。所述运动感知因子表征了人眼对于LCU运动特征的视觉敏感程度。这一步使用LCU运动丰富区域的帧差幅值与面积占比的乘积来计算LCU的运动感知因子，属于本发明的一个创新。发明人经过实验发现，如果仅采用LCU内部运动丰富区域的帧差幅值来表征LCU的运动丰富程度，这种方式对小面积运动比较敏感，容易受到传感器噪点的影响导致判定结果不准确。如果仅采用LCU内部运动丰富区域的面积占比来表征LCU的运动丰富程度，这种方式对由于前景运动而造成的图像局部区域光照和阴影的细微变化非常敏感，不符合人眼关注特性。而利用LCU内部运动丰富区域的帧差幅值与面积占比的乘积来表征LCU的运动丰富程度能够克服采用上述单一方法的缺陷，可以更准确地反映人眼对运动区域的视觉关注度。

所述步骤S10和步骤S20的顺序没有严格限制，可以任一在前，也可以同时进行。

步骤S30：根据LCU的纹理感知因子和运动感知因子计算LCU的比特分配权重，进而计算出LCU的目标编码比特数。

采用本发明提出的码率控制方法，可以使图像帧内LCU的比特分配更加符合人眼主观感知的特征，提升人眼主观视觉质量。

请参阅图2，本发明提出的码率控制装置包括纹理感知因子计算模块10、运动感知因子计算模块20和LCU比特分配模块30，整体与图1所示的码率控制方法相对应。其中，纹理感知因子计算模块10用于计算LCU内部纹理丰富区域的梯度幅值，并将计算结果作为LCU的纹理感知因子。运动感知因子计算模块20用于计算LCU内部运动丰富区域的帧差幅值与面积占比的乘积，并将计算结果作为LCU的运动感知因子。LCU比特分配模块30根据LCU的纹理感知因子和运动感知因子计算LCU的比特分配权重，进而计算出LCU的目标编码比特数。

请参阅图3，所述步骤S10中计算LCU的纹理感知因子具体包括如下步骤。

步骤S11：计算LCU内部每一个像素的梯度幅值Grad_x,y，并由前一帧梯度信息得到的纹理丰富像素的梯度判定阈值来判断LCU内部的各个像素是否为纹理丰富像素。若满足Grad_x,y>Grad_Thr，判定该像素属于纹理丰富像素，否则判定该像素不属于纹理丰富像素。Grad_Thr是由前一帧梯度信息得到的纹理丰富像素的梯度判定阈值，详见后续步骤S14。LCU内部由纹理丰富像素组成的区域即为LCU内部纹理丰富区域。

步骤S12：计算LCU内部纹理丰富区域的梯度幅值Grad_LCU，计算公式如下。

Grad_x,y>Grad_Thr。其中，M是LCU的水平宽度，N是LCU的垂直高度，单位均为像素数量。Grad_LCU是LCU内部所有纹理丰富像素的梯度幅值之和，反映了LCU内部纹理丰富区域的梯度幅值大小。在计算当前帧中各个LCU的Grad_LCU时，记录下其中的最大值G_max，供计算下一帧的LCU的Grad_LCU的归一化值

时使用。

步骤S13：对LCU内部纹理丰富区域的梯度幅值Grad_LCU进行归一化处理得到

其中使用前一帧的LCU内部纹理丰富区域的梯度幅值的最大值作为当前帧中LCU内部纹理丰富区域的梯度幅值的归一化的基准。归一化值

即为LCU的纹理感知因子，计算公式如下。

其中，

是Grad_LCU的归一化值，

的取值在[0,ZZ]之间并且为整数，方括号表示包含“等于”。G_max是前一帧中各个LCU的Grad_LCU的最大值。在每个具体应用场景中，ZZ是一个固定值。为了方便硬件实现归一化操作，尽可能不引入浮点运算，使用0到ZZ之间的整数来代表0至1的归一化范围，ZZ代表归一化后的最大值。考虑到在保证计算精度的基础上不过大增加计算量，ZZ的优选取值为127、255、511、或1023，以便于硬件实现。

后文中，LCU的纹理感知因子简写为K_T。K_T的取值在[0,ZZ]之间。K_T取值越大，表示LCU内部的纹理越丰富，人眼主观视觉越关注；K_T取值越小，表示LCU内部的纹理越平坦，人眼主观视觉越不关注。

步骤S14：使用当前帧的像素梯度均值计算下一帧纹理丰富像素的梯度判定阈值Grad_Thr，计算公式如下面任意一种。Grad_Thr＝Grad_avg+Grad_offset或Grad_Thr＝α×Grad_avg。其中，Grad_offset为梯度阈值调节偏差，α为梯度阈值调节乘数，这两个值的取值可以依据用户对图像纹理区域的敏感程度进行调节。Grad_avg是当前帧的像素梯度均值，计算公式如下。

其中，W是当前图像帧的水平宽度，H是当前图像帧的垂直高度，单位均为像素数量。

在计算LCU的纹理感知因子K_T的过程中，本发明具有如下创新。(1)利用连续视频帧之间图像内容上的相关性，使用前一帧统计的像素梯度均值与用户调节参数相结合，作为当前帧中纹理丰富像素的梯度判定阈值，实现对当前帧中LCU内部的像素点是否属于纹理丰富像素点的自适应判定。(2)利用连续视频帧之间图像内容上的相关性，使用前一帧统计的LCU内部纹理丰富区域的梯度幅值的最大值来作为当前帧中LCU内部纹理丰富区域的梯度幅值的归一化的基准，实现对当前帧中LCU内部纹理丰富区域的梯度幅值的自适应归一化，使当前帧内各LCU的梯度幅值大小分布更加合理，并令K_T的取值分布更加合理。

请参阅图4，所述步骤S20中计算LCU的运动感知因子具体包括如下步骤。

步骤S21：计算LCU内部每一个像素与前一帧同位(即相同位置)LCU对应像素的帧差幅值Diff_x,y，并由前一帧帧差信息得到的运动丰富像素的帧差判定阈值来判断LCU内部的各个像素是否为运动丰富像素。所述帧差幅值是指两个对应像素点亮度值的差值的绝对值。在帧差(即帧间差分)法里，对应像素点的亮度值做差，然后差值需要取绝对值再作为结果参与后续的运算。若满足Diff_x,y>Diff_Thr，判定该像素属于运动丰富像素，否则判定该像素不属于运动丰富像素。Diff_Thr是由前一帧帧差信息得到的运动丰富像素的帧差判定阈值，详见后续步骤S25。LCU内部由运动丰富像素组成的区域即为LCU内部运动丰富区域。

步骤S22：计算LCU内部运动丰富区域的帧差幅值Diff_LCU，计算公式如下。

Diff_x,y>Diff_Thr。其中，M是LCU的水平宽度，N是LCU的垂直高度，单位均为像素数量。Diff_LCU是LCU内部所有运动丰富像素的帧差幅值之和，反映了LCU运动丰富区域的帧差幅值大小。在计算当前帧中各个LCU的Diff_LCU时，记录下其中的最大值D_max，供计算下一帧中LCU的Diff_LCU与Area_LCU的乘积的归一化值时使用。

步骤S23：计算LCU内部运动丰富区域的面积占比Area_LCU，计算公式如下。

其中，Area_LCU的取值在[0,ZZ]之间，对应面积占比0％至100％。ZZ的含义和优选取值与之前相同，不再赘述。M是LCU的水平宽度，N是LCU的垂直高度，单位均为像素数量。

其中，若像素为运动丰富像素，则其对应的Mov_x,y取值为1，否则取值为0。计算Area_LCU的公式的逻辑意义是，计算LCU内部所有运动像素点的总个数占LCU内部所有像素点的总个数的比例，并将比例归一化。Mov_x,y＝1表示对应像素点为运动像素点，这样对Mov_x,y进行加和，就得到了LCU内部所有运动像素点的总个数。

所述步骤S22和步骤S23的顺序没有严格限制，可以任一在前，也可以同时进行。

步骤S24：计算LCU内部运动丰富区域的帧差幅值与面积占比的乘积的归一化值

其中使用前一帧的LCU内部运动丰富区域的帧差幅值的最大值来作为当前帧中LCU内部运动丰富区域的帧差幅值与面积占比的乘积的归一化的基准。归一化值

即为LCU的运动感知因子，计算公式如下。

其中，

的取值在[0,ZZ]之间。ZZ的含义和优选取值与之前相同，不再赘述。D_max是前一帧中各个LCU的Diff_LCU的最大值。

后文中，LCU的运动感知因子简写为K_M。K_M的取值在[0,ZZ]之间。K_M取值越大，表示LCU内部的运动越丰富，人眼主观视觉越关注；K_M取值越小，表示LCU内部的运动越轻微，人眼主观视觉越不关注。

步骤S25：使用当前帧的帧差幅值均值计算下一帧的运动丰富像素的帧差判定阈值Diff_Thr，计算公式如下面任意一种。Diff_Thr＝Diff_avg+Diff_offset或Diff_Thr＝β×Diff_avg。其中，Diff_offset为运动阈值调节偏差，β为运动阈值调节乘数，这两个值的取值可以依据用户对图像运动区域的敏感程度进行调节。Diff_avg是当前帧的帧差幅值均值，计算公式如下。

其中，W是图像帧的水平宽度，H是图像帧的垂直高度，单位均为像素数量。

在计算LCU的运动感知因子K_M的过程中，本发明具有如下创新。(1)利用连续视频帧之间图像内容上的相关性，使用前一帧统计的帧差幅值均值与用户调节参数相结合，作为当前帧中运动丰富像素的帧差判定阈值，实现对当前帧中LCU内部的像素点是否属于运动丰富像素点的自适应判定。(2)利用连续视频帧之间图像内容上的相关性，使用前一帧统计的LCU内部运动丰富区域的帧差幅值的最大值来作为当前帧中LCU内部运动丰富区域的帧差幅值与面积占比的乘积的归一化的基准，实现对当前帧中LCU内部运动丰富区域的帧差幅值与面积占比的乘积的自适应归一化，使当前帧内各LCU的帧差幅值大小分布更加合理，并令K_M的取值分布更加合理。(3)使用LCU运动丰富区域的帧差幅值与面积占比的乘积来计算LCU的运动感知因子，可以更准确地反映人眼对运动区域的视觉关注度。

所述步骤S30中，将LCU的纹理感知因子K_T和LCU的运动感知因子K_M进行合成，并将合成结果作为LCU的比特分配权重。依据K_T和K_M计算LCU的比特分配权重的公式如下。ω_LCU＝μ_T×K_T+μ_M×K_M。其中，ω_LCU为LCU的比特分配权重，其取值在[0,ZZ]之间。ZZ的含义和优选取值与之前相同，不再赘述。μ_T为LCU纹理感知因子的权重系数，μ_M为LCU运动感知因子的权重系数，两者满足μ_T+μ_M＝1以及0<μ_T<1以及0<μ_M<1。

由于连续的视频图像帧内容上存在相关性，因而对于相邻的视频图像帧，帧内所有LCU的比特分配权重之和也具有相关性，可以利用前一帧内所有LCU的比特分配权重之和来预测当前帧内所有LCU的比特分配权重之和。因此，在本发明的所述步骤S30中，在计算出当前帧中的LCU的比特分配权重后，会利用连续视频帧之间图像内容上的相关性，使用前一帧统计的LCU比特分配权重之和代替当前帧中LCU的比特分配权重之和，实时计算出当前帧中的LCU的比特分配权重在整个图像帧中的占比

进而计算出LCU的目标编码比特数，这属于本发明的一个创新。

的计算公式如下。

通过这种方式，可以实现对当前帧中每个LCU的目标编码比特分配的实时计算，不需要在编码前对整帧所有LCU进行预处理，因而不会引入帧级编码延迟。同时，由于LCU的比特分配权重由当前帧中的LCU计算得出，LCU的比特分配与人眼在当前帧上的主观视觉感受一致。如果出现了少数前后帧图像内容差异较大的情形，则由HEVC码率控制算法的图像帧级别和GOP级别的比特分配算法进行调节。

本发明提出了一种基于人眼主观视觉感知的、适合于硬件实现的HEVC码率控制方法，具有如下有益效果。(1)本发明提出的码率控制方法可以使图像帧内LCU的比特分配更加符合人眼主观感知的特征，提升人眼主观视觉质量。(2)本发明在视觉感知因子的计算过程中充分利用了连续视频帧之间图像内容上的相关性，使LCU纹理丰富区域和运动丰富区域的判定可以自适应完成，并令纹理感知因子和运动感知因子的取值分布更加合理。(3)本发明在计算运动感知因子的过程中，使用LCU运动丰富区域的帧差幅值与面积占比的乘积来计算LCU的运动感知因子，可以更准确地反映人眼对运动区域的视觉关注度。(4)本发明在LCU比特分配的过程中，充分利用了连续视频帧之间图像内容上的相关性，实现了LCU比特分配权重在整个图像帧中所占比例的实时计算，在不增加图像帧预处理级的情况下，使LCU的比特分配符合人眼在当前帧上的主观视觉感受。(5)本发明采用的视觉感知因子计算方法简便，运算量小，总线带宽占用少，适合硬件实现。(6)本发明中，LCU纹理感知因子和运动感知因子的计算与LCU的编码同时进行，不需要引入预处理级在整帧编码前对帧内所有LCU的视觉感知因子进行计算，不会引入帧级延迟，不需要消耗额外的总线带宽，适合于硬件实现。

为了验证本发明的有益效果，本发明选取了HEVC标准测试序列ClassE中的三个YUV视频流Johnny、FourPeople和KristenAndSara来进行测试。这三个视频流都属于典型的视频会议场景，人眼的主观关注区域都是视频流中的人脸部分。实验时，编码器采用恒定码率控制模式，Johnny和KristenAndSara编码比特率设置为600kbps，FourPeople编码比特率设置为800kbps，编码帧数为120帧，编码GOP结构为IPPP结构，P帧仅参考前一帧。实验中，以HM中采用的基于MAD值来计算LCU比特分配权重的码率控制算法为比较基准，与本发明提出的基于人眼主观视觉感知的改进的码率控制算法作对比，比较三个YUV视频流编码后图像中人脸区域的PSNR(Peak Signal-to-Noise Ratio，峰值信噪比)。PSNR的单位是分贝dB。PSNR越高，代表图像失真越小，图像质量越好。实验结果如下表1所示。

表1：本发明与现有的码率控制方法的测试比较表

在这三个YUV视频流中，与背景区域相比，人脸区域同时属于运动丰富区域和纹理丰富区域；即相对于背景区域，人脸区域运动特征很显著，纹理特征较显著。由表1可见，应用了本发明提出的码率控制算法以后，在编码码流整体平均码率和平均PSNR变化不大的情况下，提高了人脸区域的PSNR——Johnny提高0.38dB，KristenAndSara提高0.38dB，FourPeople提高0.42dB，有效增强了人眼主观感知视觉质量。

以上仅为本发明的优选实施例，并不用于限定本发明。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种基于视觉感知的码率控制方法，其特征是，包括如下步骤：

步骤S10：计算LCU内部纹理丰富区域的梯度幅值，并将计算结果作为LCU的纹理感知因子；

步骤S20：计算LCU内部运动丰富区域的帧差幅值与面积占比的乘积，并将计算结果作为LCU的运动感知因子；

所述步骤S10和步骤S20的顺序或者任一在前，或者同时进行；

步骤S30：根据LCU的纹理感知因子和运动感知因子计算LCU的比特分配权重，进而计算出LCU的目标编码比特数。

2.根据权利要求1所述的基于视觉感知的码率控制方法，其特征是，所述LCU的纹理感知因子表征了人眼对于LCU纹理特征的视觉敏感程度；所述LCU的纹理感知因子取值越大，表示LCU内部的纹理越丰富，人眼主观视觉越关注；所述LCU的纹理感知因子取值越小，表示LCU内部的纹理越平坦，人眼主观视觉越不关注。

3.根据权利要求1所述的基于视觉感知的码率控制方法，其特征是，所述LCU的运动感知因子表征了人眼对于LCU运动特征的视觉敏感程度；所述LCU的运动感知因子取值越大，表示LCU内部的运动越丰富，人眼主观视觉越关注；所述LCU的运动感知因子取值越小，表示LCU内部的运动越轻微，人眼主观视觉越不关注。

4.根据权利要求1所述的基于视觉感知的码率控制方法，其特征是，所述步骤S10中计算LCU的纹理感知因子具体包括如下步骤；

步骤S11：计算LCU内部每一个像素的梯度幅值Grad_x,y，并由前一帧梯度信息得到的纹理丰富像素的梯度判定阈值来判断LCU内部的各个像素是否为纹理丰富像素；LCU内部由纹理丰富像素组成的区域即为LCU内部纹理丰富区域；

步骤S12：计算LCU内部纹理丰富区域的梯度幅值Grad_LCU；在计算当前帧中各个LCU的Grad_LCU时，记录下其中的最大值G_max；

步骤S13：对LCU内部纹理丰富区域的梯度幅值Grad_LCU进行归一化处理得到

其中使用前一帧的LCU内部纹理丰富区域的梯度幅值的最大值作为当前帧中LCU内部纹理丰富区域的梯度幅值的归一化的基准；归一化值

即为LCU的纹理感知因子；

步骤S14：使用当前帧的像素梯度均值计算下一帧纹理丰富像素的梯度判定阈值Grad_Thr。

5.根据权利要求4所述的基于视觉感知的码率控制方法，其特征是，所述步骤S11中，若满足Grad_x,y>Grad_Thr，判定该像素属于纹理丰富像素，否则判定该像素不属于纹理丰富像素；Grad_Thr是由前一帧梯度信息得到的纹理丰富像素的梯度判定阈值。

6.根据权利要求4所述的基于视觉感知的码率控制方法，其特征是，所述步骤S12中，

Grad_x,y>Grad_Thr；其中，M是LCU的水平宽度，N是LCU的垂直高度，Grad_LCU是LCU内部所有纹理丰富像素的梯度幅值之和。

7.根据权利要求4所述的基于视觉感知的码率控制方法，其特征是，所述步骤S13中，

其中，G_max是前一帧中各个LCU的Grad_LCU的最大值；

的取值在[0,ZZ]之间并且为整数，使用0到ZZ之间的整数来代表0至1的归一化范围，ZZ代表归一化后的最大值。

8.根据权利要求4所述的基于视觉感知的码率控制方法，其特征是，所述步骤S14中，Grad_Thr＝Grad_avg+Grad_offset或Grad_Thr＝α×Grad_avg；其中，Grad_offset为梯度阈值调节偏差，α为梯度阈值调节乘数，Grad_avg是当前帧的像素梯度均值；

其中，W是当前图像帧的水平宽度，H是当前图像帧的垂直高度。

9.根据权利要求1所述的基于视觉感知的码率控制方法，其特征是，所述步骤S20中计算LCU的运动感知因子具体包括如下步骤；

步骤S21：计算LCU内部每一个像素与前一帧同位LCU对应像素的帧差幅值Diff_x,y，并由前一帧帧差信息得到的运动丰富像素的帧差判定阈值来判断LCU内部的各个像素是否为运动丰富像素；LCU内部由运动丰富像素组成的区域即为LCU内部运动丰富区域；

步骤S22：计算LCU内部运动丰富区域的帧差幅值Diff_LCU；在计算当前帧中各个LCU的Diff_LCU时，记录下其中的最大值D_max；

步骤S23：计算LCU内部运动丰富区域的面积占比Area_LCU；

所述步骤S22和步骤S23的顺序或者任一在前，或者同时进行；

步骤S24：计算LCU内部运动丰富区域的帧差幅值与面积占比的乘积的归一化值

其中使用前一帧的LCU内部运动丰富区域的帧差幅值的最大值来作为当前帧中LCU内部运动丰富区域的帧差幅值与面积占比的乘积的归一化的基准；归一化值

即为LCU的运动感知因子；

步骤S25：使用当前帧的帧差幅值均值计算下一帧的运动丰富像素的帧差判定阈值Diff_Thr。

10.根据权利要求9所述的基于视觉感知的码率控制方法，其特征是，所述步骤S21中，若满足Diff_x,y>Diff_Thr，判定该像素属于运动丰富像素，否则判定该像素不属于运动丰富像素；Diff_Thr是由前一帧帧差信息得到的运动丰富像素的帧差判定阈值。

11.根据权利要求9所述的基于视觉感知的码率控制方法，其特征是，所述步骤S22中，

其中，M是LCU的水平宽度，N是LCU的垂直高度，Diff_LCU是LCU内部所有运动丰富像素的帧差幅值之和。

12.根据权利要求9所述的基于视觉感知的码率控制方法，其特征是，所述步骤S23中，

其中，Area_LCU的取值在[0,ZZ]之间并且为整数，对应面积占比0％至100％；M是LCU的水平宽度，N是LCU的垂直高度；

其中，若像素为运动丰富像素，则其对应的Mov_x,y取值为1，否则取值为0。

13.根据权利要求9所述的基于视觉感知的码率控制方法，其特征是，所述步骤S24中，

其中，

的取值在[0,ZZ]之间并且为整数，使用0到ZZ之间的整数来代表0至1的归一化范围，ZZ代表归一化后的最大值；D_max是前一帧中各个LCU的Diff_LCU的最大值。

14.根据权利要求9所述的基于视觉感知的码率控制方法，其特征是，所述步骤S25中，Diff_Thr＝Diff_avg+Diff_offset或Diff_Thr＝β×Diff_avg；其中，Diff_offset为运动阈值调节偏差，β为运动阈值调节乘数，Diff_avg是当前帧的帧差幅值均值；

其中，W是图像帧的水平宽度，H是图像帧的垂直高度。

15.根据权利要求1所述的基于视觉感知的码率控制方法，其特征是，所述步骤S30中，依据LCU的纹理感知因子K_T和LCU的运动感知因子K_M计算LCU的比特分配权重的公式如下；ω_LCU＝μ_T×K_T+μ_M×K_M；其中，ω_LCU为LCU的比特分配权重，其取值在[0,ZZ]之间并且为整数，使用0到ZZ之间的整数来代表0至1；μ_T为LCU纹理感知因子的权重系数，μ_M为LCU运动感知因子的权重系数，两者满足μ_T+μ_M＝1以及0<μ_T<1以及0<μ_M<1。

16.根据权利要求1所述的基于视觉感知的码率控制方法，其特征是，所述步骤S30中，在计算出当前帧中的LCU的比特分配权重ω_LCU后，使用前一帧统计的LCU比特分配权重之和代替当前帧中LCU的比特分配权重之和，实时计算出当前帧中的LCU的比特分配权重在整个图像帧中的占比

进而计算出LCU的目标编码比特数；

17.根据权利要求7、12、13、15中的任意一项所述的基于视觉感知的码率控制方法，其特征是，ZZ的取值为127、255、511、或1023之一。

18.一种基于视觉感知的码率控制装置，其特征是，包括纹理感知因子计算模块、运动感知因子计算模块和LCU比特分配模块；

所述纹理感知因子计算模块用于计算LCU内部纹理丰富区域的梯度幅值，并将计算结果作为LCU的纹理感知因子；

所述运动感知因子计算模块用于计算LCU内部运动丰富区域的帧差幅值与面积占比的乘积，并将计算结果作为LCU的运动感知因子；

所述LCU比特分配模块根据LCU的纹理感知因子和运动感知因子计算LCU的比特分配权重，进而计算出LCU的目标编码比特数。

Images