CN110800298A - 码率分配方法、码率控制方法、编码器和记录介质 - Google Patents

Abstract

本公开提供一种码率分配方法、码率控制方法、编码器和记录介质。其中，所述码率分配方法包括：获取作为编码对象的当前第一图像单元的第一参考单元和所述第一参考单元的压缩信息；根据所述第一参考单元的所述压缩信息，对所述当前第一图像单元进行编码比特数的分配。

Description

码率分配方法、码率控制方法、编码器和记录介质

技术领域

本公开涉及一种码率分配方法、码率控制方法、编码器和记录介质，特别是涉及一种视频编码码率分配方法、控制方法、编码器和记录介质。

背景技术

随着计算机技术及信号处理技术的快速发展，信号编码技术尤其是例如针对图像信号的视频编码技术正不断蓬勃发展。

在信号编码技术尤其是视频编码技术中，一般包括预测、变换、量化和熵编码等多种处理。其中，在量化处理过程中，通常要进行编码码率(即编码比特数)控制，即通过控制量化参数来调节视频编码码率。在编码码率控制中关键在于如何对视频各编码层级进行合理的编码码率分配，以使得满足目标码率的情况下图像重构质量最大化。

然而，视频编码通常要求较高的实时处理性能，因而难以实现预分析，只能通过预测的方式进行码率分配。

现有的编码码率分配方法中一般采用非平均分配策略。例如，可以采用通过计算图像块的梯度或方差来表征图像复杂度，并根据计算出的图像复杂度来进行编码码率分配的方法。但这些计算需要消耗额外的计算资源，并且基于梯度或方差计算出的图像复杂度也并不能很好地预测编码码率分配，会导致编码码率分配不够准确。

发明内容

本公开就是为了解决现有技术中不能准确的进行编码码率分配而做出的。

本公开的一个方面提供了一种码率分配方法，包括：获取作为编码对象的当前第一图像单元的第一参考单元和所述第一参考单元的压缩信息；根据所述第一参考单元的所述压缩信息，对所述当前第一图像单元进行编码码率的分配。

本公开的另一个方面提供了一种码率控制方法，包括：进行本公开的一个方面的所述码率分配方法，对所述当前第一图像单元分配编码码率，作为目标码率；在所述当前第一图像单元的编码过程中调整编码参数，使得实际编码码率逼近所述目标码率。

本公开的另一方面提供一种编码器，至少包括：量化模块，利用量化参数，对编码变换的变换系数进行量化；码率控制模块，通过执行本公开的另一方面的所述码率控制方法来调整所述量化模块的所述量化参数。

本公开的另一方面提供一种计算机可读记录介质，存储有可执行指令，该指令被处理器执行时使该处理器执行本公开的一个方面的所述码率分配方法或者本公开的另一个方面的所述码率控制方法。

根据本公开的码率分配及装置、码率控制方法、编码器、和计算机可读记录介质，能够为用户提供更准确、更简便且消耗资源少的码率分配及码率控制方案，以使编码处理的图像重构质量最大化。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

图1示意性示出了本公开实施例的码率分配方法的应用场景的视频编码构架简图。

图2示意性示出了图1所示的所述视频编码构架所要结合到的例如参考帧压缩这样的信息压缩处理的示例框图。

图3示意性示出了图2所示的所述参考帧压缩的数据结构示例图。

图4示意性示出了本公开实施例的码率分配方法的简要流程图。

图5示意性示出了本公开实施例的码率分配方法中的编码码率分配步骤的简要流程图。

图6是用于说明本公开实施例的利用参考帧压缩信息在图像帧级来表征当前图像帧的任意图像区域复杂度的示意图。

图7是用于说明本公开实施例的利用参考帧压缩信息在图像块级来表征当前图像帧的任意图像区域复杂度的示意图。

图8用于说明本公开实施例的利用参考帧压缩信息在压缩单元级来表征当前图像帧的任意图像区域复杂度的示意图。

具体实施方式

以下，将参照附图来描述本公开的实施例。

图1示意性示出了本公开实施例的码率分配方法的应用场景的视频编码框架简图。

通常，视频编码可以主要包括预测、变换、量化和熵编码等。作为本公开实施例的码率分配方法的一种应用场景的示例，这里，图1示出一种当前流行的视频编码框架M，其以虚线进行表示，也可以整体视为例如是编码器。

如图1所示，该视频编码框架M可以接收来自视频序列模块S的视频序列的输出，在所述视频编码框架M中可以具备：至少包括帧间预测模块Rd和/或帧内预测模块Ri的预测模块；进行编码变换以得到变换系数的变换模块V；将经所述变换模块V得到变换系数经量化参数量化后得到量化系数的量化模块Q；以及对所述量化系数进行熵编码的熵编码模块E。

此外，在预测模块中，帧内预测和帧间预测是两种类型的预测，其目的在于利用预测块信息去除当前待编码图像块的冗余信息。

具体而言，帧内预测利用本帧图像的信息获得预测块数据，其过程可以包括将待编码图像块划分成若干个子图像块；然后，针对每个子图像块，利用图像块周边的邻近像素生成当前图像块的预测像素块；帧间预测利用参考帧的信息获得预测块数据，其过程包括将待编码图像块划分成若干个子图像块；然后，针对每个子图像块，在参考图像中搜索与当前子图像块最匹配的图像块作为预测块。在编码中仅使用帧内预测模式的图像帧被称为I帧，同时使用帧内预测及帧间预测的图像帧被称为P帧或B帧。

此外，在经所述帧内预测模块Ri或所述帧间预测模块Rd(这里，以虚线表示帧内预测模块Ri与帧间预测模块Rd这两者的输出可以是“或”的关系)获得预测像素块后，可以将该子图像块与预测块的相应像素值相减得到残差。然后，在所述变换模块V中，针对所述残差可以使用变换矩阵去除图像块残差的相关性，以提高编码效率。所述变换例如通常可以采用二维变换，即在编码端将数据块的残差信息分别与一个NxN的变换矩阵及其转置矩阵相乘，相乘之后得到的是变换系数。然后，在所述量化模块Q中，可以利用量化参数来对所述变换系数进行量化而得到量化系数。然后，在所述熵编码模块E中，对所述量化系数进行熵编码，得到例如帧内预测模式、运动矢量信息等编码模式信息和/或比特流。最后，将所述编码模式信息和/或所述比特流进行存储和/或发送到解码端。

这里，对于所述解码端虽未图示，但在所述解码端，通常可以首先获得熵编码比特流后进行熵解码，得到相应的残差，根据解码得到的运动矢量或帧内预测等信息计算出图像块对应的预测图像块，根据预测图像块与图像块的残差得到当前子图像块中各像素点的值。

如图1所示，所述视频编码框架M还可以具备：用于向所述预测模块反馈图像信息的反量化模块IQ和反变换模块IV。此外，所述预测模块中还可以包括：环路滤波模块F和参考帧缓存模块Bf。所述环路滤波模块F用于对所述反馈的图像信息(例如，经反量化及反变换后得到的恢复图像帧等)进行滤波，以去除或减小由量化损失产生的失真，从而得到例如用于所述帧间预测的参考帧；所述参考帧缓存模块Bf用于缓存所述参考帧，以备帧间预测时使用或帧内预测时使用(Bf和Ri之间以虚线示出表示尽管缓存模块中的参考信息主要由帧间预测来使用，但在帧内预测时也可以从缓存模块中读取参考信息来进行码率分配)。此外，这里所示的所述参考帧缓存模块Bf虽然被包括于视频编码框架M内，但不言而喻，该参考帧缓存模块Bf也可以是存在于视频编码框架M外的外部存储器。

此外，如图1所示，所述视频编码框架M通常还需要具备码率控制模块B。而且，所述码率控制模块B在视频编码过程中通常起到非常重要的作用。具体而言，码率控制的目的是通过动态地调整编码参数，在保证一定图像质量的前提下使压缩后的视频码流能通过固定带宽的信道实时传输，或是满足特定时间内压缩后码流文件必须要小于某个规定尺寸的约束。由于不同的视频序列其内容和特征都各不相同，若使用同样的编码参数进行编码就会产生差别很大的输出码率及不同程度的视频失真，为了克服这个问题就需要码率控制方案能够根据不同视频图像的特征自适应地调整编码参数。

一般而言，码率控制算法可以包括两个步骤，码率分配和编码参数调整。第一步是码率分配，所述码率分配是指在各个编码层级进行编码前预先分配指定的编码码率即目标码率(目标比特数)。其中，编码层级例如可以从高到低依次包括：图像集GOP(Group OfPictures)级、图像帧级及图像块级、甚至更小的图像单元级等。一般而言，帧内预测的效率低于帧间预测，因此在相同编码质量下，编码I帧的比特数比编码P或B帧的比特数会相对高很多，所以对I帧进行准确的码率分配更有利于提高编码效率和提升图像质量。

进行码率分配后，各个编码层级得到预先分配的编码码率(编码比特数)，第二步再通过所述编码参数调整，使得实际编码码率(实际编码比特数)与在所述编码分配中预先分配的编码码率(编码比特数)相吻合。通常，基于标准的视频编码器在例如帧内预测的方向模式、帧间预测的运动矢量、量化过程中的量化参数等这些编码参数的选择方面具有很大的灵活性，这会对编码后视频码流的码率有很大的影响。因此，码率控制算法通常使得编码器能够在一系列编码参数集合之间选择合适的参数，以实现实际编码码率(实际编码比特数)逼近预先分配的目标码率(目标比特数)。在这些编码参数之中，量化参数是对编码码率有更直接影响的关键参数。例如，在其他参数固定的情况下，较大的量化参数通常会导致编码器编码相同视频时输出较小的编码码率，反之较小的量化参数会导致编码器编码相同视频时输出较大的编码码率。量化参数QP(Quantization Parameter)通常根据目标码率(目标比特数)来计算，例如，式(1)可以为一种计算方法。

这里，在图1中以灰色框表示了所述码率控制模块B，是为了强调本公开的编码分配方法就是针对该码率控制模块B中的所述编码分配进行的一种改良方案。

式中，TargetBits为图像帧级的目标码率(目标比特数)，可以由目标码率及视频序列的帧率计算而得；numOfPixel为当前图像帧的所有像素点个数；α和β为参数，通常是经验值，可以由大量视频的统计分析而得到，例如，式(1)中的对数形式及α、β值可以由经验码率控制模型给出。由公式(1)可知，目标码率在量化参数计算中非常重要，给出准确的目标码率，也即准确的码率分配，是提升视频编码图像质量的关键。

以帧间预测为例，参考图2、3来说明视频编解码过程中通常还需要例如参考帧压缩这样的信息压缩处理。这里，以帧间预测为例不是说帧内预测就不需要例如参考帧压缩这样的信息压缩处理，而仅是因为帧间预测所用的参考帧可以直接用来作为码率分配时的参考帧。

图2示意性示出了图1所示的所述视频编码构架所要结合的例如参考帧压缩这样的信息压缩处理的示例框图。

如图2所示，图1所示的所述视频编码构架M即可以视为一种视频编码器M。通常，所述视频编码器M需要大量的例如参考帧数据进行帧间预测(另外，帧内预测也同样需要例如参考像素数据以形成参考帧来进行帧内预测)，而在所述视频编码器M的电路设计中这些参考帧数据通常保存于外部存储器Mo中，而读写这些参考帧数据会消耗大量的存储带宽。随着视频分辨率不断提升，急剧增长的带宽需求以及访存功耗已成为制约嵌入式系统或者移动设备的关键因素。为了解决上述问题，参考帧压缩常常被用于压缩视频编解码过程中的参考帧数据，从而有效减小访存带宽以及外部存储器功耗。具体而言，例如，视频序列信号经视频编码器M的变换、量化等模块的处理后，最终由变换环路滤波模块F进行滤波处理而生成用于帧间预测的所述参考帧数据。然后，所述参考帧数据经参考帧压缩模块C进行压缩，将被压缩的参考帧数据存储到所述外部存储器Mo中。相应地，当进行帧间预测时，从所述外部存储器Mo中读出被压缩的参考帧数据，经参考帧解压模块DC进行解压缩，将被解压缩的参考帧数据传输给所述视频编码器M，然后，由所述视频编码器M的所述帧间预测模块Rd进行预测。

此外，本公开的码率分配方法主要就是利用例如经所述参考帧压缩模块C压缩并存储于所述外部存储器Mo中的例如包含与所述参考帧相关的信息在内的参考帧数据中的例如压缩比特数、压缩率、压缩质量等至少一种压缩信息来实现的码率分配方案。

为此，下面，参考图3来说明所述参考帧压缩的参考帧数据结构。

图3示意性示出了图2所示的所述参考帧压缩的数据结构示例图。

如图3所示，一般而言，为了满足视频帧间预测随机并大量访问参考帧的特性，参考帧压缩通常具有以下特点：

a.属于帧内压缩，仅利用帧内信息进行残差预测，参考帧的压缩单元CU例如可以为4x4或者8x8个像素；

b.以图像条带tile大小进行读写外部存储器，图像条带tile一般由多个压缩单元CU(Compression Unit)组成，并且开始地址是确定的或者通过其它信息定位到；

c.为了支持高并行解码吞吐率，通常存储到外部存储器时需要存储额外的信息指示每个压缩单元CU的例如压缩比特数、压缩率、压缩质量等至少一种压缩信息。因此，经过参考帧压缩后存储于外部存储器中的被压缩的参考帧信息可以主要包括：压缩后的参考帧数据；和头信息，所述头信息不限于但主要包含所述压缩单元CU的例如压缩比特数、压缩率、压缩质量等至少一种压缩信息。

如上所述可知，在一定的传输带宽下，需要通过控制例如量化参数(其调节实际编码码率的大小)这样的编码参数来调节视频编码码流的大小，其关键在于如何对视频各编码层级预先进行合理的码率分配，使得实际编码码率尽量接近预先分配的目标码率情况下图像重建质量最大化。这就要求目标码率有很高的准确性。通常，最高效的码率分配方式是：首先对所压缩的视频内容进行预分析，得出各图像层级的码率分配，然后再根据码率分配来对视频进行压缩。然而，在实际产品中，视频编码器通常要求较高的实时处理性能，难以实现预分析，只能通过预测的方式进行码率分配。

此外，现有的码率分配主要有：

1)平均分配法

即，对各编码层次采用平均分配的策略。

但由于图像内容和特征是动态变化的，该平均分配法会导致图像比较难压缩的图像区域(例如，图像块等)重建质量下降，其主要体现在：

a.例如，在帧级码率分配上，由于I帧需要的编码码率(编码比特数)远大于P帧，相同的码率分配使得I帧图像质量大幅下降。同时I帧作为后续P帧的参考帧，较低重建质量的I帧会导致后续P帧的帧间预测效率降低。

b.例如，在帧内图像块级码率分配上，对于那些细节纹理较多的图像区域，平均分配法会导致这些区域图像质量下降，作为对比，那些比较平坦的图像区域由于容易压缩并不需要很多的码率分配。

2)非平均分配法

即，对各编码层次采用非平均分配的其他策略。

但由于这些现有的非平均分配法过于粗糙，而同样会导致重建图像质量下降问题，主要体现在：

a.例如，在帧级码率分配上，固定分配I帧的编码码率(编码比特数)为P帧的数倍，然而在一定码率下，大量比特数已用于编码I帧，剩余比特数不够后续P帧再保持相对较高的质量，因此会引发后续P帧的质量下降；此外，如果I帧本身复杂度不高，也不需要较高的码率分配。

b.例如，在I帧内图像块级码率分配上，采用一些表征图像复杂度的计算用于码率分配，如图像块梯度或者方差计算，然而这些计算需要耗费额外的计算资源，并且基于梯度和方差的复杂度并不能很好地预测码率分配，导致码率分配不够准确。

总之，现有方法难以使得视频码率，尤其是I帧码率，能够根据图像内容和特征进行动态合理地调整，或者难以对I帧进行较准确的码率分配。

本公开就是为了解决现有的上述码率分配方案的问题而提供了一种视频编码的码率分配方法，该方法利用例如参考帧这样的参考单元的压缩信息(例如，压缩比特数、压缩率、压缩质量等)作为码率分配的参考依据，可据此动态地对图像区域进行码率分配，提升一定码率条件下重建图像的质量。此外，该参考单元(例如，参考帧)的压缩信息(例如，压缩率等)可由例如参考单元压缩模块(例如，参考帧压缩模块C)提供，不需要额外耗费计算和存储资源，并且相比之下具有更高的预测准确度。

此外，这里要指出的是：上述的图1及图2、图3及其相应的记载内容仅仅是示例，本公开的技术方案等并不局限于这些示例。例如，图2、3示出的是参考帧和帧间预测等情形，即作为处理对象的图像单元设为帧(图像帧级)，但如上所述，编码层级可以包括：图像集GOP(Group Of Pictures)级、图像帧级及图像块级，甚至更小的图像单元等。故，不言而喻，本公开的技术方案当然也同样可以适用于图像帧级以外的各种层级。

下面，参考图4来说明本公开的码率分配方法。而且，如上所述，该码率分配方法是如图1所示的编码过程中的码率控制模块B(即码率控制方法)的主要部分。

图4示意性示出了本公开实施例的码率分配方法的简要流程图。

如图4所示，所述码率分配方法包括：参考单元及压缩信息的获取(步骤S1)、以及编码码率的分配(步骤S2)。

在参考单元及压缩信息的获取(步骤S1)中，获取作为编码对象的当前第一图像单元的第一参考单元和所述第一参考单元的压缩信息。其中，所述当前第一图像单元可以为例如作为编码对象的未被编码压缩的图像集GOP、图像帧、图像块等之中的任一者。所述第一参考单元可以为例如所述当前第一图像单元的参考图像集GOP、参考帧、参考图像块等中的任一者。另外，所述压缩信息可以包括例如压缩比特数、压缩率、压缩质量等中的至少一个。

在编码码率的分配(步骤S2)中，根据所述第一参考单元的所述压缩信息，对所述当前第一图像单元进行编码比特数即编码码率的分配。

此外，这里优选所述第一参考单元(例如参考帧)与所述当前第一图像单元(当前图像帧)是同一场景图像中的图像单元，或者优选所述第一参考单元(例如参考帧)与所述当前第一图像单元(当前图像帧)是未发生场景突变的场景图像中的图像单元。这样，可以保障更好的参考准确度。其中，所谓场景突变是指场景视频内容会发生显著变化，这种突变可以通过例如比较两帧图像的直方图统计结果、或者其他特征比较来进行判断。

此外，所述第一参考单元可以为所述当前第一图像单元之前的一个第一图像单元，也可以为所述当前第一图像单元之前的多个第一图像单元融合而成的一个第一图像单元。这里，所谓“融合”就是本领域公知的图像融合处理，例如，可以根据多个图像单元中像素和/或特征点的匹配程度分配给各个图像单元相应的权重，从而利用该权重将多个图像单元融合成一个图像单元。

此外，更优选所述第一参考单元为所述当前第一图像单元紧邻的前一个第一图像单元。例如，在当前第一图像单元为当前图像帧的情况下，第一参考单元优选为当前图像帧紧邻的前一个图像帧。这是因为紧邻的前一个图像帧发生场景突变的可能性很低，从而能够保障更好的参考准确度。

另外，所述当前第一图像单元可以包括多个第二图像单元。例如，在所述当前第一图像单元为图像集GOP的情况下，所述当前第一图像单元即图像集GOP可以包括多个第二图像单元即图像帧；在所述当前第一图像单元为图像帧的情况下，所述当前第一图像单元即图像帧可以包括多个第二图像单元即图像块。相应地，所述第一参考单元可以包括多个第二参考单元。例如，在所述当前第一图像单元为图像集GOP的情况下，所述第一参考单元就为参考图像集GOP，所述第一参考单元即参考图像集GOP可以包括多个作为所述第二图像单元(图像帧)的参考图像的第二参考单元即参考图像帧；在所述当前第一图像单元为图像帧的情况下，所述第一参考单元就为参考图像帧，所述第一参考单元即参考图像帧可以包括多个作为所述第二图像单元(图像块)的参考图像的第二参考单元即参考图像块。

下面，关于图4所示的流程的具体细节，参考图5来进行说明。

图5示意性示出了本公开实施例的码率分配方法中的编码码率分配步骤的简要流程图。

如图5所示，所述编码码率的分配(步骤S2)可以具体包括：码率分配比例的计算(步骤S2-1)和分配编码码率的确定(步骤S2-2)。

在码率分配比例的计算(步骤S2-1)中，可以根据所述第一参考单元的压缩信息计算所述当前第一图像单元中各所述第二图像单元的码率分配比例。

在分配编码码率的确定(步骤S2-2)中，可以根据所述码率分配比例与预先分配的所述当前第一图像单元的编码码率确定每个所述第二图像单元的编码码率。

另外，所述压缩信息可以包括所述第一参考单元的压缩比特数、所述多个第二参考单元的压缩比特数。

这样，所述码率分配比例的计算(步骤S2-1)还可以具体包括：根据每个所述第二参考单元的压缩比特数占所述第一参考单元的压缩比特数的比例计算各所述第二图像单元的码率分配比例。

下面，列举具体实施例来说明本公开的优选实施例，所述优选实施例的主要流程均可以应用到图4、图5所示的流程及其相关流程细节当中。此外，下列实施例例如是以所述压缩信息包括编码过程常被利用到的压缩比特数(编码比特数)为例来进行说明的。当然，不言而喻，当压缩信息包括压缩率、压缩质量等时，本公开的技术方案也同样适用。

[实施例1]

首先，相对于现有技术中采用的以图像块梯度或者方差等来表征图像复杂度以用于码率分配方案，在本公开的所述码率分配方法中，首次提出了以压缩信息来表征图像复杂度的技术方案，即在图4所示的编码码率的分配(步骤S2)中，根据参考单元(例如，参考帧)的压缩信息(例如，压缩比特数)，对作为编码对象的当前图像单元(例如，当前图像帧)进行编码比特数即码率的分配。

图6是用于说明本公开实施例的利用参考帧压缩信息来表征当前图像帧的任意区域复杂度的示意图。

如图6所示，当前图像帧的一个任意形状的图像区域(例如，图像块等)S_cur，使用例如当前图像帧紧邻的前一个图像帧作为前一参考帧(这里，使用前一参考帧是因为一般紧邻的前一个图像帧可以视为同一场景图像中的图像帧，或未发生突变的场景图像中的图像帧)相应位置覆盖的参考帧压缩单元的压缩比特数之和来表征图像区域S_cur的纹理复杂度TC(Texture Complexity)。设S_cur所覆盖的参考帧中的压缩单元CU的编号分别为1，2，...n，则S_cur的纹理复杂度可以由下式(2)表达：

式中，Bits(CUi)表示第i个参考帧压缩单元CU对应的压缩比特数。这样，利用参考帧压缩后的编码码率(压缩比特数)来表征纹理复杂度，相比利用图像块梯度或方差等计算方法具有更好的准确度，这是因为：

1.参考帧压缩与视频编码过程一样具有残差预测、熵编码等过程，因而较好地近似了图像块的压缩潜能。

2.由上述可知，在一个结合参考帧压缩的视频编码架构M中，参考帧经压缩后会将包含每个压缩单元比特数的头信息存于外部存储器中，因而不需要额外计算来产生Bits(CUi)。

通常，纹理复杂度被用于作为视频编码中各层级编码的码率分配的依据，由于采用前一帧的压缩信息进行纹理复杂度估计，本公开一般不适合当前图像帧为场景切换的第一帧的情况，而可以适用于同一场景(或未突变场景)的前后帧。此外，利用纹理复杂度对不同编码层级进行码率分配时，存在不同程度的适应性，需要不同程度的约束说明，对此将在下述不同实施例中进行分析和说明。

[实施例2]

图6是用于说明本公开实施例的利用参考帧压缩信息在图像帧级来表征当前图像帧的任意图像区域复杂度的示意图。

如图6所示那样，在所述当前图像单元的所述编码层级为图像帧级或以上(即，包括图像帧级、图像集GOP级、甚至图像集GOP级以上的图像集GOP群级等)的情况下，在图4所示的所述编码码率的分配(步骤S2)中，可以根据与当前图像帧的位置相对应的参考帧即对应参考帧的压缩比特数和所述对应参考帧的未被压缩时的原始码率(原始比特数)来计算出所述对应参考帧的压缩率，然后，利用计算出的所述压缩率，对所述当前图像帧进行码率分配。

具体而言，下面以针对I帧的图像帧级的码率分配为例进行说明。这里针对I帧仅是因为往往I帧的图像质量提高的前提下后续的P帧或B帧的图像质量也会随着相应提高，所以在进行码率分配时也可以仅针对I帧进行码率分配，当然，不言而喻，P帧或B帧也同样适用。由于针对I帧，故这里的S_cur即为整帧图像大小，可以根据纹理复杂度来动态调节所述I帧的码率分配，即例如分配给难压缩的I帧较多的比特数，而分配给易压缩的P帧或B帧较少的比特数，从而在保证I帧质量的前提下使得后续P帧或B帧的图像质量得到提升。

作为一种算法可以如下式(3)、(4)：

式中，Bits(x)表示分配给x的编码码率(编码比特数)，即Bits(I_frame)表示分配给当前的I帧的编码比特数即编码码率，Bits(GOP)表示分配给包括当前图像帧的由多个图像帧构成且编码层级高于所述当前图像帧的上级图像单元(这里，为图像集GOP)编码比特数即编码码率；这里，优选图像集GOP中第一帧为I帧，后续都为P帧或者B帧(通常，这种情形较为常见，当然也不排除存在多个I帧且I帧存在于不同位置的情形)；公式(3)仅为一种示例，该图像集中仅存在I帧和P帧的情况，I_MAX_ratio和P_ratio是预先分配的I帧和P帧之间的码率分配比例；参数α如式(4)所示，其为由与当前图像帧的位置相对应的参考单元帧即对应参考帧的压缩比特数和所述对应参考帧的未被压缩时的原始码率(原始比特数)计算得出的所述对应参考帧的压缩率，其可以反映参考帧的纹理复杂度，压缩率越大，说明参考帧越难压缩，纹理越复杂，反之，说明参考帧越容易压缩，纹理越不复杂。此外，虽然这里优选使用参考帧的压缩率来作为参数α(因为可以表征参考帧的压缩难易程度)，但参数α并非必须是参考帧的压缩率，只要能根据纹理丰富程度调整I帧和P帧或B帧之间的码率分配即可。此外，由式(3)可知，由参数α来调节I帧所占编码码率(编码比特数)的比例，以实现最终针对当前图像帧的码率分配。图1中Bf和Ri之间用虚线连接表示，帧内预测可以不需要从缓存中读取参考帧进行预测，但是可以从缓存中读取参考帧或参考帧压缩信息进行码率分配。在当前图像单元为图像帧级以上的此种情况下不需要其它约束条件。

此外，这里仅是针对I帧的图像帧级的码率分配的示例，不言而喻，在当前图像单元不是帧而是大于图像帧级的图像集GOP级、甚至图像集GOP级以上的图像集GOP群级等的情况下，要相应地对上述Bits(x)中的x作调整。例如，式(3)中的Bits(I_frame)若变更为Bits(GOP)，则相应地式(3)中的Bits(GOP)要变更为Bits(GOP群)。此外，式(3)中的Bits(GOP)当然也可以是Bits(GOP群)，只要是能由帧构成的比帧大的图像单元(例如GOP、GOP群等)即可。而且，不言而喻，除了I帧以外的P帧或B帧也同样适用本公开实施例的技术方案。

此外，由式(3)可见，本公开实施例的所述码率分配方法中还可以包括：获取由多个当前图像单元(这里，例如当前图像帧)构成且编码层级高于该当前图像单元的上级图像单元(这里，例如由帧构成图像集GOP)的编码码率(编码比特数)，这样，在图4所示的所述码率的分配(步骤S3)中，利用所获取的上级图像单元(这里，例如图像集GOP)的编码码率(编码比特数)，并根据参考单元(这里，例如参考帧)的压缩信息，对所述当前图像单元(这里，例如当前图像帧)进行码率分配。

由此，通过利用参考帧的压缩信息(例如，压缩比特数)来进行码率分配，即利用参考帧的压缩难易程度来表征当前图像帧的图像纹理复杂程度，从而实现更准确、更简便且消耗资源少的码率分配，以使编码处理时的图像重构能够实现重构质量的最大化。

[实施例3]

下面，参照图7进一步说明另外一种编码比特数分配的情形。

图7是用于说明本公开实施例的利用参考帧压缩信息在图像块级来表征当前图像帧的任意图像区域复杂度的示意图。

如图7所示那样，在所述当前图像单元的所述编码层级小于图像帧级(即，包括任意图像区域(即图像块)、甚至更小的例如压缩单元等)的情况下，在图4所示的所述编码码率的分配(步骤S2)中，可以根据与当前图像单元(例如，当前图像帧中的n个图像块S_cur_1，S_cur_2…S_cur_n)的位置相对应的参考单元即对应参考单元(例如，参考帧中的n个参考图像块S_ref_1，S_ref_2…S_ref_n)的压缩比特数，计算出所述对应参考单元在编码层级高于所述当前图像单元的上级图像单元(例如，当前图像帧)的参考单元(例如，参考帧)整体中所占压缩比特数的比例，然后，利用计算出的所述比例，对所述当前图像单元(例如图像块S_cur_1等)进行码率分配。

具体而言，下面以针对I帧的图像块级的码率分配为例进行说明。同样，这里针对I帧仅是因为往往I帧的图像质量提高的前提下后续的P帧或B帧的图像质量也会随着相应提高，当然，不言而喻，P帧或B帧也同样适用。此外，优选图像块级为大范围的图像块，即图6所示的n值尽量小(例如，n可以小于4)，也可以例如视频编码中的大块slice或者tile划分。图6示出了一种示例，假设需要对当前图像帧的n个图像块进行码率分配，使用例如前一参考帧S_ref_1、S_ref_2、…、S_ref_n对应位置的参考帧压缩比特数来估计S_cur_1、S_cur_2、…、S_cur_n的纹理复杂度，码率分配计算可以如下式(5)：

式中，Bits(S_cur_x)表示分配给当前图像帧中的当前图像块S_cur_x的编码码率(编码比特数)，Bits(I_frame)表示分配给由多个所述当前图像块构成且编码层级高于所述当前图像块的上级图像单元(这里，例如为当前图像帧I_frame)编码比特数即编码码率；S_cur_x为当前图像块；S_ref_x为当前图像块S_cur_x位置对应的参考图像块；n为大于1的整数。函数TC为压缩比特数。

在另外的实施例中，当前图像帧的编码码率也可以用类似式(5)的方法进行分配，即根据当前图像帧对应的参考图像帧在参考GOP或参考GOP集中所占的比例对当前图像帧所属的GOP或GOP集的编码码率进行分配。此外，Bits(I_frame)优选由本公开中的上述实施例2的码率分配而得，这样能够进一步实现更准确的码率分配，从而实现编码处理时的图像重构质量的进一步最大化。当然，不言而喻，Bits(I_frame)也可以通过如公式(5)的分配方式得到，或者由现有的例如码率平均分配法获得，或者由现有的例如利用图像块的梯度或方差等来进行码率分配的非码率平均分配法获得。

此外，在当前图像单元为小于图像帧级的此种图像块级的情况下约束条件为：对于静止视频序列，无其它约束；对于运动视频序列，图像块越大，码率分配越准确，这是因为大图像块纹理复杂度估计对图像内容的运动不敏感，而小块影响较大。

此外，这里所述图像区域即图像块的形状可以为任意形状。

此外，这里仅是针对I帧的图像块级的码率分配的示例，不言而喻，除了I帧以外的P帧或B帧也同样适用本公开实施例的技术方案。此外，式(5)中的Bits(I_frame)当然也可以是Bits(GOP)、或Bits(GOP群)，只要是能由图像块构成的比图像块大的图像单元(例如帧、GOP、GOP群等)即可。

此外，由式(3)可见，本公开实施例的所述码率分配方法中还可以包括：获取由多个当前图像单元(这里，例如当前图像块)构成且编码层级高于该当前图像单元的上级图像单元(这里，例如由图像块构成图像帧)的编码码率(编码比特数)，这样，在图4所示的所述编码码率的分配(步骤S2)中，利用所获取的上级图像单元(这里，例如帧)的编码码率(编码比特数)，并根据参考单元(这里，例如参考图像块)的压缩信息，对所述当前图像单元(这里，例如当前图像块)进行码率分配。

由此，通过利用参考帧的图像块的压缩信息(例如，压缩比特数)来进行码率分配，即利用参考帧的图像块的压缩难易程度来表征图像纹理复杂程度，从而实现更准确、更简便且消耗资源少的码率分配，以使编码处理时的图像重构能够实现重构质量的最大化。

[实施例4]

下面，参照图8进一步说明编码层级小于图像帧级的情形之中的压缩单元级的情形。其中，所述压缩单元级为视频编码的基本编码单元，例如H.264中的MB、H.265中的CTU/CU等。

图8是用于说明本公开实施例的利用参考帧压缩信息在压缩单元级来表征当前图像帧的任意图像区域复杂度的示意图。

如图8所示那样，在所述当前图像单元的所述编码层级为更小层级例如压缩单元级的情况下，在图4所示的所述编码码率的分配(步骤S2)中，可以根据与当前图像单元(例如，当前图像块S_cur中的n个压缩单元1，2，…，n)的位置相对应的参考单元即对应参考单元(例如，参考图像块S_ref中的n个参考压缩单元1，2，…，n)的压缩比特数，计算出所述对应参考单元在编码层级高于所述当前图像单元的上级图像单元(例如，当前图像块S_cur)的参考单元(例如，参考图像块S_ref)整体中所占压缩比特数的比例，然后，利用计算出的所述比例，对所述当前图像单元(例如图像块S_cur的压缩单元1等)进行码率分配。

具体而言，下面以针对I帧的图像块中的压缩单元的码率分配为例进行说明。同样，这里针对I帧仅是因为往往I帧的图像质量提高的前提下后续的P帧或B帧的图像质量也会随着相应提高，当然，不言而喻，P帧或B帧也同样适用。图7示出了一种示例，假设需要对当前图像帧的图像块S_cur中的压缩单元1、2、…、n进行码率分配，使用例如前一参考帧的参考图像块S_ref的参考压缩单元1、2、…、n对应位置的参考帧压缩比特数来估计图像块S_cur中的压缩单元1、2、…、n的纹理复杂度，码率分配计算可以如下式(6)：

式中，Bits(S_cu_m)表示分配给当前图像帧的当前图像块S_cur中的当前压缩单元S_cu_m的编码码率(编码比特数)，Bits(S_cur)表示分配给由多个所述当前压缩单元构成且编码层级高于所述当前压缩单元的上级图像单元(这里，例如为当前图像块S_cur)的编码比特数即编码码率；S_cu_m为当前压缩单元；S_ref_m为当前压缩单元S_cu_m位置对应的参考压缩单元；n为大于1的整数。函数TC为上述式(2)的纹理复杂度函数。

此外，Bits(S_cur)优选由本公开中的上述实施例3的码率分配而得，这样能够进一步实现更准确的码率分配，从而实现编码处理时的图像重构质量的进一步最大化。当然，不言而喻，Bits(S_cur)也可以由现有的例如码率平均分配法获得，或者由现有的例如利用图像块的梯度或方差等来进行码率分配的非码率平均分配法获得。

此外，在当前图像单元为小于图像帧级的此种压缩单元级的情况下约束条件为：对于静止视频序列，无其它约束；对于运动视频序列，需要保证当前图像块S_cur所对应的图像内容如图7所示为刚体平移运动。

此外，这里所述图像区域即图像块的形状可以为任意形状。

此外，这里仅是针对I帧的图像块级的码率分配的示例，不言而喻，除了I帧以外的P帧或B帧也同样适用本公开实施例的技术方案。此外，式(7)中的Bits(S_cur)当然也可以是Bits(I_frame)、Bits(GOP)、或Bits(GOP群)，只要是能由压缩单元构成的比压缩单元大的图像单元(例如图像块、帧、GOP、GOP群等)即可。

此外，由式(3)可见，本公开实施例的所述码率分配方法中还可以包括：获取由多个当前图像单元(这里，例如当前压缩单元)构成且编码层级高于该当前图像单元的上级图像单元(这里，例如由压缩单元构成图像块)的编码码率(编码比特数)，这样，在图4所示的所述编码码率的分配(步骤S2)中，利用所获取的上级图像单元(这里，例如图像块)的编码码率(编码比特数)，并根据参考单元(这里，例如参考压缩单元)的压缩信息，对所述当前图像单元(这里，例如当前压缩单元)进行码率分配。

由此，通过利用参考帧的图像块中的压缩单元的压缩信息(例如，压缩比特数来进行码率分配，即利用参考帧的图像块中的压缩单元的压缩难易程度来表征图像纹理复杂程度，从而实现更准确、更简便且消耗资源少的码率分配，以使编码处理时的图像重构能够实现重构质量的最大化。

此外，上述各实施例仅示例了两层编码层级的情形，当然，还会有两层以上编码层级的情形。在有两层以上编码层级的情况下，在进行获取各个上级图像单元的编码码率的计算时，既可以利用本公开实施例的所述编码码率分配方法来计算，也可以利用现有技术的例如码率平均分配法，或者梯度或方差等的非码率平均分配法来计算，这是不言而喻的。

此外，如上所述，本公开实施例的所述码率分配方法是图1所示的码率控制方法中一个步骤，这样，作为本公开另一方面可以提供一种码率控制方法，其可以包括：进行本公开实施例的所述码率分配方法(例如，图4、5流程图所示)，对所述当前图像单元分配编码码率，作为目标码率；在所述当前第一图像单元的编码过程中调整编码参数，使得实际编码码率逼近所述目标码率。

由此，同样可以使编码处理时的图像重构能够实现重构质量的最大化。

此外，不言而喻，本公开实施例的所述码率分配方法及另一方面的所述码率控制方法同样可以作为计算机程序而存储于计算机可读存储介质中，该计算机程序可以包括代码/计算机可执行指令，使计算机执行例如本公开的图4、图5这样的流程图所示的所述码率分配方法及其变形。

此外，计算机可读存储介质，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。

另外，计算机程序可被配置为具有例如包括计算机程序模块的计算机程序代码。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被计算机(或处理器)执行时，使得计算机可以执行例如上面结合图4-5所描述的码率分配方法的流程及其变形。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于所述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (16)

1.一种码率分配方法，其特征在于，包括：

获取作为编码对象的当前第一图像单元的第一参考单元和所述第一参考单元的压缩信息；

根据所述第一参考单元的所述压缩信息，对所述当前第一图像单元进行编码码率的分配。

2.根据权利要求1所述的码率分配方法，其特征在于，

所述当前第一图像单元包括多个第二图像单元，所述第一参考单元包括多个第二参考单元，所述第二参考单元是所述第二图像单元的参考图像。

3.根据权利要求2所述的码率分配方法，其特征在于，

所述根据所述第一参考单元的所述压缩信息，对所述当前第一图像单元进行编码码率的分配包括：

根据所述第一参考单元的压缩信息计算所述当前第一图像单元中各所述第二图像单元的码率分配比例；

根据所述码率分配比例与预先分配的所述当前第一图像单元的编码码率确定每个所述第二图像单元的编码码率。

4.根据权利要求3所述的码率分配方法，其特征在于，

所述第一图像单元为图像集、图像帧或图像块。

5.根据权利要求4所述的码率分配方法，其特征在于，

所述压缩信息包括所述第一参考单元的压缩比特数、所述多个第二参考单元的压缩比特数。

6.根据权利要求5所述的码率分配方法，其特征在于，

所述根据所述第一参考单元的压缩信息计算所述当前第一图像单元中各所述第二图像单元的码率分配比例包括：

根据每个所述第二参考单元的压缩比特数占所述第一参考单元的压缩比特数的比例计算各所述第二图像单元的码率分配比例。

7.根据权利要求3所述的码率分配方法，其特征在于，

所述第一图像单元是图像集，所述第二图像单元是图像帧，所述第二图像单元包括I帧、P帧、B帧中至少一种。

8.根据权利要求7所述的码率分配方法，其特征在于，

所述压缩信息包括所述第一参考单元的压缩率。

9.根据权利要求8所述的码率分配方法，其特征在于，

所述根据所述第一参考单元的压缩信息计算所述当前第一图像单元中各所述第二图像单元的码率分配比例包括：

根据所述第一参考单元的压缩率调整预先分配的所述当前第二图像单元中I帧和P帧的比例，或I帧和B帧的比例，或I帧、P帧和B帧的比例得到所述I帧、P帧或B帧的码率分配比例。

10.根据权利要求8所述的码率分配方法，其特征在于，

所述预先分配的所述当前第二图像单元中I帧和P帧，或I帧和B帧，或I帧、P帧和B帧的比例是通过离线统计得到的I帧和P帧，或I帧和B帧，或I帧、P帧和B帧能够分配的最大比例。

11.根据权利要求1所述的码率分配方法，其特征在于，

所述第一参考单元为所述当前第一图像单元之前的一个第一图像单元或多个第一图像单元融合而成的一个第一图像单元。

12.根据权利要求11所述的码率分配方法，其特征在于，

所述第一参考单元为所述当前第一图像单元紧邻的前一个第一图像单元。

13.一种码率控制方法，包括：

进行权利要求1-11中任一项所述的码率分配方法，对所述当前第一图像单元分配编码码率，作为目标码率；

在所述当前第一图像单元的编码过程中调整编码参数，使得实际编码码率逼近所述目标码率。

14.根据权利要求13所述的码率控制方法，其中，

所述编码参数包括所述编码过程中的量化参数。

15.一种编码器，至少包括：

量化模块，利用量化参数，对编码变换的变换系数进行量化；

码率控制模块，通过执行权利要求14所述的码率控制方法来调整所述量化模块的所述量化参数。

16.一种计算机可读的记录介质，存储有可执行指令，该指令被处理器执行时使该处理器执行权利要求1-12中任一项所述的码率分配方法或者权利要求13或14所述的码率控制方法。

Images