CN1420691A - 基于对象的比特率控制方法和系统 - Google Patents

Abstract

一种基于对象的比特率控制方法，其可以防止视频的中断，并且即使网络的比特率严重降低时也能够保持视频的高质量。从图像中分离出对象，并且向所分离对象中包含的宏块赋予重要性值。当网络的比特率降低时，对具有高重要性的宏块进行正常的编码和传输，而不对具有低重要性的宏块进行编码。

Description

基于对象的比特率控制方法和系统

技术领域

本发明涉及视频传输系统，尤其涉及基于对象的比特率控制方法和系统，其能够根据对象的重要性利用非编码块对比特率进行控制。

背景技术

通常来说，在视频传输系统中通过具有有限传输带宽的信道对包含大量信息的视频数据进行传输时，将根据网络的状态对比特率进行控制。比特率控制方法包括前向控制方法，其根据输入图像的特征分配比特率，和后向控制方法，其根据信源编码器(即输出终端)的后端特性，比如缓冲器的状态信息(例如，比特率)，确定编码器的参数。

用于诸如图像通信或者电视电话通信等低比特率通信的视频编码器必须在压缩效率和低复杂性方面具有较高的性能。因此，用于低比特率通信的大多数视频编码器使用后向控制方法，其根据缓冲器的状态，通过调节量化参数(QP)而对比特率进行控制。

图1显示的是传统比特率控制系统的示意结构图，包括：特征分析器110，用于对输入图像的特征进行分析；量化器102，用于对图像进行量化；输出缓冲器103，用于将编码图像作为比特流进行输出；目标比特分配器104，用于根据特征分析器101和输出缓冲器103的状态信息分配目标比特；和比特率调节器105，用于根据所分配的目标比特对比特率进行调节。

特征分析器110对图像数据的特征进行分析，并且将结果提供给目标比特分配器104，目标比特分配器104根据图像数据的特征结果和输出缓冲器103的状态信息分配目标比特。比特率调节器105根据目标比特分配器104分配的目标比特对量化器102的比特率进行调节。而量化器102根据所调节的比特率对图像数据进行编码，并且将编码的数据存储到输出缓冲器103中。输出缓冲器103对比特流进行调节，以便按预定的速度进行输出，并且防止在比特流重建过程中可能产生的溢出或者下溢。

此处，比特率调节器105使用QP作为编码参数对比特率进行调节。例如，当QP具有大的值时，则降低比特率，但是也降低了视频的质量。对于QP的值为小的情况，则增加比特率，但是提高了视频的质量。即，视频质量和比特率是彼此矛盾的。因此，当将网络的带宽降低到较低的比特率时，则降低了视频的质量。最坏的情况是，在接收方中断了视频。

但是，控制比特率的方法对每一个视频流均提出了数学模型(例如，线性模型、非线性模型、拉普拉斯模型、指数模型、高斯模型等等)，并且根据模型分配比特。其具有这样的缺点，即很难为输入图像的特征或重要区域(例如，人的面部，眼睛，鼻子或者嘴)确定最佳的QP。即，即使该区域是重要区域，当由于很差的网络状态而导致比特率很低时，也会恶化视频质量。并且即使是非重要区域，由于网络状态的变化，也可能会有比重要区域更高的图像质量。对于网络的比特率太低而不能进行视频传输的情况，在接收方可能会导致视频的断开。

视频通信或者电视电话的用户对于重要或目标区域的图像质量的敏感程度远大于非重要区域或者非目标区域。即对于用户判断视频质量，重要或目标区域的图像质量是比整个图像的视频质量更为重要的的因素。

传统的比特率控制方法根据溢出或者下溢对QP进行调节，以对比特率进行调节，因此，具有在用户敏感的重要区域中为用户提供低质量图像的缺点。

还有，传统的比特率控制方法根据溢出或者下溢对QP进行调节，这样，由于根据网络状态而造成视频质量的巨大变化和下降，而不能为用户提供高质量的视频。

发明内容

本发明的目的是至少解决上述问题和/或缺点，并且至少提供下面所描述的优点。

因此，本发明的一个目的是提供一种基于对象的比特率控制方法，其能够根据对象的重要性对比特率进行控制。

本发明的另外一个目的是提供一种基于对象的比特率控制方法，其能够根据重要性对从图像中分离出来的对象进行选择性的传输。

通过提供一种基于对象的比特率控制方法，实现了本发明的这些和其它目的和优点，该方法包括如下步骤：对包含在从图像中分离出的对象中的至少一个宏块施加重要性值；当网络的比特率低时，对超过预定重要性值的宏块进行编码和传输。

此处，对于低于预定重要性值的宏块不进行编码，而是设定为非编码块。在解码过程中，低于预定重要性值的宏块重复位于同一位置的前一帧画面的宏块。

超过预定重要性值的宏块包含在对象的用户区域中，该对象分为用户区域和背景区域。

包含在用户区域中的宏块比包含在背景区域中的宏块具有更高的重要性。

根据本发明的另外一个方面，基于对象的比特率控制方法包括如下步骤：基于赋予从图像分离出来的对象中包含的至少一个宏块的重要性值设定非编码块；当网络的比特率低时，不对设定为非编码块的宏块进行传输，而是对设定为重要块的宏块进行编码和传输。

根据本发明的另外一个方面，基于对象的比特率控制方法包括如下步骤：对从图像中分离出的对象中包含的至少一个宏块赋予重要性值；设定网络状态；当网络状态为差时，将具有低重要性的区域设定为非编码块；当网络状态为差时，对具有高重要性的宏块进行编码和传输。

根据本发明的基于对象的比特率控制方法还包括在确定非编码块的设定条件的步骤之前，根据输出终端的网络状态信息，分配目标比特的步骤。

本发明的其它优点、目的和特征有一部分将在以下的说明书中进行阐述，其余部分则对于本领域的技术人员经过对以下内容的考察后会变得明了，或者通过实施本发明而体验到。可以实现和达到如所附的权利要求书具体指出的本发明的目的和优点。

附图说明

以下参照附图对本发明进行详细的说明，其中相同的标号表示相同的元件。附图中：

图1显示的是传统比特率控制系统的示意结构图；

图2显示的是根据本发明的比特率控制系统的示意结构图；

图3显示的是根据本发明的基于对象的比特率控制方法的流程图；

图4显示的是根据本发明的进行对象分离的示范视图；

图5显示的是根据本发明的使用非编码块进行比特率控制的示范视图；

图6显示的是根据本发明使用基于对象的比特率控制系统的编码器的方框图。

优选实施例详细说明

下面结合附图对本发明的优选实施例进行描述。

图2显示的是根据本发明的基于对象的比特率控制系统的示意结构图。参照图2，比特率控制系统包括对象分离器200，重要性值施加器201，量化器202，输出缓冲器203，目标比特分配器204以及重要性判定器205。

对象分离器200从输入图像中分离出对象。此处，可以使用对象分离方法分离出对象。所分离出的对象一般包括至少一个16*16的宏块。对象分为用户区域、背景区域和边界区域(见图4)。边界区域表示存在于用户区域和背景区域之间的区域。对于使用对象分离方法对对象进行分离的情况，可以将边界区域包含在用户区域中，以防止在边界区域产生余像(afterimage)。用户区域包括人体、面部、眼睛、鼻子、嘴或者其组合。

重要性值施加器201向包含在所分离对象区域中的宏块施加重要性值。最好是，用户区域的宏块比背景区域的宏块具有更高的重要性值。即，这意味着，用户区域的宏块比背景区域的宏块更重要。

另一方面，将输出缓冲器203所确认的网络状态信息提供给目标比特分配器204，以分配目标比特。即，目标比特分配器204基于来自输出缓冲器203的状态信息检测网络的当前状态，以分配目标比特。

重要性判定器205根据由目标比特分配器204所分配的目标比特确定网络的当前比特率。

另外，重要性判定器205确定网络的当前比特率，并且当比特率为高时把重要性值施加器201施加了重要性值的宏块传输给量化器202。

相反地，当网络由于低比特率而状态不好时，重要性判定器205确定施加了重要性值的宏块是否具有高的重要性。

将具有高重要性的宏块传输到量化器202，将具有低重要性的宏块设定为非编码块。

此处，设定为非编码块的宏块不具有编码数据，以在相当程度上减少所传输数据的数量。

量化器202对由重要性判定器205施加了高重要性的宏块进行编码。

输出缓冲器203接收所编码的宏块，并且输出比特流。通过具有有限带宽的信道对此类比特流进行传输。

当通过网络进行多媒体视频的传输时，基于对象的比特率控制系统从输入图像中分离出具有宏块单元的对象，对各个宏块施加重要性值，并且根据网络的比特率和施加到宏块上的重要性值确定是否对相应的宏块进行编码和传输，或者不进行编码而对非编码块进行传输。

当使用诸如H.263或者MPEG1/2等的移动图像标准进行解释时，根据预测编码对给定图像的各个帧进行编码。预测编码将像素的信号值表示为不同时刻中图像信号值的差值，以提高压缩效率。仅对P或者B图像进行预测编码。在16*16的宏块单元中进行预测。在先前图像的特定范围中，检测具有和当前图像的特定宏块的值最相近值的宏块。宏块之间的差异是表示当前宏块相对于先前图像的运动程度的运动矢量。如果当前宏块相对于先前图像的宏块没有运动、且和先前图像的宏块没有差值的时候，运动矢量为‘0’，并且不存在用于DCT编码的系数值。这样的宏块为非编码块。这样，可以显著地降低所生成的数据量。

这样，本发明的系统从所传输的图像中分离出对象，在各个宏块上施加重要性值，并且不管网络的低比特率，对具有高重要性的宏块进行传输，从而防止遗漏重要的信息。另外，本发明的系统强制性地在降低比特率时将具有低重要性的宏块设定为非编码块，以降低数据传输的负载。

下面参照图3，对使用基于对象的非编码块的比特率控制方法进行详细描述。

图3显示的是根据本发明的基于对象的比特率控制方法的流程图。如图3所示，使用对象分离方法从输入图像中分离出对象(步骤311)。如上所述，对象可以是用户区域、背景区域或者边界区域。根据区域的大小，对象至少包括一个宏块。此处，为了去除在边界区域处所生成的余像，当从图像中分离出用户区域时，可以将边界区域包含在用户区域中。因此，对包含边界区域的用户区域进行分离，以防止在边界区域中生成余像。

根据本发明，对包含在所分离对象中的宏块施加重要性值(步骤314)。此处，用户区域的宏块比背景区域的宏块具有更高的重要性。

如上所述，由于在图像质量上，用户区域比背景区域更为敏感，所以向用户区域施加高重要性。当网络的比特率较低时，具有相对高重要性的用户区域的图像质量保持在高的水平，但是降低了具有相对低重要性的背景区域的图像质量，以满足用户，并且反映网络的状态。

仍然参照图3，目标比特分配器基于输出缓冲器输出的网络状态信息，对目标比特进行分配(步骤317)。

当分配了目标比特时，参照所分配的目标比特，确定网络的当前状态(步骤320)。即，确定网络的当前比特率是高还是低。

当网络的当前比特率为高时，根据设定的比特率，不管重要性，对所有的宏块进行编码。

对于网络的当前比特率为低的情况，即网络状态不好时，不可能高质量地传输所有的宏块。

因此，当网络的当前比特率为低时，重要性判定器205确定施加了重要性的宏块是否具有高重要性值(步骤323)。

作为确定的结果，对具有高重要性值的宏块进行编码和传输(步骤326和329)。

相反地，将具有低重要性的宏块设定为非编码块(步骤332)。当将宏块设定为非编码块时，意味着不对相应的宏块进行传输。

当存在设定为非编码块的宏块时，不对相应的宏块进行传输。

对所有的宏块执行步骤323到338。即，确认是否存在后续宏块(步骤338)。当存在后续宏块时，程序跳转到步骤323，当不存在后继宏块时，程序结束。

如上所述，步骤311从图像中分离出用户区域和背景区域。实际上，在通信过程中，用户所敏感的是用户区域。尽管没有充分地传输其它外围区域，即背景区域以完整地显示运动，用户也不会感觉到背景区域的静止。这是因为用户的注意力集中在视频的用户区域，并且对用户区域的运动敏感。如图4所示，当以宏块为单位将图像的对象分为用户区域和背景区域时，尽管对用户关注的用户区域的宏块进行了编码和传输，对先前帧的背景区域进行传输，以代替对背景区域的宏块进行编码，用户几乎不会感觉到背景区域的静止。

图5显示的是对此进行解释的运动图像数据的示范视图。此处，图5C中的用户区域是从图5B中的第20帧图像提取的。值得注意的是所提取的用户区域包括边界区域。在用户区域中包含边界区域，以防止在边界区域中生成余像，从而为用户提供高质量的视频。

如图5所示，当将第一帧图像(图5A)和第20帧图像(图5B)进行比较时，第一帧图像和第20帧图像具有不同的背景。当从第20帧图像中提取用户区域(图5C)时，如果将不包括用户区域的背景区域设定为非编码块，对从第20帧图像提取的用户区域和第1帧图像的背景区域进行合成，以显示图5D所示的第20帧图像(即，将背景区域设定为非编码块，而照常使用第1帧图像的背景区域)。如图5D所示，由于用户区域的边界区域不同，合成的第20帧图像在图像质量上和包括背景图像的第20帧图像(图5B)有所不同，但是在整个图像质量上不会造成大的差异。根据网络的状态，对于具有中断的视频质量来讲还是好的。使用由MPEG1/2，H.263等提供的非编码块来实现此技术。

另一方面，对于在边界区域生成余像的情况，当以最小n帧的速度对所有的帧进行重新传输、以维持每秒钟所传输的特定帧速率时，用户不会感觉到停止了背景区域，或者几乎不会感觉到前一帧的余像。

图6所示，把根据本发明的基于对象的比特率控制方法应用于现有的编码器。即，对象分离器400从输入图像中分离对象，重要性值施加器410对包含在所分离对象中的至少一个宏块施加重要性值。重要性判定器420对宏块进行DCT和编码，或者根据重要性将其设定成为非编码块。

作为重要性判定器420的确定结果，DCT 440通过第一切换器430对具有高重要性的宏块进行DCT，而量化器450对DCT系数进行量化。逆向量化器460对所编码的信号进行逆向量化，而逆向DCT 470实现逆向DCT，从而可以利用第二切换器435所选择的信息把恢复的信号作为图像信号存储在图像存储器480中。提供存储在图像存储器480中的图像信号作为用于DCT和编码过程的信号。

另一方面，作为重要性判定器420的确定结果，不对具有低重要性的宏块进行DCT和编码。

在图6的编码器中，当输入图像的时候，使用对象分离方法从图像中分离出对象，在包含在对象中的各个宏块上施加重要性值。此处，当网络的当前比特率较低时，确定当前宏块的重要性。当当前宏块具有高的重要性时，对相应的宏块进行编码和传输。相反地，当当前宏块具有低重要性时，不对相应的宏块进行编码，而是强制设定为非编码块。通过控制比特率，能够在根据网络状态分配的目标比特的范围之内，有效地对宏块进行传输。

在本实施例中，描述了在实时通信状态下有效控制比特率的方法。但是，本发明的技术可以用作诸如视频邮件等运动图像的编码方法。即，当根据本发明的方法对由移动终端获得的视频进行编码时，能够显著降低整个编码视频的大小。由于视频服务的费用通常以信息包的数目计算，所以运动图像的大小是很重要的。

根据本发明，用户能够对特定的对象设定高重要性，从而当视频通信中的比特率严重降低时，能够防止接收侧的中断。

另外，通过网络仅对具有高重要性的宏块进行传输，从而为用户提供高质量的视频，并且有效地使用网络。

尤其是，本发明的方法适用于诸如IMT 2000的无线移动通信。还有，能够对由移动终端所获得的视频邮件图像进行有效的编码。即，对视频邮件图像进行编码使其具有小的大小，而不会造成重要信息的丢失，以降低费用。

尽管参照特定的优选实施例对本发明进行了显示和描述，但是对于本领域技术人员，在不偏离本发明的权利要求书所定义的精神和范围的情况下，显然可以有各种形式上或细节上的变化。

上述的实施例和优点仅是示例性的，并不认为是对本发明的限定。本发明的技术教导可以适用于其他类型的设备。本发明的描述仅是说明性的，它并不限制权利要求的范围。对于本技术领域人员，显然可以有各种替换、改进和变化。

Claims (20)

1.在以宏块为单位进行视频编码和传输的系统中，一种基于对象的比特率控制方法，包括以下步骤：

对从图像中分离出的对象中包含的至少一个宏块赋予重要性值；以及

当网络的比特率低时，对超过预定重要性值的宏块进行编码和传输。

2.根据权利要求1的方法，其特征在于，不对低于预定重要性值的宏块进行编码，而是设定为非编码块。

3.根据权利要求1的方法，其特征在于，所述超过预定重要性值的宏块包含在对象的用户区域中，其中所述对象被划分为用户区域和背景区域。

4.根据权利要求3的方法，其特征在于，所述用户区域还包含边界区域。

5.根据权利要求3的方法，其特征在于，所述用户区域包括人体、面部、眼睛、鼻、嘴或者它们的选择性组合。

6.根据权利要求1的方法，其特征在于，包含在用户区域中的宏块比包含在背景区域中的宏块具有更高的重要性。

7.在以宏块为单位进行视频编码和传输的系统中，一种基于对象的比特率控制方法，包括以下步骤：

根据赋予从图像分离出来的对象中包含的至少一个宏块的重要性值，设定非编码块；

当网络的比特率低时，不对具有较低重要性值的宏块进行传输；

当网络的比特率低时，对具有较高重要性值的宏块进行编码和传输。

8.根据权利要求7的方法，其特征在于，设定为非编码块的宏块比未设定为非编码块的宏块具有更低的重要性。

9.在以宏块为单位进行视频编码和传输的系统中，一种基于对象的比特率控制方法，包括以下步骤：

对从图像中分离出的对象中包含的至少一个宏块施加重要性值；

设定网络状态；

当网络状态为差时，将具有低重要性的区域设定为非编码块；

当网络状态为差时，对未设定为非编码块的宏块进行编码和传输。

10.根据权利要求9的方法，还包括以下步骤：在确定非编码块的设定状态的步骤之前，根据来自输出终端的网络状态信息分配目标比特。

11.根据权利要求9的方法，其特征在于，所述未设定为非编码块的宏块包含在对象的用户区域中，其中所述的对象被划分为用户区域和背景区域。

12.根据权利要求9的方法，其特征在于，所述未设定为非编码块的宏块比设定为非编码块的宏块具有更高的重要性。

13.根据权利要求9的方法，其特征在于，使用对象分离方法从图像中分离对象。

14.一种用于以宏块为单位进行视频编码和传输的基于对象的比特率控制系统，包括：

用于从图像中分离目标区域的装置；

用于向从图像中分离出来的对象中包含的至少一个宏块施加重要性值的装置；以及

用于当网络的比特率低时对超过预定重要性值的宏块进行编码和传输的装置。

15.根据权利要求14的系统，其特征在于，不对低于预定重要性值的宏块进行编码，而是设定为非编码块，并且所述超过预定重要性值的宏块包含在对象的用户区域中，其中所述的对象被划分为用户区域和背景区域。

16.一种用于以宏块为单位进行视频编码和传输的基于对象的比特率控制系统，包括：

基于施加在包含在从图像中分离出来的对象中至少一个宏块上的重要性，设定非编码块的装置；

当网络的比特率为低时，不对具有较低重要性的宏块进行传输的装置；

当网络的比特率为低时，对具有较高重要性的宏块进行编码和传输的装置。

17.根据权利要求16的系统，还包括用不是初始背景区域的静止图像代替具有较低重要性的区域、并且自动将该静止图像设定为非编码块的装置，其中，代替具有较低重要性区域的静止图像是由用户或者系统选定的图像。

18.一种用于以宏块为单位进行视频编码和传输的基于对象的比特率控制系统，包括：

对从图像中分离出的对象中包含的至少一个宏块施加重要性值的装置；

设定网络状态的装置；

当网络状态为差时，将具有低重要性的区域设定为非编码块的装置；以及

当网络状态为差时，对未设定为非编码块的宏块进行编码和传输的装置。

19.根据权利要求18的系统，还包括在确定非编码块的设定状态之前根据来自输出终端的网络状态信息分配目标比特的装置。

20.根据权利要求18的方法，其特征在于，所述未设定为非编码块的宏块包含在对象的用户区域中，其中所述对象划分为用户区域和背景区域，此类宏块比设定为非编码块的宏块具有更高的重要性。

Images