CN101523920B

CN101523920B - 在视频操作期间使用网络抽象层单元以信号方式指示即时解码刷新的方法

Info

Publication number: CN101523920B
Application number: CN2007800382324A
Authority: CN
Inventors: 普尔温·比贝哈斯·潘迪特; 苏叶平; 尹鹏
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS; International Digital Madison Patent Holding SAS
Priority date: 2006-10-16
Filing date: 2007-10-16
Publication date: 2013-12-04
Anticipated expiration: 2027-10-16
Also published as: KR101385808B1; WO2008048605B1; KR20090077918A; CN101523920A; EP2077037A2; WO2008048605A2; BRPI0719536A2; JP2010507339A; JP5342445B2; US20100002761A1; WO2008048605A3

Abstract

本发明提供了一种存储器管理技术，用于对与多视图编码的视频画面系统相关联的参考画面进行存储的存储器进行存储器管理。基于与即时刷新解码画面的编码的画面信息一起接收的信息(620)，确定(625)删除与特定视图相关联的参考画面，其中要从存储器中删除(630)这样的画面。

Description

在视频操作期间使用网络抽象层单元以信号方式指示即时解码刷新的方法

相关申请的交叉引用

本申请要求于2006年10月16日提交的序列号为No.60/851,953的美国临时申请的优先权，其全部公开一并在此作为参考。

技术领域

本发明涉及运动画面领域，尤其是用于对运动画面进行编码的参考画面的存储问题。

背景技术

许多帧间编码系统采用参考画面，使用这样的参考画面有助于减小编码比特流的大小。这种类型的结果是编码效率比单独使用帧内编码技术的编码效率要高。因而许多编码标准结合了帧内和帧间编码技术以对来自一系列运动图像的比特流进行编码。如现有技术已知的，使用不同类型的参考画面用于编码标准，如仅通过使用画面自身内的元素来编码的“I”画面(帧内)、通过使用来自画面自身内的元素和/或来自两个先前编码的参考画面的元素来编码的“B”画面(帧间)、以及通过使用来自画面自身内的元素和/或来自一个先前参考画面的元素而编码的“P”画面(帧间)。“B”和“P”画面都可以使用多个参考画面，然而这两种类型画面的差别是：“B”允许使用其中每块至多两个运动补偿预测信号的帧间预测，而“P”仅允许对于每个预测的块使用一个预测信号。

因此，在对“B ”或“P”画面进行编码和/或解码时，这样的画面依赖于其他参考帧，使得可以在解码操作期间正确编码或构造这样的画面。编码/解码系统应该提供某种类型的存储器位置，以便存储参考画面，而根据这些参考画面来编码或解码其他画面。显然，一段时间之后，参考画面不能用于编码操作，这是因为不再有要编码的画面在未来的编码操作期间使用该参考画面。

尽管可以将所有参考画面永久地存储在存储器设备中，然而这样的解决方案对存储器资源的使用效率较低。因此，如现有技术已知的，在对存储有参考画面的存储器设备进行操作，以(通过丢弃不必要的参考画面)帮助减小这样的参考画面所需的空间的情况下，可以使用例如先入先出(FIFO)或后入先出(LIFO)存储器操作的存储器技术。然而，在考虑使用多视图(multiview)编码系统(其中所编码和/或解码的画面具有时间上和视图上的相互关系)时，这样的存储器操作可能产生不期望的结果。这就是说，多视图编码系统引入了具有运动画面的多个视图的方面，其中每个视图表示相应对象/场景的不同视图。现在，在对与两个不同视图相关联的画面进行编码或解码时，可以使用参考画面。

例如，图1表示在多视图视频编码系统中使用的参考画面结构的示例实施例。具体地，所示结构属于：根据在A.Vetro，Y.Su，H.Kimata，A.Smolic，“Joint Multiview Video Model(JMVM)1.0”，JVT-T208.doc，Klagenfurt，Austria，July，2006中提出的多视图编码(MVC)方案来在时刻(T0-T100)使用8个不同视图(S0-S7)。这种多视图编码标准基于在高级视频编码(AVC)标准(G Sullivan，T.Wiegand，A.Luthra，“Draft of Version 4 of H.264/AVC(ITU-T Recommendation H.264 andISO/IEC 14496-10(MPEG-4 part 10)Advanced Video Coding)”，Palmade Mallorca，ES 18-22，October 2004)中的编码。这两种编码之间较大差别在于，AVC不处理编码多视图画面而MVC处理编码多视频画面。

返回参考图1，可以看出，例如，在对与T1处的视图S1相关联的画面进行编码时，要编码的画面与来自相同视图(T0处的S1和T2处的S1)的画面(参考画面)相关，并且，要编码的画面与来自不同视图(T1处的S0和T1处的S2)的画面相关。因此，在对与S1、T1相关联的画面进行编码时，可以将参考画面(T0处的S1、T2处的S1、T1处的S0以及T1处的S2)保存在存储器设备(如缓冲器、寄存器、RAM等)中，在存储器设备中将这样的解码画面存储在被称为解码画面缓冲器(DPB)的设备中。

一种对DPB中的参考画面进行管理的方式是使用语法元素(命令)来清除DPB的一部分，其中可以外部产生所述语法元素并将其传送至编码器。在AVC规范中，可以使用网络抽象层(network abstractlayer，NAL)，其中在NAL中插入命令以指示即时解码刷新(IDR)，即时解码刷新(IDR)用于指示DPB中所有存储的参考画面都“未用于参考”。这意味着，应该在接收到IDR之后，将DPB中的所有参考画面最终去除。IDR画面可以做到这一点是因为IDR画面与依赖于帧内编码(不是帧间编码)的“I”或“SI”画面(图像条)相关联。因此，典型地，编码的画面序列中的第一画面是IDR画面。

然而，在处理MVC编码情况(其中可能需要对多个视图进行编码)的问题时，当前的IDR实现效率较低。例如，假设视图S0是AVC兼容视图。如果在视图S0中的时刻T16处存在AVC兼容的ID画面，则不清楚是否应该仅将视图S0中的参考画面标记为“未用于参考”。这就是说，在与AVC和MAC的IDR画面相关联的当前原理下，DPB中任何视图的所有存储的参考画面都将被标记为“未用于参考”并从DPB中去除，而这并不是期望的结果。

发明内容

本原理解决了现有技术的这些和其他缺点和不足，本原理的目的是提出一种重新使用可用的运动信息作为用于视频编码的运动估计预测信息的方法和设备。

根据本原理的以方面，提供了一种在多视图视频编码环境下使用的编码器，在解码画面缓冲器上执行存储器管理操作，其中这样的存储器管理操作将基于控制信息来去除与特定视图相关联的参考画面。

根据以下结合附图来阅读的示例实施例的详细描述，本原理的这些和其他方面、特征以及优点将变得显而易见。

附图说明

根据以下示例性附图将更好地理解本原理，附图中：

图1表示在不同时刻视频画面视图的多视图编码的示例实施例，其中以图中所示的方式，使用参考画面来对这种视频画面进行编码。

图2表示根据本发明原理的用于指定NAL单元的代码的实施例。

图3表示根据本发明原理而使用的语法元素ref_pic_list_reordering()的伪代码的实施例。

图4表示根据本发明原理的而使用的语法元素mark_view_only()的伪代码的实施例。

图5公开了根据本发明原理的要使用的编码系统的示例实施例。

图6是根据本发明原理的使用IDR画面来进行编码的示例实施例。

具体实施方式

本发明原理可以应用于任何基于帧内和帧间的编码标准。贯穿本说明书所使用的术语“画面”一般性术语以及术语“画面”本身，其中所述一般性术语用于描述现有技术中称为“帧”、“场”以及“图像条”的各种形式的视频图像信息。应注意，尽管术语画面用于表示各种元素视频信息，然而AVC是指图像条的使用，其中这样的参考画面可以使用来自相同画面的图像条作为“参考画面”，并且，不管如何对画面进行子划分，本发明的原理均适用。

如在AVC中定义的，以下结合被称作网络抽象层的元素来典型地描述本发明的原理。应理解，本发明的原理还适用于多种格式，使用这些格式来传输数据，如数据分组(包括首部和有效载荷)、将数据和控制分组进行交织的比特流等等。

在本发明的描述中，将参考画面定义为用于对画面进行编码的编码的视频画面信息。在许多视频编码系统的操作中，将参考画面存储在如DPB之类的存储器中。为了对保存或删除哪些参考画面加以全面管理，DPB使用被称作存储器管理命令操作(MMCO)的命令，该存储器管理命令操作(MMCO)用于(典型地，由编码器)将存储器状态分配给所存储的参考画面。例如，用于AVC/MVC编码器的存储器状态包括以下项目：短期参考画面、长期参考画面或标记为未用作参考画面的画面(在这样的情况下，如果DPB需要存储器，则将丢弃参考画面)。随着更多画面被编码，所存储的参考画面的状态可以改变，例如，对于在编码一幅画面时被指定为短期的参考画面，在编码第二画面时可以将其标识为长期参考画面。

此外，在本发明的描述中，在图中详细描述了使用C语言格式化类型的各种命令(语法元素)，图中针对这样的命令中的描述符使用以下命名法：

u(n)：使用n个比特的无符号整数。当n是语法表中的“v”时，比特数以依赖于其他语法元素值的方式而变化。利用函数read_bits(n)的返回值来指定该描述符的解析过程，将函数read_bits(n)的返回值解释为无符号整数的二进制表示，其中首先写入最有效的比特。

ue(v)：无符号整数Exp-Golomb-coded语法元素，其中首先是左边的比特。

se(v)：有符号整数Exp-Golomb-coded语法元素，其中首先是左边的比特。

C：表示语法元素所适用的类别，即特定字段应当适用至何水平。

本描述说明了本原理。从而将认识到，本领域技术人员将能够设计出各种布置，尽管此处未明确描述，但是这些布置实现了本原理并且包含在本原理的精神和范围之内。

这里阐述的所有示例和条件语言是为了教导的目的，以帮助读者理解本发明的原理以及发明人为了改进现有技术而贡献的概念，这些应被解释为并非将本发明局限于这样具体阐述的示例和条件。

此外，这里阐述本发明的原理、方面和实施例以及其具体示例的所有表述应包括其结构和功能的等效物。此外，这样的等效物应包括当前已知的等效物以及未来开发的等效物，即开发出的执行相同功能的任何元件，而不论其结构如何。

图2公开了在AVC中使用的用于NAL的语法，其中，如图所示，AVC兼容的比特流包含使用NAL单元类型1或5的编码画面。MVC编码的画面针对编码画面使用NAL单元类型20和21。NAL单元类型1和20都表示针对相应视频编码标准的非IDR画面(图像条)，而NAL单元类型5和21表示IDR画面。当编码器接收到(例如在比特流中)NAL中的单元类型5或21时，编码器将存储在DBP中的参考画面的状态改变为“未用于参考”。

在本发明的实施例中，提出与NAL一起使用被称作后缀(suffix)NAL单元的NAL单元。后缀NAL单元被定义为按解码顺序跟随另一NAL单元的NAL单元，并且包含前一NAL单元的描述性信息，所述前一NAL单元被称作关联NAL单元。优选地，后缀NAL单元紧随关联NAL单元。

如进一步限定的，后缀NAL单元应具有等于20或21的nal_ref_idc。当svc_mvc_flag等于0时，后缀NAL单元应具有均等于0的dependency_id和quality_level，并且不应包含编码的图像条。当svc_mvc_flag等于1时，后缀NAL将具有等于0的view_level，并且不应包含编码的画面信息(图像条)，但是可以包含控制信息。后缀NAL单元与关联NAL单元属于相同的编码画面。

图3示出了后缀NAL单元的语法，定义了slice_layer_in_svc_mvc_extension_rbsp()函数的结构。MVC兼容的编码器能够使用该后缀NAL单元，以提取存在于该NAL单元中的信息，从而得到与关联NAL单元有关的信息，并采取适当的动作。

因此，提出了新的语法，其中在后缀NAL单元中，存在信息用于指示哪个视图应该受IDR调用的影响。这就是说，新的语法将允许将针对所关联的视图的所存储的参考画面(DPB中)标记为“未用于参考”，而针对另一视图的所存储的参考画面保持其存储状态。

在本发明的实施例中提出并且在图4中示出了语法元素mark_view_only，该语法元素指定了IDR画面对DPB的行为。当后缀NAL单元中的mark_view_only等于1时，将存在于DPB中的、与同存在于相同后缀NAL单元中的view_id相关联的视图相关联的所有参考画面标记为“未用于参考”。当mark_view_only等于0时，将存在于DPB中的所有参考画面标记为“未用于参考”。

在本发明的可选实施例中，当IDR画面存在于MVC NAL单元(类型21)中时，提出加以以下限制：该IDR画面仅将其自身视图中的画面标记为未用于参考。

在另一可选实施例中，可以开发前缀(prefix)NAL单元，将在关联NAL单元之前传输这种前缀NAL单元。在另一可选实施例中，可以将用于选择IDR要关联的特定视图的上述类型的命令封装在具有其中可以定义用户数据的NAL单元的任何地方，以根据本发明的原理来附加命令。

还应理解，在本发明的可选实施例中提出，可以在比特流内部署控制分组本身，其中使用这样的分组来指示应该将哪些参考画面标记为“未用于参考”。具体地，控制分组将包含如remove_reference_view(或与这种所提出的命令相类似的命令)之类的语法，其中与该命令相关联的值指示从DPB去除哪些所存储的参考画面(经由相关联的视图)。

同时，可以将这种语法开发为提供控制字，所述控制字指示应该从DPB去除哪个或哪些视图。例如，如果视频序列具有与其相关联的八个视图(从视图0开始)，则将根据八比特值(如(11001101))来定义用于去除与视图(从视图0开始)1、4和5相关联的参考画面的值。从左至右导出这样的值；对视图0给定值“1”，要保存与视图0相关联的参考画面。针对视图1向右移动，对视图1给定值“0”。因此，在本发明的实施例中，DPB将去除DPB中与视图1相关联的所有参考画面。可以认识到，根据本实施例的原理，本领域技术人员可以实现其他命令和值。

图5公开了根据本发明的原理要使用的编码系统的示例实施例。在图5中简化版本的框图500中，示出了编码器505、编码缓冲器510、以及解码画面缓冲器515以及数据格式化器520之间的操作。在编码操作(编码或解码)期间，编码器505当前正在编码的画面存在于编码缓冲器510中，而先前编码的参考画面存储于解码画面缓冲器515中。如之前所公开的，AVC公开了被称作存储器管理控制操作(MMCO)的使用命令，该命令允许编码器505指定应当如何维持解码器画面缓冲器515中的参考画面。这就是说，在对画面进行编码时，将这样的MMCO输入至当前正在编码的画面的首部中，以指定应该利用在该画面之前到来的参考画面来做什么。该操作被称作“标记”。然后，将来编码器505可以使用这些命令，以确定应该利用存在于解码器画面缓冲器515中的参考画面来做什么。应注意，尽管术语画面用于表示各种元素视频信息，然而AVC是指图像条的使用，其中这样的参考画面可以使用来自相同画面的图像条作为“参考画面”，并且，不管如何对画面进行子划分，本发明的原理均适用。

一旦编码了画面，则可以将其作为比特流的一部分来发送，其中使用数据格式化器520将这样的数据格式化为比特流，以通过数据网络来传输。优选地，以NAL单元的形式来传输数据，其中在传送流(如IP分组、或MPEG-2传送流等)中进一步传输所述NAL单元，其中数据格式化器520以传送分组的形式来传输NAL单元。因此，数据格式化器520可以将编码的画面信息以及上述命令作为NAL单元来传输，其中这样的NAL单元可以是前缀和/或后缀NAL单元。此外，数据格式化器520可以将IDR信息命令添加到NAL单元的任何用户可定义部分中。还应理解，数据格式化器520还可以将上述数据命令放入数据分组的首部中、数据分组的有效载荷中、或放入传送分组的其组合中。

在本发明的示例实施例中，数据格式化器520能够接收传送分组的编码比特流，以及将所接收的数据格式化为NAL单元，编码器505能够将所述NAL单元解码为解码视频画面数据的形式(以构造运动画面序列)。这就是说，数据格式化器520可以读取NAL单元，以确定哪些画面表示IDR画面，和/或编码器505是用于读取NAL数据以将与特定视图相关联的参考画面的单元标记为“未用于参考”的单元。因此，编码器505在这种可选实施例中操作，编码器505用于对所接收的比特流进行解码，其中将根据关于AVC和MVC视频编码标准而定义的方式来使用编码画面缓冲器510和解码画面缓冲器515。

图6是在流程图600中公开的本发明示例实施例，该实施例是一种使用IDR画面的方法。在步骤605，使用编码器505来处理要编码的画面的画面数据。在对画面数据进行编码时，编码器505在步骤610中添加命令，所述命令指定正在编码的画面是否表示即时解码刷新画面。该命令的一部分指示该画面(如果该画面是IDR)是否将影响所存储的(或要存储在DPB 515中的)所有参考画面，或是否要将与特定视图相关联的所存储的参考画面标记为“未用于参考”。

数据格式化器520在步骤610中使用由编码器产生的命令，并在步骤615中，使用NAL(优选地，使用如上所述的后缀NAL，尽管根据本发明的原理可以使用其他传输格式)来传输这样的IDR命令。

在步骤620，类似的数据格式化器520接收编码的数据流，其中数据格式化器读取NAL，以确定所接收的NAL是否表示IDR，以及(由视图所标识的)所存储的哪些参考画面将受到IDR操作的影响。在步骤625，编码器505在对来自所接收的关联NAL的编码的画面信息进行解码时(在优选实施例中)实现IDR命令，以便如后缀NAL中由视图所标识的，将所存储的参考画面标记为“未用于参考”。在步骤630，DPB 515实现这样的命令并将在IDR命令中选择的所存储的参考画面标记为“未用于参考”，在该步骤中，DPB 515将最终去除这样的参考画面。

因此，例如，本领域技术人员应理解，这里呈现的框图表示了实现本发明原理的示意电路图的概念视图。类似地，可以认识到，任何流程图、流程图表、状态转移图、伪代码等表示了各种过程，所述过程可以被实质上表示在计算机可读介质中，并从而由计算机或处理器执行，而不论是否显式地示出了这样的计算机或处理器。

可以通过使用专用硬件以及能够与合适的软件相关联地执行软件的硬件，来提供图中所示的各种元件的功能。在由处理器提供时，可以由单个专用处理器、单个共享处理器或多个单处理器(其中一些可以是共享的)来提供该功能。此外，显式使用的术语“处理器”或“控制器”不应被解释为是排他性地指能够执行软件的硬件，可以隐含地包括但不限于：数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、和永久存储器。

也可以包括其他硬件，不论其为传统的和/或常规的。类似地，图中所示的任何开关仅是概念性的。可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互，或甚至手动地实施其功能，如从上下文中可以更具体地理解的，实现者可以选择特定的技术。

在权利要求书中，表述为用于执行指定功能的装置的任何元件应包含执行该功能的任何方式，例如包括a)执行该功能的电路元件的结合或者b)任何形式的软件，从而包括固件、微代码等，与执行该软件的适当电路相结合来执行该功能。由这样的权利要求所限定的本发明在于以下事实：以权利要求所要求保护的方式，将各种所述装置所提供的功能结合并集合在一起。因此，应认为可以提供这些功能的任何装置都与这样所示的装置等效。

说明书中对本原理的“一个实施例”或“实施例”的引用意味着，结合实施例所描述的具体特征、结构、特性等包含在本原理的至少一个实施例中。因此，贯穿说明书各处出现的短语“在一个实施例中”或“在实施例中”的出现不一定全部指的是同一实施例。

本领域技术人员根据这里的教导可以容易地确定本原理的这些和其他特征以及优点。应理解，可以以各种形式的硬件、软件、固件、专用处理器或其组合来实现本原理的教导。

更优选地，将本发明的教导实现为硬件和软件的组合。此外，可以将软件实现为在程序存储单元上确实实现的应用程序。可以将应用程序加载至包括任何合适体系结构的机器并由其执行。优选地，在具有如一个或更多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)以及输入/输出(“I/O”)接口之类的硬件的计算机平台上实现所述机器。计算机平台还可以包括操作系统和微指令代码。这里所描述的各种过程和功能可以是由CPU来执行的微指令代码的一部分或应用程序的一部分或其任何组合。此外，可以将各种其他外围单元连接到计算机平台，如附加数据存储单元和打印单元。

还将理解，因为附图中所描述的一些系统组成组件和方法优选地是以软件来实现的，所以系统组件或处理功能模块之间的实际连接可能依对本原理进行编程的方式的不同而不同。在这里所给出的教导的情况下，本领域技术人员将能够想到本原理的这些和类似的实现或配置。

尽管这里参考附图描述了示意实施例，然而应理解，本原理不限于这些具体实施例，在不脱离本原理的精神和范围的前提下，本领域技术人员可以对本原理进行各种改变和修改。所有这些改变和修改应包括在所附权利要求所阐述的本原理的范围之内。

Claims

1.一种对与运动画面的多视图序列相对应的视频数据进行编码的方法，其中，多视图序列中的视图与不同的视点和/或不同的获取时间相对应，所述方法包括以下步骤:

对与视频画面相对应的视频信息进行编码(605)，其中所述视频画面与所述多视图序列中的第一视图相对应，并与所述多视图序列中的第二视图的至少一个画面相关，其中，所述第一视图与所述第二视图不同;

产生(610)信息，所述信息指示是否要删除所述多视图序列中的所述第二视图的至少一个所存储的参考画面，其中，保存与所述第一视图相关联的任何参考画面。

2.根据权利要求1所述的方法，还包括以下步骤:

传输编码后的所述视频信息以及所产生的所述信息，

其中，所述传输步骤使用第一网络抽象层NAL单元来传输编码后的所述视频信息，并使用第二NAL单元来传输所产生的所述信息。

3.根据权利要求2所述的方法，其中，所述第一NAL单元是关联NAL单元，所述第二NAL是后缀NAL单元。

4.根据权利要求2所述的方法，其中，所述传输步骤在传送分组的有效载荷中传输编码后的所述视频信息以及指示要删除所述第二视图的至少一个所存储的参考画面的所述信息。

5.根据权利要求1所述的方法，其中，指示是否要将所述第二视图的所存储的参考画面删除的所述信息将这样的参考画面标记为“未用于参考”。

6.根据权利要求1所述的方法，其中，还产生并传输另外的信息，所述另外的信息指示是否应当删除第三视图的至少一个所存储的参考画面，所述第三视图与所述第一视图和所述第二视图不同。

7.一种对表示多视图序列的编码的视频画面的接收比特流进行解码的方法，其中，多视图序列中的视图与不同的视点和/或不同的获取时间相对应，所述方法包括以下步骤:

处理(620)所述比特流中的信息，以对与所述多视图序列中的第一视图相关联的编码的视频画面信息进行解码，所述视频画面信息与所述多视图序列中的第二视图的至少一个画面相关，其中，所述第一视图与所述第二视图不同;

其特征在于:

确定(625)所述比特流中是否存在要求删除与所述多视图序列中的所述第二视图相关联的至少一个所存储的参考画面的所述信息，其中，保存与所述第一视图相关联的任何参考画面。

8.根据权利要求7所述的方法，还包括以下步骤:

从存储器中删除与所述第二视图相关联的所述至少一个参考画面。

9.根据权利要求8所述的方法，其中，在所述至少一个参考画面被表示为“未用于参考”的情况下执行所述删除步骤。

10.根据权利要求8所述的方法，还包括以下步骤:

在所述存储器中保留与来自存储器的第三视图相关联的至少一个参考画面，其中所述第一视图、所述第二视图和所述第三视图表示不同的视图。

11.根据权利要求10所述的方法，其中，所述存储器是解码画面缓冲器。

12.根据权利要求7所述的方法，其中，所述信息指示所述编码的画面是即时刷新解码画面，并且，所述编码的画面是即时刷新解码画面。