CN105791841A - 用于多层视频系统的复杂度自适应可伸缩解码及流处理 - Google Patents

Abstract

描述了自适应解码、流处理多层视频系统及方法。该解码系统包括基本层解码器和一个或更多个增强层解码器。该流处理系统包括基本层打包器和一个或更多个增强层打包器。解码适配器控制基本层解码器和/或增强层解码器的操作。打包适配器控制基本层打包器和/或增强层打包器的操作。

Description

用于多层视频系统的复杂度自适应可伸缩解码及流处理

本申请是申请日为2011年1月3日、申请号为“201180005589.9”、发明名称为“用于多层视频系统的复杂度自适应可伸缩解码及流处理”的发明专利申请的分案申请。

相关申请的交叉引用

本申请要求于2010年1月6日提交的美国专利临时申请No.61/292,741的优先权，其全部内容通过引用合并到本申请中。

技术领域

本公开内容涉及多层视频系统。更具体地，本公开内容涉及用于多层视频系统的复杂度自适应可伸缩解码及流处理。

背景技术

近年来，出现了考虑用于视频媒介的传输的多层方法的若干应用及系统。这些应用及系统可以包括SNR或分辨率、或时间可伸缩系统，并且还可以包括多视点或3D/立体视频、位深与高动态范围(HDR)应用等。这些应用或系统可能需要大量的计算资源来解码，或可能在传输期间受到网络中的带宽变化的影响。

立体视频的传输是内容提供商的一贯目标。显示技术的最新创新如具有3D功能的DLP(见参考文献1，其全部内容通过引用合并到本申请中)，和诸如三菱及三星的等离子显示器的等离子显示器，增加了开发用于传输立体视频的有效技术的紧迫性。

附图说明

图1A和图1B示出了3D视频解码框架的系统概况。

图2A和图2B示出了根据本公开内容的示教的可伸缩解码架构的框图。

图3示出了根据本公开内容的实施方式的完全解码模式(FDM-0)。

图4示出了图片的解码依赖性。

图5示出了根据本公开内容的另外的解码模式(FDM-1)。

图6示出了根据本公开内容的另一解码模式(FDM-2)。

图7示出了根据本公开内容的再一解码模式(FDM-3)。

图8示出了图7的解码模式的省略简化。

图9示出了根据本公开内容的又一解码模式4(FDM-4)。

图10示出了图9的解码模式的省略简化。

图11示出了根据本公开内容的示教的可伸缩解码算法。

图12示出了用于说明本公开内容的示教的操作模式的高级语言程序。

图13示出了根据本公开内容的另外的实施方式的可伸缩的打包架构的框图。

具体实施方式

根据第一实施方式，提供了一种自适应解码多层视频系统，包括：基本层解码器；一个或更多个增强层解码器；以及与所述基本层解码器和所述一个或更多个增强层解码器连接的解码适配器，所述解码适配器控制所述基本层解码器和所述一个或更多个增强层解码器的操作。

根据第二实施方式，提供了一种用于多层视频系统的自适应解码的方法，包括：读取视频信息；基于先前解码的视频信息的解码时间来针对所述视频信息从多个解码模式中选择解码模式；根据所选择的解码模式对所述多层系统的一个或更多个层的视频信息进行解码；在每次解码后，更新所述先前解码的视频信息的解码时间；以及如果可获得更多的视频信息，则重复上述读取、选择和解码步骤。

根据第三实施方式，提供了一种适于通过网络将视频打包发送到客户端的自适应多层视频服务器，包括：基本层视频打包器；一个或更多个增强层视频打包器；以及与所述基本层视频打包器和所述一个或更多个增强层视频打包器连接的打包适配器，所述打包适配器控制所述基本层视频打包器和所述一个或更多个增强层视频打包器的操作。

在本申请的说明书、附图和权利要求中提供了本公开内容的其它实施方式。

图1A和图1B示出了解码系统的概况，其示出了基本层解码器和增强层解码器。采用图1A的解码系统的示例性架构是MPEG-4AVC/H.264标准的SHP规范(StereoHighProfile)。该规范是在标准规格中添加了立体视频支持的、MPEG-4AVC的多视点视频编码(MVC)扩展的特殊情况。参见，例如参考文献2，其全部内容通过引用合并到本申请中。采用图1B的解码系统的示例性架构是杜比的帧兼容全分辨率(FCFR)系统。参见，例如，于2009年4月20日提交的题为“DirectedInterpolationandDataPostprocessing”的美国临时专利申请No.61/170,995，以及于2009年7月4日提交的题为“EncodingandDecodingArchitecturesforFormatCompatible3DVideoDelivery”的美国临时专利申请No.61/223,027，两者的全部内容通过引用合并到本申请中。在MPEG-4AVCSHP中，每个视点被存储在单独的层中。杜比FCFR的基本层存储来自每个视点的一半数量的样本，并且可以通过不同的交叉存取方法来构造，如棋盘和并排交叉存储等。增强层提供两个视点的残余信息(针对每个视点的另一半样本)。该解码系统将组合来自两个层的图片输出以生成全分辨率的两个视点。

在图1B的系统中，示出了参考处理单元(RPU)。RPU处理来自基本层的输出图片以生成高质量的参考，该参考随后可以用于增强层的运动补偿预测。还可以包括也在图1B中示出的后处理单元。在3D应用示例中，后处理单元可以通过组合两个解码器的输出来产生每个视点的全分辨率图片。

本公开内容的实施方式涉及随后参考图13讨论的复杂度自适应解码与流处理技术。如上面已经提到的，这些技术可以用于，例如，从高端到低端的处理系统范围内的各种平台上的3D视频流编码系统的实时回放和流处理。本公开内容的示教可以应用到其它类似的可伸缩方案(诸如由如Sensio和Real-D等公司提出的3D方案)或使用类似的可伸缩概念的其它方案。本领域的普通技术人员还应当理解，本公开内容的示教不限于3D应用，而且可以包括质量可伸缩系统、位深可伸缩性，除此之外还包括高动态范围的可伸缩方案等。

本公开内容的另外的应用涉及穿过异质和变化的网络的无缝视频流，如在参考文献3到参考文献5中所描述的那些，其全部内容通过引用合并到本申请中。

根据本公开内容的若干实施方式，提供了复杂度度量与自适应机制。图2A和图2B示出了控制基本层解码器、RPU和增强层解码器的操作的解码自适应模块。在图2A的实施方式中，示出了基本层解码器和一个或更多个增强层解码器。在图2B的实施方式中，还考虑了RPU的存在。

具体地，针对每个基本层解码器和增强层解码器，解码自适应模块能够使能完全解码模式、简化的解码模式，或甚至使能跳过所有模式。类似地，对于RPU，解码自适应模块能够使能完全滤波、部分滤波或完全跳过RPU步骤。

图2A和图2B的解码自适应模块适于从所有其它块(如基本解码器、增强解码器和RPU)接收反馈。传递到解码自适应模块的信息可以包括关于解码复杂度、块或编码单元之间的依赖性(通过比特流分析或甚至可能存在于比特流中的元数据)的信息，以及关于电源使用和视频质量的信息。质量因素可以包括目前为止引入的失真以及如果稍后做出某些决定可能引起的失真。所有这些信息都在模块中进行处理以进行解码自适应，从而决定哪个模块应该受到了影响以及受到多大的影响。参考流处理实施方式可以做出类似的考虑(包括网络特性)，如稍后参考图13所讨论的。

在以下段落所示的示例中，考虑了具有不同复杂度的六种不同解码模式。但是，本领域普通技术人员应当理解，可以考虑任何数量的不同解码模式。尽管以下附图的示例示出了一个增强层和一个RPU，但是本领域普通技术人员应当理解，RPU是可选的，并且如果期望，可以设置有不止一个增强层。

图3示出了解码模式的第一示例，其中，将计算最复杂的模式(也称为完全解码模式)应用于基本层和增强层两者。在本公开内容全文中，这种模式将被称为FDM-0。当使用快速解码模式时，图片质量会降低，但是在这种情况下，质量的损失是受控的。

图4示出了解码过程中的图片依赖性。作为示例，可自由使用的双向预测图片(B)依赖于预测图片(P)，但是不用作参考，因此，在对这些图片进行解码时所发生的错误不会影响其它图片的解码过程。P图片可以用作参考图片以接替P图片和B图片。P图片中的错误将传播到依赖于其的后面的P图片和B图片，甚至更糟，这种错误将在整个图片组(GOP)内传播。此处注意，B编码图片可以是可自由使用的但也可以用作针对运动补偿预测的参考(在本示意图中标记为RB图片)。这对于帧内编码图片(I)或单向预测编码图片(P)也是正确的。尽管在过去的编码标准中，I与P总是用作参考并且B图片被视为可自由使用的，但是在MPEG-4AVC/H.264中，不再是这种情况。任何类型的图片均可以被标识为可自由使用的。

通常可以独立地解码的两个帧内(I)编码的图片之间的图像一般被认为属于单个GOP。在MPEG-4AVC中，帧内编码的图片可能必须是即时解码器刷新(IDR)图片，或被标识为随机存取单元。结果，对于所示的示例编码结构，P图片比B编码的图片更重要。如果使用具有固定或自适应GOP的层级编码结构，则可以存在类似的依赖性。

因此，根据本公开内容的一些实施方式，将初始尝试减小可自由使用的图片的解码复杂度。如果解码速度依然比目标解码速度慢并且当前参考图片的解码复杂度大于给定的阈值，则还依据参考图片对GOP中的将来图片的影响减小参考图片的解码复杂度。代替仅基于图片等级，还可以基于较高的等级(如GOP等级)确定解码模式。换言之，代替每次针对一张图片做出决定，系统可以每次在GOP等级或针对每N张图片做出决定。即，解码器(或稍后在图13中说明的流处理情况中的服务器)可以对复杂度性能(或流处理实施方式中的网络带宽)进行评估并且立即做出影响当前GOP中的所有这些图片的决定。即，可以这么说：可以针对所有的增强层图片跳过解块，或将不对GOP中的所有图片进行增强层的解码(或针对图13的流处理情况不传输任何增强层信息)，或甚至分析GOP中的依赖性并且基于该依赖性来确定哪些图片应当完全解码、哪些图片地部分解码(以及在何等级)或哪些图片完全不解码。在这些情况下，在全局等级做出决定。但是，这不能排除也可以在局部等级(图片或切片)处做出的额外的改良。因此，该过程可以是局部的、全局的或局部与全局的组合。

图5示出了比FDM-0模式简单的第二解码模式，该模式在本文中被称为FDM-1模式。根据这种模式，简化了增强层处的解码。通过该示例，可以简化或甚至消除非参考图片(通常是B图片)的解块过程。例如，可以通过使用比由系统指定的解块滤波机制更简单的解块滤波机制仅简化或禁用某些颜色组分的解块过程或甚至简化或禁用仅针对某些切片的解块过程，来简化该解块过程。

关于何时与如何修改解块过程的决定可以不仅取决于复杂度而且还取决于针对图片如何影响质量。该决定可基于在解码期间收集的关于图片和图片组的信息。通过示例，该决定可基于图片或切片的运动或基于标志信息(诸如向比特流中的该过程提供线索的元数据)。

通过使用图5所示的FDM-1模式，以通常很小的图片质量损失为代价，解码过程相较于FDM-0而加速。由于该模式仅影响可自由使用的非参考图片，由该简化的解码过程导致的错误不会传播给后续解码的图片。

图6示出了与FDM-1相比更简单的解码模式，该模式被称为FDM-2。根据这种模式，简化了基本层和增强层两者处的解码。通过示例的方式，简化或甚至跳过了基本层和增强层两者处的非参考图片的解块过程。尽管由于RPU提供的参考的变更可能导致增强层中的一些其它失真以及基本层中的一些失真，然而，由于这些帧没有用作任何其它图片的参考，因此在解码期间不会产生漂移。应当理解，基础层和增强层的简化方法可以不同，并且可以是上面参考FDM-1所讨论的简化方法中的任何一种。

如果解码速度略微低于目标速度，则可以使用图5和图6中示出的解码方法FDM-1和FDM-2。

图7到图10示出了两种另外的快速解码模式(称为FDM-3和FDM-4)，其可以导致解码过程的进一步简化。

图7示出了解码模式FDM-3，其中，通过在对非参考图片或可自由使用的图片解码时另外简化其残余解码过程来简化增强层。该残余解码过程包括如熵解码、逆变换和逆量化等的子过程。因此，通过简化上述一种或更多种子过程，存在可以简化该过程的不同方式。另外，可以针对不同的切片简化残余解码，其中，每个切片可以使用基于元数据或分析的不同简化方法。

在具体的实施方式中，可以跳过整个残余解码过程，如图8所示。在这种情况下，RPU过程的输出被视为增强层的输出。在3D视频编码的情况下，通过在后处理步骤中将基本层的输出与RPU单元的输出多路复用在一起，解码器将生成全分辨率的图片。

由于存储在压缩的比特流的残余部分中的一些高频信号不会与编码器侧的高频信号匹配，因此解码模式FDM-3将引入一些另外的失真。然而，将发生无错传播。此外，在使用元数据来促进简化方法或如果该简化方法是内容自适应的实施方式中可以很好地控制该错误。例如，可以基于切片等级在编码器侧测量残余解码过程简化的质量失真，并且可以将该信息嵌入到比特流中作为元数据。在解码器处，解码器可以做出使能某些简化或不根据失真信息的决定。代替失真信息，还可以设置不同切片或图片之间的依赖性，而如果考虑简化的解码方法，失真信息可以是可引入到比特流中的潜在失真的估计。在图13中稍后讨论的流处理实施方式中，可以通过不标志某些信息进行错误控制。

在不同的实施方式中，可以仅选择图片中的某些切片进行解码，或者可以在经过一定时间之后或在已对这些切片中的一定数量的宏块进行解码之后开始及停止所有切片的并行解码。针对还没有解码的残余区域，如图8所示，相反可以使用来自RPU的信号。

图9示出了另一解码模式，其在本文中被称为FDM-4模式。根据该实施方式，可以简化RPU过程、增强层解码(如残余解码和解块)和增强层处的非参考图片的后处理。具体地，该简化过程可涉及：使用与指定的插值滤波器不同的插值滤波器，不对使用昂贵的亚像素定位的一些宏块解码并恢复到RTU处理的信号，以及不对使用双向预测或加权预测等的宏块解码。可以对每个子过程或每个切片进行该简化。还可以通过使用与指定的滤波器不同的滤波器简化RPU过程。例如，可以使用较短的滤波器来代替较长的滤波器，可以使用一维滤波器替代二维滤波器，可以使用固定滤波器代替显式滤波器等。可以针对整个图片、区域(针对不同的区域可以在RPU中标志不同的滤波器)或甚至在颜色分量等级处选择这些滤波器。

图10示出图9的实施方式的特殊情况，其中，跳过了RPU过程、残余解码过程和解块过程。假设已完全跳过了增强层并且基本层属于非参考图片，则FDM-4处理还可以扩展到基本层。

在使用上面的一种或更多种实施方式依然不会产生充分的解码器复杂度或期望的流处理处理功能的情况下，上面的图和实施方式中所示的简化过程还可以扩展到参考图片。将上述实施方式扩展到参考图片的解码模式在本文中将被称为FDM-5。这是最快的解码模式并且可以用在基本层、增强层或两者上。在这种情况下，如果简化不是以受控的方式来完成，则可能发生差的伪像。例如，考虑图片处于GOP中何处、因任何解码简化将导致质量受到多远和多大的影响以及复杂度和流处理中的含义可以显著地帮助选择应该应用于该图片的过程，如果任何。一张图片(例如靠近GOP的末端)即使是参考图片，由于其质量不会传播到更多的图片，因而其相较于GOP中早先的其它图片可能更容易被舍弃。此外，期望在影响基本层中的参考图片之前作用于增强层中的参考图片(通过简化或跳过)。

具体地，当当前图片是参考图片时，将估计该图片的解码复杂度(如稍后在后续段落中所说明的)，以尽可能多地减小质量损失同时将解码速度的增加最大化。

一旦已知或估计了该图片的解码复杂度，如果没有指示图片的失真的边信息(通过例如元数据来提供)，可以如下来处理解码过程。如果该图片的解码过程的估计复杂度小于第一阈值(表示复杂度对于系统的解码能力而言是足够低的)，则在解码过程中不发生变化。否则，如果估计的复杂度高于第一阈值而低于第二阈值(表示复杂度既不是太低也不是太高)，则进行解码过程的初始简化，如解块过程的简化。另一方面，如果复杂度高于第二阈值则进行进一步的简化，如残余解码过程和解块过程的简化。

在图片等级处描述了上述实施方式。但是，可以提供不同的实施方式，其中，可以在例如为子图片等级/区域等级的切片等级处应用所有提出的解码模式。切片等级的应用可以针对参考图片和非参考图片两者进行。可以基于比特流的解码期间的先前观察、针对解码一张图片预算的平均时间以及为确保将进行解码而不超出该预算当前图片需要多少时间等，来计算用于参考图片的上述阈值。

另外，代替每次考虑单张图片或切片，如果需要，系统可以决定将多个图片分在一组并且针对这些图片联合地作出这种决定。通过跳过或减少针对多个图片的解码器复杂度的复杂度节省可以导致用于其它图片的节省，该可能对于主观质量具有比当前的节省更重要的影响。关于是否跳过多个图片的决定可以基于图片相似度，图片相似度可设置于比特流元数据中或甚至可以根据诸如比特流中可获得的运动矢量的给定比特流信息推论出来。例如，如果两个顺序的图片的运动矢量类似，则知道这些图片也会是相似的并且可以使用类似的方法一起简化(如，跳过)。

图11示出了可控地应用上述简化的可伸缩解码过程的实施方式。在读取图片后，初始地设置解码模式。将参考稍后描述的图12示出如何设置解码模式的示例。如果所选择的解码模式是最快解码模式FDM-5(如上所述，其还提供参考图片的简化)，则还对解码复杂度进行估计。如上面参考解码模式FDM-5的描述已指出的，对解码复杂度的估计和随后与阈值参数的比较允许在这种解码模式内执行简化的受控选择。然后，根据所选择的解码模式对切片、图片或GOP进行解码。然后，根据稍后将要描述的公式来更新平均解码时间。然后，重复该过程直到解码终止。

现在转到图12，将描述根据本公开内容的待使用的解码模式设置算法的示例。如果平均解码时间(DecTime_Avg)大于第一阈值T₀，则可以通过将解码模式改变成简化版本(DecMode＝DecMode+1)来减小解码复杂度。如果平均解码时间大于第二阈值T₂(T₂>T₀)(这表示当前解码非常慢)，则将解码模式设置成最简单的模式，如上面讨论的FDM-5模式(DecMode＝FDM_5)。如果平均解码时间不大于阈值T₀并且小于阈值T₁(这表示解码足够快)，则将增加解码复杂度以确保更好的图片质量。另一方面，如果平均解码时间不大于阈值T₀并且不小于阈值T₁，则将保持先前使用的解码复杂度(保持DecMode)。

在以下段落中，将讨论四个公式以更好地理解图11和图12中包含的处理。公式(1)将描述在图11的流程图中如何更新平均解码时间。另一方面，公式(2)到公式(4)将描述如何估计解码复杂度。

具体地，公式(1)描述了如何更新平均解码时间DecTime_Avg的示例。α是控制更新速度的因子，其可以取决于图片组(GOP)的长度。通过示例，α可以随着GOP长度的增加而减小。

DecTime_Avg＝LastPicDecTime·α+DecTime_Avg·(1-α)(1)

现在回到图11的解码复杂度的估计步骤，该步骤可以包括两部分。

在第一部分中，对RPU处理的复杂度进行估计。该复杂度取决于滤波器的类型和分区面积，并且例如可以通过公式(2)来计算。整个图片的RPU过程的复杂度是所有分区的复杂度之和。

${\mathrm{Complexity}}_{RPU}=\underset{i}{\Σ}Complexity\left({\mathrm{filter}}_i\right)\·Area\left({\mathrm{Partition}}_i\right)---\left(2\right)$

第二部分处理残余解码复杂度的估计。该估计取决于编码比特的数量和切片类型，并且例如可以通过经由查询表估计而由公式(3)计算。该表可以针对不同切片类型的解码时间构建，考虑到解码统计数据，上述解码时间具有相同尺寸。

${\mathrm{Complexity}}_{\mathrm{Re}sidue}=\underset{i}{\Σ}Complexity\left(type\right({\mathrm{slice}}_i),BitLength({\mathrm{slice}}_i\left)\right)---\left(3\right)$

可以在公式(4)中估计总体复杂度，其中，考虑了公式(2)和公式(3)的结果，并且其中，β是对应于RPU处理的复杂度与整个解码处理的复杂度的比率的加权因子。基于收集到的统计数据来测量。

Comlexity_picture＝Comlexity_RPU·β+Comlexity_Residue·(1-β)(4)

可以使用元数据信息(表示例如使用SEI(辅助增强信息)消息、MPEG-4或MPEG-2传输层或程序层的用户指定消息或通过用其它机制)来提供关于切片、图片或GOP的失真影响的边信息。这种附加的信息对确定如上所述的模式FDM-5的控制的可能简化是有用的。例如，解码器可以接收每个切片或图片的质量的测量、和/或图片依赖性以及任何解码器简化对质量或复杂度的影响作为元数据。给出这些信息，则解码器甚至可以针对参考图片来确定以下：如何通过仅会产生很小失真的第一影响切片来进行解码器简化的过程，同时对总体的解码器复杂度还具有明显的影响。决定可以是仅基于失真或复杂度的，但也可以基于联合决定，如，使用拉格朗日最优化方法。

应当注意，在图12的示例中，SetDecodingMode算法仅指定了基于定时的性能的而没有直接对质量进行解释。更直接地控制质量的其它实施方式也是可能的。例如，如果两种方法产生类似的解码时间节省，则可以选择产生较低失真的方法。可替代地，考虑所有将产生至少N％的复杂度减小的模式，可以联合地对它们进行评估，并且可以选择产生最佳性能J＝D+λC的模式，其中，D是引入的失真，C是复杂度以及λ是拉格朗日乘数。

可以提供附加信息，诸如哪里是安全的或不执行任何简化、GOP和预测关系等。还可以通过元数据来提供关于图片的复杂度的信息。但是，在某些情况下，必需通过分析比特流来计算或完善(在存在元数据时)复杂度。

尽管本公开内容的实施方式考虑了复杂度估计过程，但是在复杂度方面，该过程仍然可以低于执行完全解码操作的过程。

具体地，切片等级的复杂度的估计可以通过首先检查该切片占用的比特数来取得。如果复杂度不足，则仅可以进行部分或完全的熵解码。通过这样做，能够确定头信息比特对纹理比特。如果比特流包括大量的头比特(意味着存在大量的运动矢量)，则在比特流中使能的情况下表示必需对运动补偿做更多的处理以及甚至解块。另一方面，如果纹理信息很重要，则表示在解码期间针对变换与量化过程可能必需要花费大量的时间。

上述复杂度分析可以影响在本公开内容中讨论的任何层与任何模式。

为了获得图片的解码复杂度的更好估计，如果需要其它信息，则可以仅对视频的运动信息进行解码而不进行全运动补偿过程。如果对此满意，则继续进行图片的完全解码，否则可以如早前讨论的，跳过或简化所有剩余的解码步骤。

本公开内容的示教可以用于不同平台(如低端平台)上的实时解码与三维视频编码图像流。它们可以用在如视屏解码器、回放装置上以及能够显示高分辨率立体视图的一些显示装置内。

本公开内容的示教可以用在考虑网络传输带宽和客户端解码能力的视频流服务器中。图13示出了发生在视频流服务器中的过程的一般性描述。

在流处理应用中，类似于参考先前图所讨论的，服务器可以在尝试保持针对客户端的最好质量的同时采用根据反馈的打包过程，该反馈包括包丢失率和来自客户端的延迟。打包涉及以下过程：将待传递的数据分成小单元并且将每个单元封装成格式化的块(如IP包)，该格式化的块的格式对于网络传输是友好的。通信量信息由客户端返回给服务器侧的自适应模块。当包丢失率非常低时，服务器会发送所有层的所有包。另一方面，如果，包丢失率增加但是仍然很低，则服务器会首先丢弃可自由使用切片上的加强层包。如果包丢失率依然在增加，则服务器会丢弃可自由使用切片上的基本层包，并且进一步丢弃非可自由使用切片上的增强层包。因此，在图13的应用中，替代针对解码器复杂度调节比特流，在考虑比特流中的相同依赖性的同时将一些包发送给客户端(因此，减小了总体比特率和网络负载)。图13的流处理或打包适配器可以从服务器自身接收信息(独立于客户端或在对客户端信息进行处理后)和/或从客户端。

根据本公开内容的实施方式，服务器还可以选择丢弃可在解码期间产生一些小漂移或“错误”的信息。该信息可以发送给客户端作为元数据。此外，在给出该知识的情况下，在客户端侧客户端可以尝试(如果可能和/或期望)对这些错误进行纠正。该服务器可以知道客户端的能力(或甚至是处于组播环境中的客户端)并且使得这些情况可以基于对这些能力的了解来进行。通过示例的方式，可以提供拉格朗日成本，其众，参数可以包括网络带宽、每个客户端的质量、功率消耗(如果相关)等。

还提供了本公开内容的实施方式，其中，图2的解码侧的架构与图13的服务器侧的架构相组合。

本公开内容的一些实施方式集中于如下技术：采用比特流实现跨越不同平台的无缝视频交付和最好的用户体验，以及立体视屏方案的上下文中的系统。但是，本领域的普通技术人员应当理解，这里所提出的概念还可以应用于其它类似的系统，如类高动态范围(HDR)的可伸缩系统，或多视点编码。

本公开内容所描述的方法及系统可以以硬件、软件、固件或其组合来实施。描述为块、模块或部件的特征可以一起实施(例如，在诸如集成的逻辑器件的逻辑器件中)或单独地实施(例如，作为单独连接的逻辑装置)。本公开内容的方法的软件部分可以包括计算机可读介质，其包括当被执行时至少部分地执行所描述的方法的指令。该计算机可读介质可以包括，例如，随机存取存储器(RAM)和/或只读存储器(ROM)。该指令可以通过处理器(如，数字信号处理器(DSP)、专用集成电路(ASIC)、或现场可编程门阵列(FPGA))来执行。

本说明书中所提到的所有专利与出版物可以指示与本公开内容相关的领域的普通技术人员的水平。本公开内容所引用的所有参考文献通过引用包含在本文中，如同每个文献的全部内容通过单独引用包含在本文中。

应当理解，本公开内容不限于特定的方法或系统，这些方法或系统当然可以变化。还应当理解，本文所使用的术语仅出于描述特定实施方式的目的，并且不应成为限制。如在本说明书和所附权利要求所使用的，除非内容另外单独指出，否则单数形式“一个”、“一种”和“该”包括多个对象。除非内容另外单独指出，否则术语“多个”包括两个或更多个对象。除非另外定义，否则本文所使用的所有技术和科学词语具有与本公开内容相关的领域的普通技术人员所通常理解的意思相同的意思。

已对本公开内容的大量实施方式进行了描述。然而，应当理解，在不偏离本公开内容的精神和范围的前提下，可以做出各种修改。因此，其它实施方式落入所附权利要求的范围内。

参考文献列表

D.C.Hutchison,“IntroducingDLP3-DTV”,

http://www.dlp.com/downloads/IntroducingDLP3DHDTVWhitepaper.pdfISO/IECJTC1/SC29/WG11,“TextofISO/IEC14496-10:200X/FDAM1MultiviewVideoCoding”,Doc.N9978,Hannover,Germany,July2008

M.Hemy,U.Hengartner,P.Steenkiste,T.Gross,“MPEGSystemStreamsinBest-EffortNetworks”,PacketVideo1999.

T.Meier,K.N.Ngan,“ImprovedsingleVOratecontrolforconstantbit-rateapplicationsusingMPEG-4”,VisualCommunicationsandImageProcessing2000,ProceedingsofSPIEVol.4067,2000.

ChristianTimmerer,“GenericAdaptationofScalableMultimediaResources”,VDMVerlagSaarbrucken,Germany,2008.

Claims (35)

1.一种自适应解码多层视频系统，包括：

基本层解码器；

一个或更多个增强层解码器；以及

解码适配器，所述解码适配器与所述基本层解码器和所述一个或更多个增强层解码器连接，所述解码适配器控制所述基本层解码器和所述一个或更多个增强层解码器的操作。

2.根据权利要求1所述的系统，还包括：

一个或更多个处理模块，所述一个或更多个处理模块用于向所述一个或更多个增强层解码器提供来自所述基本层解码器的滤波预测，其中，所述解码适配器还控制所述一个或更多个处理模块的操作。

3.根据权利要求1或2所述的系统，其中，所述解码适配器基于从一个或更多个所述基本层解码器和所述一个或更多个增强层解码器收集的信息，来控制所述基本层解码器和所述一个或更多个增强层解码器的操作。

4.根据上述权利要求中任一项所述的系统，还包括后处理模块，其中，所述解码适配器基于从所述后处理模块收集的信息，来控制所述基本层解码器和所述一个或更多个增强层解码器的操作。

5.根据权利要求4所述的系统，其中，所述后处理信息包括与所述基本层解码器和所述一个或更多个增强层解码器有关的编码时间信息。

6.根据上述权利要求中任一项所述的自适应解码多层视频系统，其中，所述解码适配器通过简化所述基本层解码器和/或所述一个或更多个增强层解码器的操作，来控制所述基本层解码器和/或所述一个或更多个增强层解码器的操作。

7.根据权利要求6所述的自适应解码多层视频系统，其中，所述基本层解码器和所述一个或更多个增强层解码器各自包括残余解码模块和环路滤波模块，并且其中，通过简化或去除所述基本层解码器和/或所述一个或更多个增强层解码器的所述残余解码模块和所述环路滤波模块中的一个或更多个，来进行所述基本层解码器和/或所述一个或更多个增强层解码器的简化。

8.根据上述权利要求中任一项所述的自适应解码多层视频系统，其中，参考图像、图像的部分、切片、图像序列和图片组(GOP)中的一个或更多个，控制所述基本层解码器和所述一个或更多个增强层解码器的操作。

9.根据权利要求8所述的自适应解码多层视频系统，其中，所述解码适配器控制非参考图像和/或参考图像的操作。

10.根据上述权利要求中任一项所述的自适应解码多层视频系统，其中，所述解码适配器基于复杂度估计来控制所述基本层解码器和所述一个或更多个增强层解码器的操作。

11.根据上述权利要求中任一项所述的自适应解码多层视频系统，其中，所述解码适配器基于平均解码时间来控制所述基本层解码器和所述一个或更多个增强层解码器的操作。

12.根据上述权利要求中任一项所述的自适应解码多层视频系统，其中，所述解码适配器基于解码质量估计来控制所述基本层解码器和所述一个或更多个增强层解码器的操作。

13.根据权利要求10、11或12所述的自适应解码多层视频系统，其中，所述解码适配器还基于元数据信息来控制所述基本层解码器和所述一个或更多个增强层解码器的操作。

14.一种用于多层视频系统的自适应解码的方法，包括如下步骤：

读取视频信息；

基于先前解码的视频信息的解码时间，针对所述视频信息从多个解码模式中选择解码模式；

根据所选择的解码模式对所述多层系统的一个或更多个层的所述视频信息进行解码；

在每次解码后，更新所述先前解码的视频信息的解码时间；以及

如果可获得更多的视频信息，则重复所述读取步骤、所述选择步骤以及所述解码步骤。

15.根据权利要求14所述的方法，其中，所述先前解码的视频信息的解码时间是平均解码时间。

16.根据权利要求14或15所述的方法，其中，所述多个解码模式包括最快解码模式，所述方法还包括：当选择所述最快解码模式时，对所述最快解码模式的解码复杂度进行估计。

17.根据权利要求16所述的方法，其中，关于以所述最快解码模式对所述多层系统的哪个层进行解码的决定基于所估计的所述最快解码模式的解码复杂度。

18.根据权利要求17所述的方法，其中，关于是否针对所述多层系统的一个或更多个层使用简化的解码的决定也基于所估计的所述最快解码模式的解码复杂度。

19.根据权利要求18所述的方法，其中，所述决定还基于图像质量考虑。

20.根据权利要求14或15所述的方法，其中，所述视频信息包括非参考图片信息和参考图片信息，所述方法还包括：当选择包括参考图片信息的视频信息的解码模式时，对所述解码模式的解码复杂度进行估计。

21.根据权利要求20所述的方法，其中，关于以所述解码模式对所述多层系统的哪个层进行解码的决定基于所估计的所述解码模式的解码复杂度。

22.根据权利要求21所述的方法，其中，关于是否针对所述多层系统的一个或更多个层使用简化的解码的决定也基于所估计的所述解码模式的解码复杂度。

23.根据权利要求22所述的方法，其中，所述决定还基于图像质量考虑。

24.根据权利要求14至23中任一项所述的方法，其中，所述视频信息包括：图片、图片的部分或图片系列。

25.根据权利要求24所述的方法，其中，所述图片的部分是切片，且所述图片系列是图片组(GOP)。

26.根据权利要求14至25中任一项所述的方法，其中，所述多层系统包括基本层和一个或更多个增强层。

27.根据权利要求26所述的方法，其中，所述多层系统包括适于将来自所述基本层的解码信息传输至所述增强层中的一个或更多个的参考处理器。

28.根据权利要求14所述的方法，其中：

所述多个解码模式基于要对所述多层系统的一个或更多个层执行的解码操作的简化量而彼此不同，以及

所述解码模式的选择是通过将先前实现的解码操作的平均解码时间与目标阈值进行比较而进行的。

29.根据权利要求28所述的方法，其中，所述解码模式的选择是在以下之间选择的：保持先前选择的解码模式；选择较快解码模式；以及选择较慢解码模式。

30.根据权利要求28或29所述的方法，其中，所述解码模式的选择还取决于图像质量考虑。

31.一种适于将视频包通过网络发送到客户端的自适应多层视频服务器，包括：

基本层视频打包器；

一个或更多个增强层视频打包器；以及

打包适配器，所述打包适配器与所述基本层视频打包器和所述一个或更多个增强层视频打包器连接，所述打包适配器控制所述基本层视频打包器和所述一个或更多个增强层视频打包器的操作。

32.根据权利要求31所述的视频服务器，其中，通过关于通过所述基本层视频打包器和所述一个或更多个增强层视频打包器经由网络发送或不发送哪些包的决定，控制所述基本层视频打包器和所述一个或更多个增强层视频打包器的操作。

33.根据权利要求31或32所述的视频服务器，其中，所述打包适配器的控制是基于服务器生成的信息的。

34.根据权利要求31或32所述的视频服务器，其中，所述打包适配器的控制是基于客户端生成的信息的。

35.一种视频处理架构，包括：根据权利要求31所述的视频服务器和根据权利要求1所述的解码系统。