CN104620583A - 基于支持信息的残差数据的编码和重构 - Google Patents

Abstract

计算机处理器硬件接收值的集合的序列。计算机处理器硬件处理值的集合的序列并且利用序列中的多个集合的值产生支持值的集合，其中所述支持值的集合被确定成以便形成用以大体上再生序列中的原始的值的集合中的每一个的基线。计算机处理器硬件生成对应于所述支持值的集合的重构数据。

Description

基于支持信息的残差数据的编码和重构

背景技术

处理数字信号的编码和解码的许多技术在本领域中是已知的。这是音频信号、图片、视频信号和像是在科学和医学范围中使用的体积信号那样的其它多维信号的情况。为了实现高压缩比，那些技术采用信号内的空间和时间相关性。常规方法标识参考并且尝试确定当前位置与给定参考之间的信号的差异。这既在空间域中完成（其中参考是已经接收和解码的空间平面的部分），也在时域中完成，其中取信号的时间中的单个实例（例如帧序列中的视频帧）作为针对某个持续时间的参考。这是例如MPEG系列压缩算法的情况，其中取先前编码的宏块作为空间域中的参考并且I-帧和P-帧用作时域中的参考。

已知技术以许多方式采用空间相关性和时间相关性，采取若干不同技术以便标识、简化、编码和传输差异（“残差（residual）数据”）。在常规方法中，为了利用空间相关性，执行域变换（例如变换到频域中）并且然后执行信息的有损删除和量化。替代地，在时域中，常规方法传输当前样本与参考样本之间的经量化的差异。为了最大化样本之间的类似性，编码器尝试沿发生时间比照参考信号估计修改。这在常规编码方法（例如MPEG系列技术、VP8等）中称为运动估计。将运动信息传输到解码器以便实现通过利用针对参考样本已经在解码器处可用的信息来重构当前样本（在MPEG中这在宏块基础上使用运动向量来完成）。

常规基于参考的编码技术的缺陷在于样本中的错误与每一个基于在先样本重构的后续样本中的错误累积，一采取有损压缩技术就在非常少的相继预测的样本之后产生可见伪像。

常见方案是分割信号以降低编码和解码操作的复杂度。这既在空间域中完成（例如使用宏块或片段（slice）的概念）也在时域中完成，其中本领域中方案的当前状态是使用沿时间的图片组（GOP）划分。

分割过程通常是突然且倾向于有伪像的。示例是在MPEG方法中执行的宏块分段。虽然的确实现了压缩效率，但是引入可见伪像也是事实。这些伪像在许多情况中对于人类观察者而言非常明显，这是因为它们与原始信号不相关这一事实（例如，两个值得注意的示例是块伪像和振铃伪像）。已经实现降低这样的伪像的可见性的许多尝试（例如在编码器和解码器侧二者上的去块和去振铃滤波器），尽管其具有诸如降低的全局感知的质量和增加的复杂度之类的缺点。

沿时间维度，常规方法将样本划分成组块（例如用于视频信号的GOP，其中沿时间的每一个样本是图片）。通常在相继次序的基础上选择参考样本，并且相对于参考（或者相对于两个参考，在双预测帧的情况下）差分地传输组块中的样本。这在信号的时间演进中引入伪像（例如对于显著移动，所感知的质量通常遭受沿GOP的边缘的明显不连续）。

已知领域中的方法解决的一个要求是压缩效率。计算复杂度已经总是被视为第二优先：本质上，算法只需要在计算上可行，而不是被设计用于低计算复杂度。这迫使硬件制造商连续适配演进技术，设计能够实现所选算法的特定处理器和专用硬件解决方案。示例是对于MPEG2、MPEG4、H.264/AVC、H.265/HEVC等的硬件支持的演进。目前没有编码技术被设计以便最佳地运行在大规模并行硬件上，具有基于可用的计算核的数目而自动扩缩的计算性能（即不必适配代码，或者甚至不提前知晓多少计算核将是可用的）。利用当前算法不可行的该特征特别重要，因为如今硬件技术在计算时钟速率和传送速率速度方面正在达到硅的渐进极限：增加可用计算能力的当前趋势正在增加单个芯片或系统中主控的不同处理单元（“计算核”）的数目的方向上移动。

除少数尝试之外，已知技术中忽视的另一方面是质量可缩放性要求。可缩放编码方法可以编码压缩信号的单个版本并且实现到不同信号水平的递送，例如根据带宽可用性、显示器分辨率和解码器复杂度。可缩放性已经在像是MPEG-SVC和JPEG2000那样的已知方法中被考虑在内，其目前具有相对不足的采用，这归因于计算复杂度，以及一般来说，其对本质上被设计用于非可缩放技术的方案的使用。

已知方法未解决的另一方面是对称性。利用常规方法可以以放弃像是双向（例如时间反向）重放和更一般地对信号中的任何样本的随机访问（例如针对视频信号的逐帧编辑）那样的有用功能为代价实现压缩效率。特别地沿时间维度的预测技术防止解码器以时间反转次序接收、解码和呈现信号。所采取的预测技术还影响非常压缩或有错误倾向的传输中的性能，这归因于伪像的积累。由错误引入的伪像是可见的，这特别地归因于其在时间上的持续。

在已知领域中采取的预测驱动技术还将针对随机访问的强约束引入到压缩流中。像是朝向任意点中的样本的“寻找”、当“迅速移动（zapping）”到不同信号比特流时的随机访问（在不必等待下一时间组块/GOP的开始的情况下）那样的操作当前不可行。用户在尝试访问任意点时必须等待的时间当前与压缩效率严格权衡。该现象的示例是MPEG系列方法中的GOP约束：为了允许最小时间延迟和沿时间的随机访问，必须使用一个样本的GOP（即仅内部编码）。

最后，当前方法不适于非常高的采样速率（例如针对视频信号的非常高的帧速率），这归因于将要求的计算能力量和带宽。例如，若干研究证明，所有人类可以容易认识到高达300帧每秒的视频信号的质量差异，但是计算和带宽约束当前使得以大于25-60帧每秒编码和传输高质量视频信号极其昂贵。

发明内容

本文描述的创新方法聚焦在用于编码、传输和解码涉及信号的多个样本的残差数据、特别是沿针对该数据的显著相关的维度的技术中的改进。

根据其最宽泛的方面，本文所描述的本发明的非限制性实施例包括一种用于基于支持缓冲器（例如没有限制地，支持元素的集合）编码和重构残差数据的多个集合的方法。一些非限制性实施例还通过生成支持缓冲器的分层层级来实现该方法。该方法包括编码步骤——在所述编码步骤期间残差数据的集合被处理，生成支持元素信息和相对残差数据——以及解码步骤，在所述解码步骤期间支持元素信息被处理以生成针对残差数据的预测，其与相对残差数据组合来允许重构残差数据。

将对其中所述方法被使用在分层分级编码方法的编码和解码循环内的非限制性实施例给出特别关注，其中信号编码在包括两个或更多层的样本的分层层级中，并且其中每一个层具有不同的质量水平（例如，对应于信号再现的保真度的水平）。这样的方法包括解码步骤，在所述解码步骤期间通过借由从具有最低质量水平的层的样本开始的重构操作来计算处于给定质量水平的样本。本文说明的实施例特别地聚焦在非限制性情况上，其中较低质量水平是跨信号的一个或多个维度的较低分辨率（即较粗糙的采样网格），尽管本领域技术人员可以容易地将相同方法适配于其中在较低质量水平的信号是具有相同分辨率和较低细节水平（例如没有限制地，元素值的较粗糙量化）的信号的情况。在一些情况中，我们将较低质量水平称为较高“聚合水平”（“LOA”），其中仅子采样的维度对比较高质量水平是时间维度。术语“层”在本申请的其它部分与或者“质量水平”（“LOQ”）或者“聚合水平”（“LOA”）可互换地使用，这取决于上下文。

为了简单起见，本文说明的非限制性实施例通常将信号称为沿时间维度以给定采样速率发生的多维样本的序列（即组织为具有一个或多个维度的阵列的一个或多个元素的集合）。在说明书中，术语“图像”和/或“平面”（预期具有“超平面”的最宽泛的意义，即具有任何数目的维度的元素的阵列）将通常可互换地用于标识沿样本序列的信号的样本的数字再现，每个平面具有针对其维度中每一个的给定分辨率，并且平面中的坐标的每一个合适集合标识由一个或多个值或“设置”表征（例如，作为非限制性示例，合适色彩空间中的色彩设置、指示密度水平的设置、指示温度水平的设置、指示音频音调的设置、指示振幅的设置等）的平面元素（或者“元素”，或者“像元”，对于二维图像通常称为“像素”，对于体积图像通常称为“体素”，等）。作为非限制性示例，信号可以是图像、音频信号、多通道音频信号、视频信号、多视图视频信号（例如3D视频）、全光信号、多频谱信号、体积信号（例如医学成像、科学成像、全息成像等）、体积视频信号，或者甚至具有多于四个维度的信号。

本文说明的实施例将特别地聚焦在随时间演进的信号上，这尤其是因为现有技术的缺失。例如，通过所描述的实施例同样可以简单地解决非常高的采样速率（例如同样超过1,000帧每秒，当前要求用于编码和解码的过量的计算和存储资源）。

为了简单起见，本文说明的非限制性实施例通常将显示的信号称为设置的2D平面的序列（例如合适色彩空间中的2D图像），诸如例如视频信号。然而，相同概念和方法同样适用于任何其它类型的基于时间的信号，并且还适用于非基于时间的多维信号（例如二维图片、体积/全息图像、全光图像等）。作为非基于时间的信号的非限制性示例，一系列CAT扫描或MRI的二维片段（即非基于时间三维信号）可以合适地表示为沿一个维度（即沿其取片段的轴）的一系列二维样本，并且根据本文说明的方法编码/解码，就像沿其取片段的轴是时间维度那样（通过假设或者恒定采样速率或者甚至可变采样速率，根据本文说明的创新方法）。

本文说明的分层层级的非限制性实施例由具有不同分辨率的层表征，其中从较高层到较低层的下采样比例因子可以针对每一个层和针对每一个维度而变化（即空间和时间二者上的）。

以分层时间层级编码的样本可以具有不同持续时间。例如，由较高层的两个不同样本的时间下采样得出的给定层的样本（在空间下采样和时间下采样的组合的情况下“混合（blending）”或“下混合（downblending）”）表示具有作为由较高层的样本中的每一个表示的信号的部分的持续时间的总和的持续时间（“时间跨度（span）”）的信号的部分。找不到关于分层时间层级的文献。在本文档中，术语“信号的跨度”或“跨度”将与术语“样本”可互换地使用（尽管更正确地，我们可以说每个给定样本具有对应的时间跨度，从而指示它对应于针对等于其时间跨度的持续时间的“采样和保持”）。在给定质量水平的信号的“跨度”表示“具有给定采样位置和给定持续时间、要从给定时刻开始重放/显示的信号的部分”。由较高质量水平的多个跨度的组合（混合或下混合）得出的较低质量水平的跨度将具有作为所述多个跨度的采样位置的线性或非线性组合的采样位置。在非限制性优选实施例中，这样的采样位置是被混合到给定跨度中的跨度的采样位置的平均的下舍入（round-down），即等于或紧接地小于下采样成给定跨度的较高水平的跨度的采样位置的数学平均的最高质量水平的整数采样位置。所述得到的跨度还将具有作为所述多个跨度的持续时间的总和的持续时间。本质上，术语“跨度”反映以下事实：特别是在同样利用时间下采样下降层级时，每一个跨度表示被较好地建模为“采样和保持”的信息——表示沿给定时间间隔的信号的值，即信号的“跨度”——而不是在非常特定的时间位置中的简单“采样”。同样，相同层的不同跨度可能具有不同持续时间，其有效地表示可变采样速率。

本文说明的创新方法的非限制性实施例通常利用某种形式的运动估计和补偿技术。在常规方法中，将运动补偿用作对基于空间相关性预测图像的一部分的替换方案，即这些编码技术，对于重构的跨度的每一个部分（例如图像），在通过利用空间相关性进行预测（即相同样本的相邻部分，例如MPEG方法中的内部预测）或通过利用时间相关性之间进行预测（即一个或多个参考样本的部分，例如MPEG方法中的P-预测或B-预测）之间选择。

对于本文所描述的创新性实施例，空间和时间不是孤立来考虑的完全独立的维度：空间和时间仅仅是所谓的空间-时间的较宽泛的多维空间的不同维度。通过将N维样本的序列表示为单个（N+1）维信号，并且通过利用分层层级方法编码所述（N+1）维信号，本文描述的实施例可以有效地在其空间-时间中编码-解码信号（通过合适的空间-时间编码-解码操作），同时有效地利用空间和时间相关性（即不必在这二者之间选择），并且还跨多个样本有效地利用相关性（即不仅仅从一个样本到另一个）。此外，通过基于较低质量水平（和/或较高聚合水平）的样本而不是基于在相同质量水平的相邻样本来预测样本，在（N+1）维信号的所选部分中取得的有损决策不一定将其自身传播到信号的其它部分（即到序列中的其它样本/跨度）。简而言之，本文描述的实施例以其整体操纵信号，利用跨整个信号的相关性并且考虑与其它维度相同水平处的时间维度。我们通常将本文所描述的方法的该非常创新的属性称为“对称”。

本发明涉及基于值的单个集合（等同地称为“支持信息”、“支持缓冲器（buffer）”或“支持平面”）和基于附加重构数据来编码、传输和/或解码值的多个集合的方式，所述值的单个集合对所述值的多个集合中的所有集合是共同的，所述附加重构数据对所述值的多个集合中的每一个集合是特定的。

在本文描述的一些非限制性实施例中，对于在所述多个集合中的值的每一个给定集合，所述附加重构数据包括基于支持平面与值组合以便产生所述值的给定集合的调节（“相对残差”）的集合。

在本文描述的其它非限制性实施例中，对于在所述多个集合中的值的每一个给定集合，所述附加重构数据包括参数（“补偿数据”）的集合，其指示在支持平面上执行以便产生值（“参考残差”）的第一集合和与参考残差组合以便产生所述值的给定集合的调节（“相对残差”）的集合的操作。

根据本文描述的非限制性实施例，信号处理器被配置成处理值（“绝对残差”）的多个集合，所述绝对残差的集合中的每一个对应于处于给定质量水平的信号的元素的集合（所述元素的集合中的每一个被称为跨度）与对应的预测跨度之间的差异，所述方法包括，在编码装置内实现的：

通过在对应于所述绝对残差的信息上和/或在对应于所述跨度的信息上执行计算来产生支持平面（即支持元素的集合）；

产生对应于所述支持平面的支持平面重构数据；

对于绝对残差的每一个给定集合，产生值（“相对残差”）的集合，所述相对残差对应于绝对残差的给定集合与至少部分地基于所述支持平面的值（“参考残差”）的集合之间的差异；

产生对应于所述相对残差的集合的相对残差重构数据；以及

向解码器传输所述支持平面重构数据和所述相对残差重构数据。

在本文描述的一些非限制性实施例中，所述方法包括针对绝对残差的每一个给定集合产生对应于在支持平面上执行以便产生对应于所述绝对残差的给定集合的参考残差的集合的操作的附加信息（“补偿数据”）。

本文说明的其它非限制性实施例包括被配置用于传输绝对残差的集合的编码器，所述绝对残差的集合对应于处于给定质量水平的信号的元素的集合（所述元素的集合称为给定跨度）与对应的预测跨度之间的差异，所述编码器包括：

支持平面的生成器，其被配置用于在所述绝对残差上和在对应于属于包括所述给定跨度的跨度序列的一个或多个跨度的信息上执行计算；

对应于所述支持平面的支持平面重构数据的生成器；

值（“相对残差”）的集合的生成器，所述相对残差对应于绝对残差的集合与至少部分地基于所述支持平面的值（“参考残差”）的集合之间的差异；

对应于所述相对残差的集合的相对残差重构数据的生成器；以及

传输器，其被配置用于向解码器传输所述支持平面重构数据和所述相对残差重构数据。

本文描述的其它非限制性实施例包括被配置成产生值（“经重构的绝对残差”）的集合的信号处理器，所述经重构的绝对残差的集合对应于处于给定质量水平的信号的元素的集合（所述元素的集合称为跨度）与对应的预测跨度之间的差异，所述方法包括，在解码器内实现的：

接收支持平面重构数据和相对残差重构数据；

通过解码所述支持平面重构数据而产生支持平面的经重构的再现；

处理相对残差重构数据，产生值（“经重构的相对残差”）的集合，所述经重构的相对残差对应于在至少部分地基于所述支持平面的经重构的再现的值的集合上执行的调节；

至少部分地基于所述支持平面的经重构的再现和基于所述经重构的相对残差的集合产生经重构的绝对残差的集合。

在本文描述的一些非限制性实施例中，产生经重构的绝对残差的集合包括：

接收对应于在支持平面的经重构的再现上执行以便产生经重构的绝对残差的该给定集合的操作的数据（“补偿数据”）；

至少部分地基于支持平面的经重构的再现和所述补偿数据产生值（“经补偿的支持平面”或“经重构的参考残差”）的集合；以及

通过组合所述经补偿的支持平面与所述经重构的相对残差的集合来产生经重构的绝对残差的集合。

在本文描述的一些非限制性实施例中，还根据共同支持信息（“较高阶支持平面”）来解码对应于样本序列中的样本的相邻子序列的多个支持平面，所述方法包括：

接收较高阶支持平面重构数据；

对于在所述多个支持平面中的给定支持平面，接收支持平面相对残差重构数据；

通过解码所述较高阶支持平面重构数据来产生较高阶支持平面的经重构的再现；

处理支持平面相对残差重构数据，产生值（“经重构的支持平面相对残差”）的集合，所述经重构的支持平面相对残差对应于在至少部分地基于所述较高阶支持平面的经重构的再现的值的集合上执行的调节；

至少部分地基于所述较高阶支持平面的经重构的再现和基于所述经重构的支持平面相对残差的集合产生多个支持平面中的给定支持平面。

下面更详细地讨论这些和其它实施例变型。

应注意的是，本文中的实施例可用软件或硬件来实现，或者可使用软件和硬件的组合来实现，并且其可以包括一个或多个计算机化设备、路由器、网络、工作站、手持式或膝上型计算机、平板计算机、移动电话、游戏控制台、机顶盒等的配置以执行和/或支持本文公开的任何或所有方法操作。换言之，可以将一个或多个计算机化设备或处理器编程和/或配置成如本文所解释地进行操作以执行不同的实施例。

除如上文所讨论的技术之外，本文中的又其它实施例包括用以执行上文概述和下面详细地公开的步骤和操作的软件程序。一个此类实施例包括计算机可读硬件存储资源（即，非临时计算机可读介质），其包括编码在其上的计算机程序逻辑、指令等，其当在具有处理器和对应存储器的计算机化设备中执行时对处理器编程和/或使处理器执行本文公开的任何操作。可以将此类装置提供为在计算机可读介质上布置或编码的软件、代码和/或其它数据（例如，数据结构），所述计算机可读介质诸如光学介质（例如，CD-ROM、DVD-ROM或BLU-RAY）、闪速存储器卡、软盘或硬盘或能够存储计算机可读指令的任何其它介质，诸如一个或多个ROM或RAM或PROM芯片中的固件或微码或者作为专用集成电路（ASIC）。可以将软件或固件或其它此类配置安装到计算机化设备上以使计算机化设备执行本文所解释的技术。

因此，本公开中的一个特定实施例针对一种包括其上存储有指令以用于支持信号处理操作的计算机可读硬件存储介质的计算机程序产品。

步骤的排序已被添加以为了清楚起见。可以按照任何适当次序来执行这些步骤。

本公开的其它实施例包括用以执行上文概述和下面详细地公开的任何方法实施例步骤和操作的软件程序、固件和/或相应硬件。

另外，应理解的是可以将如本文所讨论的系统、方法、设备、在计算机可读存储介质上的指令等严格地体现为软件程序、作为软件、固件和/或硬件的混合或者单独地作为诸如处理器内或操作系统内或软件应用内的硬件等。

如上文所讨论的，本文中的技术非常适合于在处理信号并产生经编码数据的位流或处理经编码数据的位流且产生信号的再现的软件、固件和/或硬件应用中使用。然而，应注意的是本文中的实施例不限于在此类应用中使用，并且本文所讨论的技术也非常适合于其它应用。

另外，应注意的是虽然可以在本公开的不同位置处讨论了本文中的不同特征、技术、配置等中的每一个，但意图在于可以相互独立地或相互组合地执行每个概念。因此，可以以许多不同方式来体现和查看如本文所述的一个或多个本发明、实施例等。

而且，应注意的是，本文中的实施例的此初步讨论并未指定本公开或一个或多个要求保护的发明的每个实施例和/或递增式创新方面。而是，此简要描述仅提出了一般实施例和相比于常规技术的对应创新点。针对一个或多个发明的附加细节和/或可能观点（替换），将读者引向如下面进一步讨论的本公开的具体实施方式小节和对应附图。

附图说明

根据如附图中所示的本文中的优选实施例的以下更特定描述，本发明的前述及其它目的、特征以及优点将是显而易见的，在附图中相同的附图标记遍及不同视图指示相同部分。附图不一定按比例，而是着重于说明实施例、原理、概念等。

图1A是图示了多尺度编码和解码系统的示例图；

图1B是图示了沿时间维度聚合的示例的示例图；

图1C是图示了空间下采样和空间-时间下混合的示例的示例图；

图1D是图示了沿时间聚合和空间-时间下混合的示例的示例图；

图1E是图示了以分层时间层级编码的信号的结构的示例图；

图1F是图示了编码器的结构的示例图；

图1G是图示了解码器的结构的示例图；

图1H是更加详细地图示了编码器的结构的示例图；

图2A、2B、2C和2D图示了用于处理两个图像的操作的各种步骤；

图3A和3B是图示了基于支持元素信息的编码的示例图；

图4A、4B和4C是图像序列的处理的示例图；

图5是图示编码器和解码器的结构的示例图；

图6是图示基于支持元素信息进行解码的示例图；

图7A和7B是图示基于支持信息对残差数据进行编码和解码的示例图；

图8示出根据本文所描述的实施例的提供数据处理的计算机系统的框图。

具体实施方式

本文说明的方法适合于任何类型的多维信号，包括但不限于声音信号、多通道声音信号、图片、二维图像、视频信号、多视图视频信号、3D视频信号、体积信号、体积视频信号、医学成像信号、具有多于四个维度的信号等。为了简单起见，沿着本说明书，所说明的实施例通常采用视频序列的使用情况，即包括2D图像序列的基于时间的信号（通常称为“帧”，或者在交错视频信号的情况中称为“场”），其中每一个元素（在这样的非限制性示例情况中典型地称为“像素”）由合适色彩空间中的一组色彩设置（例如YUV、RGB、HSV等）表征。不同色彩平面（例如亮度-Y平面和两个色度——U和V——平面）通常被单独地编码，并且通常具有不同的分辨率（这是由于人眼对色度信息的较低敏感性所致）。

在其它情况中我们将信号表示为N维样本或如本文档中在之前限定的“跨度”的序列，并且参考以下事实：信号的完整表示为（N+1）维信号（例如，如果维度之一为时间，这对应于利用单个时间-空间再现来表示空间再现的序列）。这些要被视为是可以使用本文所描述的创新方法滤波和/或压缩的信号的可能种类的非限制性示例。对于除视频之外的信号，本领域技术人员可以容易地通过适当适配针对视频信号的使用情况描述的方案来应用本文所描述的方法。在非限制性示例中，跨度还可以是具有除2之外的不同维度数目的元素的超平面（例如一维跨度、三维跨度等）和/或其可能应用于与对应于针对时间维度在本文中描述的那些的时间方案不同的维度。

信号的时间中的每一个跨度用超平面表示（或者更简单地“平面”，其旨在以其最宽泛的含义作为“组织为具有一个或更多维度的阵列的元素集合”）：例如多通道声音信号、2D HD视频帧或3D体积医学图像可以全部用平面元素的阵列来表示（特别地，用于多通道声音信号的元素的1D平面、用于HD视频帧的元素的2D平面和用于体积医学图像的元素的三维超平面）。

沿着时间，跨度以给定（局部）采样速率发生。在常规方法中，采样速率总是恒定的。相反，本文所说明的创新方法允许可变的采样速率。特别地对于低于最高水平的质量水平，给定质量水平的跨度的持续时间（即针对该给定质量水平的采样速率）可以是可变的，其有效表示可变的采样速率。为了允许以具有不同持续时间的跨度的合适信号重放，每一个跨度还由“图片号”或“图片标识符”来表征，其表示何时应当开始显示跨度的时间。

本文所说明的方法和实施例可以与另一个和/或与其它方法联合使用。本文所说明的许多优选实施例描述具有实现压缩的目标（即以最小数量的比特编码和/或解码合适的信号再现）的技术和算法。这也是非限制性示例：其它实施例可以实现不同目的，诸如多尺度编码和解码、自适应流式传输、鲁棒和高效滤波、信号降噪（例如图像降噪、视频降噪等）、信号增强（例如信号超采样、去交错等）、信号质量度量的生成、内容识别、机器视觉、信号加密（例如安全通信）等。

图1A是描述了根据本文中的实施例的多尺度编码和解码系统的非限制性示例图。

在一个实施例中，编码器110接收原始信号100（诸如信号100-1、100-2等的序列）并且将信号100编码到多尺度数据流115中。解码器120-2接收经编码数据的数据流115并且产生处于诸如第一质量水平之类的较低LOQ的经重构信号1001。

解码器120-1接收数据流115并且产生处于诸如第二质量水平之类的较高LOQ的经重构信号1000。在该示例实施例中，第二质量水平高于第一质量水平。在一个实施例中，第二（或较高）质量水平是比在第一（较低）质量水平的分辨率更高的分辨率图像（例如显示屏的每单位面积更多元素）。因此，序列中的信号1000-1是信号1000-1的较高分辨率再现，序列中的信号1000-2是信号1000-2的较高分辨率再现，以此类推。

在非限制性实施例中，解码器120-1还产生处于较低LOQ的经重构信号1001以便基于处于较低LOQ的经重构信号1001重构处于较高LOQ的经重构信号1000。

在一些非限制性实施例中，如所提及的，第二质量水平具有比第一质量水平更高的分辨率（空间和/或时间上）。在这样的实施例中的一些中，第二质量水平具有通过以特定比例因子（包括非整数比例因子和/或等于1的比例因子）上采样信号的每一个维度所获得的分辨率。换言之，信号1000-1可以至少部分地从信号1001-1上采样；信号1000-2可以至少部分地从信号1001-2上采样；以此类推。以类似的方式，信号1001中的每一个信号可以被上采样到处于较高分辨率的信号。

在另一非限制性实施例中，解码器120-2利用传统解码技术（例如MPEG2、h.264等）以便解码数据流115。

在非限制性示例实施例中，TV解码器的解码信号处理器（例如没有限制地，机顶盒）被编程以便实现如图1A中图示的方法，其中数据流115对应于接收的广播信号。这样，传统解码器接收与解码器120相同的数据流115，但是恰好忽略可用于重构处于较高质量水平的信号再现的数据流中的附加数据。

在其它非限制性实施例中，流式传输服务器处理经编码数据流115并且响应于解码器的特性和/或带宽拥挤，生成仅包括解码直至给定质量水平的信号所必需的经编码数据的数据流的版本（与最大可能质量水平相对）。

图1B是图示了根据本文中的实施例的沿时间维度的聚合的非限制性示例的图示。

作为非限制性示例，三个平面130-1、130-2、130-3（每一个包括组织为2x2平面的四个元素）被聚合到支持平面131中，其具有与原始平面相同的分辨率。每一个平面可以包括任何数目的元素。

在一个实施例中，基于平面130-1、130-2和130-3的对应元素来计算支持平面131的元素。聚合到相同支持平面中的平面的数目应当被视为是非限制性的，因为原则上可以将任何数目的平面聚合到单个支持平面中。在该非限制性示例实施例中，支持平面131被说成是处于比平面130-1、130-2和130-3“更高的聚合水平”（LOA）。

在一些非限制性实施例中，支持平面131被处理以便基于针对平面130-1、130-2和130-3中的每一个的特定重构数据重构平面130-1、130-2和130-3的再现。

在其它非限制性实施例中，平面130-1、130-2和130-3是残差平面，其指定对对应样本的初步再现做出以便产生经重构的信号再现的调节。换言之，诸如平面130-1、平面130-2、平面130-3等之类的平面可以表示所谓的残差数据。残差数据可以是指定如何调节被重构的信号中的多个元素中的每一个来使得重构信号更接近匹配信号的原始再现的调节数据。

在图1B的非限制性实施例中，信息的每一个平面对应于不同采样位置（即采样时间）。例如，元素的平面130-1可以表示与再创建序列中的时间T1处捕获的原始信号的再现相关联的调节信息；元素的平面130-2可以表示与再创建序列中的时间T2处捕获的原始信号的再现相关联的调节信息；元素的平面130-3可以表示与再创建序列中的时间T3处捕获的原始信号的再现相关联的调节信息；以此类推。

在其它非限制性实施例中，平面130-1、130-2和130-3是针对处于较低聚合水平的其它平面的支持平面。作为示例，处于较低聚合水平的多个平面可以聚合以产生平面130-1；处于较低聚合水平的多个平面可以聚合以产生平面130-2；处于较低聚合水平的多个平面可以聚合以产生平面130-3；以此类推。因此，与多个平面（图像）相关联的调节信息可以以分级方式组合成单个支持平面。

如所示，元素的单个支持平面131捕获元素的多个时间平面中的每一个的属性。例如，在没有运动补偿的该简单示例中，平面131中的左下元素被设成值D，因为这是平面130-1、130-2、130-3中的对应元素（例如左下角元素）的主导设置，以此类推。

平面131中的右上元素被设成值C，因为这是平面130-1、130-2、130-3中的对应元素（例如右上角元素）的主导设置，以此类推。因此，支持平面131包括多个单独图像平面的混合。

在其它非限制性实施例中，不同平面的对应元素可以驻留在其相应平面的不同位置中（如通过关于运动的合适描述性信息指定的那样），以便计及对象随时间的运动。

本文中的实施例可以包括生成重构数据（诸如残差数据）以将支持平面131转换回到单独平面130-1、平面130-2、平面130-3中等等。例如，编码器将支持平面131中的元素的设置与原始平面130-1中的元素的设置比较。在该示例中，针对平面130-1的重构数据将指示支持平面131可以利用对支持平面131中的右上元素的调节被转换成平面130-1。也就是说，平面130-1中的设置一般与支持平面131中的元素的设置相同，除了左上元素之外。与平面130-1相关联的重构数据可以包括应用于设置值C以将其改变成针对平面130-1中的右上显示元素的值B的差异信息。另外在该示例实施例中，编码器将支持平面131中的元素的设置与原始平面130-2中的元素的设置比较。在该示例中，针对平面130-2的重构数据将指示支持平面131中的设置可以在没有任何调节的情况下被转换成平面130-2的元素。

另外在该示例中，编码器将支持平面131中的元素的设置与原始平面130-3中的元素的设置比较。在该示例中，针对平面130-3的重构数据将指示支持平面131可以利用对支持平面131中的左下元素的调节来转换成平面130-3。也就是说，平面130-3中的设置一般与支持平面131中的元素的设置相同，除了左上元素不同之外。与平面130-3相关联的重构数据可以包括应用于支持平面131中的设置值D以在重构针对平面130-3的设置时将其改变成针对左下显示元素的值E的差异信息。

图1C是图示了根据本文中的实施例的空间下采样和空间-时间下混合的非限制性示例的示例图。附图图示了处于第一（较高）质量水平的平面序列和处于第二质量水平的对应平面序列，第二质量水平低于第一质量水平。

特别地，处于第二质量水平的序列已经按照如下被获得：平面11 135-1（由十六个元素构成的二维平面）以比例因子二沿其两个空间维度下采样，产生经下采样的平面136-1；平面135-2、135-3和135-4（均由十六个元素构成的三个二维平面）以比例因子二沿其空间维度并且以比例因子三沿时间维度下采样，产生经下混合的平面136-2。假设在该示例中平面135-1是在时间T1的样本图像的表示；平面135-2是在时间T2的样本图像的表示；平面135-3是在时间T3的样本图像的表示；平面135-4是在时间T4的样本图像的表示；以此类推。

空间-时间下采样的操作（即还沿时间维度的下采样）在本申请中还称为“下混合”（“下采样+时间混合”的缩写）。在一个实施例中，下采样是指沿质量水平层级向下降低信号的再现的分辨率；混合是指组合随时间采样的样本信号的属性。下混合成相同的经下混合的平面的平面的数目应当被视为非限制性的，因为原则上任何数目的平面都可以下混合成经下混合的平面。

本文中的实施例可以包括生成重构数据（诸如残差数据）以将支持平面136转换回到单独的平面135-2、平面135-3和平面135-4。例如，编码器可以被配置成确定在将平面136-2上采样成处于与平面135-2、135-3和135-4相同质量水平的信号的初步再现之后需要完成的修改。编码器然后产生指示如何将平面136-2的经上采样的再现的元素修改成平面135-2的重构数据的第一集合；编码器然后产生指示如何将平面136-2的经上采样的再现的元素修改成平面135-3的重构数据的第二集合；编码器然后产生指示如何将平面136-2的经上采样的再现中的元素修改成平面135-4的重构数据的第三集合。因此，解码器可以接收与平面136-2相关联的重构数据和重构数据的第一集合以再生平面135-2中的设置；解码器可以接收与平面136-2相关联的重构数据和重构数据的第二集合以再生平面135-3中的设置；解码器可以接收与平面136-2相关联的重构数据和重构数据的第三集合以再生平面135-4中的设置。

图1D是图示了根据本文中的实施例的连同运动补偿一起执行的聚合和空间-时间下混合的非限制性示例的示例图。

平面21 135-5和平面22 135-6聚合成支持平面137，其中支持平面137具有比原始平面更高的元素数目。基于平面135-5和135-6的对应元素计算支持平面137的元素。在该非限制性示例实施例中，可以注意到，支持平面137不具有以比原始平面的分辨率更高的分辨率的采样网格。它是放大的采样区（例如比原始平面135-5、135-6等中的更大数目的显示元素）。平面137中的网格关于平面21、22、31、32扩展以捕获“场景”的更大部分（即具有更大“视场”）。放大与支持平面137相关联的显示元素的区允许将平面21和22中的显示元素的较大部分捕获到支持平面137中。因此，支持平面137包括来自多个平面的信息的聚合。例如，如所示，支持平面137包括在平面21和22的每一个中呈现的对象的组合。

如所示，支持平面137包括第一对象（例如存在于平面21和22二者中的在视觉上图示为深色方形的信息）以及第二对象（例如仅在平面22中的在视觉上图示为三角形的信息）的再现。该图示出运动补偿的效果，其中在视觉上图示为沿时间改变位置的深色方形的信息在被混合到支持平面137中之前被运动补偿。特别地，该图示出关于平面21的采样位置的运动补偿的示例（即在支持平面137中，深色方形位于它在平面21中所具有的位置中）。换言之，由于运动补偿，经混合的平面137不只是借助于多个原始平面的简单重叠而获得，而是它是“卷曲（warped）”平面的加权平均，每一个卷曲平面通过关于支持平面137的采样位置而对给定原始平面进行运动补偿来获得。

在该示例实施例中，平面31 135-7和平面32 135-8被下混合成经下混合的平面138，其中经下混合的平面138具有比由空间下采样操作得到的采样网格更多的元素。像是支持平面137那样，经下混合的平面138也包括部分地表示在下混合成它的所有平面中并且部分表示在仅一些平面中的信息。这样，本文中的实施例包括应用下采样算法以降低代表性平面的分辨率以及放大与经下采样的平面相关联的覆盖区（例如显示元素的数目）以便适应捕获存在于多个不同平面中的对象的再现。

因此，与视频相关联的图像的序列（以及捕获的移动对象）可以被捕获在与原始图像相同或不同分辨率的单个图像中。

在一个实施例中，编码器处理器硬件产生支持平面137以包括平面21和22当中的公共图像元素设置的集合。支持平面137可以被配置成包括：i）如在多个原始图像的第一平面（图像）中检测到的第一对象的再现（小圆圈），以及ii）如在多个原始图像的第二平面（图像）中检测到的第二对象的再现（三角形）。第二对象的再现（三角形）可以不在第一方格21。第一对象的再现（小圆圈）可以不在第二平面22。

图1E是图示了在该示例中作为表示二维视频帧的序列的N维跨度的序列的（N+1）维信号的图。最高（原始）质量水平的跨度（LOQ#0，或者等同地层#0）组织在包括两个“批”批1和批2或者换言之两个跨度子序列的“批次”（即时间组块）中。在LOQ#0，批1包括相等持续时间的8个跨度（在采样位置1的跨度100-1，在采样位置2的跨度100-2，……，在采样位置8的跨度100-8）并且批2包括相等持续时间的5个跨度（在采样位置9的跨度100-9，在采样位置10的跨度100-10，……，在采样位置13的跨度100-13）。

图1E中图示的信号被编码在分层层级中，其具有在图中示出的四个最高的质量水平LOQ#0、LOQ#-1、LOQ#-2、LOQ#-3。这旨在为非限制性的，因为信号可以以更高数目的质量水平编码并且原则上最低水平具有包括单个元素的单个跨度。

质量水平LOQ#-1包括针对批1的四个跨度（跨度101-1、101-3、101-5、101-7）和针对批2的两个跨度（跨度101-9和101-12）。在该非限制性实施例中，处于LOQ#-1的批具有比处于LOQ#0的相同批更低数目的跨度，即借助于时间下采样获得LOQ#-1的跨度。对应于LOQ#-1的跨度的元素的超平面（即在视频帧的示例中，像素的二维平面）也关于对应于LOQ#0的跨度的元素的超平面以针对每一个空间维度的合适比例因子下采样：在该非限制性示例中，超平面具有两个维度（例如表示二维图像），并且每一个维度针对层级的每一个质量水平用因子2下采样到下一个，当必要时引入填充的行或列以便确保被二可除尽。

注意，LOQ#0的不同数目的跨度对应于LOQ#-1的不同跨度：例如，处于LOQ#-1的经下混合的跨度101-1对应于（即表示处于不同质量水平的信号的相同部分）处于LOQ#0的跨度100-1和100-2（即从跨度101-1时间上采样到跨度100-1和100-2具有比例因子二），而处于LOQ#-1的经下混合的跨度101-12对应于处于LOQ#0的跨度100-11、100-12和100-13（即针对跨度101-12的时间上采样具有比例因子三）。

跨度由采样位置（在图1E中由每一个跨度的顶部上的数字表示，在刻度线上方）、持续时间（在图1E中由跨度的水平长度表示）以及图片号（在图1E中由在每一个跨度的底部的数字表示，在实心圆记号下方）表征。例如，LOQ#-3的跨度103-11由采样位置11（即它以位置11“为中心”）、5个单位时间的持续时间（即它对应于LOQ#0的五个跨度）和图片号9（即如果必须显示该跨度，它将会从图片9开始直至图片13（以LOQ#0的图片速率）停留在屏幕上，即在其5个图片的持续时间内）表征。

在该非限制性实施例中，根据LOQ#0的采样速率（在该示例中为恒定采样速率）来计算针对低于LOQ#0的质量水平的跨度的采样位置。特别地，对应于LOQ#0的多个跨度的跨度的采样位置被计算为低于或等于（即下舍入）处于LOQ#0的对应跨度的采样位置的平均的整数采样位置。例如，LOQ#-2的跨度102-2（对应于LOQ#0的跨度100-1、100-2、100-3和100-4）具有采样位置2，因为2是低于100-1、100-2、100-3和100-4的采样位置的平均（其将为2.5）的最近整数采样位置。类似地，LOQ#-3的跨度103-11具有采样位置11，因为11是跨度100-9、100-10、100-11、100-12和100-13的采样位置的平均（在该情况下直接为整数数字）。

在该非限制性实施例中，再次根据LOQ#0的采样速率来计算针对低于LOQ#0的质量水平的跨度的图片号，并且给定跨度的图片号被计算为对应于给定跨度的LOQ#0的跨度的最低采样位置。

编码器实施例的示例描述

在面向压缩的环境中，被配置为编码器的信号处理器（从现在起“编码器”）处理生成本质上将信号压缩至给定质量的经编码重构数据的集合的信号。被配置为解码器的信号处理器（从现在起“解码器”）接收重构数据的集合并且重构原始信号的再现。

为了生成经编码重构数据的合适集合，首先编码器识别将包括在批次及其成批的子划分中的信号的时间部分。批次是必需的，这归因于时间维度通常无界限（至少出于所有实际目的）这一实际问题，而空间维度具有清晰和固定的天然边界（例如视频帧的水平和竖直分辨率、表示声音样本的值的数目、体积图像的x-y-z分辨率等）。因此这通常不切实可行，即便沿其整个时间上的持续分析信号的理想地最佳选项亦是如此。然而，信号（在实际非限制性示例中，诸如运动图片和摄影）通常天然是不相关组块的链接链：例如，典型地运动图片内容被划分在“场景”中，即被非常明显的场景改变分离的时间有限量的相关跨度。这些“场景批次”可以充当在编码前在时间上分割信号的有效参考。然而，当这些批次非常长时，必要的是对跨度的序列进一步分段。在没有恰当对策的情况下，将场景分割成“用于计算的独立部分”可能引起明显伪像：噪声模式突然改变，平滑移动显示出不连续等。本文中描述的优选非限制性实施例所使用的新颖方法包括“批”的使用（即独立地逐批对层级进行下采样）和“解码波”方案（即跨批对层级进行上采样）。借助于这样的新颖方法，场景的确被分割以便利用当前架构使计算可行。这样的分割在解码期间被“桥接”，从而避免严格分离，并且结果避免经重构的信号再现中的不连续。

如果批次包括仅几个跨度，不存在进一步分割它的需要。而是假设批次持续许多跨度（即超过给定阈值），编码器将批次切成“批”。如上文所指示的，批是连续数目的跨度。批的长度在从1到128个跨度的范围中并且由1至5个批构成的批次是针对批和批次的持续时间的非限制性示例。从实际观点来看，这样的长度被调节成给定实施例中所使用的硬件、存储器和处理单元。批维度上的决策是编码器侧执行的全局优化过程的结果。非限制性准则是考虑到解码器资源上的任何要求（特别是存储器要求），在编码器产生的给定简档处，最大化高度时间相关的批次内的批长度。另一非限制性准则是保持尽可能多的固定批尺寸并且特别地将其设置成或者固定数目的图像或者一个图像（例如在非常不相关的图像之前或之后）以便简化计算。

编码器执行跨信号的运动估计，从而生成包括诸如辅助映射、运动向量、运动区映射、运动矩阵等之类的多个参数的合适描述性信息并且表示在信号跨度中表示的对象的运动。取决于运动估计结果，编码器可以修改包括在批次和批中的跨度的数目，例如在视频信号的情况中将场景改变考虑在内。无论何时沿时间的跨度的时间相关性减小到低于给定阈值，编码器缩短批长度。基于对应于在批次期间信号在运动方面的活动性的合适度量，因此本质上反比例地分配批长度。在非限制性实施例中，通过利用预设实验参数以及合适启发法来基于所述度量限定批长度。

在批次内，编码器因此将跨度分组成一个或多个“批”。

一旦标识了LOQ#0的什么跨度属于什么批，编码器计算跨度的分层层级，从而通过对处于紧接地较高LOQ的对应多个跨度进行下采样来生成处于较低LOQ的每一个跨度。由处于较高LOQ的多个跨度的下采样得到的处于较低LOQ的跨度也被限定为针对那些跨度的“控制”（或“父”）跨度。

在数学上，让我们将LOQ K，批L和采样位置t的跨度称为                                                。在图1E中图示的非限制性实施例中，跨度101-1通过对跨度100-1和100-2的组合进行下采样来获得。更具体地，较高质量水平的跨度通过执行其经运动补偿的再现的加权平均来组合，其中基于（即相对于）处于较低质量水平的所得到的跨度的采样位置执行运动补偿。在数学上，这可以如下表述：

。

运动补偿函数MC是取关于运动的描述性信息（经由运动估计的合适方法生成）作为输入并且将原始图像（即以给定采样位置为中心的跨度）变换成以目的地采样位置为中心的经运动补偿的图像的函数。在该非限制性示例实施例中，经运动补偿的图像比原始图像更大（即具有更多行和列的平面元素），以便允许多个经运动补偿的图像的组合而同时限制信息的损失，如先前在图1D中图示的那样。由于文献的缺乏，我们将附加行和列（附加对比处于相同质量水平的跨度的原始分辨率）定义为“框架（framing）”。框架的一些元素通过运动补偿函数被分配默认值（“不可用”值），以便避免那些元素影响多个图像到一个图像中的组合期间的加权平均。作为简单的非限制性示例情况，将关于给定采样位置t的运动补偿应用于具有相同采样位置t的跨度X ^K (t)本质上对应于标识函数加上框架的附加，其中框架的所有元素被分配默认“不可用”值。相对于原始组合跨度的尺寸，框架沿层级向下时变得更大，这是因为跨度具有时间上的较长持续这一事实，并且因此它们可能包括总场景的“较高量”（特别是由于运动）。

在该简单非限制性实施例中，下采样函数是具有沿两个维度的比例因子2的双线性下采样滤波器，并且权重参数a和b仅取决于被下采样到较低质量水平的跨度中的较高质量水平的跨度的相对持续时间。其它非限制性实施例基于离采样位置的距离和/或更复杂的参数对跨度进行加权，但是简单平均对应于由跨度承载的“信息的相对量”本质上与它表示的信号的时间部分成比例这一事实。在图1E的特定示例中：

。

当运动补偿操作生成包括具有默认值（例如“不可用”值）的一个或多个元素的元素平面时，具有默认值的元素不包括在加权平均中并且剩余值（即不同于“不可用”）的权重被归一化，以便确保在加权平均中剩余值的权重的总和总是等于1。在该非限制性实施例中，归一化通过向每一个权重添加相同常量来计算，以便使它们的总和等于一。

一旦编码器生成处于给定LOQ的LOQ，编码器开始生成可以允许解码器重构分层层级的合适再现的经编码数据。特别地，在解码器侧，一旦给定LOQ N-1可用，处于较高LOQ N的每一个跨度的每一个元素的实际值的重构需要接收和解码残差的一个或多个集合，其被解码器处理以便修正基于关于已经可用的较低质量水平的信息生成的预测再现。

在数学上，我们将每一个跨度的经重构再现称为。之所以给定（经重构）Y可能不同于其对应（原始）X的原因在于在面向压缩的环境中编码器可以被配置以便允许经重构跨度中的一定程度的量化伪像和/或其它有损伪像，以便降低信号的信息熵的度量。

对于较低LOQ或底部水平的一个或多个跨度，并且仅对于那些跨度，编码器生成作为对X^B的经量化再现去量化的结果的每一个跨度Y^B。这在数学上如下表述：

（符号“^”指示“其经重构的估计”）。

对于层级中的后续（较高）质量水平的跨度，针对每一个跨度，编码器通过执行合适上采样操作、利用较低质量水平的一个或多个跨度作为“预测器”来生成预测U。在编码器侧的这样的上采样操作的目标是编码器模拟将在解码器侧完成的操作。特别地，通过模拟预测操作，编码器随后能够生成将被解码器需要以便修正预测和重构合适的信号再现的重构数据。

预测和重构数据由编码器逐个LOQ地生成，从最低水平开始。基于层级中的位置（例如质量水平、离批次的开始或结束的距离等），编码器处理作为预测器的处于较低质量水平的不同数目的跨度。例如，在图1E的特定非限制性示例中，通过处理按预测器跨度103-4和103-11生成针对跨度102-6的预测，通过处理按预测器跨度101-5、101-7、101-9和101-12生成针对跨度100-8的预测，并且通过处理按预测器跨度101-1和101-3生成针对跨度100-1的预测。特别地，在该非限制性实施例中并且除接近批次的边缘（“围栏”）的跨度以外，直至质量水平LOQ#-1的预测器被选择为具有与要预测的跨度最接近的采样位置的较低水平的两个跨度（一个低于或等于，一个大于或等于），并且从LOQ#-1到LOQ#0被选择为具有与要预测的跨度最接近的采样位置的较低水平的四个跨度（两个具有低于或相等采样位置并且两个具有大于或相等采样位置）。预测器做属于不同（相邻）批的某事，其为允许我们的新颖方法降低或甚至消除由将批次分割成不同批引起的伪像的特性，从而本质上“固定”在下采样期间创建的伪像位置。对于接近“围栏”（即批次的开始和结束）的跨度，使用较少预测器，这是由于一个或多个预测器将不得不来自然而可能与当前批次不相关的在先或后续批次这一事实。

为了生成预测跨度U，编码器还利用属于相邻批的跨度：这有效地是（再次由于文献的缺乏）在本文中被定义为“解码波”的重构方法（基于编码为分层层级的长批次的可能解码模式的视觉外观）的非限制性实施例。这样的新颖方法的优点在于其恰恰在分割伪像要紧时解决了它，即在上采样过程期间：事实上，由逐批下采样信号的需要引起的分割伪像将不在下采样和/或下混合期间引入，而是在上采样期间引入。让我们考虑图1E中的批1和批2：例如，聚焦在时域上，编码器下混合批1的跨度100-7和100-8以产生跨度101-7；它还下混合批2的跨度100-9和100-10以产生跨度101-9。发生在跨度100-8与100-9之间的任何时间相关现象（例如对象的速度中的加速，小对象出现/消失等）被这样的下采样处理“不良捕获（ill-captured）”。如果在批的严格限制内还执行时间上采样操作（即跨度预测操作）——像是下采样操作那样——这将在预测的生成期间变得明显。例如，如果在解码器侧生成跨度100-8的上采样操作仅将跨度101-7以及可能还有较早跨度（例如101-5）考虑在内，预测操作将不会适当地将跨度100-8之后发生的移动/现象考虑在内。一个结果将会是不太精确的预测，并且因此是修正预测并且生成针对100-8的合适再现所必需的残差数据的较高量信息熵（和/或更明显的伪像）。然而，如果在空间-时间上采样操作期间编码器采用跨越超出下采样中使用的边界的内核（kernel），则该问题被解决。作为非限制性示例，执行以产生针对101-7的预测的上采样利用作为预测器的102-6和102-11；执行以产生针对100-8的预测的上采样利用作为预测器101-5、101-7、101-9和101-12。本质上，通过同样利用来自不同批的信息来执行上采样，其有效生成——当以高质量水平解码后续跨度时——上采样“波”（其中较低LOQ的解码“预期”较高LOQ的解码）：为了重构针对在给定采样位置和给定LOQ的跨度的预测再现，解码器（或者在编码过程期间使用的模拟解码器）必须处理针对逐渐降低的LOQ的在逐渐增大的采样位置的跨度。在图1E中图示的非限制性实施例中，预测器跨度可以至多属于相邻批，因此限制“解码波”的较低部分的最大“扩展”。可能时间内核和上采样序列的若干非限制性示例实施例是可能的，其影响编码/解码等待时间、存储器要求和压缩效率之间的权衡。

由于通过处理选自当前批、在先批和后续批的一个或多个较低LOQ跨度来生成预测U，在数学上我们可以说（对于图1E中图示的非限制性实施例）：

其中f是上采样函数。

特别地，该非限制性实施例通过执行通过关于预测跨度的采样位置而对每一个预测器跨度进行运动补偿而生成的元素的平面的加权平均的上采样来生成预测U。在数学上，对于跨度102-6的非限制性示例情况：

。

在图1E中图示的非限制性实施例中，用于预测器的加权平均的权重基于每一个预测器的采样位置离预测跨度的采样位置的距离（根据线性滤波（对于两个预测器的情况）以及三次滤波（对于四个预测器的情况）权重）。对于其中缺少一个或多个预测器（例如由于是围栏的邻近区域）或加权平均中的一个或多个元素被分配默认值（即“不可用”元素，作为运动补偿操作的结果）的情况，剩余值的权重被归一化到1，在该非限制性示例情况中根据加法归一化方法（即通过向每一个剩余权重加上相同常量）。上采样操作——在该实施例中与运动补偿操作联合执行——利用直至LOQ#-2的线性滤波并且定制滤波（即利用通过具有合适经编码参数的编码器特定于解码器的内核）以用于向上水平，其与去混合滤波和非锐化屏蔽组合。在时间和空间方面二者针对较高质量水平的较大内核的使用（即更多预测器和/或更大上采样内核）被校准以便对应于比照发现可以处于相邻跨度之中和/或相同跨度的相邻元素内的较低质量水平的量的发现可以处于相邻跨度之中和/或相同跨度的相邻元素内的较高质量水平的相关性的更高量。

一旦针对给定质量水平的预测U可用，编码器计算对应于任何给定跨度与对应预测跨度之间的差异的“绝对残差”R。这通过以下等式表述：

。

对于底部LOQ（并且仅对于底部LOQ）：

绝对残差被编码器适当变换和量化成经变换的残差Tr(R)，以便在无损熵编码步骤之前降低信息熵的度量（在通过将数据分割成合适分组——称为“分割（tile）”——并且通过应用算术编码器执行的实施例中，根据基于每一个分割中的数据的特定直方图校准的参数）。要编码的实际残差数据的计算（“经变换的残差”）不限于总体残差上的算术操作的集合，而是其包括旨在改善编码/解码算法的总体压缩/解压缩效率的特定功能（例如，在该非限制性实施例中，基于较低LOQ的定向分解）。

作为结果，如果是对应于（在可能的意义上）在绝对残差上执行的所有操作“求逆”的函数，我们可以说，对于每一个LOQ的每一个跨度：

。

特别地，对于底部LOQ，。

在该非限制性实施例中，对于层级中的较高质量水平，绝对残差被计算并且在多个绝对残差的集合中传输，以便使得甚至对于相同LOQ能够实现在解码器侧重构的再现Y的不同水平的压缩和精度（“细节水平”或“LOD”）。

一旦已经计算和适当变换了残差数据，编码器生成对应于所述残差数据和关于要在解码器侧执行的操作的描述性信息的经编码重构数据的集合。在非限制性实施例中，所述描述性信息包括对应于运动的信息（在运动补偿操作期间在解码器侧被利用）、对应于分层层级的跨度的特性的信息（特别地，针对每一个批的每一个LOQ的每一个跨度的id号和关键参数）以及对应于上采样操作的信息（特别地，要被处理以生成针对较高层的跨度的预测跨度的跨度的id号、对应于要使用的权重的参数、对应于要使用的上采样操作的参数——诸如，没有限制地，上采样内核）。

附加非限制性示例实施例

图1E中图示的和以上描述的编码器实施例仅仅是我们的新颖分层层级方法的许多可能实现之一，并且应当被视为是非限制性的。

本质上，在编码期间，信号被信号处理器转换成具有不同质量水平（LOQ#0、LOQ#-1、LOQ#-2……）的层，从原始质量水平（LOQ#0）开始。层的数目是任意的，并且它可以取决于应用和特定实施例。非限制性实施例计算所有可能的LOQ，例如在压缩效率是实施例的目标时。原则上，可实现的最低LOQ在所有信号维度（例如跨度数目、跨度的每一个维度的元素数目）达到等于1个元素的分辨率时达到。在非限制性实施例中，当批的时间分辨率达到分辨率1时（即在该LOQ并且对于信号的该批，仅存在一个跨度），通过仅沿空间维度下采样来继续下采样；底部质量水平（LOQ）在空间维度中的第一个达到等于1的分辨率时达到。为了从一个层移动到另一个，任意下采样比可以应用于信号的每一个维度。以上说明的非限制性实施例以任意比例因子对时间维度进行下采样并且按因子2对跨度的所有空间维度进行下采样（在已经应用框架行和列之后）。然而，其它应用和实施例也使用不同设置来用于LOQ的层的生成，包括针对每一个维度和针对每一个LOQ的不同比例因子。在非限制性实施例中，这样的比例因子对编码器和解码器二者是已知的。在另一非限制性实施例中，编码器向解码器发送对应于特定比例因子和要在每一个情况中使用的上采样操作的信息。在另一非限制性实施例中，所述信息根据基于继承的方法编码，即由解码器基于通过合适继承操作针对较低LOQ被重构的信息来计算处于给定LOQ的针对所述信息的默认值。

其它非限制性实施例实现类似的分层层级方法，其中较低LOQ的跨度的采样位置根据不同数学操作计算。在非限制性实施例中，较低LOQ的跨度的采样位置包括非整数。

在其它非限制性实施例中，编码器选择批长度和时间下采样操作以便维持采样速率对于较低LOQ同样恒定（例如非限制性实施例利用“时间填充”的方法，通过当在给定LOQ的批中的跨度的数目不是用于时间下采样的比例因子的倍数时添加填充信息）。在其它非限制性实施例中，替代地，采样速率对于信号的最高LOQ也是可变的。在其它非限制性实施例中，仅在给定LOQ之下执行时间下采样，而该给定LOQ之上的所有LOQ具有相同采样速率。

在其它非限制性实施例中，为了生成较低LOQ的跨度，给定LOQ的多个跨度的组合包括不同于以上描述的那些并且选自已知领域中的其它合适下采样和运动补偿方法的操作。

在以上描述的非限制性实施例中，下采样操作利用运动估计信息以便适当计及两个或更多跨度之间沿时间维度的运动。这对于某些基于时间的信号有用的原因在于，从信号理论的观点来看，时间采样可以低于奈奎斯特极限。在视频信号的示例中，25/30fps是作为截至今日的典型采样速率的示例，同时若干实验论证了针对典型地描绘在视频中的移动类型，人类观察者可以容易地感知到直至300fps。这意味着视频信号通常在奈奎斯特极限以下对时间维度进行采样。在这样的情况中，所采用的仅沿时间维度的特定方案（诸如运动估计）降低由不充分的采样引入的破坏，本质上“重对齐”跨度以便更好地采用其相关性。关于运动的描述性信息用于引导沿分层的质量水平的时间下采样。运动估计是由编码器采用的可选阶段：缓慢移动、高采样速率或非常复杂的移动是何时采取运动估计的非限制性示例并且补偿可能不太高效或者甚至比仅生成分层LOQ而没有给出对时间维度的任何“优选处理”更差。对于其中合适条件指示运动估计没有帮助的信号的部分，编码器丢弃运动信息并且继续进行对称下采样（例如在非限制性实施例中，简单的三线性子采样）。

另一非限制性实施例不在较低LOQ的跨度中引入框架行和列。在另一非限制性实施例中，引入的框架的量与运动信息相关。

其它非限制性实施例使用用于下采样自身的不同操作。在非限制性实施例中，编码器应用不同的下采样操作（包括非线性操作）以生成较低LOQ的跨度并且应用不同上采样操作，从而标识最小化残差数据的信息熵的度量的下采样操作和上采样操作的集合。在这样的实施例之一中，编码器利用经调整的滤波方法，选择性地修改（“调整”）线性下采样操作的结果并且基于所得到的残差数据的熵而优化调整。

在另一非限制性实施例中，编码器在将其组合到较低质量水平的跨度中之前对较高质量水平的每一个跨度进行下采样。在另一非限制性实施例中，编码器对较高质量水平的每一个跨度进行下采样，应用运动补偿（引入框架）并且将结果组合到较低质量水平的跨度中。在另一非限制性实施例中，下采样操作与运动补偿操作联合执行（即在下采样过程期间，运动补偿操作产生经运动补偿的跨度的经下采样的再现）。

在另一非限制性实施例中，当加权平均中的权重需要被归一化以便使其总和等于1时（例如，在加权平均包括“不可用”值期间，和/或在生成接近批次的开始或结束的预测跨度时），编码器应用乘法归一化（例如用相同常量乘以所有权重）而不是加法归一化（例如将相同常量添加到所有权重）。

在另一非限制性实施例中，当计算预测跨度时，编码器首先对较低质量水平的预测器跨度中的每一个进行上采样，然后对它们进行运动补偿，并且然后组合结果。在另一非限制性实施例中，编码器首先运动补偿每一个跨度，然后组合它们并且最终上采样结果。在另一非限制性实施例中，上采样操作与运动补偿操作联合执行（即在上采样过程期间，运动补偿操作产生经运动补偿的跨度的经上采样的再现）。

在另一非限制性实施例中，上采样操作选自包括但不限于线性滤波器、三次滤波器、Lanczos滤波器、双边滤波器、最近邻滤波器的集合。

更宽泛地，不同实施例在上采样操作中使用不同操作和滤波。上采样操作产生针对处于较高LOQ的信号的跨度的元素的设置的预测。在非限制性实施例的集合中，在上采样（即增加分辨率的操作）之后，执行滤波操作的另一步骤（在编码器和解码器侧二者）以便增强预测质量（例如作为非限制性示例，增强已经在下采样期间被平滑的锐化边缘，或者获取已经在下采样期间模糊的细节）。针对该步骤的非限制性示例实施例描述在相同作者的先前专利申请中并且被称为“去混合（deblending）”操作。另一非限制性示例是利用非锐化屏蔽操作。在其它非限制性实施例中，上采样操作包括级联的非线性操作（例如，选自包括但不限于线性滤波器、三次滤波器、去混合滤波器、非锐化屏蔽滤波器、双边滤波器、分数滤波器、最近邻滤波器等的列表的合适操作序列），或者如合适参数指定的那样或者根据对编码器和解码器二者已知的预定默认序列。在另一非限制性实施例中，编码器向解码器发送上采样参数，其中这样的参数对应于要使用的特定上采样操作。

在另一非限制性实施例中，运动补偿操作与上采样操作联合执行。在其它非限制性实施例中，运动补偿操作利用浮点操作，包括计及诸如缩放、旋转、偏移和/或视角改变之类的复杂移动的变换。在这样的实施例之一中，运动补偿操作包括将坐标集变换成齐次坐标，从而执行所述齐次坐标与合适矩阵的浮点乘法并且重归一化所得到的齐次坐标中的向量。在另一非限制性实施例中，当将较低质量水平的不同跨度组合到较高质量水平的跨度中时，编码器通过加权平均操作组合它们，其中权重取决于采样位置的距离，基于线性内核。在另一非限制性实施例中，这样的权重取决于采样位置的距离，基于三次内核。在其它非限制性实施例中，采取再其它的内核。在另一非限制性实施例中，所述权重至少部分地在运动信息上生成（计及以下事实：如果大量运动已经发生，则不同跨度中的相关信息的量将是相对较低）。在另一非限制性实施例中，所述权重参数至少部分地在对应于每一个跨度的特性的参数上生成（例如以便适当计及相对散焦的跨度等）。在另一非限制性实施例中，所述权重由编码器计算以便降低残差数据的熵的量，并且经由对应描述性信息发送到解码器。

在其它非限制性实施例中，被处理以便生成处于较高质量水平的预测跨度的预测器的数目是任意的并且利用描述性信息被发送到解码器。在这样的非限制性实施例之一中，编码器优化预测器的数目和权重参数，其被利用以通过迭代方法生成每一个预测跨度，所述迭代方法旨在优化针对重构数据的合适信息熵度量和/或针对经重构再现的合适质量度量。

在另一非限制性实施例中，针对被处理的预测器的数目的默认值包括直至给定LOQ的线性时间滤波（即一个或多个预测器跨度）和从给定LOQ直至最高LOQ的三次时间滤波（即直至四个预测器跨度）。在另一非限制性实施例中，对于给定批的给定LOQ的一个或多个跨度，较低LOQ的预测器跨度不仅仅属于给定批和相邻批，而且还属于随后于相邻批的批（即，针对给定跨度的预测器的集合还可以来自三个批，而不仅仅来自两个，如在以上描述的非限制性实施例中那样）。

在其它非限制性实施例中，编码器向经编码重构数据的集合分配适当同步（synch）标记，从而允许信号处理器创建数据流和/或仅包括特定序列中的经编码重构数据的特定集合的文件，以允许特定解码序列中的特定跨度的重构。

在其它非限制性实施例中，当生成经编码数据时，编码器在一个或多个同步标记之前引入随机填充比特；随后，编码器根据合适的加密方法加密报头（head）信息和/或同步标记信息。

在其它非限制性实施例中，编码器处理每一个LOQ的残差并且根据沿空间维度的“定向分解”方法（大体上通过对用于相同跨度的相邻残差的集合进行分组和编码对应于它们的平均值与它们的预测平均值之间的差异的参数、对应于它们的水平倾斜的参数、对应于它们的竖直倾斜的参数、对应于它们的对角倾斜的参数，并且借助于合适量化方法量化每一个参数）和/或沿时间维度的“时间分解”方法（本质上对属于由处于较低LOQ的相同跨度控制的相同LOQ的不同后续跨度的残差的对应集合进行分组并且编码对应于它们的平均的参数和对应于时间倾斜的参数）而生成经变换的残差。在其它非限制性实施例中，对于每一个批，编码器处理每一个LOQ的绝对残差，从而生成支持元素残差的集合（由于文献的缺乏，其被定义为针对给定批的给定LOQ的“支持平面”）；编码器然后生成相对残差的集合，其对应于绝对残差与支持元素残差之间的差异。这参考图3更加详细地描述。

在其它非限制性实施例中，编码器继续进行绝对残差的量化和编码而不对残差进行变换。

在另一非限制性实施例中，编码器根据特定于每一个残差集合的量化方案来量化残差，并且向解码器发送对应于必须使用的去量化方法的描述性信息。在非限制性实施例中，可用量化方案包括但不限于具有不同死区（dead zone）和恒定量化步长的方案（编码器针对其指定对应于死区的参数和/或量化步长的长度）、具有不同死区和可变量化步长的方案（编码器针对其指定对应于死区的参数和/或允许计算所有量化步长的函数）、具有不同色彩空间中的量化的方案（例如，作为非限制性示例，诸如伽马空间之类的非线性空间）等。在另一非限制性实施例中，针对特定质量水平（例如最高质量水平）的去量化还包括统计重构方法（例如抖动、统计去量化、暂态层的重构和组合等），以便更好地表示在量化之前的原始残差沿量化范围分布。

在其它非线性实施例中，由于量化决策在全局比特率优化方面影响先前做出的决策（包括批次内的批长度的决策），编码器执行循环，以便本质上实现全局优化。在非限制性实施例中，量化阈值中的改变还影响残差计算和变换（例如支持元素/支持链的生成）。

在其它非限制性实施例中，编码器生成残差的不同集合，并且向每一个集合分配描述性参数，所述参数对应于残差的对应集合的重要性水平以便重构具有感知的高质量的信号再现（例如，非限制性实施例向更重要的残差分配较高数目的比特——例如较精细量化步长，并且向不太重要的残差分配较低数目的比特——例如较粗糙量化步长）。

在其它非限制性实施例中，根据基于继承的方法对残差进行编码，例如通过基于处于较低质量水平的残差数据来预测（“继承”）它们，从而允许借助于处于较低LOQ的合适残差信息的处于较高LOQ的受控残差的“终止”（例如，经重构信号的部分，其中编码器在较低LOQ限定针对处于所有后续LOQ的信号的该部分的残差数据将等于零，即该预测足够准确而无需传输修正）。

在其它非限制性实施例中，残差的熵编码利用包括以下方法中的至少一个的方法的组合：霍夫曼编码、行程编码、算术编码。

在其它非限制性实施例中，信号的较低LOQ和/或同步标记信息借助于合适的加密方法加密。这样，尽管在解码器处加密/解密数据流的相对小部分所必需的相对有限的处理能力，信号的数据传输仍旧非常安全，因为在数据流的特定部分与信号的特定部分之间不存在明显相关性。在其它非限制性实施例中，通过利用合适冗余技术来保护较低LOQ，以便确保，甚至在存在噪声非常多的通信信道的情况下，解码器也将能够适当地重构至少处于低质量水平的信号再现。

本文所描述的方法还可以应用在低等待时间环境中，诸如例如视频会议。在非限制性实施例中，编码器生成跨度的“滚动层级”，从而仅基于具有较低采样位置的较低LOQ的跨度来预测要重构的处于给定LOQ的新跨度（即时间上在先）。在另一非限制性低等待时间实施例中，基于相同质量水平的在先跨度的残差的信息来变换针对给定跨度的残差。

解码器实施例的示例描述

被配置为解码器的信号处理器（从现在起“解码器”）接收重构数据的集合并且重构原始信号的再现。

如我们提及的，由于编码器模拟在解码器侧执行的操作以便生成合适的重构数据，图1E还图示了由解码器生成的中间产品和最终产品的序列。

利用分层层级方法的解码器执行的重构操作的序列可以遵循若干不同模式，其基于被利用以产生处于较高LOQ的跨度的预测的较低LOQ的预测器的数目。

对于本文中描述的非限制性实施例，解码器接收针对整个批的经编码数据（即在解码器侧延迟的至少一个批是必要的以便开始重构过程）。所述经编码数据包括对应于描述性信息的数据和对应于重构数据的集合的数据。

解码器从以下开始：接收/获取数据流和搜索/解析同步标记元数据以便标识什么跨度（潜在地还来自在先批，如果接收的批不是其批次中的第一个的话）可以借助于可用经编码数据重构，以及处于正确LOQ的正确跨度以便开始解码过程。然后解码器执行熵解码以便生成对应于批的最低LOQ的再现的信息。

从最低LOQ的跨度开始，解码器执行被编码器模拟的相同操作以便生成重构数据。特别地，解码器——逐个LOQ——处理较低LOQ的跨度以便生成针对较高LOQ的预测跨度，解码重构数据（去量化和去变换所接收的经变换的残差）以便生成绝对残差的再现，并且最后将预测跨度与对应绝对残差组合，从而重构针对可以基于处于较低LOQ的可用预测器跨度和可用经编码数据而重构的跨度的再现Y。如我们在上文中描述的，针对给定批的跨度的预测还可以利用相邻批的预测器跨度，从而有效地实现“解码波”方法。

在数学上：

。

特别地，与我们针对编码器实施例描述的一致地，解码器实施例也通过执行通过关于预测跨度的采样位置对每一个预测器跨度进行运动补偿而生成的元素的平面的加权平均的上采样来生成预测U。针对编码器实施例描述的这样的操作的相同特性（例如权重的归一化、“不可用”默认值等）同样适用于解码器实施例。

在数学上，对于跨度102-6的非限制性示例情况：

。

如公式中所示，解码器在能够重构跨度102-6之前必须例如等待接收关于批2的经编码数据，因为如通过以上公式所示，针对跨度102-6的预测还基于跨度103-11的经重构再现。

一旦重构了合适LOQ的跨度，解码器生成要呈现给显示设备的数据，并且将所述数据传输到显示设备。在非限制性实施例中，当解码器需要显示比最高LOQ低的LOQ时，为了计及每一个跨度的潜在不同的持续时间，它创建具有与原始（即最高LOQ）相同的采样速率的信号，这通过为每一个跨度创建与其持续时间一样多的复制，从其图片号指示的时间位置开始。

在非限制性实施例中，解码器接收关于批的结构的描述性信息，包括存在于每一个质量水平中的跨度的ID号、每一个跨度的持续时间、处于要用于生成每一个预测的较低质量水平的一个或多个预测器跨度的ID号以及在被执行以生成每一个预测的操作期间使用的参数。在另一非限制性实施例中，较低质量水平的一个或多个预测器跨度——所述跨度被处理以生成针对处于给定批的较高质量水平的给定跨度的预测——也可以属于相邻批。

在非限制性实施例中，解码器可以在针对不同跨度的不同LOQ停止解码操作，例如取决于所接收的经编码数据（例如由于带宽拥挤）和/或取决于实时解码约束和/或取决于其它约束（例如最小化处理能力消耗、最小化功率消耗、最小化吸收的带宽、最小化重放速度等）。

在其它非限制性实施例中，基于合适的参数和/或用户接口命令，解码器可以仅解码每一个跨度的所选部分，从而有效实现缩放功能。在非限制性实施例中，针对给定LOQ的残差数据的集合被分割成分组（“分割”），每一个分割大体上对应于由解码器处理以便重构处于给定LOQ的信号的给定部分（例如空间部分）的残差数据。从质量水平向上，解码器仅接收针对一个或多个跨度的序列的特定分割，并且结果以给定质量水平重构所述跨度的仅特定空间部分，从而向现实设备发送信号的仅空间部分。必须要指出，重构操作（例如预测操作等）仍旧利用超出重构部分的边界的处于较低LOQ的信号的元素。换言之，在这样的非限制性实施例中，解码器接收仅对应于重构处于给定LOQ的整个信号所必需的残差的经重构集合的特定空间部分（“分割”）的重构数据。因此，解码器仅重构残差的经重构集合的部分的序列，并且因此重构仅针对信号的部分的处于给定LOQ的信号的再现。

在实施例中，根据基于分层的方法存储高分辨率信号。连接到具有相对低的显示器分辨率的显示设备的解码器向信号处理器请求信号的再现，并且接收包括允许解码器重构直至第一质量水平的信号的经编码数据的数据流，所述第一质量水平低于用于信号的最高可用质量水平。响应于输入（例如用户接口输入），解码器向信号处理器请求信号的特定空间部分的较高质量再现。解码器接收包括允许解码器仅重构根据第二质量水平的信号的特定空间部分（“分割”）的经编码数据的数据流，其中所述第二质量水平高于第一质量水平。这样，解码器实现高效缩放功能，从而接收和解码大体上仅要被显示的信号的部分（并且因而最小化消耗的带宽和解码信号的必要处理能力）。

附加非限制性示例实施例

我们想要再次强调针对图1E的示例实施例说明的解码操作的序列以及所使用的特定操作必须意图作为是非限制性的。本领域技术人员将理解，当描述关于编码器实施例的非限制性变型时说明的不同示例实施例中的全部直接对应于关于解码器实施例的变型。

最后，图1E中图示的非限制性实施例聚焦在视频信号的示例情况上，但是相同方案容易适用于非常不同的域以及非常不同类型的信号。特别地，本文说明的方法适合于任何类型的多维信号（包括但不限于声音信号、多通道声音信号、图片、二维图像、视频信号、多视图视频信号、3D视频信号、全光信号、多谱信号、体积信号、体积视频信号、医学成像信号、具有多于四个维度的信号等）。

例如，非限制性实施例根据分层层级方法编码和解码3D视频信号，其中编码器生成针对两个视频通道的对应分层层级。针对两个视频通道的对应跨度的关于运动的描述性信息的集合也根据支持元素数据而被编码并且针对两个视频通道的对应跨度的残差数据根据支持元素残差数据的集合而被编码（根据合适的描述性信息，本质上还跨通道应用“支持平面”方法，跨两个通道对支持元素残差数据进行运动补偿）。

另一非限制性实施例根据分层层级方法编码和解码多通道音频信号，其中针对每一个通道的跨度被表示为元素的集合（在非限制性实施例中，针对跨度的平均幅度值和平均音调值），并且针对不同音频通道的对应跨度的残差数据根据支持元素残差数据的集合而被编码，根据合适的描述性信息来跨音频通道“运动补偿”（即应用本质上对应于重对齐相关跨度的操作）支持元素残差数据（因而计及不同通道中的相同声音的不同时间位置——本质上基于声源比照麦克风的3D位置）。

另一非限制性实施例通过将我们针对视频信号的时间维度说明的相同方法（例如分割成批、解码波、残差数据的分割、支持平面等）应用于信号的一个或多个维度来编码和解码大体积数据。

另一非限制性实施例通过将我们针对二维跨度的序列说明的相同方法应用于三维跨度的序列来编码和解码体积视频。

其它非限制性实施例将本文描述的方法应用于非基于时间的信号。在操作在非基于时间的输入信号上的非限制性示例实施例中，二维片段的序列（例如来自CAT扫描）被编码器处理，所述编码器重构和编码信号的体积分级再现。

目前所描述的分层层级方法本身或者是无损的或者是有损的。可以使用非限制性示例实施例以便高效编码、传输和解码数字信号。然而，在其它非限制性实施例中，编码器的目的不同于压缩效率，并且包括但不限于多尺度解码、自适应流式传输、诸如降噪之类的信号处理目的、信号增强、伪像降低、去交错、分辨率增加（“超分辨率”）、再现质量的测量、内容识别、机器视觉、信号加密（例如安全通信）等。例如，联合空间-时间分级方案能够从信号的核心分量分离来自时间有关现象的大多数令人讨厌的伪像（“暂态信息”，包括噪声、胶片颗粒、场景的实际暂态信息（其可能是高度熵的但是对人类观察者相对不重要）等）。同样振铃伪像和块伪像可以借助于利用本文所描述的方法的非限制性实施例而被识别和消除（或者从核心信号分离）。在非限制性实施例中，用其它方法、在特定配置中还连同合适的元数据（例如暂态信息的参数统计属性）进一步编码处于合适质量水平的经重构的Y。

图1F是进一步图示图1E中描述的编码器实施例的示例图。

实现编码器的信号处理器接收处于LOQ#0的N个跨度的序列100（X⁰）。在图1A的批次1的特定示例情况中，编码器接收13个跨度100-1，100-2，100-3，……，100-13的序列。

编码器还接收跨信号的跨度的对象的关于运动的描述性信息（未图示在图中以便保留可读性；在该实施例中，所述关于运动的描述性信息被除残差计算器块之外的所有块接收和处理）。

下采样器110-0对序列100进行下采样，生成处于LOQ#-1的序列101（X^-1）。在数学上，再次我们将LOQ K、批L和采样位置t的跨度称为。在非限制性实施例中，通过对较高质量水平的多个对应跨度的组合进行下采样来获得每一个跨度101-t。更特别地，较高质量水平的跨度通过执行其经运动补偿的再现的加权平均而被组合，其中基于（即相对于）处于较低质量水平的所得到的跨度的采样位置而执行运动补偿。例如：

。

这样的下采样过程被编码器重复，直到生成底部质量水平LOQ#B的一个或多个跨度100+B。

一旦编码器已经生成处于最低LOQ#B的再现X^B，编码器开始生成可以允许解码器重构分层层级的合适再现的经编码数据，其中是每一个跨度的经重构的再现。

虽然对于过程的下采样阶段，编码器可以已经通过仅处理单个批（例如批1）的处于LOQ#0的跨度的序列进行了操作，但是对于“模拟解码和重构数据计算”阶段，编码器需要对生成预测必要的所有数据并且因此还需要属于后续批的数据。由于在原则上这可能生成长编码延迟和/或计算复杂度，因此所说明的非限制性实施例将具有来自相邻批的预测器的可能性仅限制到紧接的后续批。这样，为了成功编码信号的批1，编码器“仅”需要接收针对批1和批2的处于LOQ#0的跨度的原始序列。

对于处于底部水平的一个或多个跨度，并且仅对于那些跨度，编码器直接经由残差计算器120+B计算残差，假设U=0，并且生成重构数据180+B。

编码器然后通过模拟解码器190+B模拟将在解码器侧执行的解码操作，生成再现1000-B（Y^B）。这在数学上如下表述：

其中h()是（至少在可能的程度上）对由编码器在X^B上执行的操作Tr()“求逆”的函数（例如作为非限制性示例，分解变换，其后是量化）。基于再现Y^B的合适性（根据合适质量度量）并且基于重构数据180+B的信息熵（根据合适信息熵度量），编码器决定是继续进行下一质量水平还是根据不同操作和参数迭代重构数据180+B的生成。

对于层级中的后续（较高）质量水平的跨度，对于每一个跨度，编码器生成（通过模拟解码器190+B，……，191,190）预测U。特别地，模拟解码器块执行合适的上采样操作，其利用较低质量水平的一个或多个跨度作为“预测器”。

通过模拟预测操作，编码器随后能够生成将被解码器需要以便修正预测和重构合适的信号再现的残差数据。例如，通过比较再现101（X^-1）与预测111（U^-1），残差计算器121生成绝对残差131（R^-1）。绝对残差131被重构数据生成器171进一步处理，从而计算残差数据181。模拟解码器181处理重构数据181，从而生成再现1001（Y^-1）。再次，基于根据质量度量的再现1001的合适性，并且基于根据信息熵度量的重构数据181的信息熵的合适性，解码器决定是继续进行下一（较高）质量水平、计算预测110（U⁰）还是根据不同的操作和参数迭代重构数据181的生成。

当已经生成了所有重构数据，编码器继续进行熵编码步骤，从而生成经编码数据的集合和合适元数据（例如报头、同步标记等）。

图1G是进一步图示描述在图1E中的解码器实施例的示例图。

被配置为解码器的信号处理器接收重构数据和允许重构处于最高质量水平的跨度1000的集合的描述性信息。再次，为了便于可读性，该图未显式示出接收的关于运动的描述性信息，其在该非限制性实施例中被除重构器块1090，1091，……，1090+B之外的所有块接收和处理。

从底部质量水平开始并且逐个LOQ进行，解码器执行与编码器模拟的相同的操作以便生成重构数据。特别地，解码器通过残差解码器1020+B处理重构数据180+B（即针对底部水平的重构数据），从而生成估计残差1030+B。所述估计残差1030+B与默认预测110+B组合（U^B=0），从而生成处于底部质量水平的一个或多个跨度1000+B（Y^B）。再现1000+B（Y^B）然后被预测计算器1010+B处理，从而生成预测110+B+1（U^B+1）。解码器然后（逐个LOQ，直至基于可用数据可以重构的最高质量水平的跨度）进行生成较高LOQ的预测跨度的过程，解码重构数据以便生成绝对残差的再现并且组合预测跨度和对应绝对残差，由此重构处于较高质量水平的再现Y。

在其它非限制性实施例中，为了应对特定情形（例如解码等待时间、可用解码存储器等），代替逐个LOQ地执行重构过程，解码器一接收到必要的经编码数据并且一完成重构生成针对给定跨度的预测所必需的较低质量水平的跨度就重构较高质量水平的给定跨度。这样，代替“逐层”进行，重构过程保持跨各种质量水平上下移动。

在非限制性实施例中，残差解码器1020+B，1021，1020通过还解码针对残差的合适的支持信息（“支持平面”）来生成估计的绝对残差1030+B，……，1031，1030，其中利用相同支持平面来生成针对给定LOQ的多个跨度的绝对残差。在其它非限制性实施例中，通过还应用逆分解变换（例如包括但不限于逆定向分解和/或逆时间分解）来计算绝对残差。

在其它非限制性实施例中，解码器至少部分地基于对应于必须使用的去量化方法的所接收的描述性信息，根据特定于残差的每一个集合的量化方案而去量化残差。在非限制性实施例中，可用量化方案包括但不限于具有不同死区和恒定量化步长的方案（编码器针对其指定对应于死区的参数和/或量化步长的长度）、具有不同死区和可变量化步长的方案（编码器针对其指定对应于死区的参数和/或允许计算所有量化步长的函数）、具有不同色彩空间中的量化的方案（例如，作为非限制性示例，诸如伽马空间之类的非线性空间）。在其它非限制性实施例中，针对特定质量水平（例如最高质量水平）的残差的去量化还包括统计重构方法（例如抖动、统计去量化、暂态层的重构和组合等），以便更好地表示在量化之前的原始残差沿量化范围分布。

在非限制性实施例中，解码器接收对应于层级的结构的描述性信息（例如每一个LOQ的每一个跨度的特性等），从而允许其在给定可用重构数据的情况下计算可以生成什么跨度。

在非限制性实施例中，预测计算器1010+B，……，1011和1010选择针对给定跨度的预测器跨度并且根据对编码器和解码器二者已知的默认参数应用上采样操作。在非限制性实施例中，默认上采样操作包括但不限于直至给定LOQ的线性滤波和针对最高LOQ的三次滤波。在另一非限制性实施例中，解码器接收对应于在上采样操作期间使用的操作和参数的描述性信息（例如没有限制地，上采样内核、用于图像处理操作的参数等）。

图1H是进一步图示了预测计算方法的非限制性实施例的示例图。预测计算器1010+K接收属于批L₁，……，L_n的预测器跨度的再现Y^K(t₁)，……，Y^K(t_n)。预测计算器1010+K还接收针对每一个预测器跨度的关于运动的信息及其采样位置。

运动补偿器10010-1，……，10010-n通过执行关于采样位置t₀的运动补偿操作来生成经运动补偿的再现的集合MC(Y^K)。最后，预测生成器10020组合预测器跨度的经运动补偿的再现，从而生成处于较高质量水平的经上采样的预测U^K+1(t₀)。

在其它非限制性实施例中，与运动补偿操作联合执行上采样操作，使得预测生成器10020组合处于质量水平K+1的经上采样的经运动补偿的再现。在再其它非限制性实施例中，在被运动补偿之前沿空间维度对预测器跨度的再现Y^K(t₁)，……，Y^K(t_n)进行上采样。

图2A、2B、2C和2D是图示了实现元素的两个二维平面的组合（即根据图1B、1C和1D中图示的内容，或者聚合或者下混合）的不同非限制性实施例的示例图。为了简单起见，所有四幅图在视觉上图示了仅时域中的下采样，而事实上它们示出较高LOQ的两个跨度100-1和100-2到较低LOQ的单个跨度的下混合。然而，针对下混合说明的相同考虑对相同LOQ内的聚合也有效。

聚焦在对跨度100-1和100-2进行下混合以便生成LOQ#1的经下采样的跨度（例如101-1）的示例情况上的四幅图还图示了应用不同运动补偿方案的效果（并且特别地，还有由于文献的缺乏而被我们定义为“非对称平衡运动补偿”的新颖方法）。在数学上，所有三个示例实施例应用以下公式，尽管具有不同的运动补偿操作：

。

相对于经下混合的跨度的采样位置执行运动补偿操作。如果以合适的格式对关于运动的描述性信息进行编码（例如，利用运动区和运动矩阵的浮点运动补偿的我们的新颖方法），可以以非常高效的方式表述和计算相对于不同采样位置的运动补偿操作。

在本文描述的非限制性实施例的集合中，对于被分配关于运动的描述性信息的信号部分，运动利用多个参数而被估计并且被计算为“平衡运动”（或者“双向运动”）：本质上，代替指定从一个跨度相对于另一个的移动，它指定从两个跨度相对于公共参考位置的运动以便实现双向解码。这样的实施例中的一些通过使用一个或多个运动矩阵（例如，与使用指示仅平移移动（即偏移）的运动向量的常规方法相对）来表示运动。运动矩阵的使用（即编码超过两个参数以便表示特定运动）是这样的非限制性方法的新颖和关键特性，其实现比如缩放、旋转、视角改变等的更复杂的移动的估计和补偿。运动矩阵在其中平移移动被视为足够（例如由于已知采样约束或复杂度约束）的实施例中有时折叠成单个偏移向量。在其它非限制性实施例中，移动由对应于仿射变换的一个或多个运动矩阵表示，其具有通过使用齐次坐标方法计算的经运动补偿的坐标。每一个运动矩阵被分配给特定和任意限定的信号部分，我们将其定义为“运动区”。在其它非限制性实施例中，运动矩阵对应于更一般的透视变换，从而允许描述移动的甚至更复杂的集合。

运动矩阵（以及，对于使用它们的实施例，运动区）被传输到解码器，并且具有若干优点：例如，它们可以被反向，并且跨许多采样位置的相同运动区的运动可以通过适当地组合（例如相乘）对应于每一个时间步骤的运动矩阵来计算。已经说到，运动矩阵和运动区仅仅是运动估计和补偿的许多非限制性实施例之一，并且本文描述的方法可以适当地与大体上任何类型的运动估计和补偿方法一起工作。

图2A图示了不应用运动补偿（或者，等同地，借助于恒定身份函数运动补偿）并且因此也是不应用“框架”的效果。

在t=1采样的跨度100-1和在t=2采样的跨度100-2合并成在t=（1+2）/2=1.5采样的跨度101-1.5。经下混合的跨度101-1.5的采样位置是跨度100-1和100-2的原始采样位置的平均的事实从图示是明显的。实心圆对象201-0从图像的左下角（跨度100-1，采样位置1）移动到图像的右上角（跨度100-2的对象202-0，采样位置2）。按因子2对跨度100-1和100-2进行线性下采样（例如三线性下混合）产生跨度101-1.5，其中水平和竖直维度被等分并且实心圆对象看似部分透明并且在两个跨度位置可见：本质上，通过看向该跨度，观察者正在看采样位置1和2之间的对象的整个运动，其本质上定位在（从时间观点来看）两个极端之间。在其中可见对象的速度低于预定阈值（即时间相关性极其高）的非限制性实施例中和在其中经重构的再现中的运动模糊程度可接受的条件中使用该简单三维（即空间-时间）下采样方案。非限制性实际示例是以非常高的分辨率和1,000帧每秒的缓慢移动场景镜头的视频。

在其它实施例中，运动估计和补偿是有用的，以便执行N维下采样。

当执行运动补偿时，空间下采样和时间下采样（“混合”）可以单独地或与若干可能组合联合地执行。在非限制性示例实施例中，跨度被运动补偿并且然后应用三维下采样。在另一非限制性实施例中，执行空间下采样，其后是运动补偿并且最后是时间下采样。在另一非限制性实施例中，空间下采样与运动补偿组合，并且其后是时间下采样。

图2B是图示了平衡运动补偿的非限制性示例的示例图。

非限制性示例实施例确定对象的运动并且估计它们在关于两个原始跨度的采样位置中间的跨度时间的位置。为了维持对称性，以平衡方式执行运动补偿，以便在利用时间下采样操作将两个跨度“合并”在一起之前将它们重定位在高度相关的中间位置中（本质上对应于在关于两个原始跨度的位置1和位置2的中间位置——即采样位置1.5——的位置进行采样）。

在该简单情况中，对象以简单平移运动移动（即偏移）。要在两个运动补偿操作中使用的针对对象的关于移动的描述性信息因此通过单个向量表征，因为其它向量被计算为“补向量”。

这样的平衡方案的益处在于避免参考图像和/或针对移动的偏好方向的任何选择。以该方式结构化的运动信息可以用于估计对象在重放正在移动的任何时间方向上的移动，本质上实现双向重放（通过基于运动估计和补偿的编码技术目前从未提供的特征）。

为了适当执行运动补偿操作，产生元素的目的地平面201-1.5bis，其对应于在必须显示经下采样的跨度101-1.5bis的情况下将发送到显示设备的图像。同时，从图2B中清楚的，跨度101-1.5bis得益于大于仅目的地平面201-1.5bis的元素的平面的分配，以便还包括除在目的地平面之外的可能有用（特别是在附加和/或逆运动补偿操作之后）的元素以便生成针对跨度100-1和100-2的预测，以及在附加下采样操作期间。

由于文献的缺乏，我们创建新的术语“框架”来定义关于目的地平面201-1.5bis的跨度101-1.5bis的附加行和列。

跨度101-1.5bis因此是平面220-1（表示在其移位位置中的跨度100-1）和220-2（表示在其移位位置中的跨度100-2）的组合。如从图2B明显的，跨度101-1.5bis包含具有非常不同的重要性水平的平面元素。属于区域220-1和220-2的元素是包含相关信息的“有效”平面元素。所有其它元素（由具有对角线的区域在图中图示）是空值（null）元素或者“不可用”元素（250-1）。它们不被传输到解码器（在面向压缩的实施例中），并且解码器精确地知晓区域220-1和220-2的位置和尺寸，其中与运动信息的相同精度是已知的。在该示例中，“不可用”元素不与具有“有效”值的元素平均。在涉及包括“不可用”元素的元素集合的加权平均的所有操作中（或者在下采样期间或者在上采样期间），将“不可用”元素从加权平均排除，并且针对剩余元素的权重被归一化以便其和等于1（在图示的非限制性实施例中，这通过向所有剩余权重添加相同常量来实现）。

如果必须显示该跨度，具有值但是在目的地平面201-1.5bis外的元素将不被示出，但是仍旧有用：例如以支持解码过程期间的上采样操作，以及支持编码过程期间另外的下采样操作。

在非限制性优选实施例中，相对于目的地平面的尺寸的框架量在每一个相继较低LOQ增加，这对应于以下事实：较低LOQ的跨度是较高数目的经运动补偿的跨度的结果（即包含较大量的时间），并且因此可能允许较高程度的移动。

图2C图示了利用平衡运动补偿的时间下采样的另一个示例情况，这次引入更加复杂类型的移动（特别地，尺度变换，即缩放）。先前的情况说明了包括偏移信息的运动信息（其为典型地通过目前工艺水平运动估计和补偿方法表示的信息）。本文说明的非限制性实施例利用平衡运动估计和补偿方法，而同时还表示更加复杂类型的运动，包括但不限于偏移、旋转、缩放/发散、视角改变等。特别地，本文说明的非限制性实施例表示具有仿射（或“ZRO”）运动矩阵的移动，其由四个ZRO参数标识（一个参数用于缩放，一个参数用于旋转并且两个参数用于偏移）。

类似于我们在图2B中描述的，同样在图2C中所得到的经下采样的跨度以采样位置1.5为中心。

图2B和图2C二者，除示出平衡运动补偿的益处之外，还相当清楚地示出使经下采样的跨度以中间（即潜在地非整数）采样位置为中心的限制。尽管使经下采样的跨度以处于较高质量水平的其对应跨度之间为中心在理论上是简洁的，但是分数采样位置生成问题，借此显示处于比最高LOQ低的质量水平的信号成为必要。首先，从最高质量水平（具有其原始采样速率）动态切换到较低质量水平（具有分数采样速率）将造成在对象的运动中感知到的“颤抖”和“断断续续”。其次，如从图2B和图2C明显的，所得到的跨度的目的地平面（即在必须显示跨度的情况下要显示的图像）将在两个原始跨度之间的中间位置，并且因此它将会以可见的“不可用”区域为特征，这观看起来很可能至少与以上提及的颤抖一样不舒适。非限制性实施例通过仅在具有奇数数目的跨度的群组上应用对称时间下采样（使得中间采样位置是整数采样位置，并且目的地平面以所述奇数跨度群组的中间跨度为中心）来解决这样的问题。解决这样的问题同时仍旧允许对偶数数目的跨度进行下采样的另一非限制性实施例由图2D图示。

图2D图示了——针对与图2B中相同的源信号——“平衡非对称运动补偿”的非限制性示例实施例，其实现平衡运动补偿的所有益处而没有以上提及的中间（对称）采样位置的限制。

跨度100-1和100-2仍旧根据可逆运动变换被运动补偿（在特定非限制性实施例中，针对每一个相关运动区的合适ZRO运动矩阵），但这次关于等于1的采样位置，而不是1.5。因此针对跨度100-1的运动补偿信息可直接从针对跨度100-2的运动补偿信息计算仍旧为真，或者反之亦然：运动补偿的确仍旧“平衡”，即双向。

同时，经下采样的跨度101-1由本质上与跨度100-1相同的目的地平面201-1表征（其具有来自跨度100-2的一些信息的可能添加但是定位成与跨度100-1一致）。作为结果，如果必须要显示跨度101-1，将不存在任何“不可用”区域，并且同样在采样速率方面，不管某些“混合”效果如何，在对象的移动中将不存在感知到的颤抖。

图3A是图示了实现残差数据的多预测编码的非限制性实施例的示例图，其中时间相关的残差信息被分离成“支持平面”Z。

附图示出包括处于给定质量水平的跨度100-1，100-2，……，100-n的序列的原始信号。通过合适方法，编码器生成处于相同质量水平的预测U 110-1，110-2，……，100-n的对应序列。编码器然后通过处理通过比较每一个跨度100-t与其对应预测U 100-t获得的结果来计算绝对残差R 130-1，……，130-n的合适集合。例如，残差数据计算器120-1接收为输入跨度100-1和对应预测U 110-1，从而基于跨度100-1与预测U 110-1之间的差异生成绝对残差R 130-1。以类似方式，编码器生成对应于序列的剩余跨度的绝对残差R 130-2，……，130-n的集合。

信号处理器140（还称为支持平面计算器）被配置成处理绝对残差R 130-1，……，130-n的集合并且生成称为支持平面Z的元素150的集合，其在该实施例中概括时间相关残差信息。

在图3中图示的非限制性示例实施例中，支持平面计算器140还接收描述性信息155，其包括跨跨度的序列的关于运动的信息。

支持平面Z 150的生成通过首先计算绝对残差R 130-t的每一个集合的经运动补偿的再现的加权平均S来执行，所有运动补偿操作关于相同采样位置计算（即在该非限制性实施例中，第一整数采样位置低于或等于序列的跨度的所有采样位置的平均）。计算S的公式通过下式表述：

。

在简单非限制性实施例中，所有权重等于1/n（即简单数学平均）。在另一非限制性实施例中，S被计算为MC(R(i))的统计模式，以便降低“离群残差”对加权平均的影响。

为了允许跨若干不同采样位置的合适加权平均（即最小化信息的损失），运动补偿操作生成具有比残差的输入集合更多的行和列（“框架”）的元素的经运动补偿的集合。此外，运动补偿操作向基于输入（例如绝对残差R的特定集合）并且基于运动信息不能被分配任何合适值的元素的经运动补偿的集合的元素分配默认值（例如“不可用”值）。

在用于计算S的对应加权平均操作中不考虑具有默认值的元素，并且剩余元素的权重被归一化以便使其总和等于1。在非限制性参考实施例中，这种到1的归一化通过将相同常量加和到剩余元素的所有权重来实现。在其它实施例中，这样的归一化通过将所有权重与相同常量相乘来实现。

编码器然后生成将被发送到解码器以便允许支持元素的重构的重构数据，并且模拟所述重构数据的解码，从而重构支持平面Z 150的再现：

。

编码器然后通过针对每一个给定集合计算绝对残差R的对应集合与关于所述给定集合的采样位置的支持元素Z的经运动补偿的再现（“参考残差”）之间的差异来计算相对残差R^II的集合（即元素160-1，……，160-n）：

。

最后，编码器生成对应于相对残差R^II的集合的重构数据的集合并且模拟由解码器执行以便重构跨度的序列的再现Y的操作。特别地，对于每一个给定跨度X(t) 100-t，编码器通过组合预测U(t) 110-t、关于采样位置t的支持平面Z 150的经运动补偿的再现和经解码的相对残差R^II(t) 160-t的对应集合来生成经重构的再现Y(t)：

。

例如，为了模拟针对跨度100-1的再现Y(1)的重构，编码器组合预测U 110-1、相对残差R^II 160-1和相对于采样位置t=1计算的支持平面Z 150的经运动补偿的再现。在解码器侧，解码器将执行那些相同操作，接收允许生成预测U 110-1的经编码数据、对应于运动信息的经编码数据、对应于支持平面Z 150的经编码数据和对应于相对残差R^II 160-1的经编码数据。

我们将元素的集合Z 150称为针对处于给定质量水平的跨度的给定序列的“支持平面”，因为它“支持”绝对残差R的重构。本质上，它还通过采用绝对残差的时间相关性来支持重构所述序列所必需的重构数据的（例如以比特为单位的编码量的）信息熵的降低。通过将时间相关的绝对残差数据集中在单个“残差的超集”中（即直观上，通过避免多次重复相同残差信息用于后续跨度，而同时避免从先前一个预测残差的每一个平面），支持平面最大化在量化后大体上等于零的相对残差的数目，因此降低对应于残差数据的总体信息熵的度量。

我们还将该方案定义为“多预测编码”方法，因为针对给定跨度的经重构的再现通过将相对残差与两个预测组合来获得：针对跨度的预测（第一预测，其利用任何合适方法生成）和针对绝对残差的预测（第二预测，其通过对支持平面进行运动补偿生成）。

如以上解释的，常规方法（例如在视频信号的情况中，基于MPEG的技术，VP8等）通过编码/解码比照在先或后续样本的差异来采用时间相关性（因而生成关于彼此编码的样本的“时间级联”，具有随时间的误差积累和本质上单向重构/重放）。“时间下采样”和“时间聚合”的本文描述的方法——包括但不限于目前说明的所有方法——包括时间编码/解码混合信息（在分层时间层级的情况中子采样，在支持平面的情况中以相同分辨率或甚至以较高分辨率），其充当公共预测器并且大体上概括多个跨度的相关信息，从而允许（1）利用跨跨度的较长序列的时间相关性（由于不存在误差的积累），（2）执行双向重构/重放和（3）还执行序列中的任何跨度的随机访问重构。作为非限制性示例，大量量化允许重构给定跨度的相对残差的决策（即创建一个跨度中信息的明显损失和/或伪像的决策）不影响基于相同支持平面和处于较低LOQ的预测器的相同集合重构的处于相同LOQ的其它跨度。同样，解码可以以反向时间次序执行（例如，视频的平滑反向播放，如与仅从I帧跳到先前的I帧的当前方法相对），因为任何一个跨度的重构不要求以时间次序的先前跨度的经重构的再现的可用性。

附加非限制性示例实施例

图3中图示的支持平面计算的示例应当意指为是非限制性的。

在其它非限制性实施例中，编码器通过适配加权平均的权重以便最小化针对相对残差R^II 160和支持平面Z 150的信息熵的度量来计算支持平面Z 150。在这样的实施例之一中，编码器选择用于生成支持平面Z 150的加权平均的权重以便最大化大体上等于零的相对残差R^II 160的数目（尤其在合适量化过程之后）。在另一个这样的实施例中，编码器根据迭代优化方法调节支持平面Z 150的值，以便最小化针对相对残差R^II 160和支持平面Z 150的信息熵的度量，而同时维持针对再现Y的质量度量高于阈值。

在其它非限制性实施例中，编码器在计算支持平面Z 150之前处理绝对残差R 130的集合。在这样的实施例之一中，使对应于不同跨度的绝对残差R 130适当相等，以便增强在诸如在大体上相同场景中的光照条件的改变之类的情况中残差数据的时间相关性。编码器还生成描述性信息的适当集合，以便在将用于支持平面Z 150的适当处理的恰当信息与相对残差R^II 160的对应集合组合之前为解码器提供所述恰当信息。

在其它非限制性实施例中，借助于合适变换（例如选自包括但不限于分解变换、阿达玛（hadamard）变换、DCT变换、小波变换等的列表）处理绝对残差R 130。

在其它非限制性实施例中，支持平面Z和相对残差R^II二者借助于选自包括但不限于定向分解（例如选择元素的子集并且编码对应于其定向倾斜和它们的平均与预测平均之间的差异的参数）、时间分解（例如沿时间选择元素的子集并且编码其时间平均和一个或多个时间倾斜）、非线性量化方案、阿达玛变换、DCT变换、FFT变换、小波变换等的列表的合适操作来变换。在这些非限制性实施例中的一些中，基于在相同作者的其它专利申请中描述的多尺度变换方法，至少部分地基于处于较低质量水平的跨度的再现编码和解码针对跨度的变换残差。

在其它非限制性实施例中，支持平面计算器140通过处理原始跨度100-1，……，100-n（被适当运动补偿）的加权平均而不是残差130-1，……，130-n的对应集合的经运动补偿的再现的加权平均来计算支持平面Z 150。方法大体上是类似的，尽管通过基于原始跨度计算支持平面Z 150，支持平面包括不同信息，因而产生不同结果。在这样的实施例之一中，以下数学公式描述在编码器处执行的操作和在解码器处执行的重构过程：

。

在其它非限制性实施例中，支持平面Z 150具有比它支持的绝对残差R 130-1，……，130-n的集合更高的质量水平（例如较高分辨率）。由于在这样的实施例中支持平面Z 150由大体上表示不同位置（包括亚像素（sub-pixel）位置，在图片的情况下）中的相同对象的多个跨度的经运动补偿的再现而得到，通过增加支持平面Z 150的质量水平，编码器允许支持平面Z 150存储具有亚元素精度的公共残差信息，其本质上最大化存储在支持平面Z 150中的时间相关信息的量。

在其它非限制性实施例中，编码器针对每一个跨度100-1，100-2，……，100-n定义合适部分（例如图像的区域），其中支持平面Z 150不被处理，以便生成绝对残差R 130。在这样的实施例之一中，编码器针对一个或多个给定跨度定义图像的部分，其中残差信息与其它相邻跨度的残差信息不相关（例如在视频信号的示例情况中，因为例如那些部分对应于仅在所述给定跨度的持续时间内可见的对象）。因此，编码器生成对应于所述跨度部分的描述性信息。当生成支持平面Z 150时，所述部分的内容不被处理，以便避免用非时间相关信息对支持元素信息的“稀释”。同时，当重构绝对残差R 130-1，……，130-n的集合时，对应于所述部分的相对残差R^II 160-1，……，160-n将直接被处理以生成绝对残差R 130，而不首先与支持平面Z 150的经运动补偿的再现的对应元素组合。在解码器侧（或者在编码过程期间的模拟解码器内），解码器将接收针对给定跨度100-1的关于其中不应当利用支持平面Z 150以便支持绝对残差R 130的重构的部分的描述性信息。作为结果，解码器将根据两个不同方案重构绝对残差R 130：

对于其中可能应用支持平面Z 150的部分：

对于其中可能不应用支持平面Z 150的所述部分：

。

在其它非限制性实施例中，跨度100-1，100-2，……，100-n的序列被分割成多个子序列（“批”）并且编码器生成针对每一个所述批的支持平面Z。针对给定批的跨度的绝对残差由解码器（或者由编码过程内的模拟解码器）至少部分地基于包含在所述给定批的支持平面Z中的信息来重构。特别地，针对给定批的给定跨度的绝对残差的给定集合通过将相对残差的集合与所述给定批的支持平面Z的经运动补偿的再现组合来生成（其中参考所述给定跨度的采样位置执行运动补偿）。

在其它非限制性实施例中，针对给定批L1的跨度的绝对残差R由解码器至少部分地基于包括针对所述给定批的支持平面Z_L1和针对一个或多个相邻批的支持平面Z_Ln的多个支持平面Z_L1，……，Z_Ln重构。在这样的实施例之一中，针对给定批的给定跨度的绝对残差R的给定集合通过将相对残差R^II的集合与所述给定批的支持平面Z的经运动补偿的再现和相邻批的支持平面Z的经运动补偿的再现的加权平均组合来生成，其中相对于所述给定跨度的采样位置执行两个运动补偿操作。在其它实施例中，甚至多于两个支持平面Z支持绝对残差R的特定集合的重构。利用相邻批的支持平面Z——尽管由于编码器在能够终止针对批的经编码数据之前需要处理多个批而潜在地增加编码延迟——允许这样的实施例降低属于不同批的跨度之间的潜在突然不连续。

在其它非限制性实施例中，针对给定批L1的跨度的绝对残差R由解码器基于所述给定批的支持平面Z_L1来重构，并且基于处于甚至更高的聚合水平的支持平面Z^II编码两个或更多相邻批的多个支持平面Z_L1，……，Z_Ln。每一个给定支持平面Z_L1，……，Z_Ln通过将支持平面Z^II的经运动补偿的再现（其中参考每一个给定支持平面的采样位置执行运动补偿）与相对残差的对应集合组合来重构。在这样的非限制性实施例之一中，编码器生成针对支持平面的聚合水平的分层层级，其中还基于处于甚至更高聚合水平的附加较高阶支持平面来编码较高阶支持平面。在非限制性实施例中，批尺寸等于两个跨度，并且编码器基于可用的计算资源和最大编码延迟来聚合支持平面直至给定聚焦水平。

在其它非限制性实施例中，在不执行运动补偿操作的情况下生成支持平面Z 150。因此，在解码器处，通过仅组合相对残差R^II 160与支持平面Z 150来生成绝对残差R 130。

在其它非限制性实施例中，支持平面计算器140——除生成支持平面Z 150和相对残差R^II 160-1，……，160-n的集合之外——还生成对应于相对残差R^II的集合中的一个或多个的描述性信息的集合（即元数据）。在针对绝对残差R的给定集合的重构操作期间，解码器（或者编码过程内的模拟解码器）根据通过描述性信息的对应集合指定的操作处理支持平面Z 150和相对残差R^II的对应集合。在这样的实施例之一中，所述描述性信息包括但不限于应用于经运动补偿的支持元素信息的乘法参数（以便例如简单地计及大体上相同场景中的光照的改变）。

在非限制性实施例中，利用支持平面Z的多预测编码方法被用于直接编码图像的序列，即假设预测U全部等于零。

在其它非限制性实施例中，多预测编码方法使用在用分层时间层级方法编码的信号的上下文中。在这样的实施例之一中，编码器生成针对信号的每一个批L的每一个LOQ K的跨度的支持元素；相同LOQ K的不同批的支持平面被编码在支持平面的聚合水平的分层层级中。在这样的实施例中，在每一个质量水平，支持平面在元素的单个集合中（即在针对每一个批的单个二维平面中）传送批的时间相关信息。基于较低LQO（K-1）的合适预测器跨度（在或者空间或者时间或者二者中通过利用合适操作和比例因子上采样）、针对LOQ K的支持平面、关于运动的描述性信息和相对残差数据R^II的合适集合重构给定LOQ K的跨度。支持平面本质上传送元素的单个集合中的给定批的残差数据的时间相关信息，从而允许解码器生成允许重构给定LOQ的跨度的绝对残差数据的合适预测。通过以聚合水平的分层层级编码相邻批的支持平面来有效利用跨批的绝对残差的相关性。

为了利用简单非限制性示例更好地澄清计算和传输针对残差数据的支持平面中的优点，考虑表示静止图像（即所有跨度相同）的视频片段的跨度的批的情况是足够的。在任何质量水平，支持平面完整传送重构批的所有跨度所必需的信息。不需要传输另外的相对残差以便解码和重构所有跨度（即100%的相对残差将会等于零，合适熵编码器可以以非常有限量的信息编码它）。这当然是极端的示例情况，但是易于理解当批属于缓慢运动场景时，或者当场景的大部分是静态的，或者当运动补偿信息可以针对经运动补偿的绝对残差重建类似缓慢运动/静态场景的相关性水平时，基于支持元素信息来编码/解码绝对残差的益处。

在一些非限制性实施例中，解码器被配置成接收对应于仅信号的特定空间部分（例如“分割”）的相对残差数据，因此仅针对所述给定部分重构处于给定LOQ的信号的再现，有效地实现缩放功能。换言之，在这样的非限制性实施例中，解码器接收仅对应于重构处于给定LOQ的整个信号所必需的绝对残差的经重构集合的特定空间部分（“分割”）的重构数据。因此，解码器仅重构绝对残差的集合的部分的序列，执行包括以下的操作：处理重构数据的第一集合，生成支持平面；处理重构数据的第二集合，产生相对残差子平面的序列（例如诸如相对残差的分割），所述相对残差子平面中的每一个对应于绝对残差的平面的序列中的绝对残差的平面的分割；组合所述相对残差子平面中的每一个与至少部分地基于所述支持平面生成的参考值的对应集合，产生绝对残差的分割的序列。

在另一非限制性实施例中，解码器（和编码器内的模拟解码器）——代替基于单个支持平面生成针对给定LOQ的跨度的绝对残差——基于相邻支持平面的经运动补偿的再现（即相邻批的支持平面）的加权平均生成绝对残差。

在其它非限制性实施例中，一个或多个支持平面Z针对分层层级的特定部分（例如，针对小于处于对应质量水平的对应批的跨度的子序列）而被编码/解码。

在非限制性实施例中，支持平面由编码器根据信号的特定特性和压缩要求来生成（借助于非限制性示例，当信号的时间有关特性使得支持平面的传输将不带来益处时由编码器决定跳过支持平面计算）。

在非限制性实施例中，还根据分层分级方法编码给定批L的支持平面的分层层级。在这样的实施例中，对于其中给定批包括单个跨度的所有质量水平，支持平面Z与针对该跨度的绝对残差R相符。基于处于较低质量水平的支持平面的再现，根据二维分层层级对支持平面Z进行编码。在底部水平，假设实施例将量化函数Q(·)应用到残差数据，支持平面Z简单地是S的量化的经去量化的再现，或者在数学上：

。

对于之后的（较高）质量水平，解码器（以及编码器内的模拟解码器）处理处于较低质量水平的Z的再现以生成——通过合适上采样操作——预测V：

。

对于每一个质量水平，编码器生成“理想”（例如预量化和预变换）支持平面S的再现，在该简单非限制性实施例中借助于批的跨度的绝对残差的集合的经运动补偿的再现的简单算术平均（每一个运动补偿操作参考针对支持元素S而选择的采样位置来执行）：

。

针对该给定LOQ的支持平面残差R^I然后被计算为S与其预测V之间的差异：

。

作为结果，在解码器（以及在编码器内的模拟解码器）处重构的支持元素Z的再现为：

。

由编码器执行的剩余操作大体上类似于已经针对其它非限制性实施例描述的那些。编码器基于R和Z计算相对残差R^II：

。

解码器（以及编码器内的模拟解码器）可以因此最终重构信号Y的再现：

。

在非限制性实施例中，针对批的支持平面为在批中居中的平面的分层层级（即，具有（用于运动补偿操作的）等于批的最高跨度的采样位置的平均的采样位置）。

在另一非限制性实施例中，支持平面是具有低于或等于处于最高质量水平的批的跨度的采样位置的平均的最高质量水平（例如LOQ#0）的整数采样位置的平面的分层层级。这样，支持链平面总是在与信号的原始采样速率一致的采样位置中居中，从而简化运动补偿操作（如当说明平衡运动补偿、采样速率颤抖、框架和“不可用”元素时描述的那样）。

除支持信号的重构之外，利用分层层级方法编码的支持平面的确是其自身的子产品（即自给自足的分层层级，其可以独立于信号的其余部分而重构）。这被若干非限制性实施例采用。例如，在非限制性实施例中解码器可以将其处理限制到仅解码针对处于给定LOQ的批的支持平面重构数据，并且显示——在对应批的持续时间内——基于支持平面的图像。这样的实施例的示例应用是非常低带宽连接或者具有小量资源（例如，像是存储器或计算能力）的解码器或甚至其中要求信号的快速和近似再现的情形（例如加速导航、快进或快速倒带重放等）的情况，因为支持元素本质上传送关于处于给定质量水平的信号的批的平均信息。

在其它非限制性实施例中，编码器通过处理先前编码和传输的跨度而不是通过利用当前批和/或后续批来计算支持平面。该方案具有以下优点：在编码器侧用于计算支持平面的相同跨度已经在解码器侧处可用，因此不需要向解码器传输支持平面重构数据。同样，方案在低等待时间条件中是有用的（例如，没有限制地，视频会议应用），当编码器在开始编码过程之前不能等待跨度的完整批的可用性时。

在其它非限制性实施例中，通过处理跨度的移动平均来计算支持平面，并且原则上不需要关于支持平面的任何信息被传输到解码器（尽管在另一非限制性实施例中这样的信息无论如何都被周期性传输以便确保在编码器和解码器侧处可用的信息之间的对齐）。作为非限制性示例，计算为移动平均的支持平面在诸如视频会议之类的实时低等待时间应用中是有用的，其中不可能引入长等待时间（例如通过使用长批），但是时间相关性仍旧极其高。在这样的实施例中，在信号的跨度被解码和重构时解码器计算和更新针对每一个LOQ的支持平面。在非限制性实施例中，采取简单移动平均方案。在另一非限制性实施例中，来自不同跨度的信息通过利用指数衰减加权系统来平均。在又一非限制性实施例中，使用基于精度的加权方案，基于相同作者的先前专利申请中描述的方法，其中本质上编码器向解码器分配和传输针对每一个跨度的精度值（例如对应于跨度的统计精度，或者逆方差），并且解码器产生两个缓冲器：缓冲器Z^old，其包含用于针对其计算支持链的先前采样位置的支持链的再现，以及缓冲器p^old，其包含针对Z^old的每一个对应元素的相应值的精度。在任何T=t，将对在采样位置t处的跨度的支持链的“贡献”（例如其绝对残差R的对应集合）定义为Z^new，缓冲器中的新值如下计算，其中以小写的字母表示以大写的对应平面的给定坐标（x，y）处的特定元素：

。

相对于被计算的新支持链的采样位置计算运动补偿操作。

MC_xy(·)标识具有元素MC(·)的平面的坐标（x，y）的元素。

β、a和b是合适的参数。在一个示例实施例中，a = b = 1。

为了计及时间相关性中的不连续，非限制性实施例添加以下描述的操作，当最后给定跨度的值与包含在缓冲器z^old中的对应经运动补偿的值之间的差异高于合适阈值时其将坐标（x，y）中的p^old的值“重置”为零：

如果阈值，则：

。

如已经提及的，沿时间维度利用支持平面应当意图为仅是用于公共预测器方法（或者“多预测编码”方法）的应用的非限制性示例。聚合若干跨度的信息（到预测器超平面中）和编码/解码关于通过处理这样的聚合信息生成的预测的残差的方案还可以适用于信号的其它维度（即不一定是时间），并且潜在地还适用于相同信号的多于一个维度。当应用于时间维度时，采取使用某种形式的运动估计和运动补偿的实施例是合乎惯例的，如先前描述的那样。然而，同样对于其它维度和其它类型的信号，支持预测器方法可以以补偿处理的形式实现，其旨在将跨度聚合成支持平面之前“重对齐”跨度（因此“提取”它们的相关信息）。例如，非限制性实施例采取跨多通道音频信号的不同通道的支持预测器方法。这样的实施例根据分层层级方法编码和解码多通道音频信号，其中针对每一个通道的跨度被表示为元素的集合（作为非限制性示例，针对跨度的平均幅度值和平均音调值），并且根据支持元素残差数据的集合编码针对不同音频通道的对应跨度的残差数据，根据合适描述性信息跨通道“运动补偿”（即应用本质上对应于重对齐相关跨度的操作）支持元素残差数据（因而计及不同通道中的相同声音的不同时间位置——本质上基于声音源比照麦克风的3D位置）。

另一非限制性实施例通过将类似于针对视频信号的时间维度说明的那些的多预测方法应用到体积信号的一个或多个维度来编码和解码大体积数据。

另一非限制性实施例通过将类似于针对二维跨度的序列说明的那些的方法应用到三维跨度的序列（即支持平面Z是元素的三维超平面）来编码和解码体积视频。

如先前陈述的，从所描述的非限制性实施例清楚的是，基于一个或多个支持预测器的编码/解码的新颖方法具有多个优点。首先，支持平面允许降低残差数据的信息熵。当用于基于时间的信号时，沿时间维度的支持平面特别有用，特别是由此编码器恰当地执行批剪切、场景剪切和（如果存在的话）运动估计/补偿。支持平面在它们应用在分层层级方法的编码/解码循环内时也非常有用。

一般，跨度的序列的相关性越高，支持平面在预测绝对残差中提供的益处越高。

图3B是图示了实现基于支持元素信息对元素的多维平面的序列进行编码的非限制性实施例的示例图。

平面300-1，……，300-N被编码器310处理，编码器310产生经编码数据流。特别地，所述经编码数据流包括经编码数据#1 320、描述性信息330-1，……，330-N的集合和经编码数据#2 340-1，……，340-N的集合。

经编码数据#1 320被支持重构器350接收和处理，所述支持重构器350产生支持平面355。

支持平面355被解码器用作基线以重构对应于原始平面300-1，……，300-N的合适再现。特别地，支持平面355被参考重构器360处理，所述参考重构器360产生参考平面365-1，……，365-N，其每一个通过基于描述性信息330-i的对应集合处理支持平面355来获得。在非限制性实施例中，获得每一个参考平面365-i的图像处理操作包括基于对应于描述性信息330-i的集合的运动信息执行支持平面355上的运动补偿操作。

相对残差重构器370接收和处理经编码数据#2 340-1，……，340-N的集合，从而产生相对残差375-1，……，375-N的集合。

解码器然后通过组合参考平面365-1，……，365-N与相对残差平面375-1，……，375-N产生经重构平面380-1，……，380-N。

图4A是图示了利用多预测编码以分层时间层级编码的三维基于时间的信号的非限制性实施例的示例图，并且特别地还通过利用支持平面以便对残差数据进行编码。示例输入信号与图1E中描述的那个相同，出于所有实际目的，我们可以将其认为是包括二维帧的序列的视频信号。

图形表示不同于图1E中采取的那个（特别地，它不表示不同持续时间和每一个跨度的采样位置），因为图4A示出对应于每一个跨度的绝对残差R的集合（与跨度自身相对）和处于所示LOQ中的每一个的针对每一个批的支持平面。图4A图示了如何针对处于不同质量水平的跨度的残差数据的量具有越来越低的空间分辨率（即元素的量）和——对于LOQ和其中将框架应用于支持平面的批——处于给定质量水平的给定支持平面的再现具有比对应于所述支持平面支持的相同质量水平的跨度的绝对残差的集合更高的元素量。

在该非限制性实施例中，针对批的支持平面以紧接低于或等于处于LOQ#0的批的跨度的采样位置的平均的LOQ#0的整数采样位置为中心。特别地，针对批1的支持平面SP1的链以采样位置t=4为中心，而针对批2的支持平面SP2的链以采样位置t=11为中心。

对于特定示例情况，重构针对直至LOQ#-3的批的绝对残差对于两个批而言等同于仅仅重构支持链，即绝对残差的集合134-4与支持平面SP1-4相符，绝对残差的集合133-4与支持平面SP1-3相符等。相反，支持平面具有其自身针对质量水平的不同标识，其中批由多于一个跨度表示。例如，对于批1的LOQ#-2，支持平面SP1-2不同于绝对残差R的集合102-2和102-6。

编码和解码操作根据上文说明的方法工作。被配置为编码器的信号处理器（“编码器”）接收处于原始质量水平（“LOQ#0”）的信号的再现（例如以恒定采样速率的二维跨度的序列，其中每一个跨度由给定采样位置和给定持续时间表征）。编码器通过处理信号和生成运动信息开始。至少部分地基于所述运动信息，编码器标识独立于先前和后续序列编码的跨度的合适序列（即“批次”）；至少部分地基于合适编码参数，编码器还将批次划分成跨度的一个或多个“批”。更特别地，如图4A中图示的，编码器标识13个跨度的批次并且将其划分成包括8个跨度的批1和包括5个跨度的批2。

在每一个批内，编码器开始执行合适下采样和/或混合和/或下混合操作（还包括运动补偿操作以便适当地计及跨跨度的运动），生成针对信号的较低质量水平。当较低质量水平的跨度是处于较高质量水平的经运动补偿的跨度的组合的结果时（与仅处于较高质量水平的跨度的空间下采样相对），编码器通过向较低质量水平的跨度添加附加行和列来引入一定程度上的“框架”，其超出将被示出的实际图像（“目的地平面”），由此必须以该质量水平显示信号。为了可阅读性起见，在图4A中未示出信号的实际跨度。

当批的经下采样的再现的一个维度达到1个元素的分辨率时，用于随后较低层的下采样继续仅沿剩余维度下采样。例如，在LOQ#-2，批2达到等于1个元素的时间分辨率（即整个批由仅一个跨度表示），因而从LOQ#-2到LOQ#-3的批2的下采样通过仅沿空间维度下采样（其典型地具有高得多的分辨率）而继续。

每一个批内的下采样过程继续直到达到底部质量水平。在图4的非限制性示例中，底部LOQ为LOQ#-4。

一旦编码器生成底部LOQ#-4，编码器生成针对底部水平的绝对残差的集合134-4和135-11（在该简单非限制性实施例中，通过对底部水平的两个跨度的元素进行量化）；在LOQ#-4，所述绝对残差的集合134-4和135-11还分别与处于LOQ#-4的批1和批2的支持平面SP1-4和SP2-4相符。作为结果，在LOQ#-4，支持平面残差R^I与绝对残差R相符，并且相对残差R^II全部等于零。

编码器然后开始模拟在解码器侧执行的操作，执行合适上采样操作并且生成针对LOQ#-3的预测跨度。在该非限制性实施例中，编码器利用时间上采样操作，其中内核包括直至LOQ#-1的每一个维度的两个元素和从LOQ#-1到LOQ#0的每一个维度的四个元素。如之前已经提及的，这归因于以下事实：在较低LOQ，元素在时间和空间二者中更加远离，因此元素之中的相关性可能相对局限（例如，它带来有限益处，并且有时它甚至起反作用，以“要求”对不相关跨度的“贡献”）。

通过比较预测跨度与经由下采样生成的分层层级的经下采样跨度，编码器生成绝对残差的集合133-4和133-11，其再次与处于LOQ#-3的两个支持平面SP1-3和SP2-3相符。

编码器基于针对LOQ#-3的经重构的再现通过生成针对LOQ#-2的预测跨度而继续。通过比较预测跨度与经由下采样生成的分层层级的经下采样的跨度，编码器生成绝对残差的集合132-2、132-6和132-11。在LOQ#-2，批1包括两个跨度，因此支持平面不再与绝对残差的任何集合相符，但是它有效地是用于预测绝对残差的两个集合132-2和132-6的支持元素的集合。编码器因此继续计算支持平面SP1-2，首先通过计算其“理想”（即预编码和重构）再现S：

其中运动补偿操作相对于支持平面SP1-2的采样位置（即t=4）执行。

由于在该非限制性实施例中，支持平面还根据分层分级方法编码，编码器然后继续生成针对支持平面的重构数据，从计算开始，这通过将合适上采样操作应用于处于LOQ#-3的支持平面SP1-3、预测支持平面V。编码器然后计算支持平面残差R^I：

。

作为结果，编码器（模拟将在解码器处执行的操作）重构支持平面SP1-2的再现（在数学上描述为“Z”）：

。

编码器现在能够通过计算绝对残差R的集合132-2和132-6与支持平面SP1-2的经运动补偿的再现（关于每一个对应跨度的采样位置）之间的差异而生成针对批1的LOQ#-2的两个跨度的相对残差的集合（未在图中示出）。

编码器以类似的方式继续直到最高LOQ，生成所有必要的重构数据（例如在该限制性示例情况中，针对每一个批的每一个LOQ的支持平面残差、相对残差和描述性信息）。

在解码器侧，被配置为解码器的信号处理器本质上执行在编码器侧处模拟的相同操作以便生成重构数据。解码器通过接收数据流和解码同步标记元数据而开始以便标识（还基于合适解码参数）要重构的跨度的序列。从最低LOQ开始，解码器重构针对较高LOQ的跨度的预测，重构支持平面数据，通过适当组合支持平面数据与相对残差数据而重构绝对残差数据，并且因此重构针对较高LOQ的跨度的再现。

一旦重构了合适LOQ，信号处理器向用户呈现经重构的信号，例如通过将其传输到重放设备。取决于已经接收的重构数据和/或实时解码约束和/或其它约束（例如最小化计算功率消耗，最小化电力功率消耗，最小化吸收带宽，最大化重放速度等）和/或响应于特定输入参数，编码器还可以停止针对信号的不同部分的以不同LOQ的解码。

再一次，说明的实施例应当被视为是非限制性的，并且本领域技术人员可以容易地推断出如何组合目前利用图4A中图示的示例实施例讨论的所有非限制性实施例和方法。

在其它非限制性实施例中，针对给定批的给定LOQ的支持平面不通过执行沿时间对经运动补偿的绝对残差的加权平均来计算，而是通过执行沿时间对实际经运动补偿的跨度的加权平均来计算。针对给定跨度的绝对残差可以因此通过组合对应相对残差与针对给定跨度的预测跨度与支持平面的经运动补偿的再现之间的差异来获得；已经说到，这些实施例不要求解码器产生绝对残差，因为解码器可以通过仅组合经运动补偿的支持平面与相对残差来生成处于给定LOQ的信号的再现。在这样的实施例中，针对给定LOQ的支持平面实际上表示批的所有相关信息（与仅是相关残差数据相对）。这些非限制性实施例在不存在LOQ的分层层级的情况下特别有用。

在其它非限制性实施例中，相邻批的支持平面信息被适当利用（例如通过计算支持平面的经运动补偿的再现的加权平均）以便生成针对跨度的绝对残差的预测。

在其它非限制性实施例中，相邻批的支持平面被编码在聚合水平的分层层级中。

图4B和图4C是图示了针对给定LOQ的绝对残差的支持平面的非限制性示例实施例的示例图，其中所述支持平面被编码在聚合水平的分层层级中。示例输入信号与图4A中描述的那个相同，出于所有实际目的，我们可以将其认为是包括二维帧的序列的视频信号（我们的跨度，出于本方法的目的）。然而，将信号的批次划分成批是不同的，并且用于基于LOQ#0获得LOQ#-1的下采样操作也是不同的。特别地，如图4C中所示，不同于图1E和图4A中图示的非限制性实施例，在该非限制性实施例中LOQ#-1经由简单空间下采样而获得，即，将相同采样速率维持为LOQ#0。类似的配置是优选的，其中最高LOQ的采样速率相对低，以便避免处于LOQ#-1的再现的质量中的过度下跌。

像是在图4A中那样，图4B图示性地示出对应于每一个跨度的绝对残差R的集合（与示出跨度自身相对）和针对每一个批的支持平面。为了可读性目的，图4B仅示出信号的最高LOQ#0，而图4C示出在下一较低LOQ#-1的支持平面发生了什么。如已经提及的，在该特定非限制性实施例中，图4C中示出的信号的下一较低LOQ具有与最高LOQ相同的采样速率，但是较低的空间分辨率。

类似于图4A中所示的，支持平面SP1-0，SP2-0，……，SP6-0中的每一个支持对应批的绝对残差的集合的重构。然而，不同于图4A中所示的，代替基于处于较低质量水平的相同批的对应支持平面而重构SPi-0，该非限制性实施例基于针对LOQ#0产生的聚合水平的特定分层层级对支持平面进行编码和解码（即不执行空间下采样，而是仅执行经运动补偿的时间混合）。

特别地，被配置为编码器的信号处理器产生针对处于LOQ#0处的每一个跨度的绝对残差R 130-1，……，130-13的集合并且生成支持平面SP1-0，SP2-0，……，SP6-0，其中通过适当组合对应批的绝对残差的集合的经运动补偿的再现来获得每一个平面。在该简化非限制性实施例中，批被选择为最大由三个跨度构成，并且支持平面的采样位置等于每一个给定批的第一跨度的采样位置。将支持平面SP1-0，……，SP6-0说成是针对处于聚合水平（LOA）#0的LOQ#0的支持平面。

编码器然后继续根据在较高聚合水平（LOA#1）的较高阶支持平面SP1+3-0-1编码支持平面SP1-0和SP2-0。特别地，编码器根据SP1+3-0-1的采样位置（在该实施例中设成SP1-0的采样位置，即组合到较高阶支持平面中的平面的较低采样位置）通过适当组合SP1-0和SP2-0的经运动补偿的再现而产生SP1+3-0-1。编码器根据下式基于所述平面与支持平面SP1+3-0-1的经运动补偿的再现之间的差异针对支持平面SP1-0和SP2-0中的每一个生成支持平面残差R^I*（在图中未示出）：

其中S表示如由编码器初始计算的支持平面（即或者SP1-0或者SP2-0），并且Z表示在解码器侧的所述支持平面的经重构的再现（由编码器模拟以便适当生成残差数据，这基于解码器能够重构的内容）。

根据相同方法，编码器产生较高阶支持平面SP3+4-0-1和SP5+6-0-1，以及支持平面残差R^I*的集合（每一个支持平面一个集合），其对于基于较高阶支持平面SP3+4-0-1来重构支持平面SP3-0和SP4-0以及基于较高阶支持平面SP5+6-0-1重构支持平面SP5-0和SP6-0是必需的。

在另一非限制性实施例中，编码器还根据处于LOA #2的一个或多个甚至更高阶的支持平面对处于LOA #1的较高阶支持平面进行编码（例如图4B中所示的较高阶支持平面SP1+2+3+4+5+6-0-2）。在这些实施例中，编码器在开始产生支持平面残差R^I*的集合之前产生直至最高聚合水平的支持平面（通过从最高聚合水平开始模拟在解码器侧的重构过程）。

在解码器侧，解码器通过接收和解码对应于针对处于最高聚合水平的批的批次的较高阶支持平面的重构数据来重构处于LOA #0的支持平面（即为了重构绝对残差的集合所必需的支持平面）。解码器然后重构针对处于下一较低聚合水平的支持平面的预测，并且基于接收的支持平面残差R^I*的集合调节所述预测。解码器重构直至（或更好地来说，低至）最低聚合水平的支持平面的分层层级。

如图4C中图示的，信号的给定批次的每一个LOQ具有其自身的支持平面的聚合水平的分层层级。在该非限制性实施例中，给定LOQ的支持平面的分层层级独立于信号的其它LOQ的支持平面的分层层级。

图5进一步图示了基于支持平面Z 150对平面130-1，……，130-n进行编码和解码的非限制性实施例。

实施例根据类似于已经在本申请的其它章节中详细描述的那些的方法工作。支持平面的生成器500至少部分地基于描述性信息155处理输入平面130-1，……，130-n，从而产生支持平面Z 150。相对残差的生成器510处理输入平面130-1，……，130-n、描述性信息155和支持平面Z 150，从而产生相对残差R^II的集合160（其中所述集合中的每一个对应于特定输入平面130-i）。熵编码器520处理描述性信息155、支持平面Z 150和相对残差R^II的集合160，从而分别产生经编码数据530-155、530-150和530-160。

支持平面的解码器540处理经编码数据530-150，从而产生经重构的支持平面5-150。

相对残差的解码器545处理经编码数据530-160，从而产生经重构的相对残差5-160的集合，所述集合中的每一个对应于特定输入平面130-i的经重构再现。

重构器550处理经重构的支持平面5-150和经重构的相对残差5-160，从而产生经重构的平面5-130-1，……，5-130-n。

图6进一步图示了基于借助于支持平面重构的绝对残差对信号的元素的集合进行解码的非限制性实施例。

运动补偿器630接收和处理支持平面610和关于运动的描述性信息615，从而产生经运动补偿的支持平面635。经运动补偿的支持平面635被参考残差的计算器640利用描述性信息645来处理，从而产生参考残差650的平面。

参考残差650与相对残差620被组合器660组合，从而产生绝对残差670。

绝对残差670与预测600被组合器680组合，从而产生再现Y 690。

图7A和7B进一步图示了基于支持平面对绝对残差的集合进行编码和解码的非限制性实施例。

在被配置为编码器的信号处理器中，绝对残差的平面130-1和130-2被支持平面的生成器700处理，从而产生支持平面Z 750和元数据755。

被配置为解码器的信号处理器接收支持平面Z 750、关于运动的元数据755-1和相对残差760-1。参考残差的计算器710基于关于运动的元数据755-1处理支持平面Z 750，从而产生参考残差740-1的平面。组合器720然后组合参考残差740-1与相对残差760-1，从而产生绝对残差1 730-1的再现（即对应于绝对残差130-1的经编码平面的经重构再现）。

图8是依照本文中的实施例的提供计算机处理的计算机系统800的框图。

计算机系统800可以是或至少包括计算机化设备，诸如个人计算机、处理电路、电视、重放设备、编码设备、工作站、便携式计算设备、移动电话、平板计算机、控制台、机顶盒、网络终端、处理设备、网络设备、操作为交换机、路由器、服务器、客户端等。

应注意的是，以下讨论提供了指示如何如先前所讨论的执行与信号处理器相关联的功能的基本实施例。然而，应注意的是用于执行如本文所述的操作的实际配置可以取决于相应应用而改变。

如所示，本示例的计算机系统800包括通信总线811，其提供与诸如非临时计算机可读存储介质等之类的计算机可读存储介质812的通信，其中可以存储并检索数字信息。

计算机系统800还可以包括处理器813、I/O接口814以及通信接口817。

在一个实施例中，I/O接口814提供到储存库880以及（如果存在的话）到屏幕显示器、音频扬声器、诸如键盘、计算机鼠标等之类的外围设备816的连接。

如上文简要提到的，计算机可读存储介质812可以是任何适当的设备和/或硬件，诸如存储器、光学储存器、固态储存器、硬驱动器、软盘等。在一个实施例中，存储介质812是被配置成存储与信号处理器应用840-1相关联的指令的非临时存储介质（即，非载波介质）。该指令被诸如处理器813之类的相应资源执行以便执行如本文所讨论的任何操作。

通信接口817使得计算机系统800能够通过网络890进行通信以便从远程源检索信息和与其它计算机、交换机、客户端、服务器等进行通信。I/O接口814还使得处理器813能够从储存库880检索或尝试检索所存储的信息。

如所示，可以用由处理器813执行的信号处理器应用840-1作为进程840-2对计算机可读存储介质812进行编码。

应注意的是，可以将计算机系统800体现成包括用于存储数据和/或逻辑指令的计算机可读存储介质812。

与信号处理器应用840-1相关联的代码可以实现本文所述的信号处理器的功能和/或对实现本文所讨论的发明必要的其它资源。

在一个实施例的操作期间，处理器813经由通信总线811来访问计算机可读存储介质812以便启动、运行、执行、解释或以其它方式执行存储在计算机可读存储介质812中的信号处理器应用840-1的指令。信号处理器应用840-1的执行产生处理器813中的处理功能。换言之，与处理器813相关联的信号处理器进程840-2表示在计算机系统800中的处理器813内或上面执行信号处理器应用840-1的一个或多个方面。

本领域的技术人员将理解的是计算机系统800可以包括其它进程和/或软件和硬件部件，诸如控制硬件处理资源的分配和使用以执行信号处理器应用840-1的操作系统或其它软件。

依照不同的实施例，应注意的是，计算机系统可以是各种类型的设备中的任何一个，包括但不限于个人计算机系统、台式计算机、膝上计算机、笔记本、上网本计算机、大型机计算机系统、手持式计算机、工作站、网络计算机、应用服务器、存储设备、诸如摄像机、录像摄像机、机顶盒、移动设备、智能电话、平板计算机、视频游戏控制台、手持式视频游戏设备之类的消费电子设备、诸如交换机、调制解调器、路由器之类的外围设备或者一般地任何类型的计算或电子设备。

再次应注意的是，本文中的技术非常适合于分级系统中的编码和解码。然而，应注意的是本文中的实施例不限于在此类应用中使用，并且本文所讨论的技术也非常适合于其它应用。

基于本文所阐述的描述，已阐述了许多特定细节以提供要求保护的主题的透彻理解。然而，本领域的技术人员将理解的是可在没有这些特定细节的情况下实践要求保护的主题。在其它实例中，未详细地描述普通技术人员将知道的方法、装置、系统等以免使要求保护的主题晦涩难懂。已经在对存储于计算系统存储器（诸如计算机存储器）内的数据比特或二进制数字信号的操作的算法或符号表示方面呈现了详细描述的某些部分。这些算法描述或表示是数据处理领域中的技术人员用来向本领域的其它人传达其工作的实质的技术的示例。如本文所述的算法一般地被视为导致期望结果的操作或类似处理的自相一致序列。在本上下文中，操作或处理涉及到物理量的物理操纵。通常，但不一定，此类数量可采取能够被存储、传输、组合、比较或以其它方式操纵的电或磁信号的形式。主要由于一般使用的原因，将此类信号称为比特、数据、值、设置、元素、符号、字符、项、数、数字等有时是方便的。然而，应理解的是所有这些和类似术语将与适当的物理量相关联且仅仅是方便的标签。除非具体地另外说明，如从以下讨论显而易见的，应认识到的是遍及本说明书，利用诸如“处理”、“计算”、“运算”、“产生”、“确定”等术语的讨论指的是诸如计算机或类似电子计算设备之类的计算平台的动作或过程，其对表示为存储器、寄存器或计算平台的其它信息存储设备、传输设备或显示设备内的物理电子或磁性量的数据进行操纵或变换。

虽然已特别地示出并参考其优选实施例描述了本发明，但本领域的技术人员应理解的是在不脱离由所附权利要求限定的本申请的精神和范围的情况下可对其进行形式和细节方面的各种修改。此类变形意图被本申请的范围涵盖。正因为这样，本申请的实施例的前述描述并不意图是限制性的。而是，对本发明的任何限制在以下权利要求中提出。

Claims (43)

1.用于对原始的值的集合的序列进行编码的方法，其中所述方法包括，经由计算机处理硬件：

处理值的集合的序列并且利用序列中的多个集合的值产生支持值的第一集合，其中所述支持值的第一集合被确定成以便形成用以大体上再生序列中的原始的值的集合中的每一个的基线；

生成对应于所述支持值的第一集合的重构数据。

2.根据权利要求1所述的方法，其中对于所述原始的值的集合的序列中的至少一个给定的值的集合，所述方法还包括：

至少部分地基于所述给定原始的值的集合和基于所述支持值的第一集合而产生附加重构数据。

3.根据权利要求2所述的方法，其中所述附加重构数据包括相对残差重构数据，所述方法包括：

至少部分地基于所述支持值的第一集合确定参考值的第二集合；

确定残差值的第三集合，所述残差值的第三集合对应于给定的值的集合与所述参考值的第二集合之间的差异；

确定对应于所述残差值的第三集合的相对残差重构数据；

进行存储和向解码器传输至少所述相对残差重构数据中的至少一项。

4.根据权利要求3所述的方法，其中确定所述参考值的第二集合包括：

处理对应于所述给定原始的值的集合的描述性信息；

基于所述描述性信息处理所述支持值的第一集合，

产生所述参考值的第二集合。

5.根据权利要求2所述的方法，其中确定所述支持值的第一集合包括：

接收对应于原始的值的集合的序列中的给定的值的集合的描述性信息；

基于所述描述性信息处理所述给定的值的集合，确定经补偿的值的集合；

至少部分地基于所述经补偿的值的集合而确定支持值的第一集合。

6.根据权利要求5所述的方法，其中确定所述支持值的第一集合的至少一个元素的值包括：

通过使属于两个或更多经补偿的值的集合的对应元素相关来确定相关元素的子集，所述经补偿的值的集合中的每一个对应于在原始的值的集合的序列中的值的集合；

执行所述相关元素的子集中的元素的组合以获得针对所述至少一个元素的值。

7.根据权利要求6所述的方法，其中所述组合通过执行选自以下操作的集合的操作来计算，所述操作包括加权平均、算术中项、中值、众数。

8.根据权利要求6所述的方法，其中如果所述相关元素中的两个之间的差异高于阈值，则所述支持平面的所述元素被分配默认值。

9.根据权利要求4所述的方法，其中处理所述支持值的第一集合以产生所述参考值的第二集合包括选自以下操作的集合的至少一个操作，所述操作包括再采样计算、运动补偿操作、均衡操作。

10.根据权利要求5所述的方法，其中处理原始的值的集合的序列中的值的集合以产生经补偿的值的集合包括选自以下操作的集合的至少一个操作，所述操作包括再采样计算、运动补偿操作、均衡操作。

11.如权利要求5所述的方法，其中，对于原始的值的集合的序列中的至少一个给定的值的集合，对应于所述给定的值的集合的经补偿的值的集合大体上等于给定的值的集合。

12.如权利要求5所述的方法，其中处理给定的值的集合以产生经补偿的值的集合包括向经补偿的值的集合的一些元素分配默认值，并且其中在生成支持值的第一集合中不利用具有默认值的所述元素。

13.根据权利要求1所述的方法，其中针对原始的值的集合的序列计算的支持值的第一集合被用作重构不属于所述原始的值的集合的序列的值的集合的基线。

14.根据权利要求2所述的方法，其中所述附加重构数据被分配同步标记信息。

15.根据权利要求3所述的方法，其中所述支持值的第一集合包括不同于包含在原始的值的集合的序列中的值的集合的每一个中的元素的数目的元素数目。

16.根据权利要求3所述的方法，其中所述原始的值的集合中的每一个对应于对处于第一质量水平的信号的初步再现执行的调节，所述初步再现至少部分地基于处于第二质量水平的信号的再现而产生，第二质量水平低于第一质量水平。

17.根据权利要求3所述的方法，其中所述附加重构数据包括补偿重构数据，所述方法包括：

生成对应于要在第一支持值集合上执行以便产生对应于所述给定原始的值的集合的第二参考值集合的操作的数据；

生成对应于所述数据的补偿重构数据。

18.根据权利要求3所述的方法，其中至少部分地基于处于较低质量水平的信号的再现进一步处理所述残差值的第三集合，所述方法包括：

处理属于所述残差值的第三集合的残差值，所述残差值对应于对处于第一质量水平的信号的第一再现做出的调节；以及

产生经变换残差值的第四集合，所述经变换的残差至少部分地基于所述残差值和基于处于第二质量水平的信号的再现，第二质量水平低于第一质量水平。

19.根据权利要求3所述的方法，其中所述残差值的第三集合被编码到不同子集中，所述方法包括：

处理所述残差值的第三集合，产生残差值的多个子集；以及

单独编码残差值的每一个子集，产生均能够独立于多个子集中的其它子集而被解码的重构数据的对应子集。

20.根据权利要求1所述的方法，其中编码器至少处理原始的值的集合的第一序列和原始的值的集合的第二序列，所述方法包括：

处理原始的值的集合的第一序列并且利用第一序列中的多个集合的值产生支持值的第一集合，所述支持值的第一集合是大体上再生第一序列中的原始的值的集合中的每一个的基线；

处理原始的值的集合的第二序列并且利用第一序列中的多个集合的值产生支持值的第二集合，所述支持值的第二集合是大体上再生第二序列中的原始的值的集合中的每一个的基线；

处理任何附加的绝对值的集合的第n个序列并且利用序列中的多个集合的值以产生支持值的第n个集合，所述支持值的第n个集合是大体上再生第n个序列中的原始的值的集合中的每一个的基线；

处理所生成的支持值的集合并且利用多个支持值的集合的值产生较高阶支持值的集合，所述较高阶支持值的集合是大体上再生所生成的支持值的集合中的每一个的基线；

生成对应于所述较高阶支持值的集合的较高阶支持重构数据；以及

生成对应于所述支持值的集合中的每一个的支持重构数据。

21.根据权利要求1所述的方法，其中根据质量水平的分层层级对支持值的第一集合进行编码，所述方法包括：

处理处于较低质量水平的支持值的集合的再现；

至少部分地基于所述处于较低质量水平的支持值的集合的再现，产生支持值的集合的初步再现；

产生支持平面残差值的集合，所述支持平面残差值对应于所述支持值的集合与所述支持值的集合的初步再现之间的差异；

产生对应于所述支持平面残差值的支持平面重构数据。

22.用于对经重构的值的集合的序列进行解码的方法，其中所述方法包括：

经由计算机处理硬件：

处理重构数据的第一集合，产生经重构的支持值的第一集合；

处理重构数据的第二集合，产生经重构的残差值的集合的序列，所述经重构的残差值的集合中的每一个对应于经重构的值的集合的序列中的值的集合；

至少部分地基于所述经重构的支持值的第一集合组合所述经重构的残差值的集合中的每一个与对应的经重构的参考值的集合，产生经重构的值的集合的序列。

23.根据权利要求22所述的方法，其中产生所述经重构的值的集合的序列中的每一个给定集合包括：

至少部分地基于所述经重构的支持值的第一集合产生经重构的参考值的集合；以及

组合所述经重构的参考值的集合与对应的经重构的残差值的集合。

24.根据权利要求23所述的方法，其中产生所述经重构的参考值的集合包括：

处理对应于经重构的值的集合的序列中的所述给定集合的描述性信息；以及

基于所述描述性信息处理所述经重构的支持值的第一集合，产生所述经重构的参考值的集合。

25.根据权利要求24所述的方法，其中处理所述经重构的支持值的第一集合以产生经重构的参考值的集合包括执行在包括再采样计算、运动补偿操作、均衡操作的集合中选择的至少一个操作，其中所述至少一个操作至少部分地基于所述描述性信息。

26.根据权利要求25所述的方法，其中运动补偿操作包括选择支持平面的一部分和应用移动，所述移动包括以下类型的移动中的至少一个：偏移、扩缩、旋转。

27.根据权利要求24所述的方法，其中产生经重构的参考值的给定集合还包括，对于给定集合中的每一个给定元素：

接收指示针对给定元素的对应描述性值的描述性信息；

至少部分地基于所述描述性值，确定对应于给定元素的支持值的第一集合中的元素的分组；以及

至少部分地基于所述分组中的元素的值，确定给定元素的值。

28.根据权利要求22所述的方法，其中所述经重构的支持值的第一集合包括高于包含在经重构的值的集合的序列中的值的集合的每一个中的元素的数目的元素数目。

29.根据权利要求22所述的方法，其中所述经重构的支持值的第一集合包括低于包含在经重构的值的集合的序列中的值的集合的每一个中的元素的数目的元素数目。

30.根据权利要求22所述的方法，其中所述经重构的值的集合中的每一个对应于对处于第一质量水平的信号的初步再现执行的调节，所述初步再现至少部分地基于处于第二质量水平的信号的再现而产生，第二质量水平低于第一质量水平。

31.根据权利要求30所述的方法，其中处理所述重构数据的第二集合以产生经重构的残差值的集合的序列包括，对于所述经重构的残差值的集合的序列的每一个给定集合：

产生经变换的值的第一集合；

处理经变换的值和处于第二质量水平的信号的再现，第二质量水平低于第一质量水平，确定所述经重构的残差值的给定集合。

32.根据权利要求22所述的方法，其中至少部分地基于较高阶经重构的支持值的集合产生所述经重构的支持值的第一集合，所述方法包括：

处理重构数据的第一集合，产生较高阶经重构的支持值的集合；

处理重构数据的第二集合，产生调节值的集合；以及

通过组合调节值的集合与至少部分地基于所述较高阶经重构的支持值的集合生成的较高阶支持平面参考值的集合来确定所述经重构的支持值的第一集合。

33.根据权利要求22所述的方法，其中根据较高阶经重构的支持值的相同集合来解码对应于经重构的值的集合的不同子序列的多个经重构的支持值的集合，所述方法包括，对于所述经重构的支持值的多个集合中的经重构的支持值的每一个给定集合：

处理数据的第一集合，产生较高阶经重构的支持值的第一集合；

处理数据的第二集合，产生调节值的第二集合；

处理所述较高阶经重构的支持值的第一集合，产生参考值的第三集合；以及

组合所述调节值的第二集合与所述参考值的第三集合，产生经重构的支持值的给定集合。

34.根据权利要求22所述的方法，其中根据质量水平的分层层级对经重构的支持值的第一集合进行解码，所述方法包括：

处理处于较低质量水平的经重构的支持值的集合的再现；

至少部分地基于所述处于较低质量水平的经重构的支持值的集合的再现，产生经重构的支持值的集合的初步再现；

处理经编码数据的集合以确定调节值的集合；以及

组合所述调节值与所述经重构的支持值的集合的初步再现，产生所述经重构的支持值的第一集合。

35.根据权利要求22所述的方法，其中解码器接收仅对应于经重构的值的集合的特定空间部分的重构数据并且因此仅重构经重构的值的集合的部分的序列，所述方法包括：

处理重构数据的第一集合，产生经重构的支持值的第一集合；

处理重构数据的第二集合，产生残差值的集合的序列，所述残差值的集合中的每一个对应于经重构的值的集合的序列中的值的集合的一部分；

组合所述残差值的集合中的每一个与至少部分地基于所述经重构的支持值的第一集合生成的参考值的对应集合，产生经重构的值的集合的部分的序列。

36.根据权利要求22所述的方法，其中经重构的值的集合的序列中的所述值的集合中的每一个独立于集合的序列中的其它集合而被解码。

37.根据权利要求23所述的方法，其中在已经确定了经重构的值的集合的序列中的值的集合中的任一个之前确定对应于经重构的值的集合的序列中的值的集合中的任一个的经重构的参考值的集合。

38.根据权利要求22所述的方法，其中经重构的值的集合的序列中的所述值的集合中的每一个对应于图像。

39.根据权利要求22所述的方法，其中经重构的值的集合的序列中的所述值的集合中的每一个对应于体积图像。

40.其上存储有指令的计算机可读存储硬件，所述指令当被处理设备执行时使所述处理设备执行以下操作：

处理值的集合的序列并且利用序列中的多个集合的值产生支持值的第一集合，其中所述支持值的第一集合被确定成以便形成用以大体上再生序列中的原始的值的集合中的每一个的基线；以及

生成对应于所述支持值的第一集合的重构数据。

41.其上存储有指令的计算机可读存储硬件，所述指令当被处理设备执行时使所述处理设备执行以下操作：

处理重构数据的第一集合，产生经重构的支持值的第一集合；

处理重构数据的第二集合，产生经重构的残差值的集合的序列；以及

组合所述经重构的残差值的集合中的每一个与至少部分地基于所述经重构的支持值的第一集合而确定的经重构的参考值的对应集合，产生经重构的值的集合的序列。

42.一种设备包括：

处理器；

存储与由处理器运行的应用相关联的指令的存储器单元；以及

耦合处理器和存储器单元的互连，使得所述设备能够运行所述应用和执行以下操作：

处理值的集合的序列并且利用序列中的多个集合的值产生支持值的第一集合，其中所述支持值的第一集合被确定成以便形成用以大体上再生序列中的原始的值的集合中的每一个的基线；以及

生成对应于所述支持值的第一集合的重构数据。

43.一种设备包括：

处理器；

存储与由处理器运行的应用相关联的指令的存储器单元；以及

耦合处理器和存储器单元的互连，使得所述设备能够运行所述应用和执行以下操作：

处理重构数据的第一集合，产生经重构的支持值的第一集合；

处理重构数据的第二集合，产生经重构的残差值的集合的序列；以及

组合所述经重构的残差值的集合中的每一个与至少部分地基于所述经重构的支持值的第一集合而确定的经重构的参考值的对应集合，产生经重构的值的集合的序列。