CN104620582A - 利用连续坐标系的运动补偿和运动估计 - Google Patents

Abstract

计算机处理器硬件接收针对第一图像的设置信息。第一图像包括多个显示元素的集合。该计算机处理器硬件接收针对将至少部分地基于第一图像而创建的第二图像中的给定显示元素的运动补偿信息。该运动补偿信息指示给定显示元素所关于的第一图像中的特定显示元素内的坐标位置。计算机处理器硬件利用所述坐标位置作为从其选择第一图像中的多个显示元素的分组的基础。计算机处理器硬件然后基于分组中的多个显示元素的设置而生成针对第二图像中的给定显示元素的设置。

Description

利用连续坐标系的运动补偿和运动估计

背景技术

在本领域中已知用以处理多维信号或沿着时间演进的信号的压缩和解压缩的许多技术。这是音频信号、视频信号和类似于在科学和医学领域中使用的体积信号之类的其它多维信号的情况。

为了实现高压缩比，那些技术利用信号内部的空间和时间相关。常规方法识别参考并尝试确定当前位置与给定参考之间的信号的差异。这是在其中参考是已接收并解码的空间平面的一部分的空间域以及其中将信号时间的单个时刻（例如，帧序列中的视频帧）取做在某个持续时间内的参考的时域两者中完成的。例如这是MPEG系列压缩算法的情况，其中，将先前解码的宏块取做空间域中的参考，并且在时域中使用I帧和P帧作为用于后续P帧的参考。

已知技术以许多方式来利用空间相关和时间相关，采用多个不同的技术以便对差异进行识别、简化、编码和传输。根据常规方法，为了利用空间相关，执行域变换（例如到频域），并且然后执行信息的有损删除和量化。在时域中，替代地，常规方法传输当前样本与经运动补偿的参考样本之间的量化差异。

为了使样本之间的相似性最大化，编码器尝试对比参考信号来估计沿着时间发生的修改。这在常规编码方法（例如，MPEG系列技术、VP8等）中称为运动估计和补偿。

运动信息被传输到解码器，以便通过利用在解码器处可用于参考样本的信息而实现当前样本的重构：在现有技术方法中，这是使用以宏块为基础的运动矢量完成的。换言之，运动矢量可以指示以包括多个显示元素的块级的运动。

传统上，已经借助于偏移运动矢量来表示运动信息，即指示参考图片中的图片（例如，平面元素块或“像元（pel）”，对于2D图像的情况而言常常称为图片元素或“像素”）的类似部分的位置的矢量。例如，如上文所讨论的，使用块运动补偿（BMC），可以将视频序列的图像划分成像素块。可以基于参考帧中的相等尺寸的块B₀来预测当前图像中的每个块B。可以将相对于在当前图像中B的位置的在参考图像中块B₀的位置编码为偏移运动矢量。在这样的情况下，运动矢量指示像素块的估计x和y移动的反向（特别地，其指示移动的反向，因为其从B指向B₀，而移动从B₀指向B）。

通常以亚像素（sub pixel）精度对运动矢量进行编码（即，还可以指定像素的分数的移动），因为编码器想要还能够捕获小于全像素的微小移动。根据MPEG系列编解码器，除移位至预测块的位置之外，块未被变换，并且必须通过指示块B₀与块B之间的差异的残余（residual）数据来对附加信息进行编码。

常常将运动估计称为确定运动矢量的过程，该运动矢量适当地描述从一个图片至另一个（通常来自视频序列中的相邻帧）的变换。运动估计通常是基于以下假设：图像值（例如，用适当色彩空间表达的亮度、色彩等）随时间推移保持恒定、但其在图像中的位置可改变。通过运动矢量进行的运动估计的基础假设是由运动矢量识别的图像部分（例如，宏块）的可能移动局限于平移运动。

在现有技术中，基于离散坐标系（即，利用符号的有限集）来表达被关联至像元或一组像元的运动矢量的坐标，其拥有与当前图像相同分辨率（“像元分辨率”，即当前图像和参考图像具有相同的分辨率）的步宽或拥有亚像元分辨率（例如，以非限制性示例的方式，像元的1/4、像元的1/8等）。在此最后情况下，参考图像具有高于当前图像的分辨率，以便允许运动矢量指向具有亚像素分辨率（相对于当前图像的分辨率）的给定位置；基本上，用给定比例因数对参考图像进行超采样，并且用超采样参考图像的坐标系中的整数来表达运动矢量的坐标。换言之，即使显示器不具有显示此类高分辨率的能力，对于给定参考图像而言也产生图像的超采样（高分辨率）再现，仅仅为了支持运动补偿操作。可以使用运动矢量来识别图像再现的哪个部分将被用来重构显示信号。

利用具有亚像元分辨率的运动矢量允许运动估计和运动补偿方面的更好精度，而且意味着在解码器侧要求较高的存储器量的显著缺点，因为存储“超高分辨率”的参考图像的缓冲器需要存储比对于在相应显示屏上显示所必要的数目高得多的数目的像元。

基于块运动补偿和使用整数坐标（即，具有固定精度的坐标，诸如像素的1/8）的偏移运动矢量的已知编码技术具有用本文所述的新型方法来适当地解决的多个重要缺点。最特别地，具有给定亚像素精度的偏移坐标的使用通常要求缓冲处于给定亚像素分辨率的参考图像的上采样再现（例如，甚高分辨率版本）：因此，捕获非常微小的移动（例如，像素的1/128，例如在高帧速率视频信号的情况下或在诸如具有2度旋转的1%缩放之类的复杂移动的情况下）由于存储器限制和对于计算超采样参考图像所必要的高计算量而是不可行的。超高分辨率参考图像的生成和处理由于许多原因而是不合期望的。

发明内容

本文中的实施例相对于常规系统和方法偏离，提供了用以估计、编码和利用运动信息从而基于参考图像的运动补偿而生成当前图像的适当预测（或“目标图像”）的新型方法，因此支持诸如运动估计、运动补偿、信号编码、信号质量增强（例如，降噪、超分辨率等）、信号内插（例如，帧速率的增加）、特效、计算机图形、医学成像、计算机视觉、增强现实应用等之类方法。

本文中的一个实施例包括一种用于基于参考图像的任意位置的值来计算或预测目标图像的元素的值的方法，由此独立于被用作重构图像再现的基础的参考图像的实际样本网格（即，分辨率）而用分数坐标（诸如浮点数、高精度定点数、实数、非整数等）来表达此类任意位置。与以较高分辨率预先计算并产生超采样参考图像且然后基于超采样网格借助于整数坐标系来执行运动补偿相对，本文所示的某些实施例不需要预先计算参考图像的任何超采样再现，并且替代地在参考图像中的任何的任意位置处在运行时（例如，不限于，经由运行时再采样技术）计算参考元素。

根据本文中的实施例，通过使用大体上连续的坐标系并且用相对有限的缓冲器存储器成本和计算成本来有效地支持非常微小的移动（例如，在必要时，甚至小于像元的1/10）的运动补偿可以有效地实现运动补偿。基本上，根据本文中的实施例的运动补偿允许极高的精度（例如，捕获小于像元的1/100的移动），并且可利用在运行时执行的再采样操作，而不需要存储处于较高分辨率的大的参考图像。

与传统运动补偿方法相结合本文中的实施例可以是有用的，并且与运动区和运动矩阵相结合可以是甚至更有用的（与用偏移运动矢量进行的块运动补偿相对），如在相关申请中所述。

为了简单起见，本文所示的非限制性实施例将信号称为沿着时间维度以给定采样速率发生的多维样本（即，被组织为具有一个或多个维度的阵列的一个或多个元素的集合，例如以非限制性示例的方式，被组织为二维图像的图片元素的集合）序列。在本描述中，将常常使用术语“图像”或“平面”（意图具有“超平面”的最宽泛意义，即具有任何数目的维度和给定采样网格的元素阵列）来识别沿着样本序列的信号的样本的数字再现，其中，每个平面具有针对其维度（例如，X和Y）中的每一个的给定分辨率，并且包括用一个或多个“值”或“设置”（例如，以非限制性示例的方式，适当色彩空间中的色彩设置、指示密度水平的设置、指示温度水平的设置、指示音频音高（pitch）的设置、指示振幅的设置等）来表征的一组平面元素（例如“元素”或“像元”，针对二维图像常常称为“像素”、针对体积图像常常称为“体素”等）。用适当的坐标集来识别每个平面元素，其指示图像的采样网格中的元素的整数位置。

作为非限制性示例，信号可以是图像、音频信号、多通道音频信号、视频信号、多视图视频信号（例如，3D视频）、体积信号（例如，医学成像、科学成像、全息成像等）、体积视频信号或者甚至具有多于四个维度的信号。

本文所示的实施例将特别地集中于随时间推移而演进并且以从一个样本至下一个的一定程度的运动为特征的信号，即样本是时间相关的。用所述实施例还容易地解决了甚高采样速率（例如，还有高于每秒1000图像，通常其运动被常规运动估计和补偿方法不良地描述）。

为了简单起见，本文所示的非限制性实施例常常指的是显示为设置的2D平面序列（例如，适当色彩空间中的2D图像）的信号，诸如例如视频信号。然而，本领域技术人员能够容易地理解到相同的概念和方法还可应用于任何其它类型的基于时间的信号（例如，多视图视频信号、3D视频信号、3D体积信号序列等）并且还应用于非基于时间的多维信号（例如，相同音频信号的音频通道序列、二维图片、体积/全息图像、全光（plenoptic）图像等）。作为可以得益于本文所述的新型补偿方法的非基于时间的信号的非限制性示例，可以将CAT扫描或MRI的一系列二维切片（slice）（即，非基于时间的三维信号）适当地表示为沿维度（即，沿其获取切片的轴）的一系列二维样本，并且根据本文所示的方法来处理，如同沿着其获取切片的轴是时间维度一样（通过采取恒定采样速率或者甚至可变采样速率）。

在本文所述的非限制性实施例中，信号处理器被配置成利用运行时再采样操作来计算（“预测”）针对图像（“目的地图像”或“经补偿图像”）的元素的经补偿设置，以便访问参考图像的任何的任意位置（x¹，y¹），而不考虑参考图像的实际分辨率（即，采样网格）。这样，利用其中用任意精度（例如，不限于，甚至用浮点数或高精度定点数，与参考图像的坐标系中的整数相对）来表达每个坐标的坐标系是可能的，使得参考图像的分辨率被视为基本上是无限/连续的（“连续坐标”或“分数坐标”）。如已经提及的，这种方法是极大的创新，因为现有技术编码和解码技术到目前为止是基于这样的假设，即经重构的信号和参考信号具有有限分辨率，其中每个坐标指示包括在元素的离散网格/集合中的元素。

在非限制性实施例中，通过选择属于参考图像的采样网格且接近于由运动矢量的分数坐标指示的任意位置的参考图像的元素集合来执行运行时再采样操作。根据所选再采样方法（例如，以非限制性示例的方式，双三次（bicubic）再采样），信号处理器选择适当数目的元素（例如，不限于，具有任意位置的最近中心的16个元素，或者较少的元素，如果任意位置接近于参考图像的边界的话）并计算将应用于每个元素的权重。最后，信号处理器通过执行所选元素的加权平均来计算要分配给任意位置的采样值。

本文所述的一些非限制性实施例使用连续坐标（例如，以非限制性示例的方式，通过用浮点数来表示坐标）和变换矩阵（与简单的偏移运动矢量相对）以便描述元素分组的移动，特别地增加在描述实际移动中的精度。运动估计和补偿常常是关键操作，以便实现高压缩比。执行精确运动补偿提供更好的预测和因此较低的熵残余。在现有技术方法中，视频编码和视频处理中的运动估计和补偿已局限于具有平移移动（通常借助于偏移运动矢量来表达）的像元区域，其趋向于是限制性且低质量的方法。事实上，对象受到可能的移动更加复杂的集合的影响。为了捕获此复杂性，本文所述的非限制性创新实施例通过使用变换矩阵而不是运动矢量对运动进行建模。可以使用仿射变换和齐次坐标来描述类似于旋转、歪斜或缩放之类的移动。使用高阶矩阵（例如，投射矩阵），还可以描述视角改变。在信号编码（例如，视频压缩）域中使用变换矩阵是非常创新的，并且导致将本文所述的新型实施例与常规方法显著区别开的许多结果。

非限制性实施例利用变换矩阵和齐次坐标以便表示复杂的移动，包括（不限于）缩放、旋转和偏移。在此类实施例中，执行运动补偿的信号处理器针对具有目的地图像的整数坐标（x，y）的每个给定元素计算参考图像中的具有连续坐标（x¹，y¹）的对应位置以通过将用齐次坐标（即（x，y，1））表达的给定元素的坐标乘以仿射变换矩阵而利用于运动补偿。这样，信号处理器基本上针对目的地图像的每个元素来计算具有分数坐标的偏移运动矢量。信号处理器然后通过执行参考图像的所选元素的加权平均来计算要向给定元素（x，y）分配的经运动补偿的值，由此，元素和加权平均中的权重二者至少部分地取决于位置（x¹，y¹）。

另一非限制性实施例利用投射变换矩阵，从而表示甚至更加复杂的移动。非限制性实施例在执行针对运动补偿的必要计算中利用在游戏和3D渲染中使用的现代硬件，从而以非常有限的计算成本利用连续坐标运动补偿。现代硬件可以通过使用针对经计算的元素的浮点坐标而在运行时（例如，经由运行时再采样）执行内插。与分数坐标和运行时再采样的使用相关联的优点之一是在减少编码器和解码器侧两者处的存储器使用的同时表示非常微小的移动的可能性。运动估计和运动补偿依赖于在运行时执行的再采样操作，而没有对以较高分辨率生成并存储大的参考图像的任何需要。

当运动补偿是基于运动矩阵（即，比简单平移更复杂的移动）时，使用连续坐标是非常重要的，因为复杂的移动常常要求极精细的亚像素分辨率，用对参考图像进行超采样的标准技术是不可实现的（例如，在缩放/发散的情况下，甚至小到1%的缩放水平（即，坐标乘以0.01）是相关的）。

在非限制性实施例中，借助于对应于旋转、扩缩、平移和剪切映射的参数来表达信号的特定部分的运动。或者，等价地，用诸如应用于齐次坐标中的矢量（x，y，1）的以下各项之类的仿射变换矩阵——即（x，y，w），其中w被归一化成1：

。

在其它非限制性实施例中，通过使用投射变换、即具有8个相关的系数和被归一化成1的第9个系数的3×3矩阵来表达运动信息，因此，用单个变换来描述扩缩、旋转、偏移、剪切和视角改变。由于此类变换中的一些要求用于每个变换的除法运算，所以非限制性实施例使用近似除法运算（例如，以非限制性示例的方式，使用仅16位或者使用一般地被用于着色器（shader）的某些算法）。

运动矩阵要求向解码器发送相对于简单偏移运动矢量所需的参数的数目的表示运动的更高数目的参数：因此，使用运动矩阵的益处在将其应用于相对大的且任意形状的元素分组（“运动区”）时较高，例如表示以一致的方式移动的对象。

在本文所示的非限制性实施例中，被配置为编码器的信号处理器接收当前（目标）图像和参考图像，执行运动估计并在当前图像中识别一个或多个运动区（信号的任意（相邻或非相邻）部分）和关于每个运动区的运动的对应描述性信息，所述运动用连续坐标系来表达。在非限制性实施例中，编码器基于一组参数（例如，以非限制性示例的方式，可用计算能力、目标编码等待时间、目标压缩效率等）来判定运动区的最大数目。

在本文所示的另一非限制性实施例中，被配置为解码器的信号处理器接收运动区信息（例如，运动区映射）且然后接收具有每个运动区的运动特性的关于运动的描述性信息（例如，以非限制性实施例的方式，通过接收对应于针对每个运动区的运动矩阵的一组参数）。至少部分地基于运动区映射和关于每个运动区的运动的描述性信息，针对目标图像的每个元素，解码器计算运动矢量，所述运动矢量的坐标用连续坐标系来表达（例如，不限于，借助于浮点数）。基于所述运动矢量，经由运行时再采样从参考图像获取任意位置上的参考值，允许基于元素的固定网格和基于整数的坐标以高于传统方法的精度进行运动补偿。

在非限制性实施例中，信号处理器产生具有与参考图像不同数目的元素的经运动补偿的图像。在另一非限制性实施例中，为经运动补偿的图像的一个或多个元素分配默认值（例如，“N/A值”，例如（不限于）其中，参考图像中的对应位置在图像的边界外面或者其本身用“N/A值”来表征，或者其中，关于运动的描述性信息指示不能借助于参考图像的运动补偿来预测特定元素）。

根据另外的非限制性实施例，借助于基于层的分级编码方法对输入信号进行编码和解码，并且在基于层的分级编码循环内利用用连续坐标进行的运动补偿。

根据一个实施例，计算机处理器硬件：接收参考图像信息，该参考图像信息定义处于给定分辨率的多个元素的网格；接收针对经补偿图像中的图像元素的补偿信息，经补偿图像中的显示元素的设置是至少部分地从参考图像信息导出的；处理接收到的补偿信息以产生指示参考图像的对应网格外（off-grid）位置（诸如包括在参考图像的采样网格的两个采样位置之间的参考图像中的位置）的坐标集合；基于网格中的多个元素的群组来计算针对图像元素的对应网格外位置的值；以及向经补偿图像中的图像元素分配所述值。

在一个实施例中，用比网格的给定分辨率大体上更高的分辨率来表达指示对应网格外位置的坐标。

计算所述值可以包括：应用算法来识别网格中的多个元素中的哪个将包括在该群组中，多个元素的群组被布置在对应网格外位置的附近区域中。在一个实施例中，算法对多个元素的群组的设置应用一个或多个数学操作以导出针对正被重构的显示元素的值。

根据另外的实施例，坐标集合指示经由表示实域中的量的数来表达对应网格外位置。指示对应网格外位置的坐标集合可以具有足够高的分辨率以指定相对于网格中的网格上（on-grid）位置的小于网格中的显示元素的1/32的偏移。

参考图像信息的分辨率可以与经补偿图像的分辨率大体上相同。

计算网格外位置的坐标可以包括对表示实域中的量的浮点格式的数应用浮点操作。

计算所述值可以包括对表示实域中的量的浮点格式的数应用浮点操作。

计算网格外位置的坐标可以包括用表示实域中的量的定点格式的数应用数学操作。

计算所述值可以包括用表示实域中的量的定点格式的数应用数学操作。

接收到的补偿信息可以包括由表示实域中的量的数表达的一个或多个参数。

在一个实施例中，计算针对显示元素的值的计算机处理器硬件运行图形处理单元中的着色器。

如本文所讨论的，计算针对相应显示元素的值可以包括基于参考图像中的所计算的相应位置来运行至少一个再采样操作。

处理接收到的补偿信息可以包括：将与运动矩阵的系数相对应的线性组合应用于与相应图像元素的坐标相对应的参数以产生参考图像的网格中的对应的坐标集合；以及应用对应于相同运动矩阵的系数的线性组合以产生针对经补偿图像中的多个显示元素中的每一个的相应坐标集合。

根据另外的实施例，处理接收到的补偿信息可以包括：计算对应于与经补偿图像中的图像元素相关联的坐标集合的齐次坐标中的矢量；以及将该矢量乘以矩阵，其中，至少部分地基于补偿信息来指定矩阵中的系数。

在又另外的实施例中，计算机处理器硬件将坐标集合计算为坐标（x^T，y^T），坐标（x^T，y^T）指定图像元素的网格外位置，图像元素存在于经补偿图像中的位置（x，y）处，通过根据以下公式来执行x和y与六个系数a、b、c、d、e和f的求和和乘法来计算坐标（x^T，y^T）：。

在又另外的实施例中，计算机处理器硬件将坐标集合计算为坐标（x^T，y^T），坐标（x^T，y^T）指定图像元素的网格外位置，图像元素存在于经补偿图像中的位置（x，y）处，通过根据以下公式来执行x和y与八个系数a、b、c、d、e、f、g和h的求和和乘法来计算坐标（x^T，y^T）：

。

根据另外的实施例，经补偿图像中的至少一个元素与对于其而言根据相同参数（诸如相同运动矩阵）来计算相应坐标（x^T，y^T）的经补偿图像中的其它元素的集合是不相邻的。

补偿信息可以包括对应于选自包括：扩缩、旋转和偏移的群组的运动类型的一个或多个参数。可以使用补偿信息的一个或多个参数来生成用于经补偿图像中的显示元素的一个或多个运动矢量。在又其它实施例中，补偿信息可以包括对应于选自包括：扩缩、旋转、偏移、剪切、视角改变的群组的运动类型的一个或多个参数。

本文中的另外的实施例包括将默认值（诸如，“不可用”默认值）关联到相应坐标集合，其指定在网格外面的位置且位于与网格的最近样本相距超过给定阈值的距离。

正被重构的信号或经补偿图像可以是任何适当类型的，诸如二维图像、体积图像、一维图像、多维图像等。

根据又另一个实施例，计算机处理器硬件：接收针对第一图像的设置信息，所述第一图像包括多个显示元素的集合；接收针对第二图像中的给定显示元素的运动补偿信息，所述运动补偿信息指示第二图像的给定显示元素所关于的第一图像中的特定显示元素内的坐标位置；利用该坐标位置作为从其选择第一图像中的多个显示元素的分组的基础；以及基于分组中的多个显示元素的设置来生成针对第二图像中的给定显示元素的设置。

在此后一实施例中，生成针对给定显示元素的设置可以包括：至少部分地基于分组中的多个显示元素相对于特定显示元素中的坐标位置的距离来计算针对给定显示元素的设置。

生成针对给定显示元素的设置可以包括：至少部分地基于分组中的多个显示元素的设置来计算针对给定显示元素的设置。

如由运动信息指定的坐标位置可以表示从其生成给定显示元素的设置的质心。生成针对给定显示元素的设置可以包括：产生加权值（诸如，再采样内核（kernel）的系数），所述加权值取决于给定显示元素的质心与分组中的元素的相应质心之间的相应距离而改变；以及对分组中的显示元素的设置应用加权值以产生针对给定显示元素的设置。

在一个实施例中，如由运动信息指定的坐标位置可以指定除第一图像中的特定显示元素的中心之外的位置。大体上，坐标位置可以指定第一图像中的任何位置，如具有任意精度的连续坐标系的情况一样。

如所提及的，在一个实施例中，第一图像的分辨率可以大体上等于第二图像的分辨率。根据另外的实施例，第一图像的分辨率可以大体上等于第二图像的分辨率，但具有较大的视场（即，第一图像大体上包括比第二图像更多的信息）。根据另外的实施例，第一图像（或参考图像）的分辨率可以大体上不同于第二图像（基于参考图像的经再生的图像）的分辨率。例如，第一图像可以是处于分层时间层级中的较低质量水平的预测器图像，具有低于第二图像的分辨率。

根据另外的实施例，利用坐标位置作为从其选择第一图像中的多个显示元素的分组的基础可以包括：将多个显示元素的分组创建成包括特定显示元素和位于该特定显示元素的附近区域中的第一图像中的显示元素；以及基于以下各项对给定显示元素的设置进行内插：i）坐标位置相对于特定显示元素的质心和在该特定显示元素的附近区域中的显示元素的质心的邻近度，ii）特定显示元素的设置，以及iii）位于特定显示元素的附近区域中的显示元素的设置。

在又另外的实施例中，第一图像是参考图像；多个显示元素的集合表示存在于第一图像中的对象的至少一部分。

如在本文中进一步描述的，如由运动矢量指定的坐标位置可以表示给定显示元素相对于特定显示元素的质心的显示元素的大于零但小于1的分数的偏移。

应注意的是，本文中的实施例可用软件或硬件来实现，或者可使用软件和硬件的组合来实现，并且其可以包括一个或多个计算机化设备、路由器、网络、工作站、手持式或膝上型计算机、平板计算机、移动电话、游戏控制台、机顶盒等的配置以执行和/或支持本文公开的任何或所有方法操作。换言之，可以将一个或多个计算机化设备或处理器编程和/或配置成如本文所解释地进行操作以执行不同的实施例。

除如上文所讨论的技术之外，本文中的又其它实施例包括用以执行上文概述和下面详细地公开的步骤和操作的软件程序。一个此类实施例包括计算机可读硬件存储资源（即，非临时计算机可读介质），其包括编码在其上的计算机程序逻辑、指令等，其当在具有处理器和对应存储器的计算机化设备中执行时对处理器编程和/或使处理器执行本文公开的任何操作。可以将此类装置提供为在计算机可读介质上布置或编码的软件、代码和/或其它数据（例如，数据结构），所述计算机可读介质诸如光学介质（例如，CD-ROM、DVD-ROM或BLU-RAY）、闪速存储器卡、软盘或硬盘或能够存储计算机可读指令的任何其它介质，诸如一个或多个ROM或RAM或PROM芯片中的固件或微码或者作为专用集成电路（ASIC）。可以将软件或固件或其它此类配置安装到计算机化设备上以使计算机化设备执行本文所解释的技术。

因此，本公开的一个特定实施例针对一种包括其上存储有指令以用于支持信号处理操作的计算机可读硬件存储介质的计算机程序产品。

本文中的一个或多个实施例包括其上存储有指令的计算机可读存储介质和/或系统。该指令在被一个或多个计算机设备的计算机处理器硬件运行时使计算机处理器硬件执行以下操作：接收参考图像信息，所述参考图像信息定义处于给定分辨率的多个元素的网格；接收针对经补偿图像中的图像元素的补偿信息，经补偿图像中的显示元素的设置是至少部分地从参考图像信息导出的；处理接收到的补偿信息以产生坐标集合，其指示所述网格中的图像元素的对应网格外位置；基于网格中的多个元素的群组来计算针对图像元素的对应网格外位置的值；以及向经补偿图像中的图像元素分配所述值。

本文中的一个或多个实施例包括其上存储有指令的计算机可读存储介质和/或系统。该指令在被一个或多个计算机设备的计算机处理器硬件运行时使计算机处理器硬件执行以下操作：接收针对第一图像的设置信息，所述第一图像包括多个显示元素的集合；接收针对第二图像中的给定显示元素的运动补偿信息，所述运动补偿信息指示所述给定显示元素所关于的第一图像中的特定显示元素内的坐标位置；利用所述坐标位置作为从其选择第一图像中的多个显示元素的分组的基础；以及基于分组中的多个显示元素的设置来生成针对第二图像中的给定显示元素的设置。

步骤的排序已被添加以为了清楚起见。可以按照任何适当次序来执行这些步骤。

本公开的其它实施例包括用以执行上文概述和下面详细地公开的任何方法实施例步骤和操作的软件程序、固件和/或相应硬件。

另外，应理解的是可以将系统、方法、设备、如本文所讨论的在计算机可读存储介质上的指令等严格地体现为软件程序、作为软件、固件和/或硬件的混合或者单独地作为诸如处理器内或操作系统内或软件应用内的硬件等。

如上文所讨论的，本文中的技术非常适合于在处理信号并产生经编码数据的位流或处理经编码数据的位流且产生信号的再现的软件、固件和/或硬件应用中使用。然而，应注意的是本文中的实施例不限于在此类应用中使用，并且本文所讨论的技术也非常适合于其它应用。

另外，应注意的是虽然可以在本公开的不同位置处讨论了本文中的不同特征、技术、配置等中的每一个，但意图在于可以相互独立地或相互组合地执行每个概念。因此，可以以许多不同方式来体现和查看如本文所述的一个或多个本发明、实施例等。

而且，应注意的是，本文中的实施例的此初步讨论并未指定本公开或一个或多个要求保护的发明的每个实施例和/或递增式创新方面。而是，此简要描述仅提出了一般实施例和相比于常规技术的对应创新点。针对一个或多个发明的附加细节和/或可能观点（替换），将读者引向如下面进一步讨论的本公开的具体实施方式小节和对应附图。

附图说明

根据如图中所示的本文中的优选实施例的以下更特定描述，本发明的前述及其它目的、特征以及优点将是显而易见的，在附图中相同的附图标记遍及不同图指示相同部分。附图不一定按比例，而是着重于说明实施例、原理、概念等。

图1是描述利用本文所示的非限制性实施例的运动补偿系统的示例性图示。

图2是描述根据本文所示的非限制性实施例的运动补偿操作的示例性图示。

图3示出了作为运动估计和补偿的对象的两个样本图像连同由本文所示的非限制性实施例在编码处生成的对应信息。

图4A是描述根据本文所示的非限制性实施例的参考图像中的参考位置的计算的示例性图示。

图4B图示出图4A中描述的计算的非限制性示例。

图5是描述根据本文所示的非限制性实施例的运行时再采样操作的示例性图示。

图6示出了根据本文所示的非限制性实施例的实现运动补偿的框图。

图7示出了根据本文所述发明的提供数据处理的计算机系统的框图。

图8是图示出根据本文中的实施例的信号的解码的示例性图示。

图9和10是图示出根据本文中的实施例的示例性方法的图示。

具体实施方式

本文中所示的方法适合于任何类型的多维信号，包括而不限于声音信号、多通道声音信号、图片、二维图像、视频信号、多视图视频信号、3D视频信号、体积信号、体积视频信号、医学成像信号、具有多于四个维度的信号等。

为了简单起见，沿着本描述，所示实施例通常采用在用于视频序列编码和解码的运动补偿操作的情境下使用的运动区的使用情况，即由2D图像序列（一般地称为“帧”，或者在交错视频信号的情况下为“场”）组成的基于时间的信号，其中用适当色彩空间（例如，YUV、RGB、HSV等）中的一组色彩设置来表征每个元素（在此类非限制性示例性情况下通常称为“像素”）。不同的色彩平面（例如，亮度Y平面和两个色度（U和V）平面）常常被单独地编码，并且常常具有不同的分辨率（由于人眼对色度信息的较低灵敏度），但U和V平面通常利用针对Y平面计算的运动补偿信息。

本文所示的方法和实施例可以相互和/或与其它方法相结合地使用。本文所示的优选实施例中的许多描述以实现压缩（即以最小数量的位对信号的适当再现进行编码）为目标的技术和算法。这也是非限制性示例：其它非限制性实施例实现不同的目的，诸如鲁棒且高效的滤波、图像降噪、信号超采样、机器视觉等。

图1是描述被配置为解码器的信号处理器内的运动补偿系统的示例性图示。该系统被配置成基于参考图像100-1的运动补偿和残余数据来重构目标图像100-2。

运动补偿块120接收参考图像100-1和关于运动补偿的信息110，该信息110指定如何利用参考图像100-1以便生成针对目标图像100-2的适当预测。

至少部分地基于参考图像100-1和信息110，运动补偿块120生成目的地图像130，即充当针对目标图像100-2的预测的经运动补偿的图像。

组合器150将目的地图像130与残余数据140组合，重构目标图像100-2的再现。

本文所述的新型方法说明用以执行运动补偿块120的功能的创新方法。

图2是描述根据非限制性实施例的运动补偿操作的示例性图示。针对目的地图像130的每个元素，运动补偿器205根据图中所示的步骤生成经运动补偿的设置（即，基于参考图像的适当位置的运动补偿的值）。

首先，新坐标计算器220接收目的地图像中的给定元素的坐标（x，y）200和关于运动的描述性信息210，计算坐标（x¹，y¹）230。坐标（x¹，y¹）表示对应于目的地图像的位置（x，y）的参考图像中的位置。根据本发明，用连续坐标系（例如，借助于浮点数或高精度定点数）来表达x¹和y¹，基本上允许指示参考图像的任意位置，而不考虑参考图像的实际分辨率（即，采样网格）。

由于（x¹，y¹）不一定标识参考图像的元素（其将用整数坐标来表征），运动补偿器205不能直接地获取位置（x¹，y¹）上的参考图像的值。在所述非限制性实施例中，使用运行时再采样方法，其中再采样器260接收参考图像100-1、关于参考图像的元数据245（如果有的话）和关于要利用的再采样方法的信息250，因此生成位置（x¹，y¹）上的参考图像的值，即，要用于目的地图像的坐标（x，y）的特定设置270。

再采样器260以连续坐标（x¹，y¹）执行围绕指定任意位置的参考图像100-1的元素的运行时滤波（即，在已接收到坐标230之后）。根据适当的内核通过基于关于再采样方法的信息250而在Lanczos滤波器、三次滤波器或线性滤波器之中进行选择（在不存在信息250的情况下，再采样器260选择默认内核）来执行滤波。这样，针对用运动补偿器205来实现运动补偿的解码器，不必计算并存储参考图像100-1的超采样再现，并从此类超采样再现的有限网格选择样本。解码器可仅仅存储具有正常样本网格（即，与目的地图像相同的分辨率）的参考图像，并选择任何的任意位置，在运行时生成针对任意位置的参考图像中的对应样本值/对其进行内插。在某些情况下，此类方法允许显著地减少解码器处的存储器要求，并且同时还允许更精确的运动补偿（具有对应的压缩益处）。在其它情况下，该方法还允许在处理能力方面的节省：解码器仅仅产生其在其中其需要超采样参考样本的特定位置上需要的超采样参考样本，不必生成（针对整个图像或针对图像的各部分）整个超采样参考网格（即，还计算将绝不会被访问、利用或显示的许多样本）。

图3示出了作为运动估计和补偿的对象的两个样本图像连同通过本文所示的非限制性实施例在编码处生成的对应信息。

特别地，该图图示出图像序列中的两个连续图像100-1和100-2。该图像示出了相互之间的显著相关，并且可以借助于运动补偿来甚至进一步增强此类相关：背景略微逆时针方向旋转，并且图像100-1中的对象301-1移动而变成图像100-2中的对象301-2（其中，该移动涉及到朝向右下侧的平移和去缩放（de-zoom）两者，即对象变得更小）。在图像100-1中不可见的对象302-2在图像100-2中变得可见。

通过从图像100-1（参考图像）和100-2（目标图像）开始，非限制性实施例能够通过使用具有任意形状（例如相邻或者甚至非相邻）的运动区对目标图像进行编码/解码，其中，基于图像100-1和100-2来选择形状。每个运动区的形状可以是任意的，并且不限于矩形块。在某些情况下，这可允许增加运动补偿的效率和有效性，更紧密地遵循对象的边界（例如，避免“拖曳”接近于移动对象的边界的元素）且更高效地传输针对图像的每个给定元素的准确的运动信息。

更具体地，通过处理图像100-1和100-2，编码器识别运动区311-2（表示可以由参考图像100-1的运动补偿元素来高效地预测的图像100-2的背景的部分）、运动区312-2（表示图像100-2的对象301-2，其可以由图像100-1中的运动补偿对象301-1来高效地预测）和由313-2、314-2和315-2构成的非相邻残余运动区（表示在图像100-1中不可见的图像100-2的元素，并且因此不能由图像100-1的运动补偿元素来预测）。

编码器100还生成被关联到运动区的描述性信息320-2。在非限制性实施例中，此类信息包括针对每个运动区的ZRO（缩放、旋转和偏移）运动矩阵以及针对残余运动区的默认参数（“N/A运动”意味着不能通过运动补偿来适当地预测残余运动区的元素）。

可以根据适当运动区检测方法来执行运动区的检测和被关联到运动区的描述性信息的生成，在本申请中未描述。

最后，编码器生成残余数据330-2以调整借助于参考图像100-1的基于运动区的运动补偿而获得的目标图像100-2的预测。与由运动补偿获得的预测相组合，残余数据允许完全重构目标图像100-2的再现。

一种用于对通过使用上述编码方法编码的图像进行解码的方法包括以下阶段：

a. 接收至少一个运动区和关于运动的一组描述性信息；

b. 接收第一（参考）图像；

c. 通过使用在阶段b期间接收到的第一图像、在阶段a期间接收到的运动区和关于运动的描述性信息来计算针对第二（目标）图像的经运动补偿的预测；

d. 接收残余数据（如果有的话）并进行解码；

e. 将针对第二图像的预测与残余数据（如果有的话）组合，产生第二图像的再现。

各阶段中的一个或多个可以同时地发生，并不是严格地顺序的。

图4A是描述参考图像中的参考位置的计算的示例性图示，图示出新坐标计算器220的非限制性实施例。

齐次坐标转换器400接收目的地图像中的元素的坐标（x，y）并将其转换成齐次坐标（x，y，1）405。矩阵计算器410接收关于运动的描述性信息210并将其转换成运动矩阵M 415。乘法器420接收齐次坐标405和运动矩阵415，并计算经变换的坐标425。如果运动矩阵M 415是仿射变换，则经变换的坐标425的第三坐标将已经等于一；否则（例如，如果矩阵M是投射矩阵），则将坐标425归一化是必要的。齐次坐标转换器430执行此类归一化（在必要时），生成齐次坐标（x¹，y¹，1）。最终，选择器440生成参考图像中的坐标（x¹，y¹）。

目的地图像中的元素的坐标（x，y）描述了目的地图像的样本网格的元素（即，其描述样本网格的整数位置），而坐标（x¹，y¹）（用分数来表达）可描述参考图像的任何的任意位置（包括但不限于，在参考图像的样本网格的边界外面的位置）。矩阵M 415的系数可以是分数，并且在新坐标220内执行的计算包括用分数进行的计算（例如，不限于，浮点操作或者具有高精度定点数的操作）。

图4B图示出图4A中描述的计算的非限制性示例性实施例。非限制性示例示出了其中运动矩阵M 415对应于仿射变换、使得（x，y，1）乘以矩阵M的乘法生成已经被归一化的一组坐标（x¹，y¹，1）的情况。

在非限制性实施例中，当元素465的坐标200和矩阵415使得位置455的坐标230在参考图像之外超过阈值（例如，不限于，在参考图像的采样网格之外高于两个邻近元素之间的距离的量）时，为元素465分配默认值（例如，“N/A”值）。

图5是描述根据非限制性实施例的运行时再采样操作的示例性图示。

具有坐标（x¹，y¹）的位置455未由参考图像100-1的样本网格的任何元素描述。因此，没有值可容易地用于目的地图像130的对应的经运动补偿的元素。然而，可能的是通过选择接近于坐标（x¹，y¹）的适当的一组元素（“预测器”）且通过根据适当的权重（例如，适当的滤波内核）来执行其值的加权平均而在运行时计算此类值。图5图示出其中使用双三次滤波内核且因此通过执行16个预测器元素的加权平均来计算位置（x¹，y¹）上的参考图像100-1的值的非限制性示例。

为了执行再采样，再采样器260必须识别16个预测器以用于加权平均（即，将把“滤波器定位”于哪里）且必须计算要使用的特定权重。（x¹，y¹）坐标的整数分量指示将把滤波器定位于哪里，并且坐标的分数分量指示在滤波器中将使用什么系数。

向下取整（floor）计算器500接收坐标（x¹，y¹）230，计算坐标（x¹，y¹）的整数分量505。在基于参考图像的左上方处的原点的坐标的非限制性示例中，整数坐标505标识坐标（x¹，y¹）的左上方处的样本网格的最接近元素。接收参考图像240、关于参考图像的元数据245（如果有的话）和关于再采样方法的信息250（如果有的话）的预测器选择器510因此能够通过选择参考图像的元素的4×4块来选择16个预测器，该参考图像具有带有坐标505的元素作为从块的左上方开始的对角线中的第二元素。如果对16个预测器中的某些分配“N/A”（不可用值，例如因为其在参考图像的边界之外），则将其从预测器的集合取出，并且仅保持具有值的预测器。

权重计算器520接收坐标（x¹，y¹）和预测器的坐标。基于所选再采样方法（例如，在本非限制性示例中，双三次滤波）和坐标（x¹，y¹）的分数分量（即位置（x¹，y¹）与具有整数坐标505的元素之间的距离）权重计算器520计算将应用于每个预测器的权重。如果已选择了小于16个预测器，则权重计算器520生成针对理想4×4内核的适当双三次权重，则仅选择对应于被选择的预测器的系数，并且对系数进行归一化，使得其和等于1。

最终，乘法器530接收预测器和权重两者以应用于每个预测器，因此计算位置（x¹，y¹）上的参考图像的经再采样的值，即针对目的地图像中的坐标（x，y）的设置270。

在非限制性实施例中，为了避免基于特定（x¹，y¹）坐标而实时地生成滤波器的精确系数的需要，实现权重计算器520的信号处理器被配置成从而访问具有给定数目的预先计算的系数集合（例如，在非限制性示例中，128个系数集合）的适当查找表，并且然后对最接近于特定（x¹，y¹）坐标的分数分量的两个系数集合的系数进行内插。

在非限制性实施例中，关于参考图像的元数据245包含关于在运动补偿之前将应用于参考图像100-1的修改的信息（例如，不限于，将应用于图像的值的比例参数，从而计及光照的变化）。

图6示出了利用运动区的根据非限制性实施例的实现运动补偿的框图。特别地，运动补偿器600借助于用连续坐标进行的运动补偿来生成目标图像的预测。

块600接收信息，该信息包括针对运动区和关于运动的描述性信息的第一组输入610-0、...、610-n以及620-0、...、620-n、针对目的地图像中的元素坐标（x，y）（即，根据目的地图像的样本网格，标识要预测的特定元素）的第二输入200、针对参考图像的第三输入240以及针对要分配给经运动补偿的元素的值（即，针对目的地图像中的坐标（x，y）的设置）的输出270。  基于元素坐标200，运动补偿器600识别元素所属的一个或多个运动区，并且——至少部分地基于对应的关于运动的描述性信息和元素坐标200——生成对应于目的地图像中的元素坐标200的参考图像240中的位置（x¹，y¹）——其用连续坐标系指定，独立于参考图像的样本网格且假设可能的是获取针对参考图像中的任何的任意位置的值。最后，基于参考图像240和生成的位置（x¹，y¹），运动补偿器600计算针对目的地图像的样本网格的位置（x，y）上的特定元素的经运动补偿的设置270（即，预测）。

图7是根据本文中的实施例的提供计算机处理的计算机系统800的框图。

计算机系统800可以是或至少包括计算机化设备，诸如个人计算机、处理电路、电视、重放设备、编码设备、工作站、便携式计算设备、移动电话、平板计算机、控制台、机顶盒、网络终端、处理设备、网络设备、操作为交换机、路由器、服务器、客户端等。

应注意的是，以下讨论提供了指示如何如先前所讨论的执行与信号处理器相关联的功能的基本实施例。然而，应注意的是用于执行如本文所述的操作的实际配置可以取决于相应应用而改变。

如所示，本示例的计算机系统800包括通信总线811，其提供与诸如非临时计算机可读存储介质等计算机可读存储介质812的通信，其中可以存储并检索数字信息。

计算机系统800还可以包括处理器813、I/O接口814以及通信接口817。

在一个实施例中，I/O接口814提供到储存库180以及（如果存在的话）到屏幕显示器、音频扬声器、诸如键盘、计算机鼠标等外围设备816的连接。

如上文简要提到的，计算机可读存储介质812可以是任何适当的设备和/或硬件，诸如存储器、光学储存器、固态储存器、硬驱动器、软盘等。在一个实施例中，存储介质812是被配置成存储与信号处理器应用840-1相关联的指令的非临时存储介质（即，非载波介质）。该指令被诸如处理器813之类的相应资源执行以便执行如本文所讨论的任何操作。

通信接口817使得计算机系统800能够通过网络190进行通信以便从远程源检索信息和与其它计算机、交换机、客户端、服务器等进行通信。I/O接口814还使得处理器813能够从储存库180检索或尝试检索所存储信息。

如所示，可以用由处理器813执行的信号处理器应用840-1作为进程840-2对计算机可读存储介质812进行编码。

应注意的是，可以将计算机系统800体现成包括用于存储数据和/或逻辑指令的计算机可读存储介质812。

与信号处理器应用840-1相关联的代码可以实现本文所示的信号处理器的功能和/或对实现本文所讨论的本发明必要的其它资源。

在一个实施例的操作期间，处理器813经由通信总线811来访问计算机可读存储介质812以便启动、运行、执行、解释或以其它方式执行存储在计算机可读存储介质812中的信号处理器应用840-1的指令。信号处理器应用840-1的执行产生处理器813中的处理功能。换言之，与处理器813相关联的信号处理器进程840-2表示在计算机系统800中的处理器813内或上面执行信号处理器应用840-1的一个或多个方面。

图8是图示出根据本文中的实施例的用以导出针对图像元素中的设置的参考图像的使用的示例性图示。

更具体地，如所示，诸如解码器之类的计算机处理器硬件接收设置信息，其指定图像840（诸如参考图像）的再现中的显示元素810（例如，显示元素810-1、810-2、810-3、...）的设置。所述设置可以指示任何适当参数，诸如色彩、色度、亮度等。

图像再现840中的显示元素中的一个或多个可以表示在参考图像中存在的对象的至少一部分。图像再现850可以表示包括在参考图像中捕获的对象的一部分的序列中的另一图像。如本文所讨论的，可以将该参考图像（图像再现840）用作用以重构另一图像（诸如图像再现850）的基础。

在本非限制性示例性实施例中，诸如经运动补偿的图像之类的图像再现850包括多个显示元素820（例如，显示元素820-1、显示元素820-2、显示元素820-3等等）。如先前所讨论的，可以基于由参考图像中的对象的再现来生成图像再现850。运动矢量860指定显示元素820-9所关于的图像再现840中的精确位置。根据本文中的实施例，作为将图像再现840上采样成如在常规方法中的超采样的（即，超高分辨率）的图像以适应用于一个或多个元素的亚元素或分数元素运动补偿的替换，本文中的实施例包括基于相对低质量水平或低分辨率图像再现840来导出针对显示元素820-9的设置。

作为特定示例，计算机处理器硬件接收针对图像再现850中的显示元素820-9的运动补偿信息和/或其它元数据或重构数据。图像再现850表示至少部分地基于图像再现840（参考图像）中的显示元素的设置而创建的图像。接收到的运动补偿信息指示显示元素820-9所关于的图像再现840中的显示元素810-11内的坐标位置。用以重构针对显示元素820-9的设置的接收到的重构数据可以指定一个或多个参考图像以及每个参考图像内的一个或多个位置中的哪个将被用作重构针对显示元素的相应设置的基础。在简单的示例性实施例中，运动补偿信息指示将用作确定针对显示元素820-9的设置的基础的单个参考图像内的位置。

在一个实施例中，计算机处理器硬件将接收到的补偿信息转换成运动矢量860（分配给显示元素820-9），其指定元素820-9所关于的图像再现840（网格）中的网格外位置。显示元素820-9的位置在图像再现840中的网格外，因为其并未直接地落在图像再现840的仅单个显示元素上。在本示例性实施例中，如由运动矢量860指定的图像元素820-9的位置至少部分地与图像再现840中的多个显示元素810-6、810-7、810-10和810-11重叠。

计算机处理器硬件利用如运动矢量860所指定的坐标位置作为将根据其而选择图像再现840中的多个显示元素的分组的基础。例如，在本示例性实施例中，由于邻近度或其它适当参数，假设计算机处理器硬件选择显示元素810-6、810-7、810-10、810-11、810-12和810-15作为将从其生成针对显示元素820-9的一个或多个设置的适当附近元素。基于所选显示元素810-6、810-7、810-10、810-11、810-12和810-15的此类设置，计算机处理器硬件生成针对显示元素820-9的设置。

在一个实施例中，计算机处理器硬件基于图像再现840来计算针对显示元素820-9的设置信息，如同显示元素820-9位于如运动矢量860所指定的分数偏移位置中一样。例如，如运动矢量860所指定的显示元素820-9的质心并未精确地对准在显示元素810-11的质心上。本文中的实施例包括基于所选分组中的多个显示元素810-6、810-7、810-10、810-11、810-12和810-15的设置来生成针对第二图像中的显示元素820-9的设置。

应注意的是，可以使用多个算法之中的任何适当算法来基于显示元素的所选分组而导出针对显示元素820-9的设置。例如，在本示例中假设与显示元素820-9相关联的接收到的重构信息向计算机处理器硬件指示使用特定算法来将该分组生成为包括如上所述的显示元素810-6、810-7、810-10、810-11、810-12和810-15。

根据指定算法，计算机处理器硬件至少部分地基于分组中的多个显示元素相对于特定显示元素810-11中的（如由运动矢量860指定的显示元素820-9的质心的）坐标位置的距离来计算针对显示元素820-9的设置。

例如，线L1的长度表示显示元素810-6的质心（即，中心）（如显示元素810-6的中心中的相应符号x描述）与显示元素820-9的质心（如由运动矢量860指定且如由显示元素820-9中的点描述）之间的距离；线L2的长度表示显示元素810-7的质心（如由显示元素810-7的中心中的相应符号x描述）与显示元素820-9的质心（如由运动矢量860指定且如由显示元素820-9中的点描述）之间的距离；线L3的长度表示显示元素810-12的质心（如由显示元素810-12的中心中的相应符号x描述）与显示元素820-9的质心之间的距离；线L4的长度表示显示元素810-11的质心（如由显示元素810-11的中心中的相应符号x描述）与显示元素820-9的质心之间的距离；线L5的长度表示显示元素810-15的质心（如由显示元素810-15的中心中的相应符号x描述）与显示元素820-9的质心之间的距离；线L6的长度表示显示元素810-10的质心（如由显示元素810-10的中心中的相应符号x描述）与显示元素820-9的质心之间的距离。

如所述，可以将计算机处理器硬件配置成以任何适当方式来生成诸如显示设置之类的值。例如，可以将该算法配置成基于计算与附近显示元素810-6、810-7、810-10、810-11、810-12和810-15相关联的设置的平均来生成针对显示元素820-9的设置。例如，假设显示元素810-6被设置成24的值；显示元素810-7被设置成60的值；显示元素810-10被设置成228的值；显示元素810-11被设置成-123的值；显示元素810-12被设置成-41的值；并且显示元素810-15被设置成2的值。这些值的平均是25。因此，在该实例中，算法为显示元素820-9分配25的值。

根据另外的实施例，可以将算法配置成生成针对所选分组中的每个显示元素的权重。例如，在非限制性实施例中，可以将用以生成针对显示元素820-9的设置的所选算法配置成计算线L1、L2、L3、L4、L5和L6中的每一个的长度，并且取决于线的长度而生成针对相应显示元素的对应权重。线越短，相应权重的量值越高，使得与较远的元素相比可基于较近元素的设置而对针对显示元素820-9计算的设置更重地加权。作为特定示例，线L1的长度可以是7个单位；线L2的长度可以是5个单位；线L3的长度可以是6个单位，线L4的长度可以是1个单位；线L5的长度可以是6个单位；线L7的长度可以是4个单位。基于长度，算法将针对线L1的W1设置成是.053；算法将针对线L2的W2设置成是.157；算法将针对线L3的W3设置成是.105；算法将针对线L4的W4设置成是.368；算法将针对线L5的W5设置成是.105；算法将针对线L6的W6设置成是.21。权重的和可以等于一。为了基于权重而计算针对显示元素820-9的设置，算法如下生成显示元素820-9的值：

值＝ (W1×S1) +  (W2×S2) +  (W3×S3) +  (W4×S4) +  (W5×S5) +  (W6×S6);

其中S1＝显示元素810-6的设置＝24;

S2 = 显示元素810-7 的设置= 60;

S3 = 显示元素810-10的设置 = 228;

S4 = 显示元素810-11的设置 = -123;

S5 = 显示元素810-12 的设置= -41;

S6 = 显示元素810-15的设置 = 2.

值 = (.053×24) + (.157×60) + (.105×228) + (.368×(-123)) + (.105×(-41)) + (.21×2) = -14.2;

在本示例性实例中，算法将显示元素820-9的设置分配到-14.2的值。

根据另外的非限制性实施例，可以将算法配置成根据适当的再采样内核（诸如，双线性内核、双三次内核、lanczos内核等）而生成针对所选分组中的每个显示元素的权重。在此类实施例中的一个中，信号处理器识别最接近于坐标位置的参考图像中的元素810-11，并且然后选择包括所述元素的16个元素的分组。根据坐标位置与元素810-11的质心的距离，具有内核权重的多个可能值的查找表是可用的。在实施例中，信号处理器通过对与接近于坐标位置与元素810-11的质心的实际x距离和y距离的位置相对应的查找表中的权重集合进行内插来计算权重。

因此，本文中的实施例可以包括：产生加权值，其取决于如由运动矢量860指定的给定显示元素的质心与参考图像中的分组中的元素的相应质心之间的相应距离而变化；以及将加权值应用于分组中的显示元素的设置以产生针对显示元素820-9的设置。

因此，假设运动矢量的无限制或大体上高精度，本文中的实施例能够基于对象从一个图像平面至下一个的分数移动而重构图像。换言之，多个视频帧的序列中的参考图像可包括对象的表示。可使用参考图像（处于普通分辨率）作为产生下一帧中的移动对象的分数移位的表示的基础。换言之，后续帧可以包括在以小于全像素或在亚像素水平从一个帧至下一个移动时参考帧中的移动对象的再现。在相关申请中描述的其它非限制性实施例中，参考图像可以不是图像序列中的在先或后续图像，而是替代地可以是具体地生成以支持多个时间相关图像的重构的支持图像。在此类实施例中的某些中，参考图像甚至可以是分层时间层级中的向下混合（downblend）的预测器，具有低于经运动补偿的图像的分辨率的空间分辨率。

如上文所讨论的，运动矢量860可以指定除图像再现840中的显示元素810-11的中心之外的坐标位置。运动矢量860可以是任何适当分辨率的，使得对应显示元素820-9能够参考图像再现840中的任何位置。因此，运动矢量860可以是指向诸如参考图像之类的图像再现840中的相应元素或单元内的任何位置的偏移值或矢量。

在一个实施例中，如由运动矢量860指定的图像再现840中的特定坐标位置（诸如显示元素820-9的质心的位置）可以相对于显示元素810-11的质心偏移了显示元素或像素的分数值（诸如大于零但小于1的分数值）。如所提及的，图像再现850可以包括参考图像中的对象的表示，但是其相对于参考图像移位了小于全像素。

如所示，诸如参考图像之类的图像再现840的分辨率可以大体上等于图像再现850的分辨率（例如，至少部分地基于参考图像来渲染图像）。

应注意的是，根据另外的实施例，图像再现840的分辨率可以不同于图像再现850的分辨率。例如，在一个实施例中，第一图像再现840的分辨率可以大体上不同于第二图像再现850的分辨率。

因此，可以使用如由运动矢量860指定的坐标位置作为根据其来选择诸如图像再现840之类的第一图像中的多个显示元素的分组的基础。如所提及的，可以将计算机处理器硬件配置成将多个显示元素的分组创建成包括显示元素810-11和图像再现840中的一个或多个其它显示元素，所述一个或多个其它显示元素位于特定显示元素810-11的附近区域中。

在一个非限制性示例性实施例中，计算机处理器硬件至少部分地基于以下各项而对显示元素820-9的设置进行内插：i）坐标位置（如由运动矢量860指定）相对于特定显示元素810-11的质心的邻近度，ii）特定显示元素810-11的设置，以及iii）位于特定显示元素810-11的附近区域中的显示元素的设置。

应注意的是，可以对经补偿图像中的多个元素中的每一个应用运动补偿的过程以基于图像再现850而导出图像再现850。例如，本文中的实施例包括生成针对图像再现850中的多个显示元素中的每一个的相应运动矢量。以如先前所讨论的方式，再生图像再现850的计算机处理器硬件利用与图像再现850中的对应显示元素相关联的相应运动矢量来识别对应显示元素所关于的图像再现840中的特定位置。计算机处理器硬件然后使用如由运动矢量860指定的特定位置作为其中将识别参考图像中的相邻显示元素并生成针对对应显示元素的设置的基础。

现在将经由图9-10中的流程图来讨论由不同资源支持的功能。应注意的是，可以以任何适当次序来执行以下流程图中的步骤。

图9是图示出根据实施例的示例性方法的流程图900。应注意的是，将存在相对于如上文所讨论的概念的某些重叠。

在处理块910中，计算机处理器硬件（诸如解码器处理硬件）接收参考图像信息或参考图像。诸如图像再现840之类的参考图像信息定义处于给定分辨率的多个元素的网格。

在处理块920中，计算机处理器硬件接收用于图像元素、诸如经补偿图像（诸如图像再现850）中的显示元素820-9的补偿信息。至少部分地从参考图像信息导出经补偿图像中的显示元素的设置。

在处理块930中，计算机处理器硬件处理接收到的补偿信息以产生坐标集合，诸如如由运动矢量860指定的位置，其指示网格中的图像元素的对应的网格外位置。如所提及的，显示元素820-9的位置未落在网格线内，但是至少部分地覆盖在多个显示元素上。

在处理块940中，计算机处理器硬件基于网格中的多个元素的群组来计算针对图像元素的对应的网格外位置的值。

在处理块950中，计算机处理器硬件向经补偿图像中的图像元素分配计算的值。

图10是图示出根据实施例的示例性方法的流程图1000。应注意的是，将存在相对于如上文所讨论的概念的某些重叠。

在处理块1010中，计算机处理器硬件接收针对诸如参考图像之类的第一图像的设置信息。第一图像包括多个显示元素的集合。

在处理块1020中，计算机处理器硬件接收针对第二图像中的给定显示元素的运动补偿信息。该运动补偿信息指示给定显示元素所关于的第一图像中的特定显示元素内的坐标位置。

在处理块1030中，计算机处理器硬件利用该坐标位置作为从其选择第一图像中的多个显示元素的分组的基础。

在处理块1040中，计算机处理器硬件基于分组中的多个显示元素的设置而生成针对第二图像中的给定显示元素的设置。

再次应注意的是，本文中的技术非常适合于分级系统中的编码和解码。然而，应注意的是本文中的实施例不限于在此类应用中使用，并且本文所讨论的技术也非常适合于其它应用。

基于本文所阐述的描述，已阐述了许多特定细节以提供要求保护的主题的透彻理解。然而，本领域的技术人员将理解的是可在没有这些特定细节的情况下实践要求保护的主题。在其它实例中，未详细地描述普通技术人员将知道的方法、设备、系统等以免使要求保护的主题晦涩难懂。已经在对存储于计算系统存储器（诸如计算机存储器）内的数据位或二进制数字信号的操作的算法或符号表示方面呈现了详细描述的某些部分。这些算法描述或表示是数据处理领域中的技术人员用来向本领域的其它人传达其工作的实质的技术的示例。如本文所述的算法一般地被视为导致期望结果的操作或类似处理的自相一致序列。在本上下文中，操作或处理涉及到物理量的物理操纵。通常，但不一定，此类数量可采取能够被存储、传输、组合、比较或以其它方式操纵的电或磁信号的形式。主要由于一般使用的原因，将此类信号称为位、数据、值、元素、符号、字符、项、数、数字等有时是方便的。然而，应理解的是所有这些和类似术语将与适当的物理量相关联且仅仅是方便的标签。除非具体地另外说明，如从以下讨论显而易见的，应认识到的是遍及本说明书，利用诸如“处理”、“计算”、“运算”、“确定”等术语的讨论指的是诸如计算机或类似电子计算设备之类的计算平台的动作或过程，其对表示为存储器、寄存器或计算平台的其它信息存储设备、传输设备或显示设备内的物理电子或磁性量的数据进行操纵或变换。

根据不同的实施例，应注意的是，计算机系统可以是各种类型的设备中的任何一个，包括但不限于个人计算机系统、台式计算机、膝上型计算机、笔记本、上网本计算机、主计算机系统、手持式计算机、工作站、网络计算机、应用服务器、存储设备、诸如摄像机、录像摄像机、机顶盒、移动设备、智能电话、平板计算机、视频游戏控制台、手持式视频游戏设备之类的消费电子设备、诸如交换机、调制解调器、路由器之类的外围设备或者一般地任何类型的计算或电子设备。

虽然已特别地示出并参考其优选实施例描述了本文中的实施例，但本领域的技术人员应理解的是在不脱离如由所附权利要求限定的本申请的精神和范围的情况下可对其进行形式和细节方面的各种修改。此类变形意图被本申请的范围涵盖。正因为这样，本申请的实施例的前述描述并不意图是限制性的。而是，对本发明的任何限制在以下权利要求中提出。

Claims (38)

1.一种方法，包括：

接收参考图像信息，所述参考图像信息定义处于给定分辨率的多个元素的网格；

接收针对经补偿图像中的图像元素的补偿信息，经补偿图像中的显示元素的设置是至少部分地从参考图像信息导出的；

处理接收到的补偿信息以产生坐标集，其指示网格中的图像元素的对应网格外位置；

基于网格中的多个元素的群组来计算针对图像元素的对应网格外位置的值；以及

向经补偿图像中的图像元素分配所述值。

2.如权利要求1所述的方法，其中，用比网格的给定分辨率大体上更高的分辨率来表达指示对应网格外位置的坐标。

3.如权利要求1所述的方法，其中，计算所述值包括：

应用算法来识别网格中的多个元素中的哪个将包括在所述群组中，所述多个元素的群组被布置在对应网格外位置的附近区域中，所述算法对所述多个元素的群组应用数学操作以导出所述值。

4.如权利要求1所述的方法，其中，所述坐标集指示经由表示实域中的量的数来表达对应网格外位置。

5.如权利要求4所述的方法，其中，指示对应网格外位置的坐标集具有足够高的分辨率以指定网格中相对于网格上位置的小于网格中的显示元素的1/32的偏移。

6.如权利要求1所述的方法，其中，参考图像信息的分辨率与经补偿图像的分辨率大体上相同。

7.如权利要求1所述的方法，其中，计算所述值包括在实域中应用浮点操作。

8.如权利要求1所述的方法，其中，计算所述值包括用表示实域中的量的定点数来应用数学操作。

9.如权利要求1所述的方法，其中，所述补偿信息包括由表示实域中的量的数表达的参数。

10.如权利要求1所述的方法，其中，计算所述值包括运行图形处理单元中的着色器。

11.如权利要求1所述的方法，其中，计算所述值包括运行至少一个再采样操作。

12.如权利要求1所述的方法，其中，处理接收到的补偿信息包括：

根据在接收到的补偿信息中指定的参数对图像元素的坐标应用线性组合以产生针对该图像元素的参考图像中的坐标集；以及

根据相同的参数对坐标应用线性组合以产生针对经补偿图像中的多个显示元素中的每一个的参考图像中的相应坐标集。

13.如权利要求1所述的方法，其中，处理接收到的补偿信息包括：

计算对应于与经补偿图像中的图像元素相关联的坐标集的齐次坐标中的矢量；以及

将所述矢量乘以矩阵，其中，至少部分地基于补偿信息来指定所述矩阵中的系数。

14.如权利要求1所述的方法，还包括：

将坐标集计算为坐标（x^T，y^T），坐标（x^T，y^T）指定图像元素的网格外位置，图像元素存在于经补偿图像中的位置（x，y）处，通过根据以下公式来执行x和y与六个系数a、b、c、d、e和f的求和和乘法来计算坐标（x^T，y^T）：

。

15.如权利要求12所述的方法，其中，相对于基于相同参数集合计算的参考图像中的坐标来说经补偿图像中的多个显示元素的至少一个元素与多个显示元素中的其它显示元素是不相邻的。

16.如权利要求1所述的方法，其中，所述补偿信息包括选自包括以下各项的群组的至少一个参数：扩缩、旋转和偏移。

17.如权利要求16所述的方法，其中，所述补偿信息包括选自包括以下各项的群组的至少一个参数：扩缩、旋转、偏移、剪切、视角改变。

18.如权利要求1所述的方法，还包括：

将坐标集计算为坐标（x^T，y^T），坐标（x^T，y^T）指定图像元素的网格外位置，图像元素存在于经补偿图像中的位置（x，y）处，通过根据以下公式来执行x和y与八个系数a、b、c、d、e、f、g和h的求和和乘法来计算坐标（x^T，y^T）：

。

19.如权利要求1所述的方法，还包括：

向相应坐标集分配默认值，其指定在网格外面的位置且与网格的最近样本相距超过给定阈值的距离。

20.如权利要求1所述的方法，其中，所述经补偿图像具有高于多个元素的网格的分辨率。

21.如权利要求1所述的方法，其中，所述经补偿图像具有低于多个元素的网格的分辨率。

22.如权利要求1所述的方法，其中，所述经补偿图像是二维图像。

23.如权利要求1所述的方法，其中，所述经补偿图像是体积图像。

24.如权利要求1所述的方法，其中，所述经补偿图像是单维图像。

25.一种方法，包括：

经由计算机处理器硬件：

接收针对第一图像的设置信息，所述第一图像包括多个显示元素的集合；

接收针对第二图像中的给定显示元素的运动补偿信息，所述运动补偿信息指示给定显示元素所关于的第一图像中的特定显示元素内的坐标位置；

利用该坐标位置作为从其选择第一图像中的多个显示元素的分组的基础；以及

基于分组中的多个显示元素的设置来生成针对第二图像中的给定显示元素的设置。

26.如权利要求25所述的方法，其中，生成针对给定显示元素的设置包括：

至少部分地基于分组中的多个显示元素相对于特定显示元素中的坐标位置的距离来计算针对给定显示元素的设置。

27.如权利要求25所述的方法，其中，生成针对给定显示元素的设置包括：

至少部分地基于分组中的多个显示元素的设置来计算针对给定显示元素的设置。

28.如权利要求25所述的方法，其中，所述坐标位置表示要从其生成给定显示元素的设置的质心；以及

其中，生成针对给定显示元素的设置包括：

产生加权值，所述加权值取决于给定显示元素的质心与分组中的元素的相应质心之间的相应距离而改变；以及

将加权值应用于分组中的显示元素的设置以产生针对给定显示元素的设置。

29.如权利要求25所述的方法，其中，所述坐标位置指定除第一图像中的特定显示元素的中心之外的位置。

30.如权利要求25所述的方法，其中，第一图像的分辨率大体上等于第二图像的分辨率。

31.如权利要求25所述的方法，其中，第一图像的分辨率大体上不同于第二图像的分辨率。

32.如权利要求25所述的方法，其中，利用坐标位置作为从其选择第一图像中的多个显示元素的分组的基础包括：

将多个显示元素的分组创建成包括特定显示元素和位于该特定显示元素的附近区域中的第一图像中的显示元素；以及

基于以下各项对给定显示元素的设置进行内插：i）坐标位置相对于特定显示元素的质心和在该特定显示元素的附近区域中的显示元素的质心的邻近度，ii）特定显示元素的设置，以及iii）位于特定显示元素的附近区域中的显示元素的设置。

33.如权利要求25所述的方法，其中，所述第一图像是参考图像；以及

其中，多个显示元素的集合表示存在于第一图像中的对象的至少一部分。

34.如权利要求25所述的方法，其中，所述坐标位置相对于特定显示元素的质心偏移了大于零但小于1的显示元素的分数。

35.一种其上存储有指令的计算机可读硬件储存器，该指令在被至少一个处理设备执行时使所述至少一个处理设备执行以下操作：

接收参考图像信息，所述参考图像信息定义处于给定分辨率的多个元素的网格；

接收针对经补偿图像中的图像元素的补偿信息，经补偿图像中的显示元素的设置是至少部分地从参考图像信息导出的；

处理接收到的补偿信息以产生坐标集，其指示网格中的图像元素的对应网格外位置；

基于网格中的多个元素的群组来计算针对图像元素的对应网格外位置的值；以及

向经补偿图像中的图像元素分配所述值。

36.一种其上存储有指令的计算机可读硬件储存器，该指令在被至少一个处理设备执行时使所述至少一个处理设备执行以下操作：

接收针对第一图像的设置信息，所述第一图像包括多个显示元素的集合；

接收针对第二图像中的给定显示元素的运动补偿信息，所述运动补偿信息指示所述给定显示元素所关于的第一图像中的特定显示元素内的坐标位置；

利用所述坐标位置作为从其选择第一图像中的多个显示元素的分组的基础；以及

基于分组中的多个显示元素的设置来生成针对第二图像中的给定显示元素的设置。

37.一种计算机系统，包括：

计算机处理器硬件；以及

被耦合到所述计算机处理器硬件的硬件存储资源，所述硬件存储资源存储指令，该指令在被所述计算机处理器硬件运行时使计算机处理器硬件执行以下操作：

接收参考图像信息，所述参考图像信息定义处于给定分辨率的多个元素的网格；

接收针对经补偿图像中的图像元素的补偿信息，经补偿图像中的显示元素的设置是至少部分地从参考图像信息导出的；

处理接收到的补偿信息以产生坐标集，其指示网格中的图像元素的对应网格外位置；

基于网格中的多个元素的群组来计算针对图像元素的对应网格外位置的值；以及

向经补偿图像中的图像元素分配所述值。

38.如权利要求37所述的方法，其中，所述坐标集指示经由表示实域中的量的数来表达对应网格外位置。