CN102742267B - 自适应运动估计 - Google Patents

Abstract

确定运动估计的最佳误差度量函数并将其用于图像的视频编码和/或视频处理。为了做到这一点，可以执行使用初始误差度量函数的初始运动估计。这可产生运动预测误差。如果初始误差度量函数不是最佳误差函数，那么通过使用选择的最佳误差度量函数执行最终的运动估计。在一些实施例中，可以使用误差分布的形状来确定最佳误差度量函数。该运动估计的一些示例性系统或器件可包含用于压缩、时间内插和/或超分辨率处理的系统或器件。

Description

自适应运动估计

(对相关申请的交叉引用)

本申请要求在2007年12月19日提交的发明名称为“AdaptiveMotion Estimation”的美国临时申请No.61/015148的优先权，在此通过引用并入其内容。

技术领域

本公开涉及图像和视频数据的运动估计，诸如视频压缩、存储、处理、显示和/或传送系统的运动估计。

背景技术

运动估计可被描述为用于按照基准图片的一个或更多个部分的转变的拷贝将图像模型化的技术。运动估计自身可基于图像序列的模型以产生具有可观察的质量的视频和图像。例如，如果物体的图像从一个帧变化或移动到下一帧，那么可以使用运动估计以产生平滑的图片过渡。

发明内容

以下的段落给出提供当前公开的技术的示例性实施例的一些方面的基本理解的简要概况。应当注意，本简要概况不是示例性实施例的各方面的广泛的概述。并且，应当注意，本简要概况不应被理解为识别任何特别重要的方面或元素，不特别描绘示例性实施例的任何范围，也不一般描绘技术的任何范围。以下的简要概况仅以精简的方式给出与示例性实施例有关的一些概念。本简要概况由此应仅被理解为以下的示例性实施例中的一个的更详细的描述的概念性序言。

一般地，在本公开中描述的主题的实施例的特征是用于确定运动估计的最佳误差度量函数的图像的运动估计的方法。该方法包括：指定初始误差度量函数；和通过使用初始误差度量函数执行初始运动估计，这里，初始运动估计产生也称为运动补偿误差的运动预测误差。如果初始误差度量函数不是最佳误差函数，那么该方法包括通过使用选择的最佳误差度量函数执行最终的运动估计。

这些和其它的实施例可任选地包含以下特征中的一个或更多个。该方法可包括基于初始运动估计的运动预测误差的分布和与大量的误差度量函数中的一个有关的分布的比较确定初始误差度量函数是否是最佳误差函数。如果初始误差度量函数不是最佳误差函数，那么该方法可包括基于运动预测误差的分布选择最佳误差度量函数。用于执行初始运动估计的方法可包括处理初始误差度量函数以确定运动预测误差。该方法可包括指定与初始误差度量函数相关的初始概率分布。

如果该方法包括确定初始误差度量函数是否为最佳误差函数，那么该方法可包括计算初始误差度量函数的运动预测误差的直方图。如果该方法包括确定初始误差度量函数是否为最佳误差函数，那么该方法还可包括确定直方图的统计的最好拟合分布。如果该方法包括确定统计的最好拟合分布，那么该方法还可包括确定最佳误差度量函数的概率分布的尺度(scale)因子。

候选概率分布可包含高斯分布、拉普拉斯分布和/或柯西分布。该方法还可包括在确定尺度因子之后执行最好的拟合分布的统计测验。统计测验可包含执行分布拟合的卡方(cbi-square)测验。初始误差度量函数可包含休伯(Huber)度量函数，并且/或者可与来自大量的概率分布的中间概率分布对应。概率分布可包含高斯分布、拉普拉斯分布和/或柯西分布。初始误差度量函数还可包含总绝对差(SAD)、总方差(SSD)、平均绝对误差(MAD)、均方误差(MSE)或稳固估计值中的一个或更多个的函数。

该方法可包括在视频编码器的运动估计单元中执行运动估计、通过使用最佳误差度量函数执行视频编码的交互预测(inter-prediction)、通过使用最佳误差度量函数执行视频处理的时间内插和/或通过使用最佳误差度量函数执行超分辨率处理。视频编码的交互预测的方法可包含：通过运动估计单元，接收像素的块和帧并产生一个或更多个运动矢量；通过运动补偿单元，接收帧和一个或更多个运动矢量并产生接近像素的块的预测；和通过减法器单元，从像素的块减去预测并产生差异图像块。用于执行时间内插的方法可包含：通过运动估计单元，接收第一帧和第二帧并产生一个或更多个运动矢量；和通过双向内插单元，接收第一帧、第二帧和一个或更多个运动矢量并产生处于与第一帧和第二帧相关的时间之间的图像的近似。用于执行超分辨率处理的方法可包含：通过运动估计单元，接收在时间T周围分组的一组帧并在时间T处的组中的某帧和该组中的其它帧之间产生一个或更多个运动矢量；通过运动补偿单元，接收所述的一组帧和所述的一个或更多个运动矢量并产生包含所述的一组帧中的各帧的预测版本的图像；和通过超分辨率处理单元，接收图像，处理图像并产生具有比所述的一组帧高的空间分辨率的时间T处的图像。运动估计可包含基于块的或基于区域的运动估计。运动估计可包含相位相关或像素递归(pel-recursive)技术。运动估计还可包括诸如平移、仿射或参数模型的运动模型。

一般地，在本公开中描述的主题的其它方面包括可触知地在计算机可读介质上被编码的计算机程序产品的实施例，该计算机程序产品包括导致数据处理装置对于图像执行运动估计的操作的指令。这些操作包括：指定初始误差度量函数；通过使用初始误差度量函数执行初始运动估计，这里，初始运动估计产生运动预测误差。这些操作还包括：如果初始误差度量函数不是最佳误差函数，那么通过使用选择的最佳误差度量函数执行最终的运动估计。

这些和其它的实施例可任选地包含以下特征中的一个或更多个。可存在包括基于初始运动估计的运动预测误差的分布和与大量的误差度量函数中的一个有关的分布的比较确定初始误差度量函数是否是最佳误差函数的操作。如果初始误差度量函数不是最佳误差函数，那么可存在用于基于运动预测误差的分布选择最佳误差度量函数的操作。用于确定分布是否是运动预测误差的分布的最好的拟合的操作可包括用于以下操作的指令：确定与大量的候选分布相关的尺度因子；执行大量的候选分布的统计测验；和确定统计测验是否揭示与大量的误差度量函数中的一个相关的分布的最好的拟合。统计测验可包含卡方测验。初始误差度量函数可包含休伯度量函数。计算机程序产品可包括导致数据处理装置执行以下的操作的指令：在视频编码器的运动估计单元中执行运动估计；通过使用最佳误差度量函数执行视频编码的交互预测；通过使用最佳误差度量函数执行视频处理的时间内插；和/或通过使用最佳误差度量函数执行超分辨率处理。

一般地，在本公开中描述的主题的其它方面包括用于执行图像的运动估计的系统的实施例，该系统包括：显示图像数据的显示器件；存储图像数据和用于图像数据处理的指令的计算机可读介质；和可操作为处理指令和图像数据的数据处理器件。这些指令导致器件通过使用初始误差度量函数执行初始运动估计，这里，初始运动估计产生运动预测误差。这些指令还导致器件基于运动预测误差的分布从大量的误差度量函数中的一个选择最佳误差度量函数，以及，如果初始误差度量函数不被选择为最佳误差函数，那么通过使用选择的最佳误差度量函数执行最终的运动估计。

这些和其它的实施例可任选地包含以下特征中的一个或更多个。显示器件可被配置为从处理器接收图像数据以显示具有具有最佳误差度量函数的图像数据的图像。这些指令还可导致数据处理器件基于初始运动估计计算运动预测误差的直方图。系统可被配置为用于高分辨率视频、高质量视频、数字电影和/或3-D运动。数据处理器件可以是或包含视频编码器中的运动估计单元。

一般地，在本公开中描述的主题的其它方面包括用于确定运动估计的最佳误差度量函数的计算机实现的方法的实施例。计算机实现的方法包括：对于图像的初始运动估计选择第一误差度量函数；和通过第一误差度量函数执行初始运动估计。该初始运动估计产生运动预测误差。该方法包括通过确定第一误差度量函数是否与作为产生的运动预测误差的分布的最好拟合分布对应来确定第一误差度量函数是否是最佳误差度量函数。如果第一误差度量函数不是最佳误差度量函数，那么该方法包括对于图像的随后的运动估计的最佳误差度量函数选择第二误差度量函数，这里，第二误差度量函数的选择与作为从初始运动估计产生的运动预测误差的分布的最好拟合分布对应。

这些和其它的实施例可任选地包含以下特征中的一个或更多个。可从大量的误差度量函数选择第一误差度量函数或第二误差度量函数。误差度量函数可包含具有高斯分布、拉普拉斯分布、柯西分布和/或休伯分布中的一个或更多个的分布的函数。如果第一运动估计或第二运动估计对于具有连续导数的误差度量函数使用最小化方法，那么初始误差度量函数可包含与休伯度量函数的关系。

该方法可包括基于从初始运动估计产生的运动预测误差计算产生的运动误差的直方图。如果该方法包括确定第一误差度量函数是否与作为产生的运动预测误差的分布的最好的拟合分布对应，则该方法还可包括：确定产生的运动预测误差的分布的尺度因子；和执行统计测验以确定分布是否是产生的运动预测误差的分布的最好的拟合。该方法还可包括：在视频编码器的运动估计单元中执行运动估计；通过使用最佳误差度量函数执行视频编码的交互预测；通过使用最佳误差度量函数执行视频处理的时间内插；和/或通过使用最佳误差度量函数执行超分辨率处理。

一般地，其它方面包括用于执行视频编码的交互预测的系统。该系统包括接收像素的块和帧并产生一个或更多个运动矢量的运动估计单元。系统具有接收帧和一个或更多个运动矢量并产生接近像素的块的预测的运动补偿单元。系统包括从像素的块减去所述预测并产生差异图像块的减法器单元。运动估计单元被配置为通过处理指令确定运动估计的最佳误差度量函数，包括：指定初始误差度量函数；通过使用初始误差度量函数执行初始运动估计；以及，如果初始误差度量函数不是最佳误差函数，那么通过使用选择的最佳误差度量函数执行最终的运动估计。该初始运动估计产生运动预测误差。

这些和其它的实施例可任选地包含以下特征中的一个或更多个。运动估计单元可通过处理指令确定运动估计的最佳误差度量函数，包括：基于初始运动估计的运动预测误差的分布和与大量的误差度量函数中的一个有关的分布的比较确定初始误差度量函数是否是最佳误差函数；以及，如果初始误差度量函数不是最佳误差函数，那么指令还包含基于运动预测误差的分布选择最佳误差度量函数。指令和/或处理的结果可被存储在诸如存储单元或器件中。初始误差度量函数可以是或包含休伯度量函数。系统可包括视频编码器，其中，运动估计单元和运动补偿单元是视频编码器的部件。运动估计单元可确定误差度量函数的形状并使用该形状以确定最佳误差度量函数。差异图像块可以是残余。

一般地，其它方面包括用于视频处理的时间内插的系统。该系统包括接收第一帧和第二帧并产生一个或更多个运动矢量的运动估计单元。系统还包括接收第一帧、第二帧和一个或更多个运动矢量并产生处于与第一帧和第二帧相关的时间之间的图像的近似的双向内插单元。运动估计单元被配置为通过处理指令确定运动估计的最佳误差度量函数，包括：指定初始误差度量函数；通过使用初始误差度量函数执行初始运动估计；以及，如果初始误差度量函数不是最佳误差函数，那么通过使用选择的最佳误差度量函数执行最终的运动估计。初始运动估计产生运动预测误差。

这些和其它的实施例可任选地包含以下特征中的一个或更多个。运动估计单元可通过处理指令确定运动估计的最佳误差度量函数，包括：基于初始运动估计的运动预测误差的分布和与大量的误差度量函数中的一个有关的分布的比较确定初始误差度量函数是否是最佳误差函数；以及，如果初始误差度量函数不是最佳误差函数，那么指令还包含基于运动预测误差的分布选择最佳误差度量函数。初始或最佳误差度量函数可以是或包含休伯度量函数。运动估计单元可确定误差度量函数的形状并使用该形状以确定最佳误差度量函数。如果相等的子区间处的中间图像的数量在系统中被计算，则系统可产生缓慢运动视频效果。系统可被配置为用于帧速率转换。系统可被配置为使用与双向内插单元相关的时间以将第一频率的第一视频流转换成第二频率的第二视频流。

一般地，一些方面包含用于执行视频处理的超分辨率处理的系统。该系统包括被配置为接收在时间T周围分组的一组帧并在时间T处的组中的某帧和该组中的其它帧之间产生一个或更多个运动矢量的运动估计单元。系统包括接收所述的一组帧和所述的一个或更多个运动矢量并产生包含所述的一组帧中的各帧的预测版本的图像的运动补偿单元。系统还包括接收图像、处理图像并产生具有比所述的一组帧高的空间分辨率的时间T处的图像的超分辨率处理单元。运动估计单元被配置为通过处理指令确定运动估计的最佳误差度量函数，包括：指定初始误差度量函数；通过使用初始误差度量函数执行初始运动估计；以及，如果初始误差度量函数不是最佳误差函数，那么通过使用选择的最佳误差度量函数执行最终的运动估计。初始运动估计产生运动预测误差。

这些和其它的实施例可任选地包含以下特征中的一个或更多个。运动估计单元可通过处理指令确定运动估计的最佳误差度量函数，包括：基于初始运动估计的运动预测误差的分布和与多个误差度量函数中的一个有关的分布的比较确定初始误差度量函数是否是最佳误差函数；以及，如果初始误差度量函数不是最佳误差函数，那么指令还可包含基于运动预测误差的分布选择最佳误差度量函数。初始误差度量函数或最佳误差度量函数可以是或包含休伯度量函数。运动估计单元被配置为确定误差度量函数的形状并使用该形状以确定最佳误差度量函数。超分辨率处理单元可被配置为通过调整尼奎斯特(Nyquist)频率并增加与图像相关的分辨率从图像提取更高的分辨率的图像。

公开的技术可确定精确的误差分布和误差度量函数以产生图像和视频的精确的运动估计。在一些实例中，公开的技术可考虑运动预测误差的实际分布以产生在统计上最佳的算法以选择运动估计的最佳误差函数即F()。产生的运动估计可以是最佳的和稳固的。公开的技术可使运动估计自身中的误差减少超过一百倍。作为结果，由于图像序列可被精确地模型化，因此图像序列中的运动预测误差可基本上减少到零。在一些实施例中，可以在包含以3-D呈现的视频和图像的高质量视频和数字电影中使用公开的技术。公开的用于运动估计的技术可准确地为通过求导使误差函数最小化的复杂运动模型和复杂技术提供最佳的算法。

也可在具有一个或更多个部件的系统、装置或设备、机器、计算机程序产品中、在软件中、在硬件中或者在它们的任意组合中实现这里描述的方法和技术中的任一种。例如，计算机程序产品可以可触知地在计算机可读介质上被编码，并可包含导致数据处理装置(例如，数据处理器)执行这里描述的方法中的任一种的一个或更多个操作的指令。

在这里的附图和说明书中阐述一个或更多个实施例的细节。从说明书、附图和权利要求，将清楚其它的特征、方面和结果。

附图说明

图1A示出块匹配技术的基准图像的例子的示图。

图1B示出块匹配技术的目标图像的例子的示图。

图2A示出致密或按像素(per-pixel)运动估计技术的基准图像的例子的示图。

图2B示出致密或按像素运动估计技术的目标图像的例子的示图。

图3示出概率密度的例子的示图。

图4示出误差度量函数的例子的示图。

图5A～5B示出执行运动估计的例子的流程图。

图6示出休伯度量函数的例子的示图。

图7A示出视频编码的交互预测的示例性实施例的示意图。

图7B示出视频处理的时间内插的示例性实施例的示意图。

图7C示出视频处理的超分辨率处理的示例性实施例的示意图。

图8示出系统模型的例子。

各图中的类似的附图标记和指示可表示类似的要素。

具体实施方式

这里描述可用于实现实施较一般的目标的不同方式的一般结构和技术和更加具体的实施例。

运动估计技术可由使运动补偿(或预测)误差最小化同时使运动场的相干性最大化之间的平衡表征。可按照运动场的平滑性表达运动场的相干性。相干物体的运动可望是与各物体平滑的，使得运动场仅在物体边界上是不连续的。这些物体边界可被称为轮廓边缘或外形边缘。

存在几种尝试解决运动估计问题的技术。但是，一些运动估计技术在不考虑运动预测误差(即，预测图像中的误差)的实际统计的情况下基于单一误差度量函数使总误差最小化。其它的运动估计技术尝试在不确定在执行最小化之前最佳误差度量函数应是什么的情况下使总误差最小化。这些运动估计技术中的一些在不考虑特定的图像序列的运动估计的模型化的情况下采用使用任意选择的误差度量函数的强力方法。当最佳误差度量函数还没有被确定时，仅通过使运动补偿(或预测)误差最小化可能难以完全确定图像之间的运动或光学流动。

以下描述用于基于运动预测误差的实际统计选择在统计上最佳的误差度量函数的技术。为了帮助理解这些技术，以下的讨论首先描述基于块的运动估计以及致密或按像素(per-pixel)运动估计的运动估计技术。然后，讨论描述将约束添加到一些运动估计技术上以从基于块或致密/按像素运动估计方法更好地确定运动估计的尝试。然后，讨论描述误差度量函数和它们的质量的例子。最后，描述用于基于误差的实际统计选择在统计上最佳的误差度量函数的技术并给出一些示例性实施例。

基于块的运动估计

一些运动估计技术包含诸如块匹配技术的“匹配”方法。对于这些匹配方法，可通过在在块匹配技术中可以为块或矩形区域或者更一般地为图像的任意形状的区域或段的一些区域之上实施运动的参数模型强加运动场的平滑性上的约束。虽然该参数模型可以是更一般的，但是，该模型在最常见的情况下为简单的位移。这种块匹配技术常可被称为均匀位移技术，在该均匀位移技术中，对于目标图像的各块将目标图像中的固定位置块和基准图像中的可变位置块之间的预测误差的函数的和最小化。

图1A示出块匹配技术的基准图像100的例子的示图，图1B示出块匹配技术的目标图像150的例子的示图。如图1A～1B所示，目标图像150中的块位置105位移到基准图像100中的另一块位置110。在该例子中，基准图像100具有任意的块位置，并且，目标图像150具有固定的块位置。在该块匹配例子中，目标图像150被称为基准图像100被称为这里，和的水平和垂直分量可包含整数值。目标图像150的各块b具有在目标图像的块上使总误差E最小化的与目标图像150相关的位移矢量一般地，总误差E可指的是各像素上的应用于预测或运动补偿误差上的一些误差度量函数f()的和。总误差E可被表达如下：

$E=\underset{{\stackrel{\→}{x}}_t\∈\mathrm{block}}{\mathrm{\Σ}}F\left(e\left({\stackrel{\→}{x}}_t\right)\right)$

预测误差可被表达如下：

$e\left({\stackrel{\→}{x}}_t\right)=I_t\left({\stackrel{\→}{x}}_t\right)-I_r({\stackrel{\→}{x}}_t+{\stackrel{\→}{d}}_b)$

由于通常的等式表达方式，惯例是实际上沿正向运动估计的相反方向。基准图像在时间上比目标图像早。

致密或按像素运动估计

图2A示出致密或按像素运动估计技术的基准图像的例子的示图，图2B示出致密或按像素运动估计技术的目标图像的例子的示图。致密运动模型可放宽基于块的模型的空间约束。这些致密运动(或按像素运动)估计可从图像梯度得到，并且可与基于块/均匀位移技术类似。例如，如图2B所示，可存在目标图像250中的各像素的运动估计。

函数可被称为位移场或运动矢量场(即，它是矢量场)。这种按像素位移常被称为致密运动估计。在本例子中，运动预测误差可被表达如下：

$e\left({\stackrel{\→}{x}}_t\right)=I_t\left({\stackrel{\→}{x}}_t\right)-I_r\left({\stackrel{\→}{x}}_r\right)=I_t\left({\stackrel{\→}{x}}_t\right)-I_r({\stackrel{\→}{x}}_t+\stackrel{\→}{d}\left({\stackrel{\→}{x}}_t\right))$

即，目标图像250中的物体210中的点与基准图像200的物体210′中的点对应。该模型可去除位移必须在受限制的尺寸和位置的矩形块上恒定的约束，并且可允许位移变为的一般函数。由于致密运动模型可放宽基于块的模型的空间约束，因此，致密运动模型可改变运动估计问题的如何确定位移场的焦点。

致密运动估计技术的一些例子是光学流动方法。虽然按像素位移提供更一般的运动模型，但按像素位移还更加难以确定。通过按像素位移，一般的运动估计问题的本质不能被适当地解决。在致密运动估计中，一个目标是确定各像素的位移矢量的水平和垂直分量。当从密度图像得到运动时，问题由此是从图像密度中的单一约束(即，小并在理想条件下为零的)确定运动的这两个分量。该方法在确定运动的两个分量时可使得运动推导不确定和不可靠。换句话说，仅最小化以下的运动预测误差的函数可能不会导致希望的估计运动的结果：

$E=\underset{{\stackrel{\→}{x}}_t}{\mathrm{\Σ}}F\left(e\left({\stackrel{\→}{x}}_t\right)\right)=\underset{{\stackrel{\→}{x}}_t}{\mathrm{\Σ}}F(I_t\left({\stackrel{\→}{x}}_t\right)-I_r({\stackrel{\→}{x}}_t+\stackrel{\→}{d}\left({\stackrel{\→}{x}}_t\right)))$

如果不受约束，那么可对于总预测误差E产生小的值的位移场存在许多的可能性。

向运动估计的增加信息(Add Information)添加约束

一些运动估计技术尝试使用颜色信息以克服致密运动估计的限制。颜色信息可包含三种通道，诸如Y亮度以及U和V色度通道、或者原色R红色、G绿色和B蓝色、或者任何其它适当的表现。通过使用这些颜色通道，尝试从三个约束(每个颜色分量上一个)确定运动(两个参数)。但是，实际上，颜色与强度的空间相关性高到以至于存在很少的增加的信息。并且，相邻的像素之间的相关性也可以是高的。在极端的例子中，诸如在平整的无明显结构(textureless)的区域中，除了在边界处以外，不存在用于确定运动的信息。从统计的观点看，可能简单地在中不存在足以确定位移的局部信息。等同地，由于和几乎相等，因此这可被表达为在处的基准图像中不存在足够的信息。该结果仅是运动估计问题的不确定和不适定(ill-posed)的本质的重新陈述。

由于在图像中不存在足以仅通过使预测误差自身最小化来确定的信息，因此在上施加一个或更多个附加的约束会是有帮助的。例如，第一附加要求可以是对于施加一些空间相干性或平滑性。在一些技术中，如按照其梯度表达的那样，可以向总误差添加可在位移场的平滑性上体现附加的约束的项。因此，要被最小化的总误差可被表达为：

$E=\underset{{\stackrel{\→}{x}}_t}{\mathrm{\Σ}}(F\left(e\left({\stackrel{\→}{x}}_t\right)\right)+G(\▿\stackrel{\→}{d}\left({\stackrel{\→}{x}}_t\right)))$

并可导致更合理的解。函数G()可以是与F()类似的稳固(robust)估计值。F()和G()的稳固形式可从光学流动技术产生改进的估计。

参照图1A～2B描述的运动估计技术趋于在一些情况下与附加的约束一起使与类似的和最小化。在以下的公开中描述的技术针对当执行运动估计时应选择什么误差度量函数F()以产生更精确和稳固的运动估计结果的总体和基础的问题。首先描述一些示例性误差度量函数和它们的特性，然后描述用于选择适当的误差度量函数的技术。

示例性误差度量函数

一般地，主要存在三类误差度量函数F()：

(1)F(u)＝|u|，一般称为平均绝对差(MAD)，或者，等同地，总绝对差(SAD)，在压缩中使用；

(2)F(u)＝u²，一般称为均方误差(MSE)，或者，等同地，总平方误差(SSE)；

(3)F()是稳固估计值。

对于压缩一般优选常实现为总绝对差(SAD)的绝对值度量(1)。选择该度量是为了获得压缩效率或者只是由于它是最容易计算的度量。总平方误差(SSE)(2)可以是最小平方问题和解的基础。稳固估计值(3)可以是单纯避免(2)的平方律方面或底层模型的违背的有些粗糙的尝试。使用稳固估计量的基本原理可以是，误差分成两类：适合假定的模型的误差；和不适合假定的模型的误差(也被称为“界外值”)。常常地，这些界外值将主导SSE计算并使其有效性劣化。

以下鉴于最大可能性理论描述误差度量函数的三个主要类别。然后，描述用于基于运动预测误差自身的分析选择最佳误差度量函数的技术。最佳误差度量函数可指的是最好地模型化运动预测误差自身的误差度量函数，并且，当与通过使用其它类型的误差度量函数获得的运动估计相比时，相应地在运动估计自身中具有最小的误差。

实际中，可存在不同的尺寸和重要性的误差，这里，一些像素将具有小的误差并且其它的像素将具有大的误差。误差度量函数F()的目的可以是，在使总误差最小化的过程中，适当地按比例将大的误差和小的误差加权。

在统计的意义上，可从运动预测误差的根本概率分布得到大的误差和小的误差之间的最佳加权。实际上，误差的该分布一般是未知的。通过使用从该分布得到的最佳加权，可使产生的运动的估计的不确定性最小化。这种最佳加权的表达可来自最大可能性理论的统计概念，该最大可能性理论可表示如何使误差度量函数与给定的分布相关联。最大可能性理论可被描述为用于基于给定的数据(例如，图像)确定分布的参数(在此情况下为或)的最有可能或最可能的估计的严格的方法。给定图像和最大可能性理论可在形式上将或的条件概率最大化。

在简单的实现中，最大可能性理论可初始地假定预测误差的统计的已知形式。最简单的假定可假定各像素的误差与概率密度无关。然后，通过使和值最小化找到未知的参数(在这种情况下，为运动)的最大可能性估计。

在一些方面中，运动矢量的最大可能性估计可指的是使产生的运动估计在事实上为可获得的最好的运动估计的可能性最大化的那些估计。由于联合事件(这些误差)的概率是所有单个事件(各像素处的运动预测误差)的概率的积，因此，该概率或可能性可指的是各单个像素的可能性的积。可能性的这种乘法可迅速产生非常小的数值，并且，事实上，它们可能如此小，以至于它们可能难以用浮点算术表示。由于在与函数的对数值的最大值相同的值处出现函数的最大值，因此，可能性的对数值被最大化。这将积转变成和。在数学上，某数的对数值的最大化是该某数的负数的最小化。如果估计要在最大可能性的意义上获得最佳运动估计，那么，例如，应将最小化。

因此，误差度量函数F()的每一个选择可能只对于特定的分布是最佳的。对于总误差被最小化的任何特定的误差度量函数，可能不清楚结果是否在最大可能性意义上是最佳的。

作为例子，假定对于误差度量函数选择F(z)＝|z|。在块匹配的情况下，例如，总误差E可以为：

$E=\underset{{\stackrel{\→}{x}}_t\∈\mathrm{block}}{\mathrm{\Σ}}\left|e\left({\stackrel{\→}{x}}_t\right)\right|$

该总误差可代表总绝对差(或SAD)。如果预测误差的分布在的直实值处为拉普拉斯形式(两侧指数)，那么使该总误差最小化为的函数产生还是的最大可能性估计的运动估计拉普拉斯概率密度可被表达为：

$P_{L1}\left(z\right)=\frac{1}{2b}{e}^{-\frac{\left|z\right|}{b}}$

这里，b是尺度参数。相应的概率分布可被表达为：

$D_{L1}\left(z\right)={\∫}_{-\∞}^z{P}_{L1}\left(u\right)\mathrm{du}=\left[\begin{array}{c}\frac{1}{2}{e}^{-\frac{\left|z\right|}{b}},z\≤0\\ 1-\frac{1}{2}{e}^{-\frac{\left|z\right|}{b}},z>0\end{array}\right.$

在数学上，该误差度量函数可被称为“L1”度量函数，原因是它包含上升到1的幂的绝对值。

作为替代方案，假定选择F(z)＝z²作为误差度量函数。然后，总误差为总方差(SSD)。如果预测误差是高斯形式，那么总误差的最小化可给出最大可能性估计。如果预测误差是高斯形式，那么概率密度可被表达为：

$P_{L2}\left(z\right)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}{e}^{-\frac{z^2}{2{\mathrm{\σ}}^2}}$

这里，σ是常被称为标准偏差的尺度参数。相应的概率分布可被写入误差函数erf()的项中。概率分布函数可被表达为：

$D_{L2}\left(z\right)={\∫}_{-\∞}^z{P}_{L2}\left(u\right)\mathrm{du}=-\frac{1}{2}+\mathrm{erf}\left(\frac{z}{\sqrt{2}\mathrm{\σ}}\right)$

在数学上，这种类型的误差度量函数可被称为“L2”度量函数。如果L2度量函数的和被块中的点的数量归一化，那么SAD可变为平均绝对误差(MAD)，并且SSD可变为均方误差(MSE)。

由于块匹配趋于被用于碰巧对于运动估计和补偿中的误差稳固的压缩中，误差度量函数F()的选择周围的问题可能不会是明显的。一般地，绝对值或L1度量函数可以与平方或L2度量函数一样好或更好地起作用，并且可更容易地进行用于压缩的计算(例如，没有乘法)。因此，SAD在压缩中几乎是普遍存在的。但是，压缩不寻求真实的运动，并且，如果真实运动是目标，那么实际找到最佳误差度量函数的问题不应被忽略。

存在L1和L2度量函数以外的其它类型的可被使用的误差度量函数。例如，一种这样的方法是使用一般化的高斯分布，在这种情况下，误差的绝对值可上升到诸如1或2的整数幂值，或诸如0.9或1.3的任意非整数幂值。这可代表统一和一般化L1和L2度量的这样一种方法。

还可存在可对于可称为“界外值”的大的误差较不敏感的F(z)的选择。一个例子基于平方误差度量函数，并且可将比一些阈值T大的平方舍位为值T。该示例性误差度量函数可被称为“舍位高斯误差度量函数”。在稳固统计的领域中开发了其它的各种这样的函数。这类度量函数的例子与柯西分布有关，并且可被称为“Lc”度量。柯西分布(也称为“柯西-洛伦茨”或“洛伦茨”分布)可具有比高斯或拉普拉斯分布长的尾部，并因此会是更稳固的。对于柯西分布，概率密度可被表达为：

$P_{\mathrm{Lc}}\left(z\right)=\frac{1}{\mathrm{\πa}}\left(\frac{1}{1+z^2/a^2}\right)$

这里，a是尺度参数。在一些情况下，a可代表半振幅处的半宽度。相应的概率分布可被表达为：

$D_{\mathrm{Lc}}\left(z\right)=\frac{1}{2}+\frac{1}{\mathrm{\π}}\arctan \left(\frac{z}{a}\right)$

图3示出概率密度的例子的示图300。如3所示，以下描述的三种分布(高斯330、拉普拉斯320和柯西310)的概率密度在定性上是类似的。

如果高斯分布330被视为最佳行为分布，那么柯西分布310可被视为最差行为。例如，柯西分布310的尾部可刚刚足够大到使得第一和第二时刻的整数不明确。因此，平均值与方差可能对于柯西分布310是不明确的。

虽然这三种分布的概率密度可能看起来在定性上是类似的，但是，相应的误差度量函数可能大大不同。各分布的误差度量函数为：

$M_{L1}\left(u\right)=\frac{\left|u\right|}{b}$

$M_{L2}\left(u\right)=\frac{u^2}{2{\mathrm{\σ}}^2}$

$M_{\mathrm{Lc}}\left(u\right)=\log (1+\frac{u^2}{a^2})$

图4示出误差度量函数410、420、430的例子的示图400。在图4中，画出三个误差度量函数(对于单位尺度因子)，这里，在示图400中示出L1 420、L2 430和L3 410误差度量函数。特别地，L1 420是拉普拉斯误差度量函数，L2 430是高斯误差度量函数，并且L3 410是柯西误差度量函数。当与评定图3的示图300中的各单个分布之间的差异相比较时，在图4的示图400中更清楚地表示各单个误差度量函数之间的差异。误差度量函数和它们的相应的分布之间的示图300、400中的差异的这种比较可揭示任意选择误差度量函数的问题的症结：只是由于误差分布可能看起来是类似的，误差度量函数可能是相当不同的，这可对于运动估计的总体精度具有不可觉略的影响。

确定最佳误差度量函数的技术

当执行运动估计时，误差度量函数的任意选择不能与误差的实际分布对应。如果误差自身的实际分布是例如高斯形式，那么，由于高斯分布表现良好、很少出现界外值，因此不会出现很多的总体精度的问题。例如，SSE(L2)度量会是最佳的并且SAD(L1)对于压缩仍会足够好地起作用。但是，一个问题是，这些运动预测误差趋于断然地为非高斯误差。例如，一种这样的研究断定，对于几种不同的应用，高斯假定总是预测误差的实际分布的最差拟合，两侧指数(或拉普拉斯)分布比高斯分布好并且偶尔是最好的，并且，柯西分布最经常是三个分布中的最好的。

预测误差的实际分布可被用于产生运动估计的在统计上最佳的算法。在一些实施例中，例如，预测误差的分布被用于对于运动估计选择最佳误差度量函数即F()，这里，最佳误差度量函数精确地将来自运动估计的实际运动预测误差模型化，并且，当与通过其它类型的误差度量函数产生的相同的运动估计相比较时，产生具有最小的误差的运动估计。

图5A～5B示出确定运动估计的例子的流程图500、505。不是盲目地应用一些误差度量函数，而是分析并使用预测误差的分布以选择误差度量函数。例如，可以选择最佳误差度量函数，并然后通过使用该最佳误差度量函数执行运动估计。最佳误差度量函数的选择在分析中的一些点处可包含实际确定什么最佳误差度量函数应基于运动预测误差自身的分布的分析。

图5A示出运动估计的例子的流程图500。执行初始运动估计，然后执行在统计上最佳的算法以解释预测误差的分布(505)。基于来自初始运动估计的运动预测误差的实际分布(505)，选择用于最终的运动估计的最佳误差度量函数F()(580)。由于存在已知的与特定的误差度量函数对应的分布(例如，如在图3和图4之间示出的那样)，因此，一旦已从初始运动估计确定预测的误差的实际分布，就可选择最佳误差度量函数。然后，用最佳误差度量函数执行(590)最终的运动估计。

图5B示出关于图5A所示的动作(505)提供更多的细节的例子的流程图。在图5B中，执行(510)初始运动估计，并且计算误差直方以帮助确定最佳误差函数。初始运动估计可包含与例如第一帧、第一场景或一系列的帧相关的运动估计。

在图5A～5B的运动估计技术的一个例子中，上述的三种分布-高斯、拉普拉斯和柯西分布-是分布的可能，并且，存在哪个候选分布最好地拟合观察的误差数据的确定。虽然一些实施例可从本例子添加、修改或改变分布的类型和数量，但是，这三个示例性分布可用于表明这里给出的概念的一些方面。

如上所述，处理可从不能初始地使用最佳误差度量函数的初始运动估计(510)开始。在不存在附加的信息的情况下，三个分布的“中间”分布可被用作开始分布。在本例子中，拉普拉斯分布是高斯分布和柯西分布之间的中间分布(例如，拉普拉斯分布的相关的误差度量函数420是图4中的中间或中部误差度量函数)，因此可用用于L1度量函数的函数执行初始运动估计。

在执行该初始运动估计之后，可以计算预测的误差的直方图(530)，并且，该处理然后可前进以将误差分布模型化(560)，确定哪个分布最好地拟合观察的运动预测误差数据。由于大多数的图像为百万像素的量级，因此直方图趋于被良好地描绘。

在计算直方图(530)之后，可在两个步骤中确定哪个分布最好地拟合观察的误差数据。对于第一步骤，可确定适于与各误差度量函数相关的候选分布的尺度因子(550)。即，该处理可确定用于使高斯分布最好地拟合计算的误差直方图的σ(530)、用于使拉普拉斯分布最好地拟合计算的误差直方图的b(530)、以及用于使柯西分布最好地拟合计算的误差直方图的a(530)。给定这些尺度因子，可对于具有观察的直方图的各分布执行诸如用于分布拟合的卡方测验的统计测验(570)。最好地拟合计算的误差直方图的分布(530)从而可表示相应的误差度量函数应是什么。因此，可基于最好地拟合直方图的分布选择最佳误差度量函数(580)，然后，可使用该最佳误差度量函数以执行最终的运动估计(590)。

在一些情况下，初始对于初始运动估计选择的误差度量函数事实上可以为最佳误差度量函数(例如，图5B中的初始运动估计(510))。在这种情况下，图5B所示的处理简单地确定该最佳误差度量函数事实上是否是最佳误差度量函数(例如，步骤530、550、570)。如果初始选择的误差度量函数是最佳误差度量函数，那么不需要执行最佳误差函数的选择(580)或执行最终的运动估计(590)。

在替代性实施例中，如果初始运动估计使用需要具有连续导数的误差度量函数的最小化方法，那么，作为用于L1度量函数的误差度量函数的替代，可初始使用用于休伯度量函数的误差度量函数。由于与L1度量函数相关的误差度量函数在零处是不连续的，因此用于L1度量函数的误差度量函数在零上具有不明确的导数。另一方面，休伯度量函数可被解释为对于大的误差具有L1并且对于小的误差具有L2。休伯度量函数在零处是连续的并且可被用于使用导数的优化技术。作为结果，休伯度量函数可良好地适用于诸如仿射模型或透视模型的更复杂的运动模型。这些复杂优化模型中的一些可具有通过取不适于与L1度量函数相关的误差度量函数的导数使误差度量函数最小化的函数。

图6示出休伯度量函数的例子的示图600。休伯度量函数可被定义为：

$H\left(u\right)=\frac{u^2}{2\mathrm{\&epsiv;}},\left|u\right|<\mathrm{\&epsiv;}$

$\left|u\right|-\mathrm{\&epsiv;}/2,\left|u\right|\&GreaterEqual;\mathrm{\&epsiv;}$

并且，在图6中被画出610，这里，ε等于1。如图6所示，休伯度量函数在零处是连续的。

因此，在一些实施例中，在初始运动估计中使用与休伯度量函数相关的误差度量函数。特别地，可对于初始运动估计对于第一场景或序列的第一帧处理与休伯度量函数相关的误差度量函数(510)。在执行最佳拟合的统计测验(570)并选择最佳误差度量函数(580)之后，第一场景或第一序列的下一帧可使用产生的最佳误差度量函数以替代与休伯度量函数相关的误差度量函数。当随后的场景或随后的帧序列的第一帧开始时(即，在第一场景或第一帧序列的第一帧之后的某时出现的场景或帧序列的第一帧)，与休伯度量函数相关的误差度量函数可重新被选择为随后的场景或随后的序列的那个第一帧的初始运动估计中的误差度量函数，并且，一旦对于最终的运动估计确定最佳度量函数，就在后面用随后选择的最佳误差度量函数代替它。

示例性实施例

在其它的实施例中，可与比仿射或透视模型复杂或精深的运动模型一起使用公开的技术。在一些实施例中，可以在高质量视频和数字电影中以及可以与3-D运动一起使用公开的技术。

虽然以上仅详细公开了几个实施例，但是其它的实施例是可能的，并且发明人要将它们包含于本说明书中。说明书描述了实现可以用另外的方式实现的更一般的目标的特定例子。本公开意图在于是示例性的，并且，权利要求意图覆盖任何的修改或替代方案。

这里公开的运动估计技术(例如，图5A、图5B、图6)可被应用于使用运动估计的任何器件和/或系统。使用运动补偿和/或运动估计的器件和/或系统的一些例子可包含用于压缩、时间内插(例如，缓慢运动和帧速度转换)和超分辨率处理的器件或系统。例如，在一般的意义上，这些器件和/或系统可使用运动估计以近似不同的时间点上的图像。近似(例如，预测)可使用运动估计并可包含运动补偿。

图7A示出用于视频编码的交互预测的示例性实施例710的示意图。图7A表示运动估计单元716、运动补偿单元720和减法器724。这些部件(例如，单元716、720、724)可以是用于视频编码的视频编码器的一部分。

视频编码中的两类编码方法可包含内部(在帧内)和交互(在帧之间)编码类型。示例性实施例710表示用于视频编码的交互预测的例子。在本例子中，正被编码的像素712的块(一般具有尺寸8×8)和被事先编码和解码的帧712均被发送到运动估计单元716，该运动估计单元716对于该块产生运动矢量718。该运动矢量718和事先解码的帧714被发送到运动补偿单元720的输入，该运动补偿单元720产生近似于正被编码的像素712的块的预测722。至少由于单一运动矢量718不总是代表像素712的块中的每个像素的真实运动，因此预测722可能不确切地与像素712的输入块相同。可用减法器724减去预测722和像素712的输入块以产生差异图像块726(例如，残余)。该差异图像块726然后被转变、量化和熵编码。通过使用在图5A～6中详述的先进的运动估计技术，可以改善运动矢量718，可使得预测722更加精确，差异图像块726(例如，残余)可更小，并且，残余可更容易被编码。

图7B示出用于视频处理的时间内插的示例性实施例730的示意图。如730所示，可以在用于运动补偿的时间内插的高质量系统中使用运动估计和运动补偿。这里，在时间上相邻的两个帧即帧732和734被馈送到运动估计单元736，并且，大量的运动矢量738被计算。两个帧732、734和运动矢量738然后被馈送到双向内插单元740，该双向内插单元740在作为输入帧的时间之间的中间时间上产生图像742的近似。如果计算相等的子区间处的中间图像的数量，那么结果可产生高质量的缓慢运动效果。在帧速率转换应用中，例如，可以使用对于双向内插单元740选择的时间以将第一视频流(例如，在美国使用的60Hz(59.97Hz)视频流)转变成第二视频流(例如，在欧洲使用的50Hz视频流)。

图7C示出用于视频处理的超分辨率处理的示例性实施例的示意图。分别如图7A和图7B中的710和730的示例性实施例所示，运动估计的一些应用包含多于仅仅一对的图像。由于时间内插和超分辨率的一些实施例可能不具有由不精确的运动估计导致的误差的校正，因此，当使用公开的先进的运动估计技术(例如，图5A～6)时，时间内插和超分辨率可提供增强的结果。

“超分辨率处理”一般可指的是从一系列的低分辨率图像提取高分辨率图像的技术。超分辨率处理的一些示例性应用可以是在监视(例如，从视频监视照相机中的低分辨率图像产生高分辨率图像)和天文学(例如，从遥远天体的低分辨率图像产生高分辨率图像)的领域中。在超分辨率处理的例子中，如果两个图像的运动矢量不是所有的像素，那么在运动补偿之后，两个图像可在尼奎斯特频率以下基本上相同但在尼奎斯特频率之上不同。可以使用多个图像以消除原始图像的尼奎斯特频率之上的信息的歧义。该处理可允许增加尼奎斯特频率，并由此增加分辨率。

在图7C中，示例性实施例770表示超分辨率处理的总体示意图。在本例子中，时间T附近的一组帧772被输入到运动估计单元774。该组帧772包含时间T处的帧和该帧周围的其它帧。在运动估计单元774中，在时间T处的帧和该帧周围的其它帧中的每一个之间计算运动矢量776。这些运动矢量776和输入的一组帧772被输入到运动补偿单元778，该运动补偿单元778对于每个帧输入772产生时间T处的帧(例如，图像780)的预测版本。在本例子的一些实施例中，所有的图像780可与单一时间T对应。图像780被输入到超分辨率处理单元782，该超分辨率处理单元782处理图像780以产生具有比输入图像(例如，一组帧772)高的空间分辨率的时间T处的单一图像。

图8示出系统模型的例子。可以在一个或更多个计算机805A、805B上使用公开的技术。可以用计算机和/或视频显示820、传送、处理和重放系统实现或在其中使用这里的一种或更多方法和/或算法和/或过程。这里描述的计算机可以是任意类型的计算机，包括通用型或诸如工作站的一些特定用途计算机。计算机805B可以为例如运行Windows XP、Vista或Linux的基于Intel或AMD的计算机，或者可以是Macintoch计算机。在一些实施例中，计算机还可以是诸如PDA815、手机815的手持计算机或膝上型计算机805A。计算机还可指的是用于图像记录或接收825、830、835、处理、存储840和数据、特别是视频数据的分配的机器或机器的部分。

可以用C、或者Python、或者Java、Brew或者任何其他编程语言编写计算机和/或图形程序。程序可以驻留在存储介质(例如，磁的或者光学的，例如计算机硬盘、可移动盘或者诸如存储棒或SD介质的介质、基于有线或无线网络的或者基于蓝牙的网络附接存储器(NAS)、或者其他的可移动介质)上。程序也可以通过网络850运行，例如通过服务器或者其他机器发送通信到本地机器，这使得本地机器能够执行这里描述的操作。

可以在数字电子电路中或在包含在本说明书中公开的结构和它们的结构等同物的计算机软件、固件或硬件中或在它们中的一个或更多个的组合中实现在本说明书中描述的主题和功能操作的实施例。可以作为一个或更多个计算机程序产品即在计算机可读介质上可触知地被编码的由数据处理装置执行或控制其操作的计算机程序指令的一个或更多个模块实现在本说明书中描述的主题的实施例。计算机可读介质可以是机器可读存储装置840、机器可读存储基板、存储装置、实现机器可读指令的物质成分、或它们中的一个或更多个的组合。术语“数据处理装置”包含所有的用于处理数据的装置、设备和机器，作为例子包括可编程处理器、计算机或多个处理器或计算机。除了硬件以外，装置可包含产生讨论的计算机程序的执行环境的代码，例如，构成处理器固件、协议栈、图形系统、数据库管理系统、操作系统或它们中的一个或更多个的组合的代码。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以以包括编译或解释语言的任意形式的编程语言被编写，并且它可以以任何形式被部署，包括部署为适用于计算环境中的单机程序或模块、部件、子程序或其它的单元。计算机程序未必与文件系统中的文件对应。程序可被存储于保持其它的程序或数据的文件(例如，存储于标记语言文档中的一个或更多个脚本)的一部分中、存储于专用于讨论中的程序的单一文件中、或存储于多个协同文件(例如，存储一个或更多个模块、子程序、或代码的多个部分的文件)中。计算机程序可被部署以在一个计算机上或在位于一个地点或位于分布的多个地点并且通过通信网络互连的多个计算机上被执行。

可以由通过在输入数据上操作并且产生输出执行一个或更多个计算机程序以执行功能的一个或更多个可编程处理器执行在本说明书中说明和示出的处理和逻辑流程和示图。还可通过例如FPGA(场可编程门阵列)或ASIC(应用特定集成电路)的特定用途逻辑电路执行处理和逻辑流程，并且，也可将装置实现为该特定用途逻辑电路。

作为例子，适于执行计算机程序的处理器包含通用或特定用途微处理器以及任何类型的数字计算机的任意一个或更多个处理器。一般地，处理器可从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本要素是用于执行指令的处理器和用于存储指令和数据的一个或更多个存储器装置。一般地，计算机还可包含一个或更多个用于存储数据的例如磁盘、磁光盘或光盘的大规模存储装置，或者可操作地与其耦合以从和/或向其接收和/或传送数据。但是，计算机不需要具有这种装置。并且，计算机可被嵌入另一装置中，作为该装置的例子，可以举出移动电话、个人数字助理(PDA)、移动音频播放器、全球定位系统(GPS)接收器。适于存储计算机程序指令和数据的计算机可读介质包含所有形式的非易失性存储器、介质和存储装置，作为例子包含半导体存储装置，例如EPROM、EEPROM和闪存装置；磁盘，例如，内部硬盘或可去除盘；磁光盘；和CD ROM和DVD-ROM盘。处理器和存储器可由特定用途逻辑电路补充或被加入其中。

为了提供与用户的交互作用，可以在具有用于向用户显示信息的例如CRT(阴极射线管)、LCD(液晶显示器)或等离子显示监视器820的显示装置和用户可借由向计算机提供输入的键盘和例如指示装置、鼠标或跟踪球的选择器的计算机上实现在本说明书中描述的主题的一些实施例。也可以使用其它的类型的装置，以提供与用户的交互作用：例如，向用户提供的反馈可以是任何形式的感观反馈，例如，视觉反馈、听觉反馈或触觉反馈；并且，来自用户的输入可以以任何形式被接收，包括声学、语音或触觉输入。

可以在包含例如作为数据服务器的后端部件、或包含例如应用服务器的中端部件或包含例如具有用户可借由与在本说明书中描述的主题的实施例交互作用的图形用户界面或网络浏览器的客户计算机的前端部件或一个或更多个这种后端、中端或前端部件的任意组合的计算系统中实现在本说明书中描述的主题的一些实施例。系统的部件可以通过例如通信网络的数字数据通信的任意形式或介质互连。通信网络的例子包含局域网(“LAN”)和例如因特网的广域网(“WAN”)。

计算系统可包含客户机和服务器。客户机和服务器一般相互远离并且一般通过通信网络交互作用。借由在各计算机上运行并且相互具有客户机-服务器关系的计算机程序发生客户机和服务器的关系。

虽然本公开包含许多的细节，但是它们不应被解释为限制可被要求保护的或者本发明的范围，而应被解释为对本发明的特定实施例的具体特征的描述。还可在单个实施例中组合实现在各单独的实施例的上下文中在本说明书中描述的某些特征。相反，还可单独地或在任何适当的再组合中在多个实施例中实现在单个实施例的上下文中描述的各种特征。并且，虽然以上特征可被描述为在某些组合中起作用并且甚至因而被初始地要求保护，但是，在一些情况下可以从组合去除来自要求权利的组合的一个或更多个特征，并且，要求保护的组合可进行再组合或再组合的变更方式。

类似地，虽然以特定的次序在附图中示出操作，但这不应被理解为要求以示出的特定次序或依次执行这些操作或者执行所有示出的操作以实现希望的结果。在某些情况下，多任务和并行的处理会是有利的。并且，以上描述的实施例中的各种系统部件的分开不应被理解为在所有的实施例中需要这种分开，并且，应当理解，描述的程序部件和系统一般可在单一的软件或硬件产品中被集成在一起，或者被封装到多个软件或硬件产品中。

术语“算法”可指的是步骤、方法、工艺、方案、过程、操作、程序、指导方针、技术、次序和/或一组指令规则。例如，算法可以是用于硬件和/或软件视频处理器的一组视频处理指令。可通过一个或更多个计算设备和/或机器存储、产生和处理这些算法(例如，在一些情况下，可在没有人交互作用的情况下执行)。公开的算法可与视频有关，并且，可在视频相关的系统和/或用于在任意的组合中对于视频数据进行处理、压缩、存储、传送、接收、测验、校准、显示和/或任意的改善的任何装置、机器、硬件和/或制造物品中产生、实现、关联和/或使用这些公开的算法。这些算法和技术不限于特定的编码标准，而是可以在编码标准之外或除了编码标准以外被使用。并且，可以在视频编码系统中在编码方案之间调查编码依赖性以提高编码性能。

运动估计可利用任何算法以选择最佳误差函数以以上述的方式改善运动估计，包括改善基于块和基于区域的运动估计、相位相关、像素递归(pel-recursive)技术等，并且，可以使用包括平移、仿射和参数等的各种运动模型。已描述了公开的特定的实施例，诸如用于使用运动预测误差的分布以使运动估计自身的误差最小化的实施例。一些实施例可包含用于分析预测误差的分布和/或分析不同分布的不同误差度量的技术。一些实施例可包含用于通过使用先验信息(例如，度量X是最佳的)和/或预测误差的实际分布的分析选择最佳误差度量的技术。在一些实施例中，可以使用误差分布的形状以确定最佳误差度量。在一些实施例中，当使用最佳误差度量时，误差分布可在零附近变紧(例如，误差现在随着最佳误差度量变得较小)，并且，在一些实施例中，误差分布的总体形状可以是相同的。其它的实施例在以下的权利要求的范围内。

Claims (30)

1.一种用于确定视频数据的运动估计的最佳误差度量函数的图像的运动估计的方法，该方法包括以下步骤：

从多个误差度量函数指定初始误差度量函数；

执行(510)使得所述初始误差度量函数被最小化的初始运动估计，其中，所述初始运动估计产生运动预测误差，并且其中，所述运动预测误差是所述初始误差度量函数的参数；

计算(530)初始误差度量函数的运动预测误差的直方图；

指定与所述初始误差度量函数相关的初始概率分布；

从多个候选的概率分布中确定直方图的统计最好拟合的概率分布；

选择(580)与所确定的概率分布相关的误差度量函数作为最佳的误差度量函数；

如果初始误差度量函数不是最佳的误差度量函数，那么执行(590)使得所选择的最佳的误差度量函数被最小化的最终的运动估计；

其中，所述运动估计是在视频编码器的运动估计单元(716，736，774)中执行的。

2.如权利要求1所述的方法，其中，如果初始误差度量函数不是最佳的误差函数，那么该方法还包括基于运动预测误差的概率分布选择(580)最佳的误差度量函数。

3.如权利要求1所述的方法，其中，确定统计最好拟合的概率分布包含确定(550)最佳误差度量函数的概率分布的尺度因子。

4.如权利要求1所述的方法，其中，候选概率分布包含高斯分布(330)、拉普拉斯分布(320)和柯西分布(310)。

5.如权利要求3所述的方法，

还包括在确定(550)尺度因子之后执行(570)最好的拟合分布的统计测验，或者

还包括在确定(550)尺度因子之后执行(570)最好的拟合分布的统计测验，且其中所述统计测验(570)包括执行分布拟合的卡方测验。

6.如权利要求3所述的方法，还包括在确定(550)尺度因子之后执行(570)最好的拟合分布的统计测验，且其中所述统计测验(570)包括执行分布拟合的卡方测验，且其中初始误差度量函数包含休伯度量函数。

7.如权利要求1所述的方法，

其中，所述初始误差度量函数与多个候选的概率分布的中间概率分布对应，其中所述中间概率分布在所述候选的概率分布的中部，或者，

其中，所述初始误差度量函数与多个候选的概率分布的中间概率分布对应，且所述的多个候选的概率分布包含高斯分布、拉普拉斯分布或柯西分布中的一个或更多个。

8.如权利要求1所述的方法，其中，所述初始误差度量函数包含总绝对差SAD、总方差SSD、平均绝对误差MAD、均方误差MSE或稳固估计值中的一个或更多个的函数。

9.如权利要求1所述的方法，其中，还包括执行使得所述最佳误差度量函数被最小化的视频编码的交互预测或时间内插。

10.如权利要求1所述的方法，还包括执行使得所述最佳误差度量函数被最小化的视频编码的交互预测，其中，执行视频编码的交互预测包含：通过运动估计单元(716)接收像素的块(712)和帧(714)并产生一个或更多个运动矢量(718)；通过运动补偿单元(720)接收所述帧(714)和所述一个或更多个运动矢量(718)并产生接近所述像素的块(712)的预测(722)；以及，通过减法器单元(724)从所述像素的块(712)减去所述预测(722)并产生差异图像块(726)。

11.如权利要求1所述的方法，还包括执行使得所述最佳误差度量函数被最小化的视频处理的时间内插，其中，执行时间内插包含：通过运动估计单元(736)接收第一帧(732)和第二帧(734)并产生一个或更多个运动矢量(738)；以及，通过双向内插单元(740)接收所述第一帧(732)、所述第二帧(734)、以及所述一个或更多个运动矢量(738)并产生处于与所述第一帧(732)和所述第二帧(734)相关的时间之间的图像(742)的近似。

12.如权利要求1所述的方法，

还包含：通过运动估计单元(774)接收在时间T周围分组的一组帧(772)并在时间T处的组(772)中的某帧和该组(772)中的其它帧之间产生一个或更多个运动矢量；通过运动补偿单元(778)接收所述的一组帧(772)和所述的一个或更多个运动矢量(776)并产生包含所述的一组帧(772)中的各帧的预测版本的图像(780)；以及，通过超分辨率处理单元(782)接收图像(780)、处理图像(780)并产生具有比所述的一组帧(772)高的空间分辨率的时间T处的图像(784)。

13.如权利要求1所述的方法，其中，运动估计包含基于块的或基于区域的运动估计，以及/或者，其中，运动估计包含相位相关或像素递归技术，以及/或者，其中，运动估计包括包含平移、仿射或参数模型的运动模型。

14.一种用于确定视频数据的运动估计的最佳误差度量函数的图像的运动估计的装置，该装置包括：

用于从多个误差度量函数指定初始误差度量函数的部件；

用于执行(510)使得所述初始误差度量函数被最小化的初始运动估计的部件，其中，所述初始运动估计产生运动预测误差，并且其中，所述运动预测误差是所述初始误差度量函数的参数；

用于计算(530)初始误差度量函数的运动预测误差的直方图的部件；

用于指定与所述初始误差度量函数相关的初始概率分布的部件；

用于从多个候选的概率分布中确定直方图的统计最好拟合的概率分布的部件；

用于选择(580)与所确定的概率分布相关的误差度量函数作为最佳的误差度量函数的部件；

用于如果初始误差度量函数不是最佳的误差度量函数，那么执行(590)使得所选择的最佳的误差度量函数被最小化的最终的运动估计的部件；

其中，所述运动估计是在视频编码器的运动估计单元(716，736，774)中执行的。

15.如权利要求14所述的装置，其中，如果初始误差度量函数不是最佳的误差函数，那么该装置还包括用于基于运动预测误差的概率分布选择(580)最佳的误差度量函数的部件。

16.如权利要求14所述的装置，其中，用于确定统计最好拟合的概率分布的部件包含用于确定(550)最佳误差度量函数的概率分布的尺度因子的部件。

17.如权利要求14所述的装置，其中，候选概率分布包含高斯分布(330)、拉普拉斯分布(320)和柯西分布(310)。

18.如权利要求16所述的装置，

还包括用于在确定(550)尺度因子之后执行(570)最好的拟合分布的统计测验的部件，或者

还包括用于在确定(550)尺度因子之后执行(570)最好的拟合分布的统计测验的部件，且其中所述统计测验(570)包括执行分布拟合的卡方测验。

19.如权利要求16所述的装置，还包括用于在确定(550)尺度因子之后执行(570)最好的拟合分布的统计测验的部件，且其中所述统计测验(570)包括执行分布拟合的卡方测验，且其中初始误差度量函数包含休伯度量函数。

20.如权利要求14所述的装置，

其中，所述初始误差度量函数与多个候选的概率分布的中间概率分布对应，其中所述中间概率分布在所述候选的概率分布的中部，或者，

其中，所述初始误差度量函数与多个候选的概率分布的中间概率分布对应，且所述的多个候选的概率分布包含高斯分布、拉普拉斯分布或柯西分布中的一个或更多个。

21.如权利要求14所述的装置，其中，所述初始误差度量函数包含总绝对差SAD、总方差SSD、平均绝对误差MAD、均方误差MSE或稳固估计值中的一个或更多个的函数。

22.如权利要求14所述的装置，其中，还包括用于执行使得所述最佳误差度量函数被最小化的视频编码的交互预测或时间内插的部件。

23.如权利要求14所述的装置，还包括用于执行使得所述最佳误差度量函数被最小化的视频编码的交互预测的部件，其中，执行视频编码的交互预测包含：通过运动估计单元(716)接收像素的块(712)和帧(714)并产生一个或更多个运动矢量(718)；通过运动补偿单元(720)接收所述帧(714)和所述一个或更多个运动矢量(718)并产生接近所述像素的块(712)的预测(722)；以及，通过减法器单元(724)从所述像素的块(712)减去所述预测(722)并产生差异图像块(726)。

24.如权利要求14所述的装置，还包括用于执行使得所述最佳误差度量函数被最小化的视频处理的时间内插的部件，其中，执行时间内插包含：通过运动估计单元(736)接收第一帧(732)和第二帧(734)并产生一个或更多个运动矢量(738)；以及，通过双向内插单元(740)接收所述第一帧(732)、所述第二帧(734)、以及所述一个或更多个运动矢量(738)并产生处于与所述第一帧(732)和所述第二帧(734)相关的时间之间的图像(742)的近似。

25.如权利要求14所述的装置，

还包含：通过运动估计单元(774)接收在时间T周围分组的一组帧(772)并在时间T处的组(772)中的某帧和该组(772)中的其它帧之间产生一个或更多个运动矢量；通过运动补偿单元(778)接收所述的一组帧(772)和所述的一个或更多个运动矢量(776)并产生包含所述的一组帧(772)中的各帧的预测版本的图像(780)；以及，通过超分辨率处理单元(782)接收图像(780)、处理图像(780)并产生具有比所述的一组帧(772)高的空间分辨率的时间T处的图像(784)。

26.如权利要求14所述的装置，其中，运动估计包含基于块的或基于区域的运动估计，以及/或者，其中，运动估计包含相位相关或像素递归技术，以及/或者，其中，运动估计包括包含平移、仿射或参数模型的运动模型。

27.如权利要求22所述的装置，其中所述用于执行内插的部件还包括：

用于使用运动估计单元(716)，以接收像素的块(712)和帧(714)并产生一个或更多个运动矢量(718)的部件；

用于使用运动补偿单元(720)，以接收所述帧(714)和所述一个或更多个运动矢量(718)并产生近似所述像素的块(712)的预测(722)的部件；和

用于使用减法器单元(724)，以从所述像素的块(712)减去所述预测(722)并产生差异图像块(726)的部件，

其中，运动估计单元(716)被配置为使用如权利要求1～13中的任一项所述的操作以确定运动估计的最佳误差度量函数。

28.如权利要求27所述的装置，其中，差异图像块(726)包含残余。

29.如权利要求22所述的装置，其中所述用于执行内插的部件还包括：

用于使用运动估计单元(736)，以接收第一帧(732)和第二帧(734)并产生一个或更多个运动矢量(738)的部件；和

用于使用双向内插单元(740)，以接收所述第一帧(732)、所述第二帧(734)、以及所述一个或更多个运动矢量(738)并产生处于与所述第一帧(732)和所述第二帧(734)相关的时间之间的图像(742)的近似的部件，

其中，运动估计单元(736)被配置为使用如权利要求1～13中的任一项所述的操作以确定运动估计的最佳误差度量函数。

30.如权利要求29所述的装置，

其中，通过计算相等的子区间处的中间图像的数量产生缓慢运动视频效果，以及/或者，

其中，实现帧速率转换，并且使用与双向内插单元相关的时间以将第一频率的第一视频流转换成第二频率的第二视频流。