CN101822056B - 用于视频编解码几何划分的双向预测模式划分的方法和装置 - Google Patents

Abstract

一种用于视频编解码几何划分的双向预测模式划分的方法和装置。所述装置包括编码器(300)，用于利用自适应几何划分对图像的至少一部分编码双向预测图像数据，其中利用从对应于第一参考图像列表的第一预测值组、对应于第二参考图像列表的第二预测值组和用于双向预测并包括来自第一和第二预测值组其中至少之一的预测值的第三预测值组中选择的至少一个预测值预测用于自适应几何划分的几何划分。

Description

用于视频编解码几何划分的双向预测模式划分的方法和装置

相关申请的交叉引用

本申请要求2007年10月12日提交的美国临时专利申请60/979,586的优先权，在此将其全文并入作为参考。

技术领域

本发明总体上涉及视频编码，具体而言，涉及用于视频编解码几何划分的双向预测模式划分(geometrically partitioned bi-predictive modepartitions)的方法和装置。

背景技术

当前主要的视频编码标准中都采用了树结构宏块划分(tree-structuredmacroblock partitioning)。国际电信联盟远程通信标准化组(ITU-T)的H.261推荐标准(下文称作“H.261推荐标准”)、国际标准化组织/国际电工委员会(ISO/IEC)的运动图像专家组MPEG-1标准(下文称作“MPEG-1标准”)、ISO/IEC的运动图像专家组MPEG-2标准/ITU-T H.263推荐标准(下文称作“MPEG-2标准”)只支持16X16的宏块(MB)划分。ISO/IEC的运动图像专家组MPEG-4第2部分简单型或ITU-T H.263(+)推荐标准支持对16X16的宏块的16X16和8X8的划分。MPEG-4 AVC标准支持树结构层级宏块划分。16X16的宏块可以被划分为大小为16X8、8X16或8X8的宏块划分。8X8的划分还被称为子宏块。子宏块可以被进一步分割为大小为8X4、4X8和4X4的子宏块划分。

根据是否编码有预测(P)帧或双向预测(B)帧，利用基于树结构的划分可以实现不同的预测结构。这些预测结构定义了MPEG-4 AVC标准编码器和/或解码器可用的编码模式。P帧可以从第一参考帧列表进行时间预测，B帧最多可以使用两个参考帧列表进行块划分的后向(backward)/前向(forward)/双向(bi-predictional)预测。更一般而言，没有指定任何方向。而是P帧由列表0预测，B帧由列表0、列表1或者列表0加列表1预测。为了简化说明，在下文中，简单地将列表0预测称为前向预测，将列表1预测称为后向预测，将列表0和列表1预测称为双向预测。例如，用于P帧和B帧的这种编码模式的实例如下：

P帧：

B帧：

其中“FWD”表示由前向预测列表或列表0的预测，“BKW”表示由后向预测列表或列表1进行的预测，“BI”表示由前向和后向列表进行的双向预测，“FWD-FWD”表示每个都由前向预测列表进行预测的两个预测，“FWD-BKW”表示第一个预测是由前向预测列表进行的预测而第二个预测是由后向预测列表进行的预测。

MPEG-4 AVC标准中的帧划分(frame partition)比旧的视频编码标准(例如MPEG-2)中采用的简单的统一块划分更高效。但是，基于树结构的帧划分并不是没有缺陷，例如由于其不能获取两维(2D)数据的几何结构而在某些编码环境中效率低下。为了解决这种局限性，一种现有技术的方法(下文称为“现有方法”)被提出，以通过将二维几何考虑在内而更好地表示和编码二维视频数据。现有方法在用于帧间预测(INTER16X16GEO，INTER8X8GEO)和帧内预测(INTRA16X16GEO，INTRA8X8GEO)的新模式组中利用楔形划分(即将块划分为由任何直线或曲线分开的两个区域)。

在现有方法的一个实施方式中，MPEG-4 AVC标准用作基础以并入几何划分模式。块内的几何划分通过直线隐含的表示(implicit formulation)建立模型。请参看图1，附图标记100表示图像块的示例性几何划分。整个图像块用附图标记120表示，分别用附图标记130和140表示图像块120的位于对角线150相对侧的两个划分。

因此，如下定义所述划分：

f(x，y)＝xcosθ+ysinθ-ρ

其中ρ和θ分别表示：沿朝向f(x，y)对角方向从原点到分界线的距离和朝向f(x，y)对角方向与水平坐标轴x之间的夹角。

从此公式可以直接得出，还需要考虑引入更多具有高阶几何参数的f(x，y)模型。

对每个块像素进行分类，从而：

$\mathrm{GEO}\_\mathrm{Partition}=\left\{\begin{array}{ccc}\mathrm{if}& f(x,y)>0& \mathrm{Partition}0\\ \mathrm{if}& f(x,y)=0& \mathrm{LineBoundary}\\ \mathrm{if}& f(x,y)<0& \mathrm{Partition}1\end{array}\right.$

为了进行编码，事先定义一个可能划分(或几何模型)的字典。可以如下形式进行定义：

$\mathrm{\&rho;}:\mathrm{\&rho;}\&Element;[0,\frac{\sqrt{2}M{B}_{\mathrm{Size}}}{2})\mathrm{and\&rho;}\&Subset;\{0,\mathrm{\&Delta;\&rho;},2\&CenterDot;\mathrm{\&Delta;\&rho;},3\&CenterDot;\mathrm{\&Delta;\&rho;},...\}$

并且

$\mathrm{\&theta;}:\left\{\begin{array}{ccc}\mathrm{if}& \mathrm{\&rho;}=0& \mathrm{\&theta;}\&Element;\left[\mathrm{0,180}\right)\\ & \mathrm{else}& \mathrm{\&theta;}\&Element;\left[\mathrm{0,360}\right)\end{array}\right.\mathrm{and\&theta;}\&Subset;\{0,\mathrm{\&Delta;\&theta;},2\&CenterDot;\mathrm{\&Delta;\&theta;},3\&CenterDot;\mathrm{\&Delta;\&theta;},...\},$

其中Δρ和Δθ是所选量化(参数估计精度)步长。所述用于ρ和θ的量化指数是传输的用于编码边缘的信息。但是，如果模型16X8和8X16用于编码程序，可以将用于ρ＝0的角度0和90度从可能的边缘集中除去。

在现有方法中，对于几何自适应的运动补偿模型，对每个划分的θ和ρ以及运动矢量进行进行检索以获得最佳配置。对于每个θ和ρ对，完整的检索策略分为两个阶段进行，从而检索出最佳运动矢量。在几何自适应帧内预测模型中，对每个划分进行θ和ρ以及最佳预测值(方向预测或统计等)的检索以找到最佳配置。

请参看图2，附图标记200表示用几何自适应直线划分的示例性INTER-P图像块。附图标记220表示整个图像块，用附图标记230和240分别表示图像块220的两个划分。

对于P模式，块的预测补偿如下所述：

${\hat{I}}_t={\hat{I}}_{t^{\&prime;}}(\stackrel{\&RightArrow;}{x}-{\mathrm{MV}}_1)\&CenterDot;{\mathrm{MASK}}_{P0}(x,y)+{\hat{I}}_{t^{\&prime;\&prime;}}(\stackrel{\&RightArrow;}{x}-{\mathrm{MV}}_2)\&CenterDot;{\mathrm{MASK}}_{P1}(x,y)$

其中表示当前预测，

和

分别是用于划分P2和P1的块运动补偿的参考。每个MASK_P(x，y)包括用于每个划分的每个像素(x，y)的影响权重(contribution weight)。未位于划分边界的像素通常不需要任何运算。在实践中，掩码值(mask value)是1或0。只有接近划分边界的像素可能需要将来自两个参考的预测值进行组合。

因此，虽然利用几何自适应块划分的帧间预测被认为是用于提高编码效率的有前途的研究方向，但当前其应用仅局限于NITER-P帧。

发明内容

本发明涉及用于视频编解码几何划分的双向预测模式划分的方法和装置，其能够解决现有技术中上述及其他缺点。

根据本发明的一个方面，提供了一种装置。所述装置包括编码器，用于利用自适应几何划分对图像的至少一部分编码双向预测图像数据。利用从对应于第一参考图像列表的第一预测值组、对应于第二参考图像列表的第二预测值组和用于双向预测并包括第一和第二预测值组其中至少之一的预测值的第三预测值组中选择的至少一个预测值预测用于自适应几何划分的几何划分。

根据本发明的另一个方面，提供了一种方法。所述方法包括利用自适应几何划分对图像的至少一部分编码双向预测图像数据。利用从对应于第一参考图像列表的第一预测值组、对应于第二参考图像列表的第二预测值组和用于双向预测并包括第一和第二预测值组其中至少之一的预测值的第三预测值组中选择的至少一个预测值预测用于自适应几何划分的几何划分。

根据本发明的另一个方面，提供了一种装置。所述装置包括解码器，用于利用自适应几何划分对图像的至少一部分解码双向预测图像数据。利用从对应于第一参考图像列表的第一预测值组、对应于第二参考图像列表的第二预测值组和用于双向预测并包括第一和第二预测值组其中至少之一的预测值的第三预测值组中选择的至少一个预测值预测用于自适应几何划分的几何划分。

根据本发明的另一个方面，提供了一种方法。所述方法包括利用自适应几何划分对图像的至少一部分解码双向预测图像数据。利用从对应于第一参考图像列表的第一预测值组、对应于第二参考图像列表的第二预测值组和用于双向预测并包括第一和第二预测值组其中至少之一的预测值的第三预测值组中选择的至少一个预测值预测用于自适应几何划分的几何划分。

本发明的另外方面、特征及优点将从以下结合附图对示例性实施方式的详细说明而更容易清楚呈现。

附图说明

借助于下述附图，本发明的原理将更容易得到理解，其中：

图1是图像块的示例性几何划分的示意图；

图2是用几何自适应直线划分的示例性INTER-P图像块的示意图；

图3是根据本发明实施方式的采用本发明原理的编码器的框图；

图4是根据本发明实施方式的采用本发明原理的解码器的框图；

图5是根据本发明实施方式的用几何自适应直线划分的示例性INTER-B图像块的示意图；

图6是根据MPEG-4 AVC标准CABAC用于16x16、16x8、8x16、8x8、8x4、4x8和4x4和用于CABAC的帧内模式的B帧二进制编码方案；

图7是根据本发明实施方式的的具有在B帧上几何自适应块划分的用于MPEG-4 AVC标准CABAC的扩展版本的16x16、16x8、16x16GEO、8x8、8x4、8x8 GEO和4x4以及用于CABAC的帧内模式的B帧二进制编码方案；

图8是根据本发明实施方式的用于在编码器侧检索最佳几何模式的示例性方法的流程图；

图9是根据本发明实施方式的用于利用几何划分的双向预测模型划分的视频编码的示例性方法的流程图；

图10是根据本发明实施方式的用于利用几何划分的双向预测模型划分的视频解码的示例性方法的流程图。

具体实施方式

本发明涉及用于视频编解码几何划分的双向预测模式划分的方法和装置。

本说明书描述了本发明的原理。可以理解，尽管这里没有明确描述或示出，然而本领域的技术人员能够设想出体现本发明的原理并且包括在本发明的精神和范围内的各种设置。

因此，这里所引述的所有示例和条件性语言均为了教导的目的，以帮助读者理解本发明的原理以及发明人对现有技术做出贡献的概念，应被看作不会被限制为具体引述的示例和条件。

此外，这里对本发明的原理、方面、实施例及其特定示例做出引述的所有声明意在包括本发明的结构和功能上的等同物。另外，该等同物将包括当前已知的等同物以及将来开发出的等同物，即所开发出来的执行相同功能的任何组件，而与结构无关。

因此，本领域的技术人员可以理解，例如这里所表示的框图展示出体现本发明原理的示意性电路的概念图。类似地，可以理解，任何流程图、流程框图、状态转移图、伪代码等表现出实质上可以在计算机可读介质上表现的、并且由计算机或处理器执行的各个过程，无论是否明确示出该计算机或处理器。

可以通过使用专用硬件和能够与适合的软件一同执行软件的硬件而实现图中所示各个组件的功能。当由处理器来提供时，这些功能可以由单个的专用处理器、单个的共享处理器、或多个单独的处理器来提供，其中一些可以是共享的。此外，术语“处理器”或“控制器”的显式使用不应被解释为排他性地指代能够执行组件的硬件，而且可以隐式地包括(不限为)数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)以及非易失性存储器。

还可以包括常规和/或专用的其它硬件。类似地，图中所示的任何开关仅是概念上的。其功能可以通过程序逻辑的操作、专用逻辑、程序控制和专用逻辑的交互、或甚至是手动地而实现，实施者可以选择的具体技术可以从上下文中得到明确的理解。

在权利要求书中，表示为用于执行特定功能的装置的任何组件意在包括执行该功能的任何方式，例如包括：a)执行该功能的电路组件的组合，或b)任意形式的软件，包括固件、微代码等，以及用于执行该软件以执行该功能的适合的电路。由权利要求所限定的本发明在于如下事实：将各个引述的装置所提供的功能以权利要求所要求的方式组合在一起。因此，可以把能够提供这些功能的任意装置看作与这里所示的装置相等同。

在说明书中涉及本发明原理的“一个实施例”或“实施例”是指：结合实施例描述的特定特征、结构、特性等包括在本发明原理的至少一个实施例中。因此，贯穿说明书的不同地方出现的术语“在一个实施例中”或“在实施例中”不必均指相同的实施例。

可以理解，例如，在“A和/或B”和“A和B的至少其中之一”的情况下，术语“和/或”和“至少其中之一”意在包括只选择(A)、只选择(B)或者选择A和B(A和B)的情况。作为另外一个实例，“A、B和/或C”和“A、B和C的至少其中之一”包括只选择(A)、只选择(B)、只选择(C)、选择A和B(A和B)、选择A和C(A和C)、选择B和C(B和C)或者选择A、B和C(A和B和C)的情况。对于列举更多事项的情况可以类推，本领域普通技术人员可以清楚地理解。

并且，可以理解，虽然本发明的一个或多个实施方式是针对MPEG-4AVC标准进行说明的，但本发明并不局限于该标准，而是在本发明的原理范围内可以应用于其他视频编码标准、推荐性标准及其扩展，包括MPEG-4AVC标准的扩展。例如，本发明可以非局限性地用于ITU-T H.263推荐性标准(下文称为“H.263推荐性标准”)、MPEG-2标准、MPEG-4 AVC标准、VC-1标准等等。

请参看图3，附图标记300表示能够根据MPEG-4 AVC标准进行视频编码的视频编码器。

视频编码器300包括帧排序缓存器310，帧排序缓存器310的输出与合成器385的非反相输入相连以进行信号通信。合成器385的输出与具有几何扩展的变换和量化器325的第一输入相连以进行信号通信。具有几何扩展的变换和量化器325的输出与具有几何扩展的熵编码器345的第一输入以及具有几何扩展的反变换和量化器350的第一输入相连以进行信号通信。具有几何扩展的熵编码器345的输出与合成器390的第一非反相输入相连以进行信号通信。合成器390的输出与输出缓存器335的第一输入相连以进行信号通信。

具有几何扩展的编码器控制器305的第一输出与帧排序缓存器310的第二输入、具有几何扩展的反变换和量化器350的第二输入、图像类型判断模块315的输入、具有几何扩展的宏块类型(MB类型)判断模块320的输入、具有几何扩展的帧内预测模块360的第二输入、具有几何扩展的解块滤波器365的第二输入、具有几何扩展的运动补偿器370的第一输入、具有几何扩展的运动估计器375的第一输入以及参考图像缓存器380的第二输入相连以进行信号通信。

具有几何扩展的编码器控制器305的第二输出与补充增强信息(SEI)插入器330的的第一输入、具有几何扩展的变换和量化器325的第二输入、具有几何扩展的熵编码器345的第二输入、输出缓存器335的第二输入以及序列参数集(SPS)和图像参数集(PPS)插入器340的输入相连以进行信号通信。

图像类型判断模块315的第一输出与帧排序缓存器310的第三输入相连以进行信号通信。图像类型判断模块315的第二输出与具有几何扩展的宏块类型判断模块320的第二输入相连以进行信号通信。

序列参数集(SPS)和图像参数集(PPS)插入器340的输出与合成器380的第三非反相输入相连以进行信号通信。

具有几何扩展的反变换和量化器350的输出与合成器319的第一非反相输入相连以进行信号通信。合成器319的输出与具有几何扩展的帧内预测模块360的第一输入以及具有几何扩展的解块滤波器365的第一输入相连以进行信号通信。具有几何扩展的解块滤波器365的输出与参考图像缓存器380的第一输入相连以进行信号通信。参考图像缓存器380的输出与具有几何扩展的运动估计器375的第二输入相连以进行信号通信。具有几何扩展的运动估计器375的第一输出与具有几何扩展的运动补偿器370的第二输入相连以进行信号通信。具有几何扩展的运动估计器375的第二输出与具有几何扩展的熵编码器345的第三输入相连以进行信号通信。

具有几何扩展的运动补偿器370的输出与开关397的第一输入相连以进行信号通信。具有几何扩展的帧内预测器360的输出与开关397的第二输入相连以进行信号通信。具有几何扩展的宏块类型判断模块320的输出与开关397的第三输入相连以进行信号通信。开关397的第三输入判断开关的“数据”输入(与控制输入即第三输入相比较而言)是否由具有几何扩展的运动补偿器370或具有几何扩展的内预测器360提供。开关397的输出与合成器319的第二非反相输入和合成器385的反相输入相连以进行信号通信。

帧排序缓存器310和具有几何扩展的编码器控制器305的输入可以作为编码器100的输入以接收输入图像301。并且，SEI插入器330的输入可以作为编码器300的输入以接收元数据。输出缓存器335的输出可以作为编码器300的输出以输出比特流。

请参看图4，附图标记400表示能够根据MPEG-4 AVC标准进行视频解码的视频解码器。

视频解码器400包括输入缓存器410，输入缓存器410的输出与具有几何扩展的熵解码器445的第一输入相连以进行信号通信。具有几何扩展的熵解码器445的第一输出与具有几何扩展的反变换和量化器450的第一输入相连以进行信号通信。具有几何扩展的反变换和量化器450的输出与合成器425的第二非反相输入相连以进行信号通信。合成器425的输出与具有几何扩展的解块滤波器465的第二输入和具有几何扩展的帧内预测模块460的第一输入相连以进行信号通信。具有几何扩展的解块滤波器465的第二输出与参考图像缓存器480的第一输入相连以进行信号通信。参考图像缓存器480的输出与具有几何扩展的运动补偿器470的第二输出相连以进行信号通信。

具有几何扩展的熵解码器445的第二输出与具有几何扩展的运动补偿器470的第三输入和具有几何扩展的解块滤波器465的第一输入相连以进行信号通信。具有几何扩展的熵解码器445的第三输出与具有区域合并(region merging)扩展的解码器控制器405的输入相连以进行信号通信。具有几何扩展的解码器控制器405的第一输出与具有几何扩展的熵解码器445的第二输入相连以进行信号通信。具有几何扩展的解码器控制器405的第二输出与具有几何扩展的反变换和量化器450的第二输入相连以进行信号通信。具有几何扩展的解码器控制器405的第三输出与具有几何扩展的解块滤波器465的第三输入相连以进行信号通信。具有几何扩展的解码器控制器405的第四输出与具有几何扩展的帧内预测模块460的第二输入、具有几何扩展的运动补偿器470的第一输入和参考图像缓冲器480的第二输入相连以进行信号通信。具有几何扩展的解码器控制器405的第五输出与开关497的输出的控制部分相连以进行信号通信，用于控制开关497的输出与开关497的第一输入或者开关497的第二输入相连。

具有几何扩展的运动补偿器470的输出与开关497的第一输入相连以进行信号通信。具有几何扩展的帧内预测模块460的输出与开关497的第二输入相连以进行信号通信。开关497的输出与合成器425的第一非反相输入相连以进行信号通信。

输入缓存器410的输入可以作为解码器400的输入以用于接收输入比特流。具有几何扩展的解块滤波器465的第一输出可以作为解码器400的输出以用于输出输出图像。

如上所述，本发明涉及用于视频编解码几何划分的双向预测模式划分的方法和装置。

可以理解，预测模式的高效编码需要精确地设计以何种途径和方式对信息进行构造并将其传输给解码器。因此，取决于如何设置传输至解码器的数据和采用的特定熵编码，在预测等级的某些特定编码模式所带来的增益和好处将由于花费了不需要的过量比特而损失。

根据本发明的一个或多个实施方式，提出了针对上述问题的方案，采用几何自适应块划分获得对B帧的高效编码方案。

如上所述，虽然针对MPEG-4 AVC标准(即将几何模式划分引入MPEG-4 AVC标准)描述了根据本发明的一个或多个实施方式，但本发明不局限于上述标准，而是在维持本发明的原理的前提下可以应用于其他标准、推荐性标准和/或其扩展。

在运动预测图像的情况下，在像素可以共用相同类型的预测信息的图像区域使用较大块，而较小图像块聚集在具有不同纹理(texture)的区域之间的运动边界(motion boundary)。有些时候，在运动边界附近，例如这种基于树结构的划分分别在不同子块编码相同数据，导致不必要的开销(overhead)。并且，在两个运动区域重叠的块由于很难精确预测两个边界侧的像素而可能携带某些预测误差。

虽然MPEG-4 AVC标准中当前采用的双向预测模式能够帮助减小预测误差并提高某些图像细节的表现，但其也只能部分地利用二维可视数据(visual data)的底层结构(underlying structure)，仍需要改善。

本发明的一个或多个实施方式提出并描述了在双向预测(即B帧)体系中利用几何自适应块划分的方案。在B帧体系内使用几何自适应划分可以更好地建模运动边界，同时受益于双向预测以降低堵塞效应(occlusioneffects)和量化噪声(quantization noise)。事实上，在一个实施方式中，可以由几何自适应划分在块中产生的至少一个划分中利用前向预测、后向预测和双向预测其中之一。

请参看图5，附图标记500表示用几何自适应直线划分的示例性INTER-B图像块的示意图。对具有运动矢量MV_1 & MV_3的区域510进行双向预测，而由一个单一参考帧对具有运动矢量MV_2的区域520进行预测。此处，MV_x指三维(3D)运动矢量(即空间位移加参考帧)。

在一个实施方式中，根据图5，可以如下表示块的预测补偿：

${\hat{I}}_t=(({\hat{I}}_{t^{\&prime;\&prime;\&prime;}}(\stackrel{\&RightArrow;}{x}-{\mathrm{MV}}_3)+{\hat{I}}_{t^{\&prime;}}(\stackrel{\&RightArrow;}{x}-{\mathrm{MV}}_1))/2)\&CenterDot;{\mathrm{MASK}}_{P0}(x,y)+{\hat{I}}_{t^{\&prime;\&prime;}}(\stackrel{\&RightArrow;}{x}-{\mathrm{MV}}_2)\&CenterDot;{\mathrm{MASK}}_{P1}(x,y)$

在一个实施方式中，块划分是16x8、8x16、8x4和4x8 B帧块模式的概括(generalization)并分别在8x8和4x4 B帧上的改进。这样，在模式表中插入新的B帧模式INTER16x16GEO和INTER8x8GEO。在B帧体系中，标记了另外的数据以指示每个几何自适应划分的预测类型(即前向、后向和双向预测)。为了此目的，用于后向、前向和双向预测的全部可能参考列表结合模式都考虑用于提出的B帧GEO模式。即，对于划分0和划分1：前向-前向、前向-后向、后向-前向、后向-后向、后向-双向、双向-后向、前向-双向、双向-前向和双向-双向。B帧INTER8x8GEO对于两个划分利用相同类型的预测(后向、前向或双向)。

根据本发明的实施方式，也可以修改用于B帧的几何自适应划分以在定义的划分内支持加权双向预测。

考虑到预测方向加上块划分的全部可能的组合，可以定义一系列B帧宏块模式，其中帧划分与用于几何自适应模式的预测描述相结合。与MPEG-4 AVC标准中现有模式列表一起，整个B帧预测模式集产生一个很大的模式族。这示于表2和表4中，并可以与MPEG-4 AVC标准的原始表(即表1和表3)相对比。

具体而言，表1示出了用于MPEG-4 AVC标准的B帧宏块编码模式，而表2示出了具有几何自适应划分块的用于MPEG-4 AVC标准的示例性B帧宏块编码模式。另外，表3示出了用于MPEG-4 AVC标准的B帧子8x8编码模式，而表4示出了具有几何自适应划分块的用于MPEG-4AVC标准的示例性B帧子8x8编码模式。

表1

表2

表3

表4

在本发明另外一个实施方式中，通过对于几何自适应模式以及前向/后向/双向预测模式(或预测模式)利用单独的编码，可以不同地分组信息。

为了获得联合划分模式和预测模式的最优编码，本发明考虑一种编码模式至最优编码字(coding word)的自适应映射。

在一个实施方式中，新增加的几何模式与MPEG-4 AVC标准的其他模式相交错，如表2和表4所示。在另外的实施方式中，新增加的几何模式可以全部组合(packed altogether)在一起并设置在MPEG-4 AVC标准的模式之间，如表5所示。在另外的实施方式中，可以组合某些几何模式并与其他几何模式相交错。例如，可以将单预测几何模式组合在一起并将双向几何模式与MPEG-4 AVC标准的其他模式相交错。

表5

用于熵编码的的编码模式排序可以取决于采用的熵编码方法。例如，在MPEG-4 AVC标准中，可以支持两种熵编码方法：内容自适应可变长度编码(CAVLC)和内容自适应二进制算术编码(CABAC)。对于CAVLC和CABAC可以采用相同的模式表，也可以采用不同的模式表。例如，在一个实施方式中，对于可变长度编码(VLC)，可以利用上述第一实施方式(表2和表4)。对于算式编码，可以利用上述第二实施方式(表5)。

然后每个模式标识符映射至用于熵编码的不等长度代码集。不等长度代码集的每个代码的长度可以根据模式排序设置。

请参看图6，附图标记600表示根据MPEG-4 AVC标准CABAC用于16x16、16x8、8x16、8x8、8x4、4x8和4x4和用于CABAC的帧内模式的B帧二进制编码方案。这是对于每个模式的简化二进制树结构表示。二进制树结构的终端节点(terminal node)对应于模式的符号值(symbol value)，从而用于将树结构从根节点移动至对应的终端节点的二进制值串表示对应的符号值的二进制字符串。例如，如果确定树的左面树叶为0，紧邻树的左面树叶右面的树叶为1，则模式0表示为“0”，模式1表示为“100”，模式2表示为“101”，模式3表示为“110000”，依此类推。

请参看图7，附图标记700表示具有在B帧上几何自适应块划分的用于MPEG-4 AVC标准CABAC的扩展版本的16x16、16x8、16x16GEO、8x8、8x4、8x8 GEO和4x4以及用于CABAC的帧内模式的B帧二进制编码方案。在此实例中，对图6中的两个分支增加一个比特以容纳由几何B模式引入的更多模式。可以理解，在具有在B帧上几何自适应块划分的用于MPEG-4AVC标准CABAC的扩展版本中，方案700可以用于在CABAC之前的二值化步骤中由编码模式标识号产生不等长码(unequal length codes)。

请参看图8，附图标记800表示用于在编码器侧检索最佳几何模式的示例性方法。

方法800包括开始框805，其将控制传递至循环限制框810。循环限制框810利用变量i在可能边缘的总数上(数量取决于几何精度)执行循环并将控制传递至功能框815。控制框815基于变量i的当前值以相应的参数集产生划分，并将控制传递至功能框820。功能框820在用于列表0和1的划分集I已知的情况下检索最佳预测值和双向预测，并将控制传递至判断框825。判断框825判断当前划分和预测是否分别是最佳划分和最佳预测。如果是，则控制传递至功能框830。否则控制传递至功能框835。

功能框830将最佳几何参数、预测值选择以及预测列表存储，并将控制传递至功能框835。

功能框835结束可能边缘的总数上的循环，并将控制传递至结束框899。

请参看图9，附图标记900表示利用几何划分的双向预测模式划分的视频编码方法。

方法900包括开始框905，其将控制传递至判断框910。判断框910判断当前类型是否是几何模式类型。如果是，控制传递至功能框915。否则控制传递至结束框999。

功能框915编码几何模式类型，并将控制传递至功能框920。功能框920编码几何划分参数，并将控制传递至判断框925。判断框925判断当前模式类型是否是双向预测几何模式类型。如果是，控制传递至功能框930。否则控制传递至功能框935。

功能框930从列表0和列表1编码划分预测，并将控制传递至999。

功能框935从单一列表(列表0或列表1)编码划分预测，并将控制传递至999。

请参看图10，附图标记1000表示利用几何划分的双向预测模式划分的视频解码方法。

方法1000包括开始框1005，其将控制传递至功能框1010。功能框1010解码所述模式类型，并将控制传递至判断框1015。判断框1015判断当前类型是否是几何模式类型。如果是，控制传递至功能框1020。否则控制传递至结束框1099。

功能框1020解码几何划分参数，并将控制传递至判断框1025。判断框1025判断当前模式类型是否是双向预测几何模式类型。如果是，控制传递至功能框1030。否则控制传递至功能框1035。

功能框1030从列表0和列表1解码划分预测，并将控制传递至1099。

功能框1035从单一列表(列表0或列表1)解码划分预测，并将控制传递至1099。

下面将说明本发明的一些其他优点/特征，其中某些可能在前面已经提及。例如，一个优点/特征是一种装置，所述装置包括编码器，用于利用自适应几何划分对图像的至少一部分编码双向预测图像数据。利用从对应于第一参考图像列表的第一预测值组、对应于第二参考图像列表的第二预测值组和用于双向预测并包括第一和第二预测值组其中至少之一的预测值的第三预测值组中选择的至少一个预测值预测用于自适应几何划分的几何划分。

另外一个优点/特征是如上所述具有视频编码器的装置，其中所述编码器利用统一码字联合编码块划分模式和对应于第一预测值组的预测描述符、对应于第二预测值组的预测描述符和对应于第三预测值组的双向预测描述符其中至少之一。

另外一个优点/特征是具有如上所述联合编码的视频编码器的装置，其中对应于自适应几何划分所采用的几何划分模式的自适应几何划分模式码字的码字长度小于或者等于其他子划分块的码字长度。

并且，另外一个优点/特征是具有如上所述视频编码器的装置，其中所述自适应几何划分所采用的几何模式是与其他现有模式交错使用或者与其他现有模式打包在一起使用。

并且，另外一个优点/特征是具有如上所述视频编码器的装置，其中所述编码器将用于编码双向预测图像数据的模式标识符的模式排序映射至不等长码字组。

并且，另外一个优点/特征是具有如上所述视频编码器的装置，其中所述编码器根据采用的熵编码方法变化用于编码双向预测图像数据的几何模式标识符的几何模式排序。

基于这里的教导，相关技术领域的技术人员可以容易地获知本发明的这些和其他特征及优点。可以理解的是，本发明的教导可以以各种形式的硬件、软件、固件、专用处理器或其组合来实现。

最为优选地，本发明的教导以硬件和软件的组合来实现。此外，软件优选地以有形地体现在程序存储单元上的应用程序来实现。该应用程序可以上载到包括任意适合架构的机器，并由该机器执行。优选地，该机器在具有例如一个或更多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)、以及输入/输出(“I/O”)接口的硬件的计算机平台上实现。该计算机平台还包括操作系统和微指令代码。这里描述的各个过程和功能可以是微指令代码的一部分，或是应用程序的一部分，或是其任何组合，其可以由CPU来执行。另外，可以把各种其他外围单元与计算机平台相连，例如附加的数据存储单元和打印单元。

还可以理解的是，由于附图中描述的某些构成系统的组件和方法优选地以软件来实现，所以系统组件或过程功能块之间的实际连接可能取决于本发明的实践方式而有所不同。在这里给出的教导的前提下，相关技术领域的技术人员将能够设想本发明的这些和类似的实现或配置。

尽管已经参考附图描述了示意性实施例，然而可以理解，本发明不限于这些特定的实施例，在不背离本发明的范围或精神的前提下，相关技术领域中的技术人员可以实现各种改变和修改。所有这些改变和修改都将被看作落入所附权利要求限定的本发明的范围内。

Claims (24)

1.一种编码几何划分的双向预测模式划分的装置，包括：

用于利用自适应几何划分对图像的至少一部分编码双向预测图像数据的部件，其中用于编码的部件还包括：

利用从对应于第一参考图像列表的第一预测值组、对应于第二参考图像列表的第二预测值组和用于双向预测并包括来自第一和第二预测值组的至少之一的预测值的第三预测值组中选择的至少一个预测值来预测用于自适应几何划分的几何划分的部件。

2.根据权利要求1所述的装置，其中用于编码的部件还包括：

用于利用统一码字来联合编码块划分模式和对应于第一预测值组的预测描述符、对应于第二预测值组的预测描述符和对应于第三预测值组的双向预测描述符中的至少一个的部件。

3.根据权利要求2所述的装置，其中对应于自适应几何划分所采用的几何划分模式的自适应几何划分模式码字的码字长度小于或者等于其他子划分块的码字长度。

4.根据权利要求1所述的装置，其中所述自适应几何划分所采用的几何模式是与其他现有模式交错使用或者在其他现有模式间组合在一起使用其中至少之一。

5.根据权利要求1所述的装置，其中用于编码的部件还包括：

用于将用于编码双向预测图像数据的模式标识符的模式排序映射至不等长码字组的部件。

6.根据权利要求1所述的装置，其中用于编码的部件还包括：

用于根据采用的熵编码方法变化用于编码双向预测图像数据的几何模式标识符的几何模式排序的部件。

7.一种编码几何划分的双向预测模式划分的方法，包括：

利用自适应几何划分对图像的至少一部分编码双向预测图像数据，其中利用从对应于第一参考图像列表的第一预测值组、对应于第二参考图像列表的第二预测值组和用于双向预测并包括来自第一和第二预测值组其中至少之一的预测值的第三预测值组中选择的至少一个预测值预测用于自适应几何划分的几何划分(930，935)。

8.根据权利要求7所述的方法，其中所述编码步骤包括利用统一码字联合编码块划分模式和对应于第一预测值组的预测描述符、对应于第二预测值组的预测描述符和对应于第三预测值组的双向预测描述符其中至少之一(700，920)。

9.根据权利要求8所述的方法，其中对应于自适应几何划分所采用的几何划分模式的自适应几何划分模式码字的码字长度小于或者等于其他子划分块的码字长度(700)。

10.根据权利要求7所述的方法，其中所述自适应几何划分所采用的几何模式是与其他现有模式交错使用或者在其他现有模式间组合在一起使用其中至少之一(700)。

11.根据权利要求7所述的方法，其中所述编码步骤包括将用于编码双向预测图像数据的模式标识符的模式排序映射至不等长码字组(700)。

12.根据权利要求7所述的方法，其中所述编码步骤根据采用的熵编码方法变化用于编码双向预测图像数据的几何模式标识符的几何模式排序(700)。

13.一种解码几何划分的双向预测模式划分的装置，包括：

用于利用自适应几何划分对图像的至少一部分解码双向预测图像数据的部件，其中用于解码的部件还包括：

用于利用从对应于第一参考图像列表的第一预测值组、对应于第二参考图像列表的第二预测值组和用于双向预测并包括来自第一和第二预测值组中至少之一的预测值的第三预测值组中选择的至少一个预测值来预测用于自适应几何划分的几何划分的部件。

14.根据权利要求13所述的装置，其中用于解码的部件还包括：

用于由统一码字来解码块划分模式和对应于第一预测值组的预测描述符、对应于第二预测值组的预测描述符和对应于第三预测值组的双向预测描述符其中至少之一的部件。

15.根据权利要求14所述的装置，其中对应于自适应几何划分所采用的几何划分模式的自适应几何划分模式码字的码字长度小于或者等于其他子划分块的码字长度。

16.根据权利要求13所述的装置，其中所述自适应几何划分所采用的几何模式是与其他现有模式交错使用或者在其他现有模式间组合在一起使用其中至少之一。

17.根据权利要求13所述的装置，其中用于解码的部件还包括：

用于将不等长码字组映射至用于解码双向预测图像数据的模式标识符的模式排序的部件。

18.根据权利要求13所述的装置，其中用于解码的部件还包括：

用于根据采用的熵解码方法变化用于解码双向预测图像数据的几何模式标识符的几何模式排序的部件。

19.一种解码几何划分的双向预测模式划分的方法，包括：

利用自适应几何划分对图像的至少一部分解码双向预测图像数据，其中利用从对应于第一参考图像列表的第一预测值组、对应于第二参考图像列表的第二预测值组和用于双向预测并包括来自第一和第二预测值组其中至少之一的预测值的第三预测值组中选择的至少一个预测值预测用于自适应几何划分的几何划分(1030，1035)。

20.根据权利要求19所述的方法，其中所述解码步骤包括由从统一码字解码块划分模式和对应于第一预测值组的预测描述符、对应于第二预测值组的预测描述符和对应于第三预测值组的双向预测描述符其中至少之一(1010，700)。

21.根据权利要求20所述的方法，其中对应于自适应几何划分所采用的几何划分模式的自适应几何划分模式码字的码字长度小于或者等于其他子划分块的码字长度(700)。

22.根据权利要求19所述的方法，其中所述自适应几何划分所采用的几何模式是与其他现有模式交错使用或者在其他现有模式间组合在一起使用其中至少之一(700)。

23.根据权利要求19所述的方法，其中所述解码步骤包括将不等长码字组映射至用于解码双向预测图像数据的模式标识符的模式排序(700)。

24.根据权利要求19所述的方法，其中所述解码步骤根据采用的熵解码方法变化用于解码双向预测图像数据的几何模式标识符的几何模式排序(700)。

Images