CN102685477B - 获取用于合并模式的图像块的方法和设备 - Google Patents

Abstract

本发明实施例提供一种获取用于合并模式的图像块的方法和设备。该方法包括：在当前图像块左边或者上边存在至少两个相邻块时，按照预定顺序获取相邻块；确定符合预定规则的相邻块为用于合并模式的图像块。本发明实施例顺序获取当前图像块左边或上边的多个相邻块，从而尽可能多地获得可用的候选块。由于可用的候选块数目增多，从而保证更有可能获得与当前图像块同属一个物体或具有相似纹理的图像块以在合并模式中使用，因此提高了编码性能。

Description

获取用于合并模式的图像块的方法和设备

技术领域

本发明实施例涉及图像处理领域，并且更具体地，涉及获取用于合并模式的图像块的方法和设备。

背景技术

在视频编码和解码框架中，混合编码结构通常用于视频序列的编码和解码。混合编码结构的编码端通常包括：预测模块、变换模块、量化模块和熵编码模块；混合编码结构的解码端通常包括：熵解码模块、反量化模块、反变换模块和预测补偿模块。这些编码和解码模块的组合可以有效去除视频序列的冗余信息，并能保证在解码端得到视频序列的编码图像。

在视频编码和解码框架中，视频序列的图像通常划分成图像块进行编码。一幅图像被划分成若干图像块，这些图像块使用上述模块进行编码和解码。

在上述模块中，预测模块用于编码端获得视频序列编码图像的图像块的预测块信息，进而得到图像块的残差，预测补偿模块用于解码端获得当前解码图像块的预测块信息，再根据解码得到的图像块残差获得当前解码图像块。预测模块通常包含帧内预测和帧间预测两种技术。其中，帧内预测技术利用当前图像块的空间像素信息去除当前图像块的冗余信息以获得残差；帧间预测技术利用当前图像邻近的已编码或已解码图像像素信息去除当前图像块的冗余信息以获得残差。在帧间预测技术里，用于帧间预测的当前图像邻近的图像被称为参考图像。

在帧间预测技术中，编码端为了有效去除当前图像块的冗余信息，需要在参考图像中获得与当前图像块最相似的图像块，进而减少当前图像块的残差。编码端通常使用运动估计获得上述参考图像中的图像块。在现有的视频编解码技术中运动估计过程通常在编码时以图像块为单位在参考图像中搜索合适的匹配图像块，将当前宏块与匹配图像块所对应像素值相减得到残差，并将该残差经变换与量化后得到的值进行熵编码，最后将熵编码得到的比特流写入编码码流中，同时还将搜索所得的偏移量(即运动矢量)一并写入编码码流中。与此对应，在解码端预测补偿(或称运动补偿)时首先获得熵编码比特流后进行熵解码，得到相应的残差，及相应的运动矢量，之后，根据运动矢量值在参考图像中获得相应匹配图像块(既上述当前解码图像块的预测块信息)，再将匹配的图像块与残差值中对应像素点的值相加得到当前宏块解码后的值。

在现有的视频编解码标准中，如MPEG-2，H.264/AVC，一个图像块，或称为宏块(macroblock)、超宏块(super-macroblock)等，被划分为若干子图像块，这些子图像块的尺寸可以为64×64、64×32、32×64、32×32、32×16、16×32、16×16、16×8、8×16、8×8、8×4、4×8、4×4等，子图像块以这些尺寸进行上述的运动估计和运动补偿。在现有的视频编解码标准中这些子图像块均为N×M(N和M均为大于0的整数)的矩形块，并且N和M具有倍数关系。

现有视频编码标准中图像块和子图像块编码模式的缺点在于没有很好的考虑图像中运动物体或图像纹理的空间或时间上的连续性。图像中的物体和纹理往往对应的不仅仅是一个图像块或子图像块，而很可能对应于时间或空间上的一片连续却不规则的区域，因此在图像中的某些方向上，相邻图像块或子图像块可能同时属于同一个物体或具有同一种纹理特征。此时，如果采用现有标准中N×M矩形块的方式来进行帧间预测编码，那么在获取当前图像块或子图像块的运动矢量时，有可能会参考到并不属于同一物体或同种纹理区域的运动矢量从而导致误差增加，另外这种编码方式也不能充分利用属于同一物体或纹理特征的相邻图像块的运动信息。

针对上述问题，在视频编码框架中引入了一种图像块或子图像块合并模式的编解码方法。图像块合并模式的方法是指在当前块进行帧间编解码时，直接取出和当前编码块在时域或空域相邻的图像块或子图像块的运动信息作为当前图像块的运动信息，其中包含运动矢量、参考帧索引以及参考图像的数目等。采用合并模式的图像块或子图像块所有运动是信息均来自于上述相邻的图像块或子图像块，此时当前图像块或子图像块不需要再编码任何运动矢量信息。相邻的图像块是指：在空间中位于当前编解码块左边、上边、左上方、左下方的图像块，或者在时域上位于前一个编码图像中和当前编码块具有共同位置的图像块。如果某位置的相邻图像块不存在，或尚未编解码，或者使用帧内预测模式编码，则称为图像块不可用，放弃该相邻图像块。目前已有的技术采用了5个可能的相邻图像块，分别是左边块、上边块、前一帧中和当前块具有共同位置的图像块、右上方图像块和左下方图像块，这些可能的相邻图像块被称为候选图像块。

由于当前编解码图像块的可用候选图像块可能存在多个，所以当前图像块需要使用额外的标识方式用于标识当前图像块所采用的相邻图像块的标号(0-4)。目前已有技术中的标识方法结合了当前图像块可用的相邻块数目以及当前图像块所使用的相邻图像块的标号，当可用的相邻图像块为1个时，不进行标识；当可用的相邻图像块为2个时，采用1比特(bit)标识；当可用的相邻图像块为3个或3个以上时，采用变长编码(1-4比特)。

在现有技术中使用合并模式获得左边和上边候选图像块时仅检查了与当前图像块左上角相邻的左边图像块和上边图像块，当与当前图像块左上角相邻的左边图像块或上边图像块不可用时则认为左边或上边候选图像块不可获得，可用于合并模式的候选图像块数目会减少。若仅按上述方式获取和检查左边和上边合并模式的参考图像块，则没法很好地利用相邻图像块的运动信息从而影响编码性能。

发明内容

本发明实施例提供一种获取用于合并模式的图像块的方法和设备，能够提高编码性能。

根据本发明的一个方面，提供了一种获取用于合并模式的图像块的方法，包括：在当前图像块左边或者上边存在至少两个相邻块时，按照预定顺序获取相邻块；确定符合预定规则的相邻块为用于合并模式的图像块。

根据本发明的另一方面，提供了一种获取用于合并模式的图像块的设备，包括：获取单元，用于在当前图像块左边或者上边存在至少两个相邻块时，按照预定顺序获取相邻块；确定单元，用于确定符合预定规则的相邻块为用于合并模式的图像块。

本发明实施例顺序获取当前图像块左边或上边的多个相邻块，从而尽可能多地获得可用的候选块。由于可用的候选块数目增多，从而保证更有可能获得与当前图像块同属一个物体或具有相似纹理的图像块以在合并模式中使用，因此提高了编码性能。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是描绘了合并模式下候选图像块的位置的示意图。

图2是描绘了当前图像块的相邻图像块的示意图。

图3是根据本发明实施例的获取用于合并模式的图像块的方法的示意流程图。

图4是根据本发明一个实施例的获取图像块的方式的示意图。

图5是根据本发明另一实施例的获取图像块的方式的示意图。

图6是根据本发明另一实施例的获取图像块的方式的示意图。

图7是根据本发明实施例的获取用于合并模式的图像块的设备的示意框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是描绘了合并模式下候选图像块的位置的示意图。如上所述，目前已有的技术采用了5个可能的相邻图像块(候选图像块)，分别是左边块、上边块、前一帧中和当前块具有共同位置的图像块、右上方图像块和左下方图像块，在图1中分别标记为b1-b5。

在现有技术中使用合并模式获得左边和上边候选图像块时仅获取和检查了与当前图像块左上角相邻的左边图像块和上边图像块，当与当前图像块左上角相邻的左边图像块或上边图像块不可用时则认为左边或上边候选图像块不可获得，可用于合并模式的候选图像块数目会减少。而实际上在与当前图像块左上角相邻的左边图像块或上边图像块不可用时，与当前图像块相邻的其它左边或上边图像块仍可能存在可用的图像块。

图2是描绘了当前图像块的相邻图像块的示意图。图2以及后面的附图中，inter表示该图像块是“帧间编码块”，intra表示该图像块是“帧内编码块”。如图2所示，与当前图像块CB相邻的左边图像块有四个，标号为Lblk0至Lblk3。虽然Lblk0是帧内编码块不可用于合并模式，但Lblk1至Lblk3是帧间编码块，可用于合并模式。同理，图2中与当前图像块相邻的上边图像块有四个，标号为Tblk0至Tblk3，虽然Tblk0和Tblk1是帧内编码块不可用于合并模式，但Tblk2和TLblk3是帧间编码块，可用于合并模式。由于合并模式的基本出发点是当前图像块CB与相邻图像块属于同一个物体或具有相似纹理，因此它们可以共享运动信息(含运动矢量、参考帧索引以及参考图像的数目等)。而且，由于Lblk1至Lblk3、Tblk2至Tblk3均与当前图像块相邻，这些图像块与有可能与当前图像块CB相邻，因此它们也可用于合并模式中。若仅按上述图1的方式检查左边和上边合并模式的参考图像块，则没法很好地利用相邻图像块的运动信息从而影响编码性能。

图3是根据本发明实施例的获取用于合并模式的图像块的方法30的示意流程图。方法30主要应用于在当前图像块左边或者上边存在至少两个相邻块时的情形。

在方法30的S32，按照预定顺序获取所述相邻块。然后在S35，确定符合预定规则的相邻块为用于合并模式的图像块。

这样，本发明实施例在获得合并模式的左边和上边的图像块时，不囿于图1所示的左边块b1和上边块b5或者图2所示的左边块Lblk0和上边块Tblk0，而是顺序获取当前图像块左边或上边的多个相邻块，从而尽可能多地获得可用的候选块。由于可用的候选块数目增多，从而保证更有可能获得与当前图像块同属一个物体或具有相似纹理的图像块以在合并模式中使用，从而提高编码性能。

下面结合具体实施例描述本发明实施例的获取用于合并模式的图像块的不同方式。图4是根据本发明一个实施例的获取图像块的方式的示意图。图4是用于获取左边和上边的可用图像块的一个例子。

使用合并模式时在获取当前图像块CB左边或上边候选图像块过程中采用预先设定的获取顺序获得可用于合并模式的左边或上边的图像块，获取顺序上第一个可用的图像块作为左边或上边候选图像块。根据本发明实施例的预定规则可以是确定帧间编码块或帧内编码块(或者其他编解码块)。例如，如果一个相邻块是帧间编码块，则确定该相邻块是可用于合并模式的图像块。另外，如果一个相邻块是帧内编码块，则确定该相邻块不可用于合并模式。

如图4所示，获得左边候选图像块时按从上往下的顺序依次获取Lblk0、Lblk1、Lblk2和Lblk3。图4中获取顺序上第一个块为Lblk0为帧内编码块，不可用于合并模式，因此继续获取Lblk1。Lblk1为帧间编码块，可用于合并模式，因此将Lblk1作为合并模式的左边图像块。同理，如图4所示，获得上边图像块时按从左往右的顺序依次获取Tblk0、Tblk1、Tblk2和Tblk3。图4中获取顺序上第一个块为Tblk0为帧内编码块，不可用，因此继续获取Tblk1。Tblk1也为帧内预测块，不可用，则继续获取Tblk2。Tblk2为帧间编码块，可用于合并模式，因此将Tblk2作为合并模式的左边图像块。

虽然图4中所示的顺序是从上往下，但本发明实施例不限于此。上述获取顺序是预先设定的并且是有多种形式的，在获得左边图像块时获取顺序可以为从上往下，也可以从下往上，并且也可以按间隔的顺序进行获取。例如，可以先判断Lblk0是否可用，若Lblk0不可用则判断Lblk2是否可用，以此类推。在获得上边候选图像块时获取顺序可以为从左往右，也可以从右往左，并且也可以按间隔的顺序进行获取。例如先判断Tblk0是否可用，若Tblk0不可用则判断Tblk2是否可用，以此类推。

图5是根据本发明另一实施例的获取图像块的方式的示意图。

如图2和图5所示，当前图像块CB的左下角候选块LBblk与当前图像块CB的左边的相邻块Lblk0至Lblk3均位于当前图像块CB的左侧。这些图像块之间运动信息与纹理特征相似。另外，当前图像块CB的右上角候选块RTblk与当前图像块CB的上边的相邻块Tblk0至Tblk3均位于当前图像块CB的上侧，这些图像块之间运动信息与纹理特征相似。如果将LBblk和RTblk当作为一个候选图像块，则当这些图像块可用于合并模式时，需要使用额外的比特用于标识它们。如当左边、上边、左下、右上图像块均可用时，需要使用2比特标识当前图像块使用了哪个候选图像块。

图5的实施例将左下角候选块LBblk或右上角候选块RTblk也纳入获取顺序中。

具体地，在获得左边的图像块时将当前图像块CB左下角的候选块LBblk列入左边相邻块的获取顺序中；在获得上边图像块时将图像块CB右上角的图像块RTblk列入上边相邻块的获取顺序中。如图5所示，获得左边图像块时按从上往下的顺序依次获得Lblk0、Lblk1、Lblk2、Lblk3和LBblk，判断是否可用的规则同前。同理，如图5所示，获得上边图像块时按从左往右的顺序依次获得Tblk0、Tblk1、Tblk2、Tblk3和RTblk，判断是否可用的标准同前。

上述获取顺序是预先设定的并且是有多种形式的，在获得左边图像块时获取顺序可以为从上往下，也可以从下往上，并且也可以按间隔的顺序进行获取；在获得上边图像块时获取顺序可以为从左往右，也可以从右往左，并且也可以按间隔的顺序进行获取。

根据图5所示的实施例，由于无需设置单独的比特来表示右上角和左下角的候选块，能够减少编码比特数目。

图6是根据本发明另一实施例的获取图像块的方式的示意图。

在图6中，对左下图像块或右上图像块也采用上述类似的获取方式进行确定。具体地，获得左下图像块的获取方式可以从LBblk为起始点按从下往上顺序获取将第一个可用的图像块作为左下图像块；获得右上图像块的获取方式可以从RTblk为起始点按从右往左顺序获取将第一个可用的图像块作为右上图像块。如图6所示，依次获得LBblk和LBblk3图像块.第一个可用的图像块作为用于合并模式的左下图像块；依次获得RTblk和Tblk3，第一个可用的图像块作为用于合并模式的右上图像块。同时，依次获得Lblk0、Lblk1和Lblk2，第一个可用的图像块作为左边图像块；依次获得Tblk0、Lblk1和Lblk2，第一个可用的图像块作为上边图像块。

上面描述了可应用本发明实施例的方法的不同例子。下面描述根据本发明实施例的获取用于合并模式的图像块的设备。图7是根据本发明实施例的获取用于合并模式的图像块的设备70的示意框图。

如图7所示，获取设备70包括获取单元72和确定单元75。获取单元72用于在当前图像块左边或者上边存在至少两个相邻块时，按照预定顺序获取相邻块。确定单元75用于确定符合预定规则的相邻块为用于合并模式的图像块。

因此，顺序获取当前图像块左边或上边的多个相邻块，从而尽可能多地获得可用的候选块。由于可用的候选块数目增多，从而保证更有可能获得与当前图像块同属一个物体或具有相似纹理的图像块以在合并模式中使用，从而提高编码性能。

获取设备70的各个元件可执行上面所述的方法30的各个部分，为避免重复，不再赘述。例如，获取单元72可按从上往下或从下往上的顺序获取当前图像块CB左边的相邻块。

根据本发明的另一实施例，获取单元72按从上往下或从下往上的顺序获取当前图像块CB左边的相邻块和当前图像块CB左下角的候选块(参加图5)。

根据本发明的一个实施例，获取单元72按从左往右或从右往左的顺序获取当前图像块CB上边的相邻块，或者，按从左往右或从右往左的顺序获取当前图像块CB上边的相邻块和当前图像块CB右上角的候选块。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

尽管已示出和描述了本发明的一些实施例，但本领域技术人员应理解，在不脱离本发明的原理和精神的情况下，可对这些实施例进行各种修改，这样的修改应落入本发明的范围内。

Claims (12)

1.一种获取用于合并模式的图像块的方法，其特征在于，包括：

在当前图像块左边或者上边存在至少两个相邻块时，按照预定顺序获取所述相邻块；

确定符合预定规则的相邻块为用于合并模式的图像块。

2.如权利要求1所述的方法，其特征在于，按照预定顺序获取所述相邻块包括：

按从上往下或从下往上的顺序获取所述当前图像块左边的相邻块。

3.如权利要求1所述的方法，其特征在于，按照预定顺序获取所述相邻块包括：

按从上往下或从下往上的顺序获取所述当前图像块左边的相邻块和所述当前图像块左下角的候选块。

4.如权利要求1所述的方法，其特征在于，按照预定顺序获取所述相邻块包括：

按从左往右或从右往左的顺序获取所述当前图像块上边的相邻块。

5.如权利要求1所述的方法，其特征在于，按照预定顺序获取所述相邻块包括：

按从左往右或从右往左的顺序获取所述当前图像块上边的相邻块和所述当前图像块右上角的候选块。

6.如权利要求1所述的方法，其特征在于，确定符合所述预定规则的相邻块为用于合并模式的图像块包括：

如果相邻块为帧间编码块，则确定该相邻块为所述用于合并模式的图像块。

7.如权利要求1所述的方法，其特征在于，确定符合预定规则的相邻块为用于合并模式的图像块包括：

确定符合预定规则的第一个相邻块为用于合并模式的图像块。

8.一种获取用于合并模式的图像块的设备，其特征在于，包括：

获取单元，用于在当前图像块左边或者上边存在至少两个相邻块时，按照预定顺序获取所述相邻块；

确定单元，用于确定符合预定规则的相邻块为用于合并模式的图像块。

9.如权利要求8所述的设备，其特征在于，所述获取单元按从上往下或从下往上的顺序获取所述当前图像块左边的相邻块。

10.如权利要求8所述的设备，其特征在于，所述获取单元按从上往下或从下往上的顺序获取所述当前图像块左边的相邻块和所述当前图像块左下角的候选块。

11.如权利要求8所述的设备，其特征在于，所述获取单元按从左往右或从右往左的顺序获取所述当前图像块上边的相邻块。

12.如权利要求8所述的设备，其特征在于，所述获取单元按从左往右或从右往左的顺序获取所述当前图像块上边的相邻块和所述当前图像块右上角的候选块。