CN112005552A

CN112005552A - 用于组合的帧内预测模式的方法和装置

Info

Publication number: CN112005552A
Application number: CN201980027026.6A
Authority: CN
Inventors: F.加尔平; F.拉卡普; P.博尔德斯; F.厄本
Original assignee: InterDigital VC Holdings Inc
Current assignee: InterDigital VC Holdings Inc
Priority date: 2018-04-27
Filing date: 2019-04-03
Publication date: 2020-11-27
Anticipated expiration: 2039-04-03
Also published as: CN112005552B; US11477436B2; EP3562158A1; US20210243430A1; EP3785440A1; WO2019209477A1

Abstract

数字视频信号的编码器和解码器对某些图像使用组合的帧内预测模式。在至少一个实施例中，组合的帧内预测模式可以由相邻块的帧内预测模式产生。可以将组合的帧内预测模式添加到最可能模式列表。各种实施例描述了用于对帧内预测模式进行组合的技术，包括参考样点的组合和方向的组合以形成预测。另一实施例中，如果被组合以形成组合模式的两个模式是角度差小于90度的方向模式，则将该组合模式添加到最可能模式列表。另一个实施例使用帧内预测模式的线性组合，并且另一个实施例执行取决于预测与左侧和上方的块的距离的线性组合。

Description

用于组合的帧内预测模式的方法和装置

技术领域

本原理涉及视频压缩以及视频编码和解码。

背景技术

以下实施例的领域是视频编码，关注于比当前编码器和解码器具有更多样的预测模式的帧内编码和解码的鲁棒方式。例如，为了预测弯曲对象的边界，现有的编码器将不得不沿着该对象的边缘选择小块，以分段方式对其进行预测。

JVET(联合视频探索小组)正在探索一种改进的视频编码标准，称为H.266、通用视频编码(VVC)，或称为H.266/VCC。在JVET或H.266/VCC中，已经提出了滤波器以平滑帧内预测器。例如，位置相关的预测组合使用平滑的且未滤波的参考样点来组合预测值。这使得能够对最初与可能平滑的参考样点的方向填充相对应的预测进行滤波。但是，该方法具有局限性，并且可能需要传输附加的参数，从而降低了其优势。

所描述的实施例提出了在编码器或解码器中使用利用了组合模式的这种帧内预测。

发明内容

现有技术的这些和其他缺点和缺陷通过本原理来解决，本原理针对用于组合的帧内预测模式的方法和装置。

根据本原理的一方面，提供了一种方法。该方法包括以下步骤：基于来自与当前视频块相邻的视频块的帧内预测模式的组合来预测当前视频块；以及，使用所述预测来编码当前视频块，其中，将所述帧内预测模式的组合添加到在编码期间使用的最可能模式列表。

根据本原理的另一方面，提供了第二种方法。该方法包括以下步骤：基于来自与当前视频块相邻的视频块的帧内预测模式的组合来预测当前视频块；以及，使用所述预测来解码当前视频块，其中，将所述帧内预测模式的组合添加到在解码期间使用的最可能模式列表。

根据本原理的另一方面，提供了一种装置。该装置包括存储器和处理器。该处理器可以被配置为通过基于来自与当前视频块相邻的视频块的帧内预测模式的组合来预测当前视频块，来编码或解码视频图像的块；以及，使用所述预测来编码/解码当前视频块，其中，将所述帧内预测模式的组合添加到在编码/解码期间使用的最可能模式列表。

从下面结合附图阅读的示例性实施例的详细描述中，本原理的这些和其他方面、特征和优点将变得显而易见。

附图说明

图1示出了可以对其应用所描述的实施例的标准通用视频压缩方案。

图2示出了来自相邻视频块的示例帧内模式。

图3示出了将模式添加到最可能模式(Most Probable Mode，MPM)列表的一个实施例。

图4示出了JEM(联合探索模型)中最可能模式列表的构建。

图5示出了用H.266的候选编解码器对帧内编码帧进行分割的示例。

图6示出了当前块的示例，该当前块的相邻块是使用方向预测模式编码的。

图7示出了帧内模式预测器，其使用(a)左侧块的模式、(b)上方模式的模式、(c)与左侧和上方的平均值相对应的方向、(d)所提出的位置相关组合。

图8示出了要预测的当前块上的插值方向示例。

图9示出了基于子块的网格的角度模式插值的示例。

图10示出了使用所描述的方面的方法的一个实施例。

图11示出了使用所描述的方面的方法的另一个实施例。

图12示出了使用所描述的方面的装置的一个实施例。

具体实施方式

本发明被并入视频压缩的框架中，特别是在帧内预测阶段。现有的混合编解码器，例如H.264/MPEG4-AVC和H.265/HEVC使用帧内预测，其目的在于通过首先使用同一图像中先前重建的相邻样点建立预测，然后对预测和源之间的差(也称为残差)进行编码，从而对当前块进行编码。在联合视频探索小组(JVET)正在研究的示例性参考联合探索模型(JEM)中，编码器可以选择67种帧内预测模式。

-平面模式在当前块上创建参考样点的平滑线性组合。

-DC模式将参考样点的平均值分配给当前块中的所有样点。

-其余65种方向模式将参考样点沿特定方向传播到当前块上。

于是，对模式索引进行编码的语法元素可能代表过高的成本。最可能模式(MPM)方法通过为统计上常用的模式提供更轻便的语法，并重新使用为已重建的相邻块选择的模式，使得能够降低该信息的成本。如果选择了MPM，则在MPM的简短列表中传输索引。然后考虑几个相邻块，并选择一种最佳模式。

在本文描述的一个实施例中，当至少两个相邻块可用时，提出了将帧内模式添加到MPM列表，该帧内模式是这些相邻块的预测模式的组合。例如，当用不同的方向模式对两个相邻块进行编码时，提出了创建一种混合模式，该混合模式是当前块表面上的方向的线性映射。

这些实施例解决的问题是通过添加作为那些相邻预测模式的组合的额外模式，来提高其因果相邻块带来补充信息的块的帧内预测效率。

本发明旨在将参考样点的新填充实现到当前块上以建立帧内预测。现有的方向模式在于以固定方向传播参考样点。

然后，例如，为了预测弯曲对象的边界，现有的编码器将不得不沿着该对象的边缘选择小块，以分段方式对其进行预测。

在JVET中，已经提出了滤波器以平滑帧内预测器。例如，位置相关的预测组合使用平滑的且未滤波的参考样点来组合预测值。这使得能够对最初与可能平滑的参考样点的方向填充相对应的预测进行滤波。但是，该算法没有将在同一块表面上可以考虑的两种模式组合。

在另一种方法中，提出了对直线方向模式的参数修改，以使预测与当前块的内容更好地对准。但是，必须传输额外的参数以将预测过程用信号通知给解码器。对于小的或低纹理的块，可以通过变换和熵编码将残差压紧并很好地压缩。但是，对预测模式进行编码的语法是不可忽略的，并且这些额外的参数变得成本过高。在提出的解决方案中，几乎不需要附加的语法。

为了更好地预测对象和纹理的各种空间方向，所描述的实施例中的至少一个提出了在最可能模式(MPM)框架的上下文中添加额外模式。可以将新模式用信号通知为编码期间使用的最可能模式列表的附加模式。

当两个重建的相邻块可用并且使用不同的预测模式时，一个实施例使用一种模型，该模型在当前块表面上组合两个预测方向模式，并考虑对相邻块进行编码的不同方式。

作为第一示例，但不限于这种情况，考虑了使用不同方向模式编码的当前块左侧和顶部的块。然后，根据相邻方向和所考虑的相邻块的位置，选择模型以使当前块表面上的方向变化。

将额外模式添加到已经存在的67种模式的列表将代表过高的语法成本。有利地，该模式对应于仅当存在相邻模式时才可以添加的额外模式。可以将其添加作为额外的MPM，而无需扩展帧内模式的完整列表及其相应的语法。

至少一个提出的解决方案的描述是基于联合视频探索小组(JVET)设计的参考软件的示例性当前版本，来设计用于视频编码的下一个MPEG/ITU标准，目前称为H.266。然而，本发明不限于H.266的这种潜在版本，并且可以应用于包括逐块帧内预测的任何未来视频标准。

在现有编解码器中，帧内预测的构建使用极其基本的操作。该过程的效率在于编码器可以选择的多种模式。然而，编码该决定的语法元素可能变得成本高。例如，在JVET探索性软件中，考虑67种帧内模式来预测亮度分量的每个块。

-平面模式在当前块上创建参考样点的平滑线性组合。

-DC模式将参考样点的平均值分配给当前块中的所有样点。

-其余65种方向模式将参考样点沿特定方向传播到当前块上。

因此，已经引入了最可能模式(MPM)以根据已经解码的信息来预测帧内预测模式。

在JEM中，帧内模式索引的编码是通过HEVC的最可能模式的改进版本执行的。当前的方法基于另一种算法。对于当前块，考虑5个相邻位置，即如图2中所示的左侧(L)、上方(A)、左下方(BL)、右上方(AR)、和左上方(AL)。

按以下顺序检查要添加的模式：

-L、A、平面、DC、BL、AR、AL。

-对于当前列表的每个条目：如果模式是方向性的，则添加模式-1，然后添加模式+1(即，首先添加相邻块的模式。如果列表中有空间，则添加具有相邻块的模式左右的索引的模式，这是因为相邻块可以共享角度稍有不同的相似结构)。

-添加其余默认模式：VER、HOR、2、DIA。

如果存在要添加的模式(dirMode>0且dirMode<65)并且尚未包含在列表中，则将它们添加到当前的最后一个位置(回推)，如图3中所示。首先，110检查要添加的模式的存在。如果相邻块不存在或未被帧内编码，则列表不变。否则，模块120检查模式是否已经包括在当前列表中。如果不包括，则模块130将其包括在列表中的最后位置处，否则，列表保持不变。

图3中描述的过程对应于图4中的框150，图4描述了MPM列表的构建的整体过程。如图4中所描述，添加潜在模式直到MPM列表满为止(160)。

如果最佳模式属于该列表，则用于编码的语法非常小。编码器只需要发送标志来通知解码器该模式属于MPM列表。然后，使用截断的一元代码编码的MPM索引非常轻便。尤其是对于小块，并且通常对于具有很少残差的块，即，当与变换系数相比语法成本不可忽略时，这鼓励编码器选择那些模式，因为它们在语法方面的成本是低的。

在现有的编解码器中，帧内预测旨在构建当前块的第一版本，称为预测器，这使要在比特流中传输的残差信号的能量最小化。残差通常在频域中进行变换，然后进行量化和编码。因此，目标不是提供视觉上令人满意的预测器，而是使用可用样点的构建，其优化传输数据的成本。例如，在块位于对象边界处或弯曲纹理上的情况下，编码器具有以下选项：

-使用最佳匹配的方向模式。

-使用DC或平面。

-如果可能，对该块进行分割，以便更好地预测较小的子块，但要付出更多语法元素的代价。

例如，对象的弯曲边界将使编码器沿边缘选择小块，以便直线方向模式可以与形状近似。除了一些直线边缘以外，纹理和边缘大多用小块编码。例如，在图5中，角色的边缘用小块编码，因为用现有模式无法对其有效地预测。可以注意到，在外套上，由于直线图案用直线方向模式来很好地预测，因此出现了几个较大的块。但是，这种情况很少发生在自然视频中。

从以上部分可以断言，使用现有的帧内模式不容易预测弯曲的边缘和纹理。添加“曲线”填充模式将扩展帧内模式的数量，从而扩展语法，并扩展编码器和解码器侧的组合，从而导致更高的复杂性。另一方面，MPM提供了一种以减少的语法对相邻模式进行组合的方式。根据实施例，MPM列表可以包含组合模式，或者可以组合MPM中包含的两个模式。

然后，提出了当相邻模块的模式不同时，添加与相邻块的模式的组合相对应的帧内模式。

以其左侧和顶部相邻块用不同方向模式进行预测的块为例，如图6中所示。

图7描绘了与图6中所示的帧内模式方向有关的示例性传播。图7(a)和图7(b)分别对应于在使用为左侧和上方块选择的模式时的帧内预测器。图7(c)示出了如果使用与左侧和上方块的模式的平均值相对应的方向模式，将会发生什么情况。最后，图7(d)示出了提出的组合的示例性结果。在该示例中，将组合(模型)计算为：

其中，θ(x,y)代表每个像素位置的方向的角度，x和y分别代表水平和垂直坐标，θ_L和θ_A分别代表左侧和上方的方向模式。为了说明的目的，在图7中，当方向模式填充指向参考样点之间的位置，并且选择最接近的参考样点的值时，不使用平滑滤波器，也不执行插值。样点值与应用于像素的所得角度相对应。

对于当前编解码器，编码器可以以低的语法成本选择其中之一。然后，以下描述的几个实施例包括用信号通知该组合的不同方式。例如，语法元素可以描述如何以低的语法成本来组合两个现有模式。

在一些实施例中，描述了其中考虑实际样点值的线性组合的不同模型。

在用于编码图像块的第一实施例中，使用传播相邻样点的帧内预测过程，以及：

-检查先前编码/解码的块中是否可以组合至少两个，以建立参考样点的至少一个新的传播

-从参考样点和该新模式中导出当前块的帧内预测器

-对语法元素进行编码，该语法元素描述使用哪些相邻块的帧内模式以及如何使用。

在第二实施例中，用于解码图像块的解码器使用传播相邻样点的帧内预测过程，以及：

-对语法元素进行解码，该语法元素描述使用哪些相邻块的帧内模式以及如何使用。

-从参考样点和所描述的模式中导出当前块的帧内预测器。

在帧内预测期间，该实施例在相邻的左侧模式和上方模式中进行检查。如果模式不同，则将至少一个模式添加到与这两种模式的组合相对应的列表。

在用于编码或解码图像块的至少第三实施例中，分别使用实施例1或2，其中每个新模式是MPM列表中包括的模式的组合。然后，所需的语法元素描述所使用模式的MPM列表索引。

在至少第四实施例中，并且其中不需要额外的语法，将新的组合模式添加到MPM列表。在MPM列表构建过程中，检查相邻模式，并在组合可能时将模式添加到列表。

在至少第五实施例中，可以实现第四实施例，其中仅针对与左侧和上方的块(见图2)相对应的某些模式添加至少一个新模式。新模式可以包含在MPM列表中的任何位置，例如在左侧和上方模式之后或在平面和DC之后，唯一的限制是编码器和解码器共享相同的构建过程。

在至少第六实施例中，前面的五个实施例还可以包括取决于所考虑的相邻块帧内模式来添加新模式的过程。例如，当模式是方向性的并且角度差小于90°时执行。

在至少第七实施例中，前面的六个实施例还可以包括至少一个新模式，该新模式是当用不同模式预测时样点值的线性组合。

对于当前块中的每个p(i,j)，(i,j)是该块内的坐标，(i＝0,j＝0)在左上方样点处，

p(i,j)＝α.p_L(i,j)+(1-α)p_A(i,j),

其中，p_L(i,j)和p_A(i,j)分别对应于利用左侧和上方模式的位置(i,j)的预测。

在至少第八实施例中，可以使用第五实施例，其中组合是线性的，并且取决于左侧或上方的相应块的水平或垂直距离。

在至少第九实施例中，使用第五实施例，其中组合是在方向方面而不是像素值方面的组合。在该实施例中，模式的方向被组合。对于当前块的每个像素，确定组合方向，而不是参考样点的组合。例如，可以从右上到左下位置对角度方向进行线性插值。然后，对于当前块中的每个位置，都有单个插值方向。

在至少第十实施例中，可以实现第八实施例，其中在子块级别应用方向的改变，如图9中所示。使用给定的方向模式对每个子块进行经典预测。可以考虑每个子块的中心来计算其角度模式。在HEVC和JVET探索软件中，考虑4×4子块以用于帧间预测。在所描述的实施例下，还可以考虑任何尺寸的子块以用于帧内预测。

在图10中图示了所描述方面的一个实施例，其示出了用于使用组合的帧内预测模式来编码视频块的方法1000。该方法始于开始框1001，并且控制前进到框1010，用于基于来自与当前视频块相邻的视频块的帧内预测模式的组合来预测当前视频块。控制从框1010前进到框1020，用于使用所述预测来编码当前视频块，其中，将所述帧内预测模式的组合添加到在编码期间使用的最可能模式列表。

在图11中图示了所描述方面的另一实施例，其示出了用于使用组合帧内预测模式来解码视频块的方法1100。该方法始于开始框1101，并且控制前进到框1110，用于基于来自与当前视频块相邻的视频块的帧内预测模式的组合来预测当前视频块。控制从框1110前进到框1120，用于使用所述预测来解码当前视频块，其中，将所述帧内预测模式的组合添加到在解码期间使用的最可能模式列表。

在图12中图示了所描述方面的一个实施例，其示出了用于使用组合的帧内预测模式来编码或解码视频块的装置1200。该装置包括处理器1210和存储器1220。处理器1210被配置用于编码以执行图10的步骤，即，使用组合的帧内预测模式执行编码。

当处理器1210被配置用于解码时，其执行图11的步骤，即，使用组合的帧内预测模式执行解码。

附图中所示的各种元件的功能可以通过使用专用硬件以及与适当软件相关联的能够执行软件的硬件来提供。当由处理器提供时，功能可以由单个专用处理器、由单个共享处理器或由多个单独的处理器提供，其中一些处理器可以被共享。此外，术语“处理器”或“控制器”的明确使用不应被解释为专门指能够运行软件的硬件，并且可以隐含地包括但不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性存储器。

也可以包括传统的和/或定制的其他硬件。类似地，图中所示的任何切换仅为概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互或者甚至手动来实现，具体技术可以由实施者选择，如从上下文中更具体地理解的。

本描述说明了本原理。因此，应当理解，本领域技术人员将能够设计各种布置，尽管在此没有明确描述或示出，但是这些布置体现了本发明的原理，并且被包括在其精神和范围内。

本文所叙述的所有示例和条件语言旨在用于教学目的，以帮助读者理解本发明的原理和发明人为推进本领域所贡献的概念，并被解释为不限于这样具体叙述的示例和条件。

此外，本文叙述本原理的原理、方面和实施例以及其具体示例的所有陈述，都旨在涵盖其结构和功能等同物。此外，这种等同物意图包括当前已知的等同物以及将来开发的等同物，即无论结构如何，开发的执行相同功能的任何元件。

因此，例如，本领域技术人员将会理解，本文呈现的框图表示体现本原理的说明性电路的概念视图。类似地，将会理解，任何流程图表、流程图、状态转换图、伪代码等表示可以基本上在计算机可读介质中表示并由计算机或处理器执行的各种处理，无论是否明确示出了这样的计算机或处理器。

在其权利要求中，表示为用于执行特定功能的部件的任何元件旨在涵盖执行该功能的任何方式，包括例如a)执行该功能的电路元件的组合，或者b)任何形式的软件，因此包括固件、微码等，与用于运行该软件以执行该功能的适当电路相结合。由这样的权利要求定义的本原理在于这样的事实，即由各种叙述的部件提供的功能以权利要求所要求的方式被组合和集合在一起。因此，认为能够提供这些功能的任何部件都等同于本文所示的这些部件。

说明书中对本原理的“一个实施例”或“实施例”以及其其他变型的引用意味着结合该实施例描述的特定特征、结构、特性等被包括在本原理的至少一个实施例中。因此，在整个说明书的不同地方出现的短语“在一个实施例中”或“在实施例中”以及任何其他变型不一定都指同一实施例。

Claims

1.一种方法，包括：

基于来自与当前视频块相邻的视频块的帧内预测模式的组合来预测所述当前视频块；以及

使用所述预测来编码所述当前视频块，其中，将所述帧内预测模式的组合添加到在编码期间使用的最可能模式列表。

2.一种用于编码图像数据块的装置，包括：

存储器，和

处理器，被配置为：

3.一种方法，包括：

使用所述预测来解码所述当前视频块，其中，将所述帧内预测模式的组合添加到在解码期间使用的最可能模式列表。

4.一种用于解码图像数据块的装置，包括：

存储器，和

处理器，被配置为：

5.根据权利要求1或3所述的方法或根据权利要求2或4所述的装置，其中，如果与当前块相邻的视频块的所述帧内预测模式的组合中的模式是不同的，则将所述帧内预测模式的组合添加到所述最可能模式列表。

6.根据权利要求1或3所述的方法或根据权利要求2或4所述的装置，其中，语法元素指定对最可能模式列表的使用，并且其中，最可能模式的索引对应于来自与所述当前视频块相邻的视频块的帧内预测模式的组合。

7.根据权利要求1或3所述的方法或根据权利要求2或4所述的装置，其中，帧内预测模式的组合是最可能模式列表中的附加模式。

8.根据权利要求1或3所述的方法或根据权利要求2或4所述的装置，其中，对于可能的组合的子集，将模式添加到所述最可能模式列表。

9.根据权利要求8所述的方法或装置，其中，所述子集包括来自当前视频块的左侧和上方的块的模式。

10.根据权利要求1或3所述的方法或根据权利要求2或4所述的装置，如果组合模式基于具有小于90度的角度差的方向帧内模式，则将所述组合模式添加到最可能模式列表。

11.根据权利要求1或3所述的方法或根据权利要求2或4所述的装置，其中，所述组合是当用不同模式预测时的样点值的线性组合。

12.根据权利要求1或3所述的方法或根据权利要求2或4所述的装置，其中，所述组合是基于方向形成的。

13.一种非暂时性计算机可读介质，其包含根据权利要求1和5至12中任一项所述的方法或由权利要求4和5至12中任一项所述的装置所生成的数据内容，以用于使用处理器进行回放。

14.一种信号，其包括根据权利要求1和5至12中任一项所述的方法或由权利要求4和5至12中任一项所述的装置所生成的视频数据，以用于使用处理器进行回放。

15.一种计算机程序产品，其包括指令，当由计算机执行所述程序时，所述指令使所述计算机执行权利要求3和5至12中任一项所述的方法。