CN118202651A - 视频编解码系统中基于交叉分量线性模型的预测方法及装置 - Google Patents

Abstract

公开了一种使用基于交叉颜色线性模型的帧内预测的视频编解码系统的方法和装置。根据该方法，确定第一颜色预测模型的模型参数，并且第一颜色预测模型根据至少两个对应的重构第二颜色像素值的组合提供预测的第一颜色像素值。根据另一种方法，第一颜色预测模型基于一个或多个对应的重构第二颜色像素值的二阶模型或更高阶模型提供预测的第一颜色像素值。当前第一颜色块的第一颜色预测子根据第一颜色预测模型确定。然后输入数据在编码器侧被编码或在解码器侧使用第一颜色预测子解码。

Description

视频编解码系统中基于交叉分量线性模型的预测方法及装置

交叉引用

本申请享有2021年11月1日提交的申请号为63/274,036的美国临时专利申请的优先权，该先前申请在此全文引用。

技术领域

本发明涉及视频编解码系统。特别地，本发明涉及在视频编解码系统中使用交叉分量线性模型的帧内预测。

背景技术

多功能视频编码(VVC)是由ITU-T视频编码专家组(VCEG)和ISO/IEC运动图像专家组(MPEG)的联合视频专家组(JVET)开发的最新国际视频编码标准。该标准已作为ISO标准发布：ISO/IEC 23090-3：2021，信息技术-沉浸式媒体的编码表示-第3部分：多功能视频编码，2021年2月发布。VVC是基于其前身HEVC(高Efficiency Video Coding)通过添加更多编码工具来提高编码效率并处理各种类型的视频源，包括HDR(高动态范围)、屏幕内容、360°视频和空间可伸缩视频信号。

图1A图示了结合循环处理的示例性自适应帧间/帧内视频编码系统。对于帧内预测110，预测数据是基于当前图像中先前编码的视频数据得出的。对于帧间预测112，在编码器侧执行运动估计(ME)并且基于ME的结果执行运动补偿(MC)以提供从其他图像和运动数据导出的预测数据。开关114选择帧内预测110或帧间预测112，并且选择的预测数据被提供给加法器116以形成预测误差，也称为残差。然后由变换(T)118接着量化(Q)120处理预测误差。然后由熵编码器122对变换和量化的残差进行编码以包括在对应于压缩视频数据的视频比特流中。然后，与变换系数相关联的比特流与诸如与帧内预测和帧间预测相关联的运动和编码模式等辅助信息以及与应用于底层图像区域的环路滤波器相关联的参数等其他信息打包。如图1A所示，与帧内预测110、帧间预测112和环路滤波器130相关联的边信息被提供给熵编码器122。当使用帧间预测模式时，参考图像也必须在编码器端重建。因此，变换和量化的残差由反量化(IQ)124和反变换(IT)126处理以恢复残差。然后在重建(REC)128将残差加回到预测资料136以重建视频资料。重构的视频资料可以存储在参考图像缓冲器134中并且用于其他帧的预测。

如图1A所示，输入视频数据在编码系统中经历一系列处理。由于一系列处理，来自REC 128的重建视频数据可能会受到各种损害。因此，在将重构视频数据存储在参考图像缓冲器134中之前，经常将环路滤波器130应用于重构视频数据，以提高视频质量。例如，可以使用去块滤波器(DF)、样本自适应偏移(SAO)和自适应环路滤波器(ALF)。可能需要将环路滤波器信息合并到比特流中，以便解码器可以正确地恢复所需的信息。因此，环路滤波器信息也被提供给熵编码器122以结合到比特流中。在图1A中，在将重构样本存储在参考图像缓冲器134中之前，将环路滤波器130应用于重构视频。图1A中的系统旨在说明典型视频编码器的示例性结构。它可以对应于高效视频编码(HEVC)系统、VP8、VP9、H.264或VVC。

如图1B所示，解码器可以使用与编码器相似或部分相同的功能块，除了变换118和量化120之外，因为解码器只需要反量化124和反变换126。代替熵编码器在图122中，解码器使用熵解码器140将视频比特流解码为量化的变换系数和所需的编码信息(例如ILPF信息、帧内预测信息和帧间预测信息)。解码器侧的帧内预测1 50不需要执行模式搜索。相反，解码器只需要根据从熵解码器140接收到的帧内预测信息来生成帧内预测。此外，对于帧间预测，解码器只需要根据从熵解码器140接收到的帧间预测信息执行运动补偿(MC 152)无需运动估计。

根据VVC，类似于HEVC，输入图像被划分为称为CTU(编码树单元)的非重迭方形块区域。每个CTU可以划分为一个或多个较小尺寸的编码单元(CU)。生成的CU分区可以是正方形或矩形。此外，VVC将CTU划分为预测单元(PU)作为一个单元来应用预测过程，例如帧间预测、帧内预测等。

VVC标准结合了各种新的编码工具，以进一步提高HEVC标准的编码效率。在各种新的编码工具中，有些已经被标准采用，有些没有。在新的编码工具中，采用了一种名为CCLM(交叉分量线性模型)的技术。CCLM简要回顾如下。

CCLM(交叉分量线性模型)

CCLM模式(有时简称为LM模式)背后的主要思想是彩色图像的颜色分量(例如，Y/Cb/CR、YUV和RGB)之间经常存在一些相关性。这些颜色在本公开中可以称为第一颜色、第二颜色和第三颜色。CCLM技术通过线性模型从同位的重构亮度样本预测块的色度分量来利用相关性，所述线性模型的参数源自与块相邻的已重构亮度和色度样本。

在VVC中，CCLM模式(mode)通过从重构的亮度样本预测色度样本来利用信道间依赖性。该预测是使用以下形式的线性模型进行的

P(i，j)＝a·rec′_L(i，j)+b. (1)

这里，P(i，j)表示CU中的预测色度样本，rec′_L(i，j)表示同一CU的重建亮度样本，在非4:4:4采样颜色格式的情况下。模型参数a和b是基于在编码器和解码器端重建的相邻亮度和色度样本而无需显式信令导出的。

VVC中指定了三种CCLM模式，即CCLM_LT、CCLM_L和CCLM_T。这三种模式在用于模型参数推导的参考样本的位置方面有所不同。仅来自顶部边界的样本参与CCLM_T模式，仅来自左侧边界的样本参与CCLM_L模式。在CCLM_LT模式下，使用来自上边界和左边界的样本。

总体而言，CCLM模式的预测过程包括三个步骤：

1)对亮度块及其相邻重构样本进行下采样以匹配相应色度块的大小，

2)基于重构的相邻样本的模型参数推导，以及

3)应用模型方程(1)生成色度帧内预测样本。

亮度分量的下采样：为了匹配4:2:0或4:2:2：颜色格式视频序列的色度采样位置，可以对亮度采样应用两种类型的下采样过滤器，这两种过滤器都具有在水平和垂直方向上的下采样率为2:1。这两个过滤器分别对应“类型-0”和“类型-2”4:2:0色度格式内容，由下式给出

基于SPS级别的标志信息，二维6抽头(即f2)或5抽头(即f1)滤波器应用于当前块内的亮度样本及其相邻的亮度样本。SPS级别是指序列参数集级别。如果当前块的顶部队列是CTU边界，则会发生异常。在这种情况下，一维滤波器[1，2，1]/4应用于上述相邻亮度样本，以避免在CTU边界上方使用多条亮度队列。

模型参数推导过程：公式(1)的模型参数a和b是基于在编码器和解码器端重建的相邻亮度和色度样本得出的，以避免需要任何信令开销。在最初采用的CCLM模式版本中，使用线性最小均方误差(LMMSE)估计器来推导参数。然而，在最终设计中，仅涉及四个样本以降低计算复杂度。图2显示了W×H色度块210、对应的2W×2H亮度块220及其“类型0”内容的相邻样本(显示为实心圆和三角形)的相对样本位置。

在图2的示例中，显示了CCLM_LT模式中使用的四个样本，它们用三角形标记。它们位于上边界的M/4和M·3/4的位置，以及左边界的N/4和N·3/4的位置。在CCLM_T和CCLM_L模式下，上下边界扩展为(M+N)个样本大小，用于模型参数推导的四个样本位于(M+N)/8，(M+N)·3/8、(M+N)·5/8和(M+N)·7/8。

一旦选择了四个样本，就使用四个比较运算来确定其中两个最小和两个最大的亮度样本值。令X_l表示两个最大亮度样本值的平均值，让X_s表示两个最小亮度样本值的平均值。类似地，让Y_l和Y_s表示相应色度样本值的平均值。然后，根据以下等式获得线性模型参数：

b＝Y_s-a·X_s. (3)

在这个等式中，计算参数a的除法运算是通过查找表实现的。为了减少存储此表所需的内存，diff值(最大值和最小值之间的差)和参数a用指数表示法表示。这里，diff的值是用一个4位有效部分和一个指数来近似的。因此，1/diff表仅包含16个元素。这样做的好处是既可以降低计算的复杂性，又可以减少存储表所需的内存大小。

CCLM帧内预测在编码增益方面显示出明显的改进。期望开发进一步提高CCLM效率的技术和/或在保留编码效率的同时简化过程的技术。

发明内容

公开了一种使用基于颜色交叉线性模型的帧内预测的视频编码系统的方法和装置。根据该方法，接收在编码器侧要编码的当前第一颜色块或与解码器侧要解码的当前第一颜色块相关联的输入数据。在一些实施例中，输入数据报括用于要在编码器侧编码的当前第一颜色块的像素数据或与要在解码器侧解码的当前第一颜色块相关联的预测残差资料。确定第一颜色预测模型的模型参数，其中第一颜色预测模型根据与对应第二颜色块相关联的至少两个对应重构第二颜色像素值的组合提供预测的第一颜色像素值，根据与当前第一颜色块相关联的同位第二颜色块的相邻重建第二颜色像素和当前第一颜色块的相邻重建第一颜色像素确定模型参数。确定当前第一颜色块的第一颜色预测子，其中通过将第一颜色预测模型应用于与所述每个第一颜色像素相对应的重构第二颜色像素，为当前第一颜色块的每个第一颜色像素生成一个第一颜色预测值。然后使用编码器侧的第一颜色预测子对输入数据进行编码，或者使用解码器侧的第一颜色预测子对输入数据进行解码。

在一个实施例中，所述至少两个对应的重构第二颜色像素值对应于M×N个重构第二颜色样本，M和N为正整数且M×N大于或等于1。例如，M等于3，N等于2。在另一个示例中，M等于2，N等于2。

在一个实施例中，根据所述至少两个对应的重构的第二颜色像素值的线性组合来提供预测的第一颜色像素值。在另一个实施例中，使用包括对所述至少两个对应的重构的第二颜色像素值的非线性运算的运算来提供预测的第一颜色像素值。非线性运算可以包括裁剪、最小值、最大值或其组合。

在一个实施例中，最终预测的第一颜色像素值被生成为预测的第一颜色像素值和第二预测的第一颜色像素值的融合，其中第二预测的第一颜色像素值是使用生成的当前第一色块的正常帧内模式。

在一个实施例中，当同位的第二颜色块和当前的第一颜色块具有不同的采样率时，使用多相位滤波器来生成所述至少两个对应的重构第二颜色像素值。在一个实施例中，可以在不同的编码级别确定对预定义的多个函数或公式的选择。

在一个实施例中，相邻的重构第二颜色像素来自同位的第二颜色块的一个或多个顶部相邻队列和/或一个或多个左侧相邻队列，并且相邻的重构第一颜色像素来自一个当前第一色块的一个或多个顶部队列和/或一个或多个左侧队列。

还公开了另一种用于视频编码系统的方法和设备，其使用基于交叉颜色线性模型的帧内预测。根据该方法，第一颜色预测模型基于一个或多个对应的重构第二颜色像素值的二阶模型或更高阶模型提供预测的第一颜色像素值。在一个实施例中，所提供的预测的第一颜色像素值对应于一个对应的重构第二颜色像素值的二阶模型。

附图说明

图1A图示了结合循环处理的示例性自适应帧间/帧内视频编码系统。

图1B图示了图1A中的编码器的对应解码器。

图2显示了W×H色度块的相对样本位置，对应的2W×2H亮度块及其“type-0”内容的相邻样本(显示为实心圆圈和三角形)。

图3标出了亮度样本y0和y2之间的色度样本位置ch的示例，涉及的亮度样本用y0、y1、y2和y3标记。

图4图示了根据本发明实施例的利用交叉颜色线性模型的示例性视频编码系统的流程图，其中至少两个对应的重构亮度像素值用于确定色度预测子。

图5图示了根据本发明实施例的利用交叉颜色线性模型的示例性视频编码系统的流程图，其中一个或多个对应的重构亮度像素值的二阶或更高阶模型用于确定色度预测子。

具体实施方式

将容易理解，如本文附图中一般描述和图标的本发明的组件可以以多种不同的配置来布置和设计。因此，如附图中所表示的本发明的系统和方法的实施例的以下更详细的描述并不旨在限制所要求保护的本发明的范围，而仅代表本发明的选定实施例.在整个说明书中对“一个实施例”、“一个实施例”或类似语言的引用意味着结合该实施例描述的特定特征、结构或特性可以包括在本发明的至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”或“在一个实施例中”不一定都指代相同的实施例。

此外，所描述的特征、结构或特性可以在一个或多个实施例中以任何合适的方式组合。然而，相关领域的技术人员将认识到，本发明可以在没有一个或多个具体细节的情况下，或使用其他方法、组件等来实践。在其他情况下，未示出或未示出众所周知的结构或操作。详细描述以避免模糊本发明的方面。通过参考附图将最好地理解本发明的所示实施例，其中相同的部件自始至终由相同的数字表示。以下描述仅作为示例，并且简单地说明了与如本文所要求保护的本发明一致的设备和方法的某些选定实施例。

如前所述，VVC采用的CCLM编码工具显示出显著的编码效率提升。期望开发进一步提高编码增益的技术。

亮度和色度之间的模型

在一个实施例中，MxN滤波器形状可用于定义用于CCLM的线性模型的参数。与基于单个重构亮度值进行预测的传统线性模型相比，rec′_L(i，j)如方程(1)所示。本发明基于MxN重构亮度样本推导色度预测。在一个实施例中，M＝N＝2，意味着线性模型的方程中有5个未知变量，方程如下所示：

ch＝ay0+by1+cy2+dy3+e. (4)

在图3中，色度样本ch的位置(或定位)在亮度样本y0和y2之间，涉及的亮度样本用y0、y1、y2和y3标记。等式(4)表示基于线性模型的色度预测示例，其中ch生成为y0、y1、y2和y3的线性组合。等式(4)具有线性滤波器的形式，其中ch对应于应用于y0、y1、y2和y3的线性滤波器的输出。因此，根据本发明的亮度和色度之间的模型也称为MxN滤波器形状。

在一个实施例中，在1x2滤光片的情况下，亮度和色度方程如下：

ch＝ay0+by2+c. (5)

在另一实施例中，在3x2滤波器的情况下，针对亮度与色度的等式如下：

ch＝ay0+by1+cy2+dy3+ey4+fy5+g. (6)

在这种情况下，为了定义线性模型的所有参数，至少需要在编码器和解码器处访问7个色度样本。

在一个实施例中，非线性运算可以集成在方程中。例如，剪裁或最小/最大运算可以集成到等式中。

在一个实施例中，使用更高阶模型来预测色度样本，而不是线性模型。高阶模型是指使用二阶或更高阶模型的情况。在一个实施例中，用于色度的方程如下：

ch＝(ay²+by+c). (7)

在当前版本的CCLM中，预测的色度样本P(i，j)被视为最终预测子，这意味着没有应用额外的后处理来进一步细化预测的样本值。在一个实施例中，在正常帧内模式和使用当前CU的CCLM模式获得的预测子之间应用融合，并且该融合的结果进一步被认为是预测子。在一个实施例中，类似于PDPC(位置相关预测组合)概念，应用边界滤波器来细化CU的顶部和左侧边界处的样本。

在一个实施例中，将递归细化应用于预测参数。在一个实施例中，细化如下进行：

1.定义比例a和偏移量b(或更多参数，如果需要)

2.使用比例a和偏移量b预测相邻(从相邻或不仅相邻(多于一个相邻)队列)色度样本

3.如果预测不够好-更新参数/使用点并返回步骤1

4.重复直到获得所需的预测精度或达到最大步数

由于CCLM模型仅根据相邻样本定义，因此可能无法完全反映相邻CU与当前CU之间的空间关系。因此，在一个实施例中，可以将附加边界过滤应用于CCLM预测子。

在一个实施例中，为了提高预测质量，在CCLM中使用了当前CU的附加相邻点。在一个实施例中，首先计算相邻样本的平均值(例如，对于CCLM_LT模式，找到位于每个边界的位置(M/4和M/2)和(M·3/4和M)的样本的平均值，然后在左边界做类似的事情)然后执行四个比较运算，用于确定其中两个最小和两个最大的亮度样本值。在一个实施例中，来自两条相邻顶部队列和/或两条相邻左侧队列的样本可用于CCLM。在一个实施例中，首先计算原始位置的样本和与当前CU的相邻队列的相邻队列(即，距当前CU更远的一条队列)的样本之间的加权和，然后计算这4个值中定义的两个最小(Min)和两个最大(Max)样本值。在另一个实施例中，考虑/可用的CCLM队列的数量扩展到超过2个。

在一个实施例中，在所有可用于CCLM的样本中确定两个最小和两个最大的亮度样本值，而不仅仅是在某些位置(例如，与当前CU相邻的行，或从顶部和/或左侧开始的多于一个相邻行)。在另一个实施例中，在Min/Max中使用超过4个值，例如考虑在当前CU左上位置的附加亮度样本，这意味着两个Min和两个Max样本值被定义在5之间而不是4位置。

虽然上述公开以亮度和色度信号作为示例来说明交叉分量预测，但是本发明不限于亮度/色度彩色视频。相反，本发明可以与其他颜色格式和/或其他颜色子采样比率相关联。本公开中提到的方法可以相应地调整以应用于其他二次采样率和/或颜色方案。在一个实施例中，使用原始的4个(或更多点)和不同的线性回归方法(例如Theil-Sen估计、Ridge回归)或其他回归(逐步(可以从4下降到2)、多项式/更高阶模型)用于定义线性/更高阶模型的参数。

对应的亮度样本选择

在最初的CCLM设计中，来自同位亮度块的亮度样本用于预测当前CB的色度样本，并且当亮度和色度采样率不同时(例如YUV420、YUV422、YUV411)使用一个下采样滤波器生成相应的亮度样本。

对于YUV420和YUV422格式，亮度和色度样本具有不同的分辨率。因此，必须使用下采样来为每个色度样本导出相应的亮度样本。在一个实施例中，可以使用滤波器的多个相位来代替下采样滤波器(即应用于YUV420情况下的亮度的那个)。在一个实施例中，当在CCLM中定义线性模型的参数时，直接使用原始亮度样本之一(y0、y1、y2或y3)而不是下采样。

在一个实施例中，非线性运算用于选择用于定义CCLM中线性模型的参数的四个候选(即y0、y1、y2或y3)之一。在一个实施例中，使用以下非线性函数之一：

·Max(y0，y1，y2，y3)

·Min(y0，y1，y2，y3)

·Vote(y0，y1，y2，y3)

在一个实施例中，预定义了多个函数/公式，并且允许在不同级别进行某些选择。

在一个实施例中，模型参数可以基于多个亮度块导出，因此将存在从不同亮度块定义的多个比例a和多个偏移量b。在一个实施例中，最终比例和偏移值被定义为它们的平均值。在另一个实施例中，在多个候选中选择最终的比例和偏移值。在一个实施例中，可以/必须向解码器发信号通知该决定。在另一个实施例中，可以在解码器处以及在编码期间执行该决定过程，这意味着不需要额外的信令。

在一个实施例中，使用来自多个同位块的元素定义比例a和偏移b(例如，使用来自同位亮度块的样本定义的一组a1和b1，使用来自同位的亮度块的父块的样本定义的另一组比例a2和偏移b2；另外，如果使用二叉树，则当前色度块可以有多个同位的亮度块，可用于推导线性模型的参数)。例如，算法如下：

X_l是X_l1(来自亮度块Y1)、X_l2(来自亮度块Y2)的平均值......

X_s是来自X_s1(来自亮度块Y1)、X_s2(来自亮度块Y2)、......的平均值

在一个实施例中，用于预测色度的重构亮度值可以等于来自多个同位亮度块的重构样本的平均和(加权和/组合)。在一个实施例中，以下重建的亮度块可用于预测色度：

·亮度块Y1：原始CCLM算法中使用的同位亮度块

·亮度块Y2：下采样的父亮度块

·应用二叉树时，可以有多个同位的亮度块

在另一个实施例中，可以使用类似IBC的方法来找到更多的亮度块，然后混合亮度重建的相邻样本，其中IBC(Intra Block Copy)是VVC标准采用的另一种编码工具。在另一个实施例中，可以另外执行Cb/Cr到Cr/Cb的预测。例如，当我们进行Cr预测时，我们可以使用来自亮度的多个预测以及来自Cb的另一个预测。

基于历史的CCLM

在一个实施例中，基于历史的方法被并入CCLM中。在一个实施例中，先前定义的(来自先前的CTU/CU/片)CCLM参数被保存到专门定义的表中，然后还检查这些参数中的一些或全部以预测当前CU，连同新定义的CCLM参数预测。在一个实施例中，用信号发送单独的标志以指示是选择来自历史表的参数还是选择新的参数。在另一个实施例中，该选择在解码器处隐含地进行(例如，通过使用边界平滑条件)。

在一个实施例中，解码器可以首先检查基于历史的方法，并且如果结果足够好，则跳过新模型的定义。在一个实施例中，可能需要额外的信令(例如所选模型的索引)。

基于直方图的CCLM

在该实施例中，假设真实帧中的亮度和色度之间的关系并不总是线性的，因此直方图可以比仅仅线性模型更准确地反映它。在一个实施例中，来自前一帧的信息(例如在同位区域/CTU处)可用于获得和/或细化亮度和色度的直方图。在一个实施例中，该信息(例如直方图)与例如亮度和色度的L形邻居和解码的亮度可用于根据当前区域(CU/CTU)中的亮度信息(例如直方图)预测色度样本。

在一个实施例中，为了提高预测的准确性，直方图变换之间的增量值被发送(例如，每个CTU)到解码器。在一个实施例中，当前帧中的直方图变换仅基于亮度和色度的相邻L形信息构建，并且附加增量被解码并添加到「预测的」直方图变换。这样，直方图变换将更准确，并产生更好的色度预测。在一个实施例中，传输Cb/Cr分量两者的一个增量。在一个实施例中，针对每个Cb和Cr分量的增量发送附加符号信息(类似于JCCR(色度残差的联合编码(Joint Coding iof Chrominance Residuals))。在另一个实施例中，为每个Cb和Cr分量传输单独的增量。

在一个实施例中，在一些情况下，CCLM模型可能不是线性模型。例如，分段线性模型(类似于LMCS)可用于从亮度样本中预测色度。然而，虽然LMCS是单调递增的，但CCLM的分段线性模型不一定必须具有相同的行为。在一个实施例中，可以使用直方图。例如，可以将Y分量的直方图划分为几个区域，为每个区域计算一个单独的CCLM模型，然后用于预测色度分量。在一个实施例中，定义范围的枢轴，然后使用单独的线性模型定义每个范围内的所有点。在一个实施例中，如果某些区域没有足够的样本，则可以将上面提出的基于历史的CCLM方法与基于直方图的方法相结合。在一个实施例中，使用多于一条的相邻线来构建直方图，这将导致更准确的直方图并因此产生更好的预测。

CCLM可以用作用于色度分量的帧内预测的帧内预测技术。因此，CCLM过程被认为是帧内预测的一部分。因此，上述提出的与CCLM相关的方法可以在编码器和/或解码器中实现。例如，所提出的方法可以在编码器的帧内编码模块(例如，图1A中的帧内预测110)中实现。对于另一个示例，所提出的方法可以在解码器的帧内编码模块(例如图1B中的帧内预测150)中实现。

图4示出了根据本发明实施例的利用交叉颜色线性模型的示例性视频编码系统的流程图。流程图中所示的步骤可以实现为在编码器侧的一个或多个处理器(例如，一个或多个CPU)上可执行的程序代码。流程图中所示的步骤也可以基于硬件来实现，例如一个或多个电子设备或处理器，这些电子设备或处理器被布置为执行流程图中的步骤。根据该方法，在步骤410中接收用于在编码器侧被编码或与在解码器侧被解码的当前第一颜色块相关联的当前第一颜色块的输入数据。在一些实施例中，输入数据包括要在编码器侧编码的当前第一颜色块的像素数据或与要在解码器侧解码的当前第一颜色块相关联的预测残差资料。在步骤420中确定第一颜色预测模型的模型参数，其中第一颜色预测模型根据与对应的第二颜色块相关联的至少两个对应的重构第二颜色像素值的组合来提供预测的第一颜色像素值；根据与当前第一颜色块相关联的同位第二颜色块的相邻重建第二颜色像素和当前第一颜色块的相邻重建第一颜色像素确定模型参数。在步骤430中确定当前第一颜色块的第一颜色预测子，其中通过将第一颜色预测模型应用于与所述每个第一颜色像素对应的重建的第二颜色像素，来为当前第一颜色块的每个第一颜色像素生成一个第一颜色预测值。然后在步骤440中使用第一颜色预测子在编码器侧对输入数据进行编码或在解码器侧对其进行解码。

图5示出了根据本发明实施例的利用交叉颜色线性模型的示例性视频编码系统的流程图。根据该方法，在步骤510中接收用于在编码器侧被编码或与在解码器侧被解码的当前第一颜色块相关联的当前第一颜色块的输入数据。在一些实施例中，输入数据报括要在编码器侧编码的当前第一颜色块的像素数据或与要在解码器侧解码的当前第一颜色块相关联的预测残差资料。在步骤520中确定第一颜色预测模型的模型参数，其中第一颜色预测模型基于关联的一个或多个对应的第二颜色块的重构第二颜色像素值的二阶模型或更高阶模型提供预测的第一颜色像素值，并且基于与当前第一颜色块相关联的同位第二颜色块的相邻重构第二颜色像素和当前第一颜色块的相邻重构第一颜色像素来确定模型参数。在步骤530中确定当前第一颜色块的第一颜色预测值，其中通过将第一颜色预测模型应用到与所述每个第一颜色像素相关联的重构第二颜色像素为当前第一颜色块的每个第一颜色像素生成一个第一颜色预测值。然后在步骤540中使用第一颜色预测子在编码器侧对输入数据进行编码或在解码器侧对其进行解码。

所示流程图旨在说明根据本发明的视频编码的示例。本领域技术人员在不脱离本发明的精神的情况下，可以修改每个步骤、重新排列步骤、拆分步骤或组合步骤来实施本发明。在本公开中，已经使用特定的句法和语义来说明示例以实现本发明的实施例。技术人员可以通过用等效的句法和语义代替句法和语义来实践本发明，而不背离本发明的精神。

呈现以上描述是为了使本领域普通技术人员能够实践在特定应用及其要求的上下文中提供的本发明。对所描述的实施例的各种修改对于本领域技术人员来说将是显而易见的，并且本文定义的一般原理可以应用于其他实施例。因此，本发明不旨在限于所示和描述的特定实施例，而是要符合与本文公开的原理和新颖特征相一致的最宽范围。在以上详细描述中，说明了各种具体细节以便提供对本发明的透彻理解。然而，本领域的技术人员将理解，可以实践本发明。

如上所述的本发明的实施例可以以各种硬件、软件代码或两者的组合来实现。例如，本发明的一个实施例可以是集成到视频压缩芯片中的一个或多个电路电路或集成到视频压缩软件中以执行本文描述的处理的程序代码。本发明的实施例还可以是要在数字信号处理器(DSP)上执行以执行这里描述的处理的程序代码。本发明还可以涉及由计算器处理器、数字信号处理器、微处理器或现场可编程门数组(FPGA)执行的许多功能。这些处理器可以被配置为通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码来执行根据本发明的特定任务。软件代码或固件代码可以以不同的编程语言和不同的格式或样式开发。软件代码也可以针对不同的目标平台进行编译。然而，软件代码的不同代码格式、风格和语言以及配置代码以执行根据本发明的任务的其他方式将不脱离本发明的精神和范围。

本发明可以在不背离其精神或基本特征的情况下以其他特定形式体现。所描述的示例在所有方面都仅被认为是说明性的而不是限制性的。因此，本发明的范围由所附权利要求而不是由前述描述指示。在权利要求的等效含义和范围内的所有变化都应包含在其范围内。

Claims (18)

1.一种交叉颜色预测方法，该方法包括：

在编码器侧接收当前待编码的第一颜色块的输入数据或在解码器侧接收与当前待解码的第一颜色块相关联的输入数据；

确定第一颜色预测模型的模型参数，其中第一颜色预测模型根据与对应第二颜色块相关联的至少两个对应的重构第二颜色像素值的组合，提供预测的第一颜色像素值；其中，模型参数是基于与当前第一颜色块相关联的同位第二颜色块的相邻重构第二颜色像素和当前第一颜色块的相邻重构第一颜色像素确定的；

确定当前第一颜色块的第一颜色预测子，其中通过将第一颜色预测模型应用于与所述每个第一颜色像素相关联的重构第二颜色像素，为当前第一颜色块的每个第一颜色像素生成第一颜色预测值；以及

使用编码器侧的第一颜色预测子对输入数据进行编码或使用解码器侧的第一颜色预测子对输入数据进行解码。

2.根据权利要求1所述的方法，其特征在于，所述至少两个对应的重构第二颜色像素值对应于M×N重构第二颜色样本，并且其中M和N是正整数并且M×N大于或等于2。

3.根据权利要求2所述的方法，其特征在于，M等于3并且N等于2。

4.根据权利要求2所述的方法，其特征在于，M等于2并且N等于2。

5.根据权利要求1所述的方法，其特征在于，所述预测的第一颜色像素值是根据所述至少两个对应的重构第二颜色像素值的线性组合来提供的。

6.根据权利要求1所述的方法，其特征在于，所述预测的第一颜色像素值是使用包括对所述至少两个对应的重构第二颜色像素值的非线性运算的运算来提供的。

7.根据权利要求6所述的方法，其特征在于，所述非线性运算包括裁剪、最小值、最大值或其组合。

8.根据权利要求1所述的方法，其特征在于，最终预测的第一颜色像素值是作为所述预测的第一颜色像素值和第二预测的第一颜色像素值的融合而生成的，并且其中所述第二预测的第一颜色像素值是使用当前第一颜色块的正常帧内模式生成的。

9.根据权利要求1所述的方法，其特征在于，当同位的第二颜色块与当前的第一颜色块具有不同的采样率时，多相位滤波器用于生成所述至少两个对应的重构第二颜色像素值。

10.根据权利要求9所述的方法，其特征在于，所述多相位滤波器对应于预定义的多个函数或公式。

11.根据权利要求10所述的方法，其特征在于，所述预定义的多个函数或公式的选择是在不同的编码级别确定的。

12.根据权利要求1所述的方法，其特征在于，所述当前第一颜色块对应于色度块并且对应的第二颜色块对应于亮度块。

13.根据权利要求1所述的方法，其特征在于，所述相邻的重构的第二颜色像素来自所述同位的第二颜色块的一条或多条顶部相邻线和/或一条或多条左侧相邻线，并且所述相邻的重构第一颜色像素是来自当前第一颜色块的一个或多个顶队列和/或一个或多个左测队列。

14.一种用于交叉颜色预测的装置，该装置包括一个或多个电子设备或处理器，用于：

在编码器侧接收当前待编码的第一颜色块的输入数据或在解码器侧接收与待解码的当前第一颜色块相关联的输入数据；

确定第一颜色预测模型的模型参数，其中第一颜色预测模型根据与对应第二颜色块相关联的至少两个对应的重构的第二颜色像素值的组合，提供预测的第一颜色像素值；其中，模型参数是基于与当前第一颜色块相关联的同位第二颜色块的相邻重构第二颜色像素和当前第一颜色块的相邻重构第一颜色像素确定的；

确定当前第一颜色块的第一颜色预测子，其中通过将第一颜色预测模型应用于与所述每个第一颜色像素对应的重构第二颜色像素，为当前第一颜色块的每个第一颜色像素生成第一颜色预测值；和

使用编码器侧的第一颜色预测子对输入数据进行编码或使用解码器侧的第一颜色预测子对输入数据进行解码。

15.一种交叉颜色预测方法，该方法包括：

在编码器侧接收当前待编码的第一颜色块的输入数据或在解码器侧接收与当前待解码的第一颜色块相关联的输入数据；

确定用于第一颜色预测模型的模型参数，其中第一颜色预测模型基于与对应的第二颜色块相关联的一个或多个对应的重构第二颜色像素值的二阶模型或更高阶模型，提供预测的第一颜色像素值；其中，模型参数是基于与当前第一颜色块相关联的同位第二颜色块的相邻重构第二颜色像素和当前第一颜色块的相邻重构第一颜色像素确定的；

确定当前第一颜色块的第一颜色预测子，其中通过将第一颜色预测模型应用与所述每个第一颜色像素对应的重构第二颜色像素，为当前第一颜色块的每个第一颜色像素生成第一颜色预测值；以及

使用编码器侧的第一颜色预测子对输入数据进行编码或使用解码器侧的第一颜色预测子对输入数据进行解码。

16.根据权利要求15所述的方法，其特征在于，所提供的所述预测的第一颜色像素值对应于一个对应的重构第二颜色像素值的第二度模型。

17.根据权利要求15所述的方法，其特征在于，所述当前第一颜色块对应于色度块，并且所述对应的第二颜色块对应于亮度块。

18.一种用于交叉颜色预测的装置，该装置包括一个或多个电子设备或处理器，用于：

在编码器侧接收当前待编码的第一颜色块的输入数据或在解码器侧接收与待解码的当前第一颜色块相关联的输入数据；

确定用于第一颜色预测模型的模型参数，其中第一颜色预测模型基于与对应的第二颜色块相关联的一个或多个对应的重建第二颜色像素值的二阶模型或更高阶模型提供预测的第一颜色像素值；其中，模型参数是基于与当前第一颜色块相关联的同位第二颜色块的相邻重构第二颜色像素和当前第一颜色块的相邻重构第一颜色像素确定的；

确定当前第一颜色块的第一颜色预测子，其中通过将第一颜色预测模型应用于与所述每一个第一颜色像素对应的重构第二颜色像素，为当前第一颜色块的每个第一颜色像素生成第一颜色预测值；以及

使用编码器侧的第一颜色预测子对输入数据进行编码或使用解码器侧的第一颜色预测子对输入数据进行解码。