CN113994666B

CN113994666B - 隐式选择变换候选

Info

Publication number: CN113994666B
Application number: CN202080041881.5A
Authority: CN
Inventors: 张凯; 张莉; 刘鸿彬; 邓智玭; 王洋; 王悦
Original assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Current assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Priority date: 2019-06-06
Filing date: 2020-06-08
Publication date: 2025-01-03
Anticipated expiration: 2040-06-08
Also published as: US12114013B2; WO2020244661A1; CN113994666A; US20220094987A1

Abstract

描述了用于数字视频编解码的设备、系统和方法，包括使用多重变换。在一个代表性方面，一种用于视频处理的方法包括基于一个或多个解码的系数并且在缺少一个或多个变换索引的情况下，做出关于对视频的当前块应用变换的决策，以及基于该决策执行当前块和视频的比特流表示之间的转换。

Description

隐式选择变换候选

相关申请的交叉引用

本申请及时要求2019年6月6日提交的国际专利申请号为PCT/CN2019/090261、2019年6月15日提交的国际专利申请号为PCT/CN2019/091435、2019年7月30日提交的国际专利申请号为PCT/CN2019/098468和2019年8月21日提交的国际专利申请号为PCT/CN2019/101793的优先权和利益而提出。上述申请的全部公开内容作为本申请公开内容的一部分通过引用合并于此。

技术领域

本专利文档涉及视频编解码和解码技术、设备和系统。

背景技术

尽管在视频压缩方面取得了进步，但数字视频仍然是互联网和其他数字通信网络上使用的最大带宽。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将继续增长。

发明内容

描述了与数字视频编解码相关的设备、系统和方法，并且特别是用于视频编解码的多重变换方法。所描述的方法可以应用于现有的视频编解码标准(例如，高效视频编解码(HEVC))和未来的视频编解码标准(例如，通用视频编解码(VVC))或编解码器。

在一个代表性方面，所公开的技术可以用于提供视频处理的示例方法。该方法包括基于一个或多个解码的系数并且在缺少一个或多个变换索引的情况下，做出关于对视频的当前块应用变换的决策，并且基于该决策执行当前块和视频的比特流表示之间的转换。

在另一代表性方面，所公开的技术可用于提供视频处理的示例方法。该方法包括基于代表性系数集并且在缺少一个或多个变换索引的情况下做出关于对当前块应用变换的决策，并且基于该决策执行当前块和比特流表示之间的转换，其中所述代表性系数集包括在有效系数集中，并且其中所述有效系数集中的每个系数都是非零的。

在又一代表性方面，所公开的技术可用于提供视频处理的示例方法。该方法包括从预定义变换集中选择变换集中的一个或多个变换，作为隐式选择变换(IST)模式的一部分，以及作为执行当前块和比特流表示之间的转换的一部分，将一个或多个变换中的至少一个应用于当前块。

在又一代表性方面，所公开的技术可用于提供视频处理的示例方法。该方法包括基于视频的当前块的编解码模式做出关于将隐式多重变换集(MTS)处理应用于编解码模式，而不管在视频的比特流表示中在序列级、图片级、子图片级、条带(silce)级、片组级、片(tile)级、图块(brick)级、编解码树单元(CTU)行、CTU级启用MTS处理的指示值的决策，以及基于该决策执行当前块和比特流表示之间的转换，其中隐式MTS处理包括使用当前块的特性来确定在转换期间使用的变换。

在又一代表性方面，所公开的技术可用于提供视频处理的示例方法。该方法包括基于对视频的视频区域的多重变换集(MTS)处理的启用，做出关于对视频区域的子块内分割(ISP)模式或子块变换(SBT)模式的启用的决策，并且基于该决策执行视频区域和视频的比特流表示之间的转换。

在又一代表性方面，所公开的技术可用于提供视频处理的示例方法。该方法包括基于对视频的视频区域的子块内分割(ISP)模式或子块变换(SBT)模式的启用，做出关于对视频区域的多重变换集(MTS)处理的启用的决策，并且基于该决策执行视频区域和视频的比特流表示之间的转换。

在又一代表性方面，所公开的技术可用于提供视频处理的示例方法。该方法包括执行视频的当前块和视频的比特流表示之间的转换，其中比特流表示包括控制对当前块的隐式多重变换集(MTS)处理的使用的第一语法元素和控制对当前块的显式MTS处理的使用的第二语法元素，并且其中第一语法元素不同于第二语法元素，其中隐式MTS处理包括使用当前块的特性来确定在转换期间使用的变换。

在又一代表性方面，所公开的技术可用于提供视频处理的示例方法。该方法包括：对于视频的视频区域，做出关于使用基于视频区域的编解码模式的一个或多个控制参数，将隐式多重变换集(MTS)处理和/或显式MTS处理应用于视频区域的决策；以及基于该决策，执行视频区域和视频的比特流表示之间的转换，其中隐式MTS处理包括使用当前块的特性来确定在转换期间使用的变换。

在又一代表性方面，上述方法以处理器可执行代码的形式体现并存储在计算机可读程序介质中。

在又一代表性方面，公开了一种被配置或可操作来执行上述方法的设备。该设备可以包括被编程为实现该方法的处理器。

在又一代表性方面，视频解码器装置可以实现本文描述的方法。

在附图、说明书和权利要求书中更详细地描述了所公开技术的上述和其他方面和特征。

附图说明

图1示出了编解码器框图的示例。

图2示出了67种帧内预测模式的示例。

图3A和3B示出了非正方形块的广角帧内预测模式的参考样点的示例。

图4示出了当使用广角帧内预测时的不连续性的示例。

图5A-5D示出了由位置相关帧内预测组合(PDPC)方法使用的样点的示例。

图6示出了4×8和8×4块的划分的示例。

图7示出了除4×8、8×4和4×4之外的所有块的划分的示例。

图8示出了将4×8样点的块分成两个独立可解码区域的示例。

图9示出了利用垂直预测值最大化4xN块的吞吐量的像素行的处理顺序的示例。

图10示出了JEM的二次变换的示例。

图11示出了所提出的简化二次变换(RST)的示例。

图12示出了正向和反向简化变换的示例。

图13示出了具有16×48矩阵的正向RST 8×8处理的示例。

图14示出了针对非零元素在8×8块中扫描位置17到64的示例。

图15示出了子块变换模式SBT-V和SBT-H的示例

图16A和16B示出了基于扫描区域的系数编解码的示例。

图17A-17H示出了视频处理的示例方法的流程图。

图18是用于实现本文档中描述的可视媒体解码或可视媒体编码技术的硬件平台的示例的框图。

图19是其中可以实现所公开的技术的示例视频处理系统的框图。

具体实施方式

1引言

由于对更高分辨率视频的需求日益增长，视频编解码方法和技术在现代技术中无处不在。视频编解码器通常包括压缩或解压缩数字视频的电子电路或软件，并且不断被改进以提供更高的编解码效率。视频编解码器将未压缩的视频转换为压缩格式，反之亦然。视频质量、用于表示视频的数据量(由比特率决策)、编码和解码算法的复杂度、对数据丢失和错误的敏感性、编辑的便利性、随机访问和端到端延迟(时延)之间存在复杂的关系。压缩格式通常符合标准视频压缩规范，例如高效视频编解码(HEVC)标准(也称为H.265或MPEG-HPart 2)、待最终确定的通用视频编解码(VVC)标准或其他当前和/或未来的视频编解码标准。

所公开的技术的实施例可以应用于现有的视频编解码标准(例如，HEVC，H.265)和未来的标准，以提高运行时性能。在本文档中使用章节标题来提高描述的可读性，并且不以任何方式将讨论或实施例(和/或实现)仅限制于相应的章节。

2多重变换方法的实施例和示例

2.1色彩空间和色度二次采样

颜色空间，也称为颜色模型(或颜色系统)，是一种抽象的数学模型，它简单地将颜色的范围描述为数字的元组，通常是3或4个值或颜色分量(例如RGB)。从根本上讲，色彩空间是坐标系和子空间的细化。

对于视频压缩，最常用的颜色空间是YCbCr和RGB。

YCbCr，Y’CbCr，或Y Pb/Cb Pr/Cr，也称为YCBCR或Y’CbCr，是一个色彩空间家族，在视频和数字摄影系统中用作彩色图像流水线的一部分。y’是亮度分量，CB和CR是蓝色差和红色差色度分量。Y’(带基色)与Y(亮度)不同，这意味着光强是基于伽马校正的RGB基色进行非线性编解码的。

色度二次采样是通过对色度信息实施比亮度信息更低的分辨率来编码图像的实践，利用了人类可视系统对色差的敏感度低于亮度的优势。

4：4：4格式。三个Y'CbCr分量中的每一个都具有相同的采样率，因此没有色度二次采样。这种方案有时用于高端电影扫描仪和电影后期制作。

4：2：2格式。两个色度分量以亮度采样率的一半进行采样：水平色度分辨率减半。这将未压缩视频信号的带宽减少了三分之一，几乎没有可视差异

4：2：0格式。在4：2：0中，水平采样比4：1：1加倍，但由于在该方案中Cb和Cr通道仅在每条交替线上采样，垂直分辨率减半。因此数据速率是相同的。Cb和Cr在水平和垂直方向均以2的系数进行二次采样。4：2：0方案有三种变型，具有不同的水平和垂直位置。

○在MPEG-2中，Cb和Cr在水平方向上位于同一位置。Cb和Cr位于垂直方向上的像素之间(位于空隙中)。

○在JPEG/jif、H.261和MPEG-1中，Cb和Cr位于空隙中，在交替亮度样点的中间。

○在4：2：0DV中，Cb和Cr在水平方向上位于同一位置。在垂直方向上，它们位于交替的线上。

2.2典型视频编解码器的编解码流程

图1示出了VVC编解码器框图的示例，其包含三个环内滤波块：去方块滤波器(DF)、样点自适应偏移(SAO)和ALF。与使用预定义滤波器的DF不同，SAO和ALF利用当前图片的原始样点，分别通过添加偏移和通过应用有限脉冲响应(FIR)滤波器来减少原始样点和重构样点之间的均方误差，其中编解码的边信息信令通知偏移和滤波器系数。ALF位于每张图片的最后一个处理阶段，可以被视为试图捕捉和修复前几个阶段创建的伪影的工具。

2.3具有67种帧内预测模式的帧内模式编解码

为了捕捉自然视频中呈现的任意边缘方向，方向帧内模式的数量从HEVC使用的33个扩展到65个。额外的方向模式在图2中被描绘为红点箭头，并且平面模式和DC模式保持相同。这些密集的方向帧内预测模式适用于所有块尺寸以及亮度和色度帧内预测。

如图1所示，传统的角度帧内预测方向被定义为在顺时针方向上的从45度到-135度。在VTM2中，对于非正方形块，几个传统的角度帧内预测模式被自适应地替换为广角帧内预测模式。被替换的模式使用原始方法被信令通知，并在解析后重新映射到广角模式的索引。帧内预测模式的总数不变(例如，67)，并且帧内模式编解码不变。

在HEVC，每个帧内编解码块都有一个正方形，其每边的长度都是2的幂。因此，使用DC模式生成帧内预测值不需要除法运算。在VTV2中，块可以具有矩形形状，在一般情况下，每个块必须使用除法运算。为了避免DC预测的除法运算，仅使用较长的边来计算非正方形块的平均值。

2.4非正方形块的广角帧内预测

在一些实施例中，传统的角度帧内预测方向被定义为在顺时针方向上从45度到-135度。在VTM2中，对于非正方形块，几种传统的角度帧内预测模式被自适应地替换为广角帧内预测模式。被替换的模式使用原始方法被信令通知，并在解析后重新映射到广角模式的索引。某个块的帧内预测模式的总数不变(例如，67)，并且帧内模式编解码不变。

为了支持这些预测方向，长度为2W+1的顶部参考和长度为2H+1的左侧参考被定义为如图3A和3B中的示例所示。

在一些实施例中，广角方向模式中被替换模式的模式数量取决于块的纵横比。表1示出了被替换的帧内预测模式。

表1：被广角模式替换的帧内预测模式

如图4所示，在广角帧内预测的情况下，两个垂直相邻的预测样点可以使用两个不相邻的参考样点。因此，低通参考样点滤波和侧平滑被应用于广角预测，以减少增加的间隙Δp_α的负面影响。

2.5位置相关帧内预测组合(PDPC)的示例

在VTM2中，通过位置相关的帧内预测组合(PDPC)方法进一步修改平面模式的帧内预测的结果。PDPC是一种帧内预测方法，其调用未滤波边界参考样点和具有滤波边界参考样点的HEVC类型帧内预测的组合。PDPC适用于以下无需信令的帧内模式：平面、DC、水平、垂直、左下角模式及其八个相邻角模式，以及右上角模式及其八个相邻角模式。

预测样点pred(x,y)是使用帧内预测模式(DC、平面、角度)和参考样点的线性组合根据如下等式来预测的：

pred(x,y)＝(wL×R_-1,y+wT×R_x,-1–wTL×R_-1,-1+(64–wL–wT+wTL)×pred(x,y)+32)>>shift

本文，R_x,-1，R_-1,y分别表示位于当前样点(x,y)顶部和左侧的参考样点，R_-1,-1表示位于当前块左上角的参考样点。

在一些实施例中，并且如果PDPC被应用于DC、平面、水平和垂直帧内模式，则不需要如在HEVC DC模式边界滤波器或水平/垂直模式边缘滤波器的情况下所需要的额外的边界滤波器。

图5A-5D示出了应用于各种预测模式的PDPC的参考样点(R_x,-1,R_-1,y和R_-1,-1)的定义。预测样点pred(x’,y’)位于预测块内的(x’,y’)处。参考样点R_x,-1的坐标x由下式给出：x＝x'+y'+1，参考样点R_-1,y的坐标y类似地由下式给出：y＝x'+y'+1。

在一些实施例中，PDPC权重取决于预测模式，并且在表2中示出，其中S＝shift。

表2：根据预测模式的PDPC权重的示例

预测模式	wT	wL	wTL
				右上角对角线	16>>((y'<<1)>>S)	16>>((x'<<1)>>S)	0
左下角对角线	16>>((y'<<1)>>S)	16>>((x'<<1)>>S)	0
				右上角相邻对角线	32>>((y'<<1)>>S)	0	0
左下角相邻对角线	0	32>>((x'<<1)>>S)	0

2.6子块帧内分割

在JVET-M0102中，提出了ISP，它根据块的尺寸大小，将亮度帧内预测块垂直或水平划分为2或4个子分区，如表3所示。图6和图7示出了两种可能性的示例。所有子分区都满足至少有16个样点的条件。

表3：取决于块尺寸的子分区数量

对于这些子分区中的每一个，通过对编码器发送的系数进行熵解码，然后对其进行反量化和反变换，来生成残差信号。然后，子分区被帧内预测，并且最终通过将残差信号添加到预测信号来获得对应的重构样点。因此，每个子分区的重构值将可用于生成下一个子分区的预测，下一个子分区将重复该过程等等。所有子分区共享相同的帧内模式。

基于所使用的帧内模式和划分，使用两种不同类别的处理顺序(称为正常和反向顺序)。按照正常顺序，要处理的第一个子分区是包含CU左上角样点的分区，并且然后继续向下(水平划分)或向右(垂直划分)。结果，用于生成子分区预测信号的参考样点仅位于线的左侧和上方。另一方面，反向处理顺序或者从包含CU的左下角样点的子分区开始并继续向上，或者从包含CU的右上角样点的子分区开始并继续向左。

2.7块差分脉冲编解码调制编解码(BDPC)

JVET-M0057中提出了BDPCM。由于水平(或者，垂直)预测值的形状(使用左(A)(或者，上方(B))像素用于当前像素的预测)，处理块的最有吞吐量效率的方式是处理一列(或者，一行)的所有像素，并顺序地处理这些列(或行)。为了增加吞吐量，我们引入以下处理：当在该块上选择的预测值是垂直的时，宽度为4的块被划分成具有水平边界的两半，并且当在该块上选择的预测值是水平的时，高度为4的块被划分成具有垂直边界的两半。

当划分一个块时，不允许来自一个区域的样点使用来自另一个区域的像素来计算预测：如果出现这种情况，预测像素将被预测方向上的参考像素替换。这在图8中示出，针对垂直预测的、4×8块中的当前像素X的不同位置。

由于这个特性，现在可以在2个周期内处理4×4块，以及在4个周期内处理4×8或8×4块，以此类推，如图9所示。

表4总结了处理数据块所需的周期数，这取决于数据块尺寸。示出两个维度都大于或等于8的任何块可以以每周期8个像素或更多像素处理是常见的。

表4：尺寸为4xN、Nx4的块的吞吐量

2.8量化残差域BDPCM

在JVET-N0413中，提出了量化残差域BDPCM(在下文中称为RBDPCM)。类似于帧内预测，通过在预测方向(水平或垂直预测)上的样点复制，对整个块进行帧内预测。残差被量化，并且量化残差与其预测值(水平或垂直)量化值之间的偏差被编解码。

对于尺寸为M(行)×N(列)的块，让r_i,j,0≤i≤M-1,0≤j≤N-1是在使用来自上方或左侧块边界样点的未滤波样点水平地(跨预测块逐行复制左侧临近像素值)或垂直地(将顶部相临近复制到预测块中的每一行)执行帧内预测之后的预测残差。让Q(r_i,h),0≤i≤M-1,0≤j≤N-1表示残差r_i,j的量化版本，其中残差是原始块和预测块值之间的差异。然后，块DPCM被应用到量化残差样点，得到修改的具有元素的M×N阵列当垂直BDPCM被信令通知：

对于水平预测，应用类似的规则，并且通过以下方式获得残差量化样点

残差量化样点被发送到解码器。

在解码器侧，上述计算被反向以产生Q(r_i,j),0≤i≤M-1,0≤j≤N-1。对于垂直预测情况，

对于水平情况，

反量化残差Q^-1(Q(r_i,j))被添加到帧内块预测值，以产生重构样点值。

这种方案的好处之一是，在简单地在解析系数时添加预测值的系数解析过程期间可以动态地进行DPCM反运算，或者在解析后执行DPCM反运算。

变换跳过总是用在量化残差域BDPCM中。

2.9VVC中的多重变换集(MTS)

在VTM4中，支持最大64×64的大的块尺寸转换，这主要适用于更高分辨率的视频，例如1080p和4K序列。对于尺寸(宽度或高度，或宽度和高度两者)等于64的变换块，高频变换系数被归零，从而仅保留低频系数。例如，对于M×N变换块，以M为块宽，N为块高，当M等于64时，只保留左侧32列变换系数。类似地，当N等于64时，仅保留上方32行变换系数。当对一个大的块使用变换跳过模式时，将使用整个块而不归零任何值。

除了已经在HEVC使用的DCT-II之外，多重变换选择(MTS)方案被用于帧间和帧内编解码块的残差编解码。它使用来自DCT8/DST7的多重所选择的变换。新引入的变换矩阵是DST-VII和DCT-VIII。下表4示出了所选DST/DCT的基函数。

表4：VVC中使用的变换矩阵的基函数

为了保持变换矩阵的正交性，变换矩阵比HEVC中的变换矩阵更精确地量化。为了将变换系数的中间值保持在16位范围内，在水平和垂直变换之后，所有系数都要有10位。

为了控制MTS方案，在SPS级分别为帧内和帧间指定了单独的启用标志。当在SPS启用MTS时，将信令通知CU级标志，以指示是否应用了MTS。这里，MTS仅适用于亮度。当满足以下条件时，信令通知MTS CU级标志。

○宽度和高度两者都小于或等于32

○CBF标志等于一

如果MTS CU标志等于零，则双向应用DCT2。然而，如果MTS CU标志等于1，则另外信令通知两个其它标志，以分别指示水平和垂直方向的变换类型。变换和信令映射表如表5所示。谈到变换矩阵精度，使用8位主变换核心。因此，HEVC使用的所有变换核心保持不变，包括4点DCT-2和DST-7、8点、16点和32点DCT-2。此外，包括64点DCT-2、4点DCT-8、8点、16点、32点DST-7和DCT-8在内的其他变换核心使用8位主变换核心。

为了降低大尺寸DST-7和DCT-8的复杂度，对于尺寸(宽度或高度，或宽度和高度两者)等于32的DST-7和DCT-8块，高频变换系数被归零。仅保留16×16低频区域内的系数。

如在HEVC中一样，可以用变换跳过模式对块的残差进行编解码。为了避免语法编解码的冗余，当CU级的MTS_CU_flag不等于0时，不信令通知变换跳过标志。变换跳过的块尺寸限制与JEM4中的MTS相同，这指示当块宽度和高度都等于或小于32时，变换跳过适用于CU。

隐式MTS是VVC最近的一种工具。变量implicitMtsEnabled的推导如下：–如果sps_mts_enabled_flag等于1，并且下列条件之一为真，则implicitMtsEnabled设置为1：

–IntraSubPartitionsSplitType不等于ISP_NO_SPLIT

–cu_sbt_flag等于1并且Max(nTbW，nTbH)小于或等于32

–sps_explicit_mts_intra_enabled_flag等于0，CuPredMode[0][xTbY][y TbY]等于MODE_INTRA，lfnst_idx[x0][y0]等于0，并且intra_mip

_flag[x0][y0]等于0

–否则，implicitMtsEnabled设置为0。

在VVC草稿v6中，如果当前编解码块是亮度分量，并且implicitMtsEnabled等于1，则隐式MTS变换选择由以下公式决策：

trTypeHor＝(nTbW>＝4&&nTbW<＝16)？DST7：DCT2

(8-965)

trTypeVer＝(nTbH>＝4&&nTbH<＝16)？DST7：DCT2

(8-966)

其中trTypeHor和trTypeVer指定水平和垂直变换核，nTbW和nTbH指定变换块的宽度和高度。这两个公式指示隐式MTS转换是从以下对中选择的：{DST7，DST7}、{DST7，DCT2}、{DCT2，DST7}、{DCT2，DCT2}

2.10 JVET-N 0193中提出的简化二次变换(RST)

2.10.1 JEM的不可分二次变换(NSST)

在JEM，在正向主变换和量化之间(在编码器侧)以及在反量化和反向主变换之间(在解码器侧)应用二次变换。如图10所示，根据块尺寸执行4×4(或8×8)二次变换。例如，对于每个8×8块，4×4二次变换被应用于小块(即，min(宽度，高度)<8)，并且8×8二次变换被应用于较大块(即，min(宽度，高度)>4)。

下面以输入为例描述不可分变换的应用。为了应用不可分变换，4x4输入块

首先表示为矢量

不可分变换被计算为其中指示变换系数矢量，并且T是16×16变换矩阵。16×1系数矢量随后使用该块的扫描顺序(水平、垂直或对角线)被重新组织为4×4块。具有较小索引的系数将与较小扫描索引一起放置在4x4系数块中。总共有35个变换集，并且每个变换集使用3个不可分变换矩阵(核)。从帧内预测模式到变换集的映射是预先定义的。对于每个变换集，所选择的不可分二次变换(NSST)候选进一步由显式信令通知的二次变换索引来指定。在变换系数之后，在比特流中每帧内CU信令通知一次该索引。

2.10.2 JVET-N0193中简化二次变换(RST)

在JVET-K0099中引入了RST变换(也称为低频不可分变换(LFNST))，在JVET-L0133中引入了4个变换集(而不是35个变换集)映射。在这个JVET-N0193中，采用了16×64(进一步简化到16×48)和16×16矩阵。为了便于标注，16×64(简化到16×48)变换表示为RST8×8，并且16×16变换表示为RST4×4。图11示出了RST的示例。

RST计算

简化变换(RT)的主要思想是将N维矢量映射到不同空间中的R维矢量，其中R/N(R<N)是简化因子。

RT矩阵是一个R×N矩阵，如下所示：

其中变换的R行是N维空间的R个基。RT的反变换矩阵是其正向变换的转置。正向和反向RT如图12所示。

在此提案中，应用了简化因子为4(1/4尺寸)的RST8×8。因此，使用16×64直接矩阵代替64×64，64×64是传统的8×8不可分变换矩阵尺寸。换句话说，在解码器侧使用64×16反RST矩阵来生成8×8左上角区域中的核心(主)变换系数。正向RST8×8使用16×64(或8×8块的8×64)矩阵，因此它只在给定8×8区域内的左上角4×4区域产生非零系数。换句话说，如果应用RST，那么除了左上4×4区域之外的8×8区域将只有零系数。对于RST4×4，应用16×16(或用于4×4块的8×16)直接矩阵乘法。

当满足以下两个条件时，有条件地应用反RST：

○块尺寸大于或等于给定阈值(W>＝4&&H>＝4)

○变换跳过模式标志等于零

如果变换系数块的宽度(W)和高度(H)两者都大于4，则RST8×8被应用于变换系数块的左上角8×8区域。否则，将RST4×4应用于变换系数块的左上角min(8，W)×min(8，H)区域。

如果RST索引等于0，则不应用RST。否则，应用RST，其内核与RST索引一起选择。RST索引的RST选择方法和编解码将在后面解释。

此外，RST被应用于帧内和帧间条带中的帧内CU，以及应用于亮度和色度两者。如果启用了双树，则亮度和色度的RST索引会单独地信令通知。对于帧间条带(双树被禁用)，单个RST索引被信令通知并用于亮度和色度两者。

在第13次JVET会议上，采用了帧内子分区(ISP)作为一种新的帧内预测模式。当选择ISP模式时，将禁用RST，并且不会信令通知RST索引，因为即使将RST应用于每个可行的分区块，性能提升也是微乎其微的。此外，对ISP预测的残差禁用RST可以降低编码复杂度。

RST选择

从四个变换集中选择RST矩阵，每个变换集由两个变换组成。应用哪个变换集根据帧内预测模式如下确定：

(1)如果指示了三种CCLM模式之一，则选择变换集0。

(2)否则，根据下表进行变换集选择：

变换集选择表

帧内模式	变换集索引
		帧内模式<0	1
0<＝帧内模式<＝1	0
		2<＝帧内模式<＝12	1
13<＝帧内模式<＝23	2
		24<＝帧内模式<＝44	3
45<＝帧内模式<＝55	2
		56<＝帧内模式	1

访问上表的索引(表示为帧内模式(IntraPredMode))的范围为[-14，83]，这是用于广角帧内预测的变换模式索引。

降维RST矩阵

作为进一步的简化，应用16×48矩阵代替具有相同变换集配置的16×64矩阵，每个16×48矩阵从左上角8×8块中的三个4×4块(不包括右下角4×4块)中获取48个输入数据(如图13所示)。

RST信令

R＝16的正向RST8×8使用16×64矩阵，因此它仅在给定8×8区域内的左上角4×4区域产生非零系数。换句话说，如果应用RST，那么除了左上角4×4区域之外的8×8区域仅生成零系数。结果，当在除了左上角4×4之外的8×8块区域内检测到任何非零元素时，RST索引不被编解码(其在图14中示出)，因为这意味着没有应用RST。在这种情况下，RST索引被推断为零。

归零范围

通常，在对4×4子块应用反RST之前，4×4子块中的任何系数都可以是非零的。然而，在某些情况下，限制4×4子块中的某些系数必须为零，才能对子块应用反RST。

让nonZeroSize为变量。要求在反RST之前在重新排列成一维数组时具有不小于nonZeroSize的索引的系数必须为零。

当nonZeroSize等于16时，左上角4×4子块中的系数没有归零约束。

在JVET-N0193中，当当前块尺寸为4×4或8×8时，nonZeroSize设置为等于8(即具有在[8，15]范围内的扫描索引的系数(如图14所示)应为0)。对于其他块大小，nonZeroSize设置为等于16。

工作草案中对RST的描述

序列参数集RBSP语法

残差编解码语法

编解码单元语法

序列参数集RBSP语义

……

sps_st_enabled_flag等于1指定st_idx可以存在于帧内编解码单元的残差编解码语法中。sps_st_enabled_flag等于0指定st_idx不存在于帧内编解码单元的残差编解码语法中。

……

编解码单元语义

……

st_idx[x0][y0]指定在所选变换集中的两个候选核之间应用哪个二次变换核。st_idx[x0][y0]等于0指定不应用二次变换。数组索引x0，y0指定所考虑的变换块的左上角样点相对于图片的左上角样点的位置(x0，y0)。

当st_idx[x0][y0]不存在时，st_idx[x0][y0]被推断为等于0。

缩放的变换系数的变换处理

概述

该处理的输入包括：

–指定当前亮度变换块的左上角样点相对于当前图像的左上角亮度样点的亮度位置(xTbY，yTbY)，

–指定当前变换块宽度的变量nTbW，

–指定当前变换块高度的变量nTbH，

–指定当前块的颜色分量的变量cIdx，

–具有缩放的变换系数的(nTbW)x(nTbH)数组d[x][y]，其中x＝0..nTbW-1，y＝0..nTbH-1。

该处理的输出是残差样点的(nTbW)x(nTbH)数组r[x][y]，其中x＝0..nTbW-1，y＝0..nTbH-1。

如果st_idx[xTbY][yTbY]不等于0，则适用以下：

1.变量nStSize、log2StSize、numStX、numStY和nonZeroSize推导如下：

–如果nTbW和nTbH两者都大于或等于8，则log2StSize设置为3，并且nStOutSize设置为48。

–否则，log2StSize设置为2，并且nStOutSize设置为16。

–nStSize设置为(1<<log2StSize)。

–如果nTbH等于4，并且nTbW大于8，则numStX设置为2。

–否则，numStX设置为1。

–如果nTbW等于4，并且nTbH大于8，则numStY设置为2。

–否则，numStY设置为等于1。

–如果nTbW和nTbH两者都等于4，或者nTbW和nTbH两者都等于8，则nonZeroSize设置为等于8。

–否则，nonZeroSize设置为16。

2.对于xSbIdx＝0..numStX–1并且ySbIdx＝0..numStY–1，适用以下：

–变量数组u[x](x＝0..nonZeroSize–1)的推导如下：

xC＝(xSbIdx<<log2StSize)+DiagScanOrder[log2StSize][log2StSize][x][0]

yC＝(ySbIdx<<log2StSize)+DiagScanOrder[log2StSize][log2StSize][x][1]

u[x]＝d[xC][yC]

–通过调用8.7.4.4条款中指定的一维变换处理，u[x](x＝0..nonZeroSiz e–1)被转换为变量数组v[x](x＝0..nStOutSize–1)，在该一维变换处理中，缩放的变换系数的变换输入长度nonZeroSize，变换输出长度n StOutSize，列表u[x](x＝0..nonZeroSize–1)，变换集选择的索引stPre dModeIntra和变换集中的变换选择的索引st_idx[xTbY][yTbY]作为输入，输出是列表v[x](x＝0..nStOutSize–1)。变量stPredModeIntra被设置为第8.4.4.2.1条款中指定的predModeIntra。

–数组d[(xSbIdx<<log2tsize)+x][(ySbIdx<<log2tsize)+y](x＝0..nStSize–1，y＝0..nStSize–1)推导如下：

–如果stPredModeIntra小于或等于34，或等于INTRA_LT_CCLM、

INTRA_T_CCLM或INTRA_L_CCLM，则适用以下：

d[(xSbIdx<<log2StSize)+x][(ySbIdx<<log2StSize)+y]

＝

(y<4)？v[x+(y<<log2StSize)]：((x<4)？v[32+x+((y–4)<<2)]：d[(xSbIdx<<log2StSize)+x][(ySbIdx<<log2StSize)+y])

–否则，以下内容适用：

d[(xSbIdx<<log2StSize)+x][(ySbIdx<<log2StSize)+y]

＝(y<4)？v[y+(x<<log2StSize)]：((x<4)？v[32+(y–4)+(x<<2)]：d[(xSbIdx<<log2StSize)+x][(ySbIdx<<log2StSize)+y])

二次变换处理

该处理的输入是：

–指定变换输出长度的变量nTrS，

–指定转换输入长度的变量nonZeroSize，

–变换输入的列表x[j](j＝0..nonZeroSize-1)，

–指定变换集选择的索引的变量stPredModeIntra，

–指定集合中变换选择的索引的变量stIdx，。

该处理的输出是变换样点的列表y[i](i＝0..nTrS-1)。

条款8.7.4.5中指定的变换矩阵推导处理涉及变换输出长度nTrS、变换集选择的索引stPredModeIntra和变换集中的变换选择索引stIdx作为输入，变换矩阵secTransMatrix作为输出。

变换样点列表y[i](i＝0..nTrS-1)的推导如下：

CoeffMin＝-(1<<15)and CoeffMax＝(1<<15)-1；

二次变换矩阵推导处理

该处理的输入包括：

–指定变换输出长度的变量nTrS，

–指定变换集选择的索引的变量stPredModeIntra，

–指定指定变换集中变换选择的索引的变量stIdx。

这个处理的输出是变换矩阵secTransMatrix。

变量stTrSetIdx的推导如下：

变换矩阵secTransMatrix基于nTrS、stTrSetIdx和stIdx导出，如下所示：

–如果nTrS等于16，stTrSetIdx等于0，并且stIdx等于1，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于16，stTrSetIdx等于0，并且stIdx等于2，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于16，stTrSetIdx等于1，并且stIdx等于1，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于16，stTrSetIdx等于1，并且stIdx等于2，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于16，stTrSetIdx等于2，并且stIdx等于1，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于16，stTrSetIdx等于2，并且stIdx等于2，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于16，stTrSetIdx等于3，并且stIdx等于1，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于16，stTrSetIdx等于3，并且stIdx等于2，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于48，stTrSetIdx等于0，并且stIdx等于1，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于48，stTrSetIdx等于0，并且stIdx等于2，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于48，stTrSetIdx等于1，并且stIdx等于1，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于48，stTrSetIdx等于1，并且stIdx等于2，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于48，stTrSetIdx等于2，并且stIdx等于1，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于48，stTrSetIdx等于2，并且stIdx等于2，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于48，stTrSetIdx等于3，并且stIdx等于1，则适用以下：

secTransMatrix[m][n]＝…

–如果nTrS等于48，stTrSetIdx等于3，并且stIdx等于2，则适用以下：

secTransMatrix[m][n]＝…

2.11HEVC中反量化限幅

在HEVC中，缩放的变换系数d’计算如下

d'＝Clip3(coeffMin,coeffMax,d)，

其中d是限幅前的缩放的变换系数。

对于亮度分量，

coeffMin＝CoeffMinY，coeffMax＝CoeffMaxY

对于色度分量，

coeffMin＝CoeffMinC，coeffMax＝CoeffMaxC。

在本文，

CoeffMinY＝-(1<<(extended_precision_processing_flag？Max(15,BitDepthY+6)：15))

CoeffMinC＝-(1<<(extended_precision_processing_flag？Max(15,BitDepthC+6)：15))

CoeffMaxY＝(1< <(extended_precision_processing_flag？Max(15，

BitDepthY+6)：15)-1

CoeffMaxC＝(1< <(extended_precision_processing_flag？Max(15，

BitDepthC+6)：15))–1

extended_precision_processing_flag是在SPS中信令通知的语法元素。

2.12仿射线性加权帧内预测(ALWIP，或基于矩阵的帧内预测)

JVET-N0217中提出了仿射线性加权帧内预测(ALWIP，或基于矩阵的帧内预测(MIP))。

在JVET-N0217中，进行了两项测试。在测试1中，ALWIP被设计为存储器限制为8K字节，并且每个样点最多进行4次乘法。测试2类似于测试1，但在存储器要求和模型架构方面进一步简化了设计。

○所有块形状的矩阵和偏移矢量的单一集合。

○将用于所有块形状的模式数量减少到19。

○将存储器要求减少到5760个10位值，即7.20千字节。

○预测样点的线性插值在每个方向上在单个步骤中进行，代替第一测试中的迭代插值。

2.13子块变换

对于cu_cbf等于1的帧间预测CU，可以信令通知cu_sbt_flag来指示是解码整个残差块还是残差块的子部分。在前一种情况下，进一步解析MTS信息以确定CU的变换类型。在后一种情况下，残差块的一部分用推断的自适应变换编解码，并且残差块的另一部分归零。SBT不适用于组合帧间帧内模式。

在子块变换中，位置相关变换被应用于SBT-V和SBT-H(总是使用DCT-2的色度TB)中的亮度变换块。SBT-H和SBT-V的两个位置与不同的核心变换相关联。更具体地，图15中指定了每个SBT位置的水平和垂直变换。例如，SBT-V位置0的水平和垂直变换分别是DCT-8和DST-7。当残差TU的一侧大于32时，相应的变换被设置为DCT-2。因此，子块变换联合指定残差块的水平和垂直变换、TU平铺、以及cbf，这可以被认为是块的主要残差在块的一侧的情况下的语法快捷方式。

2.14AVS-M4763：基于扫描区域的系数编解码(SRCC)

SRCC已被纳入AVS-3。利用SRCC，如图16A和16B所示的右下角位置(SRx，SRy)被信令通知，并且只有具有四个角(0，0)，(SRx，0)，(0，SRy)，(SRx，SRy)的矩形内的系数被扫描和信令通知。矩形之外的所有系数都为零。3现有实现方式中的缺陷的示例

MTS目前的设计存在以下问题：

信令通知的索引可能会导致开销位。

在MTS和SBT，某些变换组合可能效率不高。

隐式MTS的决策可能效率不高。在当前的VVC，implicitMtsEnabled取决于等于1的sps_mts_enabled_flag。但是，当sps_mts_enabled_flag等于0时，可能也需要应用implicitMtsEnabled。

在当前的VVC中，无论当前块是否用QR-BDPCM模式编解码，变换跳过(TS)标志都被编解码。但是，当启用QR-BDPCM时，不需要应用变换。因此，当用QR-BDPCM编解码一个块时，TS标志的信令通知是冗余的。

在当前的VVC中，变换跳过标志是用一个上下文进行上下文编解码的，该上下文也可以用于对指示变换矩阵是否是DCT2的二进制位(bin)进行编解码。共享上下文可能效率较低。

有5个上下文编解码的二进制位使用对变换矩阵索引进行编解码所要求的9个上下文，这影响解析吞吐量。

QR-BDPCM/TS也可能适用于色度块。如何更好地确定QR-BDPCM/TS的使用，还需要进一步研究。

4多重变换的示例性方法

当前公开的技术的实施例克服了现有实现方式的缺点，从而提供了具有更高编解码效率但更低计算复杂度的视频编解码。如本文档中所描述的，用于多重变换的方法可以增强现有的和未来的视频编解码标准，在以下针对各种实现方式描述的示例中进行了阐述。下面提供的公开技术的示例解释了一般概念，并且不意味着解释为限制。在示例中，除非明确指出相反的情况，否则这些示例中描述的各种特征可以被组合。

在以下示例中，假设：

○Max(x，y)返回x和y中较大的一个，以及

○Min(x，y)返回x和y中较小的一个。

隐式MTS

建议在不接收变换索引的情况下，根据解码的系数来决定应用于一个块的变换(水平和/或垂直变换)。

1.解码的系数可以与同当前块相同颜色分量或不同颜色分量的一个或多个代表性块相关联。

a.在一个示例中，对第一块的变换的确定可以取决于第一块的解码的系数。

b.在一个示例中，对第一块的变换的确定可以取决于可以不同于第一块的第二块的解码的系数。

i.在一个示例中，第二块可以与第一块的颜色分量具有相同的颜色分量，诸如亮度分量。

1)在一个示例中，第二块可以与第一块临近。

2)在一个示例中，第二块可以具有与第一块相同的帧内预测模式。

3)在一个示例中，第二块可以具有与第一块相同的块大小。

4)在一个示例中，第二块可以是在解码顺序中在第一块之前的、满足特定条件(诸如相同的帧内预测模式或相同的大小)的最后一个解码块。

ii.在一个示例中，第二块可以具有与第一块不同的颜色分量。

1)在一个示例中，第一块可以是亮度分量，并且第二块可以是色度分量(例如，Cb/Cr、B/R分量)。

a)在一个示例中，三个块在同一编解码单元中。

b)此外，可替代地，隐式MTS仅应用于亮度块，

而不应用于色度块。

2)在一个示例中，在第一颜色分量中的第一块和在第二颜色分量中的第二块可以彼此位于图片的对应位置。

c.在一个示例中，对第一块的变换的确定可以取决于包括与第一块不相同的至少一个块的多个块的解码的系数。

i.在一个示例中，多个块可以包括第一块。

ii.在一个示例中，多个块可以包括与第一块临近的一个块或多个块。

iii.在一个示例中，多个块可以包括具有与第一块相同的块大小的一个块或多个块。

iv.在一个示例中，多个块可以包括在解码顺序中在第一块之前的、满足特定条件(诸如相同的帧内预测模式或相同的大小)的最后N个解码块。N是大于1的整数。

v.在一个示例中，多个块可以包括与第一块不在同一颜色分量中的一个块或多个块。

1)在一个示例中，第一块可以在亮度分量中。多个块可以包括色度分量中的块(例如，Cb/B分量中的第二块，以及Cr/R分量中的第三块)。

a)在一个示例中，三个块在同一编解码单元中。

b)此外，可替代地，隐式MTS仅应用于亮度块，而不应用于色度块。

2)在一个示例中，在第一颜色分量中的第一块和包括在该多个块中的、不在第一分量颜色分量中的数个块可以位于具有第一块的图片的对应位置。

2.用于变换确定的解码的系数是那些不等于零的系数(表示为有效系数

(significant coefficient))。用于变换确定的那些系数被称为代表性系数。

a.在一个示例中，代表性系数是代表性块中的所有有效系数。

b.可替代地，代表性系数是代表性块中有效系数的一部分。

i.在一个示例中，代表性系数是那些大于或不小于阈值的解码的有效系数

ii.在一个示例中，代表性系数是那些小于或不大于阈值的解码的有效系数

iii.在一个示例中，代表性系数是解码顺序中的前K(K>＝1)个解码的有效系数。

iv.在一个示例中，代表性系数是解码顺序中最后的K(K>＝1)个解码的有效系数。

v.在一个示例中，代表性系数可以是块中预定位置的那些系数。

1)在一个示例中，代表性系数可以仅包括相对于代表性块位于(xPos，yPos)坐标的一个系数。例如xPos＝yPos＝0。

2)例如，位置可以取决于块的大小。

vi.在一个示例中，代表性系数可以是在系数扫描顺序中的预定位置的那些系数。

c.可替代地，代表性系数也可以包括那些零系数。

d.可替代地，代表性系数可以是从解码的系数中导出的那些系数，诸如通过限幅到一个范围，通过量化。

3.变换确定可以取决于代表性系数的函数，诸如使用代表性系数作为输入的具有值V作为输出的函数。

a.在一个示例中，V被导出为代表性系数的数量。

i.可替代地，V被导出为代表性系数的和。

1)可替代地，此外，该和可以被限幅以导出V。

ii.可替代地，V被导出为代表性系数的绝对值的和。

1)可替代地，此外，该和可以被限幅以导出V。

b.在一个示例中，可以取决于V的奇偶校验在解码器处隐式地确定选择

i.例如，如果V为偶数，则选择第一种变换作为水平变换，并且选择第二种变换作为垂直变换；如果V是奇数，则选择第三种变换作为水平变换，并且选择第四种变换作为垂直变换。

1)在一个示例中，第一种变换与第二种变换相同。

a)可替代地，第一种变换不同于第二种变换。

2)在一个示例中，第三种变换与第四种变换相同。

a)可替代地，第三种变换不同于第四种变换。

3)第一/第二/第三/第四种变换是特定的变换，诸如

DCT-X或DST-Y。X可以是整数，诸如2或8。Y

可以是整数，诸如7或8。

4)可替代地，此外，第三和第四种变换中的至少一种不同于第一和第二种变换。

a)在一个示例中，当V是偶数时，第一和第二种变换是DCT-2，并且当V是奇数时，第三和第四种变换是DST-7。

b)可替代地，当V是奇数时，第一和第二种变换是DCT-2，并且当V是偶数时，第三和第四种变换是DST-7。

c.在一个示例中，如果V小于阈值T1，则选择第五种变换作为水平变换，并且选择第六种变换作为垂直变换。例如T1＝1或2。

i.可替代地，如果V大于阈值T2，则选择第五种变换作为水平变换，并且选择第六种变换作为垂直变换。

ii.例如，阈值可以取决于块的大小。

iii.例如，阈值可能取决于QP。

iv.在一个示例中，第五种变换与第六种变换相同。

1)可替代地，第五种变换不同于第六种变换。

v.在一个示例中，第五/第六种变换是特定的变换，诸如

DCT-X或DST-Y。X可以是整数，诸如2或8。Y可以是整数，诸如7或8。

d.在一个示例中，变换的选择可以取决于V和其他编解码信息的组合。

i.例如，当当前图片/条带被帧内编解码时，如果V是偶数，则选择第一种变换作为水平变换，并且选择第二种变换作为垂直变换；如果V为奇数，则选择第三种变换作为水平变换，并且选择第四种变换作为垂直变换；但是当当前图片/条带不是帧内编解码时，如果V是偶数，则选择第三种变换作为水平变换，并且选择第四种变换作为垂直变换；

并且如果V是奇数，则选择第一种变换作为水平变换，并且选择第二种变换作为垂直变换。这四种变换可以是如在第3.b点中那样定义。

4.变换确定还可以取决于当前块的编解码信息。

a.在一个示例中，如果当前帧内编解码块在I条带/图片中，当V是偶数时，可以将DST-7应用于当前块，并且当V是奇数时，可以将DCT-2应用于当前块。

b.在一个示例中，如果当前帧内编解码块在P/B条带/图片中，并且V是偶数，则可以将DCT-2应用于当前块，并且当V是奇数时，可以将DST-7应用于当前块。

c.在一个示例中，该确定可以进一步取决于模式信息(例如，帧内或帧间模式信息)。

d.在一个示例中，变换确定可以取决于扫描区域，该扫描区域是覆盖所有系数的最小矩形(例如，如图16A-16B所示)。

i.在一个示例中，如果与当前块相关联的扫描区域的尺寸(宽度乘以高度)大于给定阈值，则可以使用默认变换(包括水平和垂直变换)。否则，可以使用如第3点中定义的规则(例如，当V为偶数时为DST-7，并且当V为奇数时为DCT-2)。

ii.在一个示例中，如果与当前块相关联的扫描区域的宽度大于(或低于)给定的最大宽度(例如，16)，则可以使用默认的水平变换。否则，可以使用如第3点中定义的规则。

iii.在一个示例中，如果与当前块相关联的扫描区域的高度大于(或低于)给定的最大高度(例如，16)，则可以使用默认的垂直变换。否则，可以使用如第3点中定义的规则。

iv.在一个示例中，给定的尺寸是LxK，其中L和K是整数，诸如16。

v.在一个示例中，默认变换矩阵可以是DCT-2或DST-7。5.隐式MTS可以从其中选择变换的变换集可以是预定义的。

a.在一个示例中，水平和垂直变换集可以不相同。

i.可替代地，水平和垂直变换集可以相同。

b.在一个示例中，变换集可以包括DCT-2和DST-7。

c.在一个示例中，变换集可以包括DCT-2、DST-7和恒等变换(identitytransform)。

d.在一个示例中，变换集可以取决于编解码信息、颜色分量、分割结构(例如，双树/单树；四叉树/二叉树/三叉树/扩展四叉树)、条带/图片类型等。

i.在一个示例中，变换集可以取决于块大小。

ii.在一个示例中，对于帧内编解码的块，可以包括DCT-2和DST-7。

iii.在一个示例中，对于用同一图片中的参考样点编解码的块

(例如，帧内块复制)，可以包括DST-7和恒等变换(即，不应用变换)。

6.在一个示例中，第1-5点中公开的一种或多种方法只能应用于特定的块。

a.例如，第1-5点中公开的一种或多种方法只能应用于帧内编解码块。

b.例如，第1-5点中公开的一种或多种方法只能应用于对系数有特定约束的块。

i.有四个角(0，0)，(CRx，0)，(0，CRy)，(CRx，CRy)的矩形被定义为约束矩形。在一个示例中，只有当约束矩形之外的所有系数都为零时，才能应用第1-5点中公开的一种或多种方法。例如CRx＝CRy＝16。

1)例如，CRx＝SRx和CRy＝SRy，其中(SRx，SRy)在SRCC定义，如第2.14节所述。

2)可替代地，此外，上述方法仅在块宽度或块高度大于K时应用。

a)在一个示例中，K等于16。

b)在一个示例中，上述方法仅在块宽度大于K1并且K1等于CRx时或者块高度大于K2且

K2等于CRy时应用。

7.当第1-5点中公开的所提出的变换选择方法未被应用时，使用默认变换，例如DCT2。

简化的MTS/SBT

8.在一个示例中，MTS中的垂直变换和水平变换必须相同。

a.在一个示例中，块只能选择以下两种变换之一：

i.水平变换中的DCT-2和垂直变换中的DCT-2；

ii.水平变换中的DST-7和垂直变换中的DST-7；

b.在一个示例中，用于MTS的信令可以包括块的至多一个标志。

i.在一个示例中，如果标志等于0，则选择水平变换中的DCT-2和垂直变换中的DCT-2；如果标志等于1，则选择水平变换中的DST-7和垂直变换中的DST-7。

ii.在一个示例中，如果标志等于1，则选择水平变换中的DCT-2和垂直变换中的DCT-2；如果标志等于0，则选择水平变换中的DST-7和垂直变换中的DST-7。

9.假设块的宽度和高度分别为W和H。只有在下列情况下，才可以应用第7点：

a.W>＝T1，且H>＝T2，例如T1＝T2＝8；

b.W<＝T1，且H<＝T2，例如T1＝T2＝16；

c.Min(W，H)>＝T1，例如T1＝8；

d.Max(W，H)<＝T1，例如T1＝32

e.W*H>＝T1，例如T1＝64

f.W*H<＝T1，例如T1＝256。

10.在一个示例中，不包括DST-8的变换可以应用于用SBT编解码的块。

a.在一个示例中，只有DCT-2和DST-7可以应用在用SBT编解码的块。

b.在一个示例中，在如图15所示的SBT(SBT-V，位置0)的情况下，水平地应用DCT-2，并且垂直地应用DST-7。

c.在一个示例中，在如图15所示的SBT(SBT-H，位置0)的情况下，水平地应用DST-7，并且垂直地应用DCT-2。

11.假设变换块的宽度和高度分别为W和H。在一个示例中，对用SBT编解码的块的变换的选择可以取决于变换块大小，其中当应用SBT时，变换块可以小于编解码块。

a.在一个示例中，在如图15所示的SBT(SBT-V，位置0)的情况下，如果W>＝T1，则水平地应用DCT-2，并且垂直地应用DST-7；否则，水平地应用DCT-8，并且垂直地应用DST-7。例如，T1＝8。

b.在一个示例中，在如图15所示的SBT(SBT-H，位置0)的情况下，如果H>＝T1，则水平地应用DST-7，并且垂直地应用DCT-2；否则，水平地应用DST-7，并且垂直地应用DCT-8。例如，T1＝8。

12.是否应用变换系数归零可以取决于从编解码器向解码器信令通知的一个或多个消息，诸如在VPS/SPS/PPS/APS/DPS/条带头/图片头/序列头/片组头/片/CTU行/CTU/CU/PU/TU等中。

a.在一个示例中，消息可以包括控制MTS的使用的标志(例如，SPS中的sps_mts_enabled_flag)。

b.在一个示例中，消息可以包括控制SBT的使用的标志(例如，CU中的cu_sbt_flag)。

c.在一个示例中，是否应用变换系数归零可以取决于信令通知的消息以及变换块大小。

d.在一个示例中，一旦比特流中不允许MTS(例如，sps_mts_enabled_flag等于“假”)，则变换系数归零可能不应用于具有指定大小的变换块。

i.例如，如果sps_mts_enabled_flag等于“假”，则对于具有大小M×32(M<＝32)或32xN(N<＝32)的变换块，可以不应用变换系数归零，因此整个M×N(M<＝32，N<＝

32)块被编解码而不归零任何变换系数。

e.在一个示例中，一旦在比特流中允许MTS(例如，sps_mts_enabled_flag等于“真”)，对于具有大小M×32(M<＝32)

或32×N(N<＝32)的变换块，可以应用变换系数归零。

i.在一个示例中，对于M×N变换块，如果sps_mts_enabled_flag等于“真”，并且cu_sbt_flag等于

“真”，则当M等于32时，仅保留左16列变换系数。

类似地，当N等于32时，仅保留上16行变换系数。所有其他系数都归零。

13.是否应用变换系数归零可以取决于变换类型和/或变换尺寸。

a.在一个示例中，当变换类型是DCT-2时，对于M×64(M<＝64)或64×N(N<＝64)变换块，可以应用变换系数归零。

i.在一个示例中，对于用DCT-2编解码的M×N变换块，当M等于64时，仅保留左32列变换系数。类似地，当N等于62时，仅保留上32行变换系数。

b.在一个示例中，当变换类型是DCT-8或DST-7时，对于M×32

(M<＝32)或32×N(N<＝32)变换块，可以应用变换系数归零。

i.在一个示例中，对于用DCT8或DST7编解码的M×N变换块，当M等于32时，仅保留左16列变换系数。类似地，当N等于32时，仅保留上16行变换系数。

c.在一个示例中，当对块使用变换跳过模式时，整个块被编解码而不归零任何变换系数。

14.是否应用变换系数归零可以取决于隐式变换。

a.在一个示例中，对于用隐式变换编解码的M×32(M<＝32)或32

×N(N<＝32)变换块，可以应用变换系数归零。

i.在一个示例中，对于用隐式变换编解码的M×N变换块，当M等于32时，仅保留左16列变换系数。类似地，当N等于32时，仅保留上16行变换系数。

隐式MTS的决策

15.无论在序列/图片/子图片/条带/片组/片/图块/CTU行/CTU级是否启用MTS(例如，sps_mts_enabled_flag等于1或0)，隐式MTS都可以应用于某些模式。

a.在一个示例中，当在序列/图片/子图片/条带/片组/片/图块/CTU行/CTU级禁用MTS时(例如，sps_mts_enabled_flag等于0)，隐式MTS可以应用于ISP模式。

b.在一个示例中，当在序列/图片/子图片/条带/片组/片/图块/CTU行/CTU级禁用MTS时(例如，sps_mts_enabled_flag等于0)，隐式MTS可以应用于SBT模式。

c.在一个示例中，当不应用MIP和/或LFNST和/或显式MTS并且在序列/图片/子图片/条带/片组/片/图块/CTU行/CTU级禁用MTS(例如，sps_mts_enabled_flag等于0)时，隐式MTS可以应用于帧内预测模式。

d.可替代地，当在序列/图片/子图片/条带/片组/片/图块/CTU行

/CTU级禁用MTS时(例如，sps_mts_enabled_flag等于0)，隐式MTS可以不应用于具有某些模式的块。

i.在一个示例中，当在序列/图片/子图片/条带/片组/片/图块/CTU行/CTU级禁用MTS时(例如，sps_mts_enabled_flag等于0)，隐式MTS可以不应用于具有帧内预测模式的块。

ii.在一个示例中，当在序列/图片/子图片/条带/片组/片/图块/CTU行/CTU级禁用MTS时(例如，sps_mts_enabled_flag等于0)，隐式MTS可以不应用于具有不包括ISP模式的帧内预测模式的块。

e.在一个示例中，对于ISP编解码的块，可以强制使用隐式MTS。i.例如，隐式变换可以被强制用于ISP编解码的块(例如，对于ISP编解码的块，变量implicitMtsEnabled可以被推断为1)。

ii.例如，可以应用比特流约束，即隐式MTS必须用于ISP编解码的块。

iii.可替代地，如果SPS级MTS标志等于0(诸如sps_mts_enabled_flag等于0)，则可以对ISP编解码的块使用DCT-2变换。

f.在一个示例中，对于SBT编解码的块，可以强制使用隐式MTS。i.例如，当SBT编解码块的块宽度和块高度两者都小于或等于32，并且当前编解码块是亮度分量时，则隐式MTS可以被强制应用于这样的SBT编解码块(例如，对于这样的SBT编解码块，变量implicitMtsEnabled可以被强制为1)。

1)在另一个示例中，可以应用比特流约束，即对于这种ISP编解码的块，必须使用隐式MTS。

ii.可替代地，如果SPS级MTS标志等于0(诸如sps_mts_enabled_flag等于0)，则DCT-2变换可以用于SBT编解码块。

g.在一个示例中，SPS级MTS标志和隐式MTS之间的相关性可以仅用于帧内但非ISP编解码的块。

i.例如，对于帧内编解码但非ISP编解码的块，是否使用隐式MTS可以由(多个)SPS级MTS控制标志(诸如当sps_mts_enabled_flag等于1且sps_explicit_mts_intra_enabled_flag等于0时)来确定。

1)可替代地，隐式MTS是否用于ISP/SBT编解码块与SPS级的MTS标志无关。

16.序列/视频/图片/条带/片组/片/图块/子图片/CTU行/CTU/CU/块是否允许SBT/ISP可以取决于序列/视频/图片/条带/片组/片/图块/子图片/CTU行/CTU/CU/块是否启用MTS(例如，sps_mts_enabled_flag等于1或0)。

a.在一个示例中，当禁用MTS时(例如，sps_mts_enabled_flag等于0)，可以不允许SBT/ISP。

b.在一个示例中，ISP标志和/或SBT标志的显式信令可以在启用MTS的条件下(例如，sps_mts_enabled_flag等于1)。

i.例如，一旦sps_mts_enabled_flag等于1，就可以信令通知ISP标志(例如，intra_subpartitions_mode_flag、intra_subpartitions_split_flag)。

ii.例如，一旦sps_mts_enabled_flag等于1，就可以信令通知SBT标志(例如，cu_sbt_flag、cu_sbt_quad_flag、cu_sbt_horizontal_flag、cu_sbt_pos_flag)。

c.在一个示例中，当隐式MTS被禁用时，可以不允许SBT/ISP。

d.在一个示例中，当一致性比特流中MTS被禁用时(例如，sps_mts_enabled_flag等于0)，序列/视频/图片/条带/片组/片/图块/子图片/CTU行/CTU/CU/块的SBT和/或ISP的控制信息(例如，sps_isp_enabled_flag和/或sps_sbt_enabled_flag)必须为0。

i.可替代地，当MTS被禁用时(例如，当sps_mts_enabled_flag等于0)，序列/视频/图片/条带/片组/片/图块/子图片/CTU行/CTU/CU/块的SBT和/或ISP的控制信息(例如，sps_isp_enabled_flag和/或sps_sbt_enabled_flag)不被信令通知并且被推断为0。

ii.可替代地，序列/视频/图片/条带/片组/片/图块/子图片/CTU行/CTU/CU/块的SBT和/或ISP的控制信息(例如，sps_isp_enabled_flag和/或sps_sbt_enabled_flag)被信令通知，但被解码器省略。当禁用MTS时(例如，

sps_mts_enabled_flag等于0)，SBT和/或ISP被推断为禁用。

17.对于序列/视频/图片/条带/片组/片/图块/子图片/CTU行/CTU/CU/块是否启用MTS(例如，sps_mts_enabled_flag等于1或0)可以取决于序列/视频/图片/条带/片组/片/图块/子图片/CTU行/CTU/CU/块是否允许SBT/ISP。

a.在一个示例中，当在一致性比特流中没有对序列/视频/图片/条带/片组/片/图块/子图片/CTU行/CTU/CU/块启用SBT和/或ISP时，可以启用MTS(例如，sps_mts_enabled_flag必须等于1)。

i.可替代地，当没有对序列/视频/图片/条带/片组/片/图块/子图片/CTU行/CTU/CU/块启用SBT和/或ISP时，sps_mts_enabled_flag不被信令通知并被推断为1。

ii.可替代地，当没有对序列/视频/图片/条带/片组/片/图块/子图片/CTU行/CTU/CU/块启用SBT和/或ISP时，sps_mts_enabled_flag被信令通知但被解码器省略，并且MTS被推断为已启用。

18.隐式MTS和显式MTS可以用分离的语法元素来控制。例如，sps_implicit_mts_intra_enabled_flag和sps_explicit_mts_intra_enabled_flag分别控制是否在序列级启用隐式MTS和显式MTS。

a.在一个示例中，第11-13点中控制MTS的语法元素(例如，sps_mts_enabled_flag)可以被控制隐式MTS的语法元素(例如，sps_implict_mts_intra_enabled_flag)替换。

b.在一个示例中，只有当sps_mts_enabled_flag等于1时，才会信令通知sps_implict_mts_intra_enabled_flag。如果sps_implict_mts_intra_enabled_flag不存在，则可以推断为0。

19.在一个示例中，对于序列/视频/图片/条带/片组/片/图块/子图片/CTU行/CTU/CU/块的不同编解码模式，可以单独控制是否和/或如何应用隐式和/或显式MTS。

a.在一个示例中，当对帧内编解码的CU禁用隐式和/或显式MTS时，sps_mts_enabled_flag为0。

b.在一个示例中，sps_mts_enabled_flag不控制是否对帧间编解码/

非帧内编解码的CU启用隐式和/或显式MTS。

一般声称

20.变换矩阵的决策可以在CU/CB级或TU级进行。

a.在一个示例中，在CU级做出决策，其中所有TU共享相同的变换矩阵。

i.可替代地，此外，当一个CU被划分成多个TU时，一个TU(例如，第一个或最后一个TU)或部分或全部TU中的系数可以被用来确定变换矩阵。

b.是使用CU级解决方案还是TU级解决方案可以取决于块尺寸和

/或VPDU尺寸和/或最大CTU尺寸和/或一个块的编解码信息。

i.在一个示例中，当块尺寸大于VPDU尺寸时，可以应用CU级确定方法。

21.在本文档中公开的方法中，系数或代表性系数可以被量化或反量化。

22.变换跳过也可以由系数或代表性系数用本文档中公开的任何方法隐式地确定。

23.在本文档中公开的方法中，系数或代表性系数可以在用于导出变换之前被修改。

a.例如，系数或代表性系数可以在被用于导出变换之前被限幅。

b.例如，系数或代表性系数可以在被用于导出变换之前被缩放。

c.例如，系数或代表性系数可以在被用于导出变换之前被添加偏移。

d.例如，系数或代表性系数可以在被用于导出变换之前被滤波。

e.例如，系数或代表性系数可以在被用于导出变换之前被映射到其他值(例如，通过查找表)。

24.本文档中公开的方法也可用于通过系数或代表性系数隐式地导出其他编解码模式/信息。

a.在一个示例中，所公开的方法可以用于导出可以应用于块的子区域的二次变换。

b.可替代地，此外，代表性系数来自对应于子区域而不是整个块的那些系数。

25.在一个示例中，是否和/或如何应用上述公开的方法可以在序列级/图片级/条带级/片组级，诸如在序列头/图片头/SPS/VPS/DPS/PPS/APS/

条带头/片组头中信令通知。

26.在一个示例中，是否和/或如何应用上述公开的方法可以取决于编解码信息，编解码信息可以包括：

a.块大小。

i.在一个示例中，对于宽度和高度两者都不大于阈值(例如，32)的块，可以应用上述隐式MTS方法。

b.QP

c.图片或条带类型(如I帧或P/B帧、I条带或P/B条带)

i.在一个示例中，所提出的方法可以在I帧上启用，但是在P/B帧上禁用。

d.结构分割方法(单树或双树)

i.在一个示例中，对于单树划分应用的条带/图片/图块/片，可以应用上述隐式MTS方法。

e.编解码模式(诸如帧间模式/帧内模式/IBC模式等)

i.在一个示例中，对于帧内编解码块，可以应用上述隐式MTS方法。

f.编解码方法(诸如子块内分割、派生树(DT)法等)

i.在一个示例中，对于应用了DT的帧内编解码块，可以禁用上述隐式MTS方法。

ii.在一个示例中，对于应用了ISP的帧内编解码块，可以禁用上述隐式MTS方法。

g.颜色分量

i.在一个示例中，对于亮度块，可以应用上述隐式MTS方法，而对于色度块，则不应用。

h.帧内预测模式(诸如DC、垂直、水平等。)

i.运动信息(诸如MV和参考索引)。

j.标准档次(Profile)/级别(Level)/层(Tier)

色度分量上的编解码工具

27.提议编解码工具X可以应用于块的一个或多个色度分量，这取决于它是应用于一个还是多个对应的亮度块。在下面的讨论中，“色度分量”

可以指“一个或多个色度分量”。

a.在一个示例中，对于色度块，编解码工具X的使用是从编解码工具是否被应用于对应的亮度块的信息中导出的。因此，不需要色度块的编解码工具X的使用的额外信令。

i.在一个示例中，如果编解码工具X被应用于对应的亮度块，则它可以被应用于块的色度分量；并且如果它没有被应用于对应的亮度块，则它不被应用于块的色度分量。

ii.在一个示例中，当编解码工具X被应用于对应的亮度块时，它可以以相同的方式被应用于亮度分量和色度分量。

b.在一个示例中，可以有条件地信令通知消息(诸如标志或索引)，以指示编解码工具X是否被应用于块的色度分量。该条件可以定义为是否将其应用于对应的亮度块。可替代地，此外，如果它没有应用于对应的亮度块，则它在没有信令通知的情况下不会应用于块的色度分量。

i.在一个示例中，当编解码工具X被应用于对应的亮度块并且消息指示它也被应用于色度分量时，编解码工具X可以以相同的方式被应用于亮度分量和色度分量。

ii.在一个示例中，编解码工具X可以以不同的方式应用于亮度分量和色度分量。

1)可以信令通知如何对亮度分量和色度分量分别应用编解码工具X。

c.在以上讨论中，“对应的亮度块”可以指覆盖色度块的至少一个“对应样点”的亮度块。样点位置可以根据颜色格式(诸如4：

4：4或4：2：0)进行缩放。假设色度块的左上角位置是(x0，y0)，并且色度块的宽度和高度是W和H，所有这些都缩放到亮度采样单元。

i.在一个示例中，对应的样点可以在(x0，y0)；

ii.在一个示例中，对应的样点可以在(x0+W-1，y0+H-1)；

iii.在一个示例中，对应的样点可以在(x0+W/2-1，y0+H/2-1)；

iv.在一个示例中，对应的样点可以在(x0+W/2，y0+H/2)；

v.在一个示例中，对应的样点可以在(x0+W/2，y0+H/2-1)；

vi.在一个示例中，对应的样点可以在(x0+W/2-1，y0+H/2)；

28.提议编解码工具X可以应用于块的一个色度分量，这取决于它是否被应用于其他色度分量的一个或多个对应块。

a.在一个示例中，对于色度块，编解码工具X的使用是从编解码工具是否被应用于其他色度分量的对应块的信息中导出的。因此，不需要色度块的编解码工具X的使用的额外信令。

b.在一个示例中，可以有条件地信令通知消息(诸如标志)，以指示编解码工具X是否被应用于块的色度分量。该条件可以被定义为它是否被应用于其他色度分量的对应块。可替代地，此外，如果它没有被应用于其他色度分量的对应块，则它在没有信令通知的情况下不会被应用于块的色度分量。

29.提议编解码工具X可以应用于块的亮度分量，这取决于它是否被应用于色度分量的一个还是多个对应块。

a.在一个示例中，对于亮度块，编解码工具X的使用是从编解码工具是否被应用于色度分量的对应块的信息中导出的。因此，不需要亮度块的编解码工具X的使用的额外信令。

b.在一个示例中，可以有条件地信令通知消息(诸如标志)，以指示编解码工具X是否被应用于块的亮度分量。该条件可以被定义为它是否被应用于色度分量的对应块。可替代地，此外，如果它没有被应用于色度分量的对应块，则它在没有信令通知的情况下不会被应用于块的亮度分量。

30.上面提到的编解码工具X可以定义如下。

a.在一个示例中，编解码工具X可以是MTS。

b.在一个示例中，编解码工具X可以是变换跳过。

c.在一个示例中，编解码工具X可以是RST。

d.在一个示例中，编解码工具X可以是RBDPCM。

e.在一个示例中，编解码工具X可以是BDPCM。

MTS索引和转换跳跃标志的信令通知

31.提议可以有条件地信令通知MTS索引和/或变换跳过标志，这取决于BDPCM或QR-BDPCM的使用或BDPCM的任何变化(any variance)。a.在一个示例中，当对块启用BDPCM或QR-BDPCM或BDPCM的任何变化(诸如，intra_bdpcm_flag等于“真”)时，可以不在比特流中针对块信令通知MTS索引和/或变换跳过标志。

i.可替代地，此外，当在块中启用了BDPCM或QR-BDPCM或BDPCM的任何变化时，可以推断块的变换跳过标志为

“真”。

b.在一个示例中，当在块中启用了BDPCM或QR-BDPCM或BDPCM的任何变化时，可以推断块的MTS索引为0。

32.固定长度编解码可用于对不同的MTS类型(诸如VVC规范中的DST7-DST7、DCT8-DST7、DST7-DCT8、DCT8-DCT8)进行编解码，但不包括TS和DCT-2。

a.在一个示例中，可以应用具有2个二进制位的固定长度。

b.在一个示例中，每个二进制位可以被上下文编解码。

c.在一个示例中，第一或最后一个二进制位可以被上下文编解码，并且剩余的二进制位被旁路编解码。

d.在一个示例中，所有二进制位都被旁路编解码。

33.变换矩阵索引(例如，TS、DCT-2、其他变换矩阵)的上下文建模可以取决于编解码模式、变换块尺寸和/或QT深度和/或MTT深度和/或BT深度和/或TT深度。

a.在一个示例中，变换矩阵索引的上下文建模可以取决于块的编解码模式，诸如块是否用帧内/帧间/IBC模式编解码。

b.在一个示例中，变换矩阵索引的上下文建模可以取决于多个分割深度的函数，这些分割深度可以包括QT深度、MTT深度、BT深度、TT深度。

c.在一个示例中，变换矩阵索引的上下文建模可以取决于相对于

CU/PU的TU/TB的变换深度。

d.在一个示例中，上下文索引增加可以被设置为TU/TB大小的函数。

i.在一个示例中，上下文索引增加可以被设置为((Log2(TbW)+Log2(TbH))>>1)–X，其中TbW和TbH指示变换块的宽度和高度，X是整数(诸如X＝2)。

ii.在一个示例中，上下文索引增加可以被设置为Log2(max(TbW，TbH))–X，其中TbW和TbH指示变换块的宽度和高度，X是整数(诸如X＝2)，max(a，b)返回较大的值。

iii.在一个示例中，上下文索引增加可以被设置为Log2(min(TbW，TbH))–X，其中TbW和TbH指示变换块的宽度和高度，X是整数(诸如X＝2)，min(a，b)返回较小的值。

iv.上面提到的上下文索引增加可以进一步被限幅到一个范围，诸如[k0，k1]，其中k0和k1是整数。

e.在一个示例中，上下文索引增加可以被设置为TU/TB宽度或高度的函数。

f.在一个示例中，上下文索引增加可以被设置为MTT深度的函数。

g.在一个示例中，上下文索引增加可以被设置为min(K，四叉树深度)，其中函数min(a，b)返回a和b之间的较小值，K是诸如4或5的整数。

h.在一个示例中，上述方法可以应用于对矩阵索引编解码中使用的特定二进制位进行编解码。

i.在一个示例中，用于指示它是否是DCT2的二进制位被上下文编解码，并且上下文建模基于上述方法，诸如tu_mts_idx的第一个二进制位。

34.提议可以共享对它是TS还是DCT2的指示进行编解码的上下文建模。

a.在一个示例中，用于编解码transform_skip_flag和tu_mts_idx的第一个二进制位的上下文建模(即，如何选择上下文索引)可以是相同的。

b.可替代地，此外，用于编解码这两个二进制位的上下文可以不同或部分共享。

i.在一个示例中，第一组上下文可用于编解码transform_skip_flag，并且第二组上下文可用于编解码tu_mts_idx的第一个二进制位。而且这两组是不共享的。

c.可替代地，此外，用于编解码这两个二进制位的上下文可以完全共享。

35.提议将单个上下文用于语法元素tu_mts_idx的部分或所有上下文编解码的二进制位。

a.例如，单个上下文可以用于tu_mts_idx的第一个二进制位。

b.例如，除了tu_mts_idx的第一个二进制位之外，单个上下文可以用于所有二进制位。

i.可替代地，此外，tu_mts_idx的第一个二进制位可以使用第24点中提到的上下文建模方法进行上下文编解码。

1.在一个示例中，取决于变换尺寸，可以用N个上下文对第一个二进制位进行上下文编解码(例如，可以将上下文索引增加设置为((Log 2(TbW)+Log 2(TbH))>>1)–2，使得N＝4)，并且可以用单个上下文对所有剩余二进制位进行上下文编解码。

c.可替代地，此外，tu_mts_idx的第一个和第二个二进制位可以被上下文编解码，而所有剩余的二进制位可以被旁路编解码。

d.在一个示例中，取决于变换尺寸(例如，N＝4)，第一个二进制位可以用N个上下文进行上下文编解码，而第二个二进制位可以用单个上下文进行上下文编解码，并且剩余二进制位可以被旁路编解码。例如，tu_mts_idx的所有二进制位都可以被旁路编解码。

36.变换矩阵的二值化可以用以下方式定义：

a.在一个示例中，下表示出了映射的二进制位和对应的矩阵。

b.在一个示例中，下表示出了映射的二进制位和对应的矩阵。

变换矩阵	二进制位字符串
		TS	0
DCT2-DCT2	1 0
		DST7-DST7	1 1 0 0
DCT8-DST7	1 1 0 1
		DST7-DCT8	1 1 1 0
DCT8-DCT8	1 1 1 1

c.在一个示例中，下表示出了映射的二进制位和对应的矩阵。

变换矩阵	二进制位字符串
		TS	1
DCT2-DCT2	0 1
		DST7-DST7	0 0 0 0
DCT8-DST7	0 0 0 1
		DST7-DCT8	0 0 1 0
DCT8-DCT8	0 0 1 1

d.在一个示例中，下表示出了映射的二进制位和对应的矩阵。

变换矩阵	二进制位字符串
		TS	0
DCT2-DCT2	10
		DST7-DST7	11

e.在一个示例中，下表示出了映射的二进制位和对应的矩阵。

变换矩阵	二进制位字符串
		TS	0
DCT2-DCT2	11
		DST7-DST7	10

f.在一个示例中，下表示出了映射的二进制位和对应的矩阵。

g.在一个示例中，下表示出了映射的二进制位和对应的矩阵。

变换矩阵	二进制位字符串
		TS	1
DCT2-DCT2	01
		DST7-DST7	00

37.提议MTS只有两个候选变换组合：DCT2-DCT2和DST7-DST7。

上面描述的示例可以结合在下面描述的方法的上下文中，例如方法1705、1710、1715、1720、1725、1730、1735和1740，其可以在视频编码器和/或解码器处实现。

图17A示出了用于视频处理的示例性方法的流程图。方法1705包括，在步骤1706，基于一个或多个解码的系数，并且在缺少一个或多个变换索引的情况下，做出关于对视频的当前块应用变换的决策。

方法1705包括，在步骤1707，基于该决策，执行当前块和视频的比特流表示之间的转换。

图17B示出了用于视频处理的示例性方法的流程图。方法1710包括，在步骤1711，基于代表性系数集并且在缺少一个或多个变换索引的情况下，做出关于对当前块应用变换的决策。

方法1710包括，在步骤1712，基于该决策，执行当前块和比特流表示之间的转换。在一些实施例中，所述代表性系数集包括在有效系数集中，并且所述有效系数集中的每个系数都是非零的。

图17C示出了用于视频处理的示例性方法的流程图。方法1715包括，在步骤1716，从预定义变换集中选择变换集中的一个或多个变换，作为变换的隐式选择(IST)模式的一部分。

方法1715包括，在步骤1717，将一个或多个变换中的至少一个应用于当前块，作为执行当前块和比特流表示之间的转换的一部分。

图17D示出了用于视频处理的示例性方法的流程图。方法1720包括，在步骤1721，基于视频的当前块的编解码模式，做出关于将隐式多重变换集(MTS)处理应用于编解码模式，而不管在视频的比特流表示中在序列级、图片级、子图片级、条带级、片组级、片级、图块级、编解码树单元(CTU)行、或CTU级启用MTS处理的指示的值的决策。

方法1720包括，在步骤1722，基于该决策，执行当前块和比特流表示之间的转换。在一些实施例中，隐式MTS处理包括使用当前块的特性来确定转换期间使用的变换。

图17E示出了用于视频处理的示例性方法的流程图。方法1725包括，在步骤1726，基于对视频的视频区域的多重变换集(MTS)处理的启用，做出关于对视频区域的子块内分割(ISP)模式或子块变换(SBT)模式的启用的决策。

方法1725包括，在步骤1727，基于该决策，执行视频区域和视频的比特流表示之间的转换。

图17F示出了用于视频处理的示例性方法的流程图。方法1730包括，在步骤1731，基于对视频的视频区域的子块内分割(ISP)模式或子块变换(SBT)模式的启用，做出关于对视频区域的多重变换集(MTS)处理的启用的决策。

方法1730包括，在步骤1732，基于该决策，执行视频区域和视频的比特流表示之间的转换。

图17G示出了用于视频处理的示例性方法的流程图。方法1735包括，在步骤1736，执行视频的当前块和视频的比特流表示之间的转换。在一些实施例中，比特流表示包括控制对当前块隐式多重变换集(MTS)处理的使用的第一语法元素和控制对当前块显式MTS处理的使用的第二语法元素，第一语法元素不同于第二语法元素，并且隐式MTS处理包括使用当前块的特性来确定转换期间使用的变换。

图17H示出了用于视频处理的示例性方法的流程图。方法1740包括在步骤1741，对于视频的视频区域，使用基于视频区域的编解码模式的一个或多个控制参数，做出关于将隐式多重变换集(MTS)处理和/或显式MTS处理应用于视频区域的决策。

方法1740包括，在步骤1742，基于该决策，执行视频区域和视频的比特流表示之间的转换。在一些实施例中，隐式MTS处理包括使用当前块的特性来确定转换期间使用的变换。

5所公开技术的示例实现方式

在以下实施例中，添加使用粗体双括号来指示，例如，{{a}}指示“a”已被添加，而删除使用粗体双括号来指示，例如，[[a]]指示“a”已被删除。

5.1实施例#1

JVET-N1001-v7中规定的工作草案可以修改如下。

8.7.4缩放的变换系数的变换处理

8.7.4.1概述

…

表8-17–取决于cu_sbt_horizontal_flag和cu_sbt_pos_flag的trTypeHor和trTypeVer的规范

cu_sbt_horizontal_flag	cu_sbt_pos_flag	trTypeHor	trTypeVer
				0	0	{{nTbW>＝8？0：}}2	1
0	1	1	1
				1	0	1	{{nTbH>＝8？0：}}2
1	1	1	1

…

5.2实施例2

JVET-N1001-v8中规定的工作草案可以修改如下。

7.3.7.10变换单元语法

可替代地，以下内容可以应用：

5.3实施例3

JVET-N1001-v8中规定的工作草案可以修改如下。

9.5.3.7固定长度二值化处理

…

{{

9.5.3.8tu_mts_idx的二值化处理

这个处理的输入是对语法元素tu_mts_idx进行二进制化的请求。

这个处理的输出是语法元素的二值化。

语法元素tu_mts_idx的二进制化在表9-14中规定。

表0-14-tu_MTS_idx的二值化

}}

5.4实施例4

JVET-N1001-v8中规定的工作草案可以修改如下。

9.5.4.2ctxTable、ctxIdx和bypassFlag的导出过程

9.5.4.2.1概述

…

表0-17-将ctxInc分配给带有上下文编解码二进制位的语法元素

5.5实施例5

JVET-N1001-v8中规定的工作草案可以修改如下。

9.5.4.3ctxTable、ctxIdx和bypassFlag的推导处理

9.5.4.3.1概述

…

表0-17-将ctxInc分配给带有上下文编解码二进制位的语法元素

5.6实施例6

JVET-N1001-v8中规定的工作草案可以修改如下。

9.5.4.4ctxTable、ctxIdx和bypassFlag的推导处理

9.5.4.4.1概述

…

表0-17-将ctxInc分配给带有上下文编解码二进制位的语法元素

5.7实施例7

JVET-N1001-v8中规定的工作草案可以修改如下。

9.5.4.5ctxTable、ctxIdx和bypassFlag的推导处理

9.5.4.5.1概述

…

表0-17-将ctxInc分配给带有上下文编解码二进制位的语法元素

5.8实施例8

JVET-N1001-v8中规定的工作草案可以修改如下。

9.5.4.6ctxTable、ctxIdx和bypassFlag的推导处理

9.5.4.6.1概述

…

表0-17-将ctxInc分配给带有上下文编解码二进制位的语法元素

或者，以下内容可以应用：

5.9实施例9

JVET-O2001-vC中规定的工作草案可做如下修改。

8.7.4缩放的变换系数的变换处理

8.7.4.1概述

…

变量implicitMtsEnabled的推导如下：

–如果[[sps_mts_enabled_flag等于1并且]]下列条件之一为“真”，则implicitMtsEnabled被设置为等于1：

–IntDraSubPartitionsSplitType不等于ISP_NO_SPLIT

–cu_sbt_flag等于1，并且Max(nTbW，nTbH)小于或等于32

–sps_explicit_mts_intra_enabled_flag等于0，CuPredMode[0][xTbY][yTbY]等于MODE_INTRA，lfnst_idx[x0][y0]等于0，并且intra_mip_flag[x0][y0]等于0

–否则，implicitMtsEnabled被设置为等于0。

5.10实施例10

JVET-O2001-vC中规定的工作草案可做如下修改。

8.7.4缩放的变换系数的变换处理

8.7.4.1概述

…

变量implicitMtsEnabled的推导如下：

–IntDraSubPartitionsSplitType不等于ISP_NO_SPLIT

–cu_sbt_flag等于1，并且Max(nTbW，nTbH)小于或等于32

–{{sps_mts_enabled_flag等于1并且}}sps_explicit_mts_intra_enabled_flag等于0并且CupredMode[0][xTbY][yTbY]等于MODE_INTRA并且lfnst_idx[x0][y0]等于0并且intra_mip_flag[x0][y0]等于0

–否则，implicitMtsEnabled设置为0。

5.11实施例11

JVET-O2001-vC中规定的工作草案可做如下修改。

7.3.2.3序列参数集RBSP语法

…

5.12实施例12

JVET-O2001-vC中规定的工作草案可做如下修改。

7.3.2.3序列参数集RBSP语法

…

1.4.3.3序列参数集RBSP语义

[[sps_mts_enabled_flag等于1指定sps_explicit_mts_intra_enabled_flag存在于序列参数集RBSP语法中，且sps_explicit_mts_inter_enabled_flag存在于序列参数集RBSP语法中。等于0的sps_mts_enabled_flag指定sps_explicit_mts_intra_enabled_flag不存在于序列参数集RBSP语法中，并且sps_explicit_mts_inter_enabled_flag不存在于序列参数集RBSP语法中。]]

8.7.4缩放的变换系数的变换过程

8.7.4.1概述

…

变量implicitMtsEnabled的推导如下：

–IntDraSubPartitionsSplitType不等于ISP_NO_SPLIT

–cu_sbt_flag等于1，并且Max(nTbW，nTbH)小于或等于32

–sps_explicit_mts_intra_enabled_flag等于0，CuPredMode[0][xTbY][yTbY]等于MODE_INTRA，lfnst_idx[x0][y0]等于0，且intra_mip_flag[x0][y0]等于0

–否则，implicitMtsEnabled被设置为等于0。

5.13实施例13

JVET-O2001-vC中规定的工作草案可做如下修改。

8.7.4缩放的变换系数的变换处理

8.7.4.1概述

…

变量implicitMtsEnabled的推导如下：

–IntDraSubPartitionsSplitType不等于ISP_NO_SPLIT

–cu_sbt_flag等于1，Max(nTbW，nTbH)小于或等于32

–否则，implicitMtsEnabled被设置为等于0。

5.14实施例14

JVET-O2001-vC中规定的工作草案可做如下修改。

7.3.8.5编解码单元语法

5.15实施例15

本实施例是根据SPS标志sps_mts_enabled_flag应用变换系数归零。

JVET-O2001-v14中规定的工作草案可进行如下修改。

7.3.8.11残差编解码语法

在一些实施例中，可以实现以下技术方案：

A1.一种用于视频处理的方法，包括：基于一个或多个解码的系数，并且在缺少一个或多个变换索引的情况下，做出关于对视频的当前块应用变换的决策；以及基于该决策，执行当前块和视频的比特流表示之间的转换。

A2.解决方案A1的方法，其中，所述一个或多个解码的系数和与当前块的颜色分量相同的颜色分量中的一个或多个代表性块相关联。

A3.解决方案A1的方法，其中，所述一个或多个解码的系数与不同于当前块的颜色分量的颜色分量中的一个或多个代表性块相关联。

A4.解决方案A1的方法，其中，变换的类型基于与当前块相关联的解码的系数。

A5.解决方案A1的方法，其中，变换的类型基于与不同于当前块的第二块相关联的解码的系数。

A6.解决方案A5的方法，其中，第二块是当前块的邻居。

A7.解决方案A5的方法，其中，当前块和第二块用相同的帧内预测模式编解码。

A8.解决方案A5的方法，其中，当前块的尺寸与第二块的尺寸相同。

A9.解决方案A5的方法，其中，当前块在亮度分量中，并且其中，第二块在色度分量中。

A10.解决方案A1的方法，其中，变换的类型基于与多个块相关联的多个解码的系数。

A11.解决方案A10的方法，其中，多个块包括当前块。

A12.解决方案A10或A11的方法，其中，多个块包括当前块的至少一个临近块。

A13.解决方案A10的方法，其中，所述多个块包括以解码顺序在当前块之前的最后N个解码块，其中，最后N个解码块中的每一个满足条件，并且其中N是大于1的整数。

A14.解决方案A13的方法，其中，所述条件包括最后N个解码块中的每一个是用与当前块相同的帧内预测模式进行编解码的。

A15.解决方案A13的方法，其中，所述条件包括最后N个解码块中的每一个具有与当前块相同的尺寸。

A16.一种用于视频处理的方法，包括：基于代表性系数集，并且在缺少一个或多个变换索引的情况下，做出关于对当前块应用变换的决策；以及基于该决策，执行当前块和比特流表示之间的转换，其中所述代表性系数集包括在有效系数集中，并且其中所述有效系数集中的每个系数都是非零的。

A17.解决方案A16的方法，其中，所述有效系数集中的每个系数被包括在所述代表性系数集中。

A18.解决方案A17的方法，其中，所述决策进一步包括确定当前块的变换类型。

A19.解决方案A16的方法，其中，所述有效系数集中的至少一个系数被从所述代表性系数集排除。

A20.解决方案A19的方法，其中，所述至少一个系数大于或等于预定阈值。

A21.解决方案A19的方法，其中，所述至少一个系数小于或等于预定阈值。

A22.解决方案A19的方法，其中，所述至少一个系数包括所述有效系数集中以解码顺序的前K个系数，其中K是整数，并且其中K≥1。

A23.解决方案A19的方法，其中，所述至少一个系数包括所述有效系数集中以解码顺序的最后K个系数，其中K是整数，并且其中K≥1。

A24.解决方案A16的方法，其中，所述代表性系数集包括当前块中一个或多个预定义位置的系数。

A25.解决方案A16的方法，其中，所述代表性系数集包括在系数扫描顺序中的一个或多个预定位置处的系数。

A26.解决方案A16的方法，其中，所述代表性系数集包括至少一个零系数。

A27.解决方案A16的方法，其中，所述变换包括水平变换和垂直变换，并且其中，水平变换的类型或垂直变换的类型基于所述代表性系数集的函数。

A28.解决方案A27的方法，其中，函数是所述代表性系数集的基数。

A29.解决方案A27的方法，其中，该函数基于所述代表性系数集的每个系数的值的总和。

A30.解决方案A27的方法，其中，该函数基于所述代表性系数集的每个系数的绝对值的总和。

A31.解决方案A27的方法，其中，该函数是所述代表性系数集中的多个系数的奇偶校验。

A32.解决方案A31的方法，其中，当奇偶校验为偶数时，水平变换包括第一变换并且垂直变换包括第二变换，并且其中，当奇偶校验为奇数时，水平变换包括第三变换并且垂直变换包括第四变换。

A33.解决方案A31的方法，其中，当包括当前块的当前图片或当前条带被帧内编解码时，当奇偶校验为偶数时，水平变换包括第一变换且垂直变换包括第二变换，并且当奇偶校验为奇数时，水平变换包括第三变换且垂直变换包括第四变换，并且当当前图片或当前条带未被帧内编解码时，当奇偶校验为偶数时，水平变换包括第三变换且垂直变换包括第四变换，并且当奇偶校验为奇数时，水平变换包括第一变换且垂直变换包括第二变换。

A34.解决方案A32或A33的方法，其中，第一变换的类型与第二变换的类型相同。

A35.解决方案A32或A33的方法，其中，第一变换的类型不同于第二变换的类型。

A36.解决方案A32或A33的方法，其中，第三变换的类型与第四变换的类型相同。

A37.解决方案A32或A33的方法，其中，第三变换的类型不同于第四变换的类型。

A38.解决方案A31的方法，其中，I条带或I图片包括帧内编解码的当前块，其中，当奇偶校验为偶数时，变换是类型VII的离散正弦变换(DST-VII)，并且其中，当奇偶校验为奇数时，变换是类型II的离散余弦变换(DCT-II)。

A39.解决方案A31的方法，其中，P/B条带或P/B图片包括帧内编解码的当前块，其中，当奇偶校验为偶数时，变换是类型II的离散余弦变换(DCT-II)，并且其中，当奇偶校验为奇数时，变换是类型VII的离散正弦变换(DST-VII)。

A40.解决方案A31的方法，其中，变换的类型基于包括覆盖所述有效系数集的最小矩形的扫描区域。

A41.解决方案A29或A30的方法，其中，当总和小于阈值时，水平变换包括第一变换且垂直变换包括第二变换，并且其中，当总和大于或等于阈值时，水平变换包括第三变换且垂直变换包括第四变换。

A42.解决方案A41的方法，其中，阈值基于当前块的尺寸。

A43.解决方案A41的方法，其中，阈值基于与当前块相关联的量化参数。

A44.解决方案A32至A43中任一项的方法，其中，第一、第二、第三和第四变换中的每一个是类型II的离散余弦变换(DCT)(DCT-II)、DCT-VIII、类型VII的离散正弦变换(DST)(DST-VII)或DST-VIII之一。

A45.一种用于视频处理的方法，包括：从预定义变换集中选择变换集中的一个或多个变换，作为变换的隐式选择(IST)模式的一部分；以及将该一个或多个变换中的至少一个应用于当前块，作为执行当前块和比特流表示之间的转换的一部分。

A46.解决方案A45的方法，其中，变换集包括垂直变换集和水平变换集。

A47.解决方案A46的方法，其中，垂直变换集与水平变换集相同。

A48.解决方案A46的方法，其中，垂直变换集不同于水平变换集。

A49.解决方案A45的方法，其中，变换集包括类型II的离散余弦变换(DCT-II)和类型VII的离散正弦变换(DCT-VII)。

A50.解决方案A49的方法，其中，变换集还包括恒等变换。

A51.解决方案A45的方法，其中，变换集基于以下各项中的至少一个：当前块的编解码信息、颜色分量、当前块的划分结构、包括当前块的当前条带的条带类型和包括当前块的当前图片的图片类型。

A52.解决方案A51的方法，其中，变换集基于当前块的大小。

A53.解决方案A51的方法，其中，当当前块被帧内编解码时，变换集包括类型II的离散余弦变换(DCT-II)和类型VII的离散正弦变换(DST-VII)。

A54.解决方案A51的方法，其中，当使用帧内块复制(IBC)模式编解码当前块时，变换集包括类型VII的离散正弦变换(DST-VII)和恒等变换。

A55.解决方案A1至A54中任一个的方法，其中，当前块是帧内编解码块。

A56.解决方案A1至A54中任一个的方法，其中，与当前块相关联的系数集受到约束。

A57.解决方案A56的方法，其中，系数集中位于当前块的预定区域之外的每个系数为零。

A58.解决方案A1至A54中任一个的方法，其中，当前块被配置为当没有选择另一变换时使用默认变换。

A59.解决方案A58的方法，其中，默认变换是类型II的离散余弦变换(DCT-II)。

A60.一种用于视频处理的方法，包括：基于视频的当前块的编解码模式，做出关于将隐式多重变换集(MTS)处理应用于编解码模式，而不管在视频的比特流表示中在序列级、图片级、子图片级、条带级、片组级、片级、图块级、编解码树单元(CTU)行或CTU级启用MTS处理的指示的值的决策；以及基于该决策执行当前块和比特流表示之间的转换，其中，隐式MTS处理包括使用当前块的特性来确定转换期间使用的变换。

A61.解决方案A60的方法，其中，当所述编解码模式是子块内分割(ISP)模式并且所述MTS处理被禁用时，应用隐式MTS处理。

A62.解决方案A60的方法，其中，当所述编解码模式是子块变换(SBT)模式并且所述MTS处理被禁用时，应用隐式MTS处理。

A63.一种用于视频处理的方法，包括：基于对视频的视频区域的多重变换集(MTS)处理的启用，做出关于对视频区域的子块内分割(ISP)模式或子块变换(SBT)模式的启用的决策；以及基于该决策，执行视频区域和视频的比特流表示之间的转换。

A64.解决方案A63的方法，其中，视频区域包括序列、视频、图片、条带、片组、片、图块、子图片、编解码树单元(CTU)行、CTU、编解码单元(CU)或块。

A65.解决方案A63或A64的方法，其中，当MTS处理被禁用时，ISP模式和/或SBT模式被禁用。

A66.解决方案A63或A64的方法，其中，当MTS处理被启用时，比特流表示包括用于ISP模式和/或SBT模式的显式标志。

A67.解决方案A63或A64的方法，其中，当隐式MTS处理被禁用时，ISP模式和/或SBT模式被禁用。

A68.一种用于视频处理的方法，包括：基于对视频的视频区域的子块内分割(ISP)模式或子块变换(SBT)模式的启用，做出关于对视频区域的多重变换集(MTS)处理的启用的决策；以及基于该决策，执行视频区域和视频的比特流表示之间的转换。

A69.解决方案A68的方法，其中，视频区域包括序列、视频、图片、条带、片组、片、图块、子图片、编解码树单元(CTU)行、CTU、编解码单元(CU)或块。

A70.解决方案A68或A69的方法，其中，当ISP模式和/或SBT模式被禁用时，MTS处理被启用。

A71.一种用于视频处理的方法，包括执行视频的当前块和视频的比特流表示之间的转换，其中，比特流表示包括第一语法元素和第二语法元素，第一语法元素控制对当前块的隐式多重变换集(MTS)处理的使用，并且第二语法元素控制对当前块的显式MTS处理的使用，并且其中，第一语法元素不同于第二语法元素，其中，隐式MTS处理包括使用当前块的特性来确定在转换期间使用的变换。

A72.解决方案A71的方法，其中，在比特流表示中在序列级信令通知第一语法元素和第二语法元素。

A73.一种用于视频处理的方法，包括：对于视频的视频区域，使用基于视频区域的编解码模式的一个或多个控制参数，做出关于将隐式多重变换集(MTS)处理和/或显式MTS处理应用于视频区域的决策；以及基于该决策，执行视频区域和视频的比特流表示之间的转换，其中，隐式MTS处理包括使用当前块的特性来确定转换期间使用的变换。

A74.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中，所述指令在由处理器执行时，使得处理器实现解决方案A1至A73中的任何一个中的方法。

A75.一种存储在非暂时性计算机可读介质上的计算机程序产品，该计算机程序产品包括用于执行解决方案A1至A73中的任何一个中的方法的程序代码。

图18是视频处理装置1800的框图。装置1800可用于实施本文所述的一种或多种方法。装置1800可以体现在智能手机、平板电脑、计算机、物联网接收器等中。装置1800可以包括一个或多个处理器1802、一个或多个存储器1804和视频处理硬件1806。(多个)处理器1802可以被配置成实现本文档中描述的一种或多种方法(包括但不限于方法1705、1710、1715、1720、1725、1730、1735和1740)。存储器(多个存储器)1804可以用于存储用于实现本文描述的方法和技术的数据和代码。视频处理硬件1806可以用于在硬件电路中实现本文档中描述的一些技术。

在一些实施例中，视频编解码方法可以使用在硬件平台上实现的装置来实现，如参考图18所述。

所公开的技术的一些实施例包括做出启用视频处理工具或模式的决策或确定。在示例中，当启用视频处理工具或模式时，编码器将在视频块的处理中使用或实现该工具或模式，但是不一定基于工具或模式的使用来修改得到的比特流。也就是说，当基于决策或确定启用视频处理工具或模式时，从视频块到视频的比特流表示的转换将使用视频处理工具或模式。在另一示例中，当启用视频处理工具或模式时，解码器将利用已经基于视频处理工具或模式修改比特流的认知来处理比特流。也就是说，从视频的比特流表示到视频块的转换将使用基于决策或确定而启用的视频处理工具或模式来执行。

所公开的技术的一些实施例包括做出禁用视频处理工具或模式的决策或决策。在一个示例中，当视频处理工具或模式被禁用时，编码器将不会在视频块到视频的比特流表示的转换中使用该工具或模式。在另一示例中，当视频处理工具或模式被禁用时，解码器将利用没有使用基于决策或确定被启用的视频处理工具或模式修改比特流的认知来处理比特流。

图19是示出示例视频处理系统1900的框图，其中可以实现这里公开的各种技术。各种实现方式可以包括系统1900的一些或所有组件。系统1900可以包括用于接收视频内容的输入1902。视频内容可以以原始或未压缩格式接收，例如8或10位多分量像素值，或者可以是压缩或编码格式。输入1902可以代表网络接口、外围总线接口或存储接口。网络接口的示例包括有线接口(诸如以太网、无源光网络等)和无线接口(诸如无线网络或蜂窝接口)。

系统1900可以包括编解码组件1904，其可以实现本文档中描述的各种编解码或编码方法。编解码组件1904可以降低从编解码组件1904的输入1902到输出的视频的平均比特率，以产生视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频代码转换技术。编解码组件1904的输出可以被存储，或者通过连接的通信(如组件1906所表示的)来传输。组件1908可以使用在输入端1902接收的视频的存储或传达的比特流(或编解码)表示来生成发送到显示接口1910的像素值或可显示视频。从比特流表示生成用户可视视频的过程有时被称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，但是应当理解，编解码工具或操作在编码器处使用，并且对编解码结果进行反向的相应解码工具或操作将由解码器执行。

外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以体现在各种电子设备中，诸如移动电话、膝上型电脑、智能手机或能够执行数字数据处理和/或视频显示的其他设备。

从以上所述，将会理解，为了说明的目的，这里已经描述了当前公开的技术的具体实施例，但是在不脱离本发明的范围的情况下，可以进行各种修改。因此，当前公开的技术除了由所附权利要求限定之外不受限制。

本专利文档中描述的主题和功能操作的实现可以在各种系统、数字电子电路中实现，或者在计算机软件、固件或硬件(包括本说明书中公开的结构及其结构等同物)中实现，或者在它们中的一个或多个的组合中实现。本说明书中描述的主题的实现可以被实现为一个或多个计算机程序产品，即编码在有形和非暂时性计算机可读介质上的计算机程序指令的一个或多个模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基底、存储设备、实现机器可读传播信号的物质组合，或者它们中的一个或多个的组合。术语“数据处理单元”或“数据处理装置”包括用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。

计算机程序(也称为程序、软件、软件应用程序、脚本或代码)可以用任何形式的编程语言编写，包括编译或解释语言，并且它可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或适合在计算环境中使用的其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件的一部分中(例如，存储在标记语言文档中的一个或多个脚本)，存储在专用于所讨论的程序的单个文件中，或者存储在多个协同文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以被部署为在一台计算机上或位于一个站点或分布在多个站点并通过通信网络互连的多台计算机上执行。

本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器来执行，以通过对输入数据进行操作并生成输出来执行功能。这些过程和逻辑流程也可以由专用逻辑电路来执行，并且设备也可以被实现为专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

举例来说，适合于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储设备。通常，计算机还将包括或可操作地耦合到用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘，以从其接收数据或向其传输数据，或两者兼有。然而，计算机不需要有这样的设备。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储设备，包括例如半导体存储设备，例如EPROM、EEPROM和闪存设备。处理器和存储器可以由专用逻辑电路来补充或结合在其中。

尽管本专利文档包含许多细节，但这些细节不应被解释为对任何发明或所要求保护的范围的限制，而是对可能特定于特定发明的特定实施例的特征的描述。本专利文档中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独实现或者在任何合适的子组合中实现。此外，尽管特征可以在上面被描述为在某些组合中起作用，并且甚至最初被这样要求保护，但是在一些情况下，来自所要求保护的组合的一个或多个特征可以从该组合中删除，并且所要求保护的组合可以指向子组合或子组合的变体。

类似地，虽然在附图中以特定顺序描述了操作，但是这不应该被理解为要求以所示的特定顺序或顺序执行这些操作，或者要求执行所有示出的操作，以获得期望的结果。此外，本专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这种分离。

仅描述了几个实现方式和示例，并且可以基于本专利文档中描述和示出的内容进行其他实现、增强和变化。

Claims

1.一种用于处理视频数据的方法，包括：

为视频的当前块和所述视频的比特流之间的第一转换，基于所述当前块和/或所述当前块的一个或多个临近块的代表性系数集并且在没有一个或多个变换索引的情况下，做出关于在变换处理中应用于所述当前块的一个或多个变换矩阵的决策，其中，所述一个或多个变换矩阵包括水平变换矩阵或垂直变换矩阵中的至少一个；和

基于所述决策执行所述第一转换，

其中，所述水平变换矩阵或所述垂直变换矩阵是基于所述代表性系数集中的代表性系数的数量的奇偶性来确定的，并且

其中，所述当前块将隐式选择的变换应用于主变换，其中当所述当前块是具有派生树DT的帧内编解码块时，所述隐式选择的变换不被应用于所述当前块，其中所述隐式选择的变换在包括所述当前块的高度和宽度不大于阈值的至少一个条件下被应用，并且其中所述阈值是正整数。

2.根据权利要求1所述的方法，其中，所述代表性系数集包括所述当前块和/或所述一个或多个临近块的所有系数的一部分。

3.根据权利要求1所述的方法，其中，所述一个或多个变换矩阵基于所述代表性系数集的函数，并且所述函数的输出是所述代表性系数集中的系数的数量。

4.根据权利要求1所述的方法，其中，所述水平变换矩阵与所述垂直变换矩阵相同。

5.根据权利要求4所述的方法，其中，所述水平变换矩阵和所述垂直变换矩阵是类型II的离散余弦变换DCT(DCT-II)或类型VII的离散正弦变换DST(DST-VII)中的一个。

6.根据权利要求1所述的方法，其中，所述水平变换矩阵不同于所述垂直变换矩阵。

7.根据权利要求6所述的方法，其中，所述水平变换矩阵是类型VII的离散正弦变换DST(DST-VII)，所述垂直变换矩阵是类型II的离散余弦变换DCT(DCT-II)。

8.根据权利要求1所述的方法，其中，所述当前块用特定模式编解码，其中，所述特定模式包括帧内模式或帧间模式。

9.根据权利要求1所述的方法，还包括执行所述视频的不应用隐式选择的变换的第二块和所述比特流之间的转换，其中，默认的类型II的离散余弦变换DCT(DCT-II)被用于所述第二块。

10.根据权利要求1所述的方法，还包括执行所述视频的特定颜色格式的第三块和所述比特流之间的转换，其中，所述第三块用帧内块复制模式编解码并且允许变换跳过模式应用于所述第三块，所述帧内块复制模式使用与所述第三块相同的视频区域中的参考样点。

11.根据权利要求1所述的方法，其中，所述第一转换包括将所述当前块编码到所述比特流中。

12.根据权利要求1所述的方法，其中，所述第一转换包括从所述比特流解码所述当前块。

13.根据权利要求1所述的方法，包括：

基于一个或多个解码的系数并且在缺少一个或多个变换索引的情况下，做出关于对视频的当前块应用变换的决策；和

基于所述决策，执行所述当前块和视频的比特流之间的第二转换。

14.根据权利要求13所述的方法，其中，所述一个或多个解码的系数与颜色分量中的一个或多个代表性块相关联，所述颜色分量与所述当前块的颜色分量相同。

15.根据权利要求13所述的方法，其中，所述一个或多个解码的系数与颜色分量中的一个或多个代表性块相关联，所述颜色分量不同于所述当前块的颜色分量。

16.根据权利要求13所述的方法，其中，所述变换的类型基于与所述当前块相关联的解码的系数。

17.根据权利要求13所述的方法，其中，所述变换的类型基于与不同于所述当前块的第二块相关联的解码的系数。

18.根据权利要求17所述的方法，其中，所述第二块是所述当前块的邻居。

19.权利要求17所述的方法，其中，所述当前块和所述第二块用相同的帧内预测模式编解码。

20.根据权利要求17所述的方法，其中，所述当前块的尺寸与所述第二块的尺寸相同。

21.根据权利要求17所述的方法，其中，所述当前块在亮度分量中，并且其中，所述第二块在色度分量中。

22.根据权利要求13所述的方法，其中，所述变换的类型基于与多个块相关联的多个解码的系数。

23.根据权利要求22所述的方法，其中，所述多个块包括所述当前块。

24.根据权利要求22或23所述的方法，其中，所述多个块包括所述当前块的至少一个临近块。

25.根据权利要求22所述的方法，其中，所述多个块包括以解码顺序在所述当前块之前的最后N个解码块，其中，所述最后N个解码块中的每一个满足条件，并且其中N是大于1的整数。

26.根据权利要求25所述的方法，其中，所述条件包括所述最后N个解码块中的每一个是用与所述当前块相同的帧内预测模式进行编解码的。

27.根据权利要求25所述的方法，其中，所述条件包括所述最后N个解码块中的每一个具有与所述当前块相同的尺寸。

28.根据权利要求1所述的方法，包括：

基于代表性系数集并且在缺少一个或多个变换索引的情况下，做出关于对当前块应用变换的决策；和

基于所述决策，执行所述当前块和比特流之间的第三转换，其中所述代表性系数集包括在有效系数集中，并且其中所述有效系数集中的每个系数都是非零的。

29.根据权利要求28所述的方法，其中，所述有效系数集中的每个系数被包括在所述代表性系数集中。

30.根据权利要求29所述的方法，其中，所述决策还包括确定所述当前块的变换类型。

31.根据权利要求28所述的方法，其中，所述有效系数集中的至少一个系数被从所述代表性系数集中排除。

32.根据权利要求31所述的方法，其中，所述至少一个系数大于或等于预定阈值。

33.根据权利要求31所述的方法，其中，所述至少一个系数小于或等于预定阈值。

34.根据权利要求31所述的方法，其中，所述至少一个系数包括所述有效系数集中以解码顺序的前K个系数，其中K是整数，并且其中K≥1。

35.根据权利要求31所述的方法，其中，所述至少一个系数包括所述有效系数集中以解码顺序的最后K个系数，其中K是整数，并且其中K≥1。

36.根据权利要求28所述的方法，其中，所述代表性系数集包括所述当前块中的一个或多个预定义位置处的系数。

37.根据权利要求28所述的方法，其中，所述代表性系数集包括在系数扫描顺序中的一个或多个预定位置处的系数。

38.根据权利要求28所述的方法，其中，所述代表性系数集包括至少一个零系数。

39.根据权利要求28所述的方法，其中，所述变换包括水平变换和垂直变换，并且其中所述水平变换的类型或所述垂直变换的类型基于所述代表性系数集的函数。

40.根据权利要求39所述的方法，其中，所述函数是所述代表性系数集的基数。

41.根据权利要求39所述的方法，其中，所述函数基于所述代表性系数集的每个系数的值的总和。

42.根据权利要求39所述的方法，其中，所述函数基于所述代表性系数集的每个系数的绝对值的总和。

43.根据权利要求39所述的方法，其中，所述函数是所述代表性系数集中的多个系数的奇偶校验。

44.根据权利要求43所述的方法，其中，当所述奇偶校验为偶数时，所述水平变换包括第一变换且所述垂直变换包括第二变换，并且其中当所述奇偶校验为奇数时，所述水平变换包括第三变换且所述垂直变换包括第四变换。

45.根据权利要求43所述的方法，其中

当包括所述当前块的当前图像或当前条带被帧内编解码时，

当所述奇偶校验为偶数时，所述水平变换包括第一变换且所述垂直变换包括第二变换，并且当所述奇偶校验为奇数时，所述水平变换包括第三变换且所述垂直变换包括第四变换，以及

当所述当前图像或所述当前条带没有被帧内编解码时，

当所述奇偶校验为偶数时，所述水平变换包括第三变换且所述垂直变换包括第四变换，并且当所述奇偶校验为奇数时，所述水平变换包括第一变换且所述垂直变换包括第二变换。

46.根据权利要求44或45所述的方法，其中，所述第一变换的类型与所述第二变换的类型相同。

47.根据权利要求44或45所述的方法，其中，第一变换的类型不同于第二变换的类型。

48.根据权利要求44或45所述的方法，其中，所述第三变换的类型与所述第四变换的类型相同。

49.根据权利要求44或45所述的方法，其中，所述第三变换的类型不同于所述第四变换的类型。

50.根据权利要求43所述的方法，其中，I条带或I图片包括帧内编解码的当前块，其中，当所述奇偶校验为偶数时，所述变换是类型VII的离散正弦变换DST-VII，并且其中当所述奇偶校验为奇数时，所述变换是类型II的离散余弦变换DCT-II。

51.根据权利要求43所述的方法，其中，P/B条带或P/B图片包括帧内编解码的当前块，其中，当所述奇偶校验为偶数时，所述变换是类型II的离散余弦变换DCT-II，并且其中当所述奇偶校验为奇数时，所述变换是类型VII的离散正弦变换DST-VII。

52.根据权利要求43所述的方法，其中，所述变换的类型基于包括覆盖所述有效系数集的最小矩形的扫描区域。

53.根据权利要求41或42所述的方法，其中，当所述总和小于阈值时，所述水平变换包括第一变换且所述垂直变换包括第二变换，并且其中当所述总和大于或等于阈值时，所述水平变换包括第三变换且所述垂直变换包括第四变换。

54.根据权利要求53所述的方法，其中，所述阈值基于所述当前块的尺寸。

55.根据权利要求53所述的方法，其中，所述阈值基于与所述当前块相关联的量化参数。

56.根据权利要求44所述的方法，其中，所述第一、第二、第三和第四变换中的每一个是类型II的离散余弦变换DCT(DCT-II)、DCT-VIII、类型VII的离散正弦变换DST(DST-VII)或DST-VIII之一。

57.根据权利要求1所述的方法，包括：

从预定义变换集中选择变换集中的一个或多个变换，作为变换的隐式选择(IST)模式的一部分；以及

将所述一个或多个变换中的至少一个应用于当前块，作为执行所述当前块和比特流之间的第四转换的一部分。

58.根据权利要求57所述的方法，其中，所述变换集包括垂直变换集和水平变换集。

59.根据权利要求58所述的方法，其中，所述垂直变换集与所述水平变换集相同。

60.根据权利要求58所述的方法，其中，所述垂直变换集不同于所述水平变换集。

61.根据权利要求57所述的方法，其中，所述变换集包括类型II的离散余弦变换DCT-II和类型VII的离散正弦变换DCT-VII。

62.根据权利要求61所述的方法，其中，所述变换集还包括恒等变换。

63.根据权利要求57所述的方法，其中，所述变换集基于以下各项中的至少一个：所述当前块的编解码信息、颜色分量、所述当前块的分割结构、包括所述当前块的当前条带的条带类型和包括所述当前块的当前图片的图片类型。

64.根据权利要求63所述的方法，其中，所述变换集基于所述当前块的大小。

65.根据权利要求63所述的方法，其中，当所述当前块被帧内编解码时，所述变换集包括类型II的离散余弦变换DCT-II和类型VII的离散正弦变换DST-VII。

66.根据权利要求63所述的方法，其中，当使用帧内块复制IBC模式对所述当前块进行编解码时，所述变换集包括类型VII的离散正弦变换DST-VII和恒等变换。

67.根据权利要求13所述的方法，其中，所述当前块是帧内编解码块。

68.根据权利要求13所述的方法，其中，与所述当前块相关联的系数集受到约束。

69.根据权利要求68所述的方法，其中，所述系数集中位于所述当前块的预定区域之外的每个系数为零。

70.根据权利要求13所述的方法，其中，所述当前块被配置为当没有选择另一变换时使用默认变换。

71.根据权利要求70所述的方法，其中，所述默认变换是类型II的离散余弦变换DCT-II。

72.根据权利要求1所述的方法，包括：

基于视频的当前块的编解码模式，做出关于将隐式多重变换集MTS处理应用于编解码模式，而不管在视频的比特流中在序列级、图片级、子图片级、条带级、片组级、片级、图块级、编解码树单元CTU行或CTU级启用MTS处理的指示的值的决策；和

基于所述决策，执行所述当前块和所述比特流之间的第五转换，

其中，隐式MTS处理包括使用所述当前块的特性来确定在第五转换期间使用的变换。

73.根据权利要求72所述的方法，其中，当所述编解码模式是子块内分割(ISP)模式并且所述MTS处理被禁用时，应用所述隐式MTS处理。

74.根据权利要求72所述的方法，其中，当所述编解码模式是子块变换SBT模式并且所述MTS处理被禁用时，应用所述隐式MTS处理。

75.根据权利要求1所述的方法，包括：

基于对视频的视频区域的多重变换集MTS处理的启用，做出关于对所述视频区域的子块内分割ISP模式或子块变换SBT模式的启用的决策；和

基于所述决策，执行所述视频区域和视频的比特流之间的第六转换。

76.根据权利要求75所述的方法，其中，所述视频区域包括序列、视频、图片、条带、片组、片、图块、子图片、编解码树单元CTU行、CTU、编解码单元CU或块。

77.根据权利要求75或76所述的方法，其中，当MTS处理被禁用时，ISP模式和/或SBT模式被禁用。

78.根据权利要求75或76所述的方法，其中，当所述MTS处理被启用时，所述比特流包括用于所述ISP模式和/或所述SBT模式的显式标志。

79.根据权利要求75或76所述的方法，其中，当隐式MTS处理被禁用时，ISP模式和/或SBT模式被禁用。

80.根据权利要求1所述的方法，包括：

基于对视频的视频区域的子块内分割ISP模式或子块变换SBT模式的启用，做出关于对所述视频区域的多重变换集MTS处理的启用的决策；和

基于所述决策，执行所述视频区域和视频的比特流之间的第七转换。

81.根据权利要求80所述的方法，其中，所述视频区域包括包括序列、视频、图片、条带、片组、片、图块、子图片、编解码树单元CTU行、CTU、编解码单元CU或块。

82.根据权利要求80或81所述的方法，其中，当ISP模式和/或SBT模式被禁用时，所述MTS处理被启用。

83.根据权利要求1所述的方法，包括：

执行视频的当前块和视频的比特流之间的第八转换，

其中，所述比特流包括第一语法元素和第二语法元素，所述第一语法元素控制对所述当前块的隐式多重变换集MTS处理的使用，并且所述第二语法元素控制对所述当前块的显式MTS处理的使用，其中，所述第一语法元素不同于所述第二语法元素，并且

其中，隐式MTS处理包括使用所述当前块的特性来确定在第八转换期间使用的变换。

84.根据权利要求83所述的方法，其中，在所述比特流中在序列级信令通知所述第一语法元素和所述第二语法元素。

85.根据权利要求1所述的方法，包括：

对于视频的视频区域，使用基于所述视频区域的编解码模式的一个或多个控制参数，做出关于将隐式多重变换集MTS处理和/或显式MTS处理应用于所述视频区域的决策；以及

基于所述决策，执行所述视频区域和视频的比特流之间的第九转换，

其中，隐式MTS处理包括使用当前块的特性来确定第九转换期间使用的变换。

86.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中，所述指令在由所述处理器执行时使得所述处理器：

为视频的当前块和所述视频的比特流之间的转换，基于所述当前块和/或所述当前块的一个或多个临近块的代表性系数集并且在没有一个或多个变换索引的情况下，做出关于在变换处理中应用于所述当前块的一个或多个变换矩阵的决策，其中，所述一个或多个变换矩阵包括水平变换矩阵或垂直变换矩阵中的至少一个；和

基于所述决策执行所述转换，

87.根据权利要求86所述的装置，其中，所述代表性系数集包括所述当前块和/或所述一个或多个临近块的所有系数的一部分，并且所述一个或多个变换矩阵基于所述代表性系数集的函数，所述函数的输出是所述代表性系数集中的系数的数量，并且

其中，所述水平变换矩阵是类型VII的离散正弦变换DST(DST-VII)，所述垂直变换矩阵是类型II的离散余弦变换DCT(DCT-II)。

88.一种存储指令的非暂时性计算机可读存储介质，所述指令使得处理器：

基于所述决策执行所述转换，

89.根据权利要求88所述的非暂时性计算机可读存储介质，其中，所述代表性系数集包括所述当前块和/或所述一个或多个临近块的所有系数的一部分，并且所述一个或多个变换矩阵基于所述代表性系数集的函数，所述函数的输出是所述代表性系数集中的系数的数量，并且

90.一种存储视频的比特流的方法，包括：

基于视频的当前块和/或所述当前块的一个或多个临近块的代表性系数集并且在没有一个或多个变换索引的情况下，做出关于在变换处理中应用于所述当前块的一个或多个变换矩阵的决策，其中，所述一个或多个变换矩阵包括水平变换矩阵或垂直变换矩阵中的至少一个；

基于所述决策生成所述比特流；和

将所生成的比特流存储到非暂时性计算机可读记录介质中，

91.根据权利要求90所述的方法，其中，所述代表性系数集包括所述当前块和/或所述一个或多个临近块的所有系数的一部分，并且所述一个或多个变换矩阵基于所述代表性系数集的函数，所述函数的输出是所述代表性系数集中的系数的数量，并且

92.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中，所述指令在由所述处理器执行时使得所述处理器实现权利要求4至6和8至84中的任一项所述的方法。

93.一种存储指令的非暂时性计算机可读存储介质，所述指令使得处理器执行权利要求4至6和8至84中的任一项所述的方法。