[go: up one dir, main page]

CN116158078A - 将abt与基于vvc子块的编码工具组合 - Google Patents

将abt与基于vvc子块的编码工具组合 Download PDF

Info

Publication number
CN116158078A
CN116158078A CN202180057870.0A CN202180057870A CN116158078A CN 116158078 A CN116158078 A CN 116158078A CN 202180057870 A CN202180057870 A CN 202180057870A CN 116158078 A CN116158078 A CN 116158078A
Authority
CN
China
Prior art keywords
sub
block
video
size
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180057870.0A
Other languages
English (en)
Inventor
F·莱莱昂内克
B·埃斯特班
K·纳赛尔
G·B·拉斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
Interactive Digital Vc Holdings France Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interactive Digital Vc Holdings France Ltd filed Critical Interactive Digital Vc Holdings France Ltd
Publication of CN116158078A publication Critical patent/CN116158078A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

非对称二进制树与编码工具诸如变换单元平铺、仿射运动补偿、解码器侧运动向量细化和双向光流组合使用。在另一实施方案中，非对称二进制树与子块时间运动向量预测组合使用。实施方案使得能够根据编码工具(诸如在通用视频编码中使用的编码工具)将编码块平铺成子块。

Description

将ABT与基于VVC子块的编码工具组合
技术领域
本实施方案中的至少一个实施方案通常涉及一种用于视频编码或解码、压缩或解压缩的方法或装置。
背景技术
为了实现高压缩效率，图像和视频编码方案通常采用包括运动向量预测在内的预测以及变换来利用视频内容中的空间和时间冗余。一般来讲，帧内或帧间预测用于利用帧内或帧间相关性，然后对在原始图像与预测图像之间的差值(通常表示为预测错误或预测残差)进行变换、量化和熵编码。为了重构视频，通过对应于熵编码、量化、变换和预测的逆过程对压缩数据进行解码。
发明内容
本实施方案中的至少一个实施方案整体涉及一种用于视频编码或解码的方法或装置，并且更具体地涉及一种将非对称二进制树与基于子块的编码工具一起使用的方法或装置，如在VVC(通用视频编码或H.266)标准中。
根据第一方面，提供了一种方法。该方法包括以下步骤：将视频图像的块分区成大小与一个或多个编码工具对应的子块；以及使用所述一个或多个编码工具来对视频块进行编码。
根据第二方面，提供了一种方法。该方法包括以下步骤：解析视频比特流以确定子块大小；以及对所述确定大小的所述子块使用一个或多个解码工具来对视频块进行解码。
根据另一方面，提供了一种装置。该装置包括处理器。该处理器可以被配置为通过执行前述方法中的任一种来对视频块进行编码或对比特流进行解码。
根据至少一个实施方案的另一个一般方面，提供了一种设备，该设备包括：根据解码实施方案中的任一实施方案的装置；以及以下项中的至少一者：(i)天线，该天线被配置为接收信号，该信号包括视频块；(ii)频带限制器，该频带限制器被配置为将所接收的信号限制为包括该视频块的频带；和(iii)显示器，该显示器被配置为显示表示视频块的输出。
根据至少一个实施方案的另一个一般方面，提供了一种非暂态计算机可读介质，该非暂态计算机可读介质包括根据所描述的编码实施方案或变体中的任一者生成的数据内容。
根据至少一个实施方案的另一个一般方面，提供了一种信号，该信号包括根据所描述的编码实施方案或变体中的任一实施方案或变体生成的视频数据。
根据至少一个实施方案的另一个一般方面，比特流被格式化以包括根据所描述的编码实施方案或变体中的任一者生成的数据内容。
根据至少一个实施方案的另一一般方面，提供了一种计算机程序产品，该计算机程序产品包括指令，当程序由计算机执行时该指令使得计算机执行所描述的解码实施方案或变型中的任一者。
通过将结合附图阅读的示例性实施方案的以下详细描述，一般方面的这些和其他方面、特征和优点将变得显而易见。
附图说明
图1示出了用于表示压缩HEVC图片的编码树单元和编码树概念。
图2示出了编码树单元分成编码单元、预测单元和变换单元的示例性划分。
图3示出了将编码单元分区成预测单元。
图4示出了四叉树加二进制树(QTBT)CTU表示的示例。
图5示出了水平(左)和竖直(右)三叉树编码单元分割模式。
图6示出了在描述中考虑的视频编码方案中支持的所有编码单元分割模式的集合。
图7示出了由ABT编码工具引入的附加的CU二进制非对称分割模式。
图8示出了一组扩展的可能CU分割模式，包括水平和竖直三叉树分割模式。
图9示出了经选择以对示例性图片进行编码的编码结构的示例，其包括CTU的四叉树分解和嵌入到四叉树中的二进制树分解。
图10示出了标准的通用视频压缩方案。
图11示出了标准的通用视频解压缩方案。
图12示出了在VVC中，在CU大小高于最大变换大小的情况下自动将CU平铺成变换单元。
图13示出了在CU大小在宽度或高度上为三的倍数的情况下用于自动TU平铺的所提出的实施方案。
图14示出了在CU大小在宽度或高度上为三的倍数的情况下用于自动TU平铺的所提出的第二另选实施方案。
图15示出了在CU大小在宽度或高度上为三的倍数的情况下用于自动TU平铺的所提出的第三另选实施方案。
图16示出了在CU大小在宽度或高度上为三的倍数的情况下用于自动TU平铺的所提出的其他另选实施方案。
图17示出了在联合探索模型和VTM中使用的简单仿射模型。
图18示出了基于4x4子CU的仿射运动向量场。
图19示出了用于仿射运动补偿的子块划分的所提出的第一方法。
图20示出了用于在宽度或高度上的大小为六的仿射色度编码块的子块划分的所提出的另选方法。
图21示出了当色度编码块在宽度或高度上的大小为六时用于子块划分的另一另选方法。
图22示出了用于色度子块的运动补偿时间预测的实际运动向量的示例性计算。
图23示出了对Nx6色度编码块的最后一行或6xN色度编码块的最后一列处的子块的所提出的子块运动向量分配。
图24示出了用于JEM中的CU的ATMVP运动预测。
图25示出了用于SbTMVP运动补偿的子块划分的所提出的第一方法。
图26示出了用于SbTMVP子块划分的所提出的另选实施方案。
图27示出了用于SbTMVP子块划分的另外的另选方法。
图28示出了用于BDOF帧间预测细化的子块划分的所提出的第一方法。
图29示出了用于BDOF帧间预测细化的所提出的另选实施方案。
图30示出了用于BDOF帧间预测细化的另外的另选方法。
图31示出了在一般描述方面情况下的方法的一个实施方案。
图32示出了在一般描述方面情况下的方法的另一个实施方案。
图33示出了在所描述方面情况下的示例性装置。
图34示出了在一般描述方面情况下的用于编码/解码的基于处理器的系统。
具体实施方式
此处描述的实施方案在视频压缩领域中，并且一般涉及视频压缩以及视频编码和解码，更具体地涉及将非对称二进制树分区与基于VVC子块的编码工具组合。
为了实现高压缩效率，图像和视频编码方案通常采用包括运动向量预测在内的预测以及变换来利用视频内容中的空间和时间冗余。一般来讲，帧内或帧间预测用于利用帧内或帧间相关性，然后对在原始图像与预测图像之间的差值(通常表示为预测错误或预测残差)进行变换、量化和熵编码。为了重构视频，通过对应于熵编码、量化、变换和预测的逆过程对压缩数据进行解码。
在HEVC(高效视频编码，ISO/IEC 23008-2，ITU-T H.265)视频压缩标准中，图片被划分为所谓的编码树单元(CTU)，其具有64x64、128x128或256x256的典型大小。
每个编码树单元(CTU)由压缩域中的编码树表示。如图1所示，这是CTU的四叉树划分，其中每个叶称为编码单元(CU)。
然后，每个CU被给出一些帧内或帧间预测参数(预测信息)。为此，在空间上将其分区为一个或多个预测单元(PU)，每个PU被分配一些预测信息。运动向量与每个预测单元(PU)相关联。如图2所示，在CU级别上分配帧内或帧间编码模式。
编码单元到预测单元的分区是根据在比特流中发信号通知的分区类型来完成的。对于帧内编码单元，仅使用图3所示的分区类型2Nx2N和NxN。这意味着在帧内编码单元中仅使用正方形预测单元。
相反，帧间编码单元可以使用图3所示的所有分区类型。
根据HEVC标准，编码单元还遵循“变换树”以递归方式划分为所谓的变换单元。因此，变换树是编码单元的四叉树划分，并且变换单元是变换树的叶子。变换单元封装对应于所考虑的正方形空间区域的每个图片分量的正方形变换块。变换块是单个分量中的样本的正方形块，其中应用相同的变换。
VVC的新兴视频压缩工具包括压缩域中的编码树单元表示，以便在压缩域中以更灵活的方式表示图片数据。编码树的这种灵活表示的优点在于，与HEVC标准的CU/PU/TU布置相比，其提供增加的压缩效率。
四叉树加二进制树(QTBT)编码工具提供此增加的灵活性。其包含在编码树中，其中编码单元可以四叉树和二进制树方式分割。图4中示出了编码树单元的此类编码树表示。
决定通过速率失真优化程序在编码器侧上分割编码单元，该速率失真优化程序在于以最小速率失真成本确定CTU的QTBT表示。
在QTBT技术中，CU具有正方形或矩形形状。编码单元的大小始终为2的幂，并且通常从4到128。
除了该编码单元的各种矩形形状，该新的CTU表示与HEVC相比具有以下不同特性。
·CTU的QTBT分解由两个阶段组成：首先，以四叉树方式分割CTU，然后，可以以二进制方式进一步划分每个四叉树叶。这在图4的右侧示出，其中实线表示四叉树分解阶段，并且虚线表示在空间上嵌入四叉树叶中的二进制分解。
·在切片内，亮度和色度块分区结构被分离并被独立地决定。
·不再采用分区成预测单元或变换单元的CU。换句话说，每个编码单元系统地由单个预测单元(先前的2Nx2N预测单元分区类型)和单个变换单元(不划分成变换树)构成。
·对于VVC草案6中的大多数编码单元，对于大多数CU编码模式，不再采用分区成预测单元或变换单元的CU。换句话说，每个编码单元系统地由单个预测单元(2Nx2N预测单元分区类型)和单个变换单元(不划分成变换树)构成。这对于所有VVC编码单元均成立，除了在VVC草案6的4个特定编码模式中，其中应用以下PU或TU分区。
о在宽度或高度大于64的CU的情况下，执行将CU平铺为大小等于所支持的最大变换大小的TU。典型地，最大变换大小可以等于64。
о在以ISP(帧内子分区)模式编码的帧内CU的情况下，根据所使用的ISP模式的类型和CU的形状，将CU分割成2个或4个变换单元。
о在以SBT(子块变换)模式编码的帧间CU的情况下，将CU分割成2个变换单元，所得TU中的一个TU必然具有等于零的残差数据。
о在以三角形预测合并(TPM)模式编码的帧间CU的情况下，CU由2个三角形预测单元组成，每个PU被分配有其自身的运动数据。
·VVC(通用视频编码)视频压缩标准中采用的附加CU分割模式(被称为水平三叉树分割模式或竖直三叉树分割模式)包括将编码单元(CU)划分成3个子编码单元(子CU)，其中，在所考虑的空间划分方向上，相应的大小等于父CU大小的1/4、1/2和1/4。这示于图5中。
图6中示出了此类编解码器中存在的CU分割模式的完整集合。
在另一公开中，提出引入具有新矩形形状的编码单元，这是由被称为非对称分割模式的新二进制分割模式产生的。
这意味着添加了新的矩形CU形状。这些新形状在宽度和/或高度上的大小等于3·2n。此外，具有在宽度或高度上为3的倍数的大小的CU可进一步以二进制方式水平地或竖直地分割。
因此，具有大小(w，h)(宽度和高度)的正方形编码单元将通过所提出的非对称二进制分割模式中的一个非对称二进制分割模式(例如，HOR_UP(水平向上))被分割，这将引起具有相应矩形大小
Figure BDA0004113502720000061
和/>
Figure BDA0004113502720000062
的2个子编码单元。
当使用来自VVC的所有分割模式和所有ABT(非对称二进制树)分割模式时，在图8中给出了在设想的编码方案中支持的可能分区的集合。三叉树在于在所考虑的取向上将CU分割成相对于父CU具有大小(1/4、1/2、1/4)的树子CU。
图9示出了由编码器选择的编码单元。可以看出，在该示例性图片中经常使用三叉树和非对称二进制树分割模式。还注意到，这些附加编码单元拓扑有助于具有与包含在原始信号中的结构和不连续在空间上匹配的编码结构。
当在VVC草案10压缩系统之上引入非对称二进制树(ABT)分割模式时，本发明提出了一些VVC编码工具的一些适配。
这些适配包括ABT与VTM中包含的编码工具的协同作用，这些编码工具不包含在JEM3、JVET-J0022中包含的编码方案中。
本发明解决的一个问题是如何有效地将ABT分区的使用与VVC草案10规范中特定的工具组合，这些工具在已经提出了ABT的以前的编解码器(JEM3、JVET-J0022)中是不存在的。
本说明书提出联合使用ABT分区模式和一些VVC特定编码工具的若干方式。这里所提的这些特定VVC工具包括以下工具。
-TU平铺
-仿射运动补偿
-DMVR(解码器侧运动向量细化)
-BDOF(双向光流)
VVC中的TU平铺和所提出的与ABT的协同作用
本节涉及将编码单元自动平铺成变换单元。VVC标准自动地将大小大于所考虑的VVC比特流中支持的最大变换大小的编码单元(CU)分割成变换单元。为此，将大小大于沿一个方向(宽度或高度)的最大变换大小的CU分区成大小等于该方向上的最大变换大小的相等大小的Tu。这示于图12中。
在ABT的情况下，CU的大小可不等于2的幂，因此不是最大变换大小(其通常为64或32)的倍数。在此情况下，必须完成针对在Tu中适当地平铺此类CU的解决方案。
为此在这里提出了若干变体。第一个(最简单的一个)变体在于将CU划分成大小等于所关注方向上的最大变换大小的TU，除了采用小于最大变换大小的剩余块部分的大小的最后TU之外。这对应于CU右侧的TU(图13的情况)，或者在竖直方向的情况下对应于最底部的TU。
另选实施方案可在于将所考虑的CU划分成相等大小的3个TU，如图14所示，因为所考虑的CU大小是3的倍数。
在所得Tu大小大于或等于所支持的最小TU大小的情况下，另选实施方案可在于将所考虑的CU划分成相等大小的2个部分，如图15所示。
最终，最后一个变体包括以确保所得TU全部完全包含在对应于图片的规则网格的正方形区域中的方式选择将所考虑的CU平铺成TU，其中粒度等于在宽度和高度上的最大变换大小。这示于图16中。在该图中，浅虚线示出了最大TU网格。待分割的CU不与该网格对准，因为CU具有大小3×2n。在此情况下，以这样的方式选择平铺成Tu，即使得两个所得的Tu完全包含在64x64网格(在最大变换大小为64的情况下)或32x32网格(在最大变换大小为32x32的情况下)的单元中。
根据最后一个变体，采用与图16相同的方法，但是具有64x64单元的固定大小(对应于用于一些硬件解码器具体实施的虚拟流水线解码单元)，而不管最大变换大小的值如何。
仿射运动补偿
如在VVC草案7中指定的仿射运动补偿
在VVC中，支持比纯平移更丰富的一些运动模型以改进时间预测。为此，可将PU在空间上划分成子PU，并且可使用更丰富的模型来向每个子PU分配专用运动向量。
CU不再被划分成PU或TU，并且一些运动数据被直接分配给每个CU。在该新编解码器设计中，可将CU划分成子CU并且可针对每个子CU计算运动向量。
在VVC中引入的新运动模型中的一个新运动模型是仿射模型，其基本上在于使用仿射模型来表示CU中的运动向量。
图17示出了用于2个或3个控制点的运动模型。用于2个控制点的仿射运动场(也被称为4参数仿射模型)在于用于所考虑的块内的每个位置(x,y)的以下运动向量分量值：
Figure BDA0004113502720000091
等式1：用于生成CU内的运动场以进行预测的4参数仿射模型其中(v0x,v0y)和(v1x,v1y)是用于生成仿射运动场的所谓的控制点运动向量。(v0x,v0y)是运动向量左上角控制点。(v1x,v1y)是运动向量右上角控制点。
通过使用等式3，等式1可以被写为等式2：
Figure BDA0004113502720000092
等式2：用于表示以4参数仿射模式编码的CU的基于子块的运动场的4参数仿射模型
Figure BDA0004113502720000093
等式3：用于4参数仿射模型的仿射模型参数
被称为6参数仿射运动模型的具有3个控制点的模型也可用于表示给定编码单元的基于子块的运动场。在6参数仿射模型的情况下的运动场被计算为
Figure BDA0004113502720000094
等式4：用于表示以6参数仿射模式编码的CU的基于子块的运动场的6参数仿射运动场
Figure BDA0004113502720000095
等式5：6参数仿射运动场的另选表达式
Figure BDA0004113502720000101
等式6：用于6参数仿射模型的仿射模型参数
在实践中，为了保持合理的复杂性，针对所考虑的CU的4x4子块(子CU)的每个样本计算相同运动向量，如图6所示。在每个子块的中心的位置处，从控制点运动向量计算仿射运动向量。所获得的运动向量(MV)以1/16像素精度表示。
结果，通过利用其自身的运动向量对每个子块进行运动补偿预测来构建仿射模式下的编码单元的预测单元(PU)。
仿射运动补偿和ABT的组合
如上所解释，在VVC中以4x4子块为基础执行仿射运动补偿。当将ABT引入到VVC编解码器中时，一些色度编码块的大小可能等于4的倍数。对于大小在宽度或高度上等于6的色度编码块，情况就是如此。
在此种情况下，不能进行编码块的规则4x4子块划分。因此，必须对如何将CU适当地划分成子块以用于仿射运动补偿做出一些选择。
第一解决方案由图19给出。其在于生成4x4子块，除了在CU具有非2的幂大小的方向上具有大小为2的子块的最后一行之外。
另选解决方案可在于在CU大小不是2的幂的方向上根据大小为2的子块的规则网格来划分CU。这在图20的示例中示出。另一变体是在CU大小为3的倍数的方向上将CU划分成大小为3的子块。这在图21中示出。
在大小为6的色度块中的仿射补偿中处理的另一方面是用于编码块中的一些子块的最终运动向量的计算。
实际上，在VVC中，针对亮度分量表示仿射运动场。事实上，用于每个子块的运动向量的位置与对应亮度子块的中心的位置相对应。因此，用于色度的这些运动向量在色度分量中具有移位的空间相位。为了处理该情况，在VVC中，计算子块的运动向量与其右下相邻子块的运动向量之间的平均值，并且将所得MV用于该子块的运动补偿。这在图22中的6x8色度示例块的情况下示出。
对于宽度为6的色度编码块的子块的最后一列或高度为6的色度编码块中的子块的最后一行，不能进行在VVC中执行的MV平均。因此，提出在此种情况下使用与所考虑的子块相关联的MV，如图23所示。
ABT与子块时间运动向量预测(SbTMVP)的组合
VVC中的SbTMVP
在VVC中，可选运动向量时间预测(正式称为子块时间运动向量预测)在于以下内容。ATMVP运动向量预测是VVC中的特定时间运动预测模式。在可选时间运动向量预测(ATMVP)方法中，从用于当前CU的参考图片检索用于当前CU的一个或若干个时间运动向量预测值。
首先，获得所谓的时间运动向量和相关联的参考图片索引，作为与当前CU的通常合并列表候选中的第一候选相关联的运动数据。
接下来，将当前CU划分成NxN个子CU，N通常等于4。这在图13中示出。对于每个NxN子块，在与时间MV相关联的参考图片中，借助于时间运动向量来识别运动向量和参考图片索引。考虑由时间MV从当前子CU位置指向的参考图片中的NxN子块。将其运动数据作为用于当前子CU的ATMVP运动数据预测。然后通过适当的运动向量缩放将其转换成当前子CU的运动向量和参考图片索引。
SbTMVP和ABT的组合
在VVC中，SbTMVP以8x8子块为基础执行运动补偿时间预测。至于运动补偿，对于ABT需要一些适配，特别是在宽度或高度上的CU大小为12的情况下。
在CU大小为12的此种情况下，这里提出了与针对仿射提出的那些解决方案类似的解决方案。这通常采取图25、图26或图27的子块划分中的一种子块划分的形式。
BDOF(双向光流)与ABT的组合
在VVC中，BDOF基于光流执行帧间双向预测块的细化。
BDOF仅应用于亮度，并且根据CU大小而在8x8、8x16、16x8或16x16子块基础上进行。它采用高达16x16的最大可能的子块大小。
因此，对于由ABT引入的如24或1的CU大小，需要进行一定的子块划分适配。这里提出的另选方法类似于在描述SbTMVP和ABT的组合的小节中已经提出的那些方法，但是针对等于16x16的标称子块大小。这分别由图28、图29和图30示出。
另选地，子块大小4可用于等于12的亮度编码块(CB)大小，子块大小8可用于等于24的亮度CB大小，并且子块大小16可用于亮度CB大小48和96。同一规则可单独应用于宽度和高度。
DMVR(解码器侧运动向量细化)与ABT的组合
在VVC中，DMVR通过当前正被预测的块的两个参考块之间的失真最小化来进行双向运动数据细化。
至于BDOF，根据CU大小，用于DMVR的最大处理单元是16x16。将DMVR应用于宽度和高度至少等于8且亮度面积严格大于64个样本的CU。
因此，提出了与针对BDOF提出的那些相同的另选方法来执行细分为子块，以将DMVR应用于大小等于12或24的编码单元。对于大小48和96，子块大小16适当地工作。
图31中示出了在本文所述的一般方面下的方法3100的一个实施方案。该方法起始于开始框3101，并且控制进行到框3110，以用于将视频图像的块分区成大小与一个或多个编码工具对应的子块。控制从框3110进行到框3120，以用于使用所述一个或多个编码工具来对视频块进行编码。
图32中示出了在本文所述的一般方面下的方法3200的一个实施方案。该方法起始于开始框3201，并且控制进行到框3210，以用于解析视频比特流以确定子块大小。控制从框3210进行到框3220，以用于对所述确定大小的所述子块使用一个或多个解码工具来对视频块进行解码。
图33示出了用于使用基于相邻样本依赖参数模型的编码模式的简化来对视频数据进行编码、解码、压缩或解压缩的装置3300的一个实施方案。该装置包括处理器3310并且可以通过至少一个端口互连到存储器3320。处理器3310和存储器3320两者还可以具有与外部连接的一个或多个附加互连。
处理器3310还被配置为在比特流中插入或接收信息，并且使用所述方面中的任一方面来进行压缩、编码或解码。
本文所述的实施方案包括各个方面，包括工具、特征、实施方案、模型、方法等。具体描述了这些方面中的许多方面，并且至少示出各个特性，通常以可能听起来具有限制性的方式描述。然而，这是为了描述清楚，并不限制这些方面的应用或范围。实际上，所有不同的方面可组合和互换以提供进一步的方面。此外，这些方面也可与先前提交中描述的方面组合和互换。
本专利申请中描述和设想的方面可以许多不同的形式实现。图10、图11和图34提供了一些实施方案，但是设想了其他实施方案，并且图10、图11和图34的讨论不限制具体实施的广度。这些方面中的至少一个方面通常涉及视频编码和解码，并且至少一个其他方面通常涉及发射生成或编码的比特流。这些和其他方面可实现为方法、装置、其上存储有用于根据所述方法中任一种对视频数据编码或解码的指令的计算机可读存储介质，和/或其上存储有根据所述方法中任一种生成的比特流的计算机可读存储介质。
在本申请中，术语“重构”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常，但不必然，术语“重构”在编码端使用，而“解码”在解码端使用。
本文描述了各种方法，并且每种方法包括用于实现方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。
本专利申请中所述的各种方法和其他方面可用于修改视频编码器100和解码器200的模块(例如，帧内预测、熵编码和/或解码模块(160、360、145、330))，如图10和图11所示。此外，本发明方面不限于VVC或HEVC，并且可应用于例如其他标准和推荐(无论是预先存在的还是未来开发的)以及任何此类标准和推荐的扩展(包括VVC和HEVC)。除非另外指明或技术上排除在外，否则本申请中所述的方面可单独或组合使用。
在本申请中使用各种数值。具体值是为了示例目的，并且所述方面不限于这些具体值。
图10示出了编码器100。设想了这一编码器100的变型，但是为了清楚起见，下文描述了编码器100而不描述所有预期的变型。
在进行编码之前，视频序列可经过预编码处理(101)，例如，将颜色变换应用于输入的彩色图片(例如，从RGB 4:4:4转换到YCbCr 4:2:0)，或执行输入图片分量的重新映射，以便获取更能弹性应对压缩的信号分布(例如，使用颜色分量中的一个颜色分量的直方图均衡化)。元数据可与预处理相关联并且附接到比特流。
如下所述，在编码器100中，图片由编码器元件进行编码。在例如CU的单元中对要编码的图片进行分区(102)和处理。例如，使用帧内模式或帧间模式对每个单元进行编码。当以帧内模式对单元进行编码时，该单元执行帧内预测(160)。在帧间模式中，执行运动估计(175)和补偿(170)。编码器决定(105)使用帧内模式或帧间模式中的哪一者对单元进行编码，以及通过例如预测模式标志来指示帧内/帧间决策。例如，通过从初始图像块减去(110)预测块来计算预测残差。
然后，对预测残差进行变换(125)和量化(130)。对经量化的变换系数以及运动向量和其他语法元素进行熵编码(145)以输出比特流。该编码器可跳过变换，并对未变换的残差信号直接应用量化。该编码器可绕过变换和量化两者，即，在不应用变换或量化过程的情况下直接对残差进行编码。
该编码器对编码块进行解码以提供进一步预测的参考。对经量化的变换系数进行解量化(140)和逆变换(150)以对预测残差进行解码。组合(155)经解码的预测残差和预测块，重构图像块。将环路滤波器(165)应用于重构图片以执行例如去块/SAO(样本自适应偏移)滤波，从而减少编码伪影。经滤波的图像存储在参考图片缓冲器(180)中。
图11示出了视频解码器200的框图。在解码器200中，比特流由解码器元件进行解码，如下所述。视频解码器200通常执行与如图10所述的编码阶段相反的解码阶段。编码器100通常还执行视频解码作为对视频数据进行编码的一部分。
具体地，解码器的输入包括视频比特流，该视频比特流可以由视频编码器100生成。首先，对比特流进行熵解码(230)以获得变换系数、运动向量和其他编码信息。图片分区信息指示如何对图片进行分区。因此，解码器可以根据经解码的图片分区信息来划分(235)图片。对变换系数进行解量化(240)和逆变换(250)以对预测残差进行解码。组合(255)经解码的预测残差和预测块，重构图像块。可以通过帧内预测(260)或运动补偿预测(即帧间预测)(275)来获取(270)预测块。将环路滤波器(265)应用于重构图像。经滤波的图像存储在参考图片缓冲器(280)中。
经解码的图片还可经过解码后处理(285)，例如，逆颜色变换(例如，从YcbCr 4:2:0到RGB 4:4:4的变换)或执行在预编码过程(101)中执行的重新映射的逆过程的逆重新映射。解码后处理可使用在预编码处理中导出并且在比特流中有信号通知的元数据。
图34示出了在其中实现各种方面和实施方案的系统的示例的框图。系统1000可以体现为包括下文所述的各种部件的设备，并且被配置为执行本文档中所述的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视机接收器、个人视频录制系统、连接的家用电器和服务器。系统1000的元件可单独地或组合地体现在单个集成电路(IC)、多个IC和/或分立部件中。例如，在至少一个实施方案中，系统1000的处理和编码器/解码器元件分布在多个IC和/或分立部件上。在各种实施方案中，系统1000经由例如通信总线或通过专用输入和/或输出端口通信地耦接到一个或多个其他系统或其他电子设备。在各种实施方案中，系统1000被配置为实现本文档中所述的一个或多个方面。
系统1000包括至少一个处理器1010，该至少一个处理器被配置为执行加载到其中的指令以用于实现例如本文档中所述的各个方面。处理器1010可包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统1000包括至少一个存储器1020(例如，易失性存储器设备和/或非易失性存储器设备)。系统1000包括存储设备1040，该存储设备可包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1040可包括内部存储设备、附接式存储设备(包括可拆卸和不可拆卸的存储设备)和/或网络可访问的存储设备。
系统1000包括编码器/解码器模块1030，该编码器/解码器模块被配置为例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块1030可包括其自身的处理器和存储器。编码器/解码器模块1030表示可以包括在设备中以执行编码和/或解码功能的模块。众所周知，设备可包括编码模块和解码模块中的一者或两者。另外，编码器/解码器模块1030可以实现为系统1000的独立元件，或者可结合在处理器1010内作为本领域技术人员已知的硬件和软件的组合。
要加载到处理器1010或编码器/解码器1030上以执行本文档中所述的各个方面的程序代码可以存储在存储设备1040中，并且随后加载到存储器1020上，以供处理器1010执行。根据各种实施方案，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一者或多者可在本文档中所述的过程的执行期间存储各种项目中的一个或多个项目。此类存储项目可包括但不限于输入视频、解码的视频或部分解码的视频、比特流、矩阵、变量以及处理等式、公式、运算和运算逻辑的中间或最终结果。
在一些实施方案中，处理器1010和/或编码器/解码器模块1030内的存储器用于存储指令以及提供用于在编码或解码期间所需的处理的工作存储器。然而，在其他实施方案中，处理设备外部的存储器(例如，处理设备可以为处理器1010或编码器/解码器模块1030)用于这些功能中的一者或多者。外部存储器可以是存储器1020和/或存储设备1040，例如动态易失性存储器和/或非易失性闪存存储器。在若干实施方案中，外部非易失性闪存存储器用于存储例如电视机的操作系统。在至少一个实施方案中，快速外部动态易失性存储器诸如RAM用作视频编码和解码操作的工作存储器，诸如MPEG-2(MPEG是指运动图片专家组，MPEG-2也称为ISO/IEC 13818，并且13818-1也称为H.222，13818-2也称为H.262)、HEVC(HEVC是指高效视频编码，也称为H.265和MPEG-H部分2)或VVC(通用视频编码，由联合视频专家小组(JVET)开发的新标准)。
可以通过如框1130中所示的各种输入设备来提供对系统1000的元件的输入。此类输入设备包括但不限于：(i)射频(RF)部分，其接收例如由广播器通过空中传输的RF信号；(ii)分量(COMP)输入端子(或一组COMP输入端子)；(iii)通用串行总线(USB)输入端子；和/或(iv)高清晰度多媒体接口(HDMI)输入端子。图34中未示出的其他示例包括复合视频。
在各种实施方案中，框1130的输入设备具有本领域已知的相关联的相应输入处理元件。例如，RF部分可与适用于以下的元件相关联：(i)选择所需的频率(也称为选择信号，或将信号频带限制到一个频带)，(ii)下变频选择的信号，(iii)再次频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择所需的数据包流。各种实施方案的RF部分包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可包括执行这些功能中的各种功能的调谐器，这些功能包括例如下变频接收信号至更低频率(例如，中频或近基带频率)或至基带。在一个机顶盒实施方案中，RF部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质发射的RF信号，并且通过滤波、下变频和再次滤波至所需的频带来执行频率选择。各种实施方案重新布置上述(和其他)元件的顺序，移除这些元件中的一些元件，和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模数变换器。在各种实施方案中，RF部分包括天线。
另外，USB和/或HDMI端子可包括用于跨USB和/或HDMI连接将系统1000连接到其他电子设备的相应接口处理器。应当理解，输入处理的各个方面(例如Reed-Solomon纠错)可根据需要例如在单独的输入处理IC内或在处理器1010内实现。类似地，USB或HDMI接口处理的各个方面可以根据需要在单独的接口IC内或在处理器1010内实现。经解调、纠错和解复用的流被提供给各种处理元件，包括例如处理器1010，以及与存储器和存储元件结合操作以根据需要处理数据流以呈现在输出设备上的编码器/解码器1030。
系统1000的各种元件可设置在集成外壳内，在该集成外壳内，各种元件可使用合适的连接布置(例如，如本领域已知的内部总线，包括IC间(I2C)总线、布线和印刷电路板)互连并且在其间发射数据。
系统1000包括能够经由通信信道1060与其他设备通信的通信接口1050。通信接口1050可包括但不限于被配置为通过通信信道1060传输和接收数据的收发器。通信接口1050可以包括但不限于调制解调器或网卡，并且通信信道1060可以例如在有线和/或无线介质内实现。
在各种实施方案中，使用无线网络诸如Wi-Fi网络例如IEEE 802.11(IEEE是指电气和电子工程师协会)将数据流式传输或以其他方式提供给系统1000。这些实施方案中的Wi-Fi信号通过适用于Wi-Fi通信的通信信道1060和通信接口1050接收。这些实施方案的通信信道1060通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以用于允许流传输应用和其他越过运营商的(OTT)通信。其他实施方案使用机顶盒向系统1000提供流传输数据，该机顶盒通过输入框1130的HDMI连接来递送数据。其他实施方案使用输入框1130的RF连接向系统1000提供流传输数据。如上所述，各种实施方案以非流式的方式提供数据。另外，各种实施方案使用除了Wi-Fi以外的无线网络，例如蜂窝网络或蓝牙网络。
系统1000可向各种输出设备(包括显示器1100、扬声器1110和其他外围设备1120)提供输出信号。各种实施方案的显示器1100包括例如触摸屏显示器、有机发光二极管(OLED)显示器、曲面显示器和/或可折叠显示器中的一者或多者。显示器1100可用于电视机、平板电脑、笔记本电脑、蜂窝电话(移动电话)或另外的设备。显示器1100还可与其他部件集成(例如，如在智能电话中)，或可为独立的(例如，膝上型计算机的外部监视器)。在实施方案的各种示例中，其他外围设备1120包括独立数字视频光盘(或数字通用光盘)(DVR，其可表示这两个术语)、碟片播放器、立体声系统和/或照明系统中的一者或多者。各种实施方案使用基于系统1000的输出提供功能的一个或多个外围设备1120。例如，碟片播放器执行播放系统1000的输出的功能。
在各种实施方案中，使用信令诸如AV.Link、消费电子控制(CEC)或使得能够在有或没有用户干预的情况下进行设备到设备控制的其他通信协议在系统1000与显示器1100、扬声器1110或其他外围设备1120之间传送控制信号。输出设备可通过相应接口1070、1080和1090经由专用连接通信地耦接到系统1000。另选地，输出设备可使用通信信道1060经由通信接口1050连接到系统1000。显示器1100和扬声器1110可与电子设备(诸如电视机)中的系统1000的其他部件集成在单个单元中。在各种实施方案中，显示接口1070包括显示驱动器，诸如例如定时控制器(T Con)芯片。
如果输入1130的RF部分是独立机顶盒的一部分，则显示器1100和扬声器1110可以另选地与其他部件中的一个或多个部件分开。在显示器1100和扬声器1110为外部部件的各种实施方案中，可经由专用输出连接(包括例如HDMI端口、USB端口或COMP输出)来提供输出信号。
这些实施方案可由处理器1010实现的计算机软件，或由硬件，或由硬件和软件的组合来执行。作为非限制性示例，这些实施方案可由一个或多个集成电路实现。存储器1020可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，作为非限制性示例，诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。处理器1010可以是适用于技术环境的任何类型，并且作为非限制性示例，可涵盖微处理器、通用计算机、专用计算机和基于多核心架构的处理器中的一者或多者。
各种具体实施参与解码。如本申请中所用，“解码”可包括例如对所接收的编码序列执行以产生适于显示的最终输出的过程的全部或部分。在各种实施方案中，此类过程包括通常由解码器执行的一个或多个过程，例如熵解码、逆量化、逆变换和差分解码。在各种实施方案中，此类过程还包括或另选地包括由本应用中所述的各种具体实施的解码器执行的过程。
作为进一步的示例，在实施方案中，“解码”仅是指熵解码，在另一个实施方案中，“解码”仅是指差分解码，并且在又一个实施方案中，“解码”是指熵解码和差分解码的组合。短语“解码过程”是具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。
各种具体实施参与编码。以与上面关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可涵盖例如对输入视频序列执行以产生编码比特流的过程的全部或部分。在各种实施方案中，此类过程包括通常由编码器执行的一个或多个过程，例如，分区、差分编码、变换、量化和熵编码。在各种实施方案中，此类过程还包括或另选地包括由本应用中所述的各种具体实施的编码器执行的过程。
作为进一步的示例，在实施方案中，“编码”仅是指熵编码，在另一个实施方案中，“编码”仅是指差分编码，并且在又一个实施方案中，“编码”是指差分编码和熵编码的组合。短语“编码过程”是具体地指代操作的子集还是广义地指代更广泛的编码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。
注意，本文所用的语法元素是描述性术语。因此，它们不排除使用其他语法元素名称。
当附图呈现为流程图时，应当理解，其还提供了对应装置的框图。类似地，当附图呈现为框图时，应当理解，其还提供了对应的方法/过程的流程图。
各种实施方案可以指参数模型或速率失真优化。具体地，在编码过程期间，通常考虑速率和失真之间的平衡或权衡，这常常考虑到计算复杂性的约束。可以通过速率失真优化(RDO)度量或通过最小均方(LMS)、绝对误差平均值(MAE)或其他此类测量值来测量。速率失真优化通常表述为使速率失真函数最小化，该速率失真函数是速率和失真的加权和。存在不同的方法解决速率失真优化问题。例如，这些方法可基于对所有编码选项(包括所有考虑的模式或编码参数值)的广泛测试，并且完整评估其编码成本以及重构信号在编码和解码之后的相关失真。更快的方法还可用于降低编码复杂性，特别是对基于预测或预测残差信号而不是重构的残差信号的近似失真的计算。也可使用这两种方法的混合，诸如通过针对可能的编码选项中的仅一些编码选项使用近似失真，而针对其他编码选项使用完全失真。其他方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中任一种来执行优化，但是优化不一定是对编码成本和相关失真两者的完整评估。
本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的具体实施也可以其他形式(例如，装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的处理器中实现，
该处理设备包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如，计算机、蜂窝电话、便携式/个人数字助理(“PDA”)以及有利于最终用户之间信息的通信的其他设备。
提及“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”以及它们的其他变型，意味着结合实施方案描述的特定的特征、结构、特性等包括在至少一个实施方案中。因此，短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本申请通篇的各个地方的任何其他变型不一定都是指相同的实施方案。
另外，本申请可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。
此外，本申请可涉及“访问”各种信息。访问信息可包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。
另外，本申请可涉及“接收”各种信息。与“访问”一样，接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在诸如例如存储信息、处理信息、发射信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，“接收”通常以一种方式或另一种方式参与。
应当理解，例如，在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下，使用以下“/”、“和/或”和“至少一种”中的任一种旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或仅选择第三列出的选项(C)，或仅选择第一列出的选项和第二列出的选项(A和B)，或仅选择第一列出的选项和第三列出的选项(A和C)，或仅选择第二列出的选项和第三列出的选项(B和C)，或选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。
而且，如本文所用，词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。例如，在某些实施方案中，编码器向多个变换、编码模式或标记中的特定一者发信号通知。这样，在一个实施方案中，在编码器侧和解码器侧均使用相同的变换、参数或模式。因此，例如，编码器可将特定参数发射(显式信令)到解码器，使得解码器可使用相同的特定参数。相反，如果解码器已具有特定参数以及其他，则可在不发射(隐式信令)的情况下使用信令，以简单允许解码器知道和选择特定参数。通过避免发射任何实际功能，在各种实施方案中实现了比特节省。应当理解，信令可以各种方式实现。例如，在各种实施方案中，使用一个或多个语法元素、标志等将信息发信号通知至对应解码器。虽然前面涉及词语“signal(发信号通知)”的动词形式，但是词语“signal(信号)”在本文也可用作名词。
对于本领域的普通技术人员将显而易见的是，具体实施可产生格式化为携带例如可存储或可传输的信息的各种信号。信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如，可格式化信号以携带所述实施方案的比特流。可格式化此类信号例如为电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如对数据流编码并且用编码的数据流调制载体。信号携带的信息可以是例如模拟或数字信息。已知的是，信号可通过各种不同的有线或无线链路发射。信号可存储在处理器可读介质上。
我们描述了多个实施方案，跨各种权利要求类别和类型。这些实施方案的特征可以单独提供或以任何组合形式提供。此外，实施方案可包括以下特征、设备或方面中的一个或多个，单独地或以任何组合，跨各种权利要求类别和类型：
·联合使用非对称二进制树分区与VVC专用编码工具。
·其中VVC编码工具包括变换单元平铺、仿射运动补偿、解码器侧运动向量细化和双向光流的上述实施方案。
·包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号。
·包括传递根据所述实施方案中任一项生成的信息的语法的比特流或信号。
·根据所述实施方案中任一项所述的创建和/或发射和/或接收和/或解码。
·根据所述实施方案中任一项所述的方法、过程、装置、存储指令的介质、存储数据的介质或信号。
·在信令中插入语法元素，该语法元素使得解码器能够以与编码器所使用的方式相对应的方式确定解码信息。
·对包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号进行创建和/或发送和/或接收和/或解码。
·根据所描述的实施方案中的任一实施方案执行变换方法的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。
·根据所描述的实施方案中的任一实施方案执行变换方法确定并显
示所得图像(例如，使用监视器、屏幕或其他类型的显示器)的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。
·根据所描述的实施方案中的任一实施方案选择、频带限制或调谐(例如，使用调谐器)信道以接收包括编码图像的信号并执行变换方法的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。
·通过空中接收(例如，使用天线)包括编码图像的信号并且执行
变换方法的电视机、机顶盒、蜂窝电话、平板电脑或其他电子设备。

Claims (15)

1.一种方法，所述方法包括：
将视频图像的块分区成大小对应于一个或多个编码工具的子块；以及
使用所述一个或多个编码工具来对所述视频块进行编码。
2.一种装置，所述装置包括：
处理器，所述处理器被配置为：
将视频图像的块分区成大小对应于一个或多个编码工具的子块；以及
使用所述一个或多个编码工具来对所述视频块进行编码。
3.一种方法，所述方法包括：
解析视频比特流以确定子块大小；以及
对所述确定大小的所述子块使用一个或多个解码工具来对所述视频块进行解码。
4.一种装置，所述装置包括：
处理器，所述处理器被配置为：
解析视频比特流以确定子块大小；以及
对所述确定大小的所述子块使用一个或多个解码工具来对所述视频块进行解码。
5.根据权利要求1或3所述的方法或者根据权利要求2或4所述的装置，其中所述视频编码或解码工具包括变换单元平铺、仿射运动补偿、解码器侧运动向量细化以及双向光流。
6.根据权利要求1或3所述的方法或者根据权利要求2或4所述的装置，其中子块被选择为大小相等。
7.根据权利要求1或3所述的方法或者根据权利要求2或4所述的装置，其中编码单元被平铺成变换单元。
8.根据权利要求1或3所述的方法或者根据权利要求2或4所述的装置，其中所得的子块被完全包含在与所述视频图像的规则网格对应的正方形区域内，其中粒度等于在宽度和高度上的最大变换大小。
9.根据权利要求1或3所述的方法或者根据权利要求2或4所述的装置，其中预测单元被划分成子预测单元，并且运动模型用于将每个子预测单元分配给专用运动向量。
10.根据权利要求1或3所述的方法或者根据权利要求2或4所述的装置，其中基于相关联的参考图片中的时间运动向量来识别运动向量和参考图片。
11.根据权利要求1或3所述的方法或者根据权利要求2或4所述的装置，其中非对称二进制树分区与子块时间运动向量预测组合使用。
12.一种设备，包括：
根据权利要求1所述的装置；以及
以下项中的至少一者：(i)天线，所述天线被配置为接收信号，所述信号包括视频块；(ii)频带限制器，所述频带限制器被配置为将所接收的信号限制为包括所述视频块的频带；和(iii)显示器，所述显示器被配置为显示表示视频块的输出。
13.一种非暂态计算机可读介质，所述非暂态计算机可读介质包含根据权利要求1中的任一项所述的方法或者由根据权利要求2所述的装置生成的用于使用处理器回放的数据内容。
14.一种信号，所述信号包括根据权利要求1所述的方法或者由根据权利要求2所述的装置生成的用于使用处理器回放的视频数据。
15.一种计算机程序产品，所述计算机程序产品包括指令，当程序由计算机执行时所述指令使得所述计算机执行根据权利要求1所述的方法。
CN202180057870.0A 2020-08-07 2021-07-16 将abt与基于vvc子块的编码工具组合 Pending CN116158078A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20305913.4 2020-08-07
EP20305913 2020-08-07
PCT/EP2021/069947 WO2022028855A1 (en) 2020-08-07 2021-07-16 Combining abt with vvc sub-block-based coding tools

Publications (1)

Publication Number Publication Date
CN116158078A true CN116158078A (zh) 2023-05-23

Family

ID=72145337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180057870.0A Pending CN116158078A (zh) 2020-08-07 2021-07-16 将abt与基于vvc子块的编码工具组合

Country Status (4)

Country Link
US (1) US20230336721A1 (zh)
EP (1) EP4193593A1 (zh)
CN (1) CN116158078A (zh)
WO (1) WO2022028855A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9787982B2 (en) * 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
CN110463203B (zh) * 2017-03-31 2023-07-14 松下电器（美国）知识产权公司 图像解码方法及装置
CN111279695B (zh) * 2017-10-26 2024-03-29 韩国电子通信研究院 用于基于非对称子块的图像编码/解码的方法及装置
WO2019245841A1 (en) * 2018-06-18 2019-12-26 Interdigital Vc Holdings, Inc. Method and apparatus for video encoding and decoding based on asymmetric binary partitioning of image blocks
WO2020003266A1 (en) * 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Resetting of look up table per slice/tile/lcu row
US11146810B2 (en) * 2018-11-27 2021-10-12 Qualcomm Incorporated Decoder-side motion vector refinement
US11272203B2 (en) * 2019-07-23 2022-03-08 Tencent America LLC Method and apparatus for video coding

Also Published As

Publication number Publication date
US20230336721A1 (en) 2023-10-19
WO2022028855A1 (en) 2022-02-10
EP4193593A1 (en) 2023-06-14

Similar Documents

Publication Publication Date Title
CN116195254A (zh) 用于通用视频编码的模板匹配预测
JP7510412B2 (ja) ブロックの面に基づくビデオの符号化又は復号のための量子化
CN112352427B (zh) 基于图像块的非对称二元分区的视频编码和解码的方法和装置
KR102823983B1 (ko) 비디오 인코딩 또는 디코딩을 위한 신택스 요소들
CN112889287A (zh) 广义双向预测和加权预测
KR102710009B1 (ko) 비디오 인코딩 및 디코딩에서의 크로마 양자화 파라미터 조정
CN113678438A (zh) 采用子分区的宽角度帧内预测
CN114208178A (zh) 用于视频编码和解码的二次变换
JP7679532B2 (ja) ビデオコード化のための残差コード化における通常のビンの柔軟な割り当て
CN113170135A (zh) 用于图片编码和解码的方法及设备
CN119071478A (zh) 用于画面编码和解码的方法和设备
CN112740674A (zh) 使用双预测进行视频编码和解码的方法和装置
CN114930819B (zh) 三角形合并模式中的子块合并候选
CN114073093B (zh) 三角形分割的合并索引的信令通知
CN113170149A (zh) 用于图片编码和解码的方法和设备
CN115336267B (zh) 用于联合色度编码块的缩放过程
CN113170153B (zh) 基于二元树初始化当前图片参考块矢量
CN113016181B (zh) 依据块形状适配最可能模式候选的选择
CN114270829B (zh) 局部照明补偿标志继承
EP3664450A1 (en) Method and device for picture encoding and decoding
CN116158078A (zh) 将abt与基于vvc子块的编码工具组合
CN117716689A (zh) 用于abt的vvc规范性和编码器侧适配
CN119678494A (zh) 帧内子分区改进
CN112913248A (zh) 用译码类型或译码树类型的信令进行视频编码和解码的方法和装置
WO2024256199A1 (en) Regressive-based affine bi-prediction weights

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20231019

Address after: Paris France

Applicant after: Interactive digital CE patent holdings Ltd.

Address before: French Sesong Sevigne

Applicant before: Interactive digital VC holdings France Ltd.