[go: up one dir, main page]

CN114641994B - 编码和解码方法及装置 - Google Patents

编码和解码方法及装置 Download PDF

Info

Publication number
CN114641994B
CN114641994B CN202080077232.0A CN202080077232A CN114641994B CN 114641994 B CN114641994 B CN 114641994B CN 202080077232 A CN202080077232 A CN 202080077232A CN 114641994 B CN114641994 B CN 114641994B
Authority
CN
China
Prior art keywords
current block
prediction
weighted
tool
prediction mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080077232.0A
Other languages
English (en)
Other versions
CN114641994A (zh
Inventor
P·博尔德斯
T·波里尔
A·罗伯特
F·莱莱昂内克
F·加尔平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
InterDigital CE Patent Holdings SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital CE Patent Holdings SAS filed Critical InterDigital CE Patent Holdings SAS
Publication of CN114641994A publication Critical patent/CN114641994A/zh
Application granted granted Critical
Publication of CN114641994B publication Critical patent/CN114641994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种用于解码或编码的方法，该方法包括：确定是否针对当前块启用称为加权预测的帧间预测模式；以及如果加权预测被启用，则修改与该加权预测和/或与预测工具的第一集合中的至少另一预测工具相关的所述当前块的重构过程的一部分，该第一集合包括三角形预测模式、几何预测模式、局部照度补偿模式、组合帧内帧间预测模式以及可基于光流模型细化用于运动补偿的运动信息的模式。

Description

编码和解码方法及装置
1.技术领域
本发明实施方案中的至少一个实施方案通常涉及一种用于视频编码或解码的方法和装置，并且更具体地涉及一种用于使用预测样本加权过程或基于光流的运动信息细化过程进行视频编码或解码的方法和装置。
2.背景技术
为了实现高压缩效率，视频编码方案通常采用预测和变换来利用视频内容中的空间和时间冗余。在编码期间，将视频内容的图像划分为像素块，然后将这些块分区为一个或多个子块，在下文称为原始子块。然后对每个子块应用帧内或帧间预测以利用帧内或帧间图像相关性。无论使用何种预测方法(帧内或帧间)，都针对每个原始子块确定预测值子块。然后，对表示原始子块与预测值子块之间的差的子块(通常表示为预测误差子块或预测残差子块)进行变换、量化和熵编码，以生成编码视频流。为了重构视频，通过对应于变换、量化和熵编码的逆过程来解码压缩数据。
ITU-T和ISO/IEC专家组成的联合协作团队(称为联合视频专家团队(JVET))正在开发名为通用视频编码(VVC)的国际标准，其中引入了新的压缩工具。例如，在VVC中，使用预测样本加权过程的压缩工具(在下文称为PSW工具)的数量略有增加。与此同时，出现了旨在应用基于光流概念对运动信息进行的细化的新工具，在下文称为OF工具。这些PSW工具(或OF工具)使用类似的概念，当这些工具组合时，每个工具单独提供的压缩的改善不会累积。此外，当这些工具(PSW工具和OF工具)组合时，可能产生矛盾的效果，因此组合可能导致压缩效率的降低。
期望提出允许避免不兼容的PSW工具和/或OF工具组合的解决方案。还期望提出避免联合使用PSW工具和/或OF工具的解决方案，而仅使用这些工具中的一个工具将导致类似的压缩效率，但编码/解码复杂度降低，或者PSW工具和/或OF工具的组合将导致不可接受的复杂度。
3.发明内容
在第一方面，本发明实施方案中的一个或多个实施方案提供了一种用于解码的方法，该方法包括：
根据编码视频流确定是否针对当前块启用称为加权预测的帧间预测模式，其中残差块被计算为该当前块与参考块的加权版本(在单向帧间预测的情况下)或两个参考块的加权平均值(在双向帧间预测的情况下)之间的差；以及，
如果启用了加权预测，则修改与该加权预测和/或与预测工具的第一集合中的至少另一预测工具相关的所述当前块的重构过程的一部分，该第一集合包括三角形预测模式、几何预测模式、局部照度补偿模式、组合帧内帧间预测模式以及基于光流模型细化用于运动补偿的运动信息的模式。
在第二方面，本发明实施方案中的一个或多个实施方案提供了一种用于解码的设备，该设备包括：
用于根据编码视频流确定是否针对当前块启用称为加权预测的帧间预测模式的装置，其中残差块被计算为该当前块与参考块的加权版本(在单向帧间预测的情况下)或两个参考块的加权平均值(在双向帧间预测的情况下)之间的差；以及，
在启用了加权预测的情况下应用的修改装置，该修改装置修改与加权预测和/或与预测工具的第一集合中的至少另一预测工具相关的所述当前块的重构过程的一部分，该第一集合包括三角形预测模式、几何预测模式、局部照度补偿模式、组合帧内帧间预测模式以及基于光流模型细化用于运动补偿的运动信息的模式。
在一个实施方案中，当在包括该当前块的切片的切片标头中提及的加权预测所使用的至少一个权重不同于默认权重时，启用加权预测。
在一个实施方案中，通过防止根据编码视频流解析或推断与用于当前块的该第一集合中的工具相关的任何语法元素来修改所述当前块的重构过程。
在一个实施方案中，当针对当前块的帧间预测提供参考块的参考图像与不同于默认权重的权重相关联时，启用加权预测。
在一个实施方案中，确定针对当前块启用加权预测包括在表示当前块的编码视频流的比特流部分中解析或推断与第一集合中的工具相关的语法元素。
在一个实施方案中，通过防止应用该第一集合中的工具来修改当前块的重构过程，即使与该第一集合中的所述工具相关的编码视频流的语法元素指示该第一集合中的所述工具需要应用于当前块。
在一个实施方案中，通过将对在编码视频流中指定的当前块应用第一集合中的工具替换为应用另选的帧间预测工具来修改当前块的重构过程。
在一个实施方案中，通过改变语法元素的语义来改变与第一集合中的工具相关的所述语法元素的解释，从而修改当前块的重构过程。
在一个实施方案中，通过改变加权预测和第一集合中的工具的执行次序来修改当前块的重构过程。
在一个实施方案中，通过将加权预测和第一集合中的至少一个工具混合到单个加权级中来修改当前块的重构过程。
在第三方面，本发明实施方案中的一个或多个实施方案提供了一种用于在编码视频流中对表示当前块的比特流部分进行编码的方法，该方法包括：
确定是否针对该当前块启用称为加权预测的帧间预测模式，其中残差块被计算为当前块与参考块的加权版本(在单向帧间预测的情况下)或两个参考块的加权平均值(在双向帧间预测的情况下)之间的差；以及，
如果启用了加权预测，则修改与该加权预测和/或与预测工具的第一集合中的至少另一预测工具相关的所述当前块的编码过程的一部分，该第一集合包括三角形预测模式、几何预测模式、局部照度补偿模式、组合帧内帧间预测模式以及可基于光流模型细化用于运动补偿的运动信息的模式。
在第四方面，本发明实施方案中的一个或多个实施方案提供了一种用于在编码视频流中对表示当前块的比特流部分进行编码的设备，该设备包括：
用于确定是否针对该当前块启用称为加权预测的帧间预测模式的装置，其中残差块被计算为当前块与参考块的加权版本(在单向帧间预测的情况下)或两个参考块的加权平均值(在双向帧间预测的情况下)之间的差；以及，
在启用了加权预测的情况下应用的修改装置，该修改装置修改与该加权预测和/或与预测工具的第一集合中的至少另一预测工具相关的所述当前块的重构过程的一部分，该第一集合包括三角形预测模式、几何预测模式、局部照度补偿模式、组合帧内帧间预测模式以及可基于光流模型细化用于运动补偿的运动信息的模式。
在一个实施方案中，当在包括该当前块的切片的切片标头中编码的加权预测所使用的至少一个权重不同于默认权重时，启用加权预测。
在一个实施方案中，通过防止对该第一集合中的预测工具的任何使用来修改当前块的重构过程，表示当前块的编码视频流的比特流部分不包括与该第一集合中的预测工具相关的语法元素。
在一个实施方案中，当针对当前块的帧间预测提供参考块的参考图像与不同于默认权重的权重相关联时，启用加权预测。
在一个实施方案中，通过重构当前块而不应用为编码该当前块而选择的第一集合中的预测工具来修改当前块的重构过程，表示该第一集合中的所选择的预测工具的语法元素在表示该当前块的编码视频流的比特流部分中进行编码。
在一个实施方案中，通过将为编码当前块而选择的第一集合中的预测工具替换为另选的帧间预测工具来重构该当前块，从而修改当前块的重构过程，表示该第一集合中的所选择的预测工具的语法元素在表示该当前块的编码视频流的比特流部分中进行编码。
在一个实施方案中，通过修改加权预测和第一集合中的工具的应用次序来修改当前块的重构过程。
在一个实施方案中，通过将加权预测和第一集合中的至少一个工具混合到单个加权级中来修改当前块的重构过程。
在第五方面，本发明实施方案中的一个或多个实施方案提供了一种装置，包括根据第二方面或第四方面所述的设备。
在第六方面，本发明实施方案中的一个或多个实施方案提供了一种信号，包括根据第三方面所述的方法或由根据第四方面所述的设备生成的数据。
在第七方面，本发明实施方案中的一个或多个实施方案提供了一种计算机程序，包括用于实现根据第一方面所述的解码方法或用于实现根据第三方面所述的编码方法的程序代码指令。
在第八方面，本发明实施方案中的一个或多个实施方案提供了一种信息存储装置，存储用于实现根据第一方面所述的解码方法或用于实现根据第三方面所述的编码方法的程序代码指令。
4.附图说明
图1示出了原始视频的像素图像所经历的分区的示例；
图2示意性地描绘了用于对视频流进行编码的方法；
图3示意性地描绘了用于对编码视频流进行解码的方法；
图4A示意性地示出了能够实现编码模块或解码模块的处理模块的硬件架构的示例，其中实现了各个方面和实施方案；
图4B示出了系统的示例的框图，其中实现了各个方面和实施方案；
图5A示意性地示出了三角形预测模式的实施方案；
图5B示意性地示出了几何预测模式的实施方案；
图5C示意性地示出了以三角形预测模式应用的自适应加权过程；
图6示意性地表示光流预测细化模式的应用的示例；
图7是在编码过程期间执行的重构过程的实施方案的高级表示；
图8是在解码过程期间执行的重构过程的实施方案的高级表示；
图9公开了重构过程的修改部分；
图10示意性地示出了将块分区为大小相等的两个子块的示例；
图11示意性地示出了将块分区为大小不相等的两个子块的示例；
图12示意性地表示对应于PSW或OF工具的停用的示例的解析过程，包括不对所述PSW或OF工具应用常规重构过程；并且，
图13示意性地表示对应于PSW或OF工具的停用的示例的重构过程，包括不对所述PSW或OF工具应用常规重构过程。
5.具体实施方式
以下对实施方案的描述是在VVC的上下文中进行的。然而，这些实施方案不限于对应于VVC的视频编码/解码方法，并且适用于其他视频编解码方法，而且还适用于其中使用PSW工具和/或OF工具并可组合使用这些工具的其他图像编码/解码方法。
以下实施方案中的至少一个实施方案允许防止组合不兼容的PSW工具和/或OF工具。
以下实施方案中的至少一个实施方案允许通过防止PSW工具和/或OF工具的组合来降低编码和/或解码过程的复杂度，这些工具的组合不会导致足够的压缩增益或导致不可接受的复杂度。
图1示出了原始视频10的像素图像11所经历的分区的示例。在此认为像素由三个分量组成：一个亮度分量和两个色度分量。然而，以下实施方案适用于由包括另一数量的分量的像素构成的图像(例如，其中像素包括一个分量的灰度图像)，或者由包括三个颜色分量和透明度分量和/或深度分量的像素构成的图像。
图像划分为多个编码实体。首先，如图1中的参考标号13所表示，在VVC中，图像划分为称为编码树单元(CTU)的块的网格。CTU由N×N个亮度样本块以及两个对应的色度样本块组成。N通常是二的幂，例如最大值为“128”。其次，图像划分为一个或多个CTU组。例如，该图像可划分为一个或多个图块行和图块列，图块是覆盖图像的矩形区域的CTU序列。在一些情况下，图块可划分为一个或多个砖块，每个砖块由图块内的至少一个CTU行组成。在图块和砖块的概念之上，存在另一编码实体，称为切片，其可包含图像的至少一个图块或图块的至少一个砖块。
支持两种切片模式，即光栅扫描切片模式和矩形切片模式。在光栅扫描切片模式中，切片包含图像的图块光栅扫描中的图块序列。在矩形切片模式中，切片包含形成图像的矩形区域的图像的至少一个砖块。矩形切片内的砖块按切片的砖块光栅扫描的次序排列。
在图1的示例中，如参考标号12所表示，图像11划分为光栅扫描切片模式的三个切片S1、S2和S3，每个切片包括多个图块(未示出)，每个图块仅包括一个砖块。
如图1中的参考标号14所表示，CTU可分区为称为编码单元(CU)的一个或多个子块的分层树的形式。CTU是分层树的根(即，父节点)，并且可分区为多个CU(即，子节点)。如果每个CU未进一步分区为较小CU，则每个CU成为分层树的叶；或者如果每个CU进一步分区为较小CU(即，子节点)，则每个CU成为较小CU的父节点。虽然标准HEVC(ISO/IEC 23008-2–MPEG-H第2部分，高效视频编码/ITU-T H.265)仅使用称为四叉树的一种类型的分层树，但VVC允许分层树混合多种类型的分层树，包括四叉树、二叉树和三叉树。在四叉树中，CTU(或CU)可分区为大小相等的“4”个正方形CU(即，可以是大小相等的“4”个正方形CU的父节点)。在二叉树中，CTU(或CU)可水平地或竖直地分区为大小相等的“2”个矩形CU。在三叉树中，CTU(或CU)可水平地或竖直地分区为“3”个矩形CU。例如，高度为N且宽度为M的CU竖直地(或水平地)分区为高度为N(或N/4且宽度为M/4(或M)的第一CU、高度为N(或N/2)且宽度为M/2(或M)的第二CU以及高度为N(或N/4)且宽度为M/4(或M)的第三CU。
在图1的示例中，首先使用四叉树类型分区将CTU 14分区为“4”个正方形CU。左上角的CU是分层树的叶，因为其未进一步分区，即其并非任何其他CU的父节点。再次使用四叉树类型分区将右上角的CU进一步分区为“4”个较小正方形CU。使用二叉树类型分区将右下角的CU竖直地分区为“2”个矩形CU。使用三叉树类型分区将左下角的CU竖直地分区为“3”个矩形CU。
在图像编码期间，分区是自适应的，每个CTU均被分区以便优化CTU准则的压缩效率。
HEVC中出现了预测单元(PU)和变换单元(TU)的概念。实际上，在HEVC中，用于预测的编码实体(即PU)和用于变换的编码实体(即TU)可以是CU的子划分。例如，如图1中所表示，大小为2N×2N的CU可划分为大小为N×2N或大小为2N×N的PU 1411。此外，所述CU可划分为大小为N×N的“4”个TU 1412或大小为的“16”个TU。
可以注意到，在VVC中，除某些特殊情况外，TU和PU的边界在CU的边界上对准。因此，CU一般包括一个TU和一个PU。一些PSW工具允许将CU分区为多个PU。例如，称为三角形预测模式(TPM)的预测模式允许将CU分区为大小相等的两个三角形PU。图5A表示通过根据TPM模式将矩形CU分区而获得的两个PU。虽然TPM模式允许将CU分区为大小相等的两个三角形PU，但称为几何预测模式(GEO)的第二模式允许将CU分区为大小不相等的两个PU。图5B表示根据GEO模式分区为两个PU的矩形CU。
在本申请中，术语“块”或“图像块”可用于指CTU、CU、PU和TU中的任一者。另外，术语“块”或“图像块”可用于指H.264/AVC或其他视频编码标准中所指定的宏块、分区和子块，并且更一般地指众多大小的样本的阵列。
在本申请中，术语“重构”和“解码”可互换使用，术语“像素”和“样本”可互换使用，术语“图像”、“图片”、“子图片”、“切片”和“帧”可互换使用。通常，但不一定，术语“重构”在编码端使用，而“解码”在解码端使用。
图2示意性地描绘了由编码模块执行的用于对视频流进行编码的方法。设想了这种编码方法的变型，但为了清楚起见，下文描述了图2的编码方法，而不描述所有预期的变型。
在编码之前，可对视频的当前原始图像201进行预编码处理(图2中未表示)。例如，对当前原始图像应用颜色变换(例如，从RGB 4:4:4到YCbCr 4:2:0的转换)，或者对当前原始图像201分量应用重新映射，以便获得对压缩更具弹性的信号分布(例如，使用颜色分量中的一个颜色分量的直方图均衡化)。
当前原始图像201的编码在步骤202期间以当前原始图像201的分区开始，如关于图1所描述的。因此，当前图像201被分区为CTU、CU、PU、TU等。对于每个块，编码模块确定帧内预测与帧间预测之间的编码模式。
帧内预测包括在步骤203期间根据帧内预测方法从预测块预测当前块的像素，该预测块是从位于待编码的当前块的因果关系附近的重构块的像素导出的。帧内预测的结果是指示使用附近块的哪些像素的预测方向，以及通过计算当前块与预测块之间的差而得到的残差块。
帧间预测包括从当前图像(该图像被称为参考图像)之前或之后的图像的像素块(称为参考块)预测当前块的像素。在根据帧间预测方法对当前块进行编码期间，由运动估计步骤204根据相似性准则确定与当前块最接近的参考图像块。在步骤204期间，确定指示参考图像中的参考块的位置的运动矢量。所述运动矢量在运动补偿步骤205期间使用，在该运动补偿步骤期间以当前块与参考块之间的差的形式计算残差块。
在第一视频压缩标准中，上述单向帧间预测模式是唯一可用的帧间模式。随着视频压缩标准的演进，帧间模式族已显著增长并且现在包括许多不同的帧间模式。
帧间模式的第一演进是双向帧间预测(或B模式)。在B模式中，当前块与两个运动矢量相关联，指定两个不同图像中的两个参考块。允许计算当前块的残差块的预测值块是两个参考块的平均值。当前块的所述预测值biPred计算如下：
biPred＝(w0.pred0+w1.pred1+1)/2 (1)
其中pred0是在存储在解码图像的缓冲区(通常称为解码图像缓冲区(DPB))中的参考图像的列表L0中取得的运动补偿块预测值；pred1是在存储在DPB中的参考图像的列表L1中取得的运动补偿块预测值；在双向帧间预测的情况下，w0和w1是等于一的权重。
提出了双向帧间预测的若干种一般化，其中权重w0和w1可不同。加权预测(WP)可被认为是双向帧间预测在某些方面的一般化。在WP中，在单向帧间预测的情况下，残差块被计算为当前块与参考块的加权版本之间的差，或者在双向帧间预测的情况下，残差块被计算为当前块与两个参考块的加权平均值之间的差。WP可一般化，使得残差块被计算为当前块与参考块的加权版本或多个参考块的加权平均值之间的差。可在序列标头中的序列级别(在VVC中称为序列参数集(SPS))或在图像标头中的图像级别(在VVC中称为图片参数集(PPS))或在切片标头中的切片级别启用WP。WP定义与存储在DPB中的参考图像的每个列表(L0和L1)的每个参考图片i的每个分量相关联的每个CTU组的权重wi和偏移量offi(例如，一般在切片标头级别)。如果当前块以单向WP编码，则所述当前块在位置(x，y)处的预测样本pred(x，y)计算如下：
pred(x，y)＝((w0.pred0(x，y)+(1＜＜(shift-1)))＞＞shift)+Off0
其中pred0(x，y)是在存储在DPB中的参考图像的列表L0中取得的并且在空间上对应于pred(x，y)的运动补偿预测值样本，w0是权重，Off0是偏移值，shift是移位值，(y<<x)是y的二进制表示的x比特的左移位，并且(y>>x)是y的二进制表示的x比特的右移位。
如果当前块以双向WP编码，则所述当前块在位置(x,y)处的预测样本pred(x,y)计算如下：
pred(x,y)＝((w0.pred0(x,y)+w1.pred1(x,y)+Off01)＞＞(shift+1)) (2)
其中Off01＝(Off0+Off1+1)＜＜shift
其中pred1(x,y)是在存储在DPB中的参考图像的列表L1中取得的并且在空间上对应于pred(x,y)的运动补偿预测值样本，w1是权重，Off1是偏移值。
为了在加权样本时保持增加的数值精度，可以增加的位深度精度存储并操作中间样本值。在这种情况下，在预测计算过程结束时，通过最后一次右比特移位获得最终(期望的)位深度样本预测精度(bitDepth)。例如，DPB中的参考图片以精度bitDepth存储，但中间运动补偿样本以增加的精度(bitDepth+sp)存储在中间缓冲区中。在这种情况下，可将先前两个等式中的右移位值shift替换为(shift+sp)，以最终将预测样本重新缩放到精度bitDepth。需注意，类似的中间位深度精度增加过程通常用于使用样本加权过程的所有预测工具。
虽然在序列标头(SPS)和图像标头(PPS)中启用了WP并且在切片标头中指定了相关联的权重和偏移量，但称为CU级别权重双预测(BCW)的新模式允许在块级别发信号通知权重。当对当前块应用BCW模式时，所述当前块的预测值样本pred(x,y)计算如下：
pred(x,y)＝((8-w).pred0(x,y)+w.pred1(x,y)+4)＞＞3
其中pred0(x,y)是在存储在DPB中的参考图像的列表L0中取得的并且在空间上对应于pred(x,y)的运动补偿预测值样本，pred1(x,y)是在存储在DPB中的参考图像的列表L1中取得的并且在空间上对应于pred(x,y)的运动补偿预测值样本，并且w是在五个权重的集合(w∈{-2,3,4,5,10})中取得的权重。权重w通过以下两种方式中的一种方式确定：1)对于非合并CU，在运动矢量差之后发信号通知权重索引bcw_idx；2)对于合并CU，基于合并候选索引从相邻块推断权重索引bcw_idx。
已关于图5A和图5B呈现的三角形预测模式(TPM)和几何预测模式(GEO)是帧间模式的特定形式。如上文所提及，在TPM和GEO模式中，块划分为两个PU(即，两个分区)。表示分隔两个PU的边界的信息被编码用于当前块。所述信息包括表示边缘方向(即，边界的方向和/或位置)的语法元素(用于TPM模式的merge_triangle_split_dir或用于GEO模式的wedge_partition_idx)。当使用TPM或GEO模式时，当前块的每个PU都使用其自身的运动信息进行帧间预测。对于每个PU，仅允许单向预测。两个合并索引(merge-idx-0和merge-idx-1)对应于具有相关联参考索引的运动矢量预测值候选者的列表进行编码，该列表由空间和时间邻居(基于常规合并候选者列表)构建，由列表L0和列表L1交替构建。在文档JVET-O2001中描述的VVC标准的6.0版本中(以下仅注明JVET-O2001)，在TPM的情况下，(merge-idx-0和merge-idx-1)的值从语法元素(merge_triangle_idx0和merge_triangle_idx1)导出。在GEO的情况下，merge-idx-0和merge-idx-1的值从语法元素wedge_partition_idx0和wedge_partition_idx1导出。在预测每个PU之后，使用具有自适应权重的共混处理来调整沿着两个PU之间的边界(例如，图5A中的PU 501与PU 502之间的边界)的样本值。图5C示意性地示出了以TPM模式应用的自适应加权过程。在图5C中，以TPM模式编码的8×8块50包括两个三角形分区509和510。分区509中以黑色表示的样本根据预测值Pred0进行积分预测。分区510中以白色表示的样本根据预测值Pred1进行积分预测。分区509与分区510之间的边界处的样本是根据预测值Pred0和Pred1预测的样本的加权平均值，在加权平均值中应用的权重取决于样本相对于边界的位置。在图5C的示例中，标识符等于“1”的样本计算如下：
其中Pred0(x,y)是预测值Pred0中的位置(x,y)处的样本，Pred1(x,y)是预测值Pred1中的位置(x,y)处的样本，并且自适应权重和分别等于和
标识符等于“2”的样本计算如下：
其中和分别等于和
标识符等于“4”的样本计算如下：
其中和分别等于和
标识符等于“6”的样本计算如下：
其中和分别等于和
标识符等于“7”的样本计算如下：
其中和分别等于和
在VVC的标准化过程期间，提出了一种新的帧间模式，称为局部照度补偿(LIC)，旨在补偿帧间预测中当前块与其参考块之间可能发生的照度变化。当针对当前块激活该工具时，基于定位在当前块的左侧和/或顶部的一些重构图像样本以及定位在由运动矢量标识的参考块的左侧和/或顶部的参考图像样本来计算一些预测参数。然后对参考块的预测样本应用基于计算的预测参数的LIC模型。使用LIC校正的预测样本Predcorr(x,y)可计算如下：
Predcorr(x,y)＝((a.Pred(x,y)+(1＜＜(shift-1)))＞＞shift)+b
其中Predcorr(x,y)是由LIC校正的位置(x,y)处的样本，Pred(x,y)是位置(x,y)处的运动补偿预测样本值，shift是如上文关于WP所陈述的二进制移位的值，a和b是LIC参数。
可在HLS中启用LIC模式并在块级别发信号通知。
还向VVC提出了基于光流概念的称为光流(OF)的新工具，该光流概念假设对象的移动是平滑的。在OF工具中，可基于光流模型细化用于运动补偿的运动信息。。在VVC中，OF工具包括称为双向光流(BDOF)模式的第一模式、称为光流预测细化(PROF)模式的第二模式和称为解码器侧运动细化(DMVR)的第三模式。然而，存在其他OF工具。
BDOF用于在4×4子块级别细化块的双向预测信号。对于块的每个4×4子块，通过最小化用于双向预测的两个参考块的样本之间的差来计算运动细化。然后使用运动细化来调整在4×4子块中通过双向预测获得的样本的值。为此，将新的项添加到传统的双向预测
其中pred是预测值子块，I0是第一运动补偿参考子块，I1是第二运动补偿参考子块，和分别是第i参考子块(k＝{0,1})的水平梯度和竖直梯度，(vx,vy)是第一参考子块与第二参考子块之间的运动矢量，σ是包括第一参考子块的图像和包括第二参考子块的图像之间的时间差。有关BDOF模式的更多详细信息，请参见文档JVET-O2002-V1的第3.4.9节：通用视频编码和测试模型6(VTM 6)的算法描述，Jianle Chen、Yan Ye和Seung HwanKim，第15次会议：瑞典哥德堡，2019年7月3日至12日，以下简称JVET-O2002。
在PROF模式中，当参数运动模型已知时，可从光流模型导出偏移校正ΔI，如仿射运动补偿的情况一样。然后将偏移校正ΔI添加到当前块I(i,j)的预测样本中，以获得校正后的预测样本I′(i,j)：
ΔI(i,j)＝gx(i,j)*Δvx(i,j)+gy(i,j)*Δvy(i,j)
I′(i,j)＝I(i,j)+ΔI(i,j)
其中gx(i,j)和gy(i,j)分别是当前图像中位置(i,j)处的水平局部梯度和竖直局部梯度，Δvx,Δvy)是使用参数运动模型计算的位置(i,j)处的运动矢量V(i,j)与使用位置相关运动模型(即，旋转模型)计算的位置(i,j)处的样本所属的块的运动矢量VB之间的差。图6示意性地表示PROF模式的应用示例。
仍然在双向帧间预测的上下文中，DMVR旨在通过测试解码的运动矢量周围的一些位移来细化运动矢量。测试多个候选运动矢量对。每一对均包括指定第一参考块的一个运动矢量MVrefBlock_L0和指定第二参考块的一个运动矢量MVrefBlock_L1。所选择的运动矢量对是最小化由运动矢量MVrefBlock_L0指定的参考块与由运动矢量MVrefBlock_L1指定的参考块之间的差的运动矢量对。
在VVC中，还提出了一种称为帧内和帧间组合预测(CIIP)的新工具。如其名称所指示，CIIP模式将帧间预测信号与帧内预测信号组合(共混)。CIIP模式中的帧间预测信号是使用应用于常规合并模式的相同帧间预测过程导出的(即，从相邻块导出当前块的运动信息)。帧内预测信号是在具有平面模式的常规帧内预测过程之后导出的。然后，使用加权平均法来组合帧内和帧间预测信号，其中根据顶部和左侧相邻块的编码模式来计算权重值。更准确地说，使用以下公式获得CIIP预测值：
PCIIP＝(wA.Pinter+wB.Pintra+off)>>shift
其中Pinter是帧间预测值，Pintra是帧内预测值，off和shift分别是等于二的恒定偏移量和恒定移位量，并且wA和wB是取决于顶部和左侧相邻块的编码模式的权重。
在下文，认为BCW、TPM、GEO、CIIP、LIC模式属于PSW工具的集合。认为BDOF、PROF和DMVR模式属于OF工具。需注意，上面列举的PSW和OF工具的名称是当前在JVET-O2002或JVET-O2001中使用的名称。这些名称仅是描述性术语。因此，不排除对所述PSW和OF工具使用其他名称。
在选择步骤206期间，由编码模块在所测试的预测模式(帧内预测模式、帧间预测模式，包括例如PSW和OF工具)中根据速率/失真准则(即，RDO准则)选择优化压缩性能的预测模式。
当选择预测模式时，在步骤207期间变换残差块并且在步骤209期间量化残差块。需注意，编码模块可跳过变换，并对未变换的残差信号直接应用量化。当根据帧内预测模式对当前块进行编码时，在步骤210期间，由熵编码器对预测方向以及变换和量化的残差块进行编码。当根据帧间预测对当前块进行编码时，在适当时根据从与位于待编码块附近的重构块相对应的运动矢量的集合中选择的预测矢量来预测块的运动矢量。接下来，在步骤210期间，由熵编码器以运动残差和用于识别预测矢量的索引的形式对运动信息进行编码。在步骤210期间，由熵编码器对变换的和量化的残差块进行编码。需注意，编码模块可绕过变换和量化，即，对残差应用熵编码，而不应用变换或量化过程。熵编码的结果被插入到编码视频流211中。元数据可附加到编码视频流211。
在量化步骤209之后，重构当前块，使得对应于该块的像素可用于将来的预测。该重构阶段也称为预测环路。因此，在步骤212期间对变换和量化的残差块应用逆量化，并且在步骤213期间应用逆变换。根据用于在步骤214期间获得的块的预测模式，重构块的预测块。如果根据帧间预测模式对当前块进行编码，则编码模块在适当时在步骤216期间应用使用当前块的运动矢量的运动补偿，以便识别当前块的参考块。如果根据帧内预测模式对当前块进行编码，则在步骤215期间，使用与当前块相对应的预测方向来重构当前块的参考块。将参考块和重构的残差块相加，以便获得重构的当前块。
在重构之后，在步骤217期间，对重构块应用旨在减少编码伪像的环路内后置滤波。该后置滤波称为环路内后置滤波，因为该后置滤波发生在预测环路中，以在编码器处获得与解码器相同的参考图像，从而避免编码过程与解码过程之间的漂移。例如，在HEVC中，环路内后置滤波包括解块滤波和SAO(样本自适应偏移)滤波。在熵编码步骤210期间，在编码视频流211中引入表示环路内解块滤波器的激活或停用以及所述环路内解块滤波器在被激活时的特性的参数。
当重构块时，在步骤218期间将块插入到存储在存储DPB的重构图像的存储器219中的重构图像中。然后，这样存储的重构图像可用作待编码的其他图像的参考图像。
图3示意性地描绘了由解码模块执行的用于对根据关于图2描述的方法编码的编码视频流211进行解码的方法。设想了这种解码方法的变型，但为了清楚起见，下文描述了图3的解码方法，而不描述所有预期的变型。
解码是逐块进行的。对于当前块，其在步骤310期间以当前块的熵解码开始。熵解码允许获得块的预测模式。
如果已根据帧间预测模式对块进行了编码，则熵解码允许在适当时获得预测矢量索引、运动残差和残差块。在步骤308期间，使用预测矢量索引和运动残差来重构当前块的运动矢量。
如果已根据帧内预测模式对块进行了编码，则熵解码允许获得预测方向和残差块。由解码模块实现的步骤312、313、314、315、316和317在所有方面分别与由编码模块实现的步骤212、213、214、215、216和217相同。在步骤318中，将解码块保存在解码图像中并将解码图像存储在存储DPB的参考图像存储器319中。当解码模块解码给定图像时，存储在参考图像存储器319中的图像与编码模块在所述给定图像的编码期间存储在参考图像存储器219中的图像相同。也可由解码模块输出解码的图像，以例如进行显示。
可对解码的图像进一步进行解码后处理(图3中未表示)，例如，逆颜色变换(例如，从YCbCr 4:2:0到RGB 4:4:4的变换)或执行在预编码过程中执行的重新映射的逆过程的逆重新映射。
如上所述，块的预测模式的选择基于RDO准则。该选择准则很少考虑选择预测模式对编码和/或解码复杂度的影响。然而，已知一些压缩工具会显著增加编码/解码复杂度。例如，WP与另一PSW工具的组合相当于级联两个加权级(一个加权级用于WP，第二加权级用于另一PSW工具)，这增加了编码和解码复杂度。此外，在加权过程期间，应使用两个中间存储缓冲区来提高中间位深度精度。
此外，RDO准则可考虑预测工具的组合，但一般从不考虑所述工具在所述组合中的次序。然而，根据组合的工具，一些次序可能比其他次序更可取。
图4A示意性地示出根据不同方面和实施方案修改的能够实现编码模块或解码模块的处理模块40的硬件架构的示例，该编码模块或解码模块能够分别实现图2的用于编码的方法和图3的用于解码的方法。作为非限制性示例，处理模块40包括通过通信总线405连接的以下各项：包含一个或多个微处理器的处理器或CPU(中央处理单元)400、通用计算机、专用计算机和基于多核架构的处理器；随机存取存储器(RAM)401；只读存储器(ROM)402；存储单元403，该存储单元可包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器，或存储介质读取器，诸如SD(安全数字)卡读取器和/或硬盘驱动器(HDD)和/或网络可访问存储设备；至少一个通信接口404，该至少一个通信接口用于与其他模块、设备或装备交换数据。通信接口404可包括但不限于被配置为通过通信信道发射和接收数据的收发器。通信接口404可包括但不限于调制解调器或网卡。
如果处理模块40实现解码模块，则通信接口404使得例如处理模块40能够接收编码视频流并提供解码视频流。如果处理模块40实现编码模块，则通信接口404使得例如处理模块40能够接收要编码的原始图像数据并提供编码视频流。
处理器400能够执行从ROM 402、外部存储器(未示出)、存储介质或通信网络加载到RAM 401中的指令。当处理模块40上电时，处理器400能够从RAM 401读取指令并执行它们。这些指令形成计算机程序，该计算机程序使得例如由处理器400实现关于图3描述的解码方法或关于图2描述的编码方法，该解码和编码方法包括以下在本文档中描述的各个方面和实施方案。
所述编码或解码方法的全部或部分算法和步骤可通过由诸如DSP(数字信号处理器)或微控制器的可编程机器执行一组指令而以软件形式实现，或者可通过诸如FPGA(现场可编程门阵列)或ASIC(专用集成电路)的机器或专用部件而以硬件形式实现。
图4B示出了其中实现了各个方面和实施方案的系统4的示例的框图。系统4可体现为包括下文所述的各个部件的设备，并且被配置为执行本文档中所述的一个或多个方面和实施方案。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视机接收器、个人视频录制系统、连接的家用电器和服务器。系统4的元件可单独地或组合地体现在单个集成电路(IC)、多个IC和/或分立部件中。例如，在至少一个实施方案中，系统4包括实现解码模块或编码模块的一个处理模块40。然而，在另一实施方案中，系统4可包括实现解码模块的第一处理模块40和实现编码模块的第二处理模块40，或者实现解码模块和编码模块的一个处理模块40。在各种实施方案中，系统40经由例如通信总线或通过专用输入和/或输出端口通信地耦合到一个或多个其他系统或其他电子设备。在各种实施方案中，系统4被配置为实现本文档中所述的一个或多个方面。
系统4包括至少一个处理模块40，该至少一个处理模块能够实现编码模块或解码模块中的一者或两者。
处理模块40的输入可通过如框42所示的各种输入模块来提供。此类输入模块包括但不限于：(i)射频(RF)模块，其接收例如由广播器通过空中传输的RF信号；(ii)分量(COMP)输入模块(或一组COMP输入模块)；(iii)通用串行总线(USB)输入模块；和/或(iv)高清晰度多媒体接口(HDMI)输入模块。图4B中未示出的其他示例包括复合视频。
在各种实施方案中，框42的输入模块具有如本领域已知的相关联的相应输入处理元件。例如，RF模块可与适用于以下的元件相关联：(i)选择所需的频率(也称为选择信号，或将信号频带限制到一个频带)，(ii)下变频选择的信号，(iii)再次频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择所需的数据包流。各种实施方案的RF模块包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可包括执行这些功能中的各种功能的调谐器，这些功能包括例如下变频接收信号至更低频率(例如，中频或近基带频率)或至基带。在一个机顶盒实施方案中，RF模块及其相关联的输入处理元件接收通过有线(例如，电缆)介质发射的RF信号，并且通过滤波、下变频和再次滤波至所需的频带来执行频率选择。各种实施方案重新布置上述(和其他)元件的顺序，移除这些元件中的一些元件，和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模数变换器。在各种实施方案中，RF模块包括天线。
此外，USB和/或HDMI模块可包括用于跨USB和/或HDMI连接将系统4连接到其他电子设备的相应接口处理器。应当理解，输入处理(例如Reed-Solomon纠错)的各个方面可根据需要例如在单独的输入处理IC内或在处理模块40内实现。类似地，USB或HDMI接口处理的各方面可根据需要在单独的接口IC内或在处理模块40内实现。解调，纠错和解复用的流被提供给处理模块40。
系统4的各种元件可设置在集成壳体内。在集成壳体内，各种元件可使用合适的连接布置(例如，本领域已知的内部总线，包括IC间(I2C)总线、布线和印刷电路板)互连并且在这些元件之间传输数据。例如，在系统4中，处理模块40通过总线405与所述系统4的其他元件互连。
处理模块40的通信接口404允许系统4在通信信道41上通信。例如，可在有线和/或无线介质中实现通信信道41。
在各种实施方案中，使用无线网络诸如Wi-Fi网络例如IEEE 802.11(IEEE是指电气和电子工程师协会)将数据流式发射或以其他方式提供给系统4。这些实施方案的Wi-Fi信号通过适用于Wi-Fi通信的通信信道41和通信接口404接收。这些实施方案的通信信道41通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以用于允许流式应用和其他云上通信。其他实施方案使用机顶盒向系统4提供流式数据，该机顶盒通过输入块42的HDMI连接递送数据。还有其他实施方案使用输入块42的RF连接向系统4提供流式数据。如上所述，各种实施方案以非流式的方式提供数据。此外，各种实施方案使用除了Wi-Fi以外的无线网络，例如蜂窝网络或蓝牙网络。
系统4可将输出信号提供到各种输出设备，包括显示器46、扬声器47和其他外围设备48。各种实施方案的显示器46包括例如触摸屏显示器、有机发光二极管(OLED)显示器、曲面显示器和/或可折叠显示器中的一者或多者。显示器46可用于电视机、平板电脑、膝上型计算机、蜂窝电话(移动电话)或其他设备。显示器46还可与其他部件集成在一起(例如，如在智能电话中)，或者是单独的(例如，膝上型计算机的外部监视器)。在实施方案的各种示例中，其他外围设备46包括独立数字视频光盘(或数字多功能光盘，两个术语都是DVR)、光盘播放器、立体声系统和/或照明系统中的一者或多者。各种实施方案使用提供基于系统4的输出的功能的一个或多个外围设备46。例如，盘播放器执行播放系统4的输出的功能。
在各种实施方案中，控制信号使用诸如AV.Link、消费电子产品控制(CEC)或其他通信协议的信令在系统4与显示器46、扬声器47或其他外围设备48之间传送，该其他通信协议使得能够在有或没有用户干预的情况下进行设备到设备控制。输出设备可通过相应接口43、44和45经由专用连接通信地耦接到系统4。另选地，输出设备可使用通信信道41经由通信接口404连接到系统4。显示器46和扬声器47可与电子设备(诸如电视机)中的系统4的其他部件集成在单个单元中。在各种实施方案中，显示接口43包括显示驱动器，诸如例如定时控制器(T Con)芯片。
例如，如果输入42的RF部分是单独机顶盒的一部分，则显示器46和扬声器47可另选地与其他部件中的一个或多个部件分开。在显示器46和扬声器47为外部部件的各种实施方案中，输出信号可经由专用输出连接(包括例如HDMI端口、USB端口或COMP输出)提供。
各种具体实施参与解码。如本申请中所用，“解码”可涵盖例如对所接收的编码视频流执行的过程的全部或部分，以便产生适于显示的最终输出。在各种实施方案中，此类过程包括通常由解码器执行的一个或多个过程，例如熵解码、逆量化、逆变换和预测。在各种实施方案中，此类过程还包括或者另选地包括由本申请中描述的各种具体实施的解码器执行的过程，例如用于为CU确定某些PSW和OF工具是否兼容。
作为进一步示例，在一个实施方案中，“解码”仅指熵解码(图3中的步骤310)。短语“解码过程”是具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。
各种具体实施参与编码。以与上面关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可涵盖例如对输入视频序列执行以便产生编码视频流的全部或部分过程。在各种实施方案中，此类过程包括通常由编码器执行的一个或多个过程，例如，分区、预测、变换、量化和熵编码。在各种实施方案中，此类过程还包括或者另选地包括由本申请中描述的各种具体实施的编码器执行的过程，例如用于为CU确定两个或更多个PSW和/或OF工具是否兼容。
作为进一步示例，在一个实施方案中，“编码”指编码模式选择(图2中的步骤206)和熵编码(图2中的步骤210)。短语“编码过程”是具体地指代操作的子集还是广义地指代更广泛的编码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。
需注意，本文所使用的语法元素名称是描述性术语。因此，它们不排除使用其他语法元素名称。
当附图呈现为流程图时，应当理解，其还提供了对应装置的框图。类似地，当附图呈现为框图时，应当理解，其还提供了对应的方法/过程的流程图。
各种实施方案是指速率失真优化。具体地，在编码过程期间，通常考虑速率和失真之间的平衡或折衷。速率失真优化通常表述为最小化速率失真函数，该速率失真函数是速率和失真的加权和。存在不同的方法解决速率失真优化问题。例如，这些方法可基于对所有编码选项(包括所有考虑的模式或编码参数值)的广泛测试，并且完整评估其编码成本以及重构信号在编码和解码之后的相关失真。更快的方法还可用于降低编码复杂性，特别是对基于预测或预测残差信号而不是重构的残差信号的近似失真的计算。也可使用这两种方法的混合，诸如通过针对可能的编码选项中的仅一些编码选项使用近似失真，而针对其他编码选项使用完全失真。其他方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中任一种来执行优化，但是优化不一定是对编码成本和相关失真两者的完整评估。
本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的具体实施也可以其他形式(例如，装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的处理器中实施，
该处理设备包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、手机、便携式/个人数字助理(“PDA”)以及便于最终用户之间信息通信的其他设备。
提及“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”以及它们的其他变型，意味着结合实施方案描述的特定的特征、结构、特性等包括在至少一个实施方案中。因此，短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本申请通篇的各个地方的任何其他变型不一定都是指相同的实施方案。
另外，本申请可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息、从存储器检索信息或例如从另一设备、模块或从用户获得信息中的一者或多者。
此外，本申请可涉及“访问”各种信息。访问信息可包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。
另外，本申请可涉及“接收”各种信息。与“访问”一样，接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在诸如例如存储信息、处理信息、发射信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，“接收”通常以一种方式或另一种方式参与。
应当理解，例如，在“A/B”、“A和/或B”以及“A和B中的至少一者”、“A和B中的一者或多者”的情况下，使用以下“/”、“和/或”以及“至少一种”、“一者或多者”中的任一种旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一者”、“A、B和C中的一者或多者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或仅选择第三列出的选项(C)，或仅选择第一列出的选项和第二列出的选项(A和B)，或仅选择第一列出的选项和第三列出的选项(A和C)，或仅选择第二列出的选项和第三列出的选项(B和C)，或选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。
而且，如本文所用，词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。例如，在某些实施方案中，编码器使用PSW(或OF)工具参数来发信号通知PSW(或OF)工具。这样，在一个实施方案中，在编码器侧和解码器侧两者均使用相同的参数。因此，例如，编码器可将特定参数发射(显式信令)到解码器，使得解码器可使用相同的特定参数。相反，如果解码器已具有特定参数以及其他，则可在不发射(隐式信令)的情况下使用信令，以简单允许解码器知道和选择特定参数。通过避免发射任何实际功能，在各种实施方案中实现了位节省。应当理解，信令可以各种方式实现。例如，在各种实施方案中，使用一个或多个语法元素、标记等将信息发信号通知至对应解码器。虽然前面涉及词语“signal(发信号通知)”的动词形式，但是词语“signal(信号)”在本文也可用作名词。
对于本领域的普通技术人员将显而易见的是，具体实施可产生格式化为携带例如可存储或可传输的信息的各种信号。信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如，可格式化信号以携带所述实施方案的编码视频流。可格式化此类信号例如为电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如对编码视频流进行编码以及使用编码视频流调制载波。信号携带的信息可以是例如模拟或数字信息。已知的是，信号可通过各种不同的有线或无线链路发射。信号可存储在处理器可读介质上。
图7是在图2的编码过程期间执行的重构过程的实施方案的高级表示。
主要在步骤214和216期间针对图像的每个块执行图7的过程。
在步骤70中，处理模块40确定是否针对当前块启用WP。
如果启用了WP，则在步骤70之后进入步骤71。处理模块40修改与WP和/或至少一个PSW或OF工具相关的当前块的编码过程的一部分。
如果禁用了WP，则在步骤70之后进入步骤72。在步骤72期间，对当前块应用如文档JVET-O2001中所指定的常用编码过程。
在步骤70的第一实施方案中，处理模块40确定表示语法元素pps_weighted_pred_flag的第一变量PPS_weighted_pred_flag和/或表示语法元素pps_weighted_bipred_flag的第二变量PPS_weighted_bipred_flag的值。如JVET-O2001中所定义，语法元素pps_weighted_pred_flag(或pps_weighted_bipred_flag)指示在图像标头(PPS)的级别，是否针对指代所述PPS的P切片(或B切片)启用单向加权预测(或双向加权预测)。如果变量PPS_weighted_pred_flag或PPS_weighted_bipred_flag中的一者在包括当前块的切片所指代的PPS中等于一(即，启用单向加权预测或双向加权预测)，则处理模块40认为针对当前块启用WP。否则，处理模块40认为针对当前块禁用WP。
在一些情况下，可在PPS级别启用WP，但用于应用WP的权重可等于默认权重(即，用于WP的每个权重等于一)，这相当于将WP变换为简单的单向或双向帧间预测。在基于VVC的实施方案中，当参考图像i与默认权重相关联时，语法元素luma_weight_l0_flag[i]和chroma_weight_l0_flag[i]等于零。
在步骤70的第二实施方案中，除了检查变量PPS_weighted_pred_flag和PPS_weighted_bipred_flag的值之外，处理模块40还检查用于WP的权重的值。当由语法元素pps_weighted_pred_flag和pps_weighted_bipred_flag启用时，用于WP预测的权重在切片标头中进行编码(如JVET-O2001的第7.3.6.1节和第7.3.6.2节中所表示)。切片标头包括表示用于预测当前切片的块的每个参考图像的权重值的信息。在第二实施方案中，如果在包括当前块的切片的切片标头中表示的至少一个权重值不同于默认值，则处理模块40认为针对当前块启用WP。否则，处理模块40认为针对当前块禁用WP，并且WP是简单的单向或双向帧间预测。
当应用步骤70的第一实施方案和第二实施方案时，在步骤71的第一实施方案中，处理模块40通过防止在编码过程期间使用PSW或OF工具来修改所述当前块的编码过程的一部分。换句话说，如果针对当前块选择了WP，则PSW和OF工具不被认为是可用于当前块的预测工具，并且在编码视频流211中不对与PSW或OF工具相关的信息进行编码。换句话说，表示当前块的编码视频流211的比特流部分不包括与PSW或OF工具相关的语法元素。
利用包括在PPS和切片标头中的信息，处理模块40能够确定是否可对包括在与当前块相同的切片中的块应用具有非默认权重的WP。具体地，包括在切片标头中的表示权重的每个信息指示当提供用于切片的块的帧间预测的预测值时，与该权重相关联的参考图像由所述权重加权。包括在切片标头中的信息不允许确定实际上对哪个块应用了具有非默认权重的WP。为了确定是否对当前块应用具有非默认权重的WP，有必要识别哪个参考图像向当前块提供预测值。在步骤70的第三实施方案中，在已检查变量PPS_weighted_pred_flag和PPS_weighted_bipred_flag以及WP所使用的权重的值之后，处理模块40确定哪个参考图像向当前块提供预测值。如果向当前块提供预测值的至少一个参考图像与非默认权重相关联，则处理模块40确定针对当前块启用加权预测。否则，处理模块40认为针对当前块禁用WP。
当应用步骤70的第三实施方案时，在步骤71的第二实施方案中，处理模块40通过在重构过程期间不应用PSW或OF工具来修改所述当前块的重构过程的一部分，即使在步骤206期间选择了所述PSW或OF工具并且在编码视频流211中编码了对应于所述PSW或OF工具的语法元素。然而，在这种情况下，应用常规WP重构过程。
当应用步骤70的第三实施方案时，在步骤71的第三实施方案中，停用PSW或OF工具包括不针对所述PSW或OF工具应用常规重构过程，即使对应于所述PSW或OF工具的语法元素在编码视频流211中进行了编码。在该实施方案中，处理模块40对当前块应用另选的帧间预测工具，而非编码视频流211中指定的PSW或OF工具。然而，在步骤71的第三实施方案中，应用常规WP重构过程。
在步骤71的第三实施方案的第一示例(在下文称为示例(1))中，针对当前块启用WP和TPM模式。
在示例(1)的变体(1a)中，在步骤71期间，将TPM重构过程替换为如上所述的双向帧间预测(B模式)重构过程。应用等式(1)，针对所有预测值样本确定w0＝w1＝1的当前块的预测值bipred。使用与TPM模式的两个分区相关联的运动信息来生成预测值pred0和pred1。
在示例(1)的变体(1b)中，TPM重构过程被替换为如上所述的双向WP重构过程。应用等式(2)，针对所有样本，使用与预测值pred0和pred1的参考索引相关联的WP权重w0和w1以及偏移值Off0和Off1来确定当前块的预测值bipred。使用与TPM模式的两个分区相关联的运动信息来生成预测值pred0和pred1。
在示例(1)的变体(1c)中，指示边缘方向的语法元素(merge_triangle_split_dir)被重新解释为指示应当应用变体(1a)还是(1b)。
在示例(1)的变体(1d)中，TPM重构过程被替换为其中初始CU划分为两个竖直矩形PU或两个水平矩形PU的过程，其中一个PU使用pred0来预测，而另一PU使用pred1来预测，如图10中所描绘。使用与TPM模式的两个分区相关联的运动信息来生成预测值pred0和pred1。在变体(1d)的实施方案中，划分成两个矩形PU生成大小不相等的两个矩形PU。图11描述了划分为大小不相等的矩形PU的CU的示例。
在变体(1d)的变体(1e)中，指示边缘方向的语法元素(merge_triangle_split_dir)被重新解释为指示划分是竖直的还是水平的。
图12示意性地表示对应于示例(1)的变体(1f)的解析过程。在变体(1f)中，引入新的语法元素biReg(例如，在一个比特上编码)。
在步骤1201中，处理模块40确定是否针对当前块在HLS(高级语法)级别(例如，在PPS中)启用WP。
如果在HLS级别启用了WP，则在步骤1201之后进入步骤1204。在步骤1204期间，处理模块40通过对语法元素biReg进行解码来确定该语法元素的值。如果biReg等于第一值(例如，如果biReg＝0)，则处理模块40确定对当前块应用变体(1a)的重构过程。如果biReg等于第二值(例如，如果biReg＝1)，则处理模块40确定对当前块应用变体(1b)的重构过程。
如果针对当前块在HLS级别未激活WP，则在步骤1201之后进入步骤1202和步骤1203。在步骤1202期间，处理模块40通过对指示TPM模式的边缘方向的语法元素merge_triangle_split_dir进行解码来确定该语法元素的值。在步骤1203中，处理模块通过对语法元素biReg进行解码来确定该语法元素的值。
在变体(1f)的第一实施方案中，如果在步骤1203处biReg等于第一值(例如，如果biReg＝0)，则处理模块40确定对当前块应用变体(1a)的重构过程。如果在步骤1203处biReg等于第二值(例如，如果biReg＝1)，则处理模块40确定对当前块应用TPM模式的重构过程。
在变体(1f)的第二实施方案中，如果在步骤1203处biReg等于第一值(例如，如果biReg＝0)，则处理模块40确定对当前块应用TPM模式的重构过程。如果在步骤1203处biReg等于第二值(例如，如果biReg＝1)，则处理模块40确定对当前块应用变体(1e)的重构过程。换句话说，如果biReg＝1，则当前块(即，当前CU)被分割为两个矩形PU，并且使用语法元素merge_triangle_split_dir来确定边缘方向。
图13示意性地表示对应于示例(1)的变体(1g)的重构过程。
在步骤1301中，处理模块40确定是否针对当前块激活具有非默认权重的WP。
如果使用当前块的默认权重禁用或启用WP，则在步骤1301之后进行步骤1302。在步骤1302期间，处理模块对当前块应用TPM重构过程。
如果针对当前块启用具有非默认权重的WP，则在步骤1301之后进行步骤1303。在步骤1303的实施方案中，处理模块40确定包括由与TPM模式的两个分区相关联的运动信息指定的预测值pred0和pred1的参考图像是否具有相同的POC(图片次序计数)(即，以显示次序具有相同的图像编号)。如果两个参考图像具有相同的POC，则在步骤1303之后进行步骤1304。
在步骤1304的实施方案中，处理模块40在步骤1304期间应用变体(1a)的重构过程。
在步骤1304的实施方案中，处理模块40在步骤1304期间应用变体(1b)的重构过程。
在步骤1304的实施方案中，如在变体(1c)中那样，处理模块40使用语法元素merge_triangle_split_dir来确定应用变体(1a)和(1b)之间的哪个变体。
在步骤1304的实施方案中，处理模块40应用TPM重构过程而不应用WP重构过程，即使在该情况下WP已被启用。
如果在步骤1303处，处理模块40确定两个参考图像具有不同的POC值，则在步骤1303之后进行步骤1302。
在步骤1303的另一实施方案中，处理模块40确定参考图像中的一个参考图像的POC值PIC1是否小于包括当前块的图像的POC值PICcurr，以及另一参考图像的POC值PIC2是否大于POC值PICcurr。如果(POC1<POCcurr<POC2)，则处理模块40执行步骤1302。否则，处理模块40执行步骤1304。在步骤1303的该实施方案中，可应用步骤1304的所有实施方案。
在步骤1303的另一实施方案中，处理模块40确定两个参考图像是否具有相同的POC以及WP权重是否相同。如果两个参考图像具有相同的POC并且WP权重相同，则在步骤1303之后进行步骤1304。否则，在步骤1303之后进行步骤1302。在步骤1303的该实施方案中，可应用步骤1304的所有实施方案。
在步骤71的第三实施方案的第二示例(在下文称为示例(2))中，针对当前块启用WP和GEO模式。
在示例(2)的第一变体(2a)中，在步骤71期间，将GEO重构过程替换为如上所述的双向帧间预测重构过程。应用等式(1)，确定w0＝w1＝1的当前块的预测值bipred。使用与GEO模式的两个分区相关联的运动信息来生成预测值pred0和pred1。可以看出，变体(2a)是从变体(1a)导出的。
类似地，变体(2b、2c、2d、2e、2f和2g)可以是从变体(1b、1c、1d、1e、1f和1g)导出的。
在从变体(1b)导出的示例(2)的变体(2b)中，GEO重构过程被替换为常规双向WP帧间预测(B模式)重构过程。
在从变体(1c)导出的示例(2)的变体(2c)中，指示边缘方向的语法元素wedge_partition_idx被重新解释为指示应当应用变体(2a)还是(2b)。然而，虽然语法元素merge_triangle_split_dir是能够指示两个边缘方向的二进制语法元素，但语法元素wedge_partition_idx具有更大的粒度。在一些实施方案中，语法元素wedge_partition_idx可指示“82”个不同的边缘方向。在一个实施方案中，wedge_partition_idx的可能值中的一半(例如，值“0”至“40”)指示应用了变体(2a)，而wedge_partition_idx的可能值中的另一半(例如，值“41”至“81”)指示应用了变体(2b)。
在从变体(1d)导出的示例(2)的变体(2d)中，GEO重构过程被替换为如变体(1d)中描述的两个竖直或水平PU的重构。在变体(2e)中，使用指示边缘方向的语法元素wedge_partition_idx来确定分区方向(竖直或水平)。在一个实施方案中，wedge_partition_idx的可能值中的一半(例如，值“0”至“40”)指示应用了变体(2a)，而wedge_partition_idx的可能值中的另一半(例如，值“41”至“81”)指示应用了变体(2b)。
在变体(2f)中，使用新的语法元素biReg。
在步骤1201中，处理模块40确定是否针对当前块在HLS(高级语法)级别(例如，在PPS中)启用WP。
如果在HLS级别启用了WP，则在步骤1201之后进入步骤1204。在步骤1204期间，处理模块40通过对语法元素biReg进行解码来确定该语法元素的值。如果biReg等于第一值(例如，如果biReg＝0)，则处理模块40确定对当前块应用变体(2a)的重构过程。如果biReg等于第二值(例如，如果biReg＝1)，则处理模块40确定对当前块应用变体(2b)的重构过程。
如果针对当前块在HLS级别未激活WP，则在步骤1201之后进入步骤1202和步骤1203。在步骤1202期间，处理模块40通过对指示GEO模式的边缘方向的语法元素wedge_partition_idx解码来确定该语法元素的值。在步骤1203中，处理模块通过对语法元素biReg进行解码来确定该语法元素的值。
在变体(2f)的第一实施方案中，如果在步骤1203处biReg等于第一值(例如，如果biReg＝0)，则处理模块40确定对当前块应用变体(1a)的重构过程。如果在步骤1203处biReg等于第二值(例如，如果biReg＝1)，则处理模块40确定对当前块应用GEO模式的重构过程。
在变体(2f)的第二实施方案中，如果在步骤1203处biReg等于第一值(例如，如果biReg＝0)，则处理模块40确定对当前块应用GEO模式的重构过程。如果在步骤1203处biReg等于第二值(例如，如果biReg＝1)，则处理模块40对当前块应用变体(2e)的重构过程。换句话说，如果biReg＝1，则当前块(即，当前CU)被分割为两个矩形PU，并且使用语法元素wedge_partition_idx来确定边缘方向。
在变体(2f)的第三实施方案中，如果在步骤1203处biReg等于第一值(例如，如果biReg＝0)，则处理模块40使用语法元素wedge_partition_idx来确定当前块的分区。例如，wedge_partition_idx的在“0”和“40”之间的值指示当前块的水平分区：
·值“0”至“7”对应于以大小相等的两个PU的分区，如图10左侧所表示；
·值“8”至“15”对应于以高度等于H/4的第一PU(其中H是当前块的高度)和高度等于3×H/4的第二PU的分区(图11的左上图)；
·值“16”至“23”对应于以高度等于3×H/4的第一PU和高度等于H/4的第二PU的分区(图11的左下图)；
·值“24”至“31”对应于以高度等于H/3的第一PU和高度等于2×H/3的第二PU的分区；
·值“32”至“40”对应于以高度等于2×H/3的第一PU和高度等于H/3的第二PU的分区。
wedge_partition_idx的在“41”和“82”之间的值指示当前块的竖直分区：
·值“41”至“48”对应于以大小相等的两个PU的分区，如图10右侧所表示；
·值“49”至“56”对应于以高度等于W/4的第一PU(其中W是当前块的宽度)和宽度等于3×W/4的第二PU的分区(图11的右上图)；
·值“57”至“64”对应于以宽度等于3×W/4的第一PU和宽度等于W/4的第二PU的分区(图11的右下图)；
·值“65”至“72”对应于以宽度等于W/3的第一PU和宽度等于2×W/3的第二PU的分区；
·值“73”至“81”对应于以宽度等于2×W/3的第一PU和宽度等于W/3的第二PU的分区。
如果在步骤1203处biReg等于第二值(例如，如果biReg＝1)，则处理模块40确定对当前块应用GEO模式的重构过程。然后使用GEO模式的运动信息预测每个PU。
在变体(2g)中，在步骤1301中，处理模块40确定是否针对当前块激活具有非默认权重的WP。
如果使用当前块的默认权重禁用或启用WP，则在步骤1301之后进行步骤1302。在步骤1302期间，处理模块对当前块应用GEO模式重构过程。
如果针对当前块启用具有非默认权重的WP，则在步骤1301之后进行步骤1303。在步骤1303的实施方案中，处理模块40确定包括由与TPM模式的两个分区相关联的运动信息指定的预测值pred0和pred1的参考图像是否具有相同的POC(图片次序计数)(即，以显示次序具有相同的图像编号)。如果两个参考图像具有相同的POC，则在步骤1303之后进行步骤1304。
在步骤1304的实施方案中，处理模块40在步骤1304期间应用变体(2a)的重构过程。
在步骤1304的实施方案中，处理模块40在步骤1304期间应用变体(2b)的重构过程。
在步骤1304的实施方案中，如在变体(2c)中那样，处理模块40使用语法元素wedge_partition_idx来确定应用变体(2a)和(2b)之间的哪个变体。
在步骤1304的实施方案中，处理模块40使用语法元素wedge_partition_idx来确定当前块的分区。例如，wedge_partition_idx的在“0”和“40”之间的值指示当前块的水平分区：
·值“0”至“7”对应于以大小相等的两个PU的分区，如图10左侧所表示；
·值“8”至“15”对应于以高度等于H/4的第一PU(其中H是当前块的高度)和高度等于3×H/4的第二PU的分区(图11的左上图)；
·值“16”至“23”对应于以高度等于3×H/4的第一PU和高度等于H/4的第二PU的分区(图11的左下图)；
·值“24”至“31”对应于以高度等于H/3的第一PU和高度等于2×H/3的第二PU的分区；
·值“32”至“40”对应于以高度等于2×H/3的第一PU和高度等于H/3的第二PU的分区。
wedge_partition_idx的在“41”和“82”之间的值指示当前块的竖直分区：
·值“41”至“48”对应于以大小相等的两个PU的分区，如图10右侧所表示；
·值“49”至“56”对应于以高度等于W/4的第一PU(其中W是当前块的宽度)和宽度等于3×W/4的第二PU的分区(图11的右上图)；
·值“57”至“64”对应于以宽度等于3×W/4的第一PU和宽度等于W/4的第二PU的分区(图11的右下图)；
·值“65”至“72”对应于以宽度等于W/3的第一PU和宽度等于2×W/3的第二PU的分区；
·值“73”至“81”对应于以宽度等于2×W/3的第一PU和宽度等于W/3的第二PU的分区。
如果在步骤1303处，处理模块40确定两个参考图像具有不同的POC值，则在步骤1303之后进行步骤1302。
在步骤1303的另一实施方案中，处理模块40确定参考图像中的一个参考图像的POC值POC1是否小于包括当前块的图像的POC值POCcurr，以及另一参考图像的POC值POC2是否大于POC值POCcurr。如果(POC1<POCcurr<POC2)，则处理模块40执行步骤1302。否则，处理模块应用执行步骤1304。
在步骤71的第三实施方案的示例(1)的变体(1a,1b)和示例(2)的变体(2a,2b)中，指示边缘方向的语法元素(TPM模式的merge_triangle_split_dir或GEO模式的wedge_partition_idx)变得无用。在步骤71的第三实施方案的第一示例和第二示例的另一变体中，重新解释两个语法元素。换句话说，在该变体中，这两个语法元素的语义发生了变化。例如：
merge-idx0＝merge_triangle_idx0；
delta-idx＝merge_triangle_split_dir；以及，
merge-idx1＝delta-idx+merge_triangle_idx1。
在步骤71的第三实施方案的第三示例中，针对当前块启用WP和GEO模式。在这种情况下，在步骤71期间，将GEO重构过程替换为通用双向帧间预测重构过程。应用等式(1)，确定当前块的预测值bipred，其中权重取决于每个分区中所包括的样本数目。例如，参考图5B，w0与分区505中的样本数目成比例，而w1与分区506中的样本数目成比例。如果包括分区505和506的块是包括“128”个样本的16×8块，则分区505包括NB1个样本并且分区506包括NB2个样本，例如w0＝NB1/128并且w1＝NB2/128。使用与GEO模式的两个分区相关联的运动信息来生成预测值pred0和pred1。在图5B中，分区505的运动信息用于生成预测值pred0，而分区506的运动信息用于生成预测值pred1。
在步骤71的第三实施方案的第三示例的变体中，在针对BCW授权的权重集合(即∈{-2,3,4,5,10})中选择权重w0和w1。例如，比第二分区包括更多样本的第一分区与比第二分区更高的权重集合{-2,3,4,5,10}相关联。例如，再次参考图5B，与分区505相关联的权重w0等于“3”，而与分区506相关联的权重w1等于“5”。同样，分区505的运动信息用于生成预测值pred0，而分区506的运动信息用于生成预测值pred1。
在步骤71的第三实施方案的第四示例中，针对当前块启用WP和TPM或GEO模式。在这种情况下，对当前块应用修改的TPM或GEO模式。在该修改的TPM或GEO模式下，对当前块应用由TPM或GEO模式指定的两个分区(两个PU)的划分。识别与每个分区相关联的预测值，并使用对应于所述分区的运动信息对其进行运动补偿。在第三实施方案的第四示例的第一变体中，在预测每个分区之后，不对沿着两个分区之间的边界(例如，图5C中的分区509和510之间的边界)的样本值应用共混过程。在第三实施方案的第四示例的第二变体中，在预测每个分区之后，使用共混处理来调整沿着两个分区之间的边界(例如，图5C中的分区509和510之间的边界)的样本值。然而，代替使用如上关于图5C所述的自适应加权，对沿着边界定位的样本应用简单平均法。在图5C的示例中，具有标识符1、2、4、6和7的样本的样本值计算如下：
其中Pred0(x,y)是预测值Pred0中的位置(x,y)处的样本，Pred1(x,y)是预测值Pred1中的位置(x,y)处的样本，并且自适应权重和等于
在第三实施方案的第四示例的第三变体中，通过至少一个高级语法(HLS)元素来启用或禁用TPM或GEO模式的共混处理。当至少一个HLS元素指示启用了共混过程时，如果针对当前块启用了WP，则禁用TPM或GEO模式的共混过程。也可推断HLS元素的值。同样在这种情况下，当至少一个HLS元素的推断值指示启用了共混过程时，如果针对当前块启用了WP，则禁用TPM或GEO模式的共混过程。
例如，HLS元素是序列级别(即，SPS级别)的语法元素sps_blending_ctrl_flag。HLS元素sps_blending_ctrl_flag指示TPM和GEO的共混过程是可在切片级别受到控制(即，sps_blending_ctrl_flag＝1)还是不在切片级别受到控制(即，sps_blending_ctrl_flag＝0)。如果不存在，则HLS元素sps_blending_ctrl_flag的值可从其他语法元素推断出来。在一个实施方案中，当语法元素sps_triangle_enabled_flag等于真而语法元素sps_weighted_pred_flag等于假时，HLS元素sps_blending_ctrl_flag存在于SPS标头中。语法元素sps_triangle_enabled_flag指定TPM或GEO模式是可用于针对指代SPS的P切片的块进行帧间预测(如果sps_triangle_enabled_flag＝真)还是不用于进行帧间预测(如果sps_triangle_enabled_flag＝假)。语法元素sps_weighted_pred_flag等于真指定可对指代SPS的P切片应用加权预测。sps_weighted_pred_flag等于假指定不对指代SPS的P切片应用加权预测。
if(sps_triangle_enabled_flag&&！sps_weighted_pred_flag)
sps_blending_ctrl_flag u(1)
表TAB_A
表TAB_A描述了与HLS元素sps_blending_ctrl_flag相关的SPS级别语法的示例。
当切片指代通过sps_blending_ctrl_flag指示可在切片级别控制TPM或GEO共混过程的激活或停用的SPS时，切片级别语法元素slice_blending_off_flag指示实际上针对所述切片激活了所述共混过程(slice_blending_off_flag＝1)还是未激活所述共混过程(slice_blending_off_flag＝0)。
表TAB_B
表TAB_B描述了与语法元素slice_blending_off_flag相关的切片级别语法的示例。
可以看出，当满足条件集合时，语法元素slice_blending_off_flag存在于切片标头中。例如，该条件集合包括：
·针对当前切片启用了TPM或GEO模式(sps_triangle_enabled_flag＝真)；
·启用了切片级别TPM或GEO的共混过程的控制(sps_blending_ctrl_flag＝真)；
·针对P切片禁用了WP(！(pps_weighted_pred_flag&&slice_type＝＝P))；
·针对B切片禁用了WP(！(pps_weighted_bipred_flag&&slice_type＝＝B))。
如果语法元素slice_blending_off_flag不存在，则其被推断为“0”。
在块级别，变量blending_off_flag指定是否对当前块应用TPM或GEO模式的共混处理。
设：
·cIdx表示当前块的颜色分量V索引；
·A和B表示当前块的两个TPM(或GEO)分区；
·predListFlagA和predListFlagB表示A和B的预测列表标记；
·refIdxA和refIdxB表示分区A和B的参考索引
变量blending_off_flag导出如下：
·将blending_off_flag初始化为语法元素slice_blending_off_flag的值；
·如果变量blending_off_flag等V于“1”，则不修改变量blending_off_flag；
·否则，如果cIdx等于“0”并且((predListFlagX＝0且与参考索引refIdxX相关联的亮度权重为非默认权重(即，luma_weight_l0_flag[refIdxX]等于“1”))或(predListFlagX＝1且与参考索引refIdxX相关联的亮度权重为非默认权重(即，luma_weight_l1_flag[refIdxX]等于1)))，则将变量blending_off_flag设定为等于“1”(即，针对当前块的亮度分量，未激活TPM或GEO模式的共混过程),
·否则，如果cIdx不等于“0”并且((predListFlagX＝0且与参考索引refIdxX相关联的色度权重为非默认权重(即，chroma_weight_l0_flag[refIdxX]等于1))或(predListFlagX＝1且与参考索引refIdxX相关联的色度权重为非默认权重(即，chroma_weight_l1_flag[refIdxX]等于1)))，则将blending_off_flag设定为等于“1”(即，针对当前块的色度分量，未激活TPM或GEO模式的共混过程)。
在变体中，所述SPS级别HLS语法(sps_triangle_enabled_flag、sps_weighted_pred_flag、sps_blending_ctrl_flag)可被替换为具有相同语义的PPS级别HLS语法(pps_triangle_enabled_flag、pps_weighted_pred_flag、pps_blending_ctrl_flag)。
在第三实施方案的第四示例的第四变体中，当针对当前块在HLS级别启用了WP时，未激活TPM或GEO模式的共混过程。
在第三实施方案的第四示例的第五变体中，当在HLS级别启用了WP并且至少一个WP权重等于当前块的非默认权重时，未激活TPM或GEO模式的共混处理。
在JVET-O2001中指定的VVC标准指定预测工具的执行次序。例如，在VVC的当前版本中，当启用了WP时，在PROF模式之后应用WP。在步骤71的第四实施方案中，修改WP和PSW或OF工具的执行次序。在步骤71的第四实施方案的示例中，在PROF模式之前应用WP。在一个变体中，在PROF模式之后还是之前应用WP的选择取决于WP权重和偏移值。例如，如果权重优于“1”，则在PROF模式之前执行WP，否则在PROF模式之后执行WP，因此PROF模式适用于宽范围信号。
在JVET-O2001中所述的VVC的当前版本中，当启用了WP时，禁用DMVR和BDOF模式。在步骤71的第五实施方案中，在DMVR或BDOF模式之前应用WP。这增加了编码复杂度(用于存储使用WP加权的参考的两个附加缓冲区，以及运动补偿预测的一个附加加权级)，但提高了预测精度。
在步骤71的第六实施方案中，为了降低复杂度，当启用了WP时，禁用PROF模式。
在JVET-O2001中描述的VVC的当前版本中，当启用了WP时，在CIIP模式共混过程之前应用WP。在步骤71的第七实施方案中，为了降低复杂度，当启用了WP时，禁用CIIP模式。
在步骤71的第八实施方案中，当针对当前块启用了WP和CIIP模式两者时，对当前块应用常规CIIP模式，但将WP权重和偏移量设定为当前块的默认值。
到目前为止，认为WP和PSW或OF工具过程是级联的，即顺序地执行。这种级联的结果是，如果在第二工具(例如，PSW或OF工具)之前应用第一工具(例如，WP)，则对第一工具的结果应用第二工具。在步骤71的第九实施方案中，关注WP和至少一个PSW工具的组合。与加权预测和/或与至少一个PSW工具相关的当前块的编码部分的修改包括在单个加权(共混)级混合WP和PSW工具。混合的工具可以是WP和CIIP或WP和GEO或WP和TPM或WP和LIC以及CIIP。也可以将PSW工具混合在一起。例如，在这种情况下，混合的工具是LIC和TPM或BCW和TPM或BCW和CIIP。在混合过程期间，混合的工具的权重和偏移量被组合在一起，使得应用一个单一的加权(共混)过程。
PSW工具可分类为两个子组：PSW工具的第一子组，其中在右移位后进行偏移；PSW工具的第二子组，其中在右移位前进行偏移。第一子组包括BCW模式、CIIP模式和双向WP。第二子组包括单向WP和LIC模式。
例如，设(ai,bi,si)分别表示与PSW工具“i”相关联的样本权重、偏移量和右移位值，并且pred(x,y)表示对应的样本预测。
如果工具i＝0与工具i＝1组合，工具“0”和“1”属于PSW工具的第一子组，则可使用以下等式获得预测样本：
pred(x,y)＝((a0.a1.pred0(x,y)+a1(b0＜＜s0)+(1＜＜(s0+s1-1)))＞＞(s0+s1))+b1
其中pred0(x,y)是在存储在DPB中的参考图像的列表L0中取得的并且在空间上对应于pred(x,y)的运动补偿预测值样本。当组合单向WP和LIC模式时应用该等式。
如果工具“0”和“1”属于PSW工具的第二子组，则可使用以下等式获得预测样本：
pred(x,y)＝(a0.a1.pred0(x,y)+a1(b0＜＜s0)+(b1＜＜s0)+(1＜＜(s0+s1-1)))＞＞(s0+s1)
当组合双向WP和BCW模式或双向WP和CIIP模式或CIIP模式和BCW模式时，应用该等式。
对于第一子组的工具和第二子组的工具的组合以及对于多于两个PSW工具的组合，可导出类似的等式。
图8是在解码过程期间执行的重构过程的实施方案的高级表示。
可以注意到，在编码过程和解码过程期间应用的过程是对称的。因此，关于编码过程描述的许多实施方案在解码过程期间具有对称的实施方案。
主要在步骤314、308和316期间针对当前图像的每个块执行图8的过程。
在步骤80中，处理模块40确定是否针对当前块启用WP。
如果启用了WP，则在步骤80之后进行步骤81。在步骤81期间，处理模块40修改与WP和/或与至少一个PSW或OF工具相关的所述当前块的重构过程的一部分。
如果禁用了WP，则在步骤80之后进入步骤82。在步骤82期间，对当前块应用如文档JVET-O2001中所指定的常用重构过程。
在步骤80的第一实施方案中，处理模块40根据编码视频流211检查包括当前块的切片所指代的PPS中的语法元素pps_weighted_pred_flag和pps_weighted_bipred_flag的值。如果语法元素pps_weighted_pred_flag或pps_weighted_bipred_flag中的一者等于一，则处理模块40认为针对当前块启用WP。否则，处理模块40认为针对当前块禁用WP。
在步骤80的第二实施方案中，除了检查来自包括当前块的切片所指代的PPS的语法元素pps_weighted_pred_flag和pps_weighted_bipred_flag的值之外，处理模块40还检查用于所述切片的切片标头中的WP的权重的值。如果所述权重值中的至少一个权重值不同于默认值，则处理模块40认为针对当前块启用WP。否则，处理模块40认为针对当前块禁用WP。
当应用步骤80的第一实施方案或第二实施方案时，在步骤81的第一实施方案中，处理模块40通过不解析或推断编码视频流中与PSW或OF工具相关的语法元素来修改所述当前块的重构过程的一部分。然而，在这种情况下，应用常规WP重构过程。
图9公开了根据步骤80的第一实施方案或第二实施方案修改的重构过程的一部分的示例。
在步骤901中，处理模块40检查第一条件组合，该第一条件组合包括指示是否针对当前块启用CIIP模式的条件CIIP、指示是否针对当前块启用TPM模式的条件TPM、指示是否针对当前块禁用WP的条件wp_disabled以及在JVET_O2001中描述的条件OtherConditions。如果该第一条件组合(OtherConditions和((CIIP)或((TPM和wp_disabled)))为真，则在步骤902期间，处理模块40根据编码视频流211解析在文档JVET-O2001中指定的语法元素regular_merge_flag。在步骤902之后进入步骤903。当在步骤901中第一条件组合为假时，在步骤901之后直接进入步骤903。在这种情况下，语法元素regular_merge_flag的值由处理模块40根据由标准VVC指定的其他语法元素的值(regular_merge_flag＝(general_merge_flag&&！merge_subblock_flag))进行推断。
在步骤903中，处理模块40检查语法元素regular_merge_flag的值。如果regular_merge_flag＝真，则处理模块40在步骤904期间确定当前块使用合并模式并解码常规合并参数。
如果regular_merge_flag＝假，则处理模块40在步骤905期间检查第二条件组合((OtherConditions和((CIIP)和(TPM和wp_disabled)))。如果第二条件组合为假，则在步骤905之后进入步骤906。否则，在步骤905之后进入步骤907。
在步骤906期间，处理模块40推断语法元素ciip_flag的值和语法元素MergeTriangleFlag的值。Ciip_flag＝1指示CIIP模式适用于当前块。ciip_flag＝0指示CIIP模式不适用于当前块。MergeTriangleFlag＝1指示TPM模式适用于当前块。MergeTriangleFlag＝0指示TPM模式不适用于当前块。在步骤906中，一个CIIP模式或TPM模式适用。CIIP或TPM模式的参数也由处理模块40推断。
在步骤907期间，处理模块40根据编码视频流211解码语法元素ciip_flag。
在步骤908期间，处理模块40检查语法元素ciip_flag的值。如果ciip_flag＝1，则在步骤908之后进入步骤909。如果ciip_flag＝0，则在步骤908之后进入步骤910。
在步骤909期间，处理模块40根据编码视频流211解码CIIP模式的参数。
在步骤910期间，处理模块40根据编码视频流211解码TPM模式的参数。
从关于图9描述的算法可以看出，仅当禁用了WP时，才根据编码视频流211推断(步骤906)或解析(步骤910)TPM参数。
在一个实施方案中，根据步骤80的第一实施方案或第二实施方案的重构过程的修改意味着如JVET-02001的第7.3.8.7节中所述的合并数据语法的修改。
TAB1
合并数据语法的语法修改在表TAB1中以粗体显示。
在另一实施方案中，根据步骤80的第一实施方案或第二实施方案的重构过程的修改意味着如JVET-02001的第7.3.6.1节中描述的切片标头语法的修改。
TAB2
从表TAB2可以看出，仅当禁用了WP时，语法元素max_num_merge_cand_minus_max_num_triangle_cand才会出现在切片标头中。语法元素max_num_merge_cand_minus_max_num_triangle_cand表示切片中支持的TPM模式候选者的最大数目。当已知禁用了TPM模式时，该语法元素是无用的，当针对当前切片启用WP时就是这种情况。因此，在解码过程期间，当针对切片启用WP时，处理模块40不旨在解析语法元素max_num_merge_cand_minus_max_num_triangle_cand。
在图9的算法的变体中，条件TPM被替换为条件GEO。条件GEO指示是否针对当前块启用GEO模式。在该变体中，仅当禁用了WP时，才根据编码视频流211推断(步骤906)或解析(步骤910)GEO参数。另外，在表TAB1中，语法元素sps_triangle_enabled_flag、MaxNumTriangleMergeCand、merge_triangle_split_dir、merge_triangle_idx0、merge_triangle_idx1分别被替换为语法元素sps_wedge_enabled_flag、MaxNumWedgeMergeCand、wedge_partition_idx、merge_wedge_idx0和merge_wedge_idx1。在表TAB2中，语法元素sps_triangle_enabled_flag pps_max_num_merge_cand_minus_max_num_triangle_cand_minus1和max_num_merge_cand_minus_max_num_triangle_cand分别被替换为sps_wedge_enabled_flag pps_max_num_merge_cand_minus_max_num_wedge_cand_minus1和max_num_merge_cand_minus_max_num_wedge_cand。
在图9的算法的变体中，条件CIIP被替换为条件(CIIP和wp_disabled)。在该变体中，仅当禁用了WP时，才根据编码视频流211推断(步骤906)或解析(步骤909)CIIP参数。在这种情况下，合并数据语法修改如下(修改在表TAB3中以粗体表示)：
TAB3
如上文已提及，对包括当前块的切片所涉及的PPS和所述切片的切片标头的PPS的解析不允许处理模块40确定实际上是否对当前块应用具有非默认权重的WP。为了获得该信息，处理模块40需要解析表示当前块的语法元素(即，如JVET-O2001的第7.3.8.5节中描述的编码单元语法)。具体地，对表示当前块的语法元素的解析允许确定语法元素ref_idx_l0和ref_idx_l1的值。语法元素ref_idx_l0(或ref_idx_l1)表示为当前块提供预测值的图像的DPB的参考图像的列表L0中(或列表L1中)的索引。利用索引ref_idx_l0(或ref_idx_l1)，处理模块40可根据在切片标头中编码的用于亮度的标记luma_weight_l0_flag[]和用于色度的标记chroma_weight_l0_flag[](或luma_weight_l1_flag[]和chroma_weight_l1_flag[])确定为当前块提供预测值的至少一个参考图像是否使用非默认权重进行加权。实际上，等于“1”的标记指定对应权重具有非默认值。等于“0”的标记指定权重具有默认值。
对于某些PSW或OF工具，语法元素ref_idx_lx仅能通过解析PSW或OF工具的语法来访问。对于TPM、GEO、CIIP模式尤其如此。例如，在图9中，应执行步骤906或909或910以访问当前块的语法元素ref_idx_lx。在步骤80的第三实施方案中，在已检查包括当前块的切片指代的PPS中的语法元素pps_weighted_pred_flag和pps_weighted_bipred_flag的值，以及WP从所述切片的切片标头使用的权重的值之后，处理模块40解析或推断与当前块的PSW或OF工具相关的语法元素，以获得索引ref_idx_lx的值(其中lx等于l0或l1)。根据索引ref_idx_l0和ref_idx_l1，处理模块40确定标记luma_weight_lx_flag[ref_idx_lx]或chroma_weight_lx_flag[ref_idx_lx]的值。如果所述标记中的至少一个标记等于“1”，则处理模块40认为针对当前块启用了WP(即，如果条件cond为假，其中对于双向预测，cond＝(luma_weight_l0_flag[ref_idx_l0]＝＝0
&&luma_weight_l1_flag[ref_idx_l1]＝＝0
&&chroma_weight_l0_flag[ref_idx_l0]＝＝0
&&chroma_weight_l1_flag[ref_idx_l1]＝＝0)，
或者对于单向预测，cond＝(luma_weight_lx_flag[ref_idx_lx]＝＝0
&&chroma_weight_lx_flag[ref_idx_lx]＝＝0)，则处理设备40认为启用WP)。
否则，处理模块40认为针对当前块禁用WP。换句话说，如果与当前块相关联的每个标记luma_weight_lx_flag[ref_idx_lx]和chroma_weight_lx_flag[ref_idx_lx]等于“0”，则处理设备40认为禁用WP(即，如果条件cond为真，则处理设备40认为禁用WP)。
当应用步骤80的第三实施方案时，在步骤81的第二实施方案中，处理模块40通过解析或推断与编码视频流211中的PSW或OF工具相关的语法元素而不对当前块应用PSW或OF工具来修改所述当前块的重构过程的一部分。换句话说，即使在编码视频流211中指定了PSW或OF工具，对应于所述PSW或OF工具的重构过程也被停用。然而，在这种情况下，应用常规WP重构过程。
当应用步骤80的第三实施方案时，在步骤81的第三实施方案中，停用PSW或OF工具包括在当前块的重构期间解析或推断与所述PSW或OF工具相关的语法元素，但不对所述PSW或OF工具应用常规重构过程。在该实施方案中，处理模块40对当前块应用另选帧间预测工具，而非编码视频流211中指定的PSW或OF工具。然而，在步骤81的第三实施方案中，应用常规WP重构过程。
在步骤81的第三实施方案的第一示例(在下文称为示例(3))中，针对当前块启用WP和TPM模式。
在示例(3)的变体(3a)中，在步骤81期间，将TPM重构过程替换为如上所述的双向帧间预测(B模式)重构过程。应用等式(1)，针对所有预测值样本确定w0＝w1＝1的当前块的预测值bipred。使用与在与TPM模式相关的语法元素中指定的两个分区相关联的运动信息来生成预测值pred0和pred1。可以看出，在解码过程期间应用的变体(3a)与在编码过程期间应用的变体(1a)相同。
类似地，可在解码过程期间应用分别与变体(1b、1c、1d、1e、1f和1g)相同的变体(3b、3c、3d、3e、3f和3g)来代替变体(3a)。
在步骤81的第三实施方案的第二示例(在下文称为示例(4))中，针对当前块启用WP和GEO模式。
在示例(2)的第一变体(4a)中，在步骤81期间，将GEO重构过程替换为如上所述的双向帧间预测重构过程。应用等式(1)，确定w0＝w1＝1的当前块的预测值bipred。使用与在与GEO模式相关的语法元素中指定的两个分区相关联的运动信息来生成预测值pred0和pred1。可以看出，在解码过程期间应用的变体(4a)与在编码过程期间应用的变体(2a)相同。
类似地，可在解码过程期间应用分别与变体(2b、2c、2d、2e、2f和2g)相同的变体(4b、4c、4d、4e、4f和4g)来代替变体(4a)。
在步骤81的第三实施方案的示例(3)和(4)的变体(3a)、(3b)、(4a)和(4b)中，指示边缘方向的语法元素(用于TPM模式的merge_triangle_split_dir或用于GEO模式的wedge_partition_idx)变得无用。在步骤81的第三实施方案的示例(3)和(4)的另一变体中，重新解释两个语法元素。换句话说，在该变体中，这两个语法元素的语义发生了变化。例如：
merge-idx0＝merge_triangle_idx0；
delta-idx＝merge_triangle_split_dir；以及，
merge-idx1＝delta-idx+merge_triangle_idx1。
在步骤81的第三实施方案的第三示例中，针对当前块启用WP和GEO模式。在这种情况下，在步骤81期间，将GEO重构过程替换为通用双向帧间预测重构过程。应用等式(1)，确定当前块的预测值bipred，其中权重取决于每个分区中所包括的样本数目。例如，参考图5B，w0与分区505中的样本数目成比例，而w1与分区506中的样本数目成比例。如果包括分区505和506的块是包括“128”个样本的16×8块，则分区505包括NB1个样本并且分区506包括NB2个样本，例如w0＝NB1/128并且w1＝NB2/128。使用与在与GEO模式相关的语法元素中指定的两个分区相关联的运动信息来生成预测值pred0和pred1。在图5B中，分区505的运动信息用于生成预测值pred0，而分区506的运动信息用于生成预测值pred1。
在步骤81的第三实施方案的第三示例的变体中，在针对BCW授权的权重集合(即∈{-2,3,4,5,10})中选择权重w0和w1。例如，比第二分区包括更多样本的第一分区与比第二分区更高的权重集合{-2,3,4,5,10}相关联。例如，再次参考图5B，与分区505相关联的权重w0等于“3”，而与分区506相关联的权重w1等于“5”。同样，分区505的运动信息用于生成预测值pred0，而分区506的运动信息用于生成预测值pred1。
在步骤81的第三实施方案的第四示例中，针对当前块启用WP和TPM或GEO模式。在这种情况下，对当前块应用修改的TPM或GEO模式。在该修改的TPM或GEO模式下，对当前块应用由编码视频流211中的TPM或GEO语法元素指定的两个分区(两个PU)的划分。识别与每个分区相关联的预测值，并使用对应于所述分区的运动信息对其进行运动补偿。在预测每个分区之后，使用共混处理来调整沿着两个分区之间的边界(例如，图5C中的分区509和510之间的边界)的样本值。然而，代替使用如上关于图5C所述的自适应加权，对沿着边界定位的样本应用简单平均法。在图5C的示例中，具有标识符1、2、4、6和7的样本的样本值计算如下：
其中Pred0(x,y)是预测值Pred0中的位置(x,y)处的样本，Pred1(x,y)是预测值Pred1中的位置(x,y)处的样本，并且自适应权重和等于
如关于图7已提及，在JVET-O2001中指定的VVC标准指定预测工具的执行次序。例如，在VVC的当前版本中，当启用了WP时，在PROF模式之后应用WP。在步骤81的第四实施方案中，修改WP重构过程和PSW或OF工具重构过程的执行次序。在第四实施方案的示例中，在PROF模式之前应用WP。在一个变体中，在PROF模式之后还是之前应用WP的选择取决于WP权重和偏移值。例如，如果权重优于“1”，则在PROF模式之前执行WP，否则在PROF模式之后执行WP，因此PROF模式适用于宽范围信号。
在JVET-O2001中所述的VVC的当前版本中，当启用了WP时，禁用DMVR和BDOF模式。在步骤81的第五实施方案中，在DMVR和BDOF重构过程之前应用WP。这增加了解码复杂度(用于存储使用WP加权的参考的两个附加缓冲区，以及运动补偿预测的一个附加加权级)，但提高了预测精度。实际上，DMVR和BDOF两者都是双向预测工具(参考图像ref-0和参考图像ref-1用于计算当前预测)，通过假设以下项来执行局部(子块)运动矢量细化：
1.局部运动在ref-0与ref-1之间是恒定的，以及
2.ref-0与ref-1之间的局部照度变化仅因ref-0(pred-0)的运动补偿子块与ref-1(pred-1)的运动补偿子块的轻微不对准而引起。预测样本值的这种不对准(pred-0对pred-1)允许导出MV细化(DMVR)或预测样本偏移校正(BDOF)以便应用于当前子块双预测样本。
在局部照度变化(也)由照度场景变化引起的情况下，假设“2”不再有效。DMVR和BDOF过程甚至可能降低双向预测精度。然而，如果在DMVR/BDOF之前对pred-0和pred-1应用WP，则该WP将校正运动补偿子块ref-0和运动补偿子块ref-1，使得照度变化被校正为与当前子块相同。然后光流模型变得有效，并且DMVR和BDOF实际上改善了预测准确度。
在步骤81的第六实施方案中，为了降低复杂度，当启用了WP时，禁用PROF模式。
在JVET-O2001中描述的VVC的当前版本中，当启用了WP时，在CIIP模式共混过程之前应用WP。在步骤81的第七实施方案中，为了降低复杂度，当启用了WP时，禁用CIIP模式。
在步骤81的第八实施方案中，当针对当前块启用了WP和CIIP模式两者时，对当前块应用常规CIIP模式，但WP权重和偏移量被设定为当前块的默认值。
到目前为止，认为WP和PSW或OF工具过程是级联的，即顺序地执行。这种级联的结果是，如果在第二工具(例如，PSW或OF工具)之前应用第一工具(例如，WP)，则对第一工具的结果应用第二工具。在步骤81的第九实施方案中，关注WP和至少一个PSW工具的组合。与加权预测和/或与至少一个PSW工具相关的当前块的重构过程的部分的修改包括在单个加权(共混)级混合WP和PSW工具。混合的工具可以是WP和CIIP或WP和GEO或WP和TPM或WP和LIC以及CIIP。也可以将PSW工具混合在一起。例如，在这种情况下，混合的工具是LIC和TPM或BCW和TPM或BCW和CIIP。在混合过程期间，混合的工具的权重和偏移量被组合在一起，使得应用一个单一的加权(共混)过程。
PSW工具可分类为两个子组：PSW工具的第一子组，其中在右移位后进行偏移；PSW工具的第二子组，其中在右移位前进行偏移。第一子组包括BCW模式、CIIP模式和双向WP。第二子组包括单向WP和LIC模式。
例如，设(ai,bi,si)分别表示与PSW工具“i”相关联的样本权重、偏移量和右移位值，并且pred(x,y)表示对应的样本预测。
如果工具i＝0与工具i＝1组合，工具“0”和“1”属于PSW工具的第一子组，则可使用以下等式获得预测样本：
pred(x,y)＝((a0.a1.pred0(x,y)+a1(b0＜＜s0)+(1＜＜(s0+s1-1)))＞＞(s0+s1))+b1
其中pred0(x,y)是在存储在DPB中的参考图像的列表L0中取得的并且在空间上对应于pred(x,y)的运动补偿预测值样本。当组合单向WP和LIC模式时应用该等式。
如果工具“0”和“1”属于PSW工具的第二子组，则可使用以下等式获得预测样本：
pred(x,y)＝(a0.a1.pred0(x,y)+a1(b0＜＜s0)+(b1＜＜s0)+(1＜＜(s0+s1-1)))＞＞(s0+s1)
当组合双向WP和BCW模式或双向WP和CIIP模式或CIIP模式和BCW模式时，应用该等式。
对于第一子组的工具和第二子组的工具的组合以及对于多于两个PSW工具的组合，可导出类似的等式。
例如，当组合单向WP和LIC时，工具“0”是双向WP，而工具“1”是LIC：
·a0＝LumaWeightL0[refIdxL0]；
·s0＝Luma_log2_weight_denom+SP；
·s0＝Luma_offset_LO[refIdxL0]＜＜(BitDepthY-8)。
其中语法元素LumaWeightL0、refIdxL0、Luma_log2_weight_denom、Luma_offset_LO、BitDepthY在JVET-O2001中定义。
·a1＝a；
·s1＝shift；
·b1＝b。
其中a、b和shift是如上定义的LIC参数。
以上描述了多个实施方案。这些实施方案的特征可以单独提供或以任何组合形式提供。此外，实施方案可包括以下特征、设备或方面中的一个或多个，单独地或以任何组合，跨各种权利要求类别和类型：
·根据WP的激活或停用，确定是否可在当前块的重构期间应用PSW或OF工具。
·根据WP的激活或停用，确定在当前块的重构期间PSW或OF工具是否被替换为另选的帧间预测工具。
·根据WP的激活或停用，确定是否相对于PSW或OF工具的常规应用对当前块的所述工具的应用进行修改。
·如果针对当前块启用了PSW工具和WP两者，则确定所述PSW工具和WP是否被合并在单个加权级中。
·确定在当前块的重构期间WP和PSW或OF工具的执行次序。
·包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号。
·在信令中插入语法元素，这使得解码器能够以与编码器所使用的方式相对应的方式使用或不使用PSW或OF工具来解码CU。
·对包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号进行创建和/或传输和/或接收和/或解码。
·执行所描述的实施方案中的至少一个实施方案的电视机、机顶盒、移动电话、平板电脑或其他电子设备。
·执行所描述的实施方案中的至少一个实施方案并(例如，使用监视器、屏幕或其他类型的显示器)显示所得图像的电视机、机顶盒、移动电话、平板电脑或其他电子设备。
·调谐(例如，使用调谐器)信道以接收包括编码视频流的信号并执行所描述的实施方案中的至少一个实施方案的电视机、机顶盒、移动电话、平板电脑或其他电子设备。
·通过空中(例如，使用天线)接收包括编码视频流的信号并执行所描述的实施方案中的至少一个实施方案的电视机、机顶盒、移动电话、平板电脑或其他电子设备。

Claims (6)

1.一种用于解码的方法，所述方法包括：
根据视频确定是否针对当前块启用加权预测模式，其中残差块基于所述当前块与参考块的加权版本或多个参考块的加权平均值之间的差；以及
响应于所述加权预测模式被启用，通过改变所述加权预测模式和至少另一预测工具的执行次序来修改与所述加权预测模式和与所述至少另一预测工具相关的所述当前块的重构过程的一部分，所述另一预测工具是使用包括CU级别权重双预测模式、三角形预测模式、几何预测模式、组合帧内帧间预测、以及局部照度补偿工具的一组工具的预测样本加权过程的工具、或基于光流模型来细化用于运动补偿的运动信息的工具；
其中当针对所述当前块的帧间预测提供参考块的参考图像与不同于默认权重的权重相关联时，启用所述加权预测模式，并且其中确定针对所述当前块启用所述加权预测模式包括在表示所述当前块的视频数据的一部分中解析或推断与所述至少另一预测工具相关的语法元素。
2.一种用于对当前块进行编码的方法，所述方法包括：
确定是否针对所述当前块启用加权预测模式，其中残差块基于所述当前块与参考块的加权版本或两个参考块的加权平均值之间的差；以及
响应于所述加权预测模式被启用，通过改变所述加权预测模式和至少另一预测工具的执行次序来修改与所述加权预测模式和与所述至少另一预测工具相关的所述当前块的编码过程的一部分，所述另一预测工具是使用包括CU级别权重双预测模式、三角形预测模式、几何预测模式、组合帧内帧间预测、以及局部照度补偿工具的一组工具的预测样本加权过程的工具、或可基于光流模型来细化用于运动补偿的运动信息的工具；
其中当针对所述当前块的帧间预测提供参考块的参考图像与不同于默认权重的权重相关联时，启用所述加权预测模式，并且其中确定针对所述当前块启用所述加权预测模式包括在表示所述当前块的视频数据的一部分中解析或推断与所述至少另一预测工具相关的语法元素。
3.一种用于解码的设备，所述设备包括：
用于根据视频确定是否针对当前块启用加权预测模式的装置，其中残差块基于所述当前块与参考块的加权版本或多个参考块的加权平均值之间的差；以及
响应于加权预测被启用而应用的修改装置，所述修改装置通过改变所述加权预测模式和至少另一预测工具的执行次序来修改与所述加权预测模式和与所述至少另一预测工具相关的所述当前块的重构过程的一部分，所述另一预测工具是使用包括CU级别权重双预测模式、三角形预测模式、几何预测模式、组合帧内帧间预测、以及局部照度补偿工具的一组工具的预测样本加权过程的工具、或基于光流模型来细化用于运动补偿的运动信息的工具；
其中当针对所述当前块的帧间预测提供参考块的参考图像与不同于默认权重的权重相关联时，启用所述加权预测模式，并且其中确定针对所述当前块启用所述加权预测模式包括在表示所述当前块的视频数据的一部分中解析或推断与所述至少另一预测工具相关的语法元素。
4.一种用于对当前块进行编码的设备，所述设备包括：
用于确定是否针对所述当前块启用加权预测模式的装置，其中残差块基于所述当前块与参考块的加权版本或多个参考块的加权平均值之间的差；以及
响应于所述加权预测模式被启用而应用的修改装置，所述修改装置通过改变所述加权预测模式和至少另一预测工具的执行次序来修改与所述加权预测模式和与所述至少另一预测工具相关的所述当前块的重构过程的一部分，所述另一预测工具是使用包括CU级别权重双预测模式、三角形预测模式、几何预测模式、组合帧内帧间预测、以及局部照度补偿工具的一组工具的预测样本加权过程的工具、或可基于光流模型来细化用于运动补偿的运动信息的工具；
其中当针对所述当前块的帧间预测提供参考块的参考图像与不同于默认权重的权重相关联时，启用所述加权预测模式，并且其中确定针对所述当前块启用所述加权预测模式包括在表示所述当前块的视频数据的一部分中解析或推断与所述至少另一预测工具相关的语法元素。
5.一种计算机程序产品，所述计算机程序产品包括用于实现根据权利要求1所述的解码方法或用于实现根据权利要求2所述的编码方法的程序代码指令。
6.一种信息存储装置，所述信息存储装置存储用于实现根据权利要求1所述的解码方法或用于实现根据权利要求2所述的编码方法的程序代码指令。
CN202080077232.0A 2019-11-07 2020-11-02 编码和解码方法及装置 Active CN114641994B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
EP19306440.9 2019-11-07
EP19306440 2019-11-07
EP19306543.0 2019-12-02
EP19306543 2019-12-02
EP19306784 2019-12-30
EP19306784.0 2019-12-30
PCT/EP2020/080631 WO2021089455A1 (en) 2019-11-07 2020-11-02 Encoding and decoding methods and apparatus

Publications (2)

Publication Number Publication Date
CN114641994A CN114641994A (zh) 2022-06-17
CN114641994B true CN114641994B (zh) 2024-12-27

Family

ID=73014535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080077232.0A Active CN114641994B (zh) 2019-11-07 2020-11-02 编码和解码方法及装置

Country Status (5)

Country Link
US (1) US20220408082A1 (zh)
EP (1) EP4055822A1 (zh)
JP (1) JP2023500503A (zh)
CN (1) CN114641994B (zh)
WO (1) WO2021089455A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4029253A4 (en) * 2019-12-30 2022-10-19 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR WEIGHTED PREDICTION HARMONIZATION WITH NON-RECTANGULAR BLENDING MODES
CN115379238A (zh) * 2021-05-18 2022-11-22 南京大学 一种基于高层次综合的视频帧内预测硬件实现方法
JP2023156066A (ja) * 2022-04-12 2023-10-24 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
WO2024219878A1 (ko) * 2023-04-19 2024-10-24 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008084817A1 (ja) * 2007-01-09 2008-07-17 Kabushiki Kaisha Toshiba 画像符号化と復号化の方法及び装置
KR20130049522A (ko) * 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 방법
KR101874100B1 (ko) * 2011-12-02 2018-07-04 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
GB2526337A (en) * 2014-05-21 2015-11-25 Canon Kk Method and apparatus for syntax element encoding in video coding and decoding
KR102413529B1 (ko) * 2014-06-19 2022-06-24 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 통합된 인트라 블록 카피 및 인터 예측 모드
US11146794B2 (en) * 2015-07-27 2021-10-12 Mediatek Inc. Method of system for video coding using intra block copy mode
US10462483B1 (en) * 2018-04-26 2019-10-29 Tencent America LLC Method and apparatus for video coding
EP4032263A4 (en) * 2019-10-10 2023-05-17 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR HARMONIZING A TRIANGULAR BLDING MODE WITH WEIGHTED PREDICTION

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
A. Filippov ET AL.Non-CE4: On TPM merge mode in the presence of weighted prediction.《Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: Geneva, CH, 1–11 October 2019，Document: JVET-P0617-v1》.2019,第1-9页. *
AHG13: On bi-prediction with weighted averaging and weighted prediction;Yan Ye ET AL;《Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Marrakech, MA, 09–18 January 2019，Document: JVET-M0111-v2》;20190118;第1-7页 *
CE4-related: PROF prediction sample range reduction;Tzu-Der Chuang ET AL;《Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: Geneva, CH, 1–11 October 2019，Document: JVET-P0154-v4》;20190930;第1-7页 *
CE9-related: Disabled DMVR, BDOF and BCW for CIIP;Han Huang ET AL;《Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Gothenburg, SE, 3–12 July 2019，Document: JVET-O0681》;20190712;第1-7页 *
Non-CE4: On TPM merge mode in the presence of weighted prediction;A. Filippov ET AL;《Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: Geneva, CH, 1–11 October 2019，Document: JVET-P0617-v1》;20191011;第1-9页 *
Tzu-Der Chuang ET AL.CE4-related: PROF prediction sample range reduction.《Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: Geneva, CH, 1–11 October 2019，Document: JVET-P0154-v4》.2019,第1-7页. *
Yan Ye ET AL.AHG13: On bi-prediction with weighted averaging and weighted prediction.《Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Marrakech, MA, 09–18 January 2019，Document: JVET-M0111-v2》.2019,第1-7页. *

Also Published As

Publication number Publication date
EP4055822A1 (en) 2022-09-14
US20220408082A1 (en) 2022-12-22
CN114641994A (zh) 2022-06-17
WO2021089455A1 (en) 2021-05-14
JP2023500503A (ja) 2023-01-06

Similar Documents

Publication Publication Date Title
US12244831B2 (en) Method and device for picture encoding and decoding
CN114641994B (zh) 编码和解码方法及装置
CN112889287B (zh) 广义双向预测和加权预测
US20230232037A1 (en) Unified process and syntax for generalized prediction in video coding/decoding
CN113170146A (zh) 用于图片编码和解码的方法和设备
US11962753B2 (en) Method and device of video coding using local illumination compensation (LIC) groups
CN113170113B (zh) 用于视频编码和解码的三角形和多重假设组合
US20230254507A1 (en) Deep intra predictor generating side information
KR20210062055A (ko) 양방향 예측을 사용하는 비디오 인코딩 및 디코딩을 위한 방법 및 장치
CN113424540A (zh) 帧内预测模式扩展
EP3668100A1 (en) Method and device for picture encoding and decoding
US12143567B2 (en) Subblock merge candidates in triangle merge mode
KR20240088795A (ko) 디코더 측 화면내 모드 도출에서의 각도 이산화 개선
CN117280684A (zh) 具有可切换内插滤波器的几何分区
CN114731430A (zh) 与多个变换选择、矩阵加权帧内预测或多参考线帧内预测结合的用于视频编码和解码的帧内子分区
US12256068B2 (en) Signaling of merge indices for triangle partitions
WO2025002767A1 (en) New hypothesis for multi-hypothesis inter prediction mode
WO2024235610A1 (en) Inferring motion vector predictor based on motion vector difference
JP2024513657A (ja) ビデオエンコード及びデコードのためのテンプレートマッチング予測
CN117501692A (zh) 用于视频编码和解码的模板匹配预测
CN117561717A (zh) 高精度4×4 dst7和dct8变换矩阵
CN116158074A (zh) 允许解码和显示过程能量和质量控制的元数据
CN114270829A (zh) 局部照明补偿标志继承

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20231009

Address after: Paris France

Applicant after: Interactive digital CE patent holdings Ltd.

Address before: French Sesong Sevigne

Applicant before: Interactive digital VC holdings France Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant