[go: up one dir, main page]

CN113261280B - 运动补偿边界滤波 - Google Patents

运动补偿边界滤波 Download PDF

Info

Publication number
CN113261280B
CN113261280B CN201980086052.6A CN201980086052A CN113261280B CN 113261280 B CN113261280 B CN 113261280B CN 201980086052 A CN201980086052 A CN 201980086052A CN 113261280 B CN113261280 B CN 113261280B
Authority
CN
China
Prior art keywords
block
prediction
filtering
boundary
prediction block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980086052.6A
Other languages
English (en)
Other versions
CN113261280A (zh
Inventor
F·厄本
A·罗伯特
F·加尔平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP19305749.4A external-priority patent/EP3751850A1/en
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN113261280A publication Critical patent/CN113261280A/zh
Application granted granted Critical
Publication of CN113261280B publication Critical patent/CN113261280B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/583Motion compensation with overlapping blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/40Tree coding, e.g. quadtree, octree
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

至少提出了用于高效地编码或解码视频的方法和装置。例如,获得当前块的预测块。获得所述预测块的重构相邻块。在所述预测块和所述重构相邻块之间的边界上执行滤波。在编码器侧,获得所述预测残差作为滤波后的预测块与所述当前块之间的差,然后对其进行编码。在解码器侧,将所述预测残差添加到经滤波的预测块以重构所述当前块。

Description

运动补偿边界滤波
技术领域
本发明总体上涉及一种用于视频编码或解码的方法和装置,更具体地讲,涉及一种对视频进行有效地编码和解码的方法和装置,其中在当前块的预测块和重构相邻块之间的边界(boundary)上执行滤波(filtering)。
背景技术
为了实现高压缩效率,图像和视频译码方案通常采用预测和变换以利用视频内容中的空间和时间冗余。通常,使用帧内或帧间预测来利用帧内或帧间图片相关性,然后对通常表示为预测误差或预测残差的原始块与预测块之间的差进行变换、量化和熵译码。为了重构所述视频,通过与熵译码、量化、变换和预测相对应的逆处理来对所述压缩数据进行解码。
发明内容
根据实施例,提出了一种用于视频编码的方法,包括:获得当前块的预测块;获得所述预测块的重构相邻块;在所述预测块和所述重构相邻块之间的边界上执行滤波;以及基于经滤波的边界对当前块进行编码。
根据另一实施例,提出了一种用于视频解码的方法,包括:获得当前块的预测块;获得所述预测块的重构相邻块;在所述预测块和所述重构相邻块之间的边界上执行滤波;以及基于经滤波的边界,对所述当前块进行解码。
根据另一实施例,提出了一种用于视频编码的装置,包括:用于获得当前块的预测块的装置;用于获得所述预测块的重构相邻块的装置;用于在所述预测块和所述重构相邻块之间的边界上执行滤波的装置;以及用于基于经滤波的边界对所述当前块进行编码的装置。
根据另一实施例,提出了一种用于视频解码的装置,包括:用于获得当前块的预测块的装置;用于获得所述预测块的重构相邻块的装置;用于在所述预测块和所述重构相邻块之间的边界上执行滤波的装置;以及用于基于所述经滤波边界解码所述当前块的装置。
根据另一实施例,呈现一种用于视频编码的装置,其包括一或多个处理器,其中所述一或多个处理器被配置以:获得当前块的预测块;获得所述预测块的重构相邻块;在所述预测块和所述重构相邻块之间的边界上执行滤波;以及基于经滤波的边界,对所述当前块进行编码。
根据另一实施例,呈现一种用于视频解码的装置,其包括一或多个处理器,其中所述一或多个处理器被配置以:获得当前块的预测块;获得所述预测块的重构相邻块;在所述预测块和所述重构相邻块之间的边界上执行滤波;以及基于经滤波的边界,解码所述当前块。
根据另一实施例,一种信号,其包括通过执行以下步骤来形成包括编码视频:获得当前块的预测块;获得所述预测块的重构相邻块;在所述预测块和所述重构相邻块之间的边界上执行滤波;以及基于经滤波的边界,对所述当前块进行编码。
附图说明
图1示出了视频编码器的实施例的框图。
图2示出了视频解码器的实施例的框图。
图3是示出了用于表示压缩HEVC图像的译码树单元和译码树概念的图示示例。
图4是示出了将译码树单元划分为译码单元、预测单元和变换单元的图示示例。
图5是示出了OBMC(重叠块运动补偿)原理的概况的图示示例。
图6是示出了用以构建帧间预测块的过程的图示示例。
图7A和图7B分别是示出了应用去块(deblocking)滤波之前和之后的图片的图示示例。
图8是示出了解码器架构中的后置滤波级的图示示例。
图9是示出了具有块化(blocking)伪痕的块边界的图示示例。
图10示出了用于确定边界强度(BS)参数的过程。
图11示出了用于确定去块滤波器强度的过程。
图12是示出了用于当前CU和正被编码/解码的子PU a-d的边界滤波的图示示例。
图13示出了用于确定用于预测平滑的边界强度的过程。
图14是示出了对边界附近的像素进行滤波,尤其是对水平边界进行强滤波的图示示例。
图15为示出了取决于QP量化参数值的TC阈值的预定义值的图示示例。
图16是示出了利用仿射模式的PU预测的图示示例。
图17是示出了利用边界样本的预测块滤波的图示实例。
图18示出了可以在其中实现本实施例的各方面的系统的框图。
具体实施方式
图1示出了示例视频编码器100,例如高效视频译码(HEVC)编码器。图1还可示出了其中对HEVC标准作出改进的编码器或采用类似于HEVC的技术的编码器,例如JVCT(联合视频探索团队)开发中的VVC(通用视频译码)编码器。
在本申请中,术语“重构”和“解码”可以互换使用,术语“编码”或“译码”可以互换使用,并且术语“图像”、“图片”和“帧”可以互换使用。通常,但不是必须的,术语“重构”在编码器侧使用,而“解码”在解码器侧使用。
在被编码之前,视频序列可以经历预编码处理(101),例如,对输入颜色图片应用颜色变换(例如,从RGB 4:4:4到YCbCr 4:2:0的转换),或者执行输入图片分量的重新映射,以便获得对压缩更有弹性的信号分布(例如,使用颜色分量之一的直方图均衡)。元数据可以与所述预处理相关联,并且被附加到比特流。
在HEVC中,为了编码具有一个或多个图片的视频序列,图片被分区(102)成一个或多个切片,其中每个切片可以包括一个或多个切片片段。切片片段被组织成译码单元、预测单元和变换单元。HEVC规范在“块”与“单元”之间进行区分,其中“块”寻址样本阵列中的特定区域(例如,亮度,Y),且“单元”包含所有经编码颜色分量(例如,Y、Cb、Cr或单色)的并置块、语法元素及与所述块相关联的预测数据(例如,运动向量)。
为了译码,将图片分区为具有可配置大小的正方形的译码树块(CTB),并且将译码树块的连续集合分组为一切片。译码树单元(CTU)包含编码的颜色分量的CTB。CTB是将四叉树分区成译码块(CB)的根,且译码块可分区成一个或一个以上预测块(PB)且形成将四叉树分区成变换块(TB)的根。对应于译码块、预测块和变换块,译码单元(CU)包括预测单元(PU)和变换单元(TU)的树结构集合,PU包括所有颜色分量的预测信息,并且TU包括每个颜色分量的残差译码语法结构。亮度分量的CB、PB和TB的大小适用于相应的CU、PU和TU。在本申请中,术语“块”可以用于表示例如CTU、CU、PU、TU、CB、PB和TB中的任意者。另外,“块”还可用于指代如H.264/AVC或其它视频译码标准中指定的宏块和分区,且更一般来说指代各种大小的数据阵列。
在示例性编码器100中,如下所述,由编码器元件对图片进行编码。以CU为单位处理要编码的图片。每一CU是使用帧内或帧间模式而被编码的。当CU以帧内模式被编码时,其执行帧内预测(160)。在帧间模式中,执行运动估计(175)和补偿(170)。所述编码器决定(105)使用帧内模式或帧间模式中的哪一个来编码所述CU,并且通过预测模式标志来指示所述帧内/帧间决定。通过从原始图像块中减去(110)预测块来计算预测残差。
然后,对所述预测残差进行变换(125)和量化(130)。对量化的变换系数以及运动向量和其它语法元素进行熵译码(145)以输出比特流。所述编码器也可跳过所述变换,并在4×4TU的基础上直接对未变换的残余信号应用量化。所述编码器还可以绕过变换和量化,即,直接对所述残差进行译码而不应用所述变换或量化过程。在直接PCM译码中,不应用预测,并且译码单元样本被直接译码到比特流中。
所述编码器对译码块进行解码,以提供用于进一步预测的参考。对量化变换系数进行逆量化(140)和逆变换(150)以对预测残差进行解码。组合(155)所解码的预测残差和预测块,重构图像块。环内滤波器(165)被应用于重构的图像,例如,以执行去块/SAO(样本自适应偏移)滤波以减少编码伪像。将滤波的图像存储在参考图片缓冲器(180)中。
图2示出了示例视频解码器200(例如,HEVC解码器)的框图。在解码器200中,如下所述,由解码器元件解码比特流。视频解码器200通常执行与图1中所描述的编码回合互逆的解码回合,其执行视频解码作为编码视频数据的部分。图2还可说明其中对HEVC标准作出改进的解码器或采用类似于HEVC的技术的解码器,例如VVC解码器。
具体而言,所述解码器的输入包含视频比特流,其可由视频编码器100产生。所述比特流首先被熵解码(230)以获得变换系数、运动向量、图片分区信息和其它译码信息。所述图片分区信息指示CTU的大小,以及CTU被分割成CU且在适用时可能被分割成PU的方式。所述解码器因此可以根据解码的图片分区信息,将所述图片划分(235)为CTU,并且将每个CTU划分成CU。所述变换系数被逆量化(240)和逆变换(250)以解码所述预测残差。
将所解码的预测残差与所述预测块进行组合(255),重构图像块。所述预测块可以从帧内预测(260)或运动补偿预测(即,帧间预测)(275)获得(270)。在双向预测的情况下,两个运动补偿预测可以通过加权和而相结合。环内滤波器(265)被应用于重构的图像。将滤波的图像存储在参考图片缓冲器(280)中。
所述解码后的图片可以进一步经历解码后处理(285),例如,逆颜色变换(例如,从YCbCr 4:2:0到RGB 4:4:4的转换)或执行在预编码处理(101)中执行的重新映射过程的逆重新映射。所述解码后处理可使用在预编码处理中导出且在所述比特流中用信号表示的元数据。
本公开属于视频压缩和解压缩领域。其目的在于与现有视频压缩系统(例如,HEVC和VTM-1,见“Algorithm description for Versatile Video Coding and Test Model 1(VTM 1)(通用视频译码和测试模型1(VTM 1)的算法描述)”,J.Chen,E.Alshina,文献JVET-J1002,Joint Video Experts Team(JVET)10th Meeting(联合视频专家组(JVET)第10次会议):San Diego,US,2018年4月10–20日))相比,改进帧间切片的译码效率。本发明提出简化帧间切片中的预测块滤波的后处理。
在HEVC视频压缩标准中,图片被分成所谓的译码树单元(CTU),其大小通常为64×64、128×128或256×256像素。每个CTU由压缩域中的译码树表示。这是CTU的四叉树划分,其中每个叶被称为译码单元(CU),如图3所示。接着向每一CU给予一些帧内或帧间预测参数(例如,预测信息)。为此,将其空间地分区成一个或多个预测单元(PU),每个PU被指派一些预测信息。如图4中所说明的,在CU层级上指派帧内或帧间编码模式。
确切地,一个运动向量(MV)被指派给HEVC中的帧间译码PU(或用于双向情况的一对MV)。该运动向量用于所考虑的PU的运动补偿时间预测。在HEVC中,链接一预测块及其参考块的运动模型简单地包括平移。
在JEM中(参见J.Chen,E.Alshina,G.J.Sullivan,J.-R.Ohm,J.Boyce,“AlgorithmDescription of Joint Exploration Test Model 7(JEM 7)(联合探索测试模型7(JEM 7)的算法描述)”,JVET第7次会议:Torino,IT,2017年7月13-21日,JVET-G1001),与纯平移模型相反,PU可以包含使用公共参数运动模型(例如,仿射模式)或使用存储的时间运动(例如,ATMVP)的子块级的运动场(例如,若干个4×4正方形子块,每个子块具有其自己的运动向量)。
OBMC(重叠块运动补偿)
在JEM中,对于所有帧间CU(不管其译码模式如何(基于或不基于子块),跟随运动补偿步骤的是被称为OBMC(重叠块运动补偿)的过程,其目的在于衰减CU之间的运动过渡和被划分为子块的CU内部的运动过渡(以某种方式类似于具有块化伪像的去块滤波器)。取决于CU译码模式(例如,仿射模式、ATMVP、平移模式),所应用的OBMC方法是不相同的。存在两个不同的过程,一个用于被划分成较小部分的CU(例如,仿射和FRUC),一个用于其他CU(整个CU)。
在现有技术中,OBMC过程的第一步骤包括检测CU的种类,以在块边界上或也在CU块内的子块上执行OBMC。
在图5中,我们示出了用于基于块的OBMC的基本原理,其使用顶部和左侧块:
-首先用当前块的运动向量对当前块C进行运动补偿。
-当前块C的左区带(band)(图5(c)中的阴影区域)用左块相邻块L的运动向量进行运动补偿。
-当前块C的顶区带(图5(d)中的阴影区域)使用顶块相邻块T0和T1的运动向量进行运动补偿。
-然后,执行加权和(在块级或像素级)以便计算最终的运动补偿块。
在图6中,示出了构建块的流水线的示例。可以绕过一些级或者可以添加其他处理。关于帧间预测块的解码,可以使用以下处理:
-MC(601):运动补偿(通过块或子块)。这里,当使用单向预测时,位置(m,n)处的运动补偿预测块可以被表达为Pred(m,n)=ref(m+mvx,n+mvy),其中mvx和mvy表示运动向量(即,位移),ref是参考图片。当运动向量处于分数分辨率时,可对所述参考进行内插。
-LIC(602):局部照度补偿。使用线性自适应来改变所预测的样本值。
-BIO(603):双向预测光流。使用用于重构所述块的所述两个参考块之间的光流估计的结果来改变所预测的样本值。另一变型是DMVR(解码器侧运动向量细化,图6中未示出)。
-GBI(604):广义双向预测。GBI使用两个参考块的加权平均值来重构该块。
-OBMC(605):重叠块运动补偿。使用来自相邻块的不同运动向量的运动补偿块的加权平均值被用于预测该块。
-IQ/IT:逆量化和逆变换。IQ/IT用于重构所述残差。
-帧内预测:用于使用周围样本值来预测块。
-多假设:使用取决于位置的加权平均而将若干预测(通常是帧间和帧内)合并在一起。还扩展到三角形多假设,其中可以在块内合并几个帧间预测。
-CCLM:跨分量线性模型。使用另一已经重构的分量来使用线性模型预测当前分量。
当前,在重构特定块期间,执行用于该块的OBMC过程。这意味着需要在每个相邻块中保存执行每个相邻区带的运动补偿所需的参数。
这里应当注意,在图6所示的例子中,使用其它预测过程(602,603,604)来调整来自初始运动补偿过程(601)的运动补偿预测结果,因此MC结果可以根据预测阶段而发展。例如,在应用LIC之后,MC结果不同于来自初始MC结果(601)的结果。
去块滤波器(DBF)
在已经重构图像之后,应用所述去块滤波器。其目的在于通过平滑块边缘附近的样本值来减少块化伪痕,如图7A(在去块滤波之前)和图7B(在去块滤波之后)中所示。
通常,如图8所示,所述去块滤波器(840)是译码伪像减少后置滤波器(820)之一,并且在块样本已经被重构(810)之后应用。经后置滤波的图片可以被显示,并且可能被存储在解码图片缓冲器(830)中,以用于建立运动补偿预测。
边界强度(BS)
图9中描述了具有块化伪痕的区块边界样本的例子,其中样本P={p0,p1,p2,p3}和Q={q0,q1,q2,q3}属于两个相邻的区块P和Q。通常,伪痕可见度与P和Q的样本值之间的相对差成比例。这就是DBF滤波在块边缘上执行样本平滑S的原因。平滑/滤波函数S参数为:
-边界强度(BS)={0-弱,1-正常或2-强}
-块P、Q的样本值
设{MViX,ref-iX}表示块X(X=P或Q)的参考图片列表“i”的MV值和参考索引。按照惯例,如果块X是用列表-0(相应列表-1)单向预测的,那么{MV1X被设置为零且ref-1X被设置为“-1”}(相应{MV0X被设置为零且ref-0X被设置为“-1”})。
如图10所示,边界强度(BS)的确定过程(300)可以取决于(350、360、370)若干块参数,并且在连续检查中出现,例如,如在JEM中:
-(305):P或Q是帧内还是帧间
-(310):P和Q具有零系数
-(320):P和Q具有不同的参考索引。如果P是双向预测的({MV0P,ref-0P},{MV1P,ref-1P})并且Q是单向预测的{MV0Q,ref-0Q},则检查是否:ref-0P≠ref-0Q和ref-1P≠ref-0Q(检查.1)
-(330):P和Q具有不同数量的参考(单向或双向预测)。在一种变型中,(330)不存在,并且在单向(uni-dir)中,推断缺失参考的MV值为零。
-(340):具有相同参考的P和Q运动向量具有大于阈值的差。在一种变型中,如果P是双向预测的({MV0P,ref-0P},{MV1P,ref-1P})并且Q是单向预测的{MV0Q,ref-0Q},则检查:
是否ref-0P=ref-0Q和|MV0P-MV0Q|>阈值
或者是否ref-1P=ref-0Q和|MV1P-MV0Q|>阈值(检查.2)
在亮度的情况下,仅滤波BS等于1或2的块边界。在色度的情况下,仅滤波BS等于2的块边界:
-BS=0:无边界滤波器
-BS=1或2:依赖于梯度的弱或强边界滤波器
滤波器强度
图11示出了用于确定去块滤波器强度的处理(400)。与确定BS的方式无关(图10),如果BS>0(405),则附加测试(图11中描述的415)基于一组条件确定是否应用滤波,所述条件涉及与预定阈值β相比的加权的样本值的绝对差组合:
|p20–2p10+p00|+|p23–2p13+p03|+|q20–2q10+q00|+|q23–2q13+q03|>β (公式1)
如果应用滤波器,则图11所示的滤波处理(430)根据样本值,修改边界(图9)的每一侧上的P、Q个样本中的一个或多个(410)。基于涉及与预定阈值相比的加权样本值的绝对差的组合的一组条件,针对每个边界(行或列),在该边界两侧上确定(420)滤波过程的强度(正常或强)。一些阈值是量化参数(QP)的函数(440)。
然后,沿着块的垂直(相应水平)边界的每行(相应列)被处理。在块边界的每侧上通过滤波(430)修改的样本的数量取决于滤波器强度。较强的滤波器强度影响块边界每侧上的更多像素。
强滤波器基于每侧4个像素的值,修改边界每侧3个像素。弱滤波器基于每侧上的3个像素,修改边界的每侧上的2个像素。
运动补偿边界滤波
如上所述,OBMC过程需要对来自单个子块的多达5个参考块的参考图片进行随机存取,因此需要5个不同的存储器位置。解码器侧的带宽要求因此非常高。
为了减少由于相邻块之间的预测差异而导致的块化伪像,本方法的目标在于在添加残差之前,在预测阶段平滑块边界。本申请中公开的原理也适用于被划分为子块(每个子块具有不同的运动,例如仿射、ATMVP)或不分为子块(整个PU中的恒定运动)的PU。
在一个实施例中,包括多个MC过程的OBMC过程由滤波过程代替。滤波在必要的情况下(例如,如常规OBMC过程所描述的)应用于帧内和/或帧间CU。滤波可以例如基于去块滤波器。
在所提出的技术中可以使用以下特征中的一个或多个:
-在重构当前CU之前,应用自适应(即,重构相邻CU,但对于当前CU(或PU),在此阶段仅执行预测)。
-仅可修改边界的当前CU或PU侧,且不重构相邻CU。
-对相邻CU的存取可限于一列/一行重构CU像素。
-在CTU边界处可以限制或禁止对相邻重构CU像素的存取。
-可以针对子PU运动(例如,仿射或ATMVP)简化该过程以降低复杂度。
-作为从位置相关帧内预测组合(PDPC)帧内预测得到的一个启发,更简单的滤波器可以用于降低PU边界滤波的甚至更多的复杂度。
在一个实施例中,所述OBMC过程由如下所述的滤波来代替。通过在块级别的运动预测阶段使用滤波,我们旨在获得OBMC在平滑预测方面的效果。在编码器侧,获得预测残差作为经滤波的预测块与当前块之间的差。在解码器侧,将所述预测残差添加到经滤波的预测块以重构当前块。
返回参考图6,所述OBMC可以由所提出的滤波技术来代替。以图5为例,只剩下一个MC(例如,图5中的(b)),而不再使用相邻PU的MC(例如,图5中的(c)-(d))。然后,基于重构的相邻像素,使用对预测像素的滤波来平滑PU之间的界限(frontier)。
在上面,我们描述了使用滤波来代替OBMC。应当注意,即使保留OBMC或使用预测方法的不同组合,本实施例也能够适用。主要概念是在预测块和相邻重构块的边界进行滤波以平滑该边界,而不管用于获得所述预测块的运动预测方法如何。
图12中描绘了处理CU的示例。CU 12是正被译码的块。CU0到CU11已被译码且可用作经解码参考。仅预测的CU 12的像素将通过沿PU边缘的滤波而被修改。重构的相邻CU的像素将用作参考。
基于去块的滤波
预测PU的界线(border)上的预测像素的边界滤波可由HEVC标准中使用的去块滤波器产生。可修改所述去块滤波过程以考虑仅预测(尚未完全重构)块,如下文所解释。
边界强度(BS)
首先,评估当前块Q与相邻块P之间的边界强度。BS(1350,1360,1370)的确定可以取决于若干块参数,并且在诸如JEM中的去块滤波器(图13)的连续检查中产生:
-(1305):P或Q是帧内或帧间
-(1310):P具有非零系数
-(1320):P和Q具有不同的参考索引。如果P是双向预测的({MV0P,ref-0P},{MV1P,ref-1P})并且Q是单向预测的{MV0Q,ref-0Q},则检查是否:ref-0P≠ref-0Q和ref-1P≠ref-0Q
-(1330):P和Q具有不同数量的参考(单向或双向预测)。在一种变型中,(1330)不存在,并且在单向中,推断缺失参考的MV值为零。
-(1340):具有相同参考的P和Q运动向量具有大于阈值的差。在一种变型中,如果P是双向预测的({MV0P,ref-0P},{MV1P,ref-1P})并且Q是单向预测的{MV0Q,ref-0Q},则检查是否:
ref-0P=ref-0Q和|MV0P-MV0Q|>>阈值
或者ref-1P=ref-0Q和|MV1P-MV0Q|>>阈值。
在亮度的情况下,仅滤波BS等于1或2的块边界。在色度的情况下,仅滤波BS等于2的块边界:
-BS=0:无边界滤波器
-BS=1或2:弱或强边界滤波器,取决于梯度。
滤波器强度
独立于确定BS的方式,基于涉及与预定阈值β相比的加权样本值的绝对差组合的一组条件,附加测试(图11中所示的415-与去块滤波器相同)确定是否应用滤波:
|p20–2p10+p00|+|p23–2p13+p03|+|q20–2q10+q00|+|q23–2q13+q03|>β (公式1)
如果应用滤波器,则图11所示的滤波过程(430)根据样本值,修改边界的当前PU侧的Q个样本中的一个或多个(410)。基于涉及与预定阈值相比的加权样本值绝对差的组合的一组条件,针对每个边界(行或列),确定(420)所述滤波过程的强度(正常或强)。一些阈值是块P的量化参数(QP)的函数(440)。
然后,沿着块的垂直(相应水平)边界的每行(相应列)被处理。所述块边界的当前PU侧上由(430)修改的样本的数量取决于滤波器强度。较强的滤波器强度影响所述块边界每侧上的更多像素。
对像素进行滤波
返回参看图12,CU 12将被逐个子PU地滤波:a与0之间的顶部界线、b与0之间的顶部界线、a与9之间的左边界以及c与11之间的左界线。另外,如果CU 12是以子PU运动(例如,仿射、ATMVP)译码的,那么也将滤波内部界线,其中预测值作为参考:a和c之间、b和d之间的水平界线,以及a和b之间、c和d之间的垂直界线。
在一个实施例中,处理的顺序首先是CU内要滤波的所有水平界线,然后是垂直界线。在处理次序的一变化形式中,处理的次序是按光栅扫描次序逐个子PU进行,首先是水平界线,接着是垂直界线。
如图13中所说明,强滤波器基于重构侧上的2个像素和当前CU大小的4个像素来修改边界附近的3个像素。弱滤波器基于重构侧上的1个像素和当前CU大小的3个像素来修改边界附近的2个像素。
沿着边界的当前CU的所有像素被如下滤波(mi’表示在滤波过程之后替换mi的滤波值):
-强滤波:
-弱滤波器:
对于两种情况,可以用比特深度范围的限制处的值来限幅所述滤波值:
mi″=clip3(0,(1<<bit depth)-1,mi′)
在一种变型中,所述限幅值保持接近于原始mi值并且取决于量化参数:
mi″=clip3(mi-tc,mi+tc,mi′)
其中
tc=predefinedTable[QP+offset]*(1<<(bitDepthLuma-8))
其中QP是参考解码相邻CU的量化参数,offset是通常设置为0的偏移量,并且predefinedTable被定义为所述量化参数的指数函数,具有用于高QP值的线性部分以便对于高QP保持TC值相当低,如图15所示,例如:predefinedTable={0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,1,1,1,1,1,1,1,1,2,2,2,2,3,3,3,3,4,4,4,5,5,6,6,7,8,9,10,11,13,14,16,18,20,22,24,26,28,30,32,34,36,38,40,42,44,46,48}
为了限制存储器带宽要求,对相邻CU像素的存取可限于一个列(相应行)以用于垂直(相应水平)边界滤波。
滤波器强度
修改用于确定滤波器强度的条件集合以移除对第一列/行上方的相邻CU像素的存取。例如,如下:
|-p10+p00|+|-p13+p03|+|q20-2q10+q00|+|q23-2q13+q03|>β
像素滤波
-强滤波:
-弱滤波器:
CTU边界
在一种变型中,这种限制仅针对CTU界线实施。如先前所定义的那样处理CTU内部界线(不在CTU界限上的CU界线)。
在另一变型中,对于CTU界线完全禁用所述滤波。
顶部-CTU行边界
在一种变型中,对于顶部CTU行边界,禁用滤波。不滤波CTU界限上的水平边界。所有其它边界如前所述那样被滤波。
子PU实施例
例如,对于ATMVP和仿射模式,PU可以被细分为更小的PU以用于预测处理。图16示出了利用仿射模式的PU预测。从2或3个传输向量中推导出预测模型,并且PU被划分成更小的子PU。在当PU可以被细分为更小的PU用于预测处理的情况下,如下修改所述滤波:
-如前所述,对PU界线进行滤波,这其中包括确定边界强度、确定滤波器强度以及实际滤波。
-对于子PU边界,总是使用弱滤波器。益处如下:
ο通常,相邻子PU之间的运动变化非常小,因此只需要弱滤波,
ο滤波器属性的确定不是必需的,这降低了复杂性,
ο滤波器更简单,因此复杂性更低。
简单的滤波实施例
由去块滤波器产生的滤波涉及许多检查和依赖性。出于复杂性的原因,人们可能希望简化滤波器设计。块边界平滑滤波器的一个示例可以是用于帧内PDPC的滤波器的适配。该滤波器仅需要应用于帧间预测块或PU(帧内已经具有其PDPC滤波)。
在本实施例中,帧间预测的结果进一步用滤波方法进行修改。该滤波器涉及边界参考样本(相邻解码CU样本)。根据以下等式使用参考样本的线性组合来修改预测样本pred(x,y):
pred(x,y)=(wL×R-1,y+wT×Rx,-1–wTL×R-1,-1+(64–wL–wT+wTL)×pred(x,y)+32)>>6
其中Rx,-1,R-1,y分别表示位于当前样本(x,y)的左上角的参考样本(在解码的相邻CU中),并且R-1,-1表示位于当前块的左上角的参考样本。
图17示出了参考样本(Rx,-1,R-1,y和R-1,-1)的定义。权重示于表1中。
表1-边界滤波权重的示例
*Shift取决于块的大小,并控制靠近边界的受影响的像素带的宽度。例如:shift=((Log2[width]-2+Log2[height]-2+2)>>2)。
每边界的滤波权重
对于DBF示例,可在子PU基础上且逐个边界地选择所述滤波权重。例如,根据左侧和顶部相邻PU,左垂直边界可能不以与顶部水平边界相同的权重来滤波。
表2示出了依赖于边界强度值的边界滤波权重的计算示例。例如,可以如图11所示以及如前所述来确定所述边界强度BS。
表2-取决于边界强度的边界滤波权重的示例
本申请描述了多个方面,这其中包括工具、特征、实施例、模型、方法等。这些方面中的许多方面被描述为具有特异性,并且至少为了示出个体特性,通常以可能听起来受限的方式来描述。然而,这是为了描述清楚的目的,并且不限制那些方面的应用或范围。实际上,所有不同的方面可以组合和互换以提供另外的方面。此外,这些方面也可以与在较早申请中描述的方面组合和互换。
本申请中描述和预期的方面可以以许多不同的形式来实现。各种附图及其相关描述在此提供了一些实施例,但是可以想到其他实施例。附图的相关描述不限制示例性实施方式的广度。至少一个方面主要涉及视频编码和解码,并且至少一个其它方面主要涉及传送所生成或编码的比特流。这些和其它方面可实施为方法、装置、上面存储有用于根据所描述的方法中的任意者编码或解码视频数据的指令的计算机可读存储介质、和/或上面存储有根据所描述的方法中的任意者产生的比特流的计算机可读存储介质。
本申请中描述的各种方法和其它方面可以用于修改如图1和图2所示的视频编码器100和解码器200的模块,例如运动补偿模块(170、275)。此外,本发明的方面不限于VVC或HEVC,并且可以应用于例如其它标准和建议(无论是预先存在的还是将来开发的)以及任何这种标准和建议的扩展。除非另外指出或在技术上排除,本申请中描述的方面可以单独或组合使用。
在本申请中使用各种数值,例如,不同的块大小或索引。具体值是出于示例目的,并且所描述的方面不限于这些具体值。
图18示出了其中实现了各个方面和实施例的系统的示例的框图。系统1800可以被实现为包括以下描述的各种组件的设备,并且被配置为执行本申请中描述的一个或多个方面。此类设备的示例包括但不限于各种电子设备,诸如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连接的家用电器和服务器。系统1800的元件可以单独地或组合地被实现在单个集成电路、多个IC和/或分立组件中。例如,在至少一个实施例中,系统1800的处理和编码器/解码器元件分布在多个IC和/或分立组件上。在各种实施例中,所述系统1800经由例如通信总线或通过专用输入和/或输出端口而被通信地耦合到其他类似系统或耦合到其他电子设备。在各种实施例中,所述系统1800被配置为实现本申请中描述的一个或多个方面。
所述系统1800包括至少一个处理器1810,其被配置为执行加载在其中的指令,以用于实现例如本申请描述的各个方面。处理器1810可以包括嵌入式存储器、输入输出接口和本领域已知的各种其它电路。所述系统1800包括至少一个存储器1820(例如,易失性存储器设备和/或非易失性存储器设备)。系统1800包括存储设备1840,其可以包括非易失性存储器和/或易失性存储器,这其中包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例,所述存储设备1840可以包括内部存储设备、附接的存储设备和/或网络可存取的存储设备。
系统1800包括编码器/解码器模块1830,其被配置为例如处理数据以提供所编码的视频或所解码的视频,并且所述编码器/解码器模块1830可以包括其自己的处理器和存储器。所述编码器/解码器模块1830表示可包括在设备中以执行编码和/或解码功能的模块(一个或多个)。如已知的,设备可以包括所述编码模块和解码模块中的一个或两个。另外,编码器/解码器模块1830可实施为系统1800的单独元件或可并入处理器1810内作为如所属领域的技术人员已知的硬件与软件的组合。
要加载到处理器1810或编码器/解码器1830上以执行本申请中描述的各个方面的程序代码可以存储在存储设备1840中,并且随后加载到存储器1820上以供处理器1810执行。根据各种实施例,处理器1810、存储器1820、存储设备1840和编码器/解码器模块1830中的一者或多者可以在执行本申请描述的过程期间存储各种项中的一者或多者。这些存储的项可以包括但不限于输入视频、所解码的视频或该解码的视频的部分、比特流、矩阵、变量以及来自方程式、公式、运算和运算逻辑的处理的中间或最终结果。
在数个实施例中,所述处理器1810和/或所述编码器/解码器模块1830内的存储器用于存储指令,并且提供用于在编码或解码期间需要的处理的工作存储器。然而,在其它实施例中,所述处理设备(例如,所述处理设备可为所述处理器1810或所述编码器/解码器模块1830)外部的存储器用于这些功能中的一者或多者。外部存储器可以是存储器1820和/或存储设备1840,例如,动态易失性存储器和/或非易失性闪存。在几个实施例中,外部非易失性闪存用于存储电视的操作系统。在至少一个实施例中,诸如RAM的快速外部动态易失性存储器被用作视频编码和解码操作的工作存储器,诸如用于MPEG-2、HEVC、或VVC(通用视频编码)的工作存储器。
如框1805中所示,可以通过各种输入设备来提供对系统1800的元件的输入。这样的输入设备包括但不限于:(i)接收例如由广播者通过空中传输的RF信号的RF部分,(ii)复合输入端子,(iii)USB输入端子,和/或(iv)HDMI输入端子。
在各种实施例中,框1805的输入设备具有本领域已知的相关联的相应输入处理元件。例如,所述RF部分可以与以下所适用的元件相关联:(i)选择期望频率(也称为选择信号,或将信号频带限制到一频带),(ii)将所选择的信号下变频,(iii)再次将频带限制到较窄频带,以选择(例如,)在某些实施例中可以称为信道的信号频带,(iv)解调所述下变频且频带限制的信号,(v)执行纠错,和(vi)解复用以选择期望的数据分组流。各种实施例的RF部分包括一个或多个元件以执行这些功能,例如,频率选择器、信号选择器、限带器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。所述RF部分可以包括执行各种这些功能的调谐器,这些功能包括例如将所接收的信号下变频到较低频率(例如,中频或近基带频率)或基带。在一个机顶盒实施例中,所述RF部分及其相关的输入处理元件接收通过有线(例如,电缆)介质发送的RF信号,并通过滤波、下变频和再次滤波来执行到期望频带的频率选择。各种实施例重新安排上述(和其它)元件的顺序,移除这些元件中的一些,和/或添加执行类似或不同功能的其它元件。添加元件可以包括在现有元件之间插入元件,例如插入放大器和模数转换器。在各种实施例中,所述RF部分包括天线。
另外,USB和/或HDMI终端可以包括用于通过USB和/或HDMI连接将系统1800连接到其它电子设备的相应接口处理器。应当理解,输入处理的各个方面(例如,所罗门纠错)可以根据需要在例如单独的输入处理IC或处理器1810内实现。类似地,USB或HDMI接口处理的各方面可以根据需要在单独的接口IC内或在处理器1810内实现。解调、纠错和解复用的流被提供给各种处理元件,这其中包括例如处理器1810和编码器/解码器1830,其与存储器和存储元件结合操作以根据需要来处理所述数据流以便在输出设备上呈现。
系统1800的各种元件可以设置在集成壳体内。在该集成壳体内,各种元件可以使用合适的连接布置1815(例如,本领域已知的内部总线(包括I2C总线、布线和印刷电路板)互连并在其间传输数据。
所述系统1800包括通信接口1850,其使得能够经由通信信道1890与其他设备通信。所述通信接口1850可以包括但不限于被配置为通过通信信道1890发送和接收数据的收发器。所述通信接口1850可以包括但不限于调制解调器或网卡,并且所述通信信道1890可以例如在有线和/或无线介质内实现。
在各种实施例中,使用Wi-Fi网络(例如,IEEE 802.11),将数据流式传输给所述系统1800。这些实施例的Wi-Fi信号通过适用于Wi-Fi通信的通信信道1890和通信接口1850来接收。这些实施例的通信信道1890通常连接到接入点或路由器,所述接入点或路由器提供对包括因特网的外侧网络的接入以允许流式传输应用和其它云上通信。其它实施例使用通过输入框1805的HDMI连接来传递数据的机顶盒而向系统1800提供流式传输的数据。还有一些实施例使用输入框1805的RF连接而向所述系统1800提供流式传输的数据。
所述系统1800可以向各种输出设备(包括显示器1865、扬声器1875和其他外围设备1885)提供输出信号。在各实施例的各示例中,所述其它外围设备1885包括以下中的一者或多者:独立DVR、盘播放器、立体声系统、照度系统、以及基于系统1800的输出来提供功能的其他设备。在各种实施例中,使用信令(诸如,AV.Link(AV.链路)、CEC、或在有或没有用户干预的情况下实现设备到设备控制的其他通信协议)在系统1800和显示器1865、扬声器1875或其它外围设备1885之间传送控制信号。所述输出设备可以经由通过相应接口1860、1870和1880的专用连接而通信地耦合到系统1800。作为替代,所述输出设备可以使用通信信道1890经由通信接口1850连接到系统1800。所述显示器1865和扬声器1875可以与系统1800的其它组件一起集成在电子设备(例如,电视机)中的单个单元中。在各种实施例中,显示接口1860包括显示驱动器,例如定时控制器((T Con)芯片。
例如,如果输入1805的RF部分是单独机顶盒的一部分,则所述显示器1865和扬声器1875可以备选地与其它组件中的一个或多个分离。在所述显示器1865和扬声器1875是外部组件的各种实施例中,所述输出信号可以经由专用输出连接来提供,所述专用输出连接例如包括HDMI端口、USB端口或COMP输出。
本实施例可以包括创建和/或发送和/或接收和/或解码包括一个或多个所描述的语法元素或其变型的比特流或信号。实施例还可包括TV、机顶盒、蜂窝电话、平板电脑或其它电子设备,其根据所描述的实施例中的任意者执行双向预测。
本发明实施例还可包含TV、机顶盒、蜂窝电话、平板电脑或其它电子设备,其根据所描述的实施例中的任意者执行双向预测,且显示(例如,使用监视器、屏幕或其它类型的显示器)所得图像。本实施例还可包括TV、机顶盒、蜂窝电话、平板电脑或其它电子设备,其调谐(例如,使用调谐器)频道以接收包括编码图像的信号,并根据所描述的任意实施例执行双向预测。本实施例还可包括TV、机顶盒、蜂窝电话、平板电脑或其它电子设备,其通过空中接收(例如,使用天线)包括编码图像的信号以及根据所描述的任何实施例的双向预测。
根据实施例,提出了一种用于视频编码的方法,包括:获得当前块的预测块;获得所述预测块的重构相邻块;在所述预测块和所述重构相邻块之间的边界上执行滤波;以及基于经滤波的边界,对所述当前块进行编码。
根据另一实施例,提出了一种用于视频解码的方法,包括:获得当前块的预测块;获得所述预测块的重构相邻块;在所述预测块和所述重构相邻块之间的边界上执行滤波;以及基于经滤波的边界,对所述当前块进行解码。
根据另一实施例,提出了一种用于视频编码的装置,包括:用于获得当前块的预测块的装置;用于获得所述所述预测块的重构相邻块的装置;用于在所述预测块和所述重构相邻块之间的边界上执行滤波的装置;以及用于基于经滤波的边界对所述当前块进行编码的装置。
根据另一实施例,提出了一种用于视频解码的装置,包括:用于获得当前块的预测块的装置;用于获得所述预测块的重构相邻块的装置;用于在所述预测块和所述重构相邻块之间的边界上执行滤波的装置;以及用于基于所述经滤波的边界解码所述当前块的装置。
根据另一实施例,呈现一种用于视频编码的装置,其包括一或多个处理器,其中所述一或多个处理器被配置以:获得当前块的预测块;获得所述所述预测块的重构相邻块;在所述预测块和所述重构相邻块之间的边界上执行滤波;以及基于经滤波的边界,对所述当前块进行编码。
根据另一实施例,呈现一种用于视频解码的装置,其包括一或多个处理器,其中所述一或多个处理器被配置以:获得当前块的预测块;获得所述预测块的重构相邻块;在所述预测块和所述重构相邻块之间的边界上执行滤波;以及基于经滤波的边界,解码所述当前块。
根据另一实施例,通过执行以下步骤来形成包括编码视频的信号:获得当前块的预测块;获得所述预测块的重构相邻块;在所述预测块和所述重构相邻块之间的边界上执行滤波;以及基于经滤波的边界对所述当前块进行编码。
根据另一实施例,所述滤波使用来自所述预测块的样本和来自所述重构相邻块的样本。
根据实施例,所述滤波还在所述当前块内部的一个或多个子块边界处被执行。
根据实施例,所述滤波仅调整来自所述预测块的样本,而不修改来自所述重构相邻块的所述样本。
根据实施例,所述预测块是运动补偿预测块。
根据实施例,当所述当前块使用单向预测时,运动补偿预测块是来自参考图片的由当前块的运动向量指示的块。
根据实施例,当所述当前块使用双向预测时,运动补偿预测块是来自第一参考图片的由所述当前块的第一运动向量指示的块和来自第二参考图片的由所述当前块的第二运动向量指示的块的平均值。
根据实施例,如果使用局部照度补偿,则所述运动补偿预测可以进一步通过照度补偿来调整。
根据实施例,所述滤波在所述预测块的多个边界上被执行。
根据实施例,所述预测块是帧间预测的。
根据实施例,所述滤波使用来自重构相邻块的位于当前样本的顶部和左侧的参考样本的线性组合。
根据实施例,滤波权重在子块和/或逐个边界的基础上被应用于所述滤波。
另外,实施例提供了一种包括指令的计算机程序,当由一个或多个处理器执行所述指令时,所述指令使所述一个或多个处理器执行根据上述实施例中的任意实施例的编码方法或解码方法。本发明实施例中的一者或一者以上还提供一种计算机可读存储介质,其上存储有用于根据上文所描述的方法编码或解码视频数据的指令。一个或多个实施例还提供了一种计算机可读存储介质,其上存储有根据上述方法生成的比特流。一个或多个实施例还提供了一种用于发送或接收根据上述方法生成的比特流的方法和装置。
各种实现方式涉及解码。如本申请中所使用的,“解码”可以包括例如对接收到的编码序列执行的全部或部分处理,以便产生适合于显示的最终输出。在各种实施例中,此类过程包括通常由解码器执行的过程中的一个或多个,例如熵解码、逆量化、逆变换和差分解码。短语“解码过程”是旨在具体地指代操作的子集还是一般地指代更广泛的解码过程,这基于具体描述的上下文将是清楚的,并且相信是本领域技术人员所充分理解的。
各种实现涉及编码。以与以上关于“解码”的讨论类似的方式,如在本申请中使用的“编码”可以包括例如对输入视频序列执行的以便产生编码比特流的过程的全部或部分。
本文描述的实现方式和方面可以在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单一形式的实现的上下文中被讨论(例如,仅作为方法而被讨论),所讨论的特征的实现也可以以其他形式(例如,装置或程序)来实现。例如,可以以适当的硬件、软件和固件来实现装置。所述方法可以在例如装置、例如处理器中实现,所述处理器通常指处理设备,这其中包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备,例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)和便于终端用户之间的信息通信的其他设备。
对“一个实施例”或“一实施例”或“一个实现方式”或“一实现方式”以及其它变化形式的提及意味着结合该实施例描述的特定特征、结构、特性等包含于至少一个实施例中。因此,在本申请文档中的各个地方出现的短语“在一个实施例中”或“在一实施例中”或“在一个实现方式中”或“在一实现方式中”以及任何其他变型的出现不一定都指同一实施例。
另外,本申请可以涉及“确定”各种信息。确定该信息可以包括例如以下一者或多者:估计该信息、计算该信息、预测该信息或从存储器检索该信息。
此外,本申请可以涉及“存取”各种信息。存取该信息可以包括例如以下一者或多者:接收该信息、检索该信息(例如,从存储器检索该信息)、存储该信息、移动该信息、复制该信息、计算该信息、确定该信息、预测该信息或估计该信息。
另外,本申请可以涉及“接收”各种信息。如同“存取”一样,接收旨在是广义的术语。接收所述信息可以包括例如以下一者或多者:存取该信息或(例如,从存储器)检索该信息。此外,在诸如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间,通常以一种方式或另一种方式涉及“接收”。
应当理解,例如在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下,使用以下“/”、“和/或”以及“中的至少一者”中的任意者旨在涵盖仅对第一列出的选项(A)的选择、或仅对第二列出的选项(B)的选择、或对两个选项(A和B)的选择。作为进一步的示例,在“A、B和/或C”和“A、B和C中的至少一者”的情况下,这样的措词旨在包括仅选择第一个列出的选项(A)、或者仅选择第二个列出的选项(B)、或者仅选择第三个列出的选项(C)、或者仅选择第一个和第二个列出的选项(A和B)、或者仅选择第一个和第三个列出的选项(A和C)、或者仅选择第二个和第三个列出的选项(B和C)、或者选择所有三个选项(A和B和C)。如本领域和相关领域的普通技术人员所清楚的,这可以扩展到所列的多个项目。
如对于本领域普通技术人员将显而易见的,实现方式可以产生被格式化以携带例如可以被存储或发送的信息的各种信号。该信息可以包括例如用于执行方法的指令,或者由所描述的实现方式之一产生的数据。例如,信号可以被格式化以携带所描述的实施例的比特流。这种信号可以被格式化为例如电磁波(例如,使用频谱的射频部分)或基带信号。所述格式化可以包括例如对数据流进行编码并且利用所编码的数据流对载波进行调制。所述信号携带的信息可以是例如模拟或数字信息。如已知的,所述信号可以通过各种不同的有线或无线链路来传输。所述信号可以存储在处理器可读介质上。

Claims (16)

1.一种用于视频编码的方法,其包括:
获得当前块的预测块,其中所述预测块为运动补偿预测块,并且其中所述预测块包括多个子块,并且其中所述预测块的每个子块具有其自己的基于公共仿射运动模型的运动向量;
获得所述预测块的重构相邻块;
在所述预测块中,至少对在所述预测块和所述重构相邻块之间的边界附近的样本执行滤波,该滤波基于所述预测块中在所述边界附近的一个或多个样本以及在所述重构相邻块中在所述边界附近的一个或多个样本,其中滤波器强度选自至少第一滤波器强度和第二滤波器强度,所述第一滤波器强度弱于所述第二滤波器强度;
对一个或多个子块边界进行滤波,其中,在子块边界处的滤波总是基于所述第一滤波器强度;
基于经滤波的预测块与所述当前块之间的差,获得一预测残差块;以及
对所述当前块的所述预测残差块进行编码。
2.根据权利要求1所述的方法,其中,所述滤波仅调整来自所述预测块的样本,而不修改来自所述重构相邻块的所述样本。
3.根据权利要求1所述的方法,其中,所述滤波使用来自重构相邻块的位于当前样本的顶部和左侧的参考样本的线性组合。
4.根据权利要求1所述的方法,其中,滤波权重在子块的基础上被应用于所述滤波。
5.一种用于视频解码的方法,其包括:
获得当前块的预测块和预测残差块,其中所述预测块是运动补偿预测块,并且其中所述预测块包括多个子块,并且其中所述预测块的每个子块具有其自己的基于公共仿射运动模型的运动向量;
获得所述预测块的重构相邻块;
在所述预测块中,至少对在所述预测块和所述重构相邻块之间的边界附近的样本执行滤波,该滤波基于所述预测块中在所述边界附近的一个或多个样本以及在所述重构相邻块中在所述边界附近的一个或多个样本,其中滤波器强度选自至少第一滤波器强度和第二滤波器强度,所述第一滤波器强度弱于所述第二滤波器强度;
对一个或多个子块边界进行滤波,其中,在子块边界处的滤波总是基于所述第一滤波器强度;
基于所述预测残差块和经滤波的预测块,解码所述当前块。
6.根据权利要求5所述的方法,其中,所述滤波仅调整来自所述预测块的样本,而不修改来自所述重构相邻块的所述样本。
7.根据权利要求5所述的方法,其中,所述滤波使用来自重构相邻块的位于当前样本的顶部和左侧的参考样本的线性组合。
8.根据权利要求5所述的方法,其中,滤波权重在子块的基础上被应用于所述滤波。
9.一种用于视频编码的装置,其包括一或多个处理器和耦合到所述一或多个处理器的至少一存储器,其中所述一或多个处理器被配置以:
获得当前块的预测块,其中所述预测块为运动补偿预测块,并且其中所述预测块包括多个子块,并且其中所述预测块的每个子块具有其自己的基于公共仿射运动模型的运动向量;
获得所述预测块的重构相邻块;
在所述预测块中,至少对在所述预测块和所述重构相邻块之间的边界附近的样本执行滤波,该滤波基于所述预测块中在所述边界附近的一个或多个样本以及在所述重构相邻块中在所述边界附近的一个或多个样本,其中滤波器强度选自至少第一滤波器强度和第二滤波器强度,所述第一滤波器强度弱于所述第二滤波器强度;
对一个或多个子块边界进行滤波,其中,在子块边界处的滤波总是基于所述第一滤波器强度;
基于经滤波的预测块与所述当前块之间的差,获得一预测残差块;以及
对所述当前块的所述预测残差块进行编码。
10.根据权利要求9所述的装置,其中,所述滤波仅调整来自所述预测块的样本,而不修改来自所述重构相邻块的所述样本。
11.根据权利要求9所述的装置,其中,所述滤波使用来自重构相邻块的位于当前样本的顶部和左侧的参考样本的线性组合。
12.根据权利要求9所述的装置,其中,滤波权重在子块的基础上被应用于所述滤波。
13.一种用于视频解码的装置,其包括一或多个处理器和耦合到所述一或多个处理器的至少一存储器,其中所述一或多个处理器被配置以:
获得当前块的预测块和预测残差块,其中所述预测块是运动补偿预测块,并且其中所述预测块包括多个子块,并且其中所述预测块的每个子块具有其自己的基于公共仿射运动模型的运动向量;
获得所述预测块的重构相邻块;
在所述预测块中,至少对在所述预测块和所述重构相邻块之间的边界附近的样本执行滤波,该滤波基于所述预测块中在所述边界附近的一个或多个样本以及在所述重构相邻块中在所述边界附近的一个或多个样本,其中滤波器强度选自至少第一滤波器强度和第二滤波器强度,所述第一滤波器强度弱于所述第二滤波器强度;
对一个或多个子块边界进行滤波,其中,在子块边界处的滤波总是基于所述第一滤波器强度;
基于所述预测残差块和经滤波的预测块,解码所述当前块。
14.根据权利要求13所述的装置,其中,所述滤波仅调整来自所述预测块的样本,而不修改来自所述重构相邻块的所述样本。
15.根据权利要求13所述的装置,其中,所述滤波使用来自重构相邻块的位于当前样本的顶部和左侧的参考样本的线性组合。
16.根据权利要求13所述的装置,其中,滤波权重在子块的基础上被应用于所述滤波。
CN201980086052.6A 2018-12-26 2019-12-16 运动补偿边界滤波 Active CN113261280B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP18306844 2018-12-26
EP18306844.4 2018-12-26
EP19305749.4A EP3751850A1 (en) 2019-06-12 2019-06-12 Motion compensation boundary filtering
EP19305749.4 2019-06-12
PCT/US2019/066488 WO2020139596A1 (en) 2018-12-26 2019-12-16 Motion compensation boundary filtering

Publications (2)

Publication Number Publication Date
CN113261280A CN113261280A (zh) 2021-08-13
CN113261280B true CN113261280B (zh) 2024-09-03

Family

ID=69160441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980086052.6A Active CN113261280B (zh) 2018-12-26 2019-12-16 运动补偿边界滤波

Country Status (4)

Country Link
US (1) US11563975B2 (zh)
EP (1) EP3903483A1 (zh)
CN (1) CN113261280B (zh)
WO (1) WO2020139596A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4128782A1 (en) * 2020-06-22 2023-02-08 Huawei Technologies Co., Ltd. Motion compensation with a sparse optical flow representation
US20240048776A1 (en) * 2022-08-04 2024-02-08 Apple Inc. Reducing blockiness for codecs

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090004661A (ko) * 2007-07-04 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
CN103262532B (zh) * 2010-07-19 2018-03-09 杜比实验室特许公司 用于经采样复用的图像和视频数据的增强方法
CN105227958B (zh) * 2010-07-20 2019-06-25 Sk电信有限公司 用于解码视频信号的解码装置
WO2013015484A1 (ko) * 2011-07-22 2013-01-31 에스케이텔레콤 주식회사 연성 디블록킹 필터링을 이용한 부호화/복호화 방법 및 장치
US20140192862A1 (en) * 2013-01-07 2014-07-10 Research In Motion Limited Methods and systems for prediction filtering in video coding
US11616987B2 (en) * 2015-06-11 2023-03-28 Dolby Laboratories Licensing Corporation Method for encoding and decoding image using adaptive deblocking filtering, and apparatus therefor
CN108293111B (zh) * 2015-10-16 2022-07-08 Lg电子株式会社 改善图像编码系统中的预测的滤波方法、装置和存储介质
CN109155847A (zh) * 2016-03-24 2019-01-04 英迪股份有限公司 用于编码/解码视频信号的方法和装置
EP3520402A4 (en) * 2016-10-03 2019-09-18 Sharp Kabushiki Kaisha SYSTEMS AND METHOD FOR APPLYING DEFLECTION FILTERS IN RECONSTRUCTED VIDEO DATA
US11483555B2 (en) * 2018-01-11 2022-10-25 Telefonaktiebolaget Lm Ericsson (Publ) Multiple boundary filtering
WO2019217383A1 (en) * 2018-05-09 2019-11-14 Interdigital Vc Holdings, Inc. Motion compensation for video encoding and decoding

Also Published As

Publication number Publication date
US20210360285A1 (en) 2021-11-18
CN113261280A (zh) 2021-08-13
WO2020139596A1 (en) 2020-07-02
EP3903483A1 (en) 2021-11-03
US11563975B2 (en) 2023-01-24

Similar Documents

Publication Publication Date Title
CN111630856B (zh) 基于响应于相邻样本的线性模型进行视频编码和解码的方法和设备
JP7612577B2 (ja) 画像をデブロッキングするための方法及び装置
JP7616994B2 (ja) ピクチャエンコードおよびデコードのための方法およびデバイス
JP7473478B2 (ja) イントラ予測におけるplanarモード及びdcモードの境界フィルタリング
US20220038681A1 (en) Video encoding or decoding using block extension for overlapped block motion compensation
JP7543301B2 (ja) 境界平滑化された動き補償に基づくオプティカルフローによるビデオ符号化および復号化の方法および装置
CN113302924B (zh) 用于视频编码和解码的量化
CN112740674A (zh) 使用双预测进行视频编码和解码的方法和装置
CN119071478A (zh) 用于画面编码和解码的方法和设备
CN113261280B (zh) 运动补偿边界滤波
JP7509773B2 (ja) 二重木を伴う現ピクチャ参照ブロックベクトル初期化
CN115462080A (zh) 使用深度神经网络的运动修正
AU2019398124B2 (en) Method and apparatus for deblocking an image
US20250126254A1 (en) Method and apparatus for deblocking an image
EP3751850A1 (en) Motion compensation boundary filtering
CN114270829B (zh) 局部照明补偿标志继承
WO2024077970A1 (en) Encoding/decoding video picture data
TW202508280A (zh) Cabac框間/框內共享模型
CN119343922A (zh) 编码/解码视频画面数据

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant