[go: up one dir, main page]

CN113016181B - 依据块形状适配最可能模式候选的选择 - Google Patents

依据块形状适配最可能模式候选的选择 Download PDF

Info

Publication number
CN113016181B
CN113016181B CN201980074900.1A CN201980074900A CN113016181B CN 113016181 B CN113016181 B CN 113016181B CN 201980074900 A CN201980074900 A CN 201980074900A CN 113016181 B CN113016181 B CN 113016181B
Authority
CN
China
Prior art keywords
current block
mpm
list
mode
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980074900.1A
Other languages
English (en)
Other versions
CN113016181A (zh
Inventor
G·拉斯
F·拉卡佩
F·厄本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN113016181A publication Critical patent/CN113016181A/zh
Application granted granted Critical
Publication of CN113016181B publication Critical patent/CN113016181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了至少一种用于有效地编码或解码视频的方法和装置。例如,依据当前块的形状获得包括当前块的数个帧内预测模式候选的最可能模式(MPM)列表。然后基于所获得的最可能模式列表对当前块进行编码或解码。

Description

依据块形状适配最可能模式候选的选择
技术领域
本发明的至少一个实施例一般涉及一种用于视频编码或解码的方法或装置,且更明确地说,涉及一种用于提供有效视频压缩的方法或装置,其中依据块形状适配一个或多个最可能模式(MPM)的选择。
背景技术
为了实现高压缩效率,图像和视频译码方案通常采用预测和变换,以利用视频内容中的空间和时间冗余。通常,帧内或帧间预测用于利用帧内或帧间相关性,然后对通常表示为预测误差或预测残差的原始块与预测块之间的差进行变换、量化和熵译码。为了重构视频,通过与熵译码、量化、变换和预测相对应的逆处理来对压缩数据进行解码。
视频压缩技术的最新补充包括各种工业标准、参考软件的版本和/或文档,例如由JVET(联合视频探索团队)组开发的联合探索模型(JEM)和后来的VTM(通用视频译码(VVC)测试模型)。这些补充的目的是对现有HEVC(高效视频译码)标准进行进一步改进。
发明内容
通过本文描述的一个或多个方面解决和解决了现有技术的缺点和不足。
根据实施例,提供了一种用于视频编码的方法,包括:获得最可能模式(MPM)列表,所述MPM列表包括依据当前块的形状的所述当前块的数个帧内预测模式候选;以及基于最可能模式列表对当前块进行编码。
根据另一实施例,提供了一种用于视频解码的方法,包括:获得最可能模式(MPM)列表,所述MPM列表包括依据当前块的形状的所述当前块的数个帧内预测模式候选;以及基于最可能模式列表对当前块进行解码。
根据另一实施例,呈现一种用于视频解码的装置,其包括一个或多个处理器,其中所述一个或多个处理器被配置为:获得最可能模式(MPM)列表,所述MPM列表包括依据当前块的形状的所述当前块的数个帧内预测模式候选;以及基于最可能模式列表对当前块进行解码。
根据另一实施例,呈现一种用于视频编码的设备,其包括一个或多个处理器,其中所述一个或多个处理器被配置为:获得最可能模式(MPM)列表,所述MPM列表包括依据当前块的形状的所述当前块的数个帧内预测模式候选;以及基于最可能模式列表对当前块进行编码。
根据另一实施例,通过执行以下步骤来形成包括编码的视频的信号:获得最可能模式(MPM)列表,所述MPM列表包括依据当前块的形状的所述当前块的数个帧内预测模式候选;基于最可能模式列表对当前块进行编码;以及形成包括所编码的当前块的比特流。
附图说明
图1A示出VTM中的帧内预测方向;图1B示出了用于导出VTM中的MPM列表的上部参考位置和左侧参考位置。
图2示出了使用上部参考位置和左侧参考位置来导出MPM列表的另一示例。
图3示出了高度=4且宽度=32的目标的预测模式的相对频率。
图4示出了高度=32且宽度=4的目标的预测模式的相对频率。
图5示出了根据实施例的当目标亮度块是正方形(宽度=高度)时的过程。
图6示出了根据实施例的当目标亮度块是扁平的(宽度>高度)时的过程。
图7示出了根据实施例的当目标亮度块是高的(宽度<高度)时的过程。
图8示出了视频编码器的实施例的框图。
图9示出了视频解码器的实施例的框图。
图10示出了可以在其中实现本实施例的各方面的系统的框图。
具体实施方式
本申请提出帧内预测模式译码,例如,在通用视频译码(VVC)VTM 2.0.1编解码器中使用的帧内预测模式译码(参见“核心实验3(CE3)的描述:帧内预测和模式译码”,G.Vander Auwera,J.Heo,和A.Filippov,JVET-K1023,第11次JVET会议,卢布尔雅那,斯洛文尼亚,2018年7月)。在澳门于2018年10月举行的JVET会议中,采用了六个预测模式的最可能模式(MPM)列表来代替三个模式(JVET-L0222,参见“CE3 6.6.1:具有用于非MPM信令的截断二进制译码的简单6-MPM列表构造”,A.M.Kotra等人,JVET-L0222,第12次JVET会议,澳门,中国,2018年10月),其已经在较早的时候从HEVC/H.265标准中提出。
然而,这六个模式不是使用所有因果邻居(左侧、顶部、左下、右上和左上)的预测模式和一些默认模式(如平面(PLANAR)和DC)导出的,如在联合探索模型(JEM)中较早采用的(参见“基于邻居的帧内最可能模式列表导出”,V.Seregin,X.Zhao,A.Aea,M.Karczewicz.JVET-C0055,JVET会议,2016年5月,日内瓦,瑞士)。相反,新提出的MPM列表构造仅从左侧和顶部相邻块的模式以及诸如平面、DC、纯垂直(模式50)和水平模式(模式18)的一些默认模式中导出。这些预测模式的次序是重要的,因为使用截断一元码来用信号通知列表中的候选预测模式。在本申请中,我们提出根据块形状来构造和适配MPM集合中的模式的次序。
所提出的实施例旨在改进帧内预测模式译码。下面,针对VTM 2.0.1编解码器中的亮度分量描述帧内预测模式译码改进。然而,本实施例不限于VTM 2.0.1编解码器,相反,它们可以应用于其他编解码器。当块是矩形时,分别依据块是扁平的还是高的,我们给予倾向至左侧或顶部相邻块。当被称为leftMode和aboveMode的左侧和顶部相邻块的预测模式不相等时,如果除了leftMode、aboveMode、平面和DC之外该块是扁平的(高的),则我们将leftMode(aboveMode)的相邻模式包括在MPM集合中。此外,如果块是扁平的(高的),则我们也首先放置leftMode(aboveMode)。类似地,在默认模式中,如果块是扁平的(高的),则我们包括HOR_IDX(VER_IDX)的相邻模式。这样做,我们的目的是增加找到具有较低索引的最佳候选模式的概率,这导致较短的码以及因此较好的译码性能。
在VVC VTM 2.0.1中,视频序列的帧的编码基于四叉树(QT)或多类型树(MTT)块分割结构。帧被划分为正方形译码树单元(CTU),CTU可以基于率失真标准经历四叉树或多类型树分割为较小的译码单元(CU)。每一CU是帧内预测的,即,其是从已解码的因果邻居CU空间预测的,或每一CU是帧间预测的,即,其是从已解码的参考帧时间预测的。在I切片(I-slices)中,所有CU都是帧内预测的,而在P和B切片中,CU可以是帧内预测的或帧间预测的。
对于帧内预测,如图1A所示,VTM 2.0.1定义67个预测模式,其包括一个平面模式(索引为模式0)、一个DC模式(索引为模式1)和65个角度模式(索引为模式2-66)。角度模式旨在模拟不同对象结构中的方向性,而平面和DC模式旨在模拟逐渐和缓慢变化的强度区域。可以利用不同的预测模式来测试目标块的速率失真性能,并且将最佳模式用信号通知给解码器。
为了最小化亮度块的预测模式所需的信令位,VTM 2.0.1使用HEVC/H.265标准中使用的最可能模式(MPM)的概念。其思想是使用左侧和顶部相邻块的预测模式以及像平面、DC和垂直(VER_IDX)模式的一些默认模式来构建三个最可能的预测模式的列表。如果目标块的预测模式属于该列表,则将称为mpmFlag的标志设置为“1”,并且使用可变长度码对MPM列表中的候选模式的索引进行编码。否则将mpmFlag设定为“0”且使用六个比特对64个模式的剩余集合中的预测模式的索引进行固定长度译码(FLC)。在澳门于2018年10月举行的JVET会议中,同意使用由六个模式而不是三个模式组成的MPM列表(参见JVET-L0222)。如果目标块的预测模式属于MPM列表,则将mpmFlag设置为“1”,然后使用可变长度码对MPM列表中的模式的索引进行编码。否则,mpmFlag被设置为“0”,且使用5个或6个比特的截断二进制码来编码61个模式的剩余集合中的预测模式的索引。
所提出的实施例的目的是改进MPM列表的构造。MPM集合中的模式的次序对译码性能具有暗示,因为匹配候选模式的索引是经可变长度译码的。为了具有较高的译码性能,以导致最可能的MPM模式具有相比于较不可能的MPM模式低的索引的方式对所述模式进行排序是有意义的。在本公开中,我们提出根据目标块的形状对模式进行排序。在我们提出我们的方法之前,我们将首先描述在VTM 2.0.1中使用的MPM和在JVET-L0222中对于6个MPM所采用的贡献。
VTM 2.0.1中的帧内预测模式编码
VTM 2.0.1编解码器指定由三个不同模式组成的MPM列表,所述模式是从当前CU的顶部和左侧的帧内译码CU的预测模式、平面模式(索引=0,也称为PLANAR_IDX)、DC模式(索引=1,也称为DC_IDX)和直接垂直模式(索引=50,也称为VER_IDX)构造的。顶部和左侧的CU位于目标CU的左上边缘,并且在图1B中示出。
表1示出了如何根据左侧和顶部块的预测模式在VTM 2.0.1中导出MPM列表。这里,L表示左侧CU的预测模式(也称为leftMode),而A表示顶部CU的预测模式(也称为aboveMode)。
表1:VTM 2.0.1中的MPM导出
如果当前块的预测模式等于这三种模式中的一者,通过将mpmFlag设置为1且接着使用表2中所示的简单的可变长度译码方案对来自MPM列表的候选模式进行编码来指示这一点。
表2:VTM 2.0.1中的MPM编码
候选 二值化
MPM[0] 0
MPM[1] 10
MPM[2] 11
如果预测模式不等于MPM列表中的模式中的任一者,那么将mpmFlag设定为0,且使用6比特固定长度码来指示从剩余64个模式中选择的模式。
JVET-L0222中的帧内预测模式编码
在澳门于2018年10月举行的JVET会议中,采用了来自JVET-L0222的使用六个MPM的建议。此处,MPM列表是从当前CU的顶部和左侧的经帧内译码的CU的预测模式和一些默认模式构造的。如图2所示,该顶部及左侧CU分别位于该目标块的右侧及下部,而非位于左上角。该默认模式为平面模式、DC模式、直接垂直模式VER_IDX(索引=50)及直接水平模式HOR_IDX(索引=18)。
在JVET-L0222中,MPM列表被如下构造,其中“!”是补码运算符。如果L是0,!L为1(DC_IDX)。否则(即,L>0),!L=0(PLANAR_IDX):
L≡左侧CU的预测模式(范围[0-66]中的值)
A≡上部CU的预测模式(范围[0-66]中的值)
偏移(offset)=NUM_LUMA_MODES-5(=62)
mod=offset+3(=65)
初始化:
MPM[0]=L;
MPM[1]=!L
MPM[2]=VER_IDX
MPM[3]=HOR_IDX
MPM[4]=VER_IDX-4
MPM[5]=VER_IDX+4
如果L=A
如果L>DC_IDX
MPM[0]=L;
MPM[1]=PLANAR_IDX
MPM[2]=DC_IDX
MPM[3]=((L+offset)%mod)+2
MPM[4]=((L-1)%mod)+2
MPM[5]=((L+offset-1)%mod)+2
否则,
使用初始化的值。
否则(即,如果L≠A)
如果L>DC_IDX且A>DC_IDX
MPM[0]=L;
MPM[1]=A
MPM[2]=PLANAR_IDX
MPM[3]=DC_IDX
如果L和A不相邻,则MPM[4]=((max(L,A)+offset)%mod)+2
否则MPM[4]=((max(L,A)+offset-1)%mod)+2,
如果L和A不相邻,则MPM[5]=((max(L,A)-1)%mod)+2
否则MPM[5]=((max(L,A)-0)%mod)+2
否则,如果L+A≥2(即L和A中只有一个是DC或平面)
MPM[0]=L;
MPM[1]=A
MPM[2]=!(min(L,A))
MPM[3]=((max(L,A)+offset)%mod)+2
MPM[4]=((max(L,A)-1)%mod)+2
MPM[5]=((max(L,A)+offset-1)%mod)+2
否则(即L和A中的一个是平面,另一个是DC)
使用初始化的值。
观察到,当L是角度时(即2≤L≤66)
如果L>2,((L+offset)%mod)+2=L-1,
否则,((L+offset)%mod)+2=66,
如果L>3,((L+offset-1)%mod)+2=L-2,
如果L=3,((L+offset-1)%mod)+2=66,
如果L=2,((L+offset-1)%mod)+2=65,
如果L<66,((L-1)%mod)+2=L+1,
否则,((L-1)%mod)+2=2,
如果L<65,((L-0)%mod)+2=L+2,
如果L=65,((L-0)%mod)+2=2,
如果L=66,((L-0)%mod)+2=3,
因此,使用范围[2-66]上的环形邻接(即,2和66是相邻的),我们可以等效地写入:
((L+offset)%mod)+2≡L-1
((L+offset-1)%mod)+2≡L-2
((L-1)%mod)+2≡L+1
((L-0)%mod)+2≡L+2
使用这些等价关系,我们可以如表3中所示地示出针对不同情况的MPM列表导出。
表3:JVET-L0222中的MPM导
如果当前块的预测模式等于这六个MPM模式中的一者,通过将mpmFlag设置为1且接着使用表4中所示的可变长度译码方案对来自MPM集合的候选模式进行编码来指示这一点。
表4:JVET-L0222中的MPM编码
建议的MPM列表生成
如表4中所示,MPM模式的截断一元译码假定具有较低索引的MPM模式比具有较高索引的MPM模式更有可能。一般来说,左侧和顶部CU的预测模式与当前块预测模式相关。如果当前块不是正方形,则实验上看出一个预测模式比另一个预测模式更相关。通常,如果块是扁平的,即,如果其宽度大于其高度,则左侧块的预测模式比顶部块的预测模式更相关。类似地,如果块是高的,即,其高度比其宽度长,则顶部块的预测模式比左侧块的预测模式更相关。这可以基于图2中左侧CU和顶部CU相对于目标块的左上角的位置来解释。另一观察结果是,当块是扁平的时,水平模式HOR_IDX比垂直模式VER_IDX更可能。类似地,当块是高的时,垂直模式VER_IDX比水平模式HOR_IDX更可能。这可在图3及图4中看出,其示出大小为4×32及32×4的块的不同预测模式的相对频率。
需要注意的另一点是,由于NUM_LUMA_MODES等于67(即,用于亮度目标块的预测模式的总数是67),所以参数“offset”和“mod”的值分别等于62和65。使用65的余数算子计算相邻模式(L-1、L+1等)不是非常硬件有效。如在HEVC中利用35个预测模式所做的,我们可以使用offset=61和mod=64。找到与64的除法的余数可以利用与63(0x 3F)的逐位AND运算来实现。
相邻模式的计算可以是取决于实现。对于适用于范围[2-66]中的所有模式的通式,需要使用offset和mod。但是,使用仅对于模式2和66是需要的。对于剩余的模式,相邻模式可以简单地计算为加1和减1。如果我们需要在±2处的邻居,则公式仅对于模式2、3、65和66是需要的。
当offset为61,mod为64时,它使65成为模式2的左邻模式。类似地,3成为模式66的右邻模式。考虑到模式2和66共线(但指向相反方向),这种相邻是良好的。另一方面,当offset是62而mod是65时,如JVET-L0222中所使用的,模式2的左邻模式是66,而模式66的右邻模式是2。即使在这种情况下,我们也只需要用于模式2和66的公式。
对于特定情况,如模式2和66,我们可以直接使用这些值而不是使用公式来计算。
因此,JVET-L0222和我们的方法之间的一个区别在于找到模式2和模式66的邻居。在前一种情况下,模式2的左邻是66,而模式66的右邻是模式2。在我们的情况下,模式2的左邻是模式65,而模式66的右邻是模式3(想象模式2和模式66作为一个方向)。对于所有其他情况,±1处的邻居对于两种方法是相同的。类似地,在±2处的邻居的情况下,差别仅在于模式2、3、65和66(左模式2、3和右模式65和66),而对于其余的情况,它们对于两种方法是相同的。
第一种方法
基于上述观察,我们提出如下修改MPM列表生成。注意,DIA_IDX和VDIA_IDX分别表示对角(模式34)和垂直对角(模式66)模式。
L≡左侧CU的预测模式(范围[0-66]中的值)
A≡上部CU的预测模式(范围[0-66]中的值)
offset=NUM_LUMA_MODES–6(=61);
mod=offset+3(=64);
初始化:
MPM[0]=L;
MPM[1]=!L
如果宽度>高度
MPM[2]=HOR_IDX
MPM[3]=VER_IDX
MPM[4]=HOR_IDX-1
MPM[5]=HOR_IDX+1
否则,如果宽度<高度
MPM[2]=VER_IDX
MPM[3]=HOR_IDX
MPM[4]=VER_IDX-1
MPM[5]=VER_IDX+1
否则
MPM[2]=VER_IDX
MPM[3]=HOR_IDX
MPM[4]=VDIA_IDX
MPM[5]=DIA_IDX
如果L=A
如果L>DC_IDX
MPM[0]=L;
MPM[1]=PLANAR_IDX
MPM[2]=DC_IDX
如果L≥DIA_IDX,MPM[3]=HOR_IDX
否则,MPM[3]=VER_IDX
MPM[4]=((L+offset)%mod)+2
MPM[5]=((L–1)%mod)+2
否则,
使用初始化的值
否则(即,如果L≠A)
如果L>DC_IDX且A>DC_IDX
如果宽度<高度
MPM[0]=A;
MPM[1]=L
否则
MPM[0]=L
MPM[1]=A
MPM[2]=PLANAR_IDX
MPM[3]=DC_IDX
如果宽度>高度
如果L和A不相邻,则MPM[4]=((L+offset)%mod)+2,
否则MPM[4]=((L+offset-1)%mod)+2
如果L和A不相邻,则MPM[5]=((L-1)%mod)+2,
否则MPM[5]=((L-0)%mod)+2
否则,如果宽度<高度
如果L和A不相邻,则MPM[4]=((A+offset)%mod)+2
否则,MPM[4]=((A+offset-1)%mod)+2
如果L和A不相邻,则MPM[5]=((A-1)%mod)+2
否则,MPM[5]=((A-0)%mod)+2
否则
如果L和A不相邻,则MPM[4]=((max(L,A)+offset)%mod)+2
否则,MPM[4]=((max(L,A)+offset-1)%mod)+2
如果L和A不相邻,则MPM[5]=((max(L,A)-1)%mod)+2
否则MPM[5]=((max(L,A)-0)%mod)+2
否则,如果L+A≥2(即L和A中只有一个是DC或平面)
MPM[0]=L;
MPM[1]=A
MPM[2]=!(min(L,A))
如果max(L,A)≥DIA_IDX,MPM[3]=HOR_IDX,
否则MPM[3]=VER_IDX
MPM[4]=((max(L,A)+offset)%mod)+2
MPM[5]=((max(L,A)-1)%mod)+2
否则(即L和A中的一个是平面,另一个是DC)
使用初始化的值。
第二种方法
在第二种方法中,我们将上述算法中的方块和高块的情况组合起来,如下:
初始化:
MPM[0]=L;
MPM[1]=!L
如果宽度>高度
MPM[2]=HOR_IDX
MPM[3]=VER_IDX
MPM[4]=HOR_IDX-1
MPM[5]=HOR_IDX+1
否则
MPM[2]=VER_IDX
MPM[3]=HOR_IDX
MPM[4]=VER_IDX-1
MPM[5]=VER_IDX+1
如果L=A
如果L>DC_IDX
MPM[0]=L;
MPM[1]=PLANAR_IDX
MPM[2]=DC_IDX
如果L≥DIA_IDX,则MPM[3]=HOR_IDX
否则,MPM[3]=VER_IDX
MPM[4]=((L+offset)%mod)+2
MPM[5]=((L–1)%mod)+2
否则,
使用初始化的值
否则(即如果L≠A)
如果L>DC_IDX且A>DC_IDX
如果WIDTH<HEIGHT
MPM[0]=A;
MPM[1]=L
否则
MPM[0]=L
MPM[1]=A
MPM[2]=PLANAR_IDX
MPM[3]=DC_IDX
如果宽度>高度
如果L和A不相邻,则MPM[4]=((L+offset)%mod)+2
否则MPM[4]=((L+offset-1)%mod)+2
如果L和A不相邻,则MPM[5]=((L-1)%mod)+2
否则MPM[5]=((L-0)%mod)+2
否则
如果L和A不相邻,则MPM[4]=((A+offset)%mod)+2
否则MPM[4]=((A+offset-1)%mod)+2
如果L和A不相邻,则MPM[5]=((A-1)%mod)+2
否则MPM[5]=((A-0)%mod)+2
否则,如果L+A≥2(即L和A中只有一个是DC或平面)
MPM[0]=L;
MPM[1]=A
MPM[2]=!(min(L,A))
如果max(L,A)≥DIA_IDX,则MPM[3]=HOR_IDX,
否则MPM[3]=VER_IDX
MPM[4]=((max(L,A)+offset)%mod)+2
MPM[5]=((max(L,A)-1)%mod)+2
否则(即L和A中的一个是平面,另一个是DC)
使用初始化的值。
由于在自然影像中垂直预测比水平预测更可能(这是在HEVC标准中的MPM列表中包括模式VER_IDX的原因),所以我们不呈现扁平块情况与方块情况的组合以具有所提出方法的另一变化。
注意,在两种方法中,当L=A且L>DC_IDX时,或当L≠A和L+A≥2时,我们使用垂直模式(VER_IDX)或水平模式(HOR_IDX)代替L-2(或A-2)处的相邻模式,且我们将其放置在较低位置(索引3相比索引5),从而给予其较高倾向。原始算法的这个部分可以保持不变,或者另外改变为:
如果L=A且L>DC_IDX
MPM[0]=L;
MPM[1]=PLANAR_IDX
MPM[2]=DC_IDX
如果L>DIA_IDX&WIDTH>HEIGHT,则MPM[3]=HOR_IDX,
如果L<DIA_IDX&WIDTH<HEIGHT,则MPM[3]=VER_IDX,
否则,MPM[3]=((L+offset-1)%mod)+2
MPM[4]=((L+offset)%mod)+2
MPM[5]=((L–1)%mod)+2
如果L≠A且L+A≥2
MPM[0]=L;
MPM[1]=A
MPM[2]=!(min(L,A))
如果max(L,A)>DIA_IDX&WIDTH>HEIGHT,则MPM[3]=HOR_IDX,
如果max(L,A)<DIA_IDX&WIDTH<HEIGHT,则MPM[3]=VER_IDX
否则,MPM[3]=((max(L,A)+offset-1)%mod)+2
MPM[4]=((max(L,A)+offset)%mod)+2
MPM[5]=((max(L,A)-1)%mod)+2
我们观察到,在两种方法中,平面和DC模式总是存在于MPM列表中。当左侧块预测模式与顶部块预测模式皆为角度且相隔大于2时,也可通过自列表移除平面模式与DC模式来进行简单的变化。在此情况下,除了这些模式之外,我们可包括两个模式的四个邻居,如下:
如果宽度>高度
MPM[0]=L
MPM[1]=A
MPM[2]=((L+offset)%mod)+2
MPM[3]=((L-1)%mod)+2
MPM[4]=((A+offset)%mod)+2
MPM[5]=((A-1)%mod)+2
否则
MPM[0]=A;
MPM[1]=L
MPM[2]=((A+offset)%mod)+2
MPM[3]=((A-1)%mod)+2
MPM[4]=((L+offset)%mod)+2
MPM[5]=((L-1)%mod)+2
下面,我们介绍包括上面提出的建议的几个实施例。在实施例中,我们假设VVCVTM 2.0.1编解码器具有67个帧内预测模式。
附加实施例1:
在此实施例中,使用第一方法导出目标亮度块的MPM列表。如果目标块的预测模式属于该列表,则设置mpmFlag,并且使用表4中的二进制化来编码等于预测模式的候选MPM模式的索引。否则,如在JVET-L0222中那样,利用截断二进制码来编码预测模式。图5-7分别示出了该实施例的方块(WIDTH=HEIGHT)、扁平块(WIDTH>HEIGHT)和高块(WIDTH<HEIGHT)情况的流程图(这是不言自明的)。为了简单起见,我们没有示出用于邻居模式导出的精确公式,而是仅使用表示相应的邻居。这三个流程图之间的区别在于方框106、107和112(在图5中分别表示为106-1、107-1和112-1;在图6中分别表示为106-2、107-2和112-2;在图7中分别表示为106-3、107-3和112-3)。
附加实施例2:
在此实施例中,使用第二方法导出目标亮度块的MPM列表。如果目标块的预测模式属于该列表,则设置mpmFlag,并且使用表4中的二进制化来编码等于预测模式的候选MPM模式的索引。否则,如在JVET-L0222中那样,利用截断的二进制码来编码预测模式。
附加实施例3:
在该实施例中,MPM列表如实施例1中那样导出,但是不是包括左侧块或顶部块的相邻模式,而是包括与那些模式相距一距离的模式。在模式L和A之间的差等于2的情况下,我们使用在处的模式。
附加实施例4:
在该实施例中,MPM列表如实施例2中那样导出,但是不是包括左侧块或顶部块的相邻模式,而是包括与那些模式相距一距离的模式。在模式L和A之间的差等于2的情况下,我们使用在处的模式。
附加实施例5:
VTM软件最初包含如HEVC中的35个帧内预测模式。模式的数量增加到67,以支持更精细分辨率的方向,这对于支持更大的块尺寸是可能的。记住,我们可以依据块尺寸使用混合方案来生成MPM列表。如果例如作为高度和宽度的总和测量的块尺寸较小(例如,高度+宽度≤32),则我们可以使用在处的相邻模式(如实施例3中),否则我们可以使用相邻模式(如实施例1中)。
附加实施例6:
在本实施例中,我们遵循实施例1-5中的任何一个。在切片/图块头部中用信号通知使用所提出的MPM导出的选项,指示切片/图块中的所有亮度CU使用该MPM导出方法。
附加实施例7:
在本实施例中,我们遵循实施例1-5中的任何一个。在图片参数集(PPS)中用信号通知使用所提出的MPM导出的选项,指示帧中的所有亮度CU使用该MPM导出方法。
附加实施例8:
在本实施例中,我们遵循实施例1-5中的任何一个,在序列参数集(SPS)中用信号通知使用所提出的MPM导出的选项,指示序列中的所有亮度CU使用该MPM导出方法。
我们在具有所有全帧内(All Intra,AI)配置和来自每个测试序列的一个帧的VTM2.0.1编解码器上实现了所提出的MPM列表生成。将该结果与对于相同AI配置用JVET-L0222的方法获得的结果进行比较,所述相同AI配置具有来自每个测试序列的一个帧。在第一个实验中,我们使用与JVET-L0222中所使用的相同的“offset”和“mod”(offset=62,mod=65)值。BD速率(BD-Rate)性能如表5所示。
表5:与JVET-L0222中的MPM导出相比,所提出的MPM导出的BD速率性能。Offset=62并且mod=65。
在第二个实验中,如我们在我们的建议中所使用的,我们使用等于61的offset和mod=64。BD速率性能如表6所示。
表6:与JVET-L0222中的MPM导出相比,所提出的MPM导出的BD速率性能。Offset=61并且mod=64。
如我们所见,在大约相同的复杂度下,我们的提议的亮度BD速率比JVET-L0222增加了大约0.06%。
因此,所提议实施例的一个优点是其增加较高可能MPM模式具有较低索引的概率,从而导致较好的压缩效率。此外,由于更可能的模式具有较低索引,因此对候选预测模式的搜索将花费较少时间。因此,这将导致编码器和解码器处的较低复杂度。
本申请描述了多个方面,包括工具、特征、实施例、模型、方法等。这些方面中的许多方面被描述为具有特异性,并且至少为了示出个体特性,通常以可能听起来受限的方式来描述。然而,这是为了描述清楚的目的,并且不限制那些方面的应用或范围。实际上,所有不同的方面可以组合和互换以提供另外的方面。此外,这些方面也可以与在较早的文档中描述的方面组合和互换。
本申请中描述和预期的方面可以以许多不同的形式实现。下面的图8、9和10提供了一些实施例,但是可以想到其他实施例,并且对图8、9和10的讨论不限制实现的广度。至少一个方面一般涉及视频编码和解码,并且至少一个其他方面一般涉及传送所生成或编码的比特流。这些和其他方面可以实现为方法、装置、其上存储有用于根据所描述的任何方法来编码或解码视频数据的指令的计算机可读存储介质、和/或其上存储有根据所描述的任何方法生成的比特流的计算机可读存储介质。
在本申请中,术语“重构”和“解码”可以互换使用,术语“像素”和“样本”可以互换使用,术语“图像”、“图片”和“帧”可以互换使用。通常,但不是必须的,术语“重构”在编码器侧使用,而“解码”在解码器侧使用。
本文描述了各种方法,并且每种方法包括用于实现所描述的方法的一个或多个步骤或动作。除非方法的正确操作需要特定顺序的步骤或动作,否则可修改或组合特定步骤和/或动作的顺序和/或使用。
本申请中描述的各种方法和其他方面可用于修改模块,例如,如图8和图9中所示的视频编码器100和解码器200的帧内预测模块(1601、260)。此外,本发明的方面不限于VVC或HEVC,且可应用于(例如)其他标准和建议(无论是预先存在的还是将来开发的)以及任何此类标准和建议的扩展(包含VVC和HEVC)。除非另外指出或在技术上排除,本申请中描述的方面可以单独或组合使用。
在本申请中使用各种数值。具体值是出于示例目的,并且所描述的方面不限于这些具体值。
图8示出了编码器100。可以设想该编码器100的变型,但是为了清楚起见,下面描述编码器100,而不描述所有预期的变型。
在被编码之前,视频序列可以经过预编码处理(1011),这例如通过对输入彩色图片应用颜色变换(例如从RGB 4:4:4到YCbCr 4:2:0的转换)或者执行输入图片分量的重新映射,以便得到对压缩更有弹性(resilient)的信号分布(例如使用颜色分量之一的直方图均衡)来执行。元数据可以与预处理相关联并且被附加到比特流。
在编码器100中,如下所述,由编码器元件对图片进行编码。以例如CU为单位分割(1021)并处理要编码的图片。每一单元使用帧内或帧间模式被编码。当单元以帧内模式被编码时,其执行帧内预测(1601)。在帧间模式中,执行运动估计(1751)和补偿(1701)。编码器决定(1051)使用帧内模式或帧间模式中的哪一个来编码单元,并且通过例如预测模式标志来指示帧内/帧间决定。例如,通过从原始图像块中减去(1101)预测块来计算预测残差。
然后,对预测残差进行变换(1251)和量化(1301)。对量化的变换系数以及运动矢量和其他语法元素进行熵译码(1451)以输出比特流。编码器可以跳过变换,并直接对未变换的残差信号应用量化。编码器可以绕过变换和量化,即,直接对残差进行译码而不应用变换或量化处理。
编码器对编码块进行解码,以提供用于进一步预测的参考。对量化变换系数进行去量化(1401)和逆变换(1501)以对预测残差进行解码。将解码的预测残差和预测块进行组合(1551),重构图像块。环内滤波器(1651)被应用于重构的图片,以执行例如解块/SAO(采样自适应偏移)滤波以减少编码伪像。将经滤波的图像存储在参考图片缓冲区(1801)中。
图9示出了视频解码器200的框图。在解码器200中,如下所述,由解码器元件解码比特流。视频解码器200通常执行与图8中所描述的编码回合互逆的解码回合。编码器100通常还执行视频解码作为编码视频数据的部分。
特别地,解码器的输入包括视频比特流,其可以由视频编码器100产生。比特流首先被熵解码(230)以获得变换系数、运动矢量和其他译码信息。图片分割信息指示图片如何被分割。解码器因此可以根据解码的图片分割信息来划分(235)图片。变换系数被去量化(240)和逆变换(250)以解码预测残差。将解码的预测残差与预测块进行组合(255),重构图像块。预测块可以从帧内预测(260)或运动补偿预测(即,帧间预测)(275)获得(270)。环内滤波器(265)被应用于重构的图像。将经滤波的图像存储在参考图片缓冲区(280)中。
解码后的图片可以进一步经历后解码处理(285),例如,逆颜色变换(例如,从YCbCr 4:2:0到RGB 4:4:4的转换)或执行在预编码处理(1011)中执行的重新映射处理的逆重新映射。后解码处理可以使用在预编码处理中导出并且在比特流中用信号通知的元数据。
图10示出了其中实现了各个方面和实施例的系统的示例的框图。系统1000可以被实现为包括以下描述的各种组件的设备,并且被配置成执行本文档中描述的各方面中的一者或多者。这样的设备的示例包括但不限于各种电子设备,诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连接的家用电器和服务器。系统1000的元件可以单独地或组合地在单个集成电路(IC)、多个IC和/或分立组件中实现。例如,在至少一个实施例中,系统1000的处理和编码器/解码器元件跨在多个IC和/或分立组件分布。在各种实施例中,系统1000经由例如通信总线或通过专用输入和/或输出端口通信地耦合到一个或多个其他系统或其他电子设备。在各种实施例中,系统1000被配置为实现本文档中描述的方面中的一者或多者。
系统1000包括至少一个处理器1010,其被配置为执行加载到其中的指令,以用于实现例如本文档中描述的各个方面。处理器1010可以包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统1000包括至少一个存储器1020(例如,易失性存储器设备和/或非易失性存储器设备)。系统1000包括存储设备1040,其可以包括非易失性存储器和/或易失性存储器,包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例,存储设备1040可以包括内部存储设备、附接的存储设备(包括可拆卸的和不可拆卸的存储设备)和/或网络可访问的存储设备。
系统1000包括编码器/解码器模块1030,其被配置为例如处理数据以提供编码视频或解码视频,并且编码器/解码器模块1030可以包括其自己的处理器和存储器。编码器/解码器模块1030表示可包括在设备中以执行编码和/或解码功能的模块(一个或多个)。如已知的,设备可以包括编码和解码模块中的一个或两个。另外,编码器/解码器模块1030可实现为系统1000的单独元件或可作为本领域技术人员已知的硬件与软件的组合而被并入处理器1010内。
要加载到处理器1010或编码器/解码器1030上以执行本文档中描述的各个方面的程序代码可以存储在存储设备1040中,并且随后加载到存储器1020上以供处理器1010执行。根据各种实施例,处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一个或多个可以在执行本文档中描述的过程期间存储各种项中的一个或多个。这些存储的项可以包括但不限于输入视频、解码视频或解码视频的部分、比特流、矩阵、变量以及来自等式、公式、运算和运算逻辑的处理的中间或最终结果。
在一些实施例中,处理器1010和/或编码器/解码器模块1030内部的存储器用于存储指令,且用于提供在编码或解码期间需要处理的工作存储器。然而,在其他实施例中,处理设备外部的存储器(例如,处理设备可以是处理器1010或编码器/解码器模块1030)被用于这些功能中的一个或多个。外部存储器可以是存储器1020和/或存储设备1040,例如,动态易失性存储器和/或非易失性闪存。在几个实施例中,外部非易失性闪存用于存储例如电视的操作系统。在至少一个实施例中,诸如RAM的快速外部动态易失性存储器被用作视频编码和解码操作的工作存储器,诸如用于MPEG-2(MPEG是指运动图像专家组,MPEG-2也被称为ISO/IEC 13818,并且13818-1也被称为H.222,并且13818-2也被称为H.262)、HEVC(HEVC是指高效视频编码,也被称为H.265和MPEG-H部分2)、或VVC(通用视频编码,由JVET开发的新标准,联合视频团队专家)的工作存储器。
如框1130中所示,可以通过各种输入设备来提供对系统1000的元件的输入。这样的输入设备包括但不限于(i)接收例如由广播公司通过空中传输的RF信号的射频(RF)部分,(ii)复合(COMP)输入端子(或COMP输入端子集合),(iii)通用串行总线(USB)输入终端,和/或(iv)高清晰度多媒体接口(HDMI)输入终端。图10中未示出的其他示例包括合成视频。
在各种实施例中,块1130的输入设备具有本领域已知的相关联的相应输入处理元件。例如,RF部分可以与适合于以下必要功能的元件相关联:(i)选择期望的频率(也称为选择信号,或将信号频带限制到频带),(ii)下变频所选择的信号,(iii)再次频带限制到较窄的频带,以选择(例如)在某些实施例中可以称为信道的信号频带,(iv)解调下变频和频带限制的信号,(v)执行纠错,以及(vi)解复用,以选择期望的数据分组流。各种实施例的RF部分包括一个或多个元件以执行这些功能,例如,频率选择器、信号选择器、限带器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可以包括执行各种这些功能的调谐器,这些功能包括例如将接收的信号下变频到较低频率(例如,中频或近基带频率)或基带。在一个机顶盒实施例中,RF部分及其相关的输入处理元件接收通过有线(例如,电缆)介质发送的RF信号,并通过滤波、下变频和再次滤波到期望的频带来执行频率选择。各种实施例重新安排上述(和其他)元件的顺序,移除这些元件中的一些,和/或添加执行类似或不同功能的其他元件。添加元件可以包括在现有元件之间插入元件,例如插入放大器和模数转换器。在各种实施例中,RF部分包括天线。
另外,USB和/或HDMI终端可以包括用于通过USB和/或HDMI连接将系统1000连接到其他电子设备的相应接口处理器。应当理解,输入处理的各个方面,例如里德-所罗门(Reed-Solomon)纠错,可以根据需要在例如单独的输入处理IC或处理器1010内实现。类似地,USB或HDMI接口处理的各方面可以根据需要在单独的接口IC内或在处理器1010内实现。将解调、纠错和解复用的流提供给各种处理元件(包括例如处理器1010和编码器/解码器1030),其与存储器和存储元件结合操作以根据需要处理数据流以便呈现在输出设备上。
系统1000的各种元件可以设置在集成壳体内,各种元件可以使用合适的连接布置(例如本领域已知的包括片间(I2C)总线、布线和印刷电路板的内部总线)互连并在其间传输数据。
系统1000包括通信接口1050,其使得能够经由通信信道1060与其他设备通信。通信接口1050可以包括但不限于被配置为通过通信信道1060发送和接收数据的收发器。通信接口1050可以包括但不限于调制解调器或网卡,并且通信信道1060可以例如在有线和/或无线介质内实现。
在各种实施例中,使用无线网络,例如诸如IEEE 802.11(IEEE是指电气和电子工程师协会)的Wi-Fi网络,将数据流式传输或以其他方式提供给系统1000。这些实施例的Wi-Fi信号通过适用于Wi-Fi通信的通信信道1060和通信接口1050来接收。这些实施例的通信信道1060通常连接到接入点或路由器,所述接入点或路由器提供对包括因特网的外部网络的接入以允许流式传输应用和其他过顶(over-the-top)通信。其他实施例使用机顶盒向系统1000提供流数据,该机顶盒通过输入块1130的HDMI连接传递数据。还有一些实施例使用输入块1130的RF连接向系统1000提供流数据。如上所述,各种实施例以非流方式提供数据。另外,各种实施例使用除Wi-Fi之外的无线网络,例如蜂窝网络或蓝牙网络。
系统1000可以向各种输出设备提供输出信号,所述输出设备包括显示器1100、扬声器1110和其他外围设备1120。各种实施例的显示器1100包含例如触摸屏显示器、有机发光二极管(OLED)显示器、弯曲显示器和/或可折叠显示器中的一者或多者。显示器1100可以用于电视、平板电脑、膝上型计算机、蜂窝电话(移动电话)或其他设备。显示器1100还可与其他组件集成(例如,如在智能电话中),或单独应用(例如,用于膝上型计算机的外部监视器)。在各实施例的各示例中,其他外围设备1120包括独立数字视频盘(或数字多功能盘)(DVR,两项)、盘播放器、立体声系统和/或照明系统中的一个或多个。各种实施例使用一个或多个外围设备1120,其基于系统1000的输出提供功能。例如,盘播放器执行播放系统1000的输出的功能。
在各种实施例中,使用诸如AV.链路、消费电子控制(CEC)或其他通信协议的信令在系统1000和显示器1100、扬声器1110或其他外围设备1120之间传送控制信号,其使得能够在有或没有用户干预的情况下实现设备到设备控制。输出设备可以经由通过相应接口1070、1080和1090的专用连接通信地耦合到系统1000。或者,输出设备可以使用通信信道1060经由通信接口1050连接到系统1000。显示器1100和扬声器1110可以与系统1000的其他组件一起集成在电子设备(例如电视机)中的单个单元中。在各种实施例中,显示接口1070包括显示驱动器,例如定时控制器(T con)芯片。
例如,如果输入1130的RF部分是单独机顶盒的一部分,则显示器1100和扬声器1110可以备选地与其他组件中的一个或多个分离。在显示器1100和扬声器1110是外部组件的各种实施例中,输出信号可以经由专用输出连接来提供,所述专用输出连接例如包括HDMI端口、USB端口或COMP输出。
这些实施例可以由处理器1010或硬件和软件的组合实现的计算机软件来实现。作为非限制性示例,实施例可以由一个或多个集成电路实现。存储器1020可以是适合于技术环境的任何类型,并且可以使用任何适当的数据存储技术来实现,作为非限制性示例,诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。处理器1010可以是适合于技术环境的任何类型,并且可以包含作为非限制性示例的微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一个或多个。
各种实现方式涉及解码。如本申请中所使用的,“解码”可以包括例如对接收到的编码序列执行的过程中的全部或部分,以便产生适合于显示的最终输出。在各种实施例中,此类过程包括通常由解码器执行的过程中的一个或多个,例如熵解码、逆量化、逆变换和差分解码。在各种实施例中,此类过程还或替代地包括由本申请中描述的各种实现方式的解码器执行的过程。
作为进一步的示例,在一个实施例中,“解码”仅指熵解码,在另一实施例中,“解码”仅指差分解码,并且在另一实施例中,“解码”指熵解码和差分解码的组合。短语“解码过程”是否旨在具体地指代操作的子集或一般地指代更广泛的解码过程基于具体描述的上下文将是清楚的,并且相信是本领域技术人员所充分理解的。
各种实现涉及编码。以与以上关于“解码”的讨论类似的方式,如在本申请中使用的“编码”可以包括例如对输入视频序列执行的过程的全部或部分,以便产生编码的比特流。在各种实施例中,此类过程包括通常由编码器执行的一个或多个过程,例如,分割、差分编码、变换、量化和熵编码。在各种实施例中,这样的过程还或替代地包括由本申请中描述的各种实现方式的编码器执行的过程。
作为进一步的示例,在一个实施例中,“编码”仅指熵编码,在另一实施例中,“编码”仅指差分编码,而在另一实施例中,“编码”指差分编码和熵编码的组合。短语“编码过程”是否旨在具体地指代操作的子集或一般地指代更广泛的编码过程将基于具体描述的上下文而变得清楚,并且相信是本领域技术人员所充分理解的。
当附图被呈现为流程图时,应当理解,它还提供了对应装置的框图。类似地,当附图被呈现为框图时,应当理解,它还提供了对应的方法/过程的流程图。
各种实施例涉及率失真优化。特别地,在编码过程期间,通常考虑速率和失真之间的平衡或折衷,通常给出计算复杂度的约束。率失真优化通常被公式化为最小化率失真函数,率失真函数是速率和失真的加权和。存在不同的方法来解决率失真优化问题。例如,这些方法可以基于对所有编码选项的广泛测试,包括所有考虑的模式或译码参数值,在译码和解码之后对它们的译码成本和重构信号的相关失真进行完整评估。还可以使用更快的方法来节省编码复杂度,特别是基于预测或预测残差信号而不是重构信号来计算近似失真。还可以使用这两种方法的混合,例如通过仅对一些可能的编码选项使用近似失真,而对其他编码选项使用完全失真。其他方法仅评估可能的编码选项的子集。更一般地,许多方法采用各种技术中的任何一种来执行优化,但是优化不一定是对译码成本和相关失真两者的完整评估。
本文描述的实现方式和方面可以在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单一形式的实现的上下文中讨论(例如,仅作为方法讨论),所讨论的特征的实现也可以以其他形式(例如,装置或程序)来实现。例如,可以以适当的硬件、软件和固件来实现装置。所述方法可以在例如处理器中实现,所述处理器通常指处理设备,包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备,例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)和便于终端用户之间的信息通信的其他设备。
对“一个实施例”或“实施例”或“一个实现”或“实现”以及其他变化形式的提及意味着结合实施例描述的特定特征、结构、特性等被包含在至少一个实施例中。因此,在贯穿本文的各个地方出现的短语“在一个实施例中”或“在实施例中”或“在一个实现中”或“在实现中”以及任何其他变型的出现不一定都指同一实施例。
另外,本申请可以涉及“确定”各种信息。确定信息可以包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一个或多个。
此外,本申请可以涉及“访问”各种信息。访问信息可以包括例如接收信息、检索信息(例如,从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一个或多个。
另外,本申请可以涉及“接收”各种信息。如同“访问”一样,接收旨在是广义的术语。接收信息可以包括例如访问信息或(例如从存储器)检索信息中的一个或多个。此外,在诸如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间,通常以一种方式或另一种方式涉及“接收”。
应当理解,例如在“A/B”、“A和/或B”以及“A和B中的至少一个”的情况下,使用以下“/”、“和/或”以及“……中的至少一个”中的任何一个旨在涵盖仅对第一列出的选项(A)的选择、或仅对第二列出的选项(B)的选择、或对两个选项(A和B)的选择。作为进一步的例子,在“A、B和/或C”和“A、B和C中的至少一个”的情况下,这样的措词旨在包括仅选择第一个列出的选项(A),或者仅选择第二个列出的选项(B),或者仅选择第三个列出的选项(C),或者仅选择第一个和第二个列出的选项(A和B),或者仅选择第一个和第三个列出的选项(A和C),或者仅选择第二个和第三个列出的选项(B和C),或者选择所有三个选项(A和B和C)。这可以扩展到所列的许多项,这对于本领域和相关领域的普通技术人员来说是显而易见的。
如本领域技术人员将明白的,实现可以产生被格式化以携带例如可以被存储或发送的信息的各种信号。该信息可以包括例如用于执行方法的指令,或者由所描述的实现之一产生的数据。例如,信号可以被格式化以携带所描述的实施例的比特流。这种信号可以被格式化为例如电磁波(例如,使用频谱的射频部分)或基带信号。格式化可以包括例如编码数据流和用编码数据流调制载波。信号携带的信息可以是例如模拟或数字信息。如已知的,信号可以通过各种不同的有线或无线链路来传输。该信号可以存储在处理器可读介质上。

Claims (20)

1. 一种用于视频编码的方法,该方法包括:
获得包括依据当前块的形状的所述当前块的数个帧内预测模式候选的列表,当所述当前块是扁平的且所述当前块的尺寸小于阈值时,与左侧相邻块的帧内预测模式相距一距离+2或-2的模式被包括在所述列表中,以及当所述当前块是高的且所述当前块的尺寸小于所述阈值时,与顶部相邻块的帧内预测模式相距一距离+2或-2处的模式被包括在所述列表中;以及
基于所述列表对所述当前块进行编码。
2. 一种用于视频解码的方法,该方法包括:
获得包括依据当前块的形状的所述当前块的数个帧内预测模式候选的列表,当所述当前块是扁平的且所述当前块的尺寸小于阈值时,与左侧相邻块的帧内预测模式相距一距离+2或-2的模式被包括在所述列表中,以及当所述当前块是高的且所述当前块的尺寸小于所述阈值时,与顶部相邻块的帧内预测模式相距一距离+2或-2处的模式被包括在所述列表中;以及
基于所述列表对所述当前块进行解码。
3.根据权利要求1或2所述的方法其中所述列表中的所述帧内预测模式候选基于所述当前块的所述形状而被排序。
4.根据权利要求1或2所述的方法,其中当所述当前块是矩形时,分别依据所述当前块是扁平的还是高的,一倾向被给予到所述列表中的左侧相邻块或顶部相邻块的帧内预测模式。
5.根据权利要求1或2所述的方法,其中所述列表包括以下中的一者或多者:左侧相邻块的预测模式(leftMode)、上部相邻块的预测模式(aboveMode)、平面和DC。
6. 根据权利要求1或2所述的方法,其中如果所述当前块是扁平的或高的, leftMode或aboveMode分别被首先放在所述列表中。
7.根据权利要求1或2所述的方法,其中如果所述当前块是扁平的或高的,则HOR_IDX或VER_IDX的一个或多个相邻模式分别被包括在所述列表中。
8.根据权利要求1或2所述的方法,其中在+2或-2处的邻居模式是否被包括在所述列表中或相邻模式是否被包括在所述列表中,这依据于所述当前块的尺寸。
9.根据权利要求1或2所述的方法,其中所述当前块的所述尺寸被测量为所述当前块的高度和宽度的总和。
10.根据权利要求1或2所述的方法,其中当存在67个帧内预测模式时,相邻模式通过使用具有设置为61的偏移和设置为64的模的余数运算而被计算。
11. 一种用于视频编码的装置,包括一个或多个处理器,其中所述一个或多个处理器被配置为:
获得包括依据当前块的形状的所述当前块的数个帧内预测模式候选的列表,当所述当前块是扁平的且所述当前块的尺寸小于阈值时,与左侧相邻块的帧内预测模式相距一距离+2或-2的模式被包括在所述列表中,以及当所述当前块是高的且所述当前块的尺寸小于所述阈值时,与顶部相邻块的帧内预测模式相距一距离+2或-2处的模式被包括在所述列表中;以及
基于所述列表,对所述当前块进行编码。
12. 一种用于视频解码的装置,包括一个或多个处理器,其中所述一个或多个处理器被配置为:
获得包括依据当前块的形状的所述当前块的数个帧内预测模式候选的列表,当所述当前块是扁平的且所述当前块的尺寸小于阈值时,与左侧相邻块的帧内预测模式相距一距离+2或-2的模式被包括在所述列表中,以及当所述当前块是高的且所述当前块的尺寸小于所述阈值时,与顶部相邻块的帧内预测模式相距一距离+2或-2处的模式被包括在所述列表中;以及
基于所述列表,对所述当前块进行解码。
13.根据权利要求11或12所述的装置,其中所述列表中的所述帧内预测模式候选基于所述当前块的所述形状而被排序。
14.根据权利要求11或12所述的装置,其中当所述当前块是矩形时,分别依据所述当前块是扁平的还是高的,一倾向被给予到所述列表中的左侧相邻块或顶部相邻块的帧内预测模式。
15.根据权利要求11或12所述的装置,其中所述列表包括以下中的一者或多者:左侧相邻块的预测模式(leftMode)、上部相邻块的预测模式(aboveMode)、平面和DC。
16.根据权利要求11或12所述的装置,其中如果所述当前块是扁平的或高的,那么leftMode或aboveMode分别被首先放在所述列表中。
17.根据权利要求11或12所述的装置,其中如果所述当前块是扁平的或高的,则HOR_IDX或VER_IDX的一个或多个相邻模式分别被包括在所述列表中。
18.根据权利要求11或12所述的装置,其中在+2或-2处的邻居模式是否被包括在所述列表中或相邻模式是否被包括在所述列表中,这依据于所述当前块的尺寸。
19.根据权利要求11或12所述的装置,其中所述当前块的所述尺寸被测量为所述当前块的高度和宽度的总和。
20.根据权利要求11或12所述的装置,其中当存在67个帧内预测模式时,相邻模式通过使用具有设置为61的偏移和设置为64的模的余数运算而被计算。
CN201980074900.1A 2018-11-14 2019-11-07 依据块形状适配最可能模式候选的选择 Active CN113016181B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18306490.6 2018-11-14
EP18306490 2018-11-14
PCT/US2019/060266 WO2020102000A1 (en) 2018-11-14 2019-11-07 Adaptation of selection of most probable mode candidates depending on block shape

Publications (2)

Publication Number Publication Date
CN113016181A CN113016181A (zh) 2021-06-22
CN113016181B true CN113016181B (zh) 2024-09-27

Family

ID=67436926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980074900.1A Active CN113016181B (zh) 2018-11-14 2019-11-07 依据块形状适配最可能模式候选的选择

Country Status (4)

Country Link
US (1) US11706407B2 (zh)
EP (1) EP3881540A1 (zh)
CN (1) CN113016181B (zh)
WO (1) WO2020102000A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023038444A1 (ko) * 2021-09-10 2023-03-16 현대자동차주식회사 비디오 부호화/복호화 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3399754A1 (en) * 2017-05-04 2018-11-07 Thomson Licensing Method and apparatus for most probable mode (mpm) reordering for intra prediction

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130027975A (ko) * 2011-09-08 2013-03-18 주식회사 케이티 인트라 예측 모드 부호화/복호화 방법 및 장치
CN107257471B (zh) * 2011-10-18 2020-04-14 Lg 电子株式会社 帧内预测方法及其设备
US20160373742A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Intra prediction and intra mode coding
KR20170058837A (ko) * 2015-11-19 2017-05-29 한국전자통신연구원 화면내 예측모드 부호화/복호화 방법 및 장치
US10547854B2 (en) * 2016-05-13 2020-01-28 Qualcomm Incorporated Neighbor based signaling of intra prediction modes
US10230961B2 (en) * 2016-06-03 2019-03-12 Mediatek Inc. Method and apparatus for template-based intra prediction in image and video coding
US20170374369A1 (en) * 2016-06-24 2017-12-28 Mediatek Inc. Methods and Apparatuses of Decoder Side Intra Mode Derivation
US10812795B2 (en) * 2016-09-30 2020-10-20 Lg Electronic Inc. Method for processing picture based on intra-prediction mode and apparatus for same
US10506228B2 (en) * 2016-10-04 2019-12-10 Qualcomm Incorporated Variable number of intra modes for video coding
CN117395404A (zh) * 2017-04-28 2024-01-12 英迪股份有限公司 图像解码方法、图像编码方法和用于发送比特流的方法
JP7486430B2 (ja) * 2018-05-14 2024-05-17 インターデジタル ヴイシー ホールディングス, インコーポレイテッド 四分木二分木のブロック形状適応イントラ予測方向
EP3821626A4 (en) * 2018-08-09 2021-08-04 Huawei Technologies Co., Ltd. HISTORY-BASED INTRA MODE CODING PROCESS AND APPARATUS

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3399754A1 (en) * 2017-05-04 2018-11-07 Thomson Licensing Method and apparatus for most probable mode (mpm) reordering for intra prediction

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
High efficiency video coding,H.265 (02/2018);INTERNATIONAL TELECOMMUNICATION UNION;ITU-T STANDARD H.265;https://www.itu.int/rec/T-REC-H.265-201802-S/en;第130-132页第8.4.2节 *

Also Published As

Publication number Publication date
EP3881540A1 (en) 2021-09-22
WO2020102000A1 (en) 2020-05-22
CN113016181A (zh) 2021-06-22
US20220038680A1 (en) 2022-02-03
US11706407B2 (en) 2023-07-18

Similar Documents

Publication Publication Date Title
CN112970264B (zh) 基于相邻样本相关参数模型的译码模式的简化
CN113170135B (zh) 用于图片编码和解码的方法及装置
EP3723368A1 (en) Wide angle intra prediction with sub-partitions
CN112425162B (zh) 宽角帧内预测和位置依赖性帧内预测组合
US12166972B2 (en) Intra prediction mode extension
US12101472B2 (en) Intra prediction mode partitioning
CN114930819B (zh) 三角形合并模式中的子块合并候选
CN113016181B (zh) 依据块形状适配最可能模式候选的选择
EP3654645A1 (en) Method and device for picture encoding and decoding
CN113170153B (zh) 基于二元树初始化当前图片参考块矢量
TW202106008A (zh) 使用位置相關框內預測組合以編碼及解碼圖像之方法及裝置
US20230336721A1 (en) Combining abt with vvc sub-block-based coding tools
WO2024208648A1 (en) Coding of intra geometric partition mode with template matching
CN120019642A (zh) 用于视频编码和解码的模板类型选择
WO2022223312A1 (en) Vvc normative and encoder-side adaptations for abt
WO2021058277A1 (en) Video encoding and decoding using block area based quantization matrices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant