CN118451707A - 图像编码/解码方法和装置及存储比特流的记录介质 - Google Patents
图像编码/解码方法和装置及存储比特流的记录介质 Download PDFInfo
- Publication number
- CN118451707A CN118451707A CN202280086530.5A CN202280086530A CN118451707A CN 118451707 A CN118451707 A CN 118451707A CN 202280086530 A CN202280086530 A CN 202280086530A CN 118451707 A CN118451707 A CN 118451707A
- Authority
- CN
- China
- Prior art keywords
- current block
- flag
- mode
- prediction mode
- intra prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 184
- 239000013074 reference sample Substances 0.000 claims abstract description 103
- 239000000523 sample Substances 0.000 claims abstract description 95
- 238000009795 derivation Methods 0.000 description 61
- 230000008569 process Effects 0.000 description 17
- 238000001914 filtration Methods 0.000 description 15
- 230000009977 dual effect Effects 0.000 description 10
- 230000011664 signaling Effects 0.000 description 9
- 230000003044 adaptive effect Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000005192 partition Methods 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 241000023320 Luma <angiosperm> Species 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 101000827703 Homo sapiens Polyphosphoinositide phosphatase Proteins 0.000 description 1
- 102100023591 Polyphosphoinositide phosphatase Human genes 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
根据本公开的图像编码/解码方法和装置可基于是否基于与当前块相邻的周围区域中的至少两个样本之间的梯度推导当前块的帧内预测模式来确定当前块的帧内预测模式,确定当前块的参考样本,并且基于帧内预测模式和参考样本来生成当前块的预测样本。
Description
技术领域
本公开涉及一种图像编码/解码方法和设备以及存储比特流的记录介质。
背景技术
最近,在各种应用领域中对诸如HD(高清)图像和UHD(超高清)图像的高分辨率和高质量图像的需求一直在增加,因此,正在讨论高效图像压缩技术。
存在各种技术,例如利用视频压缩技术从当前画面之前或之后的画面预测包括在当前画面中的像素值的帧间预测技术、通过使用当前画面中的像素信息来预测包括在当前画面中的像素值的帧内预测技术、向出现频率高的值分配短符号并向出现频率低的值分配长符号的熵编码技术等,这些图像压缩技术可以用于有效地压缩图像数据并发送或存储它。
发明内容
技术问题
本公开致力于提供一种通过基于梯度的推导方法来推导帧内预测模式的方法和装置。
本公开致力于提供一种用信号通知用于自适应地使用基于梯度的推导方法的标志的方法和装置。
本公开致力于提供一种基于用于自适应地使用基于梯度的推导方法的标志来推导/设定帧内预测模式的方法和装置。
本公开致力于提供一种用于在基于梯度的推导方法中设定初始帧内预测模式并更新它的方法和装置。
技术方案
根据本公开的图像解码方法和装置可以基于当前块的标志来推导当前块的帧内预测模式,确定当前块的参考样本,并且基于帧内预测模式和参考样本来生成当前块的预测样本。这里,标志可以指示是否基于属于与当前块相邻的邻近区域的至少两个样本之间的梯度来推导当前块的帧内预测模式。
在根据本公开的图像解码方法和装置中,可以基于当前块的邻近区域是否可用来从比特流用信号通知标志。
在根据本公开的图像解码方法和装置中,当当前块的邻近区域可用时,可以从比特流用信号通知标志,当当前块的邻近区域不可用时,可不从比特流用信号通知标志,并且标志可以被推导为0。
在根据本公开的图像解码方法和装置中,当当前块的邻近区域可用时,可以从比特流用信号通知标志,当当前块的邻近区域不可用时,可不从比特流用信号通知标志,并且标志可以被推导为1。
在根据本公开的图像解码方法和装置中,当标志被推导为1时,当前块的帧内预测模式可以被设定为平面模式。
在根据本公开的图像解码方法和装置中,当标志被推导为1时,当前块的帧内预测模式可以被设定为DC模式。
在根据本公开的图像解码方法和装置中,当标志为1时,可以基于属于邻近区域的至少两个样本之间的梯度来确定当前块的帧内预测模式,当标志为0时,可以基于当前块的帧内预测模式信息来推导当前块的帧内预测模式。
在根据本公开的图像解码方法和装置中,当标志为1时,当前块的初始帧内预测模式可以被设定为DC模式。
在根据本公开的图像解码方法和装置中,可以基于当前块可用的一个或更多个帧内预测模式的梯度的幅度来更新当前块的初始帧内预测模式。
在根据本公开的图像解码方法和装置中,不管当前块的邻近区域是否可用,可以从比特流用信号通知标志。
根据本公开的图像编码方法和装置可以确定是否基于属于与当前块相邻的邻近区域的至少两个样本之间的梯度来确定当前块的帧内预测模式,基于确定的结果来确定当前块的帧内预测模式,确定当前块的参考样本,并且基于帧内预测模式和参考样本来生成当前块的预测样本。这里,指示是否基于属于邻近区域的至少两个样本之间的梯度来确定当前块的帧内预测模式的标志可以被编码到比特流中。
提供了一种存储编码的视频/图像信息的计算机可读数字存储介质,其使得根据本公开的解码设备执行图像解码方法。
提供了一种存储依据根据本公开的图像编码方法生成的视频/图像信息的计算机可读数字存储介质。
提供了一种用于发送依据根据本公开的图像编码方法生成的视频/图像信息的方法和装置。
有益效果
根据本公开,可以根据编码器/解码器从预定邻近区域计算梯度,并且可以基于此来推导最优帧内预测模式。
根据本公开,通过限制用于自适应地使用基于梯度的推导方法的标志的信令/编码条件,可以去除标志的不必要信令/编码。
通过基于用于自适应地使用基于梯度的推导方法的标志来推导/设定帧内预测模式,本公开可以去除与基于MPM的推导方法的冗余。
附图说明
图1示出根据本公开的视频/图像编码系统。
图2示出本公开的实施方式适用并且执行视频/图像信号的编码的编码设备的示意性框图。
图3示出本公开的实施方式适用并且执行视频/图像信号的解码的解码设备的示意性框图。
图4示出作为根据本公开的实施方式的解码装置执行的帧内预测方法。
图5示出执行根据本公开的帧内预测方法的帧内预测器331的示意性配置。
图6示出作为根据本公开的实施方式的编码装置执行的帧内预测方法。
图7示出执行根据本公开的帧内预测方法的帧内预测器222的示意性配置。
图8示出可以应用本公开的实施方式的内容流系统的示例。
具体实施方式
由于本公开可以进行各种改变并且具有多个实施方式,所以特定实施方式将示出在附图中并且在具体实施方式中详细描述。然而,并非旨在将本公开限于特定实施方式,而是应该理解为包括本公开的精神和技术范围内所包括的所有改变、等同物和替代。在描述各个图的同时,相似标号用于相似组件。
诸如第一、第二等的术语可以用于描述各种组件,但组件不应受这些术语限制。术语仅用于将一个组件与其它组件相区分。例如,在不脱离本公开的权利范围的情况下,第一组件可以被称为第二组件,类似地,第二组件也可以被称为第一组件。术语包括多个相关所述项中的任一个或多个相关所述项的组合。
当组件被称为“连接”或“链接”到另一组件时,应该理解,它可以直接连接或链接到另一组件,但另一组件可以存在于中间。另一方面,当组件被称为“直接连接”或“直接链接”到另一组件时,应该理解,中间不存在另一组件。
本申请中所使用的术语仅用于描述特定实施方式,并非旨在限制本公开。除非上下文清楚地另外说明,否则单数表达包括复数表达。在本申请中,应该理解,诸如“包括”或“具有”等的术语旨在指定存在本说明书中所描述的特征、数量、步骤、操作、组件、部分或其组合,但不预先排除存在或添加一个或更多个其它特征、数量、步骤、操作、组件、部分或其组合的可能性。
本公开涉及视频/图像编码。例如,本文所公开的方法/实施方式可以应用于在多功能视频编码(VVC)标准中公开的方法。另外,本文所公开的方法/实施方式可以应用于基本视频编码(EVC)标准、AOMedia Video 1(AV1)标准、第2代音频视频编码标准(AVS2)或下一代视频/图像编码标准(例如,H.267或H.268等)中公开的方法。
本说明书提出了视频/图像编码的各种实施方式,并且除非另外指定,否则实施方式可以彼此组合执行。
本文中,视频可以指随时间的一系列图像的集合。画面通常是指表示特定时间段内的一个图像的单元,切片/拼块是在编码中形成画面的一部分的单元。切片/拼块可以包括至少一个编码树单元(CTU)。一个画面可以由至少一个切片/拼块组成。一个拼块是由一个画面的特定拼块列和特定拼块行内的多个CTU组成的矩形区域。拼块列是高度与画面的高度相同并且宽度由画面参数集的语法要求指定的CTU的矩形区域。拼块行是高度由画面参数集指定并且宽度与画面的宽度相同的CTU的矩形区域。一个拼块内的CTU可以根据CTU光栅扫描连续地布置,而一个画面内的拼块可以根据拼块的光栅扫描连续地布置。一个切片可以包括单个NAL单元中可以排他地包括的画面的整数个完整拼块或拼块内的整数个连续完整CTU行。此外,一个画面可以被划分成至少两个子画面。子画面可以是画面内的至少一个切片的矩形区域。
像素或像元(pel)可以表示构成一个画面(或图像)的最小单位。另外,“样本”可以用作与像素对应的术语。样本通常可以表示像素或像素值,并且可以仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
单元可以表示图像处理的基本单位。单元可以包括画面的特定区域和与对应区域有关的信息中的至少一个。一个单元可以包括一个亮度块和两个色度(例如,cb、cr)块。在一些情况下,单元可以与诸如块或区域等的术语互换使用。在一般情况下,M×N块可以包括由M列和N行组成的变换系数或样本(或样本阵列)的集合(或阵列)。
本文中,“A或B”可以表示“仅A”、“仅B”或“A和B二者”。换言之,本文中,“A或B”可以被解释为“A和/或B”。例如,本文中,“A、B或C”可以表示“仅A”、“仅B”、“仅C”或“A、B和C的任何组合”。
本文中使用的斜线(/)或逗号可以表示“和/或”。例如,“A/B”可以表示“A和/或B”。因此,“A/B”可以表示“仅A”、“仅B”或“A和B二者”。例如,“A、B、C”可以表示“A、B或C”。
本文中,“A和B中的至少一个”可以表示“仅A”、“仅B”或“A和B二者”。另外,本文中,表达“A或B中的至少一个”或“A和/或B中的至少一个”可以按照与“A和B中的至少一个”相同的方式解释。
另外,本文中,“A、B和C中的至少一个”可以表示“仅A”、“仅B”、“仅C”或“A、B和C的任何组合”。另外,“A、B或C中的至少一个”或“A、B和/或C中的至少一个”可以表示“A、B和C中的至少一个”。
另外,本文中使用的括号可以表示“例如”。具体地,当指示为“预测(帧内预测)”时,可以提出“帧内预测”作为“预测”的示例。换言之,本文中的“预测”不限于“帧内预测”,可以提出“帧内预测”作为“预测”的示例。另外,即使当指示为“预测(即,帧内预测)”时,也可以提出“帧内预测”作为“预测”的示例。
本文中,在一幅图中单独描述的技术特征可以单独实现或同时实现。
图1示出根据本公开的视频/图像编码系统。
参照图1,视频/图像编码系统可以包括第一装置(源装置)和第二装置(接收装置)。
源装置可以通过数字存储介质或网络以文件或流的形式向接收装置发送编码视频/图像信息或数据。源装置可以包括视频源、编码设备和发送单元。接收装置可以包括接收单元、解码设备和渲染器。编码设备可以被称为视频/图像编码设备,解码设备可以被称为视频/图像解码设备。发送器可以被包括在编码设备中。接收器可以被包括在解码设备中。渲染器可以包括显示单元,并且显示单元可以由单独的装置或外部组件组成。
视频源可以通过捕获、合成或生成视频/图像的处理来获取视频/图像。视频源可以包括捕获视频/图像的装置和生成视频/图像的装置。捕获视频/图像的装置可以包括至少一个相机、包括先前捕获的视频/图像的视频/图像档案等。生成视频/图像的装置可以包括计算机、平板计算机、智能电话等,并且可以(电子地)生成视频/图像。例如,可以通过计算机等生成虚拟视频/图像,并且在这种情况下,捕获视频/图像的处理可以由生成相关数据的处理代替。
编码设备可以对输入的视频/图像进行编码。编码设备可以执行诸如预测、变换、量化等的一系列过程,以用于压缩和编码效率。编码数据(编码视频/图像信息)可以以比特流的形式输出。
发送单元可以通过数字存储介质或网络以文件或流的形式向接收装置的接收单元发送以比特流的形式输出的经编码的视频/图像信息或数据。数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。发送单元可以包括用于通过预定文件格式生成媒体文件的元件,并且可以包括用于通过广播/通信网络进行发送的元件。接收单元可以接收/提取比特流并将其发送到解码设备。
解码设备可以通过执行与编码设备的操作相对应的诸如解量化、逆变换、预测等的一系列过程来对视频/图像进行解码。
渲染器可以渲染经解码的视频/图像。经渲染的视频/图像可以通过显示单元显示。
图2示出可以应用本公开的实施方式并且执行视频/图像信号的编码的编码设备的示意性框图。
参照图2,编码设备200可以由图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250、滤波器260和存储器270组成。预测器220可以包括帧间预测器221和帧内预测器222。残差处理器230可以包括变换器232、量化器233、解量化器234和逆变换器235。残差处理器230还可以包括减法器231。加法器250可以被称为重构器或重构块生成器。根据实施方式,上述图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可以由至少一个硬件组件(例如,编码器芯片组或处理器)配置。另外,存储器270可以包括解码画面缓冲器(DPB)并且可以由数字存储介质配置。硬件组件还可以包括作为内部/外部组件的存储器270。
图像分割器210可以将输入到编码设备200的输入图像(或画面或帧)分割成至少一个处理单元。作为示例,处理单元可以被称为编码单元(CU)。在这种情况下,可以根据四叉树二叉树三叉树(QTBTTT)结构从编码树单元(CTU)或最大编码单元(LCU)来递归地分割编码单元。
例如,一个编码单元可以基于四叉树结构、二叉树结构和/或三叉树结构而被分割为深度更深的多个编码单元。在这种情况下,例如,可以首先应用四叉树结构,随后可以应用二叉树结构和/或三叉树结构。另选地,可以在四叉树结构之前应用二叉树结构。可以基于不再分割的最终编码单元来执行根据本说明书的编码过程。在这种情况下,根据图像特性基于编码效率等,可以将最大编码单元直接用作最终编码单元,或者如果需要,可以将编码单元递归地分割为深度更深的编码单元,并且具有最优大小的编码单元可以用作最终编码单元。这里,编码过程可以包括诸如稍后描述的预测、变换和重构等的过程。
作为另一示例,处理单元还可以包括预测单元(PU)或变换单元(TU)。在这种情况下,可以分别从上述最终编码单元划分或分割预测单元和变换单元。预测单元可以是样本预测的单元,并且变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
在一些情况下,单元可以与诸如块或区域等的术语互换使用。在一般情况下,M×N块可以表示由M列和N行组成的变换系数或样本的集合。样本通常可以表示像素或像素值,并且可以仅表示亮度分量的像素/像素值,或者仅表示色度分量的像素/像素值。样本可以用作形成与像素或像元对应的一个画面(或图像)的术语。
编码设备200可以从输入图像信号(原始块、原始样本阵列)减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本阵列),以生成残差信号(残差信号、残差样本阵列),并且所生成的残差信号被发送到变换器232。在这种情况下,编码设备200内从输入图像信号(原始块、原始样本阵列)减去预测信号(预测块、预测样本阵列)的单元可以被称为减法器231。
预测器220可以对要处理的块(在下文中称为当前块)执行预测,并生成包括当前块的预测样本的预测块。预测器220可以以当前块或CU为单位确定是应用帧内预测还是应用帧间预测。预测器220可以生成关于预测的各种信息(例如预测模式信息等)并将其发送到熵编码器240,如稍后在各个预测模式的描述中所描述的。关于预测的信息可以在熵编码器240中编码并以比特流的形式输出。
帧内预测器222可以通过参考当前画面内的样本来预测当前块。根据预测模式,所参考的样本可以位于当前块的附近,或者可以定位为离开当前块特定距离。在帧内预测中,预测模式可以包括至少一个非定向模式和多个定向模式。非定向模式可以包括DC模式或平面模式中的至少一个。根据预测方向的细节水平,定向模式可以包括33个定向模式或65个定向模式。然而,这是示例,根据配置,可以使用更多或更少的定向模式。帧内预测器222可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器221可以基于由参考画面上的运动向量指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下,为了减少在帧间预测模式下发送的运动信息的量,可以基于邻近块和当前块之间的运动信息的相关性,以块、子块或样本为单位来预测运动信息。运动信息可以包括运动向量和参考画面索引。运动信息还可包括帧间预测方向信息(L0预测、L1预测、Bi预测等)。对于帧间预测,邻近块可以包括存在于当前画面中的空间邻近块和存在于参考画面中的时间邻近块。包括参考块的参考画面和包括时间邻近块的参考画面可以相同或不同。时间邻近块可以被称为并置参考块、共位CU(colCU)等,包括时间邻近块的参考画面可以被称为并置画面(colPic)。例如,帧间预测器221可以基于邻近块来配置运动信息候选列表,并且生成指示使用哪个候选来推导当前块的运动向量和/或参考画面索引的信息。可以基于各种预测模式来执行帧间预测,例如,对于跳过模式和合并模式,帧间预测器221可以将邻近块的运动信息用作当前块的运动信息。对于跳过模式,与合并模式不同,可能无法发送残差信号。对于运动向量预测(MVP)模式,邻近块的运动向量用作运动向量预测子,并且用信号通知运动向量差以指示当前块的运动向量。
预测器220可以基于稍后描述的各种预测方法来生成预测信号。例如,预测器不仅可以应用帧内预测或帧间预测来预测一个块,而且可以同时应用帧内预测和帧间预测。这可以被称为帧间帧内组合预测(CIIP)模式。另外,预测器可以基于帧内块复制(IBC)预测模式,或者可以基于调色板模式来预测块。IBC预测模式或调色板模式可以用于游戏等的内容图像/视频编码,例如屏幕内容编码(SCC)等。IBC基本上在当前画面内执行预测,但是它可以类似于帧间预测来执行,因为它在当前画面内推导参考块。换言之,IBC可以使用本文所描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编码或帧内预测的示例。当应用调色板模式时,可以基于关于调色板表和调色板索引的信息来用信号通知画面内的样本值。通过预测器220生成的预测信号可以用于生成重构信号或残差信号。
变换器232可以通过向残差信号应用变换技术来生成变换系数。例如,变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、Karhunen–Loève变换(KLT)、基于图的变换(GBT)或条件非线性变换(CNT)中的至少一种。这里,GBT表示当像素之间的关系信息被表示成图时从该图获得的变换。CNT表示基于使用所有先前重构的像素生成预测信号而获得的变换。另外,变换处理可以应用于相同大小的正方形像素块,或者可以应用于可变大小的非正方形块。
量化器233可以对变换系数进行量化,并且将它们发送给熵编码器240,并且熵编码器240可以对量化信号(关于量化变换系数的信息)进行编码并将其作为比特流输出。关于量化变换系数的信息可以称为残差信息。量化器233可以基于系数扫描顺序将块形式的量化变换系数重新布置为一维向量形式,并且可基于一维向量形式的量化变换系数来生成关于量化变换系数的信息。
熵编码器240可以执行诸如指数哥伦布(Golomb)、上下文自适应变长编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等的各种编码方法。熵编码器240可以对量化变换系数以外的视频/图像重构所需的信息(例如,语法元素的值等)一起或单独地编码。
可以以比特流形式以网络抽象层(NAL)单元为单位发送或存储编码信息(例如,编码视频/图像信息)。视频/图像信息还可以包括关于诸如自适应参数集(APS)、画面参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)等的各种参数集的信息。另外,视频/图像信息还可以包括一般约束信息。本文中,从编码设备发送/用信号通知给解码设备的信息和/或语法元素可以包括在视频/图像信息中。视频/图像信息可以通过上述编码过程被编码并包括在比特流中。比特流可以通过网络发送,或者可以存储在数字存储介质中。这里,网络可以包括广播网络和/或通信网络等,并且数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。用于发送从熵编码器240输出的信号的发送单元(未示出)和/或用于存储该信号的存储单元(未示出)可以被配置成编码设备200的内部/外部元件,或者发送单元也可以包括在熵编码器240中。
从量化器233输出的量化变换系数可以用于生成预测信号。例如,可以通过经由解量化器234和逆变换器235对量化变换系数应用解量化和逆变换来重构残差信号(残差块或残差样本)。加法器250可以将重构的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加,以生成重构信号(重构画面、重构块、重构样本阵列)。当对于要处理的块不存在残差时(类似于当应用跳过模式时),预测块可以用作重构块。加法器250可以被称为重构器或重构块生成器。所生成的重构信号可以用于当前画面内要处理的下一块的帧内预测,并且也可以如稍后所述通过滤波用于下一画面的帧间预测。此外,在画面编码和/或重构处理中,可以应用亮度映射与色度缩放(LMCS)。
滤波器260可以通过对重构信号应用滤波来改进主观/客观图像质量。例如,滤波器260可以通过对重构画面应用各种滤波方法来生成修改的重构画面,并且可以将修改的重构画面存储在存储器270(具体地,存储器270的DPB)中。各种滤波方法可以包括解块滤波、样本自适应偏移、自适应环路滤波、双边滤波等。滤波器260可以生成关于滤波的各种信息并将其发送给熵编码器240。关于滤波的信息可以在熵编码器240中被编码并以比特流的形式输出。
发送给存储器270的修改的重构画面可以用作帧间预测器221中的参考画面。当通过它应用帧间预测时,编码设备可以避免编码设备200和解码设备中的预测不匹配,并且还可以改进编码效率。
存储器270的DPB可以存储修改的重构画面以将其用作帧间预测器221中的参考画面。存储器270可以存储从其推导(或编码)当前画面中的运动信息的块的运动信息和/或先前重构画面中的块的运动信息。所存储的运动信息可以被发送给帧间预测器221以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前画面中的重构块的重构样本并将其发送给帧内预测器222。
图3示出可以应用本公开的实施方式并且执行视频/图像信号的解码的解码设备的示意性框图。
参照图3,解码设备300可以通过包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360来配置。预测器330可以包括帧间预测器332和帧内预测器331。残差处理器320可以包括解量化器321和逆变换器322。
根据实施方式,上述熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可以由一个硬件组件(例如,解码装置芯片组或处理器)配置。另外,存储器360可以包括解码画面缓冲器(DPB),并且可以由数字存储介质配置。硬件组件还可以包括存储器360作为内部/外部组件。
当输入包括视频/图像信息的比特流时,解码设备300可以响应于在图2的编码设备中处理视频/图像信息的处理重构图像。例如,解码设备300可以基于从比特流获得的块分割相关信息来推导单元/块。解码设备300可以使用在编码设备中应用的处理单元来执行解码。因此,解码的处理单元可以是编码单元,并且可以根据四叉树结构、二叉树结构和/或三叉树结构从编码树单元或较大编码单元来分割编码单元。可以从编码单元推导至少一个变换单元。并且,可以通过回放装置来播放通过解码设备300解码并输出的重构图像信号。
解码设备300可以接收以比特流的形式从图2的编码设备输出的信号,并且可以通过熵解码器310对接收到的信号进行解码。例如,熵解码器310可以解析比特流,以推导图像重构(或画面重构)所需的信息(例如,视频/图像信息)。视频/图像信息还可以包括关于诸如自适应参数集(APS)、画面参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)等的各种参数集的信息。另外,视频/图像信息还可以包括一般约束信息。解码设备还可以基于关于参数集的信息和/或一般约束信息来对画面进行解码。本文中稍后描述的用信号通知/接收的信息和/或语法元素可以通过解码过程来解码并且从比特流获得。例如,熵解码器310可以基于诸如指数哥伦布编码、CAVLC、CABAC等的编码方法来对比特流中的信息进行解码,并且输出图像重构所需的语法元素的值和关于残差的变换系数的量化值。更详细地,CABAC熵解码方法可以接收与来自比特流的各个语法元素对应的bin,使用待解码的语法元素信息、邻近块和待解码的块的解码信息或在先前步骤中解码的符号/bin的信息来确定上下文模型,通过根据所确定的上下文模型预测bin的出现概率来执行bin的算术解码,并且生成与各个语法元素的值对应的符号。在这种情况下,在确定上下文模型之后,CABAC熵解码方法可以通过将关于解码的符号/bin的信息用于下一符号/bin的上下文模型来更新上下文模型。在熵解码器310中解码的信息当中,关于预测的信息被提供给预测器(帧间预测器332和帧内预测器331),并且在熵解码器310中对其执行了熵解码的残差值(即,量化变换系数和相关参数信息)可以被输入到残差处理器320。残差处理器320可以推导残差信号(残差块、残差样本、残差样本阵列)。另外,在熵解码器310中解码的信息当中的关于滤波的信息可以被提供给滤波器350。此外,接收从编码设备输出的信号的接收单元(未示出)可以进一步被配置成解码设备300的内部/外部元件,或者接收单元可以是熵解码器310的组件。
此外,根据本说明书的解码设备可以被称为视频/图像/画面解码设备,并且解码设备可以被分为信息解码器(视频/图像/画面信息解码器)和样本解码器(视频/图像/画面样本解码器)。信息解码器可以包括熵解码器310,并且样本解码器可以包括解量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一个。
解量化器321可以对量化变换系数进行解量化并且输出变换系数。解量化器321可以将量化变换系数重新布置为二维块形式。在这种情况下,可以基于在编码设备中执行的系数扫描顺序来执行重新布置。解量化器321可以通过使用量化参数(例如,量化步长信息)对量化变换系数执行解量化,并且获得变换系数。
逆变换器322对变换系数进行逆变换以获得残差信号(残差块、残差样本阵列)。
预测器320可以对当前块执行预测,并生成包括当前块的预测样本的预测块。预测器320可以基于从熵解码器310输出的关于预测的信息来确定对当前块应用帧内预测还是帧间预测,并且确定具体帧内/帧间预测模式。
预测器320可以基于稍后描述的各种预测方法来生成预测信号。例如,预测器320不仅可以应用帧内预测或帧间预测来预测一个块,而且可以同时应用帧内预测和帧间预测。这可以被称为帧间帧内组合预测(CIIP)模式。另外,预测器可以基于帧内块复制(IBC)预测模式,或者可以基于调色板模式来预测块。IBC预测模式或调色板模式可以用于游戏等的内容图像/视频编码,例如屏幕内容编码(SCC)等。IBC基本上在当前画面内执行预测,但是它可以类似于帧间预测来执行,因为它在当前画面内推导参考块。换言之,IBC可以使用本文中描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编码或帧内预测的示例。当应用调色板模式时,关于调色板表和调色板索引的信息可以包括在视频/图像信息中并用信号通知。
帧内预测器331可以通过参考当前画面内的样本来预测当前块。根据预测模式,所参考的样本可以位于当前块的附近,或者可以离开当前块特定距离定位。在帧内预测中,预测模式可以包括至少一个非定向模式和多个定向模式。帧内预测器331可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器332可以基于由参考画面上的运动向量指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下,为了减少在帧间预测模式下发送的运动信息的量,可以基于邻近块和当前块之间的运动信息的相关性,以块、子块或样本为单位来预测运动信息。运动信息可以包括运动向量和参考画面索引。运动信息还可包括帧间预测方向信息(L0预测、L1预测、Bi预测等)。对于帧间预测,邻近块可以包括存在于当前画面中的空间邻近块和存在于参考画面中的时间邻近块。例如,帧间预测器332可以基于邻近块来配置运动信息候选列表,并且基于所接收的候选选择信息来推导当前块的运动向量和/或参考画面索引。可以基于各种预测模式来执行帧间预测,并且关于预测的信息可以包括指示当前块的帧间预测模式的信息。
加法器340可以将所获得的残差信号与从预测器(包括帧间预测器332和/或帧内预测器331)输出的预测信号(预测块、预测样本阵列)相加,以生成重构信号(重构画面、重构块、重构样本阵列)。当对于要处理的块不存在残差时(类似于当应用跳过模式时),预测块可以用作重构块。
加法器340可以被称为重构器或重构块生成器。所生成的重构信号可以用于当前画面中要处理的下一块的帧内预测,可以如稍后所述通过滤波输出,或者可以用于下一画面的帧间预测。此外,在画面解码处理中可以应用亮度映射与色度缩放(LMCS)。
滤波器350可以通过对重构信号应用滤波来改进主观/客观图像质量。例如,滤波器350可以通过对重构画面应用各种滤波方法来生成修改的重构画面,并且将修改的重构画面发送到存储器360(具体地,存储器360的DPB)。各种滤波方法可以包括解块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
存储在存储器360的DPB中的(修改的)重构画面可用作帧间预测器332中的参考画面。存储器360可以存储从其推导(或解码)当前画面中的运动信息的块的运动信息和/或先前重构画面中的块的运动信息。所存储的运动信息可以被发送给帧间预测器332以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器360可以存储当前画面中的重构块的重构样本并将其发送给帧内预测器331。
本文中,在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的实施方式也可以分别与解码设备300的滤波器350、帧间预测器332和帧内预测器331等同地或对应地应用。
图4示出作为根据本公开的实施方式的解码装置执行的帧内预测方法。
参照图4,可以推导当前块的帧内预测模式S400。
当前块的帧内预测模式可以从解码装置中预定义的帧内预测模式推导。预定义的帧内预测模式可以包括非定向模式和定向模式。这里,非定向模式可以包括平面模式或DC模式中的至少一个。当前块的帧内预测模式可以基于最可能模式(MPM)来推导,或者可以基于当前块的邻近区域的梯度来推导。
基于MPM的推导方法
根据基于MPM的推导方法,可以基于用信号通知的帧内预测模式信息来推导当前块的帧内预测模式。这里,帧内预测模式信息包括一个或更多个标志和/或索引,并且基于此,可以推导当前块的帧内预测模式。
解码装置中预定义的帧内预测模式可以分成K组。这里,K可以是2、3、4或更大的整数。在下文中,为了描述方便,假设预定义的帧内预测模式被分成三组,并且三组被称为第一组至第三组。
第一组可以包括一个或更多个非定向模式。非定向模式可以表示平面模式或DC模式中的至少一个。
第二组可以被称为MPM列表,其可以包括多个最可能模式(MPM)。多个MPM可以包括与当前块相邻的邻近块的帧内预测模式、推导模式或默认模式中的至少一个。
邻近块可以包括左块、上块、左下块、右上块或左上块中的至少一个。邻近块的模式可以根据邻近块之间的优先级被依次添加到MPM列表。这里,优先级可以按照左块、上块、左下块、右上块和左上块的顺序定义,或者可以按照上块、左块、左下块、右上块和左上块的顺序定义。另选地,优先级顺序可以基于当前块的大小和/或形状自适应地确定。作为示例,当当前块的高度大于宽度时,可以使用上块、左块、左下块、右上块和左上块的优先级。相反,当当前块的宽度大于高度时,可以使用左块、上块、左下块、右上块和左上块的优先级。
推导模式可以通过将偏移与邻近块的帧内预测模式相加或从邻近块的帧内预测模式减去偏移来推导。另选地,推导模式可以通过将偏移与稍后描述的默认模式相加或从稍后描述的默认模式减去偏移来推导。这里,偏移可以是1、2、3、4或更大的整数。推导模式可以基于上述邻近块当中的具有高优先级的邻近块来推导。推导模式可以不基于上述邻近块当中的具有低优先级的邻近块来推导。这里,具有高优先级的邻近块可以包括左块或上块中的至少一个。相反,具有低优先级的邻近块可以包括左下块、右上块或左上块中的至少一个。然而,当邻近块的帧内预测模式对应于非定向模式时,推导模式可以不基于对应邻近块的帧内预测模式来推导。
默认模式可以表示解码装置中预定义以配置MPM列表的模式。作为示例,默认模式可以包括平面模式、DC模式、水平模式、垂直模式或对角模式中的至少一个。这里,对角模式可以表示左下对角模式、左上对角模式或右上对角模式中的一个或更多个。
第二组可以被分成两个子组,其将被称为主MPM列表和辅MPM列表。作为示例,当MPM列表由N个MPM组成时,属于MPM列表的M个顶部MPM可以包括在主MPM列表中,(N-M)个剩余MPM可以包括在辅MPM列表中。换言之,主MPM列表可以包括属于MPM列表的索引为0至(M-1)的MPM。这里,N可以表示可以包括在MPM列表中的最大数量的MPM。M表示可以包括在主MPM列表中的最大数量的MPM,作为示例,M可以是3、4、5、6或更大的整数。
第三组可以包括预定义的帧内预测模式的当中不属于第一组和第二组的剩余模式。
在实施方式中,第一组被定义为与第二组不同的单独的组,但不限于此。作为示例,第一组和第二组可以被定义为一个组,并且在这种情况下,第一组的非定向模式可以是包括在第二组的MPM列表中的任一个MPM。
可以用信号通知一个或更多个标志以指定与当前块的帧内预测模式相同的模式所属的组和/或子组。标志可以包括指示与当前块的帧内预测模式相同的模式是否属于第一组的第一标志、指示与当前块的帧内预测模式相同的模式是否属于第二组(即,MPM列表)的第二标志、指示与当前块的帧内预测模式相同的模式是否属于主MPM列表的第三标志或指示与当前块的帧内预测模式相同的模式是否属于辅MPM列表的第四标志中的至少一个。
当标志指定第二组时,可以用信号通知指定属于第二组的多个MPM中的任一个的索引。可以基于索引所指定的MPM来推导当前块的帧内预测模式。另选地,当标志指定主MPM列表时,可以用信号通知指定属于主MPM列表的多个MPM中的任一个的索引。可以基于索引所指定的MPM来推导当前块的帧内预测模式。另选地,当标志指定辅MPM列表时,可以用信号通知指定属于辅MPM列表的多个MPM中的任一个的索引。可以基于索引所指定的MPM来推导当前块的帧内预测模式。同样,当标志指定第一组(或第三组)时,可以单独地用信号通知指定属于第一组(或第三组)的多个帧内预测模式中的任一个的索引,并且可以基于用信号通知的索引来推导当前块的帧内预测模式。然而,当第一组(或第三组)由一个帧内预测模式组成时,可以省略该索引的信令。
可以利用标志之间的依赖性用信号通知上述标志。作为示例,可以在从比特流解析第二标志之后解析第一标志。当第二标志为真时,可以解析第一标志。另选地,可以在从比特流解析第一标志之后解析第二标志。当第一标志为假时,可以解析第二标志。当第二标志为真时,可以从比特流解析第三标志(或第四标志),当第二标志为假时,可以不从比特流解析第三标志(或第四标志)。另选地,可以在从比特流解析第三标志之后解析第四标志。当第三标志为假时,可以解析第四标志。
基于梯度的推导方法
可以基于属于当前块的邻近区域的至少两个样本来计算梯度。这里,梯度可以包括水平梯度或垂直梯度中的至少一个。可以基于所计算的梯度或梯度的幅度中的至少一个来推导当前块的帧内预测模式。这里,梯度的幅度可以基于水平梯度和垂直梯度之和来确定。通过这种推导方法,可以为当前块推导一个帧内预测模式,或者可以为当前块推导两个或更多个帧内预测模式。
作为示例,可以以具有预定大小的窗口为单位来计算梯度。基于所计算的梯度,可以计算指示窗口内的样本的方向性的角度。所计算的角度可以对应于上述多个预定义帧内预测模式中的任一个。可以针对与所计算的角度对应的帧内预测模式存储/更新梯度的幅度。通过此过程,针对各个窗口确定与所计算的梯度对应的帧内预测模式,并且可以针对所确定的帧内预测模式存储/更新梯度的幅度。在所存储的梯度的幅度当中,选择具有最大幅度的顶部T个帧内预测模式,并且所选帧内预测模式可以被设定为当前块的帧内预测模式。这里,T可以是1、2、3或更大的整数。
用于计算梯度的邻近区域可以是当前块之前的预重构区域,并且可以包括与当前块相邻的左区域、上区域、左上区域、左下区域或右上区域中的至少一个。邻近区域可以包括与当前块相邻的邻近样本线、离开当前块1个样本的第一非邻近样本线或者离开当前块2个样本的第二非邻近样本线中的至少一条。然而,不限于此,还可以包括离开当前块N个样本的非邻近样本线,并且N可以是大于或等于3的整数。
邻近区域可以是对于编码装置和解码装置等同地预定义的用于计算梯度的区域。另选地,可以基于指定邻近区域的位置的信息变化地确定邻近区域。在这种情况下,可以通过比特流用信号通知指定邻近区域的位置的信息。另选地,邻近区域的位置可以基于当前块是否位于编码树单元的边界上、当前块的大小(例如,宽度、高度、宽高比、宽度和高度的乘积)、当前块的分割类型、邻近区域的预测模式或邻近区域的可用性中的至少一个来确定。
作为示例,当当前块位于编码树单元的上边界处时,可以不参考当前块的上区域、左上区域或右上区域中的至少一个来计算梯度。当当前块的宽度大于高度时,可以参考上区域或左区域中的任一个(例如,上区域)来计算梯度,可以不参考另一个(例如,左区域)来计算梯度。相反,当当前块的宽度小于高度时,可以参考上区域或左区域中的任一个(例如,左区域)来计算成本,可以不参考另一个(例如,上区域)来计算成本。当通过水平块分割来生成当前块时,可以不参考上区域来计算梯度。相反,当通过垂直块分割来生成当前块时,可以不参考左区域来计算梯度。当当前块的邻近区域以帧间模式编码时,可以不参考对应邻近区域来计算梯度。然而,不限于此,不管邻近区域的预测模式如何,可以参考对应邻近区域来计算梯度。
上述基于梯度的推导方法可以基于预定标志(Dimd_flag)自适应地使用。这里,标志可以指示是否基于从与当前块相邻的邻近区域计算的梯度来推导当前块的帧内预测模式。作为示例,当标志为第一值时,当前块的帧内预测模式可以通过基于梯度的推导方法来推导,当标志为第二值时,当前块的帧内预测模式可以通过基于MPM的推导方法来推导。
标志可以基于以下中的至少一个从比特流用信号通知:1)基于梯度的推导方法是否可用,2)当前块的亮度分量是否有效,3)当前块的预测模式是否为帧内模式,或者4)当前块的分量类型是否为亮度分量。
基于梯度的推导方法是否可用可以基于在视频序列、画面、画面头或切片头中的至少一个级别用信号通知的标志来确定。
当当前块是单树类型或双树类型的亮度块时,可以确定当前块的亮度分量有效。另一方面,当当前块是双树类型的色度块时,可以确定当前块的亮度分量无效。这里,单树类型可以表示编码单元的色度块具有依赖于亮度块的分割结构的分割结构的树类型,双树类型可以表示编码单元的色度块具有独立于亮度块的分割结构的树类型。
即使当当前块为单树类型时,当当前块为色度块时,当前块的分量类型是否为亮度分量也可以被确定为假。另一方面,即使当当前块为单树类型时,当当前块为亮度块时,当前块的分量类型是否为亮度分量也可以被确定为真。当当前块是双树类型的亮度块时,当前块的分量类型是否为亮度分量可以被确定为真,当当前块是双树类型的色度块时,当前块的分量类型是否为亮度分量可以被确定为假。
作为示例,标志可以如下表1中用信号通知。
[表1]
if(sps.useDimd&&Y.valid()&&predMode==MODE_INTRA&&isLuma()) |
Dimd_flag |
在表1中,sps.useDimd可以指示对于当前块所属的视频序列,基于梯度的推导方法是否可用。Y.valid()可以表示亮度分量对于当前块是否有效,predMode可以表示当前块的预测模式。isLuma()可以表示当前块的分量类型是否为亮度分量。
根据表1,当1)基于梯度的推导方法对于当前块所属的视频序列可用,2)亮度分量对于当前块有效,3)当前块的预测模式为帧内模式,并且4)当前块的分量类型为亮度分量时,可以从比特流用信号通知标志(Dimd_flag)。
当用信号通知的标志为1时,当前块的帧内预测模式可以通过基于梯度的推导方法来推导,当用信号通知的标志为0时,当前块的帧内预测模式可以通过基于MPM的推导方法来推导。
此外,当不满足根据表1的条件时,可不从比特流用信号通知标志。在这种情况下,标志可以被推导为0,并且可以通过基于MPM的推导方法来推导当前块的帧内预测模式。
当当前块的邻近块不可用时,可不配置用于计算梯度的邻近区域。在这种情况下,由于所有梯度的幅度为0,所以预设的初始帧内预测模式可以用作当前块的帧内预测模式。在这种情况下,预设初始帧内预测模式的值可以被设定为0(对应于平面模式)。换言之,即使当根据表1中的条件解析的标志为1时,当当前块的邻近块不可用时,也可不使用基于梯度的推导方法,并且当前块的帧内预测模式可以被设定为平面模式(预设模式)。
然而,根据上述基于MPM的推导方法的MPM列表中的第一MPM可以是平面模式。换言之,当当前块的邻近块不可用并且标志(Dimd_flag)为1时,当前块的帧内预测模式是与平面模式相同的预设平面模式(MPM列表中的第一MPM)。因此,当当前块的邻近块不可用时,可能没有必要用信号通知指示是否应用基于梯度的推导方法的标志。为了防止这种不必要的信令,当邻近块不可用时,可能存在不允许基于梯度的推导方法的限制。
当邻近块不可用并且可能未配置用于梯度计算的邻近区域时,解码装置可不从邻近区域计算梯度,进而无法推导当前块的帧内预测模式。因此,可以限制标志的信令条件以确保不允许基于梯度的推导方法。
标志可以基于以下中的至少一个从比特流用信号通知:1)基于梯度的推导方法是否可用,2)当前块的亮度分量是否有效,3)当前块的预测模式是否为帧内模式,4)当前块的分量类型是否为亮度分量,或者5)当前块的邻近块是否可用。
上述条件1)至4)与上述相同,并且这里省略重复描述。
当邻近块满足以下条件中的一个或更多个时,对应邻近块可以被确定为不可用,否则,对应邻近块可以被确定为可用。
1)邻近块中的左上样本的x坐标小于0。
2)邻近块中的左上样本的y坐标小于0。
3)邻近块中的左上样本的x坐标等于或大于画面的宽度。
4)邻近块中的左上样本的y坐标等于或大于画面的高度。
5)邻近块的解码顺序比当前块晚。
6)邻近块包括在与当前块不同的切片中。
7)邻近块包括在与当前块不同的拼块中。
作为示例,标志可以如下表2中用信号通知。
[表2]
在表2中,sps.useDimd、Y.valid()、predMode和isLuma()与参考表1描述的相同,这里省略重复描述。在表2中,isAvailableTemplate()可以指示邻近块是否可用。当满足上述条件中的一个或更多个时,isAvailableTemplate()可以被确定为1(或真),否则,isAvailableTemplate()可以被确定为0(或假)。
根据表2,当1)基于梯度的推导方法对于当前块所属的视频序列可用,2)亮度分量对于当前块有效,3)当前块的预测模式为帧内模式,4)当前块的分量类型为亮度分量,并且5)当前块的邻近块可用时,可以从比特流用信号通知标志(Dimd_flag)。
当不满足根据表2的条件时,可不从比特流用信号通知标志,并且标志可以被推导为0(或假)。在这种情况下,当前块的帧内预测模式可以通过上述基于MPM的推导方法来推导。
当邻近块不可用并且未配置用于梯度计算的邻近区域时,解码装置无法从邻近区域计算梯度,进而无法推导当前块的帧内预测模式。因此,可以限制标志的信令条件以确保不允许基于梯度的推导方法。
[表3]
在表3中,isAvailableTemplate()可以指示邻近区域是否可用。根据表3,当当前块的邻近区域可用时,可以从比特流用信号通知标志(Dimd_flag),否则,可不从比特流用信号通知标志。
当未从比特流用信号通知标志时,如表3中,对应标志可以被推导为真(或1)。然而,当前块的帧内预测模式可以被推导为对于编码装置和解码装置等同地预定义的模式。这里,预定义模式可以是平面模式。这样,即使当未从比特流用信号通知标志并且对应标志被推导为1时,可存在不通过基于梯度的推导方法推导当前块的帧内预测模式的限制。
另选地,当满足根据表1的条件时,可以通过比特流用信号通知标志。用信号通知的标志可以通过考虑邻近块是否可用来更新/改变。
作为示例,当1)基于梯度的推导方法对于当前块所属的视频序列可用,2)亮度分量对于当前块有效,3)当前块的预测模式为帧内模式,并且4)当前块的分量类型为亮度分量时,可以从比特流用信号通知标志(Dimd_flag)。当用信号通知的标志为1时,可以另外确定当前块的邻近块是否可用。作为确定的结果,当邻近块可用时,用信号通知的标志可以维持为1,否则,用信号通知的标志可以被更新/改变为0。在这种情况下,当前块的帧内预测模式可以被推导为对于编码装置和解码装置等同地预定义的模式(例如,平面模式),或者可以通过上述基于MPM的推导方法来推导。
当邻近块不可用并且未配置用于梯度计算的邻近区域时,解码装置无法从邻近区域计算成本,进而无法推导当前块的帧内预测模式。因此,可以限制标志的信令条件以确保不允许基于梯度的推导方法。
[表4]
在表4中,isAvailableTemplate()可以指示邻近块是否可用。根据表4,当当前块的邻近块可用时,可以从比特流用信号通知标志(Dimd_flag),否则,可不从比特流用信号通知标志。
当未从比特流用信号通知标志时,如表4中,对应标志可以被推导为真(或1)。然而,当前块的帧内预测模式可以被推导为对于编码装置和解码装置等同地预定义的模式。这里,预定义模式可以是DC模式。这样,即使当未从比特流用信号通知标志并且对应标志被推导为1时,也可存在不通过基于梯度的推导方法推导当前块的帧内预测模式的限制。
另选地,当满足根据表1的条件时,可以通过比特流用信号通知标志。用信号通知的标志可以通过考虑邻近块是否可用来更新/改变。
作为示例,当1)基于梯度的推导方法对于当前块所属的视频序列可用,2)亮度分量对于当前块有效,3)当前块的预测模式为帧内模式,并且4)当前块的分量类型为亮度分量时,可以从比特流用信号通知标志(Dimd_flag)。当用信号通知的标志为1时,可以另外确定当前块的邻近块是否可用。作为确定的结果,当邻近块可用时,用信号通知的标志可以维持为1,否则,用信号通知的标志可以被更新/改变为0。在这种情况下,当前块的帧内预测模式可以被推导为对于编码装置和解码装置等同地预定义的模式(例如,DC模式),或者可以通过上述基于MPM的推导方法来推导。
如上所述,当前块的标志(Dimd_flag)可以基于以下中的至少一个从比特流用信号通知:1)基于梯度的推导方法可用,2)当前块的亮度分量是否有效,3)当前块的预测模式是否为帧内模式,或者4)当前块的分量类型是否为亮度分量。
作为示例,如表1中,当满足预定条件时,即,当1)基于梯度的推导方法对于当前块所属的视频序列可用,2)亮度分量对于当前块有效,3)当前块的预测模式为帧内模式,并且4)当前块的分量类型为亮度分量时,可以从比特流用信号通知标志(Dimd_flag)。
当用信号通知的标志为真(或1)时,当前块的初始帧内预测模式可以被设定为对于编码装置和解码装置等同地预定义的模式。不管邻近块是否可用,当前块的初始帧内预测模式可以被设定为预定义模式。这里,预定义模式可以是平面模式。然而,当平面模式用作预定义模式时,可能导致使用平面模式作为MPM列表中的第一MPM的重复结果。因此,DC模式可以用作预定义模式。
当前块的初始帧内预测模式可以被更新/改变为通过上述基于梯度的推导方法推导的帧内预测模式。具体地,基于对于当前块可用的一个或更多个帧内预测模式中的每一个的梯度的幅度,可以更新/改变当前块的初始帧内预测模式。这里,当前块可用的一个或更多个帧内预测模式可以意指/包括在当前块的邻近区域内在一个或更多个窗口内确定的帧内预测模式。当前块的初始帧内预测模式可以基于窗口的帧内预测模式当中的具有最大梯度幅度的顶部1、2、3或更多个帧内预测模式来更新/改变。
参照图4,可以确定当前块的参考样本S410。
可以从一条或更多条参考样本线确定用于当前块的帧内预测的参考样本。当前块可以使用一条参考样本线,或者可以使用至少两条参考样本线。
可以从对于编码装置和解码装置等同地预定义的多条参考样本线候选中选择用于当前块的帧内预测的参考样本线。多条预定义的参考样本线候选可以包括与当前块相邻的第一参考样本线、离开当前块1个样本的第二参考样本线、离开当前块2个样本的第三参考样本线或者离开当前块3个样本的第四参考样本线中的至少一条。
为了确定当前块的参考样本线,可以使用指定当前块的参考样本所属的参考样本线的位置的索引信息。作为示例,可以用信号通知指定多条参考样本线候选中的任一条的索引信息。另选地,当两条参考样本线用于当前块的帧内预测时,可以分别用信号通知指定多条参考样本线候选当中的两条参考样本线的两个索引信息。另选地,由于两条参考样本线中的任一条是默认参考样本线,所以可以省略其索引信息的信令,并且可以仅用信号通知两条参考样本线中的另一条的索引信息。这里,默认参考样本线是指对于编码装置和解码装置等同地预定义的位置处的参考样本线,例如,其可以是与当前块相邻的第一参考样本线。
此外,当前块的参考样本线可以用于确定当前块的帧内预测模式,并且在这种情况下,S410可以在S400之前执行。
参照图4,可以基于当前块的参考样本和帧内预测模式来执行当前块的帧内预测S420。
当当前块的帧内预测模式是平面模式时,可以通过第一预测样本、第二预测样本或第一预测样本和第二预测样本的加权和来生成当前块的预测样本。这里,可以通过水平插值来生成第一预测样本。作为示例,可以通过对位于当前块的右上角的参考样本以及与第一预测样本位于同一水平线上的一个或更多个参考样本进行插值来生成第一预测样本。可以通过垂直插值来生成第二预测样本。作为示例,可以通过对位于当前块的左下角的参考样本以及与第二预测样本位于同一垂直线上的一个或更多个参考样本进行插值来生成第二预测样本。
当当前块的帧内预测模式是DC模式时,可以计算与当前块相邻的邻近样本的平均值,并且所计算的平均值可以被配置为当前块中的所有预测样本。这里,邻近样本可以包括当前块的上参考样本和左参考样本。然而,根据当前块的形状,可以仅使用上参考样本或左参考样本来计算平均值。
当当前块的帧内预测模式是定向模式时,可以根据对应定向模式的角度在参考样本线上执行投影。当参考样本存在于投影位置处时,对应参考样本可以被配置为当前块的预测样本。当参考样本不存在于投影位置处时,可以使用邻近投影位置的一个或更多个邻近样本来生成与投影位置对应的样本。作为示例,可以根据基于投影位置在两个方向上邻近的两个或更多个邻近样本来执行插值,以生成投影位置(即,分数像元位置)处的样本。另选地,邻近投影位置的多个邻近样本中的任一个可以被配置为投影位置处的样本。在这种情况下,在邻近投影位置的多个邻近样本当中,可以使用最接近投影位置的邻近样本。可以基于投影位置处的样本来生成当前块的预测样本。
多条参考样本线可以用于当前块的帧内预测,并且在这种情况下,对于各条参考样本线可以存在投影位置。换言之,可以确定投影位置处的多个样本,并且可以基于其加权和来生成当前块的预测样本。
可以通过上述基于MPM的推导方法或基于梯度的推导方法为当前块推导多个帧内预测模式。在下文中,为了说明方便,假设为当前块推导两个帧内预测模式,这些帧内预测模式将分别被称为第一帧内预测模式和第二帧内预测模式。
第一预测样本可以根据第一帧内预测模式来生成,第二预测样本可以根据第二帧内预测模式来生成。可以基于第一预测样本和第二预测样本的加权和来生成当前块的预测样本。
当通过基于梯度的推导方法推导第一帧内预测模式和第二帧内预测模式时,可以基于从当前块的邻近区域计算的梯度的幅度来确定加权和的权重。例如,当与第一帧内预测模式对应的梯度的幅度为G1并且与第二帧内预测模式对应的梯度的幅度为G2时,可以根据第一帧内预测模式对第一预测样本应用权重(G1/(G1+G2)),并且可以根据第二帧内预测模式对第二预测样本应用权重(G2/(G1+G2))。
当第一帧内预测模式和第二帧内预测模式通过基于MPM的推导方法推导时,加权和的权重可以通过考虑模式值、对应帧内预测模式所属的组的位置或者是否为非定向模式中的至少一个来确定。作为示例,当第一帧内预测模式具有小于第二帧内预测模式的模式值时,可以根据第一帧内预测模式对第一预测样本应用较大的权重。另选地,当第一帧内预测模式所属的组是比第二帧内预测模式所属的组更高的组时(例如,当第一帧内预测模式属于第一组并且第二帧内预测模式属于第二组时),可以根据第一帧内预测模式对第一预测样本应用较大的权重。另选地,当第一帧内预测模式是非定向模式并且第二帧内预测模式是定向模式时,可以根据第一帧内预测模式对第一预测样本应用较大的权重。当第一帧内预测模式和第二帧内预测模式二者均是非定向模式时,可以对第一预测样本和第二预测样本应用相同的权重,可以对与第一帧内预测模式和第二帧内预测模式之间具有较小模式值的帧内预测模式对应的预测样本应用较大的权重。
第一帧内预测模式和第二帧内预测模式可以共享一条相同的参考样本线。另选地,可以针对第一帧内预测模式和第二帧内预测模式中的每一个独立地确定参考样本线。第一预测样本和第二预测样本可以基于不同的参考样本线来生成。换言之,用于生成第一预测样本的参考样本线的数量/位置可以不同于用于生成第二预测样本的参考样本线的数量/位置。
图5示出执行根据本公开的帧内预测方法的帧内预测器331的示意性配置。
参照图5,帧内预测器331可以包括模式推导器500、参考样本确定器510和预测样本生成器520。
模式推导器500可以推导当前块的帧内预测模式。
当前块的帧内预测模式可以从解码装置中预定义的帧内预测模式推导。当前块的帧内预测模式可以基于用信号通知的帧内预测模式信息来推导,或者可以基于当前块的邻近区域的梯度来推导。其与通过参照图4所描述的相同,这里省略详细描述。
模式推导器500可以基于预定标志自适应地使用基于梯度的推导方法。这里,标志可以指示是否基于从与当前块相邻的邻近区域计算的梯度来推导当前块的帧内预测模式。如通过参考表1至表4所描述的,当满足预定条件时,可以从比特流用信号通知标志。
当没有用信号通知标志时,模式推导器500可以将标志推导为0并且通过基于MPM的推导方法来推导当前块的帧内预测模式。另选地,当没有用信号通知标志时,模式推导器500可以将标志推导为1并且将当前块的帧内预测模式推导为对于编码装置和解码装置等同地预定义的模式。这里,预定义模式可以是平面模式或DC模式。
另选地,如表1中,即使当因为满足预定条件而用信号通知标志时,模式推导器500可以通过另外考虑邻近块是否可用来更新/改变用信号通知的标志。此外,当用信号通知的标志被更新/改变为0时,模式推导器500可以将当前块的帧内预测模式推导为对于编码装置和解码装置等同地预定义的模式(例如,平面模式或DC模式),或者可以通过上述基于MPM的推导方法来推导。
另选地,即使当因为满足预定条件而用信号通知标志时,模式推导器500可以将当前块的初始帧内预测模式设定为对于编码装置和解码装置等同地预定义的模式。这里,预定义模式可以是平面模式或DC模式。然后,模式推导器500可以基于通过上述基于梯度的推导方法推导的帧内预测模式来更新/改变当前块的初始帧内预测模式。
参考样本确定器510可以从一条或更多条参考样本线确定用于当前块的帧内预测的参考样本。为此,参考样本确定器510可以从对于编码装置和解码装置等同地预定义的多条参考样本线候选中选择一条或更多条参考样本线。预定索引信息可以用于选择与通过参照图4所描述相同的参考样本线。
预测样本生成器520可以基于当前块的帧内预测模式和参考样本来执行当前块的帧内预测。具体帧内预测方法与通过参照图4所描述的相同,这里省略重复描述。
图6示出作为根据本公开的实施方式的编码装置执行的帧内预测方法。
参照图6,可以确定当前块的帧内预测模式S600。
当前块的帧内预测模式可以从编码装置中预定义的帧内预测模式确定。当前块的帧内预测模式可以基于MPM来确定,或者可以基于当前块的邻近区域的梯度来确定。
基于MPM的确定方法
根据基于MPM的确定方法,可以确定当前块的最优帧内预测模式,并且用于指定这一点的帧内预测模式信息可以被编码到比特流中。这样,可以与稍后描述的基于梯度的确定方法相区别,因为帧内预测模式信息被编码并发送到解码装置。
编码装置中预定义的帧内预测模式可以被分成K组。这里,K可以是2、3、4或更大的整数。作为示例,预定义的帧内预测模式可以被分成三个组,用于配置三个组的方法如图4中所描述。
一个或更多个标志可以被编码到比特流中,以指定与当前块的帧内预测模式相同的模式所属的组和/或子组。这里,标志可以包括指示与当前块的帧内预测模式相同的模式是否属于第一组的第一标志、指示与当前块的帧内预测模式相同的模式是否属于第二组(即,MPM列表)的第二标志、指示与当前块的帧内预测模式相同的模式是否属于主MPM列表的第三标志或指示与当前块的帧内预测模式相同的模式是否属于辅MPM列表的第四标志中的至少一个。
当当前块的帧内预测模式属于第二组时,指定属于第二组的多个MPM中的任一个的索引可以被编码到比特流中。索引可以指定属于第二组的多个MPM当中的与当前块的帧内预测模式相同的MPM。另选地,当当前块的帧内预测模式属于主MPM列表时,指定属于主MPM列表的多个MPM中的任一个的索引可以被编码到比特流中。索引可以指定属于主MPM列表的多个MPM当中的与当前块的帧内预测模式相同的MPM。另选地,当当前块的帧内预测模式属于辅MPM列表时,指定属于辅MPM列表的多个MPM中的任一个的索引可以被编码到比特流中。索引可以指定属于辅MPM列表的多个MPM当中的与当前块的帧内预测模式相同的MPM。类似地,当当前块的帧内预测模式属于第一组(或第三组)时,指定属于第一组(或第三组)的多个帧内预测模式中的任一个的索引可以被编码到比特流中。索引可以指定属于第一组(或第三组)的多个帧内预测模式当中的与当前块的帧内预测模式相同的模式。然而,当第一组(或第三组)由一个帧内预测模式组成时,可以省略索引的编码。
上述标志可以利用标志之间的依赖性来编码。作为示例,第一标志可以在第二标志被编码到比特流中之后被编码。当第二标志为真时,第一标志可以被编码。另选地,第二标志可以在第一标志被编码到比特流中之后被编码。当第一标志为假时,第二标志可以被编码。当第二标志为真时,第三标志(或第四标志)可以被编码到比特流中,当第二标志为假时,第三标志(或第四标志)可不被编码到比特流中。另选地,第四标志可以在第三标志被编码到比特流中之后被编码。当第三标志为假时,第四标志可以被编码。
基于梯度的确定方法
可以基于属于当前块的邻近区域的至少两个样本来计算梯度。基于所计算的梯度或梯度的幅度中的至少一个,可以确定当前块的帧内预测模式。通过此确定方法,可以为当前块推导一个帧内预测模式,或者可以推导两个或更多个帧内预测模式。具体的基于梯度的确定方法与通过参照图4所描述的相同,这里省略重复描述。
可以确定是否基于从与当前块相邻的邻近区域计算的梯度来确定当前块的帧内预测模式。基于确定结果,预定标志(Dimd_flag)可以被编码到比特流中。这里,标志可以指示是否基于从与当前块相邻的邻近区域计算的梯度来确定当前块的帧内预测模式。
然而,标志可以基于以下中的至少一个被编码到比特流中:1)基于梯度的推导方法是否可用,2)当前块的亮度分量是否有效,3)当前块的预测模式是否为帧内模式,或者4)当前块的分量类型是否为亮度分量。
基于梯度的推导方法是否可用可以基于在视频序列、画面、画面头或切片头的至少一个级别编码的标志来确定。
当当前块是双树类型中的亮度块或单树类型时,可以确定当前块的亮度分量有效。另一方面,当当前块是双树类型中的色度块时,可以确定当前块的亮度分量无效。这里,单树类型可表示编码单元的色度块具有依赖于亮度块的分割结构的分割结构的树类型,双树类型可表示编码单元的色度块具有独立于亮度块的分割结构的树类型。
即使当当前块是单树类型时,当当前块为色度块时,当前块的分量类型是否为亮度分量可以被确定为假。另一方面,即使当当前块是单树类型时,当当前块为亮度块时,当前块的分量类型是否为亮度分量可以被确定为真。当当前块是双树类型中的亮度块时,当前块的分量类型是否为亮度分量可以被确定为真,当当前块是双树类型中的色度块时,当前块的分量类型是否为亮度分量可以被确定为假。
作为示例,如表1中所描述的,当1)基于梯度的推导方法对于当前块所属的视频序列可用,2)亮度分量对于当前块有效,3)当前块的预测模式为帧内模式,并且4)当前块的分量类型为亮度分量时,标志(Dimd_flag)可以被编码到比特流中。
在这种情况下,当通过基于梯度的确定方法确定当前块的帧内预测模式时,标志可以被编码为1。当通过基于MPM的确定方法确定当前块的帧内预测模式时,标志可以被编码为0。
此外,当不满足根据表1的条件时,标志可不被编码到比特流中。在这种情况下,标志可以被推导为0,并且可以通过基于MPM的确定方法来确定当前块的帧内预测模式。
当当前块的邻近块不可用时,可不配置用于计算梯度的邻近区域。在这种情况下,因为所有梯度的幅度为0,所以预设的初始帧内预测模式可以用作当前块的帧内预测模式。在这种情况下,预设初始帧内预测模式的值可以被设定为0(对应于平面模式)。换言之,即使当根据表1中的条件编码的标志为1时,当当前块的邻近块不可用时,可不使用基于梯度的确定方法,并且当前块的帧内预测模式可以被设定为平面模式(预设模式)。
然而,根据上述基于MPM的确定方法的MPM列表中的第一MPM可以是平面模式。换言之,当当前块的邻近块不可用并且标志(Dimd_flag)被编码为1时,当前块的帧内预测模式是与平面模式相同的预设平面模式(MPM列表中的第一MPM)。因此,当当前块的邻近块不可用时,可能没有必要对指示是否应用基于梯度的确定方法的标志进行编码。为了防止这种不必要的编码,当邻近块不可用时,可能存在不允许基于梯度的确定方法的限制。
当邻近块不可用并且未配置用于梯度计算的邻近区域时,编码装置可不从邻近区域计算梯度,因此可不通过基于梯度的确定方法来确定当前块的帧内预测模式。因此,可以限制标志的编码条件以确保不允许基于梯度的确定方法。
标志可以基于以下中的至少一个被编码到比特流中:1)基于梯度的推导方法是否可用,2)当前块的亮度分量是否有效,3)当前块的预测模式是否为帧内模式,4)当前块的分量类型是否为亮度分量,或者5)当前块的邻近块是否可用。
上述条件1)至4)与前述相同,并且这里省略重复描述。当邻近块满足以下条件中的一个或更多个时,对应邻近块可以被确定为不可用,否则,对应邻近块可以被确定为可用。
1)邻近块中的左上样本的x坐标小于0。
2)邻近块中的左上样本的y坐标小于0。
3)邻近块中的左上样本的x坐标等于或大于画面的宽度。
4)邻近块中的左上样本的y坐标等于或大于画面的高度。
5)邻近块的解码顺序比当前块晚。
6)邻近块包括在与当前块不同的切片中。
7)邻近块包括在与当前块不同的拼块中。
作为示例,如表2中所描述的,当1)基于梯度的推导方法对于当前块所属的视频序列可用,2)亮度分量对于当前块有效,3)当前块的预测模式为帧内模式,4)当前块的分量类型为亮度分量,并且5)当前块的邻近块可用时,标志(Dimd_flag)可以被编码到比特流中。
当不满足根据表2的条件时,标志可不被编码到比特流中,并且标志可以被推导为0(或假)。在这种情况下,可以通过上述基于MPM的确定方法来确定当前块的帧内预测模式。
当邻近块不可用并且未配置用于梯度计算的邻近区域时,编码装置可不从邻近区域计算梯度,因此可不通过基于梯度的确定方法确定当前块的帧内预测模式。因此,可以限制标志的编码条件以确保不允许基于梯度的确定方法。
如表3中所描述的,当当前块的邻近块可用时,标志(Dimd_flag)可以被编码到比特流中,否则,标志可不被编码到比特流中。
当标志未被编码到比特流中时,如表3中,对应标志可以被推导为真(或1)。然而,当前块的帧内预测模式可以被推导为对于编码装置和解码装置等同地预定义的模式。这里,预定义模式可以是平面模式。这样,即使当标志未被编码到比特流中并且对应标志被推导为1时,可存在不通过基于梯度的确定方法来确定当前块的帧内预测模式的限制。
另选地,当满足根据表1的条件时,标志可以被编码到比特流中。然而,通过考虑邻近块是否可用,编码的标志可以被更新/改变。
作为示例,当1)基于梯度的推导方法对于当前块所属的视频序列可用,2)亮度分量对于当前块有效,3)当前块的预测模式为帧内模式,并且4)当前块的分量类型为亮度分量时,标志(Dimd_flag)可以被编码到比特流中。当标志被编码为1时,可以另外确定当前块的邻近块是否可用。作为确定的结果,当邻近块可用时,标志维持为1,但是当邻近块不可用时,标志可以被更新/改变为0。在这种情况下,当前块的帧内预测模式可以被推导为对于编码装置和解码装置等同地预定义的模式(例如,平面模式),或者可以通过上述基于MPM的确定方法来确定。
当邻近块不可用并且未配置用于梯度计算的邻近区域时,编码装置可不从邻近区域计算梯度,因此可不通过基于梯度的确定方法来确定当前块的帧内预测模式。因此,可以限制标志的编码条件以确保不允许基于梯度的确定方法。
如表4中所描述的,当当前块的邻近块可用时,标志(Dimd_flag)可以被编码到比特流中,否则,标志可不被编码到比特流中。
当标志未被编码到比特流中时,如表4中,对应标志可以被推导为真(或1)。然而,当前块的帧内预测模式可以被推导为对于编码装置和解码装置等同地预定义的模式。这里,预定义模式可以是DC模式。这样,即使当标志未被编码到比特流中并且对应标志被推导为1时,也可存在不通过基于梯度的确定方法来确定当前块的帧内预测模式的限制。
另选地,当满足根据表1的条件时,标志可以被编码到比特流中。然而,通过考虑邻近块是否可用,编码的标志可以被更新/改变。
作为示例,当1)基于梯度的推导方法对于当前块所属的视频序列可用,2)亮度分量对于当前块有效,3)当前块的预测模式为帧内模式,并且4)当前块的分量类型为亮度分量时,标志(Dimd_flag)可以被编码到比特流中。当标志被编码为1时,可以另外确定当前块的邻近块是否可用。作为确定的结果,当邻近块可用时,标志维持为1,但是当邻近块不可用时,标志可以被更新/改变为0。在这种情况下,当前块的帧内预测模式可以被推导为对于编码装置和解码装置等同地预定义的模式(例如,DC模式),或者可以通过上述基于MPM的确定方法来确定。
如上所述,当前块的标志(Dimd_flag)可以基于以下中的至少一个被编码到比特流中:1)基于梯度的推导方法是否可用,2)当前块的亮度分量是否有效,3)当前块的预测模式是否为帧内模式,或者4)当前块的分量类型是否为亮度分量。
作为示例,如表1中,当满足预定条件时,即,当1)基于梯度的推导方法对于当前块所属的视频序列可用,2)亮度分量对于当前块有效,3)当前块的预测模式为帧内模式,并且4)当前块的分量类型为亮度分量时,标志(Dimd_flag)可以被编码到比特流中。
当标志被编码为真(或1)时,当前块的初始帧内预测模式可以被设定为对于编码装置和解码装置等同地预定义的模式。不管邻近块是否可用,当前块的初始帧内预测模式可以被设定为预定义模式。这里,预定义模式可以是平面模式。然而,当平面模式用作预定义模式时,可导致使用平面模式作为MPM列表中的第一MPM的重复结果。因此,DC模式可以用作预定义模式。
当前块的初始帧内预测模式可以被更新/改变为通过上述基于梯度的确定方法确定的帧内预测模式。
参照图6,可以确定当前块的参考样本S610。
可以从一条或更多条参考样本线确定用于当前块的帧内预测的参考样本。当前块可以使用一条参考样本线,或者可以使用至少两条参考样本线。
可以从对于编码装置和解码装置等同地预定义的多条参考样本线候选中选择用于当前块的帧内预测的参考样本线。多条预定义的参考样本线候选可以包括与当前块相邻的第一参考样本线、离开当前块1个样本的第二参考样本线、离开当前块2个样本的第三参考样本线或者离开当前块3个样本的第四参考样本线中的至少一条。
指定当前块的参考样本所属的参考样本线的位置的索引信息可以被编码到比特流中。作为示例,指定多条参考样本线候选中的任一条的索引信息可以被编码。另选地,当两条参考样本线用于当前块的帧内预测时,指定多条参考样本线候选当中的两条参考样本线的两个索引信息可以分别被编码。另选地,由于两条参考样本线中的任一条是默认参考样本线,所以可以省略其索引信息的编码,并且仅另一个的索引信息可被编码。这里,默认参考样本线是指对于编码装置和解码装置等同地预定义的位置处的参考样本线,例如,其可以是与当前块相邻的第一参考样本线。
此外,当前块的参考样本线可以用于确定当前块的帧内预测模式,并且在这种情况下,S610可以在S600之前执行。
参照图6,可以基于当前块的帧内预测模式和参考样本来生成当前块的预测样本S620。
生成预测样本的方法与通过参照图4所描述的相同,这里省略详细描述。可以生成残差样本(当前块的预测样本与原始样本之间的差),并且其可被编码以生成比特流。
此外,多条参考样本线可以用于当前块的帧内预测,并且在这种情况下,对于各条参考样本线可以存在投影位置。换言之,可以确定投影位置处的多个样本,并且可以基于其加权和来生成当前块的预测样本。
可以通过基于MPM的确定方法或基于梯度的确定方法为当前块推导多个帧内预测模式。可以生成与多个帧内预测模式中的每一个对应的预测样本,并且可以通过其加权和来生成当前块的预测样本。其与通过参照图4所描述的相同,这里省略详细描述。
当前块的多个帧内预测模式可以共享一条相同的参考样本线。另选地,如上所述,可以针对多个帧内预测模式中的每一个独立地确定参考样本线。
图7示出执行根据本公开的帧内预测方法的帧内预测器222的示意性配置。
参照图7,帧内预测器222可以包括模式确定器700、参考样本确定器710和预测样本生成器720。
模式确定器700可以确定当前块的帧内预测模式。
当前块的帧内预测模式可以从编码装置中预定义的帧内预测模式来推导。当前块的帧内预测模式可以基于MPM来确定,或者可以基于当前块的邻近区域的梯度来推导。其与通过参照图4所描述的相同,这里省略详细描述。
模式确定器700可以确定预定标志(Dimd_flag),以便自适应地使用上述基于梯度的确定方法。这里,标志可以指示是否基于从与当前块相邻的邻近区域计算的梯度来确定当前块的帧内预测模式。如通过参考表1至表4所描述的,当满足预定条件时,模式确定器700可以确定该标志并对其进行编码。
当标志未被编码时,模式确定器700可以将标志推导为0,并且通过基于MPM的确定方法来确定当前块的帧内预测模式。另选地,当标志未被编码时,模式确定器700可以将标志推导为1,并且将当前块的帧内预测模式设定为对于编码装置和解码装置等同地预定义的模式。这里,预定义模式可以是平面模式或DC模式。
另选地,如表1中,即使当标志因为满足预定条件而被编码时,模式确定器700也可以通过另外考虑邻近块是否可用而更新/改变编码的标志。此外,当编码的标志被更新/改变为0时,模式确定器700可以将当前块的帧内预测模式推导为对于编码装置和解码装置等同地预定义的模式(例如,平面模式或DC模式),或者可以通过上述基于MPM的确定方法来确定。
另选地,即使当标志因为满足预定条件而被编码时,模式确定器700可以将当前块的初始帧内预测模式设定为对于编码装置和解码装置等同地预定义的模式。这里,预定义模式可以是平面模式或DC模式。然后,模式确定器700可基于通过上述基于梯度的确定方法确定的帧内预测模式来更新/改变当前块的初始帧内预测模式。
参考样本确定器710可以从一条或更多条参考样本线确定用于当前块的帧内预测的参考样本。为此,参考样本确定器710可以从对于编码装置和解码装置等同地预定义的多条参考样本线候选中选择一条或更多条参考样本线。指定所选参考样本线的预定索引信息可以被编码到比特流中。
预测样本生成器720可以基于当前块的帧内预测模式和参考样本来执行当前块的帧内预测。具体帧内预测方法与通过参照图4所描述的相同,这里省略重复描述。
在上述实施方式中,基于作为一系列步骤或方框的流程图来描述方法,但对应实施方式不限于该步骤顺序,一些步骤可以如上所述与其它步骤同时发生或以不同的顺序发生。另外,本领域技术人员可以理解,流程图中所示的步骤不是排它的,在不影响本公开的实施方式的范围的情况下,可以包括其它步骤,或者可以删除流程图中的一个或更多个步骤。
根据本公开的实施方式的上述方法可以按软件的形式实现,并且根据本公开的编码设备和/或解码设备可以包括在执行图像处理的装置中,例如TV、计算机、智能电话、机顶盒、显示装置等。
在本公开中,当实施方式被实现为软件时,上述方法可以被实现为执行上述功能的模块(进程、函数等)。模块可以存储在存储器中,并且可以由处理器执行。存储器可以在处理器内部或外部,并且可以通过各种熟知手段连接到处理器。处理器可以包括专用集成电路(ASIC)、另一芯片组、逻辑电路和/或数据处理装置。存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、存储卡、存储介质和/或另一存储装置。换言之,本文中所描述的实施方式可以通过在处理器、微处理器、控制器或芯片上实现来执行。例如,各个图中所示的功能单元可以通过在计算机、处理器、微处理器、控制器或芯片上实现来执行。在这种情况下,用于实现的信息(例如,关于指令的信息)或算法可以存储在数字存储介质中。
另外,应用了本公开的实施方式的解码设备和编码设备可以包括在多媒体广播发送和接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监控相机、视频会话装置、类似视频通信的实时通信装置、移动流装置、存储介质、摄像机、用于提供视频点播(VOD)服务的装置、OTT(over the top)视频装置、用于提供互联网流服务的装置、三维(3D)视频装置、虚拟现实(VR)装置、增强现实(AR)装置、视频电话视频装置、运输终端(例如,车辆(包括自主车辆)终端、飞机终端、船只终端等)和医疗视频装置等中,并且可以用于处理视频信号或数据信号。例如,OTT(over the top)视频装置可以包括游戏机、蓝光播放器、互联网连接电视机、家庭影院系统、智能电话、平板PC、数字视频记录仪(DVR)等。
另外,应用了本公开的实施方式的处理方法可以按照计算机执行的程序的形式生成,并且可以存储在计算机可读记录介质中。根据本公开的实施方式的具有数据结构的多媒体数据也可以存储在计算机可读记录介质中。计算机可读记录介质包括存储计算机可读数据的所有类型的存储装置和分布式存储装置。计算机可读记录介质可以包括例如蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学介质存储装置。另外,计算机可读记录介质包括以载波的形式实现的介质(例如,经由互联网的传输)。另外,通过编码方法生成的比特流可以存储在计算机可读记录介质中,或者可以通过有线/无线通信网络发送。
另外,本公开的实施方式可以通过程序代码由计算机程序产品实现,并且程序代码可以通过本公开的实施方式在计算机上执行。程序代码可以存储在计算机可读载体上。
图8示出可以应用本公开的实施方式的内容流系统的示例。
参照图8,应用了本公开的实施方式的内容流系统可以大致包括编码服务器、流服务器、网络服务器、媒体存储器、用户装置和多媒体输入装置。
编码服务器通过将从诸如智能电话、相机、摄像机等的多媒体输入装置输入的内容压缩为数字数据来生成比特流并将其发送到流服务器。作为另一示例,当诸如智能电话、相机、摄像机等的多媒体输入装置直接生成比特流时,可以省略编码服务器。
可以通过应用了本公开的实施方式的编码方法或比特流生成方法来生成比特流,并且流服务器可以在发送或接收比特流的过程中暂时存储比特流。
流服务器基于用户请求通过网络服务器向用户装置发送多媒体数据,并且网络服务器用作向用户告知什么服务可用的媒介。当用户向网络服务器请求期望的服务时,网络服务器向流服务器传送该请求,并且流服务器向用户发送多媒体数据。在这种情况下,内容流系统可以包括单独的控制服务器,并且在这种情况下,控制服务器控制内容流系统中的各个装置之间的命令/响应。
流服务器可以从媒体存储器和/或编码服务器接收内容。例如,当从编码服务器接收内容时,可以实时接收内容。在这种情况下,为了提供平稳的流服务,流服务器可以将比特流存储特定时间段。
用户装置的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、触屏PC、平板PC、超级本、可穿戴装置(例如,智能手表、智能眼镜、头戴式显示器(HMD))、数字TV、台式机、数字标牌等。
内容流系统中的各个服务器可以作为分布式服务器来操作,并且在这种情况下,从各个服务器接收的数据可以被分布并处理。
本文所阐述的权利要求可以按各种方式组合。例如,本公开的方法权利要求的技术特性可以被组合并实现为装置,本公开的装置权利要求的技术特性可以被组合并实现为方法。另外,本公开的方法权利要求的技术特性和装置权利要求的技术特性可以被组合并实现为装置,本公开的方法权利要求的技术特性和装置权利要求的技术特性可以被组合并实现为方法。
Claims (12)
1.一种图像解码方法,该图像解码方法包括以下步骤:
基于当前块的标志来推导所述当前块的帧内预测模式,所述标志指示是否基于属于与所述当前块相邻的邻近区域的至少两个样本之间的梯度来推导所述当前块的所述帧内预测模式;
确定所述当前块的参考样本;以及
基于所述帧内预测模式和所述参考样本来生成所述当前块的预测样本。
2.根据权利要求1所述的图像解码方法,其中,基于所述当前块的邻近块是否可用,从比特流用信号通知所述标志。
3.根据权利要求2所述的图像解码方法,其中,当所述当前块的所述邻近块可用时,从所述比特流用信号通知所述标志,并且
当所述当前块的所述邻近块不可用时,所述标志不从所述比特流用信号通知,并且被推导为0。
4.根据权利要求2所述的图像解码方法,其中,当所述当前块的所述邻近块可用时,从所述比特流用信号通知所述标志,并且
当所述当前块的所述邻近块不可用时,所述标志不从所述比特流用信号通知,并且被推导为1。
5.根据权利要求4所述的图像解码方法,其中,当所述标志被推导为1时,所述当前块的所述帧内预测模式被设定为平面模式。
6.根据权利要求4所述的图像解码方法,其中,当所述标志被推导为1时,所述当前块的所述帧内预测模式被设定为DC模式。
7.根据权利要求1所述的图像解码方法,其中,当所述标志等于1时,基于属于所述邻近区域的所述至少两个样本之间的所述梯度来确定所述当前块的所述帧内预测模式,
当所述标志等于0时,基于所述当前块的帧内预测模式信息来推导所述当前块的所述帧内预测模式。
8.根据权利要求7所述的图像解码方法,其中,当所述标志等于1时,所述当前块的初始帧内预测模式被设定为DC模式。
9.根据权利要求8所述的图像解码方法,其中,基于对于所述当前块可用的一个或更多个帧内预测模式的梯度的幅度来更新所述当前块的所述初始帧内预测模式。
10.根据权利要求9所述的图像解码方法,其中,不管所述当前块的邻近块是否可用,从比特流用信号通知所述标志。
11.一种图像编码方法,该图像编码方法包括以下步骤:
确定是否基于属于与当前块相邻的邻近区域的至少两个样本之间的梯度来确定所述当前块的帧内预测模式;
基于所述确定的结果来确定所述当前块的所述帧内预测模式;
确定所述当前块的参考样本;以及
基于所述帧内预测模式和所述参考样本来生成所述当前块的预测样本,
其中,指示是否基于属于所述邻近区域的所述至少两个样本之间的所述梯度来确定所述当前块的所述帧内预测模式的标志被编码到比特流中。
12.一种计算机可读存储介质,所述计算机可读存储介质存储通过图像编码方法生成的比特流,所述图像编码方法包括以下步骤:
确定是否基于属于与当前块相邻的邻近区域的至少两个样本之间的梯度来确定所述当前块的帧内预测模式;
基于所述确定的结果来确定所述当前块的所述帧内预测模式;
确定所述当前块的参考样本;以及
基于所述帧内预测模式和所述参考样本来生成所述当前块的预测样本,
其中,指示是否基于属于所述邻近区域的所述至少两个样本之间的所述梯度来确定所述当前块的所述帧内预测模式的标志被编码到比特流中。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20210191012 | 2021-12-29 | ||
KR10-2021-0191012 | 2021-12-29 | ||
PCT/KR2022/021589 WO2023128648A1 (ko) | 2021-12-29 | 2022-12-29 | 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118451707A true CN118451707A (zh) | 2024-08-06 |
Family
ID=86999675
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280086530.5A Pending CN118451707A (zh) | 2021-12-29 | 2022-12-29 | 图像编码/解码方法和装置及存储比特流的记录介质 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP4459988A1 (zh) |
KR (1) | KR20240132316A (zh) |
CN (1) | CN118451707A (zh) |
WO (1) | WO2023128648A1 (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110708544B (zh) * | 2013-12-19 | 2022-07-05 | 三星电子株式会社 | 视频编码方法和设备以及视频解码方法和设备 |
CN116405672A (zh) * | 2017-12-22 | 2023-07-07 | 数码士有限公司 | 视频信号处理方法和设备 |
US10771781B2 (en) * | 2018-03-12 | 2020-09-08 | Electronics And Telecommunications Research Institute | Method and apparatus for deriving intra prediction mode |
EP3843390A4 (en) * | 2018-08-24 | 2022-05-18 | Samsung Electronics Co., Ltd. | CODING METHOD AND APPARATUS, AND DECODED METHOD AND APPARATUS |
US10469845B1 (en) * | 2018-09-21 | 2019-11-05 | Tencent America, Llc | Method and apparatus for intra mode coding |
-
2022
- 2022-12-29 WO PCT/KR2022/021589 patent/WO2023128648A1/ko active Application Filing
- 2022-12-29 EP EP22916789.5A patent/EP4459988A1/en active Pending
- 2022-12-29 CN CN202280086530.5A patent/CN118451707A/zh active Pending
- 2022-12-29 KR KR1020247025278A patent/KR20240132316A/ko active Pending
Also Published As
Publication number | Publication date |
---|---|
KR20240132316A (ko) | 2024-09-03 |
WO2023128648A1 (ko) | 2023-07-06 |
EP4459988A1 (en) | 2024-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200296391A1 (en) | Method for decoding image on basis of cclm prediction in image coding system, and device therefor | |
CN113841407B (zh) | 基于帧内预测的图像编码中的变换 | |
US20240080486A1 (en) | Syntax design method and apparatus for performing coding by using syntax | |
US20240089463A1 (en) | Matrix-based intra prediction device and method | |
US20220078434A1 (en) | Matrix-based intra prediction device and method | |
CN114128276B (zh) | 图像编译中指示变换核集的信息的信令 | |
US12273558B2 (en) | Intra prediction-based image coding method and apparatus using unified MPM list | |
CN113767625B (zh) | 基于mpm列表的帧内预测方法及其设备 | |
CN111989919A (zh) | 基于使用mpm列表的帧内预测的图像编码方法及设备 | |
CN114556949B (zh) | 帧内预测装置和方法 | |
CN114600451A (zh) | 基于矩阵帧内预测的图像编码设备和方法 | |
KR20240155249A (ko) | 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체 | |
KR20240149888A (ko) | 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체 | |
CN113273210B (zh) | 用于编译关于合并数据的信息的方法和装置 | |
CN114208182A (zh) | 用于基于去块滤波对图像进行编码的方法及其设备 | |
EP4459988A1 (en) | Image encoding/decoding method and device, and recording medium on which bitstream is stored | |
US20250071318A1 (en) | Image encoding/decoding method and device, and recording medium storing bitstream | |
US20250071282A1 (en) | Image encoding/decoding method and device, and recording medium on which bitstream is stored | |
CN118525508A (zh) | 图像编码/解码方法和装置及存储比特流的记录介质 | |
CN118525517A (zh) | 图像编码/解码方法和设备及存储有比特流的记录介质 | |
CN118402233A (zh) | 图像编码/解码方法和设备以及存储比特流的记录介质 | |
CN118648280A (zh) | 图像编码/解码方法和装置及存储有比特流的记录介质 | |
KR20250036153A (ko) | 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체 | |
KR20240170541A (ko) | 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체 | |
CN117999783A (zh) | 用于对图像编码/解码的方法和装置以及其中存储比特流的记录介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |