CN119586140A - 图像编码/解码方法和设备以及其中存储有比特流的记录介质 - Google Patents
图像编码/解码方法和设备以及其中存储有比特流的记录介质 Download PDFInfo
- Publication number
- CN119586140A CN119586140A CN202380057885.6A CN202380057885A CN119586140A CN 119586140 A CN119586140 A CN 119586140A CN 202380057885 A CN202380057885 A CN 202380057885A CN 119586140 A CN119586140 A CN 119586140A
- Authority
- CN
- China
- Prior art keywords
- block
- chroma block
- mode
- intra prediction
- current chroma
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 113
- 241000023320 Luma <angiosperm> Species 0.000 claims description 24
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 24
- 238000009795 derivation Methods 0.000 claims description 12
- 239000000523 sample Substances 0.000 description 37
- 230000008569 process Effects 0.000 description 17
- 238000001914 filtration Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000009466 transformation Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 9
- 230000003044 adaptive effect Effects 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000013139 quantization Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013074 reference sample Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
根据本公开的图像解码/编码方法和设备可以:基于与当前色度块相对应的亮度块的帧内预测模式来配置当前色度块的候选列表;基于候选列表来导出当前色度块的帧内预测模式;以及基于所导出的帧内预测模式来生成当前色度块的预测样本。
Description
技术领域
本公开涉及图像编码/解码方法和设备以及其中存储有比特流的记录介质。
背景技术
近来,在各种应用领域中对诸如HD(高清)图像和UHD(超高清)图像的高分辨率和高质量图像的需求已经不断增加,并且因此,高效的图像压缩技术正在被讨论。
存在多种技术,诸如利用视频压缩技术从当前图片之前或之后的图片预测当前图片中包括的像素值的帧间预测技术、通过使用当前图片中的像素信息对当前图片中包括的像素值进行预测的帧内预测技术、对出现频率高的值分配短符号并且对出现频率低的值分配长符号的熵编译技术等,并且这些图像压缩技术可以被用于有效地压缩图像数据并对其进行发送或存储。
发明内容
技术问题
本公开旨在提供一种用于配置用于色度分量块的帧内预测的候选列表的方法和装置。
本公开旨在提供一种用于用信号发送用于色度分量块的帧内预测的模式信息的方法和装置。
技术方案
根据本公开的图像解码方法和装置基于与当前色度块相对应的亮度块的帧内预测模式来构造当前色度块的候选列表,基于候选列表来导出当前色度块的帧内预测模式,以及基于所导出的帧内预测模式来生成当前色度块的预测样本。
根据本公开的图像解码方法和装置可以确定跨分量线性模型(CCLM)模式是否被应用于当前色度块。
当确定CCLM模式不被应用于当前色度块时,根据本公开的图像解码方法和装置可以确定直接模式(DM)是否被应用于当前色度块。
当确定DM模式不被应用于当前色度块时,根据本公开的图像解码方法和装置可以构造候选列表。
在根据本公开的图像解码方法和装置中,候选列表可以包括第一亮度块、第二亮度块、第三亮度块、或者第四亮度块中的至少一个的帧内预测模式,第一亮度块包括在与当前色度块相对应的亮度块内的左上位置处的样本,第二亮度块包括在其中的右上位置处的样本,第三亮度块包括在其中的左下位置处的样本,第四亮度块包括在其中的右下位置处的样本。
在根据本公开的图像解码方法和装置中,候选列表可以包括第一色度块、第二色度块、第三色度块、第四色度块、或者第五色度块中的至少一个的帧内预测模式,第一色度块与当前色度块的左上侧相邻,第二色度块与其上侧相邻,第三色度块与其右上侧相邻,第四色度块与其左侧相邻,第五色度块与其左下侧相邻。
在根据本公开的图像解码方法和设备中,候选列表可以包括解码器侧帧内模式导出(DIMD)模式。
根据本公开的图像编码方法和装置基于与当前色度块相对应的亮度块的帧内预测模式来构造当前色度块的候选列表,基于候选列表来确定当前色度块的帧内预测模式,以及基于所确定的帧内预测模式来生成当前色度块的预测样本。
提供了一种计算机可读数字存储介质,其中存储使根据本公开的图像解码设备执行图像解码方法的编码的视频/图像信息。
提供了一种计算机可读数字存储介质,其中存储根据本公开的图像编码方法生成的视频/图像信息。
提供了一种用于发送根据按照本公开的图像编码方法生成的视频/图像信息的方法和装置。
有益效果
根据本公开,通过有效地配置用于色度分量块的帧内预测的候选列表,能够增加预测精度并且改进压缩性能。
根据本公开,通过有效地用信号发送用于色度分量块的帧内预测的模式信息,能够改进压缩性能。
附图说明
图1是图示根据本公开的视频/图像编译系统的图。
图2图示可以应用本公开的实施例并且其中执行视频/图像信号的编码的编码设备的示意性框图。
图3图示可以应用本公开的实施例并且其中执行视频/图像信号的解码的解码设备的示意性框图。
图4图示根据本公开的实施例的由解码设备执行的帧内预测方法的流程图。
图5是用于描述根据本公开的实施例的候选列表配置方法的图。
图6是图示根据本公开的实施例的色度帧内预测模式确定方法的流程图。
图7是用于描述根据本公开的实施例的色度帧内预测模式的图。
图8是图示根据本公开的执行帧内预测方法的帧内预测器的示意性配置的图。
图9是图示作为根据本公开的实施例的编码设备执行的帧间预测方法的流程图。
图10是图示根据本公开的执行帧间预测方法的帧内预测器的示意性配置的图。
图11是图示可以应用本公开的实施例的内容流式传输系统的示例的图。
具体实施方式
本公开可以受制于各种修改并且可以具有各种实施例,并且因此将在附图中图示具体实施例并在详细描述中详细描述。然而,应理解,这并非旨在将本公开限制于具体实施例,而是包括本公开的精神和技术范围内包括的所有修改、等效物或替代物。在每个附图的描述中,使用相似的参考标号来指代相似的组件。
可以使用诸如第一、第二等术语来描述各种组件,但是组件不应受这些术语的限制。这些术语仅用于区分一个组件与另一个组件。例如,第一组件可以被称为第二组件,并且类似地,在没有脱离本公开的范围的情况下第二组件可以被称为第一组件。术语“和/或”包括多个相关描述的项目的组合或多个相关描述的项目中的任意一个。
当组件被称为被“耦合”或“连接”到另一组件时,应理解为该组件可以直接耦合或连接到另一组件,但其间可能存在其他组件。另一方面,当组件被称为被“直接耦合”或“直接连接”到另一组件时,应理解为其间不存在其他组件。
本申请中使用的术语仅用于描述具体实施例,并不旨在限制本公开。除非上下文另有明确说明,否则单数表达包括复数表达。在本申请中,应理解诸如“包括”和“具有”的术语旨在指定说明书中描述的特征、数字、步骤、操作、组件、部件或其组合的存在,但不事先排除存在或添加一个或多个其他特征、数字、步骤、操作、组件、部件或其组合的可能性。
本公开涉及视频/图像编译。例如,本说明书中公开的方法/实施例可以被应用于通用视频编码(VVC)标准中公开的方法。另外,本说明书中公开的方法/实施例可以被应用于基本视频编码(EVC)标准、AOMedia Video 1(AV1)标准、第二代音频视频编码标准(AVS2)或下一代视频/图像编码标准(例如,H.267或H.268等)中公开的方法。
本说明书提出与视频/图像编译相关的各种实施例,并且除非另有说明,否则实施例可以相互组合执行。
在本说明书中,视频可以意指一系列图像随着时间流逝的集合。图片通常意指表示特定时间段的一个图像的单元,并且切片/图块是编译中构成图片的一部分的单元。切片/图块可以包含一个或多个编译树单元(CTU)。一个图片可以由一个或多个切片/图块组成。一个图块是由一个图片的特定图块行和特定图块行内的多个CTU组成的矩形区域。图块列是具有等于图片的高度的高度和由图片参数集的语法要求指定的宽度的CTU的矩形区域。图块行是具有由图片参数集指定的高度并且与图片的宽度相等的宽度的CTU的矩形区域。一个图块内的CTU可以根据CTU光栅扫描连续排列,而一个图片内的图块可以根据图块的光栅扫描连续排列。一个切片可以包含可以被独占地包含在单个NAL单元中的图片的图块内的整数个完整图块或整数个连续的完整CTU行。同时,一个图片可以分区成两个或更多个子图片。子图片可以是图片内的一个或多个切片的矩形区域。
像素或像元可以是构成图片(或图像)的最小单位。此外,“样本”可以被用作与像素相对应的术语。样本通常可以表示像素或像素值,并且可仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
单元能够表示图像处理的基本单元。该单元可以包括图片的特定区域和与该区域相关的信息中的至少一个。一个单元可以包括一个亮度块和两个色度(例如,cb和cr)块。在一些情况下,单元可以与诸如块或区域的术语互换使用。通常,MxN块可以包含由M列和N行组成的样本(样本数组)或变换系数的集合(或数组)。
在本说明书中,“A或B”可以意指“仅A”、“仅B”或“A和B这两者”。换句话说,在本说明书中,“A或B”可以被解释为“A和/或B”。例如,在本说明书中,“A、B或C”可以意指“仅A”、“仅B”、“仅C”或“A、B和C的任意组合”。
本说明书中使用的斜线(/)或逗号可以意指“和/或”。例如,“A/B”可以意指“A和/或B”。因此,“A/B”可以意指“仅A”、“仅B”或“A和B这两者”。例如,“A、B、C”可以意指“A、B或C”。
在本说明书中,“A和B中的至少一个”可以意指“仅A”、“仅B”或“A和B这两者”。另外,在本说明书中,“A或B中的至少一个”或“A和/或B中的至少一个”的表述可以被解释为“A和B中的至少一个”。
另外,在本说明书中,“A、B和C中的至少一个”可以意指“仅A”、“仅B”、“仅C”或“A、B和C的任意组合”。另外,“A、B或C中的至少一个”或“A、B和/或C中的至少一个”可以意指“A、B和C中的至少一个”。
另外,本说明书中使用的括号可以意指“例如”。具体地,当被指示为“预测(帧内预测)”时,可以将“帧内预测”建议为“预测”的示例。换句话说,本说明书中的“预测”不限于“帧内预测”,并且可以将“帧内预测”建议为“预测”的示例。另外,即使当被指示为“预测(即,帧内预测)”时,也可以将“帧内预测”建议为“预测”的示例。
本说明书中的一幅图中单独描述的技术特征可以被单独或同时实施。
图1示出根据本公开的视频/图像编译系统。
参考图1,视频/图像编译系统可以包括第一设备(源设备)和第二设备(接收设备)。
源设备可以通过数字存储介质或网络将经编码的视频/图像信息或数据以文件或流传输的形式发送到接收设备。源设备可以包括视频源、编码设备和发送单元。接收设备可以包括接收单元、解码设备和渲染器。编码设备可以被称为视频/图像编码设备,并且解码设备可以被称为视频/图像解码设备。发射器可以被包括在编码设备中。接收器可以被包括在解码设备中。渲染器可以包括显示单元,并且显示单元可以由单独的设备或外部组件组成。
视频源可以通过捕获、合成或生成视频/图像的过程来获取视频/图像。视频源可以包括捕获视频/图像的设备和生成视频/图像的设备。捕获视频/图像的设备可以包括至少一个相机、包括先前捕获的视频/图像的视频/图像档案等。生成视频/图像的设备可以包括计算机、平板电脑、智能手机等等,并且可以(电子地)生成视频/图像。例如,可以通过计算机等生成虚拟视频/图像,并且在这种情况下,捕获视频/图像的过程可以被生成相关数据的过程取代。
编码设备可以对输入视频/图像进行编码。编码设备可以为了压缩和编译效率而执行诸如预测、变换、量化等的一系列过程。编码的数据(编码的视频/图像信息)能够以比特流的形式输出。
发送单元可以通过数字存储介质或网络以文件或流传输的形式向接收设备的接收单元发送以比特流的形式输出的经编码的视频/图像信息或数据。数字存储介质可以包括各种存储介质,诸如USB、SD、CD、DVD、蓝光、HDD、SSD等。发送单元可以包括用于通过预先确定的文件格式生成媒体文件的元件并且可以包括用于通过广播/通信网络进行传输的元件。接收单元可以接收/提取比特流并将其发送到解码设备。
解码设备可以通过执行与编码设备的操作相对应的诸如反量化、逆变换、预测等的一系列过程来对视频/图像进行解码。
渲染器可以渲染经解码的视频/图像。可以通过显示单元显示经渲染的视频/图像。
图2示出可以应用本公开的实施例并且执行视频/图像信号的编码的编码设备的粗略框图。
参考图2,编码设备200可以由图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250、滤波器260和存储器270组成。预测器220可以包括帧间预测器221和帧内预测器222。残差处理器230可以包括变换器232、量化器233、反量化器234和逆变换器235。残差处理器230可以进一步包括减法器231。加法器250可以被称为重构器或重构块生成器。根据实施例,上述图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可以由至少一个硬件组件(例如,编码器芯片组或处理器)配置。另外,存储器270可以包括解码图片缓冲器(DPB)并且可以由数字存储介质配置。硬件组件可以进一步包括存储器270作为内部/外部组件。
图像分割器210可以将输入到编码设备200的输入图像(或图片、帧)分割(partition)成至少一个处理单元。作为示例,处理单元可以被称为编译单元(CU)。在这种情况下,可以根据四叉树二叉树三叉树(QTBTTT)结构从编译树单元(CTU)或最大编译单元(LCU)递归地分割编译单元。
例如,一个编译单元可以基于四叉树结构、二叉树结构和/或三元结构被分割为具有更深深度的多个编译单元。在这种情况下,例如,可以首先应用四叉树结构,并且稍后可以应用二叉树结构和/或三元结构。可替选地,可以在四叉树结构之前应用二叉树结构。根据此说明书的编译过程可以基于不再被分割的最终编译单元来执行。在这种情况下,基于根据图像特性的编译效率等,可以直接使用最大编译单元作为最终编译单元,或者如果有必要,可以将编译单元递归地分割为更深深度的编译单元,并且可以将具有最佳大小的编译单元作为最终的编译单元。这里,编译过程可以包括稍后描述的诸如预测、变换和重构等的过程。
作为另一示例,处理单元可以进一步包括预测单元(PU)或变换单元(TU)。在这种情况下,预测单元和变换单元可以分别从上述最终编译单元划分或分割。预测单元可以是样本预测的单元,并且变换单元可以是用于导出变换系数的单元和/或用于从变换系数导出残差信号的单元。
在一些情况下,单元可以与诸如块或区域等的术语互换使用。在一般情况下,MxN块可以表示由M列和N行组成的变换系数或样本的集合。样本通常可以表示像素或像素值,并且可以仅表示亮度分量的像素/像素值,或者仅表示色度分量的像素/像素值。样本可以被用作使一个图片(或图像)对应于像素或像元的术语。
编码设备200可以从输入的图像信号(原始块、原始样本阵列)中减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本阵列)以生成残差信号(残差信号、残差样本阵列),并且所生成的残差信号被发送到变换器232。在这种情况下,在编码设备200内从输入的图像信号(原始块、原始样本阵列)减去预测信号(预测块、预测样本阵列)的单元可以被称为减法器231。
预测器220可以对要处理的块(在下文中,称为当前块)执行预测,并且生成包括用于当前块的预测样本的预测的块。预测器220可以确定以当前块或CU为单位是否应用帧内预测或者帧间预测。预测器220可以生成关于预测的各种信息,诸如预测模式信息等,并将其发送到熵编码器240,如在每个预测模式的描述中稍后所描述的。关于预测的信息可以在熵编码器240中被编码并且以比特流的形式输出。
帧内预测器222可以通过参考当前图片内的样本来预测当前块。根据预测模式,所参考的样本可以被定位在当前块的附近或者可以被定位在远离当前块特定距离。在帧内预测中,预测模式可以包括至少一种非定向模式和多种定向模式。非定向模式可以包括DC模式或平面模式中的至少一个。根据预测方向的细节级别,定向模式可以包括33个定向模式或65个定向模式。然而,这只是示例,并且可以根据配置来使用更多或更少的定向模式。帧内预测器222可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器221可以基于由参考图片上的运动向量指定的参考块(参考样本阵列)来导出用于当前块的预测块。在这种情况下,为了减少在帧间预测模式中发送的运动信息量,可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息可以进一步包括帧间预测方向信息(L0预测、L1预测、Bi预测等)。对于帧间预测,邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以相同或不同。时间邻近块可以被称为并置参考块、并置CU(colCU)等,并且包括时间邻近块的参考图片可以被称为并置图片(colPic)。例如,帧间预测器221可以基于邻近块配置运动信息候选列表,并生成指示哪个候选被用于导出当前块的运动向量和/或参考图片索引的信息。可以基于各种预测模式来执行帧间预测,并且例如,对于跳过模式和合并模式,帧间预测器221可以使用邻近块的运动信息作为当前块的运动信息。对于跳过模式,与合并模式不同,可以不发送残差信号。对于运动向量预测(MVP)模式,邻近块的运动向量被用作运动向量预测器,并且用信号发送运动向量差以指示当前块的运动向量。
预测器220可以基于稍后描述的各种预测方法来生成预测信号。例如,预测器不仅可以应用帧内预测或帧间预测来对一个块进行预测,而且还可以同时应用帧内预测和帧间预测。它可以被称为组合的帧间和帧内预测(CIIP)模式。另外,预测器可以基于帧内块复制(IBC)预测模式或者可以基于用于针对块的预测的调色板模式。IBC预测模式或调色板模式可以被用于游戏等的内容图像/视频编译,诸如屏幕内容编译(SCC)等。IBC基本上执行当前图片内的预测,但是其可以类似于帧间预测被执行,因为它导出当前图片内的参考块。换言之,IBC可以使用本文描述的帧间预测技术中的至少一个。调色板模式可以被认为是帧内编译或帧内预测的示例。当应用调色板模式时,可以基于关于调色板表和调色板索引的信息来用信号发送图片内的样本值。通过预测器220生成的预测信号可以被用于生成重构信号或残差信号。
变换器232可以通过将变换技术应用于残差信号来生成变换系数。例如,变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、Karhunen-Loeve变换(KLT)、基于图形的变换(GBT)或条件非线性变换(CNT)中的至少一个。这里,GBT指代当像素之间的关系信息被表达为图形时从此图形获得的变换。CNT指代基于通过使用所有先前重构的像素生成预测信号而获得的变换。另外,变换过程可以被应用于相同大小的正方形像素块或者可以被应用于可变大小的非正方形块。
量化器233可以对变换系数进行量化并将它们发送到熵编码器240,并且熵编码器240可以对量化的信号(关于量化的变换系数的信息)进行编码并将其输出为比特流。关于量化的变换系数的信息可以被称为残差信息。量化器233可以基于系数扫描顺序将以块形式的量化的变换系数重新布置为一维向量形式,并且可以基于一维向量形式的量化的变换系数来生成关于量化的变换系数的信息。
熵编码器240可以执行各种编码方法,诸如指数哥伦布、上下文自适应可变长度编译(CAVLC)、上下文自适应二进制算术编译(CABAC)等。熵编码器240可以对除了一起或单独量化的变换系数之外的对于视频/视频图像重构(例如,语法元素的值等)所必要的信息进行编码。
编码的信息(例如,编码的视频/图像信息)能够以比特流形式以网络抽象层(NAL)单元为单位来发送或存储。视频/图像信息可以进一步包括关于诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)等的各种参数集的信息。另外,视频/图像信息可以进一步包括一般约束信息。这里,从编码设备发送/用信号发送给解码设备的信息和/或语法元素可以被包括在视频/图像信息中。视频/图像信息可以通过上述编码过程被编码并且被包括在比特流中。比特流可以通过网络发送或者可以存储在数字存储介质中。这里,网络可以包括广播网络和/或通信网络等,并且数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。用于发送的发送单元(未示出)和/或用于存储从熵编码器240输出的信号的存储单元(未示出)可以被配置为编码设备200的内部/外部元件,或者发送单元还可以被包括在熵编码器240中。
从量化器233输出的量化的变换系数可以被用于生成预测信号。例如,可以通过反量化器234和逆变换器235将去量化和逆变换应用于量化的变换系数来重构残差信号(残差块或残差样本)。加法器250可以将重构的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加以生成重构信号(重构图片、重构块、重构样本阵列)。当不存在要处理的块的残差时,如当应用跳过模式时,预测块可以被用作重构块。加法器250可以被称为重构器或重构块生成器。生成的重构信号可以被用于当前图片内要处理的下一个块的帧内预测,并且还可以通过稍后描述的滤波被用于下一个图片的帧间预测。同时,具有色度缩放的亮度映射(LMCS)可以在图片编码和/或重构过程中被应用。
滤波器260可以通过对重构信号应用滤波来改进主观/客观图像质量。例如,滤波器260可以通过将各种滤波方法应用于重构图片来生成修改的重构图片,并且可将经修改的重构图片存储在存储器270中,具体地存储在存储器270的DPB中。各种滤波方法可以包括去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可以生成关于滤波的各种信息并且将其发送到熵编码器240。关于滤波的信息可以在熵编码器240中被编码并且以比特流的形式输出。
发送到存储器270的经修改的重构图片可以被用作帧间预测器221中的参考图片。当通过其应用帧间预测时,编码设备可以避免编码设备200和解码设备中的预测失配,并且还可以改进编码效率。
存储器270的DPB可以存储修改的重构图片以将其用作帧间预测器221中的参考图片。存储器270可以存储从其中导出(或者编码)当前图片中的运动信息的块的运动信息和/或预重构图片中的块的运动信息。存储的运动信息可以被发送到帧间预测器221以被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片中的重构块的重构样本并将它们发送到帧内预测器222。
图3示出可以应用本公开的实施例并且执行视频/图像信号的解码的解码设备的粗略框图。
参考图3,解码设备300可以通过包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360来配置。预测器330可以包括帧间预测器332和帧内预测器331。残差处理器320可以包括反量化器321和逆变换器322。
根据实施例,上述熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可以由一个硬件组件(例如,解码器芯片组或处理器)配置。另外,存储器360可以包括解码图片缓冲器(DPB)并且可以由数字存储介质配置。硬件组件可以进一步包括存储器360作为内部/外部组件。
当输入包括视频/图像信息的比特流时,解码设备300可以响应于在图2的编码设备中处理视频/图像信息的过程来重构图像。例如,解码设备300可以基于从比特流获得的块分割的相关信息来导出单元/块。解码设备300可以通过使用在编码设备中应用的处理单元来执行解码。因此,解码的处理单元可以是编译单元,并且编译单元可以根据四叉树结构、二叉树结构和/或三叉树结构从编译树单元或最大编译单元分割。至少一个变换单元可以从编译单元导出。并且,通过解码设备300解码并输出的重构图像信号可以通过回放设备来播放。
解码设备300可以接收以比特流的形式从图2的编码设备输出的信号,并且接收到的信号可以通过熵解码器310解码。例如,熵解码器310可以解析比特流以导出对于图像重构(或图片重构)所必需的信息(例如,视频/图像信息)。视频/图像信息可以进一步包括关于诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)等的各种参数集的信息。另外,视频/图像信息可以进一步包括一般约束信息。解码设备可以进一步基于关于参数集的信息和/或一般约束信息来对图片进行解码。可以通过解码过程对用信号发送的/接收到的信息和/或本文稍后描述的语法元素进行解码并且从比特流获得。例如,熵解码器310可以基于诸如指数哥伦布编码、CAVLC、CABAC等的编译方法对比特流中的信息进行解码,并输出对于图像重构所必需的语法元素的值和关于残差的变换系数的量化值。更详细地,CABAC熵解码方法可以从比特流接收与每个语法元素相对应的bin,通过使用要解码的语法元素信息、邻近块和要解码的块的解码信息或者前一步骤中解码的符号/bin的信息来确定上下文模型,通过根据确定的上下文模型预测bin的出现概率来对bin执行算术解码,并生成与每个语法元素的值相对应的符号。在这种情况下,在确定上下文模型之后,CABAC熵解码方法可以通过使用关于用于下一个符号/bin的上下文模型的已解码的符号/bin的信息来更新上下文模型。在熵解码器310中解码的信息之中,关于预测的信息被提供给预测器(帧间预测器332和帧内预测器331),并且在熵解码器310中对其执行熵解码的残差值,即,量化的变换系数和相关参数信息可以被输入到残差处理器320。残差处理器320可以导出残差信号(残差块、残差样本、残差样本阵列)。另外,在熵解码器310中解码的信息之中的关于滤波的信息可以被提供给滤波器350。同时,接收从编码设备输出的信号的接收单元(未示出)可以进一步被配置为解码设备300的内部/外部元件或接收单元可以是熵解码器310的组件。
同时,根据此说明书的解码设备可以被称为视频/图像/图片解码设备,并且解码设备可以被划分为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器310,并且样本解码器可以包括反量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一个。
反量化器321可以对量化的变换系数进行反量化并输出变换系数。反量化器321可以将量化的变换系数重新排列成二维块形式。在这种情况下,可以基于在编码设备中执行的系数扫描顺序来执行重新排列。反量化器321可以通过使用量化参数(例如,量化步长信息)对量化的变换系数执行反量化并获得变换系数。
逆变换器322对变换系数进行逆变换以获得残差信号(残差块、残差样本阵列)。
预测器320可以对当前块执行预测并且生成包括用于当前块的预测样本的预测块。预测器320可以基于从熵解码器310输出的关于预测的信息来确定是否对当前块应用帧内预测或者帧间预测,并且确定特定的帧内/帧间预测模式。
预测器320可以基于稍后描述的各种预测方法来生成预测信号。例如,预测器320不仅可以应用帧内预测或帧间预测来对一个块进行预测,而且还可以同时应用帧内预测和帧间预测。它可以被称为组合的帧间和帧内预测(CIIP)模式。另外,预测器可以基于帧内块复制(IBC)预测模式或者可以基于用于块的预测的调色板模式。IBC预测模式或调色板模式可以被用于游戏等的内容图像/视频编译,诸如屏幕内容编译(SCC)等。IBC基本上执行当前图片内的预测,但是其可以类似于帧间预测执行,因为它导出当前图片内的参考块。换言之,IBC可以使用本文描述的帧间预测技术中的至少一个。调色板模式可以被认为是帧内编译或帧内预测的示例。当应用调色板模式时,关于调色板表和调色板索引的信息可以被包括在视频/图像信息中并且用信号发送。
帧内预测器331可以通过参考当前图片内的样本来预测当前块。根据预测模式,所参考的样本可以被定位在当前块的附近或者可以被定位在远离当前块的特定距离。在帧内预测中,预测模式可以包括至少一种非定向模式和多种定向模式。帧内预测器331可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器332可以基于由参考图片上的运动向量指定的参考块(参考样本阵列)来导出用于当前块的预测块。在这种情况下,为了减少在帧间预测模式中发送的运动信息量,可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息可以进一步包括帧间预测方向信息(L0预测、L1预测、Bi预测等)。对于帧间预测,邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。例如,帧间预测器332可以基于邻近块配置运动信息候选列表,并且基于接收到的候选选择信息来导出当前块的运动向量和/或参考图片索引。可以基于各种预测模式来执行帧间预测,并且关于预测的信息可以包括指示用于当前块的帧间预测模式的信息。
加法器340可以将获得的残差信号与从预测器(包括帧间预测器332和/或帧内预测器331)输出的预测信号(预测块、预测样本阵列)相加以生成重构信号(重构图片、重构块、重构样本阵列)。当不存在要处理的块的残差时,如当应用跳过模式时,预测块可以被用作重构块。
加法器340可以被称为重构器或重构块生成器。生成的重构信号可以被用于当前图片中要处理的下一个块的帧内预测,可以通过稍后描述的滤波来输出,或者可以被用于下一个图片的帧间预测。同时,具有色度缩放(LMCS)的亮度映射可以在图片解码过程中被应用。
滤波器350可以通过对重构信号应用滤波来改进主观/客观图像质量。例如,滤波器350可以通过将各种滤波方法应用于重构图片来生成修改的重构图片,并将修改的重构图片发送到存储器360,具体地是存储器360的DPB。各种滤波方法可以包括去块滤波、采样自适应偏移、自适应环路滤波器、双边滤波器等。
存储在存储器360的DPB中的(修改的)重构图片能够被用作帧间预测单元332中的参考图片。存储器360可以将从其当前图片中的运动信息被导出(或者被解码)的块的运动信息和/或预重构的图片中的块的运动信息。存储的运动信息可以被发送到帧间预测器260以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器360可以存储当前图片中的重构块的重构样本并将它们发送到帧内预测器331。
这里,在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的实施例也可以分别同等地或相应地应用于解码设备300的滤波器350、帧间预测器332和帧内预测器331。
图4是图示根据本公开的实施例的由解码设备300执行的帧内预测方法的流程图。
在本公开的实施例中,提出一种对色度分量块的帧内预测模式信息进行编译的方法。具体地,对于不应用跨分量线性模型(CCLM)预测的色度分量块的帧内预测,可以对现有的一个直接模式(DM)另外配置预测模式候选列表以对模式信息进行编译。在本公开中,预测模式候选列表不限于名称,并且也可以被称为帧内预测模式候选列表、模式候选列表、候选列表、帧内预测模式列表、色度帧内预测模式候选列表、色度模式候选列表、色度模式列表、色度候选列表等。
参考图4,解码设备可以基于与当前色度块相对应的亮度块的帧内预测模式来配置候选列表(S400)。下文将参考图5详细描述配置候选列表的方法。
作为实施例,当应用DM模式时,可以确定包括与当前色度块的中心位置相对应的样本的亮度块的帧内预测模式(图5中的CR)是当前色度块的帧内预测模式。
在此确定之前,解码设备可以确定(或检查)CCLM模式是否被应用于当前色度块,并且可以在CCLM模式不被应用于当前色度块时确定DM模式是否被应用于当前色度块。这将在下面参考图6进行描述。
解码设备可以基于候选列表来导出当前色度块的帧内预测模式(S410)。作为实施例,可以将指示候选列表内被用于当前色度块的帧内预测的候选(即,色度帧内预测模式)的语法元素从编码设备用信号发送到解码设备。语法元素可以是索引。
解码设备可以基于所导出的帧内预测模式来生成当前色度块的预测样本(或预测块)(S420)。也就是说,解码设备可以基于导出的帧内预测模式对当前色度块执行帧内预测。
图5是用于描述根据本公开的实施例的配置候选列表的方法的图。
根据本公开的实施例,解码设备可以使用与当前色度块相对应的亮度块的帧内预测模式来配置候选列表。作为示例,可以将包括与当前色度块相对应的亮度块之中排除中心位置处的CR块的四个位置(TL、TR、BL和BR)的样本的亮度块的帧内预测模式添加(或插入)到候选列表中。
另外,解码设备可以使用与当前色度块相邻的邻近色度块的帧内预测模式来配置候选列表。即,可以将邻近色度块的帧内预测模式添加到候选列表中。在实施例中,候选列表可以包括八个候选。在实施例中,当候选列表未被完全充满时,候选列表可以被填充有预定义的默认模式。
在实施例中,解码设备可以按以下顺序配置候选列表。作为实施例,将重点描述候选列表包括8个候选的情况,但本公开不限于此。
1. 并置亮度块的TL位置处块的帧内预测模式(即,相应的亮度块)
2. 并置亮度块的TR位置处块的帧内预测模式
3. 并置亮度块的BL位置处块的帧内预测模式
4. 并置亮度块的BR位置处块的帧内预测模式
5. 当前色度块的邻近L块的帧内预测模式
6. 当前色度块的邻近A块的帧内预测模式
7. 当前色度块的邻近BL块的帧内预测模式
8. 当前色度块的邻近AR块的帧内预测模式
9. 当前色度块的邻近AL块的帧内预测模式
10. 并置亮度块的CR位置处块的帧内预测模式的±1模式
11. 帧内预测模式的±1模式,其不是平面或DC模式,并且是在编号5至编号9的模式之中首先获取的模式之中与先前包括的候选不重叠的候选
12. 平面模式、垂直模式、水平模式、DC模式、垂直对角线(VDIA)模式(左上方向模式)66、垂直模式-4、垂直模式+4、水平模式-4、水平模式+4、以及预测模式42、58、10、26、38、62、6和30
着眼于配置候选列表的顺序,在模式1至模式4中,从并置亮度块中选择帧内预测模式。也就是说,编号1至编号4的模式示出用于选择4个DM模式的一个示例。编号1至编号4的模式中的并置亮度块的搜索位置或顺序可以被改变。作为另一个示例,可以按照BL→TR→TL→BR的顺序搜索DM模式。
另外,对于与当前色度块相邻的邻近色度块,可以选择编号5至编号9的模式。当搜索到编号9的模式之后选择(或添加)少于8个帧内预测模式时,可以迭代编号10至编号12的帧内预测模式,并且将额外的模式添加到候选列表中。作为实施例,可以改变编号1至编号4以及编号5至编号9的模式的相应位置亮度块和邻近色度块的搜索顺序。另外,编号10和编号11的模式的交替模式和编号12的模式的默认模式可以利用其他预定义的模式替换。
图6是图示根据本公开的实施例的确定色度帧内预测模式的方法的流程图。
根据本公开的实施例,可以如图6中所图示用信号发送色度块的帧内预测模式。
解码设备可以确定(或检查)CCLM模式是否被应用于当前色度块。当CCLM模式被应用于当前色度块时,可以基于CCLM模式来生成当前色度块的预测样本。
当CCLM模式不被应用于当前色度块时,解码设备可以确定DM模式是否被应用于当前色度块。当DM模式被应用于当前色度块时,可以确定包括与当前色度块的中心位置(图5中的CR)相对应的样本的亮度块的帧内预测模式是当前色度块的帧内预测模式。可以基于所确定的当前色度块的帧内预测模式来生成当前色度块的预测样本。
当DM模式不被应用于当前色度块时,解码设备可以配置候选列表以确定当前色度块的帧内预测模式。在这种情况下,可以应用先前参考图4和图5描述的方法。省略与其相关的冗余描述。在配置候选列表之后,可以用信号发送指示候选列表内的最终选择的最佳预测模式的索引信息。
在实施例中,可以通过执行具有最大bin数为7的截断一元二值化对候选列表的预测模式进行编码,如下表1中所示。
[表1]
模式0 | 0 | ||||||
模式1 | 1 | 0 | |||||
模式2 | 1 | 1 | 0 | ||||
模式3 | 1 | 1 | 1 | 0 | |||
模式4 | 1 | 1 | 1 | 1 | 0 | ||
模式5 | 1 | 1 | 1 | 1 | 1 | 0 | |
模式6 | 1 | 1 | 1 | 1 | 1 | 1 | 0 |
模式7 | 1 | 1 | 1 | 1 | 1 | 1 | 1 |
参考表1,前N(1≤N≤8)个bin可以通过上下文模型受制于上下文编码,并且其余(8-N)个bin可以受制于旁路编译。作为示例,第一个bin可以通过上下文模型受制于上下文编码,并且其余七个bin可以受制于旁路编译。
另外,作为实施例,在候选列表配置过程中可以执行重复检查。例如,当将候选添加到候选列表时,可以检查该模式是否与图5的CR位置处的亮度块的帧内预测模式(即,DM模式)重叠。另外,当将候选添加到候选列表时,可以通过利用已经添加到候选列表中的候选执行重复检查在没有重叠模式的情况下配置候选列表。
图7是用于描述根据本公开的实施例的色度帧内预测模式的图。
根据本公开的实施例,除了上面参考图5描述的候选模式之外,还可以考虑其他候选模式。具体地,色度解码器侧帧内模式导出(DIMD)模式可以被用作候选。色度DIMD模式表示在没有特定模式信息信令的情况下在编码器和解码器中相同地导出的模式。
用于导出色度DIMD模式的邻近样本可以如图7中所图示被定义。也就是说,当应用DIMD时,可以基于图7中图示的邻近样本导出当前块的帧内预测模式。作为实施例,可以应用以下方法。
可以基于属于当前块的邻近区域的至少两个样本来计算差异。这里,差异可以包括水平方向中的差异或垂直方向中的差异中的至少一个。当前块的帧内预测模式可以基于水平方向中的差异或垂直方向中的差异中的至少一个被导出。差异的量级可以基于水平方向中的差异和垂直方向中的差异之和被确定。通过这种导出方法,可以为当前块导出一个帧内预测模式,或者可以导出两个或更多个帧内预测模式。在本公开中,基于差异的导出方法可以被称为DIMD模式。可以在没有直接发送帧内预测模式信息的情况下通过在编码器和解码器中导出帧内预测模式信息来使用基于差异的导出方法。
作为实施例,当应用基于差异的导出方法时,可以从重构的邻近样本导出一个或多个帧内预测模式。在这种情况下,根据本公开的实施例,可以基于从重构的邻近样本计算出的差异来导出一个或多个预测模式。例如,可以从重构的邻近样本中导出一种或多种帧内预测模式。作为示例,可以在编码器/解码器中预定义通过基于差异的导出方法导出的帧内预测模式的最大数量。作为示例,通过基于差异的导出方法导出的帧内预测模式的最大数量可以是N。例如,N可以被定义为1、2、3、4、5、6或7。另外,当无法利用邻近像素或无法指定邻近块的定向性时,能够设置默认模式。在这种情况下,可以将默认模式设置为非定向模式。可以将默认模式设置为平面模式。可以将默认模式设置为平面模式和/或DC模式。
作为示例,通过所导出的帧内预测模式获得的预测器(可以被称为预测样本或预测块)可以与通过平面模式获得的预测器(可以被缩写为平面模式预测器)组合。例如,可以将通过所导出的帧内预测模式获得的预测器与平面模式预测器进行加权求和。在这种情况下,作为示例,可以根据本公开的实施例,基于从重构的邻近样本计算出的差异来确定加权和中使用的权重。
另外,作为示例,当通过基于差异的导出方法导出的帧内预测模式的数量为两个或更多个时,可以将通过所导出的帧内预测模式获得的预测器与平面模式预测器组合。作为示例,当通过基于差异的导出方法导出的帧内预测模式的数量为一个时,可以将通过一个所导出的帧内预测模式获得的、不与平面模式预测器组合(或加权求和)的预测器通过基于差异的导出方法作为预测样本或预测块被输出。
另外,作为示例,能够以具有预先确定的大小的窗口为单位计算差异。基于所计算出的差异,可以计算指示相应窗口内的样本的定向性的角度。所计算出的角度可以对应于上述多个预定义的帧内预测模式中的任意一个。可以为与所计算出的角度相对应的帧内预测模式存储/更新差异的量级。在本公开中,差异的量级可以被称为差异的幅度、直方图幅度、直方图大小等。通过该过程,可以为每个窗口确定与所计算出的差异相对应的帧内预测模式。可以为所确定的帧内预测模式存储/更新差异的量级。选择所存储的差异的量级之中具有最大量级的前T个帧内预测模式,并且可以将所选择的帧内预测模式设置为当前块的帧内预测模式。这里,T可以是1、2、3或更大的整数。
作为示例,当前块的邻近区域可以是当前块的左侧、左上和上部区域。例如,水平方向中的差异或垂直方向中的差异可以是从第二邻近样本的行和列中导出的。第二邻近样本的行和/或列可以表示位于与当前块紧邻的邻近样本的行和列旁边的行和/或列。作为示例,可以从水平方向中的差异和垂直方向中的差异导出差异的直方图(HoG:方向梯度直方图)。可以通过在当前块周围应用使用3个像素(或像素线)的L形行和列的窗口来导出差异或差异的直方图。在这种情况下,窗口可以被定义为具有3x3的大小。然而,作为示例,本公开不限于此,并且窗口可以被定义为具有2x2、4x4、5x5等的大小。另外,作为示例,窗口可以是索贝尔(Sobel)滤波器。
作为示例,可以选择具有最大差异量级(或幅度)的两个或更多个帧内预测模式。可以通过混合(或组合、加权求和)使用所选择的帧内预测模式预测的预测块和使用平面模式预测的预测块来生成最终预测块。在这种情况下,可以基于直方图幅度导出被应用于每个预测块的权重。
也就是说,可以使用相应亮度分量块的邻近样本和色度分量的邻近样本来导出当前色度块的帧内预测模式。
在另一个实施例中,解码设备可以按照以下顺序配置候选列表。也就是说,可以按照以下顺序配置用于导出色度块的帧内预测模式的候选列表。在这种情况下,候选列表可以由三个子列表(子候选列表)组成。
1. 第一子列表
1-1. 并置亮度块的TL位置处的块的帧内预测模式
1-2. 并置亮度块的TR位置处的块的帧内预测模式
1-3. 并置亮度块的BL位置处的块的帧内预测模式
1-4. 并置亮度块的BR位置处的块的帧内预测模式
2. 第二子列表
2-1. 当前色度块的邻近L块的帧内预测模式
2-2. 当前色度块的邻近A块的帧内预测模式
2-3. 当前色度块的邻近BL块的帧内预测模式
2-4. 当前色度块的邻近AR块的帧内预测模式
2-5. 当前色度块的邻近AL块的帧内预测模式
3. 第三子列表
3-1. 并置亮度块的CR位置处的块的帧内预测模式的±1模式
3-2. 帧内预测模式的±1模式,其不是平面或DC模式,并且是从第二子列表中首先获取的模式之中与先前包括的候选不重叠的候选
3-3. 平面模式、垂直模式、水平模式、DC模式、垂直对角线(VDIA)模式66、垂直模式-4、垂直模式+4、水平模式-4、水平模式+4以及预测模式42、58、10、26、38、62、6和30
着眼于配置候选列表的顺序,第一子列表从并置亮度块中选择屏幕内预测模式。第一子列表可以被称为DM子列表。也就是说,第一子列表示出用于选择四种DM模式的一个示例。第一子列表中并置亮度块的搜索位置或顺序可以被改变。作为另一个示例,可以按照BL→TR→TL→BR的顺序搜索DM模式。
另外,可以从与当前色度块相邻的邻近色度块中选择第二子列表。第二子列表可以被称为邻近子列表。当搜索第二子列表之后选择(或添加)少于8个帧内预测模式时,可以迭代第三子列表的帧内预测模式,并将额外的帧内预测模式添加到候选列表中。第三子列表可以被称为替代子列表。可以改变第一子列表和第二子列表的并置亮度块和邻近色度块的搜索顺序。另外,第三子列表的替代模式可以用另一种模式替换。
在此实施例中,在配置候选列表时,可以额外考虑从上述色度DIMD导出的预测模式。色度DIMD模式可以考虑以被首先添加到候选列表中,可以被考虑以在每个子列表之间添加,或可以被考虑以在迭代所有子列表后添加。作为实施例,可以按照以下顺序将色度DIMD模式添加到候选列表中。
1. 第一子列表
2. 色度DIMD预测模式
3. 第二子列表
4. 第三子列表
即使当配置包括上述色度DIMD模式的候选列表时,也能够以相同的方式应用先前参考图6和表1描述的实施例。省略与其相关的冗余描述。
图8图示根据本公开的执行帧内预测方法的帧内预测器331的示意性配置。
参考图8,帧内预测器331可以包括候选列表配置器800、帧内预测模式导出器810和预测样本生成器820。
参考图8,候选列表配置器800可以基于与当前色度块相对应的亮度块的帧内预测模式来配置候选列表。能够以相同的方式应用先前参考图5至图7描述的方法。省略与其相关的冗余描述。
如上所述,当应用DM模式时,可以确定包括与当前色度块的中心位置(图5中的CR)相对应的样本的亮度块的帧内预测模式是当前色度块的帧内预测模式。
在此之前,候选列表配置器800可以确定(或检查)CCLM模式是否被应用于当前色度块,并且当不应用CCLM模式时确定DM模式是否被应用于当前色度块。能够以相同的方式应用先前参考图6描述的方法。省略与其相关的冗余描述。
帧内预测模式导出器810可以基于候选列表来导出当前色度块的帧内预测模式。作为实施例,可以将指示候选列表内被用于当前色度块的帧内预测的候选(即,色度帧内预测模式)的语法元素从编码设备用信号发送到解码设备。语法元素可以是索引。
预测样本生成器820可以基于所导出的帧内预测模式来生成当前色度块的预测样本(或预测块)。也就是说,预测样本生成器820可以基于所导出的帧内预测模式对当前色度块执行帧内预测。
图9图示根据本公开的实施例的由编码设备200执行的帧间预测方法。
在本公开的实施例中,将描述用于由编码设备执行的色度分量的预测方法。能够以基本相同的方式应用先前参考图4至8描述的实施例,并且这里省略冗余描述。
参考图8,编码设备可以基于与当前色度块相对应的亮度块的帧内预测模式来配置候选列表。能够以相同的方式应用先前参考图5至图7描述的方法。省略与其相关的冗余描述。
如上所述,当应用DM模式时,可以确定包括与当前色度块的中心位置(图5中的CR)相对应的样本的亮度块的帧内预测模式是当前色度块的帧内预测模式。
在此之前,编码设备可以确定(或检查)CCLM模式是否被应用于当前色度块,并且可以在不应用CCLM模式时确定DM模式是否被应用于当前色度块。能够以相同的方式应用先前参考图6描述的方法。省略与其相关的冗余描述。
编码设备可以基于候选列表来导出当前色度块的帧内预测模式。作为实施例,可以将指示候选列表内被用于当前色度块的帧内预测的候选(即,色度帧内预测模式)的语法元素从编码设备用信号发送到解码设备。语法元素可以是索引。
编码设备可以基于所导出的帧内预测模式来生成当前色度块的预测样本(或预测块)。也就是说,编码设备可以基于所导出的帧内预测模式对当前色度块执行帧内预测。
图10图示根据本公开的执行帧间预测方法的帧内预测器222的示意性配置。
参考图10,帧内预测器222可以包括候选列表配置器1000、帧内预测模式确定器1010和预测样本生成器1020。
参考图10,候选列表配置器1000可以基于与当前色度块相对应的亮度块的帧内预测模式来配置候选列表。能够以相同的方式应用先前参考图5至图7描述的方法。省略与其相关的冗余描述。
如上所述,当应用DM模式时,可以确定包括与当前色度块的中心位置(图5中的CR)相对应的样本的亮度块的帧内预测模式是当前色度块的帧内预测模式。
在此之前,候选列表配置器1000可以确定(或检查)CCLM模式是否被应用于当前色度块,并且当不应用CCLM模式时,可以确定DM模式是否被应用于当前色度块。能够以相同的方式应用先前参考图6描述的方法。省略与其相关的冗余描述。
帧内预测模式确定器1010可以基于候选列表来导出当前色度块的帧内预测模式。作为实施例,可以将指示候选列表内被用于当前色度块的帧内预测的候选(即,色度帧内预测模式)的语法元素从编码设备用信号发送到解码设备。语法元素可以是索引。
预测样本生成器1020可以基于所导出的帧内预测模式来生成当前色度块的预测样本(或预测块)。也就是说,预测样本生成器1020可以基于所导出的帧内预测模式对当前色度块执行帧内预测。
在上述实施例中,基于流程图将方法描述为一系列步骤或框,但是相应的实施例不限于步骤的顺序,并且一些步骤可以同时发生或者以与如上所述的其他步骤不同的顺序发生。另外,本领域的技术人员可以理解,流程图所示的步骤并不是排他性的,并且在不影响本公开的实施例的范围的情况下可以包括其他步骤或者可以删除流程图中的一个或多个步骤。
根据本公开的实施例的上述方法能够以软件的形式实现,并且根据本公开的编码设备和/或解码设备可以被包括在执行图像处理的设备中,诸如TV、电脑、智能手机、机顶盒、显示设备等。
在本公开中,当实施例被实现为软件时,上述方法可以被实现为执行上述功能的模块(进程、功能等)。模块可以存储在存储器中并且可以由处理器执行。存储器可以位于处理器内部或外部,并且可以通过各种众所周知的手段连接到处理器。处理器可以包括专用集成电路(ASIC)、另一芯片组、逻辑电路和/或数据处理设备。存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、存储器卡、存储介质和/或其他存储设备。换句话说,本文描述的实施例可以通过在处理器、微处理器、控制器或芯片上实现来执行。例如,每个附图中所示的功能单元可以通过在计算机、处理器、微处理器、控制器或芯片上实现来执行。在这种情况下,用于实现的信息(例如,关于指令的信息)或算法可以被存储在数字存储介质中。
另外,应用本公开的实施例的解码设备和编码设备可以被包括在多媒体广播发送和接收设备、移动通信终端、家庭影院视频设备、数字影院视频设备、监控摄像头、视频会话设备、如视频通信的实时通信设备、移动流传输设备、存储介质、摄像机、用于提供视频点播(VoD)服务的设备、顶置视频(OTT)设备、用于提供互联网流传输服务的设备、三维(3D)视频设备、虚拟现实(VR)设备、增强现实(AR)设备、可视电话视频设备、运输工具终端(例如,车辆(包括自动驾驶车辆)终端、飞机终端、轮船终端等)和医疗视频设备等,可以被用于处理视频信号或数据信号。例如,顶置视频(OTT)设备可以包括游戏控制台、蓝光播放器、联网的TV、家庭影院系统、智能手机、平板电脑、数字录像机(DVR)等等。
另外,应用本公开的实施例的处理方法能够以由计算机执行的程序的形式产生,并且可以被存储在计算机可读记录介质中。具有根据本公开的实施例的数据结构的多媒体数据也可以存储在计算机可读记录介质中。计算机可读记录介质包括存储计算机可读数据的所有类型的存储设备和分布式存储设备。计算机可读记录介质可以包括例如蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘以及光学媒体存储设备。另外,计算机可读记录介质包括以载波形式实现的介质(例如,经由互联网传输)。另外,通过编码方法生成的比特流可以被存储在计算机可读记录介质中或者可以通过有线或无线通信网络来发送。
另外,本公开的实施例可以通过程序代码由计算机程序产品来实现,并且该程序代码可以由本公开的实施例在计算机上执行。该程序代码可以存储在计算机可读载体上。
图11是可以应用本公开的实施例的内容流传输系统的示例。
参考图11,应用本公开的实施例的内容流传输系统可以主要包括编码服务器、流传输服务器、web服务器、媒体存储、用户设备和多媒体输入设备。
编码服务器通过将从诸如智能手机、相机、摄像机等的多媒体输入设备输入的内容压缩成数字数据来生成比特流,并将其发送到流传输服务器。作为另一示例,当诸如智能手机、相机、摄像机等的多媒体输入设备直接生成比特流时,可以省略编码服务器。
可以通过应用本公开的实施例的编码方法或比特流生成方法来生成比特流,并且流传输服务器可以在发送或接收比特流的过程中临时存储比特流。
流传输服务器基于用户的请求通过web服务器将多媒体数据发送到用户设备,并且web服务器用作通知用户什么服务可用的媒介。当用户向web服务器请求所需的服务时,web服务器将其递送到流传输服务器,并且流传输服务器将多媒体数据发送给用户。在这种情况下,内容流传输系统可以包括单独的控制服务器,并且在这种情况下,控制服务器控制内容流传输系统中的每个设备之间的命令/响应。
流传输服务器可以从媒体存储和/或编码服务器接收内容。例如,当从编码服务器接收内容时,可以实时接收内容。在这种情况下,为了提供平滑的流媒体服务,流传输服务器可以在某个时间段内存储比特流。
用户设备的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航、平板PC、平板电脑、超级本、可穿戴设备(例如,智能手表、智能眼镜、头戴式显示器(HMD)、数字电视、台式机、数字标牌等)。
内容流传输系统中的每个服务器可以被操作为分布式服务器,并且在这种情况下,从每个服务器接收到的数据可以被分发和处理。
本文阐述的权利要求能够以各种方式组合。例如,本公开的方法权利要求的技术特征可以组合并实现为设备,并且本公开的设备权利要求的技术特性可以被组合并实现为方法。另外,本公开的方法权利要求的技术特性和设备权利要求的技术特性可以组合并实现为设备,并且本公开的方法权利要求的技术特性和设备权利要求的技术特性可以被组合并实现为方法。
Claims (10)
1.一种图像解码方法,包括:
基于与当前色度块相对应的亮度块的帧内预测模式,配置所述当前色度块的候选列表;
基于所述候选列表来导出所述当前色度块的帧内预测模式;以及
基于导出的帧内预测模式来生成所述当前色度块的预测样本。
2.根据权利要求1所述的图像解码方法,进一步包括:确定跨分量线性模型(CCLM)模式是否被应用于所述当前色度块。
3.根据权利要求2所述的图像解码方法,进一步包括:当确定所述CCLM模式未被应用于所述当前色度块时,确定直接模式(DM)是否被应用于所述当前色度块。
4.根据权利要求3所述的图像解码方法,其中,当确定所述DM模式未被应用于所述当前色度块时,执行所述候选列表的配置。
5.根据权利要求1所述的图像解码方法,其中,所述候选列表包括第一亮度块、第二亮度块、第三亮度块、或者第四亮度块中的至少一个的帧内预测模式,所述第一亮度块包括在与所述当前色度块相对应的亮度块内的左上位置处的样本,所述第二亮度块包括在其中的右上位置处的样本,所述第三亮度块包括在其中的左下位置处的样本,所述第四亮度块包括在其中的右下位置处的样本。
6.根据权利要求5所述的图像解码方法,其中,所述候选列表包括第一色度块、第二色度块、第三色度块、第四色度块、或者第五色度块中的至少一个的帧内预测模式,所述第一色度块与所述当前色度块的左上侧相邻,所述第二色度块与其上侧相邻,所述第三色度块与其右上侧相邻,所述第四色度块与其左侧相邻,所述第五色度块与其左下侧相邻。
7.根据权利要求1所述的图像解码方法,其中,所述候选列表包括解码器侧帧内模式导出(DIMD)模式。
8.一种图像编码方法,包括:
基于与当前色度块相对应的亮度块的帧内预测模式来配置所述当前色度块的候选列表;
基于所述候选列表来确定所述当前色度块的帧内预测模式;以及
基于确定的帧内预测模式来生成所述当前色度块的预测样本。
9.一种计算机可读存储介质,所述计算机可读存储介质存储通过根据权利要求8所述的图像编码方法生成的比特流。
10.一种发送图像信息的数据的方法,包括:
基于与当前色度块相对应的亮度块的帧内预测模式来配置所述当前色度块的候选列表;
基于所述候选列表来确定所述当前色度块的帧内预测模式;
基于确定的帧内预测模式来生成所述当前色度块的预测样本;
基于所述预测样本,通过对所述当前色度块进行编码,生成比特流;以及
发送包括所述比特流的数据。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202263358517P | 2022-07-05 | 2022-07-05 | |
US63/358,517 | 2022-07-05 | ||
PCT/KR2023/009486 WO2024010356A1 (ko) | 2022-07-05 | 2023-07-05 | 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN119586140A true CN119586140A (zh) | 2025-03-07 |
Family
ID=89453732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202380057885.6A Pending CN119586140A (zh) | 2022-07-05 | 2023-07-05 | 图像编码/解码方法和设备以及其中存储有比特流的记录介质 |
Country Status (3)
Country | Link |
---|---|
KR (1) | KR20250029869A (zh) |
CN (1) | CN119586140A (zh) |
WO (1) | WO2024010356A1 (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107257466B (zh) * | 2011-06-17 | 2020-06-26 | 寰发股份有限公司 | 内部预测模式编码的方法及装置 |
US11025903B2 (en) * | 2017-01-13 | 2021-06-01 | Qualcomm Incorporated | Coding video data using derived chroma mode |
WO2020116848A1 (ko) * | 2018-12-05 | 2020-06-11 | 엘지전자 주식회사 | 크로마 인트라 예측 모드를 도출하기 위한 영상 예측 방법 및 장치 |
WO2020251330A1 (ko) * | 2019-06-13 | 2020-12-17 | 엘지전자 주식회사 | 단순화된 mpm 리스트 생성 방법을 활용하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법 |
MX2022001902A (es) * | 2019-08-14 | 2022-04-18 | Lg Electronics Inc | Método y aparato de codificación/decodificación de imagen para determinar el modo de predicción del bloque de croma por referencia a la posición de la muestra de luma, y método para transmitir flujo de bits. |
-
2023
- 2023-07-05 KR KR1020257000419A patent/KR20250029869A/ko active Pending
- 2023-07-05 CN CN202380057885.6A patent/CN119586140A/zh active Pending
- 2023-07-05 WO PCT/KR2023/009486 patent/WO2024010356A1/ko active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2024010356A1 (ko) | 2024-01-11 |
KR20250029869A (ko) | 2025-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12250371B2 (en) | Intra prediction method and apparatus in image coding system | |
CN112956201B (zh) | 使用句法来执行编码的句法设计方法和设备 | |
CN111615830A (zh) | 基于选择性变换的图像编码方法和用于该方法的装置 | |
CN113508587A (zh) | 在视频编译系统中使用残差信息的视频解码方法及其设备 | |
CN119545023A (zh) | 视频/图像编译系统中合并数据语法的信令方法和装置 | |
CN113273192A (zh) | 使用mpm列表的基于帧内预测的视频编码方法及装置 | |
CN119383358A (zh) | 基于mpm列表的帧内预测方法及其设备 | |
CN116668680A (zh) | 图像编解码方法及其设备、发送方法及其设备和存储介质 | |
CN119094754A (zh) | 基于帧内块编译的视频或图像编译 | |
CN113812156A (zh) | 在视频编译系统中使用简化的残差数据编译解码视频的方法及其设备 | |
CN119384829A (zh) | 图像编码/解码方法和设备及其上存储比特流的记录介质 | |
CN118679737A (zh) | 图像编码/解码方法和设备以及在其上存储比特流的记录介质 | |
CN113597770B (zh) | 基于变换的图像编译方法及其装置 | |
CN113273210A (zh) | 用于编译关于合并数据的信息的方法和装置 | |
CN112840649A (zh) | 图像编码系统中通过使用块分割对图像解码的方法及其装置 | |
CN119586140A (zh) | 图像编码/解码方法和设备以及其中存储有比特流的记录介质 | |
EP4459988A1 (en) | Image encoding/decoding method and device, and recording medium on which bitstream is stored | |
EP4478708A1 (en) | Image encoding/decoding method and apparatus, and recording medium having bitstream stored therein | |
CN119732043A (zh) | 图像编码/解码方法和设备以及其中存储有比特流的记录介质 | |
CN119054282A (zh) | 图像编码/解码方法和设备以及其中存储有比特流的记录介质 | |
CN119744534A (zh) | 图像编码/解码方法和设备以及存储有比特流的记录介质 | |
CN119452646A (zh) | 图像编码/解码方法和装置以及存储比特流的记录介质 | |
KR20250039998A (ko) | 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체 | |
CN119487836A (zh) | 图像编码/解码方法和设备以及存储有比特流的记录介质 | |
CN118056403A (zh) | 图像编码/解码方法和装置以及存储比特流的记录介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |