CN113170115A

CN113170115A - 处理视频数据的方法和设备

Info

Publication number: CN113170115A
Application number: CN201980075336.5A
Authority: CN
Inventors: 张炯文
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2018-11-14
Filing date: 2019-11-14
Publication date: 2021-07-23
Also published as: US20220014751A1; WO2020101385A1

Abstract

本说明书的实施例提供了一种用于处理视频数据的方法和设备。根据本说明书的实施例的用于处理视频数据的方法，可以包括：确定是否应用通过比特流发送视频数据的当前块的样本值的脉冲编码调制(PCM)模式的步骤；基于不应用PCM模式，从比特流解析与用于当前块的帧内预测的参考线有关的索引的步骤；以及基于与索引有关的参考线中包括的参考样本来生成当前块的预测样本的步骤。

Description

处理视频数据的方法和设备

技术领域

本公开涉及一种用于处理视频数据的方法和设备，并且更具体地，涉及一种用于通过使用帧内预测来对视频数据进行编码或解码的方法和设备。

背景技术

压缩编码是指用于通过通信线路传输数字化信息的一系列信号处理技术，或用于以适合于存储介质的形式存储信息的技术。包括视频、图像、音频等的媒体可以是压缩编码的目标，并且特别地，执行针对视频的压缩编码的技术被称为视频图像压缩。

下一代视频内容应该具有高空间分辨率、高帧速率和场景表示的高维度的特征。为了处理这样的内容，将导致存储器存储、存储器访问速率和处理能力的急剧增加。

因此，需要设计一种编译工具以有效地处理下一代视频内容。特别是，在高效视频编码(HEVC)标准之后的视频编解码器标准需要更有效的预测技术。

发明内容

技术问题

本公开的实施例提供一种视频数据处理方法和设备，该视频数据处理方法和设备提供更有效地使用数据资源的帧内预测。

本公开的目的不限于前述内容，并且根据以下描述，其他未提及的目的对于本领域的普通技术人员将是显而易见的。

技术方案

根据本公开的实施例，一种用于处理视频数据的方法可以包括：确定是否应用脉冲编码调制(PCM)模式，其中经由比特流发送视频数据的当前块的样本值；基于不应用PCM模式，从比特流解析与用于当前块的帧内预测的参考线有关的索引；以及基于与索引有关的参考线中包括的参考样本，生成当前块的预测样本。

根据实施例，索引可以指示位于距当前块预定距离之内的多个参考线之一。

根据实施例，多个参考线可以包括位于当前块的上边界上的多个上参考线或位于当前块的左边界的左侧上的多个参考线。

根据实施例，多个参考线可以被包括在与当前块相同的编译树单元中。

根据实施例，确定是否应用PCM模式可以包括：识别指示是否应用PCM模式的标志。

根据实施例，当不应用PCM模式时，可以将索引从编码设备发送到解码设备。

根据实施例，当前块可以对应于编译单元或预测单元。

根据本公开的另一实施例，一种用于处理视频数据的设备包括：存储视频数据的存储器；以及与存储器耦合的处理器，其中处理器可以被配置为：确定是否应用脉冲编码调制(PCM)模式，其中经由比特流发送视频数据的当前块的样本值；基于不应用PCM模式，从比特流解析与用于当前块的帧内预测的参考线有关的索引；以及基于与索引有关的参考线中包括的参考样本，生成当前块的预测样本。

根据本公开的另一实施例，提供一种非暂时性计算机可读介质，其存储计算机可执行组件，该计算机可执行组件被配置为由计算设备的一个或多个处理器执行，该计算机可执行组件被配置为：确定是否应用脉冲编码调制(PCM)模式，其中经由比特流发送视频数据的当前块的样本值；基于不应用PCM模式，从比特流解析与用于当前块的帧内预测的参考线有关的索引；以及基于与索引有关的参考线中包括的参考样本，生成当前块的预测样本。

有益效果

根据本公开的实施例，可以提供一种帧内预测方法，该帧内预测方法在帧内预测过程中，通过去除多线参考(MRL)帧内预测的语法和脉冲编码调制(PCM)模式的语法之间的冗余来有效地使用数据资源。

本公开的效果不限于前述，并且根据以下描述，其他未提及的效果对于本领域的普通技术人员将是显而易见的。

附图说明

包括为详细描述的一部分以帮助理解本公开的附图提供了本公开的实施例，并且与详细描述一起描述了本公开的技术特征。

图1图示根据本公开的实施例的视频编译系统的示例。

图2是应用本公开的实施例，并且是用于对视频/图像信号进行编码的编码装置的示意性框图。

图3是应用本公开的实施例，并且是用于对视频/图像信号进行解码的解码装置的示意性框图。

图4示出了根据本公开的实施例的内容流传输系统的结构图的示例。

图5图示根据本公开的实施例的多类型树分割模式的示例。

图6和图7图示根据本公开的实施例的基于帧内预测的编码方法以及根据本公开的实施例的编码设备中的示例性帧内预测单元。

图8和图9图示根据本公开的实施例的基于帧内预测的视频/图像解码方法以及根据本公开的实施例的解码设备中的示例性帧内预测单元。

图10和图11图示了可以应用于本公开的实施例的帧内预测模式的示例性预测方向。

图12图示了根据本公开实施例的用于应用多参考线预测的示例性参考线。

图13是图示根据本公开的实施例的处理视频数据的示例的流程图。

图14是图示根据本公开的实施例的对视频数据进行编码的示例的流程图。

图15是图示根据本公开的实施例的对视频数据进行解码的示例的流程图。

图16是图示根据本发明的实施例的用于处理视频数据的示例性设备的框图。

具体实施方式

在下文中，将参考附图描述本公开的优选实施例。下文将结合附图进行的描述是为了描述本公开的示例性实施例，而不旨在描述可以实现本公开的唯一实施例。以下描述包括特定细节，以便提供本公开的优选理解。然而，应当理解到，对于本领域技术人员而言，可以在没有特定细节的情况下实现本公开。在一些情况下，为了防止不清楚本公开的技术概念，可以省略公知的结构或设备，或者可以将其描绘为以结构或设备的核心功能为中心的框图。

在一些情况下，为了防止不清楚本公开的技术概念，可以省略公知的结构或设备，或者可以将其描绘为以结构或设备的核心功能为中心的框图。

此外，尽管在本公开中尽可能选择当前广泛使用的通用术语作为术语，但是在特定情况下使用由申请人任意选择的术语。由于在这种情况下，术语的含义将在说明书的相应部分中清楚地描述，因此应理解到，本公开内容将不会仅由在本说明书中使用的术语来简单地解释，而是应当理解术语的含义。

可以提供在以下描述中使用的特定术语以帮助理解本公开。此外，在本公开的技术概念的范围内，可以将特定术语修改为其他形式。例如，可以在每个编译过程中适当地替换和解释信号、数据、样本、图片、切片、图块、帧、块等。

在下文中，在本说明书中，“处理单元”是指执行诸如预测、变换和/或量化的编码/解码处理过程的单元。处理单元可以被解释为具有包括用于亮度分量的单元和用于色度分量的单元的含义。例如、处理单元可以对应于编译树单元(CTU)、编译单元(CU)、预测单元(PU)或变换单元(TU)。

此外，处理单元可以被解释为用于亮度分量的单元或用于色度分量的单元。例如，处理单元可以对应于亮度分量的编译树块(CTB)、编译块(CB)、预测块(PB)或变换块(TB)。可替选地，处理单元可以对应于用于色度分量的编译树块(CTB)、编译块(CB)、预测块(PB)或变换块(TB)。此外，本公开不限于此，并且处理单元可以被解释为包括用于亮度分量的单元和用于色度分量的单元的含义。

此外，处理单元本质上不限于方形块，并且可以以具有三个或更多个顶点的多边形形式构造。

此外，在下文中，在本说明书中，将像素、图片元素、系数(变换系数或一阶变换之后的变换系数)等通称为样本。此外，使用样本可以是指使用像素值、图片元素值、变换系数等。

图1图示根据本公开的实施例的视频编译系统的示例。

视频编译系统可以包括源设备10和接收设备20。源设备10可以通过存储介质或网络以文件或流媒体格式将编码的视频/图像信息或数据发送到接收设备20。

源设备10可以包括视频源11、编码装置12和发送器13。接收设备20可以包括接收器21、解码装置22和渲染器23。源设备可以被称为视频/图像编码装置，而接收设备可以被称为视频/图像解码装置。发送器13可以被包括在编码装置12中。接收器21可以被包括在解码装置22中。渲染器可以包括显示器，并且该显示器可以被配置为单独的设备或外部组件。

视频源11可以通过视频/图像的捕获、合成或生成过程来获取视频/图像数据。视频源可以包括视频/图像捕获设备和/或视频/图像生成设备。视频/图像捕获设备可以包括例如一个或多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成设备可以包括例如计算机、平板计算机和智能电话，并且可以电子地生成视频/图像数据。例如，可以通过计算机等来生成虚拟视频/图像数据，并且在这种情况下，视频/图像捕获过程可以由生成相关数据的过程代替。

编码装置12可以对输入视频/图像进行编码。编码装置12可以执行一系列过程，诸如用于压缩和编译效率的预测、变换和量化。编码数据(编码视频/视频信息)可以以比特流的形式输出。

发送器13可以以文件或流媒体格式，通过数字存储介质或网络将以比特流形式输出的编码的视频/视频信息或数据发送到接收设备的接收器。数字存储介质可以包括各种存储介质，诸如通用串行总线(USB)、安全数字(SD)、光盘(CD)、数字视频盘(DVD)、蓝光、硬盘驱动器(HDD)以及固态硬盘(SSD)。发送器13可以包括用于通过预定文件格式生成媒体文件的元件，并且可以包括用于通过广播/通信网络进行传输的元件。接收器21可以提取比特流并将其发送到解码装置22。

解码装置22可以通过执行与编码装置12的操作相对应的一系列过程(诸如，去量化、逆变换和预测)来解码视频/图像数据。

渲染器23可以渲染解码的视频/图像。渲染的视频/图像可以通过显示器显示。

图2是应用本公开的实施例，并且是用于对视频/图像信号进行编码的编码装置的示意性框图。图2的编码设备可以对应于编码装置12。

参考图2，编码装置100可以被配置为包括图像划分器110、减法器115、变换器120、量化器130、去量化器140、逆变换器150、加法器155、滤波器160、存储器170、帧间预测器180、帧内预测器185和熵编码器190。帧间预测器180和帧内预测器185可以通称为预测器。换句话说，预测器可以包括帧间预测器180和帧内预测器185。变换器120、量化器130、去量化器140和逆变换器150可以被包括在残差处理器中。残差处理器可进一步包括减法器115。在一个实施例中，图像划分器110、减法器115、变换器120、量化器130、去量化器140、逆变换器150、加法器155、滤波器160、帧间预测器180、帧内预测器185和熵编码器190可以被配置为一个硬件组件(例如，编码器或处理器)。此外，在实施例中，存储器170可以配置有硬件组件(例如，存储器或数字存储介质)。并且，存储器170可以包括解码图片缓冲器(DPB)。

图像划分器110可以将输入到编码装置100的输入图像(或图片或帧)划分为一个或多个处理单元。例如，处理单元可以被称为编译单元(CU)。在这种情况下，可以基于四叉树二叉树(QTBT)结构，从编译树单元(CTU)或最大编译单元(LCU)递归地分割编译单元。例如，基于四叉树结构和/或二叉树结构，一个编译单元可以被分割为深度更深的多个编译单元。在这种情况下，例如，可以首先应用四叉树结构，然后可以应用二叉树结构。可替选地，可以首先应用二叉树结构。可以基于不再被分割的最终编译单元来执行根据本公开的编译过程。在这种情况下，根据图像特性，基于编译效率，可以将最大编译单元直接用作最终编译单元，或者如果需要，可以将编译单元递归地分割为更深的编译单元。因此，可以将具有最佳大小的编译单元用作最终编译单元。在这种情况下，编译过程可以包括诸如稍后所述的预测、变换或重构的过程。对于另一示例，处理单元可以进一步包括预测单元(PU)或变换单元(TU)。在这种情况下，可以从每个最终编译单元对预测单元和变换单元中的每一个进行划分或分区。预测单元可以是用于样本预测的单元，而变换单元可以是从中导出变换系数的单元和/或由变换系数导出残差信号的单元。

根据情况，单元可以与块或区域互换地使用。在通常情况下，M×N块可以指示配置有M列和N行的一组样本或一组变换系数。通常，样本可以指示像素或像素的值，并且可以仅指示亮度分量的像素/像素值或仅指示色度分量的像素/像素值。在样本中，一张图片(或图像)可以被用作与像素或pel相对应的术语。

编码装置100可以通过从输入图像信号(原始块或原始样本阵列)减去由帧间预测器180或帧内预测器185输出的预测信号(预测块或预测样本阵列)来生成残差信号(残差块或残差样本阵列)。所产生的残差信号被发送到变换器120。在这种情况下，如所示，在编码装置100内从输入图像信号(原始块或原始样本阵列)中减去预测信号(预测块或预测样本阵列)的单元可以被称为减法器115。预测器可以对处理目标块(在下文中称为当前块)执行预测，并且可以生成包括用于当前块的预测样本的预测块。预测器可以确定在当前块或CU单元中是应用帧内预测还是应用帧间预测。预测器可以生成关于预测的各种信息，诸如稍后将在每个预测模式的描述中描述的预测模式信息，并且可以将该信息发送到熵编码器190。关于预测的信息可以在熵编码器190中被编码，并且可以以比特流形式输出。

帧内预测器185可以参考当前图片内的样本来预测当前块。参考的样本可以取决于预测模式被定位成与当前块相邻或者可以与当前块间隔开。在帧内预测中，预测模式可以包括多个非角度模式和多个角度模式。非角度模式可以包括例如DC模式和平面模式。例如，取决于预测方向的精细程度，角度模式可以包括33个角度预测模式或65个角度预测模式。在这种情况下，例如，取决于配置，可以使用大于或小于33个角度预测模式或65个角度预测模式的角度预测模式。帧内预测器185可以使用应用于相邻块的预测模式来确定应用于当前块的预测模式。

帧间预测器180可以基于在参考图片上由运动矢量所指定的参考块(参考样本阵列)来导出用于当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息的量，可以基于相邻块与当前块之间的运动信息的相关性，将运动信息预测为块、子块或样本单元。运动信息可以包括运动矢量和参考图片索引。运动信息可以进一步包括帧间预测方向(L0预测、L1预测、Bi预测)信息。在帧间预测的情况下，相邻块可以包括当前图片内的空间相邻块和参考图片内的时间相邻块。包括参考块的参考图片和包括时间相邻块的参考图片可以相同或不同。时间相邻块可以被称为所谓同位参考块或同位CU(colCU)的名称。包括时间相邻块的参考图片可以被称为同位图片(colPic)。例如，帧间预测器180可以基于相邻块来构造运动信息候选列表，并且可以生成指示哪个候选用于导出当前块的运动矢量和/或参考图片索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器180可以将相邻块的运动信息用作当前块的运动信息。在跳过模式的情况下，与合并模式不同，可能不发送残差信号。在运动矢量预测(MVP)模式的情况下，可以将相邻块的运动矢量用作运动矢量预测器。当前块的运动矢量可以通过发信号告知运动矢量差来指示。

通过帧间预测器180或帧内预测器185生成的预测信号可以被用来生成重构信号或残差信号。

变换器120可以通过将变换方案应用于残差信号来生成变换系数。例如，变换方案可以包括离散余弦变换(DCT)、离散正弦变换(DST)、Karhunen-Loève变换(KLT)、基于图的变换(GBT)或有条件的非线性变换(CNT)中的至少一种。在这种情况下，如果将像素之间的关系信息表示为图形，则GBT是指从图形获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号而获得的变换。此外，可以将变换处理应用于具有相同大小的方形的像素块，或者可以应用于具有可变大小而不是方形的块。

量化器130可以量化变换系数并将其发送到熵编码器190。熵编码器190可以编码量化信号(关于量化变换系数的信息)并且以比特流形式输出。关于量化变换系数的信息可以被称为残差信息。量化器130可以基于系数扫描序列，以一维矢量形式重新排列块形式的量化变换系数，并且可以基于一维矢量形式的量化变换系数来生成关于量化变换系数的信息。熵编码器190可以执行各种编码方法，诸如指数Golomb、上下文自适应可变长度编译(CAVLC)和上下文自适应二进制算术编码(CABAC)。除了量化变换系数之外，熵编码器190还可以一起或单独地对视频/图像重构所必需的信息(例如，语法元素的值)进行编码。编码信息(例如，编码视频/图像信息)可以以比特流的形式，以网络抽象层(NAL)单元为单位进行传输或存储。比特流可以通过网络传输，或者可以被存储在数字存储介质中。在这种情况下，网络可以包括广播网络和/或通信网络。数字存储介质可以包括各种存储介质，诸如USB、SD、CD、DVD、蓝光、HDD和SSD。可以将传输由熵编码器190输出的信号的发送器(未示出)和/或用于存储信号的存储器(未示出)配置为编码装置100的内部/外部元件，或者该发送器可以是编码器100的元件。

由量化器130输出的量化变换系数可以用于生成预测信号。例如，可以通过环路内的去量化器140和逆变换器150，对量化变换系数应用去量化和逆变换来重构残差信号。加法器155可以将重构的残差信号与帧间预测器180或帧内预测器185输出的预测信号相加，从而可以生成重构信号(重构图像、重构块或重构样本阵列)。如果处理目标块没有残差，如在已经应用跳过模式的情况那样，则可以将预测块用作重构块。加法器155可以被称为重构器或重构块生成器。所生成的重构信号可以被用于当前图片内的下一处理目标块的帧内预测，并且可以通过滤波被用于下一图片的帧间预测，如稍后所述。

滤波器160可以通过将滤波应用于重构信号来提高主观/客观图片质量。例如，滤波器160可以通过将各种滤波方法应用于重构图片来生成修改的重构图片。修改的重构图片可以被存储在DPB 170中。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环路滤波器和双边滤波器。滤波器160可以生成用于滤波的各种信息，如稍后在每种滤波方法的描述中所述，并且可以将它们发送到熵编码器190。滤波信息可以由熵编码器190编码并且以比特流的形式输出。

发送到DPB 170的修改的重构图片可以被用作帧间预测器180中的参考图片。编码设备可以避免编码装置100和解码设备中的预测失配，并且如果应用帧间预测，则可以提高编码效率。

DPB 170可以存储修改的重构图片，以便在帧间预测器180中将修改的重构图片用作参考图片。

图3是应用本公开的实施例，并且是用于对视频/图像信号进行解码的解码设备的示意性框图。图3的解码设备可以对应于图1的解码装置。

参考图3，解码装置200可以被配置为包括熵解码器210、去量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测器260和帧内预测器265。帧间预测器260和帧内预测器265可以被统称为预测器。即，预测器可以包括帧间预测器180和帧内预测器185。去量化器220和逆变换器230可以被统称为残差处理器。即，残差处理器可以包括去量化器220和逆变换器230。根据实施例，熵解码器210、去量化器220、逆变换器230、加法器235、滤波器240、帧间预测器260和帧内预测器265可以被配置为一个硬件组件(例如，解码器或处理器)。此外，在实施例中，解码图片缓冲器250可以配置有硬件组件(例如，存储器或数字存储介质)。存储器250可以包括DPB175，并且可以由数字存储介质来构成。

当输入包括视频/图像信息的比特流时，解码装置200可以根据图2的编码设备中的处理视频/图像信息的过程来重构图像。例如，解码装置200可以使用在编码设备中应用的处理单元来执行解码。因此，例如，用于解码的处理单元可以是例如编译单元。取决于四叉树结构和/或二叉树结构，可以从编译树单元或最大编译单元中分割编译单元。此外，可以通过回放设备回放通过解码装置200解码并输出的重构图像信号。

解码装置200可以以比特流的形式接收由图1的编码装置输出的信号。可以通过熵解码器210对接收到的信号进行解码。例如，熵解码器210可以通过解析比特流来导出用于图像重构(或图片重构)的信息(例如，视频/图像信息)。例如，熵解码器210可以基于诸如指数哥伦布(Golomb)编码、CAVLC或CABAC的编译方法来对比特流内的信息进行解码，并且可以输出用于图像重构的语法元素的值或关于残差的变换系数的量化值。更具体地，在CABAC熵解码方法中，可以从比特流中接收与每个语法元素相对应的二位元(bin)，可以使用相邻且解码的目标块的解码目标语法元素信息和解码信息或者前一步骤解码的符号/二位元的信息确定上下文模型，可以基于所确定的上下文模型来预测二位元发生的概率，并且可以通过对该二位元执行算术解码来生成与每个语法元素的值相对应的符号。在这种情况下，在CABAC熵解码方法中，在确定上下文模型之后，可以使用对下一个符号/二位元的上下文模型而解码的符号/二位元的信息来更新上下文模型。可以将在熵解码器2110中解码的信息之中的关于预测的信息提供给预测器(帧间预测器260和帧内预测器265)。可以将与在熵解码器210中已经对其进行了熵解码的残差值有关的参数信息(即量化变换系数)输入到去量化器220。此外，可以将在熵解码器210中解码的信息之中的关于滤波的信息提供给滤波器240。同时，可以将接收由编码设备输出的信号的接收器(未示出)进一步配置为解码装置200的内部/外部元件，或者该接收器可以是熵解码器210的元件。

去量化器220可以对量化的变换系数去量化并输出变换系数。去量化器220可以以二维块形式重新排列量化变换系数。在这种情况下，可以基于在编码装置中执行的系数扫描序列来执行重新排列。去量化器220可以使用量化参数(例如，量化步长信息)对量化变换系数执行去量化，并且可以获得变换系数。

逆变换器230可以通过将逆变换应用于变换系数来输出残差信号(残差块或残差样本阵列)。

预测器可以对当前块执行预测，并且可以生成包括用于当前块的预测样本的预测块。预测器可以基于由熵解码器210输出的关于预测的信息来确定是对当前块应用帧内预测还是对当前块应用帧间预测，并且可以确定详细的帧内/帧间预测模式。

帧内预测器265可以参考当前图片内的样本来预测当前块。参考的样本可以取决于预测模式被定位成与当前块相邻或可以与当前块间隔开。在帧内预测中，预测模式可以包括多个非角度模式和多个角度模式。帧内预测器265可以使用应用于相邻块的预测模式来确定应用于当前块的预测模式。

帧间预测器260可以基于由参考图片上的运动矢量所指定的参考块(参考样本阵列)来导出用于当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息的量，可以基于相邻块与当前块之间的运动信息的相关性，将运动信息预测为块、子块或样本单元。运动信息可以包括运动矢量和参考图片索引。运动信息可以进一步包括帧间预测方向(L0预测、L1预测、Bi预测)信息。在帧间预测的情况下，相邻块可以包括当前图片内的空间相邻块和参考图片内的时间相邻块。例如，帧间预测器260可以基于相邻块来配置运动信息候选列表，并且可以基于接收到的候选选择信息来导出当前块的运动矢量和/或参考图片索引。可以基于各种预测模式来执行帧间预测。关于预测的信息可以包括指示用于当前块的帧间预测的模式的信息。

加法器235可以通过将获得的残差信号与帧间预测器260或帧内预测器265输出的预测信号(预测块或预测样本阵列)相加来生成重构信号(重构图片、重构块或重构样本阵列)。如在已经应用跳过模式的情况下那样，如果处理目标块没有残差，则可以将预测块用作重构块。

加法器235可以被称为重构器或重构块生成器。所生成的重构信号可以被用于当前图片内的下一处理目标块的帧内预测，并且可以通过滤波用于下一图片的帧间预测，如稍后所述。

滤波器240可以通过将滤波应用于重构信号来提高主观/客观图片质量。例如，滤波器240可以通过将各种滤波方法应用于重构图片来生成修改后的重构图片，并且可以将修改后的重构图片发送到DPB250。各种滤波方法可以包括例如解块滤波、样本自适应偏移SAO、自适应环路滤波器ALF和双边滤波器。

发送(修改)到解码图片缓冲器250的重构图片可以被用作帧间预测器260中的参考图片。

在本公开中，在编码装置100的滤波器160、帧间预测器180和帧内预测器185中所述的实施例可以被分别等同地或以一一对应的方式应用于解码装置200中的滤波器240、帧间预测器260和帧内预测器265。

图4示出了根据本公开的实施例的内容流传输系统的结构图。

应用了本公开的内容流传输系统可以主要包括编码服务器410、流传输服务器420、Web服务器430、媒体存储440、用户设备450和多媒体输入设备460。

编码服务器410可以将从诸如智能电话、相机、便携式摄像机等的多媒体输入设备输入的内容压缩为数字数据，以生成比特流并将其发送到流传输服务器420。作为另一示例，当多媒体输入设备460(诸如智能电话、相机和便携式摄像机)直接生成比特流时，可以省略编码服务器410。

可以通过应用本公开的编码方法或比特流生成方法来生成比特流，并且流传输服务器420可以在发送或接收比特流的过程中临时存储比特流。

流传输服务器420基于通过Web服务器430的用户请求，将多媒体数据发送到用户设备450，并且Web服务器430用作向用户告知存在什么服务的中介。当用户通过Web服务器430请求期望的服务时，Web服务器430将其传递到流传输服务器420，并且流传输服务器420将多媒体数据发送到用户。此时，内容流传输系统可以包括单独的控制服务器，在这种情况下，该控制服务器用于控制内容流传输系统中的设备之间的命令/响应。

流传输服务器420可以从媒体存储器440和/或编码服务器410接收内容。例如，流传输服务器420可以从编码服务器410实时地接收内容。在这种情况下，为了提供平滑的流传输服务，流传输服务器420可以将比特流存储预定时间。

例如，用户设备450可以包括移动电话、智能电话、膝上型计算机、用于数字广播的终端、个人数字助理PDA、便携式多媒体播放器PMP、导航终端、板式PC、平板PC、超级本、可穿戴设备(例如，智能手表、智能眼镜、头戴式显示器HMD、数字电视、台式计算机和数字标牌)。

内容流传输系统中的每个服务器可以用作分布式服务器，并且在这种情况下，可以以分布式方式处理从每个服务器接收的数据。

块分区

可以基于各种详细技术来执行根据本公开的视频/图像编译方法，并且如下示意性地描述每个详细技术。对于本领域技术人员显而易见的是，以下描述的技术可以与相关过程(诸如上文已经描述过和/或稍后所述的视频/图像编码/解码过程中的预测、残差处理(变换、量化等)、语法元素编译、滤波以及分区/分割)相关联。

可以将构成视频数据的各个图片划分为一系列编译树单元(CTU)。CTU可以对应于编译树块(CTB)。可替选地，CTU可以包括亮度样本的编译树块和与亮度样本相对应的色度样本的两个编译树块。换句话说，对于包括三样本阵列的图片，CTU可以包括亮度样本的N×N块和色度样本的两个相应块。

图5示出根据本公开的实施例的多类型树分割模式的示例。

可以基于四叉树(QT)结构将CTU分割为CU。四叉树结构也可以称为四元树结构。这是为了结合各种局部特性。同时，在本公开中，可以基于除四叉树之外、还包括二叉树(BT)和三叉树(TT)的多类型树结构分割来分割CTU。

图5所示的四种分割类型可以包括垂直二进制分割(SPLIT_BT_VER)、水平二进制分割(SPLIT_BT_HOR)、垂直三进制分割(SPLIT_TT_VER)和水平三进制分割(SPLIT_TT_HOR)。

多类型树结构的叶节点可以对应于CU。可以在每个CU上执行预测和变换过程。在本公开中，通常，CU、PU和TU可以具有相同的块大小。但是，如果最大支持的变换长度小于CU的颜色分量的宽度或高度，则CU和TU可能具有不同的块大小。

在另一示例中，可以以不同于QT结构、BT结构或TT结构的方式划分CU。即，与根据QT结构将较低深度的CU划分为较高深度的CU的1/4大小，或者根据BT结构将较低深度的CU划分为较高深度的CU的1/2大小，或者根据TT结构将较低深度的CU划分为较高深度的CU的1/2或1/4大小不同，取决于情形，可以将较低深度的CU划分为较高深度的CU的1/5、1/3、3/8、3/5、2/3或5/8大小。划分CU的方法不限于此。

预测

为了重构在其上执行解码的当前处理单元，可以使用包括当前处理单元的当前图片或其他图片的解码部分。

在重构中，如果仅使用当前图片，即，可以将仅对其执行帧内预测的图片(切片)表示为帧内图片或I图片(I切片)。可以将使用一个运动矢量和参考索引以便预测每个单元的图片(切片)表示为预测图片或P图片(P切片)。可以将使用两个或更多个运动矢量和参考索引的图片(切片)表示为一对预测图片或B图片(B切片)。

帧间预测是指基于除当前图片之外的图片的数据元素(例如，样本值或运动矢量)来导出当前块的样本值的预测方法。即，帧间预测是指通过参考除当前图片以外的另一重构图片的重构区域来预测当前块的样本值的方法。

在下文中，更具体地描述帧内预测。

帧内预测

帧内预测是指由相同的解码图片(或切片)的数据元素(例如，样本值)来导出当前块的样本值的预测方法。即，帧内预测是指通过参考当前图片中的重构区域来预测当前块的样本值的方法。

帧内预测可以表示基于当前块所属的图片(在下文中，称为当前图片)中的当前块之外的参考样本来生成用于当前块的预测样本的预测。

本公开的实施例描述了用于结合上述图2和图3描述的预测方法的详细技术，并且本公开的实施例可以对应于图11的基于帧内预测的视频/图像编码方法以及图7的编码设备100中的帧内预测单元185的设备，如下所述。此外，本公开的实施例可以对应于图8的基于帧内预测的视频/图像解码方法以及图9的解码设备200中的帧内预测单元265的设备，如下所述。由图11和13编码的数据可以以比特流的形式，存储在编码设备100或解码设备200中包括的存储器中或者功能上与编码设备100或解码设备200耦合的存储器中。

当将帧内预测应用于当前块时，可以导出要用于当前块的帧内预测的相邻参考样本。当前块的相邻参考样本可以包括包含与当前块的左边界相邻的大小为nW×nH的样本以及与左下侧相邻的样本的总共2×nH个样本、包含与当前块的上边界相邻的样本以及与右上侧相邻的样本的总共2×nW个样本，以及与当前块的左上侧相邻的一个样本。可替选地，当前块的相邻参考样本可以包括多行上相邻样本和多行左相邻样本。当前块的相邻参考样本可以包括位于与当前块相邻的左或右垂直线上的样本以及位于上或下水平线上的样本。

然而，当前块的一些相邻参考样本尚未被解码或可能不可用。在这种情况下，解码设备200可以通过用可用样本代替不可用样本来配置要用于预测的相邻参考样本。可替选地，解码器可以经由内插可用样本来配置将用于预测的相邻参考样本。例如，可以基于位于当前块的上水平线上的样本和位于当前块的左垂直线上的样本，经由内插来替代或配置位于与当前块的右侧相邻的垂直线上的样本和与当前块的底部相邻的水平线上的样本。

在导出相邻参考样本的情况下，i)可以基于当前块的相邻参考样本的平均值或内插来导出预测样本，以及ii)可以基于当前块的相邻参考样本中、存在于预测样本的特定(预测)方向中的参考样本，导出预测样本。预测模式i)可以表示为非定向预测模式或非角度预测模式，而预测模式ii)可以表示为定向预测模式或角度预测模式。可以通过在相邻参考样本当中的相对于当前块的预测样本位于当前块的帧内预测模式的预测方向中的第一相邻样本和与位于与该预测方向相反的方向中的第二相邻样本之间的内插来生成预测样本。可以将基于相对于当前块的预测样本位于预测方向上的参考样本与位于与预测方向相反的方向上的参考样本之间的线性内插的预测方案称为线性内插间预测(LIP)。此外，可以基于滤波后的相邻参考样本来导出当前块的临时预测样本，并且可以通过临时预测样本的加权求和以及现有相邻参考样本(即滤波后的相邻参考样本)当中的根据帧内预测模式导出的至少一个参考样本来导出当前块的预测样本。经由多个样本的加权求和的预测可以被表示为位置相关帧内预测组合(PDPC)。

同时，如果需要，可以对导出的预测样本执行后滤波。具体地，帧内预测过程可以包括帧内预测模式确定步骤、邻居参考样本导出步骤，以及基于帧内预测模式的预测样本导出步骤，并且如果需要，可以对所导出的预测样本的后滤波步骤。

如图6和图7所示，表示编码设备100中的基于帧内预测的视频编码过程和帧内预测单元185。

图6和图7图示根据本公开的实施例的基于帧内预测的编码方法以及根据本公开的实施例的编码设备100中的示例性帧内预测单元185。

在图6中，步骤S610可以由编码设备100的帧内预测单元185执行，并且步骤S620和S630可以由残差处理单元执行。具体地，步骤S620可以由编码设备100的减法单元115执行，并且步骤S630可以由熵编码单元190使用由残差处理单元得出的残差信息和由帧内预测单元185得出的预测信息来执行。残差信息是残差样本的信息，并且可以包括残差样本的量化变换系数的信息。

如上所述，可以通过编码设备100的变换单元120将残差样本导出为变换系数，并且可以通过量化单元130将导出的变换系数导出为量化变换系数。量化变换系数的信息可以由熵编码单元190通过残差编译过程来进行编码。

在步骤S610中，编码设备100可以对当前块执行帧内预测。编码设备100确定当前块的帧内预测模式，导出当前块的相邻参考样本，并且基于帧内预测模式和相邻参考样本在当前块中生成预测样本。在此，可以同时或顺序地执行确定帧内预测模式、导出相邻参考样本以及生成预测样本的过程。例如，编码设备100的帧内预测单元185可以包括预测模式确定单元186、参考样本导出单元187和预测样本生成单元188。预测模式确定单元186可以确定当前块的预测模式，参考样本导出单元187可以导出当前块的相邻参考样本，以及预测样本生成单元188可以导出当前块的运动样本。同时，尽管未示出，但是当执行以下描述的预测样本滤波过程时，帧内预测单元185可以进一步包括预测样本滤波单元(未示出)。编码设备100可以在多个帧内预测模式中，确定要应用于当前块的预测模式。编码设备100可以比较帧内预测模式的速率失真成本(RD成本)，并且确定用于当前块的最优帧内预测模式。

同时，编码设备100可以对预测样本执行滤波。对预测样本的滤波可以被称为后滤波。可以通过对预测样本的滤波过程来对一些或所有预测样本执行滤波。在一些情况下，可以省略预测样本滤波。

在步骤S620中，编码设备100可以基于(滤波后的)预测样本来生成当前块的残差样本。此后，在步骤S630中，编码器100可以对视频数据进行编码，该视频数据包括预测模式信息和残差样本的信息，该预测模式信息包括帧内预测模式。编码的视频数据可以以比特流的形式输出。可以经由网络或存储介质将输出比特流传送到解码设备200。

同时，如上所述的编码设备100可以基于参考样本和残差样本来生成包括重构样本和重构块的重构图片。由编码设备100导出重构图片是在编码设备100中导出与由解码设备200所执行的预测结果相同的预测结果，从而提高了编译效率。此外，可以对重构图片执行后续过程，诸如环路滤波。

图8和图9图示根据本公开的实施例的基于帧内预测的视频/图像解码方法以及根据本公开的实施例的解码设备200中的示例性帧内预测单元265。

参考图8和图9，解码设备200可以执行与编码设备100执行的操作相对应的操作。解码设备200可以基于接收到的预测信息，通过对当前块执行预测来导出预测样本。

具体地，在步骤S810中，解码设备200可以基于从编码设备100获得的预测模式信息来确定当前块的帧内预测模式。在步骤S820中，解码设备200可以导出当前的相邻参考样本。在步骤S830中，解码设备200可以基于帧内预测模式和相邻参考样本，在当前块中生成预测样本。此外，解码设备200可以执行预测样本滤波过程，并且该预测样本滤波过程可以被称为后滤波。可以通过预测样本滤波过程来滤波一些或全部预测样本。在一些情况下，可以省略预测样本滤波过程。

在步骤S840中，解码设备200可以基于从编码设备100获得的残差信息来生成残差样本。在步骤S850中，解码设备200可以基于(滤波后的)预测样本和残差样本，生成用于当前块的重构样本并且使用所生成的重构样本来生成重构图片。

在此，解码设备200的帧内预测单元265可以包括预测模式确定单元266、参考样本导出单元267和预测样本生成单元268。预测模式确定单元266可以基于由编码设备100的预测模式确定单元186生成的预测模式，确定当前块的帧内预测模式，参考样本导出单元267可以导出当前块的相邻参考样本，而预测样本生成单元268可以生成当前块的预测样本。同时，尽管未示出，但是当执行以下描述的预测样本滤波过程时，帧内预测单元265可以进一步包括预测样本滤波单元(未示出)。

用于预测的预测模式信息可以包括用于指示是将最可能模式(MPM)应用于当前块还是应用剩余模式的标志(例如，prev_intra_luma_pred_flag)。当将MPM应用于当前块时，预测模式信息可以进一步包括指示帧内预测模式候选(MPM候选)之一的索引(mpm_idx)。帧内预测模式候选(MPM候选)可以由MPM候选列表或MPM列表构成。此外，当没有将MPM应用于当前块时，预测模式信息可以进一步包括指示除了帧内预测模式候选(MPM候选)之外的剩余帧内预测模式之一的剩余模式信息(例如，rem_intra_luma_pred_mpde)。

同时，解码设备200可以基于预测信息来确定当前块的帧内预测模式。可以通过以下描述的编译方法对预测模式信息进行编码和解码。例如，可以基于截断的二进制码，通过熵编译(例如，CABAC或CAVLC)对预测模式信息进行编码或解码。

参考图10，帧内预测模式可以包括两个非定向帧内预测模式和33个模式帧内预测模式。非定向帧内预测模式可以包括平面帧内预测模式和DC帧内预测模式，以及定向帧内预测模式可以包括编号为2至34的帧内预测模式。平面帧内预测模式可以被称为平面模式，而DC帧内预测模式可以被称为DC模式。

同时，为了捕获自然视频中呈现的任意边方向，定向帧内预测模式可以包括如图11所示的65个，而不是图10的33个定向帧内预测模式。在图11中，非定向帧内预测模式可以包括平面模式和DC模式，而定向帧内预测模式可以包括编号为2至66的帧内预测模式。如图11所示，扩展定向帧内预测可以应用于所有大小的块，并且可以应用于亮度分量和色度分量这两者。

此外，帧内预测模式可以包括两个非定向帧内预测模式和129个定向帧内预测模式。在此，非定向帧内预测模式可以包括平面模式和DC模式，而定向帧内预测模式可以包括编号为2至130的帧内预测模式。

MPM候选列表配置

当对图像执行块划分时，要编译的当前块和相邻块可以具有相似的图像特性。因此，极有可能当前块和相邻块具有相同或相似的帧内预测模式。因此，编码设备100可以使用相邻块的帧内预测模式来对当前块的帧内预测模式进行编码。

例如，编码设备100可以为当前块配置MPM列表。MPM列表可以被称为MPM候选列表。在此，MPM是指用于在帧内预测模式编译期间，考虑到当前块和相邻块之间的相似性来提高编译效率的模式。在这种情况下，为了保持生成MPM列表的复杂度低，可以使用用于配置包括三个MPM的MPM列表的方法。当用于当前块的帧内预测模式未被包括在MPM列表中时，可以使用剩余模式。在这种情况下，剩余模式包括64个剩余候选，并且可以发信号告知指示64个剩余候选之一的剩余帧内预测模式信息。例如，剩余帧内预测模式信息可以包括6比特的语法元素(例如，rem_intra_luma_pred_mode语法元素)。

MRL(多参考线帧内预测)

图12图示了根据本公开的实施例的用于应用多参考线预测的示例性参考线。

在常见的帧内图片预测中，将直接相邻的样本用作预测的参考样本。MRL扩展了现有帧内预测，以使用与当前预测块的左侧和上侧具有一个或多个(例如1至3个)样本距离的相邻样本。在图24中示出了常规直接相邻参考样本线和扩展的参考线。在图25中，mrl_idx指示相对于帧内预测模式(例如，定向或非定向预测模式)哪条线用于CU的帧内预测。

可以如表1所示配置用于考虑MRL进行预测的语法。

[表1]

在表1中，intra_luma_ref_idx[x0][y0]可以指示由下表2指定的帧内参考线索引(IntraLumaRefLineIdx[x0][y0])。(intra_luma_ref_idx[x0][y0]指定如在表8中指定的帧内参考线索引IntraLumaRefLineIdx[x0][y0])。

如果intra_luma_ref_idx[x0][y0]不存在，则可以将其推断为0。(当不存在intra_luma_ref_idx[x0][y0]时，将其推断为等于0)。

intra_luma_ref_idx可以被称为(帧内)参考样本线索引或mrl_idx。另外，intra_luma_ref_idx可以被称为intra_luma_ref_line_idx。

[表2]

intra_luma_ref_idx[x0][y0]	IntraLumaRefLineldx[x0][y0]
		0	0
1	1
		2	3

如果intra_luma_mpm_flag[x0][y0]不存在，则可以将其推断为1。

如图12所示，根据本公开的实施例的在用于帧内预测的编译单元附近的多个参考线可以包括位于编译单元的上边界上方的多个上参考线或位于编译单元的左边界上的多个左参考线。

当对当前块执行帧内预测时，可以执行对当前块的亮度分量块(亮度块)的预测和对色度分量块(色度块)的预测，在这种情况下，用于色度分量(色度块)的帧内预测模式可以与用于亮度分量(亮度块)的帧内预测模式分开地设置。

例如，可以基于帧内色度预测模式信息来指示用于色度分量的帧内预测模式，并且可以以intra_chroma_pred_mode语法元素的形式来发信号告知帧内色度预测模式信息。例如，帧内色度预测模式信息可以指示平面模式、DC模式、垂直模式、水平模式、直接模式(DM)和线性模式(LM)中的一种。在此，平面模式可以表示第0帧内预测模式，DC模式表示第1帧内预测模式，垂直模式表示第26帧内预测模式，而水平模式表示第10帧内预测模式。

同时，DM和LM是用于使用亮度块的信息来预测色度块的相关帧内预测模式。DM可以指示将与用于亮度分量的帧内预测模式相同的帧内预测模式应用为用于色度分量的帧内预测模式的模式。此外，DM可以指示帧内预测模式，该帧内预测模式使用通过在生成用于色度块的预测块的过程期间，将至少一个LM参数应用于亮度块的重构样本的子采样的(subsampled)样本得出的样本，作为色度块的预测样本。

以下描述的实施例涉及帧内预测过程中的脉冲编码调制(PCM)和多参考线(MRL)。MRL是在帧内预测中，根据预测模式，使用一个或多个参考样本的线(多个参考样本线)的方法。在MRL中，通过比特流发信号告知要参考哪个参考线索引以进行预测的索引。PCM是一种用于通过比特流发送解码像素的值的方法，与基于预测模式执行帧内预测的方法不同。换句话说，当应用PCM模式时，不执行用于目标块的预测和变换，并且因此，不通过比特流发信号告知帧内预测模式或其他语法。PCM模式可以被称为增量脉冲编码调制(DPCM)模式或基于块的增量脉冲编码调制(BDPCM)模式。

但是，在VTM(VVC测试模型)-3.0中，如下表3和4所示，比PCM模式语法更早地发信号告知MRL的参考线索引语法(intra_luma_ref_idx)，因此产生冗余。

换句话说，参考下表3的编译单元语法，首先解析指示用于当前块的预测的参考样本所位于的参考线的参考线索引(intra_luma_ref_idx[x0][y0])，然后解析指示是否应用PCM的PCM标志(pcm_flag)。在这种情况下，由于与是否应用PCM无关地解析参考线索引，因此，如果应用PCM，则即使不使用参考线索引，编译设备也会解析参考线索引，导致数据资源的浪费。

此外，参考下表4中的信令源代码，由于在识别了用于参考线的信息(extend_ref_line(cu))之后，识别是否应用PCM的信息(pcm_flag(cu))，所以尽管不使用，也会解析用于参考线的信息(extend_ref_line(cu))，与PCM一样，导致数据资源的浪费。

与本公开的实施例有关的本领域技术人员将容易理解由以下编程语言表达的语法和源代码。根据本公开的实施例的视频处理设备和方法可以以由下述语法和源代码执行的程序的形式来实现，并且可以被实现为执行该程序的电子设备。

[表3]

[表4]

根据本公开的实施例，提出了一种仅在不处于PCM模式时才发信号告知当前块的MRL索引的方法。此外，根据本公开的实施例，提出了一种方法，该方法用于：在识别视频信号的解码过程中是否应用PCM模式之后，当不应用PCM模式时(即，当应用帧内预测时)，参考MRL索引来执行预测。在本公开中，当前块是由编码设备100或解码设备200处理的图片中的任意块，并且可以对应于编译单元或预测单元。

下表5示出了根据实施例的示例性编译单元语法。编码设备100可以配置和编码包括如表5中所示的信息的编译单元语法。编码设备100可以以比特流的形式存储和发送编码的编译单元语法。解码设备200可以从比特流中获得(解析)编码的编译单元语法。

[表5]

参考表5，在当前块(编译单元)的预测模式是帧内预测模式(CuPredMode[x0][y0]＝＝MODE_INTRA)并且满足可以应用PCM的条件时，编译设备可以标识指示是否应用PCM的标志(PCM标志)(pcm_flag)。当从PCM标志中识别出不应用PCM时(如果PCM标志为“0”)，编译设备可以识别指示位于距当前块一定的样本距离内的多个相邻参考线中的哪一条被用于当前块的预测的索引(MRL索引)(intra_luma_ref_idx)。编译设备可以从由MRL索引指示的参考线的参考样本生成当前块的预测样本。下表13示出了根据本公开的实施例的示例性编译单元信令源代码。

在实施例中，仅当用于预测当前块的多个参考线被包括在与当前块相同的CTU中时，才可以解析它们。例如，如表13的语法所示，如果当前块所属的CTU的CTU的Y轴大小(CtbSizeY)对当前块内的左上样本的Y位置值(y0)的模运算(％)结果大于0((y0％CtbSizeY)>0)，则可以确定多个参考线处于与当前块相同的CTU中。这是因为在当前块位于CTU的上边界时，模运算的结果值变为0，并因此位于当前块的上侧上的样本被包括在与当前块不同的CTU中。如果当前块不位于CTU的上边界上，则可以解析MRL索引。

[表6]

参考表6，编译设备可以基于PCM标志(pcm_flag(cu))来识别是否应用PCM模式，然后识别MRL索引(extend_ref_line(cu))。例如，仅当PCM标志为“0”时，才可以解析MRL索引。

如表5和表6所示，可以通过PCM标志来识别是否应用PCM模式(即，是否应用帧内预测)，以及如果没有应用PCM模式(即，当应用帧内预测时)，可以通过MRL索引识别使用了哪条参考线。因此，由于尽管应用PCM模式，也不需要解析或发信号告知MRL索引，因此可以减少信令开销和编译复杂度。

图13是图示根据本公开的实施例的视频数据处理方法的流程图。

图13的每个操作是在对视频数据进行编码或解码时的示例性帧内预测处理，并且可以由编码设备100的帧内预测单元185和解码设备200的帧内预测单元265执行。

根据本公开的实施例，图像信号处理方法可以包括：确定是否应用其中经由比特流来传送视频数据中的当前块的样本值的PCM模式的步骤S1310；基于不应用PCM模式来识别与位于距当前块预定距离之内的参考线有关的参考索引的步骤S1320；以及基于与参考索引相关的参考线中包括的参考样本来生成当前块的预测样本的步骤S1330。

更具体地，在步骤S1310中，视频数据处理设备(编码设备(encoding device)或解码设备(decoding device)，在本文中统称为编译设备(coding device))可以确定是否将PCM模式应用于当前块。例如，编译设备可以通过指示是否应用PCM模式的标志(PCM标志)来确定是否应用PCM模式。例如，当PCM标志是“0”时，编译设备可以确定不应用PCM模式，而当PCM标志是“1”时，确定应用PCM模式。在此，PCM模式是指当前块的样本值通过比特流从编码设备100直接发送到解码设备200的模式。如果应用PCM模式，则解码设备200可以从编码设备100传送的比特流中导出当前块的样本值，无需进行预测或变换处理。当前块是由编译设备执行处理的块单元，并且可以对应于编译单元或预测单元。

在步骤S1320中，当识别出不应用PCM模式时，编译设备可以识别与位于距当前块预定距离之内的参考线有关的参考索引。例如，当PCM标志为“0”时(当不应用PCM模式时)，编译设备可以解析参考索引，该参考索引指示用于当前块的帧内预测的参考样本所位于的线。同时，当PCM标志为“1”时(当应用PCM模式时)，编译设备可以确定用于当前块的样本值而无需帧内预测。

在本公开的实施例中，参考索引可以指示位于距当前块预定距离之内的多个参考线之一。在此，多个参考线可以包括位于当前块的上边界上的多个上参考线或位于当前块的左边界的左侧上的多个参考线。

例如，多个参考线可以包括位于具有宽度W和高度H的当前块的顶部上的四条参考线和位于当前块的左侧上的四个参考线，如图12所示。例如，多个参考线可以包括由与图12中的第0个MRL索引(mrl_idx)(或参考索引)相对应的阴影线指示的第一参考线、由与第一MRL索引相对应的深灰色指示的第二参考线、由与第二MRL索引相对应的点指示的第三参考线，以及由与第三MRL索引相对应的浅灰色指示的第四参考线。

在实施例中，仅当用于当前块的预测的多个参考线被包括在与当前块相同的CTU中时，才可以使用它们。例如，如表5的语法所示，如果当前块所属的CTU的Y轴大小(CtbSizeY)与当前块的左上样本的Y位置值(y0)的模运算(％)结果不为0，则编译设备可以确定多个参考线处于与当前块相同的CTU中。这是因为在当前块位于CTU的上边界时，模运算的结果值变为0，并因此位于当前块的上侧上的样本被包括在与当前块不同的CTU中。

同时，用于指示将用于预测当前块的参考样本所位于的参考线的参考索引可以被包括在比特流中，并且仅当满足特定条件时，才从编码设备100发送到解码设备200。换句话说，如果应用PCM模式，则参考索引(MRL索引)不被编译并且因此被从比特流中排除，并且可以不从编码设备100发送到解码设备200。例如，如在表6的信令源代码中，当PCM标志为1时，编译设备可以根据PCM模式对当前块的样本值进行编译，并且终止对当前块的编译。此外，参考表6，当PCM标志为0时，编译设备可以编译参考线的参考索引(extend_ref_line)。

如上所述，可以通过取决于是否应用PCM来可变地编译和发信号告知参考线的参考索引来降低解码设备200的解码复杂度和编码设备100的信令开销。

在步骤S1330中，编译设备可以基于与参考索引有关的参考线中包括的参考样本来生成当前块的预测样本。换句话说，编译设备可以使用帧内预测模式和参考索引所指示的参考线的参考样本来确定当前块中包括的每个像素位置的样本值。例如，当参考索引(MRL索引)为1时，在图12中，编译设备从与当前块隔开1个样本距离的参考线(以深灰色指示的样本线)的样本应用帧内预测模式，从而确定当前块的样本值。

图14图示了根据本公开实施例的示例性视频数据编码过程。图14的每个操作可以由编码设备100的帧内预测单元185执行。

在步骤S1410中，编码设备100可以确定是否将PCM模式应用于要编码的当前块。在此，PCM模式可以是指当前块的样本值被从编码设备100直接传送到解码设备200，而无需对当前块进行预测或变换的模式。编码设备100可以考虑RD成本来确定是否应用PCM模式。

当确定应用PCM模式时，编码设备100可以进行到步骤S1450。在步骤S1450中，编码设备100可以根据PCM模式对当前块的样本值进行编码。换句话说，编码设备100可以对当前块的样本值进行编码，并且将其包括在比特流中，同时省略根据PCM模式的预测和变换处理。

当应用PCM模式时，编码设备100可以省略与包括参考索引的预测有关的信息的编译。特别地，根据MRL的应用，编码设备100可以省略对指示参考线的参考索引的编译。例如，如在表6的信令源代码中，当PCM标志为1时，编译设备可以根据PCM模式对当前块的样本值进行编译，并终止对当前块的编译。

例如，如在表6的信令源代码中，当PCM标志为1时，编译设备可以根据PCM模式对当前块的样本值进行编译，并终止对当前块的编译。

如果确定不应用PCM模式，则编码设备100可以进行到步骤S1420。在步骤S1420中，编码设备100可以确定参考样本和用于当前块的帧内预测的帧内预测模式。例如，编码设备100可以考虑RD成本来确定参考样本和帧内预测模式。此后，在步骤S1430中，编码设备100可以对预测信息和残差信息进行编码。

参考表6，当PCM标志为0时，编译设备可以编译参考线的参考索引(extend_ref_line)。

在实施例中，当确定参考样本时，编码设备100不仅可以确定直接与当前块相邻的参考样本，而且可以确定位于距当前块预定距离之内的多个参考线中的参考样本。此外，编码设备100可以对指示用于当前块的预测的参考样本所位于的参考线的参考索引(MRL索引)进行编译。

在实施例中，参考索引可以指示位于距当前块预定距离之内的多个参考线之一。在此，多个参考线可以包括位于当前块的上边界上的多个上参考线或位于当前块的左边界的左侧上的多个参考线。

例如，多个参考线可以包括位于具有宽度W和高度H的当前块的顶部的四条参考线和位于当前块的左侧上的四条参考线，如图12所示。例如，多个参考线可以包括由与图12中的第0个MRL索引(mrl_idx)(或参考索引)相对应的阴影线指示的第一参考线、由与第一MRL索引相对应的深灰色指示的第二参考线、由与第二MRL索引相对应的点指示的第三参考线，以及由与第三MRL索引相对应的浅灰色指示的第四参考线。

在实施例中，仅当根据MRL，用于当前块的预测的多个参考线被包括在与当前块相同的编译树单元中时，才可以将它们用于当前块的预测。例如，如表6的语法所示，如果当前块所属的CTU的Y轴大小(CtbSizeY)与当前块内的左上样本的Y位置值(y0)的模运算(％)的结果大于0((y0％CtbSizeY)>0)，则可以确定多个参考线处于与当前块相同的CTU中。这是因为在当前块位于CTU的上边界时，模运算的结果值变为0，并因此位于当前块的上侧上的样本将被包括在与当前块不同的CTU中。如果当前块不位于CTU的上边界上，则可以解析MRL索引。

如上所述，编码设备100可以通过根据是否应用PCM来可变地编译和发信号告知参考线的参考索引来减少编译复杂度和信令开销。

图15图示了根据本公开的实施例的另一示例性视频数据解码过程。图15的每个操作是在对视频数据进行解码时的示例性帧内预测处理，并且可以由解码设备200的帧内预测单元265执行。

在步骤S1510中，解码设备200确定指示是否将PCM模式应用于当前块的PCM标志是否为1。换句话说，解码设备200可以确定是否将PCM模式应用于当前块。在此，PCM模式可以是指将当前块的样本值从编码设备100直接传送到解码设备200而无需对当前块进行预测或变换的模式。在此，当前块是由解码设备200执行处理的块单元，并且可以对应于编译单元或预测单元。

如果PCM标志为1(当应用PCM模式时)，则解码设备200可以进行到步骤S1550。在步骤S1550中，解码设备200可以根据PCM模式来确定当前块的样本值。例如，解码设备200可以从编码设备100发送的比特流中直接导出当前块的样本值，并且可以省略预测或变换过程。当根据PCM模式导出当前块的样本值时，解码设备200可以终止用于当前块的解码过程，并且对要处理的后续块执行解码。

如果PCM标志为0(如果不应用PCM模式)，则解码设备200可以进行到步骤S1520。在步骤S1520中，解码设备200可以解析MRL索引。在此，参考索引表示指示用于当前块的预测的参考样本所位于的参考线的索引。参考索引可以被称为MRL索引，并且可以在表5中被表达为“intra_luma_ref_idx”。

在步骤S1530中，解码设备200可以确定与当前图片中的参考索引有关的参考线。换句话说，解码设备200可以确定在与当前块相邻的参考线当中由参考索引指示的参考线。

例如，多个参考线可以包括位于具有宽度W和高度H的当前块的顶部的四条参考线和位于当前块的左侧上的四条参考线，如图12所示。例如，多个参考线可以包括由与图12中的第0个MRL索引(mrl_idx)(或参考索引)相对应的阴影线指示的第一参考线、以与第一MRL索引相对应的深灰色指示的第二参考线、以与第二MRL索引相对应的点指示的第三参考线，以及以与第三MRL索引相对应的浅灰色指示的第四参考线。

在实施例中，仅当用于预测当前块的多个参考线被包括在与当前块相同的CTU中时，才可以使用它们。例如，如表5的语法所示，如果当前块所属的CTU的Y轴大小(CtbSizeY)与当前块内的左上样本的Y位置值(y0)的模运算(％)结果不为0，则解码设备200可以确定多个参考线处于与当前块相同的CTU中。这是因为在当前块位于CTU的上边界上时，模运算的结果值变为0，并因此位于当前块的上侧上的样本被包括在与当前块不同的CTU中。

同时，用于指示将被用于预测当前块的参考样本所位于的参考线的参考索引可以被包括在比特流中，并且仅在特定条件时才被从编码设备100发送到解码设备200。换句话说，如果应用PCM模式，则参考索引(MRL索引)不被编译且因此被从比特流中排除，并且可以不从编码设备100发送到解码设备200。例如，如在表6的信令源代码中，当PCM标志为1时，解码设备200可以根据PCM模式对当前块的样本值进行编译，并且终止对当前块的编译。此外，参考表6，当PCM标志为0时，解码设备200可以对参考线的参考索引(extend_ref_line)进行编译。

在操作S1540中，解码设备200可以由参考线的参考样本确定当前块的预测样本值。换句话说，解码设备200可以使用帧内预测模式和由参考索引指示的参考线的参考样本来确定当前块中包括的每个像素位置的样本值。例如，当参考索引(MRL索引)为1时，在图12中，解码设备200从与当前块间隔1个样本距离的参考线(以深灰色表示的样本线)的样本应用帧内预测模式，从而确定当前块的样本值。此后，解码设备200可以终止当前块的编译过程，并且对要处理的后续块执行编译。

具体的应用实例

本公开的实施例可以在处理器、微处理器、控制器或芯片上实现和执行。例如，每个图中所示的功能单元可以在处理器、微处理器、控制器或芯片上实现和执行。

图16是图示根据本公开的实施例的用于处理视频数据的示例性设备的框图。图16的视频数据处理设备可以对应于图2的编码设备100或图3的解码设备200。

根据本公开的实施例，视频数据处理设备1600可以包括用于存储视频数据的存储器1620和与该存储器耦合以处理视频数据的处理器1610。

根据本公开的实施例，处理器1610可以被配置为用于处理视频数据的至少一个处理电路，并且可以执行用于对视频数据进行编码或解码的指令，从而处理视频信号。换句话说，处理器1610可以通过执行上述编码或解码方法来对原始视频数据进行编码或对编码后的视频数据进行解码。

根据本公开的实施例，一种用于使用帧内预测来处理视频数据的设备可以包括存储视频数据的存储器1620以及与存储器1620耦合的处理器1610。根据本公开的实施例，处理器1610可以被配置为：确定是否应用其中经由比特流传送视频数据中的当前块的样本值的PCM模式；基于不应用PCM模式来识别与用于当前块的帧内预测的参考线有关的参考索引；以及基于与参考索引相关的参考线中包括的参考样本来生成当前块的预测样本。

根据本公开的实施例，处理器1610可以识别是否应用PCM模式，并且在识别出不应用PCM模式时，识别参考索引并执行预测，从而防止尽管未通过PCM模式执行预测也不必要地解析参考线索引，从而减少了处理器1610处理视频数据的时间。

在实施例中，处理器1610可以识别指示是否应用PCM模式的标志。在此，指示是否应用PCM模式的标志可以被称为PCM标志。换句话说，处理器1610可以通过PCM标志识别是否将PCM模式应用于当前块。例如，当PCM标志为0时，PCM模式不应用于当前块，而当PCM标志为1时，PCM模式可以被应用于当前块。例如，如表5的语法所示，当PCM标志为1时，处理器1610可以根据PCM模式导出当前块的样本值。当PCM标志为0时，处理器1610可以识别指示用于预测当前块的参考样本所位于的参考线的参考索引(MRL索引)。

在实施例中，参考索引可以指示位于距当前块预定距离之内的多个参考线之一。参考索引可以对应于图12的MRL索引或表3和5的“intra_luma_ref_idx”。

根据实施例，多个参考线可以包括位于当前块的上边界上的多个上参考线或位于当前块的左边界的左侧上的多个参考线。例如，如图12所示，用于预测当前块的参考样本所位于的参考线可以包括由位于距当前块的左边界和上边界4个样本的距离内的参考样本组成的参考线。

根据实施例，用于预测当前块的多个参考线可以被包括在与当前块相同的编译树单元中。例如，处理器1610可以在解析参考索引之前识别当前块是否位于CTU的上边界上，并且如果当前区块不位于CTU的上边界上，则解析参考索引。例如，如表5的语法所示，如果当前块所属的CTU的Y轴大小(CtbSizeY)与当前块内的左上样本的Y位置值(y0)的模运算(％)的结果不为0，则可以确定多个参考线处于与当前块相同的CTU中。

在实施例中，当不应用PCM模式时，参考索引可以从编码设备100发送到解码设备200。解码设备200可以由从编码设备100发送的比特流中导出当前块的样本值。当前块是由编译设备执行处理的块单元，并且可以对应于编译单元或预测单元。

换句话说，如果应用PCM模式，则参考索引(MRL索引)不被编译并且因此被从比特流中排除，并且可以不从编码设备100发送到解码设备200。例如，如在表13的信令源代码中，当PCM标志为1时，编译设备可以根据PCM模式对当前块的样本值进行编译，并终止对当前块的编译。此外，参考表13，当PCM标志为0时，编译设备可以对用于参考线的参考索引(extend_ref_line)进行编译。

比特流

可以以比特流的形式输出由基于本公开的上述实施例的编译设备100导出的编码信息(例如，编码视频/图像信息)。编码信息可以以比特流的形式，以NAL为单位被发送或存储。比特流可以通过网络发送，或者可以被存储在非暂时性数字存储介质中。此外，如上所述，比特流不直接从编码设备100发送到解码设备200，而是可以经由外部服务器(例如，内容流传输服务器)被流传输/下载。该网络可以包括例如广播网络和/或通信网络，并且数字存储介质可以包括例如USB、SD、CD、DVD、蓝光、HDD、SSD或其他各种存储介质。

可以以在计算机上执行的程序的形式来产生应用本公开的实施例的处理方法，并且可以将其存储在计算机可读记录介质中。具有根据本公开的数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括可以存储计算机可读数据的所有种类的存储设备和分布式存储设备。计算机可读记录介质可以包括例如蓝光盘(BD)、通用串行总线(USB)驱动器、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储。计算机可读记录介质可以包括以载波形式实现的介质(例如，通过互联网传输)。由编码方法生成的比特流可以被存储在计算机可读记录介质中，或者可以经由有线/无线通信网络被发送。

本公开的实施例可以由可以在根据本公开的实施例的计算机上执行的程序代码实现为计算机程序。可以将计算机代码存储在计算机可读载体上。

本公开的上述实施例可以通过存储计算机可执行组件的非暂时性计算机可读介质来实现，该计算机可执行组件被配置为由计算设备的一个或多个处理器执行。根据本公开的实施例，计算机可执行组件可以被配置为：确定是否应用其中经由比特流来传送视频数据中的当前块的样本值的PCM模式；基于不应用PCM模式来识别与用于当前块的帧内预测的参考线有关的参考索引；以及基于与参考索引相关的参考线中包括的参考样本来生成当前块的预测样本。此外，根据本公开的实施例，计算机可执行组件可以被配置为执行与参考图13和14描述的视频数据处理方法相对应的操作。

应用本公开的解码设备200和编码设备100可以被包括在数字设备中。数字设备涵盖能够执行例如数据、内容或服务的发送、接收、处理和输出中的至少一个的所有种类或类型的数字设备。由数字设备处理数据、内容或服务包括对数据、内容或服务进行编码和/或解码。这样的数字设备可以经由有线/无线网络与其他数字设备或外部服务器配对或连接，以发送或接收数据，或者根据需要转换数据。

数字设备可以包括例如网络TV、混合广播宽带TV、智能TV、互联网协议电视(IPTV)、个人计算机或其他竖立设备或移动或手持设备，诸如个人数字助理(PDA)、智能手机、平板PC或笔记本计算机。

如本文所使用的，“有线/无线网络”共同是指支持用于数字设备之间或数字设备与外部服务器之间的数据通信和/或相互连接的各种通信标准或协议的通信网络。这样的有线/无线网络可以包括目前支持或将来将支持的通信网络以及用于这样的通信网络的通信协议，并且可以由例如用于有线连接的通信标准(包括USB(通用串行总线)、CVBS(复合视频消隐同步)、组件、S视频(模拟)、DVI(数字视频接口)、HDMI(高清多媒体接口)、RGB或D-SUB)以及用于无线连接的通信标准(包括蓝牙、RFID(射频识别)、IrDA(红外数据协会)、UWB(超宽带)、ZigBee、DLNA(数字生活网络联盟)、WLAN(无线LAN)(Wi-Fi)、Wibro(无线宽带)、Wimax(全球微波接入互操作性)、HSDPA(高速下行链路分组访问)、LTE(长期演进)或Wi-FiDirect)形成。

在下文中，当在本公开中被简称为数字设备时，取决于上下文，其可以指固定设备或/和移动设备中的任一个或两者。

同时，数字设备是一种智能设备，其支持例如广播接收、计算机功能和至少一个外部输入，并且可以经由上述有线/无线网络，支持例如电邮件、网页浏览、银行业务、游戏或应用程序。此外，数字设备可以包括用于支持至少一个输入或控制装置(在下文中，称为输入装置)(诸如手写输入设备、触摸屏和空间遥控器)的接口。该数字设备可以使用标准化的通用操作系统(OS)。例如，数字设备可以在通用OS内核上添加、删除、修改和更新各种应用，从而配置和提供用户友好的环境。

上述实施例考虑了本公开的组件和功能的预定组合。除非另有明确说明，否则每个组件或功能都应被视为可选的。可以以不与其他组件或功能组合的方式来实施每个组件或功能。此外，可以将一些组件和/或功能组合在一起以配置本公开的实施例。可以改变结合本公开的实施例描述的操作的顺序。一实施例中的一些组件或功能可以被包括在另一实施例中，或者可以被另一实施例的相应的组件或功能所代替。很显然，除非另外明确说明，否则权利要求可以组合以构成实施例，或者可以在提交后通过修改将这些组合添加到新的权利要求中。

当以固件或硬件实现时，本公开的实施例可以被实现为执行上述功能或操作的模块、过程或功能。可以将软件代码存储在存储器中并由处理器驱动。存储器可以位于处理器内部或外部，以通过各种已知方式与处理器交换数据。

对于本领域的普通技术人员显而易见的是，在不脱离本公开的必要特征的情况下，可以以其他特定形式来实现本公开。因此，以上描述不应当被解释为在所有方面都具有限制性，而应当被解释是示例性的。本公开的范围应当由所附权利要求的合理解释来确定，并且本公开的所有等同形式都属于本公开的范围。

【工业适用性】

在上文中，为了示例性目的公开了本公开的优选实施例，并且在下文中，本领域的技术人员将在不脱离所附权利要求中公开的本公开的技术精神和技术范围内，做出改进、改变、替代或添加各种其他实施例。

Claims

1.一种用于处理视频数据的方法，所述方法包括：

确定是否应用脉冲编码调制(PCM)模式，其中经由比特流来发送所述视频数据的当前块的样本值；

基于不应用所述PCM模式，从所述比特流解析与用于所述当前块的帧内预测的参考线有关的索引；以及

基于与所述索引有关的参考线中包括的参考样本，生成所述当前块的预测样本。

2.根据权利要求1所述的方法，其中，所述索引指示位于距所述当前块预定距离之内的多个参考线之一。

3.根据权利要求2所述的方法，其中，所述多个参考线包括位于所述当前块的上边界上的多个上参考线或位于所述当前块的左边界的左侧上的多个参考线。

4.根据权利要求1所述的方法，其中，所述多个参考线被包括在与所述当前块相同的编译树单元中。

5.根据权利要求1所述的方法，其中，确定是否应用所述PCM模式包括：识别指示是否应用所述PCM模式的标志。

6.根据权利要求1所述的方法，其中，当不应用所述PCM模式时，将所述索引从编码设备发送到解码设备。

7.根据权利要求1所述的方法，其中，所述当前块对应于编译单元或预测单元。

8.一种用于处理视频数据的设备，包括：

存储所述视频数据的存储器；以及

与所述存储器耦合的处理器，其中所述处理器被配置为：

9.根据权利要求8所述的设备，其中，所述索引指示位于距所述当前块预定距离之内的多个参考线之一。

10.根据权利要求9所述的设备，其中，所述多个参考线包括位于所述当前块的上边界上的多个上参考线或位于所述当前块的左边界的左侧上的多个参考线。

11.根据权利要求8所述的设备，其中，所述多个参考线被包括在与所述当前块相同的编译树单元中。

12.根据权利要求8所述的设备，其中，所述处理器被配置为：识别指示是否应用所述PCM模式的标志。

13.根据权利要求8所述的设备，其中，当不应用所述PCM模式时，将所述索引从编码设备发送到解码设备。

14.根据权利要求8所述的设备，其中，所述当前块对应于编译单元或预测单元。

15.一种存储计算机可执行组件的非暂时性计算机可读介质，所述计算机可执行组件被配置为由计算设备的一个或多个处理器执行，所述计算机可执行组件被配置为：