CN105191314B - 用于对多层视频进行编码的方法和设备、用于对多层视频进行解码的方法和设备 - Google Patents

Abstract

公开了用于对多层视频进行编码和解码的方法。用于对多层视频进行解码的方法包括：对第一层画面进行解码，并将第一层画面保存到解码画面缓冲器；将第一层画面标记为短期参考画面；获得第二层画面的层间RPS信息，其中，第二层画面具有与第一层画面的POC相同的第一POC，并且是通过参考第一层画面而被层间预测的；基于层间RPS信息，将已经被标记为短期参考画面的第一层画面标记为长期参考画面；并通过参考已经被标记为长期参考画面的第一层画面来对第二层画面执行层间预测。

Description

用于对多层视频进行编码的方法和设备、用于对多层视频进 行解码的方法和设备

技术领域

本发明构思涉及多层视频的编码和解码，更具体地，涉及一种管理存储解码画面的解码画面缓冲器的方法。

背景技术

一般地，图像数据由编解码器根据预定的数据压缩标准(例如，运动图像专家组(MPEG)标准)进行编码，然后以比特流的形式存储在信息存储介质中或者经由通信信道发送。

作为视频压缩方法的可伸缩视频编码(SVC)根据各种通信网络和终端适当地调整并发送信息量。多视点视频编码压缩诸如三维图像的多视点视频。

这样的常规的SVC或多视点视频编码通过使用基于预定尺寸的宏块的有限编码方法来对视频进行编码。

发明内容

技术问题

本发明构思提供一种高效地管理在对多层视频中所包括的画面进行解码时使用的解码画面缓冲器的方法。本发明构思还提供一种高效地发送多层中所包括的参考画面信息以便在对多层视频进行解码时高效地管理解码画面缓冲器的方法。

技术方案

根据本发明构思的示例性实施例，通过在层间预测期间用信号发送被多层的每个画面参考的参考画面信息来管理解码画面缓冲器。

有益效果

根据本发明构思的示例性实施例，通过在层间预测期间用信号发送被多层的每个画面参考的参考画面信息来管理解码画面缓冲器。根据本发明构思的示例性实施例，可通过反映多层视频中所包括的画面的层间预测来高效地发送各个画面之间的参考关系。另外，根据本发明构思的示例性实施例，可高效地管理在对多层视频进行解码时使用的解码画面缓冲器。

附图说明

图1是根据本发明构思的示例性实施例的基于具有树结构的编码单元的视频编码设备的框图。

图2是根据本发明构思的示例性实施例的基于具有树结构的编码单元的视频解码设备的框图。

图3是用于描述根据本发明构思的示例性实施例的编码单元的概念的示图。

图4是根据本发明构思的示例性实施例的基于编码单元的图像编码器的框图；

图5是根据本发明构思的示例性实施例的基于编码单元的图像解码器的框图。

图6是示出根据本发明构思的示例性实施例的根据深度和分区(partition)的编码单元的示图。

图7是用于描述根据本发明构思的示例性实施例的编码单元和变换单元之间的关系的示图。

图8是用于描述根据本发明构思的示例性实施例的与编码的深度相应的编码单元的编码信息的示图。

图9是根据本发明构思的示例性实施例的根据深度的编码单元的示图。

图10至12是用于描述根据本发明构思的示例性实施例的编码单元、预测单元和变换单元之间的关系的示图。

图13是用于描述根据表1的编码模式信息的、编码单元、预测单元和变换单元之间的关系的示图。

图14是根据本发明构思的示例性实施例的多层视频解码设备的框图。

图15是根据示例性实施例的多层视频编码方法的流程图。

图16是示出根据示例性实施例的多层视频解码设备的框图。

图17是根据示例性实施例的多层视频解码方法的流程图。

图18示出根据示例性实施例的层间预测结构的示例。

图19示出根据示例性实施例的用于解释RPS的编码结构。

图20是根据示例性实施例的对RPS信息进行解码和对当前画面进行解码的处理的流程图。

图21是用于解释根据示例性实施例的除了层间RPS信息之外的RPS子集的参考示图。

图22是用于解释层间RPS信息的参考示图。

具体实施方式

最优模式

根据本发明构思的一方面，提供一种多层视频解码方法，该方法包括：对第一层画面进行解码，将第一层画面存储在解码画面缓冲器(DPB)中，并将第一层画面标记为短期参考画面；获得第二层画面的层间参考画面集(RPS)信息，其中，第二层画面具有与第一层画面的画面顺序计数(POC)相同的第一POC，并且是通过参考第一层画面而被层间预测的；基于层间RPS信息将被标记为短期参考画面的第一层画面标记为长期参考画面；通过参考被标记为长期参考画面的第一层画面来对第二层画面执行层间预测。

根据本发明构思的另一方面，提供一种多层视频解码设备，该设备包括：解码画面缓冲器，被配置为存储解码画面；解析器，被配置为获得第二层画面的层间参考画面集(RPS)信息，其中，所述第二层画面具有与先前解码的第一层画面的POC相同的第一POC，并且是通过参考第一层画面而被层间预测的；解码画面缓冲器控制器，被配置为将第一层画面存储在解码画面缓冲器中，将第一层画面标记为短期参考画面，并基于层间RPS信息将被标记为短期参考画面的第一层画面标记为长期参考画面；以及视频解码器，被配置为对多层中所包括的画面进行解码，并通过参考被标记为长期参考画面的第一层画面来对第二层画面执行层间预测。

根据本发明构思的另一方面，提供一种多层视频编码方法，该方法包括：通过对多层中所包括的画面执行帧内预测、帧间预测和层间预测来确定所述多层中所包括的画面之间的参考关系；并基于所述参考关系来产生关于其它层中所包括的画面的层间参考画面集(RPS)信息，其中，层间RPS信息指示具有相同的画面顺序计数(POC)且包括在不同层中的画面之间的参考关系。

根据本发明构思的另一方面，提供一种多层视频编码设备，该设备包括：视频编码器，被配置为通过对多层中所包括的画面执行帧内预测、帧间预测和层间预测来确定所述多层中所包括的画面之间的参考关系；以及参考画面集(RPS)信息产生单元，被配置为基于所述参考关系来产生层间RPS信息，其中，层间RPS信息指示具有相同的画面顺序计数(POC)且包括在不同层中的画面之间的参考关系。

本发明构思的模式

现在将参照附图更充分地描述本发明构思，在附图中，示出了示例性实施例。

图1是根据本发明构思的示例性实施例的视频编码设备的框图。

根据示例性实施例的视频编码设备100包括最大编码单元划分器110、编码单元确定器120和输出单元130。

最大编码单元划分器110可基于最大编码单元来对当前画面进行划分，其中，最大编码单元是具有图像的当前画面的最大尺寸的编码单元。如果当前画面大于最大编码单元，则可将当前画面的图像数据划分成至少一个最大编码单元。根据示例性实施例的最大编码单元可以是尺寸为32×32、64×64、128×128或256×256等的数据单元，其中，该数据单元的形状是宽度和长度均等于2次幂并且大于8的正方形。图像数据可根据所述至少一个最大编码单元被输出到编码单元确定器120。

根据示例性实施例的编码单元可由最大尺寸和深度表征。深度表示编码单元从最大编码单元被空间划分的次数，并且随着深度加深，根据深度的较深层编码单元可从最大编码单元被划分到最小编码单元。最大编码单元的深度为最高深度，最小编码单元的深度为最低深度。由于随着最大编码单元的深度加深，与每个深度相应的编码单元的尺寸减小，因此与更高深度相应的编码单元可包括多个与更低深度相应的编码单元。

如上所述，当前画面的图像数据根据编码单元的最大尺寸被划分成最大编码单元，并且每个最大编码单元可包括根据深度被划分的较深层编码单元。由于根据深度对根据示例性实施例的最大编码单元进行划分，因此可根据深度对包括在最大编码单元中的空间域的图像数据进行分层地分类。

可预先设置编码单元的最大深度和最大尺寸，其中，所述最大深度和最大尺寸限制对最大编码单元的高度和宽度进行分层划分的总次数。

编码单元确定器120对通过根据深度对最大编码单元的区域进行划分而获得的至少一个划分区域进行编码，并根据所述至少一个划分区域来确定用于输出最终编码结果的深度。换言之，编码单元确定器120通过根据当前画面的最大编码单元以根据深度的较深层编码单元对图像数据进行编码，选择具有最小编码误差的深度，来确定编码深度。确定的编码深度和根据最大编码单元的图像数据被输出到输出单元130。

基于与等于或低于最大深度的至少一个深度相应的较深层编码单元，对最大编码单元中的图像数据进行编码，并且基于每个较深层编码单元来比较编码结果。在对较深层编码单元的编码误差进行比较之后，可选择具有最小编码误差的深度。可针对每个最大编码单元选择至少一个编码深度。

随着编码单元根据深度而被分层地划分并且编码单元的数量增加，最大编码单元的尺寸被划分。另外，即使在一个最大编码单元中编码单元与同一深度相应，也通过分别测量每个编码单元的数据的编码误差来确定是否将与同一深度相应的每个编码单元划分到更低深度。因此，即使当数据被包括在一个最大编码单元中时，根据深度的编码误差也可根据区域而不同，因此编码深度也可根据区域而不同。因此，可针对一个最大编码单元设置一个或更多个编码深度，并且可根据所述一个或更多个编码深度的编码单元来对最大编码单元的数据进行划分。

因此，根据示例性实施例的编码单元确定器120可确定包括在当前最大编码单元中的具有树结构的编码单元。根据本发明构思的示例性实施例的“具有树结构的编码单元”包括在最大编码单元中所包括的与深度相应的所有编码单元中的与确定为编码深度的深度相应的编码单元。可根据最大编码单元的相同区域中的深度来分层地确定编码深度的编码单元，并且可在不同区域中独立地确定编码深度的编码单元。类似地，可与另一区域的编码深度独立地确定当前区域中的编码深度。

根据示例性实施例的最大深度是与从最大编码单元到最小编码单元执行划分的次数有关的索引。根据示例性实施例的第一最大深度可表示从最大编码单元到最小编码单元执行划分的总次数。根据示例性实施例的第二最大深度可表示从最大编码单元到最小编码单元的深度等级的总数。例如，当最大编码单元的深度是0时，对最大编码单元划分一次的编码单元的深度可被设置为1，对最大编码单元划分两次的编码单元的深度可被设置为2。在这种情况下，如果最小编码单元是通过对最大编码单元划分四次而获得的编码单元，则存在深度0、1、2、3和4的5个深度等级，因此第一最大深度可被设置为4，第二最大深度可被设置为5。

可根据最大编码单元执行预测编码和频率变换。还根据最大编码单元，基于根据等于或小于最大深度的深度的较深层编码单元来执行预测编码和变换。

由于每当根据深度对最大编码单元进行划分时，较深层编码单元的数量增加，因此对随着深度加深而产生的所有较深层编码单元执行包括预测编码和频率变换的编码。为了便于描述，在至少一个最大编码单元中，现在将基于当前深度的编码单元来描述预测编码和频率变换。

根据示例性实施例的视频编码设备100可不同地选择用于对图像数据进行编码的数据单元的尺寸或形状。为了对图像数据进行编码，执行诸如预测编码、频率变换和熵编码的操作，此时，可针对所有操作使用相同的数据单元，或者可针对每个操作使用不同的数据单元。

例如，视频编码设备100不仅可选择用于对图像数据进行编码的编码单元，还可选择不同于编码单元的数据单元，以便对编码单元中的图像数据执行预测编码。

为了在最大编码单元中执行预测编码，可基于与编码深度相应的编码单元(即，基于不再被划分成与更低深度相应的编码单元的编码单元)来执行预测编码。在下文中，不再被划分且成为用于预测编码的基本单元的编码单元现在将被称为“预测单元”。通过划分预测单元而获得的分区可包括预测单元或者通过对预测单元的高度和宽度中的至少一个进行划分而获得的数据单元。

例如，当2N×2N(其中，N是正整数)的编码单元不再被划分时，编码单元可成为2N×2N的预测单元，并且分区的尺寸可以是2N×2N、2N×N、N×2N或N×N。分区类型的示例包括通过对预测单元的高度或宽度进行对称地划分而获得的对称分区、通过对预测单元的高度或宽度按照诸如1:n或n:1进行非对称地划分而获得的分区、通过对预测单元进行几何地划分而获得的分区以及具有任意形状的分区。

预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。例如，可对2N×2N、2N×N、N×2N或N×N的分区执行帧内模式或帧间模式。另外，可仅对2N×2N的分区执行跳过模式。可对编码单元中的一个预测单元独立地执行编码，从而选择具有最小编码误差的预测模式。

根据示例性实施例的视频编码设备100不仅可基于用于对图像数据进行编码的编码单元，还可基于与编码单元不同的数据单元，来对编码单元中的图像数据执行变换。

为了在编码单元中执行频率变换，可基于具有小于或等于编码单元的尺寸的数据单元来执行频率变换。例如，用于频率变换的数据单元可包括帧内模式的数据单元和帧间模式的数据单元。

在下文中，作为频率变换的基础的数据单元可被称为“变换单元”。类似于编码单元，编码单元中的变换单元可被递归地划分成更小尺寸的变换单元，因此，可基于根据变换深度的具有树结构的变换单元，对编码单元中的残差数据进行划分。

还可在根据示例性实施例的变换单元中设置变换深度，其中，变换深度指示通过对编码单元的高度和宽度进行划分来执行划分以到达变换单元的次数。例如，在2N×2N的当前编码单元中，当变换单元的尺寸是2N×2N时，变换深度可以是0，当变换单元的尺寸是N×N时，变换深度可以是1，当变换单元的尺寸是N/2×N/2时，变换深度可以是2。也就是说，还可根据变换深度设置具有树结构的变换单元。

根据与编码深度相应的编码单元的编码信息不仅需要关于编码深度的信息，还需要与预测和变换相关的信息。因此，编码单元确定器120不仅确定具有最小编码误差的编码深度，还确定预测单元中的分区类型、根据预测单元的预测模式和用于变换的变换单元的尺寸。

稍后将参照图3至图12详细描述根据示例性实施例的最大编码单元中的具有树结构的编码单元以及确定编码单元和分区的方法。

编码单元确定器120可通过使用基于拉格朗日乘数的率失真(RD)优化，来测量根据深度的较深层编码单元的编码误差。

输出单元130在比特流中输出最大编码单元的图像数据和关于根据编码深度的编码模式的信息，其中，最大编码单元的图像数据是基于由编码单元确定器120确定的至少一个编码深度而被编码的。

可通过对图像的残差进行编码来获得编码的图像数据。

关于根据编码深度的编码模式的信息可包括关于编码深度、预测单元中的分区类型、预测模式和变换单元的尺寸的信息。

可通过使用根据深度的划分信息来定义关于编码深度的信息，所述根据深度的划分信息指示是否对更低深度而不是当前深度的编码单元执行编码。如果当前编码单元的当前深度是编码深度，则对当前深度的当前编码单元执行编码，因此可定义划分信息以不将当前编码单元划分到更低深度。可选地，如果当前编码单元的当前深度不是编码深度，则对更低深度的编码单元执行编码，因此可定义划分信息以对当前编码单元进行划分来获得更低深度的编码单元。

如果当前深度不是编码深度，则对被划分成更低深度的编码单元的编码单元执行编码。由于更低深度的至少一个编码单元存在于当前深度的一个编码单元中，因此对更低深度的每个编码单元重复执行编码，因此可对具有相同深度的编码单元递归地执行编码。

由于针对一个最大编码单元确定具有树结构的编码单元，并且针对编码深度的编码单元确定关于至少一个编码模式的信息，所以可针对一个最大编码单元确定关于至少一个编码模式的信息。另外，由于根据深度对数据进行分层划分，因此最大编码单元的数据的编码深度可根据位置而不同，因此可针对数据设置关于编码深度和编码模式的信息。

因此，根据示例性实施例的输出单元130可将关于相应的编码深度和编码模式的编码信息分配给包括在最大编码单元中的编码单元、预测单元和最小单元中的至少一个。

根据示例性实施例的最小单元是通过将构成最低深度的最小编码单元划分成4份而获得的矩形数据单元。可选择地，最小单元可以是包括在最大编码单元中的所有编码单元、预测单元、分区单元和变换单元中可包括的最大矩形数据单元。

例如，通过输出单元130输出的编码信息可被分类为根据基于深度的较深层编码单元的编码信息和根据预测单元的编码信息。根据基于深度的较深层编码单元的编码信息可包括关于预测模式的信息和关于分区尺寸的信息。根据预测单元的编码信息可包括关于帧间模式的估计方向的信息、关于帧间模式的参考图像索引的信息、关于运动矢量的信息、关于帧内模式的色度分量的信息以及关于帧内模式的插值方法的信息。另外，针对每个画面、条带或画面组(GOP)定义的关于编码单元的最大尺寸的信息和关于最大深度的信息可被插入到比特流的头中。

在根据最简单的实施例的视频编码设备100中，较深层编码单元是通过将更高深度的编码单元(更高一层)的高度或宽度划分成两份而获得的编码单元。换言之，当当前深度的编码单元的尺寸是2N×2N时，更低深度的编码单元的尺寸是N×N。另外，尺寸为2N×2N的当前深度的编码单元可包括更低深度的最多4个编码单元。

因此，根据示例性实施例的视频编码设备100可基于考虑当前画面的特征而确定的最大编码单元的尺寸和最大深度，通过针对每个最大编码单元确定具有最优形状和最优尺寸的编码单元来形成具有树结构的编码单元。另外，由于可通过使用各种预测模式和变换中的任意一个对每个最大编码单元执行编码，因此可考虑各种图像尺寸的编码单元的图像特征来确定最优编码模式。

因此，如果以常规的宏块对具有高分辨率或大数据量的图像进行编码，则每个画面的宏块的数量极度增加。因此，针对每个宏块产生的压缩信息的条数增加，因此难以发送压缩的信息，并且数据压缩效率降低。然而，通过使用根据示例性实施例的视频编码设备100，由于在考虑图像的尺寸的同时增加编码单元的最大尺寸，并同时在考虑图像的特征的同时调整编码单元，因此可提高图像压缩效率。

图2是根据本发明构思的示例性实施例的基于具有树结构的编码单元的视频解码设备200的框图。

根据示例性实施例的视频解码设备200包括接收器210、图像数据和编码信息提取器220以及图像数据解码器230。在下文中，术语(诸如用于各种处理的编码单元、深度、预测单元、变换单元和关于各种编码模式的信息)的定义与参照图1和视频编码设备100描述的定义相同。

接收器205接收和解析编码视频的比特流。图像数据和编码信息提取器220从解析的比特流，针对每个编码单元提取编码的图像数据，并将提取的图像数据输出到图像数据解码器230，其中，编码单元具有根据每个最大编码单元的树结构。图像数据和编码信息提取器220可从关于当前画面的头提取关于当前画面的编码单元的最大尺寸的信息。

另外，图像数据和编码信息提取器220从解析的比特流，根据每个最大编码单元，提取关于具有树结构的编码单元的编码深度和编码模式的信息。提取的关于编码深度和编码模式的信息被输出到图像数据解码器230。换言之，比特流中的图像数据被划分成最大编码单元，使得图像数据解码器230针对每个最大编码单元对图像数据进行解码。

可针对关于至少一个编码深度的信息来设置关于根据最大编码单元的编码深度和编码模式的信息，关于根据每个编码深度的编码模式的信息可包括关于相应编码单元的分区类型的信息、关于预测模式的信息和关于变换单元的尺寸的信息。另外，根据深度的划分信息可被提取为关于编码深度的信息。

由图像数据和编码信息提取器220提取的关于根据每个最大编码单元的编码深度和编码模式的信息是关于这样的编码深度和编码模式的信息：该编码深度和编码模式被确定为在编码器(诸如，视频编码设备100)根据每个最大编码单元对根据深度的每个较深层编码单元重复地执行编码时产生最小编码误差。因此，视频解码设备200可通过根据产生最小编码误差的编码模式对数据进行解码来重构图像。

由于根据示例性实施例的关于编码深度和编码模式的编码信息可被分配给相应的编码单元、预测单元和最小单元中的预定数据单元，因此图像数据和编码信息提取器220可根据预定数据单元，提取关于编码深度和编码模式的信息。当关于相应最大编码单元的编码深度和编码模式的信息根据预定数据单元被记录时，可将具有相同的关于编码深度和编码模式的信息的预定数据单元推断为是包括在同一最大编码单元中的数据单元。

图像数据解码器230基于关于根据最大编码单元的编码深度和编码模式的信息，通过对每个最大编码单元中的图像数据进行解码，来重构当前画面。换言之，图像数据解码器230可基于提取的针对包括在每个最大编码单元中的具有树结构的编码单元之中的每个编码单元的关于分区类型、预测模式和变换单元的信息，对编码的图像数据进行解码。解码处理可包括预测(包含帧内预测和运动补偿)和逆变换。

图像数据解码器230可基于关于根据编码深度的编码单元的预测单元的分区类型和预测模式的信息，根据每个编码单元的分区和预测模式，执行帧内预测或运动补偿。

另外，为了根据最大编码单元执行逆频率变换，图像数据解码器230可基于编码单元中的每个变换单元执行逆频率变换。

图像数据解码器230可通过使用根据深度的划分信息来确定当前最大编码单元的编码深度。如果划分信息指示图像数据在当前深度中不再被划分，则当前深度是编码深度。因此，图像数据解码器230可通过使用当前最大编码单元的图像数据的关于预测单元的分区类型的信息、关于预测模式的信息和关于变换单元的尺寸的信息，对当前深度的编码数据进行解码。

换言之，可通过观察分配给编码单元、预测单元和最小单元中的预定数据单元的编码信息集来收集包含包括相同划分信息的编码信息的数据单元，并且收集的数据单元可被认为是将由图像数据解码器230以相同编码模式进行解码的一个数据单元。

根据示例性实施例的视频解码设备200可获得关于当针对每个最大编码单元递归地执行编码时产生最小编码误差的编码单元的信息，并且可使用所述信息来对当前画面进行解码。换言之，被确定为每个最大编码单元中的最优编码单元的具有树结构的编码单元的编码的图像数据可被解码。

因此，即使图像数据具有高分辨率和大数据量，也可使用从编码器接收到的关于最优编码模式的信息，根据图像的特征自适应地确定的编码单元的尺寸和编码模式来高效地对图像数据进行解码和重构。

在下文中，将参照图3至图13描述根据本发明构思的示例性实施例的确定具有树结构的编码单元、预测单元和变换单元的方法。

图3是用于描述分层编码单元的概念的示图。

编码单元的尺寸可被表示为“宽度×高度”，编码单元的尺寸的示例可包括64×64、32×32、16×16和8×8。64×64的编码单元可被划分成64×64、64×32、32×64或32×32的分区，32×32的编码单元可被划分成32×32、32×16、16×32或16×16的分区，16×16的编码单元可被划分成16×16、16×8、8×16或8×8的分区，8×8的编码单元可被划分成8×8、8×4、4×8或4×4的分区。

在视频数据310中，分辨率被设置为1920×1080，编码单元的最大尺寸被设置为64，最大深度被设置为2。在视频数据320中，分辨率被设置为1920×1080，编码单元的最大尺寸被设置为64，最大深度被设置为3。在视频数据330中，分辨率被设置为352×288，编码单元的最大尺寸被设置为16，最大深度被设置为1。图3中示出的最大深度表示从最大编码单元到最小解码单元的划分总次数。

如果分辨率高或数据量大，则编码单元的最大尺寸可能较大，从而不仅提高编码效率，而且准确地反映图像的特征。因此，具有比视频数据330更高分辨率的视频数据310和320的编码单元的最大尺寸可以是64。

由于视频数据310的最大深度是2，因此由于通过对最大编码单元划分两次，深度加深至两层，因此视频数据310的编码单元315可包括长轴尺寸为64的最大编码单元以及长轴尺寸为32和16的编码单元。同时，由于视频数据330的最大深度是1，因此由于通过对最大编码单元划分一次，深度加深至一层，因此视频数据330的编码单元335可包括长轴尺寸为16的最大编码单元和长轴尺寸为8的编码单元。

由于视频数据320的最大深度是3，因此由于通过对最大编码单元划分三次，深度加深至3层，因此视频数据320的编码单元325可包括长轴尺寸为64的最大编码单元以及长轴尺寸为32、16和8的编码单元。随着深度加深，详细信息可被更精确地表达。

图4是根据本发明构思的示例性实施例的基于编码单元的图像编码器的框图。

根据示例性实施例的图像编码器400执行视频编码设备100的编码单元确定器120的操作来对图像数据进行编码。换言之，帧内预测器410对当前帧405中的帧内模式下的编码单元执行帧内预测，运动估计器420和运动补偿器425通过使用当前帧405和参考帧495，对当前帧405中的帧间模式下的编码单元执行帧间估计和运动补偿。

从帧内预测器410、运动估计器420和运动补偿器425输出的数据通过频率变换器430和量化器440被输出为量化后的变换系数。具体地，当执行双向运动预测和补偿时，根据本发明构思的示例性实施例的运动估计器420和运动补偿器425除了通过基于块执行双向运动预测和补偿而获得的结果之外还以像素为单位执行双向运动补偿。下面将参照图14详细描述这。

量化后的变换系数通过反量化器460和逆变换器470被重构为空间域中的数据，重构的空间域中的数据在通过去块单元480和环路滤波单元490后处理之后被输出为参考帧495。量化后的变换系数可通过熵编码器450被输出为比特流455。

为了将图像编码器400应用于根据示例性实施例的视频编码设备100中，图像编码器400的所有元件(即，帧内预测器410、运动估计器420、运动补偿器425、频率变换器430、量化器440、熵编码器450、反量化器460、逆变换器470、去块单元480和环路滤波单元490)必须在考虑每个最大编码单元的最大深度的同时，基于具有树结构的编码单元中的每个编码单元执行操作。

具体地，帧内预测器410、运动估计器420和运动补偿器425必须在考虑当前最大编码单元的最大尺寸和最大深度的同时，确定具有树结构的编码单元中的每个编码单元的分区和预测模式，频率变换器430必须确定具有树结构的编码单元中的每个编码单元中的变换单元的尺寸。

图5是根据本发明构思的示例性实施例的基于编码单元的图像解码器的框图。

解析器510从比特流505解析将被解码的编码的图像数据和解码所需的关于编码的信息。编码图像数据通过熵解码器520和反量化器530被输出为反量化的数据，反量化的数据通过逆变换器540被重构为空间域中的图像数据。

针对空间域中的图像数据，帧内预测器550对帧内模式下的编码单元执行帧内预测，运动补偿器560通过使用参考帧585对帧间模式下的编码单元执行运动补偿。具体地，根据本发明构思的示例性实施例的运动补偿器560在执行双向运动补偿时，除了通过基于块执行双向运动补偿而获得的结果之外还以像素为单位执行双向运动补偿。下面将参照图14详细描述这。

通过帧内预测器550和运动补偿器560的空间域中的数据可在通过去块滤波器570和环路滤波单元580后处理之后被输出为重构帧595。另外，通过去块滤波器570和环路滤波单元580后处理的数据可被输出为参考帧585。

为了在视频解码设备200的图像数据解码器230中对图像数据进行解码，图像解码器500可执行在解析器510的操作被执行之后执行的操作。

为了将图像解码器500应用到根据示例性实施例的视频解码设备200中，图像解码器500的所有元件(即，解析器510、熵解码器520、反量化器530、逆变换器540、帧内预测器550、运动补偿器560、去块滤波器570和环路滤波单元580)必须针对每个最大编码单元，基于具有树结构的编码单元执行操作。

具体地，帧内预测器550和运动补偿器560必须针对具有树结构的编码单元中的每一个确定分区和预测模式，逆变换器540必须对于每个编码单元确定变换单元的尺寸。

图6是示出根据本发明构思的示例性实施例的根据深度的编码单元以及分区的示图。

根据示例性实施例的视频编码设备100和根据示例性实施例的视频解码设备200使用分层编码单元以考虑图像的特征。可根据图像的特征自适应地确定编码单元的最大高度、最大宽度和最大深度，或可由用户不同地设置编码单元的最大高度、最大宽度和最大深度。可根据编码单元的预先设置的最大尺寸来确定根据深度的较深层编码单元的尺寸。

在根据示例性实施例的编码单元的分层结构600中，编码单元的最大高度和最大宽度均是64，最大深度是4。由于深度沿着根据示例性实施例的编码单元的分层结构600的垂直轴加深，因此较深层编码单元的高度和宽度均被划分。另外，预测单元和分区沿着编码单元的分层结构600的水平轴被示出，其中，所述预测单元和分区是对每个较深层编码单元进行预测编码的基础。

换言之，在编码单元的分层结构600中，编码单元610是最大编码单元，其中，深度为0，尺寸(即，高度乘宽度)为64×64。深度沿着垂直轴加深，存在尺寸为32×32和深度为1的编码单元620、尺寸为16×16和深度为2的编码单元630、尺寸为8×8和深度为3的编码单元640、尺寸为4×4和深度为4的编码单元650。尺寸为4×4和深度为4的编码单元650是最小编码单元。

编码单元的预测单元和分区根据每个深度沿着水平轴被排列。换言之，如果尺寸为64×64和深度为0的编码单元610是预测单元，则可将预测单元划分成包括在编码单元610中的分区，即，尺寸为64×64的分区610、尺寸为64×32的分区612、尺寸为32×64的分区614或尺寸为32×32的分区616。

类似地，可将尺寸为32×32和深度为1的编码单元620的预测单元划分成包括在编码单元620中的分区，即，尺寸为32×32的分区620、尺寸为32×16的分区622、尺寸为16×32的分区624和尺寸为16×16的分区626。

类似地，可将尺寸为16×16和深度为2的编码单元630的预测单元划分成包括在编码单元630中的分区，即，包括在编码度单元630中的尺寸为16×16的分区、尺寸为16×8的分区632、尺寸为8×16的分区634和尺寸为8×8的分区636。

类似地，可将尺寸为8×8和深度为3的编码单元640的预测单元划分成包括在编码单元640中的分区，即，包括在编码单元640中的尺寸为8×8的分区、尺寸为8×4的分区642、尺寸为4×8的分区644和尺寸为4×4的分区646。

最后，尺寸为4×4和深度为4的编码单元650是最小编码单元和最低深度的编码单元，并且其预测单元也可被设置为尺寸仅为4×4的分区650。

为了确定最大编码单元610的编码深度，根据示例性实施例的视频编码设备100的编码单元确定器120必须对与包括在最大编码单元610中的与每个深度相应的编码单元执行编码。

随着深度加深，包括相同范围和相同尺寸的数据的根据深度的较深层编码单元的数量增加。例如，需要四个与深度2相应的编码单元来覆盖包括在与深度1相应的一个编码单元中的数据。因此，为了根据深度比较对相同数据进行编码的结果，与深度1相应的编码单元和四个与深度2相应的编码单元必须均被编码。

为了根据每个深度执行编码，可沿着编码单元的分层结构600的水平轴，通过对较深层编码单元中的每个预测单元执行编码，来选择作为相应深度中的最小编码误差的代表性编码误差。可选地，随着深度沿着编码单元的分层结构600的垂直轴加深，可通过针对每个深度执行编码，比较根据深度的代表性编码误差，来搜索最小编码误差。在最大编码单元610中的具有最小编码误差的深度和分区可被选为最大编码单元610的编码深度和分区类型。

图7是用于描述根据本发明构思的示例性实施例的编码单元710与变换单元720之间的关系的示图。

根据示例性实施例的视频编码设备100或根据示例性实施例的视频解码设备200针对每个最大编码单元，根据具有小于或等于最大编码单元的尺寸的编码单元，对图像进行编码或解码。可基于不大于相应的编码单元的数据单元，来选择用于在编码期间进行频率变换的变换单元的尺寸。

例如，在根据示例性实施例的视频编码设备100或根据示例性实施例的视频解码设备200中，如果当前编码单元710的尺寸是64×64，则可通过使用尺寸为32×32的变换单元720来执行频率变换。

另外，可通过对小于64×64的尺寸为32×32、16×16、8×8和4×4的每个变换单元执行频率变换，来对尺寸为64×64的编码单元710的数据进行编码，然后可选择相对于原始数据而言具有最小误差的变换单元。

图8是用于描述根据本发明构思的示例性实施例的与编码深度相应的编码单元的编码信息的示图。

根据示例性实施例的视频编码设备100的输出单元130可对与编码深度相应的每个编码单元的关于分区类型的信息800、关于预测模式的信息810以及关于变换单元尺寸的信息820进行编码，并将信息800、信息810和信息820作为关于编码模式的信息来发送。

关于分区类型的信息800指示关于通过划分当前编码单元的预测单元而获得的分区的形状的信息，其中，所述分区是用于对当前编码单元进行预测编码的数据单元。例如，可将尺寸为2N×2N的当前编码单元CU_0划分成以下分区中的任意一个：尺寸为2N×2N的分区802、尺寸为2N×N的分区804、尺寸为N×2N的分区806以及尺寸为N×N的分区808。这里，关于当前编码单元的分区类型的信息800被设置以指示尺寸为2N×N的分区804、尺寸为N×2N的分区806以及尺寸为N×N的分区808中的一个。

关于预测模式的信息810指示每个分区的预测模式。例如，关于预测模式的信息810可指示对由信息800指示的分区执行的预测编码的模式，即，帧内模式812、帧间模式814或跳过模式816。

另外，关于变换单元的尺寸的信息820指示当对当前编码单元执行频率变换时所基于的变换单元。例如，变换单元可以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变换单元826或第二帧内变换单元828。

根据示例性实施例的视频解码设备200的图像数据和编码信息提取器210可根据每个较深层编码单元，提取并使用关于分区类型的信息800、关于预测模式的信息810以及关于变换单元的尺寸的信息820以用于解码。

图9是根据本发明构思的示例性实施例的根据深度的编码单元的示图。

划分信息可用来指示深度的改变。划分信息指示当前深度的编码单元是否被划分成更低深度的编码单元。

用于对深度为0和尺寸为2N_0×2N_0的编码单元900进行预测编码的预测单元910可包括以下分区类型的分区：尺寸为2N_0×2N_0的分区类型912、尺寸为2N_0×N_0的分区类型914、尺寸为N_0×2N_0的分区类型916和尺寸为N_0×N_0的分区类型918。图9仅示出了通过对称地划分预测单元910而获得的分区类型912至918，但是分区类型不限于此，并且预测单元910的分区可包括非对称分区、具有预定形状的分区和具有几何形状的分区。

根据每种分区类型，必须对尺寸为2N_0×2N_0的一个分区、尺寸为2N_0×N_0的两个分区、尺寸为N_0×2N_0的两个分区和尺寸为N_0×N_0的四个分区重复地执行预测编码。可对尺寸为2N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的分区执行帧内模式和帧间模式下的预测编码。可仅对尺寸为2N_0×2N_0的分区执行跳过模式下的预测编码。

如果在尺寸为2N_0×2N_0、2N_0×N_0和N_0×2N_0的分区类型912至916中的一个分区类型中编码误差最小，则可不再将预测单元910划分到更低深度。

如果在尺寸为N_0×N_0的分区类型918中编码误差最小，则深度从0改变到1以在操作920中划分分区类型918，并且可对深度为2和尺寸为N_0×N_0的编码单元930重复地执行编码来搜索最小编码误差。

用于对深度为1和尺寸为2N_1×2N_1(＝N_0×N_0)的编码单元930进行预测编码的预测单元940可包括以下分区类型的分区：尺寸为2N_1×2N_1的分区类型942、尺寸为2N_1×N_1的分区类型944、尺寸为N_1×2N_1的分区类型946以及尺寸为N_1×N_1的分区类型948。

如果在尺寸为N_1×N_1的分区类型948中编码误差最小，则深度可从1改变到2以在操作950中划分分区类型948，并且可对深度为2和尺寸为N_2×N_2的编码单元960重复执行编码来搜索最小编码误差。

当最大深度是d时，根据每个深度的划分操作可被执行直到深度变为d-1，并且划分信息可被设置直到深度变为d-2。换言之，在与深度d-2相应的编码单元在操作970中被划分之后编码被执行直到当深度是d-1时，用于对深度为d-1和尺寸为2N_(d-1)×2N_(d-1)的编码单元980进行预测编码的预测单元990可包括以下分区类型的分区：尺寸为2N_(d-1)×2N(d-1)的分区类型992、尺寸为2N_(d-1)×N(d-1)的分区类型994、尺寸为N_(d-1)×2N(d-1)的分区类型996和尺寸为N_(d-1)×N(d-1)的分区类型998。

可对分区类型992至998中的尺寸为2N_(d-1)×2N_(d-1)的一个分区、尺寸为2N_(d-1)×N_(d-1)的两个分区、尺寸为N_(d-1)×2N_(d-1)的两个分区、尺寸为N_(d-1)×N_(d-1)的四个分区重复地执行预测编码，以搜索具有最小编码误差的分区类型。

即使当尺寸为N_(d-1)×N_(d-1)的分区类型998具有最小编码误差时，由于最大深度是d，因此深度为d-1的编码单元CU_(d-1)也可不再被划分到更低深度，当前最大编码单元900的编码深度可被确定为d-1，并且当前最大编码单元900的分区类型可被确定为N_(d-1)×N(d-1)。另外，由于最大深度是d，因此不设置深度为d-1的编码单元952的划分信息。

数据单元999可被称为用于当前最大编码单元的“最小单元”。根据示例性实施例的最小单元可以是通过将具有最低编码深度的最小编码单元划分成4份而获得的正方形数据单元。通过重复地执行编码，根据示例性实施例的视频编码设备100可通过比较根据编码单元900的深度的编码误差来选择具有最小编码误差的深度以确定编码深度，并且可将相应分区类型和预测模式设置为编码深度的编码模式。

这样，在所有深度0,1,…,d中对根据深度的最小编码误差进行比较，并且具有最小编码误差的深度可被确定为编码深度。编码深度、预测单元的分区类型和预测模式可作为关于编码模式的信息被编码并发送。另外，由于编码单元必须从0的深度被划分到编码深度，因此仅编码深度的划分信息必须被设置为0，并且除了编码深度以外的深度的划分信息必须被设置为1。

根据示例性实施例的视频解码设备200的图像数据和编码信息提取器220可提取并使用关于编码单元900的编码深度和预测单元的信息，来对编码单元912进行解码。根据示例性实施例的视频解码设备200可通过使用根据深度的划分信息，将划分信息为0的深度确定为编码深度，并且可使用关于相应深度的编码模式的信息来进行解码。

图10至图12是用于描述根据本发明构思的示例性实施例的编码单元、预测单元和频率变换单元之间的关系的示图。

编码单元1010是最大编码单元中的与由根据示例性实施例的视频编码设备100确定的编码深度相应的编码单元。预测单元1060是每个编码单元1010的预测单元的分区，变换单元1070是每个编码单元的变换单元。

当在编码单元1010中最大编码单元的深度是0时，编码单元1012和编码单元1054的深度是1，编码单元1014、1016、1018、1028、1050和1052的深度是2，编码单元1020、1022、1024、1026、1030、1032和1048的深度是3，编码单元1040、1042、1044和1046的深度是4。

在预测单元1060中，通过划分编码单元来获得一些分区1014、1016、1022、1032、1048、1050、1052和1054。换言之，分区1014、1022、1050和1054中的分区类型的尺寸是2N×N，分区1016、1048和1052中的分区类型的尺寸是N×2N，分区1032的分区类型的尺寸是N×N。编码单元1010的预测单元和分区小于或等于每个编码单元。

在小于编码单元1052的数据单元中的变换单元1070中，对编码单元1052的图像数据执行频率变换或逆频率变换。另外，在尺寸和形状方面，变换单元1014、1016、1022、1032、1048、1050、1052和1054不同于预测单元1060中的变换单元。换言之，根据示例性实施例的视频编码设备100和根据示例性实施例的视频解码设备200可对甚至同一编码单元中的数据单元独立地执行帧内预测/运动估计/运动补偿以及频率变换/逆频率变换。

因此，对最大编码单元的每个区域中的具有分层结构的每个编码单元递归地执行编码来确定最优编码单元，从而可获得具有递归树结构的编码单元。编码信息可包括关于编码单元的划分信息、关于分区类型的信息、关于预测模式的信息和关于变换单元的尺寸的信息。表1示出可由根据示例性实施例的视频编码设备100和根据示例性实施例的视频解码设备200设置的编码信息。

[表1]

根据示例性实施例的视频编码设备100的输出单元130可输出关于具有树结构的编码单元的编码信息，根据示例性实施例的视频解码设备200的图像数据和编码信息提取器220可从接收到的比特流提取关于具有树结构的编码单元的编码信息。

划分信息指示是否将当前编码单元划分成更低深度的编码单元。如果当前深度d的划分信息是0，则当前编码单元不再被划分成更低深度的深度是编码深度，从而可针对所述编码深度来定义关于分区类型、预测模式和变换单元的尺寸的信息。如果当前编码单元根据划分信息被进一步划分，则对更低深度的四个划分编码单元独立地执行编码。

预测模式可以是帧内模式、帧间模式和跳过模式中的一种。可在所有分区类型中定义帧内模式和帧间模式，仅在尺寸为2N×2N的分区类型中定义跳过模式。

关于分区类型的信息可指示通过对称地划分预测单元的高度或宽度而获得的尺寸为2N×2N、2N×N、N×2N和N×N的对称分区类型，以及通过非对称地划分预测单元的高度或宽度而获得的尺寸为2N×nU、2N×nD、nL×2N和nR×2N的非对称分区类型。可通过按1:3和3:1来划分预测单元的高度来分别获得尺寸为2N×nU和2N×nD的非对称分区类型，可通过按1:3和3:1来划分预测单元的宽度来分别获得尺寸为nL×2N和nR×2N的非对称分区类型。

可将变换单元的尺寸设置成帧内模式下的两种类型和帧间模式下的两种类型。换言之，如果变换单元的划分信息是0，则变换单元的尺寸可被设置为2N×2N，即当前编码单元的尺寸。如果变换单元的划分信息是1，则可通过对当前编码单元进行划分来获得变换单元。另外，如果尺寸为2N×2N的当前编码单元的分区类型是对称分区类型时，则变换单元的尺寸可被设置为N×N，如果当前编码单元的分区类型是非对称分区类型，则变换单元的尺寸可被设置为N/2×N/2。

根据示例性实施例的关于具有树结构的编码单元的编码信息可被分配给与编码深度相应的编码单元、预测单元和最小单元中的至少一个。与编码深度相应的编码单元可包括包含相同编码信息的预测单元和最小单元中的至少一个。

因此，通过比较邻近数据单元的编码信息来确定邻近数据单元是否被包括在与编码深度相应的同一编码单元中。另外，通过使用数据单元的编码信息来确定与编码深度相应的相应编码单元，并因此可确定最大编码单元中的编码深度的分布。

因此，如果通过参考邻近数据单元对当前编码单元进行预测，则可直接参考并使用与当前编码单元邻近的较深层编码单元中的数据单元的编码信息。

可选地，如果通过参考邻近数据单元对当前编码单元进行预测编码，则可通过使用数据单元的编码信息来搜索较深层编码单元中的与当前编码单元邻近的数据单元，并可参考搜索到的邻近编码单元以用于对当前编码单元进行预测编码。

图13是用于描述根据表1的编码模式信息的编码单元、预测单元和变换单元之间的关系的示图。

最大编码单元1300包括根据编码深度的编码单元1302、1304、1306、1312、1314、1316和1318。这里，由于编码单元1318是根据编码深度的编码单元，因此划分信息可被设置成0。可将关于尺寸为2N×2N的编码单元1318的分区类型的信息设置成以下分区类型中的一种：尺寸为2N×2N的分区类型1322、尺寸为2N×N的分区类型1324、尺寸为N×2N的分区类型1326、尺寸为N×N的分区类型1328、尺寸为2N×nU的分区类型1332、尺寸为2N×nD的分区类型1334、尺寸为nL×2N的分区类型1336以及尺寸为nR×2N的分区类型1338。

例如，当分区类型被设置成对称(即，分区类型1322、1324、1326或1328)时，如果变换单元的划分信息(TU尺寸标记)是0，则设置尺寸为2N×2N的变换单元1342，如果TU尺寸标记是1，则设置尺寸为N×N的变换单元1344。

当分区类型被设置成非对称(即，分区类型1332、1334、1336或1338)时，如果TU尺寸标记是0，则设置尺寸为2N×2N的变换单元1352，如果TU尺寸标记是1，则设置尺寸为N/2×N/2的变换单元1354。

参照图1至图13描述的包括具有树结构的编码单元的最大编码单元可被各式各样地称为编码块树、块树、根块树、编码树、编码根或树干。

将参照图14至图22描述用于对多层视频进行编码的方法和设备以及用于对多层视频进行解码的方法和设备。在下文中，术语“图像”可以是指静止图像或运动画面，即，视频本身。另外，编码顺序是在编码器侧对图像进行处理所根据的顺序，解码顺序是在解码器侧对图像进行处理所根据的顺序。编码顺序和解码顺序是相同的。

图14是根据本发明构思的多层视频解码设备的框图。

参照图14，多层视频编码设备1400包括视频编码器1410和参考画面集(RPS)信息产生单元1420。

视频编码器1410接收多层视频，并对该多层视频进行编码。视频编码器1410对应于对输入视频本身的编码进行处理的视频编码层。

如以上参照图1至图13所述，根据示例性实施例的视频编码器1410将多层视频中所包括的每个画面划分成均具有最大尺寸的最大编码单元，将每个划分的最大编码单元再划分成编码单元，并基于这些编码单元对每个画面进行编码。编码单元具有最大编码单元根据深度被分层划分的树结构。视频编码器1410通过使用预测单元来对编码单元执行预测，并通过使用作为预测值和原始信号之间的差值的残差来对编码单元进行变换。

多层视频可以是多视点视频或可伸缩视频。当多层视频是多视点视频时，视频编码器1410将n个(其中，n是整数)图像序列中的每个作为一个层进行编码。当多层视频是可伸缩视频时，视频编码器1410对基本层的图像序列和增强层的图像序列中的每个进行编码。

多层视频的数据量多于单层视频的数据量。因此，视频编码器1410可通过使用多层视频中所包括的各层的图像之间的相关性来执行预测编码。换言之，视频编码器1410可通过参考其它层的图像来对各层的图像进行预测编码。通过参考与当前层的图像不同的其它层的图像而执行的预测过程被定义为层间预测。

作为示例，视频编码器1410可执行用于参考基本视点图像来预测附加视点图像的视点间预测。另外，视频编码器1410可执行用于参考预定的附加视点图像来预测其它附加视点图像的视点间预测。根据视点间预测，可产生当前图像和参考图像之间的视差以及作为当前图像和参考图像之间的差分量的残差。如上所述，可基于具有树结构的编码单元、预测单元或变换单元来执行层间预测。

视频编码器1410可在同一层的图像内执行帧间预测和帧内预测，或者在使用其它层的图像的情况下，可经由层间预测来预测多层中所包括的画面之间的关系。另外，视频编码器1410可通过对通过帧间预测、帧内预测和层间预测而产生的预测信号与原始信号之间的差进行变换和量化来执行编码。通过视频编码层(VCL)中的这样的编码过程，视频编码器1410输出与编码单元相关的残差信息、预测模式信息以及与编码单元的预测编码相关的附加信息。

图18示出根据示例性实施例的层间预测结构的示例。

如上所述，根据示例性实施例实施例的多层视频编码设备1400可执行层间预测，其中，在对各层的画面进行预测编码时，其它层的画面被参考。例如，图18的层间预测结构1800表示用于对由中心视点的第一层图像、左视点的第二层图像和右视点的第三层图像构成的立体图像序列进行预测编码的预测结构。在图18中，箭头表示每个画面的参考方向。例如，第一层的I画面41用作第二层的P画面141和第三层的P画面241的参考画面。另外，具有相同POC顺序的图像被垂直布置。图像的POC顺序指示构成视频的画面的输出顺序或再现顺序。在层间预测结构1800中，“POC#”指示位于相应列中的画面的相对输出顺序。视点图像的四个连续图像构成用于每个视点的单个画面组(GOP)。每个GOP包括连续的锚画面和单个关键画面之间的图像。GOP中所包括的图像的数量和配置可被修改。

锚画面是随机存取点，关于这一点，当从根据视频的再现顺序(即，根据POC顺序)布置的图像选择预定再现位置时，POC顺序最靠近再现位置的锚画面被再现。第一层图像包括基本视点锚画面41、42、43、44和45，第二层图像包括左视点锚画面141、142、143、144和145，第三层图像包括右视点锚画面241、242、243、244和245。如图18所示，可对多层中所包括的画面执行层间预测，其中，在层间预测中，不仅同一层的画面被参考，其它层的图像也被参考。

视频编码器1410对多层中所包括的画面之中的被设置用于随机访问的随机访问点(RAP)画面进行编码。RAP的示例是瞬时解码刷新(instantanous decoding refresh)(IDR)画面、纯净随机访问(clean random access)(CRA)画面、断链访问(broken linkaccess)(BLA)画面、时间子层访问(TSA)画面以及逐步时间子层访问(STSA)画面。通过帧内预测而不参考其它画面，对RAP画面进行编码。视频编码器1410可仅对多层中所包括的画面之中的不是RAP画面(非RAP画面)的画面执行层间预测。然而，RAP画面可用作其它层的参考画面。

视频编码器1410可通过帧内预测、帧间预测和层间预测来确定多层中所包括的画面之间的参考关系。也就是说，视频编码器1410可确定当对多层中所包括的每个画面进行预测编码时哪个画面被参考。可基于率失真成本来确定被每个画面参考的最优参考画面，或者可根据视频编码器1410预设的编码规则来确定输入图像序列之间的参考关系。

为了使解码器对图像进行重建，关于由通过帧间预测或层间预测而编码的画面所参考的参考画面的信息必须被发送。因此，RPS信息产生单元1420产生关于由多层中所包括的每个画面所参考的参考画面的RPS信息，并输出该RPS信息。RPS信息可以是指示先前被重建并被存储在解码画面缓冲器(DPB)中的画面是否被用作当前画面和在当前画面之后的画面的参考画面。根据示例性实施例的RPS信息包括第一短期RPS信息(RefPicSetStCurrBefore)、第二短期RPS信息(RefPicSetStCurrAfter)、第三短期RPS信息(RefPicSetStFoll)、第一长期RPS信息(RefPicSetLtCurr)以及第二长期RPS信息(RefPicSetLtFoll)。具体地，根据示例性实施例的RPS信息还包括层间RPS信息，其中，层间RPS信息指示关于同一访问单元(AU)中所包括的画面之间的层间预测的参考关系，并通过考虑在多层视频中被层间预测的参考关系而被发送。层间RPS信息可包括这样的信息：该信息指示具有与当前画面相同的POC的包括在其它层中且先前被存储在DPB中的画面是否用作对当前画面进行层间预测的参考画面。根据示例性实施例的RPS信息可被包括在每个画面的条带头中并被发送。稍后将详细描述RPS信息。

图15是根据示例性实施例的多层视频编码方法的流程图。

参照图14和图15，在操作1510，视频编码器1410对多层中所包括的画面执行帧内预测、帧间预测和层间预测，并确定多层中所包括的画面之间的参考关系。

在操作1520，RPS信息产生单元1420基于多层画面之间的参考关系、编码顺序和输出顺序，来产生并输出作为被每个画面参考的参考画面信息的RPS信息。如上所述，每个画面的RPS信息可被包括在每个画面的条带头中并被发送。RPS信息产生单元1420可产生第一短期PRS信息(RefPicSetStCurrbefore)、第二短期RPS信息(RefPicSetStAfter)、第三短期RPS信息(RefPicSetStFoll)、第一长期RPS信息(RefPicSetLtCurr)以及第二长期RPS信息(RefPicSetLtFoll)，并将这些信息添加到当前画面的条带头。另外，RPS信息产生单元1420可产生关于具有与当前画面相同的POC的包括在其它层中且在对当前画面进行层间预测期间被参考的参考画面的层间RPS信息，并将该层间RPS信息添加到当前画面的条带头。

图16是示出根据示例性实施例的多层视频解码设备的框图。

参照图16，多层视频解码设备1600包括解析器1605、视频解码器1610、DPB 1620以及DPB控制器1630。

解析器1605接收编码比特流，并从该比特流获得视频参数集(VPS)、序列参数集(SPS)、画面参数集(PPS)、条带以及SEI消息。具体地，解析器1605从该比特流获得用于确定编码多层中所包括的画面之间的参考关系的RPS信息。RPS信息被包括在每个画面的条带头中，并且在每个画面的解码过程之前首先被编码。就层间预测而言，RPS信息可包括指示多层中的包括在一个访问单元中且具有相同POC的画面之间的参考关系的层间RPS信息。也就是说，RPS信息包括关于在层间预测期间被每个画面参考的参考画面的信息。此外，RPS信息可包括第一短期RPS信息(RefPicSetStCurrBefore)、第二短期RPS信息(RefPicSetStCurrAfter)、第三短期RPS信息(RefPicSetStFoll)、第一长期RPS信息(RefPicSetLtCurr)以及第二长期RPS信息(RefPicSetLtFoll)。

视频解码器1610对多层中所包括的画面进行解码。视频解码器1610基于从比特流获得的RPS信息来确定多层画面之间的参考关系，并根据每个画面的解码模式对每个画面进行解码。视频解码器1120可基于具有树结构的编码单元来对多层视频进行解码。

被视频解码器1610解码的画面被存储在DPB 1620中。当解码的画面最初被存储在DPB 1620中时，DPB控制器1630将被解码的画面默认地标记为短期参考画面。可基于随后被解码的画面的条带头中所包括的RPS信息来将被标记为短期参考画面的画面标记为长期参考画面或不用于参考的画面。

根据示例性实施例，可通过参考先前被编码然后被重建的其它层的画面来预测通过层间预测而被编码的画面。第一层画面可以首先被解码并被存储在DPB 1620中，DPB控制器1630将第一层画面默认地标记为短期参考画面。当具有与第一层相同的POC的第二层画面是通过参考第一层画面而被层间预测的时，尝试参考存储在DPB 1620中的第一层画面以对第二层画面进行解码。当进行这样的尝试时，DPB控制器1630基于第二层画面的层间RPS信息来将被标记为短期参考画面的第一层画面标记为长期参考画面。详细地，DPB控制器1630在对第二层画面进行解码之前从第二层画面的条带头获得关于在层间预测期间被第二层画面和在第二层画面之后解码的画面使用的参考画面的信息。如果被标记为短期参考画面并被存储在DBP 1620中的第一层画面包括在层间RPS信息中，则DPB控制器1630将第一层画面标记为长期参考画面。也就是说，当第一层画面用作在对其它层画面进行层间预测期间的参考画面时，DPB控制器1630将第一层画面的短期参考状态修改为长期参考状态。

如上所述，默认地被标记为短期参考画面的第一层画面在被用作层间预测期间的参考画面时变为长期参考画面的原因是因为当将被标记为短期参考画面的画面用作参考画面时，在基于POC差对预测运动矢量进行缩放的过程期间产生误差。例如，当预测运动矢量是mvp，当前画面的POC是POC1并且短期参考画面的POC是POC2时，通过包括使用POC差值的除法过程(如(mvp/(POC1-POC2)))的缩放来获得当前画面参考短期参考画面的运动矢量。然而，在层间预测期间，由于当前画面的POC和参考画面的POC相同，所以(POC1-POC2)的值为0。因此，当具有与当前画面相同的POC的参考画面用作短期参考画面时，在确定当前画面的运动矢量时会产生误差。然而，当使用被标记为长期参考画面的参考画面时，不是通过缩放过程来获得运动矢量，而是使用附加信息来获得当前画面的运动矢量。因此，当解码的当前画面通过参考其它层中的具有相同POC的画面而被层间预测时，DPB控制器1630将被标记为短期参考画面的参考画面改变为长期参考画面。

视频解码器1610通过参考被标记为长期参考画面的第一层画面对第二层画面执行层间预测，来重建第二层画面。当在第一层画面和第二层画面被解码的当前访问单元之后紧接着的访问单元中所包括的画面被解码时，从该下一个访问单元中所包括的画面的条带头获得RPS信息。DPB控制器1630可基于RPS信息来确定被标记为长期参考画面的第一层画面是否用作其它画面的参考画面，并且可保持第一层画面的长期参考画面状态或者将参考状态变为不使用参考状态。

图17是根据示例性实施例的多层视频解码方法的流程图。

参照图16和图17，在操作1710，视频解码器1610对第一层画面进行解码，并将其存储在DPB 1620中，DPB控制器1630将解码的第一层画面标记为短期参考画面。

在操作1720，解析器1605获得第二层画面的层间RPS信息，其中，该第二层画面具有与第一层画面的POC相同的第一POC并且通过参考第一层画面而被层间预测。第二层画面的层间RPS信息包括关于在对第二层画面以及在第二层画面之后解码的画面进行层间预测期间被参考的参考画面的信息。

在操作1730，DPB控制器1630基于层间RPS信息来将被标记为短期参考画面的第一层画面标记为长期参考画面。详细地，DPB控制器1630基于层间RPS信息，在第一层画面对应于在对第二层画面以及在第二层画面之后解码的画面进行层间预测期间被参考的参考画面中的一个的情况下，将第一层画面的参考状态变为长期参考画面。

在操作1740，视频解码器1610通过参考被标记为长期参考画面的第一层画面来对第二层画面执行层间预测。

在下文中，将详细描述根据示例性实施例的在确定先前被解码并被存储在DPB中的画面的参考画面状态时使用的RPS信息。

RPS是用于管理先前被解码并被存储在DPB中的画面的信息。先前被解码并被存储在DPB中的画面可不再用作在执行解码时的参考画面。存储在DPB中的解码画面在解码过程中必须考虑到DPB的有限容量进行高效管理。

先前被解码并被存储在DPB中的画面被标记为“用于短期参考”、“用于长期参考”和“不用于参考”中的一个。被标记为“不用于参考”的画面不再用作预测过程中的参考画面，而是被从DPB移除。根据示例性实施例，可针对每个画面的每个条带用信号发送RPS信息。就这点而论，针对每个画面的每个条带发送RPS信息的原因是提供误差鲁棒性。另外，根据示例性实施例，RPS信息可包括被当前画面以及在当前画面之后解码的画面使用的参考画面信息。

图19示出根据示例性实施例的用于解释RPS的编码结构。

图19示出画面之间的参考关系。箭头方向表示参考方向。也就是说，I0画面1910用作P1画面1920、B2画面1930和B3画面1940的参考画面。在I、B和P画面中的每个中标记的数字表示解码顺序。也就是说，解码顺序是I0画面1910、P1画面1920、B2画面1930、B3画面1940以及B4画面1950。另外，各画面被布置所根据的顺序表示输出顺序。也就是说，输出顺序是I0画面1910、B3画面1940、B2画面1930、B4画面1950以及P1画面1920。

表2示出具有图17所示的参考关系的编码结构的RPS信息的示例。

表2

画面	RPS{参考画面，被当前画面使用}
		I0	-
P1	{I0,1}

B2	{I0,1},{P1,1}
		B3	{I0,1},{P1,1},{B2,1}
B4	{P1,1},{B2,1}

参照表2，RPS信息可包括例如{参考画面，被当前画面使用}。“参考画面”表示这样的画面：该画面按解码顺序相对于当前画面被先前解码并被存储在DPB中，并且被用作当前画面或在当前画面之后的画面的参考画面。“被当前画面使用”是指示存储在DPB中的画面被用作当前画面的参考画面、还是被用作在当前画面之后解码的画面的参考画面的标志。也就是说，如果被当前画面使用是1，则相应画面是被当前画面参考的画面，如果被当前画面使用是0，则相应画面被用作在当前画面之后解码的画面的参考画面。

参照图19，I0画面1910是最初被解码的IDR画面，并且由于不存在按解码顺序在IDR画面之前解码的画面，因此不另外用信号发送关于作为IDR画面的I0画面1910的RPS信息。作为第二个画面被解码的P1画面1920使用I0画面作为参考画面。因此，P1画面1920的条带头中所包括的RPS包括{I0,1}，其中，{I0,1}是指示先前解码的I0画面被用作P1画面1920的参考画面还是被用作在P1画面1920之后解码的画面的参考画面的RPS信息。类似地，作为下一个画面被解码的B2画面1930使用先前被解码并被存储在DPB中的I0画面1910和P1画面1920两者作为参考画面，因此，B2画面的RPS信息包括{I0,1},{P1,1}。

作为下一个画面被解码的B2画面1940是通过参考I0画面1910和B2画面1930而被预测的，因此，包括作为RPS信息的{I0,1},{B2,1}。尽管P1画面1920不用作B2画面1940的参考画面，但是P1画面1920用作在B3画面1940之后解码的B4画面1950的参考画面。因此，B3画面1940包括作为RPS信息的{P1,0}。换言之，当{P1,0}包括在B3画面1940的条带头中所包括的RPS信息中时，P1画面1920不用作当前解码的B3画面1940的参考画面，而是用作在B3画面1940之后解码的画面的参考画面。

接下来被解码的B4画面1950使用B2画面1930和P1画面1920作为参考画面。因此，B4画面1950的RPS信息包括{P1,1},{B1,1}。

当根据解码顺序对各画面进行解码时，先前被解码并被存储在DPB中的画面的参考状态可基于这些画面的RPS信息被改变。例如，B4画面1950的RPS信息不包括I0画面1910。因此，可确定B4画面1950和在B4画面1950之后解码的画面不再使用I0画面1910作为参考画面，I0画面1910被标记为不用于参考。

同时，根据本发明构思的示例性实施例的对包括在每个画面的条带头中的RPS信息进行解码的时间是在当前画面被解码之前被解码。

图20是根据示例性实施例的对RPS信息进行解码以及对当前画面进行解码的过程的流程图。

参照图20，在操作2010，基于当前画面的RPS信息来标记存储在DPB中的解码画面。RPS信息不可使用或者最初被解码并被存储在DPB中的画面被默认地标记为短期参考画面。

在操作2020，基于当前画面的RPS信息从DPB输出或移除存储在DPB中的画面。

在操作2030，对当前画面进行解码，并且在操作2040，将解码的当前画面存储在DPB中，并如上所述将存储在DPB中的解码的当前画面默认地标记为短期参考画面。基于在当前画面之后解码的画面的RPS信息来改变被标记为短期参考画面的当前画面的参考画面状态。

就这点而论，根据示例性实施例，在对当前画面解码之前首先对RPS信息进行解码，并基于RPS信息来布置存储在DPB中的参考画面，并使用DPB的布置的参考画面来对当前画面进行解码。

如上所述，RPS信息包括在每个画面的条带头中并被用信号发送。然而，由于按解码顺序没有画面在IDR画面之前被解码，因此对于IDR画面不用信号发送RPS。然而，可对于除了IDR画面之外的RAP画面的I条带发送RPS。原因是因为按解码顺序在I画面之后解码的画面可被允许参考在I画面之前解码的画面。

RPS信息中所包括的每个画面可被标识为指示输出顺序的POC信息。可通过使用全部POC值之中的指示POC的最低有效位(LSB)的pic_order_cnt_lsb来用信号发送RPS信息中所包括的POC。

同时，根据示例性实施例的RPS信息中所包括的参考画面信息可主要分为六个子集，即，第一短期PRS信息(RefPicSetStCurrbefore)、第二短期RPS信息(RefPicSetStAfter)、第三短期RPS信息(RefPicSetStFoll)、第一长期RPS信息(RefPicSetLtCurr)、第二长期RPS信息(RefPicSetLtFoll)以及层间RPS信息(RefPicSetlvCurr)。

第一短期RPS信息(RefPicSetStCurrbefore)包括关于这样的短期参考画面的信息：该短期参考画面在与当前将被解码的当前画面相同的层中，按解码顺序和输出顺序都在当前画面之前，并且可用作当前画面的参考画面。

第二短期RPS信息(RefPicSetStAfter)包括关于这样的短期参考画面的信息：该短期参考画面在与当前画面相同的层中，按解码顺序在当前画面之前，按输出顺序在当前画面之后，并且可用作当前画面的参考画面。第三短期RPS信息(RefPicSetStFoll)包括关于这样的短期参考画面的信息：该短期参考画面在与当前画面相同的层中，可被按解码顺序在当前画面之后的画面参考，并且不用作当前画面的参考画面。

第一长期RPS信息(RefPicSetLtCurr)包括关于这样的长期参考画面的信息：该长期参考画面在与当前画面相同的层中，并且可用作当前画面的参考画面。第二长期RPS信息(RefPicSetLtFoll)包括关于这样的长期参考画面的信息：该长期参考画面在与当前画面相同的层中，可被按解码顺序在当前画面之后的画面参考，并且不用作当前画面的参考画面。

层间RPS信息(RefPicSetlvCurr)包括关于这样的参考画面的信息：该参考画面具有与当前画面的POC相同的POC，在与当前画面不同的层中，并且可用作当前画面的参考画面。

如上所述，DPB控制器1630将存储在DPB 1620中的画面标记为短期参考画面、长期参考画面和不用于参考的画面中的一个。DPB控制器1630可基于第一短期RPS信息(RefPicSetStCurrBefore)、第二短期RPS信息(RefPicSetStCurrAfter)、第三短期RPS信息(RefPicSetStFoll)、第一长期RPS信息(RefPicSetLtCurr)以及第二长期RPS信息(RefPicSetLtFoll)，来确定存储在DPB 1620中的画面是否用作当前画面的参考画面。如果存储在DPB 1620中的画面包括在第一短期PRS信息(RefPicSetStCurrbefore)、第二短期RPS信息(RefPicSetStAfter)、第一长期RPS信息(RefPicSetLtCurr)以及层间RPS信息(RefPicSetlvCurr)中的一个中，则确定存储在DPB 1620中的画面用作当前画面的参考画面。如果存储在DPB 1620中的画面包括在第三短期RPS信息(RefPicSetStFoll)和第二长期RPS信息(RefPicSetLtFoll)中的一个中，则存储在DPB 1620中的画面不用作当前画面的参考画面，而是可用作在当前画面之后解码的画面的参考画面。

图21是用于解释根据示例性实施例的除了层间RPS信息之外的RPS子集的参考示图。

在图21中，假定当前画面是B14画面2150，箭头方向表示参考方向，在当前画面B142150的解码时间之前解码的画面之中只有I0画面2110和P4画面2120被标记为长期参考画面。另外，画面被布置的顺序表示输出顺序，每个画面上标记的数字表示解码顺序。

P8画面2130在B14画面2150被解码时被B14画面2150参考，并且按解码顺序和输出顺序都在B14画面2150之前，因此，B14画面2150的第一短期RPS信息(RefPicSetCurrBefore)包括P8画面2130。P12画面2140被B14画面2150参考，并且按解码顺序在B14画面2150之前，而按输出顺序在B14画面2150之后。因此，B14画面2150的第二短期RPS信息(RefPicSetStAfter)包括P12画面2140。P13画面2160不被B14画面2150参考，而是被在B14画面2150之后解码的B15画面2170参考。因此，B14画面2150的第三短期RPS信息(RefPicSetStFoll)包括P13画面2160。

P4画面2120是长期参考画面，并且用作B14画面2150的参考画面。因此，B14画面2150的第一长期RPS信息(RefPicSetLtCurr)包括P4画面2120。I0画面2110是长期参考画面，不用作B14画面2150的参考画面，而是用作在B14画面2150之后解码的B15画面2170的参考画面。因此，B4画面2150的第二长期RPS信息(RefPicSetLtFoll)包括I0画面2110。

如上所述，根据示例性实施例的RPS除了包括针对同一层获得的五个子集之外，还包括关于在层间预测期间用作参考画面的画面的层间RPS信息(RefPicSetlvCurr)。

图22是用于解释层间RPS信息的参考示图。

参照图22，假定第一层的第一画面2210首先被解码，被标记为短期参考画面并被存储在DPB中。如图22所示，第一层的第一画面2210被假定为第二层的第二画面2220以及在同一层中的具有不同POC的第四画面2240的参考画面。在这种情况下，第二层的第二画面2210的RPS信息之中的层间RPS信息(RefPicSetlvCurr)包括用作层间预测期间的参考画面的第一层的第一画面2210。因此，当对第二层的第二画面2210进行解码时，DPB控制器1630可基于从第二画面2210的条带头获得的层间RPS信息(RefPicSetlvCurr)来确定第一层的第一画面2210用作用于对第二画面2210进行层间预测的参考画面。如上所述，考虑到在获得预测运动矢量的过程中可能产生的误差，用作层间预期期间的参考画面的第一画面2210在短期参考画面状态下被标记为长期参考画面。基于包括在相同的第一层中并且具有不同POC的第四画面2240的RPS信息来更新被标记为长期参考画面的第一画面2210的参考画面状态。关于图22，第四画面2240参考第一画面2210，因此，第一画面2210的参考画面状态保持长期参考画面状态。如果第四画面2240不参考第一画面2210，并且如果第一画面2210也不再被在第四画面2240之后解码的其它画面2250、2260参考，则将第一画面2210的参考画面状态更新为不用于参考的画面。

根据本发明构思的示例性实施例，可通过反映多层视频中所包括的画面的层间预测来高效地发送画面之间的参考关系。另外，根据本发明构思的示例性实施例，可高效地管理用于对多层视频进行解码的解码画面缓冲器。

本发明构思还可被实施为计算机可读代码或计算机可读记录介质。计算机可读记录介质是可存储其后可被计算机系统读取的数据的任何数据存储装置。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储装置等。计算机可读记录介质也可分布在联网计算机系统上，以使得计算机可读代码被以分布的方式存储和执行。

虽然已参照示例性实施例具体示出并描述了本发明构思，但是本领域的普通技术人员将理解，在不脱离由权利要求书限定的本发明的精神和范围的情况下，可进行形式和细节上的各种改变。示例性实施例应仅按照描述意义被理解，而不是出于限制的目的。因此，本发明的范围不是由本发明的详细描述限定，而是由权利要求书限定，并且在该范围内的所有区别将被解释为包括在本发明构思中。

Claims (15)

1.一种多层视频解码方法，包括：

对第一层画面进行解码，将第一层画面存储在解码画面缓冲器中，并将第一层画面标记为短期参考画面；

获得第二层画面的层间参考画面集信息，其中，第二层画面具有与第一层画面的画面顺序计数相同的第一画面顺序计数，并且是通过参考第一层画面而被层间预测出的；

基于第二层画面的层间参考画面集信息，将被标记为短期参考画面的第一层画面标记为长期参考画面；以及

通过参考被标记为长期参考画面的第一层画面来对第二层画面执行层间预测。

2.如权利要求1所述的多层视频解码方法，其中，第二层画面的层间参考画面集信息包括关于用于对第二层画面和在第二层画面之后解码的画面进行层间预测的参考画面的信息，

其中，将被标记为短期参考画面的第一层画面标记为长期参考画面的步骤包括：当被标记为短期参考画面的第一层画面包括在第二层画面的层间参考画面集信息中时，将被标记为短期参考画面的第一层画面标记为长期参考画面。

3.如权利要求1所述的多层视频解码方法，还包括：

获得在第二层画面之后解码的并且具有与第一层画面的画面顺序计数不同的第二画面顺序计数的画面的参考画面集信息；以及

基于具有第二画面顺序计数的所述画面的参考画面集信息来更新被标记为长期参考画面的第一层画面的参考画面状态。

4.如权利要求3所述的多层视频解码方法，其中，更新被标记为长期参考画面的第一层画面的参考画面状态的步骤包括：从具有第二画面顺序计数的所述画面的参考画面集信息获得关于用于具有第二画面顺序计数的所述画面和在具有第二画面顺序计数的所述画面之后解码的画面的参考画面的信息；当被标记为长期参考画面的第一层画面包括在具有第二画面顺序计数的所述画面的参考画面集信息中时，保持被标记为长期参考画面的第一层画面的参考画面状态；当被标记为长期参考画面的第一层画面未包括在具有第二画面顺序计数的所述画面的参考画面集信息中时，将被标记为长期参考画面的第一层画面标记为不用于参考。

5.如权利要求1所述的多层视频解码方法，其中，获得第二层画面的层间参考画面集信息的步骤还包括：获得第一短期参考画面集信息(RefPicSetStCurrBefore)、第二短期参考画面集信息(RefPicSetStCurrAfter)、第三短期参考画面集信息(RefPicSetStFoll)、第一长期参考画面集信息(RefPicSetLtCurr)以及第二长期参考画面集信息(RefPicSetLtFoll)，其中，第一短期参考画面集信息包括关于这样的短期参考画面的信息：该短期参考画面与将被解码的当前画面处于相同的层中，按解码顺序和输出顺序都在当前画面之前，并且能够用作当前画面的参考画面，第二短期参考画面集信息包括关于这样的短期参考画面的信息：该短期参考画面与当前画面处于相同的层中，按解码顺序在当前画面之前，按输出顺序在当前画面之后，并且能够用作当前画面的参考画面，第三短期参考画面集信息包括关于这样的短期参考画面的信息：该短期参考画面与当前画面处于相同的层中，能够被按解码顺序在当前画面之后的画面参考，并且不用作当前画面的参考画面，第一长期参考画面集信息包括关于这样的长期参考画面的信息：该长期参考画面与当前画面处于相同的层中，并且能够用作当前画面的参考画面，第二长期参考画面集信息包括关于这样的长期参考画面的信息：该长期参考画面与当前画面处于相同的层中，能够被按解码顺序在当前画面之后的画面参考，并且不用作当前画面的参考画面。

6.如权利要求5所述的多层视频解码方法，还包括：通过使用获得的第一短期参考画面集信息(RefPicSetStCurrbefore)、第二短期参考画面集信息(RefPicSetStCurrAfter)、第三短期参考画面集信息(RefPicSetStFoll)、第一长期参考画面集信息(RefPicSetLtCurr)、第二长期参考画面集信息(RefPicSetLtFoll)以及第二层画面的层间参考画面集信息，将存储在解码画面缓冲器中的解码画面标记为短期参考画面、长期参考画面和不用于参考的画面之一。

7.一种多层视频解码设备，包括：

解码画面缓冲器，被配置为存储解码画面；

解析器，被配置为获得第二层画面的层间参考画面集信息，其中，第二层画面具有与先前解码的第一层画面的画面顺序计数相同的第一画面顺序计数，并且是通过参考第一层画面而被层间预测出的；

解码画面缓冲器控制器，被配置为：将第一层画面存储在解码画面缓冲器中，将第一层画面标记为短期参考画面，并基于第二层画面的层间参考画面集信息将被标记为短期参考画面的第一层画面标记为长期参考画面；以及

视频解码器，被配置为：对多层中所包括的画面进行解码，并通过参考被标记为长期参考画面的第一层画面来对第二层画面执行层间预测。

8.如权利要求7所述的多层视频解码设备，其中，第二层画面的层间参考画面集信息包括用作用于对第二层画面和在第二层画面之后解码的画面进行层间预测的参考画面的层间参考画面集信息，

其中，解码画面缓冲器控制器被配置为：当被标记为短期参考画面的第一层画面包括在第二层画面的层间参考画面集信息中时，将被标记为短期参考画面的第一层画面标记为长期参考画面。

9.如权利要求7所述的多层视频解码设备，其中，接收器获得在第二层画面之后解码的并且具有与第一层画面的画面顺序计数不同的第二画面顺序计数的画面的层间参考画面集信息，

其中，解码画面缓冲器控制器基于具有第二画面顺序计数的所述画面的层间参考画面集信息来更新被标记为长期参考画面的第一层画面的参考画面状态。

10.如权利要求9所述的多层视频解码设备，其中，解码画面缓冲器控制器从具有第二画面顺序计数的所述画面的层间参考画面集信息获得关于用于具有第二画面顺序计数的所述画面和在具有第二画面顺序计数的所述画面之后解码的画面的参考画面的信息，当被标记为长期参考画面的第一层画面包括在具有第二画面顺序计数的所述画面的层间参考画面集信息中时，保持被标记为长期参考画面的第一层画面的参考画面状态，当被标记为长期参考画面的第一层画面未包括在具有第二画面顺序计数的所述画面的层间参考画面集信息中时，将被标记为长期参考画面的第一层画面标记为不用于参考。

11.如权利要求7所述的多层视频解码设备，其中，接收器获得第一短期参考画面集信息(RefPicSetStCurrBefore)、第二短期参考画面集信息(RefPicSetStCurrAfter)、第三短期参考画面集信息(RefPicSetStFoll)、第一长期参考画面集信息(RefPicSetLtCurr)以及第二长期参考画面集信息(RefPicSetLtFoll)，其中，第一短期参考画面集信息包括关于这样的短期参考画面的信息：该短期参考画面与将被解码的当前画面处于相同的层中，按解码顺序和输出顺序都在当前画面之前，并且能够用作当前画面的参考画面，第二短期参考画面集信息包括关于这样的短期参考画面的信息：该短期参考画面与当前画面处于相同的层中，按解码顺序在当前画面之前，按输出顺序在当前画面之后，并且能够用作当前画面的参考画面，第三短期参考画面集信息包括关于这样的短期参考画面的信息：该短期参考画面与当前画面处于相同的层中，能够被按解码顺序在当前画面之后的画面参考，并且不用作当前画面的参考画面，第一长期参考画面集信息包括关于这样的长期参考画面的信息：该长期参考画面与当前画面处于相同的层中，并且能够用作当前画面的参考画面，第二长期参考画面集信息包括关于这样的长期参考画面的信息：该长期参考画面与当前画面处于相同的层中，能够被按解码顺序在当前画面之后的画面参考，并且不用作当前画面的参考画面。

12.如权利要11所述的多层视频解码设备，其中，解码画面缓冲器控制器被配置为通过使用获得的第一短期参考画面集信息(RefPicSetStCurrbefore)、第二短期参考画面集信息(RefPicSetStCurrAfter)、第三短期参考画面集信息(RefPicSetStFoll)、第一长期参考画面集信息(RefPicSetLtCurr)、第二长期参考画面集信息(RefPicSetLtFoll)以及第二层画面的层间参考画面集信息，将存储在解码画面缓冲器中的解码画面标记为短期参考画面、长期参考画面以及不用于参考的画面之一。

13.一种多层视频编码方法，包括：

通过对多层中所包括的画面执行帧内预测、帧间预测和层间预测来确定所述多层中所包括的画面之间的参考关系；以及

基于所述参考关系来产生关于包括在其它层中的画面的层间参考画面集信息，其中，层间参考画面集信息指示具有相同的画面顺序计数且包括在不同层中的画面之间的参考关系。

14.如权利要求13所述的多层视频编码方法，其中，层间参考画面集信息包括关于由所述多层中所包括的画面和在各个画面之后解码的画面在层间预测期间所使用的参考画面的信息。

15.一种多层视频编码设备，包括：

视频编码器，被配置为通过对多层中所包括的画面执行帧内预测、帧间预测和层间预测来确定所述多层中所包括的画面之间的参考关系；以及

参考画面集信息产生单元，被配置为基于所述参考关系来产生层间参考画面集信息，其中，层间参考画面集信息指示具有相同的画面顺序计数且包括在不同层中的画面之间的参考关系。