CN114615493A - 视频解码方法、视频编码方法和可读记录介质 - Google Patents

Abstract

公开了一种视频解码方法、视频编码方法和非暂态计算机可读记录介质，视频解码方法包括使用当前块的一个或多个参考像素对所述当前块内的第一子块执行第一帧内预测；使用所述当前块的至少一个参考像素或所述第一子块的一个或多个重构像素，对所述当前块内的与所述第一子块相邻的第二子块执行第二帧内预测，所述重构像素是基于所述第一帧内预测的输出生成的；以及基于所预测的第一子块和所预测的第二子块来重构所述当前块。

Description

视频解码方法、视频编码方法和可读记录介质

本申请是申请日为2017年3月22日、国际申请号为PCT/KR2017/003082、发明名称为“用于编码/解码视频信号的方法和装置”、进入中国国家阶段的申请号为201780029821.X的中国专利申请的分案申请。

技术领域

本发明涉及用于编码或解码视频信号的方法和装置。

背景技术

近来，对诸如高清晰度或超高清晰度视频的高分辨率和高质量视频的需求在各个领域中已经增加。随着视频分辨率和质量的提高，与传统视频相比，视频数据量也有所增加。因此，当这种高质量视频被存储在现有存储介质中或通过现有有线或无线宽带通信网络传输时，传输和存储成本相应地增加。为了通过增加对高分辨率和高质量视频的需求来解决该问题，可以使用高效的视频压缩技术。

存在各种视频压缩技术，诸如用于预测来自先前图片的当前图片或当前图片的未来图片中的像素值的图片间预测技术、用于预测在来自当前图片的另一区域的当前图片的区域中的像素值的图片内预测技术、以及用于分配较短码给具有较高概率的像素和分配较长码给具有较低概率的像素的熵编码技术。利用这些视频压缩技术，可以有效地压缩、传输和存储视频数据。

此外，随着对高分辨率视频的需求的增加，对诸如立体视频内容的新视频服务的需求也在增加。为此，正在讨论和开发用于有效地提供高清晰度或超高清立体视频内容的视频压缩技术。

发明内容

技术问题

本发明旨在提高CABAC上下文模型的编码效率。

本发明旨在提高帧间预测压缩效率。

本发明旨在提高帧内预测压缩效率。

本发明旨在提供一种扫描非正方形变换块的方法。

本发明旨在提供一种执行自适应环路滤波的方法。

本实施例要解决的技术问题不限于上述技术问题，并且可能存在本发明要解决的其他技术问题。

技术方案

本发明提供了一种用于自适应地初始化CABAC上下文模型的方法和装置。

本发明提供了一种用于细化编码/解码的运动矢量并基于细化的运动矢量执行运动补偿的方法和装置。

本发明提供了一种单向/双向帧内预测方法和装置，用于将当前块划分为多个子块，并根据预定优先级逐个重构每个子块。

本发明提供了一种用于根据一组N×M个系数从多个扫描类型中选择性地使用一种扫描类型的方法和装置。

本发明提供了一种用于将环路滤波应用于具有不同运动矢量的虚拟块之间的边界的方法和装置。

本发明提供了一种视频解码方法，包括：使用当前块的一个或多个参考像素对所述当前块内的第一子块执行第一帧内预测；使用所述当前块的至少一个参考像素或所述第一子块的一个或多个重构像素，对所述当前块内的与所述第一子块相邻的第二子块执行第二帧内预测，所述重构像素是基于所述第一帧内预测的输出生成的；以及基于所预测的第一子块和所预测的第二子块来重构所述当前块。

本发明提供了一种视频编码方法，包括：使用当前块的一个或多个参考像素对所述当前块内的第一子块执行第一帧内预测；使用所述当前块的至少一个参考像素或所述第一子块的一个或多个重构像素，对所述当前块内的与所述第一子块相邻的第二子块执行第二帧内预测，所述重构像素是基于所述第一帧内预测的输出生成的；以及将与所述第一帧内预测和所述第二帧内预测相关的帧内预测信息编码到比特流中。

本发明提供了一种非暂态计算机可读记录介质，其存储有通过视频编码方法生成的比特流，所述视频编码方法包括：使用当前块的一个或多个参考像素对所述当前块内的第一子块执行第一帧内预测；使用所述当前块的至少一个参考像素或所述第一子块的一个或多个重构像素，对所述当前块内的与所述第一子块相邻的第二子块执行第二帧内预测，所述重构像素是基于所述第一帧内预测的输出生成的；以及将与所述第一帧内预测和所述第二帧内预测相关的帧内预测信息编码到比特流中。

有利的效果

根据本发明，可以通过使用在根据编码/解码顺序编码先前图片或使用与当前图片相同的QP编码参考图片的过程中被存储的CABAC上下文模型的状态作为当前图片的CABAC上下文模型的初始值来改善编码性能。

另外，根据本发明，通过参考在与当前图片内的各个并行化单元相对应的参考图片内的并行化单元中存储的CABAC上下文模型的状态，可以改善编码性能。

另外，根据本发明，可以重构更精确表示的视频并且通过对编码/解码的运动矢量执行附加细化，编码效率被提高。

根据本发明，通过使用单向/双向预测技术，可以提高帧内预测的压缩效率。

根据本发明，可以有效地扫描变换系数。

根据本发明，可以通过对具有不同运动矢量的虚拟块之间的边界应用环路滤波来获得主观或客观视频质量改进。

附图说明

图1是说明根据本发明的一个实施例的视频编码装置的框图。

图2是说明根据本发明的一个实施例的视频解码装置的框图。

图3是说明根据本发明的一个应用示例的用于自适应地初始化CABAC上下文模型的CABAC上下文编码/解码装置的配置的示意图；

图4说明了根据本发明一个实施例的自适应初始化CABAC上下文模型的技术；

图5说明了根据本发明的一个应用示例的基于每并行化单元自适应地初始化CABAC上下文模型的方法；

图6和7说明了根据本发明的一个应用示例的基于并行处理的CABAC上下文模型初始化方法；

图8说明了根据本发明的一个应用示例的通过选择性地细化一些运动矢量来执行帧间预测的过程；

图9说明了根据图8的实施例的当在重复执行运动矢量细化时细化运动矢量的处理中改变块大小的示例；

图10说明了根据本发明的一个应用示例的由被执行以支持重复的运动矢量细化的分区产生的块的大小和形状；

图11说明了根据本发明的一个应用示例的通过选择性地发信号通知运动矢量差来执行帧间预测的过程；

图12说明了根据本发明的一个应用示例的基于每个子块执行的单向帧内预测方法；

图13说明了根据本发明的一个应用示例的基于每个子块执行的双向帧内预测方法；

图14说明了根据本发明的一个应用示例的扫描方形变换块的方法；

图15和16说明了根据本发明的一个应用示例的扫描非方形变换块的方法；

图17说明了根据本发明的一个应用示例的环路滤波的应用范围；

图18说明了根据本发明的一个应用示例的确定环路滤波的应用范围的方法；和

图19说明了根据本发明的一个应用示例的将环路滤波应用于几何形状的边界的方法。

具体实施方式

根据本发明的帧间预测方法包括：获得关于当前块的运动矢量细化信息，重构当前块的运动矢量，基于运动矢量对当前块执行初级运动补偿，使用在当前块上执行的运动补偿的输出或者使用至少一个运动矢量细化信息来细化当前块的运动矢量，并使用细化的运动矢量对当前块执行二级运动补偿。

根据本发明的帧内预测方法包括：通过基于当前块的参考像素对当前块内的第一子块执行帧内预测来重构当前块内的第一子块，并使用当前块的参考像素或重构的第一子块内的像素中的至少一个，对当前块内的第二子块进行帧内预测。

根据本发明的变换系数扫描方法包括：对扫描的比特流进行解码，获得变换块的变换系数，以及根据预定的扫描类型扫描变换块的变换系数，其中扫描可以是基于每组(其中该组由NxM系数组成)执行，并且可以从多个扫描类型候选中基于信令通知的索引来选择扫描类型。

根据本发明的视频解码装置包括：熵解码单元，用于获得关于当前块的运动矢量细化信息；以及帧间预测单元，用于重构当前块的运动矢量，基于运动矢量对当前块执行初级运动补偿，使用在当前块上执行的运动补偿的输出或者通过使用至少一条运动矢量细化信息来细化当前块的运动矢量，并且使用细化的运动矢量对当前块执行二级运动补偿。

根据本发明的视频解码装置可以包括帧内预测单元，用于基于当前块的参考像素对当前块内的第一子块执行帧内预测，重构第一子块，并使用当前块的参考像素和重构的第一子块内的像素中的至少一个或两者，对当前块内的第二子块执行帧内预测。

根据本发明的视频解码装置可以包括：熵解码单元，用于对扫描的比特流进行解码并获得变换块的变换系数；以及重新对准单元，用于根据预定的扫描类型扫描变换块的变换系数，其中可以以每组为基础执行扫描(其中，该组由N×M系数组成)，并且可以从多个扫描类型候选基于的信令通知的索引来选择扫描类型。

发明模式

本发明可以以许多形式实施并且具有各种实施例。因此，将在附图中示出具体实施例，并且将在下面详细描述。虽然本文下面将描述本发明的具体实施方案，但它们仅是说明性的目的，不应解释为对本发明的限制。因此，本发明应该被解释为不仅涵盖特定实施例，还涵盖其他实施例以及特定实施例和其他可能实施例的修改和等同物。在整个附图中，相同的附图标记表示相同的元件。

说明书中使用的术语“第一”、“第二”等可以用于描述各种组件，但是组件不应被解释为限于这些术语。也就是说，这些术语用于将一个组件与另一个组件区分开。因此，第一组件可以被称为第二组件，第二组件可以被称为第一组件。此外，术语“和/或”包括一个或多个相关所列项目的任何和所有组合，或者包括一个或多个相关所列项目。

应当理解，当任何元件被称为“连接到”或“耦合到”另一元件时，它可以直接连接到另一元件或直接耦合到另一元件或连接到或耦合到另一元件，具有其他元素介于其间。另一方面，当一个元件被称为“直接连接”或“直接耦合”到另一个元件时，应该理解，其间没有其他元件。

这里使用的术语仅用于描述特定实施例的目的，并不意图限制本发明。如这里所使用的，单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文另有明确说明。将进一步理解，当在本说明书中使用时，术语“包括”和/或“其中包括”或“包含”和/或“其中包含”指定所述特征、区域、整数、步骤、操作、元件和/或组件的存在，但不排除一个或多个其他特征、区域、整数、步骤、操作、元件、组件和/或其组的存在或添加。

在下文中，将参考附图详细描述本实施例的优选实施例。在整个附图中，相同的元件由相同的附图标记表示，并且在下文中可以不重复对相同元件的描述。

图1是根据本发明的一个实施例的视频编码装置的框图。

参照图1，视频编码装置100包括图片分区单元110、预测单元120+125、变换单元130、量化单元135、重新对准单元160、熵编码单元165、逆量化单元140、逆-变换单元145、滤波器单元150和存储器155。

图1中所示的视频编码装置的组件仅为了表明它们执行不同的特征函数而独立地示出。因此，独立示出的组件并不意味着每个组件可能不被实现为一个硬件或软件。也就是说，尽管为了便于说明而以分开的形式示出了组件，但是可以将多个组件彼此组合以由此作为一个组件操作，或者可以将一个组件进一步划分为多个组件，从而将其操作为多个组件。所有这些形式都包括在本发明的范围内，只要它们不脱离本发明的基本特征即可。

另外，一些组件可能不是执行本发明的基本功能的必不可少的组件，而是仅改善其性能的选择性组件。本发明也可以仅由包括除选择性组件之外的必不可少组件的结构实施，并且仅包括必需组件的结构也包括在本发明的范围内。

图片划分单元110可以将输入图片划分为一个或多个块。在这种情况下，块可以表示编码单元(CU)、预测单元(PU)或变换单元(TU)。可以基于四叉树或二叉树中的至少一个来执行分区。四叉树是将一个块划分为其在原始块的宽度和高度两者中都是一半的象限(即，四个子块)的分区方案。二叉树是将一个块分成其在原始块的高度或宽度上是一半的两半(即两个子块)的分区方案。在二叉树结构中，当块在高度上被分成两半时，子块可以具有正方形形状或非正方形形状，这取决于原始块的形状。

在下文描述的本发明的实施例中，编码单元不仅可以被视为用于在编码处理中处理的基本单元，而且还可以被视为用于在解码处理中进行处理的基本单元。

预测单元120+125可包括用于执行帧间预测的帧间预测单元120和用于执行帧内预测的帧内预测单元125。对于每个预测单元，首先确定预测方法。也就是说，首先确定是使用帧间预测还是帧内预测。接下来，可以确定用于所确定的预测方法的具体信息(例如，用于帧内预测的预测模式、运动矢量、参考图片等)。这里，应当注意，用于执行预测处理的基本单元，用于确定预测方法的基本单元和用于预测的具体信息可以彼此不同。也就是说，可以基于每个PU确定预测方法、预测模式等，但是可以基于每个TU执行预测。作为原始块和生成的预测块之间的差的残差值(残差块)可以被馈送到变换单元130。另外，作为关于用于预测的预测模式的信息的预测模式信息和作为用于预测的运动矢量的信息的矢量信息可以由熵编码单元165与残差值一起编码，然后发送到解码器。当使用特定编码模式时，预测单元120+125可以不生成预测块，但是可以按原样对原始块进行编码，然后可以将得到的信号发送到解码器。

帧间预测单元120可以基于关于当前图片的先前图片和后续图片中的至少一个的信息来生成预测单元。在一些情况下，帧间预测单元120可以基于关于当前图片内的编码区域的一部分的信息来生成预测单元。帧间预测单元120可包括参考图片内插单元、运动预测单元和运动补偿单元。

参考图片内插单元可从存储器155接收关于参考图片的信息，并产生参考图片内的整数像素或子像素的像素信息。对于亮度像素，具有不同滤波器系数的基于DCT的八抽头内插滤波器可用于基于每1/4像素生成关于整数像素和子像素的像素信息。对于色度像素，具有不同滤波器系数的基于DCT的第四抽头内插滤波器可用于基于每1/8像素生成关于整数像素或子像素的像素信息。

运动预测单元可以基于由参考图片内插单元执行的内插得到的内插参考图片来执行运动预测。可以使用各种运动矢量计算方法，例如基于全搜索的块匹配算法(FBMA)、三步搜索(TSS)和新的树步搜索算法(NTS)。通过执行像素内插，运动矢量可以具有半像素或四分之一像素的运动矢量值。运动预测单元可在改变运动预测方法的同时预测当前预测单元(PU)。可以使用各种运动预测方法，诸如跳过方法、合并方法和高级运动矢量预测(AMVP)方法。

帧内预测单元125可基于关于当前块周围的参考像素的信息(即，关于当前图片内的像素的信息)来产生预测单元(PU)。在当前预测单元的相邻块是帧间预测块并且因此参考像素是帧间预测像素的情况下，帧间预测块内的参考像素可以被相邻帧内预测块内的参考像素代替。也就是说，当一个参考像素不可用时，可以使用关于至少一个可用参考像素的信息来代替不可用参考像素。

在帧内预测的情况下，存在角度预测模式，其中参考像素是根据预测方向和非角度预测模式确定的，其中方向信息未用于执行预测。用于预测亮度信息的模式和用于预测色度信息的模式可以不同。为了预测色度信息，可以使用用于预测亮度信息或预测的亮度信号信息的帧内预测模式信息。

在帧内预测方法中，参考像素可被馈送到自适应帧内平滑滤波器中，然后可基于经滤波的信息产生预测块，这取决于所使用的预测模式。可以使用不同类型的AIS滤波器来滤波参考像素。为了执行帧内预测方法，可以从存在于当前PU周围的相邻PU的帧内预测模式来预测当前PU的帧内预测模式。在基于从相邻PU预测的模式信息预测当前PU的预测模式的情况下，当当前PU的帧内预测模式与相邻PU的帧内预测模式相同时，指示当前PU的预测模式和相邻PU的预测模式相同的事实的信息可以使用预定标志来信令通知。另一方面，当当前PU和相邻PU的预测模式彼此不同时，可以通过熵编码对关于当前块的预测模式信息进行编码。

另外，可以生成由残差值信息组成的残差块，该残差值信息是由预测单元120+125产生的预测单元(PU)与预测单元的原始块之间的差值。生成的残差块可以被馈送到变换单元130。

变换单元130可使用诸如DCT或DST的变换方法来变换包括残差数据的残差块。可以基于用于生成残差块的预测单元的帧内预测模式来执行变换方法的确定。

量化单元135可量化由变换单元130产生的频域中的值。量化系数可在块与块之间变化或可根据视频的重要性而变化。由量化单元135生成的计算值可以被馈送到逆量化单元140和重新对准单元160。

重新对准单元160可以相对于量化的残差值重新对准系数值。

重新对准单元160可使用系数扫描方法将二维块形式的系数变换为系数的一维矢量形式。例如，重新对准单元160使用预定扫描类型扫描从DC系数到高频域系数的系数，并获得系数的一维矢量形式。

熵编码单元165基于由重新对准单元160产生的值来执行熵编码。对于熵编码，诸如指数Golomb、上下文自适应可变长度编码(CAVLC)或上下文自适应二进制算术编码的各种方法(CABAC)可以使用。

熵编码单元165可以从重新对准单元160和预测单元120+125接收各种信息，诸如基于每个编码单元(CU)的残差值系数信息和块类型信息、预测模式信息、分区单元信息、预测单元信息、传输单元信息、运动矢量信息、参考帧信息、块的内插信息和滤波信息，然后可以对接收的信息进行编码。

熵编码单元165可以对来自重新对准单元160的基于每CU输入的系数值进行熵编码。

逆量化单元140和逆变换单元145可以对由量化单元135和变换单元140量化和变换的值进行逆量化和逆变换。通过在逆量化单元140和逆变换单元145中执行的处理生成的残差值将被添加到通过在预测单元120+125中包括的运动估计单元、运动补偿单元和帧内预测单元中执行的处理而产生的预测单元，以生成重构块。

滤波器单元150可以包括去块滤波器、偏移校正单元和自适应环路滤波器(ALF)中的至少一个。

去块滤波器可以消除可归因于来自重构图片的块之间的边界的块失真。为了确定是否有必要执行去块，可以基于包括在块中的若干行或列中包括的像素来执行是否对当前块应用去块的确定。当确定有必要对块进行去块时，可以根据去块的强度选择性地使用强滤波器或弱滤波器。在执行去块时，当使用垂直滤波和水平滤波两者时，可以并行执行垂直滤波和水平滤波。

偏移校正单元可以基于每个像素细化去块视频和原始视频之间的偏移。为了对特定图片执行偏移校正，可以使用各种偏移校正方法：将视频中包括的像素划分为预定数量的区域，确定要经历偏移校正的区域，以及对确定的区域进行偏移校正的方法；以及在考虑每个像素的边缘信息的同时执行偏移校正的方法。

可以基于经滤波的视频和重构的视频之间的比较得到的值来执行ALF。可以将视频中的像素划分为预定数量的组，确定要用于特定组的滤波器，并且可以使用分别不同的滤波器来滤波每个组。指示是否应用ALF的信息可以基于每CU被信令通知用于亮度信号，并且用于ALF的滤波器的形状和系数可以在块与块之间变化。或者，用于每个块的ALF的滤波器可以在形状上相同(固定)，而不管要经历ALF的目标块的特性。

存储器155可以存储从滤波器单元150输出的重构块或图片，并且可以将存储的重构块或图片馈送到预测单元120+125中以用于后续帧间预测。

图2是示出根据本发明一个实施例的视频解码装置的框图。

参照图2，视频解码器200包括熵解码单元210、重新对准单元215、逆量化单元220、逆变换单元225、预测单元230+235、滤波器单元240和存储器245。

当视频比特流从视频编码器馈送到视频解码器200中时，可以以与视频编码器中执行的处理序列相反的顺序对比特流进行解码。

熵解码单元可以与在熵编码单元中执行的熵编码的序列相反的顺序执行熵解码。例如，可以使用诸如指数Golomb、上下文自适应可变长度编码(CAVLC)或上下文自适应二进制算术编码(CABAC)的各种方法，以便对应于视频编码器中使用的方法。

熵解码单元210可以解码与在编码器中执行的帧内预测和帧间预测相关联的信息。

重新对准单元215重新对准使用由熵编码单元使用以执行熵编码以产生比特流的方法由熵解码单元210解码的比特流。以一维矢量形式表示的系数可以重新排列成二维块形式的系数。重新对准单元215可以接收关于在编码单元中执行的系数扫描的信息，并且以与在编码单元中执行的扫描序列相反的顺序执行重新对准。

逆量化单元220可以基于由编码器提供的编码参数和重新对准的块的系数值来执行逆量化。

逆变换单元225可以使用预定变换方法对逆量化的变换系数进行逆变换。在这种情况下，可以基于关于预测方法(帧间/帧内预测)、块的大小/形状和帧内预测模式的信息来确定变换方法。

预测单元230/235可以基于由熵解码单元210提供的关于预测块的生成的信息以及从存储器245接收的关于先前解码的块或图片的信息来生成预测块。

预测单元230+235可以包括PU确定单元、帧间预测单元和帧内预测单元。PU确定单元接收各种信息、诸如预测单元信息、在帧内预测方法中使用的预测模式信息、在帧间预测方法中使用的运动补偿信息，其由熵解码单元210提供，识别用于当前块的预测单元，并确定预测单元是帧间预测预测单元还是帧内预测预测单元。帧间预测单元230可以使用由视频编码器提供的当前预测单元的帧间预测所需的信息以及在包含当前预测单元的当前图片的先前图片和后续图片中的至少一个中包括的信息，以对当前预测单元执行帧间预测。或者，可以基于关于包括当前预测单元的当前图片内的先前重构区域的一部分的信息来执行帧间预测。

为了执行帧间预测，对于每个编码单元，可以确定用于编码单元内包括的预测单元的预测方法。也就是说，可以确定跳过模式、合并模式和AMVP模式中的哪个模式用于产生预测模式。

帧内预测单元235可基于关于当前图片内的像素的信息来产生预测单元(PU)。当预测单元是在编码期间通过帧内预测生成的预测单元时，可以基于由视频编码器提供的关于预测单元的帧内预测模式信息来执行帧内预测。帧内预测单元235可以包括自适应帧内平滑滤波器、参考图片内插单元和DC滤波器。AIS滤波器是用于对当前块的参考像素执行滤波的单元，并且可以根据当前预测单元的预测模式执行或不执行滤波。通过使用由视频编码器提供的AIS滤波器信息和预测单元的预测模式，可以对当前块中的参考像素执行AIS滤波。当当前块的预测模式是不需要AIS滤波的模式时，可以不应用AIS滤波。

当预测单元的预测模式是经由通过内插参考像素获得的像素值执行的内插预测生成的预测单元时，参考像素内插单元可以基于每个子像素通过内插参考像素生成参考像素值。当当前预测单元的预测模式是其中可以在没有内插参考像素的情况下生成预测块的预测模式时，可以不内插参考像素。当预测模式是DC模式时，DC滤波器可以通过执行滤波来生成预测块。

可以将重构的块或图片馈送到滤波器单元240。滤波器单元240可以包括去块滤波器，偏移校正单元和自适应环路滤波器(ALF)。

可以从视频解码器接收信息：关于是否将去块滤波应用于目标块或图片的信息；以及在应用去块滤波时在强滤波器或弱滤波器之间使用哪个滤波器的信息。视频解码器的去块滤波器可从视频编码器接收去块信息且对目标块执行去块滤波。

偏移校正单元可以基于在编码期间应用于视频的偏移类型和偏移值的信息对重构的视频执行偏移校正。

ALF可以基于由编码器提供的指示是否应用ALF的信息、ALF系数的信息等对编码单元应用滤波。可以将ALF信息插入到特定参数中以便信令通知。

存储器245存储重构的图片或块，使得重构的图片或块可以用作参考图片或块，或者将它们馈送到输出单元。

在下文中，将参考图3到图7描述根据本发明实施例的CABAC编码方法和装置以及CABAC解码方法和装置。在这里描述的各种实施例中，术语“并行化单元”指的是构成一个图片的一个或多个编码单元的集合，其被创建用于在视频编码和解码期间的并行处理。这里，术语“编码单元”统称为可以基于树结构被划分为子编码单元的编码单元和不能进一步划分的编码单元。

图3是示出根据应用本发明的一个实施例的用于自适应地初始化CABAC上下文模型的CABAC编码/解码装置的配置的示意图。

参照图3，根据本发明的一个实施例的CABAC编码/解码装置可包括上下文初始化确定单元310、参考上下文加载单元320、以及上下文初始值加载单元330或上下文初始化单元340。

上下文初始化确定单元310可以基于指示是否已经执行CABAC上下文模型的自适应初始化的信息来确定是否要执行自适应初始化CABAC上下文模型。指示是否要执行CABAC上下文模型的自适应初始化的确定结果的信息可以被编码为视频编码装置中的标志形式等。该信息可以包括指示参考CABAC上下文的状态的特定值。可以将信息插入比特流的高级语法中，以便信令通知视频解码装置。例如，可以将信息插入到序列参数集和图片参数集中的至少一个中以便信令通知。可以在构成图片的每个并行化单元的基础上发信号通知该信息。以这种方式，可以允许每个并行化单元的CABAC上下文模型的独立自适应初始化。

响应于指示CABAC上下文被自适应地初始化的信息，参考上下文加载单元320可以获取参考CABAC上下文状态。上下文初始化单元340可以基于所获取的参考CABAC上下文状态来初始化CABAC上下文模型。

参考CABAC上下文状态可以表示存储在先前解码过程中的CABAC上下文状态。参考CABAC上下文状态可以表示存储在先前解码的图片内的特定位置处的CABAC上下文状态。例如，参考CABAC上下文状态可以是存储在与当前CABAC上下文模型所属的图片相同的图片内的特定位置处或在不同时间点的参考图片内的CABAC上下文状态。这里，特定位置可以表示并行化单元内的位置，其对应于当前CABAC上下文模型或者在时间上或空间上相邻的并行化单元内。特定位置可以是CABAC编码装置和CABAC解码装置之间预先商定的固定位置。可以基于使用比特流发信号通知的信息来识别特定位置。信号通知信息可以表示指示由CABAC信息编码的特定位置的信息、关于当前图片的参考的信息，关于构成图片的块的属性的信息(例如，分区技术、大小、形状、深度等)等。

当图片被划分为并行化单元(例如，瓦片)时，参考CABAC上下文状态可以表示存储在先前解码的图片内的对应并行化单元中的特定位置处的CABAC上下文阶段。对应的并行化单元可以是参考图片内的共同定位的并行化单元或使用参考图片内的相同量化参数(QP)的并行化单元。

在图片被划分为并行化单元的情况下，当每个图片中的并行化单元的大小和/或数量相同时，参考CABAC上下文状态可以表示先前解码图片中的同一位置的并行化单元中的特定位置。

另一方面，当并行化单元的大小和/或数量不相同时，可以选择存储在先前解码的图片中的CABAC上下文状态中的任何一个CABAC上下文状态。可以考虑存储的CABAC上下文状态的位置与并行化单元的位置之间的差异来执行选择。例如，可以选择在位置方面与并行化单元具有最小差异的CABAC上下文状态作为参考CABAC上下文状态。在并行化单元的大小和/或数量不相同的情况下，当关于先前解码的图片内的CABAC上下文状态的位置信息被映射在并行化单元上时，存储在占据先前解码的图片内的最大区域的并行化单元中的CABAC上下文状态可以用作参考CABAC上下文状态。

在诸如360度视频的图片内存在多个子图片的情况下，存储在图片内存在的每个子图片内的特定位置处的CABAC上下文状态可以用作参考CABAC上下文州。

图4示出了根据本发明一个实施例的自适应初始化CABAC上下文模型的技术。

在图4中，参考图片410可以是之前于当前图片420的编码/解码的图片(即，先前编码/解码的图片)和可能意味着称为当前图像420的CABAC上下文模型的初始化的图片。参考图片410可以是当执行当前图片420的帧间预测时由当前图片420参考的多个参考图片中的任何一个。例如，参考图片410可以是具有预定索引的参考图片，其包括在当前图片的参考图片列表中。预定索引可以是在CABAC编码装置和CABAC解码装置中预设的固定值。预定索引可以是使用比特流信令通知的变量值，或者是从包括在当前图片420内的块的参考图片索引导出的变量值。可以选择具有与当前图片420相同的量化参数(QP)的图片，并且用作参考图片410。

如图4中所示，当前图片420可以指代存储在参考图片410内的特定位置处的CABAC上下文状态，用于CABAC上下文模型的自适应初始化。

参考图片410内的特定位置可以表示编码单元的位置，其在CABAC编码装置和CABAC解码装置之间预先商定，并且可以不信令通知指示特定位置的信息。CABAC编码装置可以在考虑编码效率的同时确定参考图片410内的最佳特定位置，对所确定的最佳特定位置进行编码，并将编码信息信令到CABAC解码装置。

参考存储在参考图片410内的特定位置处的CABAC上下文状态的过程可以包括加载在编码/解码与参考图片410内的特定位置相对应的块时存储的CABAC上下文状态的过程。

初始化当前图片420的CABAC上下文模型的过程意味着基于加载的CABAC上下文状态初始化当前图片420的起始块的CABAC上下文状态。

图5示出了根据应用本发明的一个实施例的基于每个并行化单元自适应地初始化CABAC上下文模型的方法。

在本实施例中，为了便于描述，将描述并行化单元是瓦片的情况作为示例。已经参考图4详细描述了图5。因此，这里将不再重复其描述。参照图5，参考图片510由四个并行化单元511、512、513和514组成，并且当前图片520由相同数量和大小的并行化单元521、522和523以及524组成。

如图5所示，当前图片520的并行化单元可以参考存储在参考图片510的并行化单元中的特定位置处的CABAC上下文状态，用于CABAC上下文模型的自适应初始化。在这种情况下，当前图片520的并行化单元可以指代位于参考图片510内的相同位置处的并行化单元，或者可以指代位于参考图片内的不同位置处的并行化单元。不同位置处的并行化单元可以是参考图片510中的并行化单元，其使用与当前图片520中的并行化单元相同的量化参数(QP)。

并行化单元中的特定位置可以表示在CABAC编码装置和CABAC解码装置中预设的编码单元的位置，并且在这种情况下，可以不信令通知指示特定位置的信息。CABAC编码装置可以在考虑编码效率的同时确定每个并行化单元内的最佳特定位置，对所确定的最佳特定位置进行编码，并将编码信息信令到CABAC解码装置。

参考存储在参考图片510内的特定位置处的CABAC上下文状态的过程可以包括加载在编码/解码与参考图片510内的并行化单元中的特定位置相对应的块时存储的CABAC上下文状态的过程。

初始化当前图片520的每个并行化单元的CABAC上下文模型的过程意味着基于加载的CABAC上下文初始化属于当前图片520的每个并行化单元的起始块的CABAC上下文状态。

图6和7示出了根据应用了本发明的一个实施例的基于并行处理的CABAC上下文模型初始化方法。

参照图6，根据本实施例的基于并行处理的CABAC上下文模型初始化方法为每个块行610、620、630、640和650初始化CABAC上下文模型，并且可以通过参考前一个块行的第二块的CABAC上下文状态初始化块行的一个块行的第一块的CABAC上下文模型。这里，块可以表示编码单元，并且可以具体表示编码树块(CTB)、通过树结构划分生成的编码块或最小编码块(SCU)。

参照图7，当前图片720指的是存储在参考图片710中的特定位置处的CABAC上下文状态，并初始化当前图片720的第一块行721的CABAC上下文模型。通过参考如参考图6描述的先前块行来执行与当前图片720的第一块行比的其他块行的CABAC上下文模型的初始化。在一些情况下，可以通过参考存储在参考图片710中的特定位置处的CABAC上下文状态来执行其他块行722、723、724和725中的至少一个的CABAC上下文模型的初始化。这里，由块行821参考的参考图片710中的特定位置(在下文中，称为第一特定位置)可以与由至少一个其他块行参考的参考图片710中的特定位置相同或可以不同(在下文中，称为第二特定位置)。

特定位置可以是根据当前图片720中包括的每个块行的位置或分配给各个块行的固定位置确定的可变位置。

特定位置可以是在CABAC编码装置和CABAC解码装置中预设的固定位置。可以基于使用比特流发信号通知的信息来识别特定位置。发信号通知的信息可包括指示由CABAC信息编码的特定位置的信息、关于当前图片的参考的信息、关于构成图片的块的属性的信息(例如，分区技术、大小、形状、深度等)等。

在下文中，将参考图11描述由帧间预测单元执行的基于运动矢量细化来执行帧间预测的方法。

帧间预测单元可基于预定帧间模式(例如，跳过模式、合并模式和AMVP模式)确定当前块的运动矢量，且使用所确定的运动向量来执行帧间预测。所确定的运动矢量可以照原样使用，或者可以在基于运动矢量细化信息进行细化之后使用。

这里，运动矢量细化信息可以包括细化ON/OFF信息、细化重复/非重复信息、细化重复的次数、关于运动矢量的分辨率的信息、可允许的细化范围的信息、运动矢量细化信令信息、以及其被称为用于运动矢量的细化的关于块、切片和图片的信息中的至少一个。

可以基于细化ON/OFF信息选择性地细化运动矢量。细化ON/OFF信息可以是指示运动矢量是否要被细化的信息，并且可以以标志的形式表示。可以以关于运动矢量的分辨率的信息指示的分辨率来细化运动矢量。可能的分辨率候选可以包括整数像素和子像素，例如1/2像素、1/4像素、1/8像素和1/16像素，并且运动矢量分辨率信息可以指定至少一个可能的分辨率候选。关于可允许细化范围的信息可以表示允许细化的分辨率范围，执行运动矢量细化的块范围等。

可以使用比特流来信令通知运动矢量细化信息，并且可以从空间相邻块(例如，左相邻块、上相邻块、左上相邻块、左下相邻块、右上相邻块等)和/或时间上相邻的块导出至少一条运动矢量细化信息。另外，至少一条运动矢量细化信息可以是视频编码装置和视频解码装置中预设的固定信息，或者是根据当前块的属性确定的可变信息(例如，帧间预测类型、是否为执行双向预测、是否使用近距离参考图片、块的大小/形状/深度、分区技术、是否存在残差系数、量化参数等)。根据视频编码装置和视频解码装置中预设的设置或根据信息的特性，可以在各种级别中的任何级别信令通知或导出运动矢量细化信息，包括序列级别、图片级别、切片级别、瓦片级别、块级别(例如，编码块级别、预测块级别等)。在一些情况下，可以不根据视频编码装置和视频解码装置中预设的设置来发信号通知至少一条运动矢量细化信息。

在使用帧间预测生成当前块的预测块的情况下，可以将运动矢量存储在视频编码/解码装置中，并且在这种情况下，视频编码/解码装置可以配备有专用缓冲器，用于存储运动矢量。

针对将细化应用于重构的运动矢量的情况描述了根据本发明的运动矢量细化。然而，本发明不限于此，并且当然可以将相同或类似的细化处理应用于预测运动矢量。

图8示出了根据应用本发明的一个实施例，通过选择性地细化一些运动矢量来执行帧间预测的过程。

参考图8，可以获取关于当前块的运动矢量细化信息(S800)。这里，运动矢量细化信息与上述相同。也就是说，运动矢量细化信息可以包括细化ON/OFF信息、关于细化重复的次数的信息、关于运动矢量的分辨率的信息、关于允许细化范围的信息、运动矢量细化信令信息、以及被称为用于细化运动矢量的关于块、切片和图片的信息中的至少一个。也就是说，可以获取至少一条运动矢量细化信息。

当细化ON/OFF信息指示要细化运动矢量时，可以细化运动矢量(S810)。

可以以与在视频编码装置中执行的运动矢量细化相同的分辨率，或以与在视频编码装置中执行的运动矢量细化不同的分辨率来执行运动矢量细化。也就是说，可以使用比视频编码装置中使用的分辨率更高的分辨率或更低的分辨率。例如，视频编码装置可以基于每个整数像素对运动矢量进行编码和信号发送，并且视频解码装置可以基于每个子像素(例如，在每1/2像素、1/4像素或1/8像素基础上)细化运动矢量。关于更精细子像素的细化的信息可以包括在运动矢量细化信息内。

可以使用先前解码的预测/重构值来细化运动矢量。先前解码的预测/重构值可以是当前块的预测/重构值，其通过基于作为细化目标的当前块的运动矢量或者当前块引用的参考图片的预测/重构值来执行帧间预测而获得。先前解码的预测/重构值可以是在时间上和/或在空间上与当前块相邻的相邻块的预测/重构值。

根据本发明的运动矢量细化可以包括通过使用先前解码的预测/重构值来计算用于补偿运动矢量的误差的偏移矢量的处理。在这种情况下，可以基于预先细化的运动矢量(原始运动矢量)和计算的偏移矢量导出细化的运动矢量。

接下来，基于细化的运动矢量再次执行帧间预测，以获取当前块的预测/重构值(S820)。

如上所述，细化的运动矢量可以存储在视频编码/解码装置中提供的缓冲器中，然后可以用于确定相邻块和/或随后要编码/解码的图片的运动矢量。

另一方面，当细化ON/OFF信息指示不要细化运动矢量时，运动矢量原样用于当前块的帧间预测而不被细化(S830)。

可以将运动矢量细化重复预定次数。可以根据关于执行细化的次数的信息来确定重复运动矢量细化的次数。可以使用比特流来信令通知关于执行细化的次数的信息。然而，在视频编码装置和视频解码装置已经预先同意细化次数并且因此知道何时停止运动矢量细化的情况下，关于细化次数的信息可能不被信令通知。当重复执行运动矢量细化时，可以仅存储最后的运动矢量，并且可以将通过重复细化运算获取的运动矢量中的至少一个重复存储在视频编码/解码装置的缓冲器中。

图9示出了当在图8的实施例中重复执行运动矢量细化时在细化运动矢量的过程中改变块的示例。

对具有N×M大小的当前块重复执行运动矢量细化(这里，N和M可以是相等数量或不同数量)，根据细化次数可以改变执行运动矢量细化的块的大小，类似于图4中所示的框400。

如图9所示，可以在第一细化步骤对N/2×M/2的块大小执行细化，在第二细化步骤对左上块402内的块大小N/4×M/4执行细化，并且为具有相同大小的其他块403执行细化。

关于是否要使用先前处理的块对相同大小的块(未被分区的块)执行运动矢量细化的信息也可以包括在运动矢量细化信息中。

图10示出了根据应用本发明的一个实施例，由被执行以支持重复的运动矢量细化的分区产生的块的大小和形状。

如图10(a)所示，可以根据分区深度将块划分成具有相同大小的子块。如图1中所示。如图10(b)所示，可以将块划分为非正方形子块。如图10(c)所示，可以将一些块划分为与其他块的划分深度不同的深度。如图10(d)所示，分区可能导致不对称的子块。如图10(e)、10(f)和10(g)所示，分区可以产生非矩形子块，其中可以混合三角形或矩形子块。如图10(h)所示，可以通过三条水平线水平划分块以产生具有相同大小的四个非正方形块。图10(a)至10(h)示出了本发明的一些可能的实施例。也就是说，可以将块划分为具有各种大小和形状的子块，并且关于子块的大小和形状的信息可以包括在运动矢量细化信息中。

允许分区的最小单元可以是单个像素。可以合并在运动矢量细化信息方面部分或完全相同的块。即使在原始编码单元不具有矩形形状的情况下，编码单元也可以被划分为具有各种形状的子块，如图10的实施例中所示。如图9所示，一个参考图片、两个参考图片、三个参考图片或更多数量的参考图片可以用于运动矢量细化。在重复执行运动矢量细化的情况下，可以改变参考图片，因此可以改变从参考图片获取运动矢量细化信息的方法。

当块被划分为具有各种形状的子块时，如图10所示，块可以具有不同的运动矢量。在这种情况下，伪像可能发生在具有不同运动矢量的块之间。为了消除伪像，可以应用环路滤波，这将参考图17至19进行描述。

图11示出了根据应用本发明的一个实施例的通过选择性地信令运动矢量差来执行帧间预测的过程。

可以通过运动矢量细化来修改运动矢量。当偏移矢量变得与通过该处理计算的运动矢量差(MVD)相同时，可以在不信令MVD的情况下执行当前块的解码。也就是说，当确定通过运动矢量细化未修改运动矢量时，可以跳过运动矢量差的信令，从而提高编码效率。

对于运动矢量差的选择性信令，可以使用指示是否跳过运动矢量差的信令的信息。可以使用比特流来信令通知该信息，或者可以从考虑到块的属性时确定的特定值导出该信息。例如，当信息的值是第一值时，可以不信令通知当前块的运动矢量差。在这种情况下，运动矢量差可以由通过运动矢量细化计算的偏移矢量代替。另一方面，当信息的值是第二值时，可以使用比特流来信令通知运动矢量差。

可以在包括序列级别、图片级别、切片级别和块级别的各种级别的任何级别信令信息，或者可以根据视频编码装置和视频解码装置中预设的条件跳过对其信令。例如，在存在关于当未执行当前块的运动矢量细化时信令运动矢量差的协议的情况下，可以不信令通知该信息。

参照图11，可以获取运动矢量细化信息(S1100)。由于运动矢量细化信息与上面已经描述的相同，因此这里将不再重复其描述。

基于在S1100中获取的运动矢量细化信息，可以确定是否细化当前块的运动矢量(S1110)。

当细化ON/OFF信息指示不要细化当前块的运动矢量时，可以基于从预测运动矢量和运动矢量差之和导出的运动矢量来执行运动补偿(S1120)。

另一方面，当细化ON/OFF信息指示要细化当前块的运动矢量时，将确定是否跳过信令当前块的运动矢量差(S1130)。是否跳过运动矢量差的信令可以使用预定标志(例如，mvd_skip_flag)来确定。

当确定要执行运动矢量差的信令时，可以基于从预测运动矢量和运动矢量差之和导出的运动矢量来执行运动补偿(S1140)。可以使用通过运动补偿获取的预测/重构值来细化在S1140中导出的运动矢量(S1150)。也就是说，可以使用通过运动补偿获取的预测/重构值来导出用于补偿运动矢量的误差的偏移矢量。可以通过将导出的偏移矢量与运动矢量相加来获取细化的运动矢量。可以使用细化的运动矢量来执行运动补偿(S1160)。

另一方面，当确定要跳过运动矢量差的信令时，可以基于预测运动矢量PMV来执行运动补偿(S1170)。类似地，可以使用通过运动补偿获取的预测/重构值来细化在S1170中获取的预测运动矢量(S1180)。也就是说，可以使用通过运动补偿获取的预测/重构值来导出用于补偿预测运动矢量PMV的误差的偏移矢量。可以通过将导出的偏移矢量与预测的运动矢量PMV相加来获取细化的运动矢量。可以基于细化的运动矢量执行运动补偿(S1190)。

可以将运动矢量细化重复预定次数，如图11的实施例中所示，以及如下参照图8到图10描述的。

参照图12至13，将描述基于每个子块的帧内预测方法。

图12示出了根据应用本发明的一个实施例的基于每个子块的单向帧内预测方法。

参考图12，当前块可以包括n个子块。这里，当前块可以指代编码块或预测块。当前块可以表示应用帧内预测模式的块单元。这里，n是自然数，其中n可以是视频编码装置和视频解码装置中预设的固定值，或者是根据块的属性确定的变量值。或者，视频编码装置可确定n的最佳值，对值进行编码，并信令通知编码值。视频解码装置可以基于信令通知的信息确定n的值。

子块具有N×M大小，其中N和M是1、2或更大的自然数，并且N和M可以是相同数量或不同数量。子块可以由一个像素组成，可以表示具有正方形或非正方形形状的像素组，或者像素行(行和列)。子块的大小可以是视频编码装置和视频解码装置中预设的固定大小，或者是根据块的属性确定的可变大小。考虑到当前块的帧内预测模式的方向性，可以确定子块的大小/形状。例如，当帧内预测模式具有水平方向性时，子块可以具有矩形形状，其中M大于N。另一方面，当帧内预测模式具有垂直方向性时，子块具有N大于M的矩形形状。视频编码装置可以编码并信令通知子块的最佳大小，并且视频解码装置可以基于信令通知的信息确定子块的大小。可以在序列级别、图片级别、切片级别、瓦片级别和块级别中的至少一个级别上信令通知该信息。

在根据本发明的单向帧内预测方法中，可以基于与当前块相邻的相邻像素和帧内预测模式，执行位于当前块中的顶行的第一子块1210的帧内预测和重构。可以使用重构的第一子块中的相邻像素和/或像素来帧内预测和重构第二子块1220。以这种方式，其他子块1230和1240也可以进行帧内预测和重构。在这种情况下，可以提高帧内预测的精度，并且可以减少残差误差的能量。然而，图12的实施例不旨在限制子块的预测和重构顺序。也就是说，可以按照第四子块、第三子块、第二子块和第一子块的顺序依次执行对子块的预测和重构。根据子块的大小/形状，子块按照从左子块到右子块或从右子块到左子块的顺序依次进行预测和重构。可以根据当前块的帧内预测模式和/或相邻块的帧内预测模式来确定预测和重构顺序。例如，帧内预测模式的方向是从上到下的方向，可以按照第一子块、第二子块、第三子块和第四子的顺序执行预测和重构。另一方面，帧内预测模式的方向是从下到上的方向，可以按照第四子块、第三子块、第二子块和第一子块的顺序执行预测和重构。预测和重构顺序可以是在视频编码装置和视频解码装置中预设的固定顺序。

图13示出了根据应用本发明的一个实施例的基于每个子块的双向帧内预测方法。

参照图13，可以通过基于当前块的参考像素对第一子块1300执行帧内预测来获取预测值，并且可以通过将残差值添加到预测值来重构当前块。这里，第一子块1300可以是位于当前块底部的子块、位于当前块右端的子块、或者是位于当前块中心的子块。然而，本发明不限于此。第一子块1300可以是构成当前块的多个子块。第一子块1300可以被定义为构成当前块的多个子块中第一次的预测和重构块。

接下来，可以使用当前块的参考像素和重构的第一子块中的像素中的至少一个来第二次预测第二子块1310。也就是说，与第一子块1300类似，可以仅使用当前块的参考图片或仅使用重构的第一子块中的像素来预测第二子块1310。可以使用双向预测来预测和重构第二子块1310，即，第一方向预测和第二方向预测。这里，第一方向预测可以表示基于当前块的参考像素的预测，第二方向预测可以表示基于重构的第一子块内的像素的预测。取决于子块的形状，第一方向可以表示向上的垂直方向，第二方向可以表示向下的垂直方向。或者，第一方向可以表示向左的水平方向，第二方向可以表示向右的水平方向。如图13所示，第一方向和第二方向可以是不同的方向或可以是相同的方向。

可以使用相同的帧内预测模式来执行第一方向预测和第二方向预测。或者，可以使用不同的帧内预测模式来执行第一方向预测和第二方向预测。可以基于用于第一方向预测的帧内预测模式(在下文中，称为第一帧内预测模式)来导出用于第二方向预测的帧内预测模式(在下文中，称为第二帧内预测模式)。例如，可以通过将预定常数加到第一帧内预测模式的值或从第一帧内预测模式的值减去预定常数来导出第二帧内预测模式。可以将第二帧内预测模式导出为与第一帧内预测模式的相反方向对应的模式。

可以基于编码的帧内预测模式来执行第一方向预测，并且可以基于默认模式来执行第二方向预测。默认模式是在视频编码装置和视频解码装置中预设的帧内预测模式，并且可以是平面模式、DC模式和垂直/水平模式中的任何一种。可以根据子块的大小/形状来确定默认模式。或者，可以固定特定模式，而不管子块的大小/形状如何。

根据预定的图案化预测顺序顺序地预测和/或重构当前块的多个子块。为此，视频编码装置可以确定图案化的预测顺序，并且可以信令通知关于图案化的预测顺序的信息。视频解码装置可以通过参考信令通知的信息根据预定顺序顺序地预测和/或重构子块。

或者，视频解码装置可基于相邻参考像素的值、相邻参考像素的值的变化量、相邻块的编码信息等来确定子块的预测顺序。可以使用多个参考像素来计算改变量，并且在这种情况下，参考像素的数量可以是两个、三个、四个或更多。多个参考像素可以以预定间隔(例如，一个像素、两个像素或更多像素的间隔)连续地或间歇地布置。

例如，可以按参考像素的像素值差D的降序执行子块的预测和/或重构。可以根据等式1计算关于R2参考像素的像素值差D。

[等式1]

D＝|R2-R1|+|R2-R3|

可以以这种方式为每个参考像素计算像素值差D，并且可以按照从最大差到最小差的顺序预测和/或重构子块。可以按照从对应于具有最大差值Dmax的参考像素的子块到对应于具有最小差值Dmin的参考像素的子块的顺序来预测和/或重构子块。

根据子块的大小/形状，可以确定预测顺序是从左到右、从右到左、从上到下、或从下到上。可以根据当前块的帧内预测模式和/或相邻块的帧内预测模式来确定预测顺序。例如，当帧内预测模式的方向是从上到下的方向时，可以按照第一子块、第二子块、第三子块和第四子块的顺序执行预测和重构。另一方面，由于帧内预测模式的方向是从下到上的方向，因此可以按照第四子块、第三子块、第二子块和第一子块的顺序执行预测和重构。预测和重构顺序可以是在视频编码装置和视频解码装置中预设的固定顺序。

在下文中，将参考图14至图16描述扫描变换块的变换系数的方法。

在视频编码装置中，可以基于预定扫描类型来扫描变换块的变换系数。变换块可以包括一个或多个系数组。基于根据扫描类型确定的扫描顺序，可以顺序地扫描系数组中的变换系数，并且可以顺序地扫描变换块中的系数组。

系数组可具有NxM大小。这里，N和M是自然数，其中N和M可以是相同数字或不同数字。在N和M是不同数字的情况下，N可以大于M或小于M。即，系数组可以是正方形组或非正方形组。系数组的大小/形状可以是视频编码装置中存在的固定大小/形状，或者是根据变换块的大小/形状确定的可变大小/形状。视频编码装置可以考虑编码效率来确定系数组的最佳大小/形状，并且可以对所确定的大小/形状进行编码。扫描类型可以是对角扫描，垂直扫描或水平扫描中的任何一种。然而，扫描类型可以不限于此。可以将具有预定角度的一个或多个扫描类型添加到扫描类型候选列表。对角扫描是从右上角到左下角的扫描系数的扫描方法。垂直扫描是从下到上的扫描系数的扫描方法。水平扫描是从右到左的扫描系数的扫描方法。扫描类型可以是这些中的任何一种。

可以基于编码块信息(例如，最大/最小大小、分区技术等)、变换块的大小/形状、系数组的大小/形状、预测模式、帧内预测信息(例如，帧内预测模式值、方向性、角度等)和帧间预测信息中的至少一个来确定扫描类型。或者，视频编码装置可以确定可以用于扫描变换块的扫描类型候选中的最佳扫描类型，并且可以编码指示所确定的扫描类型的索引。扫描类型候选包括对角扫描、垂直扫描、水平扫描、之字形扫描和Z扫描中的至少一种。扫描类型的数量和种类可以从变换块到变换块变化，并且可以根据关于编码块的信息、变换块的大小/形状/深度、系数组的大小/形状、预测模式、关于帧内预测的信息和帧间预测中的信息中的至少一个被确定。

当变换块的大小大于临界值时，变换块的一部分内的系数可被设置为零。变换块的大小可以用宽度、高度、宽度和高度之和、变换系数的数量或其任何组合来表示。预定临界值可以表示视频编码装置中存在的大小。变换系数被设置为零的部分可以是位于变换块的下端的一个或多个系数行，或者是位于变换块的右端的一个或多个系数列。可以根据临界值确定该部分。例如，指定变换块内的临界值大小之外的区域，并且属于相应区域的系数可以被设置为零。例如，对于NxM变换块，当N大于临界值64时，位于变换块的上端和/或左端的64行和/或列上的变换系数保持原样，并且其他变换系数可以设置为零。当M大于临界值64时，位于上端和/或左端的64个低点和/或列的变换系数保持原样，并且其他变换系数可以设置为零。

图14示出了根据应用本发明的一个实施例的扫描方形变换块的方法。

在图14中，8×8变换块由四个系数组组成，并且可以基于每组扫描8×8变换块中的变换系数。图14(a)示出了变换块的对角扫描，其中根据对角扫描类型的扫描顺序按照右下系数组、右上系数组、左下系数组和左上系数组的顺序扫描变换系数，其中每组中的变换系数从右上端扫描到左下端。图14(b)示出了变换块的水平扫描，其中根据水平扫描类型的扫描顺序按照右下系数组、左下系数组、右上系数组和左上系数组的顺序扫描变换系数，其中每组中的变换系数从右向左扫描。图14(c)示出了变换块的垂直扫描，其中根据垂直扫描类型的扫描顺序按照右下系数组、右上系数组、左下系数组和左上系数组的顺序扫描变换系数，其中每组中的变换系数从下到上扫描。

图15和16示出了根据应用本发明的一个实施例的扫描非方形变换块的方法。

图15示出了扫描8×4变换块的方法。

图15(a)示出了扫描类型是对角扫描并且基于每组执行扫描的情况，其中一组包括4×4系数。在这种情况下，可以从底部系数组到顶部系数组扫描变换块中的变换系数，其中根据对角扫描方向从右上端到左下端扫描每组中的系数。图15(b)示出了扫描类型是垂直扫描并且基于每组执行扫描的情况，其中一组包括4×4系数。在这种情况下，可以从底部系数组到顶部系数组扫描变换块中的变换系数，其中根据垂直扫描方向从下到上扫描每个组中的系数。图15(c)示出了扫描类型是水平扫描并且基于每组执行扫描的情况，其中一组包括4×4系数。在这种情况下，可以从底部系数组到顶部系数组扫描变换块中的变换系数，其中根据水平扫描方向从右到左扫描每个组中的系数。或者，如图15(d)所示，可以在每组上扫描8×4变换块中的变换系数，其中一组包括8×4变换系数，并且根据垂直扫描方向从下到上执行扫描。对于8×4块，扫描类型候选可以包括对角扫描、垂直扫描和水平扫描中的至少一个，并且系数组可以是4×4组或8×4组。确定扫描类型和扫描组的方法可以与上述相同。

图16示出了用于4×8变换块的扫描方法。

图16(a)示出扫描类型是对角扫描并且基于每组执行扫描的情况，其中扫描组是4×4系数的组。在这种情况下，可以从左系数组到右系数组扫描变换块中的变换系数，其中根据对角扫描方向从右上端到左下端扫描每组中的系数。图16(b)示出了扫描类型是垂直扫描并且基于每组执行扫描的情况，其中扫描组是4×4系数的组。在这种情况下，可以将变换块中的变换系数从右系数组扫描到左系数组，其中根据垂直扫描方向从下到上扫描每组中的系数。图16(c)示出了扫描类型是水平扫描并且基于每组执行扫描的情况，其中扫描组是4×4系数的组。在这种情况下，可以将变换块中的变换系数从右系数组扫描到左系数组，其中根据水平扫描方向从右到左扫描每组中的系数。或者，如图16(d)所示，可以在每个组上扫描4×8变换块中的变换系数，其中扫描组是4×8系数的组，并且根据水平扫描方向从右到左执行扫描。对于4×8块，扫描类型候选可以包括对角扫描、垂直扫描和水平扫描中的至少一个，并且系数组可以是4×4组或4×8组。确定扫描类型和扫描组的方法可以与上述相同。

视频解码装置可通过对所接收的比特流进行熵解码来获取变换块中的变换系数。视频解码装置可以基于编码块信息(例如，最大/最小大小、分区技术等)、变换块的大小/形状、系数组的大小/形状、预测模式、帧内预测信息(例如，帧内预测模式值、方向性、角度等)和帧间预测信息中的至少一个来确定扫描类型。当帧内预测模式具有水平方向性时，可以使用垂直扫描。当帧内预测模式具有垂直方向性时，可以使用水平扫描。视频解码装置可以基于变换系数的能量或从视频编码装置信令的索引来指定多个扫描类型候选中的任何一个。

参照图17至19，将描述将环路滤波应用于块边界的方法。

图17示出了根据应用本发明的实施例的应用环路滤波的范围。

参考图17，虚线表示视觉块边界，粗实线表示编码块边界，细实线表示像素边界。这里，虚拟块可以表示在编码块内具有任意大小和/或形状的子块。环路滤波可以对称或非对称地应用于虚拟块边界或编码块边界。可以根据块的属性将环路滤波应用于每个块的相等区域(范围)或者应用于各个块的不同范围。应用环路滤波的范围的形状(下文中，称为应用范围)可以是一维带形式或二维块形式。在本发明中，关于环路滤波的信息可以是在视频编码装置和视频解码装置中预设的固定信息，或者可以是使用比特流信令通知的可变信息。

在本实施例中，为了便于描述，假设滤波器的形状是一维的，并且应用范围覆盖块边界的每一侧上的两个像素(即，左侧的两个像素，并且块边界右侧的两个像素)。

参考图17(a)，边界401周围的灰色像素是应用了环路滤波的像素。当虚拟块具有小的大小时，如图17(b)所示，虚拟块边界411周围的应用范围和虚拟块边界412周围的应用范围重叠。另一方面，当虚拟块具有如图17(c)所示的大的大小时，可能存在既不被虚拟块边界421周围的应用范围覆盖也不被虚拟块边界422周围的应用范围覆盖的区域。也就是说，根据用于滤波的应用范围的大小和虚拟块的大小的至少一个可以存在各种实施例。

例如，当用于滤波的应用范围覆盖如图17(a)和17(b)中的边界的每一侧上的三个像素(即，左侧的三个像素和右侧的三个像素)时，出现多次应用滤波的区域。另一方面，当滤波的应用范围覆盖在图17(a)至17(c)中的边界的每一侧上的一个像素(即，左侧的一个像素和右侧的一个像素)时，存在多次未应用滤波的区域。在一个实施例中，用于滤波的应用范围可以是边界的每一侧上的零像素。也就是说，可以跳过环路滤波的应用。

图17(e)、17(f)和17(g)示出了编码块边界和虚拟块边界。这里，深灰色区域表示应用环路滤波的编码块边界周围的应用范围，亮灰色区域表示应用环路滤波的虚拟块边界周围的应用范围。如图17(e)所示，用于编码块和虚拟块的环路滤波器的形状/大小可以彼此相同。如图17(f)所示，环路滤波可以仅应用于编码块边界，并且可以跳过对虚拟块边界的环路滤波的应用。如图17(g)所示，用于编码块边界的环路滤波器和用于虚拟块边界的环路滤波器可以具有不同的应用范围。当虚拟块是非正方形块时，分别用于水平边界和垂直边界的滤波器可以在滤波器的大小，形状或应用范围中的至少一个方面不同。对于多次应用环路滤波的块，可以跳过对整个区域或重叠区域的环路滤波的应用。

图18示出了根据应用本发明的一个实施例的确定用于环路滤波的应用范围的方法。

参照图18，可以获取环路滤波信息(S1800)。

环路滤波信息可以包括用于虚拟块的边界的滤波器信息和用于编码块的边界的滤波器信息中的至少一个。一条环路滤波信息可以共同用于对编码块边界进行滤波并对虚拟块边界进行滤波。虚拟块边界的滤波器信息可以用于对编码块边界进行滤波，相反，编码块边界的滤波器信息可以用于对虚拟块边界进行滤波。不同的滤波器信息可以分别用于编码块边界和虚拟块边界。

信息可以使用比特流被信令通知，被导出，或者可以是在视频编码装置和视频解码装置中预设的信息。可以使用比特流来信令通知部分信息，并且剩余的信息可以是在视频编码装置和视频解码装置中预设的信息。

可以确定当前边界是否是应用环路滤波的边界(S1810)。可以基于使用比特流信令通知的信息来导出/确定应用了环路滤波的编码块边界和/或虚拟块边界的方法，可以在视频解码装置中被预设，或者可以是基于导出的信息被确定。

当确定当前边界是应用环路滤波的边界时，可以将环路滤波应用于当前边界(S1820)。环路滤波的应用可以包括确定适合于当前边界的最佳环路滤波器的过程。可以基于量化参数、边界上的像素值、一个或多个相邻像素的值、参考图片索引、关于边界是否对应于亮度分量、色度分量的类型、边界的长度以及边界所属的块的属性的信息中的至少一个来确定当前边界的环路滤波器的大小/形状。

另一方面，当确定当前边界不是应用环路滤波的边界时，可以不将环路滤波应用于当前边界(S1830)。

可以使用例如序列级别、图片级别、切片级别、瓦片级别、块级别、编码单元组级别、编码单元级别和子编码单元级别的各种级别的任何级别的比特流来发信令通知关于环路滤波的应用的开/关信息。尽管ON被设置用于较高级别，但是可以根据ON/OFF信息在较低级别执行选择性应用。指示环路滤波被应用于编码块边界和虚拟块边界两者的ON信息在视频序列级别可以被信令通知。指示环路滤波既不应用于编码块边界也不应用于特定图片内的虚拟块边界的OFF信息可以被信令通知。

当虚拟块的大小等于一个像素大小时，构成各个虚拟块的像素可以具有不同的运动矢量。在这种情况下，可以跳过将环路滤波应用于虚拟块边界。另外，如图17(b)所示，当用于环路滤波的应用范围在两个边界上延伸时，可以跳过对两个边界之一的环路滤波的应用。在一些情况下，环路滤波可以仅应用于编码块边界，并且可以选择性地跳过对虚拟块边界的环路滤波的应用。

图19示出了根据应用本发明的一个实施例的将环路滤波应用于几何形状的边界的方法。

根据图10(f)和10(g)中所示的块分区结构，边界可以具有除矩形之外的任意形状。在这种情况下，如图19所示，可以应用环路滤波。图19(a)和19(b)示出了块边界，图19(c)和19(d)是其放大视图。在图19(c)和19(d)中，方块表示像素。环路滤波应用于边界处的每两个像素。边界的形状和滤波器应用范围可以根据实施例而变化。

本公开还可以具有以下配置：

1.一种帧间预测方法，包括：

获取关于当前块的运动矢量的细化的信息；

重构当前块的运动矢量；

使用运动矢量对当前块执行运动补偿；

使用运动补偿的输出和关于运动矢量的细化的信息中的至少一个或两者来细化当前块的运动矢量；和

使用细化的运动矢量对当前块执行运动补偿。

2.一种帧内预测方法，包括：

基于当前块的参考像素通过对当前块内的第一子块执行帧内预测来重构第一子块；和

使用当前块的参考像素或重构的第一子块内的至少一个像素，对当前块内的第二子块执行帧内预测。

3.一种扫描变换系数的方法，该方法包括：

通过解码比特流来获取变换块的变换系数；和

基于预定的扫描类型扫描变换块的变换系数，

其中，扫描是在每组的基础上进行的，其中该组是一组M×M系数，和

从多个扫描类型候选中基于信令通知的索引来选择扫描类型。

4.一种视频解码装置，包括：

熵解码单元，被配置为获取有关当前块的运动矢量细化信息；

帧间预测单元，被配置为重构当前块的运动矢量，使用运动矢量对当前块执行运动补偿，使用运动补偿的输出和有关当前块的运动矢量细化信息的至少一个或两者来细化当前块的运动矢量，并使用细化的运动矢量对当前块执行运动补偿。

5.一种视频解码装置，包括：

帧内预测单元，被配置为基于当前块的参考像素对当前块内的第一子块执行帧内预测，重构第一子块，以及使用当前块的参考像素和重构的第一子块内的像素中的至少一个或两个对当前块内的第二子块执行帧内预测。

6.一种视频解码装置，包括：

熵解码单元，被配置为通过解码比特流来获取变换块的变换系数；和

重新对准单元，被配置为基于预定扫描类型扫描变换块的变换系数，

其中，扫描是在每组的基础上进行的，其中该组是一组M×M系数，和

从多个扫描类型候选中基于信令通知的索引来选择扫描类型。

尽管为了描述的清楚起见，本公开的示例性方法以一系列步骤表示，但是示例性方法不旨在限制步骤的顺序。一些步骤可以同时执行，或者可以根据需要以不同的顺序执行。为了实现本公开所呈现的方法，可以向示例性方法添加附加步骤，可以省略示例性方法中的一些步骤，或者省略示例性方法中的一些步骤，并且可以向示例性方法添加附加步骤。

本公开中的各种实施例并非旨在示出所有可能的组合，而是旨在仅示出本公开的一些代表性方面。在各种实施例中描述的元件可以独立地应用，或者可以组合它们中的两个或更多个来使用。

此外，本公开的各种实施例可以通过硬件模块、软件模块或其组合来实现。硬件实现可以意味着由一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器或微处理器来实现。

本公开的范围包括使得各种实施例的方法在设备或计算机上执行的软件或机器可执行命令(例如，操作系统、应用、固件、程序等)，以及其中这种软件或机器可执行命令被存储以便可在设备或计算机上执行的非暂时性计算机可读介质。

工业适用性

本发明可用于编码/解码视频信号。

Claims (7)

1.一种视频解码方法，包括：

使用当前块的一个或多个参考像素对所述当前块内的第一子块执行第一帧内预测；

使用所述当前块的至少一个参考像素或者所述第一子块的一个或多个重构像素，对所述当前块内的与所述第一子块相邻的第二子块执行第二帧内预测，所述重构像素是基于所述第一帧内预测的输出生成的；以及

基于所预测的第一子块和所预测的第二子块来重构所述当前块。

2.根据权利要求1所述的视频解码方法，

其中，所述当前块包括多个子块，所述子块的数量是基于所述当前块的大小确定的。

3.根据权利要求1所述的视频解码方法，

其中，所述当前块包括多个子块，每一个子块的形状是基于所述当前块的帧内预测模式确定的。

4.一种视频编码方法，包括：

使用当前块的一个或多个参考像素对所述当前块内的第一子块执行第一帧内预测；

使用所述当前块的至少一个参考像素或者所述第一子块的一个或多个重构像素，对所述当前块内的与所述第一子块相邻的第二子块执行第二帧内预测，所述重构像素是基于所述第一帧内预测的输出生成的；以及

将与所述第一帧内预测和所述第二帧内预测相关的帧内预测信息编码到比特流中。

5.根据权利要求4所述的视频编码方法，

其中，所述当前块包括多个子块，所述子块的数量是基于所述当前块的大小确定的。

6.根据权利要求4所述的视频编码方法，

其中，所述当前块包括多个子块，每一个子块的形状是基于所述当前块的帧内预测模式确定的。

7.一种非暂态计算机可读记录介质，其存储有通过视频编码方法生成的比特流，所述视频编码方法包括：

使用当前块的一个或多个参考像素对所述当前块内的第一子块执行第一帧内预测；

使用所述当前块的至少一个参考像素或所述第一子块的一个或多个重构像素，对所述当前块内的与所述第一子块相邻的第二子块执行第二帧内预测，所述重构像素是基于所述第一帧内预测的输出生成的；以及

将与所述第一帧内预测和所述第二帧内预测相关的帧内预测信息编码到比特流中。

Images