CN106716997A - 使用环路内滤波器参数预测的视频编码方法和设备以及相应视频解码方法和设备 - Google Patents

Abstract

视频编码设备包括：编码器，通过对输入视频进行编码来生成编码的视频数据；解码器，对将应用滤波器以补偿像素值的视频数据进行解码，其中视频数据来自编码的视频数据；自适应环路滤波器(ALF)参数预测器，通过使用解码的视频数据的信息来生成ALF滤波器参数，其中ALF滤波器参数用于应用ALF滤波器，以通过使用与当前像素相邻的相邻像素的值和相邻像素的滤波器系数来补偿当前像素的值；取样自适应偏移(SAO)滤波器单元，将SAO滤波器应用到解码的视频数据，其中SAO滤波器通过使用边缘偏移和频带偏移中的至少一个来补偿当前像素的值；ALF滤波器单元，通过使用ALF滤波器参数来将ALF滤波器应用到已经应用了SAO滤波器的视频数据；以及熵编码器，对ALF滤波器参数执行熵编码。

Description

使用环路内滤波器参数预测的视频编码方法和设备以及相应 视频解码方法和设备

技术领域

本公开涉及视频编码方法和解码方法，更具体地，涉及环路内滤波方法。

背景技术

随着开发和供应用于播放和存储高分辨率或高质量视频内容的硬件，针对用于将高分辨率或高质量视频内容高效编码或解码的视频编解码器的需求逐渐增长。根据传统的视频编解码器，基于具有预定尺寸的宏块来根据有限编码方法对视频进行编码。

经由频率转换将空间域的图像数据转换成频域的系数。根据视频编解码器，将图像分割成具有预定尺寸的块，对每个块执行离散余弦变换(DCT)，以及以块为单位对频率系数进行编码，以快速计算频率转换。为了从彩色图像中去除冗余，传统压缩系统执行基于块的预测。传统压缩系统以图片为单元生成参数，该参数用于对视频进行进行编码和解码。

本发明的详细描述

技术问题

提供视频编码方法。

技术方案

根据本公开的一方面，提供视频编码设备，该视频编码设备包括：编码器，配置成通过对输入视频进行编码来生成编码的视频数据；解码器，配置成对将应用滤波器以补偿像素值的视频数据进行解码，其中，视频数据来自所编码的视频数据；自适应环路滤波器(ALF)参数预测器，配置成通过使用所解码的视频数据的信息来生成ALF滤波器参数，其中，ALF滤波器参数被配置成将应用到ALF滤波器，以通过使用与当前像素相邻的相邻像素的值和相邻像素的滤波器系数来补偿当前像素的值；取样自适应偏移(SAO)滤波器单元，配置成将SAO滤波器应用到所解码的视频数据，其中，SAO滤波器通过使用边缘偏移和频带偏移中的至少一个来补偿当前像素的值；ALF滤波器单元，配置成通过使用ALF滤波器参数来将ALF滤波器应用到已经应用了SAO滤波器的视频数据；以及熵编码器，配置成对ALF滤波器参数执行熵编码。

技术效果

提供了改善编码速度和效率的视频编码方法。

附图说明

将通过下文的具体实施方式和附图来理解本公开，在附图中，附图标记表示结构元件。

图1是用于描述由执行环路内滤波的编码设备执行的操作的概念的示意图。

图2A和图2B示出根据本公开的实施方式的执行环路内滤波和编码操作的编码设备。

图3A到图3C示出根据本公开的实施方式的执行环路内滤波和编码操作的编码设备。

图4A和图4B示出根据本公开的实施方式的执行环路内滤波和编码操作的编码设备。

图4C到图4E是用于描述根据本公开的实施方式的针对边缘类型对取样自适应偏移(SAO)滤波器参数进行编码的方法的示意图。

图5A和图5B示出根据本公开的实施方式的执行环路内滤波和编码操作的编码设备。

图5C和图5D示出根据本公开的实施方式的与根据先前块来检查SAO滤波器应用结果或自适应环路滤波器(ALF)滤波器参数应用结果的方法有关的示意图，该方法由SAO/ALF参数预测器执行。

图6A和图6B示出根据本公开的实施方式的执行环路内滤波和编码操作的编码设备。

图7A和图7B示出根据本公开的实施方式的执行环路内滤波和编码操作的编码设备。

图7C是根据本公开的实施方式的视频解码设备的框图。

图7D示出根据本公开的实施方式的边缘类型边缘分类。

图7E和图7F示出根据实施方式的边缘类型类别。

图7G是用于描述根据本公开的实施方式的应用ALF滤波器的方法的概念的示意图。

图8是根据实施方式的基于根据树形结构的编码单元的视频编码设备的框图。

图9是根据实施方式的基于根据树形结构的编码单元的视频解码设备的框图。

图10是用于描述根据本公开的实施方式的编码单元的概念的示意图。

图11是根据本公开的实施方式的基于编码单元的视频编码器的框图。

图12是根据本公开的实施方式的基于编码单元的视频解码器的框图。

图13是示出根据本公开的实施方式的编码单元和分区的示意图。

图14是用于描述根据本公开的实施方式的编码单元与变换单元之间的关系的示意图。

图15示出根据本公开的实施方式的多项编码信息。

图16是根据本公开的实施方式的编码单元的示意图。

图17、图18和图19是用于描述根据本公开的实施方式的编码单元、预测单元与变换单元之间的关系的示意图。

图20是用于描述根据表1的编码模式信息的编码单元、预测单元与变换单元之间的关系的示意图。

图21是根据实施方式的存储有程序的盘片的物理结构的示意图。

图22是用于通过使用盘片来记录和读取程序的盘片驱动器的示意图。

图23是用于提供内容分发服务的内容供应系统的整体结构的示意图。

图24和图25示出根据实施方式的应用本公开的视频编码方法和视频解码方法的移动电话的外部结构和内部结构。

图26示出根据实施方式的采用通信系统的数字广播系统。

图27是示出根据实施方式的使用视频编码设备和视频解码设备的云计算系统的网络结构的示意图。

实施本发明的最佳方式

根据本公开的一方面，提供视频编码设备，该视频编码设备包括：编码器，配置成通过对输入视频进行编码来生成编码的视频数据；解码器，配置成对将应用滤波器以补偿像素值的视频数据进行解码，其中，视频数据来自所编码的视频数据；自适应环路滤波器(ALF)参数预测器，配置成通过使用所解码的视频数据的信息来生成ALF滤波器参数，其中，ALF滤波器参数被配置成将应用到ALF滤波器，以通过使用与当前像素相邻的相邻像素的值和相邻像素的滤波器系数来补偿当前像素的值；取样自适应偏移(SAO)滤波器单元，配置成将SAO滤波器应用到所解码的视频数据，其中，SAO滤波器通过使用边缘偏移和频带偏移中的至少一个来补偿当前像素的值；ALF滤波器单元，配置成通过使用ALF滤波器参数来将ALF滤波器应用到已经应用了SAO滤波器的视频数据；以及熵编码器，配置成对ALF滤波器参数执行熵编码。

ALF参数预测器可被配置成通过使用尚未应用SAO滤波器的解码的视频数据的信息来生成ALF滤波器参数。

视频编码设备还可包括去块化滤波器单元，该去块化滤波器单元被配置成将去块化滤波器应用到解码的视频数据以去除块化效应，SAO滤波器单元还可被配置成将SAO滤波器应用到已经应用了去块化滤波器的解码的视频数据，以及ALF参数预测器还可被配置成通过使用尚未应用去块化滤波器的解码的视频数据的信息来生成ALF滤波器参数。

视频编码设备还可包括去块化滤波器单元，该去块化滤波器单元被配置成将去块化滤波器应用到解码的视频数据以去除块化效应，SAO滤波器单元还可被配置成将SAO滤波器应用到已经应用了去块化滤波器的解码的视频数据，以及ALF参数预测器还可被配置成通过使用已经应用了去块化滤波器的解码的视频数据的信息来预测已经应用了SAO滤波器的视频数据的ALF滤波器参数。

视频编码设备还可包括：去块化滤波器单元，该去块化滤波器单元被配置成将去块化滤波器应用到解码的视频数据以去除块化效应；以及SAO参数预测器，该SAO参数预测器被配置成通过使用尚未应用去块化滤波器的解码的视频数据的信息来生成SAO滤波器参数，从而将SAO滤波器应用到解码的视频数据，以及SAO滤波器单元还可被配置成通过使用SAO滤波器参数来将SAO滤波器应用到解码的视频数据。

ALF参数预测器还可被配置成通过使用已经应用了去块化滤波器的解码的视频数据的信息来预测已经应用了SAO滤波器的视频数据的ALF滤波器参数。

熵编码器还可被配置成对预测的SAO滤波器参数执行熵编码。

SAO滤波器单元还可被配置成将SAO滤波器应用到已经应用了去块化滤波器的重建视频。

SAO参数预测器还可被配置成通过使用尚未应用去块化滤波器的解码的视频数据的像素值来预测将去块化滤波器应用到解码的视频数据的结果，以及通过使用应用去块化滤波器的预测结果的值来预测SAO滤波器参数。

SAO参数预测器还可被配置成通过使用在对解码的视频数据进行编码的过程中使用的预测信息来预测SAO滤波器参数。

SAO参数预测器还可被配置成通过使用在SAO滤波器应用到解码的视频数据中的当前块之前已经应用了SAO滤波器的先前块的SAO滤波器参数来预测当前块的SAO滤波器参数。

SAO参数预测器还可被配置成通过使用位于与当前块所在的重建视频的图片相同的图片中的空间相邻的块的信息来预测当前块的SAO滤波器参数。

空间相邻的块的信息可包括空间相邻的块的像素值、预测信息和SAO滤波器参数中的至少一个。

SAO参数预测器还可被配置成通过使用位于具有与当前块所在的重建视频的图片的图像序列信息不同的图像序列信息的图片中的时间相邻的块的信息来预测当前块的SAO滤波器参数。

时间相邻的块的信息可包括时间相邻的块的像素值、预测信息和SAO滤波器参数中的至少一个。

SAO参数预测器还可被配置成通过使用下列信息中的至少一项来预测当前块的SAO滤波器参数：位于与当前块所在的重建视频的图片相同的图片中的空间相邻的块的信息；位于具有与当前块所在的重建视频的图片的时间信息不同的时间信息的图片中的时间相邻的块的信息；以及尚未应用去块化滤波器的当前块的信息。

熵编码器还可被配置成在ALF滤波器单元通过使用生成的ALF滤波器参数而将ALF滤波器应用到已经应用了SAO滤波器的当前块之前，对预测的ALF滤波器参数执行熵编码。

根据本公开的另一方面，提供由视频编码设备执行的视频编码方法，该视频编码方法包括：通过对输入视频进行编码来生成编码的视频数据；对将应用滤波器以补偿像素值的视频数据进行解码，其中视频数据来自编码的视频数据；通过使用解码的视频数据的信息来生成自适应环路滤波器(ALF)滤波器参数，其中ALF滤波器参数被配置成应用到ALF滤波器，以通过使用与当前像素相邻的相邻像素的值和根据相邻像素的滤波器系数来补偿当前像素的值；将取样自适应偏移(SAO)滤波器应用到解码的视频数据，其中SAO滤波器通过使用边缘偏移和频带偏移中的至少一个来补偿当前像素的值；通过使用ALF滤波器参数来将ALF滤波器应用到已经应用了SAO滤波器的视频数据；以及对ALF滤波器参数执行熵编码。

生成ALF滤波器参数可包括通过使用尚未应用SAO滤波器的解码的视频数据的信息来生成ALF滤波器参数。

根据本公开的另一方面，提供非暂时性计算机可读记录介质，该非暂时性计算机可读记录介质上记录有计算机程序，该计算机程序用于执行视频编码方法。

根据本公开的另一方面，提供存储在非暂时性计算机可读记录介质中的计算机程序，该计算机程序与硬件组合，由此执行视频编码方法，该视频编码方法包括：通过对输入视频进行编码来生成编码的视频数据；对将应用滤波器以补偿像素值的视频数据进行解码，其中视频数据来自编码的视频数据；通过使用解码的视频数据的信息来生成自适应环路滤波器(ALF)滤波器参数，其中ALF滤波器参数被配置成应用到ALF滤波器，以通过使用与当前像素相邻的相邻像素的值和根据相邻像素的滤波器系数来补偿当前像素的值；将取样自适应偏移(SAO)滤波器应用到解码的视频数据，其中SAO滤波器通过使用边缘偏移和频带偏移中的至少一个来补偿当前像素的值；通过使用ALF滤波器参数来将ALF滤波器应用到已经应用了SAO滤波器的视频数据；以及对ALF滤波器参数执行熵编码。

生成ALF滤波器参数可包括通过使用尚未应用SAO滤波器的解码的视频数据的信息来生成ALF滤波器参数。

具体实施方式

下文将参考图1到图7G提供根据实施方式的涉及通过使用环路内滤波来用信号表示滤波器参数的视频编码方法和视频解码方法。

此外，将参考图8到图20描述基于适用于视频编码方法和视频解码方法的、具有树形结构的编码单元的视频编码方法和视频解码方法。此外，将参考图21到图27描述适用视频编码方法和视频解码方法的实施方式。

在下文中，“图像”可指的是静态图像或视频的移动图像，或者视频本身。

在下文中，“样本”指的是分配到图像的采样位置并且将进行处理的数据。例如，空间域的图像中的像素可以是样本。

在下文中，“当前颜色块”可指的是将被编码或解码的图像的块。例如，当前颜色块可指的是将被编码或解码的彩色图像的块。在当前图像以YCrCb格式进行编码和解码时，当前块可以是亮度块、Cr块和Cb块中的一个。

当前图像指的是包括当前块的图像。例如，当前彩色图像指的是包括当前块的彩色图像。更具体地，当前彩色图像指的是包括将被编码或解码的块的彩色图像。

在下文中，当前块周围的相邻块指的是与当前块相邻的块。例如，相邻块可位于当前块的顶部、右上部、左侧、左下部或者左上部。相邻块可指的是与当前块相邻的编码块或解码块。

首先参考图1到图7G提供了视频编码设备、视频编码方法、视频解码设备和视频解码方法。

图1是用于描述由执行环路内滤波的编码设备100执行的操作的概念的示意图。编码设备100包括编码器101、解码器110、去块化滤波单元120、取样自适应偏移(SAO)滤波单元132、自适应环路滤波器(ALF)滤波单元134、熵编码器150，以及多个数据缓存器192、194和196。

编码器101通过对输入原始视频进行编码来生成编码的视频数据。编码的视频数据输入到解码器110。编码器101可通过将视频分割成图片并且将每个图片分割成块来预测配置视频的像素值，可根据预测来变换像素值之间的差异，可将变换的值量化，因而可对视频进行编码。例如，编码器101可将像素值之间的差异变换到频域，以及可将变换的值量化。

例如，编码器101可将视频分成块并且可对块中的每个进行编码。块可具有正方形形状、矩形形状或任意几何形状，以及不限于具有预定尺寸的数据单元。在根据树形结构的编码单元之中，根据实施方式的块可以是最大编码单元、编码单元、预测单元或变换单元。

编码器101可单独对图像的最大编码单元中的每个进行解码。例如，可基于从当前最大编码单元中分割的树形结构的编码单元对当前最大编码单元进行编码。

为了对当前最大编码单元进行编码，编码器101可通过执行帧内预测和/或帧间预测、变换和量化来对当前编码单元中包括的树形结构的亮度编码单元和/或色度编码单元进行编码。下文将参考图8描述基于根据树形结构的编码单元的视频编码和解码技术。

解码器110通过逆向执行编码过程来对编码的视频数据进行解码，从而生成重建的视频。例如，解码器110可通过反量化、逆变换、帧间预测或运动补偿而对树形结构的编码单元中的每个中的编码样本执行解码，从而重建当前最大编码单元中包括的像素。

由于在解码器110对视频进行编码和解码时，一些信息有损耗，因此，通过重建由对原始视频进行编码所生成的编码的视频而生成的重建视频变得不同于原始视频。例如，原始视频数据的具体像素值的值可不同于通过对原始视频数据的具体像素值执行编码和解码而生成的重建视频数据的具体像素值。由于该差异，可通过对原始视频和重建视频执行主观质量评估来测量重建视频的质量，并且一般而言，与原始视频相比，重建视频包括妨碍了主观质量的伪影。例如，伪影包括块伪影、噪声伪影等。为了去除伪影，提供各种后处理滤波器。例如，如图1所示，提供去块化滤波器、SAO滤波器、ALF等。

为了从重建的视频中去除伪影，可将重建的视频传递到去块化滤波单元120。为了删除重建的视频中发生的块现象，将去块化滤波器应用于重建的视频。可对位于最大编码单元的编码单元或树形结构的编码单元的边界区域中的像素执行用来减少块现象的滤波。将已经应用了去块化滤波器的重建视频传递到SAO滤波单元132，以进行后续图像处理。

SAO滤波单元132通过使用SAO滤波器来执行滤波。SAO滤波器是通过使用边缘偏移和/或频带偏移来补偿当前像素值的滤波器。SAO滤波单元132可根据将被补偿像素值的当前像素的值和与当前像素相邻的相邻像素的值之间的大小关系来确定边缘偏移，并且可根据当前像素的值来确定频带偏移。例如，SAO滤波单元132可调整每个最大编码单元的每个重建像素的像素值。SAO滤波单元132可确定SAO类型、SAO分类和当前块的偏移值，从而对其应用SAO滤波器。SAO滤波单元132可将SAO滤波器应用到应用了去块化滤波器的重建视频，并且可将已经应用了SAO滤波器的重建视频传递到ALF滤波单元134。此外，SAO滤波单元132可将SAO类型和SAO分类的值传递到熵编码器150。

ALF滤波单元134通过使用ALF滤波器来执行滤波。ALF滤波器是使用通过计算与将要补偿像素值的当前像素相邻的相邻像素的值而确定的补偿值和相邻像素的滤波器系数来补偿当前像素的值的滤波器。ALF滤波单元134可确定将应用到当前像素的ALF滤波器的形状、尺寸和系数。ALF滤波单元134可通过使用确定的ALF滤波器的形状、尺寸和系数来将ALF滤波器应用到当前像素。ALF滤波单元134可将已经应用了ALF滤波器的重建视频传递到编码器101。编码器101可通过使用已经应用了ALF滤波器的重建视频来预测输入的原始视频，从而对输入视频执行编码。例如，视频编码设备100可通过使用已经应用了ALF滤波器的重建图片对编码目标图片执行帧间预测，从而对原始视频执行编码。

熵编码器150可对通过编码的视频而生成的句构成分进行熵编码，并且可将它生成为比特流。熵编码器150也可对SAO滤波器参数和ALF滤波器参数进行熵编码，并且可将它们生成为比特流。

根据熵编码方法，根据实施方式的SAO滤波器参数和ALF滤波器参数可被分成将基于上下文进行熵编码的参数和将根据旁路模式进行熵编码的参数。

基于上下文的熵编码方法可作为一系列的操作执行，包括将诸如SAO滤波器参数的符号变换成比特流的二进制化操作和在比特流上执行基于上下文的算术编码的算术编码操作。上下文自适应二进制算数编码(CABAC)广泛用作执行基于上下文的算术编码的算术编码方法。根据基于上下文的算术编码和解码，符号比特流的相应比特是上下文的相应二进数(bin)，并且相应二进数的位置可映射到二进数索引。比特流的长度(即，二进数的长度)可根据符号的值而改变。针对基于上下文的算术编码和解码，需要基于符号的上下文的概率建模。

如果当前符号的编码比特是基于先前编码的符号在概率上预测的，那么可执行基于上下文的概率建模。针对基于上下文的概率建模，需要最新更新符号比特流的每个比特位置的上下文，例如，每个二进数索引的上下文。就这点而言，概率建模指的是分析每个二进数中出现0或1的概率的过程。通过将根据新块的符号的比特来分析概率的结果应用到目前的上下文来更新上下文的过程可在每个块中重复。当概率建模重复时，可确定出现概率与每个二进数匹配的概率模型。

因此，在当前符号的二进制化比特流的每个比特上执行选择和输出与当前上下文对应的代码的操作，通过考虑到基于上下文的概率模型，可以执行基于上下文的熵编码。

针对基于上下文的熵编码来确定符号的每个二进数的基于上下文的概率模型的操作需要高度计算和很多计算时间。根据旁路模式的熵编码操作指的是使用概率模型而无需考虑符号的上下文的熵编码操作。

当如上文所述应用SAO滤波器和ALF滤波器时，熵编码不得不延迟到SAO滤波器参数和ALF滤波器参数被确定为止，从而对SAO滤波器参数和ALF滤波器参数进行编码。因此，当SAO滤波单元132和ALF滤波单元134体现为硬件时，用于生成比特流的熵编码操作必须推后，直到完成确定SAO滤波器参数和ALF滤波器参数的操作，并且将多项信息进行了缓存。例如，作为将被熵编码的句构元素的预测信息PUINFO、变换信息TUINFO等存储在数据缓存器192、194和196中，直到SAO滤波器参数和ALF滤波器参数被确定以进行熵编码为止。因此，电路尺寸和功耗方面可出现效率低下。

为了解决上述问题，根据实施方式的编码设备100可在去块化滤波执行之前预测SAO滤波器参数和ALF滤波器参数，并且可对预测的滤波器参数进行熵编码，使得可改善因SAO编码造成的电路尺寸和功耗效率低下。

图2A是用于描述根据本公开的实施方式的执行环路内滤波的编码操作的概念的示意图。

根据本公开的实施方式的编码设备200包括编码器201、解码器210、去块化滤波单元220、SAO滤波单元232、ALF滤波单元234、熵编码器250、SAO/ALF参数预测器282，以及多个数据缓存器292和294。在下文中，现在将描述与参考图1描述的编码设备100不同的配置。

SAO/ALF参数预测器282通过使用由解码器生成的重建视频的数据来预测SAO滤波器参数和ALF滤波器参数。例如，SAO/ALF参数预测器282可通过使用从解码器210接收的重建视频的像素值来预测SAO滤波器参数或ALF滤波器参数。

从解码器210接收的重建视频数据是去块化滤波器应用之前的视频数据。基于在去块化滤波器应用之前的视频数据来预测的SAO滤波器参数或ALF滤波器参数可具有比根据应用了去块化滤波器的重建视频数据计算的SAO滤波器参数或ALF滤波器参数差的滤波效应。SAO/ALF参数预测器282可预测在重建视频上的去块化处理，并且可通过使用被预测成由去块化滤波器生成的结果的重建视频的像素值来预测SAO滤波器参数或ALF滤波器参数。

例如，SAO/ALF参数预测器282可通过使用去块化滤波器应用之前的重建视频数据预测当前块的SAO类型、SAO分类和偏移值来预测SAO滤波器参数。公知的方法可用作确定SAO类型、SAO分类和偏移值的方法。SAO类型可表明是否将SAO滤波器应用到当前块，或者如果应用了，那么SAO类型可表明当前块的像素值的分类类型是边缘类型还是频带类型。SAO分类可表明根据边缘类型的边缘方向或者根据频带类型的频带范围。偏移值可表明SAO类别中包括的重建像素与原始像素之间的差值的平均值。

SAO/ALF参数预测器282可通过使用在去块化滤波器应用之前的重建视频数据预测是否将ALF滤波器应用到当前块、将应用到当前块的ALF滤波器的形状、ALF滤波器的尺寸和/或ALF滤波器中使用的系数来预测ALF滤波器参数。公知的方法可用作确定是否应用ALF滤波器、将应用到当前块的ALF滤波器的形状、ALF滤波器的尺寸和/或ALF滤波器中使用的系数的方法。

SAO/ALF参数预测器282将所预测的SAO滤波器参数传递到SAO滤波单元232。随后，SAO/ALF参数预测器282可将所预测的ALF滤波器参数传递到ALF滤波单元234。之后，SAO/ALF参数预测器282可将所预测的SAO滤波器参数和ALF滤波器参数传递到熵编码器250。

熵编码器250可通过对从SAO/ALF参数预测器282接收的SAO滤波器参数和/或ALF滤波器参数以及从编码器接收的编码数据进行熵编码来生成比特流。在本实施方式中，由于SAO滤波器参数和ALF滤波器参数是在去块化滤波执行之前预测的，因此，SAO滤波器参数和ALF滤波器参数可在去块化滤波执行之前进行熵编码。因此，将被熵编码的多项数据的等待时间减少，从而将被熵编码的多项数据可从数据缓存器中更快地删除。

现在将参考图2B描述由根据本公开的实施方式的参考图2A描述的编码设备200执行的编码方法。

首先，根据本公开的实施方式的编码设备200可通过对原始视频进行编码来生成编码的视频数据(S211)。编码设备200可通过将原始视频编码到图片单元来执行视频编码。编码设备200可将图片编码到块单元。块单元可以是从图片的最大编码块单元中分割出的具有树形结构的编码块单元。编码设备200可将图片编码到从最大编码单元中分割出的具有树形结构的编码单元。

接下来，根据本公开的实施方式的编码设备200可通过对编码的视频进行解码来生成解码的视频数据(S212)。编码设备200可通过将编码的视频解码到图片单元来执行视频解码。编码设备200可将图片解码到块单元。编码设备200可将图片解码到从最大编码单元中分割出的具有树形结构的编码单元。

接下来，根据本公开的实施方式的编码设备200可将去块化滤波器应用到解码的视频(S213)。编码设备200可将去块化滤波器应用到解码的视频的图片的每个块单元。例如，编码设备200可沿着根据图片的块单元的高度值确定的行中的每个来应用去块化滤波器，并且可沿着其间以图片的块单元的宽度值区分的列来应用去块化滤波器。

根据本公开的实施方式的编码设备200可独立于应用去块化滤波来预测SAO滤波器参数和/或ALF滤波器参数(S216)。

如上文所述，编码设备200可通过使用在去块化滤波执行之前重建的视频数据来预测SAO滤波器参数和ALF滤波器参数。

接下来，根据本公开的实施方式的编码设备200可通过对编码数据、SAO滤波器参数和ALF滤波器参数进行熵编码来生成比特流(S217)。

当对SAO滤波器参数执行预测时，根据本公开的实施方式的编码设备200可通过使用预测的SAO滤波器参数来将SAO滤波器应用到已经应用了去块化滤波器的解码的视频(S214)。

接下来，当对ALF滤波器参数执行预测时，根据本公开的实施方式的编码设备200可通过使用预测的ALF滤波器参数来将ALF滤波器应用到已经应用了SAO滤波器的解码的视频(S215)。

图3A是用于描述根据本公开的实施方式的执行环路内滤波的编码操作的概念的示意图。

根据本公开的实施方式的编码设备300包括编码器301、解码器310、去块化滤波单元320、SAO滤波单元330、ALF滤波单元340、熵编码器350、第一ALF参数预测器382，以及多个数据缓存器392和394。在下文中，现在将描述与参考图2A描述的编码设备200不同的配置。第一ALF参数预测器382通过使用由解码器生成的重建视频的数据来预测ALF滤波器参数。例如，第一ALF参数预测器382可通过使用从解码器310接收的重建视频的像素值来预测ALF滤波器参数。

第一ALF参数预测器382可将所预测的ALF滤波器参数传递到ALF滤波单元340。随后，第一ALF参数预测器382可将ALF滤波器参数传递到熵编码器350。

熵编码器350可通过对从第一ALF参数预测器382接收的ALF滤波器参数和从编码器301接收的编码数据进行熵编码来生成比特流。由于在去块化滤波执行之前，编码设备300通过使用第一ALF参数预测器382来预测ALF滤波器参数，因此，在去块化滤波执行之前，编码设备300可对ALF滤波器参数执行熵编码。因此，将被熵编码的多项数据的等待时间减少，使得编码设备300可更快地从数据缓存器中删除将被熵编码的多项数据。

第一ALF参数预测器382可被第二ALF参数预测器384替代，或者第一ALF参数预测器382和第二ALF参数预测器384可一起布置。从解码器310接收的重建视频数据是去块化滤波器应用之前的视频数据。根据在去块化滤波器应用之前的视频数据预测的SAO滤波器参数或ALF滤波器参数可具有比根据应用了去块化滤波器的重建视频数据计算的SAO滤波器参数或ALF滤波器参数差的滤波效应。因此，根据本公开的实施方式的编码设备300可通过使用第二ALF参数预测器384来预测ALF滤波器参数，而无需使用第一ALF参数预测器382。第二ALF参数预测器384通过使用应用了去块化滤波器的重建视频数据来对ALF滤波器参数执行预测。编码设备300可根据预设方法来选择将第一ALF参数预测器382和第二ALF参数预测器384中的哪个预测器用于预测ALF滤波器参数。例如，编码设备300可根据将应用ALF滤波器的当前块中出现的块伪影的程度或将应用ALF滤波器的当前图片的块伪影的程度来确定将第一ALF参数预测器382和第二ALF参数预测器384中的哪个预测器用于预测ALF滤波器参数。

第二ALF参数预测器384可将所预测的ALF滤波器参数传递到ALF滤波单元340。随后，第二ALF参数预测器384可将ALF滤波器参数传递到熵编码器350。

熵编码器350可通过对从第二ALF参数预测器384接收的ALF滤波器参数和从编码器301接收的编码数据进行熵编码来生成比特流。由于ALF滤波器参数是在SAO滤波执行之前通过使用第二ALF参数预测器384来预测的，因此，可在SAO滤波执行之前对ALF滤波器参数执行熵编码。因此，将被熵编码的多项数据的等待时间减少，使得编码设备300可更快地从数据缓存器中删除将被熵编码的多项数据。

现在将参考图3B描述通过在去块化滤波执行之前预测ALF滤波器参数来执行编码的编码方法，该编码方法由根据本公开的实施方式的参考图3A描述的编码设备200执行。此处不提供与参考图2B描述的编码方法重复的描述。

首先，根据本公开的实施方式的编码设备300可通过对原始视频进行编码来生成编码的视频数据(S311)。

接下来，根据本公开的实施方式的编码设备300可通过对编码的视频进行解码来生成解码的视频数据(S312)。

接下来，根据本公开的实施方式的编码设备300可将去块化滤波器应用到解码的视频(S313)。

根据本公开的实施方式的编码设备300可独立于应用去块化滤波来预测ALF滤波器参数(S316)。如上文所述，编码设备300可通过使用在去块化滤波执行之前重建的视频数据来预测ALF滤波器参数。

根据本公开的实施方式的编码设备300可独立于预测ALF滤波器参数来将SAO滤波器应用到已经应用了去块化滤波器的解码的视频(S314)。

接下来，当对ALF滤波器参数执行预测时，根据本公开的实施方式的编码设备300可通过使用预测的ALF滤波器参数来将ALF滤波器应用到已经应用了SAO滤波器的解码的视频(S315)。

此外，独立于应用ALF滤波器，根据本公开的实施方式的编码设备300可通过对编码数据、SAO滤波器参数和预测的ALF滤波器参数进行熵编码来生成比特流(S317)。

现在将参考图3C描述通过在SAO滤波执行之前预测ALF滤波器参数来执行编码的编码方法，该编码方法由根据本公开的实施方式的参考图3A描述的编码设备200执行。此处不提供与参考图2B描述的编码方法重复的描述。

首先，根据本公开的实施方式的编码设备300可通过对原始视频进行编码来生成编码的视频数据(S311)。

接下来，根据本公开的实施方式的编码设备300可通过对编码的视频进行解码来生成解码的视频数据(S312)。

接下来，根据本公开的实施方式的编码设备300可将去块化滤波器应用到解码的视频(S313)。

根据本公开的实施方式的编码设备300可将SAO滤波器应用到已经应用了去块化滤波器的解码的视频(S314)。

根据本公开的实施方式的编码设备300可独立于应用SAO滤波器来预测ALF滤波器参数(S318)。如上文所述，编码设备300可通过使用在SAO滤波器应用之前重建的视频数据来预测ALF滤波器参数。

接下来，当对ALF滤波器参数执行预测时，根据本公开的实施方式的编码设备300可通过使用预测的ALF滤波器参数来将ALF滤波器应用到已经应用了SAO滤波器的解码的视频(S315)。

此外，独立于应用ALF滤波器，根据本公开的实施方式的编码设备300可通过对编码数据、SAO滤波器参数和预测的ALF滤波器参数进行熵编码来生成比特流(S319)。

图4A是用于描述根据本公开的实施方式的执行环路内滤波的编码操作的概念的示意图。根据本公开的实施方式的编码设备400包括编码器401、解码器410、去块化滤波单元420、SAO滤波单元432、ALF滤波单元434、熵编码器450、SAO/ALF参数预测器482，以及多个数据缓存器492和494。在下文中，现在将描述与参考图2A描述的编码设备100不同的配置。

SAO/ALF参数预测器482通过使用由解码器生成的重建视频的数据来预测SAO滤波器参数和ALF滤波器参数。根据图4A的实施方式的SAO/ALF参数预测器482可通过使用从解码器410接收的重建视频的预测信息来预测SAO滤波器参数或ALF滤波器参数。

预测信息的示例包括重建的像素值、根据应用去块化滤波器的边界强度、通过执行帧间预测而生成的运动向量，以及帧间/帧内模式信息。

例如，预测信息可包括在当前滤波器应用到块单元之前可从块单元获取的信息。例如，预测信息可包括当前编码的编码单元所具有的残余数据、帧间预测中的运动向量、帧内预测中的帧内模式等信息。

SAO/ALF参数预测器482可基于获取的预测信息来预测当前块的SAO滤波器参数。就这点而言，由于在去块化执行之前获取了预测信息，因此，对SAO滤波器参数的预测可独立于执行去块化来执行。SAO/ALF参数预测器482可基于当前编码的编码单元中的并且在去块化执行之前重建的像素值、残余数据、帧间预测中的运动向量、帧内预测中的帧内模式等信息来预测SAO滤波器参数。例如，当前块的SAO类型基于帧间预测中的运动向量和帧内预测中的帧内模式而被预测为边缘类型，并且可预测所预测的边缘类型的SAO分类。

SAO/ALF参数预测器482将所预测的SAO滤波器参数传递到SAO滤波单元432。随后，SAO/ALF参数预测器482可将所预测的ALF滤波器参数传递到ALF滤波单元434。SAO/ALF参数预测器482可将所预测的SAO滤波器参数和ALF滤波器参数传递到熵编码器450。

熵编码器450可通过对从SAO/ALF参数预测器482接收的SAO滤波器参数和/或ALF滤波器参数以及从编码器接收的编码数据进行熵编码来生成比特流。在本实施方式中，由于SAO滤波器参数和ALF滤波器参数是在去块化滤波执行之前预测的，因此，SAO滤波器参数和ALF滤波器参数可在去块化滤波执行之前进行熵编码。因此，将被熵编码的多项数据的等待时间减少，使得熵编码器400可更快地从数据缓存器中删除将被熵编码的多项数据。

现在将参考图4B描述由根据本公开的实施方式的参考图4A描述的编码设备400执行的编码方法。在下文中，提供与参考图2B描述的编码方法的那些描述不同的描述。

首先，根据本公开的实施方式的编码设备400可通过对原始视频进行编码来生成编码的视频数据(S411)。

接下来，根据本公开的实施方式的编码设备400可通过对编码的视频进行解码来生成解码的视频数据(S412)。

接下来，根据本公开的实施方式的编码设备400可将去块化滤波器应用到解码的视频(S413)。

根据本公开的实施方式的编码设备400可独立于应用去块化滤波、通过使用编码预测信息来预测SAO滤波器参数和/或ALF滤波器参数(S416)。如上文所述，编码设备400可通过使用视频数据的编码信息来预测SAO滤波器参数和ALF滤波器参数，所述编码在去块化滤波执行之前执行。

接下来，根据本公开的实施方式的编码设备400可通过对编码数据、SAO滤波器参数和ALF滤波器参数进行熵编码来生成比特流(S417)。

当对SAO滤波器参数执行预测时，根据本公开的实施方式的编码设备400可通过使用预测的SAO滤波器参数来将SAO滤波器应用到已经应用了去块化滤波器的解码的视频(S414)。

接下来，当对ALF滤波器参数执行预测时，根据本公开的实施方式的编码设备400可通过使用预测的ALF滤波器参数来将ALF滤波器应用到已经应用了SAO滤波器的解码的视频(S415)。

下文将参考图4C到图4E描述对SAO滤波器参数进行编码的方法。

为了应用SAO滤波器，根据本公开的实施方式的编码设备400确定SAO滤波器参数，所述SAO滤波器参数包括SAO类型、SAO分类和偏移值。此处，SAO类型可表明当前最大编码单元的像素值的分类类型是边缘类型还是频带类型，SAO分类可表明根据边缘类型的边缘方向或根据频带类型的频带范围，并且偏移值可表明SAO分类中包括的重建像素与原始像素之间的差值。

当SAO类型被确定为边缘类型时，根据边缘方向的边缘分类可被确定为0°、90°、45°和135°中的一个。为了确定边缘分类，针对上述四个边缘分类，通过将率失真(RD)成本应用到最大编码单元中包括的所有像素来计算RD成本。由于编码设备400必须计算所有像素的边缘偏移值，因此，电路实施方式变得复杂，使得逻辑门或电路尺寸和功耗可能增加。

因此，根据本公开的实施方式的编码设备400可通过使用与将要编码的当前最大编码单元的方向相关的信息确定边缘分类来确定边缘偏移参数。

在下文中，现在将描述根据本公开的实施方式的编码设备400确定边缘偏移参数的示例。根据实施方式的边缘偏移参数可基于最大编码单元进行确定。根据实施方式的编码设备400可获取与视频的最大编码单元之中、将被编码的当前最大编码单元有关的方向信息。此处，所获取的边缘方向可以是0°、90°、45°和135°中的一个。

编码设备400可通过使用边缘检测算法来获取与将被编码的当前最大编码单元有关的方向信息。例如，编码设备400可通过使用诸如索贝尔(Sobel)算法的边缘检测算法来检测最大编码单元的边缘。另外，编码设备400可通过近似化检测的边缘方向而将方向信息确定为0°、90°、45°和135°中的一个。

编码设备400可通过使用将被编码的当前最大编码单元的帧内模式信息来获取方向信息。最大编码单元可包括多个预测单元。可根据不同的帧内模式来预测预测单元。可根据一个或多个帧内模式来预测最大编码单元。在这种情况下，编码设备400可根据最大编码单元中包括的帧内模式来计算直方图，并且可基于直方图来获取预定帧内模式以作为方向信息。编码设备400可根据帧内模式在最大编码单元中出现的次数来获取方向信息。

编码设备400可基于将被编码的当前最大编码单元的运动向量来获取方向信息。最大编码单元可包括多个预测单元，从而具有一个或多个运动向量。在这种情况下，编码设备400可根据最大编码单元中包括的运动向量来计算直方图，并且可基于直方图来获取方向信息。作为另一示例，可根据最大编码单元中的运动向量的尺寸来获取方向信息。此外，通过近似化所检测的运动向量的方向，可将方向信息确定为0°、90°、45°和135°中的一个。

编码设备400可基于获取的方向信息来确定将被编码的当前最大编码单元的边缘偏移参数。就这点而言，确定的边缘偏移参数可以是上述边缘分类。

例如，编码设备400可确定边缘分类具有与获取的方向相同的方向。换言之，当获取的方向信息表示0°时，边缘分类可被确定为水平方向。

作为另一示例，编码设备400可确定边缘分类具有与作为边缘检测的结果获取的方向垂直的方向。换言之，当获取的方向信息表示0°时，边缘分类可被确定为竖直方向。

编码设备400可对边缘偏移参数执行熵编码。例如，编码设备400可对确定的边缘分类执行熵编码。此外，编码设备400可基于通过编码设备400确定的分类来确定SAO调整值，并且可执行SAO调整。

图4C示出根据本公开的实施方式的针对边缘类型对SAO滤波器参数进行编码的方法的示例。

参考图4C的(a)，根据实施方式的编码设备400可通过使用边缘检测算法来获取将被编码的当前最大编码单元的边缘的方向信息。就这点而言，编码设备400可通过使用诸如索贝尔(Sobel)算法的边缘检测算法来检测最大编码单元的边缘。编码设备400可通过近似化所检测的边缘的方向而将方向信息确定为0°、90°、45°和135°中的一个。例如，检测的边缘461可具有135°的方向。

根据实施方式的编码设备400可基于获取的方向信息来确定将被编码的当前最大编码单元的边缘分类。例如，编码设备400可根据预设方法选择图4C的(b)中所示的四个偏移分类之中的边缘分类462，边缘分类462具有与获取的方向461相同的方向。在另一实施方式中，编码设备400可根据预设方法选择图4C的(b)中所示的四个偏移分类之中的边缘分类463，边缘分类463具有与获取的方向461垂直的方向。

图4D示出根据本公开的实施方式的针对边缘类型对SAO滤波器参数进行编码的方法的另一示例。参考图4D的(a)，根据实施方式的编码设备400可通过使用将被编码的当前最大编码单元的帧内模式信息来获取方向信息。换言之，基于预设表465，编码单元可具有的35个帧内模式464可近似于四个方向。例如，当从将被编码的当前最大编码单元中获取的帧内模式是8时，编码设备400可基于表465来确定最大编码单元具有水平方向上的方向。

最大编码单元可包括多个预测单元，从而具有一个或多个帧内模式。在这种情况下，编码设备400可根据最大编码单元中包括的帧内模式来计算直方图，并且可基于直方图来获取预定帧内模式以作为方向信息。作为另一示例，编码设备400可根据帧内模式在最大编码单元中出现的次数来获取方向信息。

根据实施方式的编码设备400可基于获取的方向信息来确定将被编码的当前最大编码单元的边缘分类。例如，编码设备400可根据预设方法选择图4D的(b)中所示的四个偏移分类之中的边缘分类466a，边缘分类466a具有与获取的方向(帧内模式8)相同的方向。在另一实施方式中，编码设备400可根据预设方法选择图4D的(b)中所示的四个偏移分类之中的边缘分类466b，边缘分类466b具有与获取的方向(帧内模式8)垂直的方向。

图4E示出根据本公开的实施方式的针对边缘类型对SAO滤波器参数进行编码的方法的另一示例。参考图4E的(a)，根据实施方式的编码设备400可基于将被编码的当前最大编码单元的运动向量467来获取方向信息。就这点而言，编码设备400通过近似化检测的运动向量的方向而将方向信息确定为0°、90°、45°和135°中的一个。例如，图4E的(a)中所示的运动向量467的方向可被确定为0°。

最大编码单元可包括多个预测单元，从而具有一个或多个运动向量。在这种情况下，编码设备400可根据最大编码单元中包括的运动向量来计算直方图，并且可基于直方图来获取方向信息。编码设备400可根据最大编码单元中的运动向量的尺寸来获取方向信息。

根据实施方式的编码设备400可基于获取的方向信息来确定将被编码的当前最大编码单元的边缘分类。例如，编码设备400可根据预设方法选择图4E的(b)中所示的四个偏移分类之中的边缘分类468a，边缘分类468a具有与获取的方向(467)相同的方向。在另一实施方式中，编码设备400可根据预设方法选择图4E的(b)中所示的四个偏移分类之中的边缘分类468b，边缘分类468b具有与获取的方向(467)垂直的方向。

图5A是用于描述根据本公开的实施方式的执行环路内滤波的编码操作的概念的示意图。

根据本公开的实施方式的编码设备500包括编码器501、解码器510、去块化滤波单元520、SAO滤波单元532、ALF滤波单元534、熵编码器550、SAO/ALF参数预测器582，以及多个数据缓存器570、592和594。在下文中，现在将描述与参考图2描述的编码设备200不同的配置。

SAO/ALF参数预测器582通过使用由解码器生成的重建视频的数据来预测SAO滤波器参数和ALF滤波器参数。例如，SAO/ALF参数预测器582可通过使用从解码器510接收的重建视频的像素值和/或重建视频的预测信息来预测SAO滤波器参数或ALF滤波器参数。

另外，SAO/ALF参数预测器582可通过使用作为先前由SAO滤波器执行的行为的结果而生成的SAO滤波器参数来预测SAO滤波器参数。先前由SAO滤波器执行的行为的结果可存储在数据缓存器570中。例如，SAO/ALF参数预测器582可将先前块的SAO滤波器参数用作当前块的SAO滤波器参数。

图5C和图5D示出根据本公开的实施方式的与根据先前块来检查SAO滤波器应用结果或ALF滤波器参数应用结果的方法有关的示意图，该方法由SAO/ALF参数预测器582执行。先前块包括如图5C所示的位于当前块所在的相同图片中的空间相邻的块，以及如图5D所示的时间信息与当前块所在的图片的时间信息不同的时间相邻的块。

例如，SAO/ALF参数预测器582可从先前编码的不同编码单元中预测将被编码的当前最大编码单元的SAO滤波器参数。例如，为了获取SAO滤波器参数，SAO/ALF参数预测器582可使用与当前最大编码单元具有时间或空间相关性的不同最大编码单元。SAO/ALF参数预测器582可将先前编码的最大编码单元的SAO滤波器参数预测为将被编码的当前最大编码单元的SAO滤波器参数。

参考图5C，将被编码的当前最大编码单元560的SAO滤波器参数可通过使用相同图片中的先前编码的最大编码单元561的SAO滤波器参数来确定。

参考图5D，将被编码的当前最大编码单元562的SAO滤波器参数可通过使用最大编码单元563的SAO滤波器参数来确定，最大编码单元563在时间上在包括将被编码的当前最大编码单元562的图片之前的图片中编码。

类似地，SAO/ALF参数预测器582可通过使用作为先前由SAO滤波器执行的行为的结果而生成的SAO滤波器参数来预测SAO滤波器参数。SAO/ALF参数预测器582可将先前块的SAO滤波器参数用作当前块的SAO滤波器参数。

另外，SAO/ALF参数预测器582可通过使用与当前块有关的信息以及在当前块的SAO滤波器参数生成之前应用SAO滤波器的先前块的SAO滤波器应用结果来预测SAO滤波器参数。

与当前块有关的信息包括应用SAO滤波器和/或去块化滤波器之前生成的当前块的编码信息。

例如，SAO/ALF参数预测器582可将像素值与当前块的像素值最类似的块的SAO滤波器参数用作当前块的SAO滤波器参数，所述块在先前应用了SAO滤波器的先前块之中。SAO/ALF参数预测器582可将像素值与当前块的像素值最类似的块的SAO滤波器参数用作当前块的SAO滤波器参数，所述块在先前应用了SAO滤波器的先前块之中。被比较的当前块的像素值可以是在应用去块化滤波器之前的当前块的像素值。

SAO/ALF参数预测器582可通过使用当前块的编码信息和先前块的SAO滤波器应用结果来预测SAO滤波器参数。例如，SAO/ALF参数预测器582可将具有与当前块的帧内预测方向相同的帧内预测方向的先前块的SAO滤波器参数用作当前块的SAO滤波器参数。

或者，SAO/ALF参数预测器582可通过根据先前块的像素值与当前块的像素值之间的差异补偿先前块的SAO滤波器参数来预测当前块的SAO滤波器参数。

类似地，SAO/ALF参数预测器582可通过使用在生成当前块的ALF滤波器参数之前应用ALF滤波器的先前块的ALF滤波器应用结果来预测SAO滤波器参数。SAO/ALF参数预测器582可将像素值与当前块的像素值最类似的块的ALF滤波器参数用作当前块的ALF滤波器参数，所述块在先前应用了ALF滤波器的先前块之中。或者，SAO/ALF参数预测器582可通过根据先前块的像素值与当前块的像素值之间的差异补偿先前块的ALF滤波器参数来预测当前块的ALF滤波器参数。

SAO/ALF参数预测器582将所预测的SAO滤波器参数传递到SAO滤波单元532。随后，SAO/ALF参数预测器582可将所预测的ALF滤波器参数传递到ALF滤波单元534。之后，SAO/ALF参数预测器582可将所预测的SAO滤波器参数和ALF滤波器参数传递到熵编码器550。

熵编码器550可通过对从SAO/ALF参数预测器582接收的SAO滤波器参数和/或ALF滤波器参数以及从编码器接收的编码数据进行熵编码来生成比特流。在本实施方式中，由于SAO滤波器参数和ALF滤波器参数是在去块化滤波执行之前预测的，因此，SAO滤波器参数和ALF滤波器参数可在去块化滤波执行之前进行熵编码。因此，将被熵编码的多项数据的等待时间减少，使得将被熵编码的多项数据可更快地从数据缓存器中删除。

现在将参考图5B描述由根据本公开的实施方式的参考图5A描述的编码设备500执行的编码方法。在下文中，此处不提供与参考图2B描述的编码方法重复的描述。

首先，根据本公开的实施方式的编码设备500可通过对原始视频进行编码来生成编码的视频数据(S511)。

接下来，根据本公开的实施方式的编码设备500可通过对编码的视频进行解码来生成解码的视频数据(S512)。

接下来，根据本公开的实施方式的编码设备500可将去块化滤波器应用到解码的视频(S513)。

根据本公开的实施方式的编码设备500可独立于应用去块化滤波而通过使用将SAO滤波器应用到先前块的结果来预测SAO滤波器参数(S516)。接下来，根据本公开的实施方式的编码设备500可独立于应用去块化滤波而通过使用将ALF滤波器应用到先前块的结果来预测ALF滤波器参数(S517)。如上文所述，编码设备500可通过使用先前块的SAO滤波的信息和/或ALF滤波的信息来预测SAO滤波器参数和ALF滤波器参数，SAO滤波和ALF滤波在去块化滤波执行之前执行。

接下来，根据本公开的实施方式的编码设备500可通过对编码数据、SAO滤波器参数和ALF滤波器参数进行熵编码来生成比特流(S518)。

当对SAO滤波器参数执行预测时，根据本公开的实施方式的编码设备500可通过使用预测的SAO滤波器参数来将SAO滤波器应用到已经应用了去块化滤波器的解码的视频(S514)。

接下来，当对ALF滤波器参数执行预测时，根据本公开的实施方式的编码设备500可通过使用预测的ALF滤波器参数来将ALF滤波器应用到已经应用了SAO滤波器的解码的视频(S515)。

图6A和图6B是根据本公开的实施方式的执行环路内滤波的编码设备600的框图和用于描述编码方法的示意图。

根据本公开的实施方式的编码设备600可包括编码器601、解码器602、ALF参数预测器603、SAO滤波单元604、ALF滤波单元605和熵编码器606。

编码器601通过以上述方式对视频输入进行编码来生成编码数据。编码器601可通过使用已经应用了去块化滤波器、SAO滤波器和ALF滤波器中的至少一个的重建视频来对输入视频进行编码。

解码器602可通过对上述编码的视频进行解码来生成将应用ALF滤波器的当前块。

ALF参数预测器603可预测用于将ALF滤波器应用到当前块的当前块的ALF滤波器参数。ALF参数预测器603可通过使用没有应用去块化滤波器的当前块的信息来预测当前块的ALF滤波器参数。ALF参数预测器603可通过使用已经应用了去块化滤波器的当前块的信息来预测当前块的ALF滤波器参数。

SAO滤波单元604可应用SAO滤波器以通过使用补偿值来补偿当前像素的值，该补偿值是分配到将被调整并应用到当前块的当前像素的值和与当前像素相邻的相邻像素的值的大小关系类型的补偿值或者是分配到当前像素的值所属的大小类别类型的补偿值。

ALF滤波单元605可通过使用预测的ALF滤波器参数来将ALF滤波器应用到已经应用了SAO滤波器的当前块。

熵编码器606可对预测的ALF滤波器参数执行熵编码。熵编码器606可在ALF滤波单元605将ALF滤波器应用到已经应用了SAO滤波器的当前块之前对预测的ALF滤波器参数执行熵编码。

参考图6B，根据本公开的实施方式的编码设备600可通过对先前输入的视频进行编码来生成编码的视频数据，从而执行环路内滤波(S611)。接下来，编码设备600可从编码的视频数据中解码出将应用滤波器以补偿像素值的视频数据(S612)。接下来，编码设备600可通过使用解码的视频的信息来生成ALF滤波器参数，ALF滤波器参数被生成以用于应用ALF滤波器，从而通过使用与当前像素相邻的相邻像素的值和相邻像素的滤波器系数来补偿当前像素的值(S613)。接下来，编码设备600可将SAO滤波器应用到解码的视频数据，以通过使用边缘偏移和频带偏移中的至少一个来补偿当前像素的值(S614)。接下来，编码设备600可通过使用生成的ALF滤波器参数来将ALF滤波器应用到已经应用了SAO滤波器的视频数据(S615)。接下来，编码设备600可对ALF滤波器参数执行熵编码(S616)。

回到图6A，根据本公开的实施方式的编码设备600还可包括：SAO参数预测器，其用于通过使用没有应用去块化滤波器的当前块的信息来将SAO滤波器应用到当前块；以及去块化滤波器单元，其用于将去块化滤波器应用到当前块。熵编码器606可对预测的SAO滤波器参数执行熵编码。

SAO滤波单元604可通过使用预测的SAO滤波器参数来将SAO滤波器应用到当前块。SAO滤波单元604可将SAO滤波器应用到已经应用了去块化滤波器的当前块。

SAO参数预测器可通过使用没有应用去块化滤波器的当前块的像素值来预测SAO滤波器参数。SAO参数预测器可通过使用没有应用去块化滤波器的当前块的像素值来预测将去块化滤波器应用到当前块的结果，并且可通过使用预测应用去块化滤波器的结果的值来预测SAO滤波器参数。

SAO参数预测器可通过使用用于对当前块进行编码的预测信息来预测SAO滤波器参数。SAO参数预测器可通过使用在SAO滤波器应用到当前块之前应用了SAO滤波器的先前块的SAO滤波器参数来预测当前块的SAO滤波器参数。

SAO参数预测器可通过使用位于与当前块所在的重建视频的图片相同的图片中的空间相邻的块的信息来预测当前块的SAO滤波器参数。空间相邻的块的信息可包括空间相邻的块的像素值、预测信息和SAO滤波器参数中的至少一个。

SAO参数预测器可通过使用位于时间信息与当前块所在的重建视频的图片的时间信息不同的图片中的时间相邻的块的信息来预测当前块的SAO滤波器参数。时间相邻的块的信息可包括时间相邻的块的像素值、预测信息和SAO滤波器参数中的至少一个。

SAO参数预测器可通过使用下列信息中的至少一个来预测当前块的SAO滤波器参数：位于与当前块所在的重建视频的图片相同的图片中的空间相邻的块的信息；以及位于时间信息与当前块所在的重建视频的图片的时间信息不同的图片中的时间相邻的块的信息；以及没有应用去块化滤波器的当前块的信息。

图7A和图7B是根据本公开的实施方式的执行环路内滤波的视频解码设备700的框图和用于描述解码方法的示意图。

根据本公开的实施方式的视频解码设备700可包括熵解码器702、视频解码器704、SAO滤波单元706和ALF滤波单元708。

根据本公开的实施方式的视频解码设备700接收比特流，所述比特流包括视频的编码数据。视频解码设备700可对接收的比特流中的编码的视频样本进行解析，可通过对图像块中的每个执行熵解码、反量化、逆变换、预测和运动补偿来生成重建的像素，因而可生成重建的图像。

此外，根据本公开的实施方式的视频解码设备700可通过接收表示原始像素与重建像素之间的差异的值的滤波参数来将原始图像与重建图像之间的误差最小化。视频解码设备700可接收视频的最大编码单元中的每个的编码数据，并且可基于从每个最大编码单元中分割的树形结构的编码单元来重建每个最大编码单元。

根据参考图7B的根据本公开的实施方式的解码方法，熵解码器702可执行熵解码，从而从比特流中获取编码的视频数据、SAO滤波器参数和由编码设备600预测的ALF滤波器参数(S711)。

接下来，视频解码器704从编码的视频数据中解码出将应用滤波器以补偿像素值的视频数据(S712)。

接下来，SAO滤波单元706通过使用SAO滤波器参数来将SAO滤波器应用到重建的视频数据(S713)。

SAO滤波单元706可基于依据SAO滤波器参数确定的SAO类型来确定根据当前最大编码单元的像素值的分类方法是边缘类型还是频带类型。

当SAO类型是关闭类型时，SAO滤波单元706可确定偏移调整技术没有应用到当前最大编码单元。在这种情况下，无需对当前最大编码单元的残余偏移参数进行解析。

SAO滤波单元706可基于SAO分类来确定根据边缘类型的边缘方向或者根据当前最大编码单元的频带类型的频带范围。

SAO滤波单元706可基于SAO偏移值来确定原始像素与所确定的SAO分类中包括的重建像素之间的差值。

SAO滤波单元706可通过差值来调整样本的像素值，所述样本是基于当前块单元重建的。

例如，SAO滤波单元706可从偏移参数中确定与预定数量的类别对应的偏移值。偏移值中的每个可等于或大于预设最小值，并且可小于或等于预设最大值。

例如，当SAO类型信息表示边缘类型时，SAO滤波单元706可根据SAO分类将重建的像素的边缘的方向确定为0°、90°、45°和135°中的一个，所述重建的像素包括在当前最大编码单元中。

当SAO类型信息表示频带类型时，SAO滤波单元706可基于SAO分类来确定重建的像素的像素值所属的频带的位置。

接下来，ALF滤波单元708通过使用由编码设备600在当前块上执行预测而生成的ALF滤波器参数来将ALF滤波器应用到已经应用了SAO滤波器的视频数据(S714)。

在下文中，现在将参考图7C描述使用SAO技术的视频解码方法。图7C是根据本公开的实施方式的视频解码设备730的框图。

视频解码设备730包括熵解码器731、反量化器732、逆变换器733、重建器734、帧内预测器735、参考图片缓存器736、运动补偿器737、去块化滤波单元738、SAO滤波单元739a和ALF滤波单元739b。

视频解码设备730可接收包括编码的视频数据的比特流。熵解码器731可对比特流中的帧内模式信息、帧间模式信息、SAO信息和残余数据进行解析。

由熵解码器731提取的残余数据可以是经量化的变换系数。因此，反量化器732可通过在残余数据上执行反量化来重建变换系数，并且逆变换器733可通过在重建的变换系数上执行逆变换来重建空间域的残余值。

为了预测和重建空间域的残余值，可执行帧内预测或运动补偿。

当由熵解码器731提取的预测模式信息表示帧内模式时，帧内预测器735可通过使用帧内模式信息来确定将空间上与当前样本相邻的相邻样本之中的哪些样本用于重建当前样本。将被参考的相邻样本可从先前由重建器734重建的样本中选择。重建器734可通过使用基于帧内模式信息和由逆变换器733重建的残余值确定的参考样本来重建当前样本。

当由熵解码器731提取的预测模式信息表示帧间模式时，运动补偿器737可通过使用帧间模式信息来确定将在当前图片之前重建的图片之中的哪些样本用于重建当前图片的当前样本。帧间模式信息可包括运动向量、参考索引等。可通过使用在当前图片之前重建并存储在参考图片缓存器736中的图片之中的参考索引确定用于当前样本的运动补偿的参考图片。可通过使用运动向量在参考图片之中确定用于当前块的运动补偿的参考块。重建器734可通过使用基于帧间模式信息和由逆变换器733重建的残余值确定的参考块来重建当前样本。

从样本中重建的重建像素可从重建器734中输出。重建器734可基于每个最大编码单元的树形结构的编码单元来生成重建的像素。

去块化滤波单元738可执行滤波，以减少位于最大编码单元的编码单元或树形结构的编码单元的边界区域中的像素的块化现象。

根据实施方式的SAO滤波单元739a可通过使用SAO技术根据每个最大编码单元来调整重建的像素的偏移。SAO滤波单元739a可从由熵解码器731提取的SAO信息中确定用于当前最大编码单元的SAO类型、SAO分类、偏移值等。

SAO滤波单元739a可从SAO偏移值中确定当前最大编码单元的重建像素中的每个的偏移值和差值的符号。SAO滤波单元739a可将重建像素中的每个的像素值增加或减少从偏移值中确定的差值，从而减小重建的像素与原始像素之间的误差。

包括由根据实施方式的SAO滤波单元739a调整偏移所依据的重建的像素的图片可存储在参考图片缓存器736中。因此，对下一图片的运动补偿可通过使用参考图片来执行，在所述参考图片中，重建的像素与原始像素之间的误差根据SAO技术被最小化。

根据依据实施方式的SAO技术，可基于重建的像素与原始像素之间的差值来针对每个重建的像素确定包括重建的像素的像素组的偏移。首先，现在将描述针对SAO技术将重建的像素分类成像素组的实施方式。

根据依据实施方式的SAO技术，i)像素可根据重建的像素的边缘类型进行分类，或者ii)像素可根据重建的像素的频带类型进行分类。不论像素根据边缘类型进行分类还是根据频带类型进行分类，都可根据SAO技术进行限定。

首先，现在将描述根据实施方式的SAO技术，像素根据边缘类型进行分类的实施方式。

当确定当前最大编码单元的边缘类型偏移时，可确定当前最大编码单元中包括的重建像素中的每个的边缘分类。换言之，通过比较当前重建像素与相邻像素的像素值，可以限定当前重建像素的边缘分类。下文将参考图7D描述确定边缘分类的实施方式。

图7D示出根据本公开的实施方式的边缘类型边缘分类。

0、1、2和3可按顺序分配到边缘分类741、742、743和744的索引。当边缘类型出现的次数增加时，可将较小的数字分配到边缘类型的索引。

边缘分类可表示由与当前重建像素X0相邻的两个相邻像素形成的边缘的一维方向。具有索引0的边缘分类741表示与当前重建像素X0水平相邻的两个相邻像素X1和X2形成边缘的情况。具有索引1的边缘分类742表示与当前重建像素X0竖直相邻的两个相邻像素X3和X4形成边缘的情况。具有索引2的边缘分类743表示在135°的对角线方向上与当前重建像素X0相邻的两个相邻像素X5和X8形成边缘的情况。具有索引3的边缘分类744表示在45°的对角线方向上与当前重建像素X0相邻的两个相邻像素X6和X7形成边缘的情况。

因此，通过分析当前最大编码单元中包括的重建像素的边缘方向来确定当前最大编码单元中较强的边缘的方向，从而可确定当前最大编码单元的边缘分类。

根据当前像素的边缘形状，类别可按每个边缘分类进行分类。下文参考图7E和图7F描述根据边缘形状的类别的示例。

图7E和图7F示出根据实施方式的边缘类型类别。

边缘类别表示当前像素是凹边缘的底部点、与凹边缘的底部点相邻的凹角的像素、凸边缘的顶部点，还是与凸边缘的顶部点相邻的弯角的像素。

图7E示出用于确定边缘的类别的条件。图7F示出重建的像素和相邻像素的边缘形状，以及像素值c、a和b的曲线图。

c表示重建的像素的索引，并且a和b表示根据边缘方向的当前重建像素的两侧的相邻像素的索引。Xa、Xb和Xc分别表示重建的像素的像素值，其中像素值的索引是a、b和c。在图7F的曲线图中，x轴表示重建的像素的两侧的相邻像素的索引，并且y轴表示样本中的每个的像素值。

类别1表示当前样本是凹边缘的底部点的情况，即，局部谷(Xc<Xa&&Xc<Xb)。如在曲线图751中，在当前重建像素c是凹边缘的底部点，当前重建像素c在相邻像素a与b之间时，该当前重建像素可被分类成类别1。

类别2表示当前样本位于凹边缘的底部点附近的凹角处(Xc<Xa&&Xc＝＝Xb||Xc＝＝Xa&&Xc<Xb)的情况。如在曲线图752中，在当前重建像素c位于凹边缘的下降曲线终止的点处(Xc<Xa&&Xc＝＝Xb)，当前重建像素c在相邻像素a与b之间时，或者如在曲线图753中，在当前重建像素c位于凹边缘的上升曲线开始的点处(Xc＝＝Xa&&Xc<Xb)时，该当前重建像素可被分类成类别2。

类别3表示当前样本位于凸边缘的顶部点附近的凸角处(Xc>Xa&&Xc＝＝Xb||Xc＝＝Xa&&Xc>Xb)的情况。如在曲线图754中，在当前重建像素c位于凸边缘的下降曲线开始的点处(Xc＝＝Xa&&Xc>Xb)，当前重建像素c在相邻像素a与b之间时，或者如在曲线图755中，在当前重建像素c位于凸边缘的上升曲线终止的点处(Xc>Xa&&Xc＝＝Xb)时，该当前重建像素可被分类成类别3。

类别4表示当前样本是凸边缘的顶部点的情况，即，局部峰(Xc>Xa&&Xc>Xb)。如在曲线图756中，在当前重建像素c是凸边缘的顶部点，当前重建像素c在相邻像素a与b之间时，该当前重建像素可被分类成类别4。

当前重建像素的类别1、2、3和4的条件均不满足的情况不是边缘，此情况被分类成类别0，并且不需要对类别0的偏移单独进行编码。

根据实施方式，针对与相同类别对应的重建的像素，重建的像素与原始像素之间的差值的平均值可被确定为当前类别的偏移。此外，可针对每个类别确定偏移。

在类别1和2的凹边缘处，可发生如果重建像素值根据正偏移值进行调整则边缘变得平坦的平滑效应，或者可发生边缘的锐度因负偏移值而增加的锐化效应。在类别3和4的凸边缘处，可因负偏移值而发生平滑效应，并且可因正偏移值而发生锐化效应。

根据实施方式的编码设备600可不允许边缘的锐化效应。在这种情况下，类别1和2的凹边缘需要正偏移值，并且类别3和4的凸边缘需要负偏移值。在这种情况下，可通过检查边缘的类别来确定偏移值的符号。因此，编码设备600传输或接收偏移值的绝对值，而不传输或接收偏移值的符号。

因此，编码设备600可对与当前边缘分类的类别对应的偏移值进行编码并传输，并且解码设备700可通过使用所接收的类别中的每个的偏移值并依据对应类别的偏移值来调整每个重建像素。

例如，当边缘类型的偏移值被确定为0时，编码设备600可只传输边缘分类信息。

例如，当边缘类型的偏移绝对值不是0时，编码设备600可传输偏移绝对值和边缘分类信息。在边缘类型的情况下，无需传输边缘分类信息。

当所接收的偏移绝对值不是0时，解码设备700可读取与边缘类型的偏移绝对值有关的信息。可根据基于重建的像素和相邻像素的边缘形状的边缘类别来预测偏移值的符号。

因此，根据实施方式的编码设备600可根据边缘方向或边缘形状将像素进行分类，可确定具有相同特征的像素之间的平均误差值，该平均误差值是偏移值，并且可确定类别中的每个的偏移值。编码设备600可对表示边缘类型的SAO类型信息、表示边缘方向的SAO分类信息以及偏移值进行编码和传输。

根据实施方式的解码设备700可接收SAO类型信息、SAO分类信息和偏移值，从而根据SAO类型信息和SAO分类信息来确定边缘方向。解码设备700可针对每个重建的像素确定根据与根据边缘方向的边缘形状对应的每个类别的偏移值，可依据偏移值来调整每个重建的像素的像素值，因而可将原始图像与重建的图像之间的误差最小化。

接下来，现在将描述像素根据SAO技术和频带类型进行分类的实施方式。

根据实施方式，重建的像素的像素值可分别属于频带。例如，根据p比特采样，像素值的最小值Min和最大值Max的总范围可以是0、……、2^(p-1)。当像素值总范围(Min，Max)被分成K个像素值周期时，每个像素值周期被称为频带。当Bk表示第k个频带的最大值时，频带可被分成[B0，B1-1]、[B1，B2-1]、[B2，B3-1]、……、[BK-1，BK]。在当前重建像素的像素值Rec(x，y)属于[BK-1，BK]时，当前频带可被确定为k。频带可被分成等长类型或不等长类型。

例如，当像素值分类类型对应于约8比特像素的等长频带时，像素值可分成32个频带。更具体地，像素值可被分成频带[0，7]、[8，15]、……、[240，247]、[248，255]。

每个重建像素的每个像素值所属的频带可从根据频带类型分类的多个频带中确定。此外，可针对每个频带确定表示原始像素与重建的像素之间的误差的平均值的偏移值。

因此，编码设备600和解码设备700可对与根据当前频带类型分类的频带对应的偏移进行编码和传输或接收，并且可依据偏移来调整重建的像素。

因此，根据实施方式的编码设备600和解码设备700可分别根据像素值所属的频带将频带类型的重建像素分类，可将属于相同频带的重建像素之间的平均误差值确定为偏移，并且可依据偏移来调整重建的像素，从而将原始图像与重建的图像之间的误差最小化。

当根据实施方式的编码设备600和解码设备700确定根据频带类型的偏移时，重建的像素可根据频带位置而分类成类别。例如，当像素值的总范围被分类成K个频带时，可根据表示第k个频带的频带索引k将类别加索引。类别的数量可被确定为与频带的数量对应。

然而，为了减少数据，编码设备600和解码设备700可限制用于根据SAO技术来确定偏移的类别的数量。例如，可只将频带索引从预定开始点处的频带按顺序增加的预定数量的频带分配到类别，并且可只针对所述类别来确定偏移。

例如，当索引为12的频带被确定为开始频带时，从开始频带算起的四个频带(即，索引为12、13、14和15的频带)可分别分配到类别1、2、3和4。因此，索引为12的频带中包括的原始像素与重建的像素之间的平均误差可被确定为类别1的偏移。类似地，索引为13的频带中包括的原始像素与重建的像素之间的平均误差可被确定为类别2的偏移，索引为14的频带中包括的原始像素与重建的像素之间的平均误差可被确定为类别3的偏移，以及索引为15的频带中包括的原始像素与重建的像素之间的平均误差可被确定为类别4的偏移。

在这种情况下，为了确定分配到类别的频带的位置，需要频带范围开始的位置，即，与左频带的位置有关的信息。因此，根据实施方式的编码设备600可对表示左频带的位置的左开始点信息进行编码和传输，作为SAO分类。编码设备600可对表示频带类型的SAO类型、SAO分类和根据类别的偏移值进行编码和传输。

根据实施方式的解码设备700可接收SAO类型、SAO分类和根据类别的偏移值。当所接收的SAO类型是频带类型时，解码设备700可从SAO分类中读取开始频带的位置。解码设备700可确定重建像素属于从开始频带算起的四个频带之中的哪个频带，可确定分配到当前频带的偏移值，所述偏移值在根据类别的偏移值之中，因而可依据偏移值来调整重建像素值。

在下文中，现在将描述编码设备600和解码设备700进行编码和传输或接收的SAO滤波器参数。

根据实施方式的编码设备600和解码设备700可根据每个最大编码单元中的重建像素的像素分类类型来确定SAO类型。

可根据每个块的图像特性来确定SAO类型。例如，为了更改包括竖直边缘、水平边缘、对角线边缘等的最大编码单元的边缘值，更好的是通过根据边缘类型对像素值进行分类来确定偏移值。针对非边缘区域，可更好的是根据频带分类来确定偏移值。因此，编码设备600和解码设备700可用信号表示每个最大编码单元的SAO类型。

根据实施方式的编码设备600和解码设备700可确定每个最大编码单元的SAO滤波器参数。换言之，可确定最大编码单元的重建像素的SAO类型，可根据类别将最大编码单元的重建像素分类，随后可根据类别确定偏移值。

编码设备600可将被分类成相同类别并且在最大编码单元中包括的重建像素之中的重建像素的平均误差确定为偏移值。可针对每个类别确定偏移值。

根据实施方式的SAO滤波器参数可包括SAO类型、偏移值和SAO分类。编码设备600和解码设备700可传输和接收针对每个最大编码单元确定的SAO滤波器参数。

根据实施方式的编码设备600可对最大编码单元的SAO滤波器参数中的SAO类型和偏移值进行编码和传输。当SAO类型是边缘类型时，除了SAO类型和根据类别的偏移值之外，根据实施方式的编码设备600还可传输表示边缘方向的SAO分类。当SAO类型是频带类型时，除了SAO类型和根据类别的偏移值之外，根据实施方式的编码设备600还可传输表示开始频带的位置的SAO分类。在边缘类型的情况下，SAO分类可被分类为边缘分类信息，并且在频带类型的情况下，可被分类为频带位置信息。

根据实施方式的解码设备700可针对每个最大编码单元接收包括SAO类型、偏移值和SAO分类的SAO滤波器参数。此外，根据实施方式的解码设备700可选择每个重建像素所属的类别的偏移值(所述偏移值在根据类别的偏移值之中)并且可依据所选择的偏移值来调整每个重建像素。

根据实施方式的编码设备600还可传输符号信息和剩余偏移绝对值，从而传输偏移值。

当偏移绝对值是0时，不需要对符号信息或剩余偏移值进行编码。然而，当偏移绝对值不是0时，还可传输符号信息和剩余偏移绝对值。

然而，如上文所述，在边缘类型的情况下，由于可预测根据类别的偏移值是正数还是负数，因此，不需要传输符号信息。

根据实施方式的偏移值Off-set可预先被限制在偏移值确定之前的最小值MinOffSet和最大值MaxOffSet的范围内(MinOffSet≤Off-Set≤MaxOffSet)。

例如，在边缘类型的情况下，可在最小值0和最大值7的范围内确定类别1和2的重建像素的偏移值。在边缘类型的情况下，可在最小值-7和最大值0的范围内确定类别3和4的重建像素的偏移值。

例如，在频带类型的情况下，可在最小值-7和最大值7的范围内确定所有类别的重建像素的偏移值。

根据实施方式，为了减少偏移值的传输比特，剩余偏移值Remainder可被限于非负值的p比特值。在这种情况下，剩余偏移值可等于或大于0，但可等于或小于最大值与最小值之间的差值(0≤Remainder≤MaxOffSet-MinOffSet+1≤2^p)。当编码设备600传输剩余偏移值并且解码设备700被启用以检查偏移值的最大值和最小值中的至少一个时，可只通过所接收的剩余偏移值来重建原始偏移值。

图7G是用于描述根据本公开的实施方式的应用ALF滤波器的方法的概念的示意图。根据本公开的实施方式的编码设备600生成用于应用ALF滤波器的ALF滤波器参数。ALF滤波器参数包括如图7G所示的ALF滤波器的形状、ALF滤波器的尺寸、以及与ALF滤波器对应的像素对应的系数的值。在另一实施方式中，ALF滤波器的形状和尺寸以及从ALF滤波器参数中计算系数的方法可以改变。

现在将描述确定ALF滤波器的系数的方法，该方法被执行以应用具有如图7G所示的形状和尺寸的ALF滤波器。

根据本公开的实施方式的编码设备600通过使用图7G所示的滤波器来补偿重建像素的像素值。在图7G所示的滤波器中，索引0到6分别表示系数，块中的每个与根据块的阵列位置的视频的像素中的每个对应。图7G的滤波器表明通过使用与滤波器的块对应的相邻像素来改变与索引6对应的像素的像素值。例如，可通过将补偿的像素值添加到与索引6对应的像素的值来改变与索引6对应的像素的像素值，其中通过添加下列所有计算值来生成补偿的像素值：通过使用与顶部索引0对应的块的像素的值和与索引0对应的系数来计算的计算值；通过使用与顶部索引1对应的块的像素的值和与索引1对应的系数来计算的计算值；……；以及通过使用与底部索引0对应的块的像素的值和与索引0对应的系数来计算的计算值。

编码设备600可针对将应用ALF滤波器的块单元来设置ALF滤波器的相同形状和尺寸，以及与每个像素对应的系数。编码设备600可确定用于设置ALF滤波器的形状、尺寸和系数的ALF滤波器参数，以补偿重建视频的特定块的像素值，从而防止特定块的像素值与原始视频的像素值出现差异。

编码设备600可将确定的ALF滤波器参数传输到解码设备700。解码设备700可通过使用接收的ALF滤波器参数对解码的视频执行ALF滤波。

在下文中，提供根据各种实施方式的基于树形结构的编码单元的视频编码方法和视频编码方法中的像素分类。

图8是根据本公开的实施方式的基于根据树形结构的编码单元的视频编码设备800的框图。

根据实施方式的基于根据树形结构的编码单元的、涉及视频预测的视频编码设备800包括编码单元确定器820和输出单元830。在下文中，为便于描述，基于根据树形结构的编码单元的、涉及视频预测的视频编码设备800将简称为“视频编码设备800”。

编码单元确定器820可基于最大编码单元来分割当前图片，所述最大编码单元是具有图像的当前图片的最大尺寸的编码单元。如果当前图片大于最大编码单元，那么当前图片的图像数据可被分割成至少一个最大编码单元。根据实施方式的最大编码单元可以是具有32×32、64×64、128×128、256×256等尺寸的数据单元，其中数据单元的形状是具有2的平方的宽度和长度的正方形。

根据实施方式的编码单元的特征可以是最大尺寸和深度。深度表示编码单元从最大编码单元空间分割的次数，并且随着深度加深，根据深度的较深编码单元可从最大编码单元分割到最小编码单元。最大编码单元的深度是最浅深度，并且最小编码单元的深度是最深深度。由于对应于每个深度的编码单元的尺寸随着最大编码单元的深度加深而减小，因此，对应于较浅深度的编码单元可包括对应于较深深度的多个编码单元。

如上文所述，当前图片的图像数据根据编码单元的最大尺寸分割成最大编码单元，并且最大编码单元中的每个可包括根据深度分割的较深编码单元。由于根据实施方式的最大编码单元根据深度进行分割，因此，最大编码单元中包括的空间域的图像数据可根据深度进行分层分类。

限制最大编码单元的高度和宽度进行分层分割的总次数的编码单元的最大深度和最大尺寸可以预先确定。

编码单元确定器820对通过根据深度分割最大编码单元的区域而获得的至少一个分割区域进行编码，并且根据至少一个分割区域确定输出最终编码的图像数据的深度。换言之，通过根据当前图片的最大编码单元对根据深度的较深编码单元中的图像数据进行编码并且选择具有最小编码误差的深度，编码单元确定器820确定最终深度。所确定的最终深度和根据所确定的编码深度的编码图像数据输出到输出单元830。

最大编码单元中的图像数据基于与等于或小于最大深度的至少一个深度对应的较深编码单元进行编码，并且对图像数据进行编码的结果基于较深编码单元中的每个进行比较。在比较较深编码单元的编码误差之后，可选择具有最小编码误差的深度。针对每个最大编码单元，可选择至少一个最终深度。

随着编码单元根据深度进行分层分割并且编码单元的数量增加，最大编码单元的尺寸被分割。此外，即使编码单元对应于一个最大编码单元中的相同深度，也要通过分别测量每个编码单元的图像数据的编码误差来确定是否将对应于相同深度的编码单元中的每个编码单元分割到较深深度。因此，即使在图像数据被包括在一个最大编码单元中时，编码误差也可根据一个最大编码单元中的区域而不同，因此，最终深度可根据图像数据中的区域而不同。因此，在一个最大编码单元中可确定一个或多个最大深度，并且最大编码单元的图像数据可根据至少一个最终深度的编码单元而划分。

因此，根据实施方式的编码单元确定器820可确定最大编码单元中包括的具有树形结构的编码单元。根据实施方式的“具有树形结构的编码单元”包括在最大编码单元包括的所有较深编码之中的、与确定为最终深度的深度对应的编码单元。最终深度的编码单元可根据最大编码单元的相同区域中的深度来分层确定，并且可在不同区域中独立确定。同样，当前区域中的最终深度可独立于另一区域中的最终深度进行确定。

根据实施方式的最大深度是与从最大编码单元到最小编码单元的分割次数相关的索引。根据实施方式的第一最大深度可表示从最大编码单元到最小编码单元的总分割次数。根据实施方式的第二最大深度可表示从最大编码单元到最小编码单元的深度等级的总数。例如，当最大编码单元的深度为0时，最大编码单元被分割一次的编码单元的深度可设置为1，并且最大编码单元被分割两次的编码单元的深度可设置为2。在这种情况下，如果最小编码单元是最大编码单元被分割四次的编码单元，那么存在深度0、1、2、3和4的深度等级，因此，第一最大深度可设置为4，并且第二最大深度可设置为5。

预测编码和变换可根据最大编码单元来执行。预测编码和变换也根据最大编码单元基于根据等于或小于最大深度的深度的较深编码单元来执行。

由于每当最大编码单元根据深度分割时较深编码单元的数量都增加，因此，必须在随着深度加深而生成的所有较深编码单元上执行包括预测编码和变换在内的编码。为便于描述，现在将基于当前深度的编码单元，在最大编码单元中描述预测编码和变换。

根据实施方式的视频编码设备800可不同地选择用于对图像数据进行编码的数据单元的尺寸或形状。为了对图像数据进行编码，执行诸如，预测编码、变换和熵编码的操作，并且同时，可将相同的数据单元用于所有操作或者将不同的数据单元用于每个操作。

例如，视频编码设备800不仅可选择用于对图像数据进行编码的编码单元，而且可选择不同于编码单元的数据单元，以在编码单元中的图像数据上执行预测编码。

为了在最大编码单元中执行预测编码，可基于根据实施方式的与最终深度对应的编码单元(即，基于不再分割成对应于较深深度的编码单元的编码单元)执行预测编码。在下文中，不再进行分割并且成为用于预测编码的基础单元的编码单元现在将被称为“预测单元”。通过分割预测单元而获得的分区可包括预测单元和通过分割预测单元的高度和宽度中的至少一个而获得的数据单元。分区是编码单元的预测单元被分割的数据单元，并且预测单元可以是与编码单元具有相同尺寸的分区。

例如，当2N×2N(其中N是正整数)的编码单元不再分割并且成为2N×2N的预测单元时，分区的尺寸可以是2N×2N、2N×N、N×2N或N×N。根据实施方式的分区模式的示例可选择性地包括通过对称地分割预测单元的高度或宽度而获得的对称分区、通过不对称地分割预测单元的高度或宽度(诸如1:n或n:1)而获得的分区、通过几何分割预测单元而获得的分区以及具有任意形状的分区。

预测单元的预测模式可以是帧内模式、帧间模式和跳跃模式中的至少一个。例如，帧内模式或帧间模式可在2N×2N、2N×N、N×2N或N×N的分区上执行。此外，跳跃模式可只在2N×2N的分区上执行。编码在编码单元中的一个预测单元上独立执行，从而选择具有最小编码误差的预测模式。

根据实施方式的视频编码设备800也可不仅基于用于对图像数据进行编码的编码单元而且基于不同于编码单元的数据单元而在编码单元中的图像数据上执行变换。为了在编码单元中执行变换，可基于具有小于或等于编码单元的尺寸的变换单元来执行变换。例如，变换单元可包括用于帧内模式的数据单元和用于帧间模式的变换单元。

根据实施方式，编码单元中的变换单元可按与编码单元根据树形结构进行分割的类似方式递归地分割成更小尺寸的区域。因此，编码单元中的残余数据可根据具有树形结构的变换单元依据变换深度进行分割。

根据实施方式，表明通过分割编码单元的高度和宽度来达到变换单元的分割次数的变换深度也可设置在变换单元中。例如，在2N×2N的当前编码单元中，当变换单元的尺寸是2N×2N时变换深度可为0，当变换单元的尺寸是N×N时变换深度可为1，以及当变换单元的尺寸是N/2×N/2时变换深度可为2。换言之，具有树形结构的变换单元可根据变换深度进行设置。

根据深度的分割信息不仅需要与深度有关的信息，而且需要与预测编码和变换相关的信息。因此，编码单元确定器820不仅确定具有最小编码误差的深度，而且确定将预测单元分割成分区的分区模式、根据预测单元的预测模式以及用于变换的变换单元的尺寸。

下文将参考图9到图19详细描述根据实施方式的最大编码单元中的根据树形结构的编码单元以及确定预测单元/分区和变换单元的方法。

编码单元确定器820可通过使用基于拉格朗日乘子的率失真优化来测量根据深度的较深编码单元的编码误差。

输出单元830以比特流的形式输出基于由编码单元确定器820确定的至少一个深度进行编码的最大编码单元的图像数据以及根据深度的分割信息。

通过对图像的残余数据进行编码可获得编码的图像数据。

根据深度的分割信息可包括与深度有关的信息、与预测单元中的分区模式有关的信息、与预测模式有关的信息以及与变换单元的分割有关的信息。

与最终深度有关的信息可通过使用根据深度的分割信息进行限定，从而表明是否在较深深度而非当前深度的编码单元上执行编码。如果当前编码单元的当前深度是深度，那么对当前编码单元进行编码，因此，分割信息可限定为不将当前编码单元分割到较深深度。另一方面，如果当前编码单元的当前深度不是该深度，那么在较深深度的编码单元上执行编码，因此，分割信息可限定为分割当前编码单元，以获取较深深度的编码单元。

如果当前深度不是该深度，那么在分割成较深深度的编码单元的编码单元上执行编码。由于较深深度的至少一个编码单元存在于当前深度的一个编码单元中，因此，可在较深深度的每个编码单元上重复执行编码，从而可针对具有相同深度的编码单元递归地执行编码。

由于针对一个最大编码单元确定具有树形结构的编码单元并且针对深度的编码单元确定分割信息，因此，可针对一个最大编码单元确定至少一项分割信息。此外，最大编码单元的图像数据的深度可根据位置而不同，这是因为图像数据根据深度进行分层分割，因此，可针对图像数据来设置深度和分割信息。

因此，根据实施方式的输出单元830可将与编码模式有关的编码信息和对应深度分配到最大编码单元中包括的编码单元、预测单元和最小单元中的至少一个。

根据实施方式的最小单元是通过将构成最深深度的最小编码单元分割成4个而获得的正方形数据单元。或者，根据实施方式的最小单元可以是可被包括在最大编码单元所包括的编码单元、预测单元、分区单元和变换单元的全部中的最大正方形数据单元。

例如，由输出单元830输出的编码信息可分类成根据较深编码单元的编码信息和根据预测单元的编码信息。根据较深编码单元的编码信息可包括与预测模式有关的信息和与分区的尺寸有关的信息。根据预测单元的编码信息可包括与帧间模式的估计方向有关的信息、与帧间模式的参考图像索引有关的信息、与运动向量有关的信息、与帧内模式的色度分量有关的信息以及与帧内模式的内插法有关的信息。

与根据图片、截片或GOP限定的编码单元的最大尺寸有关的信息以及与最大深度的有关信息可插入到比特流的标头、序列参数集或图像参数集中。

与当前视频准许的变换单元的最大尺寸的有关信息以及与变换单元的最小尺寸有关的信息也可通过比特流的标头、序列参数集或图片参数集输出。输出单元830可对与预测相关的参考信息、预测信息和截片类型信息进行编码并输出这些信息。

在根据最简单实施方式的视频编码设备800中，较深编码单元可以是通过将较浅深度的编码单元(上一层的编码单元)的高度或宽度一分为二所得到的编码单元。换言之，在当前深度的编码单元的尺寸是2N×2N时，较深深度的编码单元的尺寸是N×N。此外，具有2N×2N尺寸的当前编码单元可最大包括四个均具有N×N尺寸的较深深度编码单元。

因此，通过基于最大编码单元的尺寸和考虑到当前图片的特征而确定的最大深度来确定每个最大编码单元的具有最佳形状和最佳尺寸的编码单元，视频编码设备800可形成具有树形结构的编码单元。此外，由于可通过使用各种预测模式和变换中的任一个在每个最大编码单元上执行编码，因此，可通过考虑到各种图像尺寸的编码单元的特征来确定最佳编码模式。

因此，如果具有高分辨率或大数据量的图像在传统宏块中编码，那么每个图片的宏块数量过度增加。因此，针对每个宏块生成的压缩信息的数量增加，因而难以传输压缩的信息并且数据压缩效率降低。然而，通过使用根据实施方式的视频编码设备800，图像压缩效率可增加，这是因为在考虑图像的特征同时调整编码单元，同时考虑图像的尺寸而增大编码单元的最大尺寸。

包括上文参考图1描述的配置的层间视频编码设备可包括与层的数量一样多的视频编码设备800，以根据多层视频的层对单层图像进行编码。例如，第一层编码器可包括一个视频编码设备800，并且第二层编码器可包括与第二层的数量一样多的视频编码设备800。

当视频编码设备800对第一层图像进行编码时，编码单元确定器820可针对每个最大编码单元来确定用于根据具有树形结构的编码单元进行帧间预测的预测单元，并且根据预测单元来执行帧间预测。

即使在视频编码设备800对第二层图像进行编码时，编码单元确定器820也可针对每个最大编码单元来确定具有树形结构的编码单元和预测单元，并且根据预测单元来执行帧间预测。

视频编码设备800可对亮度差进行编码，以补偿第一层图像与第二层图像之间的亮度差。然而，可根据编码单元的编码模式来确定是否执行亮度。例如，可只在具有2N×2N尺寸的预测单元上执行亮度补偿。

图9是根据各种实施方式的基于根据树形结构的编码单元的视频解码设备900的框图。

根据实施方式的基于具有树形结构的编码单元的、涉及视频预测的视频解码设备900包括接收器910、图像数据与编码信息提取器920以及图像数据解码器930。在下文中，为便于描述，根据实施方式的基于具有树形结构的编码单元的、涉及视频预测的视频解码设备900将简称为“视频解码设备900”。

根据实施方式，用于视频解码设备900的解码操作的各种术语(诸如，编码单元、深度、预测单元、变换单元和各种分割信息)的限定与参考图8和视频编码设备800描述的那些限定相同。

接收器910接收并解析编码的视频的比特流。图像数据与编码信息提取器920从解析的比特流中提取用于每个编码单元的编码图像数据，其中编码单元具有根据每个最大编码单元的树形结构，并且将提取的图像数据输出到图像数据解码器930。图像数据与编码信息提取器920可从与当前图片有关的标头、序列参数集或图片参数集中提取与当前图片的编码单元的最大尺寸有关的信息。

此外，图像数据与编码信息提取器920针对根据每个最大编码单元的具有树形结构的编码单元从解析的比特流中提取最终深度和分割信息。提取的最终深度和分割信息输出到图像数据解码器930。换言之，比特流中的图像数据分割成最大编码单元，使得图像数据解码器930针对每个最大编码单元将图像数据解码。

根据最大编码单元的深度和分割信息可针对至少一项深度信息进行设置，并且分割信息可包括与对应编码单元的分区模式有关的信息、与预测模式有关的信息以及与变换单元的分割有关的信息。此外，根据深度的分割信息可被提取为与深度有关的信息。

由图像数据与编码信息提取器920提取的根据每个最大编码单元的深度和分割信息是被确定当诸如根据实施方式的视频编码设备800的编码器根据每个最大编码单元针对根据深度的每个较深编码单元重复执行编码时会生成最小编码误差的深度和分割信息。因此，视频解码设备900可通过根据生成最小编码误差的编码深度和编码模式对图像数据进行解码来重建图像。

由于根据实施方式，与深度和编码模式有关的编码信息可分配到对应编码单元、预测单元和最小单元之中的预定数据单元，因此，图像数据与编码信息提取器920可根据预定数据单元提取深度和分割信息。如果对应最大编码单元的深度和分割信息根据预定数据单元进行记录，那么可以推断，被分配相同深度和相同分割信息的预定数据单元就是相同最大编码单元中包括的数据单元。

图像数据解码器930可通过基于根据每个最大编码单元的深度和分割信息将每个最大编码单元中的图像数据解码来重建当前图片。换言之，图像数据解码器930可基于与每个最大编码单元中包括的具有树形结构的编码单元之中的每个编码单元的分区模式、预测模式和变换单元有关的提取信息对编码的图像数据进行解码。解码过程可包括预测和逆变换，所述预测包括帧内预测和运动补偿。

基于与根据深度的编码单元的预测单元的分区模式和预测模式有关的信息，图像数据解码器930可根据每个编码单元的分区和预测模式来执行帧内预测或运动补偿。

此外，图像数据解码器930可读取与用于每个编码单元的根据树形结构的变换单元有关的信息，以基于每个编码单元的变换单元来执行逆变换，从而针对每个最大编码单元进行逆变换。经由逆变换，可重建编码单元的空间域的像素值。

图像数据解码器930可通过使用根据深度的分割信息来确定当前最大编码单元的深度。如果分割信息表明图像数据不再以当前深度分割，那么当前深度就是深度。因此，图像数据解码器930可通过使用与预测单元的分区模式、预测模式和变换单元的尺寸有关的信息来对当前最大编码单元中的编码数据进行解码。

换言之，通过观察分配给编码单元、预测单元和最小单元之中的预定数据单元的编码信息集，可收集含有包括相同分割信息的编码信息的数据单元，并且可将收集的数据单元视作将由图像数据解码器930以相同编码模式解码的一个数据单元。因此，可通过获取与用于每个编码单元的编码模式有关的信息来对当前编码单元进行解码。

包括上文参考图2A描述的配置的层间视频解码设备可包括与视角的数量一样多数量的视频解码设备900，以通过对所接收的第一层图像流和所接收的第二层图像流进行解码来重建第一层图像和第二层图像。

当接收第一层图像流时，视频解码设备900的图像数据解码器930可将由图像数据与编码信息提取器920从第一层图像流中提取的第一层图像的样本分割成具有树形结构的编码单元。图像数据解码器930可通过根据用于帧间预测的预测单元在通过分割第一层图像的样本而获取的具有树形结构的编码单元上执行运动补偿来重建第一层图像。

当接收第二层图像流时，视频解码设备900的图像数据解码器930可将由图像数据与编码信息提取器920从第二层图像流中提取的第二层图像的样本分割成具有树形结构的编码单元。图像数据解码器930可通过根据用于帧间预测的预测单元在通过分割第二层图像的样本而获取的编码单元上执行运动补偿来重建第二层图像。

提取器920可从比特流中获取与亮度误差相关的信息，以补偿第一层图像与第二层图像之间的亮度差。然而，可根据编码单元的编码模式来确定是否执行亮度。例如，可只在具有2N×2N尺寸的预测单元上执行亮度补偿。

因此，视频解码设备900可获取与在针对每个最大编码单元递归地执行编码时生成最小编码误差的至少一个编码单元有关的信息，并且可使用该信息来对当前图片进行解码。换言之，可对确定是每个最大编码单元中的最佳编码单元的、具有树形结构的编码单元进行解码。

因此，即使图像数据具有高分辨率和大量数据，图像数据仍可通过使用编码单元的尺寸和编码模式来高效解码和重建，所述编码单元的尺寸和编码模式是通过使用从编码器接收的最佳分割信息根据图像数据的特征而自适应地确定的。

图10是用于描述根据各种实施方式的编码单元的概念的示意图。

编码单元的尺寸可由宽度×高度来表示，并且可以是64×64、32×32、16×16和8×8。64×64的编码单元可分割成64×64、64×32、32×64或32×32的分区，并且32×32的编码单元可分割成32×32、32×16、16×32或16×16的分区，16×16的编码单元可分割成16×16、16×8、8×16或8×8的分区，以及8×8的编码单元可分割成8×8、8×4、4×8或4×4的分区。

在视频数据1010中，分辨率是1920×1080，编码单元的最大尺寸是64，并且最大深度是2。在视频数据1020中，分辨率是1920×1080，编码单元的最大尺寸是64，并且最大深度是3。在视频数据1030中，分辨率是352×288，编码单元的最大尺寸是16，并且最大深度是1。图10所示的最大深度是指从最大编码单元到最小解码单元的总分割次数。

如果分辨率较高或数据量较大，那么编码单元的最大尺寸可较大，从而不仅增加编码效率，而且准确反映图像的特征。因此，分辨率比视频数据1030高的视频数据1010和1020的编码单元的最大尺寸可以是64。

由于视频数据1010的最大深度是2，因此，视频数据1010的编码单元1015可包括长轴尺寸为64的最大编码单元，以及长轴尺寸为32和16的编码单元，这是因为通过将最大编码单元分割两次，深度加深两个层。由于视频数据1030的最大深度是1，因此，视频数据1030的编码单元1035可包括长轴尺寸为16的最大编码单元，以及长轴尺寸为8的编码单元，这是因为通过将最大编码单元分割一次，深度加深一层。

由于视频数据1020的最大深度是3，因此，视频数据1020的编码单元1025可包括长轴尺寸为64的最大编码单元，以及长轴尺寸为32、16和8的编码单元，这是因为通过将最大编码单元分割三次，深度加深3个层。随着深度加深，可准确地表达详细信息。

图11是根据各种实施方式的基于编码单元的视频编码器1100的框图。

根据实施方式的视频编码器1100执行视频编码设备800的编码单元确定器820的操作，以对图像数据进行编码。换言之，帧内预测器1120在当前帧1105之中按照预测单元在编码单元上以帧内模式执行帧内预测，并且帧间预测器1115通过使用当前图像1105和由重建图片缓存器1110获取的参考图像按照预测单元在编码单元上以帧间模式执行帧间预测。当前图片1105可被分割成最大编码单元，随后最大编码单元可相继被编码。此处，可在最大编码单元中的以树形结构分割的编码单元上执行编码。

通过从待编码的当前图像1105的数据中减去从帧内预测器1120或帧间预测器1115中输出的每个模式的编码单元的预测数据，生成残余数据，并且残余数据作为经量化的变换系数通过变换器1125和量化器1130按照变换单元输出。经量化的变换系数可在空间域中通过去量化器1145和逆变换器1150而被重建成残余数据。将空间域中的残余数据添加到从帧内预测器1120或帧间预测器1115中输出的每个模式的编码单元的预测数据，以重建成当前图像1105的编码单元的空间域中的数据。空间域中的重建数据经过去块化器1155、取样自适应偏移(SAO)执行器1160和ALF执行器1170，由此生成重建的图像。重建的图像存储在重建图片缓存器1110中。存储在重建图片缓存器1110中的所重建的图像可用作另一图像的帧间预测的参考图像。通过变换器1125和量化器1130获取的经量化的变换系数可通过熵编码器1135而输出为比特流1140。

为了将根据实施方式的视频编码器1100应用于视频编码设备800，视频编码器1100的部件(即，帧间预测器1115、帧内预测器1120、变换器1125、量化器1130、熵编码器1135、去量化器1145、逆变换器1150、去块化器1155、SAO执行器1160和ALF执行器1170)基于每个最大编码单元的具有树形结构的编码单元之中的每个编码单元来执行操作。

具体而言，帧内预测器1120和帧间预测器1115在考虑当前最大编码单元的最大尺寸和最大深度的同时确定具有树形结构的编码单元之中的每个编码单元的分区和预测模式，并且变换器1125可确定是否根据具有树形结构的编码单元之中的每个编码单元中的四叉树来分割变换单元。

图12是根据各种实施方式的基于编码单元的视频解码器1200的框图。

熵解码器1215对来自比特流1205的将被解码的编码图像数据和解码所需的编码信息进行解析。编码的图像数据是经量化的变换系数，并且去量化器1220和逆变换器1225从经量化的变换系数中重建残余数据。

帧内预测器1240根据预测单元以帧内模式在编码单元上执行帧内预测。帧间预测器通过使用由重建图片缓存器1230获取的参考图像而根据预测单元以帧内模式在当前图像中的编码单元上执行帧间预测。

通过经由帧内预测器和帧间预测器1235添加每个模式的编码单元的残余数据和预测数据来重建当前图像的编码单元的空间域中的数据，并且可通过去块化器1245、SAO执行器1250和ALF执行器1260将空间域中的数据输出为重建的图像。此外，可将存储在重建图片缓存器1230的所重建的图像输出为参考图像。

为了对图像数据进行解码，视频解码设备900的图像数据解码器930可执行根据实施方式的视频解码器1200的熵解码器1215之后的操作。

为了将视频解码器1200应用于根据实施方式的视频解码设备900，视频解码器1200的部件(即，熵解码器1215、去量化器1220、逆变换器1225、帧内预测器1240、帧间预测器1235、去块化器1245、SAO执行器1250和ALF执行器1260)可按照每个最大编码单元基于具有树形结构的编码单元来执行操作。

具体而言，帧内预测器1240和帧间预测器1235根据具有树形结构的编码单元中的每个来确定分区模式和预测模式，并且逆变换器1225可确定是否根据每个编码单元的四叉树来分割变换单元。

图10的编码操作和图11的解码操作分别是单个层中的视频流编码操作和视频流解码操作。因此，当图1的编码器12对至少两层的视频流进行编码时，图1的视频编码设备10可包括与层的数量一样多的视频编码器1100。类似地，当图2A的解码器24对至少两层的视频流进行解码时，图2A的视频解码设备20可包括与层的数量一样多的图像解码器1200。

图13是示出根据各种实施方式的编码单元和分区的示意图。

根据实施方式的视频编码设备800和根据实施方式的视频解码设备900使用分层编码单元以考虑图像的特征。编码单元的最大高度、最大宽度和最大深度可根据图像的特征而自适应地确定，或者可根据用户需要而不同地设置。根据深度的较深编码单元的尺寸可根据编码单元的预定最大尺寸进行确定。

在根据实施方式的编码单元的分层结构1300中，编码单元的最大高度和最大宽度均是64，并且最大深度是3。在这种情况下，最大深度是指编码单元从最大编码单元分割到最小编码单元的总次数。由于深度沿着根据实施方式的编码单元的分层结构1300的竖直轴加深，因此，较深编码单元的高度和宽度均被分割。此外，沿着分层结构1300的水平轴示出作为每个较深编码单元的预测编码的基础的预测单元和分区。

换言之，编码单元1310是分层结构1300中的最大编码单元，其中深度为0并且尺寸(即，高度乘宽度)为64×64。深度沿着竖直轴加深，而且编码单元1320的尺寸为32×32且深度为1，编码单元1330的尺寸为16×16且深度为2，以及编码单元1340的尺寸为8×8且深度为3。尺寸为8×8且深度为3的编码单元1340是最小编码单元。

编码单元的预测单元和分区根据每个深度沿着水平轴布置。换言之，如果尺寸为64×64且深度为0的编码单元1310是预测单元，那么预测单元可分割成尺寸为64×64的编码单元1310中包括的分区，即，尺寸为64×64的分区1310、尺寸为64×32的分区1312、尺寸为32×64的分区1314，或者尺寸为32×32的分区1316。

同样，尺寸为32×32且深度为1的编码单元1320的预测单元可分割成尺寸为32×32的编码单元1320中包括的分区，即，尺寸为32×32的分区1320、尺寸为32×16的分区1322、尺寸为16×32的分区1324以及尺寸为16×16的分区1326。

同样，尺寸为16×16且深度为2的编码单元1330的预测单元可分割成尺寸为16×16的编码单元1330中包括的分区，即，编码单元1330中包括的尺寸为16×16的分区1330、尺寸为16×8的分区1332、尺寸为8×16的分区1334以及尺寸为8×8的分区1336。

同样，尺寸为8×8且深度为3的编码单元1340的预测单元可分割成尺寸为8×8的编码单元1340中包括的分区，即，编码单元1340中包括的尺寸为8×8的分区、尺寸为8×4的分区1342、尺寸为4×8的分区1344以及尺寸为4×4的分区1346。

为了确定最大编码单元1310的深度，根据实施方式的视频编码设备800的编码单元确定器820针对最大编码单元1310中包括的与每个深度对应的编码单元来执行编码。

包括相同范围和相同尺寸的数据的、根据深度的较深编码单元的数量随着深度加深而增加。例如，需要四个对应于深度2的编码单元来覆盖一个对应于深度1的编码单元中包括的数据。因此，为了将根据深度的相同数据的编码结果进行比较，对应于深度1的编码单元和对应于深度2的四个编码单元均被编码。

为了针对深度之中的当前深度执行编码，可通过沿着分层结构1300的水平轴、针对与当前深度对应的编码单元中的每个预测单元执行编码，为当前深度选择最小编码误差。或者，随着深度沿着分层结构1300的竖直轴加深，可通过针对每个深度执行编码，根据深度来比较最小编码误差而搜索出最小编码误差。最大编码单元1310中具有最小编码误差的深度和分区可被选作最大编码单元1310的深度和分区模式。

图14是用于描述根据各种实施方式的编码单元与变换单元之间的关系的示意图。

根据实施方式的视频编码设备800或根据实施方式的视频解码设备900根据每个最大编码单元的、尺寸等于或小于最大编码单元的编码单元对图像进行编码或解码。在编码期间用于变换的变换单元的尺寸可基于不大于对应编码单元的数据单元进行选择。

例如，在根据实施方式的视频编码设备800或根据实施方式的视频解码设备900中，如果编码单元1410的尺寸是64×64，那么可通过使用尺寸为32×32的变换单元1420来执行变换。

此外，可通过在尺寸为32×32、16×16、8×8和4×4(都小于64×64)的变换单元中的每个上执行变换，从而对尺寸为64×64的编码单元1410的数据进行编码，并且随后可选择具有最小编码误差的变换单元。

图15示出根据各种实施方式的多项编码信息。

根据实施方式的视频编码设备800的输出单元830可针对与深度对应的每个编码单元来编码并传输分区模式信息1500、预测模式信息1510和变换单元尺寸信息1520，以作为分割信息。

分区模式信息1500表明与通过分割当前编码单元的预测单元而获得的分区的形状的有关信息，其中分区是用于对当前编码单元进行预测编码的数据单元。例如，尺寸为2N×2N的当前编码单元CU_0可分割成下列分区中的任一个：尺寸为2N×2N的分区1502、尺寸为2N×N的分区1504、尺寸为N×2N的分区1506以及尺寸为N×N的分区1508。在这种情况下，与当前编码单元的分区类型有关的分区模式信息1500设置成表示下列一个：尺寸为2N×N的分区1504、尺寸为N×2N的分区1506以及尺寸为N×N的分区1508。

预测模式信息1510表明每个分区的预测模式。例如，预测模式信息1510可表明在由分区模式信息1500表明的分区上执行的预测编码的模式，即，帧内模式1512、帧间模式1514或跳跃模式1516。

变换单元尺寸信息1520表明在当前编码单元上执行变换时将依据的变换单元。例如，所述变换单元可以是第一帧内变换单元1522、第二帧内变换单元1524、第一帧间变换单元1526或者第二帧间变换单元1528。

根据实施方式的视频解码设备900的图像数据与编码信息提取器920可提取并使用分区模式信息1500、预测模式信息1510和变换单元尺寸信息1520，以根据每个较深编码单元进行解码。

图16是根据各种实施方式的根据深度的较深编码单元的示意图。

分割信息可用来表明深度的变化。分割信息表明当前深度的编码单元是否将被分割成较深深度的编码单元。

用于对深度为0且尺寸为2N_0×2N_0的编码单元1600进行预测编码的预测单元1610可包括下列分区类型的分区：尺寸为2N_0×2N_0的分区模式1612、尺寸为2N_0×N_0的分区模式1614、尺寸为N_0×2N_0的分区模式1616和尺寸为N_0×N_0的分区模式1618。图16只示出通过对称地分割预测单元而获取的分区1612、1614、1616和1618，但分区模式不限于此，并且预测单元的分区可包括不对称分区、具有随机形状的分区和具有几何形状的分区。

根据每个分区模式，在尺寸为2N_0×2N_0的一个分区、尺寸为2N_0×N_0的两个分区、尺寸为N_0×2N_0的两个分区和尺寸为N_0×N_0的四个分区上重复执行预测编码。可在尺寸为2N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的分区上执行帧内模式和帧间模式的预测编码。只在尺寸为2N_0×2N_0的分区上执行跳跃模式的预测编码。

如果尺寸为2N_0×2N_0的分区模式1612、尺寸为2N_0×N_0的分区模式1614和尺寸为N_0×2N_0的分区模式1616中的一个分区模式中的编码误差是最小误差，那么预测单元1610可不分割成较深深度。

如果尺寸为N_0×N_0的分区模式1618的编码误差是最小误差，那么在操作1620中，深度从0变成1以分割分区模式1618，并且以深度为2且尺寸为N_0×N_0的分区模式在编码单元1630上重复执行编码，以搜索最小编码误差。

用于对深度为1且尺寸为2N_1×2N_1(＝N_0×N_0)的编码单元1630进行预测编码的预测单元1640可包括下列分区模式的分区：尺寸为2N_1×2N_1的分区模式1642、尺寸为2N_1×N_1的分区模式1644、尺寸为N_1×2N_1的分区模式1646和尺寸为N_1×N_1的分区模式1648。

如果尺寸为N_1×N_1的分区模式1648的编码误差是最小误差，那么在操作1650中，深度从1变成2以分割分区模式1648，并且在深度为2且尺寸为N_2×N_2的编码单元1660上重复执行编码，以搜索最小编码误差。

当最大深度为d时，根据深度的较深编码单元可设置到深度对应于d-1时，并且分割信息可设置到深度对应于d-2时。换言之，当在操作1670中在对应于深度d-2的编码单元进行分割之后执行编码直到深度为d-1时，用于对深度为d-1且尺寸为2N_(d-1)×2N_(d-1)的编码单元1680进行预测编码的预测单元1690可包括下列分区模式的分区：尺寸为2N_(d-1)×2N_(d-1)的分区模式1692、尺寸为2N_(d-1)×N_(d-1)的分区模式1694、尺寸为N_(d-1)×2N_(d-1)的分区模式1696和尺寸为N_(d-1)×N_(d-1)的分区模式1698。

可在分区模式之中的尺寸为2N_(d-1)×2N_(d-1)的一个分区、尺寸为2N_(d-1)×N_(d-1)的两个分区、尺寸为N_(d-1)×2N_(d-1)的两个分区、尺寸为N_(d-1)×N_(d-1)的四个分区上执行预测编码，以搜索具有最小编码误差的分区模式。

即使在分区模式1698具有最小编码误差时，由于最大深度为d，因此，深度为d-1的编码单元CU_(d-1)不再分割到更低深度，并且构成当前最大编码单元1600的编码单元的深度被确定为d-1，而且当前最大编码单元1600的分区模式可被确定为N_(d-1)×N_(d-1)。此外，由于最大深度为d，因此，不设置深度为d-1的编码单元1652的分割信息。

数据单元1699可以是当前最大编码单元的“最小单元”。根据实施方式的最小单元可以是通过将具有最低深度的最小编码单元分割成4个而获得的正方形数据单元。通过重复执行编码，根据实施方式的视频编码设备800可通过比较根据编码单元1600的深度的编码误差来选择具有最小编码误差的深度以确定深度，并且可将对应分区模式和预测模式设置为该深度的编码模式。

因此，在所有的深度0、1、……、d-1、d中比较根据深度的最小编码误差，并且可将具有最小编码误差的深度确定为深度。深度、预测单元的分区模式和预测模式可作为分割信息而被编码和传输。此外，由于编码单元从深度0分割到深度，因此，只有深度的分割信息被设置为0，而除该深度之外的深度的分割信息被设置为1。

根据实施方式的视频解码设备900的图像数据与编码信息提取器920可提取并使用与编码单元1600的深度和预测单元有关的信息，以对分区1612进行解码。根据各种实施方式的视频解码设备900可通过使用根据深度的分割信息而将分割信息为0的深度确定为深度，并且可将对应深度的分割信息用于解码。

图17、图18和图19是用于描述根据各种实施方式的编码单元、预测单元与变换单元之间的关系的示意图。

编码单元1710是最大编码单元中的由根据实施方式的视频编码设备800确定的、根据深度具有树形结构的编码单元。预测单元1760是根据深度的编码单元中的每个的预测单元的分区，并且变换单元1770是根据深度的编码单元中的每个的变换单元。

当编码单元1710中的最大编码单元的深度为0时，编码单元1712和1754的深度为1，编码单元1714、1716、1718、1728、1750和1752的深度为2，编码单元1720、1722、1724、1726、1730、1732和1748的深度为3，以及编码单元1740、1742、1744和1746的深度为4。

在预测单元1760中，通过分割编码单元1710中的编码单元获得一些编码单元1714、1716、1722、1732、1748、1750、1752和1754。换言之，编码单元1714、1722、1750和1754的分区模式具有尺寸2N×N，编码单元1716、1748和1752的分区模式具有尺寸N×2N，以及编码单元1732的分区模式具有尺寸N×N。编码单元1710的预测单元和分区小于或等于每个编码单元。

在小于或等于编码单元1752的数据单元中，对变换单元1770中的编码单元1752的图像数据执行变换或逆变换。此外，变换单元1770中的编码单元1714、1716、1722、1732、1748、1750、1752和1754是在尺寸和形状方面不同于预测单元1760中的那些数据单元的数据单元。换言之，根据实施方式的视频编码设备800和视频解码设备900可在相同编码单元的单个数据单元上执行帧内预测、运动估算和运动补偿，以及变换和逆变换。

因此，对最大编码单元的每个区域中具有分层结构的编码单元中的每个递归地执行编码，以确定最佳编码单元，因此，可获得具有递归树形结构的编码单元。编码信息可包括与编码单元有关的分割信息、与分区模式有关的信息、与预测模式有关的信息和与变换单元的尺寸有关的信息。表1示出可由根据实施方式的视频编码设备800和视频解码设备900设置的编码信息。

表1

根据实施方式的视频编码设备800的输出单元830可输出与具有树形结构的编码单元有关的编码信息，并且根据实施方式的视频解码设备900的图像数据与编码信息提取器920可从接收的比特流中提取与具有树形结构的编码单元有关的编码信息。

分割信息表明当前编码单元是否将被分割成较深深度的编码单元。如果当前深度d的分割信息为0，那么当前编码单元不再分割到较深深度所处的深度是深度，因此，可针对该深度来限定与分区模式、预测模式和变换单元的尺寸有关的信息。如果当前编码单元根据分割信息进一步分割，那么必须在较深深度的四个分割编码单元上独立执行编码。

预测模式可以是帧内模式、帧间模式和跳跃模式中的一个。帧内模式和帧间模式可限定于所有分区模式，而跳跃模式可只限定于尺寸为2N×2N的分区模式。

与分区模式有关的信息可表明通过对称地分割预测单元的高度或宽度而获取的尺寸为2N×2N、2N×N、N×2N和N×N的对称分区模式，以及通过不对称地分割预测单元的高度或宽度而获取的尺寸为2N×nU、2N×nD、nL×2N和nR×2N的不对称分区模式。可分别通过以1:3和3:1分割预测单元的高度来获取尺寸为2N×nU和2N×nD的不对称分区模式，并且可分别通过以1:3和3:1分割预测单元的宽度来获取尺寸为nL×2N和nR×2N的不对称分区模式。

变换单元的尺寸可设置为在帧内模式下有两个类型并且在帧间模式下有两个类型。换言之，如果变换单元的分割信息为0，那么变换单元的尺寸可以是2N×2N，也就是当前编码单元的尺寸。如果变换单元的分割信息为1，那么可通过分割当前编码单元来获得变换单元。此外，如果尺寸为2N×2N的当前编码单元的分区模式是对称分区模式，那么变换单元的尺寸可以是N×N，并且如果当前编码单元的分区类型是不对称分区模式，那么变换单元的尺寸可以是N/2×N/2。

根据实施方式的与具有树形结构的编码单元有关的编码信息可分配到与深度对应的编码单元、预测单元和最小单元中的至少一个。与深度对应的编码单元可包括具有相同编码信息的预测单元和最小单元中的至少一个。

因此，通过比较相邻数据单元的多项编码信息来确定相邻数据单元是否包括在与深度对应的相同编码单元中。此外，由于通过使用数据单元的编码信息来确定与深度对应的编码单元，因此，可从中推断出最大编码单元中的深度的分布。

因此，如果基于相邻数据单元的编码信息来预测当前编码单元，那么可直接参考并使用与当前编码单元相邻的较深编码单元中的数据单元的编码信息。

作为另一示例，如果通过参考相邻编码单元来对当前编码单元进行预测编码，那么通过使用相邻编码单元的多项编码信息以可参考相邻编码单元的方式来搜索与当前编码单元相邻并且在较深编码单元中的数据单元。

图20是用于描述根据表1的编码模式信息的编码单元、预测单元与变换单元之间的关系的示意图。

最大编码单元2000包括编码单元2002、2004、2006、2012、2014、2016以及具有深度的编码单元2018。此处，由于编码单元2018是具有深度的编码单元，因此，分割信息可设置为0。与尺寸为2N×2N的编码单元2018的分区模式有关的信息可设置为下列一个：尺寸为2N×2N的分区模式2022、尺寸为2N×N的分区模式2024、尺寸为N×2N的分区模式2026、尺寸为N×N的分区模式2028、尺寸为2N×nU的分区模式2032、尺寸为2N×nD的分区模式2034、尺寸为nL×2N的分区模式2036以及尺寸为nR×2N的分区模式2038。

变换单元分割信息(TU尺寸标记)是一种变换索引。与变换索引对应的变换单元的尺寸可根据编码单元的预测单元类型或分区模式而改变。

例如，当与分区模式有关的信息设置为对称，即，尺寸为2N×2N的分区模式2022、尺寸为2N×N的分区模式2024、尺寸为N×2N的分区模式2026或尺寸为N×N的分区模式2028时，如果变换单元的TU尺寸标记为0则可设置尺寸为2N×2N的变换单元2042，而如果TU尺寸标记为1则可设置尺寸为N×N的变换单元2044。

当与分区模式有关的信息设置为不对称，即，尺寸为2N×nU的分区模式2032、尺寸为2N×nD的分区模式2034、尺寸为nL×2N的分区模式2036或尺寸为nR×2N的分区模式2038时，如果TU尺寸标记为0则可设置尺寸为2N×2N的变换单元2052，而如果TU尺寸标记为1则可设置尺寸为N/2×N/2的变换单元2054。

参考图20，TU尺寸标记是值为0或1的标记，但根据实施方式的TU尺寸标记不限于1比特的标记，并且在TU尺寸标记从0增加时，变换单元可分层地分割。该TU尺寸标记可以是变换索引的示例。

在这种情况下，实际使用的变换单元的尺寸可通过使用根据实施方式的TU尺寸标记以及变换单元的最大尺寸和变换单元的最小尺寸一起来表示。根据实施方式的视频编码设备800可对最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标记信息进行编码。对最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标记信息进行编码的结果可插入到SPS。根据实施方式的视频解码设备900可通过使用最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标记信息来对视频进行解码。

例如，(a)如果当前编码单元的尺寸是64×64并且最大变换单元尺寸是32×32，那么(a-1)变换单元的尺寸在TU尺寸标记为0时可以是32×32，(a-2)在TU尺寸标记为1时可以是16×16，以及(a-3)在TU尺寸标记为2时可以是8×8。

作为另一示例，(b)如果当前编码单元的尺寸是32×32并且最小变换单元尺寸是32×32，那么(b-1)变换单元的尺寸在TU尺寸标记为0时可以是32×32。此处，由于变换单元的尺寸不可小于32×32，因此，TU尺寸标记无法设置成除了0之外的值。

作为另一示例，(c)如果当前编码单元的尺寸是64×64并且最大TU尺寸标记是1，那么TU尺寸标记可以是0或1。此处，TU尺寸标记无法设置成除了0或1之外的值。

因此，如果将最大TU尺寸标记限定为“MaxTransformSizeIndex”，将最小变换单元尺寸限定为“MinTransformSize”，并且当TU尺寸标记为0时变换单元尺寸为“RootTuSize”，那么可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”可由等式(1)限定：

CurrMinTuSize

＝max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex))...(1)

与可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”相比，TU尺寸标记为0时的变换单元尺寸“RootTuSize”可表示可以在系统中选择的最大变换单元尺寸。在等式(1)中，“RootTuSize/(2^MaxTransformSizeIndex)”表示在TU尺寸标记为0时变换单元尺寸“RootTuSize”被分割对应于最大TU尺寸标记的次数时的变换单元尺寸，并且“MinTransformSize”表示最小变换尺寸。因此，“RootTuSize/(2^MaxTransformSizeIndex)”和“MinTransformSize”之中的较小值可以是可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”。

根据实施方式的最大变换单元尺寸RootTuSize可根据预测模式而改变。

例如，如果当前预测模式是帧间模式，那么“RootTuSize”可通过使用下列等式(2)来确定。在等式(2)中，“MaxTransformSize”表示最大变换单元尺寸，并且“PUSize”表示当前预测单元尺寸。

RootTuSize＝min(MaxTransformSize,PUSize).........(2)

换言之，如果当前预测模式是帧间模式，那么在TU尺寸标记为0时，变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前预测单元尺寸之中的较小值。

如果当前分区单元的预测模式是帧内模式，那么“RootTuSize”可通过使用下列等式(3)来确定。在等式(3)中，“PartitionSize”表示当前分区单元的尺寸。

RootTuSize＝min(MaxTransformSize,PartitionSize)...........(3)

换言之，如果当前预测模式是帧内模式，那么在TU尺寸标记为0时，变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前分区单元的尺寸之中的较小值。

然而，根据分区单元中的预测模式的类型而改变的当前最大变换单元尺寸“RootTuSize”仅仅是示例，并且用于确定当前最大变换单元尺寸的因素不限于此。

根据参考图8到图20描述的基于具有树形结构的编码单元的视频编码方法，针对树形结构的每个编码单元，将空间域的图像数据编码。根据基于具有树形结构的编码单元的视频解码方法，针对每个最大编码单元执行解码，以重建空间域的图像数据。如此，可重建图片和视频(即，图片序列)。重建的视频可由播放设备播放、可存储在存储介质中，或可通过网络传输。

根据本公开的实施方式可编写为计算机程序，并且可在使用非暂时性计算机可读记录介质执行程序的通用数字计算机中实施。非暂时性计算机可读记录介质的示例包括磁存储介质(例如，ROM、软盘、硬盘等)和光记录介质(例如，CD-ROM或DVD)。

为便于描述，上文参考图1到图20描述的视频编码方法和/或视频编码方法将统一被称为“本公开的视频编码方法”。此外，上文参考图1到图20描述的视频解码方法和/或视频解码方法将被称为“本公开的视频解码方法”。

另外，已参考图1到图20描述的视频编码设备(包括视频编码设备10、视频编码设备800或视频编码器1100)将被称为“本公开的视频编码设备”。另外，已参考图1到图20描述的视频解码设备(包括视频解码设备20、视频解码设备900或视频解码器1200)将被称为“本公开的视频解码设备”。

现在将详细描述根据实施方式的存储程序的非暂时性计算机可读记录介质，诸如，盘片26000。

图21是根据各种实施方式的存储有程序的盘片26000的物理结构的示意图。盘片26000作为一种存储介质，其可以是硬盘驱动器、紧密式只读存储器(CD-ROM)盘、蓝光光盘或数字多功能盘(DVD)。盘片26000包括多个同心盘道Tr，所述同心盘道各自在盘片26000的圆周方向上分成特定数量的扇区Se。在根据实施方式的盘片26000的特定区域中，可分配并存储执行上述量化参数确定方法、视频编码方法和视频解码方法的程序。

现在将参考图22描述使用存储介质实现的计算机系统，所述存储介质存储用于执行上述视频编码方法和视频解码方法的程序。

图22是用于通过使用盘片26000来记录和读取程序的盘片驱动器26800的示意图。计算机系统26700可经由盘片驱动器26800而在盘片26000中存储用于执行本公开的视频编码方法和视频解码方法中的至少一个的程序。为了在计算机系统26700中执行存储在盘片26000中的程序，可从盘片26000中读取程序并且通过使用盘片驱动器26800将它传输到计算机系统26700。

执行本公开的视频编码方法和视频解码方法中的至少一个的程序可不仅存储在图21和图22所示的盘片26000中，还可存储在存储卡、ROM盒式磁带或固态驱动器(SSD)中。

下文将描述应用上文所述的根据实施方式的视频编码方法和视频解码方法的系统。

图23是用于提供内容分发服务的内容供应系统11000的整体结构的示意图。通信系统的服务区域分成预定尺寸的小区，并且无线基站11700、11800、11900和12000分别安装在这些小区中。

内容供应系统11000包括多个独立装置。例如，诸如计算机12100、个人数字助理(PDA)12200、摄像机12300和移动电话12500等多个独立装置经由互联网服务提供商11200、通信网络11400以及无线基站11700、11800、11900和12000连接到互联网11100。

然而，内容供应系统11000不限于如图23所示的系统，并且装置可选择性地连接到该系统。多个独立装置可直接连接到通信网络11400，而不经过无线基站11700、11800、11900和12000。

摄像机12300是能够拍摄视频图像的成像装置，例如，数字摄像机。移动电话12500可采用例如个人数字通信(PDC)、码分多址(CDMA)、宽带码分多址(W-CDMA)、全球移动通信系统(GSM)以及个人手持式电话系统(PHS)等各种协议中的至少一个通信方法。

摄像机12300可经由无线基站11900和通信网络11400连接到流式服务器11300。流式服务器11300允许经由摄像机12300从用户接收的内容经过实时广播进行流传输。从摄像机12300接收的内容可由摄像机12300或流式服务器11300进行编码。通过使用摄像机12300而拍摄的视频数据可经由计算机12100传输到流式服务器11300。

通过使用相机12600而拍摄的视频数据也可经由计算机12100传输到流式服务器11300。类似于数字相机的相机12600是能够拍摄静态图像和视频图像的成像装置。通过使用相机12600而拍摄的视频数据可由相机12600或计算机12100进行编码。对视频执行编码和解码的软件可存储在可由计算机12100访问的非暂时性计算机可读记录介质中，例如，CD-ROM盘、软盘、硬盘驱动器、SSD或存储卡。

如果视频数据通过使用安装在移动电话12500的相机拍摄，那么视频数据可从移动电话12500中接收。

视频数据也可由安装在摄像机12300、移动电话12500或相机12600中的大规模集成电路(LSI)系统进行编码。

在根据实施方式的内容供应系统11000中，由用户使用摄像机12300、相机12600、移动电话12500或另一成像装置记录的内容数据(例如，在音乐会期间记录的内容)被编码并传输到流式服务器11300。流式服务器11300可根据流内容类型将编码的内容数据传输到请求内容数据的其他客户端。

客户端(例如，计算机12100、PDA 12200、摄像机12300或移动电话12500)是能够对编码的内容数据进行解码的装置。因此，内容供应系统11000允许客户端接收和播放编码的内容数据。此外，内容供应系统11000允许客户端接收编码的内容数据，并且实时解码和播放编码的内容数据，从而实现个人播放。

本公开的视频编码设备和视频解码设备可应用于内容供应系统11000中包括的多个独立装置的编码操作和解码操作。

现在下文将参考图24和图25详细地描述内容供应系统11000中包括的移动电话12500。

图24示出根据各种实施方式的应用本公开的视频编码方法和视频解码方法的移动电话12500的外部结构。移动电话12500可以是智能电话，它的功能不受限制并且其大量的功能可改变或扩展。

移动电话12500包括外部天线12510，经由该外部天线，射频(RF)信号可与图21的无线基站12000进行交换。移动电话12500还包括显示屏12520，所述显示屏12520用于显示由相机12530拍摄的图像或经由天线12510接收并解码的图像，例如，液晶显示器(LCD)或有机发光二极管(OLED)屏。移动电话12500包括操作面板12540，所述操作面板12540包括控制按钮和触摸面板。如果显示屏12520是触摸屏，那么操作面板12540进一步包括显示屏12520的触摸感应面板。移动电话12500包括用于输出语音和声音的扬声器12580或另一类型的声音输出单元，以及用于输入语音和声音的麦克风12550或另一类型的声音输入单元。移动电话12500进一步包括相机12530，诸如，电荷耦合装置(CCD)相机，以拍摄视频或静态图像。移动电话12500还可包括：存储介质12570，该存储介质12570用于存储编码/解码的数据，例如，由相机12530拍摄、经由电子邮件接收或根据各种方式获取的视频或静态图像；以及槽12560，存储介质12570经由该槽12560装载到移动电话12500中。存储介质12570可以是闪存，例如，安全数字(SD)卡或者包括在塑料盒中的电可擦除可编程只读存储器(EEPROM)。

图25示出移动电话12500的内部结构。为了系统地控制包括显示屏12520和操作面板12540的移动电话12500的部分，电源电路12700、操作输入控制器12640、图像编码单元12720、相机接口12630、LCD控制器12620、图像解码单元12690、多路复用器/多路分解器12680、记录/读取单元12670、调制/解调单元12660以及声音处理器12650经由同步总线12730连接到中央控制器12710。

如果用户操作电源按钮并从“关机”状态设置到“开机”状态，那么电源电路12700将电力从电池组供应到移动电话12500的所有部分，从而在操作模式下设置移动电话12500。

中央控制器12710包括中央处理单元(CPU)、只读存储器(ROM)和随机存取存储器(RAM)。

在移动电话12500将通信数据传输到外部时，移动电话12500在中央控制器12710的控制下生成数字信号。例如，声音处理器12650可生成数字声音信号，图像编码单元12720可产生数字图像信号，并且消息的文本数据可经由操作面板12540和操作输入控制器12640生成。当数字信号在中央控制器12710的控制下传输到调制/解调单元12660时，调制/解调单元12660对数字信号的频带进行调制，并且通信电路12610在频带经调制的数字声音信号上执行数模转换(DAC)和频率转换。从通信电路12610输出的传输信号可经由天线12510传输到语音通信基站或无线基站12000。

例如，当移动电话12500处于对话模式时，经由麦克风12550获取的声音信号在中央控制器12710的控制下被声音处理器12650转换成数字声音信号。所生成的数字声音信号可通过调制/解调单元12660和通信电路12610转换成传输信号，并且可经由天线12510进行传输。

当文本消息(例如，电子邮件)在数据通信模式下传输时，文本消息的文本数据经由操作面板12540输入，并且经由操作输入控制器12640传输到中央控制器12610。在中央控制器12610的控制下，文本数据经由调制/解调单元12660和通信电路12610变换成传输信号，并且经由天线12510传输到无线基站12000。

为了在数据通信模式下传输图像数据，经由相机接口12630将相机12530拍摄的图像数据提供到图像编码单元12720。拍摄的图像数据可经由相机接口12630和LCD控制器12620直接显示在显示屏12520上。

图像编码单元12720的结构可对应于本公开的上述视频编码设备的结构。图像编码单元12720可根据本公开的上述视频编码方法将从相机12530接收的图像数据变换成压缩且编码的图像数据，并且随后可将编码的图像数据输出到多路复用器/多路分解器12680。在相机12530的记录操作期间，由移动电话12500的麦克风12550获得的声音信号可经由声音处理器12650变换成数字声音数据，并且数字声音数据可传输到多路复用器/多路分解器12680。

多路复用器/多路分解器12680将从图像编码单元12720接收的编码图像数据与从声音处理器12650接收的声音数据多路复用。多路复用数据的结果可经由调制/解调单元12660和通信单元12610转换成传输信号，并且可随后经由天线12510传输。

当移动电话12500接收来自外源的通信数据时，在经由天线12510接收的信号上执行频率恢复和模数转换(ADC)，以将该信号转换成数字信号。调制/解调单元12660对数字信号的频带进行调制。根据数字信号的类型，频带经过调制的数字信号传输到视频解码单元12690、声音处理器12650或LCD控制器12620。

在对话模式下，移动电话12500将经由天线12510接收的信号放大，并且通过在放大的信号上执行频率转换和ADC来获取数字声音信号。在中央控制器12710的控制下，接收的数字声音信号经由调制/解调单元12660和声音处理器12650转换成模拟声音信号，并且模拟声音信号经由扬声器12580输出。

在数据通信模式下，当接收到在互联网网站访问的视频文件的数据时，经由调制/解调单元12660将经由天线12510从无线基站12000接收的信号作为多路复用数据输出，并且将多路复用数据传输到多路复用器/多路分解器12680。

为了对经由天线12510接收的多路复用的数据进行解码，多路复用器/多路分解器12680将多路复用的数据多路分解成编码的视频数据流和编码音频数据流。经由同步总线12730，编码的视频数据流和编码音频数据流分别被提供到视频解码单元12690和声音处理器12650。

图像解码单元12690的结构可对应于本公开的上述视频解码设备的结构。根据本公开的上述视频解码方法，图像解码单元12690可对编码的视频数据进行解码，以生成重建的视频数据，并且经由LCD控制器12620将重建的视频数据提供到显示屏12520。

因此，在互联网网站访问的视频文件的数据可显示在显示屏12520上。同时，声音处理器12650可将音频数据转换成模拟声音信号，并且将模拟声音信号提供到扬声器12580。因此，在互联网网站访问的视频文件中含有的音频数据也可经由麦克风12580而播放。

移动电话12500或另一类型的通信终端可以是包括本公开的视频编码设备和视频解码设备的收发终端，可以是只包括本公开的视频编码设备的收发终端，或者可以是只包括本公开的视频解码设备的收发终端。

根据本公开的通信系统不限于上文参考图24描述的通信系统。例如，图26示出根据实施方式的采用通信系统的数字广播系统。根据实施方式的图26的数字广播系统可通过使用本公开的视频编码设备和视频解码设备来接收经由卫星或地面网络传输的数字广播。

更具体地，广播站12890通过使用无线电波而将视频数据流传输到通信卫星或广播卫星12900。广播卫星12900传输广播信号，并且广播信号经由家用天线12860传输到卫星广播接收器。在每个家庭中，编码的视频流可由TV接收器12810、机顶盒12870或另一装置解码并播放。

当本公开的视频解码设备实施于播放设备12830中时，播放设备12830可对记录在存储介质12820(诸如，盘片或存储卡)上的编码的视频流进行解析和解码，以重建数字信号。因此，重建的视频信号可例如在显示器12840上播放。

在连接到用于卫星/地面广播的天线12860或用于接收电缆电视(TV)广播的电缆12850的机顶盒12870中，可安装本公开的视频解码设备。从机顶盒12870输出的数据也可在TV显示器12880上播放。

作为另一示例，本公开的视频解码设备可安装在TV接收器12810中，而不是机顶盒12870中。

具有适当天线12910的汽车12920可接收从卫星12900或图23的无线基站11700传输的信号。解码的视频可在安装于汽车12920中的车载导航系统12930的显示屏上播放。

视频信号可由本公开的视频编码设备进行编码，并且可随后记录并存储到存储介质中。具体而言，图像信号可由DVD记录器存储在DVD光盘12960中，或者可由硬盘记录器12950存储在硬盘中。作为另一示例，视频信号可存储在SD卡12970中。如果硬盘记录器12950包括根据实施方式的本公开的视频解码设备，那么记录在DVD光盘12960、SD卡12970或另一存储介质上的视频信号可在TV显示器12880上播放。

车载导航系统12930可不包括图26的相机12530、相机接口12630和图像编码单元12720。例如，计算机12100和TV接收器12810可不包括图26的相机12530、相机接口12630和图像编码单元12720。

图27是示出根据各种实施方式的使用视频编码设备和视频解码设备的云计算系统的网络结构的示意图。

本公开的云计算系统可包括云计算服务器14000、用户数据库(DB)14100、多个计算资源14200、以及用户终端。

响应于来自用户终端的请求，云计算系统经由数据通信网络(例如，互联网)来提供多个计算资源14200的按需外包服务。在云计算环境下，通过使用虚拟化技术将位于物理上不同位置的数据中心处的计算资源相结合，服务提供商为用户提供所需的服务。服务用户不必将计算资源(例如，应用程序、存储设备、操作系统(OS)和安全应用)安装到他/她自己的终端中以进行使用，而是可在所需的时间点从通过虚拟化技术生成的虚拟空间中的服务之中选择并使用所需服务。

使用指定服务的用户的用户终端经由包括互联网和移动远程通信网络的数据通信网络连接到云计算服务器14000。从云计算服务器14000可对用户终端提供云计算服务，具体地如视频播放服务。用户终端可以是能够连接到互联网的各种类型的电子装置，例如，台式PC 14300、智能TV 14400、智能电话14500、笔记本电脑14600、便携式多媒体播放器(PMP)14700、平板PC 14800等。

云计算服务器14000可将分布在云网络中的多个计算资源14200进行组合，并且将组合的结果提供到用户终端。多个计算资源14200可包括各种数据服务，并且可包括从用户终端上传的数据。如上文所述，云计算服务器14000可通过根据虚拟化技术将分布在不同区域中的视频数据库进行组合来将所需的服务提供到用户终端。

与订阅云计算服务的用户有关的用户信息存储在用户数据库14100中。用户信息可包括用户的登录信息、地址、姓名和个人信用信息。用户信息还可包括视频的索引。此处，索引可包括已经播放的视频列表、正在播放的视频列表、过去播放的视频的暂停点等。

存储在用户数据库14100中的与视频有关的信息可在用户装置之间共享。例如，当响应于来自笔记本电脑14600的请求而将视频服务提供到笔记本电脑14600时，视频服务的播放历史便存储在用户数据库14100中。当从智能电话14500接收播放该视频服务的请求时，云计算服务器14000基于用户数据库14100来搜索并播放该视频服务。当智能电话14500接收来自云计算服务器14000的视频数据流时，通过对视频数据流进行解码来播放视频的过程类似于上文参考图24描述的移动电话12500的操作。

云计算服务器14000可参考存储在用户数据库14100中的所需视频服务的播放历史。例如，云计算服务器14000接收来自用户终端的播放存储在用户数据库14100中的视频的请求。如果这个视频已在播放，那么由云计算服务器14000执行的流传输这个视频的方法可根据用户终端的请求而改变，即，根据从视频的开头还是暂停点开始播放该视频。例如，如果用户终端请求从视频的开头开始播放该视频，那么云计算服务器14000将从视频的第一帧开始的视频流数据传输到用户终端。另一方面，如果用户终端请求从视频的暂停点开始播放该视频，那么云计算服务器14000将从对应于暂停点的帧开始的视频流数据传输到用户终端。

在这种情况下，用户终端可包括如上文参考图1到图20描述的本公开的视频解码设备。作为另一示例，用户终端可包括如上文参考图1到图20描述的本公开的视频编码设备。或者，用户终端可包括如上文参考图1到图20描述的本公开的视频解码设备和视频编码设备两者。

上文参考图21到图27描述了上文参考图1到图20描述的根据各种实施方式的视频编码方法、视频解码方法、视频编码设备和视频解码设备的各种应用。然而，上文参考图1到图20描述的根据各种实施方式的关于将视频编码方法和视频解码方法存储在存储介质中的方法或者在装置中实施视频编码设备和视频解码设备的方法的实施方式不限于上文参考图21到图27描述的实施方式。

应理解，本文所述的各种实施方式应仅被认为是描述性的，而并不用于限制。对每个实施方式内的特征或方面的描述通常应被视作适用于其他实施方式中的类似特征或方面。因此，本公开的范围并不由详细描述限定，而是由所附权利要求限定，并且该范围内的所有差异都将被解释为包括在本公开中。

Claims (15)

1.视频编码设备，包括：

编码器，配置成通过对输入视频进行编码来生成编码的视频数据；

解码器，配置成对将应用滤波器以补偿像素值的视频数据进行解码，其中，所述视频数据来自所编码的视频数据；

自适应环路滤波器(ALF)参数预测器，配置成通过使用所解码的视频数据的信息来生成ALF滤波器参数，其中，所述ALF滤波器参数被配置成将应用到ALF滤波器，以通过使用与当前像素相邻的相邻像素的值和所述相邻像素的滤波器系数来补偿所述当前像素的值；

取样自适应偏移(SAO)滤波器单元，配置成将SAO滤波器应用到所解码的视频数据，其中，所述SAO滤波器通过使用边缘偏移和频带偏移中的至少一个来补偿当前像素的值；

ALF滤波器单元，配置成通过使用所述ALF滤波器参数来将所述ALF滤波器应用到已经应用了所述SAO滤波器的视频数据；以及

熵编码器，配置成对所述ALF滤波器参数执行熵编码，

其中，所述ALF参数预测器被配置成通过使用尚未应用所述SAO滤波器的解码的视频数据的信息来生成所述ALF滤波器参数。

2.根据权利要求1所述的视频编码设备，还包括去块化滤波器单元，所述去块化滤波器单元配置成对所解码的视频数据应用去块化滤波器以去除块化效应，以及

其中，所述SAO滤波器单元还被配置成将所述SAO滤波器应用到已经应用了所述去块化滤波器的解码的视频数据，以及

其中，所述ALF参数预测器还被配置成通过使用尚未应用所述去块化滤波器的解码的视频数据的信息来生成所述ALF滤波器参数。

3.根据权利要求1所述的视频编码设备，还包括去块化滤波器单元，所述去块化滤波器单元配置成对所解码的视频数据应用去块化滤波器以去除块化效应，以及

其中，所述SAO滤波器单元还被配置成将所述SAO滤波器应用到已经应用了所述去块化滤波器的解码的视频数据，以及

其中，所述ALF参数预测器还被配置成通过使用已经应用了所述去块化滤波器的解码的视频数据的信息来预测已经应用了所述SAO滤波器的视频数据的ALF滤波器参数。

4.根据权利要求1所述的视频编码设备，还包括：

去块化滤波器单元，配置成对所解码的视频数据应用去块化滤波器以去除块化效应，以及

SAO参数预测器，配置成通过使用尚未应用所述去块化滤波器的解码的视频数据的信息来生成SAO滤波器参数，从而将SAO滤波器应用到所解码的视频数据，以及

其中，所述SAO滤波器单元还被配置成通过使用所述SAO滤波器参数来将所述SAO滤波器应用到所解码的视频数据。

5.根据权利要求4所述的视频编码设备，其中：

所述ALF参数预测器还被配置成通过使用已经应用了所述去块化滤波器的解码的视频数据的信息来预测已经应用了所述SAO滤波器的视频数据的ALF滤波器参数，以及

所述熵编码器还被配置成对所预测的SAO滤波器参数执行熵编码。

6.根据权利要求4所述的视频编码设备，其中：

所述SAO滤波器单元还被配置成将所述SAO滤波器应用到已经应用了去块化滤波器的重建视频，以及

所述SAO参数预测器还被配置成通过使用尚未应用所述去块化滤波器的解码的视频数据的像素值来预测将所述去块化滤波器应用到所解码的视频数据的结果，以及通过使用所预测的应用所述去块化滤波器的结果的值来预测SAO滤波器参数。

7.根据权利要求4所述的视频编码设备，其中，所述SAO参数预测器还被配置成通过使用在对所解码的视频数据进行编码的过程中所使用的预测信息来预测所述SAO滤波器参数。

8.根据权利要求4所述的视频编码设备，其中，所述SAO参数预测器还被配置成通过使用在SAO滤波器应用到所解码的视频数据中的当前块之前已经应用了SAO滤波器的先前块的SAO滤波器参数来预测所述当前块的SAO滤波器参数。

9.根据权利要求4所述的视频编码设备，其中：

所述SAO参数预测器还被配置成通过使用位于与当前块所在的重建视频的图片相同的图片中的空间相邻的块的信息来预测所述当前块的SAO滤波器参数，以及

所述空间相邻的块的信息包括所述空间相邻的块的像素值、预测信息和SAO滤波器参数中的至少一个。

10.根据权利要求4所述的视频编码设备，其中：

所述SAO参数预测器还被配置成通过使用位于具有与当前块所在的重建视频的图片的图像序列信息不同的图像序列信息的图片中的时间相邻的块的信息来预测所述当前块的SAO滤波器参数，以及

所述时间相邻的块的信息包括所述时间相邻的块的像素值、预测信息和SAO滤波器参数中的至少一个。

11.根据权利要求4所述的视频编码设备，其中，所述SAO参数预测器还被配置成通过使用下列信息中的至少一项来预测当前块的SAO滤波器参数：

位于与所述当前块所在的重建视频的图片相同的图片中的空间相邻的块的信息；

位于具有与所述当前块所在的重建视频的图片的时间信息不同的时间信息的图片中的时间相邻的块的信息；以及

尚未应用去块化滤波器的当前块的信息。

12.根据权利要求1所述的视频编码设备，其中，所述熵编码器还被配置成在所述ALF滤波器单元通过使用所生成的ALF滤波器参数而将ALF滤波器应用到已经应用了所述SAO滤波器的当前块之前，对所预测的ALF滤波器参数执行熵编码。

13.由视频编码设备执行的视频编码方法，所述视频编码方法包括：

通过对输入视频进行编码来生成编码的视频数据；

对将应用滤波器以补偿像素值的视频数据进行解码，其中，所述视频数据来自所编码的视频数据；

通过使用所解码的视频数据的信息来生成自适应环路滤波器(ALF)滤波器参数，其中，所述ALF滤波器参数被配置成将应用到ALF滤波器，以通过使用与当前像素相邻的相邻像素的值和所述相邻像素的滤波器系数来补偿所述当前像素的值；

将取样自适应偏移(SAO)滤波器应用到所解码的视频数据，其中，所述SAO滤波器通过使用边缘偏移和频带偏移中的至少一个来补偿当前像素的值；

通过使用所述ALF滤波器参数来将所述ALF滤波器应用到已经应用了所述SAO滤波器的视频数据；以及

对所述ALF滤波器参数执行熵编码，

其中，生成所述ALF滤波器参数包括通过使用尚未应用所述SAO滤波器的解码的视频数据的信息来生成所述ALF滤波器参数。

14.非暂时性计算机可读记录介质，所述非暂时性计算机可读记录介质上记录有计算机程序，所述计算机程序用于执行根据权利要求13所述的视频编码方法。

15.存储在非暂时性计算机可读存储介质中的计算机程序，所述计算机程序与硬件组合，由此执行视频编码方法，所述视频编码方法包括：

通过对输入视频进行编码来生成编码的视频数据；

对将应用滤波器以补偿像素值的视频数据进行解码，其中，所述视频数据来自所编码的视频数据；

通过使用所解码的视频数据的信息来生成自适应环路滤波器(ALF)滤波器参数，其中，所述ALF滤波器参数被配置成将应用到ALF滤波器，以通过使用与当前像素相邻的相邻像素的值和所述相邻像素的滤波器系数来补偿所述当前像素的值；

将取样自适应偏移(SAO)滤波器应用到所解码的视频数据，其中，所述SAO滤波器通过使用边缘偏移和频带偏移中的至少一个来补偿当前像素的值；

通过使用所述ALF滤波器参数来将所述ALF滤波器应用到已经应用了所述SAO滤波器的视频数据；以及

对所述ALF滤波器参数执行熵编码，

其中，生成所述ALF滤波器参数包括通过使用尚未应用所述SAO滤波器的解码的视频数据的信息来生成所述ALF滤波器参数。