CN110063059B - 视频编解码方法、相关编解码器和计算机可读存储介质 - Google Patents

Abstract

一种用于从码流中对视频的当前帧的块进行解码的解码器，所述解码器包括参考样本选择单元，用于选择所述当前帧的重建部分的参考样本；滤波单元，用于对所述参考样本进行滤波；块生成单元，用于基于所述滤波的参考样本生成所述块的预测，其中所述滤波单元包括锐化滤波器和/或去振铃滤波器，所述锐化滤波器和/或所述去振铃滤波器基于所述码流中的标志进行应用。

Description

视频编解码方法、相关编解码器和计算机可读存储介质

技术领域

本发明涉及一种用于从码流中对视频的当前帧的块进行解码的解码器和方法。本发明还涉及一种用于在码流中对当前帧的块进行编码的编码器和方法。进一步地，本发明还涉及一种存储程序代码的计算机可读存储介质，所述程序代码包括用于执行上述方法的指令。

背景技术

为了降低视频信号的码率，ISO和ITU编码标准采用混合视频编码，其中将帧间和帧内预测与预测误差的变换编码相结合。现今的标准H.264/AVC和H.265/HEVC基于已经编码的周围块的参考样本使用块内预测。然后，原始块和预测块之间的差异(称为残差)可以使用例如DCT或DST转换为频域，进行量化并使用熵编码进行编码。

预测的有效性对需要编码和传输的残差量有很大的影响。提高预测质量可以减少残差信息量，降低编码视频序列的整体比特率。

在解码侧，可以从所述码流中提取预测类型和预测参数的信息。根据该信息可以生成预测块。然后，从所述码流中提取残差系数，对所述残差系数进行逆量化和变换，然后添加到所述预测块获得重建块。一旦重建一张完整的图像，它就会经过环路滤波器。获得的滤波图像进入输出，并存储在参考图像缓存中，用于将来的帧间预测。

视频编码中的传统帧内预测机制使用来自已编码区域的参考样本为需要编码的块生成预测信号。

提出了一系列改进帧内预测的方法。H.265/HEVC视频编码标准中采用了其中的一些方法。

然而，已知的方案会导致所述参考样本中的自然边缘发生畸变，相应也会导致这些样本生成的预测块中的自然边缘发生畸变。使用设计为保留低频分量系数的量化矩阵可能对包含自然边缘的块产生更多的误差，并导致边缘模糊以及重建边缘周围出现振铃效应。为了降低振铃效应，可以使用线性平滑滤波器。这种方法的问题在于在抑制振铃自然边缘时也一同可能被模糊。

发明内容

本发明的目的是提供一种解码器、编码器以及用于解码和编码的方法，其中，所述解码器、所述编码器以及所述方法克服了现有技术的上述一个或多个问题。

本发明的第一方面提供了一种用于从码流中对视频的当前帧的块进行解码的解码器，所述解码器包括：

-参考样本选择单元，用于选择所述当前帧的重建部分的参考样本；

-滤波单元，用于对所述参考样本进行滤波；

-块生成单元，用于基于所述滤波的参考样本生成所述块的预测，其中，所述滤波单元包括锐化滤波器和/或去振铃滤波器，所述锐化滤波器和/或所述去振铃滤波器用于基于所述码流中的标志进行应用。

所述第一方面的所述解码器具有以下优点：所述锐化滤波器和/或所述去振铃滤波器能够提高预测的效率，从而提高目标感知图像质量。特别地，由于所述锐化滤波器和/或所述去振铃滤波器可以基于所述码流中的标志应用，这些滤波器可以选择性地应用于其能提高图像质量的场景。

所述第一方面的所述解码器还可以包括重建单元，用于基于所述块的预测和所述码流中的残差视频块生成重建视频块。

在根据所述第一方面的所述解码器的第一种实现方式中，所述滤波单元和/或所述块生成单元和/或预测后滤波单元用于对所述块的预测进行滤波，包括平滑滤波器。

根据所述第一种实现方式的所述解码器具有以下优点：其包括锐化滤波器/去振铃滤波器和平滑滤波器。因此，根据情况，其可以应用锐化或平滑，从而实现最佳图像再现。

所述解码器可用于基于所述码流中的一个标志应用：

-所述平滑滤波器，或

-所述锐化滤波器和/或所述去振铃滤波器。

例如，如果所述码流中的标志为真，则所述解码器可用于应用所述平滑滤波器，如果所述标志为假，则所述解码器可用于应用所述锐化滤波器和/或所述去振铃滤波器。

其优点是：避免了同时应用平滑和锐化的相反动作。

所述解码器可用于除非所述码流中的锐化标志为真，否则根据基于一个或多个块属性的规则应用所述平滑滤波器。

根据所述第一方面或根据所述第一方面的所述第一种实现方式的所述解码器的第二种实现方式中，所述解码器用于：

-确定平滑滤波条件；

-从所述码流中解析锐化标志；

-如果所述平滑滤波条件为真且所述锐化标志为假，则应用所述平滑滤波器。

换句话说，根据所述第二种实现方式，只有在满足所述平滑滤波条件且锐化被去激活的情况下，才应用所述平滑滤波器。因此，避免了同时进行平滑和锐化的相反动作。

在根据所述第一方面或根据所述第一方面的上述实现方式中的任一种实现方式的所述解码器的第三种实现方式中，所述解码器用于：

-从所述码流中解析锐化标志；

-如果锐化标志为假，则从码流中解析平滑标志，

和/或，所述解码器用于：

-从所述码流中解析平滑标志；

-如果平滑标志为假，则从码流中解析锐化标志。

换句话说，如果所述锐化标志为真(导致应用所述锐化滤波器)，则可以跳过平滑标志的解析。类似地，如果平滑标志为真(导致应用所述平滑滤波器)，则可以跳过锐化标志的解析。其优点是：需要从所述码流中解析的信息较少。从而可以提高编码效率。

在根据所述第一方面或根据所述第一方面的上述实现方式中的任一种实现方式的所述解码器的第四种实现方式中，所述块生成单元包括多个预测模式，所述多个预测模式包括DC模式、平面模式和/或一个或多个角度模式，所述解码器还用于：

-从所述码流中解析预测模式；

-如果所述解析的预测模式既不是所述DC模式也不是所述平面模式，则从码流中解析锐化标志。

换句话说，如果所述解析的预测模式为DC模式或平面模式，则所述解码器跳过从所述码流中解析所述锐化标志。这是因为所述DC模式和所述平面模式可以看作是平滑滤波器。因此，所述解码器可以假设，如果使用DC模式或平面模式进行预测，则应避免锐化。因此，如果所述预测模式是DC模式或平面模式，则不需要解析所述锐化标志。因此，所述第四种实现方式具有以下优点：可以避免不必要的标记解析并提高编码效率。

在根据所述第一方面或根据所述第一方面的上述实现方式中的任一种实现方式的所述解码器的第五种实现方式中，所述块生成单元包括具有不同频率响应特性的多个插值滤波器，所述多个插值滤波器用于获得分数像素位置中的样本值，所述解码器还用于：

-从所述码流中解析锐化标志；

-如果所述锐化标志为真，则从所述多个插值滤波器中应用通过最大高频量的插值滤波器。

例如，如果可以使用三次滤波器和模糊滤波器(例如高斯或双线性滤波器)，如果所述锐化标志为真，则应该应用所述三次滤波器，因为这样可以通过更高的高频量。

在根据所述第一方面或根据所述第一方面的上述实现方式中的任一种实现方式的所述解码器的第六种实现方式中，所述平滑滤波器包括：

-块预测方法的DC模式和/或平面模式；

-边界平滑滤波器；

-位置相关的帧内预测组合，和/或

-多参数帧内预测。

位置相关帧内预测组合(Position-dependent intra prediction combination，简称 PDPC)是对块预测的后处理，调用HEVC块预测与滤波和未滤波边界参考样本的组合。采用几个7抽头低通滤波器对所述边界样本进行平滑处理。结果，所述预测块的像素根据其在所述块中的位置变得平滑。

多参数帧内预测(multi-parameter intra prediction，简称MPI)为一种帧内预测后处理工具，调用具有解码边界的附加平滑。MPI的目的是通过对所述预测结果应用不同的后处理滤波器来生成更自然的模式，同时即使在所述平滑之后也保持所述定向模式。

在根据所述第一方面或根据所述第一方面的上述实现方式中的任一种实现方式的所述解码器的第七种实现方式中，所述平滑滤波器为高斯滤波器，所述块生成单元用于如果使用所述锐化滤波器，则使用三次滤波器代替所述高斯滤波器。

本发明的第二方面涉及一种用于在码流中对视频的当前帧的块进行编码的编码器，所述编码器包括：

-参考样本选择单元，用于选择所述当前帧的重建部分的参考样本；

-滤波单元，用于滤波所述参考样本，其中，所述滤波单元包括锐化滤波器和/或去振铃滤波器；

-块生成单元，用于基于所述滤波后的参考样本生成所述块的预测；

-控制单元，用于控制是否应用所述锐化滤波器和/或所述去振铃滤波器。

所述编码器可用于为多个编码模式中的每一个计算目标准则，其中所述多个编码模式中的每一个应用锐化滤波器或平滑滤波器，所述编码器用于基于所述计算出的目标准则选择优选的编码模式。

所述编码器还可以包括写入单元，用于将标记写入所述码流，其中所述标记指示在解码期间是否应该使用锐化滤波器和/或去振铃滤波器。

在所述第二方面的所述编码器的第一种实现方式中，所述滤波单元和/或所述块生成单元和/或后滤波单元用于对所述块的预测进行滤波，包括平滑滤波器。

在根据所述第二方面或根据所述第二方面的所述第一种实现方式的所述编码器的第二种实现方式中，所述编码器用于：

-向所述码流写入锐化标志；

-如果所述锐化标志为假，则向所述码流写入平滑标志，

和/或，所述编码器用于：

-向所述码流写入平滑标志；

-如果所述平滑标志为假，则向所述码流写入锐化标志。

在根据所述第二方面或根据所述第二方面的上述实现方式中的任一种实现方式的所述编码器的第三种实现方式中，所述块生成单元包括多个预测模式，所述多个预测模式包括DC模式、平面模式和/或一个或多个角度模式，所述解码器还用于：

-确定预测模式；

-如果所述确定的预测模式既不是所述DC模式也不是所述平面模式，则向所述码流写入锐化标志。

本发明的第三方面涉及一种从码流中对视频的当前帧的块进行解码的方法，所述方法包括：

-选择所述当前帧的重建部分的参考样本；

-对所述参考样本进行滤波；

-基于所述滤波的参考样本生成所述块的预测，

其中，所述方法还包括基于所述码流中的标志确定对所述参考样本进行滤波是否包括应用锐化滤波器和/或去振铃滤波器的步骤。

本发明所述第三方面所述的方法可以由本发明所述第一方面所述的解码器执行。本发明所述第三方面所述的方法的进一步特征或实施方式可以执行本发明所述第一方面及其不同实施方式所述的解码器的功能。

本发明的第四方面涉及一种用于在码流中对视频的当前帧的块进行编码的方法，所述方法包括：

-选择所述当前帧的重建部分的参考样本；

-对所述参考样本进行滤波；

-基于所述滤波的参考样本生成所述块的预测，

其中，所述方法还包括确定对所述参考样本进行滤波是否包括应用锐化滤波器和/ 或去振铃滤波器的步骤。

所述方法还可以包括：确定所述预测块的目标准则，并基于所述确定的目标准则选择优选的编码模式。

根据本发明所述第四方面所述的方法可以由本发明所述第二方面所述的编码器执行。根据本发明所述第四方面所述的方法的进一步特征或实现方式可以执行本发明所述第二方面及其不同实现方式所述的编码器的功能。

本发明的第五方面涉及一种存储程序代码的计算机可读存储介质，所述程序代码包括用于执行第八方面和第四方面的方法的指令。

本发明的第六方面提供了一种用于从码流中对视频的当前帧的块进行解码的解码器，所述解码器包括：

-参考样本选择单元，用于选择所述当前帧的重建部分的参考样本；

-滤波单元，用于对所述参考样本进行滤波；

-块生成单元，用于基于所述滤波后的参考样本生成所述块的预测，

其中，所述滤波单元包括锐化滤波器和/或去振铃滤波器。

所述第六方面的所述解码器包括滤波单元，所述滤波单元能够使用所述锐化滤波器和/或所述去振铃滤波器对所述参考样本进行滤波。实验已经表明，该参考样本的锐化和/ 或去振铃可以提高所述预测块的预测准确性和/或感知图像质量。

所述第六方面的所述解码器还可以包括重建单元，用于基于所述块的预测和所述接收的码流中的残差视频块生成重建视频块。

在根据所述第六方面的所述解码器的第一种实现方式中，所述锐化滤波器和/或所述去振铃滤波器为非线性滤波器。

本发明人的实验已经表明，非线性滤波器在预测准确性和/或感知图像质量方面能够获得特别好的结果。

在根据所述第六方面或根据所述第六方面的所述第一种实现方式的所述解码器的第二种实现方式中，所述解码器用于基于所述码流中的所述锐化和/或去振铃滤波器相关信息的信令和/或基于所述当前帧的一个或多个重建块的图像属性，激活所述锐化滤波器和/或所述去振铃滤波器。

所述第二种实现方式的所述解码器具有以下优点：所述锐化滤波器和/或所述去振铃滤波器可以基于在给定场景中是否期望提高图像质量来激活或去激活。所述码流中的显式信令允许实现最佳活动/非活动设置(例如，基于所述编码过程中设置的优化)。另一方面，基于所述当前帧的一个或多个重建块的图像属性激活所述锐化滤波器和/或所述去振铃滤波器而不需要显式信令，可以提高整体编码效率。

为了避免显式信令的开销，可以基于例如周围块中边缘的强度、编码块大小等激活所述锐化滤波器和/或所述去振铃滤波器。例如，可以将周围块中边缘的强度和/或所述编码块大小与阈值进行比较，并基于所述阈值比较的结果激活所述锐化滤波器和/或所述去振铃滤波器。例如，如果附近块中的一个或多个边缘的强度超过某个阈值，则可以激活所述锐化滤波器和/或所述去振铃滤波器。

在优选实施例中，除了所述锐化滤波器和/或所述去振铃滤波器的激活/去激活的信令之外，还可以在所述码流中对其它参数进行信令化和/或从图像属性中导出。

所述滤波器的激活可以仅针对视频内容的一部分进行，例如序列、图像组、单个图像、任意区域和/或规则编码块。

在根据所述第六方面或根据所述第六方面的上述实现方式中的任一种实现方式的所述解码器的第三种实现方式中，所述滤波单元包括：

-一阶导数单元，用于确定所述参考样本的一阶导数；

-绝对值单元，用于确定所述一阶导数的绝对值；

-二阶导数单元，用于基于所述一阶导数的绝对值确定二阶导数；

-扭曲单元，用于基于所述二阶导数对所述参考样本进行扭曲。

所述第三种实现方式的所述解码器包括非线性滤波器，所述非线性滤波器在实验中已经显示出特别好的结果，可以抑制振铃伪影并提高自然边缘的主观锐度。

在根据所述第六方面或根据所述第六方面的上述实现方式中的任一种实现方式的所述解码器的第四种实现方式中，所述扭曲单元用于使用通过使用缩放系数缩放所述二阶导数获得的各自位移矢量位移所述参考样本中的每一个，其中，所述缩放系数为所述锐化强度。

在根据所述第六方面或根据所述第六方面的上述实现方式中的任一种实现方式的所述解码器的第五种实现方式中，所述解码器用于基于所述码流中的信令和/或基于本地图像属性来适配所述缩放系数。

例如，所述缩放系数的值可以在所述码流中显式指示。或者，通过基于本地图像属性，例如基于已经从所述码流解码的块中的一个或多个边缘的测量强度，适配所述缩放系数，可以避免显式信令的开销。

在根据所述第六方面或根据所述第六方面的上述实现方式中的任一种实现方式的所述解码器的第六种实现方式中，所述滤波单元还包括裁剪单元，用于将所述绝对值限制为高于第一阈值和/或低于第二阈值。

所述第六种实现方式的所述解码器具有以下优点：所述一阶导数的所述绝对值的极高值被裁剪，从而避免了可能导致图像质量下降的极异常值。

在根据所述第六方面或根据所述第六方面的上述实现方式中的任一种实现方式的所述解码器的第七种实现方式中，还包括模糊滤波器，用于平滑所述绝对值。

例如，所述模糊滤波器可以是高斯滤波器。

本发明的第七方面涉及一种用于在码流中对当前帧的块进行编码的编码器，所述编码器包括：

-参考样本选择单元，用于选择所述当前帧的重建部分的参考样本；

-滤波单元，用于对所述参考样本进行滤波；

-块生成单元，用于基于所述滤波的参考样本生成所述块的预测，其中，所述滤波单元包括锐化滤波器和/或去振铃滤波器；

-控制单元，用于控制是否应用所述锐化滤波器和/或所述去振铃滤波器。

所述第七方面的所述编码器可用于在所述码流中对所述当前帧的块进行编码，使得所述当前帧的块可以由根据本发明所述第六方面的所述解码器解码。

所述第七方面的所述编码器还可以包括重建单元，用于基于所述块预测和残差视频块生成重建视频块。

在所述第七方面的所述编码器的第一种实现方式中，所述控制单元用于：通过进行率失真优化，通过最小化预测误差准则和/或基于一个或多个局部图像属性，选择以下一种：

-选择性旁路；

-对所述锐化滤波器和/或去振铃滤波器所做的选择性应用。

这样，所述第七方面的所述编码器能够确定最优滤波(或滤波旁路)。所述编码器可用于通过所述选择的显式信令将所述选择编码到所述码流中。

在所述第七方面或根据所述第七方面的所述第一种实现方式的所述编码器的第二种实现方式中，所述滤波器包括一个或多个参数，所述编码器还包括参数选择单元，用于通过执行率失真优化、最小化预测误差准则和/或基于一个或多个局部图像属性，来选择所述一个或多个参数。

在所述第七方面或根据所述第七方面的所述第一种实现方式的所述编码器的第三种实现方式中，所述编码器用于在所述码流中对锐化滤波器标志、锐化系数和/或所述锐化滤波器和/或去振铃滤波器的一个或多个参数进行编码。

本发明的第八方面涉及一种从码流中对视频的当前帧的块进行解码的方法，所述方法包括：

-选择所述当前帧的重建部分的参考样本；

-对所述参考样本进行滤波；

-基于所述滤波的参考样本生成所述块的预测，

其中，对所述参考样本进行滤波包括对所述参考样本进行锐化和/或去振铃的步骤。

本发明所述第八方面所述的方法可以由本发明所述第六方面所述的解码器执行。本发明所述第八方面所述的方法的进一步特征或实施方式可以执行本发明所述第六方面及其不同实施方式所述的解码器的功能。

本发明的第九方面涉及一种用于在码流中对视频的当前帧的块进行编码的方法，所述方法包括：

-选择所述当前帧的重建部分的参考样本；

-对所述参考样本进行滤波；

-基于所述滤波的参考样本生成所述块的预测，

其中，所述方法还包括确定是否通过锐化和/或去振铃对所述参考样本进行滤波的步骤。

根据本发明所述第九方面所述的方法可以由本发明所述第七方面所述的编码器执行。根据本发明所述第九方面所述的方法的进一步特征或实现方式可以执行本发明所述第七方面及其不同实现方式所述的编码器的功能。

本发明的第十方面涉及一种存储程序代码的计算机可读存储介质，所述程序代码包括用于执行所述第三方面和所述第九方面的所述方法的指令。

附图说明

为了更清楚地说明本发明实施例中的技术特征，下面将对实施例描述中所需要使用的附图作简单地介绍。下面描述中的附图仅仅是本发明的一些实施例，这些实施例在不违背本发明如权利要求书中所定义的保护范围的情况下，可以进行修改。

图1是示出了用于从码流中对视频的当前帧的块进行解码的解码器的框图；

图2是示出了用于在码流中对当前帧的块进行编码的编码器的框图；

图3是用于从码流中对视频的当前帧的块进行解码的方法的流程图；

图4是用于从码流中对视频的当前帧的块进行编码的方法的流程图；

图5是用于在码流中对当前帧的块进行编码的另一编码器的框图；

图6是用于从码流中对视频的当前帧的块进行解码的另一解码器的框图；

图7是帧内预测方法的示意图；

图8是帧内预测单元的框图；

图9是参考样本制备单元的框图；

图10是锐化滤波器的框图；

图11是启用参考样本锐化的插值滤波器选择方法的流程图；

图12是预测模式选择方法的流程图；

图13是锐化标志条件解析方法的流程图；

图14是另一种锐化标志条件解析方法的流程图；

图15是PDPC标志条件解析方法的流程图；

图16是一种边界平滑和锐化协调方法的流程图。

具体实施方式

图1示出了用于从码流中对视频的当前帧的块进行解码的解码器100。

所述解码器100包括参考样本选择单元110、滤波单元120和块生成单元130。

所述参考样本选择单元110用于选择所述当前帧的重建部分的参考样本。所述参考样本的选择可以根据传统方案进行。

所述滤波单元120用于滤波所述参考样本，其中所述滤波单元120包括锐化滤波器和/或去振铃滤波器，所述锐化滤波器和/或所述去振铃滤波器用于基于所述码流中的标志进行应用。这些滤波器可以基于所述码流中的信令和/或基于图像属性(例如，基于已经重建的块的图像属性)进行配置。

所述块生成单元130用于基于所述滤波的参考样本生成所述块的预测。

图2示出了在码流中对当前帧的块进行编码的编码器200。

所述编码器包括参考样本选择单元210、滤波单元220、块生成单元230和控制单元240。

所述参考样本选择单元210用于选择所述当前帧的重建部分的参考样本。所述参考样本的选择可以根据传统方案进行。

所述滤波单元220用于滤波所述参考样本，包括锐化滤波器和/或去振铃滤波器。

所述块生成单元230用于基于所述滤波的参考样本生成所述块的预测。

所述控制单元240用于控制是否应用所述锐化滤波器和/或所述去振铃滤波器。

下面将结合图5和图6对所述解码器100和所述编码器200的一种可能的实现方式进行更详细的描述。

图3示出了一种用于从码流中对视频的当前帧的块进行解码的方法300。

所述方法300包括第一步骤：选择310所述当前帧的重建部分的参考样本。

所述方法300包括第二步骤：对所述参考样本进行滤波320。

所述方法包括第三步骤：基于所述滤波的参考样本生成330所述块的预测。

所述方法还包括步骤340：基于所述码流中的标志确定对所述参考样本进行滤波是否包括应用锐化滤波器和/或去振铃滤波器的步骤。

图4示出了一种用于在码流中对视频的当前帧的块进行编码的方法400。

所述方法包括第一步骤：选择410所述当前帧的重建部分的参考样本。

所述方法包括第二步骤：对所述参考样本进行滤波420。

所述方法包括第三步骤：基于所述滤波的参考样本生成430所述块的预测。

所述方法还包括步骤440：确定对所述参考样本进行滤波是否包括应用锐化滤波器和/或去振铃滤波器的步骤。

图5示出了编码器500，其包括用于接收视频流的帧或图像的输入块的输入端和用于生成编码视频码流的输出端。在一种解释性实现中，所述编码器500用于将预测、变换、量化和熵编码应用于所述视频流。所述变换、量化和熵编码分别由变换单元501、量化单元502和熵编码单元503执行，以生成所述编码的视频码流作为输出。

所述视频流可以包括多个帧，其中，将每个帧划分为一定大小的块，所述块是帧内或帧间编码的。例如，所述视频流的第一个帧的块通过帧内预测单元509进行帧内编码。仅使用同一帧内的信息对帧内编码帧进行编码，从而可以对其进行独立解码，并且可以在码流中提供用于随机访问的入口点。所述视频流的其它多个帧的多个块由帧间预测单元510进行帧间编码：来自称作参考帧的编码帧的信息用于减少时间冗余，从而通过参考帧中的块预测出帧间编码帧的每个块。模式选择单元508用于选择是由所述帧内预测单元509还是由所述帧间预测单元510处理帧的块。该块还控制帧内/帧间预测的参数。

所述帧内预测单元509为块预测单元。其包括锐化滤波器和/或去振铃滤波器(图5中未示出)。

为了进行空间或时间预测，所述编码块还可以由逆量化单元504和逆变换单元505进行处理。在对整个帧进行重建后，应用环路滤波单元506，以获得随后存储在帧缓存器507中的参考帧。

所述帧间预测单元510包含待帧间编码的当前帧或图像的块以及来自所述帧缓冲器507的一个或多个参考帧或图像用作输入。运动估计和运动补偿由所述帧间预测单元510应用。所述运动估计用于基于一定的代价函数获得运动矢量和参考帧。然后，所述运动补偿根据参考帧的参考块到所述当前帧的变换来描述所述当前帧的当前块。所述帧间预测单元510 针对当前块输出预测块，其中所述预测块将待编码的当前块与其预测块之间的差值最小化，即最小化残差块。例如，所述残差块的最小化基于速率失真优化过程。

所述帧内预测单元509接收当前帧或待帧内编码的图像的块以及来自当前图像的已重建区域的一个或几个参考样本作为输入。然后，所述帧内预测按照将所述当前帧的参考样本转换为当前编码块的方式描述所述当前帧的当前块。所述帧内预测单元509针对当前块输出预测块，其中所述预测块将待编码的当前块与其预测块之间的差值最小化，即最小化残差块。所述残差块的最小化可以基于例如率失真优化过程。

所述当前块与其预测之间的差值，即所述残差块，然后由所述变换单元501进行变换。所述变换系数由所述量化单元502和所述熵编码单元503进行量化和熵编码。由此生成的编码视频码流包括帧内编码块和帧间编码块。

图6示出了视频解码器600。所述视频解码器600具体包括参考图像缓冲器607和帧内预测单元609，所述帧内预测单元609是块预测单元且包括锐化滤波器和/或去振铃滤波器。所述参考图像缓冲器607用于存储从所述编码视频码流中获得的至少一个参考帧，所述参考帧与所述编码视频码流的当前帧不同。所述帧内预测单元609用于生成预测块，所述预测块为待解码块的估计。所述帧内预测单元609用于基于从所述参考图像缓存607中获得的参考样本生成该预测。所述帧内预测单元609用于使用所述锐化滤波器和/或所述去振铃滤波器对从所述参考图像缓存中获取的参考样本进行锐化和/或去振铃。

所述解码器600用于解码所述视频编码器500生成的编码视频码流，优选地，所述解码器600和所述编码器500均生成相同的预测。所述参考图像缓存器607和所述帧内预测单元609的特征与图5中所述参考图像缓存器507和所述帧内预测单元509的特征类似。

特别地，所述视频解码器600包括也存在于所述视频编码器600中的其它单元，例如逆量化单元604、逆变换单元605、环路滤波单元606和帧内预测单元609，分别对应于所述视频编码器500的所述逆量化单元504、所述逆变换单元505、所述环路滤波单元506和所述帧内预测单元509。

熵解码单元603用于对所述接收到的编码视频码流进行解码，以相应地获得量化的残差变换系数，若存在，则对滤波信息进行锐化。将量化的残差变换系数馈送到所述逆量化单元604和所述逆变换单元605以产生残差块。将所述残差块添加到预测块中，并将该添加反馈至所述环路滤波单元606，以获得所述解码视频。所述解码视频的帧可以存储在所述参考图像缓冲器607中，并作为帧间预测的参考帧。

通常，图5和图6中的所述帧内预测单元509和609可以使用来自已编码区域的参考样本为需要编码或需要解码的块生成预测信号(参见图7)。

图7示出了基于作为已编码区域710的一部分的多个参考样本720对块730所做的帧内预测。如图7中箭头740所示，基于所述多个参考样本预测块730。特别地，多个参考样本可用于预测块730的单个像素。所述参考样本720可以从所述已编码区域中选择，例如，作为所述待预测块周围的参考样本的竖线和水平线。

图8是帧内预测单元800的框图。所述帧内预测单元800可以是根据本发明实施方式的图5和图6的所述帧内预测单元509和609的一种实现方式，包括三个主要块：

1.参考样本制备单元810。在该单元中，参考样本根据选择的预测模式、块大小和样本可用性进行定义和预处理。这些步骤可以由所述参考样本制备单元810 的参考样本制备单元812、平滑滤波器814和锐化滤波器816执行。

2.预测块生成单元820，用于生成所述预测块。在该单元中，参考样本根据选择的预测模式(角、平面或DC)外推到预测块。要生成预测块，参考样本在分数采样位置需要已知。为了得到这些值，使用了插值滤波器。例如，可以是简单的双线性滤波器或更复杂的基于高斯或三次的滤波器，以获得更准确的插值。这些步骤可以由所述预测块生成单元820的双线性插值单元822、三次插值单元824和高斯插值单元826执行。

3.预测后滤波单元830，用于对所述预测块进行后滤波。为了进一步提高预测效率，所述预测块在取得所述残差之前进行附加滤波。例如，可以使用边界内滤波器来平滑预测的相邻块和已编码的相邻块之间的边界差异。多参数帧内预测(Multi-Parameter Intraprediction，简称MPI)和位置相关帧内预测组合 (Position Dependent intraPrediction Combination，简称PDPC)的目的都是模糊不同强度的预测块的不同部分。这些步骤可以由所述预测后滤波单元830的边界平滑单元832、MPI单元834和PDPC单元836执行。

在所述参考样本制备单元810中，通过对参考样本应用锐化(和/或去振铃)滤波器获得未处理的参考样本、平滑的参考样本以及锐化(和/或去振铃)的参考样本。例如，在率失真优化过程中(基于成本或最小预测误差标准)或基于一些先验定义的规则(例如，基于块大小、预测模式等)，所述编码器可以决定应该使用哪种类型的预处理。

图9是参考样本制备单元900的框图。所述参考样本制备单元900包括样本选择单元902、平滑滤波器904和锐化滤波器906。此外，其包括开关908，用于在所述平滑滤波器904、所述锐化滤波器906和旁路连接之间切换，其中，所述滤波器被旁路。

优选地，图9中的所述锐化滤波器906是一种基于非线性扭曲的锐化滤波器。

图10示出了基于非线性扭曲的锐化滤波器1000的示例。所述滤波器1000包括一阶导数单元1002、绝对值单元1004、裁剪单元1006、模糊滤波器1008、二阶导数单元1010、乘法器1012和扭曲单元1014。这些单元1002-1014依次连接。特别地，所述滤波器1000的所述单元1002-1014用于依次执行以下步骤：

1.取一阶导数(derivative，简称dx)得到一行参考样本的梯度。

2.通过计算梯度向量长度得到边缘图。

3.使用阈值对边缘图进行裁剪，以防止处理极高和/或极低的值。

4.例如，通过高斯滤波器对被剪裁的边缘图进行模糊。

5.取二阶导数(second derivative，简称d2x)。

6.通过缩放系数为k的二阶导数向量d2x得到位移向量(wx)。将系数k视为锐化强度，并可自适应地选择以更好地拟合局部图像属性，例如通过率失真优化程序或通过最小化预测误差准则。或者，所述缩放系数可以通过所述码流中的显式信令指示。

7.例如，使用获得的位移向量对双线性插值进行扭曲。

这种基于非线性扭曲的锐化滤波器可以实现两种改进：提高自然边缘的锐度和去除边缘周围的振铃伪影。

传统的基于线性锐化(或去模糊)滤波器的边缘增强技术，如“反锐化掩模”，可以提高主观质量，但通常不能抑制残差量化造成的振铃伪影。在许多情况下，它们甚至会增加振铃，降低客观的性能特性。在许多情况下，非线性滤波器可以为消除振铃提供更好的效果，同时提高边缘的主观和客观质量。

将锐化滤波器(例如，图10中的所述锐化滤波器1000)添加到参考样本处理可以：

·在存在自然边缘的情况下，通过提高帧内预测的质量，减少高频残差的数量；

·降低参考样本量化导致的边缘模糊；

·在预测信号中增加边缘的主观和客观质量，然后再重建图像。

添加特定结构(非线性、基于扭曲、自适应)的锐化滤波器可以：

·减少参考样本变换系数量化造成的振铃伪影，同时增强自然边缘锐化；

·使用有限的信令开销进行空间自适应，这是因为滤波器的简单自适应形式仅具有一个系数用于自适应和传输。

优选地，对于部分内容：序列、图片组、编码图片、任意区域或任意大小的规则编码块(例如，使用HEVC术语的CTU、CU、PU和TU)，适配系数是可变的。为了让解码器知道改变的内插滤波器集，应该将其发送到解码器或在解码器侧导出，而不需要显式信令。

锐化(和/或去振铃)滤波器可以始终开启或关闭。在编码图像的每个特定块(例如H.265/HEVC术语中的CTU、CU、PU和TU)中启用或禁用锐化滤波器的决定可以由编码器选择，例如通过最小化预测误差或成本(率/失真)准则，并在所述码流中用1比特标志进行发送。

所述滤波器1000允许增加自然边缘的主观锐度，并抑制由参考样本的量化引起的边缘附近的振铃伪影。然而，进一步的预测信号生成和后置滤波步骤可能会导致自然边缘再次模糊。为了避免这种情况，可以显式禁止同时运行锐化和模糊工具。这种设计减少了每个特定预测增强工具的信令产生的开销，并通过从处理中消除矛盾的组合来降低编码器的复杂度。

优选地，如果获取预测信号的进一步步骤包含导致模糊的工具(例如，DC和平面预测模式、高斯插值滤波器、双线性插值滤波器、MPI、PDPC和边界预测滤波器)，则从处理和信令中排除带有锐化的这些工具的组合。

锐化和去振铃的效果有时只需要一个滤波器就可以实现。但是，在有些情况下，只需要锐化或去振铃，并且只提供两种目的之一的特殊滤波器。

根据特定配置，锐化滤波器的启用并不总是导致禁用所有可能的模糊工具。有的可能被禁用，有的则可能不被禁用。这种组合可以提高性能。

对帧内预测的后续步骤：预测块生成和预测后滤波，进行进一步的修改。预测块生成采用两个插值滤波器。一种是保留高频三次滤波器，另一种是低通高斯滤波器。

图11是确定使用哪个滤波器的示例性方法的流程图。所述方法从步骤1100开始，并继续确定1102所述块大小是否匹配标准，例如，所述块大小是否对应预定值。如果是，所述方法继续检查1104是否设置了锐化标志，例如从码流中解析的锐化标志。如果所述锐化标志为真，则所述方法进行使用三次插值滤波器的步骤1108。否则，所述方法进入使用高斯插值滤波器的步骤1106。

在图12中，示出了另一示例性实施例。传统上，在预测过程中，所述块生成帧内预测机制会检查现有的预测模式，并基于预测误差或率/失真(成本)准则的最小值选择最佳预测模式。所述预测模式可以包括平面模式、DC模式和角度模式。

在图12的优选在编码过程中应用的方法中，如果在参考样本制备步骤中选择锐化模式，则从所述搜索中排除DC模式和平面模式。相应地，锐化模式和DC或平面预测模式的组合不必发送给所述解码器。

详细地，所述方法从步骤1200开始，然后针对每个预测模式1202，在步骤1204 中确定预测模式是DC还是平面模式。如果是，所述方法在步骤1206中确定是否设置锐化标志。如果设置了所述锐化标志，则所述方法进入步骤1202执行下一预测模式。如果未设置所述锐化标志，则所述方法继续步骤1208计算预测失真/率。在步骤1210中，保存最佳预测模式。

当所有预测模式均已被评估时，图12的方法结束于步骤1212。

图13是解码过程中相应应用的方法的流程图。所述方法从步骤1300开始，并进入步骤1302解析帧内预测模式。随后，在步骤1304中，所述方法确定预测模式是DC还是平面模式。如果是，则所述方法结束于步骤1308，否则在步骤1306中解析所述锐化标志，例如从所述码流中解析所述锐化标志。

在帧内预测的最后一步上，预测后滤波也可以是与参考样本锐化相矛盾的工具。例如，如果选择了对参考样本锐化，则根据本发明的位置相关帧内预测组合(positiondependent intra prediction combination，简称PDPC)也应排除在处理之外。这样可以用来优化信令。

根据信令顺序，当首先写入所述PDPC标志时，所述解码器解析如图14所示的标志。若先写入所述锐化标志，则根据图15进行所述解析过程。另一种预测后滤波工具—多参数帧内(multi parameter intra，简称MPI)预测也可以通过与PDPC相同的锐化工具进行协调。

更详细地，图14是解码过程中应用的方法的流程图。在初始化1400之后，所述方法继续解析1402所述PDPC标志。在步骤1404中，确定是否设置了所述PDPC标志。如果设置了，则所述方法结束于步骤1408。否则，所述方法进入步骤1406解析所述锐化标志。

图15是解码过程中相应应用的另一种方法的流程图。所述方法从步骤1500开始，并继续解析1502锐化标志。如果在步骤1504中确定未设置所述锐化标志，则在进一步的步骤1506中的方法解析所述PDPC标志。所述方法结束于最后一个步骤1508。

图16是参考样本锐化和边界平滑滤波器的联合工作的另一示例性实施例的流程图。初始化1600后，所述方法在步骤1602中确定边界平滑条件是否已开启。如果没有，则所述方法结束于最后一个步骤1608。否则，所述方法在步骤1604中确定是否设置了锐化标志。仅当未设置所述锐化标志时，所述方法进入步骤1606执行边界平滑。

上文描述仅仅为本发明的实施方式，本发明的范围并不仅限于此。本领域技术人员可很容易地进行任意的修改或替代。因此，本发明的保护范围应从属于所附权力要求的保护范围。

Claims (15)

1.一种用于从码流中对视频的当前帧的块进行解码的解码器（100），其特征在于，所述解码器包括：

参考样本选择单元（110），用于选择所述当前帧的重建部分的参考样本；

滤波单元（120），用于对所述参考样本进行滤波；

块生成单元（130），用于基于所述滤波后的参考样本生成所述当前帧的块的预测，

其中，所述滤波单元包括锐化滤波器和去振铃滤波器，所述锐化滤波器和所述去振铃滤波器用于基于所述码流中的标志进行应用，其中：

当所述码流中的标志用于指示锐化滤波器，所述滤波单元（120）用于应用锐化滤波器对所述参考样本进行滤波；或者，

当所述码流中的标志用于指示去振铃滤波器，所述滤波单元（120）用于应用去振铃滤波器对所述参考样本进行滤波。

2.根据权利要求1所述的解码器（100），其特征在于，

所述滤波单元还包括平滑滤波器。

3.根据权利要求2所述的解码器（100），其特征在于，所述解码器用于：

-确定平滑滤波条件；

-从所述码流中解析锐化标志；

-如果所述平滑滤波条件为真且所述锐化标志为假，则应用所述平滑滤波器。

4.根据权利要求2所述的解码器（100），其特征在于，所述解码器用于：

-从所述码流中解析锐化标志；

-如果锐化标志为假，则从码流中解析平滑标志，

和/或，所述解码器用于：

-从所述码流中解析平滑标志；

-如果平滑标志为假，则从码流中解析锐化标志。

5.根据权利要求1至4中任一项所述的解码器（100），其特征在于，所述块生成单元（130）包括多个预测模式，所述多个预测模式包括DC模式、平面模式和/或一个或多个角度模式，所述解码器还用于：

-从所述码流中解析预测模式；

-如果所述解析的预测模式既不是所述DC模式也不是所述平面模式，则从码流中解析锐化标志。

6.根据权利要求1至4中任一项所述的解码器（100），其特征在于，所述块生成单元（130）包括具有不同频率响应特性的多个插值滤波器，所述多个插值滤波器用于获得分数像素位置中的样本值，所述解码器还用于：

-从所述码流中解析锐化标志；

-如果所述锐化标志为真，则从所述多个插值滤波器中应用通过最大高频量的插值滤波器。

7.根据权利要求2至4中任一项所述的解码器（100），其特征在于，所述平滑滤波器包括：

-块预测方法的DC模式和/或平面模式；

-边界平滑滤波器；

- 位置相关的帧内预测组合，和/或

-多参数帧内预测。

8.根据权利要求7所述的解码器（100），其特征在于，所述平滑滤波器为高斯滤波器，所述块生成单元（130）用于如果使用所述锐化滤波器，则使用三次滤波器代替所述高斯滤波器。

9.一种用于在码流中对视频的当前帧的块进行编码的编码器（200），其特征在于，所述编码器包括：

参考样本选择单元（210），用于选择所述当前帧的重建部分的参考样本；

滤波单元（220），用于滤波所述参考样本，其中，所述滤波单元包括锐化滤波器和去振铃滤波器；

块生成单元（230），用于基于所述滤波后的参考样本生成所述当前帧的块的预测；

控制单元（240），用于控制是否应用所述锐化滤波器和所述去振铃滤波器，并向所述码流写入标志；

其中：

所述滤波单元（220）用于应用锐化滤波器对所述参考样本进行滤波，其中所述码流中的标志用于指示锐化滤波器；或者，所述滤波单元（220）用于应用去振铃滤波器对所述参考样本进行滤波，其中所述码流中的标志用于指示去振铃滤波器。

10.根据权利要求9所述的编码器（200），其特征在于，所述滤波单元还包括平滑滤波器。

11.根据权利要求9和10中任一项所述的编码器（200），其特征在于，所述编码器用于：

-向所述码流写入锐化标志；

- 如果所述锐化标志为假，则向所述码流写入平滑标志，

和/或，所述编码器用于：

-向所述码流写入平滑标志；

-如果所述平滑标志为假，则向所述码流写入锐化标志。

12.根据权利要求9至10中任一项所述的编码器（200），其特征在于，所述块生成单元（230）包括多个预测模式，所述多个预测模式包括DC模式、平面模式和/或一个或多个角度模式，所述编码器还用于：

-确定预测模式；

-如果所述确定的预测模式既不是所述DC模式也不是所述平面模式，则从所述码流写入锐化标志。

13.一种用于从码流中对视频的当前帧的块进行解码的方法（300），其特征在于，所述方法包括：

选择（310）所述当前帧的重建部分的参考样本；

对所述参考样本进行滤波（320）；

基于所述滤波后的参考样本生成（330）所述当前帧的块的预测，

其中，所述方法还包括基于所述码流中的标志确定对所述参考样本进行滤波是否包括应用锐化滤波器和去振铃滤波器的步骤，其中：

所述对所述参考样本进行滤波（320）包括：当所述码流中的标志用于指示锐化滤波器，应用锐化滤波器对所述参考样本进行滤波；或者，当所述码流中的标志用于指示去振铃滤波器，应用去振铃滤波器对所述参考样本进行滤波。

14.一种用于在码流中对视频的当前帧的块进行编码的方法（400），其特征在于，所述方法包括：

选择（410）所述当前帧的重建部分的参考样本；

对所述参考样本进行滤波（420）；

基于所述滤波后的参考样本生成（430）所述当前帧的块的预测，

其中，所述方法还包括确定对所述参考样本进行滤波是否包括应用锐化滤波器和去振铃滤波器的步骤，并向所述码流写入标志；

其中所述对所述参考样本进行滤波（420）包括：

应用锐化滤波器对所述参考样本进行滤波，其中所述码流中的标志用于指示锐化滤波器；或者，

应用去振铃滤波器对所述参考样本进行滤波，其中所述码流中的标志用于指示去振铃滤波器。

15.一种存储有程序代码的计算机可读存储介质，其特征在于，所述程序代码包括指令，所述指令在由处理器执行时用于执行根据权利要求13和14中任一项所述的方法。

Images