CN101040532B

CN101040532B - 去块滤波器

Info

Publication number: CN101040532B
Application number: CN200580035101.1A
Authority: CN
Inventors: 吉斯勒·比约特加德
Original assignee: Tandberg Telecom AS
Current assignee: Tandberg Telecom AS
Priority date: 2004-10-13
Filing date: 2005-10-06
Publication date: 2010-06-23
Anticipated expiration: 2025-10-06
Also published as: US20120093236A1; US8644394B2; US8165223B2; NO20051721D0; CN101040532A; US20110122955A1; NO20051721L; WO2006041305A1; EP1805994A1; EP1805994A4; NO322722B1; US20060078048A1; US7903744B2; US7283588B2; US20080025632A1; EP1805994B1

Abstract

本发明公开一种通过对跨第一和第二块的边界和/或边界扩展的像素行执行测试并如果测试表明存在块效应则对边界相邻像素执行去块滤波操作从而降低块状编码视频画面中该第一和第二块之间块效应的视频解码方法。

Description

去块滤波器

技术领域

本发明涉及块状编码视频图像的解码。

背景技术

在例如视频会议、网络会议、电视广播和视频电话之类的许多应用中采用运动图像的实时传输。

然而，由于数字视频通常通过用8位(1个字节)表示图像中的每个像素来描述，因此表示运动图像需要大量信息。这种未压缩视频数据导致大容量的位总量，并且由于带宽的限制不能通过常规通信网络和传输线路实时传输。

由此，要实现实时视频传送，需要很大程度上的数据压缩。然而，数据压缩是与图像质量是相矛盾的。因此，已经进行很多努力来开发压缩技术，以通过带宽受限制的数据连接来实时传输高质量的视频。

在视频压缩系统中，主要目标就是用尽可能少的容量表示视频信息。按位定义容量，或是常数值或者是位数/时间单位。在这两种情况下，主要目标都是减少位的数目。

最常见的视频编码方法在MPEG^*和H.26^*标准中描述。所述视频数据在传送之前经历四个主要处理，也就是预测、转换、量化和熵编码。

所述预测处理显著减少了待传输的视频序列中每个图像所需的位量。它利用了序列各部分与序列的其他部分的相似性。因为预测器部件对编码器和解码器都是已知的，因此只需要传输差异。一般只需要少得多的容量用于表示这些差异。所述预测主要基于表示运动的向量。所述预测处理通常对正方块大小(例如，16×16像素)执行。注意，在某些情况下，采用基于相同图像中相邻像素的像素预测，而不是基于前一图像像素的像素预测。这将称为内预测(intra prediction)，与互预测(inter prediction)相对。因此，当借助于内预测编码块中的像素时，该块被称为内编码的块。

表示为数据块(例如4×4像素)的剩余(residual)仍然包含内部关联。利用该剩余的已知方法是执行二维的块转换。在H.263中，采用8×8离散余弦变换(DCT)，其中H.264使用4×4整数型转换。该转换将4×4像素转变成4×4转换系数，并且它们较之像素表示通常可用更少的位来表示。具有内部关联的4×4像素阵列的转换将可能产生转换系数的4×4块，该4×4块比起原来的4×4像素块具有更少的非零值。

转换系数的直接表示对于许多应用来说仍然是成本巨大的。为了进一步减少数据表示而执行量化处理。因此转换系数要经历量化。量化的简单方式是将参数值除以一个数，产生可以用更少的位表示的更小的数。应该注意，对于这种量化处理产生的结果，经过重构的视频序列与未压缩序列是有差别的。这种现象被称为“有损编码”。量化部分的输出被称为量化转换系数。

熵编码是指诸如辅助数据或系统描述、预测数据(通常是运动矢量)和来自量化处理的量化转换系数之类的不同类型参数的无损表示。后者通常表示最大的位消耗。

对视频图像的块状部分执行编码。宏块由多个子块组成用于表示亮度(luma)和色度(chroma)。

当前视频标准H.261、H.262、H.263、H.264/AVC、MPEG1、MPEG2、MPEG4都采用基于块的编码。这表示来自前面编码并解码图像的基于块的预测以及剩余信号的基于块的编码。

基于块的编码/解码经证明是非常高效的。然而，一个缺点在于重构图像有对应于用于预测的块和剩余信号编码的可察觉块效应。这种现象通常被称为块化或块效应(blocking artifact)。

在现有技术中一种降低块效应的已知方法是在接收器的解码器和显示部件之间增加后处理滤波器。它的示例如图1所示。所述滤波操作正好发生在画面的呈现之前。因此它是与编码器工作无关的单纯解码器/显示器的问题。在其他解决方案中，如图2所示，所述滤波器集成在编码循环中。这是一种更强大的方法，并且在ITU-T REC.H.264|ISO/IEC 14496-10AVC规范中是优选的方法，即便该方法表示编码器和解码器需要执行相同的操作以避免重构图像中的偏移。然而，因为这种集成的解决方案需要对于需要用于待平滑的跨块边缘的每个像素行的测试过程，因此该集成方案是相当耗费处理器的。

发明内容

本发明公开了一种视频解码方法，用于降低在块状编码视频图像中的第一和第二块之间的块效应，这通过下述来实现：执行相邻块的第一测试以及跨第一和第二块之间的边界和/或边界扩展的像素行的第二测试，并且如果第一测试指出了块效应则对边界相邻像素执行去块滤波操作；以及只对像素行的子集S执行第二测试，并如果第二测试表明存在块效应，则对跨该边界的每个像素行中所述边界相邻像素执行去块滤波操作。该方法进一步包括只对所述像素行的子集执行第二测试的步骤，该步骤包括对所述像素行的子集S测试如下的关系：

\underset{i = &Element; S}{Σ} (| a_{i} - {2 b}_{i} + c_{i} | + | d_{i} - {2 e}_{i} + f_{i} |) < β^{'} (QP)

其中如下记号是有效的：

其中a是该边界和/或边界扩展左侧第三最接近的像素。b是边界和/或边界扩展左侧的第二最接近的像素。c是在边界和/或边界扩展左侧最接近的像素。d是边界和/或边界扩展右侧最接近的像素。e是边界和/或边界扩展右侧第二最接近的象素以及f是边界和/或边界扩展右侧第三最接近的像素，i是子集S中行的行数，以及β′(QP)是根据视频编码的第一量化参数QP在第一查找表中找到的阈值，

如果上述关系为真，则跨该边界的每个像素行上相邻像素执行如下重新计算操作：

Δ＝(a-b-2c+2d+e-f)/4

将Δ剪取为值范围(-γ，γ)内，其中γ是根据所述第一量化参数和边界的强度值在第二查找表中找到的第二量化参数，

b′＝b+Δ/2

c′＝c+Δ

d′＝d-Δ

e′＝e-Δ/2

其中b′、c′、d′、e′是对应原始像素值的重新计算值。

根据本发明的第二个实施例采用跨两个宏块之间边界的像素行的判定测试，因此给出一种视频解码方法，用于降低块状编码视频画面中第一和第二块之间的块效应，这通过下述来实现：执行跨第一和第二块的边界和/或边界扩展的像素行的第一测试，并如果该第一测试指出了块效应则对边界相邻像素执行去块滤波操作；以及对一个特定像素行执行第二测试，并如果第二测试指出了块效应，则对跨该边界的每个像素行中的边界相邻像素执行去块滤波操作。该方法进一步包括对所述特定像素行执行测试的步骤，所述步骤包括对所述特定像素行测试如下关系：

(|a-2b+c|+|d-2e+f|)＜β(QP)

其中如下记号是有效的：

其中a是边界和/或边界扩展左侧的第三最接近的像素。b是边界和/或边界扩展左侧的第二最接近的像素。c是边界和/或边界扩展左侧的最接近的像素。d是边界和/或边界扩展右侧的最接近的像素。e是边界和/或边界扩展右侧的第二最接近的象素以及f是边界和/或边界扩展右侧的第三最接近的像素，以及β(QP)是根据视频编码的第一量化参数QP在第一查找表中找到的阈值。

如果上述关系为真，则对跨该边界的每个像素行上相邻像素执行如下重新计算操作：

Δ＝(a-b-2c+2d+e-f)/4

将Δ剪取在值范围(-γ，γ)中，其中γ是根据所述第一量化参数和边界的强度值在第二查找表中找到的第二量化参数，

b′＝b+Δ/2

c′＝c+Δ

d′＝d-Δ

e′＝e-Δ/2

其中b′、c′、d′、e′是对应原始像素值的重新计算值。

附图说明

为了使本发明更易于理解，下面的讨论将参考相应附图和表格。

图1是表示具有后处理去块滤波器的解码器的方框示意图，

图2是表示具有集成去块滤波器的解码器的方框示意图，

图3是表示根据H.264/AVC规范用于阈值的查找表，

图4是表示根据H.264/AVC规范的用于剪切值的查找表。

具体实施方式

本发明是用于去除块化和量化噪声的现有技术方法的改进。如已经提及的，该方法在ITU-T Rec.H.264|ISO/IEC 14496-10AVC规范中已经描述，它的基本原理在下面描述。

在H.264/AVC中，自适应去块滤波器应用在编码循环中。这表示对滤波后的图像执行进一步的预测。所述滤波器被设计成尽可能地去除块化和量化噪声并仍然保持尽可能多的内容。对个别的量化噪声和画面内容常常遇到困难。这就是为什么滤波器是高度内容自适应的并因此关于计算操作是复杂的原因。

在表格中给出了两个画面块之间的边缘。字母c和d标示位于该边缘每侧的两个相邻像素，并且其它字母标示紧邻两个前述像素的6个水平像素。根据H.264/AVC，像素b、c、d、e可以基于每个像素的值和该边缘本身的特性而修改。该修改用于补偿上述的块效应。因此仅当可能发生块效应时才执行上述修改。

对所有的行a、b、c、d、e、f都执行类似的滤波操作。在下面的说明中，在无需编号0～7的情况下使用各字母。

根据H.264，对边缘定义强度值(Str)。该强度值反映块效应是否可能在两个块之间发生并根据一个或多个以下情况而被检测：

a)如果在边界每侧的任意两个块是内编码的，即，根据当前画面中已编码的块来编码。

b)如果边界每侧的任意两个块包括非零转换系数。

c)如果用于预测边界每侧的块的运动向量的大小超过特定阈值。

此外，将量化参数(QP)分配给每个4×4块。表示边缘的QP是表示2个块的QP的最大值。

使用多个取决于阈值参数的QP：

α(QP)

β(QP)

γ(QP，Str)

α、B和γ是在图3所示的查找表中找到的。表格1是用于确定α、β的查找表而表格2是用于确定作为剪切值的γ的查找表。这里，索引A和索引B用于标示QP，以及bS＝1，2，3分别对应于上面列出的判据c，b，a。因此，确定判据a，b，c也陈述了边界特性。

根据这些值，执行主要测试以确定是否执行去块滤波。

只有当满足如下条件时才执行滤波：

|c-d|＜α(QP)以及|b-c|＜β(QP)以及|d-e|＜β(QP)

如果上述陈述为真，则计算差值(delta)：

Δ＝(b-4c+4d-e)/8

然后将该差值剪切在范围(-γ，γ)中。作为剪切的示例，如果量化值是32以及边界特性符合判据b，其对应bS＝2，表格指出γ是2。这表示应当将差值剪切在区间(-1，2)。即，当差值大于2时，将差值指定为值2，当差值小于-2时，将差值指定为值-2，并当差值位于(-1，2)时，差值保持不变。

然后，差值用于计算修改值：

c′＝c+Δ

d′＝d-Δ

执行其他测试以决定是否也校正b：

|a-c|＜β(QP)

如果上式为真，则计算值δ：

δ＝(2a-4b+c+d)/2

该值然后被进一步剪切在范围(-γ’，γ’)中，其中γ’是γ的微小改变。然后根据δ计算b的修改：

b’＝b+δ

所述测试和计算类似地用于e：

|c-f|＜β(QP)

如果上式为真，则计算另一个值δ：

δ＝(2f-4e+c+d)/2

然后将该值进一步剪切在范围(-γ’，γ’)中。然后根据δ计算e的修改：

e′＝e+δ

本发明是基于上述标准化方法的，但是本说明公开简化的方法，在不太损害去块操作质量的情况下降低了复杂性。

现在将通过说明性示例描述本发明的两个实施例。

与现有技术的主要差别在于，用于对跨两个宏块之间边界的一个行或行的子集执行滤波/不执行滤波的判定测试应用于跨相同边界的所有行。如果在这种判定测试中涉及一个以上的“判定行”，如本说明接下来的内容，当考虑上面的判据a)、b)、c)时，需要考虑的不只两个块，而是四个块。“判定行”将跨两个不同的边界，并因此涉及四个块。

作为本发明的第一个实施例，表1中的第二个行被选为跨边界四个行1-4的“判定行”。

表1示出两个块之间的边界和跨边界的相邻像素的行

然后，如果满足如下条件，执行对所有四个边缘行的滤波：

d＝(|a₂-2b₂+c₂|+|d₂-2e₂+f₂|＜β(QP)

否则不执行滤波。

与现有技术不同，对一个行的测试应用于跨该块边界的所有行。因此，值β不必按这里前面所描述β的相同方式来确定。例如，除了图3和4所描述的之外的查找表也能用于确定β。

在本发明的第二个实施例中，表格的第三个和第六个行组合用作跨边界所有八个行1-8的“判定行”。

然后，如果满足如下条件执行所有8个行的滤波：

d′＝(|a₃-2b₃+c₃|+|d₃-2e₃+f₃|+|a₆-2b₆+c₆|+|d₆-2e₆+f₆|)＜β′(QP)

否则不执行滤波。β′也可按与现有技术不同的方式确定。与第一个实施例的β的一般关系是β′＝2β。

而且，如果上面对“判定行”的测试为真，对每行单独执行计算以获得差值和相应的校正的像素值。使用与现有技术描述中相同的记号，这可以表示为如下公式：

Δ＝(a-b-2c+2d+e-f)/4

或者作为替换，为了将计算修改为可适用于视频会议的信号编解码器中当前普遍使用的处理器的状态，上面的表达式可以转换为如下形式：

Δ = \frac{d + \frac{a + e}{2}}{2} - \frac{c + \frac{b + f}{2}}{2}

将该差值剪切在范围(-γ，γ)中：

b′＝b+Δ/2

c′＝c+Δ

d′＝d-Δ

e′＝e-Δ/2

模拟比较现有技术的H.264滤波器和根据本发明的滤波器，表明本发明对计算资源的需求降低了大约50％，实际上具有相同的图像质量。

这里的描述涉及水平方向的分块块效应的滤波，即，滤波垂直块边界两侧的像素。然而，本发明也可以应用于垂直方向的分块块效应。这表示表中像素记号的90度旋转。

Claims

1.一种视频解码方法，用于降低在块状编码视频画面中的第一和第二块之间的块效应，该方法包括：

执行相邻块的第一测试和跨所述第一和第二块之间的边界和/或边界扩展的像素行的第二测试，并且如果该第二测试指出了块效应，则对边界相邻像素执行去块滤波操作；以及

只对所述像素行的子集S执行所述第二测试，并且如果该第二测试指出了块效应，则对跨该边界的每个像素行中的边界相邻像素执行去块滤波操作，

所述方法的特征在于：

所述的只对所述像素行的子集S执行所述第二测试包括对所述像素行的子集S测试下面的关系：

\underset{i &Element; S}{Σ} (| a_{i} - 2 b_{i} + c_{i} | + | d_{i} - 2 e_{i} + f_{i} |) < β^{'} (QP)

其中a是该边界和/或边界扩展左侧的第三最接近的像素，b是该边界和/或边界扩展左侧的第二最接近的像素，c是该边界和/或边界扩展左侧的最接近的像素，d是该边界和/或边界扩展右侧的最接近的像素，e是该边界和/或边界扩展右侧的第二最接近的象素以及f是该边界和/或边界扩展右侧的第三最接近的像素，i是该像素行的子集S中像素行的行数，以及β′(QP)是依据视频编码的第一量化参数QP的阈值，

如果上述关系为真，则对跨该边界的每个像素行上的相邻像素执行以下重新计算操作：

Δ＝(a-b-2c+2d+e-f)/4

在值范围(-γ，γ)内中剪切Δ，其中γ是根据所述第一量化参数和该边界的强度值在第二查找表中找到的第二量化参数，

b′＝b+Δ/2

c′＝c+Δ

d′＝d-Δ

e′＝e-Δ/2

其中b′、c′、d′、e′是对应原始像素值的重新计算值。

2.一种视频解码方法，用于降低块状编码视频画面中第一和第二块之间的块效应，该方法包括：

执行跨所述第一和第二块之间的边界和/或边界扩展的像素行的第一测试，并且如果该第一测试指出了块效应，则对边界相邻像素执行去块滤波操作；以及

对一个特定像素行执行第二测试，并如果该第二测试指出了块效应，则对跨该边界的每个像素行中的所述边界相邻像素执行去块滤波操作，

所述方法的特征在于对所述特定像素行执行第二测试包括对所述特定像素行测试如下关系：

(|a-2b+c|+|d-2e+f|)＜β(QP)

其中a是该边界和/或边界扩展左侧的第三最接近的像素，b是该边界和/或边界扩展左侧的第二最接近的像素，c是该边界和/或边界扩展左侧的最接近的像素，d是该边界和/或边界扩展右侧的最接近的像素，e是该边界和/或边界扩展右侧的第二最接近的象素以及f是该边界和/或边界扩展右侧的第三最接近的像素，以及β(QP)是根据视频编码的第一量化参数QP在第一查找表中找到的阈值，

如果所述关系为真，则对跨该边界的每个像素行上相邻像素执行以下重新计算操作：

Δ＝(a-b-2c+2d+e-f)/4

在值范围(-γ，γ)内剪切Δ，其中γ是根据所述第一量化参数和该边界的强度值在第二查询表中找到的第二量化参数，

b′＝b+Δ/2

c′＝c+Δ

d′＝d-Δ

e′＝e-Δ/2

其中b′、c′、d′、e′是对应原始像素值的重新计算值。