CN105578181B - 一种hevc中屏幕内容压缩的快速帧内模式决策和块匹配方法 - Google Patents

Abstract

本发明公开了一种HEVC中屏幕内容压缩的快速帧内模式决策和块匹配方法，属于视频编解码领域。本发明方法包括：在帧内模式决策时，估计当前帧的背景区域，计算当前帧和前一编码帧中相同位置编码单元的绝对误差和，判断绝对误差和与阈值的关系，比较当前背景帧中编码单元和前一帧中编码单元深度大小，在计算时，每十帧切断一次，满足判断条件，帧内模式决策将提前跳跃；在进行块匹配时，当绝对误差和不想理，大于一定值的时候，调整相应的搜索步长，即当绝对误差和足够大时，搜索步长可设置比较大的值，从而跳过一些不必要的搜索。该方法减小了编码器的复杂度，提高了帧内块复制时候的块估计，在高文本区域中相当有用。

Description

一种HEVC中屏幕内容压缩的快速帧内模式决策和块匹配方法

技术领域

本发明涉及视频编解码技术领域，特别涉及一种屏幕内容压缩方法，具体涉及一种HEVC中屏幕内容压缩的快速帧内模式决策和块匹配方法。

背景技术

继H.264之/AVC之后，2013年1月，高效率视频编码HEVC(High Efficiency VideoCoding)正式成为新一代视频编码标准。HEVC的目标是相对于H.264/AVC的高档次编码效率提高一倍，即在保证相同视频质量的前提下，降低50％的编码比特率。为了达到这个目标，HEVC编码标准引入了一系列的新型编码工具，但同时HEVC编码的计算复杂度也大幅度提升。

HEVC面向的应用主要有数字存储媒体、实时会话服务、电视广播，交互式存储媒体、远程视频监控、网络媒体服务等。而屏幕内容压缩(Screen content coding)是HEVC应用的一种新的扩展。屏幕内容编码技术广泛应用在很多领域，比如无线显示、共享屏幕，虚拟桌面、远程教育、视频会议、远程桌面等。

屏幕内容视频经常由自然视频、文本、图形图像混合而成，由于包含内容多且日益多样化，同时由于图像分辨率越来越高，在传输的过程中，必然会消耗很大的网络带宽。为了节省带宽提高通信质量，必须对屏幕内容视频进行有效压缩。

与自然视频不同的是，屏幕视频内容含有静态尖锐的边缘、独特的颜色等等。因此基于屏幕内容编码的HEVC标准中引入了帧内块复制(Intra-BC)、颜色模板(PLT)模式、自适应运动矢量分辨率、颜色转换等，以此借助相关的屏幕内容来消除图像的冗余。在上面方法中，帧内块复制(Intra-BC)和颜色模板(PLT)模式可以明显的提升编码性能，与此同时也有很高的计算复杂度。

帧内块复制(Intra-BC)是一种块匹配技术，该技术可以使帧间相似的块估计和补偿技术使用固定块尺寸，从而获得更好的编码效率。帧内块复制用搜索当前帧的重建区域替代以往搜索先前重建的帧，并且把块矢量和补偿残差带给解码器。

颜色模板(PLT)模式是另一种引人注目的屏幕内容编码技术。它运用色彩映射的方式，以颜色派生表或者颜色板中很少的值在屏幕内容上展示像素。具有高动态范围的块在一定的动态范围内被转换成映射参数，从而更容易压缩。

由于屏幕内容编码采用了上面的新技术，同时也增加了编码器的计算复杂度。

发明内容

针对上述现有技术的缺陷，本发明的目的是提供一种新颖的快速帧内模式决策和块匹配方法，该方法在进行背景检测时跳过一些不必要的计算，从而减小了编码器的复杂度；同时，通过自适应的调整块匹配时搜索步长的大小，提高帧内块复制时候的块估计。

为了实现上述发明目的，本发明采用的技术方案如下：

一种HEVC中屏幕内容压缩的快速帧内模式决策和块匹配方法，其中，所述快速帧内模式决策包括如下步骤：

(1)估计当前帧的背景区域；

(2)计算当前帧中编码单元和前一编码帧中相同位置编码单元的绝对误差和SAD；

(3)定义一个阈值TH，判断绝对误差和SAD与阈值TH的关系，若SAD<TH，则当前的编码单元为背景；若SAD>＝TH，则当前的编码单元为前景；

(4)如果当前编码单元被估计为背景，即静止的，为了加快模式决策过程，接下来比较当前编码单元的深度D_c与前一编码帧中相同位置编码单元的深度D_p；

(5)使用IsBkg(d)来表示深度为d的编码单元是否为静止，如果同时满足如下所有条件，除颜色模板模式之外，帧内模式决策将提前跳跃，条件如下：

a)帧的数量不能被10整除；

b)相同位置的编码单元被选为帧内模式或者帧内块复制模式的最优模式；

c)当前编码单元被判断为静止的且前一编码帧中相同位置编码单元的深度比较大，即IsBkg(D_c)＝true且D_p＞D_c；或者前一编码帧中相同位置编码单元深度比较小，D_p＜D_c且IsBkg(D_p)＝true；

所述块匹配方法包括如下步骤：

(6)在二维搜索算法中，搜索位置x＝x+dx；此处x表示水平搜索位置，dx表示原始搜索步长，dx被设为1或2；

(7)在进行每一次搜索后，比较绝对误差和SAD的值和预设阈值TH来决定是否提前终止搜索过程；

(8)如果SAD>αSAD₀，相应地调整步长dx的大小；其中，SAD₀表示绝对误差和SAD序列中的第M个最小值，α为当前编码单元中的像素数。

本发明与现有技术相比，具有以下技术效果：本发明的方法实现了帧内模式决策过程的时间加速，采用了一个快速步长大小调整策略提升了帧内块复制时的块匹配速度。与现有的参考软件SCM3.0中算法相比，本发明的方法性能大幅度提升。对于无损压缩，减少了35％的编码时间，比特率仅增加0.2％；对于有损压缩，减少了39％的编码时间，比特率仅增加0.7％。本发明提升了编码速度，降低了编码时间，加快了帧内块匹配速度，能够获得较好的编码效率。这项技术在高文本区域中相当有用。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性的劳动前提下，还可以根据这些附图获得其他的附图。

图1为本发明快速帧内决策模式流程图；

图2为本发明编码单元CU深度划分示意图。

具体实施方式

下面结合实例对本发明作进一步的详细说明，有必要指出的是，以下的实例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。

在HEVC编码标准中，如图2所示，采用四叉树递归分块的形式划分编码单元，递归分块划分可以有效的针对不同的图像特征，如针对平滑区域，可以使用大分块，如64x64；针对细节区域，可以使用精细分块，如8x8。编码单元CU的每一次划分，都对应相应的深度，编码单元CU的深度预测被广泛的应用在帧内或者帧间模式决策中。比如，当前编码单元CU的深度与空间深度和相邻的编码单元深度有关系，可以利用这一点来做编码单元CU深度预测。即当CU的范围超出了预测范围以后，不对范围以外CU进行检测，这样在计算时，就可以降低编码复杂度。同时，两个相邻的编码单元CU是非常相似的，如在背景区域中，相邻的编码单元CU的深度非常接近。简单来讲，从结构上图像可以分为前景区域和背景区域，通常背景区域是静止的，没有移动的，运动矢量为0。在典型的屏幕内容编码应用序列中，很多是由背景区域构成，故本发明在基于背景检测的基础上提出了一种屏幕内容压缩的快速帧内模式决策方法，然后在此基础上提出了块匹配方法。从这两个方面提升帧内预测性能，首先，借助编码单元中的时间相关信息，发明出一种快速编码单元预测机制；其次，在块匹配帧内块复制时，运用自适应搜索步长进行加速处理，减少时间消耗。

一、快速帧内模式决策具体步骤如下：

步骤1：根据现有的研究工作，估计当前编码帧的背景区域；

步骤2：计算当前帧中编码单元CU和前一编码帧中相同位置编码单元CU的绝对误差和SAD，计算公式为

式中，i、j为像素在分块中的坐标位置，P_c为当前编码单元CU在(i,j)位置上的像素值，P_p为前一编码帧中相同位置编码单元CU在(i,j)位置上的像素值，|.|表示绝对值；

步骤3：定义一个阈值TH，阈值TH计算公式为：

TH＝γ*α

其中α为当前CU中像素数，γ为计算因子，建议设为2。

步骤4：判断绝对误差和SAD与阈值TH的关系，若SAD<TH，当前的编码单元CU为背景区域；若SAD>＝TH，当前的编码单元CU为前景区域；由此，得到编码帧的背景区域。

步骤5：如果当前计算的编码单元CU被估计为背景区域(静止区域)，那么这部分区域可以使用新的算法计算编码。由于编码单元深度的话划分与其相邻的深度块有关，接下来比较当前编码单元CU的深度(D_c)与前一编码帧中相同位置编码单元CU的深度(D_p)；同时使用IsBkg(d)来表示深度为d的编码单元CU是否为静止的。为了避免误差的累积，连续计算时每十帧切断一次；当前深度帧内模式决策过程满足以下条件时，可以提前跳跃(PLT模式除外)：

(1)帧的数量不能被10整除，即Num％10≠0；

(2)相同位置的编码单元CU被选为帧内模式或者帧内块复制模式的最优模式；

(3)当前编码单元CU被判断为静止的且相同位置编码单元CU深度比较大，即IsBkg(D_c)＝true且D_p＞D_c；或者前一编码帧中相同位置编码单元CU深度比较小，即D_p＜D_c且IsBkg(D_p)＝true。

二、块匹配方法具体步骤如下：

在现有的二维搜索算法中，水平搜索位置x＝x+dx，此处x表示搜索位置，dx表示初始搜索步长，dx初始值为1或2。在进行每一次搜索后，如果中间搜索结果足够好，则比较绝对误差值SAD和预设阈值来决定是否提前终止搜索过程。我们的算法中，当绝对误差值SAD不理想时，如果SAD>αSAD₀，相应的调整步长dx的大小；SAD₀表示SAD序列中的第M个最小值；如果SAD>αSAD₀，根据α的值动态调整dx的大小，调整后为dx′，

当dx＝1时：

(1)若SAD＞2SAD₀，dx′＝2，(2)若SAD＞4SAD₀，dx′＝4；

当dx＝2时：

(1)若SAD＞2SAD₀，dx′＝4，(2)若SAD＞4SAD₀，dx′＝6。

下面结合实例对本发明方法做进一步说明：

为了评估屏幕内容编码快速帧内决策方法，使用HEVC参考软件SCM 3.0。修改SCM3.0参考代码，添加本发明所提出的算法。在进行样本测试时，所有的有损编码和无损编码测试均使用All Intra(AI)配置，屏幕内容测试序列来自JCT-VC组织中的样本序列，它们代表了典型的屏幕内容应用场景。如TGM(运动的文本和图形)、AMT(动画内容)、MIX(混合内容)、CAC(相机捕获)等。同时，用TGM-G表示RGB格式的序列，TGM-Y表示YCbCr格式的序列。有损编码和无损编码的BD-Rate性能和编码时间实验结果见表1和表2。

表1使用本发明方法时有损屏幕内容编码性能估计

表2使用本发明方法时无损屏幕内容编码性能估计

可以发现，本发明的方法实现了帧内模式决策过程的时间加速，采用了一个快速步长大小调整策略提升了帧内块复制时的块匹配速度。与现有的参考软件SCM3.0中算法相比，本发明的算法性能大幅度提升。对于无损压缩，减少了35％的编码时间，比特率仅增加0.2％；对于有损压缩，减少了39％的编码时间，比特率仅增加0.7％。本发明提升了编码速度，降低了编码时间，加快了帧内块匹配速度，能够获得较好的编码效率。

Claims (4)

1.一种HEVC中屏幕内容压缩的快速帧内模式决策和块匹配方法，其特征在于，所述快速帧内模式决策包括如下步骤：

(1)估计当前帧的背景区域；

(2)计算当前帧中编码单元和前一编码帧中相同位置编码单元的绝对误差和SAD；

(3)定义一个阈值TH，判断绝对误差和SAD与阈值TH的关系，若SAD<TH，则当前的编码单元为背景；若SAD>＝TH，则当前的编码单元为前景；

(4)如果当前编码单元被估计为背景，即静止的，为了加快模式决策过程，接下来比较当前编码单元的深度D_c与前一编码帧中相同位置编码单元的深度D_p；

(5)使用IsBkg(d)来表示深度为d的编码单元是否为静止，如果同时满足如下所有条件，除颜色模板模式之外，帧内模式决策将提前跳跃，条件如下：

a)帧的数量不能被10整除；

b)相同位置的编码单元被选为帧内模式或者帧内块复制模式的最优模式；

c)当前编码单元被判断为静止的且前一编码帧中相同位置编码单元的深度比较大，即IsBkg(D_c)＝true且D_p＞D_c；或者前一编码帧中相同位置编码单元深度比较小，D_p＜D_c且IsBkg(D_p)＝true；

所述块匹配方法包括如下步骤：

(6)在二维搜索算法中，搜索位置x＝x+dx；此处x表示水平搜索位置，dx表示原始搜索步长，dx被设为1或2；

(7)在进行每一次搜索后，比较绝对误差和SAD的值和预设阈值TH来决定是否提前终止搜索过程；

(8)如果SAD>αSAD₀，相应地调整步长dx的大小；其中，SAD₀表示绝对误差和SAD序列中的第M个最小值，α为当前编码单元中的像素数；调整步长dx的后的步长为dx′，

当α取值为2时：

当dx＝1时：若SAD＞2SAD₀，dx′＝2；

当dx＝2时：若SAD＞2SAD₀，dx′＝4；

当α取值为4时：

当dx＝1时：若SAD＞4SAD₀，dx′＝4；

当dx＝2时：若SAD＞4SAD₀，dx′＝6。

2.根据权利要求1所述的一种HEVC中屏幕内容压缩的快速帧内模式决策和块匹配方法，其特征在于，所述步骤(2)中，绝对误差和的计算公式如下：

式中，i、j为像素在分块中的坐标位置，P_c为当前编码单元在(i,j)位置上的像素值，P_p为前一编码帧中相同位置编码单元在(i,j)位置上的像素值，|.|表示绝对值。

3.根据权利要求1所述的一种HEVC中屏幕内容压缩的快速帧内模式决策和块匹配方法，其特征在于，所述步骤(3)中，阈值TH的计算公式如下：

TH＝γ*α

其中，α为当前编码单元中像素数，γ是一个因子，设为2。

4.根据权利要求1所述的一种HEVC中屏幕内容压缩的快速帧内模式决策和块匹配方法，其特征在于，所述步骤(4)中，为了避免误差的累积，连续计算时每十帧切断一次。