CN104159124B - 一种改进的多视点视频运动估计搜索方法 - Google Patents

Abstract

一种改进的多视点视频运动估计搜索方法，涉及一种多视点视频运动估计搜索方法。本发明是为了在保证压缩编码质量的前提下，降低多视点视频压缩编码时间，提高编码实时性。其方法：搜索起点选择，判断起点的SAD值是否小于1000，是则进行改进的5×5搜索；否，则判断起点横坐标是否大于10；是则进行水平步长3，竖直步长4的十字形搜索，然后进行正六边搜索和钻石搜索；否则进行水平步长2，竖直步长4的十字形搜索，然后进行正六边搜索和钻石搜索。本发明适用于多视点视频运动估计搜索。

Description

一种改进的多视点视频运动估计搜索方法

技术领域

本发明涉及一种多视点视频运动估计搜索方法。

背景技术

随着3D技术的快速发展，多视点视频已经逐渐成为视频研究的热点。多视点视频巨大的数据量是制约其实用化的关键因素，与传统二维平面视频相比，多视点视频数据量成倍增加，难于存储和传输，并且编码复杂度高，编码耗费时间较长。多视点视频的实用化，不止要求具有较高的压缩率，同时也要求具有较好的编码实时性，能够快速完成编码过程。运动估计是影响多视点视频压缩编码时间的最主要因素，其中，运动估计搜索是运动估计过程中消耗时间最多的部分。

现有的TZSearch算法是多视点视频压缩编码采用的的快速运动估计混合搜索算法，具有较高的搜索精度，但其搜索点数较多，提前截止策略较不科学，在菱形搜索中，即使已经得到了最佳点，仍需再搜索3轮24个点，增加了大量计算量。

发明内容

本发明是为了在保证压缩编码质量的前提下，降低多视点视频压缩编码时间，提高编码实时性，从而提供一种改进的多视点视频运动估计搜索方法。

一种改进的多视点视频运动估计搜索方法，它包括以下步骤：

步骤一、运动矢量预测，产生候选预测矢量集合，集合中包括当前位置(0,0)矢量，参考帧同位置宏块的左、上、右上宏块的运动矢量以及中值预测矢量；

步骤二、搜索起点选择，在所有的预测矢量中选择SAD最小的矢量的坐标作为搜索起点；

步骤三、判断搜索起点的SAD值是否小于1000，如果判断结果为是，则执行步骤七；如果判断结果为否，则执行步骤四；

步骤四、判断搜索起点的横坐标是否大于10，如果判断结果为是，则执行步骤四一；如果判断结果为否，则执行步骤四二；

步骤四一、在预先设定的搜索范围内，进行水平步长为3、竖直步长为4的十字形搜索，即：在搜索起点的水平方向上以步长3向左右两端进行搜索，在竖直方向上以步长4向上下两端进行搜索；搜索结束后记录SAD值最小的点所在位置，将该点作为最佳点，并执行步骤五；

步骤四二、在预先设定的搜索范围内，进行水平步长为2、竖直步长为4的十字形搜索；即：在搜索起点的水平方向上以步长2向左右两端进行搜索，在竖直方向上以步长4向上下两端进行搜索；搜索结束后记录SAD值最小的点所在位置，将该点作为最佳点，并执行步骤五；

步骤五、以步骤四一或步骤四二的最佳点为起点，依次进行步长为1、2、4、8、16、…的正六边形搜索，搜索过程中搜索起点的位置不变，并判断经过三轮搜索后最佳点的位置是否改变，如果判断结果为否，则执行步骤五一；如果判断结果为是，则执行步骤五二；

步骤五一、停止搜索，记录SAD值最小的点所在位置，将该点仍作为最佳点，并执行步骤六；

步骤五二、继续搜索直至最近的三轮搜索位置不变或者搜索完全部预定范围，记录SAD值最小的点所在位置，将该点仍作为最佳点，并执行步骤六；

步骤六、以步骤五的最佳点为搜索起点进行钻石搜索，搜索点是搜索中心旁坐标为(±1,0)，(0,±1)的坐标点，搜索完这四个点后，以当前SAD最小的点为新的搜索起点重新进行钻石搜索，直至搜索起点与最佳点重合，完成多视点视频运动估计搜索；

步骤七、对于SAD<1000的起点进行改进的5×5搜索，即：先进行一次3×3正方形搜索，若搜索结束后最佳点的位置在正方形中心，则停止搜索，否则根据最佳点的位置对其邻近的三个点进行搜索，完成多视点视频运动估计搜索。

步骤七根据最佳点的位置对其邻近的三个点进行搜索具体为：

若最佳点的坐标为(0,1)，则搜索(-1,2)、(0,2)、(1,2)这三个坐标点；

若最佳点的坐标为(0,-1)，则搜索(-1,-2)、(0,-2)、(1,-2)这三个坐标点；

若最佳点的坐标为(1,0)，则搜索(2,-1)、(2,0)、(2,1)这三个坐标点；

若最佳点的坐标为(-1,0)，则搜索(-2,-1)、(-2,0)、(-2,1)这三个坐标点；

若最佳点的坐标为(1,1)，则搜索(1,2)、(2,2)、(2,1)这三个坐标点；

若最佳点的坐标为(1,-1)，则搜索(1,-2)、(2,-2)、(2,-1)这三个坐标点；

若最佳点的坐标为(-1,1)，则搜索(-1,2)、(-2,2)、(-2,1)这三个坐标点；

若最佳点的坐标为(-1,-1)，则搜索(-1,-2)、(-2,-2)、(-2,-1)这三个坐标点。

本发明提出了一种基于TZSearch搜索算法的运动估计搜索方法，在保证压缩编码质量的前提下，实现了降低多视点视频压缩编码时间，提高编码实时性。

附图说明

图1是本发明的一种改进的多视点视频运动估计搜索方法的流程示意图；

图2是分级搜索策略中SAD大于或等于1000的分级搜索策略示意图；Δ表示十字形搜索；□表示正六边形搜索；□表示钻石搜索；

图3是分级搜索策略中SAD小于1000的分级搜索策略示意图；

图4是横坐标小于或等于10的十字形搜索示意图；

图5是横坐标大于10的十字形搜索原理示意图；

图6是3×3正方形搜索原理示意图；

图7是最佳点为1的扩展搜索原理示意图；

图8是最佳点为2的扩展搜索原理示意图；

图9是最佳点为3的扩展搜索原理示意图；

图10是最佳点为4的扩展搜索原理示意图；

图11是最佳点为5的扩展搜索原理示意图；

图12是最佳点为6的扩展搜索原理示意图；

图13是最佳点为7的扩展搜索原理示意图；

图14是最佳点为8的扩展搜索原理示意图；

具体实施方式

具体实施方式一、结合图1说明本具体实施方式，一种改进的多视点视频运动估计搜索方法，

步骤一、搜索起点选择，在所有的预测矢量中选择SAD最小的矢量的坐标作为搜索起点，预测矢量包括中值预测矢量，参考帧中同位置宏块的左、上、右上宏块的运动矢量以及(0,0)矢量；

步骤二、对搜索起点的SAD值进行判定，对于不同的SAD值采用不同的分级搜索策略；具体来说，若起点的SAD<1000进行步骤六所述的改进5×5正方形搜索，否则进行步骤三至步骤五所述的搜索。如图2和图3所示为具体搜索策略图。

步骤三、对搜索起点的横坐标进行判定，若横坐标大于10，在预先设定的搜索范围内，进行水平步长为3、竖直步长为4的十字形搜索，即在搜索起点的水平方向上以步长3向左右两端进行搜索，在竖直方向上以步长4向上下两端进行搜索。若横坐标小于等于10，在预先设定的搜索范围内，进行水平步长为2、竖直步长为4的十字形搜索。搜索结束后记录SAD值最小的点所在位置，该点为最佳点，作为步骤四的搜索起点。如图4至图5所示为步骤三所述十字形搜索步骤图。

步骤四、以步骤三的最佳点为起点，依次进行步长为1、2、4、8、16…的正六边形搜索，搜索过程中搜索起点的位置不变，若经过三轮搜索后最佳点的位置仍不变，则停止搜索，记录SAD值最小的点所在位置，该点为最佳点，作为步骤五的搜索起点。

步骤五、以步骤四的最佳点为搜索起点进行钻石搜索，搜索点是搜索中心旁坐标为(±1,0)，(0,±1)的坐标点，搜索完这四个点后，以当前SAD最小的点为新的搜索起点重新进行钻石搜索，不断重复以上过程，直至搜索起点与最佳点重合，结束搜索。

步骤六、对于SAD<1000的起点进行改进的5×5搜索，即先进行一次3×3正方形搜索，若搜索结束后最佳点的位置在正方形中心，则停止搜索，否则根据最佳点的位置对其邻近的三个点进行搜索。具体来讲，若最佳点的坐标为(0,1)，则搜索(-1,2)(0,2)(1,2)这三个坐标点；若最佳点的坐标为(0,-1)，则搜索(-1,-2)(0,-2)(1,-2)这三个坐标点；若最佳点的坐标为(1,0)，则搜索(2,-1)(2,0)(2,1)这三个坐标点；若最佳点的坐标为(-1,0)，则搜索(-2,-1)(-2,0)(-2,1)这三个坐标点。若最佳点的坐标为(1,1)，则搜索(1,2)(2,2)(2,1)这三个坐标点；若最佳点的坐标为(1,-1)，则搜索(1,-2)(2,-2)(2,-1)这三个坐标点；若最佳点的坐标为(-1,1)，则搜索(-1,2)(-2,2)(-2,1)这三个坐标点；若最佳点的坐标为(-1,-1)，则搜索(-1,-2)(-2,-2)(-2,-1)这三个坐标点。如图6对图14所示为步骤六的搜索策略图。

下面对本发明的效果进行仿真验证。选取的多视点视频序列为JVT规定的测试MVC性能指标的参考视频Ballroom,Exit以及Vassar,三者均为YUV4:2:0格式，在JMVC8.3平台上分别对上面的3个序列TZSearch搜索算法以及改进算法进行压缩编码，采用的PC机CPU为英特尔奔腾4(2.93GHz)，内存为768MB。选取量化参数为37、32、27、22，如下所示为具体实验结果。

如表1所示为压缩效率以及压缩编码后的视频质量对比。压缩效率一般采用比特率来表示，比特率越低表示压缩效率越好。压缩视频的质量，一般由峰值信噪比PSNR来评价，PSNR值越高表示重建视频图像质量越好，编码性能越好。由于视频序列存在亮度分量Y，以及色度分量U、V。PSNR也有PSNR-Y、PSNR-U、PSNR-V之分。本次测试所用视频采样为YUV4:2:0，采用式(1)所示的PSNR_avg作为评价指标。

PSNR_avg＝(4×PSNR_Y+PSNR_U+PSNR_V)(1)

表1压缩编码后比特率以及PSNR对比

从表1中可以看出，相比于TZSearch算法，本发明编码后的比特率，偶尔减少，大部分情况下略有增加，最大增加约为2.48％。相比于TZSearch算法，改进算法编解码后PSNR略有减少，最大约减少0.037dB。

表2编码时间对比

如表2所示为三个序列两种算法的编码时间对比。从表2可以看出，TZSearch算法的编码时间随着QP降低增长较快，而本发明的编码时间随QP变化较为平缓。相比于TZSearch算法，本发明可以减少50％～60％左右的时间。本发明显加快了编码速度。

以上的数据以及分析可以看出，相比于TZSearch算法，大多数情况下，本发明压缩后的比特率的增加程度小于2.5％，重建视频的PSNR减小量低于0.05dB，并且可以大幅度降低50％～60％的压缩编码时间。当QP＝22时，相比于TZSearch算法，本发明的编码时间可降低达到60％以上。因此可得到如下结论：本发明可以在保证压缩编码性能的条件下大幅度地降低编码时间，提高多视点视频压缩编码的实时性。

具体实施例：一种改进的多视点视频运动估计搜索方法，它由以下步骤实现：

步骤一、搜索起点选择，在所有的预测矢量中选择SAD最小的矢量的坐标作为搜索起点。预测矢量包括中值预测矢量，参考帧中同位置宏块的左、上、右上宏块的运动矢量以及(0,0)矢量。

步骤二、对搜索起点的SAD值进行判定，对于不同的SAD值采用不同的分级搜索策略。具体来说，若起点的SAD<1000进行步骤六所述的改进5×5正方形搜索，否则进行步骤三、步骤四、步骤五所述的搜索。

步骤三、对搜索起点的横坐标进行判定，若横坐标大于10，在预先设定的搜索范围内，进行水平步长为3、竖直步长为4的十字形搜索，即在搜索起点的水平方向上以步长3向左右两端进行搜索，在竖直方向上以步长4向上下两端进行搜索。若横坐标小于等于10，在预先设定的搜索范围内，进行水平步长为2、竖直步长为4的十字形搜索。搜索结束后记录SAD值最小的点所在位置，该点为最佳点，作为步骤四的搜索起点。

步骤四、以步骤三的最佳点为起点，依次进行步长为1、2、4、8、16…的正六边形搜索，搜索过程中搜索起点的位置不变，若经过三轮搜索后最佳点的位置仍不变，则停止搜索，记录SAD值最小的点所在位置，该点为最佳点，作为步骤五的搜索起点。步骤五、以步骤四的最佳点为搜索起点进行钻石搜索，搜索点是搜索中心旁坐标为(±1,0)，(0,±1)的坐标点，搜索完这四个点后，以当前SAD最小的点为新的搜索起点重新进行钻石搜索，不断重复以上过程，直至搜索起点与最佳点重合，结束搜索。

步骤六、对于SAD<1000的起点先进行一次3×3正方形搜索，若搜索结束后最佳点的位置在正方形中心，则停止搜索，否则根据最佳点的位置对其邻近的三个点进行搜索。具体来讲，若最佳点的坐标为(0,1)，则搜索(-1,2)(0,2)(1,2)这三个坐标点；若最佳点的坐标为(0,-1)，则搜索(-1,-2)(0,-2)(1,-2)这三个坐标点；若最佳点的坐标为(1,0)，则搜索(2,-1)(2,0)(2,1)这三个坐标点；若最佳点的坐标为(-1,0)，则搜索(-2,-1)(-2,0)(-2,1)这三个坐标点。若最佳点的坐标为(1,1)，则搜索(1,2)(2,2)(2,1)这三个坐标点；若最佳点的坐标为(1,-1)，则搜索(1,-2)(2,-2)(2,-1)这三个坐标点；若最佳点的坐标为(-1,1)，则搜索(-1,2)(-2,2)(-2,1)这三个坐标点；若最佳点的坐标为(-1,-1)，则搜索(-1,-2)(-2,-2)(-2,-1)这三个坐标点。

Claims (2)

1.一种改进的多视点视频运动估计搜索方法，其特征是：它包括以下步骤：

步骤一、运动矢量预测，产生候选预测矢量集合，集合中包括当前位置(0,0)矢量，参考帧同位置宏块的左、上、右上宏块的运动矢量以及中值预测矢量；

步骤二、搜索起点选择，在所有的预测矢量中选择SAD最小的矢量的坐标作为搜索起点；

步骤三、判断搜索起点的SAD值是否小于1000，如果判断结果为是，则执行步骤七；如果判断结果为否，则执行步骤四；

步骤四、判断搜索起点的横坐标是否大于10，如果判断结果为是，则执行步骤四一；如果判断结果为否，则执行步骤四二；

步骤四一、在预先设定的搜索范围内，进行水平步长为3、竖直步长为4的十字形搜索，即：在搜索起点的水平方向上以步长3向左右两端进行搜索，在竖直方向上以步长4向上下两端进行搜索；搜索结束后记录SAD值最小的点所在位置，将该点作为最佳点，并执行步骤五；

步骤四二、在预先设定的搜索范围内，进行水平步长为2、竖直步长为4的十字形搜索；即：在搜索起点的水平方向上以步长2向左右两端进行搜索，在竖直方向上以步长4向上下两端进行搜索；搜索结束后记录SAD值最小的点所在位置，将该点作为最佳点，并执行步骤五；

步骤五、以步骤步骤四一或步骤四二的最佳点为起点，依次进行步长为1、2、4、8、16、…的正六边形搜索，搜索过程中搜索起点的位置不变，并判断经过三轮搜索后最佳点的位置是否改变，如果判断结果为否，则执行步骤五一；如果判断结果为是，则执行步骤五二；

步骤五一、停止搜索，记录SAD值最小的点所在位置，将该点仍作为最佳点，并执行步骤六；

步骤五二、继续搜索直至最近的三轮搜索位置不变或者搜索完全部预定范围，记录SAD值最小的点所在位置，将该点仍作为最佳点，并执行步骤六；

步骤六、以步骤五的最佳点为搜索起点进行钻石搜索，搜索点是搜索中心旁坐标为(±1,0)，(0,±1)的坐标点，搜索完这四个点后，以当前SAD最小的点为新的搜索起点重新进行钻石搜索，直至搜索起点与最佳点重合，完成多视点视频运动估计搜索；

步骤七、对于SAD<1000的起点进行改进的5×5搜索，即：先进行一次3×3正方形搜索，若搜索结束后最佳点的位置在正方形中心，则停止搜索，否则根据最佳点的位置对其邻近的三个点进行搜索，完成多视点视频运动估计搜索。

2.根据权利要求1所述的一种改进的多视点视频运动估计搜索方法，其特征在于步骤七根据最佳点的位置对其邻近的三个点进行搜索具体为：

若最佳点的坐标为(0,1)，则搜索(-1,2)、(0,2)、(1,2)这三个坐标点；

若最佳点的坐标为(0,-1)，则搜索(-1,-2)、(0,-2)、(1,-2)这三个坐标点；

若最佳点的坐标为(1,0)，则搜索(2,-1)、(2,0)、(2,1)这三个坐标点；

若最佳点的坐标为(-1,0)，则搜索(-2,-1)、(-2,0)、(-2,1)这三个坐标点；

若最佳点的坐标为(1,1)，则搜索(1,2)、(2,2)、(2,1)这三个坐标点；

若最佳点的坐标为(1,-1)，则搜索(1,-2)、(2,-2)、(2,-1)这三个坐标点；

若最佳点的坐标为(-1,1)，则搜索(-1,2)、(-2,2)、(-2,1)这三个坐标点；

若最佳点的坐标为(-1,-1)，则搜索(-1,-2)、(-2,-2)、(-2,-1)这三个坐标点。