CN101090502B - 一种预测质量可控的快速运动估值方法 - Google Patents
一种预测质量可控的快速运动估值方法 Download PDFInfo
- Publication number
- CN101090502B CN101090502B CN 200610087147 CN200610087147A CN101090502B CN 101090502 B CN101090502 B CN 101090502B CN 200610087147 CN200610087147 CN 200610087147 CN 200610087147 A CN200610087147 A CN 200610087147A CN 101090502 B CN101090502 B CN 101090502B
- Authority
- CN
- China
- Prior art keywords
- current macro
- block
- macro
- formula
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一预测质量可控的快速运动估值方法,为解决现有的快速运动估值搜索算法在预测质量和搜索速度之间缺乏可控性问题而发明。包括步骤A,当前宏块在参考帧中预设一搜索窗口,在所述搜索窗口中预测当前宏块的初始搜索中心位置;步骤B,判断当前宏块在参考帧中的最佳匹配点是否就是所述初始搜索中心位置;步骤C,如果不是,当前宏块相对于参考帧为运动状态时,调整搜索窗口大小;步骤D,对当前宏块按照一定比例采样后,得到若干像素块,对所述像素块进行统计分析;步骤E,根据统计分析结果,对方差最大的像素块进行预测质量可控的块匹配运算。本发明可减少运动估计的计算量,加快编码速度,并在预测质量和搜索速度之间增加可控性。
Description
技术领域
本发明涉及多媒体通信领域中的数字视频压缩技术,具体的说涉及视频压缩标准中的运动估值方法。
背景技术
视频数据的存储和传输需要对数据进行压缩编码,压缩就是从时域、空域两方面去除冗余信息,编码方法的选择不但要考虑压缩比、信噪比,还要考虑算法的复杂性,太复杂的编码算法可能会产生较高的压缩比和信噪比,但也会带来较大的CPU开销,影响视频通信的实时性。
视频压缩国际标准中,采用的均是带有运动补偿的预测编码与DCT变换编码相结合的混合压缩编码方法,运动补偿中运动估计的计算量是影响编码速度的关键因素。因此,对于设计一个高效快速的视频编码器而言,用较小的计算量进行运动估计来获得准确的运动矢量是至关重要的。
运动估计是视频编码和计算机视觉领域中的一项关键技术,在计算机视觉领域中,研究的重点更多地放在由物体的二维运动来估计其三维运动,而在视频编码领域中则更多地关心物体的二维运动。二维运动是由被拍摄物体的运动和摄像机的运动共同造成的,二维运动估计方法有光流分析法、像素递归法和基于块的匹配方法等。
光流分析法的优点是能够探测独立运动的对象,不需要预先知道场景中的任何信息,并且可用于摄像机运动的场景,但光流分析法计算复杂耗时,除非有特殊的硬件支持,否则很难实现实时探测。
像素递归法的出发点是通过对灰度的梯度变化进行分析来求像素的位移,由于该方法的最小搜索单元是一个一个的像素点,因而对物体的运动有较高的灵敏度,运动估计的精度也高,对复杂运动画面具有较强的适应性,但它跟踪的位移范围很小,另外,由于像素递归法对位移的估计是通过梯度运算得到的,所以其运算代价大,硬件实现的复杂度高。
基于块的匹配方法将当前帧划分为若干个M*N大小的图像子块,利用M*N子块在上一帧中开辟的搜索区根据某种匹配准则寻求最优匹配来得到运动矢量,该方法相对简单且易于直接用硬件实现,是目前最常用的运动估计算法,视频编码国际标准中都采用基于块的匹配方法进行运动估计,同时由硬件实现的运动估计也多采用基于块的匹配方法来实现,因此,本发明研究基于块匹配方法的运动估计算法。
基于块的匹配方法中,衡量匹配好坏的准则有互相关函数(CCF)、均方误差(MSE)和绝对差值和(SAD)等,采用三种准则所得的估值结果差别不大,因绝对差值和的计算不需要进行复杂的乘法运算,计算量相对较小,所以用的较多。
在已知匹配准则的情况下,如何搜索匹配误差最小的块就是基于块匹配的运动估计搜索算法所要解决的问题.匹配块的搜索并不需要在整帧图像上进行,一般来说,一个块的运动分布一般集中在该块位置附近,因此,块匹配的搜索只需在一定的范围内进行.假设块的运动分布在水平和垂直方向上是各向均匀的(即不在其中某个方向上占优),那么搜索范围应该是以当前块所在位置为中心的正方形,显然,最佳的块匹配搜索算法是全搜索块匹配算法(FS),它搜索参考窗中的所有参考位置,精度高,硬件易实现,是目前应用最为广泛的运动估计算法,但其运算量非常大,将耗费编码器一半以上的计算资源.基于此,许多学者提出很多基于减少搜索位置数的改进型块匹配算法,如三步搜索法(TSS)、二维对数搜索法(2DLOG)、共扼方向搜索法(CSA)、新三步搜索法(NTSS)、四步搜索法(4SS)、环状搜索法(DS)等.
近来,一些快速搜索算法在不减少搜索位置数的情况下,通过宏块降采样,如交替降采样搜索算法(ASSA),或按照某种渐进累积的失真准则快速判断参考宏块是否为最佳匹配宏块,如标准化局部失真搜索算法(NPDS),来减少实际参与运算的像素点数目,不仅提高了运算速度,并能尽可能地找到全局最优值,获得接近于全搜索算法的图像质量。
三步搜索法(TSS)、二维对数搜索法(2DLOG)、共扼方向搜索法(CSA)、新三步搜索法(NTSS)、四步搜索法(4SS)、环状搜索法(DS)等快速块匹配算法均是利用一定的算术准则通过减少搜索位置数来节省计算资源,虽然比起全搜索块匹配算法大大减少了运算量,但往往只能找到搜索窗内的局部最优值,而不能找到全局最优值,使估计出的运动矢量信息不够准确,影响解码后的重建图像质量。
交替降采样搜索算法(ASSA)、标准化局部失真搜索算法(NPDS)均是通过减少块匹配运算中实际参与运算的像素点数目来提高运算速度,能尽可能地找到全局最优值,获得接近于全搜索算法的图像质量。但是,这些算法在预测质量和搜索速度之间缺乏可控性,且其搜索速度与全搜索算法相比提高的理论极限均为16倍,还有待改进。
发明内容
针对上述快速运动估值搜索算法的不足,本发明提供一种预测质量可控的快速运动估值方法(PQAS),该方法通过对搜索窗中所有位置进行搜索来尽可能地找到运动估计的全局最优值,通过有针对性地选择某些像素点进行块匹配运算来减少运动估计的计算量,加快编码速度,并在预测质量和搜索速度之间增加可控性。
为达到上述目的,本发明采用以下技术方案:一种预测质量可控的快速运动估值方法,包括如下步骤:
步骤A,当前宏块在参考帧中预设一搜索窗口,在所述搜索窗口中预测当前宏块的初始搜索中心位置;
步骤B,判断当前宏块在参考帧中的最佳匹配点是否就是所述初始搜索中心位置;如果是,则当前宏块相对于参考帧是静止状态,当前宏块在参考帧中的最佳匹配点是所述初始搜索中心位置,则跳过步骤C-E,对下一待编码的宏块进行运动估值,即转到步骤A;
步骤C,如果不是,则当前宏块为运动状态,调整所述搜索窗口大小;
步骤D,对当前宏块按照一定比例采样后,得到若干像素块,对所述像素块进行统计分析;
步骤E,根据步骤D的统计分析结果,对方差最大的像素块进行预测质量可控的块匹配运算;
所述步骤E具体为:
步骤E1,把当前宏块中方差最大的一个8*8像素块分割成四个4*4大小的小块,再把其中的一个或多个小块分成若干个子块;对上述分割得到的各个子块标记为1,...,g,...,G,G是当前宏块被分割后的子块的子块总块数;
步骤E2,让当前宏块中标记为g的子块中的像素点与搜索窗中与该像素点对应的像素点进行SAD运算得到dg,其中g的初值为1,按照公式(11)获得该子块参与运算后的失真值Dg,
Dg=dg+Dg-1 (11)
其中D0=0;
经过若干参考位置后,得到这些参考位置中的一个最小失真值DMIN,及其各子块的最小失真值Dg,MIN;
步骤E3,根据公式(12)、(13)
(Dg/f(n,k))>(DMIN/N2) (12)
Dg>Dg,MIN (13)
判断是否终止当前匹配运算;
步骤E4,如果不满足公式(12)、(13),则令g←g+1,转入步骤E2继续匹配过程直到g=G,此时DMIN=Dg;
步骤E5,如果满足公式(12)、(13),此时DMIN对应的参考位置即为当前宏块的最佳匹配点;
步骤E6,转入下一参考位置进行渐进式块匹配运算,即转入步骤E2;
在步骤E3的公式(12)中,f(n,k)是控制预测质量与搜索速度的调节函数,其公式为
f(n,k)=(1-k)n+kN2,0≤k≤1 (14)
其中n为当前宏块中已参与基本运算的像素数目,当n为常量的情况下,f(n,k)是k的单增函数,其最小值为n,最大值为参与渐进式块匹配运算的最多像素数N2。
优选地,所述步骤A包括如下步骤:
步骤A1,当前宏块的空间相邻宏块为MB1、MB2、MB3,其运动矢量为V1、V2、V3,参考帧中与当前宏块位置对应的参考宏块为MBref,其运动矢量为Vref,通过以下公式
xmed=median(x1,x2,x3) (1)
ymed=median(y1,y2,y3) (2)
得到中值运动矢量Vmed,式中x、y分别为对应运动矢量的水平分量和垂直分量;该运动矢量Vmed确定的块为MBmed,参考帧中与其位置对应的参考宏块为MBrefmed;
步骤A2,当前宏块与运动矢量Vref、V1、V2、V3、Vmed在参考帧中得到的五个宏块分别做绝对差值和运算;得到相应运算结果SADref、SAD1、SAD2、SAD3、SADmed;
步骤A3,比较上述五个绝对差值和运算结果,绝对差值和值最小的点对应的位置确定为当前宏块的初始搜索中心位置。
优选地,所述步骤B中的判断条件为:当前宏块与其在参考帧中的参考宏块MBref的绝对差值和SAD是否小于或等于门限值Th0,如果小于或等于该门限值,则其最佳匹配点就是初始搜索中心位置,当前宏块相对于参考帧是静止状态,则跳过步骤C-E,对待编码的下一宏块进行运动估值。
优选地,所述门限值Th0为,Th0=min(512,SAD1,SAD2,SAD3,SADref);其中,SAD1、SAD2、SAD3和SADref分别为当前宏块与运动矢量V1、V2、V3、Vref在参考帧中得到的宏块的绝对差值和运算结果。
优选地,所述步骤C具体为:
步骤C1,根据与当前宏块相邻的宏块的运动矢量V1、V2、V3按照公式
svi=|xi|+|yi| i=1,2,3 (4)
S=max{svi} i=1,2,3 (5)
进行分析,得到当前宏块所在的局部区域的运动剧烈程度参数S;
步骤C2,根据公式
调整当前宏块在参考帧中所需搜索窗口的大小areasw;其中,S1、S2为编码器预先设定的运动剧烈程度参考阈值;areadsw表示步骤A中搜索窗口的大小;
步骤C3,利用中值运动矢量Vmed的水平分量和垂直分量根据公式
W=Wsw*(xmed/ymed) (7)
H=Hsw*(ymed/xmed) (8)
调整当前宏块搜索窗口的水平宽度W和垂直高度H;其中,Wsw、Hsw分别为搜索窗口的水平宽度和垂直高度。
优选地,所述步骤D具体为:
步骤D1,对当前宏块进行4:1采样,可得到四个8*8的像素块;
步骤D2,根据公式
对所述四个8*8的像素块进行统计分析;
步骤D3,选出方差σi 2最大的像素块;
所述步骤D2的公式9和10中,Ii(x,y,t)为当前帧t中的当前宏块的下采样像素块(x,y)位置处的像素灰度值,si为该像素块所包含像素点的集合,M为该像素块所包含的像素点数目,此处M=64,mi为该像素块的均值,σi 2为该像素块的方差。
优选地,步骤E4具体为:
步骤E41,如果不满足条件,即不能终止当前匹配运算,判断子块g是否小于子块总块数G;
步骤E42,如果g<G,则g←g+1,转入下一子块进行渐进式块匹配运算,即转入步骤E2;
步骤E43,当g=G,将当前参考位置获得的各级Dg赋予Dg,MIN,其中g<G,DG赋予DMIN。
本发明可减少运动估计的计算量,加快编码速度,并在预测质量和搜索速度之间增加可控性。
附图说明
图1是预测质量可控的运动估计算法流程图。
图2是当前宏块的相邻宏块。
图3是4:1像素降采样。
图4是方差最大的8*8像素块的分割。
图5是小块1的分割。
图6是预测质量可控的渐进式块匹配运算实现流程。
图7是Football序列采用不同算法的结果比较。
图8是Footbal1序列第87帧在各种算法下的部分运动矢量图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步详细说明:
参照附图1,本发明预测质量可控的快速运动估值方法,包括如下步骤:
步骤A,当前宏块在参考帧中预设一搜索窗口,在所述搜索窗口中预测当前宏块的初始搜索中心位置;
步骤B,判断当前宏块在参考帧中的最佳匹配点是否就是所述初始搜索中心位置;如果是,则当前宏块相对于参考帧是静止状态;
步骤C,如果不是,当前宏块为运动状态时,调整所述搜索窗口大小;
步骤D,对当前宏块按照一定比例采样后,得到若干像素块,对所述像素块进行统计分析;
步骤E,根据步骤D的统计分析结果,对方差最大的像素块进行预测质量可控的块匹配运算。
具体过程如下:
第一步、初始搜索中心位置的预测
如图2所示,当前宏块的空间相邻宏块为MB1、MB2、MB3,其运动矢量为V1、V2、V3,参考帧中与当前宏块位置对应的参考宏块为MBref,其运动矢量为Vref,通过以下公式
xmed=median(x1,x2,x3) (1)
ymed=median(y1,y2,y3) (2)
得到中值运动矢量Vmed,式中x、y分别为对应运动矢量的水平分量和垂直分量;该运动矢量Vmed确定的块为MBmed,参考帧中与其位置对应的参考宏块为MBrefmed;
当前宏块与运动矢量Vref、V1、V2、V3、Vmed在参考帧中得到的五个宏块分别做绝对差值和运算;得到相应运算结果SADref、SAD1、SAD2、SAD3、SADmed;
比较上述五个绝对差值和运算结果,绝对差值和值最小的点对应的位置确定为当前宏块的初始搜索中心位置。
第二步、静止宏块的判定
当前宏块与其在参考帧中的参考宏块MBrer的绝对差值和如果小于等于门限值Th0:
SAD≤Th0
Th0=min(512,SAD1,SAD2,SAD3,SADref) (3)
则其最佳匹配点就是初始搜索中心位置,当前宏块相对于参考帧是静止状态;
当前宏块与其在参考帧中的参考宏块MBref的绝对差值和如果大于门限值Th0,当前宏块相对于参考帧是运动状态。
第三步、搜索窗口的调整
通过对与当前宏块相邻的宏块的运动矢量V1、V2、V3按照公式(4)、(5)进行分析,可得到当前宏块所在的局部区域的运动剧烈程度S,接着按照公式(6)调整当前宏块在参考帧所需参考窗口的大小areasw,然后利用运动矢量Vmed的水平分量和垂直分量按照公式(7)、(8)调整当前宏块参考窗口的水平宽度W和垂直高度H。
svi=|xi|+|yi| i=1,2,3 (4)
S=max{svi} i=1,2,3 (5)
公式(4)中svi代表相邻宏块运动的剧烈程度。
公式(6)中,areadsw表示缺省搜索窗口的大小,例如±7,对应窗口15*15,areasw为根据局部区域运动剧烈程度得到的搜索窗口的大小,通常S1=2,S2=4,公式(6)中系数1/4、1/2可根据实际情况做调整。
W=Wsw*(xmed/ymed) (7)
H=Hsw*(ymed/xmed) (8)
公式(7)、(8)中,Wsw、Hsw为搜索窗口的水平宽度和垂直高度。
第四步、当前宏块采样模式的选择
对当前宏块按照图3所示的像素采样方式进行4:1下采样,可得到四个8*8的像素块,即对应图中a、b、c、d四个位置像素构成的像素块,然后利用公式(9)、(10)分别对这四个像素块进行统计分析,选择方差σi 2最大的像素块参与预测质量可控的块匹配运算。
公式(9)、(10)中,Ii(x,y,t)为当前帧t中的当前宏块的下采样像素块(x,y)位置处的像素灰度值,si为该像素块所包含像素点的集合,M为该像素块所包含的像素点数目,此处M=64,mi为该像素块的均值,σi 2为该像素块的方差。
第五步、预测质量可控的渐进式块匹配运算
预测质量可控的渐进式块匹配运算把当前宏块中方差最大的8*8像素块分割成四个4*4大小的小块,构成各小块的像素对应位置如图4中标号所示。同时,把小块1分成若干个子块,如图5所示(也可按照其它方式分割子块),也可以按照其它方式分割小块,图5中(a)~(f)为对小块1采用的6种不同的分割方式,其中标注相同值的像素点(不需要一定相邻)构成小块1的一个子块,其标注值也表示其参与SAD运算的先后顺序。
预测质量可控的渐进式块匹配运算的实现过程如图6所示,图中G是一个宏块所分的级数.假设经过若干参考位置后,得到这些参考位置中的一个最小失真值DMIN及其各级失真值Dg,MIN,按照公式(12)、(13)判断是否可终止对当前参考位置的匹配运算而转入下一参考位置,如果不能终止当前匹配运算,则g←g+1,继续上述匹配过程,以此类推,直到找到当前宏块的最佳匹配点。
Dg=dg+Dg-1 (11)
(Dg/f(n,k))>(DMIN/N2) (12)
Dg>Dg,MIN (13)
f(n,k)=(1-k)n+kN2,0≤k≤1 (14)
f(n,k)是控制预测质量与搜索速度之间矛盾的一个关键因素,称为调节函数,其定义见公式(14),其中n为当前宏块中已参与基本运算的像素数目,当n为常量的情况下,f(n,k)是k的单增函数,其最小值为n,最大值为参与渐进式块匹配运算的最多像素数N2。
实验中,对八个不同运动复杂度、不同格式的视频序列做了测试,每个序列均编码100帧,其中CIF格式(352*288)的视频序列做运动估计时使用的缺省搜索窗口大小为±7,编码速率为384kbit/s,4SF格式(704*480)的视频序列做运动估计时使用的缺省搜索窗口大小为±15,编码速率为576kbit/s。
表1不同序列使用各种算法所得PSNR(单位:dB)(相对于FS的PSNR)
表2不同序列使用各种算法的搜索速度比较(与FS搜索速度相比的比值)
表1中比较了DS、ASSA、NPDS、PQAS算法相对于FS算法的PSNR(信号噪声功率比)变化情况,所有实验结果均是在公式(14)中k=0的条件下获得的。可以看出,随着小块1分割方式的变化,重建视频图像的PSNR也随着变化,其中PQAS(m3)获得的重建视频质量最接近于ASSA、FS算法,与NPDS算法相差很小(原因在于PQAS算法中每一搜索位置最多有64个像素点参与块匹配运算,而NPDS算法中最多会有256个像素点参与块匹配运算),PQAS(m6)次之(略高于DS算法),然后是PQAS(m5)、PQAS(m2)、PQAS(m4)、PQAS(m1)。分析上述实验结果可以发现,在进行渐进式块匹配过程中,开始的三步中参与块匹配运算像素的数目对最终的重建视频质量影响很大,而且视频序列运动越剧烈,这种影响越明显,也就是说开始的几步中参与运算的像素数目越多,重建视频图像质量越好,反之越差,原因在于开始时参与运算的像素数越多,公式(12)、(13)发生误判的可能性越小,因此找到最佳匹配位置的可能性就越大。从表1可以发现,对于内容相同、格式不同的视频序列Football、Mobile,4SF格式采用PQAS算法所得的PSNR相对于CIF格式的PSNR要好一些,原因在于随着视频图像的放大,其细节性的东西相对就会变少,因此在渐进式块匹配算法中参与运动的像素点数目就会增多,找到最佳匹配位置的可能性增大,所以重建视频质量变好。
表2中反映了DS、ASSA、NPDS、PQAS算法所需的基本运算次数(求和、取绝对值、比较运算)与FS算法所需的基本运算次数相比得到的搜索速度变化情况,所有实验结果均是在公式(14)中k=0的条件下获得的.可以看出,随着小块1分割方式的变化,运动估计的搜索速度也随着变化,其中PQAS(m1)搜索速度最快,PQAS(m4)次之,然后是PQAS(m2)、PQAS(m5)、PQAS(m6)、PQAS(m3),且所有小块1分割方式的搜索速度均高于DS、NPDS算法.分析上述实验结果可以发现,在进行渐进式块匹配过程中,开始的三步中参与块匹配运算像素的数目越少,搜索速度越快,而且视频序列运动越平缓,如Mother、News,这种情况越明显,原因在于公式(6)根据局部区域的运动情况对搜索窗口大小做调整导致搜索点数的急剧下降,这种调整对运动变化剧烈的视频序列(Football、Mobile)帮助很小,搜索点数减小很小,即使这样,它们的搜索速度也会高于DS算法.从表2可以发现,对于内容相同、格式不同的视频序列Football、Mobile,CIF格式采用PQAS算法的搜索速度相对于4SF格式的搜索速度要好一些,原因在于随着视频图像的放大,其细节性的东西相对就会变少,因此在渐进式块匹配算法中参与运动的像素点数目就会增多,搜索速度变慢.
表3中比较了DS、ASSA、NPDS算法与取不同k值的PQAS(m6)算法(从搜索速度和重建图像质量两方面折中考虑选择该算法进行比较)相对于FS算法的PSNR变化情况,可以看出,随着公式(14)中k值的变化,重建视频图像的PSNR也随着变化,其中PQAS(1.00)(相当于要搜索当前采样中的全部像素点)获得的重建视频质量最接近于ASSA、FS算法,并在总体上高于NPDS算法(Mother、News视频序列由于纹理相对简单而导致公式(12)、(13)发生误判的可能性增加,所以其重建视频的PSNR低于NPDS算法)。分析上述实验结果可以发现,在进行渐进式块匹配过程中,随着k值的增大,参与块匹配运算的像素数变多,公式(12)、(13)发生误判的可能性越小,因此找到最佳匹配位置的可能性就越大,这种影响对运动剧烈的视频序列尤为明显。需要指出,视频序列Football在k=1.00时所得的PSNR高于FS获得的PSNR约0.05dB,原因在于该视频序列水平方向运动非常剧烈且纹理相对较多,在公式(7)、(8)的作用下,搜索窗口在水平方向上被拉伸,即会在水平方向上搜索更多的点,这样找到更符合物体实际运动的趋势的可能性就会增大,因此重建视频图像的PSNR获得提高。
表3各序列使用PQAS(m6)算法取不同k值所得PSNR(单位:dB)(相对于FS)
表4各序列使用PQAS(m6)算法取不同k值的搜索速度比较(相对于FS)
表4中比较了DS、ASSA、NPDS算法与取不同k值的PQAS(m6)算法所需的基本运算次数相比于FS算法所需的基本运算次数而得到的搜索速度变化情况,可以看出,随着公式(14)中k值的增加,运动估计的搜索速度逐渐变慢,原因在于进行渐进式块匹配过程中,随着k值的增大,参与块匹配运算的像素数变多。同时,通过对表3、4比较可看出在相同的重建视频质量情况下,PQAS(m6)算法的搜索速度高于其它快速算法。
图7显示了视频序列Football(352*288)采用不同算法所得PSNR、搜索速度的变化情况,其取值均相对于FS算法。从图7(a)可以看出,PQAS算法所得的PSNR随着小块1分割方式的变化而变化,小块1分割方式中参与渐进式块匹配运算前三步中像素数越多,所得PSNR越接近于FS算法所得的PSNR,这说明由于参与渐进式块匹配运算的像素数逐渐增多,公式(12)、(13)发生误判的可能性逐渐减小,所以PSNR获得提高,但这是以搜索速度的下降为代价的(见图7(b))。图7(c)反映了选用PQAS(m6)算法采用不同k值所得PSNR,可以看出,随着k值的增加,所得PSNR越接近甚至高于FS算法所得的PSNR,同样这是以搜索速度的下降为代价的(见图7(d))。比较图7(c)、(d)可以看出,在相同的PSNR情况下(k值不同),PQAS(m6)算法的搜索速度高于DS、ASSA、NPDS算法。
图8显示了视频序列Football使用不同算法获得的运动矢量图,从图8(b)可以看出,当k=1.00时PQAS(m6)算法获得运动矢量大部分同FS获得算法相同,但PQAS(m6)算法获得一些运动矢量大于FS算法,这些矢量的存在导致视频序列Football采用PQAS(m6)获得的PSNR高于采用FS算法获得的PSNR,图8(c)中是k=0.00时采用PQAS(m6)算法获得的运动矢量图,由于参与渐进式块匹配运算像素数的影响,序列Football获得的运动矢量与FS、PQAS(m6,1.00)算法有一些差别,但其运动矢量反映的运动趋势同FS、PQAS(m6,1.00)相一致,图8(d)表示了采用ASSA算法获得运动矢量图,其同FS算法获得的运动矢量很相似,图8(e)是采用NPDS算法获得的运动矢量图,它所获得的运动矢量与FS算法获得存在一些差别,但其运动矢量反映的运动趋势同FS算法基本一致,图8(f)是采用DS算法获得的运动矢量图,由于搜索点数的影响,容易使该算法获得的SAD值陷入局部最优,导致其获得的某些运动矢量会与FS算法获得的运动矢量相差较大.
Claims (7)
1.一种预测质量可控的快速运动估值方法,包括如下步骤:
步骤A,当前宏块在参考帧中预设一搜索窗口,在所述搜索窗口中预测当前宏块的初始搜索中心位置;
步骤B,判断当前宏块在参考帧中的最佳匹配点是否就是所述初始搜索中心位置;如果是,则当前宏块相对于参考帧是静止状态,当前宏块在参考帧中的最佳匹配点是所述初始搜索中心位置,则跳过步骤C-E,对下一待编码的宏块进行运动估值,即转到步骤A;
步骤C,如果不是,则当前宏块为运动状态,调整所述搜索窗口大小;
步骤D,对当前宏块按照一定比例采样后,得到若干像素块,对所述像素块进行统计分析;
步骤E,根据步骤D的统计分析结果,对方差最大的像素块进行预测质量可控的块匹配运算;
所述步骤E具体为:
步骤E1,把当前宏块中方差最大的一个8*8像素块分割成四个4*4大小的小块,再把其中的一个或多个小块分成若干个子块;对上述分割得到的各个子块标记为1,...,g,...,G,G是当前宏块被分割后的子块的子块总块数;
步骤E2,让当前宏块中标记为g的子块中的像素点与搜索窗中与该像素点对应的像素点进行SAD运算得到dg,其中g的初值为1,按照公式(11)获得该子块参与运算后的失真值Dg,
Dg=dg+Dg-1 (11)
其中D0=0;
经过若干参考位置后,得到这些参考位置中的一个最小失真值DMIN,及其各子块的最小失真值Dg,MIN;
步骤E3,根据公式(12)、(13)
(Dg/f(n,k))>(DMIN/N2) (12)
Dg>Dg,MIN (13)
判断是否终止当前匹配运算;
步骤E4,如果不满足公式(12)、(13),则令g←g+1,转入步骤E2继续匹配过程直到g=G,此时DMIN=Dg;
步骤E5,如果满足公式(12)、(13),此时DMIN对应的参考位置即为当前宏块的最佳匹配点;
步骤E6,转入下一参考位置进行渐进式块匹配运算,即转入步骤E2;
在步骤E3的公式(12)中,f(n,k)是控制预测质量与搜索速度的调节函数,其公式为
f(n,k)=(1-k)n+kN2,0≤k≤1 (14)
其中n为当前宏块中已参与基本运算的像素数目,当n为常量的情况下,f(n,k)是k的单增函数,其最小值为n,最大值为参与渐进式块匹配运算的最多像素数N2。
2.根据权利要求1所述的预测质量可控的快速运动估值方法,其特征在于,所述步骤A包括如下步骤:
步骤A1,当前宏块的空间相邻宏块为MB1、MB2、MB3,其运动矢量为V1、V2、V3,参考帧中与当前宏块位置对应的参考宏块为MBref,其运动矢量为Vref,通过以下公式
xmed=median(x1,x2,x3) (1)
ymed=median(y1,y2,y3) (2)
得到中值运动矢量Vmed,式中x、y分别为对应运动矢量的水平分量和垂直分量;该运动矢量Vmed确定的块为MBmed,参考帧中与其位置对应的参考宏块为MBrefmed;
步骤A2,当前宏块与运动矢量Vref、V1、V2、V3、Vmed在参考帧中得到的五个宏块分别做绝对差值和运算;得到相应运算结果SADref、SAD1、SAD2、SAD3、SADmed;
步骤A3,比较上述五个绝对差值和运算结果,绝对差值和值最小的点对应的位置确定为当前宏块的初始搜索中心位置。
3.根据权利要求2所述的预测质量可控的快速运动估值方法,其特征在于,所述步骤B中的判断条件为:当前宏块与其在参考帧中的参考宏块MBref的绝对差值和SAD是否小于或等于门限值Th0,如果小于或等于该门限值,则其最佳匹配点就是初始搜索中心位置,当前宏块相对于参考帧是静止状态,则跳过步骤C-E,对待编码的下一宏块进行运动估值。
4.根据权利要求3所述的预测质量可控的快速运动估值方法,其特征在于,所述门限值Th0为,Th0=min(512,SAD1,SAD2,SAD3,SADref)。
5.根据权利要求2所述的预测质量可控的快速运动估值方法,其特征在于,所述步骤C具体为:
步骤C1,根据与当前宏块相邻的宏块的运动矢量V1、V2、V3按照公式
svi=|xi|+|yi| i=1,2,3 (4)
S=max{svi} i=1,2,3 (5)
进行分析,得到当前宏块所在的局部区域的运动剧烈程度参数S;
步骤C2,根据公式
调整当前宏块在参考帧中所需搜索窗口的大小areasw;其中,S1、S2为编码器预先设定的运动剧烈程度参考阈值;areadsw表示步骤A中搜索窗口的大小;
步骤C3,利用中值运动矢量Vmed的水平分量和垂直分量根据公式
W=Wsw*(xmed/ymed) (7)
H=Hsw*(ymed/xmed) (8)
调整当前宏块搜索窗口的水平宽度W和垂直高度H;其中,Wsw、Hsw分别为搜索窗口的水平宽度和垂直高度。
6.根据权利要求1所述的预测质量可控的快速运动估值方法,其特征在于,所述步骤D具体为:
步骤D1,对当前宏块进行4∶1采样,可得到四个8*8的像素块;
步骤D2,根据公式
对所述四个8*8的像素块进行统计分析;
步骤D3,选出方差σi 2最大的像素块;
所述步骤D2的公式9和10中,Ii(x,y,t)为当前帧t中的当前宏块的下采样像素块(x,y)位置处的像素灰度值,si为该像素块所包含像素点的集合,M为该像素块所包含的像素点数目,此处M=64,mi为该像素块的均值,σi 2为该像素块的方差。
7.根据权利要求1所述的预测质量可控的快速运动估值方法,其特征在于,步骤E4具体为:
步骤E41,如果不满足条件,即不能终止当前匹配运算,判断子块g是否小于子块总块数G;
步骤E42,如果g<G,则g←g+1,转入下一子块进行渐进式块匹配运算,即转入步骤E2;
步骤E43,当g=G,将当前参考位置获得的各级Dg赋予Dg,MIN,其中g<G,DG赋予DMIN。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200610087147 CN101090502B (zh) | 2006-06-13 | 2006-06-13 | 一种预测质量可控的快速运动估值方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200610087147 CN101090502B (zh) | 2006-06-13 | 2006-06-13 | 一种预测质量可控的快速运动估值方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101090502A CN101090502A (zh) | 2007-12-19 |
CN101090502B true CN101090502B (zh) | 2010-05-12 |
Family
ID=38943623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200610087147 Expired - Fee Related CN101090502B (zh) | 2006-06-13 | 2006-06-13 | 一种预测质量可控的快速运动估值方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101090502B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BRPI0918028A2 (pt) * | 2008-09-24 | 2015-12-01 | Sony Corp | dispositivo e método de processamento de imagem. |
CN101800893B (zh) * | 2009-02-06 | 2013-01-16 | 宏碁股份有限公司 | 执行运动估计的低功率高性能视频编码方法 |
CN101854538B (zh) * | 2009-04-03 | 2012-06-27 | 联咏科技股份有限公司 | 运动图像处理方法及运动图像处理器 |
CN102111616B (zh) * | 2009-12-23 | 2013-01-16 | 凌阳科技股份有限公司 | 适应性决定压缩模式的影像压缩方法 |
CN101867812B (zh) * | 2010-04-16 | 2012-05-30 | 中山大学 | 一种利用边缘效应进行运动预测的视频数据压缩运动估计方法 |
CN102378009B (zh) * | 2011-11-14 | 2013-05-08 | 清华大学深圳研究生院 | 一种视差估计快速算法 |
CN102572438B (zh) * | 2012-02-21 | 2014-04-02 | 清华大学 | 一种基于图像纹理和运动特征的运动预测方法 |
CN103037140B (zh) * | 2012-12-12 | 2019-06-28 | 杭州国策商图科技有限公司 | 一种基于块匹配的目标跟踪算法 |
US20140254659A1 (en) | 2013-03-11 | 2014-09-11 | Mediatek Inc. | Video coding method using at least evaluated visual quality and related video coding apparatus |
CN105007493B (zh) * | 2015-07-17 | 2018-06-29 | 珠海市杰理科技股份有限公司 | 基于运动搜索窗的匹配搜索方法和系统 |
US10467765B2 (en) * | 2017-06-29 | 2019-11-05 | Texas Instruments Incorporated | Dense optical flow processing in a computer vision system |
CN111327895B (zh) * | 2018-12-17 | 2022-05-24 | 深圳市中兴微电子技术有限公司 | 一种数据处理方法及装置 |
CN109905716A (zh) * | 2019-04-01 | 2019-06-18 | 西安电子科技大学 | 一种基于解码端优化的分布式视频压缩感知 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0719051A2 (en) * | 1994-12-20 | 1996-06-26 | Victor Company Of Japan, Limited | Method and apparatus for limiting band of moving-picture signal |
CN1440200A (zh) * | 2003-03-03 | 2003-09-03 | 清华大学 | 非均匀多层次六边形格点整象素运动搜索方法 |
CN1713733A (zh) * | 2004-06-15 | 2005-12-28 | 中兴通讯股份有限公司 | 一种基于mpeg-4的视频对象快速运动估值方法 |
-
2006
- 2006-06-13 CN CN 200610087147 patent/CN101090502B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0719051A2 (en) * | 1994-12-20 | 1996-06-26 | Victor Company Of Japan, Limited | Method and apparatus for limiting band of moving-picture signal |
CN1440200A (zh) * | 2003-03-03 | 2003-09-03 | 清华大学 | 非均匀多层次六边形格点整象素运动搜索方法 |
CN1713733A (zh) * | 2004-06-15 | 2005-12-28 | 中兴通讯股份有限公司 | 一种基于mpeg-4的视频对象快速运动估值方法 |
Non-Patent Citations (1)
Title |
---|
JP特开平9-55941A 1997.02.25 |
Also Published As
Publication number | Publication date |
---|---|
CN101090502A (zh) | 2007-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101090502B (zh) | 一种预测质量可控的快速运动估值方法 | |
CN101699865B (zh) | 一种块运动自适应的亚像素快速搜索方法 | |
CN101378504B (zh) | 用于h.264编码的块匹配运动估计方法 | |
KR100275694B1 (ko) | 실시간 동영상 부호화를 위한 초고속 움직임 벡터 추정방법 | |
US6625216B1 (en) | Motion estimation using orthogonal transform-domain block matching | |
US9621917B2 (en) | Continuous block tracking for temporal prediction in video encoding | |
CN100594732C (zh) | 一种帧间模式选择方法 | |
CN103248895B (zh) | 一种用于hevc帧内编码的快速模式估计方法 | |
US20140126638A1 (en) | Mechanism for Video Encoding Based on Estimates of Statistically-Popular Motion Vectors in Frame | |
TW200943969A (en) | Motion estimation with an adaptive search range | |
CN101534440A (zh) | 视频信号编码方法 | |
CN100534195C (zh) | 融合多参考帧选择和运动估计的快速帧间模式判决方法 | |
CN101534448A (zh) | 视频编码中基于人类视觉容差的编码工具选择 | |
Dane et al. | Optimal temporal interpolation filter for motion-compensated frame rate up conversion | |
CN101729883B (zh) | 一种自适应调节视频解码复杂度的方法 | |
Young et al. | Automatic layout generation for CMOS operational amplifiers | |
CN101411200A (zh) | 视频编码 | |
JP2006313950A (ja) | 画像符号化装置、及び画像符号化方法 | |
CN100373952C (zh) | 一种基于mpeg-4的视频对象快速运动估值方法 | |
EP1259079A2 (en) | "An efficient low power motion estimation of a video frame sequence" | |
KR100254667B1 (ko) | 폐색을 검출하는 방법 및 장치 | |
US20120128059A1 (en) | Method of adaptive motion estimation in search windows for video coding | |
KR20110097868A (ko) | 위상 평면 상관을 위한 적응형 주파수 도메인 필터링 | |
CN101783956A (zh) | 基于时空邻居信息的后向预测方法 | |
JP2012513141A (ja) | ビデオピクチャ系列の動きパラメータを予測及び符号化する方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100512 Termination date: 20150613 |
|
EXPY | Termination of patent right or utility model |