CN1159919C - 运动估计方法 - Google Patents
运动估计方法 Download PDFInfo
- Publication number
- CN1159919C CN1159919C CNB011017058A CN01101705A CN1159919C CN 1159919 C CN1159919 C CN 1159919C CN B011017058 A CNB011017058 A CN B011017058A CN 01101705 A CN01101705 A CN 01101705A CN 1159919 C CN1159919 C CN 1159919C
- Authority
- CN
- China
- Prior art keywords
- point
- search
- mad
- mad value
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
提供一种运动估计方法。本发明的运动估计方法包括以下步骤：(a)计算搜索块中心点和相邻搜索点的平均绝对差(MAD)；(b)如果中心点具有最小MAD值，则在中心点周围进行运动估计；(c)如果中心点不具有最小MAD值，则利用相邻搜索点之间的相关性来进行运动估计。本发明的运动估计方法与传统的运动估计方法不同，在图像压缩期间不会损坏图像的质量，并且能通过显著减小计算复杂性来提高图像压缩速度。
Description
技术领域
本发明涉及一种运动估计方法，特别涉及一种减小计算复杂性的运动估计方法。
背景技术
在对运动图像进行高压缩编码时必须有效去除四种冗余。首先，在信号成分中就存在的冗余。第二，由于数据生成的统计概率，还存在统计冗余。第三，在图像之间存在时间冗余。第四，在图像内存在空间冗余。
通过采用亮度与色度之比为2∶1的信号可以减少信号成分中存在的冗余。通过进行可变长度的编码可以减少统计冗余，这种编码在编码过程中使用数据生成概率减少了位的平均数。通过离散余弦变换(DCT)可以减少空间冗余。通过运动估计(ME)和运动补偿(MC)可以减少运动图像中经常发生的时间冗余。
根据传统运动估计方法减少冗余的一个例子，采用全搜索(FS)作为块匹配算法。当采用全搜索作为块匹配算法时，编码器的复杂度取决于运动估计算法。在对运动图像编码时这种方法显示出最高的可压缩性。然而，由于计算的过度复杂性，编码器的总体性能还是较低的。
根据另一种用于解决上述问题的运动估计方法，可以在众所周知的3步或4步搜索的基础上，减小计算的复杂性。这些方法通过将当前块与固定搜索区域内的所有块进行比较，搜索到与当前块最相似的块。3步搜索法能够相对简单和精确地估计运动。
然而，还是需要能够通过减小计算复杂性来进行快速块匹配的运动估计方法。
发明内容
为了解决上述问题，本发明的一个目的是提供一种能通过减小计算复杂性来进行快速块匹配的运动估计方法。
因此，为了达到上述目的，提供一种运动估计方法，包括以下步骤：(a)计算搜索块中心点和相邻搜索点的平均绝对差(MAD)；(b)如果中心点具有最小MAD值，则在中心点周围进行运动估计；(c)如果中心点不具有最小MAD值，则利用相邻搜索点之间的相关性来进行运动估计，其中使用MAD值和相邻搜索点之间的差作为搜索点和相邻搜索点之间的相关性。
此外，步骤(b)最好还包括以下步骤：(b-1)如果在步骤(a)中确定中心点具有最小MAD值，则引进预定数量的新搜索点，这些新搜索点与中心点具有预定像素距离的位移；和(b-2)计算所引进搜索点的MAD值并确定具有最小MAD值的搜索点的位移矢量作为移动矢量。
步骤(c)最好还包括以下步骤：(c-1)如果在步骤(a)中确定中心点不是具有最小MAD值，则利用相邻搜索点之间的相关性来确定运动的方向。
所述相关性也能基于具有最小MAD值的搜索点的MAD值和相邻搜索点的MAD值之间的绝对差。
步骤(c)最好还包括以下步骤：(c-1)如果最小MAD值位于某个相邻搜索点，则以相邻搜索点之间的相关性为基础确定第二步的新的搜索点；(c-2)计算在步骤(c-1)中所确定的搜索点的MAD值；(c-3)以步骤(c-2)的结果中具有最小MAD值的搜索点和相邻搜索点之间的相关性为基础，确定第三步的一个新的搜索中心点。
此外，步骤(c-3)最好还包括：(c-3-1)在中心点的MAD值和某个相邻搜索点的MAD值之间的绝对差小的方向上，在中心点和相邻搜索点之间选择一个中间点；(c-3-2)计算中间点和中心点的MAD值，并确定中间点和中心点中具有较小MAD值的那个作为新的搜索点。
此外，在步骤(c-3)之后，最好还包括：(c-4)引进预定数量的搜索点，这些搜索点与新确定的搜索中心点有预定像素距离的位移；和(c-5)计算所引进搜索点的MAD值，并确定具有最小MAD值的搜索点的位移矢量作为运动矢量。
或者，所述的平均绝对差(MAD)也可以是平均方差(MSD)。
附图说明
通过结合附图对本发明的优选实施例进行详细描述，本发明的上述目的和优点将会变得更加清楚，其中：
图1是表示依据本发明优选实施例的运动估计方法主要步骤的流程图；
图2a、2b、2c和2d表示四种正交通用中间格式(Quadrature CommonIntermediate Format，QCIF)如“Carphone”、“Foreman”、“Mom & Daughter”和“Susie”的每个图像序列中的运动矢量分布；
图3表示第一步的处理过程；
图4a表示的例子是，为了研究具有最小MAD值的搜索点和相邻搜索点之间的相关性，在100帧“Carphone”和“Mom & Daughter”测试图像中存在的所有块中确定八个搜索点；
图4b和4c表示对相应搜索点的平均MAD值进行计算的结果；
图5表示估计运动矢量(7，1)的一个例子。
具体实施方式
以下将参考附图对本发明的优选实施例进行详细描述。图1是表示依据本发明优选实施例的运动估计方法主要步骤的流程图。以3步运动估计为基础对优选实施例进行描述。
首先，依据本发明的运动估计方法利用的事实是，在每秒20-30帧的运动图像中，约70％的运动矢量都集中于运动矢量坐标(0，0)。图2a、2b、2c和2d表示图像序列中四种正交通用中间格式(QCIF)“Carphone”、“Foreman”、“Mom & Daughter”和“Susie”的运动矢量分布。参考图2，运动矢量分布都集中在(0，0)周围。
第二，依据本发明的运动估计方法考虑到搜索点之间的相关性。特别地，这种方法考虑到大多数的运动矢量趋向于向预定的平均方差(MSD)或平均绝对差(MAD)最小的方向运动，这在局部最小点处很容易找到。因此，如果将一个任意搜索点确定为局部最小点，则将该点确定为运动矢量的一点。否则，以MAD值为基础采用相邻搜索点之间的相关性，以使得减小搜索的计算复杂性。本发明的优选实施例还利用的事实为，如果相邻搜索点之间MAD值的差在某个方向上较小时，则很可能在该方向上存在运动。这样，在本发明的优选实施例中，可以使用MAD值和相邻搜索点之间的差作为搜索点和相邻搜索点之间的相关性。
图3是表示第一步处理过程的图。如图3所示，距离搜索中心点±4个像素的四个搜索点(a，b，c，d)被确定作为新的搜索点。下一步，在第一步所确定的搜索点处计算MAD值(步骤102)。下一步，对于每个MAD值，确定该MAD值是否是中心点(o)的最小值(步骤104)。可以将步骤S104理解为用于确定运动矢量的方向是否向着中心点的步骤。如果该MAD是中心点(o)的最小值，则引进8个位移±1像素的新搜索点(步骤110)，并在所引进的搜索点处计算MAD值，具有最小MAD值的搜索点的位移矢量被确定为运动矢量(步骤112)。
如果步骤(104)中中心点(o)的MAD值不是最小值，而最小MAD值存在于搜索点(a，b，c，d)，则采用相邻搜索点之间的相关性来确定运动的方向。也就是说，如果最小MAD值存在于搜索点(a，b，c，d)，则以相邻搜索点之间的相关性为基础确定第二步的新的搜索点(步骤120)。
图4a表示的例子是，为了研究最小的搜索点和相邻搜索点之间的相关性，在“Carphone”和“Mom & Daughter”每个测试图像的100帧中存在的所有块中确定八个搜索点，图4b和4c表示对相应搜索点的平均MAD值进行计算的结果。
以下将描述搜索点(a)具有最小MAD值的情况。参考图4b，搜索点(a)是中心点，|MAD(a)-MAD(b)|是74，而|MAD(a)-MAD(c)|是78，因此|MAD(a)-MAD(b)|＜|MAD(a)-MAD(c)|。这就意味着点(a)和点(b)之间的点(ab)的MAD值小于点(a)和点(c)之间的点(ac)的MAD值，同样这也能统计地表明，差值小的方向上MAD值也变小。
同样，参考图4c，搜索点(d)是中心点，|MAD(d)-MAD(c)|是167，而|MAD(d)-MAD(b)|是12，因此|MAD(d)-MAD(c)|＞|MAD(d)-MAD(b)|。这就意味着点(bd)的MAD值小于点(dc)的MAD值。当点(a)、(b)、(c)或(d)是中心点时，也构成了搜索点之间的相关性。
也就是说，除了对应于第一步中宏块中点(o)的搜索点之外，如果确定搜索点(a，b，c，d)中的一个为具有最小MAD值的搜索点，则依据本发明的运动估计方法采用相邻搜索点之间的相关性作为运动矢量方向成分的估计。在优选实施例中，具有最小MAD值的搜索点的MAD值和相邻搜索点的MAD值之间的绝对差被用于具有最小MAD值的搜索点和相邻搜索点之间的相关性中。也就是说，下一步的搜索点和运动是根据下列公式估计的。
|MAD(a)-MAD(b)|＝|MAD(a)-MAD(c)|…(1)
|MAD(a)-MAD(b)|＞|MAD(a)-MAD(c)|…(2)
|MAD(a)-MAD(b)|＜|MAD(a)-MAD(c)|…(3)
如果满足公式1，则可确定八个从搜索点(a)位移±1像素的搜索点，并且将具有最小MAD的搜索点的位移矢量确定为运动矢量，但图1中未表示。
同样，如图4a所示，如果满足公式2，则新确定一个在搜索点(a)和(c)之间的中间点(ca)，并且根据对其他搜索点比较和计算的结果来执行第二步。
MAD(a)＝MAD(ca)…(4)
MAD(a)＞|MAD(ca)…(5)
MAD(a)＜MAD(ca)…(6)
如果不满足公式4，则新构建八个从搜索点(a)和(ac)之间的中间点位移±1像素的搜索点，并且将具有最小MAD的搜索点的位移矢量确定为运动矢量。同样，如果满足公式5，则确定点(ca)为第二步的新的搜索中心点。下一步，确定从这个新的搜索中心点(ca)位移±2像素的四个搜索点。如果满足公式6，则确定点(a)为第二步的新的搜索中心点。下一步，确定从这个新的搜索中心点位移±2像素的四个搜索点。也就是说，确定从新确定的搜索中心点位移±2像素的四个搜索点(步骤122)。
下一步，计算步骤122中所确定搜索点的MAD值(步骤124)。下一步，根据步骤124中的计算结果，以具有最小MAD值的搜索点和相邻搜索点之间的相关性为基础，确定第三步的新的搜索中心点(步骤126)。下一步，在第三步中，引进从所确定的搜索中心点位移±1像素的八个搜索点(步骤128)。然后，计算所引进搜索点的MAD值，并且将具有最小MAD值的搜索点的位移矢量确定为运动矢量(步骤130)。
图5表示一个估计运动矢量(7，1)的例子。参考图5，在第一步中，最小MAD值对应搜索点不是点(o)而是点(a)的情况。依据本发明，在这种情况下，应采用相邻搜索点之间的相关性。分析这种相关性，满足|MAD(b)-MAD(a)|＞|MAD(b)-MAD(d)|，从而计算搜索点(b)和(d)之间中间点(e)的MAD值。搜索点(b)的MAD值大于搜索点(e)的MAD值；因此，将搜索点(e)确定为第二步的新搜索点，并且确定从该搜索中心点(e)位移±2像素的四个搜索点，然后再执行第二步。如果搜索点(f)具有最小MAD，并且满足|MAD(g)-MAD(h)|＞|MAD(g)-MAD(f)|，则计算搜索点(j)和(g)之间中间点(j)的MAD值。因为MAD(g)大于MAD(j)，所以在第三步中引进从搜索中心点(i)位移±1像素的八个搜索点。在最后一步中，给出最优点(7，1)，并且用与最优点的距离来确定运动矢量。
如果该过程在第一步中就完成，则搜索点的最小数量为“5+8＝13”。如果经过所有步骤才确定运动矢量，则搜索点的最小数量为“5+1+4+1+8＝19”。
进行一个模拟实验，用于评价传统运动估计方法和本发明运动估计方法的性能。比较的对象是能最精确估计运动的全搜索方法(FSM)、能相对较块速估计运动的3步搜索(3SS)和近来才被知道具有良好性能的4步搜索(4SS)。选择每个宏块的平均搜索点(ASP)作为比较计算复杂性的项目。表1表示比较ASP的结果。
表1
| Carphone | Foreman | Mom & Daughter | Susie | |
| FSM | 225 | 225 | 225 | 225 |
| 3SS | 25 | 25 | 25 | 25 |
| 4SS | 17.0249 | 17.2818 | 17.0039 | 17.5189 |
| 本发明 | 13.6019 | 13.6512 | 13.2085 | 13.5189 |
参考表1，依据本发明的运动估计方法其每个宏块的ASP比传统运动估计方法(FSM，3SS，4SS)少。也就是说，依据本发明的运动估计方法显著地减少了计算的复杂性，并提高了图像压缩速度。
同样，使用以分贝(db)表示的PSNR作为比较运动估计精度的项目。表2表示对每种测试图像的100帧测量平均PSNR的结果。
表2
| Carphone | Foreman | Mom & Daughter | Susie | |
| FSM | 32.1984 | 30.619 | 37.4603 | 35.3273 |
| 3SS | 31.9917 | 30.2156 | 37.3863 | 35.0973 |
| 4SS | 31.9952 | 30.2805 | 37.3922 | 35.0892 |
| 本发明 | 31.9009 | 30.3276 | 37.3896 | 34.9263 |
参考表2，依据本发明的运动估计方法与传统的运动估计方法(FSM，3SS，4SS)不同，在图像压缩期间不会损坏图像的质量。
同样，依据本发明的运动估计方法还可以被制作成一个可以在个人计算机或服务器计算机上运行的程序。本领域技术人员能够容易地推断出构成该程序的程序代码和代码段。该程序也可以储存在计算机可读记录介质中。这种记录介质可以是磁性记录介质、光学记录介质或者广播介质。
Claims (9)
1.一种运动估计方法，包括以下步骤：
(a)计算搜索块的中心点和相邻搜索点的平均绝对差MAD；
(b)如果中心点具有最小MAD值，则在中心点周围进行运动估计；
(c)如果中心点不具有最小MAD值，则利用相邻搜索点之间的相关性来进行运动估计，其中使用MAD值和相邻搜索点之间的差作为搜索点和相邻搜索点之间的相关性。
2.如权利要求1所述的方法，其中，步骤(b)包括以下步骤：
(b-1)如果在步骤(a)中确定中心点具有最小MAD值，则引进预定数量的新搜索点，这些新搜索点与中心点具有预定像素距离的位移；
(b-2)计算所引进搜索点的MAD值并确定具有最小MAD值的搜索点的位移矢量作为移动矢量。
3.如权利要求1所述的方法，其中，步骤(c)包括：
(c-1)如果在步骤(a)中确定中心点不是具有最小MAD值，则利用相邻搜索点之间的相关性来确定运动的方向。
4.如权利要求3所述的方法，其中，所述相关性是基于具有最小MAD值的搜索点的MAD值和相邻搜索点的MAD值之间的绝对差。
5.如权利要求1所述的方法，其中，步骤(c)包括：
(c-1)如果最小MAD值位于某个相邻搜索点，则以相邻搜索点之间的相关性为基础确定第二步的新的搜索点；
(c-2)计算在步骤(c-1)中所确定的搜索点的MAD值；
(c-3)以步骤(c-2)的结果中具有最小MAD值的搜索点和相邻搜索点之间的相关性为基础，确定第三步的一个新的搜索中心点。
6.如权利要求5所述的方法，其中，步骤(c-3)包括：
(c-3-1)在中心点的MAD值和某个相邻点的MAD值的绝对差小的方向上，在中心点和相邻搜索点之间选择一个中间点；
(c-3-2)计算中间点和中心点的MAD值，并确定中间点和中心点中具有较小MAD值的那个作为新的搜索点。
7.如权利要求1到6中任何一个所述的方法，其中，所述平均绝对差MAD是平均方差MSD。
8.如权利要求5或6所述的方法，在步骤(c-3)之后还包括：
(c-4)引进预定数量的搜索点，这些搜索点与新确定的搜索中心点有预定估计距离；
(c-5)计算所引进搜索点的MAD值，并确定具有最小MAD值的搜索点的位移矢量作为运动矢量。
9.如权利要求8所述的方法，其中，所述平均绝对差MAD是平均方差MSD。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US22155300P | 2000-07-28 | 2000-07-28 | |
| US60/221,553 | 2000-07-28 | ||
| KR56150/2000 | 2000-09-25 | ||
| KR56150/00 | 2000-09-25 | ||
| KR1020000056150A KR100782800B1 (ko) | 2000-07-28 | 2000-09-25 | 움직임 추정 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1346216A CN1346216A (zh) | 2002-04-24 |
| CN1159919C true CN1159919C (zh) | 2004-07-28 |
Family
ID=26638412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB011017058A Expired - Fee Related CN1159919C (zh) | 2000-07-28 | 2001-01-20 | 运动估计方法 |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP1176829A1 (zh) |
| JP (1) | JP3625771B2 (zh) |
| CN (1) | CN1159919C (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007531345A (ja) * | 2003-07-15 | 2007-11-01 | トムソン ライセンシング | 高速サーチ・ブロック・マッチングを用いた動き推定 |
| JP4488805B2 (ja) * | 2004-06-25 | 2010-06-23 | パナソニック株式会社 | 動きベクトル検出装置および方法 |
| CN100340116C (zh) * | 2005-01-21 | 2007-09-26 | 浙江大学 | 一种复杂度可分级的运动估计方法 |
| JP5013041B2 (ja) * | 2005-09-29 | 2012-08-29 | 株式会社メガチップス | 動き探索方法 |
| KR101217627B1 (ko) * | 2006-02-02 | 2013-01-02 | 삼성전자주식회사 | 블록 기반의 움직임 추정 방법 및 장치 |
-
2001
- 2001-01-20 CN CNB011017058A patent/CN1159919C/zh not_active Expired - Fee Related
- 2001-01-31 EP EP01300863A patent/EP1176829A1/en not_active Withdrawn
- 2001-02-26 JP JP2001051163A patent/JP3625771B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP3625771B2 (ja) | 2005-03-02 |
| EP1176829A1 (en) | 2002-01-30 |
| JP2002058037A (ja) | 2002-02-22 |
| CN1346216A (zh) | 2002-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111133476B (zh) | 包括多个点的点云的压缩和解压缩的系统、设备和方法 | |
| CN112715027B (zh) | 神经网络驱动型编解码器 | |
| US20190356914A1 (en) | Encoding method, decoding method and device thereof | |
| JP7047119B2 (ja) | 変換領域における残差符号予測のための方法および装置 | |
| CN100348051C (zh) | 一种增强型帧内预测模式编码方法 | |
| US7408990B2 (en) | Efficient motion vector coding for video compression | |
| US20110280306A1 (en) | Real-time video coding/decoding | |
| US6785333B2 (en) | Motion vector coding method | |
| CN1208972C (zh) | 利用分级搜索的运动估计方法和装置和图像编码系统 | |
| KR100846512B1 (ko) | 영상의 부호화, 복호화 방법 및 장치 | |
| CN1223199C (zh) | 使用比特预算执行视频编码速率控制的方法 | |
| CA2740467C (en) | Scalable video encoding method and scalable video encoding apparatus | |
| CN102668560B (zh) | 嵌入式图形编码:用于并行解码的重排序比特流 | |
| CN1956544A (zh) | 采用连续/交错区域预测的影像数据处理方法及系统 | |
| US10609421B2 (en) | Context derivation for coefficient coding | |
| CN1147159C (zh) | 实时运动图像编码的高速运动估计方法及其装置 | |
| CN1627825A (zh) | 用于运动图像编码的运动估计方法 | |
| US20050074064A1 (en) | Method for hierarchical motion estimation | |
| CN101827268A (zh) | 一种基于对象的分形视频压缩与解压缩方法 | |
| CN1159919C (zh) | 运动估计方法 | |
| KR100782800B1 (ko) | 움직임 추정 방법 | |
| US20210144364A1 (en) | Motion Field Estimation Based on Motion Trajectory Derivation | |
| CN116567254A (zh) | 一种适用于多种视频编码标准的分像素运动估计快速算法 | |
| Zhang et al. | Textural and directional information based offset in-loop filtering in AVS3 | |
| US7440625B2 (en) | Method and apparatus for decoding compressed and encoded digital images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C06 | Publication | ||
| PB01 | Publication | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20040728 Termination date: 20160120 |
|
| EXPY | Termination of patent right or utility model |