[go: up one dir, main page]

TWI590083B - 一種產生影像位移偵測之快速搜尋視窗的方法 - Google Patents

一種產生影像位移偵測之快速搜尋視窗的方法 Download PDF

Info

Publication number
TWI590083B
TWI590083B TW099139654A TW99139654A TWI590083B TW I590083 B TWI590083 B TW I590083B TW 099139654 A TW099139654 A TW 099139654A TW 99139654 A TW99139654 A TW 99139654A TW I590083 B TWI590083 B TW I590083B
Authority
TW
Taiwan
Prior art keywords
search window
preset
motion vectors
reference frame
block
Prior art date
Application number
TW099139654A
Other languages
English (en)
Other versions
TW201222285A (en
Inventor
莊岳麟
Original Assignee
創意電子股份有限公司
台灣積體電路製造股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 創意電子股份有限公司, 台灣積體電路製造股份有限公司 filed Critical 創意電子股份有限公司
Priority to TW099139654A priority Critical patent/TWI590083B/zh
Priority to US12/929,242 priority patent/US20120128059A1/en
Publication of TW201222285A publication Critical patent/TW201222285A/zh
Application granted granted Critical
Publication of TWI590083B publication Critical patent/TWI590083B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

一種產生影像位移偵測之快速搜尋視窗的方法
本發明為一影像位移偵測之方法，特別是一種產生影像位移偵測之快速搜尋視窗的方法。
目前多媒體通訊市場有著大幅度的成長，其中視訊通訊(video communication)在實用性及經濟效益上，顯得格外重要，通訊科技大幅進步，編碼和信息壓縮的成功發展，使得視訊通訊設備的實用性大為提高，也顯得日益重要。
例如當採用H. 264/AVC標準以做為編碼規格時，可以發現經常導致計算時間的增加；舉凡在進行畫面內預測(Intra Prediction)、多參考幀的移動補償(Multiple reference pictures for motion compensation)、以及變動區塊的模式選擇(Mode Decision)等時，都會增加運算時間。且就多參考幀的移動補償而言，傳統的編碼法經常只取前一張畫面作為編碼參考對象，事實上最相似的區塊可能存在於前面的數張之中。因此H. 264/AVC在規格上雖提供了多個參考幀(Multiple Reference Frame)的模式，期望能找到品質更佳的繪圖結果，但在整個編碼時間中，已大幅佔用了以參考幀數量為準的移動預估(ME)時間。
故而在影像位移偵測處理中，從複數個參考幀(Reference Frames)尋找相似的巨區塊(MacroBlock)及計算絕對差總合(Summed Absolute Difference,SAD)通常會是影響影像能否快速顯示的重要瓶頸；而傳統的處理方式會需要很多的時間去尋找相似的巨區塊，因此會增加絕對差總合的計算時間，甚至降低運算速度。
習知的移動向量預測(Motion Vector Prediction)如第1圖所示，從預估巨區塊MB左上方，上方及右上方已做完移動預估(Motion Estimation)的三個巨區塊MB0、MB1、MB2中取出共三組移動向量(Motion Vector)MV0、MV1、MV2，經過演算後(通常是三者取中位數)得到一移動向量預測。接著從數個參考幀中計算出移動向量，選出參考幀中絕對差總合最低的，以其作為參考幀的移動向量MV0、MV1、MV2。
上述的方法中，要在參考幀中找出相似的區塊需要搜尋大範圍的區塊，需要耗費較多的運算時間，如此也因需要更多時間計算絕對差總合，因此而耗費了相當多的運轉功率，增加了時間與成本的消耗。
故而為了能產生更有效率的影像位移偵測之快速搜尋視窗，提供多媒體通訊市場之需求，需要研發影像位移偵測之快速搜尋視窗產生方法，藉以提高搜尋速度且能降低搜尋時間。
本發明之主要目的，係在提供一種產生影像位移偵測之快速搜尋視窗的方法，藉以減少影像搜尋的時間。
本發明為一種產生影像位移偵測之快速搜尋視窗的方法，包括：選擇一預估巨區塊的前面數個巨區塊，計算其相對的移動向量；以移動向量搜尋數個參考幀並計算每一參考幀之移動向量預測，得到每一參考幀的預設搜尋視窗；計算移動向量在每一預設搜尋視窗的相關位置，得到每一參考幀之最佳搜尋視窗；以及在每一參考幀之最佳搜尋視窗計算絕對差總合，選擇絕對差總合最小者做為預測預估巨區塊的參考幀。
本發明係利用移動向量預測所建立之預設搜尋視窗與參考幀中儲存的移動向量所算出之最佳搜尋視窗進行相關運算，藉以增快運算速度。
本發明利用相鄰的數個巨區塊預測最佳搜尋視窗，且計算每個參考幀的移動向量與預設搜尋視窗而得到搜尋視窗，且當該視窗會小於或等於預設搜尋視窗時，便能快速找出相似的預估巨區塊位置，藉以減少整體的運算時間。
故而，關於本發明之優點與精神可以藉由以下發明詳述及所附圖式得到進一步的瞭解。
本發明為一產生影像位移偵測之快速搜尋視窗的方法，其可以減少目前影像視訊的位移偵測所需的時間，同時降低耗電量。
請參閱第2圖所示，為本發明一實施例之產生影像位移偵測之快速搜尋視窗的方法之流程示意圖。步驟S21選擇一預估巨區塊(MacroBlock)的前面數個巨區塊，計算相對的移動向量(Motion Vector,MV)。
請同時參閱第3圖所示為本發明一實施例之計算移動向量選取巨區塊示意圖，預估巨區塊MB的左上方之巨區塊MB0、上方之巨區塊MB1及右上方之巨區塊MB2被選擇做為計算移動向量的三個巨區塊。
請仍參閱第2圖所示，步驟S22以該些移動向量搜尋所有參考幀(Reference frame)計算每一參考幀之移動向量預測(Motion Vector Prediction,MVP)，得到每一該參考幀的一預設搜尋視窗。
請同時參閱第4圖所示為本發明一實施例之移動向量位於參考幀之示意圖，在處理幀41中預估區塊的左上方之巨區塊MB0、上方之巨區塊MB1及右上方之巨區塊MB2被選擇做為計算移動向量的三個巨區塊，其在前一參考幀42內之移動向量為MV0、MV1、MV2。A框為移動向量預測(MVP)45所涵蓋的預設搜尋視窗。
請仍參閱第2圖所示，步驟S23計算移動向量MV0、MV1、MV2在每一預設搜尋視窗的相關位置，得到每一參考幀之最佳搜尋視窗。
請同時參閱第4圖所示，藉由移動向量MV0、MV1、MV2在A框中畫出一個更精確範圍的B框，這樣最佳搜尋視窗的範圍會比預設搜尋視窗小。請同時參考第1圖，巨區塊MB0之位置相對於預估巨區塊MB之位置為左上方，因此可假設巨區塊MB0與預估巨區塊MB一起位移時仍保持相同的相對位置，故第4圖中預估巨區塊MB位置同樣相對在巨區塊MB0之右下方，因此B框之範圍在移動向量MV0之右方。同樣地，第1圖之巨區塊MB2之位置相對於預估巨區塊MB之位置為右上方，因此可假設巨區塊MB2與預估巨區塊MB一起位移時仍保持相同的相對位置，故第4圖中預估巨區塊MB位置同樣相對在巨區塊MB2之左下方，因此B框之範圍在移動向量MV2之左方。根據前述，藉由移動向量MV0、MV1、MV2以及原始巨區塊MB0、MB1、MB2彼此的相對關係，可在A框中畫出一個更精確範圍的B框，即最佳搜尋視窗的範圍在預設搜尋視窗的範圍內，以減少目前影像視訊的位移偵測所需的時間，同時降低耗電量。
而第5圖為本發明另一實施例之預設搜尋視窗與最佳搜尋視窗位於參考幀之示意圖，預設搜尋視窗C為移動向量預測(MVP)55所涵蓋的範圍，當移動向量MV0、MV1、MV2位於預設搜尋視窗外圍，則從最兩邊位置MV0、MV1往預設搜尋視窗C各切一邊界，切線後所涵蓋的預設搜尋視窗範圍，即為最佳搜尋視窗D。
第6圖則為本發明另一實施例預設搜尋視窗與最佳搜尋視窗位於參考幀之示意圖，當移動向量MV0、MV1、MV2位於預設搜尋視窗E對角之外圍，則以預設搜尋視窗E做為最佳搜尋視窗。
請仍參閱第2圖所示，最後之步驟S24在每一參考幀之最佳搜尋視窗計算絕對差總合(Summed Absolute Difference,SAD)，選擇絕對差總合最小者做為預測該預估巨區塊的參考幀。
根據上述，本發明利用一移動向量預測所建立之預設搜尋視窗與參考幀中儲存的移動向量所算出之最佳搜尋視窗做相關運算，最佳搜尋視窗會小於或等於預設搜尋視窗，能快速找出相似的預估巨區塊位置。
在一實施例中，被選擇做為計算移動向量的三個巨區塊，可以是預估巨區塊的左巨區塊、上方巨區塊及右上方巨區塊。
第7圖為本發明一實施例之影像位移偵測之快速搜尋視窗產生的方法運算流程示意圖。如步驟S71儲存移動向量MV0、MV1、MV2值給每一參考幀Ref_1、Ref_2、Ref_3。
第7圖之步驟S72從MV0、MV1、MV2計算出各個參考幀之移動向量預測MVP_ref1、MVP_ref2、…、MVP_refN。
第7圖之步驟S73在第x個參考幀設定MV0_refx、MV1_refx、MV2_refx，其中第x個參考幀必須是已處理過的。
第7圖之步驟S74在第x個參考幀內調整最佳搜尋視窗。
第7圖之步驟S75，最後，若是還有未處理之參考幀，則繼續執行步驟S72，否則結束處理程序。
本發明只需要利用已經運算過之資料，即可產生快速搜尋視窗，不需要額外的計算流程，可以非常經濟的方式找出相似的預估巨區塊位置。
故根據前述，本發明揭露影像位移偵測之快速搜尋視窗產生的方法，利用相鄰的數個巨區塊預測最佳搜尋視窗，藉以計算每一個參考幀的移動向量與預設搜尋視窗而得到搜尋視窗，且該視窗會小於或等於預設搜尋視窗，故而能快速找出相似的預估巨區塊位置。
以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離本發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。
MB、MB0、MB1、MB2．．．巨區塊
MV0、MV1、MV2．．．移動向量
41．．．處理幀
42．．．參考幀
45．．．移動向量預測
C、E．．．預設搜尋視窗
D．．．最佳搜尋視窗
S21-S24．．．快速搜尋視窗產生方法之步驟
S71-S75．．．快速搜尋視窗產生方法之步驟
第1圖為習知習知的移動向量預測示意圖。
第2圖為本發明一實施例之產生影像位移偵測之快速搜尋視窗方法之流程示意圖。
第3圖為本發明一實施例之計算移動向量選取巨區塊示意圖。
第4圖為本發明一實施例之移動向量位於參考幀之示意圖。
第5圖為本發明另一實施例之預設搜尋視窗與最佳搜尋視窗位於參考幀之示意圖。
第6圖則為本發明另一實施例預設搜尋視窗與最佳搜尋視窗位於參考幀之示意圖。
第7圖為本發明一實施例之產生影像位移偵測之快速搜尋視窗方法之運算流程示意圖。
S21-S24．．．快速搜尋視窗產生方法之步驟

Claims (1)

  1. 一種藉由搜尋複數個參考幀在預設搜尋視窗畫出最佳搜尋視窗以產生影像位移偵測之快速搜尋視窗的方法，至少包含：選擇一預估巨區塊的前面複數個巨區塊，計算相對的複數個移動向量，其中該複數個巨區塊位於一預估巨區塊的左上方之巨區塊、上方之巨區塊及右上方之巨區塊；以該複數個移動向量搜尋複數個參考幀，並計算該每一該參考幀之一移動向量預測，得到該每一該參考幀的一預設搜尋視窗，該移動向量預測可涵蓋該預設搜尋視窗，其中該移動向量預測為該複數個移動向量的中位數值；藉由該移動向量預測以及該複數個巨區塊彼此的一相對關係，在該預設搜尋視窗畫出一最佳搜尋視窗，其中該最佳預設搜尋視窗比該預設搜尋視窗為小，該最佳搜尋視窗係在該預設搜尋視窗內；計算該複數個移動向量在每一該預設搜尋視窗的相關位置，得到每一該參考幀之該最佳搜尋視窗，其中於計算該複數個移動向量的步驟，係該複數個巨區塊位於每一參考幀的該預估巨區塊的左方巨區塊、上方巨區塊及右上方巨區塊，包含以下的步驟： 當該複數個移動向量在該預設搜尋視窗的範圍內時，由該複數個移動向量所涵蓋的一範圍作為該參考幀之該最佳搜尋視窗；當該複數個移動向量在該預設搜尋視窗的該範圍外時，由複數個移動向量對該預設搜尋視窗作一邊界切線，於該邊界切線後，所涵蓋的該預設搜尋視窗範圍，作為該參考幀之該最佳搜尋視窗；當該複數個移動向量在該預設搜尋視窗的該範圍外時，由該複數個移動向量對該預設搜尋視窗作該邊界切線，於該邊界切線後，超過該預設搜尋視窗的範圍時，以該預設搜尋視窗作為該參考幀之該最佳搜尋視窗；以及在每一該參考幀之最佳搜尋視窗計算一絕對差總合，選擇絕對差總合最小者做為預測該預估巨區塊的參考幀，藉以完成該影像位移偵測之快速搜尋視窗產生的方法。
TW099139654A 2010-11-18 2010-11-18 一種產生影像位移偵測之快速搜尋視窗的方法 TWI590083B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW099139654A TWI590083B (zh) 2010-11-18 2010-11-18 一種產生影像位移偵測之快速搜尋視窗的方法
US12/929,242 US20120128059A1 (en) 2010-11-18 2011-01-11 Method of adaptive motion estimation in search windows for video coding

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW099139654A TWI590083B (zh) 2010-11-18 2010-11-18 一種產生影像位移偵測之快速搜尋視窗的方法

Publications (2)

Publication Number Publication Date
TW201222285A TW201222285A (en) 2012-06-01
TWI590083B true TWI590083B (zh) 2017-07-01

Family

ID=46064356

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099139654A TWI590083B (zh) 2010-11-18 2010-11-18 一種產生影像位移偵測之快速搜尋視窗的方法

Country Status (2)

Country Link
US (1) US20120128059A1 (zh)
TW (1) TWI590083B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170332094A1 (en) * 2016-05-16 2017-11-16 Google Inc. Super-wide area motion estimation for video coding
US9990536B2 (en) 2016-08-03 2018-06-05 Microsoft Technology Licensing, Llc Combining images aligned to reference frame
IL271770B2 (en) 2017-06-30 2024-03-01 Huawei Tech Co Ltd Search area for motion vector refinement
CN109874017A (zh) * 2017-12-04 2019-06-11 晨星半导体股份有限公司 与移动补偿相关的影像处理装置及影像处理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6081209A (en) * 1998-11-12 2000-06-27 Hewlett-Packard Company Search system for use in compression
US6842483B1 (en) * 2000-09-11 2005-01-11 The Hong Kong University Of Science And Technology Device, method and digital video encoder for block-matching motion estimation
US6925123B2 (en) * 2002-08-06 2005-08-02 Motorola, Inc. Method and apparatus for performing high quality fast predictive motion search
NO318167B1 (no) * 2002-11-27 2005-02-14 Tandberg Telecom As Vektorprediksjon
JP2007242207A (ja) * 2006-03-13 2007-09-20 Fujitsu Ltd ディスク装置の媒体スキャン方法

Also Published As

Publication number Publication date
US20120128059A1 (en) 2012-05-24
TW201222285A (en) 2012-06-01

Similar Documents

Publication Publication Date Title
US7693219B2 (en) System and method for fast motion estimation
TWI383687B (zh) 實現移動估計的視訊編碼器與其移動估計方法
CN103475880B (zh) 一种基于统计分析的由h.264到hevc低复杂度视频转码方法
CN103647972B (zh) 运动图像解码方法和运动图像编码方法
CN108134939B (zh) 一种运动估计方法及装置
TWI597974B (zh) Dynamic image prediction decoding method and dynamic image prediction decoding device
TWI692246B (zh) 影像預測解碼方法
CN102047665A (zh) 运动图像编码方法以及运动图像解码方法
CN103079070A (zh) 视频编码器
KR19990012726A (ko) 동영상 움직임 벡터 코딩 방법
CN103327319B (zh) 利用缩放后的运动搜索识别运动矢量候选的方法与设备
US20080002772A1 (en) Motion vector estimation method
CN111479110B (zh) 针对h.266/vvc的快速仿射运动估计方法
JP2010504010A (ja) ビデオシーケンスにおけるデータ圧縮方法
CN108419082A (zh) 一种运动估计方法及装置
JP4786612B2 (ja) 動画像符号化装置の予測動きベクトル生成装置
TWI590083B (zh) 一種產生影像位移偵測之快速搜尋視窗的方法
CN102647598A (zh) 基于极大极小mv差值的h.264帧间模式优化方法
KR20130126698A (ko) 영상 부호화 장치, 영상 부호화 방법 및 영상 부호화 프로그램
JP5566786B2 (ja) 誤差絶対値和の推定システム及び推定方法
Bachu et al. Adaptive order search and tangent-weighted trade-off for motion estimation in H. 264
CN100584010C (zh) 功率最佳化的共位运动估测方法
Ahmed et al. Mean Predictive Block Matching (MPBM) for fast block-matching motion estimation
CN104038768B (zh) 一种场编码模式的多参考场快速运动估计方法及系统
Liu et al. Research and Optimization of Low-Complexity Motion Estimation Method Based on Visual Perception.

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees