[go: up one dir, main page]

TWI583179B - 用於視訊編碼之方法、編碼器及電腦可讀記憶體 - Google Patents

用於視訊編碼之方法、編碼器及電腦可讀記憶體 Download PDF

Info

Publication number
TWI583179B
TWI583179B TW103141224A TW103141224A TWI583179B TW I583179 B TWI583179 B TW I583179B TW 103141224 A TW103141224 A TW 103141224A TW 103141224 A TW103141224 A TW 103141224A TW I583179 B TWI583179 B TW I583179B
Authority
TW
Taiwan
Prior art keywords
frame
prediction
pixel
global
motion compensation
Prior art date
Application number
TW103141224A
Other languages
English (en)
Other versions
TW201528777A (zh
Inventor
阿圖 普里
尼雷許Ｎ 戈克雷
Original Assignee
英特爾公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/US2013/078114 external-priority patent/WO2014120374A1/en
Priority claimed from PCT/US2014/024694 external-priority patent/WO2015099816A1/en
Application filed by 英特爾公司 filed Critical 英特爾公司
Publication of TW201528777A publication Critical patent/TW201528777A/zh
Application granted granted Critical
Publication of TWI583179B publication Critical patent/TWI583179B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)

Description

用於視訊編碼之方法、編碼器及電腦可讀記憶體
本發明係有關於用於次世代視訊編碼之內容適應性主要移動補償預測之技術。
發明背景
視訊編碼器壓縮視訊資訊，使得可經由給定帶寬發送更多資訊。壓縮信號可隨後傳輸至具有解碼器的接收器，該解碼器在顯示之前解碼或解壓信號。
高效率視訊編碼(HEVC)為最新視訊壓縮標準，該最新視訊壓縮標準正在由ISO/IEC動態影像專家群(MPEG)及ITU-T視訊編碼專家群(VCEG)形成的視訊編碼聯合合作小組(JCT-VC)開發。正回應於未提供足夠的壓縮以用於開展較高解析度的視訊應用的先前H.264/AVC(先進視訊編碼)標準而開發HEVC。類似於先前視訊編碼標準，HEVC包括基本功能模組，諸如框內預測(intra prediction)/框間預測(inter prediction)、變換、量化、迴路內(in-loop)濾波及熵編碼。
目前的HEVC標準可試圖改良H.264/AVC標準之限制，諸如，對於所允許的預測分割及編碼分割的有限選 擇、有限的所允許的多個參考及預測產生、有限的變換區塊大小及實際變換、用於減少編碼人工因素的有限機構及無效率的熵編碼技術。然而，目前的HEVC標準可使用迭代方法來解決此類問題。
例如，在將要壓縮的視訊之日益增加的解析度及對高視訊品質的期望的情況下，使用諸如H.264的現有視訊編碼標準或甚至諸如H.265/HEVC的演進標準的編碼所需要的對應位元率/帶寬為相對高的。以上提及的標準使用擴展形式的傳統方法來隱式地解決不充分的壓縮/品質問題，但通常結果為有限的。
在次世代視訊(NGV)編解碼器專案之情境內開發的本描述解決設計先進的視訊編解碼器之一般問題，該先進的視訊編解碼器最大化可達成的壓縮效率，同時保持對於裝置上的實施充分地實用。例如，在歸因於良好的顯示器之可利用性的視訊之日益提高的解析度及對高視訊品質的期望的情況下，使用諸如較早的MPEG標準及甚至更近的H.264/AVC標準的現有視訊編碼標準所需要的對應位元率/帶寬為相對高的。H.264/AVC並未被認知為正提供足夠高的壓縮來開展更高解析度的視訊應用。
依據本發明之一實施例，係特地提出一種用於視訊編碼的電腦實施的方法，該方法包含：獲得像素資料之圖框且具有一當前圖框及一解碼後參考圖框，該解碼後參考圖框用作該當前圖框之一移動補償參考圖框；藉由移置 該解碼後參考圖框之至少一部分來形成一翹曲全域補償參考圖框，該移置係藉由使用全域移動軌跡來進行；決定一移動向量，該移動向量指示該至少一部分之移動及自基於該翹曲全域補償參考圖框的一定位至該當前圖框處的一定位的移動；以及至少部分基於該等移動向量且對應於該當前圖框上之一部分而形成一預測部分。
100‧‧‧次世代視訊編碼器/編碼器/系統/視訊編碼器/NGV編碼器/編碼器系統
101‧‧‧輸入視訊
102‧‧‧內容預分析器模組
103‧‧‧編碼控制器/編碼器控制器/編碼控制器模組
104‧‧‧適應性畫面組織器模組/適應性組織器模組/模組/適應性畫面組織器
105‧‧‧預測分割產生器模組/模組
106‧‧‧差分器
107‧‧‧編碼分割產生器模組/編碼分割產生器
107a、107b、114a、114b、205a、205b‧‧‧開關
108‧‧‧適應性變換模組
109‧‧‧適應性量化器模組/適應性量化模組
110‧‧‧適應性熵編碼器模組/適應性熵編碼器
111‧‧‧輸出位元串流/位元串流
112、203‧‧‧適應性逆量化模組
113‧‧‧適應性逆變換模組
114、205‧‧‧編碼分割組譯器/編碼分割組譯器模組
115‧‧‧加法器
116、207‧‧‧預測分割組譯器/預測分割組譯器模組
117‧‧‧區塊度分析器及解區塊濾波模組
118‧‧‧品質分析器及品質復原濾波模組
119‧‧‧多參考圖框儲存器及圖框選擇器/多參考控制/解碼後畫面緩衝器/DPR緩衝器/多參考圖框儲存器
120‧‧‧漸變產生及區域緩衝器模組/漸變產生器/漸變產生模組/模組/迴路內漸變產生器/迴路內漸變分析器及產生模組/漸變分析器及產生模組/單元
121‧‧‧合成產生及區域緩衝器模組/合成產生器/迴路內合成產生器/迴路內合成分析器及產生模組/合成分析器及產生模組
122‧‧‧移動估計器/移動估計器模組
123‧‧‧特性及移動濾波及預測器模組/特性及移動濾波預測器模組/特性及移動補償精度適應性濾波預測器模組/特性及移動補償濾波預測器模組/預測器
124‧‧‧框內方向性預測分析器及預測產生模組
125‧‧‧預測模式及參考類型分析器模組/預測模式分析器
126‧‧‧預測分析器及預測融合濾波模組/預測融合分析器及濾波器產生模組/預測模式及參考類型分析器
128‧‧‧相依邏輯模組
130‧‧‧漸變分析器及產生模組/漸變分析器/迴路外漸變分析器/迴路外分析器
132‧‧‧合成分析器及產生模組/合成分析器/迴路外合成分析器/迴路外分析器
133‧‧‧量化器配接器控制
135‧‧‧解碼迴路/區域解碼迴路/解碼器迴路
200‧‧‧解碼器/次世代視訊解碼器/NGV解碼器/視訊解碼器/解碼器系統
201‧‧‧位元串流/輸入位元串流
202‧‧‧適應性熵編碼器/適應性熵解碼器模組/適應性熵解碼器
204‧‧‧適應性逆變換/適應性逆變換模組
206‧‧‧加法器/差分器
208‧‧‧解區塊濾波器
209‧‧‧品質復原濾波/品質濾波器產生模組/品質復原濾波模組
210‧‧‧多參考圖框儲存器及圖框選擇器/儲存器或緩衝器/多參考圖框儲存器/解碼後畫面緩衝器
211‧‧‧漸變畫面產生器及緩衝器/漸變產生模組/漸變分析器及產生模組
212‧‧‧合成畫面產生及緩衝器/合成產生模組/合成分析器及產生模組/漸變產生模組
213‧‧‧特性及移動補償濾波預測器/特性及移動補償濾波預測器模組/特性及移動補償精度適應性濾波預測器模組/移動補償濾波預測器模組
214‧‧‧框內方向性預測產生模組
215‧‧‧預測模式選擇器/預測模式選擇器模組
216‧‧‧預測融合濾波器產生模組/預測融合濾波模組
217‧‧‧適應性畫面重組器/適應性畫面重組器/適應性畫面重組器模組
218‧‧‧內容後復原器/內容後復原器模組
219‧‧‧顯示視訊
220‧‧‧相依邏輯
300a‧‧‧次世代視訊編碼器/編碼器
300b‧‧‧次世代視訊解碼器/解碼器
310a‧‧‧預分析器子系統
320a‧‧‧分割器子系統
330‧‧‧預測子系統/示例性編碼器預測子系統
330a‧‧‧預測編碼子系統
330b‧‧‧預測解碼器子系統/子系統
340a‧‧‧變換編碼器子系統
350a‧‧‧濾波編碼子系統/濾波編碼器子系統
350b‧‧‧濾波解碼器子系統/子系統
360a‧‧‧熵編碼器系統/熵編碼子系統/熵編碼器子系統
360b‧‧‧熵解碼器子系統/熵解碼子系統/子系統
370a‧‧‧變換解碼器子系統
370b‧‧‧變換解碼器子系統/子系統
380a‧‧‧非分割器子系統
380b‧‧‧非分割器子系統/子系統
390b‧‧‧後復原器子系統/子系統
400‧‧‧修改後預測參考畫面/圖框序列
410‧‧‧當前畫面
412‧‧‧合成預測參考/先前解碼的參考/先前圖框
414‧‧‧先前解碼的參考/先前圖框
416‧‧‧先前解碼的參考/先前圖框
418‧‧‧先前解碼的參考/先前圖框
420‧‧‧模糊變化/所決定漸變參數
422‧‧‧增益變化/所決定漸變參數
424‧‧‧校準變化/所決定漸變參數/所決定的校準漸變參數
426‧‧‧主要移動變化/所決定漸變參數
428‧‧‧漸變預測參考/模糊補償漸變參考圖框
430‧‧‧漸變預測參考/增益補償漸變參考圖框
432‧‧‧漸變預測參考/增益補償漸變參考圖框
434‧‧‧漸變預測參考/校準補償漸變參考圖框
436‧‧‧漸變預測參考/主要移動補償漸變參考圖框
438‧‧‧漸變預測參/校準補償漸變參考圖框
440‧‧‧合成預測參考/超解析度(SR)畫面/合成參考圖框超解析度(SR)畫面
442‧‧‧合成預測參考/投影內插(PI)畫面/圖框
444‧‧‧合成預測參考/漸變校準補償超解析度(SR)畫面
446‧‧‧合成預測參考/漸變校準補償投影內插(PI)畫面
500、1100、1200、1300‧‧‧過程
504‧‧‧圖框/當前P-畫面
508‧‧‧先前SR圖框
510‧‧‧解交插區塊/區塊
512‧‧‧移動補償解交插區塊
514‧‧‧移動補償畫面
516‧‧‧向上取樣的解碼後P圖框
518‧‧‧SR圖框
600、800‧‧‧編碼器
610‧‧‧漸變類型分析器(MTA)及漸變畫面產生器(MPG)
620、720‧‧‧漸變預測參考(MPR)緩衝器
630‧‧‧合成類型分析器(STA)及合成畫面產生器(SPG)
640、740‧‧‧合成預測參考(SPR)緩衝器
700、3300‧‧‧解碼器
701‧‧‧示例性解碼器預測子系統/解碼器預測子系統
710‧‧‧漸變畫面產生器(MPG)
730‧‧‧合成畫面產生器(SPG)
805‧‧‧增益估計器及補償預測產生器
810‧‧‧模糊估計器及補償預測產生器
815‧‧‧主要移動估計器及補償預測產生器/全域移動估計器及補償預測產生器
820‧‧‧校準估計器及補償預測產生器
825、925‧‧‧增益補償(GC)畫面緩衝器
830、930‧‧‧模糊補償(BC)畫面緩衝器
835、935‧‧‧主要移動補償(DC)畫面緩衝器
840、940‧‧‧校準補償(RC)畫面緩衝器
845‧‧‧超解析度濾波選擇器及預測產生器
850‧‧‧投影軌跡分析器及預測產生器
855、955‧‧‧超解析度(SR)畫面緩衝器
860、960‧‧‧投影內插(PI)畫面緩衝器
905‧‧‧增益補償預測產生器
910‧‧‧模糊補償預測產生器
915‧‧‧主要移動補償預測產生器
920‧‧‧校準補償預測產生器
945‧‧‧超解析度畫面產生器
950‧‧‧投影軌跡畫面產生器
1000‧‧‧主要移動補償(DMC)畫面/翹曲參考圖框
1002‧‧‧原始或當前視訊畫面/當前圖框
1004、1012‧‧‧前景物件
1006、1018‧‧‧背景
1008‧‧‧GMC漸變畫面
1014‧‧‧最終定位/前景星形物件
1016‧‧‧差量校正移動向量
1102、1202、1204、1302~1328、2602~2626‧‧‧操作
1400‧‧‧解碼後參考畫面/參考畫面
1402‧‧‧GMC翹曲圖框或畫面/四邊形GMC漸變或翹曲畫面/GMC漸變畫面/GMC漸變畫面(梯形)/四邊形
1404~1408、1602~1606‧‧‧移動軌跡
1500‧‧‧GMC漸變參考畫面或圖框/較大填補矩形/矩形/翹曲參考矩形
1506‧‧‧填補
1600‧‧‧虛擬GMC漸變畫面/虛擬參考畫面/漸變參考畫面
1700‧‧‧GMC漸變參考圖框/翹曲及填補GMC參考畫面/GMC參考畫面/翹曲參考圖框
1702、2002、2202、2300、2702、2802、2902、3002、3100‧‧‧當前圖框
1704‧‧‧星形物件
1708、2008‧‧‧翹曲四邊形
1714‧‧‧差量移動向量△mv1
1716‧‧‧差量移動向量△mv2
1718‧‧‧差量移動向量△mv3
1800‧‧‧主要移動補償編碼器子系統/增益補償編碼器子系統/NGV或修改後HEVC編碼器/編碼器子系統/編碼器
1802‧‧‧解碼後預測參考(DPR)畫面緩衝器/DPR緩衝器/DPR畫面緩衝器
1804‧‧‧全域或主要移動估計器及補償預測畫面/影像塊/分割產生器
1806‧‧‧主要移動補償區域/畫面緩衝器/區域/畫面緩衝器
1808‧‧‧其他漸變分析器、產生器及畫面緩衝器
1810‧‧‧其他合成分析器、產生器及畫面緩衝器
1812‧‧‧區塊移動估計器及分割移動組譯器
1814‧‧‧移動補償濾波預測器/移動補償預測器/預測器
1815‧‧‧內插子集/內插單元
1816‧‧‧預測模式及參考類型分析器
1818‧‧‧框內方向性預測分析器及產生器/框內方向性預測器
1820、2420、3224‧‧‧熵編碼器
1822‧‧‧內容區塊屬性分析器及近似區部分段器
1824‧‧‧映射器
1900‧‧‧主要移動補償編碼器子系統/增益補償編碼器子系統/NGV或修改後HEVC解碼器/解碼器
1901、2518‧‧‧熵解碼器
1902‧‧‧DPR緩衝器/DPR畫面緩衝器
1904‧‧‧全域或主要移動補償預測畫面/影像塊/分割產生器/DMC預測器
1906‧‧‧主要移動補償區域/畫面緩衝器
1908、3208‧‧‧其他漸變產生器及畫面緩衝器
1910‧‧‧其他合成產生器及畫面緩衝器
1912‧‧‧移動補償預測單元/預測單元/移動補償預測器/MC預測器
1914、2514‧‧‧預測模式選擇器
1915‧‧‧內插器單元或子系統
1916‧‧‧框內方向性預測產生器
2000‧‧‧翹曲參考/翹曲參考圖框/圖框
2004、2804‧‧‧前景影像塊
2006、2806、2808‧‧‧背景影像塊
2010、2012、2204、2706~2710、2928、2930‧‧‧影像塊
2014、2016‧‧‧差量mv
2100‧‧‧翹曲參考圖框/矩形翹曲GMC參考圖框/GMC參考圖框/圖框
2102‧‧‧當前圖框/圖框
2104‧‧‧邊沿影像塊
2106‧‧‧邊沿影像塊/當前圖框影像塊半
2108‧‧‧前景(FG)影像塊/影像塊/當前圖框影像塊半
2110‧‧‧背景(BG)影像塊/影像塊/當前圖框影像塊
2116‧‧‧翹曲GMC圖框
2120‧‧‧翹曲及調整後影像塊半
2122‧‧‧差量移動向量/差量mv/翹曲及調整後影像塊半
2124‧‧‧差量移動向量/差量mv
2126‧‧‧翹曲及調整後影像塊
2200‧‧‧翹曲參考圖框/GMC參考圖框/矩形GMC參考畫面/圖框
2206‧‧‧四元組/四分之一影像塊
2208‧‧‧四元組
2210‧‧‧影像塊/完整的背景影像塊
2114‧‧‧翹曲GMC畫面
2216‧‧‧翹曲及調整後參考四分之一影像塊
2220‧‧‧參考完整的影像塊
2222、2224‧‧‧差量移動向量
2302‧‧‧頭部及肩部視圖
2304‧‧‧前景(FG)區部層/FG區部層
2306‧‧‧背景(BG)區部層、背景(BG)區部層
2308‧‧‧星
2310‧‧‧GMC參考圖框或畫面(或翹曲參考圖框)
2314、2326‧‧‧翹曲定位
2316、2330‧‧‧調整後定位
2318‧‧‧校正差量mv(△mvb)
2322‧‧‧GMC參考圖框
2328‧‧‧校正差量mv(△mvf)
2400‧‧‧主要移動補償編碼器子系統/編碼器
2402、2502、3302‧‧‧DPR畫面緩衝器
2404‧‧‧全域或主要移動估計器及補償預測畫面產生器/全域或主要移動估計器及補償預測畫面/區部產生器
2406、3206‧‧‧主要移動補償預測區域/畫面緩衝器
2412‧‧‧區部移動估計器
2414、3214‧‧‧移動補償預測器
2416、3216‧‧‧預測模式及參考類型分析器/分析器
2418、3218‧‧‧框內方向性預測分析器及產生器
2426‧‧‧內容分析器及區部分段器
2500‧‧‧主要移動補償編碼器子系統/以區部為基礎的解碼器/解碼器
2504‧‧‧全域移動補償預測畫面產生器/DMC預測器/全域或主要移動補償預測畫面/區部產生器
2512‧‧‧區部特性及移動補償適應性精度(AP)濾波預測器/MC預測器
2600‧‧‧電腦實施的示例性過程/示例性過程/過程
2700、2800、2900、3000‧‧‧參考圖框
2704‧‧‧影像塊(或矩形區部)
2712a、2712b、2712c‧‧‧全域移動軌跡(gmt)
2714a~2714c、2716a~2716c‧‧‧全域移動軌跡
2810‧‧‧鄰接背景影像塊
2812‧‧‧翹曲影像塊
2814‧‧‧主要移動軌跡/軌跡/背景軌跡
2816‧‧‧軌跡/背景軌跡
2904‧‧‧前景完整影像塊
2906、2922、2926‧‧‧二分之一影像塊
2910、3004、3010‧‧‧完整影像塊
2912‧‧‧水平二分之一影像塊
2914‧‧‧垂直二分之一影像塊
2916‧‧‧完整影像塊/背景完整影像塊
2918、3020、3022‧‧‧軌跡
2920‧‧‧原始定位
2924‧‧‧影像塊/翹曲軌跡
3006、3008、3012、3024‧‧‧四分之一影像塊
3014‧‧‧翹曲影像塊或矩形
3016‧‧‧移位定位
3018‧‧‧對應的完整背景影像塊/軌跡
3104‧‧‧第一區部層
3106‧‧‧頭部及肩部
3108‧‧‧過去解碼後參考圖框/參考圖框/圖框
3110‧‧‧翹曲BG區部層/漸變區部層/翹曲區部層
3014‧‧‧未翹曲定位/翹曲影像塊或矩形
3016‧‧‧翹曲定界框區部/移位定位
3112a、3112b、3112c‧‧‧gmt或dmt DMC參數
3116‧‧‧FG區部層/漸變區部層/翹曲區部層
3118‧‧‧翹曲頭部及肩部(物件)定位
3120a、3120b、3120c‧‧‧gmt(或dmt)DMC參數
3124‧‧‧BG區部層
3126‧‧‧整個圖框
3128‧‧‧重疊區域
3130‧‧‧孔
3200‧‧‧編碼器/編碼器系統
3202‧‧‧DPR畫面緩衝器/DPR緩衝器
3204‧‧‧全域移動估計器及補償預測畫面產生器
3208‧‧‧其他漸變分析器產生器及畫面緩衝器
3210‧‧‧合成分析器、產生器及畫面緩衝器
3212‧‧‧區塊移動估計及分割移動組譯器
3220‧‧‧主要移動估計器及補償預測畫面產生器
3222‧‧‧主要移動補償預測區域緩衝器
3204‧‧‧全域移動補償預測畫面產生器
3212‧‧‧區塊移動補償預測器
3218‧‧‧主要移動補償預測畫面產生器/主要移動補償預測畫面影像塊產生器
3210‧‧‧合成產生器及畫面緩衝器
3300‧‧‧解碼器系統
3400‧‧‧視訊編碼過程/過程
3401~3413‧‧‧動作
3500‧‧‧示例性視訊編碼系統/視訊編碼系統
3501‧‧‧成像裝置
3502、3708、3613‧‧‧天線
3503、3610‧‧‧處理器
3504‧‧‧記憶體儲存器
3505‧‧‧顯示裝置
3520‧‧‧圖形處理單元
3550‧‧‧邏輯電路
3600‧‧‧示例性系統/系統
3602‧‧‧平台
3605‧‧‧晶片組
3612‧‧‧記憶體
3614‧‧‧儲存器
3615‧‧‧圖形子系統
3616‧‧‧應用程式/軟體應用程式
3618‧‧‧無線電
3620、3704‧‧‧顯示器
3630‧‧‧內容服務裝置
3640‧‧‧內容傳送裝置
3650‧‧‧導航控制器/控制器
3660‧‧‧網路
3700‧‧‧小形狀因數裝置/裝置
3702‧‧‧外殼
3706‧‧‧輸入/輸出(I/O)裝置
3710、3622‧‧‧使用者介面
3712‧‧‧導航特徵
A2、B2、C2‧‧‧區塊
D‧‧‧箭頭
本文所描述之材料以實例之方式而非以限制之方式例示於附圖中。出於例示的簡單性及清晰性，諸圖中所例示的元件未必按比例繪製。例如，一些元件之尺寸可出於清晰性而相對於其他元件誇示。此外，在認為適當的情況下，已在諸圖間重複參考標號來指示對應或類似元件。在附圖中：圖1為示例性次世代視訊編碼器的例示性圖表；圖2為示例性次世代視訊解碼器的例示性圖表；圖3(a)為示例性次世代視訊編碼器及子系統的例示性圖表；圖3(b)為示例性次世代視訊解碼器及子系統的例示性圖表；圖4為修改後預測參考畫面的例示性圖表；圖5為用於說明提供超解析度合成參考圖框的方法的圖框序列的圖表；圖6為示例性編碼器子系統的例示性圖表；圖7為示例性解碼器子系統的例示性圖表； 圖8為示例性編碼器預測子系統的例示性圖表；圖9為示例性解碼器預測子系統的例示性圖表；圖10為展示用以例示使用移動向量的主要移動補償的圖框的例示性圖表；圖11為執行主要移動補償之方法的流程圖；圖12為主要移動補償之另一方法的流程圖；圖13為使用移動向量的主要移動補償之詳細方法的流程圖；圖14至圖16為展示用以說明全域移動補償的圖框的例示性圖表；圖17為展示使用移動向量的主要移動補償的圖框的例示性圖表；圖18為在編碼器處的主要移動補償子系統的圖表；圖19為在解碼器側處的主要移動補償子系統的圖表；圖20至圖23為展示使用移動向量的替代性主要移動補償技術的圖框的圖表；圖24為在編碼器處的主要移動補償子系統的圖表；圖25為在解碼器側處的主要移動補償子系統的圖表；圖26為使用區域全域移動補償的主要移動補償之詳細方法的流程圖；圖27至圖31為使用區域全域移動補償的替代性主要移動補償技術的圖表；圖32為在編碼器處的主要移動補償子系統的圖表；圖33為在解碼器側處的主要移動補償子系統的圖表； 圖34為操作中的示例性視訊編碼系統及視訊編碼過程的圖表。
圖35為示例性視訊編碼系統的例示性圖表；圖36為示例性系統的例示性圖表；以及圖37例示示例性裝置。
較佳實施例之詳細說明
現在參考附圖來描述一或多個實施方案。雖然論述特定組態及佈置，但是應理解此僅出於例示性目的而進行。熟習相關技術者將認識到，可在不脫離本描述之精神及範疇的情況下使用其他組態及佈置。熟習相關技術者將顯而易見，本文所描述之技術及/或佈置亦可使用於除本文所描述之系統及應用之外的各種其他系統及應用中。
雖然以下描述闡述了可在諸如例如系統單晶片(SoC)架構的架構方面得到證明的各種實施方案，但是本文所描述之技術及/或佈置之實施方案不局限於特定架構及/或計算系統，且可藉由用於類似目的的任何架構及/或計算系統來實施。例如，使用例如多個積體電路(IC)晶片及/或封裝，及/或各種計算裝置及/或諸如機上盒(set top box)、智慧型電話等的消費者電子(CE)裝置的各種架構可實施本文所描述之技術及/或佈置。此外，雖然以下描述可闡述諸如邏輯實施方案、系統組件之類型及相互關係、邏輯分割/整合選擇等的許多特定細節，但是可在無此類特定細節的情況下實踐所請求標的。在其他情況下，可不詳細地展示 諸如(例如)控制結構及完全的軟體指令序列的一些材料，以便不使本文所揭示的材料難以理解。
本文所揭示的材料可以硬體、韌體、軟體或其任 何組合來實施。本文所揭示的材料亦可實施為儲存在機器可讀媒體上的指令，該等指令可由一或多個處理器讀取且執行。機器可讀媒體可包括用於儲存或傳輸以可由機器(例如，計算裝置)讀取的形式之資訊的任何媒體及/或機構。例如，機器可讀媒體可包括唯讀記憶體(ROM)；隨機存取記憶體(RAM)；磁碟儲存媒體；光儲存媒體；快閃記憶體裝置；電、光、聲或其他形式的傳播信號(例如，載波、紅外信號、數位信號等)及其他。
在說明書中對「一個實施方案」、「一實施方案」、 「一示例性實施方案」等的參考指示所述實施方案可包括 特定特徵、結構或特性，但每個實施例可未必包括該特定特徵、結構或特性。此外，此類用語未必涉及相同實施方案。此外，當結合一實施例描述特定特徵、結構或特性時，認為該特定特徵、結構或特性在熟習此項技術者的用以結合無論本文是否明確描述的其他實施方案來實現此特徵、結構或特性的知識內。
以下描述與用於次世代視訊編碼的主要移動補 償預測有關的系統、設備、製品及方法。
如以上所論述，H.264/AVC編碼標準雖然其代表 優於過去MPEG標準的改良，但是其由於以下理由而在預測之選擇方面仍為極具限制性的：對於所允許的預測分割之 選擇為極其有限的，用於預測分割的預測之準確度為有限的，且所允許的多個參考預測為極其有限的，因為該等參考預測為基於過去解碼後圖框而離散的，而非在許多圖框上的解析度之累積。諸如H.264的最新技術標準之以上提及的限制由HEVC中的使用迭代方法來調整此等限制的目前工作認識到。
此外，改良的預測之問題當前以特定方式解決，該解決係藉由在過去及/或未來將解碼後多個參考用於視訊之框間編碼中的移動補償預測。進行此舉，寄希望於在過去或未來圖框中，可存在相較於過去圖框(用於P-畫面(P-picture)/片段)中或過去及未來圖框(用於B-畫面(B-picture)/片段)中的與正在預測的當前圖框之區域更類似的一些區域。
如以下將更詳細地描述，一些形式的預測(諸如本揭示案之主要移動補償預測程序)可並非現有標準可支援的。在次世代視訊(NGV)編解碼器專案之情境內開發本揭示案，以解決設計新視訊編碼方案之問題，該新視訊編碼方案最大化壓縮效率，同時保持對於裝置上的實施實用。具體而言，本文揭示稱為區域適應性主要移動補償預測(或簡稱為主要移動補償預測)的新型預測，該區域適應性主要移動補償預測提供改良的預測，該改良的預測又減少預測誤差，藉此改良整體視訊編碼效率。
更具體而言，本文所描述之技術可不同於以標準為基礎的方法，因為該技術自然地在視訊編碼過程中併入 以重要內容為基礎的適應性，以達成更高的壓縮。相比之下，以標準為基礎的視訊編碼方法通常傾向於藉由舊式方法之調適及微調來擠壓更高的增益。例如，所有以標準為基礎的方法嚴重依賴於移動補償框間編碼之調適及進一步調校(tweaking)作為主要手段來減少預測差異以達成增益。另一方面，本文所揭示的一些視訊編碼實施方案除開拓歸回因於移動的框間差異之外亦開拓自然地存在於典型視訊場景中的其他類型之框間差異(增益、模糊、校準、主要/全域移動)，以及自僅過去解碼後圖框或過去解碼後圖框及未來解碼後圖框之組合合成的圖框之預測效益。在NGV編碼中，用於預測的變形圖框包括主要移動補償(DMC)預測。在本文所揭示的一些視訊編碼實施方案中，用於預測的合成圖框包括超解析度(SR)圖框及PI(投影內插)圖框。除開拓除移動之外的框間差異之其他來源的問題之外，本文所揭示的一些視訊編碼實施方案在其他方面亦不同於標準。
關於主要移動補償(DMC)，改良用於預測的移動 補償為用以在最近的視訊編碼標準及解決方案中達成更高編碼效率的方法之一。例如，在以區塊為基礎的移動補償的情況下，在移動估計期間使正在分析的當前圖框之區塊(諸如像素之16x16區塊)與先前解碼後參考圖框中的類似區塊匹配。圖框彼此在x方向及y方向上相對於區塊網格的移位被稱為移動向量，其中『x』分量及『y』分量被稱為mvx及mvy。移動估計過程因此涉及估計區塊之移動以決定用於 每一區塊的mv(mvx,mvy)。所計算的移動估計隨後經有效地編碼(藉由首先以預測差分化該等所計算的移動估計，及差異之熵編碼)且經由位元串流發送至解碼器，在該解碼器處該等所計算的移動估計經解碼(藉由熵解碼及使預測重新加入)且用於移動補償。在高效壓縮方案中，藉由將固定內插濾波器或適應性內插濾波器使用於預測區塊之產生來以高準確度(諸如¼像素或1/8像素準確度而非整數像素準確度)執行移動估計/補償。此外，通常區塊大小自身可為正方形或非正方形(例如，16x8、8x16)且具有多個大小(例如，4x4、8x8、16x16及其他)。
雖然H.264包括產生源自以區塊為基礎的移動向量的預測的若干良好方式，但是此可導致兩個限制：(1)以區塊為基礎的移動向量不考慮區塊大小或參考而全部基於平移移動之假定來模型化，此舉可忽視圖框之間的替代性類型之移動且導致大預測誤差，且(2)以區塊為基礎的移動向量雖然其提供區域移動之良好補償，但是與以區塊為基礎的移動相關聯的固有的大量位元成本可限制另外可為可能的潛在增益。改良已涉及可變大小的區塊之使用，該使用幫助減少管理負擔，但管理負擔減少仍相當有限。
對於經歷諸如攝像機搖移(平移)、縮放、旋轉的全域移動的視訊內容，或在具有特殊效應(諸如剪切)的視訊內容中，以區塊為基礎的平移移動表示及移動向量之編碼可為尤其無效率的。因為人們認識到視訊中的全域移動可由於因平移移動模型而產生的大預測及大量移動向量管理 負擔而對以區塊為基礎的預測提出挑戰，所以研究替代性方法，該替代性方法由於其適於非平移移動/複雜移動的潛力而直接估計/補償全域移動，及移動參數之更緊湊表示，因為每畫面僅需要一次該等移動參數(請注意，本文中「圖框」一詞與「畫面」一詞可互換地使用)。在用於全域移動的移動模型之選擇之中，提供顯著改良的兩個模型為仿射模型及透視模型。仿射模型使用六個參數且能夠解決大範圍的複雜移動(平移、縮放、剪切及旋轉)。在典型過程中，模型導致翹曲圖框，該翹曲圖框用以藉由讀取翹曲圖框上之區塊來形成預測。透視模型比仿射模型更複雜，且除針對仿射所列表的移動之外，此方法亦可包括處置透視圖中的變化。由於透視模型之較高複雜性，在此並不詳細論述該透視模型，但一般而言該透視模型可以與仿射模型相同的方式應用。以下論述至少如由本文系統及過程使用的用於全域移動補償的細節。
雖然以仿射模型為基礎的全域移動估計/補償 (GME/C)之使用為對於具有全域移動的場景優於以區塊為基礎的平移移動之使用的顯著改良，但是視訊場景通常可分類為以下三種狀況之一：(1)具有純全域移動的場景，(2)具有純區域移動的場景及(3)含有區域移動及全域移動兩者的場景。因此，通常，需要組合全域移動技術及區域移動技術兩者以用於在視訊編碼中達成良好效率。MPEG-4第2部分支援全域移動技術及區域移動技術之極其基本的組合。具體而言，MPEG-4第2部分支援以16x16亮度區塊(及 該亮度區塊之選擇性的8x8子區塊)為基礎的區域移動估計/補償、開發以全域移動軌跡(gmt)參數為基礎的移動補償的以畫面為基礎的仿射模型，及用於區域移動或全域移動(lgm)的以16x16區塊乘區塊為基礎的旗標，該以16x16區塊乘區塊為基礎的旗標允許何時使用哪種方法之選擇。
雖然MPEG-4第2部分標準表示優於過去的 MPEG標準或ITU-T標準的改良(由於包括全域移動及其他態樣)，但是該標準仍由於以下原因而僅提供移動補償預測中的有限改良。雖然允許區域移動補償及全域移動補償之組合，但是區域移動補償發生在極小的區塊大小(至多16x16大小)處。因此，當使用區域移動補償與全域移動補償時，在基於16x16以信號發出中存在相當大的管理負擔。 此管理負擔減少歸因於GMC的可能增益。另外，因為P-畫面僅使用一個參考圖框且B-畫面僅使用兩個，所以GMC限於僅應用於剛剛過去的解碼後圖框。此外，全域移動參數對於整個畫面(包括發現區域移動為更適合的區塊)僅計算一次，從而使全域移動參數通常為不準確的，尤其在含有區域移動及全域移動兩者之混合的圖框的狀況下。另外，除使用或不使用全域移動補償預測之外，對GMC產生的預測之調整或校正為不可能的。最後，用於產生內插(例如¼或1/8像素精度)的過程為簡單化的，且導致模糊的預測。
此等困難藉由新的及創新方法解決，該等方法由包括藉由本文所描述之主要移動補償進行的改良的預測的NGV視訊編碼系統使用。藉由一實例，因為視訊中的全域 移動可對以區塊為基礎的預測提出挑戰(由於因平移移動模型而產生的較大預測及大量移動向量管理負擔)，所以開發替代性方法，該替代性方法由於其能夠更好地適於非平移移動或複雜移動之潛力而直接估計且補償全域移動，且移動參數之更緊湊的表示現在為根據需要可利用的，諸如每圖框一次。在用於全域移動的移動模型之選擇之中，提供顯著效益的兩個模型為仿射模型及透視模型。仿射模型使用六個參數且能夠解決大範圍的複雜移動，而透視模型為更複雜的且更靈活的，但可使用高達八個參數。仿射模型可對於許多狀況為足夠的，且可允許用於諸如平移、縮放、剪切及旋轉的類型之移動之全域補償。
雖然以仿射模型為基礎的全域移動估計或補償 (GME/C)之使用為對於具有全域移動的場景優於以區塊為基礎的平移移動之使用的顯著改良，但是事實上在此組合以區塊為基礎的區域移動及全域移動兩者以用於更好的編碼效率結果。此外，仿射模型亦可應用於場景中的非重疊影像塊或區部/物件之移動補償。此導致多個全域移動參數集，且將過程稱為執行主要移動補償(DMC)。
如本文所使用，「編碼器(coder)」一詞可代表編 碼器(encoder)及/或解碼器。類似地，如本文所使用，「編碼(coding)」一詞可代表經由編碼器執行視訊編碼(encoding)及/或經由解碼器執行視訊解碼。例如，視訊編碼器及視訊解碼器兩者可為能夠編碼視訊資料的編碼器之實例。另外，如本文所使用，「編解碼器」一詞可代表任何過程、程 式或操作集合，諸如例如可實施編碼器及/或解碼器的軟體、韌體及/或硬體之任何組合。此外，如本文所使用，用語「視訊資料」可代表與視訊編碼相關聯的任何類型之資料，諸如例如視訊圖框、影像資料、編碼位元串流資料等。
參考圖1，示例性次世代視訊編碼器100，其根據 本揭示案之至少一些實施方案佈置。如所示，編碼器100可接收輸入視訊101。輸入視訊101可包括用於編碼諸如例如視訊序列之輸入圖框的任何適合的輸入視訊。如所示，可經由內容預分析器模組102接收輸入視訊101。內容預分析器模組102可經組配來執行對輸入視訊101之視訊圖框之內容的分析，以決定用於改良視訊編碼效率及速度效能的各種類型之參數。例如，內容預分析器模組102可決定水平梯度資訊及垂直梯度資訊(例如，Rs、Cs)、方差、每圖框空間複雜性、每圖框時間複雜性(tpcpx)、場景變化偵測、移動範圍估計、增益偵測、預測距離估計(pdist)、物件數目估計、區部邊界偵測、空間複雜性映射計算、焦點估計、膠片顆粒估計等。由內容預分析器模組102產生的參數可由編碼器100使用(例如，經由編碼控制器103)且/或經量化並通訊至解碼器。如所示，視訊圖框及/或其他資料可自自內容預分析器模組102傳輸至適應性畫面組織器模組104(亦被稱為階層式畫面群組結構組織器)。適應性組織器模組104決定畫面群組結構及群組中的每一畫面之畫面類型，並且根據需要以編碼順序重新排序畫面。適應性組織器模組104輸出指示畫面群組結構及畫面類型之控制信號(以下詳述 用於系統100上所示的輸出/輸入控制的縮寫)。本文所描述之NGV編碼使用I-畫面(I-picture)(框內編碼)、P-畫面(由根據過去參考圖框/先前參考圖框進行的框間預測所形成)及F-畫面(F-picture)(功能如以下所述)。在一些狀況下，亦可使用B-畫面。在一些實例中，適應性畫面組織器模組104可包括圖框部分產生器，該圖框部分產生器經組配來產生圖框部分。在一些實例中，可將內容預分析器模組102及適應性畫面組織器模組104一起視為編碼器100之預分析器子系統。
如所示，視訊圖框及/或其他資料可自適應性畫 面組織器模組104傳輸至預測分割產生器模組105。在一些實例中，預測分割產生器模組105首先可將圖框或畫面劃分成影像塊或超區段等(在本文中可以可互換地使用「圖框」、「畫面」及「影像」等詞，除非另有說明且除圖框用以一般地代表不必分配特定畫面類型(例如，I-畫面、P-畫面、F畫面或B畫面)的圖框之外)。在一些實例中，可提供額外模組(例如，模組104與模組105之間的模組)以用於將圖框劃分成影像塊或超區段等。藉由用於NGV編碼之一實例，可將圖框劃分成32x32像素或64x64像素的影像塊，其中64x64對於所有標準定義及較高解析度的視訊用於所有畫面類型(I-畫面、P-畫面或F-畫面)之編碼。對於低解析度序列，仍將64x64用於I-畫面及F-畫面之編碼，而將32x32用於P-畫面。
藉由一實例，預測分割產生器模組(其亦可被稱 為預測Kd樹(Pred KdTree)/二叉樹(BiTree)分割產生器)105可隨後將每一影像塊或超區段劃分成潛在預測分割。在一些實例中，可使用分割技術來決定潛在預測分割，該分割技術諸如例如k-d樹分割技術、二叉樹分割技術等，該等潛在預測分割可基於個別視訊圖框之畫面類型(例如，I-畫面、P-畫面或F-畫面)、正在分割的圖框部分之特性等來決定。藉由一實例，若正在編碼I-畫面，則將每一影像塊或幾乎所有影像塊進一步劃分成以Kd樹為基礎的分割，該等以Kd樹為基礎的分割可劃分空間，直至達到一組最小尺寸為止，且每次在一個維度上劃分。用於劃分空間的選項可包括不進一步劃分、劃分成相同的兩半、劃分成為空間之1/4及3/4的兩個部分或劃分成為空間之3/4及1/4的兩個部分。 因此，在使用64x64作為最大大小(且允許4x4的最小大小)的I-畫面的情況下，若不施加其他約束，則可產生影像塊之極大數目之分割。例如，一約束將如下設定：針對64x64影像塊預先決定第一對裁切以在水平維度及垂直維度兩者上平分空間，以便形成四個32x32子影像塊，且隨後藉由Kd樹分割對每一32x32子影像塊進行再分割。其他限制亦可能減少可能的分割組合之數目。
I-畫面影像塊之此等分割被稱為預測分割，因為 每一影像塊分割可用於空間預測(方向角預測或其他類型之預測)及預測差異之編碼。同樣地，除針對較低解析度，P-畫面分割以32x32影像塊開始且未使用以Kd樹為基礎的分割而是使用更簡單的二叉樹分割之外，亦可以此方式分 割P-畫面影像塊以用於預測。二叉樹分割將空間劃分成兩個相同部分，每次一個維度，在兩個維度之間交替。此外，P-畫面分割主要使用移動(具有一或多個參考)來預測而非空間預測，但是一些子分割可使用框內空間預測來處理(例如)未覆蓋的背景。對於用以較高解析度的畫面大小的標準定義，P-畫面在被劃分之前以64x64影像塊開始。最後，F-畫面亦使用二叉樹分割且對於產生主要使用移動(具有一或多個分割)的預測分割以64x64影像塊開始，但是一些子分割亦可使用空間預測(用於框內編碼)。
或者，在可於HEVC上執行本文所描述之方法的 情況下，其中可將亦稱為編碼樹單元(CTU)的最大編碼單元(LCU)劃分成編碼樹區塊(CTB)，該等編碼樹區塊自身劃分成編碼單元(CU)。此LCU可為64x64像素。因此，如本文所使用的影像塊涵蓋HEVC且通常代表諸如LCU或至少比16x16像素之巨集區塊(MB)更大的區塊的大區塊，除非上下文另有建議。
在NGV編碼中，存在比簡單地使用移動向量來產生預測多得多的框間預測資料之產生，且在其他地方予以論述。在P-畫面及F-畫面編碼中，藉由包括預測模式來識別每一子分割之預測。預測模式包括跳過(skip)、自動(auto)、框內(intra)、框間(inter)、多參考(multi)及分裂(slip)。當例如自參考圖框至正在重建的當前圖框不存在變化或存在相對小的變化時，使用跳過模式以跳過預測編碼，使得像素資料無需經編碼且在解碼時僅自一圖框複製至另一圖 框。當僅需要部分資料時使用自動模式，使得例如可無需移動向量，但仍使用變換係數來編碼資料。框內模式意味圖框或分割經空間編碼。分裂意味圖框或分割需要在經編碼之前分裂成較小部分或分割。框間模式意味針對當前圖框決定多個參考圖框，且藉由單獨使用每一參考來獲得移動估計，且隨後將最佳結果用於移動預測資料。多參考模式亦使用多個參考圖框，但在此狀況下，組合(諸如，平均或加權平均)來自多個參考圖框的移動估計資料，以獲得將用於預測的單個結果。
預測分割產生器模組105之輸出之一可為影像塊 之數以百計的潛在分割(且或多或少地取決於置於分割上的限制)。此等分割經編索引為1...m，且提供至編碼控制器103以選擇最佳可能的預測分割以供使用。如所提及，所決定的潛在預測分割可為用於預測(例如，框間預測或框內預測)的分割，且可描述為預測分割或預測區塊等。
在一些實例中，所選擇預測分割(例如，預測分 割)可自潛在預測分割決定。例如，所選擇預測分割可基於對於每一潛在預測分割使用特性及以移動為基礎的多參考預測或框內預測來決定預測，及決定預測參數。對於每一潛在預測分割，可藉由以預測像素差分化原始像素來決定潛在預測誤差，且所選擇預測分割可為具有最小預測誤差的潛在預測分割。在其他實例中，可基於率失真最佳化來決定所選擇預測分割，該率失真最佳化包括基於用於編碼分割的位元之數目及與預測分割相關聯的預測誤差的加權 評分。
如所示，可在差分器(differencer)106處以預測分 割(例如，基於一或多個參考圖框及諸如框間預測資料或框內預測資料的其他預測性資料進行的當前圖框之預測分割之預測)差分化所選擇預測分割(例如，當前圖框之預測分割)。以下將進一步論述預測分割之決定，且該決定可包括如圖1中所示的解碼迴路135。關於差異，亦使用預測區塊來差分化原始分割區塊以決定授權編碼的任何殘餘信號是否存在。因此，並非影像塊之所有子分割事實上需要經編碼(使用例如變換編碼)，因為預測可能對於某些子分割已為足夠的。
另外，可將指示分割不可由預測單獨補償(諸如單獨移動補償)的來自差分化的殘餘或殘餘資料(例如，分割預測誤差資料)傳輸至編碼分割產生器模組(或藉由一實例，編碼二叉樹分割產生器)107，以便進一步再分割成較小分割以用於變換編碼(編碼分割)，且藉由一實例尤其用於P-畫面及F-畫面。在P-畫面或F-畫面或圖框中，在極簡單的內容及/或大量化器步驟大小存在的一些狀況下，編碼分割可等於整個影像塊之大小，或編碼分割及預測分割可在此等狀況下具有相同大小。因此，一些P-畫面及F-畫面影像塊可不含編碼分割、含有一個編碼分割或含有多個編碼分割。此等編碼分割經編索引為1...n，且提供至編碼控制器103以自給定備選項(choice)選擇預測及編碼分割之最佳可能的組合。
另外，在此等實例中之一些中，諸如對於任何畫 面類型(I-畫面、F-畫面或P-畫面)中的預測分割之框內預測，或另外在預測分割未進一步劃分成編碼分割(其中跳過編碼分割)的情況下，可經由開關107a及107b繞過(bypass)編碼分割產生器模組107。在此類實例中，可執行分割之僅單個階。此分割在分割之僅單個階存在的情況下，可將該分割描述為預測分割(如所論述)或編碼分割或兩者。在各種實例中，此分割可經由預測分割產生器模組105(如所論述)來執行，或如本文進一步論述，此分割可經由k-d樹框內預測/編碼分割器模組或二叉樹框內預測/編碼分割器模組來執行，該k-d樹框內預測/編碼分割器模組或二叉樹框內預測/編碼分割器模組係經由編碼分割產生器模組107實施。
在一些實例中，分割預測誤差資料(若有)可並非 足夠顯著的，以便授權編碼。在可能需要編碼分割預測誤差資料且分割預測誤差資料與框間預測等相關聯的其他實例中，編碼分割產生器模組107可決定預測分割之編碼分割。在一些實例中，可不需要編碼分割產生器模組107，因為可在無編碼分割的情況下(例如，如藉由經由開關107a及107b可利用的旁通路徑所示)編碼分割。在有或無編碼分割的情況下，若殘餘或殘餘資料需要編碼，則可將分割預測誤差資料(在兩種情況下該分割預測誤差資料可隨後被描述為編碼分割)傳輸至適應性變換模組108。在一些實例中，可將預測分割產生器模組105及編碼分割產生器模組107一起視為編碼器100之分割器子系統。在各種實例中， 編碼分割產生器模組107可對分割預測誤差資料、原始像素資料、殘餘資料或小波資料操作。編碼分割產生器模組107可使用二叉樹分割技術及/或k-d樹分割技術等產生例如分割預測誤差資料之潛在編碼分割(coding partitioning)(例如，編碼分割(coding partition))。
在分割之後(在針對I-畫面形成預測分割，且針對 P-畫面及F-畫面形成編碼分割，及在一些實例中，潛在編碼分割之後)，可經由適應性變換模組108(以一形式，亦被稱為適應性多大小矩形混合參數Haar變換(HPHT)/離散餘弦變換(DCT)單元)使用適應性變換或固定變換來以各種區塊大小變換分割。藉由一方法，適應性變換模組108可對矩形區塊執行正向HPHT或正向DCT。藉由一實例，可基於率失真最佳化(RDO)或其他基礎來決定分割大小/區塊大小以及所選擇變換(例如，適應性變換或固定變換，及HPHT或DCT)。在一些實例中，可基於預定選擇方法來決定所選擇編碼分割及/或所選擇變換兩者，該預定選擇方法基於編碼分割大小等。例如，適應性變換模組108可包括用於執行參數變換以允許小大小的區塊至中等大小的區塊之區域最佳變換編碼的第一部分或組件，及用於使用固定變換(諸如DCT或以畫面為基礎的變換，該以畫面為基礎的變換來自各種變換，包括參數變換)來執行全域穩定的低管理負擔變換編碼的第二部分或組件，或任何其他組態。在一些實例中，對於區域最佳變換編碼，可執行HPHT。在一些實例中，可對介於約4x4像素及64x64像素之間的矩形大小的2D區塊 執行變換，其中實際大小取決於若干因素，諸如所變換資料是亮度還是色度，或是框間還是框內，或所決定的使用的變換是PHT還是DCT等。
對於HPHT變換，支援小區塊大小至中等區塊大 小，而對於DCT變換，支援大量的區塊大小。對於HPHT變換，需要一些管理負擔來識別在PHT於正交方向上施加時，施加DCT的方向是水平還是垂直，以及模式(至少對於框內編碼，其中模式可基於解碼後像素或預測差異像素)。 用於變換特定區塊的實際PHT變換基礎可為內容適應性的，因為該實際PHT變換基礎取決於解碼後相鄰像素。因為編碼器及解碼器兩者需要相同基底矩陣之計算，所以藉由允許可選的有限數目的已知(編碼器及解碼器兩者已知)良好變換來使計算之複雜性保持為低的。
如所示，合成變換係數可經傳輸至適應性量化模 組109，而編碼控制器103處的量化器配接器控制133執行內容分析以提出區域適應性量化參數，該等區域適應性量化參數隨後由多階映射表示，該多階映射可經有效地編碼且包括在位元串流中。所計算的量化器集(qs，及施加於係數區塊的矩陣)可由適應性量化器模組109用以執行合成變換係數之定標。此外，與參數變換相關聯的任何資料根據需要可傳輸至適應性量化模組109(若需要量化)或適應性熵編碼器模組110。亦如圖1中所示，量化係數可經掃描且傳輸至適應性熵編碼器模組110。適應性熵編碼器模組110可對量化係數進行熵編碼且將該等量化係數包括在輸出位元串 流111中。在一些實例中，可將適應性變換模組108及適應性量化模組109一起視為編碼器100之變換編碼器子系統。
亦如圖1中所示，編碼器100包括區域解碼迴路 135以形成預測分割(或圖框)以用於與如以上提及的預測分割進行比較。初步地，取決於RDO操作，並非以上所述數百或更多影像塊分割中的全部需要被完全編碼，諸如在位元計數之查找為充分的時。然而，一旦決定影像塊之最佳分割，在該狀況下可提供完全編碼。
區域解碼迴路135可自適應性逆量化模組112開 始。適應性逆量化模組112可經組配來執行適應性量化模組109之相反操作，使得可執行逆掃描，且可解定標(de-scale)量化係數以變換係數。此適應性量化操作可為例如有損的。如所示，變換係數可經傳輸至適應性逆變換模組113。 適應性逆變換模組113可執行如由適應性變換模組108執行的變換的逆變換，例如，以產生與編碼分割相關聯的殘餘或殘餘值或分割預測誤差資料(或原始資料或小波資料，如所論述)。在一些實例中，可將適應性逆量化模組112及適應性逆變換模組113一起視為編碼器100之變換解碼器子系統。
如所示，用於P-畫面及F-畫面的分割預測誤差資 料(等)可經傳輸至選擇性的編碼分割組譯器114。編碼分割組譯器114可根據需要將編碼分割組譯成解碼後預測分割(如所示，在一些實例中，可諸如針對I-畫面影像塊分割且經由開關114a及114b跳過編碼分割組譯器114，使得解碼後 預測分割可已在適應性逆變換模組113處產生)，以產生預測誤差資料之預測分割或解碼後殘餘預測分割等。如所示，解碼後殘餘預測分割(框間或框內)可在加法器115處添加至預測分割(例如，預測像素資料)，以產生重建預測分割。重建預測分割可經傳輸至預測分割組譯器116。預測分割組譯器116可組譯重建預測分割以產生重建影像塊或超區段。在一些實例中，可將編碼分割組譯器模組114及預測分割組譯器模組116一起視為編碼器100之非分割器子系統。
下一組步驟涉及濾波，以及濾波及預測產生之摻 混。展示總共四種類型之濾波。具體而言，在圖1中，重建分割由區塊度(blockiness)分析器及解區塊濾波模組(亦為重建區塊度分析器及DD濾波產生)117解區塊且顫動。用於分析ddi的所得參數用於濾波操作且亦經編碼並經由位元串流111發送至解碼器。解區塊重建輸出隨後經移交至品質分析器及品質復原濾波模組(或亦被稱為重建品質分析器及QR濾波產生的品質改良濾波器)118，該品質分析器及品質復原濾波模組計算QR濾波參數且將該等QR濾波參數使用於濾波。此等參數亦經編碼且經由位元串流111發送至解碼器。QR濾波輸出為最終重建圖框或解碼後圖框，該最終重建圖框或解碼後圖框亦用作用於編碼未來圖框的預測。
更具體而言，當重建影像塊或超區段可經傳輸至 區塊度分析器及解區塊濾波模組117時，區塊度分析器及解區塊濾波模組117可使重建影像塊或超區段(或影像塊或超 區段之預測分割)解區塊且顫動。所產生的解區塊及顫動濾波參數可用於當前濾波操作且/或經編碼於位元串流111中以用於由例如解碼器使用。區塊度分析器及解區塊濾波模組117之輸出可經傳輸至品質分析器及品質復原濾波模組118。品質分析器及品質復原濾波模組118可決定QR濾波參數(例如，用於QR分解)且將所決定參數使用於濾波。QR濾波參數可亦經編碼於位元串流111中以用於由解碼器使用。在一些實例中，可將區塊度分析器及解區塊濾波模組117及品質分析器及品質復原濾波模組118一起視為編碼器100之濾波子系統。在一些實例中，品質分析器及品質復原濾波模組118之輸出可為最終重建圖框，該最終重建圖框可用於預測以用於編碼其他圖框(例如，最終重建圖框可為參考圖框等)。因此，如所示，品質分析器及品質復原濾波模組118之輸出可經傳輸至多參考圖框儲存器及圖框選擇器(或多參考控制)119，該多參考圖框儲存及圖框選擇器亦可被稱為或可包括解碼後畫面儲存器或緩衝器。相依邏輯模組128(在一實例中，對於階層式畫面群組結構中的修改後多參考預測亦被稱為相依邏輯)可提供用於列表參考圖框及圖框間關係(諸如圖框相依，或更具體而言分割相依)的索引，以用於適當排序且藉由多參考控制119並且在某些圖框將被選擇來用於另一圖框之預測時使用於該等圖框。此可包括提供用於畫面群組結構之相依邏輯，該等畫面群組結構諸如多參考預測、鏈預測、分層結構及/或如以下所述其他預測技術。
接下來，編碼器100可執行框間預測及/或框內預 測操作。如圖1中所示，框間預測可藉由一或多個模組執行，該一或多個模組包括漸變產生及區域緩衝器模組120(且在一實例中被稱為漸變產生及區域緩衝器，或本文中被稱為迴路內漸變產生模組)、合成產生及區域緩衝器模組121(且在一實例中被稱為合成產生及畫面緩衝器，或本文中被稱為迴路內合成產生模組)、移動估計器122、特性及移動濾波及預測器模組123(在一些實例中亦可被稱為特性及移動AP濾波器分析器以及1/4像素及1/8像素補償預測器)、漸變分析器及產生模組(或迴路外(out-of-loop)漸變分析器模組)130，及合成分析器及產生模組(或迴路外合成分析器模組)132，其中漸變產生器120及合成產生器121被視為在迴路內(在編碼器之解碼器迴路內)，且漸變分析器130及合成分析器132被視為在迴路外(在編碼器處的解碼器迴路外)。請注意，雖然一者被稱為分析器且另一者被稱為產生器，但是迴路內模組及迴路外模組兩者可執行相同或類似任務(形成用於漸變及/或合成的修改後圖框及修改參數)。使用此等組件，漸變產生模組120或漸變分析器130可容許解碼後圖框之各種形式之漸變隨後在其他圖框上被用作用於移動預測的參考圖框。模組120可分析當前畫面以決定用於相對於該當前畫面將藉以編碼的一或多個參考圖框且在移動補償預測之前的以下各者的漸變參數：(1)增益變化，且具體而言用以針對自一圖框至另一圖框的亮度變化執行增益補償，(2)主要(或全域)移動且如以下詳細論述的 變化，(3)校準變化及/或(4)模糊變化。
迴路外漸變分析器130及合成分析器132自適應 性畫面組織器104接收畫面群組結構資料，且與編碼器控制器103通訊以基於非量化的、非解碼原始圖框資料來形成漸變及合成參數(mop、syp)以及修改後參考圖框。修改後參考圖框及修改參數自迴路外漸變分析器130及迴路外合成分析器132的形成可比經由解碼器迴路135所提供的該形成快得多，且此對於即時編碼為尤其有利的。然而，修改後圖框及參數對於在另一位置處(諸如藉由解碼器)執行補償的使用應由迴路內漸變產生器120及迴路內合成產生器121在編碼器之解碼迴路側上執行，使得當在解碼器處重建圖框時可重複正確的補償。因此，來自迴路外分析器130及132的所得修改參數由迴路內漸變產生器120及迴路內合成產生器121用來形成修改後參考圖框，且由移動估計器122用於移動估計以計算移動向量。因此，所計算的漸變及合成參數(mop及syp)可經量化/解量化且用以(例如，由漸變產生模組120)產生漸變參考圖框，該等漸變參考圖框可由移動估計器模組122用於計算用於當前圖框之有效移動(及特性)補償預測的移動向量。合成產生模組121使用若干類型之合成圖框，該等合成圖框尤其包括超解析度(SR)畫面、投影內插(PI)畫面，其中移動補償預測可藉由決定用於此等圖框中的有效移動補償預測的移動向量而導致甚至更高的增益。以下提供用以執行漸變或合成的一些實例的細節。
移動估計器模組122可連同當前圖框一起至少部 分基於漸變參考圖框及/或超解析度(SR)畫面及投影內插(PI)來產生移動向量資料。在一些實例中，可將移動估計器模組122視為框間預測模組。例如，可將移動向量資料用於框間預測。若施加框間預測，則特性及移動濾波預測器模組123可施加移動補償作為如所論述的區域解碼迴路之一部分。另外，特性及移動濾波預測器模組123可包括適應性精度(AP)濾波，其中濾波及預測糾纏。濾波參數(api)經編碼且可經由位元串流111發送至解碼器。
框內預測可由框內方向性預測分析器及預測產 生模組124。框內方向性預測分析器及預測產生模組124可經組配來執行空間方向性預測，且可使用解碼後相鄰分割。在一些實例中，方向之決定及預測之產生兩者可由框內方向性預測分析器及預測產生模組124執行。在一些實例中，可將框內方向性預測分析器及預測產生模組124視為框內預測模組。
如圖1中所示，預測模式及參考類型分析器模組 125可針對影像塊(或超區段)之每一預測分割允許預測模式的如以上所介紹且自「跳過」、「自動」、「框間」、「分裂」、「多參考」及「框內」之中的選擇，所有該等預測模式可適用於P-畫面及F-畫面(以及當B-畫面存在時可施加於B-畫面)。應注意，雖然系統考慮I畫面、P畫面及F畫面為可利用的組態，但是可能仍提供B-畫面，其中無漸變或合成可利用於B-畫面。除預測模式之外，該預測模式及參考類型分析器模組亦允許參考類型之選擇，該等參考類型可取決 於「框間」模式或「多參考」模式，以及針對P-畫面及F-畫面而不同。在預測模式及參考類型分析器模組125之輸出處的預測信號可由預測分析器及預測融合濾波模組126濾波。預測分析器及預測融合濾波模組126可決定參數(例如，濾波係數、頻率、管理負擔)以用於濾波，且可執行濾波。在一些實例中，濾波預測信號可使表示不同模式(例如，框內、框間、多參考、分裂、跳過及自動)的不同類型之信號融合。在一些實例中，框內預測信號可不同於所有其他類型之框間預測信號，使得適當的濾波可極大地提高編碼效率。在一些實例中，濾波參數可經編碼於位元串流111中以用於由解碼器使用。濾波後預測信號可將第二輸入(例如，預測分割)提供至差分器106，如以上所論述，該差分器可決定預測差異信號(例如，分割預測誤差)以用於先前所論述的編碼。此外，相同濾波後預測信號可將第二輸入提供至加法器115，亦如以上所論述。如所論述，輸出位元串流111可提供有效編碼的位元串流以用於由解碼器用於視訊之呈現。
在操作中，編碼器100之一些組件可作為編碼器 預測子系統來操作。例如，編碼器100之此編碼器預測子系統可包括多參考圖框儲存器及圖框選擇器119、迴路內漸變分析器及產生模組120、迴路內合成分析器及產生模組121、移動估計器模組122，及/或特性及移動補償精度適應性濾波預測器模組123以及迴路外漸變分析器130及合成分析器132。
如以下將更詳細地論述，在一些實施方案中，編 碼器100之此編碼器預測子系統可併入若干組件，及由此等組件在有效的視訊編碼演算法中產生的組合式預測。例如，NGV編碼器之提議的實施方案可包括以下特徵中之一或多個：1.增益補償(例如，對於場景中的增益/亮度變化之顯式補償)；2.模糊補償：例如，對於場景中的模糊/銳度變化之顯式補償；3.主要/全域移動補償(例如，對於場景中的主要移動之顯式補償)；4.校準補償(例如，對於場景中的校準失配之顯式補償)；5.超解析度(例如，用於場景中的解析度精度變化之顯式模型)；6.投影(例如，用於場景中的移動軌跡變化之顯式模型)；類似者及/或上述各者之組合。
例如，在編碼器100之此編碼器預測子系統中， 品質分析器及品質復原濾波之輸出可經傳輸至多參考圖框儲存器及圖框選擇器119。在一些實例中，品質分析器及品質復原濾波之輸出可為最終重建圖框，該最終重建圖框可用於預測以用於編碼其他圖框(例如，最終重建圖框可為參考圖框等)。在編碼器100中，預測操作可包括框間預測及/或框內預測。如所示，框間預測可由一或多個模組執行，該一或多個模組包括漸變產生模組120、合成產生模組121及/或特性及移動補償精度適應性濾波預測器模組123。
如以下將更詳細地描述，漸變產生模組120可分 析當前圖框以決定用於相對於該當前圖框將藉以編碼的一或多個參考圖框的增益變化、主要移動變化、校準變化及模糊變化的參數。所決定的漸變參數可經量化/解量化且用 以(例如，藉由漸變產生模組120)產生漸變參考圖框。此類所產生的漸變參考圖框可經儲存在緩衝器中，且可由移動估計器模組122用於計算用於當前圖框之有效移動(及特性)補償預測的移動向量。
類似地，合成分析器及產生模組121可產生超解 析度畫面(SR)及投影內插(PI)畫面等，以用於決定用於此等圖框中的有效移動補償預測的移動向量。此類所產生的合成參考圖框可經儲存在緩衝器中，且可由移動估計器模組122用於計算用於當前圖框之有效移動(及特性)補償預測的移動向量。
因此，在編碼器100之此編碼器預測子系統中， 移動估計器模組122可連同當前圖框一起基於漸變參考圖框及/或超解析度(SR)畫面及投影內插(PI)畫面來產生移動向量資料。在一些實例中，可將移動估計器模組122視為框間預測模組。例如，可將移動向量資料用於框間預測。若施加框間預測，則特性及移動濾波預測器模組123可施加移動補償作為如所論述的區域解碼迴路之一部分。
在操作中，除相對於解碼後過去畫面/片段及/或 未來畫面/片段的通常區域移動補償之外，NGV編碼器(例如，編碼器100及/或解碼器200)之提議的實施方案可使用以上組件中之一或多個。因此，實施方案並不強制執行例如用於主要移動補償或用於任何其他特性補償參考圖框產生的特定解決方案。
圖1例示與視訊編碼器100之操作相關聯的示例性控 制信號，其中以下縮寫可表示相關聯的資訊：scnchg 場景變化資訊
spcpx 空間複雜性資訊
tpcpx 時間複雜性資訊
pdist 時間預測距離資訊
pap 預分析參數(用於除scnchg、spcpx、tpcpx、pdist之外的所有其他預分析參數的佔位)
ptyp 畫面類型資訊
pgst 畫面群組結構資訊
pptn cand. 預測分割候選者
cptn cand. 編碼分割候選者
prp 預處理
xmtyp 變換類型資訊
xmdir 變換方向信息
xmmod 變換模式
ethp 八分之一(1/8)像素移動預測
pptn 預測分割
cptn 編碼分割
mot&cod cost 移動及編碼成本
qs 量化器資訊集(包括量化器參數(Qp)、量化器矩陣(QM)選擇)
mv 移動向量
mop 漸變參數
syp 合成參數
ddi 解區塊及顫動資訊
qri 品質復原濾波索引/資訊
api 適應性精度濾波索引/資訊
fii 融合濾波索引/資訊
mod 模式資訊
reftyp 參考類型資訊
idir 框內預測方向
可需要經發送至解碼器的各種信號及資料項(亦即，pgst、ptyp、prp、pptn、cptn、modes、reftype、ethp、xmtyp、xmdir、xmmod、idir、mv、qs、mop、syp、ddi、qri、api、fii量化係數及其他)可隨後由適應性熵編碼器110熵編碼，該適應性熵編碼器可包括不同的熵編碼器，該等不同的熵編碼器共同被稱為熵編碼器子系統。適應性熵編碼器110可用以編碼各種類型之控制資料/信號、參數、模式及參考類型、移動向量及變換係數。該適應性熵編碼器係基於稱為適應性可變長度編碼器(vlc)的同屬類別的低複雜性熵編碼器。可在便利時將要熵編碼的資料劃分成若干種類(在我們的狀況下劃分成七種)，且自同屬vlc編碼器開始，開發用於每一種類的專用編碼器。雖然此等控制信號在圖1中係例示為與編碼器100之特定示例性功能模組相關聯，但是其他實施方案可包括控制信號在編碼器300之功能模組之中的不同分佈。本揭示案在此方面不受限制，且在各種實例中，本文中控制信號之實施方案可包括所示特定示例性控制信號之僅一子集、額外控制信號及/或以相較於所示 的不同佈置之承擔。
圖2為示例性次世代視訊解碼器200的例示性圖 表，該示例性次世代視訊解碼器係根據本揭示案之至少一些實施方案佈置且在本文中利用內容適應性P-畫面及F-畫面以及所得畫面群組。此NGV解碼器200之一般操作可類似於先前所論述的NGV編碼器100中的區域解碼迴路，但需要說明的是，解碼器中的移動補償解碼迴路不需要需要分析以決定參數的任何組件，因為該等參數事實上經由位元串流111或201發送至解碼器200。將要解碼的位元串流201經輸入至適應性熵編碼器(內容及上下文適應性熵解碼器)202，該適應性熵編碼器解碼標頭、控制信號及編碼資料。例如，該適應性熵編碼器解碼以上所列表的ptyp、pgst、prp、pptn、cptn、ethp、mop、syp、mod、reftyp、idir、qs、xmtyp、xmdir、xmmod、ddi、qri、api、fii、mv，及量化變換係數，該等量化變換係數構成管理負擔、控制信號及經分佈以供在解碼器各處使用的資料。量化變換係數隨後由適應性逆量化模組203及適應性逆變換(亦為適應性多大小矩形HPHT/DCT)204逆量化且逆變換，以產生解碼後像素差異之矩形分割，該等解碼後像素差異根據所使用的編碼分割組譯。預測經添加至差異，從而導致重建編碼分割之產生，該等重建編碼分割根據移動分割經歷進一步組譯以產生重建影像塊及圖框，該等重建影像塊及圖框在使用解碼後ddi參數的解區塊濾波器(重建DD濾波產生)208中經歷解區塊及顫動，接著為使用解碼後qri參數的品質復原濾波(或 重建QR濾波產生)209，以上為創建最終重建圖框的過程。
最終重建圖框經保存在多參考圖框儲存器及圖 框選擇器(亦可稱為解碼後畫面緩衝器)210中，且被使用(或漸變)以創建漸變畫面/區域緩衝器(在漸變畫面產生器及緩衝器211處)，此取決於所施加的解碼後mop參數。同樣地，藉由將解碼後syp參數施加於多參考圖框儲存器及圖框選擇器210(或換言之，儲存器或緩衝器210中的重建圖框)來創建合成畫面及區域緩衝器(在合成畫面產生及緩衝器212處)。相依邏輯220可保留用於多參考圖框儲存器210中的所儲存圖框的索引，且針對該等所儲存圖框執行編索引。可將編索引用於預測技術，諸如多參考圖框、鏈預測及/或分層(或金字塔)圖框結構及/或如以下所述其他技術。將漸變區域緩衝器及合成圖框用於移動補償預測，該移動補償預測基於api參數來使用適應性精度(AP)濾波，且取決於解碼後ethp信號而保持1/4像素預測或1/8像素預測。實際上，特性及移動補償濾波預測器213取決於mod而產生「框間」「多參考」「跳過」或「自動」分割，而框內方向性預測產生模組214產生「框內」分割，且預測模式選擇器215基於編碼器所選擇選項來允許正確模式的分割通過。接下來，根據需要執行用以濾波且輸出預測的預測融合濾波器產生模組(或預測FI濾波器產生)216之選擇性使用，作為至加法器的第二輸入。
在品質濾波器產生模組209(或重建QR濾波產生)之輸出處的重建圖框藉由適應性畫面重組器(或階層式 畫面群組結構重組器)217回應於控制參數ptyp及pgst而重新組織(因為F-畫面為次序混亂的)，且進一步地，此重組器之輸出在內容後復原器218中經歷選擇性的處理，該內容後復原器由prp參數控制，該等prp參數由編碼器發送。此處理尤其可包括解區塊及膠片顆粒添加。
更具體而言，且如所示，解碼器200可接收輸入 位元串流201。在一些實例中，輸入位元串流201可經由編碼器100且/或經由本文所論述的編碼技術編碼。如所示，輸入位元串流201可由適應性熵解碼器模組202接收。適應性熵解碼器模組202可解碼各種類型之編碼資料(例如，管理負擔、移動向量、變換係數等)。在一些實例中，適應性熵解碼器202可使用可變長度解碼技術。在一些實例中，適應性熵解碼器202可執行以上所述述的適應性熵編碼器模組110之逆運算。
解碼後資料可經傳輸至適應性逆量化模組203。 適應性逆量化模組203可經組配來逆掃描且解定標量化係數以決定變換係數。此適應性量化操作可為例如有損的。 在一些實例中，適應性逆量化模組203可經組配來執行適應性量化模組109之相反操作(例如，大體上與適應性逆量化模組112相同的操作)。如所示，變換係數(及，在一些實例中，用於在參數變換中使用的變換資料)可經傳輸至適應性逆變換模組204。適應性逆變換模組204可對變換係數執行逆變換，以產生與編碼分割相關聯的殘餘或殘餘值或分割預測誤差資料(或原始資料或小波資料)。在一些實例中，適 應性逆變換模組204可經組配來執行適應性變換模組108之相反操作(例如，大體上與適應性逆變換模組113相同的操作)。在一些實例中，適應性逆變換模組204可基於其他先前解碼的資料(諸如例如解碼後相鄰分割)來執行逆變換。在一些實例中，可將適應性逆量化模組203及適應性逆變換模組204一起視為解碼器200之變換解碼器子系統。
如所示，殘餘或殘餘值或分割預測誤差資料可經 傳輸至編碼分割組譯器205。編碼分割組譯器205可根據需要將編碼分割組譯成解碼後預測分割(如所示，在一些實例中，編碼分割組譯器205經由開關205a及205b跳過編碼分割組譯器205，使得解碼後預測分割可已在適應性逆變換模組204處產生)。預測誤差資料之解碼後預測分割(例如，預測分割殘餘)可在加法器206處添加至預測分割(例如，預測像素資料)，以產生重建預測分割。重建預測分割可經傳輸至預測分割組譯器207。預測分割組譯器207可組譯重建預測分割以產生重建影像塊或超區段。在一些實例中，可將編碼分割組譯器模組205及預測分割組譯器模組207一起視為解碼器200之非分割器子系統。
重建影像塊或超區段可經傳輸至解區塊濾波模 組208。解區塊濾波模組208可使重建影像塊或超區段(或影像塊或超區段之預測分割)解區塊且顫動。所產生的解區塊及顫動濾波參數可自例如輸入位元串流201決定。解區塊濾波模組208之輸出可經傳輸至品質復原濾波模組209。品質復原濾波模組209可基於QR參數來施加品質濾波，該等QR 參數可自例如輸入位元串流201決定。如圖2中所示，品質復原濾波模組209之輸出可經傳輸至多參考圖框儲存器及圖框選擇器(該多參考圖框儲存器及圖框選擇器可被稱為多參考控制，且可為或可包括解碼後畫面緩衝器)210。在一些實例中，品質復原濾波模組209之輸出可為最終重建圖框，該最終重建圖框可用於預測以用於編碼其他圖框(例如，最終重建圖框可為參考圖框等)。在一些實例中，可將解區塊濾波模組208及品質復原濾波模組209一起視為解碼器200之濾波子系統。
如所論述，歸因於預測操作的補償可包括框間預 測及/或框內預測補償。如所示，框間預測補償可由一或多個模組執行，該一或多個模組包括漸變產生模組211、合成產生模組212及特性及移動補償濾波預測器模組213。漸變產生模組211可使用解量化漸變參數(例如，自輸入位元串流201決定的)來產生漸變參考圖框。合成產生模組212可基於自輸入位元串流201決定的參數來產生超解析度(SR)畫面及投影內插(PI)畫面等。若施加框間預測，則特性及移動補償濾波預測器模組213可基於輸入位元串流201中的所接收的圖框及移動向量資料等來施加移動補償。
框內預測補償可由框內方向性預測產生模組214 執行。框內方向性預測產生模組214可經組配來執行空間方向性預測，且可根據輸入位元串流201中的框內預測資料來使用解碼後相鄰分割。
如圖2中所示，預測模式選擇器模組215可基於輸 入位元串流201中的模式選擇資料來針對影像塊之每一預測分割自「跳過」、「自動」、「框間」、「多參考」及「框內」之中決定預測模式選擇，所有該等預測模式可適用於P-畫面及F-畫面。除預測模式之外，該預測模式選擇器模組亦允許參考類型之選擇，該等參考類型可取決於「框間」或「多參考」模式，以及針對P-畫面及F-畫面而不同。在預測模式選擇器模組215之輸出處的預測信號可由預測融合濾波模組216濾波。預測融合濾波模組216可基於經由輸入位元串流201決定的參數(例如，濾波係數、頻率、管理負擔)來執行濾波。在一些實例中，濾波預測信號可融合表示不同模式(例如，框內、框間、多參考、跳過及自動)的不同類型之信號。在一些實例中，框內預測信號可不同於所有其他類型之框間預測信號，使得適當的濾波可極大地提高編碼效率。濾波後預測信號可將第二輸入(例如預測分割)提供至差分器206，如以上所論述。
如所論述，品質復原濾波模組209之輸出可為最 終重建圖框。最終重建圖框可經傳輸至適應性畫面重組器217，該適應性畫面重組器可基於輸入位元串流201中的排序參數來根據需要重新排序或重新組織圖框。重新排序的圖框可經傳輸至內容後復原器模組218。內容後復原器模組218可為經組配來執行解碼後視訊之知覺品質的進一步改良的選擇性的模組。改良處理可回應於輸入位元串流201中的品質改良參數而予以執行，或改良處理可作為獨立操作執行。在一些實例中，內容後復原器模組218可施加參數以 改良品質，諸如例如膠片顆粒雜訊或殘餘區塊度減少之估計(例如，甚至在關於解區塊濾波模組208所論述的解區塊操作之後)。如所示，解碼器200可提供顯示視訊219，該顯示視訊可經由顯示裝置(未示出)組配以用於顯示。
在操作中，解碼器200之一些組件可作為解碼器 預測子系統操作。例如，解碼器200之此解碼器預測子系統可包括多參考圖框儲存器及圖框選擇器210、用以在多參考圖框儲存器及圖框選擇器210處對圖框編索引的相依邏輯220、漸變分析器及產生模組211、合成分析器及產生模組212，及/或特性及移動補償精度適應性濾波預測器模組213。
如以下將更詳細地論述，在一些實施方案中，解 碼器200之此解碼器預測子系統可併入若干組件，及由此等組件在有效的視訊編碼演算法中產生的組合式預測。例如，NGV編碼器之提議的實施方案可包括以下特徵中之一或多個：1.增益補償(例如，對於場景中的增益/亮度變化之顯式補償)；2.模糊補償：例如，對於場景中的模糊/銳度變化之顯式補償；3.主要/全域移動補償(例如，對於場景中的主要移動之顯式補償)；4.校準補償(例如，對於場景中的校準失配之顯式補償)；5.超解析度(例如，用於場景中的解析度精度變化之顯式模型)；6.投影(例如，用於場景中的移動軌跡變化之顯式模型)；類似者及/或上述各者之組合。
例如，在解碼器200之此解碼器預測子系統中，品質復原濾波模組之輸出可經傳輸至多參考圖框儲存器及 圖框選擇器210。在一些實例中，品質復原濾波模組之輸出可為最終重建圖框，該最終重建圖框可用於預測以用於編碼其他圖框(例如，最終重建圖框可為參考圖框等)。如所論述，歸因於預測操作的補償可包括框間預測及/或框內預測補償。如所示，框間預測補償可由一或多個模組執行，該一或多個模組包括漸變分析器及產生模組211、合成分析器及產生模組212，及/或特性及移動補償精度適應性濾波預測器模組213。
如以下將更詳細地描述，漸變分析器及產生模組 211可使用解量化漸變參數(例如，自輸入位元串流決定的)來產生漸變參考圖框。此類所產生的漸變參考圖框可經儲存在緩衝器中，且可由特性及移動補償精度適應性濾波預測器模組213使用。
類似地，合成分析器及產生模組212可經組配來 基於自輸入位元串流201決定的參數來產生一或多種類型之合成預測參考畫面，該等合成預測參考畫面諸如超解析度(SR)畫面及投影內插(PI)畫面等。此類所產生的合成參考圖框可經儲存在緩衝器中，且可由移動補償濾波預測器模組213使用。
因此，在解碼器200之此解碼器預測子系統中， 在適用框間預測的狀況下，特性及移動補償濾波預測器模組213可連同當前圖框一起基於漸變參考圖框及/或超解析度(SR)畫面及投影內插(PI)畫面來施加移動補償。
在操作中，除相對於解碼後過去畫面/片段及/或 未來畫面/片段的通常區域移動補償之外，NGV編碼器(例如，編碼器100及/或解碼器200)之提議的實施方案可使用以上組件中之一或多個。因此，實施方案並不強制執行例如用於主要移動補償或用於任何其他特性補償參考圖框產生的特定解決方案。
圖2例示與視訊解碼器200之操作相關聯的控制 信號，其中所指示的縮寫可表示如以上關於圖1所論述的類似資訊。雖然此等控制信號係例示為與解碼器200之特定示例性功能模組相關聯，但是其他實施方案可包括控制信號在編碼器100之功能模組之中的不同分佈。本揭示案在此方面不受限制，且在各種實例中，本文中控制信號之實施方案可包括所示特定示例性控制信號之僅一子集、額外控制信號及/或以相較於所示的不同佈置之承擔。
雖然圖1及圖2例示特定編碼及解碼模組，但是亦 可根據本揭示案來利用未描繪的各種其他編碼模組或組件。此外，本揭示案不限於圖1及圖2中所示的特定組件，且/或不限於佈置各種組件的方式。本文所描述之系統之各種組件可以軟體、韌體及/或硬體及/或上述各者之任何組合來實施。例如，編碼器100及/或解碼器200之各種組件可至少部分由計算系統單晶片(SoC)之硬體提供，諸如可見於諸如例如行動電話的計算系統中。
此外，可認識到，編碼器100可與包括(例如)視 訊內容伺服器系統的內容提供者系統相關聯且/或由該內容提供者系統提供，且輸出位元串流111可藉由圖1及圖2中 未描繪的各種通訊組件及/或系統傳輸或傳達至解碼器(諸如例如解碼器200)，該等通訊組件及/或系統諸如收發器、天線、網路系統等。亦可認識到，解碼器200可與諸如計算裝置(例如，桌上型電腦、膝上型電腦、平板電腦、可轉換膝上型電腦、行動電話等)的客戶端系統相關聯，該客戶端系統在編碼器100遠端且該客戶端系統經由圖1及圖2中未描繪的各種通訊組件及/或系統接收輸入位元串流201，該等通訊組件及/或系統諸如收發器、天線、網路系統等。因此，在各種實施方案中，編碼器100及解碼器子系統200可一起或彼此獨立而實施。
圖3為與次世代視訊編碼器100相關聯的示例性 子系統的例示性圖表，該示例性子系統係根據本揭示案之至少一些實施方案佈置。如所示，編碼器100可包括結構子系統310、分割子系統320、預測子系統330、變換子系統340、濾波子系統350及/或熵編碼子系統360。
圖3(a)為示例性次世代視訊編碼器300a的例示性 圖表，該示例性次世代視訊編碼器係根據本揭示案之至少一些實施方案佈置。圖3(a)呈現與圖1中所示的編碼器類似的編碼器，且為簡潔起見將不重複類似的元件。如圖3(a)中所示，編碼器300a可包括預分析器子系統310a、分割器子系統320a、預測編碼子系統330a、變換編碼器子系統340a、濾波編碼子系統350a、熵編碼器系統360a、變換解碼器子系統370a及/或非分割器子系統380a。預分析器子系統310a可包括內容預分析器模組102及/或適應性畫面組織 器模組104。分割器子系統320a可包括預測分割產生器模組105及/或編碼分割產生器107。預測編碼子系統330a可包括移動估計器模組122、特性及移動補償濾波預測器模組123，及/或框內方向性預測分析器及預測產生模組124。變換編碼器子系統340a可包括適應性變換模組108及/或適應性量化模組109。濾波編碼子系統350a可包括區塊度分析器及解區塊濾波模組117、品質分析器及品質復原濾波模組118、移動估計器模組122、特性及移動補償濾波預測器模組123，及/或預測分析器及預測融合濾波模組126。熵編碼子系統360a可包括適應性熵編碼器模組110。變換解碼器子系統370a可包括適應性逆量化模組112及/或適應性逆變換模組113。非分割器子系統380a可包括編碼分割組譯器114及/或預測分割組譯器116。
編碼器300a之分割器子系統320a可包括兩個分 割子系統：可針對預測執行分析及分割的預測分割產生器模組105，及可針對編碼執行分析及分割的編碼分割產生器模組107。另一分割方法可包括可將畫面分段成區部或片段的適應性畫面組織器104，該適應性畫面組織器亦可選擇性地被視為此分割器之一部分。
編碼器300a之預測編碼器子系統330a可包括移 動估計器122及可執行「框間」信號之分析及預測的特性及移動補償濾波預測器123，及可執行「框內」信號之分析及預測的框內方向性預測分析器及預測產生模組124。移動估計器122及特性及移動補償濾波預測器123可允許藉由首先 補償差異之其他來源(諸如，增益、全域移動、校準)，接著為實際移動補償來提高可預測性。該移動估計器及該特性及移動補償濾波預測器可亦允許資料模型化之使用以創建可允許更好的預測的合成圖框(超解析度及投影)，接著為實際移動補償在此類圖框中的使用。
編碼器300a之變換編碼器子系統340a可執行分 析以選擇變換之類型及大小，且可包括兩個主要類型之組件。第一類型之組件可允許使用參數變換以允許小大小區塊至中等大小區塊的區域最佳變換編碼；然而此編碼可需要一些管理負擔。第二類型之組件可允許全域穩定的低管理負擔編碼，該全域穩定的低管理負擔編碼使用諸如DCT的同屬變換/固定變換，或來自小數目的變換之選擇的以畫面為基礎的變換，包括參數變換。對於區域自適應變換編碼，可使用PHT(參數Haar變換)。可對介於4x4與64x64之間的矩形大小的2D區塊執行變換，其中實際大小可取決於若干因素，諸如所變換資料是亮度還是色度、是框間還是框內，及所使用的變換是PHT還是DCT。所得變換係數可經量化、掃描及熵編碼。
編碼器300a之熵編碼器子系統360a可包括各自 以有效地編碼特定類型之資料(各種類型之管理負擔、移動向量或變換係數)為目標的若干有效但低複雜性組件。此子系統之組件可屬於同屬類別的低複雜性可變長度編碼技術，然而，對於有效編碼，每一組件可經定製最佳化以用於最高效率。例如，可設計定製解決方案以用於「編碼/未 編碼」資料之編碼，設計另一定製解決方案用於「模式及參考類型」資料，設計又一定製解決方案用於「移動向量」資料，且設計進一步另一定製解決方案用於「預測及編碼分割」資料。最後，因為將要熵編碼的資料中之極大一部分為「變換係數」資料，所以可使用用於特定區塊大小之有效處置的多種方法，以及可在多個表之間調適的演算法。
編碼器300a之濾波編碼器子系統350a可執行參 數分析並且基於此等參數執行重建畫面之多重濾波，且可包括若干子系統。例如，第一子系統亦即區塊度分析器及解區塊濾波模組117可解區塊且顫動以減少或掩蓋任何潛在區塊編碼人工因素。第二示例性子系統亦即品質分析器及品質復原濾波模組118可執行一般品質復原以減少歸因於任何視訊編碼中的量化操作的人工因素。第三示例性子系統可藉由使用適於內容之移動特性(移動速度/模糊程度)的濾波器來改良來自移動補償的結果，該第三示例性子系統可包括移動估計器122及特性及移動補償濾波預測器模組123。第四示例性子系統亦即預測融合分析器及濾波器產生模組126可允許預測信號之適應性濾波(該適應性濾波可減少預測中的通常來自框內預測的假人工因素)，藉此減少需要編碼的預測誤差。
編碼器300a之編碼控制器模組103可在給定資源 及所要的編碼速度之約束下對整體視訊品質負責。例如，在不使用任何捷徑的以完全RDO(率失真最佳化)為基礎的編碼中，用於軟體編碼的編碼速度可僅為計算資源(處理器 速度、處理器數目、超執行緒處理、DDR3記憶體等)可利用性之後果。在此狀況下，編碼控制器模組103可被輸入預測分割及編碼分割之每一單個組合且藉由實際編碼來輸入，且可針對每一狀況連同重建誤差一起計算位元率，並且基於拉格朗日(lagrangian)最佳化方程式，可針對正被編碼的每一圖框之每一影像塊發送預測分割及編碼分割之最佳集合。以完全RDO為基礎的模式可導致最佳壓縮效率，且亦可為最慢的編碼模式。藉由使用來自內容預分析器模組102的內容分析參數且將該等內容分析參數用以進行RDO簡化(並非測試所有可能的狀況)或僅使區塊之一定百分比通過完全RDO，可進行品質與速度折衷，從而允許較快速的編碼。到目前為止，我們已描述以可變位元率(VBR)為基礎的編碼器操作。編碼控制器模組103可亦包括速率控制器，在固定位元率(CBR)控制的編碼的狀況下可引動該速率控制器。
最後，編碼器300a之預分析器子系統310a可內容 分析，以計算可用於改良視訊編碼效率及速度效能的各種類型之參數。例如，該預分析器子系統可計算水平梯度資訊及垂直梯度資訊(Rs、Cs)、方差、每畫面空間複雜性、每畫面時間複雜性、場景變化偵測、移動範圍估計、增益偵測、預測距離估計、物件數目估計、區部邊界偵測、空間複雜性映射計算、焦點估計、膠片顆粒估計等。由預分析器子系統310a產生的參數可由編碼器消耗或經量化且通訊至解碼器200。
雖然子系統310a至子系統380a在圖3(a)中例示為 與編碼器300a之特定示例性功能模組相關聯，但是本文編碼器300a之其他實施方案可包括編碼器300a之功能模組在子系統310a至子系統380a之中的不同分佈。本揭示案在此方面不受限制，且在各種實例中，本文示例性子系統310a至子系統380a之實施方案可包括所示編碼器300a之特定示例性功能模組之僅一子集、額外功能模組及/或以相較於所示的不同佈置之承擔。
圖3(b)為示例性次世代視訊解碼器300b之例示 性圖表，該次世代視訊解碼器係根據本揭示案之至少一些實施方案佈置。圖3(b)呈現與圖2中所示的解碼器類似的解碼器，且為簡潔起見將不重複類似元件。如圖3(b)中所示，解碼器300b可包括預測解碼器子系統330b、濾波解碼器子系統350b、熵解碼器子系統360b、變換解碼器子系統370b、非分割器_2子系統380b、非分割器_1子系統351b、濾波解碼器子系統350b，及/或後復原器子系統390b。預測解碼器子系統330b可包括特性及移動補償濾波預測器模組213及/或框內方向性預測產生模組214。濾波解碼器子系統350b可包括解區塊濾波模組208、品質復原濾波模組209、特性及移動補償濾波預測器模組213，及/或預測融合濾波模組216。熵解碼器子系統360b可包括適應性熵解碼器模組202。變換解碼器子系統370b可包括適應性逆量化模組203及/或適應性逆變換模組204。非分割器子系統380b可包括編碼分割組譯器205及預測分割組譯器207。後復原器子系 統390b可包括內容後復原器模組218及/或適應性畫面重組器217。
解碼器300b之熵解碼子系統360b可執行編碼器 300a之熵編碼器子系統360a之逆運算，亦即，該熵解碼子系統可使用統稱為可變長度解碼的一類技術來解碼由熵編碼器子系統360a編碼的各種資料(各種類型之管理負擔、移動向量、變換係數)。具體而言，將要解碼的各種類型之資料可包括「編碼/未編碼」資料、「模式及參考類型」資料、「移動向量」資料、「預測及編碼分割」資料及「變換係數」資料。
解碼器300b之變換解碼器子系統370b可執行相 較於編碼器300a之變換編碼器子系統340a之運算的逆運算。變換解碼器子系統370b可包括兩種類型之組件。第一類型之示例性組件可支援小區塊大小至中等區塊大小的參數逆PHT變換之使用，而另一類型之示例性組件可對於所有區塊大小支援逆DCT變換。用於區塊的PHT變換可取決於相鄰區塊之解碼後資料之分析。輸出位元串流111及/或輸入位元串流201可攜帶關於PHT變換的分割/區塊大小以及可在將要被逆變換的2D區塊之哪個方向上使用PHT(其他方向使用DCT)的資訊。對於單純藉由DCT編碼的區塊，分割/區塊大小資訊亦可自輸出位元串流111及/或輸入位元串流201檢索，且用來施加適當大小之逆DCT。
解碼器300b之非分割器子系統380b可執行相較於編碼器300a之分割器子系統320a之運算的逆運算，且可 包括兩個非分割子系統，亦即，可執行編碼資料之非分割的編碼分割組譯器模組205及可執行預測之非分割的預測分割組譯器模組207。此外，若在編碼器300a處將選擇性的適應性畫面組織器模組104使用於區部分段或片段，則可在解碼器處需要適應性畫面重組器模組217。
解碼器300b之預測解碼器子系統330b可包括可 執行「框間」信號之預測的特性及移動補償濾波預測器模組213及可執行「框內」信號之預測的框內方向性預測產生模組214。特性及移動補償濾波預測器模組213可藉由首先補償差異之其他來源(諸如增益、主要移動、校準)或合成圖框(超解析度及投影)之創建，接著為實際移動補償來提高可預測性。
解碼器300b之濾波解碼器子系統350b可基於由 編碼器300a發送的參數來執行重建畫面之多重濾波，且可包括若干子系統。第一示例性子系統亦即解區塊濾波模組208可解區塊且顫動以減少或掩蓋任何潛在區塊編碼人工因素。第二示例性子系統亦即品質復原濾波模組209可執行一般品質復原以減少歸因於任何視訊編碼中的量化操作的人工因素。第三示例性子系統亦即特性及移動補償濾波預測器模組213可藉由使用濾波器來改良來自移動補償的結果，該濾波器可適於內容之移動特性(移動速度/模糊程度)。第四示例性子系統亦即預測融合濾波模組216可允許預測信號之適應性濾波(該適應性濾波可減少預測中的通常來自框內預測的假人工因素)，藉此減少可需要被編碼的 預測誤差。
解碼器300b之後復原器子系統390b為可執行解 碼後視訊之知覺品質之進一步改良的選擇性的區塊。此處理可係回應於由編碼器100發送的品質改良參數而予以進行，或該處理可為在後復原器子系統390b處做出的獨立決策。關於在編碼器100處計算的可用以在後復原器子系統390b處改良品質的特定參數，該等特定參數可為在編碼器100處的膠片顆粒雜訊及殘餘區塊度之估計(甚至在解區塊之後)。至於膠片顆粒雜訊，若參數可經計算且經由輸出位元串流111及/或輸入位元串流201發送至解碼器200，則此等參數可用以合成膠片顆粒雜訊。同樣地，對於在編碼器100處的任何殘餘編塊人工因素，若該等殘餘編塊人工因素可經測量且參數可經由輸出位元串流111及/或位元串流201發送，則後復原器子系統390b可解碼此等參數，且使用該等參數來在顯示之前選擇性地執行額外解區塊。另外，編碼器100亦可使用場景變化、空間複雜性、時間複雜性、移動範圍及預測距離資訊，上述資訊可在後復原器子系統390b中幫助品質復原。
雖然子系統330b至子系統390b在圖3(b)中例示 與解碼器300b之特定示例性功能模組相關聯，但是本文解碼器300b之其他實施方案可包括解碼器300b之功能模組在子系統330b至子系統390b之中的不同分佈。本揭示案在此方面不受限制，且在各種實例中，本文示例性子系統330b至子系統390b之實施方案可包括所示解碼器300b之特定示 例性功能模組之僅一子集、額外功能模組及/或以相較於所示的不同佈置之承擔。
圖4為修改後預測參考畫面400的例示性圖表，該 修改後預測參考畫面係根據本揭示案之至少一些實施方案佈置。如所示，品質分析器及品質復原濾波之輸出可為最終重建圖框，該最終重建圖框可用於預測以編碼其他圖框(例如，最終重建圖框可為參考圖框等)。
NGV編碼器(例如，編碼器100及/或解碼器200) 之提議的實施方案可使用漸變預測參考428至漸變預測參考438(MR0至MR3)及/或合成預測參考412至合成預測參考440至合成預測參考446(S0至S3、MR4至MR7)之組合來實施P-畫面編碼。NGV編碼涉及被稱為I-畫面、P-畫面及F-畫面/B-畫面的三個畫面類型之使用。在所示實例中，將要被編碼的當前畫面(P-畫面)展示在時間t=4處。在編碼期間，NGV編碼器(例如，編碼器100及/或解碼器200)之提議的實施方案可使用四先前解碼的參考R0 412、R1 414、R2 416、及R3 418中之一或多個。不同於可將此等參考簡單地直接用於預測的其他解決方案，NGV編碼器(例如，編碼器100及/或解碼器200)之提議的實施方案可自此類先前解碼的參考產生修改後(漸變或合成)參考，且隨後至少部分基於此類所產生的修改後(漸變或合成)參考來使用移動補償編碼。
如以下將更詳細地描述，在一些實例中，NGV 編碼器(例如，編碼器100及/或解碼器200)之提議的實施方 案可併入若干組件，及由此等組件在有效的視訊編碼演算法中產生的組合式預測。例如，NGV編碼器之提議的實施方案可包括以下特徵中之一或多個：1.增益補償(例如，對於場景中的增益/亮度變化之顯式補償)；2.模糊補償：例如，對於場景中的模糊/銳度變化之顯式補償；3.主要/全域移動補償(例如，對於場景中的主要移動之顯式補償)；4.校準補償(例如，對於場景中的校準失配之顯式補償)；5.超解析度(例如，用於場景中的解析度精度變化之顯式模型)；6.投影(例如，用於場景中的移動軌跡變化之顯式模型)；類似者及/或上述各者之組合。
在所示實例中，若施加框間預測，則特性及移動 濾波預測器模組可將移動補償施加於當前畫面410(例如，在圖中標記為P-畫面(當前))，作為區域解碼迴路之部分。 在一些狀況下，此移動補償可至少部分基於未來圖框(未示出)及/或先前圖框R0 412(例如，在圖中標記為R0)、先前圖框R1 414(例如，在圖中標記為R1)、先前圖框R2 416(例如，在圖中標記為R2)及/或先前圖框R3 418(例如，在圖中標記為R3)。
例如，在一些實施方案中，預測操作可包括框間 預測及/或框內預測。框間預測可由一或多個模組執行，該一或多個模組包括漸變分析器及產生模組及/或合成分析器及產生模組。此漸變分析器及產生模組可分析當前畫面，以決定用於相對於該當前畫面將藉以編碼的一或多個參考圖框的模糊變化420(例如，在圖中標記為模糊參數)、 增益變化422(例如，在圖中標記為增益參數且以下更詳細地說明)、校準變化424(例如，在圖中標記為校準參數)及主要移動變化426(例如，在圖中標記為主要參數)等的參數。
所決定的漸變參數420、422、424及/或426可用 以產生漸變參考圖框。此類所產生的漸變參考圖框可經儲存且可用於計算用於當前圖框之有效移動(及特性)補償預測的移動向量。在所示實例中，所決定的漸變參數420、422、424及/或426可用以產生漸變參考圖框，諸如例如模糊補償漸變參考圖框428(例如，在圖中標記為MR3b)、增益補償漸變參考圖框430(例如，在圖中標記為MR2g)、增益補償漸變參考圖框432(例如，在圖中標記為MR1g)、校準補償漸變參考圖框434(例如，在圖中標記為MR1r)、主要移動補償漸變參考圖框436(例如，在圖中標記為MR0d)，及/或校準補償漸變參考圖框438(例如，在圖中標記為MR0r)、類似者或上述各者之組合。
類似地，合成分析器及產生模組可產生超解析度 (SR)畫面440(例如，在圖中標記為S0(S0與先前圖框R0 412相等)、S1、S2、S3及投影內插(PI)畫面442(例如，在圖中標記為PE)等，以用於決定用於此等圖框中的有效移動補償預測的移動向量。此類所產生的合成參考圖框可經儲存且可用於計算用於當前圖框之有效移動(及特性)補償預測的移動向量。
另外或替代地，所決定的漸變參數420、422、424 及/或426可用以使所產生的合成參考圖框超解析度(SR)畫 面440及/或投影內插(PI)畫面442漸變。例如，合成分析器及產生模組可自所決定的校準漸變參數424產生漸變校準補償超解析度(SR)畫面444(例如，在圖中標記為MR4r、MR5r及MR6r)及/或漸變校準補償投影內插(PI)畫面446(例如，在圖中標記為MR7r)等。此類所產生的漸變參考圖框及合成參考圖框可經儲存且可用於計算用於當前圖框之有效移動(及特性)補償預測的移動向量。
在一些實施方案中，可明確地計算一組特性(諸 如例如增益、模糊、主要移動、校準、解析度精度、移動軌跡等，或上述各者之組合)之變化。可除區域移動之外計算此類一組特性。在一些狀況下，可在適當時利用先前畫面/片段及下一個畫面/片段；然而，在其他狀況下此類一組特性可關於來自先前畫面/片段進行得更好。此外，因為在任何估計程序中可存在誤差，(例如，來自多個過去畫面/片段或多個過去及未來畫面/片段)，所以可選擇與該組特性(諸如例如增益、模糊、主要移動、校準、解析度精度、移動軌跡、類似者或上述各者之組合)相關聯的修改後參考圖框，該修改後參考圖框產生最佳估計。因此，利用與該組特性(諸如例如增益、模糊、主要移動、校準、解析度精度、移動軌跡、類似者或上述各者之組合)相關聯的修改後參考圖框的提議的方法可明確地補償此等特性中的差異。提議的實施方案可解決如何改良預測信號之問題，此舉亦允許在視訊編碼中達成高壓縮效率。
如所論述，在一些實例中，可執行框間預測。在 一些實例中，多達4個解碼後過去畫面及/或未來畫面及若干漸變預測/合成預測可用以產生大量參考類型(例如，參考畫面)。例如，在「框間」模式中，可在P-畫面中支援多達九個參考類型，且可在F-畫面/B-畫面中支援多達十個參考類型。此外，「多參考」模式可提供一類型之框間預測模式，其中可使用兩個參考畫面，而非1個參考畫面，且P-畫面及F-畫面/B-畫面分別可允許3個參考類型及多達8個參考類型。例如，預測可基於使用漸變技術或合成技術中之至少一者所產生的先前解碼的圖框。在此類實例中，位元串流可包括與預測分割相關聯的圖框參考、漸變參數或合成參數。
除主要移動補償(以下更詳細地描述)之外的漸變技術及合成技術中之一些如下。
增益補償
由NGV編碼使用的一類型之漸變預測為增益補償預測，且包括偵測及估計增益及/或偏置亮度值，參數化該等增益及/或偏置亮度值，在編碼器處將該等增益及/或偏置亮度值用於增益/偏置之補償，將該等增益及/或偏置亮度值傳輸至解碼器，及藉由複製編碼器處的增益補償過程來在解碼器處將該等增益及/或偏置亮度值用於增益補償。
藉由一詳細實例，通常在視訊場景中，圖框間差異不僅由於物件之移動而且亦由於增益/亮度變化引起。有時，此類亮度變化可由於諸如漸現、漸隱的編輯效應或由於交叉衰落而為全域的。然而，在許多狀況下，此類亮度 變化例如由於戲劇或音樂表演中的閃爍燈、攝影機閃光、爆發、彩色閃光燈等而為區域的。
框間亮度變化(全域的區域的)之補償可潛在地 改良視訊編碼中的壓縮效率。然而，亮度變化參數(增益及偏置)在視訊編碼器及解碼器兩者處予以施加，使得應經由位元串流將增益及偏置兩者以低位元成本有效地自編碼器通訊至解碼器，且應最小化解碼器之處理複雜性。過去，已揭示僅用於全域亮度變化的技術，但尚未成功地解決亮度變化之區域補償。
以下方程式將圖框『t』中的(i,j)位置處的像素 s t (i,j)之亮度與先前圖框『t-1』中的相同位置(i,j)處的像素之亮度聯繫起來，其中『a』及『b』為增益因數及偏置因數。假定移動為小的，且僅模型化亮度變化。
s t (i,j)=a×s t-1 (i,j)+b (1)
取s t (i,j)及(s t 2 (i,j))之期望值，且接著為使當前圖框及先前圖框之第一及第二動差相等的方法，增益『a』及偏置『b』之值可隨後計算為：
b=E(s t (i,j))-a×E(s t-1 (i,j)) (3)
一旦根據方程式(2)計算『a』及『b』，『a』及『b』即經量化(用於有效傳輸)、編碼且發送至解碼器。在解碼器處，將『a』及『b』之解碼後解量化值放回方程式(1)，且使用先前圖框中的像素之解碼後值，計算先前參考圖框之 增益補償修改後版本，該增益補償修改後版本在誤差方面比原始先前圖框更低，且該增益補償修改後版本隨後用於產生(增益補償)移動補償預測。至(逆變換及解量化)解碼後預測誤差區塊，添加來自修改後先前參考圖框的對應預測以產生最終解碼後圖框(或圖框之區塊)。
對於區域移動補償，計算多組參數且將該等多組參數連同圖框之哪一部分對應於哪些參數的映射一起傳輸至解碼器，且如所述用於增益補償，而非單組(a,b)參數。
模糊/校準補償
藉由一詳細實例，以下描述用於校準及模糊之補償之方法，但是可以可互換地使用術語。
校準補償：
成像場景的靜止視訊攝影機仍可導致圖框間不同的搖晃或不穩定的視訊，該搖晃或不穩定的視訊歸因於環境因素(諸如風)、來自附近物件的振動、搖晃的手或抖動的擷取過程，而非場景之全域移動或場景中的大物件之移動。此狀況導致圖框間校準差異，該等圖框間校準差異之補償(除諸如增益、全域/主要移動及區域移動補償的其他形式之補償之外)可導致視訊編碼之壓縮效率之改良。
對於計算當前圖框與先前參考圖框之間的校準參數，可使用維納濾波(Wiener filtering)。假設x(n)為輸入信號，y(n)為輸出，且h(n)表示濾波係數。
誤差信號：e(n)=d(n)-y(n) (5)
在矩陣符號中，h為濾波係數之向量。交叉相關列向量(來源圖框與參考圖框之間的)：R dx =E[d(n)x(n) T ] (6)
自相關矩陣(基於區塊資料)：R xx =E[x(n)x(n) T ] (7)
用以求解h的維納-霍普(Wiener Hopf)方程式則如下。維納-霍普方程式以均方誤差決定最佳濾波係數，且所得濾波器稱為「維納」濾波器。
模糊補償：
場景之快速攝影機搖移可由於電荷整合而導致模糊的影像。此外，即使攝影機為靜止的或在移動中，若場景涉及快速移動的物件(例如足球比賽中的足球運動員)，則物件亦可表現為模糊的，因為成像之時間解析度不充分。在以上提及的狀況中之兩者中，在其他形式之補償之前或結合其他形式之補償的模糊補償可改良視訊編碼之壓縮效率。
對於移動模糊估計，可使用露西-理查森(Lucy-Richardson)方法。該方法為用於使用模糊運算子B(使用估計模糊向量的模糊圖框)及伴隨算子B*來在迭代i處自來源圖框Y連續地計算減少的模糊圖框(X)的迭代演算法。運算子B*可大致上視為與B相同，因為B*可由B替換，從而導致大致上相同的視覺品質。
超解析度合成
參考圖5，除漸變預測(增益、模糊/校準、全域/主要移動)畫面之外，亦支援合成預測(超解析度(SR)及投影內插(PI))畫面。一般而言，超解析度(SR)為用以使用視訊之許多過去圖框來幫助填入遺漏資訊而創建單個視訊圖框之高解析度重建影像的技術。良好的超解析度技術之目標將能夠產生比在使用已知較高解析度視訊測試時單獨向上取樣更好的重建影像。本文超解析度產生技術可使用編碼視訊編解碼器資料來創建迴路內超解析度圖框。顧名思義，迴路內超解析度圖框再次使用於編碼迴路內。SR在編碼迴路中之使用提供在低解析度視訊編碼方面且因此在重建超解析度視訊方面的顯著增益。此過程使用一演算法，該演算法連同當前解碼後圖框及過去圖框(或未來圖框，若為可利用的)一起組合且使用編解碼器資訊(如模式框內、移動、係數等)，以創建正在解碼的當前圖框之高解析度重建。因此，提議的技術為快速的，且產生良好的視覺品質。
對於移動為緩慢的且內容為相當詳細(許多邊緣、紋理等)的序列，產生用於在預測中使用的超解析度圖框的能力可提供更大的移動補償準確度，且藉此容許更高程度之壓縮。如圖5中所示，用圖表表示過程500，其中將SR預測之產生之原理施加於P-畫面，此舉為由NGV編碼使用的一類型之合成預測。在此狀況下，編碼器及解碼器兩者自先前可利用的解碼後圖框及資料產生合成圖框。在水 平維度及垂直維度兩者上為圖框『n』504之大小的兩倍的SR圖框518係藉由在『n』處混合向上取樣的解碼後P圖框516來產生，且移動補償畫面514藉由在『n-1』使用先前SR圖框508來構造。先前SR圖框508藉由使用當前P-畫面504在解交插區塊510處予以解交插且與移動估計值組合。區塊510用於移動補償以形成移動補償解交插區塊512，該移動補償解交插區塊隨後經重新交插至區塊上以形成移動補償畫面514。亦藉由箭頭D在圖框n+1處針對P-畫面展示多參考預測。
投影內插合成
諸如圖框序列400的畫面序列亦可用以例示投影內插圖框(PI-畫面)之產生及使用原理，該等投影內插圖框如圖4上的圖框PE 442所示。為簡單起見，假定F-畫面行為如B-畫面且可參考兩個錨，一個在過去，且另一個在未來(此僅為一示例性狀況)。隨後，對於每一F-畫面，可藉由被稱為投影內插的特定類型之內插來產生共同定位的內插圖框，該投影內插使用未來及過去參考錨圖框。投影內插將物件移動納入考慮，該物件移動在圖框序列期間具有非恆定(或非線性)速度，或具有相對大的移動。PI使用加權因數，該等加權因數取決於自將要替換的共同定位圖框或當前圖框且至正用於內插的兩個參考圖框中每一個的距離。因此，決定最佳符合的移動向量，該最佳符合的移動向量與這兩個距離成比例，並且通常給予較近的參考更大的權重。為實現此舉，針對一實例藉由最小平方估計法決定兩 個比例因數(x因數及y因數)。可隨後允許進一步移動補償以調整小的失配。
例如，對於時間『n+1』處的F-畫面，使用在時 間『n』及『n+2』處的錨或參考圖框產生在此『n+1』時間處共同定位的PI-畫面。同樣地，對於時間『n+3』及『n+4』處的F-畫面，使用在時間『n+2』及『n+5』處的錨圖框產生對應PI-畫面。可針對每一未來F-畫面重複此過程，因為PI-畫面經合成以在時間方面對應於每一F-畫面。可隨後以兩個參考錨將要用於預測的相同或類似方式將對應的合成PI-畫面用作第三參考。一些預測分割可直接使用預測參考，而其他預測分割可隱式地使用該等預測參考以便產生雙向預測。因此，在多參考預測的情況下且在兩個參考錨的情況下，可將合成PI-畫面用於預測，而非原始F-畫面。
現在轉向用以實施對參考圖框之此等修改的系 統，且如先前所提及，在將要壓縮的視訊之日益增加的解析度及對高視訊品質的期望的情況下，使用諸如H.264的現有視訊編碼標準或甚至諸如H.265/HEVC的演進標準的編碼所需要的對應位元率/帶寬為相對高的。以上提及的標準使用傳統方法之擴展形式來隱式地解決不充分的壓縮/品質問題，但通常結果為有限的。
提議的實施方案藉由改良框間預測來改良視訊 壓縮效率，此舉又減少需要編碼的框間預測差異(誤差信號)。將要編碼的框間預測差異之量愈少，編碼所需要的位元之量愈少，此狀況有效地改良壓縮效率，因為現在佔用 較少的位元來儲存或傳輸編碼預測差異信號。提議的NCV編解碼器可藉由除移動補償之外或替代移動補償而使用明確地補償內容之特性變化的方法而對內容之變化的特性(諸如例如增益、模糊、主要移動、校準、解析度精度、移動軌跡、類似者或上述各者之組合)具有高適應性，而非僅限於移動補償。因此，藉由明確地解決問題之根本原因，NGV編解碼器可解決以標準為基礎的編解碼器之限制之關鍵來源，藉此達成更高的壓縮效率。
框間預測輸出之此變化可由於提議的NCV編解 碼器補償視訊內容之變化的廣泛原因的能力而達成。典型的視訊場景由於許多區域變化及全域變化(本文被稱為特性)而根據圖框不同。除區域移動之外，存在並未由當前解決方案充分地解決的許多其他特性，該等其他特性可由提議的實施方案解決。
除區域移動之外，提議的實施方案可明確地計算 一組特性(諸如例如增益、模糊、主要移動、校準、解析度精度、移動軌跡、類似者或上述各者之組合)之變化，且因此可關於來自先前畫面/片段的預測比僅使用來自先前畫面/片段及下一個畫面/片段的區域移動預測進行得更好。此外，因為在任何估計程序中可存在誤差，所以NGV編碼器可自多個過去畫面/片段或多個過去及未來畫面/片段選取藉由明確地補償各種特性之差異來產生最佳結果的圖框。
在操作中，NGV編碼器(例如，編碼器100及/或 解碼器200)之提議的實施方案可操作，使得可使用符號運 行的編碼或碼簿等來定義預測模式及/或參考類型資料。預測模式及/或參考類型資料可在各種實例中使用內容適應性或離散變換予以變換編碼，以產生變換係數。亦如所論述，與分割相關聯的資料(例如，變換係數或量化變換係數)、管理負擔資料(例如，如本文針對變換類型、適應性變換方向及/或變換模式所論述的指示符)及/或定義分割的資料等可經編碼(例如，經由熵編碼器)成位元串流。位元串流可經通訊至解碼器，該解碼器可使用編碼位元串流來解碼視訊圖框以用於顯示。在區域(諸如巨集區塊或影像塊內的逐區塊，或影像塊或預測單元內的逐分割，或超片段或區部內的片段)基礎上，可例如至少部分基於率失真最佳化(RDO)或至少部分基於視訊之預分析來選擇最佳模式，且用於該模式的識別符及所需要的參考可經編碼於位元串流內以用於由解碼器使用。
如以上所說明，在P-畫面及F-畫面中允許各種預 測模式，且以下示範該等預測模式，以及該等預測模式如何與參考類型聯繫起來。將P-畫面影像塊及F-畫面影像塊兩者分割成較小單元，且將來自「跳過」、「自動」、「框間」及「多參考」之中的預測模式分配給影像塊之每一分割。 表1中的模式之整個清單亦包括『框內』，與時間移動補償預測相比，該『框內』涉及來自相鄰區塊的空間預測。「分裂」模式涉及需要進一步劃分或進一步分割。對於使用「框間」模式及「多參考」模式的分割，需要關於所使用的參考的進一步資訊，且該進一步資訊對於P-畫面分別展示於 表2(a)及表2(b)中，而對於F-畫面，分別展示於表3(a)及表3(b)中。
預測模式及參考類型分析器125(圖1)可允許預 測模式自如以上提及的「跳過」、「自動」、「框間」、「多參考」及「框內」之中的選擇，所有該等預測模式可適用於P-畫面及F-畫面；此展示於以下表1中。除了預測模式之外，該預測模式及參考類型分析器亦允許參考類型之選擇，該等參考類型可為取決於「框間」或「框內」模式而不同的，並且可用於P-畫面及F-畫面；參考類型之詳細清單對於P-畫面展示於表2(a)及表2(b)中，且對於F-畫面展示於表3(a)、3(b)、3(c)及3(d)中。
以下所示的表1至表3例示用於正在重建或將要 重建的當前圖框(curr_pic)的碼簿項之一實例。項之完整碼簿可提供所有可能的項及其編碼之完整或大體上完整的列表。在一些實例中，碼簿可考慮以上所述約束。在一些實例中，與用於預測模式及/或參考類型的碼簿項相關聯的資料可經編碼於位元串流中，以用於在解碼器處使用，如本文所論述。
其中表2(b)針對包括無參數的過去參考及表格上的參考之一的參考之特定組合，如由表標題所指示。
其中proj F代表PI，且第8列藉由一實例包括兩個選擇性的參考。
其中Dir代表子模式，該子模式為用於F-圖框之多模式的參考之固定或部分固定的組合，使得以上Dir 0及以下Dir 1及Dir 2各自代表參考之組合。因此，如表3(b)中所示，Dir 0可代表過去參考之組合(該過去參考可為在特定時間處的特定參考(例如在n+2處的參考3)且與來自表的參考之一組合。以下表上的Dir為類似的，且如表之標題中所說明。
特定於主要移動補償，P-畫面之「多參考」模式支援稱為MR0d的參考類型(漸變參考0主要移動)，且對於F-畫面之「多參考」模式，所支援的參考類型包括MR0d及MR3d(漸變參考3主要移動)。以下進一步說明此等碼。此外，在「多參考」模式中，支援MR3d作為用於單個當前圖框的兩個參考之一。除「框間」及「多參考」之外，DMC亦可使用於NGV「自動」模式中。調用DMC的情況下的模式及參考類型組合之匯總如下。
使用主要移動補償參考圖框預測：F-畫面，自動模式，子模式1、2
使用多個主要移動補償參考圖框之混合預測：F-畫面，自動模式，子模式3
具有用於預測的差分平移移動向量的主要移動補償參考：P-畫面，框間模式，par=DMC
F-畫面，框間模式，par=DMC
具有用於預測的差分平移移動向量的主要移動補償參考，該主要移動補償參考與另一參考圖框混合：F-畫面，多參考模式，ref1=past_ref，par1=無，ref2=utr_ref，par1=DMC
圖6為用於執行特性及移動補償預測的示例性編碼器預測子系統330的例示性圖表，該示例性編碼器預測子系統係根據本揭示案之至少一些實施方案佈置。如所示，編碼器600之編碼器預測子系統330可包括解碼後畫面緩衝 器119、漸變分析器及產生模組120、合成分析器及產生模組121、移動估計器模組122，及/或特性及移動補償精度適應性濾波預測器模組123。
如所示，品質分析器及品質復原濾波之輸出可經傳輸至解碼後畫面緩衝器119。在一些實例中，品質分析器及品質復原濾波之輸出可為最終重建圖框，該最終重建圖框可用於預測以用於編碼其他圖框(例如，最終重建圖框可為參考圖框等)。在編碼器600中，預測操作可包括框間預測及/或框內預測。如圖6中所示，框間預測可藉由一或多個模組執行，該一或多個模組包括漸變分析器及產生模組120、合成分析器及產生模組121，及/或特性及移動補償精度適應性濾波預測器模組123。
漸變分析器及產生模組120可包括漸變類型分析器(MTA)及漸變畫面產生器(MPG)610以及漸變預測參考(MPR)緩衝器620。漸變類型分析器(MTA)及漸變畫面產生器(MPG)610可分析當前畫面以決定用於相對於該當前畫面將藉以編碼的一或多個參考圖框的增益變化、主要移動變化、校準變化及模糊變化的參數。所決定的漸變參數可經量化/解量化且用以(例如，藉由漸變分析器及產生模組120)產生漸變參考圖框。此類所產生的漸變參考圖框可經儲存在漸變預測參考(MPR)緩衝器620中，且可由移動估計器模組122用於計算用於當前圖框之有效移動(及特性)補償預測的移動向量。
合成分析器及產生模組121可包括合成類型分析 器(STA)及合成畫面產生器(SPG)630以及合成預測參考(SPR)緩衝器640。合成類型分析器(STA)及合成畫面產生器(SPG)630可產生超解析度(SR)畫面及投影內插(PI)畫面等，以用於決定用於在此等圖框中的有效移動補償預測的移動向量。此類所產生的合成參考圖框可經儲存在合成預測參考(SPR)緩衝器640中，且可由移動估計器模組122用於計算用於當前圖框之有效移動(及特性)補償預測的移動向量。
移動估計器模組122可連同當前圖框一起至少部 分基於漸變參考圖框及/或超解析度(SR)畫面及投影內插(PI)來產生移動向量資料。在一些實例中，可將移動估計器模組122視為框間預測模組。例如，可將移動向量資料用於框間預測。若施加框間預測，則特性及移動濾波預測器模組123可施加移動補償作為如所論述的區域解碼迴路之部分。
圖7為用於執行特性及移動補償預測的示例性解 碼器預測子系統701的例示性圖表，該示例性解碼器預測子系統係根據本揭示案之至少一些實施方案佈置。如所示，解碼器700之解碼器預測子系統701可包括解碼後畫面緩衝器210、漸變分析器及產生模組211、合成分析器及產生模組212，及/或特性及移動補償精度適應性濾波預測器模組213。
如所示，品質復原濾波模組之輸出可經傳輸至解碼後畫面緩衝器(或圖框選擇器控制)210。在一些實例中， 品質復原濾波模組之輸出可為最終重建圖框，該最終重建圖框可用於預測以用於編碼其他圖框(例如，最終重建圖框可為參考圖框等)。如所論述，歸因於預測操作的補償可包括框間預測及/或框內預測補償。如所示，框間預測補償可由一或多個模組執行，該一或多個模組包括漸變分析器及產生模組211、合成分析器及產生模組212，及/或特性及移動補償精度適應性濾波預測器模組213。
漸變分析器及產生模組211可包括漸變畫面產生 器(MPG)710以及漸變預測參考(MPR)緩衝器720。漸變畫面產生器(MPG)710可使用解量化漸變參數(例如，自輸入位元串流決定的)來產生漸變參考圖框。此類所產生的漸變參考圖框可經儲存在漸變預測參考(MPR)緩衝器720中，且可由特性及移動補償精度適應性濾波預測器模組213使用。
合成分析器及產生模組212可包括合成畫面產生 器(SPG)730以及合成預測參考(SPR)緩衝器740。合成畫面產生器(SPG)730可經組配來至少部分基於自輸入位元串流201決定的參數來產生一或多個類型之合成預測參考畫面，諸如超解析度(SR)畫面及投影內插(PI)畫面等。此類所產生的合成參考圖框可經儲存在合成預測參考(SPR)緩衝器740中，且可由移動補償濾波預測器模組213使用。
若施加框間預測，則特性及移動補償濾波預測器 模組213可連同當前圖框一起至少部分基於漸變參考圖框及/或超解析度(SR)畫面及投影內插(PI)畫面來施加移動補償。
參考圖8，用於執行特性及移動補償預測的另一 示例性編碼器預測子系統330的例示性圖表係根據本揭示案之至少一些實施方案佈置。如所示，編碼器800之編碼器預測子系統330可包括解碼後畫面緩衝器119、漸變分析器及產生模組120、合成分析器及產生模組121、移動估計器模組122，及/或特性及移動補償精度適應性濾波預測器模組123。
如所示，品質分析器及品質復原濾波之輸出可經 傳輸至解碼後畫面緩衝器119。在一些實例中，品質分析器及品質復原濾波之輸出可為最終重建圖框，該最終重建圖框可用於預測以用於編碼其他圖框(例如，最終重建圖框可為參考圖框等)。在編碼器800中，預測操作可包括框間預測及/或框內預測。如圖8中所示，框間預測可藉由一或多個模組執行，該一或多個模組包括漸變分析器及產生模組120、合成分析器及產生模組121，及/或特性及移動補償精度適應性濾波預測器模組123。
漸變分析器及產生模組120可包括漸變類型分析 器(MTA)及漸變畫面產生器(MPG)610，以及漸變預測參考(MPR)緩衝器620。漸變類型分析器(MTA)及漸變畫面產生器(MPG)610可經組配來分析且/或產生一或多個類型之修改後預測參考畫面。
例如，漸變類型分析器(MTA)及漸變畫面產生器 (MPG)610可包括增益估計器及補償預測產生器805、模糊估計器及補償預測產生器810、主要移動估計器及補償預測 產生器815、校準估計器及補償預測產生器820、類似者及/或上述各者之組合。增益估計器及補償預測產生器805可經組配來分析且/或產生適於解決增益變化的漸變預測參考畫面。模糊估計器及補償預測產生器810可經組配來分析且/或產生適於解決模糊變化的漸變預測參考畫面。全域移動估計器及補償預測產生器815可經組配來分析且/或產生適於解決主要移動變化的漸變預測參考畫面。具體而言，全域移動估計器及補償預測產生器815用於全域移動參數(dp)之計算及將該等全域移動參數施加於來自DPR緩衝器119的畫面上以產生GMC漸變參考畫面，該GMC漸變參考畫面儲存在MPR畫面緩衝器(用於主要移動補償預測的區域/畫面緩衝器)中。該全域移動估計器及補償預測產生器之輸出用於區塊移動估計及補償。校準估計器及補償預測產生器820可經組配來分析且/或產生適於解決校準變化的漸變預測參考畫面。
漸變類型分析器(MTA)及漸變畫面產生器(MPG)610可將此類所產生的漸變參考圖框儲存於漸變預測參考(MPR)緩衝器620中。例如，漸變預測參考(MPR)緩衝器620可包括增益補償(GC)畫面緩衝器825、模糊補償(BC)畫面緩衝器830、主要移動補償(DC)畫面緩衝器835、校準補償(RC)畫面緩衝器840、類似者及/或上述各者之組合。增益補償(GC)畫面緩衝器825可經組配來儲存適於解決增益變化的漸變參考圖框。模糊補償(BC)畫面緩衝器830可經組配來儲存適於解決模糊變化的漸變參考圖框。主要移動 補償(DC)畫面緩衝器835可經組配來儲存適於解決主要移動變化的漸變參考圖框。校準補償(RC)畫面緩衝器840可經組配來儲存適於解決校準變化的漸變參考圖框。
合成分析器及產生模組121可包括合成類型分析 器(STA)及合成畫面產生器(SPG)630以及合成預測參考(SPR)緩衝器640。合成類型分析器(STA)及合成畫面產生器(SPG)530可經組配來分析且/或產生一或多個類型之合成預測參考畫面。例如，合成類型分析器(STA)及合成畫面產生器(SPG)630可包括超解析度濾波選擇器及預測產生器845、投影軌跡分析器及預測產生器850、類似者及/或上述各者之組合。超解析度濾波選擇器及預測產生器845可經組配來分析且/或產生超解析度(SR)類型之合成預測參考畫面。投影軌跡分析器及預測產生器850可經組配來分析且/或產生投影內插(PI)類型之合成預測參考畫面。
合成類型分析器(STA)及合成畫面產生器 (SPG)630可產生用於此等圖框中的有效移動補償預測的超解析度(SR)畫面及投影內插(PI)畫面等。此類所產生的合成參考圖框可經儲存在合成預測參考(SPR)緩衝器640中，且可由移動估計器模組122用於計算用於當前圖框之有效移動(及特性)補償預測的移動向量。
例如，合成預測參考(SPR)緩衝器640可包括超解 析度(SR)畫面緩衝器855、投影內插(PI)畫面緩衝器860、類似者及/或上述各者之組合。超解析度(SR)畫面緩衝器855可經組配來儲存針對超解析度(SR)畫面產生的合成參考圖 框。投影內插(PI)畫面緩衝器860可經組配來儲存針對投影內插(PI)畫面產生的合成參考圖框。
移動估計器模組122可連同當前圖框一起基於漸 變參考圖框及/或超解析度(SR)畫面及投影內插(PI)畫面來產生移動向量資料。在一些實例中，可將移動估計器模組122視為框間預測模組。例如，可將移動向量資料用於框間預測。若施加框間預測，則特性及移動濾波預測器模組123可施加移動補償作為如所論述的區域解碼迴路之部分。
預測模式分析器125(或預測模式及參考類型分 析器及選擇器)及如以上所說明地在區域(區塊、影像塊或分割)基礎上自各種類型之框間模式及框內模式之中選取最佳預測。在此，「框間」一詞係一般性地使用，且包括「框間」模式、「多參考」模式、「自動」模式及「跳過」模式。 所選取模式(及子模式，若適用)、漸變或合成參數(dp、gp、rp、sp、pp)、參考資訊，及移動(mv、△mv)及其他資料如以上所說明經熵編碼，且作為編碼位元串流之一部分發送至解碼器。
圖9為用於執行特性及移動補償預測的另一示例 性解碼器預測子系統701的例示性圖表，該示例性解碼器預測子系統係根據本揭示案之至少一些實施方案佈置。如所示，解碼器預測子系統701可包括解碼後畫面緩衝器210、漸變分析器及產生模組211、合成分析器及產生模組212，及/或特性及移動補償精度適應性濾波預測器模組213。
如所示，品質復原濾波模組之輸出可經傳輸解碼 後畫面緩衝器210。在一些實例中，品質復原濾波模組之輸出可為最終重建圖框，該最終重建圖框可用於預測以用於編碼其他圖框(例如，最終重建圖框可為參考圖框等)。如所論述，歸因於預測操作的補償可包括框間預測及/或框內預測補償。如所示，框間預測補償可由一或多個模組執行，該一或多個模組包括漸變分析器及產生模組211、合成分析器及產生模組212，及/或特性及移動補償精度適應性濾波預測器模組213。
漸變產生模組212可包括漸變畫面產生器 (MPG)710以及漸變預測參考(MPR)緩衝器720。漸變畫面產生器(MPG)710可使用解量化漸變參數(例如，自輸入位元串流決定的)來產生漸變參考圖框。例如，漸變畫面產生器(MPG)710可包括增益補償預測產生器905、模糊補償預測產生器910、主要移動補償預測產生器915、校準補償預測產生器920、類似者及/或上述各者之組合。增益補償預測產生器905可經組配來產生如以下更詳細地描述的適於解決增益變化的漸變預測參考畫面。模糊補償預測產生器910可經組配來產生適於解決模糊變化的漸變預測參考畫面。 主要移動補償預測產生器915可經組配來產生適於解決主要移動變化的漸變預測參考畫面。校準補償預測產生器920可經組配來產生適於解決校準變化的漸變預測參考畫面。
漸變畫面產生器(MPG)710可將此類所產生的漸 變參考圖框儲存於漸變預測參考(MPR)緩衝器720。例如，漸變預測參考(MPR)緩衝器720可包括增益補償(GC)畫面 緩衝器925、模糊補償(BC)畫面緩衝器930、主要移動補償(DC)畫面緩衝器935、校準補償(RC)畫面緩衝器940、類似者及/或上述各者之組合。增益補償(GC)畫面緩衝器925可經組配來儲存適於解決增益變化的漸變參考圖框。模糊補償(BC)畫面緩衝器930可經組配來儲存適於解決模糊變化的漸變參考圖框。主要移動補償(DC)畫面緩衝器935可經組配來儲存適於解決主要移動變化的漸變參考圖框。校準補償(RC)畫面緩衝器940可經組配來儲存適於解決校準變化的漸變參考圖框。
合成產生模組212可包括合成畫面產生器630以 及合成預測參考(MPR)緩衝器740。合成畫面產生器(SPG)730可經組配來基於自輸入位元串流201決定的參數來產生一或多個類型之合成預測參考畫面，諸如超解析度(SR)畫面及投影內插(PI)畫面等。此類所產生的合成參考圖框可經儲存在合成預測參考(SPR)緩衝器740中，且可由移動補償濾波預測器模組213使用。例如，合成畫面產生器(SPG)730可包括超解析度畫面產生器945、投影軌跡畫面產生器950、類似者及/或上述各者之組合。超解析度畫面產生器945可經組配來產生超解析度(SR)類型之合成預測參考畫面。投影軌跡畫面產生器950可經組配來產生投影內插(PI)類型之合成預測參考畫面。
合成畫面產生器(SPG)730可產生用於此等圖框 中的有效移動補償預測的超解析度(SR)畫面及投影內插(PI)畫面等。此類所產生的合成參考圖框可經儲存於合成預測 參考(SPR)緩衝器740中，且可由特性及移動補償濾波預測器模組213用於當前圖框之有效移動(及特性)補償預測。
例如，合成預測參考(SPR)緩衝器740可包括超解 析度(SR)畫面緩衝器955、投影內插(PI)畫面緩衝器960、類似者及/或上述各者之組合。超解析度(SR)畫面緩衝器955可經組配來儲存針對超解析度(SR)畫面產生的合成參考圖框。投影內插(PI)畫面緩衝器960可經組配來儲存針對投影內插(PI)畫面產生的合成參考圖框。
若施加框間預測，則特性及移動補償濾波預測器 模組213可連同當前圖框一起基於漸變參考圖框及/或超解析度(SR)畫面及投影內插(PI)畫面來施加移動補償。
主要移動補償
參考圖10，如以上所提及，可針對主要移動補償修改參考圖框以提供更有效且更準確的全域移動補償。NGV視訊編碼藉由用以內容分割、內容適應性預測及內容適應性變換編碼的新穎方法來解決當前最新技術之限制。在用於內容適應性預測的各種方法之中包括與先前論述的以MPEG-4第2部分標準為基礎的技術相比更複雜精密的用以全域移動補償的方法。
包括在MPEG-4標準中的全域移動補償(GMC)之限制之一在於所計算的GMC參數可由於各種原因而未提供良好的預測，該等原因包括預測圖框之間的大距離、未覆蓋的背景、物件之全域移動及區域移動之混合及簡單化的內插。在無用於所計算的GMC參數之校正的方式的情況 下，存在的唯一替選方案將在區域基礎上允許或不允許使用GMC。更具體而言，在逐區塊的基礎上決定是否使用GMC。此為管理負擔昂貴的過程。
相比之下，NGV視訊編碼藉由引入校正向量而引 入GMC預測之校正原理。藉由一實例，將要編碼的原始或當前視訊畫面1002(在右側)具有前景物件1004(大星形物件)及背景1006。首先藉由形成GMC漸變畫面1008來創建主要移動補償(DMC)畫面1000(在左側且亦被稱為解碼後參考圖框)，該GMC漸變畫面包圍或符合在矩形1010內，如下所說明。差量校正移動向量(△mvx,△mvy)1016隨後可將前景物件1012之調整後(或漸變或翹曲)定位『微調』至最終定位1014。本文所示移動向量自當前圖框1002指向參考圖框上之對應定位，以展示區部、部分或區塊根據通常編碼圖表來自何處。
雖然展示前景星形物件1014之單個差量校正移 動向量1016，但是事實上可存在至少兩個差量校正移動向量在起作用，因為一個移動向量可用於背景1018(包括零差量移動向量)，且另一移動向量用於前景(諸如所示差量移動向量)。在其他替選方案中，可在區塊(諸如，巨集區塊或較大區塊)上、在影像塊(諸如64x64矩形或較大影像塊)上或在可係或可並非藉由一起分組區塊、影像塊或其他單元形成的圖框之其他分割或部分上使用單個移動向量。
參考圖11，藉由一方法，示例性過程1100為視訊編碼之電腦實施的方法，且具體而言，用以執行主要移動 補償。過程1100係根據本揭示案之至少一些實施方案佈置。過程1100可包括一或多個操作、功能或動作，如由一或多個操作所示。過程1100可形成次世代視訊編碼過程之至少部分。藉由非限制性實例之方式，過程1100可形成如由圖1至圖2之編碼器系統100及200或圖18至圖19之主要移動補償編碼器子系統1800及1900，及/或本文所描述之任何其他編碼器系統或子系統承擔的次世代視訊編碼過程之至少部分。
過程1100可始於「獲得像素資料之圖框且具有當 前圖框及解碼後參考圖框，該解碼後參考圖框用作該當前圖框的移動補償參考圖框」1102。
此後，過程1100可包含「藉由移置解碼後參考圖 框之至少一部分來形成翹曲全域補償參考圖框，該移置係藉由使用全域移動軌跡來進行」。以下詳細地說明此舉。該至少一部分可代表圖框之單個部分、許多部分或整個圖框。該部分可為區塊、諸如編碼樹區塊的影像塊，及/或圖框之區部或分割。區部可為或可並非與圖框中的物件(或換言之，展示在圖框提供的影像上的物件)相關聯，且可具有或可不具有經成形為如物件的邊界。
過程1100可亦包含「決定移動向量，該移動向量 指示至少一部分之移動及自基於翹曲全域補償參考圖框的定位至當前圖框處的定位的移動」。此可藉由移動估計計算來執行。
過程1100可亦包括「至少部分基於移動向量且對 應於當前圖框上之一部分而形成預測部分」。因此，在此狀況況下，在將像素值使用於該部分中以形成預測之前，可施加移動向量以調整區塊、影像塊、區部或物件之定位，該預測可與原始圖框之對應區域相比較以決定是否存在授權編碼的任何殘餘。
參考圖12，藉由另一替選方案，主要移動補償包 括在使用像素值作為預測之前對小於整個圖框的部分執行區域全域移動補償，且在一方法中，並不至少針對該部分決定移動向量。具體而言，示例性過程1200係根據本揭示案之至少一些實施方案佈置。過程1200可包括一或多個操作、功能或動作，如由一或多個操作所示。過程1200可形成次世代視訊編碼過程之至少部分。藉由非限制性實例之方式，過程1200可形成如由圖1至圖2之編碼器系統100及200或圖24至圖25之主要移動補償編碼器子系統2400及2500，及/或本文所描述之任何其他編碼器系統或子系統承擔的次世代視訊編碼過程之至少部分。
過程1200可為用於視訊編碼的電腦實施的方 法，且包含「獲得像素資料之圖框且具有當前圖框及解碼後參考圖框，該解碼後參考圖框用作該當前圖框的移動補償參考圖框」1202。
過程1200亦可包括「將參考圖框劃分成小於整個 圖框之區域的多個部分」1204。因此，可將圖框劃分成部分，該等部分為一致單元，諸如區塊或影像塊，諸如編碼樹區塊等。另外，部分可為以物件為基礎的，諸如前景、 背景、圖框中移動的物件或圖框中的任何其他物件。
過程1200亦可包括「執行主要移動補償，該主要 移動補償包含藉由移置解碼後參考圖框之至少一部分來將區域全域移動補償施加於該等部分中之至少一個上，該移置係藉由在該部分之邊界處使用全域移動軌跡來進行」1206。具體而言，全域移動軌跡可置放在圖框上之每一部分或所選擇部分之拐角處。
過程1200亦可包括「形成對應於當前圖框上之一 部分的預測部分，且藉由使用移置部分之像素值來進行」1208。因此，在此狀況下，可直接使用來自翹曲GMC畫面的像素值，而不使用移動向量。區域GMC隨後提供比一次將GMC施加於整個圖框更大的準確度。
展示以下詳細地描述的可能的選項及特徵中的 一些的匯總錶針對移動向量選項及區域全域移動補償選項兩者列表於以下表中：
參考圖13，現在更詳細地，示例性過程1300係佈 置根據本揭示案之至少一些實施方案佈置。過程1300可包括一或多個操作、功能或動作，如由均勻地編號的一或多個操作1302至1328所示。過程1300可形成次世代視訊編碼過程之至少部分。藉由非限制性實例，過程1300可形成如由圖1至圖2之編碼器系統100或200或圖18至圖19之增益補償編碼器子系統1800或1900，及/或本文所描述之任何其他編碼器系統或子系統承擔的次世代視訊編碼過程之至少部分。
過程1300第一可包括首先獲得像素資料之圖框 且具有當前圖框及解碼後參考圖框1302。如在編碼器100的情況下所述，可將視訊串流提供至編碼器，該編碼器具有解碼迴路135以便找到殘餘且將量化殘餘提供至解碼器。因此，圖框可經解碼，且用作解碼後參考圖框以預測另外其他圖框。漸變單元諸如單元120可用來決定哪些圖框將藉由主要移動補償修改或漸變。此等圖框可已經劃分成諸如巨集區塊、預測區塊等的單元。
參考圖14至圖16，過程1300可包含創建全域移動 補償(GMC)翹曲圖框1304。考慮到解碼後參考畫面1400及全域移動軌跡的GMC(漸變)畫面之產生原理之一形式如下。使用仿射模型的GMC涉及六個參數之使用，該六個參數經編碼為三個移動軌跡1404、1406及1408，並且一個移動軌跡對應於參考畫面1400之三拐角中之每一個，且第四拐角視為無約束的。移動軌跡可由很好理解的過程創建1306。軌跡可亦藉由如所理解的過程或藉由使用如以下所說明的本文提供的方程式來施加1308。所得GMC翹曲圖框或畫面1402與參考畫面1400相比表現得翹曲。換言之，當施加GMC參數方程式時，參考畫面『矩形』導致如所示的四邊形GMC漸變或翹曲畫面1402。具體而言，在此，四邊形自身並未被稱為參考圖框。
可由GMC漸變畫面1402形成1310 GMC漸變參 考畫面或圖框1500。此執行來提供圖框大小以便於計算及與原始圖框的比較。此可包括使用左上方坐標作為參考點(或起始點或連接點)來創建包圍GMC漸變畫面(梯形)1402的較大填補矩形1500。除了可藉由水平地及垂直地延伸及平均像素充滿的拐角像素(重疊區域)之外，在四邊形1402外側但在矩形1500內側的區域可藉由填補1506充滿，該填補由簡單地自四邊形1402之右上及右下邊緣複製像素組成。可裁切或剪下四邊形伸出矩形1500的區域。藉由一方法，將此GMC漸變參考圖框用於下一步移動補償。將理解，基於翹曲畫面形成的矩形自身在本文中可亦被稱為翹曲參考圖框，因為該矩形包括影像之翹曲像素位置。
藉由另一方法，虛擬GMC漸變畫面1600(以虛線 展示)可選擇性地經形成1312以便繼續進行移動補償。當系統具有充分的計算功率來有效地處理除法時，可提供此虛擬GMC漸變畫面，因為此進一步翹曲導致顯著的計算負荷。否則，移動補償可繼續使用以上所說明的翹曲參考矩形1500。
為提供虛擬GMC漸變畫面1600，可延伸參考畫 面以產生虛擬參考畫面1600，使得寬度及高度變為二之冪。例如，若參考畫面1500具有720之寬度及480之高度，則虛擬參考畫面將具有1024之寬度及512之高度。如前所述，可針對三個頂點中之每一個(其中第四頂點為無約束的)計算移動軌跡1602、1604及1606，且可將該等移動軌跡施加至虛擬參考畫面1600之頂點(而非如先前所進行的施加至參考畫面1400)。所得翹曲四邊形(由於運動軌跡之施加)亦被展示且被稱為虛擬GMC漸變畫面1600。將虛擬GMC漸變畫面1600而非GMC漸變畫面1402使用於漸變參考畫面1600之產生的理由與以下事實有關：移動補償過程通常涉及比整數像素高得多的精度(通常為1/8像素精度)之使用，且因此可需要內插，該內插需要除法以用於定標。藉由使用為2之冪的畫面來工作，與除法有關的定標簡單地變為移位且對於解碼器而言在計算上簡單得多。
藉由第一選擇性的方法，在數學上，仿射變換過 程藉由以下方程式描述，該等方程式使用仿射參數a、b、c、d、e、f以將先前畫面中的一組點(x,y)映射至一組修改後的 點(x’,y’)。
x i '=a．x i +b．y i +c (10)
y i '=d．x i +e．y i +f (11)
對於本文所有方程式將理解，(．)、(*)或(x)中任一者簡單地代表乘法。方程式(10)及(11)有效地修改或漸變參考圖框，因此該參考圖框隨後可用於正在分析的當前圖框的更多有效移動補償。此模型經傳輸為三個移動軌跡，一個用於畫面之左上方拐角，一個用於畫面之右上方拐角，且一個用於畫面之左下方拐角。針對虛擬畫面計算(定點算術)仿射參數，該虛擬畫面被假定為具有最近的2之冪的數的寬度及高度，該虛擬畫面大於編碼畫面。此移除解碼器處的除法運算。形式上，假定對於3個頂點(x0,y0)、(x1,y1)、(x2,y2)，對應的移動軌跡mt0、mt1、及mt2經給出且可例如在1/8像素單元中表示為(dx0,dy0)、(dx1,dy1)及(dx2,dy2)。其中： x0=0,y0=0
x1=W*8,y1=0
x2=0,y2=H*8
其中W為畫面寬度且H為畫面高度。隨後，將W及H捨入至2之冪如下導出W’及H’。
W’=2r：W’>=W,2r-1<W (12)
H’=2s：H’>=H,2s-1<H (13)
隨後可如下計算仿射參數A、B、C、D、E、F。
C=dx0 (14)
F=dy0 (15)
A=W’*((x1+dx1)-(x0+dx0))/W (16)
B=W’*((x2+dx2)-(x0+dx0))/W (17)
D=H’*(((y1+dy1)-(y0+dy0))/H) (18)
E=H’*(((y2+dy2)-(y0+dy0))/H) (19)
以下提供用以計算漸變或翹曲參考圖框的其他選項。
過程1300亦可包括定義用於移動向量的圖框部分1304。在此，以下提供且描述三個選項。在一選項中，在逐區塊的基礎上提供移動向量，且該等移動向量可為所定義的預測區塊1306，該等預測區塊諸如巨集區塊或其他預測或編碼單元。藉由另一選項，可將圖框劃分成影像塊，該等影像塊可為64x64像素或更多像素的區塊。對於此選項而言，可將影像塊分組成與諸如為背景或前景之部分的物件相關聯的區部。隨後針對每一區部決定移動向量。藉由第三選項，可在無大影像塊或區塊之任何初始劃分的情況下直接定義區部，但是可將此類區部之邊界定義成符合小區塊(諸如4x4像素)。
參考圖17，對於第一選項，基於方塊的主要移動補償，其中每一區塊使用相對於仿射GMC參考畫面的差量移動向量(MV)校正。此包括首先使用1316或獲得區塊，該等區塊諸如預測巨集區塊，該等預測巨集區塊可為16x16像素，或當前圖框之如所示的較大的其他大小的區塊單元，且該等預測巨集區塊可在翹曲參考圖框上經移置。
藉由一實例，可將具有將要編碼的星形物件1704 的當前圖框1702劃分成區塊A2、B2、C2以用於編碼，且可使用過去解碼後參考圖框及GMC移動軌跡導出GMC漸變參考圖框1700，該等GMC移動軌跡形成翹曲四邊形1708。 來自當前圖框1702的像素區塊A2、B2、C2在移動估計期間經匹配以找到分別在A1、B1及C1處的最接近匹配。在翹曲及填補GMC參考畫面1700中，第一區塊匹配偏置差量移動向量△mv1(1714)，第二區塊匹配偏置差量移動向量△mv2(1716)，且第三區塊匹配偏置差量移動向量△mv3(1718)。雖然僅展示三個區塊，但是假定可將整個畫面劃分成區塊網格上的區塊，且對於每一區塊，可計算差量移動向量，該差量移動向量提供在GMC參考畫面1700中的最佳匹配。另外，雖然區塊被展示為具有中等大小，但是通常區塊可為大的、小的，或每一區塊可為少許容許的大小之一，及可需要來提供移動補償預測誤差之減少與需要編碼且傳輸的額外差量移動向量資訊之間的正確折衷的任何大小。
一旦建立區塊，即可執行移動估計1326，以基於圖框之部分之翹曲定位來決定差量移動向量，該部分在此狀況下為區塊。在實用編碼情形(進一步經由圖18至圖19所說明)中，期望不同區塊可使用不同編碼模式，該等不同編碼模式諸如如以上所述的DMC、增益、校準、SR、PI、參考無參數或框內且最佳化預測誤差關於編碼成本的減少。因此，事實上，可事實上使用DMC編碼圖框中的區塊之僅 一小部分，且藉此需要差量移動向量。
為取得更高的預測效率，可將差量移動向量保持 在¼或1/8像素精度處。為降低發送差量移動向量的成本，可使用遵循與正常移動向量之編碼類似的方法的預測有效地編碼本文標識為(△mv)的移動向量。如本文所描述的與區塊一起使用的過程1300可並非稱為GMC預測，因為該過程使用針對GMC參考畫面1700處的來源區塊的差量移動向量。相反地，此過程被視為一類型之主要移動補償(DMC)，且可涉及移動向量DMC。其他形式之DMC如以下所述而存在。然而，此差異(GMC與DMC之間的)在此並非次要的。 該差異形成對像素位置的調整，該調整可顯著地減少已知GMC上的預測誤差，從而提供更有效的編碼。
另外，本文所描述之方法比針對翹曲參考圖框 1000(圖10)所論述的方法更簡單，因為翹曲參考圖框1700不需要關於前景或背景物件的單獨知識，同時針對翹曲參考圖框1700所示的過程仍將GMC之原理延伸至DMC。
一旦建立差量移動向量，過程1300可繼續使用由移動向量標識的部分來形成預測1328(或具體而言預測部分或在此狀況下為預測區塊)。諸如雙線性內插的簡單技術可用於產生必要的DMC預測區塊。亦可如下使用更複雜精密的方法：以下為用於產生漸變參考(MRef)的一方法：1.(參考方法)使用雙線性內插的漸變參考： A、B、C、D、E及F為自所傳輸的三個移動軌跡計算的仿射參數。
x=(A*j+B*i+C<<r)>>r (20)
y=(D*j+E*i+F<<s)>>s (21)
其中(j,i)為當前像素位置(正在分析的當前圖框上的)，<<及>>為左按位元移位及右按位元移位，且(x,y)為漸變或修改後參考圖框上的以1/8像素準確度的參考像素坐標。
py=y & 0x7 (22)
px=x & 0x7 (23)
y0=y>>3 (24)
x0=x>>3 (25)
其中(x0,y0)為參考影像(參考圖框)中的整數像素位置，且px、py為1/8像素相，& 0x7代表按位元與(AND)，並且(二進位值7使用8個位元)。此等表示四個拐角點，該等拐角點用以在該等拐角點中間找到用於像素的加權平均值。隨後，如下構造漸變或修改後參考：MRef[i][j]=((8-px)*(8-py)*Ref[y0][x0]+px*(8-py)*Ref[y0][x0+1]+py*(8-px)*Ref[y0+1][x0]+py*px*Ref[y0+1][x0+1]+31)>>6 (26)
其中MRef為漸變參考圖框，且以不同形式詳述為：
2.使用雙線性內插及MC濾波的移動補償漸變參 考預測：藉由用以決定漸變參考及預測的另一替選方案，可如下將移動向量及各種區塊大小作為因素列入方程式中。(iMVx,iMVy)為用於大小(Wb x Hb)的在(j,i)處之區塊的子像素單元(fs)中的所傳輸移動向量。A、B、C、D、E及F為自所傳輸的三個移動軌跡計算的仿射參數。使用具有範數T之濾波係數h[fs][Nt]的可分開移動補償(MC)濾波器，fs為子像素因數(例如，2=二分之一像素，4=四分之一像素，8=八分之一像素)，其中Nt為MC濾波器分接頭(tap)數，且i’=i+(iMVy/fs) (28)
j’=j+(iMVx/fs) (29)
pi=iMVy &(fs-1) (30)
pj=iMVx &(fs-1) (31)
其中(j’,i’)為漸變參考影像中的整數移動調整後當前像素位置，且pj、pi為漸變參考影像中的1/8像素相。為創建MRef影像，隨後：x=(A*j’+B*i’+C<<r)>>r (32)
y=(D*j’+E*i’+F<<s)>>s (33)
其中(x,y)為用於位置(j’,i’)的以1/8像素準確度的參考像素坐標py=y & 0x7 (34)
px=x & 0x7 (35)
y0=y>>3 x0=x>>3 (36)
其中(x0,y0)為參考影像中的整數像素位置。px、py為1/8像素相。
MRef[i’][j’]=((8-px)*(8-py)*Ref[y0][x0]+px*(8-py)*Ref[y0][x0+1]+py*(8-px)*Ref[y0+1][x0]+py*px*Ref[y0+1][x0+1]+31)>>6 (37)
tPredh[m][n]=SUMk(h[pj][k]*MRef[i’+m][j’+n+k])/T， (38)
其中：m=[-Nt/2-1,Hb+Nt/2]， (39)
n=[0,Wb-1]， (40)
k=[-Nt/2-1,Nt/2] (41)
且，Predji[m][n]=SUMk(h[pj][k]*tPredh[m+k][n])/T， (42)
其中m=[0,Hb-1]， (43)
n=[0,Wb-1]， (44)
k=(-Nt/2-1,+Nt/2] (45)
MRef為漸變參考圖框，tPredh為中間水平內插，且Predji為最終移動補償漸變參考預測。
其中m=[-Nt/2+1,Hb+Nt/2-1]， (48)
n=[0,Wb-1]， (49)
其中：m=[0,Hb-1]，且n=[0,Wb-1]， (51)
3.使用區塊MC濾波的漸變參考：藉由另一替選方案，A、B、C、D、E及F為自所傳輸的三個移動軌跡計算的仿射參數。使用具有範數T之濾波係數h[fs][Nt]的可分開的MC濾波器。fs為子像素因數(例如，2=二分之一像素，4=四分之一像素，8=八分之一像素)，且其中Nt為MC濾波器分接頭數
x=(A*j+B*i+C<<r)>>r (52)
y=(D*j+E*i+F<<s)>>s (53)
其中(j,i)為當前影像中的每個(Ws x Hs)子區塊位置(通常為4x4、8x4或8x8子區塊)，x及y為以1/8像素準確度的參考像素坐標。
py=y & 0x7 (54)
px=x & 0x7 (55)
y0=y>>3 (56)
x0=x>>3 (57)
其中(x0,y0)為該參考圖框(參考影像)中的整數像素位置，且px、py為1/8像素相。
tPredh[m][n]=SUMk(h[px][k]*Ref[y0+m][x0+n+k])/T，(58)
m=[-Nt/2-1,Hs+Nt/2]， (59)
n=[0,Ws-1]， (60)
k=[-Nt/2-1,+Nt/2] (61)
MRef[i+m][j+n]=SUMk(h[py][k]*tPredh[m+k][n])/T，(62)
m=[0,Hs-1]， (63)
n=[0,Ws-1]， (64)
k=[-Nt/2-1,+Nt/2] (65)
其中MRef為漸變參考圖框；PredH為中間水平內插。
m=[-Nt/2+1,Hs+Nt/2-1]， (67)
n=[0,Ws-1]， (68)
m=[0,Hs-1]， (70)
n=[0,Ws-1]， (71)
4.使用單迴路MC濾波的移動補償漸變參考預測：藉由作為因素考慮移動向量及區塊大小之方差的另一替選方案，(iMVx,iMVy)為用於大小(Wb x Hb)的在(j,i)處之區塊的子像素單元(fs)中的所傳輸移動向量。A、B、C、D、E及F為自所傳輸的三個移動軌跡計算的仿射參數。使用 具有範數T之濾波係數h[fs][Nt]的可分開的MC濾波器，fs為子像素因數(例如，2=二分之一像素，4=四分之一像素，8=八分之一像素)，且Nt為MC濾波器分接頭數。
i’=(i+u*Hs)*fs+iMVx (72)
j’=(j+v*Ws)*fs+iMVy (73)
其中(j,i)為當前區塊像素位置，(u,v)為(Wb x Hb)之給定當前區塊內的每個(Ws x Hs)子區塊之索引，且(Ws x Hs)子區塊通常為4x4、8x4或8x8。以下，i’、j’為以fs子像素準確度的移動調整後當前像素位置。
x=((A*j’+B*i’+(C*fs)<<r)>>(r+3) (74)
y=((D*j’+E*i’+(F*fs)<<s)>>(s+3) (75)
其中x及y為以fs子像素準確度的參考像素坐標py=y &(fs-1) (76)
px=x &(fs-1) (77)
y0=y/fs (78)
x0=x/fs (79)
其中y0、x0為參考影像中的整數像素位置，px、py為1/8像素相。
tPredh[m][n]=SUMk(h[px][k]*Ref[y0+m][x0+n+k])/T， (80)
m=[-Nt/2-1,Hs+Nt/2]， (81)
n=[0,Ws-1]， (82)
k=[-Nt/2-1,+Nt/2] (83)
Predji[u*Hs+m][v*Ws+n]=SUMk(h[py][k]*tPredh[m+k][n])/T，m=[0,Hs-1]， (84)
n=[0,Ws-1]， (85)
k=[-Nt/2-1,+Nt/2]， (86)
v=[0,Wb/Ws-1]， (87)
u=[0,Hb/Hs-1] (88)
其中tPredh為中間水平內插，且Predji為用於在(j,i)處的大小Wb x Hb之區塊的最終移動補償漸變參考預測。
對於：m=[-Nt/2+1,Hs+Nt/2-1]， (90)
n=[0,Ws-1]， (91)
對於：m=[0,Hs-1]， (93)
n=[0,Ws-1]， (94)
u=[0,Hb/Hs-1] (95)
v=[0,Wb/Ws-1] (96)
如以上關於圖1所述，一旦建立用於區塊或其他部分的預測，即在針對特定部分或區塊計算的替選方案之中選取最佳預測(若有)。將最佳預測之像素值與原始圖框之該等對應像素值進行比較，且差異(若有)為經編碼且傳輸至解碼器的殘餘。
現在參考圖18，NGV或修改後HEVC編碼器1800 之一部分或子系統使用以區塊為基礎的類型之DMC預測1316，該以區塊為基礎的類型之DMC預測使用如以上所述的差量移動向量。雖然HEVC標準不支援全域(或主要)移動補償，或漸變或合成參考，但是該HEVC標準支援平面參考且可經修改成編碼器子系統1800。
與可共享許多相同或類似功能的圖1相比，編碼 器1800提供著重於DMC預測的簡化表示。如先前所論述，自解區塊濾波及QR濾波獲得的解碼後圖框經儲存於解碼後預測參考(DPR)畫面緩衝器1802(亦被稱為圖1之多參考圖框儲存器119)中，以用於由漸變參考分析及產生邏輯或合成參考分析及產生邏輯使用。為簡單起見，除DMC之外，省略使用於漸變的其它組件之細節，使得在此漸變參考產生邏輯僅標記為其他漸變分析器、產生器及畫面緩衝器1808。類似地，隱藏合成參考分析及產生之細節，因此合成參考分析及產生邏輯標記為其他合成分析器、產生器及畫面緩衝器1810。
在此圖中，GMC/DMC組件與其他漸變有關的組 件及邏輯相比為分開的且明確地予以展示。主要組件為全域或主要移動估計器及補償預測畫面/影像塊/分割產生器1804、主要移動補償區域/畫面緩衝器1806，及移動補償濾波預測器1814之內插子集1815，而控制邏輯包括全域移動軌跡資訊gmt及差量移動向量△mvs。將注意到，用於定義將要與移動向量一起使用的圖框部分的其他替代性(以非區 塊為基礎的)過程之組件以虛線展示，且以下稍後予以描述。
在操作中，將儲存在DPR緩衝器1802中的解碼後 及濾波後畫面輸入至全域或主要移動估計器及補償預測畫面/影像塊/分割產生器1804，該全域或主要移動估計器及補償預測畫面/影像塊/分割產生器在本以區塊為基礎的替選方案中執行全域移動估計(GME)，從而產生用於整個圖框的全域移動參數(表示為gmt軌跡)(其中軌跡位於圖框之拐角處)且產生GMC參考畫面或區部，該等GMC參考畫面或區部儲存於區域/畫面緩衝器1806中以用於主要移動補償。接下來，區塊移動估計器及分割移動組譯器1812執行以區塊為基礎的移動估計，從而導致區塊(或分割)之移動向量或差量移動向量，且此等移動向量由移動補償預測器1814(在此被稱為二叉樹分割特性及移動補償適應性精度濾波預測器)使用，該移動補償預測器藉由使用內插單元1815的子像素內插產生預測區塊。以上說明各種子像素內插器之替代性選擇(替選方案1至4)。來自移動補償預測器1814的輸出預測區塊(分割)經饋送至預測模式及參考類型分析器1816。另外，將框內預測區塊(或分割)自框內方向性預測分析器及產生器1818輸入至預測模式及參考類型分析器1816。在區塊(或分割)基礎上，預測模式及參考類型分析器1816自各種選擇(例如，DMC預測為許多可利用的選擇之一)決定最佳預測區塊，且將該最佳預測區塊輸出至差分器(處於在此未展示的電路之一部分中)，該差分器產生供編碼的預測誤差。 此外，熵編碼器1820(亦被稱為熵編碼器漸變及合成參數及MV)編碼GMC/DMC參數及資料，亦即，gmt及△mvs。為簡單起見，未展示其他所需要的資訊，諸如識別區塊(分割)使用DMC或一些其他漸變或合成預測類型(或框內類型)的模式及參考資訊，及進一步用作參考的畫面。
如可注意到的，可針對其他視訊壓縮技術相對延 伸或修改編碼器子系統1800。例如，亦可藉由首先延伸當前H.264及即將出現的HEVC標準來使在此所論述的DMC方法工作。HEVC標準不支援GMC或NGV之任何漸變或合成預測模式，但該HEVC標準支援以多參考為基礎的預測，因此在可添加以DMC為基礎的改良的差量mv之前，GMC將需要首先被添加至HEVC標準。此外，NGV編解碼器將影像塊及二叉樹分割使用於移動補償，但HEVC使用以下概念：編碼樹區塊(CTB)或最大編碼單元(LCU)，及四叉樹分割成編碼單元(CU)及以8為基礎的分割成預測單元(PU)的小碼簿，上述各者在功能上為類似的，但其在外表上具有不同的處理結構。模式及參考類型資訊在HEVC係可利用的，但將需要經延伸以支援GMC/DMC延伸。
參考圖19，NGV或修改後HEVC解碼器1900之一部分或子系統可為與編碼器1800之有關組件互補的。與解碼器200相比，解碼器1900本質與該解碼器共享相同或類似的功能，解碼器1900展示著重於DMC預測的較簡單表示。解碼器1900使用區塊之主要移動補償且藉由使用差量MV之校正來使用。HEVC標準不支援全域(或主要)移動補償， 或漸變或合成參考，但支援平面參考。
熵解碼器1901(亦稱為熵解碼器漸變及合成參數 及MV)首先解碼漸變及合成參數、移動向量、差量移動向量(所展示)，及模式及參考類型決策(未示出)。解碼後及濾波後畫面可經儲存於DPR緩衝器1902中，且經輸入至全域或主要移動補償預測畫面/影像塊/分割產生器1904，該全域或主要移動補償預測畫面/影像塊/分割產生器使用解碼後gmt參數來產生GMC參考畫面或區部，該等GMC參考畫面或區部隨後經儲存於主要移動補償區域/畫面緩衝器1906中。如在編碼器之狀況下，移動補償預測單元1912(亦稱為二叉樹分割特性及移動補償適應性精度濾波預測器)特定於NGV編碼，但通常可已使用任何類型之移動補償預測器。以上所述的預測-內插替選方案(1至4)之集合可由預測單元1912之內插器單元或子系統1915使用。在解碼後，差量移動向量由移動補償預測單元1912的使用導致主要移動補償區塊(分割)，該等主要移動補償區塊(分割)連同來自框內方向性預測產生器1916的預測一起經發送至預測模式選擇器1914，該預測模式選擇器使用解碼後參考類型及模式資訊來針對每一區塊(分割)或多個區塊(分割)輸出最佳預測區塊(分割)。此與編碼器處的區域預測中的預測過程相等或類似(編碼器亦使用並非解碼器之部分的分析/估計過程)。
類似於編碼器1800，解碼器1900亦具有其他漸變組件之簡化視圖。因此，在此未對其他漸變產生器及畫面 緩衝器1908及參數(mop)以及合成組件其他合成產生器及畫面緩衝器1910及參數(syp)進行詳細說明。此外，正如編碼器1800的情況，所示的解碼器1900之部分可適於與延伸的H.264或HEVC視頻標準一起起工作。如先前所提及，HEVC標準不包括漸變及合成類型之NGV編解碼器，且僅共享多參考圖框預測之共同性，因此HEVC標準將必須經延伸以支援DMC預測模式。NGV及HEVC標準亦在所使用的分割方面不同。然而，該差異主要為表面的，因為在功能級上，所使用的過程為類似的。
參考圖20至圖22，過程1300可替代地包括在施加差量移動向量(注意，本文移動向量可意味差量移動向量，此取決於上下文)之前，將圖框劃分1318成影像塊，且隨後將影像塊分組1322成區部。具體而言，雖然經由翹曲參考圖框1700所論述的以區塊為基礎的差量移動向量類型之DMC方法可為簡單的，但是關於管理負擔管理，該DMC方法未能達到應有的效率，因為除編碼全域GMC軌跡(gmt)參數之成本之外，差量移動向量係在區塊基礎上予以提供。
提供翹曲參考圖框2000、2100及2200之三個變化以展示差量移動向量對於在圖框之其他部分上的DMC之使用，而非在逐區塊的基礎上或除在逐區塊的基礎上之外。翹曲參考圖框2000(圖20)可用以提供具有一群組合併影像塊或CTB的近似區部層之主要移動補償，其中每一區部使用相對於仿射GMC參考畫面的差量MV校正。因此，可藉由使用較大的影像塊而非區塊，及更重要地將影像塊一起分 組來進一步減少需要發送的差量移動向量之數目，來獲得管理負擔方面的顯著減少。例如，翹曲參考2000可已基於解碼後參考圖框而由翹曲四邊形2008形成，且用作將要編碼的當前圖框2002的參考。當前圖框2002及翹曲參考圖框2000兩者可經劃分成影像塊，且在此展示九個影像塊，但影像塊之數目可為不同的。藉由一方法，影像塊可為亮度像素及對應色度像素之64x64陣列。影像塊亦可為更大的。 如所示，影像塊可在當前圖框上經分組為前景影像塊2004及背景影像塊2006。
藉由基於影像塊是否主要包括畫面中的前景(FG) 或背景(BG)來對影像塊分組，僅需要兩個差量mv，一個用於GMC參考圖框2000中的FG之校正，且另一個用於BG之校正。因此，僅兩個差量mv 2014、2016(一個用於FG，另一個用於BG)需要經編碼且傳輸，且二進制遮罩將FG影像塊與BG影像塊區分開。因為影像塊通常為大的，所以發送遮罩所需要的管理負擔位元通常比在每一區塊或影像塊的情況下發送單個差量移動向量中所引起的管理負擔位元小得多。此外，若對於某些影像塊，將使用另一模式而非DMC，則此類影像塊不需要包括在FG/BG遮罩中。換言之，除現在將相同差量移動向量用於群組或區部中的每一影像塊之外，影像塊在翹曲參考圖框處的定位仍由差量移動向量逐影像塊地調整，諸如對於影像塊2010或2012。因此，所有前景影像塊具有相同向量，且所有背景影像塊具有相同向量。此可取決於計算如何進行，且極可能與使用單個 移動向量一起移動整個區部相同，或如使用單個移動向量一起移動整個區部所述。至此所論述的方法亦適用於多於兩個區部(多物件分段)之狀況，且需要發送多個互斥的影像塊至物件/區部映射，而非單個FG/BG映射。通常，部分、區部或區部層可為影像塊之群組，該等影像塊具有與相同物件的關聯性，而不管該物件為背景、前景、移動的物件或任何其他物件。設想在於，可藉由諸如與圖框上的大小或定位的其他共用關聯性來分組影像塊，而不考慮由圖框顯示的影像，等等。此適用於本文所論述的任何分組。雖然至此已使用來自NGV的「影像塊」一詞，但是若DMC係結合HEVC來使用，則相同原理在「CTB/LCU」一詞替換「影像塊」一詞的情況下適用。
參考圖21，雖然翹曲參考圖框2000展示具有管理負擔之增加的減少的差量mv類型之DMC的第一變化，但是因為影像塊之大小可為大的，所以基於影像塊映射進行的近似FG/BG區部分類可為相當粗略的，此狀況又可能並不導致充分的DMC預測(藉由DMC預測誤差之減少量測的)。因此，翹曲參考圖框2100可用以執行影像塊或CTB之合併二叉樹分割之近似區部層的主要移動補償，其中每一區部層或多個區部層使用相對於仿射GMC參考圖框的差量MV校正，以便進一步減少管理負擔。具體而言，可將翹曲參考圖框2100用作參考以編碼當前圖框2102。當前圖框2102具有前景(FG)影像塊2108及背景(BG)影像塊2110。然而，在此佈置中，圖框2102具有影像塊大小之變化，且容許影 像塊被水平地或垂直地分裂成兩個，從而允許邊沿影像塊2104及2106將為更準確的，且因此近似區部邊界將為更準確的，且因此預測將為更準確的(導致預測誤差之進一步減少)。
具體而言，當前圖框2102具有處於FG或BG區部 中的一些完整的影像塊2108及2110，而FG/BG邊沿中的許多影像塊藉由二叉樹分割分裂水平地(2104)或垂直地(2106)，從而允許改良的準確度，並且FG/BG近似區部層將被構造。此外，藉由首先針對整個當前畫面關於參考圖框估計全域gmt參數，及隨後使用所計算的參數來使參考圖框翹曲以計算翹曲GMC圖框2116，及隨後以邊界延伸來填補該翹曲GMC圖框以創建矩形翹曲GMC參考圖框2100，來產生翹曲參考圖框2100。在此GMC參考圖框2100中，隨後計算兩個差量移動向量2122及2124，一個用於近似FG(形成近似前景區部的完整影像塊及二分之一影像塊)，且另一個用於近似BG(形成背景區部的剩餘完整影像塊及二分之一影像塊)，使得此等差量mv 2122及2124進一步允許改良的DMC預測，而非使用並列的近似FG/BG區部(由影像塊及二叉樹分割影像塊組成的)。在此狀況下，將翹曲及調整後影像塊2126用以定位當前圖框影像塊2110，而翹曲及調整後影像塊半2120及2122分別為用於當前圖框影像塊半2106及2108的參考。
參考圖22，藉由另一替選方案，翹曲參考圖框2200可提供影像塊或CTB之合併四叉樹分割之近似區部層 的主要移動補償，其中每一區部層使用相對於仿射GMC參考圖框的差量MV校正。因此，在此變化中，容許將要編碼的當前圖框2202具有分裂成四元組(quad)2206及2208(兩個1/2水平地及垂直地)的影像塊，從而允許邊沿影像塊將為更準確的，且因此近似區部邊界將為更準確的，且因此預測將為更準確的(導致預測誤差之進一步減少)。具體而言，當前圖框2202具有處於FG或BG區部中的一些完整的影像塊2204及2210，而FG/BG邊沿中的許多影像塊經水平地且垂直地(四叉樹分割)分裂，從而允許改良的準確度的FG/BG近似區部層將被構造。此外，藉由首先針對整個當前圖框畫面關於參考畫面估計全域gmt參數，及隨後使用所計算的參數來使參考畫面翹曲以計算翹曲GMC畫面2114，及隨後以邊界延伸來填補該翹曲GMC畫面以創建矩形GMC參考畫面(或翹曲參考圖框)2200，來產生GMC參考圖框2200。在此GMC參考圖框2200中，隨後計算兩個差量移動向量2222及2224，一個用於近似FG(形成近似前景區部的完整影像塊及四分之一影像塊)，且另一個用於近似BG(形成背景區部的剩餘完整影像塊及四分之一影像塊)，使得此等差量mv進一步允許改良的DMC預測，而非使用並列的近似FG/BG區部(由影像塊及四叉樹分割影像塊組成的)。如可看出，在此四分之一影像塊2206使用翹曲及調整後參考四分之一影像塊2216，且完整的背景影像塊2210使用參考完整的影像塊2220。
再次參考圖18至圖19，編碼器1800及解碼器1900 可稍經修改以提供組件來執行用於以上所論述的圖框2000、2100及2200的以近似區部層差量mv為基礎的DMC方法。區部層可為各自使用差量MV之校正的合併影像塊或CTB，或影像塊/CTB之合併(二叉/四叉)樹分割。HEVC標準不支援全域(或主要)移動補償，或漸變或合成參考，但支援簡單的參考。解碼器1900可使用內容區塊屬性分析器及近似區部分段器1822，該內容區塊屬性分析器及近似區部分段器分析視訊序列之每一輸入畫面且將該每一輸入畫面分段成近似區部層。出於說明之目的，假定將每一畫面分段成兩個區部層，亦即，近似前景(FG)區部層及近似背景(BG)區部層，合併映射可經提供且具有攜帶影像塊(及影像塊之分割)至兩個種類之一中的映射的資料。映射器1824(亦被稱為近似區部至影像塊/CTB及分割映射器)接收邊界資料或參數(亦被稱為影像塊/集線器終端緩衝區及二叉樹/四叉樹分割邊界)，以便構造合併映射。
將當前畫面(正在處理)及過去解碼後參考畫面 (來自DPR畫面緩衝器1802的畫面之一)兩者輸入至全域或主要移動估計器及補償預測畫面產生器1804，使得可針對兩個近似區部中之每一個且藉由使用DMC參考畫面來計算差量mv DMC參數。合併映射由移動補償預測器(亦稱為二叉樹分割特性及移動補償適應性精度(AP)濾波預測器)且由區塊移動估計器及分割移動組譯器1812(亦稱為4x4區塊移動估計器¼像素及1/8像素準確度及分割移動組譯器)使用，其中後者用以計算差量移動向量，且前者用以使用此 等差量mv來計算實際移動補償DMC預測。結果為完整的DMC參考畫面。將使用DMC參考畫面的以DMC近似區部為基礎的預測連同來自框內方向性預測器1818的輸入一起饋送至預測模式及參考類型分析器1816，且過程如以上在影像塊或分割基礎上所述繼續進行，其中預測模式及參考類型分析器1816自各種選擇決定最佳預測。此外，熵編碼器1820編碼編碼諸如用於此替選方案的gmt參數、△mvs及合併映射的DMC資料，以及諸如mvs、mop(漸變參數)及syp(合成參數)以及模式資訊等的其他資料。
參考圖19，解碼器1900可經修改以執行各自使用 差量MV之校正的(合併影像塊/CTB，或影像塊/CTB之合併(二叉/四叉)樹分割)近似區部層的主要移動補償。熵解碼器1901解碼諸如gmt參數、差量mv及合併映射的DMC資料，以及諸如mvs、mops(漸變參數)及syp(合成參數)以及模式資訊(未示出)的其他資料。解碼後合併映射資料由移動補償預測器1912(亦稱為二叉樹特性及移動補償適應性精度(AP)濾波預測器)用來保持對正在處理的影像塊或分割影像塊所屬的(FG/BG)區部之類型的追蹤。全域或主要移動補償預測畫面/影像塊/分割產生器1904在來自DPR畫面緩衝器1902的解碼後畫面上使用解碼後gmt參數，以產生翹曲GMC畫面，且隨後使用邊界填補來產生矩形GMC參考圖框或畫面。在此GMC參考畫面中，隨後施加用於近似FG區部的差量移動向量以決定由影像塊及分割組成的DMC預測近似FG區部。同樣地，隨後施加用於近似BG區部的差量移動向 量以決定由影像塊及分割組成的DMC預測近似BG區部。在FG區部及BG區部重疊的狀況下，將重疊區域之平均像素用作重建。同樣地，在前景與背景之間的孔的狀況下，使相鄰背景區部邊界及前景區部邊界像素平均或延伸以充滿此等孔。結果為完整的DMC參考畫面。
預測模式選擇器1914使用由編碼器經由位元串 流發送的以影像塊或分割為基礎的模式資訊，以使用來自DMC參考畫面的DMC近似FG區部或BG區部，或若干可利用的漸變預測器，或合成預測器，或框內預測器之一的影像塊/分割。所得預測隨後經加回(解碼器之此部分為外部的)至在解碼器處解碼的解碼後量化預測誤差，以重建最終解碼後視訊畫面。
參考圖23至圖25，過程1300可亦包括定義物件相 關聯的區部1324，而非定義影像塊及隨後將該等影像塊分組成區部，且而非將區塊使用於以移動向量為基礎的DMC。在此，以進一步改良預測準確度/管理負擔折衷為目標，執行分段區部層之主要移動補償，其中每一區部層使用相對於仿射GMC參考圖框的差量MV校正。此變化使用區部(更確切而言屬於物件的區部之集合)，且明確地稱為區部層(RL)。將要編碼的當前圖框2300明確地分段成前景(FG)區部層2304及背景(BG)區部層2306，其中FG區部層2304包含人的頭部及肩部視圖2302，且背景含有包括星2308的其餘的畫面。對於整個畫面，GMC參數gmt首先經計算且用來產生GMC參考圖框或畫面(或翹曲參考圖框)2310，如先前 所述。接下來，在GMC參考圖框2322中決定FG區部層2304之位置，且針對FG區部計算單個校正差量mv(△mvf)2328，從而將區部層之定位自翹曲定位2326調整至調整後定位2330且藉由差量移動向量來調整，使得該調整減少用於FG區部層的DMC預測誤差。接下來，針對BG區部計算單個校正差量mv(△mvb)2318，使得差量移動向量將星之定位自翹曲定位2314調整至調整後定位2316，此舉亦減少用於背景的DMC預測誤差。
差量mv類型DMC之此變化在關於簡單的以區塊 為基礎的(以分割為基礎的)合併映射的差分方面於區部層表示中引起額外成本，但是作為回報允許DMC預測誤差關於先前以影像塊為基礎的技術的進一步減少，同時需要相同數目(兩個)的差量mv。實際上，所有三個變化亦即區塊、分組影像塊及完整的區部在此提供在複雜性、管理負擔及DMC預測誤差減少方面的不同折衷。翹曲參考圖框1700之以區塊為基礎的變化(圖17)在複雜性方面為最簡單的，影像塊分組變化(圖20至圖22)在近似區部層邊界方面提供中間立場，而完整的區部變化(圖23)為DMC預測誤差之更準確減少提供機會。
參考圖24，編碼器2400具備用以執行分段區部層 之DMC的組件，其中每一區部層使用差量mv校正。編碼器2400具有內容分析器及區部分段器2426，該內容分析器及區部分段器分析視訊序列之每一輸入畫面且將該每一輸入畫面分段成區部層。出於說明之目的，假定將每一畫面分 段成兩個區部層，亦即，前景(FG)區部層及背景(BG)區部層，區部邊界(區部邊界(region bndry))具有攜帶前景邊界形狀的資料(剩餘部分為背景)。將當前畫面(正在處理)及過去解碼後參考畫面(來自DPR畫面緩衝器2402的畫面之一)兩者輸入至全域或主要移動估計器及補償預測畫面產生器2404，使得可針對兩個區部中之每一個計算差量mv DMC參數且產生DMC參考畫面。
區部邊界映射由移動補償預測器2414(亦稱為區 部特性及移動補償適應性精度(AP)濾波預測器)且由區部移動估計器2412(亦稱為區部移動估計器¼像素及1/8像素準確度)使用，其中後者用以計算差量移動向量，而前者用以使用此等差量mv來計算實際移動補償DMC預測。FG區部及BG區部之以DMC區部為基礎的預測係使用GMC參考圖框中的偏置的所計算移動向量來產生，且所得預測經饋送至預測模式及參考類型分析器2416。可將來自框內方向性預測分析器及產生器2418的框內資料以及漸變及合成預測提供至分析器2416。在區域子區部基礎上，預測模式及參考類型分析器2416可自各種選擇(例如，DMC預測為許多可利用的選擇之一)決定最佳預測，且將該最佳預測輸出至差分器(處於在此未展示的電路之一部分中)，該差分器產生供編碼的預測誤差。此外，熵編碼器2420(稱為熵編碼器漸變及合成參數及MV)編碼諸如gmt參數、差量mv及區部邊界的DMC資料，以及諸如mv、mop(漸變參數)及syp(合成參數)以及模式資訊(未示出)的其他資料。如先前所提及，此類型 之以區部為基礎的DMC在以整個區部為基礎的視訊編碼器之情境下最有意義，其中將畫面劃分成區部層，且為便於處理，可將每一區部劃分成子區部。
參考圖25，提供以區部為基礎的解碼器2500之一 部分或子系統以執行分段區部層之主要移動補償，每一區部層使用差量MV之校正。解碼器2500可具有熵解碼器2518(亦被稱為熵解碼器漸變及合成參數)，該熵解碼器解碼諸如gmt參數、差量移動向量及區部邊界的DMC資料，以及諸如mvs、mops(漸變參數)及syp(合成參數)以及模式資訊(未示出)的其他資料。解碼後區部邊界資料由區部特性及移動補償適應性精度(AP)濾波預測器2512用來決定子區部是否為FG區部或BG區部之部分。全域移動補償預測畫面產生器2504在來自DPR畫面緩衝器2502的解碼後畫面上使用解碼後gmt參數，以首先產生翹曲GMC畫面，該翹曲GMC畫面隨後經填補以產生矩形GMC參考畫面。隨後使用解碼後區部邊界及差量移動向量，產生FG區部之DMC預測以及BG區部之DMC預測。預測模式選擇器2514使用由編碼器經由位元串流發送的以子區部為基礎的模式資訊，以使用來自GMC參考畫面的DMC預測FG區部或BG區部之子區部，或若干可利用的漸變預測器，或合成預測器，或者框內預測器之一的子區部。所得預測隨後經加回(解碼器之此部分為外部的)至在解碼器處解碼的解碼後量化預測誤差，以重建最終解碼後視訊畫面。剩餘組件類似於先前所述該等組件。
參考圖26，第二類型之DMC，其被稱為區域全 域移動軌跡(gmt)類型之DMC，或實際上區域地施加全域移動補償，但簡單地簡稱為區域全域移動補償。此可由用於區域全域移動補償的電腦實施的示例性過程2600執行。示例性過程2600係根據本揭示案之至少一些實施方案佈置。 過程2600可包括一或多個操作、功能或動作，如由均勻地編號的一或多個操作2602至2626所示。過程2600可形成次世代視訊編碼過程之至少部分。藉由非限制性實例，過程2600可形成如由圖1至圖2之編碼器系統100或200或圖18至圖19之增益補償編碼器子系統1800或1900，及/或本文所描述之任何其他編碼器系統或子系統承擔的次世代視訊編碼過程之至少部分。
過程2600首先可包括獲得像素資料之圖框且具 有當前圖框及解碼後參考圖框2602，如先前所述。過程2600可隨後包括定義用於區域全域移動補償的圖框部分2604。 提供用以將圖框劃分成部分的三個替代性方式，且除在此一些關鍵差異存在之外，該三個替代性方式通常看起來類似於與差量移動向量一起使用的三個劃分。在此，過程2600可繼續將圖框劃分成影像塊2606而非區塊，且其中將區域GMC施加至每一影像塊。藉由另一替選方案，過程2600可包括將圖框劃分成影像塊2608(及/或子影像塊2610)，且隨後將該等影像塊分組成區部2612，使得將相同區域全域移動軌跡施加至相同區部中的每一影像塊。另外，過程2600可包括定義物件相關聯的區部2614，使得區域GMC將被施加至每一區部。以下詳細地說明此等選項中之每一個。請 注意，在圖13及圖26過程兩者上，影像塊在一般意義上意欲意味極大的區塊且包括CTB。
參考圖27，可藉由將仿射移動參數使用於每一影 像塊或CTB或多個影像塊或CTB之仿射區域移動補償(LMC)參考的產生來執行影像塊或CTB之主要移動補償。特定而言，可將當前圖框2702劃分成影像塊(或矩形區部)2704。
過程2600可隨後繼續創建主要移動補償翹曲部 分。為實現此舉，參考圖框2700具有可重建的個別區域gmt GMC漸變影像塊(或矩形區部)。因此，過程2600可繼續決定區域全域移動軌跡2618，該等區域全域移動軌跡亦可被稱為主要移動軌跡(dmts)。在此變化中，允許每一影像塊(或矩形區部)具有其自有的獨立的一組gmt DMC(或dmts)參數(可為影像塊之三個頂點中之每一個提供獨立移動，並且第四拐角為從屬的)，而非用於整個圖框的單組gmt GMC參數。例如，參考圖框2700可具有影像塊2706，該影像塊為用於當前圖框2702上的影像塊2704之參考。影像塊可藉由全域移動軌跡(gmt)2712a、2712b及2712c自初始參考圖框上之定位移置。類似地，影像塊2708可藉由全域移動軌跡2714a、2714b及2714c移置，而影像塊2710可藉由全域移動軌跡2716a、2716b及2716c移置，使得每一影像塊或區部具有其自有的gmt集合(或dmts集合)。如以上所提及，dmts或區域gmt可藉由使用仿射方法的已知過程獲得。
一旦影像塊或區部藉由軌跡移置，隨後可執行翹曲相鄰影像塊之重疊區域中的像素之平均，接著為亦使用 來自可利用的附近像素的值之平均來填充孔，以形成區部矩形2622。此舉比先前執行來創建矩形漸變GMC參考圖框的相當簡單化的邊界延伸更複雜精密。在另一替選方案中，可替代地使用延伸來形成影像塊或區部矩形。所得充滿的畫面則為用於此類型之DMC的DMC參考畫面，且可用於以影像塊(或矩形區部)為基礎的DMC移動補償。作為另一選項，可形成又一虛擬區部2624，正如虛擬參考圖框的情況。過程2600可隨後包括使用來自翹曲部分(或影像塊或區部)的像素形成部分預測2626。
雖然此方法可看起來由於需要針對每一影像塊 (或矩形區部)發送gmt參數而為管理負擔密集的，但是重要的是應注意，在此類型之DMC中，(i)無需傳輸畫面寬的GMC gmt參數，(ii)僅針對影像塊(矩形區部)在位元串流中發送gmt參數，其中該等gmt參數在減少DMC預測誤差方面為最有效的；並未針對每個影像塊(或矩形區部)發送該等gmt參數。若未發送相鄰影像塊(區部)gmt參數，則可使用簡單的延伸填補而非平均填補。(iii)為進一步減少每影像塊gmt參數之位元成本，可關於直接先前的影像塊不同地編碼此等參數(此舉可減少每一軌跡所需要的位元之數目。
再次參考圖18，編碼器1800可經修改為 NGV/HEVC Extension-2a編碼器之一部分或子系統，且具有用以執行如以上所論述與參考圖框2700一起使用的以近似區部層gmt為基礎的DMC方法的組件。在此實例中，對全域或主要移動估計器及補償預測畫面/影像塊/分割產生器 1804的兩個輸入可包括當前畫面(正在處理)以及過去解碼後參考畫面(來自DPR畫面緩衝器1802的畫面之一)，使得可針對每一影像塊計算gmt DMC參數，且可產生DMC參考畫面。如先前所提及，以影像塊為基礎的DMC參數可導致藉由平均重疊區域中的像素來解決的重疊區域，及藉由平均及填充來自相鄰影像塊的邊界來解決的孔。可將使用DMC參考畫面的以影像塊為基礎的DMC預測直接自主要移動補償預測區域/畫面緩衝器1806饋送至預測模式及參考類型分析器1816(除來自框內方向性預測分析器及產生器1818的框內預測輸入以及漸變及合成預測之外。在影像塊基礎上，預測模式及參考類型分析器1816自各種選擇(例如，DMC預測為許多可利用的選擇之一)決定最佳預測，且將該最佳預測輸出至差分器(處於在此未展示的電路之一部分中)，該差分器產生供編碼的預測誤差。此外，對於此替選方案，熵編碼器1820編碼諸如dmts參數的DMC資料，以及諸如mvs、mop(漸變參數)及syp(合成參數)以及模式資訊(未示出)的其他資料。
參考圖19，正如編碼器1800的情況，解碼器1900 可經修改為具有各自使用仿射移動參數的影像塊或CTB之主要移動補償的NGV/HEVC Extension-2a解碼器之一部分。在此替選方案中，熵解碼器1901解碼諸如dmts參數的DMC資料以及諸如mvs、mops(漸變參數)及syp(合成參數)以及模式資訊(未示出)的其他資料。全域或主要移動補償預測畫面/影像塊/分割產生器1904使用解碼後dmts參數來產 生以影像塊為基礎的翹曲DMC預測，在此期間將重疊區域中的像素重建為來自重疊影像塊的像素之平均值，且同時填充任何孔(影像塊之最近的邊界像素之平均值，或畫面之邊沿上的邊界延伸)，以創建用於預測的完整的DMC參考畫面。預測模式選擇器1914可直接地或以其他方式自主要移動補償預測區域畫面緩衝器1906接收DMC參考畫面(或翹曲影像塊)，且使用由編碼器經由位元串流發送的以影像塊為基礎的模式資訊，來使用DMC參考畫面，或若干可利用的漸變預測器，或合成預測器，或框內預測器(框內方向性預測產生器1916)之一的翹曲影像塊。所得預測隨後經加回(解碼器之此部分未展示)至在解碼器處解碼的解碼後量化預測誤差，以重建最終解碼後視訊畫面。另外，用於此替選方案的組件之描述如以上在其他替選方案的情況下所述。
參考圖28至圖30，替代地，過程2600可繼續將圖 框劃分成影像塊2608，且在可利用時將圖框劃分成子影像塊2610。影像塊可隨後經分組成區部2612，正如差量移動向量選項的情況。然而，在此替選方案中，影像塊在此如先前所說明地各自使用其自有的一組dmts而非用於每一區部的移動向量來翹曲以創建翹曲部分2616，且將翹曲影像塊之像素值用作預測。具體而言，此選項提供使用合併影像塊或CTB之近似區部層進行的主要移動補償，該等並影像塊或CTB各自將仿射移動參數使用於仿射半全域移動補償(SMC)參考之產生。
更詳細地，可將當前圖框2802劃分成影像塊(或 矩形區部)。在此變化中，影像塊(或近似區部層)之群組可具有其自有的獨立的一組gmt(或更具體而言dmt)GMC參數(可為影像塊之群組中的每一影像塊之三個頂點中之每一個提供相同的獨立移動，並且每一影像塊之第四頂點為從屬的)。換言之，儘管仍將一組移動軌跡施加至每一影像塊，但是相同區部中的影像塊中之全部(或所選擇影像塊)接收相同的軌跡。可將圖框劃分成影像塊(或近似區部層)之兩個群組，一群組對應於背景(BG)，且另一群組對應於前景(FG)。在此情形中，gmt GMC參數之兩個集合(一個用於FG，且另一個用於BG)連同以影像塊(矩形區部)為基礎的FG/BG映射(合併映射)一起經由位元串流發送至解碼器。然而，操作可不限於將畫面劃分成影像塊(或近似區部層)之兩個群組，且可將圖框劃分成三個、四個或更多個近似區部層，其中每一近似區部層具有一gmt GMC參數集合，該gmt GMC參數集合被使用且發送至解碼器。在任何狀況下，對於被視為影像塊(近似區部層)之FG群組之部分的所有影像塊，計算單個gmt GMC參數，且同樣地，對於為影像塊(近似區部層)之BG群組之部分的互捕影像塊，計算不同的gmt GMC參數。
此藉由圖28例示，其中將當前圖框2802劃分成前 景影像塊2804及背景影像塊2806。一背景影像塊2806對應於參考圖框2800之背景影像塊2808。背景影像塊2808藉由主要移動軌跡2814移置，而鄰接背景影像塊2810藉由軌跡 2816翹曲，該等軌跡與軌跡2814相同或類似，因為此影像塊中兩者處於背景區部中。一前景影像塊2804對應於參考圖框2800上的翹曲影像塊2812，且使用與背景軌跡2814及2816不同的前景軌跡2818。
為執行DMC移動補償，自DPR畫面緩衝器讀取參 考畫面，且藉由使用FG gmt參數使對應於FG區部層之每一影像塊的並列影像塊在三個頂點中之每一個處翹曲(第四頂點為自由的)。接下來，使用相同畫面且使用BG gmt參數針對近似BG區部層之每一BG影像塊重複過程。因此，完成近似FG區部及BG區部層中之每一個的翹曲重建。對於翹曲近似FG區部層與BG區部層之間的重疊區域，平均過程用來重建最終像素。同樣地，在孔區域(並未由近似FG區部層或BG區部層中任一者覆蓋的區域)中，使用來自近似FG區部層及BG區部層之最接近的相鄰邊界的平均預測來利用孔填充。所得充滿的畫面則為DMC參考畫面，且可用於以影像塊(或矩形區部)為基礎的DMC移動補償。
此外，雖然提供兩個區域層分類為近似FG/BG區 部的實例，但是可容易地將技術應用於多於兩個近似區部層。因為在此技術中將總是存在二或更多個近似區部層，所以如以上所提及地使用dmt(主要移動軌跡)參數一詞，而非gmt一詞。
參考圖29，使用各自將仿射移動參數使用於仿射 SMC參考圖框之產生的合併二叉樹分割影像塊或CTB之近似區部層來執行主要移動補償。具體而言，提供對用於參 考圖框2800的以影像塊為基礎的過程之修改，以藉由將完整影像塊水平地或垂直地分裂成二分之一影像塊(諸如來自二叉樹分割的二分之一影像塊)來改良近似FG/BG區部層分類的精確性，除完整影像塊之外可使用該等二分之一影像塊。因此，例如，將要編碼的當前圖框2902可具有前景完整影像塊2904及二分之一影像塊2906。因此，影像塊(或近似區部層)之FG群組可主要包括完整影像塊，但亦包括若干水平或垂直二分之一影像塊。背景亦可具有完整影像塊2910以及水平二分之一影像塊2912或垂直二分之一影像塊2914。參考圖框2900可包括完整影像塊2916及二分之一影像塊2922及2926兩者。背景完整影像塊2916經展示為藉由軌跡3018自原始定位2920翹曲，其中背景影像塊或二分之一影像塊中之每一個使用相同軌跡2918。前景影像塊及二分之一影像塊2924、2928及2930全部使用相同翹曲軌跡2924。FG/BG分段(合併)映射可由於在FG/BG近似方面的較高準確度而需要稍微較高的位元總數。總之，將仍存在僅一組FG dmts移動參數及一組BG dmts移動參數。在本實例中，DMC參考畫面產生之全過程提供歸因於較高的FG/BG準確度的改良的預測。
參考圖30，使用各自將仿射移動參數使用於仿射 SMC參考之產生的合併四叉樹分割影像塊或CTB之近似區部層來執行主要移動補償。具體而言，提供對用於參考圖框2800的以影像塊為基礎的過程之修改，以藉由水平地且垂直地將影像塊分裂成四分之一影像塊(諸如來自四叉樹 分割的四分之一影像塊)來改良近似FG/BG區部層分類之精確性，除了完整影像塊之外可使用該等四分之一影像塊。 因此，例如，當前圖框3002可具有影像塊(或近似區部層)之FG群組，且可主要包括完整影像塊3004，但亦包括若干四分之一影像塊3006及3008。背景可亦包括完整影像塊3010以及四分之一影像塊3012。參考圖框3000可包括對應的完整背景影像塊3018，該對應的完整背景影像塊藉由軌跡3020移位至翹曲影像塊或矩形3014，同時軌跡3022亦使四分之一影像塊3024翹曲至移位定位3016。FG/BG分段(或合併)映射可由於在FG/BG近似方面的較高準確度而需要稍微較高的位元總數。總之，將仍存在僅一組FG dmts移動參數及一組BG dmts移動參數。在本實例中，DMC參考畫面產生之全過程提供歸因於較高的FG/BG準確度的改良的預測。
再次參考圖18，編碼器1800可經修改以形成NGV/HEVC Extension-2b編碼器之子系統或部分，以使用各自使用仿射移動參數的影像塊之近似區部層、合併二叉樹/四叉樹分割影像塊或CTB來執行主要移動補償。換言之，編碼器1800可經修改以執行以近似區部層gmt為基礎的DMC方法，該以近似區部層gmt為基礎的DMC方法如在參考圖框2800、2900及3000(圖28至圖30)的情況下所論述，且類似於以上已在雖然用於差量移動向量但將影像塊分組成區部的參考圖框2000、2100及2200的情況下所述的方法。編碼器1800可具有內容區塊屬性分析器及近似區部分段器 1822，該內容區塊屬性分析器及近似區部分段器分析視訊序列之每一輸入畫面，且將該每一輸入畫面分段成近似區部層。在此，假定將每一畫面分段成兩個區部層，亦即，近似前景(FG)區部層及近似背景(BG)區部層，且提供合併映射以攜帶將影像塊(及影像塊之分割)映射至兩個種類之一中的資料。
如前所述，隨後將合併映射資訊輸入至全域或主 要移動估計器及補償預測畫面/影像塊/分割產生器1804，其中其他輸入包括當前畫面(正在處理)以及過去解碼後參考畫面(來自DPR畫面緩衝器1802的畫面之一)兩者，使得可針對兩個近似區部中之每一個計算gmt DMC參數，使得可產生DMC參考畫面。將使用DMC參考畫面的以DMC近似區部為基礎的預測連同諸如框內預測以及漸變及合成預測的其他輸入一起直接饋送至預測模式及參考類型分析器1816。 在影像塊或分割基礎上，預測模式及參考類型分析器1816自各種選擇(例如，DMC預測為許多可利用的選擇之一)決定最佳預測，且將該最佳預測輸出至差分器(處於在此未展示的電路之一部分中)，該差分器產生供編碼的預測誤差。 此外，熵編碼器1820編碼諸如dmts參數及合併映射的DMC資料，以及諸如mvs、mop(漸變參數)及syp(合成參數)以及模式資訊(未示出)的其他資料。圖18之在此未提及的其他組件如以上在其他實施方案的情況下所述。
再次參考圖19，解碼器1900可經修改為NGV/HEVC Extension-2b解碼器之子系統或部分之一部 分，以使用各自使用仿射移動參數的影像塊之近似區部層、合併二叉樹/四叉樹分割影像塊或CTB來執行主要移動補償。熵解碼器解碼諸如dmts參數及合併映射的DMC資料，以及諸如mvs、mops(漸變參數)及syp(合成參數)以及模式資訊(未示出)的其他資料。解碼後合併映射資料由DMC預測器1904(全域或主要移動補償預測畫面/影像塊/分割產生器)及MC預測器1912(二叉樹特性及移動補償適應性精度(AP)濾波預測器)使用。主要移動補償預測畫面/影像塊/分割產生器1904亦在來自DPR畫面緩衝器1902的解碼後畫面上使用解碼後dmts參數，以首先產生DMC近似FG區部及BG區部。在區部重疊之狀況下，DMC預測器1904亦在重疊區域中產生作為來自兩個近似區部的像素之平均值的重建像素，且填充任何孔(兩個區部之最近的邊界像素之平均值，或在畫面之邊沿上的邊界延伸)以創建用於預測的完整DMC參考畫面。預測模式選擇器1914使用由編碼器經由位元串流發送的以影像塊/分割為基礎的模式資訊，以使用來自DMC參考畫面的DMC近似FG區部或BG區部，或若干可利用的漸變預測器，或合成預測器，或框內預測器之一的影像塊/分割。所得預測隨後經加回(解碼器之此部分為外部的且未展示)至在解碼器處解碼的解碼後量化預測誤差，以重建最終解碼後視訊畫面。圖19之在此未提及的其他組件如以上在其他實施方案的情況下所述。
參考圖31，gmt類型之DMC之另一變化使用各自 將仿射移動參數使用於仿射SMC參考之產生的分段區部層 來執行主要移動補償。此變化使過程2600繼續定義物件相關聯的區部2614，作為定義用於區域GMC的圖框部分之替選方案。在此變化中，將當前圖框3100分段成二或更多個區部層。例如，可將當前圖框3100分段成對應於前景(FG)區部層的第一區部層3104，而畫面之剩餘部分可被稱為背景(BG)區部層3102。此外，藉由一實例，將FG區部層包圍在最緊密符合的定界框或矩形，或任何其他便利的形狀中，且在例如來自DPR畫面緩衝器的過去解碼後參考圖框3108作為參考的情況下針對整個定界框或具有遮罩背景的定界框計算gmt DMC參數。作為一替選方案，可將邊界設定在距物件一定距離處而非最接近地符合。請注意，其他替選方案可包括具有與前景中的物件之形狀匹配或對應(與之對準)的邊界，該物件在此為頭部及肩部3106。
正如其他區域全域移動補償替選方案的情況，將 gmt(或dmt)DMC參數3120a、3120b及3120c施加至邊界之頂點，且具體而言施加至參考圖框3108中的定界框區部，以自未翹曲定位3014形成翹曲定界框區部3016，且該翹曲定界框區部表示提供翹曲頭部及肩部(物件)定位3118的翹曲FG區部層。類似地，藉由使用具有遮罩的FG區部層3116的圖框矩形來針對BG區部層3124計算一組gmt或dmt DMC參數3112a、3112b及3112c，且隨後將所計算的gmt DMC參數3112a、3112b及3112c施加至整個圖框3126之頂點，從而導致翹曲BG區部層3110。因為兩個漸變區部層3110及3116可能重疊，所以可藉由平均來自兩個區部的重疊像素來重建 重疊區域3128。此外，因為兩個翹曲區部層3110及3116可具有在圖框3108內的孔3130，所以藉由來自兩個區部之相鄰像素的平均內插來填充該區域。此外，如前所述，接近於圖框邊沿的任何未充滿區域為如前所述延伸的邊界。在此方法中，將兩組gmt DMC軌跡(一個用於FG區部層，且另一個用於BG區部層)以及FG/BG分段邊界映射經由位元串流發送至解碼器。此特定變化最佳地使用於已使用以區部為基礎的編碼的編碼器之情境下。
再次參考圖24，編碼器2400可經修改為以先進區 部為基礎的編碼器之子系統或部分，以使用各自使用仿射移動參數的分段區部層來執行主要移動補償。編碼器2400可具有內容分析器及區部分段器2426，該內容分析器及區部分段器分析視訊序列之每一輸入畫面且將該每一輸入畫面分段成區部層。出於說明之目的，我們假定將每一畫面分段成諸如具有前景(FG)區部層及背景(BG)區部層的兩個區部層結構的區部層，以使用攜帶前景邊界形狀(剩餘部分為背景或實例)的資料來創建區部邊界。隨後將區部邊界形狀資訊輸入至全域或主要移動估計器及補償預測畫面/區部產生器2404，其中其他輸入包括當前畫面(正在處理)以及過去解碼後參考畫面(來自DPR畫面緩衝器2402的畫面之一)兩者，使得可針對兩個區部中之每一個計算gmt DMC參數，使得可產生DMC參考畫面。將DMC參考畫面置放於主要移動補償預測區域/畫面緩衝器2406中，且將藉由使用DMC參考畫面形成的以DMC區部為基礎的預測(以及諸如 框內預測以及漸變及合成預測的其他輸入)直接饋送至預測模式及參考類型分析器2416。在區域(諸如區部層之子區部)基礎上，預測模式及參考類型分析器2416自各種選擇(例如，DMC預測為許多可利用的選擇之一)決定最佳預測，且將該最佳預測輸出至差分器(處於在此未展示的電路之一部分中)，該差分器產生供編碼的預測誤差。此外，熵編碼器2420編碼諸如dmts、參數及區部邊界的DMC資料，以及其他mop(漸變參數)及syp(合成參數)以及模式資訊(未示出)。圖24之在此未提及的其他組件如以上在其他實施方案的情況下所述。
如先前所提及，此類型之以區部為基礎的DMC 在以整個區部為基礎的視訊編碼器編碼器之情境下最有意義，其中將圖框劃分成區部層，且為便於處理，將每一區部可劃分成子區部。雖然子區部可能為影像塊或區塊，但該等子區部之形狀在一些精度(例如4x4區塊準確度)下亦可為任意的。每當本文提及子區部處理時，此適用。
再次參考圖25，解碼器2500可可經修改為以先進 區部為基礎的解碼器之子系統或部分之一部分，以利用使用仿射移動參數的分段區部層來執行主要移動補償。解碼器2500可具有熵解碼器2518(熵解碼器漸變及合成參數)，該熵解碼器解碼諸如dmts參數及區部邊界的DMC資料以及諸如mvs、mops(漸變參數)及syp(合成參數)以及模式資訊(未示出)的其他資料。解碼後區部邊界資料由DMC預測器2504(全域或主要移動補償預測畫面/區部產生器)及MC預 測器2512(區部特性及移動補償適應性精度(AP)濾波預測器)使用。全域或主要移動補償預測畫面/區部產生器2504亦在來自DPR畫面緩衝器2502的解碼後畫面上使用解碼後dmts參數，以首先產生DMC FG區部及BG區部，且在區部重疊之狀況下，在重疊區域中產生作為來自兩個區部的像素之平均值的重建像素，且填充孔(兩個區部之最近的邊界像素之平均值，或在畫面之邊沿上的邊界延伸)，以創建用於預測的完整DMC參考畫面。預測模式選擇器2514使用由編碼器經由位元串流發送的以子區部為基礎的模式資訊，以使用來自DMC參考畫面的DMC FG區部或BG區部之子區部，或若干可利用的漸變預測器，或合成預測器，或框內預測器之一的子區部。所得預測隨後經加回(解碼器之此部分為外部的或在此未展示)至在解碼器處解碼的解碼後量化預測誤差，以重建最終解碼後視訊畫面。圖25之在此未提及的其他組件如以上在其他實施方案的情況下所述。
參考圖32至圖33，藉由另一實施方案，組合兩個 主要的DMC類型：(1)以差量移動向量為基礎的DMC，及(2)區域全域移動補償DMC。存在進行此舉的若干方式。簡單方法將在影像塊基礎上使用以區塊為基礎的差量mv類型DMC，且亦在影像塊基礎上使用區域gmt類型之DMC，且基於DMC預測誤差之減少來選擇最佳DMC模式。在此方法中，例如對於使用以區塊為基礎的差量mv類型DMC的影像塊，以區塊為基礎的差量mvs及以圖框為基礎的GMC gmt參數將經由位元串流發送至解碼器，且對於使用區域gmt 類型之DMC的影像塊，以影像塊為基礎的gmt參數將在位元串流中發送。另外，亦將在位元串流中攜帶指示區塊差量mv DMC與在影像塊基礎上的區域gmt類型DMC選擇之間的的二進制映射，以用於由解碼器使用。可如下使用編碼器3200(圖32)及解碼器3300(圖33)來進一步說明同時使用兩個類型之DMC的此方法。
參考圖32，編碼器3200可為NGV/HEVC Extension-3編碼器之子系統或部分之一部分，該部分用以執行各自使用差量MV校正的區塊以及各自使用仿射移動參數的影像塊或CTB之主要移動補償。編碼器3200可將解碼後及濾波後圖框儲存於DPR畫面緩衝器3202中，以用於由全域移動估計器及補償預測畫面產生器3204，及主要移動估計器及補償預測畫面產生器3220，且亦由其他漸變分析器產生器及畫面緩衝器3208，及合成分析器、產生器及畫面緩衝器3210使用。兩個DMC操作之高階操作先前已予以論述且在此將不重複。因此，本文所描述之其他編碼器的類似於編碼器3200之組件的組件類似地操作。以下描述與以MV為基礎的DMC及以區域gmt為基礎的DMC之對偶運算有關的DMC組件之運算。
對於編碼器3200，藉由一方法，將來自DPR緩衝 器3202的圖框之每一影像塊或多個影像塊輸入至主要移動估計器及補償預測畫面產生器3220，以用於計算獨立的一組gmt DMC參數(可為影像塊之三個頂點中之每一個提供獨立移動，並且第四頂點為從屬的)，而非用於整個畫面的 單組gmt GMC參數。使用個別對應gmt GMC參數，使先前參考圖框(來自DPR緩衝器3202)之每一影像塊翹曲，以產生個別區域gmt GMC漸變影像塊，使得一些翹曲影像塊導致重疊像素，且其他翹曲影像塊導致並未由影像塊中任一者覆蓋的孔。對於影像塊之重疊區域，藉由共用像素之平均來進行重建，且對於孔區域，執行來自相鄰翹曲影像塊的邊沿像素的平均。在一些影像塊藉由其他編碼模式編碼，且因此遺漏gmt DMC參數或在畫面之邊界處的狀況下，執行簡單的邊界延伸。所得充滿的畫面則為DMC參考畫面，且經儲存於主要移動補償預測區域緩衝器3222中，且可用於以影像塊為基礎的DMC移動補償。dmt(或其複數dmts)一詞可用以代表以區域影像塊為基礎的gmt DMC參數以便將該等以區域影像塊為基礎的gmt DMC參數與gmt自身區分開。
關於以移動向量為基礎的DMC，將來自DPR緩衝 器3202的相同參考圖框或不同參考圖框輸入至全域移動估計器及補償預測畫面產生器3204，該全域移動估計器及補償預測畫面產生器執行全域移動估計(GME)，從而產生全域移動參數(表示為gmt軌跡)且產生GMC參考圖框，該GMC參考圖框儲存於主要移動補償預測區域/畫面緩衝器3206中。接下來，區塊移動估計及分割移動組譯器3212可執行以影像塊為基礎的移動估計，從而導致影像塊之差量移動向量，該等差量移動向量可用於校正或移動，且該等差量移動向量由移動補償預測器3214(在此被稱為(二叉樹分割) 特性及移動補償適應性精度濾波預測器)使用，且該移動補償預測器藉由使用GMC參考圖框的子像素內插來產生預測影像塊。
將來自以差量mv為基礎的DMC及以區域gmt為 基礎的DMC的輸出預測影像塊(以及其他漸變區塊/影像塊及合成區塊/影像塊)以及諸如來自框內方向性預測分析器及產生器3218的框內預測區塊/影像塊的輸入饋送至預測模式及參考類型分析器3216。在區塊或影像塊基礎上，預測模式及參考類型分析器3216自各種選擇決定最佳預測區塊影像塊。例如，可利用的選擇可包括如可利用的許多漸變選擇之一的DMC預測，該等許多可利用的漸變選擇包括為以區域gmt DMC為基礎的一選擇及以差量移動向量DMC為基礎的另一選擇。分析器3216將最佳預測輸出至差分器(處於在此未展示的電路之一部分中)，該差分器產生供編碼的預測誤差。分析器3216亦輸出在處理中使用的在部分(影像塊或區部或其他分割)基礎上的DMC模式選擇資訊(dmsi)之映射。此外，熵編碼器3224(亦稱為熵編碼器漸變及合成參數及MV)編碼GMC/DMC參數及資料，諸如gmt、△mvs、dmts及dmsi。
參考圖33，解碼器3300可為NGV/HEVC Extension-3解碼器之子系統或部分之一部分，該部分用以執行各自使用差量MV校正的區塊以及各自使用仿射移動參數的影像塊或CTB之主要移動補償。解碼器3300可將解碼後及濾波後圖框輸入且儲存於DPR畫面緩衝器3302中， 以用於由全域移動補償預測畫面產生器3204、主要移動補償預測畫面產生器3218、其他漸變產生器及畫面緩衝器3208，及合成產生器及畫面緩衝器3210使用。兩個過程(以移動向量為基礎的DMC及以區域gmt為基礎的DMC)之高階操作先前在其他實施方案的情況下予以說明，且在此將不重複。因此，在其他實施方案中類似於解碼器3300之組件的組件類似地操作。
取決於如由dmsi映射攜帶的影像塊之DMC模 式，全域移動補償預測畫面產生器3204連同區塊移動補償預測器3212(在此展示為(二叉樹分割)特性及移動補償適應性精度(AP)濾波預測器)一起，或主要移動補償預測畫面影像/塊產生器3218經佈署以產生適當的DMC移動補償。然而，對於許多影像塊或區塊，可不使用DMC模式，因為編碼器選擇最佳模式，該最佳模式可已為其他漸變預測模式之一、其他合成預測模式之一或框內模式。
現在參考圖34，用以實施例如編碼器3200及解碼 器3300之對偶DMC過程的操作中的示例性視訊編碼系統3500及視訊編碼過程3400係根據本揭示案之至少一些實施方案佈置。在所示實施方案中，過程3400可包括一或多個操作、功能或動動，如由動作3401至3413中之一或多個所示。藉由非限制性實例，本文將參考包括圖1之編碼器100及圖2之解碼器200的示例性視訊編碼系統3500來描述過程3400，如以下關於圖35進一步所述。在各種實例中，過程3400可由包括編碼器及解碼器兩者的系統或由分開的系統 承擔，該等分開的系統具有使用編碼器(及選擇性地使用解碼器)的一系統及使用解碼器(及選擇性地使用編碼器)的另一系統。應注意，如以上所論述，編碼器可包括使用區域解碼器作為編碼器系統之一部分的區域解碼迴路。
在所示實施方案中，視訊編碼系統3500處理單 元，諸如具有邏輯電路3550的圖形處理單元3520、類似者及/或其組合。例如，邏輯電路3550可包括圖1之編碼器系統100或替代地圖32之編碼器系統3200及/或圖2之解碼器系統200或替代地圖33之解碼器系統3300，且可包括如關於任何本文所描述之編碼器系統或子系統及/或本文所描述之解碼器系統或子系統所論述的任何模組。雖然如圖34中所示的視訊編碼系統3500可包括與特定模組相關聯的一組特定區塊或動作，但是此等區塊或動作可與相較於在此所示的特定模組的不同模組相關聯。雖然如所示的過程3500針對編碼及解碼，但是所述概念及/或操作可單獨適用於編碼及/或解碼，且更一般而言，適用於視訊編碼。
過程3400可始於「接收視訊序列之輸入視訊圖 框」3401，其中視訊序列之輸入視訊圖框可經由例如編碼器100接收。此可包括當前圖框及過去或先前圖框(該過去或先前圖框將用作參考圖框)，且該過去或先前圖框將用於移動補償以重建預測圖框作為當前圖框。
過程3400亦包含「執行預測及編碼分割、量化， 及解碼迴路以解碼參考圖框」3402。在此，視訊圖框經編碼且隨後在編碼器處於解碼器迴路中經解碼，以便提供編 碼資料，該編碼資料可藉由在解碼器處重複的過程準確地獲得。
過程3400亦包含「執行圖框寬的全域移動補償以 形成翹曲GMC參考圖框」3403。在此狀況下，將全域移動軌跡施加於圖框之拐角處，以使圖框翹曲以用於以差量移動向量為基礎的DMC。可如針對本文所描述之其他實施方案所說明地實施過程。
過程3400亦包含「決定用於翹曲GMC參考之個 別部分的差量移動向量」3404。此可包括首先將部分定義為區塊、影像塊、由分組在一起的影像塊形成的區部，或在沒有首先定義影像塊的情況下的區部。此可亦根據需要創建影像塊合併映射或區部邊界映射。可隨後施加移動估計以決定用於每一部分的差量移動向量(△mv)。可對圖框中的所有區塊或其他部分，或僅對圖框之所選擇區塊或所選擇部分執行此舉。
過程3400可隨後繼續「決定用於個別部分的以移 動向量為基礎的預測」3405。因此，諸如如上所述移動預測器(諸如預測器123或1814)的移動預測器可決定提供至預測選擇器的預測部分(預測區塊、影像塊、子影像塊、區部、子區部或其他分割)。預測若經選擇則可用於與原始圖框之比較，以決定授權編碼的差異或殘餘是否存在。
替代地或另外，過程3400可包含「對個別部分執 行區域-全域移動補償」3406。此過程亦如以上在其他實施方案的情況下所述，且部分再次可為影像塊、藉由分組影 像塊形成的區部，或在沒有影像塊分組的情況下的區部，且可為物件相關聯的區部。在此，將gmt或更準確地dmt施加於每一部分之需要補償的邊界(諸如頂點或拐角)處。藉由一形式，將此gmt或更準確地dmt施加至圖框中的所有部分，但不必總是如此。亦可根據需要形成影像塊合併映射或區部邊界映射。
過程3400可亦包含「決定用於個別部分的以區域 GMC為基礎的預測」3407。因此，如先前所述在部分(區塊、影像塊、子影像塊、區部、子區部或其他分割)基礎上，將翹曲部分之像素值用作預測，且將該等像素值提供至預測選擇器。
過程3400亦包含「選擇用於個別部分之編碼的最 佳預測」3408。特定而言，預測選擇器將不同預測與原始圖框進行比較且選擇最佳符合，或可使用其他準則。若差異存在，則將差異或殘餘置放於位元串流中以用於傳輸至解碼器。
過程3400亦包含「將移動資料及主要移動補償參 數傳輸至解碼器」3409。移動資料可包括殘餘及移動向量，且主要移動補償參數可包括所選擇預測之指示符或映射(dmsi)、任何影像塊合併映射及/或區部邊界映射、dmt軌跡及/或gmt軌跡，以及差量移動向量△mvs，且此等移動資料及主要移動補償參數可係根據需要在區塊、影像塊、區部或其他部分基礎上予以提供。在將相同軌跡或移動向量施加至區部中的所有部分或多個部分的情況下，該等值可與 說明性映射一起僅需發送一次。
過程3400亦包含「接收且解碼位元串流」3410。 此可包括將位元串流剖析成主要移動補償資料、移動或其他殘餘資料，及影像或圖框資料，及隨後熵解碼該資料。
過程3400亦包含「使用主要或全域移動補償軌 跡、差量移動向量、預測選擇映射、合併映射及/或邊界映射來執行逆解碼操作以獲得主要移動補償參數」3411。此將最終重建用於每一類型之資料的該等值。
過程3400亦包含「執行主要(區域全域)或以移動 向量為基礎的全域移動補償以獲得DMC參考圖框或DMC部分」3412。因此，可重建DMC參考圖框，且可為相同圖框或圖框部分提供替代性DMC參考圖框或部分。此可包括將區域全域移動軌跡施加至邊界以使個別部分翹曲，且替代地，將差量移動向量施加至翹曲參考圖框上之部分，以便獲得在所得預測部分處的像素值。
過程3400亦包含「將預測提供至預測選擇器」 3413，其中用於圖框部分的最佳預測經選擇且用以形成用於顯示、儲存、進一步編碼等的最終圖框。
本文所描述之系統之各種組件可以軟體、韌體及 /或硬體及/或上述各者之任何組合來實施。例如，系統300之各種組件可至少部分由計算系統單晶片(SoC)之硬體提供，諸如可見於諸如例如智慧型電話的計算系統中。熟習此項技術者可認識到，本文所描述之系統可包括並未描繪於對應的圖中的額外組件。例如，本文所論述的系統可包 括為了清晰並未描繪的額外組件，諸如位元串流多工器或解多工器模組等。
雖然本文的示例性過程之實施方案可包括以所 示次序展示的所有操作之承擔，但是本揭示案在此方面不受限制，且在各種實例中，本文的示例性過程之實施方案可包括所示及/或以相較於所示的不同次序的操作之僅一子集之承擔。
與過程1300、2600及3400以及本文所論述的其他 過程有關的一些額外細節及/或替代性細節可例示於本文且尤其以下相對於圖35所論述的實施方案之一或多個實例中。
圖35為示例性視訊編碼系統3500的例示性圖 表，該示例性視訊編碼系統係根據本揭示案之至少一些實施方案佈置。在所示實施方案中，視訊編碼系統3500可包括成像裝置3501、視訊編碼器100、視訊解碼器200(及/或經由處理單元3520之邏輯電路3550實施的視訊編碼器)、天線3502、一或多個處理器3503、一或多個記憶體儲存器3504及/或顯示裝置3505。
如所示，成像裝置3501、天線3502、處理單元 3520、邏輯電路3550、視訊編碼器100、視訊解碼器200、處理器3503、記憶體儲存器3504及/或顯示裝置3505可能夠彼此通訊。如所論述，雖然例示為具有視訊編碼器100及視訊解碼器200兩者，但是視訊編碼系統3500可在各種實例中包括僅視訊編碼器100或僅視訊解碼器200。
如所示，在一些實例中，視訊編碼系統3500可包 括天線3502。天線3502可經組配來傳輸或接收視訊例如資料之編碼位元串流。此外，在一些實例中，視訊編碼系統3500可包括顯示裝置3505。顯示裝置3505可經組配來呈現視訊資料。如所示，在一些實例中，邏輯電路3550可經由處理單元3520實施。處理單元3520可包括特定應用積體電路(ASIC)邏輯、圖形處理器、通用處理器等。視訊編碼系統3500亦可包括選擇性的處理器3503，該等選擇性的處理器可類似地包括特定應用積體電路(ASIC)邏輯、圖形處理器、通用處理器等。在一些實例中，邏輯電路3550可經由硬體、視訊編碼專用硬體等實施，且處理器3503可實施通用軟體、作業系統等。另外，記憶體儲存器3504可為任何類型之記憶體，諸如依電性記憶體(例如，靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)等)或非依電性記憶體(例如，快閃記憶體等)。在一非限制性實例中，記憶體儲存器3504可藉由快取記憶體實施。在一些實例中，邏輯電路3550可存取記憶體儲存器3504(例如用於影像緩衝器之實施方案)。在其他實例中，邏輯電路3550及/或處理單元3520可包括用於影像緩衝器等之實施方案的記憶體儲存器(例如，快取記憶體等)。
在一些實例中，經由邏輯電路實施的視訊編碼器100可包括影像緩衝器(例如，經由處理單元3520或記憶體儲存器3504)及圖形處理單元(例如，經由處理單元3520)。圖形處理單元可通訊地耦接至影像緩衝器。圖形處理單元 可包括如經由邏輯電路3550實施的視訊編碼器100，以體現如關於圖1所論述的各種模組及/或本文所描述之任何其他編碼器系統或子系統。例如，圖形處理單元可包括編碼分割產生器邏輯電路、適應性變換邏輯電路、內容預分析器、編碼控制器邏輯電路、適應性熵編碼器邏輯電路等。邏輯電路可經組配來執行如本文所論述的各種操作。
視訊解碼器200可以與經由邏輯電路3550實施的 類似方式來實施，以體現如關於圖2之解碼器200所論述的各種模組及/或本文所描述之任何其他解碼器系統或子系統。
在一些實例中，視訊編碼系統3500之天線3502 可經組配來接收視訊資料之編碼位元串流。如所論述，編碼位元串流可包括與編碼分割相關聯的資料(例如，變換係數或量化變換係數、選擇性指示符(如所論述)，及/或定義編碼分割的資料(例如，與使用符號運行的編碼或碼簿技術等來定義二叉樹分割或k-d樹分割相關聯的資料))。視訊編碼系統3500可亦包括視訊解碼器200，該視訊解碼器耦接至天線3502且經組配來解碼編碼位元串流。
在一些實施方案中，解碼器系統可包括視訊解碼器，該視訊解碼器經組配來解碼編碼位元串流。在一些實例中，視訊解碼器可進一步經組配來接收位元串流。
在一些實施例中，可回應於由一或多個電腦程式產品提供的指令而承擔本文所描述之特徵。此類程式產品可包括提供指令的信號承載媒體，該等指令在由例如處理 器執行時可提供本文所描述之功能。可以任何形式之一或多個機器可讀媒體提供電腦程式產品。因此，例如，包括一或多個處理器核心的處理器可回應於程式碼及/或指令或指令集而承擔本文所描述之一或多個特徵，該等程式碼及/或指令或指令集由處理器傳達至一或多個機器可讀媒體。一般而言，機器可讀媒體可傳達以程式碼及/或指令或指令集之形式的軟體，該等程式碼及/或指令或指令集可使任何本文所描述之裝置及/或系統實施本文所描述之特徵之至少部分。
圖36為示例性系統3600的例示性圖表，該示例性 系統係根據本揭示案之至少一些實施方案佈置。在各種實施方案中，系統3600可為媒體系統，但是系統3600不限於此情境。例如，系統3600可併入至個人電腦(PC)、膝上型電腦、超膝上型電腦、平板電腦、觸控板、可攜電腦、手持式電腦、掌上型電腦、個人數位助理(PDA)、蜂巢式電話、組合蜂巢式電話/PDA、電視、智慧型裝置(例如，智慧型電話、智慧型平板電腦或智慧型電視)、行動網際網路裝置(MID)、通信報裝置、資料通訊裝置、相機(例如，隨拍相機(point-and-shoot camera)、高倍率變焦相機(super-zoom camera)、數位單眼(DSLR)相機)等中。
在各種實施方案中，系統3600包括平台3602，該 平台耦接至顯示器3620。平台3602可自諸如內容服務裝置3630或內容傳送裝置3640或其他類似內容來源的內容裝置接收內容。包括一或多個導航特徵的導航控制器3650可用 以與例如平台3602及/或顯示器3620互動。以下更詳細地描述此等組件中之每一個。
在各種實施方案中，平台3602可包括晶片組 3605、處理器3610、記憶體3612、天線3613、儲存器3614、圖形子系統3615、應用程式3616及/或無線電3618之任何組合。晶片組3605可提供處理器3610、記憶體3612、儲存器3614、圖形子系統3615、應用程式3616及/或無線電3618之間的互通。例如，晶片組3605可包括儲存器配接器(未描繪)，該儲存器配接器能夠提供與儲存器3614的互通。
處理器3610可經實施為複雜指令集電腦(CISC) 或精簡指令集電腦(RISC)處理器、x86指令集相容的處理器、多核心或任何其他微處理器或中央處理單元(CPU)。在各種實施方案中，處理器3610可為雙核心處理器、雙核心行動處理器等。
記憶體3612可經實施為依電性記憶體裝置，諸如 (但不限於)隨機存取記憶體(RAM)、動態隨機存取記憶體(DRAM)或靜態RAM(SRAM)。
儲存器3614可經實施為非依電性儲存裝置諸如(但不限於)磁碟驅動機、光碟驅動機、磁帶驅動機、內部儲存裝置、附接儲存裝置、快閃記憶體、電池後備SDRAM(同步DRAM)及/或網路可存取儲存裝置。在各種實施方案中，例如，在包括多個硬驅動機時，儲存器3614可包括用以增加用於有價值的數位媒體之儲存效能增強型保護的技術。
圖形子系統3615可執行諸如靜態或視訊的影像 之處理以用於顯示。圖形子系統3615可為例如圖形處理單元(GPU)或視覺處理單元(VPU)。可使用類比或數位介面來通訊地耦接圖形子系統3615及顯示器3620。例如，介面可為高清晰度多媒體介面、顯示埠、無線HDMI及/或無線HD順應性技術中之任一者。圖形子系統3615可整合至處理器3610或晶片組3605中。在一些實施方案中，圖形子系統3615可為通訊地耦接至晶片組3605的獨立裝置。
本文所描述之圖形及/或視訊處理技術可以各種 硬體架構來實施。例如，可將圖形及/或視訊功能整合於晶片組內。或者，可使用離散圖形及/或視訊處理器。作為另一實施方案，圖形及/或視訊功能可由包括多核心處理器的通用處理器提供。在進一步實施例中，功能可實施於消費者電子裝置中。
無線電3618可包括能夠使用各種適合的無線通 訊技術來傳輸及接收信號的一或多個無線電。此類技術可涉及跨一或多個無線網路之通訊。示例性無線網路包括(但不限於)無線區域網路(WLAN)、無線個人區域網路(WPAN)、無線都會區域網路(WMAN)、胞狀網路及衛星網路。在跨此類網路通訊中，無線電3618可根據以任何版本之一或多個適用標準來操作。
在各種實施方案中，顯示器3620可包括任何電視類型監視器或顯示器。顯示器3620可包括例如電腦顯示螢幕、觸控螢幕顯示器、視頻監視器、電視類裝置及/或電視。顯示器3620可為數位的及/或類比的。在各種實施方案中， 顯示器3620可為全像式顯示器。另外，顯示器3620可為可接收視覺投影的透明表面。此類投影可傳達各種形式之資訊、影像及/或物件。例如，此類投影可為用於行動擴增實境(MAR)應用的視覺覆蓋。在一或多個軟體應用程式3616之控制下，平台3602可在顯示器3620上顯示使用者介面3622。
在各種實施方案中，內容服務裝置3630可由任何 國家服務、國際服務及/或獨立服務代管，且因此為平台3602經由例如網際網路可存在的。內容服務裝置3630可耦接至平台3602及/或耦接至顯示器3620。平台3602及/或內容服務裝置3630可耦接至網路3660以往返於網路3660而通訊(例如，發送且/或接收)媒體資訊。內容傳送裝置3640亦可耦接至平台3602及/或耦接至顯示器3620。
在各種實施方案中，內容服務裝置3630可包括電 纜電視盒、個人電腦、網路、電話、能夠傳送數位資訊及/或內容的網際網路允許裝置或設備，及能夠經由網路3660或直接地在內容提供者與平台3602及/顯示器3620之間單向地或雙向地通訊內容的任何其他類似裝置。將瞭解到，可經由網路3660往返於系統3600中的組件中之任一者及內容提供者而單向地及/或雙向地通訊內容。內容之實例可包括任何媒體資訊，包括例如視訊、音樂、醫學及遊戲資訊等。
內容服務裝置3630可接收諸如包括媒體資訊、數 位資訊的電纜電視規劃的內容及/或其他內容。內容提供者 之實例可包括任何電纜或衛星電視或無線電或網際網路內容提供者。所提供的實例在任何情況下並非意味著限制根據本揭示案之實施方案。
在各種實施方案中，平台3602可自導航控制器 3650接收控制信號，該導航控制器具有一或多個導航特徵。控制器3650之導航特徵可用以例如與使用者介面3622互動。在各種實施例中，導航控制器3650可為指向裝置，該指向裝置可為電腦硬體組件(具體而言，為人性化介面裝置)，該電腦硬體組件允許使用者將空間(例如，連續的及多維的)資料輸入至電腦中。許多系統諸如圖形使用者介面(GUI)及電視以及監視器允許使用者使用身體手勢來控制且提供資料至電腦或電視。
可藉由指標、游標、聚焦環或顯示在顯示器上的 其他視覺指示器之移動來在顯示器(例如，顯示器3620)上複製控制器3650之導航特徵之移動。例如，在軟體應用程式3616之控制下，可將位於導航控制器3650上的導航特徵映射至顯示在使用者介面3622上的虛擬導航特徵。在各種實施例中，控制器3650可並非分開的組合，而是可整合至平台3602及/或顯示器3620中。然而，本揭示案不限於本文所示或所述的元件或或在本文所示或所述的方面不受限制。
在各種實施方案中，例如，在啟用時，驅動器(未 示出)可包括用以在初始啟動之後允許使用者以觸摸按鈕來立刻打開及關閉如電視的平台3602的技術。即使在平台「關閉」時，程式邏輯亦可允許平台3602使內容串流至媒 體配接器或其他內容服務裝置3630或內容傳送裝置3640。 另外，晶片組3605可包括用於例如5.1環繞聲音訊及/或高清晰度7.1環繞聲音訊的硬體及/或軟體支援。驅動器可包括用於整合式圖形平台的圖形驅動器。在各種實施例中，圖形驅動器可包含周邊組件互連(PCI)快速圖形卡。
在各種實施方案中，系統3600中所示的組件中之 任何一或多個可為整合式的。例如，平台3602及內容服務裝置3630可為整合式的，或平台3602及內容傳送裝置3640可為整合式的，或例如平台3602、內容服務裝置3630及內容傳送裝置3640可為整合式的。在各種實施例中，平台3602及顯示器3620可為整合式單元。例如，顯示器3620及內容服務裝置3630可為整合式的，或顯示器3620及內容傳送裝置3640可為整合式的。此等實例並非意味著限制本揭示案。
在各種實施例中，系統3600可經實施為無線系 統、有線系統或兩者之組合。當實施為無線系統時，系統3600可包括適合於經由無線共享媒體通訊的組件及介面，諸如一或多個天線、發射器、接收器、收發器、放大器、濾波器、控制邏輯等。無線共享媒體之實例可包括無線頻譜之部分，諸如RF頻譜等。當實施為有線系統時，系統3600可包括適合於經由有線通訊媒體通訊的組件及介面，諸如輸入/輸出(I/O)配接器、用以連接I/O配接器與對應有線通訊媒體的實體連接器、網路介面卡(NIC)、碟片控制器、視訊控制器、音訊控制器等。有線通訊媒體之實例可包括電線、電纜、金屬導線、印刷電路板(PCB)、底板、交換機(switch) 結構、半導體材料、雙絞線電線、同軸電纜、光纖等。
平台3602可建立一或多個邏輯通道或實體通道 以通訊資訊。資訊可包括媒體資訊及控制資訊。媒體資訊可涉及表示打算用於使用者的內容的任何資料。內容之實例可包括例如來自語音對話、視訊會議、串流視訊、電子郵件(「email」)訊息、語音郵件訊息、文數符號、圖形、影像、視訊、本文等的資料。來自語音對話的資料可為例如語言資訊、靜默時間、背景雜訊、舒適雜訊、音調等。 控制資訊可涉及表示打算用於自動系統的命令、指令或控制字的任何資料。例如，控制資訊可用以路由媒體資訊穿過系統，或指示節點以預定方式來處理媒體資訊。然而，實施方案不限於圖36中所示或所述的元件或在所示或所述的方面不受限制。
如以上所述，系統3600可體現於變化的實體式樣 或形狀因數中。圖37例示小形狀因數裝置3700的實施方案，系統3700可體現於該小形狀因數裝置中。在各種實施例中，例如，裝置3700可經實施為具有無線能力的行動計算裝置。例如，行動計算裝置可涉及具有處理系統及行動電源或電源供應(諸如一或多個電池)的任何裝置。
如以上所述，行動計算裝置之實例可包括個人電 腦(PC)、膝上型電腦、超膝上型電腦、平板電腦、觸控板、可攜電腦、手持式電腦、掌上型電腦、個人數位助理(PDA)、蜂巢式電話、組合蜂巢式電話/PDA、電視、智慧型裝置(例如，智慧型電話、智慧型平板電腦或智慧型電視)、行動網 際網路裝置(MID)、通信報裝置、資料通訊裝置、相機(例如，隨拍相機、高倍率變焦相機、數位單眼(DSLR)相機)等。
行動計算裝置之實例亦可包括經佈置以由個人 佩戴的電腦，諸如，手腕電腦、手指電腦、戒指電腦、眼鏡電腦、皮帶扣電腦、臂章電腦、鞋子電腦、服裝電腦及其他隨身電腦。在各種實施例中，例如，行動計算裝置可經實施為能夠執行電腦應用程式以及語音通訊及/或資料通訊的智慧型電話。雖然一些實施例可藉由實例之方式使用實施為智慧型電話的行動計算裝置來予以描述，但是可瞭解，亦可使用其他無線行動計算裝置來實施其他實施例。實施例在此方面不受限制。
如圖37中所示，裝置3700可包括外殼3702、可包 括使用者介面3710的顯示器3704、輸入/輸出(I/O)裝置3706及天線3708。裝置3700亦可包括導航特徵3712。顯示器3704可包括用於顯示適於行動計算裝置的資訊的任何適合的顯示單元。I/O裝置3706可包括用於將資訊輸入至行動計算裝置中的任何適合的I/O裝置。I/O裝置3706之實例可包括文數鍵盤、數字小鍵盤、觸控板、輸入鍵、按鈕、開關、搖桿開關、麥克風、揚聲器、語音識別裝置及軟體等。資訊亦可藉由麥克風(未示出)輸入至装置3700中。此資訊可由語音識別裝置(未示出)數位化。實施例在此方面不受限制。
雖然本文的示例性過程之實施方案可包括以所示次序展示的所有操作之承擔，但是本揭示案在此方面不 受限制，且在各種實例中，本文的示例性過程之實施方案可包括所示及/或以相較於所示的不同次序的操作之僅一子集之承擔。
另外，可回應於由一或多個電腦程式產品提供的 指令而承擔本文所論述的操作中之一或多個。此類程式產品可包括提供指令的信號承載媒體，該等指令在由例如處理器執行時可提供本文所描述之功能。可以任何形式之一或多個機器可讀媒體提供電腦程式產品。因此，例如，包括一或多個處理器核心的處理器可回應於由一或多個機器可讀媒體傳達至處理器的程式碼及/或指令或指令集而承擔本文示例性過程之操作中之一或多個。一般而言，機器可讀媒體可傳達以程式碼及/或指令或指令集之形式的軟體，該等程式碼及/或指令或指令集可使任何本文所描述之裝置及/或系統實施如本文所論述的視訊系統之至少部分。
如本文所描述之任何實施方案中所使用，「模組」 一詞代表經組配來提供本文所描述之功能的軟體邏輯、韌體邏輯及/或硬體邏輯之任何組合。軟體可體現為套裝軟體、碼及/或指令集或指令，且「硬體」(如本文所描述之任何實施方案中所使用)可單獨地或以任何組合包括例如硬連線(hardwired)電路、可規劃電路、狀態機電路及/或儲存由可規劃電路執行的指令之韌體。模組可共同地或個別地體現為形成較大系統(例如，積體電路(IC)、系統單晶片(SoC)等)之一部分的電路。例如，模組可體現於用於經由如本文所論述的編碼系統之軟體、韌體或硬體進行的實施的邏輯 電路中。
可使用硬體元件、軟體元件或兩者之組合來實施 各種實施例。硬體元件之實例可包括處理器、微處理器、電路、電路元件(例如，電晶體、電阻器、電容器、電感器等)、積體電路、特定應用積體電路(ASIC)、可規劃邏輯裝置(PLD)、數位信號處理器(DSP)、現場可規劃閘陣列(FPGA)、邏輯閘、暫存器、半導體裝置、晶片、微晶片、晶片組等。軟體之實例可包括軟體組件、程式、應用、電腦程式、應用程式、系統程式、機器程式、作業系統軟體、中間軟體、韌體、軟體模組、常式、次常式、函數、方法、程序、軟體介面、應用程式介面(API)、指令集、計算碼、電腦碼、碼段、電腦碼段、字、值、符號或上述各者之任何組合。決定是否使用硬體元件及/或軟體元件來實施實施例可根據許多因素而變化，該等因素諸如所要的計算速率、功率位準、耐熱性、處理週期預算、輸入資料速率、輸出資料速率、記憶體資源、資料匯流排速度及其他設計或效能約束。
至少一實施例之一或多個態樣可藉由儲存於機 器可讀媒體上之代表性指令來實施，該機器可讀媒體表示處理器內的各種邏輯，該等指令在由機器讀取時使機器製造邏輯來執行本文中所描述之技術。此類表示(稱為「IP核心」)可儲存於有形的機器可讀媒體上，且可供應給各種用戶端或製造設施以載入至實際上製造該邏輯或處理器的製造機中。
雖然已參考各種實施方案描述本文所闡述的某 些特徵，但此描述並非意欲以限制性意義來理解。因此，本揭示案所屬的技術中的技術者顯而易見的對本文所描述之實施方案以及其他實施方案的各種修改在本揭示案之精神及範疇內。
以下實例係關於進一步實施方案。
在一實例中，一種用於視訊編碼的電腦實施的方 法包含：獲得像素資料之圖框且具有當前圖框及解碼後參考圖框，該解碼後參考圖框用作該當前圖框之移動補償參考圖框；藉由移置解碼後參考圖框之至少一部分來形成翹曲全域補償參考圖框，該移置係藉由使用全域移動軌跡來進行；決定移動向量，該移動向量指示至少一部分之移動及自基於該翹曲全域補償參考圖框的定位至該當前圖框處的定位的移動；以及至少部分基於移動向量且對應於當前圖框上之一部分而形成預測部分。
藉由另一實例，方法亦可包含：其中至少一部分 為以下各項中之至少一個：(1)像素區塊，其用作單元以將當前圖框及參考圖框劃分成多個區塊；(2)至少一像素影像塊，每一影像塊為至少64x64像素，且用作單元以將當前圖框及參考圖框劃分成多個影像塊；方法(2)包含以下各項中之至少一個：(a)基於與圖框中的物件之共用關聯性將影像塊分組在一起以形成至少一部分；以及針對每一影像塊群組形成單個移動向量，(b)基於可自編碼器傳輸至解碼器的合併映射來分組該等影像塊；或(3)像素區部，其取決於與 區部相關聯的物件而成形且經大小設定，其中該區部之邊界為以下各項中之至少一個：類似與區部相關聯的物件之形狀的形狀，及置放在與區部相關聯的物件周圍的矩形；其中區部與以下各項中之至少一個相關聯：圖框之背景，圖框之前景，及圖框中的移動的物件；方法包含基於可自編碼器傳輸至解碼器的邊界映射來定義區部；其中形成翹曲全域補償參考圖框包含在圖框之外拐角處使用全域移動軌跡；其中形成翹曲全域補償參考圖框包含使用仿射或透視全域移動補償方法；其中至少一部分包含劃分成背景及前景的圖框，且其中決定移動向量包含為該背景及前景各自提供一移動向量；方法包含執行主要移動補償，該主要移動補償包含區域地施加的全域移動補償，使得在圖框上之小於整個圖框的至少一區部之拐角處使用至少一組其他的全域移動軌跡，以形成移置區部；以及使用移置區部之像素值來形成對應於當前圖框上之區部的預測區部；方法包含以下各項中之至少一個：(a)藉由在每一區部上使用不同的一組全域移動軌跡來對圖框之多個區部執行區域全域移動補償；(b)其中每一區部為影像塊，且將圖框劃分成影像塊，且其中每一影像塊具有一組全域移動軌跡；(c)提供選項以除全部影像塊之外對一影像塊之一小部分執行區域全域移動補償；其中每一區部係取決於與該區部相關聯的物件而成形且經大小設定；其中物件為以下各項之一：前景、背景及在圖框中移動的物件；方法包含在逐區部的基礎上於至少一區部上提供選項以選擇預測，該預測藉由以 下方式形成：(1)藉由移動向量以針對至少一區部且使用施加至整個圖框的全域移動補償來形成預測，或(2)在區部處使用一組全域移動軌跡來施加區域全域移動補償且使用區部之移置像素值來形成預測；方法包含使用在參考圖框之具有小於整個參考圖框的區域的區部處施加的一組全域移動軌跡來施加區域全域移動補償，且使用移動向量來針對至少一區部形成預測；方法包含提供選項以在以下各項之中選擇用於圖框的模式：(1)使用主要移動補償參考圖框預測，(2)使用多個主要移動補償參考圖框之混合預測，(3)使用具有用於預測的差分平移移動向量的主要移動補償參考，及(4)使用具有用於預測的差分平移移動向量的主要移動補償參考，該主要移動補償參考與另一參考圖框混合；方法包含(a)至(c)中之至少一個：
(a)使用雙線性內插及移動補償(MC)濾波器來執行移動補償漸變參考預測，以形成漸變參考圖框MRef、作為中間水平內插的tPredh，及作為最終移動補償漸變參考預測的predji：
其中m=[-Nt/2+1,Hb+Nt/2-1]，n=[0,Wb-1]，
其中m=[0,Hb-1]，n=[0,Wb-1]，且其中：(iMVx,iMVy)為用於大小(Wb x Hb)的在(j,i)處之區塊的子像素單元(fs)中的所傳輸移動向量；A、B、C、D、E及F為自所傳輸的三個移動軌跡計算的仿射參數；使用具有範數T之濾波係數h[fs][Nt]的可分開的移動補償(MC)濾波器，fs為子像素因數(例如，2=二分之一像素，4=四分之一像素，8=八分之一像素)，其中Nt為MC濾波器分接頭數，且i’=i+(iMVy/fs)
j’=j+(iMVx/fs)
pi=iMVy &(fs-1)
pj=iMVx &(fs-1)
(j’,i’)為漸變參考影像中的整數移動調整後當前像素位置。pj、pi為該漸變參考影像中的1/8像素相；x=(A*j’+B*i’+C<<r)>>r
y=(D*j’+E*i’+F<<s)>>s
其中(x,y)為用於位置(j’,i’)的以1/8像素準確度的參考像素坐標py=y & 0x7
px=x & 0x7
y0=y>>3
X0=x>>3
其中(x0,y0)為參考影像中的整數像素位置。px、py為1/8像素相；MRef[i’][j’]=((8-px)*(8-py)*Ref[y0][x0]+px*(8-py)*Ref[y0][x0+1]+py*(8-px)*Ref[y0+1][x0]+py*px*Ref[y0+1][x0+1]+31)>>6
tPredh[m][n]=SUMk(h[pj][k]*MRef[i’+m][j’+n+k])/T，其中m=[-Nt/2-1,Hb+Nt/2]，其中n=[0,Wb-1]，其中k=[-Nt/2-1,Nt/2]，Predji[m][n]=SUMk(h[pj][k]*tPredh[m+k][n])/T，其中m=[0,Hb-1]，其中n=[0,Wb-1]，其中k=[-Nt/2-1,+Nt/2]；(b)使用區塊移動補償(MC)濾波來執行漸變參考預測，以形成漸變參考圖框Mref，及作為中間水平內插的Predh：
m=[-Nt/2+1,Hs+Nt/2-1]，n=[0,Ws-1]，
其中m=[0,Hs-1]，n=[0,Ws-1]，且其中A、B、C、D、E及F為自所傳輸的三個移動軌跡計算的仿射參數；使用具有範數T之濾波係數h[fs][Nt]的可分開的MC濾波器；fs為子像素因數(例如，2=二分之一像素；4=四分之一像素；8=八分之一像素)，且其中Nt為MC濾波器分接頭數 x=(A*j+B*i+C<<r)>>r
y=(D*j+E*i+F<<s)>>s
(j,i)為當前影像中的每個(Ws x Hs)子區塊位置，x及y為以1/8像素準確度的參考像素坐標；py=y & 0x7
px=x & 0x7
y0=y>>3
x0=x>>3
(x0,y0)為參考圖框(參考影像)中的整數像素位置；px、py為該1/8像素相。
tPredh[m][n]=SUMk(h[px][k]*Ref[y0+m][x0+n+k])/T，m=[-Nt/2-1,Hs+Nt/2]，n=[0,Ws-1]，k=[-Nt/2-1,+Nt/2]；以及MRef[i+m][j+n]=SUMk(h[py][k]*tPredh[m+k][n])/T，m=[0,Hs-1]，n=[0,Ws-1]，k=[-Nt/2-1,+Nt/2]；以及(c)使用單迴路移動補償(MC)濾波來執行移動補償漸變參考預測，以針對在(j,i)處的大小Wb x Hb之區塊形成漸變參考(Mref)及作為中間水平內插的預測tPredh，及作為最終移動補償漸變參考預測的Predji：
對於：m=[-Nt/2+1,Hs+Nt/2-1]，n=[0,Ws-1]，
對於：m=[0,Hs-1]，n=[0,Ws-1]，u=[0,Hb/Hs-1]，v=[0,Wb/Ws-1]，且其中：(iMVx,iMVy)為用於大小(Wb x Hb)的在(j,i)處之區塊的子像素(Sub-Pel)單元(fs)中的所傳輸移動向量。A、B、C、D、E及F為自所傳輸的三個移動軌跡計算的仿射參數；使用具有範數T之濾波係數h[fs][Nt]的可分開的MC濾波器，fs為子像素因數(例如，2=二分之一像素，4=四分之一像素，8=八分之一像素)，且Nt為MC濾波器分接頭數；i’=(i+u*Hs)*fs+iMVx
j’=(j+v*Ws)*fs+iMVy
其中(j,i)為當前區塊像素位置，(u,v)為(Wb x Hb)之給定當前區塊內的每個(Ws x Hs)子區塊之索引，且(Ws x Hs)子區塊。以下，i’、j’為以fs子像素準確度的移動調整後當前像素位置，x=((A*j’+B*i’+(C*fs)<<r)>>(r+3)
y=((D*j’+E*i’+(F*fs)<<s)>>(s+3)
其中x及y為以fs子像素準確度的參考像素坐標py=y &(fs-1)
px=x &(fs-1)
y0=y/fs
x0=x/fs
其中y0、x0為參考影像中的整數像素位置，px、py為 1/8像素相；tPredh[m][n]=SUMk(h[px][k]*Ref[y0+m][x0+n+k])/T，m=[-Nt/2-1,Hs+Nt/2]，n=[0,Ws-1]，k=[-Nt/2-1,+Nt/2]，Predji[u*Hs+m][V*Ws+n]=SUMk(h[py][k]*tPredh[m+k][n])/T，m=[0,Hs-1]，n=[0,Ws-1]，k=[-Nt/2-1,+Nt/2]，v=[0,Wb/Ws-1]，u=[0,Hb/Hs-1]。
藉由另一方法，一種用於視訊編碼的電腦實施的方法，該方法包含：獲得像素資料之圖框且具有當前圖框及解碼後參考圖框，該解碼後參考圖框用作該當前圖框之移動補償參考圖框；將參考圖框劃分成小於整個圖框之區域的多個部分；執行主要移動補償，該主要移動補償包含藉由移置解碼後參考圖框之至少一部分來將區域全域移動補償施加於該等部分中之至少一個上，該移置係藉由在該部分之邊界處使用全域移動軌跡來進行；以及形成對應於當前圖框上之一部分的預測部分，且藉由使用移置部分之像素值來進行。
藉由又一方法，方法可亦包含藉由在該等多個部 分中之每一部分上使用不同的一組全域移動軌跡來對多個該等部分執行區域全域移動補償；其中每一部分為影像塊，該方法包含將圖框劃分成影像塊，且其中每一影像塊具有一組全域移動軌跡；方法包含提供選項以除全部影像塊之外對一影像塊之一小部分執行區域全域移動補償；其中將區域全域移動補償軌跡提供至二分之一影像塊或四分之一影像塊；方法包含以下各項中之至少一個：(a)將多個該等影像塊分組成區部，且將相同全域移動軌跡施加於相同區部內的影像塊上，且取決於區部而施加不同組的全域移動軌跡，及(b)將多個該等部分分組成區部，且將相同全域移動軌跡施加於相同區部內的部分上，且取決於區部而施加不同組的全域移動軌跡；其中每一部分係取決於與該部分相關聯的物件而成形且經大小設定；其中物件為以下各項之一：前景、背景及在圖框中移動的物件；其中該部分為置放於物件周圍的矩形；方法包含形成各自具有用於每一部分的不同的一組區域全域移動軌跡的參考圖框之背景之一部分，及參考圖框之前景之一部分。
藉由另一實例，一種編碼器包含：影像緩衝器； 以及圖形處理單元，其經組配來：獲得像素資料之圖框且具有當前圖框及解碼後參考圖框，該解碼後參考圖框用作該當前圖框之移動補償參考圖框；將參考圖框劃分成小於整個圖框之區域的多個部分；執行主要移動補償，該主要移動補償包含藉由移置解碼後參考圖框之至少一部分來將區域全域移動補償施加於該等部分中之該至少一個上，該 移置係藉由在部分之邊界處使用全域移動軌跡來進行；以及形成對應於該當前圖框上之一部分的預測部分，且藉由使用移置部分之像素值來進行。
藉由另一實例，編碼器可具有圖形處理單元，該 圖形處理單元經組配來：藉由在該等多個部分中之每一部分上使用不同的一組全域移動軌跡來對多個該等部分執行區域全域移動補償；其中每一部分為影像塊，圖形處理單元經組配來將圖框劃分成影像塊，且其中每一影像塊具有一組全域移動軌跡；圖形處理單元經組配來提供選項以除全部影像塊之外對一影像塊之一小部分執行區域全域移動補償；其中將區域全域移動補償軌跡提供至二分之一影像塊或四分之一影像塊；圖形處理單元經組配來進行以下各項操作中之至少一個：(a)將多個該等影像塊分組成區部，且將相同全域移動軌跡施加於相同區部內的影像塊上，且取決於區部而施加不同組的全域移動軌跡；以及(b)將多個該等部分分組成區部，且將相同全域移動軌跡施加於相同區部內的部分上，且取決於區部而施加不同組的全域移動軌跡；其中每一部分係取決於與該部分相關聯的物件而成形且經大小設定；其中物件為以下各項之一：前景、背景及在圖框中移動的物件；其中該部分為置放於物件周圍的矩形；圖形處理單元經組配來形成各自具有用於每一部分的不同的一組區域全域移動軌跡的參考圖框之背景之一部分，及參考圖框之前景之一部分。
藉由另一方法，一種編碼器可包含：影像緩衝 器；以及圖形處理單元，其經組配來：獲得像素資料之圖框且具有當前圖框及解碼後參考圖框，該解碼後參考圖框用作該當前圖框之移動補償參考圖框；藉由移置解碼後參考圖框之至少一部分來形成翹曲全域補償參考圖框，該移置係藉由使用全域移動軌跡來進行；決定移動向量，該移動向量指示至少一部分之移動及自基於翹曲全域補償參考圖框的定位至當前圖框處的定位的移動；以及至少部分基於移動向量且對應於當前圖框上之一部分而形成預測部分。
藉由又一方法，編碼器可包含：其中該至少一部 分為以下各項中之至少一個：(1)像素區塊，其用作單元以將當前圖框及參考圖框劃分成多個區塊；(2)至少一像素影像塊，每一影像塊為至少64x64像素，且用作單元以將當前圖框及參考圖框劃分成多個影像塊；圖形處理單元(2)經組配來進行以下各項操作中之至少一個：(a)基於與圖框中的物件之共用關聯性將影像塊分組在一起以形成至少一部分；且針對每一影像塊群組形成單個移動向量，(b)基於可自編碼器傳輸至解碼器的合併映射來分組影像塊；(3)像素區部，其取決於與區部相關聯的物件而成形且經大小設定，其中區部之邊界(3)為以下各項中之至少一個：類似與區部相關聯的物件之形狀的形狀，及置放在與區部相關聯的物件周圍的矩形；其中區部與以下各項中之至少一個相關聯：圖框之背景，圖框之前景，及圖框中的移動的物件；圖形處理單元經組配來基於可自編碼器傳輸至解碼器的邊 界映射來定義區部；其中形成翹曲全域補償參考圖框包含在圖框之外拐角處使用全域移動軌跡；其中形成翹曲全域補償參考圖框包含使用仿射或透視全域移動補償方法。編碼器其中至少一部分包含劃分成背景及前景的圖框，且其中決定移動向量包含為該背景及前景各自提供一移動向量；圖形處理單元經組配來執行主要移動補償，該主要移動補償包含區域地施加的全域移動補償，使得在圖框上之小於整個圖框的至少一區部之拐角處使用至少一組其他的全域移動軌跡，以形成一移置區部；且使用移置區部之像素值來形成對應於當前圖框上之區部的預測區部；圖形處理單元經組配來進行以下各項操作中之至少一個：藉由在每一區部上使用不同的一組全域移動軌跡來對圖框之多個區部執行區域全域移動補償；其中每一區部為影像塊，且將圖框劃分成影像塊，且其中每一影像塊具有一組全域移動軌跡；提供選項以除全部影像塊之外對一影像塊之一小部分執行區域全域移動補償；其中每一區部係取決於與該區部相關聯的物件而成形且經大小設定；其中物件為以下各項之一：前景、背景及在圖框中移動的物件；圖形處理單元經組配來在逐區部的基礎上於至少一區部上提供選項以選擇預測，該預測藉由以下方式形成：(1)藉由移動向量以針對至少一區部且使用施加至整個圖框的全域移動補償來形成預測，或(2)在區部處使用一組全域移動軌跡來施加區域全域移動補償且使用區部之移置像素值來形成預測；圖形處理單元經組配來使用在參考圖框之小於整個參考圖 框的區域的區部處施加的一組全域移動軌跡來施加區域全域移動補償，且使用移動向量來針對至少一區部形成預測；圖形處理單元經組配來提供選項以在以下各項之中選擇用於圖框的模式：(1)使用主要移動補償參考圖框預測，(2)使用多個主要移動補償參考圖框之混合預測，(3)使用具有用於預測的差分平移移動向量的主要移動補償參考，及(4)使用具有用於預測的差分平移移動向量的主要移動補償參考，該主要移動補償參考與另一參考圖框混合；圖形處理單元經組配來進行(a)至(c)中之至少一個：(a)使用雙線性內插及移動補償(MC)濾波器來執行移動補償漸變參考預測，以形成漸變參考圖框MRef、作為中間水平內插的tPredh，及作為最終移動補償漸變參考預測的predji：
其中m=[-Nt/2+1,Hb+Nt/2-1]，n=[0,Wb-1]，
其中m=[0,Hb-1]，n=[0,Wb-1]，且其中：(iMVx,iMVy)為用於大小(Wb x Hb)的在(j,i)處之區塊的子像素單元(fs)中的所傳輸移動向量；A、B、C、D、E 及F為自所傳輸的三個移動軌跡計算的仿射參數；使用具有範數T之濾波係數h[fs][Nt]的可分開的移動補償(MC)濾波器，fs為子像素因數(例如，2=二分之一像素，4=四分之一像素，8=八分之一像素)，其中Nt為MC濾波器分接頭數，且i’=i+(iMVy/fs)
j’=j+(iMVx/fs)
pi=iMVy &(fs-1)
pj=iMVx &(fs-1)
(j’,i’)為漸變參考影像中的整數移動調整後當前像素位置。pj、pi為漸變參考影像中的1/8像素相；x=(A*j’+B*i’+C<<r)>>r
y=(D*j’+E*i’+F<<s)>>s
其中(x,y)為用於位置(j’,i’)的以1/8像素準確度的參考像素坐標py=y & 0x7
px=x & 0x7
y0=y>>3
x0=x>>3
其中(x0,y0)為參考影像中的整數像素位置。px、py為該1/8像素相；MRef[i’][j’]=((8-px)*(8-py)*Ref[y0][x0]+px*(8-py)*Ref[y0][x0+1]+py*(8-px)*Ref[y0+1][x0]+py*px*Ref[y0+1][x0+1]+31)>>6
tPredh[m][n]=SUMk(h[pj][k]*MRef[i’+m][j’+n+k])/T， 其中m=[-Nt/2-1,Hb+Nt/2]，其中n=[0,Wb-1]，其中k=[-Nt/2-1,Nt/2]，Predji[m][n]=SUMk(h[pj][k]*tPredh[m+k][n])/T，其中m=[0,Hb-1]，其中n=[0,Wb-1]，其中k=[-Nt/2-1,+Nt/2]；(b)使用區塊移動補償(MC)濾波來執行漸變參考預測，以形成漸變參考圖框Mref，及作為中間水平內插的Predh：
m=[-Nt/2+1,Hs+Nt/2-1]，n=[0,Ws-1]，
其中m=[0,Hs-1]，n=[0,Ws-1]，且其中A、B、C、D、E及F為自所傳輸的三個移動軌跡計算的仿射參數；使用具有範數T之濾波係數h[fs][Nt]的可分開的MC濾波器；fs為子像素因數(例如，2=二分之一像素；4=四分之一像素；8=八分之一像素)，且其中Nt為MC濾波器分接頭數x=(A*j+B*i+C<<r)>>r
y=(D*j+E*i+F<<s)>>s
(j,i)為當前影像中的每個(Ws x Hs)子區塊位置，x及y為以1/8像素準確度的參考像素坐標；py=y & 0x7
px=x & 0x7
y0=y>>3
X0=x>>3
(x0,y0)參考圖框(參考影像)中的整數像素位置；px、py為該1/8像素相。
tPredh[m][n]=SUMk(h[px][k]*Ref[y0+m][x0+n+k])/T，m=[-Nt/2-1,Hs+Nt/2]，n=[0,Ws-1]，k=[-Nt/2-1,+Nt/2]；以及MRef[i+m][j+n]=SUMk(h[py][k]*tPredh[m+k][n])/T，m=[0,Hs-1]，n=[0,Ws-1]，k=[-Nt/2-1,+Nt/2]；以及(c)使用單迴路移動補償(MC)濾波來執行移動補償漸變參考預測，以針對在(j,i)處的大小Wb x Hb之區塊形成漸變參考(Mref)及作為中間水平內插的預測tPredh，及作為最終移動補償漸變參考預測的Predji：
對於：m=[-Nt/2+1,Hs+Nt/2-1]，n=[0,Ws-1]，
對於：m=[0,Hs-1]，n=[0,Ws-1]，u=[0,Hb/Hs-1]，v=[0,Wb/Ws-1]，且其中：(iMVx,iMVy)為用於大小(Wb x Hb)的在(j,i)處之區塊的子像素單元(fs)中的所傳輸移動向量。A、B、C、D、E及F為自所傳輸的三個移動軌跡計算的仿射參數；使用具 有範數T之濾波係數h[fs][Nt]的可分開的MC濾波器，fs為子像素因數(例如，2=二分之一像素，4=四分之一像素，8=八分之一像素)，且Nt為MC濾波器分接頭數；i’=(i+u*Hs)*fs+iMVx
j’=(j+v*Ws)*fs+iMVy
其中(j,i)為當前區塊像素位置，(u,v)為(Wb x Hb)之給定當前區塊內的每個(Ws x Hs)子區塊之索引，且(Ws x Hs)子區塊。以下，i’、j’為以fs子像素準確度的移動調整後當前像素位置，x=((A*j’+B*i’+(C*fs)<<r)>>(r+3)
y=((D*j’+E*i’+(F*fs)<<s)>>(s+3)
其中x及y為以fs子像素準確度的參考像素坐標py=y &(fs-1)
px=x &(fs-1)
y0=y/fs
x0=x/fs
其中y0、x0為參考影像中的整數像素位置，px、py為1/8像素相；tPredh[m][n]=SUMk(h[px][k]*Ref[y0+m][x0+n+k])/T，m=[-Nt/2-1,Hs+Nt/2]，n=[0,Ws-1]，k=[-Nt/2-1,+Nt/2]，Predji[u*Hs+m][v*Ws+n]=SUMk(h[py][k]*tPredh[m+ k][n])/T，m=[0,Hs-1]，n=[0,Ws-1]，k=[-Nt/2-1,+Nt/2]，v=[0,Wb/Ws-1]，u=[0,Hb/Hs-1]。
藉由一實施方案，至少一電腦可讀記憶體包含指令，該等指令在由計算裝置執行時，使該計算裝置：獲得像素資料之圖框且具有當前圖框及解碼後參考圖框，該解碼後參考圖框用作該當前圖框之移動補償參考圖框；將參考圖框劃分成小於整個圖框之區域的多個部分；執行主要移動補償，該主要移動補償包含藉由移置解碼後參考圖框之至少一部分來將區域全域移動補償施加於該等部分中之該至少一個上，該移置係藉由在部分之邊界處使用全域移動軌跡來進行；以及形成對應於該當前圖框上之一部分的預測部分，且藉由使用移置部分之像素值來進行。
藉由另一實施方案，電腦可讀記憶體可亦包括：其中指令使計算裝置：藉由在該等多個部分中之每一部分上使用不同的一組全域移動軌跡來對多個該等部分執行區域全域移動補償；其中每一部分為影像塊，指令使計算裝置將圖框劃分成影像塊，且其中每一影像塊具有一組全域移動軌跡；指令使計算裝置提供選項以除全部影像塊之外對一影像塊之一小部分執行區域全域移動補償；其中將區域全域移動補償軌跡提供至二分之一影像塊或四分之一影 像塊；指令使計算裝置進行以下操作中之至少一個：(a)將多個該等影像塊分組成區部，且將相同全域移動軌跡施加於相同區部內的影像塊上，且取決於區部而施加不同組的全域移動軌跡；以及(b)將多個該等部分分組成區部，且將相同全域移動軌跡施加於相同區部內的部分上，且取決於區部而施加不同組的全域移動軌跡；其中每一部分係取決於與該部分相關聯的物件而成形且經大小設定；其中物件為以下各項之一：前景、背景及在圖框中移動的物件；其中該部分為置放於物件周圍的矩形；指令使該計算裝置形成各自具有用於每一部分的不同的一組區域全域移動軌跡的該參考圖框之該背景之一部分，及該參考圖框之該前景之一部分。
藉由另一個例子，至少一電腦可讀記憶體包含指 令，該等指令在由計算裝置執行時，使該計算裝置：獲得像素資料之圖框且具有當前圖框及解碼後參考圖框，該解碼後參考圖框用作該當前圖框之移動補償參考圖框；藉由移置解碼後參考圖框之至少一部分來形成翹曲全域補償參考圖框，該移置係藉由使用全域移動軌跡來進行；決定移動向量，該移動向量指示至少一部分之移動及自基於翹曲全域補償參考圖框的定位至當前圖框處的定位的移動；以及至少部分基於移動向量且對應於當前圖框上之一部分而形成預測部分。
藉由又一實例，電腦可讀記憶體可亦包含：其中至少一部分為以下各項中之至少一個：(1)像素區塊，其用 作單元以將當前圖框及參考圖框劃分成多個區塊；(2)至少一像素影像塊，每一影像塊為至少64x64像素，且用作單元以將當前圖框及參考圖框劃分成多個影像塊；指令使計算裝置(2)進行以下操作中之至少一個：(a)基於與圖框中的物件之共用關聯性將影像塊分組在一起以形成該至少一部分；以及針對每一影像塊群組形成單個移動向量，(b)基於可自編碼器傳輸至解碼器的合併映射來分組影像塊。(3)像素區部，其取決於與區部相關聯的物件而成形且經大小設定，其中該區部之邊界為以下各項中之至少一個：類似與區部相關聯的物件之形狀的形狀，及置放在與區部相關聯的物件周圍的矩形；其中區部與以下各項中之至少一個相關聯：圖框之背景，圖框之前景，及圖框中的移動的物件；指令該計算裝置基於可自編碼器傳輸至解碼器的邊界映射來定義區部；其中形成翹曲全域補償參考圖框包含在圖框之外拐角處使用全域移動軌跡；其中形成翹曲全域補償參考圖框包含使用仿射或透視全域移動補償方法。記憶體其中至少一部分包含劃分成背景及前景的圖框，且其中決定移動向量包含為該背景及前景各自提供一移動向量；指令使該計算裝置執行主要移動補償，該主要移動補償包含區域地施加的全域移動補償，使得在圖框上之小於整個圖框的至少一區部之拐角處使用至少一組其他的全域移動軌跡，以形成移置區部；且使用移置區部之像素值來形成對應於當前圖框上之區部的預測區部；指令使計算裝置進行以下操作中之至少一個：(a)藉由在每一區部上使用不同的 一組全域移動軌跡來對圖框之多個區部執行區域全域移動補償；(b)其中每一區部為影像塊，且將圖框劃分成影像塊，且其中每一影像塊具有一組全域移動軌跡；(c)提供選項以除全部影像塊之外對一影像塊之一小部分執行區域全域移動補償；其中每一區部係取決於與該區部相關聯的物件而成形且經大小設定；其中物件為以下各項之一：前景、背景及在圖框中移動的物件；指令使該計算裝置在逐區部的基礎上於至少一區部上提供選項以選擇預測，該預測藉由以下方式形成：(1)藉由移動向量以針對至少一區部且使用施加至整個圖框的全域移動補償來形成預測，或(2)在區部處使用一組全域移動軌跡來施加區域全域移動補償且使用區部之移置像素值來形成預測；指令使計算裝置使用在參考圖框之具有小於整個參考圖框的區域的區部處施加的一組全域移動軌跡來施加區域全域移動補償，且使用移動向量來針對至少一區部形成預測；以及指令使計算裝置提供選項以在以下各項之中選擇用於圖框的模式：(1)使用主要移動補償參考圖框預測，(2)使用多個主要移動補償參考圖框之混合預測，(3)使用具有用於預測的差分平移移動向量的主要移動補償參考，及(4)使用具有用於預測的差分平移移動向量的主要移動補償參考，該主要移動補償參考與另一參考圖框混合。
在另一實例中，至少一機器可讀媒體可包括多個指令，該等多個指令回應於在計算裝置上被執行而使該計算裝置執行根據以上實例中任一實例之方法。
在又一實例中，設備可包括用於執行根據以上實施中任一實例之方法的構件。
以上實例可包括特徵之特定組合。然而，此類以上實例在此方面不受限制，且在各種實施方案中，以上實例可包括承擔此類特徵之僅一子集、承擔此類特徵之不同次序、承擔此類特徵之不同組合，及/或承擔相較於明確地列表的該等特徵的額外特徵。例如，可關於示例性設備、示例性系統及/或示例性製品來實施關於示例性方法所描述之所有特徵，且反之亦然。
1100‧‧‧過程
1102‧‧‧獲得像素資料之圖框且具有當前圖框及解碼後參考圖框，該解碼後參考圖框用作該當前圖框的移動補償參考圖框
1104‧‧‧藉由移置解碼後參考圖框之至少一部分來形成翹曲全域移動補償參考圖框，該移置係藉由使用全域移動軌跡來進行
1106‧‧‧決定移動向量，該移動向量指示至少一部分之移動及自基於翹曲全域移動補償參考圖框的定位至當前圖框處的定位的移動
1108‧‧‧至少部分基於移動向量且對應於當前圖框上之一部分而形成預測部分

Claims (28)

  1. 一種用於視訊編碼的電腦實施的方法，該方法包含：獲得像素資料之圖框且具有一當前圖框及一解碼後參考圖框，該解碼後參考圖框用作該當前圖框之一移動補償參考圖框；藉由移置該解碼後參考圖框之至少一部分來形成一翹曲全域補償參考圖框，該移置係藉由使用全域移動軌跡來進行；決定一移動向量，該移動向量指示該至少一部分之移動及自基於該翹曲全域補償參考圖框的一定位至該當前圖框處的一定位的移動；以及至少部分基於該等移動向量且對應於該當前圖框上之一部分而形成一預測部分。
  2. 如請求項1之方法，其中該至少一部分為一像素區塊，該像素區塊用作一單元以將該當前圖框及該參考圖框劃分成多個該等區塊。
  3. 如請求項1之方法，其中該至少一部分為至少一像素影像塊，每一影像塊為至少64x64像素，且用作一單元以將該當前圖框及該參考圖框劃分成多個該等影像塊；該方法包含：基於與該圖框中的一物件之共用關聯性來將影像塊分組在一起以形成該至少一部分；以及針對每一影像塊群組形成單個移動向量；以及基於可自一編碼器傳輸至一解碼器的一合併映射來分組該等影像 塊。
  4. 如請求項1之方法，其中該至少一部分為一像素區部，其取決於與該區部相關聯的一物件而成形且經大小設定；且其中該區部之一邊界為以下各項中之至少一個：類似與該區部相關聯的該物件之形狀的一形狀，及置放在與該區部相關聯的該物件周圍的一矩形。
  5. 如請求項4之方法，其中該區部與以下中之至少一個相關聯：該圖框之一背景，該圖框之一前景，及該圖框中的一移動的物件；且其中每一區部具有單個移動向量。
  6. 如請求項1之方法，其中形成一翹曲全域補償參考圖框包含在該圖框之外拐角處使用該等全域移動軌跡；以及使用一仿射或透視全域移動補償方法。
  7. 如請求項1之方法，其包含：執行主要移動補償，該主要移動補償包含區域地施加全域移動補償，使得在該圖框上之小於該整個圖框的至少一區部之拐角處使用至少一組其他的全域移動軌跡，以形成一移置區部；使用該移置區部之像素值來形成對應於該當前圖框上之一區部的一預測區部；以及在一逐區部的基礎上於該至少一區部上提供選項以選擇一預測，該預測藉由以下方式形成： (1)藉由一移動向量以針對該至少一區部且使用施加至該整個圖框的全域移動補償來形成一預測，或(2)在該區部處使用一組全域移動軌跡來施加區域全域移動補償且使用該區部之移置像素值來形成一預測。
  8. 如請求項1之方法，其包含以在該參考圖框之具有小於該整個參考圖框的一區域的一區部處施加的一組全域移動軌跡，來施加區域全域移動補償，且使用移動向量來針對該至少一區部形成一預測。
  9. 如請求項1之方法，其包含提供選項以在以下各項之中選擇用於一圖框的一模式：(1)使用該主要移動補償參考圖框預測，(2)使用多個主要移動補償參考圖框之混合預測，(3)使用具有用於預測的差分平移移動向量的主要移動補償參考，及(4)使用具有用於預測的差分平移移動向量的主要移動補償參考，該主要移動補償參考與另一參考圖框混合。
  10. 如請求項1之方法，其包含使用雙線性內插及移動補償(MC)濾波器來執行移動補償漸變參考預測，以形成一漸變參考圖框MRef、作為中間水平內插的tPredh，及作為最終移動補償漸變參考預測的predji： 其中m=[-Nt/2+1,Hb+Nt/2-1]，n=[0,Wb-1]， 其中m=[0,Hb-1]，n=[0,Wb-1]，且其中：(iMVx,iMVy)為用於大小(Wb x Hb)的在(j,i)處之一區塊的子像素(Sub-Pel)單元(fs)中的該所傳輸移動向量；A、B、C、D、E及F為自所傳輸的三個移動軌跡計算的仿射參數；使用具有範數T之濾波係數h[fs][Nt]的可分開的移動補償(MC)濾波器，fs為子像素因數(例如，2=二分之一像素(pel)，4=四分之一像素，8=八分之一像素)，其中Nt為MC濾波器分接頭數，且i’=i+(iMVy/fs)j’=j+(iMVx/fs)pi=iMVy &(fs-1)pj=iMVx &(fs-1)(j’,i’)為漸變參考影像中的整數移動調整後當前像素位置；pj、pi為該漸變參考影像中的1/8像素相；x=(A*j’+B*i’+C<<r)>>r y=(D*j’+E*i’+F<<s)>>s 其中(x,y)為用於位置(j’,i’)的以1/8像素準確度的參考像素坐標py=y & 0x7 px=x & 0x7 y0=y>>3 x0=x>>3其中(x0,y0)為參考影像中的該整數像素位置；px、py為該1/8像素相；MRef[i’][j’]=((8-px)*(8-py)*Ref[y0][x0]+px*(8-py)*Ref[y0][x0+1]+py*(8-px)*Ref[y0+1][x0]+py*px*Ref[y0+1][x0+1]+31)>>6 tPredh[m][n]=SUMk(h[pj][k]*MRef[i’+m][j’+n+k])/T，其中m=[-Nt/2-1,Hb+Nt/2]，其中n=[0,Wb-1]，其中k=[-Nt/2-1,Nt/2]，Predji[m][n]=SUMk(h[pj][k]*tPredh[m+k][n])/T，其中m=[0,Hb-1]，其中n=[0,Wb-1]，其中k=[-Nt/2-1,+Nt/2]。
  11. 如請求項1之方法，其包含使用區塊移動補償(MC)濾波來執行漸變參考預測，以形成一漸變參考圖框Mref，且及作為該中間水平內插的Predh： m=[-Nt/2+1,Hs+Nt/2-1]，n=[0,Ws-1]， 其中m=[0,Hs-1]，n=[0,Ws-1]，且其中A、B、C、D、E及F為自所傳輸的該三個移動軌跡計算的仿射參數；使用具有範數T之濾波係數h[fs][Nt]的可分開的MC濾波器；fs為子像素(Sub-Pel)因數(例如，2=二分之一像素(pel)，4=四分之一像素，8=八分之一像素)，且其中Nt為MC濾波器分接頭數x=(A*j+B*i+C<<r)>>r y=(D*j+E*i+F<<s)>>s(j,i)為當前影像中的每個(Ws x Hs)子區塊位置，x及y為以1/8像素準確度的參考像素坐標；py=y & 0x7 px=x & 0x7 y0=y>>3 x0=x>>3(x0,y0)為該參考圖框(參考影像)中的該整數像素位置；px、py為該1/8像素相，tPredh[m][n]=SUMk(h[px][k]*Ref[y0+m][x0+n+k])/T，m=[-Nt/2-1,Hs+Nt/2]，n=[0,Ws-1]，k=[-Nt/2-1,+Nt/2]；以及MRef[i+m][j+n]=SUMk(h[py][k]*tPredh[m+k][n])/T，m=[0,Hs-1]，n=[0,Ws-1]，k=[-Nt/2-1,+Nt/2]。
  12. 如請求項1之方法，其包含使用單迴路移動補償(MC)濾波來執行移動補償漸變參考預測，以針對在(j,i)處的大小WbxHb之區塊形成一漸變參考(Mref)及作為該中間水平內插的預測tPredh，及作為該最終移動補償漸變參考預測的Predji：對於：m=[-Nt/2+1,Hs+Nt/2-1]，n=[0,Ws-1]， 對於：m=[0,Hs-1]，n=[0,Ws-1]，u=[0,Hb/Hs-1],v=[0,Wb/Ws-1]， 且其中：(iMVx,iMVy)為用於大小(Wb x Hb)的在(j,i)處之一區塊的子像素(Sub-Pel)單元(fs)中的該所傳輸移動向量；A、B、C、D、E及F為自所傳輸的該三個移動軌跡計算的仿射參數；使用具有範數T之濾波係數h[fs][Nt]的可分開的MC濾波器，fs為子像素因數(例如，2=二分之一像素(pel)，4=四分之一像素，8=八分之一像素)，且Nt為MC濾波器分接頭數；i’=(i+u*Hs)*fs+iMVx j’=(j+v*Ws)*fs+iMVy其中(j,i)為該當前區塊像素位置，(u,v)為(Wb x Hb) 之給定當前區塊內的每個(Ws x Hs)子區塊之索引，且(Ws x Hs)子區塊；以下i’、j’為以fs子像素準確度的移動調整後當前像素位置，x=((A*j’+B*i’+(C*fs)<<r)>>(r+3)y=((D*j’+E*i’+(F*fs)<<s)>>(s+3)其中x及y為以fs子像素準確度的參考像素坐標py=y &(fs-1)px=x &(fs-1)y0=y/fs x0=x/fs其中y0、x0為參考影像中的該整數像素位置，px、py為該1/8像素相；tPredh[m][n]=SUMk(h[px][k]*Ref[y0+m][x0+n+k])/T，m=[-Nt/2-1,Hs+Nt/2]，n=[0,Ws-1]，k=[-Nt/2-1,+Nt/2]，Predji[u*Hs+m][v*Ws+n]=SUMk(h[py][k]*tPredh[m+k][n])/T，m=[0,Hs-1]，n=[0,Ws-1]，k=[-Nt/2-1,+Nt/2]，v=[0,Wb/Ws-1]，u=[0,Hb/Hs-1]。
  13. 如請求項1之方法，其中該至少一部分為以下各項中之至少一個：(1)一像素區塊，其用作一單元以將該當前圖框及該參考圖框劃分成多個該等區塊；(2)至少一像素影像塊，每一影像塊為至少64x64像素，且用作一單元以將該當前圖框及該參考圖框劃分成多個該等影像塊；該方法包含以下各項中之至少一個：基於與該圖框中的一物件之共用關聯性將影像塊分組在一起以形成該至少一部分；以及針對每一影像塊群組形成單個移動向量，基於來自一編碼器可傳輸至一解碼器的一合併映射來分組該等影像塊；(3)一像素區部，其取決於與該區部相關聯的一物件而成形且經大小設定，其中該區部之一邊界為以下各項中之至少一個：類似與該區部相關聯的該物件之形狀的一形狀，及置放在與該區部相關聯的該物件周圍的一矩形；其中該區部與以下各項中之至少一個相關聯：該圖框之一背景，該圖框之一前景，及該圖框中的一移動的物件；該方法包含基於來自一編碼器可傳輸至一解 碼器的一邊界映射來定義該區部；其中形成一翹曲全域補償參考圖框包含在該圖框之外拐角處使用該等全域移動軌跡；其中形成一翹曲全域補償參考圖框包含使用一仿射或透視全域移動補償方法；其中該至少一部分包含劃分成一背景及一前景的一圖框，且其中決定移動向量包含為該背景及前景各自提供一移動向量；該方法包含執行主要移動補償，該主要移動補償包含區域地施加全域移動補償，使得在該圖框上之小於該整個圖框的至少一區部之拐角處使用至少一組其他的全域移動軌跡，以形成一移置區部；以及使用該移置區部之該等像素值來形成對應於該當前圖框上之一區部的一預測區部；該方法包含以下各項中之至少一個：藉由在每一區部上使用不同的一組全域移動軌跡來對該圖框之多個區部執行區域全域移動補償；其中每一區部為一影像塊，且將該圖框劃分成該等影像塊，且其中每一影像塊具有一組全域移動軌跡；提供選項以除全部影像塊之外對一影像塊之一小部分執行區域全域移動補償；其中每一區部係取決於與該區部相關聯的一物件而成形且經大小設定； 其中該物件為以下各項之一：一前景、一背景及在該圖框中移動的一物件；該方法包含在一逐區部的基礎上於該至少一區部上提供選項以選擇一預測，該預測藉由以下方式形成：(1)藉由一移動向量以針對該至少一區部且使用施加至該整個圖框的全域移動補償來形成一預測，或(2)在該區部處使用一組全域移動軌跡來施加區域全域移動補償且使用該區部之移置像素值來形成一預測；該方法包含使用在該參考圖框之具有小於該整個參考圖框的一區域的一區部處施加的一組全域移動軌跡來施加區域全域移動補償，且使用移動向量來針對該至少一區部形成一預測；該方法包含提供選項以在以下各項之中選擇用於一圖框的一模式：(1)使用該主要移動補償參考圖框預測，(2)使用多個主要移動補償參考圖框之混合預測，(3)使用具有用於預測的差分平移移動向量的主要移動補償參考，及(4)使用具有用於預測的差分平移移動向量的主要移動補償參考，該主要移動補償參考與另一參考圖框混合；該方法包含(a)至(c)中之至少一個： (a)使用雙線性內插及移動補償(MC)濾波器來執行移動補償漸變參考預測，以形成一漸變參考圖框MRef、作為中間水平內插的tPredh，及作為最終移動補償漸變參考預測的predji： 其中m=[-Nt/2+1,Hb+Nt/2-1]，n=[0,Wb-1]， 其中m=[0,Hb-1]，n=[0,Wb-1]，且其中：(iMVx,iMVy)為用於大小(Wb x Hb)的在(j,i)處之一區塊的子像素(Sub-Pel)單元(fs)中的該所傳輸移動向量；A、B、C、D、E及F為自所傳輸的該三個移動軌跡計算的仿射參數；使用具有範數T之濾波係數h[fs][Nt]的可分開的移動補償(MC)濾波器，fs為子像素因數(例如，2=二分之一像素(pel)，4=四分之一像素，8=八分之一像素)，其中Nt為MC濾波器分接頭數，且i’=i+(iMVy/fs)j’=j+(iMVx/fs)pi=iMVy &(fs-1)pj=iMVx &(fs-1) (j’,i’)為漸變參考影像中的整數移動調整後當前像素位置；pj、pi為漸變參考影像中的1/8像素相；x=(A*j’+B*i’+C<<r)>>r y=(D*j’+E*i’+F<<s)>>s其中(x,y)為用於位置(j’,i’)的以1/8像素準確度的參考像素坐標py=y & 0x7 px=x & 0x7 y0=y>>3 x0=x>>3其中(x0,y0)為參考影像中的該整數像素位置；px、py為該1/8像素相；MRef[i’][j’]=((8-px)*(8-py)*Ref[y0][x0]+px*(8-py)*Ref[y0][x0+1]+py*(8-py)*Ref[y0+1][x0]+py*px*Ref[y0+1][x0+1]+31)>>6 tPredh[m][n]=SUMk(h[pj][k]*MRef[i’+m][j’+n+k])/T，其中m=[-Nt/2-1,Hb+Nt/2]，其中n=[0,Wb-1]，其中k=[-Nt/2-1,Nt/2]，Predji[m][n]=SUMk(h[pj][k]*tPredh[m+k][n])/T，其中m=[0,Hb-1]，其中n=[0,Wb-1]，其中k=[-Nt/2-1,+Nt/2]；(b)使用區塊移動補償(MC)濾波來執行漸變參考預測以形成一漸變參考圖框Mref，及作為該中間水平內插的Predh： m=[-Nt/2+1,Hs+Nt/2-1]，n=[0,Ws-1]， 其中m=[0,Hs-1]，n=[0,Ws-1]，且其中A、B、C、D、E及F為自所傳輸的該三個移動軌跡計算的仿射參數；使用具有範數T之濾波係數h[fs][Nt]的可分開的MC濾波器；fs為子像素因數(例如，2=二分之一像素；4=四分之一像素，8=八分之一像素)，且其中Nt為MC濾波器分接頭數x=(A*j+B*i+C<<r)>>r y=(D*j+E*i+F<<s)>>s(j,i)為當前影像中的每個(Ws x Hs)子區塊位置，x及y為以1/8像素準確度的參考像素坐標；py=y & 0x7 px=x & 0x7 y0=y>>3 x0=x>>3(x0,y0)為該參考圖框(參考影像)中的該整數像素位置；px、py為該1/8像素相；tPredh[m][n]=SUMk(h[px][k]*Ref[y0+m][x0+n+k])/T，m=[-Nt/2-1,Hs+Nt/2]，n=[0,Ws-1]，k=[-Nt/2-1,+Nt/2]；以及 MRef[i+m][j+n]=SUMk(h[py][k]*tPredh[m+k][n])/T，m=[0,Hs-1]，n=[0,Ws-1]，k=[-Nt/2-1,+Nt/2]；以及(c)使用單迴路移動補償(MC)濾波來執行移動補償漸變參考預測，以針對在(j,i)處的大小Wb x Hb之區塊形成一漸變參考(Mref)及作為該中間水平內插的預測tPredh，及作為該最終移動補償漸變參考預測的Predji：對於：m=[-Nt/2+1,Hs+Nt/2-1]，n=[0,Ws-1]， 對於：m=[0,Hs-1]，n=[0,Ws-1]，u=[0,Hb/Hs-1]，v=[0,Wb/Ws-1]， 且其中：(iMVx,iMVy)為用於大小(Wb x Hb)的在(j,i)處之一區塊的子像素(Sub-Pel)單元(fs)中的該所傳輸移動向量；A、B、C、D、E及F為自所傳輸的該三個移動軌跡計算的仿射參數；使用具有範數T之濾波係數h[fs][Nt]的可分開的MC濾波器，fs為子像素因數(例如，2=二分之一像素(pel)，4=四分之一像素，8=八分之一像素)，且Nt為MC濾波器分接頭數；i’=(i+u*Hs)*fs+iMVx j’=(j+v*Ws)*fs+iMVy其中(j,i)為該當前區塊像素位置，(u,v)為(Wb x Hb)之給定當前區塊內的每個(Ws x Hs)子區塊之索引，且 (Ws x Hs)子區塊；以下，i’、j’為以fs子像素準確度的移動調整後當前像素位置，x=((A*j’+B*i’+(C*fs)<<r)>>(r+3)y=((D*j’+E*i’+(F*fs)<<s)>>(s+3)其中x及y為以fs子像素準確度的參考像素坐標py=y &(fs-1)px=x &(fs-1)y0=y/fs x0=x/fs其中y0、x0為參考影像中的該整數像素位置，px、py為該1/8像素相；tPredh[m][n]=SUMk(h[px][k]*Ref[y0+m][x0+n+k])/T，m=[-Nt/2-1,Hs+Nt/2]，n=[0,Ws-1]，k=[-Nt/2-1,+Nt/2]，Predji[u*Hs+m][v*Ws+n]=SUMk(h[py][k]*tPredh[m+k][n])/T，m=[0,Hs-1]，n=[0,Ws-1]，k=[-Nt/2-1,+Nt/2]，v=[0,Wb/Ws-1]，u=[0,Hb/Hs-1]。
  14. 一種用於視訊編碼的電腦實施的方法，該方法包含以下 步驟：獲得像素資料之圖框且具有一當前圖框及一解碼後參考圖框，該解碼後參考圖框用作該當前圖框之一移動補償參考圖框；將該參考圖框劃分成小於該整個圖框之區域的多個部分；執行主要移動補償，該主要移動補償包含藉由移置該解碼後參考圖框之至少一部分來將區域全域移動補償施加於該等部分中之該至少一個上，該移置係藉由在該部分之一邊界處使用全域移動軌跡來進行；以及形成對應於該當前圖框上之一部分的一預測部分，且藉由使用該移置部分之像素值來進行。
  15. 如請求項14之方法，其包含藉由在該等多個部分中之每一部分上使用不同的一組全域移動軌跡來對多個該等部分執行區域全域移動補償。
  16. 如請求項15之方法，其中每一部分為一影像塊，該方法包含將該圖框劃分成該等影像塊，且其中每一影像塊具有一組全域移動軌跡。
  17. 如請求項16之方法，其包含將多個該等影像塊分組成一區部，且將相同全域移動軌跡施加於相同區部內的該等影像塊上，且取決於該區部而施加不同組的全域移動軌跡。
  18. 如請求項14之方法，其包含將多個該等部分分組成一區部，且將相同全域移動軌跡施加於相同區部內的該等部 分上，且取決於該區部而施加不同組的全域移動軌跡；且其中包含以下各步驟中之至少一者：每一部分係取決於與該部分相關聯的一物件而成形且經大小設定，該物件為以下各項之一：一前景、一背景及在該圖框中移動的一物件，及該部分為置放在該物件周圍的一矩形。
  19. 如請求項14之方法，其包含形成各自具有用於每一部分的不同的一組區域全域移動軌跡的該參考圖框之該背景之一部分，及該參考圖框之該前景之一部分。
  20. 如請求項14之方法，其包含藉由在該等多個部分中之每一部分上使用不同的一組全域移動軌跡來對多個該等部分執行區域全域移動補償；其中每一部分為一影像塊，該方法包含將該圖框劃分成該等影像塊，且其中每一影像塊具有一組全域移動軌跡；該方法包含提供選項以除了全部影像塊之外，對一影像塊之一小部分執行區域全域移動補償；其中將區域全域移動補償軌跡提供至二分之一影像塊或四分之一影像塊；該方法包含以下各步驟中之至少一者：將多個該等影像塊分組成一區部，且將相同全域移動軌跡施加於相同區部內的該等影像塊上，且取決於該區部而施加不同組的全域移動軌跡，及 將多個該等部分分組成一區部，且將相同全域移動軌跡施加於相同區部內的該等部分上，且取決於該區部而施加不同組的全域移動軌跡；其中每一部分係取決於與該部分相關聯的一物件而成形且經大小設定；其中該物件為以下各項之一：一前景、一背景及在該圖框中移動的一物件；其中該部分為置放於該物件周圍的一矩形；該方法包含形成各自具有用於每一部分的不同的一組區域全域移動軌跡的該參考圖框之該背景之一部分，及該參考圖框之該前景之一部分。
  21. 一種編碼器，其包含：一影像緩衝器；以及一圖形處理單元，其經組配來：獲得像素資料之圖框且具有一當前圖框及一解碼後參考圖框，該解碼後參考圖框用作該當前圖框之一移動補償參考圖框；將該參考圖框劃分成小於該整個圖框之區域的多個部分；執行主要移動補償，該主要移動補償包含藉由移置該解碼後參考圖框之至少一部分來將區域全域移動補償施加於該等部分中之該至少一個上，該移置係藉由使用在該部分之一邊界處使用全域移動軌跡來進行；以及 形成對應於該當前圖框上之一部分的一預測部分，且藉由使用該移置部分之像素值來進行。
  22. 如請求項21之編碼器，該圖形處理單元經組配來：藉由在該等多個部分中之每一部分上使用不同的一組全域移動軌跡來對多個該等部分執行區域全域移動補償；其中每一部分為一影像塊，該圖形處理單元經組配來將該圖框劃分成該等影像塊，且其中每一影像塊具有一組全域移動軌跡；該圖形處理單元經組配來提供選項以除了全部影像塊之外，對一影像塊之一小部分執行區域全域移動補償；其中將區域全域移動補償軌跡提供至二分之一影像塊或四分之一影像塊；該圖形處理單元經組配來進行以下各項動作中之至少一個：將多個該等影像塊分組成一區部，且將相同全域移動軌跡施加於相同區部內的該等影像塊上，且取決於該區部而施加不同組的全域移動軌跡；以及將多個該等部分分組成一區部，且將相同全域移動軌跡施加於相同區部內的該等部分上，且取決於該區部而施加不同組的全域移動軌跡；其中每一部分係取決於與該部分相關聯的一物件而成形且經大小設定； 其中該物件為以下各項之一：一前景、一背景及在該圖框中移動的一物件；其中該部分為置放於該物件周圍的一矩形；該圖形處理單元經組配來形成各自具有用於每一部分的不同的一組區域全域移動軌跡的該參考圖框之該背景之一部分，及該參考圖框之該前景之一部分。
  23. 一種編碼器，其包含：一影像緩衝器；以及一圖形處理單元，其經組配來：獲得像素資料之圖框且具有一當前圖框及一解碼後參考圖框，該解碼後參考圖框用作該當前圖框之一移動補償參考圖框；藉由移置該解碼後參考圖框之至少一部分來形成一翹曲全域補償參考圖框，該移置係藉由使用全域移動軌跡來進行；決定一移動向量，該移動向量指示該至少一部分之移動及自基於該翹曲全域補償參考圖框的一定位至該當前圖框處的一定位的移動；以及至少部分基於該等移動向量且對應於該當前圖框上之一部分而形成一預測部分。
  24. 如請求項23之編碼器，其中該至少一部分為以下各項中之至少一個：(1)一像素區塊，其用作一單元以將該當前圖框及該參考圖框劃分成多個該等區塊； (2)至少一像素影像塊，每一影像塊為至少64x64像素，且用作一單元以將該當前圖框及該參考圖框劃分成多個該等影像塊；該圖形處理單元經組配來進行以下各項操作中之至少一個：基於與該圖框中的一物件之共用關聯性將影像塊分組在一起以形成該至少一部分；且針對每一影像塊群組形成單個移動向量，基於來自一編碼器可傳輸至一解碼器的一合併映射來分組該等影像塊；(3)一像素區部，其取決於與該區部相關聯的一物件而成形且經大小設定，其中該區部之一邊界為以下各項中之至少一個：類似與該區部相關聯的該物件之形狀的一形狀，及置放在與該區部相關聯的該物件周圍的一矩形；其中該區部與以下各項中之至少一個相關聯：該圖框之一背景，該圖框之一前景，及該圖框中的一移動的物件；該圖形處理單元經組配來基於來自一編碼器可傳輸至一解碼器的一邊界映射來定義該區部；其中形成一翹曲全域補償參考圖框包含在該 圖框之外拐角處使用該等全域移動軌跡；其中形成一翹曲全域補償參考圖框包含使用一仿射或透視全域移動補償方法；其中該至少一部分包含劃分成一背景及一前景的一圖框，且其中決定移動向量包含為該背景及前景各自提供一移動向量；該圖形處理單元經組配來執行主要移動補償，該主要移動補償包含區域地施加的全域移動補償，使得在該圖框上之小於該整個圖框的至少一區部之拐角處使用至少一組其他的全域移動軌跡，以形成一移置區部；且使用該移置區部之像素值來形成對應於該當前圖框上之一區部的一預測區部；該圖形處理單元經組配來進行以下各項操作中之至少一個：藉由在每一區部上使用不同的一組全域移動軌跡來對該圖框之多個區部執行區域全域移動補償；其中每一區部為一影像塊，且將該圖框劃分成該等影像塊，且其中每一影像塊具有一組全域移動軌跡；提供選項以除全部影像塊之外對一影像塊之一小部分執行區域全域移動補償；其中每一區部係取決於與該區部相關聯的一物件而成形且經大小設定；其中該物件為以下各項之一：一前景、一背景及在 該圖框中移動的一物件；該圖形處理單元經組配來在一逐區部的基礎上於該至少一區部上提供選項以選擇一預測，該預測藉由以下方式形成：(1)藉由一移動向量以針對該至少一區部且使用施加至該整個圖框的全域移動補償來形成一預測，或(2)在該區部處以一組全域移動軌跡來施加區域全域移動補償，且使用該區部之移置像素值來形成一預測；該圖形處理單元經組配來以在該參考圖框之小於該整個參考圖框的一區域的一區部處施加的一組全域移動軌跡來施加區域全域移動補償，且使用移動向量來針對該至少一區部形成一預測；該圖形處理單元經組配來提供選項以在以下各項之中選擇用於一圖框的一模式：(1)使用該主要移動補償參考圖框預測，(2)使用多個主要移動補償參考圖框之混合預測，(3)使用具有用於預測的差分平移移動向量的主要移動補償參考，及(4)使用具有用於預測的差分平移移動向量的主要移動補償參考，該主要移動補償參考與另一參考圖框混合；該圖形處理單元經組配來進行(a)至(c)中之至少一 個：(a)使用雙線性內插及移動補償(MC)濾波器來執行移動補償漸變參考預測，以形成一漸變參考圖框MRef、作為中間水平內插的tPredh，及作為該最終移動補償漸變參考預測的predji： 其中m=[-Nt/2+1,Hb+Nt/2-1]，n=[0,Wb-1]， 其中m=[0,Hb-1]，n=[0,Wb-1]，且其中：(iMVx,iMVy)為用於大小(Wb x Hb)的在(j,i)處之一區塊的子像素(Sub-Pel)單元(fs)中的該所傳輸移動向量；A、B、C、D、E及F為自所傳輸的該三個移動軌跡計算的仿射參數；使用具有範數T之濾波係數h[fs][Nt]的可分開的移動補償(MC)濾波器，fs為子像素因數(例如，2=二分之一像素(pel)，4=四分之一像素，8=八分之一像素)，其中Nt為MC濾波器分接頭數，且i’=i+(iMVy/fs) j’=j+(iMVx/fs)pi=iMVy&(fs-1)pj=iMVx&(fs-1)(j’,i’)為漸變參考影像中的整數移動調整後當前像素位置；pj、pi為該漸變參考影像中的1/8像素相；x=(A*j’+B*i’+C<<r)>>r y=(D*j’+E*i’+F<<s)>>s其中(x,y)為用於位置(j’,i’)的以1/8像素準確度的參考像素坐標py=y & 0x7 px=x & 0x7 y0=y>>3 x0=x>>3其中(x0,y0)為參考影像中的該整數像素位置；px、py為該1/8像素相；MRef[i’][j’]=((8-px)*(8-py)*Ref[y0][x0]+px*(8-py)*Ref[y0][x0+1]+py*(8-px)*Ref[y0+1][x0]+py*px*Ref[y0+1][x0+1]+31)>>6 tPredh[m][n]=SUMk(h[pj][k]*MRef[i’+m][j’+n+k])/T，其中m=[-Nt/2-1,Hb+Nt/2]，其中n=[0,Wb-1]，其中k=[-Nt/2-1,Nt/2]，Predji[m][n]=SUMk(h[pj][k]*tPredh[m+k][n])/T，其中m=[0,Hb-1]，其中n=[0,Wb-1]，其中k=[-Nt/2-1,+Nt/2]； (b)使用區塊移動補償(MC)濾波來執行漸變參考預測，以形成一漸變參考圖框Mref，及作為中間水平內插的Predh： m=[-Nt/2+1,Hs+Nt/2-1]，n=[0,Ws-1]， 其中m=[0,Hs-1]，n=[0,Ws-1]，且其中A、B、C、D、E及F為自所傳輸的該三個移動軌跡計算的仿射參數；使用具有範數T之濾波係數h[fs][Nt]的可分開的MC濾波器；fs為子像素因數(例如；2=二分之一像素；4=四分之一像素；8=八分之一像素)，且其中Nt為MC濾波器分接頭數x=(A*j+B*i+C<<r)>>r y=(D*j+E*i+F<<s)>>s(j,i)為當前影像中的每個(Ws x Hs)子區塊位置，x及y為以1/8像素準確度的參考像素坐標；py=y & 0x7 px=x & 0x7 y0=y>>3 x0=x>>3(x0,y0)該參考圖框(參考影像)中的該整數像素位 置；px、py為該1/8像素相；tPredh[m][n]=SUMk(h[px][k]*Ref[y0+m][x0+n+k])/T，m=[-Nt/2-1,Hs+Nt/2]，n=[0,Ws-1]，k=[-Nt/2-1,+Nt/2]；以及MRef[i+m][j+n]=SUMk(h[py][k]*tPredh[m+k][n])/T，m=[0,Hs-1]，n=[0,Ws-1]，k=[-Nt/2-1,+Nt/2]；以及(c)使用單迴路移動補償(MC)濾波來執行移動補償漸變參考預測，以針對在(j,i)處的大小Wb x Hb之區塊形成一漸變參考(Mref)及作為該中間水平內插的預測tPredh，及作為該最終移動補償漸變參考預測的Predji： 對於：m=[-Nt/2+1,Hs+Nt/2-1]，n=[0,Ws-1]， 對於：m=[0,Hs-1]，n=[0,Ws-1]，u=[0,Hb/Hs-1]，v=[0,Wb/Ws-1]，且其中：(iMVx,iMVy)為用於大小(Wb x Hb)的在(j,i)處之一區塊的子像素單元(fs)中的該所傳輸移動向量；A、B、C、D、E及F為自所傳輸的該三個移動軌跡計算的仿射參數；使用具有範數T之濾波係數h[fs][Nt]的可分開的MC濾波器，fs為子像素因數(例如，2=二分之一像素， 4=四分之一像素，8=八分之一像素)，且Nt為MC濾波器分接頭數；i’=(i+u*Hs)*fs+iMVx j’=(j+v*Ws)*fs+iMVy其中(j,i)為該當前區塊像素位置，(u,v)為(Wb x Hb)之給定當前區塊內的每個(Ws x Hs)子區塊之索引，且(Ws x Hs)子區塊；以下，i’、j’為以fs子像素準確度的移動調整後當前像素位置，x=((A*j’+B*i’+(C*fs)<<r)>>(r+3)y=((D*j’+E*i’+(F*fs)<<s)>>(s+3)其中x及y為以fs子像素準確度的參考像素坐標py=y &(fs-1)px=x &(fs-1)y0=y/fs x0=x/fs其中y0、x0為參考影像中的該整數像素位置，px、py為該1/8像素相；tPredh[m][n]=SUMk(h[px][k]*Ref[y0+m][x0+n+k])/T，m=[-Nt/2-1,Hs+Nt/2]，n=[0,Ws-1]，k=[-Nt/2-1,+Nt/2]，Predji[u*Hs+m][v*Ws+n]=SUMk(h[py][k]*tPredh[m+k][n])/T， m=[0,Hs-1],n=[0,Ws-1]，k=[-Nt/2-1,+Nt/2]，v=[0,Wb/Ws-1]，u=[0,Hb/Hs-1]。
  25. 一種電腦可讀記憶體，其包含指令，該等指令在由一計算裝置執行時，使該計算裝置進行以下動作：獲得像素資料之圖框且具有一當前圖框及一解碼後參考圖框，該解碼後參考圖框用作該當前圖框之一移動補償參考圖框；將該參考圖框劃分成小於該整個圖框之區域的多個部分；執行主要移動補償，該主要移動補償包含藉由移置該解碼後參考圖框之至少一部分，來將區域全域移動補償施加於該等部分中之該至少一個，該移置係藉由在該部分之一邊界處使用全域移動軌跡來進行；以及形成對應於該當前圖框上之一部分的一預測部分，且藉由使用該移置部分之像素值來進行。
  26. 如請求項25之電腦可讀記憶體，其中該等指令使該計算裝置進行以下動作：藉由在該等多個部分中之每一部分上使用不同的一組全域移動軌跡來對多個該等部分執行區域全域移動補償；其中每一部分為一影像塊，該等指令使該計算裝置 將該圖框劃分成該等影像塊，且其中每一影像塊具有一組全域移動軌跡；該等指令使該計算裝置提供選項以除了全部影像塊之外，對一影像塊之一小部分執行區域全域移動補償；其中將區域全域移動補償軌跡提供至二分之一影像塊或四分之一影像塊；該等指令使該計算裝置進行以下操作中之至少一個：將多個該等影像塊分組成一區部，且將相同全域移動軌跡施加於相同區部內的該等影像塊上，且取決於該區部而施加不同組的全域移動軌跡；以及將多個該等部分分組成一區部，且將相同全域移動軌跡施加於相同區部內的該等部分上，且取決於該區部而施加不同組的全域移動軌跡；其中每一部分係取決於與該部分相關聯的一物件而成形且經大小設定；其中該物件為以下各項之一：一前景、一背景及在該圖框中移動的一物件；其中該部分為置放於該物件周圍的一矩形；該等指令使該計算裝置形成各自具有用於每一部分的不同的一組區域全域移動軌跡的該參考圖框之該背景之一部分，及該參考圖框之該前景之一部分。
  27. 一種電腦可讀記憶體，其包含指令，該等指令在由一計 算裝置執行時，使該計算裝置進行以下動作：獲得像素資料之圖框且具有一當前圖框及一解碼後參考圖框，該解碼後參考圖框用作該當前圖框之一移動補償參考圖框；藉由移置該解碼後參考圖框之至少一部分來形成一翹曲全域補償參考圖框，該移置係藉由使用全域移動軌跡來進行；決定一移動向量，該移動向量指示該至少一部分之移動及自基於該翹曲全域補償參考圖框的一定位至該當前圖框處的一定位的移動；以及至少部分基於該等移動向量且對應於該當前圖框上之一部分而形成一預測部分。
  28. 如請求項27之電腦可讀記憶體，其中該至少一部分為以下各項中之至少一個：(1)一像素區塊，其用作一單元以將該當前圖框及該參考圖框劃分成多個該等區塊；(2)至少一像素影像塊，每一影像塊為至少64x64像素，且用作一單元以將該當前圖框及該參考圖框劃分成多個該等影像塊；該等指令使該計算裝置進行以下操作中之至少一個：基於與該圖框中的一物件之共用關聯性將影像塊分組在一起以形成該至少一部分；且針對每一影像塊群組形成單個移動向量， 基於可自一編碼器傳輸至一解碼器的一合併映射來分組該等影像塊；(3)一像素區部，其取決於與該區部相關聯的一物件而成形且經大小設定，其中該區部之一邊界為以下各項中之至少一個：類似與該區部相關聯的該物件之形狀的一形狀，及置放在與該區部相關聯的該物件周圍的一矩形；其中該區部與以下各項中之至少一個相關聯：該圖框之一背景，該圖框之一前景，及該圖框中的一移動的物件；該等指令使該計算裝置基於可自一編碼器傳輸至一解碼器的一邊界映射來定義該區部；其中形成一翹曲全域補償參考圖框包含在該圖框之外拐角處使用該等全域移動軌跡；其中形成一翹曲全域補償參考圖框包含使用一仿射或透視全域移動補償方法；其中該至少一部分包含劃分成一背景及一前景的一圖框，且其中決定移動向量包含為該背景及前景各自提供一移動向量；該等指令使該計算裝置執行主要移動補償，該主要 移動補償包含區域地施加的全域移動補償，使得在該圖框上之小於該整個圖框的至少一區部之拐角處使用至少一組其他的全域移動軌跡，以形成一移置區部；且使用該移置區部之像素值來形成對應於該當前圖框上之一區部的一預測區部；該等指令使該計算裝置進行以下操作中之至少一個：藉由在每一區部上使用不同的一組全域移動軌跡來對該圖框之多個區部執行區域全域移動補償；其中每一區部為一影像塊，且將該圖框劃分成該等影像塊，且其中每一影像塊具有一組全域移動軌跡；提供選項以除全部影像塊之外對一影像塊之一小部分執行區域全域移動補償；其中每一區部係取決於與該區部相關聯的一物件而成形且經大小設定；其中該物件為以下各項之一：一前景、一背景及在該圖框中移動的一物件；該等指令使該計算裝置在一逐區部的基礎上於該至少一區部上提供選項以選擇一預測，該預測藉由以下方式形成：(1)藉由一移動向量以針對該至少一區部且使用施加至該整個圖框的全域移動補償來形成一預測，或(2)在該區部處使用一組全域移動軌跡來施加 區域全域移動補償且使用該區部之移置像素值來形成一預測；該等指令使該計算裝置使用在該參考圖框之具有小於該整個參考圖框的一區域的一區部處施加的一組全域移動軌跡來施加區域全域移動補償，且使用移動向量來針對該至少一區部形成一預測；以及該等指令使該計算裝置提供選項以在以下各項之中選擇用於一圖框的一模式：(1)使用該主要移動補償參考圖框預測，(2)使用多個主要移動補償參考圖框之混合預測，(3)使用具有用於預測的差分平移移動向量的主要移動補償參考，及(4)使用具有用於預測的差分平移移動向量的主要移動補償參考，該主要移動補償參考與另一參考圖框混合。
TW103141224A 2013-12-27 2014-11-27 用於視訊編碼之方法、編碼器及電腦可讀記憶體 TWI583179B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/US2013/078114 WO2014120374A1 (en) 2013-01-30 2013-12-27 Content adaptive predictive and functionally predictive pictures with modified references for next generation video coding
PCT/US2014/024694 WO2015099816A1 (en) 2012-11-13 2014-03-12 Content adaptive dominant motion compensated prediction for next generation video coding

Publications (2)

Publication Number Publication Date
TW201528777A TW201528777A (zh) 2015-07-16
TWI583179B true TWI583179B (zh) 2017-05-11

Family

ID=54198733

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103141224A TWI583179B (zh) 2013-12-27 2014-11-27 用於視訊編碼之方法、編碼器及電腦可讀記憶體

Country Status (4)

Country Link
EP (2) EP3087745A4 (zh)
KR (1) KR101789954B1 (zh)
CN (1) CN105850133B (zh)
TW (1) TWI583179B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108141602B (zh) 2015-09-25 2021-02-23 华为技术有限公司 视频编解码器、编解码方法和计算机可读存储介质
KR102390384B1 (ko) * 2017-03-13 2022-04-22 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
US20190045213A1 (en) * 2017-08-03 2019-02-07 Intel Corporation Reference frame reprojection for improved video coding
US11889100B2 (en) * 2017-11-14 2024-01-30 Qualcomm Incorporated Affine motion vector prediction in video coding
US10681374B2 (en) * 2017-11-16 2020-06-09 Google Llc Diversified motion using multiple global motion models
CN109819253B (zh) * 2017-11-21 2022-04-22 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备和存储介质
CN112204981B (zh) * 2018-03-29 2024-11-01 弗劳恩霍夫应用研究促进协会 用于选择用于填补的帧内预测模式的装置
WO2020050283A1 (en) * 2018-09-07 2020-03-12 Panasonic Intellectual Property Corporation Of America System and method for video coding
EP3850850A1 (en) * 2018-09-14 2021-07-21 Koninklijke KPN N.V. Video coding based on global motion compensated motion vector predictors
WO2020053329A1 (en) * 2018-09-14 2020-03-19 Koninklijke Kpn N.V. Video coding based on global motion compensated motion vectors
GB2577318B (en) * 2018-09-21 2021-03-10 Canon Kk Video coding and decoding
GB2579763B (en) 2018-09-21 2021-06-09 Canon Kk Video coding and decoding
US20210344925A1 (en) * 2018-10-04 2021-11-04 Interdigital Vc Holdings, Inc. Block size based motion vector coding in affine mode
GB2595053B (en) * 2018-10-18 2022-07-06 Canon Kk Video coding and decoding
GB2578151B (en) 2018-10-18 2021-06-09 Canon Kk Video coding and decoding
CN111083487B (zh) * 2018-10-22 2024-05-14 北京字节跳动网络技术有限公司 仿射模式的运动信息的存储
JP7146086B2 (ja) * 2018-11-12 2022-10-03 北京字節跳動網絡技術有限公司 インター予測のためのバンド幅制御方法
CN109640081B (zh) * 2019-02-14 2023-07-14 深圳市网心科技有限公司 一种帧内预测方法、编码器、电子设备及可读存储介质
CN113875232B (zh) * 2019-05-16 2024-07-09 北京字节跳动网络技术有限公司 视频编解码中的自适应颜色格式转换
US11580621B2 (en) * 2019-12-06 2023-02-14 Mediatek Inc. AI frame engine for mobile edge
US11756505B2 (en) * 2020-03-31 2023-09-12 Apple Inc. Peak luminance control to enable higher display brightness
CN111726555B (zh) * 2020-06-04 2021-11-23 上海顺久电子科技有限公司 一种显示设备及运动估计方法、视频处理方法
CN112312131B (zh) * 2020-12-31 2021-04-06 腾讯科技（深圳）有限公司 一种帧间预测方法、装置、设备及计算机可读存储介质
CN115002482B (zh) * 2022-04-27 2024-04-16 电子科技大学 使用结构性保持运动估计的端到端视频压缩方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794815A (zh) * 2004-12-22 2006-06-28 汤姆森许可贸易公司 产生对图像或图像序列进行编码的量化矩阵的方法和设备
CN1857001A (zh) * 2003-05-20 2006-11-01 Amt先进多媒体科技公司 混合视频压缩方法
CN102474268A (zh) * 2009-08-06 2012-05-23 松下电器产业株式会社 编码方法、解码方法、编码装置及解码装置
US20120195376A1 (en) * 2011-01-31 2012-08-02 Apple Inc. Display quality in a variable resolution video coder/decoder system
CN102907095A (zh) * 2010-04-14 2013-01-30 联发科技股份有限公司 用于编码单元的视频编码的局部多重假设预测的执行方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0697788A3 (en) * 1994-08-19 1997-03-26 Eastman Kodak Co Adaptive and global motion compensated cancellation of the interlacing of successive video images with post-processing
US6643387B1 (en) * 1999-01-28 2003-11-04 Sarnoff Corporation Apparatus and method for context-based indexing and retrieval of image sequences
US20030123738A1 (en) * 2001-11-30 2003-07-03 Per Frojdh Global motion compensation for video pictures
JP2004088722A (ja) * 2002-03-04 2004-03-18 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
US20040001546A1 (en) * 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7558320B2 (en) * 2003-06-13 2009-07-07 Microsoft Corporation Quality control in frame interpolation with motion analysis
JP2005223631A (ja) * 2004-02-05 2005-08-18 Sony Corp データ処理装置およびその方法と符号化装置および復号装置
US8340185B2 (en) * 2006-06-27 2012-12-25 Marvell World Trade Ltd. Systems and methods for a motion compensated picture rate converter
JP5263967B2 (ja) * 2009-06-10 2013-08-14 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 動画ストリーム処理装置及び動画ストリーム処理プログラム
JP5524423B2 (ja) * 2011-01-09 2014-06-18 メディアテック インコーポレイテッド 効率的なサンプル適応オフセットの装置及び方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1857001A (zh) * 2003-05-20 2006-11-01 Amt先进多媒体科技公司 混合视频压缩方法
CN1794815A (zh) * 2004-12-22 2006-06-28 汤姆森许可贸易公司 产生对图像或图像序列进行编码的量化矩阵的方法和设备
CN102474268A (zh) * 2009-08-06 2012-05-23 松下电器产业株式会社 编码方法、解码方法、编码装置及解码装置
CN102907095A (zh) * 2010-04-14 2013-01-30 联发科技股份有限公司 用于编码单元的视频编码的局部多重假设预测的执行方法及装置
US20120195376A1 (en) * 2011-01-31 2012-08-02 Apple Inc. Display quality in a variable resolution video coder/decoder system

Also Published As

Publication number Publication date
EP3087744A1 (en) 2016-11-02
CN105850133B (zh) 2020-09-01
EP3087745A4 (en) 2017-06-28
KR101789954B1 (ko) 2017-10-25
KR20160077166A (ko) 2016-07-01
EP3087744A4 (en) 2017-07-05
TW201528777A (zh) 2015-07-16
EP3087744B1 (en) 2020-12-02
CN105850133A (zh) 2016-08-10
EP3087745A1 (en) 2016-11-02

Similar Documents

Publication Publication Date Title
TWI583179B (zh) 用於視訊編碼之方法、編碼器及電腦可讀記憶體
US9973757B2 (en) Content adaptive predictive and functionally predictive pictures with modified references for next generation video coding
US20170013279A1 (en) Content adaptive dominant motion compensated prediction for next generation video coding
CN106464879B (zh) 用于高度内容自适应质量恢复滤波的系统和方法
JP6055555B2 (ja) 次世代ビデオのためのビデオコーデックアーキテクチャ
JPWO2012176381A1 (ja) 画像復号装置及び画像復号方法
JP2024014927A (ja) インター予測方法および装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees