TW200843512A

TW200843512A - Picture management for multi-view video coding

Info

Publication number: TW200843512A
Application number: TW096138310A
Authority: TW
Inventors: Purvin Bibhas Pandit; Ye-Ping Su; Peng Yin
Original assignee: Thomson Licensing
Priority date: 2006-10-24
Filing date: 2007-10-12
Publication date: 2008-11-01
Also published as: EP2087737A2; KR20090085581A; EP2418854A3; MX2009004352A; JP2013042521A; WO2008051381A2; EP2418853A2; AU2007309634A1; TW200838313A; WO2008051381A4; BRPI0718421A2; EP2080380A2; EP2418853A3; JP2010507975A; RU2009119523A; JP2010507974A; TW201246936A; US20100027615A1; WO2008051381A3; WO2008051380A3

Description

200843512 九、發明說明：【發明所屬之技術領域】本發明原則上係廣泛關於視訊編碼與解碼。【先前技術】

視訊解碼器可解碼一圖片，並且儲存該圖片於記憶體中直到確彳曰不再需要該經解碼圖片。舉例而言，可能需要此一經解碼圖片，以用於解碼一已依據該經解碼圖片予以編碼的後續圖片。在各種系統中，目片被編碼成與前一圖片 (稱為參考圖片）的差展，並且該經解碼參考圖片被儲存在該解碼器4，直到使用該參考圖片的所有後續圖片亦已被解碼。儲存該等參考圖片耗用該解碼器處的有價值之記憶【發明内容】根據-項-般態樣，存取來自_第_視界之—圖片及相依性資訊。該減性資訊描述對於來自該第—視界之該圖片的-或多個視界間相依性關係。來自該第一視界_ 片被解碼以產生一經解碼圖片。該經解碼圖片被儲存在記憶體中。進一步，依據該相依性資貝π，自記憶體移除該儲存之經解碼圖片。％

經解碼圖片之根據另一項一般態樣、、、工乃〒，_尸j《或多個視界間相依性關係的相依性片。貝訊自記憶體移除該圖味H 、一一項以上實施方案的细種即。即使以一特定方式進行描述，但B 的、、、田 —疋應明白，可用各 125607.doc 200843512 方式來組態或具體化該黧奋亿菡4貝施方案。舉例而言，一項實施方案可作為一種方法予以者只订’或作為一種經組態以實行一組操作的設備予以具體化， 4 1下馬一種儲存用以實行一組操作之指令的設備予以且舻卞以具體化，或以一訊號予以具體化攸下文中參考附圖解說的詳細說明及申請專利範圍，將可明白其他態樣及特徵。【實施方式】

本文描述之至）-項實施方案提供—種基於相依性資訊而自記憶體移除H轉碼圖片之視訊編碼器及/或視訊解碼n。該相依性資訊描述該既定經解碼圖片的一或多個視界間相依性關係。因此，藉由存取描述(例如)相依於該既定經解碼圖片作為一參考圖片的所有後續圖片的資訊，一視訊解碼器（例如）將在解碼所有彼等後續圖片之後接著移除該既定經解碼圖片。進一步實施方案在解碼所有彼等後續圖片之後標記該既定經解碼圖片，而不需要立即移除該既定經解碼圖片。可用（例如）以MPEG-4 AVC標準為基礎之MVC的高階語法來編碼該相依性資訊（於下文定義）。在以國際標準化組織/國際電子電機委員會（IS〇/IEC)運動圖片專家組-4 (MPEG-4)第10部進階視訊編碼（AVC)標準 /國際電信聯盟電信部門（ITU-T) H.264建議（下文稱為 MPEG-4 AVC標準）為基礎之多視界視訊編碼（muiti_view video coding ; MVC)之當前實施方案中，引用的軟體藉由用單個編碼器編碼每一視界並且考量交叉視界（cross_view) 125607.doc 200843512 參考來達成多視界預測。此外，基於MPEG-4 A VC標準之 MVC(下文稱為”以MPEG-4 AVC標準為基礎之MVC”）之當前實施方案亦解耦合介於不同視界之間的圖框/圖片號碼 (frame—num)及圖片順序計數（p〇c)，因此允許具有相同 frame—num與POC的圖片存在於經解碼圖片緩衝器（dpb) 中。彼等圖片係使用其所相關聯的視界識別項（view_id)T 以鑑別。為了管理該經解碼圖片緩衝器，以MPEG-4 AVC標準為基礎之MVC使用MPEG-4 AVC相容之記憶體管理控制操作 (MMCO)命令。彼等MMC〇命令僅處置具有與用於載運彼等MMCO命令之圖片相同的view一id之圖片。攻可能係太大的限制，並且此外可能不具效率，原因在於不允許]VIMCO命令用與本身不同的來標記圖片，所需的經解碼圖片緩衝器大小典型係大。因此，為了允許較小的經解碼圖片緩衝器大小（因此使用較少的記憶體），應用更具效率方式來管理圖片。根據MPEG-4 AVC標準，一經編碼或解碼且可供參考用途之圖片被儲存在該經解碼圖片緩衝器中。接著，該圖片被払。己為（a) 一紐期參考圖片或（b) 一長期參考圖片。在稍後短』參考圖片可被指派一 LongTermPicNum (並且π變更成長期參考圖片）。此標記處理程序係使用MMCO命令予以元成，如表格丨所示。表格丨呈現經解碼參考圖片標記居法。可使用MMCO命令來達成具效率之經解碼圖片緩衝器管理。 125607.doc 200843512 表格1 dec一ref_pic一marking() { C 描述項 if(nal一unit一type = = 5 || nal一unitjype = = 21){ Λ nal unit type 21 is specified in Annex G*/ no_output_ofj>rior_plcs_flag 2|5 m) 菌 cmg_term_reference_fleg 2|5 "u(1) } else { adaptive_refj)icMmarking_mode_flag 2|5 if( adaptive一ref_pic_marking_mode一flag) do{ memoryMmanagement_contr〇L〇peration 2|S ue(v) if( memory_managemenlcontrol一operation = = 1 11 memory management control operation s = 3) difference^ofjpic_nums_minus1 2|5 ue(v) if(memory_management_control一operation = = 2 ) long一term」>te-num 2|5 ue(v) if( memory一management—control一operation = = 3 11 memory management control operation ==6) ong_term一frame一Idx 2|5 ue(v) if(memory_management一control一operation =: 4) maxJong_termjframeJdx_plus1 2|5 ue(v) } while( memory_management_contr〇L〇peration != 0) > — } 介於適應性參考圖片管理（adaptive reference picture management)與滑動視窗標記（sliding window marking)之間的選擇係使用存在於切片標頭（slice header)中的 adaptive_ref—pic一marking—mode—flag予以達成。表格2呈現 adaptive_ref一pic^marking—mode—flag之解譯。表格2 adaptive—refjdc一marking—mode一 flag 指定的參考圖片標記模式 0 滑動視窗參考圖片標記模式：提供用於短期參考圖片之先進先出機制之標記模式。 1 適應性參考圖片標記模式：一種提供用以指定將參考圖片標記為’’非供參考之用，，及指派長期圖框索引之語法元素的參考圖片標記模式。 125607.doc 200843512 表格3呈現每一記憶體管理控制操作之解譯。表格3呈現母一 $己t思體管理控制细作（memory—rnanagement control— operation)之值〇表格3 memory—management— control operation 記憶體管理控制操作 0 結束 memory—management—control operation語法元素迴圈 ~ 1 將一短期參考圖片標記為”非供參考之用，， 2 將一長期參考圖片標記為”非供參考之用” 3 將一短期參考圖片標記為”供長期參考之用，，並且指派一長期圖框索引給該短期參考圖片 4 指定最大長期圖框索引，並且將具有大於該最大值的長期圖框索引之所有長期參考圖片標記為’’非供參考之用•’ 5 將所有參考圖片標記為π非供參考之用，，並且設定MaxLongTermFrameldx變數為”盔任何長期圖框索引” μ ’ 6 將當前圖片標記為”供長期參考之用”並且指派一長期圖框索引給該當前圖片在一項用於視界視訊編碼的MPEG-4 AVC標準相容解決方案中，所有視訊序列被交錯成一單個序列。接著，此單個交錯序列被饋送至一 MPEG-4 AVC標準相容編碼器，並且產生一 MPEG-4 AVC標準相容位元流。由於這是一項MPEG-4 AVC標準相容實施方案，所以無任何用於識別任何圖片屬於哪一視界的方式。由於在其未列入考量情況下指派圖框號碼（frame一num)及圖片順序計 125607.doc -10- 200843512 數，所以MPEG-4 AVC標準相容MMCO命令可達成具效率之經解碼圖片緩衝器大小管理。在以MPEG-4 AVC標準為基礎之MVC中，已在序列參數集（Sequence Parameter Set)中加入額外語法（如表格4所示），以用訊號發送交叉視界參考。表格4呈現序列參數集 (SPS)多視界視訊編碼延伸語法。此語法係用於以下列方式指示出待用於錨點圖片與非錨點圖片的交叉視界參考。表格4 seq_parameter一setjnvc一extension() { C 描述項 num_view一minusjl ue(v) for(i = 0; i <= num_views_minus_l; i-H-) viewjd[i] ue(v) for(i = 0; i <= num_views_minus_l; i++) { num一anchor—refsJ 咽 ue(v) for( j = 0; j < num_anchor_refsJO[i]; j++) anchor一ref一 10[i][j] ue(v) num_anchor_refs_11 [i] ue(v) for( j = 0; j < num_anchor_refsJ1 [i]; j++) anchor_ref_!l [i][j] ue(v) } for(i = 0; i <= num_views_minus_l; i-H*) { num_non_anchor_refsJO[i] ue(v) for( j = 〇； j < num_non_anchor_refs__10[i]; j++ ) non_anchor_ref_10[i][j] ue(v) nu m^non^anchor^refsJ1 [i] ue(v) for( j = 0; j < num_non_anchor一refs[i]; j++ ) non_anchor_refJ1 [i][j] ue(v) } }

應實行下列程序，以將來自不同於當前視界之視界的參考圖片置於參考預測清單中： -如果當前圖片係一錨點圖片或一 V-IDR圖片，則對於自0至num_anchor_refs_IX-1之每一 i值，具有等於 anchor_ref_IX[i]之 view_id 且具有等於 1 之 -11 - 125607.doc 200843512 inter 一 view—flag且具有相同於當前圖片之pic〇rderCnt() 的圖片應被附加至RefPicListX。 -否則（當前圖片非係一錯點圖片或一 V_IDr圖片），則對於自 0至num一non—anchor—refs—IX-1之每一 1值，具有等於non—anchor—ref-IXfi]之view—id且具有等於1之 inter-view—flag且具有相同於當前圖片之pic〇rderCnt() 的圖片應被附加至RefPicListX。在此項實施方案中，記憶體管理控制操作命令僅相關聯於個別視界並且無法標記其它視界中的圖片。作為直接的結果，交叉視界參考圖片可保持在經解碼圖片緩衝器中的寺間長於所舄，原因為其所屬視界在位元流中後部的圖片僅可將一既定交叉視界參考圖片標記為"非供參考之用，，。在以MPEG-4 AVC標準為基礎之MVC中，未指定如何區別下列案例（亦如表格5所示）：圖片係僅用於視界間參考；圖片係僅用於暫時參考；圖片係用於視界間參考與暫時參考兩者；及圖片非供參考之用。表格5呈現對於暫時參考與視界間參考的參考圖片案例。表格5

125607.doc -12- 200843512 JMVM)指定對於在-定條件下將存在於非#前視界之視界中的一圖片標記為"非供參考之用"的條件。彼等條件如下： _如果當前圖片係一錨點圖片，則滿足下列條件的所 • 有參考圖片應被標記為”非供參考之用，， _參考圖片具有相同於當前圖片之Pic〇rderCnt〇。 -如對於依解碼順序解碼來自如anchor_re：Llx (χ 係〇或1)所指示之不同視界的後續圖片，不需要參考圖片。 - 對於編碼所屬視界中的後續圖片，不需要參考圖 - 如果當前圖片不是一錨點圖片，則滿足下列條件的所有參考圖片應被標記為”非供參考之用，，： - 參考圖片具有相同於當前圖片之PicOrderCntO ;及

- 如對於依解碼順序解碼來自如 non anchor ref IX — — (X係0或1)所指示之不同視界的後續圖片，不需要參考圖片。 - 對於編碼所屬視界中的後續圖片，不需要參考圖片。 * 滿足上述條件的標記圖片稱為”隱含標記π。更一般而言，隱含標記意指使用現有語法元素而未使用額外明確訊號發送（explicit signaling)。為了使用如上文所述之隱含標記進行有效率經解碼圖片缓衝器管理，區別表格5中所示之案例為重要事項。以MPEG-4 AVC標準為基礎之MVC中 125607.doc -13- 200843512 未明確指定如何可達成此項區別。用於如表格4所示之多視界視訊編碼延伸的序列參數集包括哪些視界係用作為某一視界之參考的資訊。可使用此資訊來產生一參考表或其它資料結構，以指示哪些視界係用作為視界間參考及哪些視界未予以使用。另外，對於錨點圖片及非錨點圖片可個別得知此資訊。在另一做法中，一新旗標指示出一圖片係用作為視界間預測參考。此係在用於可調整式視訊編碼/多視界視訊編碼延伸之網路抽象層（NAL)單元標頭中予以用訊號發送，並且語法元素nal_ref jdc僅指示出一圖片是否係用於預測間（亦稱為”暫時"）參考。在表格6所示之網路抽象層單元語法表格中用訊號發送nal_ref_idc。表格6 naLunit( NumBytesInNALunit) { C 描述項 forbidden_zero_bit All f(D nal_refjdc Ail u(2) naLuniMype Ail u(5) NumBytesInRBSP = 0 for( i = 1; i < NumBytesInNALunit; i++ ) { if( i + 2 < NumBytesInNALunit && next一bits( 24) = = 0x000003) { rbsp一byte[ NumByteslnRBSP++ 】 All b(8) rbsp_byte[ NumByteslnRBSP++ ] All b(8) i+=2 emulation_prevention_three_byte Γ equal to 0x03 */ All f(8) }else rbsp_byte[ NumByteslnRBSP++ ] All b(8) } } 當前用下列語意來定義nal_ref_idc : nal—ref_idc不等於0指明NAL單元的内容包括一序列參數集或一圖片參數集，或一參考圖片之一切片或一參考圖片 125607.doc -14- 200843512 之一切片資料分割。對於包括-切片或-切片資料分割之一 nal單元， nal一ref」de等於G指#出該切片《切片f料分割係-非參考圖片之部分。序列參數集或序列參數集延伸或圖片參數集NAL單元，仙1一1^11(^應不等於〇。對於一特定圖片之一切片或切片資料分割NAL單元，當nal—ref一idc等於0時，對於該圖片之所切片或切片資料分割NAL單元，nai—ref_idc應等於〇。對於IDR NAL皁元（即’具有nai—unit—type等於5之nal 單元），nal—ref—idc應不等於〇。對於具有nal_unit—type等於6、9、10、11或12之所有 NAL單元），nal—ref一idc應等於〇。下列表格7呈現語法修改。表格7呈現網路抽象層（NAL) 可調整視訊編碼（SVC)多視界視訊編碼延伸語法。 125607.doc 15- 200843512 表格7

如下指明 inter_view_reference—flag之語意： inter一view—reference一flag等於0指示出當前圖片係用作為視界間預測參考。inter_view—reference—flag等於1指示出當前圖片不是用作為視界間預測參考。因此，藉由查看 nal_ref—idc與 inter—view_reference_flag 之一組合，可判定一既定參考圖片之類型。表格8呈現關於參考圖片類型之 nal_ref_idc 與 inter_view_reference_ flag 〇 125607.doc -16- 200843512 表格8

本份說明書闡釋本發明原理。因此，應明白，熟悉此項技衍者夠朿劃各種配置（雖然本文中未明確描述或呈見）〃體化本發明原理並且包含在本發明精神與範嘴内。本文列舉的所有實例與條件式語言旨在教學用途，以輔助讀者瞭解本發明原理與發明人所發表的觀念以增進技術’並且理解為未限定於此等具體文列舉的實例與條件。另外’本文中列舉原理、態樣與本發明原理具體實施例以及其具體實例的所有陳述皆旨在涵蓋本發明結構與功能同專物。此外’意圖此等同等物包括當前已知的同等物以及未來開發的同等物，即，實行相同功能所開發的任何元件，而不顧及結構。因此，舉例而言，熟悉此項技術者應明白，本發明提呈的方塊圖表示具體化本發明原理之圖解電路的概念圖。同樣地’應明白’任何流程圖表、流程圖、狀態轉變圖、虛擬程式碼（pseudocode)及類似物表示各種處理程序，處理程序可在電腦可讀取媒體中實質表示且由電腦或處理器予 125607.doc •17- 200843512 以執行，而無論是否有明確呈現此等電腦或處理器。可透過使用專用硬體及能夠結合適當軟體來執行軟體的硬體來提供圖式所示之各種元件的功能。當藉由處理器提供功能時，可藉由單個專用處理器、藉由單個共用處理器或藉由複數個個別處理器（一些處理器係可共用）來提供彼等功能。另外，明確使用的用詞，，處理器，，或"控制器，，不應理解為排外地指能夠執行軟體的硬體，並且可隱含地包括 (但不限於）數位訊號處理器（，，DSP”）硬體、用於儲存軟體的唯頃纪憶體（"ROM”）、隨機存取記憶體（"RAM")及非揮發性儲存器。亦可包括其他習知及/或自訂硬體。同樣地，圖中所示之任何切換僅係概念。可透過程式邏輯操作、透過專用邏輯、透過程式控制與專用邏輯之互動或甚至手動實行切換功能，更具體瞭解内容的實施者可調整等定技術。 _在申請項中’表達為用㈣行―指^功能之構件的任何兀件曰在涵蓋實行该功能的任何方式，舉例而t，包括. a)實行該功能之電路元件的組合；_任何因此，包括與用於執行軟體以實行該功能之適當電路组人的勒體、微碼或類似物。事實上，如彼等請求項 : 發明原理屬於各種列舉之構件所提供的功能性，、彼等構: =以料請求項所需之方式予以組合在u此，

思’可提供彼等功能性的任 W 同等物。稱件白屬本文所不之構件的在此份說明書中引用的本發明原理之々項具體實施例 125607.doc 200843512 ’’（或’’一項實施方案”）或”一且表示配人且鲈普 ’、麵例’’（或"一實施方案”）於本發明原理之至少一項且體;=結構或特性被包含金久^ a u實施例中。因此，整份說明曰各處出現的"在一項具體實施人兀^^^ 只也例中或一具體實施例"辭 7不一疋全部意指同一具體實施例。應明白’使用用詞”及/或"（㈠如，關於” A及/或B”）旨在，擇弟一列出之選項㈧、選擇第二列出之選項⑼或

ί &擇該兩個選項（A及B)。作為進_步實例或C")，此辭令旨在涵蓋選擇第— 及一、评乐列出之選項（A)、選擇第二列出之選項(B)、選擇第三列出之選項(c)、選擇第一列出之選項及第二列出之選項（A及B)、選擇第一列出之選項及選擇第三列出之選項^及…選擇第二列出之選項及選擇第三列出之選項（B及C)、或選擇所有三個選項（a、6及 c)。熟悉此項技術與相關技術者易於明白，此可予以延伸以用於列出的許多項目。在本文中，，，高階語法”意指以階層方式駐存在巨集區塊層上方之位元流中的語法。舉例而言，在本文中，高階語法可意指（但不限於）在切片標頭層級、補充增強資訊 (Supplemental Enhancement Information ; SEI)層級、圖片參數集（PPS)層級、序列參數集（SPS)層級及網路抽象層 (NAL)單元標頭層級處的語法。另外’應明白’雖然本文中描述之本發明原理之一或多項具體實施例係關於MPEG-4 AVC標準，但是本發明原理非僅限定於此標準或任何標準。因此，關於其它視訊編碼 125607.doc -19- 200843512 實施方案及系統（包括其它視訊編碼標準、建議及其延伸，包括MPEG-4 AVC標準延伸），可利用本發明原理。明參考圖1，廣泛以參考數字！ 00來標示示範性Mvc編碼器。編碼器100包括一組合器105，組合器1〇5之一輸出以訊號通訊方式連接於一變換器110之一輸入。變換器110之一輸出以訊號通訊方式連接於一量化器115之一輸入。量化器11 5之一輸出以訊號通訊方式連接於一熵編碼器12〇之 ( 一輸入及一反向量化器125之一輸入。反向量化器125之— 輸出以讯號通訊方式連接於一反向變換器13〇之一輸入。反向變換器丨3〇之一輸出以訊號通訊方式連接於一組合器 135之帛非反轉輸入。組合器135之一輸出以訊號通訊方式連接於-内預測器145之—輸人及—解區塊過濾器15〇之輸入解區塊過濾、器15〇之_輸出以訊號通訊方式連接於-參考圖片儲存區155 (用於視界i)之—輸^參考圖片儲存區155之一輸出以訊號通訊方式連接於-運動補償器175之一第—輸入及-運動估計器刚之-第-輸入。運動估計器⑽之-輸心訊號通訊方式連接於-運動補償器175之一第二輸入。參考圖片儲存區160 (用於其它視界）之一輸出以訊號通訊方式連接於一像差（dispaHty)估計器Μ之一第一輸入及一像差補償器165之一第一鈐人你冰 … 輸入。像差估計器170之一輪出以訊號通訊方式連接於運動貝器165之一第二輸入。 :編碼器120之一輪出可供用作為編碼器⑽之一輸出。組a窃105之一非反轉輸入 J供用作為編碼器i 〇〇之_輸 125607.doc -20- 200843512 入，並且係以訊號通訊方式連接於像差估計器170之一第二輸入及運動估計器180之一第二輸入。一切換器185之一輸出以訊就通訊方式連接於組合器135之-第二非反轉輸連接於、，且合器13 5之一反轉輸入。切換器18 5包括：第輸入’其以訊號通訊方式連接於運動補償器175之 —* 出· ’ 弟二輸入’其以訊號通訊方式連接於像差補償

Is 16 5之一輪屮· _够一士人 ’ 第二輸入’其以訊號通訊方式連接於内預測器145之一輸出。多考Θ 2廣’乏以參考數字200來標示示範性MVC解碼器。叫注意’編碼器1〇〇與解碼器2〇〇可經組態以實行整份本揭示内谷所呈現之各種方法。此外，編碼器工〇〇可於重新建構處理程序期間實行各種標記及/或移除功能。舉例而吕，編碼器100可維護一經解碼圖片缓衝器之一當前狀匕以鏡像對映解碼器之預測動作。結果，編碼器1 00可實行實質上解碼器200所執行的所有操作。

解碼器200包括一熵解碼器205，熵解碼器205之一輸出以訊號通訊方式連接於一反向量化器210之一輸入。反向里化器之一輸出以訊號通訊方式連接於一反向變換器215 之一輸入。反向變換器215之一輸出以訊號通訊方式連接於組合器220之一第一非反轉輸入。組合器22〇之一輸出以訊遽通訊方式連接於一解區塊過濾器225之一輸入及一内預測器230之一輸入。解區塊過濾器225之一輸出以訊號通訊方式連接於一參考圖片儲存區24〇(用於視界丨）之一輸入。參考圖片儲存區240之一輸出以訊號通訊方式連接於 125607.doc -21· 200843512 一運動補償器235之一第一輸入。一參考圖片儲存區245 (用於其它視界）之一輸出以訊號通訊方式連接於一像差補償器250之一第一輸入。熵編碼器205之一輸入可供用作為解碼器2〇〇之一輸入，以用於接收一殘餘位元流（residUe bitstream)。另外，一模式模組260之一輸入亦可供用作為解碼器2〇〇之一輸入，以用於接收控制語法，以控制切換器255所選擇的輸入。進一步，運動補償器235之一第二輸入可供用作為解碼器2〇〇之一輸入’以用於接收運動向量。再者，像差補償器25〇之一第二輸入可供用作為解碼器2〇〇之一輸入，以用於接收像差向量。一切換器255之一輸出以訊號通訊方式連接於組合器22〇之一第二非反轉輸入。切換器255之一第一輸入以訊號通訊方式連接於像差補償器250之一輸出。切換器255之一第二輸入以訊號通訊方式連接於運動補償器235之一輸出。切換器255之一第三輸入以訊號通訊方式連接於内預測器 230之一輸出。模式模組26〇之一輸出以訊號通訊方式連接於切換器255，以控制切換器255所選擇的輸入。解區塊過濾器225之一輸出可供用作為解碼器之一輸出。或夕項具體實施例提供用於MPEG-4 AVC標準之多視界視訊編碼延伸語法的隱含參考圖片標記處理程序，以用於有效率管理轉碼參考㈣。經解碼參考㈣之隱含標記係依據可在解碼器側取得的資訊予以導出，而不需要明確訊號發送標記命令。可藉由高階語法來實現所提議之隱 125607.doc -22- 200843512 含標記處理程序。亦提供-或多項實施方案，其依據相依性資訊自記憶體移除經解碼圖片’而不需要明碟訊號發送此類相依性資訊。此類移除可結合標記或不結合標記予以達成。在基於MPEG 4 AVC標準之多視界視訊編碼的當前實施方案中’引用的軟體藉由用單個編碼器編碼每一視界並且考量交叉視界參考來達成多視界預測。此外，多視界視訊編碼之§如實施方案亦解耦合介於不同視界之間的圖框號碼（frame-num)及圖片順序計數（POC)，因此允許具有相同 frame一num與POC的圖片存在於經解碼圖片緩衝器（DpB) 中彼荨圖片係使用其所相關聯的view_id予以鑑別。請參考圖3 ’廣泛以參考數字ι〇〇來標示具有8個視界（s〇至S7)並且係基於MPEG_4 AVC標準之視界間暫時預測結構。在圖3中’對於視界81與82，僅需要視界训中的圖片 το-τιι ’並且在解碼視界81與82之後不需要彼等圖片。但是’在以MPEG-4 AVC標準為基礎之多視界視訊編碼 (MVC)的當前實施方案中，彼等圖片仍然被標記為用於參考’並且因此需要大的經解碼圖片緩衝器。在該視界之下一圖片群組（GOP)中的第一圖片中僅可標記彼等圖片（作為非用於參考）。因此，以MPEG-4 AVC標準為基礎之MVC 的當前實施方案未有效率管理經解碼圖片緩衝器。為了管理經解碼圖片緩衝器，當前實施方案使用MPEG-4 AVC標準相容MMCO命令。彼等MMCO命令僅處置具有與用於載運彼等MMCO命令之圖片相同的view_id之圖片。 125607.doc -23- 200843512 在多視界視訊編碼中，有不同編碼視界集合之方式。一種方式稱為時間優先編碼（time_first coding)。此可描述為首先編碼來自在同一時刻取樣之所有視界的所有圖片。請重新參考圖3，此將意味著編碼在τ〇取樣之s〇_S7，其後接著在T8取樣之S0-S7，在T4取樣之S0-S7，以此類推。另一種方式稱為視界優先編碼（view_first c〇ding)。此可描述為首先編碼來自在不同時刻取樣之單個視界的一組圖片，其後接著編碼來自另一視界的一組圖片。請再次來考圖3,此將意味著編碼視界s〇iT〇_T8，其後接著視界“之 T0-T8，視界S1之Τ0·Τ8，以此類推。為了有效率管理經解碼參考圖片，至少一項實施方案提供用不同於當前視界的view—id來標記（非像參考圖片一樣而要私圯）經解碼參考圖片，而不需要明確訊號發送標記命令。對於一用於交叉視界參考但非用於暫時參考的圖片解碼器可在解碼引用該圖片作為交叉視界參考的所有圖片之後’將該圖片標記為，，非供參考之用，，。應明白，已知本文提供之本發明原理之講授的情況下，熟悉此項技術者易於將所提議之隱含經解碼參考標記構想延伸至其它標記命令，諸如，，標記為長期參考圖片”，同時維持本發明原理之精神。序列參數集（SPS)定義描述介於不同視界之相依性結構的了法。此呈現在表格4中。利用表格4，隱含標記處理程序可導出相依性映射/圖表，相依性映射/圖表可指示出視界的完整相依性。因此，在任何既定時間，可查閱此導出 125607.doc • 24 - 200843512 之映射/圖表，以判疋來自一視界的哪些圖片可被標記為 "非供參考之用"。作為簡單實例，可從表格4中之資訊來產生圖3之視界間相依性資訊。對於圖3中採料實施方案，視界數目將為已知。此外’對於-既定視界（view—id[i]):⑴對於每一錫點時間’所有視界間參考皆相同；及⑺對於每一非錯點，間，所有視界間參考皆相同。於此，料_既定視界，藉由nUm_anch〇r_refs_I0[i](例如’具有值⑴加上 num一anchorjefsJUi](例如，具有值切之總和來指示出視界間描點參考數目。在依aneh〇r—ref-I〇[i][j](例如，卜工至 Jl)及anchor—ref一Il[i][j](例如，j = 1至j2)編索引的兩個清單中列出對於既定視界”i”的個別描點參考。類似地，對於一既定視界，藉由num —n〇n—⑽处的 refs—I〇[i](例如，具有值加上训㈤―n⑽—anch〇r— II [i][i](例如，具有值j2)之總和來指示出視界間非描點來考數目。在依non—anchor—ref—i〇[i][j](例如，j==1 至“）及 non—anchor—ref一Il[i][j](例如，』=1至」2)編索引的兩個清單中列出對於既定視界”i”的個別非描點參考。可用多種方式來用訊號發送一圖片是否需要暫時參考的狀態。舉例而言，在nal單元標頭中的nal一ref一idc語法中用訊號發送該狀態。另外，可在temp〇ral—level中指示出該狀態，前提係有此類資訊存在以用於暫時可調適性 (temporal scaiability)。在此等情況中，具有最高 temporal—level的圖片非用於暫時參考。進一步，可藉由某 125607.doc -25- 200843512 諸如明確表明圖片僅用於其它高階語法來指示出該狀態暫時參考的語法。下文係-項用於實行隱含經解碼參考標記之且體例。如果一圖片非用於暫時參考但是、疋係用於交叉視界參考，則當滿足下列條件時解碼器將該圖片標記為,,非供來考之用”使用當前圖片作為交又視界參考圖片的所有圖片皆予以編碼。

藉由實現隱含參考圖片標記’可有效率管理交又視界參考圖片，而不需要變更現有的標記處理程序，並且不需要變更MPEG-4 AVC標準中的語法。判定是否按時間優先或視界優先來編碼多視界視訊編碼序列係由編碼器進行選擇。此資訊必須載運至解碼器，使得可導出正確的隱含標記。因此’提議包含—旗標作為一高階語法以用訊號發送編碼方案之類型。此旗標名為 mvc一C〇ding_m〇de_flag。在一項具體實施例中，在序列參數集（sps)中用訊號發送此旗標，如表格9所示。表格9呈現序列參數集（sps)多視界視訊編碼（MVC)延伸語法。此旗標之語意可描述為如下： mvC_C〇ding_m〇de一flag指示出Mvc序列是否使用時間優先編碼方案或視界優先編碼方案。當mvc_c〇ding_m〇de flag等於1時，則按時間優先來編碼Mvc序列。當 mvC_C〇ding_m〇de—flag等於〇時，則按視界優先來編碼 MVC序列。 125607.doc -26« 200843512 表格9 seqjparameter_set一mvc_extension( ) { C 描述項 num_yiews一minus一1 ue(v) mvc_coding—mode_flag u(1) Implicit一marking u(1) for(i = 0; i <= num一views 一minus一 1; i++) viewjdpj ue(v) for(i = 0; i <= num_views_minus_l; i-H-) { num一anchorjrefs一 10[i] ue(v) for( j - 0; j < num_anchor_refs__10[i]; j-H·) Enchor_refJ0[i][j] ue(v) num^anchor^refs^ll [i] ue(v) for( j = 0; j < num一anchor_refs—ll[i];j++ ) anchor_refJ1 [i] [j] ue(v) } for(i = 0; i <= num一views一minus一 1; i*H·) { num__non_anchor_refsJ0[i] ue(v) for( j = 0; j < num_non一anchor一refs一 10[i]; j-H·) non一anchor一refJ0[i][j] ue(v) mim—non一anchor_refs一 11 [i] ue(v) for( j = 0; j < num一non一anchor一refs」l[i]; ) non 一 anchor—ref一U [i][j] ue(v) } }

假定編碼多視界視訊編碼序列之方法係間優先。自圖3 可看出，在僅用作為交叉視界（亦稱為’’視界間’’）參考且非用作為暫時參考的偶數視界（SO、S2 _)中有某些圖片 (ΤΙ、T3…）。彼等圖片將具有最高temporaljevel。可藉由位元流中的一特殊旗標來識別此等圖片，以指示出此等圖片僅係交叉視界圖片。可看出，一旦彼等圖片已用作為交叉視界參考，隨即不再需要彼等圖片，並且可被標記為非用於暫時參考或交叉視界參考。舉例而言，一旦（S 1、 T1)已參考（S0、T1)，隨即不需要（S0、T1)。此外，在非用於暫時參考或交叉視界參考的奇數視界 (S1、S3…）中有圖片（ΤΙ、T3…）。此等圖片將亦具有最高 temporal_level並且可係非參考圖片。使用隱含標記，可將 •27- 125607.doc 200843512 此等圖片標記為非供參考界參考）。之用（非用於暫時參考或交又視在^具體實施财，提議引人—旗標作為—高階狂 :可啟用或停用此隱含標記處理程序。此旗標_ 卿1制—marking。在一項具體實施例中，在序列參數集 (SPS)中用訊號發送此旗標，如表格9所示。、

在使用的編碼方案中，implicit—marking旗標亦可係有條件的。舉例而言，當編碼方案係時間優先編碼時，可僅使用implicit—marking旗標。此呈現在表袼10中。表格1〇呈現序列參數集（SPS)多視界視訊編碼（MVC)延伸語法。 implicit—marking指示出是否使用隱含標記處理程序來將圖片標記為"非供參考之用’•。當implicit_marking等於1 時’則啟用隱含標記。如果implicit_marking等於0時，則停用隱含標記。 1， 125607.doc -28 - 200843512 表格ίο seq_parameter_set_mvc_extension() { C 描述項 num_views一minus一 1 ue(v) mvc_coding_mode_flag u(1) if(mvc_codingjTK)de一flag) implicit_marking u(1) for(i = 0; i <= num__views_minus_l; i++) view__id[ij ue(v) for(i = 0; i <= nmn一views一minus一 1; i++) { num_anchor_refs_10[i] ue(v) for( j = 〇； j < num_anchor__refsJ0[i]; j++) anchor_ref_10[i] [j] ue(v) num_anchor_refs一 11 [i] ue(v) for( j = 0; j < num一anchor一refs_ll[i]; j*H*) anchorjrefjl [i][j] ue(v) } for(i = 0; i <= mim_views_minus一 1; i++) { mim一non一anclior_refs_10p] ue(v) for( j = 0; j < num_non_anchor__refsJO[i]; j++ ) mm_anchor_ref_JOp][j] ue(v) mim一non 一anchor_refs_ll [i] ue(v) for( j = 0; j < num_non_anchor_refs_ll[i]; j++ ) non_anchor_ref_ll [i] [j] ue(v) } }

根據一或多項具體實施例，提議一種隱含地導出關於參考圖片類型的資訊。此做法不需要額外語法，並且使用聯合多視界視訊模型（JMVM)之當前實施方案。聯合多視界視訊模型（JMVM)之當前實施方案在序列參數集（SPS)中包含高階語法，以指示出用於一視界的視界間參考。其藉由個別發送參考視界識別項來進一步區別錨點圖片與非錨點圖片之間的相依性。此呈現於表格4中，其包括哪些視界係用作為某一視界之參考的資訊。可使用此資訊來產生一參考表或其它資料結構，以指示哪些視界係用作為視界間參考及哪些視界未予以使用。另外，對於錨點圖片及非錨點圖片可個別得知此資訊。總之，藉由利 -29- 125607.doc 200843512 用序列參數集（SPS)中的參考視界資訊’可導出是否需要一圖片以用於視界間預測。在MPEG-4 AVC標準中，可使用存在於網路抽象層單元標頭中的nal 一 ref-idc，將一圖片識別為一參考圖片。在多視界視訊編碼背景中，僅使用nal一ref一idc來標示圖片疋否係用於暫時參考（即，一用於本身視界的參考）。使用來自聯合多視界視訊模型（JMVM)之當前實施方案的序列參數集之資訊及存在於網路抽象層單元標頭中的 nal-ref—idc (表格7)，有可能區別表格5中所呈現之案例。因此，使用nal 一 refjdc之值連同來自序列參數集之參考視界資訊，可應對表格5之組合。舉例而言，請重新參考圖3，請考慮以下不同案例。假設視界S0具有view一id=0、S1具有view_id=l及S2具有 view」d=2 〇對於S0 : SPS語法將具有下列值，其中"i”之值相對應於so : num一anchor—refs—I0[i] 、 num—anchor一refs—II [i] 、 num一non一anchor一refs一I0[i]、num一non_anchor一refs一Il[i]皆等於0。對於SI : 序列參數集語法將具有下列值，其中"i”之值相對應於 S1，並且j = 0 : num_anchor 一refs一10 [i] = 1、num 一 anchor 一refs—11 [i] = 1、 num一non一anchor一refs一 10[i]=l、num—non一anchor—refs一II [i]=l 0 125607.doc -30- 200843512 anchor—re〇0[i]G]=0、anchor_refJQ[i]〇]=2、non—anchor_refJK)[i]Ij]=0、 non_anchor_ref一Ill[i][j]=2 o 對於S2 : 序列參數集語法將具有下列值，其指示出此視界對於錨點圖片使用視界間參考。可將索引設定為Min，ni”之值相對應於S2，並且j = 0。 num_anchor_refs_10[i] = 1 、 num_anchor_refs_11 [i] = 0 、 num—non_anchor_refs—I0[i]=0、num—non—anchor—refs_ll[i]=0 〇 anchor一ref一I0[i][j] = 0 o 對於S3至S7，以此類推。對於所有視界，在時間T1與T3之圖片將具有nal_ref_idc 等於0。另外，在時間T0/T2/T4之圖片將具有nal_ref_idc不等於0。使用上述資訊，可看出可導出下列如表格Π所呈現之資訊。請注意，可上述方法論來分類來自所有視界的所有圖片，但是對於四種類別之每一者提供僅一項實例。表格11 暫時參考 (nal 一ref—idc) 視界間參考 (來自SPS) 圖片類型圖片 0 0 非用作為參考 S卜T1 0 1 僅視界間參考 S2、T1 不等於0 0 僅暫時參考 S卜T2 不等於0 1 暫時參考與視 S2、T4 界間參考 125607.doc -31- 200843512 因此’不需要額外訊號發送以識別需要區別以用於表格 5中之條件的圖片。一項此導出之資訊的應用係如上文所述之隱含標記處理私序。當然，本發明原理非僅限定於涉及上文所述之隱含標記處理程序的應用，並且熟悉此項技術與相關技術者將預期到對於本發明原理的此項應用與其它應用，同時維持本發明原理之精神。

L 亦可使用上述方法論來判定何時自記憶體（例如，一經解碼圖片緩衝器）移除一圖片。請注意，不需要（但可）實行標記。作為一項實例，考量圖片S2，T1，其係僅視界間參考。採用使用時間優先編碼的實施方案，依下列順序來編碼一既定時間的視界（對於此項實施方案，同等於具有相同圖片順序計數）：S〇、S2、S1、S4、S3、S6、s_7。項貝施方案使用下列演算法來從經解碼圖片緩衝器移除圖片S2，T1 : -在解碼T1中之-圖片（例如，S1，T1)之後，衫是否有來自T1之其它圖片儲存在經解碼® #緩衝H巾。此將顯露出圖片S2，T1係儲存在經解碼圖片緩衝器中。、任何此類其它圖片，則判定彼等圖片是否係僅視界間參考。此將顯露出圖片S2，T1係僅視界間參考圖片0 -對於係僅視界間參考么之母一此類圖片，考量在T1之剩餘待解碼之所有視界，判一疋彼荨視界之任一者疋否參考贫經儲存之圖片。舉例而t 5，判定任何剩餘視界是否參考 125607.doc -32 - 200843512 S2 〇可對於錨點圖片及非錨點圖片個別實行對考量所有剩餘視界的最後步驟。即，可對於錨點圖片及非錨點圖片評估不同語法。舉例而t ’ S2，T1係、-非銷點圖片，所以對於 ruim—non anchor 所有後續視界n iπ潛在地評估下列語法 refs—I0[i]、num一non—anchor—refs—n[i]、n〇n—_h〇i^f- I〇[i][j]與 n〇n-anch〇r 一 ref—Ι1Π]ϋΊ。繼81 (當前經解碼視界）之後的視界係S4、S3、S6、S5與S7。對於彼等視界的語法將顯露出S3相依於S2。因此，不移除82。但是，在解碼“ 之後，上述演算法將再次考量所儲存之S2圖片，並且將顯露出無任何剩餘視界（S6、S5與S7)參考S2。因此，在解碼 S3之後，自經解碼圖片緩衝器移除S2。這將發生於解碼 SO、S2、SI、S4與 S3之後。請參考圖4，廣泛以參考數字4〇〇來標示用於多視界視訊編碼之編碼參考圖片管理資料之示範性方法。方法400包括一開始方塊4〇2，該方塊將控制傳遞至功能方塊404。功能方塊404讀取一編碼器組態檔，並且將控制傳遞至功能方塊406。功能方塊406在序列參數集（SPS)延伸中设定錨點圖片參考與非錨點圖片參考，並且將控制傳遞至功能方塊408。功能方塊408設定mvc—coding—mode，以才曰示出時間優先編碼或視界優先編碼，並且將控制傳遞至決策方塊410。決策方塊410判定mvc—coding—mode是否專於1。若是’則將控制傳遞至功能方塊412。否則，將控制傳遞至功能方塊414。 125607.doc -33- 200843512 功能方塊412設定implicit—marking為1或〇，並且將控制傳遞至功能方塊414。功此方塊414令視界數目等於一變數N，並且將一變數ί 及一變數j兩者初始化為0，並且將控制傳遞至決策方塊 416。決策方塊416判定變數i是否小於變數N。若是，則將控制傳遞至決策方塊418。否則，將控制傳遞至決策方塊 442 〇決策方塊418判定變數j是否小於視界i中的圖片數目。若是，則將控制傳遞至功能方塊420。否則，將控制傳遞至功能方塊440。可看出，圖4之實施方案係一種視界優先編碼實施方案。圖4可經調適以提供一種實行時間優先編碼的類似處理程序。功月b方塊420開始編碼視界i中具有一既定frame num與 POC之一圖片的一當現巨集區塊，並且將控制傳遞至功能方塊422。功能方塊422選定一巨集區塊模式，並且將控制傳遞至功能方塊424。功能方塊424編碼該巨集區塊，並且將控制傳遞至決策方塊426。決策方塊426判定是否已編碼所有巨集區塊。若是，則將控制傳遞至功能方塊428。否則，控制返回至功能方塊420。功能方塊428累加變數j，並且將控制傳遞至功能方塊 430。功能方塊430累加frame—num及圖片順序計數（p〇c)，並且將控制傳遞至決策方塊432。決策方塊432判定 implicit一marking是否等於i。若是，則將控制傳遞至功能方塊434。否則，控制返回至決策方塊41 8。 125607.doc -34- 200843512 功能方塊434依據在（在此實施方案中）一高層級處指示之相依性資訊’判定是否需要一（當前評估）參考視界以作為用於未來視界的一參考。若是，則控制返回至決策方塊 418。否則，將控制傳遞至功能方塊436。功能方塊440累加變數i，重設frame_num ' p〇c及變數 j，並且控制返回至決策方塊416。功能方塊436將該參考視界圖片標記為"非供參考之用”，並且控制返回至決策方塊418。决桌方塊442判定是否在頻帶内（in_band)用訊號發送序列參數集（SPS)、圖片參數集（PPS)及視界參數集（VPS)。若是’則將控制傳遞至功能方塊444。若否，則將控制傳遞至功能方塊446。功能方塊444在頻帶内發送SPS、PPS及VPS，並且將控制傳遞至功能方塊448。功能方塊446在頻帶外（out-〇f_band)發送SPS、PPS及 vps，並且將控制傳遞至功能方塊448。功能方塊448將位元流寫入至一檔案，或透過網路串流傳輸位元流，並且將控制傳遞至結束方塊499。應明白，如果在頻帶内用訊號發送SPS、PPS及VPS，則應連同視訊資料位元流發送此類訊號發送。請參考圖5，廣泛以參考數字500來標示用於多視界視訊編碼之解碼參考圖片管理資料之示範性方法。方法500包括一開始方塊502，該方塊將控制傳遞至功能方塊504。功能方塊504自序列參數集（SPS)、圖片參數集 125607.doc -35- 200843512 (PPS)、視界參數集（VPS)、切片標頭或網路抽象層（NAL) 單元標頭來剖析view—id，並且將控制傳遞至功能方塊 506。功能方塊506自SPS、PPS、VPS、NAL單元標頭、切片標頭或補充增強資訊（SEI)訊息來剖析mvc c〇(jing mode ’以指示時間優先編碼或視界優先編碼，並且將控制傳遞至功能方塊508。功能方塊508剖析其它sps參數，並且將控制傳遞至決策方塊510。決策方塊51〇判定 mvC_C〇ding一mode是否等於1。若是，則將控制傳遞至功能方塊512。若否，則將控制傳遞至決策方塊514。功能方塊512剖析implicit—marking，並且將控制傳遞至決桌方塊514。決朿方塊514判定當前圖片是否需要解碼。右疋，則將控制傳遞至功能方塊5 2 8。否則，將控制傳遞至功能方塊546。功月b方塊528剖析切片標頭，並且將控制傳遞至功能方塊530。功能方塊530剖析巨集區塊模式、運動向量及 ref-idx，並且將控制傳遞至功能方塊532。功能方塊532解碼當前巨集區塊（MB)，並且將控制傳遞至決策方塊534。決策方塊534判定是否所有巨集區塊皆完成。若是，則將控制傳遞至功能方塊536。若否，則控制返回至功能方塊 530 〇功能方塊536在經解碼圖片緩衝器（DpB)中插入當前圖片，並且將控制傳遞至決策方塊538。決策方塊538判定 impllclt—markmg是否等於}。若是，則將控制傳遞至決策方塊54〇否則，將控制傳遞至決策方塊544。 125607.doc • 36 - 200843512 決策方塊540依據在一高層級處指示之相依性資訊，判 =否需要當前參考視界以作為用於未來視界的一參考。右疋’則將控制傳遞至決策方塊544。否則，將控制傳遞至功能方塊542。 • 決策方塊544判定是否已解碼所有圖片。若是，則將控，制傳遞至結束方塊599。否則，控制返回至功能方塊546。功能方塊546取得下一圖片，並且控制返回至決策方塊 514 ° 圖5提供一種解碼器實施方案，其可配合視界優先編碼之資料及時間優先編碼之資料一起使用。請參考圖6，廣泛以參考數字6〇〇來標示用於多視界視訊内容之判定視界間相依性之示範性方法。在一項具體實施例中’藉由一編碼器（舉例而言，諸如圖1之編碼器丨〇〇)來實踐方法6 0 0。方法600包括一開始方塊6〇2，該方塊將控制傳遞至功能 ( 方塊604。功能方塊604讀取一編碼器組態檔，並且將控制傳遞至功能方塊606。功能方塊606在序列參數集（SPS)延伸中ά又疋錨點圖片參考與非銷點圖片參考，並且將控制傳遞至功能方塊608。功能方塊6〇8依據該編碼器組態檔來設 • 定其它SPS參數，並且將控制傳遞至決策方塊610。決策方塊610判定當前（錨點及/或非錨點）圖片是否係一暫時參考。若是，則將控制傳遞至功能方塊612。若否，則將控制傳遞至功能方塊624。功此方塊612設定nal—ref—idc等於1，並且將控制傳遞至 125607.doc -37- 200843512 決策方塊614。決策方塊614依據SPS語法，判定當前視界是否係作為任何其它視界的一參考。若是，則將控制傳遞至功能方塊61 6。若否，則將控制傳遞至功能方塊626。功能方塊616將當前圖片標記為視界間參考圖片，並且將控制傳遞至決策方塊618。決策方塊618判定nal—re：Lidc 是否等於0。若是，則將控制傳遞至決策方塊620。否則，將控制傳遞至決策方塊630。 f

決策方塊620判定當前圖片是否係一視界間參考圖片。若是’則將控制傳遞至功能方塊622。否則，將控制傳遞至功能方塊628。功此方塊622將當前圖片設定為僅視界間參考圖片，並且將控制傳遞至結束方塊699。功能方塊624設定nal—ref一idc等於〇，並且將控制傳遞至決策方塊614。功能方塊626將當前圖片標記為非用於任何視界間參考圖片，並且將控制傳遞至決策方塊618。功能方塊628將當前圖片設定為非用於參考，並且將栌制傳遞至結束方塊699。決策方塊630判定當前圖片是否係一視界間參考圖片。若是，則將控制傳遞至功能方塊632。否則，將控制傳遞至功能方塊634。功能方塊632將當前圖片設定為一暫時及視界間參考圖片，並且將控制傳遞至結束方塊699。並且將控功能方塊634將當前圖片設定為僅暫時參考 125607.doc -38- 200843512 制傳遞至結束方塊699。清參考圖7’廣泛以參考數字7〇〇來標示用於多視界視訊内谷之判定視界間相依性之示範性方法。在一項具體實施例中’藉由一解碼器（舉例而言，諸如圖2之解碼器2〇〇)來實踐方法700。方法700包括一開始方塊7〇2，該方塊將控制傳遞至功能方塊704。功能方塊7〇4讀取序列參數集（SpSx讀取視界相依性結構）、圖片參數集（pps)、網路抽象層（nal)標頭及切片標頭，並且將控制傳遞至決策方塊7〇6。決策方塊7〇6 依據SPS語法，判定當前視界是否係作為任何其它視界的一參考。右是，則將控制傳遞至功能方塊7〇8。否則，將控制傳遞至功能方塊716。功能方塊708將該當前圖片標記為視界間參考圖片，並且將控制傳遞至決策方塊71〇。決策方塊71〇判定 naKidc是否等於，則將控制傳遞至決策方塊 712 °否則’將控制傳遞至決策方塊72〇。決策方塊712判定當前圖片是否係一視界間參考圖片。若是’則將控制傳遞至功能方塊714。否則，將㈣傳遞至功能方塊71 8。功能方塊714將當前圖片設定為僅視界間參考圖片，並且將控制傳遞至結束方塊799。 '' 功能方塊718將當前圖片設定為非开用於翏考，並且將控制傳遞至結束方塊799。功能方塊716將當前圖片標記為非用於視界間參考圖 125607.doc -39- 200843512 片，並且將控制傳遞至決策方塊71〇。決策方塊720判定當前圖片是否係一視界間參考圖片。若是，則將控制傳遞至功能方塊722。否則，將控制傳遞至功能方塊724。 • 功能方塊722將當前圖片設定為一暫時及視界間參考圖 • 片’並且將控制傳遞至結束方塊799。功能方塊724將當前圖片設定為僅暫時參考，並且將控制傳遞至結束方塊799。請參考圖8，廣泛以參考數字綱來標示可應用本發明原理之示範性編碼器的高階圖。編碼器800包括一高階語法產生器81〇，高階語法產生器 8 10之一輸出以訊號通訊方式連接於一視訊資料編碼器之一輸入。視訊資料編碼器82〇之一輸出可供用作為編碼器800之一輸出，用於輸出一位元流，並且選擇性地，在頻帶内連同該位元流輸出一或多個高階語法元素。高階語 ( 法產生态81〇之一輸出亦可供用作為編碼器8〇〇之一輸出，用於在頻▼外輸出關於該位元流的一或多個高階語法元素。視訊貧料編碼器之一輸入及高階語法產生器81〇之一輸入可供用作為編碼器8〇〇之輸入，用於接收輸入之視訊，資料。尚階語法產生器81〇係用於產生一或多個高階語法元素。如上文所述，在本文中，"高階語法，，意指以階層方式駐存在巨集區塊層上方之位元流中的語法。舉例而言，在本文中，鬲階語法可意指（但不限於）在切片標頭層級、補 125607.doc 200843512 充增強資訊（Supplemental Enhancement Information; SEI) 層級、圖片參數集（pps)層級、序列參數集（sps)層級及網路抽象層（NAL)單元標頭層級處的語法。視訊資料編碼器 820係用於編碼視訊資料。請參考圖9，廣泛以參考數字9〇〇來標示可應用本發明原理之示範性解碼器的高階圖。

解碼器900包括一高階語法讀取器91〇，高階語法讀取器 91〇之一輸出以訊號通訊方式連接於一視訊資料解碼器92q 之一輸入。視訊資料解碼器92〇之一輸出可供用作為解碼器900之一輸出，用於輸出圖片。視訊資料解碼器92〇之一輸入可供用作為解碼器900之一輸入，用於接收一位元流。高階語法讀取器910之一輸入可供用作為編碼器9〇〇之一輸入，用於選擇性地在頻帶外接收關於該位元流的一或多個高階語法元素。視訊資料解碼器920係用於解碼視訊資料，包括讀取高階浯法。據此，如果在該位元流中接收到頻帶内語法，則視訊資料解碼器920可完全解碼資料，包括讀取高階語法。如果發送頻帶外高階語法，則可由高階語法讀取器 9 (或由視訊資料解碼器920直接）接收此類語法。請參考圖10，圖中繪示處理程序1〇〇〇。處理程序ι〇〇〇包括存取資料（1〇1〇)及依據所存取之資料來判定相依性 (1020)。在一項特定實施方案中，所存取之資料包括來自一第一視界之一圖片、來自一第二視界之一圖片及相依性資訊。該相依性資訊描述對於來自該第一視界之該 125607.doc -41- 200843512 圖片的一或多個視界間相依性關係。舉例而言，該相依性資訊可描述：來自該第一視界之該圖片係一參考圖片以用於來自該第二視界之該圖片。在該特定實施方案中，所判定之相依性（1020)包括：對於來自該第一視界之該圖片是否係一參考圖片以用於來自該第二視界之該圖片的判定。口月參考圖11 ’圖中繪示處理程序11QQ。處理程序11〇〇包括存取資料（1110)、解碼一圖片（112〇)、儲存該經解碼圖片（1130)及移除該儲存之圖片（1140)。在一項特定實施方案中’所存取之資料（1110)包括來自一第一視界之一圖片及相依性資訊。該相依性資訊描述對於來自該第一視界之該圖片的一或多個視界間相依性關係。舉例而言，該相依性資訊可描述··來自該第一視界之該圖片不是一參考圖片以用於尚未經解碼之具有同時圖片順序計數之任何圖片。在《亥特疋實施方案中，來自該第一視界之該圖片係在操作 1120中予以解碼並且係在操作113〇中予以儲存於記憶體中。在該特定實施方案中，依據該相依性資訊，自記憶體移除所儲存之經解碼圖片（114G)。舉例而t，該相依性資 Λ可才曰不·來自該第一視界之該圖片不是一參考圖片以用 :尚未經_之具有同時圖片順序計數之任何圖片。在此清况中’不再需要來自該第一視界之該圖片作為一參考圖片並且可自該記憶體予以移除。口、月/主忍，在另一實施方案中，操作1110至1130係選用操作且不予以# k „ 。P，一項實施方案係在於實行操作 1140。替代做法為，可藉由-裝置來實行操作mo至 125607.doc 200843512 ⑴主0、’並且藉由-分開的裝置來實行操作1140。明：意’用詞"編碼器"及，，解碼器"意謂著一般結構並且非限定於任何特定功能或特 w 令倣舉例而吕’ -解碼器可接 =載达-經編碼位元流之經調變載波，並且解調變該經編碼位元流以及解碼該位元流。進一^，在若干實施方案中已引用使用高階語法以用於發迗某貧訊。但是，應明白，1 ，、匕貫％方案使用車父低階語法元’或全然實在其它機制(舉例而t，諸如發送資…乍為經編碼資料之部分），以提供相同資訊（或體）。此外’右干實施方案係描述為自記憶體”移除"圖片。用詞"移除"涵蓋具有如下效應之任何各種動作：移除、取消、刪除、解清單、解參考一圖片，或使該圖片不可用或不可存取。作為實例，可藉由解除配置相關聯於該圖片的記憶體並且將記憶體交回給作業系統或將記憶體交回給記憶體集區，來”移除”圖片。各種實施方案描述-圖片可相依於另一圖片（一參考圖片）。此類相依性可係依據"參考圖片"之若干變體之一者。舉例而言’圖片可被形成為介於該圖片與未經編碼原始參考圖片或經解碼參考圖片之間的一差異。進一步，無論該參考圖片的哪一變體係用作為用於編碼該既定圖片的基礎’解碼器可使用任何實際上可用之變體。舉例而言，二碼器可僅能夠存取一不完整解碼之參考圖片。用詞"參考圖片”意欲涵蓋許多存在之可能性。 ^ 125607.doc -43- 200843512 舉例而言’可用方法施本文描述之實施方荦"設備或軟體程式來實案”吏僅在單-形式實施方案背景中進行淪述（舉例而言，僅古僅順述為方法），但是可用其它形 :來：施所論述之特徵實施方案(舉例而言，設備或程 )。舉例而言，可用適當之硬體、軟體及_來實施設備。舉例而言，可用設備來實施方法，舉例而言，諸如處理器，其一般意指處理裝置，包括（例如）電腦、微處理器、積體電路或可程式化邏輯裝置。處理裝置亦包括通信裝置，舉例而言，諸如電腦、行動電話、冑帶型/個人數位助理（PDA”）及促進使用者之間資訊通信之其它裝置。可用各種不同設備或應用來具體化本文描述之各種處理程序與特徵之實施方案，舉例而言，尤其係相關聯於資料編碼與解碼的設備或應用。設備之實例包括視訊編碼器、視訊解碼裔、視訊編碼解碼裔、視訊轉換器、膝上型電腦、個人電腦、行動電話、PDA或其它通信裝置。應明白，設備可能係行動式並且甚至安裝在汽車中。此外，可藉由處理器所執行的指令來實施方法，並且此等指令可被儲存在處理器可讀取媒體中，舉例而言，諸如積體電路、軟體載體或其它儲存裝置，舉例而言，諸如硬碟、光碟片、隨機存取記憶體（"RAM”）或唯讀記憶體 (”ROMn)。該等指令可开》成有开j地體現於處理器可讀取媒體上的應用程式。應明白，處理器可包括具有（例如）用於執行處理程序之指令的處理器可讀取媒體。此等應用程式可被上載至包含任何適合架構的機器且由該機器予以執 125607.doc -44- 200843512 行。較佳方式為，在具有諸機存取記憶體(，，)及輸入/輸出腦平台上實施該機器。電 )"面專硬體的電令碼。太, σ亦可包括作業系統及微指 1本文描述之各種處理程序盥沾嫩杜人功此可係可由CPU執行的曰令碼之部分或應用程式 .々β 4 、又σ卩分或其任何組合。此外’各種其它周邊裝置可連接至電腦平台，諸如額外之資料儲存單元及列印單元。、熟習此項技術者應明白，實施方案亦可產生_經格式化之《，以载送可(例如)經儲存或傳輸之資訊。該資訊可包括(例如)用於實行一方法的指令，或由描述之實施方案之一者所產生的資料。此一訊號可被格式化（例如）為電磁波（舉例而言’使用頻谱之-射頻部分）或格式化為基頻帶訊號。格式為可包括(例如)編碼一資料流、產生語法、及用該經編碼資料流及該語法來調變一載波。訊號載送之資訊可係（例如）類比或數位資訊。如所已知，可透過各種不同有線鏈路或無線鏈路來傳輸訊號。應進#明白，因為在附圖中描緣的一辞組成之系統組件及方法較佳係用軟體予以實施，所以介於該等系統組件或處理程序功能方塊之間的實際連接可取決於程式化本發明原理之方法而有所不同。已知本文之講授的情況下，熟悉此項技術者將能夠預期到本發明原理之彼等與類似實施方案或組態。已描述本發明的若干實施方案。但是，應明白可進行各種修改。舉例而言，可組合、補充、修改或移除不同實施 125607.doc -45- 200843512 方案的元# u產生其它實施方案。此外，熟悉此項技術者應月白，可用其它結構及處理程序來替代所揭示之結構及處理私序，並且所得實施方案將以與所揭示之實施方案至少實質上相同方式來實行至少實f上相同功能，以達成至少實質上相同結果。具體而言，已參考附圖來說明示例具體實施例’但是應知道，本發明不是受限於這些明確的具體實施例，並且熟習相關技術者可進行各種變更和修文而不^脫離本發明原理之精神或範脅。因此，彼等及其它實施方案皆屬於此申請案之預期並且在下列請求項的範疇内。【圖式簡單說明】圖1繪示示範性編碼器的方塊圖。圖2繪示示範性解碼器的方塊圖。圖3繪示具有8個視界並且係基於MPEG-4 AVC標準之示範性視界間暫時預測結構之圖式。圖4'會不用於編碼參考圖片管理資料之示範性方法的方塊圖。圖5綠示用於解碼參考圖片管理資料之示範性方法的圖式。圖6繪示用於判定視„相依性之示範性方法的圖式。圖7、會不另一用於判定視界間相依性之示範性方法的圖式。圖8繪示示範性編碼器的高階圖。圖9繪示示範性解碼器的高階圖。 125607.doc -46- 200843512 圖ίο繪示判定相依性方法之實施方案的流程圖。〇圖11繪示移除經儲存圖片方法之實施方案的流程圖 Γ主要元件符號說明】 100 MVC編碼器 105 組合器

no L 變換器 115 曰量化器 120 熵編碼器 125 反向量化器 130 反向變換器 135 組合器 145 150 155 160 165 170 175 180 185 20〇 205 21〇 215 内預測器解區塊過濾器參考圖片儲存區（用於視界i) 參考圖片儲存區（用於其它視界）像差補償器像差估計器運動補償器運動估計器切換器 MVC解碼器熵解碼器反向量化器反向變換器 125607.doc -47- 200843512 220 225 230 235 240 245 250 255 260 800 810 820 900 910 920 組合器解區塊過濾器内預測器運動補償器參考圖片儲存區（用於視界i) 參考圖片儲存區（用於其它視界）像差補償器切換器模式模組編碼高階語法產生器視訊貧料編碼裔解碼器高階語法讀取器視訊資料解碼器

125607.doc -48-

Claims

200843512 十、申請專利範圍： 1· 一種設備（100、200、800、900)，其經組態用於：存取（1110)來自一第一視界之一圖片及相依性資訊，該相依性資訊描述對於來自該第一視界之該圖片的一或多個視界間相依性關係；解碼（1120)來自該第一視界的該圖片，以產生一經解碼圖片；儲存（1130)該經解碼圖片於記憶體中；及 (依據該相依性資訊，自記憶體移除（1140)該經解碼圖片。 2·如請求項1之設備，其中該設備包括：一編碼器，用於編碼來自該第一視界之該圖片。 3·如請求項1之設備，其中該設備包括：一解碼器，用於解碼來自該第一視界之該圖片。 4·如請求項1之設備，其中該設備包括該記憶體。 5· —種方法（1 1〇〇)，其包括： f 存取（1110)來自一第一視界之一圖片及相依性資訊，該相依性資訊描述對於來自該第一視界之該圖片的一或 • 多個視界間相依性關係； . 解碼（1120)來自該第一視界的該圖片，以產生一經解碼圖片；儲存（1130)該經解碼圖片於記憶體中；及依據該相依性資訊，自記憶體移除（1140)該經解竭圖片0 125607.doc 200843512 6. 7. 8. 9. 10. 11. 12. 13. 如請求項5夕士、、方法’其中存取包括··編碼來自該第一視界之該圖片’及袼式化該相依性資訊。如請求項5^ , 、方法’其中該移除係於由一編碼器所實行重新建構處理程序期間由該編碼器予以實行。如請求項5 > t、、t 、法’，、中存取包括：在一位元流中接收來自該第一視界之該圖片及該相依性資訊。月长員5之方法’其中移除該經解碼圖片係進一步依據來自該第一視界之該圖片非用作為一暫時參考之一判定。如請求項5之方法，其中·· "亥相依性資訊指示出來自該第一視界之該圖片係一參考圖片以用於來自一第二視界之一圖片，該方法進一步包括··判定來自該第二視界之該圖片是否已予以解碼，及移除該經解碼圖片係進一步依據來自該第二視界之該圖片已予以解碼之一判定。如請求項5之方法，進一步包括：依據一高階語法來建立該相依性資訊。如請求項5之方法，進一步包括：自一高階語法元素讀取該相依性資訊。如請求項12之方法，其中該高階語法元素對應於下列至少一者··一切片標頭層級、一序列參數集層級、一圖片參數集層級、一視界參數集層級、一網路抽象層單元標頭層級及相對應於一補充增強資訊訊息之一層級。 125607.doc 200843512 求項5之方法其中用於來自該第—視界之該圖片的该相依性資訊被包括在語法元素中，其指示出：⑴用於來自該第一視界之該圖片的錯點參考數目；⑺用於來自該第-視界之該圖片的非錨點參考數目；(3)用於來自該第-視界之該圖片的錯點參考之視界號碼；及⑷用於來自該第-視界之該圖片的非錯點參考之視界號碼。 f

如叫求項12之方法’其中該高階語法^素對應於國際標準化組織/國際電子電機委員會運動圖片專家組^第㈣進階視訊編碼標準/國際電信聯盟電信部建議之一多視界視訊編碼延伸。、月求項5之方法’進一步包括··評估該相依性資訊，以判疋依賴於來自該第一視界之該圖片#另一視界是否已予以解碼。求項16之方法，其中該另一視界對應於相同於該第一視界的一群組圖片中之一時槽。 18·如凊求項5之方法，其中該解碼步驟藉由自至少兩種編碼處理程序進行選擇來解碼來自該第-視界之該圖片。月长項5之方法，其中該解碼步驟使用一時間優先編碼處理程序來解碼來自該第—視界之該圖片。月长項5之方法，其中該解碼步驟使用一視界優先編碼$理程序來解碼來自該第一視界之該圖片。月求項5之方法，進一步包括··依據該相依性資訊來標記來自該第一視界之該圖片。月长項21之方法，進一步包括··在一解碼器處判定來 125607.doc 200843512 自該第-視界之該圖#不是-參考圖片以用於來自已被該解碼器解碼之另-視界之任何圖片，及其中該標記包括將來自該第—視界之該®片標記為不需要用作為-視界間參考。 23.如請求項22之方法’其中該移除來自該第一視界之該圖片係依據該標記。 24·如請求項21之方法，其中：該標記包括使用一隱含參考圖片標記處理程序，及該高階語法元素係用於指示出該隱含標記處理程序是否被啟用或停用。 25.如請求項24之方法，其中該高階語法元素對應於下列至少一者：一切片標頭層級、一序列參數集層級、一圖片參數集層級、一視界參數集層級、一網路抽象層單元標頭層級及相對應於一補充增強資訊訊息之一層級。 26· — 種設備（1〇0、2〇〇、8〇〇、900)，其包括：存取構件，用於存取來自一第一視界之一圖片及相依性資訊’該相依性資訊描述對於來自該第一視界之該圖片的一或多個視界間相依性關係；解碼構件’用於解碼來自該第一視界的該圖片，以產生一經解碼圖片；儲存構件，用於儲存該經解碼圖片於記憶體中；及移除構件，用於依據該相依性資訊，自記憶體移除 (1140)該經解碼圖片。 27·如請求項26之設備，進一步包括·· 125607.doc 200843512 儲存構件，用於儲存下列至少一者··來自該第一視界之該圖片、來自該第二視界之該圖片或該相依性資訊。 28· —種包含一處理器可讀取媒體之設備，該處理器可讀取媒體上健存用於實行至少下列操作之指令：存取（1110)來自一第一視界之一圖片及相依性資訊，該相依性資訊描述對於來自該第一視界之該圖片的一或多個視界間相依性關係；

解碼（1120)來自该弟一視界的該圖片’以產生_經解碼圖片；儲存（1130)該經解碼圖片於記憶體中；及依據該相依性資訊，自記憶體移除（1140)該經解竭。片。 ’ 29. —種包括依據視界間相依性資訊自記憶體移除（ii4~ 經解碼圖片之方法，該視界間相依性資訊描述對、；该圖片的一或多個視界間相依性關係。 125607.doc