TWI293228B

TWI293228B - Method and device for ordering encoded pictures

Info

Publication number: TWI293228B
Application number: TW093103840A
Authority: TW
Inventors: Miska Hannuksela
Original assignee: Nokia Corp
Priority date: 2003-02-18
Filing date: 2004-02-18
Publication date: 2008-02-01
Also published as: US8532194B2; HK1088162A1; EP1595404A1; MY136056A; TW200428879A; CN1751517A; CN101668215A; MXPA05008405A; JP5341629B2; JP2009260981A; WO2004075554A1; JP2006518127A; ZA200506149B; US20040228413A1; CN100568964C; EP1595404B1

Description

1293228 玖、發明說明：【發明所屬之技術領域】本發明係與編碼圖像排序之方法有關，本方法包括一編碼步驟用以在編碼器内形成編碼圖像’一選擇性假設解碼步驟用以將編碼器内之編碼圖像解碼，一傳送步驟用以傳送編碼圖像至解碼’以及一重編排步驟用以將編碼圖像依解碼次序編排。本發明也與系統，編碼器，解碼器，裝置，電腦程式，訊號，模組，及電腦產品有關。【先前技術】已出版之視訊編碼標準包括：ITU-TH.261，ITU-T H.263，ISO/IEC MPEG-1，ISO/IEC MPEG-2，及 ISO/IEC MPEG-4 Part 2.此些標準在本文中稱作習用視訊編碼標準。視訊通訊系統視訊通訊系統可分為交談式與非交談式系統。交談式系統包括視訊會議及視訊電話。該系統之實例包括ITU-T 建議文件H.320，H.323，及Η·324具體說明視訊會議/ 電話系統各別在ISDN，IP，及PSTN網路系統中之操作。交談式系統之特徵在於意圖減少端點至端點之延遲（從音訊/視訊接收端至遠方之音訊/視訊顯示端）以改善用戶之體驗。非交談式系統包括儲存内容之播放，例如多樣化數位光碟（DVDs)或儲存於播放裝置、數位電視、及串流 (streaming)之大容量記憶體内之視訊檔案。以下是此技術領域中最重要的一些標準之簡短檢視。 1293228 時下在數位視訊消費電器技術中具支配性之標準為 MPEG-2，其包括視訊壓縮，音訊壓縮，儲存及傳送之技術說明書。編碼視訊的儲存及傳送是基於基本資料流 (elementary stream)的概念。基本資料流是由單一來源（例如視訊）之編碼資料，以及該資訊來源之同步、確認、歸類所須之輔助性資料所組成。基本資料流被封包化成固定長度或可變長度之封包以形成一個封包化基本資料流 (Packetized Elementary Stream (PES))。每個 PES 封包括一個標頭（header)，及跟隨其後之資料流稱為有效負載 (payload)。來自不同基本資料流之PES封包合併形成一個程式流（Program Stream(PS))或傳送流（Transport Stream (TS))。PS之目的在於具可忽略傳送錯誤之應用，例如儲存並播放型態之應用。TS之目的在於對傳送錯誤敏感之應用。無論如何，TS假設網路傳送率是保證穩定的。標準化之努力正進行於ITU-T及ISO/IEC共同組成之聯合視訊組（Joint Video Team (JVT))。JVT的工作是基於較早的ITU-T之標準化計晝稱作H.26L。JVT的標準化目標是發行如同ITU-T建議文件H.264及ISO/IEC國際標準 14496-10(MPEG-4部分1〇)之標準正文。草案標準在本文中稱作JVT編碼標準，而依據此草案標準之編解碼器（codec) 稱作JVT編解碼器。編解碼器規格本身在概念上區分為視訊編碼層（video coding layer (VCL))及網路提取層（netw〇rk abstraction layer (NAL))。VCL包括編解碼器之訊號處理功能，例如轉換， 1293228 量化，動態搜尋/補償，以及迴路過濾。依照今日大部分視訊編解碼器的一般概念，基於巨集區塊（macroblock-based)之編碼器利用具動態補償（motion compensation) ，及轉換殘餘訊號編碼（coding of the residual signal)的中間圖像預測（inter picture prediction)。VCL編碼器之輸出是片段 (slices): —位元串包括整數個巨集區塊的巨集區塊資料，及片段標頭之資訊（包括片段内第一個巨集區塊的空間位址，起始量化參數，及諸如此類）。使用所謂的彈性巨集區塊排序法（Flexible Macroblock Ordering syntax)，巨集區塊在片段内是以掃瞄次序連續地排列，除非指定不同的巨集區塊配置。圖像内預測（in-picture prediction)，例如内部預測（intra prediction)及動態向量預測（motion vector prediction)，是僅用於片段内。 NAL將VCL的輸出片段封裝於網路提取層單元 (Network Abstraction Layer Units (NAL 單元或 NALUs))，其適用於封包網路傳送或使用於封包導向之多工環境。 JVT之附件B定義封裝處理步驟以傳送NALUs於位元組流導向之網路。 H.263之可選擇的參考圖像選擇模式與MPEG-4部分2 之NEWPRED編碼工具能夠於每個圖像區段（segment)，例如於H.263之每個片段，為動態補償作參考像框（frame)之選擇。此外，H.263之可選擇的加強參考圖像選擇模式與 JVT編碼標準能夠各別地為每個巨集區塊作參考像框之選 1293228 多考圖像選擇使許多時間延展性（temporal scalability) 、案成為可能。圖i表示一時間延展性方案的例如，此乃遞迴式時間延展性。此方案能以3個固定像框速率來解碼固2表示一個視訊額外編碼（video Redundancy Coding) 之方案’其中一圖像序列被分成2或更多呈交錯方式之獨立編瑪線程（threads)。箭頭在上述及所有接續之圖例中表不動恶補償之方向，且在每個像框下之數值對應於像框相關之穫得及顯示次數。參數組概念 JVT編解碼器的一個基本設計概念是產生自足式封包，使得某些機制沒有需要，例如標頭複製。達成上述之方法在於將片段之外的相關資訊從媒體流中分離。較高階層之疋資訊（meta information)應被可靠地、不同時地、且居先地由包含片段封包之RTP封包流傳送出。在應用系統中沒有適用之頻段外（out-of_band)傳送頻道之情況下，此資訊也可以頻段内（m-band)傳送。較高階層參數之結合稱為參數組。參數組之資訊包括例如圖像大小，顯示視窗，選擇的編碼模式，巨集區塊配置圖，及其他。為了旎夠改變圖像參數（例如圖像大小），而不須傳送參數組以同步更新片段封包流，編碼器與解碼器可維持一個包括一個以上之參數組的表。每一個片段標頭包括一個碼字（codeword)用以表示被使用之參數組。此機制允許參數組之傳送分離於封包流，且利用外在之方法傳送它們，例如能力資訊互換（exchange capabiHty) 1293228 其甚至不之副效應，或經由（可责 A#、、，或非可靠的）控制協定 /、、’、坐送而疋藉應用設計說明書規範。傳送次序在習用的視訊編碼標準中，除了6圖像之外，圖像之 3序與顯示次序相同。習用的B圖像區塊可被雙向預，^間軸上之兩個參考圖像，其中，於顯示次序中，一二考圖像位於4間之前且另—個參考圖像位於時間之後 a有在解碼_人序中之最近參考圖像可接續B圖像於顯示人序（例外·在H.263中的交錯編碼，其中時間參考像框之兩，圖像可於解碼次序中置於B圖像之前）。習用的B圖像不能作為時間預測之參考时，因此-個習用的B圖像可被剔除而不影響任何其他圖像之解碼。相較於較早之標準，JVT編碼標準具以下新的技術特徵：一圖像之解碼次序與顯示次序是分開的。句法單元 me一num之值表示解碼次序，及圖像次序計數表示顯示 -、B圖像内區塊的參考圖像可以位於圖像b顯示次序之前或之後因此，圖像B代表雙預測性（bi-pre(iictive)圖像而非雙向（bi-directional)圖像。 -不用作為參考圖像之圖像被明確地標示。任何一種型式之圖像（内部、中間、B等等）可為參考圖像或非參考圖像。 (如此B圖像可作為其他圖像之時間預測的參考圖像。） -圖像可包括以不同編碼型式編碼之片段。例如，一編碼 1293228 圖像可包括一内部編碼片段與B編碼片段。解碼次序與顯示次序分開從壓縮效率及錯誤復原力 (error resilience)之觀點是有好處的。一預測結構能夠改進壓縮效率之例子揭示於圖3。方格表示圖像，方格内之英文字母表示編碼型式，方格内之數字表示依據JVT編碼標準之圖像編號。注意圖像B17是圖像B18之參考圖像。壓縮效率可穫改進相較於習用之編碼，因為圖像B18之參考圖像在時間上較接近相較於且 PBBP或PBBBP編碼圖像類型之習用編碼。壓縮效率可、穫改進相較於習用之PBP編碼圖像類型，因為部分參考圖^ 是雙向預測的。 —圖4表示-個内部延遲法的例子，其可用以改進錯1 =力。習用上’内部圖像即刻編碼於—場景截止後或E 應過期内部圖像更新（讀esh)時。例如，在内部延遲法中，部圖像不即刻編餐—内部圖像編碼之須求發生時，^ 疋選擇一時間序列圖像作為内部圖像及内部圖像f用位置間之=，、個介於編碼户列圖像。如® 4,内部延遲法產^制於下個時間月鏈，块而習用…It 兩個獨立内部圖像預调雙鏈二二::=力^ -個鏈遭受封包遺失二=1防刪除之錯誤。如; 用的編碼中，-個封包遺失常造成：:=地接收。在習之其餘部份。我錯誕傳播至内部圖像鍵排序及計時之兩種資訊習用上與數位視訊結合：解碼 1293228 及顯示次序1下詳述㈣之技術。次料ί馬虛寺，襟記（deC〇ding timestamP (DTS))表示與編碼 I傳：兀二解螞之參考時鐘有關之時間。若DTS被編碼豆於山a :兩個目的··第一，若圖像之解碼次序不同於 2人則DTS明示解碼次序。第二，DTS保證一定 ^解t器（Pre、dec〇der)緩衝作用（解碼器之解碼單元之緩 /)+饭°又接收率接近於傳送率於任何時刻。在端至端之等 ^ 間（latency)改變時，上述DTS之第二個用途將少有或無作用。相反地，接收資料將儘快被解碼，若存有足夠空間於後解碼斋（P〇st_decoder)緩衝（作為解碼圖像之緩衝）予未壓縮圖像。 DTS之輸送依所使用之傳送系統及視訊編碼標準而定。在MPEG-2系統中，DTS可選擇地被傳送如同在pES封包之標頭内之項目。在JVT編碼標準中，DTS可選擇地被傳送如同補助加強資料（Supplemental Enhancement

Information (SEI))之一部分，且其被用於選擇性假設參考解碼器（Hypothetical Reference Decoder)之操作中。在 ISO 基本媒體檔案格式（ISO Base Media File Format)中’ DTS是專用於盒類形，即解碼時間對樣本盒（Decoding Time to Sample Box)。在許多系統中，例如基於RTP之流系統，DTS 不被輸送，因為解碼次序被假設與傳送次序同且正確解碼時間不扮演重要角色。 H.263選擇附件U及附件W.6.12指定一圖像號碼，其相對於解碼次序中之前的參考圖像增加1。在JVT編碼標 11 1293228 準中，句法元素frame_num (在下文中也稱作像框編號）之指定方式如同H.263之圖像編號。JVT編碼標準指定一特別的内部圖像型態，稱為瞬時解碼更新（instantaneous decoding refresh(IDR))圖像。沒有接續之圖像可以參考任何在解碼次序中早於IDR圖像之任一圖像。IDR圖像通常編碼於反應場景之改變。在JVT編碼標準，像框編號圖像重新設定為〇於一 IDR圖像，如此可於某些情況下改善錯誤復原力，假設IDR圖像遺失如圖5a及5b所示。然而，應注意到JVT編碼標準之場景SEI訊息也用於偵測場景之變換。 H.263圖像編號可用於恢復參考圖像之次序。同樣的，JVT像框編號可用於恢復解碼次序中介於一個IDR圖像（包括在内）及下一個IDR圖像（不包括在内）之間的像框解碼次序。然而，因為互補之參考場成對（field pairs)(連續圖像被編碼成具不同奇偶的場）共用相同的像框編號，其解碼次序無法由像框編號重建。非參考圖像之H.263圖像編號或JVT像框編號被指定等於解碼次序中前一個參考圖像之圖像或像框號碼加1。如果數個非參考圖像在解碼次序中是連續的，它們將使用同一個圖像或像框號碼。連續非參考圖像之解碼次序可以藉使用在H.263之時間參考（Temporal Reference (TR))編碼元素或JVT編碼標準之圖像次序計數（Picture Order Count (POC))概念得以恢復。顯示時間標記（presentation timestamp (PTS))表示當圖 12 1293228 像展現時，與參考時鐘相關之時間。顯示時間標記也稱作展現時間標記、輸出時間標記、或複合時間標記。 PTS之輸送依所使用之傳送系統及視訊編碼標準而定。在MPEG-2系統中，PTS可選擇地被傳送如同在PES封包之標頭内之項目。在JVT編碼標準中，DTS可選擇地被傳送如同補助加強資料（SEI)之一部分，且其被用於選擇性假設參考解碼器之操作中。在ISO基本媒體檔案格式中，PTS是專用於盒類形，即解碼時間對樣本盒，其中顯示時間標記編碼與對應之解碼時間標記相關。在RTP中，RTP 封包標頭之RTP時間標記相當於PTS。許多習用之視訊編碼標準具有時間參考（TR)編碼元素，此與RTP在許多方面是相似的。有些習用之視訊編碼標準，例如MPEG-2視訊，TR重新設定為0於圖像組（Group of Picture (GOP))之起始處。在JVT編碼標準中，視訊編碼層不存有時間概念。圖像次序計數（Picture Order Count (POC))指定給每個像框及場，且其之使用相似於TR，例如在B片段的直接時間預測。POC重新設定為0於IDR圖像。 RTP序列號碼在RTP標頭中通常是一 16位元無符號值，其對於每個被傳送之RTP資料封包遞增1，且可被接收器用於偵測遺失之封包並重建封包序列。多媒體流之傳送多媒體串流系統包括一串流（streaming)伺服器及數個播放器，播放器經由網路與伺服器連接。此網路是典型的封包導向及提供稍許或全無質量保證之方法。播放器從伺 13 1293228 服器擷取預存或實況多#體内纟’且即時播放於内容下載時。此種通訊類形可以是點對點（point_t〇_p〇int)或多址傳送 (multicast)。在點對點串流中，伺服器為每個播放器提供各別之，接。在多址傳送中，伺服器傳送單一資料流至數個播放益，且網路元件祇有在必要時才複製此資料流。當一播放器建構至伺服器的連接且要求一個多媒體流，伺服器開始傳送要求的f料流。播放器不立即開始播放此貪料流’而是將輸入之資料緩衝數秒鐘。此緩衝作用稱作起始緩衝。起始緩衝幫助維持無暫停播放，因為，假設 ίΐ夺發生傳送延遲或網路傳送率降低，播放器將可解碼並播放緩衝的資料。用可無止盡的傳送延遲，通常於資料流系統中不採用=性傳送協定。相反地，系統較偏向使用非可靠性傳 ^ UDP(UserDatagramPr〇t〇c〇1 , ^ 受：料二:：面具有較穩定的傳送延遲，但另-方面也遭又貝枓之損壞或遺失。必 1。RTCP協定可用於UDP之上層以控制即時通 i正確次=供_傳送封包遺失之方法、重組接收端封包傳送關：封包樣時間標記與每一個封包。RTCP 其可用於流量控被正確地接收之資訊’因此，傳送錯誤誤。主要的形式’稱為位元錯誤及封包錯錯>通常與電路轉換頻道有Μ，例如行動通訊 14 1293228 中之無線接取網路連接，錯誤之發生在於實體頻道之不良。如此之不良性造成傳送資料之位元反轉、位元插入、及位元刪除。封包錯誤通常由封包轉換網路内之元件所造成。例如，封包路由器可能阻塞，即可能於輸入得到太多封包，而無法以同等速率將其輸出。在此狀況下，其緩衝溢流，且有些封包遺失。封包重複或封包與傳送之次序不同也可能發生，但通常被認為不若封包遺失那麼平常。封包錯誤也可能由使用傳送協定堆疊（transport protocol stack) 所造成。例如某些協定使用檢驗和（checksums)，其被計算於傳送器中，且與原始碼資料一起封裝。若資料有一位元反轉之錯誤，接收器不能得到相同的檢驗和結果，則將棄擲接收到之封包。第2(2G)及第3代（3G)行動網路，包括GPRS、UMTS、及CDMA-2000，提供兩個無線電連線之基本型態：告知型與非告知型。告知型無線電連線架構之完整性是由接收端 (行動站（Mobile Station (MS))或基站次系統（Base Station Subsystem (BSS))檢查，且若有傳送錯誤，再傳送之要求發送至無線電連線之另一端。因為連線層再傳送，發送端必須緩衝無線電連線架構直至收穫正面之告知。在嚴厲的無線電狀況下，緩衝器可能溢流而導致資料流失。僅管如此，上述揭示了告知型無線電連線協定模式之好處。非告知連接則通常將錯誤的無線電連線架構丟棄。封包遺失可被改正或隱藏。改正意指恢復遺失資料完整如初之能力。隱藏意指隱藏傳送遺失之影響，使其於重 15 1293228 建之視訊次序中不被察覺。送。個封包遺失’其可要求封包之再傳於預定播放時間之^。再傳送之封包可能被接收送之要求使用卷用\ —二商業網際網路串流系統使再傳選擇性再傳送要求機制成為RTCP之二1 址傳協定的共同特徵是不適宜用於多因此，夕^ 器’因為網路交通將巨幅增加。失控/ 串流應用必須依賴非交互作用式的封包遺技衍點ί科流系統也可能受益於非交互仙式錯誤控制控制機：二ί些系統可能不包括任何非交互作用式錯誤 „寧選擇沒有來自播放器之回饋以簡化系統。二 :：：：封包再傳送及其他交互作用式錯誤控制，相較大tr式的錯誤控制，典型地佔據傳送資料速率的 /。串流伺服器必須保證交互作用式錯誤控制方法不保邊可供給網路通量的主要部分。實際要節制交互作用式錯誤控制的操作數量。第三，；：= 可能限制伺服器與播放器之間的交互作用次數，因貧料取樣之所有交互作用式錯誤控制於該資料取樣播放之前。。〜了此疋成 ❹ΐΐί作用式封包遺失控制機制可歸類為預先錯誤控制及後績處理遺失隱藏。預先錯誤控制係傳送資料使得接收器可恢復部分之傳送資料若傳 !293228 ^日守。後績處理遺失隱藏係完全地接收器導向的。該方法甙圖估計錯誤接收資料的正確表示。大4份視訊壓縮計算法產生時間預測inTEr或p圖像才:果’ 一個圖像之資料遺失造成明顯地品質降級發生於妾，圖相，接續圖像係時間預測於該不良圖像所產生。視 =通矾系統可於影像顯示時將遺失隱藏，或凍結最近改正回像至銀幕直至一像框，其獨立於不良的像框，被接收到。八於習用的視訊編碼標準中，解碼次序與輸出次序結 ^。換言之，I或P圖像之解碼次序與其輸出次序相同，而圖像之解碼次序緊跟隨B圖像之最近參考圖像之解碼次，輪，次序中。因此，基於所知之輸出次序恢復解碼次士疋可旎的。輸出次序典型地被傳送於基本視訊位元流之 :間參考（TR)攔，且也於系統多工層，例如RTp標頭中。口此於驾用的視訊編碼標準中，傳送次序不同於解碼次序之問題並不存在。、對專豕而言，編碼圖像之解碼次序可被重建基於一在視Λ位元流之像框計數器，其類似於η·263於圖像不重設為G之圖像編冑（如同於；ντ編碼標準）。然而，有兩個問題可能發生於使用上述解決方式。首先，圖化揭示一連續編號的方案。舉例而言，若職圖像137遺失（不能接收/解碼），解碼器將繼續為接續之圖像解碼，但使用錯誤之參考圖像。如此造成錯誤傳送至接續之像框直至下一個獨立於知壞像框之像框被接收並正確地解碼。在圖％之例子中’像框號碼重設為〇於IDR圖像。當IDR圖像1〇被 17 1293228 之f況，解碼器告知有—間隙位於最近解碼圖像P36 :後。解碼器則可假定有一錯誤發生，且可停二 =6 直至下-個獨立於損壞的像框被接收及解碼。…、圖像再者接σ與次序列之問題是顯見的一預先指定之編號方案’例如每個在解碼次序中 j增^接收器可使用預定之編號方案於遺失偵測。接 δ忍U -個解碼序列被插人於另—個解碼序列中之操作一個實際使用接合之例子是插入廣告於_數位電視廣播中。若接收器期待-個預先定義之編號方案，傳送器必須依據接合序列之位置及像框計數更新傳送時之像框計數號碼。同樣地，若傳送器決定不傳送某些次序列以避免阻塞於IP封包網路，例如，其須要更新傳送時之像框計數號碼依據棄擲之序列的位置及像框計數。次序列之細節概念將於後文中詳述。對專豕吕’基於NAL單元序列號碼相似於RTp序列號碼，NAL單元可重建，但指的是NAL單元解碼次序，而非傳送次序。然而’有兩個問題可能發生於使用上述解決方式：首先，某些情況，完全復原解碼次序是非必要的。例如’圖像之SEI訊息可通常以任何次序解碼。若解碼器支持任意片段（slice)次序，圖像之片段能以任何次序解碼。結果，NAL單元不依NAL單元序列號碼次序被接收，歸因於無特定封包（unintentional packet)排程差異於網路元件内，接收器可能不須等待NAL相關的遺失NAL單元序列號碼 18 1293228 ，即使後續之NAL單元序列號碼可實際上被解碼。增加之延遲可能降低使用中之視訊通訊系統之主觀質量 quality)。此外’其可能不必要地觸發遺失改正或隱藏之使用。再者，有些NAL單元，例如非參考圖像之片段及 NAL單元，可能被網路元件棄擲而不影響其他nal單元之解碼程序。次序列 JVT號碼標準也包括次序列概念，其相較於非參考圖像之使用可加強時間延展性，使得圖像之中間預測（inter prediction)連鎖可整體被棄擲而不影響其餘解碼流之解碼可行性。次序列是一組位於次序列層之解碼圖像。一個圖像存在於一個次序列層且祇在一個次序列層。一次序列層不依存於任何其他同一或更高之次序列層。一在階層〇之次序列獨立於其他之次序列及之前的長期參考圖像。圖仏揭示圖像流包含次序列於階層1。一次序列層包括一在序列中之解碼圖像次組合。次序列層是以非負值整數編號，具較大編號之層是高於較小編號之層。層之階級性基於彼此間之依存性，一階層不須依賴較咼層而可能依賴較低層。換言之，階層〇之圖像是可獨立地解碼，圖像在解碼2可能依賴階層0或1等等。次序列層概念被包括在JVT編碼標準内如下：序列參數組之參數 required—frame—num—update—behaviour—flag 19 1293228 等於1代表編碼序列可能不包括所有之次序列。使用 reqUired—frame—num—update—behavi〇ur—flag 免除每個參考相框之像框號碼加1之須求。相反地，像框號碼之間隙被特別標示於解碼圖像緩衝器。若遺失像框號碼被指出於中間預測時，即表示一圖像之遺失。否則，對應於遺失像框唬碼之像框被視為正常像框處理而插入於具滑動視窗緩衝模、、且之解碼圖像緩衝器。所有在棄擲次序列内之圖像將指定一遺失像框號碼於解碼圖像緩衝器，但不使用於其他次序列之中間預測中。 ^ JVT編碼標準也包括選擇性次序列相關之SEI訊息。 -人序列SEI訊息結合解碼次序中之下一個片段。其表示片段所^之次序列層及次序列之次序列識別號（sub—s叫—丨句。每個IDR圖像之片段標頭包括一個識別號一 id)。若兩個IDR圖像於解碼次序中連貫，而沒有任何介於中間,圖像，idr—pic—id值將從第1個IDR圖像轉換至另，若目則之圖像存在於次序列，該次序列之第1個圖像是1DR圖像，則sub—seq—id與idr—pic—id值相同。 JVT編碼標準之編碼圖像解碼圖次序通常不能基於像號馬及人序列識別號來重建。若傳送次序不同於解碼次序且解碼圖像位於次序列階層i，則其與在次序列階層0 相2圖像之解碼次序不能基於次序_職及像框號碼來夫疋例如，圖6b之編碼方案，其中輸出次序由左至右，方I表示圖像’方塊内之英文字母表示編碼類型，方塊内之號碼表示依據JVT編碼標準的像框號碼，有底線之自表 20 1293228 不非參考圖像，以及箭頭表示預測之相依關係。若圖像之傳送次序依序為10，P卜P3，1〇，P1，P2，B4，P5，此無去决疋圖像B2屬於那一個獨立圖像組（獨立G〇p)。一個獨立GOP是-圖像組，其可正確地解碼而不須任何其他圖像組之圖像。上述例子中，或許可爭議的是，B2之正確獨立可基於其輸出時間標記（timestamp)得到結果。然而，圖像解碼次序不能基於輸出時間標記或圖像號碼恢復，因此解碼次序與輸出次序是分開❺。以下的例子（圖6〇)中，其中輸出次序由左至右，方塊表示圖像，方塊内之英文字母表「、扁碼類型’方塊内之號碼表示依據ίντ編碼標準的像框唬馬，以及箭頭表不預測之相依關係。若傳送圖像不同於解瑪夂序’則於輸出次序時，無法可靠㈣圖像應被解碼於第i個獨立GOP或第2個獨立⑽㈣之後。主要及額外圓像主要編碼圖像疋圖像之主要編碼表示。解碼之主要編碼 :像涵蓋整個圖像範圍，亦即，包括圖像之所有片段及巨木區塊（macroblocks)。額外編碼圖像是圖像或部份圖像之，外編碼表示’其不用於解碼除非主要編碼圖像遺失或損 f。額外編碼圖像不須要包括所有主要編碼圖像内之巨集區塊。、緩衝作用〜用戶八型地具有一個接收器緩衝，其能夠儲存相當大之貧料。最初’當一個串流區段成立時，用戶不須立即 21 1293228 開始播放資料流，而是通作用幫助維持連續播放，因為，如果：:二數秒鐘。緩衝或網路速率下降，用戶可 2時增加的傳送延遲沒有起始緩衝作肖，/ 緩衝的資料。否則，待資料到ΐΙΓ μ結顯示’停止解碼，及等行貝抖到達。緩衝作用對於任夂# 再傳送也是須要的。若圖像之任何―二;：失動二】擇性。非多考圖像，如習用的B圖像，是主觀。主觀八“因為缺乏它們並不影響任何其他圖像之解碼觀刀j也可基於資料分區或片段組。主觀最重要的編觀曰又及貧料分區可傳送早於既定之解碼次序。然而，主 ★取不重要的編碼片段及資料分區可傳送晚於既定之解碼序口此，相較於最不重要之片段及資料分區，最重要的編碼片段及資料分區的任何再傳送部分通常被接受早於所擬定的解碼或播放時間。【發明内容】本發明能將視訊資料由傳送次序重新排列至解碼次序於視汛傳送方案中，其中傳送資料不依循解碼次序是有利。本^明中’解碼次序之頻道内（in_ban(J)訊號是由傳送态傳送至接收器。該訊號可以是任何訊號（例如JVT編碼標準之相框號碼）之互補或替代，其位於用以恢復解碼次序之視訊位元流内。 22 1293228 jvt編碼料之像框號碼的互補訊絲示如下。獨立 G〇P包括由—IDR圖像(包括在内）至下一職圖像（不包括 :内)於解碼次序中之圖像。位元流之每一個靴單元包含或結合一個視訊序列辨識碼（ID)，其對於一獨立内之所有NAL單元保持不變。獨立GOP之視訊序列辨識碼應於解碼次序中以任意號碼;^同於前—個獨立GC)p之視訊序觸識碼，或增加號碼相杈於前一個獨立G0P之視訊序列辨識碼（以模數法 (modulo arithmetic))。前一個情況，獨立G〇Ps之解碼次序決定於其接收次序。例如，獨立G〇p内具最小RTp序列號碼之IDR圖像最先解碼。後一個情況，獨立G〇p以視訊序° 列辨識碼之上升次序解碼。以下揭示本發明藉使用基於編解碼器之系統，但明顯也本^明也可施用於視訊訊號儲存系統。儲存之視訊訊唬可為編碼前之未編碼訊號、編碼後之編碼訊號、或者是經編碼及解碼過程後之解碼訊號。例如，編碼器所產生以解碼次序之位元流。檔案系統接收影訊及/或視訊位元流，其被封裝，例如，以解碼次序儲存於檔案中。此外，編碼器及檔案係統可產生元資料（metadata)，其告知圖像及 NAL單元之主觀重要性及包括次序列之資訊。檔案可儲存於資料庫，從該處一直接播放伺服器可讀取NAL單元並封裝其於RTP封包。依據選擇性元資料及使用中之資料連接 ’直接播放伺服器可修改封包之傳送次序不同於解碼次序、決定傳送何種SEI訊息，等等。在接收端，RTP封包被接 23 1293228 收與緩衝。通常，NAL單元首先重新排列成正確次序，然後傳送至解碼器。依據 H.264 標準 VAL NAL，NAL 單元具有 nal_unit_type 等於1至5。NAL單元類型1至5定義如下： 1 非IDR圖像之編碼片段 2 編碼片段資料分區a 3 編碼片段資料分區b 4 編碼片段資料分區c 5 IDR圖像之編碼片段依據本發明之可取實施例，在視訊位元流之任何解碼資訊之替代訊號揭示於下。解碼次序號碼（Dec〇ding〇rder Number (DON))表示NAL單元之解碼次序，即NAL單元至解碼器之傳送次序。以下，D0N假定為16位元而不失一般性。假設一個NAL單元之DON為D1，另一個NAL單

元之 DON 為 D2。若 Dl< D2 及 D2-Dl<32768，或若 D1>D2 及Dl-D2>=32768，則在NAL單元傳送次序中，具DON 等於D1之NAL單元領先DON等於D2之NAL單元。若 D1<D2 及 D2-Dl>=32768，或若 D1>D2 及 Dl—D2 < 32768，則在NAL單元傳送次序中，具d〇n等於D2之NAL單元領先DON等於D1之NAL單元。聯合不同主要編碼圖像之 NAL單元不具相同的〇01^值。聯合相同主要編碼圖像之 NAL單元可能具相同的D〇N值。若所有主要編碼圖像具相同的DON值，則額外編碼圖像之NAL單元聯合主要編碼圖像可具一個不同於主要編碼圖、像NAL單元的D〇N值 24 1293228 。具相同DON值之NAL單元的NAL單元傳送次序可舉例如下： 1 ·圖像界定符（delimiter)NAL單元 2. 序列參數組NAL單元 3. 圖像參數組NAL單元 4. SELNAL 單元 5. 主要編碼圖像之編碼片段及片段資料分區NAL單元 6. 額外編碼圖像之編碼片段及片段資料分區NAL單元 7. 檔案資料NAL單元 8. 序列NAL單元之終端 9. 資料流NAL單元之終端本發明之第1個特點是提供一種方法，其主要特徵是於編碼步驟中給編碼圖像指定一個視訊序列辨識碼，使其與圖像辨識碼分開。本發明之第2個特點是提供一編碼器用於圖像編碼及編碼圖像排序，其包括一個編排器（arranger)用以形成至少一組編碼圖像，及指定該組圖像之辨識碼；此編碼器還包括一個定義器（deHner)為編碼圖像將視訊序列辨識碼與圖像編碼器分開界定，同一組圖像之每個圖像具相同之視訊序列辨識碼。本發明之第3個特點是提供一編碼器用於將編碼圖像碼器以形成解碼圖像，其包括一個整理器用以將編碼圖像整理為解碼次序；解碼器還包括一處理器（processor)，藉使用視訊序列辨識碼以決定那些圖像是屬於同一個圖像組。 25 1293228 本發明之第4個特點县媳械執行步驟用以執行編 ”軟體程式，其包括-機編碼步驟以形成圖像排序之方法，該方法包括— 心成、、扁竭圖像於編碼器圖像，該圖像組之每個圖像賦m-組於傳送上述之編碼圖像至辨識碼，一傳达步驟用碼圖像整理為解石m 重新整理步驟將編訊序列辨識碼】::傻:編碼步驟中，編瑪圖像賦予視 /、與圖像編碼是分開的。本^明之第5個特點是提供至少有i像組是由㈣心μ 括柄®像之心虎，一個, μ、扁馬圖像所組構成，圖像組中的每個圖像賦予一個圖像、 j母訊號中之圖像，同—圖：：：二有一視訊序列辨識碼賦予辨識碼。 π圖像組之母個圖像視皆有相同訊序列本發明之第6個特點是提供排序，該編像包含第1 方法用於編碼圖像之傳送單元基於第二乂與第2編碼圖像，至少-個第1 土π第1編碼圖像形成，至少一個基於第2編碼圖像形成 L早凡識別碼，及第2僂详… 早几賦予一個第1 她二ί 70賦予一個第2識別碼11與第2 =在第1與第2傳送單元内資訊的解碼次序。排序二=固r㈣供一個裝置用於編碼圖像之一個敫理-田 U 1與第2編碼圖像；此裝置包括正益用於形成至少一個第"專送單元基於第 =括至少一個第2傳送單元基於第2編碼圖像；此裝置及二？義器將第1傳送單元賦予一個第1識別碼，傳运早元賦予一個第2識別碼，第1與第2識別碼 1293228 各別表示在第！與第2傳送單本發明之第8個特點⑽碼一人序。 >5維I石民FI /金7- ” ’、個編石馬器用於圖像端石民 ==該編碼圖像包括第1與第2編碼圖ί :編包括一個整理器用於形成至少 Ί 土於弟1編碼圖像，至少一個第2傳：：几圖像；此裝置還包括一個定義器將編碼第1識別碼，及第2傳送單 ^早70賦予-個盥筮^早兀賦予一個第2識別碼，第】 /、弟2識別碼各別表示在第碼次序。得迗早兀内貧訊的解本發明之第9個特點是提供一個解碼以形成解碼圖像，該編碼圖像包括第 :傳送於至少-基於第!編碼圖像形成之第圖像形成之第2傳送單元；此㈣一、次；*理器用於決定具有第1識別碼之第1傳送單 :二3:及具有第2識別碼之第2傳送單元内之資訊本么月之第10個特點是提供一個系統包括一編碼器用於圖像編碼及編碼圖像排序，該編碼圖像包括第1與第 2編碼圖I’該編碼器包括-個整理器用於形成至少-個基於第1編碼圖像之帛1傳送單元，至少一個基於第2編焉圖像之第2傳送單元，及包括一個解碼器；此系統還包括一個定義器於編碼器中，其用於將第丨傳送單元赋予一個第1識別碼’及第2傳送單元賦予-個第2識別碼，第1 與第2識別碼各別表示在第丨與第2傳送單元内資訊的解 27 !293228 ::士，此系統還包括一個處理器用於石馬之第1僂接I W 〜1識別、内之資訊，及具有第2識別碼之第2值适早凡内之資訊的解竭次序。 5之弟2傳哭勃之第U個特點是提供—個電腦程式，复包括機口口執仃步驟用於施行庶匕括機；括第！與第2編石⑽^碼圖像排序之方法’該編石馬圖像包編碼圖像之第"專：ί元以形成至！一個基於第1 第2傳送單元.此金兀夕個基於第2編碼圖像之將第t元3腦程式還包括機器執行步驟用於用於予-個第二：及第2傳送單- 第2傳送單元内資訊的::::識別碼各別表示在第1與儲存ΐ:::弟,12個特點是提供-個電腦程式產品用於像排序之二，括機11執行步驟用於施行編碼圖及用於二第1舆第2编，以至少-個其μ 第編碼圖像之第1傳送單元， ..^ 土弟2編碼圖像之第2傳送單元；此電腦浐六、於用於將第1傳送單元賦予::ί 2識別碼各別表4=賦予-個第2識別碼，第1與第序。 /、弟2傳送早疋内資訊的解碼次 -個其於第13個特點是提供-種訊號用於形成至少第Γ像之第1傳送單元，及至少-個基於所定義之心碼:;；;:訊號還包括為1傳送單為弟2傳迭單元所定義之第2識 28 1293228 別碼’第1與第2識別碼各別表示在第j與第2傳送内資訊的解碼次序。、疋柄明之第U個特點是提供—個模組，其將用之編碼圖像排序，該編碼圖像包含第i與第2編碼此模組包括一個編排器用於形成至少一個第"專其 :第二圖=至少一個第2傳送單元基於第2編心匕衣置退包括一個定義器將第1傳送單元賦予-個第 ;識別碼，及第2傳送單元賦予一個第2識別碼，第 ^別碼各別表示在第1與第2傳送單元内資訊的解碼次第本發明之第15個特點是提供—健組，其將用於解碼之編碼圖像重新排序，兮短卜 ^ N Μ、扁碼圖像包括弟丨與第2編碼圖專达； -基於第i編碼圖像形成之第i傳送單元，基:Γ广馬圖像形成之第2傳送單元；此解碼器還包括一個處理器用於、、i〜曰+ Μ 一 ^ 、决疋具有苐1識別碼之第1傳送單 ::::::及具有第2識別碼之第2傳送單元内― 較於性。定，即使竿此視訊：序能夠更可靠地決【實施方式Γ 之封包並無提供給解碼器。碼器二t考二7。:1器1，圖9之選擇性假設參考解被編碼之圖像是例如^解f112將本發明做更詳細說明。例如視汛流圖像，其來自於視訊源3，例 29 I293228 如攝像機，視訊錄影機，等等。視訊流圖像（像框）可分為較小之部分，例如片段。片段可在再分為區塊。在編碼器 1中’視訊流藉編碼以減少傳送至頻道4或至儲存媒體（未圖示於此）之資訊。視訊流圖像傳送至編碼器丨。編碼器有 -編碼緩衝器Μ(圖9)作為部分將要編碼圖像之暫時健存 /編碼器1還包括-個記憶體13及處理器12可應用於編碼作業。§己k體1 · 3及處理器j. 2可共用於傳送裝置6，或傳送裝置6可有另外之處理器及/或記憶體（未圖示於此）用於傳送裝置6之其他魏。編碼器丨執行動態估計及或-些其他作業以壓縮視訊流。在動態估計中，圖像之間，似處被編碼（目前圖像）且搜尋之前及/或之後之圖像德若^目似處’被比較之圖像或其—部分可作為被編碼圖 :考圖像。在ίντ中，圖像之顯示次序與編碼次序無哭5 '、中參考圖像必須儲存於緩衝器（例如於編碼緩衝 :.1)’祇要其作為參考圖像。編碼器】也將圖像之顯示二：入傳廷流中。實際上’或計時資訊SEI訊息亦或JVT /《之時間標記（例如RTP時間標記）可被焓使用。時。$扁碼過程中，已編碼圖像被移至編碼緩衝器5·2於必要碼哭編2^圖像由編碼器1經傳送頻道4傳至解碼器2。在解對=，編碼圖像被解碼以形成非壓縮圖像，並盡可能说=至為碼圖像。每一個解碼圖像被緩衝於解碼器2之解衝器（则)21中，除非其於解碼後，立即顯示或作用盘f參考圖像。依據本發明之系統’參考圖像之緩衝 …顯示圖像之緩衝作毅合併的且使用Θ-個解碼圖 30 1293228 像緩衝器2.1。如此消除了儲存相同圖像於兩個不同地方之需要，因此減少解碼器2之記憶體之需求量。解碼器2也包括一記憶體2.3及處理器2.2可應用於解碼作業。記憶體2. 3及處理器2. 2可共用於傳送裝置8，或傳送裝置8可有另外之處理器及/或記憶體（未圖示於此）用於傳送裝置8之其他功能。 RTP封包之有效負載格式有數種依須要而定之不同有效負載結構。然而，接收之RTP封包内為何種結構可明顯地由有效負載之第1位元組決定。該位元組總是組構為 NAL單元之標頭。NAL單元之型式欄表示何種結構呈現。可能之結構型式有··單一 NAL單元封包（Single NAL Unit Packet)，匯集封包（Aggregation Packet)，及分段單元 (Fragmentation Unit)。單一 NAL單元封包祇包括一單獨 NAL單元於有效負載。NAL標頭型式欄等於原始NAL單元型式，亦即，型式號碼從1至23。匯集封包型式用於匯集多數個NAL單元至單獨RTP有效負載。該封包存有4 種版本，單時匯集封包形式A(STAP-A)，單時匯集封包形式B(STAP-B)，多時匯集封包（MTAP)具16位元移位 (MTAP16)，以及多時匯集封包（MTAP)具24位元移位 (MTAP24)。NAL單元型式號碼指定於STAP-A，STAP-B， MTAP16，及MTAP24各別為24，25，26及27。分段單元用於將單一 NAL單元分割至數個RTP封包中。其存在兩個版本，所具之NAL單元型式號碼為28及29。 RTP封包傳送有3種封包化模式： 31 1293228 -單一 NAL單元模式， -非交錯模式， -交錯模式。單一 NAL單元模式之目的是使用於遵從ITU-T建議文件H.241之交談式系統。非交錯模式之目的是使用於可能不遵從ITU-T建議文件H.241之交談式系統。非交錯模式 NAL單元是以NAL單元解碼次序傳送。交錯模式之目的是使用於勿須非常低端至端延遲之系統。交錯模式NAL單元是允許不以NAL單元解碼次序傳送。使用之封包化模式可藉選擇式封包化模式MIME參數值或藉外部裝置以訊號表示。封包化模式控制何種NAL 單元型式可用於RTP有效負載中。在交錯封包化模式中，NAL單元之傳送次序可允許不同於NAL單元之解碼次序。解碼次序號碼（Decoding order number (DON))是一有效負載結構之攔位或一衍生變數表示NAL單元解碼次序。傳送與解碼次序之結合受控制於選擇性交錯程度 (interleaving depth) MIEM參數如下。當選擇性交錯程度參數等於0，且NAL單元之傳送不依解碼次序是被允許的，則NAL單元傳送次序遵從NAL單元解碼次序。當選擇性交錯程度參數大於0，或NAL單元之傳送不依解碼次序是被允許的，則 -多時匯集封包16 (MTAP16)，及多時匯集封包24 (MTAP24)内之NAL單元次序不須為NAL單元解碼次序。 32 I293228 、由解封裝單時匯集封包形式B(STAP-B)，MTAPS，及分段單元B(FU-B)於兩個連續封包構成之NAL單元次序不須為NAL單元解碼次序。單一 NAL單元封包，STAP-A，及FU-A之RTP有效負栽結不包括DON。STAP-B與FU-B之結構包括d〇N，且 MTAPS之結構使d〇N之衍生成為可能。若傳送器要封裝每一封包一 NAL單元，且不依解碼次序傳送時，可使用STAP-B封包。單一 NAL單元封包模式内，NAL·單元傳送次序與Nai^ 單元解碼次序相同。非交錯封裝模式中，單一 NAL單元封包，STAP_As，及FU-As之，NAL·單元傳送次序與NAl單兀解螞次序相同。STAP内之NAL單元顯示NA]L單元解碼次序。由於H.264允許解碼次序不同於顯示次序，rtp時間 ^ °己值可能不是如同RTP序列號碼之單調非遞減運作方式。於傳送次序中之第一個NAL單元的DON值可設定為任何值。D0N值之範圍是含括0至65535。當到達最大值時， DON值回歸至〇。包含於任何STAP-B，MTAP，或以FU_B為首之片段單元系列内之兩個NAL單元解碼次序決定如下。假設一個 NAL單元之D〇N值等於〇 1，另一個nal單元之DON值 4於D2。若d 1等於D2，則兩個NAL單元之解碼次序f 為任意。若 D1<D2,且 D2-D1<32768，或若 Di>D2 且 D1-D2 33 1293228 >= 32768，貝丨J在NAL單元解碼次序中，具D1之NAL單元優先於具D2之NAL單元。若D1<D2,且D2-D1 >= 32768，或若D1>D2且D1-D2 < 32768，則在NAL單元解碼次序中，具D2之NAL單元優先於具D1之NAL單元。DON相關之欄位值如同上述決定於DON之解碼次序是遵從NAL 單元解碼次序。若在NAL單元流之兩個連續NAL單元之次序對調，而新的次序仍符合NAL單元解碼次序，則NAL 單元可具相同的DON值。例如，當任意片段次序被允許於使用中的視訊編碼型式（coding profile) ’編碼圖像之編碼片段NAL單元可具相同之DON值。因此，NAL單元具相同之DON值可以任何次序解碼，而兩個具不同DON值之NAL 單元應依上述之次序傳送至解碼器。當兩個連續NAL單元在解碼次序中具不同之DON值，第2個NAL單元之DON 值應等於第1個NAL單元之DON值加1。接收器不應預期在NAL單元解碼次序中之兩個連續NAL單元之DON值之絕對差值等於1，即使是無錯誤傳送時。遞增1是不須要的，因為當DON值與NAL單元結合時，是否所有之NAL 單元皆傳送至接收器是未知的。例如，當網路缺乏封包傳遞所須之位元率時，一閘道器（gateway)可能不傳遞非參考圖像之編碼片段NAL單元或SEI NAL單元。另一個例子，現場廣播常常被預先編碼内容所中斷，例如廣告。預先編碼片段之第一個内部圖像預先被傳送以確保備妥於接收器。當傳送第一個内部圖像時，發源器不確定有多少NAL 單元將被解碼於隨後之預先編碼片段之第一個内部圖像之 34 1293228 刖。因此，預先編碼片段之内部圖像的nal

值必須估計於傳送時，且D0N值〇N 編碼很 < 間可能有間隔發生。以下將詳述編解瑪過程。視訊源3之圖像進入編

，且儲存於預先編碼緩衝器hl。當第 …W 器後，編碼過程不須立即開始，而二==編瑪疋寻疋數®之圖僮於 =緩衝HU’然後編碼器W圖尋找適宜圖像作為參考。編碼Is 1然後執行編碼以形成編碼圖像。編碼 :以為預測圖像(P)，雙預_彳_，及/或内部編碼圖像。内部編關像可被解碼，而残❹其他圖像，但盆，圖像型式至少須要—個參考圖像於解碼前。上述任何圖像型式皆可作為參考圖像使用。編碼器賦予圖像兩個時間標記：解碼時間標記（Dts)，及輸出時間標記（〇TS)。解碼器可利用日寺間標記決定正確解馬夺間及圖像之輸出（顯示）時間。然而，這些時間標記 ’又有須要傳送至解碼器，或解碼器不須使用它們。編碼器還形成次序列於最低階層〇之上的一或更多階層。階層0之次序列是可獨立解碼的，但是其他較高階層之圖像必須依賴某些較低階層。圖6a有兩個階層··階層〇與階層1。圖像1〇，？6及P12屬於階層〇，其他圖像ρι_ρ5， P7 p 11屬於階層1。編碼器形成圖像組（G〇p)，使得G〇p 内之每一個圖像可僅利用同一個G〇P内之圖像來重建。換曰之’一個GOP包括至少一個獨立可解的圖像，而該圖像疋所有其他圖像之參考圖像，或參考圖像鏈之第一個參考 35 1293228 圖像。於圖7之例子中，有兩個獨立之圖像組。第1個獨立圖像組包括圖像I〇(〇)，Pl(〇)，P3(0) on於階層0，及圖像 B2(0)，2xB3(0)，B4(0)，2xB5(0)，B6(0)，P5(0)，P6(0) 於階層1。第2個獨立圖像組包括圖像10(1)，及Pl(l)於階層0,及圖像2xB3(l)和B2(l)於階層1。每個獨立圖像組之階層1的圖像又再組成次序列。第1獨立圖像組之第1 次序列包括圖像B3(0)，B2(0)，B3(0)，第2次序列包括圖像B5(0)，B4(0)，B5(0)，及第3次序列包括圖像B6(0)， P5(0)，P6(0)。第2獨立圖像組之第1次序列包括圖像B3(l)， B2(l)，B3(l)。括弧内之數字表示獨立圖像組之視訊序列辨識碼。視訊序列辨識碼傳給每一個圖像。其可傳送於視訊位元流中，例如於補助加強資訊（Supplemental Enhancement Information)資料内。視訊序列辨識碼也可傳送於傳送協定的標頭欄内，例如於JVT編碼標準之RTP有效負載標頭内。獨立GOP區隔之視訊序列辨識碼可被儲存於視訊檔案形式之資料庫，例如MPEG-4 AVC檔案格式。另一個在視訊流中，對訊號解碼次序有利之方法簡要揭示於下。編碼器初始設定一解碼次序號碼（DON)為一適當起始值，例如0。假設於此是一個具回歸至起始值（Wrap around)之增加編號方案，其有一確定之最大值，例如，若解碼次序號碼是16位元無符號整數，則最大值是65535。編碼器於每個主要編碼圖像形成一或多個NAL單元。編石馬器對同一個圖像之每個NAL單元賦予相同之號石馬，且若額外編碼圖像（較高階層之次序列）存在，編碼器可指定不同 36 1293228 之DON給額外編碼圖像之NAL單元。當一編碼圖像與其可能之額外編碼圖像被編碼後，編碼器依編碼次序開始處理下一個主要編碼圖像。若解碼次序號碼小於最大值，編碼器遞增解碼次序號碼通常以1。若解碼次序號碼為最大值’編碼器設定解碼次序號碼為最小值，通常為0。之後，編碼器由主要編碼圖像形成NAL單元，並指定其目前之解碼次序號碼。此操作持續進行直至所有主要編碼圖像及額外編碼圖像皆處理完畢。傳送裝置可以開始傳送NAL單元於所有圖像皆被處理之前。

若編碼器察覺遠端之解碼器不能以任意次序（亦即，不依光柵掃瞄（raster scan)次序）處理接收到之片段，解碼器應指定一上升之DON值給每個在光柵掃瞄次序之主要編碼，像之每個片段。亦即，若片段被傳送於單一 NAL單元，母個連續之NAL單元有一個不同之〇〇]^值。若片段以資料分區單it被傳送，片段之每個資料分割單元可共用相同 don值對於—額外編碼圖像之—個#段，編碼器指定個DON值’该值大於主要編碼圖像内相應之片段的D〇N 在接收器中，解碼次序號碼可用於決定編碼圖像之正確解碼次序。力口1豕之正圖⑴與11b揭示NAL封包型式使用於本發明之例子二封包包括-個標頭U，及一個有效負載12。標頭 =個錯誤標示欄U.1(F，不准許的），—優先順序搁Μ，型式欄11.3。錯誤標示攔U1表示一無位元錯誤之· 37 1293228 單元。當錯誤表示欄被設定時，解碼器被告知位元錯誤可能發生於有效負載或NALU型式8位元組（octet)。解碼器將無法處理之位元錯誤封包棄擲。優先順序攔η·2表示在封包之有效負載12之圖像之重要性。在一實施例中，優先順序攔可有不同之值如下。〇〇值表示NALU内容無用於重建苓考圖像（其可用於未來參考），則如此之NALUs可被棄擲而不危及參考圖像之完整性。值高於00表示NALU之^ 碼須要維持參考圖像之完整性。此外，值高於00表示相對 4先；丨員序，g其決定於編碼器時。有智慧的網路元件可利用該資訊以保護較重要之NALUs多於較不重要之 NALUs ° 11表不最高優先順序，之後是10，然後是01，及最後是00。之有效負載12包括至少—個視訊序列辨識碼梢 .’指標12.2，資料數量攔12 3， =====識碼攔12. _ i h 2.2用於表示圖像是示說U屬於」編瑪。第1個場指標等於1表之第2像框，或一編碼場優先於同一像相 ,弟2編碼場於料切中篆祀 NALU屬於—編 Π專於〇表不竭次序中。計時資訊攔;==之第1編碼場於解要時。爛12·4用於轉換時間相關之資訊於必 NAL單元可用不同種類封包遞送。在本實施例中，不同 38 1293228 種類封包包括簡單封包與匯集封包。匯集封包可再分成單時匯集封包與多時匯集封包。依據本發明，簡單封包含一個NALU。於RTP中，由解封裝簡單封包組成NAL單元流序列號碼應符合NAL單價傳遞次序。匯集封包是本有效負載說明書之封包匯集方案。該方案是反應極大不同的MTU大小於兩種不同型式之網路一有線IP網路（MTU大小通常受限於Ethernet MTU大小一約 1500位元組（byte))，及基於適用傳送單元大小254位元組或更少之無線網路的IP或非IP(例如H.324/M)。為避免兩個不同型式彼此間之轉碼（transcoding)，及避免不須要之封包化附加負載（overhead)，因此引用封包匯集方案。單時匯集封包（STAP)匯集具相同NALU時間 (NALU-time)之NALUs。相對地，多時匯集封包（MTAP)匯集具可能不同NAUL時間之NALUs。兩種不同MTAPs定義於NALUs時間標記移位長度之不同。NALU時間之定義是RTP時間標記得到之值，若NALU傳送於自身之RTP封包。依據本發明有效實施例，MTAPs及STAP使用以下之無設限封包化規則。RTP時間標記必須設定至所有被匯集 NALUs之NALU時間中之最小值。NALU型式8位元組之型式欄必須設定一個適當值如表1所示。錯誤標示欄11.1 必須清除，當所有匯集NALUs之錯誤標示欄皆為〇時，否則必須設定。 39 1293228 表1 型式封包時間標記移位長度(以位元計） 0x18 STAP 0 0x19 MTAP16 16 0x20 MTAP24 24 匯集封包之NALU之有效負載包括1或多個匯集單元。一匯集封包能夠儘可能攜帶所須之匯集單元，但是，在匯集封包内之資料總數必須能放入IP封包内，且規格大小之選擇應使IP封包小於MTU。單時匯集封包（STAP)應被使用於當匯集NALUs具相同的NALU時間。STAP之NALU有效負載包括一個視訊序列辨識碼欄12.1(例如7位元），及場（field)指標12.2跟隨著單圖像匯集單元（Single-Picture Aggregation Units (SPAU ))。單時匯集封包型式B(STAP-B)還包括DON。依據說明書，視訊序列可以是NALU流之任一部分，其可被獨立解碼於其他部分之NALU流。一個像框包括兩個可被視為分開圖像予以編碼之兩個場（field)。第1個場指標等於1表示NALU屬於一個編碼像框，或一編碼場優先於同一像框之第2編碼場於解碼次序中。第1個場指標等於0表示NALU屬於一編碼場，其延續同一像框之第1編碼場於解碼次序中。單圖像匯集單元包括，例如16位元，無符號資訊表示隨後之NALU大小以位元組計（排除此兩個8位元組，但包 40 1293228 括NALU之NALU型式8位元組），及隨後之NALU自身並包含NALU型式位元組。多時匯集封包（MTAP)與STAP之結構類似。其包括 NALU標頭位元組，及一或多數個多圖像匯集單元。不同 MTAP之間的選擇是由應用而定一時間標記移位越大， MTAP之彈性越大，但附加負載也越大。兩種不同多時匯集單元定義於說明書中。兩者皆包括，例如無符號16位元，NALU之資料數量資訊（與STAP之資料數量資訊相同）。除上述16位元外，尚有視訊序列辨識碼欄12.1(例如7位元），場（field)指標12_2，及NALU計時資訊η位元，其中η可例如為16或24。計時資訊欄必須設定，使得在MTAP中，每個NALU之RTP封包的RTP計時標記（NALU計時）可藉由MTAP的RTP計時標記之增加額外計時資訊而產生。

另一個選擇性實施例中，多時匯集封包（MTAP)包括 NALU標頭位元組，解碼次序基數（decoding order number base (DONB))爛位12· 1 (例如16位元），及一或多數個多圖像匯集單元。兩種不同之多圖像匯集單元定義如下。兩者皆包括，例如無符號16位元，NALU之資料數量資訊（與 STAP之資料數量資訊相同）。除上述16位元外，尚有解碼次序號碼增值（decoding order number delta (DOND))欄位 12.5(例如7位元），及NALU計時資訊n位元，其中n可例如為16或24。隨後之NALU的DON等於DONB + DOND。計時資訊欄必須設定，使得在MTAP中，每個NALU之RTP 41 1293228 封包的RTP料標記（NALU計時）可藉自μ·的灯時標記之增加額外計時資訊而產生。d〇nb η

之ΝΑ[單元中最小之DON值。 P 傳送汉擇的虛擬解碼）之傳送及/或儲存 m第1個編碼圖像備妥時。此圖像不須是於解碼次序中之m因為解碼次序與輸出次序可不相同的。德叮、2見訊流之第1個圖像編碼後，傳送可開始。編碼圖像可l擇性地儲存於編碼圖像緩衝12。傳送也可開始於後例如，於一特定視訊流部分被編碼後。解碼器2也應該以正確次序輸出解碼圖像，例 ^像次序計數’因此，重賴序過程須定義清楚及合乎標解封包以下是一非限制。依所述之相關解封包過程依實施方式而定。因此，性的有效實施例。其他方案也一樣可採用之方法達到最大效益是極可能的。單元傳送次序重新解封包規則之基本概念是將NAL 排序至NAL單元遞交次序。解碼 =下’將揭轉收ϋ8之運作方式。接收集所有屬於一個圖像之封包，將其歸入一個合理之次序。次序 ^正確性決定於使用之型式__)。接收封包可儲存於接收緩衝器9.1(解碼前緩㈣）。接收器8棄擲任何I關者， 42 1293228 而將其餘傳遞至解碼器2。匯集封包之處理方式是卸下有效負載至攜帶NALUs之單獨RTP封包。該nALUs若為各別之RTP封包接收，其將依在匯集封包之安排次序處理。對於每個儲存於緩衝器之NAL單元，包含NAL單元之封包的RTP序列號碼被儲存，並與儲存的NAL單元結合。此外，包括NAL單元之封包型式（簡單封包或匯集封包）被儲存，並與每個被儲存的NAL單元結合。以下’假設N等於選擇的num-reorder-VCL-NAL_units 參數（交錯深度參數）值，該值指定VLCNAL單元之最大數里/、於NAL早元遞父次序中，領先於封包流之任何vlc NAL·單元，並且，其依循vlcnAL單元在RTP序列號碼次序，或在包括VLCNAL單元之匯集封包之組合次序。若參數沒出現，即假設為〇。當視訊流傳送期間準備時，接收器緩衝至少N個VLCNAL單元進入接收緩衝器91於傳遞任何封包至解碼器2之前。當接收器緩衝至少N個VLC NAL單元時，NAL單元由接收緩衝器移除，並依下述之次序傳遞至解瑪器2，直至緩衝器包含Ν·1個VLC NAL單元。以下，設PVSID是最近一個傳遞至解碼器之NAL單元之視訊序列編號（video sequence ID(VSID))。所有在stap 之NAL單元具相同之VSID。NAL單元傳遞至解碼器之次序如下：若待在緩衝器内最久之RTP號碼相應於一個簡單封包，此簡單封包内之NALU是在NAL單元遞交次序之下一個NALU。若待在缓衝器内最久之RTP號螞相應於一個 43 1293228 匯集封包，NAL單元遞交次序依RTp序列號碼次序回復於 NALUs直至下一個簡單封包（除外的）。該組NALUs於以下稱之為待選（candidate)NALUs。若沒有傳送於簡單封包之 NALUs存在於緩衝器，則所有之naLUs屬於待選NALUs。對於待選NALUs之每個NAL單元，VSID距離計算法如下。若NAL單元之VSID大於pvsiD，VSID距離等於 VSID-PVSID，否則，VSID距離等於2Λ(訊號VSID使用位元數）-PVSID +VSID。NAL單元以VSID距離之上升次序遞交至解碼器。若數個NAL單元共用相同之VSID距離，則傳遞其至解碼器之次序應遵循本說明書之遞交次序。 NAL單元之遞交次序可依照以下所述回復。上述使用PVSID及VSID之術語。明顯地，術語 PDON(在NAL單元遞交次序中，匯集封包之先前NAL單元的解碼次序號碼），及DON(解碼次序號碼）也可替代使用。第一，片段及資料分區與圖像之結合係依據像框號碼、 RTP時間標記、及第一場旗標（flag) ··所有NALUs共同一個像框號碼，RTP時間標記及第一場旗標屬於同一個圖像〇SEI NALUs、序列參數組NALUs、圖像參數組NALUs、圖像界定符NALUs、序列NALUs端部、資料流NALUs之終端、及填充符（filler)資料NALUs屬於下一個VCL NAL 單元之圖像於傳送次序中。第二，圖像之傳送次序是基於nal_ref_idc、像框號碼、第一場旗標、及每個圖像之RTP時間標記。圖像之遞交次 44 1293228 序是依像框號碼（模數算法）之上升次序。若數個圖像共用一個像框號碼，且它們之nal_ref_idc等於0，則圖像以上升之RTP時間標記次序遞交。若兩個圖像共用相同之RTP 時間標，則具第一場旗標之圖像優先被遞交。應注意的是一個主要編碼圖像及額外編碼圖像在此視為一個編碼圖像。第三，若使用之視訊解碼器不支持任意片段排序，片段之遞交次序及A資料分區在片段標頭是以first_mb_in _slice句法元素之上升次序排序。此外，B及C資料分區緊隨相應之A資料分區於遞交次序中。以下額外之解封包規則可實施於操作的JVT解封包器 :NALUs以RTP序列號碼次序呈現於JVT解封包器。 NALUs在匯集封包内呈現其次序。匯集封包之所有NALUs 皆被處理於下一個RTP封包之前。智慧型的RTP接收器（例如，於閘道器中）可辨識遺失之DPAs。若遺失之DPA被找到，閘道器可能決定不傳送 DPB及DPC，當該資訊對JVT解碼器是無意義的。如此，網路元件藉棄擲無用之封包以減少網路負載，且不須解析 (parse)複雜之位元流。智慧型接收器可能丟棄所有具NAL參考ldc等於0之封包。然而，它們應盡可能處理這些封包，因為若這些封包被丟棄，使用者之體驗可能受影響。 DBP2.1包括記憶體空間用於儲存一些圖像。這些空間也稱作像框儲存空間。解碼器2將接收到之圖像以正確次 45 1293228 序解碼。為達此目的，解碼器檢查接收到之圖像的視訊序列辨識碼。若編碼器已任意地選擇視訊序列辨識碼給每個獨立之圖像組，解碼器將每個獨立之圖像組以它們被接收到的次序解碼。若編碼器已賦予每個獨立之圖像組遞增（或遞減）之視訊序列辨識碼，解碼器依視訊序列辨識碼之次序為獨立圖像組解碼。換言之，具最小（或最大）視訊序列辨識碼之獨立圖像組最先被解碼。本杳明可應用於許多系統及裝置。傳送裝置6包括編碼器i，及選擇性之HDR 5,以及傳送器7傳送編碼圖像 ^專送頻道4。接收裝置8包括—個接收器9以接收編碼圖像、解碼器2、及一顯示器以顯示解碼圖像。傳送頻道可為，例：’地面線路(landlane)通訊頻道及，或無線通訊頻道。傳送裝置及接收裝置包括丨或多個處理器12、2.2，其。依據本發明執行控制視訊流編/解碼處理之必須步驟^ ί驟，i發明之方法可主要被實施為處理器之機械執行 v驟。圖像之緩衝作用可被實施於裝置中之記憶體1 3 編碼器之程式碼1_4可儲存於記憶體13。解碼器、私式碼2.4可儲存於記憶體2.3。 46 !293228 【圖式簡單說明】圖1遞迴式時間延展性方案之例子，圖2視訊額外編碼之方幸，1 φ 闰#广r丄 ’心万茶其中一圖像序列被分成或更夕父錯形式之獨立編碼線程，圖3表不預測結構可能改進壓縮效率之例子，圖4可用以改進錯誤復原力之内部圖像延遲法，圖5a及5b揭示不同先前技術之編碼視訊流圖像之編圖6a揭示圖像流包括次序列於階層丨之例子，圖6b揭不圖像流包括兩個具次序列於階層工之獨立圖像組之例子，圖6C揭示不同獨立圖像組之圖像流之例子，圖7揭示另一個圖像流包括次序列於階層1之例子，圖8依據本發明之系統之有效實施例，圖9依據本發明之編碼器之有效實施例，圖依據本發明之解碼器之有效實施例，圖1la揭示可用於本發明之naL封包化形式的例子，圖llb•揭示可用於本發明之NAL封包化形式的另一個例子。【符號說明】 1 編碼器 2 解碼器 3 視訊源 4 頻道 5 選擇性假設參考解碼器 6 傳送裝置 47

Claims

1293228 第93103840號專利申譆不 — 補充、修正後無劃線之說明書修正頁一式三份拾、申請專利範圍： 1·一種用於編碼圖像排序之方法，一内形成編碼圖像之編碼步驟，在复 ·一在、、烏碼器 Λ ^ ^ , ^ ^ I ^ ^成至少一編碼圖像 =對圖像組之母個圖像賦予一個圖像辨識碼；一用以傳魄踩顧换々壬站止 ^ ^，及一依解碼次序編排圖像^ 特徵為在該編碼步驟中，給編碼圖像個與圖像辨識碼分開的視訊序列辨識碼。之每=二專利範圍第1項之方法，其中同-圖像組内二母具有相同之視訊序列辨識媽；在解碼步驟 :視訊序列辨識碼係用於蚊那些圖像是屬於相同之圖多之專利卿1項之方法’其中形成有2或更及時’給該等圖像組指定不同之視訊序列辨識碼。序是㈣範圍第3項之方法，其中圖像之解碼次依硯訊序列辨識碼決定。碼之範圍第3項之方法，其中視訊序列辨識訊層。疋傳送至傳送層，而圖像辨識碼是傳送至視 6, 種在解碼器内實行編碼圖像流之解碼方法，該編 49 1293228 n年月，日修(: $ 931〇3840 號專利 _頁補充、修正後無劃線之說明¥修正頁一式三份碼圖像流包括：至少一個編碼圖像組，每個圖像組内之每個圖像皆各指定有一個圖像辨識碼，而圖像組指定有一個與圖像辨識碼分開之視訊序列辨識碼，在解碼時該視訊序列辨識碼係用以決定那些圖像是屬於相同之圖像組。 —入如申請專利範圍第6項之方法，其中每個圖像組内之每個圖像是獨立地可被解碼之圖像，該圖像具有指定之視訊序列辨識碼；至少有一次序列形成於圖像組，而該次序列内之每個圖像皆與同一圖像組·之可解碼圖像具有相同的視訊序列辨識碼。 8 · —種圖像編碼及編碼圖像排序所用之編碼器，包括 •個用以形成至少一個編碼圖像之圖像組，及給圖像組之每個圖像指定一個圖像辨識碼之編排器；其特徵在於該編碼器進一步含有一個定義器用以指定不同於圖像辨識碼之視訊序列辨識碼給該編碼圖像，而同一圖像組内之每個圖像皆具相同之視訊序列辨識碼。 9·如申請專利範圍第8項之編碼器，其中該編排器係用以开々成二或多組之圖像，而該定義器係用以給該二或多組之圖像訂定不同視訊序列辨識碼。 10·如申請專利範圍第9項之編碼器，其中該編碼器包含一將視訊序列辨識碼之解碼次序傳送至傳送層及將圖像 50 1293228 ΓΓ: 声93103840號專利申，『一九一補充、修正後無劃線之說明書修正頁一式三份辨識碼傳送至視訊層所用之裝置器，碼Λ像之解碼㈣成解碼圖像之解碼重編5| 1 =二# “將編碼圖像依解碼次序編排之重、，爲器，其特徵在於該解碼器進一人百一處理5|，用以依視訊序_識碼蚊那㈣像是屬於相同之圖像組。

肉=申明專利範圍第11項之解碼器’其中每個圖像組内之每個圖像是獨立地可被解碼之圖像，該圖像且有指定之視訊序列辨識碼；至少有—次序列形成於圖像組，而該次序列内之每個圖像皆與同—圖像組之可相同的視訊序列辨識碼。

—種附載於電腦可讀之媒體上之電腦程式產品，包括實行編碼圖像排序之方法所用之機械執行步驟，該方法包括··一用以在編碼器内形成編碼圖像之編碼步驟，其中至少有一圖像組形成，圖像組内之每個圖像皆被指定一個圖像辨識碼；一用以將該編碼圖像傳送至解碼器之傳送步驟，以及一用以依解碼次序編排編碼圖像之重編步驟；其特徵為在該編碼步驟中，給編碼圖像一個與圖像辨識碼分開的視訊序列辨識碼。 14·一種記錄有編碼圖像訊號之載體，該訊號包括編碼圖像，而該圖像之至少一組圖像是由編碼圖像形成而該圖 51 1293228 丨,:今：第93103840號專利申請' 補充、修正後無劃線之說明書修正頁一、一、式二份像組内之每個圖像皆指定有-與圖像辨識碼分開的圖像辨識碼；其特徵在於像之訊號中，而同-圖像^歹]辨識碼被指定於編碼圖訊序列辨朗。、，、内之每個®像皆具有相同之視 15.—種編碼圖像之排皮㈣圖傻，pi、古序方法，該圖像包㈣1與第2 編碼圖像，至少有一個第〗槽。^ 第1傳达早兀係基於第1編碼圖像形成，及至；有一個第2僂铥 ^ , ,寻廷早70係基於第2編碼圖像形成其特徵在於將—個第1識別碼指定給第丨傳送單元及將-個第2識別碼指定給第2傳送單元，該第丨與第別碼各表示包含於第丨傳送單元與第2傳送單的解碼次序。整數值 16·如申請專利範圍帛15項之方法，其中該識別碼是 17.如申請專利範圍第16項之方法，其中較大之整數值表示較後之解碼次序，該整數值可回歸至起始值。 18·如申請專利範圍第15項之方法，其中第1傳送單元包括一個第1片段，及第2傳送單元包括一個第2片段。 19·一種編碼圖像排序裝置，該編碼圖像包括第1與第 2編碼圖像，此裝置包括··一編排器用以形成至少一個基 52 1293228 I—---[ 第__號專利申補充、後無劃線之說明書修正頁一式三份於第1編碼圖像形成之第1傳送單元，及至少-個基於第亡馬=像形成之第2傳送單元，其特徵乃在該裝置還包炎:個定義器用於為第1傳送單元指定一個第1識別碼及 -2傳送單it指定_個第2識別碼，該第丨與第2識別 f各表示包含於第1傳送單元與第2傳送單元内之資訊的解碼次庠。 20.如申請專利範圍第19項之裝置，其為一閘道裝置。

其為一行動無線其為一資料流伺 21·如申請專利範圍第19項之裝置通訊裝置。 22·如申請專利範圍第a·項之裝置服器。 23·—種用於圖像編碼及編碼圖像排序之編碼器，該編碼圖像包括第1與第2編碼圖像，該編碼器包括：一用以形成至少一個基於第丨編碼圖像之第丨傳送單元及至少一個基於第2編碼圖像之第2傳送單元之編排器，該編碼器還包括一用於為第Ϊ傳送單元指定一個第i識別碼及為第 2傳送單元指定一個第2識別碼之定義器，該等第丨與第之識別碼各表示包含於第丨傳送單元與第2傳送單元内'之次訊的解碼次序。貝 53 1293228 第93103840號專利申請| 補充、修正後無劃線之說明書修正頁一式三份 24·如申請專利範圍第23項之編碼器，其中該編排器將一個第1片段納入第1傳送單元，一個第2片段納入第 2傳送單元。口 25.一種用於使編碼圖像解碼形成解碼圖像之解碼器，該編碼圖像包括··傳送於至少一個基於第i編碼圖像之第1傳送單元及至少一個基於第2編碼圖像之第2傳送單元之第1與第2編碼圖像；其特徵乃在解碼器還包括一個處理器，其基於第i傳送單元之第i識別碼及第2傳$ _ 單元之第2識別碼決定第丨傳送單元與第2傳送單元内之資訊的解碼次序。 26· —種用於處理編碼圖像之系統，含有一種用於圖像編碼及編碼圖像排序之編碼器，該編碼圖像包括第丨與第 2、’扁馬圖像，該編碼器包括··一用以形成至少一個基於第1 編碼圖像之第i傳送單元及至少—個基於第2編碼圖像t 第2傳送單元之編排器；及一使編碼圖像解碼之解碼器；其特徵乃在該系統還於編碼器内含有：一用於為第i傳送春單元指定一個第1識別·碼及為第2傳送單元指定一個第2 識另丨馬之疋義器，該等第1與第2識別碼各表示包含於第傳送單元與第2傳送單元内之資訊的解碼次序；以及一配設碼器内之處理器，其基於第1識別碼及第2識別碼決疋第1傳送單元與第2傳送單元内之資訊的解碼次序。 54 1293228 ΓΤ'........... j ρ] Γ V / /'W' ' :；- Η：, -XT '第931〇3840號專利申請案L: r 二5 _ 補充、修正後無劃線之說明書修正份—一—―」 27·—種附載於電腦可讀取之記憶媒體上之電腦程式產品，該電腦程式包括：機械可執行步驟用以實行編碼圖像排序之方法，該編碼圖像包括第1與第2編碼圖像，及用以形成至少一個基於第1編碼圖像之第1傳送單元，及至少一個基於第2編碼圖像之第2傳送單元，其特徵乃在該電腦程式還包括機械可執行步驟，用於為第丨傳送單元才曰疋一個第1識別碼及為第2傳送單元指定一個第2識別碼’該等第1與第2識別碼各表示包含於第i傳送單元與第2傳送單元内之資訊的解碼次序。 _ 28·—種記錄有編碼圖像訊號之載體，該訊號包括至少一個基於第1編碼圖像形成之第1傳送單元，及至少一個基於第2編碼圖像形成之第2傳送單元，該訊號還包括為第1傳送單元指定之第1識別碼，及為第2傳送單元指定之第2識別碼，該等第丨與第2識別碼各表示包含於第i 傳送單元與第2傳送單元内之資訊的解碼次序。 29·—種用以將傳送之編碼圖像排序之模組，該編碼圖 _ 像包括第丨與第2編碼圖像，而該模組包括一編排器用以形成至少一個基於第丨編碼圖像之第丨傳送單元及至少一個基於第2編碼圖像之第2傳送單元，其特徵在於該ς: 還包括一用於為第i傳送單疋指定一個第i識別碼及為第 2傳送單元指定一個第2識別碼之定義器，該等第i與第2 識別碼各表示包含於第1傳送單元與第2傳送單元内之資 55 1293228

第93103 840號專利申請案-補充、修正後無劃線之說明書修正頁一式三份訊的解碼次序。 30·—種用以將編碼圖像重新排序以供解碼之模組，該編碼圖像包括第1與第2編媽圖像傳送於至少一個基於第 1編碼圖像形成之第1傳送單元，及至少一個基於第2編碼圖像形成之第2傳送單元；其特徵乃在該模1還包括'一個處理器，其基於第1傳送單元之第丨識別碼及第2傳送單元之第2識別碼決定第1傳送單元與第2傳送單元内之資訊的解碼次序。 31·—種用以在編碼器中處理媒體資料以編碼圖像及編碼圖像之排序之處理機，包括一編排器，用以形成該編碼圖像之至少一組圖像及訂定該組圖像之每一圖像之辨識碼；其中該處理機進一步包含定義器，用以給編碼圖像訂定不同於圖像辨識碼之視訊序列辨識碼，並將該視訊序列辨認碼排序，使同一組之圖像具有同一之排序。 ^ ^2·如申請專利範圍第31項之處理機，其中該編排器係用以形成二或多組之圖像，而該定義器係用以給該二或多組之圖像訂定不同視訊序列辨識碼。 33·如申請專利範圍第31項之處理機，其中該編碼器包含一將視訊序列辨識碼之解碼次序傳送至傳送層及將圖像辨識碼傳送至視訊層所用之裝置。 56 .^1 ! 1293228 ,：； . ... Λ …Ί _________』第93103840號專利申請案一5 補充、修正後無劃線之說明書修正頁一式三份 #在解碼器内貫行編碼圖像流之處理機，該編瑪圖像机包括·至；-個編碼圖像組，每個圖像組内之每個圖像皆各指定有-個圖像辨識，，而圖像組指定有一個與圖像辨識碼分開之視訊序列辨識碼，其中該處理機含有在解碼時利用該視訊序列辨識碼決定那些圖像是屬於相同之圖像組之一裝置。 35·如申％專利範圍帛34項之處理機，其中每個圖像 =内之每個圖像是獨立地可被解碼之圖像，該圖像具有指疋之視訊序_識碼’至少有_次序列形成於圖像組，而 ι人序列内之每個圖像皆與同_圖像組之可解碼圖像具有相同的視訊序列辨識碼。 36. 傻m 以在解❹中處理媒體資料以解碼編碼丨 : 圖像之處理機，包括—再編排器將依解妈次序排序’其中該處理機進一步含有一

列辨認碼判斷那—圖像輕同—圖像組所用之一裝置/ 含有以在編碼器中處理媒體資料以編碼圖像> :===編卿的排序之處理二傳送單元及至少一個基於第2編;=第 =像，編排器；該處理機還包括一用於為第：第2傳达早心於馮帛1傳送單元指定一4 57 1293228 第93103 840號專利申請案- i \ j 補充、修正後無劃線之說明修正頁一式三份， ”識別碼及為第2傳送單元指定一個第2識別碼之定義益，该等第1與第2識別碼各表示包含於第丨傳送單元與第2傳送單元内之資訊的解碼次序。 /、 38·如申請專利範圍第37項之處理機，其中該編排器將一個第1片段納入第丨傳送單元，一個第2片段納入 2傳送單元。 '

39.如申請專利範圍第37項之處理機，其中該識別碼是整數值。 4〇·如申請專利範圍第38項之處理機，其中較大之整數值表示較後之解碼次序，該整數值可回歸至起始值。 41·如申請專利範圍第37項之處理機，其中第1傳送單元包括一個第1片段，及第2傳送單元包括一個第2片 42.—種用以在解碼器中處理媒體資料以解碼該編碼圖像，形成解碼圖像之處理機，該編碼圖像包括：傳送於至少一個基於第1編碼圖像之第1傳送單元及至少一個基於第2編碼圖像之第2傳送單元之第1與第2編碼圖像；其特徵乃在解碼器還包括一個處理器，其基於第1傳送單元之第1識別碼及第2傳送單元之第2識別碼決定第i傳送單元與第2傳送單元内之資訊的解碼次序。 58