TW201419873A - 包含信心水準及混合內容資訊之額外強化資訊 - Google Patents
包含信心水準及混合內容資訊之額外強化資訊 Download PDFInfo
- Publication number
- TW201419873A TW201419873A TW102135371A TW102135371A TW201419873A TW 201419873 A TW201419873 A TW 201419873A TW 102135371 A TW102135371 A TW 102135371A TW 102135371 A TW102135371 A TW 102135371A TW 201419873 A TW201419873 A TW 201419873A
- Authority
- TW
- Taiwan
- Prior art keywords
- source
- images
- image
- confidence
- bit stream
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
Abstract
本申請案係關於視訊編碼及解碼,且具體言之,係關於用於在位元流中使用及提供額外強化資訊之工具及技術。尤其是,詳細描述呈現具有額外強化資訊(SEI)之位元流的創新。在特定實施例中,SEI訊息包括圖像源資料(例如,指示相關圖像是否為連續掃描圖像或交錯掃描圖像之資料及/或指示相關圖像是否為重複圖像之資料)。SEI訊息亦可表示編碼器對該圖像源資料之準確性之相對信心的信心水準。解碼器可使用信心水準指示來決定解碼器是否應將圖像單獨識別為連續或交錯及/或重複圖像,或按現狀施行SEI中之圖像源掃描資訊。
Description
本申請案主張2012年9月30日申請之名為「FIELD INDICATION MESSAGES INCLUDING CONFIDENCE LEVEL AND MIXED CONTENT INFORMATION」之美國臨時申請案第61/708,041號的權利及2013年3月12日申請之名為「SUPPLEMENTAL ENHANCEMENT INFORMATION INCLUDING CONFIDENCE LEVEL AND MIXED CONTENT INFORMATION」之美國臨時申請案第61/777,913號的權利,該等申請案兩者在此均以引用之方式併入本文中。
本申請案係關於視訊編碼及解碼,且具體言之,係關於用於在位元流中使用及提供額外強化資訊之工具及技術。
工程師使用壓縮(亦稱為源編碼或源編碼)以降低數位視訊之位元率。壓縮減少藉由將資訊轉換成低位元率形式而儲存及傳輸視訊資訊的成本。解壓(亦稱為解碼)自壓縮形式重建原資訊版本。「轉碼器」為編碼器/解碼器系統。
在過去二十年中,已採用各種視訊轉碼器標準,包括H.261標
準、H.262(MPEG-2或ISO/IEC 13818-2)標準、H.263標準及H.264(AVC或ISO/IEC 14496-10)標準及MPEG-1(ISO/IEC 11172-2)標準、MPEG-4可視(ISO/IEC 14496-2)標準及SMPTE 421M(VC-1)標準。最近,HEVC(H.265)標準處於開發中。當特定特徵結構用於編碼及解碼時,視訊轉碼器標準典型地限定對經編碼視訊位元流之語法、位元流中之細節參數的選擇。在許多情況下,視訊轉碼器標準亦提供關於解碼器應執行以獲取正確解碼結果之解碼操作的細節。
尤其是,詳細描述呈現具有額外強化資訊(SEI)之位元流的創新。在特定實施例中,SEI訊息包括圖像源資料(例如,指示相關未壓縮圖像是否為連續掃描圖像或交錯掃描圖像之資料及/或指示相關圖像是否為重複圖像之資料),且SEI訊息亦可表示編碼器對圖像源資料格式之準確性之相對信心的信心水準。解碼器可使用信心水準指示來決定解碼器是否應將圖像單獨識別為顯示器上的連續或交錯及/或重複圖像。
在某些實施中,SEI訊息亦包括用於指示相關圖像是否包括混合資料(例如,交錯資料與連續資料之混合)的指示器。該等創新可說明改進視訊解碼系統以靈活決定如何處理經編碼位元流或位元流部分之能力。
本發明之前述及其他目標、特徵及優點將自參考附隨圖式進行之以下詳細描述而變得更顯而易見。
100‧‧‧計算系統
110‧‧‧處理單元
115‧‧‧處理單元
120‧‧‧記憶體
125‧‧‧記憶體
130‧‧‧最基本配置
140‧‧‧儲存器
150‧‧‧輸入裝置
160‧‧‧輸出裝置
170‧‧‧通訊連接件
180‧‧‧形式儲存軟體
201‧‧‧網路環境
202‧‧‧網路環境
210‧‧‧即時通訊工具
212‧‧‧編碼工具
214‧‧‧重播工具
220‧‧‧視訊編碼器
250‧‧‧網路
270‧‧‧視訊解碼器
300‧‧‧編碼器系統
310‧‧‧視訊源
311‧‧‧源視訊框
320‧‧‧源訊框暫時記憶體儲存器
321‧‧‧訊框緩衝儲存區
322‧‧‧訊框緩衝儲存區
32n‧‧‧訊框緩衝儲存區
330‧‧‧訊框選擇器
331‧‧‧訊框
340‧‧‧編碼器
341‧‧‧編碼訊框
342‧‧‧記憶體管理控制操作(MMCO)信號
350‧‧‧解碼過程模擬器
351‧‧‧訊框
360‧‧‧經解碼訊框暫時記憶體儲存區
361‧‧‧訊框緩衝儲存區
362‧‧‧訊框緩衝儲存區
363‧‧‧訊框緩衝儲存區
36n‧‧‧訊框緩衝儲存區
369‧‧‧訊框
370‧‧‧暫時編碼資料區
371‧‧‧經聚集資料
380‧‧‧通道編碼器
390‧‧‧通道
400‧‧‧解碼器系統
410‧‧‧通道
420‧‧‧通道解碼器
421‧‧‧經編碼資料
430‧‧‧暫時編碼資料區
431‧‧‧經編碼訊框
432‧‧‧MMCO/RPS資訊
450‧‧‧解碼器
451‧‧‧經解碼訊框
460‧‧‧經解碼訊框暫時記憶體儲存區
461‧‧‧訊框緩衝儲存器
462‧‧‧訊框緩衝儲存器
463‧‧‧訊框緩衝儲存器
46n‧‧‧訊框緩衝儲存器
469‧‧‧訊框
480‧‧‧輸出定序器
481‧‧‧訊框
490‧‧‧輸出目的地
500‧‧‧流程圖
510‧‧‧步驟
512‧‧‧步驟
600‧‧‧流程圖
610‧‧‧步驟
612‧‧‧步驟
614‧‧‧步驟
第1圖為示例性計算系統之圖式,一些描述之實施例可在該計算系統中實施。
第2a圖及第2b圖為示例性網路環境之圖式,一些描述之實施例可在該網路環境中實施。
第3圖為示例性編碼器系統之圖式,結合該示例性編碼器系統可實施一些描述之實施例。
第4圖為示例性編碼器系統之圖式,結合該示例性編碼器系統可實施一些描述之實施例。
第5圖為根據所揭示之技術之實施例,用於使用額外強化資訊之第一示例性方法的流程圖。
第6圖為根據所揭示之技術之實施例,用於使用額外強化資訊之第一示例性方法的流程圖。
實施方式呈現編碼及解碼具有額外強化資訊(SEI)之位元流的創新。詳言之,實施方式描述用於圖像之SEI訊息包含信心水準指示器之實施例,該指示器指示SEI訊息中之語法元素或標記之準確性的信心,該等語法元素或標記指示圖像是否為連續掃描圖像或交錯掃描圖像。在一些實施例中,一或更多個語法元素可一起表示相關一或更多個圖像是否為連續掃描、交錯掃描或為未知源。在某些實施例中,SEI訊息進一步包括用於指示相關圖像是否包括資料混合及/或相關圖像是否為重複圖像之標記。
參看特定於HEVC標準之語法元素及操作說明本文中所述之一些創新。舉例而言,參看對HEVC規格之某些草擬版本,亦即,HEVC標準之草擬版本JCTVC-I1003「High efficiency video coding(HEVC)text specification draft 8」,2012年7月斯德哥爾摩第十次會議之JCTVC-I1003_d8及HEVC標準之草擬版本JCTVC-L1003「High efficiency video coding(HEVC)text specification draft 10」,2013年1月14至23日日內瓦第十二次會議之JCTVC-L1003_v34。本文中所述之創新亦可實施用於其他標準或格式。
更一般而言,本文中所述之實例的各種替代案是可能的。舉例而言,本文中所述之任何方法可藉由改變所述方法動作之次序,藉由拆分、重複或省略某些方法動作等而更改。所揭示之技術之各種態樣可組合或單獨使用。不同實施例使用所述創新中之一或更多個創新。本文中所述之一些創新解決先前技術中標注之該等問題中之一或更多個問題。典型地,給定技術/工具未解決所有該等問題。
第1圖圖示可實施許多所述創新之適合計算系統(100)之一般化實例。計算系統(100)不欲建議對用途或功能性之範疇的任何限制,因為創新可在不同通用或專用計算系統中實施。
參看第1圖,計算系統(100)包含一或更多個處理單元(110、115)及記憶體(120、125)。在第1圖中,該最基本配置(130)包括在虛線內。處理單元(110、115)執行電腦可執行指令。處理單元可為通用中央處理單元(CPU)、特殊應用積體電路(ASIC)中之處理器或任何其他類型之處理器。在多處理系統中,多個處理單元執行電腦可執行指令以提高處理能力。舉例而言,第1圖圖示中央處理單元(110)以及圖形處理單元或共處理單元(115)。有形記憶體(120、125)可為可由一或多個處理單元存取之揮發性記憶體(例如,暫存器、快取記憶體、RAM)、非揮發性記憶體(例如,ROM、EEPROM、快閃記憶體等)或兩個記憶體之某一組合。記憶體(120、125)以適用於由一或多個處理單元執行之電腦可執行指令的形式儲存軟體(180),該軟體(180)實施用於以具有資料之SEI訊息編碼或解碼圖像之一或更多個創新,該資料指示圖像源類型、信心水準及相關圖像是否包括資料類型之混合(參見部分V)。
計算系統可具有額外特徵結構。舉例而言,計算系統(100)包
括儲存器(140)、一或更多個輸入裝置(150)、一或更多個輸出裝置(160)及一或更多個通訊連接件(170)。諸如匯流排、控制器或網路之互連機構(未圖示)互連計算系統(100)之元件。典型地,作業系統軟體(未圖示)為在計算系統(100)中執行之其他軟體提供操作環境,且協調計算系統(100)之元件的活動。
有形儲存器(140)可為可移除或不可移除,且包括磁碟、磁帶或卡式磁帶、CD-ROM、DVD、或可用於以非暫時方式儲存資訊且可在計算系統(100)內存取之任何其他媒體。儲存器(140)儲存用於軟體(180)之指令,該軟體(180)實施用於以具有資料之SEI訊息編碼或解碼圖像之一或更多個創新,該資料指示圖像源類型、信心水準及相關圖像是否包括資料類型之混合(參見部分V)。
一或多個輸入裝置(150)可為觸摸式輸入裝置(諸如,鍵盤、滑鼠、觸筆或軌跡球)、語音輸入裝置、掃描裝置或為計算系統(100)提供輸入之另一裝置。對於視訊編碼,一或多個裝置(150)可為攝影機、視訊卡、TV調諧卡、或以類比或數位形式接受視訊輸入之相似裝置,或將視訊樣本讀入計算系統(100)中之CD-ROM或CD-RW。一或多個輸出裝置(160)可為顯示器、列印機、揚聲器、CD寫入器或提供計算系統(100)之輸出另一裝置。
一或多個通訊連接件(170)使得經由通訊媒體至另一計算實體之通訊成為可能。通訊媒體傳遞資訊,諸如,經調制資料信號中之電腦可執行指令、音訊或視訊輸入或輸出,或其他資料。經調制資料信號為具有以將資訊編碼於信號中之該方式設置或改變之自身特徵中的一或更多個特徵的信號。舉例而言,且非限制,通訊媒體可使用電載體、光學載體、RF載體或其他載體。
創新可在電腦可讀媒體之一般上下文中描述。電腦可讀媒體為可在計算環境內存取之任何可用有形媒體。舉例而言,且非限制,有形電腦可讀媒體包含記憶體(120、125)、儲存器(140)及上述各者的組合,但不包含暫時傳播信號。
創新可在電腦可執行指令之一般上下文中描述,諸如,包括於程式模組中之彼等指令,該等指令在目標真實或虛擬處理器上之計算系統中執行。一般而言,程式模組包括執行特定任務或實施特定抽象資料類型之常式、程式、庫、物件、類別、元件、資料結構等。在各種實施例中,程式模組之功能性可按需要在程式模組之間組合或拆分。用於程式模組之電腦可執行指令可在局部或分散式運算系統內執行。
術語「系統」及「裝置」在本文中可互換使用。除非上下文另外清楚地指示,否則術語既不意味著對計算系統或計算裝置之類型的任何限制。一般而言,計算系統或計算裝置可為局部或分散式,且計算系統或計算裝置可包括專用硬體及/或通用硬體之任何組合,其中軟體實施本文中所述之功能性。
所揭示之方法亦可使用特殊計算硬體實施,該硬體經配置以執行任何所揭示之方法。舉例而言,所揭示之方法可藉由積體電路(例如,特殊應用積體電路(「ASIC」)(諸如,ASIC數位信號處理單元(「DSP」)、圖形處理單元(「GPU」)或可程式化邏輯裝置(「PLD」),諸如,經特殊設計或配置以實施任何所揭示之方法的場可程式化閘陣列(「FPGA」)實施。
為了呈現,實施方式使用術語如「決定」及「使用」以描述計算系統中之電腦操作。該等術語為用於由電腦執行之操作的高階抽象,且該等術語不應與由人類執行之動作混淆。對應於該等術語之實際電腦操作視實施而變化。
第2a圖及第2b圖圖示包括視訊編碼器(220)及視訊解碼器(270)之示例性網路環境(201、202)。編碼器(220)及解碼器(270)經由網路(250)使用適當通訊協定連接。網路(250)可包括網際網路或另一電腦網路。
在第2a圖中圖示之網路環境(201)中,每一即時通訊(「RTC」)工具(210)包括用於雙向通訊之編碼器(220)及解碼器(270)兩者。給定編碼器(220)可產生與SMPTE 421M標準、ISO-IEC 14496-10標準(亦稱為H.264或AVC)、HEVC標準、另一標準或專屬格式順應之輸出,其中相應解碼器(270)接受來自編碼器(220)之經編碼資料。雙向通訊可為視訊會議、視訊電話呼叫或其他兩方通訊情境之一部分。雖然第2a圖中之網路環境(201)包括兩個即時通訊工具(210),但網路環境(201)反而可包括參與多方通訊之三個或更多個即時通訊工具(210)。
即時通訊工具(210)藉由編碼器(220)管理編碼。第3圖圖示示例性編碼器系統(300),該系統(300)可包括於即時通訊工具(210)中。或者,即時通訊工具(210)使用另一編碼器系統。即時通訊工具(210)亦藉由解碼器(270)管理解碼。第4圖圖示示例性解碼器系統(400),該系統(400)可包括於即時通訊工具(210)中。或者,即時通訊工具(210)使用另一解碼器系統。
在第2b圖中所示之網路環境(202)中,編碼工具(212)包含編碼器(220),該編碼器(220)編碼視訊傳遞至包括解碼器(270)之多個重播工具(214)。單向通訊可提供用於視訊監視系統、網路攝影機監控系統、遠端桌上會議呈現或視訊經編碼及自一個位置發送至一或更多個其他位置的其他情境。雖然第2b圖中之網路環境(202)包括兩個重播工具
(214),但網路環境(202)可包含更多或更少重播工具(214)。一般而言,重播工具(214)與編碼工具(212)通訊,以決定接收用於重播工具(214)之視訊流。重播工具(214)接收流、緩衝接收之經編碼資料適當時期且開始解碼及重播。
第3圖圖示示例性編碼器系統(300),該系統(300)可包括於編碼工具(212)中。或者,編碼工具(212)使用另一編碼器系統。編碼工具(212)亦可包括伺服器端控制器邏輯,用於管理與一或更多個重播工具(214)之連接。第4圖圖示示例性解碼器系統(400),該系統(400)可包括於重播工具(214)中。或者,重播工具(214)使用另一解碼器系統。重播工具(214)亦可包括用戶端控制器邏輯,用於管理與編碼工具(212)之連接。
第3圖為示例性編碼器系統(300)之方塊圖,結合該示例性編碼器系統(300)可實施一些描述之實施例。編碼器系統(300)可為通用編碼工具,該編碼工具能夠以多個編碼模式中之任何模式操作,諸如,用於即時通訊之低潛時編碼模式、轉碼模式及用於自檔案或流之媒體重播之規則編碼模式,或編碼器系統(300)可為適用於一個此類編碼模式之專用編碼工具。編碼器系統(300)可作為作業系統模組、作為應用庫之一部分及/或作為獨立應用加以實施。總體而言,編碼器系統(300)自視訊源(310)接收一系列源視訊框(311)且產生經編碼資料作為輸出至通道(390)。輸出至通道之經編碼資料可包括額外強化資訊(「SEI」)訊息,該等訊息包括部分V中描述之語法元素及/或標記。
視訊源(310)可為攝影機、調諧卡、儲存媒體或其他數位視訊源。視訊源(310)以例如每秒30個訊框之訊框率產生一系列視訊框。如
本文中所使用,術語「訊框」大體上係指源、經編碼或重建影像資料。對於連續視訊,訊框為連續視訊框。對於交錯視訊,在示例性實施例中,交錯視訊框在編碼之前經去除交錯。或者,對於交錯視訊,兩個互補交錯視訊場經編碼為交錯視訊框或單獨場。除指示連續視訊框之外,術語「訊框」亦可指示單一非成對視訊場、一對互補視訊場、表示給定時間處之視訊物件之視訊物件平面或較大影像中感興趣之區域。視訊物件平面或區域可為較大影像之一部分,較大影像包括場景之多個物件或區域。
到達之源訊框(311)儲存於源訊框暫時記憶體儲存區(320),該儲存區(320)包括多個訊框緩衝儲存區(321、322、......、32n)。訊框緩衝器(321、322等)將一個源訊框保持於源訊框儲存區(320)。在源訊框(311)中之一或更多個源訊框(311)已儲存於訊框緩衝器(321、322等)之後,訊框選擇器(330)週期性地自源訊框儲存區(320)選擇個別源訊框。藉由訊框選擇器(330)選擇訊框用於輸入至編碼器(340)之次序可不同於藉由視訊源(310)產生之訊框之次序,例如,訊框可依序向前,以促進暫時反向預測。在編碼器(340)之前,編碼器系統(300)可包含前置處理器(未圖示),該前置處理器在編碼之前執行所選擇之訊框(331)的預處理(例如,過濾)。
編碼器(340)編碼所選擇之訊框(331)以產生編碼訊框(341),且編碼器(340)亦產生記憶體管理控制操作(MMCO)信號(342)或參考圖像集(RPS)資訊。若當前訊框不為已經編碼之第一訊框,當執行該訊框之編碼過程時,編碼器(340)則可使用一或更多個先前編碼/解碼之訊框(369),該等訊框(369)已儲存於經解碼訊框暫時記憶體儲存區(360)中。此等儲存之經解碼訊框(369)用作參考訊框用於當前源訊框(331)之內容的訊框間預測。一般而言,編碼器(340)包括多個編碼模組,該等
編碼模組執行編碼任務,諸如,運動估計及補償、頻率轉換、量化及熵編碼。由編碼器(340)執行之準確操作可視壓縮格式而變化。輸出之經編碼資料之格式可為Windows媒體視訊(Windows Media Video)格式、VC-1格式、MPEG-x格式(例如,MPEG-1、MPEG-2或MPEG-4)、H.26x格式(例如,H.261、H.262、H.263、H.264)、HEVC格式或其他格式。
舉例而言,在編碼器(340)內,就根據參考訊框之預測表示碼間預測訊框。運動估計器估計源訊框(341)之巨集區塊、區塊或其他樣本集相對於一或更多個參考訊框(369)之運動。當使用多個參考訊框時,多個參考訊框可來自不同暫時方向或相同暫時方向。運動估計器輸出運動資訊,諸如,運動向量資訊,該資訊經熵編碼。運動補償器將運動向量應用至參考訊框,以決定運動補償預測值。編碼器決定區塊之運動補償預測值與相應初始值之間的差異(若存在)。該等預測殘餘值進一步使用頻率轉換、量化及熵編碼加以編碼。類似地,對於內部預測,編碼器(340)可決定用於區塊之內部預測值、決定預測殘餘值及編碼預測殘餘值。詳言之,編碼器(340)之熵編碼器壓縮經量化轉換系數值,以及某些旁側資訊(例如,運動向量資訊、量化參數值、模式決定、參數選擇)。典型熵編碼技術包括指數哥倫布(Exp-Golomb)編碼、算術編碼、差分編碼、霍夫曼編碼、運行長度編碼、可變長度至可變長度(V2V)編碼、可變長度至固定長度(V2F)編碼、LZ編碼、辭典編碼、機率間隔分區熵(PIPE)編碼及上述各者之組合。熵編碼器可使用不同編碼技術用於不同類別之資訊,且熵編碼器可自特定編碼技術內之多個編碼表選擇。
經編碼訊框(341)及MMCO/RPS資訊(342)由解碼過程模擬器(350)處理。解碼過程模擬器(350)實施解碼器之一些功能性(例如,解碼任務)以重建參考訊框,該等參考訊框由編碼器(340)用於運動估計
及補償中。解碼過程模擬器(350)使用MMCO/RPS資訊(342)決定給定編碼訊框(341)是否需要重建且儲存用作待編碼之後續訊框之訊框間預測中的參考訊框。若MMCO/RPS資訊(342)指示需要儲存經編碼訊框(341),解碼過程模擬器(350)則以解碼過程為模型,該解碼過程將藉由接收經編碼訊框(341)及產生相應經解碼訊框(351)之解碼器進行。在此情況下,當編碼器(340)已使用儲存於經解碼訊框儲存區(360)之一或多個經解碼訊框(369)時,解碼過程模擬器(350)亦使用來自儲存區(360)之一或多個經解碼訊框(369)作為解碼過程之一部分。
經解碼訊框暫時記憶體儲存區(360)包含多個訊框緩衝儲存區(361、362、......、36n)。解碼過程模擬器(350)使用MMCO/RPS資訊(342)管理儲存區(360)之內容,以便識別具有編碼器(340)不再需要用作參考訊框之訊框的任何訊框緩衝器(361、362等)。在以解碼過程為模型之後,解碼過程模擬器(350)將新解碼之訊框(351)儲存於已以此方式識別之訊框緩衝器(361、362等)中。
經編碼訊框(341)及MMCO/RPS資訊(342)亦在暫時編碼資料區(370)中緩衝。聚集於經編碼資料區(370)中之經編碼資料亦可包括與經編碼視訊資料有關之媒體元資料(例如,作為一或更多個額外強化資訊(「SEI」)訊息或視訊可用性資訊(「VUI」)訊息中之一或更多個參數)。SEI訊息可包括部分V中描述之語法元素及/或標記。
來自暫時編碼資料區(370)之經聚合資料(371)由通道編碼器(380)處理。通道編碼器(380)可分封經聚集資料用於作為媒體流傳輸(例如,根據媒體容器格式,諸如,ISO/IEC 14496-12),在此情況下,通道編碼器(380)可添加語法元素作為媒體傳輸流之語法的一部分。或者,通道編碼器(380)可組織經聚集資料用於作為檔案儲存(例如,根據媒體
容器格式,諸如,ISO/IEC 14496-12),在此情況下,通道編碼器(380)可添加語法元素作為媒體儲存檔案之語法的一部分。或者,更一般而言,通道編碼器(380)可實施一或更多個媒體系統多工協定或傳輸協定,在此情況下,通道編碼器(380)可添加語法元素作為一或多個協定之語法的一部分。通道編碼器(380)提供輸出至通道(390),該通道(390)代表用於輸出之儲存器、通訊連接件或另一通道。
第4圖為示例性解碼器系統(400)之方塊圖,結合該示例性解碼器系統(400)可實施一些描述之實施例。解碼器系統(400)可為通用解碼工具,該解碼工具能夠以多個解碼模式中之任何模式操作,諸如,用於即時通訊之低潛時解碼模式及用於自檔案或流之媒體重播之規則解碼模式,或解碼器系統(400)可為適用於一個此類解碼模式之專用解碼工具。解碼器系統(400)可作為作業系統模組、作為應用庫之一部分及/或作為獨立應用加以實施。總體而言,解碼器系統(400)自通道(410)接收經編碼資料且產生重建訊框作為針對輸出目的地(490)的輸出。經編碼資料可包括額外強化資訊(「SEI」)訊息,該等訊息包含部分V中描述之語法元素及/或標記。
解碼器系統(400)包含通道(410),該通道(410)可代表將用於作為輸入的經編碼資料之儲存器、通訊連接件或另一通道。通道(410)產生已經通道編碼之編碼資料。通道解碼器(420)可處理經編碼資料。舉例而言,通道解碼器(420)可拆包已經聚集用於作為媒體流傳輸之資料(例如,根據媒體容器格式,諸如,ISO/IEC 14496-12),在此情況下,通道解碼器(420)可剖析添加作為媒體傳輸流之語法之一部分的語法元素。或者,通道解碼器(420)分裂已經聚集用於儲存為檔案之經編碼視訊資料(例如,
根據媒體容器格式,諸如,ISO/IEC 14496-12),在此情況下,通道解碼器(420)可剖析添加作為媒體儲存檔案之語法之一部分的語法元素。或者,更一般而言,通道解碼器(420)可實施一或更多個媒體系統解多工協定或傳輸協定,在此情況下,通道解碼器(420)可剖析添加作為一個或多個協定之語法之一部分的語法元素。
自通道解碼器(420)輸出之經編碼資料(421)儲存於暫時編碼資料區(430)中,直至已接收到足夠數量之此類資料。經編碼資料(421)包括經編碼訊框(431)及MMCO/RPS資訊(432)。經編碼資料區(430)中之經編碼資料(421)亦可包括與經編碼視訊資料有關之媒體元資料(例如,作為一或更多個SEI訊息或VUI訊息中之一或更多個參數)。SEI訊息可包括部分V中描述之語法元素及/或標記。一般而言,經編碼資料區(430)暫時儲存經編碼資料(421),直至此類經編碼資料(421)由解碼器(450)使用。在這一點上,用於經編碼訊框(431)及MMCO/RPS資訊(432)之經編碼資料自經編碼資料區(430)傳遞至解碼器(450)。當解碼繼續時,新編碼資料添加至經編碼資料區(430),且經編碼資料區(430)中剩餘之最舊經編碼資料經傳遞至解碼器(450)。
解碼器(450)週期性地解碼經編碼訊框(431),以產生相應解碼訊框(451)。在適當情況下,當執行解碼器(450)之解碼過程時,解碼器(450)可使用一或更多個先前解碼之訊框(469)作為用於訊框間預測之參考訊框。解碼器(450)自經解碼訊框暫時記憶體儲存區(460)讀取該等先前解碼之訊框(469)。一般而言,解碼器(450)包括多個解碼模組,該等模組執行解碼任務,諸如,熵解碼、反量化、反頻率轉換及運動補償。由解碼器(450)執行之準確操作可視壓縮格式而變化。
舉例而言,解碼器(450)接收用於壓縮訊框或一系列訊框之經編碼資料,且解碼器(450)產生包括經解碼訊框(451)之輸出。在解碼器(450)中,緩衝器接收用於壓縮訊框之經編碼資料,且使接收之經編碼資料可用於熵解碼器。熵解碼器熵解碼經熵編碼之量化資料,以及經熵編碼之旁側資訊,典型地應用編碼器中執行之熵編碼的反向。部分V描述具有SEI訊息之經編碼資料的實例,該等SEI訊息包括部分V中描述之可由解碼器450解碼之語法元素及/或標記。運動補償器將運動資訊應用於一或更多個參考訊框,以形成經重建之訊框之次區塊、區塊及/或巨集區塊(大體上為區塊)的運動補償預測。內部預測模組可根據相鄰、先前重建之樣本值而空間上預測當前區塊之樣本值。解碼器(450)亦重建預測殘差。反量化器反量化經熵解碼資料。反頻率變換器將經量化之頻域資料轉換成空間域資訊。對於預測之訊框,解碼器(450)組合經重建預測殘差與運動補償預測以形成重建訊框。解碼器(450)可類似地組合預測殘差與來自內部預測之空間預測。視訊解碼器450中之運動補償迴路包括適應性去閉鎖篩檢程式,以消除遍及解碼訊框(451)中之區塊邊界列及/或行之不連續性。
經解碼訊框暫時記憶體儲存區(460)包含多個訊框緩衝儲存區(461、462、......、46n)。經解碼訊框儲存區(460)為DPB之實例。解碼器(450)使用MMCO/RPS資訊(432)識別訊框緩衝器(461、462等),該解碼器(450)可將經解碼訊框(451)儲存於該訊框緩衝器(461、462等)中。解碼器(450)將經解碼訊框(451)儲存於彼訊框緩衝器中。
輸出定序器(480)使用MMCO/RPS資訊(432)識別待以輸出次序產生之下一訊框何時可用於經解碼訊框儲存區(460)。當待以輸出次序產生之下一訊框(481)可用於經解碼訊框儲存區(460)時,該訊框(481)由輸出定序器(480)讀取且輸出至輸出目的地(490)(例如,顯示器)。
一般而言,訊框由輸出定序器(480)自經解碼訊框儲存區(460)輸出之次序可不同於訊框由解碼器(450)解碼之次序。
該部分描述用於編碼及/解碼具有用於指示圖像源資料之編碼器信心水準之資訊(例如,語法元素、標記或上述各者之延伸)的位元流之許多變更。詳言之,該部分呈現SEI訊息包括訊息中之圖像源資料之信心度(例如,對SEI訊息中之progressive_source_flag、mixed_characteristics_flag及/或duplicate_flag(或對任何等效標記或語法元素)之準確性的信心水準)的指示的實例。此類額外資訊係有用的,因為一些編碼器可能不能夠用確定性決定用於圖像源資料之準確值。添加指示器來表示對圖像源資料之信心度可說明解碼器決定如何最佳地使用及呈現接收之圖像資料。此外,編碼器亦可遇到具有混合連續/交錯特徵之視訊內容。在某些實施中,可包括額外語法元素或標記以指示內容具有混合特徵,而非展示純交錯源特徵或純連續源特徵。上述編碼器或解碼器中之任一者可經調適使用揭示之編碼技術及解碼技術。
根據HEVC標準之草案8(「High efficiency video coding(HEVC)text specification draft 8」,2012年7月斯德哥爾摩第十次會議之JCTVC-I1003_d8),「場指示」SEI訊息中存在兩個語法元素:progressive_source_flag及duplicate_flag,該等元素用於描述圖像源之特性。progressive_source_flag值「1」指示相關圖像之掃描類型應解釋為連續的,且progressive_source_flag值「0」指示相關圖像之掃描類型應解釋為交錯的。當未呈現場指示SEI訊息時,progressive_source_flag之值經推斷等於「1」。在其他實施中,反轉該等值。
此外,duplicate_flag值「1」指示當前圖像為輸出次序之先前圖像的重複,且duplicate_flag值「0」指示當前圖像不為重複圖像。在其他實施中,反轉該等值。
然而,在一些應用情境中,HEVC編碼系統可能不具有足夠資訊以決定用於progressive_source_flag及/或duplicate_flag語法元素之正確值。例如,編碼系統可能僅僅接收場或訊框作為輸入視訊資料,且編碼系統可具有對編碼系統之計算能力、記憶容量或延遲特徵的限制,該等限制使編碼器不能對源內容特徵執行深入分析。進一步地,一些編碼系統可僅具有對來自未壓縮圖像之資訊的有限存取。因此,編碼系統可能難以決定源之真正特徵。源內容可展示混合特徵亦是可能的。舉例而言,源內容可為交錯內容與連續內容之混合。應用於連續掃描視訊之基於場之文字或圖形覆蓋為具有混合特徵之內容的一個實例。
為解決該等問題,揭示之技術的實施例包含編碼器,該編碼器能夠在編碼器指示內容是否為交錯或連續時,指示編碼器具有之信心度。解碼器或顯示子系統可使用指示之信心度控制後續處理,諸如,去交錯處理或解碼器是否應偵測用於自身之源視訊特性,而非依賴於由編碼器指示之彼等特性。進一步地,在一些實施中,編碼器能夠指示經編碼內容是否具有混合特徵。混合連續-交錯內容之該指示亦可由解碼器使用以適當處理經編碼位元流。
在某些實施例中,SEI訊息(例如,伴隨圖像之SEI訊息)包括用於指示源指示之信心水準之標記或語法元素(例如,指示編碼器之對內容是否為交錯或連續資料的源指示及/或編碼器之重複圖像指示的準確性的值)。
在HEVC標準之草案8之上下文中,例如,場指示SEI訊息可
包括語法元素,該語法元素用於指示場指示資訊之語法元素之信心水準,具體地,progressive_source_flag及/或duplicate_flag之信心水準,該等語法元素指示源視訊特性。此外,在某些實施中,場指示SEI訊息亦包括標記,該標記用於指示經編碼內容包括混合特徵(例如,混合連續及交錯內容)與否。
在一個特定實施中,用於field_indication SEI訊息之語法如下:
在上文所示示例性語法注解為「mixed_characteristics_flag」及「confidence_level」語法元素。
在一個示例性實施中,等於「1」之mixed_characteristics_flag指示視訊內容具有混合連續及交錯掃描特徵。此類混合特徵視訊可例如在基於場之圖形覆蓋另外連續掃描視訊內容時產生。等於「0」之
mixed_characteristics_flag指示視訊內容不具有混合特徵。在其他實施中,mixed_characteristics_flag之值自上述彼等值反轉。
confidence_level語法元素可為一位元語法元素、二位元語法元素或多於二位元語法元素。在某些實施例中,confidence_level語法元素為二位元語法元素。在一個特定實施中,例如,等於「3」之confidence_level語法元素指示progressive_source_flag、source_scan_type、mixed_characteristics_flag或duplicate_flag中之任何一或更多者係正確的及解碼器可確信地依賴該資訊的高度保證;等於「2」之confidence_level語法元素指示該等語法元素中之任何一或更多個語法元素係正確的及建議後續處理(例如,後續解碼器處理)施行資訊,除非在解碼器中可用實質能力進行對內容特徵之進一步分析的合理信心度;等於「1」之confidence_level語法元素指示,若可行,應進行內容特徵之進一步分析;且等於「0」之confidence_level語法元素指示後續處理不應依賴該等語法元素之正確性。
應理解,該等四個示例性水準僅為實例,且可使用任何其他數量之水準。例如,在某些實施例中,2位元信心水準語法元素可用以標記三個信心水準:高確定性水準,在該高確定性水準中,解碼器必須(或應)使用源指示資訊;中等確定性水準,在該中等確定性水準中,解碼器應施行資訊,除非解碼器可在解碼期間準確偵測源資訊;及低確定性或無確定性水準,在該低確定性或無確定性水準中,解碼器應執行解碼器自身對源指示資訊之偵測。
此外,在某些實施例中,使用多個confidence_level語法元素。例如,單獨confidence_level語法元素可存在progressive_source_flag、mixed_characteristics_flag或duplicate_flag。
如上所述,揭示之技術的實施例包括以下步驟:將資訊添加至額外強化資訊(SEI)訊息,該訊息指示訊息中所含之資料之準確性的信心水準。例如,在特定實施中,揭示之技術包含對HEVC標準中之圖像水準SEI訊息的延伸。進一步地,或者或另外,一些實施例包括用於描述視訊內容之源特徵的標記(例如,用於指示視訊包括混合特徵之標記)。信心水準語法元素及源特徵語法元素在例如編碼器具有關於視訊內容之起點之掃描格式的有限資訊、有限分析資源及/或對未壓縮圖像之有限存取的情景下可能係有用的。
在某些情況下,解碼器系統具有有限計算能力、對未壓縮圖像之有限存取,或具有一些其他限制,該限制使得解碼器難以或不可能分析經解碼視訊或以經定製來回應指示之信心水準資訊之方式處理該視訊。在此等情況下,解碼器可能不能夠推導出用於自身之內容特徵。因此,在某些實施例中,解碼器系統「按現狀」施行經編碼位元流中之場指示或圖像定時資訊。亦即,在某些實施中,解碼器不使用confidence_level語法元素,但解碼器遵循SEI訊息中之資訊,而不顧信心水準為何。
應理解,在揭示之技術的某些實施例中,mixed_characteristics_flag及confidence_level指示語法元素可彼此單獨地實施。若confidence_level指示語法元素在沒有mixed_characteristics_flag的情況下使用,confidence_level指示之語義將典型地不具有任何提及mixed_characteristics_flag之語義。
最近,根據HEVC標準之草案10(「High efficiency video coding (HEVC)text specification draft 10」,2013年1月日內瓦第十二次會議之JCTVC-L1003_v34),源類型資訊使用不同標記傳遞。詳言之,根據草案10,圖像源資訊包括在「圖像定時」SEI訊息中。詳言之,圖像定時SEI訊息為
圖像水準SEI訊息,該訊息包括source_scan_type語法元素及duplicate_flag語法元素。進一步地,在草案10中,等於「1」之source_scan_type值指示相關圖像之源掃描類型應解釋為連續的,且等於「0」之source_scan_type值指示相關圖像之源掃描類型應解釋為交錯的。此外,等於「2」之source_scan_type值指示相關圖像之源掃描類型係未知或未指定的,而等於「3」之source_scan_type保留以用於未來使用且應由解碼器解釋為等於值「2」。
在特定實施中,source_scan_type值由設定檔、層及/或水準資訊中(例如,設定檔、層及/或水準SEI訊息中)的兩個語法元素決定:general_progressive_source_flag及general_interlaced_source_flag。此外,source_scan type語法元素不可能總是存在,在此情況下,general_progressive_source_flag及general_interlaced_source_flag可用於決定源類型。
在一個示例性實施中,general_progressive_source_flag及general_interlaced_source_flag解釋為如下:若general_progressive_source_flag等於「1」,且general_interlaced_source_flag亦等於「0」,相關編碼視訊區段中之圖像的源掃描類型則應解釋為連續的。在此情況下,且在一個特定實施中,source_scan_type值在存在時等於「1」,且在不存在時應推斷等於「1」。若general_progressive_source_flag等於「0」,且general_interlaced_source_flag等於「1」,相關編碼視訊區段中之圖像的源掃描類型則應解釋為交錯的。在此情況下,且在一個特定實施中,source_scan_type值在存在時等於「0」,且在不存在時應推斷等於「0」。若general_progressive_source_flag等於「0」,且
general_interlaced_source_flag等於「0」,相關編碼視訊區段中之圖像的源掃描類型則應解釋為未知或未指定的。在此情況下,且在一個特定實施中,source_scan_type值在存在時為「2」,且在不存在時應推斷為「2」。若general_progressive_source_flag等於「1」,且general_interlaced_source_flag等於「1」,相關編碼視訊區段中之每一圖像之源掃描類型則在圖像水準處使用語法元素(例如,圖像定時SEI訊息中之source_scan_type)獨立地指示。應理解,該等值僅出於示例性目的,且不同值或值之組合可用於表示連續圖像、交錯圖像或具有未知掃描源之圖像。
general_progressive_source_flag及general_interlaced_source_flag類似於上述progressive_source_flag及confidence_level語法元素操作。詳言之,如同progressive_source_flag及confidence_level語法元素之集體操作,general_progressive_source_flag及general_interlaced_source_flag一起操作以識別一或更多個圖像是否為連續或交錯的及與彼決定相關聯之信心水準。舉例而言,當general_progressive_source_flag及general_interlaced_source_flag為「1」及「0」(或「0」及「1」)時,語法元素則指示圖像為連續(或交錯的)。此外,該指示具有高信心水準。然而,若圖像類型中存在低信心水準,general_progressive_source_flag及general_interlaced_source_flag則各自具有「0」值,該值指示源掃描類型為未知的。因此,general_progressive_source_flag及general_interlaced_source_flag僅使用略微不同之格式呈現具有與上文介紹之confidence_level語法元素及progressive_source_flag相同之品質或特徵的資訊。
HEVC標準之草案10亦包括duplicate_flag語法元素。在所述
特定實施中,duplicate_flag值「1」指示當前圖像經指示為以輸出次序之先前圖像的重複,而duplicate_flag值「0」指示當前圖像未經指示為以輸出次序之先前圖像的重複。
在HEVC標準之草案10的上下文中,圖像定時SEI訊息可包括source_scan_type語法元素,該source_scan_type語法元素用於指示圖像是否為連續、交錯或未知的(如上所述)。圖像定時SEI訊息亦可包括duplicate_flag。
在一個特定實施中,用於圖像定時SEI訊息之語法(亦稱為pic_timing SEI訊息)如下:
此外,雖然當前不以草擬HEVC標準,但在某些實施中,圖像定時SEI訊息亦可包括標記,該標記用於指示經編碼內容包括混合特徵(例如,混合連續及交錯內容)與否。舉例而言,且在一個示例性實施中,mixed_characteristics_flag可用於指示圖像是否具有混合連續及交錯掃描特徵。例如,等於「1」之mixed_characteristics_flag指示視訊內容具有混合連續及交錯掃描特徵。此類混合特徵視訊可例如在基於場之圖形覆蓋另外連續掃描視訊內容時產生。等於「0」之mixed_characteristics_flag指示視訊內容不具有混合特徵。在其他實施中,mixed_characteristics_flag之值自上述彼等值反轉。
另外,單獨信心水準語法元素可與general_progressive_source_flag、general_interlaced_source_flag及/或source_scan_typ語法元素一起形成及使用。例如,信心水準語法元素可用以指示由general_progressive_source_flag及general_interlaced_source_flag指示之資訊的信心。信心水準語法元素可具有任何數量之水準。舉例而言,語法元素可為單位元語法元素、二位元元語法元素或更大。此外,在某些實施例中,使用多個confidence_level語法元素。例如,單獨confidence_level語法元素可存在source_scan_type元素、mixed_characteristics_flag或duplicate_flag。
第5圖為根據揭示之技術的實施例,用於一般化編碼方法之流
程圖500。圖示之方法可使用計算硬體(例如,電腦處理器或積體電路)執行。例如,方法可藉由諸如第1圖中所示之計算硬體執行。此外,方法亦可實施為儲存於一或更多個電腦可讀儲存媒體(例如,有形電腦可讀儲存媒體)上之電腦可執行指令。
在510處,編碼位元流或位元流部分之一或更多個圖像。在所示實施例中,編碼一或更多個圖像連同一或更多個語法元素,該一或更多個語法元素用於指示用於一或更多個圖像之源掃描類型。一或更多個語法元素可包括(例如)於SEI訊息中。進一步地,語法元素可為圖像特定的或可識別兩個或更多個圖像之特徵。在所示實施例中,語法元素指示用於經編碼圖像之以下狀態中之一或更多個狀態:(a)指示一或更多個圖像為交錯掃描類型之狀態、(b)指示一或更多個圖像為連續掃描類型之狀態及(c)指示一或更多個圖像為未知源掃描類型之狀態。
在512處,經編碼位元流或位元流部分為輸出(例如,經儲存於非揮發性電腦可讀媒體及/或經傳輸)。
在特定實施中,一或更多個語法元素包含:第一標記,該第一標記指示一或更多個圖像是否為交錯掃描類型;及第二標記,該第二標記指示一或更多個圖像是否為連續掃描類型。在其他實施中,一或更多個語法元素包含單一語法元素。更進一步,在一些實施中,一或更多個語法元素包含指示一或更多個圖像為連續掃描類型與否之一或更多個位元的第一語法元素(源指示器)及指示第一標記之值之信心水準的一或更多個位元的第二語法元素(信心水準)。在該等實施中,信心水準語法元素可指示兩個或更多個信心水準。舉例而言,信心水準語法元素可包含四個信心水準,該等信心水準中之第一者表示源指示器準確,該等信心水準中之第二者表示源指示器可能準確,該等信心水準中之第三者指示源指示器可能不準
確,及該等信心水準中之一第四者指示源指示器不準確。
在一些實施中,編碼動作可進一步包括以下步驟:編碼指示一或更多個圖像是否為重複圖像之重複圖像標記及/或指示一或更多個圖像是否包括視訊類型之混合的混合資料標記。
第6圖為根據揭示之技術的實施例,用於一般化編碼方法之流程圖600。圖示之方法可使用計算硬體(例如,電腦處理器或積體電路)執行。例如,方法可藉由諸如第1圖中所示之計算硬體或諸如儲存於一或更多個電腦可讀儲存媒體(例如,有形電腦可讀儲存媒體)上之電腦可執行指令執行。
在610處,接收(例如,載入、緩衝或以其他方式準備用於進一步處理)位元流或位元流部分之一或更多個圖像。在所示實施例中,位元流或位元流部分進一步包括一或更多個語法元素,該一或更多個語法元素用於指示用於一或更多個圖像之圖像源掃描類型。語法元素可為圖像特定的或可識別兩個或更多個圖像之特徵。在所示實施例中,語法元素指示用於一或更多個經解碼圖像之以下狀態中之一或更多個狀態:(a)指示一或更多個圖像為交錯掃描類型之狀態、(b)指示一或更多個圖像為連續掃描類型之狀態及(c)指示一或更多個圖像為未知源掃描類型之狀態。
在612處,解碼一或更多個圖像(例如,使用上文揭示之解碼、本文所述之草案HEVC標準中描述之解碼或任何其他已知解碼技術中之任何技術。
在614處,根據由一或更多個語法元素識別之源掃描類型處理經解碼之一或更多個圖像。舉例而言,在一些實施例中,可根據識別之掃描類型顯示一或更多個圖像(例如,可顯示交錯或連續掃描視訊)。在其他實施例中,經解碼之一或更多個圖像可經處理用於後續顯示。例如,實施
所示方法之解碼器裝置可使表示為交錯的圖像去除交錯且隨後轉碼、儲存及/或傳輸所得視訊(例如,將視訊傳輸至另一裝置或模組,該裝置或模組儲存視訊或使視訊得以顯示)。在一或更多個語法元素指示低信心水準或掃描類型為未知的情況下,處理步驟可包含以下步驟:分析一或更多個圖像,以便決定一或更多個圖像之掃描類型。
在特定實施中,一或更多個語法元素包含:第一標記,該第一標記指示一或更多個圖像是否為交錯掃描類型;及第二標記,該第二標記指示一或更多個圖像是否為連續掃描類型。在其他實施中,一或更多個語法元素包括單一語法元素。更進一步,在一些實施中,一或更多個語法元素包含指示一或更多個圖像為連續掃描類型與否之一或更多個位元的第一語法元素(源指示器)及指示第一標記之值之信心水準的一或更多個位元的第二語法元素(信心水準)。在該等實施中,信心水準語法元素可指示兩個或更多個信心水準。舉例而言,信心水準語法元素可包含四個信心水準,該等信心水準中之第一者表示源指示器準確,該等信心水準中之第二者表示源指示器可能準確,該等信心水準中之第三者指示源指示器可能不準確,及該等信心水準中之第四者指示源指示器不準確。
在一些實施中,解碼動作可進一步包括以下步驟:解碼指示一或更多個圖像是否為重複圖像之重疊圖像標記及/或指示一或更多個圖像是否包括視訊類型之混合的混合資料標記。
鑒於可應用所揭示之發明原理的許多可能實施例,應認識到,所示實施例僅為本發明之較佳實例且不應作為對本發明之範疇的限制。相反,本發明之範疇由以下申請專利範圍及申請專利範圍之等效物限定。因此,吾人主張所有吾方發明均在該等申請專利範圍及申請專利範圍之等效物之範疇及精神內。
500‧‧‧流程圖
510‧‧‧步驟
512‧‧‧步驟
Claims (20)
- 一種由一編碼器裝置執行之方法,該方法包含以下步驟:將一或更多個圖像編碼於一位元流或位元流部分中,其中該編碼步驟包含以下步驟:將用於識別該一或更多個圖像之一源掃描類型之一或更多個語法元素編碼於該位元流或位元流部分中,該一或更多個語法元素至少具有指示該一或更多個圖像為一交錯掃描類型之一狀態、指示該一或更多個圖像為一連續掃描類型之一狀態及指示該一或更多個圖像為一未知源掃描類型之一狀態;及輸出該位元流或位元流部分。
- 如請求項1所述之方法,其中該一或更多個語法元素包含:一第一標記,該第一標記指示該一或更多個圖像是否為一交錯掃描類型;及一第二標記,該第二標記指示該一或更多個圖像是否為一連續掃描類型。
- 如請求項1所述之方法,其中該一或更多個語法元素包含一單一語法元素。
- 如請求項1所述之方法,其中該一或更多個語法元素包含:一第一標記,該第一標記指示該一或更多個圖像是否為一連續掃描類型;及一或更多個位元之一第二語法元素,該第二語法元素指示該第一標記之值的一信心水準。
- 如請求項1所述之方法,其中該編碼步驟進一步包含以下步驟:編碼一重複圖像標記,該標記指示該等圖像中之一或更多個圖像是否為重複圖像。
- 如請求項1所述之方法,其中該編碼步驟進一步包含以下步驟:編碼一混合資料標記,該標記指示該等圖像中之一或更多個圖像是否包括掃描類型的一混合。
- 一種由一解碼器裝置執行之方法,該方法包含以下步驟:將一或更多個圖像接收於一位元流或位元流部分中,該位元流或位元流部分進一步包括用於識別該一或更多個圖像之一源掃描類型之一或更多個語法元素,該一或更多個語法元素至少具有指示該一或更多個圖像為一交錯掃描類型之一狀態、指示該一或更多個圖像為一連續掃描類型之一狀態及指示該一或更多個圖像為一未知源掃描類型之一狀態;解碼該一或更多個圖像;及根據該一或更多個語法元素中識別之該源掃描類型,處理該解碼之一或更多個圖像。
- 如請求項7所述之方法,其中該一或更多個語法元素包含:一第一標記,該第一標記指示該一或更多個圖像是否為 一交錯類型;及一第二標記,該第二標記指示該一或更多個圖像是否為一連續類型。
- 如請求項7所述之方法,其中該一或更多個語法元素包含一單一語法元素。
- 如請求項7所述之方法,其中該一或更多個語法元素包含:一第一標記,該第一標記指示該一或更多個圖像是否為一連續類型;及一或更多個位元之一第二語法元素,該第二語法元素指示該第一標記之值的一信心水準。
- 如請求項7所述之方法,其中該位元流或位元流部分進一步包含一重複圖像標記,該標記指示該等圖像中之一或更多個圖像是否為重複圖像。
- 如請求項7所述之方法,其中該位元流或位元流部分進一步包含一混合資料標記,該標記指示該等圖像中之一或更多個圖像是否包括視訊類型的一混合。
- 一種儲存用於使一計算裝置執行一方法之電腦可執行指令之有形電腦可讀媒體,該方法包含以下步驟:將一圖像編碼於一位元流或位元流部分中,其中該編碼步驟包括以下步驟:將包含一源指示器及一信心水準指示器之一訊息編碼於該位元流或位元流部分中,該源指示器指示 該圖像是否編碼成一交錯掃描圖像或一連續掃描圖像,該信心水準指示器指示該源指示器為準確的一確定性水準;及輸出該位元流或位元流部分。
- 如請求項13所述之有形電腦可讀媒體,其中該訊息進一步包含一重複圖像標記或一混合資料標記中之一或更多個標記,該重複圖像標記指示該圖像是否為一重複圖像,該混合資料標記指示該圖像是否包括視訊類型之一混合。
- 如請求項13所述之有形電腦可讀媒體,其中該信心水準指示器包含兩個或更多個信心水準。
- 如請求項15所述之有形電腦可讀媒體,其中該信心水準指示器包括四個信心水準,該等信心水準中之一第一者表示該源指示器準確,該等信心水準中之一第二者表示該源指示器可能準確,該等信心水準中之一第三者指示該源指示器可能不準確,及該等信心水準中之一第四者指示該源指示器不準確。
- 一種儲存用於使一計算裝置執行一方法之電腦可執行指令之有形電腦可讀媒體,該方法包含以下步驟:接收包含用於一圖像之經編碼資料之一位元流或位元流部分,該經編碼資料包括一訊息,該訊息包含一源格式指示器及一信心水準指示器,該源格式指示器指示該圖像是否為 一交錯掃描圖像或一連續掃描圖像,該信心水準指示器指示該源格式指示器為準確的一確定性水準;解碼該圖像;及根據由該訊息指示之一源格式,處理該圖像。
- 如請求項17所述之有形電腦可讀媒體,其中該訊息進一步包含一重複圖像標記或一混合資料標記中之一或更多個標記,該重複圖像標記指示該圖像是否為一重複圖像,該混合資料標記指示該圖像是否包括視訊類型之一混合。
- 如請求項17所述之有形電腦可讀媒體,其中該信心水準指示器包括兩個或更多個信心水準。
- 如請求項19所述之有形電腦可讀媒體,其中該信心水準指示器包括四個信心水準,該等信心水準中之一第一者表示該源指示器準確,該等信心水準中之一第二者表示該源指示器可能準確,該等信心水準中之一第三者指示該源指示器可能不準確,及該等信心水準中之一第四者指示該源指示器不準確。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261708041P | 2012-09-30 | 2012-09-30 | |
US201361777913P | 2013-03-12 | 2013-03-12 | |
US13/859,626 US20140092992A1 (en) | 2012-09-30 | 2013-04-09 | Supplemental enhancement information including confidence level and mixed content information |
Publications (1)
Publication Number | Publication Date |
---|---|
TW201419873A true TW201419873A (zh) | 2014-05-16 |
Family
ID=50385187
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW102135371A TW201419873A (zh) | 2012-09-30 | 2013-09-30 | 包含信心水準及混合內容資訊之額外強化資訊 |
Country Status (8)
Country | Link |
---|---|
US (8) | US20140092992A1 (zh) |
EP (1) | EP2901687A1 (zh) |
JP (5) | JP2015534777A (zh) |
KR (1) | KR20150067156A (zh) |
CN (2) | CN104662903A (zh) |
AR (1) | AR092716A1 (zh) |
TW (1) | TW201419873A (zh) |
WO (1) | WO2014052250A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10051311B2 (en) * | 2012-07-06 | 2018-08-14 | Sharp Kabushiki Kaisha | Electronic devices for signaling sub-picture based hypothetical reference decoder parameters |
US20140092992A1 (en) | 2012-09-30 | 2014-04-03 | Microsoft Corporation | Supplemental enhancement information including confidence level and mixed content information |
US10290036B1 (en) * | 2013-12-04 | 2019-05-14 | Amazon Technologies, Inc. | Smart categorization of artwork |
US10178397B2 (en) * | 2014-03-24 | 2019-01-08 | Qualcomm Incorporated | Generic use of HEVC SEI messages for multi-layer codecs |
EP3249912A4 (en) * | 2015-01-23 | 2018-10-24 | LG Electronics Inc. | Method and device for transmitting and receiving broadcast signal for restoring pulled-down signal |
CN110233716A (zh) * | 2019-05-31 | 2019-09-13 | 北京文香信息技术有限公司 | 一种通信交互方法、装置、存储介质、终端设备及服务器 |
JP7551779B2 (ja) | 2020-05-26 | 2024-09-17 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 可変フレームレートビデオのためのピクチャメタデータ |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2742900B1 (fr) * | 1995-12-22 | 1998-02-13 | Thomson Multimedia Sa | Procede d'interpolation de trames progressives |
JP3387769B2 (ja) | 1996-04-05 | 2003-03-17 | 松下電器産業株式会社 | 映像データ送信方法、映像データ送信装置、及び映像データ再生装置 |
US6733116B1 (en) * | 1998-10-16 | 2004-05-11 | Silverbrook Research Pty Ltd | Ink jet printer with print roll and printhead assemblies |
US6493392B1 (en) * | 1999-12-27 | 2002-12-10 | Hyundai Electronics Industries Co., Ltd. | Method for coding digital interlaced moving video |
JP2001204026A (ja) | 2000-01-21 | 2001-07-27 | Sony Corp | 画像情報変換装置及び方法 |
JP4356202B2 (ja) | 2000-06-29 | 2009-11-04 | パナソニック株式会社 | 映像信号処理装置 |
CN1291589C (zh) | 2003-04-11 | 2006-12-20 | 华亚微电子〔上海〕有限公司 | 隔行与逐行视频信号的帧频转换方法 |
US7426308B2 (en) * | 2003-07-18 | 2008-09-16 | Microsoft Corporation | Intraframe and interframe interlace coding and decoding |
US8064520B2 (en) | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
US8107531B2 (en) | 2003-09-07 | 2012-01-31 | Microsoft Corporation | Signaling and repeat padding for skip frames |
US7724827B2 (en) | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
US8135261B1 (en) | 2003-12-09 | 2012-03-13 | Apple Inc. | Insertion and usage of metadata in digital video |
US8351514B2 (en) * | 2004-01-16 | 2013-01-08 | General Instrument Corporation | Method, protocol, and apparatus for transporting advanced video coding content |
JP4931034B2 (ja) * | 2004-06-10 | 2012-05-16 | 株式会社ソニー・コンピュータエンタテインメント | 復号装置および復号方法、並びに、プログラムおよびプログラム記録媒体 |
CN101005620B (zh) * | 2004-09-03 | 2011-08-10 | 微软公司 | 为隔行扫描和逐行扫描视频编码和解码宏块和运动信息中的革新 |
US7839933B2 (en) * | 2004-10-06 | 2010-11-23 | Microsoft Corporation | Adaptive vertical macroblock alignment for mixed frame video sequences |
US7450180B2 (en) * | 2004-12-29 | 2008-11-11 | General Instrument Corporation | Method for detecting interlaced material and field order |
JP4207009B2 (ja) | 2005-03-09 | 2009-01-14 | ソニー株式会社 | 画像処理装置及び方法 |
US7561206B2 (en) * | 2005-06-29 | 2009-07-14 | Microsoft Corporation | Detecting progressive video |
US7405767B2 (en) * | 2005-07-01 | 2008-07-29 | Himax Technologies, Inc. | Video image conversion method for interlaced image to progressive image and system thereof |
KR101255509B1 (ko) * | 2006-06-30 | 2013-04-16 | 엘지디스플레이 주식회사 | 램프 구동방법 및 장치 |
US8699561B2 (en) * | 2006-08-25 | 2014-04-15 | Sony Computer Entertainment Inc. | System and methods for detecting and handling errors in a multi-threaded video data decoder |
US8250618B2 (en) | 2006-09-18 | 2012-08-21 | Elemental Technologies, Inc. | Real-time network adaptive digital video encoding/decoding |
US20080291999A1 (en) | 2007-05-24 | 2008-11-27 | Julien Lerouge | Method and apparatus for video frame marking |
US20100309987A1 (en) * | 2009-06-05 | 2010-12-09 | Apple Inc. | Image acquisition and encoding system |
US8416888B2 (en) | 2009-12-07 | 2013-04-09 | Allen LeRoy Limberg | Coding and decoding of 8-VSB digital television signals for mobile/handheld receivers |
JP2011223357A (ja) * | 2010-04-09 | 2011-11-04 | Sony Corp | 画像処理装置および方法 |
JP2012175613A (ja) * | 2011-02-24 | 2012-09-10 | Sony Corp | 画像送信装置、画像送信方法、及びプログラム |
CN102223541B (zh) * | 2011-07-14 | 2013-07-03 | 北京工业大学 | 一种混合图像的编码方法 |
US20140007911A1 (en) * | 2012-07-05 | 2014-01-09 | General Electric Company | Heating element for a dishwashing appliance |
US20140078249A1 (en) * | 2012-09-20 | 2014-03-20 | Qualcomm Incorporated | Indication of frame-packed stereoscopic 3d video data for video coding |
US9161039B2 (en) * | 2012-09-24 | 2015-10-13 | Qualcomm Incorporated | Bitstream properties in video coding |
US20140092992A1 (en) * | 2012-09-30 | 2014-04-03 | Microsoft Corporation | Supplemental enhancement information including confidence level and mixed content information |
-
2013
- 2013-04-09 US US13/859,626 patent/US20140092992A1/en not_active Abandoned
- 2013-09-23 CN CN201380050997.5A patent/CN104662903A/zh active Pending
- 2013-09-23 WO PCT/US2013/061243 patent/WO2014052250A1/en active Application Filing
- 2013-09-23 JP JP2015534585A patent/JP2015534777A/ja active Pending
- 2013-09-23 CN CN201811172379.9A patent/CN109274972B/zh active Active
- 2013-09-23 EP EP13774861.2A patent/EP2901687A1/en active Pending
- 2013-09-23 KR KR1020157008096A patent/KR20150067156A/ko not_active Ceased
- 2013-09-27 AR ARP130103489A patent/AR092716A1/es active IP Right Grant
- 2013-09-30 TW TW102135371A patent/TW201419873A/zh unknown
-
2018
- 2018-08-24 JP JP2018157695A patent/JP2018182770A/ja active Pending
-
2019
- 2019-05-17 US US16/416,017 patent/US11115668B2/en active Active
-
2020
- 2020-03-23 JP JP2020051841A patent/JP2020096388A/ja active Pending
-
2021
- 2021-07-22 US US17/382,517 patent/US11451795B2/en active Active
-
2022
- 2022-07-07 JP JP2022110031A patent/JP7376647B2/ja active Active
- 2022-08-17 US US17/889,978 patent/US11902541B2/en active Active
- 2022-09-19 US US17/947,291 patent/US11902544B2/en active Active
- 2022-09-19 US US17/947,263 patent/US11902542B2/en active Active
- 2022-09-19 US US17/947,272 patent/US11902543B2/en active Active
-
2023
- 2023-10-26 JP JP2023183887A patent/JP2023175040A/ja active Pending
- 2023-12-29 US US18/400,318 patent/US20240155135A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20140092992A1 (en) | 2014-04-03 |
US11902543B2 (en) | 2024-02-13 |
US11902544B2 (en) | 2024-02-13 |
US20240155135A1 (en) | 2024-05-09 |
US20230015071A1 (en) | 2023-01-19 |
US20230027250A1 (en) | 2023-01-26 |
CN109274972A (zh) | 2019-01-25 |
US20230017315A1 (en) | 2023-01-19 |
JP2020096388A (ja) | 2020-06-18 |
US20190273927A1 (en) | 2019-09-05 |
US20210360264A1 (en) | 2021-11-18 |
US20220394277A1 (en) | 2022-12-08 |
US11902542B2 (en) | 2024-02-13 |
CN104662903A (zh) | 2015-05-27 |
EP2901687A1 (en) | 2015-08-05 |
AR092716A1 (es) | 2015-04-29 |
US11115668B2 (en) | 2021-09-07 |
JP7376647B2 (ja) | 2023-11-08 |
US11902541B2 (en) | 2024-02-13 |
JP2018182770A (ja) | 2018-11-15 |
WO2014052250A1 (en) | 2014-04-03 |
JP2022125298A (ja) | 2022-08-26 |
US11451795B2 (en) | 2022-09-20 |
KR20150067156A (ko) | 2015-06-17 |
JP2015534777A (ja) | 2015-12-03 |
JP2023175040A (ja) | 2023-12-08 |
CN109274972B (zh) | 2022-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7376647B2 (ja) | 信頼性レベル及び混合コンテンツ情報を含む付加拡張情報 | |
TWI533677B (zh) | 用於減少視訊編碼及解碼中之延遲的方法、系統及電腦可讀取媒體 | |
KR102176327B1 (ko) | 비디오 랜덤 액세스를 간단하게 하기 위한 제한사항 및 유닛 타입 | |
KR102179360B1 (ko) | 비디오 스플라이싱을 단순화시키기 위한 버퍼링 정보에 대한 구문 및 의미 | |
EP3061233B1 (en) | Representing blocks with hash values in video and image coding and decoding | |
TW201431354A (zh) | 參考圖列表之修改資訊之條件式信號傳遞 |