TW202341732A - 視訊編解碼方法和裝置 - Google Patents

Abstract

一種用於視訊編解碼的方法和裝置被提出。根據該方法，與圖像區域相關聯的輸入資料被接收，該圖片區域具有第一顏色圖像區域和第二顏色圖像區域，輸入資料包括編碼器側待編碼圖像區域的像素資料或在解碼端與待解碼的圖片區域相關聯的編解碼資料，第一顔色圖片區域根據第一顔色分割樹被劃分為一個或多個第一顔色塊，第二顔色圖片區域根據第二顔色分割樹被劃分為一個或多個第二顔色塊。使用上下文形成，熵編碼或解碼被應用於第二顏色分割樹，其中上下文形成具有與第一顏色分割樹相關的資訊。然後，一個或多個第一顏色塊和一個或多個第二顏色塊被編碼或解碼。

Description

視訊編解碼方法和裝置

本發明涉及視訊編解碼系統。具體地，本發明涉及在視訊編解碼系統中使用單獨色度分割樹和分割樹的熵來劃分顏色塊。

多功能視訊編解碼（Versatile video coding，簡稱VVC）是由ITU-T視訊編解碼專家組（Video Coding Experts Group，簡稱VCEG）的聯合視訊專家組（Joint Video Experts Team，簡稱JVET）和ISO/IEC運動圖像專家組（Moving Picture Experts Group，簡稱MPEG）共同制定的最新國際視訊編解碼標準。該標準已作為ISO標準發佈：ISO/IEC 23090-3:2021，資訊技術-沉浸式媒體的編解碼表示-第3部分：多功能視訊編解碼，於2021年2月發佈。VVC基於其前身HEVC（High Efficiency Video Coding）藉由添加更多的編解碼工具來開發，以提高編解碼效率，還可以處理各種類型的視訊源，包括3維（3-dimensional，簡稱3D）視訊訊號。

第1A圖示出包含迴圈處理的示例適應性幀間/幀內視訊編解碼系統。對於幀內預測，預測資料根據當前圖片中先前編解碼的視訊資料導出。對於幀間預測112，運動估計（Motion Estimation，簡稱ME）在編碼器側被執行以及運動補償（Motion Compensation，簡稱MC）基於ME的結果被執行以提供從其他圖片和運動資料導出的預測資料。開關114選擇幀內預測110或幀間預測112以及所選擇的預測資料被提供給加法器116以形成預測誤差，也被稱為殘差。然後，預測誤差由變換（Transform，簡稱T）118和隨後的量化（quantization，簡稱Q）120處理。接著，變換和量化的殘差由熵編碼器122編碼以包括在對應於壓縮視訊資料的視訊位元流中。然後，與變換係數相關聯的位元流與輔助資訊（例如與幀內預測和幀間預測相關聯的運動和編解碼模式）以及其他資訊（例如與應用於底層圖像區域的環路濾波器相關聯的參數）一起被打包。與幀內預測110，幀間預測112和環路濾波器130相關聯的輔助資訊被提供給熵編碼器122，如第1A圖所示。當幀間預測模式被使用時，一個或多個參考圖片也必須在編碼器端被重構。因此，經變換和量化的殘差由逆量化（Inverse Quantization，簡稱IQ）124和逆變換（Inverse Transformation，簡稱IT）126處理以恢復殘差。然後在重構（Reconstruction，簡稱REC）128處殘差被加回到預測資料136以重構視訊資料。重構視訊資料可以被存儲在參考圖片緩衝器134中並用於預測其他幀。

如第1A圖所示，輸入的視訊資料在編碼系統中經過一系列處理。 由於一系列處理，來自REC 128的重構視訊資料可能會受到各種損害。因此，環路濾波器130經常在重構視訊資料被存儲在參考圖片緩衝器134中之前應用於重構視訊資料以提高視訊品質。例如，去塊濾波器（deblocking filter，簡稱DF），樣本適應性偏移（Sample Adaptive Offset，簡稱SAO）和適應性環路濾波器（Adaptive Loop Filter，簡稱ALF）。環路濾波器資訊可能需要被合併到位元流中，以便解碼器可以正確地恢復所需的資訊。因此，環路濾波器資訊也被提供給熵編碼器122以合併到位元流中。在第1A圖中，環路濾波器130在重構樣本被存儲在參考圖片緩衝器134中之前被應用於重構視訊。第1A圖中的系統旨在說明典型視訊編碼器的示例性結構。它可能對應於高效視訊編解碼（High Efficiency Video Coding，簡稱HEVC）系統，VP8，VP9，H.264或VVC。

如第1B圖所示，解碼器可以使用與編碼器中除了變換118和量化120之外相似或相同的功能塊，因為解碼器只需要逆量化124和逆變換126。解碼器使用熵解碼器140而不是熵編碼器122將視訊位元流解碼為量化的變換係數和所需的編解碼資訊（例如ILPF資訊，幀內預測資訊和幀間預測資訊）。解碼器側的幀內預測150不需要執行模式搜索。相反，解碼器僅需要根據從熵解碼器140接收的幀內預測資訊生成幀內預測。此外，對於幀間預測，解碼器僅需要根據從熵解碼器140接收的幀間預測資訊執行運動補償（MC 152）而無需運動估計。

VVC標準結合了各種新的編解碼工具以進一步提高相對於 HEVC標準的編解碼效率。在各種新的編解碼工具中，與本發明相關的一些編解碼工具綜述如下。

將圖片劃分成 CTU

圖片被分成一系列編解碼樹單元（coding tree unit，簡稱CTU）。CTU的概念與HEVC的概念相同。對於具有三個樣本陣列的圖片，CTU由一個N×N亮度樣本塊和兩個對應的色度樣本塊組成。第2圖示出了圖片被劃分為CTU的示例，其中粗線框210對應於圖片，每個小矩形（例如框220）對應於一個CTU。

CTU中亮度塊的最大允許大小被指定為128×128（儘管亮度變換塊的最大大小為64×64）。

將圖片劃分為子圖片，片段，圖塊

圖片被分成一個或多個圖塊行和一個或多個圖塊列。圖塊是覆蓋圖片矩形區域的CTU序列。

片段由圖片的一個塊內的整數個完整圖塊或整數個連續的完整CTU行組成。

兩種片段模式被支援，即光柵掃描（raster-scan）片段模式和矩形片段模式。在光柵掃描片段模式中，片段包含圖片的圖塊光柵掃描中的完整圖塊序列。在矩形片段模式中，片段包含共同形成圖片的矩形區域的多個完整圖塊或共同形成圖片的矩形區域的一個圖塊的多個連續的完整CTU行。矩形片段內的片段在對應於該片段的矩形區域內以片段光柵掃描順序被掃描。

子圖片包含共同覆蓋圖片的矩形區域的一個或多個片段。

第3圖示出了圖片310的光柵掃描片段劃分的示例，其中圖片被劃分為12個圖塊314（以及3個光柵掃描片段316)。每個小矩形312對應於一個CTU。

第4圖示出圖片410的矩形片段劃分的示例，其中圖片被劃分為24個片段414（6個片段列和4個片段行）和9個矩形片段416。每個小矩形412對應於一個CTU。

第5圖示出圖片510被劃分為圖塊和矩形片段的示例，其中圖片510被劃分為4個圖塊514（2個圖塊列和2個圖塊行）和4個矩形片段516。每個小矩形512對應於一個CTU。

第6圖示出圖片610的子圖片劃分的示例，其中圖片610被劃分為18個圖塊614，左側有12個圖塊，每個圖塊覆蓋一個4x4CTU的片段，以及右側有6個圖塊，每個圖塊各覆蓋2個2×2CTU的垂直堆疊片段，總共產生24個片段616和24個不同尺寸的子圖片616（每個片段也是子圖片）。每個小矩形612對應於一個CTU。

使用樹結構劃分 CTU

在HEVC中，藉由使用表示為編解碼樹的四叉樹（quaternary-tree，簡稱QT）結構，CTU被劃分成CU以適應各種局部特性。關於使用圖片間（時間）預測還是圖片內（空間）預測對圖片區域進行編解碼的決定在葉CU級別做出。每個葉CU可以根據PU分割類型進一步被劃分成一個，兩個或四個預測單元（Prediction Unit，簡稱PU）。在一個PU內部，相同的預測處理被應用，以及相關資訊以PU為基礎被傳輸到解碼器。在藉由應用基於PU分割類型的預測處理獲得殘差塊之後，葉CU可以根據類似於CU的編解碼樹的另一種四叉樹結構被劃分為變換單元（transform unit，簡稱TU）。HEVC結構的關鍵特徵之一是它具有多個分割概念，包括CU，PU和TU。

在VVC中，使用二元和三元分割分割結構的具有嵌套多類型樹的四叉樹取代了多分割單元類型的概念，即它消除了CU，PU和TU概念的獨立性，除非CU的大小對於最大變換長度來說太大，並且支持更靈活的CU分割形狀。在編解碼樹結構中，CU可以是正方形或長方形。編碼樹單元（coding tree unit，簡稱CTU）首先按四叉樹（也被稱為四分樹）結構進行分割。然後四叉樹葉節點可以進一步劃分為多類型樹結構。如第7圖所示，多類型樹結構中有四種分割類型，垂直二元分割（SPLIT_BT_VER 710），水平二元分割（SPLIT_BT_HOR 720），垂直三元分割（SPLIT_TT_VER 730），以及水平三元分割（SPLIT_TT_HOR 740）。多類型樹葉節點稱為編解碼單元（coding unit，簡稱CU），除非CU對於最大變換長度來說太大，否則此分段將用於預測和變換處理，而無需進一步劃分。這意味著，在大多數情況下，CU，PU和TU在具有嵌套多類型樹編解碼塊結構的四叉樹中具有相同的塊大小。當支援的最大變換長度小於CU顏色分量的寬度或高度時會發生異常。

第8圖示出具有嵌套多類型樹編碼樹結構的四叉樹中的分區分割資訊的信令機制。編解碼樹單元（coding tree unit，簡稱CTU）被視為四叉樹的根，以及首先由四叉樹結構劃分。然後，每個四叉樹葉節點（當足夠大以允許它時）由多類型樹結構進一步劃分。在多類型樹結構中，第一標誌（mtt_split_cu_flag）被發送以指示節點是否被進一步劃分；當一個節點被進一步劃分時，第二標誌（mtt_split_cu_vertical_flag）被發送以指示分割方向，然後第三標誌（mtt_split_cu_binary_flag）被發送以指示分割是二元分割還是三元分割。根據mtt_split_cu_vertical_flag和mtt_split_cu_binary_flag的值，一個CU的多類型樹分割模式（MttSplitMode）被導出，如表1所示。 表 1- 基於多類型樹語法元素的 MttSplitMode 推導

MttSplitMode	mtt_split_cu_vertical_flag	mtt_split_cu_binary_flag
SPLIT_TT_HOR	0	0
SPLIT_BT_HOR	0	1
SPLIT_TT_VER	1	0
SPLIT_BT_VER	1	1

第9圖示出CTU被劃分為具有四叉樹和嵌套的多類型樹編解碼塊結構的多個CU，其中粗體塊邊緣表示四叉樹分割，其餘邊緣表示多類型樹分割。具有嵌套多類型樹分區的四叉樹提供由CU組成的內容適應性編解碼樹結構。CU 的大小可以與CTU一樣大，也可以小至4×4（以亮度樣本為單位）。對於4:2:0色度格式，最大色度CB大小為64×64，最小大小色度CB由16個色度樣本組成。

在VVC中，支援的最大亮度變換大小是64×64以及支援的最大色度變換大小是32×32。當CB的寬度或高度大於最大變換寬度或高度時，CB會自動在水平和/或垂直方向上分割以滿足該方向上的變換大小限制。

以下參數由用於具有嵌套多類型樹編解碼樹方案的四叉樹的SPS語法元素定義和指定。 – CTU size：四叉樹的根節點大小 – MinQTSize：允許的最小四叉樹葉節點大小 – MaxBtSize：允許的最大二叉樹根節點大小 – MaxTtSize：允許的最大三叉樹根節點大小 – MaxMttDepth：從四叉樹葉分割出的多類型樹的最大允許層次深度 – MinBtSize：允許的最小二叉樹葉節點大小 – MinTtSize：允許的最小三叉樹葉節點大小

在具有嵌套多類型樹編碼樹結構的四叉樹的一個示例中，CTU大小被設置為128×128亮度樣本和兩個對應的64×64塊的4:2:0色度樣本， MinQTSize被設置為16×16， MaxBtSize被設置為128×128， MaxTtSize被設置為64×64， MinBtSize和 MinTtSize（寬度和高度）被設置為4×4， MaxMttDepth被設置為4。樹分割首先應用於CTU以生成四叉樹葉節點。四叉樹葉節點的大小可以從16×16（即 MinQTSize）到128×128（即CTU大小）。如果葉QT節點為128×128，由於大小超過了 MaxBtSize和 MaxTtSize（即64×64），二叉樹將不再進一步分割。否則，四叉樹葉節點可能會被多類型樹進一步劃分。因此，四叉樹葉節點也是多元樹的根節點，其多元樹深度（ mttDepth）為0。當多元樹深度達到 MaxMttDepth（即4）時，不考慮進一步分割。當多類型樹節點的寬度等於 MinBtSize且小於或等於2* MinTtSize時，不再考慮進一步水平分割。類似地，當多類型樹節點的高度等於 MinBtSize且小於或等於2* MinTtSize時，不考慮進一步的垂直分割。

為了在VVC硬體解碼器中允許64×64亮度塊和32×32色度管線設計，當亮度編解碼塊的寬度或高度大於64時禁止TT分割，如第10圖所示，其中塊1000對應於128x128亮度CU。CU可以使用垂直二元分割（1010）或水平二元分割（1020）來劃分。塊被劃分成4個CU，每個CU大小為64x64，CU可以進一步使用包括TT在內的分區進行劃分。例如，左上角64x64CU使用垂直三元分割（1030）或水平三元分割（1040）進行劃分。當色度編解碼塊的寬度或高度大於32時，TT分割也被禁止。

在VVC中，編解碼樹方案支援亮度和色度具有單獨的塊樹結構的能力。對於P和B片段，一個CTU中的亮度和色度CTB必須共用相同的編解碼樹結構。然而，對於I片段，亮度和色度可以具有單獨的塊樹結構。當單獨塊樹模式被應用時，亮度CTB被一種編解碼樹結構分割成CU，色度CTB被另一種編解碼樹結構分割成色度CU。這意味著I片段中的CU可能由亮度分量的編解碼塊或兩個色度分量的編解碼塊組成，而P或B片段中的CU總是由所有三種顏色分量的編解碼塊組成，除非視訊為單色。

圖片邊緣處的 CU 分割

如在HEVC中所做的那樣，當樹節點塊的一部分超出底部或右側圖片邊界時，樹節點塊被強制分割，直到每個編解碼的CU的所有樣本都位於圖片邊界內。VVC中應用了以下分割規則： –如果樹節點塊的任一部分超出底部或右圖邊界，以及由於塊大小限制不允許QT，BT和TT分割，則該塊被強制使用QT分割方式來進行劃分。 –否則，如果樹節點塊的一部分超出底部和右側圖片邊界， • 如果塊是QT節點，以及塊的大小大於最小QT大小，則塊被強制使用QT分割模式進行劃分。 • 否則，塊被強制以SPLIT_BT_HOR模式劃分。 –否則，如果樹節點塊的一部分超出底部圖片邊界， • 如果塊是QT節點，以及塊大小大於最小QT大小且塊大小大於最大BT大小，則塊被強制使用QT分割模式進行劃分。 • 否則，如果該塊為QT節點，以及塊大小大於最小QT大小且塊大小小於或等於最大BT大小，則該塊被強制使用QT分割模式或SPLIT_BT_HOR模式進行劃分。 • 否則（該塊為BTT節點或塊大小小於或等於最小QT大小），則該塊被強制使用SPLIT_BT_HOR模式進行劃分。 –否則，如果樹節點塊的一部分超出右圖片邊界， • 如果塊是QT節點，以及塊大小大於最小QT大小且塊大小大於最大BT大小，則塊被強制使用QT分割模式進行劃分。 • 否則，如果該塊為QT節點，以及塊大小大於最小QT大小且塊大小小於或等於最大BT大小，則該塊被強制使用QT分割模式或SPLIT_BT_VER模式進行劃分。 • 否則（該塊為BTT節點或塊大小小於或等於最小QT大小），塊被強制使用SPLIT_BT_VER模式進行劃分。

對冗餘 CU 分割的限制

具有嵌套多類型樹編解碼塊結構的四叉樹提供了高度靈活的塊分割結構。由於支援多類型樹的分割類型，不同的分割模式可能會導致相同的編解碼塊結構。在VVC中，其中一些冗餘分割模式不被允許。

第11圖示出二叉樹分割和三叉樹分割的冗餘分割模式。如第11圖所示，在一個方向（垂直1110和水平1130）上的兩級連續二元分割可以具有與三叉樹分割（垂直1120和水平1140）相同的編解碼塊結構，然後是中央分區的二叉樹分割。在這種情況下，三叉樹分割的中央分區的二叉樹分割（在給定方向上）被禁止。此限制適用於所有圖片中的CU。

當如上所述分割被禁止時，相應語法元素的信令被修改以解決被禁止的情況。例如，當第11圖中的任一情況被識別出時（即，二元分割被禁止用於中央分區的CU），指定分割是二元分割還是三元分割的語法元素 mtt_split_cu_binary_flag未被發送以及被解碼器推斷為等於0。

虛擬管線資料單元（ Virtual Pipeline Data unit ，簡稱 VPDU)

虛擬流水線資料單元（VPDU）被定義為圖片中的非重疊單元。在硬體解碼器中，連續的VPDU由多個管線級同時處理。在大多數管線級別中，VPDU大小與緩衝區大小大致成正比，因此保持VPDU大小較小很重要。在大多數硬體解碼器中，VPDU大小可以被設置為最大變換塊（transform block，簡稱TB）大小。然而，在VVC中，三叉樹（ternary tree，簡稱TT）和二叉樹（binary tree，簡稱BT）分割可能會導致VPDU大小增加。

為了將VPDU大小保持為64x64亮度樣本，以下規範分割限制（具有語法信令修改）被應用於VTM，如第12圖所示： –對於寬度或高度，或寬度和高度均等於128的CU， TT分割（如第12圖中的“X”所示）不被允許。 –對於N≤64（即寬度等於128且高度小於128）的128xNCU，水平BT不被允許。

對於N≤64（即高度等於128且寬度小於128）的Nx128CU，垂直BT不被允許。在第12圖中，亮度塊大小為128x128。虛線表示塊大小為64x64。根據上述限制，不被允許的分割示例使用“X”表示，如第12圖中的各種示例（1210-1280）所示。

幀內色度劃分以及預測限制

在典型的硬體視訊編碼器和解碼器中，由於相鄰幀內塊之間的樣本處理資料依賴性，當圖片具有更多小幀內塊時處理輸送量下降。幀內塊的預測器生成需要來自相鄰塊的頂部和左側邊界重構樣本。因此，幀內預測必須逐塊連續地處理。

在HEVC中，最小的幀內CU是8x8亮度樣本。最小幀內CU的亮度分量可以進一步被分割為4個4x4亮度幀內預測單元（Pus），但最小幀內CU的色度分量不能進一步被分割。因此，當4x4色度幀內塊或4x4亮度幀內塊被處理時，會出現最壞情況的硬體處理輸送量。在VVC中，為了提高最壞情況下的輸送量，藉由約束色度幀內CB的劃分，小於16個色度樣本（大小2x2，4x2和2x4）的色度幀內CB和寬度小於4個色度樣本（大小2xN）的色度幀內CB不被允許。

在單個編解碼樹中，最小色度幀內預測單元（smallest chroma intra prediction unit，簡稱SCIPU）被定義為編解碼樹節點，其色度塊大小大於或等於16個色度樣本以及具有至少一個小於64個亮度樣本的子亮度塊，或者被定義為編解碼樹節點，其色度塊大小不是2xN以及具有至少有一個子亮度塊（具有4xN亮度樣本）。要求在每個SCIPU中，所有CB都是幀間的（inter），或者所有的CB都是非幀間的（non-inter），即幀內或幀內塊複製（intra block copy，簡稱IBC）。在非幀間SCIPU的情況下，還要求非幀間SCIPU的色度不應該被進一步分割且SCIPU的亮度被允許進一步分割。這樣，大小小於16個色度樣本或大小為2xN的小色度幀內CB被移除。此外，在非幀間SCIPU的情況下，色度縮放不被應用。這裡，沒有額外的語法被發送，以及SCIPU是否是非幀間的可以藉由SCIPU中的第一亮度CB的預測模式來導出。如果當前片段是I-片段，或者當前SCIPU在進一步分割一次後有4x4亮度劃分，則推斷SCIPU的類型為非幀間（因為VVC中幀間4x4不被允許）；否則，在解析SCIPU中的CU之前，SCIPU的類型（幀間或非-幀間）由一個標誌指示。

對於幀內圖片中的雙樹，2xN幀內色度塊藉由分別對4xN和8xN色度分區禁用垂直二元和垂直三元分割來移除。大小為2x2，4x2和2x4的小色度塊也藉由分區限制被移除。

另外，藉由考慮圖片寬度和高度是max（8，MinCbSizeY）的倍數，對圖片大小的限制被考慮以避免圖片角處的2x2/2x4/4x2/2xN幀內色度塊。

VVS 中的 CST （色度單獨樹）

在VVC中，編解碼樹方案支援亮度和色度具有單獨的塊樹結構的能力。對於P和B片段，一個CTU中的亮度和色度CTB必須共用相同的編解碼樹結構。然而，對於I片段，亮度和色度可以具有單獨的塊樹結構。當單獨塊樹模式被應用時，亮度CTB被一種編解碼樹結構分割成CU，色度CTB被另一種編解碼樹結構分割成色度CU。這意味著I片段中的CU可能由亮度分量的編解碼塊或兩個色度分量的編解碼塊組成，而P或B片段中的CU總是由所有三種顏色分量的編解碼塊組成，除非視訊為單色。

在VVC中，亮度和色度分量使用單獨的分割樹將CTU分割成CU。 雖然單獨的分割樹可以適應於亮度和色度分量之間的不同局部特性，但將需要更多的編解碼位元來表示單獨的分割樹。因此，希望提高單獨分割樹的編解碼效率。此外，還希望對不同的色度分量應用單獨的分割樹以提高編解碼效率。

一種用於視訊編碼的方法和裝置被公開。根據該方法，與圖片區域相關聯的輸入資料被接收，該圖片區域包括第一顏色圖片區域和第二顏色圖片區域，其中，輸入資料包括編碼器側待編碼圖片區域的像素資料，或在解碼端與待解碼的圖像區域相關聯的編解碼資料，其中，第一顔色圖片區域根據第一顔色分割樹被劃分為一個或多個第一顔色塊，第二顔色圖片區域根據第二顔色分割樹被劃分為一個或多個第二顔色圖片區域。使用上下文形成，熵編碼或解碼被應用於第二顏色分割樹，其中上下文形成包括與第一顏色分割樹相關的資訊。該一個或多個第一顔色塊和該一個或多個第二顔色塊被編碼或解碼。

在一個實施例中，上下文形成取決於與第一顏色分割樹相關聯的四叉樹深度或多類型樹（Multi-Type Tree，簡稱MTT）深度，或與所述一個或多個第一顏色塊相關的塊尺寸。

在一個實施例中，用於對當前第二顏色塊的分割決策進行熵編解碼的上下文形成取決於對應的第一顏色塊中的分割情況。

在一個實施例中，用於對與當前第二顏色塊相關聯的分割標誌進行熵編解碼的上下文形成取決於相應的第一顏色塊的塊大小。

在一個實施例中，用於對當前第二顏色塊的多類型樹（Multi-Type Tree，簡稱MTT）垂直標誌進行熵編解碼的上下文形成取決於對應的第一顏色塊的尺寸。對應的第一顔色塊的大小可以對應於對應的第一顔色塊的寬度或高度，或對應於第一顔色塊的寬度和高度。

在一個實施例中，第一顏色圖片區域對應於亮度圖片區域以及第二顏色圖片區域對應於色度圖片區域。

在一個實施例中，圖片區域包括第三顏色圖片區域，以及其中第一顏色圖片區域對應於亮度圖片區域，第二顏色圖片區域對應於第一色度圖片區域，以及第三顏色圖片區域對應於第二色度圖片區域。在一個實施例中，第三顔色圖片區域根據第三顔色分割樹被劃分為一個或多個第三顔色塊，該第三顔色分割樹不同於第二顔色分割樹劃分。

在一個實施例中，語法在圖片層級，片段層級，圖塊層級，CTU行層級，CTU層級，VPDU層級或其組合中被發送或解析，以及其中語法有關於指示在相應圖片，片段，圖塊，CTU行，CTU或VPDU中是否使用第三顔色分割樹來劃分第三顔色圖片區域，該第三顔色分割樹不同於第二顔色分割樹。

容易理解的是，如本文附圖中一般描述和說明的本發明的組件可以以各種不同的配置來佈置和設計。因此，如附圖所示，本發明的系統和方法的實施例的以下更詳細的描述並非旨在限制所要求保護的本發明的範圍，而僅僅代表本發明的所選實施例。本說明書中對“實施例”，“一些實施例”或類似語言的引用意味著結合實施例描述的具體特徵，結構或特性可以包括在本發明的至少一實施例中。因此，貫穿本說明書在各個地方出現的短語“在實施例中”或“在一些實施例中”不一定都指代相同的實施例。

此外，所描述的特徵，結構或特性可在一個或多個實施例中以任何合適的方式組合。然而，相關領域的習知技藝者將認識到，可在沒有一個或多個具體細節的情況下或者利用其他方法，組件等來實施本發明。在其他情況下，未示出或詳細描述公知的結構或操作，以避免模糊本發明的各方面。藉由參考附圖將最好地理解本發明的所示實施例，其中相同的部件自始至終由相同的數字表示。以下描述僅作為示例，並且簡單地說明了與如本文所要求保護的本發明一致的裝置和方法的一些選定實施例。

在下文中，改進與編解碼樹相關的編解碼性能的技術被公開。

方法 A ： Cb 和 Cr 的色度單獨樹（ Chr oma Separate Tree ）

代替其中Cb和Cr共用同一分割樹的VVC CST，根據本發明的實施例，Cb被允許具有它自己的分割樹以及Cr被允許具有它自己的單獨的分割樹。

為了節省分區信令比特，可以在Cb樹和Cr樹之間參考分割上下文概率以節省用於信令語法的位元。例如，如果Cb樹對於分割結果顯示出高深度，那麼它將使用更高概率獲得更高深度的語法以用於Cr樹劃分訊號編解碼。

該方法是依賴於內容的方法。因此，建議對不同的圖片，片段，圖塊，CTU-行（CTU-row），CTU或VPDU開啟/關閉該方法，對每個圖片，片段，圖塊，CTU-行，CTU或VPDU提供開啟/關閉的控制標誌。換言之，語法在圖片層級，片段層級，圖塊層級，CTU行層級，CTU層級，VPDU層級或其組合中被發送或解析，以及語法有關於指示在相應圖片，片段，圖塊，CTU行，CTU或VPDU中是否使用Cr分割樹來劃分Cr圖片區域，該Cr分割樹與Cb分割樹不同。

在另一個實施例中，亮度和Cb（或色度分量1）樣本可以共用一個分割樹以及Cr（或色度分量2）樣本可以使用另一個單獨的分割樹。

在另一個實施例中，亮度和Cr（或色度分量2）樣本可以共用一個分割樹，而Cb（或色度分量1）樣本可以使用另一個單獨的分割樹。

方法 B: 用於基於幀間和基於 CU 組的 CCLM 的 CST

在該方法中，CST被應用於片段間。主要好處是CCLM部分可以為色度部分實現大的編解碼增益。如第13圖所示，根據本發明的實施例，亮度和色度對於幀間片段可以具有不同的樹。在第13圖中，分區1310對應於亮度圖像的分區，其中圖像被劃分為用於幀內編解碼1312和幀間編解碼1314的各種塊。如第13圖所示，將色度預測子作為整個父塊1320來生成會更有效。因此，色度可以使用大塊來生成CCLM預測子以具有更好的編解碼增益。

該方法是依賴於內容的方法。因此，建議對不同的圖片，片段，圖塊，CTU-行，CTU或VPDU開啟/關閉該方法，對每個圖片，片段，圖塊，CTU-行，CTU或VPDU提供用於開啟/關閉的控制標誌。

方法 C ：預測子和殘差的 CST

為了提高編解碼增益，提出將用於預測和殘差的分割樹分開。也就是說，從根CU開始，遍歷一個分割樹生成所有的預測子（例如運動補償和幀內預測），以及遍歷另一個分割樹生成所有的殘差塊（例如逆變換）。最後，所有預測樣本和殘差樣本被相加以生成最終的重構樣本。

在一個子實施例中，用於預測變數和殘差的CST僅應用於所有區域間（inter-region）。換句話說，在根CU內部，所有的預測都是幀間預測。

該方法將提高編解碼增益。對於預測子，它將給出一個專用樹的最佳預測子MV繼承（MV inheritance）。對於殘差，它將給出一個專用樹的最佳殘差塊劃分。

該方法是依賴於內容的方法。因此，建議對不同的圖片，片段，圖塊，CTU-行，CTU或VPDU開啟/關閉該方法，對每個圖片，片段，圖塊，CTU-行，CTU或VPDU提供用於開啟/關閉的控制標誌。

方法 D ： CST 亮度和色度之間的分割概率預測

在VVC CST中，亮度和色度具有它們自己的分割資訊（由於單獨的樹）以執行熵編解碼。對於熵編解碼，需要對每個分割資訊訊號建立相關的概率模型。對於一個高密度（高分割）的亮度區域，對應的色度區域通常也是高密度（雖然分割樹可能不同），亮度樹的分割深度和色度樹的分割深度會有相關性。

在一個實施例中，提出了參考亮度樹的分割密度來調整色度區域的分割訊號概率模型。

例如，對於當前色度父節點，如果對應的空間亮度區域具有高度的分割深度（即，分割成非常小的CU)，則更高深度分割語法的概率將被提升。

例如，如果對應的空間亮度區域對於當前色度父節點具有低程度的分割深度（沒有被分割成非常小的CU），則更高深度分割語法的概率將對概率降低。

在其他實施例中，提出將亮度的分割情況與色度分割資訊一起考慮用於上下文形成。例如，在對當前色度父CU/當前CU的分割標誌做上下文形成時，上下文中還會包含對應的亮度區域分割情況，如四叉樹深度，MTT深度，塊尺寸等。例如，上下文形成取決於與亮度分割樹相關的四叉樹深度或 MTT（多類型樹）深度，或與所述一個或多個亮度塊相關的塊尺寸。視訊編解碼器可分配對應於不同分割情況的不同上下文變數，以及決定所選擇的上下文變數以用於對當前色度塊的分割決策進行熵編解碼。因此，用於對當前色度塊的分割決策進行熵編碼的上下文形成取決於相應亮度塊中的分割情況。編解碼器執行的處理可以取決於相應亮度區域中的分割情況。在一個示例中，視訊編解碼器可以根據對應亮度塊的大小來選擇用於對當前色度塊的CU分割標誌進行熵編解碼的建模上下文（modeling context）。在另一示例中，視訊編解碼器可以根據對應亮度塊的尺寸（例如，寬度和高度）來選擇用於對當前色度塊的MTT垂直標誌進行熵編解碼的建模上下文。例如，相應亮度塊的尺寸可以對應於相應亮度塊的寬度，高度或寬度和高度。

任一前述提出的CST（色度分離樹）方法都可以在編碼器和/或解碼器中實現。例如，所提出的任一方法都可以在解碼器的幀內（例如第1B圖中的幀内預測150），運動補償模組（例如第1B圖中的MC 152）或熵編解碼模組（例如第1B圖中的熵解碼器140）中實現。此外，任一提出的方法都可以在編碼器的幀內（例如第1A圖中的幀內預測110），幀間編碼模組（例如第1B圖中的幀間預測112）或熵編解碼模組（例如第1A圖中的熵編碼器122）中實現。或者，所提出的任一方法都可以實現為耦合到編碼器的幀間/幀內/預測/熵編解碼模組和/或解碼器的幀間/幀內/預測/熵編解碼模組的一個或多個電路或處理器，以提供幀間/幀內/預測模組所需的資訊。

第14圖示出根據本發明的實施例的對亮度和色度分量使用單獨的分割樹的示例性視訊編碼系統的流程圖。流程圖中所示的步驟可以實現為可在編碼器側的一個或多個處理器（例如，一個或多個CPU）上執行的程式碼。流程圖中所示的步驟也可以基於硬體來實現，諸如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器。根據該方法，在步驟1410，與圖片區域相關聯的輸入資料被接收，該圖片區域包括第一顏色圖片區域和第二顏色圖片區域，其中輸入資料包括在編碼器側待編碼的圖片區域的像素資料，或在解碼端與待解碼圖片區域相關聯的編解碼資料，其中，第一顏色圖片區域根據第一顏色分割樹被劃分為一個或多個第一顏色塊，第二顏色圖片區域根據第二顔色分割樹被劃分為一個或多個第二顔色塊。在步驟1420中，使用上下文形成，熵編碼或解碼被應用於第二顏色分割樹，其中上下文形成包括與第一顏色分割樹相關的資訊。在步驟1430中，該一個或多個第一顏色塊和該一個或多個第二顏色塊被編碼或解碼。

所示流程圖旨在說明根據本發明的視訊編解碼的示例。本領域技術人員在不脫離本發明的精神的情況下，可以修改每個步驟，重新排列步驟，拆分步驟或組合步驟來實施本發明。在本公開中，特定的語法和語義被用來說明示例以實現本發明的實施例。技術人員可藉由用等效的語法和語義代替上述語法和語義來實施本發明，而不背離本發明的精神。

呈現上述描述是為了使本領域普通技術人員能夠實施在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於本領域技術人員來說將是顯而易見的，並且本文定義的一般原理可以應用於其他實施例。因此，本發明不旨在限於所示和描述的特定實施例，而是要符合與本文公開的原理和新穎特徵相一致的最寬範圍。在以上詳細描述中，為了提供對本發明的透徹理解，說明了各種具體細節。然而，本領域的技術人員將理解，本發明可被實施。

如上所述的本發明的實施例可以以各種硬體，軟體代碼或兩者的組合來實現。例如，本發明的一個實施例可以是集成到視訊壓縮晶片中的一個或多個電路電路或集成到視訊壓縮軟體中以執行本文描述的處理的程式碼。本發明的實施例還可以是要在數位訊號處理器（Digital Signal Processor，簡稱DSP）上執行以執行這裡描述的處理的程式碼。本發明還可以涉及由電腦處理器，數位訊號處理器，微處理器或現場可程式設計閘陣列（field programmable gate array，簡稱FPGA）執行的許多功能。這些處理器可以被配置為藉由執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。軟體代碼或韌體代碼可以以不同的程式設計語言和不同的格式或樣式開發。軟體代碼也可以對不同的目標平臺進行編譯。然而，軟體代碼的不同代碼格式，風格和語言以及配置代碼以執行根據本發明的任務的其他方式將不脫離本發明的精神和範圍。

在不背離其精神或本質特徵的情況下，本發明可以以其他特定形式體現。所描述的示例在所有方面都僅被認為是說明性的而不是限制性的。因此，本發明的範圍由所附申請專利範圍而不是由前述描述指示。在申請專利範圍的等效含義和範圍內的所有變化都應包含在其範圍內。

110:幀內預測 112:幀間預測 114:開關 116:加法器 118:變換 120:量化 122:熵編碼器 124:逆量化 126:逆變換 128:REC 130:ILPF 134:參考圖片緩衝器 136:預測資料 140:熵解碼器 150:幀内預測 152:MC 210:圖片 220:CTU 310:圖片 312:CTU 314:圖塊 316:光柵掃描片段 410:圖片 412:CTU 414:片段 416:矩形片段 510:圖片 512:CTU 514:圖塊 516:矩形片段 610:圖片 612:CTU 614:圖塊 616:子圖片 710:垂直二元分割 720:水平二元分割 730:垂直三元分割 740:水平三元分割 1000:塊 1010:垂直二元分割 1020:水平二元分割 1030:垂直三元分割 1040:水平三元分割 1110:垂直 1120:垂直 1130:水平 1140:水平 1210:示例 1220:示例 1230:示例 1240:示例 1250:示例 1260:示例 1270:示例 1280:示例 1310:分區 1312:幀內編解碼 1314:幀間編解碼 1320:父塊 1410、1420、1430:步驟

第1A圖示出包含迴圈處理的示例適應性幀間/幀內視訊編解碼系統。 第1B圖示出第1A圖中的編碼器的相應解碼器。 第2圖示出圖片被分為CTU的示例。 第3圖示出圖片的光柵掃描片段分割的示例，其中圖片被劃分為12個圖塊和3個光柵掃描片段。 第4圖示出圖片被劃分為圖塊和矩形片段的示例； 第5圖示出圖片被劃分為四個圖塊和四個矩形片段的示例。 第6圖示出圖片被劃分為24個子圖片的示例。 第7圖示出對應於垂直二元分割（SPLIT_BT_VER），水平二元分割（SPLIT_BT_HOR），垂直三元分割（SPLIT_TT_VER）和水平三元分割（SPLIT_TT_HOR）的多類型樹結構的示例。 第8圖示出具有嵌套多類型樹編解碼樹結構的四叉樹中的分區分割資訊的信令機制的示例。 第9圖示示出CTU被劃分成具有四叉樹和嵌套多類型樹編解碼塊結構的多個CU的示例，其中粗體塊邊緣表示四叉樹分區，其餘邊緣表示多類型樹分區。 第10圖示出當亮度編解碼塊的寬度或高度大於64時禁止TT分割的示例。 第11圖示出二叉樹分割和三叉樹分割的冗餘分割模式的示例。 第12圖示出當亮度編解碼塊的寬度或高度大於64時禁止TT分割的一些示例。 第13圖示出一個示例，其中亮度和色度對於幀間片段可以具有不同的樹，以及生成色度預測子作為整個父塊將更有效。 第14圖示出根據本發明的實施例的對亮度和色度分量使用單獨的分割樹的示例視訊編解碼系統的流程圖。

1410、1420、1430:步驟

Claims (11)

1. 一種視訊編解碼方法，用於多個顔色圖片，該方法包括： 接收與一圖片區域相關聯的輸入資料，該圖片區域包括一第一顏色圖片區域和一第二顏色圖片區域，其中，該輸入資料包括在一編碼器側待編碼的該圖片區域的像素資料，或在一解碼端與待解碼的該圖片區域相關聯的編解碼資料，以及其中該第一顏色圖片區域根據一第一顏色分割樹被劃分為一個或多個第一顏色塊，以及該第二顏色圖片區域根據一第二顔色分割樹被劃分為一個或多個第二顔色塊； 使用上下文形成，將熵編碼或解碼應用於該第二顏色分割樹，其中該上下文形成包括與該第一顏色分割樹相關的資訊；以及 對該一個或多個第一顏色塊和該一個或多個第二顏色塊進行編碼或解碼。
2. 如請求項1所述之視訊編解碼方法，其中，該上下文形成取決於與該第一顏色分割樹相關的四叉樹深度或多類型樹深度，或與該一個或多個第一顏色塊相關的塊尺寸。
3. 如請求項1所述之視訊編解碼方法，其中，用於對一當前第二顔色塊的一分割決策進行熵編解碼的該上下文形成取決於對應的一第一顔色塊中的分割情況。
4. 如請求項1所述之視訊編解碼方法，其中，用於對與一當前第二顏色塊相關聯的一分割標誌進行熵編解碼的該上下文形成取決於相應的一第一顏色塊的一塊大小。
5. 如請求項1所述之視訊編解碼方法，其中，用於對一當前第二顔色塊的多類型樹垂直標誌進行熵編解碼的該上下文形成取決於相應的一第一顔色塊的尺寸。
6. 如請求項5所述之視訊編解碼方法，其中，對應的該第一顔色塊的該尺寸對應於對應的該第一顔色塊的寬度或高度，或對應於對應的該第一顔色塊的該寬度和該高度。
7. 如請求項1所述之視訊編解碼方法，其中，該第一顔色圖片區域對應於一亮度圖片區域，以及該第二顔色圖片區域對應於一色度圖片區域。
8. 如請求項1所述之視訊編解碼方法，其中，該圖片區域包括一第三顔色圖片區域，其中該第一顏色圖片區域對應於一亮度圖片區域，該第二顏色圖片區域對應於一第一色度圖片區域，以及該第三顏色圖片區域對應 於一第二色度圖片區域。
9. 如請求項8所述之視訊編解碼方法，其中，該第三顔色圖片區域根據一第三顔色分割樹被劃分為一個或多個第三顔色塊，該第三顔色分割樹不同於該第二顔色分割樹。
10. 如請求項9所述之視訊編解碼方法，其中一語法在一圖像層級，一片段層級，一圖塊層級，一編解碼樹單元行層級，一編解碼樹單元層級，一虛擬流水線資料單元層級或其組合中發送或解析，以及其中該語法有關於指示在一相應圖片，片段，圖塊，編解碼樹單元行，編解碼樹單元或虛擬流水線資料單元中是否使用該第三顔色分割樹來劃分該第三顔色圖片區域，該第三顔色分割樹不同於該第二顔色分割樹。
11. 一種視訊編解碼裝置，該裝置包括一個或多個電子設備或處理器，其被佈置成： 接收與一圖片區域相關聯的輸入資料，該圖片區域包括一第一顏色圖片區域和一第二顏色圖片區域，其中，該輸入資料包括在一編碼器側待編碼的該圖片區域的像素資料，或在一解碼端與待解碼的該圖片區域相關聯的編解碼資料，以及其中該第一顏色圖片區域根據一第一顏色分割樹被劃分為一個或多個第一顏色塊，以及該第二顏色圖片區域根據一第二顔色分割樹被劃分為一個或多個第二顔色塊； 使用上下文形成，將熵編碼或解碼應用於該第二顏色分割樹，其中該上下文形成包括與該第一顏色分割樹相關的資訊；以及 對該一個或多個第一顏色塊和該一個或多個第二顏色塊進行編碼或解碼。