TW202106003A - 使用基於矩陣之內預測及二次轉換之寫碼技術 - Google Patents
使用基於矩陣之內預測及二次轉換之寫碼技術 Download PDFInfo
- Publication number
- TW202106003A TW202106003A TW109121661A TW109121661A TW202106003A TW 202106003 A TW202106003 A TW 202106003A TW 109121661 A TW109121661 A TW 109121661A TW 109121661 A TW109121661 A TW 109121661A TW 202106003 A TW202106003 A TW 202106003A
- Authority
- TW
- Taiwan
- Prior art keywords
- intra
- prediction
- predetermined
- matrix
- prediction mode
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本發明揭示用於高效地基於矩陣預測一圖像之一區塊的技術。一實施例係關於一種用於使用內預測解碼一圖像之一預定區塊之設備，其經組配以基於資料串流選擇多個內預測模式中之一預定內預測模式，該預定內預測模式包含包含一DC內預測模式及角預測模式之內預測模式之一第一集合以及基於矩陣之內預測模式之一第二集合，根據其中之各者，使用自該預定區塊之一鄰域中的參考樣本導出的一向量與相關聯於該個別基於矩陣之內預測模式的一預測矩陣之間的一矩陣向量乘積來獲得一預測向量，基於該預測向量來預測該預定區塊之樣本。該設備經組配以使用該預定內預測模式導出用於該預定區塊之一預測信號，且以取決於該預定內預測模式之一方式選擇二次轉換之一集合中的一或多個二次轉換之一子集，以使得在該預定內預測模式含於內預測模式之該第一集合中且該預定內預測模式含於基於矩陣之內預測模式之該第二集合中的情況下，該子集為非空。另外，該設備經組配以在該預定內預測模式含於內預測模式之該第一集合中的情況下且在該預定內預測模式含於基於矩陣之內預測模式之該第二集合中的情況下，經由藉由一個一次轉換(Tp)與應用於該一次轉換之係數之一子集上的二次轉換之該子集中的一預定二次轉換(Ts)之一串接界定的一轉換(T)自該資料串流導出用於該預定區塊之一預測殘差之一經轉換版本，該經轉換版本與該預定區塊之該預測殘差之一空間域版本有關。該設備經組配以使用用於該預定區塊之該預測信號及該預測殘差來重建構該預定區塊。
Description
發明領域
本申請案係關於基於矩陣之內預測及二次轉換之領域。
發明背景
對於如平面模式、DC模式及角模式之習知內預測模式，不可分離二次轉換(LFNST)為用以轉換對應於此等內預測模式之預測殘差的工具。此處，給出一組S個轉換集合，使得各習知內預測模式與此等轉換集合中之一者相關聯。接著，在解碼器處，可自位元串流提取是否將應用給定區塊LFNST。若為此情況，則給出集合S中之一個轉換集合，取決於在當前區塊上使用的內預測模式且若此轉換集合由多於一個轉換組成，則可自位元串流提取將使用此集合中之哪一轉換T。接著，在解碼器處，作為二次轉換應用轉換T，從而意謂其應用於可分離一次轉換之殘差轉換係數之一子集。但前述二次轉換僅先驗地針對習知內預測模式加以界定。
因此，需要提供用於致使圖像寫碼及/或視訊寫碼更高效以支援基於矩陣之內預測(MIP)(即，基於區塊之內預測)的二次轉換之概念。
此係藉由本申請案之獨立技術方案的主題來達成。
根據本發明之其他實施例係由本申請案之附屬申請專利範圍的主題界定。
發明概要
根據本發明之第一態樣，本申請案之發明人意識到，在嘗試使二次轉換與基於矩陣之內預測模式相關聯時遇到的一個問題源自以下事實：針對各MIP模式提供特定二次轉換在另外儲存額外轉換的記憶體要求方面可能成本過高。根據本申請案之第一態樣，藉由選擇二次轉換之一集合中包含與基於矩陣之內預測模式及非基於矩陣之內預測模式相關聯的轉換的一或多個二次轉換之一子集來克服此困難。可針對一或多個預測模式界定二次轉換之該集合中之該等二次轉換，其降低二次轉換之該集合所需要的記憶體容量。針對平面內預測模式界定之轉換及/或針對DC內預測模式界定之轉換亦可選擇用於基於矩陣之內預測模式。在針對基於矩陣之內預測模式特定地選擇二次轉換之該子集的情況下，有可能增大寫碼效率，儘管位流且因此傳信成本可能歸因於與基於矩陣之內預測模式相關聯的區塊指示二次轉換之使用所需要的額外語法元素而增大。
因此，根據本申請案之第一態樣，一種用於使用內預測解碼一圖像之一預定區塊的設備，即一解碼器，經組配以基於資料串流選擇多個內預測模式中之一預定內預測模式，該預定內預測模式包含內預測模式之第一集合以及基於矩陣之內預測模式之第二集合。內預測模式之該第一集合包含一DC內預測模式及角預測模式，且視情況包含一平面內預測模式。若選擇該第二集合中之一基於矩陣之內預測模式作為該預定內預測模式，則該解碼器經組配以使用自該預定區塊之一鄰域中的參考樣本導出的一向量與相關聯於該個別基於矩陣之內預測模式的一預測矩陣之間的一矩陣向量乘積來獲得一預測向量，基於該預測向量，該解碼器經組配以預測該預定區塊之樣本。該解碼器經組配以使用該預定內預測模式導出用於該預定區塊之一預測信號，且以取決於該預定內預測模式之一方式選擇二次轉換之一集合中的一或多個二次轉換之一子集，以使得在該預定內預測模式含於內預測模式之該第一集合中且該預定內預測模式含於基於矩陣之內預測模式之該第二集合中的情況下，該子集為非空。該第一集合及該第二集合界定內預測模式，一個二次轉換可用於該等內預測模式。因此，對於選自該第一集合或該第二集合之該預定內預測模式，該解碼器經組配以選擇二次轉換之該集合中特定地與該所選預定內預測模式相關聯的一或多個二次轉換之該子集。另外，該解碼器經組配以在該預定內預測模式含於內預測模式之該第一集合中的情況下且在該預定內預測模式含於基於矩陣之內預測模式之該第二集合中的情況下，經由藉由一個一次轉換與應用於該一次轉換之係數之一子集上的二次轉換之該子集中的一預定二次轉換之一串接界定的一轉換自該資料串流導出用於該預定區塊之一預測殘差之一經轉換版本，該經轉換版本與該預定區塊之該預測殘差之一空間域版本有關。該一次轉換例如預設設定，且該預定二次轉換例如藉由該解碼器選自二次轉換之該子集。該解碼器可經組配以藉由自該資料串流導出一個二次轉換指示語法元素來選擇二次轉換之該子集中的該預定二次轉換。該解碼器經組配以使用用於該預定區塊之該預測信號及該預測殘差來重建構該預定區塊。
根據本申請案之第一態樣，與該解碼器相似，一種用於使用內預測編碼一圖像之一預定區塊的一設備，即一編碼器，經組配以選擇多個內預測模式中之一預定內預測模式，該預定內預測模式包含包含一DC內預測模式及角預測模式且視情況包含一平面內預測模式的內預測模式之第一集合及基於矩陣之內預測模式之第二集合，根據其中之各者，使用自該預定區塊之一鄰域中的參考樣本導出的一向量與相關聯於該個別基於矩陣之內預測模式的一預測矩陣之間的一矩陣向量乘積來獲得一預測向量，基於該預測向量來預測該預定區塊之樣本。該編碼器經組配以在該資料串流中傳信該預定內預測模式，且使用該預定內預測模式導出用於該預定區塊之一預測信號。另外，該編碼器經組配而以取決於該預定內預測模式之一方式選擇二次轉換之一集合中的一或多個二次轉換之一子集，以使得在該預定內預測模式含於內預測模式之該第一集合中且該預定內預測模式含於基於矩陣之內預測模式之該第二集合中的情況下，該子集為非空。該編碼器經組配以在該預定內預測模式含於內預測模式之該第一集合中的情況下且在該預定內預測模式含於基於矩陣之內預測模式之該第二集合中的情況下，經由藉由一個一次轉換與應用於該一次轉換之係數之一子集上的二次轉換之該子集中的一預定二次轉換之一串接界定的一轉換將用於該預定區塊之一預測殘差之一經轉換版本編碼至該資料串流中，該經轉換版本與該預定區塊之該預測殘差之一空間域版本有關。該預定區塊可使用用於該預定區塊之該預測信號及該預測殘差來重建構。
根據一實施例，該解碼器/編碼器經組配而以取決於該預定內預測模式之一方式選擇二次轉換之該集合中的一或多個二次轉換之該子集，以使得二次轉換之該集合中之各二次轉換含於選定用於該第一集合及該第二集合內的該等內預測模式中的至少一者的一或多個二次轉換之該子集中。對於該第一集合內或該第二集合內的一或多個內預測模式，該個別所選子集可包含二次轉換之該集合中的所有二次轉換。
根據一實施例，該解碼器/編碼器經組配而以取決於該預定內預測模式之一方式選擇二次轉換之一集合中的一或多個二次轉換之一子集，以使得選定用於該第一集合內不屬於該等角預測模式的至少一個內預測模式的二次轉換之一子集含有選定用於任何基於矩陣之內預測模式的各二次轉換子集中的各二次轉換。選定用於一基於矩陣之內預測模式之一子集可含有與該第一集合內的一或多個非角內預測模式(如DC內預測模式及/或平面內預測模式)相關聯的二次轉換。因此，二次轉換之該集合中的該等二次轉換可為一或多個二次轉換之多於一個子集之部分。無僅可用於該預定內預測模式為一基於矩陣之內預測模式的區塊的額外二次轉換必須含於二次轉換之該集合中。對於該預定內預測模式為一基於矩陣之內預測模式的一預定區塊，該解碼器/編碼器經組配以選擇與該預定內預測模式為該第一集合中的一非角預測模式相同的二次轉換之該集合中之二次轉換。選定用於一基於矩陣之內預測模式的一子集可等於選定用於該第一集合內不屬於該等角預測模式的一內預測模式之一子集，或可含有選定用於該第一集合內不屬於該等角預測模式的一內預測模式之一子集中的一些二次轉換，或可含有選定用於該第一集合內不屬於該等角預測模式的內預測模式之二個或更多個子集中的一些或所有二次轉換。
用於編碼或解碼的方法係基於與上述用於編碼或解碼的設備相同的考慮因素。順便一提，該等方法可藉由亦關於用於編碼或解碼的設備描述之所有特徵及功能性完成。
較佳實施例之詳細說明
即使出現於不同圖中，以下描述中仍藉由相等或等效附圖標記表示具有相等或等效功能性之相等或等效(若干)元件。
在以下描述中，闡述多個細節以提供對本發明之實施例的更透徹解釋。然而，熟習此項技術者將顯而易見，可在無此等特定細節之情況下實踐本發明之實施例。在其他情況下，以方塊圖形式而非詳細地展示熟知結構及裝置以便避免混淆本發明之實施例。此外，除非另外特定地指出，否則可將本文中所描述之不同實施例的特徵彼此組合。1 引言
在下文中，將描述不同的本發明實例、實施例及態樣。此等實例、實施例及態樣中之至少一些尤其指代用於視訊寫碼及/或用於執行內預測(例如使用線性或仿射轉換以及相鄰樣本縮減)及/或用於最佳化視訊傳遞(例如，廣播、流式傳輸、檔案回放等)，例如用於視訊應用及/或用於虛擬實境應用的方法及/或設備。
此外，實例、實施例及態樣可指代高效率視訊寫碼(HEVC)或後繼者。又，其他實施例、實例及態樣將由所附申請專利範圍界定。
應注意，如申請專利範圍所界定之任何實施例、實例及態樣可由以下章節中所描述之細節(特徵及功能性)中之任一者補充。
又，以下章節中所描述之實施例、實例及態樣可個別地使用，且亦可由另一章節中之特徵中之任一者或由申請專利範圍中所包括之任一特徵補充。
又，應注意，本文中所描述的個體、實例、實施例及態樣可個別地或組合地使用。因此，細節可經添加至該等個別態樣中之各者而無需將細節添加至該等實例、實施例及態樣中之另一者。
亦應注意，本揭露內容明確地或隱含地描述解碼及/或編碼系統及/或方法之特徵。
此外，本文中關於一種方法所揭示之特徵及功能性亦可用於設備中。此外，本文中相對於設備所揭示之任何特徵及功能性亦可用於對應方法中。換言之，本文所揭示之方法可藉由關於設備所描述的特徵及功能性中之任一者加以補充。
又，本文中所描述之特徵及功能性中之任一者可實施於硬體或軟體中，或使用硬體與軟體之一組合加以實施，如將在章節「實施替代方案」中所描述。
此外，在一些實例、實施例或態樣中，括號(「(…)」或「[…]」)中所描述之特徵中之任一者可被視為可選的。2 編碼器、解碼器
在下文中，描述各種實例，其輔助當使用以區塊為基礎之預測技術時達成更有效壓縮。一些實例藉由使用一組內預測模式來達成高壓縮效率。後面的實例可添加至例如經探索性設計地其他內預測模式，或可專門地提供。且甚至其他實例利用剛剛論述之二種特例。然而，作為此等實施例之振動，可藉由使用另一圖像中之參考樣本將內預測變為間預測。
為了易於理解本申請案之以下實例，本說明書開始呈現適合其的可能編碼器及解碼器，可在其中構建本申請案之隨後概述之實例。圖1展示用於將圖像10逐區塊編碼成資料串流12之設備。該設備使用參考符號14指示且可仍然為圖像編碼器或視訊編碼器。換言之，當編碼器14經組配以將包括圖像10之視訊16組配成資料串流12或編碼器14可僅將圖像10編碼成資料串流12時，圖像10可為視訊16當中之當前圖像。
如所提及，編碼器14以逐區塊方式或基於區塊執行編碼。為此，編碼器14將圖像10細分成區塊，編碼器14以區塊為單位將圖像10編碼成資料串流12。在下文更詳細地闡述將圖像10可能細分成區塊18之實例。通常，細分可能諸如藉由使用分層多樹細分而最終變成具有恆定大小之區塊18，諸如以列及行配置之區塊之陣列，或可能最終變成具有不同區塊大小之區塊18，其中多樹細分起始於圖像10之整個圖像區域或開始於圖像10預分割成樹型區塊之陣列，其中此等實例不應被視為排除將圖像10細分成區塊18之其他可能方式。
此外，編碼器14為經組配以將圖像10預測性地編碼成資料串流12之預測性編碼器。對於某一區塊18，此意謂編碼器14判定用於區塊18之預測信號且將預測殘差(即，預測信號偏離區塊18內之實際圖像內容的預測誤差)編碼至資料串流12中。
編碼器14可支援不同預測模式，以便導出用於某一區塊18之預測信號。在以下實例中重要之預測模式為內預測模式，根據該等內預測模式，自圖像10之相鄰的已編碼樣本在空間上預測區塊18之內部。將圖像10編碼成資料串流12且因此對應的解碼程序可基於在區塊18當中定義之特定寫碼次序20。舉例而言，寫碼次序20可以光柵掃描次序(諸如自上而下逐列)遍歷區塊18，其中例如自左至右遍歷各列。在基於分層多樹之細分之情況下，光柵掃描排序可應用在各層級層次內，其中可應用深度優先遍歷次序，即，某一層級層次之區塊內之葉節點可根據寫碼次序20在同一層級層次之具有相同父區塊之區塊之前。取決於寫碼次序20，區塊18之相鄰已編碼樣本通常可位於區塊18之一或多個側處。在本文中所呈現之實例的情況下，例如區塊18之相鄰的已編碼樣本位於區塊18之頂部及左方。
內預測模式可能並非編碼器14支援之僅有預測模式。在編碼器14為視訊編碼器之情況下，例如編碼器14亦可支援間預測模式，根據該等間預測模式，區塊18暫時根據視訊16之先前編碼之圖像來預測。此間預測模式可為運動補償預測模式，根據該運動補償預測模式，將移動向量傳信給此區塊18，從而指示區塊18之預測信號將自其導出作為複本之部分的相對空間偏移。另外或替代地，其他非內預測模式亦可為可用的，諸如在編碼器14為多視圖編碼器之情況下之間預測模式，或非預測性模式，根據該等非預測性模式，區塊18之內部按原樣，即無任何預測之情況下，經寫碼。
在開始將本申請案之描述集中於內預測模式之前，關於圖2描述可能的基於區塊之編碼器(即，編碼器14之可能實施)的更特定實例，接著分別呈現適合於圖1及圖2之解碼器的二個對應實例。
圖2展示圖1之編碼器14之可能實施，即其中編碼器經組配以使用轉換寫碼以用於編碼預測殘差之實施，但此近似實例且本申請案並不限於彼類別之預測殘差寫碼。根據圖2，編碼器14包含減法器22，其經組配以自入站信號(即圖像10)或在區塊基礎上自當前區塊18減去對應的預測信號24以便獲得預測殘差信號26，該預測殘差信號接著由預測殘差編碼器28編碼成資料串流12。預測殘差編碼器28由有損編碼級28a及無損編碼級28b構成。該有損級28a接收預測殘差信號26且包含量化器30，該量化器量化預測殘差信號26之樣本。如上文已提及，本發明實例使用預測殘差信號26之轉換寫碼，且因此有損編碼級28a包含連接於減法器22與量化器30之間的轉換級32，以便轉換此經頻譜分解之預測殘差26，其中對呈現殘差信號26之經轉換係數進行量化器30之量化。該轉換可為DCT、DST、FFT、哈達馬德(Hadamard)轉換等。經轉換且經量化預測殘差信號34接著藉由無損編碼級28b進行無損寫碼，該無損編碼級為將經量化預測殘差信號34熵寫碼成資料串流12之熵寫碼器。編碼器14進一步包含預測殘差信號重建構級36，其連接至量化器30之輸出以便以亦可用在解碼器處之方式自經轉換且經量化預測殘差信號34重建構預測殘差信號，即考慮寫碼損失為量化器30。為此，預測殘差重建構級36包含反量化器38，該反量化器執行量化器30之量化的反操作，接著包含反轉換器40，該反轉換器相對於由轉換器32執行之轉換而執行反轉換，諸如頻譜分解之反操作，諸如上文所提及之特定轉換實例中之任一者的反操作。編碼器14包含加法器42，其將由反轉換器40輸出之經重建構預測殘差信號與預測信號24相加以便輸出經重建構信號，即經重建構樣本。此輸出經饋送至編碼器14之預測器44中，該預測器接著基於該輸出來判定預測信號24。預測器44支援上文已經關於圖1所論述的所有預測模式。圖2亦說明在編碼器14為視訊編碼器之情況下，編碼器14亦可包含迴路內濾波器46，其對經重建構圖像進行完全濾波，該等經重建構圖像在已經濾波之後關於經間預測區塊形成用於預測器44之參考圖像。
如上文已提及，編碼器14基於區塊操作。對於後續描述，所關注之區塊基礎為將圖像10細分成區塊之基礎，針對該等區塊而自分別由預測器44或編碼器14支援之一組或多個內預測模式當中選擇內預測模式，且個別地執行所選擇的內預測模式。然而，亦可存在將圖像10細分成其他類別的區塊。舉例而言，無論圖像10經間寫碼抑或經內寫碼，以上提及之決策均可以粒度或以自區塊18偏離之區塊之單位來進行。舉例而言，間/內模式決策可以圖像10細分成之寫碼區塊之級別來執行，且各寫碼區塊均被細分成預測區塊。具有已決定使用內預測之編碼區塊的預測區塊各自被細分為內預測模式決策。為此，對於此等預測區塊中之各者，決定個別預測區塊應使用哪一經支援內預測模式。此等預測區塊將形成此處感興趣之區塊18。與間預測相關聯之寫碼區塊內的預測區塊將由預測器44以不同方式處理。該等預測區塊將藉由判定運動向量及自參考圖像中由運動向量所指向之位置複製用於此區塊之預測信號而自參考圖像進行間預測。另一區塊細分關於細分成轉換區塊，轉換器32及反轉換器40以轉換區塊為單位執行轉換。經轉換區塊可例如為進一步細分寫碼區塊之結果。當然，本文中所闡述之實例不應被視為限制性的，且亦存在其他實例。僅出於完整性起見，應注意，細分成寫碼區塊可例如使用多樹細分，且預測區塊及/或轉換區塊亦可藉由使用多樹細分進一步細分寫碼區塊而獲得。
圖3中描繪適合圖1之編碼器14之用於逐區塊解碼之解碼器54或設備。此解碼器54與編碼器14之行為相反，即其以逐區塊方式自資料串流12解碼圖像10且為此目的支援多個內預測模式。舉例而言，解碼器54可包含殘差提供器156。上文關於圖1所論述的所有其他可能性對於解碼器54亦有效。為此，解碼器54可為靜止圖像解碼器或視訊解碼器且所有預測模式及預測可能性亦由解碼器54支援。編碼器14與解碼器54之間的差異主要在於編碼器14根據某一最佳化選擇寫碼決策例如以便最小化可取決於寫碼速率及/或寫碼失真之某一成本函數之事實。此等寫碼選項或寫碼參數中之一者可涉及可用或經支援內預測模式當中之待用於當前區塊18之一系列內預測模式。選定的內預測模式接著可在資料串流12內由編碼器14用信號通知給當前區塊18，其中解碼器54使用用於區塊18之資料串流12中之此發信重新進行選擇。同樣，圖像10細分成區塊18可在編碼器14內進行最佳化，且對應的細分資訊可在資料串流12內傳送，其中解碼器54基於細分資訊恢復將圖像10細分成區塊18。綜上所述，解碼器54可為在區塊基礎上進行操作之預測性解碼器，且除內預測模式之外，解碼器54亦可支援其他預測模式，諸如在例如解碼器54為視訊解碼器之情況下的間預測模式。在解碼時，解碼器54亦可使用關於圖1所論述的寫碼次序20，且由於編碼器14及解碼器54處均遵從此寫碼次序20，因此相同的相鄰樣本在編碼器14及解碼器54處均可用於當前區塊18。因此，為了避免不必要的重複，就圖像10細分成區塊而言，例如就預測而言及就預測殘差之寫碼而言，編碼器14之操作模式之描述亦應適用於解碼器54。差異在於以下事實：編碼器14藉由最佳化選擇一些寫碼選項或寫碼參數，且在資料串流12內用信號發送寫碼參數或將寫碼參數插入至資料串流12中，該等寫碼參數接著藉由解碼器54自資料串流12導出以便重新進行預測、細分等等。
圖4展示圖3之解碼器54之可能實施，即適合圖1之編碼器14之實施的實施，如圖2中所展示。由於圖4之編碼器54的許多元件與圖2之對應編碼器中出現的彼等元件相同，因此在圖4中使用具備撇號之相同參考符號以便指示此等元件。詳言之，加法器42'、可選迴路內濾波器46'及預測器44'以與其在圖2之編碼器中相同的方式連接至預測迴路中。應用於加法器42'之經重建構，即經去量化及經再轉換預測殘差信號藉由以下各者之序列導出：熵解碼器56，其反向轉換熵編碼器28b之熵編碼；接著為殘差信號重建構級36'，其由反量化器38'及反轉換器40'構成，正好與編碼側之情況相同。解碼器之輸出為圖像10之重建構。圖像10之重建構可直接在加法器42'之輸出端處或替代地在迴路內濾波器46'之輸出端處獲得。一些後置濾波器可配置在解碼器之輸出處以便使圖像10之重建構進行一定後置濾波，以便改良圖像品質，但圖4中並未描繪此選項。
同樣，關於圖4，上面關於圖2提出之描述對於圖4亦應有效，除了僅編碼器執行最佳化任務及關於寫碼選項之相關聯決策之外。然而，關於區塊細分、預測、反量化及再轉換的所有描述對於圖4之解碼器54亦有效。3 仿射線性經加權內預測器 (ALWIP)
特此論述關於ALWIP之一些非限制性實例，即使ALWIP並非一直必須體現此處論述的技術。
本申請案尤其涉及用於逐區塊圖像寫碼之經改良的以區塊為基礎之預測模式概念，該概念諸如可用在諸如HEVC或HEVC之任何後續者的視訊編解碼器中。預測模式可為內預測模式，但理論上本文中所描述的概念亦可傳送至間預測模式上，其中參考樣本為另一圖像之一部分。
尋求以區塊為基礎之預測概念，其允許諸如硬體友好實施之高效實施。
此目標係藉由本申請案之獨立技術方案的主題來達成。
內預測模式廣泛地用於圖像及視訊寫碼中。在視訊寫碼中，內預測模式與其他預測模式競爭，諸如間預測模式，諸如運動補償預測模式。在內預測模式中，基於相鄰樣本預測當前區塊，該等相鄰樣本即就編碼器側而言已經編碼且就解碼器側而言已經解碼之樣本。相鄰樣本值經外推至當前區塊中以便形成用於當前區塊之預測信號，其中預測殘差在用於當前區塊之資料串流中傳輸。預測信號越佳，則預測殘差越低，且相應地必需較低數目的位元以對預測殘差進行寫碼。
為了有效，應考慮若干態樣以便在逐區塊圖像寫碼環境中形成用於內預測之有效構架。舉例而言，由編碼解碼器支援之內預測模式之數目愈大，則將選擇發信給解碼器之旁側資訊速率消耗愈大。另一方面，所支援之內預測模式的集合應能夠提供良好的預測信號，即，產生低預測殘差之預測信號。
在下文中，揭示(作為比較實施例或基礎實例)用於自資料串流逐區塊解碼圖像之設備(編碼器或解碼器)，該設備支援至少一個內預測模式，根據該內預測模式，藉由將鄰近當前區塊之樣本的第一範本應用至仿射線性預測器上來判定用於圖像之預定大小之區塊的內預測信號，該仿射線性預測器在該sequel中應被稱作仿射線性經加權內預測器(ALWIP)。
該設備可具有以下屬性中之至少一者(其可適用於例如實施於非暫時性儲存單元中之方法或另一技術，該非暫時性儲存單元儲存在由處理器執行時使該處理器實施該方法及/或用作該設備之指令)： 3.1 預測器可與其他預測器互補
可形成下文進一步描述在實施改良之主題的內預測模式可與編解碼器的其他內預測模式互補。因此，該等內預測模式可與在HEVC編碼解碼器中，相應地在JEM參考軟體中定義之DC預測模式、平面預測模式及角預測模式互補。內預測模式之後三種類型今後應被稱作習知內預測模式。因此，對於內模式中之給定區塊，旗標需要由解碼器解析，從而指示是否將使用該設備支援之內預測模式中之一者。 3.2 多於一個所提議的預測模式
該設備可含有多於一個ALWIP模式。因此，在解碼器已知將使用該設備所支援之ALWIP模式中之一者之情況下，該解碼器需要解析額外資訊，該額外資訊指示將使用該設備所支援之ALWIP模式中之哪一ALWIP模式。
所支援模式之發信可具有如下性質：一些ALWIP模式之寫碼可能需要比其他ALWIP模式少之位元子。此等模式中之哪些模式需要較少位元子且哪些模式需要較多位元子可取決於可自已解碼之位元串流提取的資訊，或可預先固定。4 一些態樣
圖2展示用於自資料串流12解碼圖像之解碼器54。解碼器54可經組配以解碼圖像之預定區塊18。詳言之，預測器44可經組配以使用線性或仿射線性轉換[例如，ALWIP]將與預定區塊18相鄰之P個相鄰樣本之集合映射至預定區塊之樣本的Q個預測值之集合上。
如圖5中所展示，預定區塊18包含待預測之Q個值(在操作結束時，其將為「預測值」)。若區塊18具有M列及N行，則Q=M▪N。區塊18之Q個值可在空間域(例如，像素)中或在轉換域(例如，DCT，離散小波轉換等)中。可基於自大體上鄰近於區塊18之相鄰區塊17a至17c獲取的P個值來預測區塊18之Q個值。相鄰區塊17a至17c之P個值可在最接近(例如，鄰近)區塊18之位置中。相鄰區塊17a至17c之P個值已被處理及預測。P個值係指示為部分17'a至17'c 中之值，以區分該等部分與其作為一部分(在一些實例中，不使用17'b)之區塊。
如圖6中所展示，為了執行預測，有可能與具有P個條目(各條目與相鄰部分17'a至17'c中之特定位置相關聯)之第一向量17P、具有Q個條目(各條目與區塊18中之特定位置相關聯)之第二向量18Q及映射矩陣17M (各列與區塊18中之特定位置相關聯，各行與相鄰部分17'a至17'c中之特定位置相關聯)一起操作。因此，映射矩陣17M根據預定模式執行將相鄰部分17'a至17'c之P個值預測成區塊18之值。映射矩陣17M中之條目可因此理解為加權因子。在以下段落中，吾人將使用符號17a至17c代替17'a至17'c來指代邊界之相鄰部分。
在此項技術中，已知若干習知模式，諸如DC模式、平面模式及65個方向性預測模式。可能已知例如67種模式。
然而，已注意到，亦有可能利用不同模式，其在此處被稱作線性或仿射線性轉換。線性或仿射線性轉換包含P▪Q個加權因子，在該等加權因子當中，至少¼ P▪Q個加權因子係非零加權值，其針對Q個經預測值中之各者，包含與個別經預測值有關之一系列P個加權因子。當在預定區塊之樣本當中根據光柵掃描次序而一個接一個地配置時，該系列形成全向非線性之包絡。
有可能映射相鄰值17'a至17'c(範本)之P個位置、相鄰樣本17'a至17'c之Q個位置，且在矩陣17M之P*Q個加權因子之值處進行映射。平面為用於DC轉換之系列的包絡之實例(其為用於DC轉換之平面)。包絡明顯為平面的，且因此被線性或仿射線性轉換(ALWIP)之定義所排除。另一實例為產生角模式之仿真的矩陣：包絡將自ALWIP定義排除，且坦言之，將看起來像沿著P/Q平面中之方向自上而下傾斜之山丘。平面模式及65種方向預測模式將具有不同包絡，然而，其將在至少一個方向上為線性的，即例如用於經例示DC之所有方向及例如用於角模式之山丘方向。
相反，線性或仿射轉換之包絡將並非全向線性的。已理解，在一些情形中，此種轉換對於執行區塊18之預測可為最佳的。已注意，較佳地，加權因子之至少¼不同於零(即，P*Q個加權因子中之至少25%不同於0)。
根據任何常規的映射規則，該等加權因子可能彼此不相關。因此，矩陣17M可使得其條目之值不具有明顯可辨識之關係。舉例而言，加權因子無法由任何分析或差分函數描述。
在實例中，ALWIP轉換使得有關於個別經預測值之第一系列加權因子與有關於除個別經預測值以外之經預測值的第二系列加權因子或後一系列之反轉版本-無論何者導致較高最大值-之間的交叉相關之最大值之均值可低於預定臨限值(例如，0.2或0.3或0.35或0.1，例如，在0.05與0.035之間的範圍內之臨限值)。舉例而言，對於ALWIP矩陣17M之各對列(i1
，i2
)，可藉由將第i1
列之P個值乘以第i2
列之P個值來計算交叉相關。對於各經獲得交叉相關，可獲得最大值。因此，可針對整個矩陣17M獲得均值(平均值)(即，平均化所有組合中之交叉相關的最大值)。此後，臨限值可為例如0.2或0.3或0.35或0.1，例如，在0.05與0.035之間的範圍內的臨限值。
區塊17a至17c之P個相鄰樣本可沿著一維路徑定位，該一維路徑沿著預定區塊18之邊界(例如，18c，18a)延伸。對於預定區塊18之Q個預測值中之各者，可按在預定方向(例如，自左向右，自上而下等)上遍歷一維路徑之方式對與個別預測值有關之該系列P個加權因子進行排序。
在實例中，ALWIP矩陣17M可為非對角或非區塊對角的。
用於自4個已預測之相鄰樣本來預測4×4區塊18的ALWIP矩陣17M之實例可為：
{
{ 37, 59, 77, 28},
{ 32, 92, 85, 25},
{ 31, 69, 100, 24},
{ 33, 36, 106, 29},
{ 24, 49, 104, 48},
{ 24, 21, 94, 59},
{ 29, 0, 80, 72},
{ 35, 2, 66, 84},
{ 32, 13, 35, 99},
{ 39, 11, 34, 103},
{ 45, 21, 34, 106},
{ 51, 24, 40, 105},
{ 50, 28, 43, 101},
{ 56, 32, 49, 101},
{ 61, 31, 53, 102},
{ 61, 32, 54, 100}
}.
(此處，{ 37, 59, 77, 28}為矩陣17M之第一列；{ 32, 92, 85, 25}為第二列；且{ 61, 32, 54, 100}為第16列。)矩陣17M具有尺寸16×4，且包括64個加權因子(由於16*4=64)。此係因為矩陣17M具有尺寸Q×P，其中Q=M*N，其為待預測之區塊18的樣本數目(區塊18為4×4區塊)，且P為已預測樣本之樣本數目。此處，M=4，N=4，Q=16 (由於M*N=4*4=16)，P=4。該矩陣為非對角及非區塊對角的，且不由特定規則描述。
如可看出，少於¼的加權因子係0 (在上文所展示之矩陣之情況下，六十四個當中之一個加權因子為零)。當根據光柵掃描次序一個接一個地配置時，由此等值形成之包絡形成全向非線性之包絡。
即使主要參考解碼器(例如，解碼器54)論述以上解釋，但該解釋可在編碼器(例如，編碼器14)處執行。
在一些實例中，對於各區塊大小(在區塊大小之集合中)，用於個別區塊大小之內預測模式之第二集合內的內預測模式之ALWIP轉換為相互不同的。另外或替代地，用於區塊大小之集合中之區塊大小的內預測模式之第二集合之基數可一致，但用於不同區塊大小之內預測模式之第二集合內的內預測模式之相關聯之線性或仿射線性轉換不可藉由按比例調整來彼此轉換。
在一些實例中，可定義ALWIP轉換，其方式為使得其與習知轉換「無共享部分」(例如，ALWIP轉換可能與對應習知轉換「無」共享部分，即使該等轉換已經由以上映射中之一者映射)。
在實例中，ALWIP模式用於亮度分量及色度分量二者，但在其他實例中，ALWIP模式用於亮度分量但不用於色度分量。5 具有編碼器加速之仿射線性經加權內預測模式 ( 例如，測試 CE3-1.2.1) 5.1 方法或設備之描述
在CE3-1.2.1中測試之仿射線性經加權內預測(ALWIP)模式可與在測試CE3-2.2.2下在JVET-L0199中提議之模式相同，除了以下改變以外：
• 與多個參考線(MRL)內預測(尤其編碼器估計及傳信)之協調，即MRL不與ALWIP組合且傳輸MRL索引被限於非ALWIP區塊。
• 現在必須對所有W×H≥32×32的區塊進行次取樣(以前對於32×32係可選的)；因此，已刪除了編碼器處之發送次取樣旗標之額外測試。
• 藉由分別減少取樣至32×N及N×32並應用對應的ALWIP模式，已添加了用於64×N及N×64區塊(其中N≤32)的ALWIP。
此外，測試CE3-1.2.1包括用於ALWIP之以下編碼器最佳化：
• 經組合模式估計：習知及ALWIP模式使用用於全部RD估計之共享哈達馬德候選者清單，即ALWIP模式候選者基於哈達馬德成本添加至與習知(及MRL)模式候選者相同的清單。
• 針對經組合模式清單支援EMT內快速及PB內快速，其中額外最佳化用於縮減全部RD檢查之數目。
• 按照與習知模式相同的方法，僅將可用的左側及上方區塊的MPM添加至該清單，以進行ALWIP的完整RD估計。 5.2 複雜性評估
在測試CE3-1.2.1中，不包括調用離散餘弦轉換的計算，每個樣本最多需要12個乘法才能產生預測信號。此外，總共需要136492個參數，各參數16個位元。此對應於0.273百萬位元組的記憶體。 5.3 實驗結果
根據共同測試條件JVET-J1010 [2]對具有VTM軟體3.0.1版本的僅內(AI)及隨機存取(RA)組配執行測試評估。在具有Linux OS及GCC 7.2.1編譯器的Intel Xeon叢集(E5-2697A v4，AVX2打開，英特爾睿頻加速技術(turbo boost)關閉)上進行了對應的模擬。表 1. 用於 VTM AI 組配之 CE3-1.2.1 的結果
表 2. 用於 VTM RA 組配之 CE3-1.2.1 的結果
5.4 複雜性降低之仿射線性經加權內預測 ( 例如測試 CE3-1.2.2)
| Y | U | V | 編碼時間 | 解碼時間 | |
| 種類A1 | -2,08% | -1,68% | -1,60% | 155% | 104% |
| 種類A2 | -1,18% | -0,90% | -0,84% | 153% | 103% |
| 種類B | -1,18% | -0,84% | -0,83% | 155% | 104% |
| 種類C | -0,94% | -0,63% | -0,76% | 148% | 106% |
| 種類E | -1,71% | -1,28% | -1,21% | 154% | 106% |
| 總計 | -1,36% | -1,02% | -1,01% | 153% | 105% |
| 種類D | -0,99% | -0,61% | -0,76% | 145% | 107% |
| 種類F (可選) | -1,38% | -1,23% | -1,04% | 147% | 104% |
| Y | U | V | 編碼時間 | 解碼時間 | |
| 種類A1 | -1,25% | -1,80% | -1,95% | 113% | 100% |
| 種類A2 | -0,68% | -0,54% | -0,21% | 111% | 100% |
| 種類B | -0,82% | -0,72% | -0,97% | 113% | 100% |
| 種類C | -0,70% | -0,79% | -0,82% | 113% | 99% |
| 種類E | |||||
| 總計 | -0,85% | -0,92% | -0,98% | 113% | 100% |
| 種類D | -0,65% | -1,06% | -0,51% | 113% | 102% |
| 種類F (可選) | -1,07% | -1,04% | -0,96% | 117% | 99% |
CE2中所測試之技術係關於JVET-L0199[1]中所描述之「仿射線性內預測」，但就記憶體要求及計算複雜度而言簡化了該等預測：
• 可僅存在三組不同的預測矩陣(例如S0
，S1
，S2
，亦見下文)及偏差向量(例如用於提供偏移值)覆蓋所有區塊形狀。因此，參數的數量縮減至14400個10位元值，此比在128×128 CTU中儲存的記憶體要少。
• 預測器之輸入及輸出大小經進一步縮減。此外，代替經由DCT轉換邊界，可對邊界樣本執行平均化或減少取樣，並且預測信號的產生可使用線性內插代替逆DCT。因此，為了產生預測信號，每個樣本最多可需要四個乘法。6. 實例
此處論述如何運用ALWIP預測執行一些預測(例如，如圖6中所展示)。
原則上，參考圖6，為了獲得待預測的M×N區塊18之Q=M*N個值，應執行將Q×P ALWIP預測矩陣17M的Q*P個樣本乘以P×1相鄰向量17P之P個樣本。因此，通常，為了獲得待預測的M×N區塊18的Q=M*N個值中之各者，至少需要P=M+N值乘法。
此等乘法具有極非所需的效應。一般而言，邊界向量17P之尺寸P取決於與待預測之M×N區塊18相鄰(例如，鄰近)之邊界樣本(位元子或像素)17a、17c之數目M+N。此意謂，若待預測的區塊18之大小較大，則邊界像素(17a，17c)的數量M+N相應地較大，因此增加了P×1邊界向量17P的尺寸P=M+N，及Q×P ALWIP預測矩陣17M的各列的長度，以及相應地，亦增加必需的乘數之數量(一般而言，Q=M*N=W*H，其中寬度(W)係N之另一符號且高度(H)係M之另一符號；在邊界向量僅由一列和/或一行樣本形成之情況下，P為P=M+N=H+W)。
通常，以下事實會加劇此問題：在基於微處理器之系統(或其他數位處理系統)中，乘法通常為消耗功率的運算。可想像，針對大量區塊的極大量樣本進行的大量乘法會導致計算功率之浪費，此通常為非所需的。
因此，較佳地，縮減預測M×N區塊18所必需的乘法之數量Q*P。
已理解，有可能藉由智慧型地選擇替代乘法並且更易於處理之運算，來在某種程度上縮減待預測的各區塊18之各內預測所必需的計算功率。
詳言之，參考圖7.1至圖7.4，已理解，編碼器或解碼器可使用多個相鄰樣本(例如，17a、17c)藉由以下操作預測圖像之預定區塊(例如，18)
減少(例如，在步驟811處)(例如，藉由平均化或減少取樣)多個相鄰樣本(例如，17a、17c)以獲得在樣本數目上低於該多個相鄰樣本之經縮減樣本值集合，
對經縮減樣本值集合進行(例如在步驟812處)線性或仿射線性轉換，以獲得預定區塊的預定樣本之經預測值。
在一些情況下，解碼器或編碼器亦可例如藉由內插基於用於預定樣本及多個相鄰樣本之經預測值導出用於預定區塊之其他樣本的預測值。因此，可獲得增加取樣策略。
在實例中，有可能對邊界17之樣本執行(例如，在步驟811處)一些平均化，以便獲得具有經縮減樣本數目之經縮減樣本集合102 (圖7.1至圖7.4) (經縮減樣本數目102之樣本中之至少一者可為原始邊界樣本或一系列原始邊界樣本中之二個樣本的平均值)。舉例而言，若原始邊界具有P=M+N個樣本，則經縮減樣本集合可具有Pred
=Mred
+Nred
，其中Mred
＜M及Nred
＜N中之至少一者，使得Pred
＜P。因此，將實際上用於預測(例如在步驟812b處)之邊界向量17P將不具有P×1個條目但具有Pred
×1個條目，其中Pred
＜P。類似地，針對預測所選擇的ALWIP預測矩陣17M將不具有Q×P尺寸，但具有Q×Pred
(或Qred
×Pred
，見下文)，其具有矩陣之經縮減數目個元素，至少因為Pred
＜P (藉助於Mred
＜M及Nred
＜N中之至少一者)。
在一些實例(例如，圖7.2、圖7.3)中，甚至有可能進一步減少乘法之數目，若藉由ALWIP獲得之區塊(在步驟812處)為大小為
之經縮減區塊，其中
及/或
(即，直接藉由ALWIP預測之樣本相較於實際上待預測之區塊18之樣本在數目上較少)。因此，設定
，此將藉由使用Qred
*Pred
乘法而非Q*Pred
乘法(其中Qred
*Pred
＜Q*Pred
＜Q*P)獲得ALWIP預測。此乘法將預測經縮減區塊，其尺寸為。儘管如此，將有可能執行(例如，在後續步驟813處)自經縮減預測區塊至最終的M×N預測區塊的增加取樣(例如，藉由內插獲得)。
此等技術可為有利的，此係由於雖然矩陣乘法涉及經縮減的乘法數目(Qred
*Pred
或Q*Pred
)，但初始縮減(例如，平均化或減少取樣)及最終轉換(例如內插)二者均可藉由縮減(或甚至避免)乘法來執行。舉例而言，減少取樣、平均化及/或內插可藉由採用非計算功率需求的二進位運算(諸如加法及移位)來執行(例如在步驟811及/或813處)。
又，該加法係極容易的運算，其無需大量的計算工作即可容易地執行。
此移位運算可例如用於平均化二個邊界樣本及/或用於內插(或從邊界取得之)經縮減之經預測區塊的二個樣本(支援值)，以獲得最終的經預測區塊。(對於內插，必須有二個樣本值。在該區塊內，吾人一直具有二個預定值，但對於沿區塊的左邊界及上方邊界內插樣本，吾人僅具有一個預定值，如圖7.2中，因此吾人使用邊界樣本作為內插的支援值。)
可使用二步驟程序，諸如：
首先對二個樣本之值求和；
接著將總和的值減半(例如，藉由向右移位)。
替代地，有可能：
首先將樣本中之各者減半(例如，藉由向左移位)；
接著對二個經減半樣本的值求和。
當減少取樣(例如，在步驟811處)時，可執行甚至更容易的運算，因為僅需要在樣本之群組(例如，彼此鄰近之樣本)中選擇一個樣本。
因此，現在有可能界定用於縮減待執行之乘法的數目之技術。此等技術中之一些可尤其基於以下原理中之至少一者：
即使實際上待預測之區塊18具有大小M×N，區塊亦可經縮減(在二個維度中之至少一者上)且可應用具有縮減大小Qred
xPred
之ALWIP矩陣(其中、Pred
=Nred
+Mred
，以及及/或及/或Mred
＜M及/或Nred
＜N)。因此，邊界向量17P將具有大小Pred
×1，僅意指Pred
＜P乘法 (其中Pred
= Mred
+ Nred
且P=M+N)。
Pred
×1邊界向量17P可自原始邊界17容易地獲得，例如：
藉由減少取樣(例如藉由僅選擇邊界之一些樣本)；及/或
藉由平均化邊界之多個樣本(該邊界可藉由加法及移位而不使用乘法之情況下容易地獲得)。
另外或替代地，替代藉由乘法預測待預測之區塊18之所有Q=M*N值，有可能僅預測具有經縮減尺寸之經縮減區塊(例如，，其中及/或)。將藉由內插，例如使用Qred
樣本作為用於待預測之剩餘的Q-Qred
值之支援值來獲得待預測之區塊18的剩餘的樣本。
根據圖7.1中所說明之一實例，將預測4×4區塊18 (M=4，N=4，Q=M*N=16)，且已經在先前反覆下預測樣本17a (具有四個已經預測之樣本的豎直列行)及17c (具有四個已經預測之樣本的水平列)之鄰域17 (鄰域17a及17c可共同由17指示)。先驗地，藉由使用圖6中所展示之等式，預測矩陣17M應為Q×P=16×8矩陣(藉助於Q=M*N=4*4且P=M+N=4+4=8)，且邊界向量17P應具有8×1尺寸(藉助於P=8)。然而，此將驅使對於待預測的4×4區塊18之16個樣本中之各者執行8次乘法的必要性，因此導致總共需要執行16*8=128次乘法。(應注意，各樣本之乘法之平均數目為對計算複雜度之良好評定。對於習知內預測，每個樣本需要四次乘法，且此增加待涉及之計算工作。因此，有可能使用此作為ALWIP之上限將確保複雜性係合理的並且不超過習知內預測之複雜性。)
儘管如此，已理解，藉由使用本發明技術，有可能在步驟811處將與待預測的區塊18相鄰的樣本17a及17c之數目自P縮減至Pred＜P。詳言之，已理解，有可能平均化(例如在圖7.1中之100處)彼此鄰近之邊界樣本(17a，17c)，以獲得具有二個水平列及二個豎直行之經縮減邊界102，因此將2×2區塊用作區塊18 (經縮減邊界係藉由經平均化值形成)。替代地，有可能執行減少取樣，因此選擇用於列17c之二個樣本及用於行17a之二個樣本。因此，替代具有四個原始樣本之水平列17c經處理為具有二個樣本(例如經平均化樣本)，而最初具有四個樣本之豎直行17a經處理為具有二個樣本(例如經平均化樣本)。亦有可能理解，在細分每二個樣本的群組110中之列17c及行17a之後，維持單個樣本(例如，群組110之樣本的平均值或群組110之樣本當中的簡單選擇)。因此，藉助於僅具有四個樣本之集合102而獲得所謂的經縮減樣本值集合102 (Mred
=2，Nred
=2，Pred
=Mred
+Nred
=4，其中Pred
＜P)。
已理解，有可能執行操作(諸如平均化或減少取樣100)而無需在處理器層級下實行太多的乘法：在步驟811執行之平均化或減少取樣100可簡單地藉由直接的且計算上非功率消耗運算(諸如加法及移位)來獲得。
已理解，此時，可對經縮減樣本值集合102進行線性或仿射線性(ALWIP)轉換19 (例如，使用諸如圖6的矩陣17M之預測矩陣)。在此情況下，ALWIP轉換19直接將四個樣本102映射至區塊18之樣本值104上。在當前情況下，不需要內插。
在此情況下，ALWIP矩陣17M具有尺Q×Pred
=16×4：此遵循以下事實：待預測的區塊18之所有Q=16個樣本均藉由ALWIP乘法直接獲得(不需要內插)。
因此，在步驟812a處，選擇具有尺寸Q×Pred
之合適的ALWIP矩陣17M。該選擇可至少部分地基於例如自資料串流12之傳信。所選ALWIP矩陣17M亦可運用Ak
來指示，其中k可理解為索引，其可在資料串流12中傳信(在一些情況下，該矩陣亦指示為
，見下文)。該選擇可根據以下方案執行：對於各尺寸(例如，待預測之區塊18的高度/寬度對)，在例如矩陣之三個集合S0
、S1
、S2
中之一者當中選擇ALWIP矩陣17M (三個集合S0
、S1
、S2
中之各者可對具有相同尺寸之多個ALWIP矩陣17M進行分組，且待針對預測選擇的ALWIP矩陣將為其中之一者)。
在步驟812b處，執行選定的Q×Pred ALWIP矩陣17M (亦經指示為Ak)與Pred×1邊界向量17P之間的乘法。
在步驟812c處，可將偏移值(例如，bk
)與例如藉由ALWIP獲得之向量18Q的所有經獲得值104相加。偏移值(bk
或在一些情況下亦運用
指示，見下文)可與特定的選定ALWIP矩陣(Ak
)相關聯，且可基於索引(例如，其可在資料串流12中傳信)。
因此，此處恢復使用本發明技術與不使用本發明技術之間的比較：
在不具有本發明技術之情況下：
待預測之區塊18，該區塊具有尺寸M=4，N=4；
待預測之Q=M*N=4*4=16個值；
P=M+N=4+4=8個邊界樣本
用於待預測之Q=16個值中之各者的P=8次乘法，
總數目P*Q=8*16=128次乘法；
在本發明技術之情況下，吾人具有：
待預測之區塊18，該區塊具有尺寸M=4，N=4；
待在結束時預測之Q=M*N=4*4=16個值；
邊界向量之經縮減尺寸：Pred
=Mred
+Nred
=2+2=4；
用於待藉由ALWIP預測之Q=16個值中之各者的Pred
=4次乘法，
總數目Pred
*Q=4*16=64次乘法(128的一半!)
乘法之數目與待獲得之最終值的數目之間的比率為Pred
*Q/Q=4，即用於各待預測的樣本之P=8個乘法的不到一半！
如可理解，藉由依賴於諸如平均化(且，在情況下，加法及/或移位及/或減少取樣)的直接且計算上不需要功率的運算，有可能在步驟812處獲得適當的值。
參考圖7.2，待預測之區塊18此處為64個樣本之8×8區塊(M=8，N=8)。此處，先驗地，預測矩陣17M應具有大小Q×P=64×16 (Q=64，藉助於Q=M*N=8*8=64，M=8且N=8並且藉助於P=M+N=8+8=16)。因此，先驗地，將需要用於待預測之8×8區塊18之Q=64個樣本中之各者的P=16次乘法，以得到用於整個8×8區塊18之64*16=1024次乘法。
然而，如圖7.2中可見，可提供方法820，根據該方法，代替使用邊界之所有16個樣本，僅使用8個值(例如，邊界之原始樣本之間的水平邊界列17c中之4及豎直邊界行17a中之4)。自邊界列17c，可使用4個樣本代替8個樣本(例如，其可為二乘二之平均值及/或自二個樣本選擇一個樣本)。因此，邊界向量並非P×1=16×1向量，而僅為Pred
×1=8×1向量(Pred
=Mred
+Nred
=4+4)。已理解，有可能選擇或平均化(例如，二乘二)水平列17c之樣本及豎直行17a之樣本以僅具有Pred
=8個邊界值，而非原始的P=16個樣本，從而形成經縮減樣本值集合102。此經縮減集合102將准許獲得區塊18之經縮減版本，經縮減版本具有Qred
=Mred
*Nred
=4*4=16個樣本(而非Q=M*N=8*8=64)。有可能應用ALWIP矩陣以用於預測具有大小Mred
×Nred
=4×4之區塊。區塊18之經縮減版本包括在圖7.2之方案106中運用灰色指示之樣本：運用灰色正方形指示之樣本(包括樣本118'及118'')形成4×4經縮減區塊，其具有在進行步驟812獲得之Qred
=16個值。藉由在進行步驟812時應用線性轉換19而獲得4×4經縮減區塊。在獲得4×4經縮減區塊之值之後，有可能例如藉由內插獲得剩餘的樣本(在方案106中運用白色樣本指示之樣本)之值。
關於圖7.1之方法810，此方法820可另外包括例如藉由內插導出用於待預測之M×N=8×8區塊18的剩餘的Q-Qred
=64-16=48個樣本(白色正方形)之預測值的步驟813。剩餘的Q-Qred
=64-16=48個樣本可藉由內插自Qred
=16個直接獲得之樣本獲得(該內插亦可利用例如邊界樣本之值)。如圖7.2中可見，雖然在步驟812處已經獲得樣本118'及118'' (如由灰色正方形指示)，但樣本108' (在樣本118'與118''中間且運用白色正方形指示)在步驟813處藉由樣本118'與118''之間的內插獲得。已理解，內插亦可藉由類似於用於平均化的運算(諸如，移位及加法)來獲得。因此，在圖7.2中，通常可將值108'判定為樣本118'的值與樣本118''的值之間的中間值(其可為平均值)。
藉由執行內插，在步驟813處，亦有可能基於在104中指示之多個樣本值而得到M×N=8×8區塊18之最終版本。
因此，使用本發明技術與不使用本發明技術之間的比較係：
在不具有本發明技術之情況下：
待預測之區塊18，該區塊具有尺寸M=8，N=8，及區塊18中之待預測之Q=M*N=8*8=64個樣本；
邊界17中之P=M+N=8+8=16個樣本；
用於待預測之Q=64個值中之各者的P=16次乘法，
P*Q=16*64=1028次乘法之一總數目
乘法之數目與待獲得之最終值之數目之間的比率係P*Q/Q=16
在具有本發明技術之情況下：
待預測之區塊18，其具有尺寸M=8，N=8
待在結束時預測之Q=M*N=8*8=64個值；
但將使用Qred
×Pred
ALWIP矩陣，其中Pred
=Mred
+Nred
，Qred
= Mred
*Nred
，Mred
=4，Nred
=4
邊界中之Pred
=Mred
+Nred
=4+4=8個樣本，其中Pred
＜P
用於待預測之4×4經縮減區塊(在方案106中由灰色正方形形成)之Qred
=16個值中之各者的Pred
=8次乘法，
總數目Pred
*Qred
=8*16=128次乘法(比1024小得多!)
乘法之數目與待獲得之最終值之數目之間的比率係Pred
*Qred
/Q=128/64=2 (比在不具有本發明技術之情況下獲得之16小得多!)。
因此，特此呈現之技術對功率之需求比前一個技術少8倍。
圖7.3展示另一實例(其可基於方法820)，其中待預測之區塊18為矩形4×8區塊(M=8，N=4)，其具有待預測之Q=4*8=32個樣本。邊界17係藉由具有N=8個樣本之水平列17c及具有M=4個樣本之豎直行17a形成。因此，先驗地，邊界向量17P將具有尺寸P×1=12×1，而預測ALWIP矩陣應為Q×P=32×12矩陣，因此使得需要Q*P=32*12=384次乘法。
然而，有可能例如平均化或減少取樣水平列17c之至少8個樣本，以獲得僅具有4個樣本(例如，經平均化樣本)之經縮減水平列。在一些實例中，豎直行17a將保持原樣(例如不進行平均化)。總體上，經縮減邊界將具有尺寸Pred
=8，其中Pred
＜P。因此，邊界向量17P將具有尺寸Pred
×1=8×1。ALWIP預測矩陣17M將為具有尺寸M*Nred
*Pred
=4*4*8=64之矩陣。直接在進行步驟812時獲得之4×4經縮減區塊(在方案107中藉由灰色行形成)將具有大小Qred
=M*Nred
=4*4=16個樣本(而非待預測之原始4×8區塊18的Q=4*8=32)。一旦藉由ALWIP獲得經縮減4×4區塊，則有可能在步驟813處添加偏移值bk
(步驟812c)且執行內插。如可在圖7.3中之步驟813處看出，經縮減4×4區塊擴增至4×8區塊18，其中未在步驟812處獲得之值108'藉由內插在步驟812處獲得之值118'及118'' (灰色正方形)而在步驟813處獲得。
因此，使用本發明技術與不使用本發明技術之間的比較係：
在不具有本發明技術之情況下：
待預測之區塊18，該區塊具有尺寸M=4，N=8
待預測之Q=M*N=4*8=32個值；
邊界中之P=M+N=4+8=12個樣本；
用於待預測之Q=32個值中之各者的P=12次乘法，
總數目P*Q=12*32=384次乘法
乘法之數目與待獲得之最終值之數目之間的比率係P*Q/Q=12
在具有本發明技術之情況下：
待預測之區塊18，該區塊具有尺寸M=4，N=8
待在結束時預測之Q=M*N=4*8=32個值；
但可使用Qred
×Pred
=16×8 ALWIP矩陣，其中M=4，Nred
=4，Qred
=M*Nred
=16，Pred
=M+Nred
=4+4=8
邊界中之Pred
=M+Nred
=4+4=8個樣本，其中Pred
＜P
用於待預測之經縮減區塊之Qred
=16個值中之各者的Pred
=8次乘法，
總數目Qred
*Pred
=16*8=128次乘法(少於384!)
乘法之數目與待獲得之最終值之數目之間的比率係Pred
*Qred
/Q=128/32=4 (比在不具有本發明技術之情況下獲得之12小得多!)。
因此，在具有本發明技術之情況下，計算工作經縮減至三分之一。
圖7.4展示待預測之具有尺寸M×N=16×16且待在結束時預測之具有Q=M*N=16*16=256個值的區塊18之情況，該區塊具有P=M+N=16+16=32個邊界樣本。此將產生具有尺寸Q×P=256×32之預測矩陣，其將暗示256*32=8192次乘法!
然而，藉由應用方法820，有可能在步驟811處(例如藉由平均化或減少取樣)將邊界樣本之數目例如自32縮減至8：例如，對於列17a之四個連續樣本的各群組120，仍存在單個樣本(例如，選自四個樣本，或樣本的平均值)。亦對於行17c之四個連續樣本的各群組，仍存在單個樣本(例如，選自四個樣本，或樣本之平均值)。
此處，ALWIP矩陣17M為Qred
×Pred
=64×8矩陣：此係由於選擇了Pred
=8 (藉由使用來自邊界之32個樣本之8個經平均化或選定的樣本)之事實及待在步驟812處預測之經縮減區塊為8×8區塊(在方案109中，灰色正方形係64)之事實。
因此，一旦在步驟812處獲得經縮減8×8區塊之64個樣本，則有可能在步驟813處導出待預測之區塊18的剩餘的Q-Qred
=256-64=192個值104。
在此情況下，為了執行內插，已經選擇使用邊界行17a之所有樣本且僅替代邊界列17c中之樣本。可進行其他選擇。
在具有本發明方法時，乘法之數目與最終獲得值之數目之間的比率係Qred
*Pred
/Q=8*64/256=2，其比在不具有本發明技術之情況下用於各值之32次乘法小得多!
使用本發明技術與不使用本發明技術之間的比較係：
在不具有本發明技術之情況下：
待預測之區塊18，該區塊具有尺寸M=16，N=16
待預測之Q=M*N=16*16=256個值；
邊界中之P=M+N=16*16=32個樣本；
用於待預測之Q=256個值中之各者的P=32次乘法，
總數目P*Q=32*256=8192次乘法；
乘法之數目與待獲得之最終值之數目之間的比率係P*Q/Q=32
在具有本發明技術之情況下：
待預測之區塊18，該區塊具有尺寸M=16，N=16
待結束時預測之Q=M*N=16*16=256個值；
但將使用Qred
×Pred
=64×8 ALWIP矩陣，其中Mred
=4，Nred
=4，待藉由ALWIP預測之Qred
=8*8=64個樣本，Pred
=Mred
+Nred
=4+4=8
邊界中之Pred
=Mred
+Nred
=4+4=8個樣本，其中Pred
＜P
用於待預測之經縮減區塊之Qred
=64個值中之各者的Pred
=8次乘法，
總數目Qred
*Pred
=64*4=256次乘法(少於8192!)
乘法之數目與待獲得之最終值之數目之間的比率係Pred
*Qred
/Q=8*64/256=2 (比在不具有本發明技術之情況下獲得之32小得多!)。
因此，本發明技術所需之計算功率比傳統技術少16倍。
因此，有可能藉由以下操作使用多個相鄰樣本(17)預測圖像之預定區塊(18)
減少(100，813)多個相鄰樣本以獲得在樣本數目上少於多個相鄰樣本(17)之經縮減樣本值集合(102)，
使經縮減樣本值集合(102)進行(812)線性或仿射線性轉換(19，17M)以獲得用於預定區塊(18)之預定樣本(104，118'，188'')之經預測值。
詳言之，有可能藉由減少取樣多個相鄰樣本以獲得在樣本數目上少於多個相鄰樣本(17)之經縮減樣本值集合(102)而執行減少(100，813)。
替代地，有可能藉由平均化多個相鄰樣本以獲得在樣本數目上少於多個相鄰樣本(17)之經縮減樣本值集合(102)而執行減少(100，813)。
另外，有可能藉由內插基於預定樣本(104，118'，118'')及多個相鄰樣本(17)之經預測值導出(813)預定區塊(18)之另一樣本(108，108')之預測值。
多個相鄰樣本(17a，17c)可沿著預定區塊(18)之二側(例如，在圖7.1至圖7.4中朝右及朝下)一維延伸。預定樣本(例如藉由ALWIP在步驟812中獲得之樣本)亦可以列及行配置，且沿著列及行中之至少一者，預定樣本可定位於自預定樣本112之毗鄰預定區塊18的二側之樣本(112)開始的各第n位置處。
基於多個相鄰樣本(17)，有可能針對列及行中之至少一者中之各者判定多個相鄰位置中之一個位置(118)之支援值(118)，其對準至列及行中之至少一者中之一個別者。亦有可能藉由內插基於預定樣本(104，118'，118'')之經預測值及對準至列及行中之至少一者的相鄰樣本(118)之支援值導出預定區塊(18)之其他樣本(108，108')之預測值118。
預定樣本(104)可沿著列定位於自毗連預定區塊18之二個側面的樣本(112)開始的各第n位置處，且預定樣本沿著行定位於自(112)毗連預定區塊(18)之二個側面的預定樣本的樣本(112)開始之各第m位置處，其中n, m＞1。在一些情況下，n=m (例如，在圖7.2及圖7.3中，其中直接藉由ALWIP在812處獲得且運用灰色正方形指示之樣本104、118'、118''沿著列及行交替至隨後在步驟813處獲得之樣本108、108')。
沿著列(17c)及行(17a)中之至少一者，有可能例如藉由針對各支援值減少取樣或平均化(122)包括相鄰樣本(118)之多個相鄰樣本內之相鄰樣本群組(120)而執行判定支援值，針對該等樣本判定個別支援值。因此，在圖7.4中，在步驟813處，有可能藉由使用預定樣本118'''(先前在步驟812處所獲得)及相鄰樣本118之值作為支援值而獲得樣本119之值。
多個相鄰樣本可沿著預定區塊(18)之二側一維延伸。有可能藉由將多個相鄰樣本(17)分組成一或多個連續相鄰樣本之群組(110)且對具有二個或多於二個相鄰樣本之一或多個相鄰樣本之群組(110)中之各者執行減少取樣或平均化而執行減少(811)。
在實例中，線性或仿射線性轉換可包含Pred
*Qred
或Pred
*Q加權因數，其中Pred
係經縮減樣本值集合內之樣本值(102)的數目，且Qred
或Q為預定區塊(18)內之預定樣本的數目。至少¼ Pred
*Qred
或¼ Pred
*Q加權因數為非零加權值。Pred
*Qred
或Pred
*Q加權因數可針對Q或Qred
預定樣本中之各者包含關於個別預定樣本之一系列Pred
加權因數，其中該系列在根據光柵掃描次序在預定區塊(18)之預定樣本當中一個配置在另一個下方時形成全向非線性之包絡。Pred
*Q或Pred
*Qred
加權因數可經由任何常規映射規則而彼此不相關。關於個別預定樣本之第一系列的加權因子與關於除個別預定樣本之外的預定樣本之第二系列的加權因子或後一系列的反向版本之間的交叉相關之最大值(不論任何內容產生較高最大值)的均值低於預定臨限值。預定臨限值可為0.3[或在一些情況下為0.2或0.1]。Pred
相鄰樣本(17)可沿著一維路徑(其沿著預定區塊(18)之二側延伸)定位，且對於Q或Qred
預定樣本中之各者，關於個別預定樣本之該系列之Pred
加權因數以在預定方向上遍歷一維路徑之方式排序。 6.1 方法及設備之描述
為了預測具有寬度
(亦由N指示)及高度
(亦由M指示)之矩形區塊之樣本，仿射線性加權內預測(ALWIP)可將區塊左側之一行H個重建構之相鄰邊界樣本及區塊上方之一行個重建構之相鄰邊界樣本用作輸入。若經重建構樣本不可用，則如在習知內預測中進行來產生該等經重建構樣本。
生成預測信號(例如，用於完整的區塊18之值)可基於以下三個步驟中之至少一些：
1. 在邊界樣本17中，樣本102 (例如，在W=H=4之情況下的四個樣本及/或在其他情況下的八個樣本)可藉由平均化或減少取樣(例如，步驟811)而提取。
2. 可運用作為輸入之經平均化樣本(或自減少取樣剩餘的樣本)來實行矩陣向量乘法，之後為偏移之相加。該結果可為關於原始區塊中之經次取樣樣本集的經縮減預測信號(例如，步驟812)。
3. 可例如藉由增加取樣自關於經次取樣集合之預測信號，例如藉由線性內插產生剩餘位置處之預測信號(例如，步驟813)。
由於步驟1. (811)及/或3. (813)，在計算矩陣向量乘積時所需之乘法之總數目可使得該數目始終小於或等於
。此外，僅藉由使用加法及位元移位來實行對邊界之平均化操作及經縮減預測信號之線性內插。換言之，在實例中，ALWIP模式至多需要每個樣本四次乘法。
在一些實例中，產生預測信號所需的矩陣(例如，17M)及偏移向量(例如，bk
)可取自可例如儲存於解碼器及編碼器之儲存單元中的矩陣之集合(例如，三個集合)，例如
、
。
在一些實例中，集合可包含
(例如，=16或=18或另一數目)矩陣
{0,…,n0
-1}(例如，由其組成)，該等矩陣中之各者可具有16列及4行以及各自具有大小16之18個偏移向量
{0,…, n0
-1}，以根據圖7.1執行該技術。此集合之矩陣及偏移向量係用於具有大小4×4之區塊18。一旦邊界向量已經縮減至Pred
=4向量(對於圖7.1之步驟811)，則有可能將經縮減樣本集合102之Pred
=4樣本直接映射至待預測之4×4區塊18的Q=16樣本中。
在一些實例中，集合
可包含n1
(例如，
=8或=18或另一數目)矩陣
{0,…,n1
-1} (例如，由其組成)，該等矩陣中之各者可具有16列及8行以及各自具有大小16之18個偏移向量
{0,…,n1
-1}，以根據圖7.2或圖7.3執行該技術。此集合S1
之矩陣及偏移向量可用於具有大小4×8、4×16、4×32、4×64、16×4、32×4、64×4、8×4及8×8之區塊。另外，其亦可用於具有大小
之區塊(其中
)，即用於具有大小4×16或16×4、4×32或32×4及4×64或64×4之區塊。16×8矩陣係指區塊18 (其為4×4區塊)之經縮減版本，如在圖7.2及圖7.3中所獲得。
另外或替代地，集合
可包含n2
(例如，
=6或=18或另一數目)矩陣
{0,…,n2
-1}(例如，由其組成)，該等矩陣中之各者可具有64列及8行以及具有大小64之18個偏移向量
{0,…,n2
-1}。64×8矩陣係指區塊18 (其為8×8區塊)之經縮減版本，例如如在圖7.4中獲得。此集合之矩陣及偏移向量可用於具有大小8×16、8×32、8×64、16×8、16×16、16×32、16×64、32×8、32×16、32×32、32×64、64×8、64×16、64×32、64×64之區塊。
彼集合之矩陣及偏移向量或此等矩陣及偏移向量之部分可用於所有其他區塊形狀。 6.2 邊界之平均化或減少取樣
此處，提供關於步驟811之特徵。
如上文所解釋，邊界樣本(17a，17c)可經平均化及/或減少取樣(例如，自P個樣本至Pred＜P個樣本)。
在第一步驟中，輸入邊界
(例如17c)及
(例如17a)可縮減成較小邊界
及
以獲得經縮減集合102。此處，及二者在4×4區塊情況下由2個樣本組成且在其他情況下由4個樣本組成。
在4×4區塊之情況下，有可能界定
，
，
且類似地界定。因此，
、
、
、[1]為例如使用位元移位運算獲得之平均值。
在所有其他情況下(例如，對於具有不同於4之寬度或高度之區塊)，若區塊寬度W經給定為W
，則對於
，界定
在另外其他情況下，有可能減少取樣邊界(例如，藉由自邊界樣本之群組選擇一個特定邊界樣本)以獲得經縮減樣本數目。舉例而言，可選自
及
且可選自
及
。亦有可能類似地界定。
二個經縮減邊界及可級聯至經縮減邊界向量
(與經縮減集合102相關聯)，亦用17P指示。經縮減邊界向量因此可具有用於形狀
之區塊的大小四(Pred
=4) (圖7.1之實例)及具有用於所有其他形狀之區塊的大小八(Pred
=8) (圖7.2至圖7.4之實例)。
在此，若
(或矩陣集合中之矩陣之數目)，則有可能界定
若
，其對應於
之經轉置眾數，則有可能界定
因此，根據特定狀態(
)，有可能沿著不同掃描次序(例如，一種掃描次序：
)分配輸出向量之經預測值。
可實行其他策略。在其他實例中，眾數索引「眾數」不必在0至35之範圍內(可界定其他範圍)。此外，不必三個集合S0
、S1
、S2
中之各者具有18個矩陣(因此，代替如之表達式，
0
、
1
、 2
係可能的，該等眾數分別為各矩陣集合S0
、S1
、S2
之矩陣的數目)。此外，該等集合可各自具有不同數目個矩陣(例如，S0可具有16個矩陣、S1可具有八個矩陣，且S2可具有六個矩陣)。
眾數及經轉置資訊未必作為一個經組合眾數索引「眾數」來儲存及/或傳輸：在一些實例中，有可能作為經轉置旗標及矩陣索引(用於S0之0 -15、用於S1之0-7及用於S2之0-5)明確地傳信。
在一些情況下，經轉置旗標及矩陣索引之組合可經解譯為索引集合。舉例而言，可存在作為經轉置旗標操作之一個位元及指示矩陣索引之一些位元，該等位元共同經指示為「集合索引」。 5.4 藉由矩陣向量乘法產生經縮減預測信號
此處，提供關於步驟812之特徵。
自經縮減輸入向量(邊界向量17P)，可產生經縮減預測信號
。後一信號可為具有寬度
及高度
之經減少取樣區塊上之信號。此處，及可界定為：
； 若
，
否則。
可藉由計算矩陣向量乘積並加上偏移來計算經縮減預測信號：
此處，
為矩陣(例如，預測矩陣17M)，其可具有
個列及在W=H=4時具有4個行且在所有其他情況下具有8個行，且
為可具有大小之向量。
若
，則A可具有4行及16列且因此在這種情況下可需要各樣本4次乘法以計算。在所有其他情況下，A可具有8行且可驗證在此等情況下，使得
，即亦在此等情況下，各樣本至多需要4次乘法來計算。
矩陣A及向量可自如下集合、
中之一者取得。藉由設定
界定索引
，若
；界定索引
，若
；並在所有其他情況下界定索引
。此外，可使得
，若，否則
。接著，若
或
且
，可使得
且
。在
=2且
之情況下，使為藉由遺漏之各列而產生在矩陣，其在W=4之情況下對應於經減少取樣區塊中之奇數x座標，或在H=4之情況下對應於經減少取樣區塊中之奇數y座標。若，則藉由其經轉置信號替代經縮減預測信號。在替代性實例中，可實行不同策略。舉例而言，代替縮減較大矩陣之大小(「遺漏」)，使用較小矩陣S1
(idx=1)，其中Wred
=4且Hred
=4。即，現在將此類區塊指派給S1
而非S2
。
可實行其他策略。在其他實例中，眾數索引「眾數」不必在0至35之範圍內(可界定其他範圍)。此外，不必三個集合S0
、S1
、S2
中之各者具有18個矩陣(因此，代替如之表達式，
0 
1 2
係可能的，該等眾數分別為各矩陣集合S0
、S1
、S2
之矩陣的數目)。此外，該等集合可各自具有不同數目個矩陣(例如，S0
可具有16個矩陣、S1
可具有八個矩陣，且S2
可具有六個矩陣)。 6.4 用以產生最終預測信號之線性內插
此處，提供關於步驟812之特徵。
關於較大區塊之經次取樣預測信號之內插，可能需要經平均化邊界之第二版本。即，若
且
，則得出W
，且對於
，界定
若且
，則類似地界定
。
另外或替代地，有可能「難以減少取樣」，其中
等於
又，可類似地界定。
在產生時遺漏之樣本位置處，最終預測信號可藉由線性內插自產生(例如，圖7.2至圖7.4之實例中之步驟813)。在一些實例中，若，則此線性內插可為不必要的(例如，圖7.1之實例)。
線性內插可如下給定(儘管如此，其他實例係可能的)。假定。接著，若
，則可執行之豎直增加取樣。在這種情況下，可如下擴展一行至頂部。若
，則可具有寬度
且可藉由經平均化邊界信號擴展至頂部，例如如上文所界定。若
，則具有寬度
且藉由經平均化邊界信號
擴展至頂部，例如如上文所界定。對於之第一行，可得出
。接著，具有寬度及高度
之區塊上之信號
可給定為[x][2*y+1] =[x][y]，[x][2*y] =
[x][y-1] +
[x][y] + 1)＞＞1，
其中
且
。後一過程可實行k次，直至
為止。因此，若H=8或H=16，則其至多可實行一次。若H
，則該過程可實行二次。若H
，則該過程可實行三次。接下來，水平增加取樣運算可應用於豎直增加取樣之結果。後一增加取樣運算可使用預測信號左邊的全部邊界。最終，若，則可藉由首先在水平方向上(必要時)且接著在豎直方向上增加取樣而類似地繼續進行。
此係使用用於第一內插(水平地或豎直地)之經縮減邊界樣本及用於第二內插(豎直地或水平地)之原始邊界樣本進行內插之實例。取決於區塊大小，僅需要第二內插或不需要內插。若需要水平及豎直內插，則該次序取決於區塊之寬度及高度。
然而，可實施不同技術：例如，原始邊界樣本可用於第一及第二內插，且次序可為固定的，例如首先水平接著豎直(在其他情況下，首先豎直接著水平)。
因此，經縮減/原始邊界樣本之內插次序(水平/豎直)及使用可變化。 6.5 整個 ALWIP 程序之實例的說明
針對圖7.1至圖7.4中之不同形狀說明平均化、矩陣向量乘法及線性內插之整個程序。注意，剩餘的形狀經視為所描繪情況中之一者。
1. 給定區塊，ALWIP可藉由使用圖7.1的技術而採用沿著邊界之各軸線的二個平均值。所得四個輸入樣本進入矩陣向量乘法。矩陣係取自集合。在加上偏移之後，此可以產生16個最終預測樣本。對於產生預測信號，並不需要線性內插。因此，各樣本執行總共(
次乘法。見例如圖7.1。
2. 給定8×8區塊，ALWIP可採用沿著邊界之各軸線的四個平均值。所得八個輸入樣本藉由使用圖7.2的技術進入矩陣向量乘法。矩陣係取自集合。此會在預測區塊之奇數位置上產生16個樣本。因此，各樣本執行總共(
次乘法。在加上偏移之後，可例如藉由使用頂部邊界豎直地及例如藉由使用左邊邊界水平地內插此等樣本。見例如圖7.2。
3. 給定8×4區塊，ALWIP可藉由使用圖7.3的技術而採用沿著邊界之水平軸線的四個平均值及在左邊邊界上之四個原始邊界值。所得八個輸入樣本進入矩陣向量乘法。矩陣係取自集合。此會在預測區塊之奇數水平位置及各豎直位置上產生16個樣本。因此，各樣本執行總共(
次乘法。在加上偏移之後，例如藉由使用左邊邊界水平地內插此等樣本。見例如圖7.3。
相應地處理經轉置情況。
4. 給定
區塊，ALWIP可採用沿著邊界之各軸線的四個平均值。所得八個輸入樣本藉由使用圖7.2的技術進入矩陣向量乘法。矩陣係取自集合。此會在預測區塊之奇數位置上產生64個樣本。因此，各樣本執行總共(
次乘法。在加上偏移之後，例如，藉由使用頂部邊界豎直地及藉由使用左邊邊界水平地內插此等樣本。見例如圖7.2。見例如圖7.4。
對於較大形狀，該程序可基本上相同，且容易檢查每個樣本之乘法之數目小於二。
對於W×8區塊，僅水平內插係必需的，因為在奇數水平及各豎直位置處給定樣本。因此，在此等情況下各樣本至多執行(
次乘法。
最終，對於W×4區塊(其中W＞8)，使
為藉由遺漏對應於沿著經減少取樣區塊之水平軸線的奇數條目之各列而出現的矩陣。因此，該輸出大小可為32，並且再次，僅水平內插仍待執行。各樣本至多可執行(
次乘法。
可相應地處理經轉置情況。 6.6 所需參數之數目及複雜性評估
針對所有可能的經提議內預測模式所需之參數可由屬於集合、之矩陣及偏移向量包含。所有矩陣係數及偏移向量可儲存為10位元值。因此，根據以上描述，經提議方法可需要14400個參數之一總數目，各參數之精確度為10位元。此對應於0,018百萬位元組的記憶體。指出，當前，標準4:2:0色度次取樣中之具有大小128×128之CTU由24576個值組成，各值為10位元。因此，經提議內預測工具之記憶體要求不超過在上一次會議上採用之當前圖像參考工具之記憶體要求。又，指出，由於PDPC工具或具有分率角位置之角預測模式的4抽頭內插濾波器，習知內預測模式需要每個樣本四次乘法。因此，就可操作複雜性而言，經提議方法不超過習知內預測模式。 6.7 經提議內預測模式之傳信
對於明度區塊，例如提議35個ALWIP模式(可使用其他數目個模式)。對於內模式中之各寫碼單元(CU)，在位元串流中發送指示是否在對應的預測單元(PU)上應用ALWIP模式。後一索引之傳信可以與第一CE測試相同之方式與MRL調和。若應用ALWIP模式，則ALWIP模式之索引
可使用具有3個MPM之MPM清單來傳信。
此處，可如下使用上方及左邊PU之內模式來執行MPM之導出。可存在例如三個固定表格
，
等表格，其可將ALWIP模式指派給各習知內預測模式
。
對於具有寬度及高度之各PU，界定並且索引
其指示從三個集合中之哪一者獲取ALWIP參數，如以上章節4中所述。若上述預測單元
可用、與當前PU屬於同一CTU且在內模式下，若
，且若在ALWIP模式
下將ALWIP應用於，則使得
。
若上述PU可用、與當前PU屬於同一CTU且在內模式下，且若將習知內預測模式
應用於上述PU，則使得
。
在所有其他情況下，吾人使
此意謂此模式係不可用的。以相同方式但不限制左邊PU需要屬於與當前PU相同的CTU，吾人導出眾數
。
最後，提供三個固定預設清單
，，其各含有三種不同ALWIP模式。在預設清單
及模式
與
當中，藉由以預設值取代-1以及排除重複來建構三個不同MPM。
本文中所描述之實施例不受經提議內預測模式之上文所描述的傳信限制。根據替代性實施例，無MPM及/或映射表用於MIP (ALWIP)。 6.8 用於習知明度及色度內預測模式之經調適 MPM 清單導出
經提議ALWIP模式可如下與習知內預測模式之基於MPM之寫碼調和。用於習知內預測模式之明度及色度MPM清單導出過程可使用固定表格
，，將給定PU上之ALWIP模式
映射至習知內預測模式中之一者
。
對於明度MPM清單導出，每當遇到使用ALWIP模式之相鄰明度區塊時，此區塊可被處理為仿佛正使用習知內預測模式。對於色度MPM清單導出，每當當前明度區塊使用LWIP模式時，相同映射可用於將ALWIP模式轉變為習知內預測模式。
清楚的是，亦可在不使用MPM及/或映射表之情況下將ALWIP模式與習知內預測模式相協調。舉例而言，對於色度區塊，每當當前明度區塊使用ALWIP模式時，ALWIP模式有可能映射至平面內預測模式。7. 實施有效實施例
簡要地概述以上實例，因為其可能在下文形成用於進一步擴展本文中所描述的實施例之基礎。
為了預測圖像10之預定區塊18，在使用多個相鄰樣本之情況下，使用17a、17c。
已經進行藉由平均化之多個相鄰樣本之縮減100以獲得在樣本數目上少於多個相鄰樣本之經縮減樣本值集合102。此縮減在本文中之實施例中係可選的，且會產生在下文中提及之所謂的樣本值向量。經縮減樣本值集合進行線性或仿射線性轉換19以獲得用於預定區塊之預定樣本104的經預測值。此轉換以後使用矩陣A及偏移向量b指示並且應有效地預先形成之實施，該矩陣A及偏移向量b已經藉由機器學習(ML)獲得。
藉由內插，基於用於預定樣本及多個相鄰樣本之經預測值導出用於預定區塊之其他樣本108之預測值。應該說，理論上，仿射/線性轉換的結果可與區塊18之非全像素樣本位置相關聯，使得根據替代實施例，可藉由內插獲得區塊18的所有樣本。亦根本不需要內插。
多個相鄰樣本可能沿著預定區塊之二側在一維上延伸，預定樣本以列及行且沿著列及行中之至少一者配置，其中預定樣本可定位於自預定樣本之毗鄰預定區塊之二側的樣本(112)開始之各第n位置處。基於多個相鄰樣本，對於列及行中之至少一者中之各者，可判定用於多個相鄰位置中之一個位置(118)之支援值，其對準至列及行中之至少一者中之一個別者，且藉由內插，可基於用於預定樣本之經預測值及用於相鄰樣本之對準至列及行中之至少一者之支援值導出用於預定區塊之其他樣本108之預測值。預定樣本可沿著列定位於自預定樣本之毗連預定區塊之二個側面的樣本112開始之各第n位置處，且預定樣本可沿著行定位於自預定樣本之毗連預定區塊之二個側面的樣本112開始之各第m位置處，其中n,m＞1。可能n=m。沿著列及行中之至少一者，可藉由針對各支援值對多個相鄰樣本內之相鄰樣本之群組120 (其包括相鄰樣本118，用於其之個別支援值經判定)進行平均化(122)而進行支援值之判定。多個相鄰樣本可沿著預定區塊之二側一維延伸且可藉由將多個相鄰樣本分組成一或多個連續相鄰樣本之群組110並對具有多於二個相鄰樣本之一或多個相鄰樣本之群組中之各者執行平均化而進行縮減。
對於預定區塊，可在資料串流中傳輸預測殘差。預測殘差可自解碼器處之資料串流導出，且預定區塊可使用用於預定樣本之預測殘差及經預測值來重建構。在編碼器處，預測殘差經編碼成編碼器處之資料串流。
該圖像可細分成具有不同區塊大小之多個區塊，該多個區塊包含預定區塊。接著，可能取決於預定區塊之寬度W及高度H選擇用於區塊18之線性或仿射線性轉換，使得在第一組線性或仿射線性轉換當中選擇針對預定區塊選擇之線性或仿射線性轉換，只要預定區塊之寬度W及高度H係在第一組寬度/高度對及第二組線性或仿射線性轉換內，只要預定區塊之寬度W及高度H係在不與第一組寬度/高度對相交之第二組寬度/高度對內。再次，隨後變得清楚的是，仿射/線性轉換係藉助於參數(即C之權重，且視情況，偏移及尺度參數)表示。
解碼器及編碼器可經組配以：將圖像細分成具有不同區塊大小之多個區塊，其包含預定區塊；及取決於預定區塊之寬度W及高度H選擇線性或仿射線性轉換，使得在以下各者當中選擇針對預定區塊選擇之線性或仿射線性轉換
第一組線性或仿射線性轉換，只要預定區塊之寬度W及高度H係在第一組寬度/高度配對內，
第二組線性或仿射線性轉換，只要預定區塊之寬度W及高度H係在不與第一組寬度/高度配對相交之第二組寬度/高度配對內，及
第三組線性或仿射線性轉換，只要預定區塊之寬度W及高度H係在不與第一組及第二組寬度/高度配對相交之第三組一或多個寬度/高度配對內。
第三組一或多個寬度/高度配對僅僅包含一個寬度/高度配對W'、H'，且第一組線性或仿射線性轉換內之各線性或仿射線性轉換係用於將N'樣本值轉換為用於W'×H'樣本位置陣列之W'*H'經預測值。
第一及第二組寬度/高度配對中之各者可包含Wp
不等於Hp
之第一寬度/高度配對Wp
、Hp
，及Hq
=Wp
且Wq
=Hp
之第二寬度/高度配對Wq
、Hq
。
第一及第二組寬度/高度對中之各者可包含Wp
=Hp
且Hp
＞Hq
之第三寬度/高度對Wp
、Hp
。
對於預定區塊，經設置索引可在資料串流中式傳輸，該資料串流指示針對區塊18在一組預定線性或仿射線性轉換當中選擇哪一線性或仿射線性轉換。
多個相鄰樣本可沿著預定區塊的二側在一維上延伸，且可藉由針對毗連預定區塊之第一側的多個相鄰樣本之第一子集將第一子集分組成一或多個連續相鄰樣本之第一群組110及針對毗連預定區塊之第二側的多個相鄰樣本之第二子集將第二子集分組成一或多個連續相鄰樣本之第二群組110及對具有多於二個相鄰樣本之一或多個相鄰樣本的第一及第二群組中之各者執行平均化而進行縮減，以便自第一群組獲得第一樣本值及獲得用於第二群組之第二樣本值。接著，可取決於經設置索引而在一組預定線性或仿射線性轉換當中選擇線性或仿射線性轉換，使得經設置索引之二個不同狀態導致選擇線性或仿射線性轉換之預定集合之線性或仿射線性轉換中之一者，在經設置索引採用呈第一向量之形式的二個不同狀態中之第一狀態之情況下，經縮減樣本值集合可進行預定線性或仿射線性轉換以產生經預測值的輸出向量，並且沿著第一掃描次序將輸出向量之經預測值分配至預定區塊之預定樣本上，且在經設置索引採用呈第二向量之形式的二個不同狀態中之第二狀態之情況下，第一及第二向量不同，使得由第一向量中之第一樣本值中之一者填充之分量係由第二向量中之第二樣本值中之一者填充，並且由第一向量中之第二樣本值中之一者填充之分量係由第二向量中之第一樣品值中之一者填充，以便產生經預測值之輸出向量，並且將沿著第二掃描次序將輸出向量之經預測值分配至預定區塊之預定樣本上，該預定區塊相對於第一掃描次序轉置。
第一組線性或仿射線性轉換內之各線性或仿射線性轉換可用於針對樣本位置之w1
×h1
陣列將N1
樣本值轉換為w1
*h1
經預測值，且第二組線性或仿射線性轉換內之各線性或仿射線性轉換係用於針對樣本位置之w2
×h2
陣列將N2
樣本值轉換為w2
*h2
經預測值，其中對於第一組寬度/高度對中之第一預定寬度/高度對，w1
可超過第一預定寬度/高度對之寬度或h1
可超過第一預定寬度/高度對之高度，並且對於第一組寬度/高度對中之第二預定寬度/高度對，w1
無法超過第二預定寬度/高度對之寬度，h1
亦無法超過第二預定寬度/高度對之高度。接著可藉由平均化縮減(100)多個相鄰樣本以獲得經縮減樣本值集合(102)，使得在預定區塊具有第一預定寬度/高度對之情況下且在預定區塊具有第二預定寬度/高度對之情況下經縮減樣本值集合102具有N1
個樣本值，且在預定區塊具有第一預定寬度/高度對之情況下可在w1
超過一個寬度/高度對之寬度之情況下沿著寬度尺寸或在h1
超過一個寬度/高度對之高度之情況下沿著高度尺寸藉由僅使用與樣本位置之w1
×h1
陣列的次取樣有關之選定的線性或仿射線性轉換之第一子部分來使經縮減樣本值集合進行選定的線性或仿射線性轉換，且在預定區塊具有第二預定寬度/高度對之情況下使經縮減樣本值集合徹底地進行選定的線性或仿射線性轉換。
第一組線性或仿射線性轉換內之各線性或仿射線性轉換可用於針對w1
=h1
之樣本位置的w1
×h1
陣列將N1
個樣本值轉換為w1
*h1
個經預測值，且第二組線性或仿射線性轉換內之各線性或仿射線性轉換係用於針對w2
=h2
之樣本位置的w2
×h2
陣列將N2
個樣本值轉換為w2
*h2
個經預測值。
所有上文所描述之實施例僅僅為說明性的，因為其可在下文形成用於本文中所描述的實施例之基礎。即，以上概念及細節應用以理解以下實施例並且應在下文充當本文中所描述的實施例之可能擴展及修正之儲庫。詳言之，許多上文所描述之細節係可選的，諸如相鄰樣本之平均化、相鄰樣本用作參考樣本之事實等等。
更一般而言，本文中所描述之實施例假設自已經重建構之樣本產生關於矩形區塊之預測信號，諸如自區塊左邊及上方之相鄰的已經重建構之樣本產生關於矩形區塊之內預測信號。預測信號之產生係基於以下步驟。
1. 在被稱作邊界樣本之參考樣本中，但不排除將描述轉移至定位在別處之參考樣本，可藉由平均化來獲取樣本。此處，針對區塊左邊及上方之邊界樣本或僅針對二個側面中之一者上之邊界樣本來實行平均化。若在側面上不實行平均化，則彼側面上之樣本保持不變。
2. 實行矩陣向量乘法，視情況之後為添加偏移，其中矩陣向量乘法之輸入向量為在僅在左側應用平均化之情況下之區塊左邊的經平均化邊界樣本與區塊上方之原始邊界樣本的級聯，或在僅在以上側面上應用平均化之情況下之區塊左邊之原始邊界樣本與區塊上方之經平均化邊界樣本之級聯或在僅在區塊之二側上應用平均化之情況下區塊左邊之經平均化邊界樣本與區塊上方之經平均化邊界樣本的級聯。再次，將存在替代方案，諸如完全不使用平均化之替代方案。
3. 矩陣向量乘法及可選的偏移加法之結果可視情況為關於原始區塊中之經次取樣樣本集之經縮減預測信號。剩餘的位置處之預測信號可藉由線性內插自關於經次取樣集合之預測信號產生。
步驟2中之矩陣向量乘積之計算應較佳地以整數算術來實行。因此，若
表示用於矩陣向量乘積之輸入，即
表示區塊左邊及上方之(經平均化)邊界樣本之級聯，則在當中，在步驟2中計算出的(經縮減)預測信號應僅使用位元移位、將偏移向量相加，及與整數相乘來計算。理想地，步驟2中之預測信號將給定為
，其中為可為零之偏移向量且其中藉由某一基於機器學習之訓練演算法導出。然而，此訓練演算法通常僅產生以浮點精確度給定之矩陣
。因此，面臨著在前述意義上指定整數運算使得使用此等整數運算較佳近似表達式
的問題。此處，重要的是提及，不必選擇此等整數運算使得其近似假設向量之均勻分佈的表達式但通常考慮到表達式將近似之輸入向量為來自自然視訊信號之(經平均化)邊界樣本，其中可預期之分量
之間的一些相關性。
圖8展示改良之ALWIP預測。可基於藉由某一基於機器學習之訓練演算法導出之矩陣A 1100與樣本值向量x 400之間的第一矩陣向量乘積來預測預定區塊之樣本。視情況，可添加偏移b 1110。為了達成此第一矩陣向量乘積之整數近似或定點近似，樣本值向量可進行可逆線性轉換403以判定另一向量402。另一矩陣B 1200與另一向量402之間的第二矩陣向量乘積可等於第一矩陣向量乘積之結果。
由於另一向量402之特徵，第二矩陣向量乘積可為藉由預定預測矩陣C 405與另一向量402加上另一偏移408之間的矩陣向量乘積404近似之整數。另一向量402及另一偏移408可由整數或定點值組成。舉例而言，另一偏移之所有分量係相同的。預定預測矩陣405可為經量化矩陣或待量化之矩陣。預定預測矩陣405與另一向量402之間的矩陣向量乘積404之結果可理解為預測向量406。
在下文中，提供關於此整數近似之更多細節。根據實例之可能解決方案 I ： 減去及加上平均值
可用於以上情境中之表達式之整數近似的一個可能併入為藉由之分量之平均值
(即預定值1400)來替換(即樣本值向量400)之第𝑖0
分量
，即預定分量1500及自所有其他分量減去此平均值。換言之，界定如圖9a中所展示之可逆線性轉換403使得另一向量402之預定分量1500變成a，且另一向量402之其他分量中之各者(除了預定分量1500之外)等於樣本值向量400之對應分量減去a，其中a為預定值1400，其例如為樣本值向量400之分量之平均值，諸如算術均值或經加權平均值。關於該輸入之此運算係藉由可逆轉換
403給定，該可逆轉換尤其在之尺寸為二之冪的情況下具有明顯的整數實施。
由於
，若對輸入進行此轉換，則必須發現矩陣向量乘積
之整數近似，其中
且
。由於矩陣向量乘積表示對矩形區塊，即預定區塊之預測，且由於400包含該區塊之(例如，經平均化)邊界樣本，應預期在之所有樣本值相等之情況下，即對於所有
之情況下，預測信號中之各樣本值應接近於
或完全等於。此意謂應預期第
行，即對應於
之預定分量之行非常接近或等於僅由一組成之行。因此，若
)，即整數矩陣1300為其第𝑖0
行由一組成且所有其他行均為零之矩陣，寫為
)y，其中
，則應預期
之第𝑖0
行412，即預定預測矩陣405實際上具有較小條目或為零，如圖9b中所示。此外，由於之分量為相關的，可預期對於各
，
之第i分量
相較於x之第i分量常常具有小得多的絕對值。由於矩陣
1300為整數矩陣，因此在給定
之整數近似之情況下實現之整數近似，且藉由以上自變量，可預期藉由以合適方式量化405之各條目而產生之量化錯誤應回應於而僅稍微影響之所得量化的錯誤。
預定值1400不必為均值。表達式之本文所描述之整數近似亦可藉由預定值1400之以下替代定義達成：
在表達式之整數近似之另一可能併入中，之第分量保持不變且自所有其他分量減去同一值。即，
且
，對於各。換言之，預定值1400可為樣本值向量400之對應於預定分量1500的分量。
替代地，預定值1400為預設值或在圖像經寫碼成之資料串流中發信號通知的值。
預定值1400等於例如2bitdepth-1
。在此情況下，另一向量402可由y0
=2bitdepth-1
及yi
=xi
-x0
界定，其中i＞0。
替代地，預定分量1500變為常數減去預定值1400。常數等於例如2bitdepth-1
。根據一實施例，另一向量y 402之預定分量
1500等於2bitdepth-1
減去樣本值向量400對應於預定分量1500之分量，且另一向量402之所有其他分量等於樣本值向量400之對應分量減去樣本值向量400之對應於預定分量1500的分量。
舉例而言，預定值1400與預定區塊之樣本的預測值具有較小偏差係有利的。
根據一實施例，該設備1000經組配以包含多個可逆線性轉換403，該等可逆線性轉換中之各者與另一向量402之一個分量相關聯。此外，該設備例如經組配以自樣本值向量400之分量當中選擇預定分量1500並且使用多個可逆線性轉換中之與預定分量1500相關聯之可逆線性轉換403作為預定可逆線性轉換。此係例如由於第i0
列(即對應於預定分量之可逆線性轉換403的列)之不同位置，此取決於另一向量中之預定分量的位置。若例如另一向量402之第一分量，即y1
係預定分量，則第io
列將替代可逆線性轉換之第一列。
如圖9b中所展示，預定預測矩陣405之行412 (即第i0
行)內之預測矩陣C 405的矩陣分量414 (其對應於另一向量402之預定分量1500)例如均為零。在此情況下，該設備例如經組配以藉由計算由預定預測矩陣C 405去掉行412產生之經縮減預測矩陣C' 405與由另一向量402去掉預定分量1500產生之又一向量410之間的矩陣向量乘積407執行乘法而計算矩陣向量乘積404，如圖9c中所示。因此，可藉由較少次乘法計算預測向量406。
如圖8、圖9b及圖9c中所展示，該設備1000可經組配以在基於預測向量406預測預定區塊之樣本時針對預測向量406之各分量計算個別分量與a (即預定值1400)的總和。此求和可由預測向量406與向量409之總和表示，其中向量409之所有分量等於預定值1400，如圖8及圖9c中所展示。替代地，該求和可由預測向量406同整數矩陣M 1300與另一向量402之間的矩陣向量乘積1310的總和表示，如圖9b中所展示，其中整數矩陣1300之矩陣分量為整數矩陣1300之一行，即第i0
行內之1，該矩陣對應於另一向量402之預定分量1500，且所有其他分量例如均為零。
預定預測矩陣C 405與整數矩陣1300之求和的結果等於或近似例如圖8中所展示之另一矩陣B 1200。
換言之，藉由將預定預測矩陣405之行412 (即第i0
行)內之預定預測矩陣C 405之各矩陣分量(其對應於另一向量402之預定分量1500)與一進行求和(即矩陣B)乘以可逆線性轉換403得出之矩陣，即另一矩陣B 1200，對應於例如機器學習預測矩陣A 1100之經量化版本，如圖8、圖9a及圖9b中所展示。第i0
行412內之預定預測矩陣C 405之各矩陣分量與一之求和可對應於預定預測矩陣405與整數矩陣1300之求和，如圖9b中所示。如圖8中所展示，機器學習預測矩陣A 1100可等於另一矩陣1200乘以可逆線性轉換403之結果。此係由於
。預定預測矩陣405為例如經量化矩陣、整數矩陣及/或定點矩陣，藉此可實現機器學習預測矩陣A 1100之經量化版本。僅使用整數運算之矩陣乘法
對於低複雜性實施(就加上及乘以純量值之複雜性而言，以及就所涉及矩陣之條目所需的儲存而言)，需要僅使用整數算術來執行矩陣乘法404。
為了計算
之近似，即
在僅使用整數運算之情況下，根據一實施例，實值
必須映射至整數值
。此可例如藉由均一的純量量化，或藉由考慮值
之間的特定相關性來進行。整數值表示例如定點數，其可各自以固定數目的位元n_bit來儲存，例如n_bit=8。
接著可如同此偽程式碼中所展示來實行與具有大小m×n之矩陣(即預定預測矩陣405)之矩陣向量乘積404，其中＜＜, ＞＞係算術二進位左移位運算及右移位運算，且+、-及*僅對整數值進行運算。(1)
final_offset = 1 ＜＜ (right_shift_result - 1);
for i in 0..m-1
{
accumulator = 0
for j in 0..n-1
{
accumulator := accumulator + y[j]*C[i,j]
}
z[i] = (accumulator + final_offset) ＞＞ right_shift_result;
}
此處，陣列C，即預定預測矩陣405，將定點數字儲存作為例如整數。final_offset之最終相加及right_shift_result之右移位運算藉由捨位降低精確度以獲得輸出處所需之定點格式。
為了允許可由C中之整數表示之實值之增大範圍，可使用二個額外矩陣offseti,j
及scalei,j
，如圖10及圖11之實施例中所示，使得以下矩陣向量乘積中
之各係數
由下式給出
。
值offseti,j
及scalei,j
自身為整數值。舉例而言，此等整數可表示定點數，其可各自以固定數目之位元(例如8個位元)或以例如相同數目的位元n_bit (其用於儲存值)來儲存。
換言之，該設備1000經組配以使用預測參數(例如整數值以及值
及
)表示預定預測矩陣405且藉由對另一向量402之分量以及產生於其之預測參數及中間結果執行乘法及求和而計算矩陣向量乘積404，其中預測參數之絕對值可由n位元定點數表示來表示，其中n等於或低於14，或替代地等於或低於10，或替代地等於或低於8。舉例而言，另一向量402之分量乘以預測參數以產生作為中間結果之乘積，其又進行求和或形成求和之加數。
根據一實施例，預測參數包含權重，其中之各者與預測矩陣之對應的矩陣分量相關聯。換言之，預定預測矩陣例如由預測參數替換或表示。該等權重例如為整數及/或定點值。
根據一實施例，預測參數進一步包含一或多個縮放因數，例如值scalei,j
，該一或多個縮放因數中之各者與用於縮放權重(例如整數值)之預定預測矩陣405的一或多個對應的矩陣分量相關聯，該權重與預定預測矩陣405之一或多個對應的矩陣分量相關聯。另外或替代地，預測參數包含一或多個偏移，例如值offseti,j
，其中之各者與使權重(例如整數值)偏移之預定預測矩陣405之一或多個對應的矩陣分量相關聯，該權重與預定預測矩陣405之一或多個對應的矩陣分量相關聯。
為了縮減及必需之儲存量，其值可選定成對於索引i、j之特定集合係恆定的。舉例而言，其條目對於各行可為恆定的，且其對於各列可為恆定的，或其對於所有i、j可為恆定的，如圖10中所展示。
舉例而言，在一個較佳實施例中，及對於一個預測模式之矩陣之所有值均為恆定的，如圖11中所示。因此，當存在K個預測模式時，其中k =0…K-1，僅需要單個值
及單個值
來計算用於眾數k之預測。
根據一實施例，及/或對於所有基於矩陣之內預測模式均為恆定的，即相同的。另外或替代地，及/或對於所有區塊大小有可能為恆定的，即相同的。
在偏移表示且縮放表示之情況下，(1)中之計算可經修改成：(2)
final_offset = 0;
for i in 0..n-1
{
final_offset := final_offset - y[i];
}
final_offset *= final_offset * offset * scale;
final_offset += 1 ＜＜ (right_shift_result - 1);
for i in 0..m-1
{
accumulator = 0
for j in 0..n-1
{
accumulator := accumulator + y[j]*C[i,j]
}
z[i] = (accumulator*scale + final_offset) ＞＞ right_shift_result;
}
由彼解決方案產生之擴大實施例
以上解決方案意指以下實施例：
1. 如第I部分中，第I部分之步驟2中之預測方法，進行以下運算以用於所涉及矩陣向量乘積之整數近似：在(經平均化)邊界樣本當中，對於固定(其中
)，計算向量
，其中(對於)且其中
且其中表示之均值。向量接著充當用於矩陣向量乘積
之輸入(矩陣向量乘積之整數實現)，使得來自第I部分之步驟2之(經減少取樣)預測信號
給定為
。在此等式中，
表示等於之用於(經減少取樣)預測信號之域中之各樣本位置的信號。(見例如圖9b)
2. 如第I部分中，第I部分之步驟2中之預測方法，進行以下運算以用於所涉及矩陣向量乘積之整數近似：在(經平均化)邊界樣本當中，對於固定(其中)，計算向量
，其中(對於
)且其中
(對於
)且其中表示之均值。向量接著充當用於矩陣向量乘積之輸入(矩陣向量乘積之整數實現)，使得來自第I部分之步驟2之(經減少取樣)預測信號給定為。在此等式中，表示等於之用於(經減少取樣)預測信號之域中之各樣本位置的信號。(見例如圖9c)
3. 如第I部分中之預測方法，其中矩陣向量乘積之整數實現藉由使用矩陣向量乘積
中之係數給定。(見例如圖10)
4. 如第I部分中之預測方法，其中步驟2使用K個矩陣中之一者，使得可計算出多個預測模式，其各自使用不同矩陣
(其中k=0…K-1)，其中矩陣向量乘積
之整數實現藉由使用矩陣向量乘積中之係數
給定。(見例如圖11)
即，根據本申請案之實施例，編碼器及解碼器如下操作以便預測圖像10之預定區塊18，見圖8。為了預測，使用多個參考樣本。如上文所概述，本申請案之實施例將不限於內寫碼並且因此，參考樣本將不限於鄰近樣本，即圖像10相鄰區塊18之樣本。詳言之，該等參考樣本將不限於沿著區塊18之外部邊緣配置的參考樣本，諸如鄰接區塊之外部邊緣的樣本。然而，此情形必然為本申請案之一個實施例。
為了執行預測，自諸如參考樣本17a及17c之參考樣本形成樣本值向量400。上文已經描述可能的形成。該形成可涉及平均化，進而相較於促成形成之參考樣本17縮減樣本102之數目或向量400之分量的數目。如上文所描述，該形成亦可在某種程度上取決於區塊18之尺寸或大小，諸如其寬度及高度。
此向量400應進行仿射或線性轉換以便獲得區塊18之預測。上文已經使用不同命名法。使用最近的一個命名法，旨在藉由在執行偏移向量b之求和內藉助於矩陣向量乘積將向量400應用於矩陣A而執行預測。偏移向量b係可選的。A或A及B判定之仿射或線性轉換可由編碼器及解碼器判定，或更確切而言，為基於區塊18之大小及尺寸的預測起見，來判定該仿射或線性轉換，如上文已經描述。
然而，為了達成上文所概述之計算效率改良或就實施而言使預測更有效，該仿射或線性轉換已經量化，且編碼器及解碼器或其預測器使用上文所提及之C及T以便表示及執行線性或仿射轉換，其中以上文所描述的方式應用之C及T表示仿射轉換之經量化版本。詳言之，代替將向量400直接應用於矩陣A，編碼器及解碼器中之預測器應用向量402，其藉助於經由預定可逆線性轉換T將樣本值向量400進行映射而產生於該樣本值向量。如此處所使用之轉換T可能相同，只要向量400具有相同大小，即並不取決於區塊之尺寸，即寬度及高度，或至少對於不同仿射/線性轉換相同。在上文中，向量402已經表示為y。用以執行如藉由機器學習所判定之仿射/線性轉換之確切矩陣將為B。然而，代替確切地執行B，編碼器及解碼器中之預測係藉助於其近似或經量化版本來進行。詳言之，該表示係經由以上文所概述之方式適當地表示C而進行，其中C + M表示B之經量化版本。
因此，進一步藉由計算向量402與以上文所描述的方式在編碼器及解碼器處適當地表示且儲存之預定預測矩陣C之間的矩陣向量乘積404來進行編碼器及解碼器中之預測。產生於此矩陣向量乘積之向量406接著用於預測區塊18之樣本104。如上文所描述，為預測起見，向量406之各分量可與參數a進行求和，如在408處所指示，以便補償C之對應的定義。基於向量406導出區塊18之預測中亦可涉及向量406與偏移向量b之任擇的求和。如上文所描述，向量406之各分量，及因此向量406、在408處所指示之所有a之向量及任擇的向量b之求和之各分量有可能直接對應於區塊18之樣本104且因此指示樣本之經預測值。亦可僅以彼方式預測區塊之樣本104之子集且藉由內插導出區塊18之剩餘樣本，諸如108。
如上文所描述，設定a存在不同實施例。舉例而言，其可為向量400之分量的算術均值。對於彼情況，見圖9a。可逆線性轉換T 403可如圖9a中所指示。i0
分別為樣本值向量及向量402之預定分量，其由a替代。然而，亦如上文指示，存在其他可能性。然而，就C之表示而言，上文亦已指示C可以不同方式體現。舉例而言，矩陣向量乘積404可在其實際計算中以具有較低維度之較小矩陣向量乘積的實際計算結束。詳言之，如上文所指示，由於C的定義，C的整個第i0
行412可變為0，使得可藉由向量402之經縮減版本來進行乘積404之實際計算，該經縮減版本藉由省略分量，即藉由將此經縮減向量410乘以經縮減矩陣C'而產生於向量402，該經縮減矩陣藉由遺漏第i0
行412而產生於C。
C之權重或C'之權重，即此矩陣的分量可以定點數表示來表示及儲存。然而，此等權重414可又如上文所描述以與不同縮放及/或偏移相關的方式儲存。縮放及偏移可針對整個矩陣C界定，即對於矩陣C或矩陣C'之所有權重414為相等的，或可以一方式界定使得對於矩陣C及矩陣C'之相同列的所有權重414或相同行的所有權重414分別為恆定或相等的。圖10說明就此而言，矩陣向量乘積之計算(即乘積之結果)實際上可稍微不同地執行，即例如藉由將與縮放之乘法朝向向量402或410，進而縮減必須進一步執行之乘法的數目。圖11說明使用用於C或C'之所有權重414的一個縮放及一個偏移之情況，諸如在以上計算(2)中進行。
根據一實施例，用於預測圖像之預定區塊的本文中所描述之設備可經組配以使用基於矩陣之內樣本預測，其包含以下特徵：
該設備經組配以自多個參考樣本17形成樣本值向量pTemp[x] 400。假定pTemp[x]為2* boundarySize，可藉由以下操作填充pTemp[x]-例如，藉由直接複製位於預定區塊之頂部處之相鄰樣本(x = 0…boundarySize - 1之redT[ x ])之後為位於預定區塊左邊之相鄰樣本(x = 0…boundarySize - 1之redL[ x ]) (例如在isTransposed=0之情況下) (或在經轉置處理之情況下反之亦然(例如在isTransposed=1之情況下))或對以上樣本進行次取樣或合併。
導出x = 0…inSize − 1之輸入值p[ x ]，即該設備經組配以自樣本值向量pTemp[x]導出另一向量p[x]，樣本值向量pTemp[x]藉由預定可逆線性轉換(或更特定言之，預定可逆仿射線性轉換)映射至該另一向量，如下：
- 若mipSizeId等於2，則以下適用：
p[ x ] = pTemp[ x + 1 ] − pTemp[ 0 ]
- 否則(mipSizeId小於2)，以下適用：
p[ 0 ] = ( 1 ＜＜ ( BitDepth − 1 ) ) − pTemp[ 0 ]
p[ x ] = pTemp[ x ] − pTemp[ 0 ] for x = 1..inSize − 1
此處，可變mipSizeId指示預定區塊之大小。即，根據本實施例，另一向量自樣本值向量導出所使用之可逆轉換取決於預定區塊之大小。該相關性可能根據以下給定
| mipSizeId | boundarySize | predSize |
| 0 | 2 | 4 |
| 1 | 4 | 4 |
| 2 | 4 | 8 |
其中predSize指示預定區塊內之經預測樣本之數目，且根據inSize = ( 2 * boundarySize ) − ( mipSizeId = = 2 ) ? 1 : 0，2*bondarySize指示樣本值向量之大小且與inSize (即另一向量之大小)有關。更精確而言，inSize指示實際上參與計算之另一向量之彼等分量的數目。inSize與用於較小區塊大小之樣本值向量之大小一樣大，且一個分量對於較大區塊大小較小。在前一情況下，可忽視一個分量，即將對應於另一向量之預定分量的分量，如在隨後計算之矩陣向量乘積中，對應的向量分量之貢獻無論如何將產生零，且因此，實際上不需要計算。在替代實施例之情況下，可忽略對區塊大小之相依性，其中僅不可避免地使用二個替代方案中之一者，即不管區塊大小如何(對應於mipSizeId小於2之選項，或對應於mipSizeId等於2之選項)。
換言之，例如，界定預定可逆線性轉換使得另一向量p之預定分量變為a，而所有其他分量對應於樣本值向量之分量減去a，其中例如a=pTemp[0]。在對應於mipSizeId之第一選項等於2之情況下，此係容易地可見並且進一步考慮另一向量之以差分方式形成之分量。即，在第一選項之情況下，另一向量實際上為{p[0… inSize];pTemp[0]}，其中pTemp[0]為a，且用以產生矩陣向量乘積之矩陣向量乘法之實際上經計算部分，即乘法之結果僅限於另一向量之inSize分量及矩陣之對應行，因為矩陣具有不需要計算之零行。在對應於mipSizeId小於2之其他情況下，選擇a=pTemp[0]，作為除了p[0]之外的另一向量之所有分量，即另一向量p之除了預定分量p[0]之外的其他分量p[x] (其中x = 1..inSize − 1)中之各者等於樣本值向量pTemp[x]之對應分量減去a，但p[0]選定為常數減去a。接著計算矩陣向量乘積。該常數為可表示值之均值，即2x-1
(即1 ＜＜ ( BitDepth − 1 ))，其中x表示所使用之計算表示的位元深度。應注意，若p[0]反而選定為pTemp[0]，則經計算乘積將僅與使用如上文所指示之p[0] (p[ 0 ] = ( 1 ＜＜ ( BitDepth − 1 )) − pTemp[ 0 ])計算之一個乘積偏離一常數向量，當基於該乘積預測內部區塊時，可考慮該常數向量，即預測向量。因此，值a為預定值，例如，pTemp[0]。預定值pTemp[0]在此情況下例如為樣本值向量pTemp之對應於預定分量p[0]之分量。其可為預定區塊頂部或預定區塊左邊之最接近預定區塊之左上角的鄰近樣本。
對於根據predModeIntra之例如指定內預測模式的內樣本預測製程，該設備例如經組配以應用以下步驟，例如執行至少第一步驟：
1. 基於矩陣之內預測樣本predMip[x][y]，其中x = 0…predSize − 1，y = 0…predSize − 1導出如下：
- 可變modeId經設置成等於predModeIntra。
- x = 0…nSize − 1, y = 0…redSize * predSize − 1之權重矩陣mWeight[ x ][ y ]係藉由使用mipSizeId及modeId調用MIP權重矩陣導出製程而經導出作為輸入。
- 基於矩陣之內預測樣本predMip[x][y]，其中x = 0…predSize − 1，y = 0…predSize − 1導出如下：
oW = 32 − 32 * (
)
predMip[ x ][ y ] = ( ( (
) +
oW ) ＞＞ 6 ) + pTemp[ 0 ]
換言之，該設備經組配以計算另一向量p[i]或在mipSizeId等於2之情況下為{p[i];pTemp[0]}與預定預測矩陣mWeight或在mipSizeId小於2之情況下為具有對應於p之經省略分量的額外零權重行之預測矩陣mWeight之間的矩陣向量乘積，以便獲得預測向量，其在此處已經指派給分佈於預定區塊之內部中的區塊位置{x,y}之陣列以便產生陣列predMip[ x ][ y ]。預測向量將分別對應於predMip[ x ][ y ]之列或predMip[ x ][ y ]之行的級聯。
根據一實施例，或根據不同解釋，僅分量(((
) + oW ) ＞＞ 6 )經理解為預測向量，且該設備經組配以在基於預測向量預測預定區塊之樣本時針對預測向量之各分量計算個別分量與a (例如pTemp[0])之總和。
視情況，該設備可經組配以在基於預測向量，例如predMip或(() + oW ) ＞＞ 6預測預定區塊之樣本時另外執行以下步驟。
2. 其中x = 0…redSize − 1、y = 0…redSize − 1 之基於矩陣之內預測樣本predMip[ x ][ y ]例如如下經削剪：
predMip[ x ][ y ] = Clip1( predMip[ x ][ y ] )
3. 當isTransposed等於TRUE時，predSize×predSize陣列predMip[ x ][ y ] (其中x = 0…redSize − 1, y = 0…redSize − 1)例如如下經轉置：
predTemp[ y ][ x ] = predMip[ x ][ y ]
predMip = predTemp
4. 經預測樣本predSamples[ x ][ y ] (其中x = 0…TbW − 1，y = 0…TbH − 1)例如如下導出：
- 若指定轉換區塊寬度之nTbW大於predSize或指定轉換區塊高度之nTbH大於predSize，則運用作為輸入之輸入區塊大小predSize、基於矩陣之內預測樣本predMip[ x ][ y ] (其中x = 0…redSize − 1，y = 0…edSize − 1)、轉換區塊寬度nTbW、轉換區塊高度nTbH、頂部參考樣本refT[ x ] (其中x = 0…TbW − 1)及左邊參考樣本refL[ y ] (其中y = 0…TbH − 1)調用MIP預測增加取樣過程，且輸出係經預測樣本陣列predSamples。
- 否則，predSamples[x][y] (其中x = 0…nTbW − 1，y = 0…nTbH − 1)經設定成等於predMip[x][y]。
換言之，該設備經組配以基於預測向量predMip來預測預定區塊之樣本predSamples。8. 使用基於區塊 / 矩陣 之內預測模式以及其他內預測模式
以下描述再次呈現用於組合基於區塊/矩陣之預測與其他內預測模式之可能性。其表示另一可能性之呈現，基於其，可體現後續部分中描述的實施例。
請注意，在下文中，術語基於區塊之內預測用於表示可由上文ALWIP體現或等於上文ALWIP所指示之彼等內預測模式的內預測模式。
由此，在下文中相對於圖12所描述之實施例係關於支援內預測以用於解碼/編碼預定區塊18之解碼器及編碼器，其中支援不同內預測模式。使用與預定區塊18相鄰之參考樣本17所根據之角內預測模式500用以填充預定區塊18以便獲得用於預定區塊18之內預測信號。詳言之，沿著預定區塊18之邊界，諸如沿著預定區塊18之上部邊緣及左側邊緣配置之參考樣本17表示圖像內容，其沿著預定方向502外插或複製至預定區塊18之內部中。在外插或複製之前，由相鄰樣本17表示之圖像內容可進行內插濾波或換言之可藉助於內插濾波自相鄰樣本17導出。角內預測模式500彼此不同之處在於內預測方向502。各角內預測模式500可具有與其相關聯之索引，其中索引與角內預測模式500之相關性可使得方向500在根據相關聯模式索引排序角內預測模式500時單調地順時針或逆時針旋轉。
亦可存在例如非角內預測模式504，圖12說明視情況含於集合508中之平面內預測模式，根據該平面內預測模式基於相鄰樣本17導出由水平斜率、豎直斜率及偏移界定之二維線性函數，藉由此線性函數界定預定區塊18之預測樣本值。基於相鄰樣本17導出水平斜率、豎直斜率及偏移。根據一實施例，內預測模式之第一集合508包含平面內預測模式504。
含於集合508中之特定非角內預測模式，即DC模式說明於506處。此處，基於相鄰樣本17導出一個值，準DC值且這一個DC值歸因於預定區塊18之所有樣本以便獲得內預測信號。儘管展示非內預測模式之二個實例，但可僅存在一個實例或存在多於二個實例。
內預測模式500、504及506形成編碼器及解碼器支援之內預測模式之集合508，其中在速率/失真最佳化意義上與通常使用參考符號510指示之基於區塊之內預測模式(上文使用縮寫ALWIP論述其實例)競爭。如上文所描述，根據此等基於區塊之內預測模式510，執行一方面自相鄰樣本17導出之向量514與另一方面預定預測矩陣516之間的矩陣向量乘積520。乘法520之結果為用於預測預定區塊18之樣本之預測向量518。基於區塊之內預測模式510彼此不同之處在於與個別模式相關聯之預測矩陣516。
因此，簡言之，根據本文所描述之實施例的編碼器及解碼器包含內預測模式之集合508，即內預測模式之第一集合及基於區塊之內預測模式之集合520，即基於矩陣之內預測模式之第二集合，且該等集合彼此競爭。
根據本申請案之實施例，預定區塊18按以下方式使用內預測寫碼/解碼。詳言之，首先，集合選擇使用內預測模式之集合508中之任一者抑或基於區塊之內預測模式之集合520中之模式中之任一者預測預定區塊18的語法元素522。若集合選定語法元素指示使用集合508，即內預測模式之第一集合中之任一模式預測預定區塊18，則基於已經預測與區塊18相鄰之在524及526處例示性地指示之相鄰區塊所使用之內預測模式在解碼器及編碼器處解釋/形成來自集合508之最可能候選者之清單528。可以預定方式，諸如藉由判定與區塊18之某些相鄰樣本(諸如區塊18之左上樣本頂部之樣本)及含有剛剛提及之轉角樣本左側之樣本之區塊526重疊的彼等相鄰區塊相對於預定區塊18之位置判定相鄰區塊524及526。自然地，此僅為實例。此同樣適用於用於模式預測之相鄰區塊之數目，其對於所有實施例並不限於二個。可使用多於二個或僅一個相鄰區塊。若此等區塊524及526中之任一者丟失，則預設內預測模式可預設地用作丟失相鄰區塊之內預測模式之取代物。若區塊524及526中之任一者已經使用間預測模式，諸如藉由經運動補償之預測寫碼/解碼，則這此同樣可適用。
來自集合508之模式之清單，即最可能內預測模式之清單528之構造如下。清單528之清單長度，即其中之最可能模式之數目可預設地固定。該長度可如圖12中所說明為四個，或可與其不同，諸如五個或六個。後一情況適用於下文中所描述之特定實例。稍後將描述之資料串流中之索引可指示來自待用於預定區塊18之清單528之一個模式。沿著清單次序或順位530執行編索引，其中例如長度可變之清單索引經寫碼使得索引之長度沿著次序530單調遞增。因此，首先，僅藉由來自集合508之最可能模式填充清單528，且沿著次序530將較可能模式相對於適合於區塊18之機率較低之模式置放在上游為值得的。基於用於區塊524及526，即與預定區塊18相鄰之相鄰區塊的模式導出清單528之模式。若區塊524及526中之任一者已經使用來自集合520之基於區塊之模式510進行內預測，則使用前文描述之自此類「ALWIP」或基於區塊之模式510至集合508內之模式(比如非ALWIP模式)的映射。後一映射可例如將基於區塊之模式510中之大多數(即，多於一半)映射至DC模式506 (或DC模式506或平面模式504中之任一者)。
根據一實施例，以獨立於在預測相鄰區塊時使用之內預測模式之方式以平面內預測模式504填充最可能內預測模式之清單528。因此，舉例而言，取決於用於相鄰區塊524及526之預測之內預測模式，僅DC內預測模式506及角內預測模式500填充在清單528中。舉例而言，平面內預測模式504獨立於在預測相鄰區塊524及526時使用之內預測模式定位於最可能內預測模式之清單528中之第一位置處。
以下文中更詳細地例示性地說明之方式，以一方式進行最可能內預測模式之清單528之清單構造，使得若已經專門藉由任一角內預測模式500預測相鄰區塊524及526，則清單528不含DC內預測模式506。若藉由任一角內預測模式500預測一個相鄰區塊524或526及/或若藉由任一角內預測模式500預測二個相鄰區塊524及526，則DC內預測模式506並不在最可能內預測模式之清單528中。根據下文中闡明之實施例，僅在以下情形對於所有相鄰區塊524及526均成立的情況下以DC模式506填充例如清單528：將已經使用非角內預測模式504及506中之任一者寫碼或已經使用任一基於區塊之內預測模式510 (其藉助於前文提及之自基於區塊之內預測模式510至集合508內之模式的映射)預測之區塊映射至非角內預測模式504及506中之任一者。僅在該情況下，DC內預測模式506定位在清單528中。在這種情況下，該DC內預測模式可按次序530被定位在任一角內預測模式500之前，如自後續實例可見。
換言之，舉例而言，僅在以下情況下以DC內預測模式506填充最可能內預測模式之清單528：對於相鄰區塊524及526中之各者，將使用包含DC內預測模式506的第一集合508內之至少一個非角內預測模式504及506中之任一者預測或使用基於區塊之內預測模式510中之任一者(其藉助於自基於區塊之內預測模式510之第二集合520至第一集合508內之內預測模式的映射用於最可能內預測模式之清單528之形成)預測的個別相鄰區塊映射至至少一個非角間預測模式500中之任一者。舉例而言，在最可能內預測模式之清單528中，DC內預測模式506定位在任何角內預測模式500之前。
因此，恢復關於預定區塊18如何被寫碼成資料串流12之描述，若集合選擇性語法元素522指示藉由來自第一集合508之任一模式寫碼預定區塊18，則資料串流12視情況含有MPM語法元素532，其指示待用於預定區塊18之內預測模式是否在清單528內，且若為是，則資料串流12包含在清單528中藉由沿著次序530對模式編索引而指示來自清單528之待用於預定區塊18之模式，即預定內預測模式的MPM清單索引534。然而，若來自集合508之模式如由MPM語法元素532所指示並不在清單528內，則資料串流12針對區塊18包含另一語法元素536，其指示來自集合508之哪一模式(即預定內預測模式)將用於區塊18。另一語法元素536可以藉由僅在來自集合508之彼等模式(其並不含於清單528中)之間進行區分之方式指示該模式。
換言之，舉例而言，若集合選擇性語法元素522指示使用內預測模式之第一集合508中之一個內預測模式預測預定區塊18，則用於解碼預定區塊18之設備經組配以自資料串流導出指示內預測模式之第一集合508中之預定內預測模式是否在最可能內預測模式之清單528內的MPM語法元素532。若MPM語法元素532指示內預測模式之第一集合508中之預定內預測模式在最可能內預測模式之清單528內，則設備例如經組配以基於在預測與預定區塊100相鄰之相鄰區塊524、526時使用之內預測模式執行最可能內預測模式之清單528之形成並執行指向最可能內預測模式之清單528中之預定內預測模式之MPM清單索引534自資料串流12之導出。若來自資料串流12之MPM語法元素532指示內預測模式之第一集合508中之預定內預測模式並不在最可能內預測模式之清單528內，則設備經組配以自資料串流導出指示來自內預測模式之第一集合之預定內預測模式的另一清單索引536。因此，基於MPM語法元素532，資料串流12包含MPM清單索引534或另一清單索引536以用於預測預定區塊18。
藉由移除清單528包含DC內預測模式506之情形，達成以下優點。詳言之，本申請案之諸位發明人發現，由用於寫碼/解碼應使用集合508中之內預測模式中之任一者之預定區塊18的來自集合508之DC內預測模式506 (如由語法元素522，即集合選擇性語法元素指示)「佔用」清單528之寶貴的清單位置將不利地影響寫碼效率，因為來自集合508之此DC內預測模式506無論如何均會與基於區塊之內預測模式510競爭。因此，由來自集合508之此DC內預測模式506「佔用」清單528之清單位置將導致出現以下情形的可能性提高：最後將用於預定區塊18之內預測模式，即預定內預測模式並不在清單528內，使得語法元素536，即另一清單索引需要在資料串流12中傳輸。
詳言之，由於語法元素522已經針對區塊18指示應使用集合508內之模式中之任一者抑或集合520中之基於區塊之模式510中之任一者預測該區塊，似乎若語法元素522指示集合508內之模式對於區塊18較佳，且因此基於區塊之模式510並不用於區塊18，則來自集合508之DC預測模式506可適合於區塊18之可能性如此之低以致於DC預測模式在清單528中之出現應限於用於相鄰區塊524及526之模式之群集，即上文闡明之群集之極其受限集合。
在另一情況下，即在集合選擇性語法元素522指示使用基於區塊之內預測模式510中之任一者預測預定區塊18的情況下，將區塊18寫碼成資料串流12及自其之解碼可以上文闡明之方式進行。為此目的，可使用編索引以便為自來自集合520 (即基於區塊之內預測模式之第二集合)之基於區塊之內預測模式510選定的一個內預測模式編索引或指示關於將使用該等基於區塊之內預測模式中之哪一者。另一MPM語法元素538可指示是否藉由索引540，即藉由另一MPM清單索引(其指示來自最可能的基於區塊之內預測模式510之清單542的待用於區塊18之基於區塊之內預測模式510，即藉由沿著清單次序544編索引)進行編索引，或待用於區塊18之基於區塊之內預測模式510是否由另一語法元素546，即由又一清單索引(其指示來自集合520之基於區塊之內預測模式510)指示，其中後一語法元素546可例如僅區分集合520內清單542內尚未含有之彼等模式510。可基於已經預測區塊524及526所使用之模式進行清單542之清單構造。若區塊524及526中之任一者由於在圖像外部或由於經間預測而不可用，則預設內預測模式，諸如來自集合508之一個內預測模式可替代地使用。對於各區塊524及526，在已使用來自集合508而非集合520之模式進行內預測的情況下，前文描述之自集合508中之模式至來自集合520之模式的映射用於獲得用於個別區塊，即預定區塊18之內預測模式510，即預定的基於區塊之內預測模式，且基於針對區塊524及526產生之基於區塊之內預測模式，解釋清單542。
根據一實施例，若集合選擇性語法元素522指示並不使用內預測模式之第一集合508中之一個內預測模式預測預定區塊18，則用於解碼預定區塊18之設備經組配以自資料串流12導出指示基於區塊之內預測模式510之第二集合520中之預定的基於區塊之內預測模式是否在最可能的基於區塊之內預測模式之清單542內的另一MPM語法元素538。若另一MPM語法元素538指示基於區塊之內預測模式510之第二集合520中之預定的基於區塊之內預測模式在最可能的基於區塊之內預測模式之清單542內，則設備例如經組配以基於在預測與預定區塊18相鄰之相鄰區塊524、526時使用之內預測模式形成最可能的基於區塊之內預測模式之清單542，且自資料串流12導出在最可能的基於區塊之內預測模式之清單542中指向預定的基於區塊之內預測模式的另一MPM清單索引540。若另一MPM語法元素538指示基於區塊之內預測模式之第二集合520中之預定的基於區塊之內預測模式並不在最可能的基於區塊之內預測模式之清單542內，則設備經組配以自資料串流12導出指示來自基於區塊之內預測模式之第二集合520之預定的基於區塊之內預測模式的又一清單索引546。因此，基於另一MPM語法元素538，資料串流12包含另一MPM清單索引540或又一清單索引546以用於預測預定區塊18。
儘管另一MPM語法元素538、另一MPM清單索引540及又一清單索引546在圖12中在資料串流12中表示為平行於MPM語法元素532、MPM清單索引534及另一清單索引536，但顯而易見，資料串流12包含另一MPM語法元素538及與另一MPM語法元素538相關聯之索引，例如另一MPM清單索引540或又一清單索引546或MPM語法元素532及與MPM語法元素532相關聯之索引，例如MPM清單索引534或另一清單索引536。資料串流12包含此等語法元素及索引中之哪些例如取決於集合選擇性語法元素522。
寫入為偽程式碼之資料串流12之語法元素部分的實例可如圖19a至圖19d如中所示，其中參考符號指示關於哪些語法元素對應於之前所論述之語法元素。
清單528之清單構造可定義如下：其中在對應區塊524或526已經使用基於區塊之內預測模式510中之任一者進行內預測的情況下，candIntraPredModeA/B指示已預測區塊524及526中之任一者所使用之內預測模式，諸如A針對區塊524且B針對區塊526；或指示集合508當中將內預測模式映射至哪一模式。INTRA_DC用於指示模式506，且角模式500藉由INTRA_ANGULAR#指示，其中編號(#)如上文例示性地指示對角模式進行排序，即以此方式使得角方向502隨著數目增大單調遞減或單調遞增。集合508內模式當中之排序可如下表中所界定，其中INTRA_PLANAR指示模式504。
應注意，在上文實例中，索引534實際上分佈於語法元素534'及534''上：語法元素534'按次序530特定針對清單528之第一位置，根據此實例，INTRA_PLANAR模式504不可避免地定位於該位置處。語法元素534''指向清單528之後續位置中之任一者，如所描述，DC模式506僅在所描述特殊情形下包括於該位置處。
另外，在上文實例中，在語法元素522指示使用集合508內模式當中的任何模式的情況下，其他語法元素包括於資料串流中，該等其他語法元素在某種程度上參數化集合500內之內預測模式。例如，語法元素600參數化或改變定位有參考樣本17之區域，集合508中之模式基於該區域諸如在朝向區塊18外圓周之距離方面對區塊18之內部進行內預測。另外或替代地，語法元素602參數化或改變集合508中之模式是否使用該等參考樣本17來全域地或在區塊內對區塊18之內部進行內預測，或是否按區塊18被細分成的各段或各部分進行內預測，該等段或部分依序經內預測使得針對一個部分經寫碼成資料串流之預測殘差可用於補充新參考樣本以用於對後一部分進行內預測。受語法元素控制之後一寫碼選項僅在語法元素600具有對應於例如該等參考樣本17所處之區域鄰接於區塊18之預定狀態時可用(且對應語法元素可僅存在於資料串流中)。該等部分可藉由沿著預定方向，諸如水平地(由此導致部分與區塊18一樣高)或豎直地(由此導致部分與區塊18一樣寬)細分區塊而界定。若分割經傳信為在作用中，其控制關於使用哪一分裂方向，則語法元素604可存在於資料串流中。如可看出，情況可為清單528中為INTRA_PLANAR模式保留之位置僅在藉由剛剛提及之參數化語法元素對模式進行特定參數化的情況下，諸如僅在語法元素600具有對應於例如該等參考樣本17所處之區域鄰接於區塊18之預定狀態時及/或逐部分的內預測模式如語法元素602所傳信並不在作用中時才可用。
表中所示而上文未特定提及之所有語法元素均為任擇的且在本文中未進一步論述。
- 若candIntraPredModeB等於candIntraPredModeA且candIntraPredModeA大於INTRA_DC，則如下導出candModeList[x](其中x=0...4)：
candModeList[ 0 ] = candIntraPredModeA
candModeList[ 1 ] = 2 + ( ( candIntraPredModeA + 61 ) % 64 )
candModeList[ 2 ] = 2 + ( ( candIntraPredModeA − 1 ) % 64 )
candModeList[ 3 ] =2 + ( ( candIntraPredModeA + 60 ) % 64 )
candModeList[ 4 ] = 2 + ( candIntraPredModeA % 64 )
- 另外，若candIntraPredModeB不等於candIntraPredModeA且candIntraPredModeA或candIntraPredModeB大於INTRA_DC，則以下適用：
- 如下導出變數minAB及maxAB：
minAB = Min( candIntraPredModeA, candIntraPredModeB )
maxAB = Max( candIntraPredModeA, candIntraPredModeB )
- 若candIntraPredModeA及candIntraPredModeB均大於INTRA_DC，則如下導出candModeList[x](其中x=0...4)：
candModeList[ 0 ] = candIntraPredModeA
candModeList[ 1 ] = candIntraPredModeB
- 若maxAB−minAB等於1，則以下適用：
candModeList[ 2 ] = 2 + ( ( minAB + 61 ) % 64 )
candModeList[ 3 ] = 2 + ( ( maxAB − 1 ) % 64 )
candModeList[ 4 ] = 2 + ( ( minAB + 60 ) % 64 )
- 否則，若maxAB−minAB大於或等於62，則以下適用：
candModeList[ 2 ] = 2 + ( ( minAB − 1 ) % 64 )
candModeList[ 3 ] = 2 + ( ( maxAB + 61 ) % 64 )
candModeList[ 4 ] = 2 + ( minAB % 64 )
- 否則，若maxAB−minAB等於2，則以下適用：
candModeList[ 2 ] = 2 + ( ( minAB − 1 ) % 64 )
candModeList[ 3 ] = 2 + ( ( minAB + 61 ) % 64 )
candModeList[ 4 ] = 2 + ( ( maxAB − 1 ) % 64 )
- 否則，以下適用：
candModeList[ 2 ] = 2 + ( ( minAB + 61 ) % 64 )
candModeList[ 3 ] = 2 + ( ( minAB − 1 ) % 64 ) (8-36)
candModeList[ 4 ] = 2 + ( ( ( maxAB + 61 ) ) % 64 )
- 否則(candIntraPredModeA或candIntraPredModeB大於INTRA_DC)，如下導出candModeList[x](其中x = 0...4)：
candModeList[ 0 ] = maxAB
candModeList[ 1 ] = 2 + ( ( maxAB + 61 ) % 64 )
candModeList[ 2 ] = 2 + ( ( maxAB − 1 ) % 64 ) (8-41)
candModeList[ 3 ] = 2 + ( ( maxAB + 60 ) % 64 )
candModeList[ 4 ] = 2 + ( maxAB % 64 )
- 否則，以下適用：
candModeList[ 0 ] = INTRA_DC
candModeList[ 1 ] = INTRA_ANGULAR50 (
candModeList[ 2 ] = INTRA_ANGULAR18
candModeList[ 3 ] = INTRA_ANGULAR46
candModeList[ 4 ] = INTRA_ANGULAR54
9. 利用基於區塊 / 矩陣之內預測模式連同其他內預測模式以及使用二次轉換之實施例
| 內預測模式 | 相關聯名稱 |
| 0 | INTRA_PLANAR |
| 1 | INTRA_DC |
| 2..66 | INTRA_ANGULAR2...INTRA_ANGULAR66 |
以下描述呈現用於組合基於區塊/矩陣之預測與其他內預測模式連同使用二次轉換用於寫碼預測殘差之實施例。用於基於矩陣/之內預測(ALWIP)及其與其他內預測模式之組合的可能性之以上呈現將充當實例以在下文中實施。在圖12中，例如，關於MPM清單構造相對於DC模式於其中的受限包括之所有詳情係可選的。
如上所述，在本文中亦表示為基於區塊之內預測及ALWIP之基於矩陣之內預測(MIP)藉由執行矩陣向量乘法來產生關於矩形區塊之內預測信號，其中矩陣向量乘法之輸出可被視為對減少取樣區塊的預測信號，且其中矩陣向量乘法之輸入可包含在減少取樣的邊界樣本中。若輸出被視為對減少取樣區塊的預測信號，則此預測信號需要在獲得最終預測信號之前經受增加取樣(或線性內插)階段。
另一方面，對於如平面模式504、DC模式506及角模式500之習知內預測模式(在以上描述中亦表示為集合508之模式)，不可分離二次轉換(LFNST)為用以轉換對應於此等內預測模式的預測殘差之工具。此處，給出一組
個轉換集合，使得各習知內預測模式與此等轉換集合中之一者相關聯。接著，在解碼器處，可自位元串流提取是否將應用給定區塊LFNST。若為此情況，則給出集合中之一個轉換集合，取決於在當前區塊上使用的內預測模式且若此轉換集合由多於一個轉換組成，則可自位元串流提取將使用此集合中之哪一轉換T。接著，在解碼器處，作為二次轉換Ts應用轉換T，從而意謂其應用於可分離一次轉換Tp之殘差轉換係數620之一子集622，如例如圖14中所示。
問題為前述二次轉換Ts僅先驗地針對習知內預測模式加以界定。針對各MIP模式510提供特定二次轉換Ts在另外儲存額外轉換之記憶體要求方面可能成本過高。
圖13說明解決此問題之解碼器。解碼器使用內預測解碼圖像之預定區塊18。根據一實施例，編碼器包含與解碼器並行的特徵及/或功能性。
解碼器/編碼器經組配以自多個600內預測模式選擇602預定內預測模式604，該預定內預測模式包含內預測模式之第一集合508及基於矩陣之內預測模式510之第二集合520。藉由解碼器基於資料串流12執行此內模式選擇602，其中編碼器經組配以在資料串流12中傳信預定內預測模式604。可如關於圖12所描述執行內模式選擇602。
內預測模式之該第一集合508包含一DC內預測模式506及角預測模式500，且視情況包含一平面內預測模式504。在預定內預測模式604為第二集合520中的基於矩陣之內預測模式510的情況下，解碼器/編碼器經組配以使用自預定區塊18之一鄰域中的參考樣本17導出的一向量514與相關聯於個別基於矩陣之內預測模式510的預測矩陣516之間的矩陣向量乘積512來獲得預測向量518，基於該預測向量預測預定區塊18之樣本。使用基於矩陣之內預測模式510作為預定內預測模式604對預定區塊18之預測可由根據圖6至圖11之實施例的解碼器/編碼器執行。解碼器/編碼器經組配以使用預定內預測模式604導出用於預定區塊18之預測信號606。
該解碼器/編碼器經組配而以取決於該預定內預測模式604之一方式自二次轉換Ts之集合612 (例如，Ts(1)
-Ts(N)
)中選擇608一或多個二次轉換Ts (i1)
-Ts (in)
之子集610，其中i1
在1至N之範圍內且in
在i1
至N之範圍內，以使得在該預定內預測模式604含於內預測模式之該第一集合508中的情況下且在該預定內預測模式604含於基於矩陣之內預測模式510之該第二集合520中的情況下，該子集610為非空。
根據一實施例，解碼器/編碼器經組配以選擇608子集610，以使得二次轉換Ts之集合612中的各二次轉換Ts含於針對第一集合508及第二集合520內的內預測模式中的至少一者選擇的一或多個二次轉換Ts之子集610中。因此，子集610可等於二次轉換之集合612。此類子集可選定以用於一或多個基於矩陣之內預測模式510。對於一或多個基於矩陣之內預測模式510，有可能選擇二次轉換之集合612中的所有二次轉換Ts，藉此用於此一或多個基於矩陣之內預測模式510的子集610包含可選擇用於內預測模式之第一集合508內的內預測模式的二次轉換Ts。因此，對於基於矩陣之內預測模式510中的至少一者，二次轉換之集合612中不需要特定的額外二次轉換。
根據一實施例，該解碼器/編碼器經組配而以使得選定用於該第一集合508內不屬於角預測模式500的至少一個內預測模式的二次轉換Ts之一子集(例如，610DC
及/或610planar
)含有選定用於任何基於矩陣之內預測模式510的二次轉換Ts之各子集610matrix
中的各二次轉換Ts的方式選擇608子集610。圖15指示選定用於任何基於矩陣之內預測模式510的二次轉換Ts之不同可能子集。解碼器/編碼器可經組配以針對各基於矩陣之內預測模式510選擇二次轉換之子集610之第一聯合611matrix
之子集610用於基於矩陣之內預測模式510。
如圖15中所示，可選擇用於一或多個基於矩陣之內預測模式510的子集610可等於可選擇用於DC內預測模式506的子集(例如，610DC1
或610DC2
)或可等於可選擇用於平面內預測模式504的子集(例如，610planar1
或610planar2
)。有可能，可選擇用於一或多個基於矩陣之內預測模式510的子集610僅包含選定用於第一集合508內不屬於角預測模式500的一個內預測模式的二次轉換Ts之子集(例如，610DC
)的一或多個二次轉換(例如，Ts(ax)
至Ts(ay)
)，如由子集610matrix4
指示。
可選擇用於基於矩陣之內預測模式510的子集610可含有可選擇用於DC內預測模式506的二個或更多個子集(例如，610DC1
及610DC2
)中之一或多個二次轉換，如由子集610matrix1
指示，或可含有可選擇用於平面內預測模式504的二個或更多個子集(例如，610planar1
及610planar2
)中之一或多個二次轉換，如由子集610matrix3
指示。
可選擇用於基於矩陣之內預測模式510的另一可能子集610可包含可選擇用於DC內預測模式506的一或多個子集(例如，610DC2
)中之一或多個二次轉換及可選擇用於平面內預測模式504的一或多個子集(例如，610planar1
)中之一或多個二次轉換，如由子集610matrix2
指示。
根據一實施例，解碼器/編碼器經組配而以使得選定用於基於矩陣之內預測模式510之二次轉換之子集610的第一聯合611matrix
與選定用於所有角內預測模式的二次轉換之子集610angular
之第二聯合611angular
之間的交叉點為空的方式選擇608子集610。第三聯合611DC
包含選定用於DC內預測模式506之所有子集610DC
，且第四聯合611planar
包含選定用於平面內預測模式504之所有子集610planar
。舉例而言，歸因於視情況應用於經縮減預測信號606之減少取樣，如同平面模式504及DC模式506，MIP模式510為非方向性的，且因此其預測殘差618較之於角模式500與DC模式506及平面模式504具有更多統計類似性。
此外，如圖13中所示，解碼器經組配以經由由一次轉換Tp與二次轉換之子集610中的預定二次轉換Ts之串接界定的轉換T自資料串流導出614用於預定區塊18的預測殘差之經轉換版本616 (其由編碼器編碼至資料串流中)，其與預定區塊18之預測殘差之空間域版本618有關。如圖14中所示，編碼器可經組配以在預定內預測模式含於內預測模式之第一集合508中的情況下且在預定內預測模式含於基於矩陣之內預測模式510之第二集合520中的情況下應用至一次轉換Tp之係數620之子集622上的轉換T。解碼器可經組配以使用轉換T之反T-1
，以獲得預定區塊18之預測殘差之空間域版本618。一次轉換例如為可分離2D轉換，且二次轉換例如為不可分離2D轉換。
解碼器經組配以使用用於預定區塊18之預測信號606及預測殘差618來重建構624預定區塊18。
若一或多個二次轉換Ts之子集610含有多於一個二次轉換Ts，則解碼器可經組配以取決於在用於預定區塊的資料串流12中傳輸的二次轉換指示語法元素來選擇一或多個二次轉換之子集610中的預定二次轉換Ts。二次轉換指示語法元素可為指向一或多個二次轉換之所選子集610的索引。在此情況下，編碼器可經組配以在資料串流12中傳輸二次轉換指示語法元素。
根據一實施例，解碼器經組配以在預定區塊18之尺寸滿足預定準則的情況下，推斷轉換T為一次轉換Tp，經由該轉換T，用於預定區塊18之預測殘差之經轉換版本616與預定區塊18之預測殘差之空間域版本618有關。否則，轉換T可為一次轉換Tp與預定二次轉換Ts之串接。解碼器致使基於矩陣之內預測模式510之第二集合520可用於選擇602預定內預測模式604，而無關於預定區塊18之尺寸是否滿足預定準則。用於預定區塊18之尺寸的預定準則可能僅適用於子集選擇608，而不適用於內模式選擇602。舉例而言，存在MIP/ALWIP 510可用但LFNST (即子集選擇608)不可用之區塊尺寸。對於具有此類尺寸之區塊18，不需要在資料串流中傳輸且自資料串流讀取二次轉換指示語法元素。舉例而言，若尺寸降至低於預定臨限值，則滿足預定準則。對於小預定區塊18，其可能為不利的，此意謂對於後者形狀，傳信LFNST是否將應用於MIP模式中的區塊的額外傳信成本平均高於藉由允許MIP模式的LFNST轉換而獲得的增益。
根據一實施例，解碼器經組配以讀取在用於個別預定區塊18的資料串流12中傳輸的非零區指示，其指示用於預定區塊18的預測殘差之經轉換版本616內的非零轉換域區域623，如圖16中所示。所有非零係數排他性地位於非零轉換域區域623中。舉例而言，非零區指示藉由編碼器在資料串流12中傳輸。解碼器/編碼器經組配以解碼來自資料串流12的非零轉換域區域623內的係數/將該等係數編碼至該資料串流中。LP語法元素可充當非零區指示。沿著自DC係數位置通向相對或最高頻率係數位置之掃描路徑的最末非零係數位置在本文中由LP語法元素指示。LP語法元素可大致充當非零轉換域區域623內的非零係數之預期計數的量度。
根據一實施例，解碼器經組配以取決於非零轉換域區域623之擴展及/或位置滿足第一預定準則及/或非零轉換域區域623內的非零係數之數目滿足第二預定準則而推斷轉換T為一次轉換Tp，經由該轉換T，用於預定區塊18之預測殘差之經轉換版本616與預定區塊18之預測殘差之空間域版本618有關。
舉例而言，第一預定準則使得若非零轉換域區域623不排他性地覆蓋一次轉換Tp之係數之子集622 (二次轉換Tp藉由串接應用於該子集)，則滿足該第一預定準則。此係基於以下構思：二次轉換Ts應覆蓋一次轉換Tp之轉換係數中之所有非零係數。在非零係數在一次轉換Tp之係數之子集622外部的情況下，應用預定二次轉換可能並不有利，出於此原因，解碼器推斷轉換T為一次轉換Tp。解碼器可執行子集選擇608，且若非零轉換域區域623完全定位在一次轉換Tp之係數之子集622 (二次轉換Tp藉由串接而應用於該子集)內部，則應用藉由一次轉換Tp與應用於一次轉換Tp之係數之子集622上的二次轉換之子集610中的預定二次轉換Ts之串接界定的轉換T來獲得預定區塊18之預測殘差之空間域版本618，見例如圖16。
舉例而言，第二預定準則使得若非零轉換域區域623內的非零係數之數目降至低於預定臨限值，則滿足該第二預定準則。此係基於以下構思：若非零轉換域區域623內的非零係數之數目降至低於預定臨限值，則該數目不需要藉由二次轉換Ts而進一步減小。在一次轉換Tp之非零係數之數目小的情況下，另外應用預定二次轉換可能並不有利，出於此原因，解碼器推斷轉換T為一次轉換Tp。在非零係數之數目降至低於預定臨限值的情況下，用於預定二次轉換之額外傳信成本將高於藉由預定二次轉換達成的增大的寫碼效率。解碼器可執行子集選擇608，且若非零轉換域區域623內的非零係數之數目等於或超過預定臨限值，則應用藉由一次轉換Tp與應用於一次轉換Tp之係數之子集622上的二次轉換之子集610中的預定二次轉換Ts之串接界定的轉換T來獲得預定區塊18之預測殘差之空間域版本618。
根據一實施例，解碼器/編碼器經組配以自資料串流12導出集合選擇性語法元素522/將該集合選擇性語法元素編碼至資料串流中，該集合選擇性語法元素指示是否將使用內預測模式之第一集合508中之一個內預測模式來預測預定區塊18，如例如相對於圖12所描述。若集合選擇性語法元素522指示使用內預測模式之第一集合508中之一個內預測模式預測預定區塊18，則解碼器/編碼器經組配以基於預測與預定區塊18相鄰之相鄰區塊524及526使用之內預測模式形成最可能內預測模式之清單528，且自指向預定內預測模式604上的最可能內預測模式之清單528中的資料串流12導出MPM清單索引534/將其在該資料串流中傳信。若集合選擇性語法元素522指示將不使用內預測模式之第一集合508中之一個內預測模式預測預定區塊18，則解碼器/編碼器經組配以自資料串流導出另一索引540及/或546/將該另一索引編碼至該資料串流中，該另一索引指示基於矩陣之內預測模式510之第二集合520中的預定內預測模式604。
相對於圖13描述的解碼器及編碼器可包含如相對於圖12所描述的進一步特徵及/或功能性。
在用於預定區塊18的預定內預測模式604為第二集合520中的基於矩陣之內預測模式510的情況下，用於解碼預定區塊18之設備(即根據圖13之解碼器)及/或用於編碼預定區塊18之設備(即根據圖13之編碼器)可包含以下特徵中之一或多者。
根據一實施例，該設備經組配以形成多個參考樣本17中的樣本值向量(例如，如相對於圖6至圖9之實施例中之一者所描述的樣本值向量400)，且自該樣本值向量導出向量514，以使得該樣本值向量藉由預定可逆線性轉換映射至向量514上。在此情況下，向量514可理解為另一向量。舉例而言，如相對於圖8至圖11之實施例中之一者針對另一向量402所描述而判定及/或界定向量514。
根據一實施例，該設備經組配以藉由針對樣本值向量之各分量採用多個參考樣本中之一個參考樣本作為該樣本值向量之個別分量及/或平均化該樣本值向量之二個或多於二個分量以獲得該樣本值向量之個別分量而自多個參考樣本17形成樣本值向量。
舉例而言，多個參考樣本17沿著預定區塊18之外邊緣配置於圖像內。
舉例而言，可逆線性轉換經界定使得向量514，例如另一向量之預定分量變為a，且除了該預定分量之外，向量514之其他分量中之各者等於樣本值向量之對應分量減去a。舉例而言，值a為預定值1400。
根據一實施例，預定值1400為樣本值向量之分量的平均值(諸如算術均值或經加權平均值)、預設值、以圖像經寫碼成之資料串流用信號通知的值及樣本值向量之對應於預定分量的分量中之一者。
舉例而言，可逆線性轉換經界定使得向量514，例如另一向量之預定分量變為a，且除了該預定分量之外，向量514之其他分量中之各者等於樣本值向量之對應分量減去a，其中a為樣本值向量之分量之算術均值。
舉例而言，可逆線性轉換經界定使得向量514，例如另一向量之預定分量變為a，且除了該預定分量之外，向量514之其他分量中之各者等於樣本值向量之對應分量減去a，其中a為樣本值向量之對應於預定分量之分量。舉例而言，該設備經組配以包含多個可逆線性轉換，其各自與向量514之一個分量相關聯；在樣本值向量之分量當中選擇預定分量；以及使用多個可逆線性轉換當中與預定分量相關聯之可逆線性轉換作為預定可逆線性轉換。
根據一實施例，預測矩陣516中對應於向量514，例如另一向量之預定分量之一行內預測矩陣516之矩陣分量均為零。該設備經組配以藉由計算由預測矩陣516藉由去掉該行產生之經縮減預測矩陣與由向量514藉由去掉該預定分量產生之另一向量410之間的矩陣向量乘積512執行乘法而計算矩陣向量乘積512，如圖9c中所示。
根據一實施例，該設備經組配以在基於預測向量518預測預定區塊18之樣本時針對預測向量518之各分量計算個別分量與a之總和。
藉由對於對應於向量514 (例如，另一向量)之預定分量的預測矩陣516行內的預測矩陣516之各矩陣分量與一進行求和(即矩陣C 405與圖9a中所說明的矩陣M 1300之求和，從而得出圖8中之矩陣B)乘以可逆線性轉換而得出的矩陣例如對應於機器學習預測矩陣(即，圖8中所示的預測矩陣A 1100)之經量化版本。
根據一實施例，該設備經組配以使用定點算術運算計算矩陣向量乘積512。
根據一實施例，該設備經組配以在不使用浮點算術運算之情況下計算矩陣向量乘積512。
根據一實施例，該設備經組配以儲存預測矩陣516之定點數表示。
根據一實施例，該設備經組配以使用預測參數表示預測矩陣516且藉由對向量514 (例如另一向量)之分量及預測參數以及自其產生之中間結果執行乘法及求和而計算矩陣向量乘積512，其中預測參數之絕對值可藉由n位元定點數表示來表示，其中n等於或低於14，或替代地等於或低於10，或替代地等於或低於8。此可類似地或如圖10或圖11中所描述而執行。
舉例而言，預測參數包含權重，其各自與預測矩陣516之對應矩陣分量相關聯。
舉例而言，預測參數進一步包含一或多個縮放因數，其各自與預測矩陣516之一或多個對應矩陣分量相關聯以用於縮放與預測矩陣516之該一或多個對應矩陣分量相關聯之權重；及/或一或多個偏移，其各自與預測矩陣516之一或多個對應矩陣分量相關聯以用於使與預測矩陣516之該一或多個對應矩陣分量相關聯之權重偏移。
根據一實施例，該設備經組配以在基於預測向量518預測預定區塊18之樣本時使用內插以基於預測向量518來計算預定區塊18之至少一個樣本位置，該預測向量之各分量與預定區塊18內之對應位置相關聯。
相對於圖13描述的解碼器及編碼器可包含如相對於圖6至圖11之一或多個實施例所描述的進一步特徵及/或功能性。
因此，由本發明提供的解決方案為使給定轉換集合612中的一個特定轉換集合160與各MIP模式510相關聯，該特定轉換集合最初針對習知內預測模式(即，第一集合508內的內預測模式)而界定。進行此操作的一個特定方式將為所有MIP模式510使用LFNST轉換，即二次轉換，其最初針對平面模式504及DC模式506而設計。舉例而言，歸因於視情況應用於經縮減預測信號之減少取樣，如同平面模式504及DC模式506，MIP模式510為非方向性的，且因此其預測殘差較之於角模式500與DC模式506及平面模式504具有更多統計類似性。
可證明，為允許LFNST，即為允許使用二次轉換，對於MIP 510，前述方式對於一些區塊形狀在寫碼效率方面可為有益的，但對於其他區塊形狀，其可能並不有益，從而意謂對於後者形狀，傳信LFNST是否將應用於MIP模式510中的區塊18的額外傳信成本平均高於藉由允許MIP模式510的LFNST轉換而獲得的增益。因此，在本發明之實施例中，LFNST與MIP 510之前述組合僅在此類組合原則上將可能的所有彼等區塊形狀之一子集上被允許。
圖17展示用於使用內預測解碼圖像之預定區塊(18)之方法6000，其包含：基於資料串流選擇(602)多個(600)內預測模式中之預定內預測模式(604)，該預定內預測模式包含包含DC內預測模式(506)及角預測模式(500)且視情況包含平面內預測模式(504)之內預測模式之一第一集合(508)以及基於矩陣之內預測模式(510)之一第二集合(520)，根據其中之各者，使用自該預定區塊之一鄰域中的參考樣本(17)導出的一向量(514)與相關聯於個別基於矩陣之內預測模式的預測矩陣(516)之間的矩陣向量乘積(512)來獲得預測向量(518)，基於該預測向量來預測該預定區塊之樣本。使用該預定內預測模式導出6100用於該預定區塊之預測信號(606)，且以取決於該預定內預測模式之一方式選擇(608)二次轉換之一集合(612)中的一或多個二次轉換之一子集(610)，以使得在該預定內預測模式含於內預測模式之該第一集合(508)中且該預定內預測模式含於基於矩陣之內預測模式(510)之該第二集合(520)中的情況下，該子集(610)為非空。方法6000包含在該預定內預測模式含於內預測模式之該第一集合(508)中的情況下且在該預定內預測模式含於基於矩陣之內預測模式(510)之該第二集合(520)中的情況下，經由藉由一次轉換(Tp)與應用於該一次轉換之係數(620)之一子集(622)上的二次轉換之該子集(610)中的預定二次轉換(Ts)之一串接界定的一轉換(T)自該資料串流導出(614)用於該預定區塊(18)之預測殘差之一經轉換版本(616)，該經轉換版本與該預定區塊之該預測殘差之一空間域版本(618)有關。另外，方法6000包含使用用於該預定區塊(18)之該預測信號及該預測殘差來重建構(624)該預定區塊。
圖18展示一種用於使用內預測解碼一圖像之一預定區塊(18)之方法7000，其包含選擇(602)多個(600)內預測模式中之一預定內預測模式(604)，該預定內預測模式包含包含DC內預測模式(506)及角預測模式(500)之內預測模式之第一集合(508)以及基於矩陣之內預測模式(510)之第二集合(520)，根據其中之各者，使用自該預定區塊之一鄰域中的參考樣本(17)導出的一向量(514)與相關聯於個別基於矩陣之內預測模式的預測矩陣(516)之間的矩陣向量乘積(512)來獲得預測向量(518)，基於該預測向量來預測該預定區塊之樣本。另外，方法7000包含：在資料串流中傳信7100預定內預測模式(604)；使用該預定內預測模式導出7200用於該預定區塊之預測信號(606)；以及以取決於該預定內預測模式之一方式選擇(608)二次轉換之一集合(612)中的一或多個二次轉換之一子集(610)，以使得在該預定內預測模式含於內預測模式之該第一集合(508)中且該預定內預測模式含於基於矩陣之內預測模式(510)之該第二集合(520)中的情況下，該子集(610)為非空。該方法包含在該預定內預測模式含於內預測模式之該第一集合(508)中的情況下且在該預定內預測模式含於基於矩陣之內預測模式(510)之該第二集合(520)中的情況下，經由藉由一次轉換(Tp)與應用於該一次轉換之係數(620)之一子集(622)上的二次轉換之子集(610)中的預定二次轉換(Ts)之一串接界定的一轉換(T)將用於該預定區塊(18)之預測殘差之經轉換版本(616)編碼(614)至該資料串流中，該經轉換版本與該預定區塊之該預測殘差之空間域版本(618)有關，其中該預定區塊可使用用於預定區塊(18)之預測信號及預測殘差而重建構(624)。參考文獻
[1] P. Helle et al., “Non-linear weighted intra prediction”, JVET-L0199, Macao, China, October 2018.
[2] F. Bossen, J. Boyce, K. Suehring, X. Li, V. Seregin, “JVET common test conditions and software reference configurations for SDR video”, JVET-K1010, Ljubljana, SI, July 2018.
其他實施例及實例
通常，實例可實施為具有程式指令之電腦程式產品，當電腦程式產品執行於電腦上時，程式指令操作性地用於執行該等方法中之一者。程式指令可例如儲存於機器可讀媒體上。
其他實例包含用於執行本文所描述之方法中之一者、儲存於機器可讀載體上之電腦程式。
換言之，方法之實例因此為電腦程式，其具有用於在電腦程式於電腦上執行時執行本文中所描述之方法中之一者的程式指令。
該方法之另一實例因此為資料載體媒體(或數位儲存媒體，或電腦可讀媒體)，其包含、上面記錄有用於執行本文中所描述之方法中之一者的電腦程式。資料載體媒體、數位儲存媒體或記錄媒體為有形及/或非瞬變的，而非無形及暫時性的信號。
因此，方法之另一實例為表示用於執行本文中所描述之方法中之一者的電腦程式之資料串流或信號之序列。該資料串流或信號序列可例如經由資料通訊連接，例如經由網際網路來傳送。
另一實例包含處理構件，例如電腦或可規劃邏輯裝置，其執行本文中所描述之方法中之一者。
另一實例包含電腦，該電腦具有安裝於其上的用於執行本文中所描述之方法中之一者的電腦程式。
另一實例包含將用於執行本文中所描述之方法中之一者的電腦程式傳送(例如以電子方式或以光學方式)至接收器之設備或系統。舉例而言，接收器可為電腦、行動裝置、記憶體裝置等等。設備或系統可(例如)包含用於傳送電腦程式至接收器之檔案伺服器。
在一些實例中，可規劃邏輯裝置(例如，場可規劃閘陣列)可用以執行本文中所描述之方法的功能性中之一些或全部。在一些實例中，場可規劃閘陣列可與微處理器協作，以便執行本文中所描述之方法中之一者。通常，該等方法可由任何適當的硬體設備執行。
上文所描述之實例僅說明上文所論述之原理。應理解，本文中所描述之配置及細節之修改及變化將為顯而易見的。因此，其意欲由接下來之申請專利範圍的範圍限制，而非由藉助於本文中實例之描述及解釋所呈現的特定細節限制。
即使出現於不同圖中，以下描述中仍藉由相等或等效附圖標記表示具有相等或等效功能性之相等或等效(若干)元件。
10:圖像
12:資料串流
14:編碼器
16:視訊
17:參考樣本
17a,17b,17c,18,524,526:區塊
17'a,17'b,17'c:部分
17M:映射矩陣
17P:第一向量
18a,18c:邊界
18Q:第二向量
19:ALWIP轉換
20:寫碼次序
22:減法器
24,606:預測信號
26:預測殘差信號
28:預測殘差編碼器
28a:有損編碼級
28b:無損編碼級
30:量化器
32:轉換級
34:經轉換且經量化預測殘差信號
36,36':預測殘差信號重建構級
38,38':反量化器
40,40':反轉換器
42,42':加法器
44,44':預測器
46,46':迴路內濾波器
54:解碼器
56:熵解碼器
100:平均化或減少取樣
102:樣本/經縮減樣本值集合
104:樣本值
106,107,109:方案
108,108',119:樣本
1103
,1104
,120:群組
112,118',118'':預定樣本
118:預測值
122:平均化
156:殘差提供器
400:樣本值向量x
402:另一向量
403:可逆線性轉換
404,407,512,520,1310:矩陣向量乘積
405:預定預測矩陣C
406,518:預測向量
408:另一偏移
409,514:向量
410:又一向量
414:權重
500:角內預測模式
502,510:內預測方向
504:非角內預測模式
506:DC模式
508,612:集合
516:預定預測矩陣
522:集合選擇性語法元素
528:最可能內預測模式之清單
530:次序
532:MPM語法元素
534,540:索引
534',534'',546,600,602:語法元素
536:另一清單索引
538:另一MPM語法元素
542:清單
544:清單次序
604:預定內預測模式
608:選擇
610,610angular1
,610angular2
,610DC1
,610DC2
,610matrix1
,610matrix2
,610matrix3
,610matrix4
,610planar1
,610planar2
,622:子集
611angular
:第二聯合
611DC
:第三聯合
611matrix
:第一聯合
611planar
:第四聯合
614,6100,7200:導出
616:預測殘差之經轉換版本
618:預測殘差之空間域版本
620:殘差轉換係數
623:非零轉換域區域
624:重建構
811,812,813:步驟
1100:矩陣A
1110:偏移b
1200:另一矩陣B
1300:整數矩陣
1400:預定值
1500:預定分量
6000,7000:方法
7100:傳信
圖式未必按比例繪製，實際上重點一般放在說明本發明之原理上。在以下描述中，參考以下圖式描述本發明之各種實施例，其中：
圖1展示編碼成資料串流之實施例；
圖2展示編碼器之實施例；
圖3展示圖像之重建構之實施例；
圖4展示解碼器之實施例；
圖5展示根據一實施例的用於編碼及/或解碼之區塊的預測之示意圖；
圖6展示根據一實施例的用於編碼及/或解碼之區塊的預測之矩陣運算；
圖7.1展示根據一實施例的具有經減小樣本值之區塊的預測；
圖7.2展示根據一實施例的使用樣本之內插的區塊之預測；
圖7.3展示根據一實施例之具有經減小樣本值向量之區塊的預測，其中僅平均化一些邊界樣本；
圖7.4展示根據一實施例的具有經減小樣本值向量之區塊的預測，其中平均化具有四個邊界樣本之群組；
圖8展示根據一實施例的由設備執行之矩陣運算；
圖9a至圖9c展示根據一實施例的由設備執行之詳細矩陣運算；
圖10展示根據一實施例的由設備使用偏移及縮放參數執行之詳細矩陣運算；
圖11展示根據不同實施例的由設備使用偏移及縮放參數執行之詳細矩陣運算；
圖12展示根據一實施例的使用最可能模式清單中的預測模式對預定區塊進行內預測之詳情的示意圖；
圖13展示根據一實施例的使用二次轉換解碼預定區塊之示意圖；
圖14展示根據一實施例的應用一次轉換及二次轉換之示意圖；
圖15展示根據一實施例的選擇二次轉換之一子集的示意圖；
圖16展示根據一實施例的具有非零轉換域區域的預定區塊的示意圖；
圖17展示根據一實施例的用於解碼預定區塊之方法之方塊圖；
圖18展示根據一實施例的用於編碼預定區塊之方法之方塊圖；以及
圖19a至圖19d展示資料串流之語法元素部分。
12:資料串流
17:參考樣本
18:區塊
500:角內預測模式
504:非角內預測模式
506:DC模式
508,612:集合
510:內預測方向
512,520:矩陣向量乘積
514:向量
516:預定預測矩陣
518:預測向量
600,602:語法元素
604:預定內預測模式
606:預測信號
608:選擇
610:子集
614:導出
616:預測殘差之經轉換版本
618:預測殘差之空間域版本
624:重建構
Claims (76)
- 一種用於使用內預測解碼圖像之預定區塊之設備，其經組配來進行下列動作： 基於資料串流選出多個內預測模式中之一預定內預測模式，該預定內預測模式包含有包含一DC內預測模式及角預測模式之內預測模式之一第一集合、以及基於矩陣之內預測模式之一第二集合，根據其中之各者，使用自該預定區塊之一鄰域中的參考樣本導出的一向量、與相關聯於個別的該基於矩陣之內預測模式的一預測矩陣之間的一矩陣向量乘積來獲得一預測向量，基於該預測向量來預測該預定區塊之樣本， 使用該預定內預測模式導出用於該預定區塊之一預測信號， 以取決於該預定內預測模式之一方式選出二次轉換之一集合中的一或多個二次轉換之一子集，以使得在該預定內預測模式含於內預測模式之該第一集合中、且該預定內預測模式含於基於矩陣之內預測模式之該第二集合中的情況下，該子集為非空， 在該預定內預測模式含於內預測模式之該第一集合中的情況下、且在該預定內預測模式含於基於矩陣之內預測模式之該第二集合中的情況下，經由藉由一個一次轉換(Tp)、與應用於該一次轉換之係數之一子集上的二次轉換之該子集中的一預定二次轉換(Ts)之一串接界定的一轉換(T)自該資料串流導出用於該預定區塊之一預測殘差之一經轉換版本，該經轉換版本與該預定區塊之該預測殘差之一空間域版本有關， 使用用於該預定區塊之該預測信號及該預測殘差來重建構該預定區塊。
- 如請求項1之設備，其經組配而以取決於該預定內預測模式之一方式選出二次轉換之一集合中的一或多個二次轉換之一子集，以使得二次轉換之該集合中之各二次轉換含於選定用於該第一集合及該第二集合內的該等內預測模式中的至少一者的一或多個二次轉換之該子集中。
- 如請求項1或2之設備，其經組配而以取決於該預定內預測模式之一方式選出二次轉換之一集合中的一或多個二次轉換之一子集，以使得選定用於該第一集合內不屬於該等角預測模式的至少一個內預測模式的二次轉換之一子集含有選定用於任何基於矩陣之內預測模式的各二次轉換子集中的各二次轉換。
- 如請求項1至3中任一項之設備，其經組配而以取決於該預定內預測模式之一方式選出二次轉換之一集合中的一或多個二次轉換之一子集，以使得選定用於該等基於矩陣之內預測模式的二次轉換之子集之一第一聯合與選定用於所有角內預測模式的二次轉換之子集之一第二聯合之間的一交叉點為空。
- 如請求項1至4中任一項之設備，其經組配來進行下列動作： 若一或多個二次轉換之該子集含有多於一個二次轉換，則取決於在用於該預定區塊的該資料串流中傳輸的一個二次轉換指示語法元素來選出一或多個二次轉換之該子集中的該預定二次轉換(Ts)。
- 如請求項1至5中任一項之設備，其經組配來進行下列動作： 若該預定區塊之尺寸滿足一預定準則，則推斷該轉換為該一次轉換，經由該轉換，用於該預定區塊之一預測殘差之該經轉換版本與該預定區塊之該預測殘差之該空間域版本有關，其中該設備致使基於矩陣之內預測模式之該第二集合可用於選擇該預定內預測模式，而無關於該預定區塊之該等尺寸是否滿足該預定準則。
- 如請求項6之設備，其中 若該等尺寸降至低於一預定臨限值，則滿足該預定準則。
- 如請求項1至7中任一項之設備，其經組配來進行下列動作： 讀取在用於個別的該預定區塊的該資料串流中傳輸的一非零區指示，其指出該經轉換版本內的一非零轉換域區域，其中所有非零係數排他性地位於該非零轉換域區域中，且解碼來自該資料串流的該非零轉換域區域內的該等係數， 取決於該非零轉換域區域之一擴展及/或位置滿足一第一預定準則及/或該非零轉換域區域內的非零係數之一數目滿足一第二預定準則而推斷該轉換為該一次轉換，經由該轉換，用於該預定區塊之一預測殘差之該經轉換版本與該預定區塊之該預測殘差之該空間域版本有關。
- 如請求項8之設備，其中該第一預定準則使得在以下情況下滿足該第一預定準則： 該非零轉換域區域不排他性地覆蓋該一次轉換之係數之該子集，該二次轉換藉由該串接應用於該子集。
- 如請求項8或9之設備，其中該第二預定準則使得在以下情況下滿足該第二預定準則： 該非零轉換域區域內的非零係數之該數目降至低於一預定臨限值。
- 如請求項1至10中任一項之設備，其中該一次轉換為一可分離2D轉換，且該二次轉換為一不可分離2d轉換。
- 如請求項1至11中任一項之設備，其經組配來進行下列動作： 自該資料串流導出指出是否使用包含一DC內預測模式及角預測模式之內預測模式之該第一集合中之一個內預測模式來預測該預定區塊之一集合選擇性語法元素， 若該集合選擇性語法元素指出將使用內預測模式之該第一集合中之一個內預測模式來預測該預定區塊，則 基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能內預測模式之一清單， 自該資料串流導出在最可能內預測模式之該清單中指向該預定內預測模式之一MPM清單索引， 若該集合選擇性語法元素指出將不使用內預測模式之該第一集合中之一個內預測模式來預測該預定區塊，則 自該資料串流導出指出基於矩陣之內預測模式之該第二集合中的該預定內預測模式之另一索引。
- 如請求項12之設備，其經組配來進行下列動作： 若該集合選擇性語法元素指出將使用內預測模式之該第一集合中之一個內預測模式來預測該預定區塊，則 自該資料串流導出指出內預測模式之該第一集合中之該預定內預測模式是否在最可能內預測模式之該清單內的一MPM語法元素， 若該MPM語法元素指出內預測模式之該第一集合之該預定內預測模式在最可能內預測模式之該清單內，則執行 基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能內預測模式之該清單， 自該資料串流導出指向最可能內預測模式之該清單中之一預定內預測模式的該MPM清單索引， 若來自該資料串流之該MPM語法元素指出內預測模式之該第一集合中之該預定內預測模式並不在最可能內預測模式之該清單內，則 自該資料串流導出指出內預測模式之該第一集合中之該預定內預測模式之另一清單索引。
- 如請求項1或13之設備，其經組配來進行下列動作： 若該集合選擇性語法元素指出將不使用內預測模式之該第一集合中之一個內預測模式來預測該預定區塊，則 自該資料串流導出指出基於矩陣之內預測模式之該第二集合中之預定基於矩陣之內預測模式是否在最可能的基於矩陣之內預測模式之一清單內的另一MPM語法元素， 若該另一MPM語法元素指出基於矩陣之內預測模式之該第二集合中之該預定基於矩陣之內預測模式在最可能的基於矩陣之內預測模式之一清單內，則 基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能的基於矩陣之內預測模式之該清單， 自該資料串流導出在最可能的基於矩陣之內預測模式之該清單中指向該預定的基於矩陣之內預測模式之另一MPM清單索引， 若該另一MPM語法元素指出基於矩陣之內預測模式之該第二集合中之該預定基於矩陣之內預測模式不在最可能的基於矩陣之內預測模式之一清單內，則 自該資料串流導出指出基於矩陣之內預測模式之該第二集合中之該預定的基於矩陣之內預測模式之又一清單索引。
- 如請求項13或14之設備，其經組配以執行基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能內預測模式之該清單，使得 僅在以下情況下以該DC內預測模式填充該清單：對於該等相鄰區塊中之各者，將使用包含該DC內預測模式的該第一集合內之至少一個非角內預測模式中之任一者預測、或使用基於矩陣之內預測模式中之任一者(其藉助於自基於矩陣之內預測模式之該第二集合至該第一集合內之該等內預測模式之一映射而用於形成最可能內預測模式之該清單)預測的個別的該相鄰區塊映射至該至少一個非角內預測模式中之任一者。
- 如請求項13至15中任一項之設備，其經組配以執行基於在預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能內預測模式之該清單，使得在以下情況下，對於該等相鄰區塊中之各者，將使用包含該DC內預測模式的該第一集合內之至少一個非角內預測模式中之任一者預測或使用基於矩陣之內預測模式中之任一者(其藉助於自基於矩陣之內預測模式之該第二集合至該第一集合內之該等內預測模式之一映射用於形成最可能內預測模式之該清單)預測的個別的該相鄰區塊映射至該至少一個非角內預測模式中之任一者， 該DC內預測模式定位在最可能內預測模式之該清單中之任一角內預測模式之前。
- 如請求項1至16中任一項之設備，其中內預測模式之該第一集合進一步包含一平面內預測模式。
- 如請求項13或14之設備，其經組配以執行基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能內預測模式之該清單，使得 以獨立於預測該等相鄰區塊所使用之該等內預測模式之一方式以該平面內預測模式填充該清單。
- 如請求項18之設備，其經組配以執行基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能內預測模式之該清單，使得 獨立於預測該等相鄰區塊所使用之該等內預測模式將該平面內預測模式定位於最可能內預測模式之該清單中之一第一位置處。
- 如請求項1至19中任一項之設備，其經組配來進行下列動作： 自該多個參考樣本形成一樣本值向量， 自該樣本值向量導出該向量，使得藉由一預定可逆線性轉換將該樣本值向量映射至該向量。
- 如請求項20之設備，其中該可逆線性轉換經界定而使得 該向量之一預定分量變為a，且 該向量之除了該預定分量之外的其他分量中之各者等於該樣本值向量之一對應分量減去a， 其中a為一預定值。
- 如請求項21之設備，其中該預定值為以下中之一者 該樣本值向量之分量之一平均值，諸如一算術均值或加權平均值， 一預設值， 在該圖像經寫碼成之一資料串流中傳信之一值，及 該樣本值向量之對應於該預定分量的一分量。
- 如請求項20之設備，其中該可逆線性轉換經界定而使得 該向量之一預定分量變為a，且 該向量之除了該預定分量之外的其他分量中之各者等於該樣本值向量之一對應分量減去a， 其中a為該樣本值向量之分量之一算術均值。
- 如請求項20之設備，其中該可逆線性轉換經界定而使得 該向量之一預定分量變為a，且 該向量之除了該預定分量之外的其他分量中之各者等於該樣本值向量之一對應分量減去a， 其中a為該樣本值向量之對應於該預定分量的一分量， 其中該設備經組配來進行下列動作： 包含多個可逆線性轉換，其中之各者與該向量之一個分量相關聯， 在該樣本值向量之該等分量中選出該預定分量，及 使用該多個可逆線性轉換中與該預定分量相關聯之該可逆線性轉換作為該預定可逆線性轉換。
- 如請求項21至24中任一項之設備，其中該預測矩陣中對應於該向量之該預定分量之一行內的該預測矩陣之矩陣分量均為零，且該設備經組配來進行下列動作： 藉由計算由該預測矩陣藉由去掉該行得出之一經縮減預測矩陣與由該向量藉由去掉該預定分量得出之另一向量之間的一矩陣向量乘積執行乘法而計算該矩陣向量乘積。
- 如請求項21至25中任一項之設備，其經組配以在基於該預測向量預測該預定區塊之該等樣本時， 針對該預測向量之各分量計算個別分量與a之一總和。
- 如請求項21至26中任一項之設備，其中藉由對該預測矩陣中對應於該向量之該預定分量之一行內的該預測矩陣之各矩陣分量與一進行求和乘以該可逆線性轉換而得出之一矩陣對應於一機器學習預測矩陣之一經量化版本。
- 如請求項20至27中任一項之設備，其經組配來進行下列動作： 藉由針對該樣本值向量之各分量進行以下操作而自該多個參考樣本形成該樣本值向量， 採用該多個參考樣本中之一個參考樣本作為該樣本值向量之個別的該分量，及/或 對該樣本值向量之二個或多於二個分量進行平均化以獲得該樣本值向量之個別的該分量。
- 如請求項1至28中任一項之設備，其中該多個參考樣本在該圖像內沿著該預定區塊之一外邊緣配置。
- 如請求項1至29中任一項之設備，其經組配以使用定點算術運算計算該矩陣向量乘積。
- 如請求項1至30中任一項之設備，其經組配以在不進行浮點算術運算的情況下計算該矩陣向量乘積。
- 如請求項1至31中任一項之設備，其經組配以儲存該預測矩陣之一定點數表示。
- 如請求項21至32中任一項之設備，其經組配以使用預測參數表示該預測矩陣且藉由對該向量之該等分量及該等預測參數以及自其產生之中間結果執行乘法及求和而計算該矩陣向量乘積，其中該等預測參數之絕對值可由一n位元定點數表示來表示，其中n等於或低於14，或替代地等於或低於10，或替代地等於或低於8。
- 如請求項33之設備，其中該等預測參數包含 權重，其中之各者與該預測矩陣之一對應矩陣分量相關聯。
- 如請求項34之設備，其中該等預測參數進一步包含 一或多個縮放因數，其中之各者與該預測矩陣之一或多個對應矩陣分量相關聯以用於縮放與該預測矩陣之該一或多個對應矩陣分量相關聯之該權重，及/或 一或多個偏移，其中之各者與該預測矩陣之一或多個對應矩陣分量相關聯以用於使與該預測矩陣之該一或多個對應矩陣分量相關聯之該權重偏移。
- 如請求項1至35中任一項之設備，其經組配以在基於該預測向量預測該預定區塊之該等樣本時， 使用內插來基於該預測向量計算該預定區塊之至少一個樣本位置，該預測向量之各分量與該預定區塊內之一對應位置相關聯。
- 一種用於使用內預測編碼圖像之預定區塊之設備，其經組配來進行下列動作： 選出多個內預測模式中之一預定內預測模式，該預定內預測模式包含有包含一DC內預測模式及角預測模式之內預測模式之一第一集合、以及基於矩陣之內預測模式之一第二集合，根據其中之各者，使用自該預定區塊之一鄰域中的參考樣本導出的一向量、與相關聯於個別的該基於矩陣之內預測模式的一預測矩陣之間的一矩陣向量乘積來獲得一預測向量，基於該預測向量來預測該預定區塊之樣本， 在該資料串流中傳信該預定內預測模式； 使用該預定內預測模式導出用於該預定區塊之一預測信號， 以取決於該預定內預測模式之一方式選出二次轉換之一集合中的一或多個二次轉換之一子集，以使得在該預定內預測模式含於內預測模式之該第一集合中且該預定內預測模式含於基於矩陣之內預測模式之該第二集合中的情況下，該子集為非空， 在該預定內預測模式含於內預測模式之該第一集合中的情況下且在該預定內預測模式含於基於矩陣之內預測模式之該第二集合中的情況下，經由藉由一個一次轉換(Tp)、與應用於該一次轉換之係數之一子集上的二次轉換之該子集中的一預定二次轉換(Ts)之一串接界定的一轉換(T)將用於該預定區塊之一預測殘差之一經轉換版本編碼至該資料串流中，該經轉換版本與該預定區塊之該預測殘差之一空間域版本有關， 其中該預定區塊可使用用於該預定區塊之該預測信號及該預測殘差來重建構。
- 如請求項37之設備，其經組配而以取決於該預定內預測模式之一方式選出二次轉換之一集合中的一或多個二次轉換之一子集，以使得二次轉換之該集合中之各二次轉換含於選定用於該第一集合及該第二集合內的該等內預測模式中的至少一者的一或多個二次轉換之該子集中。
- 如請求項37或38之設備，其經組配而以取決於該預定內預測模式之一方式選出二次轉換之一集合中的一或多個二次轉換之一子集，以使得選定用於該第一集合內不屬於該等角預測模式的至少一個內預測模式的二次轉換之一子集含有選定用於任何基於矩陣之內預測模式的各二次轉換子集中的各二次轉換。
- 如請求項37至39中任一項之設備，其經組配而以取決於該預定內預測模式之一方式選出二次轉換之一集合中的一或多個二次轉換之一子集，以使得選定用於該等基於矩陣之內預測模式的二次轉換之子集之一第一聯合與選定用於所有角內預測模式的二次轉換之子集之一第二聯合之間的一交叉點為空。
- 如請求項37至40中任一項之設備，其經組配來進行下列動作： 若一或多個二次轉換之該子集含有多於一個二次轉換，則取決於在用於該預定區塊的該資料串流中傳輸的一個二次轉換指示語法元素來選出一或多個二次轉換之該子集中的該預定二次轉換(Ts)。
- 如請求項37至41中任一項之設備，其經組配而使得 若該預定區塊之尺寸滿足一預定準則，則推斷該轉換為該一次轉換，經由該轉換，用於該預定區塊之一預測殘差之該經轉換版本與該預定區塊之該預測殘差之該空間域版本有關，其中該設備致使基於矩陣之內預測模式之該第二集合可用於選擇該預定內預測模式，而無關於該預定區塊之該等尺寸是否滿足該預定準則。
- 如請求項42之設備，其中 若該等尺寸降至低於一預定臨限值，則滿足該預定準則。
- 如請求項37至43中任一項之設備，其經組配來進行下列動作： 在用於個別的該預定區塊之該資料串流中傳輸指出該經轉換版本內的一非零轉換域區域的一非零區指示，所有非零係數排他性地位於該非零轉換域區域中，且將該非零轉換域區域內的該等係數編碼至該資料串流中， 其中取決於該非零轉換域區域之一擴展及/或位置滿足一第一預定準則及/或該非零轉換域區域內的非零係數之一數目滿足一第二預定準則而推斷該轉換為該一次轉換，經由該轉換，用於該預定區塊之一預測殘差之該經轉換版本與該預定區塊之該預測殘差之該空間域版本有關。
- 如請求項44之設備，其中該第一預定準則使得在以下情況下滿足該第一預定準則： 該非零轉換域區域不排他性地覆蓋該一次轉換之係數之該子集，該二次轉換藉由該串接應用於該子集。
- 如請求項44或45之設備，其中該第二預定準則使得在以下情況下滿足該第二預定準則： 該非零轉換域區域內的非零係數之該數目降至低於一預定臨限值。
- 如請求項37至46中任一項之設備，其中該一次轉換為一可分離2D轉換，且該二次轉換為一不可分離2d轉換。
- 如請求項37至47中任一項之設備，其經組配來進行下列動作： 在該資料串流中傳信指出是否使用包含一DC內預測模式及角預測模式之內預測模式之該第一集合中之一個內預測模式來預測該預定區塊之一集合選擇性語法元素， 若該集合選擇性語法元素指出將使用內預測模式之該第一集合中之一個內預測模式來預測該預定區塊，則 基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能內預測模式之一清單， 在該資料串流中傳信在最可能內預測模式之該清單中指向該預定內預測模式之一MPM清單索引， 若該集合選擇性語法元素指出將不使用內預測模式之該第一集合中之一個內預測模式來預測該預定區塊，則 在該資料串流中傳信指出基於矩陣之內預測模式之該第二集合中的該預定內預測模式之另一索引。
- 如請求項48之設備，其經組配來進行下列動作： 若該集合選擇性語法元素指出將使用內預測模式之該第一集合中之一個內預測模式來預測該預定區塊，則 在該資料串流中傳信指出內預測模式之該第一集合中之該預定內預測模式是否在最可能內預測模式之該清單內的一MPM語法元素， 若該MPM語法元素指出內預測模式之該第一集合之該預定內預測模式在最可能內預測模式之該清單內，則執行 基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能內預測模式之該清單， 在該資料串流中傳信指向最可能內預測模式之該清單中的一預定內預測模式之該MPM清單索引， 若來自該資料串流之該MPM語法元素指出內預測模式之該第一集合中之該預定內預測模式並不在最可能內預測模式之該清單內，則 在該資料串流中傳信指出內預測模式之該第一集合中的該預定內預測模式之另一清單索引。
- 如請求項37或49之設備，其經組配來進行下列動作： 若該集合選擇性語法元素指出將不使用內預測模式之該第一集合中之一個內預測模式來預測該預定區塊，則 在該資料串流中傳信指出基於矩陣之內預測模式之該第二集合中之預定基於矩陣之內預測模式是否在最可能基於矩陣之內預測模式之一清單內的另一MPM語法元素， 若該另一MPM語法元素指出基於矩陣之內預測模式之該第二集合中之該預定基於矩陣之內預測模式在最可能的基於矩陣之內預測模式之一清單內，則 基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能的基於矩陣之內預測模式之該清單， 在該資料串流中傳信在最可能基於矩陣之內預測模式之該清單中指向該預定基於矩陣之內預測模式之另一MPM清單索引， 若該另一MPM語法元素指出基於矩陣之內預測模式之該第二集合中之該預定基於矩陣之內預測模式不在最可能的基於矩陣之內預測模式之一清單內，則 在該資料串流中傳信指出基於矩陣之內預測模式之該第二集合中的該預定基於矩陣之內預測模式的又一清單索引。
- 如請求項49或50之設備，其經組配以執行基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能內預測模式之該清單，使得 僅在以下情況下以該DC內預測模式填充該清單：對於該等相鄰區塊中之各者，將使用包含該DC內預測模式的該第一集合內之至少一個非角內預測模式中之任一者預測或使用基於矩陣之內預測模式中之任一者(其藉助於自基於矩陣之內預測模式之該第二集合至該第一集合內之該等內預測模式之一映射而用於形成最可能內預測模式之該清單)預測的個別的該相鄰區塊映射至該至少一個非角內預測模式中之任一者。
- 如請求項49至51中任一項之設備，其經組配以執行基於在預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能內預測模式之該清單，使得在以下情況下，對於該等相鄰區塊中之各者，將使用包含該DC內預測模式的該第一集合內之至少一個非角內預測模式中之任一者預測或使用基於矩陣之內預測模式中之任一者(其藉助於自基於矩陣之內預測模式之該第二集合至該第一集合內之該等內預測模式之一映射用於形成最可能內預測模式之該清單)預測的個別的該相鄰區塊映射至該至少一個非角內預測模式中之任一者， 該DC內預測模式定位在最可能內預測模式之該清單中之任一角內預測模式之前。
- 如請求項37至52中任一項之設備，其中內預測模式之該第一集合進一步包含一平面內預測模式。
- 如請求項49或50之設備，其經組配以執行基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能內預測模式之該清單，使得 以獨立於預測該等相鄰區塊所使用之該等內預測模式之一方式以該平面內預測模式填充該清單。
- 如請求項54之設備，其經組配以執行基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能內預測模式之該清單，使得 獨立於預測該等相鄰區塊所使用之該等內預測模式將該平面內預測模式定位於最可能內預測模式之該清單中之一第一位置處。
- 如請求項37至55中任一項之設備，其經組配來進行下列動作： 自該多個參考樣本形成一樣本值向量， 自該樣本值向量導出該向量，使得藉由一預定可逆線性轉換將該樣本值向量映射至該向量。
- 如請求項56之設備，其中該可逆線性轉換經界定而使得 該向量之一預定分量變為a，且 該向量之除了該預定分量之外的其他分量中之各者等於該樣本值向量之一對應分量減去a， 其中a為一預定值。
- 如請求項57之設備，其中該預定值為以下中之一者 該樣本值向量之分量之一平均值，諸如一算術均值或加權平均值， 一預設值， 在該圖像經寫碼成之一資料串流中傳信之一值，及 該樣本值向量之對應於該預定分量的一分量。
- 如請求項56之設備，其中該可逆線性轉換經界定而使得 該向量之一預定分量變為a，且 該向量之除了該預定分量之外的其他分量中之各者等於該樣本值向量之一對應分量減去a， 其中a為該樣本值向量之分量之一算術均值。
- 如請求項56之設備，其中該可逆線性轉換經界定而使得 該向量之一預定分量變為a，且 該向量之除了該預定分量之外的其他分量中之各者等於該樣本值向量之一對應分量減去a， 其中a為該樣本值向量之對應於該預定分量的一分量， 其中該設備經組配來進行下列動作： 包含多個可逆線性轉換，其中之各者與該向量之一個分量相關聯， 在該樣本值向量之該等分量中選出該預定分量，及 使用該多個可逆線性轉換中與該預定分量相關聯之該可逆線性轉換作為該預定可逆線性轉換。
- 如請求項57至60中任一項之設備，其中該預測矩陣中對應於該向量之該預定分量之一行內的該預測矩陣之矩陣分量均為零，且該設備經組配來進行下列動作： 藉由計算由該預測矩陣藉由去掉該行得出之一經縮減預測矩陣與由該向量藉由去掉該預定分量得出之另一向量之間的一矩陣向量乘積執行乘法而計算該矩陣向量乘積。
- 如請求項57至61中任一項之設備，其經組配以在基於該預測向量預測該預定區塊之該等樣本時， 針對該預測向量之各分量計算個別分量與a之一總和。
- 如請求項57至62中任一項之設備，其中藉由對該預測矩陣中對應於該向量之該預定分量之一行內的該預測矩陣之各矩陣分量與一進行求和乘以該可逆線性轉換而得出之一矩陣對應於一機器學習預測矩陣之一經量化版本。
- 如請求項56至63中任一項之設備，其經組配來進行下列動作： 藉由針對該樣本值向量之各分量進行以下操作而自該多個參考樣本形成該樣本值向量， 採用該多個參考樣本中之一個參考樣本作為該樣本值向量之個別的該分量，及/或 對該樣本值向量之二個或多於二個分量進行平均化以獲得該樣本值向量之個別的該分量。
- 如請求項37至64中任一項之設備，其中該多個參考樣本在該圖像內沿著該預定區塊之一外邊緣配置。
- 如請求項37至65中任一項之設備，其經組配以使用定點算術運算計算該矩陣向量乘積。
- 如請求項37至66中任一項之設備，其經組配以在不進行浮點算術運算的情況下計算該矩陣向量乘積。
- 如請求項37至67中任一項之設備，其經組配以儲存該預測矩陣之一定點數表示。
- 如請求項57至68中任一項之設備，其經組配以使用預測參數表示該預測矩陣且藉由對該向量之該等分量及該等預測參數以及自其產生之中間結果執行乘法及求和而計算該矩陣向量乘積，其中該等預測參數之絕對值可由一n位元定點數表示來表示，其中n等於或低於14，或替代地等於或低於10，或替代地等於或低於8。
- 如請求項69之設備，其中該等預測參數包含 權重，其中之各者與該預測矩陣之一對應矩陣分量相關聯。
- 如請求項70之設備，其中該等預測參數進一步包含 一或多個縮放因數，其中之各者與該預測矩陣之一或多個對應矩陣分量相關聯以用於縮放與該預測矩陣之該一或多個對應矩陣分量相關聯之該權重，及/或 一或多個偏移，其中之各者與該預測矩陣之一或多個對應矩陣分量相關聯以用於使與該預測矩陣之該一或多個對應矩陣分量相關聯之該權重偏移。
- 如請求項37至71中任一項之設備，其經組配以在基於該預測向量預測該預定區塊之該等樣本時， 使用內插來基於該預測向量計算該預定區塊之至少一個樣本位置，該預測向量之各分量與該預定區塊內之一對應位置相關聯。
- 一種用於使用內預測解碼圖像之預定區塊之方法，其包含： 基於資料串流選出多個內預測模式中之一預定內預測模式，該預定內預測模式包含有包含一DC內預測模式及角預測模式之內預測模式之一第一集合、以及基於矩陣之內預測模式之一第二集合，根據其中之各者，使用自該預定區塊之一鄰域中的參考樣本導出的一向量、與相關聯於個別的該基於矩陣之內預測模式的一預測矩陣之間的一矩陣向量乘積來獲得一預測向量，基於該預測向量來預測該預定區塊之樣本， 使用該預定內預測模式導出用於該預定區塊之一預測信號， 以取決於該預定內預測模式之一方式選出二次轉換之一集合中的一或多個二次轉換之一子集，以使得在該預定內預測模式含於內預測模式之該第一集合中且該預定內預測模式含於基於矩陣之內預測模式之該第二集合中的情況下，該子集為非空， 在該預定內預測模式含於內預測模式之該第一集合中的情況下且在該預定內預測模式含於基於矩陣之內預測模式之該第二集合中的情況下，經由藉由一個一次轉換(Tp)、與應用於該一次轉換之係數之一子集上的二次轉換之該子集中的一預定二次轉換(Ts)之一串接界定的一轉換(T)自該資料串流導出用於該預定區塊之一預測殘差之一經轉換版本，該經轉換版本與該預定區塊之該預測殘差之一空間域版本有關， 使用用於該預定區塊之該預測信號及該預測殘差來重建構該預定區塊。
- 一種用於使用內預測編碼圖像之預定區塊之方法，其包含： 選出多個內預測模式中之一預定內預測模式，該預定內預測模式包含有包含一DC內預測模式及角預測模式之內預測模式之一第一集合、以及基於矩陣之內預測模式之一第二集合，根據其中之各者，使用自該預定區塊之一鄰域中的參考樣本導出的一向量、與相關聯於個別的該基於矩陣之內預測模式的一預測矩陣之間的一矩陣向量乘積來獲得一預測向量，基於該預測向量來預測該預定區塊之樣本， 在該資料串流中傳信該預定內預測模式； 使用該預定內預測模式導出用於該預定區塊之一預測信號， 以取決於該預定內預測模式之一方式選出二次轉換之一集合中的一或多個二次轉換之一子集，以使得在該預定內預測模式含於內預測模式之該第一集合中且該預定內預測模式含於基於矩陣之內預測模式之該第二集合中的情況下，該子集為非空， 在該預定內預測模式含於內預測模式之該第一集合中的情況下且在該預定內預測模式含於基於矩陣之內預測模式之該第二集合中的情況下，經由藉由一個一次轉換(Tp)、與應用於該一次轉換之係數之一子集上的二次轉換之該子集中的一預定二次轉換(Ts)之一串接界定的一轉換(T)將用於該預定區塊之一預測殘差之一經轉換版本編碼至該資料串流中，該經轉換版本與該預定區塊之該預測殘差之一空間域版本有關， 其中該預定區塊可使用用於該預定區塊之該預測信號及該預測殘差來重建構。
- 一種資料串流，其具有使用如請求項74之方法編碼成該資料串流之一圖像。
- 一種具有一程式碼之電腦程式，當該程式碼在一電腦上執行時用以執行如請求項37至74中任一項之方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP19182423.4 | 2019-06-25 | ||
| EP19182423 | 2019-06-25 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202106003A true TW202106003A (zh) | 2021-02-01 |
| TWI800739B TWI800739B (zh) | 2023-05-01 |
Family
ID=67070686
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109121661A TWI800739B (zh) | 2019-06-25 | 2020-06-24 | 使用基於矩陣之內預測及二次轉換之寫碼技術 |
| TW112111326A TW202402050A (zh) | 2019-06-25 | 2020-06-24 | 使用基於矩陣之內預測及二次轉換之寫碼技術 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW112111326A TW202402050A (zh) | 2019-06-25 | 2020-06-24 | 使用基於矩陣之內預測及二次轉換之寫碼技術 |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US20220116606A1 (zh) |
| EP (1) | EP3991406A1 (zh) |
| JP (2) | JP7477538B2 (zh) |
| KR (1) | KR20220036935A (zh) |
| CN (1) | CN114073081A (zh) |
| BR (1) | BR112021026284A2 (zh) |
| MX (1) | MX2022000034A (zh) |
| TW (2) | TWI800739B (zh) |
| WO (1) | WO2020260248A1 (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3967037A1 (en) | 2019-05-10 | 2022-03-16 | FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. | Matrix-based intra prediction |
| EP3973700A4 (en) * | 2019-06-28 | 2023-06-14 | HFI Innovation Inc. | MATRIX METHOD AND APPARATUS BASED ON INTRA PREDICTION IN IMAGE AND VIDEO PROCESSING |
| CN119402667A (zh) * | 2019-07-07 | 2025-02-07 | Oppo广东移动通信有限公司 | 图像预测方法、编码器、解码器以及存储介质 |
| CN114270839B (zh) * | 2019-07-12 | 2023-12-12 | Lg电子株式会社 | 基于变换对图像进行编码的方法和设备 |
| KR20220038127A (ko) * | 2019-08-22 | 2022-03-25 | 엘지전자 주식회사 | 매트릭스 기반 인트라 예측 장치 및 방법 |
| US11616983B2 (en) | 2020-05-05 | 2023-03-28 | Tencent America LLC | Joint component secondary transform |
| US11310529B2 (en) * | 2020-05-27 | 2022-04-19 | Tencent America LLC | Mode-dependent joint component transform |
| WO2023177810A1 (en) * | 2022-03-16 | 2023-09-21 | Beijing Dajia Internet Information Technology Co., Ltd. | Intra prediction for video coding |
| CN119013989A (zh) * | 2022-04-12 | 2024-11-22 | Oppo广东移动通信有限公司 | 解码方法、编码方法、解码器以及编码器 |
| WO2024083238A1 (en) * | 2022-10-21 | 2024-04-25 | Mediatek Inc. | Method and apparatus of matrix weighted intra prediction in video coding system |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160373770A1 (en) * | 2015-06-18 | 2016-12-22 | Qualcomm Incorporated | Intra prediction and intra mode coding |
| JP2020109884A (ja) * | 2017-04-28 | 2020-07-16 | シャープ株式会社 | 動画像符号化装置及び動画像復号装置 |
| JP7214846B2 (ja) * | 2019-04-16 | 2023-01-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
| WO2020211765A1 (en) | 2019-04-17 | 2020-10-22 | Huawei Technologies Co., Ltd. | An encoder, a decoder and corresponding methods harmonzting matrix-based intra prediction and secoundary transform core selection |
| JP7256296B2 (ja) | 2019-05-08 | 2023-04-11 | エルジー エレクトロニクス インコーポレイティド | Ｍｉｐ及びｌｆｎｓｔを行う画像符号化／復号化方法、装置、及びビットストリームを伝送する方法 |
-
2020
- 2020-06-23 JP JP2021577085A patent/JP7477538B2/ja active Active
- 2020-06-23 EP EP20733464.0A patent/EP3991406A1/en active Pending
- 2020-06-23 MX MX2022000034A patent/MX2022000034A/es unknown
- 2020-06-23 WO PCT/EP2020/067446 patent/WO2020260248A1/en unknown
- 2020-06-23 CN CN202080049521.XA patent/CN114073081A/zh active Pending
- 2020-06-23 KR KR1020227000601A patent/KR20220036935A/ko active Pending
- 2020-06-23 BR BR112021026284A patent/BR112021026284A2/pt unknown
- 2020-06-24 TW TW109121661A patent/TWI800739B/zh active
- 2020-06-24 TW TW112111326A patent/TW202402050A/zh unknown
-
2021
- 2021-12-22 US US17/559,559 patent/US20220116606A1/en active Pending
-
2024
- 2024-04-18 JP JP2024067724A patent/JP2024095831A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20220116606A1 (en) | 2022-04-14 |
| WO2020260248A1 (en) | 2020-12-30 |
| BR112021026284A2 (pt) | 2022-03-03 |
| MX2022000034A (es) | 2022-04-06 |
| KR20220036935A (ko) | 2022-03-23 |
| JP7477538B2 (ja) | 2024-05-01 |
| JP2024095831A (ja) | 2024-07-10 |
| TW202402050A (zh) | 2024-01-01 |
| CN114073081A (zh) | 2022-02-18 |
| JP2022538853A (ja) | 2022-09-06 |
| TWI800739B (zh) | 2023-05-01 |
| EP3991406A1 (en) | 2022-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI815272B (zh) | 使用具有鄰近取樣縮減的線性或仿射變換的內預測 | |
| TW202106003A (zh) | 使用基於矩陣之內預測及二次轉換之寫碼技術 | |
| TWI816439B (zh) | 以區塊為基礎之預測技術 | |
| CN114286109B (zh) | 图像编码系统中基于帧内预测执行图像解码的方法和设备 | |
| TWI727826B (zh) | 使用內預測之寫碼技術 | |
| WO2012087034A2 (ko) | 화면 내 예측 방법 및 이러한 방법을 사용하는 장치 | |
| KR20190029732A (ko) | 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 | |
| US20210266527A1 (en) | Video signal processing method and device using reference sample | |
| JP2024153921A (ja) | ４：４：４のクロマフォーマット及びシングルツリーの場合のすべてのチャネルに対するｍｉｐ | |
| CN113475071B (zh) | 使用具有邻近样本缩减的线性或者仿射变换的内预测 | |
| CN117652143A (zh) | 用于设计低频不可分离变换的方法和装置 |