[go: up one dir, main page]

KR102698314B1 - 업샘플링을 이용한 행렬 기반 인트라 예측 - Google Patents

업샘플링을 이용한 행렬 기반 인트라 예측 Download PDF

Info

Publication number
KR102698314B1
KR102698314B1 KR1020217037023A KR20217037023A KR102698314B1 KR 102698314 B1 KR102698314 B1 KR 102698314B1 KR 1020217037023 A KR1020217037023 A KR 1020217037023A KR 20217037023 A KR20217037023 A KR 20217037023A KR 102698314 B1 KR102698314 B1 KR 102698314B1
Authority
KR
South Korea
Prior art keywords
block
video
alwip
video block
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020217037023A
Other languages
English (en)
Other versions
KR20220011127A (ko
Inventor
즈핀 덩
카이 장
리 장
훙빈 류
지정 쉬
Original Assignee
베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드
바이트댄스 아이엔씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드, 바이트댄스 아이엔씨 filed Critical 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드
Publication of KR20220011127A publication Critical patent/KR20220011127A/ko
Application granted granted Critical
Publication of KR102698314B1 publication Critical patent/KR102698314B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/76—Arrangements for rearranging, permuting or selecting data according to predetermined rules, independently of the content of the data
    • G06F7/78—Arrangements for rearranging, permuting or selecting data according to predetermined rules, independently of the content of the data for changing the order of data flow, e.g. matrix transposition or LIFO buffers; Overflow or underflow handling therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

비디오 코딩을 위한 행렬 기반 인트라 예측 방법들을 포함하는 디지털 비디오 코딩을 위한 디바이스들, 시스템들 및 방법들이 설명된다. 대표적인 양태에서, 비디오 처리를 위한 방법은 행렬 기반 인트라 예측(MIP) 모드를 사용하여 비디오의 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함하며, 이 MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록이 결정되고, 업샘플링 연산은 행렬 벡터 곱셈 연산으로부터 획득된 샘플들에 대해, 고정된 순서로 수직 방향과 수평 방향 양자 모두에서 수행된다.

Description

업샘플링을 이용한 행렬 기반 인트라 예측
관련 출원들에 대한 교차 참조
본 출원은 2019년 5월 22일자로 출원된 국제 특허 출원 제PCT/CN2019/087987호의 우선권 및 이익을 주장하는, 2020년 5월 21일자로 출원된 국제 특허 출원 제PCT/CN2020/091542호의 국내 단계이다. 위에 언급된 출원의 전체 개시내용은 본 출원의 개시내용의 일부로서 참조로 포함된다.
기술분야
본 특허 문서는 비디오 코딩 기법들, 디바이스들 및 시스템들에 관한 것이다.
비디오 압축의 진보에도 불구하고, 디지털 비디오는 인터넷 및 다른 디지털 통신 네트워크들에서 가장 큰 대역폭 사용을 여전히 차지한다. 비디오를 수신하고 디스플레이할 수 있는 접속된 사용자 디바이스들의 수가 증가함에 따라, 디지털 비디오 사용에 대한 대역폭 수요가 계속 증가할 것으로 예상된다.
디지털 비디오 코딩에 관련된 디바이스들, 시스템들 및 방법들, 및 구체적으로, 비디오 코딩을 위한 행렬 기반 인트라 예측 방법들이 설명된다. 설명된 방법들은 기존의 비디오 코딩 표준들(예를 들어, HEVC(High Efficiency Video Coding))과 장래의 비디오 코딩 표준들(예를 들어, VVC(Versatile Video Coding)) 또는 코덱들 양자 모두에 적용될 수 있다.
제1 예시적인 비디오 처리 방법은 행렬 기반 인트라 예측(matrix based intra prediction, MIP) 모드를 사용하여 비디오의 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현(bitstream representation) 사이의 전환(conversion)을 수행하는 단계를 포함하며, 이 MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산(boundary downsampling operation), 이어서 행렬 벡터 곱셈 연산(matrix vector multiplication operation), 및 이어서 업샘플링 연산(upsampling operation)을 수행함으로써 현재 비디오 블록의 예측 블록이 결정되고, 업샘플링 연산은 행렬 벡터 곱셈 연산으로부터 획득된 샘플들에 대해, 고정된 순서로 수직 방향과 수평 방향 양자 모두에서 수행된다.
제2 예시적인 비디오 처리 방법은 행렬 기반 인트라 예측(MIP) 모드를 사용하여 비디오의 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함하며, 이 MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록이 결정되고, 전환은 업샘플링 연산 전에 전치 연산(transposing operation)을 수행하는 것을 포함하고, 전치 연산은 경계 다운샘플링 연산 및 행렬 벡터 곱셈 연산을 수행함으로써 획득된 예측 블록의 제1 세트의 샘플들을 전치하고, 전치 연산은 예측 블록의 치수들에 따라 수행된다.
제3 예시적인 비디오 처리 방법은 행렬 기반 인트라 예측(MIP) 모드를 사용하여 비디오의 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함하며, 이 MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록이 결정되고, 업샘플링 연산은 규칙에 따라 쌍선형 필터(bilinear filter) 이외의 보간 필터를 선택하고 사용함으로써 수행된다.
다른 대표적인 양태에서, 개시된 기술은 비디오 처리를 위한 방법을 제공하기 위해 사용될 수 있다. 이 예시적인 방법은 현재 비디오 블록이 아핀 선형 가중 인트라 예측(affine linear weighted intra prediction, ALWIP) 모드를 사용하여 코딩되는 것을 결정하는 단계, 결정에 기초하여, 비-ALWIP 인트라 모드에 대한 최고 확률 모드(MPM) 리스트의 적어도 일부에 기초하여 ALWIP 모드에 대한 MPM 리스트의 적어도 일부를 구성하는 단계, 및 ALWIP 모드에 대한 MPM 리스트에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함한다.
다른 대표적인 양태에서, 개시된 기술은 비디오 처리를 위한 방법을 제공하기 위해 사용될 수 있다. 이 예시적인 방법은 현재 비디오 블록의 루마 성분이 아핀 선형 가중 인트라 예측(ALWIP) 모드를 사용하여 코딩되는 것을 결정하는 단계, 결정에 기초하여, 크로마 인트라 모드를 추론하는 단계, 및 크로마 인트라 모드에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함한다.
또 다른 대표적인 양태에서, 개시된 기술은 비디오 처리를 위한 방법을 제공하기 위해 사용될 수 있다. 이 예시적인 방법은 현재 비디오 블록이 아핀 선형 가중 인트라 예측(ALWIP) 모드를 사용하여 코딩되는 것을 결정하는 단계, 및 결정에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함한다.
또 다른 대표적인 양태에서, 개시된 기술은 비디오 처리를 위한 방법을 제공하기 위해 사용될 수 있다. 이 예시적인 방법은 현재 비디오 블록이 아핀 선형 가중 인트라 예측(ALWIP) 모드와 상이한 코딩 모드를 사용하여 코딩되는 것을 결정하는 단계, 및 결정에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함한다.
또 다른 대표적인 양태에서, 개시된 기술은 비디오 처리를 위한 방법을 제공하기 위해 사용될 수 있다. 이 예시적인 방법은 현재 비디오 블록에 대해, 아핀 선형 가중 인트라 예측(ALWIP) 모드를 사용하여 제1 예측을 생성하는 단계, 제1 예측에 기초하여, PDPC(position dependent intra prediction combination)를 사용하여 제2 예측을 생성하는 단계, 및 제2 예측에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함한다.
또 다른 대표적인 양태에서, 개시된 기술은 비디오 처리를 위한 방법을 제공하기 위해 사용될 수 있다. 이 예시적인 방법은 현재 비디오 블록이 아핀 선형 가중 인트라 예측(ALWIP) 모드를 사용하여 코딩되는 것을 결정하는 단계, ALWIP 모드에 기초하여, 현재 비디오 블록의 복수의 서브-블록들을 예측하는 단계, 및 예측에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함한다.
또 다른 대표적인 양태에서, 비디오 처리 방법이 개시된다. 이 방법은 현재 비디오 블록에 대한 규칙에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환 동안 아핀 선형 가중 인트라 예측(ALWIP) 모드의 사용을 표시하는 플래그의 컨텍스트를 결정하는 단계, ALWIP 모드에 기초하여, 현재 비디오 블록의 복수의 서브-블록들을 예측하는 단계 및 예측에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함한다.
또 다른 대표적인 양태에서, 비디오 처리 방법이 개시된다. 이 방법은 현재 비디오 블록이 아핀 선형 가중 인트라 예측(ALWIP) 모드를 사용하여 코딩되는 것을 결정하는 단계, 및 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환 동안, ALWIP 모드와 연관된 업샘플링 프로세스에서 현재 비디오 블록의 샘플들에 대해 적어도 2개의 필터링 스테이지를 수행하는 단계를 포함하고, 적어도 2개의 필터링 스테이지 중 제1 필터링 스테이지에서의 샘플들의 제1 정밀도는 적어도 2개의 필터링 스테이지 중 제2 필터링 스테이지에서의 샘플들의 제2 정밀도와 상이하다.
또 다른 양태에서, 비디오 처리 방법이 개시된다. 이 방법은 현재 비디오 블록이 아핀 선형 가중 인트라 예측(ALWIP) 모드를 사용하여 코딩되는 것을 결정하는 단계, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환 동안, ALWIP 모드와 연관된 업샘플링 프로세스에서 현재 비디오 블록의 샘플들에 대해 적어도 2개의 필터링 스테이지를 수행하는 단계를 포함하고, 업샘플링 프로세스는 수직 및 수평 업샘플링 양자 모두가 수행되는 경우에 대해 고정된 순서로 수행된다.
또 다른 양태에서, 비디오 처리 방법이 개시된다. 이 방법은 현재 비디오 블록이 아핀 선형 가중 인트라 예측(ALWIP) 모드를 사용하여 코딩되는 것을 결정하는 단계, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환 동안, ALWIP 모드와 연관된 업샘플링 프로세스에서 현재 비디오 블록의 샘플들에 대해 적어도 2개의 필터링 스테이지를 수행하는 단계를 포함하고, 전환은 업샘플링 프로세스 전에 전치 연산을 수행하는 것을 포함한다.
또 다른 대표적인 양태에서, 위에서 설명한 방법은 프로세서 실행가능 코드의 형태로 구현되고 컴퓨터 판독가능 프로그램 매체에 저장된다.
또 다른 대표적인 양태에서, 위에서 설명한 방법을 수행하도록 구성되거나 동작가능한 디바이스가 개시된다. 디바이스는 이 방법을 구현하도록 프로그래밍되는 프로세서를 포함할 수 있다.
또 다른 대표적인 양태에서, 비디오 디코더 장치는 본 명세서에 설명된 바와 같은 방법을 구현할 수 있다.
개시된 기술의 위의 및 또 다른 양태들 및 특징들은 도면들, 설명 및 청구항들에서 더 상세히 설명된다.
도 1은 33개의 인트라 예측 방향의 예를 도시한다.
도 2는 67개의 인트라 예측 모드의 예를 도시한다.
도 3은 선형 모델의 가중치들의 도출에 사용되는 샘플들의 위치들의 예를 도시한다.
도 4는 예측 블록에 이웃하는 4개의 참조 라인의 예를 도시한다.
도 5a 및 도 5b는 블록 크기에 따른 서브-파티션(sub-partition)들의 예들을 도시한다.
도 6은 4x4 블록들에 대한 ALWIP의 예를 도시한다.
도 7은 8x8 블록들에 대한 ALWIP의 예를 도시한다.
도 8은 8x4 블록들에 대한 ALWIP의 예를 도시한다.
도 9는 16x16 블록들에 대한 ALWIP의 예를 도시한다.
도 10은 MPM 리스트 구성에서 사용하는 이웃 블록들의 예를 도시한다.
도 11은 개시된 기술에 따른, 행렬 기반 인트라 예측을 위한 예시적인 방법의 흐름도를 도시한다.
도 12는 개시된 기술에 따른, 행렬 기반 인트라 예측을 위한 다른 예시적인 방법의 흐름도를 도시한다.
도 13은 개시된 기술에 따른, 행렬 기반 인트라 예측을 위한 또 다른 예시적인 방법의 흐름도를 도시한다.
도 14는 개시된 기술에 따른, 행렬 기반 인트라 예측을 위한 또 다른 예시적인 방법의 흐름도를 도시한다.
도 15는 본 문서에서 설명되는 비주얼 미디어 디코딩 또는 비주얼 미디어 인코딩 기법을 구현하기 위한 하드웨어 플랫폼의 예의 블록도이다.
도 16은 이웃 블록들의 예를 도시한다.
도 17은 본 개시내용의 기법들을 이용할 수 있는 예시적인 비디오 코딩 시스템을 예시하는 블록도이다.
도 18은 비디오 인코더의 예를 예시하는 블록도이다.
도 19는 비디오 디코더의 예를 예시하는 블록도이다.
도 20은 본 명세서에 개시된 다양한 기법들이 구현될 수 있는 예시적인 비디오 처리 시스템을 도시하는 블록도이다.
도 21 내지 도 23은 개시된 기술에 따른, 행렬 기반 인트라 예측을 위한 3가지 예시적인 방법의 흐름도들을 도시한다.
고해상도 비디오의 수요 증가로 인해, 비디오 코딩 방법들 및 기법들은 현대 기술에서 널리 사용되고 있다. 비디오 코덱들은 전형적으로 디지털 비디오를 압축 또는 압축해제하는 전자 회로 또는 소프트웨어를 포함하며, 더 높은 코딩 효율을 제공하도록 계속적으로 개선되고 있다. 비디오 코덱은 압축되지 않은 비디오를 압축된 포맷으로 전환하거나, 그 반대로 전환한다. 비디오 품질, 비디오를 표현하는 데 사용되는 데이터의 양(비트 레이트에 의해 결정됨), 인코딩 및 디코딩 알고리즘들의 복잡도, 데이터 손실들 및 에러들에 대한 민감도, 편집의 용이성, 랜덤 액세스, 및 엔드-투-엔드 지연(레이턴시) 사이에 복잡한 관계들이 존재한다. 압축된 포맷은 보통 표준 비디오 압축 사양, 예를 들어, HEVC(High Efficiency Video Coding) 표준(H.265 또는 MPEG-H Part 2로도 알려짐), 완성될 VVC(Versatile Video Coding) 표준, 또는 다른 현재 및/또는 장래 비디오 코딩 표준들을 따른다.
개시된 기술의 실시예들은 런타임 성능을 개선시키기 위해 기존의 비디오 코딩 표준들(예를 들어, HEVC, H.265) 및 장래의 표준들에 적용될 수 있다. 섹션 제목들은 본 문서에서 설명의 가독성을 개선시키기 위해 사용되며, 논의 또는 실시예들(및/또는 구현들)을 결코 각자의 섹션들에만 제한하지 않는다.
1 HEVC에 대한 간단한 검토
1.1 HEVC/H.265에서의 인트라 예측
인트라 예측은 고려된 컬러 채널에서 이전에 재구성된 샘플들을 사용하여 주어진 TB(transform block)에 대한 샘플들을 생산하는 것을 수반한다. 인트라 예측 모드는 루마 및 크로마 채널들에 대해 개별적으로 시그널링되며, 크로마 채널 인트라 예측 모드는 'DM_CHROMA' 모드를 통해 루마 채널 인트라 예측 모드에 선택적으로 의존한다. 인트라 예측 모드가 PB(prediction block) 레벨에서 시그널링되지만, 인트라 예측 프로세스는 CU에 대한 잔차 쿼드-트리 계층구조에 따라 TB 레벨에서 적용되고, 그에 의해 하나의 TB의 코딩이 CU 내의 다음 TB의 코딩에 영향을 미칠 수 있게 하고, 따라서 참조 값들로서 사용되는 샘플들까지의 거리를 감소시킨다.
HEVC는 35개의 인트라 예측 모드 - DC 모드, 평면 모드 및 33개의 방향성, 또는 '각도' 인트라 예측 모드를 포함한다. 33개의 각도 인트라 예측 모드가 도 1에 예시되어 있다.
크로마 컬러 채널들과 연관된 PB들의 경우, 인트라 예측 모드는 평면, DC, 수평, 수직, 'DM_CHROMA' 모드 또는 때때로 대각선 모드 '34'로서 지정된다.
크로마 포맷들 4:2:2 및 4:2:0에 대해, 크로마 PB는 2개 또는 4개(각각)의 루마 PB와 중첩될 수 있으며; 이 경우, DM_CHROMA에 대한 루마 방향은 이 루마 PB들의 상단 좌측으로부터 취해진다.
DM_CHROMA 모드는 루마 컬러 채널 PB의 인트라 예측 모드가 크로마 컬러 채널 PB들에 적용되는 것을 표시한다. 이것은 비교적 일반적이기 때문에, intra_chroma_pred_mode의 최고 확률 모드 코딩 방식은 선택되는 이 모드를 위해 바이어싱된다.
2 VVC에서의 인트라 예측의 예들
2.1 67개의 인트라 예측 모드를 사용한 인트라 모드 코딩
내추럴 비디오(natural video)에서 제시된 임의의 에지 방향들을 캡처하기 위해, 방향성 인트라 모드들의 수는, HEVC에서 사용되는 바와 같이, 33에서 65로 확장된다. 추가적인 방향성 모드들은 도 2에서 적색 점선 화살표들로서 도시되고, 평면 및 DC 모드들은 동일하게 유지된다. 이러한 더 조밀한 방향성 인트라 예측 모드들은 모든 블록 크기들에 대해 그리고 루마 및 크로마 인트라 예측들 양자 모두에 대해 적용된다.
2.2 교차 성분 선형 모델(cross-component linear model, CCLM)의 예들
일부 실시예들에서, 그리고 교차 성분 중복성(cross-component redundancy)을 감소시키기 위해, 교차 성분 선형 모델(CCLM) 예측 모드(LM이라고도 함)가 JEM에서 사용되며, 이를 위해 다음과 같이 선형 모델을 사용함으로써 동일한 CU의 재구성된 루마 샘플들에 기초하여 크로마 샘플들이 예측된다:
(1)
여기서, predC(i, j)는 CU에서의 예측된 크로마 샘플들을 나타내고, recL'(i, j)는 동일한 CU의 다운샘플링된 재구성된 루마 샘플들을 나타낸다. 선형 모델 파라미터 α 및 β는, 다운샘플링된 이웃 루마 샘플들의 세트 내의 최소 샘플 값 및 최대 샘플을 갖는 루마 샘플, 및 그들의 대응하는 크로마 샘플들인, 2개의 샘플로부터의 루마 값들과 크로마 값들 사이의 관계로부터 도출된다. 도 3은 CCLM 모드에서 수반되는 좌측 및 상측 샘플들의 위치 및 현재 블록의 샘플의 예를 도시한다.
이 파라미터 계산은 디코딩 프로세스의 일부로서 수행되며, 인코더 검색 동작으로서가 아니다. 그 결과, 디코더에 α 및 β값들을 전달하기 위해 신택스가 사용되지 않는다.
크로마 인트라 모드 코딩의 경우, 크로마 인트라 모드 코딩을 위해 총 8개의 인트라 모드가 허용된다. 그러한 모드들은 5개의 전통적인 인트라 모드 및 3개의 교차 성분 선형 모델 모드(CCLM, LM_A 및 LM_L)를 포함한다. 크로마 모드 코딩은 대응하는 루마 블록의 인트라 예측 모드에 직접 의존한다. 루마 및 크로마 성분들에 대한 개별 블록 파티셔닝 구조가 I 슬라이스들에서 가능해지기 때문에, 하나의 크로마 블록은 다수의 루마 블록에 대응할 수 있다. 따라서, 크로마 DM 모드의 경우, 현재 크로마 블록의 중심 위치를 커버하는 대응하는 루마 블록의 인트라 예측 모드가 직접 상속된다.
2.3 다중 참조 라인(multiple reference line, MRL) 인트라 예측
다중 참조 라인(MRL) 인트라 예측은 인트라 예측을 위해 더 많은 참조 라인들을 사용한다. 도 4에는, 4개의 참조 라인의 예가 도시되어 있으며, 여기서 세그먼트들 A 및 F의 샘플들은 재구성된 이웃 샘플들로부터 페치되지 않지만 각각 세그먼트 B 및 E로부터의 가장 가까운 샘플들로 패딩된다. HEVC 인트라-픽처 예측은 가장 가까운 참조 라인(즉, 참조 라인 0)을 사용한다. MRL에서, 2개의 추가 라인(참조 라인 1 및 참조 라인 3)이 사용된다. 선택된 참조 라인의 인덱스(mrl_idx)가 시그널링되어 인트라 예측자를 생성하는데 사용된다. 0보다 큰 참조 라인 idx에 대해, MPM 리스트에 추가적인 참조 라인 모드들만을 포함하고, 나머지 모드 없이 mpm 인덱스만을 시그널링한다.
2.4 인트라 서브-파티션(intra sub-partition, ISP)
인트라 서브-파티션(ISP) 툴은 블록 크기에 따라 루마 인트라-예측된 블록들을 수직으로 또는 수평으로 2 또는 4개의 서브-파티션으로 분할한다. 예를 들어, ISP에 대한 최소 블록 크기는 4x8(또는 8x4)이다. 블록 크기가 4x8(또는 8x4)보다 크면, 대응하는 블록은 4개의 서브-파티션으로 분할된다. 도 5a 및 도 5b는 2가지 가능성의 예를 도시한다. 모든 서브-파티션들은 적어도 16개의 샘플을 갖는 조건을 충족시킨다.
각각의 서브-파티션에 대해, 잔차 신호를 예측 신호에 가산함으로써 재구성된 샘플들이 획득된다. 여기서, 잔차 신호는 엔트로피 디코딩, 역양자화 및 역변환과 같은 프로세스들에 의해 생성된다. 따라서, 각각의 서브-파티션의 재구성된 샘플 값들은 다음 서브-파티션의 예측을 생성하는 데 이용가능하고, 각각의 서브-파티션은 반복적으로 처리된다. 또한, 처리될 첫 번째 서브-파티션은 CU의 상단-좌측 샘플을 포함하는 것이고 그 후 계속해서 하향(수평 스플릿) 또는 우측(수직 스플릿)으로 이어지는 것이다. 그 결과, 서브-파티션 예측 신호들을 생성하는 데 사용되는 참조 샘플들은 라인들의 좌측 및 상측에만 위치한다. 모든 서브-파티션들은 동일한 인트라 모드를 공유한다.
2.5 아핀 선형 가중 인트라 예측(ALWIP 또는 행렬 기반 인트라 예측)
아핀 선형 가중 인트라 예측(ALWIP, 행렬 기반 인트라 예측(MIP)으로도 알려짐)은 JVET-N0217에서 제안된다.
JVET-N0217에서, 2개의 테스트가 수행된다. 테스트 1에서, ALWIP는 8K 바이트의 메모리 제한 및 샘플당 최대 4개의 곱셈으로 설계된다. 테스트 2는 테스트 1과 유사하지만, 메모리 요건 및 모델 아키텍처의 관점에서 설계를 더 단순화한다.
○ 모든 블록 형상들에 대한 행렬들 및 오프셋 벡터들의 단일 세트.
○ 모든 블록 형상들에 대해 19로의 모드들의 수의 감소.
○ 5760 10-비트 값, 즉 7.20 킬로바이트로의 메모리 요건의 감소.
○ 예측된 샘플들의 선형 보간은 제1 테스트에서와 같이 반복적 보간을 대체하여 방향 당 단일 단계로 수행된다.
2.5.1 JVET-N0217의 테스트 1
폭 W 및 높이 H의 직사각형 블록의 샘플들을 예측하기 위해, 아핀 선형 가중 인트라 예측(ALWIP)은 블록의 좌측에 있는 H개의 재구성된 이웃 경계 샘플의 하나의 라인 및 블록 상측에 있는 W개의 재구성된 이웃 경계 샘플의 하나의 라인을 입력으로서 취한다. 재구성된 샘플들이 이용불가능한 경우, 이들은 종래의 인트라 예측에서 행해지는 바와 같이 생성된다.
예측 신호의 생성은 다음의 3개의 단계에 기초한다:
경계 샘플들 중에서, W=H=4인 경우에 4개의 샘플 및 모든 다른 경우에 8개의 샘플이 평균화에 의해 추출된다.
오프셋의 가산이 뒤따르는 행렬 벡터 곱셈은 입력으로서 평균화된 샘플들을 사용하여 수행된다. 그 결과는 원래의 블록에서의 샘플들의 서브샘플링된 세트에 대한 감소된 예측 신호이다.
나머지 위치들에서의 예측 신호는, 각각의 방향에서 단일 단계 선형 보간인 선형 보간에 의해 서브샘플링된 세트에 대한 예측 신호로부터 생성된다.
예측 신호를 생성하는데 필요한 행렬들 및 오프셋 벡터들은 행렬들의 3개의 세트 S0, S1, S2로부터 취해진다. 세트 S0은, 각각이 16개의 행 및 4개의 열을 갖는 18개의 행렬 및 각각이 크기 16인 18개의 오프셋 벡터 로 구성된다. 그 세트의 행렬들 및 오프셋 벡터들은 크기 4x4의 블록들에 사용된다. 세트 S1은, 각각이 16개의 행 및 8개의 열을 갖는 10개의 행렬 및 각각이 크기 16인 10개의 오프셋 벡터 로 구성된다. 그 세트의 행렬들 및 오프셋 벡터들은 크기들 4x8, 8x4 및 8x8의 블록들에 사용된다. 마지막으로, S2은, 각각이 64개의 행 및 8개의 열을 갖는 6개의 행렬 및 크기 64인 6개의 오프셋 벡터 로 구성된다. 그 세트의 행렬들 및 오프셋 벡터들 또는 이러한 행렬들 및 오프셋 벡터들의 일부는 모든 다른 블록-형상들에 사용된다.
행렬 벡터 곱의 계산에 필요한 곱셈들의 총 수는 항상 4×W×H 이하이다. 다시 말해서, ALWIP 모드들에 대해 샘플 당 최대 4개의 곱셈이 요구된다.
2.5.2 경계의 평균화
제1 단계에서, 입력 경계들 및 는 더 작은 경계들 및 로 감소된다. 여기서, 과 는 양자 모두 4x4-블록의 경우에 2개의 샘플로 구성되고, 양자 모두 다른 모든 경우에 4개의 샘플로 구성된다.
4x4-블록의 경우, 0≤i<2에 대해,
을 정의하고 유사하게 를 정의한다.
그렇지 않고, 블록-폭 W가 W = 4·2k로서 주어지면, 0≤i<4에 대해,
을 정의하고 유사하게 를 정의한다.
2개의 감소된 경계 및 는 감소된 경계 벡터 에 연결되며(concatenated), 따라서 형상 4x4의 블록들에 대해 크기가 4이고 모든 다른 형상의 블록들에 대해 크기가 8이다. mode가 ALWIP-모드를 참조하는 경우, 이 연결(concatenation)은 다음과 같이 정의된다:
마지막으로, 서브샘플링된 예측 신호의 보간을 위해, 큰 블록들에 대해, 평균화된 경계의 제2 버전이 필요하다. 즉, min(W,H)>8이고 W≥H이면, W=8*2l을 기입하고, 0≤i<8에 대해, 다음을 정의한다:
min(W,H)>8이고 H>W이면, 유사하게 를 정의한다.
2.5.3 행렬 벡터 곱셈에 의한 감소된 예측 신호의 생성
감소된 입력 벡터 로부터 감소된 예측 신호 를 생성한다. 후자의 신호는 폭 및 높이 의 다운샘플링된 블록에 대한 신호이다. 여기서, 및 는 다음과 같이 정의된다:
감소된 예측 신호 는 행렬 벡터 곱을 산출하고 오프셋을 가산함으로써 계산된다:
여기서, A는 ·개의 행 및 W=H=4인 경우에 4개의 열과 모든 다른 경우에 8개의 열을 갖는 행렬이다. b는 · 크기의 벡터이다.
행렬 A 및 벡터 b는 다음과 같이 세트들 S0, S1, S2 중 하나로부터 취해진다. 인덱스 idx=idx(W,H)를 다음과 같이 정의한다:
또한, m은 다음과 같다:
이어서, idx≤1 또는 idx=2이고 min(W,H)>4인 경우, 이고 이다. idx=2 및 min(W,H)=4인 경우, A를, W=4인 경우, 다운샘플링된 블록에서의 홀수 x 좌표에 대응하거나, H=4인 경우, 다운샘플링된 블록에서의 홀수 y 좌표에 대응하는 의 모든 행을 생략하여 발생하는 행렬로 한다.
마지막으로, 감소된 예측 신호는 다음의 경우에 그의 전치로 대체된다:
○ W=H=4 및 mode≥18
○ max(W,H)=8 및 mode≥10
○ max(W,H)>8 및 mode≥6
의 산출에 요구되는 곱셈의 수는 W=H=4인 경우에 4인데, 그 이유는 이 경우에 A가 4개의 열 및 16개의 행을 갖기 때문이다. 모든 다른 경우들에서, A는 8개의 열 및 ·개의 행을 가지며, 이들 경우에 8··≤4·W·H 곱셈들이 요구된다는 것, 즉, 또한 이들 경우에, 를 계산하기 위해 샘플당 최대 4개의 곱셈이 필요하다는 것을 즉시 검증한다.
2.5.4 전체 ALWIP 프로세스의 예시
평균화, 행렬 벡터 곱셈 및 선형 보간의 전체 프로세스가 도 6 내지 도 9에서 상이한 형상들에 대해 예시된다. 나머지 형상들은 묘사된 경우들 중 하나에서와 같이 취급된다는 점에 유의한다.
1. 4x4 블록이 주어지면, ALWIP는 경계의 각각의 축을 따라 2개의 평균을 취한다. 결과적인 4개의 입력 샘플이 행렬 벡터 곱셈에 입력된다. 행렬들은 세트 S0으로부터 취해진다. 오프셋을 가산한 후, 이것은 16개의 최종 예측 샘플을 산출한다. 선형 보간은 예측 신호를 생성하기 위해 필요하지 않다. 따라서, 샘플당 총 (4·16)/(4·4)=4회의 곱셈이 수행된다.
2. 8x8 블록이 주어지면, ALWIP는 경계의 각각의 축을 따라 4개의 평균을 취한다. 결과적인 8개의 입력 샘플이 행렬 벡터 곱셈에 입력된다. 행렬들은 세트 S1로부터 취해진다. 이것은 예측 블록의 홀수 위치들에 대해 16개의 샘플을 산출한다. 따라서, 샘플당 총 (8·16)/(8·8)=2회의 곱셈이 수행된다. 오프셋을 가산한 후, 이들 샘플은 감소된 상단 경계를 사용하여 수직으로 보간된다. 수평 보간은 원래의 좌측 경계를 사용하여 뒤따른다.
3. 8x4 블록이 주어지면, ALWIP는 경계의 수평축을 따라 4개의 평균을 취하고 좌측 경계에서 4개의 원래 경계 값을 취한다. 결과적인 8개의 입력 샘플이 행렬 벡터 곱셈에 입력된다. 행렬들은 세트 S1로부터 취해진다. 이것은 예측 블록의 홀수 수평 및 각각의 수직 위치들에 대해 16개의 샘플을 산출한다. 따라서, 샘플당 총 (8·16)/(8·4)=4회의 곱셈이 수행된다. 오프셋을 가산한 후, 이들 샘플은 원래의 좌측 경계를 사용하여 수평으로 보간된다.
4. 16x16 블록이 주어지면, ALWIP는 경계의 각각의 축을 따라 4개의 평균을 취한다. 결과적인 8개의 입력 샘플이 행렬 벡터 곱셈에 입력된다. 행렬들은 세트 S2로부터 취해진다. 이것은 예측 블록의 홀수 위치들에 대해 64개의 샘플을 산출한다. 따라서, 샘플당 총 (8·64)/(16·16)=2회의 곱셈이 수행된다. 오프셋을 가산한 후, 이들 샘플은 상단 경계의 8개의 평균을 사용하여 수직으로 보간된다. 수평 보간은 원래의 좌측 경계를 사용하여 뒤따른다. 이 경우, 보간 프로세스는 어떠한 곱셈도 추가하지 않는다. 따라서, 총괄적으로, ALWIP 예측을 산출하기 위해 샘플당 2개의 곱셈이 요구된다.
더 큰 형상들에 대해, 절차는 본질적으로 동일하고, 샘플 당 곱셈들의 수가 4 미만임을 체크하는 것이 용이하다.
W>8인 Wx8 블록들에 대해, 샘플들이 홀수 수평 및 각각의 수직 위치들에 주어지기 때문에 수평 보간만이 필요하다.
마지막으로, W>8인 Wx4 블록들에 대해, A_k를 다운샘플링된 블록의 수평축을 따라 홀수 엔트리에 대응하는 모든 행을 생략하여 발생하는 행렬로 한다. 따라서, 출력 크기는 32이고 다시, 수평 보간만이 수행되도록 남아 있다.
전치된 경우들은 그에 따라 취급된다.
2.5.5 단일 단계 선형 보간
max(W,H)≥8인 WxH 블록에 대해, 예측 신호는 선형 보간에 의해 ×에 대해 감소된 예측 신호 로부터 발생한다. 블록 형상에 따라, 선형 보간은 수직, 수평 또는 양자 모두의 방향으로 행해진다. 선형 보간이 양자 모두의 방향으로 적용되어야 한다면, W<H인 경우에 수평 방향으로 먼저 적용되고, 그 밖의 경우에 수직 방향으로 먼저 적용된다.
일반성을 잃지 않고서, max(W,H)≥8 및 W≥H인 WxH 블록을 고려한다. 이어서, 1차원 선형 보간이 다음과 같이 수행된다. 일반성을 잃지 않고서, 수직 방향에서의 선형 보간을 설명하는 것으로 충분하다. 먼저, 감소된 예측 신호는 경계 신호에 의해 상단으로 확장된다. 수직 업샘플링 인자 를 정의하고 을 기입한다. 그 후, 아래 식에 의해 확장된 감소된 예측 신호를 정의한다:
그 후, 이 확장된 감소된 예측 신호로부터, 수직 선형 보간된 예측 신호가 아래 식에 의해 생성된다:
2.5.6 제안된 인트라 예측 모드들의 시그널화(signalization)
인트라 모드에서의 각각의 코딩 유닛(CU)에 대해, ALWIP 모드가 대응하는 예측 유닛(PU)에 적용될지 여부를 표시하는 플래그가 비트스트림에서 전송된다. 후자의 인덱스의 시그널화는 JVET-M0043에서와 동일한 방식으로 MRL과 조화된다. ALWIP 모드가 적용되는 경우, ALWIP 모드의 인덱스 predmode는 3개의 MPM을 갖는 MPM-리스트를 사용하여 시그널링된다.
여기서, MPM들의 도출은 다음과 같이 상측 및 좌측 PU의 인트라 모드들을 사용하여 수행된다. 각각의 종래의 인트라 예측 모드 에 할당하는 3개의 고정 테이블 map_angular_to_alwipidx, idx∈{0,1,2}가 있으며, ALWIP 모드
폭(W) 및 높이(H)의 각각의 PU에 대해, 아래 인덱스
를 정의하며, 이는 3개의 세트 중 어느 것으로부터 ALWIP-파라미터들이 섹션 2.5.3에서와 같이 취해져야 하는지를 표시한다.
상측 예측 유닛(PUabove)이 이용가능하고, 현재 PU와 동일한 CTU에 속하며, 인트라 모드에 있는 경우, idx(PU)=idx(PUabove)인 경우 및 ALWIP가 ALWIP-모드 로 PUabove에 적용되는 경우, 다음과 같이 된다:
.
상측 PU가 이용가능하고, 현재 PU와 동일한 CTU에 속하고 인트라 모드에 있는 경우 및 종래의 인트라 예측 모드 가 상측 PU에 적용되는 경우, 다음과 같이 된다:
.
모든 다른 경우들에서,
가 되고, 이는 이 모드가 이용불가능하다는 것을 의미한다. 동일한 방식으로 그러나 좌측 PU가 현재 PU와 동일한 CTU에 속할 필요가 있다는 제한 없이, 모드 를 도출한다.
마지막으로, 3개의 고정된 디폴트 리스트 listidx, idx∈{0,1,2}가 제공되고, 이들 각각은 3개의 별개의 ALWIP 모드를 포함한다. 디폴트 리스트 listidx(PU) 및 모드들 및 중에서, 반복들을 제거할 뿐만 아니라 디폴트 값들에 의해 -1을 치환함으로써 3개의 별개의 MPM을 구성한다.
ALWIP MPM 리스트 구성에서 사용되는 좌측 이웃 블록 및 상측 이웃 블록은 도 10에 도시된 바와 같이 A1 및 B1이다.
2.5.7 종래의 루마 및 크로마 인트라 예측 모드들에 대한 적응된 MPM-리스트 도출
제안된 ALWIP-모드들은 다음과 같이 종래의 인트라 예측 모드들의 MPM 기반 코딩과 조화된다. 종래의 인트라 예측 모드들에 대한 루마 및 크로마 MPM-리스트 도출 프로세스들은 고정 테이블들 map_alwip_to_angularidx, idx∈{0,1,2}를 사용하고, 주어진 PU 상의 ALWIP-모드 를 종래의 인트라 예측 모드들 중 하나에 맵핑한다.
루마 MPM-리스트 도출을 위해, ALWIP-모드 를 사용하는 이웃 루마 블록을 만날 때마다, 이 블록은 종래의 인트라 예측 모드 을 사용하는 것처럼 취급된다. 크로마 MPM-리스트 도출을 위해, 현재 루마 블록이 LWIP-모드를 사용할 때마다, ALWIP-모드를 종래의 인트라 예측 모드로 변환하기 위해 동일한 맵핑이 사용된다.
2.5.8 대응하는 수정된 작업 초안
일부 실시예들에서, 이 섹션에서 설명된 바와 같이, 개시된 기술의 실시예들에 기초하여 intra_lwip_flag, intra_lwip_mpm_flag, intra_lwip_mpm_idx 및 intra_lwip_mpm_remainder에 관련된 부분들이 작업 초안에 추가되었다.
일부 실시예들에서, 이 섹션에서 설명된 바와 같이, 개시된 기술의 실시예들에 기초하여 작업 초안에 대한 추가들 및 수정들을 나타내기 위해 <begin> 및 <end> 태그들이 사용된다.
신택스 테이블들
코딩 유닛 신택스
시맨틱스
<begin>intra_lwip_flag[ x0 ][ y0 ]이 1인 것은 루마 샘플들에 대한 인트라 예측 타입이 아핀 선형 가중 인트라 예측인 것을 지정한다. intra_lwip_flag[ x0 ][ y0 ]이 0인 것은 루마 샘플들에 대한 인트라 예측 타입이 아핀 선형 가중 인트라 예측이 아닌 것을 지정한다.
intra_lwip_flag[ x0 ][ y0 ]이 존재하지 않을 때, 그것은 0인 것으로 추론된다.
신택스 요소들 intra_lwip_mpm_flag[ x0 ][ y0 ], intra_lwip_mpm_idx[ x0 ][ y0 ] 및 intra_lwip_mpm_remainder[ x0 ][ y0 ]은 루마 샘플들에 대한 아핀 선형 가중 인트라 예측 모드를 지정한다. 어레이 인덱스들 x0, y0은 픽처의 상단-좌측 루마 샘플에 대한 고려된 코딩 블록의 상단-좌측 루마 샘플의 위치 (x0, y0)를 지정한다. intra_lwip_mpm_flag[ x0 ][ y0 ]이 1일 때, 아핀 선형 가중 인트라 예측 모드는 조항 8.4.X에 따라 이웃 인트라-예측된 코딩 유닛으로부터 추론된다.
intra_lwip_mpm_flag[ x0 ][ y0 ]이 존재하지 않을 때, 그것은 1인 것으로 추론된다.<end>
intra_subpartitions_split_flag[ x0 ][ y0 ]은 인트라 서브파티션 스플릿 타입이 수평인지 수직인지를 지정한다. intra_subpartitions_split_flag[ x0 ][ y0 ]이 존재하지 않을 때, 그것은 다음과 같이 추론된다:
- intra_lwip_flag[ x0 ][ y0 ]이 1인 경우, intra_subpartitions_split_flag[ x0 ][ y0]은 0인 것으로 추론된다.
- 그렇지 않으면, 다음이 적용된다:
- cbHeight가 MaxTbSizeY보다 큰 경우, intra_subpartitions_split_flag[ x0 ][ y0]은 0인 것으로 추론된다.
- 그렇지 않으면(cbWidth가 MaxTbSizeY보다 크면), intra_subpartitions_split_flag[ x0 ][ y0 ]은 1인 것으로 추론된다.
디코딩 처리
8.4.1 인트라 예측 모드에서 코딩된 코딩 유닛들에 대한 일반적인 디코딩 프로세스
이 프로세스에 대한 입력들은 다음과 같다:
- 현재 픽처의 상단 좌측 루마 샘플에 대한 현재 코딩 블록의 상단-좌측 샘플을 지정하는 루마 위치(xCb, yCb),
- 루마 샘플들에서 현재 코딩 블록의 폭을 지정하는 변수 cbWidth,
- 루마 샘플들에서 현재 코딩 블록의 높이를 지정하는 변수 cbHeight,
- 단일 또는 이중 트리가 사용되는지를 지정하고, 이중 트리가 사용되면, 현재 트리가 루마 또는 크로마 성분들에 대응하는지를 지정하는 변수 treeType.
이 프로세스의 출력은 인-루프 필터링 전의 수정된 재구성된 픽처이다.
조항 8.7.1에 지정된 바와 같은 양자화 파라미터들에 대한 도출 프로세스는 루마 위치 (xCb, yCb), 루마 샘플들에서의 현재 코딩 블록의 폭 cbWidth 및 루마 샘플들에서의 현재 코딩 블록의 높이 cbHeight, 및 변수 treeType를 입력들로 하여 호출된다.
treeType가 SINGLE_TREE와 동일하거나 treeType가 DUAL_TREE_LUMA와 동일할 때, 루마 샘플들에 대한 디코딩 프로세스는 다음과 같이 지정된다:
- pcm_flag[ xCb ][ yCb ]가 1인 경우, 재구성된 픽처는 다음과 같이 수정된다:
- 그렇지 않으면, 다음이 적용된다:
1. 루마 인트라 예측 모드는 다음과 같이 도출된다:
- intra_lwip_flag[ xCb ][ yCb ]가 1인 경우, 조항 8.4.X에 지정된 바와 같은 아핀 선형 가중 인트라 예측 모드에 대한 도출 프로세스가 루마 위치 (xCb, yCb), 루마 샘플들에서의 현재 코딩 블록의 폭 cbWidth 및 루마 샘플들에서의 현재 코딩 블록의 높이 cbHeight를 입력으로 하여 호출된다.
- 그렇지 않으면, 조항 8.4.2에 지정된 바와 같은 루마 인트라 예측 모드에 대한 도출 프로세스가 루마 위치 (xCb, yCb), 루마 샘플들에서의 현재 코딩 블록의 폭 cbWidth 및 루마 샘플들에서의 현재 코딩 블록의 높이 cbHeight를 입력으로 하여 호출된다.
2. 조항 8.4.4.1에 지정된 바와 같은 인트라 블록들에 대한 일반적인 디코딩 프로세스는 루마 위치 (xCb, yCb), 트리 타입 treeType, cbWidth와 동일하게 설정된 변수 nTbW, cbHeight와 동일하게 설정된 변수 nTbH, IntraPredModeY[ xCb ][ yCb ]와 동일하게 설정된 변수 predModeIntra, 및 0과 동일하게 설정된 변수 cIdx를 입력들로 하여 호출되고, 출력은 인-루프 필터링 전에 수정된 재구성된 픽처이다.
…
<begin>
8.4.X 아핀 선형 가중 인트라 예측 모드에 대한 도출 프로세스
이 프로세스에 대한 입력은 다음과 같다:
- 현재 픽처의 상단 좌측 루마 샘플에 대한 현재 루마 코딩 블록의 상단-좌측 샘플을 지정하는 루마 위치(xCb, yCb),
- 루마 샘플들에서 현재 코딩 블록의 폭을 지정하는 변수 cbWidth,
- 루마 샘플들에서 현재 코딩 블록의 높이를 지정하는 변수 cbHeight.
이 프로세스에서, 아핀 선형 가중 인트라 예측 모드 IntraPredModeY[ xCb ][ yCb ]가 도출된다.
IntraPredModeY[ xCb ][ yCb ]는 다음의 순서화된 단계들에 의해 도출된다:
1. 이웃 위치들 (xNbA, yNbA) 및 (xNbB, yNbB)은 각각 (xCb-1, yCb) 및 (xCb, yCb-1)과 동일하게 설정된다.
2. X가 A 또는 B로 대체되는 경우, 변수들 candLwipModeX는 다음과 같이 도출된다:
- 조항 6.4.X [Ed. (BB): 이웃 블록들 가용성 검사 프로세스 tbd]에 지정된 바와 같은 블록에 대한 가용성 도출 프로세스는 (xCb, yCb)와 동일하게 설정된 위치 (xCurr, yCurr) 및 (xNbX, yNbX)와 동일하게 설정된 이웃 위치 (xNbY, yNbY)를 입력들로 하여 호출되고, 출력은 availableX에 할당된다.
- 후보 아핀 선형 가중 인트라 예측 모드 candLwipModeX는 다음과 같이 도출된다:
- 다음의 조건들 중 하나 이상이 참이면, candLwipModeX는 -1과 동일하게 설정된다.
- 변수 availableX는 FALSE와 동일하다.
- CuPredMode[ xNbX ][ yNbX ]는 MODE_INTRA와 동일하지 않고 mh_intra_flag[ xNbX ][ yNbX ]는 1과 동일하지 않다.
- pcm_flag[ xNbX ][ yNbX ]는 1과 동일하다.
- X는 B와 동일하고, yCb-1은 ( ( yCb >> CtbLog2SizeY ) << CtbLog2SizeY )보다 작다.
- 그렇지 않으면, 다음이 적용된다:
- 조항 8.4.X.1에 지정된 바와 같은 블록에 대한 크기 타입 도출 프로세스는 루마 샘플들에서의 현재 코딩 블록의 폭 cbWidth 및 루마 샘플들에서의 현재 코딩 블록의 높이 cbHeight를 입력으로 하여 호출되고, 출력은 변수 sizeId에 할당된다.
- intra_lwip_flag[ xNbX ][ yNbX ]가 1인 경우, 조항 8.4.X.1에 지정된 바와 같은 블록에 대한 크기 타입 도출 프로세스는 루마 샘플들에서의 이웃 코딩 블록의 폭 nbWidthX 및 루마 샘플들에서의 이웃 코딩 블록의 높이 nbHeightX 입력으로 하여 호출되고, 출력은 변수 sizeIdX에 할당된다.
- sizeId가 sizeIdX와 동일하면, candLwipModeX는 IntraPredModeY[ xNbX ][ yNbX ]와 동일하게 설정된다.
- 그렇지 않으면, candLwipModeX는 -1과 동일하게 설정된다.
- 그렇지 않으면, candLwipModeX는 표 8-X1에 지정된 바와 같이 IntraPredModeY[ xNbX ][ yNbX ] 및 sizeId를 사용하여 도출된다.
3. candLwipModeList[ x ](x = 0..2)는 표 8-X2에 지정된 바와 같은 lwipMpmCand[ sizeId ]를 사용하여 다음과 같이 도출된다:
- candLwipModeA와 candLwipModeB가 양자 모두 -1이면, 다음이 적용된다:
- 그렇지 않으면, 다음이 적용된다:
- candLwipModeA가 candLwipModeB와 동일하거나 candLwipModeA 또는 candLwipModeB 중 어느 하나가 -1이면, 다음이 적용된다:
- candLwipModeList[ 0 ]이 lwipMpmCand[ sizeId ][ 0 ]과 동일하면, 다음이 적용된다:
- 그렇지 않으면, 다음이 적용된다:
- 그렇지 않으면, 다음이 적용된다:
- candLwipModeA와 candLwipModeB가 양자 모두 lwipMpmCand[ sizeId ][ 0 ]과 동일하지 않으면, 다음이 적용된다:
- 그렇지 않으면, 다음이 적용된다:
- candLwipModeA와 candLwipModeB가 양자 모두 lwipMpmCand[ sizeId ][ 1 ]과 동일하지 않으면, 다음이 적용된다:
- 그렇지 않으면, 다음이 적용된다:
4. IntraPredModeY[ xCb ][ yCb ]는 다음의 절차를 적용함으로써 도출된다:
- intra_lwip_mpm_flag[ xCb ][ yCb ]가 1이면, IntraPredModeY[ xCb ][ yCb ]는 candLwipModeList[ intra_lwip_mpm_idx[ xCb ][ yCb ] ]와 동일하게 설정된다.
- 그렇지 않으면, IntraPredModeY[ xCb ][ yCb ]는 다음의 순서화된 단계들을 적용함으로써 도출된다:
1. candLwipModeList[ i ]가 i = 0..1에 대해 candLwipModeList[ j ]보다 크고, 각각의 i에 대해 j = ( i + 1 )..2일 때, 양자 모두의 값들은 다음과 같이 스와핑된다:
2. IntraPredModeY[ xCb ][ yCb ]는 다음의 순서화된 단계들에 의해 도출된다:
i. IntraPredModeY[ xCb ][ yCb ]는 intra_lwip_mpm_remainder[ xCb ][ yCb ]와 동일하게 설정된다.
ii. i가 0 내지 2(경계값 포함)와 동일한 경우, IntraPredModeY[ xCb ][ yCb ]가 candLwipModeList[ i ] 이상일 때, IntraPredModeY[ xCb ][ yCb ]의 값은 1씩 증분된다.
x = xCb..xCb + cbWidth - 1이고 y = yCb..yCb + cbHeight - 1인 변수 IntraPredModeY[ x ][ y ]는 IntraPredModeY[ xCb ][ yCb ]와 동일하게 설정된다.
8.4.X.1 예측 블록 크기 타입에 대한 도출 프로세스
이 프로세스에 대한 입력은 다음과 같다:
- 루마 샘플들에서 현재 코딩 블록의 폭을 지정하는 변수 cbWidth,
- 루마 샘플들에서 현재 코딩 블록의 높이를 지정하는 변수 cbHeight.
이 프로세스의 출력은 변수 sizeId이다.
변수 sizeId는 다음과 같이 도출된다:
- cbWidth와 cbHeight 양자 모두가 4이면, sizeId는 0으로 설정된다.
- 그렇지 않고, cbWidth와 cbHeight 양자 모두가 8 이하이면, sizeId는 1로 설정된다.
- 그렇지 않으면, sizeId는 2로 설정된다.
<end>
8.4.2. 루마 인트라 예측 모드에 대한 도출 프로세스
이 프로세스에 대한 입력은 다음과 같다:
- 현재 픽처의 상단 좌측 루마 샘플에 대한 현재 루마 코딩 블록의 상단-좌측 샘플을 지정하는 루마 위치(xCb, yCb),
- 루마 샘플들에서 현재 코딩 블록의 폭을 지정하는 변수 cbWidth,
- 루마 샘플들에서 현재 코딩 블록의 높이를 지정하는 변수 cbHeight.
이 프로세스에서, 루마 인트라 예측 모드 IntraPredModeY[ xCb ][ yCb ]가 도출된다.
표 8-1은 인트라 예측 모드 IntraPredModeY[ xCb ][ yCb ]에 대한 값 및 연관된 명칭들을 지정한다.
주석 - : 인트라 예측 모드들 INTRA_LT_CCLM, INTRA_L_CCLM 및 INTRA_T_CCLM은 크로마 성분들에만 적용가능하다.
IntraPredModeY[ xCb ][ yCb ]는 다음의 순서화된 단계들에 의해 도출된다:
1. 이웃 위치들 (xNbA, yNbA) 및 (xNbB, yNbB)은 각각 ( xCb - 1, yCb + cbHeight - 1 ) 및 ( xCb + cbWidth - 1, yCb - 1)과 동일하게 설정된다.
2. X가 A 또는 B로 대체되는 경우, 변수들 candIntraPredModeX는 다음과 같이 도출된다:
- 조항 <begin> 6.4.X [Ed. (BB): 이웃 블록들 가용성 검사 프로세스 tbd] <end> 에 지정된 바와 같은 블록에 대한 가용성 도출 프로세스는 (xCb, yCb)와 동일하게 설정된 위치 (xCurr, yCurr) 및 (xNbX, yNbX)와 동일하게 설정된 이웃 위치 (xNbY, yNbY)를 입력들로 하여 호출되고, 출력은 availableX에 할당된다.
- 후보 인트라 예측 모드 candIntraPredModeX는 다음과 같이 도출된다:
- 다음의 조건들 중 하나 이상이 참이면, candIntraPredModeX는 INTRA_PLANAR과 동일하게 설정된다.
- 변수 availableX는 FALSE와 동일하다.
- CuPredMode[ xNbX ][ yNbX ]는 MODE_INTRA와 동일하지 않고 ciip_flag[ xNbX ][ yNbX ]는 1과 동일하지 않다.
- pcm_flag[ xNbX ][ yNbX ]는 1과 동일하다.
- X는 B와 동일하고, yCb-1은 ( ( yCb >> CtbLog2SizeY ) << CtbLog2SizeY )보다 작다.
- 그렇지 않으면, candIntraPredModeX는 다음과 같이 도출된다:
- intra_lwip_flag[ xCb ][ yCb ]가 1이면, candIntraPredModeX는 다음의 순서화된 단계들에 의해 도출된다:
i. 조항 8.4.X.1에 지정된 바와 같은 블록에 대한 크기 타입 도출 프로세스는 루마 샘플들에서의 현재 코딩 블록의 폭 cbWidth 및 루마 샘플들에서의 현재 코딩 블록의 높이 cbHeight를 입력으로 하여 호출되고, 출력은 변수 sizeId에 할당된다.
ii. candIntraPredModeX는 표 8-X3에 지정된 바와 같은 IntraPredModeY[ xNbX ][ yNbX ] 및 sizeId를 사용하여 도출된다.
- 그렇지 않으면, candIntraPredModeX는 IntraPredModeY[ xNbX ][ yNbX ]와 동일하게 설정된다.
3. 변수들 ispDefaultMode1 및 ispDefaultMode2는 다음과 같이 정의된다:
- IntraSubPartitionsSplitType가 ISP_HOR_SPLIT와 동일하면, ispDefaultMode1은 INTRA_ANGULAR18과 동일하게 설정되고 ispDefaultMode2는 INTRA_ANGULAR5와 동일하게 설정된다.
- 그렇지 않으면, ispDefaultMode1은 INTRA_ANGULAR50과 동일하게 설정되고, ispDefaultMode2는 INTRA_ANGULAR63과 동일하게 설정된다.
…
8.4.3 크로마 인트라 예측 모드에 대한 도출 프로세스
이 프로세스에 대한 입력은 다음과 같다:
- 현재 픽처의 상단 좌측 루마 샘플에 대한 현재 크로마 코딩 블록의 상단-좌측 샘플을 지정하는 루마 위치(xCb, yCb),
- 루마 샘플들에서 현재 코딩 블록의 폭을 지정하는 변수 cbWidth,
- 루마 샘플들에서 현재 코딩 블록의 높이를 지정하는 변수 cbHeight.
이 프로세스에서, 크로마 인트라 예측 모드 IntraPredModeC[ xCb ][ yCb ]가 도출된다.
대응하는 루마 인트라 예측 모드 lumaIntraPredMode는 다음과 같이 도출된다:
- intra_lwip_flag[ xCb ][ yCb ]가 1이면, lumaIntraPredMode는 다음의 순서화된 단계들에 의해 도출된다:
i. 조항 8.4.X.1에 지정된 바와 같은 블록에 대한 크기 타입 도출 프로세스는 루마 샘플들에서의 현재 코딩 블록의 폭 cbWidth 및 루마 샘플들에서의 현재 코딩 블록의 높이 cbHeight를 입력으로 하여 호출되고, 출력은 변수 sizeId에 할당된다.
ii. 루마 인트라 예측 모드는 표 8-X3에 지정된 바와 같은 IntraPredModeY[ xCb + cbWidth / 2 ][ yCb + cbHeight / 2 ] 및 sizeId를 사용하고 candIntraPredModeX의 값을 lumaIntraPredMode에 할당하여 도출된다.
- 그렇지 않으면, lumaIntraPredMode는 IntraPredModeY[ xCb + cbWidth / 2 ][ yCb + cbHeight / 2 ]와 동일하게 설정된다.
크로마 인트라 예측 모드 IntraPredModeC[ xCb ][ yCb]는 표 8-2 및 표 8-3에 지정된 바와 같은 intra_chroma_pred_mode[ xCb ][ yCb ] 및 lumaIntraPredMode를 사용하여 도출된다.
…
xxx. 인트라 샘플 예측
<begin>
이 프로세스에 대한 입력들은 다음과 같다:
- 현재 픽처의 상단 좌측 샘플에 대한 현재 변환 블록의 상단-좌측 샘플을 지정하는 샘플 위치 (xTbCmp, yTbCmp),
- 인트라 예측 모드를 지정하는 변수 predModeIntra,
- 변환 블록 폭을 지정하는 변수 nTbW,
- 변환 블록 높이를 지정하는 변수 nTbH,
- 코딩 블록 폭을 지정하는 변수 nCbW,
- 코딩 블록 높이를 지정하는 변수 nCbH,
- 현재 블록의 컬러 성분을 지정하는 변수 cIdx.
이 프로세스의 출력들은 예측된 샘플들 predSamples[ x ][ y ](x = 0..nTbW - 1, y = 0..nTbH - 1)이다.
예측된 샘플들 predSamples[ x ][ y ]는 다음과 같이 도출된다:
- intra_lwip_flag[ xTbCmp ][ yTbCmp ]가 1이고 cIdx가 0이면, 조항 8.4.4.2.X1에 지정된 바와 같은 아핀 선형 가중 인트라 샘플 예측 프로세스가 위치( xTbCmp, yTbCmp ), 인트라 예측 모드 predModeIntra, 변환 블록 폭 nTbW 및 높이 nTbH를 입력들로 하여 호출되고, 출력은 predSamples이다.
- 그렇지 않으면, 조항 8.4.4.2.X1.에 지정된 바와 같은 일반적인 인트라 샘플 예측 프로세스가 위치( xTbCmp, yTbCmp ), 인트라 예측 모드 predModeIntra, 변환 블록 폭 nTbW 및 높이 nTbH, 코딩 블록 폭 nCbW 및 높이 nCbH, 및 변수 cIdx를 입력들로 하여 호출되고, 출력은 predSamples이다.
8.4.4.2.X1 아핀 선형 가중 인트라 샘플 예측
이 프로세스에 대한 입력들은 다음과 같다:
- 현재 픽처의 상단 좌측 샘플에 대한 현재 변환 블록의 상단-좌측 샘플을 지정하는 샘플 위치( xTbCmp, yTbCmp ),
- 인트라 예측 모드를 지정하는 변수 predModeIntra,
- 변환 블록 폭을 지정하는 변수 nTbW,
- 변환 블록 높이를 지정하는 변수 nTbH.
이 프로세스의 출력들은 예측된 샘플들 predSamples[ x ][ y ](x = 0..nTbW - 1, y = 0..nTbH - 1)이다.
조항 8.4.X.1에 지정된 바와 같은 블록에 대한 크기 타입 도출 프로세스는 변환 블록 폭 nTbW 및 변환 블록 높이 nTbH를 입력으로 하여 호출되고, 출력은 변수 sizeId에 할당된다.
변수들 numModes, boundarySize, predW, predH 및 predC는 표 8-X4에 지정된 바와 같은 sizeId를 사용하여 도출된다.
플래그 isTransposed는 다음과 같이 도출된다:
플래그들 needUpsBdryHor 및 needUpsBdryVer은 다음과 같이 도출된다:
변수들 upsBdryW 및 upsBdryH는 다음과 같이 도출된다:
변수들 lwipW 및 lwipH는 다음과 같이 도출된다:
참조 샘플들 refT[ x ](x = 0..nTbW - 1) 및 refL[ y ](y = 0..nTbH - 1)의 생성을 위해, 조항 8.4.4.2.X2에 지정된 바와 같은 참조 샘플 도출 프로세스가 샘플 위치 ( xTbCmp, yTbCmp ), 변환 블록 폭 nTbW, 변환 블록 높이 nTbH를 입력들로 하여, 그리고 상단 및 좌측 참조 샘플들 refT[ x ](x = 0..nTbW - 1) 및 refL[ y ](y = 0..nTbH - 1)를, 각각, 출력들로 하여 호출된다.
경계 샘플들 p[ x ](x = 0..2 * boundarySize - 1)의 생성을 위해, 다음이 적용된다:
- 조항 8.4.4.2.X3에 지정된 바와 같은 경계 감소 프로세스는 상단 참조 샘플들에 대해 블록 크기 nTbW, 참조 샘플들 refT, 경계 크기 boundarySize, 업샘플링 경계 플래그 needUpsBdryVer, 및 업샘플링 경계 크기 upsBdryW를 입력들로 하여, 그리고 감소된 경계 샘플들 redT[ x ](x = 0..boundarySize - 1) 및 업샘플링 경계 샘플들 upsBdryT[ x ](x = 0..upsBdryW - 1)을 출력들로 하여 호출된다.
- 조항 8.4.4.2.X3에 지정된 바와 같은 경계 감소 프로세스는 좌측 참조 샘플들에 대해 블록 크기 nTbH, 참조 샘플들 refL, 경계 크기 boundarySize, 업샘플링 경계 플래그 needUpsBdryHor, 및 업샘플링 경계 크기 upsBdryH를 입력들로 하여, 그리고 감소된 경계 샘플들 redL[ x ](x = 0..boundarySize - 1) 및 업샘플링 경계 샘플들 upsBdryL[ x ](x = 0..upsBdryH - 1)을 출력들로 하여 호출된다.
- 감소된 상단 및 좌측 경계 샘플들 redT 및 redL은 다음과 같이 경계 샘플 어레이 p에 할당된다:
- isTransposed가 1이면, p[ x ]는 redL[ x ](x = 0..boundarySize - 1)와 동일하게 설정되고, p[ x + boundarySize ]는 redT[ x ](x = 0..boundarySize - 1)와 동일하게 설정된다.
- 그렇지 않으면, p[ x ]는 redT[ x ](x = 0..boundarySize - 1)와 동일하게 설정되고, p[ x + boundarySize ]는 redL[ x ](x = 0..boundarySize - 1)와 동일하게 설정된다.
predModeIntra에 따른 인트라 샘플 예측 프로세스에 대해, 다음의 순서화된 단계들이 적용된다:
1. 아핀 선형 가중 샘플들 predLwip[ x ][ y ](x = 0..lwipW - 1, y = 0..lwipH - 1)은 다음과 같이 도출된다:
- 변수 modeId는 다음과 같이 도출된다:
- 가중치 행렬 mWeight[ x ][ y ](x = 0..2 * boundarySize - 1, y = 0..predC * predC - 1)는 표 8-XX [TBD: 가중치 행렬들 추가]에 지정된 바와 같은 sizeId 및 modeId를 사용하여 도출된다.
- 바이어스 벡터 vBias[ y ](y = 0..predC * predC - 1)는 표 8-XX [TBD: 바이어스 벡터들 추가]에 지정된 바와 같은 sizeId 및 modeId를 사용하여 도출된다.
- 변수 sW는 표 8-X5에 지정된 바와 같은 sizeId 및 modeId를 사용하여 도출된다.
- 아핀 선형 가중 샘플들 predLwip[ x ][ y ](x = 0..lwipW - 1, y = 0..lwipH - 1)은 다음과 같이 도출된다:
2. 예측된 샘플들 predSamples[ x ][ y ](x = 0..nTbW - 1, y = 0..nTbH - 1)는 다음과 같이 도출된다:
- isTransposed가 1일 때, predLwip[ x ][ y ](x = 0..predW - 1, y = 0..predH - 1)는 predLwip[ y ][ x ]와 동일하게 설정된다.
- needUpsBdryVer이 TRUE이거나 needUpsBdryHor이 TRUE이면, 조항 8.4.4.2.X4에 지정된 바와 같은 예측 업샘플링 프로세스는 입력 블록 폭 predW, 입력 블록 높이 predH, 아핀 선형 가중 샘플들 predLwip, 변환 블록 폭 nTbW, 변환 블록 높이 nTbH, 업샘플링 경계 폭 upsBdryW, 업샘플링 경계 높이 upsBdryH, 상단 업샘플링 경계 샘플들 upsBdryT, 및 좌측 업샘플링 경계 샘플들 upsBdryL을 입력들로 하여 호출되고, 출력은 예측된 샘플 어레이 predSamples이다.
- 그렇지 않으면, predSamples[ x ][ y ](x = 0..nTbW - 1, y = 0..nTbH - 1)는 predLwip[ x ][ y ]와 동일하게 설정된다.
8.4.4.2.X2 참조 샘플 도출 프로세스
이 프로세스에 대한 입력들은 다음과 같다:
- 현재 픽처의 상단 좌측 루마 샘플에 대한 현재 변환 블록의 상단-좌측 루마 샘플을 지정하는 샘플 위치( xTbY, yTbY ),
- 변환 블록 폭을 지정하는 변수 nTbW,
- 변환 블록 높이를 지정하는 변수 nTbH.
이 프로세스의 출력들은 각각 상단 및 좌측 참조 샘플들 refT[ x ](x = 0..nTbW - 1) 및 refL[ y ](y = 0..nTbH - 1)이다.
이웃 샘플들 refT[ x ](x = 0..nTbW - 1) 및 refL[ y ](y = 0..nTbH - 1)은 인-루프 필터 프로세스 전에 구성된 샘플들이고 다음과 같이 도출된다:
- 상단 및 좌측 이웃 루마 위치들 (xNbT, yNbT) 및 (xNbL, yNbL)은 다음에 의해 지정된다:
- 조항 6.4.X [Ed. (BB): 이웃 블록들 가용성 검사 프로세스 tbd]에 지정된 바와 같은 블록에 대한 가용성 도출 프로세스는 (xTbY, yTbY)와 동일하게 설정된 현재 루마 위치 (xCurr, yCurr) 및 상단 이웃 루마 위치 (xNbT, yNbT)를 입력들로 하여 호출되고, 출력은 availTop[ x ](x = 0..nTbW - 1)에 할당된다.
- 조항 6.4.X [Ed. (BB): 이웃 블록들 가용성 검사 프로세스 tbd]에 지정된 바와 같은 블록에 대한 가용성 도출 프로세스는 (xTbY, yTbY)와 동일하게 설정된 현재 루마 위치 (xCurr, yCurr) 및 좌측 이웃 루마 위치 (xNbL, yNbL)를 입력들로 하여 호출되고, 출력은 availLeft[ y ](y = 0..nTbH - 1)에 할당된다.
- 상단 참조 샘플들 refT[ x ](x = 0..nTbW - 1)는 다음과 같이 도출된다:
- 모든 availTop[ x ](x = 0..nTbW - 1)가 TRUE이면, 위치 ( xNbT, yNbT )에 있는 샘플은 refT[ x ](x = 0..nTbW - 1)에 할당된다.
- 그렇지 않고, availTop[ 0 ]이 FALSE이면, 모든 refT[ x ](x = 0..nTbW - 1)는 1 << ( BitDepth Y - 1 )과 동일하게 설정된다.
- 그렇지 않으면, 참조 샘플들 refT[ x ](x = 0..nTbW - 1)는 다음의 순서화된 단계들에 의해 도출된다:
1. 변수 lastT는 FALSE와 동일한 x = 1..nTbW - 1인 시퀀스 availTop[ x ]에서의 제1 요소의 위치 x와 동일하게 설정된다.
2. 모든 x = 0..lastT - 1에 대해, 위치 ( xNbT, yNbT )에 있는 샘플은 refT[ x ]에 할당된다.
3. 모든 x = lastT..nTbW - 1에 대해, refT[ x ]는 refT[ lastT - 1 ] 과 동일하게 설정된다.
- 좌측 참조 샘플들 refL[ y ](x = 0..nTbH - 1)는 다음과 같이 도출된다:
- 모든 availLeft[ y ](y = 0..nTbH - 1가 TRUE이면, 위치 ( xNbL, yNbL )에 있는 샘플은 refL[ y ](y = 0..nTbH - 1)에 할당된다.
- 그렇지 않고, availLeft[ 0 ]이 FALSE이면, 모든 refL[ y ](y = 0..nTbH - 1)는 1 << ( BitDepth Y - 1 )과 동일하게 설정된다.
- 그렇지 않으면, 참조 샘플들 refL[ y ](y = 0..nTbH - 1)는 다음의 순서화된 단계들에 의해 도출된다:
1. 변수 lastL는 FALSE와 동일한 y = 1..nTbH - 1인 시퀀스 availLeft[ y ]에서의 제1 요소의 위치 y와 동일하게 설정된다.
2. 모든 y = 0..lastL - 1에 대해, 위치 ( xNbL, yNbL )에 있는 샘플은 refL[ y ]에 할당된다.
3. 모든 y = lastL..nTbH - 1에 대해, refL[ y ]는 refL[ lastL - 1 ]과 동일하게 설정된다.
경계 감소 프로세스의 사양
이 프로세스에 대한 입력들은 다음과 같다:
- 변환 블록 크기를 지정하는 변수 nTbX,
- 참조 샘플들 refX[ x ](x = 0..nTbX - 1),
- 다운샘플링된 경계 크기를 지정하는 변수 boundarySize,
- 중간 경계 샘플들이 업샘플링을 위해 요구되는지를 지정하는 플래그 needUpsBdryX,
- 업샘플링을 위한 경계 크기를 지정하는 변수 upsBdrySize.
이 프로세스의 출력들은 감소된 경계 샘플들 redX[ x ](x = 0..boundarySize - 1) 및 업샘플링 경계 샘플들 upsBdryX[ x ](x = 0..upsBdrySize - 1)이다.
업샘플링 경계 샘플들 upsBdryX[ x ](x = 0..upsBdrySize - 1)는 다음과 같이 도출된다:
- needUpsBdryX가 TRUE이고 upsBdrySize가 nTbX 미만이면, 다음이 적용된다:
- 그렇지 않으면(upsBdrySize가 nTbX와 동일하면), upsBdryX[ x ]는 refX[ x ]와 동일하게 설정된다.
감소된 경계 샘플들 redX[ x ](x = 0..boundarySize - 1)는 다음과 같이 도출된다:
- boundarySize가 upsBdrySize 미만이면, 다음이 적용된다:
- 그렇지 않으면(boundarySize가 upsBdrySize와 동일하면), redX[ x ]는 upsBdryX[ x ]와 동일하게 설정된다.
8.4.4.2.X4 예측 업샘플링 프로세스의 사양
이 프로세스에 대한 입력들은 다음과 같다:
- 입력 블록 폭을 지정하는 변수 predW,
- 입력 블록 높이를 지정하는 변수 predH,
- 아핀 선형 가중 샘플들 predLwip[ x ][ y ](x = 0..predW - 1, y = 0..predH - 1),
- 변환 블록 폭을 지정하는 변수 nTbW,
- 변환 블록 높이를 지정하는 변수 nTbH,
- 업샘플링 경계 폭을 지정하는 변수 upsBdryW,
- 업샘플링 경계 높이를 지정하는 변수 upsBdryH,
- 상단 업샘플링 경계 샘플들 upsBdryT[ x ](x = 0..upsBdryW - 1),
- 좌측 업샘플링 경계 샘플들 upsBdryL[ x ](x = 0..upsBdryH - 1).
이 프로세스의 출력들은 예측된 샘플들 predSamples[ x ][ y ](x = 0..nTbW - 1, y = 0..nTbH - 1)이다.
희소 예측된 샘플들 predSamples[ m ][ n ]은 다음과 같이 predLwip[ x ][ y ](x = 0..predW - 1, y = 0..predH - 1)로부터 도출된다:
상단 경계 샘플들 upsBdryT[ x ](x = 0..upsBdryW - 1)는 다음과 같이 predSamples[ m ][ -1 ]에 할당된다:
좌측 경계 샘플들 upsBdryL[ y ](y = 0..upsBdryH - 1)는 다음과 같이 predSamples[ -1 ][ n ]에 할당된다:
예측된 샘플들 predSamples[ x ][ y ](x = 0..nTbW - 1, y = 0..nTbH - 1)는 다음과 같이 도출된다:
- nTbH가 nTbW보다 크면, 다음의 순서화된 단계들이 적용된다:
1. upHor이 1보다 클 때, 모든 희소 위치들 ( xHor, yHor ) = ( m * upHor - 1, n * upVer - 1 ) (m = 0..predW - 1, n = 1..predH)에 대한 수평 업샘플링이 다음과 같이 dX = 1..upHor - 1로 적용된다:
2. 모든 희소 위치들 ( xVer, yVer ) = ( m, n * upVer - 1 ) (m = 0..nTbW - 1, n = 0..predH - 1)에 대한 수직 업샘플링이 다음과 같이 dY = 1..upVer - 1로 적용된다:
- 그렇지 않으면, 다음의 순서화된 단계들이 적용된다:
1. upVer이 1보다 클 때, 모든 희소 위치들 ( xVer, yVer ) = ( m * upHor - 1, n * upVer - 1 ) (m = 1..predW, n = 0..predH - 1)에 대한 수직 업샘플링이 (8-X40)에 지정된 바와 같은 dY = 1..upVer - 1로 적용된다.
2. 모든 희소 위치들 ( xHor, yHor ) = ( m * upHor - 1, n ) (m = 0..predW - 1, n = 0..nTbH - 1)에 대한 수평 업샘플링이 (8-X39)에 지정된 바와 같은 dX = 1..upHor - 1로 적용된다.
<end>
<end>
ALWIP의 개요
폭 W 및 높이 H의 직사각형 블록의 샘플들을 예측하기 위해, 아핀 선형 가중 인트라 예측(ALWIP)은 블록의 좌측에 있는 H개의 재구성된 이웃 경계 샘플의 하나의 라인 및 블록 상측에 있는 W개의 재구성된 이웃 경계 샘플의 하나의 라인을 입력으로서 취한다. 재구성된 샘플들이 이용불가능한 경우, 이들은 종래의 인트라 예측에서 행해지는 바와 같이 생성된다. ALWIP는 루마 인트라 블록에만 적용된다. 크로마 인트라 블록의 경우, 종래의 인트라 코딩 모드들이 적용된다.
예측 신호의 생성은 다음의 3개의 단계에 기초한다:
1. 경계 샘플들 중에서, W=H=4인 경우에 4개의 샘플 및 모든 다른 경우에 8개의 샘플이 평균화에 의해 추출된다.
2. 오프셋의 가산이 뒤따르는 행렬 벡터 곱셈은 입력으로서 평균화된 샘플들을 사용하여 수행된다. 그 결과는 원래의 블록에서의 샘플들의 서브샘플링된 세트에 대한 감소된 예측 신호이다.
3. 나머지 위치들에서의 예측 신호는, 각각의 방향에서 단일 단계 선형 보간인 선형 보간에 의해 서브샘플링된 세트에 대한 예측 신호로부터 생성된다.
ALWIP 모드가 적용되는 경우, ALWIP 모드의 인덱스 predmode는 3개의 MPM을 갖는 MPM-리스트를 사용하여 시그널링된다. 여기서, MPM들의 도출은 다음과 같이 상측 및 좌측 PU의 인트라 모드들을 사용하여 수행된다. 각각의 종래의 인트라 예측 모드 predmodeAngular에 할당하는 3개의 고정 테이블 map_angular_to_alwipidx, idx∈{0,1,2}가 있으며, ALWIP 모드
폭(W) 및 높이(H)의 각각의 PU에 대해, 아래 인덱스
를 정의하며, 이는 3개의 세트 중 어느 것으로부터 ALWIP-파라미터들이 취해져야 하는지를 표시한다.
상측 예측 유닛(PUabove)이 이용가능하고, 현재 PU와 동일한 CTU에 속하며, 인트라 모드에 있는 경우, idx(PU)=idx(PUabove)인 경우 및 ALWIP가 ALWIP-모드 로 PUabove에 적용되는 경우, 다음과 같이 된다:
.
상측 PU가 이용가능하고, 현재 PU와 동일한 CTU에 속하고 인트라 모드에 있는 경우 및 종래의 인트라 예측 모드 가 상측 PU에 적용되는 경우, 다음과 같이 된다:
.
모든 다른 경우들에서,
가 되고, 이는 이 모드가 이용불가능하다는 것을 의미한다. 동일한 방식으로 그러나 좌측 PU가 현재 PU와 동일한 CTU에 속할 필요가 있다는 제한 없이, 모드 를 도출한다.
마지막으로, 3개의 고정된 디폴트 리스트 listidx, idx∈{0,1,2}가 제공되고, 이들 각각은 3개의 별개의 ALWIP 모드를 포함한다. 디폴트 리스트 listidx(PU) 및 모드들 및 중에서, 반복들을 제거할 뿐만 아니라 디폴트 값들에 의해 -1을 치환함으로써 3개의 별개의 MPM을 구성한다.
루마 MPM-리스트 도출을 위해, ALWIP-모드 를 사용하는 이웃 루마 블록을 만날 때마다, 이 블록은 종래의 인트라 예측 모드 을 사용하는 것처럼 취급된다.
3 VVC에서의 변환
3.1 다중 변환 선택(multiple transform selection, MTS)
HEVC에서 채용된 DCT-II 외에도, 인터 및 인트라 코딩된 블록들 양자 모두를 잔차 코딩하기 위해 다중 변환 선택(MTS) 방식이 사용된다. 이는 DCT8/DST7로부터의 다중 선택된 변환들을 사용한다. 새롭게 도입된 변환 행렬들은 DST-VII 및 DCT-VIII이다.
3.2 JVET-N0193에서 제안된 감소된 2차 변환(Reduced Secondary Transform, RST)
감소된 2차 변환(RST)은 4x4 및 8x8 블록들에 대해 각각 16x16 및 16x64 비-분리형 변환을 적용한다. 1차 순방향 변환 및 역변환은 2개의 1-D 수평/수직 변환 패스들과 동일한 방식으로 여전히 수행된다. 2차 순방향 변환 및 역변환은 1차 변환들과는 별개의 프로세스 단계이다. 인코더의 경우, 1차 순방향 변환이 먼저 수행된 다음, 2차 순방향 변환 및 양자화, 그리고 CABAC 비트 인코딩이 후속된다. 디코더의 경우, CABAC 비트 디코딩 및 역양자화, 이어서 2차 역변환이 먼저 수행된 다음, 1차 역변환이 후속된다. RST는 인트라 슬라이스 및 인터 슬라이스들 양자 모두에서 인트라 코딩된 TU들에만 적용된다.
3.3 JVET-N0185에서의 인트라 모드 코딩을 위한 통합 MPM 리스트
다중 참조 라인(MRL) 및 인트라 서브-파티션(ISP) 코딩 툴들이 적용되는지 여부에 관계없이 인트라 블록들에 대해 통합 6-MPM 리스트가 제안된다. MPM 리스트는 VTM4.0에서와 같이 좌측 및 상측 이웃 블록의 인트라 모드들에 기초하여 구성된다. 좌측의 모드가 Left로 표시되고 상측 블록의 모드가 Above로 표시된다고 가정하면, 통합 MPM 리스트는 다음과 같이 구성된다:
● 이웃 블록이 이용가능하지 않을 때, 그 인트라 모드는 디폴트로 평면(Planar)으로 설정된다.
● 양자 모두의 모드들 Left 및 Above가 비-각도 모드들이면:
a. MPM 리스트 → {평면, DC, V, H, V-4, V+4}
● 모드들 Left 및 Above 중 하나가 각도 모드이고, 다른 하나가 비-각도 모드이면:
a. 모드 Max를 Left 및 Above에서 더 큰 모드로서 설정한다
b. MPM 리스트 → {평면, Max, DC, Max -1, Max +1, Max -2}
● Left 및 Above가 양자 모두 각도 모드이고 이들이 상이하면:
a. 모드 Max를 Left 및 Above에서 더 큰 모드로서 설정한다
b. 모드 Left와 Above의 차이가 2 내지 62(경계값 포함)의 범위에 있으면
i. MPM 리스트 → {평면, Left, Above, DC, Max -1, Max +1}
c. 그렇지 않으면
i. MPM 리스트 → {평면, Left, Above, DC, Max -2, Max +2}
● Left 및 Above가 양자 모두 각도 모드이고 이들이 동일하면:
a. MPM 리스트 → {평면, Left, Left -1, Left +1, DC, Left -2}
게다가, MPM 인덱스 코드워드의 제1 빈은 CABAC 컨텍스트 코딩된다. 현재 인트라 블록이 MRL 가능형인지, ISP 가능형인지, 또는 정상 인트라 블록인지에 대응하는 총 3개의 컨텍스트가 사용된다.
통합 MPM 리스트 구성에서 사용되는 좌측 이웃 블록 및 상측 이웃 블록은 도 10에 도시된 바와 같이 A2 및 B2이다.
하나의 MPM 플래그가 먼저 코딩된다. 블록이 MPM 리스트에서의 모드 중 하나로 코딩되면, MPM 인덱스가 추가로 코딩된다. 그렇지 않으면, (MPM들을 제외한) 나머지 모드들에 대한 인덱스가 코딩된다.
4 구현들에서의 단점들의 예들
JVET-N0217에서의 ALWIP의 설계는 다음의 문제들을 갖는다:
1) 2019년 3월 JVET 회의에서, MRL 모드, ISP 모드, 및 정상 인트라 모드에 대해 통합 6-MPM 리스트 생성이 채택되었다. 그러나, 아핀 선형 가중 예측 모드는 MPM 리스트 구성을 복잡하게 만드는 상이한 3-MPM 리스트 구성을 사용한다. 복잡한 MPM 리스트 구성은, 특히 4x4 샘플들과 같은 작은 블록들에 대해, 디코더의 스루풋을 손상시킬 수 있다.
2) ALWIP는 블록의 루마 성분에만 적용된다. ALWP 코딩된 블록의 크로마 성분의 경우, 크로마 모드 인덱스가 코딩되어 디코더에 전송되며, 이는 불필요한 시그널링을 초래할 수 있다.
3) ALWIP와 다른 코딩 툴들의 상호작용들이 고려되어야 한다.
4) (8-X31)로 upsBdryX를 계산할 때, 은 -1과 동일하고, -1로 좌측 시프트되는 것은 정의되지 않는 것이 가능하다.
5) 예측 샘플들을 업샘플링할 때, 라운딩(rounding)이 적용되지 않는다.
6) 디블록킹(deblocking) 프로세스에서, ALWIP 코딩된 블록들은 정상 인트라-블록들로서 취급된다.
7) 너무 많은 컨텍스트(예를 들어, 4)가 ALWIP 플래그(예를 들어, intra_lwip_flag)를 코딩하는 데 사용된다.
8) 수직 업샘플링과 수평 업샘플링 양자 모두가 요구될 때, 업샘플링 순서는 블록 형상에 의존한다. 이것은 하드웨어 친화적이지 않다.
9) 선형 보간 필터는 업샘플링에 사용되며, 이는 비효율적일 수 있다.
5 행렬 기반 인트라 코딩을 위한 예시적인 방법들
현재 개시된 기술의 실시예들은 기존의 구현들의 단점들을 극복함으로써, 더 높은 코딩 효율들을 갖지만 더 낮은 계산 복잡도를 갖는 비디오 코딩을 제공한다. 본 문서에 설명된 바와 같이, 비디오 코딩을 위한 행렬 기반 인트라 예측 방법들은 기존의 및 장래의 비디오 코딩 표준들 양자 모두를 향상시킬 수 있고, 다양한 구현들에 대해 설명된 다음의 예들에서 설명된다. 아래에 제공되는 개시된 기술의 예들은 일반적인 개념들을 설명하는 것이며, 제한하는 것으로 해석되도록 의도되지 않는다. 일 예에서, 명시적으로 반대로 표시되지 않는 한, 이러한 예들에서 설명된 다양한 특징들은 조합될 수 있다.
다음의 논의에서, 인트라 예측 모드는 각도 인트라 예측 모드(DC, 평면, CCLM 및 다른 가능한 인트라 예측 모드들을 포함함)를 지칭하며; 인트라 모드는 정상 인트라 모드, 또는 MRL, 또는 ISP 또는 ALWIP를 지칭한다.
다음의 논의에서, "다른 인트라 모드들"은 정상 인트라 모드, 또는 MRL, 또는 ISP와 같은, ALWIP를 제외한 하나 또는 다수의 인트라 모드를 지칭할 수 있다.
다음의 논의에서, SatShift(x, n)는 다음과 같이 정의된다:
Shift(x, n)은 으로서 정의된다.
일 예에서, offset0 및/또는 offset1은 (1<<n)>>1 또는 (1<<(n-1))로 설정된다. 다른 예에서, offset0 및/또는 offset1은 0으로 설정된다.
다른 예에서, offset0=offset1= ((1<<n)>>1)-1 또는 ((1<<(n-1)))-1이다.
Clip3(min, max, x)은 다음과 같이 정의된다:
ALWIP에 대한 MPM 리스트 구성
1. ALWIP에 대한 MPM 리스트의 전부 또는 일부는 (정상 인트라 모드, MRL, 또는 ISP와 같은) 비-ALWIP 인트라 모드에 대한 MPM 리스트를 구성하기 위해 전부 또는 일부 절차에 따라 구성될 수 있다는 것이 제안된다.
a. 일 예에서, ALWIP에 대한 MPM 리스트의 크기는 비-ALWIP 인트라 모드에 대한 MPM 리스트의 크기와 동일할 수 있다.
i. 예를 들어, MPM 리스트의 크기는 ALWIP 및 비-ALWIP 인트라 모드들 양자 모두에 대해 6이다.
b. 일 예에서, ALWIP에 대한 MPM 리스트는 비-ALWIP 인트라 모드에 대한 MPM 리스트로부터 도출될 수 있다.
i. 일 예에서, 비-ALWIP 인트라 모드에 대한 MPM 리스트가 먼저 구성될 수 있다. 그 후, 이들 중 일부 또는 전부는 ALWIP 코딩된 블록들에 대한 MPM 리스트에 더 추가될 수 있는 MPM들로 전환될 수 있다.
1) 대안적으로, 또한, 전환된 MPM을 ALWIP 코딩된 블록들에 대한 MPM 리스트에 추가할 때, 프루닝(pruning)이 적용될 수 있다.
2) 디폴트 모드들은 ALWIP 코딩된 블록들에 대한 MPM 리스트에 추가될 수 있다.
a. 일 예에서, 디폴트 모드들은 비-ALWIP 인트라 모드의 MPM 리스트로부터 전환된 것들 이전에 추가될 수 있다.
b. 대안적으로, 디폴트 모드들은 비-ALWIP 인트라 모드의 MPM 리스트로부터 전환된 것들 이후에 추가될 수 있다.
c. 대안적으로, 디폴트 모드들은 비-ALWIP 인트라 모드의 MPM 리스트로부터 전환된 것들과 인터리브 방식(interleaved way)으로 추가될 수 있다.
d. 일 예에서, 디폴트 모드들은 모든 종류의 블록들에 대해 동일하도록 고정될 수 있다.
e. 대안적으로, 디폴트 모드들은 이웃 블록들의 가용성, 이웃 블록들의 모드 정보, 블록 치수와 같은 코딩된 정보에 따라 결정될 수 있다.
ii. 일 예에서, 비-ALWIP 인트라 모드에 대한 MPM 리스트에서의 하나의 인트라 예측 모드는, ALWIP에 대한 MPM 리스트에 넣어질 때, 그 대응하는 ALWIP 인트라 예측 모드로 전환될 수 있다.
1) 대안적으로, 비-ALWIP 인트라 모드들에 대한 MPM 리스트에서의 모든 인트라 예측 모드들은 ALWIP에 대한 MPM 리스트를 구성하기 위해 사용되기 전에 대응하는 ALWIP 인트라 예측 모드들로 전환될 수 있다.
2) 대안적으로, 모든 후보 인트라 예측 모드들(이웃 블록들로부터의 인트라 예측 모드들과 평면 및 DC와 같은 디폴트 인트라 예측 모드들을 포함할 수 있음)은, 비-ALWIP 인트라 모드들에 대한 MPM 리스트가 ALWIP에 대한 MPM 리스트를 도출하기 위해 추가로 사용될 수 있다면, 비-ALWIP 인트라 모드들에 대한 MPM 리스트를 구성하기 위해 사용되기 전에 대응하는 ALWIP 인트라 예측 모드들로 전환될 수 있다.
3) 일 예에서, 2개의 전환된 ALWIP 인트라 예측 모드가 비교될 수 있다.
a. 일 예에서, 이들이 동일하다면, 이들 중 하나만이 ALWIP에 대한 MPM 리스트에 넣어질 수 있다.
b. 일 예에서, 이들이 동일하다면, 이들 중 하나만이 비-ALWIP 인트라 모드들에 대한 MPM 리스트에 넣어질 수 있다.
iii. 일 예에서, 비-ALWIP 인트라 모드들에 대한 MPM 리스트에서의 S개의 인트라 예측 모드 중 K개가 ALWIP 모드에 대한 MPM 리스트로서 선택될 수 있다. 예를 들어, K는 3이고 S는 6이다.
1) 일 예에서, 비-ALWIP 인트라 모드들에 대한 MPM 리스트에서의 처음 K개의 인트라 예측 모드가 ALWIP 모드에 대한 MPM 리스트로서 선택될 수 있다.
2. ALWIP에 대한 MPM 리스트를 도출하는 데 사용되는 하나 또는 다수의 이웃 블록은 또한 (정상 인트라 모드, MRL, 또는 ISP와 같은) 비-ALWIP 인트라 모드들에 대한 MPM 리스트를 도출하는 데 사용될 수 있다는 것이 제안된다.
a. 일 예에서, ALWIP에 대한 MPM 리스트를 도출하는데 사용되는 현재 블록의 좌측에 있는 이웃 블록은 비-ALWIP 인트라 모드들에 대한 MPM 리스트를 도출하는데 사용되는 것과 동일해야 한다.
i. 현재 블록의 상단-좌측 코너가 (xCb, yCb)이고, 현재 블록의 폭 및 높이가 W 및 H라고 가정하면, 일 예에서, ALWIP 및 비-ALWIP 인트라 모드들 양자 모두에 대한 MPM 리스트를 도출하는 데 사용되는 좌측 이웃 블록은 위치(xCb-1, yCb)를 커버할 수 있다. 대안적인 예에서, ALWIP 및 비-ALWIP 인트라 모드들 양자 모두에 대한 MPM 리스트를 도출하는 데 사용되는 좌측 이웃 블록은 위치(xCb-1, yCb+H-1)를 커버할 수 있다.
ii. 예를 들어, 통합 MPM 리스트 구성에서 사용되는 좌측 이웃 블록 및 상측 이웃 블록은 도 10에 도시된 바와 같이 A2 및 B2이다.
b. 일 예에서, ALWIP에 대한 MPM 리스트를 도출하는데 사용되는 현재 블록의 상측에 있는 이웃 블록은 비-ALWIP 인트라 모드들에 대한 MPM 리스트를 도출하는데 사용되는 것과 동일해야 한다.
i. 현재 블록의 상단-좌측 코너가 (xCb, yCb)이고, 현재 블록의 폭 및 높이가 W 및 H라고 가정하면, 일 예에서, ALWIP 및 비-ALWIP 인트라 모드들 양자 모두에 대한 MPM 리스트를 도출하는 데 사용되는 상측 이웃 블록은 위치(xCb, yCb-1)를 커버할 수 있다. 대안적인 예에서, ALWIP 및 비-ALWIP 인트라 모드들 양자 모두에 대한 MPM 리스트를 도출하는 데 사용되는 상측 이웃 블록은 위치(xCb+W-1, yCb-1)를 커버할 수 있다.
ii. 예를 들어, 통합 MPM 리스트 구성에서 사용되는 좌측 이웃 블록 및 상측 이웃 블록은 도 10에 도시된 바와 같이 A1 및 B1이다.
3. ALWIP에 대한 MPM 리스트는 현재 블록의 폭 및/또는 높이에 따라 상이한 방식들로 구성될 수 있다는 것이 제안된다.
a. 일 예에서, 상이한 블록 치수들에 대해 상이한 이웃 블록들이 액세스될 수 있다.
4. ALWIP에 대한 MPM 리스트 및 비-ALWIP 인트라 모드들에 대한 MPM 리스트는 동일한 절차로 구성될 수 있지만 상이한 파라미터들로 구성될 수 있다는 것이 제안된다.
a. 일 예에서, 비-ALWIP 인트라 모드들의 MPM 리스트 구성 절차에서의 S개의 인트라 예측 모드 중 K개가 ALWIP 모드에서 사용되는 MPM 리스트에 대해 도출될 수 있다. 예를 들어, K는 3이고 S는 6이다.
i. 일 예에서, MPM 리스트 구성 절차에서의 처음 K개의 인트라 예측 모드가 ALWIP 모드에서 사용되는 MPM 리스트에 대해 도출될 수 있다.
b. 일 예에서, MPM 리스트에서의 제1 모드는 상이할 수 있다.
i. 예를 들어, 비-ALWIP 인트라 모드들에 대한 MPM 리스트에서의 제1 모드는 평면일 수 있지만, ALWIP에 대한 MPM 리스트에서의 모드 X0일 수 있다.
1) 일 예에서, X0은 평면으로부터 전환된 ALWIP 인트라 예측 모드일 수 있다.
c. 일 예에서, MPM 리스트에서의 스터핑 모드들은 상이할 수 있다.
i. 예를 들어, 비-ALWIP 인트라 모드들에 대한 MPM 리스트에서의 처음 3개의 스터핑 모드는 DC, 수직 및 수평일 수 있지만, 이들은 ALWIP에 대한 MPM 리스트에서의 모드 X1, X2, X3일 수 있다.
1) 일 예에서, X1, X2, X3은 상이한 sizeId에 대해 상이할 수 있다.
ii. 일 예에서, 스터핑 모드의 수는 상이할 수 있다.
d. 일 예에서, MPM 리스트에서의 이웃 모드들은 상이할 수 있다.
i. 예를 들어, 이웃 블록들의 정상 인트라 예측 모드들은 비-ALWIP 인트라 모드들에 대한 MPM 리스트를 구성하는 데 사용된다. 그리고 이들은 ALWIP 인트라 예측 모드들로 전환되어 ALWIP 모드에 대한 MPM 리스트를 구성한다.
e. 일 예에서, MPM 리스트에서의 시프트된 모드들은 상이할 수 있다.
i. 예를 들어, X+K0(여기서 X는 정상 인트라 예측 모드이고 K0은 정수임)이 비-ALWIP 인트라 모드들에 대한 MPM 리스트에 넣어질 수 있다. 그리고 Y+K1(여기서 Y는 ALWIP 인트라 예측 모드이고 K1은 정수임)은 ALWIP에 대한 MPM 리스트에 넣어질 수 있고, K0은 K1과 상이할 수 있다.
1) 일 예에서, K1은 폭 및 높이에 의존할 수 있다.
5. 비-ALWIP 인트라 모드들로 현재 블록에 대한 MPM 리스트를 구성할 때 ALWIP로 코딩되는 경우 이웃 블록이 이용불가능한 것으로서 취급된다는 것이 제안된다.
a. 대안적으로, 비-ALWIP 인트라 모드들로 현재 블록에 대한 MPM 리스트를 구성할 때 ALWIP로 코딩되는 경우 이웃 블록이 (평면과 같은) 미리 정의된 인트라 예측 모드로 코딩되는 것으로서 취급된다.
6. ALWIP 모드로 현재 블록에 대한 MPM 리스트를 구성할 때 비-ALWIP 인트라 모드들로 코딩되는 경우 이웃 블록이 이용불가능한 것으로서 취급된다는 것이 제안된다.
a. 대안적으로, ALWIP 모드로 현재 블록에 대한 MPM 리스트를 구성할 때 비-ALWIP 인트라 모드들로 코딩되는 경우 이웃 블록이 미리 정의된 ALWIP 인트라 예측 모드 X로 코딩되는 것으로서 취급된다.
i. 일 예에서, X는 폭 및/또는 높이와 같은 블록 치수들에 의존할 수 있다.
7. 라인 버퍼로부터 ALWIP 플래그의 저장을 제거하는 것이 제안된다.
a. 일 예에서, 액세스될 제2 블록이 현재 블록에 비해 상이한 LCU/CTU 행/영역에 위치할 때, 제2 블록이 ALWIP로 코딩되는지의 조건부 검사(conditional check)는 스킵된다.
b. 일 예에서, 액세스될 제2 블록이 현재 블록에 비해 상이한 LCU/CTU 행/영역에 위치할 때, 제2 블록은, 정상 인트라 코딩된 블록으로서 취급되는 것과 같은, 비-ALWIP 모드와 동일한 방식으로 취급된다.
8. ALWIP 플래그를 인코딩할 때, K(K>=0)개 이하의 컨텍스트가 사용될 수 있다.
a. 일 예에서, K=1이다.
9. ALWIP 모드와 연관된 모드 인덱스를 직접 저장하는 대신에 ALWIP 코딩된 블록들의 전환된 인트라 예측 모드를 저장하는 것이 제안된다.
a. 일 예에서, 하나의 ALWIP 코딩된 블록과 연관된 디코딩된 모드 인덱스는, 섹션 2.5.7에서 설명된 바와 같은 map_alwip_to_angular에 따라서와 같이, 정상 인트라 모드에 맵핑된다.
b. 대안적으로, 또한, ALWIP 플래그의 저장은 완전히 제거된다.
c. 대안적으로, 또한, ALWIP 모드의 저장은 완전히 제거된다.
d. 대안적으로, 또한, 하나의 이웃/현재 블록이 ALWIP 플래그로 코딩되는지의 조건부 검사는 스킵될 수 있다.
e. 대안적으로, 또한, ALWIP 코딩된 블록들에 대해 할당된 모드들의 전환 및 하나의 액세스된 블록과 연관된 정상 인트라 예측들이 스킵될 수 있다.
상이한 컬러 성분들에서의 ALWIP
10. 추론된 크로마 인트라 모드(예를 들어, DM 모드)는 대응하는 루마 블록이 ALWIP 모드로 코딩되는 경우 항상 적용될 수 있다는 것이 제안된다.
a. 일 예에서, 크로마 인트라 모드는 대응하는 루마 블록이 ALWIP 모드로 코딩되는 경우 시그널링 없이 DM 모드인 것으로 추론된다.
b. 일 예에서, 대응하는 루마 블록은 주어진 위치(예를 들어, 현재 크로마 블록의 상단-좌측, 현재 크로마 블록의 중심)에 위치한 크로마 샘플의 대응하는 샘플을 커버하는 것일 수 있다.
c. 일 예에서, DM 모드는 (ALWIP) 모드를 정상 인트라 모드 중 하나에 맵핑하는 것을 통해서와 같이, 대응하는 루마 블록의 인트라 예측 모드에 따라 도출될 수 있다.
11. 크로마 블록들의 대응하는 루마 블록이 ALWIP 모드로 코딩될 때, 몇몇 DM 모드들이 도출될 수 있다.
12. 하나의 대응하는 루마 블록이 ALWIP 모드로 코딩되는 경우 크로마 블록들에 특수 모드가 할당된다는 것이 제안된다.
a. 일 예에서, 특수 모드는 ALWIP 코딩된 블록들과 연관된 인트라 예측 모드에 관계없이 주어진 정상 인트라 예측 모드인 것으로 정의된다.
b. 일 예에서, 인트라 예측의 상이한 방식들이 이 특수 모드에 할당될 수 있다.
13. ALWIP가 또한 크로마 성분들에 적용될 수 있다는 것이 제안된다.
a. 일 예에서, 행렬 및/또는 바이어스 벡터는 상이한 컬러 성분들에 대해 상이할 수 있다.
b. 일 예에서, 행렬 및/또는 바이어스 벡터는 Cb 및 Cr에 대해 공동으로 미리 정의될 수 있다.
i. 일 예에서, Cb 및 Cr 성분은 연결될 수 있다.
ii. 일 예에서, Cb 및 Cr 성분은 인터리빙될 수 있다.
c. 일 예에서, 크로마 성분은 대응하는 루마 블록과 동일한 ALWIP 인트라 예측 모드를 공유할 수 있다.
i. 일 예에서, 대응하는 루마 블록이 ALWIP 모드를 적용하고 크로마 블록이 DM 모드로 코딩되는 경우, 동일한 ALWIP 인트라 예측 모드가 크로마 성분에 적용된다.
ii. 일 예에서, 동일한 ALWIP 인트라 예측 모드가 크로마 성분에 적용되고 그 후 선형 보간이 스킵될 수 있다.
iii. 일 예에서, 동일한 ALWIP 인트라 예측 모드가 서브샘플링된 행렬 및/또는 바이어스 벡터와 함께 크로마 성분에 적용된다.
d. 일 예에서, 상이한 성분에 대한 ALWIP 인트라 예측 모드의 수는 상이할 수 있다.
i. 예를 들어, 크로마 성분들에 대한 ALWIP 인트라 예측 모드의 수는 동일한 블록 폭 및 높이에 대한 루마 성분에 대한 것보다 적을 수 있다.
ALWIP의 적용가능성
14. ALWIP가 적용될 수 있는지가 시그널링될 수 있다는 것이 제안된다.
a. 예를 들어, 그것은 시퀀스 레벨에서(예를 들어, SPS에서), 픽처 레벨에서(예를 들어, PPS 또는 픽처 헤더에서), 슬라이스 레벨에서(예를 들어, 슬라이스 헤더에서), 타일 그룹 레벨에서(예를 들어, 타일 그룹 헤더에서), 타일 레벨에서, CTU 행 레벨에서, 또는 CTU 레벨에서 시그널링될 수 있다.
b. 예를 들어, intra_lwip_flag는 ALWIP가 적용될 수 없는 경우 시그널링되지 않고 0인 것으로 추론될 수 있다.
15. ALWIP가 적용될 수 있는지는 블록 폭(W) 및/또는 높이(H)에 의존할 수 있다는 것이 제안된다.
c. 예를 들어, W>=T1(또는 W>T1) 및 H>=T2(또는 H>T2)이면 ALWIP가 적용되지 않을 수 있다. 예를 들어, T1=T2=32;
i. 예를 들어, W<=T1(또는 W<T1) 및 H<=T2(또는 H<T2)이면 ALWIP가 적용되지 않을 수 있다. 예를 들어, T1=T2=32;
d. 예를 들어, W>=T1(또는 W>T1) 또는 H>=T2(또는 H>T2)이면 ALWIP가 적용되지 않을 수 있다. 예를 들어, T1=T2=32;
i. 예를 들어, W<=T1(또는 W<T1) 또는 H<=T2(또는 H<T2)이면 ALWIP가 적용되지 않을 수 있다. 예를 들어, T1=T2=32;
e. 예를 들어, W+H>=T(또는 W*H>T)이면 ALWIP가 적용되지 않을 수 있다. 예를 들어, T=256;
i. 예를 들어, W+H<=T(또는 W+H<T)이면 ALWIP가 적용되지 않을 수 있다. 예를 들어, T=256;
f. 예를 들어, W*H>=T(또는 W*H>T)이면 ALWIP가 적용되지 않을 수 있다. 예를 들어, T=256;
i. 예를 들어, W*H<=T(또는 W*H<T)이면 ALWIP가 적용되지 않을 수 있다. 예를 들어, T=256;
g. 예를 들어, intra_lwip_flag는 ALWIP가 적용될 수 없는 경우 시그널링되지 않고 0인 것으로 추론될 수 있다.
ALWIP에서의 산출 문제들
16. ALWIP에 수반되는 임의의 시프트 연산은 단지 S만큼 숫자를 좌측 시프트 또는 우측 시프트만 할 수 있으며, 여기서 S는 0 이상이어야 한다는 것이 제안된다.
a. 일 예에서, 우측 시프트 연산은 S가 0과 같거나 0보다 클 때 상이할 수 있다.
i. 일 예에서, upsBdryX[ x ]는 uDwn>1일 때 , 및 uDwn이 1일 때 로서 산출되어야 한다.
b. 일 예에서, upsBdryX[ x ]는 로서 산출되어야 한다.
17. ALWIP의 업샘플링 프로세스에서 결과들이 0을-향해 또는 0으로부터-멀리 라운딩되어야 한다는 것이 제안된다.
a. 일 예에서,
및
여기서 offsetHor 및 offsetVer은 정수들이다. 예를 들어, offsetHor=upHor/2 및 offsetVer=upVer/2이다.
다른 코딩 툴들과의 상호작용
18. ALWIP가 CIIP-코딩된 블록에 사용될 수 있다는 것이 제안된다.
a. 일 예에서, CIIP-코딩된 블록에서는, 인트라 예측 신호를 생성하기 위해 ALWIP 인트라 예측 모드 또는 평면과 같은 정상 인트라 예측 모드가 사용되는지가 명시적으로 시그널링될 수 있다.
b. 일 예에서, 인트라 예측 신호를 생성하기 위해 ALWIP 인트라 예측 모드 또는 평면과 같은 정상 인트라 예측 모드가 사용될 수 있는지가 암시적으로 추론될 수 있다.
i. 일 예에서, ALWIP 인트라 예측 모드는 CIIP 코딩된 블록에서 결코 사용되지 않을 수 있다.
1) 대안적으로, 정상 인트라 예측은 CIIP 코딩된 블록에서 결코 사용되지 않을 수 있다.
ii. 일 예에서, 인트라 예측 신호를 생성하기 위해 ALWIP 인트라 예측 모드 또는 평면과 같은 정상 인트라 예측 모드가 사용되는지가 이웃 블록들의 정보로부터 추론될 수 있다.
19. CCLM 모드에서 이웃 루마 샘플들을 다운샘플링하는 데 사용되는 절차의 전부 또는 일부가 ALWIP 모드에서 이웃 샘플들을 다운샘플링하는 데 사용될 수 있다는 것이 제안된다.
a. 대안적으로, ALWIP 모드에서 이웃 루마 샘플들을 다운샘플링하는 데 사용되는 절차의 전부 또는 일부가 CCLM 모드에서 이웃 샘플들을 다운샘플링하는 데 사용될 수 있다.
b. 다운샘플링 절차는 CCLM 프로세스 및 ALWIP 프로세스에서 사용될 때 상이한 파라미터들/인수들로 호출될 수 있다.
c. 일 예에서, CCLM 프로세스에서의 (이웃 루마 위치들의 선택, 다운샘플링 필터들과 같은) 다운샘플링 방법은 ALWIP 프로세스에서 이용될 수 있다.
d. 이웃 루마 샘플들을 다운샘플링하는 데 사용되는 절차는 다운샘플링된 위치들의 선택, 다운샘플링 필터들, 라운딩 및 클리핑 연산들을 적어도 포함한다.
20. ALWIP 모드로 코딩된 블록은 RST 또는/및 2차 변환 또는/및 회전 변환 또는/및 비-분리형 2차 변환(Non-Separable Secondary Transform, NSST)을 적용할 수 없다는 것이 제안된다.
a. 일 예에서, 이러한 제약이 적용될 수 있는지의 여부는, 예를 들어, (15)에서 설명된 조건들과 동일하게, 블록의 치수 정보에 의존할 수 있다.
b. 대안적으로, ALWIP 모드는 RST 또는/및 2차 변환 또는/및 회전 변환 또는/및 NSST가 적용될 때 허용되지 않을 수 있다.
c. 대안적으로, ALWIP 모드로 코딩된 블록은 RST 또는/및 2차 변환 또는/및 회전 변환 또는/및 비-분리형 2차 변환(NSST)을 적용할 수 있다.
i. 일 예에서, 변환 행렬의 선택은 ALWIP 인트라 예측 모드에 의존할 수 있다.
ii. 일 예에서, 변환 행렬의 선택은 ALWIP 인트라 예측 모드로부터 전환되는 정상 인트라 예측 모드에 의존할 수 있다.
iii. 일 예에서, 변환 행렬의 선택은 ALWIP 인트라 예측 모드로부터 전환되는 정상 인트라 예측 모드에 대한 분류에 의존할 수 있다.
21. ALWIP 모드로 코딩된 블록은 블록-기반 DPCM(BDPCM) 또는 잔차 RDPCM을 적용할 수 없다는 것이 제안된다.
a. 대안적으로, ALWIP 모드는 BDPCM 또는 RDPCM이 적용될 때 허용되지 않을 수 있다.
22. ALWIP 모드로 코딩된 블록은 변환으로서 DCT-II만을 사용할 수 있다는 것이 제안된다.
a. 일 예에서, 변환 행렬 인덱스들의 시그널링은 항상 스킵된다.
b. 대안적으로, ALWIP 모드로 코딩된 블록에 사용되는 변환이 명시적으로 시그널링되는 대신에 암시적으로 도출될 수 있다는 것이 제안된다. 예를 들어, 변환은 JVET-M0303에서 제안된 방식에 따라 선택될 수 있다.
c. 대안적으로, ALWIP 모드로 코딩된 블록은 변환 스킵만을 사용할 수 있다는 것이 제안된다.
i. 대안적으로, 또한, ALWIP가 사용될 때, 변환 스킵의 사용의 표시의 시그널링은 스킵된다.
d. 일 예에서, ALWIP 모드 정보(예컨대, 인에이블/디스에이블, 예측 모드 인덱스)는 변환 행렬의 표시 이후에 조건부로 시그널링될 수 있다.
i. 일 예에서, 주어진 변환 행렬(예컨대, 변환 스킵 또는 DCT-II)에 대해, ALWIP 모드 정보의 표시가 시그널링될 수 있다.
ii. 대안적으로, 또한, ALWIP 모드 정보의 표시들은 일부 미리 정의된 변환 행렬들에 대해 스킵될 수 있다.
23. ALWIP 모드로 코딩된 블록은 선택된 변환이 모드-의존적일 때 ALWIP 인트라 예측 모드로부터 전환된 정상 인트라-예측으로 코딩되는 것으로 간주된다는 것이 제안된다.
24. ALWIP 모드는 변환 스킵을 사용하지 않을 수 있다.
a. 예를 들어, 이 경우에 변환 스킵의 사용의 표시를 추가로 시그널링할 필요가 없다.
b. 대안적으로, ALWIP 모드는 변환 스킵이 적용될 때 허용되지 않을 수 있다.
i. 예를 들어, 이 경우에 변환 스킵이 적용될 때 ALWIP 모드 정보를 시그널링할 필요가 없다.
25. 디블록킹 필터, SAO(sample adaptive offset), ALF(adaptive loop filter)와 같은 필터링 프로세스에서, 필터들을 선택하는 방법 및/또는 샘플들을 필터링할지의 여부는 ALWIP의 사용에 의해 결정될 수 있다.
26. 필터링되지 않은 이웃 샘플들은 ALWIP 모드에서 사용될 수 있다.
a. 대안적으로, 필터링된 이웃 샘플들은 ALWIP 모드에서 사용될 수 있다.
b. 일 예에서, 필터링된 이웃 샘플들은 다운샘플링에 사용될 수 있고 필터링되지 않은 이웃 샘플들은 업샘플링에 사용될 수 있다.
c. 일 예에서, 필터링되지 않은 이웃 샘플들은 다운샘플링에 사용될 수 있고 필터링된 이웃 샘플들은 업샘플링에 사용될 수 있다.
d. 일 예에서, 필터링된 좌측 이웃 샘플들은 업샘플링에 사용될 수 있고 필터링되지 않은 상측 이웃 샘플들은 업샘플링에 사용될 수 있다.
e. 일 예에서, 필터링되지 않은 좌측 이웃 샘플들은 업샘플링에 사용될 수 있고 필터링된 상측 이웃 샘플들은 업샘플링에 사용될 수 있다.
f. 일 예에서, 필터링된 이웃 샘플들 또는 필터링되지 않은 이웃 샘플들이 사용되는지는 ALWIP 모드에 의존할 수 있다.
i. 일 예에서, ALWIP 모드는 전통적인 인트라 예측 모드로 전환될 수 있고, 필터링된 이웃 샘플들 또는 필터링되지 않은 이웃 샘플들이 사용되는지는 전환된 전통적인 인트라 예측 모드에 의존할 수 있다. 예를 들어, 이러한 결정은 전통적인 인트라 예측 모드들과 동일하다.
ii. 대안적으로, 필터링된 이웃 샘플들 또는 필터링되지 않은 이웃 샘플들이 ALWIP 모드에 사용되는지가 시그널링될 수 있다.
g. 일 예에서, 필터링된 샘플들은 전통적인 인트라 예측 모드들과 동일하게 생성될 수 있다.
27. 어느 행렬들 또는/및 오프셋 벡터들이 사용되는지는 재성형(LMCS(luma mapping with chroma scaling)라고도 함) 정보에 의존할 수 있다.
a. 일 예에서, 재성형이 온 및 오프일 때 상이한 행렬들 또는/및 오프셋 벡터들이 사용될 수 있다.
b. 일 예에서, 상이한 재성형 파라미터들에 대해 상이한 행렬들 또는/및 오프셋 벡터들이 사용될 수 있다.
c. 일 예에서, ALWIP는 항상 원래 도메인에서 수행될 수 있다.
i. 예를 들어, 이웃 샘플은 ALWIP에서 사용되기 전에 (재성형이 적용되는 경우) 원래 도메인에 맵핑된다.
28. ALWIP는 재성형이 적용될 때 디스에이블될 수 있다.
a. 대안적으로, ALWIP가 인에이블될 때 재성형이 디스에이블될 수 있다.
b. 일 예에서, ALWIP는 재성형이 적용될 때 HDR(high dynamic range) 콘텐츠에 대해 디스에이블될 수 있다.
29. ALWIP에서 사용되는 행렬들은 샘플 비트 심도에 의존할 수 있다.
a. 대안적으로, 또한, ALWIP에서 사용되는 오프셋 값들은 샘플 비트 심도에 의존할 수 있다.
b. 대안적으로, 행렬 파라미터들 및 오프셋 값들은 N-비트 샘플들에 대해 M-비트 정밀도로 저장될 수 있고(M<=N), 예를 들어, 행렬 파라미터들 및 오프셋 값들은 10-비트 샘플에 대해 8-비트 정밀도로 저장될 수 있다.
c. 샘플 비트 심도는 루마와 같은 컬러 성분에 대한 입력 어레이의 비트 심도일 수 있다.
d. 샘플 비트 심도는 루마와 같은 컬러 성분에 대한 내부 어레이/재구성된 샘플의 비트 심도일 수 있다.
30. 특정된 블록 크기에 대한 행렬 파라미터들 및/또는 오프셋 값들은 다른 블록 크기들에 대한 행렬 파라미터들 및/또는 오프셋 값들로부터 도출될 수 있다.
31. 일 예에서, 8x8 블록의 16x8 행렬은 4x4 블록의 16x4 행렬로부터 도출될 수 있다.
32. ALWIP에 의해 생성된 예측은 추가 사용될 예측 신호를 획득하기 위해 처리될 중개 신호로서 취급될 수 있다는 것이 제안된다.
a. 일 예에서, 위치 의존적 인트라 예측 조합(Position Dependent Intra Prediction Combination, PDPC)이 ALWIP에 의해 생성된 예측에 적용되어 추가 사용될 예측 신호를 생성할 수 있다.
i. 일 예에서, PDPC는 ALWIP 코딩된 블록에 대해, 그 블록이 평면(Planar) 또는 DC와 같은 특정 정상 인트라-예측 모드로 코딩되는 것과 동일한 방식으로 행해진다.
ii. 일 예에서, PDPC는 ALWIP 코딩된 블록에 대해, 그 블록이 ALWIP 인트라-예측 모드로부터 전환되는 정상 인트라-예측 모드로 코딩되는 것과 동일한 방식으로 행해진다.
iii. 일 예에서, PDPC는 ALWIP 코딩된 블록에 조건부로 적용된다.
1) 예를 들어, PDPC는 PDPC가 ALWIP 인트라-예측 모드로부터 전환되는 정상 인트라-예측 모드에 적용될 때에만 ALWIP 코딩된 블록에 적용된다.
b. 일 예에서, ALWIP에 의해 생성된 경계 샘플 예측은 이웃 샘플들로 필터링되어 추가 사용될 예측 신호를 생성할 수 있다.
i. 일 예에서, 경계 샘플들에 대한 필터링은 ALWIP 코딩된 블록에 대해, 그 블록이 평면 또는 DC와 같은 특정 정상 인트라-예측 모드로 코딩되는 것과 동일한 방식으로 행해진다.
ii. 일 예에서, 경계 샘플들에 대한 필터링은 ALWIP 코딩된 블록에 대해, 그 블록이 ALWIP 인트라-예측 모드로부터 전환되는 정상 인트라-예측 모드로 코딩되는 것과 동일한 방식으로 행해진다.
iii. 일 예에서, 경계 샘플들에 대한 필터링은 ALWIP 코딩된 블록에 조건부로 적용된다.
1) 예를 들어, 경계 샘플들에 대한 필터링은 경계 샘플들에 대한 필터링이 ALWIP 인트라-예측 모드로부터 전환되는 정상 인트라-예측 모드에 적용될 때에만 ALWIP 코딩된 블록에 적용된다.
33. 쌍선형 보간 필터 이외의 보간 필터들이 ALWIP의 업샘플링 프로세스에서 사용될 수 있다는 것이 제안된다.
a. 일 예에서, 4-탭 보간 필터가 ALWIP의 업샘플링 프로세스에서 사용될 수 있다.
i. 예를 들어, 크로마 성분들에 대한 모션 보상을 행하는 데 사용되는 VVC에서의 4-탭 보간 필터가 ALWIP의 업샘플링 프로세스에서 사용될 수 있다.
ii. 예를 들어, 각도 인트라-예측을 행하는 데 사용되는 VVC에서의 4-탭 보간 필터가 ALWIP의 업샘플링 프로세스에서 사용될 수 있다.
iii. 예를 들어, 루마 성분에 대한 모션 보상을 행하는 데 사용되는 VVC에서의 8-탭 보간 필터가 ALWIP의 업샘플링 프로세스에서 사용될 수 있다.
34. ALWIP 모드에서 코딩된 블록 내의 샘플들은 상이한 방식들로 예측될 수 있다.
a. 일 예에서, W*H 블록에 대해, 그 내부의 sW*sH 서브-블록의 예측은 그것에 sW*sH ALWIP를 적용함으로써 생성될 수 있다.
i. 일 예에서, W*H 블록에 대해, 그의 상단-좌측 W/2*H/2 블록의 예측은 그것에 W/2*H/2 ALWIP를 적용함으로써 생성될 수 있다.
ii. 일 예에서, W*H 블록에 대해, 그의 좌측 W/2*H 블록의 예측은 그것에 W/2*H ALWIP를 적용함으로써 생성될 수 있다.
iii. 일 예에서, W*H 블록에 대해, 그의 상단 W*H/2 블록의 예측은 그것에 W*H/2 ALWIP를 적용함으로써 생성될 수 있다.
iv. 일 예에서, sW*sH 서브-블록은 이용가능한 좌측 또는/및 상측 이웃 샘플들을 가질 수 있다.
b. 일 예에서, 서브-블록의 위치를 결정하는 방법은 블록의 치수에 의존할 수 있다.
i. 예를 들어, W >= H일 때, 그의 좌측 W/2*H 블록의 예측은 그것에 W/2*H ALWIP를 적용함으로써 생성될 수 있다.
ii. 예를 들어, H >= W일 때, 그의 상단 W*H/2 블록의 예측은 그것에 W*H/2 ALWIP를 적용함으로써 생성될 수 있다.
iii. 예를 들어, W가 H와 동일할 때, 그의 상단-좌측 W/2*H/2 블록의 예측은 그것에 W/2*H/2 ALWIP를 적용함으로써 생성될 수 있다.
c. 일 예에서, 또한, 나머지 샘플들(예를 들어, 샘플들은 sW*sH 서브-블록에 속하지 않음)의 예측은 W*H ALWIP를 적용함으로써 생성될 수 있다.
i. 대안적으로, 나머지 샘플들의 예측은 종래의 인트라 예측을 적용함으로써(예를 들어, 전환된 인트라 예측 모드를 인트라 모드로서 사용하여) 생성될 수 있다.
ii. 또한, sW*sH 서브-블록 내의 샘플들에 대해 산출이 스킵될 수 있다.
35. ALWIP 모드에서 코딩된 블록 내의 샘플들은 서브-블록(예를 들어, 크기 sW*sH를 가짐) 레벨에서 예측될 수 있다.
a. 일 예에서, sW*sH ALWIP는 이웃하는 재구성된 샘플들(예를 들어, 경계 서브-블록들에 대해) 및/또는 이웃하는 예측된 샘플들(예를 들어, 내부 서브-블록들에 대해)을 사용하여 각각의 서브-블록에 적용될 수 있다.
b. 일 예에서, 서브-블록들은 래스터-스캔 순서로 예측될 수 있다.
c. 일 예에서, 서브-블록들은 지그재그 순서로 예측될 수 있다.
d. 일 예에서, 서브-블록들의 폭(높이)은 sWMax(sHMax) 이하일 수 있다.
e. 일 예에서, 폭 또는 높이 중 어느 하나 또는 폭과 높이 양자 모두를 갖는 블록이 양자 모두 임계값 L보다 클 때(또는 이와 동일할 때), 블록은 다수의 서브-블록들로 분할될 수 있다.
f. 임계값 L은 미리 정의되거나 SPS/PPS/픽처/슬라이스/타일 그룹/타일 레벨에서 시그널링될 수 있다.
i. 대안적으로, 임계값들은 블록 크기, 픽처 타입, 시간적 계층 인덱스 등과 같은 특정 코딩된 정보에 의존할 수 있다.
36. 이웃 샘플들(인접 또는 비-인접)이 ALWIP에서 사용되기 전에 필터링되는 것이 제안된다.
a. 대안적으로, 이웃 샘플들은 ALWIP에서 사용되기 전에 필터링되지 않는다.
b. 대안적으로, 이웃 샘플들은 ALWIP에서 사용되기 전에 조건부로 필터링된다.
i. 예를 들어, 이웃 샘플들은 ALWIP 인트라-예측 모드가 하나 또는 일부 특정 값과 동일할 때에만 ALWIP에서 사용되기 전에 필터링된다.
37. ALWIP 플래그를 코딩할 때, 산술 코딩에서 ALWIP 플래그에 대한 컨텍스트를 도출하는 방법은 현재 블록의 모든 치수들에 대해 동일한 것이 제안된다.
a. 일 예에서, 산술 코딩에서 ALWIP 플래그에 대한 컨텍스트를 도출하는 방법은(Abs(Log2(cbWidth)-Log2(cbHeight))가 1보다 클 때 또는 그렇지 않을 때 동일하며, 여기서 CbWidth 및 CbHeight는 각각 현재 블록의 폭 및 높이이다.
b. 일 예에서, 산술 코딩에서 ALWIP 플래그에 대한 컨텍스트의 도출은 이웃 블록들의 ALWIP 정보 및/또는 이웃 블록들의 가용성에만 의존한다.
i. 일 예에서, 다수의 이웃 블록들 ALWIP 정보(예를 들어, intra_lwip_flag) 및/또는 이웃 블록들의 가용성이 직접 사용된다. 예를 들어, 좌측 및 상측 이웃 블록들의 ALWIP 플래그들 및/또는 좌측 및 이웃 블록들의 가용성은 산술 코딩에서 ALWIP 플래그에 대한 컨텍스트를 도출하는데 사용된다. 예가 표 1에 도시된다. 대안적으로, 또한, 컨텍스트 인덱스 오프셋 ctxInc = ( condL && availableL ) + ( condA && availableA ) + ctxSetIdx * 3.
ii. 일 예에서, 이웃 블록의 ALWIP 정보(예를 들어, intra_lwip_flag) 중 하나는 산술 코딩에서 ALWIP 플래그에 대한 컨텍스트를 도출하는데 사용되고, 이웃 블록은 좌측 이웃 블록일 수 있다. 예가 표 2에 도시된다. 대안적으로, 또한, 컨텍스트 인덱스 오프셋 ctxInc = ( condL && availableL ) + ctxSetIdx * 3.
iii. 일 예에서, 이웃 블록의 ALWIP 플래그 정보(예를 들어, intra_lwip_flag) 중 하나는 산술 코딩에서 ALWIP 플래그에 대한 컨텍스트를 도출하는데 사용되고, 이웃 블록은 상측 이웃 블록일 수 있다. 예가 표 3에 도시된다. 대안적으로, 또한, 컨텍스트 인덱스 오프셋 ctxInc = ( condA && availableA ) + ctxSetIdx * 3.
c. 일 예에서, 하나의 고정된 컨텍스트가 산술 코딩에서 ALWIP 플래그를 코딩하는데 사용된다.
d. 일 예에서, ALWIP 플래그는 산술 코딩에서 바이패스 코딩된다.
e. 대안적으로, 산술 코딩에서 ALWIP 플래그를 코딩하기 위해 K개의 컨텍스트가 사용될 수 있다. 사용될 컨텍스트는 블록의 치수(예를 들어, W로 표시된 폭 및 H로 표시된 높이)에 의존할 수 있다.
i. 일 예에서, K는 2이다. W > N * H 또는 H > N * W(예를 들어, N=2)일 때, 제1 컨텍스트가 사용되고, 그렇지 않으면, 제2 컨텍스트가 사용된다.
38. 산술 코딩에서 ALWIP 플래그(예를 들어, intra_lwip_flag)를 코딩하기 위해 N(N>=0)개의 컨텍스트가 사용될 수 있는 것이 제안된다.
a. 일 예에서, N은 3이다. ALWIP 플래그 및/또는 2개의 이웃 또는/및 비-인접 블록의 가용성은 산술 코딩에서 ALWIP 플래그에 대한 사용된 컨텍스트를 도출하기 위해 사용될 수 있다.
i. 일 예에서, 2개의 이웃 블록은 상측(예를 들어, 도 10의 B1) 블록 및 좌측(예를 들어, 도 10의 A1) 블록을 포함할 수 있다.
ii. 일 예에서, 2개의 이웃 블록은 상측 블록 및 하측-좌측(예를 들어, 도 10의 A2) 블록을 포함할 수 있다.
iii. 일 예에서, 2개의 이웃 블록은 상측 블록 및 상측-우측(예를 들어, 도 10의 B2) 블록을 포함할 수 있다.
iv. 일 예에서, 2개의 이웃 블록은 상측-우측(예를 들어, 도 10의 B2) 블록 및 좌측(예를 들어, 도 10의 A1) 블록을 포함할 수 있다.
v. 일 예에서, 2개의 이웃 블록은 상측-우측(예를 들어, 도 10의 B2) 블록 및 하측-좌측(예를 들어, 도 10의 A2) 블록을 포함할 수 있다.
vi. 일 예에서, 2개의 이웃 블록은 좌측 블록(예를 들어, 도 10의 A1) 및 하측-좌측(예를 들어, 도 10의 A2) 블록을 포함할 수 있다.
vii. 일 예에서, 이웃 블록은 도 10과 상이하게 정의될 수 있다. 일 예가 도 16에 설명된다. 2개의 이웃 블록은 {상측-우측, 상측, 상측-좌측, 좌측, 하측-좌측} 블록들 중 임의의 2개를 포함할 수 있다. 예를 들어, 2개의 이웃 블록은 {B0, B1, B2, A0, A1} 내의 블록들 중 임의의 2개를 포함할 수 있다.
b. 일 예에서, N은 2이다. ALWIP 플래그 및/또는 하나의 이웃 또는/및 비-인접 블록의 가용성은 산술 코딩에서 ALWIP 플래그에 대한 사용된 컨텍스트를 도출하기 위해 사용될 수 있다.
i. 일 예에서, 이웃 블록은 {상측-우측, 상측, 상측-좌측, 좌측, 하측-좌측} 중 어느 하나일 수 있다. 이웃 블록의 예가 도 10에 설명된다.
ii. 일 예에서, 이웃 블록은 {상측-우측, 상측, 상측-좌측, 좌측, 하측-좌측} 블록 중 어느 하나일 수 있다. 이웃 블록의 예가 도 16에 설명된다.
c. 일 예에서, 하나의 고정된 컨텍스트가 산술 코딩에서 ALWIP 플래그를 코딩하는데 사용될 수 있다.
d. 일 예에서, ALWIP 플래그는 산술 코딩에서 바이패스 코딩될 수 있다. 도 16은 이웃 블록들의 예를 도시한다.
39. 감소된 경계 샘플들은 업샘플링 경계 샘플들을 산출하지 않고서 생성될 수 있는 것이 제안된다.
a. 일 예에서, 업샘플링 경계 샘플 위치들에 위치한 참조 샘플들은 예측 업샘플링 프로세스에 직접 사용된다.
i. 일 예에서, 업샘플링 경계 샘플들은 다수의 인접한 참조 샘플들을 평균화함으로써 계산되지 않을 수 있다.
b. 일 예에서, 감소된 경계 샘플들은 참조 샘플들 및 다운스케일링 인자로부터 직접 산출될 수 있다.
i. 일 예에서, 다운스케일링 인자는 변환 블록 크기와 다운샘플링된 경계 크기에 의해 계산될 수 있다.
40. 일 예에서, 샘플들은 ALWIP에서 업샘플링 프로세스에서의 상이한 필터링 스테이지들에서 상이한 정밀도들로 될 수 있다. "샘플들"은 업샘플링 프로세스 이전 또는 이후의 예측 샘플들 또는 임의의 중개 샘플들을 지칭할 수 있다.
a. 일 예에서, 샘플들은 제1 필터링 스테이지에서 수평으로 제1 치수를 따라 업샘플링되고; 그 다음, 샘플들은 ALWIP에서 업샘플링 프로세스에서의 제2 필터링 스테이지에서 수직으로 제2 치수를 따라 업샘플링된다.
i. 대안적으로, 샘플들은 제1 필터링 스테이지에서 수직으로 제1 치수를 따라 업샘플링되고; 그 다음, 샘플들은 ALWIP에서 업샘플링 프로세스에서의 제2 필터링 스테이지에서 수평으로 제2 치수를 따라 업샘플링된다.
b. 일 예에서, 제1 필터링 스테이지에서의 우측-시프팅 또는 나눗셈이 없는 출력 업샘플링 결과들이 제2 필터링 스테이지에 대한 입력 샘플들로서 사용될 수 있다.
i. 일 예에서, 제2 필터링 스테이지에서의 출력 업샘플링 필터링 결과들은 최종 업샘플링된 결과들을 도출하기 위해 Shift1에 의해 우측-시프팅되거나 Dem1에 의해 나눗셈될 수 있다.
ii. 일 예에서, 제1 필터링 스테이지에서의 출력 업샘플링 필터링 결과들은 최종 업샘플링된 결과들을 도출하기 위해 Shift2에 의해 우측-시프팅되거나 Dem2에 의해 나눗셈될 수 있다.
1) 일 예에서, Shift1=2×Shift2; Dem1=Dem2×Dem2이다.
iii. 일 예에서, 제2 필터링 스테이지에 입력되지만 제1 필터링 스테이지에서의 출력 업샘플링 결과들이 아닌 샘플들은 제2 필터링 스테이지에 입력되기 전에 Shift3에 의해 좌측-시프팅되거나 Dem3에 의해 곱셈될 수 있다.
1) 일 예에서, Shift3=Shift1; Dem3=Dem2이다.
c. 일 예에서, 제1 필터링 스테이지에서의 출력 업샘플링 결과들은 제2 필터링 스테이지에 대한 입력 샘플들로서 사용되기 전에 Shift1에 의해 우측-시프팅되거나 Dem1에 의해 나눗셈될 수 있다.
i. 일 예에서, 제2 필터링 스테이지에서의 출력 업샘플링 필터링 결과들은 최종 업샘플링된 결과들을 도출하기 위해 Shift2에 의해 우측-시프팅되거나 Dem2에 의해 나눗셈될 수 있고, 여기서 Shift2는 Shift1과 동일하지 않을 수 있으며, 예를 들어, Shift2 > Shift1이고; Dem2는 Dem1과 동일하지 않을 수 있으며, 예를 들어, Dem2 > Dem1이다.
ii. 일 예에서, 제1 필터링 스테이지에서의 출력 업샘플링 필터링 결과들은 최종 업샘플링된 결과들을 도출하기 위해 Shift3에 의해 우측-시프팅되거나 Dem3에 의해 나눗셈될 수 있고, 여기서 Shift3은 Shift1과 동일할 수 있고; Dem3은 Dem1과 동일하지 않을 수 있다.
1) 일 예에서, Shift3=Shift1+Shift2이다.
iii. 일 예에서, 제2 필터링 스테이지에 입력되지만 제1 필터링 스테이지에서의 출력 업샘플링 결과들이 아닌 샘플들은 제2 필터링 스테이지에 입력되기 전에 인자에 의해 좌측-시프팅되거나 곱셈될 수 있다.
d. 일 예에서, 제1 필터링 스테이지에서의 출력 업샘플링 결과들은 제2 필터링 스테이지에 대한 입력 샘플들로서 사용되기 전에 Shift1에 의해 좌측-시프팅되거나 Dem1에 의해 곱셈될 수 있다.
i. 일 예에서, 제2 필터링 스테이지에서의 출력 업샘플링 필터링 결과들은 최종 업샘플링된 결과들을 도출하기 위해 인자에 의해 우측-시프팅되거나 나눗셈될 수 있다.
ii. 일 예에서, 제1 필터링 스테이지에서의 출력 업샘플링 필터링 결과들은 최종 업샘플링된 결과들을 도출하기 위해 인자에 의해 우측-시프팅되거나 나눗셈될 수 있다.
iii. 일 예에서, 제2 필터링 스테이지에 입력되지만 제1 필터링 스테이지에서의 출력 업샘플링 결과들이 아닌 샘플들은 제2 필터링 스테이지에 입력되기 전에 Shift2에 의해 좌측-시프팅되거나 Dem2에 의해 곱셈될 수 있고, 여기서 Shift2는 Shift1과 동일하지 않을 수 있으며, 예를 들어, Shift2 > Shift1이고; Dem1은 Dem2와 동일하지 않을 수 있으며, 예를 들어, Dem2 > Dem1이다.
e. 일 예에서, 제1 필터링 스테이지에 입력되는 샘플들은 제1 필터링 스테이지에 대한 입력 샘플들로서 사용되기 전에 Shift1에 의해 좌측-시프팅되거나 Dem1에 의해 곱셈될 수 있다.
i. 일 예에서, 제2 필터링 스테이지에서의 출력 업샘플링 필터링 결과들은 최종 업샘플링된 결과들을 도출하기 위해 인자에 의해 우측-시프팅되거나 나눗셈될 수 있다.
ii. 일 예에서, 제1 필터링 스테이지에서의 출력 업샘플링 필터링 결과들은 최종 업샘플링된 결과들을 도출하기 위해 인자에 의해 우측-시프팅되거나 나눗셈될 수 있다.
iii. 일 예에서, 제2 필터링 스테이지에 입력되지만 제1 필터링 스테이지에서의 출력 업샘플링 결과들이 아닌 샘플들은 제2 필터링 스테이지에 입력되기 전에 Shift2에 의해 좌측-시프팅되거나 Dem2에 의해 곱셈될 수 있고, 여기서 Shift2는 Shift1과 동일하지 않을 수 있으며, 예를 들어, Shift2 > Shift1이고; Dem2는 Dem1과 동일하지 않을 수 있으며, 예를 들어, Dem2 > Dem1이다.
41. ALWIP에서의 업샘플링은 수직 업샘플링과 수평 업샘플링이 양자 모두 요구될 때 고정된 순서로 수행될 수 있다는 것이 제안된다.
a. 일 예에서, 수평 업샘플링이 먼저 수행될 수 있고, 수직 업샘플링이 두 번째로 수행될 수 있다.
b. 일 예에서, 수직 업샘플링이 먼저 수행될 수 있고, 수평 업샘플링이 두 번째로 수행될 수 있다.
42. 일 예에서, 업샘플링 이전의 ALWIP 내의 예측 샘플들은 블록 치수들에 따라 전치될 수 있다.
a. 일 예에서, W*H 블록이 먼저 H*W 블록으로 전치될 수 있고, 이어서 업샘플링이 적용될 수 있다.
b. 대안적으로, 또한, 업샘플링 프로세스 후에, 업샘플링된 샘플들은 반전된 방식으로 전치될 수 있다.
43. 쌍선형 필터 대신에 대안적인 보간 필터들이 ALWIP에서의 업샘플링에 사용될 수 있다는 것이 제안된다.
a. 일 예에서, (4-탭, 6-탭, 8-탭 등) 가우시안 필터가 사용될 수 있다.
b. 일 예에서, (4-탭, 6-탭, 8-탭 등) 큐빅 필터(cubic filter)가 사용될 수 있다.
c. 일 예에서, 크로마 샘플들에 대한 모션 보상에 사용되는 보간 필터들이 사용될 수 있다.
d. 일 예에서, 루마 샘플들에 대한 모션 보상에 사용되는 보간 필터들(6-탭, 8-탭 등)이 사용될 수 있다.
e. 어느 보간 필터가 사용되는지는 블록 치수들에 의존할 수 있다.
f. 어느 보간 필터가 사용되는지는 업샘플링 비율에 의존할 수 있다.
g. 어느 보간 필터가 사용되는지는 ALWIP의 예측 모드에 의존할 수 있다.
h. 어느 보간 필터가 사용되는지는 업샘플링에 얼마나 많은 샘플들이 이용가능한지에 의존할 수 있다.
i. 예를 들어, 하나의 행(또는 열)에 4개의 이용가능한 샘플(이웃하는 참조 샘플들을 배제함)이 있을 때, 4-탭 보간 필터가 사용될 수 있다.
ii. 예를 들어, 하나의 행(또는 열)에 8개의 이용가능한 샘플(이웃하는 참조 샘플들을 배제함)이 있을 때, 4-탭 또는 8-탭 보간 필터가 사용될 수 있다.
5. 실시예들
새롭게 추가된 부분들은 굵은 이탤릭체 로 강조되고, 삭제된 부분들은 밑줄친 이탤릭체 텍스트 로 강조된다.
5.1 하나의 예
ALWIP 플래그를 코딩하기 위해 3개의 컨텍스트가 사용된다.
5.2 하나의 예
ALWIP 플래그를 코딩하기 위해 하나의 고정된 컨텍스트가 사용된다.
5.3 하나의 예
경계 감소 프로세스를 1-단계로 수행한다.
이하의 실시예들은 채택된 JVET-N0220-proposal-test-CE3-4.1_v2에 기초한다.
8.4.4.2.X1 아핀 선형 가중 인트라 샘플 예측
8.4.4.2.X3 경계 감소 프로세스의 사양
이 프로세스에 대한 입력들은 다음과 같다:
- 변환 블록 크기를 지정하는 변수 nTbX,
- 참조 샘플들 refX[ x ](x = 0..nTbX - 1),
- 다운샘플링된 경계 크기를 지정하는 변수 boundarySize,
- 중간 경계 샘플들이 업샘플링을 위해 요구되는지를 지정하는 플래그 needUpsBdryX,
- 업샘플링을 위한 경계 크기를 지정하는 변수 upsBdrySize.
이 프로세스의 출력들은 감소된 경계 샘플들 redX[ x ](x = 0..boundarySize - 1) 및 업샘플링 경계 샘플들 upsBdryX[ x ](x = 0..upsBdrySize - 1)이다.
업샘플링 경계 샘플들 upsBdryX[ x ](x = 0..upsBdrySize - 1)는 다음과 같이 도출된다:
- needUpsBdryX가 TRUE이고 upsBdrySize가 nTbX 미만이면, 다음이 적용된다:
- 그렇지 않으면(upsBdrySize가 nTbX와 동일하면), upsBdryX[ x ]는 refX[ x ]와 동일하게 설정된다.
감소된 경계 샘플들 redX[ x ](x = 0..boundarySize - 1)는 다음과 같이 도출된다:
- boundarySize가 upsBdrySize nTbX 미만이면, 다음이 적용된다:
수학식 8-X33의 항 upsBdryX 는 삭제된다.
- 그렇지 않으면(boundarySize가 upsBdrySize nTbX와 동일하면), redX[ x ]는 upsBdryX[ x ] refX[x]와 동일하게 설정된다.
5.4 하나의 예
ALWIP에서 업샘플링 프로세스에서의 상이한 필터링 스테이지들에서 상이한 정밀도들로 예측 샘플들을 도출한다.
이하의 실시예들은 채택된 JVET-N0217-proposal-test-CE3-4.1_v2에 기초한다.
8.4.4.2.X4 예측 업샘플링 프로세스의 사양
이 프로세스에 대한 입력들은 다음과 같다:
- 입력 블록 폭을 지정하는 변수 predW,
- 입력 블록 높이를 지정하는 변수 predH,
- 아핀 선형 가중 샘플들 predLwip[ x ][ y ](x = 0..predW - 1, y = 0..predH - 1),
- 변환 블록 폭을 지정하는 변수 nTbW,
- 변환 블록 높이를 지정하는 변수 nTbH,
- 업샘플링 경계 폭을 지정하는 변수 upsBdryW,
- 업샘플링 경계 높이를 지정하는 변수 upsBdryH,
- 상단 업샘플링 경계 샘플들 upsBdryT[ x ](x = 0..upsBdryW - 1),
- 좌측 업샘플링 경계 샘플들 upsBdryL[ x ](x = 0..upsBdryH - 1).
이 프로세스의 출력들은 예측된 샘플들 predSamples[ x ][ y ](x = 0..nTbW - 1, y = 0..nTbH - 1)이다.
희소 예측된 샘플들 predSamples[ m ][ n ]은 다음과 같이 predLwip[ x ][ y ](x = 0..predW - 1, y = 0..predH - 1)로부터 도출된다:
상단 경계 샘플들 upsBdryT[ x ](x = 0..upsBdryW - 1)는 다음과 같이 predSamples[ m ][ -1 ]에 할당된다:
좌측 경계 샘플들 upsBdryL[ y ](y = 0..upsBdryH - 1)는 다음과 같이 predSamples[ -1 ][ n ]에 할당된다:
예측된 샘플들 predSamples[ x ][ y ](x = 0..nTbW - 1, y = 0..nTbH - 1)는 다음과 같이 도출된다:
- nTbH가 nTbW보다 크면, 다음의 순서화된 단계들이 적용된다:
1. upHor이 1보다 클 때, 모든 희소 위치들 ( xHor, yHor ) = ( m * upHor - 1, n * upVer - 1 ) (m = 0..predW - 1, n = 1..predH)에 대한 수평 업샘플링이 다음과 같이 dX = 1..upHor - 1 로 적용된다:
2. 모든 희소 위치들 ( xVer, yVer ) = ( m, n * upVer - 1 ) (m = 0..nTbW - 1, n = 0..predH - 1)에 대한 수직 업샘플링이 다음과 같이 dY = 1..upVer - 1 로 적용된다:
- 그렇지 않으면, 다음의 순서화된 단계들이 적용된다:
1. upVer이 1보다 클 때, 모든 희소 위치들 ( xVer, yVer ) = ( m * upHor - 1, n * upVer - 1 ) (m = 1..predW, n = 0..predH - 1)에 대한 수직 업샘플링이 (8-X40) (8-X41)에 지정된 바와 같은 dY = 1..upVer - 1 로 적용된다.
2. 모든 희소 위치들 ( xHor, yHor ) = ( m * upHor - 1, n ) (m = 0..predW - 1, n = 0..nTbH - 1)에 대한 수평 업샘플링이 다음과 같이 (8-X39)에 지정된 바와 같은 dX = 1..upHor - 1 로 적용된다.
5.5 불릿 40에 대응하는 예들
블록 치수들이 W×H라고 가정한다. x = Sx, Sx+Kx, Sx+2Kx, Sx+3Kx, ..., y=Sy, Sy+Ky, Sy+2Ky, Sy+3Ky...인 샘플들 P(x, y)는 업샘플링 프로세스에 입력되어 x=0, 1, 2...W-1, y=0, 1, 2,...H-1인 업샘플링된 샘플들 S(x, y)를 도출한다. Kx 및 Ky는 각각 수평 및 수직 방향을 따르는 스텝 크기들이다. (Sx, Sy)는 시작 위치이다.
1-D 업샘플링이 제1 스테이지에서 수평으로 수행되고 1-D 업샘플링이 제2 스테이지에서 수직으로 수행된다고 가정한다.
일 예에서, 우측-시프팅이 없는 제1 스테이지에서의 출력 결과들은 다음과 같이 도출될 수 있다.
S'( Sx+Kx-1, Sy) = F1*P(Sx, Sy)+F2*P(Sx+Kx, Sy).
S'( Sx+Kx-1, Sy+Ky) = F1*P(Sx, Sy+Ky)+F2*P(Sx+Kx, Sy+Ky).
F1, F2는 2-탭 필터에 대한 계수들이고, F1+F2=2N이다.
그 다음, 제2 스테이지에서의 출력 결과가 다음과 같이 도출될 수 있다.
S'( Sx+Kx-1, Sy+1) = F3* S'( Sx+Kx-1, Sy)+F4* S'( Sx+Kx-1, Sy+Ky).
F3, F4는 2-탭 필터에 대한 계수들이고, F3+F4=2N이다.
그 다음, 최종 업샘플링된 샘플 값은 다음과 같이 도출될 수 있다:
S( Sx+Kx-1, Sy+1) = Shift( S'( Sx+Kx-1, Sy+1), 2N);
S( Sx+Kx-1, Sy) = Shift(S'( Sx+Kx-1, Sy), N);
S( Sx+Kx-1, Sy+Ky) = Shift(S'( Sx+Kx-1, Sy+Ky), N);
위에 설명된 예들은 아래에 설명된 방법들, 예를 들어, 방법들(1100 내지 1400, 및 2100 내지 2300)의 맥락에서 통합될 수 있으며, 이는 비디오 인코더 및/또는 디코더에서 구현될 수 있다.
도 11은 비디오 처리를 위한 예시적인 방법의 흐름도를 도시한다. 방법(1100)은, 단계(1110)에서, 현재 비디오 블록이 아핀 선형 가중 인트라 예측(ALWIP) 모드를 사용하여 코딩되는 것을 결정하는 단계를 포함한다.
방법(1100)은, 단계(1120)에서, 결정에 기초하여, 비-ALWIP 인트라 모드에 대한 최고 확률 모드(MPM) 리스트의 적어도 일부에 기초하여 ALWIP 모드에 대한 MPM 리스트의 적어도 일부를 구성하는 단계를 포함한다.
방법(1100)은, 단계(1130)에서, ALWIP 모드에 대한 MPM 리스트에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함한다.
일부 실시예들에서, ALWIP 모드의 MPM 리스트의 크기는 비-ALWIP 인트라 모드에 대한 MPM 리스트의 크기와 동일하다. 일 예에서, ALWIP 모드의 MPM 리스트의 크기는 6이다.
일부 실시예들에서, 방법(1100)은 ALWIP 모드에 대한 MPM 리스트에 디폴트 모드들을 삽입하는 단계를 추가로 포함한다. 일 예에서, 디폴트 모드들은 비-ALWIP 인트라 모드에 대한 MPM 리스트에 기초하는 ALWIP 모드에 대한 MPM 리스트의 부분 이전에 삽입된다. 다른 예에서, 디폴트 모드들은 비-ALWIP 인트라 모드에 대한 MPM 리스트에 기초하는 ALWIP 모드에 대한 MPM 리스트의 부분 이후에 삽입된다. 또 다른 예에서, 디폴트 모드들은 비-ALWIP 인트라 모드에 대한 MPM 리스트에 기초하는 ALWIP 모드에 대한 MPM 리스트의 부분과 인터리브 방식으로 삽입된다.
일부 실시예들에서, ALWIP 모드에 대한 MPM 리스트 및 비-ALWIP 인트라 모드에 대한 MPM 리스트를 구성하는 것은 하나 이상의 이웃 블록에 기초한다.
일부 실시예들에서, ALWIP 모드에 대한 MPM 리스트 및 비-ALWIP 인트라 모드에 대한 MPM 리스트를 구성하는 것은 현재 비디오 블록의 높이 또는 폭에 기초한다.
일부 실시예들에서, ALWIP 모드에 대한 MPM 리스트를 구성하는 것은 비-ALWIP 인트라 모드에 대한 MPM 리스트를 구성하는 데 사용되는 제2 세트의 파라미터들과 상이한 제1 세트의 파라미터들에 기초한다.
일부 실시예들에서, 방법(1100)은, 현재 비디오 블록의 이웃 블록이 ALWIP 모드로 코딩된 것을 결정하고, 비-ALWIP 인트라 모드에 대한 MPM 리스트를 구성함에 있어서, 이웃 블록을 이용불가능한 것으로서 지정하는 단계를 추가로 포함한다.
일부 실시예들에서, 방법(1100)은, 현재 비디오 블록의 이웃 블록이 비-ALWIP 인트라 모드로 코딩된 것을 결정하고, ALWIP 모드에 대한 MPM 리스트를 구성함에 있어서, 이웃 블록을 이용불가능한 것으로서 지정하는 단계를 추가로 포함한다.
일부 실시예들에서, 비-ALWIP 인트라 모드는 정상 인트라 모드, 다중 참조 라인(MRL) 인트라 예측 모드 또는 인트라 서브-파티션(ISP) 툴에 기초한다.
도 12는 비디오 처리를 위한 예시적인 방법의 흐름도를 도시한다. 방법(1200)은, 단계(1210)에서, 현재 비디오 블록의 루마 성분이 아핀 선형 가중 인트라 예측(ALWIP) 모드를 사용하여 코딩되는 것을 결정하는 단계를 포함한다.
방법(1200)은, 단계(1220)에서, 결정에 기초하여, 크로마 인트라 모드를 추론하는 단계를 포함한다.
방법(1200)은, 단계(1230)에서, 크로마 인트라 모드에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함한다.
일부 실시예들에서, 루마 성분은 크로마 성분의 미리 결정된 크로마 샘플을 커버한다. 일 예에서, 미리 결정된 크로마 샘플은 크로마 성분의 상단-좌측 샘플 또는 중심 샘플이다.
일부 실시예들에서, 추론된 크로마 인트라 모드는 DM 모드이다.
일부 실시예들에서, 추론된 크로마 인트라 모드는 ALWIP 모드이다.
일부 실시예들에서, ALWIP 모드는 현재 비디오 블록의 하나 이상의 크로마 성분에 적용된다.
일부 실시예들에서, ALWIP 모드의 상이한 행렬 또는 바이어스 벡터들이 현재 비디오 블록의 상이한 컬러 성분들에 적용된다. 일 예에서, 상이한 행렬 또는 바이어스 벡터들은 Cb 및 Cr 성분들에 대해 공동으로 미리 정의된다. 다른 예에서, Cb 및 Cr 성분들은 연결된다. 또 다른 예에서, Cb 및 Cr 성분들은 인터리빙된다.
도 13은 비디오 처리를 위한 예시적인 방법의 흐름도를 도시한다. 방법(1300)은, 단계(1310)에서, 현재 비디오 블록이 아핀 선형 가중 인트라 예측(ALWIP) 모드를 사용하여 코딩되는 것을 결정하는 단계를 포함한다.
방법(1300)은, 단계(1320)에서, 결정에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함한다.
일부 실시예들에서, 결정은 시퀀스 파라미터 세트(SPS), 픽처 파라미터 세트(PPS), 슬라이스 헤더, 타일 그룹 헤더, 타일 헤더, 코딩 트리 유닛(CTU) 행 또는 CTU 영역에서의 시그널링에 기초한다.
일부 실시예들에서, 결정은 현재 비디오 블록의 높이(H) 또는 폭(W)에 기초한다. 일 예에서, W>T1 또는 H>T2이다. 다른 예에서, W≥T1 또는 H≥T2이다. 또 다른 예에서, W<T1 또는 H<T2이다. 또 다른 예에서, W≤T1 또는 H≤T2이다. 또 다른 예에서, T1=32 및 T2=32이다.
일부 실시예들에서, 결정은 현재 비디오 블록의 높이(H) 또는 폭(W)에 기초한다. 일 예에서, W+H≤T이다. 다른 예에서, W+H≥T이다. 또 다른 예에서, WxH≤T이다. 또 다른 예에서, WxH≥T이다. 또 다른 예에서, T=256이다.
도 14는 비디오 처리를 위한 예시적인 방법의 흐름도를 도시한다. 방법(1400)은, 단계(1410)에서, 현재 비디오 블록이 아핀 선형 가중 인트라 예측(ALWIP) 모드와 상이한 코딩 모드를 사용하여 코딩되는 것을 결정하는 단계를 포함한다.
방법(1400)은, 단계(1420)에서, 결정에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함한다.
일부 실시예들에서, 코딩 모드는 조합된 인트라 및 인터 예측(combined intra and inter prediction, CIIP) 모드이고, 방법(1400)은 ALWIP 모드와 정상 인트라 예측 모드 사이의 선택을 수행하는 단계를 추가로 포함한다. 일 예에서, 선택을 수행하는 것은 현재 비디오 블록의 비트스트림 표현에서의 명시적 시그널링에 기초한다. 다른 예에서, 선택을 수행하는 것은 미리 결정된 규칙에 기초한다. 또 다른 예에서, 미리 결정된 규칙은 현재 비디오 블록이 CIIP 모드를 사용하여 코딩될 때 ALWIP 모드를 항상 선택한다. 또 다른 예에서, 미리 결정된 규칙은 현재 비디오 블록이 CIIP 모드를 사용하여 코딩될 때 정상 인트라 예측 모드를 항상 선택한다.
일부 실시예들에서, 코딩 모드는 교차 성분 선형 모델(CCLM) 예측 모드이다. 일 예에서, ALWIP 모드에 대한 다운샘플링 절차는 CCLM 예측 모드에 대한 다운샘플링 절차에 기초한다. 다른 예에서, ALWIP 모드에 대한 다운샘플링 절차는 제1 세트의 파라미터들에 기초하고, CCLM 예측 모드에 대한 다운샘플링 절차는 제1 세트의 파라미터들과 상이한 제2 세트의 파라미터들에 기초한다. 또 다른 예에서, ALWIP 모드 또는 CCLM 예측 모드에 대한 다운샘플링 절차는 다운샘플링된 위치들의 선택, 다운샘플링 필터들의 선택, 라운딩 연산 또는 클리핑 연산 중 적어도 하나를 포함한다.
일부 실시예들에서, 방법(1400)은 감소된 2차 변환(RST), 2차 변환, 회전 변환 또는 비-분리형 2차 변환(NSST) 중 하나 이상을 적용하는 단계를 추가로 포함한다.
일부 실시예들에서, 방법(1400)은 블록-기반 차분 펄스 코드 변조(DPCM) 또는 잔차 DPCM을 적용하는 단계를 추가로 포함한다.
일부 실시예들에서, 비디오 처리 방법은 현재 비디오 블록에 대한 규칙에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환 동안 아핀 선형 가중 인트라 예측(ALWIP) 모드의 사용을 표시하는 플래그의 컨텍스트를 결정하는 단계, ALWIP 모드에 기초하여, 현재 비디오 블록의 복수의 서브-블록들을 예측하는 단계 및 예측에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함한다. 규칙은 선험적 기법을 사용하여 암시적으로 지정될 수 있거나, 코딩된 비트스트림에서 시그널링될 수 있다. 이 방법의 다른 예들 및 양태들은 섹션 4의 항목 37 및 항목 38에서 더 설명된다.
일부 실시예들에서, 비디오 처리를 위한 방법은 현재 비디오 블록이 아핀 선형 가중 인트라 예측(ALWIP) 모드를 사용하여 코딩되는 것을 결정하는 단계, 및 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환 동안, ALWIP 모드와 연관된 업샘플링 프로세스에서 현재 비디오 블록의 샘플들에 대해 적어도 2개의 필터링 스테이지를 수행하는 단계를 포함하고, 적어도 2개의 필터링 스테이지 중 제1 필터링 스테이지에서의 샘플들의 제1 정밀도는 적어도 2개의 필터링 스테이지 중 제2 필터링 스테이지에서의 샘플들의 제2 정밀도와 상이하다.
일 예에서, 현재 비디오 블록의 샘플들은 예측 샘플들, 업샘플링 프로세스 전의 중개 샘플들 또는 업샘플링 프로세스 후의 중개 샘플들이다. 다른 예에서, 샘플들은 제1 필터링 스테이지에서 수평으로 제1 치수로 업샘플링되고, 샘플들은 제2 필터링 스테이지에서 수직으로 제2 치수로 업샘플링된다. 또 다른 예에서, 샘플들은 제1 필터링 스테이지에서 수직으로 제1 치수로 업샘플링되고, 샘플들은 제2 필터링 스테이지에서 수평으로 제2 치수로 업샘플링된다.
일 예에서, 제1 필터링 스테이지의 출력은 우측-시프팅되거나 나눗셈되어 처리된 출력을 생성하고, 처리된 출력은 제2 필터링 스테이지에 대한 입력이다. 다른 예에서, 제1 필터링 스테이지의 출력은 좌측-시프팅되거나 곱셈되어 처리된 출력을 생성하고, 처리된 출력은 제2 필터링 스테이지에 대한 입력이다. 이 방법의 다른 예들 및 양태들은 섹션 4의 항목 40에서 더 설명된다.
섹션 4의 항목 41 내지 항목 43에 추가로 설명된 바와 같이, 비디오 처리 방법은 현재 비디오 블록이 아핀 선형 가중 인트라 예측(ALWIP) 모드를 사용하여 코딩되는 것을 결정하는 단계, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환 동안, ALWIP 모드와 연관된 업샘플링 프로세스에서 현재 비디오 블록의 샘플들에 대해 적어도 2개의 필터링 스테이지를 수행하는 단계를 포함하고, 업샘플링 프로세스는 수직 및 수평 업샘플링 양자 모두가 수행되는 경우에 대해 고정된 순서로 수행된다. 섹션 4의 항목 41 내지 항목 43에 추가로 설명된 바와 같이, 또 다른 방법은 현재 비디오 블록이 아핀 선형 가중 인트라 예측(ALWIP) 모드를 사용하여 코딩되는 것을 결정하는 단계, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환 동안, ALWIP 모드와 연관된 업샘플링 프로세스에서 현재 비디오 블록의 샘플들에 대해 적어도 2개의 필터링 스테이지를 수행하는 단계를 포함하고, 전환은 업샘플링 프로세스 전에 전치 연산을 수행하는 것을 포함한다.
위에서 설명한 방법들의 추가적인 특징들은 섹션 4의 항목 41 내지 항목 43에서 설명된다.
6 개시된 기술의 예시적인 구현들
도 15는 비디오 처리 장치(1500)의 블록도이다. 장치(1500)는 본 명세서에 설명된 방법들 중 하나 이상을 구현하는 데 사용될 수 있다. 장치(1500)는 스마트폰, 태블릿, 컴퓨터, 사물 인터넷(IoT) 수신기 등으로 구체화될 수 있다. 장치(1500)는 하나 이상의 프로세서(1502), 하나 이상의 메모리(1504) 및 비디오 처리 하드웨어(1506)를 포함할 수 있다. 프로세서(들)(1502)는 본 문서에 설명된 하나 이상의 방법(방법들(1100 내지 1400, 및 2100 내지 2300)을 포함하지만 이에 제한되지 않음)을 구현하도록 구성될 수 있다. 메모리(메모리들)(1504)는 본 명세서에 설명된 방법들 및 기법들을 구현하는 데 사용되는 데이터 및 코드를 저장하는 데 사용될 수 있다. 비디오 처리 하드웨어(1506)는 본 문서에 설명된 일부 기법들을 하드웨어 회로부에 구현하는 데 사용될 수 있다.
일부 실시예들에서, 비디오 코딩 방법들은 도 15와 관련하여 설명된 바와 같이 하드웨어 플랫폼 상에 구현되는 장치를 사용하여 구현될 수 있다.
개시된 기술의 일부 실시예들은 비디오 처리 툴 또는 모드를 인에이블하라는 판정 또는 결정을 하는 것을 포함한다. 일 예에서, 비디오 처리 툴 또는 모드가 인에이블될 때, 인코더는 비디오의 블록의 처리에서 툴 또는 모드를 사용하거나 구현할 것이지만, 툴 또는 모드의 사용에 기초하여 결과적인 비트스트림을 반드시 수정할 필요는 없을 수 있다. 즉, 비디오의 블록으로부터 비디오의 비트스트림 표현으로의 전환은 판정 또는 결정에 기초하여 인에이블될 때 비디오 처리 툴 또는 모드를 사용할 것이다. 다른 예에서, 비디오 처리 툴 또는 모드가 인에이블될 때, 디코더는 비디오 처리 툴 또는 모드에 기초하여 비트스트림이 수정되었다는 것을 알고서 비트스트림을 처리할 것이다. 즉, 비디오의 비트스트림 표현으로부터 비디오의 블록으로의 전환은 판정 또는 결정에 기초하여 인에이블된 비디오 처리 툴 또는 모드를 사용하여 수행될 것이다.
개시된 기술의 일부 실시예들은 비디오 처리 툴 또는 모드를 디스에이블하라는 판정 또는 결정을 하는 것을 포함한다. 일 예에서, 비디오 처리 툴 또는 모드가 디스에이블될 때, 인코더는 비디오의 블록을 비디오의 비트스트림 표현으로 전환함에 있어서 툴 또는 모드를 사용하지 않을 것이다. 다른 예에서, 비디오 처리 툴 또는 모드가 디스에이블될 때, 디코더는 판정 또는 결정에 기초하여 디스에이블된 비디오 처리 툴 또는 모드를 사용하여 비트스트림이 수정되지 않았다는 것을 알고서 비트스트림을 처리할 것이다.
도 17은 본 개시내용의 기법들을 이용할 수 있는 예시적인 비디오 코딩 시스템(100)을 예시하는 블록도이다. 도 17에 도시된 바와 같이, 비디오 코딩 시스템(100)은 소스 디바이스(110) 및 목적지 디바이스(120)를 포함할 수 있다. 비디오 인코딩 디바이스라고 지칭될 수 있는 소스 디바이스(110)는 인코딩된 비디오 데이터를 생성한다. 비디오 디코딩 디바이스라고 지칭될 수 있는 목적지 디바이스(120)는 소스 디바이스(110)에 의해 생성되는 인코딩된 비디오 데이터를 디코딩할 수 있다. 소스 디바이스(110)는 비디오 소스(112), 비디오 인코더(114), 및 입력/출력(I/O) 인터페이스(116)를 포함할 수 있다.
비디오 소스(112)는 비디오 캡처 디바이스와 같은 소스, 비디오 콘텐츠 제공자로부터 비디오 데이터를 수신하는 인터페이스, 및/또는 비디오 데이터를 생성하기 위한 컴퓨터 그래픽 시스템, 또는 이러한 소스들의 조합을 포함할 수 있다. 비디오 데이터는 하나 이상의 픽처를 포함할 수 있다. 비디오 인코더(114)는 비디오 소스(112)로부터의 비디오 데이터를 인코딩하여 비트스트림을 생성한다. 비트스트림은 비디오 데이터의 코딩된 표현을 형성하는 비트 시퀀스를 포함할 수 있다. 비트스트림은 코딩된 픽처들 및 연관된 데이터를 포함할 수 있다. 코딩된 픽처는 픽처의 코딩된 표현이다. 연관된 데이터는 시퀀스 파라미터 세트들, 픽처 파라미터 세트들, 및 다른 신택스 구조들을 포함할 수 있다. I/O 인터페이스(116)는 변조기/복조기(모뎀) 및/또는 송신기를 포함할 수 있다. 인코딩된 비디오 데이터는 I/O 인터페이스(116)를 통해 네트워크(130a)를 거쳐 목적지 디바이스(120)에 직접 송신될 수 있다. 인코딩된 비디오 데이터는 또한 목적지 디바이스(120)에 의한 액세스를 위해 저장 매체/서버(130b)에 저장될 수 있다.
목적지 디바이스(120)는 I/O 인터페이스(126), 비디오 디코더(124), 및 디스플레이 디바이스(122)를 포함할 수 있다.
I/O 인터페이스(126)는 수신기 및/또는 모뎀을 포함할 수 있다. I/O 인터페이스(126)는 소스 디바이스(110) 또는 저장 매체/서버(130b)로부터 인코딩된 비디오 데이터를 취득할 수 있다. 비디오 디코더(124)는 인코딩된 비디오 데이터를 디코딩할 수 있다. 디스플레이 디바이스(122)는 디코딩된 비디오 데이터를 사용자에게 디스플레이할 수 있다. 디스플레이 디바이스(122)는 목적지 디바이스(120)와 통합될 수 있거나, 또는 외부 디스플레이 디바이스와 인터페이싱하도록 구성되는 목적지 디바이스(120)의 외부에 있을 수 있다.
비디오 인코더(114) 및 비디오 디코더(124)는 HEVC(High Efficiency Video Coding) 표준, VVM(Versatile Video Coding) 표준 및 다른 현재 및/또는 추가 표준들과 같은 비디오 압축 표준에 따라 동작할 수 있다.
도 18은 도 17에 예시된 시스템(100)에서의 비디오 인코더(114)일 수 있는, 비디오 인코더(200)의 예를 예시하는 블록도이다.
비디오 인코더(200)는 본 개시내용의 기법들 중 임의의 것 또는 전부를 수행하도록 구성될 수 있다. 도 18의 예에서, 비디오 인코더(200)는 복수의 기능 컴포넌트들을 포함한다. 본 개시내용에 설명된 기법들은 비디오 인코더(200)의 다양한 컴포넌트들 사이에서 공유될 수 있다. 일부 예들에서, 프로세서는 본 개시내용에 설명된 기법들 중 임의의 것 또는 전부를 수행하도록 구성될 수 있다.
비디오 인코더(200)의 기능 컴포넌트들은 파티션 유닛(201), 모드 선택 유닛(203), 모션 추정 유닛(204), 모션 보상 유닛(205) 및 인트라 예측 유닛(206)을 포함할 수 있는 예측 유닛(202), 잔차 생성 유닛(207), 변환 유닛(208), 양자화 유닛(209), 역양자화 유닛(210), 역변환 유닛(211), 재구성 유닛(212), 버퍼(213), 및 엔트로피 인코딩 유닛(214)을 포함할 수 있다.
다른 예들에서, 비디오 인코더(200)는 보다 많은, 보다 적은, 또는 상이한 기능 컴포넌트들을 포함할 수 있다. 일 예에서, 예측 유닛(202)은 인트라 블록 카피(intra block copy, IBC) 유닛을 포함할 수 있다. IBC 유닛은 적어도 하나의 참조 픽처가 현재 비디오 블록이 위치하는 픽처인 IBC 모드에서 예측을 수행할 수 있다.
게다가, 모션 추정 유닛(204) 및 모션 보상 유닛(205)과 같은 일부 컴포넌트들은 고도로 통합될 수 있지만, 설명의 목적을 위해 도 18의 예에서 개별적으로 표현되어 있다.
파티션 유닛(201)은 픽처를 하나 이상의 비디오 블록으로 파티셔닝할 수 있다. 비디오 인코더(200) 및 비디오 디코더(300)는 다양한 비디오 블록 크기들을 지원할 수 있다.
모드 선택 유닛(203)은, 예를 들어, 에러 결과들에 기초하여, 코딩 모드들인 인트라 또는 인터 중 하나를 선택하고, 결과적인 인트라-코딩된 또는 인터-코딩된 블록을 잔차 생성 유닛(207)에 제공하여 잔차 블록 데이터를 생성하고 재구성 유닛(212)에 제공하여 참조 픽처로서 사용하기 위해 인코딩된 블록을 재구성할 수 있다. 일부 예에서, 모드 선택 유닛(203)은, 예측이 인터 예측 신호 및 인트라 예측 신호에 기초하는 조합된 인트라 및 인터 예측(CIIP) 모드를 선택할 수 있다. 모드 선택 유닛(203)은 또한 인터-예측의 경우에 블록에 대한 모션 벡터의 해상도(예를 들면, 서브-픽셀 또는 정수 픽셀 정밀도)를 선택할 수 있다.
현재 비디오 블록에 대한 인터 예측을 수행하기 위해, 모션 추정 유닛(204)은 버퍼(213)로부터의 하나 이상의 참조 프레임을 현재 비디오 블록과 비교하는 것에 의해 현재 비디오 블록에 대한 모션 정보를 생성할 수 있다. 모션 보상 유닛(205)은 현재 비디오 블록과 연관된 픽처 이외의 버퍼(213)로부터의 픽처들의 디코딩된 샘플들 및 모션 정보에 기초하여 현재 비디오 블록에 대한 예측된 비디오 블록을 결정할 수 있다.
모션 추정 유닛(204) 및 모션 보상 유닛(205)은, 예를 들어, 현재 비디오 블록이 I 슬라이스, P 슬라이스, 또는 B 슬라이스에 있는지에 따라, 현재 비디오 블록에 대해 상이한 연산들을 수행할 수 있다.
일부 예들에서, 모션 추정 유닛(204)은 현재 비디오 블록에 대한 단방향 예측을 수행할 수 있고, 모션 추정 유닛(204)은 현재 비디오 블록에 대한 참조 비디오 블록에 대해 리스트 0 또는 리스트 1의 참조 픽처들을 검색할 수 있다. 모션 추정 유닛(204)은 이어서 참조 비디오 블록을 포함하는 리스트 0 또는 리스트 1에서의 참조 픽처를 표시하는 참조 인덱스 및 현재 비디오 블록과 참조 비디오 블록 사이의 공간적 변위를 표시하는 모션 벡터를 생성할 수 있다. 모션 추정 유닛(204)은 참조 인덱스, 예측 방향 표시자, 및 모션 벡터를 현재 비디오 블록의 모션 정보로서 출력할 수 있다. 모션 보상 유닛(205)은 현재 비디오 블록의 모션 정보에 의해 표시되는 참조 비디오 블록에 기초하여 현재 블록의 예측된 비디오 블록을 생성할 수 있다.
다른 예들에서, 모션 추정 유닛(204)은 현재 비디오 블록에 대해 양방향 예측을 수행할 수 있고, 모션 추정 유닛(204)은 현재 비디오 블록에 대한 참조 비디오 블록에 대해 리스트 0에서의 참조 픽처들을 검색할 수 있고, 또한 현재 비디오 블록에 대한 다른 참조 비디오 블록에 대해 리스트 1에서의 참조 픽처들을 검색할 수 있다. 모션 추정 유닛(204)은 이어서 참조 비디오 블록들을 포함하는 리스트 0 및 리스트 1에서의 참조 픽처들을 표시하는 참조 인덱스들 및 참조 비디오 블록들과 현재 비디오 블록 사이의 공간적 변위들을 표시하는 모션 벡터들을 생성할 수 있다. 모션 추정 유닛(204)은 현재 비디오 블록의 참조 인덱스들 및 모션 벡터들을 현재 비디오 블록의 모션 정보로서 출력할 수 있다. 모션 보상 유닛(205)은 현재 비디오 블록의 모션 정보에 의해 표시되는 참조 비디오 블록들에 기초하여 현재 비디오 블록의 예측된 비디오 블록을 생성할 수 있다.
일부 예들에서, 모션 추정 유닛(204)은 디코더의 디코딩 처리를 위한 모션 정보의 전체 세트를 출력할 수 있다.
일부 예들에서, 모션 추정 유닛(204)은 현재 비디오에 대한 모션 정보의 전체 세트를 출력하지 않을 수 있다. 오히려, 모션 추정 유닛(204)은 다른 비디오 블록의 모션 정보를 참조하여 현재 비디오 블록의 모션 정보를 시그널링할 수 있다. 예를 들어, 모션 추정 유닛(204)은 현재 비디오 블록의 모션 정보가 이웃 비디오 블록의 모션 정보와 충분히 유사하다고 결정할 수 있다.
일 예에서, 모션 추정 유닛(204)은, 현재 비디오 블록이 다른 비디오 블록과 동일한 모션 정보를 갖는다는 것을 비디오 디코더(300)에 표시하는 값을 현재 비디오 블록과 연관된 신택스 구조에서 표시할 수 있다.
다른 예에서, 모션 추정 유닛(204)은, 다른 비디오 블록 및 모션 벡터 차이(motion vector difference, MVD)를 현재 비디오 블록과 연관된 신택스 구조에서 식별할 수 있다. 모션 벡터 차이는 현재 비디오 블록의 모션 벡터와 표시된 비디오 블록의 모션 벡터 사이의 차이를 표시한다. 비디오 디코더(300)는 표시된 비디오 블록의 모션 벡터 및 모션 벡터 차이를 사용하여 현재 비디오 블록의 모션 벡터를 결정할 수 있다.
위에서 논의한 바와 같이, 비디오 인코더(200)는 모션 벡터를 예측적으로 시그널링할 수 있다. 비디오 인코더(200)에 의해 구현될 수 있는 예측적 시그널링 기법들의 두 가지 예는 AMVP(advanced motion vector prediction) 및 병합 모드 시그널링을 포함한다.
인트라 예측 유닛(206)은 현재 비디오 블록에 대해 인트라 예측을 수행할 수 있다. 인트라 예측 유닛(206)이 현재 비디오 블록에 대해 인트라 예측을 수행할 때, 인트라 예측 유닛(206)은 동일한 픽처 내의 다른 비디오 블록들의 디코딩된 샘플들에 기초하여 현재 비디오 블록에 대한 예측 데이터를 생성할 수 있다. 현재 비디오 블록에 대한 예측 데이터는 예측된 비디오 블록 및 다양한 신택스 요소들을 포함할 수 있다.
잔차 생성 유닛(207)은 현재 비디오 블록으로부터 현재 비디오 블록의 예측된 비디오 블록(들)을 감산(예를 들면, 마이너스 부호로 표시됨)하는 것에 의해 현재 비디오 블록에 대한 잔차 데이터를 생성할 수 있다. 현재 비디오 블록의 잔차 데이터는 현재 비디오 블록에서의 샘플들의 상이한 샘플 성분들에 대응하는 잔차 비디오 블록들을 포함할 수 있다.
다른 예들에서, 예를 들어, 스킵 모드에서 현재 비디오 블록에 대한 현재 비디오 블록의 잔차 데이터가 없을 수 있고, 잔차 생성 유닛(207)은 감산 연산을 수행하지 않을 수 있다.
변환 처리 유닛(208)은 현재 비디오 블록과 연관된 잔차 비디오 블록에 하나 이상의 변환을 적용하는 것에 의해 현재 비디오 블록에 대한 하나 이상의 변환 계수 비디오 블록을 생성할 수 있다.
변환 처리 유닛(208)이 현재 비디오 블록과 연관된 변환 계수 비디오 블록을 생성한 후에, 양자화 유닛(209)은 현재 비디오 블록과 연관된 하나 이상의 양자화 파라미터(QP) 값에 기초하여 현재 비디오 블록과 연관된 변환 계수 비디오 블록을 양자화할 수 있다.
역양자화 유닛(210) 및 역변환 유닛(211)은, 각각, 변환 계수 비디오 블록에 역양자화 및 역변환을 적용하여 변환 계수 비디오 블록으로부터 잔차 비디오 블록을 재구성할 수 있다. 재구성 유닛(212)은 버퍼(213)에 저장하기 위한 현재 블록과 연관된 재구성된 비디오 블록을 생산하기 위해 예측 유닛(202)에 의해 생성된 하나 이상의 예측된 비디오 블록으로부터의 대응하는 샘플들에 재구성된 잔차 비디오 블록을 가산할 수 있다.
재구성 유닛(212)이 비디오 블록을 재구성한 후에, 비디오 블록에서의 비디오 블록킹 아티팩트들을 감소시키기 위해 루프 필터링 연산이 수행될 수 있다.
엔트로피 인코딩 유닛(214)은 비디오 인코더(200)의 다른 기능 컴포넌트들로부터 데이터를 수신할 수 있다. 엔트로피 인코딩 유닛(214)이 데이터를 수신할 때, 엔트로피 인코딩 유닛(214)은 하나 이상의 엔트로피 인코딩 연산을 수행하여 엔트로피 인코딩된 데이터를 생성하고 엔트로피 인코딩된 데이터를 포함하는 비트스트림을 출력할 수 있다.
도 19는 도 17에 예시된 시스템(100)에서의 비디오 디코더(114)일 수 있는, 비디오 디코더(300)의 예를 예시하는 블록도이다.
비디오 디코더(300)는 본 개시내용의 기법들 중 임의의 것 또는 전부를 수행하도록 구성될 수 있다. 도 19의 예에서, 비디오 디코더(300)는 복수의 기능 컴포넌트들을 포함한다. 본 개시내용에 설명된 기법들은 비디오 디코더(300)의 다양한 컴포넌트들 사이에서 공유될 수 있다. 일부 예들에서, 프로세서는 본 개시내용에 설명된 기법들 중 임의의 것 또는 전부를 수행하도록 구성될 수 있다.
도 19의 예에서, 비디오 디코더(300)는 엔트로피 디코딩 유닛(301), 모션 보상 유닛(302), 인트라 예측 유닛(303), 역양자화 유닛(304), 역변환 유닛(305), 및 재구성 유닛(306) 및 버퍼(307)를 포함한다. 비디오 디코더(300)는, 일부 예들에서, 비디오 인코더(200)(도 18)와 관련하여 설명된 인코딩 패스(encoding pass)와 일반적으로 상호 관계를 나타내는 디코딩 패스(decoding pass)를 수행할 수 있다.
엔트로피 디코딩 유닛(301)은 인코딩된 비트스트림을 검색할 수 있다. 인코딩된 비트스트림은 엔트로피 코딩된 비디오 데이터(예를 들면, 비디오 데이터의 인코딩된 블록들)를 포함할 수 있다. 엔트로피 디코딩 유닛(301)은 엔트로피 코딩된 비디오 데이터를 디코딩할 수 있고, 엔트로피 디코딩된 비디오 데이터로부터, 모션 보상 유닛(302)은 모션 벡터들, 모션 벡터 정밀도, 참조 픽처 리스트 인덱스들, 및 다른 모션 정보를 포함하는 모션 정보를 결정할 수 있다. 모션 보상 유닛(302)은, 예를 들어, AMVP 및 병합 모드를 수행하는 것에 의해 그러한 정보를 결정할 수 있다.
모션 보상 유닛(302)은 모션 보상된 블록들을 생산할 수 있으며, 가능하게는 보간 필터들에 기초하여 보간을 수행할 수 있다. 서브-픽셀 정밀도와 함께 사용될 보간 필터들에 대한 식별자들이 신택스 요소들에 포함될 수 있다.
모션 보상 유닛(302)은 참조 블록의 서브-정수 픽셀들에 대한 보간된 값들을 산출하기 위해 비디오 블록의 인코딩 동안에 비디오 인코더(20)에 의해 사용되는 바와 같은 보간 필터들을 사용할 수 있다. 모션 보상 유닛(302)은 수신된 신택스 정보에 따라 비디오 인코더(200)에 의해 사용되는 보간 필터들을 결정하고 보간 필터들을 사용하여 예측 블록들을 생산할 수 있다.
모션 보상 유닛(302)은 인코딩된 비디오 시퀀스의 프레임(들) 및/또는 슬라이스(들)를 인코딩하는 데 사용되는 블록들의 크기들, 인코딩된 비디오 시퀀스의 픽처의 각각의 매크로블록이 어떻게 파티셔닝되는지를 설명하는 파티션 정보, 각각의 파티션이 어떻게 인코딩되는지를 표시하는 모드들, 각각의 인터-인코딩된 블록에 대한 하나 이상의 참조 프레임(및 참조 프레임 리스트), 및 인코딩된 비디오 시퀀스를 디코딩하기 위한 다른 정보를 결정하기 위해 신택스 정보의 일부를 사용할 수 있다.
인트라 예측 유닛(303)은 공간적으로 인접한 블록들로부터 예측 블록을 형성하기 위해, 예를 들어, 비트스트림에서 수신되는 인트라 예측 모드들을 사용할 수 있다. 역양자화 유닛(303)은 비트스트림에서 제공되고 엔트로피 디코딩 유닛(301)에 의해 디코딩되는 양자화된 비디오 블록 계수들을 역양자화(inverse quantize), 즉, 탈양자화(de-quantize)한다. 역변환 유닛(303)은 역변환을 적용한다.
재구성 유닛(306)은 디코딩된 블록들을 형성하기 위해 모션 보상 유닛(202) 또는 인트라-예측 유닛(303)에 의해 생성되는 대응하는 예측 블록들과 잔차 블록들을 합산(sum)할 수 있다. 원하는 경우, 디코딩된 블록들을 필터링하여 블록성 아티팩트(blockiness artifact)들을 제거하기 위해 디블록킹 필터가 또한 적용될 수 있다. 디코딩된 비디오 블록들은 이어서 버퍼(307)에 저장되고, 버퍼(307)는 후속하는 모션 보상/인트라 예측을 위한 참조 블록들을 제공하고 또한 디스플레이 디바이스 상에 제시하기 위한 디코딩된 비디오를 생산한다.
도 20은 본 명세서에 개시된 다양한 기법들이 구현될 수 있는 예시적인 비디오 처리 시스템(2000)을 도시하는 블록도이다. 다양한 구현들은 시스템(2000)의 컴포넌트들의 일부 또는 전부를 포함할 수 있다. 시스템(2000)은 비디오 콘텐츠를 수신하기 위한 입력(2002)을 포함할 수 있다. 비디오 콘텐츠는 미가공(raw) 또는 압축되지 않은 포맷, 예를 들어, 8 또는 10 비트 멀티-컴포넌트 픽셀 값들로 수신될 수 있거나, 압축된 또는 인코딩된 포맷일 수 있다. 입력(2002)은 네트워크 인터페이스, 주변 버스 인터페이스, 또는 저장 인터페이스를 나타낼 수 있다. 네트워크 인터페이스의 예들은 이더넷, PON(passive optical network) 등과 같은 유선 인터페이스들 및 Wi-Fi 또는 셀룰러 인터페이스들과 같은 무선 인터페이스들을 포함한다.
시스템(2000)은 본 문서에 설명된 다양한 코딩 또는 인코딩 방법들을 구현할 수 있는 코딩 컴포넌트(2004)를 포함할 수 있다. 코딩 컴포넌트(2004)는 비디오의 코딩된 표현을 생성하기 위해 입력(2002)으로부터 코딩 컴포넌트(2004)의 출력으로의 비디오의 평균 비트레이트를 감소시킬 수 있다. 따라서, 코딩 기법들은 때때로 비디오 압축 또는 비디오 트랜스코딩 기법들이라고 한다. 코딩 컴포넌트(2004)의 출력은 저장될 수 있거나, 또는 컴포넌트(2006)로 나타낸 바와 같이 연결된 통신을 통해 송신될 수 있다. 입력(2002)에서 수신된 비디오의 저장된 또는 통신된 비트스트림(또는 코딩된) 표현은 디스플레이 인터페이스(2010)에 전송되는 픽셀 값들 또는 디스플레이가능한 비디오를 생성하기 위해 컴포넌트(2008)에 의해 사용될 수 있다. 비트스트림 표현으로부터 사용자-시청가능 비디오를 생성하는 프로세스는 때때로 비디오 압축해제(video decompression)라고 한다. 게다가, 특정 비디오 처리 연산들이 "코딩" 연산들 또는 툴들로 지칭되지만, 코딩 툴들 또는 연산들이 인코더에서 사용되고 코딩의 결과들을 반대로 하는 대응하는 디코딩 툴들 또는 연산들이 디코더에 의해 수행될 것이라는 점이 이해될 것이다.
주변 버스 인터페이스 또는 디스플레이 인터페이스의 예들은 USB(universal serial bus) 또는 HDMI(high definition multimedia interface) 또는 디스플레이포트(Displayport) 등을 포함할 수 있다. 저장 인터페이스들의 예들은 SATA(serial advanced technology attachment), PCI, IDE 인터페이스 등을 포함한다. 본 문서에 설명된 기법들은 디지털 데이터 처리 및/또는 비디오 디스플레이를 수행할 수 있는 모바일 전화, 랩톱, 스마트폰 또는 다른 디바이스와 같은 다양한 전자 디바이스에서 구현될 수 있다.
일부 실시예들에서, ALWIP 모드 또는 MIP 모드는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산(또는 평균화 연산), 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로(또는 옵션으로) 업샘플링 연산(또는 선형 보간 연산)을 수행함으로써 현재 비디오 블록의 예측 블록을 계산하는 데 사용된다. 일부 실시예들에서, ALWIP 모드 또는 MIP 모드는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산(또는 평균화 연산)을 수행한 다음, 행렬 벡터 곱셈 연산을 수행함으로써 현재 비디오 블록의 예측 블록을 계산하는 데 사용된다. 일부 실시예들에서, ALWIP 모드 또는 MIP 모드는 또한 행렬 벡터 곱셈 연산을 수행한 후에 업샘플링 연산(또는 선형 보간 연산)을 수행할 수 있다.
도 21은 개시된 기술에 따른, 행렬 기반 인트라 예측을 위한 다른 예시적인 방법(2100)의 흐름도를 도시한다. 동작(2102)은 행렬 기반 인트라 예측(MIP) 모드를 사용하여 비디오의 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 것을 포함하며, 이 MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록이 결정되고, 업샘플링 연산은 행렬 벡터 곱셈 연산으로부터 획득된 샘플들에 대해, 고정된 순서로 수직 방향과 수평 방향 양자 모두에서 수행된다.
방법(2100)에 대한 일부 실시예들에서, 고정된 순서는 먼저 수평 방향에서 업샘플링 연산을 수행하고 나서 수직 방향에서 업샘플링 연산을 수행하는 것을 포함한다. 방법(2100)에 대한 일부 실시예들에서, 고정된 순서는 먼저 수직 방향에서 업샘플링 연산을 수행하고 나서 수평 방향에서 업샘플링 연산을 수행하는 것을 포함한다.
도 22는 개시된 기술에 따른, 행렬 기반 인트라 예측을 위한 다른 예시적인 방법(2200)의 흐름도를 도시한다. 동작(2202)은 행렬 기반 인트라 예측(MIP) 모드를 사용하여 비디오의 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 것을 포함하고, 이 MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록이 결정되고, 전환은 업샘플링 연산 전에 전치 연산을 수행하는 것을 포함하고, 전치 연산은 경계 다운샘플링 연산 및 행렬 벡터 곱셈 연산을 수행함으로써 획득된 예측 블록의 제1 세트의 샘플들을 전치하고, 전치 연산은 예측 블록의 치수들에 따라 수행된다.
방법(2200)에 대한 일부 실시예들에서, 전치 연산은 예측 블록의 제1 세트의 샘플들을 전치하고, 전치 연산은 제1 값의 폭과 제2 값의 높이를 갖는 예측 블록을 제2 값의 폭과 제1 값의 높이를 갖는 예측 블록으로 전환한다.
일부 실시예들에서, 방법(2200)은 업샘플링 연산 후에 획득된 예측 블록의 제2 세트의 샘플들을 전치하는 또 다른 전치 연산을 수행하는 단계를 추가로 포함하고, 또 다른 전치 연산은 제2 값의 폭과 제1 값의 높이를 갖는 예측 블록을 제1 값의 폭과 제2 값의 높이를 갖는 예측 블록으로 전환한다.
도 23은 개시된 기술에 따른, 행렬 기반 인트라 예측을 위한 다른 예시적인 방법(2300)의 흐름도를 도시한다. 동작(2302)은 행렬 기반 인트라 예측(MIP) 모드를 사용하여 비디오의 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 것을 포함하고, 이 MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록이 결정되고, 업샘플링 연산은 규칙에 따라 쌍선형 필터(bilinear filter) 이외의 보간 필터를 선택하고 사용함으로써 수행된다.
방법(2300)에 대한 일부 실시예들에서, 규칙은 보간 필터가 가우시안 필터인 것을 지정한다. 방법(2300)에 대한 일부 실시예들에서, 규칙은 보간 필터가 큐빅 필터인 것을 지정한다. 방법(2300)에 대한 일부 실시예들에서, 가우시안 필터 또는 큐빅 필터는 4-탭 보간 필터 또는 6-탭 보간 필터 또는 8-탭 보간 필터이다. 방법(2300)에 대한 일부 실시예들에서, 규칙은 보간 필터가 크로마 샘플들에 대한 모션 보상에 사용되는 것을 지정한다. 방법(2300)에 대한 일부 실시예들에서, 규칙은 보간 필터가 루마 샘플들에 대한 모션 보상에 사용되는 것을 지정한다.
방법(2300)에 대한 일부 실시예들에서, 보간 필터는 6-탭 보간 필터 또는 8-탭 보간 필터이다. 방법(2300)에 대한 일부 실시예들에서, 규칙은 보간 필터가 현재 비디오 블록의 치수들에 기초하여 선택되는 것을 지정한다. 방법(2300)에 대한 일부 실시예들에서, 규칙은 보간 필터가 업샘플링 연산에 의해 사용되는 업샘플링 비율에 기초하여 선택되는 것을 지정한다. 방법(2300)에 대한 일부 실시예들에서, 규칙은 보간 필터가 예측 모드 또는 MIP 모드의 MIP 모드 인덱스에 기초하여 선택되는 것을 지정한다. 방법(2300)에 대한 일부 실시예들에서, 규칙은 보간 필터가 업샘플링 연산에 이용가능한 샘플들의 수에 기초하여 선택되는 것을 지정한다. 방법(2300)에 대한 일부 실시예들에서, 규칙은 샘플들의 수가 값과 동일한 것에 응답하여 보간 필터가 4-탭 보간 필터인 것을 지정한다.
방법(2300)에 대한 일부 실시예들에서, 이 값은 4이다. 방법(2300)에 대한 일부 실시예들에서, 규칙은 샘플들의 수가 값과 동일한 것에 응답하여 보간 필터가 4-탭 보간 필터 또는 8-탭 보간 필터인 것을 지정한다. 방법(2300)에 대한 일부 실시예들에서, 이 값은 8이다. 방법(2300)에 대한 일부 실시예들에서, 샘플들의 수는 이웃하는 참조 샘플들을 배제한다. 방법(2300)에 대한 일부 실시예들에서, 전환을 수행하는 것은 현재 비디오 블록으로부터 비트스트림 표현을 생성하는 것을 포함한다. 방법(2300)에 대한 일부 실시예들에서, 전환을 수행하는 것은 비트스트림 표현으로부터 현재 비디오 블록을 생성하는 것을 포함한다.
전술한 것으로부터, 본 개시된 기술의 특정 실시예들은 예시를 위해 본 명세서에 설명되었지만, 다양한 수정들이 본 발명의 범위로부터 벗어나지 않고 이루어질 수 있는 것이 이해될 것이다. 따라서, 본 개시된 기술은, 첨부된 청구항들에 의한 것을 제외하고는 제한되지 않는다.
본 특허 문서에 설명된 주제 및 기능적 동작들의 구현들은 다양한 시스템들, 디지털 전자 회로에서, 또는 본 명세서에 개시된 구조들 및 그들의 구조적 균등물들을 포함하는 컴퓨터 소프트웨어, 펌웨어, 또는 하드웨어에서, 또는 이들 중 하나 이상의 것의 조합들에서 구현될 수 있다. 본 명세서에 설명된 주제의 구현들은 하나 이상의 컴퓨터 프로그램 제품, 즉, 데이터 처리 장치에 의한 실행을 위해 또는 데이터 처리 장치의 동작을 제어하기 위해 유형의 그리고 비일시적 컴퓨터 판독가능 매체 상에 인코딩된 컴퓨터 프로그램 명령어들의 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터 판독가능 매체는 머신 판독가능 저장 디바이스, 머신 판독가능 저장 기판, 메모리 디바이스, 머신 판독가능 전파 신호를 달성하는 물질의 합성, 또는 이들 중 하나 이상의 것의 조합일 수 있다. "데이터 처리 유닛" 또는 "데이터 처리 장치"라는 용어는, 예로서 프로그램가능 프로세서, 컴퓨터, 또는 다중 프로세서 또는 컴퓨터를 포함한, 데이터를 처리하기 위한 모든 장치, 디바이스, 및 머신을 포함한다. 장치는, 하드웨어 외에도, 문제의(in question) 컴퓨터 프로그램을 위한 실행 환경을 생성하는 코드, 예를 들어, 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 또는 이들 중 하나 이상의 것의 조합을 구성하는 코드를 포함할 수 있다.
컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트 또는 코드로도 알려짐)은 컴파일되거나 해석된 언어를 포함하는 임의의 형태의 프로그래밍 언어로 쓰여질 수 있고, 이는 독립형(stand-alone) 프로그램으로서 또는 모듈, 컴포넌트, 서브루틴 또는 컴퓨팅 환경에서 사용을 위해 적합한 다른 유닛으로서를 포함하는 임의의 형태로 배치될 수 있다. 컴퓨터 프로그램은 파일 시스템 내의 파일에 반드시 대응하지는 않는다. 프로그램은 다른 프로그램들 또는 데이터(예를 들어, 마크업 언어 문서에 저장된 하나 이상의 스크립트)를 유지하는 파일의 일부분에, 문제의 프로그램에 전용된 단일 파일에, 또는 다수의 조정된 파일(coordinated file)(예를 들어, 하나 이상의 모듈, 서브 프로그램(sub program), 또는 코드 부분(portion of code)을 저장하는 파일)에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 상에서, 또는 한 사이트에 배치되거나 다수의 사이트에 걸쳐 분산되어 통신 네트워크에 의해 상호연결되는 다수의 컴퓨터 상에서 실행되도록 배치될 수 있다.
본 명세서에 설명된 프로세스들 및 논리 흐름들은, 입력 데이터에 대해 동작하여 출력을 생성함으로써 기능들을 수행하기 위해 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그램가능 프로세서에 의해 수행될 수 있다. 프로세스들 및 논리 흐름들은 또한 특수 목적 논리 회로, 예를 들어, FPGA(field programmable gate array) 또는 ASIC(application specific integrated circuit)에 의해 수행될 수 있고, 장치는 또한 특수 목적 논리 회로, 예를 들어, FPGA(field programmable gate array) 또는 ASIC(application specific integrated circuit)으로서 구현될 수 있다.
컴퓨터 프로그램을 실행하는데 적합한 프로세서들은, 예로서, 범용 마이크로프로세서와 특수 목적 마이크로프로세서 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서를 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 양자 모두로부터 명령어들과 데이터를 수신할 것이다. 컴퓨터의 필수 요소들은, 명령어들을 수행하기 위한 프로세서 및 명령어들과 데이터를 저장하기 위한 하나 이상의 메모리 디바이스이다. 일반적으로, 컴퓨터는 또한 자기, 광 자기 디스크 또는 광 디스크와 같은 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스를 포함하거나, 또는 이들로부터 데이터를 수신하거나 이들로 데이터를 전송하거나 둘 다를 행하도록 동작적으로 결합될 것이다. 그러나, 컴퓨터가 이러한 디바이스들을 가질 필요는 없다. 컴퓨터 프로그램 명령어들과 데이터를 저장하기에 적합한 컴퓨터 판독가능 매체는 예로서 반도체 메모리 디바이스들, 예를 들어, EPROM, EEPROM, 및 플래시 메모리 디바이스들을 포함한 모든 형태의 비휘발성 메모리, 매체 및 메모리 디바이스들을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로에 의해 보완되거나 그에 통합될 수 있다.
도면과 함께 본 명세서는 단지 예시적인 것으로 간주되며, 예시적이라는 말은 한 예를 의미하는 것으로 의도된다. 본 명세서에서 사용되는 바와 같이, "또는"의 사용은, 문맥이 명확하게 달리 나타내지 않는 한, "및/또는"을 포함하는 것으로 의도된다.
본 특허 문서는 많은 세부사항들을 포함하지만, 이들은 임의의 발명의 또는 청구될 수 있는 것의 범위에 관한 제한들로서 해석되어서는 안 되고, 오히려 특정 발명들의 특정 실시예들에 특정할 수 있는 특징들의 설명들로서 해석되어야 한다. 별개의 실시예들의 맥락에서 본 특허 문서에 설명된 특정 특징들은 또한 단일 실시예에서 조합하여 구현될 수 있다. 반대로, 단일 실시예의 맥락에서 설명된 다양한 특징들이 또한 다수의 실시예들에서 개별적으로 또는 임의의 적합한 하위 조합으로 구현될 수 있다. 또한, 위에서는 특징들이 특정 조합들로 동작하는 것으로서 설명되고 심지어 처음에 이와 같이 청구될 수 있지만, 일부 경우들에서는 청구된 조합으로부터의 하나 이상의 특징이 조합으로부터 삭제될 수 있으며, 청구된 조합은 하위 조합 또는 하위 조합의 변형에 대한 것일 수 있다.
유사하게, 도면들에는 동작들이 특정 순서로 도시되지만, 이것은 바람직한 결과들을 달성하기 위해 그러한 동작들이 도시된 특정 순서로 또는 순차적 순서로 수행되어야 하거나, 모든 예시된 동작들이 수행되어야 하는 것을 요구하는 것으로 이해되어서는 안 된다. 또한, 본 특허 문서에 설명된 실시예들에서의 다양한 시스템 컴포넌트들의 분리는 모든 실시예들에서 이러한 분리를 요구하는 것으로 이해되어서는 안 된다.
단지 몇 개의 구현들 및 예들만이 설명되며, 본 특허 문서에서 설명되고 예시된 것에 기초하여 다른 구현들, 개선들 및 변형들이 만들어질 수 있다.

Claims (26)

  1. 비디오 처리 방법으로서,
    비디오의 비디오 블록과 상기 비디오의 비트스트림 간의 변환을 위해, 상기 비디오의 상기 비디오 블록에 제1 인트라 모드가 적용된다고 결정하는 단계 - 상기 제1 인트라 모드는 상기 비디오 블록에 대한 예측 샘플들을 생성하기 위해 행렬 벡터 곱셈 연산(matrix vector multiplication operation), 및 이어서 업샘플링 연산(upsampling operation)을 포함함 -; 및
    상기 예측 샘플들에 기초하여 상기 변환을 수행하는 단계를 포함하고,
    상기 업샘플링 연산은 수평 업샘플링 연산 및 수직 업샘플링 연산을 포함하고, 상기 수평 업샘플링 연산 및 상기 수직 업샘플링 연산은 고정된 순서로 수행되고,
    상기 예측 샘플들은 상기 수평 업샘플링 연산에서 ((upHor-dX) * predSamples[xHor][yHor] + dX * predSamples[xHor + upHor][yHor] + offsetHor) / upHor에 따라 결정되고,
    상기 예측 샘플들은 상기 수직 업샘플링 연산에서 ((upVer-dY) * predSamples[xVer][yVer] + dY * predSamples[xVer][yVer+ upVer] + offsetVer) / upVer에 따라 결정되고,
    여기서, upHor는 상기 비디오 블록의 폭과 상기 비디오 블록의 상기 폭 및 높이에 기초하는 미리 정의된 값의 함수이고,
    upVer는 상기 비디오 블록의 상기 높이와 상기 비디오 블록의 상기 폭 및 상기 높이에 기초하는 미리 정의된 값의 함수이고,
    offsetHor 및 offsetVer는 정수들이고,
    1 <= dX <= upHor-1이고,
    1 <= dY <= upVer-1이고,
    xHor은 상기 upHor에 기초하는 위치들이고, yHor은 상기 upVer에 기초하는 위치들인, 방법.
  2. 제1항에 있어서, 상기 수평 업샘플링 연산은 상기 수직 업샘플링 연산 전에 수행되는, 방법.
  3. 제2항에 있어서, 상기 비디오 블록의 폭은 상기 비디오 블록의 높이보다 큰, 방법.
  4. 제1항에 있어서, 상기 행렬 벡터 곱셈 연산 후에 상기 업샘플링 연산 전에 전치 연산이 이어지는, 방법.
  5. 제4항에 있어서, 상기 전치 연산은 제1 값의 폭과 제2 값의 높이를 갖는 샘플 블록을 상기 제2 값의 폭과 상기 제1 값의 높이를 갖는 상기 샘플 블록으로 변환하고,
    상기 샘플 블록은 상기 행렬 벡터 곱셈 연산을 수행함으로써 획득되는, 방법.
  6. 제4항에 있어서, 상기 전치 연산을 적용할지를 표시하는 제1 신택스 요소가 상기 비트스트림에 포함되는, 방법.
  7. 제1항에 있어서, 상기 행렬 벡터 곱셈 연산의 입력 샘플들은 상기 비디오 블록의 폭 및 높이에 기초하여 상기 비디오 블록의 경계 참조 샘플들에 대해 다운샘플링 연산을 수행함으로써 획득되는, 방법.
  8. 제1항에 있어서, 상기 제1 인트라 모드를 적용할지를 표시하는 제2 신택스 요소가 상기 비트스트림에 포함되는, 방법.
  9. 제1항에 있어서, 상기 변환은 상기 비디오 블록을 상기 비트스트림으로 인코딩하는 것을 포함하는, 방법.
  10. 제1항에 있어서, 상기 변환은 상기 비트스트림으로부터 상기 비디오 블록을 디코딩하는 것을 포함하는, 방법.
  11. 비디오 데이터를 처리하기 위한 장치로서,
    프로세서 및 명령어들을 갖는 비일시적 메모리를 포함하고, 상기 명령어들은 상기 프로세서에 의한 실행 시에, 상기 프로세서로 하여금,
    비디오의 비디오 블록과 상기 비디오의 비트스트림 간의 변환을 위해, 상기 비디오의 상기 비디오 블록에 대해 제1 인트라 모드가 적용된다고 결정하고 - 상기 제1 인트라 모드는 상기 비디오 블록에 대한 예측 샘플들을 생성하기 위해 행렬 벡터 곱셈 연산, 및 이어서 업샘플링 연산을 포함함 -;
    상기 예측 샘플들에 기초하여 상기 변환을 수행하게 하며;
    상기 업샘플링 연산은 수평 업샘플링 연산 및 수직 업샘플링 연산을 포함하고, 상기 수평 업샘플링 연산 및 상기 수직 업샘플링 연산은 고정된 순서로 수행되고,
    상기 예측 샘플들은 상기 수평 업샘플링 연산에서 ((upHor-dX) * predSamples[xHor][yHor] + dX * predSamples[xHor + upHor][yHor] + offsetHor) / upHor에 따라 결정되고,
    상기 예측 샘플들은 상기 수직 업샘플링 연산에서 ((upVer-dY) * predSamples[xVer][yVer] + dY * predSamples[xVer][yVer+ upVer] + offsetVer) / upVer에 따라 결정되고,
    여기서, upHor는 상기 비디오 블록의 폭과 상기 비디오 블록의 상기 폭 및 높이에 기초하는 미리 정의된 값의 함수이고,
    upVer는 상기 비디오 블록의 상기 높이와 상기 비디오 블록의 상기 폭 및 상기 높이에 기초하는 미리 정의된 값의 함수이고,
    offsetHor 및 offsetVer는 정수들이고,
    1 <= dX <= upHor-1이고,
    1 <= dY <= upVer-1이고,
    xHor은 상기 upHor에 기초하는 위치들이고, yHor은 상기 upVer에 기초하는 위치들인, 장치.
  12. 명령어들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 명령어들은, 프로세서로 하여금,
    비디오의 비디오 블록과 상기 비디오의 비트스트림 간의 변환을 위해, 상기 비디오의 상기 비디오 블록에 대해 제1 인트라 모드가 적용된다고 결정하고 - 상기 제1 인트라 모드는 상기 비디오 블록에 대한 예측 샘플들을 생성하기 위해 행렬 벡터 곱셈 연산, 및 이어서 업샘플링 연산을 포함함 -;
    상기 예측 샘플들에 기초하여 상기 변환을 수행하게 하며;
    상기 업샘플링 연산은 수평 업샘플링 연산 및 수직 업샘플링 연산을 포함하고, 상기 수평 업샘플링 연산 및 상기 수직 업샘플링 연산은 고정된 순서로 수행되고,
    상기 예측 샘플들은 상기 수평 업샘플링 연산에서 ((upHor-dX) * predSamples[xHor][yHor] + dX * predSamples[xHor + upHor][yHor] + offsetHor) / upHor에 따라 결정되고,
    상기 예측 샘플들은 상기 수직 업샘플링 연산에서 ((upVer-dY) * predSamples[xVer][yVer] + dY * predSamples[xVer][yVer+ upVer] + offsetVer) / upVer에 따라 결정되고,
    여기서, upHor는 상기 비디오 블록의 폭과 상기 비디오 블록의 상기 폭 및 높이에 기초하는 미리 정의된 값의 함수이고,
    upVer는 상기 비디오 블록의 상기 높이와 상기 비디오 블록의 상기 폭 및 상기 높이에 기초하는 미리 정의된 값의 함수이고,
    offsetHor 및 offsetVer는 정수들이고,
    1 <= dX <= upHor-1이고,
    1 <= dY <= upVer-1이고,
    xHor은 상기 upHor에 기초하는 위치들이고, yHor은 상기 upVer에 기초하는 위치들인, 비일시적 컴퓨터 판독가능 저장 매체.
  13. 비디오 처리 장치에 의해 수행되는 방법에 의해 생성되는 비디오의 비트스트림을 저장하는 비일시적 컴퓨터 판독가능 기록 매체로서, 상기 방법은,
    상기 비디오의 비디오 블록에 대해 제1 인트라 모드가 적용된다고 결정하는 단계 - 상기 제1 인트라 모드는 상기 비디오 블록에 대한 예측 샘플들을 생성하기 위해 행렬 벡터 곱셈 연산, 및 이어서 업샘플링 연산을 포함함 -; 및
    상기 결정에 기초하여 상기 비트스트림을 생성하는 단계를 포함하고;
    상기 업샘플링 연산은 수평 업샘플링 연산 및 수직 업샘플링 연산을 포함하고, 상기 수평 업샘플링 연산 및 상기 수직 업샘플링 연산은 고정된 순서로 수행되고,
    상기 예측 샘플들은 상기 수평 업샘플링 연산에서 ((upHor-dX) * predSamples[xHor][yHor] + dX * predSamples[xHor + upHor][yHor] + offsetHor) / upHor에 따라 결정되고,
    상기 예측 샘플들은 수직 업샘플링 연산에서 ((upVer-dY) * predSamples[xVer][yVer] + dY * predSamples[xVer][yVer+ upVer] + offsetVer) / upVer에 따라 결정되고,
    여기서, upHor는 상기 비디오 블록의 폭과 상기 비디오 블록의 상기 폭 및 높이에 기초하는 미리 정의된 값의 함수이고,
    upVer는 상기 비디오 블록의 상기 높이와 상기 비디오 블록의 상기 폭 및 상기 높이에 기초하는 미리 정의된 값의 함수이고,
    offsetHor 및 offsetVer는 정수들이고,
    1 <= dX <= upHor-1이고,
    1 <= dY <= upVer-1이고,
    xHor은 상기 upHor에 기초하는 위치들이고, yHor은 상기 upVer에 기초하는 위치들인, 비일시적 컴퓨터 판독가능 기록 매체.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
KR1020217037023A 2019-05-22 2020-05-21 업샘플링을 이용한 행렬 기반 인트라 예측 Active KR102698314B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2019/087987 2019-05-22
CN2019087987 2019-05-22
PCT/CN2020/091542 WO2020233663A1 (en) 2019-05-22 2020-05-21 Matrix-based intra prediction using upsampling

Publications (2)

Publication Number Publication Date
KR20220011127A KR20220011127A (ko) 2022-01-27
KR102698314B1 true KR102698314B1 (ko) 2024-08-26

Family

ID=73458288

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217037023A Active KR102698314B1 (ko) 2019-05-22 2020-05-21 업샘플링을 이용한 행렬 기반 인트라 예측

Country Status (8)

Country Link
US (2) US11659185B2 (ko)
EP (1) EP3954115A4 (ko)
JP (2) JP2022533190A (ko)
KR (1) KR102698314B1 (ko)
CN (2) CN117412039A (ko)
BR (1) BR112021022868A2 (ko)
SG (1) SG11202112517QA (ko)
WO (1) WO2020233663A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3939314A4 (en) 2019-04-12 2022-06-08 Beijing Bytedance Network Technology Co., Ltd. MATRIX-BASED INTRA PREDICTION-BASED TRANSFORMATION CODING
KR102744182B1 (ko) 2019-04-16 2024-12-19 두인 비전 컴퍼니 리미티드 인트라 코딩 모드에서의 행렬 도출
CN117241018A (zh) 2019-05-01 2023-12-15 北京字节跳动网络技术有限公司 使用滤波的基于矩阵的帧内预测
CN117097912A (zh) 2019-05-01 2023-11-21 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文编码
JP2022533190A (ja) 2019-05-22 2022-07-21 北京字節跳動網絡技術有限公司 アップサンプリングを使用した行列ベースのイントラ予測
WO2020239017A1 (en) 2019-05-31 2020-12-03 Beijing Bytedance Network Technology Co., Ltd. One-step downsampling process in matrix-based intra prediction
CN113950836B (zh) 2019-06-05 2024-01-12 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文确定
WO2020251470A1 (en) 2019-06-14 2020-12-17 Telefonaktiebolaget Lm Ericsson (Publ) Simplified downsampling for matrix based intra prediction
EP3984228A4 (en) * 2019-06-14 2023-03-29 Telefonaktiebolaget Lm Ericsson (Publ) SAMPLE VALUE CLIPPING ON MIP REDUCED PREDICTION
KR20220082847A (ko) 2019-10-28 2022-06-17 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 색상 성분에 기초한 신택스 시그널링 및 파싱
US20210192019A1 (en) * 2019-12-18 2021-06-24 Booz Allen Hamilton Inc. System and method for digital steganography purification
US12069305B2 (en) * 2021-04-16 2024-08-20 Tencent America LLC Low memory design for multiple reference line selection scheme

Family Cites Families (118)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100323676B1 (ko) 2000-01-27 2002-02-07 구자홍 디지털 동영상 수신 장치
US8340177B2 (en) 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
CN100461867C (zh) 2004-12-02 2009-02-11 中国科学院计算技术研究所 一种帧内图像预测编码方法
JP5026092B2 (ja) 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
KR101365575B1 (ko) 2007-02-05 2014-02-25 삼성전자주식회사 인터 예측 부호화, 복호화 방법 및 장치
KR101630871B1 (ko) * 2009-01-29 2016-06-16 삼성전자주식회사 인트라 예측 모드 결정 방법 및 장치
CN101848383A (zh) 2009-03-24 2010-09-29 虹软（上海）科技有限公司 对mpeg2格式视频进行降采样解码的方法
US20100246675A1 (en) 2009-03-30 2010-09-30 Sony Corporation Method and apparatus for intra-prediction in a video encoder
RU2011149204A (ru) 2009-06-09 2013-06-10 Сони Корпорейшн Устройство и способ обработки изображений
CN101646081A (zh) 2009-06-18 2010-02-10 杭州高特信息技术有限公司 一种avs快速帧内预测方法及装置
CN102045560B (zh) 2009-10-23 2013-08-07 华为技术有限公司 一种视频编解码方法及设备
KR20110045949A (ko) 2009-10-28 2011-05-04 삼성전자주식회사 회전 변환을 이용한 영상 부호화, 복호화 방법 및 장치
WO2011125313A1 (ja) 2010-04-09 2011-10-13 三菱電機株式会社 動画像符号化装置および動画像復号装置
JP5544996B2 (ja) 2010-04-09 2014-07-09 ソニー株式会社 画像処理装置および方法
CN102377993B (zh) 2010-08-05 2014-09-03 富士通株式会社 帧内预测模式选择方法和系统
US8885701B2 (en) 2010-09-08 2014-11-11 Samsung Electronics Co., Ltd. Low complexity transform coding using adaptive DCT/DST for intra-prediction
US8923395B2 (en) 2010-10-01 2014-12-30 Qualcomm Incorporated Video coding using intra-prediction
CN101977316B (zh) * 2010-10-27 2012-07-25 无锡中星微电子有限公司 一种可伸缩编码方法
US9167252B2 (en) 2010-12-01 2015-10-20 Texas Instruments Incorporated Quantization matrix compression in video coding
KR102086145B1 (ko) * 2010-12-13 2020-03-09 한국전자통신연구원 인트라 예측 방법 및 그 장치
BR112013014371B8 (pt) 2011-01-07 2022-05-24 Hfi Innovation Inc Método e aparelho de codificação aperfeiçoada de modo de predição intra crominância
US8861593B2 (en) 2011-03-15 2014-10-14 Sony Corporation Context adaptation within video coding modules
JP2012238927A (ja) 2011-05-09 2012-12-06 Sony Corp 画像処理装置及び画像処理方法
US9894353B2 (en) * 2011-06-13 2018-02-13 Sun Patent Trust Method and apparatus for encoding and decoding video using intra prediction mode dependent adaptive quantization matrix
CN102427530B (zh) 2011-10-11 2013-10-23 北京工业大学 帧内预测方法
WO2013129203A1 (ja) 2012-02-29 2013-09-06 ソニー株式会社 画像処理装置および方法
US20150043637A1 (en) 2012-04-13 2015-02-12 Sony Corporation Image processing device and method
CN104919798B (zh) 2012-04-16 2018-12-14 华为技术有限公司 量化矩阵编码的方法和装置
US9277211B2 (en) 2012-04-20 2016-03-01 Futurewei Technologies, Inc. Binarization scheme for intra prediction residuals and improved intra prediction in lossless coding in HEVC
US9998727B2 (en) 2012-09-19 2018-06-12 Qualcomm Incorporated Advanced inter-view residual prediction in multiview or 3-dimensional video coding
WO2014052740A1 (en) * 2012-09-28 2014-04-03 Vid Scale, Inc. Adaptive upsampling for multi-layer video coding
US20160073107A1 (en) 2013-04-15 2016-03-10 Intellectual Discovery Co., Ltd Method and apparatus for video encoding/decoding using intra prediction
US10148971B2 (en) 2013-09-24 2018-12-04 Vid Scale, Inc. Inter-layer prediction for scalable video coding
KR102250092B1 (ko) * 2013-10-14 2021-05-10 삼성전자주식회사 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치
US10110910B2 (en) 2013-10-21 2018-10-23 Vid Scale, Inc. Parallel decoding method for layered video coding
KR101786414B1 (ko) 2013-12-13 2017-10-17 브이아이디 스케일, 인크. 보간을 이용하는 루마 및 크로마의 위상 정렬을 위한 컬러 색역 스케일러블 비디오 코딩 디바이스 및 방법
WO2015103124A1 (en) 2014-01-02 2015-07-09 Vid Scale, Inc. Color space conversion
WO2015131330A1 (en) 2014-03-04 2015-09-11 Microsoft Technology Licensing, Llc Encoding strategies for adaptive switching of color spaces, color sampling rates and/or bit depths
AU2014202921B2 (en) * 2014-05-29 2017-02-02 Canon Kabushiki Kaisha Method, apparatus and system for de-blocking a block of video samples
CN106664416B (zh) * 2014-07-06 2019-11-05 Lg电子株式会社 处理视频信号的方法及其装置
WO2016074147A1 (en) 2014-11-11 2016-05-19 Mediatek Singapore Pte. Ltd. Separated coding tree for luma and chroma
TWI511530B (zh) 2014-12-09 2015-12-01 Univ Nat Kaohsiung 1St Univ Sc Distributed video coding system and decoder for distributed video coding system
US10097839B2 (en) 2014-12-19 2018-10-09 Qualcomm Incorporated Palette mode for subsampling format
US10958927B2 (en) 2015-03-27 2021-03-23 Qualcomm Incorporated Motion information derivation mode determination in video coding
CN115134607B (zh) 2015-06-11 2025-02-18 杜比实验室特许公司 使用自适应去块滤波编码和解码图像的方法及其装置
WO2016199330A1 (ja) 2015-06-12 2016-12-15 パナソニックＩｐマネジメント株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
US10531084B2 (en) 2015-06-15 2020-01-07 Lg Electronics Inc. Intra prediction mode based image processing method, and apparatus therefor
US20160373770A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Intra prediction and intra mode coding
US11463689B2 (en) * 2015-06-18 2022-10-04 Qualcomm Incorporated Intra prediction and intra mode coding
US20160373742A1 (en) 2015-06-18 2016-12-22 Qualcomm Incorporated Intra prediction and intra mode coding
US10142627B2 (en) 2015-06-18 2018-11-27 Qualcomm Incorporated Intra prediction and intra mode coding
US10841593B2 (en) 2015-06-18 2020-11-17 Qualcomm Incorporated Intra prediction and intra mode coding
US20160373782A1 (en) 2015-06-18 2016-12-22 Qualcomm Incorporated Intra prediction and intra mode coding
US11477484B2 (en) 2015-06-22 2022-10-18 Qualcomm Incorporated Video intra prediction using hybrid recursive filters
EP3320684B1 (en) 2015-07-08 2024-09-04 InterDigital Madison Patent Holdings, SAS Enhanced chroma coding using cross plane filtering
EP3329679A1 (en) 2015-07-28 2018-06-06 VID SCALE, Inc. High dynamic range video coding architectures with multiple operating modes
US10491922B2 (en) 2015-09-29 2019-11-26 Qualcomm Incorporated Non-separable secondary transform for video coding
CN108141585B (zh) 2015-10-22 2021-11-19 Lg 电子株式会社 视频编码系统中的帧内预测方法和装置
KR102160624B1 (ko) * 2015-11-02 2020-09-28 돌비 레버러토리즈 라이쎈싱 코오포레이션 하이 다이내믹 레인지 비디오의 crc 코드들을 포함한 계층화된 표현 및 전달
US10200719B2 (en) 2015-11-25 2019-02-05 Qualcomm Incorporated Modification of transform coefficients for non-square transform units in video coding
US10448011B2 (en) 2016-03-18 2019-10-15 Mediatek Inc. Method and apparatus of intra prediction in image and video processing
EP3442232A4 (en) 2016-04-06 2019-12-04 KT Corporation METHOD AND APPARATUS FOR PROCESSING VIDEO SIGNAL
KR20190015216A (ko) 2016-05-05 2019-02-13 브이아이디 스케일, 인크. 인트라 코딩을 위한 제어 포인트 기반의 인트라 방향 표현
KR20180136555A (ko) 2016-06-03 2018-12-24 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측 방법 및 장치
US10484712B2 (en) 2016-06-08 2019-11-19 Qualcomm Incorporated Implicit coding of reference line index used in intra prediction
US20170374369A1 (en) 2016-06-24 2017-12-28 Mediatek Inc. Methods and Apparatuses of Decoder Side Intra Mode Derivation
CN116708773A (zh) 2016-07-18 2023-09-05 韩国电子通信研究院 图像编码/解码方法和装置以及存储比特流的记录介质
GB2552323B (en) * 2016-07-18 2020-04-29 Imagination Tech Ltd Mip map compression
US10368107B2 (en) 2016-08-15 2019-07-30 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US10721489B2 (en) 2016-09-06 2020-07-21 Qualcomm Incorporated Geometry-based priority for the construction of candidate lists
CN109691099B (zh) * 2016-09-13 2023-10-27 韩国电子通信研究院 视频编码/解码方法和装置以及在其中存储比特流的记录介质
WO2018064948A1 (en) 2016-10-04 2018-04-12 Mediatek Inc. Method and apparatus for intra chroma coding in image and video coding
CN116916018A (zh) 2016-10-28 2023-10-20 韩国电子通信研究院 视频编码/解码方法和设备以及存储比特流的记录介质
CN116156161A (zh) * 2017-01-04 2023-05-23 三星电子株式会社 视频解码方法和设备以及视频编码方法和设备
EP3622713B1 (en) 2017-05-09 2024-11-13 Google LLC Directional intra-prediction coding
US10951908B2 (en) 2017-05-24 2021-03-16 Lg Electronics Inc. Method and device for decoding image according to intra prediction in image coding system
KR102466945B1 (ko) 2017-06-21 2022-11-14 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
CN117499630A (zh) 2017-07-06 2024-02-02 Lx 半导体科技有限公司 图像解码设备、图像编码设备、用于发送图像数据的设备
CN109302608B (zh) * 2017-07-25 2021-06-22 华为技术有限公司 图像处理方法、设备及系统
CN116055721A (zh) 2017-07-28 2023-05-02 松下电器（美国）知识产权公司 编码装置和编码方法
US11172203B2 (en) 2017-08-08 2021-11-09 Mediatek Inc. Intra merge prediction
US11082721B2 (en) 2017-09-07 2021-08-03 Lg Electronics Inc. Method and apparatus for entropy-encoding and entropy-decoding video signal
KR102487032B1 (ko) 2018-02-14 2023-01-11 돌비 레버러토리즈 라이쎈싱 코오포레이션 레이트 왜곡 최적화를 이용한 비디오 코딩에서의 이미지 재성형
KR102422798B1 (ko) 2018-03-08 2022-07-19 삼성전자주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
US10284860B1 (en) * 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
KR20200028856A (ko) 2018-09-07 2020-03-17 김기백 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
KR20240007716A (ko) 2018-09-13 2024-01-16 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 아핀 선형 가중 인트라 예측
JP7451504B2 (ja) 2018-09-21 2024-03-18 オッポ広東移動通信有限公司 ビデオ信号符号化／復号化方法およびそのための機器
CN117880501A (zh) 2018-10-07 2024-04-12 三星电子株式会社 用于编码或解码视频信号的视频信号处理方法和设备
AU2019374663B2 (en) 2018-11-08 2023-02-09 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image signal encoding/decoding method, and device for same
BR112021011929A2 (pt) 2018-12-20 2021-09-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Unidade de armazenamento não transitória, decodificador para decodificação e codificador para codificação de uma figura a partir de um fluxo contínuo de dados e método de decodificação e codificação
US11445203B2 (en) 2019-01-04 2022-09-13 Qualcomm Incorporated Sub-partition intra prediction in video coding
KR102597617B1 (ko) 2019-02-26 2023-11-03 애플 인크. 영상 신호 부호화/복호화 방법 및 이를 위한 장치
MX2021010159A (es) * 2019-02-28 2021-09-14 Apple Inc Metodo para codificar/decodificar se?al de imagen, y dispositivo para el mismo.
CN118921455A (zh) 2019-03-12 2024-11-08 苹果公司 用于对图像信号进行编码/解码的方法及其装置
US11134257B2 (en) 2019-04-04 2021-09-28 Tencent America LLC Simplified signaling method for affine linear weighted intra prediction mode
EP3939314A4 (en) 2019-04-12 2022-06-08 Beijing Bytedance Network Technology Co., Ltd. MATRIX-BASED INTRA PREDICTION-BASED TRANSFORMATION CODING
EP3949414A4 (en) 2019-04-16 2023-04-12 HFI Innovation Inc. METHODS AND APPARATUS FOR CODING VIDEO DATA WITH ADAPTIVE SECONDARY TRANSFORM SIGNALING
KR102744182B1 (ko) 2019-04-16 2024-12-19 두인 비전 컴퍼니 리미티드 인트라 코딩 모드에서의 행렬 도출
JP7260665B2 (ja) 2019-04-20 2023-04-18 エルジー エレクトロニクス インコーポレイティド Ｂｄｐｃｍに基づく映像コーディング方法、及びその装置
US11381808B2 (en) 2019-04-25 2022-07-05 Hfi Innovation Inc. Method and apparatus of matrix based intra prediction in image and video processing
AU2020265960A1 (en) 2019-04-27 2021-08-19 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods of intra prediction
CN119277062A (zh) 2019-04-27 2025-01-07 数码士有限公司 基于帧内预测处理视频信号的方法和设备
CN117097912A (zh) 2019-05-01 2023-11-21 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文编码
CN117241018A (zh) 2019-05-01 2023-12-15 北京字节跳动网络技术有限公司 使用滤波的基于矩阵的帧内预测
US11363284B2 (en) 2019-05-09 2022-06-14 Qualcomm Incorporated Upsampling in affine linear weighted intra prediction
US11277637B2 (en) 2019-05-09 2022-03-15 Qualcomm Incorporated Reference sampling for matrix intra prediction mode
US11284093B2 (en) 2019-05-09 2022-03-22 Qualcomm Incorporated Affine linear weighted intra prediction in video coding
TWI816439B (zh) * 2019-05-10 2023-09-21 弗勞恩霍夫爾協會 以區塊為基礎之預測技術
JP2022533190A (ja) 2019-05-22 2022-07-21 北京字節跳動網絡技術有限公司 アップサンプリングを使用した行列ベースのイントラ予測
WO2020239017A1 (en) 2019-05-31 2020-12-03 Beijing Bytedance Network Technology Co., Ltd. One-step downsampling process in matrix-based intra prediction
CN119254990A (zh) 2019-06-03 2025-01-03 Lg电子株式会社 图像解码方法、图像编码方法和数据发送方法
CN113950836B (zh) 2019-06-05 2024-01-12 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文确定
US11197025B2 (en) 2019-06-21 2021-12-07 Qualcomm Incorporated Signaling of matrix intra prediction parameters in video coding
CN113225563B (zh) 2019-06-25 2023-07-18 Oppo广东移动通信有限公司 映射方法、编码器、解码器以及计算机存储介质
US11284073B2 (en) 2019-07-08 2022-03-22 Hyundai Motor Company Method and apparatus for intra prediction coding of video data involving matrix based intra-prediction
CN110708559B (zh) 2019-09-03 2022-03-25 北京达佳互联信息技术有限公司 图像处理方法、装置及存储介质
US20210092405A1 (en) 2019-09-19 2021-03-25 Qualcomm Incorporated Matrix combination for matrix-weighted intra prediction in video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jonathan Pfaff, et al.,JVET-M1001-v7_proposal_text_CE3-4.1_v2.docx(2019.03.25. 공개)

Also Published As

Publication number Publication date
CN117412039A (zh) 2024-01-16
US20220007029A1 (en) 2022-01-06
US20230132613A1 (en) 2023-05-04
CN113875233B (zh) 2023-12-15
KR20220011127A (ko) 2022-01-27
SG11202112517QA (en) 2021-12-30
JP2024097853A (ja) 2024-07-19
JP2022533190A (ja) 2022-07-21
CN113875233A (zh) 2021-12-31
EP3954115A4 (en) 2023-04-19
BR112021022868A2 (pt) 2022-01-04
EP3954115A1 (en) 2022-02-16
WO2020233663A1 (en) 2020-11-26
US11659185B2 (en) 2023-05-23

Similar Documents

Publication Publication Date Title
JP7303325B2 (ja) ビデオ処理方法、装置、記憶媒体、及び記憶方法
KR102698314B1 (ko) 업샘플링을 이용한 행렬 기반 인트라 예측
KR102744572B1 (ko) 행렬 기반 인트라 예측에서의 제한된 업샘플링 프로세스
JP7632852B2 (ja) マトリクスベースイントラ予測のためのコンテキスト決定
KR102736164B1 (ko) 필터링을 이용한 행렬 기반 인트라 예측
KR102744182B1 (ko) 인트라 코딩 모드에서의 행렬 도출
WO2020221372A1 (en) Context coding for matrix-based intra prediction

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20211112

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20230510

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20231122

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240520

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240820

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240821

End annual number: 3

Start annual number: 1

PG1601 Publication of registration