KR102677020B1 - 비디오 코딩에서 인트라 블록 카피를 위한 가상 예측 버퍼 - Google Patents
비디오 코딩에서 인트라 블록 카피를 위한 가상 예측 버퍼 Download PDFInfo
- Publication number
- KR102677020B1 KR102677020B1 KR1020217043338A KR20217043338A KR102677020B1 KR 102677020 B1 KR102677020 B1 KR 102677020B1 KR 1020217043338 A KR1020217043338 A KR 1020217043338A KR 20217043338 A KR20217043338 A KR 20217043338A KR 102677020 B1 KR102677020 B1 KR 102677020B1
- Authority
- KR
- South Korea
- Prior art keywords
- block
- size
- buffer
- current
- reference samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000872 buffer Substances 0.000 title description 284
- 238000003672 processing method Methods 0.000 claims abstract description 20
- 230000009466 transformation Effects 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims description 299
- 238000012545 processing Methods 0.000 claims description 32
- 230000015654 memory Effects 0.000 claims description 27
- 230000001419 dependent effect Effects 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 abstract description 51
- 239000013598 vector Substances 0.000 description 221
- 239000000523 sample Substances 0.000 description 188
- 241000023320 Luma <angiosperm> Species 0.000 description 153
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 144
- 230000008569 process Effects 0.000 description 96
- 239000011159 matrix material Substances 0.000 description 62
- 238000006243 chemical reaction Methods 0.000 description 46
- 238000001914 filtration Methods 0.000 description 22
- 238000013461 design Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 16
- 238000009795 derivation Methods 0.000 description 13
- 101150039623 Clip1 gene Proteins 0.000 description 12
- 239000011449 brick Substances 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 239000010754 BS 2869 Class F Substances 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 239000013074 reference sample Substances 0.000 description 8
- 239000010751 BS 2869 Class A2 Substances 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 6
- 230000009977 dual effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 238000007493 shaping process Methods 0.000 description 4
- 230000011664 signaling Effects 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000012723 sample buffer Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
시각 매체 처리 방법은 시각 매체 데이터의 현재 픽쳐내 현재 비디오 블록과 상기 시각 매체 데이터의 비트스트림 표현 간의 변환을 수행하는 단계를 포함하되, 상기 변환은 현재 비디오 블록의 예측 블록을 유도하기 위해 사용되는 참조 샘플들을 포함하는 상기 현재 픽쳐의 참조 영역에 기반하고, 기결정된 크기의 가상 버퍼가 상기 예측 블록을 유도하기 위한 상기 참조 샘플들의 이용 가능성(availability)를 추적하기 위해 사용된다. .
Description
관련 출원들과의 상호 참조
본 출원은 2019년 7월 6일자로 출원된 국제 특허출원 PCT/CN2019/094957호 및 2019년 7월 9일자로 출원된 국제 특허출원 PCT/CN2019/095297호에 대한 우선권 및 관련 효익들을 주장하여 2020년 7월 1일자로 출원된 국제 특허출원 PCT/CN2020/099702호에 대한 국내 단계 출원이다. 전술한 출원들의 전체 개시사항들은 본원의 개시의 일부로서 참고로 포함된다.
기술분야
본 발명은 비디오 코딩 및 디코딩 기법, 장치 및 시스템들에 관한 것이다.
비디오 압축(기술)의 발전에도 불구하고, 디지털 비디오는 여전히 인터넷과 다른 디지털 통신 네트워크 상의 최대 대역폭 사용(bandwidth use)을 차지한다. 비디오를 수신 및 재생(displaying)할 수 있는 연결된 사용 장치의 수가 증가함에 따라, 디지털 비디오 사용의 대역폭 요구는 계속 증가(grow)할 것이다.
이 명세서는 비디오 또는 화상을 디코딩 또는 인코딩하는 인트라 블록 복사 모드(intra block copy mode)를 위한 버퍼 관리(buffer management) 및 블록 벡터 코딩(block vector coding)의 다양한 실시예들과 기법들을 설명한다.
한 예시적 국면(aspect)에서, 시각 매체 (visual media) 처리 방법이 개시된다. 상기 방법은, 시각 매체 데이터의 현재 픽쳐 (또는 '현재 화면')내 현재 비디오 블록과 상기 현재 비디오 블록의 비트스트림 표현 간의 변환을 위해, 블록 벡터 (BVx,BVy)를 결정하는 단계를 포함하고, 여기서 상기 블록 벡터 (BVx,BVy)의 유효성 (validity)은 (1) 샘플 블록의 위치(P, Q), 및/또는 (2) 상기 위치(P, Q)에서의 샘플이 복원되었는 지 여부, 및/또는 (3) 상기 현재 비디오 블록의 위치에 독립적이다. 또한, 상기 블록 벡터 (BVx,BVy)는 상기 현재 비디오 블록과 상기 샘플 블록 간의 화소 (또는 '픽셀') 변위(displacement)를 나타내며; 또한, 상기 블록 벡터를 이용하여, 상기 현재 비디오 블록의 예측 블록을 유도하기 위해 사용되는 참조 샘플들을 포함하는 상기 현재 비디오 블록과 동일 비디오 영역내 복원된 블록에 기반하여 인트라 블록 복사 모드(intra block copy mode)에서 상기 변환을 수행하는 단계를 포함하되, 여기서, 상기 변환 동안, 버퍼내 참조 샘플로부터 위치(A, B)에 해당하는 예측 샘플은 적어도 상기 버퍼의 크기 및/또는 상기 블록 벡터 (BVx,BVy)에 의해 결정되어 진다.
또 다른 예시적 국면에서, 또 다른 시각 매체 처리 방법이 개시된다. 상기 방법은 시각 매체 데이터의 현재 픽쳐내 현재 비디오 블록과 상기 시각 매체 데이터의 비트스트림 표현 간의 변환을 위해, 상기 현재 비디오 블록에 대응하는 블록 벡터 (BVx,BVy)가 유효한지 여부를 규칙에 근거하여 결정하는 단계를 포함하고, 여기서 상기 블록 벡터 (BVx,BVy)는 상기 현재 비디오 블록과 상기 샘플 블록 간의 화소 변위(displacement)를 나타내며; 또한, 상기 블록 벡터를 이용하여, 상기 현재 비디오 블록의 예측 블록을 유도하기 위해 사용되는 참조 샘플들을 포함하는 상기 현재 픽쳐의 참조 영역에 기반하여 상기 변환을 수행하는 단계를 포함하되, 여기서, 상기 규칙은, (1) 상기 샘플 블록으로부터 하나 이상의 샘플들이 상기 현재 픽쳐 외부에 있는 경우, 및/또는 (2) 상기 샘플 블록으로부터 하나 이상의 샘플들이 상기 현재 비디오 블록과 관련된 적어도 하나 이상의 코딩 트리 유닛(CTU) 외부에 있는 경우, 및/또는 (3) 상기 샘플 블록으로부터 하나 이상의 샘플들이 복원에 실패한 경우, 상기 블록 벡터 (BVx,BVy)가 유효함을 명시한다.
또 다른 예시적 국면에서, 또 다른 시각 매체 처리 방법이 개시된다. 상기 방법은 시각 매체 데이터의 현재 픽쳐내 현재 비디오 블록과 상기 시각 매체 데이터의 비트스트림 표현 간의 변환을 수행하는 단계를 포함하되, 상기 변환은 현재 비디오 블록의 예측 블록을 유도하기 위해 사용되는 참조 샘플들을 포함하는 상기 현재 픽쳐의 참조 영역에 기반하고, 기결정된 크기의 가상 버퍼가 상기 예측 블록을 유도하기 위한 상기 참조 샘플들의 이용 가능성(availability)를 추적하기 위해 사용된다.
또 다른 예시적 국면에서, 또 다른 시각 매체 처리 방법이 개시된다. 상기 방법은, 시각 매체 데이터의 현재 픽쳐내 현재 비디오 블록과 상기 시각 매체 데이터의 비트스트림 표현 간의 변환을 위해, 현재 비디오 블록의 예측 블록을 유도하기 위한 현재 픽쳐의 참조 샘플들을 포함하는 버퍼를 유지하는 단계를 포함하되, 상기 유도를 위해 사용하지 않는 것으로 표시된 상기 버퍼내의 하나 이상의 참조 샘플들은 화소 값 범위 외부의 값을 가진다.
또 다른 예시적 국면에서, 또 다른 비디오 처리 방법이 개시된다. 상기 방법은, 시각 매체 데이터의 현재 픽쳐내 현재 비디오 블록과 상기 시각 매체 데이터의 비트스트림 표현 간의 변환을, 현재 비디오 블록의 예측 블록을 유도하기 위한 현재 픽쳐의 참조 샘플들을 포함하는 버퍼를 이용하여, 수행하는 단계를 포함하되, 상기 변환은 규칙에 근거하고, 상기 규칙은, 규칙에 부합하는 비트스트림 표현을 위해, 비트스트림 적합 제약(bitstream conformance constraint)을 만족하는 상기 버퍼내의 참조 샘플들을 명시한다.
또 다른 예시적 국면에서, 전술한 하나의 방법을 구현하도록 구성된 비디오 인코더 또는 디코더 장치가 개시된다.
또 다른 예시적 국면에서, 컴퓨터 독출 가능한(computer readable) 프로그램 매체(program medium)가 개시된다. 이 매체는 개시된 방법들 중의 하나를 구현할 명령이 실행 가능한 프로세서로 유형화되는 코드를 저장한다.
이들 및 다른 국면들이 이 명세서에 더 상세히 설명된다.
도 1은 현재 화면 참조 또는 인트라 블록 복사 비디오 또는 화상 코딩 기법의 예를 보인다.
도 2는 동적 기준 영역의 예를 보인다.
도 3은 (x,y)로부터 시작되는 블록의 코딩의 예를 보인다.
도 4는 이전에 코딩된 64X64 블록들을 선택하는 가능한 대체적 방법의 예들을 보인다.
도 5는 64X64 블록들의 코딩/디코딩 순서를 변경시키는 가능한 대체적 방법의 하나의 예를 보인다.
도 6은 비디오 또는 화상 처리의 예시적 방법의 흐름도.
도 7은 비디오 또는 화상 코딩 또는 디코딩을 위한 하드웨어 플랫폼의 블록도.
도 8은 64x64 블록들의 디코딩 순서가 상-하, 좌-우일 때 이전에 코딩된 64X64 블록들을 선택하는 다른 가능한 대체적 방법을 보인다.
도 9는 이전에 코딩된 64X64 블록들을 선택하는 다른 가능한 대체적 방법을 보인다.
도 10은 정형에 의한 디코딩 프로세스의 예시적 흐름도.
도 11은 64x64 블록들의 디코딩 순서가 좌-우, 상-하일 때 이전에 코딩된 64X64 블록들을 선택하는 다른 가능한 대체적 방법을 보인다.
도 12는 하나의 블록이 64x64 CTU를 나타낼 때, IBC 기준 버퍼 상태의 도면.
도 13은 IBC를 위한 기준 영역의 하나의 배열을 보인다.
도 14는 IBC를 위한 기준 영역의 다른 배열을 보인다.
도 15는 현재 가상 파이프라인 데이터 유닛(VPDU)이 화면 경계의 우측일 때 IBC를 위한 기준 영역의 다른 배열을 보인다.
도 16은 CTU 행 내의 VPDU들이 순차적으로 디코딩될 때 가상 버퍼의 상태의 예를 보인다.
도 17은 개시된 기법들이 구현될 수 있는 예시적 비디오 처리 시스템의 블록도.
도 18은 시각 매체 처리의 예시적 방법을 보이는 흐름도.
도 19는 시각 매체 처리의 예시적 방법을 보이는 흐름도.
도 20은 시각 매체 처리의 예시적 방법을 보이는 흐름도.
도 21은 시각 매체 처리의 예시적 방법을 보이는 흐름도.
도 22는 시각 매체 처리의 예시적 방법을 보이는 흐름도.
도 2는 동적 기준 영역의 예를 보인다.
도 3은 (x,y)로부터 시작되는 블록의 코딩의 예를 보인다.
도 4는 이전에 코딩된 64X64 블록들을 선택하는 가능한 대체적 방법의 예들을 보인다.
도 5는 64X64 블록들의 코딩/디코딩 순서를 변경시키는 가능한 대체적 방법의 하나의 예를 보인다.
도 6은 비디오 또는 화상 처리의 예시적 방법의 흐름도.
도 7은 비디오 또는 화상 코딩 또는 디코딩을 위한 하드웨어 플랫폼의 블록도.
도 8은 64x64 블록들의 디코딩 순서가 상-하, 좌-우일 때 이전에 코딩된 64X64 블록들을 선택하는 다른 가능한 대체적 방법을 보인다.
도 9는 이전에 코딩된 64X64 블록들을 선택하는 다른 가능한 대체적 방법을 보인다.
도 10은 정형에 의한 디코딩 프로세스의 예시적 흐름도.
도 11은 64x64 블록들의 디코딩 순서가 좌-우, 상-하일 때 이전에 코딩된 64X64 블록들을 선택하는 다른 가능한 대체적 방법을 보인다.
도 12는 하나의 블록이 64x64 CTU를 나타낼 때, IBC 기준 버퍼 상태의 도면.
도 13은 IBC를 위한 기준 영역의 하나의 배열을 보인다.
도 14는 IBC를 위한 기준 영역의 다른 배열을 보인다.
도 15는 현재 가상 파이프라인 데이터 유닛(VPDU)이 화면 경계의 우측일 때 IBC를 위한 기준 영역의 다른 배열을 보인다.
도 16은 CTU 행 내의 VPDU들이 순차적으로 디코딩될 때 가상 버퍼의 상태의 예를 보인다.
도 17은 개시된 기법들이 구현될 수 있는 예시적 비디오 처리 시스템의 블록도.
도 18은 시각 매체 처리의 예시적 방법을 보이는 흐름도.
도 19는 시각 매체 처리의 예시적 방법을 보이는 흐름도.
도 20은 시각 매체 처리의 예시적 방법을 보이는 흐름도.
도 21은 시각 매체 처리의 예시적 방법을 보이는 흐름도.
도 22는 시각 매체 처리의 예시적 방법을 보이는 흐름도.
섹션의 표제들은 이 명세서에서 이해의 편의를 위한 것으로 각 섹션에 개시된 실시예들의 범위를 그 섹션에만 한정하는 것이 아니다. 이 명세서는 비디오 또는 화상(image)를 디코딩 또는 인코딩하는 인트라 블록 복사 모드(intra block copy mode)를 위한 버퍼 관리(buffer management) 및 블록 벡터 코딩(block vector coding)의 다양한 실시예들과 기법들을 설명한다.
1. 요약(Summary)
본 발명은 비디오 코딩 기술들에 관한 것이다. 더 구체적으로, 본 발명은 비디오 코딩에서 인트라 블록 복사에 관한 것이다. 본 발명은 예를 들어 다용도 비디오 코딩(Versatile Video Coding) 등의 개발 중인 표준에 적용될 수 있다. 본 발명은 미래 비디오 코딩 표준 또는 비디오 코덱에도 적용될 수 있다.
2. 개요(Brief Discussion)
비디오 코딩 표준들은 주로 잘 알려진 ITU-T 및 ISO/IEC의 개발을 통해 발전해 왔다. ITU-T는 H.261 및 H.263을 산출했고, ISO/IEC는 MPEG-1 및 MPEG-4 Visual을 산출했으며, 두 기관들은 공동으로 H.262/MPEG-2 Video와 H.264/MPEG-4 진보된 비디오 코딩(Advanced Video Coding; AVC) 및 H.265/HEVC 표준들을 산출했다. 비디오 코딩 표준인 H.262가 하이브리드 비디오 코딩 구조를 사용하므로 일시적 예측(temporal prediction) 더하기 변환 코딩(transform coding)이 사용된다. HEVC 너머의 미래 비디오 기술을 탐구하기 위해, 공동 비디오 탐구 팀(Joint Video Exploration Team; JVET)이 VCEG 및 MPEG에 의해 공동으로 2015년 설립되었다. 그 이후 많은 새로운 방법들이 JVET에 의해 채택되어 차세대 코딩 실험 모델(공동 탐구 모델; Joint Exploration Model; JEM)로 명명된 기준 소프트웨어에 투입되었다. 2018년 4월, VCEG (Q6/16)와 ISO/IEC JTC1 SC29/WG11(MPEG) 간의 공동 전문가 팀(Joint Video Expert Team; JVET)이 창설되어 HEVC에 비해 50% 비트전송률 저감을 목표로 하는 VVC 표준에 대한 연구를 하고 있다.
2.1 HEVC/H.265에서의 인터 예측(Inter prediction in HEVC/H.265)
각 인터 예측된(inter-predicted) PU는 하나 또는 2개의 참조 화면(reference picture) 목록들에 대한 모션 파라미터(motion parameter)들을 갖는다. 모션 파라미터들은 모션 벡터와 참조 화면 인덱스(index)를 포함한다. 2개의 참조 화면 목록들 중의 하나의 사용 역시 inter_pred_idc를 사용하여 신호될 수 있다. 모션 벡터들은 예측변수(predictor)들에 대한 델타(delta)들로서 명시적으로(explicitly) 코딩될 수 있다.
CU가 스킵 모드(skip mode)로 코딩되면 하나의 PU가 이 CU에 연계되는데, 고, 중요 잔차계수(significant residual coefficient)가 없고, 코딩된 모션 벡터 델타 또는 참조 화면 인덱스도 없다. 병합 모드(merge mode)가 규정됨으로써 공간적(spatial) 및 시간적(temporal) 후보(candidate)들을 포함하여 현재 PU에 대한 모션 파라미터들이 이웃 PU들로부터 얻어진다. 병합 모드는 스킵 모드뿐 아니라 어떤 인터 예측된 PU에도 적용될 수 있다. 병합 모드에 대한 대안은 모션 파라미터들의 명시적 전송(explicit transmission)인데, 여기서 각 참조 화면 목록에 대한 참조 화면의 참조 화면 인덱스에 대응하는 모션 벡터(더 정확히는 모션 벡터 예측 변수와 비교한 모션 벡터 차이(motion vector differences; MVD)와 참조 화면 목록 사용(usage)이 각 PU 당 명시적으로 신호된다. 이러한 모드는 이 명세서에서 진보된 모션 벡터 예측(Advanced motion vector prediction; AMVP)로 명명된다.
시그널링(signalling)이 2개의 참조 화면 목록들 중의 하나가 사용될 것으로 표시(indicate)하면, 샘플들의 한 블록으로부터 PU가 산출된다. 이는 "단 예측(uni-prediction)"으로 지칭된다. 단 예측은 P 슬라이스(P-slice) 및 B 슬라이스들 모두에 적용 가능하다.
시그널링이 참조 화면 목록들 양자를 사용할 것을 표시하면, 샘플들의 2개의 블록들로부터 PU가 산출된다. 이는 "양 예측(bi-prediction)"으로 지칭된다. 양 예측은 B 슬라이스들에만 적용 가능하다.
이하의 텍스트는 HEVC에 규정된 인터 예측 모드(inter prediction mode)에 대한 상세를 제공한다. 설명은 병합 모드와 함께 시작된다.
2.2 현재 화면 참조(Current Picture Referencing)
한때 인트라 블록 복사(Intra Block Copy; IBC)로 명명되었던 현재 화면 참조(Current Picture Referencing; CPR)가 HEVC 스크린 콘텐츠 코딩 확장(Screen Content Coding extensions)(HEVC-SCC)과 VVC 시험 모델에 채택되었다. IBC는 인터 프레임 코딩(inter-frame coding)으로부터 인트라 프레임 코딩(intra-frame coding)으로 모션 보상(motion compensation)의 개념을 확장하였다. 도 1에 도시된 바와 같이, CPR이 적용될 때 현재 블록은 동일 화면 내의 기준 블록에 의해 예측된다. 기준 블록 내의 샘플들은 현재 블록이 코딩 또는 디코딩되기 전에 이미 재생(reconstructed)되어 있어야 한다. CPR이 카메라 캡처된(camera-captured) 시퀀스들에 그렇게 효율적은 아니지만, 이는 스크린 콘텐츠(screen content)에 대한 상당한 코딩 게인(coding gain)을 보인다. 그 이유는 스크린 콘텐츠 화면 내에 아이콘 과 문자(text character) 등 수많은 반복 패턴들이 존재하기 때문이다. CPR은 이러한 반복 패턴들 간의 리던던시(redundancy)를 효과적으로 제거할 수 있다. HEVC-SCC에서, 현재 화면을 그 참조 화면들로 선택한다면 인터 코딩된(inter-coded) 코딩 유닛(coding unit; CU)에 CPR을 적용할 수 있다. 이 경우 MV는 블록 벡터(BV)로 개명되고, BV는 항상 정수 화소(integer-pixel) 정밀도(precision)를 갖는다. 메인 프로파일(main profile)인 HEVC와 호환(compatible with)을 위해, 현재 화면은 디코딩된 화면 버퍼(Decoded Picture Buffer; DPB) 내에 "장기(long-term)" 참조 화면으로 마킹된다. 마찬가지로 다시점/3D 비디오 코딩 표준(multiple view/3D video coding standard)들에서 인터 시점(inter-view) 참조 화면 역시 "장기" 참조 화면으로 마킹됨에 유의해야 한다.
BV가 그 기준 블록을 찾은 다음, 기준 블록을 복사함으로써 예측이 생성될 수 있다. 기준 화소들을 원래 신호들로부터 차감함으로써 잔차(residual)가 얻어질 수 있다. 이어서 다른 코딩 모드들에서와 같이 변환과 양자화(quantization)가 적용될 수 있다.
도 1은 현재 화면 참조(Current Picture Referencing)의 예시적 도면이다.
그러나 기준 블록이 화면 외부에 있거나, 현재 블록과 중첩(overlap)되거나, 재생 영역(reconstructed area) 외부이거나, 어떤 제약들에 의해 제한된 유효 영역(valid area) 외부라면, 일부 또는 전부의 화소값들이 정의되지 않는다. 기본적으로, 이러한 문제를 해결하는 2가지 해법들이 있다. 하나는 예를 들어 비트스트림 적합성(bitstream conformance)에서 이러한 상황을 허용하지 않는 것이다. 다른 하나는 이 정의되지 않은 화소값들에 패딩(padding)을 적용하는 것이다. 다음 세부 섹션들에서 이 해법들을 상세히 설명한다.
2.3
HEVC 스크린 콘텐츠 코딩 확장에서의 CPR(CPR in HEVC Screen Content Coding extensions)
HEVC의 스크린 콘텐츠 코딩 확장에서, 블록이 현재 화면을 기준으로 사용한다면, 다음 스펙 텍스트(spec text)에서 지시된 바와 같이 전체 기준 블록이 사용 가능한 재생 영역 이내일 것이 보장되어야 하는데:
이에 따라, 기준 블록이 현재 블록과 중첩되거나 기준 블록이 화면 외부인 상황은 발생되지 않을 것이다. (그러므로) 기준 또는 예측 블록을 패딩할(pad)할 필요가 없다.
2.4 CPR/IBC의 예들(Examples of CPR/IBC)
VVC 시험 모델에서, 전제 기준 블록은 현재 코딩 트리 유닛(current coding tree unit; CTU)을 가져야 하고 현재 블록과 중첩되지 않아야 한다. 이에 따라 기준 또는 예측 블록에 패딩할 필요가 없다.
이중 트리(dual tree)가 이네이블되면(enabled) 분할 구조(partition structure)는 루마(luma)로부터 크로마(chroma) CTU들까지 다를 수 있다. 그러므로 4:2:0 칼라 포맷에 대해 (예를 들어 CU 등의) 하나의 크로마 블록은 복수의 루마 CTU들로 분할된 하나의 병치된(collocated) 루마 영역에 대응할 수 있다.
크로마 블록은 다음 조건들이 참(true)일 때만 CPR 모드로 코딩될 수 있다:
1) 병치된 루마 블록 내의 각 루마 CU가 CPR 모드로 코딩되어야 하고
2) 각 루마 4x4 블록의 BV가 먼저 크로마 블록의 BV로 변환되고 크로마 블록의 BV가 유효한(valid) BV이다.
2개의 조건들 중의 어느 것이 거짓(false)이면, 크로마 블록은 CPR 모드로 코딩될 수 없다.
'유효한 BV(valid BV)'의 정의가 다음 제약들을 가짐에 유의해야 하는데:
1) BV에 의해 식별된 기준 블록 내의 모든 샘플들은 제한된 탐색 범위(search range)를 가져야 한다(예를 들어 현재 VVC 설계에서 동일한 CTU 내에 있어야 한다).
2) BV에 의해 식별된 기준 블록 내의 모든 샘플들은 재생(reconstructed)되었어야 한다.
2.5 CPR/IBC의 예들(Examples of CPR/IBC)
일부 예들에서, CPR/IBC를 위한 기준 영역은 현재 CTU로 제한되는데, 이는 128x128까지이다. 기준 영역은 CPR/IBC를 위한 참조 샘플들을 저장하는 메모리를 재사용하기 위해 동적으로 변경되어, CPR/IBC를 위한 기준 버퍼(reference buffer)가 하나의 CTU를 유지하거나 이로부터 축소되면서 CPR/IBC 블록이 더 많은 기준 후보(reference candidate)를 가질 수 있다.
도 2는 하나의 방법을 보이는데, 여기서 블록은 64x64이고 CTU는 64x64 블록들을 포함한다. 64x64 블록을 코딩할 때 이전 3개의 64x64 블록들이 기준으로 사용될 수 있다. 그럼으로써 디코더는 CPR/IBC를 지원하는 데 정확히 4개의 64x64 블록들만을 저장할 필요가 있다.
화면의 상-좌(upper-left) 모서리에 대한 현재 루마 CU의 위치가 (x, y)이고 블록 벡터가 (BVx, BVy)라고 가정하자. 현재의 설계에서, 루마 위치 ((x+BVx)>>6<<6+(1<<7)라는 것으로 BV가 유효하다고 할 수 있다면, (y+BVy)>>6<<6)는 재생되지 않았고 ((x+BVx)>>6<<6+(1<<7), (y+BVy)>>6<<6)은 (x>>6<<6, y>>6<<6)과 같지 않다.
2.6
루프-내 정형(In-loop reshaping; ILR)
루프-내 정형(in-loop reshaping; ILR)의 기본적 아이디어는 (제1 도메인의) 원래의 신호(예측/재생 신호)를 제2 도메인(정형 도메인)으로 변환하는 것이다.
루프-내 루마 정형기(in-loop luma reshaper)는 한 쌍의 룩업 테이블(look-up tables; LUTs)들로 구현되지만, 다른 것은 신호된 LUT로부터 연산될 수 있으므로 2개의 LUT들 중 하나만이 신호될 필요가 있다. 각 LUT는 1차원, 10비트, 1024-입력(entry) 매핑 테이블(mapping table)(1D-LUT)이다. 하나의 LUT는 입력 루마 코드 값(Y i )을 변경된 값 Y r : Y r =InvLUT[Y i ]로 매핑하는(map) 정방향(forward) LUT(FwdLUT)이다. 다른 LUT는 변경된 코드 값(Y i )을 : =InvLUT[Y r ]로 매핑하는 역방향(inverse) LUT(InvLUT)이다(는 Y i 의 재생 값을 나타낸다).
2.6.1 PWL 모델(PWL model)
개념적으로 조각별 선형(piece-wise linear; PWL)은 다음 방법으로 구현되는데:
x1, x2가 2개의 입력 회동점(input pivot point)들이고, y1, y2가 한 조각(piece)을 위한 그 대응 출력 회동점들이fk고 가정한다. x1과 x2 사이의 어떤 입력값(x)에 대한 출력값 y는 다음 식으로 보간될(interpolated) 수 있는데:
y = ((y2-y1)/(x2-x1)) * (x-x1) + y1
고정 소수점(fixed point) 구현에서는 이 식이 다음으로 수정될 수 있는데:
y = ((m * x + 2FP_PREC-1) >> FP_PREC) + c
여기서 m은 스칼라(scalar), c는 오프셋(offset), 그리고 FP_PREC는 정밀도를 규정하는 상수 값이다.
일부 예들에서, PWL 모델은 1024 입력 FwdLUT 및 InvLUT 매핑 테이블을 사전 연산(precompute)하는 데 사용되지만; PWL 모델은 또한 LUT들을 사전 연산하지 않고 동일한 현장(on-the-fly) 매핑 값의 연산의 구현 역시 가능하게 한다.
2.6.2.1 루마 정형(Luma reshaping)
루프-내 루마 정형 방법은 인터 슬라이스 재생에서의 블록별 인트라 예측에 대한 디코딩 지연(latency) 역시 제거하는 더 낮은 복잡성(complexity)의 파이프라인을 제공한다. 인트라 예측은 인터 및 인트라 슬라이스들 양자에 대한 정형 도메인(reshaped domain)에서 수행된다.
인트라 예측은 슬라이스 종류(type)에 무관하게 정형 도메인에서 수행된다. 이러한 배열에서, 인트라 예측은 이전 TU 재생이 수행된 바로 다음에 시작될 수 있다. 이러한 배열은 또한 슬라이스 종속(dependent) 대신에 인트라 모드에 대한 통합 프로세스(unified process)를 제공한다. 도 10은 모드에 기반한 CE12-2 디코딩 프로세스의 블록도를 보인다.
16 조각의 조각별 선형(PWL) 모델들은 32 조각 PWL 모델 대신 루마 및 크로마 잔차 스케일링(residue scaling)에 대해 시험된다.
루프-내 루마 정형기를 사용한 인터 슬라이스 재생(연녹색 음영의 블록들은 정형 도메인(reshaped domain): 루마 잔차(luma residue); 예측된 인트라 루마; 및 재생된 인트라 루마 내의 신호를 표시한다).
2.6.2.2 루마 종속 크로마 잔차 스케일링(Luma-dependent chroma residue scaling)
루마 종속 크로마 잔차 스케일링(luma-dependent chroma residue scaling)은 고정 소수점 정수 연산(operation)으로 구현되는 곱셈 프로세스(multiplicative process)이다. 크로마 잔차 스케일링은 크로마 신호와의 루마 신호의 상호작용을 보상한다. 크로마 잔차 스케일링은 TU 레벨(level)에 적용된다. 더 구체적으로 다음이 적용된다:
- 인트라에 대해, 재생 루마가 평균화된다.
- 인터에 대해, 예측 루마가 평균화된다.
이 평균은 PWL 모델 내의 인덱스(index)를 식별하는 데 사용된다. 이 인덱스는 척도 인자(scaling factor; cScaleInv)를 식별한다. 크로마 잔차가 이 수로 곱해진다.
크로마 척도 인자는 재생 루마 값이 아니라 정방향 매핑된(forward-mapped) 예측 루마 값으로부터 연산되는 것에 유의해야 한다.
2.6.2.3 ILR 측 정보의 시그널링(Signalling of ILR side information)
파라미터들은 (ALF와 유사한) 타일 그룹 헤더(tile group header) 내에 (지금) 전송된다. 이는 40-100 비트가 소용된다고 알려졌다.
일부 예들에서, 추가된 신택스(syntax)는 이탤릭체로 강조된다.
<7.3.2.1에서 시퀀스 파라미터 세트 RBSP 신택스>
| seq_parameter_set_rbsp() { | Descriptor |
| sps_seq_parameter_set_id | · ue(v) |
| ··· | · |
| sps_triangle_enabled_flag | · u(1) |
| sps_ladf_enabled_flag | · u(1) |
| if (sps_ladf_enabled_flag) { | · |
| sps_num_ladf_intervals_minus2 | · u(2) |
| sps_ladf_lowest_interval_qp_offset | · se(v) |
| for(i = 0; i < sps_num_ladf_intervals_minus2 + 1; i++) { | · |
| sps_ladf_qp_offset[i] | · se(v) |
| sps_ladf_delta_threshold_minus1[i] | · ue(v) |
| } | · |
| } | · |
| sps_reshaper_enabled_flag | · u(1) |
| rbsp_trailing_bits() | · |
| } | · |
<7.3.3.1에서 일반적 타일 그룹 헤더 신택스(General tile group header syntax)>
| tile_group_header() { | Descriptor |
| ··· | |
| if(num_tiles_in_tile_group_minus1 > 0) { | |
| offset_len_minus1 | ue(v) |
| for(i = 0; i < num_tiles_in_tile_group_minus1; i++) | |
| entry_point_offset_minus1[i] | u(v) |
| } | |
| if (sps_reshaper_enabled_flag) { | · |
| tile_group_reshaper_model_present_flag | · u(1) |
| if (tile_group_reshaper_model_present_flag) | · |
| tile_group_reshaper_model () | · |
| tile_group_reshaper_enable_flag | · u(1) |
| if (tile_group_reshaper_enable_flag && (!(qtbtt_dual_tree_intra_flag && tile_group_type == I))) | · |
| tile_group_reshaper_chr oma_residual_scale_flag | · u(1) |
| } | · |
| byte_alignment() | · |
| } | · |
<새로운 신택스 테이블 타일 그룹 정형기 모델 추가:>
| tile_group_reshaper_model () { | Descriptor |
| reshaper_model_min_bin_idx | ue(v) |
| reshaper_model_delta_max_bin_idx | ue(v) |
| reshaper_model_bin_delta_abs_cw_prec_minus1 | ue(v) |
| for (i = reshaper_model_min_bin_idx; i <= reshaper_model_max_bin_idx; i++) { | |
| reshape_model_bin_delta_abs_CW [i] | u(v) |
| if (reshaper_model_bin_delta_abs_CW[i]) > 0) | |
| reshaper_model_bin_delta_sign_CW_flag [i] | u(1) |
| } | |
| } |
일반적 시퀀스 파라미터 세트 RBSP 시맨틱(semantic)들에 다음 시맨틱들을 추가하는데: 1인 sps_reshaper_enabled_flag 은 정형기가 코딩된 비디오 시퀀스(coded video sequence; CVS)에 사용된다고 규정한다. 0인 sps_reshaper_enabled_flag은 정형기가 CVS에 사용되지 않는다고 규정된다. tile_group_reshaper_model_present_flag이 존재하지 않으면 이는 0이라는 것을 의미한다.
1인 tile_group_reshaper_enabled_flag은 정형기가 현재 타일 그룹에 대해 이네이블되었다고 규정한다. 0인 tile_group_reshaper_enabled_flag은 정형기가 현재 타일 그룹에 대해 이네이블되지 않았다고 규정한다. tile_group_reshaper_enable_flag이 존재하지 않으면 이는 0이라는 것을 의미한다.
1인 tile_group_reshaper_chroma_residual_scale_flag은 크로마 잔차 스케일링(chroma residual scaling)이 현재 타일 그룹에 대해 이네이블되었다고 규정한다. 0인 tile_group_reshaper_chroma_residual_scale_flag은 크로마 잔차 스케일링이 현재 타일 그룹에 대해 이네이블되지 않았다고 규정한다. tile_group_reshaper_chroma_residual_scale_flag이 존재하지 않으면 이는 0이라는 것을 의미한다.
tile_group_reshaper_model() 신택스를 추가한다
reshape_model_min_bin_idx는 정형기 구축(construction) 프로세스에 사용될 최소 빈(bin)(또는 조각) 인덱스를 규정한다. reshape_model_min_bin_idx의 값은 양단을 포함하여(inclusive) 0 내지 MaxBinIdx의 범위에 있어야 한다. MaxBinIdx의 값은 15여야 한다.
reshape_model_delta_max_bin_idx는 정형기 구축 프로세스에 사용될 최대 허용 빈(또는 조각) 인덱스(MaxBinIdx) 빼기 최대 빈 인덱스를 규정한다. reshape_model_max_bin_idx의 값은 MaxBinIdx - reshape_model_delta_max_bin_idx으로 설정된다.
reshaper_model_bin_delta_abs_cw_prec_minus1 더하기 1은 신택스 reshape_model_bin_delta_abs_CW[i]의 표현에 사용되는 비트 수를 규정한다.
reshape_model_bin_delta_abs_CW[i]는 i번째 빈에 대한 절대 델타 코드워드(codeword) 값을 규정한다.
reshaper_model_bin_delta_sign_CW_flag[i]는 reshape_model_bin_delta_abs_CW[i]의 부호를 다음과 같이 규정한다:
- reshape_model_bin_delta_sign_CW_flag[i]가 0이면 대응 변수 RspDeltaCW[i]는 양의 값이다.
- 그렇지 않으면(reshape_model_bin_delta_sign_CW_flag[i]가 0이 아니면) 대응 변수 RspDeltaCW[i]는 음의 값이다.
reshape_model_bin_delta_sign_CW_flag[i]이 존재하지 않으면 0임을 의미한다.
변수 RspDeltaCW[i] = (1 - 2*reshape_model_bin_delta_sign_CW[i]) * reshape_model_bin_delta_abs_CW [i];
변수 RspCW[i]는 다음과 같이 도출되는데:
변수 OrgCW 가 (1 << BitDepthY) / (MaxBinIdx + 1)으로 설정된다.
- reshaper_model_min_bin_idx < = i <= reshaper_model_max_bin_idx이면 RspCW[i] = OrgCW + RspDeltaCW[i].
- 그렇지 않으면, RspCW[i] = 0.
BitDepthY의 값이 10이면 RspCW [i]의 값은 32 내지 2 * OrgCW - 1의 범위에 있어야 한다.
i가 양단을 포함하여 0 내지 MaxBinIdx + 1의 범위에 있는 변수 InputPivot[i]는 다음과 같이 도출되는데:
InputPivot[i] = i * OrgCW
i가 양단을 포함하여 0 내지 MaxBinIdx + 1의 범위에 있는 변수 ReshapePivot[i]와, i가 양단을 포함하여 0 내지 MaxBinIdx + 1의 범위에 있는 변수 ScaleCoef[i] 및 InvScaleCoeff[i]는 다음과 같이 도출되는데:
shiftY = 14
ReshapePivot[0] = 0;
for(i = 0; I <= MaxBinIdx ; i++) {
ReshapePivot[i+1] = ReshapePivot[i] + RspCW[i]
ScaleCoef[i] = (RspCW[i] * (1 << shiftY) + (1 << (Log2(OrgCW) - 1))) >> (Log2(OrgCW))
if (RspCW[i] == 0)
InvScaleCoeff[i] = 0
else
InvScaleCoeff[i] = OrgCW * (1 << shiftY) / RspCW[i]
}
i가 양단을 포함하여 0 내지 MaxBinIdx + 1의 범위에 있는 변수 ChromaScaleCoef[i]는 다음과 같이 도출되는데:
ChromaResidualScaleLut[64] = {16384, 16384, 16384, 16384, 16384, 16384, 16384, 8192, 8192, 8192, 8192, 5461, 5461, 5461, 5461, 4096, 4096, 4096, 4096, 3277, 3277, 3277, 3277, 2731, 2731, 2731, 2731, 2341, 2341, 2341, 2048, 2048, 2048, 1820, 1820, 1820, 1638, 1638, 1638, 1638, 1489, 1489, 1489, 1489, 1365, 1365, 1365, 1365, 1260, 1260, 1260, 1260, 1170, 1170, 1170, 1170, 1092, 1092, 1092, 1092, 1024, 1024, 1024, 1024};
shiftC = 11
- (RspCW[i] == 0)이면
ChromaScaleCoef [i] = (1 << shiftC)
- 그렇지 않으면 (RspCW[i]!= 0), ChromaScaleCoef[i] = ChromaResidualScaleLut[RspCW[i] >> 1]
2.6.2.4 ILR의 사용(Usage of ILR)
인코더 측에서, 각 화면(또는 타일 그룹)은 먼저 정형 도메인으로 변환된다. 그러고 모든 코딩 프로세스가 정형 도메인에서 수행된다. 인트라 예측에 대해서는 이웃 블록들이 정형 도메인 내에 있고; 인터 예측에 대해서는 (원래 도메인의 디코딩된 화면 버퍼(decoded picture buffer)에서 생성된) 기준 블록들이 먼저 정형 도메인으로 변환된다. 이어서 잔차가 생성되어 비트스트림에 코딩된다.
전체 화면(또는 타일 그룹)이 인코딩/디코딩을 완료하면, 정형 도메인 내의 샘플들이 원래 도메인으로 변환되고, 이어서 블록해제 필터(deblocking filter)와 다른 필터들이 적용된다.
예측 신호에 대한 정방향(forward) 정형은 다음 경우들에 디스에이블되는데:
현재 블록이 인트라 코딩되었을(intra-coded) 경우
현재 블록이 CPR(현재 화면 참조, 일명 인트라 블록 복사(IBC))로 코딩된 경우.
현재 블록은 인터-인트라 조합 모드(combined inter-intra mode; CIIP)로 코딩되고 정방향 정형은 인트라 예측 블록에 대해 디스에이블된다.
3. 여러 실시예들에 의해 해결되는 문제들의 예들(Examples of problems solved by various embodiments)
CPR/IBC의 현재 설계에는 몇 가지 문제들이 존재한다.
1) 기준 영역들이 동적으로 변화하는데, 이것이 인코더/디코더 처리를 복잡하게 한다.
2) 유효하지 않은(invalid) 블록 벡터들이 쉽게 생성되고 확인이 어려운데, 이것이 인코더와 디코더 양자를 복잡하게 한다.
3) 불규칙한(irregular) 기준 영역이 블록 벡터의 비효율적인 코딩을 야기한다.
4) 128x128보다 작은 CTU 크기를 어떻게 취급할지가 명확하지 않다.
5) 크로마 블록들에 대해 BV가 유효한지 유효하지 않은지 여부의 판단 프로세스에서, 이 판단이 루마 샘플들의 사용 가능성에 기반하는데, 이중 트리 구획 구조에 의해 잘못된 판단으로 결과될 수 있다.
4. 예시적 실시예들(Example embodiments)
일부 실시예들에서, 규칙적 버퍼(regular buffer)가 CPR/IBC 블록에 사용되어 기준을 얻을 수 있다.
함수 isRec(x,y)는 화소(x,y)가 재생되어 IBC 모드에 참조되었는지를 표시하도록 정의된다. (x, y)가 화면 밖의 다른 슬라이스/타일/브릭(brick)에 있으면 isRec(x,y)가 거짓을 회신(return)하고; (x, y)가 재생되지 않았으면 isRec(x,y)가 거짓을 회신한다. 다른 예에서, 샘플(x, y)이 재생되었지만 기준 영역 밖이거나/다른 VPDU에 존재하는 등 어떤 다른 조건들이 충족되면, 역시 사용 불가능한 것으로 마킹하고, isRec(x,y)가 거짓을 회신한다.
함수 isRec(c, x,y)는 컴포넌트(component) c에 대한 샘플(x, y)이 사용가능한지를 표시하도록 정의된다. 예를 들어, 샘플(x, y)이 아직 재생되지 않았다면 이는 사용 불가능하다고 마킹된다. 다른 예에서, 샘플(x, y)이 재생되었지만 기준 영역 밖이거나/다른 슬라이스/브릭에 있거나/허용된 기준 영역 밖의 다른 VPDU에 존재하는 등 어떤 다른 조건들이 충족되면, 역시 사용 불가능한 것으로 마킹된다. 샘플(x, y)이 사용 불가능하면 isRec(c, x,y)는 거짓을 회신하고, 그렇지 않으면 참을 회신한다.
이하의 논의에서는 참조 샘플이 재생 샘플이 될 수 있다. '화소 버퍼(pixel buffer)'가 '단일 칼라 컴포넌트의 버퍼(buffer of one color component)' 또는 '다중 칼라 컴포넌트들의 버퍼(buffer of multiple color components)'에 응답할 수 있음에 유의해야 한다.
CPR/IBC에 대한 기준 버퍼(Reference buffer for CPR/IBC)
1. CPR/IBC에 대한 루마 참조 샘플들을 저장하기 위해 MxN 화소 버퍼를 사용할 것이 제안된다.
a. 하나의 예에서, 버퍼 크기는 64x64이다.
b. 하나의 예에서, 버퍼 크기는 128x128이다.
c. 하나의 예에서, 버퍼 크기는 64x128이다.
d. 하나의 예에서, 버퍼 크기는 128x64이다.
e. 하나의 예에서 M은 CTU의 높이와 같다.
f. 하나의 예에서 N=nH인데, 여기서 H는 CTU의 높이이고, n은 양의 정수이다.
g. 하나의 예에서, M은 CTU의 폭과 같다.
h. 하나의 예에서, M=mWdlsep, 여기서 W는 CTU의 폭이고, m은 양의 정수이다.
i. 하나의 예에서, 버퍼 크기는 96x128 또는 128x96 등 CTU 크기와 같지 않다.
j. 하나의 예에서, 버퍼 크기는 CTU 크기와 같다.
k. 하나의 예에서, M=mW 및 N=H인데, 여기서 W 및 H는 CTU의 폭과 높이이고, m은 양의 정수이다.
l. 하나의 예에서 M=W 및 N=nHdlsep, 여기서 W 및 H는 CTU의 폭과 높이이고, n은 양의 정수이다.
m. 하나의 예에서, M=mW 및 N=nH인데, 여기서 W 및 H는 CTU의 폭과 높이이고, m 및 n은 양의 정수이다.
n. 이상의 예에서, m 및 n은 CTU 크기에 좌우될 수 있다.
I. 하나의 예에서 CTU 크기가 128x128일 때 m=1 및 n=1이다.
ii. 하나의 예에서 CTU 크기가 64x64일 때 m=4 및 n=1이다.
iii. 하나의 예에서 CTU 크기가 32x32일 때 m=16 및 n=1이다.
iv. 하나의 예에서 CTU 크기가 16x16일 때 m=64 및 n=1이다.
o. 이와는 달리, 버퍼 크기가 CTU 크기에 대응한다.
p. 이와는 달리, 버퍼 크기가 가상 파이프라인 데이터 유닛(Virtual Pipeline Data Unit; VPDU) 크기에 대응한다.
q. M 및/또는 N은 VPS/SPS/PPS/화면 헤더/슬라이스 헤더/타일 그룹 헤더 등에서 인코더로부터 디코더로 신호될 수 있다.
2. M 및/또는 N은 표준에 규정된 다른 프로파일(profile)/레벨들/티어(tier)들 내에 다를 수 있다. CPR/IBC에 대한 크로마 참조 샘플들을 저장하는 다른 Mc x c 화소 버퍼를 사용할 것이 제안된다.
a. 하나의 예에서, 4:2:0 비디오에 대해 Mc = M/2 및 Nc = N/2이다.
b. 하나의 예에서, 4:2:4 비디오에 대해 Mc = M 및 Nc = N이다.
c. 하나의 예에서, 4:2:2 비디오에 대해 Mc = M 및 Nc = N/2이다.
d. 이와는 달리 Mc 및 Nc가 M 및 N과 독립적이 될 수 있다.
e. 하나의 예에서, 크로마 버퍼는 Cb 및 Cr에 대응하는 2 개의 채널들을 포함한다.
f. 하나의 예에서, Mc=M 및 Nc=N이다.
3. CPR/IBC에 대한 RGB 참조 샘플들을 저장하는 데 MxN 샘플 버퍼를 사용할 것이 제안된다.
a. 하나의 예에서, 버퍼 크기는 64x64이다.
b. 하나의 예에서, 버퍼 크기는 128x128이다.
c. 하나의 예에서, 버퍼 크기는 64x128이다.
d. 하나의 예에서, 버퍼 크기는 128x64이다.
e. 이와는 달리, 버퍼 크기가 CTU 크기에 대응한다.
f. 이와는 달리 버퍼 크기가 가상 파이프라인 데이터 유닛(VPDU) 크기에 대응한다.
4. 버퍼가 루프 필터링(loop-filtering) 이전에 재생 화소(reconstructed pixel)들을 저장할 수 있을 것이 제안된다. 루프 필터링은 블록 해제 필터(deblocking filter), 적응 루프 필터(adaptive loop filter; ALF), 샘플 적응 오프셋(sample adaptive offset; SAO) (필터), 교차 컴포넌트(cross-component) ALF, 또는 어떤 다른 필터들을 지칭할 수 있다.
a. 하나의 예에서, 버퍼는 현재 CTU 내의 샘플들을 저장할 수 있다.
b. 하나의 예에서, 버퍼는 현재 CTU 외부의 샘플들을 저장할 수 있다.
c. 하나의 예에서, 버퍼는 현재 화면의 모든(any) 부분으로부터 샘플들을 저장할 수 있다.
d. 하나의 예에서, 버퍼는 다른 화면들로부터 샘플들을 저장할 수 있다.
5. 버퍼가 루프 필터링 이후에 재생 화소들을 저장할 수 있을 것이 제안된다. 루프 필터링은 블록 해제 필터, 적응 루프 필터(ALF), 샘플 적응 오프셋(SAO) (필터), 교차 컴포넌트 ALF, 또는 어떤 다른 필터들을 지칭할 수 있다.
a. 하나의 예에서, 버퍼는 현재 CTU 내의 샘플들을 저장할 수 있다.
b. 하나의 예에서, 버퍼는 현재 CTU 외부의 샘플들을 저장할 수 있다.
c. 하나의 예에서, 버퍼는 현재 화면의 모든 부분으로부터 샘플들을 저장할 수 있다.
d. 하나의 예에서, 버퍼는 다른 화면들로부터 샘플들을 저장할 수 있다.
6. 버퍼가 루프 필터링 이전과 루프 필터링 이후 모두에서 재생 화소들을 저장할 수 있을 것이 제안된다. 루프 필터링은 블록 해제 필터, 적응 루프 필터(ALF), 샘플 적응 오프셋(SAO) (필터), 교차 컴포넌트 ALF, 또는 어떤 다른 필터들을 지칭할 수 있다.
a. 하나의 예에서, 버퍼는 그 샘플들의 사용 가능성에 따라 현재 화면 및 다른 화면들 양자로부터 샘플들을 저장할 수 있다.
b. 하나의 예에서, 다른 화면들로부터의 참조 샘플들은 루프 필터링 이후의 재생 샘플들이다.
c. 하나의 예에서, 다른 화면들로부터의 참조 샘플들은 루프 필터링 이전의 재생 샘플들이다.
7. 버퍼가 코딩된 비디오 데이터의 비트심도(bit-depth)와 다를 수 있는 특정(given) 비트심도를 갖는 샘플들을 저장할 것이 제안된다.
a. 하나의 예에서, 재생 버퍼/코딩된 비디오 데이터에 대한 비트심도가 버퍼에 저장된 IBC 참조 샘플들의 그것보다 더 크다.
b. 하나의 예에서, (10 비트 대 8 비트) 등 내부 비트심도가 비디오 시퀀스의 입력 비트 심도와 다른 경우라도, IBC 참조 샘플들은 입력 비트심도에 정렬되도록 저장된다.
c. 하나의 예에서, 비트심도는 재생 버퍼의 그것과 같다.
d. 하나의 예에서, 비트심도는 입력 화상/비디오의 그것과 같다.
e. 하나의 예에서, 비트심도는 사전 설정된 수와 같다.
f. 한 에에서, 비트심도는 표준의 프로파일에 좌우된다.
g. 하나의 예에서, 비트심도 또는 출력 비트심도/입력 비트심도/내부 비트심도와 비교한 비트심도 차이는 SPS/PPS/시퀀스 헤더/화면 헤더/슬라이스 헤더/타일 그룹 헤더/타일 헤더 또는 다른 종류의 비디오 데이터 유닛 내에 신호될 수 있다.
h. 제안된 방법은 다른 항목(bullet)들에서 언급된 본 발명(proposed) 버퍼 정의와 함께 적용될 수 있는데, 이와는 달리 IBC의 기존 설계에도 역시 적용될 수 있다.
i. 버퍼의 각 칼라 컴포넌트의 비트심도는 다를 수 있다.
버퍼 초기화(Buffer initiation)
8. 버퍼를 특정 값으로 초기화(initialize)시킬 것이 제안된다.
a. 하나의 예에서, 버퍼는 특정 값으로 초기화된다.
i. 하나의 예에서, 특정 값은 입력 비트심도 및/또는 내부 비트심도에 좌우될 수 있다.
ii. 하나의 예에서, 버퍼가 예를 들어 8 비트 신호에 대해 128 또는 10 비트 신호에 대해 512 등의 미드그레이 값(mid-grey value)으로 초기화된다.
iii. 하나의 예에서, ILR이 사용될 때 버퍼는 forwardLUT(m)으로 초기화된다. 예를 들어 m= 1<<(Bitdepth-1)이다.
b. 이와는 달리, 버퍼가 SPS/VPS/APS/PPS/시퀀스 헤더/타일 그룹 헤더/화면 헤더/타잉/CTU/코딩 유닛(Coding unit)/VPDU/영역에서 신호된 값으로 초기화된다.
c. 하나의 예에서, 특정 값은 이전에 디코딩된 화면 또는 슬라이스 또는 CTU 행(row) 또는 CTU 또는 CU들의 샘플들로부터 도출될 수 있다.
d. 특정 값은 다른 칼라 컴포넌트에 대해 다를 수 있다.
9. 이와는 달리 이전에 코딩된 블록들로부터의 디코딩된 화서들로 버퍼를 초기화시킬 것이 제안된다.
a. 하나의 예에서, 디코딩된 화소들은 루프-내 필터링 이전의 것들이다.
b. 하나의 예에서, 버퍼 크기가 CTU와 같을 때, 사용 가능하다면 이전에 디코딩된 CTU의 디코딩된 화소들로 버퍼가 초기화된다.
c. 하나의 예에서, 버퍼 크기가 64x64일 때, 사용 가능하다면 이전에 디코딩된 64x64 블록의 디코딩된 화소들로 버퍼 크기가 초기화된다.
d. 이와는 달리, 뿐만 아니라, 사용 가능한 이전에 코딩된 블록들이 없으면, 항목 8의 방법들이 적용될 수 있다.
버퍼에 대한 참조(Reference to the buffer)
10. 블록이 버퍼 내의 화소들을 기준으로 사용하기 위해, 어디서 기준을 얻을지 표시하는 위치(x,y), x=0,1,2, ...,M-1;y=0,1,2, ...,N-1를 사용할 수 있다. 11. 이와는 달리, 기준 위치가 l = y*M+x, l=0,1, ...,M*N-1로 표기될 수 있다.
12. 현재 CTU에 관련된 블록의 상-좌(upper-left) 위치를 (x0, y0)롤 표기하고, 버퍼 내의 어디서 기준을 얻을지 표시하도록 블록 벡터(BVx,BVy)=(x-x0,y-y0)가 디코더로 전송된다.
13. 이와는 달리, Tx 및 Ty가 소정의 오프셋들일 때 블록 벡터(BVx,BVy)가 (x-x0+Tx,y-y0+Ty)로 정의될 수 있다.
14. 어떤 화소(x0, y0) 및 (BVx, BVy)에 대해, 그 버퍼 내의 기준은 (x0+BVx, y0+BVy)에서 찾을 수 있다.
a. 하나의 예에서, (x0+BVx, y0+BVy)가 버퍼 외부에 있으면, 이는 경계에서 클리핑될(clipped) 것이다.
b. 이와는 달리, (x0+BVx, y0+BVy)가 버퍼 외부에 있으면, 그 기준 값은 예를 들어 미드 그레이(mid-grey) 등의 특정 값으로 사전 결정된다.
c. 이와는 달리 기준 위치가 ((x0+BVx) mod M, (y0+BVy) mod N)로 정의되어 항상 버퍼 내부에 위치한다.
15. 어떤 화소(x0, y0) 및 (BVx, BVy)에 대해 (x0+BVx, y0+BVy)가 버퍼 외부에 있으면, 그 기준 값은 버퍼 내의 값들로부터 도출될 수 있다.
a. 하나의 예에서, 이 값은 버퍼 내의 샘플((x0+BVx) mod M, (y0+BVy) mod N)로부터 도출된다.
b. 하나의 예에서, 이 값은 버퍼 내의 샘플((x0+BVx) mod M, clip(y0+BVy, 0, N-1))로부터 도출된다.
c. 하나의 예에서, 이 값은 버퍼 내의 샘플(clip(x0+BVx, 0, M-1), (y0+BVy) mod N)로부터 도출된다.
d. 하나의 예에서, 이 값은 버퍼 내의 샘플(clip(x0+BVx, 0, M-1), clip(y0+BVy, 0, N-1))로부터 도출된다.
16. 버퍼 범위 외부의 어떤 좌표는 허용되지 않을 수 있다.
a. 하나의 예에서, CTU의 상-좌 모서리에 관련된 어떤 화소(x0, y0)와 블록 벡터(BVx, BVy)에 대해, y0+BVy가 [0, ...,N-1]의 범위 내에 있어야 한다는 것이 비트스트림 제약이다.
b. 하나의 예에서, CTU의 상-좌 모서리에 관련된 어떤 화소(x0, y0)와 블록 벡터(BVx, BVy)에 대해, x0+BVx가 [0, ...,M-1]의 범위 내에 있어야 한다는 것이 비트스트림 제약이다.
c. 하나의 예에서, CTU의 상-좌 모서리에 관련된 어떤 화소(x0, y0)와 블록 벡터(BVx, BVy)에 대해, y0+BVy가 [0, ...,N-1]의 범위 내에 있고 x0+BVx가 [0, ...,M-1]의 범위 내에 있어야 한다는 것 양자가 비트스트림 제약이다.
17. 한 블록의 신호된 또는 도출된 블록 벡터가 버퍼 외부의 어디를 가리키면 버퍼에 따라 패딩(padding)이 적용될 수 있다.
a. 하나의 예에서, 버퍼 외부의 어떤 샘플의 값은 소정 값으로 정의된다.
i. 하나의 예에서, 이 값은 예를 들어 8비트 신호에 대해 128, 10비트 신호에 대해 512 등 1<<(Bitdepth-1)이 될 수 있다.
ii. 하나의 예에서, ILR이 사용될 때 이 값은 예를 들어 m= 1<<(Bitdepth-1) 등 forwardLUT(m)이 될 수 있다.
iii. 이와는 달리, 소정 값의 표시가 SPS/PPS/시퀀스 헤더/화면 헤더/슬라이스 헤더/타일 그룹/타일/CTU/CU 레벨에서 신호되거나 표시될 수 있다.
b. 하나의 예에서, 버퍼 외부의 어떤 샘플은 버퍼 내의 가장 가까운 샘플의 값으로 정의된다.
18. 버퍼 외부의 기준을 취급하는 방법이 수평 및 수직으로 다르거나 (예를 들어 화면 경계에 더 가까운지 아닌지 등) 현재 블록의 위치에 따라 다를 수 있다.
a. 하나의 예에서, y0+BVy가 [0, N-1]의 밖에 있으면, (x0+BVx, y0+BVy)의 샘플 값은 소정 값으로 할당된다.
b. 하나의 예에서 x0+BVx가 [0, M-1]의 밖에 있으면, (x0+BVx, y0+BVy)의 샘플 값은 소정 값으로 할당된다.
c. 이와는 달리, (x0+BVx, y0+BVy)의 샘플 값이 ((x0+BVx)mod M, y0+BVy)의 샘플 값으로 할당되는데, ((x0+BVx)mod M, y0+BVy)가 여전히 버퍼 밖에 있으면 값을 더 도출하기 위한 다른 방법을 호출(invoke)할 수 있다.
d. 이와는 달리, (x0+BVx, y0+BVy)의 샘플 값이 (x0+BVx, (y0+BVy) mod N)의 샘플 값으로 할당되는데, (x0+BVx, (y0+BVy) mod N)가 여전히 버퍼 외부에 있으면 값을 더 도출하기 위한 다른 방법을 호출할 수 있다.
블록 벡터 표현(Block vector representation)
19. 블록 벡터(BVx, BVy)의 각 컴포넌트 또는 컴포넌트 중의 하나는 어떤 범위에 대해 정규화(normalize)된다.
a. 하나의 예에서, BVx는 (BVx mod M)로 대체될 수 있다.
b. 이와는 달리, X가 소정 값일 때 BVx가 ((BVx+X) mod M)-X로 대체될 수 있다.
i. 하나의 예에서, X는 64이다.
ii. 하나의 예에서, X는 M/2이다.
iii. 하나의 예에서, X는 현재 CTU에 대한 블록의 수평 좌표이다.
c. 하나의 예에서, BVy가 (BVy mod N)로 대체될 수 있다.
d. 이와는 달리, Y가 소정 값일 때 BVy가 ((BVy+Y) mod N)-Y로 대체될 수 있다.
i. 하나의 예에서, Y는 64이다.
ii. 하나의 예에서, Y는 N/2이다.
iii. 하나의 예에서, Y는 현재 CTU에 대한 블록의 수직 좌표이다.
20. BVx와 BVy는 다른 정규화 범위(normalized range)들을 가질 수 있다.
21. 블록 벡터 차이(BVDx, BVDy)는 어떤 범위에 대해 정규화될 수 있다.
a. 하나의 예에서, 함수 mod가 나머지(remainder)를 회신할 때 BVDx가 (BVDx mod M)로 대체될 수 있다.
b. 이와는 달리, X가 소정 값일 때 BVDx가 ((BVDx+X) mod M)-X로 대체될 수 있다.
i. 하나의 예에서, X는 64이다.
ii. 하나의 예에서, X는 M/2이다.
c. 하나의 예에서, BVy가 (BVDy mod N)로 대체될 수 있다.
d. 이와는 달리, Y가 소정 값일 때 BVDy가 ((BVDy+Y) mod N)-Y로 대체될 수 있다.
i. 하나의 예에서, Y는 64이다.
ii. 하나의 예에서, Y는 N/2이다;
22. BVDx와 BVDy는 다른 정규화 범위들을 가질 수 있다.
블록 벡터에 대한 유효성 점검(Validity check for a block vector)
IBC 버퍼의 폭과 높이를 Wbuf 및 Hbuf로 표기하기로 한다. (루마 블록, 크로마 블록, CU, TU, 4x4, 2x2 또는 다른 서브블록(subblock)들이 될 수 있는) WxH 블록에 대해, 화면의 상-좌 모서리에 관련된 (X, Y)로부터 초기화하여 블록 벡터(BVx, BVy)가 유효한지 아닌지 구분(tell)하는 데 다음이 적용될 수 있다. Wpic 및 Hpic이 화면의 폭 및 높이이고; Wctu 및 Hctu 가 CTU의 폭 및 높이라고 가정한다. 함수 floor(x)는 x보다 크지 않은 최대 정수를 회신한다. 함수 isRec(x, y)는 샘플(x, y)이 재생되었는지를 회신한다.
23. 기준 위치가 화면 경계의 외부에 있더라도 블록 벡터(BVx, BVy)가 유효한 것으로 설정될 수 있다.
a. 하나의 예에서, X+BVx < 0이더라도 블록 벡터가 유효한 것으로 설정될 수 있다.
b. 하나의 예에서, X+W+BVx > Wpic이더라도 블록 벡터가 유효한 것으로 설정될 수 있다.
c. 하나의 예에서, Y+BVy < 0이더라도 블록 벡터가 유효한 것으로 설정될 수 있다.
d. 하나의 예에서, Y+H+BVy > Hpic이더라도 블록 벡터가 유효한 것으로 설정될 수 있다.
24. 어떤 기준 위치가 현재 CTU 행 외부에 있더라도 블록 벡터(BVx, BVy)가 유효한 것으로 설정될 수 있다.
a. 하나의 예에서, Y+BVy<floor(Y/ Hctu)* Hctu이더라도 블록 벡터가 유효한 것으로 설정될 수 있다.
b. 하나의 예에서, Y+H+BVy>=floor(Y/ Hctu)*Hctu+ Hctu이더라도 블록 벡터가 유효한 것으로 설정될 수 있다.
25. n이 IBC에 대한 기준 영역으로 사용될 수 있는 (현재 CTU를 포함 또는 제외한) CTU들의 수일 때, 어떤 기준 위치가 현재 및 좌측 (n-1)개의 CTU들 외부에 있더라도 블록 벡터(BVx, BVy)가 유효한 것으로 설정될 수 있다.
a. 하나의 예에서, X+BVx<floor(X/Wctu)* Wctu - (n-1)* Wctu이더라도 블록 벡터가 유효한 것으로 설정될 수 있다.
b. 하나의 예에서, X+W+BVx > floor(X/Wctu)* Wctu + Wctu이더라도 블록 벡터가 유효한 것으로 설정될 수 있다.
26. 어떤 샘플이 재생되지 않았더라도 블록 벡터(BVx, BVy)가 유효한 것으로 설정될 수 있다.
a. 하나의 예에서, isRec(X+BVx, Y+ BVy)가 거짓이더라도 블록 벡터가 유효한 것으로 설정될 수 있다.
b. 하나의 예에서, isRec(X+BVx +W-1, Y+BVy)가 거짓이더라도 블록 벡터가 유효한 것으로 설정될 수 있다.
c. 하나의 예에서, isRec(X+BVx, Y+BVy +H-1)이 거짓이더라도 블록 벡터가 유효한 것으로 설정될 수 있다.
d. 하나의 예에서, isRec(X+BVx +W-1, Y+BVy +H-1)이 거짓이더라도 블록 벡터가 유효한 것으로 설정될 수 있다.
27. 블록이 CTU 행의 첫 번째 CTU의 것이 아니면 블록 벡터(BVx, BVy)가 항상 유효한 것으로 설정될 수 있다.
a. 이와는 달리, 블록 벡터가 항상 유효한 것으로 설정될 수 있다.
28. 블록 벡터(BVx, BVy)는 다음 3가지 조건들이 모두 충족되면 항상 유효한 것으로 설정될 수 있다.
- X + BVx >= 0
- Y + BVy >= floor(Y/Hctu)
- isRec(X + BVx + W - 1, Y + BVy + H - 1) == true
a. 이와는 달리, CTU 행의 첫 번째 CTU의 블록에 대해 이 3가지 조건들이 충족되면, 블록 벡터가 항상 유효한 것으로 설정될 수 있다.
29. 블록 벡터(BVx, BVy)가 유효하면, 블록에 대한 샘플 복사(sample copying)는 블록 벡터에 기반할 수 있다.
a. 하나의 예에서, 샘플(X, Y)의 예측은 ((X+BVx)%Wbuf, (Y+BVy)%Hbuf)로부터 이뤄질 수 있다.
버퍼 갱신(Buffer update)
30. 새로운 화면 또는 타일을 코딩할 때 버퍼가 리셋될 수 있다.
a. "리셋(reset)"이라는 용어는 버퍼가 초기화(initialize)되는 것을 지칭할 수 있다.
b. "리셋(reset)"이라는 용어는 버퍼 내의 모든 샘플들/화소들이 (예를 들어 0 또는 -1의) 특정 값으로 설정되는 것을 지칭할 수 있다.
31. VPDU의 코딩을 완료하면 버퍼는 VPDU의 재생 값(reconstructed value)들로 갱신될 수 있다.
32. CTU의 코딩을 완료하면 버퍼는 CTU의 재생 값들로 갱신될 수 있다.
a. 하나의 예에서, 버퍼가 가득차지(full) 않으면 버퍼는 CTU별로(CTU by CTU) 순차적으로 갱신될 수 있다.
b. 하나의 예에서, 버퍼가 가득차면, 가장 오래된(oldest) CTU에 대응하는 버퍼 영역이 갱신될 것이다.
c. 하나의 예에서, M=mW 및 N=H (W 및 H는 CTU 크기이고; M 및 N은 버퍼 크기)이고 이전 갱신 영역이 (kW, 0)로부터 시작하면, 갱신될 다음 시작 위치는 ((k+1)W mod M, 0)이 될 것이다.
33. 버퍼는 각 CTU 행의 시작(beginning)시 리셋될 수 있다.
a. 이와는 달리, 버퍼는 각 CTU의 디코딩의 시작시 리셋될 수 있다.
b. 이와는 달리, 버퍼는 하나의 타일의 디코딩의 시작시 리셋될 수 있다.
c. 이와는 달리, 버퍼는 하나의 타일 그룹/화면의 디코딩의 시작시 리셋될 수 있다.
34. (x, y)로 시작되는 블록의 코딩이 완료되면, (x, y)에서 시작되는 버퍼의 대응 영역이 블록으로부터의 재생으로 갱신될 것이다.
a. 하나의 예에서, (x,y)는 CTU의 상-좌 모서리에 관련된 위치이다.
35. 화면에 대한 하나의 블록의 코딩을 완료하면 버퍼의 대응 영역이 블록으로부터의 재생으로 갱신될 것이다.
a. 하나의 예에서, 버퍼의 위치(x mod M, y mod N)에서의 값이 화면의 상-좌 모서리에 관련된 위치(x, y)의 재생 화소값으로 갱신될 수 있다.
b. 하나의 예에서, 버퍼의 위치(x mod M, y mod N)에서의 값이 현재 타일의 상-좌 모서리에 관련된 위치(x, y)의 재생 화소값으로 갱신될 수 있다.
c. 하나의 예에서, 버퍼의 위치(x mod M, y mod N)에서의 값이 현재 CTU 행의 상-좌 모서리에 관련된 위치(x, y)의 재생 화소값으로 갱신될 수 있다.
d. 하나의 예에서, 버퍼 내의 값이 비트심도 정렬 이후의 재생 화소값들로 갱신될 수 있다.
36. (xb, yb)와 (x, y)가 2개의 다른 좌표들일 때, (x, y)로부터 시작되는 코딩이 완료되면, (xb, yb)로부터 시작되는 버퍼의 해당 영역이 블록으로부터의 재생으로 갱신될 것이다.
a. 하나의 예에서, (x, y)는 CTU의 상-좌 모서리에 관련된 위치이고, update_x 및 update_y가 버퍼 내의 갱신 위치를 가리킬 때 (xb, yb)는 (x+update_x, y+update_y)이다.
37. 이상의 예들에 있어서, 블록의 재생 값들은 (예를 들어 블록 해제 필터(deblocking filter) 등의) 필터가 적용되기 이전의 재생 값들을 나타낼(indicate) 수 있다.
a. 이와는 달리, 블록의 재생 값들은 (예를 들어 블록 해제 필터 등의) 필터가 적용되기 이후의 재생 값들을 나타낼 수 있다.
38. 버퍼가 재생 샘플들로부터 갱신될 때, 재생 샘플들은 샘플 비트심도가 변경되는 등 저장 전에 먼저 수정될 수 있다.
a. 하나의 예에서, 버퍼는 버퍼의 bitdepth에 대한 비트심도 정렬 이후의 재생 샘플 값으로 갱신된다.
b. 하나의 예에서, p가 재생 샘플 값이고 b가 소정의 비트시프트(bit-shifting) 값일 때, 버퍼 값이 값 {p+[1<<(b-1)]}>>b에 따라 갱신된다.
c. 하나의 예에서, p가 재생 샘플 값이고 b가 소정의 비트시프트 값이며 비트심도가 버퍼 비트심도일 때 버퍼 값이 값 clip({p+[1<<(b-1)]}>>b, 0, (1<<bitdepth)-1)에 따라 갱신된다.
d. 하나의 예에서, p가 재생 샘플 값이고 b가 소정의 비트시프트 값일 때, 버퍼 값이 값 {p+[1<<(b-1)-1]}>>b에 따라 갱신된다.
e. 하나의 예에서, p가 재생 샘플 값이고 b가 소정의 비트시프트 값이며 비트심도가 버퍼 비트심도일 때 버퍼 값이 값 clip({p+[1<<(b-1)-1]}>>b, 0, (1<<bitdepth)-1)에 따라 갱신된다.
f. 하나의 예에서, 버퍼 값이 값 p>>b에 따라 갱신된다.
g. 하나의 예에서, bitdepth가 버퍼 비트심도일 때, 버퍼 값이 값 clip(p>>b, 0, (1<<bitdepth)-1)에 따라 갱신된다.
h. 이상의 예들에서, b는 재생 비트심도 빼기 입력 샘플 비트심도가 될 수 있다.
39. 예측을 형성하기 위해 버퍼 샘플들을 사용할 때 전처리(preprocessing)가 적용될 수 있다.
a. 하나의 예에서, p가 버퍼 내의 샘플 값이고 b가 소정 값일 때 예측 값은 p<<b이다.
b. 하나의 예에서, bitdepth가 재생 샘플들의 비트심도일 때, 예측 값은 clip(p<<b, 0, 1<<bitdepth)이다.
c. 하나의 예에서, p가 버퍼 내의 샘플 값이고 b가 소정 값이며 bitdepth가 재생 샘플들의 비트심도일 때, 예측 값은 (p<<b)+(1<<(bitdepth-1))이다.
d. 이상의 예들에서, b는 재생 비트심도 빼기 입력 샘플 비트심도가 될 수 있다.
40. 버퍼는 특정 순서로 갱신될 수 있다.
a. 하나의 예에서, 버퍼는 순차적으로 갱신될 수 있다.
b. 하나의 예에서, 버퍼는 재생된 블록들의 순서로 갱신될 수 있다.
41. 버퍼가 가득차면, 버퍼 내의 샘플들은 최근의 재생 샘플들로 대체될 수 있다.
a. 하나의 예에서, 샘플들은 선입선출(first-in-first-out) 방식으로 갱신될 수 있다.
b. 하나의 예에서, 가장 오래된 샘플들이 교체될 것이다.
c. 하나의 예에서, 샘플들에 우선권(priority)이 할당되어 우선권에 따라 교체될 수 있다.
d. 하나의 예에서, 샘플들이 "장기(long-term)"로 마킹될 수 있어 다른 샘플들이 먼저 교체될 것이다.
e. 하나의 예에서, 높은 우선권을 표시하기 위한 플랙(flag)이 블록과 함께 전송될 수 있다.
f. 하나의 예에서, 우선권을 표시하기 위해 숫자가 블록과 함께 전송될 수 있다.
g. 하나의 예에서, 어떤 특징을 갖는 재생 블록으로부터의 샘플에 더 높은 우선권이 할당되어 다른 샘플들이 먼저 교체될 것이다.
i. 하나의 예에서, IBC 모드에서 코딩된 샘플들의 비율(percentage)이 임계값보다 더 크면, 블록의 모든 샘플들에 높은 우선권이 할당될 수 있다.
ii. 하나의 예에서, 팔레트(pallet) 모드에서 코딩된 샘플들의 비율이 임계값보다 더 크면, 블록의 모든 샘플들에 높은 우선권이 할당될 수 있다.
iii. 하나의 예에서, IBC 또는 팔레트 모드에서 코딩된 샘플들의 비율이 임계값보다 더 크면, 블록의 모든 샘플들에 높은 우선권이 할당될 수 있다.
iv. 하나의 예에서, 변환 스킵(transform-skip) 모드에서 코딩된 샘플들의 비율이 임계값보다 더 크면, 블록의 모든 샘플들에 높은 우선권이 할당될 수 있다.
v. 임계값은 블록 크기, 칼라 컴포넌트, CTU 크기에 따라 다를 수 있다.
vi. 임계값은 SPS/PPS/시퀀스 헤더/슬라이스 헤더/타일 그룹/타일 레벨/영역 내에 신호될 수 있다.
h. 하나의 예에서, 버퍼가 가득 찼다는 것은 버퍼 내의 사용 가능한 샘플들의 수가 특정 임계값과 같거나 더 큼을 의미한다.
i. 하나의 예에서, 버퍼 내의 사용 가능한 샘플들의 수가 64x64x3 루마 샘플들과 같거나 더 크면, 이 버퍼는 가득 찼다고 판단된다.
대체적인 버퍼 조합(Alternative buffer combination)
42. 이전에 코딩된 3개의 64x64 블록들을 기준 영역으로 항상 사용하는 대신, 현재 블록(또는 VPDU)의 위치에 기반하여 이를 순응적으로(adaptively) 변경할 것이 제안된다.
a. 하나의 예에서, 64X64 블록을 코딩/디코딩할 때, 이전 3개의 64X64 블록들이 기준으로 사용될 수 있다. 도 2와 비교하여, 이전 64X64 블록들의 더 많은 종류의 조합들이 적용될 수 있다. 도 2는 이전 64X64 블록들의 다른 조합의 예를 보인다.
43. z-스캔 순서를 사용하는 대신, 수직 스캔 순서가 사용될 수 있다.
a. 하나의 예에서, 하나의 블록이 z-스캔 순서로 인덱스 0..3을 갖는 4개의 VPDU들로 분할되면 인코딩/디코딩 순서는 0, 2, 1, 3이다.
b. 하나의 예에서, 64X64 블록들을 인코딩/디코딩할 때, 이전 3개의 64X64 블록들이 기준으로 사용될 수 있다. 도 2에 비교하여, 64X64 블록들의 더 많은 종류의 코딩/디코딩 순서들이 적용될 수 있다. 도 4는 64X64 블록들의 다른 코딩/디코딩 순서들의 예를 보인다.
c. 이와는 달리, 이상의 방법들이 스크린 콘텐츠 코딩(screen content coding)에만 적용될 수 있다.
d. 이와는 달리, 이상의 방법들이, CPR이 하나의 타일/타일 그룹/화면에 대해 이네이블되었을 때만 적용될 수 있다.
e. 이와는 달리, 이상의 방법들이, CPR이 하나의 CTU 또는 하나의 CTU 행에 대해 이네이블되었을 때만 적용될 수 있다
가상 IBC 버퍼(Virtual IBC buffer)
이하에서 VPDU의 폭과 높이는 루마 샘플들에서 각각 WVPDU (예를 들어 64)과 HVPDU (예를 들어 64)로 표기된다. 이와는 달리, WVPDU 및/또는 HVPDU가 (예를 들어 CTU 등) 다른 비디오 유닛의 폭 및/또는 높이를 표기할 수 있다.
44. 가상 버퍼(virtual buffer)가 IBC 기준 영역 상태를 지속적으로 추적(keep track)하도록 유지될 수 있다.
a. 하나의 예에서, 가상 버퍼 크기가 mWVPDU x nHVPDU 이다.
i. 하나의 예에서, m은 3이고 n은 2이다.
ii. 하나의 예에서, m 및/또는 n은 화면 해상도와 CTU 크기들에 좌우될 수 있다.
iii. 하나의 예에서, m 및/또는 n은 신호되거나 사전에 규정(pre-defined)될 수 있다.
b. 하나의 예에서, 이상의 항목(bullet)들과 하부 항목(sub-bullet)에 기재된 방법들이 가상 버퍼에 적용될 수 있다.
c. 하나의 예에서, 화면/슬라이스/타일/브릭의 상-좌 모서리에 대한 샘플(x, y)이 (x%(mWVPDU), y%(nHVPDU))로 매핑될 수 있다.
45. 행열(array)이 가상 버퍼에 연계된 각 샘플의 사용 가능성(availability)를 추적하는 데 사용될 수 있다.
a. 하나의 예에서, 플랙이 가상 버퍼 내의 샘플에 연계되어 버퍼 내의 샘플이 IBC 기준으로 사용될 수 있는지 여부를 규정할 수 있다.
b. 하나의 예에서, 루마 및 크로마 샘플들을 포함하는 각 4x4 블록이 플랙을 공유하여(share) 그 블록에 연계된 어떤 샘플들이 IBC 기준으로 사용될 수 있는지 여부를 표시할 수 있다.
c. 하나의 예에서, 3x2 VPDUs (예를 들어, 각 4x4 블록은 동일한 사용 가능성 플래그(availability flag)를 공유한다) 에 대응하는 행렬(array)은 IBC 참조 샘플들의 사용 가능성 (availability)를 추적하기 위해 유지된다.
d. 하나의 예에서, 4x2 VPDUs (예를 들어, 각 4x4 블록은 동일한 사용 가능성 플래그(availability flag)를 공유한다) 에 대응하는 행렬(array)은 IBC 참조 샘플들의 사용 가능성 (availability)를 추적하기 위해 유지된다.
46. VPDU 또는 비디오 유닛의 디코딩을 완료한 다음, 가상 버퍼에 연계된 어떤 샘플들이 IBC 기준으로 사용 불가능하다고 마킹될 수 있다.
a. 하나의 예에서, 어느 샘플들이 사용 불가능한 것으로 마킹될 것인지가 가장 최근에 디코딩된 VPDU의 위치에 좌우된다.
b. 어떤 샘플이 사용 불가능한 것으로 마킹되면, 이 샘플로부터의 예측이 허용되지 않는다.
i. 이와는 달리, (예를 들어 디폴트값을 사용하는 등의) 다른 방법이 더 적용되어 사용 불가능한 샘플을 대체하는 예측 변수(predictor)를 도출할 수 있다.
47. 가장 최근에 디코딩된 VPDU의 위치가, 가상 버퍼에 연계된 어느 샘플들이 사용 불가능한 것으로 마킹될 수 있는지의 식별을 돕도록 기록될 수 있다.
a. 하나의 예에서, VPDU의 디코딩의 시작시 가장 최근에 디코딩된 VPDU의 위치에 따라 가상 버퍼에 연계된 어떤 샘플들이 사용 불가능한 것으로 마킹될 수 있다.
i. 하나의 예에서, (xPrevVPDU, yPrevVPDU)를 가장 최근에 디코딩된 VPDU의 화면/슬라이스/타일/브릭/다른 비디오 처리 유닛의 상-좌 모서리에 대한 상-좌 위치로 표기할 때, yPrevVPDU%(nHVPDU)가 0이면, 어떤 위치(x, y)가 사용 불가능한 것으로 마킹될 수 있다.
1. 하나의 예에서, x가 [xPrevVPDU - 2WVPDU+ 2mWVPDU)% mWVPDU, ((xPrevVPDU - 2WVPDU+ 2mWVPDU)% mWVPDU)-1+WVPDU] 등의 범위 이내일 수 있고;
2. 하나의 예에서, y가 [yPrevVPDU%(nHVPDU), (yPrevVPDU%(nHVPDU))-1+HVPDU] 등의 범위 이내일 수 있으며；
3. 하나의 예에서, x가 [xPrevVPDU - 2WVPDU+ 2mWVPDU)% mWVPDU, ((xPrevVPDU - 2WVPDU+ 2mWVPDU)% mWVPDU)-1+WVPDU] 등의 범위 이내일 수 있고 y가 [yPrevVPDU%(nHVPDU), (yPrevVPDU%(nHVPDU))-1+HVPDU]의 범위 이내일 수 있다.
ii. 하나의 예에서, (xPrevVPDU, yPrevVPDU)를 가장 최근에 디코딩된 VPDU의 화면/슬라이스/타일/브릭/다른 비디오 처리 유닛의 상-좌 모서리에 대한 상-좌 위치로 표기할 때, yPrevVPDU%(nHVPDU)가 0이 아니면, 어떤 위치(x, y)가 사용 불가능한 것으로 마킹될 수 있다.
1. 하나의 예에서, x가 [xPrevVPDU - WVPDU+ 2mWVPDU)% mWVPDU, ((xPrevVPDU - WVPDU+ 2mWVPDU)% mWVPDU)-1+WVPDU] 등의 범위 이내 일 수 있고;
2. 하나의 예에서, y가 [yPrevVPDU%(nHVPDU), (yPrevVPDU%(nHVPDU))-1+HVPDU] 등의 범위 이내 일 수 있으며;
3. 하나의 예에서, x가 [xPrevVPDU - WVPDU+ 2mWVPDU)% mWVPDU, ((xPrevVPDU - WVPDU+ 2mWVPDU)% mWVPDU)-1+WVPDU]의 범위 이내가 될 수 있고, y가 [yPrevVPDU%(nHVPDU), (yPrevVPDU%(nHVPDU))-1+HVPDU] 등의 범위 이내가 될 수 있다.
48. CU가 복수의 VPDU들을 포함하면, IBC 기준 사용 가능성 마킹 프로세스를 적용하는 대신, IBC 기준 사용 가능성 마킹 프로세스가 CU에 따를 수 있다.
a. 하나의 예에서, 복수의 VPDU들을 포함하는 CU의 디코딩 시작시, CU 내의 VPDU를 디코딩하기 전에 IBC 기준 사용 가능성 마킹 프로세스가 각 VPDU에 대해 적용될 수 있다.
b. 이러한 경우, 128x64 및 64x128 IBC 블록들은 허용되지 않을 수 있다.
i. 하나의 예에서, 128x64 및 64x128 CU들에 대한 pred_mode_ibc_flag은 전송되지 않고 0이라고 추론될 수 있다.
49. 기준 블록 또는 서브블록(sub-block)에 대해, 기준 블록에 연계된 블록 벡터가 유효한지 여부를 구별(tell)하기 위해 상-우(upper-right) 모서리의 기준 사용 가능성 상태를 점검할 필요가 없을 수 있다.
a. 하나의 예에서, 블록 벡터가 유효한지 여부를 구분하기 위해 블록/서브블록의 상-좌(upper-left), 하-좌(bottom-left), 및 하-우(bottom-right) 모서리만 점검될 것이다.
50. IBC 버퍼 크기는 VPDU 크기(폭/높이가 vSize로 표기)에 좌우되거나 및/또는 CTB/CTU 크기(푹/높이가 ctbSize로 표기)에 좌우될 수 있다.
a. 하나의 예에서, 버퍼의 높이는 ctbSize와 동일할 수 있다.
b. 하나의 예에서, 버퍼의 폭은 min(ctbSize, 64)에 좌우될 수 있다.
i. 하나의 예에서, 버퍼의 폭은 (128*128/vSize, min(ctbSize, 64))가 될 수 있다.
51. IBC버퍼는 화소 범위 외부의 값을 포함할 수 있는데, 이는 이 위치가 예를 들어 다른 샘플들의 예측에 사용되지 않는 등 IBC 기준에 사용 불가능하다는 것을 나타낸다.
a. 샘플 값은 이 샘플이 사용 불가능하다는 것을 표시하는 값으로 설정될 수 있다.
b. 하나의 예에서, 이 값은 -1이다.
c. 하나의 예에서, 이 값은 [0, 1<<(internal_bit_depth) - 1] 외부의 어떤 값이 될 수 있는데, 여기서 internal_bit_depth는 양의 정수 값이다. 예를 들어, internal_bit_depth는 칼라 컴포넌트에 대한 샘플의 인코딩/디코딩에 사용된 내부 비트심도이다.
d. 하나의 예에서, 이 값은 [0, 1<<(input_bit_depth) - 1] 외부의 어떤 값일 될 수 있는데, 여기서 input_bit_depth는 양의 정수 값이다. 예를 들어, input_bit_depth는 칼라 컴포넌트에 대한 샘플의 인코딩/디코딩에 사용된 입력 비트심도이다.
52. IBC버퍼 내의 샘플들에 대한 사용 가능성 마킹은 현재 블록의 위치, 현재 블록의 크기, CTU/CTB 크기, 및 VPDU 크기에 좌우될 수 있다. 하나의 예에서, (xCb, yCb)가 화면의 상-좌(top-left)에 대한 블록의 위치를 표기하고; ctbSize가 CTU/CTB의 크기(즉 폭 및/또는 높이)이며; vSize= min(ctbSize, 64)이고; wIbcBuf 및 hIbcBuf IBC 버퍼의 폭 및 높이라고 한다.
a. 하나의 예에서, (xCb%vSize)가 0이고 (yCb%vSize)가 0이면, IBC 버퍼 내의 위치들의 어떤 세트(set)들은 사용 불가능한 것으로 마킹될 수 있다.
b. 하나의 예에서, 현재 블록 크기가 VPDU 크기, 즉 min(ctbSize, 64)보다 더 작으면, 사용 불가능한 것으로 마킹되는 영역은 VPDU 크기에 따를 수 있다.
c. 하나의 예에서, 현재 블록 크기가 VPDU 크기, 즉 min(ctbSize, 64)보다 더 크면, 사용 불가능한 것으로 마킹되는 영역은 CU 크기에 따를 수 있다.
53. 화면의 상0좌 위치에 대한 (예를 들어 VPDU(xV, yV) 등의) 비디오 유닛의 디코딩의 시작시, IBC 버퍼 내의 해당 위치들은 화소 범위 외부의 값으로 설정될 수 있다.
a. 하나의 예에서, x = xV, ...,xV+ctbSize-1이고 y=yV, ...,yV+ctbSize-1일 때 버퍼 내에 위치(x%wIbcBuf, y%hIbcBuf)를 가지는 버퍼 샘플들은 값 -1로 설정될 것인데, 여기서 wIbcBuf 및 hIbcBuf는 IBC 버퍼의 폭 및 높이이고, ctbSize는 CTU/CTB의 폭이다.
i. 하나의 예에서, hIbcBuf는 ctbSize와 동일할 수 있다.
54. 비트스트림 적합성 제약(bitstream conformance constraint)은 IBC 버퍼 내의 샘플의 값에 따를 수 있다.
a. 하나의 예에서, IBC 블록 내의 블록 벡터와 연계된 기준 블록이 화소 범위 외부의 값을 포함하면, 그 비트스트림은 부적합(illegal)하다.
55. 비트스트림 적합성 제약은 IBC 버퍼 내의 사용 가능성 표시(availability indication)에 따를 수 있다.
a. 하나의 예에서, IBC 버퍼 내에 매핑된 어떤 참조 샘플이 블록의 인코딩/디코딩에 사용 불가능한 것으로 마킹되면, 그 비트스트림은 부적합하다.
b. 하나의 예에서, 단일 트리(singletree)가 사용될 때, 블록의 인코딩/디코딩을 위해 IBC 버퍼 내에 매핑된 어떤 루마 참조 샘플들이 사용 불가능하다고 마킹되면, 그 비트스트림은 부적합하다.
c. 적합한 비트스트림(conformance bitstream)은 IBC 코딩된 블록에 대해 연계된 블록 벡터가 IBC 버퍼에 매핑된 기준 블록을 가리키고(point to) 블록의 인코딩/디코딩을 위한 IBC 버퍼 내에 위치하는 각 루마 참조 샘플이 사용가능한 것으로 마킹되어야 한다는 조건을 충족할 수 있다(예를 들어 샘플들의 값들이 [K0, K1]의 범위 내에 있는데, 여기서 예를 들어 K0은 0으로 설정되고 BitDepth가 내부 비트심도 또는 입력 비트심도일 때 K1이 (1<<BitDepth-1)로 설정된다).
56. 비트스트림 적합성 제약은 분할 트리(partitioning tree) 종류와 현재 CU의 코딩 treeType에 좌우될 수 있다.
a. 하나의 예에서, 이중 트리(dualtree)가 (예를 들어 슬라이스/화면/브릭/타일 등) 하이 레벨(high-level)에서 허용되고 (예를 들어 CU/PU/CB/PB 등의) 현재 비디오 블록이 단일 트리로 코딩되면, 비트스트림 제약은 IBC버퍼 내에 매핑된 모든 컴포넌트의 위치가 사용 불가능한 것으로 마킹되었는지 여부를 점검할 필요가 있을 것이다.
b. 하나의 예에서, 이중 트리가 (예를 들어 슬라이스/화면/브릭/타일 등) 하이 레벨에서 허용되고 (예를 들어 CU/PU/CB/PB 등의) 현재 루마 비디오 블록이 이중 트리로 코딩되면, 비트스트림 제약은 IBC 버퍼 내에 매핑된 크로마 컴포넌트의 위치가 사용 불가능한 것으로 마킹되었는지 여부를 무시할 수 있다.
i. 이와는 달리, 이러한 경우 비트스트림 제약이 여전히 IBC 버퍼 내에 매핑된 크로마 컴포넌트의 위치가 사용 불가능한 것으로 마킹되었는지 여부를 점검할 수 있다.
c. 하나의 예에서, 단일 트리가 사용되면, 비트스트림 제약이 IBC 버퍼 내에 매핑된 크로마 컴포넌트의 위치가 사용 불가능한 것으로 마킹되었는지 여부를 무시할 수 있다.
현재 VTM 설계에 대한 개선(Improvement to the current VTM design)
57. IBC에 대한 예측(prediction)이 재생(reconstruction)보다 더 낮은 정밀도(precision)를 가질 수 있다.
a. 하나의 예에서, 예측 값은 값 clip{{p+[1<<(b-1)]}>>b,0,(1<<bitdepth)-1}<<b를 따르는데, 여기서 p는 재생된 샘플 값이고, b는 소정의 비트 시프트(bit-shifting) 값이며, bitdepth는 예측 샘플 비트심도이다.
b. 하나의 예에서, 예측 값은 값 clip{{p+[1<<(b-1)-1]}>>b,0,(1<<bitdepth)-1}<<b를 따르는데, 여기서 p는 재생 샘플 값, b는 소정의 비트 시프트 값이다.
c. 하나의 예에서, 예측 값은 값 ((p>>b)+(1<<(bitdepth-1)))<<b를 따르는데, 여기서 bitdepth는 예측 샘플의 비트심도이다.
d. 하나의 예에서, 예측 값은 값 (clip((p>>b),0,(1<<(bitdepth-b)))+(1<<(bitdepth-1)))<<b를 따르는데, 여기서 bitdepth는 예측 샘플의 비트심도이다.
e. 하나의 예에서, 예측 값은 ILR이 적용되는지 여부에 따라 다른 방식들로 클리핑(clipped)될 수 있다.
f. 이상의 예들에서, b는 재생 비트심도 빼기 입력 샘플 비트심도가 될 수 있다.
g. 하나의 예에서, 비트심도, 또는 출력 비트심도/입력 비트심도/내부 비트심도와 비교한 비트심도 차이는 SPS/PPS/시퀀스 헤더/화면 헤더/슬라이스 헤더/타일 그룹 헤더/타일 헤더 또는 다른 종류의 비디오 데이터 유닛에 신호될 수 있다.
58. IBC의 예측의 일부는 (재생보다) 더 낮은 정밀도를 갖고 다른 일부는 재생과 동일한 정밀도를 갖는다.
a. 하나의 예에서, 허용된 기준 영역은 다른 정밀도(예를 들어 비트심도)들을 갖는 샘플들을 포함할 수 있다.
b. 하나의 예에서, 다른 64x64 블록들로부터의 기준이 디코딩되는 현재 64x64블록보다 낮은 정밀도를 갖고 현재 64x64 블록은 재생과 동일한 정밀도를 갖는다.
c. 하나의 예에서, 다른 CTU들로부터의 기준이 디코딩되는 현재 CTU보다 낮은 정밀도를 갖고 현재 CTU로부터의 기준이 재생과 동일한 정밀도를 갖는다.
d. 하나의 예에서, 어떤 칼라 컴포넌트들로부터의 기준이 낮은 정밀도를 갖고 다른 칼라 컴포넌트로부터의 기준이 재생과 동일한 정밀도를 갖는다.
59. CTU 크기가 MxM이고 기준 영역 크기가 nMxnM이면, 기준 영역은 CTU 행에서 가장 가까운 사용 가능한 n x n개의 CTU들이다.
a. 하나의 예에서, 기준 영역 크기가 128x128이고 CTU 크기가 64x64이면, CTU 행에서 가장 가까운 사용 가능한 4개의 CTU들이 IBC 기준에 사용될 수 있다.
b. 하나의 예에서, 기준 영역 크기가 128x128이고 CTU 크기가 32x32이면, CTU 행에서 가장 가까운 사용 가능한 16개의 CTU들이 IBC 기준에 사용될 수 있다.
60. CTU 크기가 M이고 기준 영역 크기가 nM이면, 기준 영역은 CTU 행/타일에서 가장 가까운 사용 가능한 n-1개의 CTU들이다.
a. 하나의 예에서, 기준 영역 크기가 128x128 또는 256x64이고 CTU 크기가 64x64이면, CTU 행에서 가장 가까운 사용 가능한 3개의 CTU들이 IBC 기준에 사용될 수 있다.
b. 하나의 예에서, 기준 영역 크기가 128x128 또는 512x32이고 CTU 크기가 32x32이면, CTU 행에서 가장 가까운 사용 가능한 15개의 CTU들이 IBC 기준에 사용될 수 있다.
61. CTU 크기가 M이고 VPDU 크기가 kM이며 기준 영역 크기가 nM이면, 기준 영역은 CTU 행/타일에서 가장 가까운 사용 가능한 n-k개의 CTU들이다.
a. 하나의 예에서, CTU 크기가 64x64이고 VPDU 크기 역시 64x64이며 기준 영역 크기가 128x128이면, CTU 행에서 가장 가까운 사용 가능한 3개의 CTU들이 IBC 기준에 사용될 수 있다.
b. 하나의 예에서, CTU 크기가 32x32이고 VPDU 크기가 64x64이며 기준 영역 크기가 128x128이면, CTU 행에서 가장 가까운 사용 가능한 (16-4)=12개의 CTU들이 IBC 기준에 사용될 수 있다.
62. IBC를 사용하여 (x, y)인 상-좌 모서리를 갖는 w x h 블록에 대해, 메모리 재사용을 위해 어떤 영역으로부터의 기준 블록을 남겨두어야 하는 제약이 있는데, 여기서 w 및 h는 현재 블록의 폭 및 높이이다.
a. 하나의 예에서, CTU 크기가 128x128이고 (x, y)=(m x 64,n x 64)이면, 기준 블록은 ((m-2)x64, n x 64)에서 시작하는 64x64 영역에 중첩될 수 없다.
b. 하나의 예에서, CTU 크기가 128x128이면, 기준 블록은 (x-128, y)인 상-좌 모서리의 w x h 블록과 중첩될 수 없다.
c. 하나의 예에서, CTU 크기가 128x128이면, (x+BVx, y+BVy)는 (x-128, y)인 상-좌 모서리의 w x h 블록 내에 위치할 수 없는데, 여기서 BVx 및 BVy는 현재 블록의 블록 벡터를 표기한다.
d. 하나의 예에서, CTU 크기가 M x M이고 IBC 버퍼 크기가 k x M x M이면, 기준 블록은 (x-k x M, y)인 상좌 블록과 w x h 블록 내에서 중첩될 수 없는데, 여기서 BVx 및 BVy는 현재 블록의 블록 벡터를 표기한다.
e. 하나의 예에서, CTU 크기가 M x M이고 IBC 버퍼 크기가 k x M x M이면, (x+BVx, y+BVy)는 (x-k x M, y)인 상좌 블록과 w x h 블록 내에 위치할 수 없는데, 여기서 BVx 및 BVy는 현재 블록의 블록 벡터를 표기한다.
63. CTU 크기가 M x M이 아니고 기준 영역 크기가 nM x nM이면, 기준 영역은 CTU 행에서 가장 가까운 사용 가능한 n x n-1개의 CTU들이다.
a. 하나의 예에서, 기준 영역 크기가 128x128이고 CTU 크기가 64x64이면, CTU 행에서 가장 가까운 사용 가능한 3개의 CTU들이 IBC 기준에 사용될 수 있다.
b. 하나의 예에서, 기준 영역 크기가 128x128이고 CTU 크기가 32x32이면, CTU 행에서 가장 가까운 사용 가능한 15개의 CTU들이 IBC 기준에 사용될 수 있다.
64. (2m*64, 2n*64)에서 시작되는 64x64 블록 내, 즉 128x128 CTU의 상-좌 64x64 블록 내의 CU에 대해, 그 IBC 예측은 ((2m-2)*64, 2n*64)에서 시작하는 64x64 블록, ((2m-1)*64, 2n*64)에서 시작하는 64x64 블록, ((2m-1)*64, (2n+1)*64)에서 시작하는 64x64 블록, 및 현재 64x64 블록 내의 재생 샘플들로부터 얻어질 수 있다.
65. ((2m+1)*64, (2n+1)*64)에서 시작되는 64x64 블록 내, 즉 128x128 CTU의 하-우 64x64 블록 내의 CU에 대해, 그 IBC 예측은 현재 128x128 CTU로부터 얻어질 수 있다.
66. ((2m-1)*64, (2n+1)*64)에서 시작되는 64x64 블록 내, 즉 128x128 CTU의 상-우 64x64 블록 내의 CU에 대해, 그 IBC 예측은 ((2m-1)*64, 2n*64)에서 시작하는 64x64 블록, ((2m-1)*64, (2n+1)*64)에서 시작하는 64x64 블록, (2m*64, 2n*64)에서 시작하는 64x64 블록, 및 현재 64x64 블록 내의 재생 샘플들로부터 얻어질 수 있다.
a. 이와는 달리, (2m*64, (2n+1)*64)에서 시작하는 64x64 블록이 재생되었다면, IBC 예측은 ((2m-1)*64, 2n*64)에서 시작하는 64x64 블록, (2m*64, 2n*64)에서 시작하는 64x64 블록, (2m*64, (2n+1)*64)에서 시작하는 64x64 블록, 및 현재 64x64 블록 내의 재생 샘플들로부터 얻어질 수 있다.
67. (2m*64, (2n+1)*64)에서 시작되는 64x64 블록 내, 즉 128x128 CTU의 하-좌 64x64 블록 내의 CU에 대해, 그 IBC 예측은 ((2m-1)*64, (2n+1)*64)에서 시작하는 64x64 블록, (2m*64, 2n*64)에서 시작하는 64x64 블록, ((2m+1)*64, 2n*64)에서 시작하는 64x64 블록, 및 현재 64x64 블록 내의 재생 샘플들로부터 얻어질 수 있다.
a. 이와는 달리, ((2m+1)*64, 2n*64)에서 시작하는 64x64 블록이 재생되지 않았다면, IBC 예측은 ((2m-1)*64, 2n*64)에서 시작하는 64x64 블록, ((2m-1)*64, (2n+1)*64)에서 시작하는 64x64 블록, (2m*64, 2n*64)에서 시작하는 64x64 블록, 및 현재 64x64 블록 내의 재생 샘플들로부터 얻어질 수 있다.
68. 현재 CU가 어느 64x64 블록들에 속하는가에 기반하여 기준 영역을 조정할 것이 제안된다.
a. 하나의 예에서, (y>>6)&1 == 0일 때 (x,y)에서 시작되는 CU에 대해, ((x>>6<<6)-128, y>>6<<6) 및 ((x>>6<<6)-64, y>>6<<6)에서 시작하는 2개 또는 2개까지의 이전 64x64 블록들이 IBC 모드에 참조될 수 있다.
b. 하나의 예에서, (y>>6)&1 == 1일 때 (x,y)에서 시작되는 CU에 대해, ((x>>6<<6)-64, y>>6<<6)에서 시작되는 하나의 이전 64x64 블록이 IBC 모드에 참조될 수 있다.
69. (x,y)에서 시작되고 블록 벡터(BVx, BVy)를 가지는 블록에 대해, isRec(((x+BVx)>>6<<6)+128-(((y+BVy)>>6)&1)*64+(x%64), ((y+BVy)>>6<<6) +(y%64))가 참이면 그 블록 벡터는 유효하지 않다.
a. 하나의 예에서, 블록이 루마 블록이다.
b. 하나의 예에서, 블록이 4:4:4 포맷의 크로마 블록이다.
c. 하나의 예에서, 블록이 루마 및 크로마 컴포넌트들 양자를 포함한다.
70. (x,y)에서 시작하고 블록 벡터(BVx, BVy)를 갖는 4:2:0 포맷의 크로마 블록에 대해, isRec(((x+BVx)>>5<<5)+64-(((y+BVy)>>5)&1)*32+(x%32), ((y+BVy)>>5<<5) +(y%32))가 참이면, 이 블록 벡터는 유효하지 않다.
71. 컴포넌트 c의 블록에 대한 BV가 유효하지 않은지 여부의 판단은 루마 샘플만을 점검하는 대신 컴포넌트 X의 샘플들의 사용 가능성에 의존할 수 있다.
a. (x,y)에서 시작하고 블록 벡터(BVx, BVy)를 갖는 컴포넌트 c의 블록에 대해, isRec(c, ((x+BVx)>>6<<6)+128-(((y+BVy)>>6)&1)*64+(x%64), ((y+BVy)>>6<<6) +(y%64))가 참이면, 그 블록 벡터는 유효하지 않은 것으로 취급될 수 있다.
i. 하나의 예에서, 블록이 루마 블록이다(예를 들어 c가 루마 컴포넌트 또는 RGB 코딩을 위한 G 컴포넌트).
ii. 하나의 예에서, 블록이 4:4:4 포맷의 크로마 블록이다(예를 들어 c가 cb 또는 cr 컴포넌트이거나, 또는 RGB 코딩을 위한 G 컴포넌트).
iii. 하나의 예에서, 예를 들어 루마 및 크로마 컴포넌트들 양자를 포함하는 블록 등 루마 및 크로마 컴포넌트들 양자에 대한 샘플들의 사용 가능성이 점검될 수 있다.
b. 컴포넌트 c의 (x, y)에서 시작하고 블록 벡터(BVx, BVy)를 갖는 4:2:0 포맷의 크로마 블록에 대해, isRec(c, ((x+BVx)>>5<<5)+64-(((y+BVy)>>5)&1)*32+(x%32), ((y+BVy)>>5<<5) +(y%32))가 참이면, 이 블록 벡터는 유효하지 않은 것으로 취급될 수 있다.
c. 컴포넌트 c의 (x, y)에서 시작하고 블록 벡터(BVx, BVy)를 갖는 크로마 블록 또는 서브블록에 대해, 크로마 컴포넌트에 대한 isRec(c, x+BVx+Chroma_CTU_size, y)가 참이면 그 블록 벡터는 유효하지 않은 것으로 취급될 것인데, 여기서 Chroma_CTU_size는 크로마 컴포넌트에 대한 CTU 크기이다.
i. 하나의 예에서, 4:2:0 포맷에 대해, Chroma_CTU_size는 64일 수 있다.
ii. 하나의 예에서, 크로마 서브블록은 4:2:0 포맷의 2x2 블록이 될 수 있다.
iii. 하나의 예에서, 크로마 서브블록은 4:2:4 포맷의 4x4 블록이 될 수 있다.
iv. 하나의 예에서, 크로마 서브블록은 루마 컴포넌트 내의 최소 CU 크기에 해당할 수 있다.
1. 이와는 달리, 크로마 서브블록이 크로마 컴포넌트에 대한 최소 CU 크기에 해당할 수 있다.
72. 이상에 언급된 모든 항목들에서, 기준 버퍼가 복수의 MxM 블록들(M=64)을 포함한다고 가정된다. 그러나 이는 기준 버퍼가 복수의 NxM 블록들(예를 들어 N=128, M=64)을 포함하는 등 다른 경우들에 확장될 수 있다.
73. 이상에 언급된 모든 항목들에서, 기준 버퍼가 현재 블록과 동일한 브릭/타일/타일 그룹/슬라이스 내에 위치해야 한다는 추가적인 제약들이 적용될 수 있다.
a. 하나의 예에서, 기준 버퍼의 일부가 현재 브릭/타일/타일 그룹/슬라이스 외부에 있으면, IBC의 사용이 디스에이블된다(disabled). IBC 관련 신택스 요소들의 시그널링이 스킵될(skipped) 수 있다.
b. 이와는 달리, 기준 버퍼의 일부가 현재 브릭/타일/타일 그룹/슬라이스 외부에 있을 때, IBC가 여전히 하나의 블록에 대해 이네이블될 수 있지만, 하나의 블록에 연계된 블록 벡터는 잔여(remaining) 기준 버퍼만을 가리킬 수 있다.
74. 가능하다면 CTU/CPB 행의 제1 VPDU 행에 K1개의 가장 최근에 코딩된 VPDU를, 가능하다면 CTU/CPB 행의 제2 VPDU 행에 K2개의 가장 최근에 코딩된 VPDU를 현재 VPDU를 제외하고 IBC에 대한 기준 영역으로 가질 것이 제안된다.
a. 하나의 예에서, K1은 2와 같고 K2는 1과 같다.
b. 하나의 예에서, 이상의 방법은 CTU/CTB 크기가 128x128이고 VPDU 크기가 64x64일 때 적용될 수 있다.
c. 하나의 예에서, 이상의 방법은 CTU/CTB 크기가 64x64이고 VPDU 크기가 64x64 및/또는 32x32일 때 적용될 수 있다.
d. 하나의 예에서, 이상의 방법은 CTU/CTB 크기가 32x32이고 VPDU 크기가 32x32 이하일 때 적용될 수 있다.
75. 이상의 방법들은 다른 스테이지(stage)들에 적용될 수 있다.
a. 하나의 예에서, 블록 벡터(BV)들의 모듈러 연산(예를 들어 a mod b)이 BV가 유효한지 여부를 결정하는 사용 가능성 점검 프로세스에서 호출(invoke)될 수 있다.
b. 하나의 예에서, 블록 벡터(BV)들의 모듈러 연산(예를 들어 a mod b)이 (예를 들어 루프-내 필터링 프로세스 전에) IBC 가상 버퍼 또는 재생 화면 버퍼 내의 (예를 들어 현재 샘플의 위치와 Bv의 모듈러 (연산) 결과에 따라) 참조 샘플의 위치를 식별하도록 호출될 수 있다.
5.
실시예들(Embodiments)
5.1
실시예 #1(Embodiment #1)
IBC를 위한 버퍼의 구현이 이하에 설명되는데:
버퍼 크기는 128x128이다. CTU 크기 역시 128x128이다. CTU 행의 첫 번째 CTU를 코딩하기 위해, (8비트 비디오 신호에 대해) 버퍼가 128로 초기화된다(initialized). CTU 행의 k번째 CTU를 코딩하기 위해, 버퍼는 (k-1)번째 CTU의 루프 필터링 이전의 재생(값)으로 초기화된다.
도 3은 (x, y)에서 시작되는 블록의 코딩의 예를 보인다.
코딩이 현재 CTU에 관련된 (x, y)에서 시작되면, 블록 벡터(BVx, BVy) = (x-x0, y-y0)가 디코더로 전송되어 기준 블록이 IBC 버퍼 내의 (x0,y0)부터라고 표시한다. 이 블록의 폭과 높이가 각각 w와 h라고 가정한다. 이 블록의 코딩이 완료되면 IBC 버퍼 내의 (x, y)에서 시작하는 w x h 영역이 루프 필터링 이전의 블록의 재생(값)으로 갱신될 것이다.
5.2 실시예 #2(Embodiment #2)
도 4는 이전에 코딩된 64X64 블록들을 선택하는 가능한 대체적 방법의 예를 보인다.
5.3 실시예 #3(Embodiment #3)
도 5는 64X64 블록들의 코딩/디코딩 순서를 변경하는 가능한 대체적 방법의 예를 보인다.
5.4 실시예 #4(Embodiment #4)
도 8은 64x64 블록들에 대한 디코딩 순서가 상에서 하로, 좌에서 우로일 때, 이전 64X64 블록들을 선택하는 다른 가능한 대체적 방법을 보인다.
5.5 실시예 #5(Embodiment #5)
도 9는 이전에 코딩된 64X64 블록들을 선택하는 다른 가능한 대체적 방법을 보인다.
5.6 실시예 #6(Embodiment #6)
도 11은 64x64 블록들에 대한 디코딩 순서가 상에서 하로, 좌에서 우로일 때, 이전 64X64 블록들을 선택하는 다른 가능한 대체적 방법을 보인다.
5.7 실시예 #7(Embodiment #7)
CTU 크기가 WxW라고 가정하면, 디코더에서 크기 mWxW를 갖고 비트심도가 B인 IBC 버퍼의 구현은 다음과 같다.
CTU 행의 디코딩 시작시, 버퍼를 값 (1<<(B-1))으로 초기화하고 (xb, yb)가 (0, 0)로 갱신되도록 시작점(starting point)을 설정한다.
CU가 상-좌 모서리에 관련된 (x, y)에서 시작되고 디코딩될 크기 w x h를 가지면, (xb+x, yb+y)에서 시작되는 w x h 크기의 영역이 비트심도가 B 비트에 정렬된 이후의 CU의 재생 화소값으로 갱신될 것이다.
CTU가 디코딩된 다음, (xb, yb)로 갱신된 시작점은 ((xb+W) mod mW, 0)로 설정될 것이다.
CTU 상-좌 모서리에 관련된 어떤 화소(x, y)에 대해 IBC CU를 블록 벡터(BVx, BVy)로 디코딩하면, 그 예측은 예측 신호들의 비트심도에 대한 비트심도 정렬 이후의 위치((x+BVx) mod mW, (y+BVy) mode W)에서의 버퍼로부터 추출된다.
하나의 예에서, B가 7 또는 8로 설정되는 한편 그 블록의 출력/입력 비트심도는 10일 수 있다.
5.8 실시예 #8(Embodiment #8)
화면의 상-좌 모서리와 블록 벡터(BVx, BVy)에 관련된 (x, y)에서 시작되는 루마 CU 또는 결합(joint) 루마/크로마 CU에 대해, isRec(((x+BVx)>>6<<6)+128-(((y+BVy)>>6)&1)*64+(x%64), ((y+BVy)>>6<<6) +(y%64))가 참이면 그 블록 벡터는 유효하지 않다.
화면의 상-좌 모서리와 블록 벡터(BVx, BVy)에 관련된 (x, y)에서 시작되는 크로마 CU에 대해, isRec(((x+BVx)>>5<<5)+64-(((y+BVy)>>5)&1)*32+(x%32), ((y+BVy)>>5<<5) +(y%32))가 참이면 그 블록 벡터는 유효하지 않다.
5.9 실시예 #9(Embodiment #9)
화면의 상-좌 모서리와 블록 벡터(BVx, BVy)에 관련된 (x, y)에서 4:2:0 포맷으로 시작되는 크로마 블록 또는 서브블록에 대해, isRec(c, (x+BVx+64, y+BVy)가 참이면 그 블록 벡터는 유효하지 않은데, 여기서 c는 크로마 컴포넌트이다.
화면의 상-좌 모서리와 블록 벡터(BVx, BVy)에 관련된 (x, y)에서 4:4:4 포맷으로 시작되는 크로마 블록 또는 서브블록에 대해, isRec(c, (x+BVx+128, y+BVy)가 참이면 그 블록 벡터는 유효하지 않은데, 여기서 c는 크로마 컴포넌트이다.
5.10 실시예 #10(Embodiment #10)
화면의 상-좌 모서리와 블록 벡터(BVx, BVy)에 관련된 (x, y)에서 시작되는 루마 CU 또는 결합 루마/크로마 CU에 대해, isRec(((x+BVx)>>6<<6)+128-(((y+BVy)>>6)&1)*64+(x%64), ((y+BVy)>>6<<6) +(y%64))가 참이면 그 블록 벡터는 유효하지 않다.
화면의 상-좌 모서리와 블록 벡터(BVx, BVy)에 관련된 (x, y)에서 4:2:0 포맷으로 시작되는 크로마 블록 또는 서브블록에 대해, isRec(c, ((x+BVx)>>5<<5)+64-(((y+BVy)>>5)&1)*32+(x%32), ((y+BVy)>>5<<5) +(y%32))가 참이면 그 불록 벡터는 유효하지 않는데, 여기서 c는 크로마 컴포넌트이다.
5.11 실시예 #11(Embodiment #11)
이 실시예는 현재의 VPDU를 제외하고 2개의 가장 최근 코딩된 VPDU들을 첫 번째 VPDU 행에 유지하고 하나의 가장 최근 코딩된 VPDU을 CTU/CTB 행의 두 번째 VPDU 행에 유지하는 구현을 강조하고 있다.
VPDU 코딩 순서가 상에서 하로 및 좌에서 우로일 때의 기준 영역이 도 13에 도시되어 있다.
VPDU 코딩 순서가 좌에서 우로 및 상에서 하로 이고 현재 VPDU가 화면 경계의 우측을 향하지 않을 때의 기준 영역이 도 14에 도시되어 있다.
VPDU 코딩 순서가 좌에서 우로 및 상에서 하로 이고 현재 VPDU가 화면 경계의 우측을 향할 때의 기준 영역이 도 15에 도시되어 있다.
크기 w x h를 갖는 루마 블록(x, y)을 고려해보면, 블록 벡터(BVx, BVy)가 유효한지 여부는 다음 조건의 점검함으로써 구분될 수 있는데:
isRec(((x+BVx+128)>>6<<6) - (refy&0x40) + (x%64), ((y+BVy)>>6<<6) + (refy>>6 == y>>6)?(y%64):0), 여기서 refy = (y&0x40) ? (y+BVy) : (y+BVy+w-1)이다.
위 함수가 참을 회신하면, 블록 벡터(BVx, BVy)가 유효하지 않고, 그렇지 않으면 블록 벡터가 유효하다.
5.12 실시예 #12(Embodiment #12)
CTU 크기가 192x128이면, 크기 192x128을 갖는 가상 버퍼가 IBC에 대한 참조 샘플들을 추적하기 위해 유지된다.
화면의 상-좌 모서리에 대한 샘플(x, y)은 버퍼의 상-좌 모서리에 대한 위치(x%192, y%128)에 연계된다. 다음 단계들은 IBC 참조를 위한 가상 버퍼에 연계된 샘플들의 사용 가능성을 마킹하는 방법을 보인다.
화면의 상-좌 모서리에 대한 위치(xPrevVPDU, yPrevVPDU)는 가장 최근 디코딩된 VPDU의 상-좌 샘플을 나타내도록(stand for) 기록된다.
1) VPDU 행의 디코딩 시작시, 버퍼의 모든 위치들은 사용 불가능한 것으로 마킹된다. (xPrevVPDU, yPrevVPDU)가 (0,0)으로 설정된다..
2) VPDU의 첫 번째 CU의 디코딩 시작시, x = (xPrevVPDU - 2WVPDU+ 2mWVPDU)%(mWVPDU), ...,((xPrevVPDU - 2WVPDU+ 2mWVPDU)% (mWVPDU))-1+WVPDU;이고 y = yPrevVPDU%(nHVPDU), ...,(yPrevVPDU%(nHVPDU))-1+HVPDU인 위치(x, y)는 사용 불가능한 것으로 마킹된다. 이어서 (xPrevVPDU, yPrevVPDU)가 (xCU, yCU), 즉 화면에 대한 CU의 상-좌 위치로 설정된다.
3) CU의 디코딩 후, x = xCU%(mWVPDU), ...,(xCU+CU_width-1)%(mWVPDU)이고 y = yCU%(nHVPDU), ...,(yCU+CU_height-1)%(nHVPDU)인 위치(x, y)가 사용 가능한 것으로 마킹된다.
4) 블록 벡터(xBV, yBV)를 갖는 IBC CU에 대해, x = (xCU+xBV)%(mWVPDU), ...,(xCU+xBV+CU_width-1)%(mWVPDU)이고 y = (yCU+yBV)%(nHVPDU), ...,(yCU+yBV+CU_height-1)%(nHVPDU)인 어떤 위치(x, y)가 사용 불가능한 것으로 마킹되면, 그 블록 벡터는 유효하지 않은 것으로 간주된다.
도 16은 버퍼 상태를 화면 내의 VPDU 디코딩 상태와 함께 보인다.
5.13 실시예 #13(Embodiment #13)
CTU 크기가 128x128 또는 CTU 크기가 VPDU 크기보다 크면(예를 들어 현재 설계에서 64x64) 또는 CTU 크기가 VPDU 크기보다 크면(예를 들어 현재 설계에서 64x64), IBC에 대한 참조 샘플들을 추적하도록 크기 128x128을 갖는 가상 버퍼가 유지된다. 이하에서, a < 0, (a % b)가 (a/b)*b로 정의될 때 floor(c)는 c보다 크지 않은 최대 정수를 회신한다.
화면의 상-좌 모서리에 대한 샘플(x, y)은 버퍼의 상-좌 모서리에 대한 위치(x%192, y%128)에 연계된다. 이하의 단계들은 IBC 참조를 위한 가상 버퍼에 연계된 샘플들의 사용 가능성을 마킹하는 방법을 보인다.
화면의상-좌 모서리에 대한 위치(xPrevVPDU, yPrevVPDU)가 가장 최근에 디코딩된 VPDU의 상-좌 샘플을 나타내도록 기록된다.
1) VPDU 행의 디코딩 시작시, 버퍼의 모든 위치들이 사용 불가능한 것으로 마킹된다. (xPrevVPDU, yPrevVPDU)가 (0,0)으로 설정된다.
2) VPDU의 첫 번째 CU의 디코딩 시작시,
a. yPrevVPDU%64가 0이면, x = (xPrevVPDU - 128)%192, ...,((xPrevVPDU - 128)%192) + 63;이고 y = yPrevVPDU%128, ...,(yPrevVPDU%128)+63인 위치(x, y)들이 사용 불가능한 것으로 마킹된다. 이어서 (xPrevVPDU, yPrevVPDU)가 (xCU, yCU), 즉 화면에 대한 CU의 좌-상 위치로 설정된다.
b. 그렇지 않으면, x = (xPrevVPDU - 64)%192, ...,((xPrevVPDU - 64)%192) + 63;이고 y = yPrevVPDU%128, ...,(yPrevVPDU%128)+63인 위치 (x, y)가 사용 불가능한 것으로 마킹된다. 이어서, (xPrevVPDU, yPrevVPDU)가 (xCU, yCU), 즉 화면에 대한 CU의 좌-상 위치로 설정된다.
3) CU의 디코딩 후, x = xCU%192, ...,(xCU+CU_width-1)%192이고 y = yCU%128, ...,(yCU+CU_height-1)%128인 위치(x, y)가 사용 가능한 것으로 마킹된다.
4) 블록 벡터(xBV, yBV)를 갖는 IBC CU에 대해, x = (xCU+xBV)%192, ...,(xCU+xBV+CU_width-1)%192이고 y = (yCU+yBV)%128, ...,(yCU+yBV+CU_height-1)%128인 어떤 위치가 사용 불가능한 것으로 마킹되면, 그 블록 벡터는 유효하지 않은 것으로 간주된다.
S가 128이 아닐 때 CTU 크기가 SxS라면, Wbuf가 128*128/S와 동일한 것으로 한다. IBC를 위한 참조 샘플들을 추적하기 위해 크기 WbufxS를 갖는 가상 버퍼가 유지된다. 이러한 경우 VPDU 크기가 CTU 크기와 같다.
화면의 상-좌 모서리에 대한 위치(xPrevVPDU, yPrevVPDU)가 가장 최근에 디코딩된 VPDU의 좌-상 샘플을 나타내도록 기록된다.
1) VPDU 행의 디코딩 시작시, 버퍼의 모든 위치들이 사용 불가능한 것으로 마킹된다. (xPrevVPDU, yPrevVPDU)가 (0,0)으로 설정된다.
2) VPDU의 첫 번째 CU의 디코딩 시작시, x = (xPrevVPDU - Wbuf*S)%S, ...,((xPrevVPDU - Wbuf*S)%S) + S - 1;이고 y = yPrevVPDU%S, ...,(yPrevVPDU%S) + S - 1인 위치(x, y)들이 사용 불가능한 것으로 마킹된다. 이어서 (xPrevVPDU, yPrevVPDU)가 (xCU, yCU), 즉 화면에 대한 CU의 좌-상 위치로 설정된다.
3) CU의 디코딩 후, x = xCU%(Wbuf), ...,(xCU+CU_width-1)%(Wbuf)이고 y = yCU%S, ...,(yCU+CU_height-1)%S인 위치(x, y)가 사용 가능한 것으로 마킹된다.
4) 블록 벡터(xBV, yBV)를 갖는 IBC CU에 대해, x = (xCU+xBV)%(Wbuf), ...,(xCU+xBV+CU_width-1)%(Wbuf)이고 y = (yCU+yBV)%S, ...,(yCU+yBV+CU_height-1)%S인 위치(x, y)가 사용 불가능한 것으로 마킹되면 그 블록 벡터는 유효하지 않은 것으로 간주된다.
5.14 실시예 #14(Embodiment #14)
CTU 크기가 128x128이거나 CTU 크기가 VPDU 크기보다 크면(예를 들어 현재 설계에서 64x64), IBC에 대한 참조 샘플들을 추적하도록 크기 256x128을 갖는 가상 버퍼가 유지된다. 이하에서, a < 0, (a % b)가 (a/b)*b로 정의될 때 floor(c)는 c보다 크지 않은 최대 정수를 회신한다.
화면의 상-좌 모서리에 대한 샘플(x, y)이 버퍼의 상-좌 모서리에 대한 위치(x%256, y%128)에 연계된다. 다음 단계들은 IBC 기준을 위한 가상 버퍼에 연계된 샘플들의 사용 가능성을 마킹하는 방법을 보인다.
화면의 상-좌 모서리에 대한 위치(xPrevVPDU, yPrevVPDU)가 가장 최근에 디코딩된 VPDU를 나타내도록 기록된다.
1) VPDU 행의 디코딩 시작시, 버퍼의 모든 위치들이 사용 불가능한 것으로 마킹된다. (xPrevVPDU, yPrevVPDU)가 (0,0)으로 설정된다.
2) VPDU의 첫 번째 CU의 디코딩 시작시,
a. yPrevVPDU%64가 0이면, x = (xPrevVPDU - 128)%256, ...,((xPrevVPDU - 128)% 256) + 63;이고 y = yPrevVPDU%128, ...,(yPrevVPDU%128)+63인 위치(x, y)들이 사용 불가능한 것으로 마킹된다. 이어서 (xPrevVPDU, yPrevVPDU)가 (xCU, yCU), 즉 화면에 대한 CU의 상-좌 위치로 설정된다.
b. 그렇지 않으면, x = (xPrevVPDU - 64)% 256, ...,((xPrevVPDU - 64)% 256) + 63;이고 y = yPrevVPDU%128, ...,(yPrevVPDU%128)+63인 위치(x, y)들이 사용 불가능한 것으로 마킹된다. 이어서 (xPrevVPDU, yPrevVPDU)가 (xCU, yCU), 즉 화면에 대한 CU의 상-좌 위치로 설정된다.
3) CU의 디코딩 후, x = xCU%256, ...,(xCU+CU_width-1)%256이고 y = yCU%128, ...,(yCU+CU_height-1)%128인 위치(x, y)가 사용 가능한 것으로 설정된다.
4) 블록 벡터(xBV, yBV)를 갖는 IBC CU에 대해 x = (xCU+xBV)%256, ...,(xCU+xBV+CU_width-1)%256이고 y = (yCU+yBV)%128, ...,(yCU+yBV+CU_height-1)%128인 위치(x, y)가 사용 불가능한 것으로 마킹되면 그 블록 벡터는 유효하지 않은 것으로 간주된다.
CTU 크기가 128x128이 아니거나 64x64보다 작으면 또는 64x64보다 작으면, 이전 실시예, 즉 실시예 #14에서와 동일한 프로세스가 적용된다.
5.15 실시예 #15(Embodiment #15)
IBC 기준 사용 가능성 마킹 프로세스(IBC reference availability marking process)가 다음과 같이 설명된다. 변경은 이 명세서에서 굵게 밑줄 친 이탤릭체 텍스트로 표시된다.
7.3.7.1 일반적 슬라이스 데이터 신택스(General slice data syntax)
| slice_data() { | Descriptor |
| for(i = 0; i < NumBricksInCurrSlice; i++) { | |
| CtbAddrInBs = FirstCtbAddrBs[SliceBrickIdx[i]] | |
| for(j = 0; j < NumCtusInBrick[SliceBrickIdx[i]]; j++, CtbAddrInBs++) { | |
| if((j % BrickWidth[SliceBrickIdx[i]]) = = 0) { | |
| NumHmvpCand = 0 | |
| NumHmvpIbcCand = 0 | |
| xPrevVPDU = 0 | |
| yPrevVPDU = 0 | |
| if(CtbSizeY == 128) | |
| reset_ibc_isDecoded(0, 0, 256, CtbSizeY, BufWidth, BufHeight) | |
| else | |
| reset_ibc_isDecoded(0, 0, 128*128/CtbSizeY, CtbSizeY, BufWidth, BufHeight) | |
| } | |
| CtbAddrInRs = CtbAddrBsToRs[CtbAddrInBs] | |
| ◎◎ | |
| reset_ibc_isDecoded(x0, y0, w, h, BufWidth, BufHeight) { | Descriptor |
| if(x0 >= 0) | |
| for (x = x0 % BufWidth; x < x0 + w; x+=4) | |
| for (y = y0 % BufHeight; y < y0 + h; y+=4) | |
| isDecoded[x >> 2][y >> 2] = 0 | |
| } |
BufWidth가 (CtbSizeY==128)?256:(128*128/CtbSizeY)와 같고 BufHeight가 CtbSizeY와 같다.
7.3.7.5 코딩 유닛 신택스(Coding unit syntax)
| coding_unit(x0, y0, cbWidth, cbHeight, treeType) { | Descriptor |
| if(treeType != DUAL_TREE_CHROMA && (CtbSizeY = = 128) && (x0 % 64) = = 0 && (y0 % 64) = = 0) { | |
| for(x = x0; x < x0 + cbWidth; x += 64) | |
| for(y = y0; y < y0 + cbHeight; y += 64) | |
| if((yPrevVPDU % 64) = = 0) | |
| reset_ibc_isDecoded(xPrevVPDU - 128, yPrevVPDU, 64, 64, BufWidth, BufHeight) | |
| else | |
| reset_ibc_isDecoded(xPrevVPDU - 64, yPrevVPDU, 64, 64, BufWidth, BufHeight) | |
| xPrevVPDU = x0 | |
| yPrevVPDU = y0 | |
| } | |
| if(treeType != DUAL_TREE_CHROMA && (CtbSizeY < 128) && (x0 % CtbSizeY) = = 0 && (y0 % CtbSizeY) = = 0) { | |
| reset_ibc_isDecoded(xPrevVPDU - (128*128/CtbSizeY - CtbSizeY), yPrevVPDU, 64, 64, BufWidth, BufHeight) | |
| xPrevVPDU = x0 | |
| yPrevVPDU = y0 | |
| } | |
| if(slice_type != I | | sps_ibc_enabled_flag) { | |
| if(treeType != DUAL_TREE_CHROMA && !(cbWidth = = 4 && cbHeight = = 4 && !sps_ibc_enabled_flag)) |
|
| cu_skip_flag[x0][y0] | ae(v) |
| if(cu_skip_flag[x0][y0] = = 0 && slice_type != I && !(cbWidth = = 4 && cbHeight = = 4)) |
|
| pred_mode_flag | ae(v) |
| if(((slice_type = = I && cu_skip_flag[x0][y0] = =0) | | (slice_type != I && (CuPredMode[x0][y0] != MODE_INTRA | | (cbWidth = = 4 && cbHeight = = 4 && cu_skip_flag[x0][y0] = = 0)))) && sps_ibc_enabled_flag && (cbWidth != 128 && cbHeight != 128)) |
|
| pred_mode_ibc_flag | ae(v) |
| } | |
| ?????? |
8.6.2 IBC 블록들에 대한 모션 벡터 컴포넌트들의 도출 프로세스(Derivation process for motion vector components for IBC blocks)
8.6.2.1 개요(General)
항목 8,6,3,2의 블록 벡터 유효성 점검 프로세스가 블록 벡터(mvL)를 입력으로(with) 호출될 때, isBVvalid가 참이어야 한다는 것이 비트스트림 적합성의 요건이다.
8.6.3 IBC 블록들의 디코딩 프로세스(Decoding process for ibc blocks)
8.6.3.1 개요(General)
이 프로세스는 IBC 예측 모드로 코딩된 코딩 유닛을 디코딩할 때 요구된다.
이 프로세스에 대한 입력들은:
- 현재 화면에 상-좌 루마 샘플에 대한 현재 코딩 블록의 좌-상 샘플을 규정하는 루마 위치(xCb, yCb),
- 루마 샘플들 내의 현재 코딩 블록의 높이를 규정하는 변수 cbHeight.
- 수평 및 수직 방향의 루마 코딩 서브블록들의 수를 규정하는 변수 numSbX 및 numSbY,
- 모션 벡터들 mv[xSbIdx][ySbIdx] with xSbIdx = 0..numSbX - 1, 및 ySbIdx = 0..numSbY - 1,
- 현재 블록의 칼라 컴포넌트 인덱스를 규정하는 변수 cIdx.
- (nIbcBufW)x(ctbSize) 행열 ibcBuf
xSbIdx = 0..numSbX - 1이고 ySbIdx = 0..numSbY - 1인 서브블록 인덱스(xSbIdx, ySbIdx)에서의 각 코딩 서브블록에 대해 다음이 적용된다:
- 현재 화면의 상-좌 루마 샘플에 대한 현재 코딩 서브블록의 상-좌 샘플을 규정하는 루마 위치(xSb, ySb)는 다음과 같이 도출된다:
(xSb, ySb) = (xCb + xSbIdx * sbWidth, yCb + ySbIdx * sbHeight) (8-913)
cIdx가 0이면 nIbcBufW가 ibcBufferWidth로 설정되고, 그렇지 않으면 nIbcBufW가 (ibcBufferWidth / SubWidthC)로 설정된다. 다음이 적용된다:
predSamples[xSb + x][ySb + y] = ibcBuf [(xSb + x + (mv[xSb][ySb][0] >> 4)) % nIbcRefW][ySb + y + (mv[xSb][ySb][1] >> 4)]
여기서
x = 0..sbWidth - 1이고 y = 0..sbHeight - 1.
...
8.6.3.2 블록 벡터 유효성 점검 프로세스(Block vector validity checking process)
이 프로세스에 대한 입력은:
-
현재 화면의 상-좌 루마 샘플에 대한 현재 코딩 블록의 상-좌 샘플을 규정하는 루마 위치(xCb, yCb),
-
루마 샘플들 내의 현재 코딩 블록의 폭을 규정하는 변수 cbWidth,
-
루마 샘플들 내의 현재 코딩 블록의 높이를 규정하는 변수 cbHeight,
-
수평 및 수직 방향의 루마 코딩 서브블록들의 수를 규정하는 변수 numSbX 및 numSbY,
-
xSbIdx = 0..numSbX - 1이고 ySbIdx = 0..numSbY - 1인 블록 벡터 mv[xSbIdx][ySbIdx],
-
현재 블록의 칼라 컴포넌트를 규정하는 변수 cidx,
-
(nIbcBufW)x(ctbSize) 행열 ibcBuf
이 프로세스의 출력들은 블록 벡터가 유효한지 여부를 표시하는 플랙 isBVvalid이다.
다음이 적용된다
1.
sBVvalid이 참(true)으로 설정된다.
2.
((yCb & (ctbSize - 1) + mv[0][0][1] + cbHeight) > ctbSize이면, isBVvalid가 거짓(false)으로 설정된다.
3.
그렇지 않으면, xSbIdx = 0..numSbX - 1이고 ySbIdx = 0..numSbY - 1인 각 서브블록 인덱스(xSbIdx, ySbIdx)에 대해, ibcBuf의 상-좌 루마 샘플들에 대한 그 위치가 도출되는데:
xTL = (xCb + xSbIdx * sbWidth + mv[xSbIdx][ySbIdx][0]) & (nIbcBufW - 1)
yTL = (yCb & (ctbSize - 1)) + ySbIdx * sbHeight + mv[xSbIdx][ySbIdx][1]
xBR = (xCb + xSbIdx * sbWidth + sbWidth - 1 + mv[xSbIdx][ySbIdx][0]) & (nIbcBufW - 1)
yBR = (yCb & (ctbSize - 1)) + ySbIdx * sbHeight + sbHeight - 1 + mv[xSbIdx][ySbIdx][1]
(isDecoded[xTL>>2][yTL>>2] == 0) 또는 (isDecoded[xBR>>2][yTL>>2] == 0) 또는 (isDecoded[xBR>>2][yBR>>2] == 0)이면, isBVvalid가 거짓으로 설정된다.
8.7.5 화면 재생 프로세스(Picture reconstruction process)
8.7.5.1 개요(General)
이 프로세스에 대한 입력들은:
- 현재 화면 컴포넌트의 상-좌 샘플에 대한 현재 블록의 상-좌 샘플을 규전하는 위치(xCurr, yCurr),
- 각각 현재 블록의 폭과 높이를 규정하는 변수 nCurrSw 및 nCurrSh,
- 현재 블록의 칼라 컴포넌트를 규정하는 변수 cIdx,
- 현재 블록의 예측 샘플들을 규정하는 (nCurrSw)x(nCurrSh) 행열 predSamples,
- 현재 블록의 잔차 샘플(residual sample)들을 규정하는 (nCurrSw)x(nCurrSh) 행열 resSamples.
이 프로세스의 출력은
- 재생 화면 샘플 행열 recSamples.
- IBC 기준 행열 ibcBuf.
...
ibcBuf의 폭을 nIbcBufW로 표기하면, 다음이 적용된다:
ibcBuf[(xCurr + i) & (nIbcBufW - 1)][(yCurr + j) & (ctbSize - 1)] = recSamples[xCurr + i][yCurr +j]
여기서 i = 0..nCurrSw - 1, j = 0.,.nCurrSh - 1.
5.16 실시예 #16(Embodiment #16)
이는 다음 변경들을 제외하면 이전 실시예와 동일하다.
| slice_data() { | Descriptor | |
| for(i = 0; i < NumBricksInCurrSlice; i++) { | ||
| CtbAddrInBs = FirstCtbAddrBs[SliceBrickIdx[i]] | ||
| for(j = 0; j < NumCtusInBrick[SliceBrickIdx[i]]; j++, CtbAddrInBs++) { | ||
| if((j % BrickWidth[SliceBrickIdx[i]]) = = 0) { | ||
| NumHmvpCand = 0 | ||
| NumHmvpIbcCand = 0 | ||
| xPrevVPDU = 0 | ||
| yPrevVPDU = 0 | ||
| if(CtbSizeY == 128) | ||
| reset_ibc_isDecoded(0, 0, 192, CtbSizeY, BufWidth, BufHeight) | ||
| else | ||
| reset_ibc_isDecoded(0, 0, 128*128/CtbSizeY, CtbSizeY, BufWidth, BufHeight) | ||
| } | ||
| CtbAddrInRs = CtbAddrBsToRs[CtbAddrInBs] | ||
| ........ | ||
| reset_ibc_isDecoded(x0, y0, w, h, BufWidth, BufHeight) { | Descriptor | |
| if(x0 >= 0) | ||
| for (x = x0 % BufWidth; x < x0 + w; x+=4) | ||
| for (y = y0 % BufHeight; y < y0 + h; y+=4) | ||
| isDecoded[x >> 2][y >> 2] = 0 | ||
| } | ||
BufWidth는 (CtbSizeY==128)?192:(128*128/CtbSizeY)와 같고 BufHeight는 CtbSizeY와 같다.
5.17
실시예 #17(Embodiment #17)
이 명세서에서 일부 샘플들에서의 변경은 굵고 밑줄 친 이탤릭체 텍스트로 표시된다.
7.3.7 슬라이스 데이터 신택스(Slice data syntax)
7.3.7.1 일반적 슬라이스 데이터 신택스(General slice data syntax)
| slice_data( ) { | Descriptor |
| for( i = 0; i < NumBricksInCurrSlice; i++ ) { | |
| CtbAddrInBs = FirstCtbAddrBs[ SliceBrickIdx[ i ] ] | |
| for( j = 0; j < NumCtusInBrick[ SliceBrickIdx[ i ] ]; j++, CtbAddrInBs++ ) { | |
| if( ( j % BrickWidth[ SliceBrickIdx[ i ] ] ) = = 0 ) { | |
| NumHmvpCand = 0 | |
| NumHmvpIbcCand = 0 | |
| resetIbcBuf = 1 | |
| } | |
| CtbAddrInRs = CtbAddrBsToRs[ CtbAddrInBs ] | |
| coding_tree_unit( ) | |
| if( entropy_coding_sync_enabled_flag && ( ( j + 1 ) % BrickWidth[ SliceBrickIdx[ i ] ] = = 0 ) ) { |
|
| end_of_subset_one_bit /* equal to 1 */ | ae(v) |
| if( j < NumCtusInBrick[ SliceBrickIdx[ i ] ] - 1 ) | |
| byte_alignment( ) | |
| } | |
| } | |
| if( !entropy_coding_sync_enabled_flag ) { | |
| end_of_brick_one_bit /* equal to 1 */ | ae(v) |
| if( i < NumBricksInCurrSlice - 1 ) | |
| byte_alignment( ) | |
| } | |
| } | |
| } |
7.4.8.5 코딩 유닛 시맨틱들(Coding unit semantics)
다음 모든 조건들이 참이면, 공유된 병합 후보 목록 영역(shared merging candidate list region)에 대한 사용이력 기반(history-based) 모션 벡터 예측변수 목록이 NumHmvpSmrIbcCand를 NumHmvpIbcCand와 같도록 설정하고, i = 0..NumHmvpIbcCand - 1에 대해 HmvpSmrIbcCandList[i]가 HmvpIbcCandList[i]와 같도록 설정함으로써 갱신되는데:
- IsInSmr[x0][y0]이 TRUE이다.
- SmrX[x0][y0]이 x0이다.
- SmrY[x0][y0]이 y0이다.
다음 할당(assignment)들이 x = x0..x0 + cbWidth - 1 및 y = y0..y0 + cbHeight - 1에 대해 이뤄진다:
CbPosX[x][y] = x0 (7-135)
CbPosY[x][y] = y0 (7-136)
CbWidth[x][y] = cbWidth (7-137)
CbHeight[x][y] = cbHeight (7-138)
vSize를 min(ctbSize, 64)로, wIbcBuf를 (128*128/ctbSize)로 설정한다. 이에 따라 ibcBuf의 폭 및 높이는 wIbcBuf 및 ctbSize이다.
refreshIbcBuf가 1이면 다음이 적용된다
x = x0..x0 + wIbcBuf - 1 및 y = y0..y0 + ctbSize - 1에 대해 ibcBuf[x % wIbcBuf][y % ctbSize] = - 1
resetIbcBuf = 0
(x0 % vSize) 가 0이고 (y0 % vSize 가 0이면, for x = x0..x0 + vSize - 1 및 y = y0..y0 + vSize - 1에 대해 다음이 적용된다
ibcBuf[x % wIbcBuf][ y % ctbSize] = - 1
8.6.2 IBC 블록들에 대한 모션 벡터의 도출 프로세스(Derivation process for motion vector components for IBC blocks)
8.6.2.1 개요(General)
이 프로세스에 대한 입력들은:
- 현재 화면의 상-좌 루마 샘플에 대한 현재 루마 코딩 블록의 상-좌 샘플의 루마 위치(xCb, yCb),
- 루마 샘플들 내의 현재 코딩 블록의 폭을 규정하는 변수 cbWidth,
- 루마 샘플들 내의 현재 코딩 블록의 높이를 규정하는 변수 cbHeight
이 프로세스의 출력들은:
- 1/16 프랙셔널 샘플 정확도(fractional-sample accuracy)의 루마 모션 벡터(mvL).
루마 모션 벡터(mvL)는 다음과 같이 도출되는데:
- 8.6.2.2항에 규정된 IBC 모션 벡터 예측에 대한 도출 프로세스는 루마 위치(xCb, yCb), 변수 cbWidth 및 cbHeight 입력들로 호출되는데, 출력은 루마 모션 벡터(mvL)이다.
- general_merge_flag[xCb][yCb]가 0이면 다음이 적용된다:
1. 변수 mvd는 다음과 같이 도출된다:
mvd[0] = MvdL0[xCb][yCb][0] (8-883)
mvd[1] = MvdL0[xCb][yCb][1] (8-884)
2. 8.5.2.14항에 규정된 모션 벡터들에 대한 반올림 프로세스(rounding process)가 mvL로 설정된 mvX와, MvShift + 2로 설정된 rightShift와, 및 MvShift + 2로 설정된 rightShift를 입력으로 호출되고, 반올림된 mvL을 출력으로 한다.
3. 루마 모션 벡터(mvL)가 다음과 같이 수정되는데:
u[0] = (mvL[0] + mvd[0] + 218) % 218 (8-885)
mvL[0] = (u[0] >= 217)?(u[0] - 218) : u[0] (8-886)
u[1] = (mvL[1] + mvd[1] + 218) % 218 (8-887)
mvL[1] = (u[1] >= 217)?(u[1] - 218) : u[1] (8-888)
주목 1 - 위에 규정된 mvL[0] 및 mvL[1]의 결과 값들은 항상 양단을 포함하여 -217 내지 217 - 1의 범위 내에 있을 것이다.
8.6.2.6항에 규정된 사용이력 기반 모션 벡터 예측변수 목록의 갱신 프로세스가 루마 모션 벡터(mvL)를 입력으로(with) 호출된다.
루마 블록 벡터(mvL)가 다음 제약들을 준수하는 것이 비트스트림 적합성의 요건인데:
((yCb + (mvL[1] >> 4)) % wIbcBuf) + cbHeight가 ctbSize 이하여야 한다
x = xCb..xCb + cbWidth - 1 및 y = yCb..yCb + cbHeight - 1에 대해, ibcBuf[(x + (mvL[0]>>4)) % wIbcBuf][(y + (mvL[1]>>4)) % ctbSize]가 -1이 아니어야 한다.
8.7.5 화면 재생 프로세스(Picture reconstruction process)
8.7.5.1 개요(General)
이 프로세스에 대한 입력들은:
- 현재 화면 컴포넌트의 상-좌 샘플에 대한 현재 블록의 상-좌 샘플을 규정하는 위치(xCurr, yCurr),
- 각각 현재 블록의 폭 및 높이를 규정하는 변수 nCurrSw 및 nCurrSh,
- 현재 블록의 칼라 컴포넌트를 규정하는 변수 cIdx
- 현재 블록의 예측 샘플들을 규정하는 (nCurrSw)x(nCurrSh) 행열 predSamples,
- 현재 블록의 잔차 샘플(residual sample)들을 규정하는 (nCurrSw)x(nCurrSh) 행열 resSamples.
이 프로세스의 출력은 재생 화면 샘플 행열 recSamples 과 IBC 버퍼 행열 ibcBuf이다 .
칼라 컴포넌트(cIdx)의 값에 따라 다음 할당들이 이뤄지는데:
- cIdx가 0이면, recSamples가 재생 화면 샘플 행열(SL)에 대응하고 함수 clipCidx1가 Clip1Y에 대응한다.
- 그렇지 않고 cIdx가 1이면, tuCbfChroma가 tu_cbf_cb[xCurr][yCurr]로 설정되고, recSamples가 재생 크로마 샘플 행열(SCb)에 대응하고 함수 clipCidx1가 Clip1C에 대응한다.
- 그렇지 않으면(cIdx가 2), tuCbfChroma가 tu_cbf_cr[xCurr][yCurr]로 설정되고, recSamples가 재생 크로마 샘플 행열(SCr)에 대응되고 함수 clipCidx1가 Clip1C에 대응된다.
slice_lmcs_enabled_flag의 값에 따라, 다음이 적용된다:
- slice_lmcs_enabled_flag이 0이면 위치(xCurr, yCurr)에서의 재생 샘플들의 (nCurrSw)x(nCurrSh) 블록이 i = 0..nCurrSw - 1, j = 0..nCurrSh - 1에 대해 다음과 같이 도출된다:
recSamples[xCurr + i][yCurr + j] = clipCidx1(predSamples[i][j] + resSamples[i][j]) (8-992)
- 그렇지 않으면(slice_lmcs_enabled_flag이 1), 다음이 적용된다:
- cIdx가 0이면 다음이 적용된다:
- 8.7.5.2항에 규정된 루마 샘플들에 대한 매핑 프로세스에 의한 화면 재생이 루마 위치(xCurr, yCurr)와, 블록 폭 nCurrSw 및 높이 nCurrSh와, 예측 루마 샘플 행렬 predSamples와, 및 잔여 루마 샘플 행렬 resSamples를 입력으로 호출되고, 출력은 재생 루마 샘플 행열 recSamples이다.
- 그렇지 않으면(cIdx가 0보다 크면) 8.7.5.3항에 규정된 크로마 샘플들에 대한 루마 의존 크로마 잔여 스케일링 프로세스(luma dependent chroma residual scaling process)가 크로마 위치(xCurr, yCurr)와, 폭 nCurrSw 및 높이nCurrSh를 가지는 변환 블록과, 현재 크로마 변환 블록의 코딩된 블록 플랙 tuCbfChroma와, 예측 크로마 샘플 행열 predSamples와, 및 잔여 크로마 샘플 행열 resSamples를 입력으로 호출되고, 그 출력은 재생 크로마 샘플 행열 recSamples이다.
현재 코딩 유닛의 디코딩 후, 다음이 적용된다:
i = 0..nCurrSw - 1, j = 0..nCurrSh - 1에 대해
ibcBuf[(xCurr + i) % wIbcBuf][(yCurr + j) % ctbSize] = recSamples[xCurr + i [yCurr + j]
5.18 실시예 #18(Embodiment #18)
이 명세서에서 일부 예들에서의 변경은 굵고 밑줄 친 이탤릭체 텍스트로 표시된다.
7.3.7 슬라이스 데이터 신택스(Slice data syntax)
7.3.7.1 일반적 슬라이스 데이터 신택스(General slice data syntax)
| slice_data( ) { | Descriptor |
| for( i = 0; i < NumBricksInCurrSlice; i++ ) { | |
| CtbAddrInBs = FirstCtbAddrBs[ SliceBrickIdx[ i ] ] | |
| for( j = 0; j < NumCtusInBrick[ SliceBrickIdx[ i ] ]; j++, CtbAddrInBs++ ) { | |
| if( ( j % BrickWidth[ SliceBrickIdx[ i ] ] ) = = 0 ) { | |
| NumHmvpCand = 0 | |
| NumHmvpIbcCand = 0 | |
| resetIbcBuf = 1 | |
| } | |
| CtbAddrInRs = CtbAddrBsToRs[ CtbAddrInBs ] | |
| coding_tree_unit( ) | |
| if( entropy_coding_sync_enabled_flag && ( ( j + 1 ) % BrickWidth[ SliceBrickIdx[ i ] ] = = 0 ) ) { |
|
| end_of_subset_one_bit /* equal to 1 */ | ae(v) |
| if( j < NumCtusInBrick[ SliceBrickIdx[ i ] ] - 1 ) | |
| byte_alignment( ) | |
| } | |
| } | |
| if( !entropy_coding_sync_enabled_flag ) { | |
| end_of_brick_one_bit /* equal to 1 */ | ae(v) |
| if( i < NumBricksInCurrSlice - 1 ) | |
| byte_alignment( ) | |
| } | |
| } | |
| } |
7.4.8.5 코딩 유닛 시맨틱들(Coding unit semantics)
이하의 모든 조건들이 참이면, 공유된 병합 후보 목록 영역에 대한 사용이력 기반 모션 벡터 예측변수 목록이 NumHmvpSmrIbcCand를 NumHmvpIbcCand로 설정하고, i = 0..NumHmvpIbcCand - 1에 대해 HmvpSmrIbcCandList[i]를 HmvpIbcCandList[i]로 설정함으로써 갱신된다:
- IsInSmr[x0][y0]이 TRUE이다.
- SmrX[x0][y0]이 x0이다.
- SmrY[x0][y0]이 y0이다.
x = x0..x0 + cbWidth - 1 and y = y0..y0 + cbHeight - 1에 대해 다음 할당들이 이뤄진다:
CbPosX[x][y] = x0 (7-135)
CbPosY[x][y] = y0 (7-136)
CbWidth[x][y] = cbWidth (7-137)
CbHeight[x][y] = cbHeight (7-138)
vSize를 min(ctbSize, 64)로 wIbcBufY를 (128*128/CtbSizeY)로 설정한다.
ibcBuf
L
는 wIbcBufY인 폭과 CtbSizeY인 높이를 갖는 행열이다.
ibcBuf
Cb
와 ibcBuf
Cr
은 wIbcBufC =(wIbcBufY/SubWidthC)인 폭과 (CtbSizeY/SubHeightC)인 높이, 즉 CtbSizeC를 갖는 행열들이다.
resetIbcBuf가 1이면 다음이 적용된다
-
x = x0..x0 + wIbcBufY - 1 및 y = y0..y0 + CtbSizeY - 1에 대해 ibcBuf
L
[x % wIbcBufY][y % CtbSizeY] = - 1
-
x = x0..x0 + wIbcBufC - 1 and y = y0..y0 + CtbSizeC - 1에 대해 ibcBuf
Cb
[x % wIbcBufC][y % CtbSizeC] = - 1
-
x = x0..x0 + wIbcBufC - 1 and y = y0..y0 + CtbSizeC - 1에 대해 ibcBuf
Cr
[x % wIbcBufC][y % CtbSizeC] = - 1
-
resetIbcBuf = 0
(x0 % vSizeY)가 0이고 (y0 % vSizeY)가 0이면 다음이 적용된다
-
ibcBuf
L
[x % wIbcBufY][y % CtbSizeY] = - 1, for x = x0..x0 + vSize - 1 and y = y0..y0 + vSize - 1
-
x = x0/SubWidthC..x0/ SubWidthC + vSize/ SubWidthC - 1 및 y = y0/SubHeightC..y0/SubHeightC + vSize/SubHeightC - 1에 대해 ibcBuf
Cb
[x % wIbcBufC][y % CtbSizeC] = - 1
-
x = x0/SubWidthC..x0/ SubWidthC + vSize/ SubWidthC - 1 및 y = y0/SubHeightC..y0/SubHeightC + vSize/SubHeightC - 1에 대해 ibcBuf
Cr
[x % wIbcBufC][ y % CtbSizeC] = - 1
8.6.2 IBC 블록들에 대한 모션 벡터의 도출 프로세스(Derivation process for motion vector components for IBC blocks)
8.6.2.1 개요(General)
이 프로세스에 대한 입력들은:
- 현재 화면의 상-좌 루마 샘플에 대한 현재 루마 코딩 블록의 상-좌 샘플의 루마 위치(xCb, yCb),
- 루마 샘플들 내의 현재 코딩 블록의 폭을 규정하는 변수 cbWidth,
- 루마 샘플들 내의 현재 코딩 블록의 높이를 규정하는 변수 cbHeight.
이 프로세스의 출력들은:
- 1/16 프랙셔널 샘플 정확도의 루마 모션 벡터(mvL).
루마 모션 벡터(mvL)는 다음과 같이 도출된다:
- 8.6.2.2항에 규정된 IBC 루마 모션 벡터 예측변수의 도출 프로세스가 루마 위치(xCb, yCb)와, 변수 cbWidth 및 cbHeight 입력들로 호출되고, 출력은 루마 모션 벡터(mvL)이다.
- general_merge_flag[xCb][yCb]가 0이면 다음이 적용된다:
4. 변수 mvd가 다음과 같이 도출된다:
mvd[0] = MvdL0[xCb][yCb][0] (8-883)
mvd[1] = MvdL0[xCb][yCb][1] (8-884)
5. The rounding process for motion vectors as specified in clause 8.5.2.14항에 규정된 모션 벡터들에 대한 반올림 프로세스가 mvL로 설정된 mvX와, MvShift + 2,로 설정된 rightShift와, 및 MvShift + 2로 설정된 leftShift를 입력으로 호출되고, 출력은 반올림된 mvL이다.
6.루마 모션 벡터(mvL)가 다음과 같이 수정된다:
u[0] = (mvL[0] + mvd[0] + 218) % 218 (8-885)
mvL[0] = (u[0] >= 217) ? (u[0] - 218) : u[0] (8-886)
u[1] = (mvL[1] + mvd[1] + 218) % 218 (8-887)
mvL[1] = (u[1] >= 217) ? (u[1] - 218) : u[1] (8-888)
주목 1 - 위에 규정된 mvL[0] 및 mvL[1]의 결과 값들은 항상 양단을 포함하여 -217 내지 217 - 1의 범위 내에 있을 것이다.
8.6.2.6항에 규정된 사용이력 기반 모션 벡터 예측변수에 대한 갱신 프로세스가 루마 모션 벡터(mvL)을 입력으로(with) 호출된다.
8.6.2.5항은 mvL을 입력으로 호출되어 mvC를 출력한다.
루마 블록 벡터(mvL)가 다음 제약들을 준수하는 것이 비트스트림 적합성의 요건이다:
-
((yCb + (mvL[1] >> 4)) % CtbSizeY) + cbHeight가 CtbSizeY 이하이다
-
x = xCb..xCb + cbWidth - 1 및 y = yCb..yCb + cbHeight - 1에 대해, ibcBuf
L
[(x + (mvL[0]>>4)) % wIbcBufY][(y +(mvL[1]>>4)) % CtbSizeY]가 -1이 아니어야 한다.
-
x = xCb..xCb + cbWidth - 1 및 y = yCb..yCb + cbHeight - 1에 대해 treeType이 SINGLE_TREE이며, ibcBuf
Cb
[(x + (mvC[0]>>5)) % wIbcBufC][(y +(mvC[1]>>5)) % CtbSizeC]]가 -1이 아니어야 한다.
8.6.3 IBC 블록들에 대한 디코딩 프로세스(Decoding process for ibc blocks)
8.6.3.1 개요(General)
이 프로세스는 IBC 예측 모드로 디코딩된 코딩 유닛을 디코딩할 때 호출된다.
이 프로세스에 대한 입력들은:
- 현재 화면의 상-좌 루마 샘플에 대한 현재 코딩 블록의 상-좌 샘플을 규정하는 루마 위치(xCb, yCb),
- 루마 샘플들 내의 현재 코딩 블록의 폭을 규정하는 변수 cbWidth,
- 루마 샘플들 내의 현재 코딩 블록의 높이를 규정하는 변수 cbHeight,
- 현재 블록의 칼라 컴포넌트 인덱스.
-
모션 벡터 mv,
-
(wIbcBufY)x(CtbSizeY) 행열 ibcBuf
L
, (wIbcBufC)x(CtbSizeC) 행열 ibcBuf
Cb
, (wIbcBufC)x(CtbSizeC) 행열 ibcBuf
Cr
.
이 프로세스의 출력들은:
- 예측 샘플들의 행열 predSamples.
x = xCb..xCb+ Width - 1 and y = yCb..yCb + Height - 1에 대해, 다음이 적용된다
cIdx가 0이면
predSamples[x][y] = ibcBuf
L
[(x + mv[0] >> 4)) % wIbcBufY][(y + (mv[1] >> 4)) % CtbSizeY]
cIdx가 1이면
predSamples[x][y] = ibcBuf
Cb
[(x + mv[0] >> 5)) % wIbcBufC][(y + (mv[1] >> 5)) % CtbSizeC]
cIdx가 2이면
predSamples[x][y] = ibcBuf
Cr
[(x + mv[0] >> 5)) % wIbcBufC][(y + (mv[1] >> 5)) % CtbSizeC]
8.7.5 화면 재생 프로세스(Picture reconstruction process)
8.7.5.1 개요(General)
이 프로세스에 대한 입력들은:
- 현재 화면 컴포넌트의 상-좌 샘플에 대한 현재 블록의 상-좌 샘플을 규정하는 위치(xCurr, yCurr),
- 각각 현재 블록의 폭 및 높이를 규정하는 변수 nCurrSw 및 nCurrSh ,
- 현재 블록의 칼라 컴포넌트를 규정하는 변수 cIdx,
- 현재 블록의 예측 샘플들을 규정하는 (nCurrSw)x(nCurrSh) 행열 predSamples,
- 현재 블록의 잔차 샘플들을 규정하는 (nCurrSw)x(nCurrSh) 행열 resSamplesk.
이 프로세스의 출력들은 재생 화면 샘플 행열 recSamples 과 IBC buffer arrays ibcBuf L , ibcBuf Cb , ibcBuf Cr 이다 .
칼라 컴포넌트 cIdx의 값에 따라 다음 할당이 이뤄진다:
- cIdx가 0이면, recSamples가 재생 화면 샘플 행열(SL)에 대응하고 함수 clipCidx1이 Clip1Y에 대응한다.
- 그렇지 않고 cIdx가 1이면, tuCbfChroma가 tu_cbf_cb[xCurr][yCurr]로 설정되고, recSamples가 재생 크로마 샘플 행열(SCb)에 대응하며 함수 clipCidx1이 Clip1C에 대응한다.
- 그렇지 않으면(cIdx가 2이면), tuCbfChroma가 tu_cbf_cr[xCurr][yCurr]으로 설정되고, recSamples가 재생 크로마 샘플 행열(SCr)에 대응하며, 함수 clipCidx1이 Clip1C에 대응한다.
slice_lmcs_enabled_flag의 값에 따라 다음이 적용된다:
- slice_lmcs_enabled_flag이 0이면, 위치(xCurr, yCurr)에서의 재생 샘플(recSamples)들의 (nCurrSw)x(nCurrSh) 블록이 i = 0..nCurrSw - 1, j = 0..nCurrSh - 1에 대해 다음과 같이 도출된다:
recSamples[xCurr + i][yCurr + j] = clipCidx1(predSamples[i][j] + resSamples[i][j]) (8-992)
- 그렇지 않으면(slice_lmcs_enabled_flag가 1이면), 다음이 적용된다:
- cIdx가 0이면, 다음이 적용된다:
- 8.7.5.2항에 규정된 루마 샘플들에 대한 매핑 프로세스에 의한 화면 재생이 루마 위치(xCurr, yCurr)와, 블록 폭 nCurrSw 및 높이 nCurrSh와, 예측 루마 샘플 행열 predSamples와, 및 잔여 루마 샘플 행열 resSamples들을 입력으로 호출되고, 그 출력은 재생 루마 샘플 행열 recSamples이다.
- 그렇지 않으면(cIdx가 0보다 크면), 8.7.5.3항에 규정된 크로마 샘플들에 대한 루마 의존 크로마 잔여 스케일링 프로세스에 의한 화면 재생이 크로마 위치(xCurr, yCurr)와, 변환 블록 폭 nCurrSw 및 높이 nCurrSh와, 현재 크로마 변환 블록의 코딩된 블록 플랙 tuCbfChroma와, 예측 크로마 샘플 행열 predSamples와, 및 잔여 크로마 샘플 행열 resSamples들을 입력으로 호출되고, 그 출력은 재생 루마 샘플 행열 recSamples이다.
현재 코딩 유닛의 디코딩 후, 다음이 적용될 수 있다:
cIdx가 0이고, treeType이 SINGLE_TREE 또는 DUAL_TREE_LUMA이면, 다음이 적용된다
i = 0..nCurrSw - 1, j = 0..nCurrSh - 1에 대해
ibcBuf
L
[(xCurr + i) % wIbcBufY][(yCurr + j) % CtbSizeY] = recSamples[xCurr + i][yCurr + j].
cIdx가 1이고, treeType이 SINGLE_TREE 또는 DUAL_TREE_CHROMA이면, 다음이 적용된다
i = 0..nCurrSw - 1, j = 0..nCurrSh - 1에 대해
ibcBuf
Cb
[(xCurr + i) % wIbcBufC][(yCurr + j) % CtbSizeC] = recSamples[xCurr + i][yCurr + j].
cIdx가 2이고, treeType이 SINGLE_TREE 또는 DUAL_TREE_CHROMA이면, 다음이 적용된다
i = 0..nCurrSw - 1, j = 0..nCurrSh - 1에 대해
ibcBuf
Cr
[(xCurr + i) % wIbcBufC][(yCurr + j) % CtbSizeC] = recSamples[xCurr + i][yCurr + j].
5.19 실시예 #19(Embodiment #19)
이 명세서에서 일부 예들에서의 변경은 굵고 밑줄 친 이탤릭체 텍스트로 표시된다.
7.3.7 슬라이스 데이터 신택스(Slice data syntax)
7.3.7.1 일반적 슬라이스 데이터 신택스(General slice data syntax)
| slice_data() { | Descriptor |
| for(i = 0; i < NumBricksInCurrSlice; i++) { | |
| CtbAddrInBs = FirstCtbAddrBs[SliceBrickIdx[i]] | |
| for(j = 0; j < NumCtusInBrick[SliceBrickIdx[i]]; j++, CtbAddrInBs++) { | |
| if((j % BrickWidth[SliceBrickIdx[i]]) = = 0) { | |
| NumHmvpCand = 0 | |
| NumHmvpIbcCand = 0 | |
| resetIbcBuf = 1 | |
| } | |
| CtbAddrInRs = CtbAddrBsToRs[CtbAddrInBs] | |
| coding_tree_unit() | |
| if(entropy_coding_sync_enabled_flag && ((j + 1) % BrickWidth[SliceBrickIdx[i]] = = 0)) { |
|
| end_of_subset_one_bit /* equal to 1 */ | ae(v) |
| if(j < NumCtusInBrick[SliceBrickIdx[i]] - 1) | |
| byte_alignment() | |
| } | |
| } | |
| if(!entropy_coding_sync_enabled_flag) { | |
| end_of_brick_one_bit /* equal to 1 */ | ae(v) |
| if(i < NumBricksInCurrSlice - 1) | |
| byte_alignment() | |
| } | |
| } | |
| } |
7.4.8.5 코딩 유닛 시맨틱들(Coding unit semantics)
다음 모든 조건들이 참이면, 공유된 병합 후보 목록 영역에 대한 사용이력 기반 모션 벡터 예측변수가, NumHmvpSmrIbcCand를 NumHmvpIbcCand와 같게 설정하고, i = 0..NumHmvpIbcCand - 1에 대해 HmvpSmrIbcCandList[i]를 HmvpIbcCandList[i]와 같게 함으로써 갱신된다.:
- IsInSmr[x0][y0]이 TRUE이다.
- SmrX[x0][y0]가 x0이다.
- SmrY[x0][y0]가 y0이다.
x = x0..x0 + cbWidth - 1 및 y = y0..y0 + cbHeight - 1에 대해 다음 할당들이 이뤄진다:
CbPosX[x][y] = x0 (7-135)
CbPosY[x][y] = y0 (7-136)
CbWidth[x][y] = cbWidth (7-137)
CbHeight[x][y] = cbHeight (7-138)
vSize를 min(ctbSize, 64)으로 wIbcBufY를 (128*128/CtbSizeY)로 설정한다.
ibcBuf
L
는 wIbcBufY인 폭과 CtbSizeY인 높이를 갖는 행열이다.
ibcBuf
Cb
및 ibcBuf
Cr
들은 wIbcBufC = (wIbcBufY/SubWidthC)인 폭과 (CtbSizeY/SubHeightC)인 높이, 즉 CtbSizeC를 갖는 행열이다.
resetIbcBuf기 1이면 다음이 적용된다
-
x = x0..x0 + wIbcBufY - 1 및 y = y0..y0 + CtbSizeY - 1에 대해 ibcBuf
L
[x % wIbcBufY][ y % CtbSizeY] = - 1
-
x = x0..x0 + wIbcBufC - 1 및 y = y0..y0 + CtbSizeC - 1에 대해 ibcBuf
Cb
[x % wIbcBufC][ y % CtbSizeC] = - 1
-
x = x0..x0 + wIbcBufC - 1 및 y = y0..y0 + CtbSizeC - 1에 대해 ibcBuf
Cr
[x % wIbcBufC][ y % CtbSizeC] = - 1
-
resetIbcBuf = 0
(x0 % vSizeY)가 0이고 (y0 % vSizeY)가 0이면 다음이 적용된다
-
x = x0..x0 + min(vSize, cbWidth) - 1 및 y = y0..y0 + min(vSize, cbHeight)- 1에 대해 ibcBuf
L
[x % wIbcBufY][ y % CtbSizeY] = - 1
-
x = x0/SubWidthC..x0/ SubWidthC + min(vSize/ SubWidthC, cbWidth) - 1 및 y = y0/SubHeightC..y0/SubHeightC + min(vSize/SubHeightC, cbHeight) - 1에 대해 ibcBuf
Cb
[x % wIbcBufC][ y % CtbSizeC] = - 1
-
x = x0/SubWidthC..x0/ SubWidthC + min(vSize/ SubWidthC, cbWidth) - 1 및 y = y0/SubHeightC..y0/SubHeightC + min(vSize/SubHeightC, cbHeight) - 1에 대해 ibcBuf
Cr
[x % wIbcBufC][ y % CtbSizeC] = - 1
8.6.2 IBC 블록들에 대한 모션 벡터 컴포넌트의 도출 프로세스(Derivation process for motion vector components for IBC blocks)
8.6.2.1 개요(General)
이 프로세스에 대한 입력들은:
- 현재 화면의 상-좌 루마 샘플에 대한 현재 루마 코딩 블록의 상-좌 샘플의 루마 위치(xCb, yCb),
- 루마 샘플들 내의 현재 코딩 블록의 폭을 규정하는 변수 cbWidth ,
- 루마 샘플들 내의 현재 코딩 블록의 높이을 규정하는 변수 cbHeight.
이 프로세스의 출력들은:
- 1/16 프랙셔널 샘플 정확도의 루마 모션 벡터(mvL).
이 루마 모션 벡터(mvL)는 다음과 같이 도출된다:
- 8.6.2.2항에 규정된 IBC 루마 모션 벡터 예측에 대한 도출 프로세스가 루마 위치(xCb, yCb), 변수 cbWidth 및 cbHeight들을 입력으로 호출되고 그 출력은 루마 모션 벡터(mvL)이다.
- general_merge_flag[xCb][yCb]가 0이면 다음이 적용된다:
1. 변수 mvd가 다음과 같이 도출된다:
mvd[0] = MvdL0[xCb][yCb][0] (8-883)
mvd[1] = MvdL0[xCb][yCb][1] (8-884)
2. 8.5.2.14항에 규정된 모션 벡터에 대한 반올림 프로세스가 입력들로 mvX를 mvL로, rightShift를 MvShift + 2로, 그리고 leftShift를 MvShift + 2로 설정하여 호출되고 반올림된 mvL을 출력으로 한다.
3. 루마 모션 벡터 mvL가 다음과 같이 수정된다:
u[0] = (mvL[0] + mvd[0] + 218) % 218 (8-885)
mvL[0] = (u[0] >= 217) ? (u[0] - 218) : u[0] (8-886)
u[1] = (mvL[1] + mvd[1] + 218) % 218 (8-887)
mvL[1] = (u[1] >= 217) ? (u[1] - 218) : u[1] (8-888)
주목 1 - 위에 규정된 mvL[0] 및 mvL[1]의 결과 값들은 항상 양단을 포함하여 -217 내지 217 - 1의 범위 내에 있을 것이다.
8.6.2.6항에 규정된 사용이력 기반 모션 벡터 예측변수에 대한 갱신 프로세스가 루마 모션 벡터 mvL을 입력으로(with) 호출된다.
8.6.2.5항은 mvL을 입력으로 mvC를 출력으로 호출된다.
루마 블록 벡터 mbL이 다음 제약들을 준수해야한다는 것이 비트스트림 적합성의 요건이다:
-
((yCb + (mvL[1] >> 4)) % CtbSizeY) + cbHeight가 CtbSizeY이다.
-
x = xCb..xCb + cbWidth - 1 및 y = yCb..yCb + cbHeight - 1에 대해, ibcBuf
L
[(x + (mvL[0]>>4)) % wIbcBufY ][(y +(mvL[1]>>4)) % CtbSizeY]가 -1이 아니어야 한다.
-
treeType이 SINGLE_TREE이면, x = xCb..xCb + cbWidth - 1 및 y = yCb..yCb + cbHeight - 1에 대해, ibcBuf
Cb
[(x + (mvC[0]>>5)) % wIbcBufC][(y +(mvC[1]>>5)) % CtbSizeC]]가 -1이 아니어야 한다.
8.6.3 IBC 블록들에 대한 디코딩 프로세스(Decoding process for ibc blocks)
8.6.3.1 개요(General)
이 프로세스는 IBC 예측 모드로 코딩된 코딩 유닛을 디코딩할 때 호출된다.
이 프로세스의 입력들은:
- 현재 화면의 상-좌 샘플에 대한 현재 코딩 블록의 상-좌 샘플을 규정하는 루마 위치(xCb, yCb),
- 루마 샘플들 내의 현재 코딩 블록의 폭을 규정하는 변수 cbWidth,
- 루마 샘플들 내의 현재 코딩 블록의 높이를 규정하는 변수 cbHeight,
-
현재 블록의 칼라 컴포넌트 인덱스를 규정하는 변수 cIdx.
-
모션 벡터 mv,
-
(wIbcBufY)x(CtbSizeY) 행열 ibcBuf
L
, (wIbcBufC)x(CtbSizeC) 행열 ibcBuf
Cb
, (wIbcBufC)x(CtbSizeC) 행열 ibcBuf
Cr
.
이 프로세스의 출력들은:
-
예측 샘플들의 행열 predSamples.
x = xCb..xCb+ Width - 1 and y = yCb..yCb + Height - 1에 대해, 다음이 적용된다
cIdx가 0이면
predSamples[x][y] = ibcBuf
L
[(x + mv[0] >> 4)) % wIbcBufY][(y + (mv[1] >> 4)) % CtbSizeY]
cIdx가 1이면
predSamples[x][y] = ibcBuf
Cb
[(x + mv[0] >> 5)) % wIbcBufC][(y + (mv[1] >> 5)) % CtbSizeC]
cIdx가 2이면
predSamples[x][y] = ibcBuf
Cr
[(x + mv[0] >> 5)) % wIbcBufC][(y + (mv[1] >> 5)) % CtbSizeC]
8.7.5 화면 재생 프로세스(Picture reconstruction process)
8.7.5.1 개요(General)
이 프로세스에 대한 입력들은:
- 현재 화면 컴포넌트의 상-좌 샘플에 대한 현재 블록의 상-좌 샘플을 규정하는 위치(xCurr, yCurr),
- 각각 현재 블록의 폭 및 높이를 규정하는 변수 nCurrSw 및 nCurrSh,
- 현재 블록의 칼라 컴포넌트를 규정하는 변수 cIdx,
- 현재 블록의 예측 샘플들을 규정하는 (nCurrSw)x(nCurrSh) 행열 predSamples,
- 현재 블록의 잔차 샘플들을 규정하는 (nCurrSw)x(nCurrSh) 행열 resSamples.
이 프로세스의 출력은 재생 화면 샘플 행열 recSamples과 IBC 버퍼 행열 ibcBufL, ibcBufCb, ibcBufCr들이다
칼라 컴포넌트 cIdx의 값에 따라, 다음 할당들이 이뤄진다:
- cIdx가 0이면, recSamples가 재생 화면 샘플 행열(SL)에 대응하고 함수 clipCidx1이 Clip1Y에 대응한다.
- 그렇지 않고 cIdx가 1이면, tuCbfChroma기 tu_cbf_cb[xCurr][yCurr]로 설정되고, recSamples가 재생 크로마 샘플 행열(SCb)에 대응하며 함수 clipCidx1 이 Clip1C에 대응한다.
- 그렇지 않으면(cIdx가 2이면), tuCbfChroma가 tu_cbf_cr[xCurr][yCurr]로 설정되고, recSamples가 재생 크로마 샘플 행열(SCr)에 대응하고 함수 clipCidx1이 Clip1C에 대응한다.
slice_lmcs_enabled_flag의 값에 따라 다음이 적용된다:
- slice_lmcs_enabled_flag이 0이면, 위치(xCurr, yCurr)에서의 재생 샘플들 recSamples의 (nCurrSw)x(nCurrSh) 블록이 i = 0..nCurrSw - 1, j = 0..nCurrSh - 1에 대해 다음과 같이 도출된다:
recSamples[xCurr + i][yCurr + j] = clipCidx1(predSamples[i][j] + resSamples[i][j]) (8-992)
- 그렇지 않으면(slice_lmcs_enabled_flag이 1이면), 다음이 적용된다:
- cIdx가 0이면 다음이 적용된다:
- 8.7.5.2항에 규정된 루마 샘플들에 대한 매핑 프로세스에 의한 화면 재생이 루마 위치(xCurr, yCurr)와, 블록 폭 nCurrSw 및 높이 nCurrSh와, 예측 루마 샘플 행열 predSamples, 및 잔여 루마 샘플 행열 resSamples들을 입력으로 호출되고, 그 출력은 재생 루마 샘플 행열 recSamples이다.
- 그렇지 않으면(cIdx가 0보다 크면), 8.7.5.3항에 규정된 크로마 샘플들에 대한 루마 의존 크로마 잔여 스케일링 프로세스에 의한 화면 재생이 크로마 위치(xCurr, yCurr)와, 변환 블록 폭 nCurrSw 및 높이 nCurrSh와, 현재 크로마 변환 블록의 코딩된 블록 플랙 tuCbfChroma와, 예측 크로마 샘플 행열 predSamples와, 및 잔여 크로마 샘플 행열 resSamples들을 입력으로 호출되고, 그 출력은 재생 크로마 샘플 행열 recSamples이다.
현재 코딩 유닛의 디코딩 후, 다음이 적용될 수 있다:
cIdx가 0이고, treeType이 SINGLE_TREE 또는 DUAL_TREE_LUMA이면, 다음이 적용된다
i = 0..nCurrSw - 1, j = 0..nCurrSh - 1에 대해
ibcBuf
L
[(xCurr + i) % wIbcBufY][(yCurr + j) % CtbSizeY ] = recSamples[xCurr + i][yCurr + j].
cIdx가 1이고, treeType이 SINGLE_TREE 또는 DUAL_TREE_CHROMA이면, 다음이 적용된다
i = 0..nCurrSw - 1, j = 0..nCurrSh - 1에 대해
ibcBuf
Cb
[(xCurr + i) % wIbcBufC][(yCurr + j) % CtbSizeC] = recSamples[xCurr + i][yCurr + j].
cIdx가 2이고 treeType이 SINGLE_TREE 또는 DUAL_TREE_CHROMA이면, 다음이 적용된다
i = 0..nCurrSw - 1, j = 0..nCurrSh - 1에 대해
ibcBuf
Cr
[(xCurr + i) % wIbcBufC][(yCurr + j) % CtbSizeC] = recSamples[xCurr + i][yCurr + j].
5.20
실시예 #20(Embodiment #20)
이 명세서에서 일부 실시들에서의 변경은 굵고 밑줄 친 이탤릭 체 텍스트로 표시된다.
7.3.7 슬라이스 데이터 신택스(Slice data syntax)
7.3.7.1 일반적 슬라이스 데이터 신택스(General slice data syntax)
| slice_data( ) { | Descriptor |
| for( i = 0; i < NumBricksInCurrSlice; i++ ) { | |
| CtbAddrInBs = FirstCtbAddrBs[ SliceBrickIdx[ i ] ] | |
| for( j = 0; j < NumCtusInBrick[ SliceBrickIdx[ i ] ]; j++, CtbAddrInBs++ ) { | |
| if( ( j % BrickWidth[ SliceBrickIdx[ i ] ] ) = = 0 ) { | |
| NumHmvpCand = 0 | |
| NumHmvpIbcCand = 0 | |
| resetIbcBuf = 1 | |
| } | |
| CtbAddrInRs = CtbAddrBsToRs[ CtbAddrInBs ] | |
| coding_tree_unit( ) | |
| if( entropy_coding_sync_enabled_flag && ( ( j + 1 ) % BrickWidth[ SliceBrickIdx[ i ] ] = = 0 ) ) { |
|
| end_of_subset_one_bit /* equal to 1 */ | ae(v) |
| if( j < NumCtusInBrick[ SliceBrickIdx[ i ] ] - 1 ) | |
| byte_alignment( ) | |
| } | |
| } | |
| if( !entropy_coding_sync_enabled_flag ) { | |
| end_of_brick_one_bit /* equal to 1 */ | ae(v) |
| if( i < NumBricksInCurrSlice - 1 ) | |
| byte_alignment( ) | |
| } | |
| } | |
| } |
7.4.8.5 코딩 유닛 시맨틱들(Coding unit semantics)
다음 모든 조건들이 참이면, 공유 병합 후보 목록 영역에 대한 사용이력 기반 모션 벡터 예측변수 목록이 NumHmvpSmrIbcCand를 NumHmvpIbcCand로 설정하고, i = 0..NumHmvpIbcCand - 1에 대해 HmvpSmrIbcCandList[i]가 HmvpIbcCandList[i]와 같게 설정함으로써 갱신된다.:
- IsInSmr[x0][y0]이 TRUE이다.
- SmrX[x0][y0]이 x0이다.
- SmrY[x0][y0]이 y0이다.
x = x0..x0 + cbWidth - 1 및 y = y0..y0 + cbHeight - 1에 대해 다음 할당들이 이뤄진다:
CbPosX[x][y] = x0 (7-135)
CbPosY[x][y] = y0 (7-136)
CbWidth[x][y] = cbWidth (7-137)
CbHeight[x][y] = cbHeight (7-138)
vSize를 min(ctbSize, 64)로, wIbcBufY를 (128*128/CtbSizeY)로 설정한다.
ibcBuf
L
는 wIbcBufY인 폭과 CtbSizeY인 높이를 가지는 행열이다.
ibcBuf
Cb
및 ibcBuf
Cr
들은 wIbcBufC =(wIbcBufY/SubWidthC)인 폭과 (CtbSizeY/SubHeightC)인 높이, 즉 CtbSizeC를 갖는 행열들이다.
resetIbcBuf가 1이면 다음이 적용된다
-
x = x0..x0 + wIbcBufY - 1 및 y = y0..y0 + CtbSizeY - 1에 대해, ibcBuf
L
[x % wIbcBufY][ y % CtbSizeY] = - 1
-
x = x0..x0 + wIbcBufC - 1 및 y = y0..y0 + CtbSizeC - 1에 대해, ibcBuf
Cb
[x % wIbcBufC][ y % CtbSizeC] = - 1
-
x = x0..x0 + wIbcBufC - 1 및 y = y0..y0 + CtbSizeC - 1에 대헤, ibcBuf
Cr
[x % wIbcBufC][ y % CtbSizeC] = - 1
-
resetIbcBuf = 0
(x0 % vSizeY)가 0이고 (y0 % vSizeY)가 0이면, 다음이 적용된다
-
x = x0..x0 + max(vSize, cbWidth) - 1 및 y = y0..y0 + max(vSize, cbHeight) - 1에 대해, ibcBuf
L
[x % wIbcBufY][ y % CtbSizeY] = - 1
-
x = x0/SubWidthC..x0/ SubWidthC + max(vSize/ SubWidthC, cbWidth) - 1 및 y = y0/SubHeightC..y0/SubHeightC + max(vSize/SubHeightC, cbHeight) - 1에 대해, ibcBuf
Cb
[x % wIbcBufC][ y % CtbSizeC] = - 1
-
x = x0/SubWidthC..x0/SubWidthC + max(vSize/SubWidthC, cbWidth) - 1 및 y = y0/SubHeightC..y0/SubHeightC + max(vSize/SubHeightC, cbHeight) - 1에 대해, ibcBuf
Cr
[x % wIbcBufC][ y % CtbSizeC] = - 1
8.6.2 IBC 블록들에 대한 모션 벡터 컴포넌트들의 도출 프로세스(Derivation process for motion vector components for IBC blocks)
8.6.2.1 개요(General)
이 프로세스에 대한 입력들은:
- 현재 화면의 상-좌 루마 샘플에 대한 현재 루마 코딩 블록의 상-좌 샘플의 루마 위치(xCb, yCb),
- 루마 샘플들 내의 현재 코딩 블록의 폭을 규정하는 변수 cbWidth,
- 루마 샘플들 내의 현재 코딩 블록의 높이를 규정하는 변수 cbHeight.
이 프로세스의 출력들은:
- 1/16 프랙셔널 샘플 정확도의 루마 모션 벡터 mvL.
루마 모션 벡터 mvL는 다음과 같이 도출된다:
- 8.6.2.2 항에 규정된 IBC 루마 모션 벡터 예측의 도출 프로세스가 루마 위치(xCb, yCb), 변수 cbWidth 및 cbHeight들을 입력으로 호출되고, 그 출력은 루마 모션 벡터 mvL이다.
- general_merge_flag[xCb][yCb]가 0이면, 다음이 적용된다:
1. 변수 mvd가 다음과 같이 도출된다:
mvd[0] = MvdL0[xCb][yCb][0] (8-883)
mvd[1] = MvdL0[xCb][yCb][1] (8-884)
2. 8.5.2.14에 규정된 모션 벡터들의 반올림 프로세스가 입력들로 mvX를 mvL로 설정하고, rightShift를 MvShift + 2로 설정하며, 그리고 leftShift를 MvShift + 2로 설정하여 호출되고, 반올림된 mvL을 출력한다.
3. 루마 모션 벡터 mvL가 다음과 같이 수정된다:
u[0] = (mvL[0] + mvd[0] + 218) % 218 (8-885)
mvL[0] = (u[0] >= 217) ? (u[0] - 218) : u[0] (8-886)
u[1] = (mvL[1] + mvd[1] + 218) % 218 (8-887)
mvL[1] = (u[1] >= 217) ? (u[1] - 218) : u[1] (8-888)
주목 1 - 위에 규정된 mvL[0] 및 mvL[1]의 결과 값들은 항상 양단을 포함하여 -217 내지 217 - 1의 범위 내에 있을 것이다.
8.6.2.6항에 규정된 사용이력 기반 모션 벡터 예측변수 목록의 갱신 프로세스가 루마 모션 벡터 mvL을 입력으로(with) 호출된다.
Clause 8.6.2.5항이 mvL을 입력으로 mvC를 출력으로 호출된다.
루마 블록 벡터 mvL이 다음 제약들을 준수해야 한다는 것이 비트스트림 적합성의 요건이다:
-
((yCb + (mvL[1] >> 4)) % CtbSizeY) + cbHeight가 CtbSizeY 이하이다.
-
x = xCb..xCb + cbWidth - 1 및 y = yCb..yCb + cbHeight - 1에 대해, ibcBuf
L
[(x + (mvL[0]>>4)) % wIbcBufY ][(y +(mvL[1]>>4)) % CtbSizeY]가 -1이어서는 안 된다.
8.6.3 IBC 블록들에 대한 디코딩 프로세스(Decoding process for ibc blocks)
8.6.3.1 개요(General)
이 프로세스는 IBC 예측 모드로 코딩된 코딩 유닛을 디코딩할 때 호출된다.
이 프로세스에 대한 입력들은:
- 현재 화면의 상-좌 루마 샘플에 대한 현재 코딩 블록의 상-좌 샘플을 규정하는 루마 위치(xCb, yCb),
- 루마 샘플들 내의 코딩 블록의 폭을 규정하는 변수 cbWidth,
- 루마 샘플들 내의 코딩 블록의 높이를 규정하는 변수 cbHeight,
- 현재 블록의 칼라 컴포넌트 인덱스를 규정하는 변수 cIdx.
-
모션 벡터 mv,
-
(wIbcBufY)x(CtbSizeY) 행열 ibcBuf
L
, (wIbcBufC)x(CtbSizeC) 행열 ibcBuf
Cb
, (wIbcBufC)x(CtbSizeC) 행열 ibcBuf
Cr
.
이 프로세스의 출력들은:
-
예측 샘플들의 행열 predSamples.
x = xCb..xCb+ Width - 1 및 y = yCb..yCb + Height - 1에 대해, 다음이 적용된다
cIdx가 0이면
predSamples[x][y] = ibcBuf
L
[(x + mv[0] >> 4)) % wIbcBufY][(y + (mv[1] >> 4)) % CtbSizeY]
cIdx가 1이면
predSamples[x][y] = ibcBuf
Cb
[(x + mv[0] >> 5)) % wIbcBufC][(y + (mv[1] >> 5)) % CtbSizeC]
cIdx가 2이면
predSamples[x][y] = ibcBuf
Cr
[(x + mv[0] >> 5)) % wIbcBufC][(y + (mv[1] >> 5)) % CtbSizeC]
8.7.5 화면 재생 프로세스(Picture reconstruction process)
8.7.5.1 개요(General)
이 프로세스에 대한 입력들은:
- 현재 화면 컴포넌트의 상-좌 샘플에 대한 현재 블록의 상-좌 샘플을 규정하는 위치(xCurr, yCurr),
- 각각 현재 블록의 폭 및 높이를 규정하는 변수 nCurrSw 및 nCurrSh,
- 현재 블록의 칼라 컴포넌트를 규정하는 변수 cIdx,
- 현재 블록의 예측 샘플들을 규정하는 (nCurrSw)x(nCurrSh) 행열 predSamples,
- 현재 블록의 잔차 샘플들을 규정하는 (nCurrSw)x(nCurrSh) 행열 resSamples.
이 프로세스의 출력은 재생 화면 샘플 행열 recSamples과 IBC 버퍼 행열 ibcBuf L , ibcBuf Cb , ibcBuf Cr 들이다.
칼라 컴포넌트 cIdx의 값에 따라 다름 할당이 이뤄진다:
- cIdx가 0이면, recSamples가 재생 화면 샘플 행열(SL)에 대응하고 함수 clipCidx1이 Clip1Y에 대응한다.
- 그렇지 않고 cIdx가 1이면, tuCbfChroma가 tu_cbf_cb[xCurr][yCurr]로 설정되고, recSamples가 재생 크로마 샘플 행열(SCb)에 대응하며 함수 clipCidx1이 Clip1C에 대응한다.
- 그렇지 않으면(cIdx가 2), tuCbfChroma가 tu_cbf_cr[xCurr][yCurr]로 설정되고, recSamples가 재생 크로마 샘플 행열(SCr)에 대응하며 함수 clipCidx1이 Clip1C에 대응한다.
slice_lmcs_enabled_flag의 값에 따라 다음이 적용된다:
- slice_lmcs_enabled_flag이 0이면, 위치(xCurr, yCurr)에서의 재생 샘플들 recSamples의 (nCurrSw)x(nCurrSh) 블록이 i = 0..nCurrSw - 1, j = 0..nCurrSh - 1에 대해 다음과 같이 도출된다:
recSamples[xCurr + i][yCurr + j] = clipCidx1(predSamples[i][j] + resSamples[i][j]) (8-992)
- 그렇지 않으면(slice_lmcs_enabled_flag이 1이면), 다음이 적용된다:
- cIdx가 0이면, 다음이 적용된다:
- 8.7.5.2항에 규정된 루마 샘플들에 대한 매핑 프로세스에 의한 화면 재생이 루마 위치(xCurr, yCurr)와, 블록 폭 nCurrSw 및 높이 nCurrSh와, 예측 루마 샘플 행열 predSamples와, 및 잔차 루마 샘플 행열 resSamples들을 입력으로 호출되고, 그 출력은 재생 루마 샘플 행열 recSamples이다.
- 그렇지 않으면(cIdx가 0보다 크면), 8.7.5.3항에 규정된 크로마 샘플들에 대한 루마 의존 크로마 잔여 스케일링 프로세스에 의한 화면 재생이 크로마 위치(xCurr, yCurr)와, 변환 블록 폭 nCurrSw 및 높이 nCurrSh와, 현재 크로마 변환 블록의 코딩된 블록 플랙 tuCbfChroma와, 예측 크로마 샘플 행열 predSamples와, 및 잔차 크로마 샘플 행열 resSamples들을 입력으로 호출되고, 그 출력은 재생 크로마 샘플 행열 recSamples이다.
현재 코딩 유닛의 디코딩 후, 다음이 적용될 수 있다:
cIdx가 0이고 treeType이 SINGLE_TREE 또는 DUAL_TREE_LUMA이면, 다음이 적용된다
i = 0..nCurrSw - 1, j = 0..nCurrSh - 1에 대해
ibcBuf
L
[(xCurr + i) % wIbcBufY][(yCurr + j) % CtbSizeY ] = recSamples[xCurr + i][yCurr + j].
cIdx가 1이고 treeType이 SINGLE_TREE 또는 DUAL_TREE_CHROMA이면, 다음이 적용된다
i = 0..nCurrSw - 1, j = 0..nCurrSh - 1에 대해
ibcBuf
Cb
[(xCurr + i) % wIbcBufC][(yCurr + j) % CtbSizeC] = recSamples[xCurr + i][yCurr + j].
cIdx가 2이고 treeType이 SINGLE_TREE 또는 DUAL_TREE_CHROMA이면, 다음이 적용된다
i = 0..nCurrSw - 1, j = 0..nCurrSh - 1에 대해
ibcBuf
Cr
[(xCurr + i) % wIbcBufC][(yCurr + j) % CtbSizeC] = recSamples[xCurr + i][yCurr + j].
도 6은 시각 매체 (비디오 또는 화상) 처리의 예시적 방법(600)의 흐름도이다. 방법(600)은 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 간의 변환을 위해 인트라 블록 복사 모드를 사용하여 현재 비디오 블록에 대한 참조 샘플들을 저장할 버퍼의 크기의 결정(602)과, 버퍼 내에 저장된 참조 샘플들을 사용하는 변환의 수행(604)을 포함한다.
다음 항들은 방법(600) 및 다른 방법들로 구현된 일부 예시적 바람직한 특징들을 설명한다. 추가적 예들은 이 명세서의 섹션 4에 제공된다.
1. 비디오 처리 방법은: 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 간의 변환을 위해 인트라 블록 복사 모드를 사용하여 현재 비디오 블록에 대한 참조 샘플들을 저장할 버퍼의 크기의 결정하는 단계와; 및 버퍼 내에 저장된 참조 샘플들을 사용하여 변환을 수행하는 단계를 포함한다.
2. 1항의 방법에서, 버퍼의 크기는 소정의 상수이다.
3. 1-2항의 방법에서, M과 N이 정수들일 때, 크기는 MxN이다.
4. 3항의 방법에서, MxN은 64x64 또는 128x129 또는 64x128이다.
5. 1항의 방법에서, 버퍼의 크기는 현재 비디오 블록의 코딩 트리 유닛의 크기와 같다.
6. 1항의 방법에서, 버퍼의 크기는 변환 동안 사용되는 가상 파이프라인 데이터 유닛의 크기와 같다.
7. 1항의 방법에서, 버퍼의 크기는 비트스트림 내의 필드(field)에 대응한다.
8. 7항의 방법에서, 필드는 비디오 파라미터 세트(set) 또는 시퀀스 파라미터 세트 또는 화면 파라미터 세트 또는 화면 헤더 또는 슬라이드 헤더 또는 타일 그룹 헤더 레벨의 비트스트림 표현 내에 포함된다.
9. 1-8항 중의 어느 방법에서, 버퍼의 크기는 루마 컴포넌트의 참조 샘플들과 크로마 컴포넌트들의 참조 샘플들에 대해 다르다.
10. 1-8항 중의 어느 방법에서, 버퍼의 크기는 현재 비디오 블록의 크로마 서브샘플링 포맷(chroma subsampling format)에 좌우된다.
11. 1-8항 중의 어느 방법에서, 참조 샘플들은 RGB 포맷으로 저장된다.
12. 1-11항 중의 어느 방법에서, 버퍼는 루프 필터링 이전과 루프 필터링 이후에 재생 샘플들을 저장하는 데 사용된다.
13. 12항의 방법에서, 루프 필터링이 블록해제(deblocking) 필터링 또는 적응 루프 필터링(adaptive loop filtering; ALF) 또는 샘플 적응 오프셋(sample adaptive offset; SAO) 필터링을 포함한다.
비디오 처리 방법은: 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표연 간의 변환을 위해 인트라 블록 복사 모드를 사용하여 현재 비디오 블록의 참조 샘플들을 저장할 버퍼를 초기화시키는(initializing) 단계와; 및 버퍼 내에 저장된 참조 샘플들의 초기 값들을 사용하여 변환을 수행하는 단계를 포함한다.
15. 14항의 방법에서, 초기 값들은 상수에 대응한다.
16. 14-15항 중의 어느 방법에서, 초기 값들은 현재 비디오 블록의 비트심도의 함수이다.
17. 15항의 방법에서, 상수가 미드 그레이(mid-grey) 값에 해당한다.
18. 14항의 방법에서, 초기 값이 이전에 디코딩된 비디오 블록의 화소값들에 대응한다.
19. 18항의 방법에서, 이전에 디코딩된 비디오 블록이 루프-내(in-loop) 필터링 이전의 디코딩된 블록에 대응한다.
20. 14-19항 중의 어느 방법에서, 버퍼의 크기가 1-13항 중의 하나에 기재된 것이다.
21. 1-20항 중의 어느 방법에서, 버퍼 내의 화소 위치들이 x 및 y 수들을 사용하여 어드레스된다.
22. 1-20항 중의 어느 방법에서, 버퍼 내의 화소 위치들이 0으로부터 M*N-1까지 확장되는 단일한 수를 사용하여 어드레스되는데, 여기서 M 및 N은 버퍼의 화소 폭 및 화소 높이이다.
23. 1-20항 중의 어느 방법에서, 현재 비트스트림 표현이 변환을 위한 블록 벡터를 포함하는데, 여기서 (BVx,BVy)로 표기되는 블록 벡터가 (x-x0,y-y0)이고, (x0, y0)가 현재 비디오 블록의 코딩 트리 유닛의 상-좌 위치에 해당한다.
24. 1-20항 중의 어느 방법에서, 현재 비트스트림 표현이 변환을 위한 블록 벡터를 포함하고, (BVx,BVy)로 표기되는 이 블록 벡터가 (x-x0+Tx,y-y0+Ty)이고, (x0, y0)가 현재 비디오 블록의 코딩 트리 유닛의 좌-상 위치에 해당하며, Tx 및 Ty가 오프셋 값이다.
25. 24항의 방법에서, Tx 및 Ty가 소정의 오프셋 값이다.
26. 1-20항 중의 어느 방법에서, 변환 동안, 위치(x0, y0)에 있고 블록 벡터(BVx, BVy)를 갖는 화소에 대해, 버퍼 내의 대응 기준은 기준 위치(x0+BVx, y0+BVy)에서 찾을 수 있다.
27. 26항의 방법에서, 기준 위치가 버퍼 외부인 경우, 버퍼의 경계에서 클리핑(clipping)됨으로써 기준 내의 버퍼가 결정된다.
28. 26항의 방법에서, 기준 위치가 버퍼 외부인 경우, 기준 내의 버퍼가 소정 값을 갖도록 결정된다.
29. 1-20항 중의 어느 방법에서, 변환 동안, 위치(x0, y0)에 있고 블록 벡터(BVx, BVy)를 갖는 화소에 대해, 버퍼 내의 대응 기준은 기준 위치((x0+BVx) mod M, (y0+BVy) mod N)에서 찾을 수 있는데, 여기서 "mod"는 모듈러 연산이고 M 및 N은 버퍼의 x 및 y 크기들을 나타내는 정수들이다.
30. 비디오 처리 방법은: 비디오와 현재 비디오 블록 간의 변환 동안 비디오 경계에서 인트라 블록 복사 코딩(모드)을 위한 참조 샘플들을 저장하는 버퍼를 리셋하는 단계와; 및 버퍼에 저장된 참조 샘플들을 사용하여 변환을 수행하는 단계를 포함한다.
31. 30항의 방법에서, 비디오 경계는 새로운 화면 또는 새로운 타일에 대응한다.
32. 30항의 방법에서, 리셋 다음에 버퍼를 가상 파이프라인 데이터 유닛(Virtual Pipeline Data Unit; VPDU)의 재생 값들로 갱신함으로써 변환이 수행된다.
33. 30항의 방법에서, 리셋 다음에 버퍼를 코딩 트리 유닛의 재생 값들로 갱신함으로써 변환이 수행된다.
34. 30항의 방법에서, 리셋이 각 코딩 트리 유닛 행의 시작시 수행된다.
35. 1항의 방법에서, 버퍼의 크기가 L이 정수일 때 L개의 64x64 이전에 디코딩된 블록들에 대응한다.
36. 1-35항 중의 어느 방법에서, 변환 동안 버퍼 내에 샘플들을 독출(reading) 또는 저장하는 데 수직 스캔 순서가 사용된다.
37. 비디오 처리 방법은: 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 간의 변환을 위해 인트라 블록 복사 코딩 모드를 사용하여 현재 비디오 블록에 대한 참조 샘플들을 저장하는 버퍼를 사용하는 단계로, 버퍼의 제1 비트심도가 코딩된 데이터의 제2 비트심도와 다른 단계와; 및 버퍼에 저장된 참조 샘플들을 사용하여 변환을 수행하는 단계를 포함한다.
38. 37항의 방법에서, 제1 비트심도가 제2 비트심도보다 더 크다.
39. 37-38항 중의 어느 방법에서, 제1 비트심도가 변환 동안 사용되는 재생 버퍼의 비트심도와 동일하다.
40. 37-39항 중의 어느 방법에서, 제1 비트심도가 비트스트림 표현 내에 하나의 값 또는 다른 값으로 신호된다.
41. 37-40 중의 어느 방법에서, 변환이 크로마 및 루마 컴포넌트들에 대해 다른 비트심도들을 사용한다.
37-41항들의 추가적 실시예 및 예들은 섹션 4의 항목 7에 기재되어 있다.
42. 비디오 처리 방법은: 인트라 블록 복사 모드를 사용하여 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 간의 변환 단계를 포함하는데, 변환 동안의 예측 연산들에 사용되는 제1 정밀도가 변환 동안의 재생 연산들에 사용되는 제2 정밀도보다 더 낮다.
43. 42항의 방법에서, 예측 연산들이 clip{{p+[1<<(b-1)]}>>b,0,(1<<bitdepth)-1}<<b을 사용하여 재생 샘플 값들로부터 예측 샘플 값을 결정하는데, 여기서 p는 재생 샘플 값이고, b는 소정의 비트 시프트(bit-shifting) 값이며, bitdepth는 예측 샘플 정밀도이다.
42-43항의 추가적인 실시예 및 예들은 섹션 4의 항목 28 내지 31 및 34에 기재되어 있다.
44. 비디오 처리 방법은: 현재 비디오 블록과 인트라 블록 복사 모드를 사용한 현재 비디오 블록의 비트스트림 간의 변환을 수행하는 단계를 구비하는데, 코딩 트리 유닛 크기 MxM에 대해 크기 nMxnM의 기준 블록이 사용되고, 여기서 n과 M은 정수들이며, 현재 비디오 블록이 코딩 트리 유닛 내에 위치하고, 기준 영역이 현재 비디오 블록에 대응하는 코딩 트리 유닛 행 내의 사용 가능한 가장 가까운 nxn개의 코딩 트리 유닛이다.
44항의 추가적인 실시예 및 예들은 섹션 4의 항목 35에 기재되어 있다.
45. 비디오 처리 방법은; 현재 비디오 블록과 인트라 블록 복사 모드를 사용한 현재 비디오 블록의 비트스트림 간의 변환을 수행하는 단계를 구비하는데, MxM이 아닌 코딩 트리 유닛 크기에 대해 크기 nMxnM의 기준 블록이 사용되고, 여기서 n과 M은 정수들이며, 현재 비디오 블록이 코딩 트리 유닛 내에 위치하고, 기준 영역이 현재 비디오 블록에 대응하는 코딩 트리 유닛 행 내의 사용 가능한 가장 가까운 nxn-1개의 코딩 트리 유닛이다.
45항의 추가적인 실시예 및 예들은 섹션 4의 항목 36에 기재되어 있다. 도 8 및 9는 이 추가적인 예시적 실시예들을 도시한다.
46. 3항의 방법에서, M=mW 및 N=H이고, 여기서 W 및 H는 현재 비디오 블록의 코딩 트리 유닛(CTU)의 폭과 높이이며, m은 양의 정수이다.
47. 3항의 방법에서, M=W 및 N=nH이고, 여기서 W 및 H는 현재 비디오 블록의 코딩 트리 유닛(CTU)의 폭과 높이이며, n은 양의 정수이다.
48. 3항의 방법에서, M=mW 및 N=nH이고, 여기서 W 및 H는 현재 비디오 블록의 코딩 트리 유닛(CTU)의 폭과 높이이며, m과 n은 양의 정수들이다.
49. 46-48항 중의 어느 방법에서, n과 m은 CTU의 크기에 좌우된다.
50. 비디오 처리 방법은: 비디오의 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 간의 변환을 위해 비디오의 컴포넌트 X를 사용하여 비디오의 컴포넌트 c의 현재 비디오 블록에 대응하는 블록 벡터의 유효성을 판단하는 단계로, 컴포넌트 X가 비디오의 루마 컴포넌트와 다른 단계와; 및 블록 벡터가 현재 비디오 블록에 대해 유효하다고 판단하면 이 블록 벡터를 사용하여 변환을 수행하는 단계를 포함한다. 여기서 (BVx,BVy)로 표기되는 블록 벡터는 (x-x0,y-y0)인데, (x0, y0)는 현재 비디오 블록의 코딩 트리 유닛의 상-좌 위치에 해당한다.
51. 50항의 방법에서, 컴포넌트 c는 비디오의 루마 컴포넌트에 대응한다.
52. 50항의 방법에서, 현재 비디오 블록은 크로마 블록이고 비디오는 4:4:4 포맷이다.
53. 50항의 방법에서, 비디오가 4:2:0 포맷이고, 현재 비디오 블록이 (x, y)에서 시작하는 크로마 블록이며, 판단 단계가 isRec(c, ((x+BVx)>>5<<5)+64-(((y+BVy)>>5)&1)*32+(x%32), ((y+BVy)>>5<<5)+(y%32))가 참인 경우 블록 벡터가 유효한지 판단하는 단계를 포함한다.
54. 50항의 방법에서, 비디오가 4:2:0 포맷이고, 현재 비디오 블록이 (x, y)에서 시작하는 크로마 블록이며, 판단 단계가 isRec(c, x+BVx+Chroma_CTU_size, y)가 참인 경우 블록 벡터가 유효한지 판단하는 단계를 포함한다.
55. 비디오 처리 방법은: 비디오 영역의 현재 가상 파이프라인 데이터 유닛(VPDU)의 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현을 위해, 비디오 영역의 제1 행으로부터의 K1개의 이전에 처리된 VPDU들과 비디오 영역의 제2 행으로부터의 K2개의 이전에 처리된 VPDU들의 선택적 사용을 결정하는 단계와; 및 변환을 수행하는 단계로, 변환이 현재 VPDU의 나머지 것들을 제외하는 단계를 포함한다.
56. 55항의 방법에서, K1 = 1 및 K2 = 2이다.
57. 55-56항 중의 어느 방법에서, 현재 비디오 블록이 비디오 영역의 크기(dimension) 또는 현재 VPDU의 크기에 기반하여 선택적으로 처리된다.
58. 비디오 처리 방법은: 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 간의 변환을 위해 블록 벡터의 유효성 점검을 수행하는 단계로, 블록 벡터가 인트라 블록 복사 모드에 사용되는 단계와; 및 변환 동안 유효성 점검의 결과를 사용하여 블록 벡터를 선택적으로 사용하는 단계를 포함한다.
59. 58항의 방법에서, 인트라 블록 복사(IBC) 버퍼가 변환 동안 사용되는데, 여기서 IBC 버퍼의 폭 및 높이가 Wbuf 및 Hbuf로 표기되고 현재 비디오 블록의 크기가 WxH이며 블록 벡터가 (BVx, BVy)로 표현되고, 현재 비디오 블록이 Wpic 및 Hpic의 크기를 갖는 현재 화면과 Wctu 및 Hctu의 폭과 높이를 갖는 코딩 트리 유닛 내에 위치하며, 유효선 점검은 소정의 규칙(rule)을 사용한다.
60. 58-59항 중의 어느 방법에서, 현재 비디오 블록은 루마 블록, 크로마 블록, 코딩 유닛 CU, 변환 유닛 TU, 4x4 블록, 2x2 블록, 또는 화소 좌표(X, Y)에서 시작하는 모 블록(parent block)의 서브블록이다.
61. 58-60항 중의 어느 방법에서, 유효성 점검 단계가 현재 화면 외부에 속하는(fall) 블록 벡터를 유효한 것으로 간주한다.
62. 58-60항 중의 어느 방법에서, 유효성 점검 단계가 코딩 트리 유닛 외부에 속하는 블록 벡터를 유효한 것으로 간주한다.
이전 섹션의 항목 23-30들은 위 58-62항들의 추가적 예와 변형들을 제공한다.
63. 1-62항 중의 어느 방법에서, 변환 단계가 현재 비디오 블록으로부터 비트스트림 표현을 생성하는 단계를 포함한다.
64. 1-62항 중의 어느 방법에서, 변환 단계가 비트스트림 표현으로부터 현재 비디오 블록의 화소값들을 생성하는 단계를 포함한다.
65. 비디오 인코더 장치는 1-62항들 중의 어떤 하나 이상에 기재된 방법을 구현하도록 구성된 프로세서를 구비한다.
66. 비디오 디코더 장치는 1-62항들 중의 어떤 하나 이상에 기재된 방법을 구현하도록 구성된 프로세서를 구비한다.
67. 저장된 코드를 갖는 컴퓨터 독출 가능한 매체로, 코드는 1-62항들 중의 어떤 하나 이상에 기재된 방법을 구현하는(implementing) 프로세서 실행 가능한 명령들을 구현한다(embodying).
도 7은 비디오/화상 처리 장치(700)의 하드웨어 플랫폼의 블록도이다. 장치(700)는 이 명세서에 기재된 하나 이상의 방법들을 구현하는 데 사용될 수 있다. 장치(700)는 스마트폰, 태블릿, 컴퓨터, 사물인터넷(Internet of Things; IoT) 수신기 등 내에 구현될 수 있다. 장치(700)는 하나 이상의 프로세서(702)들과, 하나 이상의 메모리(704)들과, 및 비디오 처리 하드웨어(706)를 포함할 수 있다. 프로세서(들)(702)는 이 명세서에 기재된 (방법(600)을 제한 없이 포함하는) 하나 이상의 방법들을 구현하도록 구성될 수 있다. 메모리(메모리들)(704)는 이 명세서에 기재된 방법과 기법들을 구현하는 데 사용되는 데이터와 코드를 저장하는 데 사용될 수 있다. 비디오 처리 하드웨어(706)는 하드웨어 회로 내에서 이 명세서에 기재된 일부 기법들을 구현하는 데 사용될 수 있다.
현재 비디오 블록에 대응하는 비트스트림 표현은 비트들의 인접한(contiguous) 세트일 필요가 없고 헤더들, 파라미터 세트들, 및 네트워크 추산 계측(network abstraction layer; NAL) 패킷들에 걸쳐 분포될 수 있다.
섹션 A: 다른 추가적인 예시적 실시예
섹션 A에서, VVC 표준의 현재 판(version)이 이 명세서에 기재된 기법들의 일부의 구현을 위해 수정될 수 있는 추가적인 예시적 실시예를 제공한다.
현재 IBC 기준 버퍼 설계에서의 몇 가지 문제(issue)들을 분석하고 이 문제들을 해결(address)할 다른 설계를 제시한다. 디코딩 메모리와 혼용(mixing)되는 대신 독립적인 IBC 기준 버퍼가 제안된다. 현재의 앵커(current anchor)와 비교하여, 제안된 안(scheme)은 클래스 F에 대해 -0.99%/-0.71%/-0.79% AI/RA/LD-B 루마 BD 비율(BD-rate)과, 6.7% 메모리 절감을 수반하는 4:2:0 TGM에 대해-2.57%/-1.81%/-1.36%; 또는 클래스 F에 대해 -1.31%/-1.01%/-0.81%과, 6.7% 메모리 증가를 수반하는 4:2:0 TGM에 대해 -3.23%/-2.33%/-1.71%이다.
A1. 서론(Introduction)
인트라 블록 복사(intra block copy), 즉 IBC(또는 현재 화면 참조(current picture referencing), 즉 이전에는 CPR) 코딩 모드가 채택된다. 이는 IBC 참조 샘플들이 온칩(on-chip) 메모리에 저장되어야 하고, 이에 따라 하나의 CTU의 제한된 기준 영역이 정의됨으로써 구현된다. 버퍼에 대한 추가적(extra) 온칩 메모리를 제한하도록, 현재 설계는 현재 VPDU의 디코딩에 64x64 메모리를 재사용하여 IBC를 지원하는 데 단지 3개의 추가적인 64x64 블록들의 메모리만 필요하다. CU 크기가 128x128일 때, 현재 기준 영역이 도 2에 도시된다.
현재 표준 초안 (VVC draft 4)에서는, 상기 영역이 다음과 같이 정의된다.
| - 다음 조건들이 참이어야 한다: |
| (yCb + (mvL[1] >> 4)) >> CtbLog2SizeY = yCb >> CtbLog2SizeY (8-972) |
| (yCb + (mvL[1] >> 4) + cbHeight - 1) >> CtbLog2SizeY = yCb >> CtbLog2SizeY (8-973) |
| (xCb + (mvL[0] >> 4)) >> CtbLog2SizeY >= (xCb >> CtbLog2SizeY) - 1 (8-974) |
| (xCb + (mvL[0] >> 4) + cbWidth - 1) >> CtbLog2SizeY <= (xCb >> CtbLog2SizeY) (8-975) |
| [Ed. (SL): 조건 (8-218) 및 (8-216)들은 6.4.X로 점검되었을 수 있다.] - (xCb + (mvL[0] >> 4)) >> CtbLog2SizeY가 (xCb >> CtbLog2SizeY) - 1이면, 6.4.X항에 규정된 블록 사용 가능성의 도출 프로세스[Ed. (BB): 이웃 블록들 사용 가능성 점검 프로세스 tbd]가 현 재 루마 위치(xCurr, yCurr)를 (xCb, yCb)로 설정하고 이웃 루마 위치(((xCb + (mvL[0] >> 4) + CtbSizeY) >> (CtbLog2SizeY - 1)) << (CtbLog2SizeY - 1), ((yCb + (mvL[1] >> 4)) >> (CtbLog2SizeY - 1)) << (CtbLog2SizeY - 1))를 입력으로 호출되는데, 그 출력이 FALSE이어야 한 다. |
이와 같이, 전체 기준 크기는 CTU이다.
A2. 현재 설계의 잠재적 문제들(Potential issues of the current design)
현재 설계는 현재 VPDU의 디코딩에 64x64 메모리를 재사용하는 것으로 추정되고, 이에 따라 IBC 기준이 재사용되는 VPDU 메모리에 정렬된다. 이러한 설계는 VPDU 디코딩 메모리를 IBC 버퍼와 한데 묶는다. 몇 가지 문제들이 존재할 수 있는데:
1. 더 작은 CTU 크기를 다루는 것이 문제일 수 있다, CTU 크기를 32x32로 가정하면, 현재의 VPDU를 디코딩하기 위한 현재의 64x64 메모리가 다른 아키텍처의 32x32 레벨의 메모리 재사용을 효율적으로 지원할 수 있을 지 여부가 명확하지 않다.
2. 기준 영역이 현저히 변동한다. 이에 따라 너무 많은 비트스트림 적합성 제약들이 도입된다. 기준 영역을 효율적으로 이용(exploit)하고 적합한 비트스트림들의 생성을 방지하는 데 인코더에 과도한 부담을 준다. 이는 또한 예를 들어 병합 목록(merge list) 등 다른 모듈들에 비유효한 BV들을 가질 가능성 역시 증가시킨다. 이들 비유효한 BV들을 처리하기 위해 추가적인 로직들과 추가적인 적합성 제약들을 도입할 수 있다. 이는 인코더 또는 디코더에 부담을 도입할 뿐 아니라, BV 코딩과 MV 코딩 간에 차이(divergence)를 생성할 수도 있다.
3. 이 설계는 잘 축소 확대(scale)되지 않는다. VPDU 디코딩이 IBC 버퍼와 혼용되므로, 현재의 단일한(a) 128x128 CTU 설계에 대해 기준 영역을 증가 또는 감소시키기 쉽지 않다. 이는 예를 들어 더 낮거나 높은 프로파일(profile)의 최근의 개발에 있어서 더 우수한 코딩 효율 대(vs.) 온칩 메모리 균형(trade-off)을 이용할 유연성을 제한한다.
4. IBC 기준 버퍼의 비트심도가 디코딩 버퍼에 연계된다. 스크린 콘텐츠가 항상 내부 디코딩 비트심도보다 더 낮은 비트심도를 갖더라도, 버퍼는 여전히 주로 반올림 또는 양자화 잡음들을 나타내는 비트들의 저장에 메모리를 소모할 필요가 있다. 이 문제는 더 높은 디코딩 비트심도 구성을 고려할 때 더욱 심해진다.
A3. 명확한 IBC 버퍼 설계(A clear IBC buffer design)
위 서브섹션에서 열거된 문제들을 해결하기 위해, 디코딩 메모리와 혼용되지 않는 전용(dedicated) IBC 버퍼를 가질 것을 제안한다.
128x128 CTU에 대해 버퍼는 8비트 샘플들을 갖는 128x128로 정의되는데, 크기 w x h를 갖는 CU(x, y)가 디코딩되면, 루프 필터링 전의 그 재생이 8비트로 변환되어 위치(x%128, y%128)에서 시작되는 w x h 블록 영역에 기입된다(written). 여기서 모듈러 연산자 %는 예를 들어 x < 0, x % L -(-x % L)에 대해, 예를 들어 -3%128=125의 양수를 회신한다.
화소(x, y)가 BV=(BVx, BVy)를 갖고 IBC 모드로 코딩된다고 가정하면, IBC 기준 버퍼에서의 그 예측 샘플은 ((x+BVx)%128, (y+BVy)%128)에 위치하고 화소값은 예측 전에 10비트로 변환될 것이다.
버퍼가 (W, H)로 고려될 때, (x, y)에서 시작되는 CTU 또는 CU를 디코딩한 뒤, 루프 필터링 이전의 재생 화소들은 (x%W, y%H)에서 시작되는 버퍼에 저장될 것이다. 이와 같이 CTU를 디코딩한 뒤, 대응 IBC 기준 버퍼가 이에 따라 갱신될 것이다. 이러한 설정은 CTU 크기가 128x128이 아닐 때 발생될 수 있다. 예를 들어, 현재 버퍼 크기를 갖는 64x64 CTU에 대해, 256x64 버퍼가 고려될 수 있다. 64x64 CTU에 대해 도 2가 버퍼 상태를 보인다.
도 12는 IBC 기준 버퍼 상태의 도면인데, 여기서 블록은 64x64 CTU를 표기한다.
이러한 설계에서, IBC 버퍼가 VPDU 디코딩 메모리와 다르기 때문에, 모든 IBC 기준 버퍼가 기준으로 사용될 수 있다.
IBC 버퍼의 비트심도가 8비트라면, 3개의 추가적인 10비트 64x64 버퍼를 요구하는 현재 설계에 비해, 온칩 메모리 증가는 (8*4)/(10*3)-100%=6.7%이다.
비트심도를 더욱 감소시키면, 메모리 요건이 더욱 감소될 수 있다. 예를 들러, 7비트 버퍼에 대해 온칩메모리 절감(saving)은 100%-(7*4)/(10*3)=6.7%이다.
이 설계에 의하면, 유일한(only) 비트스트림 적합성 제약은 기준 블록이 현재 타일의 현재 CTU 행 내의 재생 영역 내부에 위치해야 한다는 것이다.
각 CTU 행의 시작시 512로 초기화하는 것이 허용되면, 모든 비트스트림 적합성 제약들이 제거된다.
A4. 실험적 결과들(Experimental results)
일부 실시예들에서, 본 발명(disclosed) 방법들이 VTM-4.0 소프트웨어를 사용하여 구현될 수 있다.
10비트 버퍼 구현과 CTC에 대해, 디코더는 현재의 VTM4.0 인코더와 완전히(fully) 호환적인데, 이는 제안된 디코더가 VTM-4.0 CTC 비트스트림들을 정확히 디코딩한다는 것을 의미한다.
7비트 버퍼 구현에 대한 결과가 표 I에 도시되어 있다.
8비트 버퍼 구현에 대한 결과가 표 II에 도시되어 있다.
<표 I. 7 비트 버퍼의 성능. 앵커는 모든 시퀀스들에 IBC를 구현한 VTM-4.0이다.>
| All Intra | |||||
| Over VTM-4.0 w/ IBC on | |||||
| Y | U | V | EncT | DecT | |
| Class A1 | -0.01% | -0.09% | -0.10% | 132% | 101% |
| Class A2 | 0.05% | 0.00% | 0.06% | 135% | 100% |
| Class B | 0.00% | -0.02% | 0.01% | 135% | 100% |
| Class C | -0.02% | 0.01% | 0.03% | 130% | 98% |
| Class E | -0.13% | -0.16% | -0.04% | 135% | 99% |
| Overall | -0.02% | -0.05% | 0.00% | 133% | 100% |
| Class D | 0.04% | 0.04% | 0.12% | 127% | 107% |
| Class F | -0.99% | -1.14% | -1.18% | 115% | 99% |
| 4:2:0 TGM | -2.57% | -2.73% | -2.67% | 104% | 102% |
| Random Access | |||||
| Over VTM-4.0 w/ IBC on | |||||
| Y | U | V | EncT | DecT | |
| Class A1 | 0.02% | -0.01% | 0.01% | 109% | 100% |
| Class A2 | 0.00% | -0.04% | 0.03% | 111% | 100% |
| Class B | -0.01% | -0.10% | -0.22% | 113% | 101% |
| Class C | -0.01% | 0.17% | 0.12% | 115% | 100% |
| Class E | |||||
| Overall | 0.00% | 0.00% | -0.04% | 112% | 100% |
| Class D | 0.05% | 0.16% | 0.20% | 117% | 101% |
| Class F | -0.71% | -0.77% | -0.77% | 109% | 99% |
| 4:2:0 TGM | -1.81% | -1.65% | -1.64% | 107% | 101% |
| Low delay B | |||||
| Over VTM-4.0 w/ IBC on | |||||
| Y | U | V | EncT | DecT | |
| Class A1 | |||||
| Class A2 | |||||
| Class B | 0.01% | 0.36% | 0.30% | 114% | 95% |
| Class C | -0.01% | -0.12% | -0.10% | 120% | 98% |
| Class E | 0.10% | 0.20% | 0.18% | 107% | 99% |
| Overall | 0.03% | 0.16% | 0.13% | 114% | 97% |
| Class D | -0.01% | 1.07% | 0.18% | 123% | 104% |
| Class F | -0.79% | -0.89% | -1.01% | 110% | 100% |
| 4:2:0 TGM | -1.36% | -1.30% | -1.26% | 109% | 102% |
<표 II. 8 비트 버퍼의 성능. 앵커는 모든 시퀀스들에 IBC를 구현한 VTM-4.0이다.>
| All Intra | |||||
| Over VTM-4.0 w/ IBC on | |||||
| Y | U | V | EncT | DecT | |
| Class A1 | -0.01% | 0.02% | -0.10% | 129% | 102% |
| Class A2 | 0.02% | -0.06% | -0.02% | 134% | 102% |
| Class B | -0.04% | -0.02% | -0.07% | 135% | 101% |
| Class C | -0.03% | 0.04% | 0.00% | 130% | 98% |
| Class E | -0.16% | -0.14% | -0.08% | 134% | 100% |
| Overall | -0.04% | -0.03% | -0.05% | 133% | 100% |
| Class D | 0.00% | 0.04% | 0.02% | 126% | 101% |
| Class F | -1.31% | -1.27% | -1.29% | 114% | 98% |
| 4:2:0 TGM | -3.23% | -3.27% | -3.24% | 101% | 100% |
| Random Access | |||||
| Over VTM-4.0 w/ IBC on | |||||
| Y | U | V | EncT | DecT | |
| Class A1 | -0.01% | -0.08% | 0.04% | 107% | 99% |
| Class A2 | -0.03% | -0.16% | 0.06% | 110% | 99% |
| Class B | -0.01% | -0.14% | -0.22% | 111% | 99% |
| Class C | -0.01% | 0.15% | 0.09% | 115% | 100% |
| Class E | |||||
| Overall | -0.01% | -0.05% | -0.03% | 111% | 99% |
| Class D | 0.01% | 0.19% | 0.22% | 116% | 101% |
| Class F | -1.01% | -0.99% | -1.01% | 108% | 99% |
| 4:2:0 TGM | -2.33% | -2.14% | -2.19% | 105% | 100% |
| Low delay B | |||||
| Over VTM-4.0 w/ IBC on | |||||
| Y | U | V | EncT | DecT | |
| Class A1 | |||||
| Class A2 | |||||
| Class B | 0.00% | 0.04% | -0.14% | 113% | #NUM! |
| Class C | -0.05% | -0.28% | -0.15% | 119% | 98% |
| Class E | 0.04% | -0.16% | 0.43% | 107% | #NUM! |
| Overall | 0.00% | -0.11% | 0.00% | 113% | #NUM! |
| Class D | -0.07% | 1.14% | 0.13% | 122% | 99% |
| Class F | -0.81% | -0.92% | -0.96% | 111% | 99% |
| 4:2:0 TGM | -1.71% | -1.67% | -1.71% | 106% | 95% |
도 17은 이 명세서에 개시된 다양한 기법들이 구현될 수 있는 예시적 비디오 처리 시스템(1700)을 보이는 블록도이다. 다양한 구현예들은 시스템(1700)의 구성요소들의 일부 또는 전부를 포함할 수 있다. 시스템(1700)은 비디오 콘텐츠(video contents)를 수신하는 입력(1702)을 포함할 수 있다. 비디오 콘텐츠는 예를 들어 8 또는 10비트 다중 컴포넌트(multi-component) 화소값들 등의 비가공(raw) 또는 비압축 포맷으로 수신되거나 또는 압축 또는 디코딩된 포맷일 수 있다. 입력(1702)은 네트워크 인터페이스, 주변 버스 인터페이스(peripheral bus interface), 또는 저장 인터페이스를 나타낼 수 있다. 네트워크 인터페이스의 예는 Ethernet, 수동형 광 네트워크(passive optical network; PON) 등의 유선 인터페이스와 Wi-Fi 또는 휴대폰 인터페이스(cellular interface) 등의 무선 인터페이스들을 포함한다.
시스템(1700)은 이 명세서에 기재된 다양한 코딩 또는 인코딩 방법들을 구현할 수 있는 코딩 구성요소(coding component; 1704)를 포함할 수 있다. 코딩 구성요소(1704)는 입력(1702)으로부터 코딩 구성요소(1704)의 출력으로의 비디오의 평균 비트전송속도(bitrate)를 저하시켜 비디오의 코딩된 표현을 산출할 수 있다. 이에 따라 이 코딩 기법은 때로 비디오 압축 또는 비디오 트랜스코딩(transcoding) 기법으로 지칭된다. 코딩 구성요소(1704)의 출력은 저장되거나 구성 요소(1706)로 표현된 바와 같이 연결된 통신을 통해 전송될 수 있다. 입력(1702)에서 수신된 비디오의 저장 또는 전송된(communicated) 비트스트림(또는 코딩된) 표현은 구성요소(1708)에 사용되어 화소값들 또는 디스플레이 인터페이스(1710)로 전송되는 화상표시 가능한(displayable) 비디오를 생성할 수 있다. 비트스트림으로부터 사용자가 볼 수 있는(user-viewable) 비디오를 생성하는 프로세스는 때로 비디오 압축해제(video decompression)로 지칭된다. 또한 어떤 비디오 처리 작동은 "코딩(coding)" 작동 또는 툴(tool)로 지칭되는데, 코딩 툴 또는 작동이 인코더에서 사용되고, 코딩의 결과를 반전시키는 대응 디코딩 툴 또는 작동이 디코더에서 수행될 것으로 이해해야 할 것이다.
주변 버스 인터페이스 또는 디스플레이 인터페이스의 예는 범용 직렬 버스(universal serial bus; USB), 고화질 멀티미디어 인터페이스(high definition multimedia interface; HDMI), 또는 Displayport 등을 포함할 수 있다. 저장 인터페이스의 예는 SATA(serial advanced technology attachment; 직렬 고급 결합 기술; 직렬 ATA), PCI, IDE 인터페이스 등을 포함할 수 있다. 이 명세서에 기재된 기법들은 모바일폰, 랩탑, 스마트폰 또는 디지털 데이터 처리 및/또는 비디오 디스플레이가 가능한 다른 기기들 등의 여러 전자 기기들에 구현될 수 있다.
도 18은 시각 데이터 처리의 예시적 방법의 흐름도이다. 이 흐름도의 단계들은 이 명세서의 섹션 4의 예시적 실시예 23과 연계하여 논의된다. 단계 1802에서, 상기 프로세스는, 시각 매체 데이터의 현재 픽쳐내 현재 비디오 블록과 상기 현재 비디오 블록의 비트스트림 표현 간의 변환을 위해, 블록 벡터 (BVx,BVy)를 결정하는 단계를 포함하고, 여기서 상기 블록 벡터 (BVx,BVy)의 유효성 (validity)은 (1) 샘플 블록의 위치(P, Q), 및/또는 (2) 상기 위치(P, Q)에서의 샘플이 복원되었는 지 여부, 및/또는 (3) 상기 현재 비디오 블록의 위치에 독립적이다. 또한, 상기 블록 벡터 (BVx,BVy)는 상기 현재 비디오 블록과 상기 샘플 블록 간의 화소 변위(displacement)를 나타낸다. 단계 1804에서, 상기 프로세스는, 상기 블록 벡터를 이용하여, 상기 현재 비디오 블록의 예측 블록을 유도하기 위해 사용되는 참조 샘플들을 포함하는 상기 현재 비디오 블록과 동일 비디오 영역내 복원된 블록에 기반하여 인트라 블록 복사 모드(intra block copy mode)에서 상기 변환을 수행한다. 여기서, 상기 변환 동안, 버퍼내 참조 샘플로부터 위치(A, B)에 해당하는 예측 샘플은 적어도 상기 버퍼의 크기 및/또는 상기 블록 벡터 (BVx,BVy)에 따라서 결정되어 진다.
도 19는 시각 데이터 처리의 예시적 방법의 흐름도이다. 이 흐름도의 단계들은 이 명세서의 섹션 4의 예시적 실시예 23과 연계하여 논의된다. 단계 1902에서, 상기 프로세스는, 시각 매체 데이터의 현재 픽쳐내 현재 비디오 블록과 상기 시각 매체 데이터의 비트스트림 표현 간의 변환을 위해, 상기 현재 비디오 블록에 대응하는 블록 벡터 (BVx,BVy)가 유효한지 여부를 규칙에 근거하여 결정하는 단계를 포함하고, 여기서 상기 블록 벡터 (BVx,BVy)는 상기 현재 비디오 블록과 상기 샘플 블록 간의 화소 변위(displacement)를 나타낸다. 단계 1904에서, 상기 프로세스는 상기 블록 벡터를 이용하여, 상기 현재 비디오 블록의 예측 블록을 유도하기 위해 사용되는 참조 샘플들을 포함하는 상기 현재 픽쳐의 참조 영역에 기반하여 상기 변환을 수행하는 단계를 포함하되, 여기서, 상기 규칙은, (1) 상기 샘플 블록으로부터 하나 이상의 샘플들이 상기 현재 픽쳐 외부에 있는 경우, 및/또는 (2) 상기 샘플 블록으로부터 하나 이상의 샘플들이 상기 현재 비디오 블록과 관련된 적어도 하나 이상의 코딩 트리 유닛(CTU) 외부에 있는 경우, 및/또는 (3) 상기 샘플 블록으로부터 하나 이상의 샘플들이 복원에 실패한 경우, 상기 블록 벡터 (BVx,BVy)가 유효함을 명시한다.
도 20은 시각 데이터 처리의 예시적 방법의 흐름도이다. 이 흐름도의 단계들은 이 명세서의 섹션 4의 예시적 실시예 44와 연계하여 논의된다. 단계 2002에서, 상기 프로세스는, 시각 매체 데이터의 현재 픽쳐내 현재 비디오 블록과 상기 시각 매체 데이터의 비트스트림 표현 간의 변환을 수행하는 단계를 포함하되, 상기 변환은 현재 비디오 블록의 예측 블록을 유도하기 위해 사용되는 참조 샘플들을 포함하는 상기 현재 픽쳐의 참조 영역에 기반하고, 기결정된 크기의 가상 버퍼가 상기 예측 블록을 유도하기 위한 상기 참조 샘플들의 이용 가능성(availability)를 추적하기 위해 사용된다.
도 21은 시각 데이터 처리의 예시적 방법의 흐름도이다. 이 흐름도의 단계들은 이 명세서의 섹션 4의 예시적 실시예 51과 연계하여 논의된다. 단계 2102에서, 상기 프로세스는, 시각 매체 데이터의 현재 픽쳐내 현재 비디오 블록과 상기 시각 매체 데이터의 비트스트림 표현 간의 변환을 위해, 현재 비디오 블록의 예측 블록을 유도하기 위한 현재 픽쳐의 참조 샘플들을 포함하는 버퍼를 유지하는 단계를 포함하되, 상기 유도를 위해 사용하지 않는 것으로 표시된 상기 버퍼내의 하나 이상의 참조 샘플들은 화소 값 범위 외부의 값을 가진다.
도 22는 시각 데이터 처리의 예시적 방법의 흐름도이다. 이 흐름도의 단계들은 이 명세서의 섹션 4의 예시적 실시예 54와 연계하여 논의된다. 단계 2202에서, 상기 프로세스는, 시각 매체 데이터의 현재 픽쳐내 현재 비디오 블록과 상기 시각 매체 데이터의 비트스트림 표현 간의 변환을, 현재 비디오 블록의 예측 블록을 유도하기 위한 현재 픽쳐의 참조 샘플들을 포함하는 버퍼를 이용하여, 수행하는 단계를 포함하되, 상기 변환은 규칙에 근거하고, 상기 규칙은, 규칙에 부합하는 비트스트림 표현을 위해, 비트스트림 적합 제약 조건을 만족하는 상기 버퍼내의 참조 샘플들을 명시한다.
이제 본 발명의 일부 실시예들이 항 기반 포맷(clause-based format)으로 제공된다.
L1. 시각 매체 처리 방법은:
시각 매체 데이터의 현재 픽쳐내 현재 비디오 블록과 상기 현재 비디오 블록의 비트스트림 표현 간의 변환을 위해, 블록 벡터 (BVx,BVy)를 결정하는 단계를 포함하고, 여기서 상기 블록 벡터 (BVx,BVy)의 유효성 (validity)은 (1) 샘플 블록의 위치(P, Q), 및/또는 (2) 상기 위치(P, Q)에서의 샘플이 복원되었는 지 여부, 및/또는 (3) 상기 현재 비디오 블록의 위치에 독립적이다. 또한, 상기 블록 벡터 (BVx,BVy)는 상기 현재 비디오 블록과 상기 샘플 블록 간의 화소 변위(displacement)를 나타낸다. 그리고,
상기 블록 벡터를 이용하여, 상기 현재 비디오 블록의 예측 블록을 유도하기 위해 사용되는 참조 샘플들을 포함하는 상기 현재 비디오 블록과 동일 비디오 영역내 복원된 블록에 기반하여 인트라 블록 복사 모드(intra block copy mode)에서 상기 변환을 수행하는 단계를 포함한다. 여기서, 상기 변환 동안, 버퍼내 참조 샘플로부터 위치(A, B)에 해당하는 예측 샘플은 적어도 상기 버퍼의 크기 및/또는 상기 블록 벡터 (BVx,BVy)에 따라서 결정되어 진다.
L2. 시각 매체 처리 방법은:
시각 매체 데이터의 현재 픽쳐내 현재 비디오 블록과 상기 시각 매체 데이터의 비트스트림 표현 간의 변환을 위해, 상기 현재 비디오 블록에 대응하는 블록 벡터 (BVx,BVy)가 유효한지 여부를 규칙에 근거하여 결정하는 단계를 포함하고, 여기서 상기 블록 벡터 (BVx,BVy)는 상기 현재 비디오 블록과 상기 샘플 블록 간의 화소 변위(displacement)를 나타낸다. 그리고
상기 블록 벡터를 이용하여, 상기 현재 비디오 블록의 예측 블록을 유도하기 위해 사용되는 참조 샘플들을 포함하는 상기 현재 픽쳐의 참조 영역에 기반하여 상기 변환을 수행하는 단계를 포함하되, 여기서, 상기 규칙은, (1) 상기 샘플 블록으로부터 하나 이상의 샘플들이 상기 현재 픽쳐 외부에 있는 경우, 및/또는 (2) 상기 샘플 블록으로부터 하나 이상의 샘플들이 상기 현재 비디오 블록과 관련된 적어도 하나 이상의 코딩 트리 유닛(CTU) 외부에 있는 경우, 및/또는 (3) 상기 샘플 블록으로부터 하나 이상의 샘플들이 복원에 실패한 경우, 상기 블록 벡터 (BVx,BVy)가 유효함을 명시한다.
L3. 상기 L2 조항의 방법에 있어서, 상기 블록 벡터 (BVx,BVy)가 유효한지를 확인 시에, 버퍼내 참조 샘플들로부터 위치 (A, B)를 가지는 예측 샘플이 적어도 상기 버퍼 크기 및/또는 상기 블록 벡터 (BVx,BVy)에 의해 결정되어 진다.
L4. 상기 L1 또는 L3 중 하나 이상 조항의 방법에 있어서, 상기 버퍼내의 참조 샘플들은 상기 현재 픽쳐의 영역에서 복원된 샘플들에 대응된다.
L5. 상기 L4 조항의 방법에 있어서, 상기 영역은 상기 현재 비디오 블록에 연관된 코딩 트리 유닛(CTU) 행(row)을 포함한다.
L6. 상기 L1-L5 중 하나 이상 조항의 방법에 있어서, 상기 블록 벡터 (BVx,BVy)는, 상기 블록 벡터 (BVx,BVy)와 현재 비디오 블록의 상-좌 위치 (x, y)에 의해 계산되는 상기 위치 (P, Q)가 화면 경계 외부에 있는 지 여부에 상관없이 유효로 결정된다.
L7. 상기 L6 조항의 방법에 있어서, 상기 블록 벡터 (BVx,BVy)는, x+BVx<0 또는 x+BVx>0 인지 여부에 상관 없이 유효하다.
L8. 상기 L6 조항의 방법에 있어서, 상기 블록 벡터 (BVx,BVy)는, x+W+BVx > Wpic 또는 x+W+BVx < Wpic 인지 여부에 상관 없이 유효하다. 여기서, W는 현재 비디오 블록의 폭(width)을 의미하고, Wpic 은 상기 픽쳐 폭(width)을 의미한다.
L9. 상기 L6 조항의 방법에 있어서, 상기 블록 벡터 (BVx,BVy)는, y+BVy<0 또는 y+BVy>0 인지 여부에 상관 없이 유효하다.
L10. 상기 L6 조항의 방법에 있어서, 상기 블록 벡터 (BVx,BVy)는, x+H+BVx > Hpic 또는 x+H+BVx < Hpic 인지 여부에 상관 없이 유효하다. 여기서, H는 현재 비디오 블록의 높이(height)을 의미하고, Hpic 은 상기 픽쳐 높이(height)을 의미한다.
L11. 상기 L1-L5 중 하나 이상 조항의 방법에 있어서, 상기 블록 벡터 (BVx,BVy)는, 상기 블록 벡터 (BVx,BVy)와 현재 비디오 블록의 상-좌 위치 (x, y)에 의해 계산되는 상기 위치 (P, Q)가 상기 현재 비디오 블록의 코딩 트리 유닛 외부에 있는 지 여부에 상관없이 유효 여부가 결정된다.
L12. 상기 L11 조항의 방법에 있어서, 상기 블록 벡터 (BVx,BVy)는, y+BVy<floor(y/Hctu)* Hctu 또는 y+BVy>floor(y/Hctu)* Hctu 인지 여부에 상관없이 유효하다. 여기서, Hctu 는 코딩 트리 유닛의 높이를 의미하고, floor(a) 는 a 보다 크지 않은 값 중 가장 큰 정수를 의미한다.
L13. 상기 L11 조항의 방법에 있어서, 상기 블록 벡터 (BVx,BVy)는, y+H+BVy<floor(y/Hctu)*Hctu 또는 y+H+BVy>floor(y/Hctu)*Hctu 인지 여부에 상관없이 유효하다. 여기서, H는 상기 현재 비디오 블록의 높이를 의미하고, Hctu 는 코딩 트리 유닛의 높이를 의미하고, floor(a) 는 a 보다 크지 않은 값 중 가장 큰 정수를 의미한다.
L14. 상기 L1-L5 중 하나 이상 조항의 방법에 있어서, 상기 블록 벡터 (BVx,BVy)는, 상기 블록 벡터 (BVx,BVy)와 현재 비디오 블록의 상-좌 위치 (x, y)에 의해 계산되는 상기 위치 (P, Q)가 상기 현재 비디오 블록을 포함하는 코딩 트리 유닛과 좌측 방향으로 (n-1) 코딩 트리 유닛 외부에 있는 지 여부에 상관없이 유효하다.
L15. 상기 L14 조항의 방법에 있어서, 상기 블록 벡터 (BVx,BVy)는, x+BVx<floor(x/Wctu)*Wctu-(n-1)*Wctu 또는 x+BVx>floor(X/Wctu)*Wctu-(n-1)*Wctu 인지 여부에 상관없이 유효하다. 여기서, Wctu 는 상기 코딩 트리 유닛의 폭을 의미하고, floor(a) 는 a 보다 크지 않은 값 중 가장 큰 정수를 의미한다.
L16. 상기 L14 조항의 방법에 있어서, 상기 블록 벡터 (BVx,BVy)는, x+W+BVx>floor(X/Wctu)*Wctu+Wctu 또는 x+W+BVx<floor(X/Wctu)*Wctu+Wctu 인지 여부에 상관없이 유효하다. 여기서, W는 상기 현재 비디오 블록의 폭을 의미하고, Wctu 는 상기 코딩 트리 유닛의 폭을 의미하고, floor(a) 는 a 보다 크지 않은 값 중 가장 큰 정수를 의미한다.
L17. 상기 L1-L5 중 하나 이상 조항의 방법에 있어서, 상기 블록 벡터 (BVx,BVy)는, 상기 블록 벡터 (BVx,BVy)와 현재 비디오 블록의 상-좌 위치 (x, y)에 의해 계산되는 상기 위치 (P, Q)가 상기 현재 비디오 블록을 포함하는 코딩 트리 유닛(CTU)을 포함하는 현재 CTU 행(row) 외부에 있는 지 여부에 상관없이 유효하다.
L18. 상기 L17 조항의 방법에 있어서, 상기 블록 벡터 (BVx,BVy)는, Y+BVy<floor(Y/ Hctu)* Hctu 또는 Y+H+BVy>=floor(Y/ Hctu)*Hctu+ Hctu 인지 여부에 상관없이 유효하다. 여기서, Wctu 및 Hctu 는 각각 코딩 트리 유닛의 폭 및 높이를 의미하고, floor(a) 는 a 보다 크지 않은 값 중 가장 큰 정수를 의미한다.
L19. 상기 L1-L5 중 하나 이상 조항의 방법에 있어서, 상기 블록 벡터 (BVx,BVy)는, 샘플이 복원에 실패하였는 지 여부에 상관없이 유효로 결정된다.
L20. 상기 L19 조항의 방법에 있어서, 상기 블록 벡터 (BVx,BVy)는, isRec(x+BVx, y+ BVy)가 거짓(false) 인지 여부에 상관없이 유효하다. 여기서, isRec(x,y)는 화소 (x, y)가 인트라 블록 복사 모드에 의해 복원되는 경우에 참(true)이 된다.
L21. 상기 L19 조항의 방법에 있어서, 상기 블록 벡터 (BVx,BVy)는, isRec(x+BVx+W-1, y+BVy)가 거짓(false) 인지 여부에 상관없이 유효하다. 여기서, isRec(x,y)는 화소 (x, y)가 인트라 블록 복사 모드에 의해 복원되는 경우에 참(true)이 되고, W는 상기 현재 비디오 블록의 폭을 의미한다.
L22. 상기 L19 조항의 방법에 있어서, 상기 블록 벡터 (BVx,BVy)는, isRec(x+BVx, y+BVy+H-1)가 거짓(false) 인지 여부에 상관없이 유효하다. 여기서, isRec(x,y)는 화소 (x, y)가 인트라 블록 복사 모드에 의해 복원되는 경우에 참(true)이 되고, H는 상기 현재 비디오 블록의 높이를 의미한다.
L23. 상기 L19 조항의 방법에 있어서, 상기 블록 벡터 (BVx,BVy)는, isRec(x+BVx+W-1, y+BVy+H-1)가 거짓(false) 인지 여부에 상관없이 유효하다. 여기서, isRec(x,y)는 화소 (x, y)가 인트라 블록 복사 모드에 의해 복원되는 경우에 참(true)이 되고, W는 상기 현재 비디오 블록의 폭을 의미하고, H는 상기 현재 비디오 블록의 높이를 의미한다.
L24. 상기 L1-L5 중 하나 이상 조항의 방법에 있어서, 상기 블록 벡터 (BVx,BVy)는, 상기 현재 비디오 블록이 코딩 트리 유닛 행(row)의 첫번째 코딩 트리 유닛에 포함되는 지 여부에 상관없이 유효로 결정된다.
L25. 상기 L1-L5 중 하나 이상 조항의 방법에 있어서, 상기 블록 벡터 (BVx,BVy)는, 다음 모든 조건이 만족하는 경우 유효 여부가 결정된다. (i) x + BVx >= 0, (ii) y + BVy >= floor(y / Hctu), 및 (iii) isRec(x + BVx + W - 1, y + BVy + H - 1)가 참(true)이고, 여기서, isRec(x,y)는 화소 (x, y)가 인트라 블록 복사 모드에 의해 복원되는 경우에 참(true)이 되고, W는 상기 현재 비디오 블록의 폭을 의미하고, H는 상기 현재 비디오 블록의 높이를 의미하고, floor(a) 는 a 보다 크지 않은 값 중 가장 큰 정수를 의미한다.
L26. 상기 L25 조항의 방법에 있어서, 상기 블록 벡터는 CTU 행(row) 내에 첫번째 CTU에 위치한다.
L27. 상기 L3 조항의 방법에 있어서, 상기 위치 (A, B)를 가지는 상기 예측 샘플은 상기 버퍼의 크기, 상기 블록 벡터 (BVx,BVy), 및 상-좌 위치(x, y)에 의해 결정된다.
L28. 상기 L27 조항의 방법에 있어서, 상기 위치 (A, B)를 가지는 상기 예측 샘플은, ((X+BVx)%Wbuf, (Y+BVy)%Hbuf)에 의해 계산된 위치의 예측 샘플을 포함한다. 여기서, Wbuf 및 Hbuf는 각각 상기 버퍼의 폭 및 높이를 의미한다.
L29. 상기 L1-L28 중 하나 이상 조항의 방법에 있어서, 상기 변환은 인트라 블록 복사 모드에서 수행되어 진다.
M1. 시각 매체 처리 방법은:
시각 매체 데이터의 현재 픽쳐내 현재 비디오 블록과 상기 시각 매체 데이터의 비트스트림 표현 간의 변환을 수행하는 단계를 포함한다.
상기 변환은 현재 비디오 블록의 예측 블록을 유도하기 위해 사용되는 참조 샘플들을 포함하는 상기 현재 픽쳐의 참조 영역에 기반하고,
기결정된 크기의 가상 버퍼가 상기 예측 블록을 유도하기 위한 상기 참조 샘플들의 이용 가능성(availability)를 추적하기 위해 사용된다.
M2. 상기 M1 조항의 방법에 있어서, 상기 가상 버퍼는 가상 파이프라인 데이터 유닛(Virtual Pipeline Data Unit; VPDU)를 이용하여 유지되어 지고, 상기 가상 버퍼의 크기는 m*WVPDU x n*HVPDU 이되, WVPDU and HVPDU 는 각각 상기 VPDU의 폭 및 높이를 의미한다.
M3. 상기 M2 조항의 방법에 있어서, m=4, n=2 이다.
M4. 상기 M2 조항의 방법에 있어서, m 및/또는 n은, 상기 현재 비디오 블록과 연관된 픽쳐의 해상도 또는 상기 현재 비디오 블록을 포함하는 코딩 트리 유닛의 크기의 적어도 일부에 기반한다.
M5. 상기 M2 조항의 방법에 있어서, m 및/또는 n은 기결정된 크기를 가진다.
M6. 상기 M2 조항의 방법에 있어서, m 및/또는 n은 상기 비트스트림 표현내의 필드들로서 시그널링 된다.
M7. 상기 M1 조항의 방법에 있어서, 상기 현재 비디오 블록내의 샘플이 상기 가상 버퍼내 (x%(m*WVPDU), y%(n*HVPDU)) 로 맵핑되어 지고, 여기서 상기 현재 비디오 블록내 상기 샘플은 픽쳐의 상-좌 코너에 관련된 (x, y)에 위치하되, x%y 는 y = x - y*floor(x/y)로 정의되어 지고, 여기서 floor(a) 는 a 보다 크지 않은 값 중 가장 큰 정수를 의미하고, WVPDU and HVPDU 는 각각 상기 VPDU의 폭 및 높이를 의미한다.
M8. 상기 M1 조항의 방법에 있어서, 상기 방법은, 상기 가상 버퍼내에 저장된 샘플들의 이용 가능성(availabilities)을 추적하기 위한 행열(array)을 이용하는 단계를 더 포함한다.
M9. 상기 M8 조항의 방법에 있어서, 상기 행열은 상기 가상 버퍼내에 저장된하나 이상의 샘플들이 인트라 블록 복사 모드에서의 예측을 위해 사용되는 지를 지시하는 플래그(flag)을 포함한다.
M10. 상기 M8 조항의 방법에 있어서, 상기 행열은 3x2 크기의 하나 이상의 VPDU 에 대응한다.
M11. 상기 M8 조항의 방법에 있어서, 상기 행열은 4x2 크기의 하나 이상의 VPDU 에 대응한다.
M12. 상기 M1 조항의 방법에 있어서, 상기 가상 버퍼내에 저장된 샘플들의 서브셋(subset)이 예측을 위해 사용되지 않음(unavailable)으로 표시(flagged) 되어 진다.
M13. 상기 M12 조항의 방법에 있어서, 예측을 위해 사용되지 않음으로 표시된(flagged) 상기 샘플들의 서브셋은 가장 최근에 프로세스된 VPDU의 위치에 기반한다.
M14. 상기 M13 조항의 방법에 있어서, 상기 샘플들은 VPDU 프로세싱 초기에 사용되지 않음으로 표시(flagged) 되어 진다.
M15. 상기 M14 조항의 방법에 있어서, 만약 yPrevVPDU%(n*HVPDU)이 0 인 경우, (x, y)에 위차한 상기 샘플들의 서브셋은 사용되지 않음으로 표시(flagged) 되어 진다. 여기서, x 는 첫번째 기결정된 범위내에 놓여지고, y는 두번째 기결정된 범위내에 놓여진다. 여기서 (xPrevVPDU, yPrevVPDU)는 가장 최근 프로세스된 VPDU의 코딩 트리 유닛의 상-좌 코너를 의미하고, WVPDU and HVPDU 는 각각 상기 VPDU의 폭 및 높이를 의미한다.
M16. 상기 M15 조항의 방법에 있어서, 상기 첫번째 범위는 [xPrevVPDU - 2WVPDU+ 2mWVPDU)% mWVPDU, ((xPrevVPDU - 2*WVPDU + 2*m*WVPDU)% (m*WVPDU))-1+WVPDU] 로 표현되고, 상기 두번째 범위는 [yPrevVPDU%(n*HVPDU), (yPrevVPDU%(n*HVPDU))-1+HVPDU] 로 표현된다.
M17. 상기 M15 조항의 방법에 있어서, 상기 첫번째 범위는 [xPrevVPDU - 2*WVPDU+ 2*m*WVPDU)% mWVPDU, ((xPrevVPDU - 2*WVPDU+ 2*m*WVPDU)% (m*WVPDU))-1+WVPDU] 로 표현되고, 상기 두번째 범위는 [yPrevVPDU%(n*HVPDU), (yPrevVPDU%(n*HVPDU))-1+ HVPDU] 로 표현된다.
M18. 상기 M14 조항의 방법에 있어서, 만약 yPrevVPDU%(n*HVPDU)이 0 이 아닌 경우, (x, y)에 위치한 상기 샘플들의 서브셋은 사용되지 않음으로 표시(flagged) 되어 진다. 여기서, x 는 첫번째 기결정된 범위내에 놓여지고, y는 두번째 기결정된 범위내에 놓여진다. 여기서 (xPrevVPDU, yPrevVPDU)는 가장 최근 프로세스된 VPDU의 코딩 트리 유닛의 상-좌 코너를 의미하고, WVPDU and HVPDU 는 각각 상기 VPDU의 폭 및 높이를 의미한다.
M19. 상기 M18 조항의 방법에 있어서, 상기 첫번째 범위는 [xPrevVPDU - WVPDU+ 2*m*WVPDU)% (m*WVPDU), ((xPrevVPDU - WVPDU+ 2*m*WVPDU)% (m*WVPDU))-1+WVPDU]로 표현되고, 상기 두번째 범위는 [yPrevVPDU%(n*HVPDU), (yPrevVPDU%(n*HVPDU))-1+ HVPDU] 로 표현된다.
M20. 상기 M18 조항의 방법에 있어서, 상기 첫번째 범위는 [xPrevVPDU - WVPDU + 2*m*WVPDU)% mWVPDU, ((xPrevVPDU - WVPDU+ 2*m*WVPDU)% (m*WVPDU))-1+WVPDU]로 표현되고, 상기 두번째 범위는 [yPrevVPDU%(n*HVPDU), (yPrevVPDU%(n*HVPDU))-1+ HVPDU]로 표현된다.
M21. 상기 M12 조항의 방법에 있어서, 상기 코딩 트리 유닛이 VPDUs를 포함하면, 예측을 위해 사용되지 않음으로 표시된(flagged) 상기 샘플들의 서브셋은 가장 최근에 프로세스된 코딩 트리 유닛의 위치에 기반한다.
M22. 상기 M21 조항의 방법에 있어서, 상기 샘플들은 코딩 트리 유닛 프로세싱 초기에 사용되지 않음으로 표시(flagged) 되어 진다.
M23. 상기 M1-M22 중 하나 이상 조항의 방법에 있어서, 상기 방법은 현재 비디오 블록에 대응하는 블록 벡터의 유효성을 상기 현재 비디오 블록의 상-좌(upper-left) 위치, 상기 현재 비디오 블록의 하-좌(bottom-left) 위치, 상기 현재 비디오 블록의 하-우(bottom-right) 위치에 기반하여 결정하는 단계를 더 포함한다. 여기서 상기 현재 비디오 블록의 상-우(upper-right) 위치는 제외한다.
M24. 상기 M1-M22 중 하나 이상 조항의 방법에 있어서, 상기 변환은 인트라 블록 복사 모드에서 수행되어 진다.
N1. 시각 매체 처리 방법은:
시각 매체 데이터의 현재 픽쳐내 현재 비디오 블록과 상기 시각 매체 데이터의 비트스트림 표현 간의 변환을 위해, 현재 비디오 블록의 예측 블록을 유도하기 위한 현재 픽쳐의 참조 샘플들을 포함하는 버퍼를 유지하는 단계를 포함하되, 상기 유도를 위해 사용하지 않는 것으로 표시된 상기 버퍼내의 하나 이상의 참조 샘플들은 화소 값 범위 외부의 값을 가진다.
N2. 상기 N1 조항의 방법에 있어서, 상기 화소 값 범위는 [0, 1<<(bit_depth) - 1]으로 표현되고, 여기서 bit_depth 는 양의 정수이다.
N3. 상기 N2 조항의 방법에 있어서, bit_depth 는 상기 샘플들을 프로세싱하기 위해 사용되는 정밀도(precision) 이다.
N4. 상기 N1 조항의 방법에 있어서, 상기 방법은 상기 버퍼내의 샘플 셋(set of samples)을 상기 샘플 셋의 비이용성(unavailability)을 지시하는 기결정된 값으로 초기화하는 단계를 더 포함한다.
N5. 상기 N4 조항의 방법에 있어서, 상기 기결정된 값은 -1 이다.
N6. 상기 N4-N5 중 하나 이상 조항의 방법에 있어서, 상기 샘플 셋의 위치들 및/또는 상기 샘플 셋을 상기 기결정된 값으로 초기화할 지 여부는; 상기 현재 비디오 블록의 위치, 상기 현재 비디오 블록의 크기, 상기 현재 비디오 블록을 포함하는 VPDU 크기 및/또는 상기 현재 비디오 블록을 포함하는 코딩 트리 유닛의 크기 중 하나 이상에 기반한다.
N7. 상기 N6 조항의 방법에 있어서, 만약 (xCb%vSize)이 0 이고, (yCb%vSize)이 0 이 되면, 상기 샘플 셋은 비이용성으로 표시된다. 여기서, xCb, yCb는 상기 샘플에 대응하는 상기 현재 비디오 블록의 위치를 의미하고, vSize= min(ctbSize, 64) 이고, ctbSize 는 상기 코딩 트리 유닛의 폭 또는 높이를 의미한다.
N8. 상기 N1 조항의 방법에 있어서, 만약 상기 현재 비디오 블록의 크기가 min(ctbSize, 64) 보다 작으면, 상기 버퍼내 상기 샘플 셋은 비이용성으로 표시되고, 여기서 ctbSize 는 상기 코딩 트리 유닛의 폭 또는 높이를 의미한다.
N9. 상기 N8 조항의 방법에 있어서, 복수 샘플들의 위치들은 VPDU 크기와 관련되어 있다.
N10. 상기 N8 조항의 방법에 있어서, 샘플 셋의 위치들은 상기 현재 비디오 블록을 포함하는 코딩 트리 유닛 크기와 관련되어 있다.
N11. 상기 N4 조항의 방법에 있어서, 상기 버퍼내 상기 샘플 셋은 (x%wIbcBuf, y%hIbcBuf)로 표현되는 위치를 가진다. 여기서 x = xV, ,,, ,xV+ctbSize-1, y=yV, ... ,yV+ctbSize-1 이고, xV, yV는 픽쳐의 상-좌(upper-left) 위치에 대응하는 VPDU 상-좌(upper-left) 위치를 의미하고, ctbSize 는 상기 코딩 트리 유닛의 폭 또는 높이를 의미하고, wIbcBuf 및 hIbcBuf는 버퍼 폭 및 버퍼 높이를 의미한다.
N12. 상기 N11 조항의 방법에 있어서, 상기 버퍼내 상기 샘플 셋은 -1 로 초기화 된다.
N13. 상기 N4 조항의 방법에 있어서, 상기 버퍼내 상기 샘플 셋은 비디오 유닛 디코딩 시작시에 초기화 된다.
N14. 상기 N1-N13 중 하나 이상 조항의 방법에 있어서, 상기 변환은 인트라 블록 복사 모드에서 수행되어 진다.
O1. 시각 매체 데이터 처리 방법은;
시각 매체 데이터의 현재 픽쳐내 현재 비디오 블록과 상기 시각 매체 데이터의 비트스트림 표현 간의 변환을, 현재 비디오 블록의 예측 블록을 유도하기 위한 현재 픽쳐의 참조 샘플들을 포함하는 버퍼를 이용하여, 수행하는 단계를 포함한다. 그리고
상기 변환은 규칙에 근거하고, 상기 규칙은, 규칙에 부합하는 비트스트림 표현을 위해, 비트스트림 적합 제약을 만족하는 상기 버퍼내의 참조 샘플들을 명시한다.
O2. 상기 O1 조항의 방법에 있어서, 상기 비트스트림 적합 제약은 적어도 (1) 상기 버퍼내 참조 샘플 값 및/또는 (2) 상기 버퍼내 샘플의 이용가능성 정보(availability information) 중 어느 하나에 기반한다.
O3. 상기 O1-O2 중 하나 이상 조항의 방법에 있어서, 상기 비트스트림 적합 제약은, 만약 상기 버퍼내 샘플이 화소 범위 외부의 값을 가지는 경우, 상기 비트스트림 표현은 비적합(non-conforming)임을 명시한다.
O4. 상기 O3 조항의 방법에 있어서, 상기 범위는 [K0, K1]이고, 여기서 K0는 0 으로 설정되고, K1은 (1<<BitDepth-1)으로 설정되고, 여기서 BitDepth는 예측 샘플의 정밀도를 나타낸다.
O5. 상기 O1-O2 중 하나 이상 조항의 방법에 있어서, 상기 비트스트림 적합 제약은, 만약 상기 버퍼내 샘플의 이용가능성 정보가 상기 샘플이 상기 현재 비디오 블록에 비이용임을 지시하는 경우, 상기 비트스트림 표현은 비적합(non-conforming)임을 명시한다.
O6. 상기 O1-O2 중 하나 이상 조항의 방법에 있어서, 상기 샘플은 루마 샘플이고, 상기 비트스트림 적합 제약은, 만약 상기 버퍼내 샘플의 이용가능성 정보가 상기 샘플이 상기 현재 비디오 블록에 비이용이고 상기 현재 비디오 블록을 위해 싱글 트리 분할이 사용됨을 지시하는 경우, 상기 비트스트림 표현은 비적합(non-conforming)임을 명시한다.
O7. 상기 O1-O6 중 하나 이상 조항의 방법에 있어서, 상기 방법은 상기 버퍼내 샘플 값에 의해 상기 샘플의 이용가능성 정보를 표시하는 단계를 더 포함한다.
O8. 상기 O7 조항의 방법에 있어서, 상기 샘플 값은 [K0, K1] 으로 나타내어 지는 구간내에 놓여지는 경우, 상기 샘플의 이용가능성 정보는 이용가능으로 표시된다.
O9. 상기 O7 조항의 방법에 있어서, K0는 0 으로 설정되고, K1은 (1<<BitDepth-1)으로 설정되고, 여기서 BitDepth는 예측 샘플의 정밀도를 나타낸다.
O10. 상기 O1-O8 중 하나 이상 조항의 방법에 있어서, 상기 비트스트림 적합 제약은, 상기 현재 비디오 블록과 관련된 코딩 유닛의 분할 타입(partitioning type) 및 트리 타입(tree type)에 더 기반한다.
O11. 상기 O10 조항의 방법에 있어서, 만약 상기 분할 타입은 듀얼 트리 이고 상기 트리 타입은 싱글 트리인 경우, 상기 비트스트림 적합 제약은 상기 샘플의 모든 칼라 컴포넌트가 비이용으로 표시되는 지를 확인함을 명시한다.
O12. 상기 O10 조항의 방법에 있어서, 만약 상기 분할 타입은 듀얼 트리 이고 상기 트리 타입은 듀얼 트리인 경우, 상기 비트스트림 적합 제약은 상기 샘플의 크로마 컴포넌트가 비이용으로 표시되는 지 확인을 제외함을 명시한다.
O13. 상기 O1-O12 중 하나 이상 조항의 방법에 있어서, 상기 변환은 인트라 블록 복사 모드에서 수행되어 진다.
XX, L1-XX 중 어느 한 조항의 방법에 있어서, 상기 변환은 상기 현재 비디오 블록으로부터 비트스트림 표현의 생성을 포함한다.
XX, L1-XX 중 어느 한 조항의 방법에 있어서, 상기 변환이 비트스트림 표현으로부터의 상기 현재 비디오 블록의 화소 값들의 생성을 포함한다.
XX. 비디오 인코더 장치는 L1-XX 중 하나 이상의 조항에 기재된 방법을 구현하도록 구성된 프로세서를 구비한다.
XX. 비디오 디코더 장치는 L1-XX 중 하나 이상의 조항에 기재된 방법을 구현하도록 구성된 프로세서를 구비한다.
XX. 저장된 코드를 갖는 컴퓨터 독출 가능한 매체로, 코드는 1L1-XX 중 하나 이상의 조항에 기재된 방법을 구현하는(implementing) 프로세서-실행 가능한 명령들을 구체화(embodying) 한다.
이 명세서에서 "비디오 처리(video processing)"라는 용어는 비디오 인코딩, 비디오 디코딩, 비디오 압축, 또는 비디오 압축해제를 지칭할 수 있다. 예를 들어, 비디오 압축 알고리즘들이 비디오의 화소 표현으로부터 대응 비트스트림 표현으로의 변환 동안 적용될 수 있으며 그 역도 마찬가지이다. 현재 비디오 블록의 비트스트림 표현은 예를 들어 신택스에 정의된 바와 같이 비트스트림의 다른 위치들에 공존(co-located)하거나 분산된 비트들에 대응할 수 있다. 예를 들어 매크로블록(macroblock)은 변환 및 코딩된 오류 잔차 값(error residual value)들로, 또한 헤더 또는 비트스트림 내의 다른 필드들의 비트를 사용하여 인코딩될 수 있다.
이상에서, 현재 개시되는 (본 발명) 기술의 특정한 실시예들이 예시의 목적으로 기재되었지만 본 발명의 범위를 벗어나지 않고도 다양한 변경들이 이뤄질 수 있음을 이해해야 할 것이다. 이에 따라, 현재 개시되는 (본 발명) 기술은 첨부된 청구항들에 의해서가 아니면 한정되지 않는다.
이 명세서에 기재된 주제의 구현과 기능적 작동들은, 이 명세서에 개시된 구조들과 그 구조적 등가물들, 또는 그 하나 이상의 조합들을 포함하여 여러 가지 시스템, 디지털 전자 회로, 또는 컴퓨터 소프트웨어, 펌웨어, 또는 하드웨어로 구현될 수 있다. 이 명세서에 기재된 주제의 구현과 기능적 작동들은 하나 이상의 컴퓨터 프로그램 제품들, 즉 데이터 처리 장치에서 실행되거나 그 작동을 제어하는 유형 및 비일시적인 컴퓨터 독출 가능한 매체 상에 인코딩된 컴퓨터 프로그램 명령의 하나 이상의 모듈들로 구현될 수 있다. 컴퓨터 독출 가능한 매체는 기계 독출 가능한 저장 장치, 기계 독출 가능한 저장 기판, 메모리 장치, 기계 독출 가능한 전파 신호(propagated signal)를 일으키는(effecting) 물질의 조성(composition of matter), 또는 그 하나 이상의 조합이 될 수 있다. "데이터 처리 유닛(data processing unit)" 또는 "데이터 처리 장치(data processing apparatus)"라는 용어는 예를 들어 프로그래밍 가능한 프로세서, 컴퓨터, 또는 복수의 프로세서들 또는 컴퓨터들을 포함하여 데이터를 처리하는 모든 장치, 기기, 또는 기계들을 포괄한다. 장치는 하드웨어에 추가하여 예를 들어 프로세서 펌웨어를 구성하는 코드, 프로토콜 스택(protocol stack), 데이터베이스 관리 시스템, 운영체제, 또는 그 하나 이상의 조합 등 문제의 컴퓨터 프로그램에 대한 실행 환경을 생성하는 코드를 포함할 수 있다.
(프로그램, 소프트웨어, 소프트웨어 앱(application), 스크립트(script), 또는 코드로도 알려진) 컴퓨터 프로그램은 컴파일형 및 해석형 언어들을 포함하는 어느 형태의 프로그래밍 언어로 기입되어, 독립형(stand-alone) 프로그램 또는 모듈, 컴포넌트, 서브루틴, 또는 연산 환경에 사용되기에 적합한 다른 유닛을 포함하는 어느 형태로 배치될 수 있다. 컴퓨터 프로그램이 반드시 파일(file) 또는 파일 시스템에 대응해야 하는 것은 아니다. 프로그램은 (예를 들어 마크업 언어 문서(markup language document)에 저장된 하나 이상의 스크립트들 등의) 다른 프로그램들 또는 데이터를 보유하는 파일의 일부에, 문제의 프로그램 전용의 단일한 프로그램에, 또는 (예를 들어 하나 이상의 모듈들, 서브프로그램들, 또는 코드의 일부들 등) 복수의 분산 파일들(multiple coordinated file)에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 또는 하나의 장소(site)에 위치하거나 또는 통신 네트워크에 의해 상호연결된 복수의 장소들에 걸쳐 분포되는 복수의 컴퓨터들 상에서 실행되도록 배치될 수 있다.
이 명세서에 기재된 프로세스들과 로직 흐름들은 하나 이상의 컴퓨터 프로그램들을 실행하여 입력 데이터에 대해 작동되어 출력을 생성함으로써 기능들을 수행하는 하나 이상의 프로그래밍 가능한 프로세서들로 수행될 수 있다. 프로세스들과 로직 흐름들은 또한 예를 들어 FPGA(field programmable gate array; 현장 프로그래밍 가능한 게이트 어레이) 또는 ASIC(application specific integrated circuit; 주문형 집적회로) 등의 특수목적 논리회로에 의해 수행되거나 장치 역시 이로써 구현될 수 있다.
컴퓨터 프로그램의 실행에 적합한 프로세서는 예를 들어 범용 및 특수목적 마이크로프로세서들과, 어떤 종류의 디지털 컴퓨터의 어느 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 독출 전용 메모리 또는 랜덤 액세스 메모리 또는 양자로부터 명령들과 데이터를 수신한다. 컴퓨터의 필수 요소는 명령들을 수행하는 프로세서와 명령들과 데이터를 저장하는 하나 이상의 메모리 장치들이다. 일반적으로, 컴퓨터는 또한, 예를 들어 자기, 자기 광학 디스크, 또는 광학 디스크 등 데이터를 저장하는 하나 이상의 대용량 저장 장치들을 포함하거나, 이로부터 데이터를 수신하고 이로 데이터를 전송하도록 작동상 결합되거나, 양자 모두일 것이다. 그러나 컴퓨터는 이런 장치들을 가질 필요 없다. 컴퓨터 프로그램 명령들과 데이터를 저장하기에 적합한 컴퓨터 독출 가능한 매체는 예를 들어 EPROM, EEPROM, 또는 플래시 메모리 장치 등의 반도체 메모리 장치를 포함하여 모든 형태의 비휘발성 메모리, 매체, 및 메모리 장치들을 포함한다. 프로세서와 메모리는 특수목적 논리 회로로 보충되거나 이에 포함될 수 있다.
도면들과 함께 이 명세서는 단지 예시로 간주될 것을 의도한 것인데, 여기서 예시(exemplary)는 예(example)를 의미한다. 이 명세서에 사용된 바와 같이, "또는(or)"의 사용은 문맥이 명확히 달리 지시하지 않는 한 "및/또는(and/or)"를 포함하려 의도한 것이다.
이 명세서가 많은 상세들을 포함하지만, 이들은 어느 발명 또는 청구될 수 있는 것의 범위에 대한 제한으로 해석되어서는 안 되며, 특정한 발명의 특정한 실시예들에 특정될 수 있는 특징들의 설명으로 해석되어야 할 것이다, 이 명세서에 별도의 실시예들의 맥락에서 설명된 어떤 특징들은 단일한 실시예에 조합되어 구현될 수 있다. 역으로 단일한 실시예에 기재된 여러 특징들 역시 복수의 실시예들에 별도로 또는 어느 적절한 하부조합으로 구현될 수 있다. 뿐만 아니라, 특징들이 어떤 조합들로 동작하도록 위에 기재되고 심지어 처음 그렇게 청구되었더라도, 어떤 경우에는 청구된 조합으로부터 하나 이상의 특징들이 제거되어, 청구된 조합이 하부조합 또는 하부조합의 변형을 지향할 수 있다.
마찬가지로, 작동들이 도면들에 특정한 순서로 도시되었지만, 바람직한 결과를 달성하기 위해 이러한 작동들이 도시된 특정한 순서 또는 순차적 순서로 실행되거나 모든 도시된 작동들이 실행될 것을 요구하는 것으로 이해해서는 안 된다. 뿐만 아니라, 이 명세서에 기재된 실시예들의 여러 가지 시스템 구성요소들의 분리가 모든 실시예들에서 이러한 분리를 요구하는 것으로 이해되어서는 안 된다.
일부만의 구현예와 예들이 도시되었지만, 다른 구현예들, 개선 및 변형들이 이 명세서에 설명되고 도시된 것에 기반하여 이뤄질 수 있을 것이다.
Claims (29)
- 비디오의 현재 픽쳐내 현재 비디오 블록과 상기 비디오의 비트스트림 표현 간의 변환을 위해, 제1 예측 모드가 상기 현재 비디오 블록에 적용되는 지를 결정하는 단계;
상기 제1 예측 모드를 위해, 상기 현재 픽쳐의 참조 영역으로부터 유도된 참조 샘플들을 포함하는 정의된 크기의 가상 버퍼를 유지하는 단계;
상기 현재 비디오 블록을 위해, 상기 가상 버퍼내에서 상기 참조 샘플들에 기반하여 예측 블록을 유도하는 단계; 및
적어도 상기 예측 블록에 기반하여 상기 변환을 수행하는 단계를 포함하되,
상기 가상 버퍼내의 상기 참조 샘플들의 서브 셋(subset)은 상기 예측 블록을 유도하기 위해 이용되지 않고,
상기 참조 샘플들의 서브 셋의 위치는 가상 단위(virtual unit)의 크기에 기반하여 결정되되, 상기 현재 비디오 블록의 크기가 상기 가상 단위의 크기 보다 큰 경우, 상기 참조 샘플들의 서브 셋의 위치는 상기 현재 비디오 블록의 크기에 더 근거하여 결정되고,
상기 참조 샘플들의 서브 셋의 위치는 (x0, y0)에 기반하여 결정되며, 여기서, y0 % Vsize = 0 이고, (x0, y0)는 상기 현재 픽쳐의 위치를 특정하며, Vsize 는 상기 가상 단위의 크기를 의미하되, Vsize = min(ctbSize, 64) 이고 ctbSize는 상기 현재 비디오 블록을 포함하는 코딩 트리 블록(coding tree block)의 크기를 나타내며, 상기 참조 샘플들의 서브 셋의 위치는 x0 % Vsize 값에 더 기반하여 결정되되, % 는 모듈 연산 (modulo operation)인, 비디오 데이터 처리 방법. - 제1항에 있어서, 상기 가상 버퍼의 크기는 mxW x nxH이고, 여기서 W는 상기 가상 단위의 폭을 의미하고, H는 상기 가상 단위의 높이를 의미하고, m 및 n은 정수인, 비디오 데이터 처리 방법.
- 제2항에 있어서, 상기 m 및 n의 값은, 상기 코딩 트리 블록의 크기에 종속되는, 비디오 데이터 처리 방법.
- 제3항에 있어서, m=4, n=2 인, 비디오 데이터 처리 방법.
- 제1항에 있어서, 상기 참조 샘플들의 서브 셋은 상기 가상 버퍼내 (x, y) 지점에 위치하고, 여기서, x는 x0 및 Vsize 에 기반하여 결정된 상기 가상 버퍼내 제1 기결정된 범위내에 놓여있고, y는 y0 및 Vsize 에 기반하여 결정된 상기 가상 버퍼내 제2 기결정된 범위내에 놓여있으며, (x0, y0)는 상기 가상 단위의 좌상 (upper-left) 코너 지점을 의미하는, 비디오 데이터 처리 방법.
- 삭제
- 제1항에 있어서, 상기 가상 버퍼는 픽쳐 또는 슬라이스를 코딩 하기 전에 리셋(reset)되는, 비디오 데이터 처리 방법.
- 제1항에 있어서, 상기 변환은 상기 현재 비디오 블록을 상기 비트스트림으로 인코딩하는 것을 포함하는, 비디오 데이터 처리 방법.
- 제1항에 있어서, 상기 변환은 상기 비트스트림으로부터 상기 현재 비디오 블록을 디코딩하는 것을 포함하는, 비디오 데이터 처리 방법.
- 삭제
- 프로세서와 명령을 포함하는 비일시적 메모리를 포함하는 비디오 데이터 처리 장치로서, 상기 프로세서에 의해 수행되는 명령은 상기 프로세서가,
비디오의 현재 픽쳐내 현재 비디오 블록과 상기 비디오의 비트스트림 표현 간의 변환을 위해, 제1 예측 모드가 상기 현재 비디오 블록에 적용되는 지를 결정하게 하고,
상기 제1 예측 모드를 위해, 상기 현재 픽쳐의 참조 영역으로부터 유도된 참조 샘플들을 포함하는 정의된 크기의 가상 버퍼를 유지하게 하고,
상기 현재 비디오 블록을 위해, 상기 가상 버퍼내에서 상기 참조 샘플들에 기반하여 예측 블록을 유도하도록 하고; 및
적어도 상기 예측 블록에 기반하여 상기 변환을 수행하도록 하되,
상기 가상 버퍼내의 상기 참조 샘플들의 서브 셋(subset)은 상기 예측 블록을 유도하기 위해 이용되지 않고,
상기 참조 샘플들의 서브 셋의 위치는 가상 단위(virtual unit)의 크기에 기반하여 결정되되, 상기 현재 비디오 블록의 크기가 상기 가상 단위의 크기 보다 큰 경우, 상기 참조 샘플들의 서브 셋의 위치는 상기 현재 비디오 블록의 크기에 더 근거하여 결정되고,
상기 참조 샘플들의 서브 셋의 위치는 (x0, y0)에 기반하여 결정되며, 여기서, y0 % Vsize = 0 이고, (x0, y0)는 상기 현재 픽쳐의 위치를 특정하며, Vsize 는 상기 가상 단위의 크기를 의미하되, Vsize = min(ctbSize, 64) 이고 ctbSize는 상기 현재 비디오 블록을 포함하는 코딩 트리 블록(coding tree block)의 크기를 나타내며, 상기 참조 샘플들의 서브 셋의 위치는 x0 % Vsize 값에 더 기반하여 결정되되, % 는 모듈 연산 (modulo operation)인, 비디오 데이터 처리 장치. - 명령을 저장하는 비일시적 컴퓨터 판독 가능한 저장 매체로서, 상기 명령은 프로세서(processor)가,
비디오의 현재 픽쳐내 현재 비디오 블록과 상기 비디오의 비트스트림 표현 간의 변환을 위해, 제1 예측 모드가 상기 현재 비디오 블록에 적용되는 지를 결정하게 하고,
상기 제1 예측 모드를 위해, 상기 현재 픽쳐의 참조 영역으로부터 유도된 참조 샘플들을 포함하는 정의된 크기의 가상 버퍼를 유지하게 하고,
상기 현재 비디오 블록을 위해, 상기 가상 버퍼내에서 상기 참조 샘플들에 기반하여 예측 블록을 유도하도록 하고; 및
적어도 상기 예측 블록에 기반하여 상기 변환을 수행하도록 하되,
상기 가상 버퍼내의 상기 참조 샘플들의 서브 셋(subset)은 상기 예측 블록을 유도하기 위해 이용되지 않고,
상기 참조 샘플들의 서브 셋의 위치는 가상 단위(virtual unit)의 크기에 기반하여 결정되되, 상기 현재 비디오 블록의 크기가 상기 가상 단위의 크기 보다 큰 경우, 상기 참조 샘플들의 서브 셋의 위치는 상기 현재 비디오 블록의 크기에 더 근거하여 결정되고,
상기 참조 샘플들의 서브 셋의 위치는 (x0, y0)에 기반하여 결정되며, 여기서, y0 % Vsize = 0 이고, (x0, y0)는 상기 현재 픽쳐의 위치를 특정하며, Vsize 는 상기 가상 단위의 크기를 의미하되, Vsize = min(ctbSize, 64) 이고 ctbSize는 상기 현재 비디오 블록을 포함하는 코딩 트리 블록(coding tree block)의 크기를 나타내며, 상기 참조 샘플들의 서브 셋의 위치는 x0 % Vsize 값에 더 기반하여 결정되되, % 는 모듈 연산 (modulo operation)인, 비일시적 컴퓨터 판독 가능한 저장 매체. - 비디오 처리 장치에 의해 수행되는 방법에 의해 생성되는 비트스트림을 저장하는 비일시적 컴퓨터 판독 가능한 기록 매체로서, 상기 방법은,
비디오의 현재 픽쳐내 현재 비디오 블록에 적용되는 제1 예측 모드를 결정하는 단계;
상기 제1 예측 모드를 위해, 상기 현재 픽쳐의 참조 영역으로부터 유도된 참조 샘플들을 포함하는 정의된 크기의 가상 버퍼를 유지하는 단계;
상기 현재 비디오 블록을 위해, 상기 가상 버퍼내에서 상기 참조 샘플들에 기반하여 예측 블록을 유도하는 단계; 및
적어도 상기 예측 블록에 기반하여 상기 현재 비디오 블록으로부터 상기 비트스트림을 생성하는 단계를 포함하되,
상기 가상 버퍼내의 상기 참조 샘플들의 서브 셋(subset)은 상기 예측 블록을 유도하기 위해 이용되지 않고,
상기 참조 샘플들의 서브 셋의 위치는 가상 단위(virtual unit)의 크기에 기반하여 결정되되, 상기 현재 비디오 블록의 크기가 상기 가상 단위의 크기 보다 큰 경우, 상기 참조 샘플들의 서브 셋의 위치는 상기 현재 비디오 블록의 크기에 더 근거하여 결정되고,
상기 참조 샘플들의 서브 셋의 위치는 (x0, y0)에 기반하여 결정되며, 여기서, y0 % Vsize = 0 이고, (x0, y0)는 상기 현재 픽쳐의 위치를 특정하며, Vsize 는 상기 가상 단위의 크기를 의미하되, Vsize = min(ctbSize, 64) 이고 ctbSize는 상기 현재 비디오 블록을 포함하는 코딩 트리 블록(coding tree block)의 크기를 나타내며, 상기 참조 샘플들의 서브 셋의 위치는 x0 % Vsize 값에 더 기반하여 결정되되, % 는 모듈 연산 (modulo operation)인, 비일시적 컴퓨터 판독 가능한 기록 매체. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020237041554A KR20230170800A (ko) | 2019-07-06 | 2020-07-01 | 비디오 코딩에서 인트라 블록 카피를 위한 가상 예측 버퍼 |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNPCT/CN2019/094957 | 2019-07-06 | ||
| CN2019094957 | 2019-07-06 | ||
| CN2019095297 | 2019-07-09 | ||
| CNPCT/CN2019/095297 | 2019-07-09 | ||
| PCT/CN2020/099702 WO2021004348A1 (en) | 2019-07-06 | 2020-07-01 | Virtual prediction buffer for intra block copy in video coding |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237041554A Division KR20230170800A (ko) | 2019-07-06 | 2020-07-01 | 비디오 코딩에서 인트라 블록 카피를 위한 가상 예측 버퍼 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220029598A KR20220029598A (ko) | 2022-03-08 |
| KR102677020B1 true KR102677020B1 (ko) | 2024-06-19 |
Family
ID=80001960
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237041554A Pending KR20230170800A (ko) | 2019-07-06 | 2020-07-01 | 비디오 코딩에서 인트라 블록 카피를 위한 가상 예측 버퍼 |
| KR1020217043338A Active KR102677020B1 (ko) | 2019-07-06 | 2020-07-01 | 비디오 코딩에서 인트라 블록 카피를 위한 가상 예측 버퍼 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237041554A Pending KR20230170800A (ko) | 2019-07-06 | 2020-07-01 | 비디오 코딩에서 인트라 블록 카피를 위한 가상 예측 버퍼 |
Country Status (11)
| Country | Link |
|---|---|
| US (2) | US11575888B2 (ko) |
| EP (1) | EP3981151A4 (ko) |
| JP (2) | JP7583016B2 (ko) |
| KR (2) | KR20230170800A (ko) |
| CN (2) | CN114175645B (ko) |
| AU (1) | AU2020309663C1 (ko) |
| BR (1) | BR112022000187A2 (ko) |
| CA (1) | CA3146016C (ko) |
| MX (1) | MX2022000102A (ko) |
| PH (1) | PH12022550024A1 (ko) |
| ZA (1) | ZA202200289B (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12238314B2 (en) | 2019-02-02 | 2025-02-25 | Beijing Bytedance Network Technology Co., Ltd. | Prediction using extra-buffer samples for intra block copy in video coding |
| US12284374B2 (en) | 2019-02-02 | 2025-04-22 | Beijing Bytedance Network Technology Co., Ltd. | Data storage in buffers for intra block copy in video coding |
| US12301793B2 (en) | 2019-07-10 | 2025-05-13 | Beijing Bytedance Network Technology Co., Ltd. | Sample identification for intra block copy in video coding |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117395439A (zh) | 2019-03-01 | 2024-01-12 | 北京字节跳动网络技术有限公司 | 用于视频编解码中的帧内块复制的基于方向的预测 |
| WO2020177659A1 (en) | 2019-03-01 | 2020-09-10 | Beijing Bytedance Network Technology Co., Ltd. | Direction-based prediction for intra block copy in video coding |
| JP7284284B2 (ja) | 2019-03-04 | 2023-05-30 | 北京字節跳動網絡技術有限公司 | 映像符号化におけるイントラブロックコピーの実装形態の態様 |
| CN114175645B (zh) | 2019-07-06 | 2024-04-12 | 北京字节跳动网络技术有限公司 | 用于视频编解码中的帧内块复制的虚拟预测缓冲 |
| CN114097221B (zh) | 2019-07-11 | 2024-01-12 | 北京字节跳动网络技术有限公司 | 用于视频编解码中的帧内块复制的比特流一致性约束 |
| KR102747359B1 (ko) | 2019-07-25 | 2024-12-31 | 두인 비전 컴퍼니 리미티드 | 인트라 블록 복사 가상 버퍼에 대한 크기 제한 |
| CN117579825A (zh) | 2019-09-05 | 2024-02-20 | 北京字节跳动网络技术有限公司 | 帧内块复制模式下块矢量的范围约束 |
| EP4018664A4 (en) | 2019-09-23 | 2022-11-16 | Beijing Bytedance Network Technology Co., Ltd. | SETTING AN INTRA-BLOCK COPY VIRTUAL BUFFER BASED ON A VIRTUAL PIPELINE DATA UNIT |
| CN115362674A (zh) * | 2020-03-18 | 2022-11-18 | 抖音视界有限公司 | 帧内块复制缓冲区和调色板预测值更新 |
| JP2024512785A (ja) * | 2021-04-02 | 2024-03-19 | ヒョンダイ モーター カンパニー | 適応的空間解像度を有するブロックベクトルを用いるビデオコーディング方法及び装置 |
Family Cites Families (207)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BR0206777A (pt) | 2001-11-29 | 2004-02-25 | Matsushita Electric Ind Co Ltd | Método de remoção de distorção de codificação, método de codificação de vìdeo e aparelho e programa para o mesmo |
| KR100491530B1 (ko) | 2002-05-03 | 2005-05-27 | 엘지전자 주식회사 | 모션 벡터 결정 방법 |
| JP4724351B2 (ja) * | 2002-07-15 | 2011-07-13 | 三菱電機株式会社 | 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置 |
| CN100499788C (zh) | 2003-01-09 | 2009-06-10 | 加利福尼亚大学董事会 | 视频编码设备 |
| JP4360093B2 (ja) | 2003-02-05 | 2009-11-11 | ソニー株式会社 | 画像処理装置および符号化装置とそれらの方法 |
| US7403660B2 (en) | 2003-04-30 | 2008-07-22 | Nokia Corporation | Encoding picture arrangement parameter in picture bitstream |
| AU2003903448A0 (en) | 2003-06-26 | 2003-07-17 | Canon Kabushiki Kaisha | A method for tracking depths in a scanline based raster image processor |
| US7570305B2 (en) | 2004-03-26 | 2009-08-04 | Euresys S.A. | Sampling of video data and analyses of the sampled data to determine video properties |
| CN1589028B (zh) | 2004-07-29 | 2010-05-05 | 展讯通信（上海）有限公司 | 基于像素流水的帧内预测装置及预测方法 |
| US20060233237A1 (en) | 2005-04-15 | 2006-10-19 | Apple Computer, Inc. | Single pass constrained constant bit-rate encoding |
| US7801223B2 (en) | 2006-07-27 | 2010-09-21 | Lsi Corporation | Method for video decoder memory reduction |
| JP4592656B2 (ja) | 2006-08-17 | 2010-12-01 | 富士通セミコンダクター株式会社 | 動き予測処理装置、画像符号化装置および画像復号化装置 |
| AU2007311489B2 (en) * | 2006-10-20 | 2012-05-24 | Nokia Technologies Oy | Virtual decoded reference picture marking and reference picture list |
| CN100551073C (zh) | 2006-12-05 | 2009-10-14 | 华为技术有限公司 | 编解码方法及装置、分像素插值处理方法及装置 |
| JP4254866B2 (ja) | 2007-01-31 | 2009-04-15 | ソニー株式会社 | 情報処理装置および方法、プログラム、並びに記録媒体 |
| JP2008227702A (ja) | 2007-03-09 | 2008-09-25 | Oki Electric Ind Co Ltd | 動きベクトル探索装置、動きベクトル探索方法及び動きベクトル探索プログラム |
| US7916728B1 (en) | 2007-09-28 | 2011-03-29 | F5 Networks, Inc. | Lockless atomic table update |
| JP2009272724A (ja) | 2008-04-30 | 2009-11-19 | Panasonic Corp | ビデオ符号化・復号化装置 |
| US20100014584A1 (en) | 2008-07-17 | 2010-01-21 | Meir Feder | Methods circuits and systems for transmission and reconstruction of a video block |
| US8259794B2 (en) | 2008-08-27 | 2012-09-04 | Alexander Bronstein | Method and system for encoding order and frame type selection optimization |
| US8171269B2 (en) | 2009-03-06 | 2012-05-01 | Agere Systems Inc. | Branch target buffer with entry source field for use in determining replacement priority |
| TWI383688B (zh) | 2009-03-11 | 2013-01-21 | Quanta Comp Inc | 視訊壓縮電路與其方法 |
| US20110122950A1 (en) * | 2009-11-26 | 2011-05-26 | Ji Tianying | Video decoder and method for motion compensation for out-of-boundary pixels |
| WO2011112534A1 (en) | 2010-03-08 | 2011-09-15 | Dana-Farber Cancer Institute, Inc. | Full cold-pcr enrichment with reference blocking sequence |
| KR101817481B1 (ko) | 2010-04-09 | 2018-02-21 | 미쓰비시덴키 가부시키가이샤 | 동화상 복호 장치, 동화상 복호 방법, 동화상 부호화 장치, 동화상 부호화 방법 및 기억 매체 |
| US20110249754A1 (en) | 2010-04-12 | 2011-10-13 | Qualcomm Incorporated | Variable length coding of coded block pattern (cbp) in video compression |
| EP2559239A2 (en) | 2010-04-13 | 2013-02-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus for intra predicting a block, apparatus for reconstructing a block of a picture, apparatus for reconstructing a block of a picture by intra prediction |
| US9118929B2 (en) | 2010-04-14 | 2015-08-25 | Mediatek Inc. | Method for performing hybrid multihypothesis prediction during video coding of a coding unit, and associated apparatus |
| US8917774B2 (en) | 2010-06-30 | 2014-12-23 | Warner Bros. Entertainment Inc. | Method and apparatus for generating encoded content using dynamically optimized conversion |
| EP2596637B1 (en) | 2010-07-21 | 2021-08-04 | Dolby Laboratories Licensing Corporation | Systems and methods for multi-layered frame-compatible video delivery |
| US9161056B2 (en) | 2010-11-24 | 2015-10-13 | Texas Instruments Incorporated | Method for low memory footprint compressed video decoding |
| US20120236931A1 (en) | 2010-12-23 | 2012-09-20 | Qualcomm Incorporated | Transform coefficient scan |
| CN102595118B (zh) | 2011-01-14 | 2015-04-08 | 华为技术有限公司 | 一种编解码中的预测方法和预测器 |
| EP3220641B1 (en) | 2011-04-21 | 2019-01-02 | HFI Innovation Inc. | Method and apparatus for improved in-loop filtering |
| CN107277539B (zh) | 2011-05-27 | 2020-11-06 | 寰发股份有限公司 | 减少用于上下文自适应熵解码中的行缓存的方法及装置 |
| CN103597827B (zh) | 2011-06-10 | 2018-08-07 | 寰发股份有限公司 | 可伸缩视频编码方法及其装置 |
| HRP20231180T1 (hr) | 2011-06-30 | 2024-01-05 | Microsoft Technology Licensing, Llc | Smanjenje latencije u kodiranju i dekodiranju videozapisa |
| US9106927B2 (en) | 2011-09-23 | 2015-08-11 | Qualcomm Incorporated | Video coding with subsets of a reference picture set |
| US9426463B2 (en) | 2012-02-08 | 2016-08-23 | Qualcomm Incorporated | Restriction of prediction units in B slices to uni-directional inter prediction |
| US8947449B1 (en) | 2012-02-21 | 2015-02-03 | Google Inc. | Color space conversion between semi-planar YUV and planar YUV formats |
| WO2013128010A2 (en) | 2012-03-02 | 2013-09-06 | Canon Kabushiki Kaisha | Method and devices for encoding a sequence of images into a scalable video bit-stream, and decoding a corresponding scalable video bit-stream |
| US9465716B2 (en) | 2012-03-16 | 2016-10-11 | International Business Machines Corporation | Run-time instrumentation directed sampling |
| US9906786B2 (en) | 2012-09-07 | 2018-02-27 | Qualcomm Incorporated | Weighted prediction mode for scalable video coding |
| US9805442B2 (en) | 2012-10-03 | 2017-10-31 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Fine-grained bit-rate control |
| US9693055B2 (en) | 2012-12-28 | 2017-06-27 | Electronics And Telecommunications Research Institute | Video encoding and decoding method and apparatus using the same |
| CN105027567A (zh) | 2013-01-07 | 2015-11-04 | 诺基亚技术有限公司 | 用于视频编码和解码的方法和装置 |
| US9491460B2 (en) | 2013-03-29 | 2016-11-08 | Qualcomm Incorporated | Bandwidth reduction for video coding prediction |
| US10904551B2 (en) | 2013-04-05 | 2021-01-26 | Texas Instruments Incorporated | Video coding using intra block copy |
| CA2909566C (en) | 2013-04-17 | 2018-07-03 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
| US20140348240A1 (en) | 2013-05-22 | 2014-11-27 | Qualcomm Incorporated | Video coding using sample prediction among color components |
| US20140376611A1 (en) | 2013-06-21 | 2014-12-25 | Qualcomm Incorporated | Adaptive color transforms for video coding |
| US10015515B2 (en) | 2013-06-21 | 2018-07-03 | Qualcomm Incorporated | Intra prediction from a predictive block |
| US9560358B2 (en) | 2013-07-22 | 2017-01-31 | Qualcomm Incorporated | Device and method for scalable coding of video information |
| US10313682B2 (en) | 2013-08-26 | 2019-06-04 | Qualcomm Incorporated | Determining regions when performing intra block copying |
| US9503715B2 (en) | 2013-08-30 | 2016-11-22 | Qualcomm Incorporated | Constrained intra prediction in video coding |
| AU2013228045A1 (en) | 2013-09-13 | 2015-04-02 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding video data |
| CA2928495C (en) | 2013-10-14 | 2020-08-18 | Microsoft Technology Licensing, Llc | Features of intra block copy prediction mode for video and image coding and decoding |
| WO2015054813A1 (en) | 2013-10-14 | 2015-04-23 | Microsoft Technology Licensing, Llc | Encoder-side options for intra block copy prediction mode for video and image coding |
| EP3061253A4 (en) | 2013-10-25 | 2016-08-31 | Microsoft Technology Licensing Llc | PAIRING OF BLOCKS BY HASHING VIDEO AND IMAGE CODING |
| US11076171B2 (en) | 2013-10-25 | 2021-07-27 | Microsoft Technology Licensing, Llc | Representing blocks with hash values in video and image coding and decoding |
| WO2015082763A1 (en) | 2013-12-02 | 2015-06-11 | Nokia Technologies Oy | Video encoding and decoding |
| WO2015086717A2 (en) | 2013-12-10 | 2015-06-18 | Canon Kabushiki Kaisha | Improved palette mode in hevc |
| JP6469588B2 (ja) | 2013-12-19 | 2019-02-13 | シャープ株式会社 | 残差予測装置、画像復号装置、画像符号化装置、残差予測方法、画像復号方法、および画像符号化方法 |
| US9797811B2 (en) | 2013-12-24 | 2017-10-24 | Dresser, Inc. | System and method for identifying data useful for valve diagnostics |
| KR102258427B1 (ko) | 2014-01-03 | 2021-06-01 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 비디오 및 이미지 코딩/디코딩에서의 블록 벡터 예측 |
| US10390034B2 (en) | 2014-01-03 | 2019-08-20 | Microsoft Technology Licensing, Llc | Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area |
| US9883197B2 (en) | 2014-01-09 | 2018-01-30 | Qualcomm Incorporated | Intra prediction of chroma blocks using the same vector |
| US11284103B2 (en) | 2014-01-17 | 2022-03-22 | Microsoft Technology Licensing, Llc | Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning |
| CN109889850A (zh) | 2014-02-21 | 2019-06-14 | 联发科技（新加坡）私人有限公司 | 视频编解码方法 |
| KR102185245B1 (ko) | 2014-03-04 | 2020-12-01 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 해시 기반 블록 매칭을 위한 해시 테이블 구성 및 이용가능성 검사 |
| US10171833B2 (en) | 2014-03-04 | 2019-01-01 | Microsoft Technology Licensing, Llc | Adaptive switching of color spaces, color sampling rates and/or bit depths |
| MX361228B (es) | 2014-03-04 | 2018-11-29 | Microsoft Technology Licensing Llc | Inversión de bloque y modo de omisión en predicción de intracopia de bloque. |
| AU2014201583A1 (en) | 2014-03-14 | 2015-10-01 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding video data using a block dictionary |
| US20150264383A1 (en) | 2014-03-14 | 2015-09-17 | Mitsubishi Electric Research Laboratories, Inc. | Block Copy Modes for Image and Video Coding |
| US20150264348A1 (en) | 2014-03-17 | 2015-09-17 | Qualcomm Incorporated | Dictionary coding of video content |
| US9756354B2 (en) | 2014-03-17 | 2017-09-05 | Qualcomm Incorporated | Block vector predictor for intra block copying |
| US9860559B2 (en) | 2014-03-17 | 2018-01-02 | Mediatek Singapore Pte. Ltd. | Method of video coding using symmetric intra block copy |
| US9712837B2 (en) | 2014-03-17 | 2017-07-18 | Qualcomm Incorporated | Level definitions for multi-layer video codecs |
| US10477232B2 (en) | 2014-03-21 | 2019-11-12 | Qualcomm Incorporated | Search region determination for intra block copy in video coding |
| US10432928B2 (en) | 2014-03-21 | 2019-10-01 | Qualcomm Incorporated | Using a current picture as a reference for video coding |
| US9877034B2 (en) | 2014-04-14 | 2018-01-23 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Pipelined video decoder system |
| CN110099281B (zh) | 2014-05-06 | 2021-06-25 | 寰发股份有限公司 | 用于块内复制模式编码的块向量预测方法 |
| AU2014202682A1 (en) | 2014-05-16 | 2015-12-03 | Canon Kabushiki Kaisha | Method, apparatus and system for copying a block of video samples |
| US10091512B2 (en) | 2014-05-23 | 2018-10-02 | Futurewei Technologies, Inc. | Advanced screen content coding with improved palette table and index map coding methods |
| AU2014202921B2 (en) | 2014-05-29 | 2017-02-02 | Canon Kabushiki Kaisha | Method, apparatus and system for de-blocking a block of video samples |
| EP4354856A3 (en) | 2014-06-19 | 2024-06-19 | Microsoft Technology Licensing, LLC | Unified intra block copy and inter prediction modes |
| JP6640751B2 (ja) | 2014-06-19 | 2020-02-05 | ヴィド スケール インコーポレイテッド | ブロックベクトル導出を用いるイントラブロックコピー符号化のための方法およびシステム |
| US10327001B2 (en) | 2014-06-19 | 2019-06-18 | Qualcomm Incorporated | Systems and methods for intra-block copy |
| CN106464921B (zh) | 2014-06-19 | 2019-10-15 | Vid拓展公司 | 用于块内复制搜索增强的方法和系统 |
| KR101748620B1 (ko) | 2014-06-20 | 2017-07-04 | 성균관대학교산학협력단 | 영상의 부호화/복호화 방법 및 이를 이용하는 장치 |
| US9948949B2 (en) | 2014-06-20 | 2018-04-17 | Qualcomm Incorporated | Intra block copy block vector signaling for video coding |
| KR101961385B1 (ko) | 2014-07-07 | 2019-03-25 | 에이치에프아이 이노베이션 인크. | 인트라 블록 카피 검색 및 보상 범위의 방법 |
| US10412387B2 (en) | 2014-08-22 | 2019-09-10 | Qualcomm Incorporated | Unified intra-block copy and inter-prediction |
| WO2016034058A1 (en) | 2014-09-01 | 2016-03-10 | Mediatek Inc. | Method of intra picture block copy for screen content and video coding |
| WO2016034117A1 (en) | 2014-09-03 | 2016-03-10 | Mediatek Inc. | Method for color index coding using a generalized copy previous mode |
| US10856009B2 (en) | 2014-09-04 | 2020-12-01 | Mediatek Inc. | Method of block vector clipping and coding for screen content coding and video coding |
| US20170289566A1 (en) | 2014-09-26 | 2017-10-05 | Vid Scale, Inc. | Intra block copy coding with temporal block vector prediction |
| US11025923B2 (en) | 2014-09-30 | 2021-06-01 | Microsoft Technology Licensing, Llc | Hash-based encoder decisions for video coding |
| WO2016049839A1 (en) | 2014-09-30 | 2016-04-07 | Microsoft Technology Licensing, Llc | Rules for intra-picture prediction modes when wavefront parallel processing is enabled |
| GB2533905A (en) | 2014-10-06 | 2016-07-13 | Canon Kk | Method and apparatus for video coding and decoding |
| CN105491376B (zh) | 2014-10-06 | 2020-01-07 | 同济大学 | 图像编码、解码方法及装置 |
| GB2531001B (en) | 2014-10-06 | 2019-06-05 | Canon Kk | Method and apparatus for vector encoding in video coding and decoding |
| US9832467B2 (en) | 2014-10-07 | 2017-11-28 | Qualcomm Incorporated | Deblock filtering for intra block copying |
| US9918105B2 (en) | 2014-10-07 | 2018-03-13 | Qualcomm Incorporated | Intra BC and inter unification |
| EP3189661B1 (en) | 2014-10-08 | 2020-07-29 | MediaTek Inc. | Method of block vector clipping and coding for screen content coding and video coding |
| US10212445B2 (en) | 2014-10-09 | 2019-02-19 | Qualcomm Incorporated | Intra block copy prediction restrictions for parallel processing |
| US9838662B2 (en) | 2014-10-10 | 2017-12-05 | Qualcomm Incorporated | Harmonization of cross-component prediction and adaptive color transform in video coding |
| US10283091B2 (en) | 2014-10-13 | 2019-05-07 | Microsoft Technology Licensing, Llc | Buffer optimization |
| CN114630131B (zh) | 2014-11-12 | 2023-11-07 | 寰发股份有限公司 | 索引映射编解码中的跳出像素编解码方法 |
| CA3074097C (en) | 2014-11-20 | 2021-10-26 | Hfi Innovation Inc. | Method of motion vector and block vector resolution control |
| EP4020983A1 (en) | 2014-12-31 | 2022-06-29 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
| US9591325B2 (en) | 2015-01-27 | 2017-03-07 | Microsoft Technology Licensing, Llc | Special case handling for merged chroma blocks in intra block copy prediction mode |
| US10516882B2 (en) | 2015-01-29 | 2019-12-24 | Vid Scale, Inc. | Intra-block copy searching |
| US20160227222A1 (en) | 2015-02-02 | 2016-08-04 | Mediatek Inc. | Multi-Standard Video Decoder with Novel Intra Prediction Decoding |
| US10165292B2 (en) | 2015-02-02 | 2018-12-25 | Mediatek Inc. | Method and apparatus for intra block copy mode in video coding system with pipeline architecture |
| US9955185B2 (en) | 2015-02-12 | 2018-04-24 | Mediatek Inc. | Method and apparatus of constrained intra block copy for coding video |
| WO2016127889A1 (en) | 2015-02-13 | 2016-08-18 | Mediatek Inc. | Method and apparatus for palette index coding in video and image compression |
| EP3262836B1 (en) | 2015-03-02 | 2020-07-29 | HFI Innovation Inc. | Method and apparatus for intrabc mode with fractional-pel block vector resolution in video coding |
| CN107409227B (zh) | 2015-03-20 | 2020-01-21 | 联发科技（新加坡）私人有限公司 | 视频编解码方法及装置 |
| KR20170131473A (ko) | 2015-03-29 | 2017-11-29 | 엘지전자 주식회사 | 비디오 신호의 인코딩/디코딩 방법 및 장치 |
| US20180115787A1 (en) | 2015-04-12 | 2018-04-26 | Lg Electronics Inc. | Method for encoding and decoding video signal, and apparatus therefor |
| US10200713B2 (en) | 2015-05-11 | 2019-02-05 | Qualcomm Incorporated | Search region determination for inter coding within a particular picture of video data |
| US10045038B2 (en) | 2015-05-28 | 2018-08-07 | Hfi Innovation Inc. | Method and apparatus for using a current picture as a reference picture |
| EP3292691A4 (en) | 2015-05-29 | 2019-01-23 | HFI Innovation Inc. | METHOD FOR MANAGING DECODED IMAGE PADS FOR THE INTRA-IMAGE BLOCKS COPYING METHOD |
| WO2016192662A1 (en) | 2015-06-03 | 2016-12-08 | Mediatek Inc. | Method and apparatus for resource sharing between intra block copy mode and inter prediction mode in video coding systems |
| WO2016192677A1 (en) | 2015-06-03 | 2016-12-08 | Mediatek Inc. | Method and apparatus of error handling for video coding using intra block copy mode |
| US20160360234A1 (en) | 2015-06-03 | 2016-12-08 | Apple Inc. | Techniques For Resource Conservation During Performance Of Intra Block Copy Prediction Searches |
| CN107683606B (zh) | 2015-06-05 | 2021-11-05 | 索尼公司 | 图像处理装置和图像处理方法 |
| EP4040791A1 (en) | 2015-06-08 | 2022-08-10 | Vid Scale, Inc. | Intra block copy mode for screen content coding |
| US10554968B2 (en) * | 2015-06-10 | 2020-02-04 | Lg Electronics Inc. | Method and apparatus for inter prediction on basis of virtual reference picture in video coding system |
| CN107925773B (zh) | 2015-06-11 | 2022-06-07 | 杜比实验室特许公司 | 使用自适应去块滤波编码和解码图像的方法及其装置 |
| US10178403B2 (en) | 2015-06-23 | 2019-01-08 | Qualcomm Incorporated | Reference picture list construction in intra block copy mode |
| KR102127488B1 (ko) | 2015-07-27 | 2020-06-30 | 미디어텍 인크. | 인트라 블록 복사 모드를 이용한 비디오 코딩을 위한 시스템의 방법 |
| KR102164062B1 (ko) | 2015-09-08 | 2020-10-13 | 미디어텍 인크. | 인트라 블록 복사 모드를 위한 디코딩된 픽처 버퍼의 방법 및 시스템 |
| GB2543736B (en) | 2015-09-10 | 2019-03-27 | Advanced Risc Mach Ltd | An interface apparatus and method of operating an interface apparatus |
| US10097836B2 (en) | 2015-09-28 | 2018-10-09 | Samsung Electronics Co., Ltd. | Method and device to mark a reference picture for video coding |
| US10681379B2 (en) | 2015-09-29 | 2020-06-09 | Qualcomm Incorporated | Non-separable secondary transform for video coding with reorganizing |
| US10812822B2 (en) | 2015-10-02 | 2020-10-20 | Qualcomm Incorporated | Intra block copy merge mode and padding of unavailable IBC reference region |
| US20170099490A1 (en) | 2015-10-02 | 2017-04-06 | Qualcomm Incorporated | Constrained intra-prediction for block copy mode |
| KR102206503B1 (ko) | 2015-10-19 | 2021-01-22 | 미디어텍 인크. | 인트라 블록 복사를 사용하는 비디오 코딩 시스템에서의 디코딩된 픽처 버퍼 관리를 위한 방법 및 장치 |
| CN115278232B (zh) | 2015-11-11 | 2024-12-10 | 三星电子株式会社 | 对视频进行解码的方法和对视频进行编码的方法 |
| US20170188033A1 (en) | 2015-12-23 | 2017-06-29 | Mediatek Inc. | Method and Apparatus of Bandwidth Estimation and Reduction for Video Coding |
| US10630992B2 (en) | 2016-01-08 | 2020-04-21 | Samsung Electronics Co., Ltd. | Method, application processor, and mobile terminal for processing reference image |
| US10404979B2 (en) | 2016-03-17 | 2019-09-03 | Mediatek Inc. | Video coding with interpolated reference pictures |
| US9866862B2 (en) * | 2016-03-18 | 2018-01-09 | Google Llc | Motion vector reference selection through reference frame buffer tracking |
| US10575007B2 (en) | 2016-04-12 | 2020-02-25 | Microsoft Technology Licensing, Llc | Efficient decoding and rendering of blocks in a graphics pipeline |
| WO2017206804A1 (en) | 2016-05-28 | 2017-12-07 | Mediatek Inc. | Method and apparatus of current picture referencing for video coding using affine motion compensation |
| US20170374369A1 (en) | 2016-06-24 | 2017-12-28 | Mediatek Inc. | Methods and Apparatuses of Decoder Side Intra Mode Derivation |
| US10157480B2 (en) | 2016-06-24 | 2018-12-18 | Microsoft Technology Licensing, Llc | Efficient decoding and rendering of inter-coded blocks in a graphics pipeline |
| KR102521272B1 (ko) | 2016-07-08 | 2023-04-12 | 브이아이디 스케일, 인크. | 지오메트리 투영을 이용한 360도 비디오 코딩 |
| CN117201775A (zh) | 2016-09-13 | 2023-12-08 | 韩国电子通信研究院 | 视频编码/解码方法和装置以及存储比特流的记录介质 |
| CN107846597B (zh) | 2016-09-20 | 2019-12-10 | 上海澜至半导体有限公司 | 用于视频解码器的数据缓存方法和装置 |
| CN109792522B (zh) | 2016-09-30 | 2021-10-15 | 索尼公司 | 图像处理装置和方法 |
| GB2554686A (en) | 2016-10-04 | 2018-04-11 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
| US10049247B2 (en) | 2016-10-12 | 2018-08-14 | Datalogic Usa, Inc. | Optimization of image frame management in a sweep-style optical code data reader |
| US10499371B2 (en) | 2016-11-03 | 2019-12-03 | Samsung Electronics Co., Ltd. | Method and apparatus of flexible data transmissions and receptions in next generation cellular networks |
| US10681370B2 (en) | 2016-12-29 | 2020-06-09 | Qualcomm Incorporated | Motion vector generation for affine motion model for video coding |
| US10694181B2 (en) | 2017-01-27 | 2020-06-23 | Qualcomm Incorporated | Bilateral filters in video coding with reduced complexity |
| JP6946419B2 (ja) | 2017-04-13 | 2021-10-06 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 復号装置、復号方法及びプログラム |
| TWI782974B (zh) | 2017-04-13 | 2022-11-11 | 美商松下電器（美國）知識產權公司 | 解碼裝置、解碼方法及非暫時性電腦可讀取媒體 |
| US10743032B2 (en) | 2017-05-24 | 2020-08-11 | Qualcomm Incorporated | Substream multiplexing for display stream compression |
| JP6324590B2 (ja) | 2017-05-25 | 2018-05-16 | キヤノン株式会社 | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム |
| US11184636B2 (en) | 2017-06-28 | 2021-11-23 | Sharp Kabushiki Kaisha | Video encoding device and video decoding device |
| WO2019006300A1 (en) | 2017-06-29 | 2019-01-03 | Dolby Laboratories Licensing Corporation | Integrated image reshaping and video coding |
| US11134272B2 (en) | 2017-06-29 | 2021-09-28 | Qualcomm Incorporated | Memory reduction for non-separable transforms |
| CA3105474A1 (en) | 2017-07-03 | 2019-01-10 | Industry-University Cooperation Foundation Hanyang University | Method and device for decoding image by using partition unit including additional region |
| WO2019009590A1 (ko) | 2017-07-03 | 2019-01-10 | 김기백 | 추가 영역을 포함하는 분할 단위를 이용한 영상 복호화 방법 및 장치 |
| WO2019017694A1 (ko) | 2017-07-18 | 2019-01-24 | 엘지전자 주식회사 | 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
| US10647322B2 (en) | 2017-07-25 | 2020-05-12 | Hyundai Mobis Co., Ltd. | Backward driving assist apparatus for vehicle and control method thereof |
| US10674159B2 (en) | 2017-07-28 | 2020-06-02 | Microsoft Technology Licensing, Llc | Effective intra encoding for screen data |
| JPWO2019039283A1 (ja) | 2017-08-22 | 2020-10-01 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| US10841794B2 (en) | 2017-09-18 | 2020-11-17 | Futurewei Technologies, Inc. | Adaptive motion vector resolution |
| US11172201B2 (en) | 2017-12-18 | 2021-11-09 | Panasonic Intellectual Property Corporation Of America | Encoder, decoder, encoding method, and decoding method |
| WO2019131778A1 (ja) | 2017-12-26 | 2019-07-04 | シャープ株式会社 | 画像復号装置及び画像符号化装置 |
| US10986349B2 (en) | 2017-12-29 | 2021-04-20 | Microsoft Technology Licensing, Llc | Constraints on locations of reference blocks for intra block copy prediction |
| US11012715B2 (en) | 2018-02-08 | 2021-05-18 | Qualcomm Incorporated | Intra block copy for video coding |
| CN118381899A (zh) | 2018-03-21 | 2024-07-23 | Lx 半导体科技有限公司 | 图像编码/解码方法、存储介质以及图像数据的发送方法 |
| US10873748B2 (en) | 2018-05-12 | 2020-12-22 | Qualcomm Incorporated | Storage of high precision motion vectors in video coding |
| KR102738271B1 (ko) | 2018-06-05 | 2024-12-04 | 두인 비전 컴퍼니 리미티드 | Ibc 및 atmvp 간의 상호 작용 |
| US10798394B2 (en) | 2018-06-27 | 2020-10-06 | Avago Technologies International Sales Pte. Limited | Low complexity affine merge mode for versatile video coding |
| US10440378B1 (en) | 2018-07-17 | 2019-10-08 | Tencent America LLC | Method and apparatus for history-based motion vector prediction with parallel processing |
| RU2752644C1 (ru) | 2018-07-18 | 2021-07-29 | Бейджинг Дацзя Интернет Информейшн Текнолоджи Ко., Лтд. | Способы и устройства кодирования видео с использованием прогнозирования вектора движения на основе истории |
| US10958934B2 (en) | 2018-07-27 | 2021-03-23 | Tencent America LLC | History-based affine merge and motion vector prediction |
| US10743029B2 (en) * | 2018-07-30 | 2020-08-11 | Tencent America LLC | Constraints on coding unit partition |
| RS66779B1 (sr) | 2018-08-13 | 2025-06-30 | Lg Electronics Inc | Postupak inter predikcije na osnovu vektora pokreta zasnovanog na istoriji, i uređaj za isti |
| US10848782B2 (en) | 2018-09-21 | 2020-11-24 | Tencent America LLC | Method and apparatus for video coding |
| SI3846467T1 (sl) | 2018-10-04 | 2024-02-29 | Lg Electronics Inc. | Postopki za kodiranje slik na podlagi zgodovine |
| KR102707017B1 (ko) | 2018-10-05 | 2024-09-13 | 엘지전자 주식회사 | 히스토리 기반 움직임 정보를 이용한 영상 코딩 방법 및 그 장치 |
| WO2020094038A1 (en) | 2018-11-07 | 2020-05-14 | Mediatek Inc. | Method and apparatus of encoding or decoding video blocks by current picture referencing coding |
| CN113056911A (zh) | 2018-11-07 | 2021-06-29 | 华为技术有限公司 | 用于视频译码的头参数集 |
| CN113170193B (zh) | 2018-11-28 | 2024-05-10 | 北京字节跳动网络技术有限公司 | 帧内块复制模式中块矢量列表的独立构造方法 |
| WO2020113156A1 (en) | 2018-11-30 | 2020-06-04 | Tencent America LLC | Method and apparatus for video coding |
| WO2020130617A1 (ko) | 2018-12-18 | 2020-06-25 | 엘지전자 주식회사 | 비디오 데이터를 처리하기 위한 방법 및 장치 |
| US10999594B2 (en) * | 2018-12-20 | 2021-05-04 | Qualcomm Incorporated | Virtual search area for current picture referencing (CPR) and intra block copy (IBC) |
| CN111355951B (zh) * | 2018-12-24 | 2023-11-10 | 华为技术有限公司 | 视频解码方法、装置及解码设备 |
| CA3127848C (en) | 2019-02-02 | 2024-06-11 | Beijing Bytedance Network Technology Co., Ltd. | Buffer management for intra block copy in video coding |
| EP3900357A4 (en) | 2019-02-02 | 2022-06-08 | Beijing Bytedance Network Technology Co., Ltd. | BUFFER INITIALIZATION FOR INTRA BLOCK COPY IN VIDEO ENCODING |
| CN117395439A (zh) | 2019-03-01 | 2024-01-12 | 北京字节跳动网络技术有限公司 | 用于视频编解码中的帧内块复制的基于方向的预测 |
| JP7284284B2 (ja) | 2019-03-04 | 2023-05-30 | 北京字節跳動網絡技術有限公司 | 映像符号化におけるイントラブロックコピーの実装形態の態様 |
| CA3131289C (en) | 2019-05-16 | 2023-12-12 | Huawei Technologies Co., Ltd. | An encoder, a decoder and corresponding methods using ibc dedicated buffer and default value refreshing for luma and chroma component |
| US20230007273A1 (en) | 2019-06-13 | 2023-01-05 | Huawei Technologies Co., Ltd. | Encoder, a decoder and corresponding methods using intra block copy (ibc) dedicated buffer and default value refreshing for luma and chroma component |
| US11070816B2 (en) | 2019-06-18 | 2021-07-20 | Tencent America LLC | Conversion of decoded block vector for intra picture block compensation |
| WO2020259677A1 (en) | 2019-06-28 | 2020-12-30 | Beijing Bytedance Network Technology Co., Ltd. | Validity checks for a block vectors for intra block copy in video coding |
| CN114175645B (zh) | 2019-07-06 | 2024-04-12 | 北京字节跳动网络技术有限公司 | 用于视频编解码中的帧内块复制的虚拟预测缓冲 |
| CN117395398A (zh) | 2019-07-10 | 2024-01-12 | 北京字节跳动网络技术有限公司 | 用于视频编解码中的帧内块复制的样点标识 |
| CN114097221B (zh) | 2019-07-11 | 2024-01-12 | 北京字节跳动网络技术有限公司 | 用于视频编解码中的帧内块复制的比特流一致性约束 |
| BR112022001305A2 (pt) | 2019-07-25 | 2022-03-22 | Beijing Bytedance Network Tech Co Ltd | Método para processamento de vídeo, aparelho de processamento de vídeo, e, meio legível por computador |
-
2020
- 2020-07-01 CN CN202080049796.3A patent/CN114175645B/zh active Active
- 2020-07-01 JP JP2022500635A patent/JP7583016B2/ja active Active
- 2020-07-01 KR KR1020237041554A patent/KR20230170800A/ko active Pending
- 2020-07-01 EP EP20836430.7A patent/EP3981151A4/en active Pending
- 2020-07-01 CN CN202311518032.6A patent/CN117294841A/zh active Pending
- 2020-07-01 MX MX2022000102A patent/MX2022000102A/es unknown
- 2020-07-01 KR KR1020217043338A patent/KR102677020B1/ko active Active
- 2020-07-01 AU AU2020309663A patent/AU2020309663C1/en active Active
- 2020-07-01 BR BR112022000187A patent/BR112022000187A2/pt not_active Application Discontinuation
- 2020-07-01 PH PH1/2022/550024A patent/PH12022550024A1/en unknown
- 2020-07-01 CA CA3146016A patent/CA3146016C/en active Active
-
2022
- 2022-01-05 US US17/569,390 patent/US11575888B2/en active Active
- 2022-01-05 ZA ZA2022/00289A patent/ZA202200289B/en unknown
- 2022-12-19 US US18/083,919 patent/US12132888B2/en active Active
-
2023
- 2023-11-06 JP JP2023189616A patent/JP2024020308A/ja active Pending
Non-Patent Citations (2)
| Title |
|---|
| Han Gao et al, Bitstream conformance with a virtual IBC buffer concept, JVET of ITU-T and ISO/IEC, JVET-O1171(19.7.10.) |
| Jingya Li et al, CE8-related: IBC modifications, JVET of ITU-T and ISO/IEC, JVET-O0127 version 3 (2019.07.05.) 1부.* |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12238314B2 (en) | 2019-02-02 | 2025-02-25 | Beijing Bytedance Network Technology Co., Ltd. | Prediction using extra-buffer samples for intra block copy in video coding |
| US12284374B2 (en) | 2019-02-02 | 2025-04-22 | Beijing Bytedance Network Technology Co., Ltd. | Data storage in buffers for intra block copy in video coding |
| US12301793B2 (en) | 2019-07-10 | 2025-05-13 | Beijing Bytedance Network Technology Co., Ltd. | Sample identification for intra block copy in video coding |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220029598A (ko) | 2022-03-08 |
| US20230135007A1 (en) | 2023-05-04 |
| BR112022000187A2 (pt) | 2022-02-22 |
| AU2020309663B2 (en) | 2023-06-08 |
| PH12022550024A1 (en) | 2022-11-21 |
| CA3146016C (en) | 2024-05-07 |
| CA3146016A1 (en) | 2021-01-14 |
| AU2020309663C1 (en) | 2023-12-14 |
| JP7583016B2 (ja) | 2024-11-13 |
| US11575888B2 (en) | 2023-02-07 |
| JP2024020308A (ja) | 2024-02-14 |
| CN114175645B (zh) | 2024-04-12 |
| EP3981151A1 (en) | 2022-04-13 |
| MX2022000102A (es) | 2022-02-03 |
| AU2020309663A1 (en) | 2022-02-03 |
| CN117294841A (zh) | 2023-12-26 |
| KR20230170800A (ko) | 2023-12-19 |
| JP2022539468A (ja) | 2022-09-09 |
| US12132888B2 (en) | 2024-10-29 |
| CN114175645A (zh) | 2022-03-11 |
| US20220132105A1 (en) | 2022-04-28 |
| EP3981151A4 (en) | 2022-08-24 |
| ZA202200289B (en) | 2023-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102662448B1 (ko) | 비디오 코딩에서 인트라 블록 복사를 위한 버퍼내 데이터 저장 | |
| KR102677020B1 (ko) | 비디오 코딩에서 인트라 블록 카피를 위한 가상 예측 버퍼 | |
| KR102695788B1 (ko) | 비디오 코딩에서 인트라 블록 복사를 위한 비트스트림 적합 제약 | |
| KR102635519B1 (ko) | 비디오 코딩에서 인트라 블록 카피를 위한 샘플 식별 | |
| KR102688366B1 (ko) | 비디오 코딩에서 인트라 블록 복사를 위한 방향 기반 예측 | |
| AU2020214083B2 (en) | Buffer management for intra block copy in video coding | |
| KR20240132530A (ko) | 비디오 코딩에서 인트라 블록 복사의 구현 형태 | |
| WO2020259677A1 (en) | Validity checks for a block vectors for intra block copy in video coding | |
| WO2021004496A1 (en) | Bitstream conformance constraints for intra block copy in video coding | |
| EP3981148A1 (en) | Sample identification for intra block copy in video coding | |
| WO2021004348A1 (en) | Virtual prediction buffer for intra block copy in video coding | |
| RU2811517C2 (ru) | Идентификация отсчетов для режима внутрикадрового копирования блоков при кодировании видео |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0105 | International application |
Patent event date: 20211230 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| AMND | Amendment | ||
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| AMND | Amendment | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20230410 Comment text: Request for Examination of Application |
|
| PA0302 | Request for accelerated examination |
Patent event date: 20230410 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20230629 Patent event code: PE09021S01D |
|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| PE0601 | Decision on rejection of patent |
Patent event date: 20231116 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20230629 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |
|
| AMND | Amendment | ||
| PX0701 | Decision of registration after re-examination |
Patent event date: 20240318 Comment text: Decision to Grant Registration Patent event code: PX07013S01D Patent event date: 20240216 Comment text: Amendment to Specification, etc. Patent event code: PX07012R01I Patent event date: 20231116 Comment text: Decision to Refuse Application Patent event code: PX07011S01I Patent event date: 20230829 Comment text: Amendment to Specification, etc. Patent event code: PX07012R01I Patent event date: 20230410 Comment text: Amendment to Specification, etc. Patent event code: PX07012R01I Patent event date: 20220211 Comment text: Amendment to Specification, etc. Patent event code: PX07012R01I |
|
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20240617 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20240617 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |