[go: up one dir, main page]

KR20140121315A - 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치 - Google Patents

참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치 Download PDF

Info

Publication number
KR20140121315A
KR20140121315A KR1020130081199A KR20130081199A KR20140121315A KR 20140121315 A KR20140121315 A KR 20140121315A KR 1020130081199 A KR1020130081199 A KR 1020130081199A KR 20130081199 A KR20130081199 A KR 20130081199A KR 20140121315 A KR20140121315 A KR 20140121315A
Authority
KR
South Korea
Prior art keywords
layer
picture
motion information
flag
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
KR1020130081199A
Other languages
English (en)
Inventor
이하현
강정원
이진호
최진수
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR20130082577A priority Critical patent/KR20140121316A/ko
Priority to PCT/KR2014/002899 priority patent/WO2014163418A1/ko
Priority to KR1020140039805A priority patent/KR102209109B1/ko
Priority to US14/782,213 priority patent/US9924180B2/en
Publication of KR20140121315A publication Critical patent/KR20140121315A/ko
Priority to US15/875,173 priority patent/US10440371B2/en
Priority to US15/875,293 priority patent/US10499067B2/en
Priority to US15/875,148 priority patent/US10432950B2/en
Priority to US15/875,258 priority patent/US10440372B2/en
Priority to US16/656,359 priority patent/US11778206B2/en
Priority to KR1020210009695A priority patent/KR102334374B1/ko
Priority to KR1020210167537A priority patent/KR102418524B1/ko
Priority to KR1020220081983A priority patent/KR102506469B1/ko
Priority to KR1020230026886A priority patent/KR102602633B1/ko
Priority to US18/456,723 priority patent/US12177461B2/en
Priority to KR1020230155363A priority patent/KR102722391B1/ko
Priority to US18/938,538 priority patent/US20250063181A1/en
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 다 계층 구조의 영상 부호화 및 복호화에 관한 기술로, 상위 계층을 부, 복호화 함에 있어 하위 계층의 정보를 이용하여 예측하고 부, 복호화 하는 방법에 관한 기술이다. 보다 상세하게, 하위 계층의 영상 샘플 값 및 움직임 정보들을 복호화하여 상위 계층의 영상 크기로 매핑을 수행한 후 상위 계층의 참조 픽처 리스트에 추가를 하여 현재 부, 복호화 대상 블록의 참조 픽처로 사용하여 부호화 효율을 향상시키는 이점이 있다.

Description

참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치{Method and apparatus for image encoding and decoding based on multi-layer using reference picture list}
본 발명은 영상 처리에 관한 것이다.
종래 기술에서는 하위 계층의 움직임 정보를 매핑하는 과정에 있어 상위 계층에서 시간 움직임 벡터 예측을 수행하지 않은 경우에도, 불필요한 움직임 정보 매핑 과정을 수행할 있는 문제점이 있다. 또한, 움직임 정보 매핑을 수행하지 않는 경우, 상위 계층에서 시간 움직임 벡터를 위한 collocated picture로 하위 계층의 복호화된 픽처를 지시할 수 있게 되어 시간 움직임 벡터 예측을 하지 못하는 경우가 발생하여 부호화 효율이 저하되는 문제점이 있다.
상위 계층이 참조하는 하위 계층의 움직임 정보들을 상위 계층의 영상 크기로 매핑을 수행한 후 하위 계층의 복호화된 영상 신호와 함께 상위 계층의 부, 복호화 대상 블록의 예측에 이용하는데 목적이 있으며, 또한 불필요한 매핑 과정을 하지 않을 수 있도록 상위 레벨을 수정하여 복잡도를 감소 시키고, 잘못된 collocated picture가 사용되는 것을 방지하여 부호화 효율의 저하를 막고자 하는데 그 목적이 있다.
본 발명의 일 실시예에 따르면, 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치가 제공된다.
본 발명에 따르면, 상위 계층의 대상 블록에 대한 화면간 예측을 수행함에 있어, 하위 계층의 움직임 정보들을 참조함으로써 부호화 효율을 향상시킬 수 있는 이점이 있으며, 상위 레벨을 수정하여 불필요한 하위 계층의 움직임 정보에 대한 매핑 과정을 생략하여 복잡도를 감소시킬 수 있으며, 잘못된 collocated picture가 사용되는 것을 방지하여 부호화 효율의 저하를 방지할 수 있다.
□ 부, 복호화기
Figure pat00001

□ 일반사항
본 발명은 복수의 계층(layer) 또는 시점(view)을 포함하는 영상의 부/복호화에 관한 것으로 상기 복수의 계층 또는 시점은 제1, 제2, 제3, 제n 계층 또는 시점으로 표현할 수 있다. 이하 설명에서는 제1 계층과 제2 계층이 존재하는 영상을 예로 기술하며, 그 이상의 계층 또는 시점에도 동일한 방법으로 적용할 수 있다. 또한, 상기 제1 계층은 하위(base) 계층, 제2 계층은 상위(enhancement) 계층으로 표현할 수도 있다.
□ 통상의 화면 간 예측
- 화면간 예측은 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나를 참조 픽처로 하고, 참조 픽처를 기반으로 현재 블록에 대한 예측을 수행할 수 있다.
- 현재 블록의 예측에 이용되는 영상을 참조 픽처(reference picture) 또는 참조 프레임(reference frame)이라고 한다.
- 참조 픽처 내의 영역은 참조 픽처를 지시하는 참조 픽처 인덱스(refIdx) 및 움직임 벡터(motion vector) 등을 이용하여 나타낼 수 있다.
- 화면간 예측은 참조 픽처 및 참조 픽처 내에서 현재 블록에 대응하는 참조 블록을 선택해서, 현재 블록에 대한 예측 블록을 생성할 수 있다.
- 화면간 예측은 현재 블록과의 레지듀얼(residual) 신호가 최소화되며 움직임 벡터 크기 역시 최소가 되도록 예측 블록을 생성할 수 있다.
- 참조 픽처의 정보를 이용하기 위해, 현재 블록의 주변 블록들의 정보를 이용할 수 있다. 예컨대, 스킵(Skip)모드, 머지(merge) 모드, AMVP(Advanced Motion Vector Prediction)등을 통해, 주변 블록의 정보에 기반하여 현재 블록에 대한 예측 블록을 생성할 수 있다.
- 스킵 모드의 경우에, 주변 블록의 정보를 그대로 현재 블록에 이용할 수 있다. 따라서 스킵 모드의 경우에, 부호화기는 현재 블록의 움직임 정보로서 어떤 블록의 움직임 정보를 이용할 것인지를 지시하는 정보 외에 레지듀얼 등과 같은 신택스 정보를 복호화기에 전송하지 않는다.
- 머지 모드의 경우에, 주변 블록의 움직임 정보를 그대로 이용하여 현재 블록에 대한 예측 블록을 생성할 수 있다. 부호화기는 머지 모드를 적용하는지에 관한 정보와 어떤 블록의 움직임 정보를 이용할지에 관한 정보, 레지듀얼 정보등을 복호화기에 전송할 수 있다. 복호화기는 예측 블록과 부호화기로부터 전송되는 레지듀얼을 더하여 현재 블록을 복원할 수 있다.
- AMVP의 경우에는 주변 블록들의 움직임 정보를 이용하여 현재 블록의 움직임 벡터를 예측하고, (1) 어떤 주변 블록의 움직임 정보를 이용하는지에 관한 정보, (2) 현재 블록의 움직임 벡터와 예측된 움직임 벡터 사이의 차이, (3) 참조 픽처를 지시하는 참조 픽처 인덱스 등을 복호화기에 전송할 수 있다. 복호화기는 주변 블록의 움직임 정보들을 이용하여 현재 블록의 움직임 벡터를 예측하고, 부호화기로부터 수신한 레지듀얼을 이용하여 현재 블록에 대한 움직임 벡터를 유도할 수 있다. 복호화기는 유도한 움직임 벡터와 부호화기로부터 수신한 참조 픽처 인덱스 정보를 기반으로 현재 블록에 대한 예측 블록을 생성할 수 있다.
- 화면간 예측의 경우, 복호화기는 현재 블록의 인터 예측에 필요한 움직임 정보, 예컨대 움직임 벡터, 참조 픽처 인덱스 등에 관한 정보를 부호화기로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고 이에 대응하여 유도할 수 있다.
- 예측이 수행되는 처리 단위와 예측 방법 및 구체적인 내용이 정해지는 처리 단위는 서로 다를 수 있다. 예컨대, PU단위로 예측모드가 정해져서 TU단위로 예측이 수행될 수도 있고, PU 단위로 예측 모드가 정해지고 TU 단위로 화면 내 예측이 수행될 수 도 있다.
[1] 제 2계층 영상이 참조하고 있는 제 1계층의 정보를 복호화하는 단계
- 제 2 계층 영상의 부, 복호화 대상 블록을 예측 하기 위한 참조 신호로 제 1 계층의 정보를 복호화 하여 사용할 수 있다.
- 제 1 계층의 복호화 대상 정보로는 샘플 값 및 움직임 정보들을 포함할 수 있다.
- 제 1 계층의 움직임 정보들은 움직임 벡터 값, 참조 픽처 인덱스, 예측 방향 지시자, 참조 픽처 POC (Picture Order Count), 예측 모드, 참조 픽처 리스트, 머지 플래그, 머지 색인, 참조 픽처의 픽처 타입[단기(short-term) 참조 픽처, 장기(long-term) 참조 픽처] 정보 등을 포함할 수 있다.
- 제 1 계층의 복호화된 움직임 정보들은 NxN (예를 들어, 16x16) 단위로 압축되어 저장되어 질 수 있다.
[2] 제 1계층의 복호화된 정보를 제 2계층의 영상 크기로 매핑하는 단계
- 계층간 영상의 크기가 다를 경우, 복호화된 제 1계층의 영상 크기를 제 2계층의 영상 크기로 매핑하기 위해 샘플 값들에 대해 업샘플링을 수행 할 수 있다.
- 예를 들어, 복호화된 제 1 계층의 영상 크기가 960x540 이며, 제 2 계층의 영상 크기가 1920x1080 인 경우, 제 1 계층의 복호화된 영상의 크기를 제 2 계층의 영상 크기인 1920x1080으로 업샘플링을 수행 할 수 있다.
- 복호화된 제 1계층의 움직임 정보들은 제 2 계층 영상의 크기로 매핑을 하여 사용할 수 있다.
계층간 움직임 정보 매핑은, 제 2계층 영상을 NxN 단위로 구분을 하여 NxN 단위마다 대응되는 제 1계층의 움직임 정보를 해당 블록의 움직임 정보로 사용할 수 있다.
예를 들어, 도면 1과 같이 제 2 계층 영상의 크기가 1920x1088 이고, N=16 인 경우, 제 2계층의 영상을 총 8160개의 16x16 블록으로 분할을 할 수 있으며, 각 블록마다 대응되는 제 1 계층 블록의 움직임 정보를 해당 블록의 움직임 정보로 사용할 수 있다.
이때, 움직임 정보는 각 블록마다 저장되어 질 수 있다. 또는 픽처마다 look-up table 형태로 저장되어 각 블록이 참조하여 사용할 수 있다.
[도면 1]
Figure pat00002

제 2계층의 NxN 블록 마다 대응되는 제 1계층의 블록의 움직임 정보는, 도면 2와 같이 제 2계층의 NxN 블록의 기준 샘플 위치에 대응되는 제 1계층의 샘플 위치의 움직임 정보를 사용할 수 있다.
도면 2는 N=16인 경우로, 각 블록은 하나의 샘플을 의미하며, (xP+8, yP+8)을 기준 샘플 위치로 하여 대응되는 제 1 계층의 샘플 위치의 움직임 정보를 사용할 수 있다.
다른 실시 예로, (xP, yP) 위치를 기준 샘플 위치로 하여 대응되는 제 1 계층의 샘플 위치의 움직임 정보를 사용할 수 있다.
다른 실시 예로, (xP+15, yP) 위치를 기준 샘플 위치로 하여 대응되는 제 1계층의 샘플 위치의 움직임 정보를 사용할 수 있다.
다른 실시 예로, (xP, yP+15) 위치를 기준 샘플 위치로 하여 대응되는 제 1계층의 샘플 위치의 움직임 정보를 사용할 수 있다.
다른 실시 예로, (xP+15, yP+15)위치를 기준 샘플 위치로 하여 대응되는 제 1계층의 샘플 위치의 움직임 정보를 사용할 수 있다.
다른 실시 예로, (xP+1, yP+1) 위치를 기준 샘플 위치로 하여 대응되는 제 1계층의 샘플 위치의 움직임 정보를 사용할 수 있다.
상기 실시 예에서 언급된 위치 뿐만 아니라, 다른 기준 샘플 위치를 사용하여 대응되는 제 1계층의 샘플 위치의 움직임 정보를 사용할 수 있다.
기준 샘플 위치에 대응되는 제 1계층의 샘플 위치는, 계층간 영상의 크기를 고려하여 아래와 같은 수식을 통해 구할 수 있다
xRef = ( xP * picWRL + ScaledW / 2 ) / ScaledW
yRef = ( yP * picHRL + ScaledH / 2 ) / ScaledH
xRef, yRef는 제 1계층의 샘플 위치이며, xP, yP는 제 2계층의 기준 샘플 위치이며, ScaledW, ScaledH는 스케일링 되어진 제 1계층 픽처의 가로, 세로 크기이며, picWRL, picHRL는 제 1계층 픽처의 가로, 세로 크기 이다.
제 1계층의 움직임 정보들이 예를 들어, 16x16 단위로 압축되어 저장되어 있는 경우, 상기에서 구한 샘플 위치를 아래와 같은 수식을 통해 16x16 단위의 움직임 정보를 사용할 수 있도록 조정을 할 수 있다.
xRL = ( xRef >> 4) << 4
yRL = ( yRef >> 4) << 4
예를 들어, 8x8 단위로 압축되어 저장되는 경우, 상기에서 구한 샘플 위치를 아래와 같은 수식을 통해 8x8 단위의 움직임 정보를 사용할 수 있도록 조정을 할 수 있다.
xRL = ( xRef >> 3) << 3
yRL = ( yRef >> 3) << 3
[도면 2]
Figure pat00003

제 2 계층의 기준 샘플 위치에 대응하는 제 1 계층 위치의 예측 모드가 인트라 예측 모드 인 경우, 제 2 계층의 해당 블록의 움직임 벡터값은 (0,0)을 가질 수 있으며, 참조 픽처 인덱스와 참조 픽처 POC 에는 -1 값을 할당할 수 있다.
제 2 계층의 기준 샘플 위치에 대응하는 제 1 계층 위치의 예측 모드가 인트라 예측 모드 인 경우, 제 2 계층의 해당 블록의 움직임 벡터값은 (0,0)을 가질 수 있으면, 참조 픽처 인덱스와 참조 픽처 POC는 특정 값(예를 들어, 참조 픽처 인덱스를 0으로 하고, 참조 픽처 인덱스 0이 지시하는 픽처의 POC를 참조 픽처 POC로 할당) 으로 할당할 수 있다.
제 2계층의 기준 샘플 위치에 대응하는 제 1 계층 위치의 예측 모드가 인터 예측 모드 인 경우, 제 1 계층 위치의 움직임 벡터 값, 참조 영상 인덱스, 참조 영상 POC 값을 제 2 계층의 해당 블록의 움직임 정보로 사용할 수 있다.
제 1 계층의 움직임 벡터를 사용함에 있어서 아래 수식과 같이 계층간 영상의 크기를 반영하여 사용할 수 있다.
mvLX[xP][yP][0] = (mvLXRL[xRL][yRL][0]*ScaledW+offset)/PicWRL
mvLX[xP][yP][1] = (mvLXRL[xRL][yRL][1]*ScaledH+offset)/PicHRL
- 제 1 계층의 대응 블록이 참조하고 있는 참조 픽처의 픽처 타입 ( 단기 참조 픽처, 장기 참조 픽처) 정보를 제 2 계층의 해당 블록의 정보로 사용할 수 있다.
- 상기 제 1계층의 움직임 정보 매핑은 상위 레벨(Video Parameter Sets, Sequence Parameter Sets, Picture Parameter Sets, Slice segment header 등)에서 결정되어 질 수 있으며, 관련 정보를 상위 레벨에서 전송할 수 있다.
- 예를 들어, 아래[표1]와 같이 Video Parameter Sets에서 관련 정보를 전송할 수 있다.
inter_layer_mfm_enable_flag가 0 인 경우, 상기 i번째 계층의 움직임 정보 매핑을 수행하지 않을 수 있다.
inter_layer_mfm_enable_flag가 1 인 경우, 상기 I번재 계층의 움직임 정보 매핑을 수행할 수 있다.
[표 1]
Figure pat00004

- 예를 들어, 아래[표2]와 같이 Sequence Parameter Sets의 extension 에서 관련 정보를 전송할 수 있다.
sps_inter_layer_mfm_enable_flag가 0 인 경우, 상기 제 1계층의 움직임 정보 매핑을 수행하지 않을 수 있다.
sps_inter_layer_mfm_enable_flag가 1 인 경우, 상기 제 1계층의 움직임 정보 매핑을 수행할 수 있다.
[표 2]
Figure pat00005

- 예를 들어, 아래[표3]와 같이 Sequence Parameter Sets에서 전송되어지는 sps_temporal_mvp_enabled_flag 값에 따라 sps_inter_layer_mfm_enable_flag의 전송 여부를 결정할 수 있다.
[표 3]
Figure pat00006
시간 움직임 벡터 예측 사용 여부를 알려주는 sps_temporal_mvp_enabled_flag가 1 인 경우에만, 제 1 계층의 움직임 정보 매핑을 수행할 지 여부를 알려주는 sps_inter_layer_mfm_enable_flag를 전송할 수 있다.
sps_temporal_mvp_enabled_flag 가 1이고, sps_inter_layer_mfm-enable_flag가 0 인 경우에, 제1계층의 움직임 정보를 제2계층에서 사용하지 않을 수 있다. 즉, 제1계층의 복원영상이 제2계층의 TMVP(temporal motion vector predictor)로 사용되지 않을 수 있다.
- 예를 들어, 별도의 sps_inter_layer_mfm_enable_flag 전송 없이, sps_temporal_mvp_enabled_flag 값에 의해 매핑 수행 여부가 결정될 수 있다. 예를 들어, sps_temporal_mvp_enabled_flag가 1인 경우에는 sps_inter_layer_mfm_enable_flag 가 1 인것으로 간주를 하여, 매핑을 수행할 수 있다. 예를 들어, sps_temporal_mvp_enabled_flag가 0 인 경우에는 sps_inter_layer_mfm_enable_flag 가 0 인 것으로 간주를 하여, 매핑을 수행할 수 있다.
- 예를 들어, 아래[표4]와 같이 Picture Parameter Sets의 extension 에서 관련 정보를 전송할 수 있다.
pps_inter_layer_mfm_enable_flag가 0 인 경우, 상기 제 1계층의 움직임 정보 매핑을 수행하지 않을 수 있다.
pps_inter_layer_mfm_enable_flag가 1 인 경우, 상기 제 1계층의 움직임 정보 매핑을 수행할 수 있다
[표 4]
Figure pat00007

- 예를 들어, 아래[표5]와 같이 slice segment header 의 extension 에서 관련 정보를 전송할 수 있다.
slice_inter_layer_mfm_enable_flag가 0 인 경우, 상기 제 1계층의 움직임 정보 매핑을 수행하지 않을 수 있다.
slice_inter_layer_mfm_enable_flag가 1 인 경우, 상기 제 1계층의 움직임 정보 매핑을 수행할 수 있다
[표 5]
Figure pat00008

- 예를 들어, 아래[표6]와 같이 slice segment header 의 extension 에서 관련 정보를 전송할 수 있다.
[표 6]
Figure pat00009
시간 움직임 벡터 예측 사용 여부를 알려주는 slice_temporal_mvp_enabled_flag가 1 인 경우에만, 제 1 계층의 움직임 정보 매핑을 수행할 지 여부를 알려주는 slice_inter_layer_mfm_enable_flag를 전송할 수 있다.
slice_temporal_mvp_enabled_flag 가 1이고, slice_inter_layer_mfm_enable_flag가 0 인 경우에, 제1계층의 움직임 정보를 제2계층에서 사용하지 않을 수 있다. 즉, 제1계층의 복원영상이 제2계층의 시간 움직임 벡터 예측 (TMVP: Temporal Motion Vector Predictor)로 사용되지 않을 수 있다.
slice_inter_layer_mfm_enable_flag는 아래[표7]와 같이 기본 계층이 아닌 계층(즉, 향상 계층)의 slice segment header의 경우에 slice_segement_header_extension_present_flag 상위에 존재할 수 있다.
[표 7]
Figure pat00010
시간 움직임 벡터 예측 사용 여부를 알려주는 slice_temporal_mvp_enabled_flag가 1 인 경우에만, 제 1 계층의 움직임 정보 매핑을 수행할 지 여부를 알려주는 slice_inter_layer_mfm_enable_flag를 전송할 수 있다.
slice_temporal_mvp_enabled_flag 가 1이고, slice_inter_layer_mfm_enable_flag가 0 인 경우에, 제1계층의 움직임 정보를 제2계층에서 사용하지 않을 수 있다. 즉, 제1계층의 복원영상이 제2계층의 TMVP(temporal motion vector predictor)로 사용되지 않을 수 있다.
slice_temporal_mvp_enabled_flag가 1이고, slice_inter_layer_mfm_enable_flag가 1 인 경우에, 제 1계층의 움직임 정보를 제 2계층에서 사용할 수 있다. 즉, 제 1계층의 움직임 정보를 제 2계층의 크기로 매핑을 수행한 후 제 1계층의 복원 영상이 제 2계층의 TMVP를 위한 대응 픽처(ColPic)로 사용될 수 있다.
slice_inter_layer_mfm_enable_flag가 1인 경우, 아래[표8]와 같이 추가 신택스 정보를 통해 TMVP를 위한 제 1계층의 대응 픽처(ColPic)에 대한 정보를 전송할 수 있다. 예를 들어, collocated_ref_layer_idx 를 통하여 참조 하는 계층의 정보를 알 수 있으며 상기 참조 계층 대응 픽처의 움직임 정보를 제 2 계층의 영상 크기로 매핑할 수 있다. 또한 B 슬라이스인 경우, collocated_ref_layer_from_l0_flag 를 통하여 대응 픽처로 사용할 수 있는 참조 계층의 픽처가 위치하는 참조 픽처 리스트 방향을 정할 수 있다.
[표 8]
Figure pat00011
collocated_ref_layer_idx: 움직임예측을 위해 사용되어지는 참조 계층의 개수가 2개 이상일 경우, 움직임 예측에 사용되어지는 참조 계층의 정보를 알려주는 지시사. 움직임 예측을 위해 사용되는 참조 계층의 개수가 1개 일 경우는 생략될 수 있다. 픽처 내 모든 슬라이스는 동일한 값을 가져야 한다는 제약을 가할 수 있다.
collocated_ref_layer_from_l0_flag: B 슬라이스에서 전송되어 지며, collocated_ref_layer_from_l0_flag 값이 1 인 경우는 LIST0내에 존재하는 참조 계층의 픽처를 대응 픽처(ColPic)로 함. collocated_ref_layer_from_l0_flag 값이 0 인 경우는 LIST1내에 존재하는 참조 계층의 픽처를 대응 픽처(ColPic)로 함. 이후, 대응 픽처(ColPic) 내의 대응 블록(ColPb)의 움직임 벡터를 구하는 과정에서 collocated_from_l0_flag 대신 collocated_ref_layer_from_l0_flag 값을 동일한 의미로 사용할 수 있음. 픽처 내 모든 슬라이스는 동일한 값을 가져야 한다는 제약을 가할 수 있다.
slice_inter_layer_mfm_enable_flag 가 0 인 경우는, 참조 계층의 움직임 정보를 이용하지 않고 collocated_from_l0_flag 와 collocated_ref_idx 를 사용하여 제 2 계층내의 리스트 방향과 대응 픽처를 알려 줄 수 있다.
[표 9]
Figure pat00012
또 다른 예로, [표 9]과 같이 slice_inter_layer_mfm_enable_flag 가 1 이면 collocated_ref_layer_idx 를 통하여 참조 하는 계층의 정보를 알 수 있으며 상기 참조 계층 대응 픽처의 움직임 정보를 제 2 계층의 영상 크기로 매핑할 수 있다. 이때, 슬라이스 타입에 따라 P슬라이스인 경우에는 LIST0 내에 존재하는 참조 계층의 픽처를 대응 픽처로 하며, B 슬라이스인 경우에는 LIST0 또는 LIST1 중 하나의 방향으로 규약을 하고 해당하는 참조 계층의 픽처를 대응 픽처로 하여 부, 복호화기가 동일하게 사용할 수 있다.
slice_inter_layer_mfm_enable_flag 가 0 인 경우는, 참조 계층의 움직임 정보를 이용하지 않고 collocated_from_l0_flag 와 collocated_ref_idx 를 사용하여 제 2 계층내의 리스트 방향과 대응 픽처를 알려 줄 수 있다.
- 픽처가 N개의 independent slice로 쪼개져 있을 경우, 각각의 slice segment header내의 slice_inter_layer_mfm_enable_flag 는 동일한 값을 가져야 하며, 첫번째 independent slice segment header 내의 slice_inter_layer_mfm_enable_flag 값에 따라 픽처 당 한번의 매핑 과정을 수행할 수 있다.
- 상기 실시 예에서는, 상위 레벨에서 전송되는 ‘sps_inter_layer_mfm_enable_flag’ 가 움직임 매핑 수행 여부를 알려주는 것으로 판단을 할 수 있으나, 확장을 하여, 계층간 신택스 예측 여부를 알려주는 있는 정보로 활용될 수 있다. 예를 들어, sps_inter_layer_mfm_enable_flag가 1인 경우, 움직임 매핑 수행 뿐만 아니라, 계층간 신택스 (움직임 정보) 예측을 수행할 수 있다.
- 상기 실시 예에서는, 매핑 수행 여부를 알려주는 별도의 신택스를 사용하였지만, 별도의 신택스 전송 없이, 계층간 예측 수행에 관한 신택스 정보 값에 따라 매핑을 수행할 수 있다.
- 예를 들어, 상위 계층에서 계층간 예측 수행 여부를 알려주는 신택스 정보에 따라 매핑 수행 여부를 판단할 수 있다. 상기 신택스 정보는 상위 레벨(Video Parameters Set, Sequence Parameter Sets Picture Parameter Sets, Slice segment header )에서 전송될 수 있다.
- 예를 들어, 아래[표10]와 같이 Video Parameter Sets 에서 계층간 예측 수행 여부를 알려주는 신택스가 전송될 경우, no_inter_layer_pred_flag 가 1 인 경우, 움직임 정보 매핑을 수행하지 않을 수 있으며, 0 인 경우, 움직임 정보 매핑을 수행할 수 있다.
[표 10]
Figure pat00013

- 예를 들어, 상위 계층에서 계층간 움직임 수행 여부를 알려주는 신택스 정보에 따라 매핑 수행 여부를 판단할 수 있다. 상기 신택스 정보는 상위 레벨(Video Parameters Set, Sequence Parameter Sets Picture Parameter Sets, Slice segment header )에서 전송될 수 있다.
- 예를 들어, 아래[표11]와 같이 Picture Parameter Sets 에서 계층간 신택스 예측 수행 여부를 알려주는 신택스가 전송될 경우, no_inter_layer_syntax_pred_flag 가 0 인 경우, 움직임 정보 매핑을 수행할 수 있으며, 1의 값을 갖는 경우, 움직임 정보 매핑을 수행하지 않을 수 있다.
[표 11]
Figure pat00014

- 예를 들어, 아래[표12]와 같이 slice segment 에서 계층간 신택스 예측 수행 여부를 알려주는 신택스가 전송될 경우, no_inter_layer_syntax_pred_flag 가 0 인 경우, 움직임 정보 매핑을 수행할 수 있으며, 1의 값을 갖는 경우, 움직임 정보 매핑을 수행하지 않을 수 있다.
[표 12]
Figure pat00015

[3] 제 1계층의 정보를 제 2계층의 참조 영상 리스트에 추가하여 제 2계층의 영상을 부, 복호화하는 단계
- 상기 1, 2 과정을 통해 제 2계층 영상의 크기로 매핑된 제 1 계층의 복호화된 샘플 값들과 움직임 정보들을 제 2 계층의 현재 부, 복호화 대상 영상을 위한 참조 픽처 리스트에 추가를 하여 제 2 계층의 영상을 위한 부, 복호화 과정에 이용을 할 수 있다.
- 참조 픽처 리스트에 추가를 함에 있어서, 제 1 계층의 복호화된 영상을 제 2 계층의 현재 부, 복호화 영상을 위한 참조 픽처 리스트의 마지막 위치에 마지막 위치에 추가할 수 있다.
- 참조 픽처 리스트에 추가를 함에 있어서, 제 1 계층의 복호화된 영상을 제 2 계층의 현재 부, 복호화 영상을 위한 참조 픽처 리스트의 특정 위치에 추가를 할 수 있다.
- 참조 픽처 리스트의 특정 위치에 추가를 함에 있어서, 상위 레벨 (Video Parameter Sets, Sequence Parameter Sets, Picture Parameter Sets, Slice segment header)에서 위치를 알려 줄 수 있으며, 또한 추가 정보 전송 없이, 정해진 규약에 의해 특정 위치가 지정될 수 있다.
- 참조픽처 리스트에 추가함에 있어서, 참조 픽처 리스트 L0 와 L1에 추가할 수 있으며, 이 경우, L0와 L1에 추가하는 위치가 다를 수 있다. 예를 들어, L0 에는 첫번째 위치, L1에는 마지막 위치에 추가할 수 있다.
- 참조 픽처 리스트에 추가를 함에 있어서, 제 1계층의 복호화된 영상을 제 2 계층의 현재 부, 복호화 영상을 위한 참조 리스트 방향 중 한곳에만 추가를 할 수 있다. 예를 들어, 현재 부호화 대상 영상이 B 슬라이스로 부호화되는 경우, 참조 픽처 리스트 L0 또는 참조 픽처 리스트 L1에만 제 1 계층의 복호화된 영상을 추가 할 수 있다.
- 특정 방향의 참조 픽처 리스트에만 추가를 함에 있어서, 상위 레벨(Video Parameter Sets, Sequence Parameter Sets, Picture Parameter Sets, Slice segment header)에서 위치를 알려 줄 수 있으며, 또한 추가 정보 전송 없이, 정해진 규약에 의해 특정 위치가 지정될 수 있다.
- 참조 픽처 리스트에 추가를 함에 있어서, 예측 구조의 Hierarchical Depth 정보를 이용하여 Depth 에 따라 서로 다른 위치에 제 1 계층의 복호화된 영상을 추가할 수 있으며, 위치에 대한 정보를 상위 레벨 (Video Parameter Sets, Sequence Parameter Sets, Picture Parameter Sets, Slice segment header)에서 알려줄 수 있다.
예를 들어, Hierarchical Depth에 따라 갖는 시간 레벨(temporal_Id) 값에 따라 참조 픽처 리스트내에 추가되는 제 1계층의 복호화된 영상의 위치를 달리 선택할 수 있다.
예를 들어, 시간 레벨(temporal_Id) 2 이상을 갖는 경우에는 참조 픽처 리스트의 마지막 위치에 추가할 수 있고 2보다 작은 경우에는 참조 픽처 리스트의 첫번째 위치에 추가할 수 있다.
기준 시간 레벨 값은 상위 레벨(Video Parameter Sets, Sequence Parameter Sets, Picture Parameter Sets, Slice segement header)등에서 알려줄 수 있다.
- 상기 제 1계층의 복호화된 영상은, 제 1계층의 복호화된 샘플 값들뿐만 아니라, 제 2계층의 영상 크기로 매핑 된 제 1 계층의 복호화된 움직임 정보를 포함할 수 있다.
- 상기와 같은 방법으로 제 1계층의 복호화된 영상을 제 2 계층의 현재 부, 복호화 대상 영상의 참조 픽처 리스트에 추가를 한 후 일반적인 화면 간 예측 방법을 통해 현재 부, 복호화 대상 블록에 대한 예측을 수행할 수 있다.
- 제 1계층의 복호화된 영상을 참조 신호로 현재 부호화 대상 블록의 예측을 수행하는 경우, 움직임 예측 과정 없이 현재 부호화 대상 블록과 동일한 위치의 샘플 값을 예측 신호로 사용할 수 있다. 이 경우, 부호화기는 해당 블록의 움직임 정보(움직임 벡터 차분 값, 움직임 예측 후보 플래그) 전송을 생략할 수 있다.
- 복호화기에서는 참조 픽처 인덱스가 지시하는 영상이 제 1계층의 복호화된 영상인 경우, 움직임 벡터 차분 값, 움직임 예측 후보 플래그를 복호화하지 않고, 현재 복호화 대상 블록과 동일한 위치의 샘플 값을 예측 신호로 사용할 수 있다.
- 복호화기에서는 상위 레벨 ( Video Parameter Sets, Sequence Parameter Sets, Picture Parameter Sets, Slice segment header )에서 전송되는 정보에 따라 현재 복호화 대상 블록의 참조 픽처 인덱스가 지시하는 영상이 제 1계층의 복호화된 영상인 경우, 움직임 벡터 차분 값, 움직임 예측 후보 플래그를 복호화 하지 않고, 현재 복호화 대상 블록의 위치와 동일한 위치를 갖는 제 1 계층의 복호화된 영상의 블록 샘플 값을 예측 신호로 사용할 수 있다.
[표 13]
Figure pat00016
- 예[표13]를 들어, SPS(Sequence Parameter Sets)에서 전송될 수 있는 sps_inter_layer_mv_zero_flag 가 1의 값을 가지며, 현재 복호화 대상 블록의 참조 픽처 인덱스가 참조 픽처 리스트내에서 제 1 계층의 복호화된 영상을 지시할 경우, 움직임 벡터 차분 값, 움직임 예측 후보 플래그를 복호화하지 않고 현재 현재 복호화 대상 블록의 위치와 동일한 위치를 갖는 제 1 계층의 복호화된 영상의 블록 샘플 값을 예측 신호로 사용할 수 있다.
- 예를 들어, SPS(Sequence Parameter Sets)에서 전송될 수 있는 sps_inter_layer_mv_zero_flag 가 0의 값을 가지며, 현재 복호화 대상 블록의 참조 픽처 인덱스가 참조 픽처 리스트내에서 제 1 계층의 복호화된 영상을 지시할 경우, 움직임 벡터 차분 값, 움직임 예측 후보 플래그를 복호화한 후 움직임 벡터 값을 구하여 해당 값의 위치의 제 1 계층의 복호화된 영상의 블록 샘플 값을 예측 신호로 사용할 수 있다.
- 부호화기에서는 제 1계층의 매핑된 움직임 정보를 제 2 계층 현재 부호화 대상 블록의 시간 움직임 벡터 후보로 사용을 하기 위해 , 제 1계층의 복호화된 영상을 시간 움직임 벡터 예측을 위한 collocated 영상으로 사용할 수 있다. 이 경우, 부호화기는 slice segment header 내의 collocated_ref_idx 를 통해 제 1계층의 복호화된 영상을 collocated 영상으로 지정할 수 있다.
- 복호화기에서는 slice segment header의 collocated_ref_idx가 제 1 계층의 복호화된 영상을 지시하는 경우, 제 1계층의 매핑된 움직임 정보를 시간 움직임 벡터 후보로 사용할 수 있다.
- 제 1계층의 매핑된 움직임 정보를 제 2계층의 시간 움직임 벡터 후보로 사용하는 경우, 상기 매핑된 제 1계층 영상의 참조 픽처 POC (Picture Order Count), 참조 픽처 리스트, 참조 픽처의 픽처 타입(단기 참조 픽처, 장기 참조 픽처) 정보 중 하나 이상을 이용함으로써, 움직임 벡터를 시간적 거리에 맞게 스케일링(scaling)하여 사용할 수 있다.
- 상위 레벨에서 제 1 계층의 움직임 정보 매핑을 허용하지 않고, 제 1 계층의 복호화된 참조 샘플 값들만 참조 픽처 리스트에 추가를 하여 예측을 수행하는 경우, collocated_ref_idx는 제 1 계층의 복호화된 영상을 지시하지 않도록 표준 문서상에 제약을 둘 수 있다.
- 제 1계층의 매핑된 움직임 정보를 사용하는 다른 예로서, 제 1계층의 매핑된 움직임 정보를 시간 움직임 벡터 후보가 아닌 추가적인 후보 모드로 사용을 할 수 있다. 이 경우, 시간 움직임 벡터 후보는 제 2 계층의 참조 픽처로부터 가져 올 수 있도록 collocated_ref_idx는 제 1 계층의 복호화된 영상을 지시하지 않도록 표준 문서상에 제약을 둘 수 있다. 또한 추가적인 후보 모드로 제 1계층의 매핑된 움직임 정보를 사용하기 위해 추가적으로 참조 픽처 리스트내의 제 1계층의 매핑된 영상의 위치를 알려 줄 수 있는 인덱스 (예를 들어, base_ref_idx) 를 slice segment header 등에서 전송할 수 있다.
- 추가 후보 모드의 위치는 부호화기와 복호화기에 동일하게 적용될 수 있다.

Claims (1)

  1. 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치.
KR1020130081199A 2013-04-04 2013-07-10 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치 Pending KR20140121315A (ko)

Priority Applications (16)

Application Number Priority Date Filing Date Title
KR20130082577A KR20140121316A (ko) 2013-04-04 2013-07-15 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
PCT/KR2014/002899 WO2014163418A1 (ko) 2013-04-04 2014-04-03 영상 부호화/복호화 방법 및 장치
KR1020140039805A KR102209109B1 (ko) 2013-04-04 2014-04-03 영상 부호화/복호화 방법 및 장치
US14/782,213 US9924180B2 (en) 2013-04-04 2014-04-03 Image encoding/decoding method and device
US15/875,258 US10440372B2 (en) 2013-04-04 2018-01-19 Image encoding/decoding method and device
US15/875,148 US10432950B2 (en) 2013-04-04 2018-01-19 Image encoding/decoding method and device
US15/875,293 US10499067B2 (en) 2013-04-04 2018-01-19 Image encoding/decoding method and device
US15/875,173 US10440371B2 (en) 2013-04-04 2018-01-19 Image encoding/decoding method and device
US16/656,359 US11778206B2 (en) 2013-04-04 2019-10-17 Image encoding/decoding method and device
KR1020210009695A KR102334374B1 (ko) 2013-04-04 2021-01-22 영상 부호화/복호화 방법 및 장치
KR1020210167537A KR102418524B1 (ko) 2013-04-04 2021-11-29 영상 부호화/복호화 방법 및 장치
KR1020220081983A KR102506469B1 (ko) 2013-04-04 2022-07-04 영상 부호화/복호화 방법 및 장치
KR1020230026886A KR102602633B1 (ko) 2013-04-04 2023-02-28 영상 부호화/복호화 방법 및 장치
US18/456,723 US12177461B2 (en) 2013-04-04 2023-08-28 Image encoding/decoding method and device
KR1020230155363A KR102722391B1 (ko) 2013-04-04 2023-11-10 영상 부호화/복호화 방법 및 장치
US18/938,538 US20250063181A1 (en) 2013-04-04 2024-11-06 Image encoding/decoding method and device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020130037106 2013-04-04
KR20130037106 2013-04-04
KR1020130039356 2013-04-10
KR20130039356 2013-04-10

Publications (1)

Publication Number Publication Date
KR20140121315A true KR20140121315A (ko) 2014-10-15

Family

ID=51992924

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020130081199A Pending KR20140121315A (ko) 2013-04-04 2013-07-10 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
KR20130082577A Pending KR20140121316A (ko) 2013-04-04 2013-07-15 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
KR1020140039805A Active KR102209109B1 (ko) 2013-04-04 2014-04-03 영상 부호화/복호화 방법 및 장치

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR20130082577A Pending KR20140121316A (ko) 2013-04-04 2013-07-15 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
KR1020140039805A Active KR102209109B1 (ko) 2013-04-04 2014-04-03 영상 부호화/복호화 방법 및 장치

Country Status (2)

Country Link
US (6) US9924180B2 (ko)
KR (3) KR20140121315A (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014163418A1 (ko) 2013-04-04 2014-10-09 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
KR20140121315A (ko) 2013-04-04 2014-10-15 한국전자통신연구원 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
FR3008840A1 (fr) * 2013-07-17 2015-01-23 Thomson Licensing Procede et dispositif de decodage d'un train scalable representatif d'une sequence d'images et procede et dispositif de codage correspondants
CN115118965B (zh) 2015-11-20 2025-05-16 韩国电子通信研究院 用于对图像进行编/解码的方法和存储比特流的方法
US10944962B2 (en) 2015-11-20 2021-03-09 Electronics And Telecommunications Research Institute Method and device for encoding/decoding image by using geometrically changed image
CN109493304B (zh) * 2017-09-13 2022-11-08 腾讯科技（深圳）有限公司 一种图像数据处理方法以及装置
CN118381907A (zh) 2018-03-21 2024-07-23 Lx 半导体科技有限公司 图像编码/解码方法以及图像数据的发送方法
US10645380B2 (en) * 2018-07-09 2020-05-05 Tencent America LLC Method and apparatus for video coding
CN119653077A (zh) 2018-10-29 2025-03-18 华为技术有限公司 一种视频图像预测方法及装置
WO2020256495A1 (ko) 2019-06-19 2020-12-24 한국전자통신연구원 참조 픽처를 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
MX2022006965A (es) * 2019-12-12 2022-09-19 Lg Electronics Inc Método y dispositivo para señalización de información de imagen.
US11704839B2 (en) 2019-12-17 2023-07-18 Electronics And Telecommunications Research Institute Multiview video encoding and decoding method
US11778169B2 (en) 2019-12-27 2023-10-03 Electronics And Telecommunications Research Institute Method, apparatus and storage medium for image encoding/decoding using reference picture
CN115066900B (zh) * 2020-01-06 2024-12-03 现代自动车株式会社 基于具有不同分辨率的参考图片的图像编码和解码
US20230055497A1 (en) * 2020-01-06 2023-02-23 Hyundai Motor Company Image encoding and decoding based on reference picture having different resolution

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8761252B2 (en) * 2003-03-27 2014-06-24 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
US7561620B2 (en) * 2004-08-03 2009-07-14 Microsoft Corporation System and process for compressing and decompressing multiple, layered, video streams employing spatial and temporal encoding
CN101040533B (zh) * 2004-10-13 2010-10-06 汤姆逊许可公司 复杂性可伸缩的视频编码和解码方法和设备
DE102004059978B4 (de) * 2004-10-15 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz und zum Decodieren einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Restwerte-Prädiktion sowie ein Computerprogramm und ein computerlesbares Medium
US8660180B2 (en) * 2005-04-01 2014-02-25 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
KR20070038396A (ko) * 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR20070074453A (ko) 2006-01-09 2007-07-12 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
JP4991759B2 (ja) 2006-01-09 2012-08-01 エルジー エレクトロニクス インコーポレイティド 映像信号のエンコーディング／デコーディング方法
US8315308B2 (en) * 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
KR101031022B1 (ko) * 2006-10-20 2011-06-29 노키아 코포레이션 버추얼 디코딩된 참조 픽처 마킹 및 참조 픽처 리스트
US8432968B2 (en) 2007-10-15 2013-04-30 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
US8189668B2 (en) * 2007-12-18 2012-05-29 Vixs Systems, Inc. Video codec with shared intra-prediction module and method for use therewith
US8855199B2 (en) * 2008-04-21 2014-10-07 Nokia Corporation Method and device for video coding and decoding
KR101660558B1 (ko) * 2009-02-03 2016-09-27 톰슨 라이센싱 비트 깊이 스케일리빌리티에서 스무드 참조 프레임에 의한 모션 보상을 하는 방법들 및 장치
KR101066117B1 (ko) 2009-11-12 2011-09-20 전자부품연구원 스케일러블 영상 코딩 방법 및 장치
US20110222837A1 (en) * 2010-03-11 2011-09-15 Cisco Technology, Inc. Management of picture referencing in video streams for plural playback modes
KR101772046B1 (ko) * 2010-11-04 2017-08-29 에스케이텔레콤 주식회사 예측모드에 따라 필터링된 화소값으로 인트라예측을 수행하는 영상 부호화/복호화 방법 및 장치
US9473789B2 (en) * 2010-12-14 2016-10-18 M&K Holdings Inc. Apparatus for decoding a moving picture
EP3700212B1 (en) * 2011-01-14 2022-03-23 Sun Patent Trust Method, apparatus and computer program for temporal prediction in scalable video coding
US9008176B2 (en) * 2011-01-22 2015-04-14 Qualcomm Incorporated Combined reference picture list construction for video coding
KR102114282B1 (ko) 2011-02-09 2020-05-22 엘지전자 주식회사 영상 부호화 및 복호화 방법과 이를 이용한 장치
WO2012173439A2 (ko) * 2011-06-15 2012-12-20 한국전자통신연구원 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치
KR20130030181A (ko) * 2011-09-16 2013-03-26 한국전자통신연구원 움직임 벡터 예측기를 이용한 움직임 벡터 부호화/복호화 방법 및 장치
KR20130037161A (ko) 2011-10-05 2013-04-15 한국전자통신연구원 스케일러블 비디오 코딩을 위한 향상된 계층간 움직임 정보 예측 방법 및 그 장치
US20140286415A1 (en) * 2011-10-05 2014-09-25 Electronics And Telecommunications Research Institute Video encoding/decoding method and apparatus for same
KR101979284B1 (ko) * 2011-10-26 2019-05-17 인텔렉추얼디스커버리 주식회사 인터 예측 모드 스케일러블 코딩 방법 및 장치
MX346769B (es) * 2011-11-08 2017-03-31 Kt Corp Metodo y aparato para exploracion de coeficientes con base en el modo de division de la unidad de prediccion.
US20150098508A1 (en) * 2011-12-30 2015-04-09 Humax Co., Ltd. Method and device for encoding three-dimensional image, and decoding method and device
WO2013114860A1 (ja) * 2012-02-03 2013-08-08 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置及び画像符号化復号装置
JP6222576B2 (ja) * 2012-03-21 2017-11-01 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、および画像符号化復号装置
US9491458B2 (en) * 2012-04-12 2016-11-08 Qualcomm Incorporated Scalable video coding prediction with non-causal information
CN104365104B (zh) * 2012-04-16 2018-11-06 三星电子株式会社 用于多视点视频编码和解码的方法和设备
US9219913B2 (en) * 2012-06-13 2015-12-22 Qualcomm Incorporated Inferred base layer block for TEXTURE—BL mode in HEVC based single loop scalable video coding
US9313486B2 (en) * 2012-06-20 2016-04-12 Vidyo, Inc. Hybrid video coding techniques
US9635356B2 (en) * 2012-08-07 2017-04-25 Qualcomm Incorporated Multi-hypothesis motion compensation for scalable video coding and 3D video coding
WO2014030920A1 (ko) * 2012-08-21 2014-02-27 삼성전자 주식회사 트리 구조의 부호화 단위에 기초한 예측 정보의 인터-레이어 비디오 부호화 방법 및 그 장치, 트리 구조의 부호화 단위에 기초한 예측 정보의 인터-레이어 비디오 복호화 방법 및 그 장치
MX341900B (es) * 2012-08-29 2016-09-07 Vid Scale Inc Metodo y aparato de prediccion de vector de movimiento para codificacion de video escalable.
US9438898B2 (en) * 2012-09-07 2016-09-06 Vid Scale, Inc. Reference picture lists modification
US20140086328A1 (en) * 2012-09-25 2014-03-27 Qualcomm Incorporated Scalable video coding in hevc
US9491461B2 (en) * 2012-09-27 2016-11-08 Qualcomm Incorporated Scalable extensions to HEVC and temporal motion vector prediction
CN104813662A (zh) * 2012-09-28 2015-07-29 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机程序
JPWO2014050948A1 (ja) * 2012-09-28 2016-08-22 シャープ株式会社 画像復号装置、画像復号方法及び画像符号化装置
EP3618436B1 (en) * 2012-10-01 2025-04-09 GE Video Compression, LLC Scalable video coding using inter-layer prediction contribution to enhancement layer prediction
US10375405B2 (en) * 2012-10-05 2019-08-06 Qualcomm Incorporated Motion field upsampling for scalable coding based on high efficiency video coding
US20140098880A1 (en) * 2012-10-05 2014-04-10 Qualcomm Incorporated Prediction mode information upsampling for scalable video coding
WO2014058210A1 (ko) * 2012-10-08 2014-04-17 삼성전자 주식회사 다시점 비디오의 인터 레이어 예측 구조에 따른 비디오 스트림 부호화 방법 및 그 장치, 다시점 비디오의 인터 레이어 예측 구조에 따른 비디오 스트림 복호화 방법 및 그 장치
TWI612799B (zh) * 2012-10-12 2018-01-21 韓國電子通信研究院 視訊編碼及解碼方法及使用該方法之裝置
WO2014088446A1 (en) * 2012-12-05 2014-06-12 Intel Corporation Recovering motion vectors from lost spatial scalability layers
US9357212B2 (en) * 2012-12-07 2016-05-31 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
JP6278900B2 (ja) * 2012-12-26 2018-02-14 シャープ株式会社 画像復号装置
US10021388B2 (en) * 2012-12-26 2018-07-10 Electronics And Telecommunications Research Institute Video encoding and decoding method and apparatus using the same
US20150326866A1 (en) * 2012-12-28 2015-11-12 Sharp Kabushiki Kaisha Image decoding device and data structure
US10021414B2 (en) * 2013-01-04 2018-07-10 Qualcomm Incorporated Bitstream constraints and motion vector restriction for inter-view or inter-layer reference pictures
US20140218473A1 (en) * 2013-01-07 2014-08-07 Nokia Corporation Method and apparatus for video coding and decoding
CN105103552B (zh) * 2013-01-10 2019-04-05 三星电子株式会社 用于补偿亮度差的对层间视频进行编码的方法及其装置以及用于对视频进行解码的方法及其装置
US9277200B2 (en) * 2013-01-17 2016-03-01 Qualcomm Incorporated Disabling inter-view prediction for reference picture list in video coding
CN105165011A (zh) * 2013-02-25 2015-12-16 三星电子株式会社 用于考虑存储器带宽和计算量的可伸缩视频编码的装置和方法以及用于可伸缩视频解码的装置和方法
US10616607B2 (en) * 2013-02-25 2020-04-07 Lg Electronics Inc. Method for encoding video of multi-layer structure supporting scalability and method for decoding same and apparatus therefor
US20140254681A1 (en) * 2013-03-08 2014-09-11 Nokia Corporation Apparatus, a method and a computer program for video coding and decoding
US9998735B2 (en) * 2013-04-01 2018-06-12 Qualcomm Incorporated Inter-layer reference picture restriction for high level syntax-only scalable video coding
KR20140121315A (ko) * 2013-04-04 2014-10-15 한국전자통신연구원 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
CN105075269B (zh) * 2013-04-04 2018-07-03 夏普株式会社 图像解码装置、图像编码装置及计算机可读取的记录介质
US20140301463A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for video coding and decoding
US9380305B2 (en) * 2013-04-05 2016-06-28 Qualcomm Incorporated Generalized residual prediction in high-level syntax only SHVC and signaling and management thereof
US11438609B2 (en) * 2013-04-08 2022-09-06 Qualcomm Incorporated Inter-layer picture signaling and related processes
US20140321560A1 (en) * 2013-04-08 2014-10-30 Nokia Corporation Method and technical equipment for video encoding and decoding

Also Published As

Publication number Publication date
US20180160131A1 (en) 2018-06-07
US9924180B2 (en) 2018-03-20
US20180146200A1 (en) 2018-05-24
KR102209109B1 (ko) 2021-01-28
US11778206B2 (en) 2023-10-03
US20160029029A1 (en) 2016-01-28
US20180146202A1 (en) 2018-05-24
US10499067B2 (en) 2019-12-03
KR20140121355A (ko) 2014-10-15
KR20140121316A (ko) 2014-10-15
US20200107031A1 (en) 2020-04-02
US10432950B2 (en) 2019-10-01
US10440371B2 (en) 2019-10-08
US10440372B2 (en) 2019-10-08
US20180146201A1 (en) 2018-05-24

Similar Documents

Publication Publication Date Title
KR20140121315A (ko) 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
US12132889B2 (en) Simplified history based motion vector prediction
CN105874799B (zh) 用于3d视频译码的基于块的高级残差预测
TWI526027B (zh) 視訊寫碼中之運動向量預測
TWI632807B (zh) Moving image decoding device
KR20130037161A (ko) 스케일러블 비디오 코딩을 위한 향상된 계층간 움직임 정보 예측 방법 및 그 장치
EP2966868B1 (en) Method for motion information prediction and inheritance in video coding
JP5992640B2 (ja) ビデオコード化における参照ピクチャリストのためのビュー間予測の無効化
CN118055249A (zh) 使用间预测处理视频信号的方法和装置
US20180255316A1 (en) Method and Apparatus for Deriving Temporal Motion Vector Prediction
KR20220016075A (ko) 모션 후보 리스트 구성 프로세스의 조건부 구현
JP2010525724A (ja) ビデオ信号をデコーディング／エンコーディングする方法および装置
JP2016513907A (ja) マルチビュー又は３次元ビデオコード化におけるビュー間残差予測
KR20140140073A (ko) 고효율 비디오 코딩을 위한 하이-레벨 신택스 확장들
KR20150103122A (ko) 비디오 코딩 확장안들에 대한 시간 모션 벡터 예측
KR20140087981A (ko) 계층적 비디오 부호화에서 다중참조계층을 적용한 화면간 부/복호화 방법 및 그 장치
US10194146B2 (en) Device and method for scalable coding of video information
WO2020012449A1 (en) Shape dependent interpolation order
Yan et al. Multiview-video-plus-depth coding and inter-component prediction in high-level-syntax extension of H. 265/HEVC
KR20230017238A (ko) 인터 레이어 예측 여부에 기반하여 움직임 정보를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
KR20140087972A (ko) 계층적 비디오 부호화에서 다중참조계층을 적용한 계층간 영상 부호화 및 복호화 방법 및 그 장치
JP2015015626A (ja) 画像復号装置および画像符号化装置
KR20080007177A (ko) 비디오 신호 처리 방법 및 장치
KR20140138515A (ko) 인터 레이어 시간적 머지 모드 유도 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130710

PC1204 Withdrawal of earlier application forming a basis of a priority claim

Patent event date: 20130710

Comment text: Patent Application

Patent event code: PC12041R01I

PG1501 Laying open of application