KR101352979B1 - 스케일러블 비디오 인코딩/디코딩 방법 및 그 장치 - Google Patents
스케일러블 비디오 인코딩/디코딩 방법 및 그 장치 Download PDFInfo
- Publication number
- KR101352979B1 KR101352979B1 KR1020070067031A KR20070067031A KR101352979B1 KR 101352979 B1 KR101352979 B1 KR 101352979B1 KR 1020070067031 A KR1020070067031 A KR 1020070067031A KR 20070067031 A KR20070067031 A KR 20070067031A KR 101352979 B1 KR101352979 B1 KR 101352979B1
- Authority
- KR
- South Korea
- Prior art keywords
- block
- current frame
- enhancement layer
- weight
- base layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 100
- 230000003044 adaptive effect Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 11
- 230000002123 temporal effect Effects 0.000 description 6
- 241000023320 Luma <angiosperm> Species 0.000 description 5
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- NUHSROFQTUXZQQ-UHFFFAOYSA-N isopentenyl diphosphate Chemical compound CC(=C)CCO[P@](O)(=O)OP(O)(O)=O NUHSROFQTUXZQQ-UHFFFAOYSA-N 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 스케일러블 비디오 코딩(Scalable Video Coding) 방법의 AR-FGS(Adaptive Reference Fine Grain Scalability)에 있어서, 기본 계층의 매크로 블록 모드가 SKIP 모드일 경우 슬라이스 단위로 주어진 기존의 가중치를 보다 높은 값으로 오버라이딩(overriding)하여 향상 계층의 참조 블록을 생성하는 방법 및 그 장치에 관한 것이다.
MPEG, 스케일러블 비디오 코딩(Scalable Video Coding), AR-FGS(Adaptive Reference Fine Grain Scalability)
Description
본 발명은 스케일러블 비디오 인코딩/디코딩 방법 및 그 장치에 관한 것으로, 보다 상세하게는, AR-FGS에서 기본 계층의 매크로블록 모드가 스킵(SKIP) 블록인 경우, 향상 계층의 매크로블록의 가중치를 기존의 가중치보다 높은 스킵 모드 가중치로 오버라이딩하여 참조 블록을 생성함으로써 코딩 효율을 향상시키는 스케일러블 비디오 인코딩/디코딩 방법 및 그 장치에 관한 것이다.
현재 MPEG 및 ITU-T에서 JVT(Joint Video Team)을 구성하여 국제 표준화가 진행중인 스케일러블 비디오 코딩(Scalable Video Coding; SVC)에서 AR-FGS(Adaptive Reference Fine Gradunality Scalability)는 SNR(Signal to Noise Ratio) 스케일러빌티리의 FGS(Fine Gradunality Scalability) 코딩 방법에서 시간 방향의 예측(temporal prediction)을 수행하여 코딩 효율(coding efficiency) 향상을 높이는 기술이다.
SNR(signal to noise ratio) 스케일러블은 가변적인 네트워크 상황에 따라서 수신한 비트율에 비례해 화질의 향상을 이루는 기술이다. 이 SNR 스케일러블 기술 중 FGS(Fine Gradunality Scalability)는 임의로 네트워크 상황에 따라 절단된 비트스트림을 전송받고, 전송받은 비트스트림의 양에 비례하여 화질의 향상을 가져오는 기술이다. 하지만 이 FGS 기술은 전송받을 비트율을 알 수 없기 때문에 비디오 코덱에서 높은 코딩 효율 향상을 가져오는 시간적 예측(temporal prediction) 구조를 가질 수 없다. 만약 아무런 고려 없이 시간적 예측 구조를 적용하게 되면 인코더와 디코더 단의 움직임 보상을 위한 참조 영상의 불일치로 인하여 드리프트(drift)가 발생되어 재생된 영상 및 코딩 효율 측면에서 급격한 성능 저하가 발생한다.
AR-FGS(Adaptive Reference - Fine Grain Scalability) 기술은 드리프트를 효과적으로 제어하며 시간적인 예측 구조의 성능향상의 이점을 함께 사용한다. 이 AR-FGS 기술은 움직임 보상을 위한 참조(reference) 블록 (또는 매크로블록)을, 부분적으로(partially) 디코딩된 상위 계층과 하위 계층에서 얻어진 참조 블록 (reference block)의 가중 합에 의해 생성한다. 이렇게 구현된 AR-FGS 방법으로 FGS 코딩 성능을 향상시키고 드리프트도 제어할 수 있다.
도 1은 종래 기술에 따른 AR-FGS(Adaptive Reference - Fine Grain Scalability)에서 참조 블록 생성의 개념도이다.
도 1을 참조하면, 블록의 크기는 MxN이고 
은 FGS 계층(향상 계층)에서 코딩될 블록의 신호이다. 
는 기본 계층과 향상 계층의 가중 합의 조합으로 만 들어지는 움직임 보상 참조 블록의 신호를 의미한다. 향상 계층의 참조 블록의 신호는 
로 기본 계층의 양자화된 계수는 
으로 표기하고 변환은 
로 표기하였다. 그리고 기본 계층의 양자화된 변환 계수는 
로 표기하였다.
AR-FGS에서 참조 블록의 생성은 다음의 두 가지 방법으로 수행된다.
1. 기본 계층에서 양자화된 계수가 모두 0이라면 (1)의 식, 즉 
를 향상 계층의 가중치로, 
를 기본 계층의 가중치로 이용하여 기본 계층의 대응 블록과 향상 계층의 대응 블록의 가중 합으로 참조 블록을 형성한다.
2. 그 외의 경우(기본 계층에서 0이 아닌 양자화된 계수가 하나 이상 존재하는 경우), 참조 블록은 변환 계수 영역에서 형성된다. 대응되는 위치의 기본 계층의 변환 신호가 0이라면 (2)의 식, 즉 변환 계수 영역에서 기본 계층에 대응되는 변환 계수에는 
를, 향상 계층에 대응되는 변환 계수에는 
를 곱하고 이들의 가중 합으로 변환 계수를 얻는다. 변환 계수 영역에서 대응되는 기본 계층 위치의 변환 계수가 0이 아니라면 (3)의 식, 즉 기본 계층 신호를 그대로 이용한다. 이렇게 획득한 변환 계수를 역변환을 통하여 참조 블록을 형성한다.
가중치들은 슬라이스 단위로 주어지며, 각 기본 계층의 블록에서 모든 픽셀의 잔여 영상의 값이 모두 '0'일 경우의 가중치(
) 와, 각 기본 계층의 블록에서 잔여 영상의 값이 모두 '0'이 아닐 경우 DCT 도메인(domain)으로 변환하여 모든 변환 계수의 값이 '0'이 아닌 계수가 존재할 경우의 가중치(
)를 따로 전송을 한다. 여기서 가중치(
,
)는 상위 계층의 가중치로 0 과 1 사이의 값을 가지며, 하위 계층의 가중치는 1 - 상위계층의 가중치, 즉, (1-
또는 1-
)를 갖는다.
위와 같은 방법으로 형성한 참조 블록으로 시간적인 예측 구조의 이점을 이용하여 FGS 코딩을 수행한다. 상기 방법은 실시간이 요구되는 비디오 코딩에서 기존 FGS 코딩보다 상대적으로 매우 향상된 성능을 발휘하며 일반적인 비디오 코딩에서도 기존 FGS 코딩보다 향상된 성능을 발휘한다.
MPEG4 및 H.264 표준 같은 비디오 코딩 기술에서는 코딩 효율을 높이기 위해 여러 가지 예측 기술을 사용한다. 그 중 스킵(SKIP) 모드는 기본 계층의 블록 데이터는 존재하지 않고, 참조 픽쳐의 데이터를 그대로 가져와서 사용하는 모드로써, 시간 방향에서 데이터의 변화가 없다는 것을 의미한다. 따라서 향상 계층에서도 데 이터의 변화가 없을 것을 예상하여 데이터를 그대로 가져와서 사용하면 성능이 향상이 될 수 있고, 만약 전송이 되지 않는다고 하더라도 스킵 블록에서 잘못된 참조를 통한 드리프트 발생 확률은 낮을 것이다.
본 발명이 이루고자 하는 기술적 과제는 기본 계층의 매크로 블록의 영상 데이터가 스킵 모드인 경우 코딩 성능을 향상시키고 드리프트 발생 확률을 감소시키는 스케일러블 코딩 방법 및 그 장치를 제공하는 것이다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기의 기술적 과제를 해결하기 위한 본 발명에 따른 스케일러블 비디오 인코딩 방법은, 인코딩할 현재 프레임의 향상 계층의 블록에 대응하는 기본 계층의 블록이 스킵 모드인지를 판단하는 단계; 상기 기본 계층의 블록이 스킵 모드인 경우, 상기 현재 프레임의 향상 계층의 블록에 대응하는 참조 프레임의 향상 계층의 블록에 설정된 기존 가중치를 신규 가중치로 오버라이딩하는 단계; 및 상기 신규 가중치를 이용하여 상기 참조 프레임의 향상 계층의 블록과 상기 현재 프레임의 기본 계층의 블록을 기초로 상기 현재 프레임의 향상 계층의 블록에 대한 참조 블록을 생성하는 단계;를 포함할 수 있다.
상기의 기술적 과제를 해결하기 위한 본 발명에 따른 스케일러블 비디오 디코딩 방법은, 디코딩할 현재 프레임의 향상 계층의 블록에 대응하는 기본 계층의 블록이 스킵 모드인지를 판단하는 단계; 상기 기본 계층의 블록이 스킵 모드인 경우, 상기 현재 프레임의 향상 계층의 블록에 대응하는 참조 프레임의 향상 계층의 블록에 설정된 기존 가중치를 신규 가중치로 오버라이딩하는 단계; 및 상기 신규 가중치를 이용하여 상기 참조 프레임의 향상 계층의 블록과 상기 현재 프레임의 기본 계층의 블록을 기초로 상기 현재 프레임의 향상 계층의 블록에 대한 참조 블록을 생성하는 단계;를 포함할 수 있다.
상기의 기술적 과제를 해결하기 위한 본 발명에 따른 스케일러블 비디오 인코딩 장치는, 인코딩할 현재 프레임의 향상 계층의 블록에 대응하는 기본 계층의 블록이 스킵 모드인지를 판단하는 모드 판단부; 상기 현재 프레임의 기본 계층의 블록이 스킵 모드인 경우, 상기 현재 프레임의 향상 계층의 블록에 대응하는 참조 프레임의 향상 계층의 블록에 설정된 기존 가중치를 신규 가중치로 오버라이딩하는 가중치 오버라이딩부; 및 상기 신규 가중치를 이용하여 상기 참조 프레임의 향상 계층의 블록과 상기 현재 프레임의 기본 계층의 블록을 기초로 상기 현재 프레임의 향상 계층의 블록에 대한 참조 블록을 생성하는 참조 블록 생성부;를 포함할 수 있다.
상기의 기술적 과제를 해결하기 위한 본 발명에 따른 스케일러블 비디오 디코딩 장치는, 디코딩할 현재 프레임의 향상 계층의 블록에 대응하는 기본 계층의 블록이 스킵 모드인지를 판단하는 모드 판단부; 상기 기본 계층의 블록이 스킵 모드인 경우, 상기 현재 프레임의 향상 계층의 블록에 대응하는 참조 프레임의 향상 계층의 블록에 설정된 기존 가중치를 신규 가중치로 오버라이딩하는 가중치 오버라 이딩부; 및 상기 신규 가중치를 이용하여 상기 참조 프레임의 향상 계층의 블록과 상기 현재 프레임의 기본 계층의 블록을 기초로 상기 현재 프레임의 향상 계층의 블록에 대한 참조 블록을 생성하는 참조 블록 생성부;를 포함할 수 있다.
상기의 기술적 과제를 달성하기 위해 스케일러블 비디오 인코딩 방법 및 스케일러블 비디오 디코딩 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 것을 특징으로 한다.
본 발명에 따라 기본 계층의 블록(매크로 블록)의 영상 데이터가 스킵 모드인 경우 향상 계층의 참조 블록 형성시, 참조 프레임의 향상 계층의 해당 블록에 슬라이스 단위로 주어진 기존의 가중치(weight)를 보다 높은 SKIP 모드의 가중치로 오버라이딩함으로써 SVC 코딩 효율을 향상시킬 수 있다.
또한 스킵 모드인지에 대해 아무런 고려 없이 시간적 예측 구조를 적용하는 경우에 비해 인코더와 디코더 단의 움직임 보상을 위한 참조 영상의 불일치로 인한 드리프트 발생 확률을 감소시킬 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 도면들 중 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들로 나타내고 있음에 유의해야 한다. 하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생 략할 것이다.
또한 본 발명에서 용어 "픽쳐" 및 "프레임"은 비디오 시퀀스에서 이미지 데이터를 나타내는 것으로 교환가능하게 사용된다.
도 2는 본 발명의 바람직한 일 실시예에 따른 스케일러블 인코딩 방법을 설명하는 흐름도이다.
도 2를 참조하면, 본 발명의 스케일러블 비디오 인코딩 장치는 인코딩할 현재 프레임의 향상 계층의 블록에 대응하는 기본 계층의 블록 모드가 스킵(SKIP) 모드인지 여부를 판단한다(S210). 스킵 모드는 현재 프레임의 기본 계층의 블록이 기본 계층의 추가 데이터의 전송이 없고 참조 프레임의 기본 계층의 블록 데이터를 그대로 가져오는 모드로서, 시간 방향으로 데이터의 변화가 없는 모드이다. 따라서 인코딩 장치는 예를 들어, 현재 프레임과 참조 프레임의 기본 계층의 블록들을 비교하고, 현재 프레임의 블록 데이터가 참조 프레임의 블록 데이터와 시간 방향으로 동일한지 여부로 스킵 모드 여부를 판단할 수 있다.
인코딩 장치는 상기 현재 프레임의 기본 계층의 블록이 스킵 모드이면, 새로운 가중치(이하, '스킵(SKIP) 모드 가중치'라 함)를 참조 프레임의 향상 계층의 블록에 설정된 기존 가중치에 오버라이딩한다(S220). 스킵 모드 가중치는 슬라이스 단위로 설정된 기존 가중치보다 크게 설정하여 향상 계층의 데이터 이용 비율을 높임으로써 코딩 효율을 향상시킬 수 있다. 스킵 모드 가중치는 기존 가중치와 함께 슬라이스 헤더에 코딩되어 전송될 수 있다. 이로써 디코더 측에서는 블록마다 모드 확인 후, 스킵 모드 블록에 대해서만 스킵 모드 가중치를 사용하고, 그 외 블록들 은 기존 가중치를 사용하여 참조 블록을 생성할 수 있다.
인코딩 장치는 가중 합을 이용하여 인코딩할 현재 프레임의 향상 계층의 블록에 대한 참조 블록을 구성한다(S230). 인코딩 장치는 현재 프레임의 기본 계층의 블록 모드가 스킵 모드이면, 스킵 모드 가중치가 적용된 참조 프레임의 향상 계층의 대응 블록과 스킵 모드 가중치로부터 계산된 가중치가 적용된 현재 프레임의 기본 계층의 대응 블록의 가중 합에 의해 참조 블록을 생성한다. 인코딩 장치는 현재 프레임의 기본 계층의 블록 모드가 스킵 모드가 아닌 경우에는, 기존 가중치를 이용하여 참조 프레임의 향상 계층의 대응 블록과 현재 프레임의 기본 계층의 대응 블록의 가중 합에 의해 참조 블록을 생성한다.
상기 생성된 참조 블록을 기초로 현재 프레임의 향상 계층의 블록에 대해 AR-FGS 블록 인코딩을 수행한다(S240).
도 3은 본 발명의 바람직한 일 실시예에 따른 스케일러블 비디오 디코딩 방법을 설명하는 흐름도이다.
도 3을 참조하면, 본 발명의 스케일러블 비디오 디코딩 장치는, 인코딩 장치로부터 인코딩된 비트스트림을 수신한다(S310). 수신된 비트스트림은 스킵 모드로 인코딩된 블록, 스킵 모드 정보 및 참조 블록 생성을 위한 스킵 모드 가중치 정보를 포함할 수 있다.
다음으로 디코딩 장치는 비트스트림 내 디코딩할 현재 프레임의 향상 계층의 블록에 대응하는 기본 계층의 블록 모드가 SKIP 모드인지 여부를 판단한다(S320). 스킵 모드 여부 판단은 상기 비트스트림 내에 포함된 스킵 모드 정보, 예를 들어, 해당 블록이 데이터가 없음을 나타내는 정보, 스킵 플래그 등의 특정 신택스 엘리먼트(syntax element) 등의 해당 블록이 스킵 모드임을 알려주는 정보로부터 유추할 수 있다.
디코딩 장치는 상기 현재 프레임의 기본 계층의 블록 모드가 스킵 모드인 경우, 스킵(SKIP) 모드 가중치를 상기 참조 프레임의 향상 계층의 블록에 설정된 기존 가중치에 오버라이딩한다(S330). 디코딩 장치는 기본 계층의 블록 모드가 스킵 모드이면, 수신한 비트스트림 내에 포함된 스킵 모드 가중치를 추출하고, 상기 스킵 모드 가중치를 참조 프레임의 향상 계층의 블록의 기존 가중치에 오버라이딩한다. 상기 스킵 모드 가중치는 상기 비트스트림 내 슬라이스 헤더로부터 추출될 수 있다.
디코딩 장치는 가중 합을 이용하여 디코딩할 현재 프레임의 향상 계층의 블록에 대한 참조 블록을 구성한다(S340). 디코딩 장치는 현재 프레임의 기본 계층의 블록이 스킵 모드로 판단되면, 스킵 모드 가중치가 적용된 참조 프레임의 향상 계층의 대응 블록과 스킵 모드 가중치로부터 계산된 가중치가 적용된 현재 프레임의 기본 계층의 대응 블록의 가중 합에 의해 참조 블록을 생성한다. 디코딩 장치는 현재 프레임의 기본 계층의 블록 모드가 스킵 모드가 아닌 것으로 판단되면, 기존 가중치를 이용하여 참조 프레임의 향상 계층의 대응 블록과 현재 프레임의 기본 계층의 블록의 가중 합에 의해 참조 블록을 생성한다.
디코딩 장치는 생성된 참조 블록을 기초로 현재 프레임의 향상 계층의 블록에 대해 AR-FGS 블록 디코딩을 수행한다(S350).
도 4는 본 발명의 바람직한 다른 실시예에 따른 스케일러블 비디오 인코딩 방법을 설명하는 흐름도이다. 도 2와 중복되는 내용의 상세한 설명은 생략하겠다.
도 4를 참조하면, 인코딩 장치는 SKIP 모드 가중치 오버라이딩의 수행을 지시하는 플래그를 설정할 것인지 여부를 결정한다(S410).
인코딩 장치는 오버라이딩 수행 플래그를 '1'로 설정한 경우, 현재 프레임의 기본 계층의 블록 모드가 SKIP 모드인지 여부를 판단한다(S420).
인코딩 장치는 기본 계층의 블록이 스킵 모드이면 스킵 모드 가중치를 참조 프레임의 향상 계층의 블록에 설정된 기존 가중치에 오버라이딩한다(S430).
인코딩 장치는 가중 합을 이용하여 현재 프레임의 향상 계층의 블록에 대한 참조 블록을 구성한다(S440). 오버라이딩 수행 플래그를 '1'로 설정하고 기본 계층의 블록이 스킵 모드로 판단되면, 스킵 모드 가중치가 적용된 참조 프레임의 향상 계층의 블록 및 스킵 모드 가중치로부터 계산된 가중치가 적용된 현재 프레임의 기본 계층의 블록의 가중 합에 의해 상기 참조 블록을 생성한다. 인코딩 장치는 오버라이딩 수행 플래그를 '1'로 설정하지 않거나 현재 프레임의 기본 계층의 블록 모드가 스킵 모드가 아닌 경우에는, 기존 가중치를 이용하여 참조 프레임의 향상 계층의 대응 블록과 현재 프레임의 기본 계층의 대응 블록의 가중 합에 의해 참조 블록을 생성한다.
인코딩 장치는 생성된 참조 블록을 기초로 현재 프레임의 향상 계층에 대한 AR-FGS 블록 인코딩을 수행한다(S450).
도 5는 본 발명의 바람직한 다른 실시예에 따른 스케일러블 비디오 디코딩 방법을 설명하는 흐름도이다. 도 3과 중복되는 내용의 상세한 설명은 생략하겠다.
도 5를 참조하면, 본 발명의 스케일러블 비디오 디코딩 장치는, 인코딩 장치로부터 스킵 모드로 인코딩된 블록을 포함하는 비트스트림을 수신한다(S510).
디코딩 장치는 SKIP 모드 가중치 오버라이딩의 수행을 지시하는 플래그가 설정되어 있는지 여부를 판단한다(S520). 수신된 비트스트림은 스킵 모드로 인코딩된 블록, 스킵 모드 수행 여부, 스킵 모드 정보 및 참조 블록 생성을 위한 스킵 모드 가중치를 포함할 수 있다.
디코딩 장치는 오버라이딩 수행 플래그가 '1'로 설정되어 있으면, 현재 프레임의 기본 계층의 블록의 모드가 SKIP 모드인지 여부를 판단한다(S530).
디코딩 장치는 기본 계층의 블록이 스킵 모드이면 SKIP 모드 가중치를 참조 프레임의 향상 계층의 블록에 설정된 기존 가중치에 오버라이딩한다(S540).
디코딩 장치는 가중 합을 이용하여 디코딩할 현재 프레임의 향상 계층의 블록에 대한 참조 블록을 구성한다(S550). 디코딩 장치는 오버라이딩 수행 플래그가 '1'로 설정되어 있고 기본 계층의 블록이 스킵 모드이면, 스킵 모드 가중치가 적용된 참조 프레임의 향상 계층의 대응 블록 및 스킵 모드 가중치로부터 계산된 가중치가 적용된 현재 프레임의 기본 계층의 대응 블록의 가중 합에 의해 상기 참조 블록을 생성한다. 디코딩 장치는 오버라이딩 수행 플래그가 '1'로 설정되어 있지 않거나 현재 프레임의 기본 계층의 블록 모드가 스킵 모드가 아닌 경우에는, 기존 가중치를 이용하여 참조 프레임의 향상 계층의 대응 블록과 현재 프레임의 기본 계층의 대응 블록의 가중 합에 의해 참조 블록을 생성한다.
디코딩 장치는 생성된 참조 블록을 기초로 현재 프레임의 향상 계층에 대한 AR-FGS 블록 디코딩을 수행한다(S560).
도 2 내지 도 5에서, 기본 계층의 블록 모드가 SKIP 모드인 경우를 예로서 설명하였으나, 상기 블록이 참조 픽처들(H.264에서 상기 블록의 왼쪽, 왼쪽 대각선 위쪽, 위쪽의 블록)로부터 예측된 값에서 일정 범위 내인 경우에도 상기 블록에 대해 새로운 가중치를 오버라이딩할 수 있음을 본 발명의 기술 분야에서 통상의 지식을 가진 자라면 충분히 알 수 있을 것이다.
오버라이딩에 사용하는 SKIP 모드 가중치는 슬라이스 헤더에 코딩할 수 있으며, N 비트의 고정 길이(Fixed length) 또는 가변 길이(Variable length) 코딩을 사용할 수 있다.
도 6은 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법을 표현하기 위한 신택스의 일 실시예의 도면이다.
도 6을 참조하면, 실제 스케일러블 비디오 코딩의 slice header in scalable extension 신택스에서 코딩하는 일 실시예로, SKIP 모드 가중치 오버라이딩을 사용할지에 대한 플래그(flag) 정보인 "override_max_diff_ref_scala_for_zero_base_block_flag"를 코딩하고, 플래그가 1이라면, SKIP 모드 가중치 오버라이딩 정보인 "max_diff_ref_scale_for_skipped_base_block"를 2비트로 코딩하고, 플래그가 0이라면, "max_diff_ref_scale_for_skipped_base_block"를 코딩하지 않는다. "max_diff_ref_scale_for_skipped_base_block"의 값은 0부터 3의 값을 갖는다. 0은 향상 계층의 가중치를 32/32로, 1은 31/32로, 2는 30/32, 3은 29/32로 주는 것이다. 기본 계층의 블록 모드가 SKIP 모드인 향상 계층의 블록을 코딩할 때, "override_max_diff_ref_scala_for_zero_base_block_flag"가 1일 경우 SKIP 모드 가중치인 "max_diff_ref_scale_for_skipped_base_block"를 "max_diff_ref_scale_for_zero_base_block"에 오버라이딩한다.
도 7은 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법을 표현하기 위한 신택스의 다른 실시예의 도면이다.
도 7을 참조하면, 실제 스케일러블 비디오 코딩의 slice header in scalable extension 신택스에서 코딩하는 일 실시예로 SKIP 모드 가중치 오버라이딩 정보 "max_diff_ref_scale_for_skipped_base_block"를 5비트로 코딩한다.
도 8은 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법을 표현하기 위한 신택스의 또 다른 실시예의 도면이다.
도 8을 참조하면, 실제 스케일러블 비디오 코딩의 slice header in scalable extension 신택스에서 코딩하는 일 실시예로 SKIP 모드 가중치 오버라이딩 정보 "max_diff_ref_scale_for_skipped_base_block"를 가변 길이 코드로 코딩하는 일 실시예로 H.264에서 사용하는 Exp-Golomb 코드를 사용하여 코딩하는 예를 보여준다.
현재 국제표준화가 진행중인 스케일러블 비디오 코딩 표준화에 실제로 적용한 예로 의사코드(Pseudo Code)는 다음과 같다.
도 9a 내지 도 9c는 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법을 표현하기 위한 신택스가 포함된 스케일러블 확장 슬라이스 헤더 (slice header in scalabe extension) 신택스의 일 실시예의 도면이다.
도 9a 내지 도 9c를 참조하면, 상기 의사코드를 SVC 국제표준안에 맞게 적용된 신택스(Syntax)로서, 도 9a 내지 도 9c에서 사용된 변수의 시맨틱(Semantics)은 다음과 같다.
다음은 상기 의사코드의 디코딩 프로세스(decoding process)의 실시예들로서, 4x4 휘도(luma) 블록에 대한 차분 인터 예측 표본의 스케일링 프로세스, 8x8 휘도(luma) 블록에 대한 차분 인터 예측 표본의 스케일링 프로세스, 및 채도(chroma) 블록에 대한 차분 인터 예측 표본의 스케일링 프로세스를 나타낸다.
4x4 휘도 블록에 대한
차분
인터
예측 표본의 스케일링 프로세스(
Scaling
process
for
differential
Inter
prediction
samples
of
4x4
luma
blocks
)
8x8 휘도 블록에 대한
차분
인터
예측 표본의 스케일링 프로세스(
Scaling
process
for
differential
Inter
prediction
samples
of
8x8
luma
blocks
)
채도(
chroma
) 블록에 대한
차분
인터
예측 표본의 스케일링 프로세스(
Scaling
process
for
differential
Inter
predictin
samples
of
chroma
blocks
)
도 10은 본 발명의 바람직한 일 실시예에 따른 스케일러블 비디오 인코딩 장치의 개략적인 내부 구성을 보여주는 블록도이다. 전술된 내용과 중복되는 내용의 상세한 설명은 생략하겠다.
도 10을 참조하면, 본 발명의 인코딩 장치는 모드 판단부(1010), 가중치 오버라이딩부(1020), 참조 블록 생성부(1030) 및 인코딩부(1040)를 포함한다.
모드 판단부(1010)는 인코딩할 현재 프레임의 향상 계층의 블록에 대응하는 상기 현재 프레임의 기본 계층의 블록이 스킵 모드인지를 판단한다. 또한 모드 판단부(1010)는 스킵 모드 가중치 오버라이딩 수행을 지시하는 플래그 설정 여부를 결정한다. 모드 판단부(1010)는 오버라이딩 수행 플래그를 '1'로 설정한 경우, 기본 계층의 블록이 스킵 모드인지를 판단하고, 오버라이딩 수행 플래그를 설정하지 않은 경우, 기본 계층의 블록이 스킵 모드인지를 판단하지 않는다.
가중치 오버라이딩부(1020)는 상기 현재 프레임의 기본 계층의 블록이 스킵 모드인 경우, 상기 현재 프레임의 향상 계층의 블록에 대응하는 참조 프레임의 향상 계층의 블록에 설정된 기존 가중치를 보다 큰 값을 갖는 스킵 모드 가중치로 오버라이딩한다.
참조 블록 생성부(1030)는 참조 프레임의 향상 계층의 블록에 설정된 가중치를 기초로 참조 블록을 생성한다. 참조 블록 생성부(1030)는 모드 판단부(1010)에서 오버라이딩 수행 플래그를 '1'로 설정하고 현재 프레임의 기본 계층의 블록이 스킵 모드로 판단한 경우, 신규 가중치가 적용된 상기 참조 프레임의 향상 계층의 대응 블록 및 상기 신규 가중치로부터 계산된 가중치가 적용된 상기 현재 프레임의 기본 계층의 대응 블록의 가중 합에 의해 상기 참조 블록을 생성한다. 참조 블록 생성부(1030)는 모드 판단부(1010)에서 현재 프레임의 기본 계층의 블록이 스킵 모드가 아니라고 판단한 경우, 상기 기존 가중치를 이용하여 참조 프레임의 향상 계층의 대응 블록과 현재 프레임의 기본 계층의 대응 블록을 기초로 참조 블록을 생성한다. 참조 블록 생성부(1030)는 모드 판단부(1010)에서 오버라이딩 수행 플래그를 '1'로 설정하지 않은 경우, 기존 가중치를 이용하여 참조 프레임의 향상 계층의 대응 블록과 현재 프레임의 기본 계층의 대응 블록의 가중 합에 의해 참조 블록을 생성한다.
인코딩부(1040)는 생성된 참조 블록을 이용하여 현재 프레임의 향상 계층의 블록에 대해 AR-FGS 블록 인코딩을 수행하고, 비트스트림을 생성한다.
도 11은 본 발명의 바람직한 일 실시예에 따른 스케일러블 비디오 디코딩 장치의 개략적인 내부 구성을 보여주는 블록도이다. 전술된 내용과 중복되는 내용의 상세한 설명은 생략하겠다.
도 11을 참조하면, 본 발명의 디코딩 장치는 수신부(1110), 모드 판단부(1120), 가중치 오버라이딩부(1130), 참조 블록 생성부(1140) 및 디코딩부(1150)를 포함한다.
수신부(1110)는 스킵 모드로 인코딩된 블록을 포함하는 비트스트림을 수신한다.
모드 판단부(1120)는 디코딩할 현재 프레임의 향상 계층의 블록에 대응하는 기본 계층의 블록이 스킵 모드인지를 판단한다. 또한 모드 판단부(1120)는 수신한 비트스트림에서 스킵 모드 가중치 오버라이딩 수행을 지시하는 플래그가 설정되어 있는지 여부를 판단한다. 모드 판단부(1120)는 오버라이딩 수행 플래그가 '1'로 설정되어 있음을 확인한 경우 기본 계층의 대응 블록이 스킵 모드인지를 판단하고, 오버라이딩 수행 플래그가 '1'로 설정되어 있지 않은 경우 기본 계층의 대응 블록이 스킵 모드인지를 판단하지 않는다.
가중치 오버라이딩부(1130)는 현재 프레임의 기본 계층의 대응 블록이 스킵 모드인 경우, 비트스트림에서 스킵 모드 가중치를 추출하고, 상기 현재 프레임의 향상 계층의 블록에 대응하는 참조 프레임의 향상 계층의 블록에 설정된 기존 가중치를 스킵 모드 가중치로 오버라이딩한다.
참조 블록 생성부(1140)는 참조 프레임의 향상 계층의 블록에 설정된 가중치를 기초로 참조 블록을 생성한다. 참조 블록 생성부(1140)는 모드 판단부(1120)에서 오버라이딩 수행 플래그가 '1'로 설정되어 있고 현재 프레임의 기본 계층의 블록이 스킵 모드임을 확인한 경우, 스킵 모드 가중치가 적용된 참조 프레임의 향상 계층의 대응 블록 및 상기 신규 가중치로부터 계산된 가중치가 적용된 현재 프레임의 기본 계층의 대응 블록의 가중 합에 의해 상기 참조 블록을 생성한다. 참조 블록 생성부(1140)는 모드 판단부(1120)에서 현재 프레임의 기본 계층의 대응 블록이 스킵 모드가 아닌 것으로 판단한 경우, 상기 기존 가중치를 이용하여 참조 프레임의 향상 계층의 대응 블록과 현재 프레임의 기본 계층의 대응 블록을 기초로 참조 블록을 생성한다. 참조 블록 생성부(1140)는 모드 판단부(1120)에서 오버라이딩 수행 플래그가 '1'로 설정되어 있지 않음을 확인한 경우, 기존 가중치를 이용하여 참조 프레임의 향상 계층의 대응 블록과 현재 프레임의 기본 계층의 대응 블록의 가중 합에 의해 참조 블록을 생성한다.
디코딩부(1150)는 생성된 참조 블록을 이용하여 현재 프레임의 향상 계층의 블록에 대해 AR-FGS 블록 디코딩을 수행하고, 블록을 복원한다.
도 12 내지 도 15는 스케일러블 비디오 코딩 표준화의 코덱인 JSVM 5.10에서 코딩한 결과와 본 발명에 따른 코딩 방법의 실시예들을 JSVM 5.10에 구현한 결과들 의 비트율 대비 PSNR(Peak Signal to Noise Ratio) 비교 그래프들이다.
상기 SVC 국제표준안에 맞게 적용된 신택스(Syntax)(도 9a 내지 도 9c) 및 시맨틱(Sementics)과 디코딩 프로세스(Decoding Process)를 사용하여 코딩하였고, 기존의 가중치 파라미터 "max_diff_ref_scale_for_zero_base_coeff"는 고정적으로 상위 계층의 가중치를 18/32로 하였다. 기본 계층이 SKIP 모드인 경우 상위 계층의 기존 가중치인 "max_diff_ref_scale_for_zero_base_block"은 28/32(동그라미 모양 그래프), 16/32(세모 모양 그래프), 8/32(마름모 모양 그래프)의 상위 계층의 가중치로 적용하였다.
도 12를 참조하면, Foreman CIF 15Hz 시퀀스를 "IPPP..."로 코딩하고, FGS 계층을 2계층까지 성능을 비교한 그래프로서, "max_diff_ref_scale_for_zero_base_block"가 28/32일 경우에 "max_diff_ref_scale_for_skipped_base_block"는 30/32로 하였고, 나머지 경우에서는 32/32로 하였다. "max_diff_ref_scale_for_zero_base_block"가 28/32일 경우에는 0.15dB까지 성능이 향상이 되고, 16/32일 경우에는 1dB까지 성능이 향상되었으며, 8/32일 경우에는 1.35dB까지 성능이 향상이 되는 것을 확인할 수 있다.
도 13을 참조하면, Bus CIF 15Hz 시퀀스를 "IPPP..."로 코딩하고, FGS 계층을 2계층까지 성능을 비교한 그래프로서 "max_diff_ref_scale_for_zero_base_block"가 28/32일 경우에 "max_diff_ref_scale_for_skipped_base_block"는 30/32로 하였고, 나머지 경우에서는 32/32로 하였다. "max_diff_ref_scale_for_zero_base_block"가 28/32일 경우에 는 0.1dB까지 성능이 향상이 되고, 16/32일 경우에는 0.43dB까지 성능이 향상되고, 8/32일 경우에는 0.73dB까지 성능이 향상이 되는 것을 확인할 수 있다.
도 14를 참조하면, Mobile CIF 15Hz 시퀀스를 "IPPP..."로 코딩하고, FGS 계층을 2계층까지의 성능을 비교한 그래프이다. "max_diff_ref_scale_for_zero_base_block"가 28/32일 경우에 "max_diff_ref_scale_for_skipped_base_block"는 29/32로 하였고, 나머지 경우에서는 32/32로 하였다. "max_diff_ref_scale_for_zero_base_block"가 28/32일 경우에는 0.09dB까지 성능이 향상이 되고, 16/32일 경우에는 0.84dB까지 성능이 향상되었으며, 8/32일 경우에는 2.07dB까지 성능이 향상이 되는 것을 확인할 수 있다.
도 15를 참조하면, Football CIF 15Hz 시퀀스를 "IPPP..."로 코딩하고, FGS 계층을 2계층까지의 성능을 비교한 그래프로서, "max_diff_ref_scale_for_zero_base_block"가 28/32일 경우에 "max_diff_ref_scale_for_skipped_base_block"는 29/32로 하였고, 나머지 경우에서는 32/32로 하였다. "max_diff_ref_scale_for_zero_base_block"가 28/32일 경우에는 0.01dB까지 성능이 향상이 되고, 16/32일 경우에는 0.39dB까지 성능이 향상되고, 8/32일 경우에는 0.47dB까지 성능이 향상이 되는 것을 확인할 수 있다.
따라서 본 발명에 따른 참조 블록 생성 방법이 적용된 인코딩/디코딩 방법 및 그 장치에 의해 SVC 코딩 효율(coding efficiency)을 향상시킬 수 있다.
본 발명을 설명함에 있어서, 매크로블록 또는 블록 단위로 수행되는 스케일러블 비디오 인코딩/디코딩 방법을 설명하였으나, 슬라이스 단위 또는 프레임 단위 로 수행되는 스케일러블 비디오 인코딩/디코딩 방법에도 본 발명이 적용될 수 있음을 본 발명의 기술 분야에서 통상의 지식을 가진 자라면 충분히 예측할 수 있을 것이다.
또한 설명의 편의를 위해 FGS 계층이 1계층인 경우를 예로 설명하였으나, FGS 계층이 2계층 이상인 경우에도 본 발명이 적용될 수 있음을 본 발명의 기술 분야에서 통상의 지식을 가진 자라면 충분히 예측할 수 있을 것이다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
지금까지 본 발명에 대하여 바람직한 실시예들을 중심으로 살펴보았다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다.
그러므로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 종래 기술에 따른 AR-FGS(Adaptive Reference-Fine Grain Scalability)의 참조 블록 생성 방법의 개념도이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 스케일러블 인코딩 방법을 설명하는 흐름도이다.
도 3은 본 발명의 바람직한 일 실시예에 따른 스케일러블 비디오 디코딩 방법을 설명하는 흐름도이다.
도 4는 본 발명의 바람직한 다른 실시예에 따른 스케일러블 비디오 인코딩 방법을 설명하는 흐름도이다.
도 5는 본 발명의 바람직한 다른 실시예에 따른 스케일러블 비디오 디코딩 방법을 설명하는 흐름도이다.
도 6은 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법을 표현하기 위한 신택스의 일 실시예의 도면이다.
도 7은 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법을 표현하기 위한 신택스의 다른 실시예의 도면이다.
도 8은 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법을 표현하기 위한 신택스의 또 다른 실시예의 도면이다.
도 9a 내지 도 9c는 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법을 표현하기 위한 신택스가 포함된 Slice 스케일러블 확장 슬라이스 헤더 (slice header in scalabe extension) 신택스의 일 실시예의 도면이다.
도 10은 본 발명의 바람직한 일 실시예에 따른 스케일러블 비디오 인코딩 장치의 개략적인 내부 구성을 보여주는 블록도이다.
도 11은 본 발명의 바람직한 일 실시예에 따른 스케일러블 비디오 디코딩 장치의 개략적인 내부 구성을 보여주는 블록도이다.
도 12는 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법의 일 실시예와 JSVM 5.10에서 제안된 방법과의 비트율 대비 PSNR 성능 비교 그래프이다.
도 13은 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법의 다른 실시예와 JSVM 5.10에서 제안된 방법과의 비트율 대비 PSNR 성능 비교 그래프이다.
도 14는 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법의 또 다른 실시예와 JSVM 5.10에서 제안된 방법과의 비트율 대비 PSNR 성능 비교 그래프이다.
도 15 본 발명에 따른 영상 데이터의 스케일러블 코딩 방법의 또 다른 실시예와 JSVM 5.10에서 제안된 방법과의 비트율 대비 PSNR 성능 비교 그래프이다.
Claims (37)
- (a) 인코딩할 현재 프레임의 향상 계층의 블록에 대응하는 기본 계층의 블록이 스킵 모드인지를 판단하는 단계;(b) 상기 기본 계층의 블록이 스킵 모드인 경우, 상기 현재 프레임의 향상 계층의 블록에 대응하는 참조 프레임의 향상 계층의 블록에 설정된 기존 가중치를 신규 가중치로 오버라이딩하는 단계; 및(c) 상기 신규 가중치를 이용하여 상기 참조 프레임의 향상 계층의 블록과 상기 현재 프레임의 기본 계층의 블록을 기초로 상기 현재 프레임의 향상 계층의 블록에 대한 참조 블록을 생성하는 단계;를 포함하는 것을 특징으로 하는 스케일러블 비디오 인코딩 방법.
- 제1항에 있어서,상기 생성된 참조 블록을 기초로 상기 현재 프레임의 향상 계층의 블록을 AR-FGS 인코딩하는 단계;를 더 포함하는 것을 특징으로 하는 스케일러블 비디오 인코딩 방법.
- 제1항에 있어서, 상기 (a) 단계는,상기 현재 프레임의 기본 계층의 블록 데이터가 상기 참조 프레임의 기본 계층의 블록 데이터와 시간 방향으로 동일한 경우 스킵 모드로 판단하는 단계;를 포 함하는 것을 특징으로 하는 스케일러블 비디오 인코딩 방법.
- 제1항에 있어서,상기 신규 가중치는 상기 참조 프레임의 향상 계층의 블록 데이터 이용 비율을 높이기 위해 상기 기존 가중치보다 크게 설정하는 것을 특징으로 하는 스케일러블 비디오 인코딩 방법.
- 제1항에 있어서, 상기 (c) 단계는,상기 신규 가중치가 적용된 상기 참조 프레임의 향상 계층의 블록 및 상기 신규 가중치로부터 계산된 가중치가 적용된 상기 현재 프레임의 기본 계층의 블록의 가중 합에 의해 상기 참조 블록을 생성하는 단계;를 포함하는 것을 특징으로 하는 스케일러블 비디오 인코딩 방법.
- 제1항에 있어서,(d) 상기 현재 프레임의 기본 계층의 블록이 스킵 모드가 아닌 경우, 상기 기존 가중치를 이용하여 상기 참조 프레임의 향상 계층의 블록과 상기 현재 프레임의 기본 계층의 블록을 기초로 상기 참조 블록을 생성하는 단계;를 더 포함하는 것을 특징으로 하는 스케일러블 비디오 인코딩 방법.
- 제1항에 있어서, 상기 (a) 단계는,(a1) 신규 가중치 오버라이딩 수행을 지시하는 플래그 설정 여부를 결정하는 단계; 및(a2) 상기 플래그를 설정한 경우, 상기 현재 프레임의 기본 계층의 블록이 스킵 모드인지를 판단하는 단계;를 포함하는 것을 특징으로 하는 스케일러블 비디오 인코딩 방법.
- 제7항에 있어서,(e) 상기 플래그를 설정하지 않은 경우, 상기 기존 가중치를 이용하여 상기 참조 프레임의 향상 계층의 블록과 상기 현재 프레임의 기본 계층의 블록을 기초로 상기 참조 블록을 생성하는 단계;를 더 포함하는 것을 특징으로 하는 스케일러블 비디오 인코딩 방법.
- 제1항에 있어서,상기 신규 가중치는 상기 기존 가중치와 함께 소정 비트의 고정 길이 또는 가변 길이로 슬라이스 헤더에 설정되는 것을 특징으로 하는 스케일러블 비디오 인코딩 방법.
- (a) 디코딩할 현재 프레임의 향상 계층의 블록에 대응하는 기본 계층의 블록이 스킵 모드인지를 판단하는 단계;(b) 상기 기본 계층의 블록이 스킵 모드인 경우, 상기 현재 프레임의 향상 계층의 블록에 대응하는 참조 프레임의 향상 계층의 블록에 설정된 기존 가중치를 신규 가중치로 오버라이딩하는 단계; 및(c) 상기 신규 가중치를 이용하여 상기 참조 프레임의 향상 계층의 블록과 상기 현재 프레임의 기본 계층의 블록을 기초로 상기 현재 프레임의 향상 계층의 블록에 대한 참조 블록을 생성하는 단계;를 포함하는 것을 특징으로 하는 스케일러블 비디오 디코딩 방법.
- 제10항에 있어서,상기 생성된 참조 블록을 기초로 상기 현재 프레임의 향상 계층의 블록을 AR-FGS 디코딩하는 단계;를 더 포함하는 것을 특징으로 하는 스케일러블 비디오 디코딩 방법.
- 제10항에 있어서, 상기 (a) 단계는,비트스트림 내에 포함된 스킵 모드 정보에 기초하여 스킵 모드 여부를 판단하는 단계;를 포함하는 것을 특징으로 하는 스케일러블 비디오 디코딩 방법.
- 제10항에 있어서,상기 신규 가중치는 상기 참조 프레임의 향상 계층의 블록 데이터 이용 비율을 높이기 위해 상기 기존 가중치보다 큰 것을 특징으로 하는 스케일러블 비디오 디코딩 방법.
- 제10항에 있어서, 상기 (b) 단계는,(b1) 비트스트림 내에 포함된 상기 신규 가중치를 추출하는 단계; 및(b2) 상기 신규 가중치를 상기 참조 프레임의 향상 계층의 블록에 오버라이딩하는 단계;를 포함하는 것을 특징으로 하는 스케일러블 비디오 디코딩 방법.
- 제14항에 있어서,상기 신규 가중치는 상기 비트스트림 내 슬라이스 헤더로부터 추출되는 것을 특징으로 하는 스케일러블 비디오 디코딩 방법.
- 제10항에 있어서, 상기 (c) 단계는,상기 신규 가중치가 적용된 상기 참조 프레임의 향상 계층의 블록 및 상기 신규 가중치로부터 계산된 가중치가 적용된 상기 현재 프레임의 기본 계층의 블록의 가중 합에 의해 상기 현재 프레임의 향상 계층의 블록에 대한 참조 블록을 생성하는 단계;를 포함하는 것을 특징으로 하는 스케일러블 비디오 디코딩 방법.
- 제10항에 있어서,(d) 상기 현재 프레임의 기본 계층의 블록이 스킵 모드가 아닌 경우, 상기 기존 가중치를 이용하여 상기 참조 프레임의 향상 계층의 블록과 상기 현재 프레임의 기본 계층의 블록을 기초로 상기 참조 블록을 생성하는 단계;를 더 포함하는 것 을 특징으로 하는 스케일러블 비디오 디코딩 방법.
- 제10항에 있어서, 상기 (a) 단계는,(a1) 신규 가중치 오버라이딩 수행을 지시하는 플래그가 설정되었는지를 판단하는 단계; 및(a2) 상기 플래그가 설정되어 있으면, 상기 기본 계층의 블록이 스킵 모드인지를 판단하는 단계;를 포함하는 것을 특징으로 하는 스케일러블 비디오 디코딩 방법.
- 제18항에 있어서,(f) 상기 플래그가 설정되어 있지 않으면, 상기 기존 가중치를 이용하여 상기 참조 프레임의 향상 계층의 블록과 상기 현재 프레임의 기본 계층의 블록을 기초로 상기 참조 블록을 생성하는 단계;를 더 포함하는 것을 특징으로 하는 스케일러블 비디오 디코딩 방법.
- 인코딩할 현재 프레임의 향상 계층의 블록에 대응하는 기본 계층의 블록이 스킵 모드인지를 판단하는 모드 판단부;상기 현재 프레임의 기본 계층의 블록이 스킵 모드인 경우, 상기 현재 프레임의 향상 계층의 블록에 대응하는 참조 프레임의 향상 계층의 블록에 설정된 기존 가중치를 신규 가중치로 오버라이딩하는 가중치 오버라이딩부; 및상기 신규 가중치를 이용하여 상기 참조 프레임의 향상 계층의 블록과 상기 현재 프레임의 기본 계층의 블록을 기초로 상기 현재 프레임의 향상 계층의 블록에 대한 참조 블록을 생성하는 참조 블록 생성부;를 포함하는 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
- 제20항에 있어서,상기 생성된 참조 블록을 기초로 상기 현재 프레임의 향상 계층의 블록을 AR-FGS 인코딩하는 인코딩부;를 더 포함하는 것을 특징으로 하는 스케일러블 비디오 인코딩 장치.
- 제20항에 있어서, 상기 모드 판단부는,상기 현재 프레임의 기본 계층의 블록 데이터가 상기 참조 프레임의 기본 계층의 블록 데이터와 시간 방향으로 동일한 경우 스킵 모드로 판단하는 것을 특징으로 하는 스케일러블 비디오 인코딩 장치.
- 제20항에 있어서,상기 신규 가중치는 상기 참조 프레임의 향상 계층의 블록 데이터 이용 비율을 높이기 위해 상기 기존 가중치보다 크게 설정하는 것을 특징으로 하는 스케일러블 비디오 인코딩 장치.
- 제20항에 있어서, 상기 참조 블록 생성부는,상기 신규 가중치가 적용된 상기 참조 프레임의 향상 계층의 블록 및 상기 신규 가중치로부터 계산된 가중치가 적용된 상기 현재 프레임의 기본 계층의 블록의 가중 합에 의해 상기 참조 블록을 생성하는 것을 특징으로 하는 스케일러블 비디오 인코딩 장치.
- 제20항에 있어서, 상기 참조 블록 생성부는,상기 현재 프레임의 기본 계층의 블록이 스킵 모드가 아닌 경우, 상기 기존 가중치를 이용하여 상기 참조 프레임의 향상 계층의 블록과 상기 현재 프레임의 기본 계층의 블록을 기초로 상기 참조 블록을 생성하는 것을 특징으로 하는 스케일러블 비디오 인코딩 장치.
- 제20항에 있어서, 상기 모드 판단부는,신규 가중치 오버라이딩 수행을 지시하는 플래그 설정 여부를 결정하고, 상기 플래그를 설정한 경우 상기 현재 프레임의 기본 계층의 블록이 스킵 모드인지를 판단하는 것을 특징으로 하는 스케일러블 비디오 인코딩 장치.
- 제26항에 있어서, 상기 참조 블록 생성부는,상기 플래그를 설정하지 않은 경우, 상기 기존 가중치를 이용하여 상기 참조 프레임의 향상 계층의 블록과 상기 현재 프레임의 기본 계층의 블록을 기초로 상기 참조 블록을 생성하는 것을 특징으로 하는 스케일러블 비디오 인코딩 장치.
- 디코딩할 현재 프레임의 향상 계층의 블록에 대응하는 기본 계층의 블록이 스킵 모드인지를 판단하는 모드 판단부;상기 기본 계층의 블록이 스킵 모드인 경우, 상기 현재 프레임의 향상 계층의 블록에 대응하는 참조 프레임의 향상 계층의 블록에 설정된 기존 가중치를 신규 가중치로 오버라이딩하는 가중치 오버라이딩부; 및상기 신규 가중치를 이용하여 상기 참조 프레임의 향상 계층의 블록과 상기 현재 프레임의 기본 계층의 블록을 기초로 상기 현재 프레임의 향상 계층의 블록에 대한 참조 블록을 생성하는 참조 블록 생성부;를 포함하는 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
- 제28항에 있어서,상기 생성된 참조 블록을 기초로 상기 현재 프레임의 향상 계층의 블록을 AR-FGS 디코딩하는 디코딩부;를 더 포함하는 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
- 제28항에 있어서, 상기 모드 판단부는,비트스트림 내에 포함된 스킵 모드 정보에 기초하여 스킵 모드 여부를 판단하는 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
- 제28항에 있어서,상기 신규 가중치는 상기 참조 프레임의 향상 계층의 블록 데이터 이용 비율을 높이기 위해 상기 기존 가중치보다 큰 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
- 제28항에 있어서, 상기 가중치 오버라이딩부는,비트스트림 내에 포함된 신규 가중치를 추출하고, 상기 신규 가중치를 상기 참조 프레임의 향상 계층의 블록에 오버라이딩하는 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
- 제28항에 있어서, 상기 참조 블록 생성부는,상기 신규 가중치가 적용된 상기 참조 프레임의 향상 계층의 블록 및 상기 신규 가중치로부터 계산된 가중치가 적용된 상기 현재 프레임의 기본 계층의 블록의 가중 합에 의해 상기 현재 프레임의 향상 계층의 블록에 대한 참조 블록을 생성하는 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
- 제28항에 있어서, 상기 참조 블록 생성부는,상기 현재 프레임의 기본 계층의 블록이 스킵 모드가 아닌 경우, 상기 기존 가중치를 이용하여 상기 참조 프레임의 향상 계층의 블록과 상기 현재 프레임의 기 본 계층의 블록을 기초로 상기 참조 블록을 생성하는 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
- 제28항에 있어서, 상기 모드 판단부는,신규 가중치 오버라이딩 수행을 지시하는 플래그가 설정되었는지를 판단하고, 상기 플래그가 설정되어 있는 경우 상기 기본 계층의 블록이 스킵 모드인지를 판단하는 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
- 제35항에 있어서, 상기 모드 판단부는,상기 플래그가 설정되어 있지 않은 경우, 상기 기존 가중치를 이용하여 상기 참조 프레임의 향상 계층의 블록과 상기 현재 프레임의 기본 계층의 블록을 기초로 상기 참조 블록을 생성하는 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
- 제1항 내지 제19항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/KR2007/003256 WO2008004816A1 (en) | 2006-07-04 | 2007-07-04 | Scalable video encoding/decoding method and apparatus thereof |
| US12/305,420 US8630352B2 (en) | 2006-07-04 | 2007-07-04 | Scalable video encoding/decoding method and apparatus thereof with overriding weight value in base layer skip mode |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020060062611 | 2006-07-04 | ||
| KR20060062611 | 2006-07-04 | ||
| KR1020070040969 | 2007-04-26 | ||
| KR1020070040969A KR20080004340A (ko) | 2006-07-04 | 2007-04-26 | 영상 데이터의 스케일러블 코딩 방법 및 그 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20080004392A KR20080004392A (ko) | 2008-01-09 |
| KR101352979B1 true KR101352979B1 (ko) | 2014-01-23 |
Family
ID=39215207
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020070067031A Active KR101352979B1 (ko) | 2006-07-04 | 2007-07-04 | 스케일러블 비디오 인코딩/디코딩 방법 및 그 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101352979B1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101581903B1 (ko) | 2015-06-08 | 2015-12-31 | 주식회사 세움이앤씨 건축사사무소 | 트러스 데크 상부 거치형 전기 배선 박스 |
| KR101581901B1 (ko) | 2015-06-08 | 2015-12-31 | (주)세움이앤씨 건축사사무소 | 트러스 데크용 전기 배선 파이프 착탈식 전기 배선 박스 |
| KR101581902B1 (ko) | 2015-06-08 | 2015-12-31 | 주식회사 세움이앤씨 건축사사무소 | 높이조절이 가능한 탈착형 전기 배선 박스 |
| KR101581899B1 (ko) | 2015-06-08 | 2015-12-31 | 주식회사 세움이앤씨 건축사사무소 | 트러스 거더형 전기 배선 박스 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030215011A1 (en) | 2002-05-17 | 2003-11-20 | General Instrument Corporation | Method and apparatus for transcoding compressed video bitstreams |
| WO2006006777A1 (en) | 2004-07-15 | 2006-01-19 | Samsung Electronics Co., Ltd. | Method and apparatus for predecoding and decoding bitstream including base layer |
| US20060062299A1 (en) | 2004-09-23 | 2006-03-23 | Park Seung W | Method and device for encoding/decoding video signals using temporal and spatial correlations between macroblocks |
| US20060078053A1 (en) | 2004-10-07 | 2006-04-13 | Park Seung W | Method for encoding and decoding video signals |
-
2007
- 2007-07-04 KR KR1020070067031A patent/KR101352979B1/ko active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030215011A1 (en) | 2002-05-17 | 2003-11-20 | General Instrument Corporation | Method and apparatus for transcoding compressed video bitstreams |
| WO2006006777A1 (en) | 2004-07-15 | 2006-01-19 | Samsung Electronics Co., Ltd. | Method and apparatus for predecoding and decoding bitstream including base layer |
| US20060062299A1 (en) | 2004-09-23 | 2006-03-23 | Park Seung W | Method and device for encoding/decoding video signals using temporal and spatial correlations between macroblocks |
| US20060078053A1 (en) | 2004-10-07 | 2006-04-13 | Park Seung W | Method for encoding and decoding video signals |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20080004392A (ko) | 2008-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101454495B1 (ko) | 공간 및 비트 심도 예측을 위하여 적응적 예측 순서를 이용하여 비디오 데이터를 인코딩 및/또는 디코딩하기 위한 방법 및 장치 | |
| KR102344167B1 (ko) | 참조 화상 리스트 변경 정보를 조건부로 시그널링하는 기법 | |
| KR101366249B1 (ko) | 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법 | |
| US8831104B2 (en) | Method for modeling coding information of a video signal to compress/decompress the information | |
| KR100772868B1 (ko) | 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치 | |
| KR101345090B1 (ko) | 적응성 인핸스먼트층 예측을 사용하여 비트 심도 스케일러블 비디오 데이터를 인코딩 및/또는 디코딩하는 방법 및 장치 | |
| KR101106856B1 (ko) | 비디오 인코딩 방법 및 비디오 인코딩 시스템 | |
| US8340182B2 (en) | Video decoding apparatus and video decoding method | |
| KR101365441B1 (ko) | 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법 | |
| JP4927207B2 (ja) | 符号化方法、復号化方法及び装置 | |
| KR101366241B1 (ko) | 영상 부호화, 복호화 방법 및 장치 | |
| JP7125520B2 (ja) | ピクチャ復号化方法およびピクチャ符号化方法 | |
| US20150195536A1 (en) | Method for modeling coding information of video signal for compressing/decompressing coding information | |
| EP1947862B1 (en) | Method for re-encoding image blocks, device using the same, and computer program | |
| KR20210105868A (ko) | 영상의 복호화 방법 및 이를 이용하는 장치 | |
| KR102219842B1 (ko) | 시간적 서브 레이어 정보에 기반한 인터 레이어 예측 방법 및 장치 | |
| KR100878811B1 (ko) | 비디오 신호의 디코딩 방법 및 이의 장치 | |
| CN101711481A (zh) | 使用预测数据精选进行视频编码的方法和装置 | |
| US20140016703A1 (en) | Methods and devices for controlling spatial access granularity in compressed video streams | |
| KR101366086B1 (ko) | 잔차 블록의 계수들에 대한 부호화 결정 방법, 장치,인코더 및 디코더 | |
| GB2509901A (en) | Image coding methods based on suitability of base layer (BL) prediction data, and most probable prediction modes (MPMs) | |
| WO2008004816A1 (en) | Scalable video encoding/decoding method and apparatus thereof | |
| KR101352979B1 (ko) | 스케일러블 비디오 인코딩/디코딩 방법 및 그 장치 | |
| US7912131B2 (en) | Selective prediction encoding and decoding methods and devices with ac/dc and advanced video coding prediction | |
| JP2025509014A (ja) | 適応ｍｖｄ分解能のためのテンプレートマッチングのためのシステム及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20070704 |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20120704 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20070704 Comment text: Patent Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20130729 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20131216 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20140113 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20140114 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20170106 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20170106 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20171220 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20171220 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20210104 Start annual number: 8 End annual number: 8 |
|
| PR1001 | Payment of annual fee |
Payment date: 20220103 Start annual number: 9 End annual number: 9 |
|
| PR1001 | Payment of annual fee |
Payment date: 20230102 Start annual number: 10 End annual number: 10 |
|
| PR1001 | Payment of annual fee |
Payment date: 20240612 Start annual number: 12 End annual number: 12 |