KR100714706B1

KR100714706B1 - 엔트로피 코딩의 성능 향상 방법 및 장치, 상기 방법을이용한 비디오 코딩 방법 및 장치

Info

Publication number: KR100714706B1
Application number: KR1020060003321A
Authority: KR
Inventors: 이배근; 한우진
Original assignee: 삼성전자주식회사
Priority date: 2005-09-26
Filing date: 2006-01-11
Publication date: 2007-05-04
Anticipated expiration: 2026-01-11
Also published as: CN101268696A; KR20070034917A

Abstract

본 발명은 비디오 압축 기술에 관한 것으로, 보다 상세하게는 다 계층 기반의 코덱에 있어서, 엔트로피 코딩의 성능을 개선하는 방법 및 장치에 관한 것이다.

본 발명의 일 실시예에 따른, FGS 계층의 제1 계수를 무손실 부호화하는 가변 길이 부호화 방법은, 상기 제1 계수가 속하는 소정의 단위 영역에 포함된 0의 비율을 산출하는 단계와, 상기 비율이 소정의 임계치를 넘는가 여부에 따라서 복수의 그룹화 단위 중에서 하나를 선택하는 단계와, 상기 제1 계수의 절대값을 상기 선택된 그룹화 단위로 그룹화하는 단계와, 상기 선택된 그룹화 단위에 상응하는 VLC 테이블을 참조하여 상기 그룹화된 제1 계수의 절대값을 매핑되는 코드 워드(codeword)로 변환하는 단계로 이루어진다.

스케일러블 비디오 코딩, 다 계층 비디오, H.264, 가변 길이 부호화(VLC)

Description

엔트로피 코딩의 성능 향상 방법 및 장치, 상기 방법을 이용한 비디오 코딩 방법 및 장치{Method and apparatus for enhancing performance of entropy coding, video coding method and apparatus using the method}

도 1은 단일 VLC 테이블을 사용할 경우 0이 아닌 계수의 비율을 각 FGS 계층별로 나타낸 도면.

도 2는 양자화 계수들이 하나의 이산 계층과 적어도 하나 이상의 FGS 계층으로 분리되어 표시되는 예를 도시하는 도면.

도 3은 본 발명의 일 실시예에 따른 정제 계수 인코더의 구성을 도시하는 블록도.

도 4는 본 발명의 일 실시예에 따른 정제 계수 디코더의 구성을 도시하는 블록도.

도 5는 도 3과 같은 엔트로피 인코더가 적용될 수 있는 다 계층 기반의 비디오 인코더의 구성을 도시하는 블록도.

도 6은 도 4와 같은 엔트로피 디코더가 적용될 수 있는 다 계층 기반의 비디오 디코더의 구성을 도시하는 블록도.

(도면의 주요부분에 대한 부호 설명)

100 : 정제 계수 인코더 110 : 그룹화부

120, 220 : 선택부 130 : 크기 코딩부

140, 240 : 테이블 저장부 150 : 부호 코딩부

160, 650 : Mux 200 : 정제 계수 디코더

210, 860 : Demux 230 : 크기 디코딩부

250 : 부호 디코딩부 500 : 기초 계층 인코더

510, 610 : 예측부 520, 620 : 변환부

530, 630 : 양자화부 540, 640 : 엔트로피 부호화부

550 : 다운샘플링부 600 : 향상 계층 인코더

700 : 기초 계층 디코더 710, 810 : 엔트로피 디코더

720, 820 : 역양자화부 730, 820 : 역변환부

740, 840 : 역예측부 800 : 향상 계층 디코더

1000 : 비디오 인코더 2000 : 비디오 디코더

인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 특 성을 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다.

데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy) 요소를 제거하는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려한 심리시각 중복을 제거함으로써 데이터를 압축할 수 있다. 일반적인 비디오 코딩 방법에 있어서, 시간적 중복은 모션 보상에 근거한 시간적 필터링(temporal filtering)에 의해 제거하고, 공간적 중복은 공간적 변환(spatial transform)에 의해 제거한다.

데이터의 중복을 제거한 결과는 다시 양자화 과정을 통하여 소정의 양자화 스텝에 따라서 손실 부호화된다. 상기 양자화된 결과는 최종적으로 엔트로피 부호화(entropy coding)를 통하여 최종적으로 무손실 부호화된다.

현재, ISO/IEC(International Organization for Standardization / International Electrotechnical Commission)와 ITU(International Telecommunication Union)의 비디오 전문가들 모임인 JVT(Joint Video Team)에서 진행중인 스케일러블 비디오 코딩(이하, SVC 라 함) 초안(draft)에서는, 기존의 H.264를 기반으로 한 다 계층 기반의 코딩 기술에 관한 연구가 활발히 진행되고 있 다.

현재 H.264 표준에서 사용되는 엔트로피 부호화 기술로는, CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding), Exp_Golomb(exponential Golomb) 등이 있다.

다음의 표 1은 H.264 표준에서 코딩될 파라미터 별로 사용되는 엔트로피 부호화 기법의 분류를 나타낸다.

상기 표 1에 의하면 entropy_coding_mode 플래그가 0인 경우에는, 해당 매크로블록이 인터 예측 모드인지 인트라 예측 모드인지를 나타내는 매크로블록 유형(macroblock type), 매크로블록을 구성하는 서브블록의 형태를 나타내는 매크로블록 패턴(macroblock pattern), 양자화 스텝(quantization step)을 결정하는 인덱스인 양자화 파라미터(quantization parameter), 인터 예측 모드에서 참조되는 프레임의 번호를 나타내는 참조 프레임 인덱스, 및 모션 벡터는 Exp_Golomb에 의하여 부호화된다. 그리고, 원 이미지와 예측 이미지 간의 차이를 나타내는 잔차 데이터(residual data)는 CAVLC에 의하여 부호화된다.

반면에, 상기 entropy_coding_mode 플래그가 1인 경우에는, 상기 모든 파라미터들은 CABAC로 코딩된다.

CABAC는 높은 복잡성(high complexity)을 갖는 파라미터에서 좋은 성능을 나타낸다. 따라서, CAVLC 등의 VLC(Variable Length Coding) 기반의 엔트로피 코딩은 기초적인 프로파일로서 설정된다.

J Ridge 및 M. Karczewicz에 의하여 16번째 JVT 미팅에서 제출된 문서 "Variable length code for SVC"(JVT-P056, Poznan, 16-th　JVT meeting; 이하 JVT-P056이라고 함)에는 SVC의 특성을 고려한 CAVLC 기법을 제시하고 있다. JVT-P056은, 이산 계층(discrete layer)에서는 기존의 H.264와 동일한 처리 과정을 따르지만, FGS 계층(Fine Granular Scalability layer)에서는 별도의 통계적 특성에 따른 VLC 기법을 사용한다.

현재, JSVM(Joint Scalable Video Model)에서는, FGS 인코딩을 위하여, 세 가지의 스캐닝 패스(scanning pass)를 지원하는데, 그것은 중요 패스(significance pass), 정제 패스(refinement pass), 및 잔여 패스(remainder pass)이다. 각각의 스캐닝 패스에 대하여, 그 통계적 특성에 따라 서로 다른 방법이 적용된다. 예를 들어, 정제 패스에서는 엔트로피 코딩에 있어서 "0" 값이 보다 선호된다는 사실에 근거하여 얻어지는 하나의 VLC 테이블을 이용된다.

JVT-P056에서는 FGS 계층을 위한 VLC 기법을 제시한다. 상기 기법은 이산 계층에서는 종래의 CAVLC 기법을 그대로 사용하지만, FGS 계층에서의 통계적 특성을 이용한 별도의 기법을 사용한다. 그런데, JVT-P056는 상기 세가지 스캐닝 패스 중, 정제 패스에서 정제 계수(정제 비트)를 코딩함에 있어서, 4개의 정제 비트를 단위로 그룹화(grouping)하여 심볼을 형성하고, 상기 심볼을 하나의 VLC 테이블을 이용하는 부호화하는 기법을 제시하고 있다. 하지만, 복수의 FGS 계층은 계층별로 서로 다른 "0"의 분포를 가지고 있음을 고려할 때, 고정된 개수(4개)로 그룹화된 심볼을 부호화하는 것은 효율적인 방법이라고 보기 어렵다.

도 1은 정제 패스에 있어서 단일 VLC 테이블을 사용하는 경우에 FGS 계층별로 0이 아닌 계수의 비율을 나타낸 것이다. 도 1에서 보면, FGS 계층이 증가될수록 코딩될 블록 중의 0이 아닌 수는 최대 15%까지 증가(0은 최대 15%까지 감소)되는 특성이 있다. 따라서, 0의 수가 많은 것으로 가정하여 4개 단위로 정제 계수를 그룹화하는 방법이, 설령 제1 FGS 계층에서는 효율적으로 적용될 수 있다고 하더라도, 그 상위 FGS 계층에서도 여전히 효율적으로 적용될 것이라고 기대하기는 어렵다. 오히려, 각 FGS 계층 별로 서로 다른 그룹화 단위(grouping unit) 및 이에 적합한 VLC 테이블을 적응적으로(adaptively) 적용하는 것이 코딩 효율 면에서 보다 유리할 것이다.

본 발명은 상기한 필요성을 고려하여 고안된 것으로, 스캐닝 패스 중 정제 패스(refinement pass)에 있어서, 각 FGS 별 특성에 따라서 적응적으로 그룹화 단위 및 이에 상응하는 VLC 테이블을 선택할 수 있게 함으로써, 엔트로피 코딩의 성능을 향상시키는 방법 및 장치를 제공하는 것을 목적으로 한다.

본 발명의 목적은 상기 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기한 목적을 달성하기 위하여, 하나의 이산 계층(discrete layer)과 적어도 하나 이상의 FGS 계층(Fine Granular Scalability layer)으로 이루어지는 계수들 중 상기 FGS 계층의 제1 계수를 무손실 부호화하는 가변 길이 부호화 방법에 있어서, 상기 제1 계수가 속하는 소정의 단위 영역에 포함된 0의 비율을 산출하는 단계; 상기 비율이 소정의 임계치를 넘는가 여부에 따라서 복수의 그룹화 단위 중에서 하나를 선택하는 단계; 상기 제1 계수의 절대값을 상기 선택된 그룹화 단위로 그룹화하는 단계; 및 상기 선택된 그룹화 단위에 상응하는 VLC 테이블을 참조하여, 상기 그룹화된 제1 계수의 절대값을 매핑되는 코드 워드(codeword)로 변환하는 단계를 포함한다.

상기한 목적을 달성하기 위하여, 입력된 비트스트림 중 FGS 계층의 제1 비트스트림을 무손실 복호화하여 상기 FGS 계층에 대한 제1 계수를 복원하는 가변 길이 복호화 방법에 있어서, 상기 제1 계수가 속하는 소정의 단위 영역에 포함된 기 복원된 제2 계수 중 0의 비율을 산출하는 단계; 상기 비율이 소정의 임계치를 넘는가 여부에 따라서 복수의 그룹화 단위 중에서 하나를 선택하는 단계; 및 상기 선택된 그룹화 단위에 상응하는 VLC 테이블을 참조하여, 상기 제1 비트스트림에 포함된 코드 워드로부터 상기 제1 계수를 복원하는 단계를 포함한다.

상기한 목적을 달성하기 위하여, 입력된 비트스트림 중 FGS 계층의 제1 비트스트림을 무손실 복호화하여 상기 FGS 계층에 대한 정제 비트(refinement coefficients)를 복원하는 가변 길이 복호화 방법에 있어서, 상기 제1 비트스트림에 소정의 단위 영역 별로 삽입되어 있는 그룹화 단위에 관한 정보를 판독하는 단계; 상기 그룹화 단위에 상응하는 VLC 테이블을 로딩하는 단계; 및 상기 로딩된 VLC 테이블을 참조하여, 상기 제1 비트스트림에 포함된 코드 워드로부터 상기 제1 계수를 복원하는 단계를 포함한다.

상기한 목적을 달성하기 위하여, 하나의 이산 계층(discrete layer)과 적어도 하나 이상의 FGS 계층(Fine Granular Scalability layer)으로 이루어지는 계수들 중 상기 FGS 계층의 제1 계수를 무손실 부호화하는 가변 길이 부호화 장치에 있어서, 상기 제1 계수가 속하는 소정의 단위 영역에 포함된 0의 비율을 산출하는 수단; 상기 비율이 소정의 임계치를 넘는가 여부에 따라서 복수의 그룹화 단위 중에서 하나를 선택하는 수단; 상기 제1 계수의 절대값을 상기 선택된 그룹화 단위로 그룹화하는 수단; 및 상기 선택된 그룹화 단위에 상응하는 VLC 테이블을 참조하여, 상기 그룹화된 제1 계수의 절대값을 매핑되는 코드 워드(codeword)로 변환하는 수단을 포함한다.

상기한 목적을 달성하기 위하여, 입력된 비트스트림 중 FGS 계층의 제1 비트스트림을 무손실 복호화하여 상기 FGS 계층에 대한 제1 계수를 복원하는 가변 길이 복호화 장치에 있어서, 상기 제1 계수가 속하는 소정의 단위 영역에 포함된 기 복원된 제2 계수 중 0의 비율을 산출하는 수단; 상기 비율이 소정의 임계치를 넘는가 여부에 따라서 복수의 그룹화 단위 중에서 하나를 선택하는 수단; 및 상기 선택된 그룹화 단위에 상응하는 VLC 테이블을 참조하여, 상기 제1 비트스트림에 포함된 코 드 워드로부터 상기 제1 계수를 복원하는 수단을 포함한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특성, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

일반적으로, 복수의 FGS 계층 중 상위 계층으로 갈수록, 0의 개수는 증가하며, 동일한 FGS 계층 내에서도 프레임, 슬라이스, 매크로블록, 또는 블록 별로 상기 0의 개수의 분포가 동일한 것으로 보기는 어렵다. 따라서, 본 발명은 하나의 단위 영역(프레임, 슬라이스, 매크로블록, 또는 블록)에 포함되는 0의 개수를 기준으로, 서로 다른 그룹화 단위(grouping unit) 및 이에 상응하는 VLC 테이블을 선택하는 것이 가능하도록 한다. 상기 그룹화 단위라 함은, 심볼(symbol)을 형성하는 정제 비트의 수를 의미한다.

도 2는 양자화 계수들이 하나의 이산 계층과 복수의 FGS 계층으로 분리되어 표시되는 예를 도시하는 도면이다. 도 2에서, 각 계층은 4×4 단위의 계수들로 이루어진 블록으로 표시되어 있다. 대응되는 위치에 있는 숫자들은 조합되어 하나의 양자화 계수를 나타낸다. 비트율을 줄이기 위해서는, 상기 계층들을 상위 계층에서 부터 잘라내면(truncation) 된다. 물론 하나의 계층 중 일부의 숫자들만을 잘라 버릴 수도 있다.

예를 들어, 각 계층에서 4×4 블록 중 1행의 2열에 위치하는 계수는 각각 3, -1, 1이다. 이 위치에 대응되는 양자화 계수를 제대로 복원하기 위해서는 이들 계수 모두가 필요하지만, 상황에 따라서는 1 또는, 1 및 -1은 잘라 내어질 수 있고, 디코더 단에서는 상대적으로 중요한 하위 계층의 계수만으로 상기 양자화 계수를 복원하게 된다(물론, 손실이 발생한다).

FGS 계층들은 이산 계층과는 그 특성이 매우 상이하다. 왜냐하면, 이산 계층은 다소 러프(rough)하게나마 원 이미지를 표현하고 있음에 반하여, FGS 계층들은 차분(difference) 개념을 갖는 값들로 구성되어 있기 때문이다. 또한, 이산 계층에서는 0, 1, -1 이외의 다른 값들도 나타날 수 있는 반면에, FGS 계층에서는 그 특성상 0, 1, -1로만 표현되는 것이 일반적이다.

중요 패스로 코딩되는 FGS 계층의 계수는 그 대응되는 이산 계층의 계수가 0일 때이며, 정제 패스로 코딩되는 FGS 계층상의 계수는 그 대응되는 이산 계층의 계수가 0이 아닐 때이다. 예를 들어, 제1 FGS 계층에서 음영으로 표시된 비트들(정제 비트들)은 정제 패스로 코딩된다.

본 발명에 따른 계층별 적응적 VLC 기법은 특히, 상기 정제 패스에 적용되기에 적합하다. 이산 계층의 계수를 VLC 코딩하는 경우에는, Level, Trailing Ones 등을 모두 고려하여 코딩하는 것이 바람직하다. 그러나 정제 계수의 경우에는 이들을 고려할 필요가 없으므로, 보다 간단한 VLC 코딩 기법이 필요하다.

도 3은 본 발명의 일 실시예에 따른 정제 비트 인코더(100)의 구성을 도시하는 블록도이다.

선택부(120)는 기 코딩된 단위 영역의 정제 비트를 참조하여, 그룹화부(110)에서 사용될 그룹화 단위를 결정한다. 상기 단위 영역은 상기 입력 정제 비트가 속하는 프레임, 슬라이스, 매크로블록, 또는 블록이 될 수 있다.

일단, 현재 정제 비트가 속하는 단위 영역이 정해지면, 선택부(120)는 상기 단위 영역에 속하는 비트들 중 0의 개수를 카운트한다. 그리하여, 상기 비트들 중 0이 차지하는 비율이 소정의 임계치를 넘으면, 종래의 JVT-P056에서 제시한 바와 같이, 그룹화 단위를 4로 한다. 그러나 상기 비율이 상기 임계치를 넘지 않으면 그룹화 단위를 3으로 한다.

코딩할 비트들 중에서 0의 개수가 많으면, 여러 개의 0을 묶어서 하나의 짧은 코드 워드로 표현할 수 있으므로, 그룹화 단위를 크게 하는 것이 유리하다. 반면에, 0의 개수가 작으면 상대적으로 그룹화 단위를 작게 하는 것이 유리하다. 본 발명에서, 선택부(120)에서 그룹화 단위를 조절하는 것은, 이와 같은 점을 고려한 것이다.

이상의 예에서는 1개의 임계치 및 2개의 그룹화 단위를 사용하는 것을 예로 들었지만, 본 발명은 이에 한하지는 않는다. 일반적으로, n(n은 자연수)개의 임계치 및 n+1 가지의 그룹화 단위를 사용할 수 있음은 당업자라면 충분히 이해할 것이다. 상기 임계치들은 경험적 또는 실험적으로 결정될 수 있는 값들로서, 예를 들어, 7/8, 3/4, 2/3 등으로 결정될 수 있다.

선택부(120)는 이와 같이, 그룹화 단위를 결정하였으면, 테이블 저장부(140)에 저장된 VLC 테이블 중 그에 상응하는 VLC 테이블을 크기 코딩부(130)에 제공한다. 그룹화 단위가 다르면 그에 따라서 VLC 테이블도 당연히 달라져야 하기 때문이다.

그룹화 단위가 4인 경우에는 종래의 JVT-P056에서 제시한 다음의 표 2와 같은 VLC 테이블이 크기 코딩부(130)에 제공되고, 그룹화 단위가 3인 경우에는 본 발명에서 예시하는 다음의 표 3과 같은 VLC 테이블이 크기 코딩부(130)에 제공된다. 표 3 및 표 4에서 심볼은 4개씩 그룹화된 정제 비트열의 절대 값이고, 코드 워드는 상기 심볼이 매핑되는 결과 값이다.

한편, 코딩하고자 하는 입력 정제 비트는 그룹화부(110)로 입력된다. 그룹화부(110)는 입력된 정제 비트를 선택부(120)로부터 제공된 그룹화 단위로 그룹화한다. 그리고, 그룹화된 정제 비트의 절대값(1 또는 0)은 크기 코딩부(130)에 제공하고, 그 부호(sign)(0을 제외한 정제 비트의 부호)는 부호 코딩부(150)에 제공한다.

테이블 저장부(140)는 VLC 테이블들을 저장하며, 선택부(120)에서 선택된 그룹화 단위에 대응되는 VLC 테이블을 크기 코딩부(130)에 제공한다. 테이블 저장부(140)는 롬(ROM), 피롬(PROM), 이피롬(EPROM), 이이피롬(EEPROM), 플래시 메모리와 같은 비휘발성 메모리 소자 또는 램(RAM)과 같은 휘발성 메모리 소자, 하드 디스크와 같은 저장 매체, 또는 기타 해당 분야에서 알려져 있는 임의의 다른 형태로 구현될 수 있다.

크기 코딩부(130)는 테이블 저장부(140)로부터 제공되는 VLC 테이블을 참조하여, 그룹화부(110)로부터 제공되는 그룹화된 정제 비트의 절대값 즉, 심볼을 코드 워드로 변환한다.

부호 코딩부(150)는 그룹화부(110)로부터 제공되는 부호를 1비트의 부호 코드로 코딩한다. 통상, 상기 부호 코드는 양의 부호의 경우 0으로, 음의 부호의 경우 1이다.

마지막으로, Mux(multiplexer; 360)는 크기 코딩부(130)로부터 출력되는 코드 워드의 집합과, 부호 코딩부(150)로부터 출력되는 부호 코드의 집합을 먹싱(multiplexing)하여 비트스트림을 생성한다.

예를 들어, 현재 코딩할 정제 비트의 집합이 {-1,0,1,1,0,0,1,-1}이라고 하고 정제 계수 인코딩 과정을 설명한다. 선택부(120)는 단위 영역의 정제 비트 중 0이 차지하는 비율이 소정의 임계치를 넘지 않는 경우에는 그룹화 단위를 3으로 선택한다. 이 때, 그룹화부(110)는 상기 정제 비트의 집합을 3개씩 그룹화하고, 그 절대값인 101, 100, 및 110(11 다음에 추가된 0은 단위를 맞추기 위한 것이다)은 크기 코딩부(130)에, 그 부호인 {-+++-}는 부호 코딩부(150)에 제공한다.

크기 코딩부(130)는 테이블 저장부(140)로부터 상기 표 3과 같은 VLC 테이블을 제공받아, 이를 참조하여 상기 101, 100, 및 110을 대응되는 코드 워드로 변환한다. 변환된 결과, 크기 코딩부(130) 출력되어 Mux(160)로 입력되는 값은 1011001101이 된다. 한편, 부호 코딩부(150)는 상기 부호 {-+++-}를 10001로 변환한다. 상기 변환된 10001에 대하여, 런-레벨(run-level) 코딩 방식을 추가적으로 적용하는 것도 가능하다. 그러면, Mux(160)는 상기 1011001101 및 상기 10001을 결합하여 출력한다.

한편, 선택부(120)는 단위 영역의 정제 비트 중 0이 차지하는 비율이 소정의 임계치를 넘는 경우에는 그룹화 단위를 4로 선택한다. 이 때, 그룹화부(110)는 상기 정제 비트의 집합을 4개씩 그룹화하고, 그 절대값인 1011, 및 0011은 크기 코딩부(130)에, 그 부호인 {-+++-}는 부호 코딩부(150)에 제공한다.

크기 코딩부(130)는 테이블 저장부(140)로부터 상기 표 2와 같은 VLC 테이블을 제공받아, 이를 참조하여 상기 1011 및 0011을 대응되는 코드 워드로 변환한다. 변환된 결과, 크기 코딩부(130) 출력되어 Mux(160)로 입력되는 값은 11110111000이 된다. 한편, 부호 코딩부(150)는 상기 부호 {-+++-}를 10001로 변환한다. 상기 변환된 10001에 대하여, 런-레벨(run-level) 코딩 방식을 추가적으로 적용하는 것도 가능하다. 그러면, Mux(160)는 상기 11110111000 및 상기 10001을 결합하여 출력한다.

도 4는 도 3의 정제 비트 인코더(100)에 대응되는 정제 비트 디코더(200)의 구성을 도시하는 블록도이다. 입력된 비트스트림은 Demux(demultiplexer; 410)를 통하여 코드 워드의 집합과, 부호 코드의 집합으로 분리된다. 상기 코드 워드의 집합은 크기 디코딩부(230)에 상기 부호 코드의 집합은 부호 디코딩부(250)에 각각 제공된다.

상기 인코더(100)에서와 마찬가지로, 선택부(220)은 기 복원된 단위 영역에 포함된 정제 비트 중 0이 차지하는 비율을 계산하여 그것이 상기 임계치를 넘는가의 여부에 따라서 2개의 그룹화 단위 중 하나를 선택한다. 물론, 여기서도 복수의 임계치를 설정하고, 3개 이상의 그룹화 단위 중 하나를 선택하는 것도 가능하다.

크기 디코딩부(230)는 상기 선택된 그룹화 단위에 상응하는 VLC 테이블(표 2 또는 표3)을 테이블 저장부(240)로부터 읽어온 후, 상기 VLC 테이블의 코드 워드와 동일한 값이 나타날 때까지, 상기 코드 워드의 집합을 구성하는 비트들을 추가적으로 읽어 들인다. 만약, 읽어 들인 어떤 개수의 상기 비트들이 상기 선택된 VLC 테이블에 포함된 어떤 코드 워드와 일치하면, 상기 일치된 코드 워드를 그에 대응되는 심볼을 복원한다.

상기 복원된 심볼은 부호 디코딩부(250)에 제공된다. 부호 디코딩부(250)는 Demux(210)로부터 제공된 부호 코드를 하나씩 읽어서, 크기 디코딩부(230)로부터 제공되는 심볼들 중 0이 아닌 값(즉, 1)에 순서대로 상기 부호 코드에 해당되는 부호를 부여한다. 이로써, 상기 비트스트림으로부터 현재 정제 비트들이 복원된다.

예를 들어, 디코더(200)로 입력되는 비트스트림이 1111011100010001이라고 가정하자. Demux(210)는 상기 비트스트림에서 11110111000 및 10001를 분리하여, 전자는 크기 디코딩부(230)에 제공하고, 후자는 부호 디코딩부(250)에 제공한다. 한편, 선택부(220)는 기 복원된 단위 영역의 정제 비트 중 0의 개수가 임계치를 넘는다는 것을 확인하고, 테이블 저장부(240)로 하여금 표 2의 VLC 테이블을 디코딩부(230)에 제공하게 한다.

크기 디코딩부(230)는 상기 11110111000을 한 비트씩 읽어 들이면서, 표 4의 코드 워드 중 일치되는 코드 워드가 있는지를 확인한다. 11110까지는 일치되는 코드 워드가 없으므로, 그 다음 111101을 확인하게 되는데, 이 코드 워드가 상기 표 2에 존재하므로 이와 대응되는 심볼 1011을 복원한다. 마찬가지로 나머지 비트 11000으로부터 0011을 복원한다. 따라서, 크기 디코딩부(230)에서 출력되어 부호 디코딩부(250)로 입력되는 값은 10110011이다.

부호 디코딩부(250)는 제공된 10001에 대응되는 부호인 -+++-를 복원한 후, 이를 상기 입력되는 10110011 중 0이 아닌 값에 부여한다. 그 결과, 최초에 인코더(100)로 입력되었던, 정제 비트의 집합인 {-1,0,1,1,0,0,1,-1}이 복원된다.

이상에서는, 정제 비트 디코더(200)에서도 상기 인코더(100)와 마찬가지의 과정을 거쳐서 복수의 그룹화 단위 중 하나를 선택하는 것으로 설명하였다. 그런데, FGS 계층은 디코더(200)로 전달될 때, 일부가 잘려져서(truncated) 전송되기도 하기 때문에, 현재 블록이 포함되는 단위 영역내의 주변 특성을 이용하는 경우, 인코더와 디코더 간에 서로 다른 그룹화 단위가 선택될 가능성이 없지 않다.

따라서, 본 발명의 다른 실시예에 있어서, 정제 비트 인코더(100)에서 선택된 그룹화 단위를 비트스트림에 포함하여 정제 비트 디코더(200)에 전달한다. 상기 그룹화 단위는 단위 영역, 즉 프레임, 슬라이스, 매크로블록, 또는 블록 단위로 선택될 수 있는데, 너무 세밀한 단위로 VLC 테이블을 선택하는 경우 전송시 오버헤드가 커질 수 있으므로, 상기 단위 영역은 슬라이스 또는 매크로블록인 정도가 적당하다. 이 경우 상기 토큰은 슬라이스 헤더 또는 매크로블록 헤더에 포함되어 전송될 수 있다.

상기 토큰이 포함된 비트스트림을 수신한 정제 비트 디코더(200)는 상기 그룹화 단위에 해당하는 VLC 테이블을 테이블 저장부(240)에서 바로 가져올 수 있으므로, 선택부(220)는 생략될 수 있다.

도 5는 도 3에서와 같은 엔트로피 인코더가 적용될 수 있는 다 계층 기반의 비디오 인코더(1000)의 구성을 도시하는 블록도이다.

원래의 비디오 시퀀스는 향상 계층 인코더(600)로 입력되고, 아울러 다운샘플링부(550)에 의하여 다운샘플링(계층간에 해상도의 변화가 있는 경우에 한함)된 후 기초 계층 인코더(500)로 입력된다.

예측부(610)는 현재 매크로블록에서 소정의 방법으로 예측된 이미지를 차분함으로써 잔차 신호를 구한다. 상기 예측 방법으로는 방향적 인트라 예측, 인터 예측, 인트라 베이스 예측, 및 잔차 예측 등이 있다.

변환부(620)는 상기 구한 잔차 신호를 DCT, 웨이브렛 변환 등 공간적 변환 기법을 이용하여 변환하여 변환 계수를 생성한다.

양자화부(630)는 상기 변환 계수를 소정의 양자화 스텝으로 양자화하여(양자화 스텝이 클수록 데이터의 손실 내지 압축률이 높다) 양자화 계수를 생성한다.

향상 계층 인코더(600)에서와 마찬가지로, 기초 계층 인코더(500)도 동일한 기능의 예측부(510), 변환부(520), 및 양자화부(530)를 포함한다. 다만, 예측부(510)는 인트라 베이스 예측이나 잔차 예측은 사용할 수 없을 것이다.

엔트로피 인코더(640)는 상기 양자화 계수를 무손실 부호화하여 향상 계층 비트스트림을 출력하고, 마찬가지로 엔트로피 인코더(540)는 기초 계층 비트스트림을 출력한다. Mux(650)는 향상 계층 비트스트림과 기초 계층 비트스트림을 결합하여 비디오 디코더 단으로 전송할 비트스트림을 생성한다.

상기 엔트로피 인코더(640)는 도 3의 정제 비트 인코더(100)를 포함할 수 있다. 정제 비트 인코더(100)로서 동작되는 엔트로피 인코더(640)는, FGS 계층의 양자화 계수 중에서도 대응되는 이산 계층의 계수가 0인 계수, 즉 정제 비트를 무손실 부호화한다. 이 때, 엔트로피 인코더(640)는 양자화부(630)로부터 단위 영역에 포함되는 정제 비트를 제공받는다.

도 6은 도 4에서와 같은 엔트로피 디코더가 적용될 수 있는 다 계층 기반의 비디오 디코더(2000)의 구성을 도시하는 블록도이다.

입력되는 비트스트림은 Demux(860)를 통하여 향상 계층 비트스트림 및 기초 계층 비트스트림으로 분리되어 향상 계층 인코더(800) 및 기초 계층 디코더(700)에 각각 제공된다.

엔트로피 디코더(810)는 엔트로피 인코더(640)과 대응되는 방식으로 무손실 복호화를 수행하여 양자화 계수를 복원한다.

역양자화부(820)는 상기 복원된 양자화 계수를 양자화부(630)에서 사용된 양자화 스텝으로 역 양자화한다.

역변환부(830)는 상기 역 양자화된 결과를 역 DCT 변환, 역 웨이브렛 변환 등의 역공간적 변환 기법을 사용하여 역변환한다.

역예측부(840)는 예측부(610)에서 구한 예측 이미지를 동일한 방식으로 구하고, 상기 구한 예측 이미지를 상기 역변환된 결과와 가산함으로써 비디오 시퀀스를 복원한다.

향상 계층 디코더(800)에서와 마찬가지로, 기초 계층 디코더(700)도 동일한 기능의 엔트로피 디코더(710), 역양자화부(720), 역변환부(730), 및 역예측부(740)를 포함한다.

상기 엔트로피 디코더(810)는 도 4의 정제 비트 디코더(200)를 포함할 수 있다. 정제 비트 디코더(200)로서 동작되는 엔트로피 디코더(810)는, FGS 계층의 양자화 계수 중에서도 대응되는 이산 계층의 계수가 0인 계수, 즉 정제 비트를 무손실 부호화한다. 이 때, 엔트로피 디코더(810)는 기 엔트로피 디코딩된 단위 영역에 포함되는 정제 비트를 이용한다.

지금까지 도 2 내지 도 6의 각 구성요소들은 메모리 상의 소정 영역에서 수행되는 태스크(task), 클래스(glass), 서브 루틴(sub-routine), 프로세스(process), 오브젝트(object), 실행 쓰레드(execution thread), 프로그램(program)과 같은 소프트웨어(software)나, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)로 구현될 수 있으며, 또한 상기 소프트웨어 및 하드웨어의 조합으로 이루어질 수도 있다. 상기 구성요소들은 컴퓨터로 판독 가능한 저장 매체에 포함되어 있을 수도 있고, 복수의 컴퓨터에 그 일부가 분산되어 분포될 수도 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특성을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.

상기한 본 발명의 구성에 따르면, 다 계층 기반의 비디오 코덱에서 엔트로피 코딩의 성능을 향상시킬 수 있다. 이로 인하여, 주어진 비트 내에서 보다 향상된 비디오 화질을 제공할 수가 있다.

Claims

하나의 이산 계층(discrete layer)과 적어도 하나 이상의 FGS 계층(Fine Granular Scalability layer)으로 이루어지는 계수들 중 상기 FGS 계층의 제1 계수를 무손실 부호화하는 가변 길이 부호화 방법에 있어서,

상기 제1 계수가 속하는 소정의 단위 영역에 포함된 0의 비율을 산출하는 단계;

상기 비율이 소정의 임계치를 넘는가 여부에 따라서 복수의 그룹화 단위 중에서 하나를 선택하는 단계;

상기 제1 계수의 절대값을 상기 선택된 그룹화 단위로 그룹화하는 단계; 및

상기 선택된 그룹화 단위에 상응하는 VLC 테이블을 참조하여, 상기 그룹화된 제1 계수의 절대값을 매핑되는 코드 워드(codeword)로 변환하는 단계를 포함하는 상기 방법.
제1항에 있어서,

상기 제1 계수와 대응되는 상기 이산 계층의 계수는 0이 아닌 상기 방법.
제2항에 있어서, 상기 제1 계수는

-1, 0, 또는 1 중의 하나의 값을 갖는 상기 방법.
제1항에 있어서,

상기 제1 계수 중 0이 아닌 계수의 부호(sign)를 코딩하는 단계를 더 포함하는 상기 방법.
제1항에 있어서,

상기 복수의 그룹화 단위의 수는 상기 임계치의 개수에 비해 1만큼 큰 상기 방법.
제1항에 있어서,

상기 변환된 코드 워드로 이루어지는 비트스트림에 상기 선택된 그룹화 단위를 삽입하는 단계를 더 포함하는 상기 방법.
제1항에 있어서, 상기 단위 영역은

프레임, 슬라이스(slice), 매크로블록, 및 블록 중 하나인 상기 방법.
제1항에 있어서,

상기 복수의 그룹화 단위는 3 및 4를 포함하는 상기 방법.
입력된 비트스트림 중 FGS 계층의 제1 비트스트림을 무손실 복호화하여 상기 FGS 계층에 대한 제1 계수를 복원하는 가변 길이 복호화 방법에 있어서,

상기 제1 계수가 속하는 소정의 단위 영역에 포함된 기 복원된 제2 계수 중 0의 비율을 산출하는 단계;

상기 비율이 소정의 임계치를 넘는가 여부에 따라서 복수의 그룹화 단위 중에서 하나를 선택하는 단계; 및

상기 선택된 그룹화 단위에 상응하는 VLC 테이블을 참조하여, 상기 제1 비트스트림에 포함된 코드 워드로부터 상기 제1 계수를 복원하는 단계를 포함하는 상기 방법.
제9항에 있어서, 상기 복원하는 단계는

상기 코드 워드에 대응되는 상기 제1 계수의 절대값을 복원하는 단계; 및

상기 제1 비트스트림에 포함된 부호 코드로부터 부호를 복원하고, 상기 복원된 부호를 상기 제1 계수의 절대값에 부가함으로써 상기 제1 계수의 부호를 복원하는 단계를 포함하는 상기 방법.
제9항에 있어서,

상기 제1 계수는 정제 비트인 상기 방법.
제9항에 있어서, 상기 제1 계수는

-1, 0, 또는 1 중의 하나의 값을 갖는 상기 방법.
제9항에 있어서,

상기 복수의 그룹화 단위의 수는 상기 임계치의 개수에 비해 1만큼 큰 상기 방법.
제9항에 있어서, 상기 단위 영역은

프레임, 슬라이스(slice), 매크로블록, 및 블록 중 하나인 상기 방법.
입력된 비트스트림 중 FGS 계층의 제1 비트스트림을 무손실 복호화하여 상기 FGS 계층에 대한 정제 비트(refinement coefficients)를 복원하는 가변 길이 복호화 방법에 있어서,

상기 제1 비트스트림에 소정의 단위 영역 별로 삽입되어 있는 그룹화 단위에 관한 정보를 판독하는 단계;

상기 그룹화 단위에 상응하는 VLC 테이블을 로딩하는 단계; 및

상기 로딩된 VLC 테이블을 참조하여, 상기 제1 비트스트림에 포함된 코드 워드로부터 상기 제1 계수를 복원하는 단계를 포함하는 상기 방법.
제15항에 있어서, 상기 단위 영역은

프레임, 슬라이스(slice), 매크로블록, 및 블록 중 하나인 상기 방법.
하나의 이산 계층(discrete layer)과 적어도 하나 이상의 FGS 계층(Fine Granular Scalability layer)으로 이루어지는 계수들 중 상기 FGS 계층의 제1 계수 를 무손실 부호화하는 가변 길이 부호화 장치에 있어서,

상기 제1 계수가 속하는 소정의 단위 영역에 포함된 0의 비율을 산출하는 수단;

상기 비율이 소정의 임계치를 넘는가 여부에 따라서 복수의 그룹화 단위 중에서 하나를 선택하는 수단;

상기 제1 계수의 절대값을 상기 선택된 그룹화 단위로 그룹화하는 수단; 및

상기 선택된 그룹화 단위에 상응하는 VLC 테이블을 참조하여, 상기 그룹화된 제1 계수의 절대값을 매핑되는 코드 워드(codeword)로 변환하는 수단을 포함하는 상기 장치.
입력된 비트스트림 중 FGS 계층의 제1 비트스트림을 무손실 복호화하여 상기 FGS 계층에 대한 제1 계수를 복원하는 가변 길이 복호화 장치에 있어서,

상기 제1 계수가 속하는 소정의 단위 영역에 포함된 기 복원된 제2 계수 중 0의 비율을 산출하는 수단;

상기 비율이 소정의 임계치를 넘는가 여부에 따라서 복수의 그룹화 단위 중에서 하나를 선택하는 수단; 및

상기 선택된 그룹화 단위에 상응하는 VLC 테이블을 참조하여, 상기 제1 비트스트림에 포함된 코드 워드로부터 상기 제1 계수를 복원하는 수단을 포함하는 상기 장치.