KR100736104B1

KR100736104B1 - 독립적 파싱을 지원하는 비디오 코딩 방법 및 장치

Info

Publication number: KR100736104B1
Application number: KR1020060051588A
Authority: KR
Inventors: 이배근; 한우진
Original assignee: 삼성전자주식회사
Priority date: 2006-04-06
Filing date: 2006-06-08
Publication date: 2007-07-06
Anticipated expiration: 2026-06-08
Also published as: CN101467455A; EP2008459A1; MX2008012863A; US20070237240A1; WO2007114588A1; JP2009532977A

Abstract

본 발명은 FGS(Fine Granular Scalability) 코딩에 있어서 각각의 FGS 계층을 독립적으로 파싱(parsing)하는 방법 및 장치에 관한 것이다.

본 발명의 일 실시예에 따른 비디오 인코딩 방법은, 입력된 비디오 프레임으로부터 상기 비디오 프레임에 관한 적어도 하나의 품질 계층을 생성하는 프레임 인코딩부와, 상기 품질 계층에 속하는 현재 블록의 계수를 코딩하기 위하여, 상기 현재 블록과 공간적으로 인접한 참조 블록의 계수에 따라서 코딩 패스를 선택하는 코딩 패스 선택부와, 상기 선택된 코딩 패스에 따라서 상기 현재 블록의 계수를 무손실 부호화하는 패스 코딩부로 이루어진다.

스케일러블 비디오 코딩, FGS, 중요 패스, 정제 패스

Description

독립적 파싱을 지원하는 비디오 코딩 방법 및 장치{Video coding method and apparatus supporting independent parsing}

도 1은 하나의 슬라이스(slice)를 구성하는 복수의 품질 계층의 예를 보여주는 도면.

도 2는 하나의 슬라이스를 하나의 기초 계층과 2개의 FGS 계층으로 표현하는 과정을 보여주는 도면.

도 3은 4x4 블록 단위로 코딩 패스를 결정하는 방법을 보여주는 도면.

도 4는 매크로블록 단위로 코딩 패스를 결정하는 방법을 보여주는 도면.

도 5는 하나의 FGS 계층에 존재하는 4x4 블록에서 동일한 주파수를 갖는 계수들을 나타낸 도면.

도 6은 4x4 블록을 3개의 그룹으로 나눈 예를 보여주는 도면.

도 7은 도 6의 그룹 분할을 매크로블록 전체에 대하여 적용한 예를 보여주는 도면.

도 8은 분할된 각 그룹에 적용될 수 있는 지그재그 스캔 방식을 보여주는 도면.

도 9는 분할된 그룹을 중요도에 따라 비트스트림에 배치하는 개념를 보여주는 도면.

도 10은 본 발명의 일 실시예에 따른 비디오 인코더의 구성을 도시하는 블록도.

도 11은 본 발명의 해법 1에 대응되는 엔트로피 부호화부의 세부 구성을 도시한 블록도.

도 12는 본 발명의 해법 2에 대응되는 엔트로피 부호화부의 세부 구성을 도시한 블록도.

도 13은 본 발명의 해법 3에 대응되는 엔트로피 부호화부의 세부 구성을 도시한 블록도.

도 14는 본 발명의 일 실시예에 따른 비디오 디코더의 구성을 도시하는 블록도.

도 15는 본 발명의 해법 1에 대응되는 엔트로피 복호화부의 세부 구성을 도시한 블록도.

도 16은 본 발명의 해법 2에 대응되는 엔트로피 복호화부의 세부 구성을 도시한 블록도.

도 17은 본 발명의 해법 3에 대응되는 엔트로피 복호화부의 세부 구성을 도시한 블록도.

(도면의 주요부분에 대한 부호 설명)

100 : 비디오 인코더 110 : 프레임 인코딩부

111 : 예측부 112 : 변환부

113 : 양자화부 114 : 품질 계층 생성부

120, 120a, 120b, 120c : 엔트로피 부호화부 121, 221 : 코딩 패스 선택부

122, 131 : 정제 패스 코딩부 123, 132 : 중요 패스 코딩부

124, 224, 234 : MUX 133 : 비용 계산부

134 : 선택부 135, 145 : 플래그 설정부

141 : 주파수 그룹 분할부 142 : 스캐닝부

143 : 산술 부호화부 144 : 중요도 결정부

200 : 비디오 디코더 210 : 프레임 디코딩부

211 : 품질 계층 조립부 212 : 역 양자화부

213 : 역 변환부 214 : 역 예측부

220, 220a, 220b, 220c : 엔트로피 복호화부 222, 232 : 정제 패스 디코딩부

223, 233 : 중요 패스 디코딩부 231, 241 : 플래그 판독부

242 : 산술 복호화부 243 : 역 스캐닝 부

본 발명은 비디오 압축 기술에 관한 것으로, 보다 상세하게는 FGS(Fine Granular Scalability) 코딩에 있어서 각각의 FGS 계층을 독립적으로 파싱(parsing)하는 방법 및 장치에 관한 것이다.

인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕 구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 특성을 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다.

데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy) 요소를 제거하는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려한 심리시각 중복을 제거함으로써 데이터를 압축할 수 있다. 일반적인 비디오 코딩 방법에 있어서, 시간적 중복은 모션 보상에 근거한 시간적 필터링(temporal filtering)에 의해 제거하고, 공간적 중복은 공간적 변환(spatial transform)에 의해 제거한다.

데이터의 중복을 제거한 결과는 다시 양자화 과정을 통하여 소정의 양자화 스텝에 따라서 손실 부호화된다. 상기 양자화된 결과는 최종적으로 엔트로피 부호화(entropy coding)를 통하여 최종적으로 무손실 부호화된다.

현재, ISO/IEC(International Organization for Standardization / International Electrotechnical Commission)와 ITU(International Telecommunication Union)의 비디오 전문가들 모임인 JVT(Joint Video Team)에서 진행중인 스케일러블 비디오 코딩 표준(이하, SVC 표준이라 함)에서는, 기존의 H.264를 기반으로 한 다 계층 기반의 코딩 기술에 관한 연구가 활발히 진행되고 있다.

상기 SVC 초안에서, FGS 코딩에 있어서 독립적으로 파싱하지 않고, 각 FGS 계층간의 관련성을 이용하여 코딩을 수행한다. 즉, 분리된 코딩 패스에 따라서 하나의 FGS 계층의 계수를 이용하여 다른 FGS 계층을 코딩하는 방법이다.

대응되는 기초 계층(FGS 계층 중 최하위 계층) 또는 하위 계층(현재 계층의 바로 아래의 FGS 계층)의 계수가 0인 경우에 현재 계층은 중요 패스(significant pass)에 따라서 코딩되고, 그것이 0이 아닌 경우에는 현재 계층은 정재 패스(refinement pass)에 따라서 코딩된다.

이러한 계층에 의존하는(layer-dependent) FGS 코딩 기법은, 계층간의 중복성을 적절히 이용함으로써 FGS 코딩의 성능을 향상시키는 데 이바지한다. 그러나, 이와 같은 계층 의존적인 FGS 코딩은 하위 계층이 인코딩되기 전에는 현재 계층이 인코딩될 수 없으며, 하위 계층이 디코딩되기 전에는 현재 계층이 코딩될 수 없다. 따라서, FGS 코딩/인코딩 프로세스(파싱 프로세스)는 직렬적 과정으로 이루어질 수 밖에 없으며, 이는 상기 프로세스를 완료하기 위하여 상당한 시간을 소요하고, 복잡성(complexity)을 증가시키는 원인이 되기도 한다.

따라서, 어떤 FGS 계층을 다른 계층에 의존하지 않고 독립적으로 파싱할 수 있다면, 이와 같은 문제를 완화 내지 해소할 수 있을 것이다.

본 발명은 상기한 필요성을 고려하여 고안된 것으로, 각각의 품질 계층(예: FGS 계층)을 독립적으로 파싱하는 방법 및 장치를 제공하는 것을 목적으로 한다.

본 발명의 목적은 상기 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기한 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 비디오 인코더는 입력된 비디오 프레임으로부터 상기 비디오 프레임에 관한 적어도 하나의 품질 계층을 생성하는 프레임 인코딩부; 상기 품질 계층에 속하는 현재 블록의 계수를 코딩하기 위하여, 상기 현재 블록과 공간적으로 인접한 참조 블록의 계수에 따라서 코딩 패스를 선택하는 코딩 패스 선택부; 상기 선택된 코딩 패스에 따라서 상기 현재 블록의 계수를 무손실 부호화하는 패스 코딩부를 포함한다.

상기한 목적을 달성하기 위하여, 본 발명의 다른 실시예에 따른 비디오 인코더는 입력된 비디오 프레임으로부터 상기 비디오 프레임에 관한 적어도 하나의 품질 계층을 생성하는 프레임 인코딩부; 상기 품질 계층에 속하는 현재 블록을 정제 패스에 따라 무손실 부호화하는 정제 패스 코딩부; 상기 품질 계층에 속하는 현재 블록을 중요 패스에 따라 무손실 부호화하는 중요 패스 코딩부; 상기 정제 패스에 따라 무손실 부호화된 데이터의 비용과, 상기 중요 패스에 따라 무손실 부호화된 데이터의 비용을 계산하는 비용 계산부; 및 상기 계산된 비용이 낮은 데이터를 선택하여 이를 비트스트림으로 출력하는 선택부를 포함한다.

상기한 목적을 달성하기 위하여, 본 발명의 또 다른 실시예에 따른 비디오 인코더는 입력된 비디오 프레임으로부터 상기 비디오 프레임에 관한 적어도 하나의 품질 계층을 생성하는 프레임 인코딩부; 상기 품질 계층에 속하는 복수의 블록을 주파수에 따라서 적어도 2이상의 주파수 그룹으로 분할하는 주파수 그룹 분할부; 상기 분할된 주파수 그룹에 속하는 계수들을 상기 복수의 블록 전체에 대하여 스캐닝하여 모으는 스캐닝부; 및 상기 모아진 상기 주파수 그룹별 계수들에 대한 컨텍스트 모델을 선택하고, 상기 컨텍스트 모델에 따라 상기 주파수 그룹별 계수들을 산술 부호화하는 산술 부호화부를 포함한다.

상기한 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 비디오 디코더는 입력된 비트스트림에 포함된 적어도 하나의 품질 계층에 속하는 현재 블록의 계수를 디코딩하기 위하여, 상기 현재 블록과 공간적으로 인접한 참조 블록의 계수에 따라서 코딩 패스를 선택하는 코딩 패스 선택부; 상기 선택된 코딩 패스에 따라서 상기 현재 블록의 계수를 무손실 부호화하는 패스 코딩부; 및 상기 무손실 복호화된 현재 블록의 계수로부터 현재 블록의 이미지를 복원하는 프레임 디코딩부를 포함한다.

상기한 목적을 달성하기 위하여, 본 발명의 다른 실시예에 따른 비디오 디코더는 입력된 비트스트림에 포함된 적어도 하나의 품질 계층에 속하는 현재 블록의 계수를 디코딩하기 위하여 플래그를 판독하는 플래그 판독부; 상기 판독된 플래그가 지시하는 코딩 패스에 따라서 상기 현재 블록의 계수를 무손실 부호화하는 패스 코딩부; 및 상기 무손실 복호화된 현재 블록의 계수로부터 현재 블록의 이미지를 복원하는 프레임 디코딩부를 포함한다.

상기한 목적을 달성하기 위하여, 본 발명의 또 다른 실시예에 따른 비디오 디코더는 입력된 비트스트림에 포함된 복수의 주파수 그룹별 계수를 디코딩하기 위하여 플래그를 판독하는 플래그 판독부; 상기 판독된 플래그가 지시하는 주파수 그룹별로컨텍스트 모델을 선택하고, 상기 선택된 컨텍스트 모델에 따라 상기 주파수 그룹별 계수를 산술 복호화하는 산술 복호화부; 및 상기 산술 복호화된 계수를 각각의 블록에 대한 값으로 역 배열하는 역 스캐닝부를 포함한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특성, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

도 1은 하나의 프레임 또는 슬라이스(10; 이하 통칭하여 슬라이스라고 기재한다)를 구성하는 복수의 품질 계층(11, 12, 13, 14)의 예를 보여주는 도면이다. 품질 계층이란 SNR 스케일러빌리티를 지원하기 위하여 하나의 슬라이스를 분할하여 기록한 데이터로서, FGS 계층을 예로 들어 설명하지만 이에 한하지는 않는다.

복수의 품질 계층은 하나의 기초 계층과 적어도 하나 이상의 FGS 계층(11, 12, 13)으로 이루어질 수 있다. 비디오 디코더에서 측정되는 비디오 화질은 기초 계층(14)만이 수신된 경우, 기초 계층(14)과 제1 FGS 계층(13)이 수신된 경우, 기 초 계층(14), 제1 FGS 계층(13) 및 제2 FGS 계층(12)이 수신된 경우, 그리고, 모든 계층(11, 12, 13, 14)이 수신된 경우 순으로 향상된다.

도 2는 하나의 슬라이스를 하나의 기초 계층과 2개의 FGS 계층으로 표현하는 과정을 보여주는 도면이다.

최초에 오리지널 슬라이스는 제1 양자화 파라미터(QP₁)에 의하여 양자화된다(S1). 상기 양자화된 슬라이스(22)는 기초 계층을 형성한다. 상기 양자화된 슬라이스(22)는 역 양자화된 후(S2) 차감기(subtractor; 24)로 제공된다. 차감기(23)는 오리지널 슬라이스로부터 상기 제공된 슬라이스(23)를 차감한다(S3). 상기 차감된 결과는 다시 제2 양자화 파라미터(QP₂)에 의하여 양자화된다(S4). 상기 양자화된 결과(25)는 제1 FGS 계층을 형성한다.

상기 양자화된 결과(25)는 및 역 양자화된 슬라이스(23)는 가산기(adder; 27)에 의하여 가산된 후 차감기(28)에 제공된다. 차감기(28)는 오리지널 슬라이스로부터 상기 가산된 결과를 차감한다(S6). 상기 차감된 결과는 다시 제3 양자화 파라미터(QP₃)에 의하여 양자화된다(S7). 상기 양자화된 결과(29)는 제2 FGS 계층을 형성한다. 이러한 과정을 통하여 도 1과 같은 복수의 품질 계층이 이루어질 수 있다.

이와 같은 복수의 품질 계층을 독립적으로 인코딩 또는 디코딩하기 위하여, 본 발명에서는 크게 세 가지 해법(solution)을 제안한다.

해법 1

해법 1은 현재 계층에서 공간적으로 인접한 계수들 간의 관련성을 이용하여 현재 계층의 코딩 패스(중요 패스, 정제 패스)를 분리하는 방법이다. 상기 공간적 관련성은 DCT 블록 크기(4x4 또는 8x8) 또는 매크로블록 크기(16x16) 단위로 비교될 수 있다.

도 3은 4x4 블록 단위로 코딩 패스를 결정하는 방법을 보여주는 도면이다.

현재 블록(32)의 어떤 계수(현재 계수)의 코딩 패스는 현재 블록과 공간적으로 인접한 참조 블록(31)의 대응되는 계수의 값에 따라서 결정된다. 상기 대응되는 계수의 값이 1이면 상기 현재 계수는 정제 패스에 따라서 코딩되고, 상기 대응되는 계수의 값이 0이면 상기 현재 계수는 중요 패스에 따라서 코딩된다.

상기 참조 블록(31)은 현재 블록(32)과 인접한 블록으로서, 현재 블록(32)의 좌측에 인접한 블록(좌측 블록), 상측에 인접한 블록(상측 블록) 등이 될 수 있으며, 복수의 인접 블록의 대표값(예: 메디안 등)으로 이루어지는 가상의 블록일 수도 있다. 다만, 현재 블록(32)의 코딩 또는 디코딩에 있어서, 우측 블록 또는 하측 블록은 아직 생성되지 않았으므로 참조 블록으로 이용될 수 없을 것이다.

이와 같이 코딩 패스를 결정한 후, 실제로 정제 패스 또는 중요 패스에 따라 코딩하는 방법은, 기존의 SVC 표준에서 사용되는 방식을 그대로 사용할 수 있다.

현재 SVC 제안 문서 JVT-P056에서는 중요 패스에 대하여, 다음과 같은 코딩 기법을 제안한다. 인코딩된 결과인 코드 워드(codeword)는 컷-오프(cut-off) 파라미터 "m"에 의하여 특성 지워진다. 코딩될 심볼 "C"가 상기 m보다 작거나 같다면 상기 심볼은 Exp_Golomb 코드를 사용하여 인코딩된다. 상기 심볼 C가 상기 m보다 크다면, 다음의 수학식 1에 따라서 길이(length) 및 첨자(suffix) 의 두 개 부분으로 나뉘어 인코딩된다.

상기 P는 인코딩된 코드 워드로서, 길이 및 첨자(00, 10, 또는 10을 가짐)로 이루어진다.

정제 패스에 있어서는 확률적으로 0이 발생할 가능성이 더욱 높으므로, JVT-P056에서는, 코딩될 각 정제 계수(refinement bit)의 그룹에 포함되는 0의 개수에 근거한 하나의 VLC 테이블을 이용하여, 서로 다른 길이를 갖는 코드 워드를 할당하는 방법을 제안한다. 상기 정제 계수 그룹은 정제 계수들을 소정 개수 단위로 모은 것으로, 예를 들어 4개의 정제 계수를 하나의 정제 계수 그룹으로 간주될 수 있다.

한편, 비디오 프레임 간의 움직임 속도가 빠르거나, 비디오 프레임이 넓은 간격으로 반복되는 이미지를 포함하는 경우에는, 상기와 같이 DCT 블록 단위로 비교하여 코딩 패스를 결정하는 것 보다는 움직임 추정에서 사용되는 매크로블록 단위로 비교하여 코딩 패스를 결정하는 것이 보다 유리할 수 있다.

도 4는 16x16 매크로블록 단위로 코딩 패스를 결정하는 방법을 보여주는 도면이다.

현재 매크로블록(44) 내의 어떤 계수의 코딩 패스는, 참조 매크로블록(43) 내의 대응되는 계수에 따라서 결정된다. 즉, 상기 대응되는 계수가 1이면 상기 현 재 계수는 정제 패스에 따라서 코딩되고, 상기 대응되는 계수가 0이면 상기 현재 계수는 중요 패스에 따라서 코딩된다.

상기 참조 매크로블록(43)은 현재 매크로블록(44)과 인접한 매크로블록으로서, 현재 매크로블록(44)의 좌측에 매크로블록, 상측에 인접한 매크로블록 등이 될 수 있으며, 복수의 인접 매크로블록의 대표값으로 이루어지는 가상의 매크로블록일 수도 있다.

이와 같이 코딩 패스를 결정한 후, 실제로 정제 패스 또는 중요 패스에 따라 코딩하는 방법은, 도 3에서와 마찬가지로, 기존의 SVC 표준에서 사용되는 방식을 그대로 사용할 수 있다.

해법 2

해법 2는 단위 블록(DCT 블록, 매크로블록 또는 임의의 크기 블록) 별로 정제 패스에 따라서 코딩한 결과와, 중요 패스에 따라서 코딩한 결과를 비교하여 유리한 코딩 패스로 상기 단위 블록을 코딩하는 방법이다. 해법 2에 따를 경우, 하나의 단위 블록내의 모든 계수는 동일한 코딩 패스로 코딩된다.

상기 코딩한 결과를 비교하는 기준으로는 레이트-왜곡 비용(Rate-Distortion cost; 이하 RD 비용이라고 함)을 사용할 수 있다. 다음의 수학식 2는 레이트-왜곡 비용을 구하는 방법을 보여준다.

C = E + λ×B

여기서, C는 비용을, E는 오리지널 신호에서 왜곡된 정도(예를 들어, MSE(Mean Square Error)로 계산될 수 있다), B는 해당 데이터의 압축시 소요되는 비트량을, λ는 라그랑지 계수(Lagrangian multiplier)를 각각 나타낸다. 상기 라그랑지 계수는 상기 E와 상기 B의 반영 비율을 조절할 수 있는 계수이다. 따라서, 상기 비용(C)는 오리지널 신호와의 차이(E) 및 소요되는 비트량(B)이 작아질수록 줄어들기 때문에, 비용(C)이 낮다는 것은 보다 효율적인 부호화가 이루어졌음을 나타낼 수 있는 것이다.

동일한 단위 블록에 대하여, 정제 패스로 코딩한 데 따른 비용을 C_R로 표현하고 중요 패스로 코딩한 비용을 C_S로 표현한다고 할 때, C_R이 C_S보다 크면 상기 단위 블록은 중요 패스로 코딩되고, C_R이 C_S보다 작으면 상기 단위 블록은 정제 패스로 코딩된다. 상기 결정된 코딩 패스는 1비트의 플래그 값(coding_pass_flag)으로 표시되어 비디오 디코더 단으로 전달된다. 예를 들어, 상기 플래그 값이 1이면 중요 패스를, 0이면 정제 패스를 나타내는 것으로 정할 수 있다.

해법 3

DCT 과정 및 양자화 과정을 거친 블록은 주파수 영역에서의 계수들로 표시된다. 그런데, 상기 계수들은 주파수 별로 유사한 특성이 있으므로, 주파수 위치 별로 계수들을 분할하여 그룹화한 후 CABAC을 적용한 다면 보다 효율적이 될 수 있다. 이는 인간의 시각 시스템(human visual system)에 개념적으로도 잘 부합한다.

도 5는 하나의 FGS 계층에 존재하는 4x4 블록에서 동일한 주파수를 갖는 계수들을 나타낸 도면이다. 도 5에서 각각의 사각형은 하나의 계수를 대표한다. 도 5 에서, 대각선 방향(우상향)의 화살표를 따라서 해당 계수들의 주파수가 동일함을 나타낸다. 예를 들어, 계수(51)은 계수(52)와 동일한 주파수를 갖는 것으로 볼 수 있다. 이와 같이 4x4 블록의 경우 최소 2개부터 최대 7개의 주파수 그룹으로 나눌 수 있다. 이와 같이, 상기 화살표를 따라서 동일한 주파수를 갖는 계수들의 모임을 주파수대(frequency band)라고 정의할 수 있다.

도 6은 4x4 블록을 3개의 그룹으로 나눈 예를 보여주는 도면이다. 여기서, 그룹 0은 저주파수 영역을, 그룹 1은 보통 주파수 영역을 그룹 2는 고주파수 영역을 각각 나타낸다. 이와 같은 그룹의 분할은 도 7과 같이 매크로블록(70) 전체에 대하여 동일한 방식으로 수행된다. 하나의 매크로블록(70)은 16개의 4x4 블록으로 이루어진다. 이러한 그룹 분할에 관한 정보는 소정의 플래그(group_partition_flag)에 기록되어 비디오 디코더측으로 전달된다.

도 7과 같이, 매크로블록 전체에 대하여 그룹 분할을 수행한 후에는, 동일한 그룹에 해당하는 계수들끼리 스캐닝하여 모을 필요가 있다. 이와 같은 스캐닝 방식으로는 지그재그 스캔(zig-zag scan), 순환 스캔(cyclic scan), 래스터 스캔(raster scan) 등 다양한 방식을 사용할 수 있다. 도 8은 이 중에서도 지그재그 스캔을 사용하여 그룹 0의 계수들을 모으는 과정을 보여주는 도면이다. 동일한 그룹에 속하는 계수가 복수 개 있는 경우에도 각각의 계수는 마찬가지 스캔 방식으로 모아질 수 있는 것이다.

이와 같이, 각 그룹 별로 계수들을 소정의 스캔 방식으로 모은 후에는, 각 그룹의 중요도에 따라서 비트스트림을 구성한다. 즉, 중요도가 높은 그룹은 비트스 트림의 앞쪽에 배치하고, 중요도가 낮은 그룹은 비트스트림의 뒤쪽에 배치한다. 비트스트림은 추후에 뒤쪽에서부터 잘라내어 SNR을 조절할 수 있으므로, 상대적으로 덜 중요한 그룹의 계수부터 잘라 내어지는 효과가 있다.

일반적으로, 낮은 주파수의 계수가 높은 주파수의 계수보다 중요하다고 알려져 있다. 따라서, 그룹 0가 맨 앞쪽에 위치하고 그룹 2가 맨 뒤쪽에 위치시키는 것이 보통이다. 하지만, 영상의 특성에 따라서는 보통 주파수 또는 고주파수의 성분이 저주파수의 성분에 비하여 더 중요할 수도 있다. 따라서, 그룹 0, 1, 2 간의 중요도를 먼저 결정하는 과정이 필요하다.

이와 같이 중요도 역시 수학식 2와 같은 레이트-왜곡 비용에 따라서 결정될 수 있다. 즉, 그룹 0의 계수 중 일부 비트를 잘라낸 경우, 그룹 1의 계수 중 일부 비트를 잘라낸 경우, 및 그룹 2의 계수 중 일부 비트를 잘라낸 경우를 각각 비교하여 화질의 감소가 큰 경우의 그룹의 중요도를 높게 결정하는 것이다.

한편, 도 9와 같이 비트스트림에 포함될 주파수 그룹의 순서를 정한 후에는, 각각의 주파수 그룹을 소정의 컨텍스트 모델에 따라서 CABAC(Context Adaptive Binary Arithmetic Coding)을 수행한다. CABAC은 소정의 코딩 대상에 대한 확률 모델을 선택하여 산술 코딩을 하는 방식이다. CABAC는 일반적으로 이진화, 컨텍스트 모델 선택, 산술 코딩, 및 확률 업데이트 과정으로 이루어진다.

상기 이진화는 코딩될 값이 이진수가 아닌 심볼일 때 수행되는데, 예를 들어, Exp-Golomb 코드워드를 이용하여 수행될 수 있다. 컨텍스트 모델은 하나 또는 그 이상의 이진화된 심볼의 bin에 대한 확률 모델이며, 최근에 코딩된 데이터 심볼 의 통계에 의해 선택한 모델에 따라 사용된다. 컨텍스트 모델은 '1' 또는 '0'인 각 bin의 확률을 저장한다. 상기 산술 코딩은 상기 선택된 컨텍스트 모델에 따라서 각각의 bin을 인코딩하는 과정이다. 마지막으로, 확률 업데이트 과정에서 상기 선택된 컨텍스트 모델은 실제 코딩된 값을 기반으로 갱신된다. 예를 들어, bin의 값이 1이었다면 1의 확률 카운트는 증가한다.

각 신택스 요소에 대한 컨텍스트 모델과 이진화 방법은 SVC 표준에서 이미 정의되어 있다. 다양한 신택스 요소에 대해 거의 수백 개의 독립적인 컨텍스트 모델이 존재한다. 본 발명에서, 분할된 각각의 주파수 그룹에 대하여 어떠한 컨텍스트 모델을 선택할 것인가는 사용자에 의하여 달라질 수 있는 임의 선택 사항이다. 상기 SVC 표준에 정의된 컨텍스트 모델을 사용할 수도 있고, 기타 다른 컨텍스트 모델을 사용할 수도 있다. 본 발명의 해법 3에서 중요한 것은, 서로 다른 주파수 그룹에 속하는 계수들은 서로 다른 확률 분포를 나타낼 것이고, 상기 그룹 별로 적합한(서로 다른) 컨텍스트 모델을 선택함으로써 엔트로피 코딩의 효율을 높일 수 있다는 것이다.

도 10은 본 발명의 일 실시예에 따른 비디오 인코더(100)의 구성을 도시하는 블록도이다. 비디오 인코더(100)는 프레임 인코딩부(110)와 엔트로피 부호화부(120)를 포함하여 구성될 수 있다.

프레임 인코딩부(110)는 입력된 비디오 프레임으로부터 상기 비디오 프레임에 관한 적어도 하나의 품질 계층을 생성한다.

이를 위하여, 프레임 인코딩부(110)는 예측부(111), 변환부(112), 양자화 부(113), 및 품질 계층 생성부(114)를 포함하여 구성될 수 있다.

예측부(111)는 현재 매크로블록에서 소정의 예측 방법에 따라 예측된 이미지를 차분함으로써 잔차 신호를 구한다. 상기 예측 방법으로는 도 2에서 도시한 바와 같이 인터 예측, 인트라 베이스 예측 등이 있다. 인터 예측은 현재 프레임과 동일한 해상도 및 다른 시간적 위치를 갖는 프레임과 현재 프레임 간의 상대적 움직임을 표현하기 위한 모션 벡터를 구하는 모션 추정 과정을 포함한다.

한편, 현재 프레임은 현재 프레임과 동일한 시간적 위치에 존재하며 현재 프레임과 해상도가 상이한 하위 계층(기초 계층)의 프레임을 참조하여 예측될 수도 있다. 이를 인트라 베이스(inta base) 예측이라고 한다. 물론, 인트라 베이스 예측에서는 상기 모션 추정 과정은 불필요하다.

변환부(112)는 상기 구한 잔차 신호를 DCT, 웨이브렛 변환 등 공간적 변환 기법을 이용하여 변환하여 변환 계수를 생성한다. 이러한 공간적 변환 방법으로는 DCT(Discrete Cosine Transform), 웨이브렛 변환(wavelet transform) 등이 사용될 수 있다. 공간적 변환 결과 변환 계수가 구해지는데, 공간적 변환 방법으로 DCT를 사용하는 경우 DCT 계수가, 웨이브렛 변환을 사용하는 경우 웨이브렛 계수가 구해진다.

양자화부(113)는 공간적 변환부(112)에서 구한 변환 계수를 양자화하여 양자화 계수를 생성한다. 양자화(quantization)란 임의의 실수 값으로 표현되는 상기 변환 계수를 일정 구간으로 나누어 불연속적인 값(discrete value)으로 나타내는 작업을 의미한다. 이러한 양자화 방법으로는 스칼라 양자화, 벡터 양자화 등의 방 법이 있는데, 이 중 간단한 스칼라 양자화 방법은 변환 계수를 양자화 파라미터로 나눈 후 정수 자리로 반올림하는 과정으로 수행된다.

품질 계층 생성부(114)는 도 2에서 설명한 것과 같은 과정을 통하여 복수의 품질 계층을 생성한다. 상기 복수의 품질 계층은 하나의 기초 계층과 적어도 하나 이상의 FGS 계층으로 이루어질 수 있다. 상기 기초 계층은 독립적으로 인코딩/디코딩이 이루어지지만, 상기 FGS 계층은 다른 계층을 참조하여 인코딩/디코딩이 이루어진다.

엔트로피 부호화부(120)는 본 발명의 실시예에 따른 독립적인 무손실 부호화를 수행한다. 상기 무손실 부호화의 구체적 예로서 본 발명에서는 3가지 해법을 예시한 바 있다. 다음의 도 11 내지 도 13은 각각 해법 1 내지 3에 대응되는 엔트로피 부호화부(120)의 세부 구성을 도시한 도면이다.

먼저, 도 11을 참조하면, 엔트로피 부호화부(120a)는 코딩 패스 선택부(121), 정제 패스 코딩부(122), 중요 패스 코딩부(123) 및 MUX(124)를 포함하여 구성될 수 있다.

코딩 패스 선택부(121)는 상기 품질 계층에 속하는 현재 블록(4x4 블록, 8x8 블록 또는 16x16 블록)의 계수를 코딩하기 위하여, 상기 현재 블록과 공간적으로 인접한 참조 블록의 계수에 따라서 코딩 패스(정제 패스, 중요 패스 중 하나)를 선택한다. 상기 참조 블록은 상기 현재 블록의 좌측 또는 상측에 인접한 블록, 또는 그들의 조합으로 생성되는 가상의 블록일 수 있으며, 상기 현재 블록의 계수 및 상기 참조 블록의 계수는 도 3 또는 도 4와 같이, 해당 블록상에서 동일한 위치를 갖 는다.

패스 코딩부(125)는 상기 선택된 코딩 패스에 따라서 상기 현재 블록의 계수를 무손실 부호화한다. 이를 위하여, 패스 코딩부(125)는 상기 참조 블록의 계수가 0이 아닐 때(1 또는 그 이상의 값), 상기 현재 블록의 계수를 정제 패스에 따라 무손실 부호화하는 정제 패스 코딩부(122)와, 상기 참조 블록의 계수가 0일 때, 상기 현재 블록의 계수를 중요 패스에 따라 무손실 부호화하는 중요 패스 코딩부(123)를 포함한다.

정제 패스나 중요 패스로 코딩하는 보다 구체적인 방법은 종래에 알려져 있으며, "해법 1"에서 상술한 바 있다.

MUX(124)는 정제 패스 코딩부(122)의 출력과, 중요 패스 코딩부(123)의 출력을 다중화하여 하나의 비트스트림으로 출력한다.

도 12는 상기 해법 2에 대응되는 엔트로피 부호화부(120b)의 세부 구성을 도시한 도면이다. 엔트로피 부호화부(120b)는 정제 패스 코딩부(131), 중요 패스 코딩부(132), 비용 계산부(133), 선택부(134) 및 플래그 설정부(135)를 포함하여 구성될 수 있다.

정제 패스 코딩부(131)는 상기 품질 계층에 속하는 현재 블록(4x4 블록, 8x8 블록 또는 16x16 블록)을 정제 패스에 따라 무손실 부호화한다. 그리고, 중요 패스 코딩부(132)는 상기 품질 계층에 속하는 현재 블록을 중요 패스에 따라 무손실 부호화한다.

비용 계산부(133)는 상기 정제 패스에 따라 무손실 부호화된 데이터의 비용 과, 상기 중요 패스에 따라 무손실 부호화된 데이터의 비용을 각각 계산한다. 이러한 비용은 상술한 수학식 2와 같은 레이트-왜곡 비용에 의거하여 계산될 수 있다.

선택부(134)는 비용 계산부(133)에 의하여 계산된 비용중 낮은 패스로 코딩된 데이터를 선택하여 이를 비트스트림으로 출력한다.

플래그 설정부(135)는 선택부(134)에 의하여 출력되는 비트스트림에 상기 계산된 비용이 낮은 데이터를 지시하는 1비트의 플래그(coding_pass_flag)를 기록한다.

도 13은 상기 해법 3에 대응되는 엔트로피 부호화부(120c)의 세부 구성을 도시한 도면이다. 엔트로피 부호화부(120c)는 주파수 그룹 분할부(141), 스캐닝부(142), 산술 부호화부(143), 중요도 결정부(144) 및 플래그 설정부(145)를 포함하여 구성될 수 있다.

주파수 그룹 분할부(141)는 품질 계층에 속하는 복수의 블록을 주파수에 따라서 적어도 2이상의 주파수 그룹으로 분할한다. 상기 주파수 그룹은 도 5와 같이, 상기 복수의 블록의 대각선 방향으로 형성되는 복수의 주파수대가 소정 개수로 분할된 것이다.

스캐닝부(142)는 상기 분할된 주파수 그룹에 속하는 계수들을 상기 복수의 블록 전체에 대하여 스캐닝하여 모은다. 상기 스캐닝 방식으로는 지그재그 스캔(zig-zag scan), 순환 스캔(cyclic scan), 래스터 스캔(raster scan) 등이 있다.

산술 부호화부(143)는 상기 모아진 상기 주파수 그룹별 계수들에 대한 컨텍스트 모델을 선택하고, 상기 컨텍스트 모델에 따라 상기 주파수 그룹별 계수들을 산술 부호화(CABAC)한다.

중요도 결정부(144)는 상기 주파수 그룹별로 비용을 계산함으로써 상기 주파수 그룹의 중요도를 결정하고 상기 중요도에 따라 상기 주파수 그룹별 계수들을 비트스트림에 배치한다. 이러한 비용은 상술한 수학식 2와 같은 레이트-왜곡 비용에 의거하여 계산될 수 있다.

상기 중요도가 높은 주파수 그룹이 상기 비트스트림의 앞쪽에 배치된다. 따라서, SNR 조절시 상대적으로 덜 중요한 주파수 그룹의 계수들이 먼저 잘려나갈 수 있다.

플래그 설정부(145)는 상기 주파수 그룹 분할에 관한 정보를 나타내는 플래그(group_partition_flag)를 상기 비트스트림에 기록한다.

도 14는 본 발명의 일 실시예에 따른 비디오 디코더(200)의 구성을 도시하는 블록도이다. 비디오 디코더(200)는 엔트로피 복호화부(220)와 프레임 디코딩부(210)를 포함한다.

엔트로피 복호화부(220)는 입력된 비트스트림에 포함된 적어도 하나의 품질 계층에 속하는 현재 블록의 계수에 대하여, 본 발명의 실시예에 따른 독립적인 무손실 복호화를 수행한다. 상기 무손실 복호화의 구체적 예로서, 후술하는 도 15 내지 도 17은 각각 해법 1 내지 3에 대응되는 엔트로피 부호화부(220)의 세부 구성을 도시한 도면이다.

프레임 디코딩부(210)는 엔트로피 복호화부(220)에 의하여 무손실 복호화된 현재 블록의 계수로부터 현재 블록의 이미지를 복원한다. 이를 위하여 프레임 디코 딩부(210)는 품질 계층 조립부(211), 역 양자화부(212), 역 변환부(213) 및 역 예측부(214)를 포함한다.

품질 계층 조립부(211)는 도 1과 같은 복수의 품질 계층을 가산하여 하나의 슬라이스 데이터를 생성한다.

역 양자화부(212)는 품질 계층 조립부(211)에서 제공된 데이터를 역 양자화한다.

역 변환부(213)는 상기 역 양자화 결과에 대하여 역 변환을 수행한다. 이러한 역 변환은 도 10의 변환부(112)에서 수행되는 변환 과정의 역으로 수행된다.

역 예측부(214)는 역 변환부(213)로부터 제공되는 복원된 잔차 신호를 예측 신호와 가산하여 비디오 프레임을 복원한다. 이 때, 상기 예측 신호는 비디오 인코더 단에서와 마찬가지로 인터 예측 또는 인트라 베이스 예측에 의하여 구해질 수 있다.

도 15 내지 도 17 각각 해법 1 내지 3에 대응되는 엔트로피 복호화부(220a)의 세부 구성을 도시한 도면이다. 먼저, 도 15를 참조하면, 엔트로피 복호화부(220a)는 코딩 패스 선택부(221), 정제 패스 디코딩부(222), 중요 패스 디코딩부(223) 및 MUX(224)를 포함하여 구성될 수 있다.

코딩 패스 선택부(221)는 입력된 비트스트림에 포함된 적어도 하나의 품질 계층에 속하는 현재 블록(4x4 블록, 8x8 블록 또는 16x16 블록)의 계수를 디코딩하기 위하여, 상기 현재 블록과 공간적으로 인접한 참조 블록의 계수에 따라서 코딩 패스(정제 패스 또는 중요 패스)를 선택한다. 상기 현재 블록의 계수 및 상기 참조 블록의 계수는 해당 블록상에서 동일한 위치를 갖는다.

패스 디코딩부(225)는 상기 선택된 코딩 패스에 따라 상기 현재 블록의 계수를 무손실 부호화한다. 이를 위하여, 패스 디코딩부(225)는 상기 참조 블록의 계수가 0이 아닐 때(1 또는 그 이상의 값) 상기 현재 블록의 계수를 정제 패스에 따라 무손실 복호화하는 정제 패스 디코딩부(222)와, 상기 참조 블록의 계수가 0일 때 상기 현재 블록의 계수를 중요 패스에 따라 무손실 복호화하는 중요 패스 디코딩부(223)를 포함한다.

MUX(224)는 정제 패스 디코딩부(222)의 출력과, 중요 패스 디코딩부(223)의 출력을 다중화하여 하나의 품질 계층에 관한 데이터를 생성한다.

도 16는 상기 해법 2에 대응되는 엔트로피 복호화부(220b)의 세부 구성을 도시한 도면이다. 엔트로피 복호화부(220b)는 플래그 판독부(231), 정재 패스 디코딩부(232), 중요 패스 디코딩부(233) 및 MUX(234)를 포함하여 구성될 수 있다.

플래그 판독부(231)는 입력된 비트스트림에 포함된 적어도 하나의 품질 계층에 속하는 현재 블록(4x4 블록, 8x8 블록 또는 16x16 블록)의 계수를 디코딩하기 위하여 플래그(coding_pass_flag)를 판독한다.

패스 디코딩부(235)는 상기 판독된 플래그가 지시하는 코딩 패스에 따라서 상기 현재 블록의 계수를 무손실 복호화한다. 패스 코딩부(235)는 도 15와 마찬가지로, 정제 패스 디코딩부(232)와 중요 패스 디코딩부(233)를 포함하여 구성된다.

MUX(234)는 정제 패스 디코딩부(232)의 출력과, 중요 패스 디코딩부(233)의 출력을 다중화하여 하나의 품질 계층에 관한 데이터를 생성한다.

도 17은 상기 해법 3에 대응되는 엔트로피 복호화부(220c)의 세부 구성을 도시한 도면이다. 엔트로피 복호화부(220c)는 플래그 판독부(241), 산술 복호화부(242) 및 역 스캐닝부(243)를 포함하여 구성될 수 있다.

플래그 판독부(241)는 입력된 비트스트림에 포함된 복수의 주파수 그룹별 계수를 디코딩하기 위하여 플래그(group_partition_flag)를 판독한다.

산술 복호화부(242)는 상기 판독된 플래그가 지시하는 주파수 그룹별로컨텍스트 모델을 선택하고, 상기 선택된 컨텍스트 모델에 따라 상기 주파수 그룹별 계수를 산술 복호화한다. 상기 산술 복호화는 CABAC에 대응되는 디코딩 과정으로 수행된다.

역 스캐닝부(243)는 상기 산술 복호화된 계수를 각각의 블록(4x4 블록, 8x8 블록 또는 16x16 블록)에 대한 값으로 역 배열한다. 즉, 도 8의 예와 같은 스캐닝 과정을 통하여 모아진 계수를 다시 블록 단위로 역 배열하는 것이다. 이와 같은 블록 들이 모여서 하나의 품질 계층(슬라이스)을 형성된다.

지금까지 도 2 내지 도 6의 각 구성요소들은 메모리 상의 소정 영역에서 수행되는 태스크(task), 클래스(glass), 서브 루틴(sub-routine), 프로세스(process), 오브젝트(object), 실행 쓰레드(execution thread), 프로그램(program)과 같은 소프트웨어(software)나, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)로 구현될 수 있으며, 또한 상기 소프트웨어 및 하드웨어의 조합으로 이루어질 수도 있다. 상기 구성요소들은 컴퓨터로 판독 가능한 저장 매체에 포함되 어 있을 수도 있고, 복수의 컴퓨터에 그 일부가 분산되어 분포될 수도 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특성을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.

본 발명에 따르면, 각각의 품질 계층을 독립적으로 파싱함으로써, 파싱 프로세스의 지연을 방지하고 시스템의 복잡성을 줄일 수 있는 장점이 있다.

Claims

입력된 비디오 프레임으로부터 상기 비디오 프레임에 관한 적어도 하나의 품질 계층을 생성하는 프레임 인코딩부;

상기 품질 계층에 속하는 현재 블록의 계수를 코딩하기 위하여, 상기 현재 블록과 공간적으로 인접한 참조 블록의 계수에 따라서 코딩 패스를 선택하는 코딩 패스 선택부;

상기 선택된 코딩 패스에 따라서 상기 현재 블록의 계수를 무손실 부호화하는 패스 코딩부를 포함하는 비디오 인코더.
제1항에 있어서, 상기 현재 블록의 계수 및 상기 참조 블록의 계수는 해당 블록상에서 동일한 위치를 갖는 비디오 인코더.
제1항에 있어서, 상기 품질 계층은

하나의 기초 계층과 적어도 하나의 FGS 계층을 포함하는 비디오 인코더.
제1항에 있어서, 상기 참조 블록은

상기 현재 블록의 좌측 또는 상측에 인접한 블록인 비디오 인코더.
제1항에 있어서, 상기 패스 코딩부는

상기 참조 블록의 계수가 0이 아닐 때, 상기 현재 블록의 계수를 정제 패스에 따라 무손실 부호화하는 정제 패스 코딩부; 및

상기 참조 블록의 계수가 0일 때, 상기 현재 블록의 계수를 중요 패스에 따라 무손실 부호화하는 중요 패스 코딩부를 포함하는 비디오 인코더.
제1항에 있어서, 상기 블록은

4x4 블록, 8x8 블록 또는 16x16 블록인 비디오 인코더.
입력된 비디오 프레임으로부터 상기 비디오 프레임에 관한 적어도 하나의 품질 계층을 생성하는 프레임 인코딩부;

상기 품질 계층에 속하는 현재 블록을 정제 패스에 따라 무손실 부호화하는 정제 패스 코딩부;

상기 품질 계층에 속하는 현재 블록을 중요 패스에 따라 무손실 부호화하는 중요 패스 코딩부;

상기 정제 패스에 따라 무손실 부호화된 데이터의 비용과, 상기 중요 패스에 따라 무손실 부호화된 데이터의 비용을 계산하는 비용 계산부; 및

상기 계산된 비용이 낮은 데이터를 선택하여 이를 비트스트림으로 출력하는 선택부를 포함하는 비디오 인코더.
제7항에 있어서,

상기 계산된 비용이 낮은 데이터를 지시하는 플래그를 상기 비트스트림에 기록하는 플래그 설정부를 더 포함하는 비디오 인코더.
제7항에 있어서, 상기 블록은

4x4 블록, 8x8 블록 또는 16x16 블록인 비디오 인코더.
입력된 비디오 프레임으로부터 상기 비디오 프레임에 관한 적어도 하나의 품질 계층을 생성하는 프레임 인코딩부;

상기 품질 계층에 속하는 복수의 블록을 주파수에 따라서 적어도 2이상의 주파수 그룹으로 분할하는 주파수 그룹 분할부;

상기 분할된 주파수 그룹에 속하는 계수들을 상기 복수의 블록 전체에 대하여 스캐닝하여 모으는 스캐닝부; 및

상기 모아진 상기 주파수 그룹별 계수들에 대한 컨텍스트 모델을 선택하고, 상기 컨텍스트 모델에 따라 상기 주파수 그룹별 계수들을 산술 부호화하는 산술 부호화부를 포함하는 비디오 인코더.
제10항에 있어서,

상기 주파수 그룹별로 비용을 계산함으로써 상기 주파수 그룹의 중요도를 결정하고 상기 중요도에 따라 상기 주파수 그룹별 계수들을 비트스트림에 배치하는 중요도 결정부를 더 포함하는 비디오 인코더.
제11항에 있어서,

상기 중요도가 높은 주파수 그룹이 상기 비트스트림의 앞쪽에 배치되는 비디오 인코더.
제11항에 있어서,

상기 주파수 그룹 분할에 관한 정보를 나타내는 플래그를 상기 비트스트림에 기록하는 플래그 설정부를 더 포함하는 비디오 인코더.
제10항에 있어서, 상기 주파수 그룹은

상기 복수의 블록의 대각선 방향으로 형성되는 복수의 주파수대가 소정 개수로 분할된 것인 비디오 인코더.
입력된 비트스트림에 포함된 적어도 하나의 품질 계층에 속하는 현재 블록의 계수를 디코딩하기 위하여, 상기 현재 블록과 공간적으로 인접한 참조 블록의 계수에 따라서 코딩 패스를 선택하는 코딩 패스 선택부;

상기 선택된 코딩 패스에 따라서 상기 현재 블록의 계수를 무손실 복호화하는 패스 디코딩부; 및

상기 무손실 복호화된 현재 블록의 계수로부터 현재 블록의 이미지를 복원하는 프레임 디코딩부를 포함하는 비디오 디코더.
제15항에 있어서, 상기 현재 블록의 계수 및 상기 참조 블록의 계수는 해당 블록상에서 동일한 위치를 갖는 비디오 디코더.
제15항에 있어서, 상기 참조 블록은

상기 현재 블록의 좌측 또는 상측에 인접한 블록인 비디오 디코더.
제15항에 있어서, 상기 패스 디코딩부는

상기 참조 블록의 계수가 0이 아닐 때, 상기 현재 블록의 계수를 정제 패스에 따라 무손실 복호화하는 정제 패스 디코딩부; 및

상기 참조 블록의 계수가 0일 때, 상기 현재 블록의 계수를 중요 패스에 따라 무손실 복호화하는 중요 패스 디코딩부를 포함하는 비디오 디코더.
제15항에 있어서, 상기 블록은

4x4 블록, 8x8 블록 또는 16x16 블록인 비디오 디코더.
입력된 비트스트림에 포함된 적어도 하나의 품질 계층에 속하는 현재 블록의 계수를 디코딩하기 위하여 플래그를 판독하는 플래그 판독부;

상기 판독된 플래그가 지시하는 코딩 패스에 따라서 상기 현재 블록의 계수를 무손실 복호화하는 패스 디코딩부; 및

상기 무손실 복호화된 현재 블록의 계수로부터 현재 블록의 이미지를 복원하는 프레임 디코딩부를 포함하는 비디오 디코더.
제20항에 있어서, 상기 블록은

4x4 블록, 8x8 블록 또는 16x16 블록인 비디오 인코더.
입력된 비트스트림에 포함된 복수의 주파수 그룹별 계수를 디코딩하기 위하여 플래그를 판독하는 플래그 판독부;

상기 판독된 플래그가 지시하는 주파수 그룹별로컨텍스트 모델을 선택하고, 상기 선택된 컨텍스트 모델에 따라 상기 주파수 그룹별 계수를 산술 복호화하는 산술 복호화부; 및

상기 산술 복호화된 계수를 각각의 블록에 대한 값으로 역 배열하는 역 스캐닝부를 포함하는 비디오 디코더.
제22항에 있어서, 상기 주파수 그룹은

상기 블록의 대각선 방향으로 형성되는 복수의 주파수대가 소정 개수로 분할된 것인 비디오 디코더.
제22항에 있어서, 상기 블록은

4x4 블록, 8x8 블록 또는 16x16 블록인 비디오 디코더.
입력된 비디오 프레임으로부터 상기 비디오 프레임에 관한 적어도 하나의 품질 계층을 생성하는 단계;

상기 품질 계층에 속하는 현재 블록의 계수를 코딩하기 위하여, 상기 현재 블록과 공간적으로 인접한 참조 블록의 계수에 따라서 코딩 패스를 선택하는 단계;

상기 선택된 코딩 패스에 따라서 상기 현재 블록의 계수를 무손실 부호화하는 단계를 포함하는 비디오 인코딩 방법.
입력된 비디오 프레임으로부터 상기 비디오 프레임에 관한 적어도 하나의 품질 계층을 생성하는 단계;

상기 품질 계층에 속하는 현재 블록을 정제 패스에 따라 무손실 부호화하는 단계;

상기 품질 계층에 속하는 현재 블록을 중요 패스에 따라 무손실 부호화하는 단계;

상기 정제 패스에 따라 무손실 부호화된 데이터의 비용과, 상기 중요 패스에 따라 무손실 부호화된 데이터의 비용을 계산하는 단계; 및

상기 계산된 비용이 낮은 데이터를 선택하여 이를 비트스트림으로 출력하는 단계를 포함하는 비디오 인코딩 방법.
입력된 비디오 프레임으로부터 상기 비디오 프레임에 관한 적어도 하나의 품 질 계층을 생성하는 단계;

상기 품질 계층에 속하는 복수의 블록을 주파수에 따라서 적어도 2이상의 주파수 그룹으로 분할하는 단계;

상기 분할된 주파수 그룹에 속하는 계수들을 상기 복수의 블록 전체에 대하여 스캐닝하여 모으는 단계; 및

상기 모아진 상기 주파수 그룹별 계수들에 대한 컨텍스트 모델을 선택하고, 상기 컨텍스트 모델에 따라 상기 주파수 그룹별 계수들을 산술 부호화하는 단계를 포함하는 비디오 인코딩 방법.
입력된 비트스트림에 포함된 적어도 하나의 품질 계층에 속하는 현재 블록의 계수를 디코딩하기 위하여, 상기 현재 블록과 공간적으로 인접한 참조 블록의 계수에 따라서 코딩 패스를 선택하는 단계;

상기 선택된 코딩 패스에 따라서 상기 현재 블록의 계수를 무손실 복호화하는 단계; 및

상기 무손실 복호화된 현재 블록의 계수로부터 현재 블록의 이미지를 복원하는 단계를 포함하는 비디오 디코딩 방법.
입력된 비트스트림에 포함된 적어도 하나의 품질 계층에 속하는 현재 블록의 계수를 디코딩하기 위하여 플래그를 판독하는 단계;

상기 판독된 플래그가 지시하는 코딩 패스에 따라서 상기 현재 블록의 계수 를 무손실 복호화하는 단계; 및

상기 무손실 복호화된 현재 블록의 계수로부터 현재 블록의 이미지를 복원하는 단계를 포함하는 비디오 디코딩 방법.
입력된 비트스트림에 포함된 복수의 주파수 그룹별 계수를 디코딩하기 위하여 플래그를 판독하는 단계;

상기 판독된 플래그가 지시하는 주파수 그룹별로컨텍스트 모델을 선택하고, 상기 선택된 컨텍스트 모델에 따라 상기 주파수 그룹별 계수를 산술 복호화하는 단계; 및

상기 산술 복호화된 계수를 각각의 블록에 대한 값으로 역 배열하는 단계를 포함하는 비디오 디코더.