KR20040076034A

KR20040076034A - 동 영상의 가변 비트율 부호화 방법 및 장치

Info

Publication number: KR20040076034A
Application number: KR1020030011344A
Authority: KR
Inventors: 송병철; 천강욱
Original assignee: 삼성전자주식회사
Priority date: 2003-02-24
Filing date: 2003-02-24
Publication date: 2004-08-31
Also published as: US20040179596A1

Abstract

동 영상의 가변 비트율 부호화 방법 및 동 영상 부호화 장치가 개시되어 있다. 본 발명은 입력되는 프레임의 비트량과 양자화 계수를 바탕으로 픽쳐별 복잡도를 계산하는 과정, 계산된 픽쳐별 복잡도와 비례하여 픽쳐별 잔여 비트량을 계산하는 과정, 계산된 픽쳐별 복잡도와 픽쳐별 잔여 비트량을 바탕으로 현재 프레임의 양자화 계수를 계산하는 과정, 계산된 현재 프레임의 양자화 계수와 설정된 최소 양자화 계수를 비교하여 최종 양자화 계수를 결정하는 과정을 포함한다.

Description

동 영상의 가변 비트율 부호화 방법 및 장치{Method and apparatus for encoding video signal with variable bit rate}

본 발명은 동 영상 압축 기술에 관한 것이며, 특히 동 영상의 가변 비트율 부호화 방법 및 동 영상 부호화 장치에 관한 것이다.

일반적으로 동영상 인코더에서 발생하는 비트량은 입력되는 영상 특성에 따라서 픽쳐간 및 픽쳐내의 매크로블록별로 불규칙하게 발생한다. 이와 같이 불규칙하게 발생되는 데이터를 고화질을 유지하며 일정한 전송 속도를 유지하기 위해 비트 레이트 조절이 필요하다. MPEG-2 TM5에서는 CBR(Constant Bit Rate)와 VBR(Variable Bit Rate)를 정의하고 있다.

먼저, CBR 방식은 GOP(Group Of Picture)단위로 공통의 비트량을 할당하여 전체적으로 고정된 비트량을 갖도록 한다. 결국, GOP당 비트량이 전체 시퀀스 내에서 상수이다. 다음 VBR 방식은 픽쳐별로 화질을 균등하게 하는 것이 목표이다. 따라서, VBR 방식은 화질의 척도가 되는 양자화 계수(Quantization Parameter:QP)값을 가능하면 상수로 유지한다. 따라서 VBR 방식은 GOP별로 비트율이 변한다. VBR 방식은 통상적으로 투 -패스 VBR(two-pass VBR) 과 단일-패스 VBR(one-pass VBR)로 나뉜다. 예컨대, 투-패스 VBR는 1차로 입력 영상 시퀀스를 CBR로 부호화하여, 각 픽쳐의 복잡도(complexity)를 구한다.i번째 픽쳐의 복잡도(complexity)는 수학 식 1과 정의한다.

여기서 X[i]는i번째 픽쳐의 복잡도, R[i]는 비트량, QP_avg[i]는 그 픽쳐의 평균 QP 값을 나타낸다. 이어서, CBR을 통해 모든 픽쳐의 복잡도가 결정되면 원래의 영상신호를 사용하여 2차로 VBR을 수행한다. 이 때 평균 복잡도(complexity)값을 평균 비트율로 나누면 전체 프레임에 대한 양자화 계수(QP)값이 구해진다. 이 양자화 계수(QP)값을 이용해서 VBR을 수행하게 된다. 투 -패스 VBR(two-pass VBR)는 인코더가 두 개가 필요하거나 두 번의 인코딩을 수행해야 하기 때문에 일반적으로 많은 연산량 및 하드웨어 관점에서도 복잡하여 선호되지 않는다. 그래서, 단일-패스 VBR이 개발되어 왔다. 도 1은 배경문헌 「Y, Yokoyama and Y. Ooi, "A scene-adaptive one-pass variable bit-rate video coding method for storage media, " IEEE International Conference on Image Processing(ICIP), pp, 827-831, 1999」에 소개된 단일-패스 VBR의 한 예이다. 단일-패스 VBR은 투-패스 VBR과 달리 전체 영상 신호에 대한 복잡도의 평균치를 구할 수가 없다. 따라서 단일-패스 VBR은 현재까지의 정보를 이용해서 복잡도의 평균치를 예측한다.

도 1을 참조하면, 복잡도 계산부(110)는 입력되는 비트량과 양자화 계수들을 바탕으로 GOP 단위의 복잡도의 평균을 구한다. 이때 바로 이전 GOP의 평균 복잡도X_gop라고 하고 또한 이전 GOP까지의 모든 프레임들에 대한 평균 복잡도를 X_avg라 한다. QP 계산부(120)는 X_avg가 전체 영상의 복잡도의 평균을 대신한다는 가정아래 장면마다 적응적으로 GOP의 양자화 계수(QP)를 설정한다. 즉, 현재 GOP의 QP값(QP_gop)는 수학식 2와 같이 나타낼 수 있다.

여기서, R_avg는 픽쳐당 평균 비트량으로 전체 프레임에 대한 목표 비트율 (target bit-rate)가 정해지면, 저절로 얻어진다.

수학 식2를 참조하면, X_avg가 X_gop보다 작으면 현재 프레임의 양자화계수(QP)는 현재까지의 양자화 계수(QP)의 평균값을 사용한다. 또한 X_avg가 X_gop보다 크면 현재 프레임의 양자화계수(QP)는 바로 이전 GOP의 양자화 계수(QP)의 평균을 사용한다.

평균비트율조절부(130)는 QP 계산부(120)에서 계산된 GOP의 양자화 계수(QP)를 사용하여 평균 비트율을 조절한다.

QP선택부(150)는 평균비트율조절부(130)에서 발생하는 QP_gop와 최소양자화 계수(QP)설정부(140)에서 설정된 최소 QP_min를 비교하여 최종 양자화 계수(QP)를 결정한다.

따라서 도 1과 같은 단일-패스 VBR 방식은 선택적으로 X_avg와 X_gop를 선택함으로써 최종적인 목표 비트율을 맞추지 못하는 경우가 종종 발생한다. 대부분의 경우 단일-패스 VBR 방식은 목표 비트율을 많이 초과하는 문제점이 있다.

본 발명이 이루고자하는 기술적 과제는 단일-패스 VBR 방식에서 잔여 비트량을 기준으로 양자화 계수를 결정함으로써 목표 비트량에 근접할 수 있는 동 영상의 가변 비트율 부호화 방법 및 동 영상 부호화 장치를 제공하는 데 있다.

상기의 기술적 과제를 해결하기 위하여, 본 발명은 동영상의 가변 비트율 제어 방법에 있어서,

(a) 입력되는 프레임의 비트량과 양자화 계수를 바탕으로 픽쳐별 복잡도를 계산하는 과정;

(b) 상기 (a) 과정에서 계산된 픽쳐별 복잡도와 비례하여 픽쳐별 잔여 비트량을 계산하는 과정;

(c) 상기 (b)과정에서 계산된 픽쳐별 복잡도와 픽쳐별 잔여 비트량을 바탕으로 현재 프레임의 양자화 계수를 계산하는 과정;

(d) 상기 과정에서 계산된 현재 프레임의 양자화 계수와 설정된 최소 양자화 계수를 비교하여 최종 양자화 계수를 결정하는 과정을 포함하는 것을 특징으로 한다.

상기의 다른 기술적 과제를 해결하기 위하여, 본 발명은 동 영상 부호화 장치에 있어서,

입력되는 영상 데이터를 매크로 블록 단위로 이산 코싸인 변환하는 이산 코사인 변환수단;

프레임 당 발생되는 픽쳐별 비트량과 픽쳐별 복잡도를 바탕으로 양자화 계수를 결정하는 비트 레이트 조절수단;

상기 이산 코사인 변환수단에서 이산 코싸인 변환된 영상 데이터를 상기 비트레이트 조절수단에서 결정된 양자화 계수에 따라 양자화하는 양자화수단;

상기 양자화수단에서 양자화된 영상 데이터를 역양자화하는 역양자화수단;

상기 역양자화수단에서 역양자화된 영상 데이터를 역 이산 코사인 변환하는 역이산 코사인 변환수단;

역이산 코사인 변환수단에서 역이산 코사인 변환된 영상 데이터를 프레임 단위로 저장하는 프레임 메모리수단;

입력되는 현재 프레임의 영상 데이터와 상기 프레임 메모리수단에 저장된 이전 프레임의 영상 데이터를 이용하여 움직임 벡터와 SAD를 추정하고, 그 움직임 벡터)로 움직임을 보상하는 움직임 추정/보상수단를 포함하며, 상기 비트 레이트 조절수단은

프레임 단위의 비트량과 양자화 계수들을 바탕으로 픽쳐별 복잡도를 계산하는 복잡도 계산부;

상기 복잡도에서 계산된 복잡도와 비례하여 픽쳐별 잔여 비트량을 계산하는 잔여 비트량 계산부;

상기 복잡도 계산부 및 잔여 비트량 계산부에서 계산된 픽쳐별 복잡도와 픽쳐별 잔여 비트량을 바탕으로 양자화 계수를 결정하는 양자화 계수 결정부를 포함하는 것을 특징으로 한다.

도 1은 단일-패스 VBR 장치를 보이는 블록도이다.

도 2는 본 발명에 따른 동 영상 인코더를 보이는 블록도이다.

도 3은 도 2의 비트 레이트 조절부의 상세도이다.

도 4는 본 발명에 따른 동 영상의 가변 비트율 부호화 방법을 보이는 흐름도이다.

이하 첨부된 도면을 참조로하여 본 발명의 바람직한 실시예를 설명하기로 한다.

먼저, 입력되는 영상 데이터는 GOP(Group of Picture)단위로 구성된다.

DCT부(220)는 영상 데이터의 공간 중복성을 얻기 위해 입력되는 영상 데이터에 대해 8×8 블록 단위로 DCT(Discrete Cosine Transform)를 수행한다.

양자화부(Q:230)는 DCT부(220)에서 DCT된 영상 데이터를 양자화한다. 역양자화부(250)는 양자화부(330)에서 양자화된 영상 데이터를 역양자화한다.

IDCT부(260)는 역양자화부(250)에서 역양자화된 영상 데이터를 역 DCT한다. 프레임 메모리부(FM:270)는 IDCT부(260)에서 역DCT된 영상 데이터를 프레임 단위로저장한다.

ME/MC부(280)는 입력되는 현재 프레임의 영상 데이터와 프레임 메모리부(270)에 저장된 이전 프레임의 영상 데이터를 이용하여 매크로 블록당 움직임 벡터(MV)와 SAD(sum of absolute difference)를 추정하고, 그 움직임 벡터(MV)로 움직임 보상을 수행한다.

VLC(Variable Length Coding)(240)부는 ME/MC부(280)에서 추정된 움직임벡터(MV)에 따라 양자화된 영상 데이터의 통계적 중복성을 제거한다.

비트 레이트 조절부(280)는 VLC부(240)에서 발생되는 비트량과 양자화부(230)에서 입력되는 양자화 계수(QP)를 바탕으로 현재 프레임의 양자화 계수(QP)를 발생한다. 이때 현재 프레임의 양자화 계수(QP)는 픽쳐별 복잡도 평균과 남아 있는 해당 픽쳐들의 비트량을 이용하여 결정한다.

도 3은 도 2의 비트 레이트 조절부(280)의 상세도이다.

도 3을 참조하면, 복잡도 계산부(310)는 VLC 부(240)에서 입력되는 비트량과 양자화부(230)에서 입력되는 양자화 계수들을 바탕으로 픽쳐별(예컨대, I, P, B 픽쳐)로 평균 복잡도를 계산한다. 여기서I 픽쳐에서 평균 복잡도를 X_Iavg라 하고, P 픽쳐에서 평균 복잡도를 X_Pavg라 하고, B 픽쳐에서 평균 복잡도를 X_Bavg라 한다.

잔여 비트량 계산부(320)는 VLC 부(240)에서 입력되는 비트량으로 픽쳐별(예컨대, I, P, B 픽쳐)로 평균 잔여 비트량을 계산한다. 여기서I 픽쳐에서 평균 잔여 비트량을 R_{Irem_avg}라 하고, P 픽쳐에서 평균 잔여 비트량을 R_{Prem_avg}라 하고, B 픽쳐에서 평균 잔여 비트량을 R_{Brem_avg}라 한다.

최소 QP 설정부(330)는 실험치로서 최소 양자화 계수(QP_min)를 설정한다.

QP 결정부(340)는 복잡도 계산부(310), 잔여 비트량 계산부(320), 최소 QP 설정부(330)에서 입력되는 픽쳐별 평균 복잡도(X_Iavg, X_Pavg, X_Bavg), 각 픽쳐별 평균 잔여 비트량(R_{Irem_avg}, R_{Prem_avg}, R_{Brem_avg}), 최소 양자화 계수(QP_min)를 참조하여 픽쳐별 양자화 계수를 결정한다.

본 발명의 부호화 방법은 I, B, P의 모든 픽쳐 타입들이 존재하는 GOP에 적용된다. 또한 본 발명은 I,P 픽쳐만 있는 존재하는 경우에도 동일한 방법이 적용된다. 본 발명에서는 GOP 단위로 신호 처리하는 종래 기술과 달리 픽쳐별로 모든 신호 처리를 수행한다. 즉, I-픽쳐, P-픽쳐, B-픽쳐 등 각 픽쳐별로 양자화 계수(QP)를 결정한다. 동작 순서는 다음과 같다.

먼저, 픽쳐별로 초기 복잡도를 설정한다(410 과정). 한 실시 예로 MPEG-2의 TM5에서 규정된 초기 복잡도를 도입할 수 있다. 즉, MPEG-2의 TM5에서 규정된 픽쳐별 초기 복잡도는 수학식 3과 같다.

여기서 bit_rate는 비트/초(bits/sec)단위의 목표 비트 레이트(target bit rate)를 의미한다.

또한 전체 시퀀스에서 I-픽쳐의 수(N_I_rem), B-픽쳐의 수(N_B_rem), P-픽쳐수(N_P_rem)를 계산한다(420 과정). 전체 시퀀스의 길이를 알고, GOP 크기 및 P픽쳐 간 거리가 미리 설정되면 상기 계산 과정이 가능하다.

이어서, 현재 프레임이 I-픽쳐이면, 각 픽쳐별 잔여 비트량을 수학식 4와 같이 각 픽쳐별 복잡도와 비례하여 결정한다. 잔여 비트량이란 각 픽쳐별로 처음에 할당된 목표 비트량에서 현재까지 사용된 비트량을 뺀 값이다. 예를 들어, 전체 시퀀스에서 I픽쳐의 개수가 100이고, 현재 픽쳐가 10번째 I-픽쳐일 때 전체 I-픽쳐에 할당된 목표 비트량이 10000비트이고, 현재까지의 I-픽쳐를 부호화하는데 1000비트를 사용하였다면, I-픽쳐의 잔여 비트량(R_{I_rem})은 9000비트가 된다. 수학식 4와 같이 각 픽쳐의 잔여 비트량이 매 GOP가 시작하는 시점에서 계산이 되는데, 예컨대 수학식 4처럼 픽쳐 별 복잡도에 비례해서 계산할 수 있다.

또한 수학식 4와 같은 각 픽쳐별 잔여 비트량(remaining bit amount)은 수학식 5과 같이 픽쳐별로 프레임 당 평균 잔여 비트량(average of remaining bit amount)으로 나타낼 수 있다.

이어서, 픽쳐별 복잡도와 픽쳐별 잔여 비트량으로 현재 프레임의 양자화 계수(QP_cur)을 결정한다(440 과정).

즉, 현재 프레임이 I-픽쳐이면, 현재 프레임의 양자화 계수(QP_cur)는 수학식 6으로 계산되며,

현재 프레임이 P-픽쳐이면, 현재 프레임의 양자화 계수(QP_cur)는 수학식 7로 계산되며,

현재 프레임이 B-픽쳐이면, 현재 프레임의 양자화 계수(QP_cur)는 수학식 8로 계산된다.

이어서, 현재 프레임의 양자화 계수(QP_cur)와 미리 설정된 최소 양자화 계수(QP_min)를 비교하여 최종 양자화 계수(QP)를 결정한다(450 과정). 즉, 현재 프레임의 양자화 계수(QP_cur)가 최소 양자화 계수(QP_min)보다 적으면 현재 프레임의 양자화 계수(QP_cur)를 최소 양자화 계수(QP_min)로 갱신하여 최종 양자화 계수(QP)로 결정한다(470 과정). 또한 현재 프레임의 양자화 계수(QP_cur)가 최소 양자화 계수(QP_min)보다 크면 현재 프레임의 양자화 계수(QP_cur)를 최종 양자화 계수(QP)로 결정한다(480 과정). 430과정의 식 4에 의한 잔여 비트량 계산은 매 GOP 시작인 I-픽쳐일 때에만 이루어지며, 현재 픽쳐가 GOP의 시작이 아니면, 즉 B나 P픽쳐이면, 바로 이전 해당 B-나 P-픽쳐의 사용된 비트량을 해당 픽쳐의 잔여 비트량에서 빼기만 하면 된다. 그러나, 상황에 따라서는 매 픽쳐별로 식 4에 의한 잔여 비트량 계산도 가능하다.

이어서, 다시 410 과정으로 복귀하여 현재 프레임에서 발생되는 비트량을 현재 프레임의 양자화 계수(QP_cur)와 곱하여 픽쳐별로 현재 프레임의 복잡도를 계산하고, 해당 픽쳐의 평균 복잡도를 이용하여 새로운 평균 복잡도를 생성한다. 그리고 420 과정에서 현재 프레임이 I-픽쳐였으면, 전체 시퀀스에서 I-픽쳐의 수(N_I_rem)을 1만큼 감소시키고, P-픽쳐였으면, P-픽쳐의 수(N_P_rem)을 1만큼 감소시키고, B-픽쳐였으면, B-픽쳐의 수(N_B_rem)을 1만큼 감소시킨다. 따라서 430 과정에서 새로운 입력 프레임에 대한 양자화 계수(QP)를 결정한다.

본 발명은 상술한 실시예에 한정되지 않으며, 본 발명의 사상내에서 당업자에 의한 변형이 가능함은 물론이다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프,하드디스크, 플로피디스크, 플래쉬 메모리, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

상술한 바와 같이 본 발명에 의하면, 단일-패스 VBR 방식에서 잔여 비트량을 기준으로 양자화 계수를 결정함으로써 종래 기술보다 목표 비트량에 더 근접할 수 있다.

Claims

동영상의 가변 비트율 제어 방법에 있어서,

(a) 이전 프레임의 비트량과 양자화 계수를 바탕으로 픽쳐별 복잡도를 계산하는 과정;

(b) 상기 (a) 과정에서 계산된 픽쳐별 복잡도와 비례하여 픽쳐별 잔여 비트량을 계산하는 과정;

(c) 상기 (b)과정에서 계산된 픽쳐별 복잡도와 픽쳐별 잔여 비트량을 바탕으로 현재 프레임의 양자화 계수를 계산하는 과정;

(d) 상기 과정에서 계산된 현재 프레임의 양자화 계수와 설정된 최소 양자화 계수를 비교하여 최종 양자화 계수를 결정하는 과정을 포함하는 가변 비트율 제어 방법.
제1항에 있어서, 상기 (b) 과정의 픽쳐별 잔여 비트량은 픽쳐별 복잡도와 각 픽쳐별 남은 프레임들의 총 비트량을 곱한값으로 결정되는 것을 특징으로 하는 가변 비트율 제어 방법.
제1항에 있어서, 상기 (b) 과정의 픽쳐별 잔여 비트량은

I-픽쳐에 대해,

B-픽쳐에 대해,

P-픽쳐에 대해,

로 결정되며, 여기서 X_Iavg는 I 픽쳐의 평균 복잡도이고, X_Pavg는 P 픽쳐의 평균 복잡도이고, X_Bavg는 B 픽쳐의 평균 복잡도이며, N_I_rem, N_B_rem, N_P_rem 는 각각 전체 시퀀스에서 I-픽쳐의 수, B-픽쳐의 수, P-픽쳐수이며, (R_{I_rem}+ R_{P_rem}+ R_{B_rem})는 남아 있는 총 비트량임을 특징으로 하는 가변 비트율 제어 방법.
제1항에 있어서,상기 (c)과정의 현재 프레임의 양자화 계수는 픽쳐별 평균 복잡도를 픽쳐별 잔여 비트량으로 나눈값임을 특징으로 하는 가변 비트율 제어 방법.
제1항에 있어서, 상기 (d) 과정의 최종 양자화 계수 결정 과정은

현재 프레임의 양자화 계수가 미리 설정된 최소 양자화 계수보다 적으면 현재 프레임의 양자화 계수를 최종 양자화 계수로 결정하고, 현재 프레임의 양자화 계수가 미리 설정된 최소 양자화 계수보다 크면 현재 프레임의 양자화 계수를 최종 양자화 계수로 결정하는 것임을 특징으로 하는 가변 비트율 제어 방법.
동 영상 부호화 장치에 있어서,

입력되는 영상 데이터를 매크로 블록 단위로 이산 코싸인 변환하는 이산 코사인 변환수단;

프레임 당 발생되는 픽쳐별 비트량과 픽쳐별 복잡도를 바탕으로 현재 프레임의 양자화 계수를 결정하는 비트 레이트 조절수단;

상기 이산 코사인 변환수단에서 이산 코싸인 변환된 영상 데이터를 상기 비트레이트 조절수단에서 결정된 양자화 계수에 따라 양자화하는 양자화수단;

상기 양자화수단에서 양자화된 영상 데이터를 역양자화하는 역양자화수단;

상기 역양자화수단에서 역양자화된 영상 데이터를 역 이산 코사인 변환하는역이산 코사인 변환수단;

역이산 코사인 변환수단에서 역이산 코사인 변환된 영상 데이터를 프레임 단위로 저장하는 프레임 메모리수단;

입력되는 현재 프레임의 영상 데이터와 상기 프레임 메모리수단에 저장된 이전 프레임의 영상 데이터를 이용하여 움직임 벡터와 SAD를 추정하고, 그 움직임 벡터)로 움직임을 보상하는 움직임 추정/보상수단를 포함하는 동 영상 부호화 장치.
제6항에 있어서, 상기 비트 레이트 조절수단은

프레임 단위의 비트량과 양자화 계수들을 바탕으로 픽쳐별 복잡도를 계산하는 복잡도 계산부;

상기 복잡도에서 계산된 복잡도와 비례하여 픽쳐별 잔여 비트량을 계산하는 잔여 비트량 계산부;

상기 복잡도 계산부 및 잔여 비트량 계산부에서 계산된 픽쳐별 복잡도와 픽쳐별 잔여 비트량을 바탕으로 양자화 계수를 결정하는 양자화 계수 결정부를 포함하는 동 영상 부호화 장치.