KR100203709B1

KR100203709B1 - 비트 발생량 조절기능을 갖는 영상 부호화 시스템

Info

Publication number: KR100203709B1
Application number: KR1019960013774A
Authority: KR
Inventors: 김종일
Original assignee: 전주범; 대우전자주식회사
Priority date: 1996-04-30
Filing date: 1996-04-30
Publication date: 1999-06-15
Anticipated expiration: 2016-04-30
Also published as: KR970073127A

Abstract

본 발명은, 매 프레임마다 발생되는 부호화된 비트 발생량 정보에 근거하여 부호화하고자 하는 영상의 복잡도를 산출하고, 그 산출결과에 따라 2차원 이산 코사인 변환을 이용하여 입력 영상신호의 고주파 성분을 선택적으로 제거함으로써, 부호화후의 비트 발생량을 적응적으로 조절할 수 있도록 한 비트 발생량 조절기능을 갖는 영상 부호화 시스템에 관한 것으로, 이를 위하여 본 발명은, 움직임 추정, 보상기법, DCT 및 양자화 기법을 갖는 부호화 수단으로 부터 발생되는 부호화된 비트 스트림을 가산하여 매 프레임 단위로 가각의 비트 발생량을 산출하는 비트량 계산 수단; 산출된 각 프레임의 비트 발생량에 대한 액티비티값을 산출하고, 이 산출된 액티비티값을 해당 프레임의 복잡도로서 참조하며, 부호화를 위해 입력되는 상기 현재 프레임의 주파수 통과 대역폭을 적응적으로 제한하기 위한 기설정된 복수의 대역폭 결정신호들중 산출된 액티비티값에 대응하는 대역폭 결정신호를 발생하는 제어수단; 입력 현재 프레임 신호에 대한 공간영역의 영상신호를 코사인함수를 이용하여 M×N 블럭 단위의 부파수 영역의 2차원 DCT 변환계수들로 변환하는 이산 코사인 변환수단;M×N 단위의 2차원 DCT 변환계수 블럭들에 대해 양자화 파라메터값을 이용하여 유한한 개수의 값으로 양자화하는 양자화 수단; 발생된 대역폭 결정신호에 의거하여 양자화된 DCT 변환계수 블럭들에 대한 고주파 통과 대역을 결정하며, 양자화된 각 DCT 변환계수 블럭의 고주파 통과 대역을 결정된 대역폭으로 제한하는 주파수 선택수단; 및 대역폭이 제한된 양자화된 각 DCT 블럭들 각각에 대해 역양자화 및 역이산 코사인 변환을 수행하여 부호화전의 원신호로 복원하며, 원신호로 복원된 대역폭 제한 프레임 신호를 움직임 추정, 보상을 위한 현재 프레임 신호로써 부호화 수단에 제공하는 영상 복원 수단을 포함함으로써, 부호화 수단에서의 양자화시 과도한 스텝 사이즈의 증가 없이 부호화후 발생되는 비트량을 효과적으로 조절할 수 있는 것이다.

Description

비트 발생량 조절기능을 갖는 영상 부호화 시스템

제1도는 본 발명의 바람직한 실시예에 따른 비트 발생량 조절기능을 갖는 영상 부호화 시스템의 블록구성도.

제2도는 제 1 도의 주파수 선택 블록에 대한 세부적인 블록구성도.

제3도는 본 발명에 따라 일예로서 8×8 픽셀 블록에 대하여 그 복잡도에 의거하여 결정되는 고주파 성분 제한을 위한 결정 영역을 도시한 도면.

* 도면의 주요부분에 대한 부호의 설명

100,170 : 프레메모리 110 : 감산기

120 : 영상 부호화 블록 130 : 엔트로피 부호화 블록

140 : 전송 버퍼 150 : 영상 복호화 블록

160 : 가산기 180 : 현재 프레임 예측 블록

210 : 비트량 계산 블록 220 : 제어 블록

230 : 주파수 선택 블록 2310 : DCT 블록

2320 : 양자화 블록 2330 : 주파수 선택기

2340 : 역양자화 블록 2350 : IDCT 블록

본 발명은 영상신호를 압축 부호화하는 영상 부호화 시스템에 관한 것으로, 더욱 상세하게는 영상신호를 압축 부호화하는 영상 부호화기에서 영상을 부호화할 때, 출력측의 부호화된 비트 발생량에 근거하여 예측되는 입력 영상신호의 복잡도(Variance)를 참조하여 부호화후의 발생 비트량을 적응적으로 조절하는 데 적합한 비트 발생량 조절기능을 갖는 영상 부호화 시스템에 관한 것이다.

이 기술분야에 잘 알려진 바와같이 이산된 영상신호의 전송은 아날로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 이미지 프레임 으로 구성된 비디오 신호가 디지탈 형태로 표현될 때, 특히 고품질 텔레비젼( 일명 HDTV 라 함)의 경우 상당한 양의 데이터가 전송되어야 한다. 그러나 종래의 전송 채널의 사용 가능한 주파수 영역은 제한되어 있으므로, 많은 양의 디지탈 데이터를 전송하기 위해서는 전송되는 데이터를 압축하여 그 양을 줄일 필요가 있다. 이와같이 데이터를 압축하는 다양한 압축 기법 중에서, 확률적 부호화 기법과 시간적, 공간적 압축기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있으며, 이러한 기법들은, 예를들면 세계 표준화 기구에 의해 그 표준안이 이미 제정된 MPEG-1 및 MPEG-2 등의 권고안에 광범위하게 개시되어 있다.

대부분의 하이브리드 부호화 기법은 움직임 보상 DPCM(차분 펄스 부호 변조), 2차원 DCT(이산 코사인 변환), DCT 계수의 양자화, VLC(가변장 부호화) 등을 이용한다. 움직임 보상 DPCM 은 현재 프레임과 이전 프레임간의 물체의 움직임를 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분신호를 만들어내는 방법이다. 이 방법은 예를 들어 Staffan Ericsson 의 Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding, IEEE Transactions on Communication, COM-33, NO.12 (1985년, 12월), 또는 Ninomiy와 Ohtsuka의 A motion Compensated Interframe Coding Scheme for Television Pictures,IEEE Transactions on Communication, COM-30, NO.1 (1982년, 1월)에 기재되어 있다.

일반적으로, 이차원 DCT 는 영상 데이터간의 공간적 리던던시를 이용하거나 제거하는 것으로써, 디지탈 영상 데이터 블럭, 예를 들면 8×8 블럭을 DCT 변환계수로 변환한다. 이 기법은 Chen 과 Pratt의 Scene Adaptive Coder, IEEE Transactions on Communication, COM-32, NO.3 (1984년, 3월)에 개시되어 있다. 이러한 DCT 변환계수는 양자화기, 지그재그 주사, VLC 등을 통해 처리됨으로써 전송할 데이터의 양을 효과적으로 감축(또는 압축)할 수 있다.

보다 상세하게, 움직임 보상 DPCM 에서는 현재 프레임과 이전 프레임간에 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로 부터 예측한다. 이와같이 추정된 움직임은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임 벡터로 나타낼 수 있다.

통상적으로, 물체의 변위를 추정하는 데에는 여러 가지 접근방법이 있다. 이들은 일반적으로 두 개의 타입으로 분류되는데, 그중 하나는 매칭 알고리즘을 이용하는 블럭단위 움직임 추정방법이고 다른 하나는 화소순환 알고리즘을 이용하는 화소단위 움직임 추정방법이다.

상기와 같이 물체의 변위를 추정하는 움직임 추정방법중, 화소단위 움직임 추정방법을 이용하면 변위는 각각의 화소 전부에 대해 구해진다. 이러한 방법은 화소값을 더 정확히 추정할 수 있고 스케일 변화(예를들어, 영상면에 수직한 움직임인 주밍(zooming))도 쉽게 다룰 수 있다는 장점을 갖는 반면에, 움직임 벡터가 모든 화소 각각에 대해 결정되기 때문에, 다량의 움직임 벡터들이 발생하는 데 실질적으로 모든 움직임 벡터를 수신기로 전송한다는 것은 불가능하다.

또한, 블럭단위 움직임 추정에서는, 현재 프레임의 소정크기의 블럭을 이전 프레임의 소정 범위의 탐색영역내에서 한 화소씩 이동하면서 대응 블럭들과 비교하여 그 오차값이 최소인 최적 정합블럭을 결정하며, 이것으로 부터, 전송되는 현재 프레임에 대해 블럭 전체에 대한 프레임간 변위 벡터(프레임간에 블럭이 이동한 정도)가 추정된다. 여기에서, 현재 프레임과 이전 프레임간의 대응하는 두 블럭간의 유사성 판단은, 이 기술분야에 잘 알려진 바와같은, 평균 절대차와 평균 제곱차 등이 주로 사용된다.

한편, 상술한 바와같은 부호화 기법, 즉 움직임 보상 DPCM, 2차원 DCT, DCT 계수의 양자화 및 VLC(또는 엔트로피 부호화) 등의 부호화 기법을 통해 부호화된 영상 비트 스트림은 영상 부호화 시스템의 출력측에 구비되는 전송 버퍼에 저장된 다음 전송시점이 되면 원격지 수신측으로의 송신을 위해 전송기로 보내진다. 이때, 여기에서의 전송시점은 전송 버퍼의 크기(즉, 용량)와 전송율에 관계되며, 전송버퍼에서의 오동작(데이터 오버플로우(overflow) 또는 데이터언더플로우(underflow))이 발생하지 않도록 제어된다.

보다 상세하게, 여러 가지 요인(예를들면, 영상의 복잡도)으로 인해 부호화시에 각 프레임마다 발생하는 비트량이 달라지게 되는데 이러한 점을 고려하여 영상 부호화 시스템에서는, 평균 전송율이 일정하게 유지될 수 있도록 출력측 전송 버퍼의 제어를 수행한다. 즉, 영상 부호화 시스템에서는 출력측 전송 버퍼의 데이터 충만상태 정보에 근거하여 현재 부호화하고 있는 프레임 이전까지의 비트 발생량을 조사하고 있다가 현재 프레임에서 할당해야 하는 비트량을 조절한다. 다시말해, 종래의 전형적인 영상 부호화 시스템에서는 출력측 전송 버퍼의 데이터 충만상태 정보에 의거하여 실질적으로 양자화 스텝 사이즈(QP)를 제어함으로써 부호화 시스템에서의 발생 비트량을 조절, 즉 이전까지 비트 발생량이 많으면 양자화 스텝 사이즈를 크게 조절하여 비트 발생량을 줄이고, 이와 반대의 경우에는 양자화 스텝 사이즈를 작게 조절하여 비트 발생량을 늘리는 등의 방법을 통해 비트 발생량을 조절하고 있다.

그러나, 상술한 바와같이 출력측 전송 버퍼의 데이터 충만상태 정보에 의거하여 양자화 스텝 사이즈를 조절함으로써 비트 발생량을 조절하는 종래방법은, 각 프레임에 해당하는 영상 데이터를 동일한 전송율로 부호화하여 전송하고자 하는 경우에 있어서, 부호화하고자 하는 영상이 복잡한 경우(고주파 성분이 다량 발생)에는 비트 발생량이 많아지게 되는데 이로 인해 양자화 스텝 사이즈가 커져 결과적으로 재생 영상에서의 심각한 화질열화가 야기된다는 문제를 갖는다. 여기에서 발생하는 고주파 성분은 실질적으로 인간의 시각에 매우 둔감한 성분(재생 영상의 화질에 거의 영향을 미치지 않는 성분)이다.

따라서, 본 발명은 상술한 종래기술의 문제점을 해결하기 위한 것으로, 매 프레임마다 발생되는 부호화된 비트 발생량 정보에 근거하여 부호화하고자 하는 영상의 복잡도를 산출하고, 그 산출결과에 따라 2차원 이산 코사인 변환을 이용하여 입력 영상신호의 고주파 성분을 선택적으로 제거함으로써, 부호화후의 비트 발생량을 적응적으로 조절할 수 있는 비트발생량 조절기능을 갖는 영상 부호화 시스템을 제공하는 데 그 목적이 있다.

상기 목적을 달성하기 위하여 본 발명은, 입력되는 현재 프레임과, 이 현재 프레임 및 재구성된 이전 프레임을 이용하는 움직임 추정, 보상을 통해 얻어지는 예측 프레임간의 차분신호에 대해 이산 코사인 변환, 양자화 및 엔트로피 부호화를 포함하는 부호화 수단을 통해 압축 부호화하여 부호화된 비트 스트림을 발생하며, 상기 양자화는 출력측 버퍼에 저장되는 상기 비트 스트림의 충만상태 정보에 의거하여 그 스텝 사이즈가 조절되는 비트 발생량 조절기능을 갖는 영상 부호화 시스템에 있어서, 상기 부호화 수단으로 부터 발생되는 상기 부호화된 비트 스트림을 가산하여 매 프레임 단위로 각각의 비트 발생량을 산출하는 비트량 계산 수단; 상기 산출된 각 프레임의 비트 발생량에 대한 엑티비티값을 산출하고, 이 산출된 액티비티값을 해당 프레임의 복잡도로서 참조하며, 부호화를 위해 입력되는 상기 현재 프레임의 주파수 통과 대역폭을 적응적으로 제한하기 위한 기설정된 복수의 대역폭 결정신호들중 상기 산출된 액티비티값에 대응하는 대역폭 결정신호를 발생하는 제어수단; 상기 입력 현재 프레임 신호에 대한 공간영역의 영상신호를 코사인함수를 이용하여 M×N 블럭 단위의 주파수 영역의 2차원 DCT 변환계수들로 변환하는 이산 코사인 변환수단; 상기 M×N 단위의 2차원 DCT 변환계수 블럭들에 대해 양자화 파라메터값을 이용하여 유한한 개수의 값으로 양자화하는 양자화 수단; 상기 발생된 대역폭 결정신호에 의거하여 상기 양자화된 DCT 변환계수 블럭들에 대한 고주파 통과 대역을 결정하며, 상기 양자화된 각 DCT 변환계수 블럭의 고주파 통과 대역을 상기 결정된 대역폭으로 제한하는 주파수 선택 수단; 및 상기 대역폭이 제한된 양자화된 각 DCT 블럭들 각각에 대해 역양자화 및 역이산 코사인 변환을 수행하여 부호화전의 원신호로 복원하며, 원신호로 복원된 상기 대역폭 제한 프레임 신호를 상기 움직임 추정, 보상을 위한 현재 프레임 신호로써 상기 부호화 수단에 제공하는 영상 복원 수단을 더 포함하는 것을 특징으로 하는 비트 발생량 조절기능을 갖는 영상 부호화 시스템을 제공한다.

본 발명의 상기 및 기타 목적과 여러 가지 장점은 이 기술분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시예로 부터 더욱 명확하게 될 것이다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.

제 1 도는 본 발명의 바람직한 실시예에 따른 비트 발생량 조절기능을 갖는 영상 부호화 시스템에 대한 블럭구성도를 나타낸다. 동도면에 도시된 바와같이, 본 발명의 영상 부호화 시스템은 제 1 프레임 메모리(100), 감산기(110), 영상 부호화 블럭(120), 엔트로피 부호화 블럭(130), 전송 버퍼(140), 영상 복호화 블럭(150), 가산기(160), 제 2 프레임 메모리(170), 현재 프레임 예측 블럭(180), 비트량 계산 블럭(210), 제어 블럭(220) 및 주파수 선택 블럭(230)을 포함한다.

제 1도를 참조하면, 입력되는 현재 프레임 신호는 제 1 프레임 메모리(100)에 저장된 다음 주파수 선택 블럭(230)으로 입력되며, 주파수 선택 블럭(230)에서는 후술되는 제어 블럭(220)으로 부터 제공되는 부호화후 영상의 복잡도에 의거해 산출되는 제어신호(주파수 영역 구분을 위한 대역폭 결정신호)에 따라 입력 프레임 신호의 주파수를 적응적으로 제한, 즉 2차원 DCT를 이용하여 입력 영상의 고주파 성분(비교적 인간의 시각에 둔감한 부분임)을 제거하는 데, 이러한 주파수 선택 블럭(230)에 대한 구체적인 동작과정에 대해서는 제 2 도를 참조하여 후에 상세하게 기술될 것이다. 그런다음, 이와같이 고주파 성분이 적응적으로 제거되는 현재 프레임신호는 라인 L11 을 통해 감산기(110)와 현재 프레임 예측 블럭(180)에 각각 제공된다.

먼저, 감산기(110)에서는 라인 L11 을 통해 주파수 선택 블럭(230)으로 부터 제공되는 고주파 성분이 선택적으로 제거된 현재 프레임 신호로 부터 라인 L19 를 통해 후술되는 현재 프레임 예측 블럭(180)으로 부터 제공되는 이동 물체에 대하여 움직임 보상된 예측된 현재 프레임 신호를 감산하며, 그 결과 데이터, 즉 차분화소값을 나타내는 에러신호는 영상 부호화 블럭(120)을 통해 이산 코사인 변환(DCT)과 이 기술분야에서 잘 알려진 양자화 방법들중의 어느 하나를 이용함으로서, 일련의 양자화된 DCT 변환계수들로 부호화된다. 이때, 영상 부호화 블럭(120)에서의 에러신호에 대한 양자화는 라인 L21 을 통해 후술되는 출력측 전송 버퍼(140)로 부터 제공되는 데이터 충만상태 정보에 따라 결정되는 양자화 파라메터(QP)에 의거하여 그 스텝 사이즈가 조절된다.

다음에, 라인 L13 상의 양자화된 DCT 변환계수들은 엔트로피 부호화 블럭(130)과 영상 복호화 블럭(150)으로 각각 보내진다. 여기에서, 엔트로피 부호화 블럭(130)에 제공된 양자화된 DCT 변환계수들은, 예를들면 가변길이 부호화 기법 등을 통해 부호화되어 출력측의 전송 버퍼(140)에 제공되며, 이와같이 부호화된 영상신호는 수신측으로의 전송을 위해 도시 생략된 전송기로 전달된다.

한편, 영상 부호화 블럭(120)으로 부터 영상 복호화 블럭(150)에 제공되는 라인 L13 상의 양자화된 DCT변환계수들은 역양자화 및 역이산 코사인 변환을 통해 다시 복원된 프레임 신호로 변환된 다음, 가산기(160)에 제공되며, 가산기(160)에서는 영상 복호화 블럭(150)으로 부터의 복원된 프레임 신호와 라인 L19 를 통해 후술되는 현재 프레임 예측 블럭(180)으로 부터 제공되는 예측된 현재 프레임신호를 가산하여 재구성된 이전 프레임 신호를 생성하며, 이와같이 재구성된 이전 프레임 신호는 제 2 프레임 메모리(170)에 저장된다. 따라서, 이러한 경로를 통해 부호화 처리되는 매 프레임에 대한 바로 이전 프레임 신호가 계속적으로 갱신되며, 이와같이 갱신되는 재구성된 이전 프레임 신호는 움직임 추정, 보상을 위해 후술되는 현재 프레임 예측 블럭(180)으로 제공된다.

다른한편, 현재 프레임 예측 블럭(180)에서는, 본 발명에 따른 주파수 선택 블럭(230)으로 부터 제공되는 라인 L11 상의 고주파성분이 선택적으로 제거되거나 또는 고주파 성분이 제거되지 않은 현재 프레임 신호와 상기한 제 2 프레민 메모리(170)로 부터 제공되는 라인 L15 상의 재구성된 이전 프레임 신호에 기초하여 블럭 매칭 알고리즘을 이용해 재구성된 이전 프레임의 기설정 탐색범위(예를들면, 16×16 탐색범위)에서 소정의 블럭(예를들면, 8×8 DCT 블럭)단위로 현재 프레임을 예측한 다음 라인 L19 상에 예측된 현재 프레임 신호를 발생하여 상술한 감산기(110)와 가산기(160)에 각각 제공한다. 이때, 라인 L19상의 스위치(SW)는 도시 생략된 시스템 제어기로 부터의 제어신호(CS)에 따라 그 접점이 온/오프되는 것으로, 스위치(SW)가 온일때는 현재의 부호화 모드가 인터모드임을 의미하고 반대로 오프일때는 현재의 부호화 모드가 인트라 모드임을 의미한다. 따라서, 감산기(110)에서는 인터모드 부호화시에 현재 프레임 신호와 예측프레임 신호간의 에러신호를 영상 부호화 블럭(120)에 제공하고, 인트라 모드 부호화시에 현재 프레임 신호 자체를 영상 부호화 블럭(120)에 제공한다.

또한, 현재 프레임 예측블럭(180)은 선택되는 각 블럭(8×8 블럭)들에 대한 움직임 벡터들의 세트를 라인 L17 상에 발생하여 전술한 엔트로피 부호화 블럭(130)에 제공한다. 여기에서, 검출되는 움직임 벡터들의 세트들은 현재 프레임의 블럭(8×8 블럭)과 이전 프레임내의 기설정 탐색영역(예를들면, 16×16 탐색범위)에서 예측된 가장 유사한 블럭간의 변위이다. 따라서, 전술한 엔트로피 부호화 블럭(130)에서는 라인 L17 상의 움직임 벡터들의 세트들과 더불어 라인 L13 상의 양자화된 DCT 변환계수들은, 예를들면 가변길이 부호화 기법 등을 통해 부호화하여 부호화된 비트 스트림을 발생한다.

한편, 본 발명에 따라 전술한 엔트로피 부호화 블럭(130)에서 출력되는 부호화된 비트 스트림을 출력측의 전송 버퍼(140)로 제공됨과 동시에 본 발명에 따른 부호화 비트 발생량 조절을 위해 라인 L23 을 통해 비트량 계산 블럭(210)으로 제공된다.

다음에, 본 발명의 비트량 계산 블럭(210)에서는 라인 L23 을 통해 입력되는 부호화된 비트 스트림, 즉 DCT, 양자화 및 가변길이 부호화 등과 같은 엔트로피 부호화되어 최종적으로 발생되는 비트 스트림을 모두 가산함으로써 그 비트 발생량을 산출한다. 이때, 발생되는 비트량은 곧 영상신호의 정보량에 관련된다고 볼 수 있는데, 만일 현재 입력되는 영상이 복잡한 경우에는 부호화후에 발생되는 비트량이 많아질 것이고, 그 반대의 경우에는 부호화후에 발생되는 비트량이 적어지게 될 것이다.

통상, 한 프레임에서 발생되는 평균 비트량(AF)은, 전송율이 R(bit/sec)이고, 프레임율(frame rate)이 F 인 경우, 초당 F 개의 프레임이 전송되므로, 평균 비트량(AF) 는 R/F 가 된다. 따라서, 현재 프레임에서 발생된 비트량을 R/F와 비교함으로써, 현재 입력되어 부호화되는 영상의 복잡도를 상대적으로 구할 수 있다. 즉, 현재 프레임에서 발생된 비트량이 평균 비트량(AF) 보다 크면 상대적으로 복잡한 영상이다. 이와같은 복잡성은 영상신호가 매 프레임마다 급격하게 변하지 않으므로 현재의 프레임에서 발생된 비트량과 평균 비트량(AF)을 비교하여 다음에 입력되는 영상의 복잡도로서 이용할 수 있다.

즉, 제 1 도의 엔트로피 부호화 블럭(130)으로 부터 출력되는 비트 스트림을 모두 가산한 량을 비트량(Bit Amount) BA 라고 하고, 이 비트량 BA 값을 평균 비트량 AF 와 비교하여 상대적으로 표현된 값을 ACT(Activity)라 하면, ACT 값은 다음의 (1) 식과 계산된다.

따라서, 상기와 같은 연산은 매 프레임마다 수행되며, 새로운 프레임에 대해서는 발생 비트량을 처음부터 계산한 다음 각 프레임의 엑티비티(ACT)를 산출한 다음, 산출된 액티비티(ACT)를 이 프레임에 대한 영상신호의 복잡도로써 이용한다. 이때, 산출된 액티비티(ACT)값이 작으면 단순한 영상임을 해당되고, 산출된 액티비티(ACT)값이 크면 복잡한 영상임을 해당된다. 그런다음, 이와같은 과정을 통해 산출된 액티비티(ACT)값은 다음단의 제어 블럭(220)으로 제공된다.

한편, 제어 블럭(220)은 상기한 비트량 계산 블럭(210)으로 부터 제공되는 액티비티(ACT)값에 의거하여 입력 영상의 주파수 제한을 위한 주파수 대역폭 결정신호 B 를 라인 L25 상에 발생하여 주파수 선택 블럭(230)에 제공한다. 여기에서, 발생되어 주파수 선택 블럭(230)으로 제공되는 영역 구분을 위한 대역폭 결정신호 B 는 입력 프레임 신호의 주파수 대역을 제한한다. 이때, 주파수 영역을 구분하는 데 필요한 대역폭 결정신호 B 는 아래와 같은 방법으로 계산되며, 이 대역폭 결정신호 B 를 이용하여 본 발명에 따라 제한하고자 하는 입력 영상의 주파수 영역을 설정하는 과정에 대해서는 첨부된 제 2 도를 참조하여 후에 상세하게 기술될 것이다.

보다 상세하게, 제어 블럭(220)에서 비트량 계산 블럭(210)으로 부터 출력되는 액티비티(ACT)값을 이용하여 주파수 영역 구분을 위한 대역폭 결정신호 B 를 출력하는 과정은 다음의 (2)식과 같다.

상기 (2)식에서 MACT 와 SACT 를 구하는 과정은 다음과 같다. 즉, 영상신호의 프레임 전송율이 30인 경우에는 1 초동안 계산되는 액티비티(ACT)값30 개를 평균한 값이 MACT 이고, 이 값의 표준편차가 SACT 이다. 따라서, 이와같이 구한 MACT, SACT 값과 매 프레임에 발생되는 액티비티(ACT)값을 비교함으로써 영역 구분을 위한 대역폭 결정신호 B 를 구할 수 있다. 즉, 제어 블럭(220)에서는 이전의 30 프레임 동안 발생된 액티비티(ACT) 값의 평균과 표준편차를 이용하여 대역폭 결정신호 B 를 발생하는 것이다. 그 결과, 이러한 과정을 통해 얻어지는 현재 발생된 액티비티(ACT)값은 다시 30 개의 평균값과 표준편차를 구하는 데 이용된다. 따라서, 제어 블럭(220)에서는 이전에 발생된 30 개의 액티비티(ACT) 값중에서 처음 구해진 액티비티값(ACT)(시간적으로 가장 오래된 액티비티값)을 버리고 비트량 계산 블럭(210)으로 부터 새로 입력된 액티비티값(ACT)을 평균과 표준편차를 구하는 것이다. 물론, 현재 발생된 액티비티값(ACT)도 31 번째 프레임이 지나면 평균과 표준편차를 구하는 데 이용되지 않게 된다.

상기한 (2)식으로 부터 명백한 바와같이, 주파수 영역 구분을 위한 대역폭 결정신호 B 는 1 부터 4 사이의 값을 갖는데, 제 1 도의 프레임 메모리(100)로 부터 출력되는 현재 프레임 신호를 감산기(110)으로 제공하기 전에 이전 프레임의 액티비티값(ACT)에 따라 그 대역폭을 적응적으로 조절하기 위해서이다.

한편, 주파수 선택 블럭(230)은, 상술한 제어 블럭(220)으로 부터 제공되는 주파수 영역 구분을 위한 대역폭 결정신호 B 에 의거하여 입력 영상에서 시각에 비교적 둔감한 고주파 성분을 제한하는 데, 그 과정은 실질적으로 2차원 주파수 변환과정과 주파수 선택과정으로 구분할 수 있으며, 이때 2차원 주파수 변환과정에서는 2 차원 DCT 를 이용하고, 주파수 선택과정에서는 상술한 제어 블럭(220)으로 부터 제공된 대역폭 결정신호 B 에 의거하여 2차원 DCT 변환된 영상신호의 통과 대역을 결정한다.

다음에, 상기한 바와같은 주파수 선택 블럭(230)에서 입력 영상을 2차원 DCT 변환하고, 또한 주파수 영역 구분을 위한 대역폭 결정신호 B에 의거하여 2차원 DCT 변환된 영상신호의 주파수를 선택하는 과정에 대하여 첨부된 제 2도를 참조하여 상세하게 설명한다.

먼저, 주파수 선택 블럭(230)에서는 입력 영상에 대하여 2차원 DCT 변환를 수행하는 데, 이 기술분야에 잘 알려진 바와같이, DCT 변환과정은 영상신호의 공간적인 유사성을 잘 반영한다고 알려진 것으로, 이러한 DCT 변환기법은 영상신호를 부호화하는 과정에서 많이 응용되는 것이다. 따라서, 여기에서의 상세한 언급은 생략한다. 따라서, 본 발명에서는 이러한 특성(공간적인 유사성 반영)을 갖는 DCT 변환을 영상신호의 복잡도에 따른 효과적인 주파수 선택 기법으로 이용한다. 이와같은 본 발명에서의 주파수 선택과정은 단순한 주파수 변환기법에 비해 영상신호의 특성을 보다 잘 반영하여 주파수 영역으로 반환하게 되므로, 결과적으로 입력 영상에 대한 주파수 선택시에 그 효율을 높일 수 있다. 즉, 동일한 개수의 DCT 변환계수는 DFT(Discrete Fourier Transform) 변환계수보다 영상신호에 대한 더 많은 정보를 갖고 있다.

제 2 도는 제 1도에 도시된 본 발명에 따른 주파수 선택 블럭(230)에 대한 세부적인 블럭구성도를 나타낸다. 동도면에 도시된 바와같이, 본 발명의 주파수 선택 블럭(230)은 DCT 블럭(2310), 양자화 블럭(2320), 주파수 선택기 (2330), 역양자화 블럭(2340) 및 IDCT 블럭(2350)을 포함한다.

제 2 도에 있어서, DCT 블럭(2310)은 영상신호가 갖는 공간영역의 유사성을 이용하는 것으로, 아래의 (3)식에 의거하여 공간영역의 영상신호(픽셀데이터)를 코사인함수를 이용하여 M×N 단위, 예를들면 8×8 단위의 주파수 영역의 2차원 DCT 변환계수들로 변환하여 다음단의 양자화 블럭(2320)에 제공한다.

상기 (3)식에서 F(u,v) 는 변환된 DCT 계수를 의미하고, f(x,y)는 입력 영상신호를 의미한다. 여기에서, x,y 는 픽셀 데이터의 가로 및 세로 방향의 위치를 의미하고, u,v 는 변환된 DCT 계수에서 가로 및 세로 방향의 주파수를 의미한다. 그런다음 양자화 블럭(2320)에서는 상기한 (3)식을 통해 2차원 변환된 DCT 계수들에 대해, 예를들면 비선형연산을 통해 유한한 개수의 값으로 양자화한다. 이때, DCT 변환계수의 양자화 과정에서 QP 값을 이용하는 데, 변환된 DCT 계수를 F(u,v)라 하면, F(u,v)/(2*QP)를 수행하여 정수값을 취하는 연산이 대표적인 양자화 과정의 예라고 할 수 있다.

한편, 주파수 선택기(2330)에서는 상술한 바와같은 과정을 통해 양자화된 DCT 변환계수들에 대하여, 라인 L25 를 통해 제 1 도의 제어블럭(220)으로 부터 제공되는 주파수 영역 구분을 위한 대역폭 결정신호 B에 의거하여 그 통과되는 주파수를 결정한다. 전술한 바와같이, 주파수 영역 구분을 위한 대역폭 결정신호 B 는 1 에서 4 사이의 정수값이므로 이에 따라 선택되는 주파수는 다음과 같다.

즉, 주파수 선택기(2330)에서는 변환된 주파수F(k,1)에서 특정한 주파수를 선택한다. 여기에서, k,1 은 0에서 N-1 사이의 정수값이다. 따라서, 주파수 선택기(2330)에서 출력되는 값은 특정 주파수 성분(즉, 고주파 성분)이 제거된 신호가 된다. 예를들어, N = 8 인 경우에 제 3 도에 도시된 바와같이 그 통과 주파수가 결정될 것이다.

제 3 도에 도시된 바와같이, 라인 L25 를 통해 제 1 도의 제어블럭(220)으로 부터 제 2 도의 주파수 선택기(2330)로 제공되는 주파수 영역 구분을 위한 대역폭 결정신호 B 값이 1 이면 변환 주파수 F(k,1)는 모두 선택되고, b 값이 2,3,4 인 경우에는 제 3도에서와 같이 각각에 해당하는 점선이하의 주파수는 모두 0 으로 하여 선택하지 않는다. 즉, 제 3 도에서 B 값이 4 인 경우에는 F(1,7), F(2,6)등과 같은 점선 이하의 주파수는 모두 0 으로 매핑 처리되는 것이다.

다음에, 상술한 바와같이 부호화된 이전 영상의 복잡도에 기초하여 결정되는 대역폭 결정신호 B 값에 따라 특정영역의 주파수(고주파 성분)가 제거된 양자화된 DCT 변환계수들은 다음단의 역양자화 블럭(2340) 및 IDCT 블럭(2350)을 통해 원신호(픽셀 데이터)로 복원된다. 이때, IDCT 블럭(2350)에서의 역양자화된 DCT 변환계수의 역변환과정은 아래의 (4)식에 도시된 바와같다.

상기 (4)식에서 f(x,y)는 역변환된 영상신호(픽셀 데이터)를 의미하고, F(u,v)는 변환된 DCT 계수를 의미한다. 여기에서, u,v는 변환된 DCT 계수에서 가로 및 세로 방향의 주파수를 의미하고, x,y 는 픽셀 데이터의 가로 및 세로 방향의 위치를 의미한다.

그 결과, IDCT 블럭(2350)에서는 라인 L11 을 통해 제 1 도의 감산기(110) 및 현재 프레임 예측 블럭(180)으로 영상의 복잡도에 따라 특정영역의 주파수가 제거된 영상신호, 즉 영상의 복잡도에 근거하여 산출되는 대역폭 결정신호 B에따라 영상의 고주파 성분이 선택적(또는 적응적)으로 제거된 영상신호(특정영역의 고주파 성분이 0 값으로 대체된 영상신호)를 제공하게 된다.

따라서, 제 1도의 영상 부호화 블럭(120)에서는, 복잡한 영상의 경우, 상술한 바와같이 인간의 시각에 비교적 둔감한 영상의 고주파 성분을 선택적(또는 적응적)으로 제거한 상태에서 부호화(양자화)를 수행하게 되므로, 시각적으로 중요한 성분인 저주파 신호에 대해 양자화 오차가 적게 생기도록 하면서 부호화할 수 있는 것이다. 만일, 복잡한 영상임에도 불구하고 본 발명에서와 같이 주파수의 저역 통과 대역폭을 제한하지 않게 되면, 결과적으로 부호화후에 발생되는 비트량이 많아져 양자화 스텝 사이즈가 커지게 되므로 모든 주파수 대역(고주파에서 저주파 대역)에 대하여 양자화 오차가 많이 발생되고, 그 결과 수신측의 재생 영상에서 양자화로 인한 화질열화가 야기될 것이다.

이상 설명한 바와같이 본 발명에 따르면, 바로 이전 프레임의 부호화후에 발생되는 비트량을 이용하여 현재 부호화하고자 하는 영상의 복잡도를 계산하고, 그 계산결과에 따라 현재 입력 영상이 복잡한 영상인 경우, 그에 상응하는 가중치를 주어 인간의 시각에 둔감한 영상의 고주파 성분을 일차적으로 제거한 다음 MC-DCT, 양자화 등의 부호화를 수행하도록 함으로써, 양자화 단계에서의 과도한 스텝 사이즈의 증가 없이 부호화후 발생되는 비트량을 효과적으로 조절할 수 있다. 따라서, 본 발명에 의하면, 부호화된 영상을 복원하여 디스플레이할 때, 재생 영상에서 필연적으로 나타나는 양자화 오차로 인한 화질열화를 효과적으로 감소시킬 수 있다.

Claims

입력되는 현재 프레임과, 이 현재 프레임 및 재구성된 이전 프레임을 이용하는 움직임 추정, 보상을 통해 얻어지는 예측 프레임간의 차분신호에 대해 이산 코사인 변환, 양자화 및 엔트로피 부호화를 포함하는 부호화 수단을 통해 압축 부호화하여 부호화된 비트 스트림을 발생하며, 상기 양자화는 출력측 버퍼에 저장되는 상기 비트 스트림의 충만상태 정보에 의거하여 그 스텝 사이즈가 조절되는 비트 발생량 조절기능을 갖는 영상 부호화 시스템에 있어서, 상기 부호화 수단으로 부터 발생되는 상기 부호화된 비트 스트림을 가산하여 매 프레임 단위로 각각의 비트 발생량을 산출하는 비트량 계산 수단; 상기 산출된 각 프레임의 비트 발생량에 대한 액티비티값을 산출하고, 이 산출된 액티비티값을 해당 프레임의 복잡도로서 참조하며, 부호화를 위해 입력되는 상기 현재 프레임의 주파수 통과 대역폭을 적응적으로 제한하기 위한 기설정된 복수의 대역폭 결정신호들중 상기 산출된 액티비티값에 대응하는 대역폭 결정신호를 발생하는 제어수단; 상기 입력 현재 프레임 신호에 대한 공간영역의 영상신호를 코사인함수를 이용하여 M×N블럭 단위의 주파수 영역의 2차원 DCT 변환계수들로 변환하는 이산 코사인 변환수단; 상기 M×N 단위의 2차원 DCT 변환계수 블럭들에 대해 양자화 파라메터값을 이용하여 유한한 개수의 값으로 양자화하는 양자화 수단; 상기 발생된 대역폭 결정신호에 의거하여 상기 양자화된 DCT 변환계수 블럭들에 대한 고주파 통과 대역를 결정하며, 상기 양자화된 각 DCT 변환계수 블럭의 고주파 통과 대역을 상기 결정된 대역폭으로 제한하는 주파수 선택 수단; 및 상기 대역폭이 제한된 양자화된 각 DCT 블럭들 각각에 대해 역양자화 및 역이산 코사인 변환을 수행하여 부호화전의 원신호로 복원하며, 원신호로 복원된 상기 대역폭 제한 프레임 신호를 상기 움직임 추정, 보상을 위한 현재 프레임 신호로써 상기 부호화 수단에 제공하는 영상 복원 수단을 더 포함하는 것을 특징으로 하는 비트 발생량 조절기능을 갖는 영상 부호화 시스템.
제 1항에 있어서 상기 각 해당 프레임의 복잡도는, 전송율과 프레임율을 이용하여 산출되는 평균 비트량과 상기 해당 프레임의 발생 비트량에 의거하여 산출되는 것을 특징으로 하는 비트 발생량 조절기능을 갖는 영상 부호화 시스템.
제 1 항 또는 제 2 항에 있어서, 상기 기설정된 복수의 대역폭 결정신호는, 상기 각 DCT 변환계수 블럭들의 선택적인 대역폭 제한을 위해 각각 다른 정수값을 갖는 4개의 대역폭 결정신호를 포함하는 것을 특징으로 하는 비트 발생량 조절기능을 갖는 영상 부호화 시스템.
제 1항에 있어서 상기 이산 코사인 변환 수단은, 상기 현재 프레임 신호에 대한 공간영역의 영상신호를 8×8 블럭 단위의 2차원 DCT 변환계수들로 변환하는 것을 특징으로 하는 비트 발생량 조절기능을 갖는 영상 부호화 시스템.
제 1 항 또는 제 4 항에 있어서, 상기 주파수 선택 수단은, 상기 양자화된 각 DCT 변환계수 블럭들에 대해 상기 발생된 대역폭 결정신호 이하의 고주파 성분을 제로(0)값으로 매핑하는 것을 특징으로 하는 비트 발생량 조절기능을 갖는 영상 부호화 시스템.