KR100386639B1

KR100386639B1 - 정규화된 역양자화기를 이용한 영상 및 동영상의 복원 방법

Info

Publication number: KR100386639B1
Application number: KR10-2000-0073010A
Authority: KR
Inventors: 송문호; 이건호
Original assignee: 주식회사 오픈비주얼
Priority date: 2000-12-04
Filing date: 2000-12-04
Publication date: 2003-06-02
Anticipated expiration: 2020-12-04
Also published as: US20020106027A1; KR20020043861A; US6853683B2

Abstract

본 발명은 정규화된 역양자화기(regularized dequantizer)를 이용한 영상의 블록화 현상 제거 방법에 관한 것으로, 특히 DCT 기반 영상 압축 방식에서 영상의 블록화 현상을 제거하고 높은 화질을 제공하기 위하여 영상을 복원하는 방법에 관한 것이다.

DCT 변환을 기반으로 하는 종래의 동영상 정보 압축시스템에서는 양자화 과정에서 발생하는 에러로 인해 블록화 현상이 생기는 단점을 가지고 있다. 따라서, 이러한 단점을 해결하기 위해, 본 발명에서는 정규화된 역양자화기를 사용하여 이 영상의 블록화 현상을 제거하는 것을 그 기술적 구성의 특징으로 한다. 본 발명에서 사용되는 정규화된 역양자화기는, 기존의 역양자화기와는 달리, 단순히 복호기에 수신된 값과 양자화 간격 값을 곱해서 영상의 DCT 계수를 얻지 않고, 그 대신 수신된 값을 ±(양자화 간격의 절반 크기) 이내의 값으로 대응시킨다. 다시 말하여, 이것은 수신된 값을 원 영상의 실제 값이 존재할 수 있는 범위 내로 대응시키는 것이다.

본 발명에 따르면 양자화 과정에서 발생한 에러 성분을 제거하여 영상의 블록화 현상을 제거하게 된다. 본 발명에서 최종적으로 얻어지는 영상은 블록화 현상이 제거된다. 수치적으로도 기존의 방식보다 본 발명에 따른 방법의 PSNR (peak-signal-to-noise-ratio) 값이 높게 되고, 또한BM (blockiness measure) 값이 낮게 됨을 보여준다.

Description

정규화된 역양자화기를 이용한 영상 및 동영상의 복원 방법{METHOD FOR DECOMPRESSION OF IMAGES AND VIDEO USING REGULARIZED DEQUANTIZER}

본 발명은 정규화된 역양자화기(regularized dequantizer)를 이용한 영상의 블록화 현상 제거 방법 및 그 장치에 관한 것으로, 특히 DCT 기반 영상 압축 방식에서 영상의 블록화 현상을 제거하고 높은 화질을 제공하기 위하여 영상을 복원하는 방법에 관한 것이다.

현재 널리 사용되고 있는 DCT 기반 영상 압축 방식에서는 다음과 같은 방식을 채택하고 있다. 먼저 부호기(encoder)에서는 영상을 작은 블록들로 나누게 된다. 각 블록들은 먼저 DCT 변환을 한 후에, 양자화 과정을 거치게 된다. 이때 양자화 과정에서는 각 블록의 불필요한 성분을 제거함으로써 영상의 정보량을 압축하게 되지만 이 과정에서 영상의 압축과 함께 정보의 손실(loss)도 함께 발생하게 된다. 그리고 마지막으로, 각 블록은 정보의 손실이 없는(lossless) 여타의 코딩 과정을 거치게 된다. 복호기(decoder)는 부호화된 영상 신호를 입력으로 받은 후, 부호화 과정의 역순을 거치면서 영상을 복원하게 된다.

DCT 기반 영상 압축 방식에서 양자화 과정은, 각 블록의 DCT 계수들을 특정한 양자화 간격(quantization step size) 값으로 나눈 후, 정수 값으로 반올림 하는 과정으로 설명할 수 있다. 이 과정에서 양자화 에러(quantization error)가 발생하게 된다. 그리고 기존 방식의 역양자화 과정에서는 단순하게 수신된 값과 양자화 간격 값을 곱함으로써 복원된 영상이 양자화 에러를 그대로 영상에 포함하게 된다. 이러한 에러 성분들이 블록간의 불연속성을 야기하는 블록화 현상을 나타나게 되는 것이다. 블록화 현상은 영상의 화질을 저하시키는 주요한 요인이며, 영상의 압축률을 제한하게 된다.

이와 같이, 현재 동영상 압축과 관련하여 많이 사용되어지고 있는 방식 중 하나가 블록 단위로 DCT (Discrete Cosine Transform) 변환을 한 후에 양자화 과정을 거치면서 영상의 정보량을 압축하는 방식이다. JPEG, MPEG, H.26x 등의 국제표준에서는 전체 영상을 작은 서브 블록으로 나눈 뒤, 각 블록별로 DCT 와 양자화 과정을 수행하는 방식을 채택하고 있다. 하지만 블록 단위 DCT 코딩 기술은 블록간의 불연속성을 야기한다는 단점을 가지고 있다. 이러한 영상의 블록화 현상(blocking artifacts)은 영상의 화질을 저하시키는 주 요인이므로, 이를 극복하기 위한 새로운 기술 개발이 필요한 상황이다.

따라서, 본 발명은 DCT 기반 영상 압축 방식에서 영상의 블록화 현상을 제거하기 위하여, 정규화된 역양자화기(regularized dequantizer)를 제공하는 것을 목적으로 한다. 본 발명에 따른 정규화된 역양자화기를 적용한 방식을 사용할 경우 기존의 방식에서 나타났던 영상의 블록화 현상을 제거할 수 있으며, 우수한 화질의 복원 영상을 얻을 수 있다. 본 발명은 현재 널리 사용되고 있는 JPEG, MPEG, H.26x 뿐만 아니라, HDTV, IMT2000 등의 멀티미디어 통신 시스템에도 활용 가능하다.

본 발명의 다른 하나의 목적은 기존의 동영상 압축 방식에서 발생하는 영상의 블록화 현상을 제거하여 우수한 화질의 복원 영상을 얻는 것이다. 그리고 같은 대역폭에서 기존의 방식보다 더 우수한 화질의 영상을 전송하고자 하는 것이다.

도 1은 MPEG-1의 일반적인 복원 영상과 본 발명에 따라 정규화된 복원 영상 사이의 관계를 도시하는 도면.

도 2는 원래의 영상과 MPEG-1에서의 일반적인 방법으로 복원된 영상 그리고 본 발명에 따른 방법에 의해 복원된 영상을 도시하는 도면.

도 3은 일반적인 방법으로 복원된 영상과 H.263+ Annex K의 디블로킹 필터(deblocking filter)를 통과한 영상 그리고 본 발명에 따른 정규화된 역양자화기에 의해 구해진 영상의 PSNR 및 BM의 그래프를 비교하여 도시하는 도면.

도 4는 도 3에서의 세가지 방법으로 복원된 영상들을 3배 확대하여 보여주고 있는 도면.

DCT 변환을 기반으로 하는 종래의 동영상 정보 압축 시스템에서는 양자화 과정에서 발생하는 에러로 인해 블록화 현상이 생기는 단점을 가지고 있다. 따라서,이러한 단점을 해결하기 위해, 본 발명에서는 이러한 영상의 블록화 현상을 제거하기 위하여 정규화된 역양자화기를 사용하는 것을 그 기술적 구성의 특징으로 한다. 본 발명에서 사용되는 정규화된 역양자화기는, 기존의 역양자화기와는 달리, 단순히 복호기에 수신된 값과 양자화 간격 값을 곱해서 영상의 DCT 계수를 얻지 않고, 그 대신 수신된 값을 ±(양자화 간격의 절반 크기) 이내의 값으로 대응시킨다. 다시 말하여, 이것은 수신된 값을 원 영상의 실제 값이 존재할 수 있는 범위 내로 대응시키는 것이다. 이러한 방식은 양자화 과정에서 발생한 에러 성분을 제거하여 영상의 블록화 현상을 제거하게 된다. 본 발명에서 최종적으로 얻어지는 영상은 블록화 현상이 제거된다. 수치적으로도 기존의 방식보다 PSNR (peak-signal-to-noise-ratio) 값이 높고, 본 발명에 따른 방법의 BM (blockiness measure) 값이 낮음을 보여준다.

본 발명에서 다루고 있는 영상의 압축 과정에서 영상 신호의 부호화 과정과 복호화 과정을 수식적으로 정리하면 다음과 같다.

일반적인 DCT 기반 영상 부호화 방식에서 입력 영상은 먼저 8×8의 블록들로 나누어 진 후, 각 블록들은 DCT 변환 과정을 거친다. 다음의 설명에서 부호기의 입력 영상 신호(original data)는 f이다. 여기서 f는 입력 영상의 8×8 블록을 세로 방향으로 스캔한 64×1의 벡터이다. 그 다음 하나의 블록을 DCT 변환 한 후 얻어지는 DCT 영역(domain)에서의 영상 데이터는 Df로 나타낸다. 여기서 D는 2-DDCT 변환 행렬이며, 입력 영상에 관계없이(independent) 항상 일정하다.

먼저 부호기에서 영상의 DCT 계수는 양자화 과정을 거치게 된다. 일반적인 양자화 과정은 DCT 계수를 그에 대응하는 양자화 행렬의 값으로 나누고 그 값을 정수로 대응시키는 과정으로 생각할 수 있다. 이러한 양자화를 나타내는 연산자를 수식적으로 나타내면 다음의 식 (1)과 같다.

(1)

식 (1)에서 연산자 round{}와 rem{}은 보통의 반올림과 나머지 연산을 나타낸다. 그리고 sgn{}은 양수, 영, 음수를 각각 1, 0, -1로 대응시키는 함수이다. M은 64×64의 대각 행렬(diagonal matrix)이다. M의 대각 성분들은 양자화 행렬에 의해 정해진다. 즉, M은 8×8의 양자화 행렬을 세로 방향으로 스캔한 64×1 벡터에서, 각각의 값들을 대각 방향으로 나열한 것과 같다. 식 (1)에서 δ=1은 데드존 (dead-zone)이 존재하는 양자화 과정을 의미한다. 만약 δ=0이라면, 이것은 데드존이 없는 양자화를 의미하게 된다. 마지막으로 식 (1)은 다음의 식 (2)의 정리를 사용하고 있다.

(2)

부호기에서 양자화가 끝난 신호는 정보의 손실이 없는 부가적인 코딩(lossless coding)을 거친 후에 최종적으로 부호화된 영상 신호를 얻게 된다.

반면 복호기에서는 입력 신호를 손실이 없이 디코딩 한 후에 부호기에서와 같은 양자화된 DCT 계수{Df}를 얻는다. 역양자화기를 함수 P{}로 생각할 때, 이 함수는 양자화된 영상 신호와 대응하는 양자화 행렬의 계수를 곱하는 것으로 볼 수 있으며 이를 수식으로 나타내면 다음의 식 (3)과 같다.

(3)

식 (3)에서 P{}는 간단하게 64×64의 행렬 M을 곱하는 것과 데드존을 보정하는 부분으로 생각할 수 있다. 다시 한번 말해서 δ=0, δ=1은 각각 데드존이 없을 때와 있을 때를 의미한다.

역양자화기를 통과한 영상 신호는 2-D 역 DCT (2-D IDCT)을 통해서 DCT 영역(domain)의 계수에서 공간 영역(spatial domain)의 값으로 변환된다. 2-DIDCT는 D^-1로 표현 가능하며, 이는 앞에서 설명한 D의 역 행렬이다. 최종적으로 2-D IDCT를 통과한 영상 신호는 다음의 식 (4)와 같이 나타날 수 있다.

(4)

식 (4)는 복호기에서 얻어지는 영상 신호는 g를 나타내고 있다. 우리는 식 (4)에서 중요한 사항을 확인할 수 있다. 복호된 영상 g는 우리가 원하는 원래의 영상 f와 그 이외의 성분의 합으로 표현되어 진다는 것이다. 그리고 f를 제외한 그 이외의 나머지 성분이 바로 양자화 과정에서 발생하는 에러이다. 다시 말해서 복호된 영상에 존재하는 에러는 다음 식 (5)와 같이 된다.

(5)

이러한 에러는 역양자화 과정에서 영상 신호를 단순하게 양자화된 DCT 계수와 양자화 행렬의 곱으로만 구하기 때문에 발생하는 것이다. 즉, 양자화기의 round{}에서 손실된 신호 성분을 고려하지 못했기 때문에 발생되는 에러이다. 식 (5)에서 우리가 주의해야 할 점은 영상의 에러가 공간 영역(spatial domain)에서 표현되어 진다는 것이다. 즉, DCT 영역 계수에서 발생한 에러가 식 (5)와 같이 공간 영역 에러로 다시 표현되었다는 것이다.

여기서 우리는 기존의 식 (3)과 다른 역양자화 과정을 생각해 볼 수 있다. 기존의 복호기에서 역양자화기는 식 (5)와 같이 원래의 영상 신호 f에 의존하는 에러를 고려하지 못했다. 단순히 양자화된 DCT 계수와 양자화 행렬의 곱만을 선택했던 것이다. 하지만 본 출원의 발명자는 원래의 영상이 "smooth" 하다는 기본 가정과 함께 정규화된 역양자화기를 개발하였다. 정규화 과정을 통하여 영상의 불연속성이 제거되고 식 (5)의 에러를 줄이게 될 것이다.

먼저 식 (5)의 에러에 대해 좀더 살펴보면,

(6)

이므로 2-D IDCT(D^-1)와 역양자화(M)를 거치기 전, 양자화 된 DCT계수에 존재하는 에러의 크기는(-1/2,1/2]로 제한되어 있음을 알 수 있다. 식 (5)와 (6)의 내용을 좀 더 자세히 설명하기 위해 다음의 식 (7)을 고려해 보자.

(7)

위의 식 (7)은 모든 n에 대해 성립한다. e_n는 n번째 행에만 "1" 의 값을 가지고 나머지 행은 모두 "0"의 값을 가지는 유클리드 기저 벡터(Euclidean basis vector)이다. 식 (7)에서 왼쪽 항은 영상의 DCT 영역 n번째 계수에서 발생하는 에러를 나타내고 있다. 오른쪽 항은 거기에 대응하는 양자화 행렬 M의 n번째(n행 n열) 성분을 나타내고 있다. 이와 같은 내용을 정리해 보면, 식 (7)은 n번째 DCT 계수에서 발생하는 양자화 에러의 크기는 이에 대응하는 양자화 간격(양자화 행렬 n번째 계수)의 절반 이하로 제한된다는 것을 나타낸다.

이러한 내용을 정리해서 다시 표현해 보자. 앞의 내용은 DCT 영역에서의 에러에 대해 고려하고 있다. 하지만 영상의 화질 열화는 공간 영역에서 살펴봐야 하고, 복원된 영상에서 좀더 좋은 영상을 구해야 하기 때문에, DCT 계수의 에러가 복원된 영상에 끼치는 영향을 고려하여야 한다. DCT 영역에서 발생하는 에러가 공간 영역에 끼치는 영향을 살펴 보기 위해 다음의 식을 정의하자.

(8)

식 (8)에서 c_ij는 i행 j열의 DCT 계수가 공간 영역에 끼치는 영향을 나타내고 있다. 그리고 그 크기 q_ij는 양자화 행열의 i행 j열의 성분이며, 이는 i행 j열의 DCT 계수에서 발생하는 에러의 제한 범위를 나타낸다. 즉, i행 j열 DCT 계수의 에러는 ±(1/2)q_ij내로 제한된다. 식 (8)에서 c_ij는 8×8의 공간 영역에서의 데이터이다. 이것을 세로로 스캔(lexicographically ordered)한 64×1의 벡터 c_ij로 나타내면, 복원된 영상 g는 다음의 식으로 나타내어진다.

(9)

여기서 변수 (k)는 k번째 블록을 나타낸다. 식 (9)의 모든 벡터는 64×1이며, α_ij(k)는 (-1/2,1/2]내로 제한되는 계수이다. 식 (9)는 영상의 모든 8×8 블록에 대해 성립한다.

이상에서는 복호기에서 얻어지는 영상 신호를 수식적으로 정리하였다. 일반적인 방법으로 복원된 영상(g)을 얻었을 때, 원래의 영상(f)에 대한 정보는 알 수 없다. 이 경우에, 복원된 영상을 가지고 원래의 영상을 구할 때, 원래의 영상은무한개의 해답을 가질 수 있다. 이것을 다르게 표현하면, 식 (9)에서 L₂-norm인 ∥f-g∥₂를 최소화 시키는 α_ij(k)를 구하는 문제는 유일한 해를 구할 수 없는 문제이다.

이 문제를 풀 수 있는 하나의 방법으로 본 발명에서는 정규화(regularization)를 제안한다. 문제를 정규화하기 위해서는 하나의 조건을 제시하게 된다. 즉, 바로 영상의 "연속성(smoothness)"이다. 즉, 최소한 복원된 영상에서 나타나는 블록 경계면에서의 불연속성은 원래의 영상에는 존재하지 않는다는 것을 가정한다. 이는 원래의 영상은 블록의 경계면에서 "연속(smooth)"하다는 것을 말한다.

이렇게 제안된 문제를 푸는 것은, 다음의 식 (10)을 최소화시키는 f를 구하는 것이다.

(10)

식 (10)에서 영상의 정규화는 gradient(▽f)의 L₂-norm인,로 나타나고 있다. 이 항은 복원된 영상의 "smoothness"에 대한 항목이며, 정규화상수() λ는 복원된 영상의 "smoothness" 를 제어하는 상수이다. λ는 부호화 과정에서 최적의 값을 계산한 다음 복호기에 전달될 수도 있으며 또는 영상의 복원 과정에서 사용자에 의해 적절히 제어될 수 있는 값이다. 만약 사용자가 좀 더 "smooth" 한 영상을 원한다면 더 큰 λ값으로 역양자화 과정을 수행하면 될 것이다.

여기서 식 (10)을 최소화 하는 해답은 다음의 식 (11) 즉, Euler-Lagrange Equation으로 표현된다.

(11)

식 (11)에서 아래 첨자는 변수 방향으로의 편미분을 의미하고 있다. 이 식에 적당한 값들을 대입하면 다음의 식 (12)와 같은 포아송 방정식(Poisson Equation)을 얻게 된다.

(12)

또한 식 (12)에서 라플라스 연산자(Laplacian operator: ▽²)를 적용할 때,노이만(Neumann) 또는 디리히릿(Dirichlet) 등의 적당한 경계 조건을 만족하여야 한다. 정규화하여 구해진 영상(f)은 일반적인 복호 과정에 의해 구해진 영상(g)과 함께 식 (12)을 만족해야 한다.

일반적인 복호 과정을 거친 영상은 식 (9)를 항상 만족하여야 하며, 정규화된 복원 영상도 역시 식 (9)를 만족하여야 한다. 그리고 식 (12)에서 정규화된 복원 영상과 일반적인 복원 영상 사이의 관계를 알고 있다. 이 두개의 식으로 변수 f와 α_ij를 구할 수 있는 것이다. 식 (9)를 식 (12)에 대입하면 다음의 식을 얻을 수 있다.

(13)

여기서, L은 64×1의 벡터에 적용되는 라플라스 연산자(Laplacian operator)를 의미한다. 식 (13)를 참조하면 원 영상 f가 소거되었음을 알 수 있다. 그리고 모르는 변수는 α_ij뿐이므로, 이 식에서 풀어야 할 문제는 α_ij를 구하는 것이다.

(14)

식 (14)는 α_ij를 구하기 위하여 식 (13)을 행렬과 벡터의 형태로 다시 나타낸 것이다. 이 식은 모든 블록(k)에서 성립한다. 이 식에서 α(k)는 α_ij(k)들을 나열한 64×1의 벡터이다. 만약의 역 행렬이 존재 한다면, 식 (5)에서 간단한 계산으로 α(k)를 구할 수 있다. 일단 모든 블록에 대한 α(k)가 구해지면, 정규화를 통한 영상 f는 식 (9)에 의해 구해진다.

이때, 앞에서 논의 된 바와 같이, 모든α_ij(k)는 (-1/2,1/2]내로 제한되어야 하므로 α_ij(k)의 값들은 식 (9)에 적용되기 전에 모두 (-1/2,1/2]내로 잘릴(clipping)것이다. 그리고 (-1/2,1/2]내로 제한된 α_ij(k)를 가지고 반복적인 계산 과정(iterative approach)을 통해 정규화된 영상 f를 구하게 될 것이다. 이러한 반복 연산 과정을 요약하면 다음과 같다.

단계 1: 영상 f를 일반적인 복호 영상 g로 초기화 : f⁽⁰⁾=g

단계 2: 모든 블록(k)에 대해 계수를 초기화 : α_ij ⁽⁰⁾(k)=0

단계 3: m=1,2,3,… 에 대하여 다음을 반복

단계 3-1: 식 (14)에서 g=f^(m-1)라 놓고, α_ij ^(m)(k)를 구함

단계 3-2: α_ij ^(m)(k)의 값을 갱신한 후, 범위를 (-1/2,1/2]내로 제한

α_ij ^(m)(k)=min(max(α_ij ^(m-1)(k)+α_ij ^(m)(k),-1/2),1/2)

단계 3-3: 모든 블록들에 대해 영상을 갱신

여기서 마지막 결과 즉, 복원된 영상은 정규화된 역양자화기의 출력을 2-D IDCT한 것이다. 그리고 어떠한 경우에도 양자화된 DCT 계수는 ±(양자화 간격의 절반 크기) 내로 대응하게 된다.

이하에서는 본 발명에서 사용되는 정규화된 역양자화기를 사용하여 영상의 블록화 현상을 제거하는 방법의 실시예에 대하여 설명한다.

본 실시예에서는 본 발명에 따른 정규화된 역양자화기를 이용하여 MPEG-1과H.263+ 의 두 가지 영상 압축 표준에 적용해 보았다. 그 결과는 복원된 영상과 함께 peak-signal-to noise-ratio (PSNR) 값들을 일반적인 방법으로 복원한 영상과 비교하여 보여주게 된다. 그리고 영상의 블록화 현상을 비교하기 위하여 다음의 blockiness measure (BM)을 정의하자.

(15)

여기서, N_pix는 합해진 총 픽셀의 수, f는 원래 영상을 나타낸다. 그리고 는 일반적인 방법(MPEG-1, H.263+)으로 복원한 영상 또는 제안된 방법으로 복원된 영상을 나타낸다. 식 (15)에서는 오직 블록의 수직 또는 수평 경계에서 오직 2픽셀 사이의 차 값이 더해지고 있다. 여기서 BM은 그 값이 클수록 블록화 현상이 더 심하다는 것을 말한다.

도 1은 MPEG-1의 일반적인 복원 영상과 본 발명에 따라 정규화된 복원 영상 사이의 관계를 도시하는 도면이다. 도면에서 점선(dotted diamond)은 MPEG-1의 일반적인 복원 영상을 나타내며, 실선(solid square)은 본 발명에 따라 정규화된 복원 영상의 PSNR과 BM 값을 나타낸다.

도 1에서는 χ축 방향의 비트레이트(bit-rate)와 y축 방향의 PSNR, BM의 관계를 그래프로 보여주고 있다. 도 1의 (a) 및 (b)는 MPEG-1 I-frame에 적용된 영상들의 PSNR, BM 값들을 도시하고 있다. 마찬가지로 도 1의 (c) 및 (d)는 P-frame, (e) 및 (f)는 B-frame에서 PSNR, BM 값이다.

도 1을 참조하면, 세가지의 모든 프레임 형식 (frame type)에 대해 본 발명에 따라 정규화된 복원 영상의 PSNR 값이 더 높고, BM값이 더 낮음을 알 수 있다. 구체적으로 살펴 보면, 세가지 프레임 형식 중, 특히 I-frame의 경우 제안된 방법의 성능이 더욱 뛰어남을 알 수 있다. 그리고 비트레이트 값이 작을수록 즉, 영상의 압축률이 클수록 그 성능이 좋아짐을 알 수 있다.

도 2는 원래의 영상과 MPEG-1에서의 일반적인 방법으로 복원된 영상 그리고 본 발명에 따른 방법에 의해 복원된 영상을 도시하는 도면이다.

도면에 도시된 바와 같이, 본 발명에 따른 방법으로 복원한 영상에서 블록화 현상이 제거되었음을 확인할 수 있으며 특히 I-frame의 경우에, 다른 경우보다, 더 우수한 성능을 보여줌을 알 수 있다.

도 3은 일반적인 방법으로 복원된 영상과 H.263+ Annex K의 디블로킹필터(deblocking filter)를 통과한 영상 그리고 본 발명에 따른 정규화된 역양자화기에 의해 구해진 영상의 PSNR및 BM의 그래프를 비교하여 도시하는 도면이다.

도 3에서 +가 표시된 점선은 일반적인 방법으로 복원된 영상을 나타내고, 사각형 표시가 된 점선은 디블로킹 필터를 통과한 영상을 나타내며, 실선은 본 발명에 따른 정규화된 역양자화기에 의해 구해진 영상을 나타낸다. 도면에 도시된 바와 같이, 모든 QUANT (quantization scale) 값에서 본 발명에 따른 정규화된 역양자화기에 의해 구해진 영상이 더 우수한 결과를 보여준다.

도 4는 도 3에서의 세가지 방법으로 복원된 영상들을 3배 확대하여 보여주고 있는 도면이다. 이 실험에서 모든 영상은 2번의 반복 연산을 수행하였다. 도면을 참조하면, 본 발명에 따른 방법으로 복원한 영상에서 블록화 현상이 현저히 감소함을 알 수 있다.

전술한 바와 같이, 본 발명에 따른 정규화된 역양자화기를 이용한 영상의 블록화 현상 제거 방법은 영상의 블록간 연속성(smoothness)을 고려하였다. 본 발명에 따른 정규화된 역양자화기는 수신된 DCT 계수에 근거하여, 복원 영상의 경사도(gradient: ▽f)를 고려하게 된다. 그리하여 원래의 영상신호가 가질 수 있는 범위 내에서 매끄러운(smooth) 복원 영상을 얻는 것이다. 그리고 이 기술을 통해서 얻은 영상이 기존의 방식보다 블록화 현상이 현저하게 감소됨을 보였다. 그리고 실험 결과, 발명된 방식을 통해서 복원된 영상은 블록화 현상을 제거하면서 기존의 방식으로 복원된 영상보다 더 높은 peak-signal-to-noise -ratio(PSNR)값을 나타냄을 보였다.

본 발명에 따르면 복호기에서 얻어진 DCT 계수를 원래의 영상이 가지는 값의 범위 내로 유지시키면서 영상의 블록화 현상을 제거하는 방법을 제공하는 것이 가능하게 된다. 이러한 정규화된 역양자화기를 사용하면 동일한 전송률 또는 압축률에서 기존의 방법보다 우수한 화질의 영상을 복원하는 것이 가능하다. 그리고 이 기술은 멀티미디어 산업에서 DCT 변환을 기반으로 하는 모든 영상 압축 응용 기술에 적용이 가능할 것이다. 특히 HDTV, 화상회의 시스템, IMT-2000 등의 멀티미디어 통신 시스템에도 적용이 가능하다.

Claims

입력 영상을 블록으로 나누어 입력 영상 신호를 구하는 단계, 상기 각 블록의 입력 영상 신호에 대하여 DCT 변환 행렬을 곱하여 DCT 변환을 행함으로써 DCT 영역에서의 영상 데이터를 구하는 단계, 및 상기 DCT 변환에 의해 얻어지는 영상의 DCT 계수를 양자화하여 양자화된 DCT 계수를 구하는 단계를 포함하는 부호화 방법에 의해 부호화된 영상 신호를 복호하여 복원 영상(f)를 구하는 방법에 있어서,

복원 기준 영상(g)를 구하는 단계, 및

의 값을 최소화하는 값으로 상기 복원 영상(f)을 구하는 단계를 포함하며, 상기 식에서 λ는 정규화 상수(regularization parameter)이며, 상기 복원 기준 영상(g)를 구하는 단계는

상기 양자화된 DCT 계수에 양자화 간격을 곱하여 역양자화하는 단계, 및

상기 역양자화 단계에서 얻어진 값에 DCT 역변환 행렬을 곱하여 상기 복원 기준 영상을 구하는 단계를 포함하는 것을 특징으로 하는 정규화된 역양자화기를 이용한 영상 및 동영상의 복원 방법.
제1항에 있어서, 상기 정규화 상수(λ)는 복원 영상의 연속성(smoothness)를 제어하는 상수인 것을 특징으로 하는 정규화된 역양자화기를 이용한 영상 및 동영상의 복원 방법.
제1항 또는 제2항에 있어서, 상기 식을 최소화하는 복원 영상(f)는 포아송 방정식(Poisson Equation)의 해인 것을 특징으로 하는 정규화된 역양자화기를 이용한 영상 및 동영상의 복원 방법.
제1항에 있어서,

상기 복원 기준 영상 (g)는 벡터식에 의해 표현되며, 상기 벡터식에서 g(k)는 상기 복원 기준 영상의 k번째 블록을 나타내고, f(k)는 복원할 영상의 k번째 블록을 나타내며, c_ij는 DCT 역변환 행렬의 ij번째 기저(basis) 벡터를 나타내고, α_ij(k)는 k번째 블록의 ij번째 계수를 나타내며,

상기 벡터식에서의 α_ij(k)는 식의 해를 구하여 계산하되, 상기 식에서 L은 라플라스(Laplacian) 변환 행렬인 것을 특징으로 하는 정규화된 역양자화기를 이용한 영상 및 동영상의 복원 방법.
제4항에 있어서, 상기 α_ij(k)는 식의 해를 구하여 계산하되, 상기 식에서 α(k)는 α_ij(k)의 벡터형인 것을 특징으로 하는 정규화된 역양자화기를 이용한 영상 및 동영상의 복원 방법.
제4항에 있어서, 상기 계수 α_ij(k)는

을 반복적으로 계산하는 단계에 의해 구하여 지는 것을 특징으로 하는 정규화된 역양자화기를 이용한 영상 및 동영상의 복원 방법.
제6항에 있어서, 상기 반복적으로 계산하는 단계는

상기 영상 f를 f⁽⁰⁾=g 와 같이 상기 복원 기준 영상 g로 초기화하는 단계,

모든 블록(k)에 대해 α_ij ^(m)(k)=0 와 같이 계수를 초기화하는 단계, 및

m=1,2,3,…에 대하여

g=f^(m-1)라 놓고, α_ij ^(m)(k)를 구하는 부단계,

α_ij ^(m)(k)의 값을 갱신한 후,와 같이, 그 범위를 (-1/2,1/2] 내로 제한하는 부단계

모든 블록들에 대해와 같이 영상을 갱신하는 부단계를 소정의 횟수 반복하는 단계를 포함하는 것을 특징으로 하는 정규화된 역양자화기를 이용한 영상 및 동영상의 복원 방법.
삭제
삭제
삭제
삭제
삭제
삭제
삭제