KR100209798B1 - 확장-내삽을 이용한 윤곽선 물체의 부호화 장치 - Google Patents

Abstract

본 발명은 임의의 윤곽선을 갖는 물체 영역을 원하는 블록 길이에 대해서 확장한 다음 내부의 영역을 내삽함으로서 부호화 효율을 높일 수 있는 윤곽선 물체의 부호화 장치에 관한 것으로, 임의의 모양을 갖는 물체를 블럭별로 분할하고, 상기 분할된 각 블럭내의 밝기 정보는 부호화하는 상기 장치는: 윤곽선을 포함한 상기 각 블럭의 윤곽선 모양과, 상기 블럭 내의 밝기 정보들의 수평, 수직 변화에 따라 상기 각 블럭 내부의 물체 영역을 수평 방향 또는 수직 방향으로 확장하도록 설정하는 확장 방향 설정 수단; 상기 확장 방향 설정 수단에 의해 설정된 확장 방향으로 기설정 길이만큼 각 블럭내의 물체 영역을 확장한 후, 상기 물체 영역의 밝기 정보들을 이용하여 내부의 영역을 내삽하는 확장-내삽 수단; 상기 확장-내삽 수단에 의해 확장되고 내삽된 각 블럭을 부호화하는 부호화 수단을 구비하여 구성함을 특징으로 한다.

Description

확장-내삽을 이용한 윤곽선 물체의 부호화 장치

제1도는 종래 기술의 블록별 부호화 기법을 설명하기 위한 도면.

제2도는 본 발명의 실시예를 나타내는 상세 구성도.

제3도는 본 발명의 실시예인 공간 확장-내삽 방식을 설명하기 위한 도면.

* 도면의 주요부분에 대한 부호의 설명

21 : 영상 분할부 22 : 블럭 분할부

23 : 윤곽선 블럭 검출부 24 : 확장 방향 설정부

25 : 확장-내삽부 26 : 이산 여현 변환부

27 : 양자화부

본 발명은 동영상을 이동 물체별로 분할하고 각 이동 물체에 대해 움직임 표현 파라메타를 추정하는 방식으로 물체별로 움직임을 보상하는 물체별 부호화 장치에 있어서, 특히 움직임 파라메타로부터 신호 변화를 충분히 표현하지 못하는 MF(Model Failure) 영역이 밝기 정보를 부호화하는 윤곽선 물체의 부호화 장치에 관한 것이다.

최근 MPEG(Motion Picture Experts Group)4의 표준화를 앞두고 이에 수용할 수 있는 저전송율 동영상 부호화 기법에 대한 연구가 활발히 진행되고 있는데, 이동 물체를 포함한 연속 영상의 저전송을 부호화 하기 위해서는 이동 정보를 이용하는 데이타 검출 기법이 필수적이다.

한편 종래의 동영상 부호화 기법들은 이동 물체의 모양 및 전역 움직임(global motion)과 무관하게 지역적인 블럭 움직임에 근거하고 있다.

따라서 낮은 전송율에서, 블럭별 이동 보상 부호화를 적용함으로서 블럭화 현상, 모서리 떨림 현상, 반점 현상 등과 같은 화질 저하가 재생 영상에 나타나게 된다.

MPEG4에서는 상기한 문제점을 해결하기 위한 새로운 부호화 방식으로서 영상신호의 통계적 특성만을 주로 고려하는 종래의 방법과는 다르게, 인간의 시각 특성에 바탕을 두고 주관적 화질을 중시하며 아울러 전송 데이타량의 대폭적인 감축을 도모하는 동영상 부호화 기법이 연구되어 지고 있으며, 이러한 새로운 부호화 기법중에 하나가 동영상을 이동 물체별로 분할하고, 각 이동 물체에 대해 움직임 표현 라파메타를 추정하는 방식으로 물체별로 움직임을 보상하는 물체별 부호화 기법이다.

물체별 부호화 기법은 먼저, 입력 영상을 독립적인 움직임의 이동 물체별로 분할하고 분할된 물체의 움직임 정보를 추정하는 과정을 통하여 윤곽선 정보, 움직임 정보, 색상 정보를 추출한 후 추출된 윤곽선 정보, 움직임 정보, 색상 정보를 이동 물체별로 선택적으로 부호화하여 전송한다.

이러한 물체별 부호화 방식에서 대부분의 영역은 움직임 계수에 의해 이동 보상되어질 수 있으므로 움직임 정보와 윤곽선 정보만 전송하면 된다.

그러나 움직임 계수들로 부터 신호 변화를 충분히 표현하지 못하는 영역이 발생하는데, 이러한 MF 영역은 이동 보상을 할 수 없기 때문에 윤곽선 정보 뿐만 아니라 밝기 정보를 전송해야 한다.

또한 일반적인 전화 영상에서 MF 영역은 전체 영역의 4%를 차지하지만 전체 정보량의 70% 이상을 차지하는 것으로 보고되고 있기 때문에 MF 영역의 부호화는 전체 물체별 부호화 방식에서 매우 중요한 부분인데도 불구하고 MF 영역이 임의의 형태의 윤곽선을 갖기 때문에 부호화 효율과 계산량면을 모두 만족할만한 부호화 기법을 구하는 것은 힘들다.

따라서 종래에는 MF 영역 밝기 정보의 부호화를 위한 방법으로, Gilge에 의해 제안된 GOT(General Orthogonal Transform)와 Kaup and Aach에 의해 발표된 반복 부호화 기법(iterative coding scheme)이 있는데, 이는 윤곽선에 적응적으로 부호화를 하기 때문에 좋은 성능을 보이지만, 이러한 기법들은 직교하는 기저 함수가 윤곽선 형태에 따라 다르기 때문에 기저 함수를 구하는데 많은 시간과 계산이 소요된다.

또한 MF 영역 밝기 정보의 부호화를 위한 블럭별 변환 부호화 방식은 원하는 물체 영역 밖의 영역에 제로(zero), 평균값, 또한 그 영역의 미러(mirror)등을 채워넣는 다음 변환하는 방식으로, 제1도를 참조하여 설명하면 다음과 같다.

먼저, 제로 채워넣기(zero stuffing) 기법은 제1도 (a)에 나타난 바와 같이 물체 영역(1) 이외의 다른 영역(2)에 제로를 채워넣는 가장 단순한 방식으로서 물체와 제로 사이에 경계가 발생한다. 이 때문에 원하지 않는 고주파 성분이 많이 포함되어 부호화 할 때 압축률이 많이 떨어지는 문제점이 있다.

상기한 제로 채워넣기 기법의 문제점을 해결하기 위해서 제안된 방법들로서, MF 영역밖에 제로 이외의 다른 성분을 채워 넣음으로서 부호화 효율을 높이는 평균값 채워넣기 방식(제1도(b))과 미러 이미지 확장 방식(제1도(c))이 있다.

평균값 채워넣기 방식은 물체 영역(3)에 있는 밝기값의 평균값을 물체 영역 이외의 다른 영역(4)에 채워 넣는 방식이고, 미러 이미지 확장 방식은 물체 영역(5)의 밝기값을 물체 영역밖(6)에 대칭되도록 부여하는 방식으로서, 경계 지역에 대한 신호의 급격한 변화를 방지하기 때문에 고주파 성분을 줄일 수 있다는 장점이 있지만 물체 영역밖에 원하지 않는 정보를 채워 넣은후 부호화를 수행하기 때문에 부호화 효율이 떨어지는 문제점이 있었다.

본 발명은 상기 문제점을 해결하기 위하여 안출한 것으로서, 임의의 윤곽선을 갖는 물체 영역을 원하는 블록 길이에 대해서 확장한 다음 내부의 영역을 내삽함으로서 부호화 효율을 높일 수 있는 윤곽선 물체의 부호화 장치를 제공함에 그 목적이 있다.

본 발명은 상기 목적을 달성하기 위하여 임의의 모양을 갖는 물체를 8*8 블럭 단위별로 분할하여 각 블럭의 밝기 정보에 대한 부호화를 수행하는 부호화 장치에 있어서: 윤곽선을 포함한 상기 각 블럭의 윤곽선 모양과, 상기 블럭 내의 밝기 정보들의 수평, 수직 변화에 따라 상기 각 블럭 내부의 물체 영역을 수평방향 또는 수직 방향으로 확장하도록 설정하는 확장 방향 설정 수단; 상기 확장 방향 설정 수단에 의해 설정된 확장 방향으로 블럭 길이만큼 주파수 영역이나 공간 영역에서 각 블럭내의 물체 영역을 확장한후 상기 물체 영역의 밝기값들을 이용하여 내부의 영역을 내삽하는 확장-내삽 수단, 상기 확장-내삽 수단에 의해 확장되고 내삽된 각 블럭을 부호화하는 부호화 수단을 구비하여 구성함을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.

제2도는 본 발명을 실시하기 위한 셍세 구성도로서, 입력되는 프레임 단위의 영상을 독립적인 움직임의 이동 물체별로 분할하는 영상 분할부(21), 이동 물체별로 분할된 영상을 기 설정 블럭별로 분할하되 바람직하기로는 8*8블럭 단위로 분할하는 블럭 분할부(22), 8*8 블럭 단위로 분할된 각 블럭중 윤곽선을 포함한 블럭을 검출하는 윤곽선 블럭 검출부(23), 윤곽선을 포함한 블럭의 윤곽선 모양과 블럭 내부의 밝기값들의 수평, 수직 변화를 고려하여 물체 영여에 대한 확장 방향을 설정하는 확장 방향 설정부(24), 확장 방향 설정부(24)에 의해 설정된 확장 방향으로 (수평, 또는 수직 방향) 블럭 길이만큼 물체 영역을 확장하고 물체 영역의 밝기값들을 이용하여 내부의 영역을 내삽하는 확장-내삽부(25), 확장-내삽부(25)에 의해 확장되고 내삽된 각 블럭에 대하여 1차원 이산 여현 변환을 수행하는 1차원 이산 여현 변환부(26), 1차원 이산 여현 변환부(26)에 의해 변환된 각 블럭을 양자화하여 전송하는 양자화부(27)를 구비하여 구성된다.

상기와 같이 구성된 본 발명의 실시예에 대한 동작 설명은 다음과 같다.

먼저, 영상 분할부(21)는 입력되는 프레임 단위의 영상을 독립적인 움직임의 이동 물체별로 분할된 물체의 움직임 정보를 추정하고 윤곽선 정보 및 색상 정보를 추출하여 이를 블록 분할부(22)에 출력하고, 블럭 분할부(22)는 이동 물체별로 분할된 영상을 8*8 블럭 단위로 분할한다.

윤곽선 블럭 검출부(23)는 8*8 블럭 단위로 분할된 각 블럭중 임의의 형태의 윤곽선을 갖는 MF 영역(물체 영역)을 포함한 블럭들을 검출하고, 확장 방향 설정부(24)는 윤곽선 블럭 검출부(23)에 의해 검출된 블럭 내부의 물체 영역을 확장하고 내삽하기 위한 방향을 설정한다.

이때, 각 블럭 내부의 물체 영역을 확장하고 내삽하는데 있어서 어느 방향 즉, 수평 방향, 또는 수직 방향에 대해 적용할것인가는 시스템의 성능에 영향을 미친다.

따라서 윤곽선을 포함한 블럭의 윤곽선 모양과 블럭 내부의 밝기값들의 수평, 수직 변화를 고려하여 물체 영역의 확장 방향(수평 방향 또는 수직 방향)을 설정함이 바람직하다.

확장-내삽부(25)는 확장 방향 설정부(24)에 의해 확장 방향이 설정되면 블럭 길이만큼 물체 영역을 확장한 후(수평 또는 수직 방향) 내부의 영역을 내삽하는데, 본 발명에서는 주파수 영역에서 제로를 채워넣는 일실시예와 공간 영역에서 물체 영역의 밝기값들을 확장하고 내삽하는 다른 실시예를 제시한다.

먼저, 주파수 영역에서 제로를 채워넣는 방식에 의해 확장-내삽을 수행하는 확장-내삽부(25)의 동작에 대해 설명한다.

시간 영역에서 내삽을 주파수 영역에서 생각하면 내삽된 화소수만큼 주파수 영역에서 0이 생긴다. M개의 화소를 가진 MF 영역의 밝기값들의 함수를 f₁(n₁)이라 하고, 이것을 N(N≥M) 포인트(point) 1차원 이산 여현 변환을 할때 f₁(n₁)이 가지는 주파수 성분보다 고주파 성분이 생기지 않고 높은 에너지 압축을 얻도록 최적의 f₂(n₂)를 구한다. f₁(n₁)과 f₂(n₂) 각각에 대한 M 또는 N 포인트 이산 여현 변환 계수는 다음과 같다(제1식, 제2식).

k₁과 a₁(k₁)은 다음과 같다.

여기에서, M은 MF 영역의 화소수이고, N은 블록 길이로서, (제1식)과 (제2식)에 대한 각 행렬 표현은 다음과 같다(제3식, 제4식).

F₂(k₂)가 가장 높은 에너지 압축을 얻기 위해서, F₂(k₂= 0,1,...,M-1)는 원래 MF 영역의 계수 F₁(k₁= 0,1,...,M-1)와 같은 값을 갖고 F₂(k₂= M,M+1,...,N-1)은 0이어야 한다.

이것은 내삽의 원리에 의해서 내삽된 화소수 만큼 주파수 영역에서 0이 발생하기 때문이다. 이런 최적의 조건하에서 N개의 f₂(n₂)를 구하면 최적의 변환을 할 수 있다. (제3식),(제4식)에서 위와 같은 조건을 만족하면 (제5식)이 되는 데 최적의 f₂(n₂)는 (제5식)에서 역 이산 여현 변환을 하면 구할 수 있다.

이때, F₂(0)에 곱해진 상수 μ₀는 스케일링(scaling) 요소이다. 만약 이 상수가 곱해지지 않으면 f₂(n₂)가 f₁(n₁)보다 화소수가 많기 때문에 전반적으로 시간 영역에서 스케일링된 값이 나온다.

이렇게 되면 2차원으로 적용할 때, 각각의 수평 또는 수직 방향으로 f₂(n₂)가 다른값을 가져 원하지 않는 고주파 성분이 섞이게 된다.

μ₀을 구하기 위해 f₁(n₁)과 f₂(n₂)의 DC성분은 각각 다음과 같이 표현된다(제6식).

또한 (제6식)에서 좌변과 우변은 각각의 평균 즉, M_f2(f₂(n₂))의 평균값과 M_f1(f₁(n₁))의 평균값으로 표현이 가능하다(제7식).

이때 f₁(n₁)을 내삽하여 f₂(n₂)를 구하기 때문에 M_f1과 M_f2는 같은 값을 가진다.

따라서가 된다.

상기한 주파수 영역에서 제로를 채워넣는 방식의 확장-내삽 방법에 있어서, 상기한 N,M은 블럭 분할부(22)에 의해 결정된다.

예를 들어, 블럭 분할부(22)에 의한 각 블럭의 분할 단위가 8*8 블럭 단위이고, 확장 방향 설정부(24)에 의해 설정된 확장 방향이 수평 방향이라면, M은 8*8 블럭내의 일 수평 방향 라인에 포함된 MF 영역의 화소수가 되고, N은 수평 방향 블럭 길이인 8이 된다.

한편 공간영역에서 확장-내삽을 수행하는 확장-내삽부(25)의 동작에 대해 제3도를 참조하여 설명하면 다음과 같다.

제3도에 도시된 바와 같이, 8*8 블럭내의 일방향 라인(예를 들어 수평 방향)에 포함된 MF영역의 화소수가, 예를 들어 3개일 경우 확장-내삽부(25)는 3개의 밝기값(f₁(n₁))(예를 들어, f₁(n₁) = A1,A2,A3))들을 블럭 길이(블럭 길이 =8)로 확장한 후 기 설정 선형 내삽 알고리즘을 수행한다.

선형 내삽 알고리즘의 일예로서, MF 영역의 3개의 화소값(f₁(n₁))이 각각 A1,A2,A3라고 할때(제3도(a)), 제3도(b)에 도시된 바와같이 첫번째 밝기값인 A1인 현 위치를 유지하도록 하고, 세번째 밝기값인 A3을 8번째 화소 위치로 확장한 후, (제8식), (제9식)에 의해 내삽을 수행하는 방식을 제시한다.

(제8식)에서 X₁이 1일 경우 f₂(n₂)은 두번째 화소에 위치하도록 하고, X₁이 2일 경우 f₂(n₂)은 세번째 화소에 위치하도록 하며, X₁이 3일 경우 f₂(n₂)은 네번째 화소에 위치하도록 한다(제3도(b)).

제9식에서 X₂이 1일 경우 f₂(n₂)는 일곱전째 화소에 위치하도록 하고, X₂가 2일 경우 f₂(n₂)는 여섯번째 화소에 위치하도록 하며, X₂가 3일 경우 f₂(n₂)는 다섯번째 화소에 위치하도록 한다(제3도(b)).

상기와 같은 선형 내삽 방식에 의해 공간 내삽을 수행할 경우 F₂(k₂=3,4,5,6,7)는 거의 0의 값을 가진다. 또한 F₂(k₂=0,1,2)는 F₁(k₁=0,1,2)의 스케일링된 값을 가진다.

상기한 확장-내삽 방식의 실시예에서는 MF 영역의 화소수가 3개일 경우에 (제8식)과 (제9식)에 의한 기본적인 선형 내삽 방식에 의한 공간 내삽에 관해 설명하였으나, 본 발명의 공간 확장-내삽 방식이 반드시 이에 국한되어 지는 것으로 이해되어서는 안될것이다.

즉, 블럭 분할부(22)에 의해 분할된 블럭의 크기나 MF 영역내의 밝기값들의 갯수, 또는 MF 영역내의 밝기값들의 변화율등에 따른 MF 영역의 밝기값들에 대한 공간 확장 배열 방식은 여러가지 변형이 있을 수 있으며, 본 기술 분야의 종사한 자라면 각각의 경우를 고려한 공간 확장 배열 방식을 구현하는데 있어서, 용이하게 실시할 수 있음을 알 수 있을 것이다.

또한 블럭의 크기가 기 설정된 상태에서 MF 영역의 밝기값들을 이용한 공간 내삽 알고리즘도, 본 기술 분야에 종사한 자라면 상기에서 제시한 (제8식), (제9식)과 같은 선형 내삽 방식 이외에도 MF 영역의 밝기값들의 상관성을 고려하여 여러가지로 구현 가능하고 용이하게 실시할 수 있음을 알 수 있을 것이다.

따라서 1차원 이산 여현 변환부(26)는 확장-내삽부(25)에 의해 주파수 영역에서 0을 채워넣는 확장-내삽 방식에 의해 확장되고 내삽된 각 블럭이나, 공간 영역에서 확장-내삽된 각 블럭내의 화소값들을 1차원으로 재배열한 다음 수평 또는 수직 방향의 상관 관계를 이용하여 1차원 이산 여현 변환을 수행하고, 양자화부(27)는 1차원 이산 여현 변환부(26)에 의해 변환된 각 블럭을 양자화하여 복호화 시스템에 전송한다.

상기한 바와 같이 본 발명은 확장-내삽 기법을 이용하여 임의의 윤곽선을 갖는 물체를 부호화함으로서, 부호화 효율을 향상할 수 있는 효과가 있다.

Claims (7)

1. 임의의 모양을 갖는 물체를 블럭별로 분할하고, 상기 분할된 각 블럭내의 밝기 정보를 부호화하는 부호화 장치에 있어서: 윤곽선을 포함한 상기 각 블럭의 윤곽선 모양과, 상기 블럭 내의 밝기 정보들의 수평, 수직 변화에 따라 상기 각 블럭 내부의 물체 영역을 수평 방향 또는 수직 방향으로 확장하도록 설정하는 확장 방향 설정수단; 상기 확장 방향 설정 수단에 의해 설정된 확장 방향으로 기 설정 길이만큼 각 블런내의 물체 영역을 확장한 후, 상기 물체 영역의 밝기 정보들을 이용하여 내부의 영역을 내삽하는 확장-내삽 수단; 상기 확장-내삽 수단에 의해 확장되고 내삽된 각 블럭을 부호화하는 부호화 수단을 구비하여 구성함을 특징으로 하는 확장-내삽을 이용한 윤곽선 물체의 부호화 장치.
2. 제1항에 있어서, 상기 확장-내삽 수단은: 상기 확장 방향 설정 수단에 의해 설정된 방향으로 각 블럭내의 물체 영역을 확장하고 내부의 영역을 내삽하되, 물체 영역을 주파수 영역에서 기설정 길이로 확장하여 0을 내삽함을 특징으로 하는 확장-내삽을 이용한 윤곽선 물체의 부호화 장치.
3. 제2항에 있어서, 상기 확장-내삽 수단은: 주파수 영역에서 기 설정 길이로 확장된 영역중 원래의 물체 영역을 제외한 나머지 영역에 대응된 주파수 영역에 0을 내삽함을 특징으로 하는 확장-내삽을 이용한 윤곽선 물체의 부호화 장치.
4. 제3항에 있어서, 상기 확장-내삽 수단은: 물체 영역을 주파수 영역에서 블럭 길이로 확장하여 내삽함을 특징으로 하는 확장-내삽을 이용한 윤곽선 물체의 부호화 장치.
5. 제1항에 있어서, 상기 확장-내삽 수단은: 상기 확장 방향 설정 수단에 의해 설정된 방향으로 각 블럭내의 물체 영역을 확장하고 내부의 영역을 내삽하되, 공간 영역에서 물체 영역의 밝기값들을 기 설정 길이로 확장하고 확장된 공간 영역을 내삽함을 특징으로 하는 확장-내삽을 이용한 윤곽선 물체의 부호화 장치.
6. 제5항에 있어서, 상기 확장-내삽 수단은: 물체 영역을 공간 영역에서 블럭 길이로 확장하여 내삽함을 특징으로 하는 확장-내삽을 이용한 윤곽선 물체의 부호화 장치.
7. 제4항 또는 제6항에 있어서, 상기 윤곽선을 포함한 각 블럭은 8*8 블럭 단위로 분할된 블럭임을 특징으로 하는 확장-내삽을 이용한 윤곽선 물체의 부호화 장치.