KR0171120B1 - 특징점 기반 움직임 보상을 이용한 비디오 신호 부호화에서의 움직임 영역 설정방법 및 장치 - Google Patents

Abstract

본 발명은 특징점 기반 움직임 보상에 있어서, 현재 프레임과 이전 프레임의 대응 블럭간의 에러신호에 근거하여 특징점을 추출하기 위한 영상내의 이동 물체의 규칙적인 움직임 영역을 설정할 수 있도록 한 것으로, 이를 위하여 본 발명은, 부호화하고자 하는 입력 현재 프레임과 재구성된 이전 프레임간의 대응하는 블럭들에서의 각 화소들간의 차신호를 산출한 다음, 이 산출된 각 화소들간의 각 차신호와 기설정된 역치값에 의거하여 프레임에서 이동 물체를 포함하는 움직임 영역을 검출하고, 이와 같이 검출된 이동 물체를 포함하는 움직임 영역에서 각 화소와 그에 인접하는 다른 화소들간의 관계를 이용하여 스폿 노이즈를 제거하며, 스폿 노이즈가 제거된 프레임의 움직임 영역과 각 화소들에 대하여 화소단위로 이동 물체를 포함하는 움직임 영역과 이동물체를 포함하지 않는 움직임 영역간의 구별이 가능한 0 또는 1의 정수값으로 각각 대체하여 프레임을 소정 크기의 복수의 블럭들로 분할하고 또한 정수값들을 각각 갖는 분할된 각 블럭들을 블럭단위로 이동 물체를 포함하는 영역과 이동 물체를 포함하지 않는 영역간의 구별 가능한 0 또는 1의 다른 정수값으로 각각 대체하여 움직임 영역정보를 생성한다. 따라서, 본 발명은 현재 프레임과 재구성된 이전 프레임의 대응 블럭들에서의 움직임 영역정보에 의거하여 이동 물체를 갖는 블럭들에 대해서만 특징점 기반 움직임 보상을 수행하도록 함으로서, 데이터 발생을 억제하면서도 움직임 추정, 보상의 정확도를 효과적으로 증진시킬 수 있는 것이다.

Description

특징점 기반 움직임 보상을 이용한 비디오 신호 부호화에서의 움직임 영역 설정방법 및 장치

제1도는 본 발명에 따른 특징점 기반 움직임 추정장치를 갖는 전형적인 비디오 신호 부호화 시스템에 대한 블럭구성도.

제2도는 특징점 기반 움직임 추정 등을 통해 움직임 보상을 수행하는 제1도의 현재 프레임 예측블럭에 대한 블럭구성도.

제3도는 제2도에 도시된 본 발명의 바람직한 실시예에 따른 움직임 영역 검출 블럭에 대한 블럭구성도.

제4도는 하나의 영상에서 움직임을 갖는 물체와 움직임을 갖는 물체가 공존하는 것을 일예로서 도시한 도면.

제5도는 본 발명에 따라 영상에서 움직임이 포착된 영역과 스폿 노이즈 등의 발생영역을 일예로서 보여주는 도면.

제6도는 본 발명에 따라 이동 물체가 포함되는 블럭과 이동 물체가 포함되지 않는 블럭에 대하여 그 움직임 영역정보를 할당한 것의 일예를 보여주는 도면.

* 도면의 주요부분에 대한 부호의 설명

10, 17, 1823 : 프레임 메모리 11, 1821 : 감산기

12 : 영상신호 부호화 블럭 13 : 엔트로피 부호화 블럭

14 : 버퍼 15 : 영상신호 복호화 블럭

16 : 가산기 18 : 현재 프레임 예측 블럭

182 : 움직임 영역 검출 블럭 184 : 특징점 선택 블럭

186 : 움직임 추정 블럭 188 : 움직임 보상 블럭

1822, 1825, 1827 : 비교기 1824 : 노이즈 감쇄 블럭

1826 : 카운터 1828 : 제로 카운터

SW1, SW2 : 스위치 INT : 인버터

본 발명은 특징점 기반 움직임 추정기법을 이용하여 비디오 신호를 부호화하는 방법 및 장치에 관한 것으로, 특히, 비디오 신호의 부호화를 위해 특징점을 기반으로 하여 물체의 움직임을 추정하고자 하는 움직임 영역을 설정하는 방법 및 장치에 관한 것이다.

이 기술분야에 잘 알려진 바와같이 이산된 화상신호의 전송은 아날로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 이미지 프레임으로 구성된 비디오 신호가 디지탈 형태로 표현될 때, 특히 고품질 테레비젼의 경우 상당한 양의 데이터가 전송되어야 한다. 그러나 종래의 전송 채널의 사용 가능한 주파수 영역은 제한되어 있으므로, 많은 양의 디지탈 데이터를 전송하기 위해서는 전송되는 데이터를 압축하여 그 양을 줄일 필요가 있다. 이와 같이 데이터를 압축하는 다양한 압축 기법 중에서, 확률적 부호화 기법과 시간적, 공간적 압축기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있다.

대부분의 하이브리드 부호화 기법은 움직임 보상 DCPM(차분 펄스 부호 변조), 2차원 DCT(이산 코사인 변환), DCT 계수의 양자화, VLC(가변장부호화) 등을 이용한다. 움직임보상 DCPM은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분신호를 만들어내는 방법이다. 이 방법은 예를 들어 Staffan Ericsson 의 Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding, IEEE Transaction on Communication, COM-33, NO.12 (1985년, 12월), 또는 Ninomiy와 Ohtsuka의 A motion Compensated Interframe Coding Scheme for Television Pictures, IEEE Transaction on Communication, COM-30, NO.1 (1982년, 1월)에 기재되어 있다.

일반적으로, 이차원 DCT는 영상 데이터간의 공간적 리던던시를 이용하거나 제거하는 것으로서, 디지탈 영상 데이터 블럭, 예를 들면 8×3 블럭을 DCT 변환계수로 변환한다. 이 기법은 Chen과 Pratt의 Scene Adaptive Coder, IEEE Transaction on Communication COM-32, NO.3 (1984년, 3월)에 개시되어 있다. 이러한 DCT 변환계수는 양자화기, 지그재그 주사, VLC 등을 통해 처리됨으로써 전송할 데이터의 양을 효과적으로 감축할 수 있다.

보다 상세하게, 움직임보상 DPCM 에서는 현재 프레임과 이전 프레임간에 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로부터 예측한다. 이와같이 추정된 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임 벡터로 나타낼 수 있다.

통상적으로, 물체의 변위를 추정하는 데에는 여러 가지 접근방법이 있다. 이들은 일반적으로 두 개의 타입으로 분류되는데 하나는 블럭단위 움직임 추정방법이고 다른 하나는 화소단위 움직임 추정방법이다.

한편, 블럭단위 움직임 추정에서는, 현재 프레임의 블럭을 이전 프레임의 블럭들과 비교하여 최적 정합블럭을 결정하며, 이것으로부터, 전송되는 현재 프레임에 대해 블럭 전체에 대한 프레임간 변위 벡터(프레임간에 블럭이 이동한 정도)가 추정된다. 그러나, 블럭단위 움직임 추정에서는 움직임 보상과정에서 블럭경계에 블럭킹효과(blocking effect)가 발생할 수 있고; 블럭내의 모든 화소가 한방향으로 이동하지 않는 경우에는 추정값이 올바르지 않아서 그 결과 부호화 효율이 감소한다는 단점이 있다.

한편, 화소단위 음직임 추정방법을 이용하면 변위는 각각의 화소 전부에 대해 구하여진다. 이러한 방법은 화소값을 더 정확히 추정할 수 있고 스케일변화(예를 들어, 영상면에 수직한 움직임인 주밍(zooming)도 쉽게 다룰 수 있다는 장점을 갖는 반면에, 움직임 벡터가 모든 화소 각각에 대해 결정되기 때문에, 실질적으로 모든 움직임 벡터를 수신기로 전송하는 것을 불가능하다.

따라서, 화소단위 움직임 추정방법에 있어서는 선택된 한 세트(set)의 화소(즉, 특징점)에 대한 움직임벡터를 수신측에 전송하는데, 이때 특징점은 인접 화소들을 대표할 수 있는 화소들로서 수신기에서 비특징점에 대한 움직임벡터를 특징점에 대한 움직임벡터로부터 복원될 수 있다.

동일인에 의해 1995년 2월 28일자로 출원되어 현재 계류중인 대한민국 특허 출원번호 95-3955호의 화소단위 움직임 예측을 이용한 비디오신호 부호화 방법 및 장치(Method and Apparatus for Encoding a Video Signal Using Pixel-by-pixel Motion Estimation) 에 개시된, 특징점을 이용한 움직임 추정기법을 채용한 부호화기에서는 우선 이전 프레임에 포함된 모든 화소로부터 특징점이 선택된다. 그리고 난후, 선택된 각 특징점에 대한 움직임벡터가 결정되는데 이때 각 움직임벡터는 이전 프레임의 하나의 특징점과 현재 프레임의 해당 정합점간의 변위이다. 보다 상세하게, 각각의 특징점에 대한 정합점을 현재 프레임의 탐색영역에서 찾는데 이때 탐색영역은 해당 탐색점의 위치를 포함하는 기설정된 넓이의 영역으로 정의할 수 있다.

한편, 특징점을 선택하는데 있어서, 에지검출 기법과 그리드기법이 함께 사용하여 특징점을 선택하는 기법에 있어서, 그리드와 이동체의 에지간의 교차점이 특징점으로 선택된다. 여기에서의 특징점 선택은 기존의 특징점을 이용한 영상신호 부호화 방법에서와 같이 각각의 그리드 점(삼각형의 꼭지점을 이루는 점)을 영상의 에지로 이동시키면서 수행된다.

통상적으로, 시간적으로 연속되는 하나의 영상에는, 일예로서 제4도에 도시된 바와 같이, 움직이는 물체(A)와 움직이지 않는 고정된 물체(B)가 존재할 수 있다. 이때, 종래의 특징점을 기반으로 하는 움직임 보상에서는 물체의 이동유무에 관계없이 모든 물체(즉, 제4도의 A, B)의 에지에 특징점이 위치하게 되며, 이러한 특징점들을 기반으로 하여 움직임벡터를 산출함으로서 움직임보상을 수행하고 있다. 따라서, 종래의 방식은 반드시 필요한 영역(즉, 제4도의 A 부분)에서의 움직임 보상이 비효율적(움직임 보상의 정확도 저하로 인한 복원영상의 화질열화 등)으로 될 뿐만 아니라 과다한 특징점 추출로 인해 불필요한 데이터량이 증가하게 되므로서 결과적으로 부호화의 효율이 저하한다는 문제가 있다.

따라서, 본 발명의 목적은 특징점 기반 움직임 보상에 있어서, 현재 프레임과 이전 프레임의 대응 블럭간의 에러신호에 근거하여 특징점을 추출하기 위한 영상내의 물체의 규칙적인 움직임 영역을 설정할 수 있는 방법 및 장치를 제공하는데 있다.

상기 목적을 달성하기 위한 일관점의 일형태에 따른 본 발명은, 특징점 기반 움직임 추정을 이용하여 비디오 신호의 현재 프레임과 이전 프레임간의 움직임벡터를 검출함으로써 비디오 신호의 움직임 보상을 위한 움직임 영역을 설정하는 방법에 있어서, 부호화하고자 하는 입력 현재 프레임과 재구성된 이전 프레임간의 대응하는 블럭들에서의 각 화소들간의 차신호를 산출하는 단계; 상기 산출된 각 화소들간의 각 차신호의 기설정된 역치값에 의거하여 프레임에서 이동 물체를 포함하는 움직임 영역을 검출하여 저장하는 단계; 상기 검출된 이동 물체를 포함하는 움직임 영역내의 각 화소들에 대하여 화소단위로 이동 물체를 포함하는 움직임 영역과 이동물체를 포함하지 않는 움직임 영역간의 구별이 가능한 0 또는 1의 정수값으로 각각 대체하여 프레임을 소정 크기의 복수의 블럭들로 분할하는 단계; 상기 정수값들을 각각 갖는 상기 분할된 각 블럭들을 블럭단위로 이동 물체를 포함하는 영역과 이동 물체를 포함하지 않는 영역간의 구별이 가능한 0 또는 1의 다른 정수값으로 각각 대체하여 움직임 영역정보를 생성하는 단계; 및 상기 움직임 영역정보에 의거하여 상기 현재 프레임과 상기 이전 프레임간의 이동 물체를 갖는 움직임 영역에 대하여 상기 특징점 기반 움직임 추정/보상을 수행함과 동시에 수신측으로의 전송을 위해 상기 움직임 영역정보를 가변길이 부호화하는 단계로 이루어진 특징점 기반 움직임 보상을 이용한 비디오 신호 부호화에서의 움직임 영역 설정방법을 제공한다.

상기 목적을 달성하기 위한 일관점의 다른 형태에 따른 본 발명은, 특징점 기반 움직임 추정을 이용하여 비디오 신호의 현재 프레임과 이전 프레임간의 움직임벡터를 검출함으로서 비디오 신호의 움직임 보상을 위한 움직임 영역을 설정하는 방법에 있어서, 부호화하고자 하는 입력 현재 프레임과 재구성된 이전 프레임간의 대응하는 블럭들에서의 각 화소들간의 차신호를 산출하는 단계; 상기 산출된 각 화소들간의 각 차신호와 기설정된 역치값에 의거하여 프레임에서 이동 물체를 포함하는 움직임 영역을 검출하여 저장하는 단계; 상기 검출된 이동 물체를 포함하는 움직임 영역에서 각 화소와 그에 인접하는 다른 화소들간의 관계를 이용하여 스폿 노이즈를 제거하는 단계; 상기 스폿 노이즈가 제거된 프레임의 움직임 영역내의 각 화소들에 대하여 화소단위로 이동 물체를 포함하는 움직임 영역과 이동 물체를 포함하지 않는 움직임 영역간의 구별이 가능한 0 또는 1의 정수값으로 각각 대체하여 상기 프레임을 소정 크기의 복수의 블럭들로 분할하는 단계; 상기 정수값들을 각각 갖는 상기 분할된 각 블럭들을 블럭단위로 이동 물체를 포함하는 영역과 이동 물체를 포함하지 않는 영역간의 구별이 가능한 0 또는 1의 다른 정수값으로 각각 대체하여 움직임 영역정보를 생성하는 단계; 및 상기 움직임 영역정보에 의거하여 상기 현재 프레임과 상기 이전 프레임간의 이동 물체를 갖는 움직임 영역에 대하여 상기 특징점 기반 움직임 추정/보상을 수행함과 동시에 수신측으로의 전송을 위해 상기 움직임 영역정보를 가변길이 부호화하는 단계로 이루어진 특징점 기반 움직임 보상을 이용한 비디오 신호 부호화에서의 움직임 영역 설정방법을 제공한다.

상기 목적을 달성하기 위한 다른 관점에 따른 본 발명은, 특징점 기반 움직임 추정을 이용하여 비디오 신호의 현재 프레임과 이전 프레임간의 움직임벡터를 검출함으로서 비디오 신호의 움직임 보상을 위한 움직임 영역을 설정하는 장치에 있어서, 부호화하고자 하는 입력 현재 프레임과 재구성된 이전 프레임간의 대응하는 블럭들에서의 각 화소들간의 차신호를 산출하는 감산수단; 상기 산출된 각 화소들간의 각 차신호와 기설정된 역치값에 의거하여 프레임에서 이동 물체를 포함하는 움직임 영역을 검출하는 비교수단; 상기 이동 물체를 포함하는 움직임 영역이 검출된 상기 프레임을 저장하는 프레임 메모리; 상기 프레임 메모리에 저장된 상기 이동 물체를 포함하는 움직임 영역에서 각 화소와 그에 인접하는 다른 화소들간의 관계를 이용하여 스폿 노이즈를 제거하는 수단; 상기 스폿 노이즈가 제거된 프레임의 움직임 영역내의 각 화소들에 대하여 화소단위로 이동 물체를 포함하는 움직임 영역과 이동 물체를 포함하지 않는 움직임 영역간의 구별이 가능한 0 또는 1의 정수값으로 각각 대체하여 상기 프레임을 소정 크기의 복수의 블럭들로 분할하는 수단; 및 상기 정수값들을 각각 갖는 상기 분할된 각 블럭들을 블럭단위로 이동 물체를 포함하는 영역과 이동 물체를 포함하지 않는 영역간의 구별이 가능한 0 또는 1의 다른 정수값으로 각각 대체하여 움직임 영역정보를 생성하는 수단을 포함하며, 상기 현재 프레임과 상기 재구성된 이전 프레임간의 상기 특징점 기반 움직임 추정/보상은 상기 생성된 움직임 영역정보에 의거하여 수행되며, 상기 움직임 영역정보는 가변길이 부호화되어 수신측에 전송되는 것을 특징으로 하는 특징점 기반 움직임 보상을 이용한 비디오 신호 부호화에서의 움직임 영역 설정장치를 제공한다.

본 발명의 기타 목적과 여러 가지 장점은 이 기술분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시예로부터 더욱 명확하게 될 것이다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.

제1도는 본 발명에 따른 특징점 기반 움직임 추정장치를 갖는 전형적인 비디오 신호 부호화 시스템에 대한 블럭구성도를 나타낸다. 동도면에 도시된 바와 같이, 비디오 신호 부호화 시스템은 제1프레임 메모리(10), 감산기(11), 영상신호 부호화 블럭(12), 엔트로피 부호화 블럭(13), 버퍼(14), 영상신호 복호화 블럭(15), 가산기(16), 제2프레임 메모리(17), 현재 프레임 예측 블럭(18)을 포함한다. 여기에서, 현재 프레임 신호의 재구성된 이전 프레임 신호에 의거하여 예측된 현재 프레임 신호를 발생하는 현재 프레임 예측 블럭(18)은 본 발명에 실질적으로 관련되는 것으로서, 그 세부적인 블럭구성은 제2도에 도시되어 있다.

제1도를 참조하면, 입력되는 현재 프레임 신호는 제1프레임 메모리(10)에 저장된 다음 라인 L11 및 L10을 통해 감산기(11)와 현재 프레임 예측 블럭(18)에 각각 제공된다.

먼저, 현재 프레임 예측 블럭(18)에서는 제1프레임 메모리(10)로부터 제공되는 라인 L10 상의 현재 프레임 신호와 제2프레임 메모리(17)로부터 제공되는 라인 L14 상의 재구성된 이전 프레임 신호에 기초하여 특징점 기반 움직임 보상 등을 통해 화소단위로 현재 프레임을 예측한 다음 라인 L15 상에 예측된 현재 프레임 신호를 발생하여 상술한 감산기(11)와 가산기(16)에 각각 제공하고, 라인 L16 상에 선택되는 특징점에 대한 움직임벡터들의 세트를 발생하여 전술한 엔트로피 부호화 블럭(13)에 제공하며, 또한 본 발명에 따라 현재 프레임과 재구성된 이전 프레임의 대응 블럭들에서의 각 화소값들의 차이신호(에러신호)에 근거하여 이동 물체를 포함하는 영상의 움직임 영역을 검출한 다음 그 검출된 움직임 영역정보를 라인 L17 상에 발생하여 엔트로피 부호화 블럭(13)에 제공한다.

상술하면, 현재 프레임 예측 블럭(18)에서는 라인 L10 상의 현재 프레임과 라인 L14 상의 재구성된 이전 프레임간의 에러신호에 근거하여 영상에서 이동 물체를 포함하는 영역을 검출하고 이를 소정 크기의 블럭으로 분할된 다음 이들 이동 물체를 갖는 블럭들에 대해서만 움직임 보상 등을 수행하며, 또한 움직임을 갖는 이동 물체의 영역정보를 수신측에 전송한다. 즉, 현재 프레임 예측 블럭(18)에서는 현재 프레임과 재구성된 이전 프레임에 의거하여 영상의 이동 물체를 검출한 다음 라인 L14를 통해 제공되는 제2프레임 메모리(17)로부터의 이전 프레임 신호에서 검출되는 이동 물체에 대한 에지 데이터와 움직임 영역에 상응하여 형성되는 그리드에 의거하여 이동 물체를 갖는 움직임 영역에서의 특징점들을 선택한다. 이때, 에지검출 기법과 그리드 기법등이 함께 사용되는 경우 그리드와 이동체의 에지간의 교차점이 특징점으로 선택된다. 또한, 이동 물체를 갖는 소정 크기의 블럭들에 대한 영역정보는 라인 L17을 통해 엔트로피 부호화 블럭(13)에 제공되며, 이러한 이동 물체를 포함하는 특징 영역정보는 가변길이 부호화 등을 통해 부호화된 다음 수신측으로의 전송을 위해 버퍼(14)를 통해 도시 생략된 전송기로 보내진다.

그런다음, 현재 프레임 예측 블럭(18)은 특징점 정보에 의거하여 선택된 각 특징점에 대한 특징점 움직임벡터들의 세트를 검출하며, 여기에서 검출되는 각각의 특징점 움직임벡터 세트들은 라인 L14를 통해 제2프레임 메모리(17)에서 제공되는 이전 프레임의 특징점과 라인 L10을 통해 제1프레임 메모리(10)에서 제공되는 현재 프레임에서 가장 유사한 화소간의 변위이다. 또한, 현재 프레임 예측 블럭(18)은 라인 L16 상에 각각의 특징점에 대한 움직임벡터들의 세트를 발생하여 엔트로피 부호화 블럭(13)에 제공함과 동시에 예측된 현재 프레임 신호를 감산기 (11)와 가산기(16)에 각각 제공한다.

제1도를 참조하면, 감산기(11)에서는 라인 L11을 통해 제1프레임 메모리(10)에서 제공되는 현재 프레임 신호로부터 라인 L15를 통해 상술한 현재 프레임 예측 블럭(18)으로부터 제공되는 이동 물체에 대해서 움직임 보상된 예측된 현재 프레임 신호를 감산하며, 그 결과 데이터, 즉 차분화소값을 나타내는 에러신호를 영상신호 부호화 블럭(12)을 통해 이산 코사인 변환(DCT)과 이 기술분야에서 잘 알려진 양자화 방법들중의 어느 하나를 이용함으로서, 일련의 양자화된 변환계수들로 부호화된다. 이때, 영상신호 부호화 블럭(1)에서의 에러신호에 대한 양자화는 출력측의 버퍼(14)로부터의 데이터 충만도(QP)에 의거하여 그 스텝사이즈가 조절된다.

그런다음, 이와같이 양자화된 변환계수들은 엔트로피 부호화 블럭(13)과 영상신호 복호화 블럭(15)으로 각각 보내진다. 여기에서, 엔트로피 부호화 블럭(13)에 제공된 양자화된 변환계수들은, 예를들면 가변길이 부호화 기법 등을 통해 부호화 되어 출력측의 버퍼(14)에 제공되며, 이와같이 부호화된 영상신호는 수신측으로의 전송을 위해 전송기(도시생략)로 전달된다.

한편, 영상신호 부호화 블럭(12)으로부터 영상신호 복호화 블럭(15)에 제공되는 양자화된 변환계수들은 역양자와 및 역이산 코사인 변환을 통해 다시 재구성된 프레임 신호로 변환된 다음, 가산기(16)에 제공되며, 가산기(16)에서는 영상신호 복호화 블럭(15)으로부터의 재구성된 프레임 신호와 전술한 현재 프레임 예측 블럭(18)으로부터 제공되는 예측된 현재 프레임신호를 가산하여 재구성된 이전 프레임 신호를 생성하며, 이와같이 재구성된 이전 프레임 신호는 제2프레임 메모리(17)에 저장된다. 따라서, 이러한 경로를 통해 부호화 처리되는 매 프레임에 대한 바로 이전 프레임 신호가 계속적으로 갱신되며, 이와같이 갱신된 이전 프레임 신호는 움직임 보상을 위해 전술한 현재 프레임 예측 블럭(18)으로 제공된다.

제2도에는 제1프레임 메모리(10)로부터의 현재 프레임 신호와 제2프레임 메모리(17)로부터의 재구성된 이전 프레임 신호에 의거하여 예측된 현재 프레임 신호를 발생하는 제1도에 도시된 현재 프레임 예측 블럭(18)에 대한 상세한 블럭구성도가 도시되어 있다. 동도면에 도시된 바와 같이, 본 발명에 따른 현재 프레임 예측 블럭(18)은 움직임 영역 검출 블럭(182), 특징점 선택 블럭(184), 움직임 추정 블럭(186) 및 움직임 보상 블럭(188)을 포함한다.

제2도에 있어서, 움직임 영역 검출 블럭(182)은 라인 L10을 통해 제1도의 제1프레임 메모리(10)로부터 제공되는 현재 프레임 신호와 라인 L14를 통해 제1도의 제2프레임 메모리(17)로부터 제공되는 재구성된 이전 프레임에 의거하여 이동 물체를 갖는 움직임 영역을 검출한 다음 소정 크기, 예를들면 움직임 보상에서 사용되는 16×16 크기의 블럭단위의 움직임 영역정보를 라인 L17 상에 발생하여 제1도의 엔트로피 부호화 블럭(13)에 제공함과 동시에 라인 L20을 통해 특징점 선택 블럭(184)에 제공한다. 즉, 움직임 영역 검출 블럭(182)에서는, 일예로서 제4도에 도시된 바와 같은 영상의 경우 이동 물체인 자동차(A)를 포함하는 블럭들에 대항 영역정보가 검출될 것이다. 본 발명에서 가장 특징적인 부분을 이루는 이러한 움직임 영역 검출 블럭(12)에 대한 구체적인 설명은 첨부된 제3도를 참조하여 후에 상세하게 기술될 것이다.

한편, 특징점 선택 블럭(184)에서는 상기한 움직임 영역 검출 블럭(182)으로부터 라인 L20을 통해 제공되는 이동 물체를 포함하는 움직임 영역정보에 의거하여 라인 L14를 통해 제1도의 제2프레임 메모리(17)로부터 제공되는 재구성된 이전 프레임의 해당 블럭들(이동 물체를 갖는 블럭들)에서 에지 데이터를 추출한 다음 이 추출된 에지 데이터와 그리드에 의거하여 에지선에 대한 특징점들을 선택하여 라인 L21 상에 발생한다. 여기에서, 에지검출 기법과 그리드 기법이 함께 사용되는 경우에는 그리드와 이동체의 에지간의 교차점이 특징점으로 선택된다. 여기에서의 특징점 선택은 기존의 특징점을 이용한 영상신호 부호화 방법에서와 같이 각각의 그리드 점(삼각형의 꼭지점을 이루는 점)을 영상의 에지로 이동시키면서 수행된다.

다른한편, 움직임 추정 블럭(186)에서는 특징점 선택 블럭(184)으로부터 라인 L21을 통해 제공되는 선택된 특징점 정보에 의거하여 선택된 각 특징점들에 대한 특징점 움직임벡터들의 세트를 검출한다. 여기에서, 검출되는 각각의 특징점 움직임벡터 세트들은 라인 L14를 통해 제2프레임 메모리(17)에서 제공되는 이전 프레임에서 이동 물체를 갖는 블럭들에서의 특징점과 라인 L10을 통해 제1프레임 메모리(10)에서 제공되는 현재 프레임에서 가장 유사한 화소간의 변위를 나타낸다. 또한 움직임 추정 블럭(186)은 이동 물체를 갖는 블럭들에서의 각각의 특징점에 대한 움직임 벡터들의 세트를 라인 L16 상에 발생하여 제1도의 엔트로피 부호화 블럭(13)에 제공한다.

다음에, 움직임 보상 블럭(188)에서는 상기한 특징점 선택 블럭(184)으로부터 라인 L21을 통해 제공되는 선택된 특징점과 움직임 추정 블럭(186)으로부터 제공되는 각각의 특징점 움직임벡터들의 세트를 이용하여 예측하고자 하는 현재 프레임에 포함될 화소값을 라인 L14 상의 재구성된 이전 프레임으로부터 인출하여, 화소단위로 현재 프레임을 예측한 다음 라인 L15 상에 예측된 현재 프레임 신호를 발생하여 감산기(12)와 가산기(16)에 각각 제공한다.

상술한 바와 같이 특징점을 이용하여 움직임 보상을 수행하는 방법은 본 출원인에 의해 1995년 3월 20일에 대한민국 특허출원 제95-5868호로서 출원되어 현재 계류중인 비디오 신호 부호화 장치에 상세하게 개시되어 있다. 이 방법에서는 직각 그리드 또는 육각 그리드와 같은 여러 가지 형태의 그리드를 이용하는 그리드 기법에 의해 특징점을 결정하거나 또는 에지 검출과 그리드 기법을 함께 사용하여 특징점을 결정한다. 이때, 전자의 경우에는 그리드의 노드에 특징점이 위치하게 되고, 후자의 경우에는 그리드와 에지와의 교차점이 특징점으로 선택된다.

제3도는 제2도에 도시된 움직임 영역 검출 블럭(182)에 대한 세부적인 블럭구성도를 나타낸다. 동도면에 도시된 바와같이, 본 발명의 바람직한 실시예에 따른 움직임 영역 검출장치는 감산기(1821), 제1비교기(1822), 제1스위치(SW1), 프레임 메모리(1823), 제2스위치(SW2), 노이즈 감쇄 블럭(1824), 제2비교기(1825), 카운터(1826), 제3비교기(1827), 인버터(INT) 및 제로 카운터(1828)를 포함한다.

먼저, 제3도에 그 세부적인 블럭구성이 도시된 본 발명에 따른 움직임 영역 검출 블럭에서는 재구성된 이전 프레임과 현재 프레임에서 서로 대응하는 블럭들(예를 들면, 16×16)에서의 화소들간의 차이를 구한다. 이때, 인텐시티의 노이즈 성분을 고려하여 역치값을 두며, 이와 같이 블록간의 차를 구하는 오퍼레이션을 영상의 전체 영역에 대하여 적용함으로서 최종적으로 이전 프레임과 현재 프레임에서 물체의 움직임에 따른 각 화소별의 차신호, 즉 에러신호를 얻을 수 있다.

이때, 물체의 움직임이 있는 부분에서는 이전 프레임과 현재 프레임간의 차이값이 크게 되고, 움직임이 없는 부분은 일반적으로 0 값으로 될 것이다. 따라서, 본 발명에서는 이러한 것을 고려하여 움직임 영역의 유무를 선택하는 기준으로서 해당 블럭내에 0 이외의 값을 갖는 화소가 존재하면 해당 블럭에 움직임을 갖는 물체가 있다고 간주하고, 그렇지 않으면 해당 블럭에 움직임을 갖는 물체가 존재하지 않는다고 간주한다.

한편, 영상에서의 스폿 노이즈는 역치값에 의해 간단하게 해결할 수 없는 것으로, 이러한 스폿 노이즈가 이동 물체를 갖는 블럭의 선택에 영향을 미칠 수 없도록 하기 위하여, 본 발명에서는 영역 개념을 도입하여 화소간의 차이값이 역치값 이상인 화소들에 대해 인접 화소들간의 관계를 고려하여 단지 혼자 존재하는 화소라든가 아니면 매우 작은 영역을 차지하는 화소들에 대해서는 실질적인 고려대상에서 제외한다.

제3도를 참조하면, 감산기(1821)에서는 현재 부호화하고자 하는 현재 프레임과 재구성된 이전 프레임간에 이동 물체를 영역과 이동 물체를 갖지 않는 영역을 구분하기 위하여 라인 L10을 통해 제1도의 제1프레임 메모리(10)로부터 제공되는 현재 프레임과 라인 L14를 통해 제1도의 제2프레임 메모리(17)로부터 제공되는 이전 프레임간의 대응 블럭들에서의 각 화소값들을 감산하여 그 결과 데이터, 즉 서로 대응하는 블럭들에서의 화소간의 차신호를 발생하여 다음단의 제1비교기(1822)에 제공한다.

다음에, 비교기(1822)에서는 감산기(1821)로부터 입력되는 각 대응 블럭들내의 화소들간의 각 차신호와 기설정된 역치값(TH1)을 화소단위로 서로 비교한 다음 제1스위치(SW1)를 통해 기설정된 역치값보다 큰 차이값을 갖는 화소값들을 프레임 메모리(1823)에 제공한다. 이때, 제1스위치(SW1)는 통상적인 시스템 제어기, 예를들면 마이크로 프로세서(도시생략)로부터의 제어신호(CS1)에 의거하여 고정접점 a와 가변접점 b가 연결된 상태로 되며, 이러한 연결상태는 한 프레임의 영상 데이터가 처리되는 동안 지속되다가 해당 프레임에 대한 후술되는 스폿 노이즈의 제거가 완료되면 접점 a-c 상태로 절환된다. 따라서, 이러한 과정을 통해 해당 프레임에서 인텐시티의 노이즈 성분이 제거된다.

한편, 재구성된 이전 프레임과 현재 프레임간의 대응 블럭들에서의 차이값을 갖는 화소들을 포함하는 새로운 하나의 프레임 데이터가 시스템 제어기로부터의 출력 인에이블 신호(IN)에 따라 프레임 메모리(1823)에서 출력된다고 가정하면, 제2스위치(SW2)는 도시 생략된 시스템 제어기로부터 제어신호(CS2)에 의거하여 접점 a1-c1의 연결상태를 유지하며, 이와같은 연결상태는 해당 프레임에서 스폿 노이즈가 모두 제거되는 동안 지속된다.

따라서, 노이즈 감쇄 블럭(1824)에서는 하나의 화소와 이에 인접하는 다른 화소들간의 관계를 고려하여 제2스위치(SW2)를 통해 입력되는 해당 프레임에 존재하는 스폿 노이즈 제거를 위한 프로세싱을 수행한다. 즉, 노이즈 감쇄 블럭(1824)은 이전 프레임과 현재 프레임의 대응 화소간의 차이값이 역치값 이상인 각각의 화소들에 대하여 라인 L31을 통해 시스템 제어기로 인접 화소에 대한 어드레스 발생신호와 인접 화소의 위치정보를 발생하고, 시스템 제어기에서는 이러한 입력신호에 기초하여 프레임 메모리(1823)에 출력 인에이블 신호(IN)를 발생하며, 이러한 과정 등을 통해 노이즈 감쇄 블럭(1824)에서는, 일예로서 제5도에 도시된 바와같이 혼자 존재하는 화소들(b)이나 또는 매우 작은 영역을 차지하는 부분(c)의 화소값들을 제거한다. 이때, 제1스위치(SW1)의 연결은 시스템 제어기로부터 제어신호(CS1)에 따라 접점 a-c로 절환된 상태이다.

상기와 같은 일련의 과정, 즉 제1스위치(SW1)-프레임 메모리(1823)-제2스위치(SW2)-노이즈 감쇄 블럭(1824)으로 이어지는 루트를 통해 해당 프레임에 대한 스폿 노이즈가 모두 제거되면, 제1 및 제2스위치(SW1, SW2)의 접점은 시스템 제어기로부터의 각 제어신호(CS1, CS2)에 의거하여 각각 다른 상태로 절환된다. 즉, 제1스위치(SW1)는 접점 a-b 상태로 절환되고, 제2스위치(SW2)는 접점 a1-b1 상태로 절환된다. 따라서, 제1스위치(SW1)를 통해 다음 프레임에 대한 인텐시티의 노이즈 성분이 제거된 화소 데이터들은 프레임 메모리(1823)에 저장되고, 또한 프레임 메모리(1823)에 저장된 스폿 노이즈가 제거된 프레임에 대한 화소 데이터들, 예를 들면 제5도에 참조부호 a로서 표시된 움직임이 포착된 영역이 화소 데이터들을 제2스위치(SW2)를 통해 제2비교기(1825)로 출력된다.

한편, 제2비교기(1825)에서는 기설정된 역치값(TH2)과의 비교를 통해 0이 아닌 화소값들은 모두 1로 하고 그 이외의 화소값은 0으로 하여 다음단의 카운터(1826)에 제공하며, 카운터(1826)는 시스템 제어기로부터 제공되는 리셋신호에 의거하여 제2비교기(1825)의 출력값을 계수하여 소정 크기의 블럭, 예를들면 16×16의 블럭단위로 제3비교기(1827)에 제공한다. 따라서, 제2비교기(1825)와 카운터(1826)를 통해 움직임이 포착된 영역은 예를 들면 16×16의 블럭단위로 처리된다.

다음에, 제3비교기(1827)에서는 상기한 카운터(1826)로부터 입력되는 각 블럭들에 대한 각각의 화소값들을 체크하여 해당블럭의 화소값이 모두 0이 아닌 것으로 판단되면 해당 블럭에 넘버 1을 부여하여 출력하고, 그 이외의 경우(해당 블럭의 화소값들이 모두 0인 경우)에는 해당 블럭에 넘버 0을 부여하여 출력한다. 즉, 이러한 과정을 통해 복수개로 분할된 프레임의 각 블럭들에 대해 이동 물체가 포함된 영역인 경우 1, 이동 물체가 포함되지 않은 영역인 경우 0의 넘버가 부여된다. 일예로서, 제6도에 도시된 바와 같은 영상의 경우, 빗금으로 채워진 이동 물체가 포함된 영역은 모두 1로 채워지고, 그 이외의 영역(이동 물체가 포함되지 않은 영역)은 모두 0으로 채워진다.

그런다음, 상술한 바와 같이 제3비교기(1827)를 통해 이동 물체가 포함된 블럭은 1로, 이동 물체가 포함되지 않은 블럭은 0으로 채워진 프레임 데이터, 즉 이동 물체를 갖는 블럭들에 대한 영역정보는 움직임이 포착된 블럭들에 대응하는 이전 프레임의 대응 블럭들에서의 특징점 검출을 위해 라인 L20을 통해 제2도의 특징점 선택 블럭(184)에 제공됨과 동시에, 수신측으로의 움직임 영역정보의 전송을 위하여 제로 카운터(1828) 등을 경유하는 라인 L17을 통해 제1도의 엔트로피 부호화 블럭(13)으로 제공된다. 보다 상세하게, 제3비교기(1827)에서 출력되는 각 블럭들에 상응하는 0과 1의 값들은 제로 카운터(1828)로 입력되는데, 이때 제로 카운터(1828)에서는 블럭이 1값일 때 이에 따라 인버터(INT)로부터 제공되는 리셋신호에 의거하여 1과 1 사이에 존재하는 0의 수를 카운트하여 라인 L32을 통해 제1도의 엔트로피 부호화 블럭(13)에 제공하며, 또한 라인 L33을 통해 1 값을 갖는 블럭들이 마찬가지로 엔트로피 부호화 블럭(13)에 제공된다.

따라서, 제1도의 엔트로피 부호화 블럭(13)에서는 상술한 바와같이 이동 물체가 포함된 블럭들에 대한 영역정보를 가변길이 부호화하여 전송기를 통해 수신측에 전송하며, 수신측의 수신기에서는 이동 물체가 포함된 블럭들에 대한 영역정보에 의거하여 이동 물체가 포함된 블럭들만을 재생한 다음 여기에 대해서만 특징점을 적용하여 움직임 보상을 수행하면 된다.

이상 설명한 바와같이 본 발명에 따르면, 현재 프레임과 재구성된 이전 프레임의 대응 블럭들에서의 각 화소들간의 차신호에 의거하여 이동 물체를 갖는 블럭들을 검출한 다음 이와 같이 이동 물체를 갖는 블럭들에 대해서만 특징점 기반 움직임 보상을 수행하도록 함으로서, 데이터 발생을 억제하면서도 움직임 추정, 보상의 정확도를 효과적으로 증진시켜 보다 양질의 화상을 제공할 수가 있다.

Claims (11)

1. 특징점 기반 움직임 추정을 이용하여 비디오 신호의 현재 프레임과 이전 프레임간의 움직임벡터를 검출함으로서 비디오 신호의 움직임 보상을 위한 움직임 영역을 설정하는 방법에 있어서, 부호화하고자 하는 입력 현재 프레임과 재구성된 이전 프레임간의 블럭들에서의 각 화소들간의 차신호를 산출하는 단계; 상기 산출된 각 화소들간의 각 차신호와 기설정된 역치값에 의거하여 프레임에서 이동 물체를 포함하는 움직임 영역을 검출하여 저장하는 단계; 상기 검출된 이동 물체를 포함하는 움직임 영역내의 각 화소들에 대하여 화소단위로 이동 물체를 포함하는 움직임 영역과 이동 물체를 포함하지 않는 움직임 영역간의 구별이 가능한 0 또는 1의 정수값으로 각각 대체하여 프레임을 소정 크기의 복수의 블럭들로 분할하는 단계; 상기 정수값들을 각각 갖는 상기 분할된 각 블럭들을 블럭단위로 이동 물체를 포함하는 영역과 이동 물체를 포함하지 않는 영역간의 구별이 가능한 0 또는 1의 다른 정수값으로 각각 대체하여 움직임 영역정보를 생성하는 단계; 및 상기 움직임 영역정보에 의거하여 상기 현재 프레임과 상기 이전 프레임간의 이동 물체를 갖는 움직임 영역에 대하여 상기 특징점 기반 움직임 추정/보상을 수행함과 동시에 수신측으로의 전송을 위해 상기 움직임 영역정보를 가변길이 부호화하는 단계로 이루어진 특징점 기반 움직임 보상을 이용한 비디오 신호 부호화에서의 움직임 영역 설정방법.
2. 제1항에 있어서, 상기 분할된 블럭의 크기는 상기 특징점 기반 움직임 추정/보상을 위해 분할되는 블럭과 실질적으로 동일한 것을 특징으로 하는 특징점 기반 움직임 보상을 이용한 비디오 신호 부호화에서의 움직임 영역설정방법.
3. 제2항에 있어서, 상기 특징점 기반 움직임 추정/보상을 위한 분할 블럭의 크기는 16×16인 것을 특징으로 하는 특징점 기반 움직임 보상을 이용한 비디오 신호 부호화에서의 움직임 영역 설정방법.
4. 특징점 기반 움직임 추정을 이용하여 비디오 신호의 현재 프레임과 이전 프레임간의 움직임벡터를 검출함으로서 비디오 신호의 움직임 보상을 위한 움직임 영역을 설정하는 방법에 있어서, 부호화하고자하는 입력 현재 프레임과 재구성된 이전 프레임간의 대응하는 블럭들에서의 각 화소들간의 차신호를 산출하는 단계; 상기 산출된 각 화소들간의 각 차신호와 기설정된 역치값에 의거하여 프레임에서 이동 물체를 포함하는 움직임 영역을 검출하여 저장하는 단계; 상기 검출된 이동 물체를 포함하는 움직임 영역에서 각 화소와 그에 인접하는 다른 화소들간의 관계를 이용하여 스폿 노이즈를 제거하는 단계; 상기 스폿 노이즈가 제거된 프레임의 움직임 영역내의 각 화소들에 대하여 화소단위로 이동 물체를 포함하는 움직임 영역과 이동 물체를 포함하지 않는 움직임 영역간의 구별이 가능한 0 또는 1의 정수값으로 각각 대체하여 상기 프레임을 소정 크기의 복수의 블럭들로 분할하는 단계; 상기 정수값들을 각각 갖는 상기 분할된 각 블럭들을 블럭단위로 이동 물체를 포함하는 영역과 이동 물체를 포함하지 않는 영역간의 구별이 가능한 0 또는 1의 다른 정수값으로 각각 대체하여 움직임 영역정보를 생성하는 단계; 및 상기 움직임 영역정보에 의거하여 상기 현재 프레임과 상기 이전 프레임간의 이동 물체를 갖는 움직임 영역에 대하여 상기 특징점 기반 움직임 추정/보상을 수행함과 동시에 수신측으로의 전송을 위해 상기 움직임 영역정보를 가변길이 부호화하는 단계로 이루어진 특징점 기반 움직임 보상을 이용한 비디오 신호 부호화에서의 움직임 영역 설정방법.
5. 제4항에 있어서, 상기 스폿 노이즈의 제거는 하나의 프레임을 단위로 하여 각 화소단위로 반복 수행되는 것을 특징으로 하는 특징점 기반 움직임 보상을 이용한 비디오 신호 부호화에서의 움직임 영역 설정방법.
6. 제4항 또는 제5항에 있어서, 상기 분할된 블럭의 크기는 상기 특징점 기반 움직임 추정/보상을 위해 분할되는 블럭과 실질적으로 동일한 것을 특징으로 하는 특징점 기반 움직임 보상을 이용한 비디오 신호 부호화에서의 움직임 영역 설정방법.
7. 제6항에 있어서, 상기 특징점 기반 움직임 추정/보상을 위한 분할 블럭의 크기는 16×16인 거을 특징으로 하는 특징점 기반 움직임 보상을 이용한 비디오 신호 부호화에서의 움직임 영역 설정방법.
8. 특징점 기반 움직임 추정을 이용하여 비디오 신호의 현재 프레임과 이전 프레임간의 움직임벡터를 검출함으로서 비디오 신호의 움직임 보상을 위한 움직임 영역을 설정하는 장치에 있어서, 부호화하고자 하는 입력 현재 프레임과 재구성된 이전 프레임간의 대응하는 블럭들에서의 각 화소들간의 차신호를 산출하는 감산수단(1821); 상기 산출된 각 화소들간의 각 차신호와 기설정된 역치값에 의거하여 프레임에서 이동 물체를 포함하는 움직임 영역을 검출하는 비교수단(1822); 상기 이동 물체를 포함하는 움직임 영역이 검출된 상기 프레임을 저장하는 프레임 메모리(1823); 상기 프레임 메모리에 저장된 상기 이동 물체를 포함하는 움직임 영역에서 각 화소와 그에 인접하는 다른 화소들간의 관계를 이용하여 스폿 노이즈를 제거하는 수단(SW2, 1824, SW1); 상기 스폿 노이즈가 제거된 프레임의 움직임 영역내의 각 화소들에 대하여 화소단위로 이동 물체를 포함하는 움직임 영역과 이동 물체를 포함하지 않는 움직임 영역간의 구별이 가능한 0 또는 1의 정수값으로 각각 대체하여 상기 프레임을 소정 크기의 복수의 블럭들로 분할하는 수단(1825, 1826); 및 상기 정수값들을 각각 갖는 상기 분할된 각 블럭들을 블럭단위로 이동 물체를 포함하는 영역과 이동 물체를 포함하지 않는 영역간의 구별이 가능한 0 또는 1의 다른 정수값으로 각각 대체하여 움직임 영역정보를 생성하는 수단(1827, 1828)을 포함하며, 상기 현재 프레임과 상기 재구성된 이전 프레임간의 상기 특징점 기반 움직임 추정/보상은 상기 생성된 움직임 영역정보에 의하여 수행되며, 상기 움직임 영역정보는 가변길이 부호화되어 수신측에 전송되는 것을 특징으로 하는 특징점 기반 움직임 보상을 이용한 비디오 신호 부호화에서의 움직임 영역 설정장치.
9. 제8항에 있어서, 상기 스폿 노이즈의 제거는 하나의 프레임을 단위로 하여 각 화소단위로 반복 수행되는 것을 특징으로 하는 특징점 기반 움직임 보상을 이용한 비디오 신호 부호화에서의 움직임 영역 설정장치.
10. 제8항 또는 제9항에 있어서, 상기 분할된 블럭의 크기는 상기 특징점 기반 움직임 추정/보상을 위해 분할되는 블럭과 실질적으로 동일한 것을 특징으로 하는 특징점 기반 움직임 보상을 이용한 비디오 신호 부호화에서의 움직임 영역 설정장치.
11. 제10항에 있어서, 상기 특징점 기반 움직임 추정/보상을 위한 분할 블럭의 크기는 16×16인 것을 특징으로 하는 특징점 기반 움직임 보상을 이용한 비디오 신호 부호화에서의 움직임 영역 설정장치.