KR100553893B1

KR100553893B1 - 타임 시프트와 움직임 보상을 이용한 프레임 레이트 변환장치 및 그 방법

Info

Publication number: KR100553893B1
Application number: KR1020030071431A
Authority: KR
Inventors: 하태현
Original assignee: 삼성전자주식회사
Priority date: 2003-10-14
Filing date: 2003-10-14
Publication date: 2006-02-24
Anticipated expiration: 2023-10-14
Also published as: KR20050035704A; JP2005124201A; US7295245B2; US20050078212A1

Abstract

타임 시프트와 움직임 보상을 이용한 프레임 레이트 변환 장치 및 그 방법이 개시되어 있다. 본 발명은 연속적으로 입력되는 소정개수의 프레임들중 인접한 두 프레임사이마다 평균 움직임 벡터의 크기를 계산하는 과정, 상기 두 프레임사이마다 계산된 평균 움직임 벡터의 크기들중 최대값에 해당하는 프레임 구간을 결정하는 과정, 상기 최대 움직임 벡터를 갖는 상기 프레임 구간에서 소정 비율의 움직임 보상에 의해 새로운 프레임을 보간하는 과정을 포함한다.

Description

타임 시프트와 움직임 보상을 이용한 프레임 레이트 변환 장치 및 그 방법{Method and apparatus for converting frame rate using time shifting and motion compensation}

도 1은 24프레임 율의 디지탈 영상 신호를 30프레임 율의 디지털 영상 신호로 변환하는 프레임 레이트 변환 방법을 도시한 것이다.

도 2는 본 발명에 따른 프레임 레이트 변환 장치의 블록도이다.

도 3은 본 발명에 따른 프레임 레이트 변환 방법을 보이는 흐름도이다.

도 4a -도 4c는 도 3의 흐름도를 설명하기 위한 개념도이다.

본 발명은 영상 신호 변환 장치 및 그 방법에 관한 것으로서, 특히 타임 시프트와 움직임 보상을 이용한 프레임 레이트 변환 장치 및 그 방법에 관한 것이다.

통상적으로 프레임(frame)은 한 영상화면을 말하며, 픽셀(Pixel)이라는 최소 화소로 구성된다. 프레임을 구성하는 픽셀의 수에 따라 해상도가 결정된다. 최대 해상도가 1920 X 1080인 프레임은 가로 1,920개의 픽셀과 세로 1,080개의 픽셀로 구성된다. 프레임 레이트(frame rate)란 초당 전송하는 프레임의 개수이다. 텔레비 전 신호 등의 영상신호를 전송할 때 인간의 시각 특성을 바탕으로 1초당 적당한 개수의 프레임을 전송한다.

영화 상영용으로 제작된 필름 영상 신호는 대부분 초당 24fps(frame per second)로 구성되어 있다. 그러나 NTSC규격의 영상 신호는 초당 30fps(frame per second)로 구성된다. 따라서 필름 영상 신호는 NTSC규격의 포맷에 적용하기 위해 30프레임(또는 60 필드/초)으로 확장되어야한다.

도 1은 종래의 24프레임 율의 디지탈 영상 신호를 30프레임 율의 디지털 영상 신호로 변환하는 프레임 레이트 변환 방법을 도시한 것이다.

도 1을 참조하면, 입력되는 24개 프레임들(F1, F2, F3, F4....F24)은 탑 필드(Top field)(f1)와 바텀 필드(bottom field)(f2)로 분리된다. 이때 입력되는 24개 프레임들은 분리된 탑 필드(f1)와 바텀 필드(f2)를 이용하여 새로운 프레임들(F1, F2, F3', F4'....F30)을 생성한다. 즉, 상관 관계가 가장 높은 프레임(F2)의 탑 필드(f1)와 프레임(F3)의 바텀 필드(f2)로 부터 새로운 프레임(F3')을 생성하고, 프레임(F3)의 탑 필드(f1)와 다음 프레임(F4)의 바텀 필드(f2)로부터 새로운 프레임(F4')을 생성한다.

이와 같이 상관 관계가 높은 인접한 프레임으로부터 새로운 프레임을 형성시키게 됨을 반복하게 되면, 24개의 프레임이 30개의 프레임으로 변환된다.

이와 같이 서로 엇갈린 형태의 필드 반복을 통하여 프레임 레이트를 변환시키는 종래 프레임 율 변환 방법은 단순히 필드 반복으로 인하여 화면에 불연속성(통상적으로 움직임 저더(Judder) 현상으로 불림)을 발생시킨다. 예를 들어 화면의 좌에서 우로 날아가는 물체가 있다면, 불연속적인 부분으로 인해 움직임 화면이 부자유스럽게된다.

본 발명이 이루고자하는 기술적 과제는 타임 시프트와 움직임 보상을 이용하여 프레임 레이트를 변환시킴으로써 프레임의 단순 복사에 의한 움직임 저더(Judder)현상을 최소화하는 프레임 레이트 변환 장치 및 그 방법에 관한 것이다.

상기의 기술적 과제를 해결하기 위하여, 본 발명의 프레임 레이트 변환 방법은,

(a) 연속적으로 입력되는 소정개수의 프레임들중 인접한 두 프레임사이마다 평균 움직임 벡터의 크기를 계산하는 과정;

(b) 상기 두 프레임사이마다 계산된 평균 움직임 벡터의 크기들중 최대값에 해당하는 프레임 구간을 결정하는 과정;

(c) 상기 최대 움직임 벡터를 갖는 상기 프레임 구간에서 소정 비율의 움직임 보상에 의해 새로운 프레임을 보간하는 과정을 포함하는 것을 특징으로 한다.

상기의 다른 기술적 과제를 해결하기 위하여, 본 발명의 프레임 레이트 변환 장치는,

입력되는 비디오 스트림을 소정개수의 프레임 단위로 저장하는 프레임 버퍼;

상기 프레임 버퍼에 저장된 연속하는 프레임사이 마다 평균 움직임 벡터의 크기를 측정하고, 그 평균 움직임 벡터들중 최대 움직임 벡터를 갖는 구간을 결정 하는 최대움직임벡터결정부;

상기 최대움직임벡터결정부에서 결정된 최대 움직임 벡터를 갖는 프레임 구간에 소정의 움직임 보상비율을 바탕으로 새로운 프레임으로 보간하는 프레임 보간부;

상기 최대움직임벡터결정부에서 결정된 최대움직임 벡터 구간 정보를 참조하여 상기 프레임 보간부에서 보간된 프레임과 프레임 버퍼에 저장된 프레임들을 순차적으로 재결합하는 타이밍 제어 신호를 발생하는 타이밍제어부를 포함하는 것을 특징으로 한다.

이하 첨부된 도면을 참조로하여 본 발명의 바람직한 실시예를 설명하기로 한다.

도 2를 참조하면, 제1프레임 버퍼(210)는 24 fps(frame per second)로 입력되는 비디오 스트림을 5 프레임 단위(a0, a1, a2, a3, a4)로 저장한다.

최대움직임 결정부(220)는 MV계산부(222), 최대MV선택부(226)를 구비하여 제1프레임 버퍼(210)에 저장된 두 프레임사이 마다 평균 움직임 벡터의 크기를 측정하여 최대 움직임 벡터를 갖는 프레임 구간 정보를 결정한다. 즉, 움직임 벡터계산부(222)는 5개의 프레임들중 인접한 프레임사이마다 평균 움직임 벡터의 크기를 계산한다. 최대움직임 구간선택부(226)는 인접한 프레임사이마다 계산된 평균 움직임 벡터의 크기를 비교하여 최대 움직임 벡터를 갖는 프레임 구간 정보를 선택한 다.

프레임 보간부(230)는 최대벡터 구간결정부(220)에서 결정된 최대 움직임 벡터를 갖는 프레임 구간 정보를 바탕으로 제1프레임버퍼(210)에서 입력되는 프레임들 사이에 소정의 움직임 보상비율을 적용한 새로운 프레임으로 보간한다. 예컨대, 프레임(a1) 및 프레임(a2) 사이에서 최대 움직임 벡터를 갖는다고 가정하면, 프레임 보간부(230)는 프레임(a1)에서 프레임(a2)으로 향하는 움직임 벡터의 1/2만큼 움직임 보상한 프레임과 프레임(a2)에서 프레임(a1)으로 향하는 움직임 벡터의 1/2만큼 움직임 보상한 프레임을 합성한다. 이때 합성된 프레임은 프레임(b1)과 프레임(b3)사이에서 새로운 프레임으로 삽입된다.

스위치부(240)는 프레임 보간부(230)에서 생성된 새로운 프레임과 제1프레임버퍼(210)에서 입력되는 5개의 프레임들을 타이밍 제어 신호에 따라 순차적으로 재결합한다.

제2프레임버퍼(250)는 스위치부(240)에서 재결합된 프레임들(b0, b1, b2, b3, b4, b5)을 타이밍 제어 신호에 따라 다시 타이밍을 조정하여 다시 저장한다.

타이밍 제어부(260)는 최대움직임 결정부(220)에서 출력되는 최대움직임 구간 정보를 참조하여 제1프레임 버퍼(210) 및 프레임 보간부(230)에서 출력되는 프레임들을 스위치부(240)에서 순차적으로 결합하도록 타이밍 제어 신호를 발생하며, 제2프레임 버퍼(250)에 저장된 프레임들(b0 - b5)을 30 fps로 출력되도록 하는 타이밍 제어 신호를 발생한다. 이때 타이밍 제어부(260)는 제2프레임 버퍼(250)에 저장된 프레임들(b0 - b5)을 일정한 간격으로 출력되도록 타임 시프팅(time- shifting)을 수행한다.

먼저, 24 fps(frame per second)로 입력되는 비디오 스트림을 5 프레임 단위(a0, a1, a2, a3, a4)로 저장한다(310 과정).

이어서, 연속적으로 입력되는 5개 프레임들중 인접한 두 프레임에 대한 평균 움직임 벡터 크기를 계산한다(320 과정). 예컨대, 도 4a에 도시된 바와 같이 프레임(a0) 와 프레임(a1)사이에 평균 움직임 벡터 크기를 MV1이라 하고, 프레임(a1) 와 프레임(a2)사이에 평균 움직임 벡터 크기를 MV2이라 하고, 프레임(a2) 와 프레임(a3)사이에 평균 움직임 벡터 크기를 MV3이라 하고, 프레임(a3) 와 프레임(a4)사이에 평균 움직임 벡터 크기를 MV4이라 한다.

이어서, 인접한 두 프레임에 대한 평균 움직임 벡터 크기를 MV1~MV4라 할 때, 수학식 1과 같이 최대값을 갖는 구간을 찾아내고 그 구간을 MV라 한다(330 과정).

MV = Max(MV1, MV2, MV3, MV4)

이어서, 평균 움직임 벡터가 최대인 프레임 구간에 움직임 보상을 적용하여 새로운 프레임을 보간한다(340 과정). 도 4b를 참조하여 프레임 보간 과정을 더 상세하게 설명한다. 먼저, 최대값을 갖는 구간을 MV2라 하면, 새로운 프레임들(b0, b1, b3, b4, b5)은 기존의 프레임(a0, a1, a2, a3, a4)을 단순 복사하여 생성된다. 그리고 새로운 프레임(b2)은 기존의 프레임(a1 및 a2)을 일정 비율의 움직임 보상 을 적용하여 생성된다. 즉, 프레임(a1)를 프레임(a2)으로 향하는 움직임 벡터 크기의 1/2만큼 움직임 보상한 프레임과 프레임(a2)를 프레임(a1)으로 향하는 움직임 벡터 크기의 1/2만큼 움직임 보상한 프레임을 합성한다. 이때 합성된 프레임을 프레임(b1)과 프레임(b3)사이에 새로운 프레임(b2)으로 삽입된다.

이때 새로이 생성된 프레임들(b0-b5)은 도 4c에 도시된 바와 같이 시간적으로 그 간격이 일정하지 못하다.

따라서, 프레임(b0, b5)은 그대로 복사하고 나머지 프레임(b1-b4)은 타임 시프팅 작업을 수행하여 재배열된 프레임들(c0, c1, c2, c3, c4, c5)을 형성한다(350 과정). 예컨대 도 4(c)에 도시된바와 같이 프레임들(b1, b2, b3, b4)을 화살표 방향으로 일정시간 딜레이시키거나 앞당겨서 서로 간격을 일정하게 한다.

결국, 24 fps(frame per second)로 입력되는 비디오 스트림은 타임 시프팅과 움직임 보상을 적용하여 30 fps(frame per second)로 변환된다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드디스크, 플로피디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

본 발명은 상술한 실시예에 한정되지 않으며, 본 발명의 사상내에서 당업자에 의한 변형이 가능함은 물론이다.

상술한 바와 같이 본 발명에 의하면, 움직임 보상을 최소로 사용함으로써 움직임 보상에 의한 아티팩트(artifact)를 감소시키고, 움직임 속도(MV)가 최대인 구간에서 움직임 보상에 의해 새로운 프레임을 보간함으로써 시각적인 움직임 저더(Motion Judder)를 감소시켰다.

Claims

프레임 레이트 변환 방법에 있어서,

(a) 연속적으로 입력되는 소정개수의 프레임들중 인접한 두 프레임사이마다 평균 움직임 벡터의 크기를 계산하는 과정;

(b) 상기 두 프레임사이마다 계산된 평균 움직임 벡터의 크기들중 최대값에 해당하는 프레임 구간을 결정하는 과정;

(c) 상기 평균 움직임 벡터가 최대인 프레임 구간에서 소정 비율의 움직임 보상에 의해 새로운 프레임으로 보간하는 과정을 포함하는 프레임 레이트 변환 방법.
제1항에 있어서, 상기 프레임을 일정 시간 간격으로 타임 시프트하는 과정을 더 포함하는 것을 특징으로 하는 프레임 레이트 변환 방법.
제1항에 있어서, 상기 (c) 과정은

(c-1) 제1프레임과 제2프레임사이의 움직임 벡터를 계산하는 과정;

(c-2) 상기 제1프레임을 제2프레임으로 향하는 움직임 벡터 크기의 1/2만큼 움직임 보상한 프레임과 상기 제2프레임을 제1프레임으로 향하는 움직임 벡터크기의 1/2만큼 움직임 보상한 프레임을 합성하는 과정을 포함하는 것을 특징으로 하는 프레임 레이트 변환 방법.
프레임 레이트 변환 장치에 있어서,

입력되는 비디오 스트림을 소정개수의 프레임 단위로 저장하는 프레임 버퍼;

상기 프레임 버퍼에 저장된 연속하는 프레임사이 마다 평균 움직임 벡터의 크기를 측정하고, 그 평균 움직임 벡터들중 최대 움직임 벡터를 갖는 구간을 결정하는 최대움직임벡터결정부;

상기 최대움직임벡터결정부에서 결정된 최대 움직임 벡터를 갖는 프레임 구간에서 소정의 움직임 보상비율을 바탕으로 새로운 프레임으로 보간하는 프레임 보간부;

상기 최대움직임벡터결정부에서 결정된 최대움직임 벡터 구간 정보를 참조하여 상기 프레임 보간부에서 보간된 프레임과 프레임 버퍼에 저장된 프레임들을 순차적으로 재결합하는 타이밍 제어 신호를 발생하는 타이밍제어부를 포함하는 프레임 레이트 변환 장치.
제4항에 있어서, 최대벡터구간결정부는

소정개수의 프레임들중 인접한 프레임사이마다 평균 움직임 벡터의 크기를 계산하는 움직임벡터계산부;

인접한 프레임사이마다 상기 움직임벡터계산부에서 계산된 평균 움직임 벡터의 크기를 비교하여 최대 움직임 벡터를 갖는 구간을 결정하는 최대 움직임 벡터 구간 선택부를 구비하는 것을 특징으로 하는 프레임 레이트 변환 장치.
제1항에 있어서, 상기 프레임 보간부는 상기 제1프레임을 제2프레임으로 향하는 움직임 벡터의 1/2만큼 움직임 보상한 프레임과 상기 제2프레임을 제1프레임으로 향하는 움직임 벡터의 1/2만큼 움직임 보상한 프레임을 합성하는 것임을 특징으로 프레임 레이트 변환 장치.
제1항에 있어서, 상기 타이밍 제어부에서 발생하는 타이밍 제어 신호에 따라 출력되는 프레임들을 순차적으로 저장하는 프레임 버퍼를 더 포함하는 것임을 특징으로 프레임 레이트 변환 장치.