KR930002614B1 - 비데오카메라용의 화상의 요동보정장치 - Google Patents

Abstract

내용 없음.

Description

비데오카메라용의 화상의 요동보정장치

제1도(a)는 본 발명에 있어서의 일실시예의 요동보정장치의 블록도.

제1도(b)는 제1도(a)의 적분기의 상세구성을 도시한 도면.

제2도는 동 실시예의 움직임벡터를 구하는 영역과 대표점의 위치를 도시한 도면.

제3도는 센터링특성의 일례를 도시한 도면.

제4도는 화상시프트량을 도시한 도면.

제5도는 본 발명의 다른 실시예의 요동보정장치의 블록도.

제6도(a)는 센터링특성의 다른 일례를 도시한 도면.

제6도(b)는 센터링특성의 제한을 도시한 도면.

제7도는 종래의 요동보정장치의 블록도.

제8도(a) 내지 (g)는 적분치의 차이분인 d(sv(n))의 응답특성의 변화요인을 설명하기 위한 도면.

* 도면의 주요부분에 대한 부호의 설명

13 : 대표점메모리 14 : 움직임벡터검출기

15 : 적분기 16 : 센터링제어기

17 : 메모리·보간기용 제어기 20 : 검출부

40 : 보정범위검출기 41 : 센터링제어기

50 : 가산기 51 : 레지스터

52 : 승산기 60 : 요동저감부

본 발명은, 비데오카메라의 요동에 의한 화상의 요동을 저감하는 신호처리장치에 관한 것이다.

비데오카메라의 요동에 의한 화상의 요동을 저감하는 방법으로서, 일본국 특개소 61-237581호에 기재된 방법이 있다. 제7도에, 이 블록도를 도시한다. 비데오카메라(101)로부터의 신호는, A/D변환기(102)에 의해 디지탈신호로 변환하고, 프레임메모리(105)와 상관기(相關器)(103)를 사용하 프레임화상단위로 움직임벡터를 구한다. 이 움직임벡터를 사용하여, 보정신호발생기(104)에 의해서 화상을 판독출력(이하 "독출"이라 칭함)하는 영역을 결정한다. 이 영역결정방법은, 움직임벡터를 적분해서 구한 화상의 이동량과, 이 이동량을 평활화한 기준선의 차로부터 구한다. 이상의 방법을 사용하여 영역을 결정하고, 프레임메모리로부터 화상신호를 독출하여, 보정기(106)에 의해서 결정된 영역에 대응한 화상을 출력함으로써 화상의 요동을 저감한다.

그러나 이상의 방법으로서는, 움직임레버를 적분해서 구한 화상의 이동량을, 단순한 고역통과필터(HPF)에 의해서 이동량의 저역성분을 제거한 신호에 의해서, 화상의 요동을 저감하고 있는 것과 등가이다.

따라서, 입력된 화상의 요동이 저주파이고, 천천히 요동하고 있을 경우, 상기의 요동보정방법으로서는 요동의 보정이 곤란하게 된다. 특히 요동의 주파수가 낮은 경우, HPF를 통한 요동신호는 0이 되어, 요동의 보정은 전혀 행해지지 않는다고 하는 문제점을 가지고 있었다. 또, HPF의 차단주파수를 낮게 하였을 경우에는, 큰 보정범위가 필요하게 된다고 하는 문제점을 가지고 있었다. 본 발명은 이와 같은 점을 감안하여, 요동주파수가 낮은 경우에 있어서도 요동의 보정이 충분히 행해지고, 또 물리적으로는 보정범위가 좁더라도, 큰 요동에 대해서 자동적으로 요동의 주파수가 낮은 부분을 감쇠시켜, 제한된 보정범위를 초월하지 않도록, 실효적으로 충분한 보정범위가 요동보정장치를 제공하는 것을 목적으로 한다.

본 발명은 입력된 신호에 대응한 움직임벡터를 구하는 움직임벡터검출기와, 얻게된 벡터를 적분하는 적분기와, 이 적분된 값을 일정한 규칙에 따라서 변환하는 센터링제어기와, 적분기의 출력에 따라서 메모리나 보간기를 제어하는 메모리간기통제어기를 구비한 요동보정장치이다.

본 발명은 상기한 구성에 의해서, 요동주파수가 낮은 경우에 있어서도 움직임벡터의 적분치가 작은 경우에는, 센터링제어기의 작동에 의해서, 충분한 보정을 행할 수 있도록 하고, 또 요동의 진폭이 큰 경우에는 실효적으로 충분한 보정범위를 취하도록 한 것이다.

이하, 첨부도면을 참조하면서 본 발명의 바람직한 실시예에 대해 상세히 설명한다.

제1도(a)는 본 발명의 제1실시예에 있어서의 요동보정장치의 블록도를 도시한 것이다. 제1도(a)에 있어서, (11)은 비데오신호를 출력하는 비데오카메라, (12)는 애널로그신호를 디지탈신호로 변환하는 A/D변환기, (13)은 입력된 신호의 정해진 점의 데이터를 기록하는 대표점메모리, (14)는 입력된 신호와 대표점메모리의 신호에 의해 움직임벡터를 검출하는 움직임벡터검출기, (15)는 검출된 움직임벡터를 적분하는 적분기,(16)은 적분기의 출력치에 따라서 적분치를 변환하는 센터링제어기, (17)은 적분기의 출력에 의해서 프레임메모리(18)의 독출어드레스의 제어를 행하여, 1화소 이상의 화상의 요동을 저감하고, 보간기(1)에 의해 1화소 이하의 화상의 요동을 저감하는 제어를 행하여, 요동을 보정한 영상신호를 출력시키도록 하기 위한 메모리보간용 제어기이며, (20)은 화상의 움직임을 검출하는 검출부이며, (60)은 화상의 요동을 저감하는 요동저 감부이다.

이상과 같이 구성된 본 실시예의 요동보정장치에 대해서, 이하 그 동작을 설명한다.

A/D변환기(12)는 입력된 영상신호를 디지탈신호로 변환해서, 대표점메모리(13), 프레임메모리(18) 및 움직임벡터검출기(14)에 입력한다. 영상신호에 있어서의 대표점의 위치의 일례를 제2도에 도시한다. 동도면에 있어서 (22)는 영상신호가 나타내는 1필드의 크기를 표시하고, (21)은 그 필드의 대표점의 위치를 표시한 점이다. 디지탈신호로 변환된 영상신호는, 필드단위로 프레임메모리(18)에 기록한다. 동시에 제2도에 표시한 위치의 신호를 대표점메모리(13)에 기록한다. 움직임벡터검출기(14)에서는, 대표점메모리로부터의 1필드전의 신호 SP(x,y), A/D변환기로부터의 신호 IS(x+I, y+J)를 다음식에서 나타내는 방식으로 연산하여 M(I, J)의 최소치의 (I, J)를 움직임벡터로 한다. 여기서 x, y 및 I, J는 1매의 화상의 가로 및 세로방향의 위치를 표시한 좌표이다. 이상과 같이 해서 대표점 메모리(13)와 움직임벡터검출기(14)에 의해 검출부(30)를 구성한다.

대표점은 제2도의 (23) 내지 (26)으로 표시한 바와 같이 4개의 영역으로 분할하고 있기 때문에, 움직임벡터는 영역별로 구할 수 있으나, 여기에서는 4개의 구해진 벡터의 중간치를 필드간의 영상신호의 움직임(요동)으로 한다.

이상과 같이 해서 구한 요동은 단지 1필드간의 것이므로, 이것을 적분기(15)에 의해서 적분하여, 연속된 요동을 구한다. 그러나 단순한 적분에 의해서는 적분기(15)의 출력이 큰 값이 되고, 프레임메모리(18)의 시프트범위를 초과하기 때문에, 센터링제어기(16)에 의해서 적분치의 제어를 행한다.

적분기(15)의 구성을 제1도(b)에 도시한다. (50)은 가산기, (51)은 래치로 구성된 레지스터, (52)는 승산기이다. 적분결과는 레지스터(51)에 축적된다. 다음에 구하게된 1필드간의 움직임벡터는 가산기(50)에 입력하고, 레지스터(51)에 축적되어 있는 적분결과에 감쇠정수(0∼1)를 곱한 갑과 가산하여 다음 적분결과로 한다. 적분결과의 절대치가, 정해진 레벨보다 커진 경우, 후술하는 센터링제어기(16)의 특성을 따라, 센터링제어기(16)의 출력인 감쇠정수(=1-센터링량)를 적게 하여, 적분결과가 증가하는 것을 제어한다. 적분(레지스터(51)의 값이 갱신)은 영상신호의 프레임레이트(60회/1초)로 행하므로, 감쇠정수가 0. 99(센터링량=0.01)이고 움직임벡터가 0일 경우, 1초 후에는 적분결과는 거의 1/2로 된다. 이와 같이 해서, 감쇠정수(=1-센터링량)를 제어함으로써, 적분기(15)의 적분결과(적분치)를 제어한다. 적분결과는 화상의 요동을 상쇄시키기 위한 것으로서, 후술하는 화상의 요동조건에 따라서 적분결과를 제어하는 것이 중요하다. 감쇠정수에 대해서는 후술하는 센터링제어에 의해서 구한다.

이와 같이 해서 요동에 따라서 프레임메모리(18)에 기록되어 있는 화상을, 좌우상하로 시프트해서 요동성분을 없애는 보정을 행한다. 이 시프트하는 크기를 이하 화상의 시프트량이라 부른다.

센터링제어기(16)의 제어의 일례를 제3도에 도시한다. 동도면에 있어서 가로축은 화상의 시프트량이다. 이것은 프레임메모리(18)에서 좌우상하로 시프트할 수 있는 범위에 상당하고, 이것을 제4도에 도시한다. 동도면에 있어서, (30)은 입력되는 화상전체의 크기를 표시하고, (31)은 화상시프트량이 0%인 화상 출력범위를 표시한 것이다. 화상시프트량이 0%인 상태는 입력화상의 중앙을 출력하는 것에 상당한다. 또, (33)은화상시프트량이 100%인 상태의 일례이며, 화상시프트량이 100%인 상태는 입력화상의 4모서리 부분중 하나를 출력하는 것에 상당한다. 제3도에 도시한 세로축의 센터링량은, 1필드사이에 적분치(적분기(15)의 출력)를 얼마만큼 감쇠시키는지를 표시한 값이다. 센터링량이 1%일때는 적분치를 1필드마다 1%씩 감쇠시켜, 1초간에 있어서는 대략 55%로 감쇠시키게 된다.

센터링량은, 적분기(15)의 감쇠정수에 대응하여, 센터링량이 1%일때에 감쇠정수는 99%이며, 이는 다음과 같은 관계가 있다.

센터링량(%) + 감쇠정수(%) = 100

센터링량을 크게 하면 감쇠수가 100%에서 부터 저하한다. 제1도(b)에 도시한 적분기의 구성에 의해서, 센터링량이 0이 아닌 경우 화상의 시프트량을 표시하는 적분결과가 서서히 작게 되어, 화상의 요동이 없을 경우, 최종적으로 화상시프트량이 0이 되어, 입력화상의 중앙부분이 출력된다. 센터링량이 작을 때에는 낮은 주파수성분까지 정확한 보정을 행할 수 있는 특성이 되고, 또 센터링량이 클 때에는 보정범위를 넓게하는 특성으로 할 수 있다. 그리고, 이 센터링량을 화상시프트량에 의해서 가변하여 제어를 행한다. 제3도의 예에서는 센터링량은, 화상시프트량 50%까지 0.25%로 일정하고, 화상시프트량이 그 이상이되면 서서히 저하해서, 화상시프트량이 100%에서는 센터링량을 3%까지 저하시킨다.

이와 같이 제어함으로써 화상시프트량이 작은 범위(요동이 적고 대략 중앙에 집중하고 있는 경우)에서는, 센터링량을 충분히 작게 해서 낮은 주파수성분을 함유한 요동에 대해서도 요동의 보정을 정확히 행한다. 또, 화상시프트량이 큰 경우(요동량이 많고 요동이 중앙에서부터 어긋나 있는 경우)에는, 센터링량을 크게해서 충분한 보정범위를 확보하도록 한다.

이상과 같이 본 실시예에 의하면, 센터링제어기에 의해 적분기의 특성을 제어함으로써, 물리적으로는 작은 보정범위에서도, 조건에 따라서 낮은 주파수성분을 함유한 작은 요동에 대해서 정확한 보정과, 큰 요동에 대해서는 충분한 보정범위를 가진 보정을 실현하는 일이 가능하게 된다.

제5도는 본 발명의 제2실시예를 도시한 요동보정장치의 블록도이다. 동도면에 있어서, (11)은 비데오신호를 출력하는 비데오카메라, (12)는 애널로그신호를 디지탈신호로 변환하는 A/D변환기, (13)은 입력된 신호의 정해진 점에 있는 데이터를 기록하는 대표점메모리, (14)는 입력된 신호와 대표점메모리의 신호에 의해서 움직임벡터를 검출하는 움직임벡터검출기, (15)는 검출된 움직임벡터를 적분하는 적분기, (17)은 적분기의 출력에 의해서 프레임메모리(18)와 보간기(19)를 제어해서 요동을 보정한 영상신호를 출력시키도록하는 메모리·보간기용 제어기로서, 이상은 제1도의 구성과 동일한 것이다. 제1도의 구성과 다른 점은, 보정범위검출기(40)를 설치하여, 적분기(15)의 출력에 따라서 센터링제어기(41)의 특성을 제어하는 점에 있다.

상기와 같이 구성된 제2실시예의 요동보정장치에 대해서, 이하 그 동작을 설명한다. 움직임벡터를 적분하기까지의 동작과 프레임메모리의 제어에 대해서는, 제1실시예와 동일하므로 그 설명은 생략한다. 적분기(15)로 구한 적분량(화상 시프트량)은 센터리제어기(41)에 입력함과 동시에 보정범위검출기(40)에 입력한다. 보정범위검출기(40)는 화상시프트량을 시간평균하여, 입력된 화상신호의 요동이 큰지 작은지의 판단을행한다. 화상시프트량의 시간평균이 큰 경우에는 요동이 큰 경우이며, 화상시프트량의 시간평균이 작을 때에는 요동이 작다고 판단한다. 이와 같이 해서 보정범위검출기(40)로 구한 요동량에 의해서, 센터링제어기(41)의 특성을 제어한다. 센터링제어기(41)는 요동량에 의해서 제어함과 동시에, 제1실시예와 마찬가지로 입력되는 적분기(15)의 화상시프트량에 의해서도 제어된다. 센터링제어기(41)의 제어특성을 제6도(a)에 도시한다.

동도면에 있어서, 세로축은 센터링량이며, 가로축은 화상시프트량이다. (42)는 요동량이 작을 때의 특성이고, (43)은 요동량이 중간정도일 때의 특성이고, (44)는 요동량이 클 때의 특성을 표시한 것이다. 요동량이 커지게 되면, 화상시프트량이 작은 영역이라도 센터링량을 크게 하고, 또, 화상시프트량이 큰 범위에서는, 또 센터링량을 크게 해서 요동량이 큰 상태에 대응한다. 이와 같이 센터링제어기(41)의 특성을 제어함으로서, 화상시프트량의 변화에 의한 센터링량의 제어만으로는, 대응할 수 없는 큰 요동에 대해서도, 충분한 보정범위의 여유를 가지고 요동의 보정을 행할 수 있도록 한다. 제6도(a)에 도시한 특성은 하나의 예이며, 화상시프트량이 작은 범위의 요동의 저주파성분의 보정을 중시할 경우에는, (45)에 표시한 특성으로서 화상시프트량이 작은 범위의 센터링량을 작은 값으로 하고, 반대로 화상시프트량이 큰 범위에서는 센터링량을 더욱 크게 할 수도 있다. 또 화상시프트량이 큰 범위에서의 보정을 중요시할 경우에는 (46)에 표시한 특성으로 하고, 화상시프트량이 작은 범위에서부터 센터링량을 크게 해서, 화상시프트량이 큰 범위에서도 센터링량이 급격하게 커지지 않도록 한다. 이와 같이 요동이 큰 영역에 있어서도, 필요한 특성을 실현하는 일이 가능하게 된다.

또 센터링량에는 다음과 같은 관계가 있다. n필드에 있어서 적분기(15)에 의해 적분한 벡터(적분치)를 sv(n), 적분기에 입력되는 벡터를 v(n), 감쇠정수를 K{sv(n)}, 센터링량을 A{sv(n)}이라고 한다면, 다음과 같은 관계가 있다.

또,

의 관계로부터 이하와 같이 변형시킬 수 있다.

여기에서 좌변은 적분 벡터 sv의 차이분이므로 d(sv(n))으로 하고, 또 양변을 미분하면,

으로된다.

카메라가 일정속도로 패닝(panning)하고 있는 것으로 하면, 적분기의 입력 벡터 v(n)의 미분 d(v(n))은 0이며, 좌변을 d(sv(n))으로 묶으면, 이하와 같이 된다.

여기에서 밑줄그은 부분의 값을 α로 하면, 이 α의 크기에 의해 d(sv(n))의 응답특성이 변화한다. 제8도의 (a)∼(g)에 표시한 바와 같이 0〈α

1의 범위에서 d(sv(n))은 진동하지 않고 수속한다. 식에서는

또

이미, 여기에서 감쇠정수 A와 센터링량 K의 관계(A=1-K)로부터

또

로 된다.

이 미분방정식을 초기조건 sv=sv max일때 K=K min으로 풀면

이 된다. 이 관계를 제6도(b)에 표시한다. 사선으로 표시한 범위가 진동 즉 요동이 없는 조건이며, 제6도(a)의 특성도 이 조건을 만족시키도록 설정한다.

이상과 같이, 본 실시예에 의하면 보정범위검출기를 설치하며, 요동량과 화상시프트량에 따라서 센터링량을 제어함으로서, 요동이 대단히 큰 경우에 있어서도, 충분한 보정범위의 여유를 가지고 요동의 보정을 행할 수 있도록 할 수 있다.

또한 제1실시예에 있어서 화상시프트량과, 센터링량의 관계를 제3도의 (28)로 표시하였으나, 이 특성에 한정할 필요는 없으며, 에를들면 (27)로 표시한 바와 같은 유사한 특성이라도 전체적인 요동보정의 성능에 큰 차이가 없고, 화상시프트량이 증가하는데 따라서 센터링량이 증가하는 특성이라면, 본 발명의 목적을 달성할 수 있는 것이다. 또 이 특성에 대해서는, 제2실시예에 대해서도 마찬가지로, 제6도(a)의 특성에 한정할 필요는 없다.

또, 제2실시예에 있어서 보정범위검출기의 특성을 화상시프트량의 평균치를 취하는 것으로 하였으나, 피크치를 취하는 특성이라도 되고, 또 그 중간 특성이어도 되며, 평균치를 취하는 특성에 한정할 필요는 없다.

또, 본 발명의 실시예에서는 화상의 요동을 신호처리를 사용하여 구하는 방법을 표시하였으나, 이 방법에 한정할 필요는 없으며, 비데오카메라에 내장할 경우는 센서에 의해 요동을 검출해도 되는 것은 명백하다.

또한, 본 발명은, 마이크로컴퓨터를 사용하여 소프트웨어에 의해서 각 기능을 실현해도 되는 것은 말할 것도 없다.

이상 설명한 바와 같이, 본 발명에 의하면, 요동의 주파수가 낮은 경우에 있어서도 움직임벡터의 적분치가 작은 경우에는, 센터링제어의 작용에 의해서, 충분한 보정을 행할 수 있도록 하고, 또 요동의 진폭이 큰 경우에는 실효적으로 충분한 보정범위를 취할 수 있게 되어, 그 실용적 효과는 크다.

Claims (2)

1. 입력된 화상신호의 각 필드 또는 프레임사이에서 움직임을 구하는 검출부(20)와, 상기 검출부에 의해 얻어진 움직임을 적분하는 적분기(15)와, 상기 적분기의 출력에 대응해서 상기 적분기의 출력인 적분치를 감쇠시키는 제어를 하는 센터링제어기(16)와, 입력된 화상의 요동을 표시하는 상기 적분치를 이용해서 입력된 화상의 요동을 저감하는 요동저감부(60)를 제어하는 메모리·보간기용 제어기(17)를 구비하고, 상기 센터링제어기는 상기 적분치가 클때 상기 적분치의 감쇠를 크게 하는 특성을 지닌 것을 특징으로 하는 비데오카메라용의 화상의 요동보정장치.
2. 제1항에 있어서, 상기 적분기(15)의 출력으로부터 평균적인 움직임량을 구하는 보정범위검출기(40)를 구비하고, 상기 보정범위검출기의 출력이 크고 평균적인 움직임량이 큰 경우에는 상기 센터링제어기(41)의 특성을 제어하고, 상기 적분치의 감쇠를 보다 많게 하는 것은 특징으로 하는 비데오카메리용의 화상의 요동보정장치.

Images