KR101487685B1

KR101487685B1 - 이미지 처리장치, 이미지 처리방법 및 처리방법을 실행시키기 위한 프로그램을 저장한 기록매체

Info

Publication number: KR101487685B1
Application number: KR20080116370A
Authority: KR
Inventors: 장순근; 안은선
Original assignee: 삼성전자주식회사
Priority date: 2008-11-21
Filing date: 2008-11-21
Publication date: 2015-01-29
Anticipated expiration: 2028-11-21
Also published as: US8538073B2; US20100128929A1; KR20100057360A

Abstract

본 발명은 동영상에서 신속하면서도 정확하게 특정 피사체의 위치를 추적할 수 있는 이미지 처리장치, 이미지 처리방법 및 처리방법을 실행시키기 위한 프로그램을 저장한 기록매체를 위하여, 복수개의 프레임이미지들에 있어서 설정된 영역의 위치변화를 추적하는 추적기능을 갖는 디지털 이미지 처리장치로서, 일 프레임이미지에서 템플레이트의 위치를 변화시키며 유사도를 계산하는 유사도 계산부를 구비하며, 상기 유사도 계산부는, 일 프레임이미지에서 제1방향에 있어서의 템플레이트의 제1방향위치를 고정한 채 상기 제1방향에 수직한 제2방향에 있어서의 상기 템플레이트의 제2방향위치를 변화시키며 제2방향유사도를 계산한 후, 제2방향유사도가 가장 높은 지점에서, 상기 템플레이트의 제2방향위치를 고정한 채 상기 일 프레임이미지에서 제1방향에 있어서의 상기 템플레이트의 제1방향위치를 변화시키며 제1방향유사도를 계산하는 것을 특징으로 하는 이미지 처리장치, 이미지 처리방법 및 처리방법을 실행시키기 위한 프로그램을 저장한 기록매체를 제공한다.

Description

이미지 처리장치, 이미지 처리방법 및 처리방법을 실행시키기 위한 프로그램을 저장한 기록매체{Image processing apparatus, method for processing image, and recording medium storing program to implement the method}

본 발명은 이미지 처리장치, 이미지 처리방법 및 처리방법을 실행시키기 위한 프로그램을 저장한 기록매체에 관한 것으로서, 더 상세하게는 동영상에서 신속하면서도 정확하게 특정 피사체의 위치를 추적할 수 있는 이미지 처리장치, 이미지 처리방법 및 처리방법을 실행시키기 위한 프로그램을 저장한 기록매체에 관한 것이다.

일반적으로 디지털 이미지 처리장치는 저장매체에 저장되어 있는 동영상 파일로부터의 데이터를 이용하여 디스플레이부에 동영상을 디스플레이하기도 하고, 디지털 이미지 처리장치의 일종인 디지털 촬영장치는 촬상소자에 입사하는 광으로부터의 데이터를 이용하여 디스플레이부에 동영상을 디스플레이하거나 동영상 파일을 저장매체에 저장하기도 한다.

이러한 디지털 이미지 촬영장치의 기능들 중 하나로서 동영상 내에서의 특정 피사체의 위치를 추적하는 추적기능을 들 수 있다. 이는 각 프레임이미지 내에서 프레임이미지의 사이즈보다 작은 사이즈의 템플레이트(기준 이미지)와 가장 유사한 부분을 추적영역으로 확정함으로써 이루어진다. 여기서 템플레이트는 추적 대상인 피사체의 전부 또는 그 일부가 포함된 이미지를 의미한다.

도 1은 종래의 디지털 이미지 처리장치의 추적방식을 개략적으로 도시하는 개념도이다. 도 1에 도시된 바와 같이, 일 프레임이미지(Im) 내에서 템플레이트(T)를 복수회에 걸쳐 해당 일 프레임이미지(Im)의 각 부분과 비교한다.

예컨대 해당 일 프레임이미지(Im)가 320X240의 크기를 가지며 템플레이트(T)는 80X60의 사이즈를 갖는다면, 해당 일 프레임이미지(Im)는 템플레이트(T)와 동일한 사이즈인 43621개(43621=241X181)개의 서브이미지들로 나눌 수 있으며, 이러한 서브이미지들 중 템플레이트(T)와 가장 유사한 것을 찾아, 해당 일 프레임이미지에서 그 가장 유사한 서브이미지에 해당하는 부분을 추적영역으로 확정하게 된다. 따라서 해당 일 프레임이미지(Im)가 320X240의 크기를 가지며 템플레이트(T)는 80X60의 사이즈를 갖는다면, 해당 일 프레임이미지(Im)에서의 추적영역을 확정하기 위해 템플레이트(T)와 서브이미지들 사이의 유사도 계산을 총 43621회 실시해야만 한다는 결과가 된다.

만일 1초에 30개의 프레임이미지들을 디스플레이한다면 한 개의 프레임이미지를 디스플레이부에 디스플레이하는 시간은 33msec이므로 33msec 내에 43621회의 유사도 계산을 실시해야만 한다. 따라서 이와 같은 많은 계산을 짧은 시간 내에 실시할 수 있도록 하기 위해서는 디지털 이미지 처리장치의 하드웨어 사양이 획기적으로 높아져야만 하는 바, 이는 제조비용의 증가 등의 문제점을 야기할 수밖에 없 다.

본 발명은 상기와 같은 문제점을 포함하여 여러 문제점들을 해결하기 위한 것으로서, 동영상에서 신속하면서도 정확하게 특정 피사체의 위치를 추적할 수 있는 이미지 처리장치, 이미지 처리방법 및 처리방법을 실행시키기 위한 프로그램을 저장한 기록매체를 제공하는 것을 목적으로 한다.

본 발명은 복수개의 프레임이미지들에 있어서 설정된 영역의 위치변화를 추적하는 추적기능을 갖는 디지털 이미지 처리장치로서, 일 프레임이미지에서 템플레이트의 위치를 변화시키며 유사도를 계산하는 유사도 계산부를 구비하며, 상기 유사도 계산부는, 일 프레임이미지에서 제1방향에 있어서의 템플레이트의 제1방향위치를 고정한 채 상기 제1방향에 수직한 제2방향에 있어서의 상기 템플레이트의 제2방향위치를 변화시키며 제2방향유사도를 계산한 후, 제2방향유사도가 가장 높은 지점에서, 상기 템플레이트의 제2방향위치를 고정한 채 상기 일 프레임이미지에서 제1방향에 있어서의 상기 템플레이트의 제1방향위치를 변화시키며 제1방향유사도를 계산하는 것을 특징으로 하는 디지털 이미지 처리장치를 제공한다.

이러한 본 발명의 다른 특징에 의하면, 상기 일 프레임이미지에서의 상기 템플레이트는 이전 프레임이미지에서 설정된 추적영역인 것으로 할 수 있다.

본 발명의 또 다른 특징에 의하면, 상기 유사도 계산부는 제2방향유사도를 계산할 시, 이전 프레임이미지에서 설정된 추적영역의 제1방향에 있어서의 위치 또 는 그 근방 위치를 상기 템플레이트의 제1방향에 있어서의 제1방향위치로 간주하는 것으로 할 수 있다.

본 발명의 또 다른 특징에 의하면, 상기 유사도 계산부의 계산결과에 따라 상기 일 프레임이미지에서 상기 템플레이트와 가장 유사한 부분을 추적영역으로 확정하는 추적영역 확정부를 더 구비하는 것으로 할 수 있다.

본 발명의 또 다른 특징에 의하면, 상기 추적영역 확정부는 제1방향유사도가 가장 높은 지점을 상기 일 프레임이미지에서의 추적영역의 위치로 확정하는 것으로 할 수 있다.

본 발명의 또 다른 특징에 의하면, 상기 추적영역은 상기 템플레이트와 동일한 사이즈를 갖는 것으로 할 수 있다.

본 발명의 또 다른 특징에 의하면, 상기 유사도 계산부는, 제2방향유사도와 제1방향유사도를 계산한 후, 제1방향유사도가 가장 높은 지점에서, 상기 템플레이트의 제1방향위치를 고정한 채 상기 일 프레임이미지에서 제2방향에 있어서의 상기 템플레이트의 제2방향위치를 변화시키며 제2방향유사도를 다시 계산하는 것으로 할 수 있다.

본 발명의 또 다른 특징에 의하면, 상기 유사도 계산부는, 제2방향유사도를 다시 계산한 후, 다시 계산된 제2방향유사도가 가장 높은 지점에서, 상기 템플레이트의 제2방향위치를 고정한 채 상기 일 프레임이미지에서 제1방향에 있어서의 상기 템플레이트의 제1방향위치를 변화시키며 제1방향유사도를 다시 계산하는 것으로 할 수 있다.

본 발명의 또 다른 특징에 의하면, 상기 유사도 계산부는, 제2방향유사도와 제1방향유사도 계산을 복수회 반복하는 것으로 할 수 있다.

본 발명의 또 다른 특징에 의하면, 상기 제1방향은 좌우방향과 상하방향 중 어느 하나 이고, 상기 제2방향은 다른 하나인 것으로 할 수 있다.

본 발명은 또한, (a) 이전 프레임이미지에서 설정된 추적영역을 현재 프레임이미지에서의 템플레이트로 간주하고, 이전 프레임이미지에서의 추적영역의 제1방향에 있어서의 위치 또는 그 근방 위치를 현재 프레임이미지에서 제1방향에 있어서의 템플레이트의 제1방향위치로 간주하여, 템플레이트의 제1방향위치를 고정한 채 상기 제1방향에 수직한 제2방향에 있어서의 템플레이트의 제2방향위치를 변화시키며 제2방향유사도를 계산하는 단계와, (b) 상기 (a) 단계에서 결정된 제2방향유사도가 가장 높은 지점에서, 템플레이트의 제2방향위치를 고정한 채 현재 프레임이미지에서 제1방향에 있어서의 템플레이트의 제1방향위치를 변화시키며 제1방향유사도를 계산하는 단계를 포함하는 것을 특징으로 하는 디지털 이미지 처리장치의 제어방법을 제공한다.

이러한 본 발명의 다른 특징에 의하면, (c) 상기 (b) 단계에서 결정된 제1방향유사도가 가장 높은 지점을 현재 프레임이미지에서의 추적영역의 위치로 확정하는 단계를 더 포함하는 것으로 할 수 있다.

본 발명의 또 다른 특징에 의하면, (c) 상기 (b) 단계에서 결정된 제1방향유사도가 가장 높은 지점에서, 템플레이트의 제1방향위치를 고정한 채 현재 프레임이미지에서 제2방향에 있어서의 템플레이트의 제2방향위치를 변화시키며 제2방향유사 도를 다시 계산하는 단계를 더 포함하는 것으로 할 수 있다.

본 발명의 또 다른 특징에 의하면, (d) 상기 (c) 단계에서 결정된 제2방향유사도가 가장 높은 지점을 현재 프레임이미지에서의 추적영역의 위치로 확정하는 단계를 더 포함하는 것으로 할 수 있다.

본 발명의 또 다른 특징에 의하면, (d) 상기 (c) 단계에서 결정된 제2방향유사도가 가장 높은 지점에서, 템플레이트의 제2방향위치를 고정한 채 현재 프레임이미지에서 제1방향에 있어서의 템플레이트의 제1방향위치를 변화시키며 제1방향유사도를 다시 계산하는 단계를 더 포함하는 것으로 할 수 있다.

본 발명의 또 다른 특징에 의하면, (e) 상기 (d) 단계에서 결정된 제1방향유사도가 가장 높은 지점을 현재 프레임이미지에서의 추적영역의 위치로 확정하는 단계를 더 포함하는 것으로 할 수 있다.

본 발명은 또한, 상기와 같은 방법을 실행시키기 위한 프로그램을 저장한 기록매체를 제공한다

상기한 바와 같이 이루어진 본 발명의 이미지 처리장치, 이미지 처리방법 및 처리방법을 실행시키기 위한 프로그램을 저장한 기록매체에 따르면, 동영상에서 신 속하면서도 정확하게 특정 피사체의 위치를 추적할 수 있는 이미지 처리장치, 이미지 처리방법 및 처리방법을 실행시키기 위한 프로그램을 저장한 기록매체를 구현할 수 있다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명하면 다음과 같다.

도 2는 본 발명의 일 실시예에 따른 디지털 이미지 처리장치를 개략적으로 도시하는 블록도이고, 도 3은 도 2의 디지털 이미지 처리장치의 일부분을 개략적으로 도시하는 블록도이다. 특히 도 2는 디지털 이미지 처리장치의 일종으로서 디지털 촬영장치를 개략적으로 도시하고 있다. 물론 본 발명이 도 2에 도시된 것과 같은 디지털 촬영장치에 한정되는 것은 아니며, PDA(personal digital assistants), PMP(personal multimedia player) 등과 같은 이미지 처리장치에도 본 발명이 적용될 수 있음은 물론이다. 이는 후술하는 실시예들 및 그 변형예들에서도 마찬가지이다.

디지털 촬영장치의 전체 동작은 CPU(100)에 의해 통괄된다. 그리고 디지털 촬영장치에는 사용자로부터의 전기적 신호를 발생시키는 키 등을 포함하는 조작부(200)가 구비된다. 이 조작부(200)로부터의 전기적 신호는 CPU(100)에 전달되어, CPU(100)가 전기적 신호에 따라 디지털 촬영장치를 제어할 수 있도록 한다.

촬영 모드일 경우, 사용자로부터의 전기적 신호가 CPU(100)에 인가됨에 따라 CPU(100)는 그 신호를 파악하여 렌즈 구동부(11), 조리개 구동부(21) 및 촬상소자 제어부(31)를 제어하며, 이에 따라 각각 렌즈(10)의 위치, 조리개(20)의 개방 정도 및 촬상소자(30)의 감도 등이 제어된다. 촬상소자(30)는 입력된 광으로부터 데이터를 생성하며, 아날로그/디지털 변환부(40)는 촬상소자(30)에서 출력되는 아날로그 데이터를 디지털 데이터로 변환한다. 물론 촬상소자(30)의 특성에 따라 아날로그/디지털 변환부(40)가 필요 없는 경우도 있을 수 있다.

촬상소자(30)로부터의 데이터는 메모리(60)를 거쳐 디지털 신호 처리부(50)에 입력될 수도 있고, 메모리(60)를 거치지 않고 디지털 신호 처리부(50)에 입력될 수도 있으며, 필요에 따라 CPU(100)에도 입력될 수도 있다. 여기서 메모리(60)는 ROM 또는 RAM 등을 포함하는 개념이다. 디지털 신호 처리부(50)는 필요에 따라 감마(gamma) 보정, 화이트 밸런스 조정 등의 디지털 신호 처리를 할 수 있다. 또한, 도 3에 도시된 것과 같이, 디지털 신호 처리부(50)는 유사도 계산부(51)와 추적영역 확정부(53) 등과 같은 구성요소들을 가질 수도 있다. 물론 유사도 계산부(51)와 추적영역 확정부(53) 등은 디지털 신호 처리부(50) 내의 구성요소가 아닌 별도의 구성요소일 수도 있는 등 다양한 변형이 가능하다. 즉, 본 실시예에 따른 디지털 촬영장치가 유사도 계산부(51)와 추적영역 확정부(53)를 구비하면 족하다. 유사도 계산부(51)는 일 프레임이미지에서 템플레이트의 위치를 변화시키며 유사도를 계산하며, 추적영역 확정부(53)는 유사도 계산부(51)의 계산을 바탕으로 추적영역을 확정한다. 유사도 계산부(51)와 추적영역 확정부(53)의 작동에 대해서는 후술한다.

디지털 신호 처리부(50)로부터 출력된 데이터로부터의 이미지는 메모리(60)를 통하여 또는 직접 디스플레이 제어부(81)에 전달된다. 디스플레이 제어부(81)는 디스플레이부(80)를 제어하여 디스플레이부(80)에 동영상을 디스플레이한다. 그리고 디지털 신호 처리부(50)로부터 출력된 데이터는 메모리(60)를 통하여 또는 직접 저장/판독 제어부(71)에 입력되는데, 이 저장/판독 제어부(71)는 사용자로부터의 신호에 따라 또는 자동으로 이미지 데이터를 저장매체(70)에 저장한다. 물론 저장/판독 제어부(71)는 저장매체(70)에 저장된 동영상 파일로부터 데이터를 판독하고, 이를 메모리(60)를 통해 또는 다른 경로를 통해 디스플레이 제어부(81)에 입력하여 디스플레이부(80)에 동영상이 디스플레이되도록 할 수도 있다. 저장매체(70)는 착탈가능한 것일 수도 있고 디지털 촬영장치에 영구장착된 것일 수 있다.

이하에서는 유사도 계산부(51)와 추적영역 확정부(53) 등의 기능을 도면들을 참조하여 설명한다.

도 4a 및 도 4b는 제1프레임이미지와 제2프레임이미지에 있어서 추적대상 피사체인 자동차가 이동한 것을 개략적으로 도시하는 개념도들이다. 도 4a에서의 제1프레임이미지(FI1)에서 추적영역(TA1)의 위치를 (x₁,y₁)이라 한다면, 도 4b에 도시된 바와 같이, 이전 프레임이미지인 제1프레임이미지(FI1)에서의 추적영역(TA1)이 현재 프레임이미지인 제2프레임이미지(FI2)에서 추적대상 피사체와 겹치는 부분은, 이전 프레임이미지인 제1프레임이미지(FI1)에서의 추적영역(TA1)이 제1프레임이미지(FI1)에서 추적대상 피사체와 겹치는 부분과 상이하다. 따라서 현재 프레임이미지인 제2프레임이미지(FI2)에서 추적영역을 새로이 업데이트할 필요가 있다.

도 5a 내지 도 5e는 본 발명의 일 실시예에 따른 디지털 이미지 처리장치의 추적방식을 개략적으로 도시하는 개념도들이다. 먼저 이전 프레임이미지에서 설정된 추적영역을 현재 프레임이미지에서의 템플레이트로 이용한다. 즉, 이전 프레임이미지의 부분 중 이전 프레임이미지에서 설정된 추적영역에 해당하는 부분을 현재 프레임이미지에서의 템플레이트 이미지로 이용한다. 여기서 이전 프레임이미지에서 설정된 추적영역이라 함은 이전 프레임이미지에서 확정된 추적영역을 의미할 수도 있고, 이전 프레임이미지에서 추적기능이 최초로 작동하기 시작했다면 이전 프레임이미지에서 사용자에 의해 또는 자동으로 추적영역으로 설정된 영역을 의미한다. 도 5a에서는 이전 프레임이미지에서의 추적영역을 일 프레임이미지(현재 프레임이미지, 즉 제2프레임이미지(FI2))에서의 템플레이트(T)로 이용하는 것을 개념적으로 도시하고 있다.

유사도 계산부(51)는, 제2프레임이미지(FI2)에서 제1방향(예컨대 y축 방향)에 있어서의 템플레이트(T)의 제1방향위치를 고정한 채 제1방향에 수직한 제2방향(예컨대 x축 방향)에 있어서의 템플레이트(T)의 제2방향위치를 변화시키며 제2방향유사도를 계산한다. 이때 유사도 계산부(51)는 제2방향유사도를 계산할 시, 이전 프레임이미지인 제1프레임이미지(FI1)에서 설정된 추적영역(TA1)의 제1방향(예컨대 y축 방향)에 있어서의 위치 또는 그 근방 위치를 템플레이트(T)의 제1방향(예컨대 y축 방향)에 있어서의 제1방향위치로 간주한다. 제1방향은 좌우방향(x축 방향)과 상하방향(y축 방향) 중 어느 하나 이고, 상기 제2방향은 다른 하나일 수 있다. 여기서 유사도 계산이라 함은 제2프레임이미지(FI2)의 일부분으로서 템플레이트와 동일한 사이즈를 갖는 부분과 템플레이트 이미지와의 유사도를 계산하는 것으로써, 제2프레임이미지(FI2)의 일부분으로서 템플레이트와 동일한 사이즈를 갖는 부분과 템플레이트 이미지와의 차이가 작으면 유사도가 높은 것으로 판단할 수 있다. 예컨대 템플레이트의 (x,y) 화소에서의 데이터를 T(x,y)라 하고 제2프레임이미지(FI2)의 템플레이트에 대응하는 부분에서의 (x,y) 화소에서의 데이터를 FI(x,y)라 하면 Error=Σ|T(x,y)-FI(x,y)|를 계산하여 그 값이 작을수록 유사도가 높은 것으로 판단할 수 있다.

이와 같이 제2방향유사도를 계산하여 이를 위치에 따른 그래프로 나타내면 도 5b에 도시된 것과 같이 나타난다. 도 5b에서는 제2방향위치가 x₂일 시 유사도가 가장 높은 것(차이가 가장 작은 것)을 나타내고 있다. 통상적으로 인접한 두 프레임이미지들에 있어서 추적대상인 피사체의 위치는 비슷하게 나타난다. 현실적으로 피사체가 순간적으로 순간이동 등을 하는 것이 아니기 때문이다. 따라서 제2프레임이미지(FI2)에서 제1방향(예컨대 y축 방향)에 있어서의 템플레이트(T)의 제1방향위치를 고정한 채 제1방향에 수직한 제2방향(예컨대 x축 방향)에 있어서의 템플레이트(T)의 제2방향위치를 변화시키면, 도 5b에 도시된 것과 같이 이전 프레임이미지인 제1프레임이미지(FI1)에서의 추적영역(TA1)의 위치인 (x₁,y₁) 인근에서 템플레이트(T)와 제2프레임이미지의 해당부분과의 유사도가 다른 부분과의 유사도보다 높게 나타나게 된다.

도 5c는 제1프레임이미지(FI1)에서의 추적영역(TA1)의 위치(x₁,y₁)와, 상술한 바와 같은 과정을 통해 결정된 제2방향유사도가 가장 높은 위치(x₂,y₁)에 표시된 템플레이트(T)를 개념적으로 도시한다. 물론 여기서 템플레이트(T)의 위치만을 나타내는 것일 뿐, 템플레이트 이미지는 이전 프레임이미지인 제1프레임이미지(FI1)의 부분 중 제1프레임이미지(FI1)에서의 추적영역(TA1)에 해당하는 부분과 동일하다.

이어, 제2방향유사도가 가장 높은 지점에서, 유사도 계산부(51)는 도 5c에 도시한 것과 같이 템플레이트(T)의 제2방향위치(예컨대 x축 방향으로의 위치)를 고정한 채 제2프레임이미지(FI2)에서 제1방향(예컨대 y축 방향)에 있어서의 템플레이트(T)의 제1방향위치를 변화시키며 제1방향유사도를 계산한다. 물론 이 경우에도 도 5d에 도시된 것과 같이 이전 프레임이미지인 제1프레임이미지(FI1)에서의 추적영역(TA1)의 위치인 (x₁,y₁) 인근에서 템플레이트(T)와 제2프레임이미지의 해당부분과의 유사도가 다른 부분과의 유사도보다 높게 나타나게 된다. 도 5d에서는 제1방향위치가 y₂인 지점에서 유사도가 가장 높은 것(차이가 가장 작은 것)으로 나타내고 있다.

이와 같은 과정을 거쳐, 도 5e에 도시된 것과 같이 추적영역 확정부(53)는 유사도 계산부(51)의 계산결과에 따라 제2프레임이미지(FI2)에서 템플레이트(T)와 가장 유사한 부분을 추적영역(TA2)으로 확정한다. 구체적으로 상술한 바와 같은 경우에는 위치 (x₂,y₂)에 해당하는 부분을 제2프레임이미지(FI2)에서의 추적영역(TA2)으로 확정할 수 있다. 즉, 추적영역 확정부(53)는 제1방향유사도가 가장 높은 지점((x₂,y₂)에 해당)을 제2프레임이미지(FI2)에서의 추적영역의 위치(TA2)로 확정한 다. 여기서 말하는 템플레이트 및/또는 추적영역의 위치는 예컨대 그 중앙 지점의 위치 등을 의미한다. 물론 템플레이트 및/또는 추적영역의 위치는 템플레이트 및/또는 추적영역의 좌상단의 위치가 될 수도 있는 등 다양한 변형이 가능함은 물론이다. 물론 이와 같이 확정된 추적영역(TA2)은 템플레이트(T)와 동일한 사이즈를 갖도록 한다.

전술한 바와 같이 예컨대 일 프레임이미지가 320X240의 크기를 가지며 템플레이트가 80X60의 사이즈를 갖는다면, 종래에는 일 프레임이미지에서 템플레이트와 가장 유사한 부분을 찾기 위해서 유사도 계산을 총 43621회 실시해야만 했기에 실현이 용이하지 않다는 문제점이 있었다. 그러나 본 실시예에 따른 디지털 이미지 처리장치의 경우, 제1방향유사도를 계산하기 위해서 241(241=320-80+1)회의 유사도 계산을 실시하고 제2방향유사도를 계산하기 위해서 181(181=240-60+1)회의 유사도 계산을 실시하면 되는 바, 결국 총 422회의 유사도 계산만으로도 정확하게 추적영역을 확정할 수 있다. 따라서 종래의 디지털 이미지 처리장치에 비하여 효과적이고 신속하면서도 정확하게 추적하는 것이 가능하게 되며, 이에 따라 디지털 이미지 처리장치의 사양을 고사양으로 하지 않아도 되기에 제조비용 역시 획기적으로 저감할 수 있다.

도 6은 본 발명의 다른 일 실시예에 따른 디지털 이미지 처리장치의 추적방식을 개략적으로 도시하는 개념도이다. 도 6에 도시된 바와 같이, 유사도 계산부(51)는 제2방향유사도와 제1방향유사도 계산을 복수회 반복하고, 추적영역 확정부(53)는 복수회 반복된 계산결과에 따라 추적영역을 확정할 수 있다. 도 6에서는 제2방향유사도와 제1방향유사도를 각각 2회 계산하는 경우를 도시하고 있다.

구체적으로 설명하면, 전술한 바와 같이 제2프레임이미지(FI2)에서 제1방향(예컨대 y축 방향)에 있어서의 템플레이트의 제1방향위치를 고정한 채 제1방향에 수직한 제2방향(예컨대 x축 방향)에 있어서의 템플레이트의 제2방향위치를 변화시키며 제2방향유사도를 계산한다. 도 6에서 P₁은 이전 프레임이미지에서 설정된 추적영역의 위치를 의미하며, P₂는 이와 같은 과정을 통해 결정된 제2방향유사도가 가장 높은 지점을 의미한다. 이어, 제2방향유사도가 가장 높은 지점에서, 템플레이트의 제2방향위치를 고정한 채 제2프레임이미지(FI2)에서 제1방향(y축 방향)에 있어서의 템플레이트의 제1방향위치를 변화시키며 제1방향유사도를 계산한다. P₃는 이와 같은 과정을 통해 결정된 제1방향유사도가 가장 높은 지점을 의미한다. 전술한 실시예에서는 P₃로 나타낸 지점을 제2프레임이미지(FI2)에서의 추적영역으로 확정하는 경우인 바, 본 실시예에 따른 디지털 이미지 처리장치에서는 더욱 정확한 추적을 위하여 유사도를 더 계산한다.

즉, 유사도 계산부는, 제2방향유사도와 제1방향유사도를 계산한 후, 제1방향유사도가 가장 높은 지점(P₃)에서, 템플레이트의 제1방향위치를 고정한 채 제2프레임이미지(FI2)에서 제2방향(예컨대 x축 방향)에 있어서의 템플레이트의 제2방향위치를 변화시키며 제2방향유사도를 다시 계산한다. P₄는 다시 계산된 제2방향유사도가 가장 높은 지점을 의미하며, 따라서 P₄로 표시된 지점은 P₃로 표시된 지점보다 더욱 정확한 추적영역을 나타내게 된다.

물론 이어 유사도 계산부가 제2방향유사도를 다시 계산한 후, 다시 계산된 제2방향유사도가 가장 높은 지점(P₄)에서, 템플레이트의 제2방향위치를 고정한 채 제2프레임이미지(FI2)에서 제1방향(y축 방향)에 있어서의 템플레이트의 제1방향위치를 변화시키며 제1방향유사도를 다시 계산할 수 있다. P₅는 다시 계산된 제2방향유사도가 가장 높은 지점을 의미하며, 따라서 P₅로 표시된 지점은 P₄ 또는 P₅로 표시된 지점보다 더욱 정확한 추적영역을 나타내게 된다. 이와 같은 과정을 거친다고 하더라도 유사도 계산은 총 844(844=422X2)회만 거치면 되는 바, 종래의 디지털 이미지 처리장치가 43621회의 유사도 계산을 거치는 것보다 그 계산 횟수를 획기적으로 줄이면서도 정확한 추적이 가능하도록 할 수 있다.

도 7은 본 발명의 또 다른 일 실시예에 따른 디지털 이미지 처리장치의 제어방법을 개략적으로 도시하는 플로우챠트이다. 본 실시예에 따른 디지털 이미지 처리장치의 제어방법에 따르면, 먼저 이전 프레임이미지에서 설정된 추적영역을 현재 프레임이미지에서의 템플레이트로 간주하고, 이전 프레임이미지에서의 추적영역의 제1방향에 있어서의 위치 또는 그 근방 위치를 현재 프레임이미지에서 제1방향에 있어서의 템플레이트의 제1방향위치로 간주하여, 템플레이트의 제1방향위치를 고정한 채 제1방향에 수직한 제2방향에 있어서의 템플레이트의 제2방향위치를 변화시키며 제2방향유사도를 계산하는 단계(S10)를 거친다. 그 후, S10 단계에서 결정된 제2방향유사도가 가장 높은 지점에서, 템플레이트의 제2방향위치를 고정한 채 현재 프레임이미지에서 제1방향에 있어서의 템플레이트의 제1방향위치를 변화시키며 제1방향유사도를 계산하는 단계(S20)를 거친다. 이와 같은 과정을 통해 추적영역을 확정하는 단계(S50)를 거침으로써, 구체적으로는 제1방향유사도와 제2방향유사도가 가장 높은 지점을 현재 프레임이미지에서의 추적영역으로 확정함으로써 종래의 디지털 이미지 처리장치의 추적기능의 경우보다 계산회수를 획기적으로 저감하여 신속하면서도 정확한 추적이 가능하도록 할 수 있다.

도 8은 본 발명의 또 다른 일 실시예에 따른 디지털 이미지 처리장치의 제어방법을 개략적으로 도시하는 플로우챠트이다. 본 실시예에 따른 제어방법이 도 7을 참조하여 전술한 제어방법과 상이한 것은, S20 단계 이후 S20 단계에서 결정된 제1방향유사도가 가장 높은 지점에서, 템플레이트의 제1방향위치를 고정한 채 현재 프레임이미지에서 제2방향에 있어서의 템플레이트의 제2방향위치를 변화시키며 제2방향유사도를 다시 계산하는 단계(S30)를 더 거친다는 것이다. 이에 따라 S30 단계에서 결정된 제2방향유사도가 가장 높은 지점을 현재 프레임이미지에서의 추적영역의 위치로 확정하게 된다. 이를 통해 더욱 정밀한 추적이 가능하게 된다. 물론 본 발명의 또 다른 일 실시예에 따른 디지털 이미지 처리장치의 제어방법을 개략적으로 도시하는 플로우챠트인 도 9에 도시된 바와 같이, S30 단계에서 결정된 제2방향유사도가 가장 높은 지점에서, 템플레이트의 제2방향위치를 고정한 채 현재 프레임이미지에서 제1방향에 있어서의 템플레이트의 제1방향위치를 변화시키며 제1방향유사도를 다시 계산하는 단계(S40)를 더 거침으로써, 추적의 정확도를 더욱 높일 수도 있다. 이 경우에는 S40 단계에서 결정된 제1방향유사도가 가장 높은 지점을 현재 프레임이미지에서의 추적영역의 위치로 확정하게 된다.

한편 도 7 내지 도 9를 참조하여 설명한 실시예들에 있어서 추적영역은 템플레이트와 동일한 사이즈를 가지며, 제1방향은 좌우방향과 상하방향 중 어느 하나 이고 제2방향은 다른 하나일 수 있다.

이상에서 언급된 실시예들 및 그 변형예들에 따른 제어방법을 이미지 처리장치에서 실행시키기 위한 프로그램은 기록매체에 저장될 수 있다. 여기서 기록매체라 함은 예컨대 도 2에 도시된 것과 같은 저장매체(70)일 수도 있고, 도 2에 도시된 것과 같은 메모리(60)일 수도 있으며, 이와 다른 별도의 기록매체일 수도 있다. 여기서 기록매체는 마그네틱 저장매체(예컨대, 롬(ROM), 플로피 디스크, 하드디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc))와 같은 저장매체를 포함한다.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

도 1은 종래의 디지털 이미지 처리장치의 추적방식을 개략적으로 도시하는 개념도이다.

도 2는 본 발명의 일 실시예에 따른 디지털 이미지 처리장치를 개략적으로 도시하는 블록도이다.

도 3은 도 2의 디지털 이미지 처리장치의 일부분을 개략적으로 도시하는 블록도이다.

도 4a 및 도 4b는 제1프레임이미지와 제2프레임이미지에 있어서 추적대상인 피사체가 이동한 것을 개략적으로 도시하는 개념도들이다.

도 5a 내지 도 5e는 본 발명의 일 실시예에 따른 디지털 이미지 처리장치의 추적방식을 개략적으로 도시하는 개념도들이다.

도 6은 본 발명의 다른 일 실시예에 따른 디지털 이미지 처리장치의 추적방식을 개략적으로 도시하는 개념도이다.

도 7은 본 발명의 또 다른 일 실시예에 따른 디지털 이미지 처리장치의 제어방법을 개략적으로 도시하는 플로우챠트이다.

도 8은 본 발명의 또 다른 일 실시예에 따른 디지털 이미지 처리장치의 제어방법을 개략적으로 도시하는 플로우챠트이다.

도 9는 본 발명의 또 다른 일 실시예에 따른 디지털 이미지 처리장치의 제어방법을 개략적으로 도시하는 플로우챠트이다.

<도면의 주요 부분에 대한 부호의 설명>

10: 렌즈 11: 렌즈 구동부

20: 조리개 21: 조리개 구동부

30: 촬상소자 31: 촬상소자 제어부

40: A/D 변환부 50: 디지털 신호 처리부

51: 유사도 계산부 53: 추적영역 확정부

60: 메모리 71: 저장/판독 제어부

70: 저장매체 81: 디스플레이 제어부

80: 디스플레이부 100: CPU

200: 조작부

Claims

복수개의 프레임이미지들에 있어서 설정된 영역의 위치변화를 추적하는 추적기능을 갖는 디지털 이미지 처리장치로서, 일 프레임이미지에서 템플레이트의 위치를 변화시키며 유사도를 계산하는 유사도 계산부를 구비하며,

상기 유사도 계산부는, 일 프레임이미지에서 제1방향에 있어서의 템플레이트의 제1방향위치를 고정한 채 상기 제1방향에 수직한 제2방향에 있어서의 상기 템플레이트의 제2방향위치를 변화시키며 제2방향유사도를 계산한 후, 제2방향유사도가 가장 높은 지점에서, 상기 템플레이트의 제2방향위치를 고정한 채 상기 일 프레임이미지에서 제1방향에 있어서의 상기 템플레이트의 제1방향위치를 변화시키며 제1방향유사도를 계산하는 것을 특징으로 하는 디지털 이미지 처리장치.
제1항에 있어서,

상기 일 프레임이미지에서의 상기 템플레이트는 이전 프레임이미지에서 설정된 추적영역인 것을 특징으로 하는 디지털 이미지 처리장치.
제2항에 있어서,

상기 유사도 계산부는 제2방향유사도를 계산할 시, 이전 프레임이미지에서 설정된 추적영역의 제1방향에 있어서의 위치 또는 그 근방 위치를 상기 템플레이트의 제1방향에 있어서의 제1방향위치로 간주하는 것을 특징으로 하는 디지털 이미지 처리장치.
제1항에 있어서,

상기 유사도 계산부의 계산결과에 따라 상기 일 프레임이미지에서 상기 템플레이트와 가장 유사한 부분을 추적영역으로 확정하는 추적영역 확정부를 더 구비하는 것을 특징으로 하는 디지털 이미지 처리장치.
제4항에 있어서,

상기 추적영역 확정부는 제1방향유사도가 가장 높은 지점을 상기 일 프레임이미지에서의 추적영역의 위치로 확정하는 것을 특징으로 하는 디지털 이미지 처리장치.
제4항 또는 제5항에 있어서,

상기 추적영역은 상기 템플레이트와 동일한 사이즈를 갖는 것을 특징으로 하는 디지털 이미지 처리장치.
제1항에 있어서,

상기 유사도 계산부는, 제2방향유사도와 제1방향유사도를 계산한 후, 제1방향유사도가 가장 높은 지점에서, 상기 템플레이트의 제1방향위치를 고정한 채 상기 일 프레임이미지에서 제2방향에 있어서의 상기 템플레이트의 제2방향위치를 변화시 키며 제2방향유사도를 다시 계산하는 것을 특징으로 하는 디지털 이미지 처리장치.
제7항에 있어서,

상기 유사도 계산부는, 제2방향유사도를 다시 계산한 후, 다시 계산된 제2방향유사도가 가장 높은 지점에서, 상기 템플레이트의 제2방향위치를 고정한 채 상기 일 프레임이미지에서 제1방향에 있어서의 상기 템플레이트의 제1방향위치를 변화시키며 제1방향유사도를 다시 계산하는 것을 특징으로 하는 디지털 이미지 처리장치.
제1항에 있어서,

상기 유사도 계산부는, 제2방향유사도와 제1방향유사도 계산을 복수회 반복하는 것을 특징으로 하는 디지털 이미지 처리장치.
제1항 내지 제5항 및 제7항 내지 제9항 중 어느 한 항에 있어서,

상기 제1방향은 좌우방향과 상하방향 중 어느 하나 이고, 상기 제2방향은 다른 하나인 것을 특징으로 하는 디지털 이미지 처리장치.
(a) 이전 프레임이미지에서 설정된 추적영역을 현재 프레임이미지에서의 템플레이트로 간주하고, 이전 프레임이미지에서의 추적영역의 제1방향에 있어서의 위치 또는 그 근방 위치를 현재 프레임이미지에서 제1방향에 있어서의 템플레이트의 제1방향위치로 간주하여, 템플레이트의 제1방향위치를 고정한 채 상기 제1방향에 수직한 제2방향에 있어서의 템플레이트의 제2방향위치를 변화시키며 제2방향유사도를 계산하는 단계; 및

(b) 상기 (a) 단계에서 결정된 제2방향유사도가 가장 높은 지점에서, 템플레이트의 제2방향위치를 고정한 채 현재 프레임이미지에서 제1방향에 있어서의 템플레이트의 제1방향위치를 변화시키며 제1방향유사도를 계산하는 단계를 포함하는 것을 특징으로 하는 디지털 이미지 처리장치의 제어방법.
제11항에 있어서,

(c) 상기 (b) 단계에서 결정된 제1방향유사도가 가장 높은 지점을 현재 프레임이미지에서의 추적영역의 위치로 확정하는 단계를 더 포함하는 것을 특징으로 하는 디지털 이미지 처리장치의 제어방법.
제11항에 있어서,

(c) 상기 (b) 단계에서 결정된 제1방향유사도가 가장 높은 지점에서, 템플레이트의 제1방향위치를 고정한 채 현재 프레임이미지에서 제2방향에 있어서의 템플레이트의 제2방향위치를 변화시키며 제2방향유사도를 다시 계산하는 단계를 더 포함하는 것을 특징으로 하는 디지털 이미지 처리장치의 제어방법.
제13항에 있어서,

(d) 상기 (c) 단계에서 결정된 제2방향유사도가 가장 높은 지점을 현재 프레 임이미지에서의 추적영역의 위치로 확정하는 단계를 더 포함하는 것을 특징으로 하는 디지털 이미지 처리장치의 제어방법.
제13항에 있어서,

(d) 상기 (c) 단계에서 결정된 제2방향유사도가 가장 높은 지점에서, 템플레이트의 제2방향위치를 고정한 채 현재 프레임이미지에서 제1방향에 있어서의 템플레이트의 제1방향위치를 변화시키며 제1방향유사도를 다시 계산하는 단계를 더 포함하는 것을 특징으로 하는 디지털 이미지 처리장치의 제어방법.
제15항에 있어서,

(e) 상기 (d) 단계에서 결정된 제1방향유사도가 가장 높은 지점을 현재 프레임이미지에서의 추적영역의 위치로 확정하는 단계를 더 포함하는 것을 특징으로 하는 디지털 이미지 처리장치의 제어방법.
제12항, 제14항 및 제16항 중 어느 한 항에 있어서,

상기 추적영역은 상기 템플레이트와 동일한 사이즈를 갖는 것을 특징으로 하는 디지털 이미지 처리장치의 제어방법.
제11항 내지 제16항 중 어느 한 항에 있어서,

상기 제1방향은 좌우방향과 상하방향 중 어느 하나 이고, 상기 제2방향은 다 른 하나인 것을 특징으로 하는 디지털 이미지 처리장치의 제어방법.
제11항 내지 제16항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 저장한 기록매체.