[go: up one dir, main page]

KR100457302B1 - 영상 처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법 - Google Patents

영상 처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법 Download PDF

Info

Publication number
KR100457302B1
KR100457302B1 KR10-2002-0066725A KR20020066725A KR100457302B1 KR 100457302 B1 KR100457302 B1 KR 100457302B1 KR 20020066725 A KR20020066725 A KR 20020066725A KR 100457302 B1 KR100457302 B1 KR 100457302B1
Authority
KR
South Korea
Prior art keywords
tracking
image
zoom
auto
roi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR10-2002-0066725A
Other languages
English (en)
Other versions
KR20040039080A (ko
Inventor
김영욱
성하경
이종배
이성호
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR10-2002-0066725A priority Critical patent/KR100457302B1/ko
Publication of KR20040039080A publication Critical patent/KR20040039080A/ko
Application granted granted Critical
Publication of KR100457302B1 publication Critical patent/KR100457302B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 영상 처리를 이용한 다채널 자동 트랙킹(Auto Tracking ) 및 자동 줌(Auto zoom) 방법에 관한 것으로, 보다 자세하게는 팬(Pan)/틸트(Tilt)/줌(Zoom) 기능이 내장된 카메라에서 추적하고자 하는 사람의 얼굴을 실시간으로 추적할 수 있는 방법에 관한 것이다.
본 발명은 영상 처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법에 관한 것으로, 팬/틸트/줌 기능을 갖는 4대의 카메라로부터 입력된 영상신호를 4대로 분할된 단일영상으로 합성하는 제 1단계; 상기 제 1단계의 합성된 단일영상으로부터 프레임 데이터를 취득하는 제 2단계; 상기 제 2단계의 프레임 데이터로부터 RGB 영상을 HSV 영상으로 컬러변환하는 제 3단계; 상기 제 3단계의 HSV 영상으로부터 자동 ROI 셋팅하는 제 4단계; 상기 제 4단계의 자동 ROI 셋팅에 의해 구한 움직임 ROI 및 후보 중심점으로부터 Low/Hi 임계치 데이터를 결정하는 제 5단계; 상기 제 5단계의 임계치 데이터로부터 중심점 및 면적을 구하는 제 6단계; 상기 제 6단계의 중심점 및 면적으로부터 트랙킹과 줌 성공 여부를 결정하고 제어하는 제 7단계; 및 상기 제 7단계의 트랙킹과 줌 성공시 카메라를 제어하는 제 8단계를 포함하는 알고리즘을 갖는 것을 특징으로 한다.
일반적인 정적 카메라(Static Camera)와 달리 카메라의 F.O.V((Fields Of View)를 자동으로 가변시키면서 물체를 추적할 수 있기 때문에 효율적인 감시 및 저장 공간의 절약을 기대할 수 있으며, 다채널에 대한 트랙킹 및 줌 기능이 한 대의 PC상에서 가능하기 때문에 제어가 용이하고 부가 비용이 적게 들며, 트랙킹 및 줌 실패시 자동 보정 기능으로 인하여 지능적인 추적 및 줌 기능이 가능할 뿐만 아니라, 트랙킹 및 줌 모듈이 소프트웨어 형태로 되어 있어 타 응용 시스템에 적용하기 용이하고, 하드웨어로 전환이 가능하며, 체감게임에서 사용자 얼굴의 움직임으로 마우스나 키보드의 입력을 대신할 수 있는 모듈로써 사용 가능하다.

Description

영상 처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법{Auto tracking and auto zooming method of multi channel by digital image processing}
본 발명은 영상처리를 이용한 다채널 자동 트랙킹(Auto Tracking) 및 자동 줌(Auto Zoom) 방법에 관한 것으로, 보다 자세하게는 팬(Pan)/틸트(Tilt)/줌(Zoom) 기능이 내장된 카메라에서 추적하고자 하는 사람의 얼굴을 실시간으로 추적할 수 있는 방법에 관한 것이다.
최근 9.11테러로 인하여 각국마다 보안에 대한 관심이 높아 지고 있으며 대표적인 보안 제품으로 CCTV 및 DVR(Digital Video Recorder)를 디지털 영상으로 보관할 수 있는 DVR로 전환하는 추세에 있고, DVR의 경우 보통 4~16대의 고정된 카메라를 연결하여 녹화 및 감시를 하고 있는데, 고정된 카메라(Staic Camera)의 F.O.V(Fields Of View)가 제한되어 있어 한 영역만을 감시할 수 있었다.
종래에는 트랙킹 및 줌 기능을 영상 처리를 통하여 구현하고자 할 때 자동 트랙킹 기능만 수행하고, 줌 기능은 사용자가 수동으로 조작해야 하는 단점과 고정된 카메라를 사용함으로 인해 한정된 영역만이 감시 가능하고, 실시간으로 물체를 추적할 수 없는 문제점이 있었다.
종전의 트랙킹하는 일반적인 방법은 도 1에서 도시된 바와 같이, 팬/틸트/줌 카메라에서 영상을 취득하여 아날로그 영상 데이터를 제어용 PC로 전송하면, PC내에 내장된 프레임 그레버(Frame Grabber)에서 아날로그 영상 데이터를 디지털 영상 데이터로 변환시킨 후 영상 처리를 수행하여 수행이 성공적으로 이루어졌을때, 그 결과인 카메라 제어 데이터를 다시 원래의 카메라로 전달하여 자동으로 트랙킹을 수행할 수 있었으나, 줌의 경우는 사용자가 수동으로 PC에서 제어를 해 주어야 동작이 가능했다.
도 1에서 도시된 바와 같이 제어용 PC에서 수행하는 디지털 영상 처리 방법에 따라 시스템의 성능이 좌우되는데, 기존의 트랙킹 알고리즘 방법은 단순 탐색 알고리즘을 사용하는 경우, BMA(Block Matching Algorithm) 알고리즘을 사용하는 경우, Opical Flow 알고리즘을 사용하는 경우, SNAKE 알고리즘을 사용하는 경우가 있었다.
상기 네 가지 기존의 트랙킹 알고리즘 수행 방법을 보다 상세히 설명하면 다음과 같다.
첫째, 단순 탐색 알고리즘의 경우 도 2처럼 하나의 프레임 영상을 4대의 블록으로 분할하고, 다음 프레임을 취득했을 때 각 블록 별로 이전 프레임과 현재 프레임의 블록 내의 픽셀 값을 차분하여 특정 값(Threshold) 이상의 차이가 났을 때, 움직임이 발생한 것으로 간주하여 정보를 알려주는 방식으로 움직임의 탐색은 가능하지만, 트랙킹에는 사용할 수 없는 문제점이 있었다.
둘째, BMA(Block Matching Algorithm) 알고리즘은 이미지 시퀀스(Image Sequence)의 프레임을 각각 임의의 블록 단위로 나누고 움직임이 예상되는 블록을 기준점으로 다음 프레임에 가장 유사한 블록을 찾아 기준점의 이동을 모션 벡터(Motion vetor)로 인식하여 추정하는 방법으로 블록 내의 모든 픽셀은 평행이동 해야하며, 이미지 프레임 간의 강도(Intensity)가 일정해야 한다는 문제점이 있었다.
상기 BMA 알고리즘의 장점은 연산 시간이 비교적 빨라서 실시간 처리에 적합하며, 이미지 시퀀스가 충분히 빠른 경우에 잘 동작 된다. 그러나 영상의 밝기 정보가 급격히 변화는 경우나 블록 내의 픽셀 값이 변할 때 오차가 생기는 문제점이 있었다.
상기 BMA 알고리즘 계산은 다음 수식에 의한다.
셋째, Optical Flow 알고리즘을 사용하는 경우, 도 3에서 보는 바와 같이 영상 시퀀스의 시간차 dt에 의하여 발생하는 영상 광량의 변화량을 계산하여 움직이는 물체의 가속도 및 모션 벡터(Motion vector)를 추정하는 방법으로 결국 모든 픽셀에 대하여 연산을 하기 때문에 BMA보다 정확한 모션 벡터를 구할 수 있으나, 이 방법에도 모든 물체의 밝기는 시간에 관계없이 일정해야 하며, 영상의 주변 픽셀은 유사한 방향으로만 움직여야 한다는 문제점이 있었다.
상기 Optical Flow 알고리즘 계산은 다음 수식에 의한다.
C(i,j) = 0 for all (i,j)
넷째, SNAKE 알고리즘은 에너지 최소화 방법에 의하여 영상의 변형된 모델을정합하는 방법(Kass,1987)으로, 이의 구현을 위해 기본적인 스네이크에 Kalman filter를 적용하기도 하고 부가적인 수축, 팽창의 힘을 적용한 풍선모델(cohen)등 많은 응용 기법이 사용되고 있다. 이 방법은 영상 내의 모든 윤곽을 찾지 못한다는 문제와 다른 고차원적인 영상처리, 시 공간적으로 근접한 다른 영상데이터와의 상호 작용을 필요로 하며 또한 사용자가 스네이크의 초기 노드를 지정해 주어야 하는 문제점이 있었다.
상기 SNAKE 알고리즘은 다음 수식에 의한다.
도 4는 스네이크 알고리즘을 이용해 정확한 이동물체의 중심점을 찾는 과정을 도해한 것이다.
상기 설명한 바와 같이 상기 네 가지의 알고리즘 방법은 다음과 같은 기술적인 문제점을 갖고 있었다.
첫째, 단순 탐색 알고리즘을 사용하는 경우, 움직이는 물체의 유무만을 판단할 수 있기 때문에 단지 움직임 만을 감지할 수 있을 뿐, 팬/틸트/줌 어느 기능도자동으로 사용할 수 없었다.
둘째, BMA(Block Matching Algorithm)를 사용하는 경우, 실제 블록 간의 이동시에 평행이동 뿐만 아니라 여러 방향으로 불규칙하게 움직일 가능성이 많고, 밝기정보가 조금만 변하더라도 추적하고자 하는 물체를 쉽게 놓치는 경향이 있었고, 또한 이러한 정보만으로는 자동 줌 기능을 수행 할 수 없었다.
셋째, Optical Flow 알고리즘을 사용하는 경우, 역시 주변 광량 변화에 민감하기 때문에 이동 물체의 정확한 방향 및 중심점을 잡을 수 없었다.
넷째, SNAKE 알고리즘을 사용하는 경우, 가장 정확하게 이동 물체의 중심점을 구할 수 있지만, 연산량이 상당하여 실시간 처리에 적합하지 못하며 사용자가 초기 스네이크 노드를 초기화 해 주어야 했었다.
따라서, 본 발명은 상기와 같은 종래 기술의 제반 문제점을 해결하기 위한 것으로, 팬/틸트/줌 기능을 내장한 카메라가 영상을 취득하고, 디지털 영상처리를 하여 추적하고자 하는 얼굴의 위치 및 영역을 계산하여 그 정보를 이용하여 자동으로 팬/틸트/줌을 수행 함으로써, 한정된 F.O.V의 단점을 극복하고 트랙킹 및 줌 기능을 영상 처리를 통하여 구현할 수 있는 강인성 및 실시간 처리성에 적합한 알고리즘을 제공하는데 본 발명의 목적이 있다.
도 1은 종래 기술에 의해 트랙킹 기능을 수행할 때 기술적 구성과 흐름을 나타낸 것이다.
도 2는 종래 기술인 단순 탐색 알고리즘에 의해 트랙킹하는 방법을 나타낸 것이다.
도 3은 종래 기술인 Opital Flow 알고리즘에 의해 트랙킹하는 방법을 나타낸 것이다.
도 4는 종래 기술인 SNAKE 알고리즘에 의해 트랙킹하는 방법을 나타낸 것이다.
도 5는 본 발명에 의해 자동 트랙킹 및 자동 줌을 구현하기 위한 알고리즘을 나타낸 것이다.
도 6은 본 발명에 의해 수행되는 3×3마스크를 이용한 저주파 통과 영역 필터과정을 수행하는 하나의 예를 나타낸 것이다.
도 7은 본 발명에 의해 수행되는 이미지 차감 방법에 의해 후보 중심점을 얻기 위해 차분한 영상을 나타낸 것이다.
도 8은 본 발명에 의해 수행되는 Low/High 임계치를 구하기 위해 Hue Histogram을 설정한 것을 나타낸 것이다.
도 9는 본 발명에 의해 수행되는 Low/High 임계치에 해당되는 픽셀 값을 푸른색으로 설정하여 얻은 영상을 나타낸 것이다.
도 10a 내지 10d는 본 발명에 의해 수행되는 트랙킹 성공을 확인하기 위해 임계치 내의 픽셀 개수를 모니터링하는 과정을 나타낸 것이다.
도 11은 본 발명을 구현하기 위한 장치로써 팬/틸트/줌 기능의 돔 카메라를 나타낸 것이다.
도 12는 본 발명을 구현하기 위한 장치로써 저가의 프레임 그래버를 나타낸 것이다.
도 13은 본 발명을 구현하기 위한 장치로써 4채널 멀티플렉서를 나타낸 것이다.
도 14a 내지 14c는 본 발명에 의해 구현되는 1채널에 대한 자동 트랙킹 과정을 나타낸 것이다.
도 15a 내지 15b는 1채널에 대한 자동 줌 과정을 나타낸 것이다.
도 16은 4채널에 대한 성공적인 자동 트랙킹 및 자동 줌 과정을 나타낸 것이다.
본 발명의 상기 목적은 도 5에서 도시된 바와 같이 4대의 카메라로부터 입력된 영상 신호를 4채널로 합성하는 단계, 프레임 데이터를 취득하는 단계, 컬러 변환하는 단계, 자동 ROI 셋팅하는 단계, Low/Hi 임계치를 구하는 단계, 중심점 및 면적을 구하는 단계, 트랙킹 성공과 줌 성공 여부를 결정하는 단계, 카메라를 제어하는 단계를 포함하는 Hue color 확률 분포 기반의 알고리즘을 갖는 것을 특징으로 하는 영상 처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법을 실현하는 데 있다.
본 발명의 상기 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 바람직한 실시예를 도시하고 있는 도면을 참조한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다.
도 5는 Hue color 확률 분포 기반의 자동 트랙킹, 자동 줌을 수행하기 위해 다음 단계를 포함한 알고리즘을 나타낸 것이다.
상기 알고리즘은 팬/틸트/줌 기능을 갖는 4대의 카메라로부터 입력된 영상 신호를 4개로 분할된 단일 영상으로 합성하는 제 1단계, 상기 제 1단계의 합성된 단일 영상으로부터 프레임 데이터를 취득하는 제 2단계, 상기 제 2단계의 프레임 데이터로부터 RGB 영상을 HSV 영상으로 컬러 변환하는 제 3단계, 상기 제 3단계의 HSV 영상으로부터 자동 ROI(Region Of Interest) 셋팅하는 제 4단계, 상기 제 4단계의 자동 ROI 셋팅에 의해 구한 움직임 ROI 및 후보 중심점으로부터 Low/Hi 임계치 데이터를 결정하는 제 5단계, 상기 제 5단계의 임계치 데이터로부터 중심점 및 면적을 구하는 제 6단계, 상기 제 6단계의 중심점 및 면적으로부터 트랙킹과 줌 실패 여부를 결정하고 제어하는 제 7단계, 및 상기 제 7단계의 트랙킹과 줌 성공시 카메라를 제어하는 제 8단계를 포함한다.
이하 각 단계의 알고리즘을 상세히 설명한다.
상기 알고리즘에서 팬/틸트/줌 기능을 갖는 4대의 카메라로부터 입력된 영상신호를 4개의 분할된 단일 영상으로 합성하는 제 1단계는 팬/틸트/줌 기능의 NTSC 카메라가 내장된 아날로그 카메라 4대에서 취득한 데이터를 Quad Chipset을 이용하여 각기 4개의 영상을 하나의 영상으로 합성할 수 있도록 해준다. 이는 종전의 정적 카메라와는 달리 팬/틸트/줌 기능의 NTSC 카메라가 내장된 아날로그 카메라 4대가 움직이는 물체를 영상으로 담음으로써 카메라의 F.O.V(Fields Of View)의 영역을 넓힐 수 있는 기술적 장점이 있다.
상기 제 1단계의 합성된 단일 영상으로부터 프레임 데이터를 취득하는 제 2단계는 PC 프로그램에서 디렉트 쇼(Direct Show)를 이용하여 카메라에서 1개의 합성된 영상을 메세지(Message)나 쓰레드(Thread)에 의하여 취득한다. 이때 취득한 영상은 도 12에서 도시된 저가의 프레임 그래버(Frame Grabber)를 이용하여 아날로그 영상 데이터를 디지털 영상 데이터로 변환한다.
상기 제 2단계의 프레임 데이터로부터 RGB 영상을 HSV 영상으로 컬러 변환하는 제 3단계는 컬러 영상 처리에서 처리 시간을 단축시키기 위하여 원본(24bits)보다 적은 bits로 변환하여 프로세싱을 한다. 보통은 컬러 영상의 색을 나타내는 기본색인 RGB(적·녹·청)의 색 신호를 따로따로 개별적인 신호선으로 음극선관(CRT) 표시 장치나 컴퓨터 모니터에 입력하는 방식으로 3원색을 하나의 복합 색 신호로합성하여 단일 신호 선으로 입력하는 방식에 비해 튜너나 영상 회로는 복잡하지만 선명하고 깨끗한 화상이 표시되는 Normalized RGB 방식이나, YUV 형태를 이용하나, 본 알고리즘에서는 조명 변화에 강인한 HSV(Hue Saturation Value) 컬러 모델로 변환하여 사용한다.
상기 제 3단계의 HSV 영상으로부터 자동 ROI 셋팅하는 제 4단계는 저주파 통과영역 필터(Low pass spatial filter)와 이미지 차감 방법(Image Subtract Method)을 사용하여 움직이는 물체의 초기 위치를 자동으로 알 수 있는데, 종전의 기술로는 보통 트랙킹 알고리즘을 적용할 때 초기 위치를 사용자가 지정해 주어야 하는 문제점이 있었으나, 본 알고리즘은 이런 문제점을 해결했다.
저주파 통과 영역 필터는 영상의 노이즈를 제거해 주는 역할을 하며 보통 컨벌루션(Convolution) 연산을 수행하며 보통 3×3, 5×5 마스크를 사용한다.
도 6은 3×3 마스크를 이용해 컨벌루션 연산을 수행하는 방법의 일례를 나타낸것이다.
이미지 차감 방법(Image Subtract Method)은 저주파 통과 영역 필터를 통과한 영상과 그 다음의 영상을 차분하면 움직이는 영상의 후보 중심점을 구할 수 있다.
도 7은 이미지 차감 방법에 의해 저주파 통과 영역 필터를 통과한 영상과 다음 영상을 차분하여 움직이는 영상의 후보 중심점을 찾은 결과를 나타낸 것으로 그림에서 흰 색으로 표시 되었다.
상기 제 4단계의 자동 ROI 셋팅에 의해 구한 움직임 ROI 및 후보 중심점으로부터 Low/Hi 임계치 데이터를 결정하는 제 5단계는 상기 제 4단계의 움직임 후보 ROI 및 후보 중심점이 결정되면 그 중심점을 기준으로 15×15의 가상의 직사각형(Rectangle)을 설정하고, 그 직사각형 내의 모든 픽셀에 대하여 Hue Histogram을 설정한 후 Low/Hi 임계치를 얻는다.
도 8은 중심점을 기준으로 15×15의 가상 직사각형을 설정하고, 그 직사각형 내의 모든 픽셀에 대하여 Hue Histogram을 설정한 후 Low/Hi 임계치를 구하는 과정을 도해한 것으로 MAX는 Hi 임계치 값을 R1, R2는 각기 Low 임계치 값을 나타내며, 세로 축은 value 값(I)을 가로축은 Hue 값(H)을 나타낸다.
상기 Hue Histogram을 설정하고, 그 후 Low/Hi 임계치를 구하는 구체적인 방법으로 모든 픽셀에 대하여 다음 수식에 의해 계산하여 Hue 값(H) 및 Value 값(I)을 구한다.
Saturation 값은 다음 수식에 의해 계산되며 H 값으로부터 A,B 를 구한다.
상기 제 5단계의 임계치 데이터로부터 중심점 및 면적을 구하는 제 6단계는
상기 제 5단계에서 구한 ROI의 Low/Hi 임계치에 해당되는 픽셀 값을 컴퓨터 프로그램 상에서 푸른색(Blue)으로 설정하면 도 9와 같은 영상을 취득할 수 있고, 푸른색으로 표시된 값의 위치를 이용하면 추적하고자 하는 물체의 중심점 및 면적을 구할 수 있다.
도 9는 추적 하고자 하는 물체가 사람의 얼굴인 경우, ROI의 Low/Hi 임계치에 해당되는 픽셀 값을 컴퓨터 프로그램 상에서 푸른색(Blue)으로 설정하여 나타난 영상을 나타낸 것이다.
상기 제 6단계의 중심점 및 면적으로부터 트랙킹과 줌 성공 여부를 결정하고, 제어하는 제 7단계는 최종적인 트랙킹과 줌 성공 여부를 결정하고 제어하기 위해 다음의 과정을 수행한다.
트랙킹의 최종적인 성공 여부를 결정하고 제어하는 과정은 임계치 내의 픽셀 개수를 모니터링하여 일정 개수 미만이 되면 트랙킹이 실패한 것으로 보는데, 하나의 실시예로써 본 알고리즘은 ROI의 크기가 10×10픽셀보다 작을때 트랙킹이 실패한 것으로 본다. 트랙킹이 실패한 경우 초기 ROI를 화면 전체 크기만큼 설정하고, 상기 제 6단계의 과정으로 돌아가 다시 계산해 정확한 위치를 계산할 때까지 반복 수행하여 트랙킹의 실패를 막을 수 있으며, 트랙킹 성공시 그 다음 단계인 카메라 제어 단계를 수행하도록 한다. 도 10a 내지 10d는 4채널에 의한 최종적인 트랙킹의 성공 여부를 결정하고 제어하는 일련의 과정을 나타낸 것이다.
도 14a 내지 14c는 하나의 실시예로써 1채널에 의한 일련의 자동 트랙킹 과정을 나타낸 것이다.
자동 줌의 최종적인 성공여부를 결정하고 제어하는 과정은 최종 ROI의 크기와 화면 크기를 계산하여 ROI의 크기가 화면의 10×10픽셀 보다 작거나 150×110픽셀 보다 큰 지 검사하여 ROI의 크기가 커지면 카메라의 줌 아웃(zoom out)을 실행하고, 반대로 작아지면 줌 인(zoom in)을 실행하여 추적하고자 하는 물체의 일정한 크기를 얻을 수 있다. 이때 ROI의 크기가 작아지면 주변의 추적하고자 하는 Hue 값과 비슷한 값이 나타나게 되고, 결국 줌 기능이 실패하게 되는데, 이때는 강제로 ROI의 크기를 작아지게 하면 일정한 크기로 수렴하게 되어 성공적인 자동 줌을 실행하게 된다.
도 15a 내지 도 15b는 1채널에 대한 자동 줌을 실행하는 하나의 실시예를 도시한 것으로 도 15a는 ROI의 크기가 10×10픽셀 보다 작을때 줌 인을 실행한 것이고, 도 15b는 ROI의 크기가 150 ×110픽셀 보다 클 때 줌 아웃을 실행한 것이다.
상기 제 7단계의 트랙킹과 줌 성공시 카메라를 제어하는 제 8단계는 최종 결정된 물체의 중심점 및 줌 펙터(Factor)를 이용하여 4채널의 카메라를 제어하는 단계이다. 이는 RS 485 또는 RS 422 인터페이스 제어 모듈을 통해 구현된다.
도 16은 상기 알고리즘의 구현으로 4채널에 대한 자동 트랙킹 및 자동 줌 기능이 성공적으로 수행된 것을 도시한 것이다
상기 알고리즘을 구현하는 바람직한 일실시예로는 PC에서 여러대의 카메라 영상을 취득받아 다채널 트랙킹 및 줌을 하여 4대의 카메라를 제어하는 PC 기반의 장치로써, 본 발명의 영상처리를 이용한 다채널 자동 트랙킹 및 자동 줌 기능을 실현하기 위한 구체적인 Spec은 Windows를 사용하는 Pentium III 1.2GHz CPU를 기준으로 할 때 도 13에서 도시된 트랙킹 가능한 4채널 멀티플렉서와 4대의 아날로그 카메라로부터 취득한 영상을 하나의 영상으로 합성하기 위한 Quad Chipset, 320×240(QVGA급)의 영상 해상도, 약 26프레임/sec(MS Direct-Show 사용)의 트랙킹 Speed, 1∼8배 줌(카메라 spec에 따라 상이함), 카메라와 통신을 하기 위한 RS-485 방식 또는 RS-422 방식의 인터페이스 제어모듈로 구성된다.
보다 상세히 상기 영상처리를 이용한 다채널 자동 트랙킹 및 자동 줌 기능을 실현할 PC 기반의 장치를 설명한다.
상기 PC 기반의 장치는 움직이는 물체의 영상을 촬영할 수 있도록 4대의 팬/틸트/줌 기능의 카메라로 구성된 영상 수신부와 상기 N대의 팬/틸트/줌 기능의 카메라로부터 입력된 영상 신호를 4개의 분할된 단일영상으로 합성할 수 있도록 다채널 멀티플렉서로 구성된 영상 합성부와 상기 4개의 합성된 단일영상으로부터 프레임 데이터를 취득하고, 상기 프레임 데이터로부터 영상변환하고, 상기 영상변환으로부터 ROI 셋팅하고, 상기 ROI 셋팅에 의해 구한 움직임 ROI 및 후보 중심점으로부터 Low/Hi 임계치 데이터를 결정하고, 상기 임계치 데이터로부터 중심점 및 면적을 구하고, 상기 중심점 및 면적으로부터 트랙킹과 줌 실패 여부를 결정하고 제어할 수 있는 제어용 PC로 구성된 영상 제어부 및 상기 트랙킹과 줌 성공시 카메라를 제어할 수 있는 인터페이스 제어모듈로 RS 485 또는 RS 422등으로 구성된 영상 송신부로 구성된다.
상기 알고리즘을 구현하는 바람직한 다른 실시예로써 본 발명의 트랙킹 및줌 알고리즘을 카메라에서 동작 가능하도록 독립 프로세서(Stand alone processor)를 만드는 경우이다. 이를 구현하기 위한 구체적인 장치로써 팬/틸트/줌 기능의 카메라,영상처리용 DSP(Digital Signal Processor) 및 OSD(Open Software Description)용 칩(chip), ROM, RAM이 요구된다.
보다 상세히 상기 독립 프로세서 기반의 영상처리를 이용한 다채널 자동 트랙킹 및 자동 줌 카메라에 대해 설명한다.
상기 독립 프로세서 기반의 영상처리를 이용한 다채널 자동 트랙킹 및 자동 줌 카메라는 움직이는 물체의 영상을 촬영할 수 있도록 4대의 팬/틸트/줌 기능의 카메라로 구성된 영상 수신부 및 상기 4대의 카메라로부터 입력된 영상 신호를 4개의 분할된 단일영상으로 합성하고, 상기 단일 영상으로부터 프레임 데이터를 취득하여 영상변환하며, 상기 변환된 영상으로부터 ROI 셋팅하고, 상기 ROI 셋팅에 의해 구한 움직임 ROI 및 후보 중심점으로부터 Low/Hi 임계치 데이터를 결정하며, 상기 임계치 데이터로부터 중심점 및 면적을 구하고, 상기 중심점 및 면적으로부터 트랙킹과 줌 실패 여부를 결정하고 제어하며, 상기 트랙킹과 줌 성공시 카메라를 제어하는 영상 처리부로 구성된다.
상기 영상처리부는 영상처리용 DSP 및 OSD용 칩, ROM, RAM을 상기 카메라에 내장시켜 영상처리를 이용해 다채널 자동 트랙킹 및 자동 줌 기능을 구현한다.
상기 영상처리용 DSP는 디지털 연산에 의해 신호 처리를 하는 하나의 IC 칩으로 된 마이크로프로세서로써 범용 마이크로프로세서의 아키텍처를 대폭 개량하여 고속 연속성과 콤팩트화를 추구한 전용 마이크로프로세서다. 기본 조작은필터링(filtering),프리어 변환, 상관 함수의 산출, 부호화, 변복조, 미분, 적분, 적응 신호 처리등이다. 음성 합성, 음성인식, 음성 부호화, 압축, 중고속 모뎀,반향 소거장치(echocanceller) 등의 음성 및 통신 시스템에서 채용되고 있으며, 화상 처리나 서보 모터(servo motor) 제어 등의 고속 디지털 제어 분야에 대한 적용도 실용화되고 있다.
상기 영상처리용 OSD는 소프트웨어의 특징을 기술(記述)하기 위한 서식으로 하이퍼텍스트 생성 언어(HTML)의 차세대 판으로서 W3C에서 표준화 작업 중인 확장성 생성 언어(XML)를 기초로 하고 있다. 정의할 수 있는 소프트웨어 특징은 대응 운영 체계(OS), 버전 정보, 대응 중앙 처리 장치(CPU), 필요한 공 디스크의 용량 등이다. 소프트웨어 배포 시에 OSD로 기재한 파일을 한 번에 보낸다면 수취한 클라이언트 측에서 적절한 설치 및 처리를 실행할 수 있다.
기타 본 발명의 산업상 이용 가능한 분야는 PC 카메라에서 화상 채팅이나 원격 진료시 사용자 추적 및 자동 줌 기능을 응용하는 경우, DVR 카메라로서 PC용 및 독립 프로세서 가능한 사용자 감시 및 추적 기능이 가능하도록 응용하는 경우, VR 및 게임용 사용자 추적 모듈로 사용하는 경우, DVR 사용시 트랙킹 및 줌 기능으로 인한 저장 공간 절약으로 이를테면, 은행의 금고가 있는 장소에서 추적하고자 하는 침입자의 얼굴에 대해 선명한 해상도 취득을 요하는 경우 등이다.
따라서, 본 발명은 일반적인 정적 카메라와는 달리 카메라의 F.O.V를 자동으로 가변시키면서 물체를 추적할 수 있기 때문에 효율적인 감시 및 저장 공간의절약을 기대할 수 있고, 다채널에 대한 자동 트랙킹 및 자동 줌 기능이 한 대의 PC 상에서 가능하기 때문에 제어가 용이하여 부가 비용이 적게 들며, 트랙킹 및 줌 실패시 자동 보정 기능으로 인하여 지능적인 추적 및 줌 기능이 가능할 뿐 만 아니라, 트랙킹 및 줌 모듈이 소프트웨어 형태로 되어 있어 타 응용 시스템에 적용하기 용이하고, 하드웨어 모듈로 전환이 가능하며, 체감게임에서 사용자 얼굴의 움직임으로 마우스나 키보드의 입력을 대신할 수 있는 모듈로써 응용 가능하다.

Claims (15)

  1. 영상처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법에 관한 것으로,
    팬/틸트/줌 기능을 갖는 N대의 카메라로부터 입력된 영상신호를 N개로 분할된 단일 영상으로 합성하는 제 1단계;
    상기 제 1단계의 합성된 단일 영상으로부터 프레임 데이터를 취득하는 제 2단계;
    상기 제 2단계의 프레임 데이터로부터 영상 변환하는 제 3단계;
    상기 제 3단계의 영상 변환으로부터 ROI(Region Of Interest) 셋팅하는 제 4단계;
    상기 제 4단계의 ROI 셋팅에 의해 구한 움직임 ROI 및 후보 중심점으로부터 Low/Hi 임계치 데이터를 결정하는 제 5단계;
    상기 제 5단계의 임계치 데이터로부터 중심점 및 면적을 구하는 제 6단계;
    상기 제 6단계의 중심점 및 면적으로부터 트랙킹과 줌 실패 여부를 결정하고 제어하는 제 7단계; 및
    상기 제 7단계의 트랙킹과 줌 성공시 카메라를 제어하는 제 8단계를 포함하는 것을 특징으로 하는 영상처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법.
  2. 제 1항에 있어서,
    상기 제 3단계를 구현하는데 있어 컬러 영상변환은 RGB 24비트 형태의 영상을 HSV 24비트 형태의 영상으로 변환하는 것을 특징으로 하는 영상처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법.
  3. 제 1항에 있어서,
    상기 제 4단계를 구현하는데 있어 ROI의 셋팅은 자동으로 하는 것을 특징으로 하는 영상처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법.
  4. 제 3항에 있어서,
    상기 ROI를 자동으로 셋팅하기 위해 저주파 통과 영역 필터를 사용하는 것을 특징으로 하는 영상처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법.
  5. 제 3항에 있어서,
    상기 ROI를 자동으로 셋팅하기 위해 이미지 차감 방법을 사용하는 것을 특징으로 하는 영상처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법.
  6. 제 1항에 있어서,
    상기 제 5단계를 구현하는데 있어 Low/Hi 임계치를 구하기 위해 Hue Histogram을 사용하는 것을 특징으로 하는 영상처리를 이용한 다채널 자동 트랙킹 및 자동 줌
    방법.
  7. 제 1항에 있어서,
    상기 제 7단계를 구현하는데 있어 트랙킹의 실패 여부를 ROI의 크기에 의해 결정하는 것을 특징으로 하는 영상처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법.
  8. 제 7항에 있어서,
    상기 트랙킹의 실패 여부를 ROI의 가변적 크기에 의해 결정하는 것을 특징으로 하는 영상처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법.
  9. 제 1항에 있어서,
    상기 제 7단계를 구현하는데 있어 줌 실패 여부를 ROI의 크기에 의해 결정하는 것을 특징으로 하는 영상처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법.
  10. 제 9항에 있어서,
    상기 줌 실패 여부를 ROI의 가변적 크기에 의해 결정하는 것을 특징으로 하는 영상처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법.
  11. 제 10항에 있어서,
    상기 ROI의 가변적 크기가 10×10픽셀 보다 작거나, 150×110픽셀 보다 큰지를 비교하여 이에 해당할 때 줌이 실패한 것으로 결정하는 것을 특징으로 하는 영상처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법.
  12. 움직이는 물체의 영상을 촬영할 수 있도록 N대의 팬/틸트/줌 기능의 카메라로 구성된 영상 수신부;
    상기 N대의 팬/틸트/줌 기능의 카메라로부터 입력된 영상 신호를 N개의 분할된 단일영상으로 합성할 수 있도록 다채널 멀티플렉서로 구성된 영상 합성부;
    상기 N개의 합성된 단일영상으로부터 프레임 데이터를 취득하고, 상기 프레임 데이터로부터 영상변환하고, 상기 영상변환으로부터 ROI 셋팅하고, 상기 ROI 셋팅에 의해 구한 움직임 ROI 및 후보 중심점으로부터 Low/Hi 임계치 데이터를 결정하고, 상기 임계치 데이터로부터 중심점 및 면적을 구하고, 상기 중심점 및 면적으로부터 트랙킹과 줌 실패 여부를 결정하고 제어할 수 있도록 제어용 PC로 구성된 영상 제어부; 및
    상기 트랙킹과 줌 성공시 카메라를 제어할 수 있는 인터페이스 제어모듈로 구성된 영상 송신부
    로 이루어진 것을 특징으로 하는 PC 기반의 영상처리를 이용한 다채널 자동 트랙킹 및 자동 줌 장치.
  13. 제 12항에 있어서,
    상기 송신부의 인터페이스 제어모듈은 RS 485 또는 RS 422를 사용하는 것을특징으로 하는 PC기반의 영상처리를 이용한 다채널 자동 트랙킹 및 자동 줌 장치.
  14. 움직이는 물체의 영상을 촬영할 수 있도록 N대의 팬/틸트/줌 기능의 카메라로 구성된 영상 수신부 및
    상기 N대의 카메라로부터 입력된 영상 신호를 N개의 분할된 단일영상으로 합성하고, 상기 단일 영상으로부터 프레임 데이터를 취득하여 영상변환하며, 상기 변환된 영상으로부터 ROI 셋팅하고, 상기 ROI 셋팅에 의해 구한 움직임 ROI 및 후보 중심점으로부터 Low/Hi 임계치 데이터를 결정하며, 상기 임계치 데이터로부터 중심점 및 면적을 구하고, 상기 중심점 및 면적으로부터 트랙킹과 줌 실패 여부를 결정하고 제어하며, 상기 트랙킹과 줌 성공시 카메라를 제어하는 영상 처리부
    를 포함하는 것을 특징으로 하는 영상처리를 이용한 다채널 자동 트랙킹 및 자동 줌 카메라.
  15. 제 14항에 있어서,
    상기 영상 처리부는 영상처리용 DSP 및 OSD용 칩, ROM, RAM을 상기 카메라에 내장 시킨 것을 특징으로 하는 영상처리를 이용한 다채널 자동 트랙킹 및 자동 줌 카메라.
KR10-2002-0066725A 2002-10-31 2002-10-31 영상 처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법 Expired - Fee Related KR100457302B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0066725A KR100457302B1 (ko) 2002-10-31 2002-10-31 영상 처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0066725A KR100457302B1 (ko) 2002-10-31 2002-10-31 영상 처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법

Publications (2)

Publication Number Publication Date
KR20040039080A KR20040039080A (ko) 2004-05-10
KR100457302B1 true KR100457302B1 (ko) 2004-11-16

Family

ID=37336931

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0066725A Expired - Fee Related KR100457302B1 (ko) 2002-10-31 2002-10-31 영상 처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법

Country Status (1)

Country Link
KR (1) KR100457302B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101257455B1 (ko) 2008-04-21 2013-04-23 재단법인서울대학교산학협력재단 감시 물체 추적 방법 및 그 감시 시스템

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9741129B2 (en) 2008-04-14 2017-08-22 Gvbb Holdings S.A.R.L. Technique for automatically tracking an object by a camera based on identification of an object
WO2017094978A1 (ko) * 2015-12-04 2017-06-08 심플렉스 인터넷 주식회사 다수 개의 카메라를 기반으로 하는 영상 전송 방법, 장치 및 시스템
WO2017094979A1 (ko) * 2015-12-04 2017-06-08 심플렉스 인터넷 주식회사 아이 트랙킹을 기반으로 하는 영상 전송 방법, 장치 및 시스템
KR101782582B1 (ko) * 2015-12-04 2017-09-28 카페24 주식회사 아이 트랙킹을 기반으로 하는 영상 전송 방법, 장치 및 시스템
CN115082516B (zh) * 2021-03-15 2025-04-29 北京字跳网络技术有限公司 一种目标跟踪方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288732A (ja) * 1994-12-27 1995-10-31 Canon Inc 自動追尾装置を備えたカメラ
KR960039974A (ko) * 1995-04-21 1996-11-25 이헌일 다수개의 감시용 카메라를 이용한 피사체 추적방법
JPH0918767A (ja) * 1995-06-29 1997-01-17 Nec Corp 被写体追従ズーム装置
JPH11331828A (ja) * 1998-05-12 1999-11-30 Sharp Corp 自動追尾装置
JP2000101902A (ja) * 1998-09-18 2000-04-07 Toshiba Corp 監視カメラ制御装置
JP2000244800A (ja) * 1999-02-22 2000-09-08 Victor Co Of Japan Ltd 撮像装置
JP2002247440A (ja) * 2001-02-13 2002-08-30 Fuji Photo Optical Co Ltd 自動追尾装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288732A (ja) * 1994-12-27 1995-10-31 Canon Inc 自動追尾装置を備えたカメラ
KR960039974A (ko) * 1995-04-21 1996-11-25 이헌일 다수개의 감시용 카메라를 이용한 피사체 추적방법
JPH0918767A (ja) * 1995-06-29 1997-01-17 Nec Corp 被写体追従ズーム装置
JPH11331828A (ja) * 1998-05-12 1999-11-30 Sharp Corp 自動追尾装置
JP2000101902A (ja) * 1998-09-18 2000-04-07 Toshiba Corp 監視カメラ制御装置
JP2000244800A (ja) * 1999-02-22 2000-09-08 Victor Co Of Japan Ltd 撮像装置
JP2002247440A (ja) * 2001-02-13 2002-08-30 Fuji Photo Optical Co Ltd 自動追尾装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101257455B1 (ko) 2008-04-21 2013-04-23 재단법인서울대학교산학협력재단 감시 물체 추적 방법 및 그 감시 시스템

Also Published As

Publication number Publication date
KR20040039080A (ko) 2004-05-10

Similar Documents

Publication Publication Date Title
US7990422B2 (en) Automatically expanding the zoom capability of a wide-angle video camera
US10339386B2 (en) Unusual event detection in wide-angle video (based on moving object trajectories)
EP0932114B1 (en) A method of and apparatus for detecting a face-like region
US8891826B2 (en) Image processing system, image processing method, and computer program
JP2023526207A (ja) フレーム中の標的物体を一定のサイズに維持すること
US8139896B1 (en) Tracking moving objects accurately on a wide-angle video
US20050084179A1 (en) Method and apparatus for performing iris recognition from an image
US20050157198A1 (en) Method and apparatus for continuous focus and exposure in a digital imaging device
JPH07168932A (ja) ビデオ画像中の人間を探索する方法
US20070222858A1 (en) Monitoring system, monitoring method and program therefor
US8922674B2 (en) Method and system for facilitating color balance synchronization between a plurality of video cameras and for obtaining object tracking between two or more video cameras
US20040141633A1 (en) Intruding object detection device using background difference method
WO2010073619A1 (ja) 撮像装置
US20070024710A1 (en) Monitoring system, monitoring apparatus, monitoring method and program therefor
KR100623835B1 (ko) 물체 검출 방법 및 물체 검출 장치
KR100457302B1 (ko) 영상 처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법
US6393056B1 (en) Compression of information from one detector as a function of information from another detector
JP4572190B2 (ja) 物体検出装置
KR100536747B1 (ko) 팬/틸트/줌 카메라를 이용한 영상 보안 시스템 및 방법
KR102474697B1 (ko) 촬상 장치 및 영상 처리 방법
KR20020067286A (ko) 객체기반 영상 감시시스템
KR100391266B1 (ko) 객체기반 영상 압축을 위한 배경설정방법
US20020085738A1 (en) Controlling a processor-based system by detecting flesh colors
KR200190210Y1 (ko) 움직임 영상 검지장치
JPH07140222A (ja) 目標捕捉方式

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20070928

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20081106

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20081106

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301