[go: up one dir, main page]

KR20150087708A - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20150087708A
KR20150087708A KR1020140007943A KR20140007943A KR20150087708A KR 20150087708 A KR20150087708 A KR 20150087708A KR 1020140007943 A KR1020140007943 A KR 1020140007943A KR 20140007943 A KR20140007943 A KR 20140007943A KR 20150087708 A KR20150087708 A KR 20150087708A
Authority
KR
South Korea
Prior art keywords
motion vector
representative point
sensitivity
point motion
cumulative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020140007943A
Other languages
English (en)
Other versions
KR102150705B1 (ko
Inventor
신윤철
이인건
박연미
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020140007943A priority Critical patent/KR102150705B1/ko
Publication of KR20150087708A publication Critical patent/KR20150087708A/ko
Application granted granted Critical
Publication of KR102150705B1 publication Critical patent/KR102150705B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 움직임 검출 기능을 향상시킬 수 있는 영상 처리 장치 및 방법에 관한 것이다. 영상 처리 장치는 기준영상 및 입력영상의 비교에 의한 움직임을 검출하는 움직임 검출부, 입력영상으로부터 복수개의 대표점들을 선택하고, 대표점들에 대하여 대표점 움직임 벡터를 생성하는 움직임 벡터 생성부, 대표점 움직임 벡터의 크기 및 대표점 움직임 벡터의 방향에 대한 일관성 여부를 산출하고, 대표점 움직임 벡터의 크기 및 방향의 일관성 여부에 따라 영상 내에서 움직이는 물체의 변화빈도를 나타내는 민감도를 생성하는 민감도 처리부, 및 움직임 검출 결과에 민감도를 반영하여 관심 이외의 정보를 차단하는 움직임 처리부를 포함한다.

Description

영상 처리 장치 및 방법{APPARATUS AND METHOD FOR PROCESSING IMAGE}
본 발명은 움직임 검출 기능을 향상시킬 수 있는 영상 처리 장치 및 방법에 관한 것이다.
움직임 검출의 기본 동작 원리하에서, 다양한 움직임 검출 알고리즘이 존재하고 있으나, 움직임 검출 시 발생하는 오차를 0%로 줄이는 것은 현 수준에서는 매우 어려운 일이다. 그리고 사용자가 확인하기 원하는 일반적인 상황하에서의 급작스러운 움직임의 범주는, 무수히 흔들리는 나뭇잎, 여기저기 출렁이는 파도, 도는 기상상황에 의한 눈이나 비와 같은 일반적인 현상은 움직임 검출에 포함되지 않으므로 이러한 상황에서 움직임 검출은 오동작으로 판단할 수 있다.
도 1은 일반적인 움직임 검출을 설명하기 위한 도면으로, 전체 영상 중, 사용자는 보트의 움직임에 대한 정보 검출만을 원할 것이나, 실제로는 파도가 출렁임으로 인해 보트 아래쪽에 또 다른 움직임을 감지하고 있으며, 이 부분은 사용자 입장에서 원하는 움직임 검출 정보가 아니라는 것을 확인할 수 있다.
감시 카메라 장비에서 움직임 검출의 궁극적인 목표는, 감시 카메라가 촬영한 관심 영역 내에서, 위협적인 요소의 난입을 검출하고자 함이며, 그 이외의 비관심적인 요소의 움직임은 사용자로 하여금 불필요한 정보이자, 오히려 사용자의 자원을 소모하므로 걸러내야 할 요소가 된다. 그리고 오감 지 하는 동작에 비례하여 CPU의 성능을 포함한 하드웨어 성능 및 전력 소모가 커지므로 경제적인 관점에서도 불필요한 동작이라고 할 수 있다. 현재 움직임 검출 알고리즘의 한계는 이와 같은 관심 이외의 정보를 완전하게 제외하지 못하고 있으며, 기본적인 알고리즘을 비롯한 움직임 검출의 기능 향상을 위한 성능의 범위는, 관심 이외의 정보를 포함하고 있다.
국내 공개특허공보 제2012-0072353호 국내 공개특허공보 제2006-0020251호
본 발명이 해결하고자 하는 기술적인 과제는 움직임 검출 시에 영상 내에서 움직이는 물체의 변화 빈도를 의미하는 민감도를 반영하여 관심 이외의 정보를 차단함으로써 움직임 검출 정확성을 향상시킬 수 있는 영상 처리장치 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 영상 처리 장치는 기준영상 및 입력영상의 비교에 의한 움직임을 검출하는 움직임 검출부; 상기 입력영상으로부터 복수개의 대표점들을 선택하고, 상기 대표점들에 대하여 대표점 움직임 벡터를 생성하는 움직임 벡터 생성부; 상기 대표점 움직임 벡터의 크기 및 상기 대표점 움직임 벡터의 방향에 대한 일관성 여부를 산출하고, 상기 대표점 움직임 벡터의 크기 및 방향의 일관성 여부에 따라 상기 영상 내에서 움직이는 물체의 변화빈도를 나타내는 민감도를 생성하는 민감도 처리부; 및 상기 움직임 검출 결과에 상기 민감도를 반영하여 관심 이외의 정보를 차단하는 움직임 처리부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 움직임 벡터 생성부는, DIS(digital image stabilization) 장치에 의해 상기 대표점 움직임 벡터를 생성하는 것을 특징으로 한다.
본 발명에 있어서, 민감도 처리부는, 상기 대표점 움직임 벡터의 평균 크기를 소정 시간 누적 처리하는 크기 산출부; 상기 대표점 움직임 벡터의 평균 방향을 소정 시간 누적 처리하여 상기 방향에 대한 일관성 여부를 산출하는 방향 산출부; 및 상기 대표점 움직임 벡터의 누적 크기가 기준값 이상이고 상기 대표점 움직임 벡터의 누적 방향이 일관성이 있는 경우 상기 민감도를 기준 민감도 보다 낮게 설정하고, 상기 대표점 움직임 벡터의 누적 크기가 기준값 미만이고, 상기 움직임 벡터의 누적 방향이 일관성이 있는 경우 및 상기 대표점 움직임 벡터의 누적 크기가 기준값 이상이고, 상기 움직임 벡터의 누적 방향이 일관성이 없는 경우 상기 민감도를 기준 민감도 보다 높게 설정하는 민감도 산출부;를 포함하는 것을 특징으로 한다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 영상 처리 방법은 기준영상 및 입력영상의 비교에 의한 움직임을 검출하는 움직임 검출단계; 상기 입력영상으로부터 복수개의 대표점들을 선택하고, 상기 대표점들에 대하여 대표점 움직임 벡터를 생성하는 움직임 벡터 생성단계; 상기 대표점 움직임 벡터의 크기 및 상기 대표점 움직임 벡터의 방향에 대한 일관성 여부를 산출하고, 상기 대표점 움직임 벡터의 크기 및 방향의 일관성 여부에 따라 상기 영상 내에서 움직이는 물체의 변화빈도를 나타내는 민감도를 생성하는 민감도 처리단계; 및 상기 움직임 검출 결과에 상기 민감도를 반영하여 관심 이외의 정보를 차단하는 움직임 처리단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 움직임 벡터 생성단계는, DIS(digital image stabilization) 알고리즘에 의해 상기 대표점 움직임 벡터를 생성하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 민감도 처리단계는, 상기 대표점 움직임 벡터의 평균 크기를 소정 시간 누적 처리하는 단계; 상기 대표점 움직임 벡터의 평균 방향을 소정 시간 누적 처리하여 상기 방향에 대한 일관성 여부를 산출하는 단계; 상기 대표점 움직임 벡터의 누적 크기가 기준값 이상이고 상기 대표점 움직임 벡터의 누적 방향이 일관성이 있는 경우 상기 민감도를 기준 민감도 보다 낮게 설정하는 단계; 및 상기 대표점 움직임 벡터의 누적 크기가 기준값 미만이고, 상기 움직임 벡터의 누적 방향이 일관성이 있는 경우 및 상기 대표점 움직임 벡터의 누적 크기가 기준값 이상이고, 상기 움직임 벡터의 누적 방향이 일관성이 없는 경우 상기 민감도를 기준 민감도 보다 높게 설정하는 단계;를 포함하는 것을 특징으로 한다.
상술한 바와 같이 본 발명에 따르면, 움직임 검출 시에 영상 내에서 움직이는 물체의 변화 빈도를 의미하는 민감도를 반영하여 관심 이외의 정보를 차단함으로써 움직임 검출 정확성을 향상시킬 수 있다.
도 1은 종래 기술에 따른 움직임 검출을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 영상 처리 장치의 구성을 보이는 블록도 이다.
도 3은 본 발명의 일 실시 예에 따른 영상 처리 방법의 동작을 보이는 흐름도 이다.
도 4는 본 발명의 일 실시 예에 따른 민감도 처리 방법의 동작을 보이는 흐름도 이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 2는 본 발명의 일 실시 예에 따른 영상 처리 장치의 구성을 보이는 블록도 이다. 도 2를 참조하면, 영상 처리 장치는 복수의 네트워크 카메라(100), 네트워크(200), 영상 처리 수단(300) 및 디스플레이 수단(400)을 포함한다.
네트워크 카메라(100)는 임의의 영역에 적어도 하나 이상 설치되고, 촬영 영상을 디지털 영상 신호로 출력하고 네트워크(200)를 통하여 디지털 비디오 레코더 또는 네트워크 비디오 레코더와 같은 영상 저장 수단(400)으로 출력한다. 네트워크 카메라(100)는 특정 장소의 고정된 위치에 배치되는 스피드 돔 카메라일 수 있다. 또한 네트워크 카메라(100)는 고정렌즈가 구비되어 촬영 범위가 고정된 단일 고정식 카메라로 구성될 수 있고, 또는 촬영 범위가 가변적인 PTZ(pan-tilt-zoom) 카메라로 구성될 수 있다. 여기서 PTZ 카메라는 수평 방향으로 회전되는 팬(pan) 동작과 수직 방향으로 회전되는 틸트(tilt) 동작 및 줌인/줌아웃(zoom in/zoom out) 동작에 의해 한 대의 카메라로 다양한 감시 영역을 용이하게 변경시킬 수 있다.
영상 처리 수단(300)은 적어도 하나 이상의 네트워크 카메라(100)가 촬영한 영상을 수신하여 저장하고, 영상을 디스플레이 가능한 신호로 처리한다. 영상 처리 수단(300)은 카메라(100)로부터 출력되는 영상 신호에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행한다. 또한, 영상 처리 수단(300)은 화질 개선을 위한 영상 신호 처리를 하여 생성한 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식을 포함한다. 또한, 영상 처리 수단(300)에서는 기능적으로 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다. 본 실시 예에서 영상 처리 수단(300)은 입력영상에 대해, 영상 내에서 움직이는 물체의 변화빈도를 나타내는 민감도를 산출하여 움직임 검출 결과에 반영함으로써 관심 이외의 정보를 차단한다. 이하, 영상 처리 수단(300)의 상세한 설명은 하기에 설명하도록 한다.
디스플레이 수단(400)은 영상 처리 수단(300)에서 처리된 영상을 디스플레이 한다. 디스플레이 수단(400)은 사용자가 모니터하고자 하는 적어도 하나 이상의 채널 영상을 분할하여 디스플레이 할 수 있다. 이러한 디스플레이 수단(400)은 액정 디스플레이(LCD), 유기 발광 디스플레이(OLED), 전기 영동 디스플레이(EPD), 플렉서블 디스플레이, 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수도 있다.
이어서, 영상 처리 수단(300)에 대해 상세히 설명하도록 한다. 영상 처리 수단(300)은 움직임 검출부(310), 움직임 벡터 생성부(320), 민감도 처리부(330), 움직임 처리부(340) 및 움직임 보정부(350)를 포함할 수 있다.
움직임 검출부(310)는 기준영상 및 입력영상을 비교하여 입력 영상으로부터 물체를 검출한다. 여기서, 기준영상은, 물체를 촬영하여 생성된 영상 데이터에 포함되는 영상들 중에서 흔들림이 가장 적은 영상 또는 이들을 누적한 영상일 수 있다.
움직임 벡터 생성부(320)는 입력영상으로부터 복수개의 대표점들을 선택하고, 선택한 대표점들에 대하여 대표점 움직임 벡터를 생성한다. 여기서, 대표점은 영상에 고르게 분포하도록 임의로 설정할 수 있다. 또한 움직임 벡터 생성부(320)는 영상 처리수단(300)에 구비되어 크기와 방향을 갖는 대표점의 움직임 벡터를 생성할 수 있다.
그러나, 이와는 별도로 DIS(digital image stabilization) 장치(미도시)에 의해 크기와 방향을 갖는 대표점의 움직임 벡터를 생성할 수도 있다. 전반적인 카메라 기술이 발달하고, 감시 카메라의 본연 기능인 영상의 분별력 향상을 위해 고해상도의 영상이 중요해짐에 따라, 고화소의 영상 정보가 감시 카메라에 매우 중요한 기본 기능이 되고 있다. 영상 진동의 왜곡 정도는 고해상도의 영상에서 더욱 심해지는 것이 일반적이며, 이에 따라 영상의 안정성 유지를 위해 DIS와 같은 영상 처리는 기초적인 감시 카메라 기능으로 필수적이다. 영상 떨림 발생 시에 DIS 장치가 샘플링하는 움직임 벡터 정보는 현재 영상의 왜곡 정도를 나타내며, 이 지표는 움직임 검출 처리에서 활용하는 정보가 될 수 있다. DIS 장치는 전체 영상에 대한 부분적인 움직임 벡터를 활용하여 전체 영상의 움직임을 판단하는 원리이며, 움직임 벡터의 방향과 크기 정보를 종합하여 현재 입력영상의 상황을 유추할 수 있다.
민감도 처리부(330)는 움직임 벡터 생성부(320)로부터 출력되는 대표점 움직임 벡터에 대한 크기 및 방향에 대한 일관성 여부를 산출하고, 대표점 움직임 벡터의 크기 및 방향에 대한 일관성 여부에 따라 민감도를 생성한다. 종래의 DIS 처리를 위한 용도로만 사용되었던 대표점 움직임 벡터 정보를, 저장 및 가공하여 움직임 검출 결과에 적용할 수 있다. 여기서 민감도는 영상 내에서 움직이는 물체의 변화빈도를 나타낸다. 이와 같은 민감도를 움직임 검출 결과에 적용하여 관심 이외의 정보를 차단할 수 있게 된다. 예를 들어, 눈, 비가 오는 상황과 같이 불필요한 움직임(관심 이외의 정보)이 많은 영상에서는 민감도를 낮추고, 그 반대의 상황에서는 민감도를 높이면, 사용자가 원하는 관심 정보를 획득할 수 있다.
이러한 민감도 처리부(330)는 크기 산출부(331), 방향 산출부(332) 및 민감도 산출부(333)를 포함할 수 있다.
크기 산출부(331)는 대표점 움직임 벡터의 평균 크기를 소정 시간 누적 처리한다. 소정 시간으로 누적한 움직임 벡터의 평균 크기를 종합하여, 해당 현상이 일시적인 형상인지 지속적인 현상인지 판단할 수 있다. 일시적인 현상일 경우, 예를 들어, 눈, 비 등의 요인일 가능성이 현저히 줄어들고, 움직임 검출이 감지해야 할 순간적인 움직임일 가능성이 커지게 된다.
방향 산출부(332)는 대표점 움직임 벡터의 평균 방향을 소정 시간 누적 처리하여 방향에 대한 일관성 여부를 산출한다. 여기서 대표점 벡터의 평균 방향의 누적이 의미하는 것은 영상의 지속적이고 전체적인 변화를 의미한다. 이로부터 예를 들어, 지속적인 바람 등에 의해 나뭇잎과 같은 사물이 동일한 방향으로 동시에 움직이거나, 폭우/폭설로 인한 눈이나 비와 같은 사물의 동시적인 움직임을 예측할 수 있다.
민감도 산출부(333)는 움직임 벡터의 누적 크기 및 대표점 움직임 벡터의 누적 방향 일관성 여부에 따라 다른 민감도를 생성하는데, 일반적인 상황에서는 움직임 검출 민감도를 충분히 높게(기준값 이상) 유지하여 감시 장비의 특정 목적 하, 최대한의 움직임 검출 성능을 유지하다가, 움직임 벡터 생성부(320)로부터 출력되는 움직임 벡터의 누적 크기가 기준값 이상이고 대표점 움직임 벡터의 누적 방향이 일관성이 있는 경우 민감도를 기준 민감도 보다 낮게 설정한다. 여기서, 움직임 벡터의 누적 크기가 기준값 이상이고 대표점 움직임 벡터의 누적 방향이 일관성이 있는 경우라 함은 영상 내에 관심 이외의 정보 즉, 예를 들어, 눈/비와 같은 움직임이 존재함을 의미한다.
또한 민감도 산출부(333)는 대표점 움직임 벡터의 누적 크기가 기준값 미만이고, 움직임 벡터의 누적 방향이 일관성이 있는 경우 및 대표점 움직임 벡터의 누적 크기가 기준값 이상이고, 움직임 벡터의 누적 방향이 일관성이 없는 경우 민감도를 기준 민감도 보다 높게 설정한다. 여기서, 대표점 움직임 벡터의 누적 크기가 기준값 미만이고, 움직임 벡터의 누적 방향이 일관성이 있는 경우 또는 대표점 움직임 벡터의 누적 크기가 기준값 이상이고, 움직임 벡터의 누적 방향이 일관성이 없는 경우라 함은 영상 내에 관심 정보가 더 많이 존재함을 의미한다.
이와 같이 움직임 벡터의 누적 크기 및 대표점 움직임 벡터의 누적 방향 일관성 여부에 따라 다른 민감도를 생성하여, 움직임 검출 시에 불필요하게 동작하여도 사용자로 하여금 정확한 움직임에 대한 정보를 전달하게 하고, 동시에 감시 장치의 불필요한 소비 전력을 줄임으로써 성능 낭비를 줄일 수 있게 된다.
움직임 처리부(340)는 움직임 검출부(310)의 움직임 검출 결과에 민감도를 반영하여 관심 이외의 정보를 차단하도록 한다. 이와 같은 움직임 검출 결과에 민감도를 반영한 움직임 처리부(340)의 동작으로 목표로 하는 물체 검출의 정확도를 향상시킬 수 있게 된다.
움직임 보정부(350)는 민감도가 반영된 움직임 처리 결과를 이용하여 움직임을 보정한 후 디스플레이 수단(400)으로 출력한다.
이어서, 도 3 및 도 4를 참조하여 본 발명의 일 실시 예에 따른 움직임 검출 방법을 설명하기로 한다. 본 발명에 따른 움직임 처리 방법은 도 1에 도시된 바와 같이 주변 구성요소들의 도움을 받아 영상 처리 수단(300)에서 수행될 수 있다. 이하의 설명에서 도 1 및 도 2에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 3을 참조하면, 영상 처리 수단(300)은 기준영상 및 입력영상의 비교에 의한 움직임을 검출하는 단계(S100)를 수행한다. 여기서, 기준영상은, 물체를 촬영하여 생성된 영상 데이터에 포함되는 영상들 중에서 흔들림이 가장 적은 영상 또는 이들을 누적한 영상일 수 있다.
영상 처리 수단(300)은 입력영상으로부터 복수개의 대표점들을 선택하고, 선택한 대표점들에 대하여 대표점 움직임 벡터를 생성하는 단계(S200)를 수행한다. 여기서 대표점 움직임 벡터는 영상 처리 수단(300)에서 생성될 수 있고, 이와는 별도로 DIS(digital image stabilization) 알고리즘에 의해 생성될 수도 있다.
영상 처리 수단(300)은 대표점 움직임 벡터에 대한 크기 및 방향에 대한 일관성 여부를 산출하고, 대표점 움직임 벡터의 크기 및 방향에 대한 일관성 여부에 따라 민감도를 생성한다. 여기서 민감도는 영상 내에서 움직이는 물체의 변화빈도를 나타낸다. 이와 같은 민감도를 움직임 검출 결과에 적용하여 관심 이외의 정보를 차단할 수 있게 된다. 예를 들어, 눈, 비가 오는 상황과 같이 불필요한 움직임(관심 이외의 정보)이 많은 영상에서는 민감도를 낮추고, 그 반대의 상황에서는 민감도를 높이면, 사용자가 원하는 관심 정보를 획득할 수 있다.
도 4에는 민감도 처리 방법의 상세 흐름도가 도시되어 있다. 도 4를 참조하면, 영상 처리 수단(300)은 대표점 움직임 벡터의 평균 크기를 소정 시간 누적 처리하는 단계(S310)를 수행한다. 소정 시간으로 누적한 움직임 벡터의 평균 크기를 종합하여, 해당 현상이 일시적인 형상인지 지속적인 현상인지 판단할 수 있다.
영상 처리 수단(300)은 대표점 움직임 벡터의 평균 방향을 소정 시간 누적 처리하여 방향에 대한 일관성 여부를 산출하는 단계(S320)를 수행한다. 여기서 대표점 벡터의 평균 방향의 누적이 의미하는 것은 영상의 지속적이고 전체적인 변화를 의미한다.
영상 처리 수단(300)은 일반적인 상황에서는 움직임 검출 민감도를 충분히 높게(기준값 이상) 유지하여 감시 장비의 특정 목적 하, 최대한의 움직임 검출 성능을 유지하다가, 움직임 벡터의 누적 크기가 기준값 이상이고 대표점 움직임 벡터의 누적 방향이 일관성이 있는 경우 민감도를 기준 민감도 보다 낮게 설정하는 단계(S330)를 수행한다. 여기서, 움직임 벡터의 누적 크기가 기준값 이상이고 대표점 움직임 벡터의 누적 방향이 일관성이 있는 경우라 함은 영상 내에 관심 이외의 정보 즉, 예를 들어, 눈/비와 같은 움직임이 존재함을 의미한다.
영상 처리 수단(300)은 대표점 움직임 벡터의 누적 크기가 기준값 미만이고, 움직임 벡터의 누적 방향이 일관성이 있는 경우 및 대표점 움직임 벡터의 누적 크기가 기준값 이상이고, 움직임 벡터의 누적 방향이 일관성이 없는 경우 민감도를 기준 민감도 보다 높게 설정하는 단계(S340)를 수행한다. 여기서, 대표점 움직임 벡터의 누적 크기가 기준값 미만이고, 움직임 벡터의 누적 방향이 일관성이 있는 경우 또는 대표점 움직임 벡터의 누적 크기가 기준값 이상이고, 움직임 벡터의 누적 방향이 일관성이 없는 경우라 함은 영상 내에 관심 정보가 더 많이 존재함을 의미한다.
민감도 생성이 완료되면, 영상 처리 수단(300)은 움직임 검출 결과에 민감도를 반영하여 관심 이외의 정보를 차단하는 단계(S400)를 수행한다. 이와 같은 움직임 검출 결과에 민감도를 반영한 움직임 처리부(340)의 동작으로 목표로 하는 물체 검출의 정확도를 향상시킬 수 있게 된다.
이후 영상 처리 수단(300)은 민감도가 반영된 움직임 처리 결과를 이용하여 움직임을 보정한 후 디스플레이 수단(400)으로 출력한다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 감시 카메라 200: 네트워크
300: 영상 처리 수단 310: 움직임 검출부
320: 움직임 벡터 생성부 330: 민감도 처리부
331: 크기 산출부 332: 방향 산출부
333: 민감도 생성부 340: 움직임 처리부
350: 움직임 보정부 400: 디스플레이 수단

Claims (6)

  1. 기준영상 및 입력영상의 비교에 의한 움직임을 검출하는 움직임 검출부;
    상기 입력영상으로부터 복수개의 대표점들을 선택하고, 상기 대표점들에 대하여 대표점 움직임 벡터를 생성하는 움직임 벡터 생성부;
    상기 대표점 움직임 벡터의 크기 및 상기 대표점 움직임 벡터의 방향에 대한 일관성 여부를 산출하고, 상기 대표점 움직임 벡터의 크기 및 방향의 일관성 여부에 따라 상기 영상 내에서 움직이는 물체의 변화빈도를 나타내는 민감도를 생성하는 민감도 처리부; 및
    상기 움직임 검출 결과에 상기 민감도를 반영하여 관심 이외의 정보를 차단하는 움직임 처리부;를 포함하는 것을 특징으로 하는 영상 처리 장치.
  2. 제 1항에 있어서, 상기 움직임 벡터 생성부는,
    DIS(digital image stabilization) 장치에 의해 상기 대표점 움직임 벡터를 생성하는 것을 특징으로 하는 영상 처리 장치.
  3. 제 1항에 있어서, 민감도 처리부는,
    상기 대표점 움직임 벡터의 평균 크기를 소정 시간 누적 처리하는 크기 산출부;
    상기 대표점 움직임 벡터의 평균 방향을 소정 시간 누적 처리하여 상기 방향에 대한 일관성 여부를 산출하는 방향 산출부; 및
    상기 대표점 움직임 벡터의 누적 크기가 기준값 이상이고 상기 대표점 움직임 벡터의 누적 방향이 일관성이 있는 경우 상기 민감도를 기준 민감도 보다 낮게 설정하고, 상기 대표점 움직임 벡터의 누적 크기가 기준값 미만이고, 상기 움직임 벡터의 누적 방향이 일관성이 있는 경우 및 상기 대표점 움직임 벡터의 누적 크기가 기준값 이상이고, 상기 움직임 벡터의 누적 방향이 일관성이 없는 경우 상기 민감도를 기준 민감도 보다 높게 설정하는 민감도 산출부;를 포함하는 것을 특징으로 하는 영상 처리 장치.
  4. 기준영상 및 입력영상의 비교에 의한 움직임을 검출하는 움직임 검출단계;
    상기 입력영상으로부터 복수개의 대표점들을 선택하고, 상기 대표점들에 대하여 대표점 움직임 벡터를 생성하는 움직임 벡터 생성단계;
    상기 대표점 움직임 벡터의 크기 및 상기 대표점 움직임 벡터의 방향에 대한 일관성 여부를 산출하고, 상기 대표점 움직임 벡터의 크기 및 방향의 일관성 여부에 따라 상기 영상 내에서 움직이는 물체의 변화빈도를 나타내는 민감도를 생성하는 민감도 처리단계; 및
    상기 움직임 검출 결과에 상기 민감도를 반영하여 관심 이외의 정보를 차단하는 움직임 처리단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.
  5. 제 4항에 있어서, 상기 움직임 벡터 생성단계는,
    DIS(digital image stabilization) 알고리즘에 의해 상기 대표점 움직임 벡터를 생성하는 단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.
  6. 제 4항에 있어서, 민감도 처리단계는,
    상기 대표점 움직임 벡터의 평균 크기를 소정 시간 누적 처리하는 단계;
    상기 대표점 움직임 벡터의 평균 방향을 소정 시간 누적 처리하여 상기 방향에 대한 일관성 여부를 산출하는 단계;
    상기 대표점 움직임 벡터의 누적 크기가 기준값 이상이고 상기 대표점 움직임 벡터의 누적 방향이 일관성이 있는 경우 상기 민감도를 기준 민감도 보다 낮게 설정하는 단계; 및
    상기 대표점 움직임 벡터의 누적 크기가 기준값 미만이고, 상기 움직임 벡터의 누적 방향이 일관성이 있는 경우 및 상기 대표점 움직임 벡터의 누적 크기가 기준값 이상이고, 상기 움직임 벡터의 누적 방향이 일관성이 없는 경우 상기 민감도를 기준 민감도 보다 높게 설정하는 단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.
KR1020140007943A 2014-01-22 2014-01-22 영상 처리 장치 및 방법 Active KR102150705B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140007943A KR102150705B1 (ko) 2014-01-22 2014-01-22 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140007943A KR102150705B1 (ko) 2014-01-22 2014-01-22 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150087708A true KR20150087708A (ko) 2015-07-30
KR102150705B1 KR102150705B1 (ko) 2020-09-01

Family

ID=53876848

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140007943A Active KR102150705B1 (ko) 2014-01-22 2014-01-22 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102150705B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170086165A (ko) * 2016-01-15 2017-07-26 에스케이텔레콤 주식회사 영상 내 특징점의 움직임 검출 장치 및 방법
KR102339548B1 (ko) * 2020-09-17 2021-12-20 주식회사 올리브앤도브 저전력 도어캠

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940020779A (ko) * 1993-02-27 1994-09-16 김광호 디지탈 영상 안정화 시스템의 적응형 움직임 벡터 결정 방법 및 장치
KR20060020251A (ko) 2004-08-31 2006-03-06 엘지전자 주식회사 감시용 디지털 비디오 레코더에서의 모션 검출 민감도설정장치 및 방법
KR20060100257A (ko) * 2005-03-16 2006-09-20 소니 가부시끼 가이샤 이동 물체 검출 장치 및 방법과 프로그램
JP2010258710A (ja) * 2009-04-23 2010-11-11 Canon Inc 動きベクトル検出装置およびその制御方法、ならびに撮像装置
KR20120072353A (ko) 2010-12-23 2012-07-03 삼성전자주식회사 디지털 이미지 안정화 장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940020779A (ko) * 1993-02-27 1994-09-16 김광호 디지탈 영상 안정화 시스템의 적응형 움직임 벡터 결정 방법 및 장치
KR20060020251A (ko) 2004-08-31 2006-03-06 엘지전자 주식회사 감시용 디지털 비디오 레코더에서의 모션 검출 민감도설정장치 및 방법
KR20060100257A (ko) * 2005-03-16 2006-09-20 소니 가부시끼 가이샤 이동 물체 검출 장치 및 방법과 프로그램
JP2010258710A (ja) * 2009-04-23 2010-11-11 Canon Inc 動きベクトル検出装置およびその制御方法、ならびに撮像装置
KR20120072353A (ko) 2010-12-23 2012-07-03 삼성전자주식회사 디지털 이미지 안정화 장치 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170086165A (ko) * 2016-01-15 2017-07-26 에스케이텔레콤 주식회사 영상 내 특징점의 움직임 검출 장치 및 방법
KR102339548B1 (ko) * 2020-09-17 2021-12-20 주식회사 올리브앤도브 저전력 도어캠

Also Published As

Publication number Publication date
KR102150705B1 (ko) 2020-09-01

Similar Documents

Publication Publication Date Title
JP7140580B2 (ja) ステレオ撮像装置
JP4730431B2 (ja) 目標追尾装置
US8605185B2 (en) Capture of video with motion-speed determination and variable capture rate
CN110072078B (zh) 监控摄像机、监控摄像机的控制方法和存储介质
US11070729B2 (en) Image processing apparatus capable of detecting moving objects, control method thereof, and image capture apparatus
KR102072014B1 (ko) 영상 흔들림 보정을 이용한 영상 안정화 장치 및 방법
US8994838B2 (en) Motion adaptive cropping for video stabilization
JP5887067B2 (ja) 全方位監視画像処理システム
KR20110023472A (ko) 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
KR20130119706A (ko) 이미지 센서를 이동시켜 영상 블러 현상을 보상하는 방법 및 시스템
JP4420906B2 (ja) 撮像装置
US11696040B2 (en) Image processing apparatus that retouches and displays picked-up image, image processing method, and storage medium
US9031355B2 (en) Method of system for image stabilization through image processing, and zoom camera including image stabilization function
KR102592745B1 (ko) 자세 추정 장치, 자세 추정 방법 및 기록 매체에 저장된 컴퓨터 프로그램
US10116865B2 (en) Image processing apparatus and image processing method for calculating motion vector between images with different in-focus positions
JP5155110B2 (ja) 監視装置
KR102150705B1 (ko) 영상 처리 장치 및 방법
JP5118590B2 (ja) 被写体追尾方法及び撮像装置
JP2020095673A (ja) 画像処理装置およびその制御方法、ならびに撮像装置
JP5380336B2 (ja) 撮像装置及びパノラマ画像合成方法並びにそのプログラム
JP2020009099A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2016111561A (ja) 情報処理装置、システム、情報処理方法及びプログラム
JP7302596B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
KR102107137B1 (ko) 팬틸트줌 카메라를 이용한 이벤트 감지방법 및 장치
US10805609B2 (en) Image processing apparatus to generate panoramic image, image pickup apparatus to generate panoramic image, control method of image processing apparatus to generate panoramic image, and non-transitory computer readable storage medium to generate panoramic image

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20140122

PG1501 Laying open of application
PN2301 Change of applicant

Patent event date: 20181005

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20181206

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20140122

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20191202

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200624

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200826

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200827

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230801

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240724

Start annual number: 5

End annual number: 5