[go: up one dir, main page]

KR102720734B1 - 이벤트 신호 처리 방법 및 장치 - Google Patents

이벤트 신호 처리 방법 및 장치 Download PDF

Info

Publication number
KR102720734B1
KR102720734B1 KR1020160098524A KR20160098524A KR102720734B1 KR 102720734 B1 KR102720734 B1 KR 102720734B1 KR 1020160098524 A KR1020160098524 A KR 1020160098524A KR 20160098524 A KR20160098524 A KR 20160098524A KR 102720734 B1 KR102720734 B1 KR 102720734B1
Authority
KR
South Korea
Prior art keywords
event
voxels
grid
signal processing
target voxel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020160098524A
Other languages
English (en)
Other versions
KR20180014992A (ko
Inventor
박진만
류현석
박근주
이현구
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160098524A priority Critical patent/KR102720734B1/ko
Priority to US15/667,214 priority patent/US10346506B2/en
Publication of KR20180014992A publication Critical patent/KR20180014992A/ko
Application granted granted Critical
Publication of KR102720734B1 publication Critical patent/KR102720734B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/02—Mechanical actuation
    • G08B13/14—Mechanical actuation by lifting or attempted removal of hand-portable articles
    • G08B13/1436—Mechanical actuation by lifting or attempted removal of hand-portable articles with motion detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Algebra (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Vascular Medicine (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Discrete Mathematics (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

이벤트 신호 처리 방법 및 장치가 개시된다. 일실시예에 따른 이벤트 신호 처리 방법은 이벤트를 감지하는 이벤트 기반 센서로부터, 이벤트에 대응하는 활성 픽셀의 좌표와 이벤트에 대응하는 타임스탬프를 획득하고, 활성 픽셀의 좌표 및 타임스탬프에 기초하여, 이벤트를 3D 그리드에 포함된 타겟 복셀로 매핑하며, 이벤트에 기초하여, 타겟 복셀의 값을 갱신할 수 있다.

Description

이벤트 신호 처리 방법 및 장치{EVENT SIGNAL PROCESSING METHOD AND APPARATUS}
아래 실시예들은 이벤트 신호를 처리하는 방법 및 장치에 관한 것이다.
얼굴 및 사람 등의 객체를 식별하거나, 객체의 움직임이나 자세, 조명의 변화 등을 인식하기 위해, 센서로부터 획득된 신호를 처리하는 기술이 요구된다. 프레임 영상(Frame Image) 기반 센서는 연속된 영상들의 프레임들과 관련된 신호들을 출력하는데, CIS(Color Image Sensor) 센서를 이용하여 움직임(activity)을 검출하고자 하는 경우, 연속된 영상들의 프레임들을 분석하여 움직이지 않는 배경과 움직이는 객체를 구별하는 기법이 활용된다. 프레임 영상 기반 센서로부터 출력되는 신호들을 처리하기 위해서는, 연속된 영상들의 프레임들을 생성하고, 움직임을 검출하기 위해 각 프레임을 처리하고, 프레임들 간의 변화를 측정하고, 다양한 배경과 조명의 변화, 센서 노이즈(sensor noise)에서도 양호한(robust) 성능을 유지하기 위한 추가적인 작업들이 필요하다. 다만, 이러한 작업들을 처리하기 위한 연산력(computing power)을 확보하기 위해서는, 하드웨어의 부하 가중, 높은 소비 전력 및 구현 장치의 단가 상승이 야기될 수 있다.
삭제
한국공개특허KR 10-2015-0081801 한국공개특허KR 10-2013-0040517 한국공개특허KR 10-2015-0120124 미국공개특허US 20160078001
일실시예에 따른 이벤트 신호 처리 방법은 이벤트를 감지하는 이벤트 기반 센서로부터, 상기 이벤트에 대응하는 활성 픽셀의 좌표와 상기 이벤트에 대응하는 타임스탬프를 획득하는 단계; 상기 활성 픽셀의 좌표 및 상기 타임스탬프에 기초하여, 상기 이벤트를 3D(three dimensions) 그리드에 포함된 타겟 복셀로 매핑하는 단계; 및 상기 이벤트에 기초하여, 상기 타겟 복셀의 값을 갱신하는 단계를 포함한다.
일실시예에 따른 상기 매핑하는 단계는 상기 3D 그리드의 크기 및 상기 이벤트 기반 센서의 해상도에 기초하여, 상기 활성 픽셀의 좌표 및 상기 타임스탬프를 상기 타겟 복셀의 좌표로 변환하는 단계를 포함할 수 있다.
일실시예에 따른 상기 3D 그리드는 x축의 좌표, y축의 좌표 및 t축의 좌표로 식별되는 복셀들을 포함하고, 상기 3D 그리드의 크기는 상기 x축의 복셀 수, 상기 y축의 복셀 수 및 상기 t축의 복셀 수로 정의될 수 있다.
일실시예에 따른 상기 타겟 복셀의 값을 갱신하는 단계는 상기 타겟 복셀로 매핑되는 이벤트들의 수에 기초하여, 상기 타겟 복셀의 값을 갱신하는 단계를 포함할 수 있다.
일실시예에 따른 상기 타겟 복셀의 값을 갱신하는 단계는 상기 이벤트들의 수가 임계값을 초과하는 경우, 상기 타겟 복셀의 값을 미리 정의된 값으로 결정하는 단계를 포함할 수 있다.
일실시예에 따른 이벤트 신호 처리 방법은 상기 이벤트들의 수가 임계값을 초과하는 경우, 상기 이벤트들과 연관된 움직임(activity)을 검출하는 단계를 더 포함할 수 있다.
일실시예에 따른 상기 이벤트 기반 센서의 센싱 픽셀들 중 상기 이벤트를 감지한 활성 픽셀은 활성화 신호를 출력하고, 상기 이벤트 기반 센서는 상기 활성화 신호에 기초하여, 상기 활성 픽셀의 주소 및 상기 이벤트를 감지한 시간을 나타내는 상기 타임스탬프를 포함하는 이벤트 신호를 출력하며, 상기 이벤트에 대응하는 활성 픽셀의 좌표와 상기 이벤트에 대응하는 타임스탬프를 획득하는 단계는 상기 이벤트 기반 센서로부터 상기 이벤트 신호를 획득하는 단계; 상기 이벤트 신호에 기초하여, 상기 센싱 픽셀들 중 상기 활성 픽셀의 좌표를 획득하는 단계; 및 상기 이벤트 신호에 기초하여, 상기 타임스탬프를 획득하는 단계를 포함할 수 있다.
일실시예에 따른 이벤트 신호 처리 방법은 상기 3D 그리드의 복셀들의 값들에 기초하여, 이벤트들과 연관된 움직임을 검출하는 단계; 및 상기 검출된 움직임에 응답하여, 상기 이벤트 기반 센서의 모드를 전환하는 단계를 더 포함하고, 상기 모드는 상기 센싱 픽셀들 중 일부만 이벤트를 감지하는 상태인 저전력 모드(low energy mode) 및 상기 센싱 픽셀들 전부가 이벤트를 감지하는 상태인 전 해상도 모드(full resolution mode) 중 적어도 하나를 포함할 수 있다.
일실시예에 따른 이벤트 신호 처리 방법은 상기 3D 그리드의 복셀들 중 제2 타겟 복셀과 상기 제2 타겟 복셀의 주변 복셀들 간의 공간적 연관관계들(spatial correlations) 또는 시간적 연관관계들(temporal correlations)에 기초하여, 새로운 3D 그리드를 생성하는 단계를 더 포함할 수 있다.
일실시예에 따른 상기 새로운 3D 그리드를 생성하는 단계는 상기 3D 그리드의 복셀들 중 상기 제2 타겟 복셀과 t축의 좌표가 같은 주변 복셀들 및 상기 제2 타겟 복셀 간의 공간적 연관관계들을 측정하는 단계; 및 상기 측정된 공간적 연관관계들에 기초하여, 상기 새로운 3D 그리드의 복셀들 중 상기 제2 타겟 복셀에 대응하는 복셀의 값을 갱신하는 단계를 포함할 수 있다.
일실시예에 따른 상기 새로운 3D 그리드를 생성하는 단계는 상기 3D 그리드의 복셀들 중 상기 제2 타겟 복셀과 x축의 좌표 및 y축의 좌표가 같은 주변 복셀들 및 상기 제2 타겟 복셀 간의 시간적 연관관계들을 측정하는 단계; 및 상기 측정된 시간적 연관관계들에 기초하여, 상기 새로운 3D 그리드의 복셀들 중 상기 제2 타겟 복셀에 대응하는 복셀의 값을 갱신하는 단계를 포함할 수 있다.
일실시예에 따른 이벤트 신호 처리 방법은 상기 시간적 연관관계들에 기초하여 생성된 새로운 3D 그리드의 복셀들 중 x축의 좌표 및 y축의 좌표가 같은 연속적인 복셀들의 값들이 서로 같은 경우, 상기 연속적인 복셀들에 대응하는 이벤트들을 노이즈로 결정하는 단계를 더 포함할 수 있다.
일실시예에 따른 이벤트 신호 처리 방법은 상기 시간적 연관관계들에 기초하여 생성된 새로운 3D 그리드의 복셀들 중 x축의 좌표 및 y축의 좌표가 같은 연속적인 복셀들의 값들이 임계값보다 크고, 상기 연속적인 복셀들의 수가 미리 정의된 수보다 큰 경우, 상기 연속적인 복셀들에 대응하는 이벤트들을 움직임으로 결정하는 단계를 더 포함할 수 있다.
일실시예에 따른 상기 새로운 3D 그리드를 생성하는 단계는 상기 제2 타겟 복셀의 값과 주변 복셀의 값의 차이를 계산하는 단계; 상기 계산된 차이를 임계값과 비교하는 단계; 및 상기 비교 결과에 기초하여, 상기 새로운 3D 그리드의 복셀들 중 상기 제2 타겟 복셀에 대응하는 복셀의 값을 갱신하는 단계를 포함할 수 있다.
일실시예에 따른 이벤트 신호 처리 방법은 상기 새로운 3D 그리드의 복셀들 중 임계값을 초과하는 값을 가진 복셀들의 수가 미리 정의된 수를 초과하는 경우, 움직임을 검출하는 단계를 더 포함할 수 있다.
일실시예에 따른 이벤트 신호 처리 방법은 상기 새로운 3D 그리드의 복셀들의 값들에 기초하여, 이벤트들에 대응하는 특징을 추출하는 단계; 및 상기 특징에 기초하여, 상기 이벤트들에 대응하는 움직임의 유형을 분류하는 단계를 더 포함할 수 있다.
일실시예에 따른 이벤트 신호 처리 장치는 이벤트를 감지하는 이벤트 기반 센서로부터, 상기 이벤트에 대응하는 활성 픽셀의 좌표와 상기 이벤트에 대응하는 타임스탬프를 획득하고, 상기 활성 픽셀의 좌표 및 상기 타임스탬프에 기초하여, 상기 이벤트를 3D(three dimensions) 그리드에 포함된 타겟 복셀로 매핑하고, 상기 이벤트에 기초하여, 상기 타겟 복셀의 값을 갱신하는 프로세서를 포함한다.
일실시예에 따른 상기 프로세서는 상기 3D 그리드의 크기 및 상기 이벤트 기반 센서의 해상도에 기초하여, 상기 활성 픽셀의 좌표 및 상기 타임스탬프를 상기 타겟 복셀의 좌표로 변환할 수 있다.
일실시예에 따른 이벤트 신호 처리 장치는 이벤트 기반 센서에 의해 감지된 이벤트들 중 복셀들에 매핑되는 이벤트들의 수에 기초하여 정의되는 3D 그리드를 획득하고, 상기 3D 그리드의 복셀들 중 타겟 복셀과 상기 타겟 복셀의 주변 복셀들 간의 공간적 연관관계들(spatial correlations) 또는 시간적 연관관계들(temporal correlations)에 기초하여, 새로운 3D 그리드를 생성하는 프로세서를 포함한다.
도 1은 일실시예에 따른 이벤트 신호 처리 방법을 설명하기 위한 도면이다.
도 2는 일실시예에 따른 이벤트 신호 처리 방법을 설명하기 위한 순서도이다.
도 3은 일실시예에 따른 3D 그리드의 갱신 과정을 설명하기 위한 도면이다.
도 4는 일실시예에 따른 3D 그리드의 갱신 과정을 설명하기 위한 도면이다.
도 5는 일실시예에 따른 새로운 3D 그리드를 생성하는 기법을 설명하기 위한 도면이다.
도 6은 일실시예에 따른 새로운 3D 그리드를 생성하는 기법을 설명하기 위한 도면이다.
도 7은 일실시예에 따른 움직임을 검출하는 과정을 설명하기 위한 도면이다.
도 8은 일실시예에 따른 이벤트 신호 처리 장치의 예시도이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다. 예를 들어, 실시예들은 스마트 폰, 모바일 기기, 스마트 홈 시스템 등에서 사용자를 인식하는데 적용될 수 있다. 실시예들은 사용자 인식을 통한 결제 서비스에 적용될 수 있다. 또한, 실시예들은 사용자를 인식하여 자동으로 시동을 거는 지능형 자동차 시스템 등에도 적용될 수 있다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 이벤트 신호 처리 방법을 설명하기 위한 도면이다.
도 1을 참조하면, 일실시예에 따른 이벤트 신호 처리 장치는 픽셀의 주소와 감지 시각으로 식별되는 이벤트들(101 및 102)을 공간과 시간을 스케일러블(scalable) 크기로 구분한 3차원 그리드의 복셀들(V1 및 V2)로 매핑할 수 있다. 이벤트 신호 처리 장치는 이벤트들(101 및 102)이 복셀들(V1 및 V2)로 각각 매핑된 3차원 그리드를 저장할 수 있다. 이벤트 신호 처리 장치는 저장된 3차원 그리드를 이용하여, 이벤트들의 발생 빈도를 측정하거나 이벤트들의 변화량을 분석할 수 있다. 이벤트 신호 처리 장치는 3차원 그리드로부터 분석된 정보를 이용하여, 이벤트들과 연관된 의미 있는 움직임(activity)의 발생 여부를 판정하고, 움직임의 유형을 분류하고, 이벤트들의 패턴(pattern)을 추출하여 얼굴 및 사람 등의 객체를 식별하거나, 객체의 움직임이나 자세, 조명의 변화 등을 인식할 수 있다. 여기서, 의미 있는 움직임(activity)이란 감지된 이벤트들로부터 유추할 수 있는 실용적인 결론들을 포함하는데, 예를 들어, 센서의 사양, 객체 검출에 악영향을 주는 조명 조건과 같은 요인으로부터 발생하는 노이즈 또는 오 경보(false alarm) 등은 의미 있는 움직임으로부터 제외될 수 있다.
일실시예에 따르면, 이벤트 신호 처리 장치는 이벤트 신호를 처리하는 장치로, 예를 들어 소프트웨어 모듈, 하드웨어 모듈, 또는 이들의 다양한 조합으로 구현될 수 있다. 이벤트 신호 처리 장치는 이벤트 기반 센서로부터 출력되는 이벤트 신호에 기초하여, 이벤트를 분석할 수 있다. 또는, 이벤트들을 분석하는 어플리케이션으로 가공된 정보를 제공하기 위해, 이벤트 신호 처리 장치는 이벤트 기반 센서로부터 출력되는 이벤트 신호를 전처리하는 전처리 장치일 수 있다. 이벤트 신호 처리 장치는 소프트웨어 모듈로 구현되어 이벤트 기반 센서에 적용될 수 있고, 이벤트 기반 센서의 로직(logic)에 직접 채용되기 위한 하드웨어 모듈로 구현될 수도 있다. 또는, 이벤트 신호 처리 장치는 이벤트 기반 센서와 독립된 별도의 하드웨어 장치로 구현될 수도 있는데, 이벤트 신호 처리 장치의 구현 방식은 설계 의도에 따라 다양하게 응용되거나 변형될 수 있다.
이벤트 기반 센서는 복수의 센싱 픽셀들을 이용하여 이벤트를 감지하고, 이벤트를 감지한 센싱 픽셀의 출력 신호에 기초하여 이벤트 신호를 출력할 수 있다. 복수의 센싱 픽셀들 중에서 이벤트를 감지한 센싱 픽셀을 활성 픽셀이라 한다. 활성 픽셀은 미리 정해진 이벤트를 감지하면 활성화되고, 활성화된 활성 픽셀은 활성화(activation) 신호를 출력한다. 이벤트 기반 센서는 복수의 센싱 픽셀들 중에서 활성 픽셀로부터 출력되는 활성화 신호에 기초하여 이벤트 신호를 생성하고, 생성된 이벤트 신호를 출력할 수 있다. 이벤트 기반 센서는 센싱 픽셀에 의해 감지되는 밝기 변화가 임계값 이상인 이벤트에 대해 응답을 하고, 활성화된 센싱 픽셀들로부터 출력되는 활성화 신호들에 기초하여 이벤트 신호들을 출력한다.
일실시예에 따르면, 이벤트 기반 센서가 이벤트들의 흐름을 감지하여 출력된 이벤트 신호들에 기초하여 형성된 영상은, 이동하는 객체의 윤곽에 대한 정보를 대체적으로 반영하지만 색상 및 텍스쳐 등의 구체적인 정보는 포함하지 않을 수 있다. 여기서, 이벤트들의 흐름은 이벤트 기반 센서의 센싱 픽셀들에 의해 감지된 이벤트들의 시계열적인 흐름을 포함한다. 예를 들어, 이벤트 기반 센서에 의해 이벤트들(예를 들어, 빛의 변화)이 감지되면, 이벤트들의 흐름은 옵티컬 플로우(Optical Flow)의 벡터로 표현될 수 있다. 일실시예에 따르면, 이벤트 기반 센서는 DVS(Dynamic Vision Sensor)를 포함한다.
이벤트는 센싱 픽셀들에 의해 감지되는 현상이고, 복수의 센싱 픽셀들 각각은 미리 정해진 이벤트를 감지하여 활성화(activation) 신호를 출력할 수 있다. 센싱 픽셀이 감지하는 이벤트는 이벤트 기반 센서의 종류에 따라 다양하게 정의될 수 있다. 예를 들어 이벤트 기반 센서는 복수의 센싱 픽셀들로 입사되는 빛의 세기(intensity)가 변하는 이벤트를 감지할 수 있다. 또한, 이벤트는 주파수, 파동의 세기 및 힘의 크기 등의 변화로 정의되어 이벤트 기반 센서에 적용될 수 있고, 이벤트를 정의하는 정량적인 관계는 다양하게 응용되거나 변형될 수 있다.
이벤트 기반 센서에 의하여 감지되는 이벤트들은 다양한 시나리오에 의하여 발생될 수 있다. 예를 들어, 이벤트 기반 센서의 감지 범위 내에서 객체가 움직이는 경우, 이벤트 기반 센서 자체가 움직이는 경우, 이벤트 기반 센서의 감지 범위 내에 위치하는 객체에 투사되는 빛이 변하는 경우, 또는 이벤트 기반 센서의 감지 범위 내에 위치하는 발광체로부터 발생되는 빛이 변하는 경우, 이벤트 기반 센서의 센싱 픽셀들은 이벤트들을 감지할 수 있다.
이벤트 기반 센서의 센싱 픽셀들은 미리 정의된 조건을 충족하는 이벤트를 감지할 수 있다. 예를 들어, 이벤트 기반 비전 센서의 센싱 픽셀들은 입사되는 빛의 세기의 변화가 미리 정의된 임계치 이상인 이벤트를 감지하여 활성화 신호를 출력할 수 있다. 이벤트 기반 센서는 센싱 픽셀로부터 출력되는 활성화 신호에 기초하여 이벤트 신호를 출력할 수 있다. 이벤트 신호는 활성화 신호를 출력하는 활성 픽셀을 식별하는 정보(예를 들어, 활성 픽셀의 주소, 활성 픽셀의 좌표 또는 인덱스 등) 및 활성 픽셀에 의해 이벤트가 감지된 시간 정보(예를 들어, 타임스탬프 등)를 포함할 수 있다. 이벤트 신호는 이벤트의 유형(예를 들어, 극성 정보 등)을 더 포함할 수 있다. 이벤트 기반 센서는 이벤트 신호에 포함된 활성 픽셀의 좌표에 기초하여 이벤트를 감지한 활성 픽셀을 식별할 수 있고, 이벤트 신호에 포함된 타임스탬프에 기초하여 활성 픽셀에 의해 이벤트가 감지된 시각을 획득할 수 있다.
이벤트 기반 센서는 시리얼 통신 방식(serial communication type)으로 이벤트 신호들을 출력할 수 있다. 이벤트 기반 센서는 미리 설정된 센싱 단위로 이벤트를 감지할 수 있다. 예를 들어, 이벤트 기반 센서가 micro second 단위로 이벤트를 감지하도록 설계된 경우, 이벤트 기반 센서는 micro second 단위의 이산적인(discrete) 이벤트 신호들을 출력할 수 있고, 이벤트에 대응하는 타임스탬프는 micro second 단위로 표현된 시각의 값일 수 있다. 전술한 바와 같이, 각 이벤트 신호들은 이벤트를 감지한 활성 픽셀의 식별 정보를 포함하므로, 이벤트 신호 처리 장치는 이벤트 신호에 대응하는 활성 픽셀을 식별할 수 있다.
도 2는 일실시예에 따른 이벤트 신호 처리 방법을 설명하기 위한 순서도이다.
도 2를 참조하면, 이벤트 신호 처리 장치는 이벤트를 감지하는 이벤트 기반 센서로부터, 이벤트에 대응하는 활성 픽셀의 좌표와 이벤트에 대응하는 타임스탬프를 획득할 수 있다(201). 이벤트 기반 센서의 센싱 픽셀들 중 이벤트를 감지한 활성 픽셀은 활성화 신호를 출력하고, 이벤트 기반 센서는 활성화 신호에 기초하여, 이벤트 신호를 출력하는데, 여기서 이벤트 신호는 활성 픽셀의 주소 및 이벤트를 감지한 시간을 나타내는 타임스탬프를 포함할 수 있다. 이벤트 신호 처리 장치는 이벤트 기반 센서로부터 이벤트 신호를 획득하고, 획득된 이벤트 신호에 기초하여, 센싱 픽셀들 중 활성 픽셀의 좌표 및 타임스탬프를 획득할 수 있다.
이벤트 신호 처리 장치는 활성 픽셀의 좌표 및 타임스탬프에 기초하여 이벤트를 3D(three dimensions) 그리드에 포함된 타겟 복셀로 매핑할 수 있다(202). 여기서, 3D 그리드는 3차원의 인덱스(index)로 식별되는 복셀들의 집합으로서, 예를 들면 3D 그리드는 x축의 좌표, y축의 좌표 및 t축의 좌표로 식별되는 복셀들을 포함할 수 있다. x축 및 y축은 위치 또는 공간의 의미를 내포하고, t축은 시간의 의미를 내포할 수 있다. 3D 그리드의 크기는 x축의 복셀 수, y축의 복셀 수 및 t축의 복셀 수로 정의될 수 있다. 예를 들어, 3D 그리드는 (x축의 복셀 수) * (y축의 복셀 수) * (t축의 복셀 수)로 표현될 수 있다. 3D 그리드의 크기는 스케일러블(scalable)하므로, 설계 의도에 따라 다양하게 응용 또는 변형될 수 있고, 3D 그리드의 크기에 따라 정의되는 3D 그리드는 양자화된 인덱스로 복셀들을 식별할 수 있다.
이벤트 신호 처리 장치는 3D 그리드의 크기 및 이벤트 기반 센서의 해상도에 기초하여 활성 픽셀의 좌표 및 타임스탬프를 타겟 복셀의 좌표로 변환할 수 있다. 여기서, 타겟 복셀은 3D 그리드의 복셀들 중 이벤트가 매핑되는 복셀을 의미한다. 이벤트 기반 센서의 해상도는 이벤트 기반 센서의 센싱 픽셀들의 수에 기초하여 정의될 수 있는데, 예를 들면 센싱 픽셀들이 포함된 픽셀 평면의 (열(column)의 수) * (행(row)의 수)로 표현될 수 있다. 열의 수는 너비(width)에 해당하고, 행의 수는 높이(height)에 해당할 수 있다. 가령, 이벤트 기반 센서의 해상도는 640*480으로 표현될 수 있다.
이벤트 신호 처리 장치는 이벤트에 대응하는 활성 픽셀의 좌표를 스케일링하여 3D 그리드의 x축의 좌표 및 y축의 좌표를 획득할 수 있다. 이벤트 신호 처리 장치는 이벤트에 대응하는 타임스탬프를 양자화하여 3D 그리드의 t축의 좌표를 획득할 수 있다. 이벤트 신호 처리 장치는 획득된 좌표를 이용하여, 이벤트를 매핑하고자 하는 타겟 복셀을 특정할 수 있다. 이벤트를 타겟 복셀로 매핑시키는 실시예는 도 3 및 도 4를 참조하여 설명한다.
이벤트 신호 처리 장치는 이벤트에 기초하여 타겟 복셀의 값을 갱신할 수 있다(203). 이벤트 신호 처리 장치는 이벤트의 매핑 결과를 이용하여 타겟 복셀의 값을 갱신할 수 있는데, 예를 들면 이벤트 신호 처리 장치는 매핑의 횟수를 카운트하고 카운트된 횟수에 따라 타겟 복셀의 값을 갱신할 수 있다. 또는, 이벤트 신호 처리 장치는 타겟 복셀에 매핑된 이벤트들의 수와 임계값을 비교하고, 비교 결과를 이용하여 타겟 복셀의 값을 갱신할 수 있다. 타겟 복셀의 값을 갱신하는 실시예는 도 3 및 도 4를 참조하여 설명한다.
도 3은 일실시예에 따른 3D 그리드의 갱신 과정을 설명하기 위한 도면이다.
도 3을 참조하면, 이벤트 신호 처리 장치는 이벤트들(E1 내지 E7)을 각각 3D 그리드의 복셀들(V1 및 V2)로 매핑할 수 있다. 도시된 바와 같이, 이벤트 기반 센서의 해상도는 W*H이고, 이벤트 신호 처리 장치의 센싱 픽셀들은 2D 픽셀 평면의 (x, y)의 좌표로 식별될 수 있다. (x, y)의 좌표에 위치한 활성 픽셀에 의해 시각 t에 감지된 이벤트 E는 (x, y, t)로 표현될 수 있고, 여기서 t는 타임스탬프이다. 따라서, E1은 t1에 활성 픽셀에 의해 감지된 이벤트를 의미하고, E2 및 E3은 t2에 활성 픽셀들에 의해 감지된 이벤트들을 의미하고, E4 내지 E7은 t3에 활성 픽셀들에 의해 감지된 이벤트들을 의미한다.
도 3을 참조하면, 3D 그리드의 크기는 X*Y*Z인데, 이벤트 신호 처리 장치는 타임스탬프에 따라 Z개의 시간 구간들 중 어느 하나의 시간 구간을 선택하고, W*H 개의 센싱 픽셀들을 선택된 시간 구간에 대응하는 X*Y 개의 복셀들로 구분할 수 있다. 여기서, 3D 그리드는 원형 큐(circular queue)를 이용하여 구현될 수 있다. 예를 들어, Z개의 시간 구간들 각각에 대응하여 X*Y개의 복셀들을 포함하는 어레이가 설정되고, 시간의 흐름에 따라 Z개의 시간 구간들에 대응하는 어레이들이 순환적으로 선택될 수 있다. 또는, 3D 그리드의 XY 평면 상 동일한 위치를 가지는 Z개의 복셀들이 크기가 Z인 원형 큐로 구현될 수 있다. 이 경우, 크기가 Z인 원형 큐들이 X*Y개 설정될 수 있다.
3D 그리드의 크기를 정의하는 X, Y 및 Z는 스케일러블(scalable)하므로, 이벤트 신호 처리 장치는 설계 의도에 따라 X, Y 및 Z를 조정할 수 있다. 예를 들면, 이벤트 신호 처리 장치는 이벤트 기반 센서의 해상도 W*H를 이용하여, 각각의 복셀의 크기가 (W/X)*(H/Y)*1이고, 3D 그리드의 크기는 X*Y*Z인 3D 그리드를 생성할 수 있다.
도 3을 참조하면, 이벤트 신호 처리 장치는 이벤트 기반 센서의 해상도 W*H와 3D 그리드의 크기 X*Y*Z을 이용하여, E1 내지 E3을 V1으로 매핑하고, E4 내지 E7을 V2로 매핑할 수 있다. 이벤트 신호 처리 장치는 이벤트 기반 센서의 해상도 W*H와 3D 그리드의 크기 X*Y*Z에 기초하여, 이벤트에 대응하는 활성 픽셀의 좌표와 타임스탬프를 타겟 복셀의 좌표로 변환할 수 있다.
예를 들면, 이벤트 신호 처리 장치는 이벤트 기반 센서의 해상도 W*H와 3D 그리드의 크기 X*Y*Z을 이용하여, 이벤트 E에 대응하는 (x, y, t)의 좌표를 [x/(W/X), y/(H/Y), t%Z]로 변환할 수 있다. 여기서, 이벤트 신호 처리 장치는 x/(W/X) 또는 y/(H/Y)의 값이 실수인 경우, x/(W/X) 또는 y/(H/Y)의 값을 반올림, 버림 또는 올림 하여 타겟 복셀의 좌표로 이용할 수 있다. 또한, %는 모듈로(modulo) 연산자를 의미하는데, 일실시예에 따르면, 타임스탬프 t는 실수 값일 수 있고, Z는 정수 또는 자연수 일 수 있다. 이 경우, t%Z는 실수일 수 있으므로(예를 들어, 10.4%3=1.4), 이벤트 신호 처리 장치는 t%Z의 값을 정수 또는 자연수로 변환하거나, t의 값을 정수 또는 자연수로 변환한 후 t%Z의 값을 계산할 수 있다. 가령, 이벤트 신호 처리 장치는 t%Z의 값을 반올림, 버림 및 올림 등을 하여 자연수 또는 정수로 변환(예를 들면, 1.4를 1로 변환함)할 수 있다. 또는, 이벤트 신호 처리 장치는 t의 값을 반올림, 버림 및 올림 등을 하여 자연수 또는 정수로 변환한 후, t%Z의 값을 계산(예를 들면, 10%3=1)할 수도 있다.
일실시예에 따르면, 이벤트 기반 센서의 센싱 단위에 기초하여, Z가 설정될 수 있다. 예를 들어, 이벤트 기반 센서가 micro second 단위로 이벤트를 감지하면, 이벤트 기반 센서로부터 출력되는 타임스탬프는 micro second 단위의 값일 수 있다. 일실시예에 따르면, Z는 micro second를 스케일링하여 설정될 수 있다. 예를 들어, 이벤트 신호 처리 장치는 시간 축의 스케일링 파라미터에 따라 t의 값을 연산 처리(예를 들면, t/10 등)한 후, 연산 처리된 t의 값을 타겟 복셀의 좌표로 변환할 수도 있다. 다만, 3D 그리드의 크기가 정의되는 방식이나, 이벤트에 대응하는 타겟 복셀의 좌표를 연산하는 방식은 여기에 제한되지 않고, 다양하게 변형 또는 응용될 수 있다.
이벤트 신호 처리 장치는 (x, y, t)로 식별되는 이벤트 E를 3D 그리드의 복셀들 중 [x/(W/X), y/(H/Y), t%Z]의 좌표를 갖는 타겟 복셀로 매핑할 수 있다. 이벤트 신호 처리 장치는 [x/(W/X), y/(H/Y), t%Z]의 연산자를 이용하여, E1 내지 E3를 V1으로 매핑하고, E4 내지 E7을 V2로 매핑할 수 있다.
일실시예에 따르면, 이벤트 신호 처리 장치는 이벤트들의 매핑 결과를 이용하여 3D 그리드의 타겟 복셀들의 값들을 갱신할 수 있다. 이벤트 신호 처리 장치는 타겟 복셀로 매핑되는 이벤트들의 수를 카운트하고, 카운트된 수에 따라 타겟 복셀의 값을 갱신할 수 있다. 예를 들어, 이벤트 신호 처리 장치는 타겟 복셀로 매핑된 이벤트들의 수가 임계값을 초과하는지 여부에 기초하여 타겟 복셀의 값을 미리 정의된 값으로 결정할 수 있다. 또는, 이벤트 신호 처리 장치는 타겟 복셀로 매핑된 이벤트들의 수를 스케일링하거나 미리 정의된 방식으로 양자화하여 타겟 복셀의 값을 결정할 수도 있다.
도 3을 참조하면, 타겟 복셀 V1에 매핑되는 이벤트들의 수는 3개 이므로, 이벤트 신호 처리 장치는 V1의 값을 3에 대응하는 값으로 갱신할 수 있다. 또한, 타겟 복셀 V2에 매핑되는 이벤트들의 수는 4개 이므로, 이벤트 신호 처리 장치는 V2의 값을 4에 대응하는 값으로 갱신할 수 있다. 만약, 타겟 복셀로 매핑된 이벤트들의 수가 3을 초과하면, 타겟 복셀의 값이 a로 갱신되도록 갱신 조건이 설정되어 있다면, 이벤트 신호 처리 장치는 V1의 값은 갱신하지 않고, V2의 값은 a로 갱신할 수 있다. 타겟 복셀의 값을 갱신하는 방식은 여기에 제한되지 않고, 설계 의도에 따라 다양하게 변형되거나 응용될 수 있다.
도 4는 일실시예에 따른 3D 그리드의 갱신 과정을 설명하기 위한 도면이다.
도 4를 참조하면, 이벤트 신호 처리 장치는 (x, y, t)로 표현되는 이벤트 E(401)를 3D 그리드의 타겟 복셀(402)로 매핑할 수 있다. 이벤트 신호 처리 장치는 타겟 복셀(402)의 값 을 수학식 1을 이용하여 계산할 수 있다.
여기서, x, y 및 t는 이벤트의 x축, y축 및 t축의 좌표이다. X 및 Y는 각각 3D 그리드의 x축의 복셀 수, y축의 복셀 수이고, 는 복셀들 각각의 t축 방향의 크기이다. 및 는 타겟 복셀(402)의 값을 구하기 위한 파라미터들이다. W 및 H는 각각 이벤트 기반 센서의 열의 수 및 행의 수이다. 수학식 1을 참조하면, 이벤트 신호 처리 장치는 타겟 복셀의 값을 연산하기 위해, 소정 공간의 소정 시간 동안에 발생한 이벤트들의 수를 카운트할 수 있다.
이벤트 신호 처리 장치는 타겟 복셀(402)의 값을 수학식 2를 이용하여 계산할 수 있다.
이벤트 신호 처리 장치는 수학식 2의 조건을 만족하면, 를 로 결정할 수 있다.
일실시예에 따르면, 이벤트 신호 처리 장치는 3D 그리드의 복셀들의 값들에 기초하여, 이벤트들과 연관된 움직임(activity)을 검출할 수 있다. 예를 들면, 이벤트 신호 처리 장치는 3D 그리드의 복셀들의 값들을 합하거나, 복셀들의 값들의 분포를 분석하거나, 임계값을 초과한 복셀들의 값들의 수를 카운트하는 방식 등을 이용하여, 3D 그리드의 복셀들의 값들이 움직임을 나타내는 소정의 조건을 충족하는지 여부를 판단할 수 있다. 이벤트 신호 처리 장치는 소정의 조건을 충족하는 3D 그리드의 복셀들의 값들에 응답하여, 움직임의 검출을 트리거(trigger)할 수 있다. 3D 그리드의 복셀들의 값들을 분석하는 기법은 다양한 방식으로 적용될 수 있다. 또한, 이벤트 신호 처리 장치와 독립된 별도의 모듈이나 어플리케이션에 의해 3D 그리드의 복셀들의 값들이 분석될 수 있는데, 이 경우, 이벤트 신호 처리 장치는 이벤트 신호들을 전처리하여 3D 그리드를 생성하고, 생성된 3D 그리드를 외부의 모듈로 제공할 수 있다.
일실시예에 따르면, 이벤트 신호 처리 장치는 3D 그리드의 복셀들의 값들에 기초하여 이벤트들과 연관된 움직임을 검출할 수 있고, 검출된 움직임에 응답하여 이벤트 기반 센서의 모드를 전환할 수 있다. 여기서, 이벤트 기반 센서의 모드는 이벤트 기반 센서의 센싱 픽셀들 중 일부만 이벤트를 감지하는 상태인 저전력 모드(low energy mode)와 이벤트 기반 센서의 센싱 픽셀들 전부가 이벤트를 감지하는 상태인 전 해상도 모드(full resolution mode)를 포함한다. 이벤트 신호 처리 장치는 움직임이 검출되면, 이벤트 기반 센서의 모드를 저전력 모드(low energy mode)로부터 전 해상도 모드(full resolution mode)로 전환할 수 있다. 예를 들어, 640*480의 해상도를 갖는 이벤트 기반 센서의 경우, 움직임을 검출한 이벤트 신호 처리 장치는 1/8의 해상도로 동작하는 이벤트 기반 센서의 저전력 모드(low energy mode)를 전 해상도 모드(full resolution mode)로 전환할 수 있다. 여기서, 이벤트 기반 센서의 모드는 다양하게 정의될 수 있고, 저전력 모드(low energy mode)로부터 전 해상도 모드(full resolution mode)로 전환되는 실시예만 설명하였지만 그 반대도 가능하고 다양한 모드를 조합한 실시예도 적용될 수 있다.
도 5는 일실시예에 따른 새로운 3D 그리드를 생성하는 기법을 설명하기 위한 도면이다.
일실시예에 따른 이벤트 신호 처리 장치는 3D 그리드의 복셀들 간의 공간적 연관관계들(spatial correlations)에 기초하여, 새로운 3D 그리드를 생성할 수 있다. 여기서, 새로운 3D 그리드는 이벤트들을 매핑하여 생성된 3D 그리드와 구별되는 3D 그리드로서, 기 생성된 3D 그리드를 가공하여 새롭게 생성된 3D 그리드를 의미한다. 이벤트 신호 처리 장치는 도 1 내지 4를 참조하여 설명된 3D 그리드의 복셀들의 값들에 기초하여, 공간적 연관관계들을 계산할 수 있고, 계산된 공간적 연관관계들에 기초하여, 새로운 3D 그리드를 생성할 수 있다.
도 5를 참조하면, 이벤트 신호 처리 장치는 3D 그리드의 복셀들 중 제2 타겟 복셀(501)과 제2 타겟 복셀(501)의 주변 복셀들 간의 공간적 연관관계들(502)을 측정할 수 있다. 여기서, 주변 복셀들은 3D 그리드의 복셀들 중 제2 타겟 복셀(501)과 t축의 좌표가 같고, 제2 타겟 복셀(501)에 미리 정해진 범위 이내로 인접한 복셀들일 수 있다. 미리 정해진 범위는 x축의 범위 및 y축의 범위를 포함할 수 있다.
이벤트 신호 처리 장치는 제2 타겟 복셀(501)과 주변 복셀들 간의 공간적 연관관계들(502)에 기초하여, 새로운 3D 그리드의 복셀들 중 제2 타겟 복셀(501)에 대응하는 복셀(503)의 값을 결정할 수 있다. 예를 들어, 공간적 연관관계들(502)은 t축의 좌표가 같은 복셀들의 값들 간의 차이들에 기초하여 정의될 수 있다.
일실시예에 따르면, 이벤트 신호 처리 장치는 제2 타겟 복셀(501)에 대응하는 복셀(503)의 값 을 수학식 3을 이용하여 계산할 수 있다.
여기서, x, y 및 t는 제2 타겟 복셀(501)의 좌표이고, 는 x축 및 y축에서의 제2 타겟 복셀(501)의 값의 변화량이다. 및 는 제2 타겟 복셀(501)에 대응하는 복셀(503)의 값을 구하기 위한 파라미터들이다.
이벤트 신호 처리 장치는 제2 타겟 복셀(501)에 대응하는 복셀(503)의 값을 수학식 4를 이용하여 계산할 수 있다.
이벤트 신호 처리 장치는의 크기를 임계값 와 비교하고, 비교 결과가 수학식 4의 조건을 만족하면, 를 로 결정할 수 있다.
새로운 3D 그리드의 크기는 기 생성된 3D 그리드의 크기와 같게 또는 스케일링된 크기로 설정될 수 있다. 따라서, 설계 의도에 따라 새로운 3D 그리드의 복셀들 중 제2 타겟 복셀(501)에 대응하는 복셀(503)은 제2 타겟 복셀(501)의 좌표와 같을 수도 있고, 스케일링될 수도 있고, 다양한 방식으로 양자화되어 정의될 수도 있다.
공간적 연관관계들(502)에 기초하여 생성된 3D 그리드는 동일한 시간대에서의 이벤트들의 변화량을 나타낼 수 있으므로, 이벤트 신호 처리 장치는 새로운 3D 그리드의 복셀들의 값들을 분석하여, 이벤트들에 대응하는 움직임을 검출하거나, 움직임이 아닌 이벤트들을 노이즈 또는 오 경보(false alarm)로 처리하여 노이즈로 판정된 이벤트들을 필터링 아웃(filtering out)할 수 있다. 이벤트 신호 처리 장치는 오 경보와 대응하는 패턴을 새로운 3D 그리드로부터 추출할 수 있고, 추출된 패턴에 대응하는 이벤트들을 노이즈로 판정할 수 있다. 이벤트 신호 처리 장치는 이벤트들의 변화량을 나타내는 새로운 3D 그리드를 생성하여 메모리로 저장할 수 있다. 이벤트 신호 처리 장치는 생성된 새로운 3D 그리드 또는 저장된 새로운 3D 그리드를 이용하여, 2차 미분 등의 정보를 분석하거나 분산 및 평균을 계산할 수 있다.
도 6은 일실시예에 따른 새로운 3D 그리드를 생성하는 기법을 설명하기 위한 도면이다.
일실시예에 따른 이벤트 신호 처리 장치는 3D 그리드의 복셀들 간의 시간적 연관관계들(temporal correlations)에 기초하여, 새로운 3D 그리드를 생성할 수 있다. 여기서, 새로운 3D 그리드는 이벤트들을 매핑하여 생성된 3D 그리드와 구별되는 3D 그리드로서, 기 생성된 3D 그리드를 가공하여 새롭게 생성된 3D 그리드를 의미한다. 이벤트 신호 처리 장치는 도 1 내지 4를 참조하여 설명된 3D 그리드의 복셀들의 값들에 기초하여, 시간적 연관관계들을 계산할 수 있고, 계산된 시간적 연관관계들에 기초하여, 새로운 3D 그리드를 생성할 수 있다.
도 6를 참조하면, 이벤트 신호 처리 장치는 3D 그리드의 복셀들 중 제2 타겟 복셀(601)과 제2 타겟 복셀(601)의 주변 복셀들 간의 시간적 연관관계들(602)을 측정할 수 있다. 여기서, 주변 복셀들은 3D 그리드의 복셀들 중 제2 타겟 복셀(601)과 x축의 좌표 및 y축의 좌표가 같고, 제2 타겟 복셀(501)에 미리 정해진 범위 이내로 인접한 복셀들일 수 있다. 미리 정해진 범위는 t축의 범위를 포함할 수 있다.
이벤트 신호 처리 장치는 제2 타겟 복셀(601)과 주변 복셀들 간의 시간적 연관관계들(602)에 기초하여, 새로운 3D 그리드의 복셀들 중 제2 타겟 복셀(601)에 대응하는 복셀(603)의 값을 갱신할 수 있다. 예를 들어, 시간적 연관관계들(602)은 과 x축의 좌표 및 y축의 좌표가 같은 복셀들의 값들 간의 차이들에 기초하여 정의될 수 있다.
일실시예에 따르면, 이벤트 신호 처리 장치는 제2 타겟 복셀(601)에 대응하는 복셀(603)의 값 을 수학식 5를 이용하여 계산할 수 있다.
여기서, x, y 및 t는 제2 타겟 복셀(601)의 좌표이고, 는 t축에서의 제2 타겟 복셀(601)의 값의 변화량이다. 및 는 제2 타겟 복셀(601)에 대응하는 복셀(603)의 값을 구하기 위한 파라미터들이다.
이벤트 신호 처리 장치는 제2 타겟 복셀(601)에 대응하는 복셀(603)의 값을 수학식 6을 이용하여 계산할 수 있다.
이벤트 신호 처리 장치는의 크기를 임계값 와 비교하고, 비교 결과가 수학식 6의 조건을 만족하면, 를 로 결정할 수 있다.
새로운 3D 그리드가 정의되는 방식이나 제2 타겟 복셀(601)에 대응하는 복셀(603)의 좌표가 설정되는 방식은 도 5를 참조하여 설명된 실시예가 적용될 수 있다.
시간적 연관관계들(602)에 기초하여 생성된 3D 그리드는 동일한 위치에서의 이벤트들의 변화량을 나타낼 수 있으므로, 이벤트 신호 처리 장치는 도 5를 참조하여 설명된 실시예를 응용하여, 새로운 3D 그리드를 분석할 수 있다.
일실시예에 따르면, 이벤트 신호 처리 장치는 장시간 동안 이벤트들의 변화량이 동일하거나, 계속적으로 이벤트들이 발생하는 경우, 새로운 3D 그리드를 분석하여, 해당 이벤트들을 움직임이 아닌 노이즈로 처리할 수 있다. 예를 들면, 이벤트 신호 처리 장치는 시간적 연관관계들에 기초하여 생성된 새로운 3D 그리드의 복셀들 중 x축의 좌표 및 y축의 좌표가 같은 연속적인 복셀들의 값들이 서로 같은 경우, 연속적인 복셀들에 대응하는 이벤트들을 노이즈로 결정할 수 있다.
일실시예에 따르면, 이벤트 신호 처리 장치는 이벤트들의 변화량들이 특정 임계값을 초과하고, 변화량들이 그 특정 임계값들 초과하는 이벤트들이 특정 시간 이상 지속되는 경우, 이벤트들을 움직임으로 판정할 수 있다. 예를 들면, 이벤트 신호 처리 장치는 시간적 연관관계들에 기초하여 생성된 새로운 3D 그리드의 복셀들 중 x축의 좌표 및 y축의 좌표가 같은 연속적인 복셀들의 값들이 임계값보다 크고, 연속적인 복셀들의 수가 미리 정의된 수보다 큰 경우, 연속적인 복셀들에 대응하는 이벤트들을 움직임으로 결정할 수 있다.
도 5 및 도 6을 참조하여 설명한 바와 같이 이벤트 신호 처리 장치는 기 생성된 3D 그리드의 복셀들의 값들에 기초하여, 새로운 3D 그리드를 생성할 수 있다. 이벤트 신호 처리 장치는 제2 타겟 복셀의 값과 주변 복셀의 값의 차이를 계산하고, 계산된 차이를 임계값과 비교할 수 있다. 이벤트 신호 처리 장치는 비교 결과에 기초하여, 새로운 3D 그리드의 복셀들 중 제2 타겟 복셀에 대응하는 복셀의 값을 갱신할 수 있다. 또한, 이벤트 신호 처리 장치는 새로운 3D 그리드를 분석하여 움직임을 검출할 수 있는데, 예를 들어 새로운 3D 그리드의 복셀들 중 임계값을 초과하는 값을 가진 복셀들의 수가 미리 정의된 수를 초과하는 경우, 움직임을 검출할 수 있다. 일실시예에 따르면, 이벤트 신호 처리 장치는 새로운 3D 그리드의 복셀들의 값들에 기초하여, 이벤트들에 대응하는 특징을 추출하고, 추출된 특징에 기초하여, 이벤트들에 대응하는 움직임의 유형을 분류할 수 있다. 이벤트 신호 처리 장치는 새로운 3D 그리드로부터 이벤트들의 변화량들을 획득할 수 있고, 획득된 이벤트들의 변화량으로부터 옵티컬 플로우를 추출할 수 있다. 이벤트 신호 처리 장치는 옵티컬 플로우의 특징을 이용하여 이벤트들에 대응하는 움직임을 검출하거나 움직임의 유형을 식별할 수 있다.
도 7은 일실시예에 따른 움직임을 검출하는 과정을 설명하기 위한 도면이다.
일실시예에 따른 3D 그리드는 3D 그리드의 복셀들로 매핑되는 이벤트들의 수에 따라 복셀들의 값들이 정의될 수 있다. 도 7을 참조하면, 3D 그리드의 복셀들 중 시간 T에서의 복셀들의 값들은 이벤트들의 수로 정의될 수 있다. 이벤트 신호 처리 장치는 시간 T에서의 각 복셀들의 값들과 시간 T-1에서의 각 복셀들의 값들 을 획득할 수 있다. 이벤트 신호 처리 장치는 과 의 차를 이용하여, 시간 T에 대응하는 이벤트들의 변화량들 을 계산할 수 있다. 는 수학식 7과 같다.
이벤트 신호 처리 장치는 에 속한 각 복셀들의 값들을 임계값과 비교하여, 이벤트들에 대응하는 움직임을 검출할 수 있다. 예를 들면, 이벤트 신호 처리 장치는 에 속한 각 복셀들의 값들 중 보다 큰 값을 가진 복셀들의 수가 미리 정의된 수 보다 큰 경우, 이벤트들을 움직임으로 판정할 수 있다. 도 7을 참조하면, 는 5이고, 가 2인 경우, 에 속한 복셀들 중에서, 복셀의 값이 5보다 큰 복셀들의 수가 3개 이므로, 이벤트 신호 처리 장치는 3D 그리드의 분석을 통해 움직임을 검출할 수 있다.
도 8은 일실시예에 따른 이벤트 신호 처리 장치의 예시도이다.
도 8을 참조하면, 이벤트 신호 처리 장치(801)는 프로세서(802) 및 메모리(803)를 포함한다. 메모리(803)는 이벤트 신호를 처리하기 위한 프로그램이 기록될 수 있고, 도 1 내지 7을 참조하여 설명된 동작들을 실행하기 위한 명령들이 기록될 수 있다. 또한, 메모리(803)는 이벤트 기반 센서로부터 순차적으로 발생하는 이벤트와 관련된 정보를 저장할 수 있고, 프로세서(802)에 의해 생성된 3D 그리드 또는 새로운 3D 그리드와 관련된 정보를 저장할 수 있다.
프로세서(802)는 메모리(803)에 기록된 프로그램을 로딩하여 실행할 수 있다. 프로세서(802)는 이벤트를 감지하는 이벤트 기반 센서로부터, 이벤트에 대응하는 활성 픽셀의 좌표와 이벤트에 대응하는 타임스탬프를 획득하고, 활성 픽셀의 좌표 및 타임스탬프에 기초하여, 이벤트를 3D(three dimensions) 그리드에 포함된 타겟 복셀로 매핑하고, 이벤트에 기초하여, 타겟 복셀의 값을 갱신할 수 있다. 또한, 프로세서(802)는 이벤트 기반 센서에 의해 감지된 이벤트들 중 복셀들에 매핑되는 이벤트들의 수에 기초하여 정의되는 3D 그리드를 획득하고, 3D 그리드의 복셀들 중 타겟 복셀과 타겟 복셀의 주변 복셀들 간의 공간적 연관관계들(spatial correlations) 또는 시간적 연관관계들(temporal correlations)에 기초하여, 새로운 3D 그리드를 생성할 수 있다. 여기서, 이벤트 신호 처리 장치(801)의 동작들은 위에서 설명한 실시예들이 적용되므로, 중복되는 내용의 설명은 생략한다.
프레임 영상 기반 센서와 달리, 이벤트 기반 센서는 이벤트에만 응답하여, 이벤트 신호를 출력하므로, 에너지 소비가 낮은 이점이 있다. 또한, 이벤트 기반 센서는 조명 조건이 넓고, 광원이 약한 환경에서도 이벤트를 양호하게 감지할 수 있다. 이벤트 기반 센서의 에너지 소비가 낮기 때문에, 모바일 장치 등의 단말은 스탠바이 상태에서 작업 상태로 전환하여 신속하게 이벤트 신호를 수집할 수 있다. 예를 들어, 이벤트 기반 센서의 채용은 사용자가 단말의 잠금을 해제하려고 할 때 곧바로 응답하는데 적합하다. 다만, 이벤트 기반 센서로부터 출력되는 이벤트 신호들에 기초하여, 이벤트가 움직임인지 또는 노이즈인지 여부를 식별하는 것이 요구된다. 움직임의 검출을 위해, 이벤트들을 개별적으로 분석하는 것은 부하의 부담이 클 수 있는데, 일실시예에 따른 이벤트 신호 처리 장치는 이벤트의 정보를 스케일러블(scalable)한 3D 그리드를 이용하여 압축할 수 있고, 3D 그리드의 연관관계를 측정하여, 추가 분석을 위한 새로운 3D 그리드를 생성할 수 있다. 이벤트 신호 처리 장치는 노이즈에 해당하는 이벤트를 고속으로 필터링할 수 있고, 이벤트 신호들을 분석하기 위한 처리 속도를 단축시킬 수 있고, 이벤트들과 관련된 정보를 캐싱(caching)하여, 분석에 활용할 수 있다. 일실시예에 따른 이벤트 신호 처리 장치는 사람 및 사물 등의 객체의 움직임을 감지하거나 판별하는데 적용될 수 있다. 또한, 이벤트 신호 처리 장치는 센서의 로직(logic)에 직접 구현되어 휴대폰/TV 등의 CE 기기(Consumer Electronics Device)와 자동차, 드론, CCTV(Closed Circuit Television) 및 옥외 간판 등의 기기들에서 저전력 및 저연산량의 특성으로 동작할 수 있다. 이벤트 신호 처리 장치는 움직임의 검출에 응답하여 슬립 모드(sleep mode)에서 웨이크 모드(wake mode)로 전환되는 기능을 제공할 수 있고, 움직임의 종류에 따라 구별되는 서비스를 트리거(trigger)하는 기능을 제공할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 또는 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 객체의 움직임(movement)에 의한 빛의 세기 변화에 대응하는 이벤트를 감지하고 상기 이벤트에 대응하는 타임스탬프를 생성하도록 구성되는 DVS(dynamic vision sensor)로부터, 상기 이벤트에 대응하는 활성 픽셀의 제1 및 제2 좌표와 상기 이벤트에 대응하는 상기 타임스탬프를 획득하는 단계;
    상기 활성 픽셀의 제1 및 제2 좌표 및 상기 타임스탬프를 3D(three dimensions) 그리드에 포함된 타겟 복셀로 매핑하는 단계;
    상기 타겟 복셀의 매핑의 횟수에 기초하여, 상기 타겟 복셀의 값을 갱신하는 단계; 및
    상기 3D 그리드의 상기 타겟 복셀과 상기 타겟 복셀의 주변 복셀들 간의 공간적 연관관계들(spatial correlations) 또는 시간적 연관관계들(temporal correlations)에 기초하여 상기 이벤트와 연관된 움직임(activity)을 검출하는 단계를 포함하되,
    상기 타겟 복셀의 제1 및 제2 좌표는 상기 활성 픽셀의 제1 및 제2 좌표에 기초하여 결정되고, 상기 타겟 복셀의 제3 좌표는 상기 타임스탬프에 기초하여 결정되는 이벤트 신호 처리 방법.
  2. 제1항에 있어서,
    상기 매핑하는 단계는,
    상기 3D 그리드의 크기 및 상기 DVS의 해상도에 기초하여, 상기 활성 픽셀의 제1 및 제2 좌표 및 상기 타임스탬프를 상기 타겟 복셀의 제1 내지 제3 좌표로 변환하는 단계를 포함하는 이벤트 신호 처리 방법.
  3. 제2항에 있어서,
    상기 3D 그리드는 x축의 좌표, y축의 좌표 및 t축의 좌표로 식별되는 복셀들을 포함하고,
    상기 3D 그리드의 크기는 상기 x축의 복셀 수, 상기 y축의 복셀 수 및 상기 t축의 복셀 수로 정의되는 이벤트 신호 처리 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 타겟 복셀의 값을 갱신하는 단계는,
    상기 타겟 복셀의 맵핑의 횟수가 임계값을 초과하는 경우, 상기 타겟 복셀의 값을 미리 정의된 값으로 결정하는 단계를 포함하는 이벤트 신호 처리 방법.
  6. 제1항에 있어서,
    상기 타겟 복셀의 맵핑의 횟수가 임계값을 초과하는 경우, 상기 이벤트들과 연관된 움직임(activity)이 결정되는 단계를 더 포함하는 이벤트 신호 처리 방법.
  7. 제1항에 있어서,
    상기 활성 픽셀은 활성화 신호를 출력하도록 구성되고,
    상기 DVS는 상기 활성화 신호에 기초하여, 상기 활성 픽셀의 제1 및 제2 좌표 및 상기 이벤트가 감지된 시간을 나타내는 상기 타임스탬프를 포함하는 이벤트 신호를 출력하도록 더 구성되고,
    상기 이벤트에 대응하는 활성 픽셀의 제1 및 제2 좌표와 상기 이벤트에 대응하는 상기 타임스탬프를 획득하는 단계는,
    상기 DVS로부터 상기 이벤트 신호를 획득하는 단계;
    상기 이벤트 신호에 기초하여, 상기 활성 픽셀의 제1 및 제2 좌표를 획득하는 단계; 및
    상기 이벤트 신호에 기초하여, 상기 타임스탬프를 획득하는 단계를 포함하는 이벤트 신호 처리 방법.
  8. 제7항에 있어서,
    상기 검출된 움직임에 응답하여, 상기 DVS의 모드를 전환하는 단계를 더 포함하고,
    상기 모드는 상기 DVS의 복수의 센싱 픽셀들 중 일부가 이벤트를 감지하는 상태인 저전력 모드(low energy mode) 및 상기 복수의 센싱 픽셀들 전부가 이벤트를 감지하는 상태인 전 해상도 모드(full resolution mode) 중 적어도 하나를 포함하는 이벤트 신호 처리 방법.
  9. 제1항에 있어서,
    상기 3D 그리드의 복셀들 중 제2 타겟 복셀과 상기 제2 타겟 복셀의 주변 복셀들 간의 공간적 연관관계들(spatial correlations) 또는 시간적 연관관계들(temporal correlations)에 기초하여, 새로운 3D 그리드를 생성하는 단계를 더 포함하는 이벤트 신호 처리 방법.
  10. 제9항에 있어서,
    상기 새로운 3D 그리드를 생성하는 단계는
    상기 3D 그리드의 복셀들 중 상기 제2 타겟 복셀과 t축의 좌표가 같은 주변 복셀들 및 상기 제2 타겟 복셀 간의 공간적 연관관계들을 측정하는 단계; 및
    상기 측정된 공간적 연관관계들에 기초하여, 상기 새로운 3D 그리드의 복셀들 중 상기 제2 타겟 복셀에 대응하는 복셀의 값을 갱신하는 단계를 포함하는 이벤트 신호 처리 방법.
  11. 제9항에 있어서,
    상기 새로운 3D 그리드를 생성하는 단계는
    상기 3D 그리드의 복셀들 중 상기 제2 타겟 복셀과 x축의 좌표 및 y축의 좌표가 같은 주변 복셀들 및 상기 제2 타겟 복셀 간의 시간적 연관관계들을 측정하는 단계; 및
    상기 측정된 시간적 연관관계들에 기초하여, 상기 새로운 3D 그리드의 복셀들 중 상기 제2 타겟 복셀에 대응하는 복셀의 값을 갱신하는 단계를 포함하는 이벤트 신호 처리 방법.
  12. 제9항에 있어서,
    상기 시간적 연관관계들에 기초하여 생성된 새로운 3D 그리드의 복셀들 중 x축의 좌표 및 y축의 좌표가 같은 연속적인 복셀들의 값들이 서로 같은 경우, 상기 연속적인 복셀들에 대응하는 이벤트들을 노이즈로 결정하는 단계를 더 포함하는 이벤트 신호 처리 방법.
  13. 제9항에 있어서,
    상기 시간적 연관관계들에 기초하여 생성된 새로운 3D 그리드의 복셀들 중 x축의 좌표 및 y축의 좌표가 같은 연속적인 복셀들의 값들이 임계값보다 크고, 상기 연속적인 복셀들의 수가 미리 정의된 수보다 큰 경우, 상기 연속적인 복셀들에 대응하는 이벤트들을 움직임으로 결정하는 단계를 더 포함하는 이벤트 신호 처리 방법.
  14. 제9항에 있어서,
    상기 새로운 3D 그리드를 생성하는 단계는
    상기 제2 타겟 복셀의 값과 주변 복셀의 값의 차이를 계산하는 단계;
    상기 계산된 차이를 임계값과 비교하는 단계; 및
    상기 비교 결과에 기초하여, 상기 새로운 3D 그리드의 복셀들 중 상기 제2 타겟 복셀에 대응하는 복셀의 값을 갱신하는 단계를 포함하는 이벤트 신호 처리 방법.
  15. 제9항에 있어서,
    상기 새로운 3D 그리드의 복셀들 중 임계값을 초과하는 값을 가진 복셀들의 수가 미리 정의된 수를 초과하는 경우, 움직임(activity)을 검출하는 단계를 더 포함하는 이벤트 신호 처리 방법.
  16. 제9항에 있어서,
    상기 새로운 3D 그리드의 복셀들의 값들에 기초하여, 이벤트들에 대응하는 특징을 추출하는 단계; 및
    상기 특징에 기초하여, 상기 이벤트들에 대응하는 움직임의 유형을 분류하는 단계를 더 포함하는 이벤트 신호 처리 방법.
  17. 하드웨어와 결합되어 제1항의 방법을 구현하기 위해 프로세서를 제어하는 명령어들을 포함하는 프로그램이 저장된 비-일시적 컴퓨터 판독가능 저장 매체..
  18. 객체의 움직임(movement)에 의한 빛의 세기 변화에 대응하는 이벤트를 감지하고 상기 이벤트에 대응하는 타임스탬프를 생성하도록 구성되는 DVS(dynamic vision sensor); 및
    프로세서를 포함하되,
    상기 프로세서는:
    상기 DVS로부터, 상기 이벤트에 대응하는 활성 픽셀의 제1 및 제2 좌표와 상기 이벤트에 대응하는 상기 타임스탬프를 획득하고,
    상기 활성 픽셀의 제1 및 제2 좌표 및 상기 타임스탬프를 3D(three dimensions) 그리드에 포함된 타겟 복셀로 매핑하고,
    상기 타겟 복셀의 맵핑의 횟수에 기초하여, 상기 타겟 복셀의 값을 갱신하고,
    상기 3D 그리드의 상기 타겟 복셀과 상기 타겟 복셀의 주변 복셀들 간의 공간적 연관관계들(spatial correlations) 또는 시간적 연관관계들(temporal correlations)에 기초하여 상기 이벤트와 연관된 움직임(activity)을 검출하도록 구성되고,
    상기 타겟 복셀의 제1 및 제2 좌표는 상기 활성 픽셀의 제1 및 제2 좌표에 기초하여 결정되고, 상기 타겟 복셀의 제3 좌표는 상기 타임스탬프에 기초하여 결정되는 이벤트 신호 처리 장치.
  19. 제18항에 있어서,
    상기 프로세서는, 상기 3D 그리드의 크기 및 상기 DVS의 해상도에 기초하여, 상기 활성 픽셀의 제1 및 제2 좌표 및 상기 타임스탬프를 상기 타겟 복셀의 제1 내지 제3 좌표로 변환하도록 더 구성되고,
    상기 3D 그리드는 x축의 좌표, y축의 좌표 및 t축의 좌표로 식별되는 복셀들을 포함하고,
    상기 3D 그리드의 크기는 상기 x축의 복셀 수, 상기 y축의 복셀 수 및 상기 t축의 복셀 수로 정의되는 이벤트 신호 처리 장치.
  20. 삭제
KR1020160098524A 2016-08-02 2016-08-02 이벤트 신호 처리 방법 및 장치 Active KR102720734B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160098524A KR102720734B1 (ko) 2016-08-02 2016-08-02 이벤트 신호 처리 방법 및 장치
US15/667,214 US10346506B2 (en) 2016-08-02 2017-08-02 Event signal processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160098524A KR102720734B1 (ko) 2016-08-02 2016-08-02 이벤트 신호 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20180014992A KR20180014992A (ko) 2018-02-12
KR102720734B1 true KR102720734B1 (ko) 2024-10-22

Family

ID=61071828

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160098524A Active KR102720734B1 (ko) 2016-08-02 2016-08-02 이벤트 신호 처리 방법 및 장치

Country Status (2)

Country Link
US (1) US10346506B2 (ko)
KR (1) KR102720734B1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6693357B2 (ja) * 2016-09-13 2020-05-13 株式会社Ｊｖｃケンウッド 画像記録装置、画像記録方法およびプログラム
CN108574793B (zh) 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
USD926210S1 (en) * 2017-04-03 2021-07-27 Universe Exploration Company Mobile communication device display screen or portion thereof with graphical user interface
KR102578417B1 (ko) 2018-03-14 2023-09-14 소니 어드밴스드 비주얼 센싱 아게 직접 메모리 제어를 갖는 이벤트-기반 비전 센서
CN108827461B (zh) * 2018-04-25 2019-05-03 上海芯仑光电科技有限公司 像素采集电路及光流传感器
US11143879B2 (en) * 2018-05-25 2021-10-12 Samsung Electronics Co., Ltd. Semi-dense depth estimation from a dynamic vision sensor (DVS) stereo pair and a pulsed speckle pattern projector
KR102747641B1 (ko) * 2019-06-26 2024-12-27 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
KR102366187B1 (ko) * 2020-06-10 2022-02-22 광주과학기술원 고해상도 강도 이미지 생성 방법 및 장치
CN111798634B (zh) * 2020-06-29 2022-02-01 杭州海康威视数字技术股份有限公司 一种周界检测方法及装置
KR102286272B1 (ko) * 2021-02-02 2021-08-06 주식회사 파트리지시스템즈 이벤트 검출 장치 및 그 방법
CN117083872A (zh) * 2021-03-30 2023-11-17 索尼半导体解决方案公司 固态成像装置和用于操作固态成像装置的方法
CN113132658B (zh) * 2021-04-16 2022-11-22 中国科学院上海高等研究院 基于仿生图像传感器的数据处理方法、装置、设备和介质
CN113923319B (zh) * 2021-12-14 2022-03-08 成都时识科技有限公司 降噪装置、方法、芯片、事件成像装置及电子设备
CN115412686B (zh) * 2022-10-31 2023-03-24 深圳时识科技有限公司 融合降噪方法及装置、传感器、芯片及电子设备
CN115412687B (zh) * 2022-10-31 2023-03-24 深圳时识科技有限公司 主被动结合的降噪装置、方法、视觉传感器和芯片

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130335595A1 (en) 2012-06-19 2013-12-19 Samsung Electronics Co., Ltd. Event-based image processing apparatus and method
US20150087927A1 (en) 2012-05-18 2015-03-26 Koninklijke Philips N.V. Voxel tagging using fiber optic shape sensing

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090201146A1 (en) 2007-09-10 2009-08-13 Wayne Lundeberg Remote activity detection or intrusion monitoring system
KR101792866B1 (ko) 2011-04-06 2017-11-20 삼성전자주식회사 이벤트 센서와 칼라 센서를 이용한 동작 인식 장치 및 그 방법
US9761020B2 (en) * 2011-05-12 2017-09-12 Koninklijke Philips N.V. List mode dynamic image reconstruction
US9110510B2 (en) 2011-06-03 2015-08-18 Apple Inc. Motion pattern classification and gesture recognition
KR101880998B1 (ko) 2011-10-14 2018-07-24 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
FR2985065B1 (fr) 2011-12-21 2014-01-10 Univ Paris Curie Procede d'estimation de flot optique a partir d'un capteur asynchrone de lumiere
KR102074857B1 (ko) 2012-09-26 2020-02-10 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 근접 센서 및 근접 센싱 방법
KR102129916B1 (ko) 2013-07-29 2020-08-05 삼성전자주식회사 이벤트 정보를 포함하는 영상을 분석하는 장치 및 방법
KR102091473B1 (ko) 2014-01-07 2020-04-14 삼성전자주식회사 이벤트 기반 센서를 이용한 피사체의 움직임 분석 방법
KR20150120124A (ko) 2014-04-17 2015-10-27 삼성전자주식회사 다이내믹 비전 센서 및 이를 포함하는 모션 인식 장치
KR102263064B1 (ko) 2014-08-25 2021-06-10 삼성전자주식회사 피사체의 움직임을 인식하는 장치 및 그 동작 방법
US9846677B2 (en) 2014-09-16 2017-12-19 Qualcomm Incorporated Event-based spatial transformation
US20160093273A1 (en) 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Dynamic vision sensor with shared pixels and time division multiplexing for higher spatial resolution and better linear separable data
US9554100B2 (en) * 2014-09-30 2017-01-24 Qualcomm Incorporated Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor
KR102357680B1 (ko) * 2014-11-17 2022-02-03 삼성전자주식회사 이벤트에 기반하여 객체의 이동을 감지하는 장치 및 방법
CN105844659B (zh) * 2015-01-14 2019-04-26 北京三星通信技术研究有限公司 运动部件的跟踪方法和装置
CN105844128B (zh) * 2015-01-15 2021-03-02 北京三星通信技术研究有限公司 身份识别方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150087927A1 (en) 2012-05-18 2015-03-26 Koninklijke Philips N.V. Voxel tagging using fiber optic shape sensing
US20130335595A1 (en) 2012-06-19 2013-12-19 Samsung Electronics Co., Ltd. Event-based image processing apparatus and method

Also Published As

Publication number Publication date
US10346506B2 (en) 2019-07-09
US20180039601A1 (en) 2018-02-08
KR20180014992A (ko) 2018-02-12

Similar Documents

Publication Publication Date Title
KR102720734B1 (ko) 이벤트 신호 처리 방법 및 장치
USRE48780E1 (en) Method and apparatus for extracting static pattern based on output of event-based sensor
KR102512828B1 (ko) 이벤트 신호 처리 방법 및 장치
CN102201146B (zh) 基于主动红外视频的零照度环境火灾烟雾识别方法
CN108230357B (zh) 关键点检测方法、装置、存储介质和电子设备
CN101167085B (zh) 通过跟踪行人从视频序列进行三维道路布局估计
CN103700087B (zh) 移动侦测方法和装置
US8698092B2 (en) Method and apparatus for motion recognition
KR102530219B1 (ko) 동작 인식의 오류를 검출하는 방법 및 장치
US20140037139A1 (en) Device and method for recognizing gesture based on direction of gesture
US10853949B2 (en) Image processing device
Shen et al. Real-time and robust compressive background subtraction for embedded camera networks
KR102474837B1 (ko) 전경 추출 방법 및 장치
KR102203810B1 (ko) 사용자 입력에 대응되는 이벤트를 이용한 유저 인터페이싱 장치 및 방법
Chetverikov et al. Dynamic texture as foreground and background
KR20140095333A (ko) 영상에서 객체 추적 방법 및 장치
JPWO2014010203A1 (ja) 転倒検知装置および転倒検知方法、転倒検知カメラ、並びにコンピュータ・プログラム
CN115588187B (zh) 基于三维点云的行人检测方法、装置、设备以及存储介质
JP5166335B2 (ja) 特徴を抽出する装置、方法およびプログラム
Li et al. Combining localized oriented rectangles and motion history image for human action recognition
KR101993010B1 (ko) 시공간 패턴에 기반한 비디오 분석 장치 및 방법
CN116156075A (zh) 视频中目标相对运动预测方法、装置和计算机设备
Bhuvaneswari et al. TRACKING MANUALLY SELECTED OBJECT IN VIDEOS USING COLOR HISTOGRAM MATCHING.
Savaliya et al. Abandoned object detection system–a review
KR102827439B1 (ko) 평면도를 생성하기 위한 방법 및 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160802

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210802

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20160802

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240202

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240719

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20241017

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20241018

End annual number: 3

Start annual number: 1

PG1601 Publication of registration