[go: up one dir, main page]

KR102715471B1 - 시스템, 정보 처리 장치, 정보 처리 방법 및 프로그램 - Google Patents

시스템, 정보 처리 장치, 정보 처리 방법 및 프로그램 Download PDF

Info

Publication number
KR102715471B1
KR102715471B1 KR1020217040396A KR20217040396A KR102715471B1 KR 102715471 B1 KR102715471 B1 KR 102715471B1 KR 1020217040396 A KR1020217040396 A KR 1020217040396A KR 20217040396 A KR20217040396 A KR 20217040396A KR 102715471 B1 KR102715471 B1 KR 102715471B1
Authority
KR
South Korea
Prior art keywords
sensor
event
event signal
threshold
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020217040396A
Other languages
English (en)
Other versions
KR20220029562A (ko
Inventor
데츠고 이나다
Original Assignee
주식회사 소니 인터랙티브 엔터테인먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 소니 인터랙티브 엔터테인먼트 filed Critical 주식회사 소니 인터랙티브 엔터테인먼트
Publication of KR20220029562A publication Critical patent/KR20220029562A/ko
Application granted granted Critical
Publication of KR102715471B1 publication Critical patent/KR102715471B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

제1 역치를 초과하는 광의 강도 변화를 검출했을 때에 제1 이벤트 신호를 생성하는 제1 센서와, 제1 역치보다 큰 제2 역치를 초과하는 광의 강도 변화를 검출했을 때에 제2 이벤트 신호를 생성하는 제2 센서가 소정의 패턴에 따라서 배열된 센서 어레이를 포함하는 이벤트 구동형 비전 센서와, 제1 이벤트 신호가 수신되고 제2 이벤트 신호가 수신되지 않았을 때에 제1 처리를 실행하는 제1 처리부, 및 제2 이벤트 신호가 수신되었을 때에 제1 처리와는 다른 제2 처리를 실행하는 제2 처리부를 갖는 정보 처리 장치를 구비하는 시스템이 제공된다.

Description

시스템, 정보 처리 장치, 정보 처리 방법 및 프로그램
본 발명은 시스템, 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다.
입사하는 광의 강도 변화를 검출한 픽셀이 시간 비동기적으로 신호를 생성하는, 이벤트 구동형 비전 센서가 알려져 있다. 이벤트 구동형 비전 센서는, 소정의 주기마다 전 픽셀을 스캔하는 프레임형 비전 센서, 구체적으로는 CCD나 CMOS 등의 이미지 센서에 비하여, 저전력으로 고속으로 동작 가능한 점에서 유리하다. 이러한 이벤트 구동형 비전 센서에 관한 기술은, 예를 들어 특허문헌 1 및 특허문헌 2에 기재되어 있다.
일본특허공표 제2014-535098호 공보 일본특허공개 제2018-85725호 공보
그러나, 이벤트 구동형 비전 센서에 대해서는, 상기와 같은 이점은 알려져 있지만, 종래의 비전 센서, 예를 들어 프레임형 비전 센서와는 다른 특성을 고려한 주변 기술에 대해서는, 아직 충분히 제안되어 있다고는 하기 어렵다.
그래서, 본 발명은, 이벤트 구동형 비전 센서에 있어서 광의 강도 변화가 검출되었을 때에 생성되는 이벤트 신호에 기초하여 처리를 실행 하는데 있어서, 다른 광이 강도로 발생하는 이벤트마다 다른 처리를 실행하는 것이 가능한, 시스템, 정보 처리 장치, 정보 처리 방법 및 프로그램을 제공하는 것을 목적으로 한다.
본 발명의 한 관점에 따르면, 제1 역치를 초과하는 광의 강도 변화를 검출했을 때에 제1 이벤트 신호를 생성하는 제1 센서와, 제1 역치보다 큰 제2 역치를 초과하는 광의 강도 변화를 검출했을 때에 제2 이벤트 신호를 생성하는 제2 센서가 소정의 패턴에 따라서 배열된 센서 어레이를 포함하는 이벤트 구동형 비전 센서와, 제1 이벤트 신호가 수신되고 제2 이벤트 신호가 수신되지 않았을 때에 제1 처리를 실행하는 제1 처리부, 및 제2 이벤트 신호가 수신되었을 때에 제1 처리와는 다른 제2 처리를 실행하는 제2 처리부를 갖는 정보 처리 장치를 구비하는 시스템이 제공된다.
본 발명의 다른 관점에 따르면, 이벤트 구동형 비전 센서의 센서 어레이에 소정의 패턴에 따라서 배열되는 제1 센서가 제1 역치를 초과하는 광의 강도 변화를 검출했을 때에 생성하는 제1 이벤트 신호가 수신되고, 센서 어레이에 제1 센서와 함께 소정의 패턴에 따라서 배열되는 제2 센서가 제1 역치보다 큰 제2 역치를 초과하는 광의 강도 변화를 검출했을 때에 생성하는 제2 이벤트 신호가 수신되지 않았을 때에 제1 처리를 실행하는 제1 처리부와, 제2 이벤트 신호가 수신되었을 때에 제1 처리와는 다른 제2 처리를 실행하는 제2 처리부를 구비하는 정보 처리 장치가 제공된다.
본 발명의 또 다른 관점에 따르면, 이벤트 구동형 비전 센서의 센서 어레이에 소정의 패턴에 따라서 배열되는 제1 센서가 제1 역치를 초과하는 광의 강도 변화를 검출했을 때에 생성하는 제1 이벤트 신호가 수신되고, 센서 어레이에 제1 센서와 함께 소정의 패턴에 따라서 배열되는 제2 센서가 제1 역치보다 큰 제2 역치를 초과하는 광의 강도 변화를 검출했을 때에 생성하는 제2 이벤트 신호가 수신되지 않았을 때에 제1 처리를 실행하는 스텝과, 제2 이벤트 신호가 수신되었을 때에 제1 처리와는 다른 제2 처리를 실행하는 스텝을 포함하는 정보 처리 방법이 제공된다.
본 발명의 또 다른 관점에 따르면, 이벤트 구동형 비전 센서의 센서 어레이에 소정의 패턴에 따라서 배열되는 제1 센서가 제1 역치를 초과하는 광의 강도 변화를 검출했을 때에 생성하는 제1 이벤트 신호가 수신되고, 센서 어레이에 제1 센서와 함께 소정의 패턴에 따라서 배열되는 제2 센서가 제1 역치보다 큰 제2 역치를 초과하는 광의 강도 변화를 검출했을 때에 생성하는 제2 이벤트 신호가 수신되지 않았을 때에 제1 처리를 실행하는 제1 처리부와, 제2 이벤트 신호가 수신되었을 때에 제1 처리와는 다른 제2 처리를 실행하는 제2 처리부를 구비하는 정보 처리 장치로서 컴퓨터를 기능시키기 위한 프로그램이 제공된다.
도 1은 본 발명의 제1 실시 형태에 따른 시스템의 개략적인 구성을 도시하는 도면이다.
도 2는 본 발명의 제1 실시 형태에 있어서의 처리의 예를 나타내는 흐름도이다.
도 3은 본 발명의 제1 실시 형태에 있어서의 센서의 배열 패턴의 다른 예를 도시하는 도면이다.
도 4는 본 발명의 제2 실시 형태에 따른 시스템의 개략적인 구성을 도시하는 도면이다.
도 5는 제2 실시 형태의 구체적인 예에 있어서의 마커의 점멸 패턴의 예를 나타내는 도면이다.
도 6은 광의 파장 대역을 다르게 하지 않는 경우의 마커의 점멸 패턴을 도시하는 도면이다.
도 7은 응용예에 있어서의 역치의 설정에 대해서 설명하기 위한 도면이다.
도 8은 본 발명의 제2 실시 형태에 있어서의 필터 및 센서의 배열 패턴의 다른 예를 도시하는 도면이다.
이하에 첨부 도면을 참조하면서, 본 발명의 적합한 실시 형태에 대해서 상세히 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 부여함으로써 중복된 설명을 생략한다.
(제1 실시 형태)
도 1은 본 발명의 제1 실시 형태에 따른 시스템의 개략적인 구성을 도시하는 도면이다. 도시된 예에 있어서, 시스템(10)은, 이벤트 구동형 비전 센서(100)와, 정보 처리 장치(200)를 포함한다. 비전 센서(100)는, 도시하지 않은 광학계를 통해 입사하는 광의 강도 변화, 보다 구체적으로는 휘도 변화를 검출했을 때에 이벤트 신호를 생성하는 센서(110)가 배열된 센서 어레이(120)를 포함한다. 광의 강도 변화를 검출하지 않은 센서(110)는 이벤트 신호를 생성하지 않기 때문에, 비전 센서(100)에 있어서 이벤트 신호는 시간 비동기적으로 생성된다. 비전 센서(100)로부터 출력되는 이벤트 신호는 센서의 식별 정보(예를 들어 픽셀의 위치)와, 휘도 변화의 극성(상승 또는 저하)와, 타임 스탬프를 포함한다.
본 실시 형태에 있어서, 비전 센서(100)의 센서(110)는 제1 역치 th1을 초과하는 광의 강도 변화를 검출했을 때에 이벤트 신호를 생성하도록 구성된 제1 센서(111)와, 제2 역치 th2를 초과하는 광의 강도 변화를 검출했을 때에 이벤트 신호를 생성하도록 구성된 제2 센서(112)를 포함한다. 제2 역치 th2는, 제1 역치 th1보다 크다(th2>th1). 제1 센서(111)와 제2 센서(112)는, 센서 어레이(120)에 있어서 소정의 패턴에 따라, 구체적으로는 평면 상의 두 방향(서로 직교하는 x 방향 및 y 방향으로서 도시)에 대해서 각각 교대로 배열된다. 제1 센서(111)가 생성한 제1 이벤트 신호와, 제2 센서(112)가 생성한 제2 이벤트 신호는, 예를 들어 이벤트 신호에 포함되는 센서의 식별 정보에 의해 구별할 수 있다.
정보 처리 장치(200)는, 예를 들어 통신 인터페이스, 프로세서 및 메모리를 갖는 컴퓨터에 의해 실장되고, 프로세서가 메모리에 저장되거나, 또는 통신 인터페이스를 통해 수신된 프로그램에 따라서 동작함으로써 실현되는 제1 처리부(210) 및 제2 처리부(220)의 기능 부분을 포함한다. 제1 처리부(210)는, 비전 센서(100)의 제1 센서(111)가 생성한 제1 이벤트 신호가 수신되고, 제2 센서(112)가 생성한 제2 이벤트 신호가 수신되지 않았을 때에 제1 처리를 실행한다. 또한, 제2 처리부(220)는, 제2 센서(112)가 생성한 제2 이벤트 신호가 수신되었을 때에 제1 처리와는 다른 제2 처리를 실행한다. 정보 처리 장치(200)는, 추가로 제1 처리부(210)의 처리 결과와 제2 처리부(220)의 처리 결과를 통합하는 통합 처리부(230)의 기능 부분을 포함해도 된다.
또한, 정보 처리 장치(200)는, 예를 들어 비전 센서(100)와 동일한 장치 내에 내장되어 있어도 되고, 비전 센서(100)와 동일한 공간 내에 배치되어 비전 센서(100)와 통신하는 단말 장치여도 되고, 비전 센서(100)에 네트워크를 통해서 접속되는 서버 장치여도 된다. 또한, 정보 처리 장치(200)의 기능의 일부가 단말 장치에 있어서 실장되고, 그 외의 기능이 서버 장치에 실장되어도 된다.
여기서, 상기와 같이 제2 센서(112)가 광의 강도 변화를 검출하는 제2 역치 th2는 제1 센서(111)가 광의 강도 변화를 검출하는 제1 역치 th1보다 크다. 따라서, 비전 센서(100)의 화각 내의 어느 위치에서 제1 역치 th1을 초과하고 제2 역치 th2를 초과하지 않는 광의 강도 변화가 발생한 경우, 제1 센서(111)는 이벤트 신호를 생성하고, 제2 센서(112)는 이벤트 신호를 생성하지 않는다. 이 경우에 제1 이벤트 신호를 검출하고 제2 이벤트 신호를 검출하지 않은 제1 처리부(210)가 실행하는 제1 처리는, 예를 들어 상대적으로 약한 광의 강도 변화가 발생한 것에 대응한 처리여도 된다.
한편, 비전 센서(100)의 화각 내의 다른 위치에서 제2 역치 th2를 초과하는 광의 강도 변화가 발생한 경우, 제1 센서(111) 및 제2 센서(112)의 양쪽이 이벤트 신호를 생성한다. 이 경우에 제2 이벤트 신호를 검출한 제2 처리부(220)가 실행하는 제2 처리는, 예를 들어 상대적으로 강한 광의 강도 변화가 발생한 것에 대응한 처리여도 된다. 또한, 제2 이벤트 신호가 생성될 때에는 제1 이벤트 신호도 생성되지만, 제2 처리부(220)는 제1 이벤트 신호를 검출하지 않아도 된다. 혹은 제2 처리부(220)는, 제2 이벤트 신호를 생성한 제2 센서(112)의 근방의 제1 센서(111)가 생성한 제1 이벤트 신호를 검출함으로써, 제2 이벤트 신호를 사용해서 이벤트의 신뢰도를 판정하면서, 이벤트의 해상도를 높게 해도 된다.
도 2는 본 발명의 제1 실시 형태에 있어서의 처리의 예를 나타내는 흐름도이다. 도시된 예에서는, 정보 처리 장치(200)에 있어서 이벤트 신호가 수신되었을 때에(스텝 S101), 수신된 이벤트 신호가 비전 센서(100)의 제2 센서(112)에서 생성된 제2 이벤트 신호이면(스텝 S102의 예), 제2 처리부(220)가 제2 처리를 실행한다(스텝 S103). 한편, 수신된 이벤트 신호가 제2 이벤트 신호가 아닌, 즉 제1 센서(111)에서 생성된 제1 이벤트 신호인 경우(스텝 S102의 아니오), 제1 처리부(210)가 제1 처리를 실행한다(스텝 S104).
(제1 응용예)
제1 응용예로서, 상기와 같은 시스템(10)은, 특성이 다른 복수의 오브젝트의 움직임을 이벤트 신호로부터 검출하는 처리에 이용할 수 있다. 이 경우, 예를 들어 제1 역치는 벽이나 바닥 등의 비발광체가 움직인 경우의 휘도 변화량에 대응하고, 제2 역치는 LED 마커나 디스플레이 등의 발광체가 움직이거나 점멸하거나 한 경우의 휘도 변화량에 대응한다. 정보 처리 장치(200)에서는, 제1 처리부(210)가, 제1 이벤트 신호가 수신되고 제2 이벤트 신호가 수신되지 않은 영역에 대해서, 비발광체의 움직임을 검출하는 처리를 실행한다. 한편, 제2 처리부(220)는, 제2 이벤트 신호가 수신된 영역에 대해서, 발광체의 움직임 또는 점멸을 검출하는 처리를 실행한다. 상기와 같은 처리에 의해, 비발광체의 움직임과 발광체의 움직임 또는 점멸을 분리해서 검출하는 것이 가능해진다.
(제2 응용예)
또한, 제2 응용예로서, 상기와 같은 시스템(10)은, 예를 들어 게임 컨트롤러 등에 비전 센서(100)를 탑재하고, 비전 센서(100)가 검출한 이벤트에 기초하여 컨트롤러의 자기 위치를 추정하는 처리에 이용할 수 있다. 이 경우, 비전 센서(100)는 주변 환경의 움직임에 의해 발생하는 이벤트를 검출하지만, 이벤트에 있어서의 휘도 변화의 콘트라스트가 강할수록, 주변 환경의 움직임을 나타내는 정보로서의 신뢰도가 높다고 생각된다. 그래서, 이 경우, 정보 처리 장치(200)에서는, 제1 처리부(210)가, 제1 이벤트 신호가 수신되고 제2 이벤트 신호가 수신되지 않은 영역에 대해서 제1 라벨을 갖는 제1 이벤트를 특정하는 처리를 실행한다. 제1 이벤트는, 후단의 처리에서 신뢰도가 상대적으로 낮은 이벤트로서 다루어진다. 한편, 제2 처리부(220)는 제2 이벤트 신호가 수신된 영역에 대해서 제2 라벨을 갖는 제2 이벤트를 특정하는 처리를 실행한다. 이때, 제2 이벤트 신호가 수신된 영역에서는, 제1 이벤트 신호도 포함해서 제2 이벤트가 발생한 영역이 특정되어도 된다. 제2 이벤트는 후단의 처리로 신뢰도가 상대적으로 높은 이벤트로서 다루어진다.
상기의 예에 있어서, 통합 처리부(230)는, 제1 처리부(210)가 특정한 제1 이벤트와, 제2 처리부(220)가 특정한 제2 이벤트에 기초하여 컨트롤러의 자기 위치를 추정한다. 예를 들어, 자기 위치 추정을 위해서 필요한 이벤트의 수의 역치가 1000이고, 제2 이벤트(신뢰도가 높은 이벤트)의 수가 1500, 제1 이벤트(신뢰도가 낮은 이벤트)의 수가 3000인 경우, 통합 처리부(230)는 제2 이벤트만을 사용해서 자기 위치를 추정한다. 한편, 제2 이벤트(신뢰도가 높은 이벤트)의 수가 100, 제1 이벤트(신뢰도가 낮은 이벤트)의 수가 1500인 경우, 통합 처리부(230)는 제1 이벤트와 제2 이벤트를 양쪽 사용해서 자기 위치를 추정한다. 상대적으로 신뢰도가 높은 제2 이벤트가 충분한 수 특정된 경우에는 제2 이벤트에만 기초하여 자기 위치를 추정함으로써, 자기 위치 추정의 정밀도를 향상시킬 수 있다.
도 3은 본 발명의 제1 실시 형태에 있어서의 센서의 배열 패턴의 다른 예를 도시하는 도면이다. 도 3에 도시한 예에서는, 비전 센서(100)의 센서 어레이(120)에 있어서, 제1 센서(111)와 제2 센서(112)가 불균등하게 배열된다. 구체적으로는, 제1 센서(111) 및 제2 센서(112)는 평면 상의 두 방향(서로 직교하는 x 방향 및 y 방향으로서 도시)에 대해서 각각 교대로 배열되고 있지만, 각각의 방향에 대해서, 제1 센서(111)와 제2 센서(112)의 비율은 2:1이다. 예를 들어, 상기의 제1 응용예에 있어서, LED 마커나 디스플레이 등의 발광체의 움직임이나 점멸은 콘트라스트가 강한 이벤트이기 때문에, 이벤트가 발생하는 영역의 크기를 초과하지 않는 범위에서 제2 센서(112)의 간격을 크게 해도 고정밀도로 검출할 수 있다. 이러한 경우, 상기와 같은 불균등한 패턴으로 센서를 배열함으로써, 제1 센서(111)의 영역을 상대적으로 크게 하고, 비발광체의 이벤트의 해상도를 높일 수 있다.
(제2 실시 형태)
도 4는 본 발명의 제2 실시 형태에 따른 시스템의 개략적인 구성을 도시하는 도면이다. 도시된 예에 있어서, 시스템(20)은 이벤트 구동형 비전 센서(300)과, 정보 처리 장치(400)를 포함한다. 본 실시 형태에 있어서, 비전 센서(300)의 센서(310)는, 제1 역치 th1을 초과하는 광의 강도 변화를 검출했을 때에 이벤트 신호를 생성하도록 구성된 제1 센서(311)와, 제1 역치 th1보다 큰 제2 역치 th2를 초과하는 광의 강도 변화를 검출했을 때에 이벤트 신호를 생성하도록 구성된 제2 센서(312)와, 제2 역치 th2보다 큰 제3 역치 th3을 초과하는 광의 강도 변화를 검출했을 때에 이벤트 신호를 생성하도록 구성된 제3 센서(313)와, 제3 역치 th3보다 큰 제4 역치 th4를 초과하는 광의 강도 변화를 검출했을 때에 이벤트 신호를 생성하도록 구성된 제4 센서(314)를 포함한다(th1<th2<th3<th4). 제1 내지 제4 센서(311 내지 314)는 센서 어레이(320)에 있어서 소정의 패턴에 따라, 구체적으로는 평면 상의 두 방향(서로 직교하는 x 방향 및 y 방향으로서 도시)에 대해서 각각 교대로 배열된다. 제1 내지 제4 센서(311 내지 314)의 각각이 생성한 제1 내지 제4 이벤트 신호는, 예를 들어 이벤트 신호에 포함되는 센서의 식별 정보에 의해 구별할 수 있다.
정보 처리 장치(400)는, 예를 들어 통신 인터페이스, 프로세서 및 메모리를 갖는 컴퓨터에 의해 실장되고, 프로세서가 메모리에 저장되거나, 또는 통신 인터페이스를 통해 수신된 프로그램에 따라서 동작함으로써 실현되는 제1 내지 제4 처리부(410 내지 440)의 기능 부분을 포함한다. 제1 처리부(410)는 제1 이벤트 신호가 수신되고 제2 내지 제4 이벤트 신호가 수신되지 않았을 때에 제1 처리를 실행한다. 제2 처리부(420)는 제2 이벤트 신호가 수신되고(제1 이벤트 신호도 수신되어도 된다) 제3 및 제4 이벤트 신호가 수신되지 않았을 때에 제2 처리를 실행한다. 제3 처리부(430)는 제3 이벤트 신호가 수신되고(제1 및 제2 이벤트 신호도 수신되어도 된다) 제4 이벤트 신호가 수신되지 않았을 때에 제3 처리를 실행한다. 제4 처리부(440)는 제4 이벤트 신호가 수신되었을 때(제1 내지 제3 이벤트 신호도 수신되어도 된다) 제4 처리를 실행한다. 제1 내지 제4 처리는 각각 다른 처리일 수 있다. 정보 처리 장치(400)는 추가로 제1 내지 제4 처리부(410 내지 440)의 처리 결과를 통합하는 통합 처리부(450)의 기능 부분을 포함해도 된다.
(제3 응용예)
제3 응용예로서, 상기와 같은 시스템(20)은, 예를 들어 비전 센서(300)의 화각 내에서 이동하는 복수의 오브젝트에 광의 강도가 다른 4종류의 점멸 패턴으로 광을 사출하는 마커의 어느 것을 설치하고, 이들 마커를 식별하면서 트래킹하는 처리에 이용할 수 있다. 도 5에 도시한 바와 같이, 4종류의 마커의 점멸 패턴 P1 내지 P4의 광 강도 I1, I2, I3, I4를, 제1 내지 제4 센서(311 내지 314)의 역치 th1, th2, th3, th4와의 관계가 th1<I1≤th2<I2≤th3<I3≤th4<I4가 되도록 설정하면, 제1 처리부(410)는 점멸 패턴 P1의 마커를 트래킹하고, 제2 처리부(420)는 점멸 패턴 P2의 마커를 트래킹하고, 제3 처리부(430)는 점멸 패턴 P3의 마커를 트래킹하고, 제4 처리부(440)는 점멸 패턴 P4의 마커를 트래킹할 수 있다. 예를 들어, 본 실시 형태와 같이 광의 강도를 다르게 하는 것이 아닌 경우, 이벤트 신호를 사용해서 마커를 식별하기 위해서는 도 6에 도시한 바와 같이 마커의 점멸 패턴을 다르게 할 필요가 있다. 그러나, 이 경우에는 식별하는 마커의 종류가 증가할수록 점멸 패턴의 주기가 길어져서, 동작이 고속의 이벤트 구동형 비전 센서를 사용하고 있음에도 불구하고 레이턴시가 길어져버린다. 상기의 예에서는, 도 5에 도시한 바와 같이 각마커의 점멸 패턴의 주기를 동일하게 해서 레이턴시를 유지하면서, 4종류의 마커를 식별하는 것이 가능하다.
(제4 응용예)
또한, 제4 응용예로서, 상기와 같은 시스템(20)은, 예를 들어 자동 운전차로 주변의 오브젝트를 인식하는 처리에 이용할 수 있다. 이 경우, 예를 들어 도 7에 도시한 바와 같이, (1) 맑은 날씨일 때의 비발광체 (2) 악천후일 때의 비발광체 (3) 신호기 (4) LED 마커의 각각의 검출에 적합하도록, 제1 내지 제4 센서(311 내지 314)의 역치 th1, th2, th3, th4를 설정한다. 이 경우, 제1 처리부(410)는 맑은 날씨일 때에 비발광체의 움직임을 인식하고, 제2 처리부(420)는 악천후일 때에 비발광체의 움직임을 인식하고, 제3 처리부(430)는 신호기의 움직임 및 점멸을 인식하고, 제4 처리부(440)는 LED 마커의 움직임 및 점멸을 인식한다. 신호기 및 LED 마커는 발광체이기 때문에, 비발광체보다 높은 역치에서도 이벤트를 검출할 수 있다. LED 마커는, 예를 들어 다른 차량에 설치되어 차간 거리를 계측하거나, 도로에 매립되어 경로를 가이드하거나 하는데도 사용된다. 악천후일 때는 빗방울 등이 원인으로 대량의 이벤트가 발생하기 때문에, 빗방울 이외의 비래물을 인식할 수 있는 범위에서 맑은 날씨일 때보다 역치를 높이는 것에 의해, 이벤트 검출 후의 처리 부하를 저감할 수 있다. 이 경우, 맑은 날씨일 때의 데이터를 병용함으로써, 빗방울 이외의 이벤트를 검출하기 쉽게 해도 된다.
본 실시 형태에 따른 시스템(20)은, 상기에서 제1 실시 형태의 응용예로서 설명한 제1 및 제2 응용예, 즉 특성이 다른 복수의 오브젝트의 움직임을 이벤트 신호로 검출하는 처리나, 이벤트에 기초한 자기 위치 추정의 처리에 이용되어도 된다. 자기 위치 추정의 처리에서는, 이벤트의 신뢰도가 4단계로 평가됨으로써, 자기 위치 추정을 위해서 필요한 수의 이벤트를 신뢰도가 보다 높은 이벤트로부터 추출하는 것이 용이해져서(예를 들어, 신뢰도의 4단계 중 상위 2단계, 또는 상위 3단계만 추출한다고 하는 선택지가 가능하다), 자기 위치 추정의 정밀도를 향상시킬 수 있다. 또한, 제1 실시 형태에 따른 시스템(10)도, 제3 응용예(두 종류의 마커의 트래킹) 및 제4 응용예(예를 들어, 맑은 날씨일 때 및 악천후일 때의 비발광체의 움직임의 인식)의 처리에 이용 가능하다.
도 8은 본 발명의 제2 실시 형태에 있어서의 센서의 배열 패턴의 다른 예를 도시하는 도면이다. 상기에서 도 4에 도시한 예에서는, 비전 센서(300)의 제1 내지 제4 센서(311 내지 314)가 평면 상의 두 방향(서로 직교하는 x 방향 및 y 방향으로서 도시)에 대해서 각각 교대로 배열되었지만, 도 8에 도시한 예에서는, 제1 내지 제4 센서(311 내지 314)가 x 방향에 대해서만 교대로 배열된다. 즉, 제1 내지 제4 센서(311 내지 314)는 y 방향에 대해서 띠상의 패턴으로 배열된다. 이 경우, x 방향에서는 센서 어레이(320)의 픽셀 사이즈의 4배 미만의 크기의 영역에서 발생한 이벤트가 파장 대역이 맞지 않는 필터에 의해 차단될 가능성이 있지만, y 방향에서는 그러한 차단이 발생하지 않는다. 한편, 상기에서 도 4에 도시한 예에서는, x 방향, y 방향 모두, 센서 어레이(320)의 픽셀 사이즈의 2배 이상의 크기의 영역에서 발생한 이벤트이면 차단되지 않고 검출된다. 이와 같이, 센서의 배열 패턴은, 예를 들어 각각의 방향에 있어서의 검출하고자 하는 이벤트의 크기에 따라서 적절히 변경하는 것이 가능하다.
이상으로 설명한 바와 같은 본 발명의 실시 형태에서는, 이벤트 구동형 비전 센서에 있어서 광의 강도 변화를 검출하는 역치가 다른 복수의 종류의 센서를 배치하고, 정보 처리 장치에 있어서 각각의 센서가 생성한 이벤트 신호에 대응하는 처리를 실행함으로써, 다른 광의 강도로 발생하는 이벤트마다 다른 처리를 실행할 수 있다. 센서의 종류(역치의 단계)가 증가할수록 동일한 강도의 이벤트를 검출할 때의 해상도는 저하되지만, 예를 들어 보간이나 외삽 등의 공지된 기술에 의해 보충할 수 있다. 또한, 예를 들어 상술한 바와 같이 역치가 높은 센서가 생성한 이벤트 신호를 신뢰도가 상대적으로 높은 이벤트의 발생을 나타내는 정보로서 취급하는 경우, 신뢰도가 상대적으로 높은 이벤트가 발생한 영역에서는 역치가 낮은 센서가 생성한 이벤트 신호도 포함해서 이벤트가 발생한 영역을 특정함으로써, 해상도의 저하를 억제할 수도 있다.
또한, 상기의 각 실시 형태에서 설명된 변형은, 다른 실시 형태에도 적용 가능하다. 예를 들어, 제1 실시 형태에 대해서 도 3을 참조하여 설명한 바와 같은 필터 및 센서의 불균등한 배열 패턴은, 제2 실시 형태에도 적용 가능하다. 또한, 제2 실시 형태에 대해서 도 8을 참조하여 설명한 바와 같은 필터 및 센서의 띠상의 배열 패턴은, 제1 실시 형태에도 적용 가능하다.
본 발명의 실시 형태는, 예를 들어 게임 컨트롤러, 스마트폰, 각종 이동체(자동차, 전기 자동차, 하이브리드 전기 자동차, 자동 이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇 등)로 주변 환경의 정보를 취득하거나, 주변의 오브젝트의 위치로부터 자기 위치를 추정하거나, 비래하는 오브젝트를 검출해서 회피 행동을 취하거나 하기 위해서 이용할 수 있다.
이상, 첨부 도면을 참조하면서 본 발명의 적합한 실시 형태에 대해서 상세히 설명했지만, 본 발명은 이러한 예에 한정되지 않는다. 본 발명이 속하는 기술의 분야에 있어서의 통상의 지식을 갖는 자이면, 청구범위에 기재된 기술적 사상의 범위 내에 있어서, 각종 변형예 또는 수정예에 상도할 수 있는 것은 명백하며, 이들에 대해서도, 당연히 본 발명의 기술적 범위에 속하는 것이라고 이해된다.
10, 20 : 시스템
100, 300 : 이벤트 구동형 비전 센서
110, 310 : 센서
111, 311 : 제1 센서
112, 312 : 제2 센서
313 : 제3 센서
314 : 제4 센서
120, 320 : 센서 어레이
200, 400 : 정보 처리 장치
210, 410 : 제1 처리부
220, 420 : 제2 처리부
430 : 제3 처리부
440 : 제4 처리부

Claims (8)

  1. 제1 역치를 초과하는 광의 강도 변화를 검출했을 때에 제1 이벤트 신호를 생성하는 제1 센서와, 상기 제1 역치보다 큰 제2 역치를 초과하는 광의 강도 변화를 검출했을 때에 제2 이벤트 신호를 생성하는 제2 센서가 소정의 패턴에 따라서 배열된 센서 어레이를 포함하는 이벤트 구동형 비전 센서와,
    상기 제1 이벤트 신호가 수신되고 상기 제2 이벤트 신호가 수신되지 않았을 때에 제1 처리를 실행하는 제1 처리부, 및
    상기 제2 이벤트 신호가 수신되었을 때에 상기 제1 처리와는 다른 제2 처리를 실행하는 제2 처리부를
    갖는 정보 처리 장치를
    구비하는 시스템.
  2. 제1항에 있어서, 상기 센서 어레이에서는, 상기 제2 역치보다 큰 제3 역치를 초과하는 광의 강도 변화를 검출했을 때에 제3 이벤트 신호를 생성하는 제3 센서가, 상기 제1 센서 및 상기 제2 센서와 함께 상기 소정의 패턴에 따라서 배열되고,
    상기 정보 처리 장치는, 상기 제3 이벤트 신호에 기초하여 제3 처리를 실행하는 제3 처리부를 더 갖는, 시스템.
  3. 제1항 또는 제2항에 있어서, 상기 센서 어레이에 있어서, 상기 제1 센서 및 상기 제2 센서는 제1 방향 및 상기 제1 방향에 직교하는 제2 방향으로 각각 배열되고,
    상기 소정의 패턴에서는, 상기 제1 센서 및 상기 제2 센서가 상기 제1 방향 및 상기 제2 방향에 대해서 각각 교대로 배열되는, 시스템.
  4. 제1항 또는 제2항에 있어서, 상기 센서 어레이에 있어서, 상기 제1 센서 및 상기 제2 센서는 제1 방향 및 상기 제1 방향에 직교하는 제2 방향으로 각각 배열되고,
    상기 소정의 패턴에서는, 상기 제1 센서 및 상기 제2 센서가 상기 제1 방향에 대해서만 교대로 배열되는, 시스템.
  5. 제1항 또는 제2항에 있어서, 상기 제1 처리부는, 제1 라벨을 갖는 제1 이벤트를 특정하고,
    상기 제2 처리부는, 제2 라벨을 갖는 제2 이벤트를 특정하고,
    상기 정보 처리 장치는, 상기 제2 이벤트의 수가 소정의 역치에 달하고 있는 경우에는 상기 제2 이벤트만을 사용해서 상기 비전 센서가 탑재된 장치의 자기 위치를 추정하고, 상기 제2 이벤트의 수가 상기 소정의 역치에 달하고 있지 않은 경우에는 상기 제1 이벤트 및 상기 제2 이벤트를 사용해서 상기 자기 위치를 추정하는 통합 처리부를 더 구비하는, 시스템.
  6. 이벤트 구동형 비전 센서의 센서 어레이에 소정의 패턴에 따라서 배열되는 제1 센서가 제1 역치를 초과하는 광의 강도 변화를 검출했을 때에 생성하는 제1 이벤트 신호가 수신되고, 상기 센서 어레이에 상기 제1 센서와 함께 상기 소정의 패턴에 따라서 배열되는 제2 센서가 상기 제1 역치보다 큰 제2 역치를 초과하는 광의 강도 변화를 검출했을 때에 생성하는 제2 이벤트 신호가 수신되지 않았을 때에 제1 처리를 실행하는 제1 처리부와,
    상기 제2 이벤트 신호가 수신되었을 때에 상기 제1 처리와는 다른 제2 처리를 실행하는 제2 처리부를
    구비하는 정보 처리 장치.
  7. 이벤트 구동형 비전 센서의 센서 어레이에 소정의 패턴에 따라서 배열되는 제1 센서가 제1 역치를 초과하는 광의 강도 변화를 검출했을 때에 생성하는 제1 이벤트 신호가 수신되고, 상기 센서 어레이에 상기 제1 센서와 함께 상기 소정의 패턴에 따라서 배열되는 제2 센서가 상기 제1 역치보다 큰 제2 역치를 초과하는 광의 강도 변화를 검출했을 때에 생성하는 제2 이벤트 신호가 수신되지 않았을 때에 제1 처리를 실행하는 스텝과,
    상기 제2 이벤트 신호가 수신되었을 때에 상기 제1 처리와는 다른 제2 처리를 실행하는 스텝을
    포함하는 정보 처리 방법.
  8. 이벤트 구동형 비전 센서의 센서 어레이에 소정의 패턴에 따라서 배열되는 제1 센서가 제1 역치를 초과하는 광의 강도 변화를 검출했을 때에 생성하는 제1 이벤트 신호가 수신되고, 상기 센서 어레이에 상기 제1 센서와 함께 상기 소정의 패턴에 따라서 배열되는 제2 센서가 상기 제1 역치보다 큰 제2 역치를 초과하는 광의 강도 변화를 검출했을 때에 생성하는 제2 이벤트 신호가 수신되지 않았을 때에 제1 처리를 실행하는 제1 처리부와,
    상기 제2 이벤트 신호가 수신되었을 때에 상기 제1 처리와는 다른 제2 처리를 실행하는 제2 처리부를
    구비하는 정보 처리 장치로서 컴퓨터를 기능시키기 위한 프로그램이 저장된 컴퓨터 판독가능한 기록매체.
KR1020217040396A 2019-06-25 2019-06-25 시스템, 정보 처리 장치, 정보 처리 방법 및 프로그램 Active KR102715471B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/025111 WO2020261369A1 (ja) 2019-06-25 2019-06-25 システム、情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
KR20220029562A KR20220029562A (ko) 2022-03-08
KR102715471B1 true KR102715471B1 (ko) 2024-10-11

Family

ID=74059679

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217040396A Active KR102715471B1 (ko) 2019-06-25 2019-06-25 시스템, 정보 처리 장치, 정보 처리 방법 및 프로그램

Country Status (6)

Country Link
US (1) US20220228907A1 (ko)
EP (1) EP3993404A4 (ko)
JP (2) JP7171919B2 (ko)
KR (1) KR102715471B1 (ko)
CN (1) CN114073070B (ko)
WO (1) WO2020261369A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20250220322A1 (en) * 2022-03-31 2025-07-03 Sony Group Corporation Sensor device and method for operating a sensor device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016201713A (ja) * 2015-04-13 2016-12-01 キヤノン株式会社 撮像装置、再生装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006074419A (ja) * 2004-09-02 2006-03-16 Casio Comput Co Ltd 画像読取装置及びその駆動制御方法
KR101880998B1 (ko) 2011-10-14 2018-07-24 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
KR101887988B1 (ko) * 2012-07-03 2018-08-14 삼성전자 주식회사 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
KR102331920B1 (ko) * 2014-12-26 2021-11-29 삼성전자주식회사 동작 정보, 조도 정보 및 근접 정보를 위한 센서 및 그 센서를 이용하는 프로세서의 동작 방법
KR102298652B1 (ko) * 2015-01-27 2021-09-06 삼성전자주식회사 시차 결정 방법 및 장치
KR102399017B1 (ko) * 2015-11-16 2022-05-17 삼성전자주식회사 이미지 생성 방법 및 장치
US20180146149A1 (en) 2016-11-21 2018-05-24 Samsung Electronics Co., Ltd. Event-based sensor, user device including the same, and operation method of the same
US10516841B2 (en) 2017-03-08 2019-12-24 Samsung Electronics Co., Ltd. Pixel, pixel driving circuit, and vision sensor including the same
CN108574793B (zh) * 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
US10348994B2 (en) * 2017-04-06 2019-07-09 Samsung Electronics Co., Ltd. Intensity image acquisition from dynamic vision sensors
US11416759B2 (en) * 2018-05-24 2022-08-16 Samsung Electronics Co., Ltd. Event-based sensor that filters for flicker
US10909824B2 (en) * 2018-08-14 2021-02-02 Samsung Electronics Co., Ltd. System and method for pulsed light pattern capturing using a dynamic vision sensor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016201713A (ja) * 2015-04-13 2016-12-01 キヤノン株式会社 撮像装置、再生装置

Also Published As

Publication number Publication date
KR20220029562A (ko) 2022-03-08
JPWO2020261369A1 (ko) 2020-12-30
EP3993404A1 (en) 2022-05-04
US20220228907A1 (en) 2022-07-21
CN114073070B (zh) 2024-09-13
JP7171919B2 (ja) 2022-11-15
JP2023014088A (ja) 2023-01-26
CN114073070A (zh) 2022-02-18
WO2020261369A1 (ja) 2020-12-30
EP3993404A4 (en) 2023-01-18
JP7401630B2 (ja) 2023-12-19

Similar Documents

Publication Publication Date Title
KR102645637B1 (ko) 시스템, 비전 센서, 정보 처리 장치, 정보 처리 방법 및 프로그램
JP5293815B2 (ja) 画像処理装置、画像処理方法、及び画像処理用プログラム
US8976999B2 (en) Vehicle detection apparatus
US20130286205A1 (en) Approaching object detection device and method for detecting approaching objects
US9807320B2 (en) Operation input device, operation input method, and computer-readable recording medium
US8358271B2 (en) Optical navigation system with lift detection
US9886773B2 (en) Object detection apparatus and object detection method
US11961306B2 (en) Object detection device
CN104376741A (zh) 一种车位状态检测方法与系统
US20220196841A1 (en) Object recognition abnormality detection apparatus, object recognition abnormality detection program product, and object recognition abnormality detection method
JP7484783B2 (ja) 車線境界検出装置、車線境界検出方法及び車線境界検出用コンピュータプログラム
US9852519B2 (en) Detection system
US11069049B2 (en) Division line detection device and division line detection method
CN106415662B (zh) 车辆周围监视装置
KR102715471B1 (ko) 시스템, 정보 처리 장치, 정보 처리 방법 및 프로그램
JP2010286995A (ja) 車両用画像処理システム
CN104697491A (zh) 在车辆中使用单视场成像器的距离确定
CN104376742A (zh) 一种车位状态检测方法与系统
CN117974542A (zh) 一种无人矿卡摄像头镜头脏污的检测方法及系统
CN113569701A (zh) 多传感器融合的障碍物感知智能车检测算法
JP2009032030A (ja) 車両検出装置
JP2015219212A (ja) ステレオカメラ装置及び距離算出方法
JP6362945B2 (ja) 車載画像処理装置
KR102837493B1 (ko) 화상 처리 장치, 이동 장치 및 방법, 그리고 프로그램
US20240369712A1 (en) Abnormality determination device, abnormality determination method, and non-transitory computer-readable storage medium storing abnormality determination program

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20211209

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20220622

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240115

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240926

PG1601 Publication of registration