[go: up one dir, main page]

KR102746170B1 - 센서 시스템, 화상 처리 장치, 화상 처리 방법 및 프로그램 - Google Patents

센서 시스템, 화상 처리 장치, 화상 처리 방법 및 프로그램 Download PDF

Info

Publication number
KR102746170B1
KR102746170B1 KR1020227004213A KR20227004213A KR102746170B1 KR 102746170 B1 KR102746170 B1 KR 102746170B1 KR 1020227004213 A KR1020227004213 A KR 1020227004213A KR 20227004213 A KR20227004213 A KR 20227004213A KR 102746170 B1 KR102746170 B1 KR 102746170B1
Authority
KR
South Korea
Prior art keywords
sensor
event
event signal
light
sensitivity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020227004213A
Other languages
English (en)
Other versions
KR20220074854A (ko
Inventor
마코토 고이즈미
준 호리
Original Assignee
주식회사 소니 인터랙티브 엔터테인먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 소니 인터랙티브 엔터테인먼트 filed Critical 주식회사 소니 인터랙티브 엔터테인먼트
Publication of KR20220074854A publication Critical patent/KR20220074854A/ko
Application granted granted Critical
Publication of KR102746170B1 publication Critical patent/KR102746170B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 어떤 관점에 따르면, 제1 화소 어드레스에 있어서의 광량의 변동을 제1 감도로 검출하는 제1 센서, 및 제1 화소 어드레스에 인접 또는 중복되는 제2 화소 어드레스에 있어서의 광량의 변동을 제1 감도보다도 낮은 제2 감도로 검출하는 제2 센서를 포함하는 센서 어레이와, 제1 센서가 휘도 변동 이벤트에 대하여 제1 이벤트 신호를 생성했을 때, 제2 센서가 휘도 변동 이벤트에 대하여 제2 이벤트 신호를 생성했는지 여부에 따라서 휘도 변동 이벤트를 발생시킨 피사체의 계조를 판정하는 계조 판정부를 구비하는 센서 시스템이 제공된다.

Description

센서 시스템, 화상 처리 장치, 화상 처리 방법 및 프로그램
본 발명은 센서 시스템, 화상 처리 장치, 화상 처리 방법 및 프로그램에 관한 것이다.
CCD나 CMOS 등의 이미지 센서는, 수직 동기 신호 등의 동기 신호에 동기하여 화상 데이터(프레임)를 촬상하는 동기형의 고체 촬상 소자이다. 일반적인 동기형의 고체 촬상 소자에서는, 동기 신호의 주기(예를 들어, 1/60초)마다밖에 화상 데이터가 취득되지 않기 때문에, 예를 들어 이동체에 있어서의 화상 데이터를 이용한 고속의 처리에는 대응이 곤란한 경우가 있다. 그래서, 예를 들어 비특허문헌 1 등에 있어서, 어드레스 이벤트를 검출하는 어드레스 이벤트 표현(AER: Address Event Representation) 회로를 마련한 비동기형의 고체 촬상 소자가 제안되어 있다.
상기 비동기형의 고체 촬상 소자에 있어서, 어드레스 이벤트는, 어떤 화소 어드레스에서 화소의 광량이 변동하고, 변동량이 역치를 초과한 경우에 발생한다. 구체적으로는, 어드레스 이벤트는, 화소의 광량이 변동하여 소정의 상한을 초과한 경우에 발생하는 온 이벤트와, 광량이 소정의 하한을 하회한 경우에 발생하는 오프 이벤트를 포함한다. 이러한 비동기형의 고체 촬상 소자에 있어서, 화소마다의 온 이벤트 및 오프 이벤트의 유무를 2 비트의 데이터로 표현하는 화상 데이터의 형식은 AER 포맷이라고 불린다. 비동기형의 고체 촬상 소자를 사용한 기술은, 예를 들어 특허문헌 1에도 기재되어 있다.
일본 특허 공개 제2018-186478호 공보
Patrick Lichtsteiner, et al., A 128×128 120dB 15μs Latency Asynchronous Temporal Contrast Vision Sensor, IEEE JOURNAL OF SOLID-STATE CIRCUITS, VOL.43, NO.2, FEBRUARY 2008.
상기와 같은 비동기형의 고체 촬상 소자(이하, 이벤트 구동형 센서라고도 함)에서는, 피사체의 움직임을 고속으로 검출하는 것은 가능하기는 하지만, 화상 데이터로서 온 이벤트 또는 오프 이벤트의 2가지 정보밖에 얻을 수 없기 때문에, 피사체의 휘도 계조를 검출하는 것은 곤란하다. 예를 들어, 계조를 검출하는 것이 가능한 동기형의 고체 촬상 소자를 이벤트 구동형 센서와 함께 배치하고, 이벤트 구동형 센서로 피사체의 움직임이 검출된 경우에 동기형의 고체 촬상 소자를 노광하여 계조를 검출하는 것도 생각할 수 있지만, 이 경우에는 계조를 포함한 화상 데이터의 취득 주기가 동기형의 고체 촬상 소자의 동기 신호 주기로 제약되기 때문에, 이벤트 구동형 센서의 고속성이 손상되어 버린다.
그래서, 본 발명은 이벤트 구동형 센서를 사용하여 고속으로 피사체의 계조를 검출하는 것을 가능하게 하는, 센서 시스템, 화상 처리 장치, 화상 처리 방법 및 프로그램을 제공하는 것을 목적으로 한다.
본 발명의 어떤 관점에 따르면, 제1 화소 어드레스에 있어서의 광량의 변동을 제1 감도로 검출하는 제1 센서, 및 제1 화소 어드레스에 인접 또는 중복되는 제2 화소 어드레스에 있어서의 광량의 변동을 제1 감도보다도 낮은 제2 감도로 검출하는 제2 센서를 포함하는 센서 어레이와, 제1 센서가 휘도 변동 이벤트에 대하여 제1 이벤트 신호를 생성했을 때, 제2 센서가 휘도 변동 이벤트에 대하여 제2 이벤트 신호를 생성했는지 여부에 따라서 휘도 변동 이벤트를 발생시킨 피사체의 계조를 판정하는 계조 판정부를 구비하는 센서 시스템이 제공된다.
본 발명의 다른 관점에 따르면, 제1 화소 어드레스에 있어서의 광량의 변동을 제1 감도로 검출하는 제1 센서가 휘도 변동 이벤트에 대하여 생성한 제1 이벤트 신호에, 제1 화소 어드레스에 인접 또는 중복되는 제2 화소 어드레스에 있어서의 광량의 변동을 제1 감도보다도 낮은 제2 감도로 검출하는 제2 센서가 휘도 변동 이벤트에 대하여 생성한 제2 이벤트 신호를 연관짓는 이벤트 신호 연관짓기부와, 제1 이벤트 신호에 연관지어지는 제2 이벤트 신호의 유무에 따라서 휘도 변동 이벤트를 발생시킨 피사체의 계조를 판정하는 계조 판정부를 구비하는 화상 처리 장치가 제공된다.
본 발명의 또 다른 관점에 따르면, 제1 화소 어드레스에 있어서의 광량의 변동을 제1 감도로 검출하는 제1 센서가, 휘도 변동 이벤트에 대하여 제1 이벤트 신호를 생성하는 스텝과, 제1 화소 어드레스에 인접 또는 중복되는 제2 화소 어드레스에 있어서의 광량의 변동을 제1 감도보다도 낮은 제2 감도로 검출하는 제2 센서가 휘도 변동 이벤트에 대하여 제2 이벤트 신호를 생성하거나, 또는 제2 이벤트 신호를 생성하지 않는 스텝과, 제1 이벤트 신호에 제2 이벤트 신호를 연관짓는 스텝과, 제1 이벤트 신호에 연관지어지는 제2 이벤트 신호의 유무에 따라서 휘도 변동 이벤트를 발생시킨 피사체의 계조를 판정하는 스텝을 포함하는 화상 처리 방법이 제공된다.
본 발명의 또 다른 관점에 따르면, 제1 화소 어드레스에 있어서의 광량의 변동을 제1 감도로 검출하는 제1 센서가 휘도 변동 이벤트에 대하여 생성한 제1 이벤트 신호에, 제1 화소 어드레스에 인접 또는 중복되는 제2 화소 어드레스에 있어서의 광량의 변동을 제1 감도보다도 낮은 제2 감도로 검출하는 제2 센서가 휘도 변동 이벤트에 대하여 생성한 제2 이벤트 신호를 연관짓는 기능과, 제1 이벤트 신호에 연관지어지는 제2 이벤트 신호의 유무에 따라서 휘도 변동 이벤트를 발생시킨 피사체의 계조를 판정하는 기능을 컴퓨터에 실현시키기 위한 프로그램이 제공된다.
도 1은 본 발명의 제1 실시 형태에 관련된 시스템의 개략적인 구성을 도시하는 도면이다.
도 2a는 본 발명의 실시 형태에 있어서의 계조 산출의 원리에 대하여 설명하기 위한 도면이다.
도 2b는 본 발명의 실시 형태에 있어서의 계조 산출의 원리에 대하여 설명하기 위한 도면이다.
도 3은 본 발명의 실시 형태에 있어서의 계조 산출의 원리에 대하여 설명하기 위한 도면이다.
도 4a는 본 발명의 제1 실시 형태에 있어서의 동시화 처리에 대하여 설명하기 위한 도면이다.
도 4b는 본 발명의 제1 실시 형태에 있어서의 동시화 처리에 대하여 설명하기 위한 도면이다.
도 4c는 본 발명의 제1 실시 형태에 있어서의 동시화 처리에 대하여 설명하기 위한 도면이다.
도 4d는 본 발명의 제1 실시 형태에 있어서의 동시화 처리에 대하여 설명하기 위한 도면이다.
도 5는 본 발명의 제1 실시 형태에 있어서의 처리의 예를 나타내는 플로차트이다.
도 6은 본 발명의 제1 실시 형태에 있어서의 센서 배치의 다른 예를 도시하는 도면이다.
도 7은 본 발명의 제2 실시 형태에 관련된 시스템의 개략적인 구성을 도시하는 도면이다.
도 8은 본 발명의 제2 실시 형태에 있어서의 센서 배치의 다른 예를 도시하는 도면이다.
도 9는 본 발명의 제3 실시 형태에 관련된 시스템의 개략적인 구성을 도시하는 도면이다.
도 10은 본 발명의 제3 실시 형태에 있어서의 처리의 예를 나타내는 플로차트이다.
이하에 첨부 도면을 참조하면서, 본 발명의 적합한 실시 형태에 대하여 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 부호를 붙임으로써 중복된 설명을 생략한다.
(제1 실시 형태)
도 1은, 본 발명의 제1 실시 형태에 관련된 시스템의 개략적인 구성을 도시하는 도면이다. 도시되어 있는 바와 같이, 센서 시스템(10A)은, 센서 모듈(100)과, 화상 처리 장치(200A)를 포함한다. 센서 모듈(100)은, 화소마다 배치된 제1 센서(111) 및 제2 센서(112)를 포함하는 센서 어레이와, 신호 처리 회로(120)(이벤트 신호 처리부)를 포함한다. 화상 처리 장치(200A)는, 예를 들어 통신 인터페이스, 프로세서, 및 메모리를 갖는 컴퓨터에 의해 실장되어, 프로세서가 메모리에 저장된, 또는 통신 인터페이스를 통하여 수신된 프로그램에 따라서 동작함으로써 실현되는 시각 차분 취득부(210A) 및 계조 산출부(220A)의 기능 부분을 포함한다. 화상 처리 장치(200A)는, 또한, 화상 생성부(230) 및 지연 시간 산출부(240)의 기능 부분을 포함해도 된다. 이하, 각 부에 대하여 더 설명한다.
제1 센서(111) 및 제2 센서(112)는, 모두 이벤트 구동형 센서(EDS: Event Driven Sensor)이며, 각각의 화소 어드레스에서 광량의 변동량이 역치를 초과했을 때, 어드레스 이벤트의 발생을 나타내는 이벤트 신호를 출력한다. 본 실시 형태에 있어서, 센서 어레이는 소정의 패턴으로 평면적으로 배열된 제1 센서(111) 및 제2 센서(112)를 포함한다. 제1 센서(111)는, 제1 화소 어드레스에 있어서의 광량의 변동을 제1 감도로 검출하고, 제2 센서(112)는, 제1 화소 어드레스에 인접하는 제2 화소 어드레스에 있어서의 광량의 변동을 제1 감도보다도 낮은 제2 감도로 검출한다.
구체적으로는, 예를 들어, 제2 센서(112)의 감도(제2 감도)는, 제1 센서(111)의 감도(제1 감도)의 p배(1>p>0)이다. 이러한 제1 센서(111) 및 제2 센서(112)는, 예를 들어, 센서 어레이에 중첩되어, 제2 센서(112)에 입사되는 광량을 저감시키는 필터(115)(예를 들어 그레이 필터, 또는 조리개)를 배치함으로써 실현할 수 있다. 이 경우, 제1 센서(111) 및 제2 센서(112)에 동일한 구성의 EDS를 사용할 수 있다. 필터(115)가 광량의 (1-p)배를 차단할 경우, 제2 감도는 제1 감도의 p배가 된다. 혹은, 제1 센서(111)와 제2 센서(112) 간에 바이어스 전류를 다르게 함으로써 각각의 센서의 감도를 조절해도 된다.
신호 처리 회로(120)는, 메모리 및 프로세서를 포함하고, 프로세서가 메모리에 저장된 프로그램에 따라서 동작함으로써 제1 센서(111)가 생성한 제1 이벤트 신호 및 제2 센서(112)가 생성한 제2 이벤트 신호를 처리한다. 구체적으로는, 신호 처리 회로(120)는, 제1 이벤트 신호 및 제2 이벤트 신호 각각의 타임 스탬프를 생성한다. 타임 스탬프는, 제1 센서(111) 및 제2 센서(112)가 휘도 변동 이벤트에 대하여 각각 이벤트 신호를 생성한 시각의 차분을 나타내는 정보의 예이다.
여기서, 제1 센서(111) 및 제2 센서(112)는, 예를 들어 피사체의 이동이나 광원의 변화 등의 휘도 변동 이벤트(이하, 단순히 이벤트라고도 함)가 발생했을 때, 검출되는 광량의 변동량이 역치를 초과한 것에 의해 이벤트 신호를 생성한다. 여기서, 상술한 바와 같이, 제1 센서(111)와 제2 센서(112) 간에는 광량의 변동을 검출하는 감도가 상이하다. 따라서, 동일한 이벤트에 대하여 제1 센서(111) 및 제2 센서(112) 양쪽이 이벤트 신호를 생성한 경우에도, 각각의 센서로 검출되는 광량의 변동량은 상이하다. 본 실시 형태에서는, 이하에서 설명하는 바와 같이, 광량의 변동량이 상이하면 이벤트로부터 이벤트 신호의 생성까지의 지연 시간이 상이하다고 하는 센서의 특성을 이용하여, 제1 센서(111) 및 제2 센서(112)가 동일한 휘도 변동 이벤트에 대하여 각각 이벤트 신호를 생성한 시각의 차분으로부터, 피사체의 계조를 산출한다.
도 2a, 도 2b 및 도 3은, 본 발명의 실시 형태에 있어서의 계조 산출의 원리에 대하여 설명하기 위한 도면이다. 도 2a 및 도 2b에 도시되어 있는 바와 같이, 밝은(고계조의) 피사체 obj1의 움직임에 의해 이벤트가 발생하는 경우, 이벤트의 휘도 변동량은 상대적으로 크다. 이 경우, 이벤트가 발생하고 나서 EDS가 이벤트 신호를 생성할 때까지 지연 시간 d1이 발생하는 것으로 하자. 한편, 어두운(저계조의) 피사체 obj2의 움직임에 의해 이벤트가 발생하는 경우, 이벤트의 휘도 변동량은 상대적으로 작다. 이 경우, 이벤트가 발생하고 나서 EDS가 이벤트 신호를 생성할 때까지 발생하는 지연 시간 d2는, 피사체 obj1의 경우의 지연 시간 d1보다도 길다(d1 <d2). 즉, EDS가 이벤트 신호를 생성하는 지연 시간은, 피사체의 계조가 높을수록 짧아지고, 피사체의 계조가 낮을수록 길어진다.
그래서, 예를 들어, 도 3에 도시되어 있는 바와 같이, 제2 센서(112)의 감도가 제1 센서(111)의 감도의 50％(상술한 예에 있어서 p=0.5)일 경우, 제2 센서(112)에 의해 검출되는 이벤트의 휘도 변화는, 제1 센서(111)에 의해 검출되는 이벤트의 휘도 변화의 50％가 된다. 즉, 제2 센서(112)로는, 피사체의 계조가 50％ 저감되어 검출된다. 이 경우에 있어서, 제1 센서(111)에 의해 생성된 제1 이벤트 신호의 지연 시간 d1과 제2 센서(112)에 의해 생성된 제2 이벤트 신호의 지연 시간 d2의 차분(d2-d1)은, 피사체의 계조 50％분에 상당한다. 따라서, 피사체의 계조와 EDS의 지연 시간의 관계를 미리 측정해 두면, 지연 시간의 차분, 즉 각각의 센서가 이벤트 신호를 생성한 시각의 차분으로부터 피사체의 계조를 산출할 수 있다.
보다 구체적으로는, 예를 들어, 본 실시 형태에서는, 이벤트를 발생시키는 피사체의 계조와 EDS의 지연 시간의 관계를 미리 측정함으로써, 피사체의 계조를 지연 시간 d의 함수 g(d)로서 특정한다. 이에 의해, 제1 이벤트 신호 및 제2 이벤트 신호의 지연 시간 d1, d2가 미지이더라도, 지연 시간 d1과 지연 시간 d2의 차분 dD=d2-d1이 기지라면,
g(d1+dD)=0.5×g(d1)… (식 1)
이 되는 제1 센서(111)의 지연 시간 d1과, 제1 센서(111)에 의해 검출되는 피사체의 계조 g(d1)을 산출할 수 있다.
다시 도 1을 참조하면, 화상 처리 장치(200A)에 있어서, 시각 차분 취득부(210A)는, 신호 처리 회로(120)가 생성한 타임 스탬프에 기초하여, 제1 센서 및 제2 센서가 동일한 휘도 변동 이벤트에 대하여 각각 이벤트 신호를 생성한 시각의 차분을 나타내는 정보를 취득한다. 다른 예로서, 예를 들어 화상 처리 장치(200A)가 신호 처리 회로(120)를 포함하는 경우에는, 신호 처리 회로(120)가 제1 이벤트 신호 및 제2 이벤트 신호의 타임 스탬프와는 별도로, 제1 이벤트 신호 및 제2 이벤트 신호 간의 시간차를 나타내는 정보를 직접적으로 취득해도 된다.
계조 산출부(220A)는, 시각 차분 취득부(210A)가 취득한 시각의 차분을 나타내는 정보에 기초하여, 휘도 변동 이벤트를 발생시킨 피사체의 계조를 산출한다. 상기에서 도 2a, 도 2b 및 도 3을 참조하여 설명한 바와 같이, 이벤트를 발생시키는 피사체의 계조와 EDS의 지연 시간의 관계를 미리 측정해 두면, 이벤트 신호가 생성된 시각의 차로부터 피사체의 계조를 산출할 수 있다. 본 실시 형태에 있어서, 화상 처리 장치(200A)의 메모리에는 시간차-계조 테이블(221)이 저장되고, 계조 산출부(220A)는, 시간차-계조 테이블(221)을 참조함으로써 피사체의 계조를 산출한다.
상기와 같은 처리에 의해 계조 산출부(220A)가 산출한 피사체의 계조는, 예를 들어 화상 생성부(230)에 의해 이벤트 신호를 사용하여 피사체의 화상을 생성하는 데 사용되어도 된다. 이 경우, 제1 이벤트 신호 및 제2 이벤트 신호는 후술하는 바와 같은 처리에 의해 동시화되어도 된다. 혹은, 계조 산출부(220A)가 산출한 피사체의 계조는, 이벤트 신호로부터 인식되는 피사체에 대한 처리를 선택하기 위해 사용되어도 된다. 상기와 같은 처리를 실행하는 기능 부분은, 화상 처리 장치(200A)의 내부에 있어서 실장되어도 되고, 화상 처리 장치(200A)로부터 피사체의 계조를 나타내는 정보를 수신하는 외부 장치에 있어서 실장되어도 된다.
지연 시간 산출부(240)는, 시각 차분 취득부(210A)가 취득한 시각의 차분을 나타내는 정보로부터, 제1 센서(111)에 있어서의 휘도 변동 이벤트로부터 이벤트 신호의 생성까지의 지연 시간을 산출한다. 상기에서 도 3을 참조하여 설명한 바와 같이, 피사체의 계조를 지연 시간 d의 함수 g(d)로서 표현한 경우, 지연 시간 d1, d2가 미지라도, 차분 dD=d2-d1로부터 g(d1+dD)=0.5×g(d1)이 되는 지연 시간 d1을 산출할 수 있다. 지연 시간 산출부(240)는, 마찬가지로 제2 센서(112)에 있어서의 지연 시간 d2를 산출해도 된다.
상기와 같이 지연 시간 산출부(240)가 산출한 지연 시간은, 예를 들어 지연 시간을 제외한 이벤트의 진정한 발생 시각을 특정하기 위해 사용되어도 된다. 구체적으로는, 지연 시간 d1을 제1 센서(111)가 생성한 제1 이벤트 신호의 타임 스탬프로부터 차감함으로써, 제1 센서(111)가 검출한 이벤트의 진정한 발생 시각을 특정할 수 있다. 본 실시 형태에서는 화상 처리 장치(200A)가 계조 산출부(220A) 및 지연 시간 산출부(240) 양쪽을 포함하지만, 다른 실시 형태에서는 화상 처리 장치가 계조 산출부(220A) 또는 지연 시간 산출부(240)의 어느 한쪽만을 포함해도 된다.
도 4a 내지 도 4d는, 본 발명의 제1 실시 형태에 있어서의 동시화 처리에 대하여 설명하기 위한 도면이다. 상술한 바와 같이, 제1 센서(111)와 제2 센서(112) 간에는, 휘도 변동 이벤트가 발생하고 나서 이벤트 신호가 생성될 때까지의 지연 시간이 상이하다. 본 실시 형태에서는 이 지연 시간의 차이를 이용하여 피사체의 계조를 산출하고 있지만, 한편으로, 제1 센서(111)가 생성하는 제1 이벤트 신호와 제2 센서(112)가 생성하는 제2 이벤트 신호 간에는, 지연 시간의 차이에 상당하는 타임 스탬프의 차분이 발생한다.
그래서, 도시된 예에서는, 제2 센서(112A)에 의해 생성된 제2 이벤트 신호의 타임 스탬프를, 인접하는 제1 센서(111A 내지 111H) 각각에 의해 생성된 이벤트 신호의 타임 스탬프의 평균값으로 치환함으로써, 제2 이벤트 신호를 제1 이벤트 신호에 동시화하고 있다. 도 4a 내지 도 4d에는, 각각, 제2 센서(112A)에 인접하여 이벤트 신호를 생성한 제1 센서(111)가 2개, 4개 및 8개인 경우의 예가 도시되어 있다. 예를 들어, 계조 산출부(220A) 또는 지연 시간 산출부(240)에 입력되는 이벤트 신호와는 별도로 동시화된 이벤트 신호를 생성함으로써, 제1 센서(111)가 배치되는 제1 화소 어드레스 및 제2 센서(112)가 배치되는 제2 화소 어드레스 양쪽을 포함하는 센서 어레이의 전체 화소에서 검출된 이벤트에 기초하여(즉, 해상도를 낮추지 않고) 피사체의 움직임을 특정할 수 있다.
또한, 상기와 같은 동시화 처리는 반드시 실행되지 않아도 되고, 예를 들어, 제1 센서(111)가 생성하는 제1 이벤트 신호에 기초하여, 제1 센서(111)가 배치되는 제1 화소 어드레스에서 검출된 이벤트에만 기초하여 피사체의 움직임을 특정해도 된다. 이 경우, 제2 화소 어드레스에서 검출된 이벤트가 사용되지 않는 분만큼 해상도는 저하되지만, 예를 들어 선형 보간 등의 공지된 보간의 방법에 의해 해상도의 저하를 보충할 수 있다. 또한, 높은 해상도가 필요하지 않은 경우에는, 동시화 처리나 보간 처리를 행하지 않고, 제1 화소 어드레스에서 취득된 이벤트 신호만을 피사체의 움직임 특정에 사용해도 된다. 혹은, 제1 센서(111) 및 제2 센서(112)의 배열 패턴에 있어서, 제1 센서(111)를 제2 센서(112)보다도 많이 배치함으로써, 필요 최저한의 해상도로 계조를 산출하면서, 피사체의 움직임을 특정하기 위한 해상도를 유지해도 된다.
도 5는, 본 발명의 제1 실시 형태에 있어서의 처리의 예를 나타내는 플로차트이다. 도시된 예에서는, 우선, 센서 모듈(100)의 제1 센서(111)가 휘도 변동 이벤트에 대하여 제1 이벤트 신호를 생성한다(스텝 S101). 그 시각으로부터 조금 지연되어, 제2 센서(112)가 동일한 휘도 변동 이벤트에 대하여 제2 이벤트 신호를 생성한다(스텝 S102). 상술한 바와 같이, 이러한 제1 이벤트 신호와 제2 이벤트 신호 간의 시간차는, 검출된 휘도 변동량이 제1 센서(111)와, 보다 감도가 낮은 제2 센서(112) 간에 상이함으로 인해 발생한다.
다음으로, 화상 처리 장치(200A)에 있어서, 시각 차분 취득부(210A)가, 제1 센서(111) 및 제2 센서(112)가 각각 제1 이벤트 신호 및 제2 이벤트 신호를 생성한 시각의 차분을 나타내는 정보를 취득한다(스텝 S103). 구체적으로는, 시각 차분 취득부(210A)는, 신호 처리 회로(120)에 의해 생성된 제1 이벤트 신호 및 제2 이벤트 신호의 타임 스탬프에 기초하여, 제1 센서 및 제2 센서가 동일한 휘도 변동 이벤트에 대하여 각각 이벤트 신호를 생성한(상기 스텝 S101, S102) 시각의 차분을 나타내는 정보를 취득한다.
또한, 계조 산출부(220A)가, 시각 차분 취득부(210A)가 취득한 시각의 차분을 나타내는 정보에 기초하여, 휘도 변동 이벤트를 발생시킨 피사체의 계조를 산출한다(스텝 S104). 상기 도 1을 참조하여 설명한 바와 같이, 이때 계조 산출부(220A)는, 화상 처리 장치(200A)의 메모리에 저장된 시간차-계조 테이블(221)을 참조해도 된다. 도시된 예에서는 산출된 계조와 이벤트 신호를 사용하여 화상 생성부(230)가 피사체의 화상을 생성하지만(스텝 S105), 상술한 바와 같이 산출된 계조는 화상 생성과 함께, 또는 화상 생성 대신에 다른 처리에 이용되어도 된다.
도 6은, 본 발명의 제1 실시 형태에 있어서의 센서 배치의 다른 예를 도시하는 도면이다. 도시된 예에 있어서, 센서 모듈(100)의 센서 어레이는 소정의 패턴으로 평면적으로 배열된 제1 센서(111), 제2 센서(112), 제3 센서(113) 및 제4 센서(114)를 포함한다. 상기에서 도 1을 참조하여 설명한 예와 마찬가지의 제1 센서(111) 및 제2 센서(112)에 더하여, 제3 센서(113)는, 제1 및 제2 화소 어드레스 중 적어도 어느 것에 인접하는 제3 화소 어드레스에 있어서의 광량의 변동을 제2 감도보다도 낮은 제3 감도로 검출한다. 제4 센서(114)는, 제1 내지 제3 화소 어드레스 중 적어도 어느 것에 인접하는 제4 화소 어드레스에 있어서의 광량의 변동을 제3 감도보다도 낮은 제4 감도로 검출한다. 신호 처리 회로(120)(도시하지 않음)는, 제1 내지 제4 센서(111 내지 114)가 각각 생성한 이벤트 신호의 타임 스탬프를 생성한다.
상기의 예에 있어서, 예를 들어, 제2 센서(112)의 감도(제2 감도), 제3 센서(113)의 감도(제3 감도), 및 제4 센서(114)의 감도(제4 감도)는, 각각 제1 센서(111)의 감도(제1 감도)의 p2배, p3배, 및 p4배이다(1>p2>p3>p4>0). 구체적으로는, p2=0.75, p3=0.5, p4=0.25로 해도 된다. 이러한 제1 내지 제4 센서(111 내지 114)는, 예를 들어, 센서 어레이에 중첩되어, 제2 내지 제4 센서(112 내지 114)에 입사되는 광량을 저감시키는 필터(116)(예를 들어 그레이 필터, 또는 조리개)를 배치함으로써 실현할 수 있다. 상기의 예의 경우, 필터(116)는, 제2 센서(112)에 입사되는 광량의 25％를 차단하고, 제3 센서(113)에 입사되는 광량의 50％를 차단하고, 제4 센서(114)에 입사되는 광량의 75％를 차단한다.
상기의 경우, 제2 센서(112), 제3 센서(113) 및 제4 센서(114)에 의해 검출되는 이벤트의 휘도 변화는, 각각 제1 센서(111)에 의해 검출되는 이벤트의 휘도 변화의 75％, 50％ 및 25％가 되고, 제1 내지 제4 센서(111 내지 114)에 의해 각각 생성된 제1 내지 제4 이벤트 신호의 지연 시간 d1 내지 d4의 차분(d4-d1), (d3-d1) 및 (d2-d1)은, 각각 피사체의 계조 75％, 50％ 및 25％에 상당한다.
이와 같이, 본 실시 형태에 있어서, 센서 어레이에 배열되는 센서의 감도를 2보다도 많은 단계로 설정한 경우, 예를 들어 상기 식 1과 같은 조건식을 복수 설정할 수 있기 때문에, 피사체의 계조를 나타내는 함수 g(d)가 어떤 것이라도, 조건을 충족시키는 지연 시간 d1을 정확히 탐색할 수 있다. 혹은, 각각의 센서의 감도의 저하량에 발생하는 오차(예를 들어, 제2 센서(112)의 감도가 제1 센서(111)의 감도의 정확히 0.5배가 아닐 가능성)를 고려하여, 제1 이벤트 신호와 제2 이벤트 신호의 시간차로부터 산출되는 계조, 제1 이벤트 신호와 제3 이벤트 신호의 시간차로부터 산출되는 계조, 및 제1 이벤트 신호와 제4 이벤트 신호의 시간차로부터 산출되는 계조를 평균함으로써 계조의 산출 결과를 안정시켜도 된다.
이상에서 설명한 본 발명의 제1 실시 형태에서는, 광량의 변동을 검출하는 감도가 상이한 센서를 인접하는 화소 어드레스에 배치하고, 각각의 센서에 의해 생성된 이벤트 신호의 시간차로부터 피사체의 계조를 산출한다. 이에 의해, 이벤트 구동형 센서(EDS)의 고속성을 손상시키지 않고 피사체의 계조를 검출할 수 있다. 또한, 본 실시 형태에서는, 감도가 상이한 센서가 센서 어레이 내에서 평면적으로 인접하여 배치되기 때문에, 예를 들어 감도가 균일한 통상의 EDS에 그레이 필터 등의 필터를 조합함으로써 용이하게 계조의 검출을 실현할 수 있다.
(제2 실시 형태)
도 7은, 본 발명의 제2 실시 형태에 관련된 시스템의 개략적인 구성을 도시하는 도면이다. 도시된 예에 있어서, 센서 시스템(10B)은, 센서 모듈(300)과, 화상 처리 장치(200A)를 포함한다. 센서 모듈(300)은, 화소마다 배치된 적층형의 센서(310)를 포함하는 센서 어레이와, 신호 처리 회로(320)(이벤트 신호 처리부)를 포함한다. 또한, 화상 처리 장치(200A)의 구성은, 상기 제1 실시 형태와 마찬가지이기 때문에 중복된 설명은 생략한다. 이하, 각 부에 대하여 더 설명한다.
적층형의 센서(310)에서는, 제1 센서를 구성하는 투과형의 제1 수광층(311)과, 제2 센서를 구성하는 제2 수광층(312)이 적층되어, 제1 수광층(311)이 광의 입사측, 즉 피사체에 가까운 측에 배치된다. 피사체로부터의 광은, 제1 수광층(311)을 투과하여 제2 수광층(312)에도 입사된다. 제1 수광층(311)은, 센서(310)가 배치된 화소 어드레스에 있어서의 광량의 변동을 제1 감도로 검출하고, 제2 수광층(312)은, 동일한 화소 어드레스에 있어서의 광량의 변동을 제1 감도보다도 낮은 제2 감도로 검출한다. 본 실시 형태에 있어서, 제1 수광층(311)에 의해 구성되는 제1 센서가 배치되는 제1 화소 어드레스와, 제2 수광층(312)에 의해 구성되는 제2 센서가 배치되는 제2 화소 어드레스는 중복되어 있다.
구체적으로는, 예를 들어, 제2 수광층(312)의 감도(제2 감도)는, 제1 수광층(311)의 감도(제1 감도)의 p배(1>p>0)이다. 이러한 적층형의 센서(310)는, 예를 들어, 제1 수광층(311)의 양자 효율을 p1로 하고(1>p1>0), 제2 수광층(312)의 양자 효율을 p2로 하는((1-p1)>p2>0) 것에 의해 실현할 수 있다. 이 경우, 제2 수광층(312)의 감도는, 제1 수광층(311)의 감도의 p2/p1배가 된다(p=p2/p1). 또한, 양자 효율은, 광자 1개당 몇％의 확률로 검출할 수 있는지를 나타내는 지표를 의미한다. 후술하는 예와 같이, EDS(310)는 2층을 초과하는 적층 구조를 가져도 된다.
신호 처리 회로(320)는, 메모리 및 프로세서를 포함하고, 프로세서가 메모리에 저장된 프로그램에 따라서 동작함으로써 제1 수광층(311)에 의해 구성되는 제1 센서가 생성한 제1 이벤트 신호 및 제2 수광층(312)에 의해 구성되는 제2 센서가 생성한 제2 이벤트 신호를 처리한다. 구체적으로는, 신호 처리 회로(320)는, 제1 이벤트 신호 및 제2 이벤트 신호 각각의 타임 스탬프를 생성한다. 타임 스탬프는, 제1 수광층(311)에 의해 구성되는 제1 센서 및 제2 수광층(312)에 의해 구성되는 제2 센서가 휘도 변동 이벤트에 대하여 각각 이벤트 신호를 생성한 시각의 차분을 나타내는 정보의 예이다.
상기한 바와 같이, 동일한 화소 어드레스에 배치된 제1 센서 및 제2 센서가 휘도 변동 이벤트에 대하여 각각 이벤트 신호를 생성한 시각의 차분을 나타내는 정보가 얻어짐으로써, 본 실시예에서도, 상기 제1 실시 형태와 마찬가지로 화상 처리 장치(200A)에 있어서 휘도 변동 이벤트를 발생시킨 피사체의 계조를 산출할 수 있다. 또한, 본 실시 형태에서는, 센서 어레이의 전체 화소에서 제1 이벤트 신호 및 제2 이벤트 신호 양쪽이 생성 가능하기 때문에, 예를 들어 화상 생성부(230)가 이벤트 신호를 사용하여 피사체의 화상을 생성할 때, 제1 이벤트 신호와 제2 이벤트 신호를 동시화하는 처리는 행해지지 않아도 된다. 화상 생성부(230)는, 제1 이벤트 신호만을 사용하여 피사체의 움직임을 특정해도 된다.
도 8은, 본 발명의 제2 실시 형태에 있어서의 센서 배치의 다른 예를 도시하는 도면이다. 도시된 예에 있어서, 적층형의 센서(310)에서는, 광의 입사 측으로부터 차례로 제1 수광층(311), 제2 수광층(312), 제3 수광층(313) 및 제4 수광층(314)이 적층된다. 제1 내지 제3 수광층(311 내지 313)은 투과형이며, 피사체로부터의 광은 제1 수광층(311), 제2 수광층(312) 및 제3 수광층(313)을 투과하여 제4 수광층(314)까지 입사된다. 상기에서 도 7을 참조하여 설명한 예와 마찬가지의 제1 수광층(311) 및 제2 수광층(312)에 더하여, 제3 수광층(313)은, 센서(310)가 배치된 화소 어드레스에 있어서의 광량의 변동을 제2 감도보다도 낮은 제3 감도로 검출하고, 제3 센서를 구성한다. 제4 수광층(314)은, 동일한 화소 어드레스에 있어서의 광량의 변동을 제3 감도보다도 낮은 제4 감도로 검출하고, 제4 센서를 구성한다. 신호 처리 회로(120)는, 제1 내지 제4 수광층(311 내지 314)에 의해 구성되는 센서가 각각 생성한 이벤트 신호의 타임 스탬프를 생성한다.
상기의 예에 있어서, 예를 들어, 제2 수광층(312)의 감도(제2 감도), 제3 수광층(313)의 감도(제3 감도), 및 제4 수광층(314)의 감도(제4 감도)는, 각각 제1 수광층(311)의 감도(제1 감도)의 p2배, p3배, 및 p4배이다(1>p2>p3>p4>0). 구체적으로는, p2=0.5, p3=0.25, p4=0.125로 해도 된다. 이러한 EDS(310)는, 예를 들어, 제1 수광층(311)의 양자 효율을 40％, 제2 수광층(312)의 양자 효율을 20％, 제3 수광층(313)의 양자 효율을 10％, 제4 수광층(314)의 양자 효율을 5％로 함으로써 실현할 수 있다.
상기의 경우, 제2 수광층(312), 제3 수광층(313) 및 제4 수광층(314)에 의해 검출되는 이벤트의 휘도 변화는, 각각 제1 수광층(311)에 의해 검출되는 이벤트의 휘도 변화의 50％, 25％ 및 12.5％가 되고, 제1 내지 제4 수광층(311 내지 314)에 의해 각각 생성된 제1 내지 제4 이벤트 신호의 지연 시간 d1 내지 d4의 차분(d4-d1), (d3-d1) 및 (d2-d1)은, 각각 피사체의 계조 50％, 25％ 및 12.5％에 상당한다. 이에 의해, 상기에서 도 6을 참조하여 설명한 예와 마찬가지로, 예를 들어 조건을 충족시키는 지연 시간을 정확히 탐색하거나, 계조의 산출 결과를 안정시키거나 할 수 있다.
이상에서 설명한 본 발명의 제2 실시 형태에서는, 광량의 변동을 검출하는 감도가 상이한 수광층을 동일한 화소 어드레스에 적층하고, 각각의 수광층에 의해 생성된 이벤트 신호의 시간차로부터 피사체의 계조를 산출한다. 이에 의해, 제1 실시 형태와 마찬가지로, 이벤트 구동형 센서(EDS)의 고속성을 손상시키지 않고 피사체의 계조를 검출할 수 있다. 또한, 본 실시 형태에서는, 감도가 상이한 센서가 동일한 화소 어드레스에 적층되기 때문에, 해상도를 낮추지 않고 피사체의 계조를 산출할 수 있다.
(제3 실시 형태)
도 9는, 본 발명의 제3 실시 형태에 관련된 시스템의 개략적인 구성을 도시하는 도면이다. 도 9에 도시된 예는, 상기에서 도 8을 참조하여 설명한 예의 변형예로서 설명된다. 즉, 본 실시 형태에 있어서, 센서 시스템(10C)은, 4층의 적층 구조를 갖는 센서(310)를 포함하는 센서 모듈(300)과, 화상 처리 장치(200C)를 포함한다. 센서 모듈(300)은, 상기 제2 실시 형태와 마찬가지로 적층형의 센서(310)를 포함하는 센서 어레이와, 신호 처리 회로(320)을 포함한다. 화상 처리 장치(200C)는, 예를 들어 통신 인터페이스, 프로세서, 및 메모리를 갖는 컴퓨터에 의해 실장되어, 프로세서가 메모리에 저장된, 또는 통신 인터페이스를 통하여 수신된 프로그램에 따라서 동작함으로써 실현되는 이벤트 신호 연관짓기부(210C) 및 계조 판정부(220C)의 기능 부분을 포함한다. 화상 처리 장치(200C)는, 또한, 화상 생성부(230)의 기능 부분을 포함해도 된다. 이하, 화상 처리 장치(200C)의 각 부에 대하여 더 설명한다.
이벤트 신호 연관짓기부(210C)는, 신호 처리 회로(320)로부터 입력되는 제1 이벤트 신호에, 제2 내지 제4 이벤트 신호를 연관짓는다. 여기서, 제1 이벤트 신호는, 제1 수광층(311)에 의해 구성되는 제1 센서가 휘도 변동 이벤트에 대하여 생성한 것이다. 제1 이벤트 신호에 연관지어지는 제2 내지 제4 이벤트 신호는, 제2 내지 제4 수광층(312 내지 314)에 의해 구성되는 제2 내지 제4 센서가, 제1 센서와 동일한 휘도 변동 이벤트에 대하여 생성한 것이다.
또한, 상기에서 도 2a, 도 2b 및 도 3을 참조하여 설명한 바와 같이, 센서의 감도가 상이하면 이벤트의 발생으로부터 이벤트 신호의 생성까지의 지연 시간이 상이하다. 따라서, 제2 내지 제4 이벤트 신호는, 제1 이벤트 신호와 동일한 휘도 변동 이벤트에 대응하는 것이라도, 제1 이벤트 신호보다도 지연되어 생성된다. 이벤트 신호 연관짓기부(210C)는, 예를 들어 각각의 이벤트 신호의 순서 및 타임 스탬프의 간격에 기초하여, 이벤트 신호의 연관짓기를 실행한다.
구체적으로는, 이벤트 신호 연관짓기부(210C)는, 제2 이벤트 신호가 제1 이벤트 신호의 후에 생성되고, 또한 제1 이벤트 신호와 제2 이벤트 신호의 타임 스탬프의 간격이 소정의 범위 내인 경우에, 제2 이벤트 신호를 제1 이벤트 신호에 연관짓는다. 그러한 제2 이벤트 신호가 없는 경우, 이벤트 신호 연관짓기부(210C)는 제1 이벤트 신호에 제2 이벤트 신호를 연관짓지 않는다. 마찬가지로, 이벤트 신호 연관짓기부(210C)는, 제3 이벤트 신호가 제2 이벤트 신호의 후에 생성되고, 또한 제2 이벤트 신호와 제3 이벤트 신호의 타임 스탬프의 간격이 소정의 범위 내인 경우에, 제3 이벤트 신호를 제1 이벤트 신호에 연관짓는다. 그러한 제3 이벤트 신호가 없는 경우, 및 제1 이벤트 신호에 제2 이벤트 신호가 연관지어져 있지 않은 경우, 이벤트 신호 연관짓기부(210C)는 제1 이벤트 신호에 제3 이벤트 신호를 연관짓지 않는다.
계조 판정부(220C)는, 이벤트 신호 연관짓기부(210C)에 있어서의 이벤트 신호의 연관짓기의 결과에 따라서 피사체의 계조를 판정한다. 도 8을 참조하여 설명한 바와 같이, 적층형의 센서(310)의 제1 내지 제4 수광층(311 내지 314)은, 광량의 변동에 대한 감도가 단계적으로 저하하도록 구성되기 때문에, 휘도 변동 이벤트를 발생시킨 피사체의 계조가 낮은 경우에는, 감도가 상대적으로 낮은 수광층에 있어서 광량의 변동량이 역치를 초과하지 않고, 그 수광층에 의해 구성되는 센서는 이벤트 신호를 생성하지 않는다. 구체적으로는, 이벤트의 휘도 변화가 가장 큰 경우, 제1 수광층(311)이 이벤트 신호를 생성했을 때는 제2 내지 제4 수광층(312 내지 314)도 이벤트 신호를 생성하지만, 휘도 변화가 작아짐에 따라서, 우선 감도가 가장 낮은 제4 수광층(314)이 이벤트 신호를 생성하지 않게 되고, 또한 휘도 변화가 작아지면 제3 수광층(313)도 이벤트 신호를 생성하지 않게 되고, 검출 가능한 가장 작은 휘도 변화의 경우에는 제2 수광층(312)도 이벤트 신호를 생성하지 않고, 제1 수광층(311)만이 이벤트 신호를 생성한다.
본 실시 형태에 있어서, 계조 판정부(220C)는, 상기와 같은 피사체의 계조와 각 이벤트 신호의 생성의 관계에 따라서 피사체의 계조를 판정한다. 구체적으로는, 이벤트 신호 연관짓기부(210C)에 의해 제1 이벤트 신호에 연관지어진 제2 내지 제4 이벤트 신호의 모두가 존재하는 경우에, 계조 판정부(220C)는 피사체의 계조가 가장 높은 수준이라고 판정한다. 한편, 제1 이벤트 신호에 연관지어진 제2 및 제3 이벤트 신호는 존재하지만, 제4 이벤트 신호는 존재하지 않는 경우, 계조 판정부(220C)는 피사체의 계조가 2번째의 수준이라고 판정한다. 제1 이벤트 신호에 연관지어진 제2 이벤트 신호만이 존재하는 경우, 계조 판정부(220C)는 피사체의 계조가 3번째의 수준이라고 판정한다. 제1 이벤트 신호에 연관지어진 이벤트 신호가 없는 경우, 계조 판정부(220C)는 피사체의 계조가 가장 낮은 수준이라고 판정한다. 이와 같이 판정된 피사체의 계조는, 제1 실시 형태와 마찬가지로, 예를 들어 화상 생성부(230)에 의해 피사체의 화상을 생성하거나, 이벤트 신호로부터 인식되는 피사체에 대한 처리를 선택하기 위해 사용된다.
도 10은, 본 발명의 제3 실시 형태에 있어서의 처리의 예를 나타내는 플로차트이다. 간단화를 위하여, 도 10에서는 제1 이벤트 신호 및 제2 이벤트 신호를 사용한 판정에 대하여 설명하지만, 제3 이벤트 신호 및 제4 이벤트 신호를 사용한 판정에 대해서도 마찬가지이다. 도시된 예에서는, 우선, 센서 모듈(300)에서 제1 센서를 구성하는 제1 수광층(311)이 휘도 변동 이벤트에 대하여 제1 이벤트 신호를 생성한다(스텝 S201). 그 시각으로부터 조금 지연되어, 제2 센서를 구성하는 제2 수광층(312)이 동일한 휘도 변동 이벤트에 대하여 제2 이벤트 신호를 생성한다(스텝 S202). 또한, 감도가 상대적으로 낮은 제2 수광층(312)에서 광량의 변동량이 역치를 초과하지 않았을 경우에는, 제2 이벤트 신호는 생성되지 않는다.
다음으로, 화상 처리 장치(200C)에 있어서, 이벤트 신호 연관짓기부(210C)가, 제1 이벤트 신호에 제2 이벤트 신호가 연관지어지는지 여부를 판정한다(스텝 S203). 구체적으로는, 이벤트 신호 연관짓기부(210C)는, 타임 스탬프에 의해 나타내어지는 제1 이벤트 신호 및 제2 이벤트 신호의 순서와, 타임 스탬프의 간격에 기초하여 연관짓기의 가부를 판정한다. 제1 이벤트 신호에 제2 이벤트 신호가 연관지어졌을 경우, 계조 판정부(220C)는, 피사체의 계조가 상대적으로 높은 수준이라고 판정한다(스텝 S204). 한편, 제1 이벤트 신호에 제2 이벤트 신호가 연관지어지지 않았을 경우, 계조 판정부(220C)는, 피사체의 계조가 상대적으로 낮은 수준이라고 판정한다(스텝 S205).
또한, 도시된 예에서는 센서(310)가 제1 내지 제4 수광층(311 내지 314)을 포함하는 4층의 적층 구조를 갖지만, 다른 예에서는 센서(310)가 도 7에 도시된 예와 마찬가지로 2층의 적층 구조를 가져도 되고, 3층, 또는 4층을 초과하는 적층 구조를 가져도 된다. 또한, 다른 예에 있어서, 센서 모듈은, 상기에서 도 1 및 도 6을 참조하여 설명한 바와 같은, 상이한 감도의 센서가 소정의 패턴으로 평면적으로 배열된 센서 어레이를 포함해도 된다.
이상에서 설명한 본 발명의 제3 실시 형태에서는, 광량의 변동을 검출하는 감도가 상이한 수광층을 동일한 화소 어드레스에 적층하고, 어느 수광층까지가 이벤트 신호를 생성했는지에 의해 피사체의 계조를 판정한다. 이에 의해, 제1 실시 형태와 마찬가지로, 이벤트 구동형 센서(EDS)의 고속성을 손상시키지 않고 피사체의 계조를 검출할 수 있다. 본 실시 형태에서는, 피사체의 계조가 수광층의 감도의 수와 동일한 단계로밖에 검출되지 않지만, 피사체의 계조와 EDS의 지연 시간의 관계를 미리 측정할 필요가 없기 때문에 간편하고, 또한 단순한 판정에 의해 안정적으로 피사체의 계조를 특정할 수 있다.
본 발명의 실시 형태는, 예를 들어 게임 컨트롤러, 스마트폰, 각종 이동체(자동차, 전기 자동차, 하이브리드 전기 자동차, 자동 이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇 등)에서 주변 환경의 정보를 취득하거나, 주변의 피사체 위치로부터 자기 위치를 추정하거나, 날아오는 피사체를 검출하여 회피 행동을 취하거나 하기 위해 이용될 수 있다. 피사체의 계조는, 예를 들어 상기와 같은 용도에 있어서 피사체를 동정하거나, 피사체를 식별하거나 하기 위해 유용할 수 있다.
이상, 첨부 도면을 참조하면서 본 발명의 적합한 실시 형태에 대하여 상세하게 설명했지만, 본 발명은 이러한 예에 한정되지 않는다. 본 발명이 속하는 기술 분야에 있어서의 통상의 지식을 갖는 사람이면, 청구범위에 기재된 기술적 사상의 범위 내에 있어서, 각종 변형예 또는 수정예에 생각이 미칠 수 있는 것은 명확하고, 이들에 대해서도, 당연히 본 발명의 기술적 범위에 속하는 것이라고 이해된다.
10A, 10B, 10C: 센서 시스템
100: 센서 모듈
111: 제1 센서
112: 제2 센서
113: 제3 센서
114: 제4 센서
115, 116: 필터
120: 신호 처리 회로
200A, 200C: 화상 처리 장치
210A: 시각 차분 취득부
210C: 이벤트 신호 연관짓기부
220A: 계조 산출부
220C: 계조 판정부
230: 화상 생성부
240: 지연 시간 산출부
300: 센서 모듈
310: 센서
311: 제1 수광층
312: 제2 수광층
313: 제3 수광층
314: 제4 수광층
320: 신호 처리 회로

Claims (7)

  1. 제1 화소 어드레스에 있어서의 광량의 변동을 제1 감도로 검출하는 제1 센서 및 상기 제1 화소 어드레스에 인접 또는 중복되는 제2 화소 어드레스에 있어서의 광량의 변동을 상기 제1 감도보다도 낮은 제2 감도로 검출하는 제2 센서를 포함하는 센서 어레이와,
    상기 제1 센서가 휘도 변동 이벤트에 대하여 제1 이벤트 신호를 생성했을 때, 상기 제2 센서가 상기 휘도 변동 이벤트에 대하여 제2 이벤트 신호를 생성했는지 여부에 따라서 상기 휘도 변동 이벤트를 발생시킨 피사체의 계조를 판정하는 계조 판정부
    를 구비하는 센서 시스템.
  2. 제1항에 있어서,
    상기 센서 어레이는, 상기 제1 센서를 구성하는 투과형의 제1 수광층에 상기 제2 센서를 구성하는 제2 수광층이 적층된 적층형의 센서를 포함하고,
    상기 제2 화소 어드레스는, 상기 제1 화소 어드레스에 중복되는, 센서 시스템.
  3. 제2항에 있어서,
    상기 제2 수광층은, 투과형이며,
    상기 적층형의 센서에서는, 상기 제1 화소 어드레스에 있어서의 광량의 변동을 상기 제2 감도보다도 낮은 제3 감도로 검출하는 제3 센서를 구성하는 제3 수광층이 더 적층되고,
    상기 계조 판정부는, 상기 제2 센서가 상기 휘도 변동 이벤트에 대하여 상기 제2 이벤트 신호를 생성했을 때, 상기 제3 센서가 상기 휘도 변동 이벤트에 대하여 제3 이벤트 신호를 생성했는지 여부에 의해 상기 피사체의 계조를 판정하는, 센서 시스템.
  4. 제1 화소 어드레스에 있어서의 광량의 변동을 제1 감도로 검출하는 제1 센서가 휘도 변동 이벤트에 대하여 생성한 제1 이벤트 신호에, 상기 제1 화소 어드레스에 인접 또는 중복되는 제2 화소 어드레스에 있어서의 광량의 변동을 상기 제1 감도보다도 낮은 제2 감도로 검출하는 제2 센서가 상기 휘도 변동 이벤트에 대하여 생성한 제2 이벤트 신호를 연관짓는 이벤트 신호 연관짓기부와,
    상기 제1 이벤트 신호에 연관지어지는 상기 제2 이벤트 신호의 유무에 따라서 상기 휘도 변동 이벤트를 발생시킨 피사체의 계조를 판정하는 계조 판정부
    를 구비하는 화상 처리 장치.
  5. 제4항에 있어서,
    상기 이벤트 신호 연관짓기부는, 상기 제1 이벤트 신호에, 상기 제1 화소 어드레스에 인접 또는 중복되는 제3 화소 어드레스에 있어서의 광량의 변동을 상기 제2 감도보다도 낮은 제3 감도로 검출하는 제3 센서가 상기 휘도 변동 이벤트에 대하여 생성한 제3 이벤트 신호를 연관짓고,
    상기 계조 판정부는, 상기 제1 이벤트 신호에 연관지어지는 상기 제3 이벤트 신호의 유무에 따라서 상기 피사체의 계조를 판정하는, 화상 처리 장치.
  6. 제1 화소 어드레스에 있어서의 광량의 변동을 제1 감도로 검출하는 제1 센서가, 휘도 변동 이벤트에 대하여 제1 이벤트 신호를 생성하는 스텝과,
    상기 제1 화소 어드레스에 인접 또는 중복되는 제2 화소 어드레스에 있어서의 광량의 변동을 상기 제1 감도보다도 낮은 제2 감도로 검출하는 제2 센서가 상기 휘도 변동 이벤트에 대하여 제2 이벤트 신호를 생성하거나, 또는 상기 제2 이벤트 신호를 생성하지 않는 스텝과,
    상기 제1 이벤트 신호에 상기 제2 이벤트 신호를 연관짓는 스텝과,
    상기 제1 이벤트 신호에 연관지어지는 상기 제2 이벤트 신호의 유무에 따라서 상기 휘도 변동 이벤트를 발생시킨 피사체의 계조를 판정하는 스텝
    을 포함하는 화상 처리 방법.
  7. 제1 화소 어드레스에 있어서의 광량의 변동을 제1 감도로 검출하는 제1 센서가 휘도 변동 이벤트에 대하여 생성한 제1 이벤트 신호에, 상기 제1 화소 어드레스에 인접 또는 중복되는 제2 화소 어드레스에 있어서의 광량의 변동을 상기 제1 감도보다도 낮은 제2 감도로 검출하는 제2 센서가 상기 휘도 변동 이벤트에 대하여 생성한 제2 이벤트 신호를 연관짓는 기능과,
    상기 제1 이벤트 신호에 연관지어지는 상기 제2 이벤트 신호의 유무에 따라서 상기 휘도 변동 이벤트를 발생시킨 피사체의 계조를 판정하는 기능
    을 컴퓨터에 실현시키기 위한, 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
KR1020227004213A 2019-08-28 2019-08-28 센서 시스템, 화상 처리 장치, 화상 처리 방법 및 프로그램 Active KR102746170B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/033708 WO2021038751A1 (ja) 2019-08-28 2019-08-28 センサシステム、画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
KR20220074854A KR20220074854A (ko) 2022-06-03
KR102746170B1 true KR102746170B1 (ko) 2024-12-26

Family

ID=74684377

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227004213A Active KR102746170B1 (ko) 2019-08-28 2019-08-28 센서 시스템, 화상 처리 장치, 화상 처리 방법 및 프로그램

Country Status (4)

Country Link
US (1) US11653109B2 (ko)
JP (1) JP7191238B2 (ko)
KR (1) KR102746170B1 (ko)
WO (1) WO2021038751A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012257193A (ja) 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012105225A (ja) * 2010-11-12 2012-05-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
TWI644568B (zh) * 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
JP6373577B2 (ja) * 2013-12-25 2018-08-15 ザインエレクトロニクス株式会社 撮像制御装置
KR102136055B1 (ko) * 2014-01-08 2020-07-21 삼성전자 주식회사 오픈-루프 증폭기를 포함하는 비전 센서 칩, 이의 동작 방법, 및 이를 포함하는 데이터 처리 시스템
JP6299299B2 (ja) * 2014-03-14 2018-03-28 オムロン株式会社 事象検出装置および事象検出方法
US10277805B2 (en) * 2014-05-30 2019-04-30 Hitachi Kokusai Electric Inc. Monitoring system and camera device
FR3034204A1 (ko) 2015-03-23 2016-09-30 Stmicroelectronics (Grenoble 2) Sas
KR102523136B1 (ko) * 2015-09-01 2023-04-19 삼성전자주식회사 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀
KR102421141B1 (ko) 2015-10-30 2022-07-14 삼성전자주식회사 이벤트 신호 및 영상의 저장 방법 및 저장 장치, 저장 장치로 이벤트 신호를 전송하는 비전 센서의 동작 방법
JP6969539B2 (ja) * 2016-03-31 2021-11-24 ソニーグループ株式会社 固体撮像素子、固体撮像素子の駆動方法、及び、電子機器
JP2018022935A (ja) * 2016-08-01 2018-02-08 ソニー株式会社 撮像装置、および、撮像装置の制御方法
KR102794753B1 (ko) * 2016-11-24 2025-04-14 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN108574793B (zh) 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
JP2018186478A (ja) 2017-04-25 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2021044599A (ja) 2018-01-05 2021-03-18 株式会社ニコン 検出装置およびセンサ
JP2019134271A (ja) * 2018-01-31 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US20190281238A1 (en) 2018-03-09 2019-09-12 Caeleste Cvba Double source follower hdr pixel
US10598936B1 (en) 2018-04-23 2020-03-24 Facebook Technologies, Llc Multi-mode active pixel sensor
US11463636B2 (en) * 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
WO2020158583A1 (ja) * 2019-01-31 2020-08-06 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び撮像装置
JP2020136958A (ja) * 2019-02-21 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 イベント信号検出センサ及び制御方法
CN114270804B (zh) * 2019-08-28 2025-07-18 索尼互动娱乐股份有限公司 传感器系统、图像处理装置、图像处理方法和程序
JP7489189B2 (ja) * 2019-08-30 2024-05-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012257193A (ja) 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
US20220311957A1 (en) 2022-09-29
JP7191238B2 (ja) 2022-12-16
KR20220074854A (ko) 2022-06-03
JPWO2021038751A1 (ko) 2021-03-04
WO2021038751A1 (ja) 2021-03-04
US11653109B2 (en) 2023-05-16

Similar Documents

Publication Publication Date Title
JP7352637B2 (ja) センサモジュール、センサシステム、画像処理装置、画像処理方法およびプログラム
KR102525828B1 (ko) 디지털 픽셀 이미지 센서
CN111989912B (zh) 多光电二极管像素单元
US8854431B2 (en) Optical self-diagnosis of a stereoscopic camera system
US9146627B2 (en) Lift detection method for optical mouse and optical mouse with lift detection function
JP7618422B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2016127389A (ja) 画像処理装置およびその制御方法
KR20180102988A (ko) 이벤트 감지 장치
US11910080B2 (en) Image pickup apparatus for inferring noise and learning device
KR102746170B1 (ko) 센서 시스템, 화상 처리 장치, 화상 처리 방법 및 프로그램
US20220398770A1 (en) Information processing apparatus, information processing method, and storage medium
KR20230018044A (ko) 다이나믹 비전 센서의 시간 지연을 보상하기 위한 전자 장치
EP4102816A1 (en) Electronic device
US9554055B2 (en) Data processing method and electronic device
US11849227B2 (en) Image sensing pixel configurations for reduced sensor noise
KR20070098263A (ko) 불량화소 보상장치 및 불량화소 보상 방법
JP2014150409A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2009017158A (ja) カメラ検査装置
KR102715471B1 (ko) 시스템, 정보 처리 장치, 정보 처리 방법 및 프로그램
JP2018061234A (ja) 撮像装置、撮像システム、移動体、および、制御方法
US20220311923A1 (en) System, position detecting device, position detecting method, and program
JPWO2009107636A1 (ja) 点滅信号検出回路、点滅信号検出方法、物体検知装置、物体検知方法、及び撮像システム
CN104135604B (zh) 位移检测装置及其动态调整影像感测区域的方法
US11546538B2 (en) Photoelectric conversion apparatus, photoelectric conversion system, moving body, and method for checking photoelectric conversion apparatus
WO2025150483A1 (en) Information processing apparatus, information processing method, program, and recording medium

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20220208

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20220603

Comment text: Request for Examination of Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240110

Patent event code: PE09021S01D

PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240924

PG1601 Publication of registration