[go: up one dir, main page]

KR102747641B1 - 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법 - Google Patents

비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법 Download PDF

Info

Publication number
KR102747641B1
KR102747641B1 KR1020190076347A KR20190076347A KR102747641B1 KR 102747641 B1 KR102747641 B1 KR 102747641B1 KR 1020190076347 A KR1020190076347 A KR 1020190076347A KR 20190076347 A KR20190076347 A KR 20190076347A KR 102747641 B1 KR102747641 B1 KR 102747641B1
Authority
KR
South Korea
Prior art keywords
event
vision sensor
operation mode
amount
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020190076347A
Other languages
English (en)
Other versions
KR20210000985A (ko
Inventor
서종석
이현구
정희재
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190076347A priority Critical patent/KR102747641B1/ko
Priority to DE102020107275.9A priority patent/DE102020107275A1/de
Priority to US16/843,231 priority patent/US11532143B2/en
Priority to CN202310117246.6A priority patent/CN116170702A/zh
Priority to CN202010526059.XA priority patent/CN112153309B/zh
Priority to CN202411134639.9A priority patent/CN118890555A/zh
Publication of KR20210000985A publication Critical patent/KR20210000985A/ko
Priority to US18/059,469 priority patent/US11727662B2/en
Priority to US18/341,968 priority patent/US12002247B2/en
Priority to US18/653,271 priority patent/US12236653B2/en
Application granted granted Critical
Publication of KR102747641B1 publication Critical patent/KR102747641B1/ko
Priority to US19/030,665 priority patent/US20250166334A1/en
Priority to US19/030,674 priority patent/US20250166335A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법이 개시된다. 본 개시의 예시적 실시예에 따른 비전 센서는 매트릭스 형태로 배치되는 복수의 픽셀을 포함하는 픽셀 어레이, 복수의 픽셀 각각의 이벤트 발생 유무를 검출하고, 이벤트가 발생한 픽셀들에 대응하는 이벤트 신호들을 생성하는 이벤트 검출 회로, 상기 이벤트 신호들 중 상기 픽셀 어레이 상의 관심 영역에 해당하는 이벤트 신호들을 출력 이벤트 신호들로서 선택하는 이벤트 속도 컨트롤러 및 외부 프로세서와 통신하며 상기 출력 이벤트 신호들을 상기 외부 프로세서로 전송하는 인터페이스 회로를 포함할 수 있다.

Description

비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법 {Vision sensor, image processing device comprising thereof and operating method of vision sensor}
본 개시의 기술적 사상은 비전 센서에 관한 것으로서, 특히 전송되는 이벤트 데이터의 양을 조절하는 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법에 관한 것이다.
비전 센서, 예컨대 동적 비전 센서는 이벤트(예컨대, 빛의 세기 변화)가 발생하면, 이벤트에 관한 정보, 즉 이벤트 신호를 생성하고, 이벤트 신호를 프로세서에 전달한다. 빛의 세기 변화가 주로 오브젝트의 아웃라인에서 일어나기 때문에, 비전 센서에서 불필요한 배경에 관한 정보는 생성되지 않아 프로세서가 처리해야 하는 데이터의 양이 급격히 감소될 수 있다. 한편, 장시간 다량의 이벤트가 발생하여 프로세서에 전송되어야 하는 이벤트 데이터의 양이 시스템의 전송 한계(limit)를 초과할 경우, 이벤트 데이터 전송 과정에서 데이터 손실이 발생할 수 있다.
본 개시의 기술적 사상이 해결하려는 과제는, 이벤트 데이터 전송 시의 데이터 손실을 방지하는 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법을 제공하는 데 있다.
상기 기술적 과제를 해결하기 위한 비전 센서는 매트릭스 형태로 배치되는 복수의 픽셀을 포함하는 픽셀 어레이, 복수의 픽셀 각각의 이벤트 발생 유무를 검출하고, 이벤트가 발생한 픽셀들에 대응하는 이벤트 신호들을 생성하는 이벤트 검출 회로, 상기 이벤트 신호들 중 상기 픽셀 어레이 상의 관심 영역에 해당하는 이벤트 신호들을 출력 이벤트 신호들로서 선택하는 이벤트 속도 컨트롤러 및 외부 프로세서와 통신하며 상기 출력 이벤트 신호들을 상기 외부 프로세서로 전송하는 인터페이스 회로를 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 본 개시의 예시적 실시예에 따른 이미지 처리 장치는, 픽셀 어레이 포함되는 복수의 픽셀 중 오브젝트의 움직임에 기인하여 이벤트가 발생된 복수의 픽셀들에 대응하는 복수의 이벤트 신호들을 생성하고, 제1 동작 모드에서 상기 복수의 이벤트 신호들을 출력하고, 제2 동작 모드에서 상기 복수의 이벤트 신호들 중 상기 픽셀 어레이의 관심 영역에 해당하는 픽셀들에 대응하는 일부 이벤트 신호들을 출력하는 비전 센서 및 상기 비전 센서로부터 출력되는 상기 복수의 이벤트 신호들 또는 상기 일부 이벤트 신호들을 처리하여 상기 오브젝트의 움직임을 검출하는 프로세서를 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 본 개시의 예시적 실시예에 따른 비전 센서의 동작 방법은, 각각이 수신되는 광량의 변화에 따라 이벤트 신호를 생성하는 복수의 픽셀들을 포함하는 픽셀 어레이 상에, 적어도 하나의 관심 영역을 설정하는 단계, 제1 기간 동안 생성된 복수의 이벤트 신호들을 카운팅하여 이벤트 신호 발생량을 검출하는 단계, 상기 이벤트 신호 발생량을 기초로 동작 모드를 결정하는 단계 및 상기 동작 모드가 제2 동작 모드이면, 상기 복수의 이벤트 신호들 중 상기 적어도 하나의 관심 영역에 해당하는 이벤트 신호들을 외부 프로세서로 전송하는 단계를 포함할 수 있다.
본 개시의 실시예들에 따른 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법에 따르면, 이벤트 신호들 중 상대적으로 중요도가 높은 관심 영역에 해당하는 이벤트 신호들을 선별적으로 프로세서에 전송함으로써, 전송되는 이벤트 신호들의 양이 감소되면서 성능 저하를 최소화할 수 있다.
또한, 본 개시의 실시예들에 따른 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법에 따르면, 과도한 이벤트가 발생하거나 또는 과도한 이벤트가 발생될 것으로 예상되면, 이벤트 신호들을 선별적으로 전송하거나, 이벤트 발생 조건 및/또는 검출 조건을 조정함으로써, 생성되는 이벤트 신호들의 양을 감소시킬 수 있다.
도 1은 본 개시의 예시적 실시예에 따른 이미지 처리 장치를 나타내는 블록도이다.
도 2는 이벤트 신호의 손실이 발생하는 예를 나타내는 그래프이다.
도 3은 본 개시의 예시적 실시예에 따른 비전 센서를 나타내는 블록도이다.
도 4a 및 도 4b는 본 개시의 예시적 실시예에 따른 비전 센서에서 출력되는 이벤트 데이터의 포맷을 예시적으로 나타낸다.
도 5a 및 도 5b는 본 개시의 실시예에 따른 비전 센서에서 관심 영역에 대응하는 이벤트 신호들을 출력하는 방법을 설명하는 도면이다.
도 6은 본 개시의 예시적 실시예에 따른 비전 센서를 나타내는 블록도이다.
도 7은 픽셀의 일 구현예를 나타내는 회로도이다.
도 8a 내지 도 8d는 도 7의 광전 변환 소자와 증폭기의 연결관계를 나타내는 예시적 실시예들을 나타내는 회로도이다.
도 9는 본 개시의 예시적 실시예에 따른 비전 센서의 동작 방법을 나타내는 흐름도이다.
도 10은 본 개시의 예시적 실시예에 따른 비전 센서의 동작 방법을 나타내는 흐름도이다.
도 11은 본 개시의 예시적 실시예에 따른 비전 센서의 동작 모드 결정 방법을 설명하는 도면이다.
도 12a 및 도 12b는 도 3의 이벤트 속도 컨트롤러의 구현예들을 나타내는 블록도이다.
도 13은 본 개시의 예시적 실시예에 따른 비전 센서의 관심 영역 설정 방법의 일 예를 나타낸다.
도 14는 본 개시의 예시적 실시예에 따른 비전 센서의 관심 영역의 위치 추정 방법을 나타낸다.
도 15a 및 도 15c는 비전 센서가 출력되는 이벤트 데이터의 속도를 조정하는 방법을 나타낸다.
도 16은 본 개시의 예시적 실시예에 따른 이미지 처리 장치(10b)를 나타내는 불록도이다.
도 17은 본 개시의 예시적 실시예에 따른 비전 센서의 동작 방법을 나타내는 흐름도이다.
도 18은 본 개시의 예시적 실시예에 따른 비전 센서의 동작 방법을 나타내는 흐름도이다.
도 19는 본 개시의 예시적 실시예에 따른 비전 센서가 적용된 전자 기기를 예시적으로 보여주는 블록도이다.
이하, 본 개시의 다양한 실시예가 첨부된 도면과 연관되어 기재된다.
도 1은 본 개시의 예시적 실시예에 따른 이미지 처리 장치를 나타내는 블록도이다.
본 개시의 예시적 실시예에 따른 이미지 처리 장치(10)는 이미지 또는 광 센싱 기능을 갖는 전자 기기에 탑재될 수 있다. 예를 들어, 이미지 처리 장치(10)는 카메라, 스마트폰, 웨어러블 기기, 사물 인터넷(Internet of Things(IoT)) 기기, 태블릿 PC(Personal Computer), PDA(Personal Digital Assistant), PMP(portable Multimedia Player), 네비게이션(navigation), 드론(drone), 첨단 운전자 보조 시스템(Advanced Drivers Assistance System; ADAS) 등과 같은 전자 기기에 탑재될 수 있다. 또한 이미지 처리 장치(10)는 차량, 가구, 제조 설비, 도어, 각종 계측 기기 등에 부품으로서 구비될 수 있다.
도 1을 참조하면 이미지 처리 장치(10)는 비전 센서(100) 및 프로세서(200)를 포함할 수 있다.
비전 센서(100)는 입사되는 빛의 세기의 변화를 감지하여 이벤트 신호를 출력할 수 있다. 비전 센서(100)는 빛의 변화가 감지되는 픽셀들, 다시 말해서 이벤트가 발생한 픽셀들에 대해서 이벤트 신호(EVS)들을 출력하는 동적 비전 센서일 수 있다. 빛의 세기 변화는 비전 센서(100)에 의해 촬영되는 오브젝트의 움직임에 기인하거나, 비전 센서(100) 또는 이미지 처리 장치(10) 자체의 움직임에 기인할 수 있다. 비전 센서(100)는 이벤트 신호(EVS)들을 주기적 또는 비주기적으로 프로세서(200)로 전송할 수 있다. 비전 센서(100)는 이벤트 신호(EVS)들을 패킷 또는 프레임 단위로 프로세서(200)로 전송할 수 있다.
비전 센서(100)는 이벤트 신호(EVS)들을 선별적으로 프로세서(200)로 전송할 수 있다. 비전 센서(100)는 픽셀 어레이(110)에 대응하여 생성되는 이벤트 신호들 중 픽셀 어레이(110) 상에 설정된 관심 영역에 해당하는 픽셀(PX)들로부터 생성된 이벤트 신호(EVS)들을 프로세서(200)로 전송할 수 있다.
실시예에 있어서, 비전 센서(100)는 과도한 이벤트가 발생하거나 또는 과도한 이벤트가 발생될 것으로 예상되는 상황 발생 시, 이벤트 신호들을 선별적으로 프로세서(200)로 전송할 수 있다. 또한, 비전 센서(100)는 이벤트 발생 조건 및/또는 검출 조건을 조정하여 생성되는 이벤트 신호들의 양을 감소시킬 수 있다. 실시예에 있어서, 비전 센서(100)는 관심 영역에 대하여 설정되는 이벤트 발생 조건 또는 검출 조건을 다른 영역에 대하여 설정되는 그것과 상이하게 설정할 수 있다. 실시예에 있어서, 비전 센서(100)는 복수의 관심 영역에 대하여 이벤트 발생 조건 또는 검출 조건을 상이하게 설정할 수 있다.
프로세서(200)는 비전 센서(100)로부터 수신되는 이벤트 신호(EVS)들을 처리할 수 있으며, 오브젝트의 움직임(또는 이미지 처리 장치(10)가 인지하는 이미지 상에서의 오브젝트의 움직임)을 검출할 수 있다. 프로세서(200)는 ASIC (application specific integrated circuit), FPGA (field-programmable gate array), 전용 프로세서 (dedicated microprocessor), 마이크로프로세서, 범용 프로세서 (general purpose processor)등을 포함할 수 있다. 실시예에 있어서, 프로세서(200)는 어플리케이션 프로세서 또는 이미지 처리 프로세서일 수 있다.
한편, 비전 센서(100) 및 프로세서(200)는 각각 집적 회로(integrated circuit(IC)로 구현될 수 있다. 예컨대 비전 센서(100) 및 프로세서(200)는 별개의 반도체 칩으로 구현될 수 있다. 또는, 비전 센서(100) 및 프로세서(200)는 단일 칩으로 구현될 수 있다. 예컨대, 비전 센서(100) 및 프로세서(200)는 SoC(system on chip)로 구현될 수 있다.
도 2는 이벤트 신호의 손실이 발생하는 예를 나타내는 그래프이다.
도 2를 참조하면, 가로축은 시간을 세로축은 프로세서로 전송되는 이벤트 신호들(EVS)의 양을 나타낸다. 이벤트 신호가 프로세서로 전송되는 과정에서, 이벤트 신호의 손실, 즉 데이터 손실이 발생할 수 있다. 장시간 다량의 이벤트가 발생하여 비전 센서가 프로세서로 전송하는 이벤트 신호(EVS)들의 양, 즉 송신 데이터량이 시스템 한계(limit), 예컨대 비전 센서(100)와 프로세서(200) 간의 통신 채널의 전송 속도의 한계를 초과할 경우 데이터 손실이 발생할 수 있다. 이에 따라, 이미지 처리 장치(10)의 성능, 예컨대 오브젝트의 움직임 검출의 정확도가 감소할 수 있다.
그러나, 본 실시예에 따른 이미지 처리 장치(10)에서는 도 1을 참조하여 전술한 바와 같이 비전 센서(100)가 이벤트 신호(EVS)들을 선별적으로 프로세서(200)로 전송할 수 있으며, 또한, 발생되는 이벤트 신호(EVS)들의 양을 감소시킬 수 있다. 따라서, 비전 센서(100)와 프로세서(200) 간의 이벤트 신호(EVS)들의 전송 과정에서의 데이터 손실을 방지할 수 있다.
도 3은 본 개시의 예시적 실시예에 따른 비전 센서(100)를 나타내는 블록도이다.
도 3을 참조하면, 비전 센서(100)는 픽셀 어레이(110), 이벤트 검출 회로(120), 이벤트 속도 컨트롤러(130), 인터페이스 회로(140)를 포함할 수 있다.
픽셀 어레이(110)는 매트릭스 형태로 배열된 복수의 픽셀(PX)을 포함할 수 있다. 복수의 픽셀(PX) 각각은 수신되는 빛의 세기가 증가하거나 감소하는 이벤트들을 감지할 수 있다. 예를 들어, 복수의 픽셀(PX) 각각은 열 방향으로 연장된 컬럼 라인과 그리고 행 방향으로 연장된 로우 라인을 통하여 이벤트 검출 회로(120)에 연결될 수 있다. 이벤트가 발생하였음을 알리는 신호 및 이벤트의 극성 정보(즉, 빛의 세기가 증가하는 온-이벤트인지 또는 빛의 세기가 감소하는 오프-이벤트인지 여부)가 이벤트가 발생한 픽셀(PX)로부터 이벤트 검출 회로(120)로 출력될 수 있다.
이벤트 검출 회로(120)는 픽셀 어레이(110)로부터 이벤트들을 독출하고, 이벤트들을 처리할 수 있다. 이벤트 검출 회로(120)는 발생한 이벤트의 극성 정보, 이벤트가 발생한 픽셀의 어드레스, 및 타임 스탬프를 포함하는 이벤트 신호(EVS)를 생성할 수 있다.
이벤트 검출 회로(120)는 픽셀 어레이(110)에서 발생한 이벤트들을 픽셀 단위, 복수의 픽셀들을 포함하는 픽셀 그룹 단위, 컬럼 단위 또는 프레임 단위로 처리할 수 있다.
이벤트 속도 컨트롤러(130)는 프로세서(200)로 전송될 이벤트 신호(EVS)들의 양을 조정할 수 있다. 실시예에 있어서, 이벤트 속도 컨트롤러(130)는 이벤트 검출 회로(120)로부터 생성된 이벤트 신호(EVS)들 중 픽셀 어레이(110)의 관심 영역에 포함된 픽셀(PX)들로부터 생성된 이벤트 신호(EVS)들을 선택하고, 선택된 이벤트 신호들(이하, 출력 이벤트 신호(EVS_O)들이라고 함)을 인터페이스 회로(140)로 출력하거나 또는 이벤트 검출 회로(120)가 출력 이벤트 신호(EVS_O)들을 인터페이스 회로(140)로 출력하도록 제어할 수 있다.
실시예에 있어서, 이벤트 속도 컨트롤러(130)는 생성되는 이벤트 신호(EVS)들의 양을 감소시킬 수 있다. 이벤트 속도 컨트롤러(130)는 이벤트 발생 조건, 또는 이벤트 검출 조건을 조정할 수 있다. 예컨대, 이벤트 발생 조건은 픽셀(PX)의 감광도(sensitivity)를 포함하고, 이벤트 검출 조건은 이벤트 검출 주기, 노이즈 제거 조건(예컨대 노이즈 제거(de-noise) 임계값) 등을 포함할 수 있다.
실시예에 있어서, 이벤트 속도 컨트롤러(130)는 과도한 이벤트가 발생하거나 또는 과도한 이벤트가 발생될 것으로 예상되는 조건 발생 시, 전술한 바와 같이 전송될 이벤트 신호(EVS)들의 양을 감소시키거나 생성되는 이벤트 신호들의 양을 감소시킬 수 있다. 예를 들어, 이벤트 속도 컨트롤러(130)는 소정의 시간 단위로 이벤트 신호(EVS)들을 카운팅하고, 카운팅되는 이벤트 신호들의 양이 설정된 기준 값 이상이면, 과도한 이벤트가 발생하였다고 판단할 수 있다. 예를 들어, 이벤트 속도 컨트롤러(130)는 쵤영되는 오브젝트의 휘도 또는 오브젝트 주변의 조도, 픽셀 어레이(도 1의 110)로 수신되는 빛의 양 등을 기초로 과도한 이벤트가 발생될 것으로 예상되는 조건이 발생하였는지를 판단할 수 있다.
인터페이스 회로(140)는 출력 이벤트 신호(EVS_O)들을 수신하고, 설정된 프로토콜에 따라 프로세서(도 1의 200)에 출력 이벤트 신호(EVS_O)들을 전송할 수 있다. 인터페이스 회로(140)는 설정된 프로토콜에 따라 출력 이벤트 신호(EVS_O)들을 개별 신호 단위, 패킷 단위 또는 프레임 단위로 패킹하여 이벤트 데이터(EDT)를 생성하고, 이벤트 데이터(EDT)를 프로세서(200)로 전송할 수 있다. 예를 들어, 인터페이스 회로(140)는 AER 인터페이스, MIPI (Mobile Industry Processor Interface) 인터페이스 및 병렬 인터페이스들 중 하나를 포함할 수 있다.
이하, 본 개시에서, 이벤트 신호(EVS)들 또는 출력 이벤트 신호(EVS_O)들이 출력된다는 표현은 이벤트 신호(EVS)들 또는 출력 이벤트 신호(EVS_O)들이 인터페이스 회로(140)를 통해 이벤트 데이터(EDT)로 변환되고, 이벤트 데이터(EST)가 프로세서(200)로 전송되는 것을 의미한다.
도 4a 및 도 4b는 본 개시의 예시적 실시예에 따른 비전 센서에서 출력되는 이벤트 데이터의 포맷을 예시적으로 나타낸다.
도 4a를 참조하면, 적어도 하나의 이벤트 신호를 포함하는 패킷(PK)이 이벤트 데이터로서 출력될 수 있다. 패킷(PK)은, 이벤트 신호의 타임 스탬프(TS), 컬럼 어드레스(C_ADDR), 로우 어드레스(R_ADDR), 및 극성 정보(Pol)를 포함할 수 있으며, 그 배치 순서는 도시된 바에 한정되는 것은 아니다. 패킷(PK)의 앞단에 패킷(PK)의 시작을 알리는 헤더(H)가 뒷단에 패킷(PK)의 끝을 알리는 테일(T)이 부가될 수 있다. 도 4a에서는 패킷(PK)은 하나의 이벤트 신호를 포함하는 것으로 도시되었으나, 이에 제한되는 것은 아니며, 패킷(PK)은 복수개의 이벤트 신호들을 포함할 수 있다.
타임 스탬프(TS)는 이벤트가 발생한 시간에 관한 정보를 포함할 수 있다. 예를 들어, 타임 스탬프(TS)는 32비트로 구성될 수 있으나, 이에 한정되지 않는다.
컬럼 어드레스(C_ADDR)와 로우 어드레스(R_ADDR)는 복수의 비트로 구성될 수 있으며, 예컨대 각각 8비트로 구성될 수 있다. 이 경우, 최대 8개의 행들과 8개의 열들로 배치되는 복수의 픽셀들을 포함하는 비전 센서를 지원할 수 있다. 그러나, 이는 예시적인 것이며, 픽셀들의 개수에 따라 컬럼 어드레스(C_ADDR)와 로우 어드레스(R_ADDR)비트 수들은 다양해질 수 있다.
극성 정보(POL)는 온-이벤트와 오프-이벤트에 관한 정보를 포함할 수 있다. 예를 들어, 극성 정보(POL)는 온-이벤트의 발생 여부에 관한 정보를 포함하는 1 비트와, 오프-이벤트의 발생 여부에 관한 정보를 포함하는 1 비트로 구성될 수 있다. 예를 들어, 온-이벤트를 나타내는 비트와 오프-이벤트를 나타내는 비트는 모두 '1'일 수는 없으나, 모두 '0'일 수는 있다.
도 4b를 참조하면, 복수의 패킷(PK), 예컨대 제1 내지 제m 패킷(PK1~PKm)(m은 2 이상의 정수)을 포함하는 프레임 데이터가 이벤트 데이터로서 출력될 수 있다. 실시예에 있어서, 프레임 데이터는 픽셀 어레이(도 3의 110)가 한 번 스캔될 때 발생한 이벤트 신호들을 포함할 수 있으며, 이에 따라 패킷의 개수는 프레임 데이터 마다 가변될 수 있다. 실시예에 있어서, 프레임 데이터는 고정된 개수의 패킷을 포함할 수도 있다.
도 5a 및 도 5b는 본 개시의 실시예에 따른 비전 센서에서 관심 영역에 대응하는 이벤트 신호들을 출력하는 방법을 설명하는 도면이다.
도 5a를 참조하면, 픽셀 어레이(110)에 대하여 적어도 하나의 관심 영역(ROI), 예컨대 제1 관심 영역(ROI1) 및 제2 관심 영역(ROI2)이 설정될 수 있다. 도 4a에서는 두 개의 관심 영역(ROI1, ROI2)이 설정되는 것으로 도시되었으나, 이에 제한되는 것은 아니며, 하나 이상의 관심 영역(ROI)이 설정될 수 있다.
픽셀 어레이(110)에 대하여 설정된 복수의 영역들 중, 다수의 이벤트가 발생하는 영역이 관심 영역(ROI)으로 설정되거나, 소정의 시간 동안 다수의 이벤트가 발생하는 픽셀들에 대응하는 임의의 영역이 관심 영역(ROI)으로 설정될 수 있다. 또는, 관심 영역(ROI)은 사용자에 의하여 임의로 설정되거나 특정 오브젝트를 센싱하는 픽셀(PX)들에 대응하는 임의의 영역이 관심 영역(ROI)으로 설정될 수 있다. 그러나, 이에 제한되는 것은 아니며, 관심 영역(ROI)은 다양한 방식에 따라서 설정될 수 있다.
픽셀 어레이(110)에서 발생한 이벤트에 기초하여 이벤트 신호들이 생성되며, 이벤트 신호들은 어드레스를 포함하는 바, 이벤트 신호들이 대응하는 픽셀(PX)의 픽셀 어레이(110) 상의 위치에 따라 가상의 이벤트 맵(EVM)으로 구성될 수 있다. 이벤트 신호들은 도시된 바와 같이, 관심 영역(ROI)에 해당하는 이벤트 신호들(EVS_I) 및 관심 영역 이외의 영역에 해당하는 이벤트 신호들(EVS_I)로 구별될 수 있다. 관심 영역에 해당하는 이벤트 신호들(EVS_I)이 이벤트 데이터(EDT)로서 생성되어 프로세서(도 1의 200)로 전송될 수 있다.
도 3을 함께 참조하면, 이벤트 속도 컨트롤러(130)는 이벤트 검출 장치(120)로부터 이벤트 신호(EVS)들을 수신하고, 수신된 이벤트 신호(EVS)들 중 관심 영역에 해당하는 이벤트 신호들(EVS_I)을 출력 이벤트 신호(EVS_O)들로 선택할 수 있다. 인터페이스 회로(140)는 관심 영역에 해당하는 이벤트 신호들(EVS_I)로 구성되는 출력 이벤트 신호(EVO_S)를 이벤트 데이터(EDT)로서 프로세서(도 1의 200)로 출력할 수 있다.
도 5b를 참조하면, 픽셀 어레이(110)의 복수의 픽셀들 중 일부에서 이벤트가 발생할 수 있다. 이벤트가 발생한 픽셀들 중 관심 영역(ROI)에 해당하는 픽셀들(EVS_I)로부터 이벤트 신호(EVS)가 생성될 수 있으며, 관심 영역(ROI) 이외의 영역에 해당하는 픽셀들(PX_NI)에서 생성되는 이벤트는 무시될 수 있다.
도 3을 함께 참조하면, 이벤트 속도 컨트롤러(130)는 관심 영역(ROI)에 대한 정보, 예컨대 관심 영역에 대한 어드레스들을 이벤트 검출 장치(120)로 제공하고, 이벤트 검출 장치(120)는 관심 영역(ROI)에 대한 정보를 기초로 픽셀 어레이(110)의 복수의 픽셀들 중 관심 영역(ROI)에 해당하는 픽셀들(PX_I)을 센싱할 수 있다. 이에 따라, 관심 영역(ROI)에 해당하는 픽셀들(PX_I)의 이벤트가 독출될 수 있으며, 이벤트 검출 장치(120)는 독출된 이벤트들을 기초로 이벤트 신호(EVS)들을 생성할 수 있다. 관심 영역(ROI)에 해당하는 픽셀들(PX_I)에 기초하여 생성된 이벤트 신호(EVS)들은 인터페이스 회로(140)로 제공될 수 있다. 인터페이스 회로(140)는 수신된 이벤트 신호들(EVS)을 이벤트 데이터(ED)로서 프로세서(도 1의 200)로 출력할 수 있다.
도 6은 본 개시의 예시적 실시예에 따른 비전 센서를 나타내는 블록도이다.
도 6을 참조하면, 비전 센서(100)는 픽셀 어레이(110), 이벤트 검출부(120), 이벤트 속도 컨트롤러(130), 인터페이스 회로(140)를 포함하고, 이벤트 검출부(120)는 로우 AER(Address Event Representation)(121), 컬럼 AER(122), 전압 생성기(123), 및 이벤트 신호 처리부(124)(이하 ESP라고 함)를 포함할 수 있다.
픽셀 어레이(110), 이벤트 속도 컨트롤러(130) 및 인터페이스 회로(140)는 도 3을 참조하여 설명한 바, 중복되는 설명은 생략하기로 한다.
로우 AER(121)은 이벤트가 발생한 픽셀(PX)로부터 이벤트가 발생을 알리는신호, 예컨대 로우 리퀘스트를 수신하고, 이벤트가 발생한 픽셀(PX)의 로우 어드레스(R_ADDR)를 생성할 수 있다.
컬럼 AER(122)은 이벤트가 발생한 픽셀(PX)로부터 이벤트가 발생을 알리는신호, 예컨대 컬럼 리퀘스트를 수신하고, 이벤트가 발생한 픽셀(PX)의 컬럼 어드레스(C_ADDR)를 생성할 수 있다.
실시예에 있어서, 픽셀 어레이(110)는 컬럼 단위로 스캔될 수 있으며, 컬럼 AER(122)은 특정 컬럼, 예컨대 제1 컬럼으로부터 리퀘스트가 수신되면, 응답 신호를 제1 컬럼으로 전송할 수 있다. 응답 신호를 수신한 이벤트가 발생한 픽셀(PX)은 극성 정보(POL)(예컨대 온-이벤트 또는 오프-이벤트 발생을 나타내는 신호)를 로우 AER(121)로 전송할 수 있다. 로우 AER(121)은 극성 정보(POL)가 수신되면, 이벤트가 발생한 픽셀(PX)에 리셋 신호를 전송할 수 있다. 리셋 신호에 응답하여, 이벤트가 발생한 픽셀(PX)이 리셋될 수 있다. 로우 AER(121)은 리셋 신호가 발생되는 주기를 제어할 수 있다. 로우 AER(121)은 이벤트가 발생한 시간에 대한 정보, 즉 타임 스탬프(TS)를 생성할 수 있다.
실시예에 있어서, 도 3을 참조하여 전술한 바와 같이, 생성되는 이벤트 신호의 양이 조정될 경우, 로우 AER(121)은 이벤트 속도 컨트롤러(130)의 제어에 따라 리셋 신호가 발생되는 주기를 증가시킬 수 있다. 리셋 신호가 발생되는 주기가 증가될 경우, 픽셀 어레이(110)가 스캔되는 기간(즉, 프레임 기간)이 증가되므로, 단위 시간당 발생되는 이벤트가 감소될 수 있다.
픽셀 어레이(110)가 컬럼 단위로 스캔되는 경우를 가정하여 로우 AER(121) 및 컬럼 AER(122)의 동작을 설명하였다. 그러나, 로우 AER(121) 및 컬럼 AER(122)의 동작은 이에 제한되는 것은 아니며, 로우 AER(121) 및 컬럼 AER(122)은 다양한 방식으로 이벤트가 발생한 픽셀(PX)로부터 이벤트 발생 여부 및 극성 정보(POL)를 독출할 수 있다. 예를 들어, 픽셀 어레이(110)가 로우 단위로 스캔될 수 있으며, 로우 AER(121) 및 컬럼 AER(122)의 동작이 교체되어, 즉 컬럼 AER(122)이 극성 신호(POL)를 수신하고 리셋 신호를 픽셀 어레이(110)에 전송할 수 있다. 또한, 로우 AER(121) 및 컬럼 AER(122)는 이벤트가 발생한 픽셀(PX)을 개별적으로 엑세스할 수도 있다.
전압 생성기(123)는 픽셀 어레이(123)에 제공되는 전압을 생성할 수 있다. 예컨대 전압 생성기(123)는 픽셀(PX)에서 온-이벤트 및 오프-이벤트를 검출하기 위해 사용되는 임계 전압들, 또는 바이어스 전압들을 생성할 수 있다. 실시예에 있어서, 도 3을 참조하여 전술한 바와 같이, 픽셀(PX)의 감광도가 조정될 경우, 전압 생성기(123)는 이벤트 속도 컨트롤러(130)의 제어에 따라 기준 전압들(또는 바이어스 전압들)의 전압 레벨을 변경할 수 있다. 전압 생성기(123)는 관심 영역의 픽셀들에 제공되는 임계 전압들의 전압 레벨을 변경할 수 있으며, 복수의 관심 영역들 각각에 대하여 임계 전압들의 전압 레벨을 상이하게 변경할 수 있다.
ESP(124)는 로우 AER(121) 및 컬럼 AER(122)로부터 수신되는 로우 어드레스(R_AEER), 컬럼 어드레스(C_ADDR), 극성 신호(POL) 및 타임 스탬프(TS)를 기초로 이벤트 신호(EVS)를 생성할 수 있다. 실시예에 있어서, ESP(124)는 노이즈 이벤트를 제거하고, 유효 이벤트들에 대한 이벤트 신호(EVS)를 생성할 수 있다. 예를 들어, ESP(124)는 소정의 시간 동안 발생한 이벤트량이 설정된 임계값 미만일 경우, 이벤트들을 노이즈로 판단하고, 노이즈 이벤트에 대해서는 이벤트 신호(EVS)를 생성하지 않을 수 있다.
실시예에 있어서, 도 3을 참조하여 전술한 바와 같이, 이벤트 신호(EVS)들의 발생량이 조정될 경우, 이벤트 속도 컨트롤러(130)는 노이즈 판단을 위한 임계값, 즉 디-노이즈(De-noise) 임계값을 증가시킬 수 있으며, ESP(124)는 증가된 임계값을 기초로 노이즈 이벤트를 판별할 수 있다. 예컨대, 임계값이 10으로 설정되고, 단위 시간당 발생한 이벤트량이 12개일 경우, ESP(124)는 상기 이벤트들을 유효 이벤트로 판단하고, 상기 이벤트들에 대한 이벤트 신호(EVS)들을 생성할 수 있다. 임계값이 20으로 증가되고, 단위 시간당 발생한 이벤트량이 12개일 경우, ESP(124)는 상기 이벤트들을 노이즈 이벤트로 판단하고, 상기 이벤트들을 무시하고, 상기 이벤트들에 대한 이벤트 신호(EVS)를 생성하지 않을 수 있다.
도 7은 픽셀의 일 구현예를 나타내는 회로도이다.
도 7을 참조하면, 픽셀(PX)은 광전 변환 소자(PD), 증폭기(111), 제1 비교기(112), 제2 비교기(113), 온-이벤트 홀더(114), 오프-이벤트 홀더(115) 및 리셋 스위치(SW)를 포함할 수 있다. 픽셀(PX)은 이외에도, 픽셀(PX) 내부에서 발생하거나 또는 외부로부터 유입되는 노이즈를 제거하기 위한 커패시터, 각종 스위치들, 피드백 회로들을 더 포함할 수 있다.
광전 변환 소자(PD)는 입사되는 빛, 즉 광 신호를 전기적 신호, 예컨대 전류로 변환할 수 있다. 광전 변환 소자(PD)는 예컨대, 포토(photo) 다이오드, 포토 트랜지스터, 포트 게이트 또는 핀드 포토 다이오드(pinned photodiode) 등을 포함할 수 있다. 광전 변환 소자(PD)는 입사되는 빛의 세기가 증가할수록 높은 레벨을 갖는 전기적 신호를 생성할 수 있다.
증폭기(111)는 수신되는 전류를 전압으로 변환하고, 전압 레벨을 증폭할 수있다. 증폭기(111)의 출력 전압은 제1 비교기(112) 및 제2 비교기(112)로 제공될 수 있다. 실시예에 있어서, 증폭기(111)의 입력 단자와 출력 단자 사이에는 피드백 회로가 연결될 수 있다.
제1 비교기(112)는 증폭기(111)의 출력 전압(Vout)을 온-임계 전압(TH1)과 비교하고, 비교 결과에 따라 온 신호(E_ON)를 생성할 수 있다. 제2 비교기(112)는 증폭기(111)의 출력 전압(Vout)을 오프-임계 전압(TH2)과 비교하고, 비교 결과에 따라 오프 신호(E_OFF)를 생성할 있다. 제1 비교기(112) 및 제2 비교기(113)는 광전 변환 소자(PD)에 수신되는 빛의 변화량이 일정 변화 수준 이상일 경우 온 신호(E_ON) 또는 오프 신호(E_OFF)를 생성할 수 있다.
예컨대, 온 신호(E_ON)는 광전 변환 소자(PD)에 수신되는 광량이 일정 수준이상 증가되는 경우에 하이 레벨이 되고, 오프 신호(E_OFF)는 광전 변환 소자(PD)에 수신되는 광량이 일정 수준 이상 감소되는 경우에 하이 레벨이 될 수 있다. 온-이벤트 홀더(114) 및 오프-이벤트 홀더(115)는 각각 온 신호(E_ON) 및 오프 신호(E_OFF)를 홀딩한 후, 출력할 수 있다. 픽셀(PX)이 스캐닝될 때, 온 신호(E_ON) 및 오프 신호(E_OFF)를 출력할 수 있다. 한편, 전술한 바와 같이, 감광도가 조정될 경우, 온-임계 전압(TH1) 및 오프-임계 전압(TH2)의 레벨들이 변경될 수 있다. 예컨대, 감광도가 낮아질 수 있다. 이에 따라, 온-임계 전압(TH1)의 레벨이 증가되고 오프-임계 전압(TH2)의 레벨이 감소될 수 있다. 따라서, 제1 비교기(111) 및 제2 비교기(112)는 광전 변환 소자(PD)에 수신되는 빛의 변화량이 이전(즉, 온-임계 전압(TH1) 및 오프-임계 전압(TH2)의 레벨들이 변경되기 전)보다 더 클 경우에 온 신호(E_ON) 또는 오프 신호(E_OFF)를 생성할 수 있다.
도 8a 내지 도 8d는 도 7의 광전 변환 소자와 증폭기의 연결관계를 나타내는 예시적 실시예들을 나타내는 회로도이다.
도 8a를 참조하면, 증폭기(111a)는 출력 회로(12) 및 피드백 회로(11a)를 포함할 수 있으며, 피드백 회로(11a)는 변환기 회로(21) 및 부스팅 회로(22a)를 포함할 수 있다. 증폭기(111a)는 출력 회로(12)로 바이어스 전류를 공급하는 전류원(13)을 더 포함할 수 있다.
출력 회로(12)의 일단은 광전 변환 소자(PD) 및 피드백 회로(11a)의 일단과 접속될 수 있다. 출력 회로(12)의 다른 일단은 피드백 회로(11a)의 다른 일단 및 출력 전압(Vout)이 출력되는 출력 노드와 연결될 수 있다.
출력 회로(12)는 광전 변환 소자(PD)로부터 수신되는 입력 신호 및 피드백회로(11a)로부터 수신되는 피드백 신호를 기초로 출력 전압(Vout), 즉 출력 신호를 생성할 수 있다. 출력 회로(12)는 도시된 바와 같이, 피드백 회로(11a)의 일단과 접속되는 게이트 노드, 접지전압이 인가되는 소스 노드, 및 출력 전압(Vout)을 생성하는 드레인 노드를 포함하는 증폭 트랜지스터 MAMP를 포함할 수 있다. 출력 회로(12)는 설정된 게인(양의 게인 또는 음의 게인)을 이용하여 피드백 신호를 증폭함으로써, 출력 전압(Vout)을 생성할 수 있다.
피드백 회로(11a)는 출력 전압(Vout)을 출력 회로(12)의 전단, 예컨대 증폭 트랜지스터 MAMP의 게이트 노드로 피드백할 수 있다. 예를 들어, 피드백 회로(11a)는 출력 전압(Vout)의 변화량의 지수에 비례하는 피드백 신호를 생성하고, 피드백 신호를 출력 회로(12)의 전단으로 피드백할 수 있다.
변환기 회로(321)는 출력 전압(Vout)에 기초하여 변환 신호를 생성할 수 있다. 일 실시예에 있어서, 변환 신호는 출력 전압(Vout)의 변화량의 지수에 비례하는 전류일 수 있다. 변환기 회로(321)는 출력 전압(Vout)을 수신하는 게이트 노드(gate node) 및 출력 전압(Vout)에 기초하여 변환 신호를 출력하는 소스 노드(source node)를 포함하는 트랜지스터 MLOGN를 포함할 수 있다. 도 8a에서는 트랜지스터 MLOGN가 NMOS 트랜지스터인 경우를 도시하였으나, 이에 제한되는 것은 아니며, 트랜지스터 MLOGN는 PMOS로 구현될 수도 있다.
부스팅 회로(22a)는 입력되는 전류의 자연로그 값에 비례하는 크기의 부스팅 전압을 출력할 수 있다. 부스팅 회로(22a)는 드레인 노드 및 게이트 노드가 서로 접속되는 트랜지스터 M1를 포함할 수 있다. 부스팅 회로(22a)에 포함된 트랜지스터 M1은 부문턱 영역에서 동작할 수 있고, 입력되는 전류에 기초하여 부스팅 전압을 생성할 수 있다. 부스팅 전압은 트랜지스터 M1의 게이트 노드 및 소스 노드에 걸리는 전압을 나타낼 수 있다. 한편, 도 8a는 부스팅 회로(22a)가 NMOS 트랜지스터를 포함하는 회로를 도시하였으나, 이로 한정되는 것은 아니고 도 6에 도시된 바와 같이 부스팅 회로(22a)는 PMOS 트랜지스터를 포함할 수도 있다.
실시예에 있어서, 도 8a의 출력 전압(Vout)의 시간에 따른 변화 ΔVout는 2βln (Iin2/Iin1)로 나타낼 수 있다. 이때, Iin1은 제1 시점에 광전 변환 소자(PD)로부터 제공되는 전류이고, Iin2는 제1 시점 이후의 제2 시점에 광전 변환 소자(PD)로부터 제공되는 전류이다. β는 각 트랜지스터의 특성 또는 동작 온도에 따라 결정되는 계수이다.
도 8b 내지 도 8d의 광전 변환 소자 및 증폭기의 연결관계, 증폭기의 구성요소들 및 동작은 도 8a의 광전 변환 소자(PD) 및 증폭기(111a)의 연결관계, 증폭기(111a)의 구성 요소들 및 이의 동작들과 유사하다. 따라서, 이하, 차이점을 중심으로 설명하기로 한다.
도 8b를 참조하면, 출력 회로(12)의 일단은 광전 변환 소자(PD) 및 피드백 회로(11b)의 일단과 접속될 수 있다. 출력 회로(12)의 다른 일단은 피드백 회로(11a)의 다른 일단과 연결될 수 있다. 도 8b에서, 피드백 회로(11b)는 세 개의 단자를 포함하고, 나머지 일단은 출력 전압(Vout)이 출력되는 출력 노드에 연결될 수 있다.
피드백 회로(11b)에 포함되는 부스팅 회로(22b)는 제1 트랜지스터 M1 및 제2 트랜지스터 M2를 포함할 수 있다. 제1 트랜지스터 M1는 제2 트랜지스터 M2의 소스 노드와 접속되는 게이트 노드, 및 제2 트랜지스터 M2의 게이트 노드와 접속되는 드레인 노드를 포함할 수 있다. 제2 트랜지스터 M2는 제1 트랜지스터 M1의 게이트 노드와 접속되는 소스 노드, 및 제1 트랜지스터 M1의 드레인 노드와 접속되는 게이트 노드를 포함할 수 있다. 제2 트랜지스터 M2는 전류원(13)으로부터 제공되는 바이어스 전류에 기초하여 동작할 수 있고, 제1 트랜지스터 M1는 수신되는 입력 전류에 기초하여 동작할 수 있다. 도 8b에서, 제1 트랜지스터 M1 및 제2 트랜지스터 M2가 NMOS 트랜지스터로 도시되었으나, 이에 제한되는 것은 아니며, 제1 트랜지스터 M1 및 제2 트랜지스터 M2는 PMOS 트랜지스터로 구현될 수 있다.
도 8c를 참조하면, 증폭기(111a)는 피드백 회로(11c)로부터 바이어스 전류를 싱킹하는 전류원(14)를 더 포함할 수 있다.
피드백 회로(11c)의 구성 요소 및 동작은 도 8b의 피드백 회로(11b)의 구성요소 및 동작과 유사하다. 피드백 회로(11c)에 포함되는 부스팅 회로(22c)는 제1 트랜지스터 M1 및 제2 트랜지스터 M2를 포함할 수 있다. 도 8c와 달리, 제2 트랜지스터 M2의 드레인 노드는 전원전압에 접속되고, 소스 노드는 전류원 14 및 제1 트랜지스터 M1의 게이트 노드에 접속될 수 있다.
도 8c를 참조하면, 증폭기(111d)는 출력 회로(12d) 및 피드백 회로(11d)를 포함할 수 있으며, 피드백 회로(11d)는 변환기 회로(21d) 및 부스팅 회로(22d)를 포함할 수 있다. 증폭기(111d)는 출력 회로(12d)로 바이어스 전류를 공급하는 전류원(13) 및 출력 회로(12d)로부터 바이어스 전류를 싱킹하는 전류원(15)을 더 포함할 수 있다.
출력 회로(12d)의 일단은 광전 변환 소자(PD) 및 피드백 회로(11d)의 일단과 접속될 수 있다. 출력 회로(12d)의 다른 일단은 피드백 회로(11d)의 다른 일단과 연결될 수 있다. 출력 회로(12d)는 광전 변환 소자(PD)로부터 수신되는 입력 신호 및 피드백회로(11a)로부터 수신되는 피드백 신호를 기초로 출력 전압(Vout), 즉 출력 신호를 생성할 수 있다. 출력 회로(12d)는 입력 전류를 수신하고 일단에 대응하는 게이트 노드를 포함하는 증폭 트랜지스터 MAMP, 다른 일단에 대응하는 게이트 노드 및 출력 전압을 생성하는 소스 노드를 포함하는 출력 트랜지스터 MSF를 포함할 수 있다. 여기서, 입력 전류는 광전 변환 소자(PD)에 의해 생성될 수 있다.
피드백 회로(11d)는 변환기 회로(21d)에 소스 팔로워(source follower)의 부스팅 회로(22d)가 캐스캐이드(cascade)로 연결된 회로 구조를 포함할 수 있다. 변환기 회로(21d)는 NMOS 트랜지스터 MLOGN 및 PMOS 트랜지스터 MLOGP를 포함할 수 있다. 변환기 회로(21d)에 포함되는 NMOS 트랜지스터 MLOGN은 부스팅 회로(22d)의 제1 트랜지스터 M1의 드레인 노드 및 제2 트랜지스터 M2의 게이트 노드에 접속되는 소스 노드, 및 출력 회로(12d)의 다른 일단과 접속되는 게이트 노드를 포함할 수 있다. 변환기 회로(21d)에 포함되는 PMOS 트랜지스터 MLOGP는 부스팅 회로(22d)의 제1 트랜지스터의 소스 노드에 접속되는 소스 노드, 및 출력 회로(12d)의 일단 및 광전 변환 소자(Pd)의 일단에 접속되는 드레인 노드를 포함할 수 있다. 또한, PMOS 트랜지스터 MLOGP의 게이트 노드에는 바이어스 전원 VBIAS이 인가될 수 있다.
도 9는 본 개시의 예시적 실시예에 따른 비전 센서의 동작 방법을 나타내는 흐름도이다. 도 9의 동작 방법은 도 3의 비전 센서(100), 구체적으로 이벤트 속도 컨트롤러(130)에서 수행될 수 있다. 따라서, 비전 센서(100) 및 이의 동작에 대하여 설명한 내용은 도 9의 실시예에 적용될 수 있다. 이하, 도 3을 함께 참조하여 설명하기로 한다.
도 3 및 도 9를 참조하면, 비전 센서(100)는 관심 영역을 설정할 수 있다(S110). 도 5a를 참조하여 설명한 바에 따라, 이벤트 속도 컨트롤러(130)는 이벤트 발생량을 기초로 관심 영역을 설정할 수 있다. 또는 이벤트 속도 컨트롤러(130)는 사용자의 설정에 따라 관심 영역을 설정하거나 오브젝트를 센싱하는 픽셀(PX)들을 관심 영역(ROI)으로 설정할 수 있다.
비전 센서(100)는 이벤트 신호 발생량을 측정할 수 있다(S120). 예를 들어,이벤트 속도 컨트롤러(130)가 설정된 단위 시간 동안 이벤트 신호들을 카운팅함으로써, 이벤트 신호 발생량을 측정할 수 있다. 실시예에 있어서, S110 단계는 S120 단계와 동시에 또는 S120 단계 이후에 수행될 수도 있다.
비전 센서(100)는 이벤트 신호 발생량을 기준값과 비교하고(S130), 이벤트 신호 발생량이 기준값 미만이면, 전체 영역에 대응하는 이벤트 신호들을 출력하고(S140), 이벤트 신호 발생량이 기준값 이상이면, 관심 영역에 대응하는 이벤트 신호들을 출력할 수 있다(S150). 예컨대, 이벤트 속도 컨트롤러(130)가 이벤트 신호 발생량을 기준값과 비교하고, 이벤트 신호 발생량이 기준값 미만이면, 전체 영역에 대응하는 이벤트 신호들을 출력하고, 이벤트 신호 발생량이 기준값 이상이면, 전체 영역에 대응하는 이벤트 신호들을 출력할 수 있다.
다시 말해서, 비전 센서(100)는 이벤트 신호 발생량을 기초로 동작 모드를결정할 수 있다. 비전 센서(100)는 이벤트 신호 발생량이 기준값 미만이면, 전체 영역에 대응하는 이벤트 신호들을 출력하는 제1 동작 모드로 동작하고, 이벤트 신호 발생량이 기준값 이상이면, 전체 영역들 중 관심 영역에 대응하는 이벤트 신호들을 출력하는 제2 동작 모드로 동작할 수 있다.
도 10은 본 개시의 예시적 실시예에 따른 비전 센서의 동작 방법을 나타내는 흐름도이다. 도 10의 동작 방법은 도 3의 비전 센서(100), 구체적으로 이벤트 속도 컨트롤러(130)에서 수행될 수 있다. 따라서, 비전 센서(100) 및 이의 동작에 대하여 설명한 내용은 도 10의 실시예에 적용될 수 있다. 이하, 도 3을 함께 참조하여 설명하기로 한다.
도 3 및 도 10을 참조하면, 비전 센서(100)는 제1 및 제2 관심 영역을 설정할 수 있다(S210). 다시 말해서, 비전 센서(100)는 복수의 관심 영역을 설정할 수 있다. 제1 관심 영역의 중요도(또는 우선순위)가 제2 관심 영역의 중요도보다 높게 설정될 수 있다.
비전 센서(100)는 이벤트 신호 발생량을 측정하고(S220), 측정된 이벤트 신호 발생량을 제1 기준값과 비교할 수 있다(S230). 비전 센서(100)는 이벤트 신호 발생량이 제1 기준값 미만이면, 전체 영역에 대응하는 이벤트 신호들을 출력할 수 있다(S240).
비전 센서(100)는 이벤트 신호 발생량이 제1 기준값 이상이면, 이벤트 신호 발생량을 제2 기준값과 비교할 수 있다(S250). 제2 기준값은 제1 기준값보다 클 수 있다.
비전 센서(100)는 이벤트 신호 발생량이 제2 기준값 미만이면, 제1 및 제2 관심 영역들에 대응하는 이벤트 신호들을 출력할 수 있다(S260). 다시 말해서, 비전 센서(100)는 모든 관심 영역들에 대응하는 이벤트 신호들을 출력할 수 있다. 비전 센서(100)는 이벤트 신호 발생량이 제2 기준값 이상이면, 제1 및 관심 영역에 대응하는 이벤트 신호들을 출력할 수 있다(S270). 다시 말해서 비전 센서(100)는 이벤트 신호 발생량을 기초로 상대적으로 중요한 영역으로 판단되는 영역에 대응하는 이벤트 신호들을 출력할 수 있다. 전체 영역에 대한 이벤트 신호들이 아니더라도, 중요도가 높은 영역에 대응하는 이벤트 신호들이 선별적으로 프로세서(도 1의 200)로 전송되므로, 비전 센서(100)의 성능 저하가 방지될 수 있다.
한편, 측정된 이벤트 신호 발생량을 기초로 비전 센서(100)의 동작 모드가 결정되고, 동작 모드가 설정된 단위 시간 단위로 변경될 수 있다. 이에 대하여 도 8을 참조하여 설명하기로 한다.
도 11은 본 개시의 예시적 실시예에 따른 비전 센서의 동작 모드 결정 방법을 설명하는 도면이다.
도 11을 참조하면, 설정된 단위 시간 마다, 예컨대 제1 기간 내지 제4 기간(TP1~TP4) 각각에서 이벤트 신호(EVS) 발생량이 측정될 수 있으며, 이벤트 신호(EVS) 발생량을 기초로 비전 센서(100)의 동작 모드가 결정될 수 있다.
우선, 이벤트 신호(EVS)는 초기, 예컨대 제1 기간(TP1) 동안 디폴트 모드, 즉 제1 모드(MD1)로 동작할 수 있다. 비전 센서(100)는 제1 기간(TP1) 기간에 생성된 이벤트 신호(EVS)들을 모두 출력할 수 있다. 이벤트 신호(EVS)의 출력이 설정된 단위 시간 이상 지연 출력될 경우, 비전 센서(100)는 제1 기간(TP1) 이전에 생성된 이벤트 신호(EVS)들을 모두 출력할 수 있다.
제1 기간(TP1) 동안 카운팅된 이벤트 신호(EVS)들의 양, 즉 이벤트 신호 발생량이 제1 기준값 이상이면, 제2 기간(TP2) 동안, 비전 센서(100)는 제2 동작 모드(MD2)로 설정될 수 있다. 비전 센서(100)는 제2 기간(TP2) 또는 제1 기간(TP1) 동안 생성된 이벤트 신호(EVS)들 중 관심 영역들에 대응하는 이벤트 신호(EVS)들을 선별적으로 출력할 수 있다. 실시예에 있어서, 이벤트 신호들의 발생량이 감소되도록 이벤트 발생 조건 또는 검출 조건이 조정될 수 있다.
제2 기간(TP2) 동안 카운팅된 이벤트 신호(EVS)들의 양, 즉 이벤트 신호 발생량이 제1 기준값 미만이면, 제3 기간(TP3) 동안, 비전 센서(100)는 다시 제1 동작 모드(MD1)로 설정될 수 있다. 비전 센서(100)는 제3 기간(TP3) 또는 제2 기간(TP1) 동안 생성된 이벤트 신호(EVS)들을 전부 출력할 수 있다. 또한, 제3 기간(TP3) 동안 이벤트 발생 조건 또는 검출 조건이 초기화될 수 있다. 예컨대 이벤트 발생 조건 또는 검출 조건이 내부적으로 설정된 레지스터 세팅값 또는 프로세서(도 1의 200)에 의해 설정된 레지스터 세팅값에 따라 초기화될 수 있다.
제3 기간(TP3) 동안 카운팅된 이벤트 신호(EVS)들의 양, 즉 이벤트 신호 발생량이 제2 기준값 이상이면, 제4 기간(TP4) 동안, 비전 센서(100)는 제3 동작 모드(MD3)로 설정될 수 있다. 비전 센서(100)는 제4 기간(TP4) 또는 제3 기간(TP3) 동안 생성된 이벤트 신호(EVS)들 중 중요도가 높은 관심 영역들에 대응하는 이벤트 신호(EVS)들을 선별적으로 출력할 수 있다. 실시예에 있어서, 이벤트 신호들의 발생량이 감소되도록 이벤트 발생 조건 또는 검출 조건이 조정될 수 있다. 이 때, 이벤트 발생 조건 또는 검출 조건은 제2 기간(TP4)보다 상향(즉, 이벤트 또는 이벤트 신호 발생량이 더 감소되는 방향으로) 조정될 수 있다.
이와 같이, 이벤트 신호 발생량을 기초로 비전 센서(100)의 동작 모드가 동적으로 변경될 수 있다.
도 12a 및 도 12b는 도 3의 이벤트 속도 컨트롤러의 구현예들을 나타내는 블록도이다.
도 12a를 참조하면, 이벤트 속도 컨트롤러(130)는 이벤트 카운터(131), 아날로그 파라미터 컨트롤러(132), DNS(de-noise) 컨트롤러(133), ROI(Region of Interest) 컨트롤러(134)를 포함할 수 있다. 이벤트 속도 컨트롤러(130)의 구성들, 예컨대 이벤트 카운터(131), 아날로그 파라미터 컨트롤러(132), DNS(de-noise) 컨트롤러(133), ROI(Region of Interest) 컨트롤러(134)는 하드웨어 또는 소프트웨어로 구현될 수 있다. 예컨대, 이벤트 속도 컨트롤러(130)의 구성들은 로직 회로로 구현될 수 있다. 또는 이벤트 속도 컨트롤러(130)의 구성들은 각각의 기능을 수행하도록 프로그램된 인스트럭션들 및 상기 인스트럭션들을 실행하는 프로세서로 구현될 수 있다.
이벤트 카운터(131)는 ESP(124)로부터 출력되는 이벤트 신호들을 카운팅하고, 카운팅된 이벤트 신호들의 양, 즉 이벤트 신호 발생량을 출력할 수 있다.
이벤트 신호 발생량이 기준값 이상일 경우, 아날로그 파라미터 컨트롤러(132)는 아날로그 회로, 예컨대, 로우 AER(121), 컬럼 AER(122) 및 전압 생성기(123) 중 적어도 하나의 설정 파라미터를 조정할 수 있다. 예컨대, 아날로그 파라미터 컨트롤러(132)는 픽셀(PX)에서 온-이벤트 및 오프-이벤트를 검출하기 위해 사용되는 비교기들(도 7의 112, 113)에 제공되는 제1 임계 전압(TH1) 및 제2 임계 전압(TH2)의 전압 레벨이 변경되도록 전압 생성기(도 6의 123)를 제어할 수 있다. 아날로그 파라미터 컨트롤러(132)는 제1 임계 전압(TH1)이 증가되고, 제2 임계 전압(TH2)이 감소되도록 제1 임계 전압(TH1) 및 제2 임계 전압(TH2)과 관련된 전압 생성기(도 6의 123)의 레지스터들에 설정된 레지스터 값들을 변경할 수 있다.
실시예에 있어서, 픽셀 어레이(도 3의 110) 상의 관심 영역과 관심 영역 이외의 영역에 대하여 제1 임계 전압(TH1) 및 제2 임계 전압(TH2)이 상이하게 설정될 수 있다. 또한, 복수의 관심 영역이 설정되는 경우, 관심 영역들 간에 제1 임계 전압(TH1) 및 제2 임계 전압(TH2)이 상이하게 설정될 수 있다.
이벤트 신호 발생량이 기준값 이상일 경우, DNS 컨트롤러(133)는 디-노이즈 임계값을 증가시킬 수 있다. 이에 따라, 노이즈로 판단되는 이벤트들에 대하여 이벤트 신호가 생성되지 않는다. 따라서, 이벤트 신호 발생량이 감소될 수 있다.
실시예에 있어서, 노이즈 판단은 픽셀 블록 단위로 수행될 수 있으며, ROI(134) 컨트롤러(134)는 픽셀 어레이(도 3의 110) 상의 관심 영역과 관심 영역 이외의 영역에 대하여 디-노이즈 임계값을 상이하게 설정할 수 있다. 또한, 복수의 관심 영역이 설정되는 경우, ROI(134) 컨트롤러(134)는 관심 영역들 간에 제1 임계 전압(TH1) 및 제2 임계 전압(TH2)을 상이하게 설정할 수 있다.
ROI 컨트롤러(134)는 이벤트 신호 발생량이 기준값 이상일 경우, ESP(124)로부터 수신된 이벤트 신호들 중 관심 영역에 해당하는 이벤트 신호들을 출력 이벤트 신호(EVS_O)로서 출력할 수 있다. 실시예에 있어서, 복수의 관심 영역이 설정되고, ROI 컨트롤러(134)는 이벤트 신호 발생량이 제1 기준값 이상이고, 제2 기준 값 미만이면, 복수의 관심 영역에 해당하는 이벤트 신호들을 출력할 수 있다. ROI 컨트롤러(134)는 이벤트 신호 발생량이 제2 기준값 이상이면, 더 좁은 영역에 해당하는 이벤트 신호들, 다시 말해서 중요도가 높은 관심 영역에 해당하는 이벤트 신호들을 출력할 수 있다.
도 12b를 참조하면, 이벤트 속도 컨트롤러(130a)는 제1 이벤트 카운터(131a), 제2 이벤트 카운터(132a), 제1 필터(133a), 제2 필터(134a), 아날로그 파라미터 컨트롤러(135a), DNS 필터(136a), 및 ROI 컨트롤러(137a)를 포함할 수 있다.
제1 이벤트 카운터(131a)는 ESP(124)가 사용되기 전의 이벤트, 예컨대 노이즈 제거 전의 이벤트 신호들을 카운트하여 제1 이벤트 신호 발생량을 출력할 수 있다. 제2 이벤트 카운터(132b)는 ESP(124)가 사용된 후의 이벤트, 예컨대 노이즈 제거 후의 이벤트 신호들을 카운트하여 제2 이벤트 신호 발생량을 출력할 수 있다.
제1 필터(133a)는 제1 이벤트 신호 발생량을 소정의 시간 단위로 평균하거나 또는 연산할 수 있다. 예컨대, 제1 필터(133)는 t1 시점에 산출된 제1 이벤트 신호 발생량과, 그 이전 시점들(예컨대 t-1 시점, t-2 시점, t-3 시점 등)에 산출된 제1 이벤트 신호 발생량들을 평균하거나 또는 연산할 수 있다. 예를 들어, 여러 시점들에 산출된 제1 이벤트 신호 발생량들에 각각의 가중치가 곱해지고, 가중치가 곱해진 값들의 평균값이 필터링된 이벤트 신호 발생량으로서 출력될 수 있다. 이 때, 현재로부터 먼 시점에 산출된 이벤트 신호 발생량일수록 가중치가 낮게 설정될 수 있다. 이에 따라 제1 이벤트 신호 발생량의 급격한 변화가 제거될 수 있다.
아날로그 파라미터 컨트롤러(135a)는 제1 필터(133a)로부터 출력되는 필터링된 제1 이벤트 신호 발생량이 기준값 이상일 경우, 아날로그 회로, 예컨대, 로우 AER(121), 컬럼 AER(122) 및 전압 생성기(123) 중 적어도 하나의 설정 파라미터를 조정할 수 있다.
제2 필터(134a)는 ESP(124)로부터 수신되는 이벤트 신호들의 발생량, 즉 제1 이벤트 신호 발생량 및 ESP(124)가 사용되기 전의 이벤트, 예컨대 노이즈 제거 전의 이벤트를 나타내는 이벤트 신호들의 발생량, 즉 제2 이벤트 신호 발생량을 평균 또는 연상하여 제3 이벤트 신호 발생량을 생성하고, 제3 이벤트 신호 발생량을 소정의 시간 단위로 평균 또는 연산함으로서 제3 이벤트 신호 발생량의 급격한 변화가 제거될 수 있다.
제2 필터(134a)로부터 출력되는 제3 이벤트 신호 발생량이 기준값 이상일 경우, DNS 컨트롤러(126a)는 디-노이즈 임계값을 증가시킬 수 있으며, ROI 컨트롤러(137a)는 ESP(124)로부터 수신된 이벤트 신호들 중 관심 영역에 해당하는 이벤트 신호들을 출력 이벤트 신호(EVS_O)로서 출력할 수 있다. 또는 ROI 컨트롤러(137a)는 제3 이벤트 신호 발생량이 제1 기준값 이상 제2 기준 값 미만이면, 복수의 관심 영역에 해당하는 이벤트 신호들을 출력하고 이벤트 신호 발생량이 제2 기준값 이상이면, 더 좁은 영역에 해당하는 이벤트 신호들, 다시 말해서 중요도가 높은 관심 영역에 해당하는 이벤트 신호들을 출력할 수 있다.
이와 같이, 이벤트 속도 컨트롤러(130a)에서 산출되는 이벤트 신호 발생량들이 시간 기반으로 필터링됨에 따라, 갑자기 이벤트 신호 발생량이 증감되더라도, 이벤트 신호들의 출력 및 이벤트 신호 발생량을 조절함에 있어서 이벤트 신호 발생량의 변화가 지연 적용될 수 있다.
도 13은 본 개시의 예시적 실시예에 따른 비전 센서의 관심 영역 설정 방법의 일 예를 나타낸다.
도 13을 참조하면, ROI 컨트롤러(도 12a의 137)는 픽셀 어레이(도 3의 110)를 복수의 패치로 구분하고, 각 패치마다 해당하는 이벤트 신호들을 카운트할 수 있다. 특정 패치에서 다수의 이벤트가 발생할 경우, ROI 컨트롤러(137)는 해당 패치, 또는 상기 패치를 포함하는 영역을 관심 영역(ROI)으로 설정할 수 있다.
예를 들어, t시점에 카운팅된 제1 패치(P1)의 이벤트 신호 발생량(O(t))과 그 이전 시점, 예컨대 t-1 시점에 카운팅된 제1 패치(P1)의 이벤트 신호 발생량(O1(t-1))의 차이가 관심 영역 구별을 위하여 설정된 임계값 이상일 경우, 제1패치(P1)는 관심 영역으로 설정될 수 있다. t시점에 카운팅된 제1 패치(P1)의 이벤트 신호 발생량(O(t))과 그 이전 시점, 예컨대 t-1 시점에 카운팅된 제1 패치(P1)의 이벤트 신호 발생량(O(t-1))의 차이가 관심 영역 구별을 위하여 설정된 임계값 미만일 경우, 제1 패치(P1)는 관심 영역으로 설정될 수 없다.
t시점에 카운팅된 제2 패치(P2)의 이벤트 신호 발생량(O2(t))과 그 이전 시점인 t-1 시점에 카운팅된 제2 패치(P2)의 이벤트 신호 발생량(O2(t-1))의 차이가 관심 영역 구별을 위하여 설정된 임계값 이상일 경우, 제2 패치(P2) 또는 미리 설정된 영역들 중 제2 패치(P2)를 포함하는 영역이 관심 영역으로 설정될 수 있다.
도 14는 본 개시의 예시적 실시예에 따른 비전 센서의 관심 영역의 위치 추정 방법을 나타낸다.
도 14를 참조하면, 관심 영역(ROI)의 위치가 시간의 경과, 즉 프레임에 따라 변화될 수 있다. 비전 센서(도 3의 100)는 모션 추정을 통해 관심 영역(ROI)의 이동, 즉 관심 영역(ROI)의 X축 방향 및/또는 Y 축 방향의 이동을 판단할 수 있다. 예를 들어 비전 센서(110)는 제1 프레임의 관심 영역(ROI1)을 기초로 모션 추정을 통해 제2 프레임의 관심 영역(ROI2)의 위치를 추정할 수 있다. 실시예에 있어서, 비전 센서(100)는 생성된 이벤트 발생 신호를 기초로 모션 추정을 수행할 수 있다. 다른 예로서, 이미지 처리 장치(도 1의 10)가 장착된 전자 제품 내에서, 비전 센서(100) 근처에 장착된 다른 센서, 예컨대 자이로스코프 센서가 위치 센싱 신호를 비전 센서(100)에 전송하고, 비전 센서(100)는 위치 센싱 신호를 기초로 모션 추정을 수행할 수 있다.
관심 영역(ROI)이 소정의 레인지 이상 이동할 경우 비전 센서(100)는 관심 영역을 재설정할 수 있다. 예컨대, 제1 프레임의 관심 영역(ROI1)의 위치를 기조로 레인지(RG)가 설정될 수 있으며, 추정된 제2 프레임의 관심 영역(ROI2')이 레인지(RG)를 벗어난 것으로 판단되면, 비전 센서(100)는 관심 영역을 재설정할 수 있다.
예를 들어, 비전 센서(100)는 관심 영역이 소정의 레인지를 벗어났음을 사용자에게 알려 관심 영역을 다시 설정하게 할 수 있다. 다른 예로서, 비전 센서(100)는 전술한 바와 같이 이벤트 발생량을 기초로 관심 영역을 재설정할 수 있다.
도 15a 및 도 15c는 비전 센서가 출력되는 이벤트 데이터의 속도를 조정하는 방법을 나타낸다.
도 15a 및 도 15b를 참조하면, 복수의 프레임(FRM1~FRM4)이 이벤트 데이터로서 프로세서(도 1의 200)로 출력되며, 복수의 프레임(FRM1~FRM4)이 전송되는 구간들 사이에 블랭크 구간들(BLK1~BLK3)이 존재할 수 있다. 비전 센서(100)는 이벤트 발생량이 과도할 경우, 다시 말해서 측정된 이벤트 신호 발생량이 기준값 이상일 경우, 블랭크 구간을 증가시켜 전송되는 이벤트 신호량을 감소시킬 수 있다. 다시 말해서, 비전 센서(100)는 전송되는 이벤트 데이터의 속도를 감소시킬 수 있다.
도 15a를 참조하면, 이벤트 신호 발생량이 기준값 미만일 때, 예컨대 제3 프레임(FRM3) 이전에제1 블랭크 구간(BLK1) 및 제2 블랭크 구간(BLK2)은 T1으로 설정될 수 있다. 제3 프레임(FRM3)에서 이벤트 발생량이 과도하다고 판단될 경우, 비전 센서(100)는 제3 블랭크 구간(BLK3)을 T1보다 긴 T2로 설정할 수 있다. 이에 따라 이벤트 신호 발생량이 감소될 수 있다.
도 15b를 참조하면, 블랭크 구간은 두 가지 타입, 예컨대 제1 블랭크 타입(BLK_1)과 제2 블랭크 타입(BLK_2)로 구분될 수 있다. 프로세서(도 1의 200)는 비전 센서(100)로부터 수신되는 복수의 프레임을 중첩하여 사용할 수 있다. 예컨대, 비전 센서(100)는 복수의 프레임을 머지(merge)할 수 있다. 중첩하여 사용되는 프레임들 사이의 블랭크 구간은 제1 블랭크 타입(BLK_1)으로 설정되고, 중첩되지 않는 프레임들 사이의 블랭크 구간은 제2 블랭크 타입(BLK_2)으로 설정될 수 있다.
이벤트 신호 발생량이 기준값 미만일 경우, 제2 블랭크 타입(BLK_2)의 기간은 제1 블랭크 타입(BLK_1)과 동일 또는 유사하게 설정될 수 있다. 이벤트 신호 발생량이 기준값 이상일 경우, 제2 블랭크 타입(BLK_2)의 기간은 제1 블랭크 타입(BLK_1)보다 상대적으로 길게 설정될 수 있다.
예를 들어, 제1 내지 제3 프레임(FRM1~FRM3)이 중첩되고, 제4 내지 제6 프레임(FRM4~FRM6)이 중첩 사용될 수 있다, 비전 센서(100)는 제1 내지 제3 프레임(FRM1~FRM3) 사이의 블랭크 구간들, 제4 내지 제6 프레임(FRM4~FRM6) 사이의 블랭크 구간들은 제1 블랭크 타입(BLK_1)으로 설정하고, 제3 프레임(FRM3)과 제4 프레임(FRM4) 사이의 블랭크 구간 및 제6 프레임(FRM6)과 제7 프레임(FRM7) 사이의 블랭크 구간은 제2 블랭크 타입(BLK_2)로 설정할 수 있다. 제3 프레임(FRM3)과 제4 프레임(FRM4) 사이의 블랭크 구간은 T1으로 설정되며, 이는 제1 블랭크 타입(BLK_1)의 기간과 동일 또는 유사할 수 있다. 이후, 이벤트 신호 발생량이 기준값 이상으로 판단될 경우, 비전 센서(100)는 제1 블랭크 타입(BLK_1)의 기간의 변경 없이, 제2 블랭크 타입(BLK_2)의 기간을 증가시킬 수 있다. 도시된 바와 같이, 비전 센서(100)는 제2 블랭크 타입(BLK_2)인 제6 프레임(FRM6)과 제7 프레임(FRM7) 사이의 블랭크 구간의 기간을 T1보다 상대적으로 긴 T2로 설정할 수 있다.
한편, 도 15a 및 도 15b에서 블랭크 구간의 최대 길이는 픽셀 어레이(도 6의 110)의 해상도에 기초하여 설정될 수 있다. 예를 들어, 블랭크 구간의 최대 길이는 프레임이 전송되는 구간의 약 10~25 % 이내로 설정될 수 있다.
도 15c를 참조하면, 패킷 단위로 데이터가 전송될 수 있으며, 이벤트 신호 발생량이 과도할 경우, 비전 센서(100)는 소정의 기간에 전송되는 패킷 데이터의 양을 감소시킬 수 있다. 예를 들어, 비전 센서(100)는 이벤트 신호 발생량이 과도하지 않은 경우에는 제1 기간(T1)과 T2 기간(T2)과 같이 전송되는 패킷의 양을 제한하지 않는다. 제1 기간(T1)에는 제1 내지 제3 패킷(PKD1~PKD3)이 전송되고, 제2 기간(T2)에는 제4 내지 제7 패킷(PKD4~PKD7)이 전송될 수 있다.
그러나, 하나의 기간에, 예컨대 제3 기간(T1)에 전송되는 패킷의 양이 과다하다고 판단될 경우, 전송되는 패킷의 양(또는 전송되지 못하고 버려지는 패킷의 양)을 조절할 수 있다. 비전 센서(100)는 생성되는 패킷들을 선별하여 제한된 개수의 패킷들을 출력할 수 이다. 예를 들어, 제3 기간(T3)에는 전송되는 패킷의 양이 3개로 제한될 수 있으며, 따라서, 제3 기간(T3)에는 제8 내지 제10 패킷(PKD8~PKD10)이 전송될 수 있다,
전송되는 패킷의 양이 제한될 경우, 버려지는 패킷의 최대량은 셀 어레이(110)의 해상도에 기초하여 설정될 수 있으며, 예컨대 소정의 기간에 생성되는 패킷 데이터량의 약 10~25 % 이내로 설정될 수 있다.
도 16은 본 개시의 예시적 실시예에 따른 이미지 처리 장치를 나타내는 불록도이다.
도 16을 참조하면, 이미지 처리 장치(10a)는 제1 센서, 즉 비전 센서(100), 프로세서(200) 및 제2 센서(300)를 포함할 수 있다. 예를 들어, 제2 센서(300)는 이미지 처리 장치(10a)가 동작할 때의 외부 환경, 예컨대 오브젝트 주변의 조도, 또는 오브젝트의 휘도를 검출하거나, 또는 이미지 처리 장치(10a)의 위치를 검출할 수 있다. 예를 들어, 제2 센서(300)는 자이로스코프 센서 또는 조도 센서일 수 있다.
제2 센서(300)는 센싱된 신호를 프로세서(200)를 통해 또는 직접 비전 센서(100b)의 이벤트 속도 컨트롤러(130)에 제공할 수 있다. 비전 센서(100)는 제2 센서(300)로부터 수신되는 신호를 기초로 비전 센서(100)의 동작 모드를 결정할 수 있다. 예를 들어, 제2 센서(300)는 조도 센서이고, 제2 센서(300)로부터 생성되는 오브젝트 또는 오브젝트를 포함한 외부의 조도 정보가 이벤트 속도 컨트롤러(130)로 제공될 수 있다. 이벤트 속도 컨트롤러(130)는 조도 정보를 기초로 과도한 이벤트가 발생될 것으로 예상되는 조건이 발생하였는지 여부를 판단할 수 있다. 예를 들어, 이벤트 속도 컨트롤러(130)는 수신된 조도 정보가 기준 조도 이상일 경우, 주변의 광량이 높아 과도한 이벤트가 발생될 것으로 예상할 수 있다.
과도한 이벤트가 발생될 것으로 예상될 경우, 이벤트 속도 컨트롤러(130)는 이벤트 출력량을 감소시키기 위하여 전술한 바와 같이, 관심 영역에 해당하는 이벤트 신호들을 출력할 수 있다. 또한, 이벤트 속도 컨트롤러(130)는 이벤트 생성량을 감소시키기 위하여, 이벤트 발생 조건 또는 검출 조건을 변경할 수 있으며, 실시예에 있어서, 관심 영역에 대하여 설정되는 이벤트 발생 조건 또는 검출 조건을 다른 영역에 대하여 설정되는 그것과 상이하게 설정할 수 있다.
이벤트 속도 컨트롤러(130)는 조도 정보를 기초로 동작 모드를 다양하게 변경할 수 있다. 예컨대, 조도 정보가 기준 조도 이상일 경우, 이벤트 속도 컨트롤러(130)는 디폴트로 설정되는 동작 모드인 제1 모드에서 제2 모드로 변경할 수 있다. 제2 모드에서는 관심 영역에 해당하는 이벤트 신호들이 출력될 수 있다. 또한, 이벤트 속도 컨트롤러(130)는 제2 모드에서 이벤트 발생 조건 또는 검출 조건을 변경함으로써, 이벤트 발생량 자체를 감소시킬 수도 있다.
한편, 제2 센서(300)가 자이로스코프 센서일 경우, 이벤트 속도 컨트롤러(130)는 자이로 센서로부터 제공되는 위치 신호를 기초로 도 14를 참조하여 설명한 바와 같이 모션 추정을 수행할 수 있다.
도 17은 본 개시의 예시적 실시예에 따른 비전 센서의 동작 방법을 나타내는 흐름도이다. 도 17의 동작 방법은 도 3의 비전 센서(100), 구체적으로 이벤트 속도 컨트롤러(130)에서 수행될 수 있다.
도 3 및 도 17을 참조하면, 비전 센서(100)는 관심 영역을 설정할 수 있다(S310). 비전 센서(100)는 센싱 환경, 예컨대 주변 환경에 대한 정보를 수신할 수 있다(S320). 예컨대, 도 16을 참조하여 설명한 바와 같이, 비전 센서(100)는 조도 센서로부터 주변의 주도 정보를 수신할 수 있다.
비전 센서(100)는 수신된 센싱 환경 정보를 기초로 센싱 환경이 기준 조건에 해당하는지를 판단할 수 있다(S330). 비전 센서(100)는 센싱 환경이 과도한 이벤트가 발생될 것으로 예상되는 상황인지를 판단할 수 있다. 예를 들어, 비전 센서(100)는 수신된 조도 정보가 기준 조도 이상을 나타낼 경우, 주변의 광량이 높아 과도한 이벤트가 발생될 것으로 예상할 수 있다.
비전 센서(100)는 센싱 환경이 기준 조건에 해당하지 않는다면, 예컨대 조도 정보가 기준 조도 미만을 나타낼 경우, 전체 영역에 대응하는 이벤트 신호들을 출력할 수 있다(S340). 비전 센서(100)는 센싱 환경이 기준 조건에 해당하면 관심 영역에 대응하는 이벤트 신호들을 출력할 수 있다(S350).
비전 센서(100)는 센싱 환경을 기초로 동작 모드를 설정할 수 있다. 예컨대비전 센서(100)는 센싱 환경이 기준 조건에 해당하지 않으면, 전체 영역에 대응하는 이벤트 신호들을 출력하는 제1 동작 모드로 동작하고, 센싱 환경이 기준 조건에 해당하면 전체 영역들 중 관심 영역에 해당하는 이벤트 신호들을 출력하는 제2 동작 모드로 동작할 수 있다.
도 18은 본 개시의 예시적 실시예에 따른 비전 센서의 동작 방법을 나타내는 흐름도이다. 도 18의 동작 방법은 도 3의 비전 센서(100), 구체적으로 이벤트 속도 컨트롤러(130)에서 수행될 수 있다.
도 3 및 도 18을 참조하면, 비전 센서(100)는 관심 영역을 설정할 수 있다(S410). 비전 센서(100)는 센싱 환경, 예컨대 주변 환경에 대한 정보를 수신할 수 있다(S420). 비전 센서(100)는 수신된 센싱 환경 정보를 기초로 센싱 환경이 기준 조건에 해당하는지를 판단할 수 있다(S430). 예컨대 기준 조건은 과도한 이벤트가 발생할 수 있는 조건이다. 비전 센서(100)는 센싱 환경이 기준 조건에 해당하지 않는다면, 전체 영역에 대응하는 이벤트 신호들을 출력할 수 있다(S440).
비전 센서(100)는 센싱 환경이 기준 조건에 해당하면 이벤트 신호 발생량을 측정할 수 있다(S450). 비전 센서(100)는 이벤트 신호 발생량을 기준값과 비교하고(S460), 이벤트 신호 발생량이 기준값 미만이면, 전체 영역에 대응하는 이벤트 신호들을 출력하고(S440), 이벤트 신호 발생량이 기준값 이상이면, 관심 영역에 대응하는 이벤트 신호들을 출력할 수 있다(S470).
이와 같이, 비전 센서(100)는 주변의 조도가 높거나 오브젝트의 휘도가 높은 경우와 같이, 이벤트 신호들이 과도하게 발생될 것으로 예상되면, 이벤트 신호 발생량을 측정하고, 기준값 이상의 이벤트 신호가 발생할 경우, 관심 영역에 대응하는 이벤트 신호들을 출력함으로써, 프로세서(도 1의 200)에 전송되는 이벤트 데이터량을 감소시킬 수 있다.
도 19는 본 개시의 예시적 실시예에 따른 비전 센서가 적용된 전자 기기를 예시적으로 보여주는 블록도이다.
도 19를 참조하면, 전자 기기(1000)는 비전 센서(1100), 메인 프로세서(1200), 워킹 메모리(1300), 스토리지(1400), 디스플레이 장치(1500), 통신부(1600) 및 유저 인터페이스 회로(1700)를 포함할 수 있다.
도 1 내지 도 18을 참조하여 설명한 비전 센서(100)가 비전 센서(1100)로서 적용될 수 있다. 비전 센서(1100)는 오브젝트를 센싱하여 이벤트 신호들을 생성하고, 생성된 이벤트 신호들을 메인 프로세서(1200)로 전송할 수 있다. 센싱 환경, 예컨대 오브젝트를 포함하는 주변 환경이 과도하게 이벤트 신호가 발생할 것으로 예상되는 조건에 해당하거나, 또는 측정된 이벤트 신호 발생량이 기준값 이상이면, 비전 센서(1100)는 생성된 이벤트 신호들 중 관심 영역에 해당하는 이벤트 신호들을 선별적으로 메인 프로세서(1200)로 전송할 수 있다. 이에 따라서, 전송되는 이벤트 신호들의 양, 즉 이벤트 데이터량이 감소되거나, 일정 수준 이하로 유지될 수 있다. 따라서, 이벤트 신호들의 전송과정에서의 데이터 손실이 방지될 수 있다.
또한, 이벤트 신호 발생량이 기준값 이상으로 판단되면, 이벤트 발생 조건 및/또는 검출 조건을 조정하여, 생성되는 이벤트 신호들의 양을 감소시킬 수 있다. 실시예에 있어서, 이벤트 발생 조건 및/또는 검출 조건은 관심 영역과 관심 영역 이외의 영역에서 상이하게 설정될 수 있으며, 또한 복수의 관심 영역에서 상이하게 설정될 수 있다.
메인 프로세서(1200)는 전자 기기(1000)의 전반적인 동작을 제어할 수 있으며, 비전 센서(1100)로부터 수신되는 이벤트 데이터, 즉 이벤트 신호들을 처리하여 오브젝트의 움직임을 검출할 수 있다.
워킹 메모리(1300)는 전자 기기(1000)의 동작에 이용되는 데이터를 저장할 수 있다. 예를 들어, 워킹 메모리는 (1300)는 프로세서(1120)에 의해 처리된 패킷들 또는 프레임들을 일시적으로 저장할 수 있다. 예를 들어, 워킹 메모리(1300)는 DRAM (Dynamic RAM), SDRAM (Synchronous RAM) 등과 같은 휘발성 메모리, 및/또는 PRAM (Phase-change RAM), MRAM (Magneto-resistive RAM), ReRAM (Resistive RAM), FRAM (Ferro-electric RAM) 등과 같은 불휘발성 메모리를 포함할 수 있다.
스토리지(1400)는 메인 프로세서(1200) 또는 다른 구성들로부터 저장이 요청된 데이터를 저장할 수 있다. 스토리지(1400)는 플래시 메모리, PRAM, MRAM, ReRAM, FRAM 등과 같은 불휘발성 메모리를 포함할 수 있다.
디스플레이 장치(1500)는 디스플레이 패널, 디스플레이 구동 회로, 및 DSI (display serial interface)를 포함할 수 있다. 예를 들어, 디스플레이 패널은 LCD (Liquid Crystal Display) 장치, LED (Light Emitting Diode) 표시 장치, OLED(Organic LED) 표시 장치, AMOLED (Active Matrix OLED) 표시 장치 등과 같은 다양한 장치로 구현될 수 있다. 디스플레이 구동 회로는 디스플레이 패널을 구동하는데 필요한 타이밍 컨트롤러, 소스 드라이버 등을 포함할 수 있다. 메인 프로세서(1200)에 내장된 DSI 호스트는 DSI를 통하여 디스플레이 패널과 시리얼 통신을 수행할 수 있다.
통신부(1600)는 안테나(1630)를 통해 외부 장치/시스템과 신호를 교환할 수 있다. 통신부(1600)의 송수신기(1610) 및 MODEM (Modulator/Demodulator, 1620)은 LTE (Long Term Evolution), WIMAX (Worldwide Interoperability for Microwave Access), GSM (Global System for Mobile communication), CDMA (Code Division Multiple Access), Bluetooth, NFC (Near Field Communication), Wi-Fi (Wireless Fidelity), RFID(Radio Frequency Identification) 등과 같은 무선 통신 규약에 따라, 외부 장치/시스템과 교환되는 신호를 처리할 수 있다.
유저 인터페이스 회로(1700)는 키보드, 마우스, 키패드, 버튼, 터치 패널, 터치 스크린, 터치 패드, 터치 볼, 자이로스코프 센서, 진동 센서, 가속 센서 등과 같은 입력 인터페이스들 중 적어도 하나를 포함할 수 있다.
전자 기기(1000)의 구성 요소들, 예를 들어 비전 센서(1100), 메인 프로세서(1200), 워킹 메모리(1300), 스토리지(1400), 디스플레이 장치(1500), 통신부(1600) 및 유저 인터페이스 회로(1700)는 USB (Universal Serial Bus), SCSI (Small Computer System Interface), MIPI, I2C, PCIe (Peripheral Component Interconnect Express), M-PCIe (Mobile PCIe), ATA (Advanced Technology Attachment), PATA (Parallel ATA), SATA (Serial ATA), SAS (Serial Attached SCSI), IDE (Integrated Drive Electronics), EIDE (Enhanced IDE), NVMe (Nonvolatile Memory Express), UFS (Universal Flash Storage) 등과 같은 다양한 인터페이스 규약 중 하나 이상에 의거하여 데이터를 교환할 수 있다.
이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10: 이미지 처리 장치 100, 100b: 비전센서
200: 프로세서 110: 픽셀 어레이
120: 이벤트 검출 회로 130, 130a, 130b: 이벤트 속도 컨트롤러
140: 인터페이스 회로

Claims (20)

  1. 매트릭스 형태로 배치되는 복수의 픽셀을 포함하고, 상기 복수의 픽셀 각각은 입사광의 세기 변화에 응답하여 하나 이상의 전기 신호를 발생하는 픽셀 어레이;
    상기 복수의 픽셀로부터 수신되는 전기 신호들을 처리하고, 상기 복수의 픽셀들 중 입사광의 세기 변화가 발생한 것으로 판단되는 픽셀들에 대응하는 이벤트 신호들을 생성하는 이벤트 검출 회로;
    상기 이벤트 신호들의 발생량에 따라 동작 모드를 설정하고, 설정된 동작 모드에 따라 상기 이벤트 신호들 전부 또는 상기 이벤트 신호들 중 상기 픽셀 어레이 상의 관심 영역에 해당하는 이벤트 신호들을 출력 이벤트 신호들로서 선택하는 이벤트 속도 컨트롤러; 및
    외부 프로세서와 통신하며, 상기 출력 이벤트 신호들을 상기 외부 프로세서로 전송하는 인터페이스 회로를 포함하고,
    상기 이벤트 속도 컨트롤러는,
    설정된 시간 동안 상기 이벤트 신호들을 카운팅함으로써 이벤트 신호 발생량을 측정하고, 상기 이벤트 신호 발생량이 기준값 미만이면 제1 동작 모드로 설정하고, 상기 이벤트 신호 발생량이 상기 기준값 이상이면 제2 동작 모드로 설정하며,
    상기 제1 동작 모드에서, 상기 픽셀 어레이 상의 전 영역에 해당하는 이벤트 신호들을 상기 출력 이벤트 신호들로서 선택하고,
    상기 제2 동작 모드에서, 상기 관심 영역에 해당하는 이벤트 신호들을 상기 출력 이벤트 신호들로서 선택하는 비전 센서.
  2. 삭제
  3. 삭제
  4. 제1 항에 있어서, 상기 이벤트 속도 컨트롤러는,
    상기 설정된 시간마다, 상기 이벤트 신호 발생량을 측정하고, 상기 이벤트 신호 발생량을 기초로 상기 동작 모드를 동적으로 설정하는 것을 특징으로 하는 비전 센서.
  5. 제4 항에 있어서, 상기 이벤트 속도 컨트롤러는,
    상기 설정된 시간 단위로 측정된 복수의 이벤트 신호 발생량 각각에 발생 시점에 따라 할당된 가중치를 적용하고, 가중치 적용된 값들을 평균하여 필터링된 이벤트 신호 발생량을 생성하고, 상기 필터링된 이벤트 신호 발생량을 기초로 상기 동작 모드를 설정하는 것을 특징으로 하는 비전 센서.
  6. 제1 항에 있어서, 상기 픽셀 어레이 상에 복수의 관심 영역이 설정되며,
    상기 이벤트 속도 컨트롤러는,
    상기 이벤트 신호 발생량이 상기 제1 기준값 이상, 제2 기준값 미만이면, 상기 제2 동작 모드로 설정하고, 상기 복수의 관심 영역에 해당하는 이벤트 신호들을 상기 출력 이벤트 신호들로 선택하고,
    상기 이벤트 신호 발생량이 상기 제2 기준값 이상이면, 제3 동작 모드로 설정하여, 상기 복수의 관심 영역 중 상대적으로 중요도가 높은 적어도 하나의 관심 영역에 해당하는 이벤트 신호들을 상기 출력 이벤트 신호들로 선택하는 것을 특징으로 하는 비전 센서.
  7. 제1 항에 있어서, 상기 이벤트 속도 컨트롤러는,
    상기 제2 동작 모드에서, 상기 관심 영역의 감광도(sensitivity)를 낮게 설정하는 것을 특징으로 하는 비전 센서.
  8. 제1 항에 있어서, 상기 이벤트 검출 회로는
    노이즈 제거 임계값(de-noise threshold)을 기초로 노이즈 이벤트를 검출 및 제거하며,
    상기 이벤트 속도 컨트롤러는 상기 제2 동작 모드에서 상기 이벤트 신호 발생량이 감소되도록 상기 노이즈 제거 임계값을 증가시키는 것을 특징으로 하는 비전 센서.
  9. 제1 항에 있어서, 상기 이벤트 속도 컨트롤러는,
    상기 픽셀 어레이를 구분하는 복수의 패치들 각각에 대하여 상기 이벤트 신호 발생량을 카운팅하고, 카운팅된 값의 변화가 임계값 이상인 패치를 상기 관심 영역으로 설정하는 것을 특징으로 하는 비전 센서.
  10. 제9 항에 있어서, 상기 이벤트 속도 컨트롤러는,
    제1 프레임 상에서 상기 관심 영역의 위치를 기초로 모션 추정을 수행하고, 모션 추정 결과를 기초로 제2 프레임 상에서의 상기 관심 영역의 위치의 이동을 판단하는 것을 특징으로 하는 비전 센서.
  11. 픽셀 어레이 포함되는 복수의 픽셀 중 오브젝트의 움직임에 기인하여 이벤트가 발생한 복수의 픽셀들에 대응하는 복수의 이벤트 신호들을 생성하고, 제1 동작 모드에서 상기 복수의 이벤트 신호들을 출력하고, 제2 동작 모드에서 상기 복수의 이벤트 신호들 중 상기 픽셀 어레이의 관심 영역에 해당하는 픽셀들에 대응하는 일부 이벤트 신호들을 출력하는 비전 센서; 및
    상기 비전 센서로부터 출력되는 상기 복수의 이벤트 신호들 또는 상기 일부 이벤트 신호들을 처리하여 상기 오브젝트의 움직임을 검출하는 프로세서를 포함하고,
    상기 비전 센서는,
    소정의 시간 동안 카운팅된 이벤트 신호 발생량이 기준값 미만이면 상기 제1 동작 모드로 동작하고, 상기 이벤트 신호 발생량이 상기 기준값 이상이면 상기 제2 동작 모드로 동작하는 이미지 처리 장치.
  12. 삭제
  13. 제 11 항에 있어서,
    상기 이미지 처리 장치는 조도 센서를 더 구비하고,
    상기 비전 센서는 상기 조도 센서로부터 수신되는 조도 정보가 기준 조도 이상이면, 상기 제1 동작 모드로 설정하고, 상기 조도 정보가 상기 기준 조도 미만이면, 상기 제2 동작 모드로 설정하는 것을 특징으로 하는 이미지 처리 장치.
  14. 제 11 항에 있어서,
    상기 비전 센서는, 상기 복수의 이벤트 신호들 또는 상기 일부 이벤트 신호들을 포함하는 복수의 프레임을 상기 프로세서로 전송하며,
    상기 제2 동작 모드에서, 상기 복수의 프레임이 전송되는 구간들 간의 블랭크 구간의 길이를 상기 제1 동작 모드에서의 상기 블랭크 구간의 길이보다 증가시키는 것을 특징으로 하는 이미지 처리 장치.
  15. 제 11 항에 있어서, 상기 비전 센서는,
    상기 제2 동작 모드에서, 복수의 관심 영역을 설정하고, 상기 복수의 관심 영역에 대하여 감광도 및 노이즈 제거 임계값을 상이하게 설정하는 것을 특징으로 하는 이미지 처리 장치.
  16. 각각이 수신되는 광량의 변화에 따라 이벤트 신호를 생성하는 복수의 픽셀들을 포함하는 픽셀 어레이 상에, 적어도 하나의 관심 영역을 설정하는 단계;
    설정된 제1 기간 동안 생성된 복수의 이벤트 신호들을 카운팅하여 이벤트 신호 발생량을 검출하는 단계;
    상기 이벤트 신호 발생량이 기준값 미만이면 제1 동작 모드로 동작하고 상기 이벤트 신호 발생량이 기준값 이상이면 제2 동작 모드로 동작하도록 동작 모드를 결정하는 단계; 및
    상기 동작 모드가 상기 제1 동작 모드이면, 상기 복수의 이벤트 신호 전부를 외부 프로세서로 전송하고, 상기 동작 모드가 상기 제2 동작 모드이면, 상기 복수의 이벤트 신호들 중 상기 적어도 하나의 관심 영역에 해당하는 이벤트 신호들을 상기 외부 프로세서로 전송하는 단계를 포함하는 비전 센서의 동작 방법.
  17. 삭제
  18. 제 16 항에 있어서,
    상기 제2 동작 모드일 때, 상기 적어도 하나의 관심 영역에 대하여 노이즈 이벤트를 판단하는 기준값을 증가시키는 단계; 및
    설정된 제2 기간 동안, 상기 픽셀 어레이로부터 수신된 이벤트 카운트량이 상기 노이즈 제거 기준값 미만이면, 상기 이벤트를 상기 노이즈 이벤트로 판단하고, 상기 노이즈 이벤트를 제거하는 것을 특징으로 하는 비전 센서의 동작 방법.
  19. 제 16 항에 있어서,
    상기 제2 동작 모드일 때, 상기 적어도 하나의 관심 영역에 해당하는 픽셀들의 감광도를 감소시키는 단계를 더 포함하는 비전 센서의 동작 방법.
  20. 제16 항에 있어서,
    상기 제2 동작 모드일 때, 상기 외부 프로세서로의 데이터 전송 속도를 감소시키는 것을 특징으로 하는 비전 센서의 동작 방법.
KR1020190076347A 2019-06-26 2019-06-26 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법 Active KR102747641B1 (ko)

Priority Applications (11)

Application Number Priority Date Filing Date Title
KR1020190076347A KR102747641B1 (ko) 2019-06-26 2019-06-26 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
DE102020107275.9A DE102020107275A1 (de) 2019-06-26 2020-03-17 Vision-Sensoren, Bildverarbeitungseinrichtungen, welche die Vision-Sensoren umfassen, und Verfahren zum Betreiben der Vision-Sensoren
US16/843,231 US11532143B2 (en) 2019-06-26 2020-04-08 Vision sensor, image processing device including the vision sensor, and operating method of the vision sensor
CN202310117246.6A CN116170702A (zh) 2019-06-26 2020-06-10 视觉传感器、图像处理设备以及视觉传感器的操作方法
CN202010526059.XA CN112153309B (zh) 2019-06-26 2020-06-10 视觉传感器、图像处理设备以及视觉传感器的操作方法
CN202411134639.9A CN118890555A (zh) 2019-06-26 2020-06-10 视觉传感器、图像处理设备以及视觉传感器的操作方法
US18/059,469 US11727662B2 (en) 2019-06-26 2022-11-29 Vision sensors, image processing devices including the vision sensors, and operating methods of the vision sensors
US18/341,968 US12002247B2 (en) 2019-06-26 2023-06-27 Vision sensors, image processing devices including the vision sensors, and operating methods of the vision sensors
US18/653,271 US12236653B2 (en) 2019-06-26 2024-05-02 Vision sensors, image processing devices including the vision sensors, and operating methods of the vision sensors
US19/030,665 US20250166334A1 (en) 2019-06-26 2025-01-17 Vision sensors, image processing devices including the vision sensors, and operating methods of the vision sensors
US19/030,674 US20250166335A1 (en) 2019-06-26 2025-01-17 Vision sensors, image processing devices including the vision sensors, and operating methods of the vision sensors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190076347A KR102747641B1 (ko) 2019-06-26 2019-06-26 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법

Publications (2)

Publication Number Publication Date
KR20210000985A KR20210000985A (ko) 2021-01-06
KR102747641B1 true KR102747641B1 (ko) 2024-12-27

Family

ID=73747681

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190076347A Active KR102747641B1 (ko) 2019-06-26 2019-06-26 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법

Country Status (4)

Country Link
US (6) US11532143B2 (ko)
KR (1) KR102747641B1 (ko)
CN (3) CN116170702A (ko)
DE (1) DE102020107275A1 (ko)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3993403B1 (en) * 2019-06-27 2024-09-25 Sony Interactive Entertainment Inc. Sensor control device, sensor control method, and program
CN114026844B (zh) * 2019-07-01 2024-10-18 索尼高级视觉传感股份公司 基于事件的视觉传感器的动态感兴趣区域（roi）
US11303811B2 (en) * 2019-11-05 2022-04-12 Fotonation Limited Event-sensor camera
US11270137B2 (en) * 2020-06-17 2022-03-08 Fotonation Limited Event detector and method of generating textural image based on event count decay factor and net polarity
US20230403467A1 (en) * 2020-11-20 2023-12-14 Nikon Corporation Image capture apparatus and image capture method
KR20220085619A (ko) * 2020-12-15 2022-06-22 삼성전자주식회사 비전 센서 및 이의 동작 방법
CN116724290B (zh) * 2021-01-14 2024-07-09 普罗菲西公司 用于操作基于事件的图像传感器的数字事件编码
DE102021100947B4 (de) * 2021-01-19 2022-07-28 Sick Ag Kameravorrichtung und Verfahren zur Erfassung eines Objekts
WO2022172733A1 (ja) * 2021-02-12 2022-08-18 ソニーグループ株式会社 医療用観察装置、観察装置、観察方法及びアダプタ
WO2022174881A1 (en) * 2021-02-16 2022-08-25 Huawei Technologies Co., Ltd. Event sensor illuminance variation compensation
WO2022188120A1 (en) * 2021-03-12 2022-09-15 Huawei Technologies Co., Ltd. Event-based vision sensor and method of event filtering
CN113012200B (zh) * 2021-03-23 2023-01-13 北京灵汐科技有限公司 一种运动物体的定位方法、装置、电子设备及存储介质
US20240107187A1 (en) * 2021-04-19 2024-03-28 Chengdu SynSense Technology Co., Ltd. Event-driven integrated circuit having interface system
CN113132656B (zh) * 2021-04-20 2022-01-28 豪威芯仑传感器(上海)有限公司 一种图像传感器及图像处理系统
KR20220156327A (ko) * 2021-05-18 2022-11-25 삼성전자주식회사 비전 센서 및 이의 동작 방법
BE1029563B1 (nl) * 2021-07-05 2023-02-06 Voxelsensors Srl Pixel array met dynamische laterale en temporele resolutie
CN113596359A (zh) * 2021-08-16 2021-11-02 合肥芯福传感器技术有限公司 基于事件检测的单光子成像设备及成像方法
CN113624345A (zh) * 2021-08-16 2021-11-09 合肥芯福传感器技术有限公司 基于事件检测的红外热成像设备及成像方法
CN113747090B (zh) * 2021-09-01 2022-09-30 豪威芯仑传感器(上海)有限公司 一种像素采集电路及图像传感器
BE1029775B9 (nl) * 2021-09-21 2023-10-09 Voxelsensors Srl Persistentiefiltering bij spd arrays
KR20240090196A (ko) * 2021-10-08 2024-06-21 소니 세미컨덕터 솔루션즈 가부시키가이샤 화상 센서, 데이터 처리 장치, 및 화상 센서 시스템
CN114095673B (zh) * 2021-11-09 2024-06-28 深圳锐视智芯科技有限公司 一种图像输出方法、装置及计算机可读存储介质
CN113923319B (zh) * 2021-12-14 2022-03-08 成都时识科技有限公司 降噪装置、方法、芯片、事件成像装置及电子设备
EP4454289A1 (en) * 2021-12-20 2024-10-30 Sony Semiconductor Solutions Corporation Sensor device and method for operating a sensor device
US11558542B1 (en) * 2022-01-03 2023-01-17 Omnivision Technologies, Inc. Event-assisted autofocus methods and apparatus implementing the same
CN114363619B (zh) * 2022-01-25 2025-07-04 深圳锐视智芯科技有限公司 一种数据编码方法、装置、设备及可读存储介质
US20230260282A1 (en) * 2022-02-15 2023-08-17 Sony Group Corporation Information processing devices, information processing methods and video streaming system
CN114827585B (zh) * 2022-03-28 2024-10-11 深圳锐视智芯科技有限公司 一种传感器校正方法、装置、设备及可读存储介质
US20250184630A1 (en) * 2022-03-29 2025-06-05 Sony Semiconductor Solutions Corporation Signal processing device, imaging device, and signal processing method
US20250220322A1 (en) * 2022-03-31 2025-07-03 Sony Group Corporation Sensor device and method for operating a sensor device
KR20250006891A (ko) * 2022-04-26 2025-01-13 소니그룹주식회사 데이터 생성 장치, 데이터 생성 방법, 프로그램, 해석 장치
CN115250349B (zh) * 2022-07-26 2024-12-13 深圳锐视智芯科技有限公司 一种传感器测试方法及相关装置
KR20240041671A (ko) * 2022-09-23 2024-04-01 삼성전자주식회사 비전 센서 및 이를 포함하는 이미지 처리 장치
KR20240102818A (ko) * 2022-12-26 2024-07-03 광운대학교 산학협력단 이벤트 프레임을 이용한 비디오 화면 간 예측 방법 및 장치
WO2024143567A1 (ko) * 2022-12-26 2024-07-04 광운대학교 산학협력단 이벤트 신호 누적 기반의 객체 검출 시스템에서의 누적 간격 조절 방법
JP2024130166A (ja) * 2023-03-14 2024-09-30 キヤノン株式会社 撮像装置および機器
WO2024209994A1 (ja) * 2023-04-07 2024-10-10 ソニーセミコンダクタソリューションズ株式会社 画像センサ、データ処理装置、および画像センサシステム
EP4462802A1 (en) * 2023-05-11 2024-11-13 Prophesee Monitoring an event queue in an event-based vision sensor to account for event bursts
EP4472226A1 (en) * 2024-06-07 2024-12-04 Ikerlan, S. Coop An event filter for an event based imaging sensor, a method of event filtering and a computer program

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06195441A (ja) 1992-12-22 1994-07-15 Fanuc Ltd 視覚センサの画像データの保存方法及び転送方法
EP2404261A1 (en) * 2009-03-06 2012-01-11 Koninklijke Philips Electronics N.V. Method of controlling a function of a device and system for detecting the presence of a living being
US20140022158A1 (en) * 2012-07-18 2014-01-23 Samsung Electronics Co., Ltd. Apparatus and method for controlling operation mode of device using gesture recognition
ES2476115B1 (es) * 2012-12-11 2015-04-20 Consejo Superior De Investigaciones Científicas (Csic) Metodo y dispositivo para la deteccion de la variacion temporal de la intensidad luminosa en una matriz de fotosensores
IL224896A (en) * 2013-02-25 2017-09-28 Agent Video Intelligence Ltd Method for extracting objects
JP6141084B2 (ja) * 2013-04-19 2017-06-07 キヤノン株式会社 撮像装置
US9078013B2 (en) * 2013-06-28 2015-07-07 Verizon Patent And Licensing Inc. Content verification using luminance mapping
US9628732B2 (en) * 2013-08-23 2017-04-18 Semiconductor Components Industries, Llc Imaging systems and methods for performing column-based image sensor pixel gain adjustments
CN105519089A (zh) * 2013-09-06 2016-04-20 夏普株式会社 图像处理装置
KR101530851B1 (ko) 2013-11-06 2015-06-23 재단법인 다차원 스마트 아이티 융합시스템 연구단 차량용 블랙박스 카메라의 감시방법 및 이를 구현한 차량용 블랙박스 카메라
KR102136055B1 (ko) * 2014-01-08 2020-07-21 삼성전자 주식회사 오픈-루프 증폭기를 포함하는 비전 센서 칩, 이의 동작 방법, 및 이를 포함하는 데이터 처리 시스템
JP6348758B2 (ja) * 2014-04-15 2018-06-27 本田技研工業株式会社 画像処理装置
US9471969B2 (en) * 2014-06-23 2016-10-18 Exxonmobil Upstream Research Company Methods for differential image quality enhancement for a multiple detector system, systems and use thereof
CN104301624B (zh) * 2014-10-30 2018-04-03 青岛海信移动通信技术股份有限公司 一种图像拍摄亮度控制方法及装置
KR20160109586A (ko) * 2015-03-12 2016-09-21 삼성전자주식회사 이미지 처리 시스템, 및 이를 포함하는 모바일 컴퓨팅 장치
KR102402678B1 (ko) * 2015-03-18 2022-05-26 삼성전자주식회사 이벤트 기반 센서 및 프로세서의 동작 방법
US10055655B2 (en) * 2015-04-08 2018-08-21 Nissan Motor Co., Ltd. Traffic light detection device and traffic light detection method
KR102433931B1 (ko) * 2015-07-30 2022-08-19 삼성전자주식회사 움직임 인식 방법 및 움직임 인식 장치
KR102523136B1 (ko) * 2015-09-01 2023-04-19 삼성전자주식회사 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀
US10855971B2 (en) * 2015-09-16 2020-12-01 HashD, Inc. Systems and methods of creating a three-dimensional virtual image
US10198660B2 (en) * 2016-01-27 2019-02-05 Samsung Electronics Co. Ltd. Method and apparatus for event sampling of dynamic vision sensor on image formation
CN108697314B (zh) * 2016-01-28 2021-04-06 基文影像公司 控制体内装置中的图像捕获和传输速率的方法及系统
US9934557B2 (en) 2016-03-22 2018-04-03 Samsung Electronics Co., Ltd Method and apparatus of image representation and processing for dynamic vision sensor
KR102470223B1 (ko) * 2016-04-27 2022-11-23 주식회사 디비하이텍 이미지 센서 및 이미지 센서의 센싱 방법
KR102662029B1 (ko) * 2016-08-01 2024-05-03 삼성전자주식회사 이벤트 신호 처리 방법 및 그 방법을 수행하는 이벤트 기반 센서
KR102720734B1 (ko) * 2016-08-02 2024-10-22 삼성전자주식회사 이벤트 신호 처리 방법 및 장치
KR20180056962A (ko) * 2016-11-21 2018-05-30 삼성전자주식회사 전원 제어 회로를 포함하는 이벤트 기반 센서
KR102612194B1 (ko) * 2016-12-14 2023-12-11 삼성전자주식회사 이벤트 기반 센서 및 이벤트 기반 센싱 방법
EP3563564B1 (en) 2016-12-30 2021-12-15 Sony Advanced Visual Sensing AG Dynamic vision sensor architecture
US10855927B2 (en) * 2017-03-08 2020-12-01 Samsung Electronics Co., Ltd. Event detecting device including an event signal generator and an output signal generator
CN108574793B (zh) 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
KR102282140B1 (ko) * 2017-03-08 2021-07-28 삼성전자주식회사 픽셀, 픽셀 구동 회로 및 이를 포함하는 비전 센서
US10395124B2 (en) * 2017-03-31 2019-08-27 Osram Sylvania Inc. Thermal image occupant detection
JP6970743B2 (ja) * 2017-04-12 2021-11-24 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
US10582196B2 (en) 2017-06-30 2020-03-03 Intel Corporation Generating heat maps using dynamic vision sensor events
US10447920B2 (en) * 2017-07-05 2019-10-15 Intel Corporation Micro-saccadic actuation for an event camera
EP3451288A1 (en) * 2017-09-04 2019-03-06 Universität Zürich Visual-inertial odometry with an event camera
EP3714350B1 (en) * 2017-09-28 2023-11-01 Apple Inc. Method and device for eye tracking using event camera data
KR102607759B1 (ko) * 2017-12-11 2023-11-29 프로페시 이벤트 기반 이미지 센서 및 그 작동 방법
JP7062430B2 (ja) * 2017-12-15 2022-05-06 キヤノン株式会社 撮像素子、撮像装置および画像処理方法
CN108827461B (zh) * 2018-04-25 2019-05-03 上海芯仑光电科技有限公司 像素采集电路及光流传感器
CN108961318B (zh) * 2018-05-04 2020-05-15 上海芯仑光电科技有限公司 一种数据处理方法及计算设备
US11297252B2 (en) * 2018-05-23 2022-04-05 Sony Corporation Signal processing apparatus and signal processing method, and imaging device
JP7280874B2 (ja) * 2018-06-01 2023-05-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
CN112740275B (zh) * 2018-09-28 2025-02-18 索尼半导体解决方案公司 数据处理装置、数据处理方法和程序
CN110971792B (zh) * 2018-09-29 2021-08-13 华为技术有限公司 一种动态视觉传感器
IL262372B (en) * 2018-10-14 2020-05-31 Semi Conductor Devices An Elbit Systems Rafael Partnership A pixel readout circuit and a method for imaging
JP2022028982A (ja) * 2018-12-05 2022-02-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、信号処理チップ、および、電子機器
GB201900034D0 (en) * 2019-01-02 2019-02-13 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
WO2020148868A1 (ja) * 2019-01-17 2020-07-23 三菱電機株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US10805579B2 (en) * 2019-01-30 2020-10-13 Primesensor Technology Inc. Motion detection methods and motion sensors capable of more accurately detecting true motion event
WO2020158583A1 (ja) * 2019-01-31 2020-08-06 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び撮像装置
KR102646902B1 (ko) * 2019-02-12 2024-03-12 삼성전자주식회사 거리 측정을 위한 이미지 센서
CN113544544B (zh) * 2019-03-01 2024-06-14 凸版控股株式会社 距离图像拍摄装置以及由距离图像拍摄装置实施的距离图像拍摄方法
EP3993403B1 (en) * 2019-06-27 2024-09-25 Sony Interactive Entertainment Inc. Sensor control device, sensor control method, and program
JP2021048456A (ja) * 2019-09-17 2021-03-25 株式会社東芝 画像処理装置

Also Published As

Publication number Publication date
CN118890555A (zh) 2024-11-01
KR20210000985A (ko) 2021-01-06
US20230085974A1 (en) 2023-03-23
US11727662B2 (en) 2023-08-15
US20230334811A1 (en) 2023-10-19
US20240282070A1 (en) 2024-08-22
US20200410272A1 (en) 2020-12-31
DE102020107275A1 (de) 2020-12-31
CN116170702A (zh) 2023-05-26
US20250166335A1 (en) 2025-05-22
CN112153309A (zh) 2020-12-29
US11532143B2 (en) 2022-12-20
US12002247B2 (en) 2024-06-04
CN112153309B (zh) 2024-09-10
US12236653B2 (en) 2025-02-25
US20250166334A1 (en) 2025-05-22

Similar Documents

Publication Publication Date Title
KR102747641B1 (ko) 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
US20230156368A1 (en) Image processing device configured to regenerate timestamp and electronic device including the same
US12058454B2 (en) Vision sensor, image processing device including the same, and operating method of the vision sensor
US11405567B2 (en) Dynamic vision sensors configured to calibrate event signals using optical black region and methods of operating the same
US11700438B2 (en) Vision sensor and operating method thereof
EP4093021A1 (en) Vision sensor and operating method thereof
US11765486B2 (en) Vision sensor and image processing device including the same
US11950003B2 (en) Vision sensor and operating method of the same
US12262126B2 (en) Vision sensor and image processing device including the same
US20240312026A1 (en) Vision sensor, operating method of vision sensor, and image processing device including the vision sensor
US20240273901A1 (en) Vision sensor, event signal processing method thereof, and image processing device including the same
KR20240126282A (ko) 비전 센서, 이의 이벤트 신호 처리 방법 및 이를 포함하는 이미지 처리 장치
KR20240139495A (ko) 비전 센서, 상기 비전 센서의 동작 방법 및 상기 비전 센서를 포함하는 이미지 처리 장치
KR20240111221A (ko) 비전 센서 및 이를 포함하는 이미지 처리 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20190626

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20220624

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20190626

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240117

Patent event code: PE09021S01D

PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240926

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20241223

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20241224

End annual number: 3

Start annual number: 1

PG1601 Publication of registration