KR102739422B1

KR102739422B1 - 다이내믹 비젼 센서의 이벤트 보정 방법 및 이를 수행하는 이미지 센서 장치

Info

Publication number: KR102739422B1
Application number: KR1020190081962A
Authority: KR
Inventors: 서종석; 김준석
Original assignee: 삼성전자주식회사
Priority date: 2019-07-08
Filing date: 2019-07-08
Publication date: 2024-12-06
Anticipated expiration: 2039-07-08
Also published as: CN112203026A; KR20210006106A; US11323638B2; US20210014435A1; CN112203026B

Abstract

DVS 이벤트 보정 방법은, 복수의 동적 비젼 센서(DVS, dynamic vision sensor) 픽셀들을 이용하여 이미지에 포함된 대상(object)의 모션(motion) 정보를 나타내는 이벤트들을 포함하는 이벤트 데이터를 발생하는 단계, 복수의 이미지 픽셀들을 이용하여 상기 이미지를 촬상한 이미지 데이터를 발생하는 단계, 상기 이미지 데이터에 기초하여 상기 이미지의 에지(edge) 정보를 나타내는 에지 데이터를 발생하는 단계 및 상기 에지 데이터에 기초하여 상기 이벤트 데이터의 누락 이벤트를 발생하는 단계를 포함한다. 이미지 데이터의 에지 정보를 이용하여 다이내믹 비젼 센서에서 제공되는 이벤트 데이터의 누락 이벤트를 보충함으로써 이벤트 데이터의 정확도를 향상시킬 수 있고 이벤트 데이터에 기초하여 동작하는 머신 비젼 장치 및 시스템의 성능을 향상시킬 수 있다.

Description

다이내믹 비젼 센서의 이벤트 보정 방법 및 이를 수행하는 이미지 센서 장치{Method of correcting events of dynamic vision sensor and image sensor performing the same}

본 발명은 반도체 집적 회로에 관한 것으로서, 더욱 상세하게는 다이내믹 비젼 센서(DVS, dynamic vision sensor)의 이벤트 보정 방법 및 이를 수행하는 이미지 센서에 관한 것이다.

프레임 기반의 이미지 센서는 대상 인식과 같은 머신 비젼 작업들(machine vision tasks)에는 적합하지만, 모션 추적, 모션 평가와 같은 작업들에 대해서는 중복되고 불필요한 많은 양의 데이터를 발생한다는 결점을 가진다. 이러한 결점은 프레임들이라고 하는 스틸 이미지들의 시퀀스로서 동영상이 제공된다는 사실에 연유한다.

프레임 기반의 이미지 센서의 한계를 극복하기 위해 다이내믹 비젼 센서(DVS, dynamic vision sensor)가 이용되고 있다. 다이내믹 비젼 센서는 스틸 이미지를 캡쳐하는 대신에 픽셀 내에서 비쥬얼 정보를 선처리(pre-processing)하여 데이터의 양을 감소한다. 다이내믹 비젼 센서는 픽셀에서의 광도(light intensity)의 증가(온 이벤트) 또는 감소(off event)를 나타내는 이벤트들을 포함하는 이벤트 데이터를 제공한다. 다아내믹 비젼 센서는 이미징 평면 상의 이벤트의 수평 좌표, 수직 좌표, 극성 및 타임 스탬프를 포함하는 일련의 이벤트들을 제공한다. 다이내믹 비젼 센서가 제공하는 이벤트 데이터에서 일부 이벤트가 누락되는 경우, SLAM(Simultaneous Localization And Map-Building, Simultaneous Localization and Mapping)과 같은 머신 비젼에서 필요한 특징 검출(feature detection)시에 잘못된 특징을 검출하게 되어 오동작을 유발한다.

상기와 같은 문제점을 해결하기 위한 본 발명의 일 목적은, 다이내믹 비젼 센서에서 제공되는 이벤트 데이터의 정확도를 향상시킬 수 있는 DVS 이벤트 보정 방법을 제공하는 것이다.

또한 본 발명의 일 목적은, 상기 DVS 이벤트 보정 방법을 수행하는 이미지 센서를 제공하는 것이다.

상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 DVS 이벤트 보정 방법은, 복수의 동적 비젼 센서(DVS, dynamic vision sensor) 픽셀들을 이용하여 이미지에 포함된 대상(object)의 모션(motion) 정보를 나타내는 이벤트들을 포함하는 이벤트 데이터를 발생하는 단계, 복수의 이미지 픽셀들을 이용하여 상기 이미지를 촬상한 이미지 데이터를 발생하는 단계, 상기 이미지 데이터에 기초하여 상기 이미지의 에지(edge) 정보를 나타내는 에지 데이터를 발생하는 단계 및 상기 에지 데이터에 기초하여 상기 이벤트 데이터의 누락 이벤트를 발생하는 단계를 포함한다.

상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 이미지 센서는 복수의 DVS 픽셀들, 복수의 이미지 픽셀들 및 DVS 이벤트 보정 회로를 포함한다.

상기 복수의 DVS 픽셀들은 이미지에 포함된 대상의 모션 정보를 나타내는 이벤트들을 포함하는 이벤트 데이터를 발생한다. 상기 복수의 이미지 픽셀들을 상기 이미지를 촬상한 이미지 데이터를 발생한다.

상기 DVS 이벤트 보정 회로는 상기 이미지 데이터에 기초하여 상기 이미지의 에지(edge) 정보를 나타내는 에지 데이터를 발생하고, 상기 에지 데이터에 기초하여 상기 이벤트 데이터의 누락 이벤트를 발생한다.

상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 DVS 이벤트 보정 방법은, 복수의 동적 비젼 센서(DVS, dynamic vision sensor) 픽셀들을 이용하여 이미지에 포함된 대상(object)의 모션(motion) 정보를 나타내는 이벤트들을 포함하는 이벤트 데이터를 발생하는 단계, 복수의 이미지 픽셀들을 이용하여 상기 이미지를 촬상한 이미지 데이터를 발생하는 단계, 상기 이미지 데이터에 기초하여 상기 이미지의 에지(edge) 정보를 나타내고 상기 이벤트 데이터와 픽셀 단위로 일대일 대응되는 에지 데이터를 발생하는 단계, 상기 복수의 DVS 픽셀들 중 타겟 픽셀 및 상기 타겟 픽셀의 주변 픽셀들에 대하여, 상기 이미지 데이터 및 상기 이벤트 데이터를 픽셀 단위로 곱한 값들을 일 방향으로 합산한 라인 합산 값을 계산하는 단계, 상기 라인 합산 값을 기준 값과 비교하는 단계 및 상기 비교 결과에 기초하여 상기 이벤트 데이터의 누락 이벤트를 발생하는 단계를 포함한다.

본 발명의 실시예들에 따른 DVS 이벤트 보정 방법 및 이미지 센서는 이미지 데이터의 에지 정보를 이용하여 다이내믹 비젼 센서에서 제공되는 이벤트 데이터의 누락 이벤트를 보충함으로써 이벤트 데이터의 정확도를 향상시킬 수 있고 이벤트 데이터에 기초하여 동작하는 머신 비젼 장치 및 시스템의 성능을 향상시킬 수 있다.

도 1은 본 발명의 실시예들에 따른 DVS 이벤트 보정 방법을 나타내는 순서도이다.
도 2는 본 발명의 실시예들에 따른 이미지 처리 시스템을 나타내는 블록도이다.
도 3은 본 발명의 실시예들에 따른 이미지 센서를 나타내는 블록도이다.
도 4는 본 발명의 실시예들에 따른 DVS 이벤트 보정 회로를 나타내는 블록도이다.
도 5는 도 4의 DVS 이벤트 보정 회로에 포함되는 휘도 변환부의 동작을 설명하기 위한 도면이다.
도 6a 및 6b는 도 4의 DVS 이벤트 보정 회로에 포함되는 필터의 동작을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예들에 따른 누락 이벤트의 발생 방법을 나타내는 순서도이다.
도 8은 도 7의 누락 이벤트의 발생 방법의 일 실시예를 설명하기 위한 도면이다.
도 9는 본 발명의 실시예들에 따른 이미지 센서에 포함되는 픽셀 어레이를 나타내는 도면이다.
도 10a 내지 10d는 픽셀 어레이에 포함되는 이미지 픽셀의 실시예들을 나타내는 회로도들이다.
도 11은 픽셀 어레이에 포함되는 DVS 픽셀의 일 실시예를 나타내는 도면이다.
도 12는 도 11에 도시된 DVS 픽셀의 동작을 나타내는 도면이다.
도 13은 본 발명의 실시예들에 따른 이미지 센서에 포함되는 픽셀 어레이의 레이아웃의 일 실시예를 나타내는 도면이다.
도 14는 도 13의 레이아웃에 적용될 수 있는 스택 구조를 갖는 픽셀 어레이를 나타내는 도면이다.
도 15는 도 14의 스택 구조를 갖는 픽셀 어레이에서 구현되는 픽셀들의 일 실시예를 나타내는 도면이다.
도 16은 도 15의 스택 구조를 갖는 픽셀 어레이에서 구현되는 DVS 픽셀의 일 실시예를 나타내는 도면이다.
도 17은 도 14의 스택 구조를 갖는 픽셀 어레이에 포함되는 이미지 픽셀들의 일 실시예를 나타내는 도면이다.
도 18은 도 14의 스택 구조를 갖는 픽셀 어레이의 일 실시예를 나타내는 도면이다.
도 19은 본 발명의 실시예들에 따른 이미지 센서를 나타내는 블록도이다.
도 20 및 21은 본 발명의 실시예들에 따른 이미지 센서에 포함되는 픽셀 어레이의 레이아웃의 일 실시예를 나타내는 도면들이다.
도 22는 본 발명의 실시예들에 따른 이미지 센서에 포함되는 DVS 이벤트 보정 장치의 일 실시예를 나타내는 블록도이다.
도 23은 도 22의 DVS 이벤트 보정 장치에 포함되는 동기화부의 동작을 설명하기 위한 도면이다.
도 24는 본 발명의 실시예들에 따른 이미지 센서에 포함되는 DVS 이벤트 보정 장치의 일 실시예를 나타내는 블록도이다.
도 25 및 26은 도 24의 DVS 이벤트 보정 장치에 포함되는 모드 콘트롤러의 동작을 설명하기 위한 도면이다.
도 27은 본 발명의 일 실시예에 따른 이미지 센서를 포함하는 컴퓨팅 시스템을 나타내는 블록도이다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 실시예들에 따른 DVS 이벤트 보정 방법을 나타내는 순서도이다.

도 1을 참조하면, 복수의 동적 비젼 센서(DVS, dynamic vision sensor) 픽셀들을 이용하여 이미지에 포함된 대상(object)의 모션(motion) 정보를 나타내는 이벤트들을 포함하는 이벤트 데이터를 발생한다(S100). DVS 픽셀들을 이용한 이벤트 데이터의 발생에 대해서는 도 11 및 12를 참조하여 후술한다.

복수의 이미지 픽셀들을 이용하여 상기 이미지를 촬상한 이미지 데이터를 발생한다(S200). 일 실시예에서, 서로 다른 컬러들에 해당하는 컬러 픽셀들을 포함하는 상기 복수의 이미지 픽셀들을 이용하여 컬러 픽셀 값들을 포함하는 상기 이미지 데이터를 발생할 수 있다. 이미지 픽셀들을 이용한 이미지 데이터의 발생에 대해서는 도 10a 내지 10d를 참조하여 후술한다.

상기 이미지 데이터에 기초하여 상기 이미지의 에지(edge) 정보를 나타내는 에지 데이터를 발생한다(S300). 상기 에지 데이터에 기초하여 상기 이벤트 데이터의 누락 이벤트를 발생한다(S400).

상기 에지 데이터 및 상기 이벤트 데이터는 픽셀 단위로 일대일 대응될 수 있다. 상기 일대일 대응을 위해 상기 에지 데이터와 상기 이벤트 사이의 해상도 변환, 시간적 동기화 및/또는 공간적인 동기화를 위한 처리가 수행될 수 있다.

상기 에지 데이터 및 상기 이벤트 데이터는 픽셀 단위로 일대일 대응하는 경우, 도 7 및 8을 참조하여 후술하는 바와 같이, 픽셀 단위의 곱셈 값들을 합산한 라인 합산 값에 기초하여 누락 이벤트의 발생 여부를 결정할 수 있다.

이와 같이, 본 발명의 실시예들에 따른 DVS 이벤트 보정 방법은 이미지 데이터의 에지 정보를 이용하여 다이내믹 비젼 센서에서 제공되는 이벤트 데이터의 누락 이벤트를 보충함으로써 이벤트 데이터의 정확도를 향상시킬 수 있고 이벤트 데이터에 기초하여 동작하는 머신 비젼 장치 및 시스템의 성능을 향상시킬 수 있다.

도 2는 본 발명의 실시예들에 따른 이미지 처리 시스템을 나타내는 블록도이다.

도 2를 참조하면, 이미지 처리 시스템(image processing system)(10)은 이미지 센서(SEN)(100), 이미지 신호 프로세서(ISP)(200), 프로세서(CPU)(3000) 및 주변 회로(PERI)(400)를 포함할 수 있다. 이미지 처리 시스템(10)은 시스템 온 칩(System on Chip; SoC)의 형태로 구현될 수 있다.

이미지 센서(100)는 복수의 이미지 픽셀들(C)을 이용하여 이미지를 촬상한 이미지 데이터(image data)를 발생하는 일반적인 이미지 센서의 기능과 복수의 DVS 픽셀들(M)을 이용하여 상기 이미지에 포함된 대상(object)의 모션(motion) 정보를 나타내는 이벤트들을 포함하는 이벤트 데이터를 발생하는 다이내믹 비젼 센서의 기능을 함께 가질 수 있다.

일 실시예에서, 상기 다이내믹 비젼 센서는 DVS 픽셀(M)의 내부에 신호 저장 소자(예컨대, 커패시터)를 구비할 수 있다. 상기 다이내믹 비젼 센서는 상기 신호 저장 소자의 전압의 변화를 검출하여 상기 이벤트들을 포함하는 이벤트 데이터를 발생할 수 있다.

일 실시예에서, 이미지 픽셀들(C)은 서로 다른 컬러들에 상응하는 컬러 픽셀들에 해당하고, 상기 이미지 데이터는 컬러 이미지 데이터일 수 있다.

이미지 센서(100)는 복수의 이미지 픽셀들(C)로부터 출력되는 컬러 이미지 데이터(color image data) 및/또는 복수의 DVS 픽셀들(M)로부터 출력되는 이벤트 데이터를 포함하는 디지털 형태의 센싱 데이터(SNDT)를 이미지 신호 프로세서(200)로 전송할 수 있다.

이미지 센서(100)의 전반적인 동작은 프로세서(300)로부터 수신되는 제어 신호(CTRL)에 기초하여 제어될 수 있다. 프로세서(300)는 중앙 처리 장치(Central processing unit)와 같은 범용 프로세서일 수 있다.

실시예에 따라서, 이미지 센서(100)는 적어도 하나 이상의 깊이 센서 픽셀(미도시)을 포함하여, 컬러 이미지 데이터와 함께 깊이 이미지 데이터를 출력할 수도 있다.

이미지 센서(100)는 다른 구성 요소들과 구별되는 별개의 칩으로 구현될 수 있다. 이미지 센서(100)는 CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서로 구현될 수 있다.

이미지 센서(100)는 본 발명의 실시예들에 따른 DVS 이벤트 보정 회로(DVSEC)(500)를 포함할 수 있다. DVS 이벤트 보정 회로(500)는 이미지 데이터에 기초하여 이미지의 에지(edge) 정보를 나타내는 에지 데이터를 발생하고, 상기 에지 데이터에 기초하여 이벤트 데이터의 누락 이벤트를 발생할 수 있다. DVS 이벤트 보정 회로(500)는 이벤트 데이터에 포함되는 이벤트들과 발생된 누락 이벤트들을 병합하여 보정된 이벤트 데이터를 발생할 수 있다.

이미지 신호 프로세서(200)는 이미지 데이터 및/또는 보정된 이벤트 데이터를 포함하는 센싱 데이터(SNDT)를 수신하고, 수신된 센싱 데이터(SNDT)를 처리하여 처리된 데이터(PCDT)를 발생할 수 있다. 예컨대, 이미지 신호 프로세서(200)는 센싱 데이터(SNDT)를 프레임 단위로 구성할 수 있다. 이미지 신호 프로세서(200)는 센싱 데이터(SNDT) 및/또는 처리된 데이터(PCDT)를 프레임 단위로 저장하는 프레임 메모리를 포함할 수 있다. 또한, 이미지 신호 프로 세서(200)는 센싱 데이터(SNDT)의 명암, 대비, 채도 등을 보정할 수 있다.

도 2에는 이미지 신호 프로세서(200)는 이미지 센서(100) 외부에 구현되는 것으로 도시하였으나, 본 발명의 범위는 이에 한정되지 않는다. 예컨대, 상기 이미지 신호 프로세서(200)는 이미지 센서(100) 내부에 구현될 수도 있다.

프로세서(300)는 이미지 신호 프로세서(200)로부터 처리된 데이터(PCDT)를 수신하고, 처리된 데이터(PCDT)를 미리 저장된 이미지 코드 또는 모션 코드와 비교하여 다양한 기능을 수행할 수 있다. 예를 들어, 상기 이미지 코드는 사람의 지문, 얼굴 등의 특정 2차원 이미지, 깊이 정보를 포함한 3차원 이미지를 나타낼 수 있고, 상기 모션 코드는 손의 제스쳐(gesture) 등과 같은 대상의 연속적인 동작을 나타낼 수 있다.

일 실시예에서, 프로세서(300)는 처리된 데이터(PCDT)에 기초하여 머신 비젼 기능을 수행할 수 있다. 예를 들어, 상기 모션 코드가 사람의 손가락이 동그라미를 그리는 형태의 모션 이미지일 수 있다. 이 경우, 프로세서(300)는 상기 처리된 데이터(PCDT)가 사람의 손가락이 동그라미를 그리는 형태의 모션 이미지에 해당하는지 판단하여, 판단 결과에 따라 정해진 머신 비젼 기능을 수행할 수 있다. 프로세서(300)는 처리된 데이터(PCDT)와 모션 코드의 일치 여부에 기초하여 이미지 처리 시스템(10)에 연결된 다른 시스템, 예컨대 전원 시스템, 음향 시스템, 특정 어플리케이션 등을 활성화시킬 수 있다.

주변 회로(400)는 시스템 상태 또는 각종 입력에 따라 발생된 신호(또는 데이터)를 프로세서(300)로 제공할 수 있다. 실시예에 따라서 주변 회로(400)는 입출력 인터페이스(I/O interface)로 구현될 수 있다. 이 경우 입출력 인터페이스로 구현된 주변 회로(220)는 유저의 입력에 따라 발생된 신호를 프로세서(300)로 전달할 수 있다. 상기 입출력 인터페이스는 외부 입력 버튼, 터치 스크린 또는 마우스 등의 모든 입출력 장치에 해당할 수 있다.

주변 회로(400)는 디스플레이 장치를 포함하거나, 외부의 디스플레이 장치와의 연결을 위한 디스플레이 인터페이스를 포함할 수 있다. 상기 디스플레이 장치는 영상을 출력할 수 있는 임의의 장치일 수 있으며, 처리된 데이터(PCDT)를 디스플레이할 수 있다.

도 3은 본 발명의 실시예들에 따른 이미지 센서를 나타내는 블록도이다.

도 3을 참조하면, 도 2에 도시된 이미지 센서(100)는 픽셀 어레이(pixel array)(110), 컨트롤 로직(CLOG)(120), 로우 드라이버(RDEC)(130), 픽셀 신호 처리 회로(pixel signal processing circuit)(150) 및 DVS 이벤트 보정 회로(DVSEC)(500)를 포함할 수 있다.

픽셀 어레이(110)는 각각이 대상의 컬러 이미지 데이터(color image data)를 얻기 위한 복수의 컬러 센서 픽셀들(C)과 각각이 상기 대상의 동작을 감지할 수 있는 복수의 DVS 픽셀들(M)을 포함한다.

일 실시예에서, 픽셀 어레이(110)는 특정한 파장의 빛을 통과시키기 위한 복수의 컬러 필터 층으로 구성된 컬러 필터 어레이(color filter array; 미도시)를 더 포함할 수 있다.

다른 실시예에서, 픽셀 어레이(110)는 대상의 깊이 정보(depth information)를 얻기 위한 깊이 센서 픽셀(depth senor pixel; 미도시)들을 더 포함할 수 있다. 깊이 센서 픽셀(미도시)의 픽셀 신호가 TOF(time-of-flight) 방식으로 처리되는 경우, 이미지 센서(100A)는 제어 로직(120)에 의해 제어되는 적외선 광원(미도시)과 상기 적외선 광원으로부터 출력되어 대상에 반사된 반사광 외의 빛을 필터링하기 위한 적외선 통과 필터(미도시)를 더 포함할 수 있다.

제어 로직(120)은 도 2의 프로세서(300)로부터 제공되는 제어 신호(CTRL)에 기초하여, 이미지 센서(100)의 전반적인 동작을 제어할 수 있다. 제어 로직(120)은 로우 드라이버(130) 및 픽셀 신호 처리 회로(150) 각각을 제어할 수 있다.

로우 드라이버(130)는 제어 로직(120)의 제어에 따라 복수의 컬러 센서 픽셀들(C)을 로우(row) 단위로 활성화시킬 수 있다.

픽셀 신호 처리 회로(150)는 픽셀 어레이(110)로부터 출력된 픽셀 신호를 처리하여 센싱 데이터(SNDT)를 출력할 수 있다. 센싱 데이터(SNDT)는 이미지 데이터(MDT) 및/또는 이벤트 데이터(EVDT)를 포함할 수 있다.

픽셀 신호 처리 회로(150)는 리드아웃 회로(ROC)(154), 컬럼 AER(address event representation)(AER_C)(156) 및 로우 AER(AER_R) (158)를 포함할 수 있다.

픽셀 어레이(110)에 포함된 복수의 DVS 픽셀들(M) 각각은 광량의 변화에 따라 이벤트 신호를 출력할 수 있다. 상기 이벤트 신호에 대해서는 도 11 및 12를 참조하여 후술한다. 이 경우, 컬럼 AER(156)은 상기 이벤트 신호를 수신하고 수신된 이벤트 신호에 기초하여 상기 이벤트 신호가 발생 된 DVS 픽셀의 컬럼 어드레스 값을 출력할 수 있다.

리드아웃 회로(154)는 픽셀 어레이(110)에 포함된 복수의 컬러 픽셀들(C) 각각으로부터 출력된 픽셀 신호를 수신하고, 수신된 픽셀 신호를 처리하여 이미지 데이터(IMDT)를 발생할 수 있다. 실시 예에 따라서, 리드아웃 회로(154)는 컬럼 디코더(column decoder; 미도시), 컬럼 드라이버(column driver; 미도시), CDS 블록(Correlated Double Sampling block; 미도시), ADC 블록(Analog Digital Converter block; 미도시), 출력 버퍼(output buffer; 미도시) 등을 포함할 수 있다.

로우 AER(158)은 모션 센서 픽셀들(M) 각각으로부터 출력된 이벤트 신호를 수신하고 수신된 이벤트 신호에 기초하여 상기 이벤트 신호가 발생 된 모션 센서 픽셀의 로우 어드레스 값을 출력할 수 있다. 상기 로우 어드레스 값은 컬럼 AER(156)로 전송되고, 컬럼 AER(156)은 이벤트들을 포함하는 이벤트 데이터(EVDT)를 발생할 수 있다.

DVS 이벤트 보정 회로(500)는 이미지 데이터(IMDT)에 기초하여 이미지의 에지(edge) 정보를 나타내는 에지 데이터를 발생하고, 상기 에지 데이터에 기초하여 이벤트 데이터(EVDT)의 누락 이벤트를 발생할 수 있다. DVS 이벤트 보정 회로(500)는 이벤트 데이터(EVDT)에 포함되는 이벤트들과 발생된 누락 이벤트들을 병합하여 보정된 이벤트 데이터(EVDT')를 발생할 수 있다.

이와 같이, 본 발명의 실시예들에 따른 DVS 이벤트 보정 방법 및 이미지 센서는 이미지 데이터의 에지 정보를 이용하여 다이내믹 비젼 센서에서 제공되는 이벤트 데이터의 누락 이벤트를 보충함으로써 이벤트 데이터의 정확도를 향상시킬 수 있고 이벤트 데이터에 기초하여 동작하는 머신 비젼 장치 및 시스템의 성능을 향상시킬 수 있다.

도 4는 본 발명의 실시예들에 따른 DVS 이벤트 보정 회로를 나타내는 블록도이고, 도 5는 도 4의 DVS 이벤트 보정 회로에 포함되는 휘도 변환부의 동작을 설명하기 위한 도면이고, 도 6a 및 6b는 도 4의 DVS 이벤트 보정 회로에 포함되는 필터의 동작을 설명하기 위한 도면이다.

도 4를 참조하면, DVS 이벤트 보정 회로(500)는 휘도 변환기(luminance converter)(LCNV)(510), 필터(FLT)(520), 스케일러(SCL) (530), 이벤트 발생기(EVGEN)(540) 및 이벤트 병합기(EVCMB)(550)를 포함할 수 있다.

휘도 변환기(510)는 이미지 데이터(IMDT)에 기초하여 휘도 데이터(YDT)를 발생할 수 있다. 도 5에 도시된 바와 같이, 제1 이미지 데이터(IMDT1)는 2개의 그린 픽셀들(G), 1개의 레드 픽셀(R) 및 1개의 블루 픽셀(B)을 포함하는 픽셀 단위 그룹이 반복적으로 배열되는 패턴에 상응할 수도 있고, 제2 이미지 데이터(IMDT1)는 1개의 그린 픽셀(G), 1개의 레드 픽셀(R), 1개의 블루 픽셀(B) 및 1개의 화이트 픽셀(W)을 포함하는 픽셀 단위 그룹이 반복적으로 배열되는 패턴에 상응할 수도 있다. 이미지 픽셀들의 배열 패턴은 도 5에 도시된 예들에 한정되는 것은 아니며 다양하게 변경될 수 있다.

예를 들어, 4개의 이미지 픽셀 값들에 상응하는 제1 이미지 데이터(IMDT1)는 수학식 1과 같이 휘도 데이터(YDT)의 1개의 픽셀 값으로 변환될 수 있다.

[수학식 1]

Y=GrR+2GgG+GbB

수학식 1에서 Gr, Gg, Gb 는 각 컬러 픽셀의 이득(gain)을 나타내고, R, G, B는 각 컬러 픽셀의 픽셀 값을 나타낸다.

예를 들어, 4개의 이미지 픽셀 값들에 상응하는 제1 이미지 데이터(IMDT1)는 수학식 2와 같이 휘도 데이터(YDT)의 1개의 픽셀 값으로 변환될 수 있다.

[수학식 2]

Y=GrR+GgG+GbB+GwW

또는 Y=W

수학식 2에서 Gr, Gg, Gb, Gw 는 각 컬러 픽셀의 이득을 나타내고, R, G, B, W는 각 컬러 픽셀의 픽셀 값을 나타낸다.

필터(520)는 휘도 데이터(YDT)에 기초하여 에지 데이터(EGDT)를 발생한다. 필터(520)는 휘도 데이터(YDT)에서 에지 정보를 검출하는 하이 패스 필터(HPF, high-pass filter)와 같은 에지 검출기로 구현될 수 있다. 상기 에지 검출기는 관련 기술 분야에서 일반적으로 이용되는 수학적 알고리즘(예를 들어, Canny edge detection 등)을 이용하여 휘도 데이터(YDT)에 포함된 이미지의 에지를 나타내는 에지 데이터(EGDT)를 발생할 수 있다. 도 6a에는 이미지 데이터에 상응하는 이미지의 일 예가 도시되어 있고, 도 6b에는 도 6a의 이미지의 일 부분(RT)에 대한 에지 데이터에 상응하는 이미지가 도시되어 있다.

스케일러(530)는 에지 데이터(EGDT)와 이벤트 데이터(EVDT)가 픽셀 단위로 대응되도록 에지 데이터(EGDT) 및 이벤트 데이터(EVDT)를 공간적으로 동기화한다. 다시 말해, 스케일러(530)는 원본 에지 데이터(EGDT)의 해상도를 변경하여 이벤트 데이터(EVDT)의 해상도와 동일한 해상도의 에지 데이터(EGDT')를 제공할 수 있다.

예를 들어, 제1 해상도로 배치된 복수의 DVS 픽셀들을 이용하여 상기 제1 해상도의 이벤트 데이터(EVDT)를 발생하고, 상기 제1 해상도보다 높은 제2 해상도로 배치된 복수의 이미지 픽셀들을 이용하여 상기 제2 해상도의 이미지 데이터(IMDT)를 발생할 수 있다. 이 경우, 휘도 변환기(510) 및 필터(520)는 상기 제2 해상도의 이미지 데이터(IMDT)에 기초하여 상기 제2 해상도의 원본 에지 데이터(EGDT)를 발생하고, 스케일러(530)는 상기 제2 해상도의 원본 에지 데이터(EGDT)를 상기 제1 해상도의 에지 데이터(EGDT')로 변환할 수 있다.

실시예에 따라서, 예를 들어, 이미지 데이터(IMDT)와 이벤트 데이터(EVDT)의 해상도가 동일한 경우에는 스케일러(530)는 생략될 수 있다.

이벤트 발생기(540)는 에지 데이터(EGDT')에 기초하여 이벤트 데이터(EVDT)의 누락 이벤트(OMEV)를 발생한다. 누락 이벤트(OMEV)의 발생 방법에 관한 실시예는 도 7 및 8을 참조하여 후술한다.

이벤트 병합기(550)는 이벤트 데이터(EVDT)에 포함되는 이벤트들과 발생된 누락 이벤트들(OMEV)을 병합하여 보정된 이벤트 데이터(EVDT')를 발생할 수 있다.

도 7은 본 발명의 실시예들에 따른 누락 이벤트의 발생 방법을 나타내는 순서도이다.

도 6 및 7을 참조하면, 이벤트 발생기(540)는 먼저 타겟 픽셀의 위치 또는 어드레스를 초기화한다(S10). 픽셀 어드레스는 픽셀의 행 번호(i) 및 열 번호(j)의 조합인 (i,j)로 표현될 수 있다. 여기서 타겟 픽셀이라 함은 에지 데이터(EGDT')와 이벤트 데이터(EVDT)가 픽셀 단위로 대응되도록 에지 데이터(EGDT') 및 이벤트 데이터(EVDT)를 공간적으로 동기화한 경우에 대하여 복수의 DVS 픽셀들 중 누락 이벤트의 발생 대상이 되는 DVS 픽셀을 말한다.

이벤트 발생기(540)는 타겟 픽셀을 기준으로 윈도우(WIN(i,j))를 설정한다(S11). 윈도우(WIN(i,j))는 픽셀 어드레스 (i,j)에 해당하는 타겟 픽셀 및 타겟 픽셀의 주변 픽셀들을 포함할 수 있다. 윈도우(WIN(i,j))는 도 8에 도시된 바와 같이, 3x3 사이즈를 설정될 수도 있으나, 이에 한정되는 것은 아니며, 5x5, 7x7과 같이 다양한 사이즈로 설정될 수 있다.

이벤트 발생기(540)는 윈도우(WIN(i,j)) 내의 타겟 픽셀 및 주변 픽셀들에 대하여, 에지 데이터 및 이벤트 데이터를 픽셀 단위로 곱한 값들을 일 방향으로 합산한 적어도 하나의 라인 합산 값(LS)을 계산한다(S12).

이벤트 발생기(540)는 라인 합산 값(LS)을 기준 값(THS)과 비교하고(S13), 상기 비교 결과에 기초하여 상기 타겟 픽셀에 상응하는 누락 이벤트(OMEV(i,j)를 발생할 수 있다.

이벤트 발생기(540)는, 라인 합산 값(LS)이 기준 값(THS)보다 큰 경우(S13: YES) 상기 타겟 픽셀에 상응하는 누락 이벤트(OMEV(i,j)를 발생한다(S14).

이벤트 발생기(540)는 라인 합산 값(LS)이 기준 값(THS)보다 크지 않은 경우(S13: NO), 누락 이벤트(OMEV(i,j)를 발생하지 않고, 타겟 픽셀의 어드레스 (i,j)를 변경하면서(S16) 복수의 DVS 픽셀들 중 마지막 타겟 픽셀에 대한 프로세스가 종료될 때까지(S15: YES) 전술한 단계들(S11, S12, S13, S14)을 반복한다.

이와 같이, 복수의 DVS 픽셀들에 대하여 상기 타겟 픽셀들을 변경하면서 라인 합산 값(LS)을 계산하는 단계(S12), 라인 합산 값(LS)을 기준 값(THS1)과 비교하는 단계(S13) 및 상기 비교 결과에 기초하여 누락 이벤트를 발생하는 단계(S14)를 반복적으로 수행할 수 있다.

도 8은 도 7의 누락 이벤트의 발생 방법의 일 실시예를 설명하기 위한 도면이다.

도 8에는 예시적으로 3x3 사이즈의 윈도우가 도시되어 있으나, 윈도의 사이즈가 이에 한정되는 것을 아니다. 도 8의 예에서 전술한 타겟 픽셀의 어드레스는 (1,1)에 해당한다.

도 8을 참조하면, 윈도우 내의 타겟 픽셀 및 주변 픽셀들에 대하여, 에지 데이터(EGDT) 및 이벤트 데이터(EVDT)를 픽셀 단위로 곱한 값들을 각 방향으로 합산하여, 수평 라인 합산 값(LSX), 수직 라인 합산 값(LSY), 제1 대각 라인 합산 값(LSD1) 및 제2 대각 라인 합산 값(LSD2)을 각각 계산할 수 있다.

타겟 픽셀((1,1)) 및 타겟 픽셀((1,1))의 수평 방향(DX)의 주변 픽셀들((1,0), (1,2))에 대하여, 에지 데이터(EGDT) 및 이벤트 데이터(EVDT)를 픽셀 단위로 곱한 값들을 수평 방향(DX)으로 합산하여 수평 라인 합산 값(LSX)을 계산할 수 있다.

타겟 픽셀((1,1)) 및 타겟 픽셀((1,1))의 수직 방향(DX)의 주변 픽셀들((0,1), (2,1))에 대하여, 에지 데이터(EGDT) 및 이벤트 데이터(EVDT)를 픽셀 단위로 곱한 값들을 수직 방향(DY)으로 합산하여 수직 라인 합산 값(LSY)을 계산할 수 있다.

타겟 픽셀((1,1)) 및 타겟 픽셀((1,1))의 제1 대각 방향(DD1)의 주변 픽셀들((2,0), (0,2))에 대하여, 에지 데이터(EGDT) 및 이벤트 데이터(EVDT)를 픽셀 단위로 곱한 값들을 제1 대각 방향(DD1)으로 합산하여 제1 대각 라인 합산 값(LSD1)을 계산할 수 있다.

타겟 픽셀((1,1)) 및 타겟 픽셀((1,1))의 제2 대각 방향(DD1)의 주변 픽셀들((0,0), (2,2))에 대하여, 에지 데이터(EGDT) 및 이벤트 데이터(EVDT)를 픽셀 단위로 곱한 값들을 제2 대각 방향(DD2)으로 합산하여 제2 대각 라인 합산 값(LSD2)을 계산할 수 있다.

이 경우, 도 7의 라인 합산 값(LS)을 기준 값(THS)과 비교하는 단계(S13)는, 수평 라인 합산 값(LSX), 수직 라인 합산 값(LSY), 제1 대각 라인 합산 값(LSD1) 및 제2 대각 라인 합산 값(LSD2)의 각각을 제1 기준 값(TH1)과 비교하는 단계를 포함할 수 있다.

일 실시예에서, 수평 라인 합산 값(LSX), 수직 라인 합산 값(LSY), 제1 대각 라인 합산 값(LSD1) 및 제2 대각 라인 합산 값(LSD2) 중 적어도 하나가 제1 기준 값(THS1)보다 큰 경우, 타겟 픽셀((1,1))에 상응하는 누락 이벤트(OMEV(1,1)를 발생할 수 있다.

다른 실시예에서, 수평 라인 합산 값(LSX), 수직 라인 합산 값(LSY), 제1 대각 라인 합산 값(LSD1) 및 제2 대각 라인 합산 값(LSD2) 중 제1 기준 값(THS2)보다 큰 경우의 수를 나타내는 카운트 값이 제2 기준 값(THS2)보다 큰 경우, 타겟 픽셀((1,1))에 상응하는 누락 이벤트(OMEV(1,1)를 발생할 수 있다.

본 발명의 실시예들에 따라서, 타겟 픽셀의 주변 픽셀들에 상응하는 온 이벤트들의 개수 및 오프 이벤트들의 개수에 기초하여 상기 타겟 픽셀에 상응하는 상기 누락 이벤트가 온 이벤트 또는 오프 이벤트인지를 결정할 수 있다.

일 실시예에서, 상기 온 이벤트들의 개수가 상기 오프 이벤트들의 개수보다 큰 경우 상기 누락 이벤트를 온 이벤트로 결정하고, 상기 오프 이벤트들의 개수가 상기 온 이벤트들의 개수보다 큰 경우 상기 누락 이벤트를 오프 이벤트로 결정할 수 있다. 상기 온 이벤트들의 개수가 상기 오프 이벤트들의 개수가 동일한 경우에는 사용자의 선택에 따라서 누락 이벤트를 온 이벤트 또는 오프 이벤트로 결정할 수 있다.

다른 실시예에서, 상기 온 이벤트들의 개수가 기준 개수보다 큰 경우 상기 누락 이벤트를 온 이벤트로 결정하고, 상기 오프 이벤트들의 개수가 상기 기준 개수보다 큰 경우 상기 누락 이벤트를 오프 이벤트로 결정할 수 있다.

도 9는 본 발명의 실시예들에 따른 이미지 센서에 포함되는 픽셀 어레이를 나타내는 도면이다.

도 9를 참조하면, 픽셀 어레이는 복수의 행들과 복수의 열들의 매트릭스 형태로 배열된 복수의 픽셀들(PX)을 포함할 수 있다. 픽셀 어레이는 이미지 픽셀들만을 포함할 수도 있고, DVS 픽셀들만을 포함할 수도 있고, 이미지 픽셀들 및 DVS 픽셀들을 모두 포함할 수도 있다. 각각의 픽셀(PX)은 상응하는 컬럼 라인(COL)과 로우 라인(ROW)에 연결될 수 있다. 도 9에는 도시의 편의상 각각의 픽셀(PX)이 하나의 컬럼 라인(COL)과 하나의 로우 라인(ROW)에 연결되는 것으로 도시되어 있으나, 이에 한정되는 것은 아니며, 픽셀(PX)의 구성에 따라서, 각각의 픽셀(PX)은 2개 이상의 컬럼 라인들(COL) 및/또는 2개 이상의 로우 라인들(ROW)에 연결될 수도 있다.

도 10a 내지 10d는 픽셀 어레이에 포함되는 이미지 픽셀의 실시예들을 나타내는 회로도들이다.

도 10a를 참조하면, 단위 픽셀(600a)은, 광 감지 소자(Photo Sensitive Device)로서 포토다이오드(PD)를 포함하고, 데이터 독출을 위한 전송 트랜지스터(TX), 리셋 트랜지스터(RX), 드라이브 트랜지스터(DX) 및 선택 트랜지스터(SX)를 포함할 수 있다.

예를 들어, 포토다이오드(PD)는 p형 기판에 형성되는 n형 영역을 포함할 수 있으며, 상기 n형 영역과 상기 p형 기판이 p-n 접합 포토다이오드일 수 있다. 포토다이오드(PD)는 외부로부터 광(예를 들어, 가시광선 또는 적외선)을 수신하고, 수신된 광에 기초하여 광 전하(Photo Charge)를 생성한다. 실시예에 따라, 단위 픽셀(600a)은 포토다이오드(PD)와 함께, 또는 포토다이오드(PD)를 대신하여 포토 트랜지스터, 포토 게이트, 핀드 포토 다이오드 등을 포함할 수 있다.

포토다이오드(PD)에서 생성된 광 전하는 전송 트랜지스터(TX)를 통하여 플로팅 디퓨전 노드(FD)로 전송된다. 예를 들어, 전송 제어 신호(TG)가 제1 레벨(예컨대, 하이 레벨)을 가질 때에 전송 트랜지스터(TX)가 턴온되고, 포토다이오드(PD)에서 생성된 광 전하는 턴온된 전송 트랜지스터(TX)를 통하여 플로팅 디퓨전 노드(FD)로 전송될 수 있다.

드라이브 트랜지스터(DX)는 소스 팔로워 버퍼 증폭기(Source Follower buffer Amplifier) 역할을 하여 플로팅 디퓨전 노드(FD)에 충전된 전하에 대응하는 신호를 증폭할 수 있다. 선택 트랜지스터(SX)는 선택 신호(SEL)에 응답하여 상기 증폭된 출력 신호(VOUT)를 컬럼 라인(COL)에 전송할 수 있다. 플로팅 디퓨전 노드(FD)는 리셋 트랜지스터(RX)에 의해 리셋될 수 있다. 예를 들어, 리셋 트랜지스터(RX)는 리셋 신호(RS)에 응답하여 플로팅 디퓨전 영역(FD)에 저장되어 있는 광 전하를 상관 이중 샘플링(CDS: Correlated Double Sampling) 동작을 위한 일정한 주기로 방전시킬 수 있다.

도 10a에서는 하나의 포토다이오드(PD)와 4개의 트랜지스터들(TX, RX, DX, SX)을 구비하는 단위 픽셀을 예시하고 있지만 본 발명에 따른 실시예가 이에 한정되는 것은 아니다. 단위 픽셀의 다른 실시예가 도 10b 내지 도 10d에 도시된다.

도 10b를 참조하면, 단위 픽셀(600b)은, 광 감지 소자로서 포토다이오드(PD)를 포함하고, 독출 회로로서 리셋 트랜지스터(RX), 드라이브 트랜지스터(DX) 및 선택 트랜지스터(SX)를 포함할 수 있다. 즉, 단위 픽셀(200b)은 3-트랜지스터 구조를 가질 수 있다.

도10c를 참조하면, 단위 픽셀(600c)은 광 감지 소자로서 포토다이오드(PD)를 포함하고, 독출 회로로서 전송 트랜지스터(TX), 게이트 트랜지스터(GX), 리셋 트랜지스터(RX), 드라이브 트랜지스터(DX) 및 선택 트랜지스터(SX)를 포함할 수 있다. 즉, 단위 픽셀(200c)은 5-트랜지스터 구조를 가질 수 있다. 게이트 트랜지스터(GX)는 선택 신호(SEL)에 응답하여 전송 제어 신호(TG)를 전송 트랜지스터(TX)에 선택적으로 인가할 수 있다.

도 10d를 참조하면, 단위 픽셀(600d)은 광 감지 소자로서 포토다이오드(PD)를 포함하고, 독출 회로로서 포토 트랜지스터(PX)(또는 포토 게이트), 전송 트랜지스터(TX), 리셋 트랜지스터(RX), 드라이브 트랜지스터(DX) 및 선택 트랜지스터(SX)를 포함할 수 있다. 즉, 단위 픽셀(200d)은 5-트랜지스터 구조를 가질 수 있다. 또한, 단위 픽셀(600d)은 게이트 트랜지스터(GX) 또는 바이어스 트랜지스터를 더 포함하는 6-트랜지스터 구조를 가질 수 있다.

포토 트랜지스터(PX)는 포토 게이트 신호(PG)에 응답하여 온/오프될 수 있다. 포토 트랜지스터(PX)가 온 상태일 때, 포토다이오드(PD)는 입사되는 빛을 감지하여 광 전하를 생성할 수 있다. 반면, 포토 트랜지스터(PX)가 오프 상태일 때, 포토다이오드(PD)는 입사되는 빛을 감지하지 않을 수 있다.

도 11은 픽셀 어레이에 포함되는 DVS 픽셀의 일 실시예를 나타내는 도면이다.

도 11을 참조하면, DVS 픽셀(700)은 포토 다이오드(PD), 전류/전압 변환기(I/V converter((710), 증폭 회로(amplifier circuit)(720), 비교 회로(comparator circuit)(730) 및 디지털 로직(digital logic)(740)을 포함할 수 있다.

포토 다이오드(PD)는 광전 변환 소자의 예시로서, 포토트랜지스터(photo transistor), 포토 게이트(photo gate), 핀드 포토다이오드(pinned photo diode(PPD)) 및 이들의 조합 중에서 적어도 하나일 수 있다. 포토 다이오드(PD)는 입사광의 세기에 따라 광 전류(IP)를 생성할 수 있다.

전류/전압 변환기(710)는 변환 트랜지스터(FT) 및 반전 증폭기(LA)를 포함할 수 있다. 반전 증폭기(LA)는 포토 다이오드(PD) 일측단의 전압을 반전시켜 제1 전압(VLOG)으로 출력할 수 있다. 전류/전압 변환기(710)는 포토 다이오드(PD)를 흐르는 광 전류(IP)를 센싱하여 광 전류(IP)에 대응하는 제1 전압(VLOG)을 출력할 수 있다.

증폭 회로(720)는 제1 커패시터(C1), 제2 커패시터(C2), 증폭기(AMP) 및 리셋 스위치(SW)를 포함할 수 있다.

리셋 스위치(SW)는 디지털 로직(740)에 제공되는 리셋 신호(RST)에 응답하여 스위칭될 수 있다.

리셋 신호(RST)가 활성화되는 경우, 리셋 스위치(SW)는 단락되어 제2 커패시터(C2)는 방전(discharge)되고 제2 전압(VACC)은 일정한 크기의 전압으로 리셋될 수 있다.

한편, 리셋 신호(RST)가 비활성화되는 경우, 리셋 스위치(SW)는 개방될 수 있다. 이 때, 제2 커패시터(C2)는 증폭기(AMP)의 출력 단자 및 입력 단자 사이에 연결되어 증폭기(AMP)에 피드백 경로를 제공하므로, 증폭기(AMP)의 입력 단자의 전압은 일정하게 유지될 수 있다. 증폭기(AMP)의 입력 단자는 가상 접지 단자(virtual ground)일 수 있다. 따라서 증폭 회로(720)는 제1 전압(VLOG)에 기초하여 제1 전압(VLOG)의 시간에 따른 변화량에 연관된 제2 전압(VACC)을 출력할 수 있다.

비교 회로(730)는 제1 비교기(COMP1) 및 제2 비교기(COMP2)를 포함할 수 있다. 제1 비교기(COMP1)는 제2 전압(VACC)과 제1 기준 전압(VR1)의 크기를 비교하여 온 이벤트 신호(SON)를 출력할 수 있다.

예를 들어, 제1 비교기(COMP1)는 제2 전압(VACC)이 제1 기준 전압(VR1) 보다 낮은 경우 온 이벤트 신호(SON)를 활성화할 수 있다. 제2 비교기(COMP2)는 제2 전압(VACC)과 제2 기준 전압(VR2)의 크기를 비교하여 오프 이벤트 신호(SOFF)를 출력할 수 있다.

예를 들어, 제2 비교기(COMP2)는 제2 전압(VACC)이 제2 기준 전압(VR2) 보다 높은 경우 오프 신호(SOFF)를 활성화할 수 있다. 즉, 비교 회로(730)는 DVS 픽셀(700)에 해당하는 음영의 변화가 일정 변화 수준 이상일 경우 온 이벤트 신호(SON) 또는 오프 이벤트 신호(SOFF)를 활성화할 수 있다.

온 이벤트 신호(SON)는 DVS 픽셀(700)에 해당하는 음영이 일정 크기 이상 밝아지는 경우에 하이 레벨이 될 수 있다. 오프 이벤트 신호(SOFF)는 DVS 픽셀(700)에 해당하는 음영이 일정 크기 이상 어두워지는 경우에 하이 레벨이 될 수 있다.

온 이벤트 신호(SON)와 오프 이벤트 신호(SOFF)는 디지털 로직(740)으로 전송되고, 컬럼 라인들(COL)을 통하여 도 3의 컬럼 AER(156)에 제공될 수 있다.

디지털 로직(740)은 비교 회로(730)로부터 출력된 온 이벤트 신호(SON) 및 오프 이벤트 신호(SOFF)에 기초하여 온/오프 이벤트 신호(SEVN)를 생성할 수 있다. 예를 들어, 디지털 로직(740)은 OR 게이트(OR1)를 포함하여 온 이벤트 신호(SON)와 오프 이벤트 신호(SOFF) 중 어느 하나가 하이 레벨로 활성화된 경우 온/오프 이벤트 신호(SEVN)를 활성화할 수 있다. 온/오프 이벤트 신호(SEVN)는 로우 라인(ROW)을 통해 도 3의 로우 AER(158)로 전송될 수 있다.

또한, 디지털 로직(740))은 OR 게이트(OR2)를 포함하여 온/오프 이벤트 신호(SEVN) 및 글로벌 리셋 신호(GRST) 중 어느 하나가 하이 레벨로 활성화된 경우 리셋 신호(RST)를 활성화할 수 있다.

도 12는 도 11에 도시된 DVS 픽셀의 동작을 나타내는 도면이다.

도 12에서, 세로축은 상기 입사광의 세기를 나타내고, 가로축은 시간을 나타낸다.

도 12 참조하면, 제1 구간(t1) 동안 상기 입사광의 세기는 일정하게 유지된다. 따라서, 제1 전압(VLOG) 및 제2 전압(VACC)의 크기도 일정하게 유지되므로 온 이벤트 신호(SON) 및 오프 이벤트 신호(SOFFS)는 활성화되지 않을 수 있다.

제2 구간(t2) 동안 상기 입사광의 세기는 제1 기울기로 증가하므로 제2 구간(t2) 동안 온 이벤트 신호(SON)는 세 번 활성화될 수 있다.

제3 구간(t3) 동안 상기 입사광의 세기는 상기 제1 기울기보다 작은 제2 기울기로 감소하므로 제3 구간(t3) 동안 오프 이벤트 신호(SOFF)는 두 번 활성화될 수 있다.

제4 구간(t4) 동안 상기 입사광의 세기는 상기 제2 기울기와 유사한 크기를 갖는 제3 기울기로 증가하므로 제4 구간(t4) 동안 온 이벤트 신호(SON)는 두 번 활성화될 수 있다.

제5 구간(t5) 동안 상기 입사광의 세기는 일정하게 유지된다. 따라서, 제1 전압(VLOG) 및 제2 전압(VACC)의 크기도 일정하게 유지되므로 온 이벤트 신호(SON) 및 오프 이벤트 신호(SOFF)는 활성화되지 않을 수 있다.

도 13은 본 발명의 실시예들에 따른 이미지 센서에 포함되는 픽셀 어레이의 레이아웃의 일 실시예를 나타내는 도면이다.

도 13을 참조하면, 픽셀 어레이(ARR_CM)은 이미지 픽셀들에 상응하는 레드 픽셀들(R), 그린 픽셀들(G) 및 블루 픽셀들(B)과 함께 배열된 DVS 픽셀들(M)을 포함할 수 있다. 도 13에는 하나의 DVS 픽셀(M)이 하나의 이미지 픽셀의 4배의 사이즈를 갖는 것으로 도시되어 있으나 이에 한정되는 것은 아니다. 또한, 도 13에 도시된 DVS 픽셀들(M)의 배치는 예시적인 것으로서 다양하게 변경될 수 있다.

도 14는 도 13의 레이아웃에 적용될 수 있는 스택 구조를 갖는 픽셀 어레이를 나타내는 도면이다.

도 14를 참조하면, 픽셀 어레이는 제1 반도체 다이(1211) 및 제2 반도체 다이(1311)를 포함하는 스택 구조를 가질 수 있다. 광 감지 소자(Photo Sensitive Device)(예를 들어, 포토다이오드(PD))를 포함하는 이미지 픽셀들(예를 들어, CIS 픽셀들)은 제1 반도체 다이(1211)에 형성되고, DVS 픽셀들은 제2 반도체 다이(1311)에 형성될 수 있다. 한편, 제1 반도체 다이(1211)에 형성된 포토다이오드들(PD)은 전도 경로(IC)를 통하여 제2 반도체 다이(1311)에 형성된 DVS 픽셀들에 전기적으로 연결될 수 있고, 이 경우, 이미지 픽셀들과 DVS 픽셀들은 포토다이오드들(PD)을 공유할 수 있다.

도 15는 도 14의 스택 구조를 갖는 픽셀 어레이에서 구현되는 픽셀들의 일 실시예를 나타내는 도면이고, 도 16은 도 15의 스택 구조를 갖는 픽셀 어레이에서 구현되는 DVS 픽셀의 일 실시예를 나타내는 도면이다.

제1 반도체 다이(1211)에서 형성되는 이미지 픽셀은 도 10a 내지 10d를 참조하여 설명한 바와 같고, 제2 반도체 다이(1311)에 형성되는 DVS 픽셀은 도 11을 참조하여 설명한 바와 동일하므로 중복되는 설명을 생략한다. 도 15에 도시된 DVS 픽셀 백-엔드 회로(1315)는 도 11을 참조하여 설명한 바와 같은 증폭 회로(720), 비교 회로(730) 및 디지털 로직(740)을 포함할 수 있다.

도 15에 도시된 구성은, 스위치 제어 신호(SWC)에 응답하여 스위칭되는 제1 및 제2 스위치들(SW1, SW2)에 의해 이미지 픽셀 또는 DVS 픽셀로 동작할 수 있다.

제1 스위치(SW1)가 턴온되고 제2 스위치(SW2)가 턴오프되는 경우에는, 각 포토다이오드(PD)에 발생된 광전하에 상응하는 전압은 상응하는 드라이브 트랜지스터(DX)의 게이트에 인가되고, 결과적으로 제1 반도체 다이(1211)의 복수의 픽셀들은 복수의 이미지 픽셀들로서 동작할 수 있다.

제1 스위치(SW1)가 턴오프되고 제2 스위치(SW2)가 턴온되고 리셋 트랜지스터(RX)가 턴온되는 경우에는, 복수의 포토다이오드들(PD)에서 발생된 광 전류들의 합은 변환 트랜지스터(FT)로 제공되고, 결과적으로 도 15에 도시된 제2 반도체 다이(1211)의 픽셀은 하나의 DVS 픽셀로서 동작할 수 있다.

도 16에는 이와 같이 제1 반도체 다이(1211)에 형성되는 복수의 포토다이오들(PDs)을 이용하고 나머지 구성요소들이 제2 반도체 다이(1311)에 형성된 하나의 DVS 픽셀의 구조가 도시되어 있다.

도 17은 도 14의 스택 구조를 갖는 픽셀 어레이에 포함되는 이미지 픽셀들의 일 실시예를 나타내는 도면이고, 도 18은 도 14의 스택 구조를 갖는 픽셀 어레이의 일 실시예를 나타내는 도면이다.

도 17을 참조하면, 제1 내지 제4 이미지 픽셀들(1211a, 1211b, 1211c, 1211d)는 제1 내지 제4 전송 제어 신호들(TG1, TG2, TG3, TG4)의 각각에 응답하여 동작하는 제1 내지 제4 전송 트랜지스터들(TX1~TX4)의 각각을 포함한다.

제1 내지 제4 전송 트랜지스터들(TX1~TX4)은 플로팅 디퓨전 노드(FD)에 공통으로 연결되고, 제1 내지 제4 이미지 픽셀들(1211a, 1211b, 1211c, 1211d)는 데이터 독출을 위한 구성 요소들(RX, DX, SX)를 공유한다. 제1 내지 제4 전송 제어 신호들(TG1, TG2, TG3, TG4)을 시분할 방식에 의해 선택적으로 활성화함으로써 제1 내지 제4 포토다이오들(PD1~PD4)에 저장된 광전하들에 상응하는 데이터를 순차적으로 독출할 수 있다.

도 18의 구조는 도 17의 이미지 픽셀들의 구조가 적용된 점을 제외하고는 도 14, 15 및 16을 참조하여 설명한 바와 동일하므로 중복되는 설명을 생략한다.

도 19는 본 발명의 실시예들에 따른 이미지 센서를 나타내는 블록도이고, 도 20 및 21은 본 발명의 실시예들에 따른 이미지 센서에 포함되는 픽셀 어레이의 레이아웃의 일 실시예를 나타내는 도면들이다.

도 19에는 이미지 픽셀들을 포함하는 제1 픽셀 어레이(ARR_C) 및 DVS 픽셀들을 포함하는 제2 픽셀 어레이가(ARR_M) 물리적으로 분리된 실시예가 도시되어 있다.

도 19를 참조하면, 이미지 센서는 복수의 컬러 픽셀들이 배열된 제1 픽셀 어레이(ARR_C)와 복수의 DVS 픽셀들이 배열된 제2 픽셀 어레이(ARR_M)를 포함할 수 있다. 도 20에는 제1 픽셀 어레이(ARR_C)의 예시적인 레이아웃이 도시되어 있고, 도 21에는 제2 픽셀 어레이(ARR_M)의 예시적인 레이아웃이 도시되어 있다.

도 3을 참조하여 전술한 바와 같은 로우 드라이버(RDEC) 및 리드아웃 회로(ROC)는 제1 픽셀 어레이(ARR_C)에 인접하여 배치되어 이미지 데이터(IMDT)를 제공할 수 있다. 또한, 도 3을 참조하여 전술한 바와 같은 컬럼 AER(AER_C) 및 로우 AER(AER_R)은 제2 픽셀 어레이(ARR_M)에 인접하여 배치되어 이벤트 데이터(EVDT)를 제공할 수 있다.

이와 같이, 별개의 DVS 센서와 일반적인 이미지 센서는 이벤트 데이터(EVDT) 및 이미지 데이터(IMDT)를 각각 제공하기 위하여 DVS 픽셀들을 제어하는 구성 요소들과 이미지 픽셀들을 제어하는 구성 요소들이 별도로 구비되어 서로 독립적으로 동작할 수 있다.

도 22는 본 발명의 실시예들에 따른 이미지 센서에 포함되는 DVS 이벤트 보정 장치의 일 실시예를 나타내는 블록도이고, 도 23은 도 22의 DVS 이벤트 보정 장치에 포함되는 동기화부의 동작을 설명하기 위한 도면이다.

도 22를 참조하면, DVS 이벤트 보정 장치(501)는 동기화부(SYNC) 및 DVS 이벤트 보정 회로(DVSEC)를 포함할 수 있다.

도 22의 DVS 이벤트 보정 회로(DVSEC)는 도 4의 DVS 이벤트 보정 회로(500)와 실질적으로 동일하므로 중복되는 설명을 생략한다.

동기화부(SYNC)는 이벤트 데이터(EVDT) 및 이미지 데이터(IMDT)를 시간적으로 동기화하여 동기화된 이벤트 데이터(SEVDT) 및 동기화된 이미지 데이터(SIMDT)를 제공한다. 도 23에 도시된 바와 같이, 이미지 데이터(IMDT)는 일정한 프레임 레이트에 상응하는 시점들(T1, T2, T3)에서 프레임 이미지 데이터들(CF1, CF2, CF3)로서 제공되는 반면에, 이벤트 데이터(EVDT)는 불규칙적으로 발생하는 이벤트들을 포함한다. 도 23에서 이벤트들은 점원들로 표시되어 있고, 세로축은 이벤트가 발생한 DVS 픽셀의 위치를 나타내고 가로축은 시간을 나타낸다.

예를 들어, 동기화부(SYNC)는 제1 프레임 주기(PFR1)에 발생하는 이벤트들을 포함하는 이벤트 데이터와 제1 프레임 이미지 데이터(CF1)를 동기화하여 제공하고, 제2 프레임 주기(PFR2)에 발생하는 이벤트들을 포함하는 이벤트 데이터와 제2 프레임 이미지 데이터(CF2)를 동기화하여 제공하고, 제3 프레임 주기(PFR3) 동안에 발생하는 이벤트들을 포함하는 이벤트 데이터와 제3 프레임 이미지 데이터(CF3)를 동기화하여 제공할 수 있다. 동기화부(SYNC)의 동기화 방법은 이에 한정되는 것은 아니며 다양한 동기화 방법이 적용될 수 있다.

도 24는 본 발명의 실시예들에 따른 이미지 센서에 포함되는 DVS 이벤트 보정 장치의 일 실시예를 나타내는 블록도이고, 도 25 및 26은 도 24의 DVS 이벤트 보정 장치에 포함되는 모드 콘트롤러의 동작을 설명하기 위한 도면이다.

도 24를 참조하면, DVS 이벤트 보정 장치(502)는 모드 콘트롤러(MDCON), 선택부(MUX) 및 DVS 이벤트 보정 회로(DVSEC)를 포함할 수 있다.

도 24의 DVS 이벤트 보정 회로(DVSEC)는 도 4의 DVS 이벤트 보정 회로(500)와 실질적으로 동일하므로 중복되는 설명을 생략한다.

모드 콘트롤러(MDCON)는 전술한 바와 같은 DVS 이벤트 보정 동작을 수행할 것인지의 여부를 결정하여 인에이블 신호(EN)를 발생한다.

인에이블 신호(EN)가 활성화된 경우, DVS 이벤트 보정 회로(DVSEC)는 활성화된 인에이블 신호(EN)에 응답하여 DVS 이벤트 보정 동작을 수행하고, 선택부(MUX)는 활성화된 인에이블 신호(EN)에 응답하여 보정된 이벤트 데이터(EVDT')를 선택 이벤트 데이터(SEVDT)로서 제공할 수 있다.

반면에, 인에이블 신호(EN)가 비활성화된 경우, DVS 이벤트 보정 회로(DVSEC)는 비활성화된 인에이블 신호(EN)에 응답하여 디스에이블되고, 선택부(MUX)는 비활성화된 인에이블 신호(EN)에 응답하여 이벤트 데이터(EVDT)를 선택 이벤트 데이터(SEVDT)로서 제공할 수 있다.

도 25에는 불규칙적으로 활성화되는 이벤트들을 포함하는 온/오프 이벤트 신호(SEVN)의 일 예가 도시되어 있다.

일 실시예에서, 모드 콘트롤러(MDCON)는 이벤트의 발생 빈도에 기초하여 DVS 이벤트의 보정을 수행할 것인지의 여부를 결정할 수 있다. 도 25에 도시된 바와 같이, 모드 콘트롤러(MDCON)는 이벤트의 발생 빈도가 기준 값보다 큰 경우에는 인에이블 신호(EN)를 활성화하고, 이벤트의 발생 빈도가 기준 값보다 작은 경우에는 인에이블 신호(EN)를 비활성화할 수 있다.

실시예에 따라서, 모드 콘트롤러(MDCON)는 온/오프 이벤트 신호(SEVN)에 기초하여 인에이블 신호(EN)를 발생할 수도 있고, 이벤트 데이터(EGDT)에 기초하여 인에이블 신호(EN)를 발생할 수도 있다.

도 22를 참조하면, 하나의 프레임(FRAME)에 상응하는 이벤트 데이터는 복수의 서브 프레임들(SBFR11~SBFR34)로 분할될 수 있다. 이 경우, 모드 콘트롤러(MDCON)는 복수의 서브 프레임들(SBFR11~SBFR34)의 각각에 대하여 전술한 바와 같은 DVS 이벤트 보정 동작을 수행할 것인지의 여부를 결정할 수 있다.

일반적으로 촬상되는 프레임 이미지는 고정된 배경(background)과 상대적으로 작은 사이즈의 움직이는 대상(moving object)을 포함할 수 있다. 움직이는 대상이 포함된 서브 프레임들에 대한 DVS 이벤트 보정 동작을 수행하고 나머지 서브 프레임들에 대한 DVS 이벤트 보정 동작을 생략함으로써 보정 시간을 단축하고, 본 발명의 실시예들에 따른 이미지 센서 및 이를 포함하는 시스템의 성능을 더욱 향상시킬 수 있다.

도 27은 본 발명의 일 실시예에 따른 이미지 센서를 포함하는 컴퓨팅 시스템을 나타내는 블록도이다.

도 27을 참조하면, 컴퓨팅 시스템(2000)은 프로세서(2010), 메모리 장치(2020), 저장 장치(2030), 입출력 장치(2040), 파워 서플라이(2050) 및 이미지 센서(100)를 포함할 수 있다. 한편, 도 27에는 도시되지 않았지만, 컴퓨팅 시스템(2000)은 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 전자 기기들과 통신할 수 있는 포트(port)들을 더 포함할 수 있다.

프로세서(2010)는 특정 계산들 또는 태스크(task)들을 수행할 수 있다. 실시예에 따라, 프로세서(2010)는 마이크로프로세서(micro-processor), 중앙 처리 장치(Central Processing Unit; CPU)일 수 있다.

프로세서(2010)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus)를 통하여 메모리 장치(2020), 저장 장치(2030), 이미지 센서(100) 및 입출력 장치(2040)와 통신을 수행할 수 있다.

실시예에 따라, 프로세서(2010)는 주변 구성요소 상호연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장 버스에도 연결될 수 있다.

메모리 장치(2020)는 컴퓨팅 시스템(2000)의 동작에 필요한 데이터를 저장할 수 있다. 예를 들어, 메모리 장치(2020)는 디램(DRAM), 모바일 디램, 에스램(SRAM), 피램(PRAM), 에프램(FRAM), 알램(RRAM) 및/또는 엠램(MRAM)으로 구현될 수 있다.

저장 장치(2030)는 솔리드 스테이트 드라이브(solid state drive), 하드 디스크 드라이브(hard disk drive), 씨디롬(CD-ROM) 등을 포함할 수 있다. 입출력 장치(2040)는 키보드, 키패드, 마우스 등과 같은 입력 수단 및 프린터, 디스플레이 등과 같은 출력 수단을 포함할 수 있다. 파워 서플라이(2050)는 전자 기기(1000)의 동작에 필요한 동작 전압을 공급할 수 있다.

이미지 센서(100)는 상기 버스들 또는 다른 통신 링크를 통해서 프로세서(2010)와 연결되어 통신을 수행할 수 있다. 이미지 센서(900)는 전술한 바와 같은 DVS 이벤트 보정 회로를 포함할 수 있다. 상기 DVS 이벤트 보정 회로는 이미지 데이터에 기초하여 이미지의 에지(edge) 정보를 나타내는 에지 데이터를 발생하고, 상기 에지 데이터에 기초하여 이벤트 데이터의 누락 이벤트를 발생할 수 있다.

본 발명의 실시예들은 다이내믹 비젼 센서를 이용하는 장치 및 시스템에 유용하게 이용될 수 있다.

특히 본 발명의 실시예들은 컴퓨터(computer), 노트북(laptop), 핸드폰(cellular phone), 스마트폰(smart phone), MP3 플레이어, 피디에이(Personal Digital Assistants; PDA), 피엠피(Portable Multimedia Player; PMP), 디지털 TV, 디지털 카메라, 포터블 게임 콘솔(portable game console), 네비게이션(navigation) 기기, 웨어러블(wearable) 기기, IoT(internet of things;) 기기, IoE(internet of everything:) 기기, e-북(e-book), VR(virtual reality) 기기, AR(augmented reality) 기기, 머신 비젼 기기 등과 같은 전자 기기에 더욱 유용하게 적용될 수 있다.

상기에서는 본 발명이 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims

복수의 동적 비젼 센서(DVS, dynamic vision sensor) 픽셀들을 이용하여 이미지에 포함된 대상(object)의 모션(motion) 정보를 나타내는 이벤트들을 포함하는 이벤트 데이터를 발생하는 단계;
복수의 이미지 픽셀들을 이용하여 상기 이미지를 촬상한 이미지 데이터를 발생하는 단계;
상기 이미지 데이터에 기초하여 상기 이미지의 에지(edge) 정보를 나타내는 에지 데이터를 발생하는 단계;
상기 복수의 DVS 픽셀들 중 타겟 픽셀 및 상기 타겟 픽셀의 주변 픽셀들에 대하여, 상기 에지 데이터 및 상기 이벤트 데이터를 픽셀 단위로 곱한 값들을 일 방향으로 합산한 라인 합산 값을 계산하는 단계;
상기 라인 합산 값을 기준 값과 비교하는 단계; 및
상기 비교 결과에 기초하여 누락 이벤트를 발생하는 단계를 포함하는 DVS 이벤트 보정 방법.
제1 항에 있어서,
상기 이미지 데이터를 발생하는 단계는,
서로 다른 컬러들에 해당하는 컬러 픽셀들을 포함하는 상기 복수의 이미지 픽셀들을 이용하여 컬러 픽셀 값들을 포함하는 상기 이미지 데이터를 발생하는 단계를 포함하고,
상기 에지 데이터를 발생하는 단계는,
상기 이미지 데이터의 상기 컬러 픽셀 값들에 기초하여 휘도 값들을 포함하는 휘도 데이터를 발생하는 단계; 및
상기 휘도 데이터에 기초하여 상기 에지 데이터를 발생하는 단계를 포함하는 것을 특징으로 하는 DVS 이벤트 보정 방법.
제1 항에 있어서,
상기 이벤트 데이터를 발생하는 단계는,
제1 해상도로 배치된 상기 복수의 DVS 픽셀들을 이용하여 상기 제1 해상도의 상기 이벤트 데이터를 발생하는 단계를 포함하고,
상기 이미지 데이터를 발생하는 단계는,
상기 제1 해상도보다 높은 제2 해상도로 배치된 상기 복수의 이미지 픽셀들을 이용하여 상기 제2 해상도의 상기 이미지 데이터를 발생하는 단계를 포함하고,
상기 에지 데이터를 발생하는 단계는,
상기 제2 해상도의 상기 이미지 데이터에 기초하여 상기 이미지의 에지 정보를 나타내는 상기 제2 해상도의 원본 에지 데이터를 발생하는 단계; 및
상기 제2 해상도의 원본 에지 데이터를 상기 제1 해상도의 상기 에지 데이터로 변환하는 단계를 포함하는 것을 특징으로 하는 DVS 이벤트 보정 방법.
삭제
제1 항에 있어서,
상기 라인 합산 값을 계산하는 단계는,
상기 타겟 픽셀 및 상기 타겟 픽셀의 수평 방향의 주변 픽셀들에 대하여, 상기 에지 데이터 및 상기 이벤트 데이터를 픽셀 단위로 곱한 값들을 상기 수평 방향으로 합산한 수평 라인 합산 값을 계산하는 단계;
상기 타겟 픽셀 및 상기 타겟 픽셀의 수직 방향의 주변 픽셀들에 대하여, 상기 에지 데이터 및 상기 이벤트 데이터를 픽셀 단위로 곱한 값들을 상기 수직 방향으로 합산한 수직 라인 합산 값을 계산하는 단계;
상기 타겟 픽셀 및 상기 타겟 픽셀의 제1 대각 방향의 주변 픽셀들에 대하여, 상기 에지 데이터 및 상기 이벤트 데이터를 픽셀 단위로 곱한 값들을 상기 제1 대각 방향으로 합산한 제1 대각 라인 합산 값을 계산하는 단계; 및
상기 타겟 픽셀 및 상기 타겟 픽셀의 제2 대각 방향의 주변 픽셀들에 대하여, 상기 에지 데이터 및 상기 이벤트 데이터를 픽셀 단위로 곱한 값들을 상기 제2 대각 방향으로 합산한 제2 대각 라인 합산 값을 계산하는 단계를 포함하는 것을 특징으로 하는 DVS 이벤트 보정 방법.
제5 항에 있어서,
상기 라인 합산 값을 상기 기준 값과 비교하는 단계는,
상기 수평 라인 합산 값, 상기 수직 라인 합산 값, 상기 제1 대각 라인 합산 값 및 상기 제2 대각 라인 합산 값의 각각을 제1 기준 값과 비교하는 단계를 포함하는 것을 특징으로 하는 DVS 이벤트 보정 방법.
제6 항에 있어서,
상기 비교 결과에 기초하여 상기 누락 이벤트를 발생하는 단계는,
상기 상기 수평 라인 합산 값, 상기 수직 라인 합산 값, 상기 제1 대각 라인 합산 값 및 상기 제2 대각 라인 합산 값 중 상기 제1 기준 값보다 큰 경우의 수를 나타내는 카운트 값이 제2 기준 값보다 큰 경우, 상기 타겟 픽셀에 상응하는 상기 누락 이벤트를 발생하는 단계를 포함하는 것을 특징으로 하는 DVS 이벤트 보정 방법.
제1 항에 있어서,
상기 비교 결과에 기초하여 상기 누락 이벤트를 발생하는 단계는,
상기 타겟 픽셀의 주변 픽셀들에 상응하는 온 이벤트들의 개수 및 오프 이벤트들의 개수에 기초하여 상기 타겟 픽셀에 상응하는 상기 누락 이벤트가 온 이벤트 또는 오프 이벤트인지를 결정하는 단계를 더 포함하는 것을 특징으로 하는 DVS 이벤트 보정 방법.
제1 항에 있어서,
상기 이벤트 데이터를 복수의 서브 프레임들로 분할하는 단계; 및
상기 복수의 서브 프레임들의 각각에 대하여 DVS 이벤트의 보정을 수행할 것인지의 여부를 결정하는 단계를 더 포함하는 것을 특징으로 하는 DVS 이벤트 보정 방법.
이미지에 포함된 대상(object)의 모션(motion) 정보를 나타내는 이벤트들을 포함하는 이벤트 데이터를 발생하는 복수의 동적 비젼 센서(DVS, dynamic vision sensor) 픽셀들;
상기 이미지를 촬상한 이미지 데이터를 발생하는 복수의 이미지 픽셀들; 및
상기 이미지 데이터에 기초하여 상기 이미지의 에지(edge) 정보를 나타내는 에지 데이터를 발생하고, 상기 복수의 DVS 픽셀들 중 타겟 픽셀 및 상기 타겟 픽셀의 주변 픽셀들에 대하여, 상기 에지 데이터 및 상기 이벤트 데이터를 픽셀 단위로 곱한 값들을 일 방향으로 합산한 라인 합산 값을 계산하며, 상기 라인 합산 값을 기준 값과 비교하고, 상기 비교 결과에 기초하여 누락 이벤트를 발생하는 DVS 이벤트 보정 회로를 포함하는 이미지 센서.