[go: up one dir, main page]

KR102081087B1 - 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서 - Google Patents

동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서 Download PDF

Info

Publication number
KR102081087B1
KR102081087B1 KR1020130068855A KR20130068855A KR102081087B1 KR 102081087 B1 KR102081087 B1 KR 102081087B1 KR 1020130068855 A KR1020130068855 A KR 1020130068855A KR 20130068855 A KR20130068855 A KR 20130068855A KR 102081087 B1 KR102081087 B1 KR 102081087B1
Authority
KR
South Korea
Prior art keywords
image
event
image sensor
input
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020130068855A
Other languages
English (en)
Other versions
KR20140146337A (ko
Inventor
박근주
류현석
김태찬
이준행
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020130068855A priority Critical patent/KR102081087B1/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/299,599 priority patent/US10237506B2/en
Publication of KR20140146337A publication Critical patent/KR20140146337A/ko
Priority to US16/279,565 priority patent/US10674104B2/en
Application granted granted Critical
Publication of KR102081087B1 publication Critical patent/KR102081087B1/ko
Priority to US16/859,598 priority patent/US11233964B2/en
Priority to US17/554,826 priority patent/US11627271B2/en
Priority to US18/185,173 priority patent/US11863894B2/en
Priority to US18/499,838 priority patent/US12108177B2/en
Priority to US18/499,886 priority patent/US12250480B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/7795—Circuitry for generating timing or clock signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

동기적 영상과 비동기적 영상을 정합하는 영상 정합 장치가 개시된다. 일 실시예에 따른 영상 정합 장치는 시간 동기적인 제1 입력 영상 및 시간 비동기적인 제2 입력 영상을 정합하는 정합부를 포함한다.

Description

동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서{IMAGE ADJUSTMENT APPARATUS AND IMAGE SENSOR FOR SYNCHRONOUS IMAGE AND NON-SYNCHRONOUS IMAGE}
아래 실시예들은 영상 정합 장치 및 이미지 센서에 관한 것으로, 영상을 정합하는 기술 및 영상을 감지하는 기술에 관한 것이다.
시모스(CMOS) 이미지 센서는 스마트 폰에서부터 캠코더에 이르기까지 광범위하게 이용되고 있다. 이미지 센서는 일차적으로 사진 또는 동영상을 촬영하는 데 이용될 수 있고, 이차적으로 입력 객체의 인식 등 유저 인터페이스를 제공하거나 영상 통화 등 어플리케이션 서비스를 제공하는 데 이용될 수 있다.
시모스 이미지 센서는 대부분 프레임 기반의 동기식 센싱 구조를 채택하고 있다. 예를 들어, 시모스 이미지 센서는 수평 스캐너 또는 수직 스캐너에 일정한 주기의 신호를 인가함으로써 각 픽셀의 이미지 정보를 리드 아웃(readout)하고 리셋(reset)시킬 수 있다. 이러한 주기를 프레임(frame)이라고 한다.
일 측에 따른 영상 정합 장치는 시간 동기적으로 오브젝트를 촬영한 제1 입력 영상 및 시간 비동기적으로 상기 오브젝트의 움직임 이벤트를 감지한 제2 입력 영상을 수신하는 수신부; 및 상기 제1 입력 영상 및 상기 제2 입력 영상을 정합하는 정합부를 포함한다.
이 때, 상기 정합부는 상기 제1 입력 영상의 시간 정보 및 상기 제2 입력 영상의 시간 정보를 정합하기 위하여, 상기 제2 입력 영상에 포함된 이벤트 타이밍(event timing) 및 상기 제1 입력 영상을 위한 복수의 프레임 주기들 중 어느 하나의 프레임 주기를 매칭하는 시간 정합부를 포함할 수 있다.
또한, 상기 정합부는 상기 제1 입력 영상의 해상도 및 상기 제2 입력 영상의 해상도의 차이에 기초하여 상기 제1 입력 영상의 공간 정보 및 상기 제2 입력 영상의 공간 정보를 정합하는 공간 정합부를 포함할 수 있다.
다른 일 측에 따른 이미지 센싱 장치는 시간 동기적으로 오브젝트를 촬영하는 제1 이미지 센서; 및 시간 비동기적으로 상기 오브젝트의 움직임을 감지하는 제2 이미지 센서를 포함한다.
이 때, 상기 이미지 센싱 장치는 공간적으로 이격된 상기 제1 이미지 센서 및 상기 제2 이미지 센서에 동일한 빛이 입력되도록 렌즈를 통해 입력되는 빛을 균등하게 분할하는 빔 스플리터를 더 포함할 수 있다.
또한, 상기 제1 이미지 센서와 상기 제2 이미지 센서는 상기 제1 이미지 센서를 투과한 빛이 상기 제2 이미지 센서에 도달하도록 배치될 수 있다.
또 다른 일 측에 따른 이미지 센서는 시간 동기적으로 오브젝트를 촬영하는 복수의 제1 이미지 픽셀들; 및 시간 비동기적으로 상기 오브젝트의 움직임 이벤트를 감지하는 적어도 하나의 제2 이미지 픽셀을 포함한다. 여기서, 상기 적어도 하나의 제2 이미지 픽셀은 상기 복수의 제1 이미지 픽셀들 중 대응되는 적어도 하나의 제1 이미지 픽셀과 인접하게 배치될 수 있다.
또 다른 일 측에 따른 이미지 처리 방법은 클락 신호를 획득하는 단계; 미리 정해진 이벤트를 감지함에 따라 상기 클락 신호에 비동기적으로 발생되는 이벤트 데이터를 획득하는 단계; 미리 정해진 초당 프레임 수에 따라 상기 클락 신호에 동기적으로 발생되는 화소 데이터를 획득하는 단계; 및 상기 클락 신호에 기초하여 상기 이벤트 데이터 및 상기 화소 데이터를 정합하는 단계를 포함한다.
도 1은 일 실시예에 따른 영상 정합 장치를 나타낸 블록도.
도 2는 일 실시예에 따른 이벤트 데이터와 화소 데이터가 출력되는 타이밍을 설명하기 위한 도면.
도 3a 내지 도 3c는 일 실시예에 따른 이벤트 데이터와 화소 데이터를 시간적으로 정합하는 방식을 설명하기 위한 도면.
도 4는 일 실시예에 따른 이벤트 데이터와 화소 데이터를 공간적으로 정합하는 방식을 설명하기 위한 도면.
도 5는 일 실시예에 따른 빔 스플리터를 이용하여 이벤트 기반 이미지 센서와 프레임 기반 이미지 센서에 빛을 제공하는 이미지 센싱 장치를 설명하기 위한 도면.
도 6은 일 실시예에 따른 프레임 기반 이미지 센서를 투과한 빛이 이벤트 기반 이미지 센서에 도달되도록 배치된 이미지 센싱 장치를 설명하기 위한 도면.
도 7a 및 도 7b는 일 실시예에 따른 하이브리드 이미지 센서를 설명하기 위한 도면.
도 8은 일 실시예에 따른 영상 정합 방법을 나타낸 동작 흐름도.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따른 영상 정합 장치를 나타낸 블록도이다.
도 1을 참조하면, 일 실시예에 따른 영상 정합 장치(100)는 수신부(110) 및 정합부(120)를 포함한다.
수신부(110)는 시간 동기적으로 오브젝트를 촬영한 제1 입력 영상 및 시간 비동기적으로 오브젝트의 움직임을 감지한 제2 입력 영상을 수신할 수 있다.
예를 들어, 제1 입력 영상은 미리 정해진 초당 프레임 수에 따라 오브젝트를 촬영하는 이미지 센서의 출력 영상일 수 있다. 또한, 제2 입력 영상은 오브젝트를 촬영하는 동적 비전 센서(Dynamic Vision Sensor)의 출력 영상일 수 있다.
동적 비전 센서는 미리 정해진 이벤트를 감지함에 따라 비동기적으로 이벤트 데이터를 출력할 수 있다. 미리 정해진 이벤트는 입사되는 빛의 명암 변화를 포함할 수 있다.
이하, 설명의 편의를 위하여 제1 입력 영상을 출력하는 이미지 센서를 프레임 기반 이미지 센서라 하고, 제2 입력 영상을 출력하는 동적 비전 센서를 이벤트 기반 이미지 센서라 한다.
이벤트 기반 이미지 센서는 특정 픽셀에서 빛이 밝아지는 이벤트를 감지하는 경우, 해당 픽셀에 대응하는 ON 이벤트를 출력할 수 있다. 또한, 이벤트 기반 이미지 센서는 특정 픽셀에서 빛이 어두워지는 이벤트를 감지하는 경우, 해당 픽셀에 대응하는 OFF 이벤트를 출력할 수 있다.
이벤트 기반 이미지 센서는 프레임 기반 이미지 센서와 달리 각 픽셀의 포토 다이오드의 출력을 프레임 단위로 스캔하지 않고, 빛의 변화가 있는 부분의 픽셀 데이터만을 출력할 수 있다.
입사되는 빛의 명암 변화는 피사체의 움직임에 기인할 수 있다. 예를 들어, 시간의 흐름에 따라 광원이 실질적으로 고정되어 있는 경우를 가정하자.
이 경우, 정지되어 있는 피사체에 의해 반사되는 빛은 실질적으로 변하지 않으므로, 이벤트 기반 이미지 센서에 입사되는 빛의 명암 변화도 발생되지 않는다. 반면, 피사체가 움직이는 경우, 움직이는 피사체에 의해 반사되는 빛은 피사체의 움직임에 따라 변하므로, 이벤트 기반 이미지 센서에 입사되는 빛의 명암 변화가 발생될 수 있다.
이벤트 기반 이미지 센서는 미리 정해진 이벤트를 감지함에 따라 이벤트 데이터를 출력하므로, 시간 비동기적인 이벤트 데이터를 출력할 수 있다.
프레임 기반 이미지 센서는 미리 정해진 초당 프레임 수에 따라 동기적으로 화소 데이터를 출력할 수 있다. 예를 들어, 프레임 기반 이미지 센서는 초당 30 프레임 또는 초당 60 프레임 등 설정에 따라 화소 데이터를 출력할 수 있다.
프레임 기반 이미지 센서는 시간 동기적인 화소 데이터를 출력할 수 있다. 예를 들어, 프레임 기반 이미지 센서는 글로벌 클락에 동기화되고, 미리 정해진 초당 프레임 수를 만족시키는 프레임 싱크(frame sync) 신호를 이용할 수 있다. 프레임 기반 이미지 센서는 프레임 싱크 신호가 ON을 지시하는 각각의 시간 구간에서, 해당하는 프레임의 화소 데이터를 출력할 수 있다.
정합부(120)는 제1 입력 영상과 제2 입력 영상을 정합할 수 있다. 이하, 설명의 편의를 위하여 제1 입력 영상은 화소 데이터라 하고, 제2 입력 영상은 이벤트 데이터라 한다.
이벤트 데이터 및 화소 데이터의 정합은 이벤트 데이터에 포함된 정보와 화소 데이터에 포함된 정보를 매칭시키는 동작, 매칭 정보를 생성, 유지, 관리하는 동작, 매칭 정보를 이용하여 이벤트 데이터 및 화소 데이터 중 적어도 하나를 처리하는 동작, 이벤트 데이터에 포함된 정보에 기초하여 화소 데이터를 처리하는 동작, 화소 데이터에 포함된 정보에 기초하여 이벤트 데이터를 처리하는 동작 등을 포괄적으로 포함할 수 있다.
이벤트 기반 이미지 센서는 반응 속도 또는 응답 속도가 빠르고, 처리해야 하는 데이터의 양이 적을 수 있다. 프레임 기반 이미지 센서는 고해상도의 영상 데이터를 제공할 수 있고, 움직이는 피사체뿐 아니라 정지된 피사체의 영상 데이터를 제공할 수 있다. 이벤트 기반 이미지 센서의 응답 속도는 마이크로 세컨드(us) 이하의 단위일 수 있다.
일 실시예에 따른 영상 정합 장치(100)는 이벤트 기반 이미지 센서의 특징 및 프레임 기반 이미지 센서의 특징을 모두 활용하는 기술을 제공할 수 있다.
예를 들어, 영상 정합 장치(100)는 응답 속도가 빠른 이벤트 기반 이미지 센서에서 출력되는 이벤트 데이터를 처리한 이후 시간 및 공간 상에서 정합된 프레임 기반 이미지 센서의 화소 데이터를 처리함으로써, 두 개의 이미지 센서들로부터 출력된 데이터를 실질적으로 동시에 활용할 수 있다.
영상 정합 장치(100)는 정합 결과를 이미지 처리 장치로 제공함으로써, 피사체의 동작, 얼굴, 문자, 사물을 인식하는 기술을 제공할 수 있다. 또한, 이미지 처리 장치는 영상 정합 장치(100)의 출력을 이미지 프로세싱을 함으로써, 다양한 유저 인터페이스 및 어플리케이션 서비스를 제공할 수 있다.
정합부(120)가 이벤트 기반 이미지 센서의 출력 데이터 및 프레임 기반 이미지 센서의 출력 데이터를 시간적, 공간적으로 정합하는 동작과 관련된 보다 상세한 사항들은 도 3a 내지 도 4를 참조하여 후술한다.
이벤트 기반 이미지 센서에 의해 출력되는 이벤트 데이터는 미리 정해진 이벤트가 감지된 이벤트 타이밍, 미리 정해진 이벤트가 감지된 픽셀 인덱스, 및 미리 정해진 이벤트의 유형을 지시하는 지시자 중 적어도 하나를 포함할 수 있다. 또는 이벤트 데이터는 이벤트가 감지된 시간 정보 및 해당 이벤트가 감지된 픽셀의 어드레스 정보 중 적어도 하나를 포함할 수 있다.
예를 들어, 이벤트 데이터는 글로벌 클락에 기초하여 이벤트가 감지된 시각을 나타내는 타이밍 정보를 포함할 수 있다. 또한, 이벤트 데이터는 이벤트가 감지된 픽셀의 위치를 지시하는 인덱싱 정보를 포함할 수 있다. 또한, 이벤트 데이터는 미리 정해진 이벤트 중 감지된 이벤트의 유형을 지시하는 정보를 포함할 수 있다.
도면에 도시하지 않았으나, 다른 실시예에 따른 이미지 처리 장치는 처리부를 더 포함할 수 있다.
처리부는 이벤트 데이터의 수신에 반응하여, 이벤트 데이터에 포함된 이벤트 타이밍 및 픽셀 인덱스 중 적어도 하나에 대응되는 화소 데이터를 선별적으로 처리할 수 있다.
예를 들어, 이벤트 데이터는 특정 이벤트가 발생된 타이밍과 해당 이벤트가 발생된 픽셀의 위치에 대한 정보를 포함할 수 있다. 이미지 선별 처리부는 이벤트 데이터에 포함된 이벤트 타이밍 및 픽셀 인덱스에 대응되는 화소 데이터를 선별할 수 있다.
이미지 선별 처리부는 프레임 주기마다 출력되는 복수의 화소 데이터들 중 선별된 화소 데이터만을 처리함으로써, 특정 작업을 수행하기 위해 요구되는 데이터 처리량을 감소시키는 기술을 제공할 수 있다.
도 2는 일 실시예에 따른 이벤트 데이터와 화소 데이터가 출력되는 타이밍을 설명하기 위한 도면이다.
도 2를 참조하면, 일 실시예에 따른 프레임 기반 이미지 센서는 클락 신호(210)에 동기화된 프레임 싱크 신호(220)를 이용하여, 화소 데이터(230)를 출력할 수 있다.
프레임 싱크 신호(220)는 프레임 싱크 신호(220)의 라이징 에지(rising edge)가 클락 신호(210)의 라이징 에지와 매칭되는 방식으로 클락 신호(210)에 동기화될 수 있다. 또한, 프레임 싱크 신호(220)의 ON / OFF 주기는 프레임 기반 이미지 센서의 미리 정해진 초당 프레임 수에 따라 결정될 수 있다.
프레임 기반 이미지 센서는 프레임 싱크 신호(220)가 ON을 지시하는 각각의 시간 구간에서, 해당하는 프레임의 화소 데이터를 출력할 수 있다. 프레임 기반 이미지 센서는 프레임 싱크 신호(220)의 라이징 에지에 반응하여, 해당 프레임의 화소 데이터(230)를 출력할 수 있다.
이벤트 기반 이미지 센서는 클락 신호(210)에 비동기적인 이벤트 데이터(240)를 출력할 수 있다. 예를 들어, 이벤트 기반 이미지 센서는 미리 정해진 이벤트를 감지함에 따라 이벤트 데이터(240)를 출력하므로, 클락 신호(210)의 특정 라이징 에지 시점으로부터 이벤트 데이터(240)가 출력되는 시점 사이의 시간 구간(245)은 일정하지 않을 수 있다.
이하, 도 3a 내지 도 3c를 참조하여, 클락 신호(210)에 동기적인 화소 데이터(230)과 클락 신호(210)에 비동기적인 이벤트 데이터(240)를 정합하는 방법을 상세히 설명한다.
도 3a 내지 도 3c는 일 실시예에 따른 이벤트 데이터와 화소 데이터를 시간적으로 정합하는 방식을 설명하기 위한 도면이다.
도 3a를 참조하면, 일 실시예에 따른 이벤트 기반 이미지 센서는 비동기적 이벤트 데이터(310)를 출력하고, 프레임 기반 이미지 센서는 동기적 화소 데이터(331, 332, 333, 334)를 출력할 수 있다.
프레임 기반 이미지 센서는 복수의 프레임 싱크 타이밍들(321, 322)에 반응하여 화소 데이터(331, 332, 333, 334)를 출력할 수 있다. 각각의 프레임 싱크 타이밍들은 도 2의 프레임 싱크 신호(220)의 라이징 에지를 포함할 수 있다.
아래에서 상세히 설명하겠지만, 일 실시예에 따른 이미지 처리 장치는 하나의 이벤트 데이터(310)를 복수의 화소 데이터(331, 332, 333, 334)와 정합할 수 있다.
일 실시예에 따른 이미지 처리 장치는 이벤트 데이터(310)가 출력되는 이벤트 타이밍(event timing)을 화소 데이터(331, 332, 333, 334)를 위한 복수의 프레임 주기들 중 어느 하나의 프레임 주기와 매칭시킬 수 있다.
여기서, 이미지 처리 장치는 다양한 방식에 따라 이벤트 타이밍과 프레임 주기를 매칭시킬 수 있다.
예를 들어, 이미지 처리 장치는 특정 이벤트 데이터가 발생된 이벤트 타이밍을 다음 프레임 주기와 매칭시킬 수 있다.
보다 구체적으로, 이미지 처리 장치는 제1 이벤트 데이터(311)의 제1 이벤트 타이밍을 가장 가까운 다음 프레임 싱크 타이밍인 제1 프레임 싱크 타이밍(321)에 대응되는 제1 프레임 주기(341)와 매칭시킬 수 있다. 이미지 처리 장치는 제1 이벤트 데이터(311)를 제1 프레임 주기(341)에서 출력되는 화소 데이터와 정합할 수 있다.
이미지 처리 장치는 제2 이벤트 데이터(312) 및 제3 이벤트 데이터 집합(313)도 동일한 방식으로 처리할 수 있다. 이미지 처리 장치는 제2 이벤트 데이터(312) 및 제3 이벤트 데이터 집합(313)을 제2 프레임 싱크 타이밍(322)에 대응되는 제2 프레임 주기(342)의 화소 데이터와 정합할 수 있다.
이미지 처리 장치는 제4 이벤트 데이터 집합(314)도 동일한 방식으로 처리할 수 있다. 이미지 처리 장치는 제4 이벤트 데이터 집합(314)을 다음 프레임 싱크 타이밍(도면 미표시)에 대응되는 프레임 주기(도면 미표시)의 화소 데이터와 정합할 수 있다.
도 3b를 참조하면, 일 실시예에 따른 이미지 처리 장치는 특정 이벤트 데이터가 발생된 이벤트 타이밍을 가장 가까운 프레임 싱크 타이밍에 대응되는 프레임 주기와 매칭시킬 수 있다.
예를 들어, 이미지 처리 장치는 제1 이벤트 데이터(311)의 제1 이벤트 타이밍을 복수의 프레임 싱크 타이밍들 중 제1 이벤트 타이밍과 가장 가까운 제1 프레임 싱크 타이밍(321)에 대응되는 제1 프레임 주기(341)와 매칭시킬 수 있다. 이미지 처리 장치는 제1 이벤트 데이터(311)를 제1 프레임 주기에서 출력되는 화소 데이터와 정합할 수 있다.
이미지 처리 장치는 제2 이벤트 데이터(312)도 동일한 방식으로 처리할 수 있다. 제2 이벤트 데이터(312)가 출력되는 제2 이벤트 타이밍은 복수의 프레임 싱크 타이밍들 중 제1 프레임 싱크 타이밍(321)과 가장 가까우므로, 이미지 처리 장치는 제2 이벤트 데이터(312)를 제1 프레임 싱크 타이밍(321)에 대응되는 제1 프레임 주기(341)의 화소 데이터와 정합할 수 있다.
이미지 처리 장치는 제3 이벤트 데이터 집합(313) 및 제4 이벤트 데이터 집합(414)도 동일한 방식으로 처리할 수 있다. 제3 이벤트 데이터 집합(313) 및 제4 이벤트 데이터 집합(414)이 각각 출력되는 제3 이벤트 타이밍 집합 및 제4 이벤트 타이밍 집합은 제2 프레임 싱크 타이밍(322)과 가장 인접할 수 있다. 이미지 처리 장치는 제3 이벤트 데이터 집합(313) 및 제4 이벤트 데이터 집합(314)을 제2 프레임 싱크 타이밍(322)에 대응되는 제2 프레임 주기(342)의 화소 데이터와 정합할 수 있다.
도 3c를 참조하면, 일 실시예에 따른 이미지 처리 장치는 특정 프레임 주기에 대응되는 시간 구간 내에 포함되는 이벤트 타이밍을 해당 프레임 주기와 매칭시킬 수 있다.
예를 들어, 이미지 처리 장치는 제3 프레임 싱크 타이밍(351)에 대응되는 제3 프레임 주기(361)에 포함된 제5 이벤트 데이터(341) 및 제6 이벤트 데이터 집합(342)을 제3 프레임 주기(361)에 매칭시킬 수 있다. 이미지 처리 장치는 제5 이벤트 데이터(341) 및 제6 이벤트 데이터 집합(342)을 제3 프레임 주기(361)에서 출력되는 화소 데이터와 정합할 수 있다.
또한, 이미지 처리 장치는 제4 프레임 싱크 타이밍(352)에 대응되는 제4 프레임 주기(362)에 포함된 제7 이벤트 데이터 집합(343)을 제4 프레임 주기(362)에 매칭시킬 수 있다. 이미지 처리 장치는 제7 이벤트 데이터 집합(343)을 제4 프레임 주기(362)에서 출력되는 화소 데이터와 정합할 수 있다.
도면에 도시하지 않았으나, 일 실시예에 따른 이벤트 기반 이미지 센서는 글로벌 클락에 기초하여 특정 이벤트가 발생된 타이밍을 수치화할 수 있다. 예를 들어, 이벤트 기반 이미지 센서는 특정 이벤트가 발생되면, 글로벌 클락을 이용하여 해당 이벤트가 발생된 시각을 획득하며, 시각 정보를 포함하는 이벤트 신호를 출력할 수 있다.
이미지 처리 장치는 이벤트 데이터에 포함된 수치화된 타이밍을 이용하여, 해당 타이밍과 가장 인접한 프레임 싱크 타이밍 또는 해당 타이밍을 포함하는 프레임 주기 등을 결정할 수 있다.
도 4는 일 실시예에 따른 이벤트 데이터와 화소 데이터를 공간적으로 정합하는 방식을 설명하기 위한 도면이다.
도 4를 참조하면, 일 실시예에 따른 이벤트 기반 이미지 센서와 프레임 기반 이미지 센서는 서로 다른 해상도를 지원할 수 있다.
예를 들어, 피사체의 동일한 영역을 표현하기 위하여 이벤트 기반 이미지 센서는 n_1 x n_2 크기의 픽셀 매트릭스(410)를 이용할 수 있고, 프레임 기반 이미지 센서는 m_1 x m_2 크기의 픽셀 매트릭스(420)를 이용할 수 있다.
이벤트 기반 이미지 센서와 프레임 기반 이미지 센서가 서로 다른 해상도를 갖는 경우, 이벤트 기반 이미지 센서의 픽셀이 프레임 기반 이미지 센서의 픽셀로 1대1로 매칭되지 않을 수 있다.
일 실시예에 따른 이미지 처리 장치는 이벤트 기반 이미지 센서의 해상도 및 프레임 기반 이미지 센서의 해상도의 차이에 기초하여 이벤트 데이터와 화소 데이터를 정합할 수 있다.
이하, 설명의 편의를 위하여 이벤트 기반 이미지 센서의 해상도가 프레임 기반 이미지 센서의 해상도보다 낮은 경우를 가정한다.
일 실시예에 따른 이미지 처리 장치는 이벤트 기반 이미지 센서의 하나의 픽셀 당 프레임 기반 이미지 센서의 (m_1/n_1) x (m_2/n_2)개의 픽셀들을 매핑(mapping)할 수 있다.
예를 들어, n_1과 n_2가 각각 4이고, m_1과 m_2가 각각 8인 경우, 이미지 처리 장치는 이벤트 기반 이미지 센서의 하나의 픽셀을 프레임 기반 이미지 센서의 4개의 픽셀들과 매핑할 수 있다.
물론 이미지 처리 장치는 픽셀 매트릭스(410) 내 픽셀(411)의 상대적 위치와 픽셀 매트릭스(420) 내 복수의 픽셀들(421, 422, 423, 424)의 상대적 위치가 일치되도록, 매핑을 수행할 수 있다.
예를 들어, 이미지 처리 장치는 이벤트 기반 이미지 센서의 픽셀(411)을 프레임 기반 이미지 센서의 복수의 픽셀들(421, 422, 423, 424)에 매핑함으로써, 이벤트 데이터와 화소 데이터를 공간적으로 정합할 수 있다.
도 5는 일 실시예에 따른 빔 스플리터를 이용하여 이벤트 기반 이미지 센서와 프레임 기반 이미지 센서에 빛을 제공하는 이미지 센싱 장치를 설명하기 위한 도면이다.
도 5를 참조하면, 일 실시예에 따른 이미지 센싱 장치(570)는 이벤트 기반 이미지 센서(510)와 프레임 기반 이미지 센서(520)를 포함할 수 있다.
이미지 센싱 장치(570) 내에서 이벤트 기반 이미지 센서(510)와 프레임 기반 이미지 센서(520)는 공간적으로 이격될 수 있다. 이미지 센싱 장치(570)는 이벤트 기반 이미지 센서(510)의 입력과 프레임 기반 이미지 센서(520)의 입력을 광학적으로 정렬하기 위하여 빔 스플리터(550)를 더 포함할 수 있다.
예를 들어, 빔 스플리터(550)는 이벤트 기반 이미지 센서(510)와 프레임 기반 이미지 센서(520)에 동일한 빛이 입력되도록 렌즈(560)를 통해 입력되는 빛을 균등하게 분할할 수 있다. 빔 스플리터(550)는 균등하게 분할된 빛을 이벤트 기반 이미지 센서(510)와 프레임 기반 이미지 센서(520)로 동시에 인가시킬 수 있다.
이벤트 기반 이미지 센서(510)와 프레임 기반 이미지 센서(520)는 빔 스플리터(550)를 통한 광학적 정렬에 따라, 동일한 화각(field of view)에 대응되는 동일한 입력을 동일한 시점에 입력 받을 수 있다.
이미지 센싱 장치(570)는 독립적으로 패키징 된 이벤트 기반 이미지 센서(510) 및 프레임 기반 이미지 센서(520)를 포함할 수 있다. 이미지 처리 장치는 빔 스플리터(550)를 이용하여, 공간 상에서 동일한 화각으로 촬영되는 하나의 이미지 신(scene)을 두 개의 이미지 센서 패키지들로 입사시킬 수 있다.
이미지 센싱 장치(570)는 도 1 내지 도 4를 통하여 기술한 영상 정합 장치에 화소 데이터 및 이벤트 데이터를 제공할 수 있다.
예를 들어, 일 실시예에 따른 이미지 처리 장치는 이벤트 기반 이미지 센서(510), 프레임 기반 이미지 센서(520), 정합부(530), 클락 생성부(540), 빔 스플리터(550), 및 렌즈(560)로 구성될 수 있다.
이벤트 기반 이미지 센서(510), 프레임 기반 이미지 센서(520), 정합부(530), 및 클락 생성부(540)에는 도 1 내지 도 4를 통하여 기술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
도 6은 일 실시예에 따른 프레임 기반 이미지 센서를 투과한 빛이 이벤트 기반 이미지 센서에 도달되도록 배치된 이미지 센싱 장치를 설명하기 위한 도면이다.
도 6을 참조하면, 일 실시예에 따른 이미지 센싱 장치(650)는 이벤트 기반 이미지 센서(610)와 프레임 기반 이미지 센서(620)를 포함할 수 있다.
도 5의 빔 스플리터(550)를 이용하는 대신, 이미지 센싱 장치(650)는 프레임 기반 이미지 센서(620)를 투과한 빛이 이벤트 기반 이미지 센서(610)에 도달하도록 배치되는 구조를 이용할 수 있다.
예를 들어, 이미지 센싱 장치(650)는 이벤트 기반 이미지 센서(610)와 프레임 기반 이미지 센서(620)를 적층하는 구조를 이용할 수 있다.
이미지 센싱 장치(650)는 렌즈(660)를 통하여 입사된 빛이 우선 프레임 기반 이미지 센서(620)에 입력되고, 적층 구조에 따라 프레임 기반 이미지 센서(620)를 투과한 빛이 이벤트 기반 이미지 센서(610)에 도달하도록 배치될 수 있다.
이미지 센싱 장치(650)는 제1 웨이퍼(wafer)와 제2 웨이퍼가 적층된 패키지로 구성될 수 있다. 제1 웨이퍼는 프레임 기반 이미지 센서(620)를 포함하고, 제2 웨이퍼는 이미지 기반 이미지 센서(610)를 포함할 수 있다.
이미지 센싱 장치(650)는 제1 웨이퍼와 제2 웨이퍼를 접착시키는 공정을 통하여 제조될 수 있다. 제1 웨이퍼는 실리콘 재질로 구성될 수 있고, 렌즈(660)를 통하여 입사된 빛이 투과될 수 있도록 충분히 얇은 두께를 가질 수 있다.
렌즈(660)를 통하여 입사된 빛이 제1 웨이퍼를 통과하는 동안, 빛의 적어도 일부가 제1 웨이퍼에 흡수될 수 있다. 예를 들어, 실리콘 웨이퍼는 에너지 밴드 갭이 1eV 근처이므로, 가시광선 영역의 빛 보다는 적외선 영역의 빛을 더 잘 투과시킬 수 있다. 제2 웨이퍼에 포함된 이벤트 기반 이미지 센서(610)는 제1 웨이퍼를 투과하는 영역의 빛을 감지할 수 있다.
이미지 센싱 장치(650)는 도 1 내지 도 4를 통하여 기술한 영상 정합 장치에 화소 데이터 및 이벤트 데이터를 제공할 수 있다.
예를 들어, 일 실시예에 따른 이미지 처리 장치는 이벤트 기반 이미지 센서(610), 프레임 기반 이미지 센서(620), 정합부(630), 클락 생성부(640), 및 렌즈(660)로 구성될 수 있다.
이벤트 기반 이미지 센서(610), 프레임 기반 이미지 센서(620), 정합부(630), 및 클락 생성부(640)에는 도 1 내지 도 4를 통하여 기술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
도 7a 및 도 7b는 일 실시예에 따른 하이브리드 이미지 센서를 설명하기 위한 도면이다.
도 7a를 참조하면, 일 실시예에 따른 이미지 센서(710)는 시간 동기적으로 오브젝트를 촬영하는 복수의 제1 이미지 픽셀들(712) 및 시간 비동기적으로 오브젝트의 움직임 이벤트를 감지하는 적어도 하나의 제2 이미지 픽셀(711)을 포함할 수 있다.
이하, 설명의 편의를 위하여 제1 이미지 픽셀을 프레임 기반 이미지 픽셀이라 하고, 제2 이미지 픽셀을 이벤트 기반 이미지 픽셀이라 한다.
이미지 센서(710) 내에서, 적어도 하나의 이벤트 기반 이미지 픽셀은 복수의 프레임 기반 이미지 픽셀들 중 대응되는 적어도 하나의 프레임 기반 이미지 픽셀과 인접하게 배치될 수 있다.
또는, 적어도 하나의 이벤트 기반 이미지 픽셀 각각은 대응되는 복수의 프레임 기반 이미지 픽셀들 사이에 배치될 수 있다.
예를 들어, 이벤트 기반 이미지 픽셀 하나 당 프레임 기반 이미지 픽셀 8개가 대응될 수 있다. 이 경우, 이벤트 기반 이미지 픽셀은 대응되는 8개의 이미지 픽셀들에 둘러 쌓이는 구조로 배치될 수 있다.
이미지 센서(710)는 이벤트 기반 이미지 픽셀들과 프레임 기반 이미지 픽셀들을 모두 포함하는 단일의 웨이퍼로 제작될 수 있다.
이미지 센서(710)는 전술한 하이브리드 구조의 픽셀들을 이용함으로써, 광학적 정렬이나, 웨이퍼에 의한 빛의 흡수 등을 고려하지 않을 수 있다.
도 7b를 참조하면, 이미지 센서(710)는 도 1 내지 도 4를 통하여 기술한 영상 정합 장치에 화소 데이터 및 이벤트 데이터를 제공할 수 있다.
예를 들어, 일 실시예에 따른 이미지 처리 장치는 하이브리드 이미지 센서(710), 정합부(730), 클락 생성부(740), 및 렌즈(720)를 포함할 수 있다.
하이브리드 이미지 센서(710)에 포함된 이벤트 기반 이미지 픽셀들과 프레임 기반 이미지 픽셀들, 정합부(730), 및 클락 생성부(740)에는 도 1 내지 도 4를 통하여 기술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
도 8은 일 실시예에 따른 영상 정합 방법을 나타낸 동작 흐름도이다.
도 8을 참조하면, 일 실시예에 따른 영상 정합 장치는 단계 810에서 클락 신호를 획득할 수 있다. 영상 정합 장치는 단계 820에서 미리 정해진 이벤트를 감지함에 따라 클락 신호에 비동기적으로 발생되는 이벤트 데이터를 획득할 수 있다.
영상 정합 장치는 단계 830에서 미리 정해진 초당 프레임 수에 따라 클락 신호에 동기적으로 발생되는 화소 데이터를 획득할 수 있다. 영상 정합 장치는 클락 신호에 기초하여 이벤트 데이터 및 화소 데이터를 정합할 수 있다.
도 8에 도시된 각 단계들에는 도 1 내지 도 7b를 통하여 기술된 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 시간 동기적으로 오브젝트를 촬영한 제1 입력 영상 및 시간 비동기적으로 상기 오브젝트의 움직임 이벤트를 감지한 제2 입력 영상을 수신하는 수신부; 및
    상기 제1 입력 영상 및 상기 제2 입력 영상을 정합하는 정합부; 를 포함하며,
    상기 정합부는, 상기 제1 입력 영상의 시간 정보 및 상기 제2 입력 영상의 시간 정보를 정합하기 위하여, 상기 제2 입력 영상에 포함된 이벤트 타이밍(event timing) 및 상기 제1 입력 영상을 위한 복수의 프레임 주기들 중 어느 하나의 프레임 주기를 매칭하는 시간 정합부를 포함하는 영상 정합 장치.
  2. 제1항에 있어서,
    상기 제1 입력 영상은 미리 정해진 초당 프레임 수에 따라 상기 오브젝트를 촬영하는 이미지 센서의 출력 영상인 영상 정합 장치.
  3. 제1항에 있어서,
    상기 제2 입력 영상은 상기 오브젝트를 촬영하는 동적 비전 센서(Dynamic Vision Sensor)의 출력 영상인 영상 정합 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 시간 정합부는 특정 프레임 주기에 대응되는 시간 구간 내에 포함되는 이벤트 타이밍 및 상기 특정 프레임 주기의 다음 프레임 주기를 매칭하는 영상 정합 장치.
  6. 제1항에 있어서,
    상기 시간 정합부는 상기 이벤트 타이밍 및 상기 복수의 프레임 주기들에 대응되는 복수의 프레임 싱크 타이밍(frame sync timing)들 중 상기 이벤트 타이밍과 가장 가까운 프레임 싱크 타이밍에 대응되는 프레임 주기를 매칭하는 영상 정합 장치.
  7. 제1항에 있어서,
    상기 시간 정합부는 특정 프레임 주기에 대응되는 시간 구간 내에 포함되는 이벤트 타이밍 및 상기 특정 프레임 주기를 매칭하는 영상 정합 장치.
  8. 제1항에 있어서,
    상기 정합부는
    상기 제1 입력 영상의 해상도 및 상기 제2 입력 영상의 해상도의 차이에 기초하여 상기 제1 입력 영상의 공간 정보 및 상기 제2 입력 영상의 공간 정보를 정합하는 공간 정합부
    를 포함하는 영상 정합 장치.
  9. 제1항에 있어서,
    상기 제2 입력 영상은
    상기 움직임 이벤트가 감지된 상기 이벤트 타이밍;
    상기 움직임 이벤트가 감지된 픽셀 인덱스; 및
    상기 움직임 이벤트의 유형을 지시하는 지시자
    중 적어도 하나를 포함하는 영상 정합 장치.
  10. 제1항에 있어서,
    렌즈를 통해 입력되는 빛을 균등하게 분할하는 빔 스플리터; 및
    상기 균등하게 분할된 빛을 상기 제1 입력 영상을 출력하는 제1 이미지 센서 및 상기 제2 입력 영상을 출력하는 제2 이미지 센서로 동일한 시점에 인가하는 인가부
    를 더 포함하는 영상 정합 장치.
  11. 제1항에 있어서,
    상기 제1 입력 영상을 출력하는 제1 이미지 센서; 및
    상기 제2 입력 영상을 출력하는 제2 이미지 센서
    를 더 포함하고,
    상기 제1 이미지 센서와 상기 제2 이미지 센서는 상기 제1 이미지 센서를 투과한 빛이 상기 제2 이미지 센서에 도달하도록 배치되는 영상 정합 장치.
  12. 제1항에 있어서,
    상기 제1 입력 영상을 출력하는 복수의 제1 이미지 픽셀들 및 상기 제2 입력 영상을 출력하는 복수의 제2 이미지 픽셀들을 포함하는 제3 이미지 센서
    를 더 포함하고,
    상기 복수의 제2 이미지 픽셀들 각각은 상기 복수의 제1 이미지 픽셀들 중 대응되는 제1 이미지 픽셀들 사이에 배치되는 영상 정합 장치.
  13. 제1항에 있어서,
    상기 제2 입력 영상의 수신에 반응하여, 상기 움직임 이벤트가 감지된 상기 이벤트 타이밍 및 픽셀 인덱스 중 적어도 하나에 대응되는 제1 입력 영상의 프레임 및 픽셀을 선별적으로 처리하는 처리부
    를 더 포함하는 영상 정합 장치.
  14. 시간 동기적으로 오브젝트를 촬영하는 제1 이미지 센서; 및
    시간 비동기적으로 상기 오브젝트의 움직임을 감지하는 제2 이미지 센서; 를 포함하며,
    상기 제1 이미지 센서가 출력하는 제1 입력 영상과 상기 제2 이미지 센서가 출력하는 제2 입력 영상은, 상기 제1 이미지 센서가 상기 오브젝트를 촬영하는 프레임 주기들에 대응하는 프레임 싱크 타이밍들 중 적어도 하나를 상기 제2 이미지 센서가 상기 오브젝트의 움직임을 감지한 이벤트 타이밍에 매칭시킴으로써 정합되는 이미지 센싱 장치.
  15. 제14항에 있어서,
    공간적으로 이격된 상기 제1 이미지 센서 및 상기 제2 이미지 센서에 동일한 빛이 입력되도록 렌즈를 통해 입력되는 빛을 균등하게 분할하는 빔 스플리터
    를 더 포함하는 이미지 센싱 장치.
  16. 제14항에 있어서,
    상기 제1 이미지 센서와 상기 제2 이미지 센서는 상기 제1 이미지 센서를 투과한 빛이 상기 제2 이미지 센서에 도달하도록 배치되는 이미지 센싱 장치.
  17. 시간 동기적으로 오브젝트를 촬영하는 복수의 제1 이미지 픽셀들; 및
    시간 비동기적으로 상기 오브젝트의 움직임 이벤트를 감지하는 적어도 하나의 제2 이미지 픽셀; 을 포함하고,
    상기 적어도 하나의 제2 이미지 픽셀은 상기 복수의 제1 이미지 픽셀들 중 대응되는 적어도 하나의 제1 이미지 픽셀과 인접하게 배치되며,
    상기 복수의 제1 이미지 픽셀들은 소정의 프레임 싱크 신호에 의해 정해지는 초당 프레임 수에 따라 상기 오브젝트를 촬영하여 화소 데이터를 출력하고,
    상기 적어도 하나의 제2 이미지 픽셀은 상기 움직임 이벤트를 감지한 시각에 대응하는 이벤트 타이밍을 포함하는 이벤트 데이터를 출력하며,
    상기 이벤트 타이밍과 상기 프레임 싱크 신호를 매칭시켜 상기 화소 데이터와 상기 이벤트 타이밍을 정합하는 이미지 센서.
  18. 삭제
  19. 제17항에 있어서,
    상기 이벤트 데이터는, 상기 이벤트 타이밍, 상기 적어도 하나의 제2 이미지 픽셀의 인덱스 및 상기 움직임 이벤트의 유형을 지시하는 지시자 중 적어도 하나를 포함하는 이미지 센서.
  20. 제17항에 있어서,
    상기 움직임 이벤트는 입력되는 빛의 명암 변화와 관련된 이벤트를 포함하는 이미지 센서.
KR1020130068855A 2013-06-17 2013-06-17 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서 Active KR102081087B1 (ko)

Priority Applications (8)

Application Number Priority Date Filing Date Title
KR1020130068855A KR102081087B1 (ko) 2013-06-17 2013-06-17 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서
US14/299,599 US10237506B2 (en) 2013-06-17 2014-06-09 Image adjustment apparatus and image sensor for synchronous image and asynchronous image
US16/279,565 US10674104B2 (en) 2013-06-17 2019-02-19 Image adjustment apparatus and image sensor for synchronous image and asynchronous image
US16/859,598 US11233964B2 (en) 2013-06-17 2020-04-27 Image adjustment apparatus and image sensor for synchronous image and asynchronous image
US17/554,826 US11627271B2 (en) 2013-06-17 2021-12-17 Image adjustment apparatus and image sensor for synchronous image and asynchronous image
US18/185,173 US11863894B2 (en) 2013-06-17 2023-03-16 Image adjustment apparatus and image sensor for synchronous image and asynchronous image
US18/499,886 US12250480B2 (en) 2013-06-17 2023-11-01 Image adjustment apparatus and image sensor for synchronous image and asynchronous image
US18/499,838 US12108177B2 (en) 2013-06-17 2023-11-01 Image adjustment apparatus and image sensor for synchronous image and asynchronous image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130068855A KR102081087B1 (ko) 2013-06-17 2013-06-17 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서

Publications (2)

Publication Number Publication Date
KR20140146337A KR20140146337A (ko) 2014-12-26
KR102081087B1 true KR102081087B1 (ko) 2020-02-25

Family

ID=52018924

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130068855A Active KR102081087B1 (ko) 2013-06-17 2013-06-17 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서

Country Status (2)

Country Link
US (7) US10237506B2 (ko)
KR (1) KR102081087B1 (ko)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102081087B1 (ko) 2013-06-17 2020-02-25 삼성전자주식회사 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서
US9363427B2 (en) * 2013-08-28 2016-06-07 Disney Enterprises, Inc. Device and method for calibrating a temporal contrast sensor with a frame-based camera sensor
WO2015192062A1 (en) * 2014-06-12 2015-12-17 The University Of North Carolina At Chapel Hill Camera sensor with event token based image capture and reconstruction
US10728450B2 (en) * 2014-09-30 2020-07-28 Qualcomm Incorporated Event based computer vision computation
US9762834B2 (en) * 2014-09-30 2017-09-12 Qualcomm Incorporated Configurable hardware for computing computer vision features
US9986179B2 (en) 2014-09-30 2018-05-29 Qualcomm Incorporated Sensor architecture using frame-based and event-based hybrid scheme
US10515284B2 (en) 2014-09-30 2019-12-24 Qualcomm Incorporated Single-processor computer vision hardware control and application execution
US9554100B2 (en) 2014-09-30 2017-01-24 Qualcomm Incorporated Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor
US9940533B2 (en) 2014-09-30 2018-04-10 Qualcomm Incorporated Scanning window for isolating pixel values in hardware for computer vision operations
US20170132466A1 (en) 2014-09-30 2017-05-11 Qualcomm Incorporated Low-power iris scan initialization
US9923004B2 (en) 2014-09-30 2018-03-20 Qualcomm Incorporated Hardware acceleration of computer vision feature detection
US9838635B2 (en) 2014-09-30 2017-12-05 Qualcomm Incorporated Feature computation in a sensor element array
US9704056B2 (en) 2015-04-02 2017-07-11 Qualcomm Incorporated Computing hierarchical computations for computer vision calculations
KR102307055B1 (ko) 2015-04-28 2021-10-01 삼성전자주식회사 이벤트 기반 센서의 출력에 기초하여 정적 패턴을 추출하는 방법 및 장치
KR102421141B1 (ko) 2015-10-30 2022-07-14 삼성전자주식회사 이벤트 신호 및 영상의 저장 방법 및 저장 장치, 저장 장치로 이벤트 신호를 전송하는 비전 센서의 동작 방법
KR102399017B1 (ko) * 2015-11-16 2022-05-17 삼성전자주식회사 이미지 생성 방법 및 장치
KR102512828B1 (ko) 2016-01-22 2023-03-22 삼성전자주식회사 이벤트 신호 처리 방법 및 장치
US9934557B2 (en) 2016-03-22 2018-04-03 Samsung Electronics Co., Ltd Method and apparatus of image representation and processing for dynamic vision sensor
KR20180056962A (ko) * 2016-11-21 2018-05-30 삼성전자주식회사 전원 제어 회로를 포함하는 이벤트 기반 센서
US10984235B2 (en) 2016-12-16 2021-04-20 Qualcomm Incorporated Low power data generation for iris-related detection and authentication
US10614332B2 (en) 2016-12-16 2020-04-07 Qualcomm Incorportaed Light source modulation for iris size adjustment
US10855927B2 (en) 2017-03-08 2020-12-01 Samsung Electronics Co., Ltd. Event detecting device including an event signal generator and an output signal generator
US10516841B2 (en) 2017-03-08 2019-12-24 Samsung Electronics Co., Ltd. Pixel, pixel driving circuit, and vision sensor including the same
US10523918B2 (en) 2017-03-24 2019-12-31 Samsung Electronics Co., Ltd. System and method for depth map
US10698068B2 (en) * 2017-03-24 2020-06-30 Samsung Electronics Co., Ltd. System and method for synchronizing tracking points
CN108734739A (zh) * 2017-04-25 2018-11-02 北京三星通信技术研究有限公司 用于时间对齐标定、事件标注、数据库生成的方法及装置
WO2019046581A1 (en) * 2017-08-30 2019-03-07 Massachusetts Institute Of Technology BIMODAL IMAGING RECEIVER
EP3543898A1 (en) * 2018-03-21 2019-09-25 Robert Bosch Gmbh Fast detection of secondary objects that may intersect the trajectory of a moving primary object
US11140349B2 (en) * 2018-09-07 2021-10-05 Samsung Electronics Co., Ltd. Image sensor incuding CMOS image sensor pixel and dynamic vision sensor pixel
KR102790049B1 (ko) * 2018-09-07 2025-04-08 삼성전자주식회사 Cis 픽셀 및 dvs 픽셀을 포함하는 이미지 센서
KR102584501B1 (ko) 2018-10-05 2023-10-04 삼성전자주식회사 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치
EP3844945B1 (en) * 2018-10-25 2023-11-29 Samsung Electronics Co., Ltd. Method and apparatus for dynamic image capturing based on motion information in image
KR102708718B1 (ko) 2018-10-25 2024-09-23 삼성전자주식회사 이미지 내의 동작 정보에 기초한 동적 이미지 캡처 방법 및 장치
JP2022028982A (ja) * 2018-12-05 2022-02-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、信号処理チップ、および、電子機器
JP7191236B2 (ja) * 2019-08-20 2022-12-16 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法およびプログラム
WO2021117155A1 (ja) 2019-12-11 2021-06-17 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、システム、画像処理方法、および画像処理プログラム
US20210185266A1 (en) 2019-12-13 2021-06-17 Sony Semiconductor Solutions Corporation Methods and systems of low power facial recognition
US11394905B2 (en) 2019-12-13 2022-07-19 Sony Semiconductor Solutions Corporation Dynamic region of interest and frame rate for event based sensor and imaging camera
KR102369432B1 (ko) * 2020-02-25 2022-03-03 삼성전기주식회사 카메라 모듈
WO2022258430A1 (en) * 2021-06-10 2022-12-15 Sony Semiconductor Solutions Corporation Method and apparatus for characterizing a dynamic vision sensor
US12262128B2 (en) * 2021-07-21 2025-03-25 Sony Group Corporation Image sensor control circuitry and image sensor control method
US11979675B2 (en) * 2022-04-25 2024-05-07 Sony Semiconductor Solutions Corporation Image sensing device with event based vision sensor pixels and imaging pixels
CN114965292A (zh) * 2022-04-28 2022-08-30 香港中文大学（深圳） 一种磁光克尔显微镜及获取磁畴壁图像的方法
WO2024004519A1 (ja) * 2022-06-28 2024-01-04 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279897A (ja) * 2005-03-30 2006-10-12 Seiko Precision Inc 画像センサ、追跡装置及び被写体追跡方法
JP2008507229A (ja) * 2004-07-19 2008-03-06 グランドアイ，エルティーディー 広角ビデオカメラのズーム機能の自動拡張
JP2010016659A (ja) * 2008-07-04 2010-01-21 Sony Corp 撮像装置
JP2012074893A (ja) * 2010-09-28 2012-04-12 Honda Motor Co Ltd 撮像装置、撮像方法、及び撮像プログラム

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6192322B1 (en) 1996-04-19 2001-02-20 Raytheon Company Moving object and transient event detection using rotation strip aperture image measurements
ATE405102T1 (de) 1996-11-27 2008-08-15 Princeton Video Image Inc Einfügung von bildern in videoströmen unter benutzung von physikalischen sensoren und mustererkennung
CA2242622A1 (en) * 1997-07-10 1999-01-10 Universite Laval Integrated motion vision sensor
JP3595745B2 (ja) * 1999-01-29 2004-12-02 キヤノン株式会社 画像処理装置
US20030202701A1 (en) 2002-03-29 2003-10-30 Jonathon Schuler Method and apparatus for tie-point registration of disparate imaging sensors by matching optical flow
US7542090B1 (en) * 2003-03-21 2009-06-02 Aerodyne Research, Inc. System and method for high-resolution with a small-format focal-plane array using spatial modulation
US7683940B2 (en) * 2003-09-12 2010-03-23 Canon Kabushiki Kaisha Streaming non-continuous video data
US8134637B2 (en) * 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
KR100636969B1 (ko) 2004-12-30 2006-10-19 매그나칩 반도체 유한회사 Ｉｓｐ 내장형 이미지 센서 및 듀얼 카메라 시스템
US9621749B2 (en) * 2005-06-02 2017-04-11 Invention Science Fund I, Llc Capturing selected image objects
KR20060112719A (ko) * 2005-04-27 2006-11-02 (주)모어엠 영상 저장 시스템 및 그 방법
WO2007059104A2 (en) * 2005-11-14 2007-05-24 Sarnoff Corporation Cmos image sensor having hybrid pixel arrays
JP2007166581A (ja) * 2005-11-16 2007-06-28 Matsushita Electric Ind Co Ltd 高速撮影用固体撮像装置
US20080030592A1 (en) * 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
AT504582B1 (de) * 2006-11-23 2008-12-15 Arc Austrian Res Centers Gmbh Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor
KR101316179B1 (ko) 2007-02-05 2013-10-08 엘지이노텍 주식회사 듀얼 카메라
US7978239B2 (en) * 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
US7969469B2 (en) 2007-11-30 2011-06-28 Omnivision Technologies, Inc. Multiple image sensor system with shared processing
EP2328337A4 (en) * 2008-09-02 2011-08-10 Huawei Device Co Ltd 3D VIDEO COMMUNICATION, TRANSMISSION DEVICE, SYSTEM AND IMAGE RECONSTRUCTION, SYSTEM
US8493482B2 (en) 2010-08-18 2013-07-23 Apple Inc. Dual image sensor image processing system and method
US8698092B2 (en) * 2010-09-10 2014-04-15 Samsung Electronics Co., Ltd. Method and apparatus for motion recognition
US20120087571A1 (en) * 2010-10-08 2012-04-12 Electronics And Telecommunications Research Institute Method and apparatus for synchronizing 3-dimensional image
KR101792866B1 (ko) * 2011-04-06 2017-11-20 삼성전자주식회사 이벤트 센서와 칼라 센서를 이용한 동작 인식 장치 및 그 방법
KR20130090225A (ko) * 2012-02-03 2013-08-13 삼성전자주식회사 카메라 이미지 센서의 동작 모드 변경 방법
US8860930B2 (en) * 2012-06-02 2014-10-14 Richard Kirby Three dimensional surface mapping system using optical flow
US8928765B2 (en) * 2012-06-08 2015-01-06 Apple Inc. Noise reduction based on motion sensors
KR101887988B1 (ko) * 2012-07-03 2018-08-14 삼성전자 주식회사 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
KR101896666B1 (ko) * 2012-07-05 2018-09-07 삼성전자주식회사 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
CN116405747A (zh) * 2012-11-28 2023-07-07 核心光电有限公司 多孔径成像系统以及通过多孔径成像系统获取图像的方法
US9628738B2 (en) * 2013-01-31 2017-04-18 Nanyang Technological University Motion detection image sensors and methods for controlling a motion detection image sensor
KR102081087B1 (ko) * 2013-06-17 2020-02-25 삼성전자주식회사 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서
KR101518804B1 (ko) * 2013-06-24 2015-05-11 삼성전자주식회사 의료 데이터 관리 방법 및 장치
US9094628B2 (en) * 2013-10-27 2015-07-28 Raytheon Company Address mapped repartitioned digital pixel

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008507229A (ja) * 2004-07-19 2008-03-06 グランドアイ，エルティーディー 広角ビデオカメラのズーム機能の自動拡張
JP2006279897A (ja) * 2005-03-30 2006-10-12 Seiko Precision Inc 画像センサ、追跡装置及び被写体追跡方法
JP2010016659A (ja) * 2008-07-04 2010-01-21 Sony Corp 撮像装置
JP2012074893A (ja) * 2010-09-28 2012-04-12 Honda Motor Co Ltd 撮像装置、撮像方法、及び撮像プログラム

Also Published As

Publication number Publication date
US11627271B2 (en) 2023-04-11
US20200260042A1 (en) 2020-08-13
US20240064428A1 (en) 2024-02-22
KR20140146337A (ko) 2014-12-26
US11863894B2 (en) 2024-01-02
US20230224606A1 (en) 2023-07-13
US10674104B2 (en) 2020-06-02
US20190191122A1 (en) 2019-06-20
US20220109803A1 (en) 2022-04-07
US20140368712A1 (en) 2014-12-18
US10237506B2 (en) 2019-03-19
US20240064429A1 (en) 2024-02-22
US11233964B2 (en) 2022-01-25
US12108177B2 (en) 2024-10-01
US12250480B2 (en) 2025-03-11

Similar Documents

Publication Publication Date Title
KR102081087B1 (ko) 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서
US9386298B2 (en) Three-dimensional image sensors
US10070078B2 (en) Solid-state image sensor with pixels having in-pixel memories, motion information acquisition apparatus, and imaging apparatus
CN110213565B (zh) 成像系统和用于深度计算的方法
CN109903324B (zh) 一种深度图像获取方法及装置
KR102248404B1 (ko) 움직임 분석 방법 및 움직임 분석 장치
JP2014002744A (ja) イベントベースイメージ処理装置及びその装置を用いた方法
FI2973476T3 (fi) Järjestelmiä ja menetelmiä stereokuvaukseen kameraryhmillä
JP2014174357A (ja) 撮像装置、撮像システム、信号処理装置、プログラム、および、記憶媒体
US9699381B2 (en) Digital photographing motion compensation system and method
US10701296B2 (en) Thermal camera with image enhancement derived from microelectromechanical sensor
KR20200098790A (ko) 이미지 센서 및 이를 포함하는 전자 기기
US10728453B2 (en) Motion stabilized image sensor, camera module and apparatus comprising same
KR102530761B1 (ko) 이미지 센서, 카메라 모듈 및 이를 포함하는 기기
KR20160123757A (ko) 이미지 촬영 장치 및 이미지 촬영 방법
US20180213139A1 (en) Image processing apparatus and method
JP5950675B2 (ja) 撮像装置
US20240114263A1 (en) Multi-mode image sensor architecture
JP2014158237A5 (ko)
WO2025069161A1 (ja) コンピュータシステム、方法およびプログラム
WO2025069160A1 (ja) コンピュータシステム、方法およびプログラム
WO2015115067A1 (en) Solid-state image sensor, motion information acquisition apparatus, and imaging apparatus

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130617

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180601

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20130617

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190807

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20191203

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200219

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200220

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230125

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240125

Start annual number: 5

End annual number: 5