KR102022970B1

KR102022970B1 - 시각 센서에 기반하여 공간 정보를 감지하는 장치 및 방법

Info

Publication number: KR102022970B1
Application number: KR1020130048802A
Authority: KR
Inventors: 신창우; 박근주; 우주연; 이규빈
Original assignee: 삼성전자주식회사
Priority date: 2013-04-30
Filing date: 2013-04-30
Publication date: 2019-11-04
Also published as: US9986170B2; EP2800353B1; EP2800353A1; KR20140129893A; US20140320706A1

Abstract

시각 센서에 입력되는 빛에 변화를 주는 변화부를 이용하여 빛의 시간에 따른 변화를 감지하는 시각 센서에 입력되는 빛을 인위적으로 변화시킴으로써 시각 센서에 감지되는 대상체의 공간 정보를 파악하는 시각 센서에 기반하여 공간 정보를 감지하는 장치 및 방법을 제공할 수 있다.

Description

시각 센서에 기반하여 공간 정보를 감지하는 장치 및 방법{METHOD AND APPARATUS FOR SENSING SPATIAL INFORMATION BASED ON VISION SENSOR}

아래의 실시예들은 시각 센서에 기반하여 공간 정보를 감지하는 장치 및 방법에 관한 것이다.

시각 센서는 이미지 프로세싱을 위한 입력 데이터를 센싱하는 장치로서, 예를 들어 CMOS 센서 등과 같이 반도체 소자의 제조 기술을 이용하여 집적 회로화 된 광전 변환 소자 등을 포함할 수 있다.

일 실시예에 따르면, 시각 센서에 기반하여 공간 정보를 감지하는 장치는 빛의 시간에 따른 변화를 감지하는 시각 센서; 및 상기 시각 센서에 입력되는 빛에 변화를 주는 변화부를 포함하고, 상기 변화부를 이용하여 상기 시각 센서에 입력되는 빛을 인위적으로 변화시킴으로써 상기 시각 센서에 감지되는 대상체의 공간 정보를 파악할 수 있다.

상기 변화부는 상기 시각 센서에 입력되는 빛에 변화를 주기 위해 상기 시각 센서에 움직임을 주는 액츄에이터(actuator)를 포함할 수 있다.

상기 변화부는 상기 액츄에이터의 움직임의 정도를 조절하여 상기 시각 센서의 출력을 조절할 수 있다.

상기 변화부는 상기 액츄에이터(actuator)에 의해 상기 시각 센서에 움직임이 발생한 경우, 상기 움직임에 의해 상기 대상체에서 발생하는 빛의 공간 미분값을 산출할 수 있다.

상기 변화부는 상기 시각 센서에 입력되는 빛의 투과율의 변화 정도를 조절하여 빛의 밝기에 비례하는 출력을 발생시키는 셔터를 포함할 수 있다.

상기 시각 센서에 입력되는 빛의 파장 대역별 투과율을 변화시키는 적어도 하나의 컬러 필터를 더 포함하고, 상기 적어도 하나의 컬러 필터에 대하여 순차적으로 상기 셔터를 작동시킨 결과를 조합하여 컬러 이미지를 획득할 수 있다.

상기 변화부는 상기 시각 센서에 입력되는 빛의 투과율의 변화 정도를 조절하여 빛의 밝기에 비례하는 출력을 발생시키는 셔터를 더 포함하고, 상기 액츄에이터(actuator) 혹은 상기 셔터의 작동을 조절하여 상기 시각 센서에 입력되는 빛의 변화 정보와 상기 대상체의 공간 정보의 감지를 교대로 수행할 수 있다.

상기 빛의 시간에 따른 변화를 감지하는 제2 시각 센서; 및 상기 제2 시각 센서에 입력되는 빛에 변화를 주는 제2 변화부를 더 포함할 수 있다.

상기 변화된 빛에 의해 상기 시각 센서 및 상기 제2 시각 센서 각각에서 얻어지는 출력값을 획득하는 획득부; 상기 획득한 출력값을 이용하여 상기 시각 센서 및 상기 제2 시각 센서 각각에서 파악된 공간 정보의 차이(disparity)를 계산하는 계산부; 및 상기 공간 정보의 차이를 이용하여 3차원 공간 정보를 추출하는 추출부를 더 포함할 수 있다.

일 실시예에 따르면, 시각 센서에 기반하여 공간 정보를 감지하는 장치는 빛의 시간에 따른 변화를 감지하는 시각 센서; 및 상기 시각 센서에 움직임이 발생한 경우, 상기 시각 센서에서 획득한 신호에서 상기 움직임에 의해 발생한 신호를 보정하는 보정부를 포함할 수 있다.

상기 보정부는 상기 시각 센서의 움직임에 의해 화면의 적어도 일부에서 발생하는 광학 흐름(optical flow)을 측정하고, 상기 측정 결과와 상기 시각 센서의 각 픽셀에서의 광학 흐름의 차이를 이용하여 상기 시각 센서로부터 획득한 신호를 보정할 수 있다.

상기 시각 센서에서 발생하는 움직임을 감지하는 관성 센서를 더 포함할 수 있다.

상기 보정부는 상기 시각 센서에 움직임이 발생한 경우, 상기 관성 센서에서 획득한 신호를 이용하여 상기 시각 센서에서 획득한 신호를 보정할 수 있다.

상기 시각 센서의 위치, 방향, 줌 중 적어도 하나의 움직임 정보를 변화시키는 이동부를 더 포함하고, 상기 보정부는 상기 이동부의 움직임 정보를 이용하여 상기 시각 센서의 움직임에 의해 발생하는 신호를 계산하고, 상기 계산 결과를 이용하여 상기 시각 센서로부터 획득한 신호를 보정할 수 있다.

상기 시각 센서에서 획득한 신호 혹은 상기 보정부를 통해 보정된 신호에 대한 신뢰도를 추출하는 신뢰도 추출부를 더 포함할 수 있다.

일 실시예에 따르면, 시각 센서에 기반하여 공간 정보를 감지하는 방법은 빛의 시간에 따른 변화를 감지하는 시각 센서에 입력되는 빛에 변화를 주는 단계; 및 상기 시각 센서에 감지되는 대상체의 공간 정보를 파악하는 단계를 포함할 수 있다.

상기 시각 센서에 입력되는 빛에 변화를 주는 단계는 상기 시각 센서에 움직임을 주는 액츄에이터(actuator)를 이용하여 상기 시각 센서에 입력되는 빛에 변화를 주는 단계를 포함할 수 있다.

상기 시각 센서에 입력되는 빛에 변화를 주는 단계는 상기 액츄에이터의 움직임의 정도를 조절하여 상기 시각 센서의 출력을 조절하는 단계를 포함할 수 있다.

상기 시각 센서에 입력되는 빛에 변화를 주는 단계는 상기 액츄에이터(actuator)에 의해 상기 시각 센서에 움직임이 발생한 경우, 상기 움직임에 의해 상기 대상체에서 발생하는 빛의 공간 미분값을 산출하는 단계를 포함할 수 있다.

상기 시각 센서에 입력되는 빛에 변화를 주는 단계는 빛의 밝기에 비례하는 출력을 발생시키는 셔터를 이용하여 상기 시각 센서에 입력되는 빛의 투과율의 변화 정도를 조절하는 단계를 포함할 수 있다.

상기 시각 센서에 입력되는 빛의 파장 대역별 투과율을 변화시키는 적어도 하나의 컬러 필터를 장착하는 단계; 및 상기 컬러 필터에 대하여 순차적으로 상기 셔터를 작동시킨 결과를 조합하여 컬러 이미지를 획득하는 단계를 더 포함할 수 있다.

상기 시각 센서에 입력되는 빛에 변화를 주는 단계는 빛의 밝기에 비례하는 출력을 발생시키는 셔터를 이용하여 상기 시각 센서에 입력되는 빛의 투과율의 변화 정도를 조절하는 단계; 및 상기 액츄에이터(actuator) 혹은 상기 셔터의 작동을 조절하여 상기 시각 센서에 입력되는 빛의 변화 정보와 상기 대상체의 공간 정보의 감지를 교대로 수행하는 단계를 포함할 수 있다.

제2 시각 센서를 이용하여 상기 빛의 시간에 따른 변화를 감지하는 단계; 및 제2 변화부를 이용하여 상기 제2 시각 센서에 입력되는 빛에 변화를 주는 단계를 더 포함할 수 있다.

상기 변화된 빛에 의해 상기 시각 센서 및 상기 제2 시각 센서 각각에서 얻어지는 출력값을 획득하는 단계; 상기 획득한 출력값을 이용하여 상기 시각 센서 및 상기 제2 시각 센서 각각에서 파악된 공간 정보의 차이(disparity)를 계산하는 단계; 및 상기 공간 정보의 차이를 이용하여 3차원 공간 정보를 추출하는 단계를 더 포함할 수 있다.

일 실시예에 따르면, 시각 센서에 기반하여 공간 정보를 감지하는 방법은 빛의 시간에 따른 변화를 감지하는 시각 센서에 움직임이 발생하는지 여부를 감지하는 단계; 및 상기 시각 센서에 움직임이 발생한 경우, 상기 시각 센서에서 획득한 신호에서 상기 시각 센서의 움직임에 의해 발생한 신호를 보정하는 단계를 포함할 수 있다.

상기 보정하는 단계는 상기 시각 센서의 움직임에 의해 화면의 적어도 일부에서 발생하는 광학 흐름(optical flow)을 측정하는 단계; 및 상기 측정 결과와 상기 시각 센서의 각 픽셀에서의 광학 흐름의 차이를 이용하여 상기 시각 센서로부터 획득한 신호를 보정하는 단계를 포함할 수 있다.

상기 보정하는 단계는 상기 시각 센서에 움직임이 발생한 경우, 관성 센서를 이용하여 상기 시각 센서에서 발생하는 움직임을 감지하는 단계; 및 상기 관성 센서에서 획득한 신호를 이용하여 상기 시각 센서에서 획득한 신호를 보정하는 단계를 포함할 수 있다.

상기 시각 센서의 위치, 방향, 줌 중 적어도 하나의 움직임 정보를 변화시키는 단계; 상기 변화된 움직임 정보를 이용하여 상기 시각 센서의 움직임에 의해 발생하는 신호를 계산하는 단계; 및 상기 계산 결과를 이용하여 상기 시각 센서로부터 획득한 신호를 보정하는 단계를 포함할 수 있다.

상기 시각 센서에서 획득한 신호 혹은 상기 시각 센서에서 획득한 신호를 보정한 신호에 대한 신뢰도를 추출하는 단계를 더 포함할 수 있다.

도 1은 일 실시예에 따른 시각 센서에 기반하여 공간 정보를 감지하는 장치의 다양한 구성 예들 및 각 구성에 따른 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 시각 센서에 기반하여 공간 정보를 감지하는 장치가 적어도 하나의 컬러 필터에 대하여 순차적으로 셔터를 작동시키는 경우를 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 시각 센서에 기반하여 공간 정보를 감지하는 장치의 블록도이다.
도 4는 일 실시예에 따른 시각 센서에 기반하여 공간 정보를 감지하는 장치가 복수 개의 시각 센서 및 복수 개의 변화부를 포함하는 경우의 구성을 나타낸 블록도이다.
도 5는 일 실시예에 따른 시각 센서에 기반하여 공간 정보를 감지하는 방법을 나타낸 플로우차트이다.
도 6은 다른 실시예에 따른 시각 센서에 기반하여 공간 정보를 감지하는 방법을 나타낸 플로우 차트이다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 일실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 일 실시예에 따른 시각 센서에 기반하여 공간 정보를 감지하는 장치의 다양한 구성 예들 및 각 구성에 따른 동작을 설명하기 위한 도면이다.

도 1을 참조하면, 일 실시예에 따른 시각 센서에 기반하여 공간 정보를 감지하는 장치(이하, '감지 장치')는 시각 센서(110)와 액츄에이터(130), 셔터(150) 등을 포함할 수 있다.

시각 센서(110)는 대상체에 대한 빛의 시간에 따른 변화(빛의 시간 미분값)를 감지할 수 있다. 특히, 시각 센서(110)는 대상체에 대한 빛의 시간에 따른 변화를 감지함으로써 대상체의 움직임이 있을 경우 배경과 대상체의 움직임 중 움직임만을 선택적으로 감지할 수 있다. 시각 센서(110)는 예를 들어, 각 픽셀에서 광량의 변화만을 감지하는 DVS(Dynamic Vision Sensor)로 구현될 수 있다.

두 개 이상의 시각 센서(110)를 이용하여 대상체 혹은 공간 전체에 대한 빛의 시간에 따른 변화를 감지하는 경우, 대상체 혹은 공간 전체에 대한 3차원 공간 정보를 구할 수 있다.

시각 센서(110)가 각 픽셀에서 광량의 변화만을 감지하는 DVS(Dynamic Vision Sensor)로 구현되는 경우에, 시각 센서(110)는 움직이는 대상체 A에 대한 광량의 변화에 의해 101과 같이 움직이는 대상체 A의 공간 정보를 감지할 수 있다. 반면에, 대상체 B와 같이 움직임이 없는 경우, 시각 센서(110)는 움직이지 않는 대상체 B의 공간 정보를 감지할 수 없다.

이 때, 시각 센서(110)에 입력되는 빛을 인위적으로 변화시킴으로써 시각 센서(110)가 빛의 공간 미분 값이나 빛의 밝기 정보를 감지할 수 있고, 이것은 시각 센서(110)가 움직임이 없는 대상체 B의 공간 정보를 파악하도록 할 수 있다. 또한, 시각 센서(110)가 움직임이 없는 대상체 B의 공간 정보를 파악할 수 있다면, 감지 장치는 대상체뿐만 아니라 배경에 대한 공간 정보 또한 추출할 수 있다.

여기서, '공간 정보'는 공간에 존재하는 대상체 및 배경의 위치, 거리, 모양, 크기, 색깔 중 적어도 하나를 포함할 수 있다.

일 실시예에서는 액츄에이터(actuator)(130)를 이용하여 시각 센서(110) 자체에 인위적인 움직임을 줌으로써 대상체의 빛의 공간 미분 값을 감지하거나 혹은 셔터(150)를 이용하여 시각 센서(110)에 입력되는 빛의 투과율을 인위적으로 변화시켜줌으로써 시각 센서(110)가 대상체의 빛의 밝기에 비례하는 출력을 내도록 할 수 있다.

셔터(150)를 이용하여 시각 센서(110)에 입력되는 빛의 투과율을 인위적으로 변화시키는 경우에 대하여는 후술하기로 한다.

액츄에이터(130)는 시각 센서(110)에 입력되는 빛에 변화를 주기 위해 시각 센서(110)에 움직임을 줄 수 있다. 이때, 감지 장치는 예를 들어, 액츄에이터(130)가 움직이는 방향, 움직이는 주기 및 세기 등과 같은 움직임의 정도를 조절하여 시각 센서(110)의 출력을 조절할 수 있다.

감지 장치는 액츄에이터(130)에 의해 시각 센서(110)에 움직임이 발생한 경우, 대상체에서 발생하는 빛의 공간 미분값을 산출할 수 있다. 여기서, 대상체에서 발생하는 빛의 공간 미분값은 대상체의 윤곽 혹은 대상체의 에지(edge)에 해당할 수 있다.

따라서, 감지 장치가 시각 센서(110)와 액츄에이터(130)를 포함하는 경우, 감지 장치는 103과 같이 움직이는 대상체 A와 움직이지 않는 대상체 B 둘 다에 대한 공간 정보를 파악할 수 있다.

또한, 감지 장치는 시각 센서(110)와 셔터(shutter)(150)를 포함할 수도 있다.

여기서, 셔터(shutter)(150)는 기계적인 셔터일 수도 있지만, LCD 셔터 등과 같은 비-기계적인 셔터일 수도 있다.

셔터(150)는 시각 센서(110)에 입력되는 빛의 투과율을 변화 정도를 조절하여 빛의 밝기에 비례하는 출력을 발생시킬 수 있다.

예를 들어, 셔터(150)를 이용하여 시각 센서(110)에 입력되는 빛의 투과율을 변화시키는 경우 시각 센서(150)가 감지하는 대상(체)의 밝기에 비례하는 출력을 낼 수 있다.

이와 같이, 시각 센서(110) 앞에 셔터(150)나 조리개(미도시) 등을 이용하면 시각 센서(110)에 입력되는 전체적인 광량에 변화를 줄 수 있다. 그리고, 시각 센서(110)에 입력되는 광량에 변화를 주면, 시각 센서(110)의 각 픽셀에서는 밝기에 비례하는 이벤트 출력이 발생할 수 있다.

광량의 변화를 시간 간격을 두고 발생시키는 경우, 감지 장치는 동작 인식과 형태 인식을 교대로 수행할 수도 있다. 또한, 감지 장치는 액츄에어터(130) 혹은 셔터(150)의 On/Off 작동을 조절하여 시각 센서(150)에 입력되는 빛의 변화 정보와 대상체의 공간 정보의 감지를 교대로 수행할 수 있다. 예를 들어, 감지 장치는 액츄에이터(130)를 작동시켜 움직임(주로 진동)을 만들어 공간 정보를 감지하거나, 액츄에이터(130)를 작동시키지 않고 셔터(150)를 작동시켜 시각 센서(150)에 입력되는 빛의 변화 정보를 감지시키는 등과 같이 공간 정보와 빛의 변화 정보의 감지를 교대로 수행할 수 있다.

DVS(Dynamic Vision Sensor)와 같은 시각 센서(110)는 빛의 변화만을 감지하기 때문에 물체 혹은 배경의 형태와 색상을 감지하지 못할 수 있다. 이 경우, 시각 센서(110) 앞에 셔터(150) 혹은 컬러 필터(미도시)를 추가함으로써 빛의 밝기 및/또는 색상을 얻을 수 있다.

감지 장치는 셔터(150)를 이용하여 빛이 들어오는 상태와 빛이 없는 상태 간의 차이를 감지하여 빛의 밝기 정보를 구할 수 있다. 여기서, '빛이 없는 상태'는 빛이 전혀 없거나, 빛이 거의 없는 상태를 모두 포함하는 의미로 이해될 수 있다.

감지 장치는 셔터(150)를 이용하여 시각 센서(110)에 입력되는 빛의 투과율의 최소값, 최대값, 빛의 투과율의 시간적 패턴(예를 들어, 변화 주기 및 변화 속도 등) 중 적어도 하나를 조절할 수 있다.

감지 장치는 시각 센서(110)에 입력되는 빛의 파장 대역별 투과율을 변화시키는 적어도 하나의 컬러 필터(미도시)를 더 포함할 수 있다.

예를 들어, 감지 장치가 시각 센서(110), 셔터(150) 및 컬러 필터(미도시)를 포함하는 경우, 감지 장치는 예를 들어, R, G, B 3개의 컬러 필터에 대하여 순차적으로 셔터(150)를 작동시켜 R(Red), G(Green), B(Blue) 밝기 정보를 구할 수 있다. 그리고, 감지 장치는 앞서 구한 밝기 정보를 조합하여 105와 같이 움직이는 대상체 A와 움직이지 않는 대상체 B 둘 다에 대한 컬러 이미지를 획득(혹은 재구성)할 수 있다.

이때, 감지 장치는 셔터(150)를 통해 빛의 투과 시키는 시점, 다시 말해, 셔터(150)의 동작 시점과 시각 센서(110)의 출력을 동기화하여 컬러 정보를 추출할 수 있다.

감지 장치가 컬러 필터에 대하여 순차적으로 셔터(150)를 작동시킨 경우는 도 2를 참조할 수 있다.

도 2는 일 실시예에 따른 시각 센서에 기반하여 공간 정보를 감지하는 장치가 적어도 하나의 컬러 필터에 대하여 순차적으로 셔터를 작동시키는 경우를 설명하기 위한 도면이다.

도 2를 참조하면, 일 실시예에 따른 감지 장치는 210과 같이 R(Red), G(Green), B(Blue) 3개의 컬러 필터들을 순차적으로 적용한 후, 그 결과를 조합하여 컬러 이미지를 획득할 수 있다.

이때, 3개의 컬러 필터들을 순차적으로 적용시키기 위해 감지 장치는 셔터(150)에 의해 3개의 컬러 필터들 중 어느 하나의 컬러 필터에만 빛을 투과 혹은 차단하거나, 컬러 필터 각각이 순차적으로 시각 센서의 앞에 놓이도록 컬러 필터들의 위치를 이동시킬 수 있다. 감지 장치는 컬러 필더 각각에 개별적으로 셔터(150)를 적용할 수도 있다.

또한, 실시예에 따라서 감지 장치는 230과 같이 R(Red) 컬러 필터에 대한 밝기 정보에 따라 공간 정보를 감지한 다음, G(Green) 컬러 필터에 대한 밝기 정보에 따라 공간 정보를 감지할 수 있다. 그리고, 감지 장치는 G(Green) 컬러 필터에 대한 밝기 정보에 따라 공간 정보를 감지한 다음, B(Blue) 컬러 필터에 대한 밝기 정보에 따라 공간 정보를 감지할 수 있다.

도 3은 일 실시예에 따른 시각 센서에 기반하여 공간 정보를 감지하는 장치의 블록도이다.

도 3을 참조하면, 일 실시예에 따른 시각 센서에 기반하여 공간 정보를 감지하는 장치(이하, 감지 장치)는 시각 센서(310), 변화부(320), 이동부(330), 획득부(340), 보정부(350) 및 관성 센서(360)를 포함할 수 있다.

시각 센서(310)는 빛의 시간에 따른 변화를 감지할 수 있다. 시각 센서(310) 및 변화부(320)에 대한 구체적인 설명은 도 1을 참조한다.

변화부(320)는 빛의 변화를 주기 위해 시각 센서(310)에 움직임(주로 진동의 형태)을 줄 수 있다. 변화부(320)는 시각 센서(310)의 움직임의 세기, 혹은 움직임 주기 등을 조절하여 시간 센서(310)에 입력되는 빛에 변화를 줄 수 있다.

이동부(330)는 다른 곳을 보거나 시야를 바꾸기 위하여 시각 센서(310)의 위치, 방향, 줌(zoom) 등을 바꿔줄 수 있다.

변화부(320)는 예를 들어, 시각 센서(310)에 입력되는 빛에 변화를 주기 위해 시각 센서(310)에 움직임을 주는 액츄에이터(actuator)의 움직임을 조절하여 시각 센서(310)의 출력을 조절할 수 있다. 변화부(320)는 액츄에이터의 움직임을 통해 시각 센서(310)가 대상체에서 발생하는 빛의 공간 미분값을 감지하도록 할 수 있다.

변화부(320)는 액츄에이터 이외에도 셔터 또는 (컬러) 필터 등을 포함할 수 있다.

변화부(320)는 셔터를 이용하여 시각 센서(310)에 입력되는 광량을 변화시킴으로써 시각 센서(310)에 입력되는 빛에 변화를 줄 수 있다. 변화부(320)는 예를 들어, 셔터를 이용하여 시각 센서(110)에 입력되는 빛의 투과율의 최소값, 최대값, 각 투과율 당 지속 시간, 투과율의 변화 주기 등을 조절(변화)시켜 시각 센서에 입력되는 빛에 변화를 줄 수 있다.

획득부(340)는 시각 센서(310)의 출력으로부터 대상체의 변화 정보 및/또는 공간 정보를 획득할 수 있다. 이때, 시각 센서(310)의 출력은 변화부(320)의 작동이 없는 경우 대상체의 변화(예를 들어 움직임)에 비례하는 출력값이거나, 혹은 변화부(320)의 작동에 의한 빛의 공간 미분값 혹은 빛의 밝기에 비례한 출력값일 수 있다. 획득부(340)가 시각 센서(310)의 출력으로부터 대상체의 공간 정보를 획득하는 구체적인 방법은 도 4를 참조하여 설명한다.

이동부(330)는 시각 센서(310)의 위치나 방향, 줌(zoom) 등을 바꿔주기 위하여 센서를 움직여줄 수 있다.

이와 같이, 시각 센서(310)를 이용하여 물체의 움직임이나 공간 정보를 추출하는 경우, 이동부(330)의 작동에 의해서 혹은 기타의 원인(예를 들어 외부적인 힘, 기기의 손떨림, 자동차의 진동 등)에 의해 시각 센서(310) 자체가 움직이면 시각 센서(310)의 움직임 방향에 따라 화면 전체에 특정 방향의 광학 흐름이 발생할 수 있다. 따라서, 일 실시예에서 이러한 특정 방향의 광학 흐름을 보정함으로써 실제 원하는 대상체의 움직임 정보를 추출할 수 있다.

시각 센서(310)의 움직임에 의해 발생한 광학 흐름은 배경 혹은 화면 전체적으로 형성된 광학 흐름을 측정하고, 시각 센서(310)의 각 픽셀(pixel)에 따른 광학 흐름의 차이를 이용하여 구할 수도 있다.

보정부(350)는 시각 센서(310)에 움직임이 발생한 경우, 시각 센서에서 획득한 신호에서 움직임에 의해 발생한 신호를 보정할 수 있다. 보정부(350)는 시각 센서(310)의 움직임에 의해 화면의 적어도 일부에서 발생하는 광학 흐름(optical flow)을 측정하고, 측정 결과와 시각 센서(310)의 각 픽셀에서의 광학 흐름의 차이를 이용하여 시각 센서(310)로부터 획득한 신호를 보정할 수 있다.

보정부(350)는 이동부(330)의 움직임 정보를 이용하여 광학 흐름(optical flow)을 예측하거나 계산할 수도 있다. 또한, 보정부(350)는 시각 센서(310)의 움직임에 의해 발생하는 신호를 계산하고, 계산 결과를 이용하여 상기 시각 센서(310)로부터 획득한 신호를 보정할 수 있다.

여기서, '광학 흐름(optical flow)'은 관찰자와 화면의 상대적인 움직임에 의한 환경에서 지각자의 눈에 들어오는 빛(자극)의 흐름 혹은 명도 유형을 서서히 변화시킴으로써 발생하는 화상에서의 명백한 움직임의 속도 분포로 정의할 수 있다.

또한, 시각 센서(310)의 움직임에 의해 발생한 광학 흐름은 관성 센서(inertia sensor)(360)를 이용하여 시각 센서(310)에서 발생하는 움직임에 대한 움직임 정보를 얻고, 시각 센서(310)의 움직임에 의해 발생한 광학 흐름을 계산함으로써 구할 수 있다. 관성 센서(360)로는 예를 들어, 자이로 센서(gyro sensor)를 이용할 수 있다.

보정부(350)는 이동부(330)(예를 들어, 액츄에이터(actuator))에 의해 시각 센서(310)에 움직임이 발생한 경우, 관성 센서(350)에서 획득한 신호를 계산하고, 계산 결과를 이용하여 시각 센서(310)에서 획득한 신호를 보정할 수 있다.

보정부(350)는 시각 센서(310)에서 발생하는 움직임이 일정 임계값 이상인 경우에만 선택적으로 시각 센서(310)에서 획득한 신호를 보정할 수도 있다.

이와 같이 보정부(350)는 시각 센서(310)의 원래 목적인 움직임을 감지하는 기능을 강화하거나 공간 정보를 얻기 위해 시각 센서(310)의 움직임에 의해 발생하는 신호를 보정할 수 있다.

보정부(350)는 관성 센서(360)를 이용하여 시각 센서(310)에 발생된 움직임을 감지하고, 감지한 정보를 이용하여 광학 흐름을 예측 혹은 계산할 수 있다.

또한, 보정부(350)는 시각 센서(310)에서 획득한 움직임 정보와 관성 센서(360)를 이용하여 감지한 정보, 이동부(330)의 움직임 정보 중 적어도 하나를 사용하거나, 혹은 화면 전반(혹은 일부)의 광학 흐름을 구하고 화면의 각 부분에서 발생하는 광학 흐름과의 차이를 이용하여 시각 센서(310)의 (의도하지 않은) 움직임에 의해 발생하는 신호를 보정할 수도 있다.

실시예에 따라서, 감지 장치는 시각 센서(310)의 움직임에 대응하여 파악되는 대상체의 공간 정보(시각 센서에서 획득한 신호) 혹은 보정부(350)를 통해 보정된 신호에 대한 신뢰도를 추출하는 신뢰도 추출부(미도시)를 더 포함할 수 있다.

감지 장치는 예를 들어, 시각 센서(310)의 움직임이 과하거나 보정이 어려운 경우, 신뢰도 추출부(미도시)를 통해 시각 센서(310)의 움직임에 의한 물체의 움직임 감지의 신뢰도를 구하여 감지 장치의 오동작을 방지할 수 있다.

도 4는 일 실시예에 따른 시각 센서에 기반하여 공간 정보를 감지하는 장치가 복수 개의 시각 센서 및 복수 개의 변화부들을 포함하는 경우의 구성을 나타낸 블록도이다.

도 4를 참조하면, 일 실시예에 따른 시각 센서에 기반하여 공간 정보를 감지하는 장치(이하, 감지 장치)는 제1 시각 센서(410)와 제1 액츄에이터(413)(또는 제1 셔터(415)), 제2 시각 센서(430)와 제2 액츄에이터(433)(또는 제2 셔터(435)), 획득부(450), 계산부(470) 및 추출부(490)를 포함할 수 있다.

이때, 제1 액츄에이터(413)(또는 제1 셔터(415))를 '제1 변화부', 제2 액츄에이터(433)(또는 제2 셔터(435))를 '제2 변화부'로 표현할 수 있다.

일 실시예에서는 두 개 이상의 시각 센서들(410, 430)을 이용하여 공간 전체에 대한 3차원 정보를 획득할 수 있다. 제1 시각 센서(410)와 마찬가지로 제2 시각 센서(430) 또한 빛의 시간에 따른 변화를 감지할 수 있다. 그리고, 제2 변화부는 제1 변화부와 마찬가지로 인위적으로 제2 시각 센서(530)에 입력되는 빛에 변화를 줄 수 있다.

이 밖의 시각 센서 및 액츄에이터(혹은 셔터) 등에 대한 설명은 도 1내지 도 3의 설명을 참조하기로 한다.

획득부(450)는 제1 시각 센서(410) 및 제2 시각 센서(430) 각각의 출력값을 획득할 수 있다. 이때, 제1 시각 센서(410)에 입력되는 대상체의 윤곽은 401과 같이 나타나고, 제2 시각 센서(430)에 입력되는 대상체의 윤곽은 403과 같이 나타날 수 있다.

계산부(470)는 획득부(450)를 통해 얻은 정보(예를 들어, 제1 시각 센서(410) 및 제2 시각 센서(430) 각각에서 얻어지는 출력값)를 이용하여 제1 시각 센서(410) 및 제2 시각 센서(430) 각각에서 파악된 공간 정보의 차이(disparity)를 계산할 수 있다.

추출부(490)는 계산부(470)에서 계산된 공간 정보의 차이를 이용하여 3차원 공간 정보를 추출할 수 있다. 실시예에 따라서, 세 개 이상의 시각 센서들을 이용하여 시각 센서 각각에서 파악된 공간 정보의 차이를 계산하고, 계산된 공간 정보의 차이를 이용하여 3차원 공간 정보를 추출할 수도 있다.

도 5는 일 실시예에 따른 시각 센서에 기반하여 공간 정보를 감지하는 방법을 나타낸 플로우차트이다.

도 5를 참조하면, 일 실시예에 따른 감지 장치는 빛의 시간에 따른 변화를 감지하는 시각 센서에 입력되는 빛에 변화를 줄 수 있다(510).

510에서 감지 장치는 시각 센서에 움직임을 주는 액츄에이터(actuator)를 이용하여 시각 센서에 입력되는 빛에 변화를 주거나, 셔터를 이용하여 시각 센서에 입력되는 빛의 투과율을 변화시킬 수 있다. 셔터는 빛의 밝기에 비례하는 출력을 발생시킬 수 있으며, 감지 장치는 셔터를 이용하여 시각 센서에 입력되는 빛의 투과율의 변화 정도를 조절할 수 있다.

감지 장치는 액츄에이터의 움직임의 정도를 조절하여 시각 센서의 출력을 조절할 수 있다. 액츄에이터(actuator)에 의해 시각 센서에 움직임이 발생한 경우, 감지 장치는 움직임에 의해 대상체에서 발생하는 빛의 공간 미분값을 산출할 수 있다. 감지 장치는 적어도 하나의 컬러 필터에 대하여 순차적으로 셔터를 작동시켜 시각 센서에 입력되는 빛의 파장 대역별 투과율을 순차적으로 변화시킨 후, 순차적인 변화 결과를 조합하여 컬러 이미지를 획득할 수 있다. 적어도 하나의 컬러 필터는 시각 센서에 입력되는 빛의 파장 대역별 투과율을 변화시킬 수 있다. 감지 장치는 시각 센서에 빛을 투과시키는 시점과 시각 센서의 출력을 동기화할 수 있다. 또한, 감지 장치는 셔터를 이용하여 시각 센서에 입력되는 빛의 투과율의 최소값, 최대값 투과율 당 지속 시간, 빛의 변화 주기, 변화 속도 중 적어도 하나를 조절할 수 있다.

이후, 감지 장치는 시각 센서에 감지되는 대상체의 공간 정보를 파악할 수 있다(530).

실시예에 따라서, 감지 장치는 액츄에이터(actuator) 혹은 셔터의 작동을 조절하여 시각 센서에 입력되는 빛의 변화 정보와 대상체의 공간 정보의 감지를 교대로 수행할 수도 있다.

도 6은 다른 실시예에 따른 시각 센서에 기반하여 공간 정보를 감지하는 방법을 나타낸 플로우 차트이다.

도 6을 참조하면, 다른 실시예에 따른 감지 장치는 빛의 투과율을 조절하는 셔터를 이용하여 시각 센서에 입력되는 빛에 변화를 줄 수 있다(610).

이후, 감지 장치는 예를 들어, 자이로 센서 등과 같은 관성 센서를 이용하여 시각 센서에 움직임이 발생했는지 판단할 수 있다(620).

620의 판단 결과, 시각 센서에서 움직임이 발생하지 않았다고 판단되면, 감지 장치는 650으로 가서 보정 없이 공간 정보를 파악할 수 있다.

반면에, 620의 판단 결과, 시각 센서에서 일정 크기 이상의 움직임이 발생했다고 판단되면, 감지 장치는 관성 센서에서 획득한 신호를 이용하여 움직임에 의해 화면의 적어도 일부에서 발생하는 광학 흐름(optical flow)을 계산할 수 있다(630).

감지 장치는 630의 계산 결과를 이용하여 시각 센서에서 획득한 신호를 보정할 수 있다(640).

감지 장치는 640의 보정 결과를 반영하여, 시각 센서에 감지되는 대상체의 공간 정보를 파악할 수 있다(650).

실시예에 따라서, 감지 장치는 시각 센서의 위치, 방향, 줌 중 적어도 하나의 움직임 정보를 변화시키고, 변화된 움직임 정보를 이용하여 시각 센서의 움직임에 의해 발생하는 신호를 계산한 후, 계산 결과를 이용하여 시각 센서로부터 획득한 신호를 보정할 수도 있다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

110: 시각 센서
130: 액츄에이터(actuator)
150: 셔터(shutter)

Claims

장면의 공간 정보를 감지하는 장치에 있어서:
상기 장면으로부터의 빛의 시간적 변화를 감지하도록 구성되는 다이나믹 비전 센서(dynamic vision sensor); 그리고
상기 다이나믹 비전 센서로 입력되는 빛의 투과율을 조절하도록 구성되는 셔터를 포함하는 광 입력 컨트롤러를 포함하되,
제 1 시간에서, 상기 셔터는 제 1 투과율로 조절되고, 상기 장면의 시간적으로 변화하는 물체에 대한 변화 정보는 상기 다이나믹 비전 센서에 의해 감지되고,
제 2 시간에서, 상기 셔터는 상기 제 1 투과율과는 다른 제 2 투과율로 조절되고, 상기 장면의 상기 공간 정보는 상기 다이나믹 비전 센서에 의해 감지되는 장치.
제 1 항에 있어서,
상기 광 입력 컨트롤러는 상기 다이나믹 비전 센서를 움직이도록 구성되는 액츄에이터(actuator)를 더 포함하는 장치.
제 2 항에 있어서,
상기 광 입력 컨트롤러는 상기 액츄에이터의 움직임을 조절함으로써 상기 다이나믹 비전 센서의 출력을 조절하도록 구성되는 장치.
제 2 항에 있어서,
상기 다이나믹 비전 센서는, 움직임이 상기 액츄에이터에 의해 생성되었을 때, 상기 다이나믹 비전 센서에 의해 생성된 움직임에 의해 상기 물체로부터 생성된 빛의 공간적 차이를 감지하는 장치.
제 1 항에 있어서,
상기 셔터는, 상기 다이나믹 비전 센서로 입력되는 상기 빛의 관찰된 밝기에 비례하는 출력을 생성함으로써, 상기 다이나믹 비전 센서로 입력되는 상기 빛의 투과율을 조절하도록 구성되는 장치.
제 5 항에 있어서,
상기 다이나믹 비전 센서로 입력되는 상기 빛의 파장 대역에 따른 투과율을 변화시키도록 구성되는 적어도 하나의 컬러 필터를 더 포함하되,
상기 적어도 하나의 컬러 필터에 대한 상기 셔터의 동작 결과들을 순차적으로 조합함으로써 컬러 이미지가 획득되는 장치.
제 2 항에 있어서,
상기 장치는, 상기 액츄에이터 또는 상기 셔터의 동작을 제어 함으로써, 상기 장면의 시간적으로 변화하는 물체에 대한 상기 변화 정보의 상기 감지 및 상기 장면의 상기 공간 정보의 감지 및 상기 장면의 상기 공간 정보의 상기 감지를 수행하는 장치.
제 1 항에 있어서,
상기 다이나믹 비전 센서는 제 1 다이나믹 비전 센서이고, 상기 광 입력 장치는 제 1 광 입력 장치이고,
상기 장면으로부터의 상기 빛의 시간적 변화를 감지하도록 구성되는 제 2 다이나믹 비전 센서; 그리고
상기 제 2 다이나믹 비전 센서로 입력되는 상기 빛을 변화시키도록 구성되는 제 2 광 입력 컨트롤러를 더 포함하는 장치.
제 8 항에 있어서,
상기 제 1 다이나믹 비전 센서 및 상기 제 2 다이나믹 비전 센서로부터의 출력 값들을 획득하여 상기 제 1 다이나믹 비전 센서 및 상기 제 2 다이나믹 비전 센서로부터 인식된 공간 정보의 차이를 계산하고, 상기 공간 정보의 상기 차이를 이용하여 3차원 공간 정보를 추출하도록 구성되는 하나 또는 그 이상의 프로세서를 더 포함하는 장치.
제 1 항에 있어서,
상기 광 입력 컨트롤러는, 투과율의 최소값, 투과율의 최대값, 투과율의 유지 시간, 상기 다이나믹 비전 센서로 입력되는 상기 빛의 변화 주기, 또는 상기 다이나믹 비전 센서로 입력되는 상기 빛의 변화 속도 중 적어도 하나를 조절함으로써, 상기 다이나믹 비전 센서로 입력되는 상기 빛을 변화시키도록 구성되는 장치.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제