KR102708718B1

KR102708718B1 - 이미지 내의 동작 정보에 기초한 동적 이미지 캡처 방법 및 장치

Info

Publication number: KR102708718B1
Application number: KR1020190132391A
Authority: KR
Inventors: 크리쉬나파 프라딥 쿠마르 신다가타; 카르티크 스리니바산; 프라나브 프라카쉬 데쉬판데; 사이카트 쿠마르 다스; 알로크 샨카르랄 슈크라
Original assignee: 삼성전자주식회사
Priority date: 2018-10-25
Filing date: 2019-10-23
Publication date: 2024-09-23
Anticipated expiration: 2039-10-23
Also published as: US11539896B2; US20200137287A1; KR20200047389A; WO2020085874A1

Abstract

장면을 캡처할 때 행별로 노출값을 달리하여 동적 이미지를 고품질로 캡처하는 방법과 장치를 제공한다. 본 개시에 따른 동적 이미지 캡처는 이벤트 센서가 장면을 프리-캡처하여 이미지를 생성하는 단계, 상기 이미지로부터 이벤트 데이터를 생성하는 단계, 상기 이벤트 데이터에 기초하여 상기 이미지의 행별 노출값을 결정하는 단계, 및 상기 이미지의 행별 노출값에 기초하여 상기 이미지의 행별 판독 우선순위를 결정하는 것을 특징으로 한다.

Description

이미지 내의 동작 정보에 기초한 동적 이미지 캡처 방법 및 장치{Method and apparatus for capturing an image based motion information in the image}

본 개시는 고속 동작이나 움직임이 많은 장면을 캡처하는데 있어서 이벤트 기반 롤링 셔터 센서를 사용하는 이미지 캡처 방법과 장치에 관한 것이다.

고 다이내믹 레인지(high dynamic range; HDR) 이미지와 비디오를 캡처하고 프로세싱하는데는 시간과 비용이 많이 든다. 현재 HDR 처리 방법으로는 여러 이미지를 융합하여 처리함으로써 고속 움직임을 표현하고 있다. 하지만, 이러한 이미지 융합 방식은 계산량이 많아지고 이미지 상에서 오브젝트의 스큐(skew)가 발생하는 등의 단점이 있다.

고 다이내믹 레인지 이미지와 비디오를 캡처하는데 있어서 움직임을 잘 표현할 수 있는 이미지 캡처 방법과 장치가 필요하다.

위와 같은 과제를 해결하기 위하여 본 개시에 따른 동적 이미지 캡처 방법은 이벤트 센서가 장면을 프리-캡처하여 이미지를 생성하는 단계, 상기 이미지로부터 이벤트 데이터를 생성하는 단계, 상기 이벤트 데이터에 기초하여 상기 이미지의 행별 노출값을 결정하는 단계, 및 상기 이미지의 행별 노출값에 기초하여 상기 이미지의 행별 판독 우선순위를 결정하는 것을 특징으로 한다.

바람직하게는, 상기 이미지의 행별 판독 우선순위에 기초해서 상기 이미지를 캡쳐하여 RGB 데이터를 획득하는 단계를 더 포함한다.

바람직하게는, 상기 이벤트 데이터에 기초하여 상기 장면의 행별 동작 정보를 생성하는 단계를 더 포함한다.

바람직하게는, 상기 이미지의 행별 판독 우선순위를 결정하는 것은 상기 동작 정보에 기초하여 동작 정도가 높은 행에 높은 우선순위를 부여한다.

바람직하게는, 상기 이미지의 행별 노출값을 결정하는 단계는 상기 이미지의 행별로 밝기 강도를 결정하여 상기 이미지의 행별 노출값을 결정하는 것을 특징으로 한다.

바람직하게는, 상기 이미지로부터 상기 이벤트 데이터를 생성하는 단계는 상기 이미지 내의 오브젝트의 가장자리의 변화를 추출하여 상기 이벤트 데이터를 생성하는 것을 포함하는 것을 특징으로 한다.

바람직하게는, 상기 이벤트 데이터는 상기 이미지를 구성하는 픽셀의 강도의 비동기식 변화를 포함하는 것을 특징으로 한다.

바람직하게는, 상기 행별 노출값은 상기 장면의 각 행 마다의 노출시간에 기초하여 생성되는 것을 특징으로 한다.

바람직하게는, 상기 이미지의 행별로 밝기 강도가 높은 경우에는 상대적으로 작은 노출시간을, 상기 이미지의 행별로 밝기 강도가 낮은 경우에는 상대적으로 높은 노출시간을 할당하는 단계를 더 포함하는 것을 특징으로 한다.

바람직하게는, 상기 이벤트 데이터과 이전 RGB 프레임에서 획득된 이벤트 데이터에 기초하여 상기 이미지의 리던던시 정보를 결정하는 것을 더 포함하고, 상기 이미지의 행별 판독 우선순위를 결정하는 것은 상기 리던던시 정보를 이용하여 상기 이미지의 행별 판독 우선순위를 결정하는 것을 특징으로 한다.

또 다른 과제를 해결하기 위한 본 개시에 따른 동적 이미지 캡처에 있어서 노출 시간 제어 방법은, 장면을 프리-캡처하여 생성된 이미지의 각 행마다 밝기 레벨의 변화를 결정하는 단계, 상기 이미지의 각 행에 해당하는 밝기 레벨에 비례하여 상기 이미지의 각 행마다 RGB 센서를 통해 장면을 캡처할 때의 노출 시간을 결정하는 단계, 상기 각 행 중 상기 이미지 내 오브젝트의 움직임이 있는 행을 판단하는 단계, 상기 오브젝트의 움직임이 있는 행에 높은 판독 우선순위를 부여하는 단계, 및 상기 각 행별로 부여된 높은 우선순위에 따른 판독 시간을 결정하는 단계를 포함하는 것을 특징으로 한다.

바람직하게는, 상기 각 행마다 밝기 레벨의 변화를 결정하는 단계는 상기 오브젝트의 움직임을 캡처하는 이벤트 센서의 감도 임계값을 변화시키면서 상기 각 행마다 밝기 레벨의 변화를 결정하는 것을 특징으로 한다.

바람직하게는, 상기 결정된 판독 시간에 따라 RGB 프레임을 생성하는 단계를 더 포함하는 것을 특징으로 한다.

또 다른 과제를 해결하기 위한 본 개시에 따른 동적 이미지 캡처 장치는 장면을 프리-캡처하는 이벤트 센서, 및 상기 이벤트 센서에 의해 프리-캡처된 이미지로부터 이벤트 데이터를 생성하고, 상기 이벤트 데이터에 기초하여 상기 이미지의 행별 노출값을 결정하고, 상기 이미지의 행별 노출값에 기초하여 상기 이미지의 행별 판독 우선순위를 결정하는 프로세서를 포함하는 것을 특징으로 한다.

본 개시에 따른 동적 이미지 캡처 방법과 장치에 따라 빠른 동작이나 고속 움직임이 많은 이미지를 캡처하는데 있어서 적은 계산량을 가지고도 정적 이미지나 비디오에서 움직임을 잘 표현할 수 있다.

도 1은 CMOS 롤링 셔터 이미지 센서를 채용할 때 이미지 각 행의 판독 시간을 보여준다.
도 2a는 본 개시의 일실시예에 따른 전자 장치(200)의 블록도이다.
도 2b는 본 개시의 일실시예에 따른 프로세서(210)를 상세히 나타내는 도면이다.
도 3a은 본 개시의 일실시예에 따른 방법의 흐름도이다.
도 3b는 본 개시의 일실시예에 따른 방법의 흐름도이다.
도 4는 본 개시의 일실시예에 따라 HDR 이미지를 캡처하는 방법을 보여주는 개략도이다.
도 5는 본 개시의 일실시예에 따라 연속적인 RGB 프레임에 대한 프로세싱 단계를 도시한 도면이다.
도 6a는 본 개시의 일실시예에 따른 프리-캡처 단계를 도시한 도면이다.
도 6b는 본 개시의 일실시예에 따른 프리-캡처 단계를 도시한 도면이다.
도 7a, 도 7b 및 도 7c는 본 개시의 일실시예에 따른 노출 단계를 나타내는 도면이다.
도 8은 본 개시의 일실시예에 따른 판독 단계를 나타내는 도면이다.
도 9a, 도 9b, 도 9c 및 도 9d는 본 개시의 일실시예에 따른 HDR 이미지의 단계별 표시를 나타내는 그래프이다.
도 10a, 도 10b, 및 도 10c는 본 개시에 일실시예에 따른 동적 이미지 캡처 방법을 적용 여부에 따라 캡처된 이미지 차이를 보여주는 도면이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.

본 개시에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형식으로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 개시에 따른 인공지능과 관련된 기능은 프로세서와 메모리를 통해 동작된다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.

본 개시에 걸쳐 "행"과 "열"은 상대적 개념으로서 이미지를 카메라가 어떤 방향으로 캡처할 것인지에 따라 '행'이 '열'이 될 수 있고 반대로 '열'이 '행'이 될 수 있다. 따라서, 본 개시에서 '행'이라고 기재하였더라도 이는 이미지의 '열' 방향이 될 수도 있음을 의미한다.

CMOS (Complementary metal oxide semiconductor) 이미지 센서는 이미지를 캡처하고 프로세싱하는데 사용된다. CMOS 이미지 센서에서 최대로 달성할 수 있는 프레임 속도는 컬럼 멀티플렉서 또는 출력 증폭기에서의 최대 데이터 대역폭에 의해 결정된다.

이미지를 캡처하는 속도인 프레임 레이트는 증폭기와 픽셀 어레이로부터 신호를 샘플링하는 시간에 의존한다. 하지만, 점점 커지는 해상도와 초점 면적으로 인해 픽셀 액세스 시간은 점점 커지고 있고, 그 결과 주어진 해상도에서 CMOS 이미지 센서의 프레임 레이트는 점점 제한되고 있다.

카메라 장치의 CMOS 이미지 센서는 움직이는 물체를 포착함으로 인해 발생하는 "모션 아티팩트"를 보상하기 위해 비용이 많이 드는 디블러링(de-blurring) 기법이 적용되어야 한다. 그리고, 프레임 레이트가 높아지면 노출 시간이 짧아져 이미지 내에서 "광 부족(light-starved)"이 발생하므로 이미지 센서의 민감도가 낮아진다. CMOS 이미지 센서는 실시간으로 자동 노출 전환을 지원하지 않는다. 또한 CMOS 이미지 센서는 자동 캡처와 자동 노출 설정으로 전환하는 중간에 상당한 지연 시간이 크다. 카메라 장치에서 높은 프레임 레이트에서 낮은 이미지 센서 감도와 높은 지연 시간이 결합되면 고속 이미지나 동영상에서 낮은 품질의 영상이 생성될 수 밖에 없다.

CMOS 이미지 센서가 이미지를 판독하는 단계는 카메라 장치의 전력을 소비한다. CMOS 이미지 센서에 의해 소비되는 전력의 대부분은 전압 샘플링과 아날로그-디지털 변환과 관련된다. 전력 소비가 많이 발생하는 CMOS 이미지 센서에서 이미지 판독단계는 이미지 캡처에서 시간적 병목 현상을 발생시킨다.

롤링 셔터(rolling shutter)를 채용하는 카메라 장치는 CMOS 이미지 센서의 고정 대역폭 제약을 극복하고 높은 프레임 레이트를 달성하기 위해 도입된 아키텍처이다. 롤링 셔터방식은 이미지 센서가 이미지를 한번에 전체를 촬영하는 것이 아니라 한 행씩 촬영하는 방식이다. 이미지를 한 번에 전체를 촬영하는 방식은 글로벌 셔터 방식이라고 한다. 따라서, 롤링 셔터 방식에 의한 이미지 센싱은 촬영되는 이미지의 모든 부분이 즉각적으로 촬영되지 않으므로 장면에 고속으로 움직이는 오브젝트가 있는 경우 글로벌 셔터 방식에 비해 이미지 품질이 취약할 수 밖에 없다.

롤링 셔터 방식은 장면의 3차원 시공간 값을 유연하게 샘플링할 수 있도록 해주고 단일 이미지 내에서 동작과 다이내믹 레인지 정보를 효과적으로 인코딩하는 서브 이미지 캡처가 가능하다. 하지만, 현재 롤링 셔터 방식으로는 행(혹은 열) 노출값을 얼마나 할 것인지를 동적으로 생성할 수 없어 이미지 캡처를 하기 위한 판독과 이미지 캡처에 시간이 많이 걸린다.

본 명세서에 걸쳐 장면과 이미지는 혼용되어 사용될 수 있으며 일실시예에서는 장면을 캡처하여 얻어지는 결과물을 이미지라고 지칭하기도 할 것이다. 일반적으로 이미지는 장면을 캡처하여 얻어지는 장면 데이터라고 이해하는 것이 바람직하다.

도 1은 CMOS 롤링 셔터 이미지 센서를 채용할 때 이미지 각 행의 판독 시간을 보여준다.

도 1에 따르면 이미지 내에서 각 행의 판독 시간은 모두 일정하다. 즉, 장면 내에서 영역별 밝기에 상관없이 동일한 판독 시간이 할당되어 있음을 알 수 있다. 판독 패턴은 입력 이미지에 대한 이미지 처리를 거의 하지 않고 장면을 분석한 후에만 생성할 수 있다.

도 2a는 본 개시의 일실시예에 따른 전자 장치(200)의 블록도이다.

전자 장치(200)는 프로세서(210), 메모리(220), 센서(230)를 포함한다.

프로세서(210)는 메모리(220)와 연결되고 메모리(220)에 저장된 명령을 실행하도록 제어할 수 있다. 메모리(220)는 비휘발성 저장 매체일 수 있다. 비휘발성 저장 매체로는 자기 하드 디스크, 광 디스크, 플로피 디스크, 플래시 메모리, EPROM, EEPROM 중 어느 하나일 수 있다.

일실시예에서 메모리(220)는 비일시적(non-transitory)인 저장 매체일 수 있다. 여기서 비일시적(non-transitory)이라는 것은 저장 매체가 반송파 또는 전파로 구성된 신호로 구현되지 않음을 의미한다. 일실시예에서 메모리(220)는 시간이 경과함에 따라 변경될 수 있는 데이터를 저장할 수 있는 RAM 또는 캐시(cache)와 같은 저장 매체일 수 있다.

일실시예에서 센서(230)는 단안 센서(monocular sensor)일 수 있다. 센서(230)는 캡처 대상인 장면(scene)의 RGB 데이터(혹은 RGB 프레임)를 캡처하기 위한 RGB 회로 (혹은 RGB 센서)와 캡처 대상인 장면(scene)의 이벤트 데이터를 캡처하기 위한 이벤트 회로(혹은 이벤트 센서)를 포함한다. 장면의 이벤트 데이터는 장면을 캡처한 이미지 내에서 픽셀의 강도 변화를 포함할 수 있다. 이 때 픽셀의 강도(pixel intensity) 변화는 비동기식 변화일 수 있다. 비동기식 변화라고 함은 RGB 프레임 캡처와 동기화되지 않는다는 의미일 수 있다.

프로세서(210)는 센서(230)로부터 장면을 캡처함으로 인해 생성되는 장면 데이터를 획득한다. 장면 데이터는 센서(230)의 RGB 회로를 이용하여 캡처된 장면의 RGB 데이터와 이벤트 회로를 이용하여 캡처된 장면의 이벤트 데이터를 포함할 수 있다. 이벤트 데이터는 컬러 정보는 없이 장면 내 오브젝트의 움직임 정보 및/또는 픽셀 강도의 변화 정보를 담고 있는 데이터이다. RGB 데이터는 장면의 컬러 정보를 주로 담고 있는 정보이다.

프로세서(210)는 장면을 프리-캡처하여 획득된 이벤트 데이터에 기초하여 이미지(장면 데이터)의 행 단위(row-wise) 노출값을 결정한다. 장면을 캡처하여 생성된 이미지 내에서 픽셀이 변경되면 전자 장치(200)는 이벤트 데이터를 비동기적으로 수신한다. 이벤트 데이터에 따른 행별 노출값은 센서(230)의 감도 임계값을 변화시킴으로써 장면의 다양한 행에서 밝기 레벨의 변화를 식별하고 결정함으로써 얻어진다. 이벤트 센서의 감도는 장면의 광(illumination)과 연관되는 이벤트 밀도 변화를 얻기 위해 변동된다. 장면 내에서 이벤트 변화는 결국 장면 내 오브젝트의 움직임 변화라고 할 수 있다.

일실시예에서 프로세서(210)는 각 행에서 식별된 밝기 레벨에 기초하여 각 행에 대한 RGB 센서가 캡처할 때의 각 행별 노출 시간을 결정하고 RGB 센서에 이를 전송한다.

프로세서(210)는 이벤트 데이터에 기초하여 장면의 움직인 정보를 결정하고 센서(230)의 RGB 회로는 획득된 이벤트 데이터에 기초하여 생성된 행 단위 노출 판독 우선순위를 사용하여 장면을 캡처한다. 행 단위 판독 우선순위는 움직임을 나타내는 장면의 행을 식별하여 생성된다. 일실시예로 프로세서(210)는 장면 내에서 오브젝트의 움직임을 식별하고 움직임이 많을수록 더 높은 판독(read-out) 우선순위를 부여한다.

일실시예에서 움직임이 많다는 것은 장면 내 오브젝트 가장자리의 변화가 많다는 의미이기도 하다. 따라서, 오브젝트 가장자리의 변화가 거의 없거나 장면 내에서 배경 영역과 같이 움직임이 감지되지 않는 영역은 판독 우선순위가 낮아지게 된다. 결정된 판독 우선순위에 따라 행별 판독 시간이 달리 설정된다. 프로세서(210)는 판독 우선순위가 높으면 높은 판독 시간을 할당하고 우선순위가 낮으면 낮은 판독 시간을 할당한다. 이러한 방식에 의해 움직임이 적거나 픽셀 강도 변화가 적은 영역에 대해서는 불필요한 행별 판독 시간을 줄이고 이미지 왜곡(skew)이 최소화되거나 없으면서도 정확도가 높은 이미지를 캡처하고 생성할 수 있다.

도 2a의 전자 장치(200)가 여러가지 구성요소를 포함하고 있지만, 실시예에 따라 구성 요소는 이에 제한되지 않을 수 있다. 예를 들어 프로세서(210)는 다양한 복수의 프로세서로 구성되어 필요한 기능들을 수행할 수 있다. 또한, 메모리(220) 역시 단일한 메모리가 아닌 복수의 메모리가 전자 장치에 포함될 수 있고 이러한 복수의 메모리는 모두 메모리(220)에 포함될 수 있다.

도 2b는 본 개시의 일실시예에 따른 프로세서(210)를 상세히 나타내는 도면이다.

일실시예에 따르면, 프로세서(210)는 기능별로 복수의 모듈이나 유닛으로 나누어질 수 있고 또는 단일 프로세서가 본 개시에 따른 모든 기능을 수행할 수도 있다.

일실시예에 따라 프로세서(210)는 판독 우선순위 생성기(2110)를 포함할 수 있다. 판독 우선순위 생성기(2110)는 행 단위 노출 생성기(2111), 및 움직임 결정부(2113)를 포함할 수 있다.

행 단위 노출 생성기(2111)는 센서(230)의 감도 임계값을 변화시킴으로써 장면의 각 행에서의 밝기 레벨의 변화를 식별한다. 행 단위 노출 생성기(2111)는 RGB 센서에서 장면을 캡처할 때 이미지의 각 행에 대한 노출 시간을 결정하고 생성한다. 움직임 결정부(2113)는 캡처된 장면 이미지 내 각 행에서 식별된 밝기 레벨에 기초하여 각 행들에 우선순위를 결정하기 위해 장면 내 오브젝트들의 움직임 정도를 판별한다. 판독 우선순위 생성기(2110)는 판별된 오브젝트들의 움직임 정도에 따라 캡처된 장면의 이미지의 각 행에 대한 우선순위를 할당한다. 행 단위 노출 생성기(2111)는 할당된 우선순위에 따라 각 행에 대한 노출 시간을 결정한다.

도 3a 및 도 3b는 본 개시의 일실시예에 따라 HDR 이미지를 캡처하는 방법을 보여주는 흐름도이다.

먼저 도 3a를 참조하면, 3001 단계에서 전자 장치(200)의 센서(230), 특히 이벤트 센서가 장면을 프리-캡처하여 이미지를 생성한다. 이 프리-캡처된 장면의 이미지로부터 이벤트 데이터를 생성한다.

3003 단계에서는 생성된 이벤트 데이터에 기초하여 상기 이미지의 행별 노출값을 결정한다. 이때 이미지의 행별 노출값은 RGB 센서가 RGB 프레임을 캡처할 때 이용된다. 일실시예에 따라 행별 노출값은 이미지의 행별로 밝기 강도를 결정하여 결정할 수 있다.

3005 단계에서는 행별 노출값에 기초하여 이미지의 행별 판독 우선순위를 결정한다. 이 때 행별 노출값을 이용하여 시간 리던던시 정보를 결정하고 결정된 시간 리던던시 정보는 행별 판독 우선순위 결정에 반영된다. 시간 리던던시 정보를 결정하는 방법은 도 8을 참조하여 좀더 상세하게 설명된다. 시간 리던던시 정보는 간단히 리던던시 정보로 지칭된다.

도 3b를 참조하면 도 3b는 동적 이미지 캡처에 있어서 노출 시간 제어 방법을 보여주는 흐름도이다.

3101 단계에서 전자 장치(200)가 캡처하는 장면의 이미지 각 행마다 밝기 레벨의 변화를 결정한다. 3103 단계에서는 상기 캡처한 장면의 이미지의 각 행에 해당하는 밝기 레벨에 비례하여 상기 장면 이미지의 각 행마다 RGB 센서를 통해 장면을 캡처할 때의 노출 시간을 결정한다. 3105 단계에서는 상기 이미지의 각 행 중 상기 이미지 내 오브젝트의 움직임이 있는 행을 판단한다.

3107단계에서 상기 오브젝트의 움직임이 있는 행에 판독 높은 우선순위를 부여한다. 3109 단계에서 상기 이미지 내 각 행별로 부여된 높은 우선순위에 따른 판독 시간을 결정한다.

도 4는 본 개시의 일실시예에 따라 HDR 이미지를 캡처하는 방법을 보여주는 개략도이다.

도 4를 참조하면, 일실시예에 따라 센서(230)는 이벤트 회로(410), RGB 회로(420) 및 RGB 센서 제어기(430)로 구성될 수 있다.

일실시예에 따라 HDR 이미지를 캡처하는 방법은 프리-캡처 단계(4100, pre-capture phase), 노출 단계(4200, exposure phase) 및 판독 단계(4300, readout phase)로 구성된다.

프리-캡처 단계(4100)에서 이벤트 신호 처리 단계(4102)에서는 캡처된 장면을 통해 생성된 이벤트 데이터가 이벤트 맵 및 이벤트 속도(event velocity)를 얻기 위해 처리된다. 이벤트 맵은 누적된 이벤트 데이터의 2차원 표현(representation)이다. 그리고 이벤트 속도는 이벤트 데이터의 변화를 의미한다.

캡처된 장면의 이미지는 복수의 행으로 구분될 수 있다. 구분된 복수의 행에서 밝기 레벨의 변화는 이벤트 회로(410)의 이벤트 센서의 감도 임계값을 변화시킴으로써 식별된다. 각 밝기 레벨의 변화에 기초하여 각 행에 대한 노출 시간이 결정된다. 그 후 이벤트 신호 처리 단계(4102)의 출력은 에지 상관 단계(4104)에 제공된다. 에지 상관 단계(4104)는 더 많은 픽셀 강도(pixel intensity) 변화를 갖는 이미지의 영역들을 분석한다. 이 이미지 내의 영역들은 장면 내 오브젝트의 가장자리(에지)와 관련된다. 에지 상관 단계(4104)의 출력은 행 단위 노출값을 생성하기 위해 이벤트 기반 노출 제어 단계(4106)에 제공된다. 이벤트 기반 노출 제어 단계(4106)에서는 에지 상관 단계(4104)의 출력인 이미지 내의 픽셀 강도 변화(에지 변화)에 기초하여 각 행별 노출 시간을 결정하고 최종으로 RGB 센서로 RGB 데이터를 획득하기 위한 이미지의 행별(row-wise) 노출값을 생성한다. 행별 노출값 생성으로 프리-캡처 단계(4100)는 종료된다.

행별 노출값을 생성한 후 프로세서(210)는 4108 단계에서 센서(230)의 RGB 센서 제어기(430)로 행별 노출값을 피드백으로 전송한다. 전송된 행별 노출값에 기초하여 RGB 회로(420)는 장면을 캡처한다. RGB 회로(420)가 장면을 캡처할 때 이미지 내에서 행별로 노출 시간이 달라질 것이다.

이제 노출 단계(4200)가 이루어진다. 이벤트 통계 단계(4202)에서는 이벤트 회로(410)로부터 획득된 이벤트 데이터에 기초하여 장면의 움직임 정보를 결정하고 움직임이 감지되는 장면 이미지의 행을 식별한다. 그 후 움직임 정보는 행 단위(열별) 판독 우선순위를 생성하기 위해 이벤트 기반 판독 우선순위 단계(4204)로 전송된다.

일실시예에서, 프로세서(210)는 판독 우선순위 단계(4202)는 움직임이 상대적으로 적은 행 대비 움직임이 상대적으로 많은 행에 우선순위를 부여한다. 또 다른 실시예로서, 행 단위 판독 우선순위는 행 단위 노출값에 기초하여 생성될 수 있다.

행 단위 판독 우선순위를 생성한 후, RGB 센서 제어기(430)는 RGB 회로(420)에 대한 노출 단계(4206)를 시작한다. 프로세서(210)는 행 단위 판독 우선순위를 피드백으로서 RGB 센서 제어기(430)에 제공한다. 이제 RGB 회로(420)는 장면을 캡처한다.

일실시예에서 프로세서(210)는 판독 단계(4300)에서 (판독) 리던던시 제거를 수행한다. 판독 단계(4300)에서는 캡처된 장면을 판독하고 출력 장면을 제공하기 위해 결정된 리던던시 정보를 RGB 센서 제어기(430)로 다시 전송한다. 리던던시 정보는 시간 리던던시(temporal redundancy) 정보이다. 이와 같은 방법에 의해 캡처된 이미지에는 아티팩트(artefact)가 없다.

도 5는 본 개시의 일실시예에 따라 연속적인 RGB 프레임에 대한 프로세싱 단계를 도시한 도면이다.

도 5를 참조하면, RGB 프레임들인 프레임 0(510), 프레임 1(520), 프레임 2(530)는 각각 3단계를 통해 캡처되고 프로세싱된다. 도 4에서 보았듯이 하나의 RGB 프레임을 캡처할 때 프리-캡처 단계, 노출 단계, 판독 단계라는 3단계를 거치게 된다.

일례로 프레임 0(510)는 프리-캡처 단계(511), 노출 단계(513), 판독 단계(515)를 거치게 된다. 각각의 프리-캡처 단계(511), 노출 단계(513), 판독 단계(515)에서 이루어지는 동작은 도 4를 참조하여 상세히 설명하였으므로 생략한다.

일실시예에서, 프레임 0(510)의 프리-캡처 단계(511)가 종료되고 노출 단계(513)를 시작할 때 프레임 1(520)에서는 병렬적으로 프리-캡처 단계(521)를 시작한다. 그리고 프레임 0(510)의 판독 단계(515)가 시작될 때 프레임 1(520)에서는 노출 단계(523)를 시작하고 후속 프레임인 프레임 2(530)에서는 프리-캡처 단계(531)를 개시한다. 이러한 방식으로 프레임들이 순차적으로 생성될 때 하나의 프레임 생성 시 프리-캡처, 노출, 판독 단계라는 3단계 시간이 모두 소요되는 것은 아니고 대략 하나의 단계가 걸리는 시간 동안 하나의 프레임이 생성될 수 있다. 따라서 RGB 프레임이 생성되는 시간을 효율적으로 줄일 수 있다.

도 6a는 본 개시의 일실시예에 따른 프리-캡처 단계를 도시한 도면이다.

도 6a를 참조하면, 602는 전자 장치(200)에 의해 프리-캡처된 이미지 내에서 이벤트 데이터를 나타낸다. 도 6a의 에서 이벤트 데이터는 센서(230)의 감도를 변화시켜 얻어진다. 602 행의 이미지를 살펴보면, 612 에 따른 행별 이미지들에 대응되는 영역은 고유의 매우 밝은 영역(6021, 6028), 밝은 영역(6022, 6027), 보통의 강도 영역(6023, 6025), 저 강도 영역(6024), 최저 강도 영역(6025)으로 구분된다. 612을 살펴보면 각 영역에 대응되는 행이 표시되고 있으며 각 행 별로 노출 시간들이 함께 표시되고 있다. 예를 들어 저 강도 영역(6024)은 8ms의 노출 시간이 해당 열의 노출값으로 포함된다. 최저 강도 영역(6025)에는 10ms의 노출 시간이 612에 표시된 행에 할당된다.

도 6a를 참조하면 602의 이벤트 데이터는 각 행의 밝기 강도를 결정하기 위해 이벤트 강도 측정(606)에 입력된다. 이벤트 강도 측정(606)의 출력은 이벤트 기반 에지 검출(608) 및 이벤트 속도(610)에 입력된다. 이벤트 기반 에지 검출(608)에서는 더 많은 강도 변화를 가지는 장면 이미지 영역들을 분석한다. 각 영역은 장면 이미지에서 오브젝트의 가장자리(에지)와 관련된다. 이벤트 속도(610)에서는 장면에서 이벤트에 대한 이벤트 맵을 생성하고 이벤트 속도를 결정한다. 이벤트 맵은 누적된 이벤트 데이터의 2차원 표현이고 이벤트 속도는 이벤트 데이터의 변화를 의미한다. 일실시예에 따르면, 이벤트 강도 측정(606), 이벤트 기반 에지 검출(608) 및 이벤트 속도(610)는 도 4에서의 이벤트 신호 프로세싱 단계(4102)에 포함되는 단계들일 수 있다.

이벤트 기반 에지 검출(608)과 이벤트 속도(610)의 출력은 에지 상관 (4104) 에 입력된다. 에지 상관 (4104)의 출력은 행별 노출값을 생성하기 위해 이벤트 기반 노출 제어(4106)에 입력된다. 이벤트 기반 노출 제어(4106)에서는 결정된 노출 시간 및 에지 상관 (4104) 출력에 기초하여 장면의 이미지 내 행들에 대한 행별 노출값을 생성한다.

도 6b는 본 개시의 일실시예에 따른 프리-캡처 단계를 도시한 도면이다.

605는 606에 따른 장면 이미지들에 대한 이벤트 데이터를 나타낸다. 6051에 따른 이벤트 데이터는 6061 이미지에 대응된다. 6051에서 타원 영역은 밝은 영역임을 보여준다. 따라서 660에 따른 노출 시간 그래프에서는 해당 타원 영역에 대응되는 행에는 짧은 노출 시간 할당이 이루어짐을 보여준다.

6053에 따른 이벤트 데이터는 타원 영역이 어두운 영역임을 보여주고 따라서 해당 행에는 660 그래프에 따라 긴 노출 시간이 할당된다. 6055에 따른 이벤트 데이터는 해당 영역이 다소 어두운 영역임을 보여주고 해당 행에는 660 그래프에 따라 중간 정도의 노출 시간이 할당됨을 볼 수 있다.

도 7a, 도 7b 및 도 7c 는 본 개시의 일실시예에 따른 노출 단계를 나타내는 도면이다.

도 7a는 센서(230)의 이벤트 회로(410)에 의해 캡처된 이벤트 데이터를 도시한 것이다. 도 7a에서 볼 수 있듯이, 이벤트 회로(410)는 이미지 내 오브젝트의 움직임으로 인해 장면에 고유의 변화가 있는 경우 장면을 캡처하여 이벤트 데이터를 생성한다. 702 내지 708에서 오브젝트의 움직임이 있는 부분들이 윤곽으로 드러나는 것을 알 수 있다. 이벤트 데이터는 컬러가 포함되지 않기 때문에 적은 양의 데이터로 프리-캡처 단계에서 빠르게 캡처될 수 있다.

도 7b는 판독 우선순위 결정을 위한 노출 단계의 흐름도이다.

이벤트 회로(410)에 의해 캡처된 이벤트 데이터는 이벤트 그룹 공간 히스토그램(704) 블럭과 이벤트 엔트로피 추출(706) 블럭에 제공된다. 이벤트 그룹 공간 히스토그램(704)은 센서(230)의 기본 센서 해상도에 따라 더 작은 블록으로 이벤트 데이터를 그룹화함으로써 히스토그램을 추출하기 위해 사용된다. 이벤트 엔트로피 추출(706) 블럭은 이벤트 데이터를 사용하여 비용 함수를 계산한다. 이벤트 엔트로피 추출(706) 블럭에서는 이벤트 속도 (610)와 함께 센서 판독의 우선순위를 결정한다.

이벤트 그룹 공간 히스토그램(704) 블럭과 이벤트 엔트로피 추출(706) 블럭의 출력은 이벤트 통계(4202) 블럭에 제공된다. 이벤트 통계(4202) 블럭은 움직임을 나타내는 이벤트 데이터에 기초하여 장면 이미지의 움직인 정보를 결정한다. 이벤트 통계(4202) 블럭은 움직임을 나타내거나 포함하는 장면 이미지의 행들을 결정한다. 움직임 정보와 이벤트 속도는 이벤트 기반 판독 우선순위(4204) 블럭에 제공된다. 이벤트 기반 판독 우선순위(4204) 블럭에서는 움직임이 많은 행일수록 더 높은 판독 우선순위를 부여한다.

도 7c는 본 개시의 일실시예에 따라 판독 우선순위를 결정하기 위한 장면 내 이미지에서 움직임이 있는 이미지를 나타낸다.

도 7c에 도시된 바와 같이 712와 714는 장면의 이미지 내에서 움직임이 많은 영역이다. 움직임이 많은 영역은 장면의 이미지 내에서 다른 영역들보다 높은 우선순위가 부여된다.

도 8은 본 개시의 일실시예에 따른 판독 단계를 나타내는 도면이다.

도 8에서 볼 수 있듯이 802, 804, 806은 각각 하나의 RGB 프레임을 캡처하는데 있어서 프리-캡처, 노출, 판독 단계를 나타낸다. 마지막 판독 단계들에서 810 내지 818 RGB 프레임들이 최종적으로 생성된다.

도 8을 참조하면 810 내지 818 RGB 프레임은 각각의 판독 단계에서 생성됨을 알 수 있다.

시간 리던던시(temporal redundancy) 정보를 얻기 위해 이벤트 데이터 820 내지 828가 분석된다. 이벤트 데이터 820는 810 RGB 프레임에서 812 RGB 프레임으로 바뀔 때의 이벤트 데이터를 나타낸다. 그리고 이벤트 데이터 820에 대한 노출 및 판독 코드 그래프가 830에 나타나 있다. 이미지 내에서 숫자 29가 30으로 바뀌고 있으므로 숫자 위치에서 밝기 변화 내지는 움직임이 일어나고 있고 따라서, 이벤트 데이터 820은 숫자 위치에서 유의미한 이벤트 데이터를 확인할 수 있다.

이에 반해 이벤트 데이터 822와 824를 살펴보면 숫자 3에는 밝기나 움직임 변화가 없으므로 숫자 3이 위치한 자리에 유의미한 이벤트 데이터가 확인되지 않는다. 마찬가지로 대응되는 노출 및 판독 코드 그래프 832, 834에서 숫자 3의 자리에는 특별히 긴 시간의 노출이 필요 없음을 보여준다.

이와 같이 숫자 30에 대응되는 이전 RGB 프레임과 숫자 31에 대응되는 후속 RGB 프레임을 비교했을 때 숫자 3의 자리는 시간 리던던시가 있는 곳이므로 굳이 노출 시간을 많이 할당할 필요가 없음을 알 수 있다. 따라서 숫자 3의 자리는 판독하지 않아도 된다. 따라서 숫자 3의 자리 관련 리던던시가 제거된다. RGB 프레임 812에서 최초로 숫자 '30'이 읽히고 나서 숫자 3의 자리는 리던던시 제거에 의해, 후속 RGB 프레임들 814, 816, 818 에서는 이벤트 데이터를 참조할 때 변화가 없으므로 계속 기존 '3'의 자리에 계속 '3'을 표시하면 된다. 즉, 숫자 '3'은 오직 한번만 판독되고 이후로 리던던시가 제거되어 '3'의 판독이 재차 이루어질 필요가 없음을 노출 및 판독 그래프 832, 834가 보여주고 있다.

도 9a, 도 9b, 도 9c 및 도 9d는 본 개시의 일실시예에 따른 HDR 이미지의 단계별 표시를 나타내는 그래프이다.

도 9a는 프리-캡처 단계를 나타내는 도면이다.

도 9a에서 세로축은 캡처되는 장면의 이미지 행을 나타내고 가로축은 판독시간을 나타낸다. 도 9a에 따르면 장면 이미지내 밝기나 움직임에 따라 행별로 노출시간이 다르게 설정되었음을 알 수 있다. 하지만, 도 9a에 따르면 판독 순서는 정해지지 않아서 CMOS 이미지 센서에 사용하기에는 적합하지 않다.

도 9b는 노출 단계를 나타내는 도면이다.

도 9b에서 세로축은 캡처되는 장면의 이미지 행을 나타내고 가로축은 판독 우선순위 시간이다.

도 9b에 따르면 장면 내 이미지 행별로 판독 순서(우선순위)는 정해져 있지만, 노출시간은 일정하게 셋팅되어 있다. 따라서 최적으로 노출시간을 설정하는 본 개시에 따른 방법을 적용한 것이라 볼 수는 없다.

도 9c에 따르면 판독 단계를 나타내는 도면이다. 도 9c에 따른 그래프는 이전에 선행하는 RGB 프레임이 있다고 가정한 것이고 따라서 선행하는 RGB 프레임과 비교하여 시간적 리던던시를 제거할 수 있다. 도 9c에서는 세 곳에서의 리던던시 행이 있음을 보여준다.

최종 도 9d는 판독 순서를 정하고 행별로 노출시간을 달리하며 리던던시에 따라 재차 판독할 필요가 없는 행을 제거한 최종 행별 노출값을 적용한 도면이다.

도 9d와 같은 장면 이미지 내의 행별 판독 시간을 적용하여, 시간적 리던던시 정보에 따라 판독할 필요가 없는 행을 제거하고 행별로 이벤트 데이터에 따라 노출값을 달리 함으로써 판독 시간을 최적화하여 CMOS 롤링 셔터에서 최적화된 이미지 캡처가 가능하다.

도 10a, 도 10b, 및 도 10c는 본 개시에 일실시예에 따른 동적 이미지 캡처 방법을 적용 여부에 따라 캡처된 이미지 차이를 보여주는 도면이다.

도 10a는 캡처될 실제 장면이고 도 10b는 기존의 롤링 셔터 방식에 의해 캡처된 이미지를 보여준다. 도 10b에서 보는 바와 같이 기존의 롤링 셔터 방식에 의해 이미지를 캡처하는 경우 이미지에서 스큐(skew)가 발생할 수 있다. 하지만 본 개시에서 제안된 방법을 적용한 이미지 캡처를 적용한 도 10c의 경우 스큐(skew)가 발생하지 않고 더 시간적으로 빠르게 이미지를 캡처할 수 있다.

본 개시의 따른 실시예들은 적어도 하나의 하드웨어 장치에서 실행되고 하드웨어 장치의 요소를 제어하기 위해 네트워크 관리 기능을 수행하는 적어도 하나의 소프트웨어 프로그램을 통해 구현될 수 있다.

일실시예들에 따른 상기 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

200; 전자 장치
210; 프로세서
220; 메모리
230; 센서
410; 이벤트 회로
420; RGB 회로
430; RGB 센서 제어기

Claims

이벤트 센서가 장면을 프리-캡처하여 이미지를 생성하는 단계;
상기 이미지로부터 이벤트 데이터를 생성하는 단계;
상기 이벤트 데이터에 기초하여 상기 이미지의 행별 노출값을 결정하는 단계; 및
상기 이미지의 행별 노출값에 기초하여 상기 이미지의 행별 판독 우선순위를 결정하는 것을 특징으로 하는 동적 이미지 캡처 방법.
삭제
삭제
삭제
삭제
삭제
제 1 항에 있어서, 상기 이벤트 데이터는 상기 이미지를 구성하는 픽셀의 강도의 비동기식 변화를 포함하는 것을 특징으로 하는 동적 이미지 캡처 방법.
삭제
삭제
제 1 항에 있어서, 상기 이벤트 데이터과 이전 RGB 프레임에서 획득된 이벤트 데이터에 기초하여 상기 이미지의 리던던시 정보를 결정하는 것을 더 포함하고,
상기 이미지의 행별 판독 우선순위를 결정하는 것은 상기 리던던시 정보를 이용하여 상기 이미지의 행별 판독 우선순위를 결정하는 것을 특징으로 하는 동적 이미지 캡처 방법.
삭제
삭제
삭제
장면을 프리-캡처하는 이벤트 센서; 및
상기 이벤트 센서에 의해 프리-캡처된 이미지로부터 이벤트 데이터를 생성하고,
상기 이벤트 데이터에 기초하여 상기 이미지의 행별 노출값을 결정하고, 상기 이미지의 행별 노출값에 기초하여 상기 이미지의 행별 판독 우선순위를 결정하는 프로세서를 포함하는 것을 특징으로 하는 동적 이미지 캡처 장치.
제 14 항에 있어서, 상기 이미지의 행별 판독 우선순위에 기초해서 RGB 데이터를 획득하기 위해 상기 장면을 캡처하는 RGB 센서를 더 포함하는 것을 특징으로 하는 동적 이미지 캡처 장치.
제 14 항에 있어서, 상기 프로세서는 상기 이벤트 데이터에 기초하여 상기 장면의 행별 동작 정보를 생성하는 것을 특징으로 하는 동적 이미지 캡처 장치.
제 16 항에 있어서, 상기 프로세서가 상기 이미지의 행별 판독 우선순위를 결정하는 것은 상기 프로세서가 상기 행별 동작 정보에 기초하여 동작 정도가 높은 행에 높은 우선순위를 부여하는 것을 특징으로 하는 동적 이미지 캡처 장치.
제 14 항에 있어서, 상기 프로세서가 상기 이미지의 행별 노출값을 결정하는 것은
상기 프로세서가 상기 이미지의 행별로 밝기 강도를 결정하여 상기 이미지의 행별 노출값을 결정하는 것을 특징으로 하는 동적 이미지 캡처 장치.
제 14 항에 있어서, 상기 프로세서가 상기 이미지로부터 상기 이벤트 데이터를 생성하는 것은 상기 프로세서가 상기 이미지 내의 오브젝트의 가장자리의 변화를 추출하여 상기 이벤트 데이터를 생성하는 것을 특징으로 하는 동적 이미지 캡처 장치.
제 14 항에 있어서, 상기 프로세서는 상기 이미지의 행별로 밝기 강도가 높은 경우에는 상대적으로 작은 노출시간을 행별 노출값에 포함시키고, 상기 이미지의 행별로 밝기 강도가 낮은 경우에는 상대적으로 높은 노출시간을 행별 노출값에 할당하는 것을 특징으로 하는 동적 이미지 캡처 장치.