KR101483714B1

KR101483714B1 - 디지털 촬상 장치 및 방법

Info

Publication number: KR101483714B1
Application number: KR20080057363A
Authority: KR
Inventors: 임재균; 박병관; 이성덕; 황영규; 옥현욱; 강주영
Original assignee: 삼성전자 주식회사
Priority date: 2008-06-18
Filing date: 2008-06-18
Publication date: 2015-01-16
Anticipated expiration: 2028-06-18
Also published as: KR20090131466A; US20090316014A1; US8427548B2

Abstract

본 발명은 디지털 촬상 장치 및 방법에 관한 것으로, 본 발명의 디지털 촬상 장치는 캡처된 영상의 뷰 변화 및 리포커싱을 하기 위하여 광 필드 데이터를 획득하는 촬상부; 및 상기 획득된 광 필드 데이터를 이용하여 리포커싱 영상을 계산하는 데이터 처리부를 포함하고, 상기 촬상부는 적어도 2 이상의 광선들이 중첩되더라도 구별가능하도록 상기 광선들에 광 변조를 수행하고, 상기 데이터 처리부는 상기 광 변조가 수행되어 획득되는 광 필드 데이터를 복조하여 원래의 광선들에 대한 광 필드 데이터를 획득한다. 본 발명에 따르면, 영상 리포커싱을 위한 광 필드 데이터 형성시 발생하는 공간 분해능이 저하되는 문제점을 극복할 수 있다.

리포커싱, 광 필드 데이터, 직교 함수, 공간 분해능, 방향 분해능

Description

디지털 촬상 장치 및 방법{Apparatus and method for capturing digital image}

본 발명은 디지털 촬상 시스템에 관한 것으로, 촬상된 영상을 이용하여 영상의 뷰 및 초점을 재조정할 수 있는 디지털 촬상 시스템에 관한 것이다.

최근에 플레놉틱(plenoptic) 카메라라는 새로운 개념의 카메라가 연구되고 있다. 플레놉틱 카메라는 광 필드(light field) 카메라로 불려지기도 하며, 마이크로 렌즈 어레이(통상적으로 렌티큘러 렌즈 어레이) 또는 광 부호화 마스크(light coded mask)를 이용하여 장면에 대한 4D 광 필드 정보를 캡처한다.

플레놉틱 카메라는 카메라 렌즈와 영상 센서 사이에 마이크로 렌즈 어레이를 두고, 마이크로 렌즈 어레이가 약간 다른 시점으로부터 찍은 다수의 많은 영상들이 생기도록 영상 센서에 빛의 초점을 재조정한 다음, 다수의 많은 영상들을 이용하여 초점이나 시점을 조정한 영상을 제공할 수 있다.

본 발명은 광 필드 데이터를 획득할 때 발생하는 공간 분해능의 저하를 개선하는 디지털 촬상 방법 및 장치를 제안한다.

본 발명의 일 양상에 따른 디지털 촬상 장치는 캡처된 영상의 뷰 변화 및 리포커싱을 하기 위하여 광 필드 데이터를 획득하는 촬상부; 및 상기 획득된 광 필드 데이터를 이용하여 리포커싱 영상을 계산하는 데이터 처리부를 포함하고, 상기 촬상부는 적어도 2 이상의 광선들이 중첩되더라도 구별가능하도록 상기 광선들에 광 변조를 수행하고, 상기 데이터 처리부는 상기 광 변조가 수행되어 획득되는 광 필드 데이터를 복조하여 원래의 광선들에 대한 광 필드 데이터를 획득한다.

본 발명의 다른 양상에 따른 디지털 촬상 방법은 적어도 2 이상의 광선들이 중첩되더라도 구별가능하도록 광선들에 광 변조를 수행하는 단계; 상기 광 변조가 수행된 광선들로부터 캡처된 영상의 리포커싱을 하기 위하여 광 필드 데이터를 획득하는 단계; 상기 광 필드 데이터를 복조하여 변조 전의 원래의 광선들로부터 획득되는 광 필드 데이터를 생성하는 단계; 및 상기 생성된 광 필드 데이터를 이용하여 리포커싱 영상을 계산하는 단계를 포함한다.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용 어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 종래의 플레놉틱 카메라의 구성을 나타내는 도면이다.

촬상 장치(100)는 메인 렌즈(110), 마이크로렌즈 어레이(120) 및 포토센서 어레이(130)를 갖고 있는 촬상부(150)를 포함한다. 이 경우에, 마이크로렌즈 어레이(120) 및 포토센서 어레이(130)는 이미지 센서(160)를 구현한다. 이와 같은 촬상 장치(100)를 이용하여 리포커싱된 영상이나 여러 각도에서 보이는 영상을 획득(즉, 영상의 뷰 조정)할 수 있다.

이미지화된 장면 내의 피사체(105) 상의 단일점으로부터의 광선들은 마이크로렌즈 어레이(120)의 초점 평면 상의 단일 수렴점으로 도달된다. 이 수렴점에서의 마이크로렌즈(122)는 이들 광선들을 광의 방향에 기초하여 분리시켜, 마이크로 렌즈 아레의 포토센서 상에 메인 렌즈(110)의 구경의 포커싱된 이미지를 생성한다.

포토센서 어레이(130)는 그 위에 입사되는 광을 검출하고, 여러가지 성분의 하나 이상을 사용하여 처리되는 출력을 생성한다. 출력 광 데이터는 예를 들어, 피사체(105, 106, 및 107)을 포함하는 장면의 이미지를 생성할 때 데이터를 제공하는 각 포토센서에 대한 위치정보와 함께 데이터를 사용하는 데이터 처리부(140)로 보내진다.

데이터 처리부(140)는, 예를 들어, 공통 부품(예를 들어, 한 칩) 또는 상이한 부품에 선택적으로 구현된 컴퓨터 또는 기타 처리 회로로 구현될 수 있다. 데이터 처리부(140)의 일부는 촬상부(150) 내에 구현되고, 다른 부분은 외부 컴퓨터 에 구현될 수 있다. 데이터 처리부(140)는 이미지 데이터를 처리하고 피사체(105, 106 및 107)를 포함하는 장면의 이미지를 계산하도록 구현된다.

데이터 처리부(140)는 광이 마이크로렌즈 어레이에 도달한 공지된 방향(각 포토센서의 공지된 위치를 사용하여 계산됨)과 함께 검출된 광 또는 검출된 광의 특성을 사용하여 리포커싱(refocusing)이 교정될 수 있는 이미지를 형성할 때 데이터를 선택적으로 리포커싱 및/또는 교정한다.

촬상 장치(100)는 어플리케이션에 따라 다르게 여러가지 방식으로 구현된다. 예를 들어, 마이크로렌즈(120)는 예로서 몇 개의 구별가능한 마이크로렌즈로 도시되지만, 어레이는 일반적으로 다수의(예를 들어, 수천 또는 수백만) 마이크로렌즈로 구현된다. 포토센서 어레이(130)는 일반적으로, 마이크로렌즈 어레이(120) 내의 각각의 마이크로렌즈마다 몇개의 포토센서를 갖는다.

포토센서 어레이(130)의 각 픽셀의 크기 즉, 피치(pitch)는 마이크로렌즈 어레이(122)보다 상대적으로 미세하다. 또한, 마이크로렌즈 어레이(120)내의 마이크로렌즈 및 포토센서 어레이(130) 내의 포토센서는 일반적으로 각각의 마이크로렌즈를 통해 포토센서 어레이로 나아가는 광이 인접한 마이크로렌즈를 통해 나아간 광과 겹치지 않도록 위치설정된다.

메인 렌즈(110)는 메인 렌즈(110)와 예시적인 촬상 피사체(105) 사이에 예시된 바와 같은 원하는 심도 "d"에서 관심있는 피사체 상에 포커싱하기 위해 광축을 따라 수평방향으로 이동되는 것과 같은 성능을 가진다. 따라서, 획득된 광 필드 데이터 기반으로 각 관심 위치에 리포커싱을 할 수 있다.

예로서, 피사체(105)의 단일점으로부터의 광선들은 이러한 설명을 위해 도시된다. 이들 광선들은 마이크로렌즈 어레이(120)의 초점 평면상의 마이크로렌즈(122)에서 단일 수렴점으로 도달한다. 마이크로렌즈(122)는 이들 광선들의 방향에 기초하여 분리해서, 마이크로렌즈 아래의 픽셀 어레이 내의 픽셀 세트 상에서 메인 렌즈(110)의 구경의 포커싱된 이미지 및 광 필드 데이터를 생성한다.

촬상 장치(100) 내부의 2-평면 광 필드 "L"을 고려하면, 광 필드 데이터 L(u,v,s,t)는 (u,v)에서 메인 렌즈(110)와 교차하고, (s,t)에서 마이크로렌즈 어레이(120)의 평면과 교차하는 광선을 따라 이동하는 광을 나타낸다. 예를 들어, 각 마이크로 렌즈 (s,t)에서, 메인 렌즈(110)의 각 서브-어퍼쳐(sub-aperture)의 위치 (u,v)를 통과하는 인텐서티 값들을 나타낸다. 여기에서, 서브-어퍼쳐는 메인 렌즈(110)의 방향 분해능의 개수를 의미한다. 예를 들어, 서브-어퍼쳐의 개수가 196개인 경우, 각 마이크로렌즈 어레이(120)는 196개의 픽셀로 구성된다.

포토센서 어레이(130)내의 각각의 포토센서는 메인 렌즈(110) 및 마이크로렌즈 어레이(120)를 통해 포토센서로 향한 광선 세트를 나타내는 값을 제공하도록 구현될 수 있다. 즉, 각각의 포토센서는 포토센서상에 입사된 광에 응답하여 출력을 생성하고, 마이크로렌즈 어레이(120)에 대한 각 포토센서의 위치는 입사광에 대한 방향 정보를 제공하기 위해 이용된다.

데이터 처리부(140)는 광 필드 데이터 즉, L(u,v,s,t)를 이용하여 리포커싱 영상을 생성할 수 있다. 이때, 데이터 처리부(140)는 마이크로렌즈에 대한 각 포토센서의 위치를 이용하여 각 포토센서상의 광의 방향을 결정할 수 있다. 또한, 데이터 처리부(140)는 검출된 광이 퍼져나오는 장면내의 피사체의 시야 심도를 결정하고, 상기 시야 심도 및 검출된 광의 방향을 사용해서, 초점 평면과는 상이한 초점 평면상에서 포커싱되는 합성 영상을 계산할 수 있다.

한편, 마이크로렌즈 어레이(120)내의 특정 마이크로렌즈(122) 아래에 형성되는 이미지는 촬상 평면상의 그 위치에 대한 시스템의 방향 분해능(directional resoultion)을 지시한다. 메인 렌즈(110)는 유효하게 마이크로렌즈의 광학적 무한 거리에 있고 마이크로렌즈를 포커싱하기 위해, 포토센서 어레이(130)는 마이크로 렌즈의 초점 심도에서 한 평면 내에 위치한다. 메인 렌즈(110)와 마이크로렌즈 어레이(120) 사이의 분리거리 "s"는 마이크로렌즈의 시야 심도 내에서 예리한 이미지를 달성하도록 선택된다.

메인 렌즈(110)의 구경 크기 및 마이크로렌즈 어레이(120)내의 마이크로렌즈의 구경 크기(예를 들어, 렌즈 내의 개구부의 유효 크기)는 촬상 장치(100)가 구현되는 특정 애플리케이션에 부합하도록 선택된다. 이 방법은 메인 렌즈 및 마이크로렌즈의 f-수(초점비율: 즉, 렌즈의 유효 초점 길이 대 구경의 비)에 맞춤으로써 용이해진다.

도 2는 플레놉틱 카메라의 방향 분해능, 공간 분해능 및 포토 센서의 픽셀 크기와의 관계를 나타내는 도면이다.

카메라의 공간 샘플링 레이트(spatial sampling rates) 및 카메라의 방향 샘플링 레이트를 Δx 및 Δu라고 한다. 카메라 센서의 폭을 W_x라고 하고, 렌즈 구경 의 폭을 W_u라고 정의한다. 이와 같이 정의하면, 포토 센서의 공간 분해능 N_x= W_x/Δx 이고, 광 필드 카메라의 방향 분해능 N_u= W_u/Δu 이다.

원하는 거리에서 리포커싱(refocusing)을 수행하기 위해서는 다음의 수학식 1에 만족되어야 하는 것이 알려져 있다.

F는 메인 렌즈의 초점 거리를 나타내고, F_L은 물체에서부터 리포커싱을 원하는 범위에 따른 초점 거리를 나타낸다. 즉, F 및 F_L은 정확한 리포커싱을 달성할 수 있는 초점 심도의 범위를 나타낸다.

예를 들어, W_u=20㎜, F=80㎜인 경우, 리포커싱하기 위한 물체의 거리가 1m까지인 경우, 위의 값을 수학식 1에 대입하면, Δx·N_u≥ 1.59㎜가 된다. 4145×4145개의 픽셀로 이루어진 센서에서 이미지의 목표 공간 분해능이 1400×1400인 경우, 방향 분해능을 표현할 수 있는 픽셀은 4150/1400에 의해서 3개 정도 된다.

그런데, 리포커싱 범위를 1m 내지 ∞로 설정하고, 센서의 하나의 픽셀의 피치가 9㎛인 경우, 필요한 방향 분해능 N_u는 1.59㎜/(3픽셀×9㎛)에 의하여 58 이상이어야 한다. 즉, 리포커싱 범위를 1m 내지 ∞로 할 때 공간 분해능 1400×1400를 얻는 것은 불가능하다. 따라서, 리포커싱 범위를 바꾸거나 아니면, 목표 공간 분 해능을 바꿀 필요가 있다.

다음의 표는 위와 같은 가정 하에서 목표 공간 분해능에 대한 방향 분해능을 나타내기 위해 필요한 허용 Δx와 필요 N_u의 값을 나타낸다.

목표 공간 분해능	1400×1400	700×700	350×350	300×300
허용 Δx	27㎛ (3 픽셀)	54㎛ (6 픽셀)	108㎛ (12 픽셀)	126㎛ (14 픽셀)
필요 N_u	58개	30개	15개	13개

표 1을 참조하면, 리포커싱 범위를 1m 내지 ∞로 할 때 공간 분해능을 300×300으로 정할 경우에, 방향 분해능 13×13이 가능하며, 위 리포커싱 범위를 확보할 수 있다. 즉, 센서 사이즈가 고정되어 있을 때 원하는 성능의 공간 분해능을 확보하기 어려우며, 원하는 공간 분해능을 얻기 위해서는 더 큰 사이즈의 센서가 요구되는 문제점이 있다.

본 발명에서는, 상기의 문제점을 해결하기 위하여 방향 분해능을 나타내기 위한 포토 센서의 픽셀 수를 줄이는 방안을 제안한다. 즉, 표 1에서 방향 분해능을 나타내기 위한 허용 Δx를 줄이면, 예를 들어, 방향 분해능 13×13의 정보를 6×6 개의 픽셀에 표현할 수 있으면, 종래 300×300의 공간 해상도의 영상을 얻을 수 있었던 데 비해, 700×700의 공간 해상도의 영상을 얻을 수 있기 때문이다.

이를 위해, 본 발명의 일 실시예에 따르면, 포토 센서의 광선들이 도달되어 상이 맺히기 전에 2 이상의 광선들을 변조시킨 다음, 마이크로렌즈를 통과한 2이상의 광선들을 포토 센서의 하나의 픽셀에 중첩시킴으로써 공간 분해능이 저하되는 문제점을 해결한다. 구체적으로는, 하나의 픽셀에 2이상의 광선들에 대한 광 필드 데이터 정보가 중첩되게 하고, 포토센서에서 검출되는 광 필드 데이터를 처리하는 데이터 처리부에서 광 필드 데이터 정보를 복조해냄으로써 공간 분해능을 향상시킬 수 있다.

도 3은 본 발명의 일 실시예에 따른 디지털 촬상 장치를 나타내는 도면이다.

본 발명의 일 실시예에 따르면, 본 발명의 일 실시예에 따른 디지털 촬상 시스템은 촬상부(350) 및 데이터 처리부(360)를 포함한다. 촬상부(350)는 캡처된 영상의 뷰 변화 및 리포커싱을 하기 위하여 광 필드 데이터를 획득하며, 데이터 처리부(360)는 획득된 광 필드 데이터를 이용하여 리포커싱된 영상을 생성한다. 또한, 촬상부(350)는 적어도 2 이상의 광선들이 중첩되더라도 구별가능하도록 상기 광선들에 광 변조를 수행하고, 이에 대응하여 데이터 처리부(360)는 상기 광 변조가 수행되어 획득되는 광 필드 데이터를 복조하여 원래의 광 필드 데이터를 획득한다.

본 발명의 일 실시예에 따르면 촬상부(350)는 메인 렌즈(310), 변조부(320), 마이크로렌즈 어레이(330) 및 포토센서 어레이(340)를 포함한다. 메인 렌즈(310), 마이크로렌즈 어레이(330) 및 포토센서 어레이(340)의 구성은 도 1을 참조하여 설명한 바와 같은 종래의 디지털 촬상 시스템의 메인 렌즈(110), 마이크로렌즈 어레이(120) 및 포토센서 어레이(130)의 구성에 대응된다. 도 3은 특정 메인 렌즈(310)(단일 렌즈) 및 특정 마이크로 렌즈 어레이(330)를 도시하고 있지만, 본 기술분야의 통상의 지식을 가진 자는 현재 이용가능하거나 장래에 개발되는 여러가지 렌즈 및/또는 마이크로 렌즈 어레이가, 예를 들어 도시된 메인 렌즈 및/또는 마이크로렌즈 어레이를 대신하여 유사한 방법으로 선택적으로 구현된다는 것을 알 수 있을 것이다. 또한, 마이크로 렌즈 어레이(330)는 광 부호화 마스크(light coded mask)로 대체될 수 있음이 알려져 있다.

마이크로렌즈 어레이(330)는 메인 렌즈(310)와 포토 센서 어레이(340) 사이에 위치된다. 마이크로렌즈 어레이(330)는 광선들의 세트를 물리적으로 상기 메인 렌즈로부터 상기 마이크로 렌즈 어레이를 통해 상기 포토 센서 어레이로 향하게 한다. 또한, 마이크로렌즈 어레이(330)에 포함된 각각의 마이크로렌즈는 상기 광 변조가 수행된 적어도 2개의 광선들을 포토센서(340)의 하나의 센서 픽셀에 중첩하도록 한다. 데이터 처리부(360)는 획득된 광 필드 데이터를 이용하여 리포커싱 영상을 계산한다.

본 발명의 일 실시예에 따르면, 촬상부(350)는 적어도 2 이상의 광선들이 중첩되더라도 구별가능하게 하기 위하여 광선들에 광 변조를 수행한다. 또한, 데이터 처리부(360)는 상기 광 변조가 수행되어 획득된 광 필드 데이터를 복조하여 원래의 광 필드 데이터가 획득한다.

또한, 변조부(320)는 CDMA 통신 방식에서 이용되는 원리를 수행할 수 있다. CDMA 통신 방식에서는 전송단에서 2 이상의 서로 다른 메시지들이 각각 고유의 코드에 의해 곱해진 다음 동시에 전송되면, 수신단에서는 대응하는 각각의 고유의 코드를 이용하여 원래의 서로 다른 메시지들을 생성할 수 있다.

즉, 변조부(320)는 CDMA 통신 방식에서 각각의 고유의 코드를 신호에 곱하듯이, 광선들에 각각의 고유의 코드를 컨볼루션하는 역할을 수행한다. 변조부(320)는 광선들을 2 이상의 직교 함수를 이용하여 변조하는 2차원 직교 마스크일 수 있다. 이와 같이 변조된 광선들이 포토센서(340)의 하나의 픽셀에 중첩되게 된다. 포토센서(340)의 센서 데이터를 처리하는 데이터 처리부(350)는 CDMA 통신 방식에 의해 변조된 신호들을 수신하는 수신기에서 원래의 신호들을 생성하는 것과 같이, 변조부(320)를 통해 변조된 2 이상의 직교 함수를 이용하여 복조된 광 필드 데이터를 복조할 수 있다.

다시 말하면, 본 발명의 일 실시예에 따르면, 변조부(320)는 방향 분해능의 정보를 중첩하므로, 공간 분해능이 향상되도록 한다. 방향 분해능의 정보는 데이터 처리부(360)에서 복조를 통해서 원래의 방향 분해능을 이끄므로 방향 분해능에는 변화가 없다.

도 4는 본 발명의 일 실시예에 따른 광선들이 변조되어 포토 센서의 각 픽셀에 중첩되고 복조되는 것을 나타내는 도면이다.

도 4에는 광선들이 변조부(320)를 통과하면 2개의 광선들이 중첩되더라도 구별가능하도록 중첩되는 것을 나타낸다. 따라서, 포토센서(340)의 각 픽셀에서 2개의 방향 분해능 정보를 포함하는 광선들이 센서의 픽셀(341)에 수렴하면, 데이터 처리부(350)에서 픽셀(341)로부터 센서 데이터(342)를 획득하여, 센서 데이터(342)를 복조하여 2개의 방향 분해능을 나타내는 정보를 포함하는 광 필드 데이터(343)를 획득할 수 있다.

도 5a 및 도 5b는 본 발명의 일 실시예에 따른 변조부를 나타내는 도면이다.

본 발명의 일 실시예에 따른 변조부는 도 5a에 도시된 바와 같이 2개의 직교 함수를 사용하는 마스크(510)일 수 있으며 또는, 도 5b에 도시된 바와 같이 4개의 직교 함수를 사용한 마스크(520)일 수 있다. 예를 들어, 도 5a에서 마스크의 상부(510)를 통과하는 광선들과 하부(520)를 통과하는 광선들에 적용되는 함수는 서로 직교 함수일 수 있다.

도 6은 본 발명의 다른 실시예에 따른 변조부를 나타내는 도면이다.

도 6은 도 5a에 적용되는 변조 마스크(510)에서 상부(511)를 통과하는 광선들에 적용되는 제1 직교 함수 f와 하부(512)를 통과하는 광선들에 적용되는 제2 직교 함수 g를 나타낸다. 도 6에서, +로 표시된 부분은 투과율이 100%이고, -로 표시된 부분은 투과율이 0%인 윈도우로 형성될 수 있다. 즉, 본 발명의 일 실시예에 따르면, 변조 마스크(510)는 광선들의 투과율을 조절하는 패턴을 포함하여 구성될 수 있다.

도 6에 도시된 바와 같이, 변조 마스크(510)의 제1 직교 함수 f와 제2 직교 함수를 이용하여 직교 광선들이 형성된다.

이는 수학식 2로 나타낼 수 있다.

view 1*f+view2*g=Sum_image

*는 컨볼루션을 나타내고, view1은 상부(511)를 통과한 광선들의 집합을 나타내고, view2는 하부(513)를 통과한 광선들의 집합을 나타낸다. Sum_image는 포토 센서(340)에서 획득한 영상을 나타낸다.

예를 들어, 메인 렌즈(310)의 서브-어퍼쳐 부분을 2개로 하는 경우, 2개의 다른 뷰[100×100](여기에서, 2개의 다른 뷰는 2개의 방향 분해능 정보임)이 형성되며, 기존의 광 필드 데이터를 형성하는 방법으로는 200×200 크기의 포토 센서 어레이(340)가 필요하다. 그러나, 본 발명의 디지털 촬상 방법에 따르면, 포토 센서 어레이(340)는 100×100의 크기이면 충분하다. 왜냐하면 2개의 방향 분해능 정보가 제1 함수 f와 제2 함수 g에 의해서 중첩되기 때문이다. 즉, 제1 함수 f와 제2 함수 g가 직교 함수의 관계에 있으므로, 데이터 처리부(360)에서는 Sum_image로부터 원래의 view1과 view2를 분리해낼 수 있다.

도 7a 내지 도 7d는 본 발명의 일 실시예에 따른 변조부의 위치를 나타내는 도면이다.

본 발명의 일 실시예에 따르면, 포토센서에 상이 맺히기 전에 서로 구분되도록 2 이상의 광선들이 변조되어 포토센서 어레이의 하나의 픽셀에 중첩되는 한, 변조부의 위치는 전술한 실시예와 같이 메인 렌즈 뒤에 위치되는 것에 한정되지 않는다. 도 7a 내지 도 7d에 도시된 바와 같이, 본 발명의 일 실시예에 따른 변조부가 메인 렌즈 앞, 메인 렌즈 뒤, 마이크로렌즈 어레이 앞 또는 뒤에 위치될 수 있다.

도 8은 본 발명의 일 실시예에 따른 촬상 방법을 나타내는 도면이다.

적어도 2 이상의 광선들이 중첩되더라도 구별가능하게 하기 위하여 광선들에 광 변조를 수행한다(S 810). 광 변조를 수행하는 단계(S 810)는, 광선들을 2 이상의 직교 함수를 이용하여 변조하는 2차원 직교 마스크를 이용하여 수행될 수 있다. 또한, 2차원 직교 마스크는 광선들의 투과율을 조절하는 패턴을 포함하여 구성될 수 있다.

광 변조가 수행된 광선들로부터 캡처된 영상의 리포커싱을 하기 위하여 광 필드 데이터를 획득한다(S 820). 광 필드 데이터를 복조하여 변조 전의 원래의 광선들로부터 획득되는 광 필드 데이터를 생성한다(S 830). 광 필드 데이터를 복조할 때에, 광 변조가 수행되어 획득된 광 필드 데이터를 2차원 마스크를 통해 변조시 이용했던 2 이상의 직교 함수를 이용하여 변조된 광 필드 데이터를 복조할 수 있다.

획득된 광 필드 데이터를 이용하여 리포커싱 영상을 계산한다(S 840).

본 발명의 일 실시예에 따르면, 포토센서 어레이에 상이 맺하기 전에 광선들을 알려진 코드 예를 들어 직교 코드에 의해 부호화 즉, 변조한 후 포토센서의 각 픽셀에 중첩하도록 함으로써 방향 분해능이 요구하는 픽셀의 수를 감소시킬 수 있다. 방향 분해능이 요구하는 픽셀 수의 감소는 동일한 포토 센서의 사이즈의 경우에 공간 분해능의 향상을 이끌 수 있다. 다시 말하면, 영상 리포커싱을 위한 광 필드 데이터 형성시 발생하는 공간 분해능이 저하되는 문제점을 극복할 수 있다.

본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.

이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.

도 1은 종래의 플레놉틱 카메라의 구성을 나타내는 도면이고,

도 2는 플레놉틱 카메라의 방향 분해능, 공간 분해능 및 포토 센서의 픽셀 사이즈와의 관계를 나타내는 도면이고,

도 3은 본 발명의 일 실시예에 따른 디지털 촬상 장치를 나타내는 도면이고,

도 4는 본 발명의 일 실시예에 따른 광선들이 변조되어 포토 센서의 각 픽셀에 중첩되고 복조되는 것을 나타내는 도면이고,

도 5a 및 도 5b는 본 발명의 일 실시예에 따른 변조부를 나타내는 도면이고,

도 6은 본 발명의 다른 실시예에 따른 변조부를 나타내는 도면이고,

도 7a 내지 도 7d는 본 발명의 일 실시예에 따른 변조부의 위치를 나타내는 도면이고,

도 8은 본 발명의 일 실시예에 따른 디지털 촬상 방법을 나타내는 도면이다.

Claims

캡처된 영상 뷰 변화 및 리포커싱을 하기 위하여 광 필드 데이터를 획득하는 촬상부; 및

상기 획득된 광 필드 데이터를 이용하여 리포커싱 영상을 계산하는 데이터 처리부를 포함하고,

상기 촬상부는 적어도 2 이상의 광선들이 중첩되더라도 구별가능하도록 상기 광선들에 광 변조를 수행하여 상기 광 필드 데이터를 획득하고, 상기 데이터 처리부는 상기 획득된 광 필드 데이터를 복조하여 원래의 광선들에 대한 광 필드 데이터를 획득하는 것을 특징으로 하는 디지털 촬상 장치.
제1항에 있어서, 상기 촬상부는,

메인 렌즈;

상기 광 변조를 수행하는 변조부;

광선들을 캡처하는 포토 센서 어레이; 및

상기 메인 렌즈와 상기 포토 센서 어레이 사이에 마이크로렌즈 어레이를 더 포함하고,

상기 마이크로렌즈 어레이는 상기 광선들을 물리적으로 상기 메인 렌즈로부터 상기 마이크로 렌즈 어레이 또는 광 부호화 마스크를 통해 상기 포토 센서 어레이로 향하게 하는 것을 특징으로 하는 디지털 촬상 장치.
제2항에 있어서,

상기 변조부는 상기 광선들을 2 이상의 직교 함수를 이용하여 변조하는 2차원 직교 마스크인 것을 특징으로 하는 디지털 촬상 장치.
제3항에 있어서,

상기 변조부는 광선들의 투과율을 조절하는 패턴을 포함하는 것을 특징으로 하는 디지털 촬상 장치.
제2항에 있어서,

상기 마이크로렌즈 어레이에 포함된 각각의 마이크로렌즈는 상기 광 변조가 수행된 적어도 2개의 광선들을 상기 포토센서의 하나의 픽셀에 중첩하도록 하는 것을 특징으로 하는 디지털 촬상 장치.
제3항에 있어서,

상기 데이터 처리부는 상기 광 변조가 수행되어 획득된 광 필드 데이터를 상기 직교 함수를 이용하여 복조하는 것을 특징으로 하는 디지털 촬상 장치.
적어도 2 이상의 광선들이 중첩되더라도 구별가능하도록 상기 광선들에 광 변조를 수행하는 단계;

상기 광 변조가 수행된 광선들로부터 캡처된 영상의 리포커싱을 하기 위하여 광 필드 데이터를 획득하는 단계;

상기 광 필드 데이터를 복조하여 변조 전의 원래의 광선들로부터 획득되는 광 필드 데이터를 생성하는 단계; 및

상기 생성된 광 필드 데이터를 이용하여 리포커싱 영상을 계산하는 단계를 포함하는 것을 특징으로 하는 디지털 촬상 방법.
제7항에 있어서,

상기 광 변조를 수행하는 단계는, 광선들을 2 이상의 직교 함수를 이용하여 변조하는 2차원 직교 마스크를 이용하여 수행되는 것을 특징으로 하는 디지털 촬상 방법.
제8항에 있어서,

상기 2차원 직교 마스크는 광선들의 투과율을 조절하는 패턴을 포함하는 것을 특징으로 하는 디지털 촬상 방법.
제8항에 있어서,

상기 광 필드 데이터를 복조하는 단계는,

상기 직교 함수들을 이용하여 상기 광 변조가 수행되어 획득된 광 필드 데이터를 복조하는 것을 특징으로 하는 디지털 촬상 방법.