KR101957735B1

KR101957735B1 - Temporal multiplexed light-field camera apparatus for improving spatial resolution

Info

Publication number: KR101957735B1
Application number: KR1020170179442A
Authority: KR
Inventors: 박민영; 최희진; 임영태
Original assignee: 충북대학교 산학협력단
Priority date: 2017-12-26
Filing date: 2017-12-26
Publication date: 2019-03-13
Anticipated expiration: 2037-12-26

Abstract

본 발명의 라이트 필드 카메라 장치는, 피사체의 상인 가상 이미지를 형성하기 위한 카메라 렌즈, 복수의 요소 렌즈로 구성되며, 상기 카메라 렌즈에 의해 생성된 가상 이미지가 각 요소 렌즈를 통해 복수의 상이 형성되도록 하기 위한 마이크로렌즈 어레이, 상기 마이크로렌즈 어레이를 통해 형성된 복수의 상을 감지하기 위한 이미지 센서 및 상기 마이크로렌즈 어레이에서 상기 가상 이미지가 입사되는 면에 위치하여 상기 마이크로렌즈 어레이에 입사되는 빛을 차단하거나 통과시키는 개폐 동작을 수행하되, 미리 정해진 주기 마다 개폐 동작을 반복하는 가변 셔터(variable shutter)를 포함한다. 본 발명에 의하면, 라이트 필드 카메라에서 시분할 방식을 이용하여 각 시점 이미지의 공간 해상도를 향상시킬 수 있는 효과가 있다. The light field camera apparatus of the present invention comprises a camera lens for forming a virtual image of a subject and a plurality of element lenses, wherein a virtual image generated by the camera lens is formed so that a plurality of images are formed through the respective element lenses An image sensor for detecting a plurality of images formed through the microlens array, and an image sensor disposed on a surface of the microlens array on which the virtual image is incident to block or pass light incident on the microlens array And a variable shutter that performs opening and closing operations and repeats opening and closing operations at predetermined intervals. According to the present invention, the spatial resolution of each viewpoint image can be improved by using the time-division method in the light field camera.

Description

[0001] The present invention relates to a temporal light field camera apparatus for improving spatial resolution,

본 발명은 라이트 필드 카메라에 관한 것으로서, 더욱 상세하게는 공간 해상도를 향상시킬 수 있는 시분할 방식의 라이트 필드 카메라 장치에 관한 것이다. Field of the Invention [0002] The present invention relates to a light field camera, and more particularly, to a time-division-type light field camera device capable of improving spatial resolution.

라이트 필드 기술은 빛의 세기와 방향 정보를 획득 후 디스플레이를 이용하여 3차원 정보를 그대로 재현함으로써, 사용자에게 3차원 정보를 제공 할 수 있는 방법이다. Light field technology is a method that can provide 3D information to the user by reproducing the intensity and direction information of light and displaying the 3D information using the display.

일반 카메라는 영상을 촬영할 때 렌즈의 모든 부분을 통해 들어온 빛을 합쳐 상을 만드는 것에 비해, 라이트 필드 카메라(light-field camera)는 동일한 위치에 들어오는 빛들을 방향 별로 나누어 측정하는 카메라이다. 라이트 필드 카메라를 구현하는 방법은, 카메라를 여러 대 두어 각 방향으로의 영상을 각각의 카메라로 촬영하는 방법, 마이크로렌즈 어레이(microlens array)를 이용하여 입사되는 빛을 방향 별로 분할하여 상을 맺는 방법, 카메라의 메인 렌즈와는 별도로 다수의 렌즈를 장착하여, 방향별로 별개의 상을 만든 후 이 상들을 카메라로 취득하는 방법 등이 있다. 전술한 방법들 중에서 카메라를 가장 소형화할 수 있는 방법은 두 번째 방법으로서, 마이크로렌즈 어레이를 센서 위치에 장착하여 입사되는 빛을 분리하는 방법이다.In general, a camera combines light from all parts of a lens to form an image when shooting an image, whereas a light-field camera is a camera that measures light coming in at the same position in different directions. A method for implementing a light field camera includes a method of photographing an image in each direction by placing a plurality of cameras on each camera, a method of forming an image by dividing the incident light by a direction using a microlens array , A method of mounting a plurality of lenses separately from the main lens of the camera, making separate images for each direction, and then acquiring these images with a camera. Among the methods described above, a method of minimizing the size of a camera is a method of separating incident light by mounting a microlens array at a sensor position.

도 1은 라이트 필드 카메라와 일반 2D 카메라의 원리와, 촬영 영상을 비교한 도면이다. FIG. 1 is a view comparing the principles of a light field camera and a general 2D camera with photographed images.

도 1을 참조하면, 라이트 필드 카메라는 일반 2D 카메라와 달리, 이미지 센서(Image sensor)(30) 앞에 마이크로렌즈 어레이(Microlens array)(20)를 추가한 구조이며, 이를 통해 3차원 객체에 대한 정보를 획득할 수 있다. 1, the light field camera differs from a conventional 2D camera in that a microlens array 20 is added in front of an image sensor 30, and information about a three-dimensional object Can be obtained.

도 2는 종래 라이트 필드 카메라의 원리를 도시한 도면이다. 2 is a view showing the principle of a conventional light field camera.

도 1 및 도 2에서 보는 바와 같이, 라이트 필드 카메라는 카메라 렌즈(10)를 통해 가상 이미지 평면에 맺히는 가상 이미지를 마이크로렌즈 어레이(20)가 여러 대의 카메라처럼 동작하여, 서로 다른 시점의 영상을 획득하는 원리이다. As shown in FIGS. 1 and 2, a light field camera operates a virtual image formed on a virtual image plane through a camera lens 10 as a plurality of cameras in the microlens array 20, .

여러 대의 카메라를 사용하여 구현되는 다시점 카메라 시스템과 비교하여, 라이트 필드 카메라는 하나의 이미지 센서를 이용하므로, 카메라 정렬 및 보정 과정이 필요 없다는 장점이 있다. Compared with a multi-view camera system implemented using multiple cameras, the light field camera uses one image sensor, which eliminates the need for a camera alignment and correction process.

하지만, 라이트 필드 카메라는 이미지 센서가 하나이므로, 각 시점 이미지에 할당된 이미지 센서의 면적이 렌즈 어레이를 이루고 있는 요소 렌즈의 수에 반비례하며, 이에 따라 획득되는 시점 이미지의 공간 해상도가 감소하는 단점이 있다. However, since the light field camera has one image sensor, the area of the image sensor allocated to each view-point image is inversely proportional to the number of the element lenses constituting the lens array, and the spatial resolution of the acquired point-image is reduced have.

대한민국 공개특허 10-2017-0102755Korean Patent Publication No. 10-2017-0102755

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 시분할 방식을 이용하여 다시점 이미지의 공간 해상도를 향상시킬 수 있는 라이트 필드 카메라 장치를 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a light field camera device capable of improving spatial resolution of a multi-view image by using a time division method.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

이와 같은 목적을 달성하기 위한 본 발명의 제1 실시예에 따른 라이트 필드 카메라 장치는, 피사체의 상인 가상 이미지를 형성하기 위한 카메라 렌즈, 복수의 요소 렌즈로 구성되며, 상기 카메라 렌즈에 의해 생성된 가상 이미지가 각 요소 렌즈를 통해 복수의 상이 형성되도록 하기 위한 마이크로렌즈 어레이, 상기 마이크로렌즈 어레이를 통해 형성된 복수의 상을 감지하기 위한 이미지 센서 및 상기 마이크로렌즈 어레이에서 상기 가상 이미지가 입사되는 면에 위치하여 상기 마이크로렌즈 어레이에 입사되는 빛을 차단하거나 통과시키는 개폐 동작을 수행하되, 미리 정해진 주기 마다 개폐 동작을 반복하는 가변 셔터(variable shutter)를 포함한다. In order to achieve the above object, a light field camera apparatus according to a first embodiment of the present invention includes a camera lens for forming a virtual image of a subject and a plurality of element lenses, An image sensor for detecting a plurality of images formed through the microlens array, and a micro lens array disposed on a surface of the microlens array on which the virtual image is incident And a variable shutter that performs an opening / closing operation for blocking or passing the light incident on the microlens array and repeatedly performing an opening / closing operation at predetermined intervals.

상기 가변 셔터는, 빛을 통과시키는 통과 영역과 빛을 차단시키는 차단 영역이 동일한 면적으로 형성되어 서로 교차되어 있는 구조이며, 상기 주기 마다 상기 통과 영역과 상기 차단 영역이 번갈아 교대되는 방식으로 동작될 수 있다. 이때, 상기 가변 셔터의 통과 영역과 차단 영역은 상기 마이크로렌즈 어레이의 각 요소 렌즈에 각각 대응될 수 있다. The variable shutter may have a structure in which a pass area for passing light and a cut-off area for blocking light are formed in the same area and intersected with each other, and the pass area and the cut- have. At this time, the passage region and the blocking region of the variable shutter may correspond to the respective element lenses of the microlens array.

본 발명에서 한 주기 동안 상기 가변 셔터의 통과 영역을 통해 통과된 빛에 의해 상기 이미지 센서에서 감지된 영상이 한 프레임을 구성하며, 홀수 번째 서브 프레임에 상기 마이크로렌즈 어레이의 홀수 번째 요소 렌즈를 통해 빛이 통과하도록 상기 가변 셔터의 통과 영역이 위치하고, 짝수 번째 서브 프레임에 상기 마이크로렌즈 어레이의 짝수 번째 요소 렌즈를 통해 빛이 통과하도록 상기 가변 셔터의 통과 영역이 위치할 수 있다. In the present invention, the image sensed by the image sensor constitutes one frame by the light passed through the passage region of the variable shutter for one period, and the light is transmitted through the odd- The passage region of the variable shutter is positioned so that light passes through the even-numbered element lens of the microlens array, and the passage region of the variable shutter is positioned so that light passes through the even-numbered element lens of the microlens array.

본 발명의 제2 실시예에 따른 라이트 필드 카메라 장치는 피사체의 상인 가상 이미지를 형성하기 위한 카메라 렌즈, 복수의 요소 렌즈로 구성되며, 상기 카메라 렌즈에 의해 생성된 가상 이미지가 각 요소 렌즈를 통해 복수의 상이 형성되도록 하기 위한 마이크로렌즈 어레이, 상기 마이크로렌즈 어레이를 통해 형성된 복수의 상을 감지하기 위한 이미지 센서, 상기 마이크로렌즈 어레이에서 상기 가상 이미지가 입사되는 면에 위치하며, 편광 방향이 0°인 제1 영역과 편광 방향이 90°인 제2 영역이 교차되어 구성되는 편광 패턴 어레이, 상기 카메라 렌즈의 후방에 위치하는 편광판 및 상기 편광판과 상기 편광 패턴 어레이 사이에 위치하며, 상기 편광 패턴 어레이에 입사되는 빛의 편광 방향을 0°또는 90°로 변조하되, 미리 정해진 주기 마다 편광 방향을 0°와 90°로 번갈아 변조하기 위한 편광 변조기를 포함한다. The light field camera apparatus according to the second embodiment of the present invention is composed of a camera lens for forming a virtual image of a subject and a plurality of element lenses, and a virtual image generated by the camera lens is transmitted through a plurality of element lenses An image sensor for detecting a plurality of images formed through the microlens array, and an image sensor disposed on a surface of the microlens array on which the virtual image is incident, 1, and a second region having a polarization direction of 90 degrees; a polarizing plate disposed behind the camera lens; and a second polarizing plate disposed between the polarizing plate and the polarizing pattern array, Modulating the polarization direction of light by 0 DEG or 90 DEG, and changing the polarization direction to 0 And it includes a polarization modulator for modulation alternately to 90 °.

상기 편광 패턴 어레이는 상기 제1 영역과 상기 제2 영역이 동일한 면적으로 형성되어 서로 교차되어 있는 구조일 수 있다. 이때, 상기 편광 패턴 어레이의 상기 제1 영역과 상기 제2 영역은 상기 마이크로렌즈 어레이의 각 요소 렌즈에 각각 대응될 수 있다. The polarization pattern array may have a structure in which the first area and the second area are formed in the same area and intersect with each other. At this time, the first region and the second region of the polarization pattern array may correspond to the respective element lenses of the microlens array, respectively.

본 발명에서 한 주기 동안 상기 편광 패턴 어레이의 제1 영역 또는 제2 영역을 통해 통과된 빛에 의해 상기 이미지 센서에서 감지된 영상이 한 프레임을 구성하며, 상기 편광 변조기는 홀수 번째 서브 프레임에 상기 제1 영역을 통해 빛이 통과하도록 편광 방향이 0°가 되도록 변조하고, 짝수 번째 서브 프레임에 상기 제2 영역을 통해 빛이 통과하도록 편광 방향이 90°가 되도록 변조할 수 있다. In the present invention, the image sensed by the image sensor by the light passing through the first region or the second region of the polarization pattern array constitutes one frame during one period, 1 so as to allow light to pass therethrough, and modulate the polarized light so that the polarization direction is 90 ° so that light passes through the second sub-frame in the even-numbered sub-frame.

본 발명에 의하면, 라이트 필드 카메라에서 시분할 방식을 이용하여 각 시점 이미지의 공간 해상도를 향상시킬 수 있는 효과가 있다. According to the present invention, the spatial resolution of each viewpoint image can be improved by using the time-division method in the light field camera.

또한, 본 발명에서 제안하는 라이트 필드 카메라에서는 마이크로렌즈 어레이와 이미지 센서 사이의 거리를 기존 대비 2배로 증가시키고, 이에 따라 각 시점 이미지에 할당된 이미지 센서의 면적을 증가시킬 수 있는 장점이 있다. In addition, in the light field camera proposed in the present invention, the distance between the microlens array and the image sensor is increased to twice the conventional distance, and the area of the image sensor allocated to each viewpoint image can be increased.

도 1은 라이트 필드 카메라와 일반 2D 카메라의 원리와, 촬영 영상을 비교한 도면이다.
도 2는 종래 라이트 필드 카메라의 원리를 도시한 도면이다.
도 3은 본 발명의 제1 실시예에 따른 시분할 라이트 필드 카메라 장치의 구조를 도시한 도면이다.
도 4는 종래 라이트 필드 카메라의 이미지 센서와 마이크로렌즈 어레이 부분을 도시한 도면이다.
도 5는 종래 라이트 필드 카메라에서 발생할 수 있는 문제를 보여주는 도면이다.
도 6은 본 발명의 제1 실시예에 따른 라이트 필드 카메라 장치에서 이미지 센서와 마이크로렌즈 어레이 부분을 보여주는 도면이다.
도 7은 본 발명의 제1 실시예에 따른 라이트 필드 카메라 장치에서 구동 원리를 보여주는 도면이다.
도 8은 본 발명의 제2 실시예에 따른 라이트 필드 카메라 장치의 구조와 원리를 보여주는 도면이다. FIG. 1 is a view comparing the principles of a light field camera and a general 2D camera with photographed images.
2 is a view showing the principle of a conventional light field camera.
3 is a diagram illustrating a structure of a time division light field camera apparatus according to the first embodiment of the present invention.
4 is a view showing an image sensor and a microlens array part of a conventional light field camera.
5 is a view showing a problem that may occur in a conventional light field camera.
6 is a view showing an image sensor and a microlens array part in a light field camera device according to a first embodiment of the present invention.
7 is a view illustrating a driving principle of a light field camera apparatus according to a first embodiment of the present invention.
8 is a view showing a structure and a principle of a light field camera apparatus according to a second embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted in an ideal or overly formal sense unless expressly defined in the present application Do not.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In the following description of the present invention with reference to the accompanying drawings, the same components are denoted by the same reference numerals regardless of the reference numerals, and redundant explanations thereof will be omitted. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.

도 3은 본 발명의 제1 실시예에 따른 시분할 라이트 필드 카메라 장치의 구조를 도시한 도면이다. 3 is a diagram illustrating a structure of a time division light field camera apparatus according to the first embodiment of the present invention.

도 3을 참조하면, 본 발명의 제1 실시예에 따른 라이트 필드 카메라 장치는 카메라 렌즈(310), 마이크로렌즈 어레이(320), 이미지 센서(330), 가변 셔터(variable shutter)(340)를 포함한다. 3, the light field camera device according to the first embodiment of the present invention includes a camera lens 310, a microlens array 320, an image sensor 330, and a variable shutter 340 do.

카메라 렌즈(310)는 피사체의 상인 가상 이미지를 형성하는 역할을 한다. The camera lens 310 serves to form a virtual image of a subject.

마이크로렌즈 어레이(320)는 복수의 요소 렌즈로 구성되며, 카메라 렌즈(310)에 의해 생성된 가상 이미지가 각 요소 렌즈를 통해 복수의 상이 형성되도록 한다. The microlens array 320 is composed of a plurality of element lenses, and a virtual image generated by the camera lens 310 forms a plurality of images through the element lenses.

이미지 센서(330)는 마이크로렌즈 어레이(320)를 통해 형성된 복수의 상을 감지하는 역할을 한다. The image sensor 330 senses a plurality of images formed through the microlens array 320.

가변 셔터(340)는 마이크로렌즈 어레이(320)에서 가상 이미지가 입사되는 면에 위치하여 마이크로렌즈 어레이(320)에 입사되는 빛을 차단하거나 통과시키는 개폐 동작을 수행하되, 미리 정해진 주기 마다 개폐 동작을 반복한다. 예를 들어, 가변 셔터(340)는 액정 패널을 이용하여 구현될 수 있다.The variable shutter 340 is disposed on a surface of the microlens array 320 on which the virtual image is incident and performs an opening and closing operation for blocking or passing light incident on the microlens array 320. The variable shutter 340 performs an opening and closing operation Repeat. For example, the variable shutter 340 can be implemented using a liquid crystal panel.

본 발명의 제1 실시예에서 가변 셔터(340)는 빛을 통과시키는 통과 영역과 빛을 차단시키는 차단 영역이 동일한 면적으로 형성되어 서로 교차되어 있는 구조로 되어 있다. 그리고, 가변 셔터(340)는 일정 주기 마다 통과 영역과 차단 영역이 번갈아 교대되는 방식으로 동작된다. In the first embodiment of the present invention, the variable shutter 340 has a structure in which a pass area for passing light and a blocking area for blocking light are formed in the same area and intersected with each other. The variable shutter 340 is operated in such a manner that the passage area and the blocking area are alternately alternated at regular intervals.

본 발명에서 가변 셔터(340)의 통과 영역과 차단 영역은 마이크로렌즈 어레이(320)의 각 요소 렌즈에 각각 대응될 수 있다.In the present invention, the passage region and the blocking region of the variable shutter 340 may correspond to the respective element lenses of the microlens array 320, respectively.

도 4는 종래 라이트 필드 카메라의 이미지 센서와 마이크로렌즈 어레이 부분을 도시한 도면이다. 4 is a view showing an image sensor and a microlens array part of a conventional light field camera.

도 4에서 보는 바와 같이, 종래 라이트 필드 카메라에서 사용되는 이미지 센서(30)는 하나이므로 각 시점 이미지에 할당된 이미지 센서의 면적(410)은 마이크로렌즈 어레이(20)를 이루고 있는 요소 렌즈의 수에 반비례한다. 만약 각 시점 이미지에 할당된 이미지 센서의 면적(410)을 증가시키기 위해 이미지 센서(30)와 마이크로렌즈 어레이(20) 사이 거리를 조절하면, 인접한 요소 렌즈에 의해 시점 이미지가 중첩되는 문제가 발생한다. 4, since there is one image sensor 30 used in the conventional light field camera, the area 410 of the image sensor allocated to each viewpoint image corresponds to the number of the element lenses constituting the microlens array 20 Inversely. If the distance between the image sensor 30 and the microlens array 20 is adjusted so as to increase the area 410 of the image sensor allocated to each viewpoint image, there arises a problem that the viewpoint image is overlapped by the adjacent element lens .

도 5는 종래 라이트 필드 카메라에서 발생할 수 있는 문제를 보여주는 도면이다. 5 is a view showing a problem that may occur in a conventional light field camera.

도 5에서 보는 바와 같이, 종래 라이트 필드 카메라에서는 각 시점 이미지에 할당된 이미지 센서의 면적을 증가시키기 위해 이미지 센서(30)와 마이크로렌즈 어레이(20) 사이 거리를 조절하면, 인접한 요소 렌즈에 의해 시점 이미지가 중첩되는 영역(510)이 발생하는 문제가 있다. 5, in the conventional light field camera, when the distance between the image sensor 30 and the microlens array 20 is adjusted to increase the area of the image sensor allocated to each viewpoint image, There is a problem that an area 510 in which images overlap is generated.

본 발명에서는 이러한 문제를 해결하기 위하여, 가변 셔터(340)를 마이크로렌즈 어레이(320) 앞에 구비하여, 일정한 시간 간격을 두고 서로 인접한 시점 이미지를 획득하도록 한다. In order to solve this problem, in the present invention, a variable shutter 340 is provided in front of the microlens array 320 to acquire a viewpoint image adjacent to each other with a predetermined time interval.

본 발명의 제1 실시예에서 한 주기 동안 가변 셔터(340)의 통과 영역을 통해 통과된 빛에 의해 이미지 센서(330)에서 감지된 영상이 한 프레임을 구성한다. 여기서, 한 프레임은 하나의 홀수 번째 서브 프레임과, 하나의 짝수 번째 서브 프레임으로 구성된다. In the first embodiment of the present invention, the image sensed by the image sensor 330 by the light passed through the passage area of the variable shutter 340 during one period constitutes one frame. Here, one frame is composed of one odd-numbered sub-frame and one even-numbered sub-frame.

도 6은 본 발명의 제1 실시예에 따른 라이트 필드 카메라 장치에서 이미지 센서와 마이크로렌즈 어레이 부분을 보여주는 도면이다. 6 is a view showing an image sensor and a microlens array part in a light field camera device according to a first embodiment of the present invention.

도 6에서 (a)는 홀수 번째 서브 프레임이고, (b)는 짝수 번째 서브 프레임일 때의 상태이다. In FIG. 6, (a) is an odd-numbered subframe and (b) is a subframe in an even-numbered subframe.

도 6에서 보는 바와 같이, 본 발명에서 제안하는 가변 셔터(340)를 구비하는 라이트 필드 카메라 장치는, 종래에 비해 각 시점 이미지에 할당된 이미지 센서의 면적이 증가된 것을 확인할 수 있다. 이는 도 4의 종래 라이트 필드 카메라 경우와 비교하면, 본 발명에서 제안하는 라이트 필드 카메라 장치에서의 각 시점 이미지에 할당된 이미지 센서의 면적이 증가된 것을 확인할 수 있다. As shown in FIG. 6, the light field camera apparatus having the variable shutter 340 proposed in the present invention can confirm that the area of the image sensor allocated to each viewpoint image is increased compared to the conventional art. It can be seen that the area of the image sensor allocated to each viewpoint image in the light field camera device proposed in the present invention is increased as compared with the conventional light field camera of FIG.

도 7은 본 발명의 제1 실시예에 따른 라이트 필드 카메라 장치에서 구동 원리를 보여주는 도면이다. 7 is a view illustrating a driving principle of a light field camera apparatus according to a first embodiment of the present invention.

도 7에서 (a)는 홀수 번째 서브 프레임이고, (b)는 짝수 번째 서브 프레임에서의 라이트 필드 카메라 장치의 상태를 도시한 것이다. 7A shows an odd-numbered sub-frame, and FIG. 7B shows a state of a light field camera device in an even-numbered sub-frame.

도 7에서 보는 바와 같이, 본 발명의 제1 실시예에 따른 라이트 필드 카메라 장치는 가변 셔터(340)를 이용하여 일정한 시간 간격을 두고, 서로 인접하고 있는 각 요소 렌즈의 시점 이미지를 획득하게 된다. 그러므로 각 시점 이미지에 할당된 이미지 센서의 면적이 증가되므로, 본 특허에서 제안되는 방법을 이용하면 획득된 시점 이미지의 공간 해상도가 향상된다.As shown in FIG. 7, the light field camera apparatus according to the first embodiment of the present invention acquires a viewpoint image of each element lens adjacent to each other at a constant time interval using a variable shutter 340. Therefore, since the area of the image sensor allocated to each viewpoint image is increased, the spatial resolution of the acquired viewpoint image is improved by using the method proposed in this patent.

도 7의 (a)를 참조하면, 홀수 번째 서브 프레임에 마이크로렌즈 어레이(320)의 홀수 번째 요소 렌즈를 통해 빛이 통과하도록 가변 셔터(340)의 통과 영역이 위치하는 것을 확인할 수 있다. Referring to FIG. 7A, it can be seen that the passage region of the variable shutter 340 is positioned so that light passes through the odd-numbered element lens of the microlens array 320 in the odd-numbered subframe.

도 7의 (b)를 참조하면, 짝수 번째 서브 프레임에 마이크로렌즈 어레이(320)의 짝수 번째 요소 렌즈를 통해 빛이 통과하도록 가변 셔터(340)의 통과 영역이 위치하는 것을 확인할 수 있다. Referring to FIG. 7 (b), it can be seen that the passage region of the variable shutter 340 is positioned so that light passes through the even-numbered element lens of the microlens array 320 in the even-numbered subframe.

도 8은 본 발명의 제2 실시예에 따른 라이트 필드 카메라 장치의 구조와 원리를 보여주는 도면이다. 8 is a view showing a structure and a principle of a light field camera apparatus according to a second embodiment of the present invention.

도 8을 참조하면, 본 발명의 제2 실시예에 따른 라이트 필드 카메라 장치는 카메라 렌즈(810), 마이크로렌즈 어레이(820), 이미지 센서(830), 편광 패턴 어레이(840), 편광판(850), 편광 변조기(860)를 포함한다. 8, the light field camera apparatus according to the second embodiment of the present invention includes a camera lens 810, a microlens array 820, an image sensor 830, a polarization pattern array 840, a polarizer 850, , And a polarization modulator (860).

카메라 렌즈(810)는 피사체의 상인 가상 이미지를 형성하는 역할을 한다. The camera lens 810 serves to form a virtual image of the subject of the subject.

마이크로렌즈 어레이(820)는 복수의 요소 렌즈로 구성되며, 카메라 렌즈(810)에 의해 생성된 가상 이미지가 각 요소 렌즈를 통해 복수의 상이 형성되도록 한다. The microlens array 820 is composed of a plurality of element lenses, and the virtual image generated by the camera lens 810 allows a plurality of images to be formed through the respective element lenses.

이미지 센서(830)는 마이크로렌즈 어레이(820)를 통해 형성된 복수의 상을 감지하는 역할을 한다. The image sensor 830 senses a plurality of images formed through the microlens array 820.

편광 패턴 어레이(840)는 마이크로렌즈 어레이(820)에서 가상 이미지가 입사되는 면에 위치하며, 편광 방향이 0°인 제1 영역과 편광 방향이 90°인 제2 영역이 교차되어 구성된다. The polarizing pattern array 840 is disposed on the surface of the microlens array 820 on which the virtual image is incident and is constructed by intersecting a first region having a polarization direction of 0 ° and a second region having a polarization direction of 90 °.

편광판(850)은 카메라 렌즈(810)의 후방에 위치한다. The polarizing plate 850 is located behind the camera lens 810.

편광 변조기(860)는 편광판(850)과 편광 패턴 어레이(840) 사이에 위치하며, 편광 패턴 어레이(840)에 입사되는 빛의 편광 방향을 0°또는 90°로 변조하되, 미리 정해진 주기 마다 편광 방향을 0°와 90°로 번갈아 변조하는 역할을 한다. The polarization modulator 860 is disposed between the polarizing plate 850 and the polarization pattern array 840 and modulates the polarization direction of the light incident on the polarization pattern array 840 to 0 ° or 90 °, It alternately modulates the direction to 0 ° and 90 °.

본 발명의 제2 실시예에서 편광 패턴 어레이(840)는 제1 영역과 제2 영역이 동일한 면적으로 형성되어 서로 교차되어 있는 구조로 구현될 수 있다. In the second embodiment of the present invention, the polarization pattern array 840 can be realized in a structure in which the first area and the second area are formed in the same area and intersected with each other.

도 8에서 보는 바와 같이, 편광 패턴 어레이(840)의 제1 영역과 제2 영역은 마이크로렌즈 어레이(820)의 각 요소 렌즈에 각각 대응되도록 구현될 수 있다. 8, the first region and the second region of the polarization pattern array 840 may correspond to the respective element lenses of the microlens array 820, respectively.

본 발명의 제2 실시예에서 한 주기 동안 편광 패턴 어레이(820)의 제1 영역 또는 제2 영역을 통해 통과된 빛에 의해 이미지 센서(830)에서 감지된 영상이 한 프레임을 구성한다. In the second embodiment of the present invention, the image sensed by the image sensor 830 by the light passing through the first region or the second region of the polarization pattern array 820 for one period constitutes one frame.

도 8에서 (a)는 홀수 번째 서브 프레임이고, (b)는 짝수 번째 서브 프레임에서의 라이트 필드 카메라 장치의 상태를 도시한 것이다. 8A shows an odd-numbered sub-frame, and FIG. 8B shows a state of a light field camera device in an even-numbered sub-frame.

도 8의 (a)를 참조하면, 편광 변조기(860)는 홀수 번째 서브 프레임에 제1 영역을 통해 빛이 통과하도록 편광 방향을 0°로 변조한다. Referring to FIG. 8A, the polarization modulator 860 modulates the polarization direction to 0 ° so that light passes through the first area in the odd-numbered subframe.

도 8의 (b)를 참조하면, 편광 변조기(860)는 짝수 번째 서브 프레임에 제2 영역을 통해 빛이 통과하도록 편광 방향을 90°로 변조한다. Referring to FIG. 8 (b), the polarization modulator 860 modulates the polarization direction to 90 degrees so that light passes through the second area in the even-numbered subframe.

즉, 본 발명의 제2 실시예에 따른 라이트 필드 카메라 장치는 편광판(850)과 편광 변조기(860)를 이용하여, 편광 패턴 어레이(840)로 입사되는 빛의 편광 방향을 0° 또는 90°로 변조한다. 그리고, 본 발명에서는 편광 패턴 어레이(840)를 편광 방향이 0° 또는 90°인 편광 필름으로 제작할 수 있다. 따라서, 본 발명의 제2 실시예에 따른 라이트 필드 카메라 장치에서는 변조된 빛의 편광 방향과 편광 패턴 어레이(840)의 편광 방향이 일치하는 빛의 성분만 마이크로렌즈 어레이(820)로 입사되므로, 시간에 따라 변조되는 편광 방향을 달리하여 서로 다른 시점 이미지를 획득할 수 있다.That is, the light field camera apparatus according to the second embodiment of the present invention uses the polarizing plate 850 and the polarization modulator 860 to change the polarization direction of light incident on the polarization pattern array 840 to 0 ° or 90 ° Modulate. In the present invention, the polarizing pattern array 840 can be made of a polarizing film having a polarization direction of 0 ° or 90 °. Therefore, in the light field camera apparatus according to the second embodiment of the present invention, only the component of the light whose polarization direction of the modulated light coincides with the polarization direction of the polarization pattern array 840 is incident on the microlens array 820, A different viewpoint image can be obtained by differently modulating the polarization direction according to the polarization direction.

이상에서 설명한 바와 같이, 본 발명에서는 마이크로렌즈 어레이와 이미지 센서 사이의 거리를 기존 대비 2배로 멀리 이격시킬 수 있으며, 이에 따라 각 시점 이미지에 할당된 이미지 센서의 면적을 증가시킬 수 있다. As described above, according to the present invention, the distance between the microlens array and the image sensor can be separated by a factor of two, and the area of the image sensor allocated to each viewpoint image can be increased.

본 발명에서 제안하는 시분할 라이트 필드 카메라 장치를 통해 획득된 이미지는, 무안경식 3차원 디스플레이의 콘텐츠 뿐만 아니라 최근 이슈가 되고 있는 VR(virtual reality), HMD(head mounted display) 등에서 콘텐츠로 사용할 수 있다.An image obtained through the time division light field camera device proposed in the present invention can be used as contents in a virtual reality (VR), a head mounted display (HMD), etc., which have become a recent issue as well as the contents of a non-eye hardening three-dimensional display.

이와 더불어 본 발명에서 제안하는 기술을 거리 검출기용 카메라에 적용하면, 고해상도 다시점 이미지를 획득 할 수 있으며, 이에 따라 보다 정확한 깊이 정보를 계산 할 수 있다. In addition, if the technique proposed by the present invention is applied to a camera for a distance detector, a high-resolution multi-view image can be obtained, and more accurate depth information can be calculated.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.While the present invention has been described with reference to several preferred embodiments, these embodiments are illustrative and not restrictive. It will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit of the invention and the scope of the appended claims.

10, 310, 810 카메라 렌즈 20, 320, 820 마이크로렌즈 어레이
30, 330, 830 이미지 센서 340 가변 셔터
410 각 시점 이미지에 할당된 이미지 센서의 면적
510 시점 이미지가 중첩되는 영역
840 편광 패턴 어레이 850 편광판
860 편광 변조기10, 310, 810 camera lens 20, 320, 820 micro lens array
30, 330, 830 image sensor 340 variable shutter
410 Area of image sensor assigned to each viewpoint image
510 Area where the point-in-time image overlaps
840 polarizing pattern array 850 polarizer
860 polarization modulator

Claims

A camera lens for forming a virtual image of a merchant of a subject;
A microlens array including a plurality of element lenses, wherein a virtual image generated by the camera lens forms a plurality of images through respective element lenses;
An image sensor for sensing a plurality of images formed through the microlens array; And
A variable shutter which is located on a surface of the microlens array on which the virtual image is incident and performs opening and closing operations for blocking or passing light incident on the microlens array, the opening and closing operations being repeated at predetermined intervals; &Lt; / RTI &
The variable shutter has a structure in which a pass area for passing light and a cut-off area for blocking light are formed in the same area and intersected with each other, and the variable area is operated in such a manner that the pass area and the cut- Features a light field camera device.

delete

The method according to claim 1,
And the passage area and the blocking area of the variable shutter correspond to the element lenses of the microlens array, respectively.

The method of claim 3,
The image sensed by the image sensor constitutes one frame by the light passed through the passage area of the variable shutter for one period,
Numbered sub-frame of the microlens array so that light passes through the odd-numbered sub-frame of the microlens array and the light passing through the even-numbered sub-frame of the microlens array passes through the even- Wherein a passage area of the variable shutter is located.

A camera lens for forming a virtual image of a merchant of a subject;
A microlens array including a plurality of element lenses, wherein a virtual image generated by the camera lens forms a plurality of images through respective element lenses;
An image sensor for sensing a plurality of images formed through the microlens array;
A polarizing pattern array disposed on a surface of the microlens array on which the virtual image is incident, the polarizing pattern array including a first region having a polarization direction of 0 ° and a second region having a polarization direction of 90 °;
A polarizer disposed behind the camera lens; And
A polarizing plate disposed between the polarizing plate and the polarizing pattern array and modulating the polarization direction of light incident on the polarizing pattern array to 0 ° or 90 ° and alternately modulating the polarizing direction at 0 ° and 90 ° A light field camera device comprising a polarization modulator.

The method of claim 5,
Wherein the polarizing pattern array has a structure in which the first area and the second area are formed to have the same area and intersect with each other.

The method of claim 6,
Wherein the first area and the second area of the polarization pattern array correspond to the respective element lenses of the microlens array, respectively.

The method of claim 7,
An image sensed by the image sensor constitutes one frame by light passed through the first area or the second area of the polarization pattern array for one period,
The polarization modulator modulates the polarized light so that the light passes through the first area in the odd subframe so as to have a polarization direction of 0 ° and the polarization direction is 90 ° so that light passes through the second area in the even subframe So as to modulate the light field.