[go: up one dir, main page]

KR102477092B1 - 이미지 획득 장치 및 방법 - Google Patents

이미지 획득 장치 및 방법 Download PDF

Info

Publication number
KR102477092B1
KR102477092B1 KR1020150144320A KR20150144320A KR102477092B1 KR 102477092 B1 KR102477092 B1 KR 102477092B1 KR 1020150144320 A KR1020150144320 A KR 1020150144320A KR 20150144320 A KR20150144320 A KR 20150144320A KR 102477092 B1 KR102477092 B1 KR 102477092B1
Authority
KR
South Korea
Prior art keywords
image
color
color filter
optical path
path modulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020150144320A
Other languages
English (en)
Other versions
KR20170044524A (ko
Inventor
김윤희
노숙영
남성현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150144320A priority Critical patent/KR102477092B1/ko
Priority to US15/295,248 priority patent/US10699378B2/en
Publication of KR20170044524A publication Critical patent/KR20170044524A/ko
Application granted granted Critical
Publication of KR102477092B1 publication Critical patent/KR102477092B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H01L27/1464—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/004—Optical devices or arrangements for the control of light using movable or deformable optical elements based on a displacement or a deformation of a fluid
    • G02B26/005—Optical devices or arrangements for the control of light using movable or deformable optical elements based on a displacement or a deformation of a fluid based on electrowetting
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/04—Prisms
    • G02B5/06—Fluid-filled or evacuated prisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H01L27/146—
    • H01L27/14621—
    • H01L27/14665—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H10F39/18—Complementary metal-oxide-semiconductor [CMOS] image sensors; Photodiode array image sensors
    • H10F39/182—Colour image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/805—Coatings
    • H10F39/8053—Colour filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

이미지 획득 장치 및 방법이 개시된다. 개시된 이미지 획득 장치는, 복수 종류의 컬러 필터 요소 배열을 가지는 컬러 필터와, 전기적으로 광경로를 변조하여 컬러 필터 상에서 영상의 입사 위치를 시프트시키는 광경로 변조 광학 소자와, 컬러 필터를 통과한 광을 화소 단위로 검출하여 컬러별 영상 정보를 획득하는 광전변환 셀 어레이를 포함한다. 광전변환 셀 어레이의 검출신호를 이용하여 광경로 변조 광학 소자에 의해 위치가 변경되는 영상의 컬러별 영상 정보를 시분할로 획득하고, 획득된 컬러별 영상 정보를 조합하여 컬러 영상을 얻게 된다.

Description

이미지 획득 장치 및 방법 {Apparatus and method for acquiring image}
이미지 획득 장치 및 방법에 관한 것으로, 보다 상세하게는 고해상도 컬러 영상 정보를 획득할 수 있는 이미지 획득 장치 및 방법에 관한 것이다.
이미지 센서에서 컬러 필터는 영상의 색 정보를 획득하기 위해 필요한 요소이다. 현재 대부분의 컬러 이미지 센서는 각 픽셀에서 광전 변환을 위한 검출기의 위쪽에 적색(R), 녹색(G) 및 청색(B) 중 특정 색 만을 투과시키는 유기 염료형 컬러 필터를 베이어 패턴(Bayer pattern)라고 부르는 형태의 배열로 위치하여, 이러한 베이어 컬러 필터를 통해 컬러 모자이크 방식으로 이미지를 얻은 후 이미지 프로세싱을 통해 원래의 컬러 이미지를 복원하고 있다.
이러한 컬러 이미지를 획득하기 위해 이미지 센서 등에 적용하는 컬러 필터는, 원리상 공간적으로 컬러를 분리하여 영상의 컬러 정보를 얻는 방식이므로, 컬러별 정보의 해상도가 감소하게 된다.
예를 들어, 베이어 컬러 필터의 경우, 검출기 수의 1/4 (R 또는 B 컬러의 경우) 또는 1/2(G 컬러의 경우)로 컬러별 정보의 해상도가 감소한다. 베이어 컬러 필터를 적용하는 경우, R, B의 정보는 베이어 패턴을 구성하는 기본 단위인 2픽셀 x 2픽셀 단위마다 얻을 수 있으므로, 가로 세로 방향으로 각각 검출기 수의 절반만큼의 정보를 받을 수 있게 되어, 전체 검출기 수의 1/4 만큼의 해상도를 갖는다. G의 경우는 2픽셀 x 2픽셀 단위 안에 두 곳의 정보를 받을 수 있어, R, B에 비해 두배 많은 해상도를 갖지만, 여전히, R, B 영역에 대한 G 정보는 얻을 수 없고, 전체 검출기 수의 1/2 만큼의 해상도를 갖는다.
광경로 변조 광학 소자를 적용하여, 영상의 광경로를 시프트시켜 고해상도 컬러 영상을 획득할 수 있도록 된 이미지 획득 장치 및 방법을 제공한다.
실시예에 따른 이미지 획득 장치는, 복수 종류의 컬러 필터 요소 배열을 가지는 컬러 필터와; 전기적으로 광경로를 변조하여, 상기 컬러 필터 상에서 영상의 입사 위치를 시프트시키는 광경로 변조 광학 소자와; 상기 컬러 필터를 통과한 광을 화소 단위로 검출하여 컬러별 영상 정보를 획득하는 광전변환 셀 어레이와; 상기 광전변환 셀 어레이의 검출신호를 이용하여 상기 광경로 변조 광학 소자에 의해 위치가 변경되는 상기 영상의 컬러별 영상 정보를 시분할로 획득하고, 획득된 컬러별 영상 정보를 조합하여 컬러 영상을 얻는 신호처리부;를 포함한다.
상기 광경로 변조 광학 소자는, 상기 컬러 필터 상에서 영상의 입사 위치를 한 화소 단위로 시프트시키며, 상기 신호처리부는 상기 광경로 변조 광학 소자에 의해 한 화소 단위로 위치가 변경되는 상기 영상의 컬러별 영상 정보를 시분할로 획득할 수 있다.
상기 컬러 필터 상에서 시분할로 상기 영상의 위치가 변경되도록 상기 광학 소자를 전기적으로 구동하는 구동부;를 더 포함할 수 있다.
상기 광경로 변조 광학 소자는 서로 다른 굴절율을 갖는 제1액체와 제2액체의 계면의 경사각이 인가되는 전압으로 제어되는 전기습윤 프리즘일 수 있다.
상기 전기습윤 프리즘의 입,출사면은 서로 평행할 수 있다.
상기 전기습윤 프리즘은, 각각이 상기 제1액체와 제2액체를 구비하는 제1 및 제2전기습윤 프리즘;을 포함하며, 상기 제1 및 제2전기습윤 프리즘은, 동일 굴절율을 갖는 상기 제1액체나 제2액체가 서로 근접하도록 광의 진행방향을 따라 배치될 수 있다.
상기 제1전기습윤 프리즘의 상기 제1액체와 제2액체의 계면을 제1계면, 상기 제2전기습윤 프리즘의 상기 제1액체와 제2액체의 계면을 제2계면 이라 할 때, 상기 제1계면 및 제2계면은 서로 평행할 수 있다.
상기 광경로 변조 광학 소자는 인가되는 전압에 따라 광을 시프트시키는 적어도 하나의 액티브 액정소자;를 구비할 수 있다.
상기 액티브 액정소자는, 광의 진행방향을 따라 배치되며, 인가되는 전압에 따라 광을 굴절시키는 제1액티브 액정소자;를 포함할 수 있다.
상기 액티브 액정소자는, 광의 진행방향을 따라 서로 이격되게 배치되며, 인가되는 전압에 따라 광을 시프트시키는 제1 및 제2액티브 액정소자;를 포함할 수 있다.
상기 액티브 액정소자는, 홀로그램형 액정소자 및 빔 조향 액정소자 중 어느 하나일 수 있다.
실시예에 따른 이미지 획득 장치는, 메인 렌즈;를 더 포함하며, 상기 광경로 변조 광학 소자는 상기 메인 렌즈와 상기 컬러 필터 사이에 위치할 수 있다.
상기 메인 렌즈와 상기 컬러 필터 사이에 마이크로 렌즈 어레이;를 더 포함하여, 영상의 방향별 정보를 획득하도록 마련될 수 있다.
상기 광경로 변조 광학 소자는, 상기 메인 렌즈와 상기 마이크로 렌즈 어레이 사이에 상기 마이크로 렌즈 어레이 전체를 커버하도록 위치할 수 있다.
상기 광경로 변조 광학 소자는, 상기 마이크로 렌즈 어레이와 상기 컬러 필터 사이에 위치하며, 상기 마이크로 렌즈 어레이의 각 마이크로 렌즈와 일대일로 대응하도록 복수의 광경로 변조 광학 소자를 어레이로 구비할 수 있다.
상기 컬러 필터는 베이어 패턴으로 배열된 2개의 녹색 필터 요소, 하나의 청색 필터 요소, 하나의 적색 필터 요소를 포함하는 컬러 필터 요소 기본 단위의 2차원 배열, 적색 필터 요소, 녹색 필터 요소, 청색 필터 요소, 백색 요소를 포함하는 컬러 필터 요소 기본 단위의 2차원 배열, 적색 필터 요소, 녹색 필터 요소, 청색 필터 요소 기본 단위의 2차원 배열, 옐로우 필터 요소, 마젠타 필터 요소, 시안 필터 요소, 백색 요소를 포함하는 컬러 필터 요소 기본 단위의 2차원 배열, 옐로우 필터 요소, 마젠타 필터 요소, 시안 필터 요소를 포함하는 컬러 필터 요소 기본 단위의 2차원 배열 중 어느 하나를 구비할 수 있다.
상기 광경로 변조 광학 소자에 의해 시프트되는 영상의 위치 변화량을 p라 할 때, 상기 광경로 변조 광학 소자는, x축 및 y축 중 적어도 일 축 방향으로 영상을 p만큼 시프트시켜, 시분할로 복수 위치에서 컬러별 영상 정보를 획득하며, 상기 신호처리부는 시분할로 복수 위치에서 획득된 컬러별 영상 정보를 조합하여 컬러 이미지를 얻을 수 있다.
실시예에 따른 이미지 획득 방법은, 복수 종류의 컬러 필터 요소 배열을 가지는 컬러 필터 상에서 영상의 입사 위치를 변경시키도록 광경로 변조 광학 소자를 전기적으로 제어하는 단계와; 상기 컬러 필터를 통과한 광을 광전변환 셀 어레이로 화소 단위로 검출하여, 컬러별 영상 정보를 획득하는 단계와; 상기 광경로 변조 광학 소자의 전기적 제어에 따른 광경로 변조에 의해, 상기 컬러 필터 상에서 상기 영상의 위치를 적어도 1회 이상 변경하면서, 상기 광전변환 셀 어레이를 이용하여 복수 위치에서의 컬러별 영상 정보를 시분할로 획득하는 단계와; 상기 복수 위치에서 시분할로 획득된 컬러별 영상 정보를 조합하여, 컬러 영상을 획득하는 단계;를 포함할 수 있다.
상기 광경로 변조 광학 소자는, 상기 컬러 필터 상에서 영상의 입사 위치를 한 화소 단위로 시프트시킬 수 있다.
상기 광경로 변조 광학 소자에 의해 시프트되는 영상의 위치 변화량을 p라 할 때, 상기 광경로 변조 광학 소자로, x축 및 y축 중 적어도 일 축 방향으로 영상을 p만큼 시프트시키면서, 시분할로 복수 위치에서 컬러별 영상 정보를 획득하고, 이를 조합하여 컬러 영상을 획득할 수 있다.
실시예에 따른 이미지 획득 장치 및 방법에 따르면, 전기적으로 제어되는 광경로 변조 광학 소자를 이용하여 영상의 광경로를 시프트시키고, 동일 영상에 대해 복수의 위치에서 시분할로 컬러별 영상 정보를 획득하고, 이를 조합하여, 컬러 영상을 획득하게 되므로, 고해상도 컬러 영상을 획득할 수 있다.
이러한 이미지 획득 장치 및 방법에 따르면, 컬러 필터와 같은 광학요소의 기계적인 움직임 없이, 광경로 변조 광학소자의 전기적인 제어에 의해 시분할로 복수 위치에서 컬러별 영상 정보를 획득할 수 있으므로, 기계적인 움직임이 야기하는 진동 등의 문제없이 고속으로 정확한 컬러별 영상 정보 획득이 가능하다.
도 1은 실시예에 따른 이미지 획득 장치를 개략적으로 보인 블록도이다.
도 2는 도 1에 적용되는 이미지 획득 장치의 광학적 구성의 실시예를 개략적으로 보여준다.
도 3a 및 도 3b는 도 2의 이미지 획득 장치의 작동 원리를 예시적으로 보여준다.
도 4a 및 도 4b는 다른 실시예에 따른 이미지 획득 장치를 개략적으로 보여준다.
도 5a 및 도 5b는 다른 실시예에 따른 이미지 획득 장치를 개략적으로 보여준다.
도 6a 및 도 6b는 다른 실시예에 따른 이미지 획득 장치를 개략적으로 보여준다.
도 7a 및 도 7b는 다른 실시예에 따른 이미지 획득 장치를 개략적으로 보여준다.
도 8a 및 도 8b는 다른 실시예에 따른 이미지 획득 장치를 개략적으로 보여준다.
도 9는 실시예에 따른 이미지 획득 장치에 적용되는 컬러 필터의 컬러 필터 요소 배열의 일예를 보여준다.
도 10은 도 9의 컬러 필터 요소의 기본 단위를 보여준다.
도 11은 실시예에 따른 이미지 획득 장치에 의해 획득할 영상의 일예를 보여준다.
도 12는 실시예에 따른 이미지 획득 장치를 이용하여, 도 11의 영상을 획득하는 과정을 보여준다.
도 13은 R,G,B,W 패턴의 컬러 필터의 컬러 필터 요소 배열을 보여준다.
도 14는 R,G,B 패턴의 컬러 필터의 컬러 필터 요소 배열을 보여준다.
도 15는 광경로 변조 광학 소자의 동작에 따라 베이어 패턴에 대응하는 컬러 배열을 가지는 영상을 시프트시켜 고해상도 컬러 영상을 획득하는 동작을 보여준다.
도 16은 광경로 변조 광학 소자의 동작에 따라 R,G,B,W 패턴에 대응하는 컬러 배열을 가지는 영상을 시프트시켜 고해상도 컬러 영상을 획득하는 동작을 보여준다.
도 17은 광경로 변조 광학 소자의 동작에 따라 R,G,B 패턴에 대응하는 컬러 배열을 가지는 영상을 시프트시켜 고해상도 컬러 영상을 획득하는 동작을 보여준다.
이하, 첨부된 도면들을 참조하면서, 실시예에 따른 이미지 획득 장치 및 방법을 상세히 설명한다. 도면에서 동일한 참조번호는 동일한 구성 요소를 지칭하며, 각 층이나 영역들의 크기나 두께는 명확성을 위해 과장되어 있을 수 있다. 한편, 이하에 설명되는 실시예들은 단지 예시적인 것에 불과하며, 이러한 실시예들로부터 다양한 변형이 가능하다. 이하에서, 한 층이 기판이나 다른 층의 "위", "상부" 또는 "상"에 구비된다고 설명될 때, 그 층은 기판이나 다른 층에 직접 접하면서 위에 존재할 수도 있고, 그 사이에 또 다른 층이 존재할 수도 있다.
도 1은 실시예에 따른 이미지 획득 장치를 개략적으로 보인 블록도이다. 도 2는 도 1에 적용되는 이미지 획득 장치의 광학적 구성의 실시예를 개략적으로 보여준다.
도 1 및 도 2를 참조하면, 이미지 획득 장치는, 광경로 변조 광학 소자(10), 이미지 센서(150), 신호처리부(1300)를 포함한다. 광경로 변조 광학 소자(10)는 구동부(1200)에 의해 인가 전압이 온,오프 구동될 수 있다. 이미지 센서(150)는 컬러 필터(30) 및 광전변환 셀 어레이(50)를 포함할 수 있다. 구동부(1200)는, 컬러 필터(30) 상에서 시분할로 영상의 위치가 변경되도록 광경로 변조 광학 소자(10)를 전기적으로 구동할 수 있다. 이미지 센서(150), 구동부(1200), 신호처리부(1300)는 제어부(1100)에 의해 제어될 수 있다.
도 2를 참조하면, 이미지 획득 장치는, 피사체의 상을 결상하는 메인 렌즈(70)를 더 포함할 수 있다. 여기서, 컬러 필터(30) 및 광전변환 셀 어레이(50), 광경로 변조 광학 소자(10)는 이미지 센서(150)를 구성할 수 있다. 또한, 구동부(1200) 및 신호처리부(1300)도 이미지 센서(150)에 포함될 수 있다. 즉, 이미지 센서(150)는 이미지 획득 장치에서 메인 렌즈(70) 등의 렌즈 요소를 제외한 나머지 구성을 포함할 수 있다. 이와 같이, 이미지 센서(150)의 구성요소는 컬러 필터(30) 및 광전변환 셀 어레이(50)에 한정되지 않으며, 이미지 획득 장치의 여러 구성요소를 포함할 수도 있다. 도 1 및 도 2에서는 이미지 센서(150)가 컬러 필터(30) 및 광전변환 셀 어레이(50)를 포함하는 경우를 예시적으로 보여준다.
실시예에 따른 이미지 획득 장치에 따르면, 광경로 변조 광학 소자(10)는, 전기적으로 광경로 제어가 가능하도록 마련되어, 전기신호에 따라 메인 렌즈(70)로로부터 나온 영상의 광축을 컬러 필터(30) 상에서 소정 위치 예컨대, 한 화소만큼 이동시키거나 복귀시킬 수 있다. 광경로 변조 광학 소자(10)는, 컬러 필터(30) 상에서 시분할로 영상의 위치가 변경되도록 구동부(1200)에 의해 구동될 수 있다.
상기 광경로 변조 광학 소자(10)는 입사면(10a)과 출사면(10b)이 서로 평행하도록 마련될 수 있다. 광경로 변조 광학 소자(10)로는 예를 들어, 응답 속도가 빠른 전기 습윤 프리즘을 적용할 수 있다. 실시예에 따른 이미지 획득 장치에 있어서, 전기습윤 프리즘은, 입,출사면이 서로 평행하며, 서로 다른 굴절율을 갖는 제1액체와 제2액체의 계면의 경사각이 인가되는 전압으로 제어되도록 마련될 수 있다. 이때, 전기습윤 프리즘은, 제1액체와 제2액체의 계면의 경사각 조정에 의해, 컬러 필터(30) 상에서 영상의 입사 위치를 예를 들어, 수평 방향 및 수직 방향 중 적어도 일 방향으로 변경시키도록 마련될 수 있다. 이에 의해, 전기습윤 프리즘의 전기적인 제어에 의해, 영상의 입사 위치를 화소 단위로 수평 방향 및 수직 방향 중 적어도 일 방향으로 시프트시키거나 복귀시킬 수 있다.
광경로 변조 광학 소자(10)는 예를 들어, 도 2에서와 같이, 각각이 제1액체(11a)(13b)와 제2액체(11b)(13a)를 구비하는 제1 및 제2전기습윤 프리즘(11)(13)을 포함할 수 있다. 제1 및 제2전기습윤 프리즘(11)(13)은, 서로 동일 굴절율을 갖는 제1액체(11a)(13b)나 제2액체(11b)(13a)가 서로 근접하도록 광의 진행방향을 따라 배치될 수 있다. 도 2에서는 제1 및 제2전기습윤 프리즘(11)(13)의 제2액체(11b)(13a)가 서로 근접하도록 배치된 예를 보여준다. 이때, 제1전기습윤 프리즘(11)의 제1액체(11a)와 제2액체(11b)의 계면을 제1계면(12), 제2전기습윤 프리즘(13)의 제1액체(13b)와 제2액체(13a)의 계면을 제2계면(14) 이라 할 때, 제1계면(12) 및 제2계면(14)은 서로 평행할 수 있다.
상기와 같이 광경로 변조 광학 소자(10)가 제1 및 제2전기습윤 프리즘(11)(13)을 포함하도록 마련되는 경우, 광경로 변조 광학 소자(10)에 입사되는 광과 출사되는 광은 서로 평행할 수 있다. 이때, 광경로 변조 광학 소자(10)의 입사면(10a)은 제1전기습윤 프리즘(11)의 입사면에 해당하며, 광경로 변조 광학 소자(10)의 출사면(10b)은 제2전기습윤 프리즘(13)의 출사면에 해당할 수 있다.
컬러 필터(30)는 복수의 종류의 컬러 필터 요소(30R,30G,30B) 배열을 가질 수 있다. 예를 들어, 컬러 필터(30)는 적색(R) 필터 요소(30R), 녹색(G) 필터 요소(30G) 및 청색(B) 필터 요소(30B)가 화소 단위로 2차원 어레이를 이루도록 배열된 것으로, 각 컬러 필터 요소(30R)(30G)(30B)는 이미지 센서(150)의 각 컬러 픽셀에 대응할 수 있다. 예를 들어, 컬러 필터(30)는 후술하는 도 9에서와 같이, 베이어 패턴으로 배열된 2개의 녹색(G) 필터 요소(30G), 하나의 청색(B) 필터 요소(30B), 하나의 적색(R) 필터 요소(30R)를 포함하는 컬러 필터 요소 기본 단위의 2차원 배열을 가질 수 있다. 또한, 컬러 필터(30)는 이외에도 컬러 필터(30)는 복수의 종류의 컬러 필터 요소가 다양하게 배열될 수 있다. 예를 들어, 컬러 필터(30)는 R,G,B,W 필터 요소를 포함하는 컬러 필터 요소 기본 단위의 2차원 배열을 가지도록 마련될 수 있다. 이때, W 필터 요소는 화이트(White)로서, 필터 요소가 없는 투명 픽셀에 해당할 수 있다. 다른 예로서, 컬러 필터(30)는 C(cyan), M(magenta), Y(yellow), K(black) 필터요소를 포함하는 컬러 필터 요소 기본 단위의 2차원 배열을 가지도록 마련될 수 있다. 이와 같이, 컬러 필터(30)는 다양한 컬러 필터 요소의 조합을 가질 수 있으며, 이에 따라 이미지 센서(150)는 다양한 컬러 픽셀 조합을 가질 수 있다. 이하에서는, 컬러 필터(30)가 적색(R) 필터 요소(30R), 녹색(G) 필터 요소(30G) 및 청색(B) 필터 요소(30B)를 포함하는 경우를 예를 들어 설명하는데, 실시예가 이에 한정되는 것은 아니다.
광전변환 셀 어레이(50)는, 컬러 필터(30)를 통과한 광을 화소 단위로 검출하여 컬러별 영상 정보를 획득하도록 된 것으로, 각 광전변환 셀(51)은 컬러 필터(30)의 각 컬러 필터 요소(30R)(30G)(30B)와 일대일로 대응하도록 마련될 수 있다. 예를 들어, 적색(R) 필터 요소(30R)에 대응하는 광전변환 셀(51)은 적색(R) 영상 정보를 검출하며, 녹색(G) 필터 요소(30G)에 대응하는 광전변환 셀(51)은 녹색(G) 영상 정보를 검출하며, 청색(B) 필터 요소(30B)에 대응하는 광전변환 셀(51)은 청색(B) 영상 정보를 검출할 수 있다.
예를 들어, 컬러 필터(30)가 적색(R) 필터 요소(30R), 녹색(G) 필터 요소(30G) 및 청색(B) 필터 요소(30B)의 2차원 어레이를 구비하는 경우, 이미지 센서(150)는 적색(R) 컬러 픽셀, 녹색(G) 컬러 픽셀, 청색(B) 컬러 픽셀의 2차원 어레이 배열을 가지게 된다. 다른 예로서, 컬러 필터(30)는 하나의 적색(R) 필터 요소(30R), 2개의 녹색(G) 필터 요소(30G) 및 하나의 청색(B) 필터 요소(30B)를 기본 단위로 하는 베이어 패턴 배열을 가지는 경우, 이미지 센서(150)는 하나의 적색(R) 컬러 픽셀, 2개의 녹색(G) 컬러 픽셀, 하나의 청색(B) 컬러 픽셀을 기본 단위로 하는 컬러 픽셀들의 2차원 어레이 배열을 가지게 된다.
도 2 및 이하의 3A 내지 도 8B에서는 도시의 편의상, 컬러 필터(30)의 컬러 필터 요소(30R)(30G)(30B)들 및 이에 따른 컬러별 영상 정보가 R,G,B,R,G,B....의 배열로 이루어진 것으로 예시적으로 도시한다. 컬러 필터(30)의 컬러 필터 요소들(30R)(30G)(30B)이 도 9에서와 같은 베이어 패턴으로 배열되는 경우, 이에 따라 컬러별 영상 정보 배열도 베이어 패턴 방식을 따르게 된다.
이와 같이, 컬러 필터(30)의 복수의 컬러 필터 요소(30R)(30G)(30B) 구성 및 배치, 이에 따른 이미지 센서(150)의 컬러 픽셀 구성 및 배치는 다양하게 변형될 수 있다.
상기와 같은 광전변환 셀 어레이(50)에서의 컬러별 영상 정보는 신호처리부(1300)에서 처리된다. 신호처리부(1300)는, 광전변환 셀 어레이(50)의 각 광전변환 셀(51)의 검출신호를 이용하여 광경로 변조 광학 소자(10)에 의해 한 화소 단위로 위치가 변경되는 컬러별 영상 정보를 시분할로 획득하고, 획득된 컬러별 영상 정보를 조합하여, 컬러 영상을 획득한다. 이와 같이 획득된 컬러 영상은 이미지 프로세싱을 통해 원래의 컬러 영상으로 복원할 수 있다.
도 3a 및 도 3b는 도 2의 이미지 획득 장치의 작동 원리를 예시적으로 보여준다. 광경로 변조 광학 소자(10)에 의해 컬러별 영상 정보는 도 3a 및 도 3b에서와 같이 예를 들어, 한 화소만큼 위치가 변경될 수 있다.
예를 들어, 백색의 영상이 컬러 필터(30)의 R,G,B,R,G의 컬러 필터 요소로 입력되는 경우를 고려해보자. 이 경우, 광경로 변조 광학 소자(10)를 사용하지 않는 경우에는, 컬러 필터(30)의 R,G,B,R,G의 컬러 필터 요소(30R)(30G)(30B)를 통과한 컬러별 영상은 이에 대응되는 광전변환 셀(51)에 의해 R,G,B,R,G 배열의 컬러별 영상 정보(I1)로 검출될 수 있다.
도 3a에서와 같이, 제1전기습윤 프리즘(11)의 제1계면(12)과 제2전기습윤 프리즘의 제2계면(14)이 입사면(10a)과 출사면(10b)에 평행하도록 구동되어, 제1 및 제2전기습윤 프리즘(11)(13)의 제1 및 제2계면(12)(14)의 각도가 광전변환 셀 어레이(50)에 대해 평행한 0ㅀ의 각도를 이룰 때, 광경로 변조 광학 소자(10)에 입사되는 영상은 시프트없이 광경로 변조 광학 소자(10)를 통과한다. 따라서, 이 경우에는 광경로 변조 광학 소자(10)를 사용하지 않은 경우와 동일한 영상이 획득된다. 즉, 컬러 필터(30)의 R,G,B,R,G의 컬러 필터 요소를 통과한 컬러별 영상은 이에 대응되는 광전변환 셀(51)에 의해 도 3a의 하단에서와 같이, R,G,B,R,G 배열의 컬러별 영상 정보(I1)로 검출될 수 있다.
도 3b에서와 같이, 제1전기습윤 프리즘(11)의 제1계면(12)과 제2전기습윤 프리즘의 제2계면(14)이 입사면(10a) 및 출사면(10b)에 대해 경사져, 각도를 이루도록 구동될 때, 광경로 변조 광학 소자(10)에 입사되는 영상은 굴절되어 시프트된다. 즉, 제1전기습윤 프리즘(11)의 제1계면(12)과 제2전기습윤 프리즘의 제2계면(14)의 기울어진 각도에 의해 입사광이 굴절되어 굴절된 방향으로 시프트가 일어나 광전변환 셀 어레이(50)로 전달되게 된다. 따라서, 광경로 변조 광학 소자(10)가 없는 경우와 동일한 영상에 대한 정보를 얻을 수 있으나, 굴절된 방향으로 시프트가 일어난 영상을 얻게 된다. 이때, 영상 시프트가 컬러 필터(30)의 한 화소만큼 이루어지도록 제1전기습윤 프리즘(11) 및 제2전기습윤 프리즘(13)의 제1 및 제2계면(12)(14) 각각의 각도를 전기적으로 조절해주면, 동일한 영상에 대한 정보를 얻되, 컬러 필터(30)의 한 화소만큼만 시프트된 영상을 얻게 된다. 따라서, 도 3b의 하단에서와 같이, 시프트된 영상은 컬러 필터(30)의 G,B,R,G,B의 컬러 필터 요소(30R)(30G)(30B)를 통과하게 되고, 이에 대응되는 광전변환 셀(51)에 의해 G,B,R,G,B 배열의 컬러별 영상 정보(I2)로 획득될 수 있다. 즉, 컬러 필터(30)를 기계적으로 한 화소만큼 움직이는 것과 동일한 결과가 얻어질 수 있다.
상기한 바와 같은 이미지 획득 장치에 따르면, 광경로 변조 광학 소자(10)를 전기적으로 제어하여, 영상의 광경로를 시프트시켜, 동일한 영상을 예를 들어, 한 화소만큼 시프트시켜 시분할로 2회 이상에 걸쳐 획득하고 이를 조합한다. 따라서, 후술하는 도 12에서 알 수 있는 바와 같이, 컬러 해상도 및 전체 해상도가 향상된 고해상도 영상을 획득할 수 있다.
이때, 예를 들어, 컬러 필터(30) 상에서 영상의 입사 위치의 이동량을 p라 할 때, 제1 및 제2전기습윤 프리즘(11)(13)의 제1 및 제2계면(12)(14) 각각의 경사각 조정에 의해, (0,0) 위치에 있는 영상을 (p,0), (0,p),(p,p) 중 적어도 한 위치로 이동시킬 수 있다. 즉, 영상을 수평 방향 예컨대, x축 방향 및 수직 방향 예컨대, y축 방향 중 적어도 일 방향으로 한 화소만큼 시프트시킬 수 있다. 한 화소만큼의 이동량이 p일 때, 영상을 x축 방향 또는 y축 방향으로 한 화소만큼 시프트시켜((0,0) -> (p,0) 또는 (0,0) -> (0,p)), 두 위치에서 시분할로 컬러별 영상 정보를 획득하거나, 영상을 x축 및 y축 방향으로 한 화소만큼 시프트시켜((0,0) -> (0,0), (p,0), (0,p), (p,p)), 네 위치에서 시분할로 컬러별 영상 정보를 획득할 수 있다. 여기서, 수평 방향 예컨대, x축 방향 및 수직 방향 예컨대, y축 방향 중 적어도 일 방향으로 한 화소만큼 영상을 시프트시키는 것으로 실시예가 한정되는 것은 아니며, 복수의 화소범위에 걸쳐 한 화소단위 또는 복수 화소단위로 영상을 시프트시키면서, 복수의 위치에서 시분할로 컬러별 영상 정보를 획득하고, 이를 조합하여 컬러 영상을 얻도록 작동할 수 있다.
이하에서는 이미지 획득 장치의 광학적 구성의 다양한 실시예들을 설명한다.
도 4a 및 도 4b는 다른 실시예에 따른 이미지 획득 장치를 개략적으로 보인 것으로, 도 2 내지 도 3b와 비교할 때, 광경로 변조 광학 소자(10)가 하나의 전기습윤 프리즘 예컨대, 제1전기습윤 프리즘(11)을 구비하는 점에 차이가 있다.
이와 같이, 광경로 변조 광학 소자(10)로 제1전기습윤 프리즘(11)만을 적용하는 경우, 도 4a에서와 같이, 제1전기습윤 프리즘(11)의 제1계면(12)이 광경로 변조 광학 소자(10)의 입사면(10a) 및 출사면(10b)에 평행하도록 구동될 때에는, 광경로 변조 광학 소자(10)에 입사되는 영상은 시프트없이 광경로 변조 광학 소자(10)를 통과하여, 컬러 필터(30)의 R,G,B,R,G의 컬러 필터 요소로 입력된다. 이에 따라 컬러 필터(30)의 R,G,B,R,G의 컬러 필터 요소를 통과한 컬러별 영상은 이에 대응되는 광전변환 셀(51)에 의해 R,G,B,R,G의 컬러별 영상 정보(I1)로 획득될 수 있다. 또한, 도 4b에서와 같이, 제1전기습윤 프리즘(11)의 제1계면(12)이 광경로 변조 광학 소자(10)의 입사면(10a) 및 출사면(10b)에 대해 경사지도록 구동될 때에는, 광경로 변조 광학 소자(10)에 입사되는 영상은 일정각도로 굴절되어 광전변환 셀 어레이(50)에 시프트되어 도달한다. 제1전기습윤 프리즘(11)의 제1계면(12)의 경사각이 광경로 변조 광학 소자(10)를 통과한 영상이 컬러 필터(30) 상에서 한 화소만큼 시프트되도록 구동될 때, 영상은 한 화소만큼 시프트되어, 컬러 필터(30)의 G,B,R,G,B의 컬러 필터 요소로 입력된다. 이에 따라 컬러 필터(30)의 G,B,R,G,B의 컬러 필터 요소를 통과한 영상은, 이에 대응되는 광전변환 셀(51)에 의해 G,B,R,G,B의 컬러별 영상 정보(I2)로 획득될 수 있다. 여기서, 도 4b에 도시한 바와 같이, 광경로 변조 광학 소자(10)로 하나의 전기습윤 프리즘을 적용하여, 영상을 시프트시키는 경우에는, 광경로 변조 광학 소자(10)의 입사면(10a)에 입사되는 광에 대해 출사면(10b)으로 출사되는 광은 약간의 틸트를 가질 수 있다. 그러나 틸트 정도가 작으므로, 영상의 왜곡 없이 컬러 필터(30) 상에서 한 화소만큼 시프된 상태로 컬러별 영상 정보를 획득하는 것이 가능하다.
도 5a 및 도 5b, 도 6a 및 도 6b는 각각 다른 실시예들에 따른 이미지 획득 장치를 개략적으로 보인 것으로, 광경로 변조 광학 소자(10)로 전기습윤 프리즘을 사용하는 대신에, 액정층에 인가되는 전압을 온, 오프시킴에 따라 영상을 시프트시키거나 복귀시킬 수 있도록 된 액티브 액정소자를 구비한 점에 차이가 있다. 광경로 변조 광학 소자(10)에 적용 가능한 액티브 액정소자로는 전기습윤 프리즘과 동일한 역할을 수행할 수 있도록 예를 들어, 홀로그램형 액정소자나, 빔 조향(beam steering) 액정소자 등을 적용할 수 있다.
홀로그램형 액정소자는, 액정 배열을 변조시켜 홀로그램소자로 동작하도록 마련된다. 홀로그램형 액정소자는, 예를 들어, 전압 오프시에는 홀로그램소자로서 작동하지 않으며, 전압 온시에는 홀로그램소자로서 작동하여, 컬러 필터(30) 상에서 영상을 예컨대, 화소 단위로 시프트시킬 수 있다.
빔 조향 액정소자는 액정에 인가되는 전압 조절에 따라 굴절율을 변화시켜 프리즘처럼 입사빔의 진행 방향으로 바꾸어주는 빔 조향 소자로서 동작하도록 마련된다. 빔 조향 액정소자는 예를 들어, 전압 오프시에는 빔 조향 소자로서 작동하지 않으며, 전압 온시에는 빔 조향 소자로서 작동하여, 컬러 필터(30) 상에서 영상을 예컨대, 화소 단위로 시프트시킬 수 있다.
도 5a 및 도 5b는 도 3a 및 도 3b에 대응되게, 광경로 변조 광학 소자(10)로 제1 및 제2전기습윤 프리즘(11)(13) 대신에 제1 및 제2액티브 액정소자(110)(130)를 구비한다. 이때, 제1 및 제2액티브 액정소자(110)(130)로는 홀로그램형 액정소자나 빔 조향 액정소자 등을 적용할 수 있다.
도 6a 및 도 6b는 도 4a 및 도 4b에 대응되게, 광경로 변조 광학 소자(10)로 하나의 전기습윤 프리즘 대신에 하나의 액티브 액정소자 예컨대, 제1액티브 액정소자(110)를 구비한다. 이때, 제1액티브 액정소자(110)로는 홀로그램형 액정소자나 빔 조향 액정소자 등을 적용할 수 있다.
도 7a 및 도 7b는 다른 실시예에 따른 이미지 획득 장치를 개략적으로 보인 것으로, 도 7a는 광경로 변조 광학 소자(10)가 영상을 시프트 없이 통과시키는 동작 상태, 도 7b는 광경로 변조 광학 소자(10)가 영상을 시프시키는 동작 상태를 보여준다.
도 7a 및 도 7b를 참조하면, 이미지 획득 장치는, 도 2 내지 도 6b를 참조로 설명한 전술한 실시예들과 비교할 때, 메인 렌즈(70)와 컬러 필터(30) 사이에 마이크로 렌즈 어레이(200)를 더 구비한다. 도 7a 및 도 7b에서는 마이크로 렌즈 어레이(200)가 광경로 변조 광학 소자(10)와 컬러 필터(30) 사이에 배치되며, 광경로 변조 광학 소자(10)가 제1전기습윤 프리즘(11) 및 제2전기습윤 프리즘(13)을 구비하는 경우를 예시적으로 보여준다. 도 7a 및 도 7b에서, 광경로 변조 광학 소자(10)는 제1전기습윤 프리즘(11) 및 제2전기습윤 프리즘(13)을 구비하는 대신에, 도 4a 및 도 4b에서와 같이, 하나의 전기습윤 프리즘(11)을 구비하거나, 도 5a 및 도 5b에서와 같이 제1 및 제2액티브 액정소자(110)(130)를 구비하거나, 도 6a 및 도 6b에서와 같이, 제1액티브 액정소자(110)를 구비할 수도 있다.
도 7a 및 도 7b에서와 같이, 이미지 획득 장치가 메인 렌즈(70)에 부가하여 마이크로 렌즈 어레이(200)를 더 구비하는 경우, 메인 렌즈(70)에서 각 방향으로 향하는 복수의 상이 각 마이크로 렌즈(210)에 의해 이미지 센서(150)로 전달될 수 있어, 이미지 획득 장치는 라이트 필드(light field)를 저장할 수 있다. 따라서, 이미지 획득 장치는 하나의 카메라를 이용하여 다수의 시차영상을 얻는 라이트 필드 카메라 등으로 구현될 수 있다.
여기서, 라이트 필드를 저장하는 방식은 마이크로 렌즈 어레이(200)를 이미징 렌즈인 메인 렌즈(70) 다음, 이미지 센서(150) 앞에 배치하여, 광의 방향에 따른 정보를 2차원(2D) 형태로 저장한 다음, 후처리를 통해 영상초점을 재조절 할 수 있으며, 후처리 시 3차원 정보계산을 하여 촬영한 영상의 깊이 정보 등을 추출 할 수 있다. 이러한 방식은 하나의 마이크로 렌즈(210)에 복수의 컬러 필터 요소(30R)(30G)(30B) 및 복수의 광전변환 셀(51)을 대응시켜, 광의 방향에 따른 정보를 획득하므로, 해상도가 저하될 수 있다.
하지만, 실시예에 따른 이미지 획득 장치에 따르면, 시분할로 영상을 한 화소만큼씩 시프트시킴으로써, 시프트되지 않은 영상의 컬러별 영상 정보와 시프트된 영상의 컬러별 영상 정보를 얻고 이를 조합하여 3차원 영상 정보를 획득하므로, 컬러 해상도 및 전체 해상도가 향상된 3차원 영상정보를 획득할 수 있다. 따라서, 라이트 필드(light field) 방식으로 3차원 영상 정보를 획득하면서도 해상도 저하는 줄일 수 있다.
따라서, 실시예에 따른 이미지 획득 장치에 따르면, 영상의 3차원 정보 획득시에도, 기존의 라이트 필드 방식에 비해 고해상도로 3차원 영상을 획득할 수 있다.
도 8a 및 도 8b는 다른 실시예에 따른 이미지 획득 장치를 개략적으로 보인 것으로, 도 8a는 광경로 변조 광학 소자(10)가 영상을 시프트 없이 통과시키는 동작 상태, 도 8b는 광경로 변조 광학 소자(10)가 영상을 시프시키는 동작 상태를 보여준다.
도 8a 및 도 8b를 참조하면, 이미지 획득 장치는, 도 7a 및 도 7b와 비교할 때, 복수의 광경로 변조 광학 소자(10)를 어레이(100)로 구비한 점에 차이가 있다. 도 8a 및 도 8b에서는 각 광경로 변조 광학 소자(10)가 제1전기습윤 프리즘(11) 및 제2전기습윤 프리즘(13)을 구비하는 경우를 예시적으로 보여준다. 도 8a 및 도 8b에서, 각 광경로 변조 광학 소자(10)는 제1전기습윤 프리즘(11) 및 제2전기습윤 프리즘(13)을 구비하는 대신에, 도 4a 및 도 4b에서와 같이, 하나의 전기습윤 프리즘(11)을 구비하거나, 도 5a 및 도 5b에서와 같이 제1 및 제2액티브 액정소자(110)(130)를 구비하거나, 도 6a 및 도 6b에서와 같이, 제1액티브 액정소자(110)를 구비할 수도 있다.
도 8a 및 도 8b에서와 같이, 복수의 광경로 변조 광학 소자(10)를 어레이(100)로 구비하는 경우, 각 광경로 변조 광학 소자(10)는 마이크로 렌즈 어레이(200)의 각 마이크로 렌즈(210)와 일대일로 대응하도록 배치될 수 있다. 도 8a 및 도 8b에서는 광경로 변조 광학 소자 어레이(100)가, 마이크로 렌즈 어레이(200)와 컬러 필터(30) 사이에 배치된 경우를 예를 들어 보여주는데, 광경로 변조 광학 소자 어레이(100)는 메인 렌즈(70)와 마이크로 렌즈 어레이(200) 사이에 배치될 수도 있다.
도 8a 및 도 8b에서와 같이, 마이크로 렌즈 어레이(200)에 대응되게 복수의 광경로 변조 광학 소자(10)를 어레이(100)로 구비하는 경우, 메인 렌즈(70)에 의해 각 방향으로 진행하는 복수의 영상은 각 마이크로 렌즈(210)에 입사되고, 각 마이크로 렌즈(210)에 대응하는 광경로 변조 광학 소자(10)에 의해 시분할로 예컨대, 한 화소 만큼 시프트될 수 있으며, 컬러 필터(30)의 대응하는 영역으로 입사된다. 컬러 필터(30)의 대응하는 영역의 컬러 필터 요소(30R)(30G)(30B)들을 통과한 컬러별 영상은 이에 대응되는 광전변환 셀(51)에 의해 각 방향별 각 컬러별 영상 정보로 획득될 수 있다. 따라서, 획득된 영상 정보를 조합하면, 컬러 해상도 및 전체 해상도가 향상된 3차원 영상정보를 획득할 수 있다.
도 9는 실시예에 따른 이미지 획득 장치에 적용되는 컬러 필터(30)의 컬러 필터 요소(30R)(30G)(30B) 배열의 일예를 보여준다. 도 10은 도 9의 컬러 필터 요소(30R)(30G)(30B)의 기본 단위(31)를 보여준다. 도 9 및 도 10에서는 컬러 필터(30)의 컬러 필터 요소(30R)(30G)(30B)가 베이어 패턴으로 배열된 경우를 예시적으로 보여준다.
도 9 및 도 10을 참조하면, 컬러 필터(30)의 컬러 필터 요소(30R)(30G)(30B)의 기본 단위(31)는 예를 들어, 적색 필터 요소(30R), 2개의 녹색 필터 요소(30G), 청색 필터 요소(30B)를 포함하는 4개의 컬러 필터 요소로 이루어지고, 이 4개의 컬러 필터 요소를 기본 단위(31)로 하여, 기본 단위(31) 다수개가 2차원으로 배열된 형태로 이루어질 수 있다. 적색 필터 요소(30R) 및 이에 대응하는 광전변환 셀(51)은 이미지 센서(150)의 적색 컬러 픽셀을 구성한다. 녹색 필터 요소(30G) 및 이에 대응하는 광전변환 셀(51)은 이미지 센서(150)의 녹색 컬러 픽셀을 구성한다. 청색 필터 요소(30B) 및 이에 대응하는 광전변환 셀(51)은 이미지 센서(150)의 청색 컬러 픽셀을 구성한다.
도 11은 실시예에 따른 이미지 획득 장치에 의해 획득할 영상의 일예를 보여준다. 도 12는 실시예에 따른 이미지 획득 장치를 이용하여, 도 11의 영상을 획득하는 과정을 보여준다. 도 12에서는 이미지 획득 장치에 베이어 패턴의 컬러 필터(30)를 적용한 경우에 영상 획득 과정을 예시적으로 보여준다. 이미지 획득 장치에 적용되는 컬러 필터(30)가 다른 컬러 필터 요소를 가지는 경우, 영상 획득 과정에서 단계별로 획득되는 컬러 영상 부분의 배열은 달라질 수 있다.
도 11에서와 같이, 적색 컬러 영상 부분(300R), 녹색 컬러 영상 부분(300G), 청색 컬러 영상 부분(300B)으로 이루어진 영상이 컬러 필터(30)에 입사되는 경우를 예를 들어보자. 컬러 필터(30)에 입사된 영상은 광경로 변조 광학 소자(10)에 의한 시프트가 없는 경우 즉, Shift(0,0)인 경우, 도 12의 (a) 부분에서와 같이, 이미지 센서(150)에서 제1컬러 영상 정보로 획득된다. 제1컬러 영상 정보는 도 12의 (a) 부분에서 해칭된 컬러 픽셀에서 얻어진 정보에 해당한다.
영상을 광경로 변조 광학 소자(10)에 의해 가로축 방향 즉, x-축 방향을 한 화소(p)만큼 시프트시켜, 영상이 Shift(p,0)로 이동되는 경우, 도 12의 (b) 부분에서와 같이 이미지 센서(150)에서 제2컬러 영상 정보가 획득된다. 제2컬러 영상 정보는 도 12의 (b) 부분에서 해칭된 컬러 픽셀에서 얻어진 정보에 해당한다.
영상을 광경로 변조 광학 소자(10)에 의해 세로축 방향 즉, y-축 방향을 한 화소(p)만큼 시프트시켜, 영상이 Shift(0,p)로 이동되는 경우, 도 12의 (c) 부분에서와 같이 이미지 센서(150)에서 제3컬러 영상 정보가 획득된다. 제3컬러 영상 정보는 도 12의 (c) 부분에서 해칭된 컬러 픽셀에서 얻어진 정보에 해당한다.
영상을 광경로 변조 광학 소자(10)에 의해 가로축 방향 즉, x-축 방향과 세로축 방향 즉, y-축 방향으로 한 화소(p)만큼 시프트시켜, 영상이 Shift(p,p)로 이동되는 경우, 도 12의 (d) 부분에서와 같이 이미지 센서(150)에서 제4컬러 영상 정보가 획득된다. 제4컬러 영상 정보는 도 12의 (d) 부분에서 해칭된 컬러 픽셀에서 얻어진 정보에 해당한다.
따라서, 제1 내지 제4컬러 영상 정보를 시분할로 획득하고, 이 제1 내지 제4컬러 영상 정보를 조합하면, 도 12의 (e) 부분에서와 같은 획득 영상이 얻어진다.
도 11의 입사 영상과 도 12의 (e) 부분의 획득 영상을 비교해보면, 컬러 해상도 손실이 거의 없으며, 입사 영상에 가까운 해상도로 획득 영상이 얻어짐을 알 수 있다.
따라서, 실시예에 따른 이미지 획득 방식에 따르면, 복수 종류의 컬러 필터 요소(30R)(30G)(30B)가 어레이로 마련된 컬러 필터(30) 예를 들어, 베이어 패턴으로 배열된 컬러 필터(30)를 적용하는 경우에도, 컬러 해상도 및 전체 해상도에 손실이 발생하지 않아, 고해상도로 영상 획득이 가능하다.
이상에서는 도 12를 참조로, 영상을 (0,0), (p,0), (0,p),(p,p)로 시프트시키면서 시분할로 영상 정보를 획득하고, 획득된 영상 정보들을 조합하여 컬러 영상을 획득하는 경우를 예를 들어 설명하였는데 이를 예를 들어 설명하는 것으로, 실시예가 이에 한정되는 것은 아니다. 실시예에 따른 이미지 획득 방법에 따르면, 이외에도 다양한 방식으로 영상 위치를 1회 이상 시프트시키고 복귀시키면서, 시분할로 영상 정보를 획득하고, 이를 조합하여 컬러 영상을 획득할 수 있다.
즉, 복수 종류의 컬러 필터 요소(30R)(30G)(30B) 배열을 가지는 컬러 필터 (30) 상에서 영상의 입사 위치를 변경시키도록 광경로 변조 광학 소자(10)를 전기적으로 제어하면서, 컬러 필터(30)를 통과한 광을 광전변환 셀 어레이(50)로 화소 단위로 검출하여, 컬러별 영상 정보를 획득할 수 있다. 이때, 광경로 변조 광학 소자(10)의 전기적 제어에 따른 광경로 변조에 의해, 컬러 필터(30) 상에서 영상의 위치를 적어도 1회 이상 변경하면서, 광전변환 셀 어레이(50)를 이용하여 복수 위치에서의 컬러별 영상 정보를 시분할로 획득할 수 있다. 따라서, 복수 위치에서 시분할로 획득된 컬러별 영상 정보를 조합하면, 고해상도로 컬러 영상을 획득할 수 있다.
이상에서는, 컬러 필터(30)로 도 9에 도시된 R,G,G,B로 구성된 베이어 패턴의 컬러 필터를 구비하는 경우를 예를 들어, 실시예에 따른 이미지 획득 장치에 의한 이미지 획득 과정을 설명하였는데, 전술한 바와 같이, 실시예에 따른 이미지 획득 장치는 다양한 컬러 요소 패턴 배열을 가지는 컬러 필터를 적용할 수 있다. 예를 들어, 실시예에 따른 이미지 획득 장치는, 컬러 필터(30)로 도 13 및 도 14에 도시된 R,G,B,W 패턴의 컬러 필터(130)이나, R,G,B 패턴의 컬러 필터(230) 중 어느 하나를 구비할 수도 있다. 또한, 실시예에 따른 이미지 획득 장치는, 컬러 필터(30)로 도 13 및 도 14에서 R,G,B 컬러 필터 요소 대신에 Y(yellow), M(magenta), C(cyan) 컬러 필터 요소를 적용한 컬러 필터 중 어느 하나를 구비할 수도 있다. 즉, 도 13 및 도 14의 컬러 필터(130)(230)는 Y,M,C,W 패턴으로 이루어지거나, Y,M,C 패턴으로 이루어질 수도 있다.
도 13은 R,G,B,W 패턴의 컬러 필터(130)의 컬러 필터 요소(130R)(130G)(130B)(130W) 배열을 보여준다.
도 13을 참조하면, R,G,B,W 패턴을 가지는 컬러 필터(130)의 컬러 필터 요소(130R)(130G)(130B)(130W)의 기본 단위(131)는 예를 들어, 적색 필터 요소(130R), 녹색 필터 요소(130G), 청색 필터 요소(130B), 백색 필터 요소(130W) 즉, 컬러 필터가 없는 투명 요소를 포함하는 4개의 컬러 필터 요소로 이루어지고, 이 4개의 컬러 필터 요소를 기본 단위(131)로 하여, 기본 단위(131) 다수개가 2차원으로 배열된 형태로 이루어질 수 있다. R,G,B,W 패턴을 가지는 컬러 필터(130)는 도 9에 도시된 베이어 패턴의 컬러 필터(30)에 대해, 하나 녹색 컬러 필터 요소를 백색 필터 요소로 바꾼 것에 해당하는 것으로, 광효율이 보다 향상될 수 있다.
적색 필터 요소(130R) 및 이에 대응하는 광전변환 셀(51)은 이미지 센서(150)의 적색 컬러 픽셀을 구성한다. 녹색 필터 요소(130G) 및 이에 대응하는 광전변환 셀(51)은 이미지 센서(150)의 녹색 컬러 픽셀을 구성한다. 청색 필터 요소(130B) 및 이에 대응하는 광전변환 셀(51)은 이미지 센서(150)의 청색 컬러 픽셀을 구성한다. 백색 필터 요소(130W) 및 이에 대응하는 광전변환 셀(51)은 이미지 센서(150)의 백색 픽셀을 구성한다.
도 14는 R,G,B 패턴의 컬러 필터(230)의 컬러 필터 요소(230R)(230G)(230B) 배열을 보여준다.
도 14를 참조하면, R,G,B 패턴을 가지는 컬러 필터(230)의 컬러 필터 요소(230R)(230G)(230B)의 기본 단위(231)는 예를 들어, 적색 필터 요소(130R), 녹색 필터 요소(130G), 청색 필터 요소(130B)를 포함하는 3개의 컬러 필터 요소로 이루어지고, 이 3개의 컬러 필터 요소를 기본 단위(231)로 하여, 기본 단위(231) 다수개가 2차원으로 배열된 형태로 이루어질 수 있다. 적색 필터 요소(230R) 및 이에 대응하는 광전변환 셀(51)은 이미지 센서(150)의 적색 컬러 픽셀을 구성한다. 녹색 필터 요소(230G) 및 이에 대응하는 광전변환 셀(51)은 이미지 센서(150)의 녹색 컬러 픽셀을 구성한다. 청색 필터 요소(230B) 및 이에 대응하는 광전변환 셀(51)은 이미지 센서(150)의 청색 컬러 픽셀을 구성한다.
도 13 및 도 14에서 R,G,B 컬러 필터 요소 대신에 Y(yellow), M(magenta), C(cyan) 컬러 필터 요소를 적용하는 경우, Y, M, C 컬러 필터 요소에 각각 대응하는 이미지 센서(150)의 광전변환 셀(51)은 Y 픽셀, M 픽셀, C 픽셀을 구성한다.
상기와 같이, 실시예에 따른 이미지 획득 장치에 적용되는 컬러 필터(30)(130)(230)는 베이어 패턴으로 배열된 2개의 녹색 필터 요소, 하나의 청색 필터 요소, 하나의 적색 필터 요소를 포함하는 컬러 필터 요소 기본 단위의 2차원 배열, 적색 필터 요소, 녹색 필터 요소, 청색 필터 요소, 백색 요소를 포함하는 컬러 필터 요소 기본 단위의 2차원 배열, 적색 필터 요소, 녹색 필터 요소, 청색 필터 요소 기본 단위의 2차원 배열, 옐로우 필터 요소, 마젠타 필터 요소, 시안 필터 요소, 백색 요소를 포함하는 컬러 필터 요소 기본 단위의 2차원 배열, 옐로우 필터 요소, 마젠타 필터 요소, 시안 필터 요소를 포함하는 컬러 필터 요소 기본 단위의 2차원 배열 중 어느 하나를 구비할 수 있다.
이하에서는 다양한 컬러 필터 요소의 패턴 배열을 가지는 컬러 필터(30)(130)(230)를 실시예에 따른 이미지 획득 장치에 적용할 때, 고해상도 컬러 영상 획득 원리를 설명한다.
도 15는 광경로 변조 광학 소자(10)의 동작에 따라 베이어 패턴에 대응하는 컬러 배열을 가지는 영상을 시프트시켜 고해상도 컬러 영상을 획득하는 동작을 보여준다. 도 15의 이미지 획득 과정은 실시예에 따른 이미지 획득 장치가 도 9에 도시된 베이어 패턴의 컬러 필터(30)를 구비할 때 적용될 수 있다.
도 15를 참조하면, 이미지 획득 장치에 모드 1(t1)의 영상이 입력되는 경우를 고려해보자. 도 15의 모드 1(t1)은, 광경로 변조 광학 소자(10)에 의한 시프트 없이 이미지 센서(150)에 입사되는 영상을 보여준다. 도 15의 모드 2(t2)는, 광경로 변조 광학 소자(10)에 의해 모드 1의 영상을 오른쪽으로 시프트시킬 때, 시프트된 영상을 보여준다. 도 15의 모드 3(t3)은 광경로 변조 광학 소자(10)에 의해 모드 2의 영상을 아래쪽으로 시프트시킬 때, 시프트된 영상을 보여준다. 도 15의 모드 4(t4)는 광경로 변조 광학 소자(10)에 의해 모드 3의 영상을 왼쪽으로 시프트시킬 때, 시프트된 영상을 보여준다. 광경로 변조 광학 소자(10)에 의해 모드 4의 영상을 다시 위쪽으로 시프트시키면, 모드 1(t1) 상태가 된다.
시분할로 획득된 도 15의 모드 1, 모드 2, 모드 3, 모드 4의 R 컬러 영상, B 컬러 영상을 각각 조합하면, 도 15의 하단에 나타낸 바와 같이, 전체적으로 R 컬러 영상, B 컬러 영상이 얻어질 수 있다. 또한, 시분할로 획득된 도 15의 모드 1 및 모드 2의 G 컬러 영상, 모드 3 및 모드 4의 G 컬러 영상을 각각 조합하면, 전체적으로 2번의 G 컬러 영상을 얻을 수 있으므로, 보다 고해상도로 영상을 획득할 수 있다.
도 16은 광경로 변조 광학 소자(10)의 동작에 따라 R,G,B,W 패턴에 대응하는 컬러 배열을 가지는 영상을 시프트시켜 고해상도 컬러 영상을 획득하는 동작을 보여준다. 도 16의 이미지 획득 과정은 실시예에 따른 이미지 획득 장치가 도 13에서와 같은 R,G,B,W 패턴의 컬러 필터(130)를 구비할 때 적용될 수 있다.
도 16을 참조하면, 이미지 획득 장치에 모드 1(t1)의 영상이 입력되는 경우를 고려해보자. 도 16의 모드 1(t1)은, 광경로 변조 광학 소자(10)에 의한 시프트 없이 이미지 센서(150)에 입사되는 영상을 보여준다. 도 16의 모드 2(t2)는, 광경로 변조 광학 소자(10)에 의해 모드 1의 영상을 오른쪽으로 시프트시킬 때, 시프트된 영상을 보여준다. 도 16의 모드 3(t3)은 광경로 변조 광학 소자(10)에 의해 모드 2의 영상을 아래쪽으로 시프트시킬 때, 시프트된 영상을 보여준다. 도 16의 모드 4(t4)는 광경로 변조 광학 소자(10)에 의해 모드 3의 영상을 왼쪽으로 시프트시킬 때, 시프트된 영상을 보여준다. 광경로 변조 광학 소자(10)에 의해 모드 4의 영상을 다시 위쪽으로 시프트시키면, 모드 1(t1) 상태가 된다.
시분할로 획득된 도 16의 모드 1, 모드 2, 모드 3, 모드 4의 R 컬러 영상, B 컬러 영상, G 컬러 영상, W 영상을 각각 조합하면, 도 16의 하단에 나타낸 바와 같이, 전체적으로 R 컬러 영상, B 컬러 영상, G 컬러 영상, W 영상이 얻어질 수 있다.
도 17은 광경로 변조 광학 소자(10)의 동작에 따라 R,G,B 패턴에 대응하는 컬러 배열을 가지는 영상을 시프트시켜 고해상도 컬러 영상을 획득하는 동작을 보여준다. 도 17의 이미지 획득 과정은 실시예에 따른 이미지 획득 장치가 도 14에 도시된 R,G,B 패턴의 컬러 필터(230)를 구비할 때 적용될 수 있다.
R,G,B 패턴에 대응하는 컬러 배열을 가지는 영상은 좌우 또는 상하 한 방향으로만 시프트되어도 전체 해상도를 얻을 수 있는 배열이므로, 도 17에서와 같이, 정지, 즉, 중심에서 좌, 우로 한번씩만 추가로 동작해도 된다.
도 17을 참조하면, 이미지 획득 장치에 모드 2(t2)의 영상이 입력되는 경우를 고려해보자. 도 17의 모드 1(t1)은, 광경로 변조 광학 소자(10)에 의해 모드 2의 영상을 왼쪽으로 시프트시킬 때, 시프트된 영상을 보여준다. 도 17의 모드 2(t2)는, 광경로 변조 광학 소자(10)에 의한 시프트 없이 이미지 센서(150)에 입사되는 영상을 보여준다. 도 17의 모드 3(t3)은, 광경로 변조 광학 소자(10)에 의해 모드 2의 영상을 오른쪽으로 시프트시킬 때, 시프트된 영상을 보여준다. 영상은 모드 2에서 모드 1, 모드 2에서 모드 3로 시프트될 수 있으며, 역 방향으로도 시프트될 수 있다.
여기서, 모드 1이 광경로 변조 광학 소자(10)에 의한 시프트 없이 이미지 센서(150)에 입사되는 영상에 해당할 수 있으며, 모드 2는 모드 1의 영상을 왼쪽으로 시프트 시킨 것에 해당하고, 모드 3은 모드 2의 영상을 오른쪽으로 시프트시킨 것에 해당할 수 있다. 모드 3의 영상을 오른쪽으로 시프트 시키면 모드 2가 되고, 다시 오른쪽으로 시프트 시키면 모드 1의 상태가 된다.
실시예에 따른 이미지 획득 장치에 R,G,B 패턴의 컬러 필터(230)를 적용할 때, 이미지 획득을 위한 동작 시작 시점은 모드 1, 모드 2, 모드 3 중 어느 하나가 될 수 있으며, 이에 따라 모드 1, 모드 2, 모드 3의 영상을 얻기 위한 시프트 동작 방향이나 순서는 달라질 수 있다.
시분할로 획득된 도 17의 모드 1, 모드 2, 모드 3의 R 컬러 영상, G 컬러 영상, B 컬러 영상을 각각 조합하면, 도 17의 하단에 나타낸 바와 같이, 전체적으로 R 컬러 영상, G 컬러 영상, B 컬러 영상이 얻어질 수 있다.
실시예에 따른 이미지 획득 장치에 컬러 필터(130)(230)의 적색(R), 녹색(G), 청색(B) 컬러 필터 요소 대신에 Y,M,C 컬러 필터 요소를 구비하는 컬러 필터를 적용하는 경우에도, 도 16 및 도 17의 이미지 획득 과정이 적용될 수 있다.
10...광경로 변조 광학 소자 10a...입사면
10b...출사면 11,13...제1 및 제2전기습윤 프리즘
30,130,230...컬러 필터 30R,30G,30B...컬러 필터 요소
50...광전변환 셀 어레이 51...광전변환 셀
70...메인 렌즈 100...광경로 변조 광학 소자 어레이
110...제1액티브 액정소자 130...제2액티브 액정소자
200...마이크로 렌즈 어레이 210...마이크로 렌즈

Claims (20)

  1. 복수 종류의 컬러 필터 요소 배열을 가지는 컬러 필터와;
    전기적으로 광경로를 변조하여, 상기 컬러 필터 상에서 영상의 입사 위치를 시프트시키는 광경로 변조 광학 소자와;
    상기 컬러 필터를 통과한 광을 화소 단위로 검출하여 컬러별 영상 정보를 획득하는 광전변환 셀 어레이와;
    상기 광전변환 셀 어레이의 검출신호를 이용하여 상기 광경로 변조 광학 소자에 의해 위치가 변경되는 상기 영상의 컬러별 영상 정보를 시분할로 획득하고, 획득된 컬러별 영상 정보를 조합하여 컬러 영상을 얻는 신호처리부;를 포함하며,
    상기 광경로 변조 광학 소자에 의해 시프트되는 영상의 위치 변화량을 p라 할 때,
    상기 광경로 변조 광학 소자는, x축 및 y축 중 적어도 일 축 방향으로 영상을 p만큼 시프트시켜, 시분할로 복수 위치에서 컬러별 영상 정보를 획득하며,
    상기 신호처리부는 시분할로 복수 위치에서 획득된 컬러별 영상 정보를 조합하여 컬러 영상을 얻는 이미지 획득 장치.
  2. 제1항에 있어서, 상기 광경로 변조 광학 소자는, 상기 컬러 필터 상에서 영상의 입사 위치를 한 화소 단위로 시프트시키며,
    상기 신호처리부는 상기 광경로 변조 광학 소자에 의해 한 화소 단위로 위치가 변경되는 상기 영상의 컬러별 영상 정보를 시분할로 획득하는 이미지 획득 장치.
  3. 제2항에 있어서, 상기 컬러 필터 상에서 시분할로 상기 영상의 위치가 변경되도록 상기 광학 소자를 전기적으로 구동하는 구동부;를 더 포함하는 이미지 획득 장치.
  4. 제1항에 있어서, 상기 광경로 변조 광학 소자는
    서로 다른 굴절율을 갖는 제1액체와 제2액체의 계면의 경사각이 인가되는 전압으로 제어되는 전기습윤 프리즘인 이미지 획득 장치.
  5. 제4항에 있어서, 상기 전기습윤 프리즘의 입,출사면은 서로 평행한 이미지 획득 장치.
  6. 제4항에 있어서, 상기 전기습윤 프리즘은,
    각각이 상기 제1액체와 제2액체를 구비하는 제1 및 제2전기습윤 프리즘;을 포함하며,
    상기 제1 및 제2전기습윤 프리즘은, 동일 굴절율을 갖는 상기 제1액체나 제2액체가 서로 근접하도록 광의 진행방향을 따라 배치되는 이미지 획득 장치.
  7. 제6항에 있어서, 상기 제1전기습윤 프리즘의 상기 제1액체와 제2액체의 계면을 제1계면, 상기 제2전기습윤 프리즘의 상기 제1액체와 제2액체의 계면을 제2계면 이라 할 때, 상기 제1계면 및 제2계면은 서로 평행한 이미지 획득 장치.
  8. 제1항에 있어서, 상기 광경로 변조 광학 소자는
    인가되는 전압에 따라 광을 시프트시키는 적어도 하나의 액티브 액정소자;를 구비하는 전기습윤 프리즘인 이미지 획득 장치.
  9. 제8항에 있어서, 상기 액티브 액정소자는,
    광의 진행방향을 따라 배치되며, 인가되는 전압에 따라 광을 굴절시키는 제1액티브 액정소자;를 포함하는 이미지 획득 장치.
  10. 제8항에 있어서, 상기 액티브 액정소자는,
    광의 진행방향을 따라 서로 이격되게 배치되며, 인가되는 전압에 따라 광을 시프트시키는 제1 및 제2액티브 액정소자;를 포함하는 이미지 획득 장치.
  11. 제8항에 있어서, 상기 액티브 액정소자는,
    홀로그램형 액정소자 및 빔 조향 액정소자 중 어느 하나인 이미지 획득 장치.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서, 메인 렌즈;를 더 포함하며,
    상기 광경로 변조 광학 소자는 상기 메인 렌즈와 상기 컬러 필터 사이에 위치하는 이미지 획득 장치.
  13. 제12항에 있어서, 상기 메인 렌즈와 상기 컬러 필터 사이에 마이크로 렌즈 어레이;를 더 포함하여, 영상의 방향별 정보를 획득하도록 된 이미지 획득 장치.
  14. 제13항에 있어서, 상기 광경로 변조 광학 소자는, 상기 메인 렌즈와 상기 마이크로 렌즈 어레이 사이에 상기 마이크로 렌즈 어레이 전체를 커버하도록 위치하는 이미지 획득 장치.
  15. 제13항에 있어서, 상기 광경로 변조 광학 소자는, 상기 마이크로 렌즈 어레이와 상기 컬러 필터 사이에 위치하며, 상기 마이크로 렌즈 어레이의 각 마이크로 렌즈와 일대일로 대응하도록 복수의 광경로 변조 광학 소자를 어레이로 구비하는 이미지 획득 장치.
  16. 제1항에 있어서, 상기 컬러 필터는 베이어 패턴으로 배열된 2개의 녹색 필터 요소, 하나의 청색 필터 요소, 하나의 적색 필터 요소를 포함하는 컬러 필터 요소 기본 단위의 2차원 배열, 적색 필터 요소, 녹색 필터 요소, 청색 필터 요소, 백색 요소를 포함하는 컬러 필터 요소 기본 단위의 2차원 배열, 적색 필터 요소, 녹색 필터 요소, 청색 필터 요소 기본 단위의 2차원 배열, 옐로우 필터 요소, 마젠타 필터 요소, 시안 필터 요소, 백색 요소를 포함하는 컬러 필터 요소 기본 단위의 2차원 배열, 옐로우 필터 요소, 마젠타 필터 요소, 시안 필터 요소를 포함하는 컬러 필터 요소 기본 단위의 2차원 배열 중 어느 하나를 구비하는 이미지 획득 장치.
  17. 삭제
  18. 복수 종류의 컬러 필터 요소 배열을 가지는 컬러 필터 상에서 영상의 입사 위치를 변경시키도록 광경로 변조 광학 소자를 전기적으로 제어하는 단계와;
    상기 컬러 필터를 통과한 광을 광전변환 셀 어레이로 화소 단위로 검출하여, 컬러별 영상 정보를 획득하는 단계와;
    상기 광경로 변조 광학 소자의 전기적 제어에 따른 광경로 변조에 의해, 상기 컬러 필터 상에서 상기 영상의 위치를 적어도 1회 이상 변경하면서, 상기 광전변환 셀 어레이를 이용하여 복수 위치에서의 컬러별 영상 정보를 시분할로 획득하는 단계와;
    상기 복수 위치에서 시분할로 획득된 컬러별 영상 정보를 조합하여, 컬러 영상을 획득하는 단계;를 포함하며,
    상기 광경로 변조 광학 소자에 의해 시프트되는 영상의 위치 변화량을 p라 할 때,
    상기 광경로 변조 광학 소자로, x축 및 y축 중 적어도 일 축 방향으로 영상을 p만큼 시프트시키면서, 시분할로 복수 위치에서 컬러별 영상 정보를 획득하고, 이를 조합하여 컬러 영상을 획득하는 이미지 획득 방법.
  19. 제18항에 있어서, 상기 광경로 변조 광학 소자는, 상기 컬러 필터 상에서 영상의 입사 위치를 한 화소 단위로 시프트시키는 이미지 획득 방법.
  20. 삭제
KR1020150144320A 2015-10-15 2015-10-15 이미지 획득 장치 및 방법 Active KR102477092B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150144320A KR102477092B1 (ko) 2015-10-15 2015-10-15 이미지 획득 장치 및 방법
US15/295,248 US10699378B2 (en) 2015-10-15 2016-10-17 Apparatus and method for acquiring image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150144320A KR102477092B1 (ko) 2015-10-15 2015-10-15 이미지 획득 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170044524A KR20170044524A (ko) 2017-04-25
KR102477092B1 true KR102477092B1 (ko) 2022-12-13

Family

ID=58524058

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150144320A Active KR102477092B1 (ko) 2015-10-15 2015-10-15 이미지 획득 장치 및 방법

Country Status (2)

Country Link
US (1) US10699378B2 (ko)
KR (1) KR102477092B1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7025177B2 (ja) * 2017-10-20 2022-02-24 キヤノン株式会社 撮像装置
KR102594038B1 (ko) * 2018-01-15 2023-10-26 에스케이하이닉스 주식회사 이미지 센싱 장치
US10638061B2 (en) * 2018-09-18 2020-04-28 Analog Devices Global Unlimited Company Active-pixel image sensor
CN113167950B (zh) 2018-10-18 2023-10-20 康宁股份有限公司 电润湿光学器件
KR102680471B1 (ko) 2018-10-23 2024-07-03 삼성전자주식회사 소형 분광 유닛 및 생체 신호 측정 장치
US11467327B2 (en) * 2019-02-22 2022-10-11 Analog Devices International Unlimited Company Beam steering device using liquid crystal polarization gratings
CN111929757B (zh) * 2019-05-12 2025-06-20 奥普托图尼瑞士股份公司 可调棱镜
DE102020212218A1 (de) 2020-09-28 2022-03-31 Volkswagen Aktiengesellschaft Fahrzeugkamera mit mechaniklos variierbarer Sichtachse
CN112616009B (zh) * 2020-12-31 2022-08-02 维沃移动通信有限公司 电子设备及其摄像模组
WO2023009838A1 (en) * 2021-07-29 2023-02-02 Meta Platforms Technologies, Llc Sensing with liquid crystal polarization holograms and metasurface
US12231749B2 (en) 2021-07-29 2025-02-18 Meta Platforms Technologies, Llc Sensing with liquid crystal polarization holograms and metasurface
KR20230135858A (ko) * 2022-03-17 2023-09-26 에스케이하이닉스 주식회사 이미지 센싱 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090122417A1 (en) 2007-11-13 2009-05-14 Lite-On It Corporation Tunable-Shape Prism
JP2009272758A (ja) * 2008-05-01 2009-11-19 Nippon Hoso Kyokai <Nhk> カラー撮像装置
JP2012247644A (ja) * 2011-05-27 2012-12-13 Fujifilm Corp 撮像装置
JP2013534083A (ja) 2010-05-28 2013-08-29 シートゥーキュア・インコーポレーテッド ２センサー撮像システム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH057366A (ja) 1991-06-27 1993-01-14 Olympus Optical Co Ltd 撮像装置
JPH06139340A (ja) 1992-10-27 1994-05-20 Sony Corp 画像生成方法および撮像装置
FI116245B (fi) * 2003-06-17 2005-10-14 Nokia Corp Säädettävä optinen systeemi sekä menetelmä sen käyttämiseksi ja valmistamiseksi
JP2007219510A (ja) * 2006-02-13 2007-08-30 Samsung Electronics Co Ltd ディスプレイ装置
US7697187B2 (en) * 2006-09-29 2010-04-13 Sony Corporation Electrowetting device and varifocal lens, optical pickup device, optical recording/reproduction device, droplet operation device, optical element, zoom lens, imaging device, light modulating device, and display device using the same
DE102008001644B4 (de) * 2008-05-08 2010-03-04 Seereal Technologies S.A. Vorrichtung zur Darstellung von dreidimensionalen Bildern
WO2010009908A1 (en) * 2008-07-21 2010-01-28 Seereal Technologies S.A. Light modulating device
JP5480393B2 (ja) * 2010-10-01 2014-04-23 富士フイルム株式会社 撮像デバイス
JP2012133026A (ja) * 2010-12-20 2012-07-12 Canon Inc 焦点距離可変プリズム、及びそれを用いたプリズム光学系
US8408765B2 (en) * 2011-05-12 2013-04-02 Delphi Technologies, Inc. Light distribution pattern control using object detection and electrowetting lenses
EP2777291B1 (en) * 2011-11-09 2022-04-20 Koninklijke Philips N.V. Display device
EP2881775B1 (en) * 2012-08-06 2018-03-07 FUJIFILM Corporation Imaging device
KR101866874B1 (ko) 2012-11-06 2018-06-14 삼성전자주식회사 전기습윤 프리즘 소자 및 이를 이용하는 다시점 3차원 영상 디스플레이 장치
US10036884B2 (en) * 2012-12-18 2018-07-31 Samsung Electronics Co., Ltd. Display including electrowetting prism array
KR102046104B1 (ko) * 2013-03-19 2019-11-18 삼성전자주식회사 홀로그래픽 3차원 영상 디스플레이 장치 및 상기 홀로그래픽 3차원 영상 디스플레이 장치용 조광 유닛
US20140354777A1 (en) 2013-05-29 2014-12-04 Electronics And Telecommunications Research Institute Apparatus and method for obtaining spatial information using active array lens
KR20140140495A (ko) 2013-05-29 2014-12-09 한국전자통신연구원 능동형 배열 렌즈를 이용한 공간정보 획득장치 및 방법
JP6160448B2 (ja) 2013-11-05 2017-07-12 ソニー株式会社 撮像装置および撮像装置の制御方法
US9383550B2 (en) * 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
KR102227978B1 (ko) * 2014-05-22 2021-03-15 삼성전자주식회사 전기습윤 소자용 유체 및 이를 이용한 전기습윤 소자
JP6492427B2 (ja) * 2014-06-19 2019-04-03 セイコーエプソン株式会社 液晶表示装置、電子機器、及び液晶表示装置の駆動方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090122417A1 (en) 2007-11-13 2009-05-14 Lite-On It Corporation Tunable-Shape Prism
JP2009272758A (ja) * 2008-05-01 2009-11-19 Nippon Hoso Kyokai <Nhk> カラー撮像装置
JP2013534083A (ja) 2010-05-28 2013-08-29 シートゥーキュア・インコーポレーテッド ２センサー撮像システム
JP2012247644A (ja) * 2011-05-27 2012-12-13 Fujifilm Corp 撮像装置

Also Published As

Publication number Publication date
KR20170044524A (ko) 2017-04-25
US20170109865A1 (en) 2017-04-20
US10699378B2 (en) 2020-06-30

Similar Documents

Publication Publication Date Title
KR102477092B1 (ko) 이미지 획득 장치 및 방법
JP5879549B2 (ja) ライトフィールド撮像装置、および画像処理装置
CN205211754U (zh) 图像传感器
JP4538766B2 (ja) 撮像装置、表示装置および画像処理装置
US8379121B2 (en) Image-capturing device and imaging apparatus
GB2282505A (en) Three dimensional imaging apparatus
KR20180059478A (ko) 마스크리스 위상 검출 오토포커스
JP2015521411A (ja) πフィルタ群を用いてパターン化されたカメラモジュール
CN111818242B (zh) 影像感测装置
KR20140094395A (ko) 복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법
CN105306786A (zh) 用于具有相位检测像素的图像传感器的图像处理方法
CN103167239A (zh) 图像处理装置、图像处理方法、摄像装置及显示设备
US11626436B2 (en) Imaging device and image sensor
JP2016111678A (ja) 撮像素子、撮像装置、焦点検出装置ならびに画像処理装置およびその制御方法
CN102918355A (zh) 三维摄像装置、光透过部、图像处理装置及程序
US9794468B2 (en) Image sensor, image capturing apparatus, focus detection apparatus, image processing apparatus, and control method of image capturing apparatus using pupil division in different directions
CN103843319B (zh) 摄像元件及摄像装置
JP2013175812A (ja) 撮像素子および撮像装置
CN210491002U (zh) 一种成像装置
EP2716053B1 (en) Grid modulated single lens 3-d camera
CN103503447A (zh) 拍摄装置及拍摄装置的控制程序
KR20210095679A (ko) 다중-채널 이미징 장치 및 다중-조리개 이미징 장치를 포함하는 장치
US9307133B1 (en) System and method of imaging for increasing image resolution
KR102810265B1 (ko) 희소 컬러 이미지 센서 시스템
KR101242929B1 (ko) 다파장 구별 촬영 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20151015

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20201013

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20151015

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220422

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220927

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20221208

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20221209

End annual number: 3

Start annual number: 1

PG1601 Publication of registration