[go: up one dir, main page]

KR102018984B1 - 베이스라인을 증가시키기 위한 카메라 시스템 - Google Patents

베이스라인을 증가시키기 위한 카메라 시스템 Download PDF

Info

Publication number
KR102018984B1
KR102018984B1 KR1020180055407A KR20180055407A KR102018984B1 KR 102018984 B1 KR102018984 B1 KR 102018984B1 KR 1020180055407 A KR1020180055407 A KR 1020180055407A KR 20180055407 A KR20180055407 A KR 20180055407A KR 102018984 B1 KR102018984 B1 KR 102018984B1
Authority
KR
South Korea
Prior art keywords
pixel
pixels
pixel array
opas
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020180055407A
Other languages
English (en)
Inventor
경종민
장승혁
Original Assignee
재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 다차원 스마트 아이티 융합시스템 연구단 filed Critical 재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority to KR1020180055407A priority Critical patent/KR102018984B1/ko
Priority to US16/412,092 priority patent/US10893255B2/en
Priority to CN201910406147.3A priority patent/CN110493586B/zh
Application granted granted Critical
Publication of KR102018984B1 publication Critical patent/KR102018984B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/802—Geometry or disposition of elements in pixels, e.g. address-lines or gate electrodes
    • H10F39/8023—Disposition of the elements in pixels, e.g. smaller elements in the centre of the imager compared to larger elements at the periphery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H04N5/2254—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H04N5/335—
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/805—Coatings
    • H10F39/8057—Optical shielding
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/806—Optical elements or arrangements associated with the image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/806—Optical elements or arrangements associated with the image sensors
    • H10F39/8063—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/813—Electronic components shared by multiple pixels, e.g. one amplifier shared by two pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Measurement Of Optical Distance (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

베이스라인을 증가시키기 위한 카메라 시스템이 개시된다. 일 실시예에 따르면, 카메라 시스템은 단일 렌즈; 및 적어도 하나의 픽셀 어레이-상기 적어도 하나의 픽셀 어레이는, 2차원 배열의 복수의 픽셀들 및 상기 복수의 픽셀들의 상부에 배치되는 단일 마이크로 렌즈를 포함함-로 구성되는 이미지 센서를 포함하고, 상기 복수의 픽셀들 중 적어도 두 개의 픽셀들 각각의 상부에는 OPA(Offset Pixel Aperture)가 형성된 차광막이 배치되며, 상기 OPA들은, 서로 이격된 거리가 최대화되도록 상기 차광막들 상에 각각 형성된다.

Description

베이스라인을 증가시키기 위한 카메라 시스템{CAMERA SYSTEM FOR INCREASING BASELINE}
아래의 설명은 시차(Disparity)를 이용하여 피사체에 대한 깊이를 산출하는 카메라 시스템에 관한 것으로, 구체적으로 산출되는 깊이의 범위를 향상시키고자 베이스라인을 증가시킨 구조를 갖는 카메라 시스템에 대한 기술이다.
카메라 시스템(정확하게는 카메라 시스템에 포함되는 이미지 센서)과 피사체 사이의 거리로 나타내는 피사체에 대한 깊이가 산출되는 방식으로는, 카메라 시스템의 복수의 애퍼처들을 통해 획득되는 이미지들 사이의 블러(blur) 변화를 이용하는 방식과 시차를 이용하는 방식이 있다.
보다 상세하게 종래의 시차를 이용하는 방식은, 두 개의 렌즈들 및 이미지 센서로 스테레오 카메라 시스템을 구성한 뒤, 두 개의 렌즈들을 통해 각각 유입되는 광 신호를 처리하여 시차가 존재하는 두 개의 이미지들을 획득하고, 수식을 통해 두 개의 이미지들 사이의 시차를 기반으로 피사체에 대한 깊이를 계산할 수 있다.
그러나 종래의 시차를 이용하는 방식은 두 개의 렌즈들로 하나의 카메라 시스템을 구성하기 때문에, 넓은 단면적으로 인해 소형화가 힘든 단점과 카메라 시스템의 베이스라인의 길이가 짧아 이미지들 사이의 시차가 작게 되어 산출되는 깊이의 범위가 저하되는 문제점을 갖는다.
이에, 카메라 시스템에서 종래의 시차를 이용하는 방식의 단점과 문제점을 해결하기 위한 기술이 요구되고 있다.
일 실시예들은 넓은 단면적으로 인해 소형화가 힘든 단점과 이미지들 사이의 시차가 작아 산출되는 깊이의 범위가 저하되는 문제점을 해결하기 위한 구조를 갖는 카메라 시스템을 제안한다.
구체적으로, 일 실시예들은 이미지 센서에 포함되는 픽셀들에 OPA(Offset Pixel Aperture)들을 적용함으로써, 카메라 시스템의 단면적을 최소화하여 소형화를 도모하는 구조를 제안한다.
또한, 일 실시예들은 OPA들이 서로 이격된 거리가 최대화되도록 함으로써, 카메라 시스템의 베이스라인을 증가시켜 이미지들 사이의 시차를 크게 하고 산출되는 깊이의 범위를 향상시키는 구조를 제안한다.
일 실시예에 따르면, 카메라 시스템은, 단일 렌즈; 및 적어도 하나의 픽셀 어레이-상기 적어도 하나의 픽셀 어레이는 2차원 배열의 복수의 픽셀들 및 상기 복수의 픽셀들의 상부에 공유되도록 배치되는 단일 마이크로 렌즈를 포함함-로 구성되는 이미지 센서를 포함하고, 상기 복수의 픽셀들 중 적어도 두 개의 픽셀들 각각의 상부에는 OPA(Offset Pixel Aperture)가 형성된 차광막이 배치되며, 상기 OPA들은, 서로 이격된 거리가 최대화되도록 상기 차광막들 상에 각각 형성될 수 있다.
일 측면에 따르면, 상기 적어도 두 개의 픽셀들은, 상기 카메라 시스템의 베이스라인을 증가시키기 위하여, 상기 OPA들이 서로 이격된 거리가 최대화되도록 상기 적어도 하나의 픽셀 어레이 상에 배치될 수 있다.
다른 측면에 따르면, 상기 적어도 두 개의 픽셀들은, 상기 OPA들이 서로 이격된 거리가 최대화되도록 상기 적어도 하나의 픽셀 어레이에서 대각 방향으로 배치될 수 있다.
또 다른 측면에 따르면, 상기 OPA들이 서로 이격된 거리와 상기 적어도 두 개의 픽셀들 각각의 높이와 관련된 오프셋 f 넘버는, 상기 단일 렌즈의 f 넘버보다 큰 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 적어도 두 개의 픽셀들은, 상기 복수의 픽셀들 중 최대 광 투과(Maximum light transmission) 특성을 갖는 적어도 두 개의 픽셀들인 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 적어도 두 개의 픽셀들은, W(White) 광 신호를 처리하는 W 픽셀들인 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 OPA들은, 상기 적어도 두 개의 픽셀들 각각을 기준으로 서로 어긋난 중심 위치를 가질 수 있다.
또 다른 측면에 따르면, 상기 카메라 시스템은, 상기 OPA들이 형성된 차광막이 배치된 적어도 두 개의 픽셀들을 통해 획득된 적어도 두 개의 이미지들 사이의 시차(Disparity)를 이용하여 피사체에 대한 깊이를 산출하는 적어도 하나의 프로세서를 더 포함할 수 있다.
다른 일 실시예에 따르면, 카메라 시스템은, 단일 렌즈; 및 복수의 픽셀 어레이들-상기 복수의 픽셀 어레이들 각각은 2차원 배열의 복수의 픽셀들 및 상기 복수의 픽셀들의 상부에 공유되도록 배치되는 단일 마이크로 렌즈를 포함함-로 구성되는 이미지 센서를 포함하고, 상기 복수의 픽셀 어레이들 중 제1 픽셀 어레이에 포함되는 어느 하나의 픽셀 및 상기 복수의 픽셀 어레이들 중 제2 픽셀 어레이에 포함되는 어느 하나의 픽셀 각각의 상부에는 OPA(Offset Pixel Aperture)가 형성된 차광막이 배치되며, 상기 OPA들은, 서로 이격된 거리가 최대화되도록 상기 차광막들 상에 각각 형성될 수 있다.
일 측면에 따르면, 상기 제1 픽셀 어레이에 포함되는 어느 하나의 픽셀 및 상기 제2 픽셀 어레이에 포함되는 어느 하나의 픽셀은, 상기 카메라 시스템의 베이스라인을 증가시키기 위하여, 상기 OPA들이 서로 이격된 거리가 최대화되도록 상기 제1 픽셀 어레이 및 상기 제2 픽셀 어레이 상에 배치될 수 있다.
다른 측면에 따르면, 상기 제1 픽셀 어레이에 포함되는 어느 하나의 픽셀 및 상기 제2 픽셀 어레이에 포함되는 어느 하나의 픽셀은, 상기 OPA들이 서로 이격된 거리가 최대화되도록 상기 이미지 센서 상 상기 제1 픽셀 어레이 및 상기 제2 픽셀 어레이에서 대각 방향으로 배치될 수 있다.
또 다른 측면에 따르면, 상기 제1 픽셀 어레이 및 상기 제2 픽셀 어레이가 수평 방향으로 배치되는 경우, 상기 제1 픽셀 어레이에 포함되는 어느 하나의 픽셀 및 상기 제2 픽셀 어레이에 포함되는 어느 하나의 픽셀은, 상기 OPA들이 서로 이격된 거리가 최대화되도록 상기 이미지 센서 상 상기 제1 픽셀 어레이 및 상기 제2 픽셀 어레이에서 수평 방향으로 배치될 수 있다.
또 다른 측면에 따르면, 상기 제1 픽셀 어레이 및 상기 제2 픽셀 어레이가 수직 방향으로 배치되는 경우, 상기 제1 픽셀 어레이에 포함되는 어느 하나의 픽셀 및 상기 제2 픽셀 어레이에 포함되는 어느 하나의 픽셀은, 상기 OPA들이 서로 이격된 거리가 최대화되도록 상기 이미지 센서 상에 상기 제1 픽셀 어레이 및 상기 제2 픽셀 어레이에서 수직 방향으로 배치될 수 있다.
또 다른 측면에 따르면, 상기 OPA들이 서로 이격된 거리와 상기 제1 픽셀 어레이에 포함되는 어느 하나의 픽셀 및 상기 제2 픽셀 어레이에 포함되는 어느 하나의 픽셀 각각의 높이와 관련된 오프셋 f 넘버는, 상기 단일 렌즈의 f 넘버보다 큰 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 제1 픽셀 어레이에 포함되는 어느 하나의 픽셀 및 상기 제2 픽셀 어레이에 포함되는 어느 하나의 픽셀은, 상기 제1 픽셀 어레이에 포함되는 복수의 픽셀들 및 상기 제2 픽셀 어레이에 포함되는 복수의 픽셀들 중 최대 광 투과(Maximum light transmission) 특성을 갖는 적어도 두 개의 픽셀들인 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 제1 픽셀 어레이에 포함되는 어느 하나의 픽셀 및 상기 제2 픽셀 어레이에 포함되는 어느 하나의 픽셀은, W(White) 광 신호를 처리하는 W 픽셀들인 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 OPA들은, 상기 제1 픽셀 어레이에 포함되는 어느 하나의 픽셀 및 상기 제2 픽셀 어레이에 포함되는 어느 하나의 픽셀 각각을 기준으로 서로 어긋난 중심 위치를 가질 수 있다.
또 다른 측면에 따르면, 상기 카메라 시스템은, 상기 제1 픽셀 어레이에 포함되는 어느 하나의 픽셀 및 상기 제2 픽셀 어레이에 포함되는 어느 하나의 픽셀을 통해 획득된 두 개의 이미지들 사이의 시차(Disparity)를 이용하여 피사체에 대한 깊이를 산출하는 적어도 하나의 프로세서를 더 포함할 수 있다.
일 실시예들은 넓은 단면적으로 인해 소형화가 힘든 단점과 이미지들 사이의 시차가 작아 산출되는 깊이의 범위가 저하되는 문제점을 해결하기 위한 구조를 갖는 카메라 시스템을 제안할 수 있다.
구체적으로, 일 실시예들은 이미지 센서에 포함되는 픽셀들에 OPA(Offset Pixel Aperture)들을 적용함으로써, 카메라 시스템의 단면적을 최소화하여 소형화를 도모하는 구조를 제안할 수 있다.
또한, 일 실시예들은 OPA들이 서로 이격된 거리가 최대화되도록 함으로써, 카메라 시스템의 베이스라인을 증가시켜 이미지들 사이의 시차를 크게 하고 산출되는 깊이의 범위를 향상시키는 구조를 제안할 수 있다.
도 1은 일 실시예에 따른 카메라 시스템과 단일 렌즈에 애퍼처가 적용된 카메라 시스템 사이의 관계를 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 카메라 시스템에서의 깊이 산출 원리를 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 카메라 시스템의 제약 조건을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 카메라 시스템을 나타낸 도면이다.
도 5는 일 실시예에 따른 카메라 시스템의 이미지 센서에 포함되는 픽셀 어레이를 설명하기 위한 도면이다.
도 6는 도 5에 도시된 OPA가 적용된 픽셀을 포함하는 픽셀 어레이와 등가의 렌즈 애퍼처를 나타낸 도면이다.
도 7은 다른 일 실시예에 따른 카메라 시스템의 이미지 센서에 포함되는 픽셀 어레이들을 설명하기 위한 도면이다.
도 8은 도 7 도시된 OPA가 적용된 픽셀을 포함하는 픽셀 어레이들과 등가의 렌즈 애퍼처를 나타낸 도면이다.
도 9는 다른 일 실시예에 따른 카메라 시스템의 이미지 센서에 포함되는 픽셀 어레이들을 설명하기 위한 도면이다.
도 10은 도 9에 도시된 OPA가 적용된 픽셀을 포함하는 픽셀 어레이들과 등가의 렌즈 애퍼처를 나타낸 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(Terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 예컨대, 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, 본 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
또한, 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 기술적 사상 및 범위를 벗어나지 않으면서 다른 실시 예로 구현될 수 있다. 또한, 제시된 각각의 실시예 범주에서 개별 구성요소의 위치, 배치, 또는 구성은 본 발명의 기술적 사상 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다.
깊이가 적용된 3차원 이미지를 획득하기 위해서는, 2차원 이미지에 포함되는 픽셀들 각각의 깊이가 산출되어야 한다. 이 때, 2차원 이미지에 포함되는 픽셀들 각각의 깊이를 산출하는 종래의 방식으로는 촬영 대상이 되는 피사체(오브젝트)에 레이저를 조사하고 그 빛이 돌아오는 시간을 측정하는 TOF(time of flight) 방식, 두 개 이상의 카메라 시스템들에서 각각 획득한 이미지들 사이의 시차를 이용하여 깊이를 산출하는 스테레오(depth from stereo) 방식, 단일 카메라 시스템에서 단일 렌즈에 형성된 복수의 애퍼처들 각각을 통과한 광 신호를 처리하여 획득한 이미지들 사이의 시차를 이용하여 깊이를 산출하는 방식(Dual Aperture; DA를 이용한 시차 방식), 단일 카메라 시스템에서 단일 렌즈에 형성된 복수의 애퍼처들 각각을 통과한 광 신호를 처리하여 획득한 이미지들 사이의 블러 변화를 이용하여 깊이를 산출하는 방식 등이 있다.
일 실시예에 따른 카메라 시스템은 이러한 종래의 방식들 중 이미지들 사이의 시차를 이용하는 방식을 기반으로 하나, 단일 렌즈에 복수의 애퍼처들을 형성하는 대신에, 이미지 센서에 포함되는 픽셀 어레이의 픽셀들에 OPA(Offset Pixel Aperture)를 적용함으로써, 단면적을 최소화하여 소형화를 도모하고자 한다.
특히, 일 실시예에 따른 카메라 시스템은 OPA들이 서로 이격된 거리가 최대화되도록 함으로써, 베이스라인을 증가시켜 이미지들 사이의 시차를 크게 하고 산출되는 깊이의 범위를 향상시키고자 한다.
도 1은 일 실시예에 따른 카메라 시스템과 단일 렌즈에 애퍼처가 적용된 카메라 시스템 사이의 관계를 설명하기 위한 도면이고, 도 2는 일 실시예에 따른 카메라 시스템에서의 깊이 산출 원리를 설명하기 위한 도면이며, 도 3은 일 실시예에 따른 카메라 시스템의 제약 조건을 설명하기 위한 도면이다. 이하, 도 1은 설명의 편의를 위해 일 실시예에 따른 카메라 시스템에서 OPA가 적용된 하나의 픽셀을 기준으로 상술되나, 일 실시예에 따른 카메라 시스템은 도 2와 같이 OPA들이 적용된 두 개의 픽셀들을 포함하는 이미지 센서를 바탕으로 한다.
도 1을 참조하면, 일 실시예에 따른 카메라 시스템(110)에서 이미지 센서의 픽셀 어레이에 포함되는 어느 하나의 픽셀에는 OPA(111) 형성된 차광막(112)이 배치된다. 이 때, OPA(111)의 중심이 픽셀의 중심으로부터 오프셋된 거리인 O1는, 단일 렌즈(121)에 애퍼처(122)가 형성된 카메라 시스템(종래의 카메라 시스템)(120)에서의 애퍼처(122)의 중심이 단일 렌즈(121)의 중심으로부터 오프셋된 거리인 O2와 비례하는 관계를 갖는다.
따라서, 픽셀의 중심으로부터 어긋난 중심 위치를 갖는 OPA(111)는 단일 렌즈(121)의 중심으로부터 어긋난 중심 위치를 갖도록 단일 렌즈(121) 상에 형성된 애퍼처(122)와 동일하게 치부될 수 있으며, 이로 인해 일 실시예에 따른 카메라 시스템(110)은 종래의 DA를 이용한 시차 방식에서의 깊이 산출 수식을 이용하여 피사체에 대한 깊이를 산출할 수 있다.
보다 상세하게, 도 2를 참조하면, 일 실시예에 따른 카메라 시스템(200)에서 단일 렌즈(210)의 직경
Figure 112018047669465-pat00001
및 초점 거리 f와 관련된 파라미터
Figure 112018047669465-pat00002
(
Figure 112018047669465-pat00003
는, 단일 렌즈(210)의 직경
Figure 112018047669465-pat00004
가 OPA들(221, 231)이 서로 이격된 거리(정확하게는, 제1 OPA(221)의 중심과 제2 OPA(231) 사이의 거리)인
Figure 112018047669465-pat00005
및 OPA들(221, 231)이 형성된 차광막들(222, 232)이 배치되는 픽셀들(220, 230) 각각의 높이인 h와 관련하여 비례하는 관계를 갖기 때문에(
Figure 112018047669465-pat00006
),픽셀들(220, 230) 각각의 높이인 h 및 OPA들(221, 231)이 서로 이격된 거리인
Figure 112018047669465-pat00007
와 관련하여 비례하는 관계를 갖게 된다(
Figure 112018047669465-pat00008
). 이에, 일 실시예에 따른 카메라 시스템(200)은 종래의 DA를 이용한 시차 방식에서의 깊이 산출 수식을 기반으로 아래의 식 1을 이용하여 피사체에 대한 깊이를 산출할 수 있다.
<식 1>
Figure 112018047669465-pat00009
식 1에서, ds는 일 실시예에 따른 카메라 시스템(200)의 이미지 센서에서 OPA들(221, 231)이 배치된 두 개의 픽셀들(220, 230)을 통해 획득되는 이미지들 사이의 시차를 의미하고, f는 초점 거리를 의미하며, a는 피사체 거리(피사체로부터 카메라 시스템의 단일 렌즈의 제1 주평면까지의 거리로서, 피사체에 대한 깊이에 해당됨)를 의미하고,
Figure 112018047669465-pat00010
는 이미지 센서에 초점이 맞은 피사체 거리를 의미하며,
Figure 112018047669465-pat00011
는 단일 렌즈(210)의 직경
Figure 112018047669465-pat00012
및 초점 거리 f와 관련된 파라미터를 의미한다.
이 때, 단일 렌즈(210)의 직경
Figure 112018047669465-pat00013
및 초점 거리 f와 관련된 파라미터인
Figure 112018047669465-pat00014
가 카메라 시스템(200)에 포함되는 단일 렌즈의 f 넘버보다 작을 경우, 도 3에 도시된 310 경우와 같이 이미지 촬영 자체가 불가능하다. 따라서,
Figure 112018047669465-pat00015
는 반드시 320 경우와 같이 단일 렌즈(210)의 f 넘버보다 커야 한다.
한편, 식 1로부터 유도되는 픽셀 별 시차를 나타내는 아래의 식 2(식 2에서 d는 픽셀 사이즈를 의미함)는, 초점 거리인 f가 픽셀들로 구성되는 픽셀 어레이의 사이즈 및 FOV(Field Of View)와 관련하여 비례하는 관계를 갖고 있기 때문에(
Figure 112018047669465-pat00016
), 아래의 식 3과 같이 표현될 수 있다.
<식 2>
Figure 112018047669465-pat00017
<식 3>
Figure 112018047669465-pat00018
따라서,
Figure 112018047669465-pat00019
는 카메라 시스템(200)에서 OPA들(221, 231)이 서로 이격된 거리 및 OPA들(221, 231)이 형성된 차광막들(222, 232)이 배치되는 픽셀들(220, 230) 각각의 높이와 관련하여 비례하는 관계를 갖는다(
Figure 112018047669465-pat00020
).
즉, 전술된
Figure 112018047669465-pat00021
가 반드시 320 경우와 같이 단일 렌즈(210)의 f 넘버보다 커야 하는 제약 조건은, OPA들(221, 231)이 서로 이격된 거리 및 OPA들(221, 231)이 적용된 픽셀들(220, 230) 각각의 높이와 관련된 오프셋 f 넘버(
Figure 112018047669465-pat00022
)가 단일 렌즈(210)의 f 넘버보다 커야 하는 제약 조건으로 해석될 수 있다. 이하, 설명되는 일 실시예에 따른 카메라 시스템(200)은 해당 제약 조건을 만족시키는 가운데, OPA들(221, 231)이 서로 이격된 거리가 최대화되도록 하는 구조를 갖는다. 이에 대한 상세한 설명은 아래에서 기재하기로 한다.
도 4는 일 실시예에 따른 카메라 시스템을 나타낸 도면이다.
도 4를 참조하면, 일 실시예에 따른 카메라 시스템(400)은 단일 렌즈(410) 및 단일 렌즈(410) 아래 위치하는 이미지 센서(420)를 포함한다. 여기서, 이미지 센서(420)는 적어도 하나의 픽셀 어레이(421, 422)로 구성되며, 적어도 하나의 픽셀 어레이(421, 422) 각각은 2차원 배열의 복수의 픽셀들(예컨대,
Figure 112018047669465-pat00023
배열의 4개의 픽셀들) 및 복수의 픽셀들의 상부에 공유되도록 배치되는 단일 마이크로 렌즈(421-1, 422-1)를 포함한다.
이러한 구조의 일 실시예에 따른 카메라 시스템(400)은, 전술된 바와 같이 픽셀들에 OPA들을 적용함으로써, 단일 렌즈(410)에 DA가 적용된 경우와 유사하게 픽셀들을 통해 획득되는 이미지들 사이의 시차를 기반으로 피사체에 대한 깊이를 산출할 수 있으며, 단일 렌즈(410)에 DA를 적용한 경우보다 카메라 시스템의 단면적을 최소화하여 소형화를 도모할 수 있다. 이 때, 깊이 산출 동작은 카메라 시스템(400)에 더 포함되는 적어도 하나의 프로세서(도면에는 도시되지 않음)에서 수행될 수 있다.
또한, 일 실시예에 따른 카메라 시스템(400)은 복수의 픽셀들이 단일 마이크로 렌즈(421-1, 422-1)를 공유하도록 함으로써, 복수의 픽셀들 각각에 마이크로 렌즈가 구비되는 경우보다 베이스라인을 증가시킬 수 있으며, 특히, OPA들이 서로 이격된 거리를 최대화하여 픽셀들 상에 형성 및 배치함으로써, 베이스라인을 더욱 증가시킬 수 있다. 따라서, 카메라 시스템(400)은 베이스라인을 증가시켜 이미지들 사이의 시차를 크게 하고 산출되는 깊이의 범위를 향상시킬 수 있다.
이와 같은 일 실시예에 따른 카메라 시스템(400)의 적어도 하나의 픽셀 어레이(421, 422)에 대한 세부 구조는 아래에서 기재하기로 한다.
도 5는 일 실시예에 따른 카메라 시스템의 이미지 센서에 포함되는 픽셀 어레이를 설명하기 위한 도면이고, 도 6는 도 5에 도시된 OPA가 적용된 픽셀을 포함하는 픽셀 어레이와 등가의 렌즈 애퍼처를 나타낸 도면이다.
도 5를 참조하면, 일 실시예에 따른 카메라 시스템의 이미지 센서에 포함되는 픽셀 어레이(510)는 도 4에 도시된 하나의 픽셀 어레이(421)를 나타낸다. 이하, 픽셀 어레이(510)는 단일 마이크로 렌즈(510-1)를 공유하는
Figure 112018047669465-pat00024
배열의 복수의 픽셀들(511, 512, 513, 514)을 포함하는 것으로 설명되나, 이에 제한되거나 한정되지 않고,
Figure 112018047669465-pat00025
배열 또는
Figure 112018047669465-pat00026
배열 등 다양한 2차원 배열의 복수의 픽셀들을 포함할 수 있다.
픽셀 어레이(510)의 복수의 픽셀들(511, 512, 513, 514) 중 적어도 두 개의 픽셀들(511, 512) 각각의 상부에는 OPA(521, 531)가 형성된 차광막(520, 530)이 배치되며, 특히, OPA들(521, 531)은 서로 이격된 거리(540)가 최대화되도록 차광막들(520, 530) 상에 각각 형성된다. 예를 들어, 제1 픽셀(511)의 OPA(521) 및 제2 픽셀(512)의 OPA(531)는, 서로 이격된 거리(540)가 최대화되도록 대각 방향으로 각각의 차광막(520, 530) 상에서 도면과 같이 좌측 끝 및 우측 끝에 형성될 수 있다.
또한, 적어도 두 개의 픽셀들(511, 512)은 카메라 시스템의 베이스라인을 증가시키기 위하여, OPA들(521, 531)이 서로 이격되는 거리(540)가 최대화되도록 픽셀 어레이(510) 상에 배치될 수 있다(OPA들(521, 531)이 형성된 차광막들(520, 530)이 배치될 적어도 두 개의 픽셀들(511, 512)로서, 복수의 픽셀들(511, 512, 513, 514) 중 OPA들(521, 531) 사이의 이격 거리(540)를 최대화하는 픽셀들이 선택될 수 있음을 의미함). 예를 들어, 제1 픽셀(511) 및 제2 픽셀(512)은 OPA들(521, 531)이 서로 이격된 거리(540)가 최대화되도록 픽셀 어레이(510) 상에서 대각 방향으로 위치하는 픽셀들일 수 있으며, 이에 따라, 제1 픽셀(511)의 OPA(521) 및 제2 픽셀(512)의 OPA(531)는, 서로 이격된 거리(540)가 최대화되도록 픽셀 어레이(510)에서 대각 방향으로 배치될 수 있다.
이와 같이 OPA들(521, 531)이 적용된 픽셀 어레이(510)를 포함하는 카메라 시스템은, 도 6에 도시된 등가의 렌즈 애퍼처(610)와 동일하게 치부됨으로써, 증가된 베이스라인을 갖게 될 수 있다.
그러나 이에 제한되거나 한정되지 않고, OPA들(521, 531)은 대각 방향이 아닌, 수평 방향 또는 수직 방향으로 서로 이격될 수 있으며, 이러한 경우 OPA들(521, 531)이 적용되는 적어도 두 개의 픽셀들(511, 512) 역시 픽셀 어레이(510) 상에서 수평 방향 또는 수직 방향으로 위치하는 픽셀들일 수 있다.
이처럼 복수의 픽셀들(511, 512, 513, 514) 중 OPA들(521, 531)이 형성된 차광막들(520, 530)이 배치될 적어도 두 개의 픽셀들(511, 512)이 선택되는 것 및 OPA들(521, 531)이 차광막들(520, 530) 상에 각각 형성되는 위치가 결정되는 것은, 도 3을 참조로 전술된 제약 조건을 만족시키는 아래 카메라 시스템의 베이스라인의 길이를 최대화하도록 수행될 수 있다. 예를 들어, OPA들(521, 531)이 서로 이격된 거리(540)와 OPA들(521, 531)이 적용되는 적어도 두 개의 픽셀들(511, 512) 각각의 높이와 관련된 오프셋 f 넘버(
Figure 112018047669465-pat00027
)가 카메라 시스템의 단일 렌즈의 f 넘버보다 큰 제약 조건을 만족시키는 가운데, OPA들(521, 531)이 서로 이격된 거리(540)가 최대화되도록 복수의 픽셀들(511, 512, 513, 514) 중 차광막들(520, 530)이 배치될 적어도 두 개의 픽셀들(511, 512)이 선택되고, OPA들(521, 531)이 차광막들(520, 530) 상에 각각 형성되는 위치가 결정될 수 있다. 여기서, 오프셋 f 넘버의 특성에 따르면, OPA들(521, 531)이 서로 이격된 거리(540)가 증가하더라도 OPA들(521, 531)이 적용되는 적어도 두 개의 픽셀들(511, 512) 각각의 높이 역시 비례하여 증가된다면, 오프셋 f 넘버의 크기는 작아지지 않고 그대로 유지될 수 있다. 따라서, 일 실시예에 따른 카메라 시스템은 적어도 두 개의 픽셀들(511, 512)을 OPA들(521, 531)이 서로 이격되는 거리(540)가 최대화되도록 픽셀 어레이(510) 상에 배치하고, 서로 이격된 거리(540)가 최대화되도록 차광막들(520, 530) 상에 OPA들(521, 531)을 각각 형성하는 동시에, OPA(521, 531)가 적용되는 적어도 두 개의 픽셀들(511, 512) 각각의 높이 역시 증가시킴으로써, 오프셋 f 넘버가 단일 렌즈의 f 넘버보다 커야 하는 제약 조건을 만족시킬 수 있다.
이 때, OPA들(521, 531)은 적어도 두 개의 픽셀들(511, 512) 각각을 기준으로 서로 어긋난 중심 위치를 갖도록 차광막들(520, 530) 상에 각각 형성될 수 있다. 예컨대, 제1 OPA(521)는 제1 픽셀(511)의 중심을 기준으로 좌측으로 어긋난 중심 위치를 갖고, 제2 OPA(531)는 제2 픽셀(512)의 중심을 기준으로 우측으로 어긋난 중심 위치를 가짐으로써, 제1 OPA(521)와 제2 OPA(531)는 서로 어긋난 중심 위치를 갖게 될 수 있다. 이에, 적어도 두 개의 픽셀들(511, 512)을 통해 획득되는 이미지들 사이에서 시차가 존재하게 되고, 이로 인해 카메라 시스템은 이미지들 사이의 시차를 기반으로 피사체에 대한 깊이를 산출할 수 있다.
이와 같이 OPA들(521, 531)이 적용되는 적어도 두 개의 픽셀들(511, 512) 각각은 복수의 픽셀들(511, 512, 513, 514) 중 최대 광 투과(Maximum light transmission) 특성을 갖는 픽셀일 수 있다. 예를 들어, 도면에 도시된 바와 같이 적어도 두 개의 픽셀들(511, 512)은 W(White) 광 신호를 처리하는 W 픽셀들일 수 있다. 반면에, 복수의 픽셀들(511, 512, 513, 514) 중 OPA들(521, 531)이 적용된 적어도 두 개의 픽셀들(511, 512)을 제외한 나머지 픽셀들(513, 514)은 컬러 광 신호를 처리하는 컬러 픽셀들일 수 있다(예컨대, R 픽셀, G 픽셀, B 픽셀 중 두 개의 픽셀들). 그러나 이에 제한되거나 한정되지 않고, 나머지 픽셀들(513, 514) 역시 W 픽셀들일 수 있다.
이상 설명된 구조의 픽셀 어레이(510)를 적어도 하나 이상 포함하는 이미지 센서 및 단일 렌즈로 구성되는 카메라 시스템은, OPA(521, 531)가 적용된 픽셀들(511, 512)을 통해 획득되는 이미지들 사이의 시차를 기반으로 피사체에 대한 깊이를 산출할 수 있고, 단일 렌즈에 DA를 적용한 경우보다 카메라 시스템의 단면적을 최소화하여 소형화를 도모할 수 있으며, 복수의 픽셀들(511, 512, 513, 514)이 단일 마이크로 렌즈(510-1)를 공유하도록 하고 OPA들(521, 531)이 서로 이격된 거리(540)를 최대화하여 OPA들(521, 531)을 픽셀들(511, 512) 상에 형성 및 배치함으로써, 베이스라인을 증가시킬 수 있다.
도 7은 다른 일 실시예에 따른 카메라 시스템의 이미지 센서에 포함되는 픽셀 어레이들을 설명하기 위한 도면이고, 도 8은 도 7 도시된 OPA가 적용된 픽셀을 포함하는 픽셀 어레이들과 등가의 렌즈 애퍼처를 나타낸 도면이다.
도 7을 참조하면, 다른 일 실시예에 따른 카메라 시스템의 이미지 센서에 포함되는 복수의 픽셀 어레이들(710, 720)은 도 4에 도시된 두 개의 픽셀 어레이들(421, 422)를 나타낸다. 이하, 복수의 픽셀 어레이들(710, 720) 각각이 단일 마이크로 렌즈(710-1, 720-1)를 공유하는
Figure 112018047669465-pat00028
배열의 복수의 픽셀들(711, 712, 713, 714, 721, 722, 723, 724)을 포함하는 것으로 설명되나, 이에 제한되거나 한정되지 않고,
Figure 112018047669465-pat00029
배열 또는
Figure 112018047669465-pat00030
배열 등 다양한 2차원 배열의 복수의 픽셀들을 포함할 수 있다.
복수의 픽셀 어레이들(710, 720) 중 제1 픽셀 어레이(710)에 포함되는 어느 하나의 픽셀(711) 및 복수의 픽셀 어레이들(710, 720) 중 제2 픽셀 어레이(720)에 포함되는 어느 하나의 픽셀(721) 각각의 상부에는 OPA(731, 741)가 형성된 차광막(730, 740)이 배치되며, 특히, OPA들(731, 741)은 서로 이격된 거리(750)가 최대화되도록 차광막들(730, 740) 상에 각각 형성된다. 예를 들어, 제1 픽셀 어레이(710)에 포함되는 제1 픽셀(711)의 OPA(731) 및 제2 픽셀 어레이(720)에 포함되는 제2 픽셀(721)의 OPA(741)는, 서로 이격된 거리(750)가 최대화되도록 수평 방향으로 각각의 차광막(730, 740) 상에서 도면과 같이 좌측 끝 및 우측 끝에 형성될 수 있다.
또한, 제1 픽셀 어레이(710)에 포함되는 어느 하나의 픽셀(711) 및 제2 픽셀 어레이(720)에 포함되는 어느 하나의 픽셀(721)은, 카메라 시스템의 베이스라인을 증가시키기 위하여, OPA들(731, 741)이 서로 이격되는 거리(750)가 최대화되도록 제1 픽셀 어레이(710) 및 제2 픽셀 어레이(720) 상에 배치될 수 있다(OPA들(731, 741)이 형성된 차광막들(730, 740)이 배치될 두 개의 픽셀들(711, 721)로서, 제1 픽셀 어레이(710)의 복수의 픽셀들(711, 712, 713, 714) 및 제2 픽셀 어레이(720)의 복수의 픽셀들(721, 722, 723, 724) 중 OPA들(731, 741) 사이의 이격 거리(750)를 최대화하는 각각의 픽셀(711, 721)이 선택될 수 있음을 의미함). 예를 들어, 제1 픽셀 어레이(710) 및 제2 픽셀 어레이(720)가 이미지 센서 상에서 수평 방향으로 배치되는 경우. 제1 픽셀(711) 및 제2 픽셀(721)은 OPA들(731, 741)이 서로 이격된 거리(750)가 최대화되도록 제1 픽셀 어레이(710) 및 제2 픽셀 어레이(720) 상에서 수평 방향으로 위치하는 픽셀들일 수 있으며, 이에 따라, 제1 픽셀(711)의 OPA(731) 및 제2 픽셀(721)의 OPA(741)는, 서로 이격된 거리(750)가 최대화되도록 제1 픽셀 어레이(710) 및 제2 픽셀 어레이(720)에서 수평 방향으로 배치될 수 있다.
이와 같이 OPA들(731, 741)이 적용된 제1 픽셀 어레이(710) 및 제2 픽셀 어레이(720)를 포함하는 카메라 시스템은, 도 8에 도시된 등가의 렌즈 애퍼처(810)와 동일하게 치부됨으로써, 증가된 베이스라인을 갖게 될 수 있다.
그러나 이에 제한되거나 한정되지 않고, 제1 픽셀 어레이(710) 및 제2 픽셀 어레이(720)가 수직 방향으로 배치되는 경우, 제1 픽셀(711) 및 제2 픽셀(721)은 OPA들(731, 741)이 서로 이격된 거리(750)가 최대화되도록 제1 픽셀 어레이(710) 및 제2 픽셀 어레이(720) 상에서 수직 방향으로 위치하는 픽셀들일 수 있으며, 이에 따라, 제1 픽셀(711)의 OPA(731) 및 제2 픽셀(721)의 OPA(741)는, 서로 이격된 거리(750)가 최대화되도록 제1 픽셀 어레이(710) 및 제2 픽셀 어레이(720)에서 수직 방향으로 배치될 수 있다.
이처럼 제1 픽셀 어레이(710)의 복수의 픽셀들(711, 712, 713, 714) 및 제2 픽셀 어레이(720)의 복수의 픽셀들(721, 722, 723, 724) 중 OPA들(731, 741)이 형성된 차광막들(730, 740)이 배치될 두 개의 픽셀들(711, 721)이 선택되는 것과 OPA들(731, 741)이 차광막들(730, 740) 상에 각각 형성되는 위치가 결정되는 것은, 도 3을 참조로 전술된 제약 조건을 만족시키는 아래 카메라 시스템의 베이스라인의 길이를 최대화하도록 수행될 수 있다. 예를 들어, OPA들(731, 741)이 서로 이격된 거리(750)와 OPA들(731, 741)이 적용되는 두 개의 픽셀들(제1 픽셀 어레이(710)의 복수의 픽셀들(711, 712, 713, 714) 중 어느 하나의 픽셀(711) 및 제2 픽셀 어레이(720)의 복수의 픽셀들(721, 722, 723, 724) 중 어느 하나의 픽셀(721)) 각각의 높이와 관련된 오프셋 f 넘버(
Figure 112018047669465-pat00031
)가 카메라 시스템의 단일 렌즈의 f 넘버보다 큰 제약 조건을 만족시키는 가운데, OPA들(731, 741)이 서로 이격된 거리(750)가 최대화되도록 제1 픽셀 어레이(710)의 복수의 픽셀들(711, 712, 713, 714) 중 차광막(730)이 배치될 어느 하나의 픽셀(711)이 선택되고 제2 픽셀 어레이(720)의 복수의 픽셀들(721, 722, 723, 724) 중 차광막(740)이 배치될 어느 하나의 픽셀(721)이 선택되며, OPA들(731, 741)이 차광막들(730, 740) 상에 각각 형성되는 위치가 결정될 수 있다. 여기서, 오프셋 f 넘버의 특성에 따르면, OPA들(731, 741)이 서로 이격된 거리(750)가 증가하더라도 OPA들(731, 741)이 적용되는 두 개의 픽셀들(711, 721) 각각의 높이 역시 비례하여 증가된다면, 오프셋 f 넘버의 크기는 작아지지 않고 그대로 유지될 수 있다. 따라서, 다른 일 실시예에 따른 카메라 시스템은 제1 픽셀 어레이(710)의 복수의 픽셀들(711, 712, 713, 714) 중 어느 하나의 픽셀(711) 및 제2 픽셀 어레이(720)의 복수의 픽셀들(721, 722, 723, 724) 중 어느 하나의 픽셀(721)을 OPA들(731, 741)이 서로 이격되는 거리(750)가 최대화되도록 제1 픽셀 어레이(710) 및 제2 픽셀 어레이(720) 상에 배치하고, 서로 이격된 거리(750)가 최대화되도록 차광막들(730, 740) 상에 OPA들(731, 741)을 각각 형성하는 동시에, OPA(731, 741)가 적용되는 두 개의 픽셀들(711, 721) 각각의 높이 역시 증가시킴으로써, 오프셋 f 넘버가 단일 렌즈의 f 넘버보다 커야 하는 제약 조건을 만족시킬 수 있다.
이 때, OPA들(731, 741)은 제1 픽셀 어레이(710)에 포함되는 어느 하나의 픽셀(711) 및 제2 픽셀 어레이(720)에 포함되는 어느 하나의 픽셀(721) 각각을 기준으로 서로 어긋난 중심 위치를 갖도록 차광막들(730, 740) 상에 각각 형성될 수 있다. 예컨대, 제1 OPA(731)는 제1 픽셀(711)의 중심을 기준으로 좌측으로 어긋난 중심 위치를 갖고, 제2 OPA(741)는 제2 픽셀(721)의 중심을 기준으로 우측으로 어긋난 중심 위치를 가짐으로써, 제1 OPA(731)와 제2 OPA(741)는 서로 어긋난 중심 위치를 갖게 될 수 있다. 이에, 두 개의 픽셀들(711, 721)을 통해 획득되는 이미지들 사이에서 시차가 존재하게 되고, 이로 인해 카메라 시스템은 이미지들 사이의 시차를 기반으로 피사체에 대한 깊이를 산출할 수 있다.
이와 같이 OPA들(731, 741)이 적용되는 적어도 두 개의 픽셀들(711, 722) 각각은 제1 픽셀 어레이(710)에 포함되는 복수의 픽셀들(711, 712, 713, 714) 및 제2 픽셀 어레이(720)에 포함되는 복수의 픽셀들(721, 722, 723, 724) 중 최대 광 투과 특성을 갖는 픽셀일 수 있다. 예를 들어, 도면에 도시된 바와 같이 두 개의 픽셀들(711, 721)은 W 광 신호를 처리하는 W 픽셀들일 수 있다. 반면에, 제1 픽셀 어레이(710)에 포함되는 복수의 픽셀들(711, 712, 713, 714) 및 제2 픽셀 어레이(720)에 포함되는 복수의 픽셀들(721, 722, 723, 724) 중 OPA들(731, 741)이 적용된 두 개의 픽셀들(711, 721)을 제외한 나머지 픽셀들(712, 713, 714, 722, 723, 724)은 컬러 광 신호를 처리하는 컬러 픽셀들일 수 있다(예컨대, R 픽셀, G 픽셀, B 픽셀 중 두 개의 픽셀들). 그러나 이에 제한되거나 한정되지 않고, 나머지 픽셀들(712, 713, 714, 722, 723, 724) 역시 W 픽셀들일 수 있다.
이상 설명된 구조의 복수의 픽셀 어레이들(710, 720)을 포함하는 이미지 센서 및 단일 렌즈로 구성되는 카메라 시스템은, OPA(731, 741)가 적용된 픽셀들(711, 721)을 통해 획득되는 이미지들 사이의 시차를 기반으로 피사체에 대한 깊이를 산출할 수 있고, 단일 렌즈에 DA를 적용한 경우보다 카메라 시스템의 단면적을 최소화하여 소형화를 도모할 수 있으며, 복수의 픽셀 어레이들(710, 720) 별로 복수의 픽셀들(711, 712, 713, 714 또는 721, 722, 723, 724)이 단일 마이크로 렌즈(710-1, 720-1)를 공유하도록 하고 OPA들(731, 741)이 서로 이격된 거리(750)를 최대화하여 OPA들(731, 741)을 복수의 픽셀 어레이들(710, 720) 각각의 픽셀(711, 721) 상에 형성 및 배치함으로써, 도 5을 참조하여 상술된 카메라 시스템보다도 더 베이스라인을 증가시킬 수 있다.
도 9는 또 다른 일 실시예에 따른 카메라 시스템의 이미지 센서에 포함되는 픽셀 어레이들을 설명하기 위한 도면이고, 도 10은 도 9에 도시된 OPA가 적용된 픽셀을 포함하는 픽셀 어레이들과 등가의 렌즈 애퍼처를 나타낸 도면이다.
도 9에 도시된 또 다른 일 실시예에 따른 카메라 시스템의 이미지 센서에 포함되는 복수의 픽셀 어레이들(910, 920)은 도 7을 참조하여 상술된 다른 일 실시예에 따른 카메라 시스템의 이미지 센서에 포함되는 복수의 픽셀 어레이들과 유사한 구조를 가지나, 복수의 픽셀 어레이들(910, 920) 중 제1 픽셀 어레이(910)에 포함되는 어느 하나의 픽셀(911)의 OPA(931) 및 제2 픽셀 어레이(920)에 포함되는 제2 픽셀(921)의 OPA(941)가, 서로 이격된 거리(950)가 최대화되도록 대각 방향으로 각각의 차광막(930, 940) 상에서 도면과 같이 좌측 끝 및 우측 끝에 형성된다는 점에서 차이가 있다.
마찬가지로, 제1 픽셀 어레이(910)에 포함되는 어느 하나의 픽셀(911) 및 제2 픽셀 어레이(920)에 포함되는 어느 하나의 픽셀(921)은, 카메라 시스템의 베이스라인을 증가시키기 위하여, OPA들(931, 941)이 서로 이격되는 거리(950)가 최대화되도록 제1 픽셀 어레이(910) 및 제2 픽셀 어레이(920) 상에 대각 방향으로 배치될 수 있다(OPA들(931, 941)이 형성된 차광막들(930, 940)이 배치될 두 개의 픽셀들(911, 921)로서, 제1 픽셀 어레이(910)의 복수의 픽셀들(911, 912, 913, 914) 및 제2 픽셀 어레이(920)의 복수의 픽셀들(921, 922, 923, 924) 중 OPA들(931, 941) 사이의 이격 거리(950)를 최대화하는 대각 방향의 픽셀(911, 921)들이 선택될 수 있음을 의미함).
이와 같이 OPA들(931, 941)이 적용된 제1 픽셀 어레이(910) 및 제2 픽셀 어레이(920)를 포함하는 카메라 시스템은, 도 10에 도시된 등가의 렌즈 애퍼처(1010)와 동일하게 치부됨으로써, 증가된 베이스라인을 갖게 될 수 있다.
이처럼 제1 픽셀 어레이(910)의 복수의 픽셀들(911, 912, 913, 914) 및 제2 픽셀 어레이(920)의 복수의 픽셀들(921, 922, 923, 924) 중 OPA들(931, 941)이 형성된 차광막들(930, 940)이 배치될 두 개의 픽셀들(911, 921)이 선택되는 것과 OPA들(931, 941)이 차광막들(930, 940) 상에 각각 형성되는 위치가 결정되는 것은, 도 3을 참조로 전술된 제약 조건을 만족시키는 아래 카메라 시스템의 베이스라인의 길이를 최대화하도록 수행될 수 있다. 예를 들어, OPA들(931, 941)이 서로 이격된 거리(950)와 OPA들(931, 941)이 적용되는 두 개의 픽셀들(제1 픽셀 어레이(910)의 복수의 픽셀들(911, 912, 913, 914) 중 어느 하나의 픽셀(911) 및 제2 픽셀 어레이(920)의 복수의 픽셀들(921, 922, 923, 924) 중 어느 하나의 픽셀(921)) 각각의 높이와 관련된 오프셋 f 넘버(
Figure 112018047669465-pat00032
)가 카메라 시스템의 단일 렌즈의 f 넘버보다 큰 제약 조건을 만족시키는 가운데, OPA들(931, 941)이 서로 이격된 거리(950)가 최대화되도록 제1 픽셀 어레이(910)의 복수의 픽셀들(911, 912, 913, 914) 중 차광막(930)이 배치될 어느 하나의 픽셀(911)이 선택되고 제2 픽셀 어레이(920)의 복수의 픽셀들(921, 922, 923, 924) 중 차광막(940)이 배치될 어느 하나의 픽셀(921)이 선택되며, OPA들(931, 941)이 차광막들(930, 940) 상에 각각 형성되는 위치가 결정될 수 있다. 여기서, 오프셋 f 넘버의 특성에 따르면, OPA들(931, 941)이 서로 이격된 거리(950)가 증가하더라도 OPA들(931, 941)이 적용되는 두 개의 픽셀들(911, 921) 각각의 높이 역시 비례하여 증가된다면, 오프셋 f 넘버의 크기는 작아지지 않고 그대로 유지될 수 있다. 따라서, 다른 일 실시예에 따른 카메라 시스템은 제1 픽셀 어레이(910)의 복수의 픽셀들(911, 912, 913, 914) 중 어느 하나의 픽셀(911) 및 제2 픽셀 어레이(920)의 복수의 픽셀들(921, 922, 923, 924) 중 어느 하나의 픽셀(921)을 OPA들(931, 941)이 서로 이격되는 거리(950)가 최대화되도록 제1 픽셀 어레이(910) 및 제2 픽셀 어레이(920) 상에 배치하고, 서로 이격된 거리(950)가 최대화되도록 차광막들(930, 940) 상에 OPA들(931, 941)을 각각 형성하는 동시에, OPA(931, 941)가 적용되는 두 개의 픽셀들(911, 921) 각각의 높이 역시 증가시킴으로써, 오프셋 f 넘버가 단일 렌즈의 f 넘버보다 커야 하는 제약 조건을 만족시킬 수 있다.
이 때, OPA들(931, 941)은 제1 픽셀 어레이(910)에 포함되는 어느 하나의 픽셀(911) 및 제2 픽셀 어레이(920)에 포함되는 어느 하나의 픽셀(921) 각각을 기준으로 서로 어긋난 중심 위치를 갖도록 차광막들(930, 940) 상에 각각 형성될 수 있다. 예컨대, 제1 OPA(931)는 제1 픽셀(911)의 중심을 기준으로 좌측으로 어긋난 중심 위치를 갖고, 제2 OPA(941)는 제2 픽셀(921)의 중심을 기준으로 우측으로 어긋난 중심 위치를 가짐으로써, 제1 OPA(931)와 제2 OPA(941)는 서로 어긋난 중심 위치를 갖게 될 수 있다. 이에, 두 개의 픽셀들(911, 921)을 통해 획득되는 이미지들 사이에서 시차가 존재하게 되고, 이로 인해 카메라 시스템은 이미지들 사이의 시차를 기반으로 피사체에 대한 깊이를 산출할 수 있다.
이와 같이 OPA들(931, 941)이 적용되는 적어도 두 개의 픽셀들(911, 922) 각각은 제1 픽셀 어레이(910)에 포함되는 복수의 픽셀들(911, 912, 913, 914) 및 제2 픽셀 어레이(920)에 포함되는 복수의 픽셀들(921, 922, 923, 924) 중 최대 광 투과 특성을 갖는 픽셀일 수 있다. 예를 들어, 도면에 도시된 바와 같이 두 개의 픽셀들(911, 921)은 W 광 신호를 처리하는 W 픽셀들일 수 있다. 반면에, 제1 픽셀 어레이(910)에 포함되는 복수의 픽셀들(911, 912, 913, 914) 및 제2 픽셀 어레이(920)에 포함되는 복수의 픽셀들(921, 922, 923, 924) 중 OPA들(931, 941)이 적용된 두 개의 픽셀들(911, 921)을 제외한 나머지 픽셀들(912, 913, 914, 922, 923, 924)은 컬러 광 신호를 처리하는 컬러 픽셀들일 수 있다(예컨대, R 픽셀, G 픽셀, B 픽셀 중 두 개의 픽셀들). 그러나 이에 제한되거나 한정되지 않고, 나머지 픽셀들(912, 913, 914, 922, 923, 924) 역시 W 픽셀들일 수 있다.
이상 설명된 구조의 복수의 픽셀 어레이들(910, 920)을 포함하는 이미지 센서 및 단일 렌즈로 구성되는 카메라 시스템은, OPA(931, 941)가 적용된 픽셀들(911, 921)을 통해 획득되는 이미지들 사이의 시차를 기반으로 피사체에 대한 깊이를 산출할 수 있고, 단일 렌즈에 DA를 적용한 경우보다 카메라 시스템의 단면적을 최소화하여 소형화를 도모할 수 있으며, 복수의 픽셀 어레이들(910, 920) 별로 복수의 픽셀들(911, 912, 913, 914 또는 921, 922, 923, 924)이 단일 마이크로 렌즈(910-1, 920-1)를 공유하도록 하고 OPA들(931, 941)이 서로 이격된 거리(950)를 대각 방향으로 최대화하여 OPA들(931, 941)을 복수의 픽셀 어레이들(910, 920) 각각의 픽셀(911, 921) 상에 형성 및 배치함으로써, 도 7을 참조하여 상술된 카메라 시스템보다도 더 베이스라인을 증가시킬 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (18)

  1. 단일 렌즈; 및
    적어도 하나의 픽셀 어레이-상기 적어도 하나의 픽셀 어레이는 2차원 배열의 복수의 픽셀들 및 상기 복수의 픽셀들의 상부에 공유되도록 배치되는 단일 마이크로 렌즈를 포함함-로 구성되는 이미지 센서
    를 포함하고,
    상기 복수의 픽셀들 중 적어도 두 개의 픽셀들 각각의 상부에는 OPA(Offset Pixel Aperture)가 형성된 차광막이 배치되며,
    상기 OPA들은, 서로 이격된 거리가 최대화되도록 상기 차광막들 상에 각각 형성되는, 카메라 시스템.
  2. 제1항에 있어서,
    상기 적어도 두 개의 픽셀들은,
    상기 카메라 시스템의 베이스라인을 증가시키기 위하여, 상기 OPA들이 서로 이격된 거리가 최대화되도록 상기 적어도 하나의 픽셀 어레이 상에 배치되는, 카메라 시스템.
  3. 제2항에 있어서,
    상기 적어도 두 개의 픽셀들은,
    상기 OPA들이 서로 이격된 거리가 최대화되도록 상기 적어도 하나의 픽셀 어레이에서 대각 방향으로 배치되는, 카메라 시스템.
  4. 제1항에 있어서,
    상기 OPA들이 서로 이격된 거리와 상기 적어도 두 개의 픽셀들 각각의 높이와 관련된 오프셋 f 넘버는,
    상기 단일 렌즈의 f 넘버보다 큰 것을 특징으로 하는 카메라 시스템.
  5. 제1항에 있어서,
    상기 적어도 두 개의 픽셀들은,
    상기 복수의 픽셀들 중 최대 광 투과(Maximum light transmission) 특성을 갖는 적어도 두 개의 픽셀들인 것을 특징으로 하는 카메라 시스템.
  6. 제1항에 있어서,
    상기 적어도 두 개의 픽셀들은,
    W(White) 광 신호를 처리하는 W 픽셀들인 것을 특징으로 하는, 카메라 시스템.
  7. 제1항에 있어서,
    상기 OPA들은,
    상기 적어도 두 개의 픽셀들 각각을 기준으로 서로 어긋난 중심 위치를 갖는, 카메라 시스템.
  8. 제7항에 있어서,
    상기 OPA들이 형성된 차광막이 배치된 적어도 두 개의 픽셀들을 통해 획득된 적어도 두 개의 이미지들 사이의 시차(Disparity)를 이용하여 피사체에 대한 깊이를 산출하는 적어도 하나의 프로세서
    를 더 포함하는 카메라 시스템.
  9. 단일 렌즈; 및
    복수의 픽셀 어레이들-상기 복수의 픽셀 어레이들 각각은 2차원 배열의 복수의 픽셀들 및 상기 복수의 픽셀들의 상부에 공유되도록 배치되는 단일 마이크로 렌즈를 포함함-로 구성되는 이미지 센서
    를 포함하고,
    상기 복수의 픽셀 어레이들 중 제1 픽셀 어레이에 포함되는 어느 하나의 픽셀 및 상기 복수의 픽셀 어레이들 중 제2 픽셀 어레이에 포함되는 어느 하나의 픽셀 각각의 상부에는 OPA(Offset Pixel Aperture)가 형성된 차광막이 배치되며,
    상기 OPA들은, 서로 이격된 거리가 최대화되도록 상기 차광막들 상에 각각 형성되는, 카메라 시스템.
  10. 제9항에 있어서,
    상기 제1 픽셀 어레이에 포함되는 어느 하나의 픽셀 및 상기 제2 픽셀 어레이에 포함되는 어느 하나의 픽셀은,
    상기 카메라 시스템의 베이스라인을 증가시키기 위하여, 상기 OPA들이 서로 이격된 거리가 최대화되도록 상기 제1 픽셀 어레이 및 상기 제2 픽셀 어레이 상에 배치되는, 카메라 시스템.
  11. 제10항에 있어서,
    상기 제1 픽셀 어레이에 포함되는 어느 하나의 픽셀 및 상기 제2 픽셀 어레이에 포함되는 어느 하나의 픽셀은,
    상기 OPA들이 서로 이격된 거리가 최대화되도록 상기 이미지 센서 상 상기 제1 픽셀 어레이 및 상기 제2 픽셀 어레이에서 대각 방향으로 배치되는, 카메라 시스템.
  12. 제10항에 있어서,
    상기 제1 픽셀 어레이 및 상기 제2 픽셀 어레이가 수평 방향으로 배치되는 경우, 상기 제1 픽셀 어레이에 포함되는 어느 하나의 픽셀 및 상기 제2 픽셀 어레이에 포함되는 어느 하나의 픽셀은,
    상기 OPA들이 서로 이격된 거리가 최대화되도록 상기 이미지 센서 상 상기 제1 픽셀 어레이 및 상기 제2 픽셀 어레이에서 수평 방향으로 배치되는, 카메라 시스템.
  13. 제10항에 있어서,
    상기 제1 픽셀 어레이 및 상기 제2 픽셀 어레이가 수직 방향으로 배치되는 경우, 상기 제1 픽셀 어레이에 포함되는 어느 하나의 픽셀 및 상기 제2 픽셀 어레이에 포함되는 어느 하나의 픽셀은,
    상기 OPA들이 서로 이격된 거리가 최대화되도록 상기 이미지 센서 상에 상기 제1 픽셀 어레이 및 상기 제2 픽셀 어레이에서 수직 방향으로 배치되는, 카메라 시스템.
  14. 제9항에 있어서,
    상기 OPA들이 서로 이격된 거리와 상기 제1 픽셀 어레이에 포함되는 어느 하나의 픽셀 및 상기 제2 픽셀 어레이에 포함되는 어느 하나의 픽셀 각각의 높이와 관련된 오프셋 f 넘버는,
    상기 단일 렌즈의 f 넘버보다 큰 것을 특징으로 하는 카메라 시스템.
  15. 제9항에 있어서,
    상기 제1 픽셀 어레이에 포함되는 어느 하나의 픽셀 및 상기 제2 픽셀 어레이에 포함되는 어느 하나의 픽셀은,
    상기 제1 픽셀 어레이에 포함되는 복수의 픽셀들 및 상기 제2 픽셀 어레이에 포함되는 복수의 픽셀들 중 최대 광 투과(Maximum light transmission) 특성을 갖는 적어도 두 개의 픽셀들인 것을 특징으로 하는 카메라 시스템.
  16. 제9항에 있어서,
    상기 제1 픽셀 어레이에 포함되는 어느 하나의 픽셀 및 상기 제2 픽셀 어레이에 포함되는 어느 하나의 픽셀은,
    W(White) 광 신호를 처리하는 W 픽셀들인 것을 특징으로 하는, 카메라 시스템.
  17. 제9항에 있어서,
    상기 OPA들은,
    상기 제1 픽셀 어레이에 포함되는 어느 하나의 픽셀 및 상기 제2 픽셀 어레이에 포함되는 어느 하나의 픽셀 각각을 기준으로 서로 어긋난 중심 위치를 갖는, 카메라 시스템.
  18. 제17항에 있어서,
    상기 제1 픽셀 어레이에 포함되는 어느 하나의 픽셀 및 상기 제2 픽셀 어레이에 포함되는 어느 하나의 픽셀을 통해 획득된 두 개의 이미지들 사이의 시차(Disparity)를 이용하여 피사체에 대한 깊이를 산출하는 적어도 하나의 프로세서
    를 더 포함하는 카메라 시스템.
KR1020180055407A 2018-05-15 2018-05-15 베이스라인을 증가시키기 위한 카메라 시스템 Expired - Fee Related KR102018984B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180055407A KR102018984B1 (ko) 2018-05-15 2018-05-15 베이스라인을 증가시키기 위한 카메라 시스템
US16/412,092 US10893255B2 (en) 2018-05-15 2019-05-14 Camera system for increasing baseline
CN201910406147.3A CN110493586B (zh) 2018-05-15 2019-05-15 用于增加基线的摄像头系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180055407A KR102018984B1 (ko) 2018-05-15 2018-05-15 베이스라인을 증가시키기 위한 카메라 시스템

Publications (1)

Publication Number Publication Date
KR102018984B1 true KR102018984B1 (ko) 2019-09-05

Family

ID=67949407

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180055407A Expired - Fee Related KR102018984B1 (ko) 2018-05-15 2018-05-15 베이스라인을 증가시키기 위한 카메라 시스템

Country Status (3)

Country Link
US (1) US10893255B2 (ko)
KR (1) KR102018984B1 (ko)
CN (1) CN110493586B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102148127B1 (ko) * 2020-02-14 2020-08-26 재단법인 다차원 스마트 아이티 융합시스템 연구단 상보적인 픽슬렛 구조가 적용된 카메라 시스템
KR102309976B1 (ko) * 2020-08-03 2021-10-08 주식회사 덱셀리온 하나의 장면에 대해 서로 다른 정보를 포함하는 이미지들을 동시에 디스플레이하는 시스템 및 그 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102148128B1 (ko) * 2020-03-06 2020-08-26 재단법인 다차원 스마트 아이티 융합시스템 연구단 상보적인 픽슬렛 구조가 적용된 카메라 시스템

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3592147B2 (ja) * 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
JP2010020015A (ja) * 2008-07-09 2010-01-28 Canon Inc 撮像装置
US8610815B2 (en) * 2009-01-12 2013-12-17 Aptina Imaging Corporation Imaging device having microlens array adhered to wafer-level lens
JP5515396B2 (ja) * 2009-05-08 2014-06-11 ソニー株式会社 撮像装置
JP5967950B2 (ja) * 2011-04-20 2016-08-10 キヤノン株式会社 撮像素子及び撮像装置
JP5956782B2 (ja) * 2011-05-26 2016-07-27 キヤノン株式会社 撮像素子及び撮像装置
EP2762941B1 (en) * 2011-09-30 2016-12-28 Fujifilm Corporation Imaging device and focus parameter value calculation method
JP5917207B2 (ja) * 2012-03-14 2016-05-11 キヤノン株式会社 焦点調節装置
JP6066593B2 (ja) * 2012-06-13 2017-01-25 キヤノン株式会社 撮像システムおよび撮像システムの駆動方法
KR20160010986A (ko) * 2014-07-21 2016-01-29 에스케이하이닉스 주식회사 이미지 센서
JP6369233B2 (ja) * 2014-09-01 2018-08-08 ソニー株式会社 固体撮像素子及びその信号処理方法、並びに電子機器
JP2016058451A (ja) * 2014-09-05 2016-04-21 キヤノン株式会社 センサおよびカメラ
DE102016208210A1 (de) * 2016-05-12 2017-11-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d-multiaperturabbildungsvorrichtungen, multiaperturabbildungsvorrichtung, verfahren zum bereitstellen eines ausgangssignals einer 3d-multiaperturabbildungsvorrichtung und verfahren zum erfassen eines gesamtgesichtsfeldes
KR102398667B1 (ko) * 2017-06-05 2022-05-16 삼성전자주식회사 위상 검출 픽셀을 포함하는 이미지 센서

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102148127B1 (ko) * 2020-02-14 2020-08-26 재단법인 다차원 스마트 아이티 융합시스템 연구단 상보적인 픽슬렛 구조가 적용된 카메라 시스템
KR102309976B1 (ko) * 2020-08-03 2021-10-08 주식회사 덱셀리온 하나의 장면에 대해 서로 다른 정보를 포함하는 이미지들을 동시에 디스플레이하는 시스템 및 그 방법

Also Published As

Publication number Publication date
US10893255B2 (en) 2021-01-12
US20190356901A1 (en) 2019-11-21
CN110493586A (zh) 2019-11-22
CN110493586B (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
KR102025012B1 (ko) 멀티 픽셀 마이크로 렌즈 픽셀 어레이와 컬러 믹스 문제를 해결하기 위한 카메라 시스템 및 그 동작 방법
KR102415502B1 (ko) 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
KR102018984B1 (ko) 베이스라인을 증가시키기 위한 카메라 시스템
US10771771B2 (en) Method of determining calibration parameter for three-dimensional (3D) display device and 3D display device using the method
EP3139602B1 (en) Image processing method and apparatus
KR20160021968A (ko) 영상 처리 방법 및 장치
KR20170017586A (ko) 3차원 디스플레이 장치의 파라미터 추정 방법 및 그 방법을 이용한 3차원 디스플레이 장치
KR20130061042A (ko) 부화소를 렌더링하는 영상 처리 장치 및 방법
US9349073B2 (en) Apparatus and method for image matching between multiview cameras
US10845593B2 (en) Display device for displaying virtual images
US10270957B2 (en) Method and apparatus for generating an adapted slice image from a focal stack
US8750600B2 (en) Apparatus and method for generating three-dimensional (3D) zoom image of stereo camera
US20150092030A1 (en) Display apparatus and method
KR102060880B1 (ko) 단안 카메라를 이용한 내시현미경 및 그 동작 방법
KR20160014260A (ko) 영상 렌더링 장치 및 방법
KR102465492B1 (ko) 수평적 시차와 수직적 시차를 획득하기 위한 opa를 구비한 카메라 시스템
US11733539B2 (en) Apparatus and method for displaying three-dimensional image
Lin et al. Real-time low-cost omni-directional stereo vision via bi-polar spherical cameras
KR20170031384A (ko) 광학 레이어, 이를 포함하는 디스플레이 장치 및 백라이트 유닛
US20210065404A1 (en) Image processing apparatus, image processing method, and program
KR102309976B1 (ko) 하나의 장면에 대해 서로 다른 정보를 포함하는 이미지들을 동시에 디스플레이하는 시스템 및 그 방법
KR102055410B1 (ko) 비정형적 직사각형 레이-스페이스 360 구조
KR102382206B1 (ko) Opa가 적용된 카메라 시스템 및 그 동작 방법
KR20230009031A (ko) Ocl 기반의 카메라 시스템 및 그 동작 방법
KR20220016575A (ko) 베이스라인을 증가시키기 위한 opa 구조가 적용된 카메라 시스템

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180515

PA0201 Request for examination
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190822

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190830

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190830

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220830

Start annual number: 4

End annual number: 4

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20240610