[go: up one dir, main page]

KR102412278B1 - 보색관계의 필터 어레이를 포함하는 카메라 모듈 및 그를 포함하는 전자 장치 - Google Patents

보색관계의 필터 어레이를 포함하는 카메라 모듈 및 그를 포함하는 전자 장치 Download PDF

Info

Publication number
KR102412278B1
KR102412278B1 KR1020170146917A KR20170146917A KR102412278B1 KR 102412278 B1 KR102412278 B1 KR 102412278B1 KR 1020170146917 A KR1020170146917 A KR 1020170146917A KR 20170146917 A KR20170146917 A KR 20170146917A KR 102412278 B1 KR102412278 B1 KR 102412278B1
Authority
KR
South Korea
Prior art keywords
data
light
region
filter
photodiode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020170146917A
Other languages
English (en)
Other versions
KR20190051371A (ko
Inventor
장순근
김일도
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020170146917A priority Critical patent/KR102412278B1/ko
Priority to US16/759,246 priority patent/US11558587B2/en
Priority to PCT/KR2018/008488 priority patent/WO2019088407A1/ko
Publication of KR20190051371A publication Critical patent/KR20190051371A/ko
Application granted granted Critical
Publication of KR102412278B1 publication Critical patent/KR102412278B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H04N5/2254—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/28—Interference filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 다양한 실시예에 따른 카메라 모듈은, 적어도 하나의 렌즈를 포함하는 렌즈 모듈 및 상기 렌즈 모듈과 결합된 이미지 센서 모듈을 포함하고, 상기 이미지 센서 모듈은, 마이크로 렌즈, 적어도 하나의 포토 다이오드 및 제1지정된 대역의 빛을 통과시킬 수 있는 제1필터 및 상기 제1지정된 대역에 대응하는 색상과 보색관계를 갖는 다른 색상에 대응하는 제2지정된 대역의 빛을 통과시킬 수 있는 제2필터를 포함하는 필터 어레이가 상기 마이크로 렌즈와 상기 적어도 하나의 포토 다이오드 사이에 배치될 수 있다.
그 외에 다양한 실시예들이 가능하다.

Description

보색관계의 필터 어레이를 포함하는 카메라 모듈 및 그를 포함하는 전자 장치{CAMERA MODULE INCLUDING FILTER ARRAY OF COMPLEMENTARY COLORS AND ELECTRONIC DEVICE INCLUDING THE CAMERA MODULE}
본 실시예는 카메라 모듈에 관한 것이며, 보다 상세하게는 이미지 신호를 감지하는 카메라 모듈과 상기 카메라 모듈을 포함하는 전자 장치 및 상기 카메라 모듈 및/또는 전자 장치의 이미지 데이터 생성 방법에 관한 것이다.
카메라 모듈은 이미지 센서의 단위 픽셀들을 사용하여 입사광을 감지하여 입사광에 대응하는 아날로그 신호를 생성하고, 아날로그 신호를 디지털 신호로 변환하여 외부 객체에 대한 이미지를 생성할 수 있다. 최근에는 스마트폰, 태블릿 PC 등 휴대용 전자 장치(이하, 전자 장치)의 기능이 다양화 됨에 따라, 전자 장치가 카메라 모듈을 구비하게 되었으며, 전자 장치의 카메라 모듈을 이용해 다양한 기능을 수행할 수 있다.
카메라 장치(또는 카메라 모듈을 구비한 전자 장치)가 보다 정확한 이미지를 센싱하기 위해, 이미지 센서의 감도를 향상 시킬 필요가 있다. 여기서, 이미지 센서의 감도는 이미지 센서의 노출 시간 대비 이미지 센서에서 센싱되는 광자(photon)의 수로 정의될 수 있다.
종래 기술에 따르면, 이미지 센서의 감도를 향상 시키기 위한 다양한 방법이 존재하나, 종래 기술들은 과도한 계산량으로 인해 처리 속도가 늦어지는 문제, 해상도가 낮아지거나 단위 픽셀의 크기(예: 픽셀 피치)가 증가하는 문제가 있다.
본 발명의 다양한 실시예들은 이미지 센서의 감도를 향상 시키고, 적은 계산량으로 이미지 처리가 가능한 카메라 모듈 및 전자 장치를 제공함에 그 목적이 있다.
본 발명의 다양한 실시예에 따른 카메라 모듈은, 적어도 하나의 렌즈를 포함하는 렌즈 모듈 및 상기 렌즈 모듈과 결합된 이미지 센서 모듈을 포함하고, 상기 이미지 센서 모듈은, 마이크로 렌즈, 적어도 하나의 포토 다이오드 및 제1지정된 대역의 빛을 통과시킬 수 있는 제1필터 및 상기 제1지정된 대역에 대응하는 색상과 보색관계를 갖는 다른 색상에 대응하는 제2지정된 대역의 빛을 통과시킬 수 있는 제2필터를 포함하는 필터 어레이가 상기 마이크로 렌즈와 상기 적어도 하나의 포토 다이오드 사이에 배치될 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 카메라 모듈 및 이미지 시그널 프로세서를 포함하며, 상기 카메라 모듈은, 마이크로 렌즈, 상기 마이크로 렌즈를 통과한 빛을 전기적 신호로 변환할 수 있는 적어도 하나의 포토 다이오드 및 상기 마이크로 렌즈와 상기 적어도 하나의 포토 다이오드 사이에 배치되고, 제1지정된 대역의 빛을 통과시킬 수 있는 제1필터 및 상기 제1지정된 대역에 대응하는 색상과 보색관계를 갖는 다른 색상에 대응하는 제2지정된 대역의 빛을 통과시킬 수 있는 제2필터를 포함하는 필터 어레이를 포함하며, 상기 이미지 시그널 프로세서는 상기 적어도 하나의 포토 다이오드에서 출력되는 데이터에 기반하여 이미지 데이터를 생성하도록 설정될 수 있다.
본 발명의 다양한 실시예에 따른, 카메라 모듈의 이미지 데이터 생성 방법은, 상기 카메라 모듈은 마이크로 렌즈와, 상기 마이크로 렌즈와 대응되도록 배치되는 적어도 하나의 포토 다이오드 및 상기 마이크로 렌즈와 상기 적어도 하나의 포토 다이오드 사이에 배치되는 필터 어레이를 포함하며, 상기 방법은, 상기 적어도 하나의 포토 다이오드의 제1영역에서 감지된 빛에 기초하여 제1데이터를 생성하는 동작, 상기 적어도 하나의 포토 다이오드의 제2영역에서 감지된 빛에 기초하여 제2데이터를 생성하는 동작, 상기 제1데이터 및 상기 제2데이터에 기초하여 이미지 데이터를 생성하는 동작을 포함하며, 상기 제1데이터의 색상과 상기 제2데이터의 색상은 서로 보색 관계일 수 있다.
본 발명의 다양한 실시예에 따르면, 이미지 센서의 감도를 향상 시키고, 적은 계산량으로 이미지 처리가 가능한 카메라 모듈 및 전자 장치를 제공할 수 있으며, 특히, 기존 카메라 시스템의 구성을 일부만 변화하여 상기와 같은 효과를 제공할 수 있다.
도 1은 다양한 실시예에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 다양한 실시예에 따른 카메라 모듈의 블록도이다.
도 3은 다양한 실시예에 따른 단위 픽셀을 도시한 것이다.
도 4는 다양한 실시예에 따른 렌즈 모듈, 마이크로 렌즈 및 포토 다이오드를 도시한 것이다.
도 5는 다양한 실시예에 따른 플로팅 확산 영역에 의한 포토 다이오드의 분할 영역을 도시한 것이다.
도 6a 내지 6c는 다양한 실시예에 따라 이미지 데이터를 생성하는 방법을 도시한 것이다.
도 7은 다양한 실시예에 따른 이미지 데이터의 파장 범위를 도시한 것이다.
도 8은 다양한 실시예에 따른 플로팅 확산 영역에 의한 포토 다이오드의 분할 영역을 도시한 것이다.
도 9는 다양한 실시예에 따른 플로팅 확산 영역에 의한 포토 다이오드의 분할 영역을 도시한 것이다.
도 10은 다양한 실시예에 따른 전자 장치의 블록도이다.
도 11은 다양한 실시예에 따른 전자 장치의 블록도이다.
도 12는 다양한 실시예에 따른 이미지 데이터 생성 방법의 흐름도이다.
도 13은 다양한 실시예에 따른 이미지 데이터 생성 방법의 흐름도이다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블럭도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 및 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 예를 들면, 표시 장치(160)(예: 디스플레이)에 임베디드된 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)의 경우와 같이, 일부의 구성요소들이 통합되어 구현될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 구동하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 운영되고, 추가적으로 또는 대체적으로, 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화된 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 여기서, 보조 프로세서(123)는 메인 프로세서(121)와 별개로 또는 임베디드되어 운영될 수 있다.
이런 경우, 보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 수행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부 구성 요소로서 구현될 수 있다. 메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 저장할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 저장되는 소프트웨어로서, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신하기 위한 장치로서, 예를 들면, 마이크, 마우스, 또는 키보드를 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력하기 위한 장치로서, 예를 들면, 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용되는 스피커와 전화 수신 전용으로 사용되는 리시버를 포함할 수 있다. 일실시예에 따르면, 리시버는 스피커와 일체 또는 별도로 형성될 수 있다.
표시 장치(160)는 전자 장치(101)의 사용자에게 정보를 시각적으로 제공하기 위한 장치로서, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(160)는 터치 회로(touch circuitry) 또는 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150) 를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 유선 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102)(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 내부의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 외부 전자 장치(예: 전자 장치(102))와 유선 또는 무선으로 연결할 수 있는 지정된 프로토콜을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는 HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102))를 물리적으로 연결시킬 수 있는 커넥터, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈, 이미지 센서, 이미지 시그널 프로세서, 또는 플래시를 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리하기 위한 모듈로서, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구성될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급하기 위한 장치로서, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 유선 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되는, 유선 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 그 중 해당하는 통신 모듈을 이용하여 제 1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 상술한 여러 종류의 통신 모듈(190)은 하나의 칩으로 구현되거나 또는 각각 별도의 칩으로 구현될 수 있다.
일실시예에 따르면, 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 사용자 정보를 이용하여 통신 네트워크 내에서 전자 장치(101)를 구별 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부로 송신하거나 외부로부터 수신하기 위한 하나 이상의 안테나들을 포함할 수 있다. 일시예에 따르면, 통신 모듈(190)(예: 무선 통신 모듈(192))은 통신 방식에 적합한 안테나를 통하여 신호를 외부 전자 장치로 송신하거나, 외부 전자 장치로부터 수신할 수 있다.
상기 구성요소들 중 일부 구성요소들은 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input/output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되어 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 외부 전자 장치에서 실행될 수 있다. 일실시예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 외부 전자 장치에게 요청할 수 있다. 상기 요청을 수신한 외부 전자 장치는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치 중 적어도 하나를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 명령어를 포함하는 소프트웨어(예: 프로그램(140))로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(101))를 포함할 수 있다. 상기 명령이 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
도 2는, 다양한 실시예들에 따른, 카메라 모듈(200)의 블럭도)이다.
도 2를 참조하면, 카메라 모듈(200)은 렌즈 모듈(210), 플래쉬(220), 이미지 센서 모듈(230), 이미지 스태빌라이저(240), 메모리(250)(예: 버퍼 메모리), 또는 이미지 시그널 프로세서(265)를 포함할 수 있으며, 구체적인 실시 형태에 따라 도시된 구성 중 적어도 일부가 생략 또는 치환되더라도 본 발명의 다양한 실시예들을 구현할 수 있다. 카메라 모듈(200)은 전자 장치(예: 도 1의 전자 장치(101))에 마련되어, 획득한 이미지 데이터를 프로세서(예: 도 1의 프로세서(120)) 등 전자 장치에 제공할 수 있다.
다양한 실시예에 따르면, 렌즈 모듈(210)는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있으며, 빛을 굴절 시켜 이미지 센서 모듈(230)로 입사되도록 할 수 있다. 렌즈 모듈(210)는 하나 또는 그 이상의 렌즈들을 포함할 수 있다. 일실시예에 따르면, 카메라 모듈(200)은 복수의 렌즈 모듈(210)들을 포함할 수 있다. 이런 경우, 카메라 모듈(200)은, 예를 들면, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(spherical camera)일 수 있다. 복수의 렌즈 모듈(210)들은 동일한 렌즈 속성(예: 화각, 초점 거리, 자동 초점, f 넘버(f number), 또는 광학 줌)을 갖거나, 또는 적어도 하나의 렌즈 어셈블리는 다른 렌즈 렌즈 어셈블리와 적어도 하나의 다른 렌즈 속성을 가질 수 있다. 렌즈 모듈(210)는, 예를 들면, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다.
다양한 실시예에 따르면, 플래쉬(220)는 피사체로부터 방출되는 빛을 강화하기 위하여 사용되는 광원을 방출할 수 있다. 플래쉬(220)는 하나 이상의 발광 다이오드들(예: RGB(red-green-blue) LED, white LED, infrared LED, 또는 ultraviolet LED), 또는 xenon lamp를 포함할 수 있다.
다양한 실시예에 따르면, 카메라 모듈(200)은 렌즈 모듈(210)의 전면, 후면 또는 그 사이에 마련되어, 렌즈 모듈(210)로 입사되는 빛을 통과 또는 차단 시키는 기능을 수행하는 셔터(미도시)를 포함할 수 있다. 일 실시예에 따르면, 카메라 모듈(200)은 물리적인 셔터를 구비하지 않고, 이미지 센서 모듈(230)의 센싱 값을 차단함으로써 셔터 기능을 구현할 수 있는 전자식 셔터를 포함할 수도 있다.
다양한 실시예에 따르면, 이미지 센서 모듈(230)는 피사체로부터 렌즈 모듈(210) 를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 상기 피사체에 대응하는 이미지를 획득할 수 있다. 일실시예에 따르면, 이미지 센서 모듈(230)는, 예를 들면, RGB 센서, BW(black and white) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나의 이미지 센서, 동일한 속성을 갖는 복수의 이미지 센서들, 또는 다른 속성을 갖는 복수의 이미지 센서들을 포함할 수 있다. 이미지 센서 모듈(230)에 포함된 각각의 이미지 센서는, 예를 들면, CCD(charged coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서로 구현될 수 있다.
다양한 실시예에 따르면, 이미지 센서 모듈(230)은 픽셀들을 구성하는 복수의 포토 다이오드(photodiode)(234)를 포함할 수 있다. 복수의 포토 다이오드(234)들은 광전 변환을 수행하는 동일한 종류의 소자로 마련될 수 있다. 다양한 실시예에 따르면, 복수의 포토 다이오드(234)가 하나의 단위 픽셀을 구성할 수 있는데, 예를 들어, 4개의 포토 다이오드가 하나의 단위 픽셀을 구성할 수 있으며, 이 경우 각각의 포토 다이오드는 서브 픽셀을 구성할 수 있다. 포토 다이오드들이 단위 픽셀을 구성하는 실시예에 대해서는 도 3을 통해 보다 상세히 설명하기로 한다.
다양한 실시예에 따르면, 포토 다이오드(234)는 복수의 영역(예: 제1영역 및 제2영역)으로 구분될 수 있으며, 하나의 영역으로 입력되는 빛은 인접한 다른 영역에는 감지되지 않을 수 있다.
일 실시예에 따르면, 포토 다이오드(234)는 플로팅 확산 영역이 활성화 됨에 따라 제1영역 및 제2영역으로 구분될 수 있다. 예를 들어, 포토 다이오드의 가운데에서 세로 방향으로 플로팅 확산 영역이 형성될 수 있다. 플로팅 확산 영역은 물리적으로 포토 다이오드(234)를 구분하는 것이 아닌 전기 포텐셜(electric potential)에 의해 구분된 양 영역에 빛을 차단하기 위한 것이다. 각각의 플로팅 확산 영역은 트랜지스터(미도시)와 연결되고, 이미지 센서 IC(260)(또는 전자 장치의 프로세서)는 트랜지스터에 공급되는 전압을 제어하여 플로팅 확산 영역을 활성화 할 수 있다. 플로팅 확산 영역이 활성화 되는 경우, 포토 다이오드(234)의 제1영역 및 제2영역 상호 간에는 빛의 통과가 차단되고, 그에 따라 제1영역과 제2영역에서 감지되는 빛의 세기 및/또는 값이 각각 독립적일 수 있다. 플로팅 확산 영역은 이미지 센서 IC(260) 또는 전자 장치의 프로세서의 제어 신호에 따라 활성화 또는 비활성화 될 수 있다. 플로팅 확산 영역이 활성화 되는 경우, 포토 다이오드(234)는 제1영역에서 감지한 빛에 대응하는 제1데이터 및 제2영역에서 감지한 빛에 대응하는 제2데이터를 구분하여 리드아웃 할 수 있다.
다른 일 실시예에 따르면, 포토 다이오드(234)는 금속막을 통해 제1영역 및 제2영역으로 구분될 수 있다. 여기서, 금속막은 텅스텐 등 빛의 통과를 차단할 수 있는 다양한 금속이 사용될 수 있다. 이 경우에도 포토 다이오드(234)는 제1영역에서 감지한 빛에 대응하는 제1데이터 및 제2영역에서 감지한 빛에 대응하는 제2데이터를 구분하여 리드아웃 할 수 있다. 다른 일 실시예에 따르면, 포토 다이오드(234)는 제1영역에 대응하는 포토 다이오드 및 제2영역에 대응하는 포토 다이오드, 즉 2개의 포토 다이오드를 포함할 수 있다. 이 경우, 하나의 마이크로 렌즈(232) 아래에 2개의 포토 다이오드가 배치된 구조로써, 각 포토 다이오드에서 제1데이터 및 제2데이터를 리드아웃 할 수 있다. 본 실시예에서도 포토 다이오드(234)를 구성하는 2개의 포토 다이오드 사이에 금속막이 형성될 수 있다.
다양한 실시예에 따르면, 각각의 포토 다이오드(234)에 대응되게 마이크로 렌즈(micro lens)(232)가 배치될 수 있다. 마이크로 렌즈(232)는 렌즈 모듈(210)을 통과한 빛이 대응되는 포토 다이오드(234)로 입력되도록 빛을 굴절하는 기능을 수행할 수 있다.
다양한 실시예에 따르면, 마이크로 렌즈(232)와 포토 다이오드(234) 사이에는 필터 어레이(filter array)(236)가 마련될 수 있다. 하나의 포토 다이오드(234)를 기준으로 필터 어레이(236)는 서로 다른 대역의 빛을 통과 시키는 제1필터 및 제2필터를 포함할 수 있다. 다양한 실시예에 따르면, 제1필터는 제1지정된 대역의 빛을 통과 시킬 수 있고, 제2필터는 제1지정된 대역에 대응하는 색상과 보색 관계를 갖는 다른 색상에 대응하는 제2지정된 대역의 빛을 통과시킬 수 있다. 예를 들어, 4개의 포토 다이오드(234)가 단위 픽셀(예: R 픽셀, 2개의 G 픽셀 및 B 픽셀)을 구성하는 경우, 하나의 포토 다이오드에는 가시광선 대역 중 R(red) 대역의 빛을 통과 시키는 제1필터와, R과 보색 관계에 있는 C(cyan) 대역의 빛을 통과 시키는 제2필터가 대응되게 마련되고, 2개의 포토 다이오드에는 G(green) 대역의 빛을 통과 시키는 제3필터(또는 제2 및 제3포토 다이오드의 제1필터), G와 보색 관계에 있는 M(magenta) 대역의 빛을 통과 시키는 제4필터(또는 제2 및 제3포토 다이오드의 제2필터)가 대응되게 마련되고, 나머지 하나의 포토 다이오드에는 B(blue) 대역의 빛을 통과 시키는 제5필터(또는 제4포토 다이오드의 제1필터)와, B와 보색 관계에 있는 Y(yellow) 대역의 빛을 통과 시키는 제6필터(또는 제4포토 다이오드의 제2필터)가 대응되게 마련될 수 있다. 이렇게 함으로써 이미지 센서 모듈(230)은 포토 다이오드를 통해 제 1 필터를 통과한 원색 신호와 제 2 필터를 통과한 보색 신호의 합으로 흑백 이미지 센서를 이용하지 않고도 상기 흑백 이미지 센서에서 얻을 수 있는 휘도 신호에 대응하는 휘도 데이터를 획득할 수 있다.
다양한 실시예에 따르면, 필터 어레이(236)는 제1필터 및 제2필터와, 상기 제1지정된 대역 및 제2지정된 대역보다 높은 제3지정된 대역(예: UV(ultra-violet ray) 대역)의 빛을 통과 시키는 제3필터 및 상기 제1지정된 대역 및 제2지정된 대역보다 낮은 제4지정된 대역(예: IR(infra-red ray) 대역)의 빛을 통과 시키는 제4필터를 포함할 수 있다. 본 실시예에서 포토 다이오드(234)는 플로팅 확산 영역 또는 차단막을 통해 4개의 영역으로 구분될 수 있으며, 4개의 영역 각각에 대응되도록 상기 필터 어레이의 제1필터 내지 제4필터가 배치될 수 있다. 본 실시예는 도 8 및 도 9를 통해 보다 상세히 설명하기로 한다.
다양한 실시예에 따른 마이크로 렌즈(232), 필터 어레이(236) 및 포토 다이오드(234)를 포함하는 이미지 센서 모듈(230)의 구체적인 형태 및 그에 따라 포토 다이오드(234)에서 감지할 수 있는 데이터에 대해서는 도 5a 및 5b를 통해 보다 상세히 설명하기로 한다.
다양한 실시예에 따르면, 이미지 스태빌라이저(240)는 카메라 모듈(200) 또는 이를 포함하는 전자 장치(101)의 움직임에 반응하여, 촬영되는 이미지에 대한 상기 움직임에 의한 부정적인 영향(예: 이미지 흔들림)을 적어도 일부 보상하기 위하여 렌즈 모듈(210)에 포함된 적어도 하나의 렌즈 또는 이미지 센서 모듈(230)를 특정한 방향으로 움직이거나 제어(예: 리드 아웃(read-out) 타이밍을 조정 등)할 수 있다. 일실시예에 따르면, 이미지 스태빌라이저(240)는, 예를 들면, 광학식 이미지 스태빌라이저로 구현될 수 있으며, 카메라 모듈(200)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 상기 움직임을 감지할 수 있다.
다양한 실시예에 따르면, 메모리(250)는 이미지 센서 모듈(230)을 통하여 획득된 이미지의 적어도 일부를 다음 이미지 처리 작업을 위하여 적어도 일시 저장할 수 있다. 예를 들어, 셔터에 따른 이미지 획득이 지연되거나, 또는 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 이미지(예: 높은 해상도의 이미지)는 메모리(250)에 저장이 되고, 그에 대응하는 사본 이미지(예: 낮은 해상도의 이미지)는 표시 장치(160)을 통하여 프리뷰될 수 있다. 이후, 지정된 조건이 만족되면(예: 사용자 입력 또는 시스템 명령) 메모리(250)에 저장되었던 원본 이미지의 적어도 일부가, 예를 들면, 이미지 시그널 프로세서(265)에 의해 획득되어 처리될 수 있다. 일실시예에 따르면, 메모리(250)는 메모리(130)의 적어도 일부로, 또는 이와는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.
다양한 실시예에 따르면, 이미지 센서 IC(260)는 카메라 모듈(200)의 각 구성의 제어 및 이미지 처리를 수행하는 구성으로써, 이미지 시그널 프로세서(265)를 포함할 수 있다.
다양한 실시예에 따르면, 이미지 시그널 프로세서(265)는 이미지 센서 모듈(230)을 통하여 획득된 이미지 또는 메모리(250)에 저장된 이미지에 대하여 이미지 처리(예: 깊이 지도(depth map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 또는 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정, 블러링(blurring), 샤프닝(sharpening), 또는 소프트닝(softening))을 수행할 수 있다. 추가적으로 또는 대체적으로, 이미지 시그널 프로세서(265)는 카메라 모듈(200)에 포함된 구성 요소들 중 적어도 하나(예: 이미지 센서 모듈(230))에 대한 제어(예: 노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 시그널 프로세서(265)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(250)에 다시 저장 되거나 카메라 모듈(200)의 외부 구성 요소(예: 메모리(130), 표시 장치(160), 전자 장치(102), 전자 장치(104), 또는 서버(108))로 전달될 수 있다. 일실시예에 따르면, 이미지 시그널 프로세서(265)는 프로세서(120)의 적어도 일부로 구성되거나, 프로세서(120)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 별도의 프로세서로 구성된 경우, 이미지 시그널 프로세서(265)에 의해 처리된 이미지들은 프로세서(120)에 의하여 그대로 또는 추가의 이미지 처리를 거친 후 표시 장치(160)를 통해 표시될 수 있다.
일실시예에 따르면, 전자 장치(101)는 각각 다른 속성 또는 기능을 가진 둘 이상의 카메라 모듈들을 포함할 수 있다. 이런 경우, 예를 들면, 적어도 하나의 카메라 모듈은 광각 카메라 또는 전면 카메라이고, 적어도 하나의 다른 카메라 모듈은 망원 카메라 또는 후면 카메라일 수 있다.
다양한 실시예에 따르면, 카메라 모듈(200)은 각 포토 다이오드(234)에서 출력되는 제1데이터 및 제2데이터에 기반하여 이미지 데이터를 생성할 수 있다. 예를 들어, 카메라 모듈(200)은 제1데이터 및 제2데이터를 합산하여 휘도 데이터(예: y 데이터)를 생성하고, 제1데이터에 기초하여 제1색차 데이터(예: U 데이터 또는 Cb 데이터)를 생성하고, 제2데이터에 기초하여 제2색차 데이터(예: V 데이터 또는 Cr 데이터)를 생성할 수 있다. 카메라 모듈(200)은 상기 생성된 휘도 데이터, 제1색차 데이터 및 제2색차 데이터를 합산하여 이미지 데이터를 생성할 수 있다. 카메라 모듈(200)이 제1데이터 및 제2데이터에 기반하여 이미지 데이터를 생성하는 동작에 대해서는, 도 6a 내지 6c를 통해 보다 상세히 후술하기로 한다.
다양한 실시예에 따르면, 상술한 이미지 데이터 생성 과정은 카메라 모듈(200)의 이미지 센서 IC(260)의 이미지 시그널 프로세서(265)에 의해 수행될 수 있다. 다른 실시예들에 따르면, 이미지 센서 IC(260)는 포토 다이오드(234)에서 출력되는 데이터들을 전자 장치의 프로세서(예: 도 10의 프로세서(1030))에 전송하는 기능만 수행하며, 상술한 이미지 데이터 생성 과정은 전자 장치의 프로세서에 의해 수행될 수 있다. 또 다른 실시예들에 따르면, 이미지 센서 IC(260)는 포토 다이오드(234)에서 출력되는 데이터들을 전자 장치에 마련된 별도의 컴패니언 칩(예: 도 11의 제2프로세서(1150))에 제공하고, 상술한 이미지 데이터 생성 과정은 상기 컴패니언 칩에 의해 수행될 수 있다. 또 다른 실시예들에 따르면, 상술한 이미지 데이터 생성 과정은 카메라 모듈(200)이 탑재되는 전자 장치(예: 도 10의 전자 장치(1000), 도 11의 전자 장치(1100)) 외의 외부 장치(예: 서버)에 의해 수행될 수도 있다. 즉, 본 명세서에서 설명하는 이미지 데이터 생성 과정을 수행하는 이미지 시그널 프로세서에는 제한이 없다. 상술한 실시예에 대해서는 도 10 및 도 11을 통해 보다 상세히 설명하기로 한다.
다양한 실시예에 따르면, 카메라 모듈(200)(예: 이미지 센서 IC(260))는 제1데이터 및 제2데이터에 기초하여 이미지 데이터의 화이트 밸런스(white balance)를 조정할 수 있다. 카메라 모듈(200)은 포토 다이오드(234)에서 획득한 데이터의 파장을 중심으로 샘플링하고, 샘플링 된 값에 기초하여 광원의 색 온도를 추정할 수 있다. 다양한 실시예에 따르면, 제1데이터 및 제2데이터는 서로 보색 관계일 수 있으므로(예: 제1데이터는 RGB 데이터, 제2데이터는 CMY 데이터), 카메라 모듈(200)은 총 6개 대역을 동시에 샘플링할 수 있게 되어, 광원의 색 온도 추정 정확도가 향상되고, 그에 따라 보다 정확한 화이트 밸런싱이 가능하다.
다양한 실시예에 따르면, 카메라 모듈(200)은 제2데이터(예: CMY 데이터)에 기초하여 셔터를 제어하여 이미지 센서 모듈(230)의 노출 값을 설정할 수 있다. CMY 데이터가 RGB 데이터(예: 제1데이터)보다 고감도이므로, 카메라 모듈(200)은 CMY 데이터의 감도에 맞춰서 노출 값을 설정한 후 RGB 데이터와 CMY 데이터를 합성하여, HDR(high dynamic range) 영상을 생성할 수 있다.
다양한 실시예에 따르면, 카메라 모듈(200)은 제1데이터(예: RGB 데이터)에 기초하여 셔터를 제어하여 이미지 센서 모듈(230)의 노출 값을 설정할 수 있다. 카메라 모듈(200)은 제1데이터에 따라 노출 값을 결정하고, 제2데이터의 출력이 포화되지 않도록 메모리(250)에 일부 저장하고, 다시 노광하는 구조를 통해서 RGB 데이터와 CMY 데이터를 획득할 수 있다.
도 3은 다양한 실시예에 따른 단위 픽셀을 도시한 것이다.
도 3은 제1영역 및 제2영역으로 구분되지 않은, 예를 들어, 플로팅 확산 영역이 활성화 되지 않은 경우 또는 포토 다이오드의 사이에 차단막이 형성되지 않은 경우의 단위 픽셀에 대해 도시하고 있다.
도시된 바와 같이, 이미지 센서 모듈(예: 도 2의 이미지 센서 모듈(230))은 복수의 포토 다이오드(310)(예: 도 2의 포토 다이오드(234))를 포함할 수 있다. 복수의 포토 다이오드(310) 각각에는 마이크로 렌즈(예: 도 2의 마이크로 렌즈(232))가 배치되고, 포토 다이오드와 마이크로 렌즈의 사이에 필터 어레이(예: 도 2의 필터 어레이(236))가 배치될 수 있다. 각각의 포토 다이오드와 필터 어레이가 적어도 하나의 픽셀을 구성할 수 있다.
도시된 바와 같이, 단위 픽셀은 4개의 포토 다이오드(311, 312, 313, 314)로 구성되며, 각각의 포토 다이오드(311, 312, 313, 314)에 대응되도록 R 대역의 필터, G 대역의 필터, B 대역의 필터가 배치될 수 있다. 이에 따라, 각각의 포토 다이오드(311, 312, 313, 314)는 R 신호, G 신호 또는 B 신호를 출력할 수 있다.
도 4는 다양한 실시예에 따른 렌즈 모듈, 마이크로 렌즈 및 포토 다이오드를 도시한 것이다.
도 4에서 렌즈(410)는 렌즈 모듈(예: 도 2의 렌즈 모듈(210))에 포함된 복수의 렌즈(410) 중 어느 하나일 수 있으며, 렌즈(410)를 통과한 빛은 마이크로 렌즈(420)를 통해 포토 다이오드(430)로 입력될 수 있다. 여기서, 포토 다이오드(430)는 도 3의 서브 픽셀(311, 312, 313, 314) 중 어느 하나에 대응될 수 있다.
다양한 실시예에 따르면, 포토 다이오드(430)는 2개 이상의 영역(예: 제1영역(431) 및 제2영역(432))으로 구분될 수 있다. 일 실시예에 따르면, 포토 다이오드(430)의 가운데에 플로팅 확산 영역(435)이 형성될 수 있으며, 플로팅 확산 영역(435)은 이미지 센서 IC(예: 도 3의 이미지 센서 IC(260)) 또는 전자 장치의 프로세서(예: 도 1의 프로세서(120))의 제어 신호에 따라 활성화 또는 비활성화 될 수 있다. 다른 일 실시예에 따르면, 포토 다이오드(430)의 가운데에 빛을 차단하기 위한 차단막이 형성될 수 있다. 다른 일 실시예에 따르면, 포토 다이오드(430)는 제1영역(431)에 대응하는 포토 다이오드와 제2영역(432)에 대응하는 다른 포토 다이오드를 포함할 수 있다. 즉, 포토 다이오드(430)는 2개의 포토 다이오드를 결합하여 형성될 수 있다.
다양한 실시예에 따르면, 각각의 포토 다이오드(430)와 마이크로 렌즈(420) 사이에는 제1필터(441) 및 제2필터(442)를 포함하는 필터 어레이(440)가 배치될 수 있다.
일 실시예에 따르면, 플로팅 확산 영역(435)이 활성화 되는 경우, 렌즈(410)의 우측 영역(414)의 빛은 마이크로 렌즈(410)를 통해 굴절되어 제1필터(441)를 통과한 후 포토 다이오드(430)의 제1영역(431)에 입력되고, 렌즈(410)의 좌측 영역(412)의 빛은 마이크로 렌즈(410)를 통해 굴절되어 제2필터(442)를 통과한 후 포토 다이오드(430)의 제2영역(432)에 입력될 수 있다.
다양한 실시예에 따르면, 제1필터(441)는 제1지정된 대역의 빛을 통과하도록 구성되고, 제2필터(442)는 제1지정된 대역과 보색 관계에 있는 제2지정된 대역의 빛을 통과하도록 구성될 수 있다. 예를 들어, 제1포토 다이오드에 대응되는 필터 어레이는 R(red) 대역의 빛을 통과 시키는 제1필터(441)와, R과 보색 관계에 있는 C(cyan) 대역의 빛을 통과 시키는 제2필터(442)를 포함할 수 있다. 또한, 제2포토 다이오드(예: 도 3의 312) 및 제3포토 다이오드(예: 도 3의 313)에 대응되는 필터 어레이는 G(green) 대역의 빛을 통과 시키는 제3필터와, G와 보색 관계에 있는 M(magenta) 대역의 빛을 통과 시키는 제4필터를 포함하며, 제4포토 다이오드(예: 도 3의 314)에 대응되는 필터 어레이는 B(blue) 대역의 빛을 통과 시키는 제5필터와, B와 보색 관계에 있는 Y(yellow) 대역의 빛을 통과 시키는 제6필터를 포함할 수 있다.
도 5는 다양한 실시예에 따른 플로팅 확산 영역에 의한 포토 다이오드의 분할 영역을 도시한 것이다.
도 5와 같이 이미지 센서 모듈이 구성됨에 따라, 단위 픽셀(550)을 구성하는 4개의 포토 다이오드는 RGB 데이터(또는 제1데이터) 및 RGB 데이터와 보색 관계의 CMY 데이터(또는 제2데이터)를 각각 출력할 수 있다. 다시 말하면, 제1포토 다이오드(551)는 R 데이터(551a)와 C 데이터(551b)를 구분하여 리드아웃 하고, 제2포토 다이오드(552) 및 제3포토 다이오드(553)는 G 데이터(552a, 553a)와 M 데이터(552b, 553b)를 구분하여 리드아웃 하고, 제4포토 다이오드(554)는 B 데이터(554a와 Y 데이터(554b)를 구분하여 리드아웃할 수 있다.
이미지 센서 IC(예: 도 3의 이미지 센서 IC(340))는 각 포토 다이오드(551, 552, 553, 554)에서 플로팅 확산 영역을 기준으로 분리된 제1영역 및 제2영역에서 출력되는 제1데이터(예: RGB 데이터)(551a, 552a, 553a, 554a) 및 제2데이터(예: CMY 데이터)(예: 551b, 552b, 553b, 554b)를 구분하여 리드아웃할 수 있다.
도 6a 내지 6c는 다양한 실시예에 따라 이미지 데이터를 생성하는 방법을 도시한 것이다.
이하에서는, 도시된 이미지 데이터를 생성하는 방법이 카메라 모듈의 이미지 센서 IC(예: 도 2의 이미지 센서 IC(260))에서 수행되는 것으로 설명하나, 이에 한정되지는 않는다. 예를 들어, 다른 실시예들에 따르면, 카메라 모듈의 이미지 센서 IC는 포토 다이오드에서 출력되는 데이터들을 전자 장치의 프로세서(예: 도 1의 프로세서(120))에 전송하는 기능만 수행하며, 도시된 이미지 데이터 생성 과정은 상기 전자 장치의 프로세서에 의해 수행될 수 있다. 또 다른 실시예들에 따르면, 이미지 센서 IC는 포토 다이오드에서 출력되는 데이터들을 전자 장치에 마련된 별도의 컴패니언 칩(companion chip)(또는 제2프로세서)에 제공하고, 상술한 이미지 데이터 생성 과정은 상기 컴패니언 칩에 의해 수행될 수 있다. 또 다른 실시예들에 따르면, 상술한 이미지 데이터 생성 과정은 카메라 모듈(200)이 탑재되는 전자 장치(예: 도 10의 전자 장치(1000), 도 11의 전자 장치(1100)) 외의 외부 장치(예: 서버)에 의해 수행될 수도 있다.
다양한 실시예에 따르면, 이미지 시그널 프로세서는 추가적인 계산 과정 없이 보색 관계에 있는 제1데이터와 제2데이터를 간단한 연산을 통해 휘도 데이터와 색차 데이터를 포함하는 이미지 데이터를 생성할 수 있다. 이미지 데이터는 JPEG 데이터를 예로 들 수 있으며, JPEG 데이터는 yUV 또는 yCbCr 데이터일 수 있다.
도 6a는 단위 픽셀을 구성하는 4개의 포토 다이오드에서 센싱할 수 있는 컬러 데이터를 도시하고 있다. 도 6a는 플로팅 확산 영역 또는 차단막이 각 포토 다이오드의 세로 방향의 가운데로 형성되는 것을 예시하고 있으나, 플로팅 확산 영역 또는 차단막의 수 및 그 위치는 이에 한정되지 않는다.
다양한 실시예에 따르면, 이미지 시그널 프로세서는 각 포토 다이오드에서 출력되는 제1데이터 및 제2데이터를 획득할 수 있다. 도 6a에 도시된 바와 같이, 단위 픽셀 데이터는 제1데이터(예: RGB 데이터)(611a, 612a, 613a, 614a) 및 제2데이터(예: CMY 데이터)(611b, 612b, 613b, 614b)를 포함할 수 있다.
다양한 실시예에 따르면, 이미지 시그널 프로세서는 제1데이터 및 제2데이터를 합산하여 휘도 데이터(620)를 생성할 수 있다. 예를 들어, 이미지 시그널 프로세서는 제1포토 다이오드의 R 데이터(611a)와 C 데이터(611b)를 합산하여 제1서브 픽셀의 휘도 데이터(y1)(621)을 생성하고, 제2포토 다이오드의 G 데이터(612a)와 M 데이터(612b)를 합산하여 제2서브 픽셀의 휘도 데이터(y2)(622)를 생성하고, 제3포토 다이오드의 G 데이터(613a)와 M 데이터(613b)를 합산하여 제3서브 픽셀의 휘도 데이터(y3)(623)를 생성하고, 제4포토 다이오드의 B 데이터(614a)와 Y 데이터(614b)를 합산하여 제4서브 픽셀의 휘도 데이터(y4)(624)를 생성할 수 있다.
보색 관계에 있는 컬러 데이터를 합산하면 RGB 값이 동일한 값을 가지는 모노 데이터(mono data)가 되므로, 이미지 시그널 프로세서는 별도의 모노 필터를 구비하지 않고도 단순한 합산 계산을 통해서 휘도 데이터를 획득할 수 있다.
도 6b는 제1데이터 및 제2데이터로부터 색차 데이터를 획득하는 과정을 도시하고 있다.
이미지 시그널 프로세서(예: 도 2의 이미지 시그널 프로세서(265))는 제1데이터(631)로부터 각 서브 픽셀의 RGB 데이터(641)를 생성할 수 있다. 이 때, 인접하는 서브 픽셀의 RGB 데이터를 이용하여 보간법(interpolation)을 통해 각 서브 픽셀의 RGB 데이터(641)를 생성할 수 있다. 예를 들어, 제1서브 픽셀의 R 데이터, 제1서브 픽셀의 상/하/좌/우의 서브 픽셀의 G 데이터의 평균 값 및 제1서브 픽셀의 좌상/우상/좌하/우하의 서브 픽셀의 B 데이터의 평균 값으로 제1서브 픽셀의 RGB 데이터(R1G1B1)(641a)를 생성할 수 있다. 또한, 제2서브 픽셀의 경우, 제2서브 픽셀의 좌/우 서브 픽셀의 R 데이터의 평균 값, 제2서브 픽셀의 G 데이터, 제2서브 픽셀의 상/하 서브 픽셀의 B 데이터의 평균 값으로 제2서브 픽셀의 RGB 데이터(R2G2B2)(641b)를 생성할 수 있다.
또한, 이미지 시그널 프로세서는 제2데이터(632)로부터 각 서브 픽셀의 CMY 데이터(642)를 생성할 수 있다. 각 서브 픽셀의 CMY 데이터를 생성하는 방법은 각 서브 픽셀의 RGB 데이터를 생성하는 방법과 동일할 수 있다. 예를 들어, 제1서브 픽셀의 C 데이터, 제1서브 픽셀의 상/하/좌/우의 서브 픽셀의 M 데이터의 평균 값 및 제1서브 픽셀의 좌상/우상/좌하/우하의 서브 픽셀의 Y 데이터의 평균 값으로 제1서브 픽셀의 CMY 데이터(C1M1Y1)(642a)를 생성할 수 있다. 또한, 제2서브 픽셀의 경우, 제2서브 픽셀의 좌/우 서브 픽셀의 C 데이터의 평균 값, 제2서브 픽셀의 M 데이터, 제2서브 픽셀의 상/하 서브 픽셀의 Y 데이터의 평균 값으로 제2서브 픽셀의 CMY 데이터(C2M2Y2)(642)를 생성할 수 있다.
이미지 시그널 프로세서는 획득된 단위 픽셀의 RGB 데이터에 기초하여 제1색차 데이터(651, 652)를 생성할 수 있다. 여기서, 제1색차 데이터는 U 데이터(또는 Cb 데이터)(651)과 V 데이터(또는 Cr 데이터)(652)를 포함할 수 있다. U데이터(651)는 RGB 데이터(641)의 각 서브 픽셀(641a, 641b, 641c, 641d)에서 G 값과 R 값의 차이를 통해 얻어질 수 있다. 예를 들어, 이미지 시그널 프로세서는 RGB 데이터(641)의 제1서브 픽셀(641a)의 G 값과 R 값의 차이(G1-R1)을 계산하여 제1서브 픽셀의 U 데이터(651a)를 획득하고, 제2서브 픽셀(641b)의 G 값과 R 값의 차이(G2-R2)을 계산하여 제2서브 픽셀의 U 데이터(651b)를 획득할 수 있다. 또한, V 데이터(652)는 RGB 데이터(641)의 각 서브 픽셀(641a, 641b, 641c, 641d)에서 G 값과 B 값의 차이를 통해 얻어질 수 있다. 예를 들어, 이미지 시그널 프로세서는 RGB 데이터(641)의 제1서브 픽셀(641a)의 G 값과 B 값의 차이(G1-B1)을 계산하여 제1서브 픽셀의 V 데이터(652a)를 획득하고, 제2서브 픽셀(641b)의 G 값과 B 값의 차이(G2-B2)을 계산하여 제2서브 픽셀의 V 데이터(652b)를 획득할 수 있다.
이미지 시그널 프로세서는 획득된 단위 픽셀의 CMY 데이터(642)에 기초하여 제2색차 데이터(653, 654)를 생성할 수 있다. 여기서, 제2색차 데이터는 U 데이터(또는 Cb 데이터)(653)과 V 데이터(또는 Cr 데이터)(654)를 포함할 수 있다. U 데이터(653)는 CMY 데이터(642)의 각 서브 픽셀(642a, 632b, 642c, 642d)에서 C 값과 M 값의 차이를 통해 얻어질 수 있다. 예를 들어, 이미지 시그널 프로세서는 CMY 데이터(642)의 제1서브 픽셀(642a)의 C 값과 M 값의 차이(C1-M1)을 계산하여 제1서브 픽셀의 U 데이터(653a)를 획득하고, 제2서브 픽셀(642b)의 C 값과 M 값의 차이(C2-M2)을 계산하여 제2서브 픽셀의 U 데이터(653b)를 획득할 수 있다. 또한, V 데이터(654)는 CMY 데이터(642)의 각 서브 픽셀(642a, 632b, 642c, 642d)에서 Y 값과 M 값의 차이를 통해 얻어질 수 있다. 예를 들어, 이미지 시그널 프로세서는 CMY 데이터(642)의 제1서브 픽셀(642a)의 Y 값과 M 값의 차이(Y1-M1)을 계산하여 제1서브 픽셀의 V 데이터(654a)를 획득하고, 제2서브 픽셀(642b)의 Y 값과 M 값의 차이(Y2-M2)을 계산하여 제2서브 픽셀의 V 데이터(654b)를 획득할 수 있다.
이미지 시그널 프로세서는 제1색차 데이터의 U 데이터(651)와 제2색차 데이터의 U 데이터(653)를 합산할 수 있다. 앞서 설명한 대로, 제1색차 데이터의 U 데이터(651)는 RGB 데이터(641)의 각 서브 픽셀의 G 값과 R 값의 차이를 구한 것이고, 제2색차 데이터의 U 데이터(653)는 CMY 데이터(642)의 각 서브 픽셀의 C 값과 M 값의 차이를 구한 것이다. 보색 관계를 고려할 때, C=G+B / M=R+B 이고, C-M=(G+B)-(R+B)=G-R 로 계산되므로 제1색차 데이터와 제2색차 데이터의 U 데이터는 같은 컬러 성분일 수 있다.
마찬가지로, 이미지 시그널 프로세서는 제1색차 데이터의 V 데이터(652)와 제2색차 데이터의 V 데이터(654)를 합산할 수 있다. 제1색차 데이터의 V 데이터(652)는 RGB 데이터(641)의 각 서브 픽셀의 G 값과 B 값의 차이를 구한 것이고, 제2색차 데이터의 V 데이터(654)는 CMY 데이터(642)의 각 서브 픽셀의 Y 값과 M 값의 차이를 구한 것이다. 보색 관계를 고려할 때, Y=R+G / M=R+B이고, Y-M=(R+G)-(R+B)=G-B 로 계산되므로, 제1색차 데이터와 제2색차 데이터의 V 데이터는 같은 컬러 성분일 수 있다.
도 6c는 도 6a의 과정을 통해 획득한 휘도 데이터 및 도 6b의 과정을 통해 획득한 색차 데이터를 합산하여 이미지 데이터를 획득하는 과정을 도시하고 있다.
이미지 시그널 프로세서는 계산된 휘도 데이터(620)와, 제1색차 데이터(661) 및 제2색차 데이터(662)를 합산하여 이미지 데이터(670)를 생성할 수 있다. 도시된 바와 같이, 이미지 데이터(670)는 yUV 데이터(또는 yCbCr 데이터)일 수 있다.
다양한 실시예에 따르면, 이미지 시그널 프로세서는 도 6a 내지 6c에서 설명한 바와 같은 과정을 통해, 마이크로 렌즈 밑에 하나의 픽셀만 있는 기존의 이미지 센서와 동일한 결과를 얻게 된다. 이미지 시그널 프로세서는 상기와 같이 생성된 휘도 데이터 및 색차 데이터를 출력할 수 있으며, 베이어 패턴 화하여 베이어 데이터를 출력할 수도 있다. 이 경우, 이미지 시그널 프로세서 이후의 처리 단은 기존의 방식을 그대로 유지할 수 있게 되므로, 이미지 데이터를 얻는 전자 장치의 프로세서 등은 별도로 설계를 변경하거나 추가적인 계산 없이 이미지 데이터를 획득할 수 있다.
도 7은 다양한 실시예에 따른 이미지 데이터의 파장 범위를 도시한 것이다.
다양한 실시예에 따르면, 이미지 시그널 프로세서(도 2의 이미지 시그널 프로세서(265))는 단위 픽셀의 포토 다이오드들로부터 RGB 데이터(또는 제1데이터) 및 CMY 데이터(제2데이터)를 획득할 수 있다. 도 7의 좌측은 RGB 데이터의 파장 범위를 도시한 것이고, 우측은 CMY 데이터의 파장 범위를 도시하고 있다.
도시된 바와 같이, CMY 데이터의 각 성분의 파장 범위가 RGB 데이터의 각 성분의 파장 범위보다 넓기 때문에, CMY 데이터의 감도가 약 2배 높을 수 있다. 이와 같은 감도 차이를 고려하여, 카메라 모듈을 다양한 방식으로 설계할 수 있다.
제1실시예로써, RGB를 투과하는 필터와 CMY를 투과하는 필터의 투과율을 동일하게 하여 2배의 감도 차이가 발생하도록 이미지 센서를 설계할 수 있다. 본 실시예에서, 밝은 장면에서는 CMY가 먼저 포화되므로, 카메라 모듈은 CMY 데이터에 따라 자동 노출(auto exposure)을 조정할 수 있다. 이 경우, RGB 데이터는 CMY 데이터보다 광량이 절반인 데이터이므로, RGB 데이터와 CMY 데이터를 합성하면, 1stop의 HDR 이미지를 구현할 수 있고, 고감도의 CMY 데이터에 따라 자동 노출을 조정하므로 기존 RGB 데이터를 사용한 카메라 모듈보다 셔터 스피드를 절반으로 구동할 수 있으므로, 움직이는 피사체의 합성 시 합성 에러가 적다는 장점이 있다. 또한, 어두운 장면에서는 광량이 작으므로, RGB 데이터를 중심으로 자동 노출을 조정할 수 있고, 이 경우 CMY 데이터의 감도가 좋기 때문에 이미지 데이터 상에서 어두운 부분을 구현해 낼 수 있다.
제2실시예로써, CMY를 투과하는 필터의 투과율을 조절하여, RGB의 투과 감도와 동일하도록 이미지 센서를 설계할 수 있다. 이 경우, 화이트 밸런싱 시 장점이 있으며, 기존 카메라 모듈의 기능을 그대로 보장할 수 있는 장점이 있다.
제3실시예로써, 글로벌 셔터에서 적용되는 스토리지 다이오드를 CMY 픽셀에 배치하여, RGB 를 기준으로 자동 노출을 제어하면서, CMY를 한번에 읽어 스토리지 다이오드에 저장하도록 설계할 수 있다. 이 경우에도 기존 카메라 모듈의 기능을 그대로 보장할 수 있는 장점이 있다.
다양한 실시예에 따르면, 이미지 시그널 프로세서는 제1데이터 및 제2데이터에 기초하여 이미지 데이터의 화이트 밸런스를 조정할 수 있다. 카메라 모듈은 포토 다이오드에서 획득한 데이터의 파장을 중심으로 샘플링하고, 샘플링 된 값에 기초하여 광원의 색 온도를 추정할 수 있다. 다양한 실시예에 따르면, RGB 데이터와 CMY 데이터는 서로 보색 관계로써, 각각 3개의 파장 대역을 포함하므로, 이미지 시그널 프로세서는 총 6개 대역을 샘플링할 수 있다. 이에 따라, 화이트 밸런싱을 수행할 때 6개 대역을 사용하는 결과, 광원의 색 온도 추정의 정확도가 향상될 수 있으므로, 보다 정확한 화이트 밸런싱이 가능하다.
도 8은 다양한 실시예에 따른 플로팅 확산 영역 또는 차단막에 의한 포토 다이오드의 분할 영역을 도시한 것이다.
다양한 실시예에 따르면, 포토 다이오드는 플로팅 확산 영역 또는 차단막에 의해 복수의 영역으로 구분될 수 있다. 이하에서는, 플로팅 확산 영역을 통해 포토 다이오드가 복수의 영역으로 구분되는 것을 예로 들어 설명하기로 한다.
다양한 실시예에 따르면, 포토 다이오드는 제1플로팅 확산 영역 및 제2플로팅 확산 영역을 통해 4개의 영역(예: 811a, 811b, 811c, 811d)으로 구분될 수 있다. 본 실시예에 따르면, 각 포토 다이오드에 대응되는 필터 어레이는 포토 다이오드의 제1영역 내지 제4영역 각각에 대응하는 제1필터 내지 제4필터를 포함할 수 있다. 예를 들어, 단위 픽셀을 구성하는 제1포토 다이오드의 제1영역(811a) 및 제3영역(811c)에는 각각 R 대역을 통과 시키는 제1필터 및 제3필터가 배치되고, 제2영역(811b) 및 제4영역(811d)에는 각각 C 대역을 통과 시키는 제2필터 및 제4필터가 배치될 수 있다. 마찬가지로, 제2포토 다이오드의 제1영역(812a) 및 제3영역(812c)에는 각각 G 대역을 통과 시키는 제1필터 및 제3필터가 배치되고, 제2영역(812b) 및 제4영역(812d)에는 각각 M 대역을 통과 시키는 제2필터 및 제4필터가 배치될 수 있다.
각각의 포토 다이오드는 제1영역 내지 제4영역에서 획득된 제1데이터 내지 제4데이터(820, 830, 840, 850)를 독립적으로 리드아웃할 수 있으며, 그에 따라 이미지 시그널 프로세서는 각 포토 다이오드로부터 출력된 제1데이터 및 제4데이터(820, 830, 840, 850)를 통해 4개의 데이터를 생성할 수 있다. 이미지 시그널 프로세서는 획득된 데이터들을 기반으로 앞서 도 6a 내지 6c에서 설명한 방법을 통해 휘도 데이터 및 색차 데이터를 생성하고, 이미지 데이터를 생성할 수 있다.
본 실시예에 따르면, 2개의 플로팅 확산 영역을 통해 포토 다이오드를 4개의 영역으로 구분할 수 있으며, 수평 및 수직 방향 모두에 대해서 phase AF(auto focusing)이 가능하므로, 기존 AF 성능을 보다 개선할 수 있는 효과가 있다.
도 9는 다양한 실시예에 따른 플로팅 확산 영역에 의한 포토 다이오드의 분할 영역을 도시한 것이다.
다양한 실시예에 따르면, 포토 다이오드는 제1플로팅 확산 영역 및 제2플로팅 확산 영역을 통해 4개의 영역(예: 911a, 911b, 911c, 911d)으로 구분될 수 있으며, 각 포토 다이오드에 대응되는 필터 어레이는 포토 다이오드의 제1영역 내지 제4영역 각각에 대응하는 제1필터 내지 제4필터를 포함할 수 있다.
본 실시예에서, 적어도 하나의 포토 다이오드의 일부 필터는 가시광 대역 외의 빛을 통과하도록 구성될 수 있다. 예를 들어, 적어도 하나의 포토 다이오드에 대응되는 필터 어레이는 제1지정된 대역(예: R 대역) 및 제2지정된 대역(예: B 대역)보다 높은 제3지정된 대역(예: UV(ultra-violet ray) 대역)의 빛을 통과 시키는 제3필터 및 상기 제1지정된 대역 및 제2지정된 대역보다 낮은 제4지정된 대역(예: IR(infra-red ray) 대역)의 빛을 통과 시키는 제4필터를 포함할 수 있다.
도 9를 참고 하면, 제3서브 픽셀의 제1영역(913a) 및 제3영역(913c)에는 각각 G 대역의 빛을 통과 시키는 필터가 배치하고, 제2영역(913b)에는 UV 대역의 빛을 통과 시키는 제3필터가 배치되고, 제4영역(913d)에는 IR 대역의 빛을 통과 시키는 제4필터가 배치될 수 있다.
이 경우, 포토 다이오드로부터 출력되는 제3데이터(940)는 제3서브 픽셀에 UV 데이터(940c)를 포함하고, 제4데이터(950)는 제3서브 픽셀에 IR 데이터(950c)를 포함할 수 있다.
본 실시예에 따르면, 카메라 모듈은 RGB와 CMY 외에 UV 대역 및 IR 대역까지 총 8개 대역의 데이터를 획득할 수 있으므로, 화이트 밸런싱 및 AF의 성능을 보다 향상 시킬 수 있다.
본 발명의 다양한 실시예에 따른 카메라 모듈(200)은, 적어도 하나의 렌즈를 포함하는 렌즈 모듈(210) 및 상기 렌즈 모듈(210)과 결합된 이미지 센서 모듈(230)을 포함하고, 상기 이미지 센서 모듈(230)은, 마이크로 렌즈(232), 적어도 하나의 포토 다이오드(234) 및 제1지정된 대역의 빛을 통과시킬 수 있는 제1필터 및 상기 제1지정된 대역에 대응하는 색상과 보색관계를 갖는 다른 색상에 대응하는 제2지정된 대역의 빛을 통과시킬 수 있는 제2필터를 포함하는 필터 어레이(236)가 상기 마이크로 렌즈(232)와 상기 적어도 하나의 포토 다이오드(234) 사이에 배치될 수 있다.
다양한 실시예에 따르면, 상기 적어도 하나의 포토 다이오드(234)는 상기 제1필터를 통과한 빛을 감지하는 제1영역 및 상기 제2필터를 통과한 빛을 감지하는 제2영역을 포함할 수 있다.
다양한 실시예에 따르면, 상기 적어도 하나의 포토 다이오드(234)는 상기 제1영역에서 감지된 빛에 대응하는 제1데이터를 획득하고, 상기 제2영역에서 감지된 빛에 대응하는 제2데이터를 획득 하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 제1데이터 및 상기 제2데이터를 수신하도록 설정된 이미지 시그널 프로세서(265)를 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 이미지 시그널 프로세서(265)는, 상기 제1데이터 및 상기 제2데이터를 합산하여 휘도 데이터를 생성하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 이미지 시그널 프로세서(265)는, 상기 제1데이터에 기초하여 제1색차 데이터를 생성하고, 상기 제2데이터에 기초하여 제2색차 데이터를 생성하고, 상기 제1색차 데이터 및 상기 제2색차 데이터를 합산하여 제3색차 데이터를 생성하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 이미지 시그널 프로세서(265)는 상기 생성된 휘도 데이터 및 상기 제3색차 데이터에 기초하여 이미지 데이터를 생성하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 이미지 시그널 프로세서(265)는 인터페이스를 통해 상기 제1데이터 및 상기 제2데이터를 카메라 모듈(200) 외부의 프로세서로 전송하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 이미지 시그널 프로세서(265)는 상기 제1데이터 및 상기 제2데이터에 기초하여 상기 이미지 데이터의 화이트 밸런스를 조정하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 필터 어레이(236)는 상기 제1지정된 대역 및 상기 제2지정된 대역보다 높은 제3지정된 대역의 빛을 통과시킬 수 있는 제3필터 및 상기 제1지정된 대역 및 상기 제2지정된 대역보다 낮은 제4지정된 대역의 빛을 통과시킬 수 있는 제4필터를 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 이미지 센서 모듈(230)은, 복수의 포토 다이오드(234)들 및 상기 복수의 포토 다이오드(234) 각각에 대응하는 복수의 필터 어레이(236)들을 포함하며, 상기 복수의 포토 다이오드(234)들 및 복수의 필터 어레이(236)들이 적어도 하나의 픽셀을 구성하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 적어도 하나의 포토 다이오드(234)는, 플로팅 확산 영역이 활성화 됨에 따라 상기 제1영역 및 상기 제2영역으로 구분되거나, 또는 금속막을 통해 상기 제1영역 및 상기 제2영역으로 구분될 수 있다.
도 10은 다양한 실시예에 따른 전자 장치의 블록도이다.
도시된 바와 같이, 전자 장치(1000)는 카메라 모듈(1010), 디스플레이(1020), 프로세서(1030) 및 메모리(1040)를 포함할 수 있으며, 필요에 따라 도시된 구성 중 적어도 일부가 생략 또는 치환되더라도 본 발명의 다양한 실시예들을 구현할 수 있다. 전자 장치(1000)는 도 1의 전자 장치(101)의 구성 및/또는 기능 중 적어도 일부를 더 포함할 수 있다.
이하에서는 전자 장치(1000)의 다양한 기능 중 카메라 모듈(1010)에서 획득한 이미지 데이터를 처리하는 기능에 대해 설명하기로 하며, 앞서 도 1 내지 도 9를 통해 설명한 바 있는 기술적 특징에 대해서는 그 설명을 생략하기로 한다.
디스플레이(1020)는 영상을 표시하기 위한 구성으로써, 액정 디스플레이(liquid crystal display(LCD)), 발광 다이오드(light-emitting diode(LED)) 디스플레이, 유기 발광 다이오드(organic light-emitting diode(OLED)) 등으로 구현될 수 있다. 디스플레이(1020)는 도 1의 표시 장치(160)의 구성 및/또는 기능 중 적어도 일부를 포함할 수 있다.
메모리(1040)는 휘발성 메모리(예: 도 1의 휘발성 메모리(132)) 및/또는 비휘발성 메모리(예: 도 1의 비휘발성 메모리(134))를 포함하며, 프로세서(310)와 전기적으로 연결될 수 있다. 메모리(1040)는 프로세서(1030)에서 수행될 수 있는 다양한 인스트럭션(instruction)들을 저장할 수 있다. 이와 같은 인스트럭션들은 제어 회로에 의해 인식될 수 있는 산술 및 논리 연산, 데이터 이동, 입출력 등의 제어 명령을 포함할 수 있다. 또한, 메모리(1040)는 도 1의 프로그램(140) 중 적어도 일부를 저장할 수 있다.
프로세서(1030)는 전자 장치(1000)의 각 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있는 구성으로써, 도 1의 프로세서(120)의 구성 및/또는 기능 중 적어도 일부를 포함할 수 있다. 프로세서(1030)는 전자 장치(1000)의 각 구성(예: 메모리(1040), 디스플레이(1020), 카메라 모듈(1010), 디스플레이(1020) 등)과 전기적으로 연결될 수 있다.
카메라 모듈(1010)은 이미지 센서 모듈(1012) 및 이미지 센서 IC(1014)를 포함할 수 있다.
이미지 센서 모듈(1012)은 픽셀들을 구성하는 복수의 포토 다이오드, 각각의 포토 다이오드에 대응되게 배치되는 마이크로 렌즈 및 상기 포토 다이오드와 마이크로 렌즈 사이에 배치되는 필터 어레이를 포함할 수 있다. 필터 어레이는 제1지정된 대역의 빛을 통과시킬 수 있는 제1필터 및 제1지정된 대역에 대응하는 색상과 보색관계를 갖는 다른 색상에 대응하는 제2지정된 대역의 빛을 통과시킬 수 있는 제2필터를 포함할 수 있다.
포토 다이오드는 플로팅 확산 영역이 활성화 됨에 따라 제1영역 및 제2영역으로 설정되고, 포토 다이오드는 제1필터를 통과한 빛을 제1영역에서 감지하여 제1데이터를 출력하고, 제2필터를 통과한 빛을 제2영역에서 감지하여 제2데이터를 출력할 수 있다.
다양한 실시예에 따르면, 이미지 센서 IC(1014)는 포토 다이오드에서 출력되는 제1데이터 및 제2데이터에 기초하여 이미지 데이터를 생성할 수 있다. 이미지 센서 IC(1014)가 이미지 데이터를 생성하는 동작에 대해서는 앞서 도 6a 내지 6c를 통해 설명한 바 있다.
다른 실시예들에 따르면, 이미지 센서 IC(1014)는 포토 다이오드에서 출력되는 데이터(예: 제1데이터 및 제2데이터)들을 프로세서(1030)에 출력하고, 프로세서(1030)는 이미지 센서 IC(1014)로부터 출력되는 데이터를 처리하여 이미지 데이터를 생성할 수 있다. 이미지 센서 IC(1014)와 프로세서(1030)는 공지의 인터페이스(예: MIPI (mobile industry processor interface))를 통해 연결될 수 있다. 또한, 프로세서(1030)는 앞서 도 2 내지 도 9를 통해 설명한 이미지 센서 IC(1014)의 동작 중 적어도 일부를 수행할 수 있다.
도 11은 다양한 실시예에 따른 전자 장치의 블록도이다.
도시된 바와 같이, 전자 장치(1100)는 카메라 모듈(1110), 디스플레이(1120), 제1프로세서(1130), 제2프로세서(1150) 및 메모리를 포함할 수 있다. 카메라 모듈(1110), 디스플레이(1120) 및 메모리(1140)는 도 10의 카메라 모듈(1010), 디스플레이(1020) 및 메모리(1040)의 구성과 동일할 수 있다. 또한, 제1프로세서(1130)는 도 10의 프로세서(1030)의 구성과 동일할 수 있다.
전자 장치(1100)는 카메라 모듈(1110) 및 제1프로세서(1130)의 사이에 마련되는 제2프로세서(1150)를 포함할 수 있다. 제2프로세서(1150)는 제1프로세서(1130)의 기능 중 적어도 일부를 수행할 수 있는 별도의 칩(예: 컴패니언 칩)으로 마련될 수 있다. 다양한 실시예에 따르면, 이미지 센서 IC(1114)는 포토 다이오드에서 출력되는 데이터(예: 제1데이터 및 제2데이터)들을 제2프로세서(1150)에 출력하고, 제2프로세서(1150)는 이미지 센서 IC(1114)로부터 출력되는 데이터를 처리하여 이미지 데이터를 생성할 수 있다. 제2프로세서(1150)는 생성한 이미지 데이터를 제1프로세서(1130)에 출력할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치(1000)는, 카메라 모듈(1010) 및 이미지 시그널 프로세서(예: 프로세서(1030))를 포함하며, 상기 카메라 모듈(1010)은, 마이크로 렌즈(232), 상기 마이크로 렌즈(232)를 통과한 빛을 전기적 신호로 변환할 수 있는 적어도 하나의 포토 다이오드(234) 및 상기 마이크로 렌즈(232)와 상기 적어도 하나의 포토 다이오드(234) 사이에 배치되고, 제1지정된 대역의 빛을 통과시킬 수 있는 제1필터 및 상기 제1지정된 대역에 대응하는 색상과 보색관계를 갖는 다른 색상에 대응하는 제2지정된 대역의 빛을 통과시킬 수 있는 제2필터를 포함하는 필터 어레이(236)를 포함하며, 상기 이미지 시그널 프로세서는 상기 적어도 하나의 포토 다이오드(234)에서 출력되는 데이터에 기반하여 이미지 데이터를 생성하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 적어도 하나의 포토 다이오드(234)는 상기 제1필터를 통과한 빛을 감지하는 제1영역 및 상기 제2필터를 통과한 빛을 감지하는 제2영역을 포함할 수 있다.
다양한 실시예에 따르면, 상기 적어도 하나의 포토 다이오드(234)는 상기 제1영역에서 감지된 빛에 대응하는 제1데이터를 획득하고, 상기 제2영역에서 감지된 빛에 대응하는 제2데이터를 획득 하도록 설정되고, 상기 이미지 시그널 프로세서는 상기 제1데이터 및 상기 제2데이터에 기초하여 상기 이미지 데이터를 생성하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 이미지 시그널 프로세서는, 상기 제1데이터 및 상기 제2데이터를 합산하여 휘도 데이터를 생성하고, 상기 제1데이터에 기초하여 제1색차 데이터를 생성하고, 상기 제2데이터에 기초하여 제2색차 데이터를 생성하고, 상기 제1색차 데이터 및 상기 제2색차 데이터를 합산하여 제3색차 데이터를 생성하고, 및 상기 생성된 휘도 데이터 및 상기 제3색차 데이터에 기초하여 상기 이미지 데이터를 생성하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 이미지 시그널 프로세서는, 전자 장치(1000)의 어플리케이션 프로세서, 상기 카메라 모듈(1010)의 이미지 센서 IC, 또는 상기 어플리케이션 프로세서 및 상기 카메라 모듈(1010)과 전기적으로 연결된 컴패니언 칩 중 어느 하나로 구성될 수 있다.
도 12는 다양한 실시예에 따른 이미지 데이터 생성 방법의 흐름도이다.
도시된 방법은 앞서 도 3을 통해 설명한 카메라 모듈(예: 이미지 센서 IC(340))에 의해 수행될 수 있다. 다른 실시예에 따르면, 도시된 방법은 도 10의 전자 장치(예: 프로세서(1030)) 및/또는 도 11의 전자 장치(예: 제1프로세서(1130) 및/또는 제2프로세서(1150))에 의해 수행될 수 있다.
다양한 실시예에 따르면, 카메라 모듈은 마이크로 렌즈와, 마이크로 렌즈와 대응되도록 배치되는 포토 다이오드 및 마이크로 렌즈와 포토 다이오드 사이에 배치되는 필터 어레이를 포함할 수 있다.
동작 1210에서, 카메라 모듈은 포토 다이오드의 제1영역에서 감지된 빛에 기초하여 제1데이터를 생성할 수 있다. 예를 들어, 제1데이터는 RGB 데이터일 수 있다.
동작 1220에서, 카메라 모듈은 포토 다이오드의 제2영역에서 감지된 빛에 기초하여 제2데이터를 생성할 수 있다. 예를 들어, 제2데이터는 CMY 데이터일 수 있다.
다양한 실시예에 따르면, 포토 다이오드의 제1영역에 배치된 제1필터와 제2영역에 배치된 제2필터는 서로 보색관계를 갖는 색상을 통과하도록 구성되는 바, 제1데이터 및 제2데이터는 서로 보색 관계의 색상을 가질 수 있다.
동작 1230에서, 카메라 모듈은 제1데이터 및 제2데이터에 기초하여 이미지 데이터를 생성할 수 있다. 제1데이터 및 제2데이터에 기초하여 이미지 데이터를 생성하는 구체적인 실시예에 대해서는 앞서 도 6a 내지 6c를 통해 설명한 바 있다.
도 13은 다양한 실시예에 따른 이미지 데이터 생성 방법의 흐름도이다.
동작 1310에서, 카메라 모듈은 포토 다이오드의 제1영역에서 감지된 빛에 기초하여 제1데이터를 생성하고, 포토 다이오드의 제2영역에서 감지된 빛에 기초하여 제2데이터를 생성할 수 있다.
동작 1320에서, 카메라 모듈은 제1데이터 및 제2데이터를 합산하여 휘도 데이터를 생성할 수 있다. 앞서 설명한 바와 같이, 제1데이터 및 제2데이터는 보색 관계이므로, 제1데이터 및 제2데이터를 합산할 경우, RGB 각 성분의 크기가 동일해 지는 바, 휘도 성분을 가질 수 있다.
동작 1330에서, 카메라 모듈은 제1데이터에 기초하여 제1색차 데이터를 생성할 수 있다. 동작 1330과 적어도 일부 동시에, 동작 1340에서 카메라 모듈은 제2데이터에 기초하여 제2색차 데이터를 생성할 수 있다.
동작 1340에서, 카메라 모듈은 제1색차 데이터 및 제2색차 데이터를 합산하여 제3색차 데이터를 생성할 수 있다.
동작 1350에서, 카메라 모듈은 휘도 데이터 및 상기 제 2 색차 데이터를 합산하여 제 3 색차 데이터를 생성할 수 있다.
동작 1360에서, 카메라 모듈은 휘도 데어티 및 제3색차 데이터를 합성하여, 이미지 데이터를 생성할 수 있다.
본 발명의 다양한 실시예에 따른, 카메라 모듈의 이미지 데이터 생성 방법은, 상기 카메라 모듈은 마이크로 렌즈와, 상기 마이크로 렌즈와 대응되도록 배치되는 적어도 하나의 포토 다이오드 및 상기 마이크로 렌즈와 상기 적어도 하나의 포토 다이오드 사이에 배치되는 필터 어레이를 포함하며, 상기 방법은, 상기 적어도 하나의 포토 다이오드의 제1영역에서 감지된 빛에 기초하여 제1데이터를 생성하는 동작(1210), 상기 적어도 하나의 포토 다이오드의 제2영역에서 감지된 빛에 기초하여 제2데이터를 생성하는 동작(1220), 상기 제1데이터 및 상기 제2데이터에 기초하여 이미지 데이터를 생성하는 동작(1230)을 포함하며, 상기 제1데이터의 색상과 상기 제2데이터의 색상은 서로 보색 관계일 수 있다.
다양한 실시예에 따르면, 상기 적어도 하나의 포토 다이오드는 상기 제1필터를 통과한 빛을 감지하는 제1영역 및 상기 제2필터를 통과한 빛을 감지하는 제2영역을 포함하고, 상기 필터 어레이는 상기 제1영역에 대응되도록 마련되고 제1지정된 대역의 빛을 통과 시킬 수 있는 제1필터 및 상기 제2영역에 대응되도록 마련되고 상기 제1지정된 대역에 대응하는 색상과 보색관계를 갖는 다른 색상에 대응하는 제2지정된 대역의 빛을 통과 시킬 수 있는 제2필터를 포함할 수 있다.
다양한 실시예에 따르면, 상기 이미지 데이터를 생성하는 동작은, 상기 제1데이터 및 상기 제2데이터를 합산하여 휘도 데이터를 생성하는 동작, 상기 제1데이터에 기초하여 제1색차 데이터를 생성하는 동작, 상기 제2데이터에 기초하여 제2색차 데이터를 생성하는 동작, 상기 제1색차 데이터 및 상기 제2색차 데이터를 합산하여 제3색차 데이터를 생성하는 동작, 및 상기 생성된 휘도 데이터 및 상기 제3색차 데이터에 기초하여 상기 이미지 데이터를 생성하는 동작을 포함할 수 있다.

Claims (20)

  1. 카메라 모듈에 있어서,
    적어도 하나의 렌즈를 포함하는 렌즈 모듈;
    상기 렌즈 모듈과 결합된 이미지 센서 모듈; 및
    상기 이미지 센서 모듈과 동작적으로 연결되는 이미지 시그널 프로세서를 포함하고, 상기 이미지 센서 모듈은,
    마이크로 렌즈;
    포토 다이오드; 및
    제1지정된 대역의 빛을 통과시킬 수 있는 제1필터, 상기 제1지정된 대역에 대응하는 색상과 보색관계를 갖는 다른 색상에 대응하는 제2지정된 대역의 빛을 통과시킬 수 있는 제2필터, 제3지정된 대역의 빛을 통과시킬 수 있는 제3필터 및 상기 제3지정된 대역에 대응하는 색상과 보색관계를 갖는 다른 색상에 대응하는 제4지정된 대역의 빛을 통과시킬 수 있는 제4필터를 포함하는 필터 어레이가 상기 마이크로 렌즈와 상기 포토 다이오드 사이에 배치되며,
    상기 포토 다이오드는
    상기 적어도 하나의 렌즈의 일부 영역을 통과한 빛이 상기 마이크로 렌즈를 통해 굴절되어 상기 제1필터를 통과한 후 입력되는 제1영역;
    상기 적어도 하나의 렌즈의 일부 영역을 통과한 빛이 상기 마이크로 렌즈를 통해 굴절되어 상기 제2필터를 통과한 후 입력되는 제2영역;
    상기 적어도 하나의 렌즈의 일부 영역을 통과한 빛이 상기 마이크로 렌즈를 통해 굴절되어 상기 제3필터를 통과한 후 입력되는 제3영역;
    상기 적어도 하나의 렌즈의 일부 영역을 통과한 빛이 상기 마이크로 렌즈를 통해 굴절되어 상기 제4필터를 통과한 후 입력되는 제4영역을 포함하고,
    상기 제1영역 및 상기 제2영역은
    전기 포텐셜(electric potential)에 의해 구분된 복수의 영역에 빛을 차단하기 위한 제1플로팅 확산 영역이 활성화됨에 따라 구분되고,
    상기 제3영역 및 상기 제4영역은
    전기 포텐셜(electric potential)에 의해 구분된 복수의 영역에 빛을 차단하기 위한 제2플로팅 확산 영역이 활성화됨에 따라 구분되며,
    상기 이미지 센서 모듈은
    상기 이미지 시그널 프로세서가 상기 제1플로팅 확산 영역을 활성화하는 것에 기반하여 상기 제1영역에서 감지한 빛에 대응하는 제1데이터 및 상기 제2영역에서 감지한 빛에 대응하는 제2데이터를 구분하여 생성하고,
    상기 이미지 시그널 프로세서가 상기 제2플로팅 확산 영역을 활성화하는 것에 기반하여 상기 제3영역에서 감지한 빛에 대응하는 제3데이터 및 상기 제4영역에서 감지한 빛에 대응하는 제4데이터를 구분하여 생성하며,
    상기 이미지 시그널 프로세서는
    상기 제1데이터 및 상기 제2데이터를 합산하여 휘도 데이터를 생성하거나 상기 제3데이터 및 상기 제4데이터를 합산하여 휘도 데이터를 생성하는 카메라 모듈.

  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제 1항에 있어서,
    상기 이미지 시그널 프로세서는,
    상기 제1데이터에 기초하여 제1색차 데이터를 생성하고, 상기 제2데이터에 기초하여 제2색차 데이터를 생성하고,
    상기 제1색차 데이터 및 상기 제2색차 데이터를 합산하여 제3색차 데이터를 생성하도록 설정된 카메라 모듈.
  7. 제 6항에 있어서,
    상기 이미지 시그널 프로세서는 상기 생성된 휘도 데이터 및 상기 제3색차 데이터에 기초하여 이미지 데이터를 생성하도록 설정된 카메라 모듈.
  8. 제 1항에 있어서,
    상기 이미지 시그널 프로세서는 인터페이스를 통해 상기 제1데이터 및 상기 제2데이터를 카메라 모듈 외부의 프로세서로 전송하도록 설정된 카메라 모듈.
  9. 제 7항에 있어서,
    상기 이미지 시그널 프로세서는 상기 제1데이터 및 상기 제2데이터에 기초하여 상기 휘도 데이터의 화이트 밸런스를 조정하도록 설정된 카메라 모듈.

  10. 삭제
  11. 제 1항에 있어서,
    상기 이미지 센서 모듈은,
    복수의 포토 다이오드들; 및
    상기 복수의 포토 다이오드 각각에 대응하는 복수의 필터 어레이들을 포함하며,
    상기 복수의 포토 다이오드들 및 복수의 필터 어레이들이 적어도 하나의 픽셀을 구성하도록 설정된 카메라 모듈.
  12. 삭제
  13. 전자 장치에 있어서,
    카메라 모듈; 및
    이미지 시그널 프로세서를 포함하며,
    상기 카메라 모듈은,
    마이크로 렌즈;
    상기 마이크로 렌즈를 통과한 빛을 전기적 신호로 변환할 수 있는 포토 다이오드; 및
    상기 마이크로 렌즈와 상기 포토 다이오드 사이에 배치되고, 제1지정된 대역의 빛을 통과시킬 수 있는 제1필터, 상기 제1지정된 대역에 대응하는 색상과 보색관계를 갖는 다른 색상에 대응하는 제2지정된 대역의 빛을 통과시킬 수 있는 제2필터, 제3지정된 대역의 빛을 통과시킬 수 있는 제3필터 및 상기 제3지정된 대역에 대응하는 색상과 보색관계를 갖는 다른 색상에 대응하는 제4지정된 대역의 빛을 통과시킬 수 있는 제4필터를 포함하는 필터 어레이를 포함하며,
    상기 포토 다이오드는
    상기 제1필터를 통과한 빛이 입력되는 제1영역, 상기 제2필터를 통과한 빛이 입력되는 제2영역, 상기 제3필터를 통과한 빛이 입력되는 제3영역 및 상기 제4필터를 통과한 빛이 입력되는 제4영역을 포함하고,상기 제1영역 및 상기 제2영역은
    전기 포텐셜(electric potential)에 의해 구분된 복수의 영역에 빛을 차단하기 위한 제1플로팅 확산 영역이 활성화됨에 따라 구분되고,
    상기 제3영역 및 상기 제4영역은
    전기 포텐셜(electric potential)에 의해 구분된 복수의 영역에 빛을 차단하기 위한 제2플로팅 확산 영역이 활성화됨에 따라 구분되며,
    상기 이미지 시그널 프로세서는
    상기 제1플로팅 확산 영역을 활성화하는 것에 기반하여 상기 제1영역에서 감지한 빛에 대응하는 제1데이터 및 상기 제2영역에서 감지한 빛에 대응하는 제2데이터를 구분하여 생성하고,
    상기 제2플로팅 확산 영역을 활성화하는 것에 기반하여 상기 제3영역에서 감지한 빛에 대응하는 제3데이터 및 상기 제4영역에서 감지한 빛에 대응하는 제4데이터를 구분하여 생성하며
    상기 제1데이터 및 상기 제2데이터를 합산하여 휘도 데이터를 생성하거나 상기 제3데이터 및 상기 제4데이터를 합산하여 휘도 데이터를 생성하는 전자 장치.
  14. 삭제
  15. 삭제
  16. 제 13항에 있어서,
    상기 이미지 시그널 프로세서는,
    상기 제1데이터에 기초하여 제1색차 데이터를 생성하고,
    상기 제2데이터에 기초하여 제2색차 데이터를 생성하고,
    상기 제1색차 데이터 및 상기 제2색차 데이터를 합산하여 제3색차 데이터를 생성하고, 및
    상기 생성된 휘도 데이터 및 상기 제3색차 데이터에 기초하여 이미지 데이터를 생성하도록 설정된 전자 장치.
  17. 제 13항에 있어서,
    상기 이미지 시그널 프로세서는,
    전자 장치의 어플리케이션 프로세서, 상기 카메라 모듈의 이미지 센서 IC, 또는 상기 어플리케이션 프로세서 및 상기 카메라 모듈과 전기적으로 연결된 컴패니언 칩 중 어느 하나로 구성되는 전자 장치.
  18. 카메라 모듈의 이미지 데이터 생성 방법에 있어서,
    제1플로팅 확산 영역을 활성화하는 것에 기반하여 제1영역에서 감지한 빛에 대응하는 제1데이터 및 제2영역에서 감지한 빛에 대응하는 제2데이터를 구분하여 생성하는 동작;
    제2플로팅 확산 영역을 활성화하는 것에 기반하여 제3영역에서 감지한 빛에 대응하는 제3데이터 및 제4영역에서 감지한 빛에 대응하는 제4데이터를 구분하여 생성하는 동작; 및
    상기 제1데이터 및 상기 제2데이터를 합산하여 휘도 데이터를 생성하거나 상기 제3데이터 및 상기 제4데이터를 합산하여 휘도 데이터를 생성하는 동작을 포함하는 방법.
  19. 삭제
  20. ◈청구항 20은(는) 설정등록료 납부시 포기되었습니다.◈
    제 18항에 있어서,
    상기 제1데이터에 기초하여 제1색차 데이터를 생성하는 동작;
    상기 제2데이터에 기초하여 제2색차 데이터를 생성하는 동작;
    상기 제1색차 데이터 및 상기 제2색차 데이터를 합산하여 제3색차 데이터를 생성하는 동작; 및
    상기 생성된 휘도 데이터 및 상기 제3색차 데이터에 기초하여 이미지 데이터를 생성하는 동작을 더 포함하는 방법.

KR1020170146917A 2017-11-06 2017-11-06 보색관계의 필터 어레이를 포함하는 카메라 모듈 및 그를 포함하는 전자 장치 Active KR102412278B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170146917A KR102412278B1 (ko) 2017-11-06 2017-11-06 보색관계의 필터 어레이를 포함하는 카메라 모듈 및 그를 포함하는 전자 장치
US16/759,246 US11558587B2 (en) 2017-11-06 2018-07-26 Camera module comprising complementary color filter array and electronic device comprising same
PCT/KR2018/008488 WO2019088407A1 (ko) 2017-11-06 2018-07-26 보색관계의 필터 어레이를 포함하는 카메라 모듈 및 그를 포함하는 전자 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170146917A KR102412278B1 (ko) 2017-11-06 2017-11-06 보색관계의 필터 어레이를 포함하는 카메라 모듈 및 그를 포함하는 전자 장치

Publications (2)

Publication Number Publication Date
KR20190051371A KR20190051371A (ko) 2019-05-15
KR102412278B1 true KR102412278B1 (ko) 2022-06-24

Family

ID=66332051

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170146917A Active KR102412278B1 (ko) 2017-11-06 2017-11-06 보색관계의 필터 어레이를 포함하는 카메라 모듈 및 그를 포함하는 전자 장치

Country Status (3)

Country Link
US (1) US11558587B2 (ko)
KR (1) KR102412278B1 (ko)
WO (1) WO2019088407A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11889206B2 (en) * 2020-02-26 2024-01-30 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic equipment
US20230140768A1 (en) * 2020-03-16 2023-05-04 Sony Semiconductor Solutions Corporation Imaging element and electronic apparatus
CN113676629B (zh) * 2021-08-09 2024-01-09 Oppo广东移动通信有限公司 图像传感器、图像采集装置、图像处理方法及图像处理器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100912873B1 (ko) * 2007-04-26 2009-08-19 삼성전자주식회사 영상 생성 방법 및 장치
KR101534547B1 (ko) * 2008-11-24 2015-07-08 삼성전자주식회사 이미지 센서 및 이를 포함하는 시스템

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001250931A (ja) 2000-03-07 2001-09-14 Canon Inc 固体撮像装置およびこれを用いた撮像システム
US8134582B2 (en) * 2004-05-14 2012-03-13 Canon Kabushiki Kaisha Color display apparatus
US7423677B2 (en) * 2004-07-27 2008-09-09 Avago Technologies Ecbu Ip Pte Ltd Color filter method and apparatus
JP4628937B2 (ja) * 2005-12-01 2011-02-09 オリンパス株式会社 カメラシステム
KR100769548B1 (ko) * 2005-12-30 2007-10-23 엠텍비젼 주식회사 컬러 필터 어레이 및 영상 보간 방법
KR101411548B1 (ko) * 2007-11-05 2014-07-07 삼성전자주식회사 이미지 센서, 컬러 필터 어레이, 및 촬상 장치
JP4377428B2 (ja) * 2007-12-12 2009-12-02 アキュートロジック株式会社 固体撮像素子及びそれを用いた撮像装置
US7990445B2 (en) * 2008-05-30 2011-08-02 Omnivision Technologies, Inc. Image sensor having differing wavelength filters
KR101563348B1 (ko) 2008-10-07 2015-10-27 삼성전자 주식회사 영상의 노이즈를 저감하는 영상 처리 장치 및 방법
JP5259381B2 (ja) * 2008-12-25 2013-08-07 京セラ株式会社 撮像装置および撮像方法
JP5432075B2 (ja) * 2010-07-06 2014-03-05 パナソニック株式会社 撮像装置および色温度算出方法
JP5999750B2 (ja) * 2011-08-25 2016-09-28 ソニー株式会社 撮像素子、撮像装置及び生体撮像装置
JP5743837B2 (ja) * 2011-10-07 2015-07-01 キヤノン株式会社 光電変換装置、撮像装置および撮像システム
KR20140113923A (ko) 2012-01-16 2014-09-25 소니 주식회사 고체 촬상 소자 및 카메라 시스템
KR102212138B1 (ko) * 2014-08-19 2021-02-04 삼성전자주식회사 이미지 센서의 단위 픽셀과 이를 포함하는 픽셀 어레이
CN106605172B (zh) 2014-09-08 2019-11-08 索尼公司 显示装置、用于驱动显示装置的方法以及电子设备
KR101692748B1 (ko) 2015-03-24 2017-01-04 인천대학교 산학협력단 채널간 상관관계 기반 컬러 필터 어레이 보간 방법
KR102435995B1 (ko) * 2015-08-07 2022-08-26 삼성전자주식회사 이미지 센서 및 이를 포함하는 이미지 처리 장치
KR102762966B1 (ko) * 2016-08-30 2025-02-05 삼성전자주식회사 이미지 센서 및 그 구동 방법
CN111988587B (zh) * 2017-02-10 2023-02-07 杭州海康威视数字技术股份有限公司 图像融合设备和图像融合方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100912873B1 (ko) * 2007-04-26 2009-08-19 삼성전자주식회사 영상 생성 방법 및 장치
KR101534547B1 (ko) * 2008-11-24 2015-07-08 삼성전자주식회사 이미지 센서 및 이를 포함하는 시스템

Also Published As

Publication number Publication date
US20200374493A1 (en) 2020-11-26
US11558587B2 (en) 2023-01-17
WO2019088407A1 (ko) 2019-05-09
KR20190051371A (ko) 2019-05-15

Similar Documents

Publication Publication Date Title
US11039056B2 (en) Image sensor for generating depth data by a path difference of light generated through micro lens covering a plurality of sub-pixels and electronic device including the image sensor
KR102318013B1 (ko) 복수의 이미지들을 합성하는 전자장치 및 방법
US12230663B2 (en) Electronic device comprising image sensor for identifying an operation setting and an external environmental condition and method of operation thereof
US11146720B2 (en) Electronic device for providing function by using RGB image and IR image acquired through one image sensor
US11917306B2 (en) Electronic device that corrects images captured on a side opposite a displaying surface
US11582430B2 (en) Electronic device comprising image sensor and method of operation thereof
KR102663537B1 (ko) 전자 장치 및 이미지 처리 방법
KR102412278B1 (ko) 보색관계의 필터 어레이를 포함하는 카메라 모듈 및 그를 포함하는 전자 장치
US11238279B2 (en) Method for generating plural information using camera to sense plural wave bandwidth and apparatus thereof
EP4171019A1 (en) Electronic device comprising image sensor, and method for controlling same
KR102752429B1 (ko) 전자 장치의 컬러 필터, 및 그 전자 장치
US20240214698A1 (en) Electronic device and method for controlling same
KR102570607B1 (ko) 이미지의 광원의 타입을 결정하는 전자 장치 및 방법
US11895401B2 (en) Camera module for high resolution auto focusing and electronic device including same
KR20210151613A (ko) 이미지 처리 장치 및 이미지 처리 방법
US11070751B2 (en) Electronic device and image up-sampling method for electronic device
US20240244333A1 (en) Apparatus and method for obtaining image employing color separation lens array
KR102472629B1 (ko) 적외선 다중 대역을 감지하는 이미지 센서 및 이를 이용한 전자 장치
KR20210114768A (ko) 서브 이미지들의 차이에 기반하여 이미지의 렌즈 쉐이딩을 보정하는 전자 장치 및 이의 동작 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20171106

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20201102

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20171106

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210830

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20220328

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20210830

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

X091 Application refused [patent]
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20220328

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20211019

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20220509

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20220419

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20220328

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20211019

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220620

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220621

End annual number: 3

Start annual number: 1

PG1601 Publication of registration