[go: up one dir, main page]

KR102204596B1 - 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법 - Google Patents

프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법 Download PDF

Info

Publication number
KR102204596B1
KR102204596B1 KR1020170069040A KR20170069040A KR102204596B1 KR 102204596 B1 KR102204596 B1 KR 102204596B1 KR 1020170069040 A KR1020170069040 A KR 1020170069040A KR 20170069040 A KR20170069040 A KR 20170069040A KR 102204596 B1 KR102204596 B1 KR 102204596B1
Authority
KR
South Korea
Prior art keywords
image
image signal
signal
lens
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020170069040A
Other languages
English (en)
Other versions
KR20180132299A (ko
Inventor
이서훈
이춘승
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170069040A priority Critical patent/KR102204596B1/ko
Priority to US15/844,205 priority patent/US10348978B2/en
Priority to TW108121399A priority patent/TWI720516B/zh
Priority to TW108121401A priority patent/TWI811386B/zh
Priority to TW107107370A priority patent/TWI796323B/zh
Priority to CN201810523612.7A priority patent/CN108989655B/zh
Priority to CN202010581303.2A priority patent/CN111787220B/zh
Priority to CN201910488444.7A priority patent/CN110113519A/zh
Priority to CN201910487817.9A priority patent/CN110225232B/zh
Priority to CN201910488440.9A priority patent/CN110149468A/zh
Priority to CN201910487816.4A priority patent/CN110149467B/zh
Publication of KR20180132299A publication Critical patent/KR20180132299A/ko
Priority to US16/427,121 priority patent/US10798312B2/en
Priority to US16/427,127 priority patent/US10708517B2/en
Priority to US16/427,116 priority patent/US10805555B2/en
Priority to US16/427,122 priority patent/US10666876B2/en
Priority to US16/888,673 priority patent/US11153506B2/en
Application granted granted Critical
Publication of KR102204596B1 publication Critical patent/KR102204596B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H04N5/23229—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H04N5/2257—
    • H04N5/2258—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Eye Examination Apparatus (AREA)
  • Telephone Function (AREA)
  • Saccharide Compounds (AREA)
  • Plural Heterocyclic Compounds (AREA)

Abstract

프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법이 제공된다. 이미지 프로세싱 장치는, 제1 렌즈, 제1 렌즈의 일측에 배치되는 제2 렌즈, 제1 렌즈의 타측에 배치되는 제3 렌즈, 제1 렌즈로부터 얻어진 제1 이미지를 입력 받아, 제1 이미지 신호를 생성하는 제1 이미지 센서, 제2 렌즈로부터 얻어진 제2 이미지를 입력 받아, 제2 이미지 신호를 생성하는 제2 이미지 센서, 제3 렌즈로부터 얻어진 제3 이미지를 입력 받아, 제3 이미지 신호를 생성하는 제3 이미지 센서, 제2 이미지 신호와 제3 이미지 신호를 입력 받아, 제1 조건에서 제2 이미지 신호를 출력하고, 제1 조건과 상이한 제2 조건에서 제3 이미지 신호를 출력하는 셀렉터(selector) 및 제1 이미지 신호와, 셀렉터의 출력 신호를 이용하여 이미지 프로세싱을 수행하는 이미지 프로세서를 포함한다.

Description

프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법 {Processor, image processing device comprising the same, and method for image processing}
본 발명은 프로세서, 프로세서를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 장치를 이용한 이미지 프로세싱 방법에 관한 것이다.
이미지 프로세싱 장치는 복수의 카메라 모듈을 포함할 수 있다. 복수의 카메라 모듈을 포함하는 이미지 프로세싱 장치는, 복수의 카메라 모듈로부터 획득한 이미지들을 처리하여 하나의 이미지를 생성할 수 있다. 고품질의 영상을 획득하기 위해, 듀얼 센서를 포함하는 카메라 모듈이 사용될 수 있다.
듀얼 센서를 포함하는 카메라 모듈은, 예를 들어, 광각 렌즈(wide angle lens)와 망원 렌즈(telephoto lens)를 포함할 수 있다. 광각 렌즈와 망원 렌즈를 포함하는 카메라 모듈은, 조도가 높은 환경에서, 줌(zoom) 동작 구현에 이점이 있을 수 있다. 반면, 조도가 낮은 저조도 환경에서는 광량이 부족하기 때문에, 망원 렌즈는 사용이 불가할 수 있다.
본 발명이 해결하고자 하는 기술적 과제는, 조도가 높은 경우 줌(zoom) 동작의 성능을 향상시킬 수 있는 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 기술적 과제는, 조도가 낮은 경우라도 이미지의 품질을 향상시킬 수 있는 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 기술적 과제는, 각 렌즈에서 얻어진 이미지들에 대한 교정(rectification) 에러를 감소시킬 수 있는 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제들을 달성하기 위한 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치는, 제1 렌즈, 제1 렌즈의 일측에 배치되는 제2 렌즈, 제1 렌즈의 타측에 배치되는 제3 렌즈, 제1 렌즈로부터 얻어진 제1 이미지를 입력 받아, 제1 이미지 신호를 생성하는 제1 이미지 센서, 제2 렌즈로부터 얻어진 제2 이미지를 입력 받아, 제2 이미지 신호를 생성하는 제2 이미지 센서, 제3 렌즈로부터 얻어진 제3 이미지를 입력 받아, 제3 이미지 신호를 생성하는 제3 이미지 센서, 제2 이미지 신호와 제3 이미지 신호를 입력 받아, 제1 조건에서 제2 이미지 신호를 출력하고, 제1 조건과 상이한 제2 조건에서 제3 이미지 신호를 출력하는 셀렉터(selector) 및 제1 이미지 신호와, 셀렉터의 출력 신호를 이용하여 이미지 프로세싱을 수행하는 이미지 프로세서를 포함한다.
상기 기술적 과제들을 달성하기 위한 본 발명의 몇몇 실시예들에 따른 프로세서는, 제1 카메라 모듈로부터 제1 이미지 신호를 제공 받는 이미지 프로세서 및 제2 카메라 모듈로부터 제2 이미지 신호를 제공 받고, 제3 카메라 모듈로부터 제3 이미지 신호를 제공 받아, 제1 조건에서 상기 제2 이미지 신호를 출력하고, 상기 제1 조건과 상이한 제2 조건에서 상기 제3 이미지 신호를 출력하는 제1 셀렉터를 포함하고, 상기 이미지 프로세서는, 상기 제1 이미지 신호와, 상기 제1 셀렉터의 출력 신호를 이용하여 이미지 프로세싱을 수행할 수 있다.
상기 기술적 과제들을 달성하기 위한 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 방법은, 제1 신호 프로세서가, 제1 카메라 모듈로부터 제1 이미지 신호를 제공 받아, 제1 이미지 신호 프로세싱을 수행하고, 셀렉터가, 제2 카메라 모듈로부터 제2 이미지 신호를 제공 받고, 제3 카메라 모듈로부터 제3 이미지 신호를 제공 받아, 제1 조건에서 상기 제2 이미지 신호를 출력하고, 상기 제1 조건과 상이한 제2 조건에서 상기 제3 이미지 신호를 출력하고, 이미지 프로세서가, 상기 제1 신호 프로세서의 출력 신호와 상기 셀렉터의 출력 신호를 이용하여 출력 이미지를 생성하는 것을 포함할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
도 1은 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치의 예시적인 블록도이다.
도 2a 및 도 2b는 도 1의 제1 내지 제3 렌즈의 배치에 관한 몇몇 실시예를 설명하기 위한 도면이다.
도 3은 도 1의 제1 신호 프로세서에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 4는 도 1의 제2 신호 프로세서에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 5는 도 1의 제1 이미지 생성부에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 6은 도 5의 제1 이미지 생성부의 깊이 정보 생성 유닛에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 7은 도 5의 제1 이미지 생성부의 제1 출력 이미지 생성 유닛에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 8은 도 5의 제1 이미지 생성부의 제2 출력 이미지 생성 유닛에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 9는 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치의 예시적인 블록도이다.
도 10은 도 9의 제3 신호 프로세서에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 11은 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치의 예시적인 블록도이다.
도 12는 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치의 예시적인 블록도이다.
도 13은 도 12의 제2 이미지 생성부에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 14는 본 발명의 몇몇 실시예들에 따른 제1 셀렉터, 제6 셀렉터, 제9 셀렉터 및 제10 셀렉터의 동작을 설명하기 위한 순서도이다.
도 15는 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치를 포함하는 이미지 시스템의 예시적인 블록도이다.
도 16은 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치를 포함하는 이미지 시스템의 일부분을 도시한 예시적인 블록도이다.
이하에서, 도 1 내지 도 8을 참조하여 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치에 대해 설명한다.
도 1은 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치의 예시적인 블록도이다.
도 1을 참조하면, 이미지 프로세싱 장치는 카메라 모듈(1110) 및 프로세서(1120)를 포함할 수 있다.
카메라 모듈(1110)에서 생성된 이미지 신호들(예를 들어, is1, is2, is3)은, 프로세서(1120)로 입력될 수 있다. 프로세서(1120)는, 카메라 모듈(1110)로부터 입력받은 이미지 신호들(예를 들어, is1, is2, is3)을 처리하여, 출력 이미지(io)를 생성할 수 있다. 도면에서, 카메라 모듈(1110)과 프로세서(1120) 사이에 구성 요소를 도시하지 않았으나, 이에 제한되는 것은 아니다. 예를 들어, 카메라 모듈(1110)에서 생성된 이미지 신호들(예를 들어, is1, is2, is3)은, 카메라 모듈(1110)과 프로세서(1120) 사이에 배치될 수 있는 다른 구성 요소(예를 들어, 인터페이스 등)를 거쳐 프로세서(1120)로 입력될 수 있음은 물론이다.
카메라 모듈(1110)은, 제1 카메라 모듈(1111), 제2 카메라 모듈(1112), 및 제3 카메라 모듈(1113)을 포함할 수 있다. 제1 카메라 모듈(1111)은, 제1 렌즈(L1) 및 제1 이미지 신호 출력부(1010)를 포함할 수 있다. 제2 카메라 모듈(1112)은, 제2 렌즈(L2) 및 제2 이미지 신호 출력부(1020)를 포함할 수 있다. 제3 카메라 모듈(1113)은, 제3 렌즈(L3) 및 제3 이미지 신호 출력부(1030)를 포함할 수 있다.
제1 렌즈(L1) 및 제3 렌즈(L3)는, 제2 렌즈(L2)와 다른 종류의 렌즈일 수 있다. 제1 렌즈(L1) 및 제3 렌즈(L3)는, 광각 렌즈(wide angle lens)일 수 있고, 제2 렌즈(L2)는, 망원 렌즈(telephoto lens)일 수 있다.
도 2a 및 도 2b는 도 1의 제1 내지 제3 렌즈(L1 내지 L3)의 배치에 관한 몇몇 실시예를 설명하기 위한 도면이다.
도 2a를 참조하면, 제1 렌즈(L1), 제2 렌즈(L2) 및 제3 렌즈(L3)는, 전자 장치(1000)에 배치될 수 있다. 몇몇 실시예에서, 전자 장치(1000)는, 모바일 폰일 수 있다. 제1 렌즈(L1), 제2 렌즈(L2) 및 제3 렌즈(L3)는, 전자 장치(1000)의 일측면(예를 들어, 전자 장치(1000)의 앞면 또는 뒷면)으로부터 노출되도록 배치될 수 있다.
몇몇 실시예에서, 제2 렌즈(L2)는, 제1 렌즈(L1)의 일측에 배치될 수 있다. 제3 렌즈(L3)는, 제1 렌즈(L1)의 타측에 배치될 수 있다. 제2 렌즈(L2)와 제3 렌즈(L3)는, 예를 들어, 제1 렌즈(L1)를 중심으로 대칭되도록 배치될 수 있다.
몇몇 실시예에서, 제2 렌즈(L2)는 제1 렌즈(L1)로부터 제1 거리(d1)만큼 이격되어 배치될 수 있다. 제3 렌즈(L3)는 제1 렌즈(L1)로부터 제2 거리(d2)만큼 이격되어 배치될 수 있다.
몇몇 실시예에서, 제1 거리(d1)와 제2 거리(d2)는 실질적으로 동일할 수 있다.
몇몇 실시예에서, 제1 내지 렌즈(L1 내지 L3)의 중심은, 예를 들어, 실직적으로 동일한 수평선 상에 배치될 수 있다. 그러나, 본 발명의 기술적 사상이 이에 제한되는 것은 아니다. 예를 들어, 도 2b를 참조하면, 제1 내지 렌즈(L1 내지 L3)의 중심은, 예를 들어, 실직적으로 동일한 수직선 상에 배치될 수 있다.
도 2a 및 도 2b를 참조하면, 피사체가 제1 렌즈(L1)와 서로 마주보도록 배치되고, 피사체와 제1 렌즈(L1)가 서로 정렬되어 위치하고, 제1 거리(d1)와 제2 거리(d2)가 서로 상이한 경우, 피사체로부터 제공된 광이 제1 렌즈(L1), 제2 렌즈(L2) 및 제3 렌즈(L3) 각각에 입사되는 각도는, 서로 상이할 수 있다.
따라서, 제1 렌즈(L1), 제2 렌즈(L2) 및 제3 렌즈(L3) 각각으로부터 얻어진 이미지들(예를 들어, id1, id2, id3)에는, 피사체를 정확히 표현하는데 왜곡(distortion)이 있을 수 있다. 즉, 이 경우, 제1 거리(d1)와 제2 거리(d2)가 상이하기 때문에, 이미지들(예를 들어, id1, id2, id3)간의 왜곡의 정도가 심할 수 있다.
한편, 각 이미지의 왜곡을 보정하기 위해, 제1 렌즈(L1), 제2 렌즈(L2) 및 제3 렌즈(L3) 각각으로부터 얻어진 이미지들(예를 들어, id1, id2, id3) 각각에 대한 교정(rectification) 작업이 수행될 수 있다. 이 때, 이미지들(예를 들어, id1, id2, id3)간의 왜곡의 정도가 심하기 때문에, 교정 작업에서 에러가 클 수 있다. 교정 작업에서 에러가 크면, 출력 이미지(예를 들어, io)의 잡음(artifact)이 크게 될 수 있다.
본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치의 제2 렌즈(L2)와 제3 렌즈(L3)는, 제1 렌즈(L1)를 중심으로 실질적으로 동일 간격(제1 거리(d1) 및 제2 거리(d2))만큼 이격되도록 배치될 수 있다. 제1 거리(d1)와 제2 거리(d2)가 실질적으로 동일하기 때문에, 이미지들(예를 들어, id1, id2, id3)간의 왜곡의 정도는, 제1 거리(d1)와 제2 거리(d2)가 상이한 경우에 비해 현저히 작을 수 있다. 따라서, 각 이미지들(예를 들어, id1, id2, id3)에 대한 교정 작업에 있어서, 교정 에러가 감소될 수 있다.
다시 도 1을 참조하면, 제1 이미지 신호 출력부(1010)는, 예를 들어, 제1 이미지 센서(1011), 제1 기억 장치(1012) 및 제1 아날로그 디지털 컨버터(1013)를 포함할 수 있다. 제2 이미지 신호 출력부(1020)는, 예를 들어, 제2 이미지 센서(1021), 제2 기억 장치(1022) 및 제2 아날로그 디지털 컨버터(1023)를 포함할 수 있다. 제3 이미지 신호 출력부(1030)는, 예를 들어, 제3 이미지 센서(1031), 제3 기억 장치(1032) 및 제3 아날로그 디지털 컨버터(1033)를 포함할 수 있다.
제1 이미지(id1), 제2 이미지(id2), 및 제3 이미지(id3) 각각은, 제1 렌즈(L1), 제2 렌즈(L2) 및 제3 렌즈(L3) 각각으로부터 얻어질 수 있다. 제1 내지 제3 이미지(id1, id2, id3) 각각은, 제1 내지 제3 이미지 신호 출력부(1010, 1020, 1030) 각각으로 입력될 수 있다.
제1 내지 제3 이미지 센서(1011, 1021, 1031) 각각은, 제1 내지 제3 이미지(id1, id2, id3) 각각을 센싱할 수 있다.
제1 이미지 센서(1011)는, 제1 이미지(id1)를 입력 받아, 제1 이미지 신호(is1)를 생성할 수 있다. 제1 이미지 센서(1011)는, 예를 들어, 컬러 이미지 센서일 수 있다.
제2 이미지 센서(1021)는, 제2 이미지(id2)를 입력 받아, 제2 이미지 신호(is2)를 생성할 수 있다. 제2 이미지 센서(1021)는, 예를 들어, 컬러 이미지 센서일 수 있다.
제3 이미지 센서(1031)는, 제3 이미지(id3)를 입력 받아, 제3 이미지 신호(is3)를 생성할 수 있다. 제3 이미지 센서(1031)는, 예를 들어, 흑백(monochrome) 이미지 센서일 수 있다.
제1 내지 제3 기억 장치(1012, 1022, 1032) 각각에는, 제1 내지 제3 카메라 모듈(1111, 1112, 1113) 각각에 대한 캘리브레이션 데이터가 저장될 수 있다. 캘리브레이션 데이터는, 예를 들어, 상응하는 카메라 모듈의 회전(rotation) 정도, 초점 거리, 및/또는 광축에 대한 정보 등을 포함할 수 있다.
제1 내지 제3 아날로그 디지털 컨버터(1013, 1023, 1033) 각각은, 제1 내지 제3 이미지(id1, id2, id3) 각각의 포맷(format)을 변환할 수 있다. 예를 들어, 아날로그 형식의 제1 내지 제3 이미지(id1, id2, id3)를, 디지털 신호(즉, 제1 내지 제3 이미지 신호(is1, is2, is3))로 변환할 수 있다.
제1 내지 제3 카메라 모듈(1111 내지 1113) 각각의 출력인, 제1 내지 제3 이미지 신호(is1, is2, is3)는, 프로세서(1120)로 입력될 수 있다. 프로세서(1120)는, 제1 내지 제3 인터페이스(110, 120, 130), 제1 셀렉터(selector)(210), 제1 신호 프로세서(310), 제2 신호 프로세서(320), 및 제1 이미지 생성부(400)를 포함할 수 있다. 그러나, 본 발명의 기술적 사상이 이에 제한되는 것은 아니고, 프로세서(1120)는 필요에 따라 도 1에 도시된 유닛들과 동일하거나 상이한 기능을 수행하는 다른 유닛들을 더 포함할 수 있음은 물론이다.
제1 내지 제3 인터페이스(110, 120, 130)는, 예를 들어, 제1 내지 제3 이미지 센서(1011 내지 1031)의 인터페이스를 프로세서(1120)의 인터페이스로 변경시킬 수 있다. 제1 내지 제3 인터페이스(110, 120, 130)는, 예를 들어, CSI(Camera Serial Interface)일 수 있다. 제1 이미지 신호(is1)는, 제1 인터페이스(110)를 통해 제1 신호 프로세서(310)에 제공될 수 있다. 제2 이미지 신호(is2)는, 제2 인터페이스(120)를 통해 제1 셀렉터(210)에 제공될 수 있다. 제3 이미지 신호(is3)는, 제3 인터페이스(130)를 통해 제1 셀렉터(210)에 제공될 수 있다.
제1 셀렉터(210)는, 제2 이미지 신호(is2)와 제3 이미지 신호(is3)를 입력 받을 수 있다. 제1 셀렉터(210)는, 선택 신호(SS)에 기초하여, 제2 이미지 신호(is2)와 제3 이미지 신호(is3) 중 어느 하나를 출력 신호(isa)로 출력하여, 이미지 프로세서(1121)에 제공할 수 있다. 몇몇 실시예에서, 제1 셀렉터(210)는, 이미지 프로세서(1121)의 제2 신호 프로세서(320)와 분리되어 배치될 수 있다.
예를 들어, 선택 신호(SS)가 제1 조건(C1)에 상응하는 정보를 포함하는 경우, 제1 셀렉터(210)의 출력 신호(isa)는 제2 이미지 신호(is2)일 수 있다. 반면, 선택 신호(SS)가 제2 조건(C2)에 상응하는 정보를 포함하는 경우, 제1 셀렉터(210)의 출력 신호(isa)는 제3 이미지 신호(is3)일 수 있다.
여기서, 선택 신호(SS)가 제1 조건(C1)에 상응하는 정보를 포함하는 경우는, 예를 들어, 선택 신호(SS)가 로직 로우(logic low)(예를 들어, 로직 0)인 경우일 수 있다. 또한, 선택 신호(SS)가 제2 조건(C2)에 상응하는 정보를 포함하는 경우는, 예를 들어, 선택 신호(SS)가 로직 하이(logic high)(예를 들어, 로직 1)인 경우일 수 있다. 즉, 제1 셀렉터(210)는, 제1 조건(C1)에서 제2 이미지 신호(is2)를 출력할 수 있고, 제2 조건(C2)에서 제3 이미지 신호(is3)를 출력할 수 있다.
제1 조건(C1)과 제2 조건(C2)은, 서로 상이한 조건일 수 있다. 예를 들어, 제1 조건(C1)은, 조도가 기결정된 값보다 크거나 동일한 경우이고, 제2 조건(C2)은, 조도가 기결정된 값보다 작은 경우일 수 있다. 여기서 조도는, 예를 들어, 제1 카메라 모듈(1111)의 제1 렌즈(L1)를 통해 얻어질 수 있는, 피사체가 위치한 장소의 밝기일 수 있다.
몇몇 실시예에서, 제1 신호 프로세서(310)는 조도를 감지하여, 조도에 대한 정보를 선택 신호 생성부(310_SS)에 전달할 수 있다. 선택 신호 생성부(310_SS)는, 조도에 대한 정보를 이용하여, 선택 신호(SS)를 생성할 수 있다. 도면에서, 선택 신호 생성부(310_SS)가 프로세서(1120) 내에 배치되는 것으로 도시하였으나, 이에 제한되는 것은 아니다. 예를 들어, 선택 신호 생성부(310_SS)는, 프로세서(1120)의 외부에 배치되는 하드웨어 구성요소일 수 있다.
한편, 몇몇 실시예에서, 선택 신호 생성부(310_SS)는 소프트웨어로 구현될 수도 있다.
이미지 프로세서(1121)는, 제1 이미지 신호(is1), 제1 셀렉터(210)의 출력 신호(isa) 및 선택 신호(SS)를 입력 받아, 출력 이미지(io)를 생성할 수 있다. 이미지 프로세서(1121)는, 제1 신호 프로세서(310), 제2 신호 프로세서(320) 및 제1 이미지 생성부(image generator)(400)를 포함할 수 있다.
제1 신호 프로세서(310)는, 제1 이미지 신호(is1)를 입력 받아, 제1 이미지 신호 프로세싱을 수행하여, 제1 이미지 생성부(400)에 제공할 수 있다. 제1 신호 프로세서(310)의 출력 신호(is1a)는, 제1 신호 프로세서(310)에 의해 제1 이미지 신호 프로세싱이 수행된 제1 이미지 신호(is1)일 수 있다.
도 3은 도 1의 제1 신호 프로세서(310)에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 3을 참조하면, 제1 신호 프로세서(310)는, 제1 포맷 컨버터(311), 제1 노이즈 제거부(313), 제1 이미지 인핸서(315), 및 제2 포맷 컨버터(317)를 포함할 수 있다. 제1 신호 프로세서(310)에 의해 수행되는 제1 이미지 프로세싱은, 제1 이미지 신호(is1)를 제1 포맷 컨버터(311), 제1 노이즈 제거부(313), 제1 이미지 인핸서(315), 및 제2 포맷 컨버터(317)에 통과시켜, 포맷이 변환된 출력 신호(is1a)를 생성하는 것을 포함할 수 있다.
제1 포맷 컨버터(311)는, 제1 이미지 신호(is1)를 입력 받고, 제1 이미지 신호(is1)의 포맷을 변경하여, 제1 노이즈 제거부(313)에 제공할 수 있다. 제1 이미지 신호(is1)는, 제1 카메라 모듈(1111)의 특정 형태의 컬러 필터 배열에 의해 만들어진 포멧을 가질 수 있다. 이 경우, 제1 포맷 컨버터(311)는, 제1 이미지 신호(is1)의 포맷을, RGB 형태로 변환할 수 있다. 예를 들어, 제1 카메라 모듈(1111)의 제1 이미지 센서(1011)는, 베이어(bayer) 컬러 배열을 가질 수 있다. 이 경우, 제1 포맷 컨버터(311)는, 제1 이미지 신호(is1)의 포맷을 RGB 형태로 변환할 수 있다. 제1 포맷 컨버터(311)는, 예를 들어, 디모자이크(demosaic) 동작을 수행할 수 있다. 한편, 제1 카메라 모듈(1111)의 제1 이미지 센서(1011)의 컬러 필터 종류에 따라, 제1 포맷 컨버터(311)가 생략될 수 있음은 물론이다.
제1 노이즈 제거부(313)는, 제1 포맷 컨버터(311)로부터 제1 포맷 컨버터(311)의 출력 신호를 입력 받을 수 있다. 제1 노이즈 제거부(313)는, 제1 포맷 컨버터(311)의 출력 신호에 포함된 노이즈를 제거하여, 제1 이미지 인핸서(315)에 제공할 수 있다.
제1 이미지 인핸서(315)는, 제1 노이즈 제거부(313)로부터 제1 노이즈 제거부(313)의 출력 신호를 입력 받을 수 있다. 제1 이미지 인핸서(315)는, 제1 노이즈 제거부(313)의 출력 신호의 품질을 향상시키기 위한 작업을 수행하여, 제2 포맷 컨버터(317)에 제공할 수 있다. 예를 들어, 제1 이미지 인핸서(315)는, 제1 노이즈 제거부(313)의 출력 신호를 입력 받고, 제1 노이즈 제거부(313)의 출력 신호의 가색상(false color)을 제거하고, 선명화(sharpening) 동작 등을 수행할 수 있다.
제2 포맷 컨버터(317)는, 제1 이미지 인핸서(315)로부터 제1 이미지 인핸서(315)의 출력 신호를 입력 받을 수 있다. 제2 포맷 컨버터(317)는, 제1 이미지 인핸서(315)의 출력 신호의 포맷을 변환하여, 제1 이미지 생성부(400)에 제공할 수 있다. 예를 들어, RGB 포맷의 제1 이미지 인핸서(315)의 출력 신호는, 제2 포맷 컨버터(317)를 통해 휘도 정보와 컬러 정보를 포함하는 포맷(예를 들어, YUV)으로 변환될 수 있다.
다시 도 1을 참조하면, 제2 신호 프로세서(320)는, 제1 셀렉터(210)의 출력 신호(isa)를 입력 받아, 제2 이미지 신호 프로세싱을 수행하여 제1 이미지 생성부(400)에 제공할 수 있다.
도 4는 도 1의 제2 신호 프로세서(320)에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 4를 참조하면, 제2 신호 프로세서(320)는, 제2 셀렉터(220), 제3 포맷 컨버터(321), 제3 셀렉터(230), 제2 노이즈 제거부(323), 제2 이미지 인핸서(325), 제4 셀렉터(240), 제4 포맷 컨버터(327), 및 제5 셀렉터(250)를 포함할 수 있다. 제2 신호 프로세서(320)가 수행하는 제2 이미지 신호 프로세싱은, 제1 셀렉터(210)의 출력 신호(isa)의 포맷이 변환된 출력 신호(isb)를 생성하는 것을 포함할 수 있다. 제1 셀렉터(210)에 제공되는 선택 신호(SS)는, 제2 내지 제5 셀렉터(220, 230, 240, 250)에도 입력될 수 있다.
선택 신호(SS)가 제1 조건(C1)에 상응하는 정보를 포함하는 경우, 제1 셀렉터(210)의 출력 신호(isa)는 제2 이미지 신호(is2)일 수 있다. 이 경우, 제2 셀렉터(220)는, 선택 신호(SS)에 기초하여, 제2 이미지 신호(is2)를 제3 포맷 컨버터(321)에 제공할 수 있다.
제3 포맷 컨버터(321)는, 제2 이미지 신호(is2)를 입력 받고, 제2 이미지 신호(is2)의 포맷을 변환하여 제3 셀렉터(230)에 제공할 수 있다. 제3 포맷 컨버터(321)는, 제1 신호 프로세서(310)의 제1 포맷 컨버터(311)(도 3 참조)와 실질적으로 동일한 것일 수 있다.
제1 조건(C1) 하에서, 제3 셀렉터(230)는, 선택 신호(SS)에 기초하여, 제3 포맷 컨버터(321)의 출력 신호를 제2 노이즈 제거부(323)에 제공할 수 있다.
제2 노이즈 제거부(323)는, 제3 셀렉터(230)의 출력 신호를 입력 받고, 제3 셀렉터(230)의 출력 신호의 노이즈를 제거하여, 제2 이미지 인핸서(325)에 제공할 수 있다. 제2 노이즈 제거부(323)는 제1 신호 프로세서(310)의 제1 노이즈 제거부(313)(도 3 참조)와 실질적으로 동일한 것일 수 있다.
제2 이미지 인핸서(325)는, 제2 노이즈 제거부(323)의 출력 신호를 입력 받고, 제2 이미지 신호(is2)의 품질을 향상시키기 위한 작업을 수행하여, 제4 셀렉터(240)에 제공할 수 있다. 제2 이미지 인핸서(325)는, 제1 신호 프로세서(310)의 제1 이미지 인핸서(315)(도 3 참조)와 실질적으로 동일한 것일 수 있다.
제1 조건(C1) 하에서, 제4 셀렉터(240)는, 선택 신호(SS)에 기초하여, 제2 이미지 인핸서(325)의 출력 신호를 제4 포맷 컨버터(327)에 제공할 수 있다.
제4 포맷 컨버터(327)는, 제2 이미지 인핸서(325)의 출력 신호의 포맷을 변환하여, 제1 이미지 생성부(400)에 제공할 수 있다. 제4 포맷 컨버터(327)는, 제1 신호 프로세서(310)의 제2 포맷 컨버터(317)(도 3 참조)와 실질적으로 동일한 것일 수 있다.
선택 신호(SS)가 제2 조건(C2)에 상응하는 정보를 포함하는 경우, 제1 셀렉터(210)의 출력 신호(isa)는 제3 이미지 신호(is3)일 수 있다. 이 경우, 제2 셀렉터(220)와 제3 셀렉터(230)는, 선택 신호(SS)에 기초하여, 제3 이미지 신호(is3)를 제2 노이즈 제거부(323)에 제공할 수 있다. 제3 카메라 모듈(1113)의 제3 이미지 센서(1031)는 흑백 이미지 센서일 수 있다. 따라서, 제3 이미지 신호(is3)는, 제3 포맷 컨버터(321)에 의한 포맷 변환 작업이 불필요할 수 있다.
제2 노이즈 제거부(323)는, 제3 이미지 신호(is3)를 입력 받고, 제3 이미지 신호(is3)의 노이즈를 제거하여 제2 이미지 인핸서(325)에 제공할 수 있다. 제2 이미지 인핸서(325)는, 제2 노이즈 제거부(323)의 출력 신호를 입력 받고, 제2 노이즈 제거부(323)의 출력 신호의 품질을 향상시키기 위한 작업을 수행하여, 제4 셀렉터(240)에 제공할 수 있다.
제2 조건(C2) 하에서, 제4 셀렉터(240)는, 선택 신호(SS)에 기초하여, 제2 이미지 인핸서(325)의 출력 신호를 제5 셀렉터(250)에 제공할 수 있다. 제2 조건(C2) 하에서, 제5 셀렉터(250)는, 선택 신호(SS)에 기초하여, 제2 이미지 인핸서(325)의 출력 신호를 출력 신호(isb)로 출력할 수 있다. 즉, 제3 이미지 신호(is3)는, 제4 포맷 컨버터(327)에 의한 포맷 변환 작업이 불필요할 수 있다.
다시 도 1을 참조하면, 제1 이미지 생성부(400)는, 제1 신호 프로세서(310)의 출력 신호(is1a)와 제2 신호 프로세서(320)의 출력 신호(isb)를 이용하여, 이미지 프로세싱을 수행하고, 출력 이미지(io)를 생성할 수 있다.
도 5는 도 1의 제1 이미지 생성부(400)에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 5를 참조하면, 제1 이미지 생성부(400)는, 깊이 정보 생성 유닛(410), 제1 출력 이미지 생성 유닛(420), 제2 출력 이미지 생성 유닛(430) 및 제3 출력 이미지 생성 유닛(440)을 포함할 수 있다. 몇몇 실시예에서, 제1 이미지 생성부(400)가 수행하는 이미지 프로세싱은, 깊이 정보 생성 유닛(410), 제1 출력 이미지 생성 유닛(420), 제2 출력 이미지 생성 유닛(430) 및 제3 출력 이미지 생성 유닛(440)을 이용하여, 두 개의 이미지 신호(isb, is1a)를 하나의 이미지(예를 들어, io1 또는 io2)로 생성하는 것을 포함할 수 있다.
깊이 정보 생성 유닛(410)은, 두 개의 이미지 신호(isb, is1a)를 입력 받고, 깊이 정보(is_410a)와 대응 거리(disparity) 정보(is_410b)를 출력할 수 있다.
도 6은 도 5의 제1 이미지 생성부(400)의 깊이 정보 생성 유닛(410)에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 6을 참조하면, 깊이 정보 생성 유닛(410)은, 조정 유닛(411), 대응 거리 정보 생성부(413), 및 깊이 정보 생성부(415)를 포함할 수 있다.
두 개의 이미지 신호(isb, is1a) 각각은, 조정 유닛(411)으로 입력될 수 있다. 두 개의 이미지 신호(isb, is1a)에 대응하여, 조정 유닛(411)은 두 개가 배치될 수 있다. 조정 유닛(411)은, 두 개의 이미지 신호(isb, is1a) 각각의 뒤틀림을 보정하는, 교정(rectification) 작업을 수행할 수 있다. 즉, 조정 유닛(411)은, 두 개의 이미지 신호(isb, is1a)가, 행-정렬(row-aligned)되도록 교정할 수 있다. 조정 유닛(411)은, 교정 작업 과정에서, 예를 들어, 제1 내지 제3 카메라 모듈(1111, 1112, 1113)의 제1 내지 제3 기억 장치(1012, 1022, 1032)에 저장된 캘리브레이션 데이터 등을 이용할 수 있다.
조정 유닛(411) 각각의 출력은, 대응 거리 정보 생성부(413)로 입력될 수 있다. 대응 거리 정보 생성부(413)는, 조정 유닛(411)의 출력 신호 각각에서 대응점들을 찾아, 두 개의 이미지 신호(isb, is1a)가 교정된 조정 유닛(411)의 출력 신호의 대응 거리(disparity)를 계산할 수 있다. 대응 거리 정보 생성부(413)는, 대응 거리 정보(is_410b)를 출력할 수 있다. 대응 거리 정보(is_410b)는 예를 들어, 대응 거리 맵(disparity map)일 수 있다.
대응 거리 정보(is_410b)는, 깊이(depth) 정보 생성부(415)로 제공될 수 있다. 깊이 정보 생성부(415)는, 대응 거리 정보(is_410b)를 거리로 환산하여, 깊이 정보(is_410a)를 생성할 수 있다. 깊이 정보(is_410a)는, 예를 들어, 뎁스 맵(depth map)일 수 있다.
다시 도 5를 참조하면, 제1 출력 이미지 생성 유닛(420)은, 제1 신호 프로세서(310)의 출력 신호(is1a)와 깊이 정보(is_410a)를 입력 받고, 제1 출력 이미지(io1)를 생성할 수 있다.
도 7은 도 5의 제1 이미지 생성부(400)의 제1 출력 이미지 생성 유닛(420)에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 7을 참조하면, 제1 출력 이미지 생성 유닛(420)은, 아웃 포커스(out focus) 유닛(421)을 포함할 수 있다. 아웃 포커스 유닛(421)은, 깊이 정보(is_410a)를 이용하여, 제1 신호 프로세서(310)의 출력 신호(is1a)를 제1 출력 이미지(io1)로 변환할 수 있다. 아웃 포커스 유닛(421)은, 예를 들어, 제1 신호 프로세서(310)의 출력 신호(is1a)에 대해, 아웃 포커싱(out focusing) 효과를 줄 수 있다.
다시 도 5를 참조하면, 제2 출력 이미지 생성 유닛(430)은, 두 개의 이미지 신호(isb, is1a)와 대응 거리 정보(is_410b)를 입력 받고, 제2 출력 이미지(io2)를 생성할 수 있다.
도 8은 도 5의 제1 이미지 생성부(400)의 제2 출력 이미지 생성 유닛(430)에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 8을 참조하면, 제2 출력 이미지 생성 유닛(430)은, 픽셀 맵핑부(pixel mapping unit)(431) 및 믹싱부(mixing unit)(433)를 포함할 수 있다. 픽셀 맵핑부(431)는, 대응 거리 정보(is_410b)를 이용하여, 두 개의 이미지 신호(isb, is1a)의 픽셀 맵(pixel map)을 생성할 수 있다. 믹싱부(433)는, 두 개의 이미지 신호(isb, is1a)를 입력 받고, 픽셀 맵핑부(431)의 출력을 이용해 두 개의 이미지 신호(isb, is1a)를 혼합(mixing)하여, 하나의 제2 출력 이미지(io2)를 생성할 수 있다.
다시 도 5를 참조하면, 제3 출력 이미지 생성 유닛(440)은, 선택 신호(SS)가 제1 조건(C1)에 상응하는 정보를 포함하는 경우, 제1 신호 프로세서(310)의 출력 신호(is1a)와 제2 신호 프로세서(320)의 출력 신호(isb) 중 어느 하나를 스케일링(scaling)하여 제3 출력 이미지(io3)를 생성할 수 있다. 예를 들어, 프로세서(도 1의 1120)가 모바일 폰에 내장된 어플리케이션 프로세서(AP)이고 선택 신호(도 1의 SS)가 제1 조건(도 1의 C1)에 상응하는 정보를 포함하는 경우, 사용자에게 줌(zoom) 모드가 지원될 수 있다.
배율(scale ratio)이 낮으면(즉, 제3 조건(C3)에서), 줌 셀렉터(zoom selector)(441)에 의해 제1 신호 프로세서(310)의 출력 신호(is1a)는 제3 출력 이미지 생성 유닛(440)으로 제공될 수 있다. 제3 출력 이미지 생성 유닛(440)은, 제1 신호 프로세서(310)의 출력 신호(is1a)를 스케일링하여, 제3 출력 이미지(io3)를 생성할 수 있다. 즉, 줌 선택 신호(SS_ZOOM)가 제3 조건(C3)에 상응하는 정보를 포함하는 경우, 줌 셀렉터(441)는 제1 신호 프로세서(310)의 출력 신호(is1a)를 제3 출력 이미지 생성 유닛(440)으로 제공할 수 있다. 이 때, 제3 조건(C3)은, 예를 들어, 제3 출력 이미지 생성 유닛(440)에 의해 생성된 제3 출력 이미지(io3)의 화각(angle of view)이 제2 이미지(도 1의 id2)의 화각 보다 작은 경우일 수 있다.
배율이 증가하여, 제3 출력 이미지 생성 유닛(440)에 의해 생성된 제3 출력 이미지(io3)의 화각(angle of view)이 제2 이미지(도 1의 id2)의 화각과 같거나 큰 경우(즉, 제4 조건(C4)에서), 줌 셀렉터(441)는 제2 신호 프로세서(320)의 출력 신호(isb)를 제3 출력 이미지 생성 유닛(440)으로 제공할 수 있다. 제3 출력 이미지 생성 유닛(440)은, 제2 신호 프로세서(320)의 출력 신호(isb)를 스케일링하여, 제3 출력 이미지(io3)를 생성할 수 있다. 즉, 줌 선택 신호(SS_ZOOM)가 제4 조건(C4)에 상응하는 정보를 포함하는 경우, 줌 셀렉터(441)는 제2 신호 프로세서(320)의 출력 신호(isb)를 제3 출력 이미지 생성 유닛(440)으로 제공할 수 있다. 이 때, 제4 조건(C4)은, 예를 들어, 제3 출력 이미지 생성 유닛(440)에 의해 생성된 제3 출력 이미지(io3)의 화각(angle of view)이 제2 이미지(도 1의 id2)의 화각과 같거나 큰 경우일 수 있다.
줌 선택 신호(SS_ZOOM)는, 예를 들어, 프로세서(도 1의 1120)가 모바일 폰에 내장된 어플리케이션 프로세서(AP)인 경우, 배율을 선택하는 사용자에 의해 결정되는 것일 수 있다. 예를 들어, 줌 선택 신호(SS_ZOOM)는, 줌 선택 신호 생성부에서 생성될 수 있다. 줌 선택 신호 생성부는, 사용자가 선택한 배율에 대한 정보를 이용하여, 줌 선택 신호(SS_ZOOM)를 생성할 수 있다. 줌 선택 신호 생성부는, 몇몇 실시예에서, 소프트웨어로 구현될 수 있다.
다시 도 1을 참조하면, 제1 이미지 생성부(400)의 출력인 출력 이미지(io)는, 제1 출력 이미지(io1)와 제2 출력 이미지(io2) 중 어느 하나일 수 있다. 예를 들어, 기설정된 이미지 시스템의 모드에 따라, 제1 출력 이미지(io1), 제2 출력 이미지(io2) 및 제3 출력 이미지(io3) 중 어느 하나가, 출력 이미지(io)로 출력될 수 있다. 예를 들어, 프로세서(1120)가 모바일 폰에 내장된 어플리케이션 프로세서(AP)인 경우, 사용자에 의해 선택된 모드에 따라, 제1 출력 이미지(io1), 제2 출력 이미지(io2) 및 제3 출력 이미지(io3) 중 어느 하나는, 모바일 폰의 액정 화면으로 출력될 수 있다.
이하에서, 도 9 및 도 10을 참조하여, 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치에 대해 설명한다. 설명의 명확성을 위해, 앞서 설명한 것과 중복되는 설명은 생략한다.
도 9는 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치의 예시적인 블록도이다. 도 10은 도 9의 제3 신호 프로세서(330)에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 9 및 도 10을 참조하면, 제3 신호 프로세서(330)는, 제2 이미지 신호(is2)와 제3 이미지 신호(is3) 중 어느 하나를 출력하는 제6 셀렉터(260)를 포함할 수 있다. 또한, 제3 신호 프로세서(330)는, 제3 포맷 컨버터(321), 제2 노이즈 제거부(323), 제2 이미지 인핸서(325), 제7 셀렉터(270), 제4 포맷 컨버터(327), 및 제8 셀렉터(280)를 포함할 수 있다. 제3 신호 프로세서(330)에는, 제6 내지 제8 셀렉터(260, 270, 280)에 입력되는 선택 신호(SS)가 입력될 수 있다.
제3 신호 프로세서(330)는, 제2 이미지 신호(is2)와 제3 이미지 신호(is3)를 입력 받을 수 있다. 제2 이미지 신호(is2)는, 제3 포맷 컨버터(321)를 통해 제6 셀렉터(260)에 입력될 수 있다. 제3 이미지 신호(is3)는, 제6 셀렉터(260)에 입력될 수 있다.
제6 셀렉터(260)는, 제1 조건(C1) 하에서, 선택 신호(SS)에 기초하여, 제3 포맷 컨버터(321)의 출력 신호를 출력할 수 있다. 또한, 제6 셀렉터(260)는, 제2 조건(C2) 하에서, 선택 신호(SS)에 기초하여, 제3 이미지 신호(is3)를 출력할 수 있다. 다시 말해서, 제6 셀렉터(260)는, 앞서 도 1을 참조하여 설명한 제1 셀렉터(도 1의 210)와 동일한 기능을 수행할 수 있다.
제6 셀렉터(260)의 출력 신호(isa)는, 제2 노이즈 제거부(323)와 제2 이미지 인핸서(325)를 거쳐, 제7 셀렉터(270)에 입력될 수 있다.
제7 셀렉터(270)는, 제1 조건(C1) 하에서, 선택 신호(SS)에 기초하여, 제4 포맷 컨버터(327)의 입력단과 제2 이미지 인핸서(325)의 출력단을 연결할 수 있다. 반면, 제7 셀렉터(270)는, 제2 조건(C2) 하에서, 선택 신호(SS)에 기초하여, 제2 이미지 인핸서(325)의 출력 신호를 제3 신호 프로세서(330)의 출력 신호(isb)로 출력할 수 있다.
이하에서, 도 11을 참조하여, 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치에 대해 설명한다. 설명의 명확성을 위해, 앞서 설명한 것과 중복되는 설명은 생략한다.
도 11은 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치의 예시적인 블록도이다.
도 11을 참조하면, 카메라 모듈(1110)은 제9 셀렉터(290)를 포함할 수 있다. 제9 셀렉터(290)는, 제2 이미지 신호(is2)와 제3 이미지 신호(is3) 중 어느 하나를 선택하여 출력 신호(isa)로 출력할 수 있다. 제9 셀렉터(290)는, 도 1을 참조하여 설명한 제1 셀렉터(도 1의 210)와 실질적으로 동일한 기능을 수행할 수 있다.
카메라 모듈(1110)은, 제1 이미지 신호(is1)와, 제9 셀렉터(290)의 출력 신호(isa)를 프로세서(1120)에 제공할 수 있다. 프로세서(1120)는, 제1 인터페이스(110), 제2 인터페이스(120), 및 이미지 프로세서(1121)를 포함할 수 있다. 이미지 프로세서(1121)는, 제1 신호 프로세서(310), 제2 신호 프로세서(320) 및 제1 이미지 생성부(400)를 포함할 수 있다.
이하에서, 도 12 및 도 13을 참조하여, 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치에 대해 설명한다. 설명의 명확성을 위해, 앞서 설명한 것과 중복되는 설명은 생략한다.
도 12는 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치의 예시적인 블록도이다. 도 13은 도 12의 제2 이미지 생성부(500)에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 12 및 도 13을 참조하면, 이미지 프로세서(1121)는, 제1 내지 제3 이미지 신호(is1 내지 is3)를 입력 받을 수 있다. 이미지 프로세서(1121)는, 제1 신호 프로세서(310), 제4 신호 프로세서(340), 제5 신호 프로세서(350), 및 제2 이미지 생성부(500)를 포함할 수 있다. 제2 이미지 생성부(500)는, 제4 신호 프로세서(340)의 출력 신호(is2a)와 제5 신호 프로세서(350)의 출력 신호(is3a)를 입력 받아, 선택 신호(SS)에 기초하여, 제4 신호 프로세서(340)의 출력 신호(is2a)와 제5 신호 프로세서(350)의 출력 신호(is3a) 중 어느 하나를 출력하는 제10 셀렉터(299)를 포함할 수 있다.
제4 신호 프로세서(340)는, 제2 인터페이스(120)를 통과한 제2 이미지 신호(is2)를 입력 받고, 제1 이미지 신호 프로세싱을 수행하여, 출력 신호(isa)를 출력할 수 있다. 제5 신호 프로세서(350)는, 제3 인터페이스(130)를 통과한 제3 이미지 신호(is3)를 입력 받고, 제1 이미지 신호 프로세싱을 수행하여, 출력 신호(is3a)를 출력할 수 있다. 제4 신호 프로세서(340)와 제5 신호 프로세서(350)는, 도 1 및 도 3을 참조하여 설명한 제1 신호 프로세서(도 1의 310)와 실질적으로 동일한 것일 수 있다.
제1 신호 프로세서(310)의 출력 신호(is1a), 제4 신호 프로세서(340)의 출력 신호(is2a) 및 제5 신호 프로세서(350)의 출력 신호(is3a)는, 제2 이미지 생성부(500)에 제공될 수 있다.
제2 이미지 생성부(500)에 포함된 제10 셀렉터(299)는, 도 1을 참조하여 설명한 제1 셀렉터(210)와 실질적으로 동일한 기능을 수행할 수 있다. 따라서, 제1 조건(C1) 하에서 출력 신호(isa)는 제4 신호 프로세서(340)의 출력 신호(is2a)일 수 있고, 제2 조건(C2) 하에서 출력 신호(isa)는 제5 신호 프로세서(350)의 출력 신호(is3a)일 수 있다.
깊이 정보 생성 유닛(410)은, 제10 셀렉터(299)의 출력 신호(isa)와 제1 신호 프로세서(310)의 출력 신호(is1a)를 입력 받고, 깊이 정보(is_410a) 및 대응 거리 정보(is_410b)를 생성할 수 있다. 제1 출력 이미지 생성 유닛(420)은, 제1 신호 프로세서(310)의 출력 신호(is1a)와 깊이 정보(is_410a)를 입력 받고, 제1 출력 이미지(io1)를 생성할 수 있다. 제2 출력 이미지 생성 유닛(430)은, 제1 신호 프로세서(310)의 출력 신호(is1a), 제10 셀렉터(299)의 출력 신호(isa) 및 대응 거리 정보(is_410b)를 입력 받고, 제2 출력 이미지(io2)를 생성할 수 있다. 제3 출력 이미지 생성 유닛(440)은, 줌 셀렉터(441)의 출력 신호를 이용하여, 제3 출력 이미지(io3)를 생성할 수 있다.
이하에서, 도 14를 참조하여, 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 방법에 대해 설명한다. 설명의 명확성을 위해, 앞서 설명한 것과 중복되는 설명은 생략한다.
도 14는 본 발명의 몇몇 실시예들에 따른 제1 셀렉터(도 1의 210), 제6 셀렉터(도 10의 260), 제9 셀렉터(도 11의 290) 및 제10 셀렉터(도 13의 299)의 동작을 설명하기 위한 순서도이다.
도 14를 참조하면, 제2 이미지 신호와 제3 이미지 신호를 제공받을 수 있다(S100).
구체적으로, 예를 들어, 셀렉터(도 1의 210, 도 10의 260, 도 11의 290, 도 13의 299)는 제2 카메라 모듈(도 1, 도 9, 도 11 및 도 12의 1112)로부터 생성된 제2 이미지 신호(is2)와, 제3 카메라 모듈(도 1, 도 9, 도 11 및 도 12의 1113)로부터 생성된 제3 이미지 신호(is3)를 제공 받을 수 있다.
단계(S200)에서, 조도와 기결정된 값의 비교가 수행될 수 있다. 조도가 기결정된 값보다 크거나 같으면 (즉, 제1 조건(C1)인 경우), 단계(S300)에서, 셀렉터(도 1의 210, 도 10의 260, 도 11의 290, 도 13의 299)은 제2 이미지 신호(is2)를 출력할 수 있다. 조도가 기결정된 값보다 작으면 (즉, 제2 조건(C2)인 경우), 단계(S400)에서, 셀렉터(도 1의 210, 도 10의 260, 도 11의 290, 도 13의 299)은 제3 이미지 신호(is3)를 출력할 수 있다.
이미지 프로세서(1121)는 제1 이미지 신호(is1)와 셀렉터(도 1의 210, 도 10의 260, 도 11의 290, 도 13의 299)의 출력 신호를 이용하여, 출력 이미지(io)를 생성하는 것을 포함할 수 있다.
본 발명의 기술적 사상에 따른 이미지 프로세싱 장치는, 제2 이미지 신호(is2)와 제3 이미지 신호(is3) 중 어느 하나를 선택하여 출력하는 셀렉터(도 1의 210, 도 10의 260, 도 11의 290, 도 13의 299)을 포함할 수 있다.
제1 조건(C1)의 경우, 셀렉터(도 1의 210, 도 10의 260, 도 11의 290, 도 13의 299)는 제2 이미지 신호(is2)(또는 제4 신호 프로세서(도 12의 340)의 출력 신호(is2a))를 선택하여 출력할 수 있다. 이미지 프로세서(1121)는, 제1 카메라 모듈(도 1, 도 9, 도 11 및 도 12의 1111)로부터 생성된 제1 이미지 신호(is1)와 제2 카메라 모듈(도 1, 도 9, 도 11 및 도 12의 1112)로부터 생성된 제2 이미지 신호(is2)를 이용하여 출력 이미지(io)를 생성할 수 있다. 제1 카메라 모듈 (도 1, 도 9, 도 11 및 도 12의 1111)의 제1 렌즈(L1)는 광각 렌즈이고, 제2 카메라 모듈(도 1, 도 9, 도 11 및 도 12의 1112)의 제2 렌즈(L2)는 망원 렌즈일 수 있다. 따라서, 조도가 비교적 높은 경우, 이미지 프로세싱 장치의 줌 동작 성능이 향상될 수 있다.
제2 조건(C2)의 경우, 셀렉터(도 1의 210, 도 10의 260, 도 11의 290, 도 13의 299)는 제3 이미지 신호(is3)(또는 제5 신호 프로세서(도 12의 350)의 출력 신호(is3a))를 선택하여 출력할 수 있다. 프로세서(1120)는, 제1 카메라 모듈(도 1, 도 9, 도 11 및 도 12의 1111)로부터 생성된 제1 이미지 신호(is1)와 제3 카메라 모듈(도 1, 도 9, 도 11 및 도 12의 1113)로부터 생성된 제3 이미지 신호(is3)를 이용하여 출력 이미지(io)를 생성할 수 있다. 제1 카메라 모듈(도 1, 도 9, 도 11 및 도 12의 1111)의 제1 이미지 센서(1011)는 컬러 이미지 센서이고, 제3 카메라 모듈(도 1, 도 9, 도 11 및 도 12의 1113)의 제3 이미지 센서(1031)는 흑백 이미지 센서일 수 있다. 조도가 비교적 낮은 경우, 흑백 이미지 센서는 이미지에 대한 감도(sensitivity)가 컬러 이미지 센서에 비해 높을 수 있다. 따라서, 조도가 비교적 낮은 경우, 이미지 프로세싱 장치의 출력 이미지(io)의 품질은 향상될 수 있다.
이하에서, 도 15 및 도 16을 참조하여 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치를 포함하는 이미지 시스템에 대해 설명한다.
도 15는 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치를 포함하는 이미지 시스템의 예시적인 블록도이다. 도 16은 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치를 포함하는 이미지 시스템의 일부분을 도시한 예시적인 블록도이다.
도 15를 참조하면, 이미지 시스템은, 카메라 모듈(1110), 프로세서(1120), 기억 장치(1130), 인터페이스(1140) 및 버스(1150, bus)를 포함할 수 있다. 카메라 모듈(1110), 프로세서(1120), 기억 장치(1130) 및/또는 인터페이스(1140)는 버스(1150)를 통하여 서로 접속될 수 있다. 버스(1150)는, 카메라 모듈(1110), 프로세서(1120), 기억 장치(1130), 및/또는 인터페이스(1140) 사이의 데이터들이 이동되는 통로(path)에 해당할 수 있다.
기억 장치(1130)는 데이터 및/또는 명령어등을 저장할 수 있다. 인터페이스(1140)는 통신 네트워크로 데이터를 전송하거나 통신 네트워크로부터 데이터를 수신하는 기능을 수행할 수 있다. 인터페이스(1140)는 유선 또는 무선 형태일 수 있다. 예컨대, 인터페이스(1140)는 안테나 또는 유무선 트랜시버등을 포함할 수 있다.
도시하지 않았지만, 이미지 시스템은 카메라 모듈(1110)과 프로세서(1120)의 동작을 향상시키기 위한 동작 메모리로서, 고속의 DRAM 및/또는 SRAM 등을 더 포함할 수도 있다.
이미지 시스템은 개인 휴대용 정보 단말기(PDA, personal digital assistant) 포터블 컴퓨터(portable computer), 웹 타블렛(web tablet), 무선 전화기(wireless phone), 모바일 폰(mobile phone), 또는 정보를 무선환경에서 송신 및/또는 수신할 수 있는 모든 전자 제품에 적용될 수 있다.
몇몇 실시예에서, 이미지 시스템은, 모바일 폰에 적용될 수 있다. 예를 들어, 도 16을 참조하면, 프로세서(1120)와 인터페이스(1140)는, 기판(1100) 상에 배치되어 하나의 보드(board) 형태로 구현될 수 있다. 카메라 모듈(1110)은, 인터페이스(1140)를 통해 프로세서(1120)와 통신할 수 있다. 기판(1100)은, 예를 들어, 모바일 폰의 기판일 수 있다. 프로세서(1120)는, 예를 들어, 모바일 폰에 내장된 어플리케이션 프로세서(AP; Application Processor)일 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
1110: 카메라 모듈 1120: 프로세서
L1: 제1 렌즈 1011: 제1 이미지 센서
210: 제1 셀렉터 400: 제1 이미지 생성부

Claims (30)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 제1 렌즈와, 제1 이미지 센서를 포함하고, 제1 이미지 신호를 출력하는 제1 카메라 모듈;
    제2 렌즈와, 제2 이미지 센서를 포함하고, 제2 이미지 신호를 출력하는 제2 카메라 모듈;
    제3 렌즈와, 제3 이미지 센서를 포함하고, 제3 이미지 신호를 출력하는 제3 카메라 모듈; 및
    제1 CSI(Camera Seiral Interface)를 통해 상기 제1 이미지 신호를 수신하고, 제2 CSI를 통해 상기 제2 이미지 신호를 수신하고, 제3 CSI를 통해 상기 제3 이미지 신호를 수신하는 어플리케이션 프로세서를 포함하되,
    상기 어플리케이션 프로세서는, 제1 셀렉터와, 서로 분리된 제1 및 제2 이미지 신호 프로세서를 포함하고,
    상기 제1 셀렉터는 상기 제2 이미지 신호와 상기 제3 이미지 신호를 제공받아 상기 제2 이미지 신호와 상기 제3 이미지 신호 중 어느 하나를 선택하고,
    상기 제1 이미지 신호 프로세서는 상기 제1 이미지 신호를 제공받고, 제1 이미지 신호 처리를 수행하여 제1 이미지 출력 신호를 생성하고,
    상기 제1 이미지 신호 프로세서는 상기 제1 카메라 모듈과 연결되어 상기 제1 이미지 신호를 수신하고, 상기 제2 이미지 신호 또는 상기 제3 이미지 신호를 수신하지 않고,
    상기 제2 이미지 신호 프로세서는 상기 제1 셀렉터에 의해 선택된 상기 제2 이미지 신호와 상기 제3 이미지 신호 중 어느 하나를 제공받고, 제2 이미지 신호 처리를 수행하여 제2 이미지 출력 신호를 생성하는 모바일 폰.
  12. 제11항에 있어서,
    상기 제2 카메라 모듈의 상기 제2 렌즈는 제1 타입의 렌즈이고, 상기 제3 카메라 모듈의 상기 제3 렌즈는 상기 제1 타입과 다른 제2 타입의 렌즈인 모바일 폰.
  13. 제11항에 있어서,
    상기 제1 이미지 신호 프로세는 상기 제2 이미지 신호 프로세서와 다른 모바일 폰.
  14. 제11항에 있어서,
    상기 어플리케이션 프로세서는, 상기 제1 및 제2 이미지 출력 신호를 제공받아 깊이 정보를 출력하는 깊이 정보 생성 유닛을 더 포함하는 모바일 폰.
  15. 제14항에 있어서,
    상기 어플리케이션 프로세서는, 상기 제1 이미지 출력 신호와 상기 깊이 정보를 제공받아 제1 출력 이미지를 생성하는 제1 출력 이미지 생성 유닛을 더 포함하는 모바일 폰.
  16. 삭제
  17. 제15항에 있어서,
    상기 어플리케이션 프로세서는, 상기 제1 이미지 출력 신호와 상기 제2 이미지 출력 신호 중 어느 하나를 제공받고, 제공받은 상기 제1 이미지 출력 신호와 상기 제2 이미지 출력 신호 중 어느 하나를 스케일링하여 제3 출력 이미지를 생성하는 제3 출력 이미지 생성 유닛을 더 포함하는 모바일 폰.
  18. 삭제
  19. 삭제
  20. 삭제
  21. 제1 렌즈와, 제1 이미지 센서를 포함하고, 제1 이미지 신호를 출력하는 제1 카메라 모듈;
    제2 렌즈와, 제2 이미지 센서를 포함하고, 제2 이미지 신호를 출력하는 제2 카메라 모듈;
    제3 렌즈와, 제3 이미지 센서를 포함하고, 제3 이미지 신호를 출력하는 제3 카메라 모듈; 및
    제1 CSI(Camera Serial Interface)를 통해 상기 제1 이미지 신호를 수신하고, 제2 CSI를 통해 상기 제2 이미지 신호를 수신하고, 제3 CSI를 통해 상기 제3 이미지 신호를 수신하는 어플리케이션 프로세서를 포함하되,
    상기 어플리케이션 프로세서는, 제1 셀렉터와, 서로 분리된 제1 및 제2 이미지 신호 프로세서를 포함하고,
    상기 제1 셀렉터는 상기 제2 이미지 신호와 상기 제3 이미지 신호를 제공받아 상기 제2 이미지 신호와 상기 제3 이미지 신호 중 어느 하나를 선택하고,
    상기 제1 이미지 신호 프로세서는 상기 제1 이미지 신호를 제공받고, 제1 이미지 신호 처리를 수행하여 제1 이미지 출력 신호를 생성하고,
    상기 제1 이미지 신호 프로세서는 상기 제1 카메라 모듈과 연결되어 상기 제1 이미지 신호를 수신하고, 상기 제2 이미지 신호 또는 상기 제3 이미지 신호를 수신하지 않고,
    상기 제2 이미지 신호 프로세서는 상기 제1 셀렉터에 의해 선택된 상기 제2 이미지 신호와 상기 제3 이미지 신호 중 어느 하나를 제공받고, 제2 이미지 신호 처리를 수행하여 제2 이미지 출력 신호를 생성하고,
    상기 제1 렌즈는 상기 제2 렌즈와 상기 제3 렌즈 사이에 배치되는 모바일 폰.
  22. 제21항에 있어서,
    상기 제2 카메라 모듈의 상기 제2 렌즈는 제1 타입의 렌즈이고, 상기 제3 카메라 모듈의 상기 제3 렌즈는 상기 제1 타입과 다른 제2 타입의 렌즈이되, 상기 제1 타입의 렌즈는 상기 제2 타입의 렌즈보다 광각(wide angle)인 모바일 폰.
  23. 삭제
  24. 삭제
  25. 제21항에 있어서,
    상기 제1 카메라 모듈에 배치되고, 상기 제1 카메라 모듈에 대한 제1 캘리브레이션 데이터를 저장하는 제1 기억 장치;
    상기 제2 카메라 모듈에 배치되고, 상기 제2 카메라 모듈에 대한 제2 캘리브레이션 데이터를 저장하는 제2 기억 장치; 및
    상기 제3 카메라 모듈에 배치되고, 상기 제3 카메라 모듈에 대한 제3 캘리브레이션 데이터를 저장하는 제3 기억 장치를 더 포함하고,
    상기 제1 내지 제3 카메라 모듈은 상기 어플리케이션 프로세서와 물리적으로 분리되는 모바일 폰.
  26. 제25항에 있어서,
    상기 어플리케이션 프로세서는,
    상기 제1 기억 장치에 저장된 상기 제1 캘리브레이션 데이터를 이용하여 상기 제1 이미지 신호를 프로세싱하고,
    상기 제2 기억 장치에 저장된 상기 제2 캘리브레이션 데이터와 상기 제3 기억 장치에 저장된 상기 제3 캘리브레이션 데이터 중 어느 하나를 이용하여 상기 제2 이미지 신호와 상기 제3 이미지 신호 중 어느 하나를 프로세싱하는 제1 이미지 생성부를 더 포함하는 모바일 폰.
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
KR1020170069040A 2017-06-02 2017-06-02 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법 Active KR102204596B1 (ko)

Priority Applications (16)

Application Number Priority Date Filing Date Title
KR1020170069040A KR102204596B1 (ko) 2017-06-02 2017-06-02 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법
US15/844,205 US10348978B2 (en) 2017-06-02 2017-12-15 Processor selecting between image signals in response to illuminance condition, image processing device including same, and related method for image processing
TW108121401A TWI811386B (zh) 2017-06-02 2018-03-06 應用處理器
TW107107370A TWI796323B (zh) 2017-06-02 2018-03-06 手機及影像處理裝置
TW108121399A TWI720516B (zh) 2017-06-02 2018-03-06 應用處理器
CN202010581303.2A CN111787220B (zh) 2017-06-02 2018-05-28 应用处理器
CN201910488444.7A CN110113519A (zh) 2017-06-02 2018-05-28 照相机模块
CN201910487817.9A CN110225232B (zh) 2017-06-02 2018-05-28 图像处理装置
CN201810523612.7A CN108989655B (zh) 2017-06-02 2018-05-28 图像处理装置
CN201910488440.9A CN110149468A (zh) 2017-06-02 2018-05-28 应用处理器
CN201910487816.4A CN110149467B (zh) 2017-06-02 2018-05-28 移动电话
US16/427,122 US10666876B2 (en) 2017-06-02 2019-05-30 Application processor that processes multiple images to generate a single image, and includes a depth image generator configured to generate depth information based on disparity information and to configured to correct distortion by row alignment
US16/427,127 US10708517B2 (en) 2017-06-02 2019-05-30 Image processing device that generates and selects between multiple image signals based on zoom selection
US16/427,116 US10805555B2 (en) 2017-06-02 2019-05-30 Processor that processes multiple images to generate a single image, image processing device including same, and method for image processing
US16/427,121 US10798312B2 (en) 2017-06-02 2019-05-30 Cellular phone including application processor the generates image output signals based on multiple image signals from camera modules and that performs rectification to correct distortion in the image output signals
US16/888,673 US11153506B2 (en) 2017-06-02 2020-05-30 Application processor including multiple camera serial interfaces receiving image signals from multiple camera modules

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170069040A KR102204596B1 (ko) 2017-06-02 2017-06-02 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법

Publications (2)

Publication Number Publication Date
KR20180132299A KR20180132299A (ko) 2018-12-12
KR102204596B1 true KR102204596B1 (ko) 2021-01-19

Family

ID=64460847

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170069040A Active KR102204596B1 (ko) 2017-06-02 2017-06-02 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법

Country Status (4)

Country Link
US (6) US10348978B2 (ko)
KR (1) KR102204596B1 (ko)
CN (6) CN110149468A (ko)
TW (3) TWI796323B (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7065997B2 (ja) * 2018-03-20 2022-05-12 華為技術有限公司 端末
CN111885294B (zh) 2018-03-26 2022-04-22 华为技术有限公司 一种拍摄方法、装置与设备
US11108995B2 (en) * 2018-09-11 2021-08-31 Draeger Medical Systems, Inc. System and method for gas detection
CN112788201A (zh) * 2019-11-07 2021-05-11 虹软科技股份有限公司 摄像系统
KR20220049871A (ko) * 2020-10-15 2022-04-22 삼성전자주식회사 카메라 모듈 및 이를 포함하는 전자 장치
CN112233037B (zh) * 2020-10-23 2021-06-11 新相微电子(上海)有限公司 基于图像分割的图像增强系统及方法
CN113726995B (zh) * 2021-08-12 2022-06-10 荣耀终端有限公司 摄像模组结构及电子设备
US12207002B2 (en) * 2022-05-26 2025-01-21 Texas Instruments Incorporated Integrated circuit with multi-application image processing
CN115915863A (zh) * 2022-12-28 2023-04-04 湖北长江新型显示产业创新中心有限公司 显示模组和显示装置

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH068869A (ja) 1991-01-29 1994-01-18 Kouta Nezu 車両の操向装置
US5347476A (en) * 1992-11-25 1994-09-13 Mcbean Sr Ronald V Instrumentation system with multiple sensor modules
US7071971B2 (en) * 1997-08-25 2006-07-04 Elbex Video Ltd. Apparatus for identifying the scene location viewed via remotely operated television camera
JP2001245266A (ja) 2000-02-25 2001-09-07 Matsushita Electric Ind Co Ltd 携帯型情報通信端末装置
JP2003018445A (ja) 2001-07-05 2003-01-17 Fuji Photo Film Co Ltd 画像撮像装置
JP4210189B2 (ja) 2003-09-24 2009-01-14 フジノン株式会社 撮像装置
JP2005099265A (ja) * 2003-09-24 2005-04-14 Fujinon Corp 撮像装置および撮像方法、ならびに測距方法
FI117843B (fi) * 2004-08-02 2007-03-15 Nokia Corp Elektroninen laite ja menetelmä elektronisessa laitteessa kuvainformaation muodostamiseksi ja vastaava ohjelmatuote
US7561191B2 (en) 2005-02-18 2009-07-14 Eastman Kodak Company Camera phone using multiple lenses and image sensors to provide an extended zoom range
US7284921B2 (en) * 2005-05-09 2007-10-23 Silverbrook Research Pty Ltd Mobile device with first and second optical pathways
US7964835B2 (en) * 2005-08-25 2011-06-21 Protarius Filo Ag, L.L.C. Digital cameras with direct luminance and chrominance detection
US9101279B2 (en) * 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
EP1942660A1 (en) * 2007-01-02 2008-07-09 STMicroelectronics (Research & Development) Limited Improvements in image sensor noise reduction
US7676146B2 (en) * 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
US7855740B2 (en) * 2007-07-20 2010-12-21 Eastman Kodak Company Multiple component readout of image sensor
CN101408720A (zh) * 2007-10-11 2009-04-15 鸿富锦精密工业（深圳）有限公司 便携式电子装置
US8179452B2 (en) * 2008-12-31 2012-05-15 Lg Electronics Inc. Method and apparatus for generating compressed file, and terminal comprising the apparatus
JP2012521673A (ja) 2009-03-19 2012-09-13 フレクストロニクス エイピー エルエルシー デュアルセンサカメラ
JP5220666B2 (ja) * 2009-03-24 2013-06-26 オリンパスイメージング株式会社 撮影装置およびライブビュー表示方法
US9460601B2 (en) * 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
JP5658451B2 (ja) * 2009-11-30 2015-01-28 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
CN102118551A (zh) * 2009-12-31 2011-07-06 鸿富锦精密工业（深圳）有限公司 成像装置
EP2526686A4 (en) * 2010-01-19 2013-11-20 Delacom Detection Systems Llc METHOD, DEVICE AND SYSTEM FOR DETERMINING THE PRESENCE OF VOLATILE ORGANIC COMPOUNDS IN VIDEO CONTENT
US8736695B2 (en) * 2010-11-12 2014-05-27 Qualcomm Incorporated Parallel image processing using multiple processors
JP5816015B2 (ja) 2011-07-15 2015-11-17 株式会社東芝 固体撮像装置及びカメラモジュール
US9110332B2 (en) 2012-03-29 2015-08-18 Shenzhen China Star Optoelectronics Technology Co., Ltd. Backlight module and liquid crystal display
US9568985B2 (en) * 2012-11-23 2017-02-14 Mediatek Inc. Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method
CN116405747A (zh) * 2012-11-28 2023-07-07 核心光电有限公司 多孔径成像系统以及通过多孔径成像系统获取图像的方法
JP6100089B2 (ja) * 2013-05-17 2017-03-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6139713B2 (ja) 2013-06-13 2017-05-31 コアフォトニクス リミテッド デュアルアパーチャズームデジタルカメラ
US9544574B2 (en) * 2013-12-06 2017-01-10 Google Inc. Selecting camera pairs for stereoscopic imaging
US20150334309A1 (en) * 2014-05-16 2015-11-19 Htc Corporation Handheld electronic apparatus, image capturing apparatus and image capturing method thereof
CN105338338B (zh) * 2014-07-17 2018-01-02 诺基亚技术有限公司 用于成像条件检测的方法和装置
KR102157675B1 (ko) * 2014-07-25 2020-09-18 삼성전자주식회사 촬영 장치 및 그 촬영 방법
US9392188B2 (en) * 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
TWM511632U (zh) * 2015-02-03 2015-11-01 Largan Precision Co Ltd 相機模組及電子裝置
KR102359268B1 (ko) * 2015-02-16 2022-02-08 삼성전자주식회사 복수의 센서 데이터를 처리하는 데이터 처리 장치 및 상기 장치를 포함하는 데이터 처리 시스템
KR102459917B1 (ko) * 2015-02-23 2022-10-27 삼성전자주식회사 이미지 신호 프로세서와 이를 포함하는 장치들
KR102195407B1 (ko) * 2015-03-16 2020-12-29 삼성전자주식회사 이미지 신호 프로세서와 이를 포함하는 장치들
US10708526B2 (en) * 2015-04-22 2020-07-07 Motorola Mobility Llc Method and apparatus for determining lens shading correction for a multiple camera device with various fields of view
CN106067937A (zh) * 2015-04-23 2016-11-02 聚晶半导体股份有限公司 镜头模块阵列、图像感测装置与数字缩放图像融合方法
KR102480600B1 (ko) * 2015-10-21 2022-12-23 삼성전자주식회사 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법
KR102446442B1 (ko) * 2015-11-24 2022-09-23 삼성전자주식회사 디지털 촬영 장치 및 그 동작 방법
CN211825673U (zh) * 2015-12-07 2020-10-30 菲力尔系统公司 成像装置
KR101751140B1 (ko) * 2015-12-24 2017-06-26 삼성전기주식회사 이미지 센서 및 카메라 모듈
KR102560780B1 (ko) * 2016-10-05 2023-07-28 삼성전자주식회사 복수의 이미지 센서를 포함하는 이미지 처리 시스템 및 그것을 포함하는 전자 장치
CN106454101A (zh) * 2016-10-25 2017-02-22 宇龙计算机通信科技(深圳)有限公司 一种图像处理方法和终端

Also Published As

Publication number Publication date
US10708517B2 (en) 2020-07-07
TWI720516B (zh) 2021-03-01
TW201937449A (zh) 2019-09-16
US11153506B2 (en) 2021-10-19
TW201903707A (zh) 2019-01-16
CN110225232A (zh) 2019-09-10
US10666876B2 (en) 2020-05-26
US20200296299A1 (en) 2020-09-17
TW201937448A (zh) 2019-09-16
CN110113519A (zh) 2019-08-09
CN108989655B (zh) 2022-03-22
US10348978B2 (en) 2019-07-09
US20190281232A1 (en) 2019-09-12
TWI796323B (zh) 2023-03-21
US10798312B2 (en) 2020-10-06
CN110149467B (zh) 2021-02-09
US20190281230A1 (en) 2019-09-12
US20190281231A1 (en) 2019-09-12
KR20180132299A (ko) 2018-12-12
CN111787220B (zh) 2022-03-22
US20180352169A1 (en) 2018-12-06
CN108989655A (zh) 2018-12-11
US20190289222A1 (en) 2019-09-19
CN110225232B (zh) 2022-01-04
CN110149467A (zh) 2019-08-20
CN111787220A (zh) 2020-10-16
US10805555B2 (en) 2020-10-13
TWI811386B (zh) 2023-08-11
CN110149468A (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
KR102204596B1 (ko) 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법
KR102480600B1 (ko) 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법
US10762664B2 (en) Multi-camera processor with feature matching
US11659294B2 (en) Image sensor, imaging apparatus, electronic device, image processing system, and signal processing method
US11468539B2 (en) Image processing device and imaging device
US12198387B2 (en) Application processor including neural processing unit and operating method thereof
US8289420B2 (en) Image processing device, camera device, image processing method, and program
US20050225807A1 (en) Methods and systems for anti shading correction in image sensors
KR101626447B1 (ko) 렌즈 왜곡과 색수차를 보정하는 장치, 방법, 및 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 매체
KR102412020B1 (ko) 이미지 센서의 파라미터 제어 방법
US20240259680A1 (en) Electronic device acquiring image through image sensor, and operating method thereof
US20230319412A1 (en) Electronic apparatus having optical zoom camera, camera optical zoom method, unit, and memory

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170602

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20191216

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20170602

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20201029

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210106

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210113

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210114

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20231226

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20241226

Start annual number: 5

End annual number: 5