[go: up one dir, main page]

KR102636272B1 - 영상 촬상 장치 및 이를 포함하는 전자 시스템 - Google Patents

영상 촬상 장치 및 이를 포함하는 전자 시스템 Download PDF

Info

Publication number
KR102636272B1
KR102636272B1 KR1020160095081A KR20160095081A KR102636272B1 KR 102636272 B1 KR102636272 B1 KR 102636272B1 KR 1020160095081 A KR1020160095081 A KR 1020160095081A KR 20160095081 A KR20160095081 A KR 20160095081A KR 102636272 B1 KR102636272 B1 KR 102636272B1
Authority
KR
South Korea
Prior art keywords
interest
region
image
adjustment
automatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020160095081A
Other languages
English (en)
Other versions
KR20180012161A (ko
Inventor
김덕수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160095081A priority Critical patent/KR102636272B1/ko
Priority to US15/658,479 priority patent/US10321021B2/en
Publication of KR20180012161A publication Critical patent/KR20180012161A/ko
Priority to US16/411,222 priority patent/US10511746B2/en
Priority to US16/656,258 priority patent/US10880456B2/en
Priority to US16/677,718 priority patent/US11122186B2/en
Priority to US17/386,608 priority patent/US11570333B2/en
Application granted granted Critical
Publication of KR102636272B1 publication Critical patent/KR102636272B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

영상 촬상 장치는 제1 및 제2 카메라들과 제1 및 제2 영상 신호 프로세서들을 포함한다. 제1 및 제2 카메라들은 피사체에 대한 제1 및 제2 영상들을 획득한다. 제1 영상 신호 프로세서는 제1 영상 내의 제1 관심 영역에 기초하여 제1 카메라에 대한 제1 자동 초점 조절, 제1 자동 화이트 밸런스 조절 및 제1 자동 노출 조절을 수행하고, 제1 자동 초점 조절의 결과에 기초하여 피사체와 제1 카메라 사이의 제1 거리를 획득한다. 제2 영상 신호 프로세서는 제1 거리에 기초하여 제1 및 제2 영상들에 대한 제1 디스패리티(disparity) 정보를 연산하고, 제1 디스패리티 정보에 기초하여 제2 영상 내의 제2 관심 영역을 이동시키며, 이동된 제2 관심 영역에 기초하여 제2 카메라에 대한 제2 자동 초점 조절, 제2 자동 화이트 밸런스 조절 및 제2 자동 노출 조절을 수행한다.

Description

영상 촬상 장치 및 이를 포함하는 전자 시스템{IMAGE PICKUP DEVICE AND ELECTRONIC SYSTEM INCLUDING THE SAME}
본 발명은 영상 획득 및 처리에 관한 것으로서, 더욱 상세하게는 영상 촬상 장치 및 상기 영상 촬상 장치를 포함하는 전자 시스템에 관한 것이다.
카메라와 같은 영상 촬상 장치가 다양한 종류의 전자 시스템 및 모바일 시스템에 적용되고 있다. 최근에는 두 개의 카메라들을 포함하여 구현되는 듀얼 카메라 시스템 또는 세 개 이상의 카메라들을 포함하여 구현되는 멀티 카메라 시스템 등에 대한 연구가 활발하게 진행되고 있다. 상기와 같이 복수의 카메라들을 포함하는 시스템에서 획득되는 영상의 품질 저하를 방지하기 위한 다양한 방식들이 연구되고 있다.
본 발명의 일 목적은 복수의 카메라들의 동기화를 효율적으로 수행할 수 있는 영상 촬상 장치를 제공하는 것이다.
본 발명의 다른 목적은 상기 영상 촬상 장치를 포함하는 전자 시스템을 제공하는 것이다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 영상 촬상 장치는 제1 카메라, 제2 카메라, 제1 영상 신호 프로세서 및 제2 영상 신호 프로세서를 포함한다. 상기 제1 카메라는 피사체에 대한 제1 영상을 획득한다. 상기 제2 카메라는 상기 피사체에 대한 제2 영상을 획득한다. 상기 제1 영상 신호 프로세서는 상기 제1 영상 내의 제1 관심 영역에 기초하여 상기 제1 카메라에 대한 제1 자동 초점 조절, 제1 자동 화이트 밸런스 조절 및 제1 자동 노출 조절을 수행하고, 상기 제1 자동 초점 조절의 결과에 기초하여 상기 피사체와 상기 제1 카메라 사이의 제1 거리를 획득한다. 상기 제2 영상 신호 프로세서는 상기 제1 거리에 기초하여 상기 제1 및 제2 영상들에 대한 제1 디스패리티(disparity) 정보를 연산하고, 상기 제1 디스패리티 정보에 기초하여 상기 제2 영상 내의 제2 관심 영역을 이동시키며, 상기 이동된 제2 관심 영역에 기초하여 상기 제2 카메라에 대한 제2 자동 초점 조절, 제2 자동 화이트 밸런스 조절 및 제2 자동 노출 조절을 수행한다.
상기 다른 목적을 달성하기 위해, 본 발명의 실시예들에 따른 전자 시스템은 프로세서 및 영상 촬상 장치를 포함한다. 상기 영상 촬상 장치는 상기 프로세서에 의해 제어되며, 제1 카메라, 제2 카메라, 제1 영상 신호 프로세서 및 제2 영상 신호 프로세서를 포함한다. 상기 제1 카메라는 피사체에 대한 제1 영상을 획득한다. 상기 제2 카메라는 상기 피사체에 대한 제2 영상을 획득한다. 상기 제1 영상 신호 프로세서는 상기 제1 영상 내의 제1 관심 영역에 기초하여 상기 제1 카메라에 대한 제1 자동 초점 조절, 제1 자동 화이트 밸런스 조절 및 제1 자동 노출 조절을 수행하고, 상기 제1 자동 초점 조절의 결과에 기초하여 상기 피사체와 상기 제1 카메라 사이의 제1 거리를 획득한다. 상기 제2 영상 신호 프로세서는 상기 제1 거리에 기초하여 상기 제1 및 제2 영상들에 대한 제1 디스패리티(disparity) 정보를 연산하고, 상기 제1 디스패리티 정보에 기초하여 상기 제2 영상 내의 제2 관심 영역을 이동시키며, 상기 이동된 제2 관심 영역에 기초하여 상기 제2 카메라에 대한 제2 자동 초점 조절, 제2 자동 화이트 밸런스 조절 및 제2 자동 노출 조절을 수행한다.
상기와 같은 본 발명의 실시예들에 따른 영상 촬상 장치 및 이를 포함하는 전자 시스템에서는, 복수의 카메라들 중 마스터 카메라에 대한 3A를 수행하고, 마스터 카메라에 대한 3A 결과에 기초하여 슬레이브 카메라들에 대한 관심 영역 이동 및 3A를 수행함으로써, 모든 카메라들에 대한 3A가 효과적으로 동기화될 수 있다. 따라서, 복수의 카메라들에 의해 획득되어 합성된 영상의 품질 저하를 방지할 수 있다.
도 1은 본 발명의 실시예들에 따른 영상 촬상 장치를 나타내는 블록도이다.
도 2는 도 1의 영상 촬상 장치에 포함되는 카메라들 및 영상 신호 프로세서들을 나타내는 블록도이다.
도 3 및 4는 본 발명의 실시예들에 따른 영상 촬상 장치에 포함되는 카메라들의 배치 및 그에 따른 디스패리티를 설명하기 위한 도면들이다.
도 5, 6 및 7은 본 발명의 실시예들에 따른 영상 촬상 장치에서 관심 영역을 이동시키는 일 예를 설명하기 위한 도면들이다.
도 8 및 9는 본 발명의 실시예들에 따른 영상 촬상 장치에서 관심 영역을 이동시키는 다른 예를 설명하기 위한 도면들이다.
도 10은 본 발명의 실시예들에 따른 영상 촬상 장치가 자동 초점 조절을 수행하는 예를 설명하기 위한 도면이다.
도 11은 본 발명의 실시예들에 따른 영상 촬상 장치가 자동 화이트 밸런스 조절을 수행하는 예를 설명하기 위한 도면이다.
도 12는 본 발명의 실시예들에 따른 영상 촬상 장치가 자동 노출 조절을 수행하는 예를 설명하기 위한 도면이다.
도 13은 본 발명의 실시예들에 따른 영상 촬상 장치를 나타내는 블록도이다.
도 14는 본 발명의 실시예들에 따른 영상 촬상 장치의 구동 방법을 나타내는 순서도이다.
도 15는 도 14의 단계 S100의 일 예를 나타내는 순서도이다.
도 16은 도 14의 단계 S500의 일 예를 나타내는 순서도이다.
도 17은 본 발명의 실시예들에 따른 전자 시스템을 나타내는 블록도이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예들에 따른 영상 촬상 장치를 나타내는 블록도이다.
도 1을 참조하면, 영상 촬상 장치(100)는 제1 카메라(200a), 제2 카메라(200b), 제1 영상 신호 프로세서(image signal processor: ISP)(300a) 및 제2 영상 신호 프로세서(300b)를 포함한다. 영상 촬상 장치(100)는 하나의 카메라 당 하나의 영상 신호 프로세서를 포함하도록 구현될 수 있다.
제1 카메라(200a)는 피사체(10)에 대한 제1 영상을 획득하며, 제2 카메라(200b)는 피사체(10)에 대한 제2 영상을 획득한다. 제1 카메라(200a)와 제2 카메라(200b)는 서로 인접하여 배치되고, 제1 카메라(200a)의 위치와 제2 카메라(200b)의 위치 및 시점은 서로 상이하다. 따라서 도 3 및 4를 참조하여 후술하는 것처럼, 상기 제1 영상과 상기 제2 영상 사이에는 디스패리티(disparity)가 존재할 수 있다.
일 실시예에서, 사용자 설정 신호 및/또는 내부 파라미터에 기초하여, 제1 카메라(200a)는 마스터(master) 카메라로 설정될 수 있고, 제2 카메라(200b)는 슬레이브(slave) 카메라로 설정될 수 있다.
제1 영상 신호 프로세서(300a)는 상기 제1 영상 내의 제1 관심 영역(region of interest: ROI)에 기초하여 제1 카메라(200a)에 대한 제1 자동 초점 조절(auto focus: AF), 제1 자동 화이트 밸런스 조절(auto white balance: AWB) 및 제1 자동 노출 조절(auto exposure: AE)을 수행한다. 상기와 같은 자동 초점 조절, 자동 화이트 밸런스 조절 및 자동 노출 조절을 3A라 부를 수 있다.
제2 영상 신호 프로세서(300b)는 상기 제2 영상 내의 제2 관심 영역에 기초하여 제2 카메라(200b)에 대한 제2 자동 초점 조절, 제2 자동 화이트 밸런스 조절 및 제2 자동 노출 조절을 수행한다. 이 때, 상기 제1 자동 초점 조절의 결과에 기초하여 피사체(10)와 제1 카메라(200a) 사이의 제1 거리가 획득되고, 상기 제1 거리에 기초하여 상기 제1 및 제2 영상들에 대한 제1 디스패리티 정보가 연산된다. 제2 영상 신호 프로세서(300b)는 상기 제1 디스패리티 정보에 기초하여 상기 제2 영상 내의 제2 관심 영역을 이동시키고, 상기 이동된 제2 관심 영역에 기초하여 상기 제2 자동 초점 조절, 상기 제2 자동 화이트 밸런스 조절 및 상기 제2 자동 노출 조절을 수행함으로써, 제1 및 제2 카메라들(200a, 200b)에 대한 자동 초점 조절, 자동 화이트 밸런스 조절 및 자동 노출 조절이 동기화될 수 있다. 다시 말하면, 마스터 카메라(200a)에 대한 3A 결과에 기초하여 모든 카메라들(200a, 200b)에 대한 3A가 동기화될 수 있다.
도 2는 도 1의 영상 촬상 장치에 포함되는 카메라들 및 영상 신호 프로세서들을 나타내는 블록도이다.
도 1 및 2를 참조하면, 제1 카메라(200a)는 제1 렌즈(210a), 제1 셔터(220a), 제1 센서(230a), 제1 렌즈 구동부(240a) 및 제1 셔터 구동부(250a)를 포함할 수 있다.
제1 렌즈(210a)는 외부에서 수신되는 제1 광 신호(L1)를 제1 센서(230a)에 집중시킬 수 있다. 제1 광 신호(L1)는 가시광선, 적외선 및/또는 근적외선 등을 포함할 수 있다. 도 2에서는 카메라(200a)가 하나의 렌즈(210a)를 포함하는 것으로 도시하였으나, 실시예에 따라서 상기 카메라는 두 개 이상의 렌즈들을 포함하여 구현될 수도 있다.
제1 센서(230a)는 제1 광 신호(L1)에 기초하여 제1 영상(IIMG1)을 획득할 수 있다. 제1 영상(IIMG1)은 상기 제1 자동 초점 조절, 상기 제1 자동 화이트 밸런스 조절 및 상기 제1 자동 노출 조절을 수행하기 이전의 영상일 수 있으며, 피사체(10)에 대한 흐릿하거나 불완전한 영상 정보를 포함할 수 있다.
일 실시예에서, 제1 센서(230a)는 CMOS(complementary metal oxide semiconductor) 이미지 센서일 수 있으며, 예를 들어 RGB 센서일 수 있다. 다른 실시예에서, 제1 센서(230a)는 CCD(charge-coupled device) 이미지 센서 등과 같이 영상 정보를 획득할 수 있는 다양한 방식의 이미지 센서들 중 하나일 수 있다.
제1 셔터(220a)는 제1 센서(230a)에 제1 광 신호(L1)를 선택적으로 제공할 수 있다. 실시예에 따라서, 제1 셔터(220a)는 전자식 셔터 또는 광 셔터로 구현될 수도 있고, 기계식 셔터로 구현될 수도 있다. 또한, 실시예에 따라서, 제1 셔터(220a)는 제1 센서(230a)와 일체형으로 구현될 수도 있고, 제1 센서(230a)와 분리되어 구현될 수도 있다.
제1 렌즈 구동부(240a)는 제1 자동 초점 조절 제어 신호(AFC1)에 기초하여 제1 렌즈(210a)의 위치를 조절하는 제1 렌즈 제어 신호(LS1)를 발생할 수 있다. 예를 들어, 제1 렌즈 구동부(240a)는 보이스 코일 모터(voice coil motor: VCM)와 같은 임의의 모터를 포함할 수 있다. 제1 셔터 구동부(250a)는 제1 자동 노출 조절 제어 신호(AEC1)에 기초하여 제1 셔터(220a)의 개폐 시점 및/또는 오픈 시간(즉, 셔터 노출 시간(integration time))을 조절하는 제1 셔터 제어 신호(SS1)를 발생할 수 있다.
제1 영상 신호 프로세서(300a)는 제1 자동 초점 조절 제어부(310a), 제1 자동 노출 조절 제어부(320a), 제1 자동 화이트 밸런스 조절 제어부(330a), 제1 관심 영역 결정부(340a) 및 제1 영상 보정부(350a)를 포함할 수 있다.
제1 관심 영역 결정부(340a)는 제1 영상(IIMG1)의 상기 제1 관심 영역을 설정할 수 있다. 상기 제1 관심 영역은 제1 영상(IIMG1)에서 상대적으로 중요하고 사용자가 상대적으로 주의 및 관심을 많이 가지는 영역을 나타낸다. 예를 들어, 화상 회의(video conference)를 위한 영상에서는 얼굴 영역이 관심 영역일 수 있고, 보안(security)을 위한 영상에서는 문, 창문 등과 같은 활동 가능성(potential activity)이 있는 영역이 관심 영역일 수 있다. 실시예에 따라서, 상기 제1 관심 영역은 수동으로(즉, 사용자 조작에 의해) 설정되거나 또는 미리 정해진 기준에 따라 자동으로 설정될 수 있다. 상기 관심 영역은 통계 영역(statistics region)으로 부를 수도 있다.
일 실시예에서, 상기 제1 관심 영역은 상기 제1 자동 초점 조절을 수행하기 위한 제1 초점 관심 영역, 상기 제1 자동 화이트 밸런스 조절을 수행하기 위한 제1 화이트 밸런스 관심 영역 및 상기 제1 자동 노출 조절을 수행하기 위한 제1 노출 관심 영역을 포함할 수 있다. 실시예에 따라서, 상기 제1 초점 관심 영역, 상기 제1 화이트 밸런스 관심 영역 및 상기 제1 노출 관심 영역의 위치, 형상 등은 동일할 수도 있고 서로 상이할 수도 있다. 제1 관심 영역 결정부(340a)는 상기 제1 초점 관심 영역을 나타내는 제1 초점 관심 영역 정보(AFR1), 상기 제1 화이트 밸런스 관심 영역을 나타내는 제1 화이트 밸런스 관심 영역 정보(AWBR1) 및 상기 제1 노출 관심 영역을 나타내는 제1 노출 관심 영역 정보(AER1)를 발생할 수 있다.
제1 자동 초점 조절 제어부(310a)는 제1 초점 관심 영역 정보(AFR1)를 기초로, 제1 렌즈(210a)의 위치를 제어하여 상기 제1 자동 초점 조절을 수행하기 위한 제1 자동 초점 조절 제어 신호(AFC1)를 발생할 수 있다. 실시예에 따라서, 상기 제1 자동 초점 조절은 광학 시스템과 독립적으로 피사체(10)와의 거리를 측정한 후에 초점을 조절하는 액티브(active) 방식, 광학 시스템에 진입하여 영상 분석을 통해 초점을 조절하는 패시브(passive) 방식, 상기 액티브 방식과 상기 패시브 방식을 조합한 하이브리드(hybrid) 방식 등에 의해 수행될 수 있다.
제1 자동 노출 조절 제어부(320a)는 제1 노출 관심 영역 정보(AER1)를 기초로, 제1 셔터(220a)의 동작을 제어하여 상기 제1 자동 노출 조절을 수행하기 위한 제1 자동 노출 조절 제어 신호(AEC1)를 발생할 수 있다. 도 12를 참조하여 후술하는 것처럼, 상기 제1 자동 노출 조절은 노출 지수(exposure index: EI)에 기초하여 수행될 수 있다.
제1 자동 화이트 밸런스 조절 제어부(330a)는 제1 화이트 밸런스 관심 영역 정보(AWBR1)에 기초하여 상기 제1 자동 화이트 밸런스 조절을 수행하기 위한 제1 자동 화이트 밸런스 조절 제어 신호(AWBC1)를 발생할 수 있다. 도 11을 참조하여 후술하는 것처럼, 상기 제1 자동 화이트 밸런스 조절은 상관 색 온도(correlated color temperature: CCT)에 기초하여 수행될 수 있다.
제1 영상 보정부(350a)는 영상 보정을 수행하기 위한 제1 내지 제3 처리 블록들(352a, 354a, 356a)을 포함할 수 있다. 제1 처리 블록(352a)은 영상에 대한 디모자이크(demosaic), 디노이즈(denoise), 선명화(sharpen) 등을 수행할 수 있다. 제2 처리 블록(354a)은 제1 자동 화이트 밸런스 조절 제어 신호(AWBC1)에 기초하여 제1 처리 블록(352a)에서 출력된 영상에 대한 상기 제1 자동 화이트 밸런스 조절을 수행할 수 있다. 제3 처리 블록(356a)은 제2 처리 블록(354a)에서 출력된 영상에 대한 색 보정(color correction), 색 변환(color conversion), 감마 보정(gamma correction) 등을 수행할 수 있다.
제1 영상 보정부(350a)는 제1 영상(IIMG1)에 대한 보정을 수행할 수도 있고, 제1 출력 영상(OIMG1)에 대한 보정을 수행하여 제1 보정 영상(OIMG1')을 발생할 수도 있다. 제1 출력 영상(OIMG1)은 상기 제1 자동 초점 조절, 상기 제1 자동 화이트 밸런스 조절 및 상기 제1 자동 노출 조절이 완료된 이후의 영상일 수 있으며, 피사체(10)에 대한 선명하거나 완전한 영상 정보를 포함할 수 있다.
제1 영상 신호 프로세서(300a)는 상기 제1 자동 초점 조절, 상기 제1 자동 화이트 밸런스 조절 및 상기 제1 자동 노출 조절의 결과를 제2 영상 신호 프로세서(300b)에 제공한다. 구체적으로, 제1 자동 초점 조절 제어부(310a)는 상기 제1 자동 초점 조절의 결과에 기초하여 제1 렌즈(210a)의 위치(P1) 및 피사체(10)와 제1 카메라(200a) 사이의 제1 거리(Z)를 획득할 수 있다. 제1 자동 화이트 밸런스 조절 제어부(330a)는 상기 제1 자동 화이트 밸런스 조절의 결과를 제1 상관 색 온도(CCT1)로 변환할 수 있다. 제1 자동 노출 조절 제어부(320a)는 상기 제1 자동 노출 조절의 결과를 제1 노출 지수(EI1)로 변환할 수 있으며, 상기 제1 자동 노출 조절의 결과에 기초하여 제1 셔터(220a)의 제1 노출 시간(IT1)을 획득할 수 있다. 제1 관심 영역 결정부(340a)는 제1 초점 관심 영역 정보(AFR1), 제1 화이트 밸런스 관심 영역 정보(AWBR1) 및 제1 노출 관심 영역 정보(AER1)를 포함하는 제1 관심 영역 정보(ROI1)를 발생할 수 있다. 제1 거리(Z), 제1 관심 영역 정보(ROI1), 제1 렌즈(210a)의 위치(P1), 제1 상관 색 온도(CCT1), 제1 노출 지수(EI1) 및 제1 노출 시간(IT1)이 제2 영상 신호 프로세서(300b)에 제공될 수 있다.
일 실시예에서, 상기 제1 자동 초점 조절, 상기 제1 자동 화이트 밸런스 조절 및 상기 제1 자동 노출 조절은 실질적으로 동시에 수행될 수 있다. 다른 실시예에서, 상기 제1 자동 초점 조절이 완료된 이후에 상기 제1 자동 화이트 밸런스 조절 및 상기 제1 자동 노출 조절이 수행될 수 있다.
제2 카메라(200b)는 제2 렌즈(210b), 제2 셔터(220b), 제2 센서(230b), 제2 렌즈 구동부(240b) 및 제2 셔터 구동부(250b)를 포함할 수 있다. 제2 카메라(200b)의 각 구성요소들은 제1 카메라(200a)의 각 구성요소들과 유사 또는 실질적으로 동일할 수 있다. 구체적으로, 제2 렌즈(210b)는 외부에서 수신되는 제2 광 신호(L2)를 제2 센서(230b)에 집중시킬 수 있다. 제2 센서(230b)는 제2 광 신호(L2)에 기초하여 상기 제2 자동 초점 조절, 상기 제2 자동 화이트 밸런스 조절 및 상기 제2 자동 노출 조절을 수행하기 이전의 제2 영상(IIMG2)을 획득할 수 있다. 제2 셔터(220b)는 제2 센서(230b)에 제2 광 신호(L2)를 선택적으로 제공할 수 있다. 제2 렌즈 구동부(240b)는 제2 자동 초점 조절 제어 신호(AFC2)에 기초하여 제2 렌즈(210b)의 위치를 조절하는 제2 렌즈 제어 신호(LS2)를 발생할 수 있다. 제2 셔터 구동부(250b)는 제2 자동 노출 조절 제어 신호(AEC2)에 기초하여 제2 셔터(220b)의 개폐 시점 및/또는 오픈 시간을 조절하는 제2 셔터 제어 신호(SS2)를 발생할 수 있다.
제2 영상 신호 프로세서(300b)는 제2 자동 초점 조절 제어부(310b), 제2 자동 노출 조절 제어부(320b), 제2 자동 화이트 밸런스 조절 제어부(330b), 제2 관심 영역 결정부(340b) 및 제2 영상 보정부(350b)를 포함할 수 있다. 제2 영상 신호 프로세서(300b)의 각 구성요소들은 제1 영상 신호 프로세서(300a)의 각 구성요소들과 유사 또는 실질적으로 동일할 수 있다.
구체적으로, 제2 관심 영역 결정부(340b)는 제2 영상(IIMG2)의 상기 제2 관심 영역을 설정할 수 있고, 제1 거리(Z)에 기초하여 제1 및 제2 영상들(IIMG1, IIMG2)에 대한 제1 디스패리티 정보를 연산할 수 있고, 상기 제1 디스패리티 정보에 기초하여 제2 영상(IIMG2) 내에서 상기 제2 관심 영역을 이동시킬 수 있다. 예를 들어, 제1 관심 영역 정보(ROI1)에 기초하여, 제2 영상(IIMG2) 내에서 상기 제2 관심 영역의 초기 위치는 제1 영상(IIMG1) 내에서 상기 제1 관심 영역의 위치와 실질적으로 동일하도록 설정될 수 있다. 상기 제1 디스패리티 정보에 포함되는 제1 디스패리티 벡터만큼 제2 영상(IIMG2) 내에서 상기 제2 관심 영역이 이동될 수 있다.
상기 제1 관심 영역과 유사하게, 상기 제2 관심 영역은 상기 제2 자동 초점 조절을 수행하기 위한 제2 초점 관심 영역, 상기 제2 자동 화이트 밸런스 조절을 수행하기 위한 제2 화이트 밸런스 관심 영역 및 상기 제2 자동 노출 조절을 수행하기 위한 제2 노출 관심 영역을 포함할 수 있다. 제2 관심 영역 결정부(340b)는 상기 제1 디스패리티 정보에 기초하여 상기 제2 초점 관심 영역, 상기 제2 화이트 밸런스 관심 영역 및 상기 제2 노출 관심 영역을 이동시킬 수 있다. 제2 관심 영역 결정부(340b)는 상기 이동된 제2 초점 관심 영역을 나타내는 제2 초점 관심 영역 정보(AFR2), 상기 이동된 제2 화이트 밸런스 관심 영역을 나타내는 제2 화이트 밸런스 관심 영역 정보(AWBR2) 및 상기 이동된 제2 노출 관심 영역을 나타내는 제2 노출 관심 영역 정보(AER2)를 발생할 수 있다.
제2 자동 초점 조절 제어부(310b)는 제2 초점 관심 영역 정보(AFR2) 및 제1 렌즈(210a)의 위치(P1)를 기초로, 제2 렌즈(210b)의 위치를 제어하여 상기 제2 자동 초점 조절을 수행하기 위한 제2 자동 초점 조절 제어 신호(AFC2)를 발생할 수 있다. 이 때, 도 10을 참조하여 후술하는 것처럼, 상기 제2 렌즈(210b)의 위치는 제1 렌즈(210a)의 위치(P1)를 기준으로 미리 정해진 범위 내에 있을 수 있다.
제2 자동 노출 조절 제어부(320b)는 제2 노출 관심 영역 정보(AER2) 및 제1 노출 지수(EI1)를 기초로, 제2 셔터(220b)의 동작을 제어하여 상기 제2 자동 노출 조절을 수행하기 위한 제2 자동 노출 조절 제어 신호(AEC2)를 발생할 수 있다. 이 때, 도 12를 참조하여 후술하는 것처럼, 상기 제2 자동 노출 조절의 결과에 상응하는 제2 노출 지수는 제1 노출 지수(EI1)를 기준으로 미리 정해진 범위 내에 있을 수 있다.
제2 자동 화이트 밸런스 조절 제어부(330b)는 제2 화이트 밸런스 관심 영역 정보(AWBR2) 및 제1 상관 색 온도(CCT1)에 기초하여 상기 제2 자동 화이트 밸런스 조절을 수행하기 위한 제2 자동 화이트 밸런스 조절 제어 신호(AWBC2)를 발생할 수 있다. 이 때, 도 11을 참조하여 후술하는 것처럼, 상기 제2 자동 화이트 밸런스 조절의 결과에 상응하는 제2 상관 색 온도는 제1 상관 색 온도(CCT1)를 기준으로 미리 정해진 범위 내에 있을 수 있다.
제2 영상 보정부(350b)는 영상에 대한 디모자이크, 디노이즈, 선명화 등을 수행하는 제4 처리 블록(352b), 제2 자동 화이트 밸런스 조절 제어 신호(AWBC2)에 기초하여 제4 처리 블록(352b)에서 출력된 영상에 대한 상기 제2 자동 화이트 밸런스 조절을 수행하는 제5 처리 블록(354b), 및 제5 처리 블록(354b)에서 출력된 영상에 대한 색 보정, 색 변환, 감마 보정 등을 수행하는 제6 처리 블록(356b)을 포함할 수 있다. 제2 영상 보정부(350b)는 제2 영상(IIMG2)에 대한 보정을 수행할 수도 있고, 상기 제2 자동 초점 조절, 상기 제2 자동 화이트 밸런스 조절 및 상기 제2 자동 노출 조절이 완료된 이후의 제2 출력 영상(OIMG2)에 대한 보정을 수행하여 제2 보정 영상(OIMG2')을 발생할 수도 있다.
상술한 것처럼, 상기 제1 자동 초점 조절, 상기 제1 자동 화이트 밸런스 조절 및 상기 제1 자동 노출 조절이 완료된 이후에 상기 제2 자동 초점 조절, 상기 제2 자동 화이트 밸런스 조절 및 상기 제2 자동 노출 조절이 수행될 수 있다. 이 때, 상기 제2 자동 초점 조절, 상기 제2 자동 화이트 밸런스 조절 및 상기 제2 자동 노출 조절은 실질적으로 동시에 수행될 수도 있고 순차적으로 수행될 수 있다.
한편, 도시하지는 않았지만, 영상 신호 프로세서들(300a, 300b)은 상술한 다양한 정보들 및/또는 도 10 및 12를 참조하여 후술하는 룩업 테이블을 저장하기 위한 저장부를 더 포함할 수 있다. 상기 저장부는 적어도 하나의 휘발성 및/또는 비휘발성 메모리들을 포함하여 구현될 수 있다.
도 3 및 4는 본 발명의 실시예들에 따른 영상 촬상 장치에 포함되는 카메라들의 배치 및 그에 따른 디스패리티를 설명하기 위한 도면들이다.
도 3 및 4를 참조하면, 제1 카메라(200a) 및 제2 카메라(200b)는 서로 다른 시점에서 동일한 장면(scene)을 촬영할 수 있다. 도 3에서, 상기 장면은 제1 피사체(10) 및 제2 피사체(20)를 포함할 수 있다. 제1 피사체(10)는 촬영하고자 하는(즉, 관심이 있는) 주된(main) 피사체일 수 있고, 제2 피사체(20)는 부수적인 피사체 또는 배경(background)일 수 있다.
일 실시예에서, 제1 카메라(200a) 및 제2 카메라(200b)는 제1 방향(DR1)을 따라 평행하게 배치될 수 있다. 예를 들어, 제1 카메라(200a)는 상대적으로 좌측에 배치될 수 있고, 제2 카메라(200b)는 상대적으로 우측에 배치될 수 있다.
도 4의 제1 영상(IIMGA)은 제1 카메라(200a)에 의해 촬영된 영상일 수 있고, 제2 영상(IIMGB)은 제2 카메라(200b)에 의해 촬영된 영상일 수 있다.
제1 영상(IIMGA) 및 제2 영상(IIMGB)은 동일한 장면을 촬영한 것이기 때문에, 동일한 구성요소(즉, 피사체들)를 포함할 수 있다. 다만, 제1 카메라(200a) 및 제2 카메라(200b)가 서로 상이한 시점을 갖기 때문에, 제1 영상(IIMGA) 내의 피사체들(11, 21) 간의 위치와 제2 영상(IIMGB) 내의 피사체들(12, 22) 간의 위치가 서로 상이할 수 있다.
상기와 같이 동일한 장면이 촬영된 영상들(IIMGA, IIMGB)에서 카메라들(200a, 200b)의 시점 차이에 의해 발생되는 영상들(IIMGA, IIMGB)의 차이를 시차(parallax 또는 disparity)라고 부를 수 있다.
도 5, 6 및 7은 본 발명의 실시예들에 따른 영상 촬상 장치에서 관심 영역을 이동시키는 일 예를 설명하기 위한 도면들이다.
도 5, 6 및 7은 제1 및 제2 카메라들(200a, 200b)에 의해 촬영된 제1 및 제2 영상들(IIMG11, IIMG21)에 대한 영상 정렬(image rectification)이 수행되어 있는 경우를 나타내는 실시예이다. 영상 정렬은 에피폴라 기하(epipolar geometry)를 이용하여 그 정합점(correspondence)이 다른 영상들에서 모든 에피폴라 선을 영상에 수평하게 맞춰주는 방법이다.
도 1, 5, 6 및 7을 참조하면, X는 피사체(10)의 위치를 나타내고, x는 마스터 카메라인 제1 카메라(200a)에 의해 획득된 제1 영상(IIMG11) 내의 피사체(10)의 위치를 나타내며, x'는 슬레이브 카메라인 제2 카메라(200b)에 의해 획득된 제2 영상(IIMG21) 내의 피사체(10)의 위치를 나타낸다. 도 5에서, OC는 제1 카메라(200a)의 광학 중심(optical center)을 나타내고, OC'는 제2 카메라(200b)의 광학 중심을 나타내고, f는 제1 카메라(200a)의 유효 초점 거리(effective focal length)를 나타내고, B는 베이스라인(baseline)의 길이를 나타내며, Z는 피사체(10)와 제1 카메라(200a) 사이의 제1 거리를 나타낸다.
제1 및 제2 카메라들(200a, 200b)에 대한 자동 초점 조절을 수행하고자 하는 경우에, 도 6에 도시된 것처럼 제1 영상(IIMG11) 내의 피사체(10)의 위치(x)를 기준으로 제1 영상(IIMG11) 내의 제1 초점 관심 영역(AFR11)을 설정하고, 제1 초점 관심 영역(AFR11)에 기초하여 제1 카메라(200a)에 대한 상기 제1 자동 초점 조절을 수행한다. 이 때, 제2 영상(IIMG21) 내의 제2 초점 관심 영역(AFR21)의 초기 위치는 제1 영상(IIMG11) 내의 제1 초점 관심 영역(AFR11)의 위치와 실질적으로 동일할 수 있으며, 이 경우 제2 초점 관심 영역(AFR21)과 제2 영상(IIMG21) 내의 피사체(10)의 위치(x')가 상이할 수 있다. 따라서, 도 7에 도시된 것처럼 제2 영상(IIMG21) 내에서 제2 초점 관심 영역(AFR21)을 피사체(10)의 위치(x')에 상응하도록 이동시키고, 이동된 제2 초점 관심 영역(AFR21')에 기초하여 제2 카메라(200b)에 대한 상기 제2 자동 초점 조절을 수행함으로써, 제1 및 제2 카메라들(200a, 200b)에 대한 자동 초점 조절이 피사체(10)를 기준으로 하여 효과적으로 동기화될 수 있다.
일 실시예에서, 도 5 및 6에 도시된 것처럼 제1 및 제2 영상들(IIMG11, IIMG21)에 대한 영상 정렬이 수행되어 있는 경우에, 제2 영상(IIMG21) 내의 피사체(10)의 위치(x')는 제1 영상(IIMG11) 내의 피사체(10)의 위치(x)로부터 제1 방향(DR1)으로만 쉬프트되어 있을 수 있다. 다시 말하면, 영상 정렬이 수행되어 있는 경우에 제1 영상(IIMG11) 내의 피사체(10)의 위치(x)와 제2 영상(IIMG21) 내의 피사체(10)의 위치(x')의 차이를 나타내는 상기 제1 디스패리티 정보는 1차원의 디스패리티 벡터(DV1)로 표현될 수 있고, 상기 1차원의 디스패리티 벡터(DV1)의 크기는 하기의 [수학식 1]과 같이 획득될 수 있다.
[수학식 1]
DV1 = B*f/Z
도 7에 도시된 것처럼, 제2 초점 관심 영역(AFR21)은 상기 1차원의 디스패리티 벡터(DV1)만큼 이동될 수 있다.
도 8 및 9는 본 발명의 실시예들에 따른 영상 촬상 장치에서 관심 영역을 이동시키는 다른 예를 설명하기 위한 도면들이다.
도 8 및 9는 제1 및 제2 카메라들(200a, 200b)에 의해 촬영된 제1 및 제2 영상들(IIMG12, IIMG22)에 대한 영상 정렬이 수행되어 있지 않은 경우를 나타내는 실시예이다.
도 1, 8 및 9를 참조하면, 제1 및 제2 영상들(IIMG12, IIMG22)에 대한 영상 정렬이 수행되어 있지 않은 것을 제외하면, 도 8 및 9의 실시예는 도 6 및 7의 실시예와 실질적으로 동일할 수 있다. 예를 들어, 제1 및 제2 카메라들(200a, 200b)에 대한 자동 초점 조절을 수행하고자 하는 경우에, 도 8에 도시된 것처럼 제1 영상(IIMG12) 내의 피사체(10)의 위치(x)를 기준으로 제1 영상(IIMG12) 내의 제1 초점 관심 영역(AFR12)을 설정하고, 제1 초점 관심 영역(AFR11)에 기초하여 제1 카메라(200a)에 대한 상기 제1 자동 초점 조절을 수행한다. 제1 및 제2 카메라들(200a, 200b)에 대한 자동 초점 조절을 동기화시키기 위해, 도 9에 도시된 것처럼 제2 영상(IIMG22) 내에서 제2 초점 관심 영역(AFR22)을 피사체(10)의 위치(x')에 상응하도록 이동시키고, 이동된 제2 초점 관심 영역(AFR22')에 기초하여 제2 카메라(200b)에 대한 상기 제2 자동 초점 조절을 수행한다.
일 실시예에서, 도 8 및 9에 도시된 것처럼 제1 및 제2 영상들(IIMG12, IIMG22)에 대한 영상 정렬이 수행되어 있지 않은 경우에, 제2 영상(IIMG22) 내의 피사체(10)의 위치(x')는 제1 영상(IIMG12) 내의 피사체(10)의 위치(x)로부터 제1 방향(DR1) 및 제2 방향(DR2)으로 쉬프트되어 있을 수 있다. 다시 말하면, 영상 정렬이 수행되어 있지 않은 경우에 제1 영상(IIMG12) 내의 피사체(10)의 위치(x)와 제2 영상(IIMG22) 내의 피사체(10)의 위치(x')의 차이를 나타내는 상기 제1 디스패리티 정보는 2차원의 디스패리티 벡터(DV2)로 표현될 수 있고, 상기 2차원의 디스패리티 벡터(DV2)는 하기의 [수학식 2] 내지 [수학식 4]와 같이 획득될 수 있다.
[수학식 2]
x = K[I｜O]X
[수학식 3]
x' = K'[R｜t]X = K'RK-1x + K't/Z
[수학식 4]
DV2 = x - x'
상기의 [수학식 2] 내지 [수학식 4]에서, X는 피사체(10)의 위치를 나타내고, x는 마스터 카메라인 제1 카메라(200a)에 의해 획득된 제1 영상(IIMG12) 내의 피사체(10)의 위치를 나타내며, x'는 슬레이브 카메라인 제2 카메라(200b)에 의해 획득된 제2 영상(IIMG22) 내의 피사체(10)의 위치를 나타낸다. K 및 K'는 각각 제1 및 제2 카메라들(200a)의 내부 행렬(intrinsic matrix)을 나타내고, I 및 O는 각각 단위 행렬 및 0 행렬을 나타내고, R은 제1 카메라(200a)에 대한 제2 카메라(200b)의 상대적인 로테이션(rotation)을 나타내고, t는 제1 카메라(200a)에 대한 제2 카메라(200b)의 상대적인 트랜슬래이션(translation)을 나타내며, Z는 피사체(10)와 제1 카메라(200a) 사이의 제1 거리를 나타낸다. 예를 들어, K, K', I 및 R은 3*3 행렬일 수 있고, X, x, x', O 및 t는 3*1 행렬일 수 있다.
도 9에 도시된 것처럼, 제2 초점 관심 영역(AFR22)은 상기 2차원의 디스패리티 벡터(DV2)만큼 이동될 수 있다.
한편, 도 5 내지 도 9를 참조하여 자동 초점 조절을 수행하는 경우에 초점 관심 영역의 이동을 설명하였으나, 자동 화이트 밸런스 조절 및 자동 노출 조절을 수행하는 경우에 화이트 밸런스 관심 영역 및 노출 관심 영역의 이동 또한 상술한 초점 관심 영역의 이동과 동일한 방식으로 수행될 수 있다.
도 10은 본 발명의 실시예들에 따른 영상 촬상 장치가 자동 초점 조절을 수행하는 예를 설명하기 위한 도면이다.
도 1, 2 및 10을 참조하면, 제1 영상 신호 프로세서(300a)는 상기 제1 초점 관심 영역(예를 들어, 도 6의 AFR11)을 기초로 상기 제1 자동 초점 조절을 수행하여 제1 렌즈(210a)의 위치(P1)를 결정할 수 있고, 제1 렌즈(210a)의 위치(P1)에 기초하여 피사체(10)와 제1 카메라(200a) 사이의 제1 거리(Z)를 획득할 수 있다.
일 실시예에서, 제1 렌즈(210a)의 위치(P1)는 제1 센서(230a)와 가장 가까운 제1 위치(Pmin1)부터 제1 센서(230a)와 가장 멀리 떨어진 제2 위치(Pmax1) 사이의 임의의 위치일 수 있다.
일 실시예에서, 제1 거리(Z)는 제1 룩업 테이블에 기초하여 획득될 수 있다. 상기 제1 룩업 테이블은 제1 위치(Pmin1)부터 제2 위치(Pmax1)까지 제1 렌즈(210a)가 존재할 수 있는 모든 위치들과, 상기 모든 위치들에 대응하는 피사체(10)와 제1 카메라(200a) 사이의 거리들을 포함하여 구현될 수 있다.
제2 영상 신호 프로세서(300b)는 제1 거리(Z)에 기초하여 상기 제1 디스패리티 정보를 연산할 수 있고, 상기 제1 디스패리티 정보에 기초하여 상기 제2 초점 관심 영역(예를 들어, 도 6의 AFR21)을 이동시킬 수 있으며, 상기 이동된 제2 초점 관심 영역(예를 들어, 도 7의 AFR21') 및 제1 렌즈(210a)의 위치(P1)를 기초로 상기 제2 자동 초점 조절을 수행하여 제2 렌즈(210b)의 위치(P2)를 결정할 수 있다. 예를 들어, 상기 제1 디스패리티 정보는 상기의 [수학식 1] 또는 상기의 [수학식 2] 내지 [수학식 4]에 기초하여 연산될 수 있다.
일 실시예에서, 제2 렌즈(210b)의 위치(P2)는 제2 센서(230b)와 가장 가까운 제3 위치(Pmin2)부터 제2 센서(230a)와 가장 멀리 떨어진 제4 위치(Pmax2) 사이의 임의의 위치일 수 있다.
일 실시예에서, 제2 렌즈(210b)의 위치(P2)는 제1 렌즈(210a)의 위치(P1)를 기준으로 미리 정해진 범위 내에 있을 수 있다. 다시 말하면, 제2 렌즈(210b)의 위치(P2)와 제1 렌즈(210a)의 위치(P1)의 차이는 제1 문턱 값보다 작을 수 있다.
다른 실시예에서, 제1 렌즈(210a)의 위치(P1)와 제2 렌즈(210b)의 위치(P2)를 직접적으로 비교하기 어려울 수 있으며, 이 경우 제1 렌즈(210a)의 위치(P1)에 상응하는 제1 초점 거리와 제2 렌즈(210b)의 위치(P2)에 상응하는 제2 초점 거리를 비교하여 제2 렌즈(210b)의 위치(P2)를 결정할 수 있다. 예를 들어, 상기 제2 초점 거리는 상기 제1 초점 거리를 기준으로 미리 정해진 범위 내에 있을 수 있다.
도 11은 본 발명의 실시예들에 따른 영상 촬상 장치가 자동 화이트 밸런스 조절을 수행하는 예를 설명하기 위한 도면이다.
도 11은 (u,v) 색좌표(chromaticity coordinates)에 기초한 균일 색공간(uniform chromaticity space)과 이에 따른 흑체 궤적(Planckian locus)(LCS)을 나타낸다.
도 1, 2 및 11을 참조하면, 제1 영상 신호 프로세서(300a)는 상기 제1 화이트 밸런스 관심 영역을 기초로 상기 제1 자동 화이트 밸런스 조절을 수행할 수 있고, 상기 제1 자동 화이트 밸런스 조절의 결과를 제1 상관 색 온도(CCT1)로 변환할 수 있다.
제2 영상 신호 프로세서(300b)는 도 10을 참조하여 상술한 것처럼 제1 거리(Z)에 기초하여 상기 제1 디스패리티 정보를 연산할 수 있고, 상기 제1 디스패리티 정보에 기초하여 상기 제2 화이트 밸런스 관심 영역을 이동시킬 수 있으며, 상기 이동된 제2 화이트 밸런스 관심 영역 및 제1 상관 색 온도(CCT1)에 기초하여 상기 제2 자동 화이트 밸런스 조절을 수행할 수 있다.
일 실시예에서, 상기 제2 자동 화이트 밸런스 조절의 결과에 상응하는 제2 상관 색 온도(CCT2)는 제1 상관 색 온도(CCT1)를 기준으로 미리 정해진 범위(CTR) 내에 있을 수 있다. 다시 말하면, 제2 상관 색 온도(CCT2)와 제1 상관 색 온도(CCT1)의 차이는 제2 문턱 값보다 작을 수 있다.
일 실시예에서, 흑체 궤적(LCS)에 상응하도록 제1 상관 색 온도(CCT1) 및 제2 상관 색 온도(CCT2)가 조절될 수 있다.
도 12는 본 발명의 실시예들에 따른 영상 촬상 장치가 자동 노출 조절을 수행하는 예를 설명하기 위한 도면이다.
도 1, 2 및 12를 참조하면, 제1 영상 신호 프로세서(300a)는 상기 제1 노출 관심 영역에 기초하여 상기 제1 자동 노출 조절을 수행할 수 있고, 상기 제1 자동 노출 조절의 결과를 제1 노출 지수(EI1)로 변환할 수 있다. 또한, 제1 영상 신호 프로세서(300a)는 상기 제1 자동 노출 조절에 기초하여 제1 셔터(220a)의 제1 노출 시간(IT1)을 결정할 수 있다.
일 실시예에서, 제1 노출 지수(EI1)는 가능한 가장 작은 제1 지수(EImin1)부터 가능한 가장 큰 제2 지수(EImax1) 사이의 임의의 지수일 수 있다.
일 실시예에서, 제1 노출 지수(EI1)는 제2 룩업 테이블에 기초하여 획득될 수 있다. 상기 제1 룩업 테이블은 상기 제1 자동 노출 조절에 의해 획득될 수 있는 모든 조도 값들과, 상기 모든 조도 값들에 대응하는 노출 지수들을 포함하여 구현될 수 있다.
제2 영상 신호 프로세서(300b)는 도 10을 참조하여 상술한 것처럼 제1 거리(Z)에 기초하여 상기 제1 디스패리티 정보를 연산할 수 있고, 상기 제1 디스패리티 정보에 기초하여 상기 제2 노출 관심 영역을 이동시킬 수 있으며, 상기 이동된 제2 노출 관심 영역 및 제1 노출 지수(EI1)에 기초하여 상기 제2 자동 노출 조절을 수행할 수 있다. 또한, 제2 영상 신호 프로세서(300b)는 상기 제2 자동 노출 조절 및 제1 셔터(220a)의 제1 노출 시간(IT1)에 기초하여 제2 셔터(220b)의 제2 노출 시간을 결정할 수 있다.
일 실시예에서, 상기 제2 자동 노출 조절의 결과에 상응하는 제2 노출 지수(EI2)는 가능한 가장 작은 제3 지수(EImin2)부터 가능한 가장 큰 제4 지수(EImax2) 사이의 임의의 지수일 수 있다.
일 실시예에서, 제2 노출 지수(EI2)는 제1 노출 지수(EI1)를 기준으로 미리 정해진 범위 내에 있을 수 있다. 다시 말하면, 제2 노출 지수(EI2)와 제1 노출 지수(EI1)의 차이는 제3 문턱 값보다 작을 수 있다.
일 실시예에서, 제1 셔터(220a)의 제1 노출 시간(IT1)과 제2 셔터(220b)의 상기 제2 노출 시간은 미리 정해진 비율을 가지도록 결정될 수 있다.
한편, 도 1 내지 12를 참조하여 제1 영상 신호 프로세서(300a)가 제1 거리(Z)를 획득하고, 제2 영상 신호 프로세서(300b)가 상기 제1 디스패리티 정보를 연산하는 것으로 설명하였으나, 실시예에 따라서 상기 제1 영상 신호 프로세서 또는 상기 제2 영상 신호 프로세서가 제1 거리(Z) 획득 및 상기 제1 디스패리티 정보 연산을 모두 수행할 수도 있다.
도 13은 본 발명의 실시예들에 따른 영상 촬상 장치를 나타내는 블록도이다.
도 13을 참조하면, 영상 촬상 장치(100a)는 제1 내지 제n(n은 3 이상의 자연수) 카메라들(200a, 200b, ..., 200n) 및 제1 내지 제n 영상 신호 프로세서들(300a, 300b, ..., 300n)을 포함한다.
3개 이상의 카메라들(200a~200n) 및 이에 대응하는 3개 이상의 영상 신호 프로세서들(300a~300n)을 포함하는 것을 제외하면, 도 13의 영상 촬상 장치(100a)는 도 1의 영상 촬상 장치(100)와 실질적으로 동일할 수 있다.
제1 내지 제n 카메라들(200a~200n)은 피사체(10)에 대한 제1 내지 제n 영상들을 획득한다. 제1 카메라(200a)는 마스터 카메라로 설정될 수 있고, 제2 내지 제n 카메라들(200b~200n)은 슬레이브 카메라로 설정될 수 있다.
일 실시예에서, 복수의 카메라들(200a~200n)은 시스템 내의 동일한 하나의 면(예를 들어, 스마트 폰의 후면)에 배치될 수도 있고, 한 방향을 따라 평행하게 또는 어레이(array)의 형태로 배치될 수도 있고, 피사체(10)를 중심으로 원형으로 배치될 수도 있으며, 그 밖에 다양한 방식으로 배치될 수 있다.
제1 영상 신호 프로세서(300a)는 상기 제1 영상 내의 제1 관심 영역에 기초하여 제1 카메라(200a)에 대한 3A를 수행한다. 또한, 제1 카메라에 대한 자동 초점 조절의 결과에 기초하여 피사체(10)와 제1 카메라(200a) 사이의 제1 거리가 획득되고, 상기 제1 거리에 기초하여 상기 제1 영상과 상기 제2 내지 제n 영상들에 대한 제1 내지 제(n-1) 디스패리티 정보들이 연산된다.
제2 영상 신호 프로세서(300b)는 상기 제1 및 제2 영상들에 대한 상기 제1 디스패리티 정보에 기초하여 상기 제2 영상 내의 제2 관심 영역을 이동시키고, 상기 이동된 제2 관심 영역에 기초하여 제2 카메라(200b)에 대한 3A를 수행한다. 또한, 제n 영상 신호 프로세서(300n)는 상기 제1 및 제n 영상들에 대한 상기 제(n-1) 디스패리티 정보에 기초하여 상기 제n 영상 내의 제n 관심 영역을 이동시키고, 상기 이동된 제n 관심 영역에 기초하여 제n 카메라(200n)에 대한 3A를 수행한다. 마스터 카메라(200a)에 대한 3A 결과에 기초하여 모든 카메라들(200a~200n)에 대한 3A가 동기화될 수 있다.
일 실시예에서, 도 13의 제1 및 제2 카메라들(200a, 200b)과 제1 및 제2 영상 신호 프로세서들(300a, 300b)의 구조 및 동작은 도 2 내지 12를 참조하여 상술한 것과 실질적으로 동일할 수 있으며, 나머지 카메라들(예를 들어, 200n) 및 나머지 영상 신호 프로세서들(예를 들어 300n)은 각각 제2 카메라(200b) 및 제2 영상 신호 프로세서(300b)와 실질적으로 동일한 구조 및 동작을 가질 수 있다.
일 실시예에서, 도 1 및 13의 영상 신호 프로세서들(300a~300n)의 일부 또는 전부는 하드웨어의 형태로 구현될 수 있다. 다른 실시예에서, 영상 신호 프로세서들(300a~300n)의 일부 또는 전부는 프로세서에 의해 실행되는 프로그램(즉, 소프트웨어)의 형태로 구현되어 저장부에 저장될 수 있다.
실시예에 따라서, 도 1 및 13의 영상 신호 프로세서들(300a~300n)은 서로 분리된 n개의 집적 회로 칩들로 구현될 수도 있고, 영상 신호 프로세서들(300a~300n) 중 일부는 하나의 집적 회로 칩으로 통합되어 구현될 수도 있다.
도 1 내지 13을 참조하여 제1 카메라(200a)가 마스터 카메라인 경우에 기초하여 본 발명의 실시예들을 설명하였으나, 실시예에 따라서 사용자 설정 신호 및/또는 내부 파라미터에 기초하여 마스터 카메라가 변경될 수 있다.
도 14는 본 발명의 실시예들에 따른 영상 촬상 장치의 구동 방법을 나타내는 순서도이다.
도 1, 2 및 14를 참조하면, 본 발명의 실시예들에 따른 영상 촬상 장치(100)의 구동 방법에서, 제1 카메라(200a)에 의해 획득된 피사체(10)에 대한 제1 영상(IIMG1) 내의 제1 관심 영역에 기초하여, 제1 카메라(200a)에 대한 제1 자동 초점 조절, 제1 자동 화이트 밸런스 조절 및 제1 자동 노출 조절을 수행한다(단계 S100).
상기 제1 자동 초점 조절의 결과에 기초하여 피사체(10)와 제1 카메라(200a) 사이의 제1 거리(Z)를 획득하고(단계 S200), 제1 거리(Z)에 기초하여 제1 디스패리티 정보를 연산한다(단계 S300). 상기 제1 디스패리티 정보는 제1 영상(IIMG1)과 제2 카메라(200b)에 의해 획득된 피사체(10)에 대한 제2 영상(IIMG2)의 시차를 나타낼 수 있다.
상기 제1 디스패리티 정보에 기초하여 제2 영상(IIMG2) 내의 제2 관심 영역을 이동시키며(단계 S400), 상기 이동된 제2 관심 영역에 기초하여 제2 카메라(200b)에 대한 제2 자동 초점 조절, 제2 자동 화이트 밸런스 조절 및 제2 자동 노출 조절을 수행한다(단계 S500).
도 1 및 2를 참조하여 상술한 것처럼, 단계 S100은 제1 영상 신호 프로세서(300a)에 의해 수행될 수 있고, 단계 S400 및 S500은 제2 영상 신호 프로세서(300b)에 의해 수행될 수 있다. 도 1 및 2를 참조하여 단계 S200이 제1 영상 신호 프로세서(300a)에 의해 수행되고 단계 S300이 제2 영상 신호 프로세서(300b)에 의해 수행되는 것으로 설명하였으나, 실시예에 따라서 상기 제1 및 제2 영상 신호 프로세서들 중 하나가 단계 S200 및 S300을 모두 수행할 수도 있다.
도 15는 도 14의 단계 S100의 일 예를 나타내는 순서도이다.
도 1, 2, 14 및 15를 참조하면, 제1 카메라(200a)에 대한 3A를 수행하는데 있어서(단계 S100), 상기 제1 관심 영역에 포함되는 제1 초점 관심 영역을 기초로 상기 제1 자동 초점 조절을 수행하여 제1 렌즈(210a)의 위치를 결정할 수 있다(단계 S110). 도 14의 단계 S200에서 상기 제1 렌즈(210a)의 위치에 기초하여 제1 거리(Z)가 획득될 수 있다.
상기 제1 관심 영역에 포함되는 제1 화이트 밸런스 관심 영역을 기초로 상기 제1 자동 화이트 밸런스 조절을 수행하고, 상기 제1 자동 화이트 밸런스 조절의 결과를 제1 상관 색 온도(CCT1)로 변환할 수 있다(단계 S120). 또한, 상기 제1 관심 영역에 포함되는 제1 노출 관심 영역을 기초로 상기 제1 자동 노출 조절을 수행하고, 상기 제1 자동 노출 조절의 결과를 제1 노출 지수(EI1)로 변환할 수 있다(단계 S130).
한편, 상기 제1 자동 노출 조절에 기초하여 제1 셔터(220a)의 노출 시간을 결정할 수 있다(단계 S140).
도 16은 도 14의 단계 S500의 일 예를 나타내는 순서도이다.
도 1, 2, 14 및 16을 참조하면, 제2 카메라(200b)에 대한 3A를 수행하기 이전의 단계 S400에서, 상기 제1 디스패리티 정보에 기초하여 상기 제2 관심 영역에 포함되는 제2 초점 관심 영역, 제2 화이트 밸런스 관심 영역 및 제2 노출 관심 영역을 이동시킬 수 있다.
제2 카메라(200b)에 대한 3A를 수행하는데 있어서(단계 S500), 상기 이동된 제2 초점 관심 영역 및 상기 제1 렌즈(210a)의 위치를 기초로 상기 제2 자동 초점 조절을 수행하여 제2 렌즈(210b)의 위치를 결정할 수 있다(단계 S510). 예를 들어, 상기 제2 렌즈(210b)의 위치와 상기 제1 렌즈(210a)의 위치의 차이는 제1 문턱 값보다 작을 수 있다.
상기 이동된 제2 화이트 밸런스 관심 영역 및 제1 상관 색 온도(CCT1)에 기초하여 상기 제2 자동 화이트 밸런스 조절을 수행할 수 있다(단계 S520). 예를 들어, 상기 제2 자동 화이트 밸런스 조절의 결과에 상응하는 제2 상관 색 온도와 제1 상관 색 온도(CCT1)의 차이는 제2 문턱 값보다 작을 수 있다.
상기 이동된 제2 노출 관심 영역 및 제1 노출 지수(EI1)에 기초하여 상기 제2 자동 노출 조절을 수행할 수 있다(단계 S530). 예를 들어, 상기 제2 자동 노출 조절의 결과에 상응하는 제2 노출 지수와 제1 노출 지수(EI1)의 차이는 제3 문턱 값보다 작을 수 있다.
한편, 상기 제2 자동 노출 조절 및 상기 제1 셔터(220a)의 노출 시간에 기초하여 제2 셔터(220b)의 노출 시간을 결정할 수 있다(단계 S540).
본 발명의 실시예들에 따른 구동 방법은, 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터로 판독 가능한 프로그램 코드를 포함하는 제품 등의 형태로 구현될 수 있다. 상기 컴퓨터로 판독 가능한 프로그램 코드는 다양한 컴퓨터 또는 다른 데이터 처리 장치의 프로세서로 제공될 수 있다. 상기 컴퓨터로 판독 가능한 매체는 컴퓨터로 판독 가능한 신호 매체 또는 컴퓨터로 판독 가능한 기록 매체일 수 있다. 상기 컴퓨터로 판독 가능한 기록 매체는 명령어 실행 시스템, 장비 또는 장치 내에 또는 이들과 접속되어 프로그램을 저장하거나 포함할 수 있는 임의의 유형적인 매체일 수 있다.
도 17은 본 발명의 실시예들에 따른 전자 시스템을 나타내는 블록도이다.
도 17을 참조하면, 전자 시스템(1000)은 프로세서(1010) 및 영상 촬상 장치(100)를 포함하며, 통신부(1020), 저장 장치(1030), 사용자 인터페이스(1050) 및 전력 관리 장치(1060)를 더 포함할 수 있다.
프로세서(1010)는 전자 시스템(1000)의 전반적인 동작을 제어할 수 있다. 영상 촬상 장치(100)는 본 발명의 실시예들에 따른 영상 촬상 장치일 수 있으며, 복수의 카메라들(C1, ..., CN) 및 복수의 영상 신호 프로세서들(I1, ..., IN)을 포함하여 구현될 수 있다. 마스터 카메라에 대한 3A 결과에 기초하여 슬레이브 카메라의 관심 영역을 이동시키고 3A를 수행함으로써, 모든 카메라들에 대한 3A가 효과적으로 동기화될 수 있다.
일 실시예에서, 프로세서(1010)는 3A가 수행된 이후에 획득되는 영상들(예를 들어, 도 2의 OIMG1' 및 OIMG2')을 합성하여 합성 영상을 발생할 수 있다. 일 실시예에서, 영상 신호 프로세서들(I1, ..., IN) 중 적어도 하나는 프로세서(1010) 내에 포함될 수 있다.
통신부(1020)는 외부 장치와 통신을 수행할 수 있다. 저장 장치(1030)는 전자 시스템(1000)의 동작에 필요한 데이터들을 저장할 수 있다. 사용자 인터페이스(1050)는 키보드, 터치 스크린 등과 같은 입력 장치 및 디스플레이 등과 같은 출력 장치를 포함할 수 있다. 전력 관리 장치(1060)는 구동 전압을 제공할 수 있다.
본 발명은 복수의 카메라들을 포함하는 영상 촬상 장치 및 이를 포함하는 다양한 장치 및 시스템에 적용될 수 있다. 예를 들어, 본 발명은 휴대폰(mobile phone), 스마트 폰(smart phone), PDA(personal digital assistant), PMP(portable multimedia player), 디지털 카메라(digital camera), 휴대용 게임 콘솔(portable game console), 웨어러블(wearable) 시스템, IoT(internet of things) 시스템, 3차원 기하 재구성(3D geometry reconstruction) 시스템, 어레이 카메라(array camera) 시스템, VR(virtual reality) 시스템, AR(augmented reality) 시스템 등에 유용하게 적용될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims (10)

  1. 피사체에 대한 제1 영상을 획득하는 제1 카메라;
    상기 피사체에 대한 제2 영상을 획득하는 제2 카메라;
    상기 제1 영상 내의 제1 관심 영역에 기초하여 상기 제1 카메라에 대한 제1 자동 초점 조절, 제1 자동 화이트 밸런스 조절 및 제1 자동 노출 조절을 수행하고, 상기 제1 자동 초점 조절의 결과에 기초하여 상기 피사체와 상기 제1 카메라 사이의 제1 거리를 획득하는 제1 영상 신호 프로세서; 및
    상기 제1 거리에 기초하여 상기 제1 및 제2 영상들에 대한 제1 디스패리티(disparity) 정보를 연산하고, 상기 제1 디스패리티 정보에 기초하여 상기 제2 영상 내의 제2 관심 영역을 이동시키며, 상기 이동된 제2 관심 영역에 기초하여 상기 제2 카메라에 대한 제2 자동 초점 조절, 제2 자동 화이트 밸런스 조절 및 제2 자동 노출 조절을 수행하는 제2 영상 신호 프로세서를 포함하는 영상 촬상 장치.
  2. 제 1 항에 있어서,
    상기 제1 카메라는 제1 렌즈를 포함하고, 상기 제2 카메라는 제2 렌즈를 포함하며,
    상기 제1 관심 영역은 제1 초점 관심 영역을 포함하고, 상기 제2 관심 영역은 제2 초점 관심 영역을 포함하며,
    상기 제1 영상 신호 프로세서는 상기 제1 초점 관심 영역을 기초로 상기 제1 자동 초점 조절을 수행하여 상기 제1 렌즈의 위치를 결정하고, 상기 제1 렌즈의 위치에 기초하여 상기 제1 거리를 획득하며,
    상기 제2 영상 신호 프로세서는 상기 제1 디스패리티 정보에 기초하여 상기 제2 초점 관심 영역을 이동시키고, 상기 이동된 제2 초점 관심 영역 및 상기 제1 렌즈의 위치를 기초로 상기 제2 자동 초점 조절을 수행하여 상기 제2 렌즈의 위치를 결정하는 것을 특징으로 하는 영상 촬상 장치.
  3. 제 2 항에 있어서,
    상기 제2 렌즈의 위치와 상기 제1 렌즈의 위치의 차이는 문턱 값보다 작은 것을 특징으로 하는 영상 촬상 장치.
  4. 제 1 항에 있어서,
    상기 제1 관심 영역은 제1 화이트 밸런스 관심 영역을 포함하고, 상기 제2 관심 영역은 제2 화이트 밸런스 관심 영역을 포함하며,
    상기 제1 영상 신호 프로세서는 상기 제1 화이트 밸런스 관심 영역에 기초하여 상기 제1 자동 화이트 밸런스 조절을 수행하고, 상기 제1 자동 화이트 밸런스 조절의 결과를 제1 상관 색 온도로 변환하며,
    상기 제2 영상 신호 프로세서는 상기 제1 디스패리티 정보에 기초하여 상기 제2 화이트 밸런스 관심 영역을 이동시키고, 상기 이동된 제2 화이트 밸런스 관심 영역 및 상기 제1 상관 색 온도에 기초하여 상기 제2 자동 화이트 밸런스 조절을 수행하는 것을 특징으로 하는 영상 촬상 장치.
  5. 제 4 항에 있어서,
    상기 제2 자동 화이트 밸런스 조절의 결과에 상응하는 제2 상관 색 온도와 상기 제1 상관 색 온도의 차이는 문턱 값보다 작은 것을 특징으로 하는 영상 촬상 장치.
  6. 제 1 항에 있어서,
    상기 제1 관심 영역은 제1 노출 관심 영역을 포함하고, 상기 제2 관심 영역은 제2 노출 관심 영역을 포함하며,
    상기 제1 영상 신호 프로세서는 상기 제1 노출 관심 영역에 기초하여 상기 제1 자동 노출 조절을 수행하고, 상기 제1 자동 노출 조절의 결과를 제1 노출 지수로 변환하며,
    상기 제2 영상 신호 프로세서는 상기 제1 디스패리티 정보에 기초하여 상기 제2 노출 관심 영역을 이동시키고, 상기 이동된 제2 노출 관심 영역 및 상기 제1 노출 지수에 기초하여 상기 제2 자동 노출 조절을 수행하는 것을 특징으로 하는 영상 촬상 장치.
  7. 제 6 항에 있어서,
    상기 제2 자동 노출 조절의 결과에 상응하는 제2 노출 지수와 상기 제1 노출 지수의 차이는 문턱 값보다 작은 것을 특징으로 하는 영상 촬상 장치.
  8. 제 6 항에 있어서,
    상기 제1 카메라는 제1 셔터를 포함하고, 상기 제2 카메라는 제2 셔터를 포함하며,
    상기 제1 자동 노출 조절에 기초하여 상기 제1 셔터의 노출 시간이 결정되고, 상기 제2 자동 노출 조절 및 상기 제1 셔터의 노출 시간에 기초하여 상기 제2 셔터의 노출 시간이 결정되는 것을 특징으로 하는 영상 촬상 장치.
  9. 제 1 항에 있어서,
    상기 피사체에 대한 제3 영상을 획득하는 제3 카메라; 및
    상기 제1 거리에 기초하여 상기 제1 및 제3 영상들에 대한 제2 디스패리티 정보를 연산하고, 상기 제2 디스패리티 정보에 기초하여 상기 제3 영상 내의 제3 관심 영역을 이동시키며, 상기 이동된 제3 관심 영역에 기초하여 상기 제3 카메라에 대한 제3 자동 초점 조절, 제3 자동 화이트 밸런스 조절 및 제3 자동 노출 조절을 수행하는 제3 영상 신호 프로세서를 더 포함하는 것을 특징으로 하는 영상 촬상 장치.
  10. 프로세서; 및
    상기 프로세서에 의해 제어되는 영상 촬상 장치를 포함하고,
    상기 영상 촬상 장치는,
    피사체에 대한 제1 영상을 획득하는 제1 카메라;
    상기 피사체에 대한 제2 영상을 획득하는 제2 카메라;
    상기 제1 영상 내의 제1 관심 영역에 기초하여 상기 제1 카메라에 대한 제1 자동 초점 조절, 제1 자동 화이트 밸런스 조절 및 제1 자동 노출 조절을 수행하고, 상기 제1 자동 초점 조절의 결과에 기초하여 상기 피사체와 상기 제1 카메라 사이의 제1 거리를 획득하는 제1 영상 신호 프로세서; 및
    상기 제1 거리에 기초하여 상기 제1 및 제2 영상들에 대한 제1 디스패리티(disparity) 정보를 연산하고, 상기 제1 디스패리티 정보에 기초하여 상기 제2 영상 내의 제2 관심 영역을 이동시키며, 상기 이동된 제2 관심 영역에 기초하여 상기 제2 카메라에 대한 제2 자동 초점 조절, 제2 자동 화이트 밸런스 조절 및 제2 자동 노출 조절을 수행하는 제2 영상 신호 프로세서를 포함하는 전자 시스템.
KR1020160095081A 2016-07-26 2016-07-26 영상 촬상 장치 및 이를 포함하는 전자 시스템 Active KR102636272B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020160095081A KR102636272B1 (ko) 2016-07-26 2016-07-26 영상 촬상 장치 및 이를 포함하는 전자 시스템
US15/658,479 US10321021B2 (en) 2016-07-26 2017-07-25 Image pickup device and electronic system including the same
US16/411,222 US10511746B2 (en) 2016-07-26 2019-05-14 Image pickup device and electronic system including the same
US16/656,258 US10880456B2 (en) 2016-07-26 2019-10-17 Image pickup device and electronic system including the same
US16/677,718 US11122186B2 (en) 2016-07-26 2019-11-08 Image pickup device and electronic system including the same
US17/386,608 US11570333B2 (en) 2016-07-26 2021-07-28 Image pickup device and electronic system including the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160095081A KR102636272B1 (ko) 2016-07-26 2016-07-26 영상 촬상 장치 및 이를 포함하는 전자 시스템

Publications (2)

Publication Number Publication Date
KR20180012161A KR20180012161A (ko) 2018-02-05
KR102636272B1 true KR102636272B1 (ko) 2024-02-14

Family

ID=61010429

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160095081A Active KR102636272B1 (ko) 2016-07-26 2016-07-26 영상 촬상 장치 및 이를 포함하는 전자 시스템

Country Status (2)

Country Link
US (5) US10321021B2 (ko)
KR (1) KR102636272B1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102636272B1 (ko) * 2016-07-26 2024-02-14 삼성전자주식회사 영상 촬상 장치 및 이를 포함하는 전자 시스템
US10620505B2 (en) * 2017-06-27 2020-04-14 Arcsoft Corporation Limited Method and apparatus for focusing
KR102645340B1 (ko) 2018-02-23 2024-03-08 삼성전자주식회사 전자 장치 및 그의 녹화 방법
CN109348128A (zh) * 2018-11-13 2019-02-15 深圳龙图腾创新设计有限公司 一种控制他人相机聚焦点的控制系统和方法
WO2021100426A1 (ja) * 2019-11-19 2021-05-27 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2021139195A1 (en) 2020-01-06 2021-07-15 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Computer-implemented methods for simulating deformation in real-world scene, electronic devices, and computer-readable storage media
CA3167157A1 (en) 2020-02-06 2021-08-12 Vicarious Surgical Inc. System and method for determining depth perception in vivo in a surgical robotic system
WO2021184239A1 (zh) * 2020-03-18 2021-09-23 深圳市大疆创新科技有限公司 曝光方法、装置、拍摄设备、可移动平台和存储介质
CN111526351B (zh) * 2020-04-27 2022-02-11 展讯半导体(南京)有限公司 白平衡同步方法、系统、电子设备、介质及数字成像设备
CN117356102A (zh) * 2021-04-28 2024-01-05 高通股份有限公司 多相机系统中辅助相机的镜头定位
WO2023027293A1 (en) * 2021-08-23 2023-03-02 Samsung Electronics Co., Ltd. Method and electronic device for auto focus of scene
CN117716700A (zh) * 2021-08-23 2024-03-15 三星电子株式会社 场景自动聚焦的方法及电子装置
KR20230115005A (ko) * 2022-01-26 2023-08-02 에스케이하이닉스 주식회사 이미지 처리 시스템 및 그 동작 방법
CN115988316B (zh) * 2022-12-23 2025-04-29 芯原微电子(上海)股份有限公司 基于虚拟主板和硬件主板的图像获取系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140160245A1 (en) 2012-12-10 2014-06-12 Mediatek Inc. Method and apparatus for stereoscopic focus control of stereo camera

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4768110A (en) 1984-09-20 1988-08-30 Go-Video, Inc. Video cassette recorder having dual decks for selective simultaneous functions
US5216552A (en) 1984-09-20 1993-06-01 Go-Video, Inc. Video cassette recorder having dual decks for selective simultaneous functions
JP4085720B2 (ja) 2002-07-02 2008-05-14 株式会社ニコン デジタルカメラ
JP2008206090A (ja) 2007-02-22 2008-09-04 Fujifilm Corp 撮影装置及び撮影システム
JP4897593B2 (ja) 2007-07-09 2012-03-14 富士フイルム株式会社 複眼撮影装置及びその調節方法
KR101286651B1 (ko) * 2009-12-21 2013-07-22 한국전자통신연구원 영상 보정 장치 및 이를 이용한 영상 보정 방법
KR101214536B1 (ko) * 2010-01-12 2013-01-10 삼성전자주식회사 뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라
WO2011086636A1 (ja) * 2010-01-13 2011-07-21 パナソニック株式会社 ステレオ画像用撮像装置、ステレオ画像用撮像方法、ステレオ画像表示装置、および、プログラム
US9479759B2 (en) * 2010-03-29 2016-10-25 Forstgarten International Holding Gmbh Optical stereo device and autofocus method therefor
EP2570838B1 (en) * 2010-05-14 2020-01-22 FUJIFILM Corporation Three-dimensional imaging device and autofocus adjustment method for three-dimensional imaging device
US9485495B2 (en) * 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
US9521398B1 (en) * 2011-04-03 2016-12-13 Gopro, Inc. Modular configurable camera system
TWI507807B (zh) * 2011-06-24 2015-11-11 Mstar Semiconductor Inc 自動對焦方法與裝置
US20130057655A1 (en) 2011-09-02 2013-03-07 Wen-Yueh Su Image processing system and automatic focusing method
JP5901935B2 (ja) * 2011-10-24 2016-04-13 株式会社東芝 固体撮像装置及びカメラモジュール
JP5351298B2 (ja) 2012-02-15 2013-11-27 富士フイルム株式会社 複眼撮像装置
US8718459B2 (en) 2012-06-01 2014-05-06 Blackberry Limited Method and digital camera having improved autofocus
CN103780830B (zh) * 2012-10-17 2017-04-12 晶睿通讯股份有限公司 连动式摄影系统及其多摄影机的控制方法
CN103091189B (zh) 2013-01-10 2014-09-24 湘潭大学 一种模拟热障涂层服役环境并实时检测其失效的试验装置
US9247223B2 (en) 2013-01-25 2016-01-26 Blackberry Limited Reduce operating environment effect using multiple cameras
US9626387B2 (en) 2013-04-19 2017-04-18 Charles Nathan Adelman Volumetric vector node and object based multi-dimensional operating system
CN108718376B (zh) * 2013-08-01 2020-08-14 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
US9565416B1 (en) * 2013-09-30 2017-02-07 Google Inc. Depth-assisted focus in multi-camera systems
US9615012B2 (en) * 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
EP3055986B1 (en) * 2014-03-21 2018-08-22 Huawei Technologies Co., Ltd. Imaging device and method for automatic focus in an imaging device as well as a corresponding computer program
CN103986877B (zh) * 2014-05-29 2017-09-26 宇龙计算机通信科技(深圳)有限公司 一种图像获取终端和图像获取方法
US9609200B2 (en) * 2014-09-24 2017-03-28 Panavision International, L.P. Distance measurement device for motion picture camera focus applications
US9703175B2 (en) * 2015-07-02 2017-07-11 Qualcomm Incorporated Systems and methods for autofocus trigger
KR102336447B1 (ko) * 2015-07-07 2021-12-07 삼성전자주식회사 촬영 장치 및 그 동작 방법
KR20170059704A (ko) * 2015-11-23 2017-05-31 삼성전자주식회사 촬영 장치 및 그 동작 방법
KR102636272B1 (ko) * 2016-07-26 2024-02-14 삼성전자주식회사 영상 촬상 장치 및 이를 포함하는 전자 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140160245A1 (en) 2012-12-10 2014-06-12 Mediatek Inc. Method and apparatus for stereoscopic focus control of stereo camera

Also Published As

Publication number Publication date
US20210360126A1 (en) 2021-11-18
US10321021B2 (en) 2019-06-11
US11122186B2 (en) 2021-09-14
KR20180012161A (ko) 2018-02-05
US10880456B2 (en) 2020-12-29
US20200076989A1 (en) 2020-03-05
US11570333B2 (en) 2023-01-31
US20180035017A1 (en) 2018-02-01
US10511746B2 (en) 2019-12-17
US20200053254A1 (en) 2020-02-13
US20190335065A1 (en) 2019-10-31

Similar Documents

Publication Publication Date Title
KR102636272B1 (ko) 영상 촬상 장치 및 이를 포함하는 전자 시스템
US10911737B2 (en) Primary and auxiliary image capture devices for image processing and related methods
US10477185B2 (en) Systems and methods for multiscopic noise reduction and high-dynamic range
EP3494693B1 (en) Combining images aligned to reference frame
US9544574B2 (en) Selecting camera pairs for stereoscopic imaging
US8274552B2 (en) Primary and auxiliary image capture devices for image processing and related methods
JP6436783B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
US8854528B2 (en) Imaging apparatus
US20120188344A1 (en) Systems and methods for collaborative image capturing
US9485436B2 (en) Image processing apparatus and image processing method
CN108632512A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US20150178595A1 (en) Image processing apparatus, imaging apparatus, image processing method and program
CN104221370A (zh) 图像处理装置、摄像装置以及图像处理方法
CN109257540B (zh) 多摄镜头组的摄影校正方法及摄影装置
US20120057747A1 (en) Image processing system and image processing method
KR20200064908A (ko) 제어장치, 촬상장치, 및 기억매체
JP2017138927A (ja) 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム
WO2015136323A1 (en) Exposure control using depth information
US10681260B2 (en) Focus detection device and focus detection method
JP2017103695A (ja) 画像処理装置、画像処理方法、及びそのプログラム
JP2016042662A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体
JP2014011639A (ja) 撮像装置
JP2015233258A (ja) 画像撮影装置
JP6478520B2 (ja) 画像処理装置及びその制御方法、撮像装置及びその制御方法、プログラム、記憶媒体
JP6415228B2 (ja) 画像合成装置および画像合成装置の制御方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160726

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210702

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20160726

Comment text: Patent Application

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240112

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240207

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240208

End annual number: 3

Start annual number: 1

PG1601 Publication of registration