[go: up one dir, main page]

KR102336447B1 - 촬영 장치 및 그 동작 방법 - Google Patents

촬영 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR102336447B1
KR102336447B1 KR1020150096780A KR20150096780A KR102336447B1 KR 102336447 B1 KR102336447 B1 KR 102336447B1 KR 1020150096780 A KR1020150096780 A KR 1020150096780A KR 20150096780 A KR20150096780 A KR 20150096780A KR 102336447 B1 KR102336447 B1 KR 102336447B1
Authority
KR
South Korea
Prior art keywords
camera module
image
region
interest
roi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020150096780A
Other languages
English (en)
Other versions
KR20170006201A (ko
Inventor
김일도
최우석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150096780A priority Critical patent/KR102336447B1/ko
Priority to CN201580079859.9A priority patent/CN107636692B/zh
Priority to PCT/KR2015/014427 priority patent/WO2017007096A1/en
Priority to EP15897818.9A priority patent/EP3320676B1/en
Priority to US14/983,706 priority patent/US10410061B2/en
Publication of KR20170006201A publication Critical patent/KR20170006201A/ko
Application granted granted Critical
Publication of KR102336447B1 publication Critical patent/KR102336447B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H04N5/2258—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H04N5/2259—
    • H04N5/232—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Cameras In General (AREA)
  • Studio Devices (AREA)

Abstract

서로 다른 광학적 특성을 가지고, 동일한 피사체를 촬영하는 제1 카메라 모듈 및 제2 카메라 모듈, 및 상기 제1 카메라 모듈로부터 획득한 제1 영상에서 상기 피사체를 포함하는 영역을 제1 관심 영역으로 설정하고, 상기 제1 카메라 모듈의 광학적 특성과 상기 제2 카메라 모듈의 광학적 특성의 차이를 이용하여 상기 제2 카메라 모듈로부터 획득한 제2 영상에서 상기 제1 관심 영역에 매칭되는 제2 관심 영역을 검출하는 제어부를 포함하는 촬영 장치가 개시된다.

Description

촬영 장치 및 그 동작 방법{Image capturing apparatus and method for the same}
다양한 실시예들은 촬영 장치 및 그 동작 방법에 관한 것으로서, 더욱 상세하게는 광학적 특성이 다른 복수의 카메라 모듈로부터 획득한 영상들에서 동일한 피사체를 포함하는 관심 영역들을 서로 매칭시키는 촬영 장치 및 그 동작 방법에 관한 것이다.
다중 카메라 시스템은 두 개 이상의 카메라 모듈들을 포함하고, 카메라 모듈들 각각으로부터 입력되는 영상들을 이용하여, 특정 객체에 대한 초점을 검출하거나 영상 전체에 대한 깊이 정보를 검출할 수 있다. 특히, 다중 카메라 시스템은 특정 객체의 위치를 검출하기 위하여, 좌측 및 우측에 설치된 두 대의 카메라에서 입력되는 두 개의 영상으로부터 디스패리티(disparity)를 계산할 수 있다. 예를 들어, 다중 카메라 시스템은 한쪽 영상 내의 특정 위치에 촬영되는 객체가 다른 쪽 영상에서는 어느 위치에 촬영되는지를 검출하고, 두 위치의 차이(디스패리티)를 추출할 수 있다. 다중 카메라 시스템은 디스패리티를 이용하여, 특정 객체에 대한 초점을 검출하거나 두 개의 카메라로부터 특정 객체까지의 거리 값을 계산할 수 있다.
다양한 실시예들은, 복수의 카메라 모듈이 서로 다른 광학적 특성을 가지는 경우, 광학적 특성의 차이를 이용하여 복수의 카메라 모듈들로부터 획득한 복수의 영상들에서, 서로 동일한 피사체를 포함하는 영역들을 검출할 수 있는 촬영 장치 및 그 동작 방법을 제공할 수 있다.
일 실시예에 따른 촬영 장치는, 서로 다른 광학적 특성을 가지고, 동일한 피사체를 촬영하는 제1 카메라 모듈 및 제2 카메라 모듈, 및 상기 제1 카메라 모듈로부터 획득한 제1 영상에서 상기 피사체를 포함하는 영역을 제1 관심 영역으로 설정하고, 상기 제1 카메라 모듈의 광학적 특성과 상기 제2 카메라 모듈의 광학적 특성의 차이를 이용하여 상기 제2 카메라 모듈로부터 획득한 제2 영상에서 상기 제1 관심 영역에 매칭되는 제2 관심 영역을 검출하는 제어부를 포함할 수 있다.
일 실시예에 따른 제1 카메라 모듈의 광학적 특성은, 상기 제1 카메라 모듈에 포함되는 렌즈의 화각 및 이미지 센서의 해상도 중 적어도 하나에 의해 결정되고, 상기 제2 카메라 모듈의 광학적 특성은, 상기 제2 카메라 모듈에 포함되는 렌즈의 화각 및 이미지 센서의 해상도 중 적어도 하나에 의해 결정될 수 있다.
일 실시예에 따른 제어부는, 상기 제1 관심 영역의 크기, 및 상기 제1 카메라 모듈 및 상기 제2 카메라 모듈에 포함되는 렌즈들의 화각의 차이를 이용하여, 상기 제2 관심 영역의 크기를 결정할 수 있다.
일 실시예에 따른 제어부는, 상기 제1 카메라 모듈에 포함되는 렌즈의 화각이 상기 제2 카메라 모듈에 포함되는 렌즈의 화각보다 크면, 상기 제2 관심 영역의 크기를 상기 제1 관심 영역의 크기보다 크게 결정할 수 있다.
일 실시예에 따른 제어부는, 상기 제1 관심 영역에 포함되는 픽셀들의 개수, 및 상기 제1 카메라 모듈 및 상기 제2 카메라 모듈에 포함되는 이미지 센서들의 해상도 차이를 이용하여, 상기 제2 관심 영역에 포함되는 픽셀들의 개수를 결정할 수 있다.
일 실시예에 따른 제어부는, 상기 제1 카메라 모듈에 포함되는 이미지 센서의 해상도가 상기 제2 카메라 모듈에 포함되는 이미지 센서의 해상도보다 큰 경우, 상기 제2 관심 영역에 포함되는 픽셀들의 개수가 상기 제1 관심 영역에 포함되는 픽셀들의 개수보다 적도록 결정할 수 있다.
일 실시예에 따른 제어부는, 상기 제1 관심 영역과 상기 검출된 제2 관심 영역의 디스패리티(disparity) 정보를 이용하여, 상기 제1 카메라 모듈 및 상기 제2 카메라 모듈에 포함되는 렌즈들의 초점을 조절할 수 있다.
일 실시예에 따른 제어부는, 상기 제1 관심 영역과 상기 검출된 제2 관심 영역의 디스패리티 정보를 이용하여, 상기 제1 관심 영역 및 상기 제2 관심 영역 중 어느 하나에 대응하는 깊이 정보를 검출할 수 있다.
일 실시예에 따른 제1 영상에서, 상기 제2 영상에 포함되지 않는 제2 피사체를 포함하는 영역이 상기 제1 관심 영역으로 설정되는 경우, 상기 제어부는, 상기 제2 피사체를 포함하는 상기 제1 관심 영역만을 이용하여 상기 제1 카메라 모듈에 포함되는 렌즈의 초점을 조절할 수 있다.
일 실시예에 따른 촬영 장치의 동작방법은, 제1 카메라 모듈로부터 피사체를 촬영한 제1 영상을 획득하는 단계, 상기 제1 카메라 모듈과 다른 광학적 특성을 가지는 제2 카메라 모듈로부터 상기 피사체를 촬영한 제2 영상을 획득하는 단계, 상기 제1 영상에서 상기 피사체를 포함하는 영역을 제1 관심 영역으로 설정하는 단계, 상기 제1 카메라 모듈의 광학적 특성과 상기 제2 카메라 모듈의 광학적 특성의 차이를 이용하여 상기 제2 영상에서 상기 제1 관심 영역에 매칭되는 제2 관심 영역을 검출하는 단계를 포함할 수 있다.
일 실시예에 따른 제1 카메라 모듈의 광학적 특성은, 상기 제1 카메라 모듈에 포함되는 렌즈의 화각 및 이미지 센서의 해상도 중 적어도 하나에 의해 결정되고, 상기 제2 카메라 모듈의 광학적 특성은, 상기 제2 카메라 모듈에 포함되는 렌즈의 화각 및 이미지 센서의 해상도 중 적어도 하나에 의해 결정될 수 있다.
일 실시예에 따른 제2 관심 영역을 검출하는 단계는, 상기 제1 관심 영역의 크기, 및 상기 제1 카메라 모듈 및 상기 제2 카메라 모듈에 포함되는 렌즈들의 화각의 차이를 이용하여, 상기 제2 관심 영역의 크기를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 제2 관심 영역의 크기를 결정하는 단계는, 상기 제1 카메라 모듈에 포함되는 렌즈의 화각이 상기 제2 카메라 모듈에 포함되는 렌즈의 화각보다 크면, 상기 제2 관심 영역의 크기를 상기 제1 관심 영역의 크기보다 크게 결정하는 단계일 수 있다.
일 실시예에 따른 제2 관심 영역을 검출하는 단계는, 상기 제1 관심 영역에 포함되는 픽셀들의 개수, 및 상기 제1 카메라 모듈 및 상기 제2 카메라 모듈에 포함되는 이미지 센서들의 해상도 차이를 이용하여, 상기 제2 관심 영역에 포함되는 픽셀들의 개수를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 제2 관심 영역에 포함되는 픽셀들의 개수를 결정하는 단계는, 상기 제1 카메라 모듈에 포함되는 이미지 센서의 해상도가 상기 제2 카메라 모듈에 포함되는 이미지 센서의 해상도보다 큰 경우, 상기 제2 관심 영역에 포함되는 픽셀들의 개수가 상기 제1 관심 영역에 포함되는 픽셀들의 개수보다 적도록 결정하는 단계일 수 있다.
일 실시예에 따른 동작방법은, 상기 제1 관심 영역과 검출된 상기 제2 관심 영역의 디스패리티 정보를 이용하여, 상기 제1 카메라 모듈 및 상기 제2 카메라 모듈에 포함되는 렌즈들의 초점을 조절하는 단계를 더 포함할 수 있다.
일 실시예에 따른 동작방법은, 상기 제1 관심 영역과 상기 검출된 제2 관심 영역의 디스패리티 정보를 이용하여, 상기 제1 관심 영역 및 상기 제2 관심 영역 중 어느 하나에 대응하는 깊이 정보를 검출하는 단계를 더 포함할 수 있다.
일 실시예에 따른 동작방법은, 상기 제1 영상에서, 상기 제2 영상에 포함되지 않는 제2 피사체를 포함하는 영역을 관심 영역으로 설정하는 단계 및 상기 제2 피사체를 포함하는 제1 관심 영역만을 이용하여 상기 제1 카메라 모듈에 포함되는 렌즈의 초점을 조절하는 단계를 더 포함할 수 있다.
일 실시예에 따라, 광학적 특성이 다른 카메라 모듈들을 이용하는 경우에도 복수의 영상들에서 서로 동일한 피사체를 포함하는 영역들을 검출할 수 있으므로, 검출된 영역들의 차이점을 분석하여, 카메라 모듈들에 포함되는 렌즈들의 초점을 조절하거나 검출된 영역들의 깊이 정보를 추출할 수 있다.
다중 카메라 시스템에 광학적 특성이 다른 카메라 모듈들(예를 들어, 하나는 저해상도 카메라 모듈, 다른 하나는 고해상도 카메라 모듈)을 이용함으로써, 동일한 광학적 특성을 가지는 카메라 모듈들(예를 들어, 두 개 모두 고해상도를 지원하는 카메라 모듈들)을 이용하는 다중 카메라 시스템에 비해 제조 단가를 절감할 수 있다.
도 1a는 복수 개의 카메라 모듈을 포함하는 다중 카메라 시스템을 나타내는 도면이고, 도 1b는 다중 카메라 시스템에서 디스패리티(disparity)를 검출하는 방법을 설명하기 위해 참조되는 도면이다.
도 2a는 일 실시예에 따른 촬영 장치의 구성을 나타내는 블록도이고, 도 2b는 도 2a의 제1 카메라 모듈의 구성을 나타내는 블록도이다.
도 3은 다른 실시예에 따른 촬영 장치의 구성을 나타내는 블록도이다.
도 4a내지 도 4d는 일 실시예에 따른 제1 카메라 모듈에 포함되는 렌즈의 화각과 제2 카메라 모듈에 포함되는 렌즈의 화각이 상이한 경우, 제2 관심 영역을 검출하는 방법을 설명하기 위해 참조되는 도면들이다.
도 5는 일 실시예에 따른 제1 카메라 모듈에 포함되는 이미지 센서의 해상도와 제2 카메라 모듈에 포함되는 이미지 센서의 해상도가 상이한 경우, 제2 관심 영역을 검출하는 방법을 설명하기 위해 참조되는 도면이다.
도 6은 일 실시예에 따른 제1 카메라 모듈에서만 촬영되는 피사체를 관심 영역으로 설정하는 경우에 촬영 장치의 동작방법을 설명하기 위해 참조되는 도면이다.
도 7a 및 도 7b는 일 실시예에 따른 제1 카메라 모듈에서만 촬영된 영역을 관심 영역으로 설정하는 경우에 촬영 장치의 동작방법을 설명하기 위해 참조되는 도면들이다.
도 8은 일 실시예에 따른 촬영 장치의 동작방법을 나타내는 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1a는 복수 개의 카메라 모듈을 포함하는 다중 카메라 시스템을 나타내는 도면이고, 도 1b는 다중 카메라 시스템에서 디스패리티(disparity)를 검출하는 방법을 설명하기 위해 참조되는 도면이다.
다중 카메라 시스템은 입체 영상을 생성하는 스테레오 카메라(stereoscopic camera)일 수 있다. 다중 카메라 시스템은 제1 카메라 모듈(21) 및 제2 카메라 모듈(22)을 포함할 수 있다. 이때, 제1 카메라 모듈(21)과 제2 카메라 모듈(22)은 소정 거리만큼 이격되어 배치될 수 있다. 다중 카메라 시스템은 제1 카메라 모듈(21)로부터 획득한 제1 영상과 제2 카메라 모듈(22)로부터 획득한 제2 영상을 이용하여 디스패리티(disparity)를 검출할 수 있다.
이에 대해서는 도 1b를 참조하여, 자세히 설명하기로 한다.
도 1b를 참조하면, 제2 영상(32)은 도 1a의 제2 카메라 모듈(22)로부터 획득한 영상이고, 제1 영상(31)은 도 1a의 제1 카메라 모듈(21)로부터 획득한 영상이다. 제1 카메라 모듈(21) 및 제2 카메라 모듈(22)이 동일한 광학적 특성을 가지더라도, 제1 카메라 모듈(21) 및 제2 카메라 모듈(22)의 위치 차이로 인해 제1 영상(31) 및 제2 영상(32) 내에서의 피사체의 위치는 달라지게 된다. 예를 들어, 도 1a의 제1 카메라 모듈(21)은 피사체(10)를 기준으로 왼쪽에 배치되어 있으므로, 제1 영상(31)에 포함되는 피사체(10)는 제1 영상(31)의 수직 방향의 중심선을 기준으로 오른쪽에 위치한다. 또한, 도 1a의 제2 카메라 모듈(22)은 피사체(10)를 기준으로 오른쪽에 배치되어 있으므로, 제2 영상(32)에 포함되는 피사체(10)는 제2 영상(32)의 수직 방향의 중심선을 기준으로 왼쪽에 위치한다.
다중 카메라 시스템은 제1 영상(31)에서 피사체를 포함하는 영역을 제1 관심 영역(41)으로, 제2 영상(32)에서 피사체를 포함하는 영역을 제2 관심 영역(42)으로 설정할 수 있다. 이때, 제1 카메라 모듈(21) 및 제2 카메라 모듈(22)이 동일한 광학적 특성을 가지는 경우(예를 들어, 도 1a에 도시된 바와 같이, 제1 카메라 모듈(21)에 포함되는 렌즈의 화각(angle of view)과 제2 카메라 모듈(22)에 포함되는 렌즈의 화각이 동일하고, 제1 카메라 모듈(21)에 포함되는 이미지 센서의 해상도와 제2 카메라 모듈(22)에 포함되는 이미지 센서의 해상도가 동일한 경우), 다중 카메라 시스템은 제1 관심 영역(41)의 크기 및 제2 관심 영역(42)의 크기를 동일하게 설정할 수 있다. 또한, 다중 카메라 시스템은 제1 관심 영역(41)에 포함되는 픽셀들의 개수(제1 관심 영역(41)의 해상도) 및 제2 관심 영역(42)에 포함되는 픽셀들의 개수(제2 관심 영역(42)의 해상도)를 동일하게 설정할 수 있다.
그러나, 일 실시예에 따르는 제1 카메라 모듈(21) 및 제2 카메라 모듈(22)이 서로 다른 광학적 특성을 가지는 경우, 다중 카메라 시스템은 제1 카메라 모듈(21)의 광학적 특성과 제2 카메라 모듈(22)의 광학적 특성의 차이를 이용하여, 제1 영상(31) 내에 설정되는 제1 관심 영역(41) 및 제2 영상(32) 내에 설정되는 제2 관심 영역(42)의 크기를 서로 다르게 설정할 수 있다. 또한, 다중 카메라 시스템은 제1 관심 영역(41)에 포함되는 픽셀들의 개수 및 제2 관심 영역(42)에 포함되는 픽셀들의 개수를 서로 다르게 설정할 수 있다. 이에 대해서는 이하, 도 4a 내지 도 5에서 자세히 설명하기로 한다.
한편, 도 1b를 참조하면, 다중 카메라 시스템은 제1 관심 영역(41)과 제2 관심 영역(42)의 위치 차이인 디스패리티(d)를 검출할 수 있다. 다중 카메라 시스템은 검출된 디스패리티(d)를 이용하여, 제1 카메라 모듈(21) 및 제2 카메라 모듈(22)에 포함되는 렌즈들의 초점을 조절하거나, 입체 영상을 생성할 수 있다. 또는, 제1 관심 영역(41) 및 제2 관심 영역(42) 중 적어도 하나에 대응하는 깊이 정보를 획득할 수 있다.
도 2a는 일 실시예에 따른 촬영 장치의 구성을 나타내는 블록도이고, 도 2b는 도 2a의 제1 카메라 모듈의 구성을 나타내는 블록도이다.
도 2a를 참조하면, 촬영 장치(100)는 제1 카메라 모듈(110), 제2 카메라 모듈(120) 및 제어부(130)를 포함할 수 있다. 일 실시예에 따르는 촬영 장치(100)는 도 1a에서 설명한 바와 같이, 복수의 카메라 모듈을 포함하는 다중 카메라 시스템으로 구현될 수 있다. 또한, 촬영 장치(100)는 정지 영상을 촬영하는 디지털 스틸 카메라나 동영상을 촬영하는 디지털 비디오 카메라 등의 다양한 형태로 구현될 수 있다. 또한, 촬영 장치(100)는 디지털 일안 리플렉스 카메라(DSLR), 미러리스 카메라 또는 스마트 폰이 포함될 수 있다. 다만, 이에 한정되는 것은 아니며 일 실시예에 따른 촬영 장치(100)는 렌즈 및 촬상소자를 포함하여 피사체를 촬영하고 이미지를 생성할 수 있는 복수의 카메라 모듈을 탑재한, 장치를 포함할 수 있다.
도 2b는 제1 카메라 모듈(110)의 구성을 구체적으로 나타내는 블록도이다.
도 2b를 참조하면, 제1 카메라 모듈(110)은 렌즈(111), 렌즈 구동부(112), 조리개(113), 조리개 구동부(115), 이미지 센서(116), 이미지 센서 제어부(117), 아날로그 신호 처리부(118), 이미지 신호 처리부(119)를 포함할 수 있다.
렌즈(111)는 복수 군, 복수 매의 렌즈들을 구비할 수 있다. 렌즈(111)는 렌즈 구동부(112)에 의해 그 위치가 조절될 수 있다. 렌즈 구동부(112)는 제어부(130)에서 제공된 제어 신호에 따라 렌즈(111)의 위치를 조절한다. 렌즈 구동부(112)는 렌즈(111)의 위치를 조절하여 초점 거리를 조절하고, 오토 포커싱, 줌 변경, 초점 변경들의 동작을 수행한다.
조리개(113)는 조리개 구동부(115)에 의해 그 개폐 정도가 조절되며, 이미지 센서(116)로 입사되는 광량을 조절한다.
렌즈(111) 및 조리개(113)를 투과한 광학 신호는 이미지 센서(116)의 수광면에 이르러 피사체의 상을 결상한다. 이미지 센서(116)는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 이미지 센서 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)일 수 있다. 이와 같은 이미지 센서(116)는 이미지 센서 제어부(117)에 의해 감도 등이 조절될 수 있다. 이미지 센서 제어부(117)는 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 이미지 센서(116)를 제어할 수 있다.
아날로그 신호 처리부(118)는 이미지 센서(116)로부터 공급된 아날로그 신호에 대하여, 노이즈 저감 처리, 게인 조정, 파형 정형화, 아날로그-디지털 변환 처리 등을 수행한다.
이미지 신호 처리부(119)는 아날로그 신호 처리부(118)에서 처리된 영상 데이터 신호에 대해 특수기능을 처리하기 위한 신호 처리부이다. 예를 들면, 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 화이트 밸런스 조절, 휘도의 평활화 및 칼라 쉐이딩(color shading) 등의 화질 개선 및 특수 효과 제공을 위한 영상 신호 처리를 수행할 수 있다. 이미지 신호 처리부(119)는 입력된 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식이어도 된다. 적절한 형식의 예로서, 정지 영상에 경우, JPEG(Joint Photographic Experts Group)형식이나 JPEG 2000 형식 등으로 변환도 가능하다. 또한, 동영상을 기록하는 경우, MPEG(Moving Picture Experts Group) 표준에 따라 복수의 프레임들을 압축하여 동영상 파일을 생성할 수 있다. 영상 파일은 예를 들면 Exif(Exchangeable image file format) 표준에 따라 생성될 수 있다.
이미지 신호 처리부(119)는 이미지 센서(116)에서 생성된 촬상 신호로부터 동영상 파일을 생성할 수 있다. 상기 촬상 신호는 이미지 센서(116)에서 생성되고, 아날로그 신호 처리부(118)에 의해 처리된 신호일 수 있다. 이미지 신호 처리부(119)는 촬상 신호로부터 동영상 파일에 포함될 프레임들을 생성하고, 상기 프레임들을 예를 들면, MPEG4(Moving Picture Experts Group 4), H.264/AVC, WMV(windows media video) 등의 표준에 따라 코딩되어, 동영상 압축된 후, 압축된 동영상을 이용하여 동영상 파일을 생성할 수 있다. 동영상 파일은 mpg, mp4, 3gpp, avi, asf, mov 등 다양한 형식으로 생성될 수 있다. 이미지 신호 처리부(119)는 생성된 제1 영상을 제어부(130)로 출력할 수 있다.
또한, 이미지 신호 처리부(119)는 입력된 영상 데이터에 대해 불선명 처리, 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 수행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 수행할 수 있다. 이미지 신호 처리부(119)는 디스플레이부에 영상 데이터를 디스플레이하기 위한 영상 신호 처리를 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 생성 및 영상의 합성 처리 등을 수행할 수 있다.
한편, 제2 카메라 모듈(120)도 제1 카메라 모듈(110)과 동일하게 렌즈, 렌즈 구동부, 조리개, 조리개 구동부, 이미지 센서, 이미지 센서 제어부, 아날로그 신호 처리부, 이미지 신호 처리부를 포함할 수 있다. 상기 구성요소들에 대해서는 제1 카메라 모듈(110)에서 이미 설명하였으므로 중복하여 설명하지 않기로 한다.
일 실시예에 따른 제1 카메라 모듈(110) 및 제2 카메라 모듈(120)은 서로 다른 광학적 특성을 가질 수 있다. 카메라 모듈의 광학적 특성은 카메라 모듈에 포함되는 렌즈의 화각(angle of view) 및 카메라 모듈에 포함되는 이미지 센서의 해상도 중 적어도 하나에 의해 결정될 수 있다. 이때, 렌즈의 화각은 렌즈를 통해서 카메라 모듈이 촬영할 수 있는 이미지의 각도(촬영 범위)를 나타내며, 화각이 넓을수록 넓은 범위를 촬영할 수 있다. 또한, 이미지 센서의 해상도는 이미지 센서에 포함되는 픽셀들의 개수에 의해 결정되며, 이미지 센서에 포함되는 픽셀들의 개수가 많을수록 이미지 센서의 해상도는 높아진다.
일 실시예에 따른 제1 카메라 모듈(110)에 포함되는 렌즈의 화각과 제2 카메라 모듈(120)에 포함되는 렌즈의 화각은 서로 다를 수 있다. 예를 들어, 제1 카메라 모듈(110)에 포함되는 렌즈가 광각 렌즈로 구성되고, 제2 카메라 모듈(120)에 포함되는 렌즈가 망원 렌즈로 구성되는 경우, 광각 렌즈는 망원 렌즈보다 화각이 넓기 때문에 제1 카메라 모듈(110)은 제2 카메라 모듈(120)보다 더 넓은 범위를 촬영할 수 있다. 또는 제1 카메라 모듈(110) 및 제2 카메라 모듈(120) 중 어느 하나에 포함되는 렌즈가 줌 렌즈로 구성되고, 나머지 하나에 포함되는 렌즈가 단 렌즈로 구성되는 경우, 제1 카메라 모듈(110)의 화각과 제2 카메라 모듈(120)의 화각은 서로 다를 수 있다.
또한, 일 실시예에 따른 제1 카메라 모듈(110)에 포함되는 이미지 센서의 해상도와 제2 카메라 모듈(120)에 포함되는 이미지 센서의 해상도는 서로 다를 수 있다. 예를 들어, 제1 카메라 모듈(110)에 포함되는 이미지 센서의 해상도는 제2 카메라 모듈(120)에 포함되는 이미지 센서의 해상도보다 저해상도 일 수 있으며, 제2 카메라 모듈(120)에 포함되는 이미지 센서의 해상도는 제1 카메라 모듈(110)에 포함되는 이미지 센서의 해상도보다 고해상도 일 수 있다.
다시 도 2a를 참조하면, 제어부(130)는 촬영 장치(100)의 전체 동작을 제어할 수 있다. 제어부(130)는 촬영 장치(100)에 포함되는 각 구성 요소들에 각 구성 요소의 동작을 위한 제어 신호를 제공한다.
제어부(130)는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성부들을 제어할 수 있다. 제어부(130)는 하나 또는 복수개의 프로세서에 해당할 수 있다. 프로세서는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 다른 형태의 하드웨어로 구현될 수도 있음을 본 실시 예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
제어부(130)는 저장된 프로그램을 실행하거나, 별도의 모듈을 구비하여, 오토 포커싱, 줌 변경, 초점 변경, 자동 노출 보정 등을 제어하기 위한 제어 신호를 생성하여, 제1 카메라 모듈(110) 및 제2 카메라 모듈(120)에 각각 포함되는 조리개 구동부, 렌즈 구동부, 및 이미지 센서 제어부에 제공하고, 셔터, 스트로보 등 촬영 장치(100)에 구비된 구성 요소들의 동작을 총괄적으로 제어할 수 있다.
또한 제어부(130)는 외부 모니터와 연결되어, 제1 카메라 모듈(110) 또는 제2 카메라 모듈(120)에 포함되는 이미지 신호 처리부로부터 입력된 영상 신호에 대해 외부 모니터에 디스플레이 되도록 소정의 영상 신호 처리를 행할 수 있으며, 이렇게 처리된 영상 데이터를 전송하여 상기 외부 모니터에서 해당 영상이 디스플레이 되도록 할 수 있다.
한편, 일 실시예에 따른 제어부(130)는 제1 카메라 모듈(110)로부터 획득한 제1 영상과 제2 카메라 모듈(120)로부터 획득한 제2 영상에서 동일한 피사체를 포함하는 소정 영역들을 관심 영역으로 설정할 수 있다. 예를 들어, 제어부(130)는 제1 영상에서 특정 피사체를 포함하는 소정 영역을 제1 관심 영역으로 설정할 수 있다. 이때, 제1 관심 영역의 크기는 미리 설정되어 있거나, 사용자 입력에 의하여 설정될 수 있다. 또한, 제어부(130)는 제1 카메라 모듈의 광학적 특성과 제2 카메라 모듈의 광학적 특성의 차이를 이용하여, 제2 영상 내에서 제1 관심 영역에 매칭되는 제2 관심 영역을 검출할 수 있다.
제어부(130)는 제1 영상에서 설정된 제1 관심 영역의 크기, 및 제1 카메라 모듈(110)에 포함되는 렌즈의 화각과 제2 카메라 모듈에 포함되는 렌즈의 화각의 차이를 이용하여, 제2 영상에 설정되는 제2 관심 영역의 크기를 결정할 수 있다. 예를 들어, 제어부(130)는 제1 카메라 모듈(110)에 포함되는 렌즈의 화각이 제2 카메라 모듈(120)에 포함되는 렌즈의 화각보다 크면, 제2 관심 영역의 크기를 제1 관심 영역의 크기보다 크게 설정할 수 있다.
또한, 제어부(130)는 제1 관심 영역에 포함되는 픽셀들의 개수, 제1 카메라 모듈(110)에 포함되는 이미지 센서의 해상도와 제2 카메라 모듈에 포함되는 이미지 센서의 해상도의 차이를 이용하여, 제2 관심 영역에 포함되는 픽셀들의 개수를 결정할 수 있다. 예를 들어, 제어부(130)는 제1 카메라 모듈(110)에 포함되는 이미지 센서의 해상도가 제2 카메라 모듈(120)에 포함되는 이미지 센서의 해상도보다 큰 경우, 제2 관심 영역에 포함되는 픽셀들의 개수가 제1 관심 영역에 포함되는 픽셀들의 개수보다 많도록 설정할 수 있다.
제어부(130)는 제1 관심 영역과 제2 관심 영역의 디스패리티 정보를 이용하여, 제1 카메라 모듈(110) 및 제2 카메라 모듈(120)에 포함되는 렌즈들의 초점을 조절할 수 있다. 또한, 제어부(130)는 제1 관심 영역과 제2 관심 영역의 디스패리티 정보를 이용하여, 제1 관심 영역 및 제2 관심 영역 중 적어도 어느 하나에 대응하는 깊이 정보를 검출할 수 있다.
한편, 제1 영상에서, 제2 영상에 포함되지 않은 제2 피사체를 포함하는 소정 영역이 제1 관심 영역으로 설정되는 경우, 제어부(130)는, 제2 피사체를 포함하는 제1 관심 영역만을 이용하여 제1 카메라 모듈(110)에 포함되는 렌즈의 초점을 조절할 수 있다. 예를 들어,촬영 장치(100)는 제1 카메라 모듈만을 이용하여 초점을 검출하는 방식(컨트라스트 AF)으로 초점 검출 방식을 전환하여 렌즈의 초점을 조절할 수 있다. 또한, 제2 영상에서, 제1 영상에 포함되지 않는 제2 피사체를 포함하는 소정 영역이 제2 관심 영역으로 설정되는 경우, 제어부(130)는, 제2 피사체를 포함하는 제2 관심 영역만을 이용하여 제2 카메라 모듈(120)에 포함되는 렌즈의 초점을 조절할 수 있다. 예를 들어, 촬영 장치(100)는 제2 카메라 모듈만을 이용하여 초점을 검출하는 방식(컨트라스트 AF)으로 초점 검출 방식을 전환하여 렌즈의 초점을 조절할 수 있다.
도 3은 다른 실시예에 따른 촬영 장치(200)의 구성을 나타내는 블록도이다.
도 3을 참조하면, 촬영 장치(200)는 제1 카메라 모듈(210), 제2 카메라 모듈(220), 제어부(230), 메모리(240), 저장/판독 제어부(250), 메모리 카드(242), 프로그램 저장부(260), 디스플레이부(270), 디스플레이 구동부(272), 조작부(280) 및 통신부(290)를 포함할 수 있다.
도 3의 제1 카메라 모듈(210), 제2 카메라 모듈(220) 및 제어부(230) 각각은 도 2a의 제1 카메라 모듈(110), 제2 카메라 모듈(120) 및 제어부(130) 각각에 대응되므로, 동일한 설명은 생략하고, 나머지 구성요소에 대해서 설명하기로 한다.
도 3을 참조하면, 저장/판독 제어부(250)는 제1 카메라 모듈(210) 또는 제2 카메라 모듈(220)로부터 출력된 영상 데이터를 메모리 카드(242)에 저장할 수 있다. 이때, 저장/판독 제어부(250)는 사용자로부터의 신호에 따라 또는 자동으로 영상 데이터를 저장할 수 있다. 또한 저장/판독 제어부(250)는 메모리 카드(242)에 저장된 영상 파일로부터 영상에 관한 데이터를 판독하고, 이를 메모리(240)를 통해 또는 다른 경로를 통해 디스플레이 구동부(272)에 입력하여 디스플레이부(270)에 이미지가 표시되도록 할 수도 있다.
메모리 카드(242)는 탈착 가능한 것일 수도 있고 촬영 장치(200)에 영구 장착된 것일 수 있다. 예를 들면, 메모리 카드(242)는 SD(Secure Digital)카드 등의 플래시 메모리 카드 일 수 있다.
한편, 제1 카메라 모듈(210) 또는 제2 카메라 모듈(220)에서 처리된 이미지 신호는 메모리(240)를 거쳐 제어부(230)에 입력될 수도 있고, 메모리(240)를 거치지 않고 제어부(230)에 입력될 수도 있다. 메모리(240)는 촬영 장치(200)의 메인 메모리로서 동작하고, 촬영 장치(200)의 동작에 필요한 정보를 임시로 저장할 수 있다. 프로그램 저장부(260)는 촬영 장치(200)를 구동하는 운영 시스템, 응용 시스템 등의 프로그램을 저장할 수 있다.
촬영 장치(200)는 촬영 장치(200)의 동작 상태 또는 촬영 장치(200)에서 촬영한 영상 정보를 표시하도록 디스플레이부(270)를 포함할 수 있다. 제1 카메라 모듈(210) 및 제2 카메라 모듈(220)은 촬영한 영상 정보를 디스플레이부(270)에 디스플레이하기 위해 디스플레이 영상 신호 처리를 수행할 수 있다. 예를 들어, 제1 카메라 모듈(210) 및 제2 카메라 모듈(220)은 촬영한 영상 정보에 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 수행할 수 있다.
디스플레이부(270)는 시각적인 정보를 사용자에게 제공할 수 있다. 시각적인 정보를 제공하기 위해 디스플레이부(270)는 예를 들면, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널 등으로 이루어질 수 있다. 또한, 디스플레이부(270)는 터치 입력을 인식할 수 있는 터치스크린일 수 있다.
디스플레이 구동부(272)는 디스플레이부(270)에 구동 신호를 제공한다.
조작부(280)는 사용자가 제어 신호를 입력할 수 있는 곳이다. 조작부(280)는 정해진 시간 동안 이미지 센서를 빛에 노출하여 사진을 촬영하도록 하는 셔터-릴리즈 신호를 입력하는 셔터-릴리즈 버튼, 전원의 온-오프를 제어하기 위한 제어 신호를 입력하는 전원 버튼, 입력에 따라 화각을 넓어지게 하거나 화각을 좁아지게 줌 버튼, 모드 선택 버튼, 기타 촬영 설정 값 조절 버튼 등 다양한 기능 버튼들을 포함할 수 있다. 조작부(280)는 버튼, 키보드, 터치 패드, 터치스크린, 원격 제어기 등과 같이 사용자가 제어 신호를 입력할 수 있는 어떠한 형태로 구현되어도 무방하다.
통신부(290)는 네트워크 인터페이스 카드(NIC: Network Interface Card)나 모뎀 등을 포함하여 이루어 질 수 있으며, 촬영 장치(200)가 외부 디바이스와 네트워크를 통해 유무선 방식으로 통신할 수 있도록 하는 역할을 수행할 수 있다.
한편, 도 2a, 2b 및 3에 도시된 촬영장치(100, 200)의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 촬영장치(100, 200)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
도 4a내지 도 4d는 일 실시예에 따른 제1 카메라 모듈에 포함되는 렌즈의 화각과 제2 카메라 모듈에 포함되는 렌즈의 화각이 상이한 경우, 제2 관심 영역을 검출하는 방법을 설명하기 위해 참조되는 도면들이다.
도 4a를 참조하면, 제1 카메라 모듈(110)에 포함되는 렌즈의 화각과 제2 카메라 모듈(120)에 포함되는 렌즈의 화각은 서로 다를 수 있다. 예를 들어, 제1 카메라 모듈(110)에 포함되는 렌즈가 광각 렌즈이고, 제2 카메라 모듈(120)에 포함되는 렌즈가 망원 렌즈인 경우, 광각 렌즈는 망원 렌즈보다 화각이 넓기 때문에 제1 카메라 모듈(110)은 제2 카메라 모듈(120)보다 더 넓은 범위를 촬영할 수 있다. 또는, 제1 카메라 모듈(110) 및 제2 카메라 모듈(120) 중 어느 하나에 포함되는 렌즈가 줌(zoom) 렌즈이고, 나머지 하나에 포함되는 렌즈가 단 렌즈인 경우, 제1 카메라 모듈(110)의 화각과 제2 카메라 모듈(120)의 화각은 서로 다를 수 있다.
도 4a에 도시된 바와 같이, 제1 카메라 모듈(110)에 포함되는 렌즈의 화각이 제2 카메라 모듈(120)에 포함되는 렌즈의 화각보다 큰 경우, 제1 카메라 모듈(110)은 제1 피사체(311) 및 제2 피사체(312)가 모두 포함되는 제1 촬영 범위(301)를 가지며, 제2 카메라 모듈(120)은 제1 피사체(311)만 포함되는 제2 촬영 범위(302)를 가지게 된다.
도 4a에서 제1 촬영 범위(301)의 높이는 H1이고, 제2 촬영 범위(302)의 높이는 H1보다 작은 H2일 수 있다. 또한, 제1 촬영 범위(301)에 포함되는 제1 피사체(311) 및 제2 촬영 범위(302)에 포함되는 제1 피사체(311)의 높이는 동일하게 S1일 수 있다.
도 4b는 도 4a의 제1 카메라 모듈(110)에서 획득한 제1 영상(321) 및 제2 카메라 모듈(120)에서 획득한 제2 영상(322)을 나타내는 도면이다.
일 실시예에 따른 제1 카메라 모듈(110) 및 제2 카메라 모듈(120)에 포함되는 이미지 센서의 크기가 동일한 경우, 제1 카메라 모듈(110) 및 제2 카메라 모듈(120)에 의해 출력되는 영상의 크기는 동일하다. 따라서, 제1 영상(321) 및 제2 영상(322)의 높이가 H0인 경우, 제1 영상(321)에 포함되는 제1 피사체의 높이는 H0*S1/H1이고, 제2 영상(322)에 포함되는 제1 피사체의 높이는 H0*S1/H2이므로, 제2 영상(322)에 포함되는 제1 피사체의 높이가 제1 영상(321)에 포함되는 제1 피사체의 높이보다 크게 나타날 수 있다. 한편, 상기에서는 피사체의 높이만을 기준으로 설명하였지만, 피사체의 너비에 대해서도 동일하게 적용될 수 있다.
다시 도 4b를 참조하면, 촬영 장치(100)는 제1 영상(321)에서 제1 피사체를 포함하는 제1 관심 영역(341)을 설정할 수 있다. 이때, 제1 관심 영역(341)의 크기는 제1 피사체의 크기에 따라 설정될 수 있다. 제1 영상(321)에 제1 관심 영역(341)이 설정되면, 촬영 장치(100)는 제1 카메라 모듈(110)의 제1 촬영 범위(301)와 제2 카메라 모듈(120)의 제2 촬영 범위(302)의 차이를 이용하여, 제2 관심 영역(342)의 크기를 결정할 수 있다.
예를 들어, 촬영 장치(100)는 상술한 바와 같이, 제1 카메라 모듈(110)의 촬영 범위(301)와 제2 카메라 모듈(120)의 촬영 범위(302)를 이용하여, 제1 영상(321)에 포함되는 제1 피사체의 높이는 H0*S1/H1이고, 제2 영상(322)에 포함되는 제1 피사체의 높이는 H0*S1/H2인 것을 계산할 수 있다. 이에 따라, 제1 영상(321)에 포함되는 제1 피사체의 높이에 대한 제2 영상(322)에 포함되는 제1 피사체의 높이의 비율은 H1(제1 촬영 범위의 높이)/H2(제2 촬영 범위의 높이)로 계산될 수 있다. 마찬가지로, 제1 영상(321)에 포함되는 제1 피사체의 너비에 대한 제2 영상(322)에 포함되는 제1 피사체의 너비의 비율은 W1(제1 촬영 범위의 너비)/W2(제2 촬영 범위의 너비)로 계산될 수 있다.
제1 영상(321)에 포함되는 제1 피사체의 높이에 대한 제2 영상(322)에 포함되는 제1 피사체의 높이의 비율은 제1 관심영역(341)의 높이에 대한 제2 관심영역(342)의 높이의 비율에도 동일하게 적용되므로, 제1 관심 영역(341)의 높이가 h1인 경우, 제2 관심 영역(342)의 높이(h2)는 h1*H1/H2로 결정될 수 있다. 또한, 제1 영상(321)에 포함되는 제1 피사체의 너비에 대한 제2 영상(322)에 포함되는 제1 피사체의 너비의 비율은 제1 관심영역(341)의 너비에 대한 제2 관심 영역(342)의 너비의 비율에도 동일하게 적용되므로, 제1 관심 영역(341)의 너비가 w1인 경우, 제2 관심영역(342)의 너비(w2)는 w1*W1/W2로 결정될 수 있다.
촬영 장치(100)는 제2 관심 영역(342)의 크기가 결정되면, 제2 영상(322) 내에서 제2 관심 영역(342)을 이동시키면서, 제1 관심 영역(341)에 포함되는 픽셀 값들과 제2 관심 영역(342)에 포함되는 픽셀 값들을 비교하여, 제1 관심 영역(341)에 매칭되는 제2 관심 영역(342)의 위치를 결정할 수 있다.
이때, 촬영 장치(100)는 제2 관심 영역(342)을 제1 관심 영역(341)의 크기에 맞추어 스케일링 한 후, 제1 관심 영역(341)에 포함되는 픽셀 값들과 제2 관심 영역(342)에 포함되는 픽셀 값들을 비교할 수 있다. 또는 제1 관심 영역(341)을 제2 관심 영역(342)의 크기에 맞추어 스케일링 한 후, 제1 관심 영역(341)에 포함되는 픽셀 값들과 제2 관심 영역(342)에 포함되는 픽셀 값들을 비교할 수 있다.
제1 관심 영역(341)에 매칭되는 제2 관심 영역(342)이 검출되면, 촬영 장치(100)는 제1 관심 영역(341)과 제2 관심 영역(342)의 디스패리티(disparity)를 계산할 수 있다. 도 4c에 도시된 바와 같이, 제2 관심 영역(342)의 크기가 제1 관심 영역(341)의 크기보다 큰 경우, 촬영 장치(100)는 제2 관심 영역(342)의 크기를 제1 관심 영역(341)의 크기에 맞추어 스케일링 할 수 있다. 다만, 이에 한정하는 것은 아니며, 제1 관심 영역(341)의 크기를 제2 관심 영역(342)의 크기에 맞추어 스케일링 할 수도 있다.
도 4d는 제1 관심 영역(341)과 제2 관심 영역(342)의 디스패리티(d)를 나타내는 도면이다. 촬영 장치(100)는 디스패리티(d)를 이용하여, 제1 카메라 모듈(110) 및 제2 카메라 모듈(120)의 오토 포커싱을 수행할 수 있다. 또는, 촬영 장치(100)는 디스패리티(d)를 이용하여, 제1 관심 영역(341) 및 제2 관심 영역(342) 중 적어도 어느 하나에 대한 깊이 정보를 검출할 수 있다.
도 5는 일 실시예에 따른 제1 카메라 모듈에 포함되는 이미지 센서의 해상도와 제2 카메라 모듈에 포함되는 이미지 센서의 해상도가 상이한 경우, 제2 관심 영역을 검출하는 방법을 설명하기 위해 참조되는 도면이다.
도 5를 참조하면, 제1 카메라 모듈(110)에 포함되는 이미지 센서의 해상도와 제2 카메라 모듈(120)에 포함되는 이미지 센서의 해상도는 서로 다를 수 있다. 이때, 이미지 센서의 해상도는 이미지 센서에 포함되는 픽셀들의 개수에 의해 결정되며, 이미지 센서에 포함되는 픽셀들의 개수가 많을수록 이미지 센서의 해상도는 높아진다.
예를 들어, 제1 카메라 모듈(110)에 포함되는 이미지 센서의 해상도는 제2 카메라 모듈(120)에 포함되는 이미지 센서의 해상도보다 저해상도 일 수 있으며, 제2 카메라 모듈(120)에 포함되는 이미지 센서의 해상도는 제1 카메라 모듈(110)에 포함되는 이미지 센서의 해상도보다 고해상도 일 수 있다. 이에 따라, 제1 카메라 모듈(110)로부터 획득되는 제1 영상(411)의 해상도는 제2 카메라 모듈(120)로부터 촬영되는 제2 영상(412)의 해상도보다 저해상도 일 수 있다. 또한, 제2 영상(412)의 해상도는 제1 영상(411)의 해상도보다 고해상도일 수 있다.
도 5를 참조하면, 제2 영상(412)에 포함되는 픽셀들의 개수는 제1 영상(411)에 포함되는 픽셀들의 개수의 4배일 수 있다.
촬영 장치(100)는 제1 영상(411)에서 제1 피사체를 포함하는 제1 관심 영역(421)을 설정할 수 있다. 이때, 제1 관심 영역(421)에 포함되는 픽셀들의 개수는 제1 피사체의 크기에 따라 설정될 수 있다. 제1 영상(411)에서 제1 관심 영역(421)이 설정되면, 촬영 장치(100)는 제1 영상(411)의 해상도(제1 카메라 모듈에 포함되는 이미지 센서의 해상도)와 제2 영상(412)의 해상도(제2 카메라 모듈에 포함되는 이미지 센서의 해상도)의 차이를 이용하여, 제2 관심 영역(422)에 포함되는 픽셀들의 개수를 결정할 수 있다.
예를 들어, 도 5에 도시된 바와 같이, 제1 영상(411) 및 제2 영상(412)의 크기가 동일하고, 제2 영상(412)에 포함되는 픽셀들의 개수가 제1 영상(411)에 포함되는 픽셀들의 개수의 4배인 경우, 촬영 장치(100)는 제1 관심 영역(421)에 포함되는 픽셀들의 개수*4만큼의 픽셀들을 포함하도록 제2 관심 영역(422)의 크기를 설정할 수 있다.
촬영 장치(100)는 제2 관심 영역(422)의 크기가 결정되면, 제2 영상(412) 내에서 제2 관심 영역(422)을 이동시키면서, 제1 관심 영역(421)에 포함되는 픽셀 값들과 제2 관심 영역(422)에 포함되는 픽셀 값들을 비교하여, 제1 관심 영역(421)에 매칭되는 제2 관심 영역(422)의 위치를 결정할 수 있다.
이때, 촬영 장치(100)는 제1 관심 영역의 해상도(제1 관심 영역에 포함되는 픽셀들의 개수)와 제2 관심 영역의 해상도(제2 관심 영역에 포함되는 픽셀들의 개수)의 비율을 고려하여, 제1 관심 영역(421)에 포함되는 픽셀 값들과 제2 관심 영역(422)에 포함되는 픽셀 값들을 비교할 수 있다.
제1 관심 영역(421)에 매칭되는 제2 관심 영역(422)이 검출되면, 촬영 장치(100)는 제1 관심 영역(421)과 제2 관심 영역(422)의 디스패리티(disparity)를 계산할 수 있다. 또한, 제1 관심 영역(421)과 제2 관심 영역(422)의 디스패리티가 겸출되면, 촬영 장치(100)는 디스패리티를 이용하여, 제1 카메라 모듈(110) 및 제2 카메라 모듈(120)의 오토 포커싱을 수행할 수 있다. 또한, 촬영 장치(100)는 디스패리티를 이용하여, 제1 관심 영역(421) 및 제2 관심 영역(422) 중 적어도 어느 하나에 대한 깊이 정보를 검출할 수 있다.
도 6은 일 실시예에 따른 제1 카메라 모듈에서만 촬영되는 피사체를 관심 영역으로 설정하는 경우에 촬영 장치의 동작방법을 설명하기 위해 참조되는 도면이다.
일 실시예에 따른 촬영 장치(100)는 제1 카메라 모듈과 제2 카메라 모듈의 광학적 특성을 이용하여, 제1 카메라 모듈에서 획득한 제1 영상에 포함되는 피사체(관심 영역으로 설정된 피사체)가 제2 카메라 모듈에서 획득한 제2 영상에 포함되는지 여부를 판단할 수 있다.
도 6a는 일 실시예에 따른 제1 카메라 모듈(110), 제2 카메라 모듈(120) 및 제2 피사체(312)의 위치를 나타내는 도면이다. 도 6a에서는 설명의 편의를 위해 제1 카메라 모듈(110) 및 제2 카메라 모듈(120)이 동일한 지점에 위치하는 것으로 설명하지만, 이에 한정하는 것은 아니다.
일 실시예에 따른 제1 카메라 모듈(110)에 포함되는 렌즈의 화각이 제2 카메라 모듈(120)에 포함되는 렌즈의 화각보다 넓은 경우, 제1 카메라 모듈(110)은 제2 카메라 모듈(120)보다 더 넓은 범위를 촬영할 수 있다. 예를 들어, 제1 카메라 모듈(110)의 화각(A1)이 제2 카메라 모듈(120)의 화각(A2)보다 2배 넓은 경우, 제1 카메라 모듈(110)에 의해 촬영되는 범위는 제2 카메라 모듈(120)에 의해 촬영되는 범위의 2배일 수 있다.
제1 영상에서 관심 영역으로 설정된 제2 피사체(312)가 제1 카메라 모듈(110)의 중심(501)을 기준으로 제1 카메라 모듈(110)의 화각의 1/2이상 벗어난 지점에 위치하는 경우, 제2 피사체(312)는 제2 카메라 모듈(120)에 의해 촬영되지 않는다.
이에 따라, 촬영 장치(100)는 제1 카메라 모듈(110)과 제2 카메라 모듈(120)의 광학적 특성 및 관심 영역으로 설정된 제2 피사체(312)의 위치에 기초하여, 제2 피사체(312)가 제2 카메라 모듈(120)에서 획득한 제2 영상에 포함되는지 여부를 결정할 수 있다. 제1 영상에서 관심영역으로 설정된 제2 피사체(312)가 제2 카메라 모듈(120)에 의해 촬영되지 않는 경우, 촬영 장치(100)는 제1 영상에 설정된 제1 관심 영역(제2 피사체)만을 이용하여 제1 카메라 모듈(110)에 포함되는 렌즈의 초점을 조절할 수 있다.
도 7a 및 도 7b는 일 실시예에 따른 제1 카메라 모듈에서만 촬영된 영역을 관심 영역으로 설정하는 경우에 촬영 장치의 동작방법을 설명하기 위해 참조되는 도면들이다.
도 7a는 도 4a의 제1 카메라 모듈(110)에서 획득한 제1 영상(511) 및 제2 카메라 모듈(120)에서 획득한 제2 영상(512)을 나타내는 도면이다. 도 4a에서 설명한 바와 같이, 제1 카메라 모듈(110)에 포함되는 렌즈의 화각이 제2 카메라 모듈(120)에 포함되는 렌즈의 화각보다 넓은 경우, 제1 카메라 모듈(110)은 제2 카메라 모듈(120)보다 더 넓은 범위를 촬영할 수 있다.
도 7a를 참조하면, 제1 영상(511)은 도 4a의 제1 피사체(311) 및 제2 피사체(312)를 포함하나, 제2 영상(512)은 제1 피사체(311)만을 포함한다.
촬영 장치(100)는 제2 피사체(312)를 선택하는 사용자 입력에 기초하여, 제2 피사체(312)를 포함하는 소정 영역을 제1 관심 영역(520)으로 설정할 수 있다.
예를 들어, 촬영 장치(100)는 촬영된 제1 영상(511)을 디스플레이부(예를 들어, 터치 스크린)에 표시할 수 있고, 사용자가 표시된 제1 영상(511)에서 제2 피사체가 표시된 부분을 터치하는 입력을 수신할 수 있다. 촬영 장치(100)는 제2 피사체를 포함하는 제1 관심 영역(520)을 설정할 수 있다. 이때, 제1 관심 영역(520)의 크기는 제2 피사체의 크기에 따라 설정될 수 있다.
한편, 촬영 장치(100)는 제1 카메라 모듈(110)의 촬영 범위와 제2 카메라 모듈(120)의 촬영 범위의 차이를 이용하여, 제2 피사체(312)가 제2 영상(512) 내에 포함되는지 여부를 판단할 수 있다.
예를 들어, 촬영 장치(100)는 도 4a 내지 도 4d에서 설명한 방법을 이용하여, 제1 관심 영역(520)의 크기, 제1 카메라 모듈(110) 및 제2 카메라 모듈(120)의 촬영 범위의 차이를 이용하여 제2 관심 영역(525)의 크기를 결정할 수 있다. 촬영 장치(100)는 제2 관심 영역(525)의 크기가 결정되면, 제2 영상(512) 내에서 제2 관심 영역(525)을 이동시키면서, 제1 관심 영역(520)에 포함되는 픽셀 값들과 제2 관심 영역(525)에 포함되는 픽셀 값들을 비교하여, 제1 관심 영역(520)에 매칭되는 제2 관심 영역(525)의 위치를 결정할 수 있다.
이때, 제1 관심 영역(520)에 포함되는 픽셀 값들과 제2 관심 영역(525)에 포함되는 픽셀 값들의 유사한 정도가 임계값 이하인 경우, 제1 관심 영역(520)에 매칭되는 영역이 제2 영상(512) 내에 존재하지 않는 것이며, 촬영 장치(100)는 제2 피사체(312)가 제2 영상 내에 포함되지 않은 것으로 판단할 수 있다.
또한, 도 7b를 참조하면, 촬영 장치(100)는 제1 영상(511) 및 제2 영상(512)에 공통으로 포함되는 제1 피사체(311)와, 제2 피사체(312)의 위치 관계를 이용하여, 제2 피사체(312)가 제2 영상(512) 내에 포함되는지 여부를 판단할 수 있다.
예를 들어, 도 4a 내지 도 4d에서 설명한 바와 같이, 제1 영상(511) 및 제2 영상(512) 내에서 제1 피사체를 포함하는 관심 영역(531, 532)의 크기와 위치가 결정되면, 제1 영상(511) 내에서, 제1 피사체를 포함하는 관심 영역(531)을 기준으로 하는 제1 관심 영역(520, 제2 피사체를 포함하는 관심 영역)의 위치를 계산할 수 있다. 또한, 촬영 장치(100)는 제1 카메라 모듈(110)과 제2 카메라 모듈(120)의 광학적 특성의 차이(예를 들어, 촬영 범위의 차이)를 이용하여, 제2 영상(512) 내에서 제1 피사체를 포함하는 관심 영역(532)을 기준으로 하는 제2 관심 영역(525)의 위치를 계산할 수 있다. 촬영 장치(100)는 계산된 제2 관심 영역(525)의 위치가 제2 영상 내인지를 판단하여, 제2 피사체가 제2 영상 내에 포함되는지 여부를 판단할 수 있다.
예를 들어, 촬영 장치(100)는 제1 영상(511) 내에서 관심 영역(531)과 제1 관심 영역(520)의 상대적인 위치 관계(551)를 계산할 수 있다. 또한, 계산된 위치 관계(551)와 제1 카메라 모듈(110)과 제2 카메라 모듈(120)의 광학적 특성의 차이(예를 들어, 촬영 범위의 차이)를 이용하여 제2 영상(512) 내에서 관심 영역(532)과 제2 관심 영역(525)의 상대적인 위치 관계(552)를 계산할 수 있다. 이에 따라, 촬영 장치(100)는 제2 관심 영역(525)이 제2 영상(512) 밖의 영역에 위치하는 것으로 판단할 수 있으며, 제2 피사체가 제2 영상(512) 내에 포함되지 않는 것으로 판단할 수 있다.
제2 피사체가 제2 영상(512) 내에 포함되지 않는 경우, 촬영 장치(100)는 제1 영상(511)에 설정된 제1 관심 영역(520)만을 이용하여 제1 카메라 모듈(110)에 포함되는 렌즈의 초점을 조절할 수 있다.
도 8은 일 실시예에 따른 촬영 장치의 동작방법을 나타내는 흐름도이다.
도 8을 참조하면, 촬영 장치(100)는 제1 카메라 모듈(110)로부터 제1 영상을 획득할 수 있다(S610).
예를 들어, 촬영 장치(100)는 제1 카메라 모듈(110)을 이용하여 제1 피사체를 촬영하여, 제1 영상을 획득할 수 있다
촬영 장치(100)는 제2 카메라 모듈(120)로부터 제2 영상을 획득할 수 있다(S620).
이때, 제1 카메라 모듈의 광학적 특성과 제2 카메라 모듈의 광학적 특성은 서로 다를 수 있다. 예를 들어, 제1 카메라 모듈(110)에 포함되는 렌즈의 화각과 제2 카메라 모듈(120)에 포함되는 렌즈의 화각은 서로 다를 수 있다. 제1 카메라 모듈(110)에 포함되는 렌즈의 화각과 제2 카메라 모듈에 포함되는 렌즈의 화각이 서로 다르면, 도 4a에서 설명한 바와 같이, 제1 카메라 모듈(110)의 촬영 범위와 제2 카메라 모듈(120)의 촬영 범위가 서로 달라질 수 있다.
또는, 제1 카메라 모듈(110)에 포함되는 이미지 센서의 해상도와 제2 카메라 모듈(120)에 포함되는 이미지 센서의 해상도는 서로 다를 수 있다. 제1 카메라 모듈(110)에 포함되는 이미지 센서의 해상도와 제2 카메라 모듈(120)에 포함되는 이미지 센서의 해상도가 서로 다르면, 도 5에서 설명한 바와 같이, 제1 영상의 해상도와 제2 영사의 해상도가 서로 달라질 수 있다.
촬영 장치(100)는 제1 영상에 제1 관심 영역을 설정할 수 있다(S630).
촬영 장치(100)는 제1 영상에서 제1 피사체를 포함하는 제1 관심 영역을 설정할 수 있다. 이때, 제1 관심 영역의 크기는 제1 피사체의 크기에 따라 설정될 수 있다.
촬영 장치(100)는 제1 카메라 모듈의 광학적 특성과 제2 카메라 모듈의 광학적 특성의 차이를 이용하여, 제2 영상에서 제2 관심 영역을 검출할 수 있다(S640).
예를 들어, 제1 카메라 모듈(110)에 포함되는 렌즈의 화각과 제2 카메라 모듈에 포함되는 렌즈의 화각이 서로 다른 경우, 촬영 장치(100)는 제1 카메라 모듈(110)의 촬영 범위와 제2 카메라 모듈(120)의 촬영 범위의 차이를 이용하여, 제2 관심 영역의 크기를 결정할 수 있다. 이에 대해서는 도 4b에서 자세히 설명하였으므로 자세한 설명은 생략하기로 한다.
또한, 제1 카메라 모듈(110)에 포함되는 이미지 센서의 해상도와 제2 카메라 모듈(120)에 포함되는 이미지 센서의 해상도는 서로 다른 경우, 촬영 장치(100)는 제1 영상의 해상도(제1 영상에 포함되는 픽셀들의 개수)와 제2 영상의 해상도(제2 영상에 포함되는 픽셀들의 개수)의 차이를 이용하여, 제2 관심 영역에 포함되는 픽셀들의 개수를 결정할 수 있다.
촬영 장치(100)는 제2 관심 영역의 크기가 결정되면, 제2 영상 내에서 제2 관심 영역을 이동시키면서, 제1 관심 영역에 포함되는 픽셀 값들과 제2 관심 영역에 포함되는 픽셀 값들을 비교하여, 제1 관심 영역에 매칭되는 제2 관심 영역의 위치를 결정할 수 있다.
또한, 촬영 장치(100)는 제1 관심 영역에 매칭되는 제2 관심 영역이 검출되면, 촬영 장치(100)는 제1 관심 영역과 제2 관심 영역의 디스패리티(disparity, 위치 차이)를 계산할 수 있다. 또한, 제1 관심 영역과 제2 관심 영역의 디스패리티가 겸출되면, 촬영 장치(100)는 디스패리티를 이용하여, 제1 카메라 모듈(110) 및 제2 카메라 모듈(120)의 오토 포커싱을 수행할 수 있다. 또한, 촬영 장치(100)는 디스패리티를 이용하여, 제1 관심 영역 및 제2 관심 영역 중 적어도 어느 하나에 대한 깊이 정보를 검출할 수 있다.
일 실시예에 따른 영상 표시 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (19)

  1. 서로 다른 광학적 특성을 가지고, 동일한 제1 피사체를 촬영하는 제1 카메라 모듈 및 제2 카메라 모듈; 및
    상기 제1 카메라 모듈 및 상기 제2 카메라 모듈과 기능적으로 연결되는 제어부를 포함하고, 상기 제어부는,
    상기 제1 카메라 모듈로부터 획득한 제1 영상에서 제2 피사체를 포함하는 영역을 제1 관심 영역으로 설정하고,
    상기 제2 피사체가 상기 제2 카메라 모듈로부터 획득한 제2 영상 내에 포함되는지 여부를 판단하고,
    상기 제2 피사체가 상기 제2 영상 내에 포함되지 않는다고 판단된 경우, 상기 제2 피사체를 포함하는 상기 제1 관심 영역만을 이용하여 상기 제1 카메라 모듈에 포함되는 렌즈의 초점을 조절하고,
    상기 제2 피사체가 상기 제2 영상 내에 포함된다고 판단된 경우, 상기 제1 카메라 모듈의 광학적 특성과 상기 제2 카메라 모듈의 광학적 특성의 차이를 이용하여 상기 제2 영상에서 상기 제1 관심 영역에 매칭되는 제2 관심 영역을 검출하고, 상기 제1 관심 영역과 상기 제2 관심 영역을 이용하여 상기 제1 카메라 모듈 및 상기 제2 카메라 모듈에 포함되는 렌즈들의 초점을 조절하는, 촬영 장치.
  2. 제1항에 있어서,
    상기 제1 카메라 모듈의 광학적 특성은,
    상기 제1 카메라 모듈에 포함되는 렌즈의 화각 및 이미지 센서의 해상도 중 적어도 하나에 의해 결정되고,
    상기 제2 카메라 모듈의 광학적 특성은,
    상기 제2 카메라 모듈에 포함되는 렌즈의 화각 및 이미지 센서의 해상도 중 적어도 하나에 의해 결정되는 촬영 장치.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 제1 관심 영역의 크기, 및 상기 제1 카메라 모듈 및 상기 제2 카메라 모듈에 포함되는 렌즈들의 화각의 차이를 이용하여, 상기 제2 관심 영역의 크기를 결정하는 촬영 장치.
  4. 제3항에 있어서,
    상기 제어부는,
    상기 제1 카메라 모듈에 포함되는 렌즈의 화각이 상기 제2 카메라 모듈에 포함되는 렌즈의 화각보다 크면, 상기 제2 관심 영역의 크기를 상기 제1 관심 영역의 크기보다 크게 결정하는 촬영 장치.
  5. 제2항에 있어서,
    상기 제어부는,
    상기 제1 관심 영역에 포함되는 픽셀들의 개수, 및 상기 제1 카메라 모듈 및 상기 제2 카메라 모듈에 포함되는 이미지 센서들의 해상도 차이를 이용하여, 상기 제2 관심 영역에 포함되는 픽셀들의 개수를 결정하는 촬영 장치.
  6. 제5항에 있어서,
    상기 제어부는,
    상기 제1 카메라 모듈에 포함되는 이미지 센서의 해상도가 상기 제2 카메라 모듈에 포함되는 이미지 센서의 해상도보다 큰 경우, 상기 제2 관심 영역에 포함되는 픽셀들의 개수가 상기 제1 관심 영역에 포함되는 픽셀들의 개수보다 적도록 결정하는 촬영 장치.
  7. 제1항에 있어서,
    상기 제어부는,
    상기 제2 피사체가 상기 제2 영상 내에 포함된다고 판단된 경우, 상기 제1 관심 영역과 상기 검출된 제2 관심 영역의 디스패리티(disparity) 정보를 이용하여, 상기 제1 카메라 모듈 및 상기 제2 카메라 모듈에 포함되는 렌즈들의 초점을 조절하는 촬영 장치.
  8. 제1항에 있어서,
    상기 제어부는,
    상기 제2 피사체가 상기 제2 영상 내에 포함된다고 판단된 경우, 상기 제1 관심 영역과 상기 검출된 제2 관심 영역의 디스패리티 정보를 이용하여, 상기 제1 관심 영역 및 상기 제2 관심 영역 중 어느 하나에 대응하는 깊이 정보를 검출하는 촬영 장치.
  9. 삭제
  10. 제1 카메라 모듈로부터 제1 피사체를 촬영한 제1 영상을 획득하는 단계;
    상기 제1 카메라 모듈과 다른 광학적 특성을 가지는 제2 카메라 모듈로부터 상기 제1 피사체를 촬영한 제2 영상을 획득하는 단계;
    상기 제1 영상에서 제2 피사체를 포함하는 영역을 제1 관심 영역으로 설정하는 단계;
    상기 제2 피사체가 상기 제2 영상 내에 포함되는지 여부를 판단하는 단계;
    상기 제2 피사체가 상기 제2 영상 내에 포함되지 않는다고 판단된 경우:
    상기 제2 피사체를 포함하는 상기 제1 관심 영역만을 이용하여 상기 제1 카메라 모듈에 포함되는 렌즈의 초점을 조절하는 단계;
    상기 제2 피사체가 상기 제2 영상 내에 포함된다고 판단된 경우:
    상기 제1 카메라 모듈의 광학적 특성과 상기 제2 카메라 모듈의 광학적 특성의 차이를 이용하여 상기 제2 영상에서 상기 제1 관심 영역에 매칭되는 제2 관심 영역을 검출하는 단계; 및
    상기 제1 관심 영역과 상기 제2 관심 영역을 이용하여 상기 제1 카메라 모듈 및 상기 제2 카메라 모듈에 포함되는 렌즈들의 초점을 조절하는 단계를 포함하는 촬영 장치의 동작방법.
  11. 제10항에 있어서,
    상기 제1 카메라 모듈의 광학적 특성은,
    상기 제1 카메라 모듈에 포함되는 렌즈의 화각 및 이미지 센서의 해상도 중 적어도 하나에 의해 결정되고,
    상기 제2 카메라 모듈의 광학적 특성은,
    상기 제2 카메라 모듈에 포함되는 렌즈의 화각 및 이미지 센서의 해상도 중 적어도 하나에 의해 결정되는 촬영 장치의 동작방법.
  12. 제11항에 있어서,
    상기 제2 관심 영역을 검출하는 단계는,
    상기 제1 관심 영역의 크기, 및 상기 제1 카메라 모듈 및 상기 제2 카메라 모듈에 포함되는 렌즈들의 화각의 차이를 이용하여, 상기 제2 관심 영역의 크기를 결정하는 단계를 포함하는 촬영 장치의 동작방법.
  13. 제12항에 있어서,
    상기 제2 관심 영역의 크기를 결정하는 단계는,
    상기 제1 카메라 모듈에 포함되는 렌즈의 화각이 상기 제2 카메라 모듈에 포함되는 렌즈의 화각보다 크면, 상기 제2 관심 영역의 크기를 상기 제1 관심 영역의 크기보다 크게 결정하는 단계인 촬영 장치의 동작방법.
  14. 제11항에 있어서,
    상기 제2 관심 영역을 검출하는 단계는,
    상기 제1 관심 영역에 포함되는 픽셀들의 개수, 및 상기 제1 카메라 모듈 및 상기 제2 카메라 모듈에 포함되는 이미지 센서들의 해상도 차이를 이용하여, 상기 제2 관심 영역에 포함되는 픽셀들의 개수를 결정하는 단계를 포함하는 촬영 장치의 동작방법.
  15. 제14항에 있어서,
    상기 제2 관심 영역에 포함되는 픽셀들의 개수를 결정하는 단계는,
    상기 제1 카메라 모듈에 포함되는 이미지 센서의 해상도가 상기 제2 카메라 모듈에 포함되는 이미지 센서의 해상도보다 큰 경우, 상기 제2 관심 영역에 포함되는 픽셀들의 개수가 상기 제1 관심 영역에 포함되는 픽셀들의 개수보다 적도록 결정하는 단계인 촬영 장치의 동작방법.
  16. 제10항에 있어서,
    상기 제1 카메라 모듈 및 상기 제2 카메라 모듈에 포함되는 렌즈들의 초점을 조절하는 단계는,
    상기 제1 관심 영역과 검출된 상기 제2 관심 영역의 디스패리티 정보를 이용하여, 상기 제1 카메라 모듈 및 상기 제2 카메라 모듈에 포함되는 렌즈들의 초점을 조절하는 단계를 더 포함하는 촬영 장치의 동작방법.
  17. 제10항에 있어서,
    상기 제1 카메라 모듈 및 상기 제2 카메라 모듈에 포함되는 렌즈들의 초점을 조절하는 단계는,
    상기 제1 관심 영역과 상기 검출된 제2 관심 영역의 디스패리티 정보를 이용하여, 상기 제1 관심 영역 및 상기 제2 관심 영역 중 어느 하나에 대응하는 깊이 정보를 검출하는 단계를 더 포함하는 촬영 장치의 동작방법.
  18. 삭제
  19. 제10항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020150096780A 2015-07-07 2015-07-07 촬영 장치 및 그 동작 방법 Active KR102336447B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150096780A KR102336447B1 (ko) 2015-07-07 2015-07-07 촬영 장치 및 그 동작 방법
CN201580079859.9A CN107636692B (zh) 2015-07-07 2015-12-29 图像捕获设备及操作其的方法
PCT/KR2015/014427 WO2017007096A1 (en) 2015-07-07 2015-12-29 Image capturing apparatus and method of operating the same
EP15897818.9A EP3320676B1 (en) 2015-07-07 2015-12-29 Image capturing apparatus and method of operating the same
US14/983,706 US10410061B2 (en) 2015-07-07 2015-12-30 Image capturing apparatus and method of operating the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150096780A KR102336447B1 (ko) 2015-07-07 2015-07-07 촬영 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20170006201A KR20170006201A (ko) 2017-01-17
KR102336447B1 true KR102336447B1 (ko) 2021-12-07

Family

ID=57684846

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150096780A Active KR102336447B1 (ko) 2015-07-07 2015-07-07 촬영 장치 및 그 동작 방법

Country Status (5)

Country Link
US (1) US10410061B2 (ko)
EP (1) EP3320676B1 (ko)
KR (1) KR102336447B1 (ko)
CN (1) CN107636692B (ko)
WO (1) WO2017007096A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101718043B1 (ko) * 2015-08-20 2017-03-20 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US10097747B2 (en) 2015-10-21 2018-10-09 Qualcomm Incorporated Multiple camera autofocus synchronization
KR102636272B1 (ko) 2016-07-26 2024-02-14 삼성전자주식회사 영상 촬상 장치 및 이를 포함하는 전자 시스템
US20180070010A1 (en) * 2016-09-02 2018-03-08 Altek Semiconductor Corp. Image capturing apparatus and image zooming method thereof
KR102351542B1 (ko) * 2017-06-23 2022-01-17 삼성전자주식회사 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치
US10620505B2 (en) * 2017-06-27 2020-04-14 Arcsoft Corporation Limited Method and apparatus for focusing
US10529084B2 (en) * 2018-02-06 2020-01-07 Htc Corporation Image processing method, electronic device, and non-transitory computer readable storage medium
CN111885294B (zh) * 2018-03-26 2022-04-22 华为技术有限公司 一种拍摄方法、装置与设备
US11055866B2 (en) * 2018-10-29 2021-07-06 Samsung Electronics Co., Ltd System and method for disparity estimation using cameras with different fields of view
KR102131445B1 (ko) * 2018-11-27 2020-07-08 전자부품연구원 관심객체 화질개선 시스템 및 방법
KR20210045891A (ko) * 2019-10-17 2021-04-27 삼성전자주식회사 전자 장치 및 전자 장치의 화면 캡쳐 운용 방법
US20210185266A1 (en) 2019-12-13 2021-06-17 Sony Semiconductor Solutions Corporation Methods and systems of low power facial recognition
US11394905B2 (en) 2019-12-13 2022-07-19 Sony Semiconductor Solutions Corporation Dynamic region of interest and frame rate for event based sensor and imaging camera
CN113573039A (zh) * 2020-04-29 2021-10-29 思特威(上海)电子科技股份有限公司 目标深度值获取方法及双目系统
KR20220049871A (ko) 2020-10-15 2022-04-22 삼성전자주식회사 카메라 모듈 및 이를 포함하는 전자 장치
CN117356102A (zh) * 2021-04-28 2024-01-05 高通股份有限公司 多相机系统中辅助相机的镜头定位
KR102770800B1 (ko) * 2022-01-28 2025-02-21 삼성전자주식회사 희소 듀얼 픽셀에 기반한 이미지 처리 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140071245A1 (en) * 2012-09-10 2014-03-13 Nvidia Corporation System and method for enhanced stereo imaging

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5059788B2 (ja) * 2006-03-01 2012-10-31 エージェンシー フォー サイエンス，テクノロジー アンド リサーチ 対象物の複数ビューをリアルタイムビデオ出力で得る方法及びシステム
EP2259599A1 (en) * 2009-05-29 2010-12-08 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangement for processing a stereo image for three-dimensional viewing
KR101286651B1 (ko) 2009-12-21 2013-07-22 한국전자통신연구원 영상 보정 장치 및 이를 이용한 영상 보정 방법
KR101214536B1 (ko) * 2010-01-12 2013-01-10 삼성전자주식회사 뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라
JP5446949B2 (ja) * 2010-02-03 2014-03-19 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP4894939B2 (ja) * 2010-03-15 2012-03-14 カシオ計算機株式会社 撮像装置、表示方法、および、プログラム
US9479759B2 (en) * 2010-03-29 2016-10-25 Forstgarten International Holding Gmbh Optical stereo device and autofocus method therefor
JP2011215498A (ja) * 2010-04-01 2011-10-27 Sony Corp 撮像装置
KR20120043995A (ko) * 2010-10-27 2012-05-07 건국대학교 산학협력단 복수개의 카메라를 이용한 관심영역 추출 시스템 및 그 방법
WO2012140919A1 (ja) * 2011-04-14 2012-10-18 パナソニック株式会社 ステレオ画像生成装置およびステレオ画像生成方法
TWI507807B (zh) * 2011-06-24 2015-11-11 Mstar Semiconductor Inc 自動對焦方法與裝置
US8605199B2 (en) * 2011-06-28 2013-12-10 Canon Kabushiki Kaisha Adjustment of imaging properties for an imaging assembly having light-field optics
JP5901935B2 (ja) * 2011-10-24 2016-04-13 株式会社東芝 固体撮像装置及びカメラモジュール
KR20130051709A (ko) 2011-11-10 2013-05-21 삼성전기주식회사 스테레오 카메라 모듈
CN103780830B (zh) * 2012-10-17 2017-04-12 晶睿通讯股份有限公司 连动式摄影系统及其多摄影机的控制方法
US9609305B1 (en) * 2013-03-13 2017-03-28 Amazon Technologies, Inc. Feature-based rectification of stereo cameras
KR102031142B1 (ko) 2013-07-12 2019-10-11 삼성전자주식회사 영상 디스플레이를 제어하는 전자 장치 및 방법
CN108718376B (zh) * 2013-08-01 2020-08-14 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
US9565416B1 (en) * 2013-09-30 2017-02-07 Google Inc. Depth-assisted focus in multi-camera systems
US9615012B2 (en) * 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
US9294662B2 (en) * 2013-10-16 2016-03-22 Broadcom Corporation Depth map generation and post-capture focusing
CN104729665B (zh) * 2015-03-10 2018-04-13 华南理工大学 一种基于双目视觉的柔性悬臂板振动检测装置及方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140071245A1 (en) * 2012-09-10 2014-03-13 Nvidia Corporation System and method for enhanced stereo imaging

Also Published As

Publication number Publication date
US10410061B2 (en) 2019-09-10
EP3320676A4 (en) 2018-05-16
EP3320676B1 (en) 2021-10-27
WO2017007096A1 (en) 2017-01-12
CN107636692A (zh) 2018-01-26
EP3320676A1 (en) 2018-05-16
KR20170006201A (ko) 2017-01-17
US20170011525A1 (en) 2017-01-12
CN107636692B (zh) 2021-12-28

Similar Documents

Publication Publication Date Title
KR102336447B1 (ko) 촬영 장치 및 그 동작 방법
US10264174B2 (en) Photographing apparatus and focus detection method using the same
US8395694B2 (en) Apparatus and method for blurring image background in digital image processing device
CN101931752B (zh) 摄像装置、以及对焦方法
US9489747B2 (en) Image processing apparatus for performing object recognition focusing on object motion, and image processing method therefor
KR101756839B1 (ko) 디지털 촬영 장치 및 이의 제어 방법
US20080181460A1 (en) Imaging apparatus and imaging method
CN107850753B (zh) 检测设备、检测方法、检测程序和成像设备
US9961272B2 (en) Image capturing apparatus and method of controlling the same
TW201119365A (en) Image selection device and method for selecting image
US20140071318A1 (en) Imaging apparatus
US20150181106A1 (en) Imaging apparatus and focus control method
US20150189142A1 (en) Electronic apparatus and method of capturing moving subject by using the same
US8295609B2 (en) Image processing apparatus, image processing method and computer readable-medium
US20150085077A1 (en) Read-out mode changeable digital photographing apparatus and method of controlling the same
KR20170067634A (ko) 촬영 장치 및 촬영 장치를 이용한 초점 검출 방법
KR102336449B1 (ko) 촬영 장치 및 촬영 장치의 동작방법
KR102368625B1 (ko) 디지털 촬영 장치 및 그 방법
US10248859B2 (en) View finder apparatus and method of operating the same
KR101864829B1 (ko) 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
KR20170006748A (ko) 촬영 장치 및 그 동작 방법
JP7458769B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
CN110771142A (zh) 摄像装置、摄像装置的控制方法及摄像装置的控制程序
US20110279649A1 (en) Digital photographing apparatus, method of controlling the same, and computer-readable storage medium
KR20120071964A (ko) 입체 영상 촬영 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150707

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200610

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20150707

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210310

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210928

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20211202

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20211203

End annual number: 3

Start annual number: 1

PG1601 Publication of registration