[go: up one dir, main page]

KR102446442B1 - 디지털 촬영 장치 및 그 동작 방법 - Google Patents

디지털 촬영 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR102446442B1
KR102446442B1 KR1020150164841A KR20150164841A KR102446442B1 KR 102446442 B1 KR102446442 B1 KR 102446442B1 KR 1020150164841 A KR1020150164841 A KR 1020150164841A KR 20150164841 A KR20150164841 A KR 20150164841A KR 102446442 B1 KR102446442 B1 KR 102446442B1
Authority
KR
South Korea
Prior art keywords
image
subject
illuminance
photographing apparatus
digital photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020150164841A
Other languages
English (en)
Other versions
KR20170060414A (ko
Inventor
한희철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150164841A priority Critical patent/KR102446442B1/ko
Priority to US15/070,109 priority patent/US20170150067A1/en
Priority to EP21203355.9A priority patent/EP3968625B1/en
Priority to EP23172668.8A priority patent/EP4228276A1/en
Priority to CN202111255285.XA priority patent/CN114040095B/zh
Priority to EP16868739.0A priority patent/EP3335416B1/en
Priority to CN201680059536.8A priority patent/CN108141539B/zh
Priority to CN202111364762.6A priority patent/CN114079734B/zh
Priority to PCT/KR2016/003036 priority patent/WO2017090837A1/en
Publication of KR20170060414A publication Critical patent/KR20170060414A/ko
Priority to US17/347,660 priority patent/US11496696B2/en
Priority to KR1020220117251A priority patent/KR102653850B1/ko
Application granted granted Critical
Publication of KR102446442B1 publication Critical patent/KR102446442B1/ko
Priority to US17/961,771 priority patent/US12356106B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/52—Elements optimising image sensor operation, e.g. for electromagnetic interference [EMI] protection or temperature control by heat transfer or cooling elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H04N5/23267—
    • H04N5/23296—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Exposure Control For Cameras (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
  • Image Processing (AREA)

Abstract

제1 영상을 획득하는 제1 광학계, 제1 영상을 획득할 때와 상이한 광학 조건으로 제2 영상을 획득하는 제2 광학계, 피사체의 조도, 디지털 촬영 장치와 피사체 사이의 거리 및 촬영 모드 중 적어도 하나를 포함하는 촬영 환경 정보를 획득하는 센서 및 촬영 환경 정보에 기초하여, 제1 영상과 제2 영상을 합성한 합성 영상을 생성할지 여부를 결정하는 프로세서를 포함하는 디지털 촬영 장치를 개시한다.

Description

디지털 촬영 장치 및 그 동작 방법{Digital photographing apparatus and the operating method for the same}
다양한 실시예들은 디지털 촬영 장치 및 그 동작 방법에 관한 것으로서, 더욱 상세하게는 서로 다른 광학 조건으로 영상을 획득하는 복수 개의 광학계를 갖는 디지털 촬영 장치 및 그 동작 방법에 관한 것이다.
스마트폰, 태블릿 PC, 디지털 카메라 등과 같은 디지털 촬영 장치는 복수의 광학계를 포함할 수 있다.
최근에는 사용자의 다양한 욕구를 만족시키기 위해, 서로 다른 특성을 갖는 광학계가 장착되어 있는 디지털 촬영 장치가 사용되고 있다. 사용성을 극대화 시키기 위해서는 서로 대비되는 특성을 갖는 비대칭(asymmetric) 광학계를 포함하는 디지털 촬영 장치가 사용될 수 있다.
비대칭 광학계의 구현 예로는, 광각 영상을 획득하는 광학계와 망원 영상을 획득하는 광학계, 컬러 영상을 획득하는 광학계와 흑백 영상을 획득하는 광학계, 그리고 액티브 방식을 이용하여 거리 정보를 획득하는 센서(예를 들어, 적외선 센서, TOF 등)와 듀얼 광학계가 있을 수 있다.
다양한 실시예들은, 촬영 환경을 자동으로 감지하여, 비대칭 광학계로부터 획득한 두개의 영상 중 하나를 선택하거나 비대칭 광학계로 획득한 영상을 합성하기 위한 디지털 촬영 장치 및 그 방법을 제공하기 위한 것이다.
다양한 실시예들은, 촬영 환경을 자동으로 감지하여 합성 여부를 결정함에 따라, 촬영 환경에 최적화된 출력 영상을 생성할 수 있고 이에 따라 소비 전력을 감소시키고 영상 처리에 소요되는 시간을 절약하기 위한 디지털 촬영 장치 및 그 방법을 제공하기 위한 것이다.
일 실시예에 따른 디지털 촬영 장치는, 제1 영상을 획득하는 제1 광학계; 상기 제1 영상을 획득할 때와 상이한 광학 조건으로 제2 영상을 획득하는 제2 광학계; 상기 피사체의 조도, 상기 디지털 촬영 장치와 상기 피사체 사이의 거리 및 촬영 모드 중 적어도 하나를 포함하는 촬영 환경 정보를 획득하는 센서; 및 상기 촬영 환경 정보에 기초하여, 상기 제1 영상과 상기 제2 영상을 합성한 합성 영상을 생성할지 여부를 결정하는 프로세서를 포함할 수 있다.
일 실시예에 따른 디지털 촬영 장치의 제1 영상은 상기 피사체를 포함하는 광각 영상이고, 일 실시예에 따른 디지털 촬영 장치의 제2 영상은 상기 피사체를 줌(zoom) 한 망원 영상일 수 있다.
일 실시예에 따른 프로세서는 상기 피사체의 조도가 한계 피사체 조도 이하인 경우, 상기 합성 영상을 생성하지 않도록 결정할 수 있다.
일 실시예에 따른 디지털 촬영 장치는 상기 광각 영상과 상기 망원 영상 중 적어도 하나를 디스플레이하는 디스플레이를 더 포함할 수 있다.
일 실시예에 따른 프로세서는 상기 피사체의 조도가 한계 피사체 조도를 초과하고 상기 거리가 원경 모드 범위인 경우, 상기 합성 영상을 생성하도록 결정할 수 있다.
일 실시예에 따른 프로세서는 상기 피사체의 조도가 한계 피사체 조도를 초과하고 상기 거리가 원경 모드 범위가 아닌 경우, 상기 합성 영상을 생성하지 않도록 결정할 수 있다.
일 실시예에 따른 디지털 촬영 장치는 상기 거리가 상기 제2 광학계의 최단 촬영 거리 이상이고, 상기 촬영 모드가 매크로 모드인 경우 상기 망원 영상을 디스플레이하는 디스플레이를 더 포함할 수 있다.
일 실시예에 따른 디지털 촬영 장치는 상기 촬영 모드가 근접 촬영 모드인 경우 상기 광각 영상을 디스플레이하는 디스플레이를 더 포함할 수 있다.
일 실시예에 따른 프로세서는 상기 광각 영상 및 상기 망원 영상에 기초하여 깊이 맵을 획득하고, 상기 깊이 맵에 기초하여 상기 거리를 검출할 수 있다.
일 실시예에 따른 디지털 촬영 장치의 제1 영상은 피사체를 포함하는 컬러 영상이고, 일 실시예에 따른 디지털 촬영 장치의 제2 영상은 상기 피사체를 포함하는 흑백 영상이고, 일 실시예에 따른 프로세서는 상기 피사체의 조도 및 상기 촬영 모드 중 적어도 하나에 기초하여, 상기 합성 영상을 생성할지 여부를 결정할 수 있다.
일 실시예에 따른 프로세서는 상기 피사체의 조도가 저조도이고, 상기 컬러 영상에 포함되는 RGB 신호 데이터가 미리 정해진 값 이상인 경우, 상기 합성 영상을 생성하도록 결정할 수 있다.
일 실시예에 따른 프로세서는 상기 피사체의 조도가 저조도이고, 상기 컬러 영상에 포함되는 RGB 신호 데이터가 미리 정해진 값 미만인 경우, 상기 합성 영상을 생성하지 않도록 결정할 수 있다.
일 실시예에 따른 디지털 촬영 장치는 상기 흑백 영상을 디스플레이하는 디스플레이를 더 포함할 수 있다.
일 실시예에 따른 프로세서는 상기 피사체의 조도가 한계 피사체 조도를 초과한 경우, 상기 합성 영상을 생성하지 않도록 결정할 수 있다.
일 실시예에 따른 프로세서는 상기 촬영 모드가 흑백 촬영 모드인 경우, 상기 합성 영상을 생성하지 않도록 결정할 수 있다.
일 실시예에 따른 프로세서는 상기 디지털 촬영 장치의 전력 모드에 기초하여 상기 합성 영상을 생성할지 여부를 결정할 수 있다.
일 실시예에 따른 디지털 촬영 장치는 피사체에 광을 송신하고 반사된 상기 광을 수신하여 상기 피사체에 대한 거리 정보를 획득하는 액티브 센서; 상기 피사체를 포함하고 시점이 서로 상이한 제1 영상 및 제2 영상을 획득하는 복수의 카메라; 및 상기 피사체의 조도 및 촬영 모드 중 적어도 하나에 기초하여, 상기 거리 정보에 기초하여 획득되는 제1 깊이 맵과 상기 제1 영상 및 상기 제2 영상에 기초하여 획득되는 제2 깊이 맵을 합성하여 합성 깊이 맵을 생성할지 여부를 결정하는 프로세서를 포함할 수 있다.
일 실시예에 따른 프로세서는 상기 피사체의 조도가, 제1 조도 이하인 경우, 상기 합성 깊이 맵을 생성하지 않도록 결정하고, 상기 액티브 센서로부터 상기 제1 깊이 맵을 획득하도록 결정할 수 있다.
일 실시예에 따른 프로세서는 상기 피사체의 조도가, 제1 조도를 초과하는 경우, 상기 합성 깊이 맵을 생성하지 않도록 결정하고, 상기 제1 영상 및 상기 제2 영상에 기초하여 상기 제2 깊이 맵을 획득하도록 결정할 수 있다.
일 실시예에 따른 프로세서는 상기 촬영 모드가 원경 모드인 경우, 상기 합성 깊이 맵을 생성하지 않도록 결정하고, 상기 제1 영상 및 상기 제2 영상에 기초하여 상기 제2 깊이 맵을 획득하도록 결정할 수 있다.
일 실시예에 따른 상기 액티브 센서는 상기 피사체에 전자기파를 송신하고 반사된 상기 전자기파를 수신하여 상기 피사체에 대한 거리 정보를 획득하는 레이더(radar)를 더 포함하고, 일 실시예에 따른 프로세서는 상기 촬영 모드가 원경 모드인 경우, 상기 레이더를 이용하여 상기 제1 깊이 맵을 획득하도록 결정할 수 있다.
일 실시예에 따른 프로세서는 상기 촬영 모드가 실내 근접 촬영 모드인 경우, 상기 합성 깊이 맵을 생성하도록 결정할 수 있다.
일 실시예에 따른 프로세서는 상기 디지털 촬영 장치의 전력 모드에 기초하여 상기 합성 깊이 맵을 생성할지 여부를 결정할 수 있다.
일 실시예에 따른 디지털 촬영 방법은 제1 영상을 획득하는 단계; 상기 제1 영상을 획득할 때와 상이한 광학 조건으로 제2 영상을 획득하는 단계; 상기 피사체의 조도, 디지털 촬영 장치와 상기 피사체 사이의 거리 및 촬영 모드 중 적어도 하나를 포함하는 촬영 환경 정보를 획득하는 단계; 및 상기 촬영 환경 정보에 기초하여, 상기 제1 영상과 상기 제2 영상을 합성한 합성 영상을 생성할지 여부를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 디지털 촬영 방법의 제1 영상은 상기 피사체를 포함하는 광각 영상이고, 일 실시예에 따른 디지털 촬영 방법의 제2 영상은 상기 피사체를 줌(zoom) 한 망원 영상일 수 있다.
일 실시예에 따른 상기 결정하는 단계는 상기 피사체의 조도가 한계 피사체 조도 이하인 경우, 상기 합성 영상을 생성하지 않도록 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 디지털 촬영 방법은 상기 광각 영상과 상기 망원 영상 중 적어도 하나를 디스플레이하는 단계를 포함할 수 있다.
일 실시예에 따른 결정하는 단계는 상기 피사체의 조도가 한계 피사체 조도를 초과하고 상기 거리가 원경 모드 범위인 경우, 상기 합성 영상을 생성하도록 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 결정하는 단계는 상기 피사체의 조도가 한계 피사체 조도를 초과하고 상기 거리가 원경 모드 범위가 아닌 경우, 상기 합성 영상을 생성하지 않도록 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 디지털 촬영 방법은 상기 거리가 상기 제2 광학계의 최단 촬영 거리 이상이고, 상기 촬영 모드가 매크로 모드인 경우 상기 망원 영상을 디스플레이하는 단계를 더 포함할 수 있다.
일 실시예에 따른 디지털 촬영 방법은 상기 촬영 모드가 근접 촬영 모드인 경우 상기 광각 영상을 디스플레이하는 단계를 더 포함할 수 있다.
일 실시예에 따른 디지털 촬영 방법은 상기 광각 영상 및 상기 망원 영상에 기초하여 깊이 맵을 획득하는 단계; 및 상기 깊이 맵에 기초하여 상기 거리를 검출하는 단계를 더 포함할 수 있다.
일 실시예에 따른 디지털 촬영 방법의 상기 제1 영상은 피사체를 포함하는 컬러 영상이고, 일 실시예에 따른 디지털 촬영 방법의 상기 제2 영상은 상기 피사체를 포함하는 흑백 영상이고, 일 실시예에 따른 결정하는 단계는 상기 피사체의 조도 및 상기 촬영 모드 중 적어도 하나에 기초하여, 상기 합성 영상을 생성할지 여부를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 결정하는 단계는 상기 피사체의 조도가 저조도이고, 상기 컬러 영상에 포함되는 RGB 신호 데이터가 미리 정해진 값 이상인 경우, 상기 합성 영상을 생성하도록 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 결정하는 단계는 상기 피사체의 조도가 저조도이고, 상기 컬러 영상에 포함되는 RGB 신호 데이터가 미리 정해진 값 미만인 경우, 상기 합성 영상을 생성하지 않도록 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 디지털 촬영 방법은 일 실시예에 따른 상기 흑백 영상을 디스플레이하는 단계를 더 포함할 수 있다.
일 실시예에 따른 상기 결정하는 단계는 상기 피사체의 조도가 한계 피사체 조도를 초과한 경우, 상기 합성 영상을 생성하지 않도록 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 결정하는 단계는 상기 촬영 모드가 흑백 촬영 모드인 경우, 상기 합성 영상을 생성하지 않도록 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 결정하는 단계는 상기 디지털 촬영 장치의 전력 모드에 기초하여 상기 합성 영상을 생성할지 여부를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 디지털 촬영 방법은 피사체에 광을 송신하고 반사된 상기 광을 수신하여 상기 피사체에 대한 거리 정보를 획득하는 단계; 상기 피사체를 포함하고 시점이 서로 상이한 제1 영상 및 제2 영상을 획득하는 단계; 및 상기 피사체의 조도 및 촬영 모드 중 적어도 하나에 기초하여, 상기 거리 정보에 기초하여 획득되는 제1 깊이 맵과 상기 제1 영상 및 상기 제2 영상에 기초하여 획득되는 제2 깊이 맵을 합성하여 합성 깊이 맵을 생성할지 여부를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 결정하는 단계는 상기 피사체의 조도가, 제1 조도 이하인 경우, 상기 합성 깊이 맵을 생성하지 않도록 결정하고, 상기 액티브 센서로부터 상기 제1 깊이 맵을 획득하도록 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 결정하는 단계는 상기 피사체의 조도가, 제1 조도를 초과하는 경우, 상기 합성 깊이 맵을 생성하지 않도록 결정하고, 상기 제1 영상 및 상기 제2 영상에 기초하여 상기 제2 깊이 맵을 획득하도록 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 결정하는 단계는 상기 촬영 모드가 원경 모드인 경우, 상기 합성 깊이 맵을 생성하지 않도록 결정하고, 상기 제1 영상 및 상기 제2 영상에 기초하여 상기 제2 깊이 맵을 획득하도록 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 거리 정보를 획득하는 단계는 상기 피사체에 전자기파를 송신하고 반사된 상기 전자기파를 수신하여 상기 피사체에 대한 상기 거리 정보를 획득하는 단계를 포함하고, 일 실시예에 따른 상기 결정하는 단계는 상기 촬영 모드가 원경 모드인 경우, 상기 거리 정보를 이용하여 상기 제1 깊이 맵을 획득하도록 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 결정하는 단계는 상기 촬영 모드가 실내 근접 촬영 모드인 경우, 상기 합성 깊이 맵을 생성하도록 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 결정하는 단계는 상기 디지털 촬영 장치의 전력 모드에 기초하여 상기 합성 깊이 맵을 생성할지 여부를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 컴퓨터 판독 가능 기록 매체는 일 실시예에 따른 디지털 촬영 방법을 실행시키기 위한 프로그램을 수록할 수 있다.
다양한 실시예들에 의하면, 촬영 환경을 자동으로 감지하여, 비대칭 광학계로부터 획득한 두개의 영상 중 하나를 선택하거나 비대칭 광학계로 획득한 영상을 합성할 수 있게 된다.
다양한 실시예들에 의하면, 촬영 환경을 자동으로 감지하여 합성 여부를 결정함에 따라, 촬영 환경에 최적화된 출력 영상을 생성할 수 있고 이에 따라 소비 전력이 감소되고 영상 처리에 소요되는 시간이 절약될 수 있다.
도 1은 예시적인 실시예들에 따른 디지털 촬영 장치(100)의 구성을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 디지털 촬영 장치(100)에서 획득되는 광각 영상과 망원 영상을 도시한다.
도 3은 일 실시예에 따른 디지털 촬영 장치(100)에서 획득되는 컬러 영상과 흑백 영상을 도시한다.
도 4는 일 실시예에 따른 디지털 촬영 장치(100)에서 획득되는 제1 깊이 맵과 제2 깊이 맵을 도시한다.
도 5는 일 실시예에 따라 디지털 촬영 장치(100)가 광각 영상과 망원 영상을 합성하는 것을 설명하는 도면이다.
도 6a는 디지털 촬영 장치(100)가 광각 영상(610)을 2배 확대하는 과정을 설명하는 도면이다.
도 6b는 일 실시예에 따라 디지털 촬영 장치(100)가 광각 영상과 망원 영상을 다양한 배율로 합성하는 것을 설명하는 도면이다.
도 7은 일 실시예에 따라 디지털 촬영 장치(100)가 광각 영상과 망원 영상을 합성한 합성 영상을 나타내는 도면이다.
도 8은 일 실시예에 따른 디지털 촬영 장치(100)의 동작 방법의 흐름도이다.
도 9는 일 실시예에 따른 디지털 촬영 장치(100)의 동작 방법의 다른 흐름도이다.
도 10는 일 실시예에 따른 디지털 촬영 장치(100)의 동작 방법의 다른 흐름도이다.
도 11은 일 실시예에 따른 디지털 촬영 장치(100)의 동작 방법의 다른 흐름도이다.
도 12는 일 실시예에 따른 디지털 촬영 장치(100)의 동작 방법의 다른 흐름도이다.
도 13은 일 실시예에 따른 디지털 촬영 장치(100)의 동작 방법의 다른 흐름도이다.
도 14는 일 실시예에 따른 디지털 촬영 장치(100)의 동작 방법의 다른 흐름도이다.
도 15는 일 실시예에 따른 디지털 촬영 장치(100)의 동작 방법의 다른 흐름도이다.
도 16은 일 실시예에 따른 디지털 촬영 장치(100)의 동작 방법의 다른 흐름도이다.
도 17은 일 실시예에 따른 디지털 촬영 장치(100)의 동작 방법의 다른 흐름도이다.
도 18은 일 실시예에 따른 디지털 촬영 장치(100)의 동작 방법의 다른 흐름도이다.
도 19는 일 실시예에 따른 디지털 촬영 장치(100)의 구조를 설명하기 위한 블록도이다.
도 20은 일 실시예에 따른 디지털 촬영 장치(2000)의 구조를 설명하기 위한 블록도이다.
도 21은 일 실시예에 따른 디지털 촬영 장치(2100)의 구조를 설명하기 위한 블록도이다.
도 22는 일 실시예에 따라 디지털 촬영 장치(100)가 광각 영상과 망원 영상을 합성하는 과정을 설명하는 순서도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참조하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서 디지털 촬영 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 모바일 의료기기, 카메라(camera), 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 스마트 와치(smartwatch) 등), CCTV 및 TV 중 적어도 하나를 포함할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1은 예시적인 실시예들에 따른 디지털 촬영 장치(100)의 구성을 설명하기 위한 도면이다.
디지털 촬영 장치(100)는 렌즈 및 이미지 센서를 포함하여 피사체를 촬영하여 이미지를 생성할 수 있는 장치이다. 예를 들어, 디지털 촬영 장치(100)는 스마트 폰, 태블릿 PC, CCTV 및 TV 등을 포함할 수 있다.
디지털 촬영 장치(100)는 비대칭(asymmetric) 광학계를 포함하고, 비대칭 광학계를 이용하여 영상을 획득할 수 있다. 여기서, 광학계는 적어도 하나의 렌즈 및 이미지 센서를 포함하고, 이미지 센서를 통해 이미지 신호를 획득하는 구성 요소를 의미한다. 또한, 비대칭 광학계는 서로 대비되는 특성을 갖는 두개의 광학계를 포함할 수 있다.
비대칭 광학계는 예를 들어, 광각 영상을 획득하는 광학계와 망원 영상을 획득하는 광학계를 포함할 수 있다. 다른 예로, 비대칭 광학계는 컬러 영상을 획득하는 광학계와 흑백 영상을 획득하는 광학계를 포함할 수 있다, 또 다른 예로, 비대칭 광학계는 액티브 방식을 이용하여 거리 정보를 획득하는 액티브 센서(예를 들어, 적외선 센서, TOF 등)와 듀얼 광학계를 포함할 수 있다.
비대칭 광학계는 디지털 촬영 장치(100)에 포함될 수도 있고, 탈착 가능한 별도의 장치로 구성될 수도 있다. 디지털 촬영 장치(100)는 비대칭 광학계를 이용하여 파노라마 영상, 연속 촬영 영상 등을 포함하는 정지 영상 및 동영상 등을 촬영할 수 있다.
디지털 촬영 장치(100)는 피사체의 조도, 디지털 촬영 장치(100)와 피사체 사이의 거리 및 촬영 모드와 같은 촬영 조건을 고려하여, 비대칭 광학계로부터 획득한 영상들 중 어떤 영상을 디스플레이할 지를 결정할 수 있다.
또한, 디지털 촬영 장치(100)는 피사체의 조도, 디지털 촬영 장치(100)와 피사체 사이의 거리 및 촬영 모드 등을 고려하여, 비대칭 광학계로부터 획득한 영상들을 합성할 지 여부를 결정할 수 있다.
피사체의 조도, 디지털 촬영 장치(100)와 피사체 사이의 거리 및 촬영 모드를 포함하는 정보를 촬영 환경 정보라 칭할 수 있다. 촬영 환경 정보는 디지털 촬영 장치(100)의 센서로부터 획득될 수 있다. 촬영 환경 정보를 획득하는 센서는 예를 들어, 조도 센서(도시되지 않음), AE(auto exposure) 센서(도시되지 않음) 및 AF(auto focusing) 센서(도시되지 않음)를 포함할 수 있다.
또한, 디지털 촬영 장치(100)는 현재 배터리의 잔량을 고려하여, 비대칭 광학계로부터 획득한 영상들을 합성할지 여부를 결정할 수 있다.
도 1의 디지털 촬영 장치(100a)는 일 실시예에 따른 비대칭 광학계를 갖는 디지털 촬영 장치(100a)이다.
도 1을 참고하면 디지털 촬영 장치(100a)는 광각 영상 (wide angle image)을 획득하는 광학계 및 피사체를 줌(zoom) 한 망원 영상 (telephoto image)을 획득하는 광학계를 포함하는 비대칭 광학계를 포함할 수 있다.
일 실시예에 따르면, 광각 광학계는 광각 렌즈를 포함할 수 있고, 망원 광학계는 망원 렌즈를 포함할 수 있다.
광각 광학계에 포함된 광각 렌즈는 망원 광학계에 포함된 망원 렌즈보다 초점 거리(focal length)가 짧을 수 있다. 여기서, 초점 거리란 렌즈의 중심에서 이미지 센서까지의 거리를 의미한다. 광각 광학계에 포함된 광각 렌즈는 예를 들어, 10mm 내지 30mm정도의 초점 거리를 갖는 렌즈일 수 있다. 또한, 망원 광학계에 포함된 망원 렌즈는 예를 들어, 30mm 내지 500mm정도의 초점 거리를 갖는 렌즈일 수 있다.
예를 들어 설명한 광각 렌즈 및 망원 렌즈의 초점 거리는 단지 예시일 뿐이고, 구현 예에 따라 다양하게 결정될 수 있다.
디지털 촬영 장치(100a)는 광각 영상과 망원 영상을 동시에 획득할 수 있다, 또한, 디지털 촬영 장치(100a)는 광각 영상과 망원 영상 중 어느 하나만을 획득할 수도 있다.
디지털 촬영 장치(100a)는 피사체의 위치, 피사체의 조도 및 사용자의 입력 중 적어도 하나에 기초하여 광각 영상과 망원 영상 중 적어도 하나의 영상을 디스플레이할 수 있다. 또한, 디지털 촬영 장치(100a)는 광각 영상과 망원 영상을 합성한 합성 영상을 디스플레이할 수도 있다.
디지털 촬영 장치(100a)는 피사체의 조도 및 디지털 촬영 장치(100a)와 피사체 사이의 거리 중 적어도 하나에 기초하여 광각 영상과 망원 영상을 합성할 지 여부를 결정할 수 있다.
예를 들어, 피사체의 조도가 너무 낮은 경우, 디지털 촬영 장치(100a)가 광각 영상과 망원 영상을 합성하게 되면 합성 영상에서 노이즈가 증폭될 수 있다. 이 경우에는 디지털 촬영 장치(100a)는 광각 영상과 망원 영상을 합성하지 않을 수 있다.
본 명세서에서 피사체의 조도는, 촬영 대상이 되는 피사체 전체의 조도를 의미하며, 특히 망원 영상에서는 ROI에 포함되는 주피사체의 조도를 고려하여 결정될 수 있다.
일 실시예에 따르면, 디지털 촬영 장치(100a)는 두개의 광학계 사이의 거리인 베이스라인(baseline)의 길이에 기초하여, 광각 영상과 망원 영상을 합성할 지 여부를 결정할 수 있다.
디지털 촬영 장치(100a)는 광각 광학계와 망원 광학계 사이의 거리가 베이스라인의 길이만큼 떨어져 있기 때문에, 광각 영상과 망원 영상은 서로 상이한 시점에서 획득되게 된다. 따라서, 피사체의 거리가 베이스라인에 비하여 너무 가까운 경우, 광각 영상과 망원 영상 각각에서는 가림(occlusion) 효과가 발생할 수 있다. 이 경우, 디지털 촬영 장치(100a)는 광각 영상과 망원 영상을 합성하지 않을 수 있다.
도 1의 디지털 촬영 장치(100a)에서 광각 광학계와 망원 광학계가 배치된 형태는 일 실시예일 뿐이고, 이러한 형태에 한정되는 것은 아니다.
도 1의 디지털 촬영 장치(100b)는 다른 실시예에 따른 비대칭 광학계를 갖는 디지털 촬영 장치(100b)이다.
도 1을 참고하면 디지털 촬영 장치(100b)는 컬러 영상을 획득하는 RGB 광학계 및 흑백 영상을 획득하는 모노 광학계를 포함하는 비대칭 광학계를 포함할 수 있다.
RGB 광학계의 이미지 센서는 적색, 녹색 및 청색을 인식하기 위하여 컬러 필터를 포함하고 있다. 모노 광학계의 이미지 센서는 피사체의 휘도를 인식하여 영상을 획득하므로 컬러 필터가 불필요하다. RGB 광학계 및 모노 광학계가 동일한 해상도의 이미지를 획득하는 경우에, 컬러 필터를 포함하는 RGB 광학계의 이미지 센서는, 모노 광학계의 이미지 센서에 비하여 약 4배의 광량이 요구될 수 있다.
디지털 촬영 장치(100b)는 컬러 영상과 흑백 영상을 동시에 획득할 수 있고, 컬러 영상과 흑백 영상 중 어느 하나만을 획득할 수도 있다.
디지털 촬영 장치(100b)는 피사체의 조도 및 사용자의 입력 중 적어도 하나에 기초하여 컬러 영상과 흑백 영상 중 적어도 하나의 영상을 디스플레이할 수 있다. 또한, 디지털 촬영 장치(100a)는 컬러 영상과 흑백 영상을 합성한 합성 영상을 디스플레이할 수도 있다.
디지털 촬영 장치(100b)는 피사체의 조도에 기초하여 컬러 영상과 흑백 영상을 합성할 지 여부를 결정할 수 있다. 예를 들어, 피사체의 조도가 저조도이고 컬러 영상에서 RGB 신호 데이터가 미리 정해진 값 이상인 경우, 디지털 촬영 장치(100b)는 컬러 영상과 흑백 영상을 합성할 수 있다. 이 경우 컬러 영상과 흑백 영상을 합성하면 보다 노이즈가 저감된 영상을 획득할 수 있다.
한편, 피사체의 조도가 저조도인 경우, 피사체의 조도가 컬러 영상을 획득하는 RGB 광학계로부터 컬러를 검출하기에 충분하지 않은 경우, 컬러 영상에 포함된 피사체의 컬러에 관한 정보가 정확하지 않을 수 있다. 이 때 디지털 촬영 장치(100b)가 컬러 영상과 흑백 영상을 합성하게 되면 합성 영상에서 노이즈가 증폭될 수 있다. 이 경우에는 디지털 촬영 장치(100b)는 컬러 영상과 흑백 영상을 합성하지 않을 수 있다.
도 1의 디지털 촬영 장치(100b)에 도시된 RGB 광학계와 모노 광학계가 배치된 형태는 일 실시예일 뿐이고, 이러한 형태에 한정되는 것은 아니다.
도 1의 디지털 촬영 장치(100b)에 도시된 실시 예와는 달리, RGB 광학계와 모노 광학계는 하나의 광학계 내에서 구현될 수 있으며, 하나의 이미지 센서를 통해 컬러 영상과 흑백 영상이 획득될 수도 있다.
도 1의 디지털 촬영 장치(100c)는 또 다른 실시예에 따른 비대칭 광학계를 갖는 디지털 촬영 장치(100c)이다.
도 1을 참고하면 디지털 촬영 장치(100c)는 액티브 센서와 듀얼 광학계를 포함하는 비대칭 광학계를 포함할 수 있다.
본 명세서에서, 액티브 센서는 액티브 방식을 이용하여 피사체의 거리 정보를 획득하는 센서를 의미한다. 액티브 방식은 액티브 센서가 광 또는 전자기파를 피사체에 방출하고, 피사체로부터 반사된 광 또는 전자기파를 획득하여 피사체의 거리 정보를 획득하는 방식을 의미한다. 액티브 센서를 이용하여 획득되는 깊이 맵을 제1 깊이 맵이라 할 수 있다.
또한, 본 명세서에서 듀얼 광학계는 일정 거리를 두고 배치된 두 개의 광학계를 의미한다. 듀얼 광학계는 서로 다른 시점에서 피사체를 촬영하여 디지털 촬영 장치(100c)와 피사체 사이의 거리를 나타내는 깊이 맵을 획득할 수 있다. 듀얼 광학계를 이용하여 획득되는 깊이 맵을 제2 깊이 맵이라 할 수 있다.
도 1을 참고하면 디지털 촬영 장치(100c)의 액티브 센서가 적외선 센서(IR 센서)인 것으로 도시하였다. 이러한 실시예는 예시일 뿐이고, 디지털 촬영 장치(100c)의 액티브 센서는 구조형 광(Structured light) 센서, TOF 센서, 레이더(radar), 라이더(LIDAR; LIght Detection And Ranging)등이 될 수 있다.
디지털 촬영 장치(100c)는 피사체의 조도 및 디지털 촬영 장치(100c)의 촬영 모드 중 적어도 하나에 기초하여 제1 깊이 맵과 제2 깊이 맵을 합성할 지 여부를 결정할 수 있다.
예를 들어, 피사체의 조도가, 액티브 센서에 의해 피사체로부터 반사되는 광을 감지할 수 있는 조도인 제1 조도를 초과하는 경우, 디지털 촬영 장치(100c)의 액티브 센서는 피사체로부터 반사되는 광을 정확하게 감지할 수 없을 수도 있다. 이 경우, 디지털 촬영 장치(100c)는 합성 깊이 맵을 생성하지 않는 것으로 결정하고, 제1 깊이 맵을 획득할 수 있다
도 1을 참고하면 디지털 촬영 장치(100c)의 듀얼 광학계는 광각 광학계와 망원 광학계를 포함하는 것으로 도시하였다. 도 1에 도시된 디지털 촬영 장치(100c)의 듀얼 광학계는 일 실시예일 뿐이고, 이러한 예시에 한정되지 않는다. 즉, 디지털 촬영 장치(100c)의 듀얼 광학계는 RGB 광학계와 모노 광학계를 갖는 비대칭 광학계가 될 수도 있고, 비대칭 광학계가 아닌 임의의 광학계들일 수 있다.
도 1에 도시된 디지털 촬영 장치(100a), 디지털 촬영 장치(100b) 및 디지털 촬영 장치(100c)의 비대칭 광학계의 배치 형태는 예시적인 형태일 뿐이다. 디지털 촬영 장치(100)의 비대칭 광학계에 포함될 수 있는 광학계의 개수는 4개, 5개, 6개 등이 될 수 있으며, 디지털 촬영 장치(100)가 광각 광학계, 망원 광학계, RGB 광학계, 모노 광학계 및 액티브 센서를 모두 포함하는 형태로 구성될 수도 있다.
도 2는 일 실시예에 따른 디지털 촬영 장치(100)에서 획득되는 광각 영상과 망원 영상을 도시한다.
도 2 를 참고하면, 디지털 촬영 장치(100)는 광각 영상(210) 및 광각 영상(210)의 ROI(201) 부분을 확대한 망원 영상(220)을 획득할 수 있다. 도 2는 일 실시예에 따라 망원 영상(220)이 광각 영상(210)에 비하여 두배 확대된 영상인 경우를 예를 들어 도시한다.
광각 영상(210)은 망원 영상(220)에 비하여 심도가 깊은 영상일 수 있다. 즉, 광각 영상(210)은 디지털 촬영 장치(100)로부터의 거리가 서로 상이한 다양한 피사체가 선명하게 나타나는 영상일 수 있다.
망원 영상(220)은 심도가 얕은 영상일 수 있다. 즉, 망원 영상(220)은 초점이 맞은 주피사체(221) 부분이 선명하게 표현되고, 주피사체(221)와 거리가 상이한 다른 피사체 및 배경은 흐리게 표현될 수 있다.
디지털 촬영 장치(100)는 예를 들어, 조도가 한계 피사체 조도를 초과하는 경우 광각 영상(210)및 망원 영상(220)을 합성하여 합성 영상을 생성하는 것으로 결정할 수 있다.
여기서, 한계 피사체 조도는 광각 영상(210)및 망원 영상(220)을 합성함에 따라 발생하는 노이즈가 원래의 영상에 존재하는 노이즈보다 크게 되는 경우의 조도를 의미한다.
조도가 한계 피사체 조도 이하인 경우에는, 합성 영상이 합성 전의 광각 영상(210)과 망원 영상(220)보다 화질이 떨어질 수 있기 때문에, 디지털 촬영 장치(100)는 한계 피사체 조도 이하인 경우에 합성 영상을 생성하지 않는 것이 소비 전력 및 사용성 측면에서 효과적일 수 있다.
또한, 디지털 촬영 장치(100)는 예를 들어, 디지털 촬영 장치(100)와 주피사체(221)의 거리가 원경 모드 범위인 경우에 합성 영상을 생성하는 것으로 결정할 수 있다.
여기서 원경 모드 범위는 디지털 촬영 장치(100)와 주피사체(221)의 거리가 베이스라인에 비하여 충분히 떨어져 있기 때문에 가림 효과가 발생하지 않는 경우를 의미한다.
디지털 촬영 장치(100)는 디지털 촬영 장치(100)와 주피사체(221)의 거리가 원경 모드 범위보다 가까운 경우, 합성 영상을 생성하지 않는 것으로 결정할 수 있다.
도 3은 일 실시예에 따른 디지털 촬영 장치(100)에서 획득되는 컬러 영상과 흑백 영상을 도시한다.
컬러 영상(310)은 피사체의 컬러에 관한 정보를 포함하는 영상으로서, 피사체의 컬러에 관한 정보는 적색, 녹색, 청색에 대한 수치를 포함할 수 있다.
흑백 영상(320)은 피사체의 휘도에 대한 정보를 포함하는 영상으로서 컬러에 관한 정보는 포함하지 않는다. 또한, 흑백 영상(320)은 컬러 영상(310)에 비하여 신호대 잡음 비가 뛰어나다.
일 실시예에 따라, 피사체의 조도가 저조도이고, 컬러 영상(310)에 포함되는 RGB 신호 데이터가 미리 정해진 값 이상인 경우, 디지털 촬영 장치(100)는 컬러 영상(310)과 흑백 영상(320)을 합성하여 합성 영상을 생성하는 것으로 결정할 수 있다.
여기서 피사체의 조도가 저조도인 경우는, 피사체의 조도가 충분히 크지 않아서 흑백 영상(320)에서의 신호대 잡음비에 비에 컬러 영상(310)에서의 신호대 잡음 비가 떨어지는 경우를 의미한다.
또한, 컬러 영상(310)에 포함되는 RGB 신호 데이터가 미리 정해진 값 이상인 경우는 적색, 녹색, 청색에 대한 수치가 디지털 촬영 장치(100)에 의해 피사체의 컬러를 획득하기에 충분한 경우를 의미한다.
피사체의 조도가 저조도이고, 컬러 영상(310)에 포함되는 RGB 신호 데이터가 미리 정해진 값 이상인 경우, 디지털 촬영 장치(100)는 피사체의 컬러에 관한 정보를 포함하는 컬러 영상(310)과 신호대 잡음 비가 뛰어난 흑백 영상(320)을 합성하여 컬러 영상(310)에 비해 노이즈가 적은 영상을 획득할 수 있다.
한편, 컬러 영상을 획득하는 RGB 광학계로부터 디지털 촬영 장치(100)가 컬러를 검출할 수 없을 만큼 조도가 낮은 경우가 있을 수 있다. 즉, 컬러 영상(310)에 포함되는 RGB 신호 데이터가 미리 정해진 값 미만인 경우, 디지털 촬영 장치(100)는 RGB 신호 데이터를 이용하여 피사체의 컬러를 검출하기 어려울 수 있다. 이 경우를 초저조도라고 할 수 있다.
일 실시예에 따라, 피사체의 조도가 초저조도인 경우 컬러 영상(310)에 포함된 피사체의 적색, 녹색, 청색에 대한 수치가 정확하지 않고, 이 때 디지털 촬영 장치(100)가 컬러 영상(310)과 흑백 영상(320)을 합성하게 되면 합성 영상에서 노이즈가 증폭될 수 있다. 이 경우에는 디지털 촬영 장치(100)는 컬러 영상(310)과 흑백 영상(320)을 합성하지 않고, 휘도 정보를 포함하는 흑백 영상(320)만을 디스플레이 할 수 있다.
도 4는 일 실시예에 따른 디지털 촬영 장치(100)에서 획득되는 제1 깊이 맵(410)과 제2 깊이 맵(420)을 도시한다.
일 실시예에 따르면, 디지털 촬영 장치(100)는 피사체에 광을 송신하고 반사된 광을 수신하여 피사체에 대한 거리 정보를 획득하는 액티브 센서로부터 제1 깊이 맵(410)을 획득할 수 있다.
또한, 디지털 촬영 장치(100)는 두개의 광학계로부터 제2 깊이 맵(420)을 획득할 수 있다. 서로 상이한 두개의 광학계로부터 획득된 두개의 영상에는 시차가 존재할 수 있다. 디지털 촬영 장치(100)는 두개의 영상에서의 시차를 이용하여 영상 내의 피사체들의 거리를 계산할 수 있다. 디지털 촬영 장치(100)는 계산된 피사체들의 거리를 기초로 하여 깊이 맵(420)을 생성할 수 있다.
디지털 촬영 장치(100)는 피사체의 조도 및 디지털 촬영 장치(100)의 촬영 모드 중 적어도 하나에 기초하여 제1 깊이 맵(420)과 제2 깊이 맵(420)을 합성할 지 여부를 결정할 수 있다.
예를 들어, 피사체의 조도가, 액티브 센서에 의해 피사체로부터 반사되는 광을 감지할 수 있는 조도인 제1 조도를 초과하는 경우, 디지털 촬영 장치(100)의 액티브 센서는 피사체로부터 반사되는 광을 정확하게 감지할 수 없을 수 있다. 이 경우, 디지털 촬영 장치(100)는 합성 깊이 맵을 생성하지 않는 것으로 결정하고, 제2 깊이 맵(420)을 획득할 수 있다.
또한, 피사체의 위치가 너무 멀어서, 액티브 센서에 의해 피사체로부터 반사되는 광을 감지할 때 오류가 크게 발생되는 경우, 디지털 촬영 장치(100)의 액티브 센서는 피사체의 거리 정보를 정확하게 감지할 수 없을 수 있다. 이 경우, 디지털 촬영 장치(100)는 합성 깊이 맵을 생성하지 않는 것으로 결정하고, 제2 깊이 맵(420)을 획득할 수 있다.
이와 같이 디지털 촬영 장치(100)와 피사체의 거리가 너무 멀어서, 액티브 센서에 의해 피사체로부터 반사되는 광을 감지할 때 오류가 크게 발생되는 경우를 합성 깊이 맵을 생성할 때에 있어서의 원경 모드라고 할 수 있다.
한편, 도 4를 참조하면, 디지털 촬영 장치(100)는 ROI 영역(411, 421)을 가장 밝은 부분으로 결정할 수 있다. ROI 영역(411, 421)은 주피사체를 포함하는 영역일 수 있다.
일 실시예에 따르면, 디지털 촬영 장치(100)는 깊이 맵에서의 ROI 영역(411, 421)의 크기, 밝기 중 적어도 하나의 변화에 기초하여 주피사체의 움직임 정보를 획득할 수 있다.
도 5는 일 실시예에 따라 디지털 촬영 장치(100)가 광각 영상과 망원 영상을 합성하는 것을 설명하는 도면이다.
구체적으로, 디지털 촬영 장치(100)는 광각 영상의 ROI 부분을 확대하여 망원 영상의 크기에 맞게 조절할 수 있다. 이와 같은 과정을 광각 영상의 업스케일(upscale) 이라 할 수 있다.
디지털 촬영 장치(100)는 광각 영상과 망원 영상을 서로 다른 시점에서 획득할 수 있다. 디지털 촬영 장치(100)가 광각 영상과 망원 영상을 합성할 때에, 망원 영상의 시점을 광각 영상에 맞게 변형시켜 주는 것이 필요하다. 이와 같은 과정을 망원 영상의 교정(rectification)이라 할 수 있다.
또한, 디지털 촬영 장치(100)는 망원 영상의 밝기, 선명도 및 컨트라스트 등을 업스케일된 광각 영상인 제1 영상(510)에 맞게 조절할 수 있다. 이와 같은 과정을 망원 영상의 전처리라 할 수 있다.
즉, 디지털 촬영 장치(100)는 망원 영상과 광각 영상을 합성할 때에, 업스케일된 광각 영상인 제1 영상(510)과 망원 영상을 교정 및 전처리한 제2 영상(520)을 합성할 수 있다.
이하에서는, 디지털 촬영 장치(100)가 망원 영상과 광각 영상을 합성하는 것에 대해 서술할 때에, 망원 영상의 업스케일, 광각 영상의 교정 및 전처리 과정에 대한 설명은 생략한다.
도 6a는 디지털 촬영 장치(100)가 합성 영상(610)을 2배 확대하는 과정을 설명하는 도면이다.
디지털 촬영 장치(100)가 디스플레이하는 합성 영상(610)은 광각 영상과 망원 영상이 합성된 합성 영상일 수 있다. 구체적으로, 합성 영상(610) 내의 ROI 부분은 광각 영상과 망원 영상이 합성된 부분일 수 있고, ROI 부분이 아닌 나머지 부분은 확대 전의 광각 영상과 동일할 수 있다.
디지털 촬영 장치(100)는 합성 영상(610)을 원래 영상의 크기에서부터 점차적으로 확대시켜 2배 확대된 영상(640)을 생성할 수 있다.
디지털 촬영 장치(100)는 합성 영상(610)을 확대시키는 과정에서, 1.2배 확대된 영상(620), 1.4 배 확대된 영상(630) 등을 생성하고, 디스플레이하는 과정을 거칠 수 있다. 그 후, 최종적으로 2배 확대된 영상(640)을 디스플레이할 수 있다.
도 6a를 참조하여 보면 1.2배 확대된 영상(620), 1.4 배 확대된 영상(630) 등에서 ROI 부분은 광각 영상과 망원 영상이 합성된 부분일 수 있다.
일 실시예에 따라 디지털 촬영 장치(100)의 확대 전의 광각 영상과 망원 영상의 배율이 2배 차이 나는 경우, 최종적으로 2배 확대된 영상(640)은 망원 영상과 동일할 수 있다.
도 6b는 일 실시예에 따라 디지털 촬영 장치(100)가 광각 영상과 망원 영상을 다양한 배율로 합성하는 것을 설명하는 도면이다.
일 실시예에 따라 디지털 촬영 장치(100)는 1배의 배율의 영상을 2배로 확대시키는 과정에서, 1.2배 확대된 영상, 1.4 배 확대된 영상 등을 생성하는 과정을 거쳐 2배 확대된 영상을 생성할 수 있다. 일 실시예에 따르면 디지털 촬영 장치(100)에서 생성된 2배 확대된 영상은 망원 영상(603)과 동일할 수 있다.
디지털 촬영 장치(100)는, 1배의 배율의 영상을 2배로 확대하는 과정에서 1배의 배율과 2배의 배율 사이의 다양한 배율의 영상들(multi scale images)을 디스플레이하기 위하여, 광각 영상(601)과 망원 영상(603)을 다양한 배율(multi scale)로 합성하여 다양한 배율의 합성 영상들을 생성할 수 있다.
도 7은 일 실시예에 따라 디지털 촬영 장치(100)가 광각 영상과 망원 영상을 합성한 합성 영상을 설명하는 도면이다.
디지털 촬영 장치(100)가 디스플레이하는 합성 영상(710)은 광각 영상과 망원 영상이 합성된 합성 영상일 수 있다. 구체적으로, 광각 영상(710) 내의 ROI 부분은 광각 영상과 망원 영상이 합성된 부분일 수 있고, ROI 부분이 아닌 나머지 부분은 원래 광각 영상과 동일할 수 있다.
도 7의 광각 영상(710) 내의 ROI 부분은 광각 영상과 망원 영상이 합성된 부분이기 때문에 ROI 부분과 ROI 부분이 아닌 나머지 부분은 해상도에 있어서, 차이가 발생할 수 있다. 디지털 촬영 장치(100)는 ROI 부분과 ROI 부분이 아닌 부분의 경계(701)가 자연스럽게 보여지도록, 경계(701)의 부근에 알파 블랜딩(alpha blending)을 적용할 수 있다.
도 8은 일 실시예에 따른 디지털 촬영 장치(100)의 동작 방법의 흐름도이다.
단계 S10에서, 디지털 촬영 장치(100)는 제1 영상을 획득할 수 있다(S10).
단계 S20에서, 디지털 촬영 장치(100)는 제1 영상을 획득할 때와 상이한 광학 조건으로 제2 영상을 획득할 수 있다 (S20).
단계 S30에서, 디지털 촬영 장치(100)는 촬영 환경 정보를 획득할 수 있다(S30). 일 실시예에 따른 촬영 환경 정보는 피사체의 조도 및 거리 중 적어도 하나를 포함할 수 있다.
단계 S40에서, 디지털 촬영 장치(100)는 촬영 환경 정보에 기초하여, 합성 영상을 생성할지 여부를 결정할 수 있다(S40).
도 9는 일 실시예에 따른 디지털 촬영 장치(100)의 동작 방법의 다른 흐름도이다.
단계 S110에서, 디지털 촬영 장치(100)는 광각 영상을 획득할 수 있다(S110).
단계 S120에서, 디지털 촬영 장치(100)는 망원 영상을 획득할 수 있다 (S120). 여기서 망원 영상은 광각 영상에 포함된 피사체가 확대된 영상일 수 있다.
단계 S130에서, 디지털 촬영 장치(100)는 피사체의 조도 및 거리 중 적어도 하나에 기초하여, 합성 영상을 생성할지 여부를 결정할 수 있다(S130).
여기서 합성 영상은 광각 영상과 망원 영상을 합성한 영상일 수 있다. 또한, 피사체의 조도는 디지털 촬영 장치(100)가 촬영하는 주피사체의 조도 및 디지털 촬영 장치(100)가 촬영하는 배경의 조도를 모두 포함할수 있다. 또한, 거리는 디지털 촬영 장치(100)와 피사체 사이의 거리를 의미할 수 있다.
도 10은 일 실시예에 따른 디지털 촬영 장치(100)의 동작 방법의 다른 흐름도이다.
단계 S210에서, 디지털 촬영 장치(100)는 광각 영상을 획득할 수 있다(S210).
단계 S220에서, 디지털 촬영 장치(100)는 망원 영상을 획득할 수 있다 (S220). 여기서 망원 영상은 광각 영상에 포함된 피사체가 확대된 영상일 수 있다.
단계 S230에서, 디지털 촬영 장치(100)는 피사체의 조도가 한계 피사체 조도 이하인지 여부를 판단할 수 있다(S230).
여기서, 피사체의 조도는 디지털 촬영 장치(100)가 촬영하는 주피사체의 조도 및 디지털 촬영 장치(100)가 촬영하는 배경의 조도를 모두 포함할수 있다.
또한, 한계 피사체 조도는 디지털 촬영 장치(100)가 광각 영상 및 망원 영상을 합성함에 따라 발생하는 노이즈가 원래의 영상에 존재하는 노이즈보다 크게 되는 경우의 조도를 의미한다.
일 실시예에 따라 피사체의 조도가 한계 피사체 조도 이하인 경우, 합성 영상이 합성 전의 광각 영상과 망원 영상 보다 화질이 떨어질 수 있기 때문에, 디지털 촬영 장치(100)는 합성 영상을 생성하지 않는 것이 화질의 측면 및 소비 전력의 측면에서 유리하다.
단계 S230에서, 디지털 촬영 장치(100)가 피사체의 조도가 한계 피사체 조도 이하인 것으로 판단한 경우에, 단계 S240에서 디지털 촬영 장치(100)는 한계 피사체 조도 이하인 경우에는 합성 영상을 생성하지 않는 것으로 결정할 수 있다(S240).
한편, 단계 S230에서, 디지털 촬영 장치(100)가 피사체의 조도가 한계 피사체 조도를 초과한 것으로 판단한 경우에, 단계 S250에서, 디지털 촬영 장치(100)는, 디지털 촬영 장치(100)의 촬영 모드가 원경 모드 인지 여부를 판단할 수 있다(S250).
단계 S250에서, 디지털 촬영 장치(100)가 원경 모드인 것으로 판단한 경우에, 단계 S260에서 디지털 촬영 장치(100)는 합성 영상을 생성하는 것으로 결정할 수 있다(S260).
여기서 원경 모드 범위는 디지털 촬영 장치(100)와 주피사체의 거리가 베이스라인에 비하여 충분히 떨어져 있기 때문에 가림 효과가 발생하지 않는 거리를 의미한다.
단계 S250에서, 디지털 촬영 장치(100)가 원경 모드가 아닌 것으로 판단한 경우에, 단계 S270에서 디지털 촬영장치(100)는 합성 영상을 생성하지 않는 것으로 결정할 수 있다(S270).
일 실시예에 따라, 디지털 촬영 장치(100)와 주피사체의 거리가 원경 모드 범위에 포함되지 않은 경우에는 주피사체의 거리가 베이스라인에 비하여 충분히 떨어져 있지 않기 때문에 가림 효과가 발생할 수 있다.
즉, 주피사체가 뒷 배경을 가리는 정도가 광각 영상과 망원 영상에 있어서 크게 차이가 날 수 있다. 이 경우, 디지털 촬영 장치(100)가 합성 영상을 생성할 때에, 영상 합성에 오류가 발생하게 될 확률이 크므로, 합성 영상을 생성하지 않는 것으로 결정할 수 있다.
도 11은 일 실시예에 따라 디지털 촬영 장치(100)가 원경 모드인 경우를 설명하는 도면이다.
일 실시예에 따르면, 디지털 촬영 장치(100)는 디지털 촬영 장치(100)와 피사체의 거리(d1)가 원경 모드 범위에 포함되는 경우, 광각 영상(1110)과 망원 영상(1120)을 합성한 합성 영상을 생성하는 것으로 결정할 수 있다.
여기서 원경 모드 범위는 디지털 촬영 장치(100)와 피사체의 거리(d1)가 베이스라인(baseline)에 비하여 충분히 떨어져 있기 때문에 가림 효과가 발생하지 않는 디지털 촬영 장치(100)와 피사체의 거리 범위를 의미한다.
디지털 촬영 장치(100)는 디지털 촬영 장치(100)와 피사체의 거리(d1)가 원경 모드 범위보다 가까운 경우, 합성 영상을 생성하지 않는 것으로 결정할 수 있다.
예를 들어, 베이스라인이 8mm 일 때, 디지털 촬영 장치(100)와 피사체의 거리(d1)가 3m 이상인 경우, 디지털 촬영 장치(100)는 거리(d1)가 원경 모드 범위에 포함되는 것으로 결정할 수 있다.
도 12는 일 실시예에 따라 디지털 촬영 장치(100)의 촬영 모드가 근접 촬영 모드인 경우를 설명하는 도면이다.
디지털 촬영 장치(100)는 원경 모드가 아닌 것으로 판단한 경우에, 디지털 촬영장치(100)는 합성 영상을 생성하지 않는 것으로 결정할 수 있다. 원경 모드가 아닌 경우는 예를 들어, 근접 촬영 모드 및 매크로 모드인 경우를 포함할 수 있다.
도 12를 참고하면, 디지털 촬영 장치(100)는 근접 촬영 모드에서 광각 영상(1210)만을 디스플레이하도록 결정할 수 있다.
근접 촬영 모드란, 원경 모드 범위가 아니면서 매크로 모드가 아닌 경우를 의미할 수 있다. 도 12에 도시된 일 실시예에 따라, 디지털 촬영 장치(100)와 주피사체(1201)의 거리가 1m 인 경우, 디지털 촬영 장치(100)는 디지털 촬영 장치(100)가 근접 촬영 모드인 것으로 판단할 수 있다. 이 경우에는, 디지털 촬영 장치(100)와 주피사체(1201)의 거리가 베이스라인에 비하여 충분히 떨어져 있지 않기 때문에 가림 효과가 발생할 수 있다.
도 12를 참고하면, 광각 영상(1210)에서 주피사체(1201)와 배경사이의 거리(l1)와 망원 영상(1220)에서 주피사체와 배경사이의 거리(l2)는 차이가 있을 수 있다. 즉, 주피사체(1201)의 가림 효과에 의해 광각 영상(1210)에서 보여지는 배경의 일부와 망원 영상(1220)에서 보여지는 배경의 일부는 차이가 있을 수 있다.
한편 일 실시예에 따라, 디지털 촬영 장치(100)의 베이스라인이 8mm이고, 디지털 촬영 장치(100)와 주피사체(1201)의 거리가 1m 정도인 경우, 디지털 촬영 장치(100)가 획득하는 광각 영상(1210)과 망원 영상(1220)에서 주피사체(1201)에 대한 시차는 약 200 픽셀 일 수 있다.
이와 같이, 디지털 촬영 장치(100)가 근접 촬영 모드이고, 광각 영상(1210)과 망원 영상(1220) 내에 포함된 200픽셀의 영상이 서로 상이한 경우에는, 디지털 촬영 장치(100)가 광각 영상(1210)과 망원 영상(1220)을 합성하는 것이 다소 비효율적이며 오류가 발생할 확률이 클 수 있다.
이에 따라, 디지털 촬영 장치(100)는 근접 촬영 모드에서 합성 영상을 생성하지 않는 것으로 결정할 수 있다. 또한 디지털 촬영 장치(100)는 근접 촬영 모드인 경우, 사용자의 사용성(usability)를 고려하여 광각 영상(1210)만을 디스플레이하도록 결정할 수 있다.
도 13은 일 실시예에 따라 디지털 촬영 장치(100)의 촬영 모드가 매크로 모드인 경우를 설명하는 도면이다.
도 13을 참조하면, 디지털 촬영 장치(100)는 심도가 깊은 광각 영상(1310)을 디스플레이할 수 있고, 심도가 얕은 망원 영상(1320)을 디스플레이할 수 있다. 즉, 광각 영상(1310)은 영상 전체에 걸쳐서 유사한 선명도를 가질 수 있고, 망원 영상(1320)은 주피사체(1301)에 초점을 맞춘 상태에서 주피사체(1301)를 제외한 배경 부분을 흐리게 나타낼 수 있다.
디지털 촬영 장치(100)가 매크로 모드인 경우, 디지털 촬영 장치(100)와 주피사체(1301) 사이의 간격(d2) 이 최단 촬영 거리 이상인 범위에서는 망원 영상(1320)만을 디스플레이할 수 있다. 매크로 모드에서 최단 촬영 거리는 망원 광학계의 초점이 맞은 상태에서 주피사체(1301)를 가장 가깝게 촬영할 수 있는 거리를 의미한다. 최단 촬영 거리의 값은 렌즈의 성능 및 초점 거리에 따라 다르게 결정 될 수 있으며, 대략 5cm 내지 45cm 범위일 수 있다.
도 13에 도시된 일 실시예에 따라, 디지털 촬영 장치(100)가 매크로 모드이고, 디지털 촬영 장치(100)와 주피사체(1301) 사이의 간격(d2)이 최단 촬영 거리 이상인 경우, 디지털 촬영 장치(100)는 합성 영상을 생성하지 않는 것으로 결정할 수 있다. 또한, 이 경우 디지털 촬영 장치(100)는 망원 영상(1320)을 디스플레이할 수 있다.
만약, 일 실시예에 따라, 주피사체(1301) 사이의 간격(d2)이 최단 촬영 거리 미만인 경우, 디지털 촬영 장치(100)는 광각 영상(1310) 및 망원 영상(1320)을 합성할 수도 있다.
도 14는 일 실시예에 따른 디지털 촬영 장치(100)의 동작 방법의 다른 흐름도이다.
단계 S310에서, 디지털 촬영 장치(100)는 컬러 영상을 획득할 수 있다(S310). 예를 들어, 디지털 촬영 장치(100)는 적색, 녹색 및 청색을 인식하기 위하여 컬러 필터를 갖는 이미지 센서를 포함하는 광학계를 이용하여 컬러 영상을 획득할 수 있다.
단계 S320에서, 디지털 촬영 장치(100)는 흑백 영상을 획득할 수 있다(S320). 예를 들어, 디지털 촬영 장치(100)는 피사체의 휘도를 인식하는 이미지 센서를 포함하는 광학계를 이용하여 흑백 영상을 획득할 수 있다.
단계 S330에서, 디지털 촬영 장치(100)는 피사체의 조도에 기초하여 합성 영상을 생성할지 결정할 수 있다(S320). 즉, 디지털 촬영 장치(100)는 피사체의 조도에 기초하여 컬러 영상과 흑백 영상을 합성한 합성 영상을 생성할지 결정할 수 있다.
예를 들어, 피사체의 조도가 저조도이고 컬러 영상에서 RGB 신호 데이터가 미리 정해진 값 이상인 경우, 디지털 촬영 장치(100)는 컬러 영상과 흑백 영상을 합성할 수 있다. 이 경우 컬러 영상과 흑백 영상을 합성하면 보다 노이즈가 저감된 영상을 획득할 수 있다.
도 15는 일 실시예에 따른 디지털 촬영 장치(100)의 동작 방법의 다른 흐름도이다.
단계 S410에서, 디지털 촬영 장치(100)는 컬러 영상을 획득할 수 있다(S410). 예를 들어, 디지털 촬영 장치(100)는 적색, 녹색 및 청색을 인식하기 위하여 컬러 필터를 갖는 이미지 센서를 포함하는 광학계를 이용하여 컬러 영상을 획득할 수 있다.
단계 S420에서, 디지털 촬영 장치(100)는 흑백 영상을 획득할 수 있다(S420). 예를 들어, 디지털 촬영 장치(100)는 피사체의 휘도를 인식하는 이미지 센서를 포함하는 광학계를 이용하여 흑백 영상을 획득할 수 있다.
단계 S430에서, 디지털 촬영 장치(100)는 피사체의 조도가 저조도인지 여부를 판단할 수 있다(S430).
만약, 단계 S430에서 디지털 촬영 장치(100)가 피사체의 조도가 저조도가 아니라고 판단한 경우, 단계 S440에서 디지털 촬영 장치(100)는 컬러 영상과 흑백 영상을 합성하지 않는 것으로 결정할 수 있다(단계 S440). 여기서 피사체의 조도가 저조도인 경우는, 피사체의 조도가 충분히 크지 않아서 흑백 영상에서의 신호대 잡음비에 비에 컬러 영상에서의 신호대 잡음 비가 떨어지는 경우를 의미한다.
이 경우, 디지털 촬영 장치(100)는 컬러 영상을 디스플레이하는 것으로 결정할 수 있다. 피사체의 조도가 저조도가 아니라면, 컬러 영상과 흑백 영상을 합성하지 않는 것이 소비전력 측면에서 효율적일 수 있다.
만약, 단계 S430에서 디지털 촬영 장치(100)가 피사체의 조도가 저조도라고 판단한 경우, 단계 S450에서 디지털 촬영 장치(100)는 컬러 영상에서 RGB 신호 데이터가 미리 정해진 값 이상인지 여부를 판단할 수 있다(단계 S450)
또한, 컬러 영상에서 RGB 신호 데이터가 미리 정해진 값 이상인 경우는 적색, 녹색, 청색에 대한 수치가 디지털 촬영 장치(100)에 의해 피사체의 컬러를 획득하기에 충분한 경우를 의미한다.
만약, 단계 S450에서 디지털 촬영 장치(100)가 컬러 영상에서 RGB 신호 데이터가 미리 정해진 값 이상이라고 판단한 경우, 단계 S460에서 디지털 촬영 장치(100)는 컬러 영상과 흑백 영상을 합성하는 것으로 결정할 수 있다(단계 S460).
이 경우, 디지털 촬영 장치(100)는 피사체의 컬러에 관한 정보를 포함하는 컬러 영상과 신호대 잡음 비가 뛰어난 흑백 영상을 합성하여 컬러 영상에 비해 노이즈가 적은 영상을 획득할 수 있다.
만약, 단계 S450에서 디지털 촬영 장치(100)가 컬러 영상에서 RGB 신호 데이터가 미리 정해진 값 미만이라고 판단한 경우, 단계 S470에서 디지털 촬영 장치(100)는 컬러 영상과 흑백 영상을 합성하지 않는 것으로 결정할 수 있다(단계 S470).
피사체의 조도가 저조도이고, 피사체의 조도가 컬러 영상을 획득하는 RGB 광학계로부터 컬러를 검출하기에 충분하지 않은 경우, 컬러 영상에 포함된 피사체의 컬러에 관한 정보가 정확하지 않을 수 있다. 이 때 디지털 촬영 장치(100)가 컬러 영상과 흑백 영상을 합성하게 되면 합성 영상에서 노이즈가 증폭될 수 있다. 이 경우에는 디지털 촬영 장치(100)는 컬러 영상과 흑백 영상을 합성하지 않을 수 있다.
도 16은 일 실시예에 따른 디지털 촬영 장치(100)의 동작 방법의 다른 흐름도이다.
단계 S510에서, 디지털 촬영 장치(100)는 피사체에 광을 송신하고 반사된 광을 수신하여 피사체에 대한 거리 정보를 획득할 수 있다(S510).
구체적으로 디지털 촬영 장치(100)는, 액티브 방식을 이용하여 피사체의 거리 정보를 획득할 수 있다. 액티브 방식은 액티브 센서가 광 또는 전자기파를 피사체에 방출하고, 피사체로부터 반사된 광 또는 전자기파를 획득하여 피사체의 거리 정보를 획득하는 방식을 의미한다. 액티브 센서를 이용하여 획득되는 깊이 맵을 제1 깊이 맵이라 할 수 있다.
단계 S520에서, 디지털 촬영 장치(100)는 시점이 서로 상이한 제1 영상 및 제2 영상을 획득할 수 있다(S520).
구체적으로 디지털 촬영 장치(100)는, 듀얼 광학계를 이용하여 시점이 서로 상이한 제1 영상 및 제2 영상을 획득할 수 있다. 듀얼 광학계는 일정 거리를 두고 배치된 두 개의 광학계를 의미한다. 듀얼 광학계는 서로 다른 시점에서 피사체를 촬영하여 디지털 촬영 장치(100)와 피사체로 사이의 거리를 나타내는 깊이 맵을 획득할 수 있다. 듀얼 광학계를 이용하여 획득되는 깊이 맵을 제2 깊이 맵이라 할 수 있다.
단계 S530에서, 디지털 촬영 장치(100)는 제1 깊이 맵과 제2 깊이 맵을 합성하여 합성 깊이 맵을 생성할지 여부를 결정할 수 있다(S530).
도 17은 일 실시예에 따른 디지털 촬영 장치(100)의 동작 방법의 다른 흐름도이다.
단계 S610에서, 디지털 촬영 장치(100)는 피사체에 광을 송신하고 반사된 광을 수신하여 피사체에 대한 거리 정보를 획득할 수 있다(S610).
단계 S620에서, 디지털 촬영 장치(100)는 시점이 서로 상이한 제1 영상 및 제2 영상을 획득할 수 있다(S620).
단계 S630에서, 디지털 촬영 장치(100)는 피사체의 조도가 제1 조도 이하인지 여부를 판단할 수 있다(S630).
여기서 제1 조도는 액티브 센서에 의해 피사체로 송신되어 반사되는 광 또는 전자기파를 감지할 수 있는 피사체의 최대 조도를 의미할 수 있다. 만약 피사체의 조도가 제1 조도를 초과하는 경우에는, 피사체의 조도가 큰 경우에는 액티브 센서가 광 또는 전자기파를 감지하기에 여려움이 있을 수 있다.
만약, 단계 S630에서 디지털 촬영 장치(100)가 피사체의 조도가 제1 조도 이하인 것으로 판단한 경우, 단계 S640에서, 디지털 촬영 장치(100)는 합성 깊이 맵을 생성하지 않는 것으로 결정할 수 있다(S640).
일 실시예에 따라 디지털 촬영 장치(100)가 피사체의 조도가 제1 조도 이하인 것으로 판단한 경우, 디지털 촬영 장치(100)는 합성 깊이 맵을 생성하지 않는 것으로 결정하고, 피사체에 대한 거리 정보에 기초하여 제1 깊이 맵을 획득할 수 있다.
만약, 단계 S640에서 디지털 촬영 장치(100)가 피사체의 조도가 제1 조도를 초과하는 것으로 판단한 경우, 단계 S650에서, 디지털 촬영 장치(100)는 촬영 모드가 실내 근접 촬영 모드인지 여부를 판단할 수 있다(S650).
단계 S650에서, 디지털 촬영 장치(100)가 촬영 모드가 실내 근접 촬영 모드가 아니라고 판단한 경우, 단계 S660에서 디지털 촬영 장치(100)는 합성 깊이 맵을 생성하지 않는 것으로 결정할 수 있다(S660).
디지털 촬영 장치(100)의 촬영 모드가 실내 근접 촬영 모드가 아닌 경우는, 디지털 촬영 장치(100)가 실내에서 원경을 촬영하는 경우 또는 실외 촬영 모드가 될 수 있다.
일 실시예에 따라, 디지털 촬영 장치(100)가 실내에서 원경을 촬영하는 경우에는 제2 깊이 맵을 획득할 수 있다.
디지털 촬영 장치(100)와 피사체의 거리가 너무 멀어서, 액티브 센서에 의해 피사체로부터 반사되는 광을 감지할 때 오류가 크게 발생되는 경우, 디지털 촬영 장치(100)의 액티브 센서는 피사체의 거리 정보를 정확하게 감지할 수 없을 수 있다. 이 경우, 디지털 촬영 장치(100)는 합성 깊이 맵을 생성하지 않는 것으로 결정하고, 제2 깊이 맵(420)을 획득할 수 있다.
이와 같이 디지털 촬영 장치(100)와 피사체의 거리가 너무 멀어서, 액티브 센서에 의해 피사체로부터 반사되는 광을 감지할 때 오류가 크게 발생되는 경우를 합성 깊이 맵을 생성할 때에 있어서의 원경 모드라고 할 수 있다.
일 실시예에 따라, 디지털 촬영 장치(100)의 촬영 모드가 실외 촬영 모드이고 조도가 제1 조도를 초과하는 경우에는 제2 깊이 맵을 획득할 수 있다. 실외에서 조도가 높은 경우 디지털 촬영 장치(100)는 합성 깊이 맵을 생성하지 않는 것이 소비전력 측면에서 유리하다.
단계 S650에서, 디지털 촬영 장치(100)가 촬영 모드가 실내 근접 촬영 모드라고 판단한 경우, 단계 S670에서 디지털 촬영 장치(100)는 합성 깊이 맵을 생성하는 것으로 결정할 수 있다(S670).
도 18은 일 실시예에 따른 디지털 촬영 장치(100)의 동작 방법의 다른 흐름도이다.
단계 S601에서, 디지털 촬영 장치(100)는 피사체에 광을 송신하고 반사된 광을 수신하여 피사체에 대한 거리 정보를 획득할 수 있다(S601).
단계 S603에서, 디지털 촬영 장치(100)는 시점이 서로 상이한 제1 영상 및 제2 영상을 획득할 수 있다(S603).
단계 S730에서, 디지털 촬영 장치(100)는 촬영 모드가 근접 촬영 모드인지 여부를 판단할 수 있다(S730).
만약, 단계 S730에서 디지털 촬영 장치(100)가 촬영 모드가 근접 촬영 모드가 아니라고 판단한 경우, 단계 S740에서, 디지털 촬영 장치(100)는 레이더 방식을 사용하는 것이 가능한지 여부를 판단할 수 있다(S740).
만약, 단계 S740에서 디지털 촬영 장치(100)가 레이더 방식을 사용하는 것이 가능하다고 판단한 경우, 단계 S750에서, 디지털 촬영 장치(100)는 합성 깊이 맵을 생성하는 것으로 결정할 수 있다(S750).
일 실시예에 따르면, 액티브 센서가 레이더(radar) 또는 라이더(LIDAR; LIght Detection And Ranging)등인 경우, 디지털 촬영 장치(100)는 피사체가 멀리 떨어진 경우에도 디지털 촬영 장치(100)와 피사체 사이의 거리를 획득할 수 있다.
만약, 단계 S740에서 디지털 촬영 장치(100)가 레이더 방식을 사용하는 것이 불가능하다고 판단한 경우, 단계 S760에서, 디지털 촬영 장치(100)는 합성 깊이 맵을 생성하지 않는 것으로 결정할 수 있다(S760).
일 실시예에 따라 디지털 촬영 장치(100)가 레이더 방식을 사용하는 것이 불가능하다고 판단한 경우, 디지털 촬영 장치(100)는 제2 깊이 맵을 생성할 수 있다.
만약, 단계 S730에서 디지털 촬영 장치(100)가 촬영 모드가 근접 촬영 모드인 것으로 판단한 경우, 단계 S770에서, 디지털 촬영 장치(100)는 촬영 모드가 실내 근접 촬영 모드인지 여부를 판단할 수 있다(S770).
단계 S770에서, 디지털 촬영 장치(100)가 촬영 모드가 실내 근접 촬영 모드가 아니라고 판단한 경우, 단계 S780에서 디지털 촬영 장치(100)는 합성 깊이 맵을 생성하지 않는 것으로 결정할 수 있다(S780).
단계 S770에서, 디지털 촬영 장치(100)가 촬영 모드가 실내 근접 촬영 모드라고 판단한 경우, 단계 S790에서 디지털 촬영 장치(100)는 합성 깊이 맵을 생성하는 것으로 결정할 수 있다(S790).
도 19는 일 실시예에 따른 디지털 촬영 장치(100)의 구조를 설명하기 위한 블록도이다.
일 실시예에 따른 디지털 촬영 장치(100)는 광학계(1910), 센서(1920), 액티브 센서(1927), 프로세서(1930), 디스플레이(1940) 및 메모리(1950)를 포함할 수 있다.
광학계(1910)는 복수의 광학계를 포함할 수 있다. 여기서, 광학계는 적어도 하나의 렌즈 및 이미지 센서를 포함하고, 이미지 센서를 통해 이미지 신호를 획득하는 구성 요소를 의미한다.
광학계(1910)는 제1 광학계(1911) 및 제2 광학계(1913)를 포함할 수 있고, 제1 광학계(1911) 및 제2 광학계(1913)는 비대칭 광학계일 수 있다.
일 실시예에 따르면, 제1 광학계(1911) 및 제2 광학계(1913)는 각각 광각 영상 (wide angle image)을 획득하는 광각 광학계 및 피사체를 줌(zoom) 한 망원 영상 (telephoto image)을 획득하는 망원 광학계를 포함하는 비대칭 광학계일 수 있다.
다른 실시예에 따르면, 제1 광학계(1911) 및 제2 광학계(1913)는 컬러 영상을 획득하는 RGB 광학계 및 흑백 영상을 획득하는 모노 광학계를 포함하는 비대칭 광학계일 수 있다.
또한, 제1 광학계(1911) 및 제2 광학계(1913)는 일정 거리를 두고 배치된 듀얼 광학계일 수 있다.
센서(1920)는 피사체의 조도 및 디지털 촬영 장치(100)와 피사체의 거리를 포함하는 촬영 환경 및 촬영 모드 등을 검출하는 데에 사용될 수 있다. 피사체의 조도는 디지털 촬영 장치(100)가 촬영하는 주피사체의 조도 및 디지털 촬영 장치(100)가 촬영하는 배경의 조도를 모두 포함할수 있다.
조도 센서(1921), AE(auto exposure) 센서(1923) 및 AF(auto focusing) 센서(1925)를 포함할 수 있다.
조도 센서(1921)는 디지털 촬영 장치(100) 주변의 조도를 검출하여 제어부(170)로 제어 신호를 출력할 수 있다.
AE 센서(1923)는 피사체의 휘도를 검출하여 제어부(170)로 제어 신호를 출력할 수 있다.
AF 센서(1925)는 콘트라스트 AF 시에 콘트라스트 값에 대한 신호를 출력할 수 있다. 또한, AF 센서(1925)는 위상차 AF 시에 화소 정보를 제어부(170)로 출력하여, 위상차 연산에 이용될 수 있다. 제어부(170)의 위상차 연산은 복수의 화소 열 신호의 상관 연산에 의해 수행될 수 있다. 위상차 연산 결과로 초점의 위치 또는 초점의 방향을 구할 수 있다. AF 센서(1925)에 의해 검출된 위상차를 이용하여 디지털 촬영 장치(100)와 피사체의 거리를 획득할 수 있다.
액티브 센서(1927)는 액티브 방식을 이용하여 피사체의 거리 정보를 획득하는 센서를 의미한다.
액티브 방식은 액티브 센서가 광 또는 전자기파를 피사체에 방출하고, 피사체로부터 반사된 광 또는 전자기파를 획득하여 피사체의 거리 정보를 획득하는 방식을 의미한다. 액티브 센서를 이용하여 획득되는 깊이 맵을 제1 깊이 맵이라 할 수 있다. 액티브 센서(1927)는 적외선 센서(IR 센서), 구조형 광(Structured light) 센서, TOF 센서, 레이더(radar), 라이더(LIDAR; LIght Detection And Ranging)등으로 구현될 수 있다.
프로세서(1930)는 피사체의 조도, 디지털 촬영 장치(100)와 피사체의 거리 및 촬영 모드 중 적어도 하나에 기초하여 제1 광학계(1911)로부터 획득한 영상과 제2 광학계(1913)로부터 획득한 영상을 합성한 합성 영상을 생성할지 여부를 결정할 수 있다. 또한, 프로세서(1930)는 사용자의 입력에 기초하여 합성 영상을 생성할지 여부를 결정할 수도 있다. 피사체의 조도, 디지털 촬영 장치(100)와 피사체의 거리 및 촬영 모드는 센서(1920)에 기초하여 획득될 수 있다.
일 실시예에 따라, 제1 광학계(1911) 및 제2 광학계(1913)가 각각 광각 광학계 및 망원 광학계인 경우, 프로세서(1930)는 피사체의 조도 및 디지털 촬영 장치(1900)와 피사체 사이의 거리 중 적어도 하나에 기초하여, 광각 영상과 망원 영상을 합성한 합성 영상을 생성할지 여부를 결정할 수 있다.
프로세서(1930)는, 조도가 한계 피사체 조도를 초과하는 경우 광각 영상 및 망원 영상을 합성하여 합성 영상을 생성하는 것으로 결정할 수 있다. 여기서, 한계 피사체 조도는 광각 영상 및 망원 영상을 합성함에 따라 발생하는 노이즈가 원래의 영상에 존재하는 노이즈보다 크게 되는 경우의 조도를 의미한다.
또한, 프로세서(1930)는, 디지털 촬영 장치(100)와 피사체의 거리가 원경 모드 범위인 경우에 합성 영상을 생성하는 것으로 결정할 수 있다. 여기서 원경 모드 범위는 디지털 촬영 장치(100)와 피사체의 거리가 베이스라인에 비하여 충분히 떨어져 있기 때문에 가림 효과가 발생하지 않는 경우를 의미한다.
다른 실시예에 따라, 제1 광학계(1911) 및 제2 광학계(1913)가 각각 RGB 광학계 및 모노 광학계인 경우, 프로세서(1930)는 피사체의 조도에 기초하여, 컬러 영상과 흑백 영상을 합성한 합성 영상을 생성할지 여부를 결정할 수 있다.
프로세서(1930)는 피사체의 조도가 저조도이고, 컬러 영상에 포함되는 RGB 신호 데이터가 미리 정해진 값 이상인 경우, 컬러 영상과 흑백 영상을 합성하여 합성 영상을 생성하는 것으로 결정할 수 있다. 여기서 피사체의 조도가 저조도인 경우는, 피사체의 조도가 충분히 크지 않아서 흑백 영상에서의 신호대 잡음비에 비에 컬러 영상에서의 신호대 잡음 비가 떨어지는 경우를 의미한다. 또한, 컬러 영상에 포함되는 RGB 신호 데이터가 미리 정해진 값 이상인 경우는 적색, 녹색, 청색에 대한 수치가 프로세서(1930)에 의해 피사체의 컬러를 획득하기에 충분한 경우를 의미한다
또한, 제1 광학계(1911) 및 제2 광학계(1913)가 일정 거리를 두고 배치된 듀얼 광학계인 경우, 프로세서(1930)는 제1 광학계(1911) 및 제2 광학계(1913)로부터 서로 다른 시점에서 획득된 영상을 이용하여 디지털 촬영 장치(1900)와 피사체 사이의 거리를 나타내는 제2 깊이 맵을 획득할 수 있다.
프로세서(1930)는, 피사체의 조도 및 디지털 촬영 장치(1900)의 촬영 모드 중 적어도 하나에 기초하여 액티브 센서(1927)를 이용하여 획득되는 제1 깊이 맵과 제1 광학계(1911) 및 제2 광학계(1913)를 이용하여 획득되는 제2 깊이 맵을 합성할 지 여부를 결정할 수 있다.
예를 들어, 피사체의 조도가, 액티브 센서(1927)가 피사체로부터 반사되는 광을 감지할 수 있는 조도인 제1 조도를 초과하는 경우, 액티브 센서(1927)는 피사체로부터 반사되는 광을 정확하게 감지할 수 없을 수 있다. 이 경우, 프로세서(1930)는 합성 깊이 맵을 생성하지 않는 것으로 결정하고, 제2 깊이 맵을 획득할 수 있다.
또한, 피사체의 위치가 너무 멀어서, 액티브 센서(1927)가 피사체로부터 반사되는 광을 감지할 때 오류가 크게 발생되는 경우가 있을 수 있다. 이 경우를 합성 깊이 맵을 생성할 때에 있어서의 원경 모드라고 할 수 있다. 액티브 센서(1927)는 원경 모드에서, 디지털 촬영 장치(100)와 피사체 사이의 거리 정보를 정확하게 감지할 수 없을 수 있다. 이 경우, 프로세서(1930)는 합성 깊이 맵을 생성하지 않는 것으로 결정하고, 제2 깊이 맵을 획득할 수 있다.
프로세서(1930)는 또한 전력 모드에 기초하여 합성 영상을 생성할지 여부를 결정할 수도 있다. 예를 들어, 디지털 촬영 장치(100)가 저전력 모드인 경우, 합성 영상을 생성하지 않는 것으로 결정하여 전력 소비량을 감소시킬 수 있다.
프로세서(1930)는 제1 광학계(1911)로부터 획득한 영상과 제2 광학계(1913)로부터 획득한 영상, 및 합성 영상 중 적어도 하나의 영상을 디스플레이(1940)에 디스플레이하도록 제어할 수 있다
메모리(1950)는 획득한 영상 및 합성 영상을 정지 영상, 파노라마 영상, 동영상 등으로 저장할 수 있다. 메모리(1950)는 내장 메모리 또는 외장 메모리를 포함할 수 있다.
도 20은 일 실시예에 따른 디지털 촬영 장치(2000)의 구조를 설명하기 위한 블록도이다.
디지털 촬영 장치(2000)는, 예를 들면, 도 19에 도시된 디지털 촬영 장치(100)의 구성의 전체 또는 일부를 포함할 수 있다.
일 실시예에 따른 디지털 촬영 장치(2000)는 하나 이상의 프로세서(예: AP(application processor))(210), 통신 모듈(220), 가입자 식별 모듈(224), 저장부(230), 센서 모듈(240), 입력 장치(250), 디스플레이(260), 인터페이스(270), 오디오 모듈(280), 카메라 모듈(291), 전력 관리 모듈(295), 배터리(296), 인디케이터(297), 및 모터(298) 를 포함할 수 있다.
메인 프로세서(210)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 메인 프로세서(210)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 메인 프로세서(210)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 메인 프로세서(210)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서(image signal processor)를 더 포함할 수 있다. 메인 프로세서(210)는 도 16에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(221))를 포함할 수도 있다. 메인 프로세서(210) 는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
일 실시예에 따른 메인 프로세서(210)는 도 19의 프로세서(1930)를 포함할 수 있다.
통신 모듈(220)은, 예를 들면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227)(예: GPS 모듈, Glonass 모듈, Beidou 모듈, 또는 Galileo 모듈), NFC 모듈(228) 및 RF(radio frequency) 모듈(229)를 포함할 수 있다.
저장부(230)는, 예를 들면, 내장 메모리(232) 또는 외장 메모리(234)를 포함할 수 있다. 내장 메모리(232)는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.
외장 메모리(234)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리(234)는 다양한 인터페이스를 통하여 디지털 촬영 장치(1600)와 기능적으로 및/또는 물리적으로 연결될 수 있다.
센서 모듈(240)은, 예를 들면, 물리량을 계측하거나 디지털 촬영 장치(1600)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(240)은, 예를 들면, 제스처 센서(240A), 자이로 센서(240B), 기압 센서(240C), 마그네틱 센서(240D), 가속도 센서(240E), 그립 센서(240F), 근접 센서(240G), 컬러(color) 센서(240H)(예: RGB(red, green, blue) 센서), 생체 센서(240I), 온/습도 센서(240J), 조도 센서(240K), 또는 UV(ultra violet) 센서(240M) 중의 적어도 하나를 포함할 수 있다. 센서 모듈(240)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 디지털 촬영 장치(1600)는 메인 프로세서(210)의 일부로서 또는 별도로, 센서 모듈(240)을 제어하도록 구성된 프로세서를 더 포함하여, 메인 프로세서(210)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(240)을 제어할 수 있다.
일 실시예에 따르면, 자이로 센서(240B), 가속도 센서(240E) 등을 이용하여 광각 영상 및 망원 영상의 글로벌 모션 및 로컬 모션에 대한 정보를 획득할 수 있다.
입력 장치(250)는, 예를 들면, 터치 패널(touch panel)(252), (디지털) 펜 센서(pen sensor)(254), 키(key)(256), 또는 초음파(ultrasonic) 입력 장치(258)를 포함할 수 있다. 터치 패널(252)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(252)은 제어 회로를 더 포함할 수도 있다. 터치 패널(252)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다.
(디지털) 펜 센서(254)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트(sheet)를 포함할 수 있다. 키(256)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(258)는 마이크(예: 마이크(288))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이(260)(예: 디스플레이(160))는 패널(262), 홀로그램 장치(264), 또는 프로젝터(266)를 포함할 수 있다. 패널(262)은, 예를 들면, 유연하게(flexible), 투명하게(transparent), 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널(262)은 터치 패널(252)과 하나의 모듈로 구성될 수도 있다.
인터페이스(270)는, 예를 들면, HDMI(high-definition multimedia interface)(272), USB(universal serial bus)(274), 광 인터페이스(optical interface)(276), 또는 D-sub(D-subminiature)(278)를 포함할 수 있다.
오디오 모듈(280)은, 예를 들면, 소리(sound)와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(280)은, 예를 들면, 스피커(282), 리시버(284), 이어폰(286), 또는 마이크(288) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
카메라 모듈(291)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, ISP(image signal processor), 또는 플래시(flash)(예: LED 또는 xenon lamp 등)를 포함할 수 있다.
카메라 모듈(291)은 복수의 광학계를 포함할 수 있다. 예를 들어, 카메라 모듈은 제1 광학계 및 제2 광학계를 포함할 수 있다.
제1 광학계 및 제2 광학계는 각각 렌즈(도시되지 않음) 및 이미지 센서(도시되지 않음)를 포함할 수 있다.
전력 관리 모듈(295)은, 예를 들면, 디지털 촬영 장치(1600)의 전력을 관리할 수 있다. 한 실시예에 따르면, 전력 관리 모듈(295)은 PMIC(power management integrated circuit), 충전 IC(charger integrated circuit), 또는 배터리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 배터리 게이지는, 예를 들면, 배터리(296)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다.
인디케이터(297)는 디지털 촬영 장치(1600) 또는 그 일부(예: 메인 프로세서(210))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(298)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동(vibration), 또는 햅틱(haptic) 효과 등을 발생시킬 수 있다.
본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 디지털 촬영 장치의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 디지털 촬영 장치는 본 문서에서 기술된 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 다양한 실시예에 따른 디지털 촬영 장치의 구성요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
도 21은 일 실시예에 따른 디지털 촬영 장치(2100)의 구조를 설명하기 위한 블록도이다.
디지털 촬영 장치(2100)는, 예를 들면, 도 19에 도시된 디지털 촬영 장치(100) 및 도 20에 도시된 디지털 촬영 장치(2000) 의 구성 중 전부 또는 일부를 포함할 수 있다.
일 실시 예에 따른 디지털 촬영 장치(2100)는 광학계(110), 이미지 신호 처리부(120), 아날로그 신호 처리부(121), 메모리(130), 저장/판독 제어부(140), 메모리 카드(142), 프로그램 저장부(150), 표시 구동부(162), 디스플레이부(164), 제어부(170), 조작부(180) 및 통신부(190)를 포함할 수 있다.
디지털 촬영 장치(2100)의 전체 동작은 제어부(170)에 의해 통괄된다. 제어부(170)는 각 구성 요소의 동작을 위한 제어 신호를 제공한다.
광학계(110)는 입사광으로부터 전기적인 신호를 생성하는 구성요소이다.
광학계(110)는 제1 광학계(2110) 및 제1 광학계(2110)과 다른 광학 조건으로 영상을 획득하는 제2 광학계(2120)를 포함할 수 있다. 일 실시예에 따르면, 제1 광학계(1911) 및 제2 광학계(1913)는 비대칭 광학계일 수 있다.
일 실시예에 따르면, 제1 광학계(2110) 및 제2 광학계(2120)는 각각 광각 영상 (wide angle image)을 획득하는 광각 광학계 및 피사체를 줌(zoom) 한 망원 영상 (telephoto image)을 획득하는 망원 광학계를 포함하는 비대칭 광학계일 수 있다.
다른 실시예에 따르면, 제 1 카메라(2110) 및 제2 광학계(2120)는 컬러 영상을 획득하는 RGB 광학계 및 흑백 영상을 획득하는 모노 광학계를 포함하는 비대칭 광학계일 수 있다.
또한, 제1 광학계(2110) 및 제2 광학계(2120)는 일정 거리를 두고 배치된 듀얼 광학계일 수 있다.
제1 광학계(2110) 및 제2 광학계(2120)는 각각 렌즈(도시되지 않음) 및 이미지 센서(도시되지 않음)를 포함할 수 있다. 렌즈를 투과한 피사광은 이미지 센서의 수광면에 이르러 피사체의 상을 결상한다. 상기 이미지 센서는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 이미지 센서 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)일 수 있다.
아날로그 신호 처리부(121)는 광학계(110)로부터 공급된 아날로그 신호에 대하여, 노이즈 저감 처리, 게인 조정, 파형 정형화, 아날로그-디지털 변환 처리 등을 수행한다.
이미지 신호 처리부(120)는 아날로그 신호 처리부(121)에서 처리된 영상 데이터 신호에 대해 특수기능을 처리하기 위한 신호 처리부이다. 예를 들면, 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 화이트 밸런스 조절, 휘도의 평활화 및 칼라 쉐이딩(color shading) 등의 화질 개선 및 특수 효과 제공을 위한 영상 신호 처리를 수행할 수 있다. 이미지 신호 처리부(120)는 입력된 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식이어도 된다. 적절한 형식의 예로서, 정지 영상에 경우, JPEG(Joint Photographic Experts Group)형식이나 JPEG 2000 형식 등으로 변환도 가능하다. 또한, 동영상을 기록하는 경우, MPEG(Moving Picture Experts Group) 표준에 따라 복수의 프레임들을 압축하여 동영상 파일을 생성할 수 있다. 영상 파일은 예를 들면 Exif(Exchangeable image file format) 표준에 따라 생성될 수 있다.
이미지 신호 처리부(120)는 이미지 센서(118)에서 생성된 촬상 신호로부터 동영상 파일을 생성할 수 있다. 상기 촬상 신호는 이미지 센서(118)에서 생성되고 아날로그 신호 처리부(121)에 의해 처리된 신호일 수 있다. 이미지 신호 처리부(120)는 상기 촬상 신호로부터 동영상 파일에 포함될 프레임들을 생성하고, 상기 프레임들을 예를 들면, MPEG4(Moving Picture Experts Group 4), H.264/AVC, WMV(windows media video) 등의 표준에 따라 코딩하여 압축한 후, 압축된 동영상을 이용하여 동영상 파일을 생성할 수 있다. 동영상 파일은 mpg, mp4, 3gpp, avi, asf, mov 등 다양한 형식으로 생성될 수 있다.
이미지 신호 처리부(120)로부터 출력된 이미지 데이터는 메모리(130)를 통하여 또는 직접 저장/판독 제어부(140)에 입력되는데, 저장/판독 제어부(140)는 사용자로부터의 신호에 따라 또는 자동으로 영상 데이터를 메모리 카드(142)에 저장한다. 또한 저장/판독 제어부(140)는 메모리 카드(142)에 저장된 영상 파일로부터 영상에 관한 데이터를 판독하고, 이를 메모리(130)를 통해 또는 다른 경로를 통해 표시 구동부에 입력하여 디스플레이부(164)에 이미지가 표시되도록 할 수도 있다. 메모리 카드(142)는 탈착 가능한 것일 수도 있고 디지털 촬영 장치(2100)에 영구 장착된 것일 수 있다. 예를 들면, 메모리 카드(142)는 SD(Secure Digital)카드 등의 플래시 메모리 카드 일 수 있다.
또한, 이미지 신호 처리부(120)는 입력된 영상 데이터에 대해 불선명 처리, 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 아울러, 이미지 신호 처리부(120)는 디스플레이부(164)에 디스플레이하기 위한 표시 영상 신호 처리를 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다.
한편, 이미지 신호 처리부(120)에 의해 처리된 신호는 메모리(130)를 거쳐 제어부(170)에 입력될 수도 있고, 메모리(130)를 거치지 않고 제어부(170)에 입력될 수도 있다. 여기서 메모리(130)는 디지털 촬영 장치(2100)의 메인 메모리로서 동작하고, 이미지 신호 처리부(120) 또는 제어부 (170)가 동작 중에 필요한 정보를 임시로 저장한다. 프로그램 저장부(150)는 디지털 촬영 장치(2100)를 구동하는 운영 시스템, 응용 시스템 등의 프로그램을 저장할 수 있다.
디지털 촬영 장치(2100)는 센서(2130)를 포함할 수 있다. 센서(2130)는 피사체의 조도 및 디지털 촬영 장치(2100)와 피사체의 거리를 포함하는 촬영 환경 및 촬영 모드 등을 검출하는 데에 사용될 수 있다. 피사체의 조도는 디지털 촬영 장치(2100)가 촬영하는 주피사체의 조도 및 디지털 촬영 장치(2100)가 촬영하는 배경의 조도를 모두 포함할수 있다.
센서(2130)는 조도 센서(2131), AE(auto exposure) 센서(2133) 및 AF(auto focusing) 센서(2135)를 포함할 수 있다.
조도 센서(2131)는 디지털 촬영 장치(2100) 주변의 조도를 검출하여 제어부(170)로 제어 신호를 출력할 수 있다.
AE 센서(2133)는 피사체의 휘도를 검출하여 제어부(170)로 제어 신호를 출력할 수 있다.
AF 센서(2135)는 콘트라스트 AF 시에 콘트라스트 값에 대한 신호를 출력할 수 있다. 또한, AF 센서(2135)는 위상차 AF 시에 화소 정보를 제어부(170)로 출력하여, 위상차 연산에 이용될 수 있다. 제어부(170)의 위상차 연산은 복수의 화소 열 신호의 상관 연산에 의해 수행될 수 있다. 위상차 연산 결과로 초점의 위치 또는 초점의 방향을 구할 수 있다. AF 센서(2135)에 의해 검출된 위상차를 이용하여 디지털 촬영 장치(2100)와 피사체의 거리를 획득할 수 있다.
디지털 촬영 장치(2100)는 액티브 센서(2140)를 더 포함할 수 있다.
액티브 센서(2140)는 액티브 방식을 이용하여 디지털 촬영 장치(2100)와 피사체의 거리 정보를 획득하는 센서를 의미한다.
액티브 방식은 액티브 센서가 광 또는 전자기파를 피사체에 방출하고, 피사체로부터 반사된 광 또는 전자기파를 획득하여 피사체의 거리 정보를 획득하는 방식을 의미한다. 액티브 센서(2140)를 이용하여 획득되는 깊이 맵을 제1 깊이 맵이라 할 수 있다. 액티브 센서(2140)는 적외선 센서(IR 센서), 구조형 광(Structured light) 센서, TOF 센서, 레이더(radar), 라이더(LIDAR; LIght Detection And Ranging)등으로 구현될 수 있다.
아울러, 디지털 촬영 장치(2100)는 이의 동작 상태 또는 디지털 촬영 장치(2100)에서 촬영한 영상 정보를 표시하도록 디스플레이부(164)를 포함한다. 디스플레이부(164)는 시각적인 정보 및/또는 청각적인 정보를 사용자에게 제공할 수 있다. 시각적인 정보를 제공하기 위해 디스플레이부(164)는 예를 들면, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널 등으로 이루어질 수 있다. 또한, 디스플레이부(164)는 터치 입력을 인식할 수 있는 터치스크린일 수 있다.
표시 구동부(162)는 디스플레이부(164)에 구동 신호를 제공한다.
제어부(170)는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성부들을 제어할 수 있다. 제어부(170)는 하나 또는 복수개의 프로세서에 해당할 수 있다. 프로세서는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 다른 형태의 하드웨어로 구현될 수도 있음을 본 실시 예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
제어부(170)는 프로그램 저장부(130)에 저장된 프로그램을 실행하거나, 별도의 모듈을 구비하여, 오토 포커싱, 줌 변경, 초점 변경, 자동 노출 보정 등을 제어하기 위한 제어 신호를 생성하여, 셔터, 스트로보 등 디지털 촬영 장치(2100)에 구비된 구성 요소들의 동작을 총괄적으로 제어할 수 있다.
또한 제어부(170)는 외부 모니터와 연결되어, 이미지 신호 처리부(120)로부터 입력된 영상 신호에 대해 외부 모니터에 디스플레이 되도록 소정의 영상 신호 처리를 행할 수 있으며, 이렇게 처리된 영상 데이터를 전송하여 상기 외부 모니터에서 해당 영상이 디스플레이 되도록 할 수 있다.
제어부(170)는 피사체의 조도, 디지털 촬영 장치(2100)와 피사체의 거리 및 촬영 모드 중 적어도 하나에 기초하여 제1 광학계(2110)로부터 획득한 영상과 제2 광학계(2120)로부터 획득한 영상을 합성한 합성 영상을 생성할지 여부를 결정할 수 있다. 제어부(170)는 사용자의 입력에 기초하여 합성 영상을 생성할지 여부를 결정할 수도 있다. 피사체의 조도, 디지털 촬영 장치(2100)와 피사체의 거리 및 촬영 모드는 센서(2130)에 기초하여 획득될 수 있다.
일 실시예에 따라, 제1 광학계(2110) 및 제2 광학계(2120)가 각각 광각 광학계 및 및 망원 광학계인 경우, 제어부(170)는 피사체의 조도 및 디지털 촬영 장치(2100)와 피사체 사이의 거리 중 적어도 하나에 기초하여, 광각 영상과 망원 영상을 합성한 합성 영상을 생성할지 여부를 결정할 수 있다.
다른 실시예에 따라, 제1 광학계(2110) 및 제2 광학계(2120)가 각각 RGB 광학계 및 모노 광학계인 경우, 제어부(170)는 피사체의 조도에 기초하여, 컬러 영상과 흑백 영상을 합성한 합성 영상을 생성할지 여부를 결정할 수 있다.
또한, 제1 광학계(2110) 및 제2 광학계(2120)가 일정 거리를 두고 배치된 듀얼 광학계인 경우, 제어부(170)는 제1 광학계(2110) 및 제2 광학계(2120)로부터 서로 다른 시점에서 획득된 영상을 이용하여 디지털 촬영 장치(2100)와 피사체 사이의 거리를 나타내는 제2 깊이 맵을 획득할 수 있다.
제어부(170)는 또한, 피사체의 조도 및 디지털 촬영 장치(2100)의 촬영 모드 중 적어도 하나에 기초하여 액티브 센서(2130)를 이용하여 획득되는 제1 깊이 맵과 제1 광학계(2110) 및 제2 광학계(2120)를 이용하여 획득되는 제2 깊이 맵을 합성할 지 여부를 결정할 수 있다.
제어부(170)는 또한 디지털 촬영 장치(2100)의 전력 모드에 기초하여 합성 영상을 생성할지 여부를 결정할 수도 있다. 예를 들어, 디지털 촬영 장치(2100)가 저전력 모드인 경우, 합성 영상을 생성하지 않는 것으로 결정하여 전력 소비량을 감소시킬 수 있다.
제어부(170)는 피사체의 위치, 피사체의 조도 및 사용자의 입력 중 적어도 하나에 기초하여 제1 광학계(2110)로부터 획득한 영상, 제2 광학계(2120)로부터 획득한 영상 및 합성 영상 중 적어도 하나의 영상을 디스플레이부(164)에 디스플레이하도록 제어할 수 있다.
도 22는 일 실시예에 따라 디지털 촬영 장치(100)가 광각 영상과 망원 영상을 합성하는 과정을 설명하는 순서도이다.
단계 S2210에서 디지털 촬영 장치(100)는 망원 영상을 획득할 수 있다(S2210).
단계 S2220에서 디지털 촬영 장치(100)는 광각 영상을 획득할 수 있다(S2220).
단계 S2230에서 디지털 촬영 장치(100)는 망원 영상의 교정(rectification)을 수행할 수 있다(S2230). 즉, 디지털 촬영 장치(100)망원 영상의 시점을 광각 영상에 맞게 변형시킬 수 있다.
단계 S2240에서 디지털 촬영 장치(100)는 교정된 망원 영상을 획득할 수 있다(S2240)
단계 S2250에서 디지털 촬영 장치(100)는 광각 영상의 업스케일(upscale)을 수행할 수 있다(S2250). 즉, 디지털 촬영 장치(100)는 광각 영상의 ROI 부분을 확대하여 망원 영상의 크기에 맞게 조절할 수 있다.
단계 S2260에서 디지털 촬영 장치(100)는 교정된 망원 영상에 대한 전처리를 수행할 수 있다(S2260). 즉, 디지털 촬영 장치(100)는 망원 영상의 밝기, 선명도 및 컨트라스트 등을 업스케일된 광각 영상에 맞게 조절할 수 있다.
단계 S2270에서 디지털 촬영 장치(100)는 전처리된 망원 영상과 업스케일된 광각 영상의 정합을 수행할 수 있다(S2270).
단계 S2280에서 디지털 촬영 장치(100)는 합성 영상의 화질을 향상시키기 위해 망원 영상의 세부 정보(detail)를 가져올 수 있다(S2280). 이때, 디지털 촬영 장치(100)는 정합시 생성되는 통계적 정보를 이용하며 두 영상의 블러, 세부정보, 조도에 대한 정보 이외에도 가림 효과(occlusion) 정보를 이용할 수 있다.
단계 S2290에서 디지털 촬영 장치(100)는 합성 영상을 생성할 수 있다(S2280). 즉, 디지털 촬영 장치(100)는 업스케일된 광각 영상과 원래의 광각 영상에 기초하여 원하는 배율의 영상을 합성할 수 있다.
디지털 촬영 장치(100)는 합성된 광각 영상 부분과 합성되지 않은 광각 영상의 부분의 경계가 자연스럽게 보여지도록, 경계의 부근에 알파 블랜딩(alpha blending)을 적용할 수 있다.
일 실시예에 따른 디지털 촬영 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (47)

  1. 전자 장치에 있어서,
    제1 시야각 범위를 지원할 수 있는 제1 광학계;
    상기 제1 시야각보다 좁은 제2 시야각 범위를 지원할 수 있는 제2 광학계;
    디스플레이; 및
    적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
    상기 제1 광학계에 의해 획득되는 프리뷰 이미지가 상기 디스플레이에 디스플레이되는 동안 이미지를 캡쳐하기 위한 입력을 수신하고,
    상기 제1 광학계를 이용하여, 상기 제1 시야각 범위에 대응되는 제1 이미지를 획득하고,
    상기 제2 광학계를 이용하여, 상기 제2 시야각 범위에 대응되는 제2 이미지를 획득하고,
    상기 제1 이미지 또는 상기 제2 이미지 중 적어도 하나의 이미지에 대한 조도를 결정하고,
    상기 조도가 기 결정된 값보다 큰 경우, 상기 제1 이미지와 상기 제2 이미지를 합성하여 제3 이미지를 생성하고,
    상기 조도가 기 결정된 값보다 작거나 같은 경우, 상기 제1 이미지 또는 상기 제2 이미지에 기초하여 제4 이미지를 생성하는, 전자 장치.
  2. 제1 항에 있어서,
    상기 제3 이미지는, 상기 제2 이미지에 대응되는 제1 부분 및 상기 제1 이미지에 대응되고 상기 제1 부분을 둘러싼 제2 부분을 포함하는, 전자 장치.
  3. 제2 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 제1 부분과 상기 제2 부분 사이의 경계에 대하여 블랜딩을 적용하는, 전자 장치.
  4. 제1 항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지는 피사체를 포함하고,
    상기 제1 이미지 또는 상기 제2 이미지 중 적어도 하나의 이미지에 대한 조도는,
    상기 제1 이미지 내의 상기 피사체의 조도, 상기 제1 이미지 내의 배경에 대한 조도, 상기 제2 이미지 내의 상기 피사체의 조도, 또는 상기 제2 이미지 내의 배경에 대한 조도 중 적어도 하나를 포함하는, 전자 장치.
  5. 제1 항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지는 피사체를 포함하고,
    상기 적어도 하나의 프로세서는
    상기 피사체의 조도가 상기 기 결정된 값을 초과하고 상기 피사체와 상기 전자 장치 사이의 거리가 원경 모드 범위인 경우, 상기 제3 이미지를 생성하도록 결정하는, 전자 장치.
  6. 제1 항에 있어서, 상기 적어도 하나의 프로세서는
    상기 조도가 상기 기 결정된 값을 초과하고 피사체와 상기 전자 장치 사이의 거리가 원경 모드 범위가 아닌 경우, 상기 제4 이미지를 생성하는, 전자 장치.
  7. 제6 항에 있어서,
    상기 거리가 상기 제2 광학계의 최단 촬영 거리 이상이고, 촬영 모드가 매크로 모드인 경우 상기 제2 이미지를 디스플레이하는 디스플레이를 더 포함하는, 전자 장치.
  8. 제6 항에 있어서, 상기 디스플레이는,
    촬영 모드가 근접 촬영 모드인 경우 상기 제1 이미지를 디스플레이하는, 전자 장치.
  9. 제1 항에 있어서, 상기 적어도 하나의 프로세서는
    상기 제1 이미지 및 상기 제2 이미지에 기초하여 깊이 맵을 획득하고,
    상기 깊이 맵에 기초하여 피사체와 상기 전자 장치 사이의 거리를 검출하는, 전자 장치.
  10. 제1 항에 있어서,
    상기 제1 이미지는 피사체를 포함하는 컬러 영상이고, 상기 제2 이미지는 상기 피사체를 포함하는 흑백 영상이고,
    상기 적어도 하나의 프로세서는 상기 조도 및 촬영 모드 중 적어도 하나에 기초하여, 상기 제3 이미지를 생성할지 여부를 결정하는, 전자 장치.
  11. 제10 항에 있어서, 상기 적어도 하나의 프로세서는
    상기 피사체의 조도가 저조도이고, 상기 컬러 영상에 포함되는 RGB 신호 데이터가 미리 정해진 값 이상인 경우, 상기 제3 이미지를 생성하도록 결정하는, 전자 장치.
  12. 제10 항에 있어서, 상기 적어도 하나의 프로세서는
    상기 피사체의 조도가 저조도이고, 상기 컬러 영상에 포함되는 RGB 신호 데이터가 미리 정해진 값 미만인 경우, 상기 제3 이미지를 생성하지 않도록 결정하는, 전자 장치.
  13. 제12 항에 있어서, 상기 디스플레이는,
    상기 흑백 영상을 디스플레이하는, 전자 장치.
  14. 제1 항에 있어서, 상기 제1 이미지 및 제2 이미지는,
    상기 프리뷰 이미지가 상기 디스플레이에 디스플레이되는 동안 동시에 획득되는, 전자 장치.
  15. 제1 항에 있어서, 상기 적어도 하나의 프로세서는
    촬영 모드가 흑백 촬영 모드인 경우, 상기 제3 이미지를 생성하지 않도록 결정하는, 전자 장치.
  16. 제1 항에 있어서, 상기 적어도 하나의 프로세서는
    상기 전자 장치의 전력 모드에 기초하여 상기 제3 이미지를 생성할지 여부를 결정하는, 전자 장치.
  17. 디지털 촬영 장치에 있어서,
    피사체에 광을 송신하고 반사된 상기 광을 수신하여 상기 피사체에 대한 거리 정보를 획득하는 액티브 센서;
    상기 피사체를 포함하고 시점이 서로 상이한 제1 영상 및 제2 영상을 획득하는 복수의 카메라; 및
    상기 피사체의 조도 및 촬영 모드 중 적어도 하나에 기초하여, 상기 거리 정보에 기초하여 획득되는 제1 깊이 맵과 상기 제1 영상 및 상기 제2 영상에 기초하여 획득되는 제2 깊이 맵을 합성하여 합성 깊이 맵을 생성할지 여부를 결정하는 프로세서를 포함하는, 디지털 촬영 장치.
  18. ◈청구항 18은(는) 설정등록료 납부시 포기되었습니다.◈
    제17 항에 있어서, 상기 프로세서는
    상기 피사체의 조도가, 제1 조도 이하인 경우, 상기 합성 깊이 맵을 생성하지 않도록 결정하고, 상기 액티브 센서로부터 상기 제1 깊이 맵을 획득하도록 결정하는 디지털 촬영 장치.
  19. ◈청구항 19은(는) 설정등록료 납부시 포기되었습니다.◈
    제17 항에 있어서, 상기 프로세서는
    상기 피사체의 조도가, 제1 조도를 초과하는 경우, 상기 합성 깊이 맵을 생성하지 않도록 결정하고, 상기 제1 영상 및 상기 제2 영상에 기초하여 상기 제2 깊이 맵을 획득하도록 결정하는 디지털 촬영 장치.
  20. ◈청구항 20은(는) 설정등록료 납부시 포기되었습니다.◈
    제17 항에 있어서, 상기 프로세서는
    상기 촬영 모드가 원경 모드인 경우, 상기 합성 깊이 맵을 생성하지 않도록 결정하고, 상기 제1 영상 및 상기 제2 영상에 기초하여 상기 제2 깊이 맵을 획득하도록 결정하는 디지털 촬영 장치.
  21. 제17 항에 있어서,
    상기 액티브 센서는 상기 피사체에 전자기파를 송신하고 반사된 상기 전자기파를 수신하여 상기 피사체에 대한 거리 정보를 획득하는 레이더(radar)를 더 포함하고,
    상기 프로세서는
    상기 촬영 모드가 원경 모드인 경우, 상기 레이더를 이용하여 상기 제1 깊이 맵을 획득하도록 결정하는 디지털 촬영 장치.
  22. ◈청구항 22은(는) 설정등록료 납부시 포기되었습니다.◈
    제17 항에 있어서, 상기 프로세서는
    상기 촬영 모드가 실내 근접 촬영 모드인 경우, 상기 합성 깊이 맵을 생성하도록 결정하는, 디지털 촬영 장치.
  23. ◈청구항 23은(는) 설정등록료 납부시 포기되었습니다.◈
    제17 항에 있어서, 상기 프로세서는
    상기 디지털 촬영 장치의 전력 모드에 기초하여 상기 합성 깊이 맵을 생성할지 여부를 결정하는, 디지털 촬영 장치.
  24. 제1 시야각 범위를 지원하는 제1 광학계에 의해 획득되는 프리뷰 이미지가 디스플레이되는 동안 이미지를 캡쳐하기 위한 입력을 수신하고,
    상기 제1 광학계를 통해, 상기 제1 시야각 범위에 대응되는 제1 이미지를 획득하는 단계;
    상기 제1 시야각보다 좁은 제2 시야각 범위를 지원하는 제2 광학계를 통해, 상기 제2 시야각 범위에 대응되는 제2 이미지를 획득하는 단계;
    상기 제1 이미지 또는 상기 제2 이미지 중 적어도 하나의 이미지에 대한 조도를 결정하는 단계;
    상기 조도가 기 결정된 값보다 큰 경우, 상기 제1 이미지와 상기 제2 이미지를 합성하여 제3 이미지를 생성하는 단계; 및
    상기 조도가 기 결정된 값보다 작거나 같은 경우, 상기 제1 이미지 또는 상기 제2 이미지에 기초하여 제4 이미지를 생성하는, 전자 장치의 동작 방법.
  25. ◈청구항 25은(는) 설정등록료 납부시 포기되었습니다.◈
    제24 항에 있어서, 상기 제3 이미지는, 상기 제2 이미지에 대응되는 제1 부분 및 상기 제1 이미지에 대응되고 상기 제1 부분을 둘러싼 제2 부분을 포함하는, 전자 장치의 동작 방법.
  26. ◈청구항 26은(는) 설정등록료 납부시 포기되었습니다.◈
    제25 항에 있어서, 상기 전자 장치의 동작 방법은,
    상기 제1 부분과 상기 제2 부분 사이의 경계에 대하여 블랜딩을 적용하는 단계를 더 포함하는, 전자 장치의 동작 방법.
  27. ◈청구항 27은(는) 설정등록료 납부시 포기되었습니다.◈
    제24 항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지는 피사체를 포함하고,
    상기 제1 이미지 또는 상기 제2 이미지 중 적어도 하나의 이미지에 대한 조도는,
    상기 제1 이미지 내의 상기 피사체의 조도, 상기 제1 이미지 내의 배경에 대한 조도, 상기 제2 이미지 내의 상기 피사체의 조도, 또는 상기 제2 이미지 내의 배경에 대한 조도 중 적어도 하나를 포함하는, 전자 장치의 동작 방법.
  28. ◈청구항 28은(는) 설정등록료 납부시 포기되었습니다.◈
    제24 항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지는 피사체를 포함하고,
    상기 제3 이미지를 생성하는 단계는,
    상기 피사체의 조도가 상기 기 결정된 값을 초과하고 상기 피사체와 상기 전자 장치 사이의 거리가 원경 모드 범위인 경우, 상기 제3 이미지를 생성하는 단계를 포함하는, 전자 장치의 동작 방법.
  29. ◈청구항 29은(는) 설정등록료 납부시 포기되었습니다.◈
    제24 항에 있어서, 상기 제4 이미지를 생성하는 단계는
    상기 조도가 상기 기 결정된 값을 초과하고 피사체와 상기 전자 장치 사이의 거리가 원경 모드 범위가 아닌 경우, 상기 제4 이미지를 생성하는 단계를 포함하는, 전자 장치의 동작 방법.
  30. ◈청구항 30은(는) 설정등록료 납부시 포기되었습니다.◈
    제29 항에 있어서,
    상기 거리가 상기 제2 광학계의 최단 촬영 거리 이상이고, 촬영 모드가 매크로 모드인 경우 상기 제2 이미지를 디스플레이하는 단계를 더 포함하는, 전자 장치의 동작 방법.
  31. ◈청구항 31은(는) 설정등록료 납부시 포기되었습니다.◈
    제29 항에 있어서,
    촬영 모드가 근접 촬영 모드인 경우 상기 제1 이미지를 디스플레이하는 단계를 더 포함하는, 전자 장치의 동작 방법.
  32. ◈청구항 32은(는) 설정등록료 납부시 포기되었습니다.◈
    제24 항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지에 기초하여 깊이 맵을 획득하는 단계; 및
    상기 깊이 맵에 기초하여 피사체와 상기 전자 장치 사이의 거리를 검출하는 단계를 더 포함하는, 전자 장치의 동작 방법.
  33. ◈청구항 33은(는) 설정등록료 납부시 포기되었습니다.◈
    제24 항에 있어서,
    상기 제1 이미지는 피사체를 포함하는 컬러 영상이고, 상기 제2 이미지는 상기 피사체를 포함하는 흑백 영상이고,
    상기 제3 이미지 및 제4 이미지는 상기 피사체의 조도 및 촬영 모드 중 적어도 하나에 기초하여, 생성되는, 전자 장치의 동작 방법.
  34. ◈청구항 34은(는) 설정등록료 납부시 포기되었습니다.◈
    제33 항에 있어서, 상기 제3 이미지를 생성하는 단계는
    상기 피사체의 조도가 저조도이고, 상기 컬러 영상에 포함되는 RGB 신호 데이터가 미리 정해진 값 이상인 경우, 상기 제3 이미지를 생성하도록 결정하는 단계를 포함하는, 전자 장치의 동작 방법.
  35. ◈청구항 35은(는) 설정등록료 납부시 포기되었습니다.◈
    제33 항에 있어서, 상기 제4 이미지를 생성하는 단계는
    상기 피사체의 조도가 저조도이고, 상기 컬러 영상에 포함되는 RGB 신호 데이터가 미리 정해진 값 미만인 경우, 상기 제4 이미지를 생성하는 단계를 포함하는, 전자 장치의 동작 방법.
  36. ◈청구항 36은(는) 설정등록료 납부시 포기되었습니다.◈
    제35 항에 있어서,
    상기 흑백 영상을 디스플레이하는 단계를 더 포함하는, 전자 장치의 동작 방법.
  37. ◈청구항 37은(는) 설정등록료 납부시 포기되었습니다.◈
    제24 항에 있어서,
    상기 제1 이미지 및 제2 이미지는,
    상기 프리뷰 이미지가 상기 디스플레이에 디스플레이되는 동안 동시에 획득되는, 전자 장치의 동작 방법.
  38. ◈청구항 38은(는) 설정등록료 납부시 포기되었습니다.◈
    제24 항에 있어서, 상기 제4 이미지를 생성하는 단계는,
    촬영 모드가 흑백 촬영 모드인 경우, 상기 제4 이미지를 생성하는 단계를 포함하는, 전자 장치의 동작 방법.
  39. ◈청구항 39은(는) 설정등록료 납부시 포기되었습니다.◈
    제24 항에 있어서,
    상기 전자 장치의 전력 모드에 기초하여 상기 제3 이미지를 생성할지 여부를 결정하는 단계를 포함하는, 전자 장치의 동작 방법.
  40. 피사체에 광을 송신하고 반사된 상기 광을 수신하여 상기 피사체에 대한 거리 정보를 획득하는 단계;
    상기 피사체를 포함하고 시점이 서로 상이한 제1 영상 및 제2 영상을 획득하는 단계; 및
    상기 피사체의 조도 및 촬영 모드 중 적어도 하나에 기초하여, 상기 거리 정보에 기초하여 획득되는 제1 깊이 맵과 상기 제1 영상 및 상기 제2 영상에 기초하여 획득되는 제2 깊이 맵을 합성하여 합성 깊이 맵을 생성할지 여부를 결정하는 단계를 포함하는, 디지털 촬영 방법.
  41. ◈청구항 41은(는) 설정등록료 납부시 포기되었습니다.◈
    제40 항에 있어서, 상기 결정하는 단계는
    상기 피사체의 조도가, 제1 조도 이하인 경우, 상기 합성 깊이 맵을 생성하지 않도록 결정하고, 상기 제1 깊이 맵을 획득하도록 결정하는 단계를 포함하는 디지털 촬영 방법.
  42. ◈청구항 42은(는) 설정등록료 납부시 포기되었습니다.◈
    제40 항에 있어서, 상기 결정하는 단계는
    상기 피사체의 조도가, 제1 조도를 초과하는 경우, 상기 합성 깊이 맵을 생성하지 않도록 결정하고, 상기 제1 영상 및 상기 제2 영상에 기초하여 상기 제2 깊이 맵을 획득하도록 결정하는 단계를 포함하는 디지털 촬영 방법.
  43. ◈청구항 43은(는) 설정등록료 납부시 포기되었습니다.◈
    제40 항에 있어서, 상기 결정하는 단계는
    상기 촬영 모드가 원경 모드인 경우, 상기 합성 깊이 맵을 생성하지 않도록 결정하고, 상기 제1 영상 및 상기 제2 영상에 기초하여 상기 제2 깊이 맵을 획득하도록 결정하는 단계를 포함하는 디지털 촬영 방법.
  44. ◈청구항 44은(는) 설정등록료 납부시 포기되었습니다.◈
    제40 항에 있어서,
    상기 거리 정보를 획득하는 단계는 상기 피사체에 전자기파를 송신하고 반사된 상기 전자기파를 수신하여 상기 피사체에 대한 상기 거리 정보를 획득하는 단계를 포함하고,
    상기 결정하는 단계는 상기 촬영 모드가 원경 모드인 경우, 상기 거리 정보를 이용하여 상기 제1 깊이 맵을 획득하도록 결정하는 단계를 포함하는 디지털 촬영 방법.
  45. ◈청구항 45은(는) 설정등록료 납부시 포기되었습니다.◈
    제40 항에 있어서, 상기 결정하는 단계는
    상기 촬영 모드가 실내 근접 촬영 모드인 경우, 상기 합성 깊이 맵을 생성하도록 결정하는 단계를 포함하는 디지털 촬영 방법.
  46. ◈청구항 46은(는) 설정등록료 납부시 포기되었습니다.◈
    제40 항에 있어서, 상기 결정하는 단계는
    전력 모드에 기초하여 상기 합성 깊이 맵을 생성할지 여부를 결정하는 단계를 포함하는, 디지털 촬영 방법.
  47. ◈청구항 47은(는) 설정등록료 납부시 포기되었습니다.◈
    제24 항 내지 제39 항 중 어느 한 항에 기재된 전자 장치의 동작 방법을 실행시키기 위한 프로그램이 수록된, 컴퓨터 판독 가능 기록 매체.
KR1020150164841A 2015-11-24 2015-11-24 디지털 촬영 장치 및 그 동작 방법 Active KR102446442B1 (ko)

Priority Applications (12)

Application Number Priority Date Filing Date Title
KR1020150164841A KR102446442B1 (ko) 2015-11-24 2015-11-24 디지털 촬영 장치 및 그 동작 방법
US15/070,109 US20170150067A1 (en) 2015-11-24 2016-03-15 Digital photographing apparatus and method of operating the same
CN202111364762.6A CN114079734B (zh) 2015-11-24 2016-03-25 数字拍摄装置及其操作方法
CN202111255285.XA CN114040095B (zh) 2015-11-24 2016-03-25 数字拍摄装置及其操作方法
EP16868739.0A EP3335416B1 (en) 2015-11-24 2016-03-25 Digital photographing apparatus and method of operating the same
CN201680059536.8A CN108141539B (zh) 2015-11-24 2016-03-25 数字拍摄装置及其操作方法
EP21203355.9A EP3968625B1 (en) 2015-11-24 2016-03-25 Digital photographing apparatus and method of operating the same
PCT/KR2016/003036 WO2017090837A1 (en) 2015-11-24 2016-03-25 Digital photographing apparatus and method of operating the same
EP23172668.8A EP4228276A1 (en) 2015-11-24 2016-03-25 Digital photographing apparatus and method of operating the same
US17/347,660 US11496696B2 (en) 2015-11-24 2021-06-15 Digital photographing apparatus including a plurality of optical systems for acquiring images under different conditions and method of operating the same
KR1020220117251A KR102653850B1 (ko) 2015-11-24 2022-09-16 디지털 촬영 장치 및 그 동작 방법
US17/961,771 US12356106B2 (en) 2015-11-24 2022-10-07 Digital photographing apparatus including a plurality of optical systems for acquiring images under different conditions and method of operating the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150164841A KR102446442B1 (ko) 2015-11-24 2015-11-24 디지털 촬영 장치 및 그 동작 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220117251A Division KR102653850B1 (ko) 2015-11-24 2022-09-16 디지털 촬영 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20170060414A KR20170060414A (ko) 2017-06-01
KR102446442B1 true KR102446442B1 (ko) 2022-09-23

Family

ID=58721420

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020150164841A Active KR102446442B1 (ko) 2015-11-24 2015-11-24 디지털 촬영 장치 및 그 동작 방법
KR1020220117251A Active KR102653850B1 (ko) 2015-11-24 2022-09-16 디지털 촬영 장치 및 그 동작 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220117251A Active KR102653850B1 (ko) 2015-11-24 2022-09-16 디지털 촬영 장치 및 그 동작 방법

Country Status (5)

Country Link
US (3) US20170150067A1 (ko)
EP (3) EP3968625B1 (ko)
KR (2) KR102446442B1 (ko)
CN (3) CN108141539B (ko)
WO (1) WO2017090837A1 (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102114969B1 (ko) * 2015-06-08 2020-06-08 삼성전자주식회사 광학 장치 및 깊이 정보 생성 방법
CN206350069U (zh) * 2016-11-08 2017-07-21 聚晶半导体股份有限公司 摄像模块和摄像装置
US10142543B1 (en) * 2017-05-12 2018-11-27 Mediatek Inc. Power reduction in a multi-sensor camera device by on-demand sensors activation
KR102204596B1 (ko) * 2017-06-02 2021-01-19 삼성전자주식회사 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법
US10834310B2 (en) 2017-08-16 2020-11-10 Qualcomm Incorporated Multi-camera post-capture image processing
KR102344104B1 (ko) * 2017-08-22 2021-12-28 삼성전자주식회사 이미지의 표시 효과를 제어할 수 있는 전자 장치 및 영상 표시 방법
KR102338576B1 (ko) * 2017-08-22 2021-12-14 삼성전자주식회사 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법
US10404916B2 (en) 2017-08-30 2019-09-03 Qualcomm Incorporated Multi-source video stabilization
CN107835372A (zh) * 2017-11-30 2018-03-23 广东欧珀移动通信有限公司 基于双摄像头的成像方法、装置、移动终端和存储介质
US10721419B2 (en) * 2017-11-30 2020-07-21 International Business Machines Corporation Ortho-selfie distortion correction using multiple image sensors to synthesize a virtual image
US11347978B2 (en) 2018-02-07 2022-05-31 Sony Corporation Image processing apparatus, image processing method, and image processing system
KR102418852B1 (ko) 2018-02-14 2022-07-11 삼성전자주식회사 이미지 표시를 제어하는 전자 장치 및 방법
WO2019167363A1 (ja) * 2018-03-01 2019-09-06 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
CN110460783B (zh) * 2018-05-08 2021-01-26 宁波舜宇光电信息有限公司 阵列摄像模组及其图像处理系统、图像处理方法和电子设备
CN108737739B (zh) * 2018-06-15 2021-01-08 Oppo广东移动通信有限公司 一种预览画面采集方法、预览画面采集装置及电子设备
CN108833832B (zh) * 2018-06-20 2021-03-02 王学军 一种眼镜摄录仪及摄录方法
KR102525000B1 (ko) 2018-08-08 2023-04-24 삼성전자 주식회사 복수의 이미지들이 합성된 이미지를 깊이 정보에 기반하여 흐림 처리하는 전자 장치 및 상기 전자 장치의 구동 방법
CN110876000B (zh) * 2018-08-31 2024-07-12 北京小米移动软件有限公司 摄像头模组及图像修正方法、装置、电子设备、存储介质
CN109357628B (zh) * 2018-10-23 2024-06-21 合肥的卢深视科技有限公司 感兴趣区域的高精度三维图像采集方法及装置
KR102552923B1 (ko) * 2018-12-03 2023-07-10 삼성전자 주식회사 복수의 카메라들 또는 깊이 센서 중 적어도 하나를 이용하여 깊이 정보를 획득하는 전자 장치
CN110225247B (zh) * 2019-05-29 2021-06-15 联想(北京)有限公司 一种图像处理方法及电子设备
US11448503B2 (en) 2019-06-12 2022-09-20 Microsoft Technology Licensing, Llc Correction for pixel-to-pixel signal diffusion
CN110636294B (zh) * 2019-09-27 2024-04-09 腾讯科技（深圳）有限公司 视频解码方法及装置，视频编码方法及装置
CN111385453B (zh) * 2020-03-19 2020-12-29 深圳富视安智能科技有限公司 一种安防监控设备
CN112218065B (zh) * 2020-09-14 2022-05-10 深圳英飞拓科技股份有限公司 图像白平衡方法、系统、终端设备及存储介质
CN112422830B (zh) * 2020-11-19 2022-04-19 亿咖通(湖北)技术有限公司 获取车辆全景图像的方法及装置和计算机存储介质
CN114520870B (zh) * 2020-11-20 2023-06-20 华为技术有限公司 一种显示方法及终端
JP2022172978A (ja) * 2021-05-07 2022-11-17 シャープ株式会社 撮像装置
CN116939357A (zh) * 2022-04-02 2023-10-24 华为技术有限公司 微距拍摄方法、电子设备和计算机可读存储介质
US20250097574A1 (en) * 2022-05-20 2025-03-20 Beijing Xiaomi Mobile Software Co., Ltd. Photographing device and focus control method
CN115460343B (zh) * 2022-07-31 2023-06-13 荣耀终端有限公司 图像处理方法、设备及存储介质
JP2024168917A (ja) * 2023-05-25 2024-12-05 キヤノン株式会社 情報処理装置および撮像装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110122252A1 (en) * 2009-11-20 2011-05-26 Samsung Electronics Co., Ltd. Digital image processing apparatus and photographing method of digital image processing apparatus
US20130141539A1 (en) 2010-06-29 2013-06-06 Fujifilm Corporation Monocular stereoscopic imaging device
US20140092275A1 (en) * 2011-05-25 2014-04-03 Ricoh Company, Ltd. Imaging device

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003037757A (ja) * 2001-07-25 2003-02-07 Fuji Photo Film Co Ltd 画像撮像装置
JP4198449B2 (ja) * 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
US7839446B2 (en) * 2005-08-30 2010-11-23 Olympus Corporation Image capturing apparatus and image display apparatus including imparting distortion to a captured image
JP2007180730A (ja) * 2005-12-27 2007-07-12 Eastman Kodak Co デジタルカメラおよびデータ管理方法
CN101064773A (zh) * 2006-04-26 2007-10-31 杭州草莓资讯有限公司 多镜头实景合成数码照像机系统与方法
KR100749337B1 (ko) * 2006-06-13 2007-08-14 삼성전자주식회사 복수의 카메라렌즈를 구비한 이동통신단말기를 이용한 촬영방법 및 장치
US20080030592A1 (en) * 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
US7729602B2 (en) * 2007-03-09 2010-06-01 Eastman Kodak Company Camera using multiple lenses and image sensors operable in a default imaging mode
JP2009044403A (ja) * 2007-08-08 2009-02-26 Olympus Corp 撮像装置
KR101434564B1 (ko) * 2008-02-13 2014-08-29 삼성전자 주식회사 촬영 정보 자동 추출 시스템 및 방법
JP5197083B2 (ja) * 2008-03-21 2013-05-15 キヤノン株式会社 撮像装置及びその制御方法
JP2009276956A (ja) 2008-05-14 2009-11-26 Fujifilm Corp 画像処理装置および方法並びにプログラム
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP4513905B2 (ja) * 2008-06-27 2010-07-28 ソニー株式会社 信号処理装置、信号処理方法、プログラム及び記録媒体
US20100073499A1 (en) * 2008-09-25 2010-03-25 Apple Inc. Image capture using separate luminance and chrominance sensors
JP2012521673A (ja) * 2009-03-19 2012-09-13 フレクストロニクス エイピー エルエルシー デュアルセンサカメラ
US8164617B2 (en) 2009-03-25 2012-04-24 Cisco Technology, Inc. Combining views of a plurality of cameras for a video conferencing endpoint with a display wall
WO2011078244A1 (ja) * 2009-12-24 2011-06-30 シャープ株式会社 多眼撮像装置および多眼撮像方法
US8885978B2 (en) 2010-07-05 2014-11-11 Apple Inc. Operating a device to capture high dynamic range images
JP5445363B2 (ja) * 2010-07-08 2014-03-19 株式会社リコー 画像処理装置、画像処理方法および画像処理プログラム
KR101735612B1 (ko) * 2010-08-16 2017-05-15 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
DE102011008886A1 (de) 2011-01-19 2012-07-19 Sterrix Technologies UG (haftungsbeschränkt) Verfahren und Vorrichtung zur Stereobasis-Erweiterung von stereoskopischen Bildern und Bildfolgen
US20120200667A1 (en) 2011-02-08 2012-08-09 Gay Michael F Systems and methods to facilitate interactions with virtual content
JP5779959B2 (ja) * 2011-04-21 2015-09-16 株式会社リコー 撮像装置
US8760499B2 (en) * 2011-04-29 2014-06-24 Austin Russell Three-dimensional imager and projection device
SE1150505A1 (sv) * 2011-05-31 2012-12-01 Mobile Imaging In Sweden Ab Metod och anordning för tagning av bilder
US9270875B2 (en) * 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
US9392295B2 (en) 2011-07-20 2016-07-12 Broadcom Corporation Adaptable media processing architectures
US9491441B2 (en) * 2011-08-30 2016-11-08 Microsoft Technology Licensing, Llc Method to extend laser depth map range
JP5968107B2 (ja) * 2011-09-01 2016-08-10 キヤノン株式会社 画像処理方法、画像処理装置およびプログラム
KR102002165B1 (ko) 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
JP5612780B2 (ja) * 2011-11-08 2014-10-22 富士フイルム株式会社 撮像装置およびその制御方法
US9137511B1 (en) * 2011-12-15 2015-09-15 Rawles Llc 3D modeling with depth camera and surface normals
TWI510056B (zh) * 2011-12-27 2015-11-21 Hon Hai Prec Ind Co Ltd 3d成像模組及3d成像方法
JP5667726B2 (ja) 2012-04-10 2015-02-12 富士フイルム株式会社 レンズ交換式カメラ及びファインダの表示方法
US8619082B1 (en) * 2012-08-21 2013-12-31 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras that contain occlusions using subsets of images to perform depth estimation
KR101966976B1 (ko) * 2012-09-03 2019-04-08 엘지이노텍 주식회사 3차원 영상처리 시스템
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
KR101954192B1 (ko) * 2012-11-15 2019-03-05 엘지전자 주식회사 어레이 카메라, 휴대 단말기 및 그 동작 방법
CN116405747A (zh) * 2012-11-28 2023-07-07 核心光电有限公司 多孔径成像系统以及通过多孔径成像系统获取图像的方法
CN103034020B (zh) * 2012-12-12 2015-09-02 广东欧珀移动通信有限公司 拍摄视角共享装置、移动终端和方法
US8913138B2 (en) * 2012-12-21 2014-12-16 Technologies Humanware Inc. Handheld magnification device with a two-camera module
KR102013331B1 (ko) * 2013-02-23 2019-10-21 삼성전자 주식회사 듀얼 카메라를 구비하는 휴대 단말기의 이미지 합성 장치 및 방법
EP2979445A4 (en) * 2013-03-27 2016-08-10 Bae Sys Inf & Elect Sys Integ ELECTROOPTICAL FUSION ZOOM CAMERA WITH SEVERAL VIEW FIELDS AND MULTIPLE SENSORS
US9742973B2 (en) * 2013-08-08 2017-08-22 Sony Corporation Array camera design with dedicated Bayer camera
KR20150028066A (ko) * 2013-09-05 2015-03-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9294662B2 (en) * 2013-10-16 2016-03-22 Broadcom Corporation Depth map generation and post-capture focusing
US20150116529A1 (en) * 2013-10-28 2015-04-30 Htc Corporation Automatic effect method for photography and electronic apparatus
EP3066690A4 (en) 2013-11-07 2017-04-05 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
US9154697B2 (en) * 2013-12-06 2015-10-06 Google Inc. Camera selection based on occlusion of field of view
US9402018B2 (en) * 2013-12-17 2016-07-26 Amazon Technologies, Inc. Distributing processing for imaging processing
JP6284408B2 (ja) * 2014-04-03 2018-02-28 オリンパス株式会社 画像処理装置、撮像装置、判定方法、駆動方法、撮像方法およびプログラム
JP2015204516A (ja) * 2014-04-14 2015-11-16 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
CN105095117B (zh) * 2014-04-29 2018-06-01 国基电子（上海）有限公司 电子装置及其切换摄像模块的方法
US9350924B2 (en) * 2014-08-25 2016-05-24 John G. Posa Portable electronic devices with integrated image/video compositing
US10142533B2 (en) * 2015-03-27 2018-11-27 Intel Corporation Technologies for controlling user access to image sensors of a camera device
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US9743007B2 (en) * 2015-04-23 2017-08-22 Altek Semiconductor Corp. Lens module array, image sensing device and fusing method for digital zoomed images
KR102352682B1 (ko) 2015-06-23 2022-01-18 삼성전자주식회사 디지털 촬영 장치 및 그 동작 방법
US10291842B2 (en) 2015-06-23 2019-05-14 Samsung Electronics Co., Ltd. Digital photographing apparatus and method of operating the same
US9749543B2 (en) * 2015-07-21 2017-08-29 Lg Electronics Inc. Mobile terminal having two cameras and method for storing images taken by two cameras

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110122252A1 (en) * 2009-11-20 2011-05-26 Samsung Electronics Co., Ltd. Digital image processing apparatus and photographing method of digital image processing apparatus
US20130141539A1 (en) 2010-06-29 2013-06-06 Fujifilm Corporation Monocular stereoscopic imaging device
US20140092275A1 (en) * 2011-05-25 2014-04-03 Ricoh Company, Ltd. Imaging device

Also Published As

Publication number Publication date
EP3335416A1 (en) 2018-06-20
CN114079734A (zh) 2022-02-22
EP4228276A1 (en) 2023-08-16
EP3335416B1 (en) 2022-04-27
EP3968625A1 (en) 2022-03-16
US20170150067A1 (en) 2017-05-25
KR20170060414A (ko) 2017-06-01
WO2017090837A1 (en) 2017-06-01
US11496696B2 (en) 2022-11-08
EP3968625B1 (en) 2023-07-05
CN114079734B (zh) 2023-07-04
CN108141539A (zh) 2018-06-08
CN114040095B (zh) 2023-08-01
KR102653850B1 (ko) 2024-04-02
US12356106B2 (en) 2025-07-08
KR20220130652A (ko) 2022-09-27
CN114040095A (zh) 2022-02-11
US20230037167A1 (en) 2023-02-02
EP3335416A4 (en) 2018-08-15
US20210314499A1 (en) 2021-10-07
CN108141539B (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
KR102653850B1 (ko) 디지털 촬영 장치 및 그 동작 방법
CN107690649B (zh) 数字拍摄装置及其操作方法
KR102429427B1 (ko) 촬영 장치 및 그 동작 방법
KR102352682B1 (ko) 디지털 촬영 장치 및 그 동작 방법
US20170150126A1 (en) Photographing device and operating method of the same
US20170034403A1 (en) Method of imaging moving object and imaging device
KR20170009089A (ko) 사용자의 제스쳐를 이용하여 기능을 제어하는 방법 및 촬영 장치.
KR20170060411A (ko) 피사체의 근접 여부에 따라 촬영 장치를 제어하는 방법 및 촬영 장치.
CN115004685B (zh) 电子装置和用于在电子装置处显示图像的方法
KR20170011876A (ko) 영상 처리 장치 및 그 동작 방법
KR102368625B1 (ko) 디지털 촬영 장치 및 그 방법
KR102494696B1 (ko) 영상을 생성하는 방법 및 디바이스.

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20151124

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20201027

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20151124

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210621

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20211219

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220618

PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20220916

Patent event code: PA01071R01D

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220919

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220920

End annual number: 3

Start annual number: 1

PG1601 Publication of registration