[go: up one dir, main page]

KR102619738B1 - 신호 처리 장치 및 촬상 장치 - Google Patents

신호 처리 장치 및 촬상 장치 Download PDF

Info

Publication number
KR102619738B1
KR102619738B1 KR1020187020687A KR20187020687A KR102619738B1 KR 102619738 B1 KR102619738 B1 KR 102619738B1 KR 1020187020687 A KR1020187020687 A KR 1020187020687A KR 20187020687 A KR20187020687 A KR 20187020687A KR 102619738 B1 KR102619738 B1 KR 102619738B1
Authority
KR
South Korea
Prior art keywords
raw data
imaging
imaging device
unit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020187020687A
Other languages
English (en)
Other versions
KR20180117598A (ko
Inventor
히로아키 야마죠
마사유키 타치
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20180117598A publication Critical patent/KR20180117598A/ko
Application granted granted Critical
Publication of KR102619738B1 publication Critical patent/KR102619738B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/18—Motion-picture cameras
    • G03B19/22—Double cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 개시의 한 실시의 형태의 신호 처리 장치는, 위치맞춤부 및 합성부를 구비하고 있다. 위치맞춤부는, 화각이 서로 다른 2개의 RAW 데이터에 의거하여, 2개의 RAW 데이터의 위치맞춤 데이터를 생성한다. 합성부는, 위치맞춤부에 의해 생성된 위치맞춤 데이터에 의거하여 2개의 RAW 데이터를 서로 합성한다.

Description

신호 처리 장치 및 촬상 장치
본 개시는, 신호 처리 장치 및 촬상 장치에 관한 것이다.
종래로부터, 2개의 촬상 장치를 이용하여, 고시야(高視野)이면서 고해상도의 화상을 촬상하는 촬상 시스템이 제안되어 있다(예를 들면, 특허 문헌 1 참조).
특허 문헌 1 : 일본국 특개2003-134375호 공보
많은 스틸 카메라나 비디오 카메라 등에서는, 단판식(單板式)의 이미지 센서가 사용된다. 단판식의 이미지 센서를 구비한 촬상 장치에서는, 화소마다 RGB 어느 하나의 색정보가 설정된 RAW 데이터(모자이크 데이터)가 생성되고, 생성된 RAW 데이터에 대해 디모자이크 처리가 이루어진 것이 화상 데이터로서 출력된다. 화상 데이터는, 화소마다 RGB 모든 색정보가 설정되어 있고, 예를 들면, JPEG나 TIFF 등의 범용 화상 포맷으로 되어 있다.
특허 문헌 1에 기재된 2개의 촬상 장치에서, 단판식의 이미지 센서가 사용되고, 화소마다 RGB 모든 색정보가 설정된 화상 데이터가 출력되는 경우에는, 촬상 장치마다, 디모자이크 처리가 행하여진다. 또한, 특허 문헌 1에 기재된 발명에서는, 디모자이크 처리가 이루어진 화상 데이터끼리를 합성하는 처리가 행하여진다. 그때문에, 화소마다의 색정보가 많음에 기인하여 처리 비용이나 소비 전력이 매우 커진다는 문제가 있다. 처리 비용이나 소비 전력을 저감하는 것의 가능한 신호 처리 장치 및 촬상 장치를 제공하는 것이 바람직하다.
본 개시의 한 실시의 형태의 제1의 신호 처리 장치는, 위치맞춤부 및 합성부를 구비하고 있다. 위치맞춤부는, 화각(畵角)이 서로 다른 2개의 RAW 데이터에 의거하여, 2개의 RAW 데이터의 위치맞춤 데이터를 생성한다. 합성부는, 위치맞춤부에 의해 생성된 위치맞춤 데이터에 의거하여 2개의 RAW 데이터를 서로 합성한다.
본 개시의 한 실시의 형태의 제1의 촬상 장치는, 각각에서 화각이 서로 다른 RAW 데이터를 생성하는 2개의 촬상 디바이스를 구비하고 있다. 제1의 촬상 장치는, 또한, 위치맞춤부 및 합성부를 구비하고 있다. 제1의 촬상 장치에 마련된 위치맞춤부는, 각각의 촬상 디바이스에 의해 생성된 2개의 RAW 데이터에 의거하여, 2개의 RAW 데이터의 위치맞춤 데이터를 생성한다. 제1의 촬상 장치에 마련된 합성부는, 위치맞춤부에 의해 생성된 위치맞춤 데이터에 의거하여 2개의 RAW 데이터를 서로 합성한다.
본 개시의 한 실시의 형태의 제1의 신호 처리 장치 및 제1의 촬상 장치에서는, 화각이 서로 다른 2개의 RAW 데이터에 의거하여 생성된 위치맞춤 데이터에 의거하여, 2개의 RAW 데이터가 서로 합성된다. 이에 의해, 디모자이크 처리가 행하여지기 전의 RAW 데이터의 단계에서 합성이 행하여지기 때문에, 디모자이크 처리 후의 화상 데이터에 비하여, 화소마다의 색정보가 적고, 합성을 위해 필요한 연산량이 억제된다.
본 개시의 한 실시의 형태의 제2의 신호 처리 장치는, 위치맞춤부 및 합성부를 구비하고 있다. 위치맞춤부는, 화각이 서로 다른 3개 이상의 RAW 데이터에 의거하여, 3개 이상의 RAW 데이터의 위치맞춤 데이터를 생성한다. 합성부는, 위치맞춤부에 의해 생성된 위치맞춤 데이터에 의거하여 3개 이상의 RAW 데이터를 서로 합성한다.
본 개시의 한 실시의 형태의 제2의 촬상 장치는, 각각에서 화각이 서로 다른 RAW 데이터를 생성하는 3개 이상의 촬상 디바이스를 구비하고 있다. 제2의 촬상 장치는, 또한, 위치맞춤부 및 합성부를 구비하고 있다. 제2의 촬상 장치에 마련된 위치맞춤부는, 각각의 촬상 디바이스에 의해 생성된 3개 이상의 RAW 데이터에 의거하여, 3개 이상의 RAW 데이터의 위치맞춤 데이터를 생성한다. 제2의 촬상 장치에 마련된 합성부는, 위치맞춤부에 의해 생성된 위치맞춤 데이터에 의거하여 3개 이상의 RAW 데이터를 서로 합성한다.
본 개시의 한 실시의 형태의 제2의 신호 처리 장치 및 제2의 촬상 장치에서는, 화각이 서로 다른 3개 이상의 RAW 데이터에 의거하여 생성된 위치맞춤 데이터에 의거하여, 3개 이상의 RAW 데이터가 서로 합성된다. 이에 의해, 디모자이크 처리가 행하여지기 전의 RAW 데이터의 단계에서 합성이 행하여지기 때문에, 디모자이크 처리 후의 화상 데이터에 비하여, 화소마다의 색정보가 적고, 합성을 위해 필요한 연산량이 억제된다.
본 개시의 한 실시의 형태의 제1 및 제2의 신호 처리 장치 및 제1 및 제2의 촬상 장치에 의하면, 디모자이크 처리가 행하여지기 전의 RAW 데이터의 단계에서 합성을 행하도록 하였기 때문에, 디모자이크 처리의 회수를 1회로 줄일 수 있다. 또한, 합성 대상인 RAW 데이터는, 종래의 합성 대상인 컬러 화상 데이터에 비하여, 화소마다의 색정보가 적기 때문에, 합성을 위해 필요한 연산량을 억제할 수 있다. 따라서, 디모자이크 처리 및 합성 처리에 필요로 하는 처리 비용이나 소비 전력을 저감할 수 있다. 또한, 본 개시의 효과는, 여기에 기재된 효과로 반드시는 한정되지 않고, 본 명세서 중에 기재된 어느 하나의 효과라도 좋다.
도 1은 본 개시의 한 실시의 형태에 관한 촬상 장치의 개략 구성의 한 예를 도시하는 도면.
도 2는 촬상 장치의 개략 구성의 한 예를 도시하는 도면.
도 3은 도 1, 도 2의 촬상 장치의 기능 블록의 한 예를 도시하는 도면.
도 4는 도 3의 촬상 소자에서의 화소 배열의 한 예를 도시하는 도면.
도 5는 도 3의 합성 처리부에서의 신호 처리의 개념의 한 예를 도시하는 도면.
도 6은 도 3의 합성 처리부의 기능 블록의 한 예를 도시하는 도면.
도 7은 도 6의 합성 처리부에서의 신호 처리 순서의 한 예를 도시하는 도면.
도 8은 화소 보간의 한 예를 도시하는 도면.
도 9는 중심 화소가 G화소일 때의 보간 필터의 한 예를 도시하는 도면.
도 10은 중심 화소가 R화소, B화소일 때의 보간 필터의 한 예를 도시하는 도면.
도 11은 도 6의 퓨전부의 내부 구성의 한 예를 도시하는 도면.
도 12는 도 6의 퓨전부의 내부 구성의 한 예를 도시하는 도면.
도 13은 도 6의 LPF부의 내부 구성의 한 예를 도시하는 도면.
도 14는 도 13의 LPF부의 내부에 병렬 배치된 복수의 LPF부 중의 하나의 필터의 한 예를 도시하는 도면.
도 15는 도 13의 LPF부의 내부에 병렬 배치된 복수의 LPF부 중의 하나의 필터의 한 예를 도시하는 도면.
도 16A는 도 6의 상관 처리부에서의 상관 처리의 한 예를 도시하는 도면.
도 16B는 도 6의 상관 처리부에서의 상관 처리의 한 예를 도시하는 도면.
도 17은 도 1의 촬상 장치의 개략 구성의 한 변형례를 도시하는 도면.
도 18은 도 1의 촬상 장치의 기능 블록의 한 변형례를 도시하는 도면.
도 19는 도 18의 합성 처리부의 기능 블록의 한 예를 도시하는 도면.
도 20은 종래의 촬상 장치의 기능 블록의 한 예를 도시하는 도면.
이하, 본 개시를 실시하기 위한 형태에 관해, 도면을 참조하여 상세히 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 실시의 형태
2. 변형례
<1. 실시의 형태>
[구성]
도 1, 도 2는, 본 개시의 한 실시의 형태에 관한 촬상 장치(1)의 개략 구성의 한 예를 도시한 것이다. 촬상 장치(1)는, 2개의 촬상 디바이스(10, 20)를 이용하여, 화각이 넓은, 고해상도의 화상을 얻거나, 기계적인 줌 기구를 이용하지 않고서 광학 줌을 행하거나 하는 것이다.
2개의 촬상 디바이스(10, 20)는, 예를 들면, 물리적인 배치가 서로 수평하게 되도록 배치되어 있다. 촬상 디바이스(10)의 광축(AX1)과, 촬상 디바이스(20)의 광축(AX2)은, 예를 들면, 도 1에 도시한 바와 같이, 서로 평행하게 되어 있다. 광축(AX1)과, 광축(AX2)은, 예를 들면, 도 2에 도시한 바와 같이, 서로 비평행하게 되어 있어도 좋다. 이때, 광축(AX1) 및 광축(AX2)은, 촬상 장치(1)로부터 떨어짐에 따라 광축(AX1)과 광축(AX2)과의 간극이 좁아지는 방향을 향하고 있는 것이 바람직하다.
도 1, 도 2에 도시한 바와 같이, 촬상 디바이스(20)는, 촬상 디바이스(10)의 촬상 영역(R1) 중 외연(外緣)을 제외한 영역을 촬상 영역(R2)으로 하고 있다. 2개의 촬상 디바이스(10, 20)는, 각각에서 화각이 서로 다른 RAW 데이터(Iraw1, Iraw2)를 생성한다. 촬상 디바이스(10)는, 상대적으로 화각이 넓은 RAW 데이터(Iraw1)(제1 RAW 데이터)를 촬상에 의해 생성한다. 촬상 디바이스(20)는, RAW 데이터(Iraw1)보다도 화각이 좁은 RAW 데이터(Iraw2)(제2 RAW 데이터)를 촬상에 의해 생성한다. RAW 데이터(Iraw1, Iraw2)에 관해서는, 후에 상세히 기술한다.
도 3은, 촬상 장치(1)의 기능 블록의 한 예를 도시한 것이다. 촬상 장치(1)는, 예를 들면, 2개의 촬상 디바이스(10, 20), 신호 처리부(30)(신호 처리 장치) 및 제어부(40)를 구비하고 있다. 제어부(40)는, 2개의 촬상 디바이스(10, 20) 및 신호 처리부(30)를 제어한다.
(촬상 디바이스(10))
촬상 디바이스(10)는, 예를 들면, 촬상 소자(11) 및 광학 렌즈(12)를 갖고 있다. 광학 렌즈(12)는, 피사체광(L1)을 집광하여, 촬상 소자(11)의 광입사면에 입사시킨다. 광학 렌즈(12)는, 예를 들면, 촬상 디바이스(10)에서 고정되어 있다. 이때, 촬상 디바이스(10)의 초점 거리가 일정치로 고정되어 있다. 촬상 디바이스(10)는, 또한, 예를 들면, 아이리스나 가변 광학 LPF를, 촬상 소자(11)의 광입사면측에 갖고 있어도 좋다. 촬상 소자(11)에 관해서는 후술한다.
(촬상 디바이스(20))
촬상 디바이스(20)는, 예를 들면, 촬상 소자(21) 및 광학 렌즈(22)를 갖고 있다. 광학 렌즈(12)는, 피사체광(L2)을 집광하여, 촬상 소자(21)의 광입사면에 입사시킨다. 광학 렌즈(22)는, 예를 들면, 촬상 디바이스(20)에서 고정되어 있다. 이때, 촬상 디바이스(20)의 초점 거리가 일정치로 고정되어 있다. 촬상 디바이스(20)는, 또한, 예를 들면, 아이리스나 가변 광학 LPF를, 촬상 소자(21)의 광입사면측에 갖고 있어도 좋다.
(촬상 소자(11, 21))
다음에, 촬상 소자(11, 21)에 관해 설명한다. 촬상 소자(11, 21)는, 예를 들면, 복수의 광전 변환 소자가 소정의 간격으로 2차원 배치된 수광부와, 수광부의 광입사면에 배치된 컬러 필터 어레이를 갖고 있다. 촬상 소자(11, 21)는, 단판식의 고체 촬상 소자이고, 예를 들면, 단판식의 CCD(charge Coupled Device) 이미지 센서나, 단판식의 CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서에 의해 구성되어 있다. 촬상 소자(11, 21)에서, 컬러 필터 어레이는, 예를 들면, 도 4에 도시한 바와 같이, RGB 배열로 이루어지는 베이어 배열로 되어 있다. 또한, 컬러 필터 어레이는, 예를 들면, RGBW 배열로 되어 있어도 좋고, Y(옐로), C(시안), M(마젠타) 등의 배열로 되어 있어도 좋다. 또한, 이하에서는, 컬러 필터 어레이가, RGB 배열로 이루어지는 베이어 배열로 되어 있는 경우를 예로 하여 설명한다.
촬상 소자(11, 21)는, 예를 들면, 렌즈(12, 22) 등을 경유하여 입사하여 온 피사체광(L1, L2)을, 수광부 및 컬러 필터 어레이로 이산적으로 샘플링함에 의해, RAW 데이터(Iraw1, Iraw2)를 생성한다. 촬상 소자(11)는, 상대적으로 화각이 넓은 RAW 데이터(Iraw1)를 생성한다. 예를 들면, 촬상 디바이스(10)의 초점 거리를 상대적으로 짧게 함에 의해, 화각이 상대적으로 넓은 RAW 데이터(Iraw1)가 얻어진. 촬상 소자(21)는, RAW 데이터(Iraw1)보다도 화각이 좁은 RAW 데이터(Iraw2)를 생성한다. 예를 들면, 촬상 디바이스(10)의 초점 거리를 상대적으로 길게 함에 의해, 화각이 상대적으로 좁은 RAW 데이터(Iraw2)가 얻어진다.
RAW 데이터(Iraw1, Iraw2)는, 각각, 컬러 필터 어레이에 포함되는 복수종류의 색정보 중의 어느 한 종류의 색정보가 화소마다 설정된 모자이크 데이터이다. 컬러 필터 어레이가, RGB 배열로 이루어지는 베이어 배열로 되어 있는 경우에는, RAW 데이터(Iraw1, Iraw2)는, 컬러 필터 어레이에 포함되는 적색 정보, 녹색 정보 및 청색 정보 중의 어느 한 종류의 색정보가 화소마다 설정된 모자이크 데이터로 되어 있다. RAW 데이터(Iraw1, Iraw2)로부터 컬러 화상 데이터(Icol)를 생성하기 위해서는, 모든 화소에 관해 모든 색정보를, RAW 데이터(Iraw1, Iraw2)로부터 생성하는 디모자이크 처리가 필요해진다. 본 실시의 형태에서는, 디모자이크 처리를 행하기 전의 RAW 데이터(Iraw1, Iraw2)에서 합성이 행하여진다. RAW 데이터(Iraw1, Iraw2)의 합성에 관해서는, 후에 상세히 기술한다.
(신호 처리부(30))
다음에, 신호 처리부(30)에 관해 설명한다. 신호 처리부(30)는, 예를 들면, 도 3에 도시한 바와 같이, 합성 처리부(31) 및 카메라 신호 처리부(32)를 갖고 있다. 합성 처리부(31)는, 각각의 촬상 디바이스(10, 20)에 의해 생성된 2개의 RAW 데이터(Iraw1, Iraw2)를 서로 합성함에 의해, 합성 RAW 데이터(Iraw)를 생성한다. 카메라 신호 처리부(32)는, 합성 처리부(31)에서 생성된 합성 RAW 데이터(Iraw)에 대해 디모자이크 처리를 행함에 의해, 컬러 화상 데이터(Icol)를 생성한다. 컬러 화상 데이터(Icol)는, 예를 들면, 컬러 필터 어레이에 포함되는 모든 종류의 색정보를 화소마다 포함하여 구성되어 있다. 컬러 필터 어레이가 RGB의 베이어 배열로 되어 있는 경우에는, 컬러 화상 데이터(Icol)는, 예를 들면, 화소마다 RGB의 색정보를 포함하여 구성되어 있다.
도 5는, 합성 처리부(31)에서의 신호 처리의 개념의 한 예를 도시한 것이다. 도 5는, 합성 처리부(31)에서의 신호 처리의 알기 쉬움이 우선되어 있는 관계로, 간결한 설명으로 되어 있다. 그때문에, 도 5에서는, 상기한 부호와는 다른 부호가 이용되고 있다.
합성 처리부(31)는, 촬상 디바이스(10)로부터 와이드 화상 데이터(Iwide)를 취득하고, 촬상 디바이스(20)로부터 텔레 화상 데이터(Itele)를 취득한다. 텔레 화상 데이터(Itele)에서는, 와이드 화상 데이터(Iwide)에 비하여, 화각이 작게 되어 있다. 텔레 화상 데이터(Itele)는, 와이드 화상 데이터(Iwide)의 외연을 제외한 소정의 영역(α)과 대응하고 있다. 합성 처리부(31)는, 촬상 디바이스(10, 20)의 배율과, 와이드 화상 데이터(Iwide) 및 텔레 화상 데이터(Itele)의 화상 사이즈에 의거하여, 소정의 영역(α)을 설정한다.
합성 처리부(31)는, 와이드 화상 데이터(Iwide)로부터, 소정의 영역(α)을 절출함에 의해, 와이드 화상 데이터(Iwide')를 생성한다. 합성 처리부(31)는, 촬상 디바이스(10, 20)의 배율에 의거하여, 텔레 화상 데이터(Itele)를 축소함에 의해, 텔레 화상 데이터(Itele')를 생성한다. 합성 처리부(31)는, 와이드 화상 데이터(Iwide')와 텔레 화상 데이터(Itele')를 서로 합성함에 의해, 합성 화상 데이터(Ifusion)를 생성한다. 촬상 디바이스(10)의 배율이 1배로 되어 있고, 촬상 디바이스(20)의 배율이 2배로 되어 있다고 한다. 이때, 합성 처리부(31)는, 예를 들면, 유저에 의해 지정된 배율이 1배일 때에는, 와이드 화상 데이터(Iwide)를, 합성 RAW 데이터(Iraw)로서 출력한다. 합성 처리부(31)는, 예를 들면, 유저에 의해 지정된 배율이 2배 이상일 때에는, 텔레 화상 데이터(Itele)를 유저에 의해 지정된 배율로\에 확대한 것을, 합성 RAW 데이터(Iraw)로서 출력한다. 합성 처리부(31)는, 예를 들면, 유저에 의해 지정된 배율이 1배∼2배일 때에는, 와이드 화상 데이터(Iwide)에서, 소정의 영역(α)을 합성 화상 데이터(Ifusion)로 치환하는 것(합성 화상 데이터(Imerge))를, 합성 RAW 데이터(Iraw)로서 출력한다.
또한, 실제로는, 와이드 화상 데이터(Iwide')와, 텔레 화상 데이터(Itele')에는, 시차에 기인한 위치 어긋남이나, 촬상 디바이스(10, 20) 사이의 감도(感度) 차이 및 노광 차이가 있는 경우가 있다. 합성 화상 데이터(Ifusion)에는, 촬상 디바이스(10, 20)의 나이퀴스트 주파수를 초과하는 고주파 성분이 포함되어 있는 경우도 있다. 원래, 와이드 화상 데이터(Iwide')나 텔레 화상 데이터(Itele')는 모자이크 데이터이기 때문에, 와이드 화상 데이터(Iwide')와 텔레 화상 데이터(Itele')를 서로 정밀도 좋게 합성하기 위해서는, 와이드 화상 데이터(Iwide')나 텔레 화상 데이터(Itele')에 대해 화소 보간을 행하는 것이 바람직하다. 따라서, 합성 처리부(31)는, 와이드 화상 데이터(Iwide')나 텔레 화상 데이터(Itele')에 대해, 이하에 나타내는 바와 같은 각종의 신호 처리를 행하는 것이 바람직하다.
도 6은, 합성 처리부(31)의 기능 블록의 한 예를 도시한 것이다. 도 7은, 합성 처리부(31)에서의 신호 처리 순서의 한 예를 도시한 것이다.
합성 처리부(31)는, 위치맞춤부(130) 및 합성부(140)를 갖고 있다. 위치맞춤부(130)는, 각각의 촬상 디바이스(10, 20)에 의해 생성된 2개의 RAW 데이터(Iraw1, Iraw2)에 의거하여, 2개의 RAW 데이터(Iraw1, Iraw2)의 위치맞춤 데이터를 생성한다. 합성부(140)는, 위치맞춤부(130)에 의해 생성된 위치맞춤 데이터에 의거하여 2개의 RAW 데이터(Iraw1, Iraw2)를 서로 합성한다.
위치맞춤부(130)는, 예를 들면, 절출부(131), 게인 보정부(132), 화소 보정부(133, 134), 축소부(135) 및 시차 산출부(136)를 갖고 있다.
절출부(131)는, RAW 데이터(Iraw1)에서, RAW 데이터(Iraw2)와의 합성을 행하는 퓨전 영역(β)(도 5의 영역(α)에 상당)을 지정한다. 구체적으로는, 절출부(131)는, 촬상 디바이스(10, 20)의 배율과, RAW 데이터(Iraw1, Iraw2)의 화상 사이즈에 의거하여, 퓨전 영역(β)을 지정한다. 절출부(131)는, 예를 들면, 촬상 디바이스(10, 20)의 배율과, RAW 데이터(Iraw1, Iraw2)의 화상 사이즈에 의거하여, RAW 데이터(Iraw1)에서의, 퓨전 영역(β)의 좌표를 지정한다. 절출부(131)는, 예를 들면, 지정한 좌표에 의거하여, 퓨전 영역(β)에 대응하는 RAW 데이터(Iraw1a)를, RAW 데이터(Iraw1)로부터 절출한다(스텝 S101).
또한, 합성 처리부(31)는, RAW 데이터(Iraw1a) 및 RAW 데이터(Iraw2)에 대해, OPB(Optical Black) 감산을 행하여도 좋다. OPB 감산이란, 암전류 등에 기인하여 생기는 노이즈 성분을 제외하는 것을 가리키고 있다. 합성 처리부(31)는, 예를 들면, RAW 데이터(Iraw1a, Iraw2)로부터, 촬상 디바이스(10, 20)가 차광되어 있을 때에 생기는 노이즈 성분을 제외하여도 좋다. 이때, 노이즈 성분의 제외에 의해, RAW 데이터(Iraw1a, Iraw2)에서의 값이 부(負)가 되는 화소가 있는 경우에는, 합성 처리부(31)는, 그 화소의 좌표를 기억하여 둔다.
게인 보정부(132)는, RAW 데이터(Iraw1a, Iraw2)에서의 색정보마다의 게인비(예를 들면, RGB 게인비)를 산출한다. 게인 보정부(132)는, 예를 들면, RAW 데이터(Iraw1a) 내의 평균치를 색정보마다 산출함과 함께, RAW 데이터(Iraw2) 내의 평균치를 색정보마다 산출한다. 게인 보정부(132)는, 예를 들면, RAW 데이터(Iraw1a, Iraw2)에서의, 색정보마다의 평균치의 비로부터, 보정 게인을 색정보마다 산출한다. 게인 보정부(132)는, 산출한 보정 게인에 의거하여, RAW 데이터(Iraw2)를 보정하고(스텝 S102), 이에 의해, RAW 데이터(Iraw2a)를 생성한다.
화소 보정부(133)는, RAW 데이터(Iraw1a)에 포함되는 소정 종류의 색정보(예를 들면, 녹색 정보)에 의거하여, RAW 데이터(Iraw1a)에 포함되는 모든 화소의 보간을 행함에 의해, 위치맞춤 데이터로서, 소정 종류의 색정보(예를 들면, 녹색 정보)로 이루어지는 보간 RAW 데이터(Iraw1b)를 생성한다(스텝 S103). 화소 보정부(134)는, RAW 데이터(Iraw2a)에 포함되는 소정 종류의 색정보(예를 들면, 녹색 정보)에 의거하여, RAW 데이터(Iraw2a)에 포함되는 모든 화소의 보간을 행함에 의해, 위치맞춤 데이터로서, 소정 종류의 색정보(예를 들면, 녹색 정보)로 이루어지는 보간 RAW 데이터(Iraw2b)를 생성한다.
화소 보정부(133)는, 예를 들면, 도 8에 도시한 바와 같이, RGB 배열로 이루어지는 베이어 배열을 갖는 RAW 데이터(Iraw1a)로부터, 녹색 정보로 이루어지는 보간 RAW 데이터(Iraw1b)를 생성한다. 화소 보정부(133)는, 또한, 예를 들면, 도 8에 도시한 바와 같이, RGB 배열로 이루어지는 베이어 배열을 갖는 RAW 데이터(Iraw2a)로부터, 녹색 정보로 이루어지는 보간 RAW 데이터(Iraw2b)를 생성한다. 이때, 중심 화소(보간 대상의 화소)가 G화소일 때에는, 화소 보정부(133)는, 예를 들면, 도 9에 도시한 바와 같은 보간 필터(F)를 이용하여, 중심 화소의 녹색 정보를 보정한다. 또한, 중심 화소(보간 대상의 화소)가 R화소 또는 B화소일 때에는, 화소 보정부(133)는, 중심 화소의 색정보를, 예를 들면, 도 10에 도시한 바와 같은 보간 필터(F)를 이용하여 생성한 녹색 정보로 치환한다.
축소부(135)는, 촬상 디바이스(10, 20)의 배율에 의거하여, 보간 RAW 데이터(Iraw2b)를 축소한다(스텝 S104). 시차 산출부(136)는, 보간 RAW 데이터(Iraw1b, Iraw2c)에 의거하여, 위치맞춤 데이터로서의 시차 정보(Disp)를 산출한다(스텝 S105). 시차 정보(Disp)는, 촬상 디바이스(10)와 촬상 디바이스(20)의 위치가 서로 일치하지 않음으로써 생기는 화상상의 위치 어긋남량에 상당하는 것이다. 시차 산출부(136)는, 예를 들면, 2개의 화상 사이에서의 움직임 벡터 추정법 등을 이용하여, 보간 RAW 데이터(Iraw1b, Iraw2c)로부터 시차 정보(Disp)를 생성한다.
합성부(140)는, 예를 들면, 퓨전부(141), LPF부(142), 상관 처리부(143), 머지부(144) 및 선택부(145)를 갖고 있다.
퓨전부(141)는, 2개의 보간 RAW 데이터(Iraw1b, Iraw2c)를 합성함에 의해 합성 RAW 데이터(Iraw3a)를 생성한다(스텝 S106). 구체적으로는, 퓨전부(141)는, 시차 정보(Disp)에 의거하여 2개의 보간 RAW 데이터(Iraw1b, Iraw2c)를 합성함에 의해 합성 RAW 데이터(Iraw3a)를 생성하는
도 11은, 퓨전부(141)의 내부 구성의 한 예를 도시한 것이다. 퓨전부(141)는, 예를 들면, LPF부(141A), HPF(141B), 시차 보정부(141C) 및 중첩부(141D)를 갖고 있다. LPF부(141A)는, 보간 RAW 데이터(Iraw1b)에서의 저주파 성분을 추출함에 의해, 보간 RAW 데이터(Iraw1c)를 생성한다. HPF(141B)는, 보간 RAW 데이터(Iraw2c)에서의 고주파 성분을 추출함에 의해, 보간 RAW 데이터(Iraw2d)를 생성한다. 시차 보정부(141C)는, 시차 정보(Disp) 의거하여 보간 RAW 데이터(Iraw2d)를 보정함에 의해, 보간 RAW 데이터(Iraw2e)를 생성한다. 중첩 부(141D)는, 보간 RAW 데이터(Iraw1c)에, 보간 RAW 데이터(Iraw2e)를 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)를 생성한다.
또한, 퓨전부(141)는, 예를 들면, 도 12에 도시한 바와 같이, 보간 RAW 데이터(Iraw1c)에, 보간 RAW 데이터(Iraw2e)를 서로 더할 때에, 보간 RAW 데이터(Iraw2e)에 대해 맵 처리를 행하는 맵 처리부(141E)를 갖고 있어도 좋다. 맵으로서는, 예를 들면, 퓨전 결과나 입력 신호, 시차 정보(Disp)로부터 퓨전이 실패하기 쉬운 개소를 검출하여, 퓨전 신뢰도를 생성한다. 본 맵을 사용하여 신뢰도가 낮은 부분은 퓨전 효과를 약하게 함으로써 퓨전의 실패를 최종 결과에 검지하기 어렵게 할 수 있다. 또한, 후술하는 상관 처리부(143)에 의해 생성되는 RAW 데이터(Iraw3c)와, RAW 데이터(Iraw1)를 서로 합성한 때에, RAW 데이터(Iraw3c)와, RAW 데이터(Iraw1)의 경계에서 해상도의 변화를 매끈하게 하기 위해서도 맵을 이용하여도 좋다. 이 경우, 맵의 형상은 합성 데이터의 외연에 근접함에 따라 단계적으로 퓨전 효과를 약하게 하는 형상을 갖는다.
LPF부(142)는, 합성 RAW 데이터(Iraw3a)에 포함되는, 각 촬상 디바이스(10, 20)의 나이퀴스트 주파수를 초과하는 고주파 성분을 감쇠시킴에 의해, 합성 RAW 데이터(Iraw3b)를 생성한다(스텝 S107). 이에 의해, 위색의 발생이 억제된다. 도 13은, LPF부(142)의 내부 구성의 한 예를 도시한 것이다. LPF부(142)는, 예를 들면, 컷오프 주파수가 서로 다른 복수의 LPF가 병렬 배치된 구성으로 되어 있다. LPF부(142)는, 예를 들면, LPF(142A) 및 게인부(142D)가 직렬 접속되어 이루어지는 제1 패스(P1)와, LPF(142B) 및 게인부(142E)가 직렬 접속되어 이루어지는 제2 패스(P2)와, 게인부(142C)만이 마련된 제3 패스(P3)를 갖고 있다. LPF(142A)는, 예를 들면, 도 14에 도시한 바와 같이, 촬상 디바이스(10)의 나이퀴스트 주파수(Nyq1)를 컷오프 주파수로 함과 함께, 컷오프 주파수에 근접함에 따라 감쇠율이 높아지는 필터 특성으로 되어 있다. LPF(142B)는, 예를 들면, 도 15에 도시한 바와 같이, 촬상 디바이스(10)의 나이퀴스트 주파수(Nyq1)와, 촬상 디바이스(20)의 나이퀴스트 주파수(Nyq2) 사이의 주파수를 컷오프 주파수로 함과 함께, 컷오프 주파수에 근접함에 따라 감쇠율이 높아지는 필터 특성으로 되어 있다. 이에 의해, LPF부(142)에서는, LPF부(142A) 및 LPF(142B)의 선택에 의해, 고역의 감쇠에 대해 강약을 조정할 수 있다.
제1 패스(P1), 제2 패스(P2) 및 제3 패스(P3)는, 서로 병렬로 접속되어 있다. LPF부(142)는, 제어부(40)로부터의 제어 신호에 따라, 게인부(142C, 142D, 142E)의 각각의 게인이 서로 독립적으로 설정되도록 구성되어 있다. 따라서, 예를 들면, 게인부(142C, 142D)의 게인이 제로가 되고, 게인부(142E)의 게인이 1이 되도록, LPF부(142)에 대해 제어 신호가 입력된 경우에는, LPF부(142)는, LPF부(142B)로서 기능한다. 또한, 예를 들면, 게인부(142C)의 게인이 제로가 되고, 게인부(142D, 142E)의 게인이 1이 되도록, LPF부(142)에 대해 제어 신호가 입력된 경우에는, LPF부(142)는, 서로 병렬 배치된 LPF부(142A, 142B)로서 기능한다.
상관 처리부(143)는, 합성 RAW 데이터(Iraw3a) 또는 합성 RAW 데이터(Iraw3a)에 소정의 처리를 행하는 것(합성 RAW 데이터(Iraw3b))에 대해, 상관 처리를 행한다(스텝 S108). 상관 처리부(143)는, 예를 들면, 도 16A에 도시한 바와 같이, 합성 RAW 데이터(Iraw3a) 또는 합성 RAW 데이터(Iraw3b)에 대해, RAW 데이터(Iraw1)와 보간 RAW 데이터(Iraw1b)와의 차분인 색차 성분(Iraw1-Iraw1b)을 부가한다. 상관 처리에는 색비(色比)를 이용하는 것도 가능하다. 상관 처리부(143)는, 예를 들면, 도 16B에 도시한 바와 같이, 합성 RAW 데이터(Iraw3a) 또는 합성 RAW 데이터(Iraw3b)에 대해, RAW 데이터(Iraw1)와 보간 RAW 데이터(Iraw1b)와의 비인 색비 성분(Iraw1/Iraw1b)을 곱하여도 좋다. 이에 의해, 상관 처리부(143)는, RAW 데이터(Iraw1, Iraw2)의 배열에 대응하는 배열의 RAW 데이터(Iraw3c)(제3 RAW 데이터)를 생성한다.
머지부(144)는, RAW 데이터(Irawa1)와, RAW 데이터(Iraw3c)를 서로 합성함에 의해, 디모자이크 처리용의 RAW 데이터(Iraw3d)(제4 RAW 데이터)를 생성한다(스텝 S109). 이때, 머지부(144)는, 예를 들면, RAW 데이터(Iraw3c)의 주연(周緣)에, 색정보 제로의 액자형상의 영역을 마련함에 의해, RAW 데이터(Iraw3c)의 화상 사이즈를, RAW 데이터(Irawa1)의 화상 사이즈로 정돈한다. 계속해서, 머지부(144)는, 예를 들면, RAW 데이터(Irawa1) 중의 퓨전 영역(α)의 색정보를 제로로 한다. 또한, 머지부(144)는, 예를 들면, RAW 데이터(Irawa1)에, RAW 데이터(Irawa1)의 화상 사이즈로 정돈한 RAW 데이터(Iraw3c)를 서로 더한다. 즉, 머지부(144)는, 예를 들면, RAW 데이터(Irawa1) 중의 퓨전 영역(α)을, RAW 데이터(Iraw3c)로 치환한다.
또한, 합성 처리부(31)가 OPB 감산을 행하는 경우에는, 머지부(144)는, 합성 처리를 행하기 전에, OPB 감산에 의해 제외한 노이즈 성분을, 부호도 고려하고 나서, RAW 데이터(Iraw3c)에 가산하여도 좋다.
선택부(145)는, 유저에 의해 지정된 배율에 응하여, 출력하는 합성 RAW 데이터(Iraw)를 선택한다. 촬상 디바이스(10)의 배율이 1배로 되어 있고, 촬상 디바이스(20)의 배율이 2배로 되어 있다고 한다. 이때, 선택부(145)는, 예를 들면, 유저에 의해 지정된 배율이 1배일 때에는, RAW 데이터(Iraw1)를, 합성 RAW 데이터(Iraw)로서 출력한다. 합성 처리부(31)는, 예를 들면, 유저에 의해 지정된 배율이 2배 이상일 때에는, RAW 데이터(Iraw2)를 유저에 의해 지정된 배율로 확대한 것을, 합성 RAW 데이터(Iraw)로서 출력한다. 합성 처리부(31)는, 예를 들면, 유저에 의해 지정된 배율이 1배∼2배일 때에는, RAW 데이터(Iraw3d)를, 합성 RAW 데이터(Iraw)로서 출력한다.
[효과]
다음에, 촬상 장치(1)의 효과에 관해 설명한다.
도 20은, 종래의 촬상 장치(200)의 기능 블록의 한 예를 도시한 것이다. 촬상 장치(200)는, 2대의 촬상 디바이스(210, 220)를 구비하고 있다. 촬상 장치(200)는, 촬상 디바이스(210)에서 얻어진 RAW 데이터(Iraw1)를 컬러 화상 데이터(Icol1)로 변환하는 카메라 신호 처리부(230)와, 촬상 디바이스(220)에서 얻어진 RAW 데이터(Iraw2)를 컬러 화상 데이터(Icol2)로 변환하는 카메라 신호 처리부(240)를 구비하고 있다. 촬상 장치(200)는, 또한, 카메라 신호 처리부(230, 240)에서 얻어진 컬러 화상 데이터(Icol1, Icol2)를 서로 합성함에 의해, 컬러 화상 데이터(Icol3)을 생성한다. 이와 같이, 종래의 촬상 장치(200)에서는, 컬러 화상화(디모자이크 처리)가 촬상 디바이스(210, 220)마다 행하여짐과 함께, 컬러 화상화(디모자이크 처리)가 이루어진 후에, 화상 합성이 이루어진다. 그때문에, 화소마다의 색정보의 많음에 기인하여 처리 비용이나 소비 전력이 매우 커진다는 문제가 있다.
한편, 본 실시의 형태에서는, 화각이 서로 다른 2개의 RAW 데이터(Iraw1, Iraw2)에 의거하여 생성된 위치맞춤 데이터에 의거하여, 2개의 RAW 데이터(Iraw1, Iraw2)가 서로 합성된다. 즉, 본 실시의 형태에서는, 디모자이크 처리가 행하여지기 전의 RAW 데이터의 단계에서 합성이 행하여지기 때문에, 디모자이크 처리의 회수를 1회로 줄일 수 있다. 또한, 본 실시의 형태에서의 합성 대상인 RAW 데이터(Iraw1, Iraw2)는, 종래의 합성 대상인 컬러 화상 데이터(Icol1, Icol2)와 비교하여, 화소마다의 색정보가 적기 때문에, 합성을 위해 필요한 연산량을 억제할 수 있다. 따라서, 디모자이크 처리 및 합성 처리에 필요로 하는 처리 비용이나 소비 전력을 저감할 수 있다.
또한, 본 실시의 형태에서는, 합성 처리부(31)로부터는 RAW 데이터(Iraw)가 출력된다. 이에 의해, 합성 처리부(31)의 후단인 카메라 신호 처리부(32)에는, 종전의 카메라 신호 처리부(230) 등을, 개변(改變)을 가하지 않고서 그대로 이용할 수도 있다. 즉, 본 실시의 형태에서는, 카메라 신호 처리부(32)에 대해, 단일한 촬상 디바이스의 RAW 출력에 대한, 디모자이크 처리 이후의 처리 구성에 일체의 변경을 행하지 않는 것을 적용할 수 있다. 따라서, 본 실시의 형태에서는, 단일한 촬상 디바이스를 사용한 때와 같은 간편함으로, 디모자이크 처리 및 합성 처리에 필요로 하는 처리 비용이나 소비 전력을 저감할 수 있다.
또한, 본 실시의 형태에서는, 촬상 디바이스(10)의 촬상 영역(R1) 중 외연을 제외한 영역이 촬상 디바이스(20)의 촬상 영역(R2)으로 되어 있다. 또한, 본 실시의 형태에서는, 상대적으로 화각이 넓은 RAW 데이터(Iraw1)와, RAW 데이터(Iraw1)보다도 화각이 좁은 RAW 데이터(Iraw2)가 촬상 디바이스(10, 20)에 의해 생성된다. 이에 의해, 합성 RAW 데이터(Iraw) 중 외연을 제외한 소정의 영역(퓨전 영역(β))과, RAW 데이터(Iraw2)가 서로 합성된다. 환언하면, 테두리형상의 RAW 데이터(Iraw1)에, RAW 데이터(Iraw2)가 감입(嵌入)된다. 그 결과, 2개의 촬상 디바이스(10, 20)를 이용하여, 화각이 넓은, 고해상도의 화상을 얻거나, 기계적인 줌 기구를 이용하지 않고서 광학 줌을 행하거나 할 수 있다.
또한, 본 실시의 형태에서는, RAW 데이터(Iraw1, Iraw2)에 포함되는 소정 종류의 색정보에 의거하여, RAW 데이터(Iraw1, Iraw2)에 포함되는 모든 화소의 보간이 행하여진다. 이에 의해, RAW 데이터(Iraw1, Iraw2)에 대해 디모자이크 처리를 행하고 나서 합성 처리를 행하는 때와 같은 정도의 정밀도로, 합성 처리를 행할 수가 있다.
또한, 본 실시의 형태에서는, 2개의 RAW 데이터(Iraw1, Iraw2)로부터 생성한 2개의 보간 RAW 데이터(Iraw1b, Iraw2b)에 의거하여, 위치맞춤 데이터로서의 시차 정보(Disp)가 생성된다. 이에 의해, 시차 정보(Disp)를 이용함에 의해, 보간 RAW 데이터(Iraw1b)와 보간 RAW 데이터(Iraw2c)의 합성 정밀도를 높게할 수 있다.
또한, 본 실시의 형태에서는, 합성 RAW 데이터(Iraw3a)에 포함되는, 각 촬상 디바이스(10, 20)의 나이퀴스트 주파수를 초과하는 고주파 성분이 LPF(142)에 의해 감쇠된다. 이에 의해, RAW 데이터(Irawa1)와, RAW 데이터(Iraw3c)를 서로 합성한 때에, 위색의 발생을 억제할 수 있다. 또한, 본 실시의 형태에서는, LPF부(142A) 및 LPF(142B)가 병렬 배치되어 있고, 또한, LPF부(142A) 및 LPF(142B)의 어느 일방을 선택할 수 있다. 이에 의해, LPF부(142A) 및 LPF(142B)의 선택에 의해, 고역(高域)의 감쇠에 대해 강약을 조정할 수 있다.
또한, 본 실시의 형태에서는, 합성 RAW 데이터(Iraw3c) 또는 합성 RAW 데이터(Iraw3a)에 소정의 처리를 행하는 것(합성 RAW 데이터(Iraw3b))에 대해, 색차 성분(Iraw1-Iraw1b)이 부가된다. 이와 같이, 본 실시의 형태에서는, 색정보를 적게 하여 합성 처리가 행하여진 후에, 합성 RAW 데이터(Iraw3c) 또는 합성 RAW 데이터(Iraw3b)에 대해, 잃어버렸던 색정보가 되돌아온다. 따라서, 본 실시의 형태에서는, 합성 처리에 필요로 하는 처리 비용이나 소비 전력을 저감하면서, 합성 정밀도를 높게할 수 있다.
또한, 본 실시의 형태에서는, RAW 데이터(Iraw1)와, RAW 데이터(Iraw3c)를 서로 합성함에 의해 생성한 RAW 데이터(Iraw3d)에 대해 디모자이크 처리가 행하여진다. 이와 같이, 본 실시의 형태에서는, RAW 데이터로의 합성이 이루어진 후에 디모자이크 처리가 행하여지기 때문에, 디모자이크 처리가 행하여진 후에 합성이 이루어지는 경우에 비하여, 처리 비용이나 소비 전력을 저감할 수 있다.
<2. 변형례>
다음에, 상기 실시의 형태의 촬상 장치(1)의 변형례에 관해 설명한다.
상기 실시의 형태에서는, 촬상 장치(1)는 2개의 촬상 디바이스(10, 20)를 구비하고 있지만, 3개 이상의 촬상 디바이스를 구비하고 있어도 좋다. 예를 들면, 도 17, 도 18에 도시한 바와 같이, 촬상 장치(1)는 3개의 촬상 디바이스(10, 20, 50)를 구비하고 있어도 좋다. 3개의 촬상 디바이스(10, 20, 50)는, 예를 들면, 물리적인 배치가 서로 수평하게 되도록 배치되어 있다. 촬상 디바이스(10)의 광축(AX1)과, 촬상 디바이스(20)의 광축(AX2)과, 촬상 디바이스(50)의 광축(AX3)은, 예를 들면, 도 17에 도시한 바와 같이, 서로 비평행하게 되어 있다. 이때, 광축(AX1, AX2, AX3)은, 촬상 장치(1)로부터 떨어짐에 따라 광축(AX1, AX2, AX3)의 각각의 간극이 서로 좁아지는 방향을 향하고 있는 것이 바람직하다. 광축(AX1, AX2, AX3)은, 서로 평행하게 되어 있어도 좋다.
본 변형례에서는, 위치맞춤부(130)는, 각각의 촬상 디바이스(10, 20)에 의해 생성된 3개 이상의 RAW 데이터(Iraw1, Iraw2, Iraw4)에 의거하여, 3개 이상의 RAW 데이터(Iraw1, Iraw2, Iraw4)의 위치맞춤 데이터를 생성한다. 합성부(140)는, 위치맞춤부(130)에 의해 생성된 위치맞춤 데이터에 의거하여 3개 이상의 RAW 데이터(Iraw1, Iraw2, Iraw4)를 서로 합성한다.
본 변형례에서는, 촬상 디바이스(20)는, 촬상 디바이스(10)의 촬상 영역(R1) 중 외연을 제외한 영역을 촬상 영역(R2)으로 하고 있다. 촬상 디바이스(50)는, 촬상 소자(51) 및 광학 렌즈(52)를 갖고 있고, 촬상 디바이스(20)의 촬상 영역(R2) 중 외연을 제외한 영역을 촬상 영역(R3)으로 하고 있다. 3개의 촬상 디바이스(10, 20, 50)는, 각각에서 화각이 서로 다른 RAW 데이터(Iraw1, Iraw2, Iraw4)를 생성한다. 촬상 디바이스(10)는, 가장 화각이 넓은 RAW 데이터(Iraw1)(제1 RAW 데이터)를 촬상에 의해 생성한다. 촬상 디바이스(20)는, RAW 데이터(Iraw1)보다도 화각이 좁은 RAW 데이터(Iraw2)(제2 RAW 데이터)를 촬상에 의해 생성한다. 촬상 디바이스(50)는, RAW 데이터(Iraw2)보다도 화각이 좁은 RAW 데이터(Iraw4)(제3 RAW 데이터)를 촬상에 의해 생성한다.
본 변형례에서는, 합성 처리부(31)는, RAW 데이터(Iraw1) 중 외연을 제외한 소정의 영역과, RAW 데이터(Irawa2)와의 합성과, RAW 데이터(Irawa2) 중 외연을 제외한 소정의 영역과, RAW 데이터(Iraw4)와의 합성을 행한다.
도 19는, 본 변형례에서의 합성 처리부(31)의 기능 블록의 한 예를 도시한 것이다. 본 변형례에서는, 위치맞춤부(130)는, RAW 데이터(Iraw3)용의 신호 처리 블록을 갖고 있고, 예를 들면, 게인 보정부(137), 화소 보정부(138) 및 축소부(139)를 갖고 있다.
게인 보정부(137)는, RAW 데이터(Iraw2, Iraw3)에서의 색정보마다의 게인비(예를 들면, RGB 게인비)를 산출한다. 게인 보정부(137)는, 예를 들면, RAW 데이터(Iraw2) 내의 평균치를 색정보마다 산출함과 함께, RAW 데이터(Iraw3) 내의 평균치를 색정보마다 산출한다. 게인 보정부(137)는, 예를 들면, RAW 데이터(Iraw2, Iraw3)에서의, 색정보마다의 평균치의 비로부터, 보정 게인을 색정보마다 산출한다. 게인 보정부(137)는, 산출한 보정 게인에 의거하여, RAW 데이터(Iraw3)를 보정하고, 이에 의해, RAW 데이터(Iraw4a)를 생성한다.
화소 보정부(138)는, RAW 데이터(Iraw4a)에 포함되는 소정 종류의 색정보(예를 들면, 녹색 정보)에 의거하여, RAW 데이터(Iraw4a)에 포함되는 모든 화소의 보간을 행함에 의해, 위치맞춤 데이터로서, 소정 종류의 색정보(예를 들면, 녹색 정보)로 이루어지는 보간 RAW 데이터(Iraw4b)를 생성한다. 화소 보정부(138)는, RAW 데이터(Iraw4a)에 포함되는 소정 종류의 색정보(예를 들면, 녹색 정보)에 의거하여, RAW 데이터(Iraw4a)에 포함되는 모든 화소의 보간을 행함에 의해, 위치맞춤 데이터로서, 소정 종류의 색정보(예를 들면, 녹색 정보)로 이루어지는 보간 RAW 데이터(Iraw4b)를 생성한다.
화소 보정부(138)는, 예를 들면, 도 8에 도시한 바와 같이, RGB 배열로 이루어지는 베이어 배열을 갖는 RAW 데이터(Iraw4a)로부터, 녹색 정보로 이루어지는 보간 RAW 데이터(Iraw4b)를 생성한다. 이때, 중심 화소(보간 대상의 화소)가 G화소일 때에는, 화소 보정부(138)는, 예를 들면, 도 9에 도시한 바와 같은 보간 필터(F)를 이용하여, 중심 화소의 녹색 정보를 보정한다. 또한, 중심 화소(보간 대상의 화소)가 R화소 또는 B화소일 때에는, 화소 보정부(133)는, 중심 화소의 색정보를, 예를 들면, 도 10에 도시한 바와 같은 보간 필터(F)를 이용하여 생성한 녹색 정보로 치환한다.
축소부(139)는, 촬상 디바이스(20, 30)의 배율에 의거하여, 보간 RAW 데이터(Iraw4b)를 축소한다. 시차 산출부(136)는, 보간 RAW 데이터(Iraw1b, Iraw2c, Iraw4c)에 의거하여, 위치맞춤 데이터로서의 시차 정보(Disp)를 산출한다. 시차 정보(Disp)는, 촬상 디바이스(10)와 촬상 디바이스(20)와의 위치가 서로 일치하지 않음으로써 생기는 화상상의 위치 어긋남량과, 촬상 디바이스(20)와 촬상 디바이스(30)와의 위치가 서로 일치하지 않음으로써 생기는 화상상의 위치 어긋남량에 상당하는 것이다. 시차 산출부(136)는, 예를 들면, 2개의 화상 사이에서의 움직임 벡터 추정법 등을 이용하여, 보간 RAW 데이터(Iraw1b, Iraw2c, Iraw4c)로부터 시차 정보(Disp)를 생성한다.
본 변형례에서는, 퓨전부(141)는, 2개의 보간 RAW 데이터(Iraw1b, Iraw2c)를 합성함과 함께, 2개의 보간 RAW 데이터(Iraw2c, Iraw4c)를 합성함에 의해 합성 RAW 데이터(Iraw3a)를 생성한다. 구체적으로는, 퓨전부(141)는, 시차 정보(Disp)에 의거하여, 2개의 보간 RAW 데이터(Iraw1b, Iraw2c)를 합성함과 함께, 2개의 보간 RAW 데이터(Iraw2c, Iraw4c)를 합성함에 의해 합성 RAW 데이터(Iraw3a)를 생성한다.
본 변형례에서는, 화각이 서로 다른 2개의 RAW 데이터(Iraw1, Iraw2)에 의거하여 생성된 위치맞춤 데이터에 의거하여, 2개의 RAW 데이터(Iraw1, Iraw2)가 서로 합성된다. 또한, 화각이 서로 다른 2개의 RAW 데이터(Iraw2, Iraw4)에 의거하여 생성된 위치맞춤 데이터에 의거하여, 2개의 RAW 데이터(Iraw2, Iraw4)가 서로 합성된다. 즉, 본 실시의 형태에서는, 디모자이크 처리가 행하여지기 전의 RAW 데이터의 단계에서 합성이 행하여지기 때문에, 디모자이크 처리의 회수를 줄일 수 있다. 또한, 본 실시의 형태에서의 합성 대상인 RAW 데이터(Iraw1, Iraw2, Iraw4)는, 종래의 합성 대상인 컬러 화상 데이터에 비하여, 화소마다의 색정보가 적다. 따라서, 디모자이크 처리 및 합성 처리에 필요로 하는 처리 비용이나 소비 전력을 저감할 수 있다.
또한, 본 변형례에서는, 촬상 디바이스(10)의 촬상 영역(R1) 중 외연을 제외한 영역이 촬상 디바이스(20)의 촬상 영역(R2)으로 되어 있고, 촬상 디바이스(20)의 촬상 영역(R2) 중 외연을 제외한 영역이 촬상 디바이스(50)의 촬상 영역(R3)으로 되어 있다. 또한, 본 변형례에서는, 상대적으로 화각이 넓은 RAW 데이터(Iraw1)와, RAW 데이터(Iraw1)보다도 화각이 좁은 RAW 데이터(Iraw2)와, RAW 데이터(Iraw2)보다도 화각이 좁은 RAW 데이터(Iraw4)가 촬상 디바이스(10, 20, 50)에 의해 생성된다. 이에 의해, 합성 RAW 데이터(Iraw) 중 외연을 제외한 소정의 영역(퓨전 영역(β))과, RAW 데이터(Iraw2)가 서로 합성된다. 또한, RAW 데이터(Iraw2) 중 외연을 제외한 소정의 영역과, RAW 데이터(Iraw4)가 서로 합성된다. 환언하면, 테두리형상의 RAW 데이터(Iraw1)에, RAW 데이터(Iraw2)가 감입됨과 함께, 테두리형상의 RAW 데이터(Iraw2)에, RAW 데이터(Iraw4)가 감입된다. 그 결과, 3개의 촬상 디바이스(10, 20, 50)를 이용하여, 화각이 넓은, 고해상도의 화상을 얻거나, 기계적인 줌 기구를 이용하지 않고서 광학 줌을 행하거나 할 수 있다.
이상, 실시의 형태 및 그 변형례를 들어 본 개시를 설명하였지만, 본 개시는 상기 실시의 형태 등으로 한정되는 것이 아니고, 여러가지 변형이 가능하다. 또한, 본 명세서중에 기재된 효과는, 어디까지나 예시이다. 본 개시의 효과는, 본 명세서 중에 기재된 효과로 한정되는 것이 아니다. 본 개시가, 본 명세서 중에 기재된 효과 이외의 효과를 갖고 있어도 좋다.
또한, 예를 들면, 본 개시는 이하와 같은 구성을 취할 수 있다.
(1)
각각에서 화각이 서로 다른 RAW 데이터를 생성하는 2개의 촬상 디바이스와,
각각의 상기 촬상 디바이스에 의해 생성된 2개의 상기 RAW 데이터에 의거하여, 2개의 상기 RAW 데이터의 위치맞춤 데이터를 생성하는 위치맞춤부와,
상기 위치맞춤부에 의해 생성된 상기 위치맞춤 데이터에 의거하여 2개의 상기 RAW 데이터를 서로 합성하는 합성부를 구비한 촬상 장치.
(2)
2개의 상기 RAW 데이터는, 상대적으로 화각이 넓은 제1 RAW 데이터와, 상기 제1 RAW 데이터보다도 화각이 좁은 제2 RAW 데이터로 이루어지고,
2개의 상기 촬상 디바이스 중의 일방의 제1 촬상 디바이스는, 촬상에 의해 상기 제1 RAW 데이터를 생성하고,
2개의 상기 촬상 디바이스 중의 타방의 제2 촬상 디바이스는, 상기 제1 촬상 디바이스의 촬상 영역 중 외연을 제외한 영역을 촬상 영역으로 하고 있고, 촬상에 의해 상기 제2 RAW 데이터를 생성하는 (1)에 기재된 촬상 장치.
(3)
상기 합성부는, 상기 제1 RAW 데이터 중 외연을 제외한 소정의 영역과, 상기 제2 RAW 데이터를 서로 합성하는 (2)에 기재된 촬상 장치.
(4)
상기 위치맞춤부는, 상기 RAW 데이터에 포함되는 소정 종류의 색정보에 의거하여, 상기 RAW 데이터에 포함되는 모든 화소의 보간을 행함에 의해, 상기 위치맞춤 데이터로서, 상기 소정 종류의 색정보로 이루어지는 보간 RAW 데이터를 생성하는 (1) 내지 (3)의 어느 하나에 기재된 촬상 장치.
(5)
상기 위치맞춤부는, 2개의 상기 RAW 데이터로부터 생성한 2개의 상기 보간 RAW 데이터에 의거하여, 상기 위치맞춤 데이터로서의 시차 정보를 생성하는 (4)에 기재된 촬상 장치.
(6)
상기 합성부는, 상기 시차 정보에 의거하여 2개의 상기 보간 RAW 데이터를 합성함에 의해 합성 RAW 데이터를 생성하는 (5)에 기재된 촬상 장치.
(7)
상기 합성부는, 상기 합성 RAW 데이터에 포함되는, 각 상기 촬상 디바이스의 나이퀴스트 주파수를 초과하는 고주파 성분을 감쇠시키는 (6)에 기재된 촬상 장치.
(8)
상기 합성부는, 2개의 상기 보간 RAW 데이터를 합성함에 의해 합성 RAW 데이터를 생성한 후, 상기 합성 RAW 데이터에 포함되는, 각 상기 촬상 디바이스의 나이퀴스트 주파수를 초과하는 고주파 성분을 감쇠시키는 (4)에 기재된 촬상 장치.
(9)
상기 합성부는, 상기 합성 RAW 데이터 또는 상기 합성 RAW 데이터에 소정의 처리를 행하는 것에 대해, 상기 제1 RAW 데이터와, 상기 제1 RAW 데이터로부터 생성한 상기 보간 RAW 데이터와의 차분인 색차 성분을 부가하든지, 또는, 상기 제1 RAW 데이터와 상기 보간 RAW 데이터와의 비인 색비 성분을 곱함에 의해, 상기 RAW 데이터의 배열에 대응하는 배열의 제3 RAW 데이터를 생성하는 (4)에 기재된 촬상 장치.
(10)
상기 합성부는, 상기 제1 RAW 데이터와, 상기 제3 RAW 데이터를 서로 합성함에 의해, 디모자이크 처리용의 제4 RAW 데이터를 생성하는 (9)에 기재된 촬상 장치.
(11)
상기 제4 RAW 데이터에 대해 디모자이크 처리를 행하는 카메라 신호 처리부를 더욱 구비한 (10)에 기재된 촬상 장치.
(12)
각각에서 화각이 서로 다른 RAW 데이터를 생성하는 3개 이상의 촬상 디바이스와,
각각의 상기 촬상 디바이스에 의해 생성된 3개 이상의 상기 RAW 데이터에 의거하여, 3개 이상의 상기 RAW 데이터의 위치맞춤 데이터를 생성하는 위치맞춤부와,
상기 위치맞춤부에 의해 생성된 상기 위치맞춤 데이터에 의거하여 3개 이상의 상기 RAW 데이터를 서로 합성하는 합성부를 구비한 촬상 장치.
(13)
3개 이상의 상기 RAW 데이터는, 가장 화각이 넓은 제1 RAW 데이터와, 상기 제1 RAW 데이터보다도 화각이 좁은 제2 RAW 데이터와, 상기 제2 RAW 데이터보다도 화각이 좁은 제3 RAW 데이터를 포함하고,
3개 이상의 상기 촬상 디바이스 중의 하나인 제1 촬상 디바이스는, 촬상에 의해 상기 제1 RAW 데이터를 생성하는 제1 촬상 소자를 가지며,
3개 이상의 상기 촬상 디바이스 중 상기 제1 촬상 디바이스와는 다른 제2 촬상 디바이스는, 상기 제1 촬상 디바이스의 촬상 영역 중 외연을 제외한 영역을 촬상 영역으로 하고 있고, 촬상에 의해 상기 제2 RAW 데이터를 생성하고,
3개 이상의 상기 촬상 디바이스 중 상기 제1 촬상 디바이스 및 상기 제2 촬상 디바이스와는 다른 제3 촬상 디바이스는, 상기 제2 촬상 디바이스의 촬상 영역 중 외연을 제외한 영역을 촬상 영역으로 하고 있고, 촬상에 의해 상기 제3 RAW 데이터를 생성하는 (12)에 기재된 촬상 장치.
(14)
상기 합성부는, 상기 제1 RAW 데이터 중 외연을 제외한 소정의 영역과, 상기 제2 RAW 데이터와의 합성과, 상기 제2 RAW 데이터 중 외연을 제외한 소정의 영역과, 상기 제3 RAW 데이터와의 합성을 행하는 (13)에 기재된 촬상 장치.
(15)
화각이 서로 다른 2개의 RAW 데이터에 의거하여, 2개의 상기 RAW 데이터의 위치맞춤 데이터를 생성하는 위치맞춤부와,
상기 위치맞춤부에 의해 생성된 상기 위치맞춤 데이터에 의거하여 2개의 상기 RAW 데이터를 서로 합성하는 합성부를 구비한 신호 처리 장치.
(16)
2개의 상기 RAW 데이터는, 상대적으로 화각이 넓은 제1 RAW 데이터와, 상기 제1 RAW 데이터보다도 화각이 좁은 제2 RAW 데이터로 이루어지고,
상기 합성부는, 상기 제1 RAW 데이터 중 외연을 제외한 소정의 영역과, 상기 제2 RAW 데이터를 서로 합성하는 (15)에 기재된 신호 처리 장치.
(17)
화각이 서로 다른 3개 이상의 RAW 데이터에 의거하여, 3개 이상의 상기 RAW 데이터의 위치맞춤 데이터를 생성하는 위치맞춤부와,
상기 위치맞춤부에 의해 생성된 상기 위치맞춤 데이터에 의거하여 3개 이상의 상기 RAW 데이터를 서로 합성하는 합성부를 구비한 신호 처리 장치.
(18)
3개 이상의 상기 RAW 데이터는, 가장 화각이 넓은 제1 RAW 데이터와, 상기 제1 RAW 데이터보다도 화각이 좁은 제2 RAW 데이터와, 상기 제2 RAW 데이터보다도 화각이 좁은 제3 RAW 데이터를 포함하고,
상기 합성부는, 상기 제1 RAW 데이터 중 외연을 제외한 소정의 영역과, 상기 제2 RAW 데이터와의 합성과, 상기 제2 RAW 데이터 중 외연을 제외한 소정의 영역과, 상기 제3 RAW 데이터와의 합성을 행하는 (17)에 기재된 신호 처리 장치.
본 출원은, 일본 특허청에서 2016년 3월 4일에 출원된 일본 특허출원 번호 제2016-041718호를 기초로 하여 우선권을 주장하는 것이고, 이 출원의 모든 내용을 참조에 의해 본 출원에 원용한다.
당업자라면, 설계상의 요건이나 다른 요인에 응하여, 여러가지의 수정, 콤비네이션, 서브 콤비네이션, 및 변경을 상도할 수 있는데, 그들은 첨부한 청구의 범위나 그 균등물의 범위에 포함되는 것으로 이해된다.

Claims (18)

  1. 각각에서 화각이 서로 다른 RAW 데이터를 생성하는 2개의 촬상 디바이스와,
    각각의 상기 촬상 디바이스에 의해 생성된 2개의 상기 RAW 데이터에 의거하여, 2개의 상기 RAW 데이터의 위치맞춤 데이터를 생성하는 위치맞춤부와,
    상기 위치맞춤부에 의해 생성된 상기 위치맞춤 데이터에 의거하여 2개의 상기 RAW 데이터를 서로 합성하는 합성부를 구비하며,
    2개의 상기 RAW 데이터는, 상대적으로 화각이 넓은 제1 RAW 데이터와, 상기 제1 RAW 데이터보다도 화각이 좁은 제2 RAW 데이터로 이루어지고,
    2개의 상기 촬상 디바이스 중의 일방의 제1 촬상 디바이스는, 촬상에 의해 상기 제1 RAW 데이터를 생성하고,
    2개의 상기 촬상 디바이스 중의 타방의 제2 촬상 디바이스는, 상기 제1 촬상 디바이스의 촬상 영역 중 외연을 제외한 영역을 촬상 영역으로 하고 있고, 촬상에 의해 상기 제2 RAW 데이터를 생성하는 것을 특징으로 하는 촬상 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 합성부는, 상기 제1 RAW 데이터 중 외연을 제외한 소정의 영역과, 상기 제2 RAW 데이터를 서로 합성하는 것을 특징으로 하는 촬상 장치.
  4. 제1항에 있어서,
    상기 위치맞춤부는, 상기 RAW 데이터에 포함되는 소정 종류의 색정보에 의거하여, 상기 RAW 데이터에 포함되는 모든 화소의 보간을 행함에 의해, 상기 위치맞춤 데이터로서, 상기 소정 종류의 색정보로 이루어지는 보간 RAW 데이터를 생성하는 것을 특징으로 하는 촬상 장치.
  5. 제4항에 있어서,
    상기 위치맞춤부는, 2개의 상기 RAW 데이터로부터 생성한 2개의 상기 보간 RAW 데이터에 의거하여, 상기 위치맞춤 데이터로서의 시차 정보를 생성하는 것을 특징으로 하는 촬상 장치.
  6. 제5항에 있어서,
    상기 합성부는, 상기 시차 정보에 의거하여 2개의 상기 보간 RAW 데이터를 합성함에 의해 합성 RAW 데이터를 생성하는 것을 특징으로 하는 촬상 장치.
  7. 제6항에 있어서,
    상기 합성부는, 상기 합성 RAW 데이터에 포함되는, 각 상기 촬상 디바이스의 나이퀴스트 주파수를 초과하는 고주파 성분을 감쇠시키는 것을 특징으로 하는 촬상 장치.
  8. 제4항에 있어서,
    상기 합성부는, 2개의 상기 보간 RAW 데이터를 합성함에 의해 합성 RAW 데이터를 생성한 후, 상기 합성 RAW 데이터에 포함되는, 각 상기 촬상 디바이스의 나이퀴스트 주파수를 초과하는 고주파 성분을 감쇠시키는 것을 특징으로 하는 촬상 장치.
  9. 제4항에 있어서,
    상기 합성부는, 상기 합성 RAW 데이터 또는 상기 합성 RAW 데이터에 소정의 처리를 행한 것에 대해, 상기 제1 RAW 데이터와, 상기 제1 RAW 데이터로부터 생성한 상기 보간 RAW 데이터와의 차분인 색차 성분을 부가하든지, 또는, 상기 제1 RAW 데이터와 상기 보간 RAW 데이터와의 비인 색비 성분을 곱함에 의해, 상기 RAW 데이터의 배열에 대응하는 배열의 제3 RAW 데이터를 생성하는 것을 특징으로 하는 촬상 장치.
  10. 제9항에 있어서,
    상기 합성부는, 상기 제1 RAW 데이터와, 상기 제3 RAW 데이터를 서로 합성함에 의해, 디모자이크 처리용의 제4 RAW 데이터를 생성하는 것을 특징으로 하는 촬상 장치.
  11. 제10항에 있어서,
    상기 제4 RAW 데이터에 대해 디모자이크 처리를 행하는 카메라 신호 처리부를 또한 구비한 것을 특징으로 하는 촬상 장치.
  12. 각각에서 화각이 서로 다른 RAW 데이터를 생성하는 3개 이상의 촬상 디바이스와,
    각각의 상기 촬상 디바이스에 의해 생성된 3개 이상의 상기 RAW 데이터에 의거하여, 3개 이상의 상기 RAW 데이터의 위치맞춤 데이터를 생성하는 위치맞춤부와,
    상기 위치맞춤부에 의해 생성된 상기 위치맞춤 데이터에 의거하여 3개 이상의 상기 RAW 데이터를 서로 합성하는 합성부를 구비하며,
    3개 이상의 상기 RAW 데이터는, 가장 화각이 넓은 제1 RAW 데이터와, 상기 제1 RAW 데이터보다도 화각이 좁은 제2 RAW 데이터와, 상기 제2 RAW 데이터보다도 화각이 좁은 제3 RAW 데이터를 포함하고,
    3개 이상의 상기 촬상 디바이스 중의 하나인 제1 촬상 디바이스는, 촬상에 의해 상기 제1 RAW 데이터를 생성하는 제1 촬상 소자를 가지며,
    3개 이상의 상기 촬상 디바이스 중 상기 제1 촬상 디바이스와는 다른 제2 촬상 디바이스는, 상기 제1 촬상 디바이스의 촬상 영역 중 외연을 제외한 영역을 촬상 영역으로 하고 있고, 촬상에 의해 상기 제2 RAW 데이터를 생성하고,
    3개 이상의 상기 촬상 디바이스 중 상기 제1 촬상 디바이스 및 상기 제2 촬상 디바이스와는 다른 제3 촬상 디바이스는, 상기 제2 촬상 디바이스의 촬상 영역 중 외연을 제외한 영역을 촬상 영역으로 하고 있고, 촬상에 의해 상기 제3 RAW 데이터를 생성하는 것을 특징으로 하는 촬상 장치.
  13. 삭제
  14. 제12항에 있어서,
    상기 합성부는, 상기 제1 RAW 데이터 중 외연을 제외한 소정의 영역과, 상기 제2 RAW 데이터와의 합성과, 상기 제2 RAW 데이터 중 외연을 제외한 소정의 영역과, 상기 제3 RAW 데이터와의 합성을 행하는 것을 특징으로 하는 촬상 장치.
  15. 화각이 서로 다른 2개의 RAW 데이터에 의거하여, 2개의 상기 RAW 데이터의 위치맞춤 데이터를 생성하는 위치맞춤부와,
    상기 위치맞춤부에 의해 생성된 상기 위치맞춤 데이터에 의거하여 2개의 상기 RAW 데이터를 서로 합성하는 합성부를 구비하며,
    2개의 상기 RAW 데이터는, 상대적으로 화각이 넓은 제1 RAW 데이터와, 상기 제1 RAW 데이터보다도 화각이 좁은 제2 RAW 데이터로 이루어지고,
    상기 합성부는, 상기 제1 RAW 데이터 중 외연을 제외한 소정의 영역과, 상기 제2 RAW 데이터를 서로 합성하는 것을 특징으로 하는 신호 처리 장치.
  16. 삭제
  17. 화각이 서로 다른 3개 이상의 RAW 데이터에 의거하여, 3개 이상의 상기 RAW 데이터의 위치맞춤 데이터를 생성하는 위치맞춤부와,
    상기 위치맞춤부에 의해 생성된 상기 위치맞춤 데이터에 의거하여 3개 이상의 상기 RAW 데이터를 서로 합성하는 합성부를 구비하며,
    3개 이상의 상기 RAW 데이터는, 가장 화각이 넓은 제1 RAW 데이터와, 상기 제1 RAW 데이터보다도 화각이 좁은 제2 RAW 데이터와, 상기 제2 RAW 데이터보다도 화각이 좁은 제3 RAW 데이터를 포함하고,
    상기 합성부는, 상기 제1 RAW 데이터 중 외연을 제외한 소정의 영역과, 상기 제2 RAW 데이터와의 합성과, 상기 제2 RAW 데이터 중 외연을 제외한 소정의 영역과, 상기 제3 RAW 데이터와의 합성을 행하는 것을 특징으로 하는 신호 처리 장치.
  18. 삭제
KR1020187020687A 2016-03-04 2017-01-18 신호 처리 장치 및 촬상 장치 Active KR102619738B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016041718A JP2017158123A (ja) 2016-03-04 2016-03-04 信号処理装置および撮像装置
JPJP-P-2016-041718 2016-03-04
PCT/JP2017/001527 WO2017149969A1 (ja) 2016-03-04 2017-01-18 信号処理装置および撮像装置

Publications (2)

Publication Number Publication Date
KR20180117598A KR20180117598A (ko) 2018-10-29
KR102619738B1 true KR102619738B1 (ko) 2024-01-02

Family

ID=59743765

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187020687A Active KR102619738B1 (ko) 2016-03-04 2017-01-18 신호 처리 장치 및 촬상 장치

Country Status (5)

Country Link
US (2) US10877357B2 (ko)
JP (1) JP2017158123A (ko)
KR (1) KR102619738B1 (ko)
CN (1) CN108605091B (ko)
WO (1) WO2017149969A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12177373B2 (en) 2021-12-31 2024-12-24 Samsung Electronics Co., Ltd. Electronic device including under display camera

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017158123A (ja) * 2016-03-04 2017-09-07 ソニー株式会社 信号処理装置および撮像装置
CN111818262B (zh) * 2020-07-08 2021-12-03 杭州萤石软件有限公司 图像重建方法及装置
KR102825816B1 (ko) * 2020-08-11 2025-06-30 삼성전자주식회사 멀티 카메라 모듈을 포함하는 모바일 전자 장치
WO2025046916A1 (ja) * 2023-08-29 2025-03-06 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140340543A1 (en) 2013-05-17 2014-11-20 Canon Kabushiki Kaisha Image-processing apparatus and image-processing method
US20150244995A1 (en) 2013-11-25 2015-08-27 JVC Kenwood Corporation Imaging Device, Image Processing Device, Image Processing Method, and Image Processing Program
US20150373234A1 (en) 2013-02-25 2015-12-24 Keisoku Giken Co., Ltd. Image processing apparatus and image processing method
US20160028949A1 (en) * 2014-07-25 2016-01-28 Samsung Electronics Co., Ltd. Image photographing apparatus and image photographing method

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3444281B2 (ja) * 2000-09-29 2003-09-08 ミノルタ株式会社 画像処理システム、撮像装置、画像処理方法及びその方法の処理プログラムが記録された記録媒体
JP2003134375A (ja) 2001-10-26 2003-05-09 Matsushita Electric Works Ltd 画像撮影システム
JP2006197243A (ja) * 2005-01-13 2006-07-27 Canon Inc 撮像装置及び撮像方法及びプログラム及び記憶媒体
JP5157464B2 (ja) * 2008-01-15 2013-03-06 株式会社ニコン 画像処理装置
JP2011041210A (ja) * 2009-08-18 2011-02-24 Sony Corp 信号処理装置、撮像装置及び信号処理方法
US8957981B2 (en) * 2010-03-03 2015-02-17 Intellectual Ventures Fund 83 Llc Imaging device for capturing self-portrait images
JP2012004787A (ja) * 2010-06-16 2012-01-05 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8274552B2 (en) * 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
JP5744614B2 (ja) * 2011-04-28 2015-07-08 オリンパス株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
JP5629642B2 (ja) * 2011-05-19 2014-11-26 株式会社ソニー・コンピュータエンタテインメント 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法
CN202134044U (zh) * 2011-07-06 2012-02-01 长安大学 一种基于角点块提取与匹配的图像拼接装置
EP2582128A3 (en) * 2011-10-12 2013-06-19 Canon Kabushiki Kaisha Image-capturing device
US8976161B2 (en) * 2012-03-01 2015-03-10 Apple Inc. Systems and methods for image processing
JP5901781B2 (ja) * 2012-09-19 2016-04-13 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
CN104871058B (zh) * 2012-12-19 2017-04-12 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
JP2017158123A (ja) * 2016-03-04 2017-09-07 ソニー株式会社 信号処理装置および撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150373234A1 (en) 2013-02-25 2015-12-24 Keisoku Giken Co., Ltd. Image processing apparatus and image processing method
US20140340543A1 (en) 2013-05-17 2014-11-20 Canon Kabushiki Kaisha Image-processing apparatus and image-processing method
US20150244995A1 (en) 2013-11-25 2015-08-27 JVC Kenwood Corporation Imaging Device, Image Processing Device, Image Processing Method, and Image Processing Program
US20160028949A1 (en) * 2014-07-25 2016-01-28 Samsung Electronics Co., Ltd. Image photographing apparatus and image photographing method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12177373B2 (en) 2021-12-31 2024-12-24 Samsung Electronics Co., Ltd. Electronic device including under display camera

Also Published As

Publication number Publication date
US10877357B2 (en) 2020-12-29
US20210149283A1 (en) 2021-05-20
WO2017149969A1 (ja) 2017-09-08
CN108605091A (zh) 2018-09-28
CN108605091B (zh) 2021-01-19
JP2017158123A (ja) 2017-09-07
KR20180117598A (ko) 2018-10-29
US20190064640A1 (en) 2019-02-28
US11275296B2 (en) 2022-03-15

Similar Documents

Publication Publication Date Title
EP2518995B1 (en) Multocular image pickup apparatus and multocular image pickup method
US8237843B2 (en) Imaging device
US10182216B2 (en) Extended color processing on pelican array cameras
KR102619738B1 (ko) 신호 처리 장치 및 촬상 장치
CN113259565B (zh) 多孔径成像系统
US7932941B2 (en) Image pickup apparatus
CN108781250B (zh) 摄像控制装置、摄像控制方法和摄像装置
CN110177226B (zh) 图像感测装置
JP5701785B2 (ja) カメラモジュール
US20090190024A1 (en) Image pickup apparatus
TW201143384A (en) Camera module, image processing apparatus, and image recording method
JP2015060121A (ja) カラーフィルタアレイおよび固体撮像素子
US10593717B2 (en) Image processing apparatus, image processing method, and imaging apparatus
JP2009047734A (ja) 撮像装置及び画像処理プログラム
US10616493B2 (en) Multi camera system for zoom
JP5278421B2 (ja) 撮像装置
JP2009047735A (ja) 撮像装置及び画像処理プログラム
JP2009047733A (ja) 撮像装置及び画像処理プログラム

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20180718

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20211125

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230130

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20230926

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20231227

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20231228

End annual number: 3

Start annual number: 1

PG1601 Publication of registration