[go: up one dir, main page]

CN106961557B - 光场相机及其影像处理方法 - Google Patents

光场相机及其影像处理方法 Download PDF

Info

Publication number
CN106961557B
CN106961557B CN201610012548.7A CN201610012548A CN106961557B CN 106961557 B CN106961557 B CN 106961557B CN 201610012548 A CN201610012548 A CN 201610012548A CN 106961557 B CN106961557 B CN 106961557B
Authority
CN
China
Prior art keywords
image
sub
light field
field camera
regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610012548.7A
Other languages
English (en)
Other versions
CN106961557A (zh
Inventor
张铨仲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Coretronic Corp
Original Assignee
Coretronic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Coretronic Corp filed Critical Coretronic Corp
Priority to CN201610012548.7A priority Critical patent/CN106961557B/zh
Priority to JP2016145060A priority patent/JP6396954B2/ja
Priority to US15/340,993 priority patent/US10097770B2/en
Publication of CN106961557A publication Critical patent/CN106961557A/zh
Application granted granted Critical
Publication of CN106961557B publication Critical patent/CN106961557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Lens Barrels (AREA)
  • Picture Signal Circuits (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本发明公开了一种用于光场相机的影像处理方法以及一种光场相机。所述影像处理方法包括：利用光场相机取得各自包括多个子区域的第一影像以及第二影像；根据第一影像的至少一个子区域的亮度分布，对第二影像的至少一个子区域进行狭域亮度重分配处理；对第一影像以及第二影像进行影像重组处理，以取得第三影像；以及对第三影像进行全域亮度重分配处理，以取得第四影像。本发明提出的影像处理方法可以使光场相机具有区域化高动态影像的拍摄能力，可以提供良好的影像质量。

Description

光场相机及其影像处理方法
技术领域
本发明涉及一种影像撷取装置及其影像处理方法，并且特别涉及一种光场相机及其影像处理方法。
背景技术
在现有的影像撷取装置中，当所要拍摄的场景中具备高反差(high contrast)特性时，例如场景内有亮度较强的天空、亮度较暗的阴影或者有较强光源直射到镜头，由于影像感测组件在固定参数(如：曝光时间、增益等)下将光信号转换成电信号的效率是受到限制的，因此会导致强光区域的信号强度接近或达到饱和值。因此，为了避免强光区域的电信号强度接近或达到饱和值，可以通过调整影像感测组件的参数(如：曝光时间等)来使强光区域的电信号强度降低，但是此种方式也同时使弱光区域的电信号大幅降低，导致其信号水平与影像感测组件的噪声强度相近。因此，不论是使强光区域的电信号因饱和而牺牲强光区域的影像细节的解析力，或是通过调整参数使强光区域信号不产生饱和，这两种方式都会使弱光区域因信号强度接近于噪声等级而降低对弱光区域影像细节的解析力。在采用合适的硬件或软件方法的前提下，现有技术无法兼顾对影像中的强光与弱光区域的解析力。为了解决前述问题，目前已有不少可以使影像具备高动态(high dynamic range，HDR，或称为宽动态(wide dynamic range，WDR))的方法被提出。
“背景技术”段落只是用来帮助了解本发明的内容，因此在“背景技术”段落所揭露的内容可能包含一些没有构成所属技术领域中的普通技术人员所知道的公知技术。在“背景技术”段落所揭露的内容，不代表该内容或者本发明的一个或多个实施例所要解决的问题，也不代表在本发明申请前已被所属技术领域中的普通技术人员所知晓或认知。
发明内容
本发明提供一种提供良好影像质量的光场相机及其影像处理方法。
本发明的其它目的和优点可以从本发明所公开的技术特征中得到进一步的了解。
为达上述目的的其中之一或部分或全部目的或是其它目的，本发明的实施例提出一种影像处理方法，其应用于光场相机。影像处理方法包括：利用光场相机取得均包括多个子区域的第一影像以及第二影像，其中第一影像与第二影像均包括多个子区域；判断在所述第二影像的子区域中，具有亮度等于或高于阈值的至少一个所述子区域，并记录这些子区域在所述第二影像中的位置；根据第一影像的至少一个子区域的亮度分布，对第二影像的至少一个子区域进行狭域(local)亮度重分配处理以取得第三影像；以及对第三影像进行全域(global)亮度重分配处理，以取得第四影像。
在本发明的实施例中，上述的影像处理方法还包括：对第二影像的子区域进行亮度分析处理，以从多个子区域中选择至少一个子区域进行狭域亮度重分配处理。
在本发明的实施例中，在第二影像中进行狭域亮度重分配处理的至少一个子区域是多个子区域，并且在根据第一影像的至少一个子区域的亮度分布对第二影像的至少一个子区域进行狭域亮度重分配处理的步骤中，以不同的亮度分配参数来对这些子区域进行狭域亮度重分配处理。
在本发明的实施例中，在利用光场相机取得第一影像以及第二影像的步骤中，利用光场相机分别在第一曝光时间以及在第二曝光时间取得第一影像以及第二影像，并且第一曝光时间与第二曝光时间的时间长度不同。
在本发明的实施例中，上述的第二影像的至少一个子区域在第二影像中的位置与第一影像的至少一个子区域在第一影像中的位置相互对应。
在本发明的实施例中，上述的光场相机包括透镜模块、透镜阵列以及影像感测组件，透镜模块设置在物侧与像侧之间，透镜阵列设置在透镜模块与像侧之间，影像感测组件设置在像侧。透镜模块具有第一光圈值，并且将中间影像聚焦在透镜模块与透镜阵列之间。透镜阵列包括多个子透镜。各子透镜具有第二光圈值。透镜阵列将第一影像或第二影像聚焦在影像感测组件上。第一光圈值与第二光圈值不相等。影像感测组件用于感测第一影像或第二影像。
在本发明的实施例中，上述的透镜阵列包括第一主平面以及第二主平面。中间影像至第一主平面的距离与第二主平面至影像感测组件的距离的比值为N，并且N大于2。
在本发明的实施例中，上述的透镜模块的有效焦距为f，出瞳直径为D，透镜阵列的第二光圈值为F，其中有效焦距f、出瞳直径D和第二光圈值F符合以下关系式：
Figure GDA0002193632420000031
在本发明的实施例中，上述的光场相机电连接至处理器电路，用于执行影像处理方法。
为达上述目的的其中之一或部分或全部目的或是其它目的，本发明的实施例提出一种光场相机。光场相机电连接至处理器电路。处理器电路用于执行上述的影像处理方法。光场相机包括透镜模块、透镜阵列以及影像感测组件。透镜模块设置在物侧与像侧之间。透镜模块具有第一光圈值。透镜阵列设置在透镜模块与像侧之间。透镜阵列包括多个子透镜。各子透镜具有第二光圈值。透镜模块将中间影像聚焦在透镜模块与透镜阵列之间。第一光圈值与第二光圈值不相等。影像感测组件设置在像侧。影像感测组件用于感测光场影像。透镜阵列将光场影像聚焦在影像感测组件上。
在本发明的实施例中，上述的透镜阵列包括第一主平面以及第二主平面。中间影像至第一主平面的距离与第二主平面至影像感测组件的距离的比值为N，其中N大于2。
在本发明的实施例中，上述的透镜模块的有效焦距为f，出瞳直径为D，透镜阵列的第二光圈值为F，其中有效焦距f、出瞳直径D及第二光圈值F符合以下关系式：
Figure GDA0002193632420000032
在本发明的实施例中，上述的处理器电路还执行以下步骤：对第二影像的子区域进行亮度分析处理，以从这些子区域中选择至少一个子区域来进行狭域亮度重分配处理。
在本发明的实施例中，在第二影像中进行狭域亮度重分配处理的至少一个子区域是多个子区域，并且处理器电路在执行根据第一影像的至少一个子区域的亮度分布来对第二影像的至少一个子区域进行狭域亮度重分配处理的步骤时，上述的处理器电路以不同的亮度分配参数来对子区域进行狭域亮度重分配处理。
在本发明的实施例中，上述的处理器电路在执行利用光场相机取得第一影像以及第二影像的步骤时，处理器电路利用光场相机分别在第一曝光时间以及在第二曝光时间取得第一影像以及第二影像。第一曝光时间与第二曝光时间的时间长度不同。
在本发明的实施例中，上述的第二影像的至少一个子区域在第二影像中的位置与第一影像的至少一个子区域在第一影像中的位置相互对应。
基于上述，本发明的实施例至少具有以下其中一个优点或功效。在本发明的实施例中，光场相机的设计符合预设的条件标准，其撷取的影像内的各子区域具备较高填满率，可以降低所浪费的像素的数量，使光场相机具备较高像素利用率。此外，光场相机撷取的影像结合本发明的示例性实施例提出的影像处理方法可以使光场相机具有区域化高动态影像的拍摄能力，可以提供良好的影像质量。
为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图来做出如下详细说明。
附图说明
图1绘示本发明的实施例的影像撷取装置的概要示意图。
图2绘示本发明的实施例的影像处理方法的步骤流程图。
图3绘示本发明的实施例的光场相机所要拍摄的场景的影像以及光场相机所拍摄到的影像的概要示意图。
图4绘示本发明的实施例的影像处理模块的概要示意图。
图5绘示本发明的实施例的光场相机的概要方块图。
图6绘示本发明的实施例的光场相机的概要结构图。
具体实施方式
在以下配合参考附图的实施例的详细说明中，将可以清楚地呈现有关本发明的前述及其它技术内容、特点与功效。以下实施例中所提到的方向用语，例如：上、下、左、右、前或后等，仅是参考所附附图的方向。因此，使用的方向用语是用来说明而并非用来限制本发明。
图1绘示本发明的实施例的影像撷取装置的概要示意图。图2绘示本发明的实施例的影像处理方法的步骤流程图。请参考图1及图2，本实施例的影像撷取装置300包括光场相机100以及处理器电路200。光场相机100电连接至处理器电路200。在本实施例中，光场相机100例如是选自聚焦型(focus type)光场相机、非聚焦型(non-focus type)光场相机以及包括相机阵列(camera array)的光场相机中的一种，本发明并不限于此。
在本实施例中，处理器电路200至少用于执行图2的影像处理方法。在步骤S200中，处理器电路200利用光场相机100取得第一影像以及第二影像，第一影像与第二影像各自包括多个子区域。在步骤S210中，处理器电路200对第二影像的子区域进行亮度分析处理，以从多个子区域中选择至少一个子区域来进行狭域亮度重分配处理。在步骤S220中，处理器电路200根据第一影像的子区域的亮度分布来对第二影像的子区域进行狭域亮度重分配处理。在步骤S230中，处理器电路200对第一影像以及第二影像进行影像重组处理，以取得第三影像。在步骤S240中，处理器电路200对第三影像进行全域亮度重分配处理，以取得第四影像。因此，在本实施例中，光场相机100结合图2的影像处理方法可以对其所撷取的影像进行区域化的高动态范围(high dynamic range，HDR)或者宽动态范围(wide dynamicrange，WDR)的影像处理，以提供良好的影像质量。
在本实施例中，狭域亮度重分配处理例如是针对所取得的影像的部分区域，例如一个或多个子区域，重新调整这些子区域的亮度。全域亮度重分配处理例如是针对所取得的影像的整体，例如影像的整个区域，重新调整其亮度。此外，在本实施例中，根据实际设计需求，处理器电路200可以整合至光场相机100之中，或者独立于光场相机100之外，本发明并不加以限制。在实施例中，处理器电路200例如包括中央处理单元(Central ProcessingUnit，CPU)、微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可程序化控制器、可程序化逻辑装置(Programmable Logic Device，PLD)或其它类似装置或上述这些装置的搭配组合，本发明并不加以限制。
图3绘示本发明的实施例的光场相机所要拍摄的场景的影像以及光场相机所拍摄到的影像的概要示意图。图4绘示本发明的实施例的影像处理模块的概要示意图。请参考图1至图4，本实施例的影像处理模块400例如用以对光场相机100拍摄所得的第一影像400A和第二影像400B进行图2的影像处理方法，以产生具有HDR效果的第四影像400D。在本实施例中，影像处理模块400例如包括亮度分析模块210、第一亮度重分配模块220、影像重组模块230以及第二亮度重分配模块240，这些模块分别用以执行图2的影像处理方法的各步骤。
具体而言，在本实施例中，当光场相机100所要拍摄的场景内具有强光区域510和非强光区域520时，所拍摄到的影像如图3所示的场景影像500。场景影像500例如是非光场相机所拍摄到的具有高亮度区域(即强光区域510)的影像。第一影像400A和第二影像400B例如是使用具备部分视野重迭的子影像特性的光场相机100所拍摄到的影像。以第一影像400A为例，偏白色子区域代表所述区域的影像强度达到或接近饱和值，稍灰色的子区域代表第一影像400A中的对应于强光区域510边界附近的区域，偏黑色的子区域代表在第一影像400A中的对应于远离强光区域510的影像。从图3可知，当使用光场相机100拍摄此种部分区域具备强光特征的影像时，因光场相机100的特性，将可以对所拍摄的场景进行以强度为基础的空间性分割。
在本实施例中，光场相机100分别在第一曝光时间以及在第二曝光时间取得第一影像400A以及第二影像400B。并且，第一曝光时间与第二曝光时间的时间长度不同。举例而言，在本实施例中，光场相机100例如采用分时曝光的方法。光场相机100针对所要拍摄的场景利用其内建的曝光时间参数或控制方法来拍摄多个不同曝光时间的影像。例如，光场相机100可以拍摄长曝光时间的影像与短曝光时间的影像各一张，但本发明并不加以限制。在实施例中，光场相机100也可以利用其它的曝光条件来拍摄不同数量的光场影像。在本实施例中，以长曝光时间与短曝光时间的两个影像为例，场景影像500经光场相机100所拍摄到的影像如第一影像400A和第二影像400B所示。其中，第一影像400A例如是短曝光时间的影像，第二影像400B例如是长曝光时间的影像。从第一影像400A和第二影像400B可知，由于第一影像400A和第二影像400B的曝光时间不同，场景影像500中的强度过亮的区域(例如强光区域510)在曝光时间较短的第一影像400A中所呈现的亮度较低。
在利用光场相机100取得第一影像400A和第二影像400B之后，亮度分析模块210用以对第二影像400B的子区域进行亮度分析处理，并且从多个子区域中选择至少一个子区域来进行狭域亮度重分配处理。也就是说，在本实施例中，亮度分析模块210对采用较长曝光时间参数的第二影像400B进行影像的亮度分析，并且判断出哪些子区域的亮度过高，亦即判断子区域的亮度已饱和或者高于所设定的阈值，并记录这些子区域在第二影像400B中的位置。在本实施例中，亮度已饱和或者高于所设定的阈值的子区域例如是第二影像400B中的多个子区域410B。
接着，在本实施例中，第一亮度重分配模块220根据第一影像400A中的位置对应于第二影像400B的子区域410B的多个子区域410A的亮度分布，对第二影像410B的子区域410B进行狭域亮度重分配处理。具体而言，第一亮度重分配模块220利用所记录的子区域410B的位置来取得利用较短曝光时间参数所得的第一影像400A中的位置相互对应的子区域410A。在本实施例中，子区域410A、410B的位置及其数量、以及第一影像400A和第二影像400B所包括的子区域的排列方式及其数量仅用以例示说明，本发明并不限于此。接着，第一亮度重分配模块220利用HDR算法，以不同的亮度分配参数对子区域410B和子区域410A进行狭域亮度重分配处理，以获得处理后的子区域影像。在本实施例中，狭域亮度重分配处理例如是对所取得的影像的部分区域(例如一个或多个子区域)的亮度进行重新调整。在本实施例中，以不同的亮度分配参数进行狭域亮度重分配处理例如是指对应于不同的子区域在进行亮度重分配时，根据不同的参数来调整各子区域的亮度。各子区域的亮度被调整的程度或其结果可以相同或不相同。
在本实施例中，第一亮度重分配模块220还将处理后的子区域与子区域410B或子区域410A结合，以降低影像噪声。在实施例中，第一亮度重分配模块220例如将处理后的子区域与较亮的子区域410B结合，以降低影像较暗区域的影像噪声。在本实施例中，第一亮度重分配模块220利用HDR算法对子区域进行亮度重分配，并且结合处理前后的子区域的方法对于所属技术领域的普通技术人员所具有的公知常识可以得到足够的教示、建议与实施说明，因此不再赘述。
之后，在本实施例中，影像重组模块230对第一影像400A以及第二影像400B进行影像重组处理，以取得第三影像400C。在本实施例中，影像重组模块230例如利用光场相机100所用的参数对影像进行重组。在重组过程中，为了进一步提升各子区域于重组过程中因不同子区域而亮度不均的现象，在实施例中，影像重组模块230可以再次对不同子区域的亮度进行重分配处理。在本实施例中，经重组后，影像重组模块230所输出的第三影像400C例如是非光场影像。接着，在本实施例中，第二亮度重分配模块240对第三影像400C进行全域亮度重分配处理，以取得第四影像400D。全域亮度重分配处理例如是对所取得的第三影像400C的整体(例如第三影像400C的整个区域)的亮度进行重新调整。因此，在对第三影像400C的整张画面进行全域亮度重分配处理之后，第二亮度重分配模块240产生并输出具有HDR效果的影像400D。此外，在本实施例中，全域亮度重分配处理例如包括色调映像(tonemapping)，色调映像是在有限动态范围媒介上近似显示高动态范围图像的一项计算机图形学技术。在本实施例中，影像重组处理以及亮度重分配处理的方法对于所属技术领域的普通技术人员所具有的公知常识可以得到足够的教示、建议与实施说明，因此不再赘述。
在本实施例中，影像处理模块400例如可以用软件、硬件、固件和/或其任何组合中加以实施。以软件实施为例，处理器电路200例如用以执行影像处理模块400中的各软件模块，以实现图2的影像处理方法的各步骤。在本实施例中，各软件模块包括所属技术领域中的任一种适合的算法以实现各步骤，本发明并不加以限制，上述算法对于所属技术领域的普通技术人员所具有的公知常识可以得到足够的教示、建议与实施说明，因此不再赘述。以硬件实施为例，影像处理模块400中的各硬件模块例如可以分别由所属技术领域的任一种适合的电路结构来加以实施，本发明并不加以限制，上述电路结构可以由所属技术领域的普通技术人员所具有的公知常识来得到足够的教示、建议与实施说明，因此不再赘述。
图5绘示本发明的实施例的光场相机的概要方块图。图6绘示本发明的实施例的光场相机的概要结构图。请参考图5及图6，本实施例的光场相机100包括透镜模块110、透镜阵列120以及影像感测组件130。透镜模块110设置在物侧OS与像侧IS之间。透镜阵列120设置在透镜模块110与影像感测组件130之间。影像感测组件130设置在像侧IS。
具体而言，在本实施例中，透镜模块110用以将中间影像聚焦在透镜模块110与透镜阵列120之间，例如将中间影像聚焦在成像平面S5上。影像感测组件130用于感测光场影像，例如第一影像400A和第二影像400B。透镜阵列120用以将光场影像聚焦在影像感测组件130上。在本实施例中，透镜模块110具有第一光圈值，透镜阵列120包括多个子透镜，各子透镜具有第二光圈值，其中第一光圈值与第二光圈值不相等。
在本实施例中，透镜模块110包括第一主平面(principle plane)S1以及第二主平面S2，透镜阵列120包括第三主平面S3以及第四主平面S4。一般而言，透镜模块110与透镜阵列120可以分别由多个透镜或微透镜组成，为简化说明，本实施例在附图中将透镜模块110的内部简化成等效的第一主平面S1与第二主平面S2，并将透镜阵列120简化为等效的第三主平面S3与第四主平面S4，其中各个主平面的定义可以由所属技术领域的普通技术人员所具有的公知常识来得到足够的教示、建议与实施说明，在此不再赘述。在本实施例中，中间影像(即在成像平面S5上的影像)至透镜阵列120的第三主平面S3的距离A与透镜阵列120的第四主平面S4至影像感测组件130的距离B的比值A/B为N，并且在N大于2时影像感测组件130上可以具有较佳的成像效果。其中，S为影像感测组件130的影像感测面。在本实施例中，透镜模块110的有效焦距为f，出瞳直径为D，透镜阵列120的第二光圈值为F，其中有效焦距f、出瞳直径D及第二光圈值F符合以下关系式(1)：
Figure GDA0002193632420000091
以聚焦型光场相机为例，透镜模块110所要拍摄的物体对透镜阵列120而言可以被视为实物或虚物的中间影像，此中间影像被透镜阵列120在影像感测组件130上形成实像。透镜阵列120与影像感测组件130的距离不等于透镜阵列120的焦距。利用符合上述关系式(1)的光场相机100，可以使光场相机100所拍摄到的影像内的各子区域具备较高填满率，由此降低所浪费的像素的数量。与图2的影像处理方法结合后，可以使光场相机100除了具备较高像素利用率的特性外，还具有区域化高动态影像的拍摄能力。
在实施例中，影像感测组件130例如包括电荷耦合器件影像传感器(chargecoupled device image sensor，CCD image sensor)或互补式金属氧化物半导体(complementary metal oxide semiconductor，CMOS)影像传感器等类似的装置或其组合，本发明并不加以限制。在本实施例中，透镜模块110和透镜阵列120内部的透镜架构及其组合可以分别由所属技术领域的任一种适合的透镜组件来加以实施，本发明并不加以限制，透镜模块110和透镜阵列120可以由所属技术领域的技术人员所具有的公知常识来获致足够的教示、建议与实施说明，因此不再赘述。
综上所述，本发明的实施例至少具有以下优点或功效的其中之一。在本发明的示例性实施例中，光场相机的设计符合预设的条件标准，其撷取的影像结合本发明的示例性实施例所提出的影像处理方法可以提供良好的影像质量。
以上所述的实施例仅为本发明的较佳实施例，不能以此来限定本发明实施的范围，凡依本发明的权利要求以及说明书内容所做出的简单的等效变化与修改，都包含在本发明专利涵盖的范围之内。另外，本发明的任何实施例或权利要求的范围不一定实现本发明所公开的全部目的、优点或特征。此外，摘要部分和标题仅用于辅助专利文件搜索，而并非用于限制本发明的权利范围。此外，说明书或权利要求书中所提及的“第一”、“第二”等术语仅用于表示元件(element)的名称或区别不同实施例或范围，而并非用来限制元件的数量的上限或下限。
附图标记
100：光场相机
110：透镜模块
120：透镜阵列
130：影像感测组件
200：处理器电路
210：亮度分析模块
220：第一亮度重分配模块
230：影像重组模块
240：第二亮度重分配模块
300：影像撷取装置
400：影像处理模块
400A：第一影像
400B：第二影像
400C：第三影像
400D：第四影像
410A、410B：子区域
500：场景影像
510：强光区域
520：非强光区域
S：影像感测面
S1：第一主平面
S2：第二主平面
S3：第三主平面
S4：第四主平面
S5：成像平面
A、B：距离
f：有效焦距
D：出瞳直径
OS：物侧
IS：像侧
S200、S210、S220、S230、S240：影像处理方法的步骤

Claims (14)

1.一种影像处理方法，用于光场相机，其特征在于，所述影像处理方法包括：
利用所述光场相机来取得第一影像以及第二影像，其中，所述第一影像以及所述第二影像均包括多个子区域；
判断在所述第二影像的子区域中，具有亮度等于或高于阈值的至少一个所述子区域，并记录这些子区域在所述第二影像中的位置；
根据所述第一影像的至少一个子区域的亮度分布，对所述第二影像的至少一个子区域进行狭域亮度重分配处理，以取得第三影像；以及
对所述第三影像进行全域亮度重分配处理，以取得第四影像。
2.根据权利要求1所述的影像处理方法，其特征在于，在所述第二影像中进行所述狭域亮度重分配处理的所述至少一个子区域是多个子区域，并且在根据所述第一影像的所述至少一个子区域的亮度分布，来对所述第二影像的所述至少一个子区域进行所述狭域亮度重分配处理的步骤中，以不同的亮度分配参数来对所述多个子区域进行所述狭域亮度重分配处理。
3.根据权利要求1所述的影像处理方法，其特征在于，在利用所述光场相机取得所述第一影像以及所述第二影像的步骤中，利用所述光场相机分别在第一曝光时间以及在第二曝光时间取得所述第一影像以及所述第二影像，并且所述第一曝光时间与所述第二曝光时间的时间长度不同。
4.根据权利要求1所述的影像处理方法，其特征在于，所述第二影像的所述至少一个子区域在所述第二影像中的位置与所述第一影像的所述至少一个子区域在所述第一影像中的位置相互对应。
5.根据权利要求1所述的影像处理方法，其特征在于，所述光场相机包括透镜模块、透镜阵列以及影像感测组件，所述透镜模块设置在物侧与像侧之间，所述透镜阵列设置在所述透镜模块与所述像侧之间，所述影像感测组件设置在所述像侧，所述透镜模块具有第一光圈值，并且将中间影像聚焦在所述透镜模块与所述透镜阵列之间，所述透镜阵列包括多个子透镜，所述多个子透镜均具有第二光圈值，所述透镜阵列将所述第一影像或所述第二影像聚焦在所述影像感测组件上，所述第一光圈值与所述第二光圈值不相等，并且所述影像感测组件用于感测所述第一影像或所述第二影像。
6.根据权利要求5所述的影像处理方法，其特征在于，所述透镜阵列包括第一主平面以及第二主平面，所述中间影像至所述第一主平面的距离与所述第二主平面至所述影像感测组件的距离的比值为N，并且N大于2。
7.根据权利要求6所述的影像处理方法，其特征在于，所述透镜模块的有效焦距为f，出瞳直径为D，所述透镜阵列的所述第二光圈值为F，其中，所述有效焦距f、所述出瞳直径D以及所述第二光圈值F符合以下关系式：
Figure FDA0002193632410000021
8.根据权利要求5所述的影像处理方法，其特征在于，所述光场相机电连接至处理器电路，用于执行所述影像处理方法。
9.一种光场相机，电连接至处理器电路，所述处理器电路用于执行如权利要求1所述的影像处理方法，其特征在于，所述光场相机包括透镜模块、透镜阵列以及影像感测组件，
所述透镜模块设置在物侧与像侧之间，具有第一光圈值，
所述透镜阵列设置在所述透镜模块与所述像侧之间，包括多个子透镜，所述多个子透镜均具有第二光圈值，其中，所述透镜模块将中间影像聚焦在所述透镜模块与所述透镜阵列之间，并且所述第一光圈值与所述第二光圈值不相等，
所述影像感测组件设置在所述像侧，用于感测光场影像，其中，所述透镜阵列将所述光场影像聚焦在所述影像感测组件上。
10.根据权利要求9所述的光场相机，其特征在于，所述透镜阵列包括第一主平面以及第二主平面，所述中间影像至所述第一主平面的距离与所述第二主平面至所述影像感测组件的距离的比值为N，其中N大于2。
11.根据权利要求10所述的光场相机，其特征在于，所述透镜模块的有效焦距为f，出瞳直径为D，所述透镜阵列的所述第二光圈值为F，其中，所述有效焦距f、所述出瞳直径D以及所述第二光圈值F符合以下关系式：
Figure FDA0002193632410000031
12.根据权利要求10所述的光场相机，其特征在于，在所述第二影像中进行所述狭域亮度重分配处理的所述至少一个子区域是多个子区域，并且所述处理器电路在执行根据所述第一影像的所述至少一个子区域的亮度分布来对所述第二影像的所述至少一个子区域进行所述狭域亮度重分配处理的步骤时，所述处理器电路以不同的亮度分配参数来对所述多个子区域进行所述狭域亮度重分配处理。
13.根据权利要求10所述的光场相机，其特征在于，所述处理器电路在执行利用所述光场相机取得所述第一影像以及所述第二影像的步骤时，所述处理器电路利用所述光场相机分别在第一曝光时间以及在第二曝光时间取得所述第一影像以及所述第二影像，其中所述第一曝光时间与所述第二曝光时间的时间长度不同。
14.根据权利要求10所述的光场相机，其特征在于，所述第二影像的所述至少一个子区域在所述第二影像中的位置与所述第一影像的所述至少一个子区域在所述第一影像中的位置相互对应。
CN201610012548.7A 2016-01-08 2016-01-08 光场相机及其影像处理方法 Active CN106961557B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610012548.7A CN106961557B (zh) 2016-01-08 2016-01-08 光场相机及其影像处理方法
JP2016145060A JP6396954B2 (ja) 2016-01-08 2016-07-25 ライトフィールドカメラ及びその映像処理方法
US15/340,993 US10097770B2 (en) 2016-01-08 2016-11-02 Image capturing apparatus and image processing method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610012548.7A CN106961557B (zh) 2016-01-08 2016-01-08 光场相机及其影像处理方法

Publications (2)

Publication Number Publication Date
CN106961557A CN106961557A (zh) 2017-07-18
CN106961557B true CN106961557B (zh) 2020-01-31

Family

ID=59275023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610012548.7A Active CN106961557B (zh) 2016-01-08 2016-01-08 光场相机及其影像处理方法

Country Status (3)

Country Link
US (1) US10097770B2 (zh)
JP (1) JP6396954B2 (zh)
CN (1) CN106961557B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107347129B (zh) * 2016-05-05 2020-02-14 中强光电股份有限公司 光场相机
US20170332000A1 (en) * 2016-05-10 2017-11-16 Lytro, Inc. High dynamic range light-field imaging
JP2019005189A (ja) * 2017-06-23 2019-01-17 株式会社三洋物産 遊技機
JP2019005196A (ja) * 2017-06-23 2019-01-17 株式会社三洋物産 遊技機
JP2019005194A (ja) * 2017-06-23 2019-01-17 株式会社三洋物産 遊技機
JP2019005192A (ja) * 2017-06-23 2019-01-17 株式会社三洋物産 遊技機
JP2019005188A (ja) * 2017-06-23 2019-01-17 株式会社三洋物産 遊技機
JP2019005201A (ja) * 2017-06-23 2019-01-17 株式会社三洋物産 遊技機
JP2019005195A (ja) * 2017-06-23 2019-01-17 株式会社三洋物産 遊技機
JP2019005203A (ja) * 2017-06-23 2019-01-17 株式会社三洋物産 遊技機
JP2019005202A (ja) * 2017-06-23 2019-01-17 株式会社三洋物産 遊技機
JP2019005191A (ja) * 2017-06-23 2019-01-17 株式会社三洋物産 遊技機
JP2019005204A (ja) * 2017-06-23 2019-01-17 株式会社三洋物産 遊技機
JP2019005187A (ja) * 2017-06-23 2019-01-17 株式会社三洋物産 遊技機
JP2019005193A (ja) * 2017-06-23 2019-01-17 株式会社三洋物産 遊技機
CN109991751B (zh) * 2017-12-29 2021-05-11 中强光电股份有限公司 光场显示装置与方法
CN112153357A (zh) * 2019-06-28 2020-12-29 中强光电股份有限公司 投影系统及其投影方法
CN111147760B (zh) * 2019-12-23 2021-08-24 兴科迪智能科技(北京)有限公司 一种光场相机及其光度调整方法、装置及电子设备

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2856800T3 (es) 2001-02-27 2021-09-28 Dolby Laboratories Licensing Corp Procedimiento y dispositivo para visualizar una imagen
JP4341397B2 (ja) 2003-12-16 2009-10-07 セイコーエプソン株式会社 光伝搬特性制御装置、光学表示装置、光伝搬特性制御プログラムおよび光学表示装置制御プログラム、並びに光伝搬特性制御方法および光学表示装置制御方法およびプロジェクタ
JP4029852B2 (ja) 2004-03-23 2008-01-09 セイコーエプソン株式会社 光学表示装置、光学表示装置制御プログラム及び光学表示装置制御方法
US8229294B2 (en) 2007-12-10 2012-07-24 Mitsubishi Electric Research Laboratories, Inc. Cameras with varying spatio-angular-temporal resolutions
FI3876510T3 (fi) 2008-05-20 2024-11-20 Adeia Imaging Llc Kuvien ottaminen ja prosessointi monoliittisella kameraryhmällä, jossa on heterogeenisiä kuva-antureita
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR101094246B1 (ko) 2009-03-16 2011-12-19 이재웅 넓은 동적범위를 갖는 씨모스 이미지 센서
US8908058B2 (en) * 2009-04-18 2014-12-09 Lytro, Inc. Storage and transmission of pictures including multiple frames
US8228417B1 (en) 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
US8345144B1 (en) 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
TW201214244A (en) * 2010-09-30 2012-04-01 Accupoint Technology Inc Lcd Object sensing device
US9197798B2 (en) 2011-03-25 2015-11-24 Adobe Systems Incorporated Thin plenoptic cameras using microspheres
JP5791336B2 (ja) * 2011-04-01 2015-10-07 キヤノン株式会社 画像処理装置及びその制御方法
US9077917B2 (en) 2011-06-09 2015-07-07 Apple Inc. Image sensor having HDR capture capability
TW201234294A (en) 2011-07-22 2012-08-16 Yue Jie Technology Co Ltd Product counterfeit-proof system
CN107230236B (zh) 2011-09-28 2020-12-08 快图有限公司 用于编码和解码光场图像文件的系统及方法
JP5898466B2 (ja) 2011-11-11 2016-04-06 キヤノン株式会社 撮像装置、その制御方法、及びプログラム
JP5896788B2 (ja) * 2012-03-07 2016-03-30 キヤノン株式会社 画像合成装置及び画像合成方法
TWI475512B (zh) 2012-03-12 2015-03-01 Altek Corp 動態範圍影像的雜訊處理方法及其影像擷取裝置
JP6055332B2 (ja) * 2013-02-12 2016-12-27 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
US20140246561A1 (en) 2013-03-04 2014-09-04 Omnivision Technologies, Inc. High dynamic range pixel having a plurality of photodiodes with a single implant
US9047666B2 (en) 2013-03-12 2015-06-02 Futurewei Technologies, Inc. Image registration and focus stacking on mobile platforms
TWI501639B (zh) * 2013-07-29 2015-09-21 Quanta Comp Inc 拍攝高動態範圍影片之方法
JP6555863B2 (ja) * 2013-12-25 2019-08-07 キヤノン株式会社 撮像装置及び撮像装置の制御方法
US9438778B2 (en) * 2014-08-08 2016-09-06 Industrial Technology Research Institute Image pickup device and light field image pickup lens
CN104486537B (zh) * 2014-10-27 2018-09-04 北京智谷技术服务有限公司 光场采集控制方法和装置

Also Published As

Publication number Publication date
US20170201667A1 (en) 2017-07-13
JP6396954B2 (ja) 2018-09-26
JP2017123633A (ja) 2017-07-13
US10097770B2 (en) 2018-10-09
CN106961557A (zh) 2017-07-18

Similar Documents

Publication Publication Date Title
CN106961557B (zh) 光场相机及其影像处理方法
CN111028189B (zh) 图像处理方法、装置、存储介质及电子设备
US11758279B2 (en) WDR imaging with LED flicker mitigation
EP3162048B1 (en) Exposure metering based on background pixels
CN104349070B (zh) 高动态范围图像曝光时间控制方法
US10084967B1 (en) Systems and methods for regionally controlling exposure time in high dynamic range imaging
US20140253792A1 (en) Image capture apparatus and control method thereof
CN108616689B (zh) 基于人像的高动态范围图像获取方法、装置及设备
CN110365894A (zh) 摄像机装置中图像融合的方法及相关装置
US10397473B2 (en) Image processing apparatus having an image synthesis unit that generates synthesized image data depending on an object brightness, and related image-pickup apparatus
TWI543615B (zh) 影像處理方法及其電子裝置
CN101179662A (zh) 影像暗角修正方法及其装置
CN1499823A (zh) 照相机
CN109937382B (zh) 成像装置和成像方法
US20150070545A1 (en) Solid-state imaging device
JP2008028677A5 (zh)
JP2003199115A (ja) デジタル画像の品質を改善する改善方法
TW201518852A (zh) 影像處理裝置及曝光控制方法
JP6900577B2 (ja) 画像処理装置及びプログラム
JP6725105B2 (ja) 撮像装置及び画像処理方法
CN105282401B (zh) 影像获取装置及其暗角补偿方法
JP2018037741A (ja) イメージセンサを有する撮像装置及びその制御プログラム
TWI812516B (zh) 影像處理裝置及影像處理方法
JP2009053438A (ja) 電子カメラ
JP2009053428A (ja) 電子カメラ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant