[go: up one dir, main page]

CN102769756A - 图像处理设备、图像处理方法和程序 - Google Patents

图像处理设备、图像处理方法和程序 Download PDF

Info

Publication number
CN102769756A
CN102769756A CN2012101284463A CN201210128446A CN102769756A CN 102769756 A CN102769756 A CN 102769756A CN 2012101284463 A CN2012101284463 A CN 2012101284463A CN 201210128446 A CN201210128446 A CN 201210128446A CN 102769756 A CN102769756 A CN 102769756A
Authority
CN
China
Prior art keywords
image
exposure
time
psf
long time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012101284463A
Other languages
English (en)
Inventor
城坚诚
海津俊
光永知生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102769756A publication Critical patent/CN102769756A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明公开了图像处理设备、图像处理方法和程序。长和短曝光时间像素信息被输入为像素信息。生成在假定所有像素已被长时间曝光的情况下设定了像素值的长曝光时间图像和在假定所有像素已被短时间曝光的情况下设定了像素值的短曝光时间图像。计算对应于长曝光时间图像的点扩散函数作为长曝光时间图像PSF。利用短曝光时间图像、长曝光时间图像和长曝光时间图像PSF生成经校正的图像。经校正的图像被利用长和段曝光时间图像的像素信息生成为宽动态范围图像。利用具有很少模糊的短曝光时间图像的像素信息使得经校正的图像是具有很少模糊的高质量经校正图像。

Description

图像处理设备、图像处理方法和程序
技术领域
本公开涉及图像处理设备、图像处理方法和程序。特别地，本公开涉及生成宽动态范围的图像的图像处理设备、图像处理方法和程序。
背景技术
诸如CCD(电荷耦合器件)图像传感器或者互补金属氧化物半导体(CMOS)图像传感器之类的在摄像机或数字静态相机中使用的固体图像捕获元件累积与入射光的量相对应的电荷，并且执行光电转换，该光电转换输出与所累积的电荷相对应的电信号。然而，光电转换元件中累积的电荷量存在上限，并且当多于一定量的光被接收时，所累积的电荷的量达到饱和水平，使得在亮度大于一定值的拍摄对象区域中发生在饱和亮度水平处设定的所谓的突破高亮(blown out highlight)。
为了防止这种现象发生，执行以下处理：通过根据外部光的变化等等控制在光电转换元件中累积电荷的时段来调节曝光时间，并且还将灵敏度调节到最佳值。例如，对于明亮的对象，通过使用较快的快门速度来缩短曝光时间，从而缩短在光电转换元件中累积电荷的时段，并且在所累积的电荷的量达到饱和水平之前输出电信号。这种处理使得可以输出准确地再现对象的灰度级水平的图像。
然而，在对具有明亮区域和阴暗区域的混合体的对象捕获图像时，使用快的快门速度意味着曝光时间对于阴暗部分来说将是不足的，因此信噪比恶化并且图像质量恶化。为了准确地再现具有明亮区域和阴暗区域的混合体的对象的捕获图像中的明亮部分和阴暗部分的亮度水平，必须执行以下处理：对于入射光量为低的图像传感器像素增大曝光时间并且实现高的信噪比，并且避免入射光量为高的像素中的饱和。
作为用于实现这种处理的技术，已知一种连续捕获并且组合具有不同曝光时间的多个图像的技术。具体地，具有长曝光时间的图像和具有短曝光时间的图像被连续分别捕获。该技术通过执行组合处理来生成单个图像，该组合处理对于阴暗图像区域使用长曝光时间并且对于在长曝光时间图像中突破了高亮的明亮图像区域使用短曝光时间。以这种方式组合具有不同曝光的多个图像使得可以产生动态范围为宽并且没有突破高亮的图像，即宽动态范围图像(高动态范围(HDR)图像)。
例如，日本专利申请公开No.JP-A 2008-99158公开了一种通过组合具有不同曝光量的多个图像来产生宽动态范围图像的配置。将参考图1来说明该处理。图像捕获元件例如在捕获运动图像时在视频速率(30至60fps)内针对两个不同曝光时间输出图像数据。同样，在捕获静态图像时，也针对两个不同曝光时间来生成图像数据并输出该图像数据。图1是说明图像捕获元件生成的具有两个不同曝光时间的图像(长曝光时间图像、短曝光时间图像)的特性的示图。横轴是时间(t)，纵轴是构成与固体图像捕获元件的一个像素相对应的光电转换元件的光接收光电二极管(PD)中所累积的电荷(e)。
例如，在光接收光电二极管(PD)的光量很大(即，对应于明亮对象)的情况中，所累积的电荷随着时间的过去而迅速增大，如图1所示的高亮度区域11所示。相比之下，在光接收光电二极管(PD)的光量很小(即，对应于阴暗对象)的情况，所累积的电荷随着时间的过去而缓慢增大，如图1所示的低亮度区域12所示。
从t0到t3的时间等同于用于获取长曝光时间图像的曝光时间TL。低亮度区域12中所示的线示出，在甚至作为长曝光时间TL的时间t3处的累积电荷尚未达到饱和水平(非饱和点Py)，并且可以根据如下的像素灰度水平产生准确的灰度级表现：该像素灰度水平是利用基于累积电荷(Sa)产生的电信号而设定的。
然而，高亮度区域11中所示的线清楚地表明了，所累积的电荷在到达时间t3之前已经达到了饱和水平(饱和点Px)。因此，在高亮度区域11中，从长曝光时间图像只能产生与饱和水平的电信号相对应的像素值，结果产生突破了的像素。
因此，在高亮度区域11中，在到达时间t3之前，例如在图1所示的时间t1(电荷清扫起点P1)，所累积的电荷被从光接收光电二极管(PD)清扫一次。电荷清扫不是清除光接收光电二极管(PD)中全部的所累积电荷，而是将其向下清扫至由光电二极管(PD)控制的中间电压保持水平。在电荷清扫处理之后，光接收光电二极管(PD)被再一次短时间曝光，该短时间被定义为曝光时间TS(从t2到t3)。也就是说，在从短曝光时间起点P2到短曝光时间终点P3(均在图1中示出)的时段中，进行短时间曝光。通过该短时间曝光而产生所累积电荷(Sb)，并且利用基于所累积电荷(Sb)产生的电信号来设定像素的灰度水平。
注意，在使用基于低亮度区域12中通过长时间曝光产生的累积电荷(Sa)的电信号和使用基于高亮度区域11中通过短时间曝光产生的累积电荷(Sb)的电信号来设定像素值时，针对曝光时间在这两个区域中相同的情况来计算所估计的累积电荷，计算与所估计的累积电荷相对应的电信号输出值，并且基于这些计算的结果来设定像素值。
这样组合短曝光时间图像和长曝光时间图像使得可以产生没有突破高亮并且动态范围为宽的图像。
此外，日本专利申请公开No.JP-A 2000-50151公开了一种配置，该配置以与日本专利申请公开No.JP-A 2008-99158所描述的相同方式来捕获具有不同曝光量的多个图像，并且在执行组合处理时，通过对具有不同曝光量的多个图像进行比较、指定存在运动的像素区域并且执行校正来抑制与组合相关联的伪色(false color)的发生。
然而，对于日本专利申请公开No.JP-A 2008-99158和日本专利申请公开No.JP-A 2000-50151中描述的配置，需要分别捕获长曝光时间图像和短曝光时间图像并且执行将它们进行组合的处理。
这样，使用曝光时间已被改变的多个图像使得可以产生宽动态范围图像(高动态范围(HDR)图像)，但是在基于多个图像的处理中发生例如下述问题。
第一问题：必须多次执行图像捕获。
第二问题：以不同时间捕获的多个图像被组合，并且具有长曝光时间的捕获图像数据被使用，因此处理易受相机不稳定性的影响。
用于解决这些问题的已知技术例如包括下述已知技术。
用于解决第一问题的技术
以两种类型的曝光模式来设定单个固体图像捕获元件内的像素，即，具有两种不同类型的曝光时间控制的像素，短时间曝光的像素和长时间曝光的像素。该处理使得可以几乎同时捕获具有短时间曝光和长时间曝光像素的图像。
例如，这种配置在日本专利申请公开No.JP-A 2006-311240和日本专利申请公开No.JP-A 2006-253876中公开。
然而，对于这些配置，存在如下问题：曝光时间随着像素而变化，因此长曝光时间像素与短曝光时间像素相比更容易模糊，并且难以完全消除相机不稳定性的影响。
用于解决第二问题的技术
例如，“SIGGRAPH 2007：Image Deblurring with Blurred/Noisy ImagePairs”提出了一种用于从具有多个噪声的短曝光时间图像和具有模糊的长曝光时间图像来产生高质量图像的技术。然而，即使利用公开的技术，也需要执行两次图像捕获，一次具有短曝光时间并且一次具有长曝光时间。
日本专利申请公开No.JP-A 2010-109948提出了一种技术，该技术通过估计基于多个图像的运动量来校正利用宽动态范围捕获的捕获图像中的模糊。
此外，在“Coded Rolling Shutter Photography：Flexible Space-TimeSampling(ICCP2010)”中公开了一种技术，该技术基于通过每次一行地改变单个固体图像捕获元件内的曝光时间而捕获的图像数据，执行图像稳定化和组合宽动态范围图像的处理(HDR组合)。
然而，为了使得在每次一行地改变曝光时间时估计模糊量，必须通过组合具有至少三种不同曝光时间的像素来捕获图像，从而在垂直方向上引起模糊问题。此外，这里描述的技术涉及对解马赛克(demosaic)后的图像的处理，其中已为各个像素位置设定了RGB值，因此诸如拜耳(Bayer)阵列等颜色阵列未被考虑。
日本专利申请公开No.JP-A 2010-62785提出了一种技术，该技术通过实现对固体图像捕获元件的控制方法，在捕获长曝光时间图像的同时间歇性地捕获具有短曝光时间的图像。然而，存在如下问题：必须多次执行短曝光时间图像捕获，这使得控制更加复杂。
发明内容
考虑到上述问题，例如，本公开提供了在不独立捕获具有不同曝光时间的多个图像的情况下，通过使用单个捕获图像来生成动态范围为宽的图像的图像处理设备、图像处理方法和程序。
本公开还提供了生成动态范围为宽的图像并且由于不稳定性而引起的捕获图像的模糊被特别抑制的图像处理设备、图像处理方法和程序。
根据本公开的实施例，提供了一种图像处理设备，该图像处理设备包括图像捕获元件和图像校正部分，图像捕获元件基于在以像素区域为单位提供不同曝光时间的控制下的图像捕获处理，输出长曝光时间像素信息和短曝光时间像素信息，图像校正部分输入由图像捕获元件输出的像素信息，并且通过执行图像稳定化和动态范围扩充处理来生成经校正的图像。图像校正部分生成在假定所有像素已被长时间曝光的情况下设定了像素值的长曝光时间图像和在假定所有像素已被短时间曝光的情况下设定了像素值的短曝光时间图像，计算对应于长曝光时间图像的点扩散函数(PSF)作为长曝光时间图像PSF，并且通过使用短曝光时间图像、长曝光时间图像和长曝光时间图像PSF来生成经校正的图像。
此外，根据本公开的图像处理设备的一个实施例，图像校正部分计算对应于短曝光时间图像的PSF作为短曝光时间图像PSF，并且通过使用短曝光时间图像、长曝光时间图像、长曝光时间图像PSF和短曝光时间图像PSF来生成经校正的图像。
此外，根据本公开的图像处理设备的一个实施例，图像校正部分基于短曝光时间图像来生成假定长时间执行了曝光的第一估计图像，计算使得第一估计图像与长曝光时间图像之间的差异较小的第一校正量，并且通过执行向基于短曝光时间图像而生成的初始图像加上计算出的第一校正量的处理来生成经校正的图像。
此外，根据本公开的图像处理设备的一个实施例，图像校正部分执行除法处理，该除法处理取得基于从长曝光时间图像选择的特定颜色的像素值的离散傅立叶(Fourier)变换的结果并且将其除以基于从短曝光时间图像选择的特定颜色的像素值的离散傅立叶变换的结果，并且通过对除法处理的结果执行逆离散傅立叶变换并且对逆离散傅立叶变换的结果执行如下处理来计算长曝光时间图像PSF：该处理执行噪声去除并且提取经过原点的链接分量(linking component)。
此外，根据本公开的图像处理设备的一个实施例，图像校正部分执行除法处理，该除法处理取得基于从长曝光时间图像选择的特定颜色的像素值的离散傅立叶变换的结果并且将其除以基于从短曝光时间图像选择的特定颜色的像素值的离散傅立叶变换的结果，并且通过对除法处理的结果执行逆离散傅立叶变换、对逆离散傅立叶变换的结果执行进行噪声去除并提取经过原点的链接封闭区域(linking closed region)的处理、计算以原点为中心将链接原点和封闭区域的重心的线段的长度延长为其原来长度的两倍的线段作为长曝光时间图像PSF。
此外，根据本公开的图像处理设备的一个实施例，图像校正部分计算对应于短曝光时间图像的PSF作为短曝光时间图像PSF，从而计算以原点为中心将链接原点和长曝光时间图像PSF的重心的线段的长度乘以一因子而延伸后的线段作为短曝光时间图像PSF，该因子等于第二曝光条件的曝光时间与第一曝光条件的曝光时间的比率的两倍。
此外，根据本公开的图像处理设备的一个实施例，图像校正部分包括第一校正量计算部分、第二校正量计算部分和加法部分，第一校正量计算部分根据基于长曝光时间图像计算出的长曝光时间图像PSF、基于短曝光时间图像生成的初始图像以及长曝光时间图像来计算针对初始图像的第一校正量，第二校正量计算部分根据基于短曝光时间图像计算出的短曝光时间图像PSF以及初始图像来计算针对初始图像的第二校正量，加法部分针对初始图像相加第一校正量和第二校正量。
此外，根据本公开的图像处理设备的一个实施例，第一校正量计算部分包括第一估计图像计算部分、减法部分和第一校正量估计部分，第一估计图像计算部分基于初始图像和长曝光时间图像PSF来计算作为估计与长曝光时间图像类似的图像的结果的第一估计图像，减法部分计算作为长曝光时间图像与第一估计图像之间的差异的第一差异图像，第一校正量估计部分基于第一差异图像和长曝光时间图像PSF来计算第一校正量。
此外，根据本公开的图像处理设备的一个实施例，第一估计图像计算部分包括颜色特定PSF(color-specific PSF)计算部分、第一卷积计算部分和饱和处理部分，颜色特定PSF计算部分计算针对图像捕获元件的图像捕获表面的每种颜色(相位)来组合长曝光时间图像PSF的特性的第一颜色特定PSF，第一卷积计算部分利用第一颜色特定PSF为初始图像的对象像素的每种颜色执行卷积计算，饱和处理部分将第一卷积计算部分输出的结果图像的、不小于相当于图像捕获元件的饱和像素值的值的像素值替换为相当于饱和像素值的值来输出。
此外，根据本公开的图像处理设备的一个实施例，第一校正量估计部分包括相反颜色特定PSF(inverse color-specific PSF)计算部分、第二卷积计算部分和乘法部分，相反颜色特定PSF计算部分计算其中已相对于一个点而对称地反转了长曝光时间图像PSF的第一相反颜色特定PSF，第二卷积计算部分利用第一相反颜色特定PSF针对第一差异图像的对象像素的每种颜色执行卷积计算，乘法部分通过将从第二卷积计算部分输出的结果图像乘以校正量调节参数来执行校正量调节。
此外，根据本公开的图像处理设备的一个实施例，图像校正部分包括解马赛克处理部分和图像校正部分，解马赛克处理部分对长曝光时间图像和短曝光时间图像执行解马赛克处理，图像校正部分基于作为解马赛克处理部分的处理结果的解马赛克图像来生成经校正的图像。
此外，根据本公开的另一实施例，提供了一种在图像处理设备中实现的图像处理方法，包括：利用图像捕获元件基于在为各个像素提供不同曝光时间的控制下的图像捕获处理来输出长曝光时间像素信息和短曝光时间像素信息；以及利用图像校正部分通过输入由图像捕获元件输出的像素信息并且对像素信息执行图像稳定化和动态范围扩充处理来生成经校正的图像。生成经校正的图像包括：生成在假定所有像素已被长时间曝光的情况下设定了像素值的长曝光时间图像并且生成在假定所有像素已被短时间曝光的情况下设定了像素值的短曝光时间图像；计算对应于长曝光时间图像的点扩散函数(PSF)作为长曝光时间图像PSF；以及通过使用短曝光时间图像、长曝光时间图像和长曝光时间图像PSF来生成经校正的图像。
此外，根据本公开的另一实施例，提供了一种使得在图像处理设备中执行图像处理的程序，包括：利用图像捕获元件基于在为各个像素提供不同曝光时间的控制下的图像捕获处理来输出长曝光时间像素信息和短曝光时间像素信息；以及利用图像校正部分通过输入由图像捕获元件输出的像素信息并且对像素信息执行图像稳定化和动态范围扩充处理来生成经校正的图像。生成经校正的图像包括：生成在假定所有像素已被长时间曝光的情况下设定了像素值的长曝光时间图像并且生成在假定所有像素已被短时间曝光的情况下设定了像素值的短曝光时间图像；计算对应于长曝光时间图像的点扩散函数(PSF)作为长曝光时间图像PSF；以及通过使用短曝光时间图像、长曝光时间图像和长曝光时间图像PSF来生成经校正的图像。
注意，根据本公开的程序是可以为例如能够执行各种类型的程序代码的信息处理设备或者计算机系统以计算机可读形式提供的设在存储介质或者通信介质中的程序。以计算机可读形式提供这种程序使得可以根据信息处理设备或者计算机系统中的程序来实现处理。
稍后将通过基于本公开的实施例和附图的更详细说明来使得本公开的目的、特征和优点变得清楚。
根据本公开的示例，实现了基于单个捕获图像来生成具有减少的模糊和宽动态范围的图像的设备和方法。具体地，该设备包括基于在为各个像素提供不同曝光时间的控制下的图像捕获处理来输出长曝光时间像素信息和短曝光时间像素信息的图像捕获元件，并且还包括输入由图像捕获元件输出的像素信息并且通过执行图像稳定化和动态范围扩充处理来生成经校正的图像的图像校正部分。
图像校正部分生成在假定所有像素已被长时间曝光的情况下设定了像素值的长曝光时间图像和在假定所有像素已被短时间曝光的情况下设定了像素值的短曝光时间图像，计算对应于长曝光时间图像的点扩散函数(PSF)作为长曝光时间图像PSF，并且通过使用短曝光时间图像、长曝光时间图像和长曝光时间图像PSF来生成经校正的图像。经校正的图像被生成为宽动态范围图像，其利用了长曝光时间图像的像素信息和短曝光时间图像的像素信息。利用其中存在很少模糊的短曝光时间图像的像素信息还使得经校正的图像是抑制了模糊的高质量经校正图像。
附图说明
图1是说明通过组合具有不同曝光量的多个图像来产生宽动态范围图像的处理的示图；
图2是示出根据本公开的图像处理设备的配置示例的示图；
图3是说明根据本公开的图像处理设备中的图像捕获元件的配置和处理的示例的示图；
图4是说明根据本公开的图像处理设备中的图像校正部分的配置示例的示图；
图5是说明根据本公开的图像处理设备中的图像校正部分的插值处理部分的处理示例的示图；
图6是说明根据本公开的图像处理设备中的图像校正部分的PSF估计部分的配置和处理的示例的示图；
图7是说明根据本公开的图像处理设备中的图像校正部分的PSF估计部分的配置和处理的示例的示图；
图8是说明根据本公开的图像处理设备中的图像校正部分的图像稳定化和动态范围扩充处理部分的配置和处理的示例的示图；
图9是说明根据本公开的图像处理设备中的图像校正部分的图像稳定化和动态范围扩充处理部分的配置和处理的另一示例的示图；
图10是说明根据本公开的图像处理设备中的图像校正部分的图像稳定化和动态范围扩充处理部分的第一校正量计算部分的配置和处理的示例的示图；
图11是说明根据本公开的图像处理设备中的图像校正部分的图像稳定化和动态范围扩充处理部分的颜色特定PSF和相反颜色特定PSF生成部分的配置和处理的示例的示图；
图12是说明根据本公开的图像处理设备中的图像校正部分的图像稳定化和动态范围扩充处理部分的配置和处理的另一示例的示图；
图13是说明根据本公开的图像处理设备中的图像捕获元件的另一配置示例的示图；并且
图14是说明根据本公开的图像处理设备中的曝光控制示例的示图。
具体实施方式
下面将参考附图来详细描述本公开的优选实施例。注意，在该说明书和附图中，用相同标号表示具有基本相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。
下面将参考附图来说明根据本公开的图像处理设备、图像处理方法和程序。说明将按顺序覆盖以下各项。
1.图像处理设备的整体配置的示例
2.图像捕获元件的配置的示例
3.图像校正部分的配置和处理的细节
(3-1)插值处理部分的配置和执行的处理的细节
(3-2)PSF估计部分的配置和执行的处理的细节
(3-3)图像稳定化和动态范围扩充处理部分的配置和执行的处理的细节
4.其他配置的示例
5.其他处理和相伴随的配置及其效果的示例
6.本公开的配置的总结
1.图像处理设备的整体配置的示例
首先将参考图2说明根据本公开的图像处理设备的整体配置的示例。
图2是示出作为根据本公开的图像处理设备的示例的图像捕获设备的配置的框图。通过光学镜头101进入的光入射到图像捕获元件102上，图像捕获元件102例如由CMOS图像传感器等构成，在图像捕获元件102处，光经历光电转换并且图像数据被输出。输出的图像数据被输入到图像校正部分103。
注意，图像捕获元件102的配置如下：在控制部分105的控制下，以每次一行和每次一个像素之一的方式来循环控制曝光时间和读取时间之一，使得长曝光时间像素和短曝光时间像素被限定。
图像校正部分103执行包括动态范围扩充处理和图像稳定化处理的图像校正处理。将在稍后的阶段详细说明该处理的细节。图像校正部分103生成的经校正图像被输入到信号处理部分104。信号处理部分104执行在相机中一般执行的诸如白平衡(WB)调节、伽玛校正等信号处理，然后生成输出图像120。输出图像120存储在图中未示出的存储部分中。或者，输出图像120被输出到显示部分。
控制部分105向各个部分输出控制信号并且根据例如存储在存储器(图中未示出)中的程序来执行各种类型的处理控制。
2.图像捕获元件102的配置的示例
例如由CMOS图像传感器等构成的图像捕获元件102的曝光时间和读取时间之一由控制部分105以每次一行和每次一个像素之一的方式循环控制。
具体地，例如如图3的部分(a)中所示，长曝光时间像素和短曝光时间像素被限定。
注意，在本示例中，图像捕获元件102的像素阵列被定义为拜耳阵列。然而，这仅仅是一个示例，根据本公开的处理也可应用于其他像素阵列。
图3的部分(b)示出了用于长曝光时间像素和短曝光时间像素的曝光开始时间和曝光结束时间的设定的示例。
在本示例中，长曝光时间像素和短曝光时间像素的曝光时间的比率是4∶1，并且曝光开始时间被设定为不同的时间，而曝光结束时间(读取时间)被设定为相同的。
注意，这些设定仅仅是示例，也可以作出各种其他设定。
然而，图像捕获元件102具有能够从以下像素获取像素信息的配置：已经针对单轮的图像捕获为这些像素设定了多个不同曝光时间。
3.图像校正部分103的配置和处理的细节
接下来，将参考图4和随后的图来说明图像校正部分103的配置和处理的细节。
如上面参考图2所说明的，图像捕获元件102的包含为其设定了多个不同曝光时间的像素的输出被输入到图像校正部分103，在图像校正部分103，经校正的图像被生成并输出到信号处理部分104，其中已经为经校正的图像扩充了动态范围并且执行了图像稳定化。
如图4所示，图像校正部分103包括插值处理部分201、PSF估计部分202以及图像稳定化和动态范围扩充处理部分203。下面将以下示顺序来说明这些结构部分所执行的处理的细节。
(3-1)插值处理部分201的配置和执行的处理的细节
(3-2)PSF估计部分202的配置和执行的处理的细节
(3-3)图像稳定化和动态范围扩充处理部分203的配置和执行的处理的细节
(3-1)插值处理部分201的配置和执行的处理的细节
首先将说明图4所示的插值处理部分201的配置和执行的处理的细节。
如图4所示，图像捕获元件102的输出被输入到图像校正部分103的插值处理部分201。
将参考图5来说明插值处理部分201中的处理。
插值处理部分201从图像捕获元件102输入以每次一个像素的方式设定了不同曝光时间的输出图像301，并且插值处理部分201生成两个曝光时间图像，第一曝光时间图像(长曝光时间图像)321和第二曝光时间图像(短曝光时间图像)322。
插值处理部分201执行插值处理以使得为所有像素形成各种曝光模式。在插值处理中可以应用各种插值方法，例如利用滤波器进行插值的方法(例如线性插值等)、检测图像中的边缘的方向并且基于这些边缘进行插值的方法等等。
例如，第一曝光时间图像(长曝光时间图像)321以来自图像捕获元件102的输出图像301中包含的长曝光时间像素的现有形式使用这些长曝光时间像素。当在图像捕获元件102中的短曝光时间像素的位置当中插值长曝光时间像素时，可以执行如下处理：基于周围的长曝光时间像素的像素值，通过前述利用滤波器进行插值的方法(例如线性插值等等)来计算插值像素值。也可以通过检测图像中的边缘的方向、然后通过向像素值的差异为低的方向上的像素值分配更大的权重考虑这些边缘的方向来计算插值像素值。
第二曝光时间图像(短曝光时间图像)322以来自图像捕获元件102的输出图像301中包含的短曝光时间像素的现有形式使用这些短曝光时间像素。当在图像捕获元件102中的长曝光时间像素的位置当中插值短曝光时间像素时，可执行如下处理：基于周围的短曝光时间像素的像素值，通过前述利用滤波器进行插值的方法(例如线性插值等等)来计算插值像素值。也可以通过检测图像中的边缘的方向、然后通过向像素值的差异为低的方向上的像素值分配更大的权重考虑这些边缘的方向来计算插值像素值。
通过对来自图像捕获元件102的输出图像301执行插值处理，如图5所示，插值处理部分201生成具有长曝光时间拜耳阵列的第一曝光时间图像(长曝光时间图像)321和具有短曝光时间拜耳阵列的第二曝光时间图像(短曝光时间图像)322。
如图4所示，插值处理部分201以两个不同曝光时间生成的图像321、322被输入到PSF估计部分202以及图像稳定化和动态范围扩充处理部分203。
(3-2)PSF估计部分202的配置和执行的处理的细节
接下来，将说明图4所示的PSF估计部分202的配置和执行的处理的细节。
PSF估计部分202执行估计点扩散函数(PSF)的处理。
将参考图6和图7来说明PSF估计部分202执行的处理。
图6示出PSF估计部分202的前半部分，图7示出PSF估计部分202的后半部分。
首先将参考图6说明PSF估计部分202的前半部分。
如图6所示，PSF估计部分202输入由插值处理部分201生成的两个图像，即，第一曝光时间图像(长曝光时间图像)321和第二曝光时间图像(短曝光时间图像)322。
第一像素选择部分351从第一曝光时间图像(长曝光时间图像)321只提取G像素。
第二像素选择部分361从第二曝光时间图像(短曝光时间图像)322只提取G像素。
在提取G像素的处理中，除了G像素之外的像素的像素值被设定为零。
曝光校正部分362通过将从第二曝光时间图像(短曝光时间图像)322提取的G像素数据乘以曝光比率，生成与第一曝光时间图像321具有几乎相同亮度的图像。这将在稍后阶段详细说明。
注意，在普通情形下，需要通过使用双线性插值(bilinearinterpolation)等在所有像素当中插值G像素，但是该处理等价于在傅立叶变换之后应用低通滤波，因此在本示例中，通过改为在离散傅立叶变换之后消除高频分量来降低计算的成本。
只包括G像素的像素值的数据被输出到第一和第二离散傅立叶变换部分352、363。
注意，如稍后将描述的，来自作为短曝光时间图像的第二曝光时间图像322的G像素在曝光校正部分362中的曝光校正之后被输出到第二离散傅立叶变换部分363。
第一和第二离散傅立叶变换部分352、363各自利用窗口函数执行离散傅立叶变换。
第一离散傅立叶变换部分352基于从第一曝光时间图像(长曝光时间图像)321生成的G像素数据来计算长曝光时间G像素傅立叶变换结果。
第二离散傅立叶变换部分363基于通过对第二曝光时间图像(短曝光时间图像)322执行曝光校正而生成的G像素数据来计算短曝光时间G像素傅立叶变换结果。
傅立叶变换结果被输出到PSF估计计算部分371。
PSF估计计算部分371计算两个傅立叶变换结果的商。即，如下所示地计算商。
商＝(长曝光时间G像素傅立叶变换结果)/(短曝光时间G像素傅立叶变换结果)
商被输出到低通滤波部分372。
低通滤波部分372执行将商中包括的高频分量设定为零的处理。消除了高频的结果被输出到逆离散傅立叶变换部分373。
逆离散傅立叶变换部分373计算逆离散傅立叶变换。
逆离散傅立叶变换部分373生成的逆离散傅立叶变换结果被输出到噪声去除和封闭区域选择部分374。
噪声去除和封闭区域选择部分374从逆离散傅立叶变换部分373生成的逆离散傅立叶变换结果中去除噪声，选择封闭区域，执行PSF估计，并且生成第一PSF(长曝光时间图像PSF)381。
将说明PSF估计部分202中的处理的具体示例。
假定构成图像的像素的位置被表示为坐标位置(x，y)，f(x，y)定义第二曝光时间图像(短曝光时间图像)322中各个像素位置(x，y)处的像素值，g(x，y)定义第一曝光时间图像(长曝光时间图像)321中各个像素位置(x，y)处的像素值，并且p(x，y)定义各个像素为止(x，y)处的PSF(点扩散函数)的值。
然而，为了此说明的目的，f(x，y)和g(x，y)被假定为单色图像而不是拜耳阵列，并且像素的饱和(突破)被忽略。第一曝光时间图像(长曝光时间图像)321受相机不稳定性的影响，因此被如下所示地表示。
注意，星号(*)表示卷积计算。
式1
g(x，y)＝p(x，y)*f(x，y)
换言之，第一曝光时间图像(长曝光时间图像)321中各个像素位置(x，y)处的像素值g(x，y)是通过执行PSF和第二曝光时间图像(短曝光时间图像)322的卷积计算而计算的。
用于第二曝光时间图像(短曝光时间图像)322的f(x，y)、用于第一曝光时间图像(长曝光时间图像)321的g(x，y)和用于PSF的p(x，y)的离散傅立叶变换的结果被如下所述地表示。
用于第二曝光时间图像(短曝光时间图像)322的f(x，y)的离散傅立叶变换结果是F(u，v)。用于第一曝光时间图像(长曝光时间图像)321的g(x，y)的离散傅立叶变换结果是G(u，v)。用于PSF的p(x，y)的离散傅立叶变换结果是P(u，v)。
当使用离散傅立叶变换结果时，上面的式1可被表示为下面的式2。
式2
G(u，v)＝P(u，v)·F(u，v)
注意，“·”表示每个频率分量的乘法。
换言之，用于第一曝光时间图像(长曝光时间图像)321的g(x，y)的离散傅立叶变换结果G(u，v)是通过以每次一个频率分量的方式将用于PSF的p(x，y)的离散傅立叶变换结果P(u，v)乘以用于第二曝光时间图像(短曝光时间图像)322的f(x，y)的离散傅立叶变换结果而计算的。
基于式1和式2，可以用式3来计算用于PSF的p(x，y)。
式3
P(u，v)＝G(u，v)/F(u，v)
根据式3计算p(x，y)的离散傅立叶变换结果P(u，v)，并且也可以计算所计算出的离散傅立叶变换结果P(u，v)的逆离散傅立叶变换。
注意，上面的式3中的“/”表示每个频率分量的除法。
该过程使得可以得出用于第二曝光时间图像(短曝光时间图像)322的f(x，y)和用于第一曝光时间图像(长曝光时间图像)321的g(x，y)，并且用于PSF(点扩散函数)的p(x，y)也可以利用这些结果来得出。
然而，短曝光时间图像和长曝光时间图像的图像亮度实际上是不同的，因此考虑这样的情形：在短曝光时间图像中可以看到的区域在长曝光时间图像中完全饱和并且被突破。在这种情况下，上面的式1由于饱和的影响而无效了。
因此，在曝光校正部分曝光校正部分362中实际上执行如下处理：将从第二曝光时间图像(短曝光时间图像)322生成的G像素数据乘以曝光比率(在本公开的示例中是4)，然后把大于饱和像素值的像素值替换为饱和像素值。在通过该处理而产生的G像素数据中并且在从第一曝光时间图像(长曝光时间图像)321生成的G像素数据中，饱和像素的位置几乎完全匹配，因此可以消除像素饱和的影响。
此外，与式3所示的技术中一样，噪声的影响仅在通过频率空间执行除法的处理中是显著的，并且在用于第二曝光时间图像(短曝光时间图像)322的f(x，y)的离散傅立叶变换结果F(u，v)接近为零的情况下，式3变成除以零的情况。即，如图6所示，在逆离散傅立叶变换部分373中通过上面的式3计算的结果变成包括大量噪声的PSF。
因此，在根据本公开的图像捕获设备中，通过考虑图像捕获设备的如下属性来执行处理：在第一曝光条件下捕获的像素和在第二曝光条件下捕获的像素几乎是同时捕获的并且存在相机不稳定性的PSF处于相耦合的形状，并且小量的高频噪声不被包括。
从参考图3的部分(b)说明的曝光时间可以了解，第一曝光时间图像(长曝光时间图像)321在第二曝光时间图像(短曝光时间图像)322的曝光时段期间被曝光。这意味着基于具有重叠曝光时段的两个图像而生成的PSF将必定通过原点。
图6所示的噪声去除和封闭区域选择部分374在输入通过上面的式3在逆离散傅立叶变换部分373中计算的结果时利用此点，从输入中去除高频噪声，并且选择经过原点的封闭区域。正规化部分(normalizationportion)375执行正规化处理，以使得所选封闭区域中的像素值的和将等于曝光比率(在本公开的示例中是4.0)。结果在很少量噪声的情况下生成第一PSF(长曝光时间图像PSF)381。
接下来，将参考图7说明PSF估计部分202的后半部分。
在PSF估计部分202的后半部分中，通过假定PSF具有线性形状来计算更高精度的第一PSF(长曝光时间图像PSF)和第二PSF(短曝光时间图像PSF)。
在参考图6说明的PSF估计部分202的前半部分中生成的第一PSF(长曝光时间图像PSF)381被输入，并且PSF的重心被重心检测部分401检测。因为PSF的形状被假定为线性的，所以在正常情形下，链接原点和重心的线段变成被以原点为中心延长为其原来长度两倍的线段。因此，在PSF校正处理部分402中，通过执行生成以原点为中心延长为其原来长度两倍的线段的计算，生成第一高精度PSF 421。
第二PSF(短曝光时间图像PSF)422的长度变为通过将第一PSF(长曝光时间图像PSF)381乘以曝光比率而计算出的数据。因此，在第二PSF计算部分403中，通过将链接原点和第一PSF(长曝光时间图像PSF)381的重心的线段乘以下式的结果来生成以原点为中心而延长的线段。
2×(第二曝光条件的曝光时间)÷(第一曝光条件的曝光时间)该结果被输出作为第二PSF(短曝光时间图像PSF)422。
(3-3)图像稳定化和动态范围扩充处理部分203的配置和执行的处理的细节
接下来，将说明图4所示的图像稳定化和动态范围扩充处理部分203的配置和执行的处理的细节。
图像稳定化和动态范围扩充处理部分203基于具有少量模糊的第二曝光时间图像(短曝光时间图像)322来设定初始图像，计算使得在实际观察到的图像与已经通过PSF而模糊了初始图像的估计图像之间存在较小差异的校正量，并且更新初始图像。
该处理能够扩充动态范围，同时在初始图像的阴暗区域中去除噪声并改善灰度水平的恶化，并且消除相机不稳定性的影响。
将说明该处理的具体示例。
当利用基于第一曝光时间图像(长曝光时间图像)321计算出的第一校正量来更新初始图像时，执行下面的计算。
式4
h’(x，y)＝h(x，y)+λp’(x，y)*{g(x，y)-p(x，y)*h(x，y)}
注意，在上面的式4中，p’(x，y)是通过相对于一个点来对称地反转PSF而得到的相反PSF(inverse PSF)，λ是用于调节的参数(预先设定或者由用户设定的参数)，h(x，y)是是初始图像，h’(x，y)是作为校正结果的更新后初始图像，并且*表示卷积计算。
上面的式4是在不对颜色进行区分的情况下表示的，但实际上，稍后将描述的卷积计算是针对对象像素的每种颜色(相位)通过使用颜色特定PSF和相反颜色特定PSF而执行的。
将参考图8说明图像稳定化和动态范围扩充处理部分203的详细配置及其执行的处理。
图像稳定化和动态范围扩充处理部分203从参考图4和图5说明的插值处理部分201输入由插值处理部分201生成的两个图像，第一曝光时间图像(长曝光时间图像)321和第二曝光时间图像(短曝光时间图像)322。
首先，针对所输入的图像321、322，图像稳定化和动态范围扩充处理部分203分别在第一和第二比特移位部分511和521中执行构成像素值的比特移位。比特移位产生了具有高比特灰度水平的第一高等级(gradation)图像512和第二高等级图像522。
例如，在输入图像(即，第一曝光时间图像(长曝光时间图像)321和第二曝光时间图像(短曝光时间图像)322)中的像素值是10比特数据的形式的情况下，第一和第二比特移位部分511和521将图像中的各个像素值设定为16比特的数据。
与基于第二曝光时间图像(短曝光时间图像)322生成的第二高等级图像522相比，图8所示的初始图像551最初使用已通过噪声去除部分531执行了噪声去除的图像。
接下来，在第一校正量计算部分532中，根据基于第一曝光时间图像(长曝光时间图像)321计算出的第一高等级图像512、由PSF估计部分202生成的第一PSF(长曝光时间图像PSF)381和初始图像551来计算第一校正量。
将在稍后的阶段更详细地描述第一校正量计算部分532执行的校正量计算处理。
注意，也可以使用参考图7说明的第一高精度PSF 421来代替第一PSF(长曝光时间图像PSF)381。
在第二校正量计算部分533中，同样根据基于第二曝光时间图像(短曝光时间图像)322计算出的第二高等级图像522、由PSF估计部分202生成的第二PSF(短曝光时间图像PSF)422和初始图像551来计算第二校正量。
接下来，在加法部分534中，第一校正量和第二校正量被加到初始图像551以产生经校正的输出图像552。
注意，经校正的输出图像552也可被设定为初始图像551，相同的处理可被重复，并且经校正的输出图像552可被连续更新以最终生成最终经校正输出图像552。
注意，如先前所述，在第一校正量计算部分532中的计算与第一曝光时间图像(长曝光时间图像)321相对应的第一校正量的处理中，可以使用参考图6说明的在PSF估计部分202中生成的第一PSF(长曝光时间图像PSF)381和参考图7说明的在PSF估计部分202中生成的第一高精度PSF 421中的任一者。
此外，噪声去除部分531是增加的处理，也可以配置图像稳定化和动态范围扩充处理部分203使得噪声去除部分531被省略。
注意，在确定作为短曝光时间图像的第二曝光时间图像322的曝光时间足够短以使得第二曝光时间图像322中不存在模糊的情况下，也可以配置图像捕获设备来使得早先参考图7说明的在PSF估计部分202中对第二PSF(短曝光时间图像PSF)422的计算和图8所示的图像稳定化和动态范围扩充处理部分203中的第二校正量计算部分533被省略。
在这种情况下，图像稳定化和动态范围扩充处理部分203例如可如图9所示地配置。
注意，在图9中省略了噪声去除部分。
作为图8所示的图像稳定化和动态范围扩充处理部分203中的处理结果而产生的经校正的输出图像552被输出到图2所示的信号处理部分104。
通过在必要时执行灰度水平校正、解马赛克、伽玛校正等等，信号处理部分104生成并输出最终输出图像120。
第一校正量计算部分532的细节
接下来，将参考图10和图11说明图8所示的第一校正量计算部分532的细节。
注意，第二校正量计算部分533也具有相同配置。
首先，根据图像捕获元件102中的颜色阵列在颜色特定PSF和相反颜色特定PSF生成部分701中生成第一颜色特定PSF 711和第一相反颜色特定PSF 712。
注意，“颜色特定”(相位特定)意味着在拜耳阵列的情况下，生成PSF来对应于三种RGB颜色，以使得生成对应于R的PSF和相反PSF、对应于G的PSF和相反PSF以及对应于B的PSF和相反PSF。
第一颜色特定PSF 711被输入到第一卷积计算部分702。
第一卷积计算部分702利用与基于第二曝光时间图像(短曝光时间图像)322生成的初始图像551(参考图8)中的对象像素的颜色相对应的第一颜色特定PSF 711来执行卷积计算。
第一卷积计算部分702生成的卷积计算结果被输出到饱和处理部分703。
饱和处理部分703输入由第一卷积计算部分702生成的卷积计算结果，并且执行取得不小于预定阈值的像素值并且使这些像素值饱和到该阈值的饱和处理。
该处理生成图像(第一估计图像721)，该图像是当在第一曝光条件(长曝光时间)下捕获图像时可以预测到将会基于初始图像551和第一PSF(长曝光时间图像PSF)381而产生的。
第一校正量计算部分532计算使得第一估计图像721与插值处理部分201产生的第一曝光时间图像(长曝光时间图像)321之间的差异将变得更小的第一校正量。
减法部分704生成第一差异图像722，第一差异图像722定义了第一估计图像721与插值处理部分201生成的第一曝光时间图像(长曝光时间图像)321之间的差异。
减法部分704通过执行从插值处理部分201生成的第一曝光时间图像(长曝光时间图像)321中的响应像素值中减去第一估计图像721的像素值的处理，来产生第一差异图像722。
接下来，第二卷积计算部分705针对顺次选择的对象像素的各个颜色(R、G、B)，利用第一相反颜色特定PSF 712来执行卷积计算。
最后，由乘法部分706产生第一校正量，乘法部分706将来自第二卷积计算部分705的计算结果乘以校正量调节参数731。
预定的值和用户设定的值之一可被用作校正量调节参数731。
接下来，将参考图11说明颜色特定PSF和相反颜色特定PSF生成部分701的详细配置及其处理。
在该处理中，为了以图像捕获元件102的颜色阵列(本示例中为拜耳阵列)的现有形式来执行该颜色阵列的图像稳定化，计算属性与固体图像捕获元件的颜色(相位)相匹配的颜色特定PSF 821、822。
同时，计算相对于一个点而对称地反转颜色特定PSF的相反颜色特定PSF 823、824。
首先，在第一像素选择部分802中提取输入到颜色特定PSF和相反颜色特定PSF生成部分701的第一PSF(长曝光时间图像PSF)381中的每种颜色(相位)(R、G、B)的像素。例如在拜耳阵列的情况下，以棋盘图盘来提取G像素，并且为每一个第二像素提取R和B像素。
此后，在第一和第二正规化部分804a、804b中执行处理，该处理根据初始图像551和第一曝光时间图像(长曝光时间图像)321的曝光比率来执行正规化。
在本示例中，如先前参考图3说明的，短曝光时间与长曝光时间的曝光比率是1∶4，因此执行使得颜色特定PSF 821、822各自是4.0的正规化。
此外，在反转部分801中，相对于一个点来对称地反转第一PSF(长曝光时间图像PSF)381，并且在第二像素选择部分803中，提取与各个颜色(R、G、B)相对应的像素。然后，在第三和第四正规化部分804c、804d中，通过执行正规化以使得总值是曝光比率的倒数(即，0.25)来输出相反颜色特定PSF 823、824。
4.其他配置的示例
接下来，将说明不同于上面描述的示例的其他配置的示例。
如先前说明的，在第二曝光条件的曝光时间(短曝光时间)足够短以使得捕获的图像中不存在模糊的情况下，可以将图像捕获设备配置为：在图7所示的PSF估计部分202中生成第二PSF(短曝光时间图像PSF)422的处理和图8所示的图像稳定化和动态范围扩充处理部分203中的第二校正量计算部分533被省略，如图9所示。
此外，以拜耳阵列的现有形式来组合拜耳阵列的技术在图8中示出作为配置的一个示例，但是也可以首先执行解马赛克处理，然后对设定了与各个像素位置相对应的RGB像素值的图像执行处理。
图像稳定化和动态范围扩充处理部分203的示例在图12中示出，其中首先执行解马赛克处理，然后执行图像稳定化和动态范围扩充处理。
首先，如图12所示，由插值处理部分201生成的图像(即，第一曝光时间图像(长曝光时间图像)321和第二曝光时间图像(短曝光时间图像)322)被分别输入到第一和第二解马赛克处理部分901、902。
第一和第二解马赛克处理部分901、902分别对第一曝光时间图像(长曝光时间图像)321和第二曝光时间图像(短曝光时间图像)322执行解马赛克处理，从而将它们转换成针对各个像素位置设定了三种RGB颜色的图像。
随后的处理基本上执行与先前参考图8说明的处理相同种类的处理，分别针对R、G和B图像执行处理。然而，已针对所有像素位置设定了三种RGB颜色，因此不必使用颜色特定PSF和相反颜色特定PSF。
此外，利用与亮度信号相比在颜色差异信号中更少地注意到模糊这一特性，通过将RGB图像转换成YCbCr空间并且仅对Y信号执行处理，可以减少计算量。
例如用作图像捕获元件102的CMOS图像传感器的像素阵列中的长曝光时间像素和短曝光时间像素的设定示例早先参考图3进行了说明。
图3所示的样式仅仅是一个示例，并且可以设定各种其他类型的像素样式。可以通过将图像捕获设备设计为使得插值处理部分201和颜色特定PSF和相反颜色特定PSF生成部分701在像素阵列中相组合来应用本技术。
例如，本技术可以应用于具有图13的部分(A)和(B)所示的像素阵列的图像传感器，以及具有如图13的部分(C)所示的作为非拜耳阵列的滤色器的图像传感器。此外，在参考图3的部分(b)说明的曝光控制的示例中，实现了使得两个曝光模式的曝光结束时间相同的控制，但是也可以使用不同的曝光时间，并且可以执行使得曝光开始时间相同并且曝光结束时间不同的控制，例如如图14所示。
5.其他处理和相伴随的配置及其效果的示例
作为本公开的图像处理设备(图像捕获设备)，上面提出了一种通过实现对图像捕获元件(图像传感器)的曝光控制和对图像捕获元件的输出的处理来通知执行动态范围扩充和图像稳定化的技术。根据本公开的技术也可以与已知的光学图像稳定化来结合使用。
总结本公开的配置及其效果，例如获得下述效果。
·通过信号处理可以从单个捕获图像产生具有扩充的动态范围的稳定图像。这意味着产生了如下图像：从阴暗区域到明亮区域存在很少噪声，并且模糊的影响被抑制。
·上面描述的图像处理也可以应用于比已知的控制方法具有更简单的像素阵列和控制方法的固体图像捕获元件。具体地，可以对与“CodedRolling Shutter Photography Flexible Space-Time Sampling”(ICCP2010)中相比具有更少曝光条件(两个)的像素阵列执行处理，并且也可以更简单且容易地配置曝光控制。
·输入图像和输出图像的颜色阵列可以作为现有的拜耳阵列来处理，因此与现有相机信号的兼容性很高。
6.本公开的配置的总结
本领域技术人员应当了解，取决于涉及要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们在权利要求或其等同物的范围内即可。
另外，本技术也可被如下配置。
(1)一种图像处理设备，包括：
图像捕获元件，该图像捕获元件基于在为各个像素提供不同曝光时间的控制下的图像捕获处理，输出长曝光时间像素信息和短曝光时间像素信息；以及
图像校正部分，该图像校正部分输入由图像捕获元件输出的像素信息，并且通过执行图像稳定化和动态范围扩充处理来生成经校正的图像，
其中，图像校正部分
生成长曝光时间图像和短曝光时间图像，在长曝光时间图像中，像素值是在假定所有像素已被长时间曝光的情况下设定的，在短曝光时间图像中，像素值是在假定所有像素已被短时间曝光的情况下设定的，
计算对应于长曝光时间图像的点扩散函数(PSF)作为长曝光时间图像PSF，并且
通过使用短曝光时间图像、长曝光时间图像和长曝光时间图像PSF来生成经校正的图像。
(2)根据(1)所述的图像处理设备，
其中，所述图像校正部分
计算对应于短曝光时间图像的PSF作为短曝光时间图像PSF，并且
通过使用短曝光时间图像、长曝光时间图像、长曝光时间图像PSF和短曝光时间图像PSF来生成经校正的图像。
(3)根据(1)或(2)所述的图像处理设备，
其中，所述图像校正部分基于短曝光时间图像来生成假定长时间执行了曝光的第一估计图像，计算使得第一估计图像与长曝光时间图像之间的差异较小的第一校正量，并且通过执行向基于短曝光时间图像而生成的初始图像加上计算出的第一校正量的处理来生成经校正的图像。
(4)根据(1)至(3)中任一项所述的图像处理设备，
其中，所述图像校正部分
执行除法处理，该除法处理取得基于从长曝光时间图像选择的特定颜色的像素值的离散傅立叶变换的结果，并且将其除以基于从短曝光时间图像选择的特定颜色的像素值的离散傅立叶变换的结果，并且
通过对除法处理的结果执行逆离散傅立叶变换并且对逆离散傅立叶变换的结果执行如下处理来计算长曝光时间图像PSF：该处理执行噪声去除并且识别经过原点的链接分量。
(5)根据(1)至(4)中任一项所述的图像处理设备，
其中，所述图像校正部分
执行除法处理，该除法处理取得基于从长曝光时间图像选择的特定颜色的像素值的离散傅立叶变换的结果，并且将其除以基于从短曝光时间图像选择的特定颜色的像素值的离散傅立叶变换的结果，并且
通过对除法处理的结果执行逆离散傅立叶变换、对逆离散傅立叶变换的结果执行进行噪声去除并识别经过原点的链接封闭区域的处理、以原点为中心将链接原点和封闭区域的重心的线段的长度延长为其原来长度的两倍、并且将延长后的线段定义为长曝光时间图像PSF，来计算长曝光时间图像PSF。
(6)根据(1)至(5)中任一项所述的图像处理设备，
其中，所述图像校正部分
计算对应于短曝光时间图像的PSF作为短曝光时间图像PSF，从而通过以原点为中心将链接原点和长曝光时间图像PSF的重心的线段长度乘以一因子来计算短曝光时间图像PSF，该因子等于第二曝光条件的曝光时间与第一曝光条件的曝光时间的比率的两倍。
(7)根据(1)至(6)中任一项所述的图像处理设备，
其中，所述图像校正部分包括
第一校正量计算部分，该第一校正量计算部分从基于长曝光时间图像计算出的长曝光时间图像PSF、基于短曝光时间图像计算出的初始图像以及长曝光时间图像来为初始图像计算第一校正量，
第二校正量计算部分，该第二校正量计算部分从基于短曝光时间图像计算出的短曝光时间图像PSF以及初始图像来为初始图像计算第二校正量，以及
加法部分，该加法部分为初始图像把第一校正量和第二校正量相加。
(8)根据(1)至(7)中任一项所述的图像处理设备，
其中，所述第一校正量计算部分包括
第一估计图像计算部分，该第一估计图像计算部分基于初始图像和长曝光时间图像PSF来计算作为估计与长曝光时间图像类似的图像的结果的第一估计图像，
减法部分，该减法部分计算作为长曝光时间图像与第一估计图像之间的差异的第一差异图像，以及
第一校正量估计部分，该第一校正量估计部分基于第一差异图像和长曝光时间图像PSF来计算第一校正量。
(9)根据(1)至(8)中任一项所述的图像处理设备，
其中，所述第一估计图像计算部分包括
颜色特定PSF计算部分，该颜色特定PSF计算部分计算针对图像捕获元件的图像捕获表面的每种颜色(相位)来组合长曝光时间图像PSF的特性的第一颜色特定PSF，
第一卷积计算部分，该第一卷积计算部分利用第一颜色特定PSF为初始图像的对象像素的每种颜色执行卷积计算，以及
饱和处理部分，该饱和处理部分取得从第一卷积计算部分输出的结果图像，并且通过将不小于等同于图像捕获元件的饱和像素值的值的像素值替换为等同于饱和像素值的值来输出图像。
(10)根据(1)至(9)中任一项所述的图像处理设备，
其中，所述第一校正量估计部分包括
相反颜色特定PSF计算部分，该相反颜色特定PSF计算部分计算其中已相对于一个点而对称地反转了长曝光时间图像PSF的第一相反颜色特定PSF，
第二卷积计算部分，该第二卷积计算部分利用第一相反颜色特定PSF针对第一差异图像的对象像素的每种颜色执行卷积计算，以及
乘法部分，该乘法部分通过将从第二卷积计算部分输出的结果图像乘以校正量调节参数来执行校正量调节。
(11)根据(1)至(10)中任一项所述的图像处理设备，
其中，所述图像校正部分包括
解马赛克处理部分，该解马赛克处理部分对长曝光时间图像和短曝光时间图像执行解马赛克处理，以及
图像校正部分，该图像校正部分基于作为解马赛克处理部分的处理结果的解马赛克图像来生成经校正的图像。
此外，说明书中说明的处理序列可以通过硬件、软件或者将硬件和软件相结合的配置来实现。在处理是通过软件实现的情况中，可以在并入到专用硬件中的计算机内的存储器中安装编码了处理序列的程序并且执行该程序。也可以将程序安装在能够执行各种类型处理的通用计算机中并且执行该程序。例如，程序可预先安装在存储介质中。除了从存储介质安装到计算机中之外，也可以通过诸如局域网(LAN)或因特网之类的网络来接收程序，并且可以将程序安装在诸如硬盘等置入在计算机中的存储介质中。
注意，本说明书中描述的各种类型的处理不仅可以按所描述的时间顺序来执行，也可以根据执行处理的设备的处理能力或者根据需要来并行或者个别地执行。此外，本说明书中的系统不限于在逻辑上聚集了多个都被包含在同一壳体内的设备的配置。
产业适用性
如上面说明的，根据本公开的示例，实现了基于单个捕获图像来生成具有减少的模糊和宽动态范围的图像的设备和方法。具体地，该设备包括基于在为各个像素提供不同曝光时间的控制下的图像捕获处理来输出长曝光时间像素信息和短曝光时间像素信息的图像捕获元件，并且还包括输入由图像捕获元件输出的像素信息并且通过执行图像稳定化和动态范围扩充处理来生成经校正图像的图像校正部分。
图像校正部分生成在假定所有像素已被长时间曝光的情况下设定了像素值的长曝光时间图像和在假定所有像素已被短时间曝光的情况下设定了像素值的短曝光时间图像，计算对应于长曝光时间图像的点扩散函数(PSF)作为长曝光时间图像PSF，并且通过使用短曝光时间图像、长曝光时间图像和长曝光时间图像PSF来生成经校正的图像。经校正的图像被生成为宽动态范围图像，其利用长曝光时间图像的像素信息和短曝光时间图像的像素信息。利用其中存在很少模糊的短曝光时间图像的像素信息还使得经校正的图像是抑制了模糊的高质量经校正图像。
本公开包含与2011年5月2日向日本专利局提交的日本优先权专利申请JP 2011-102915中所公开的主题有关的主体，该申请的全部内容通过引用结合于此。

Claims (13)

1.一种图像处理设备，包括：
图像捕获元件，该图像捕获元件基于在为各个像素提供不同曝光时间的控制下的图像捕获处理，输出长曝光时间像素信息和短曝光时间像素信息；以及
图像校正部分，该图像校正部分输入由所述图像捕获元件输出的像素信息，并且通过执行图像稳定化和动态范围扩充处理来生成经校正的图像，
其中所述图像校正部分
生成长曝光时间图像和短曝光时间图像，在所述长曝光时间图像中，像素值是在假定所有像素已被长时间曝光的情况下设定的，在所述短曝光时间图像中，像素值是在假定所有像素已被短时间曝光的情况下设定的，
计算对应于所述长曝光时间图像的点扩散函数(PSF)作为长曝光时间图像PSF，并且
通过使用所述短曝光时间图像、所述长曝光时间图像和所述长曝光时间图像PSF来生成所述经校正的图像。
2.根据权利要求1所述的图像处理设备，
其中，所述图像校正部分
计算对应于所述短曝光时间图像的PSF作为短曝光时间图像PSF，并且
通过使用所述短曝光时间图像、所述长曝光时间图像、所述长曝光时间图像PSF和所述短曝光时间图像PSF来生成所述经校正的图像。
3.根据权利要求1所述的图像处理设备，
其中，所述图像校正部分基于所述短曝光时间图像来生成假定长时间执行了曝光的第一估计图像，计算使得所述第一估计图像与所述长曝光时间图像之间的差异较小的第一校正量，并且通过执行向基于所述短曝光时间图像而生成的初始图像加上计算出的第一校正量的处理来生成所述经校正的图像。
4.根据权利要求1所述的图像处理设备，
其中，所述图像校正部分
执行除法处理，该除法处理取得基于从所述长曝光时间图像选择的特定颜色的像素值的离散傅立叶变换的结果，并且将其除以基于从所述短曝光时间图像选择的特定颜色的像素值的离散傅立叶变换的结果，并且
通过对所述除法处理的结果执行逆离散傅立叶变换并且对所述逆离散傅立叶变换的结果执行如下处理来计算所述长曝光时间图像PSF：该处理执行噪声去除并且识别经过原点的链接分量。
5.根据权利要求1所述的图像处理设备，
其中，所述图像校正部分
执行除法处理，该除法处理取得基于从所述长曝光时间图像选择的特定颜色的像素值的离散傅立叶变换的结果，并且将其除以基于从所述短曝光时间图像选择的特定颜色的像素值的离散傅立叶变换的结果，并且
通过对所述除法处理的结果执行逆离散傅立叶变换、对所述逆离散傅立叶变换的结果执行进行噪声去除并识别经过原点的链接封闭区域的处理、以原点为中心将链接原点和所述封闭区域的重心的线段的长度延长为其原来长度的两倍、并且将延长后的线段定义为所述长曝光时间图像PSF，来计算所述长曝光时间图像PSF。
6.根据权利要求1所述的图像处理设备，
其中，所述图像校正部分
计算对应于所述短曝光时间图像的PSF作为短曝光时间图像PSF，从而通过以原点为中心将链接原点和所述长曝光时间图像PSF的重心的线段长度乘以一因子来计算所述短曝光时间图像PSF，该因子等于第二曝光条件的曝光时间与第一曝光条件的曝光时间的比率的两倍。
7.根据权利要求1所述的图像处理设备，
其中，所述图像校正部分包括
第一校正量计算部分，该第一校正量计算部分根据基于所述长曝光时间图像计算出的长曝光时间图像PSF、基于所述短曝光时间图像生成的初始图像以及所述长曝光时间图像来计算针对所述初始图像的第一校正量，
第二校正量计算部分，该第二校正量计算部分根据基于所述短曝光时间图像计算出的短曝光时间图像PSF以及所述初始图像来计算针对所述初始图像的第二校正量，以及
加法部分，该加法部分针对所述初始图像相加所述第一校正量和所述第二校正量。
8.根据权利要求7所述的图像处理设备，
其中，所述第一校正量计算部分包括
第一估计图像计算部分，该第一估计图像计算部分基于所述初始图像和所述长曝光时间图像PSF来计算作为估计与所述长曝光时间图像类似的图像的结果的第一估计图像，
减法部分，该减法部分计算作为所述长曝光时间图像与所述第一估计图像之间的差异的第一差异图像，以及
第一校正量估计部分，该第一校正量估计部分基于所述第一差异图像和所述长曝光时间图像PSF来计算所述第一校正量。
9.根据权利要求8所述的图像处理设备，
其中，所述第一估计图像计算部分包括
颜色特定PSF计算部分，该颜色特定PSF计算部分计算针对所述图像捕获元件的图像捕获表面的每种颜色(相位)来组合所述长曝光时间图像PSF的特性的第一颜色特定PSF，
第一卷积计算部分，该第一卷积计算部分利用所述第一颜色特定PSF为所述初始图像的对象像素的每种颜色执行卷积计算，以及
饱和处理部分，该饱和处理部分取得从所述第一卷积计算部分输出的结果图像，并且通过将不小于等同于所述图像捕获元件的饱和像素值的值的像素值替换为等同于所述饱和像素值的值来输出图像。
10.根据权利要求9所述的图像处理设备，
其中，所述第一校正量估计部分包括
相反颜色特定PSF计算部分，该相反颜色特定PSF计算部分计算其中已相对于一个点而对称地反转了所述长曝光时间图像PSF的第一相反颜色特定PSF，
第二卷积计算部分，该第二卷积计算部分利用所述第一相反颜色特定PSF针对所述第一差异图像的对象像素的每种颜色执行卷积计算，以及
乘法部分，该乘法部分通过将从所述第二卷积计算部分输出的结果图像乘以校正量调节参数来执行校正量调节。
11.根据权利要求1所述的图像处理设备，
其中，所述图像校正部分包括
解马赛克处理部分，该解马赛克处理部分对所述长曝光时间图像和所述短曝光时间图像执行解马赛克处理，以及
图像校正部分，该图像校正部分基于作为所述解马赛克处理部分的处理结果的解马赛克图像来生成所述经校正的图像。
12.一种在图像处理设备中实现的图像处理方法，包括：
利用图像捕获元件基于在以像素区域为单位提供不同曝光时间的控制下的图像捕获处理来输出长曝光时间像素信息和短曝光时间像素信息；以及
利用图像校正部分通过输入由所述图像捕获元件输出的像素信息并且对所述像素信息执行图像稳定化和动态范围扩充处理来生成经校正的图像，
其中生成所述经校正的图像包括
生成长曝光时间图像和短曝光时间图像，在所述长曝光时间图像中，像素值是在假定所有像素已被长时间曝光的情况下设定的，在所述短曝光时间图像中，像素值是在假定所有像素已被短时间曝光的情况下设定的，
计算对应于所述长曝光时间图像的点扩散函数(PSF)作为长曝光时间图像PSF，以及
通过使用所述短曝光时间图像、所述长曝光时间图像和所述长曝光时间图像PSF来生成所述经校正的图像。
13.一种使得在图像处理设备中执行图像处理的程序，包括：
利用图像捕获元件基于在以像素区域为单位提供不同曝光时间的控制下的图像捕获处理来输出长曝光时间像素信息和短曝光时间像素信息；以及
利用图像校正部分通过输入由所述图像捕获元件输出的像素信息并且对所述像素信息执行图像稳定化和动态范围扩充处理来生成经校正的图像，
其中生成所述经校正的图像包括
生成长曝光时间图像和短曝光时间图像，在所述长曝光时间图像中，像素值是在假定所有像素已被长时间曝光的情况下设定的，在所述短曝光时间图像中，像素值是在假定所有像素已被短时间曝光的情况下设定的，
计算对应于所述长曝光时间图像的点扩散函数(PSF)作为长曝光时间图像PSF，以及
通过使用所述短曝光时间图像、所述长曝光时间图像和所述长曝光时间图像PSF来生成所述经校正的图像。
CN2012101284463A 2011-05-02 2012-04-25 图像处理设备、图像处理方法和程序 Pending CN102769756A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-102915 2011-05-02
JP2011102915A JP2012234393A (ja) 2011-05-02 2011-05-02 画像処理装置、および画像処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
CN102769756A true CN102769756A (zh) 2012-11-07

Family

ID=47089992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012101284463A Pending CN102769756A (zh) 2011-05-02 2012-04-25 图像处理设备、图像处理方法和程序

Country Status (3)

Country Link
US (2) US8848063B2 (zh)
JP (1) JP2012234393A (zh)
CN (1) CN102769756A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103945145A (zh) * 2013-01-17 2014-07-23 三星泰科威株式会社 处理图像的设备和方法
WO2014176994A1 (en) * 2013-04-28 2014-11-06 Shenzhen Byd Auto R&D Company Limited Method and device for obtaining high dynamic range image
CN104253985A (zh) * 2013-06-25 2014-12-31 恒景科技股份有限公司 解马赛克方法以及用于解马赛克的影像处理器
CN104253946A (zh) * 2013-06-27 2014-12-31 聚晶半导体股份有限公司 产生高动态范围图像的方法及其图像传感器
CN104284105A (zh) * 2013-07-11 2015-01-14 索尼公司 固态成像器件、固态成像方法以及电子装置
CN104349069A (zh) * 2013-07-29 2015-02-11 广达电脑股份有限公司 拍摄高动态范围影片的方法
CN104600085A (zh) * 2013-10-31 2015-05-06 索尼公司 固态摄像器件、信号处理器件和电子装置
CN104869320A (zh) * 2014-02-21 2015-08-26 三星电子株式会社 电子设备和控制电子设备操作方法
CN105120131A (zh) * 2015-09-14 2015-12-02 北京中科慧眼科技有限公司 基于相机传感器的补偿失真和补偿模糊的方法
CN106454141A (zh) * 2015-08-07 2017-02-22 豪威科技股份有限公司 实施堆叠芯片高动态范围图像传感器的方法及系统
CN108632537A (zh) * 2018-05-04 2018-10-09 Oppo广东移动通信有限公司 控制方法及装置、成像设备、计算机设备及可读存储介质
CN109658338A (zh) * 2017-10-10 2019-04-19 三星电子株式会社 使用外部电子装置处理原始图像的方法和电子装置
CN110602415A (zh) * 2019-09-30 2019-12-20 杭州海康威视数字技术股份有限公司 曝光控制装置、方法及摄像机
CN112135063A (zh) * 2019-06-24 2020-12-25 聚晶半导体股份有限公司 图像输出方法与电子装置
US11206359B2 (en) 2019-06-24 2021-12-21 Altek Semiconductor Corp. Image outputting method and electronic device
CN114630010A (zh) * 2020-12-14 2022-06-14 爱思开海力士有限公司 图像感测装置及图像处理装置

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9100514B2 (en) 2009-10-28 2015-08-04 The Trustees Of Columbia University In The City Of New York Methods and systems for coded rolling shutter
JP2012175600A (ja) * 2011-02-24 2012-09-10 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
JP5655626B2 (ja) * 2011-02-24 2015-01-21 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US20140192235A1 (en) 2011-02-25 2014-07-10 Sony Corporation Systems, methods, and media for reconstructing a space-time volume from a coded image
JP2012234393A (ja) 2011-05-02 2012-11-29 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2013021636A (ja) * 2011-07-14 2013-01-31 Sony Corp 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体
JP2013066140A (ja) 2011-08-31 2013-04-11 Sony Corp 撮像装置、および信号処理方法、並びにプログラム
US8913153B2 (en) 2011-10-06 2014-12-16 Aptina Imaging Corporation Imaging systems and methods for generating motion-compensated high-dynamic-range images
JP5409829B2 (ja) * 2012-02-17 2014-02-05 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、および、プログラム
WO2014018936A2 (en) 2012-07-26 2014-01-30 Olive Medical Corporation Continuous video in a light deficient environment
BR112015001293A2 (pt) 2012-07-26 2017-07-04 Olive Medical Corp esquema de iluminação pulsada ycbcr em ambiente com deficiência de luz
US9338372B2 (en) 2012-09-19 2016-05-10 Semiconductor Components Industries, Llc Column-based high dynamic range imaging systems
US9066021B2 (en) * 2012-10-18 2015-06-23 Ortho-Clinical Diagnostics, Inc. Full resolution color imaging of an object
US10255888B2 (en) * 2012-12-05 2019-04-09 Texas Instruments Incorporated Merging multiple exposures to generate a high dynamic range image
WO2014099320A1 (en) 2012-12-17 2014-06-26 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for high dynamic range imaging
JP6390429B2 (ja) * 2012-12-25 2018-09-19 ソニー株式会社 固体撮像素子およびその駆動方法、並びに電子機器
US8902336B2 (en) * 2013-01-30 2014-12-02 Altasens, Inc. Dynamic, local edge preserving defect pixel correction for image sensors with spatially arranged exposures
US9641815B2 (en) 2013-03-15 2017-05-02 DePuy Synthes Products, Inc. Super resolution and color motion artifact correction in a pulsed color imaging system
US9319605B2 (en) * 2013-03-15 2016-04-19 Rambus Inc. Increasing dynamic range using multisampling
US9777913B2 (en) 2013-03-15 2017-10-03 DePuy Synthes Products, Inc. Controlling the integral light energy of a laser pulse
US10251530B2 (en) 2013-03-15 2019-04-09 DePuy Synthes Products, Inc. Scope sensing in a light controlled environment
US9363446B2 (en) * 2013-04-15 2016-06-07 Htc Corporation Automatic exposure control for sequential images
KR102039464B1 (ko) 2013-05-21 2019-11-01 삼성전자주식회사 전자 센서와, 그의 제어 방법
TWI644568B (zh) * 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
JP2015033107A (ja) * 2013-08-07 2015-02-16 ソニー株式会社 画像処理装置および画像処理方法、並びに、電子機器
US9172869B2 (en) * 2013-12-04 2015-10-27 Omnivision Technologies, Inc. Image data aggregating high dynamic range imaging systems and associated methods
JP6239985B2 (ja) * 2014-01-15 2017-11-29 日本放送協会 画像処理装置、画像処理プログラム及び撮像装置
TWI505233B (zh) * 2014-02-20 2015-10-21 Asustek Comp Inc 影像處理方法及影像處理裝置
AU2015230978B2 (en) 2014-03-21 2020-01-23 DePuy Synthes Products, Inc. Card edge connector for an imaging sensor
WO2015152821A1 (en) * 2014-03-31 2015-10-08 Agency For Science, Technology And Research Image processing devices and image processing methods
US9979908B2 (en) * 2014-03-31 2018-05-22 Agency For Science, Technology And Research Image processing devices and image processing methods with interpolation for improving image resolution
KR20150118213A (ko) 2014-04-11 2015-10-22 에스케이하이닉스 주식회사 이미지 센싱 장치
EP3132383A4 (en) 2014-04-15 2017-11-29 Sony Corporation Systems, methods, and media for extracting information and a display image from two captured images
JP6433163B2 (ja) 2014-06-06 2018-12-05 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
KR102273656B1 (ko) * 2014-11-24 2021-07-05 삼성전자주식회사 광역 역광 보정 영상의 노이즈 레벨 제어 장치, 및 이를 포함하는 영상 처리 시스템
EP3259735B1 (en) * 2015-02-16 2024-07-31 HRL Laboratories, LLC Spike domain convolution circuit
KR102277178B1 (ko) 2015-03-09 2021-07-14 삼성전자 주식회사 카메라 모듈을 포함하는 전자 장치 및 전자 장치의 이미지 처리 방법
KR102195407B1 (ko) * 2015-03-16 2020-12-29 삼성전자주식회사 이미지 신호 프로세서와 이를 포함하는 장치들
US10262229B1 (en) 2015-03-24 2019-04-16 Hrl Laboratories, Llc Wide-area salient object detection architecture for low power hardware platforms
US10503999B2 (en) 2015-03-24 2019-12-10 Hrl Laboratories, Llc System for detecting salient objects in images
ES2911308T3 (es) * 2015-05-15 2022-05-18 Dolby Laboratories Licensing Corp Control de la propagación de luz con elemento de desenfoque en sistemas de proyector
JP2017139691A (ja) * 2016-02-05 2017-08-10 ソニー株式会社 画像処理装置および画像処理方法
US20170264831A1 (en) * 2016-03-14 2017-09-14 Kabushiki Kaisha Toshiba Image processor and image processing method
KR102551141B1 (ko) 2016-03-31 2023-07-03 삼성전자주식회사 이미지 센서 및 이를 포함하는 전자 장치
US10306191B2 (en) 2016-11-29 2019-05-28 Cista System Corp. System and method for high dynamic range image sensing
TWI602435B (zh) * 2016-11-29 2017-10-11 財團法人工業技術研究院 影像感測器以及影像感測方法
CN106507068B (zh) 2016-11-29 2018-05-04 广东欧珀移动通信有限公司 图像处理方法及装置、控制方法及装置、成像及电子装置
KR20180074368A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치
US10638054B2 (en) * 2017-01-25 2020-04-28 Cista System Corp. System and method for visible and infrared high dynamic range sensing
JP2018182554A (ja) * 2017-04-14 2018-11-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および固体撮像装置の制御方法、並びに電子機器
CN108875762B (zh) * 2017-05-16 2022-03-15 富士通株式会社 分类器训练方法、图像识别方法和图像识别设备
JP6859910B2 (ja) * 2017-09-22 2021-04-14 株式会社デンソーウェーブ 撮像装置
WO2019157427A1 (en) * 2018-02-12 2019-08-15 Gopro, Inc. Image processing
JP6833751B2 (ja) 2018-03-20 2021-02-24 株式会社東芝 撮像制御装置、撮像装置、及び撮像制御方法
KR102648747B1 (ko) * 2019-01-18 2024-03-20 삼성전자주식회사 Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법
US11107205B2 (en) 2019-02-18 2021-08-31 Samsung Electronics Co., Ltd. Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames
CN110149484B (zh) 2019-04-15 2020-07-10 浙江大华技术股份有限公司 图像合成方法、装置及存储装置
US11062436B2 (en) 2019-05-10 2021-07-13 Samsung Electronics Co., Ltd. Techniques for combining image frames captured using different exposure settings into blended images
US11095829B2 (en) 2019-06-11 2021-08-17 Samsung Electronics Co., Ltd. Apparatus and method for high dynamic range (HDR) image creation of dynamic scenes using graph cut-based labeling
CN110475068B (zh) * 2019-08-30 2021-10-29 北京迈格威科技有限公司 图像处理方法及装置
US11650360B2 (en) * 2019-09-13 2023-05-16 GM Cruise Holdings LLC. Color filter array patterns for enhancing a low-light sensitivity while preserving a color accuracy in image signal processing applications
US11430094B2 (en) 2020-07-20 2022-08-30 Samsung Electronics Co., Ltd. Guided multi-exposure image fusion
US11727540B2 (en) 2020-12-31 2023-08-15 Samsung Electronics Co., Ltd. Image sharpening
US11343440B1 (en) * 2021-02-05 2022-05-24 Samsung Electronics Company, Ltd. High dynamic range point spread function generation for image reconstruction
CN113012070B (zh) * 2021-03-25 2023-09-26 常州工学院 一种基于模糊控制的高动态场景图像序列获取方法
US11889033B2 (en) * 2022-05-11 2024-01-30 Samsung Electronics Co., Ltd. Flare mitigation via deconvolution using high dynamic range imaging
WO2024203423A1 (ja) * 2023-03-24 2024-10-03 ソニーセミコンダクタソリューションズ株式会社 光検出装置及び電子機器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008099158A (ja) * 2006-10-16 2008-04-24 Sony Corp 固体撮像装置、固体撮像装置の駆動方法および撮像装置
CN101668125A (zh) * 2008-09-03 2010-03-10 索尼株式会社 成像装置、固态成像器件、图像处理装置、方法和程序
JP2010109948A (ja) * 2008-10-31 2010-05-13 Nidec Copal Corp 広ダイナミックレンジ撮像装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050151A (ja) 1998-07-28 2000-02-18 Olympus Optical Co Ltd 撮像装置
US8570389B2 (en) * 2004-07-22 2013-10-29 Broadcom Corporation Enhancing digital photography
JP2006253876A (ja) 2005-03-09 2006-09-21 Sony Corp 物理量分布検知装置および物理量分布検知装置の駆動方法
JP2006311240A (ja) 2005-04-28 2006-11-09 Olympus Corp 撮像装置
US8059174B2 (en) * 2006-05-31 2011-11-15 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
KR100809345B1 (ko) * 2006-06-16 2008-03-05 삼성전자주식회사 영상 생성 장치 및 방법
US7825969B2 (en) * 2006-12-15 2010-11-02 Nokia Corporation Image stabilization using multi-exposure pattern
JP2008166947A (ja) * 2006-12-27 2008-07-17 Eastman Kodak Co 撮像装置
US20080170124A1 (en) * 2007-01-12 2008-07-17 Sanyo Electric Co., Ltd. Apparatus and method for blur detection, and apparatus and method for blur correction
US7940311B2 (en) * 2007-10-03 2011-05-10 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images
JP5300591B2 (ja) * 2009-05-21 2013-09-25 キヤノン株式会社 画像処理装置およびその方法
US8405750B2 (en) * 2009-06-08 2013-03-26 Aptina Imaging Corporation Image sensors and image reconstruction methods for capturing high dynamic range images
KR101653272B1 (ko) * 2009-12-28 2016-09-01 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체
KR101229600B1 (ko) * 2010-05-14 2013-02-04 가시오게산키 가부시키가이샤 촬상 장치, 손떨림 보정 방법 및 기록 매체
JP5655626B2 (ja) * 2011-02-24 2015-01-21 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2012234393A (ja) 2011-05-02 2012-11-29 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008099158A (ja) * 2006-10-16 2008-04-24 Sony Corp 固体撮像装置、固体撮像装置の駆動方法および撮像装置
CN101668125A (zh) * 2008-09-03 2010-03-10 索尼株式会社 成像装置、固态成像器件、图像处理装置、方法和程序
JP2010062785A (ja) * 2008-09-03 2010-03-18 Sony Corp 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
JP2010109948A (ja) * 2008-10-31 2010-05-13 Nidec Copal Corp 広ダイナミックレンジ撮像装置

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103945145A (zh) * 2013-01-17 2014-07-23 三星泰科威株式会社 处理图像的设备和方法
CN103945145B (zh) * 2013-01-17 2018-08-28 韩华泰科株式会社 处理图像的设备和方法
WO2014176994A1 (en) * 2013-04-28 2014-11-06 Shenzhen Byd Auto R&D Company Limited Method and device for obtaining high dynamic range image
US9509918B2 (en) 2013-04-28 2016-11-29 Byd Company Limited Method and device for obtaining high dynamic range image
CN104253985A (zh) * 2013-06-25 2014-12-31 恒景科技股份有限公司 解马赛克方法以及用于解马赛克的影像处理器
CN104253946A (zh) * 2013-06-27 2014-12-31 聚晶半导体股份有限公司 产生高动态范围图像的方法及其图像传感器
CN104253946B (zh) * 2013-06-27 2018-03-20 聚晶半导体股份有限公司 产生高动态范围图像的方法及其图像传感器
CN104284105A (zh) * 2013-07-11 2015-01-14 索尼公司 固态成像器件、固态成像方法以及电子装置
CN104284105B (zh) * 2013-07-11 2019-02-19 索尼半导体解决方案公司 固态成像器件、固态成像方法以及电子装置
CN104349069B (zh) * 2013-07-29 2017-08-11 广达电脑股份有限公司 拍摄高动态范围影片的方法
CN104349069A (zh) * 2013-07-29 2015-02-11 广达电脑股份有限公司 拍摄高动态范围影片的方法
CN104600085A (zh) * 2013-10-31 2015-05-06 索尼公司 固态摄像器件、信号处理器件和电子装置
CN104600085B (zh) * 2013-10-31 2019-09-13 索尼半导体解决方案公司 固态摄像器件、信号处理器件和电子装置
CN110545389B (zh) * 2013-10-31 2022-03-18 索尼半导体解决方案公司 摄像器件
CN110545389A (zh) * 2013-10-31 2019-12-06 索尼半导体解决方案公司 固态摄像器件、信号处理器件和电子装置
CN104869320A (zh) * 2014-02-21 2015-08-26 三星电子株式会社 电子设备和控制电子设备操作方法
CN104869320B (zh) * 2014-02-21 2019-07-12 三星电子株式会社 电子设备和控制电子设备操作方法
CN106454141A (zh) * 2015-08-07 2017-02-22 豪威科技股份有限公司 实施堆叠芯片高动态范围图像传感器的方法及系统
CN105120131A (zh) * 2015-09-14 2015-12-02 北京中科慧眼科技有限公司 基于相机传感器的补偿失真和补偿模糊的方法
CN109658338A (zh) * 2017-10-10 2019-04-19 三星电子株式会社 使用外部电子装置处理原始图像的方法和电子装置
CN108632537A (zh) * 2018-05-04 2018-10-09 Oppo广东移动通信有限公司 控制方法及装置、成像设备、计算机设备及可读存储介质
CN108632537B (zh) * 2018-05-04 2020-08-21 Oppo广东移动通信有限公司 控制方法及装置、成像设备、计算机设备及可读存储介质
CN112135063A (zh) * 2019-06-24 2020-12-25 聚晶半导体股份有限公司 图像输出方法与电子装置
CN112135063B (zh) * 2019-06-24 2021-11-30 聚晶半导体股份有限公司 图像输出方法与电子装置
US11206359B2 (en) 2019-06-24 2021-12-21 Altek Semiconductor Corp. Image outputting method and electronic device
CN110602415A (zh) * 2019-09-30 2019-12-20 杭州海康威视数字技术股份有限公司 曝光控制装置、方法及摄像机
CN114630010A (zh) * 2020-12-14 2022-06-14 爱思开海力士有限公司 图像感测装置及图像处理装置

Also Published As

Publication number Publication date
US8848063B2 (en) 2014-09-30
US20140368697A1 (en) 2014-12-18
JP2012234393A (ja) 2012-11-29
US20120281111A1 (en) 2012-11-08
US9560290B2 (en) 2017-01-31

Similar Documents

Publication Publication Date Title
CN102769756A (zh) 图像处理设备、图像处理方法和程序
US8798395B2 (en) Image processing apparatus, image processing method, and program
CN102388402B (zh) 图像处理装置及图像处理方法
JP4646146B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US8890983B2 (en) Tone mapping for low-light video frame enhancement
US8878967B2 (en) RGBW sensor array
JP5052301B2 (ja) 画像処理装置、画像処理方法
US9307212B2 (en) Tone mapping for low-light video frame enhancement
US9858644B2 (en) Bayer color filter array based high dynamic range video recording method and device
KR102314703B1 (ko) 이미지 처리를 위한 조인트 딕셔너리 생성 방법, 그 조인트 딕셔너리들을 이용한 인터레이스 기반 하이 다이나믹 레인지 이미징 장치 및 그 이미지 처리 방법
JP5214991B2 (ja) 映像動的範囲向上の方法及び該装置
US11910001B2 (en) Real-time image generation in moving scenes
US20110169980A1 (en) Apparatus and method for obtaining high dynamic range image
CN113228094A (zh) 图像处理器
JP2010166558A (ja) 撮像装置
EP3953896B1 (en) High-dynamic-range image generation with pre-combination denoising
KR20120102509A (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
JP2009194896A (ja) 画像処理装置及び方法並びに撮像装置
CN104168403B (zh) 基于拜尔颜色滤波阵列的高动态范围视频录制方法和装置
CN102629976A (zh) 图像处理设备和图像处理设备的控制方法
JP7297406B2 (ja) 制御装置、撮像装置、制御方法およびプログラム
JP2009088935A (ja) 画像記録装置、画像補正装置及び撮像装置
US8213496B2 (en) Image processing device, image processing method, and image processing program
JP5631153B2 (ja) 画像処理装置、制御方法、及びプログラム
JP5024300B2 (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121107