CN102905084A - 用于提供对图像的平均信噪比值进行估计的方法和相机 - Google Patents
用于提供对图像的平均信噪比值进行估计的方法和相机 Download PDFInfo
- Publication number
- CN102905084A CN102905084A CN2012102536584A CN201210253658A CN102905084A CN 102905084 A CN102905084 A CN 102905084A CN 2012102536584 A CN2012102536584 A CN 2012102536584A CN 201210253658 A CN201210253658 A CN 201210253658A CN 102905084 A CN102905084 A CN 102905084A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- value
- images
- pixel value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000006870 function Effects 0.000 claims description 24
- 239000003550 marker Substances 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000007687 exposure technique Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Studio Devices (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明涉及一种提供对包括多个像素的输出图像的平均信噪比值进行估计的方法,其中输出图像的每个像素具有像素值。该方法包括:提供被划分为多个直条的图像直方图,该图像直方图包括关于在输出图像的像素当中像素值分布的信息,每个直条包括具有预定范围内的像素值的一组像素;标识图像直方图的每个直条的信噪比值;针对图像直方图的每个直条,利用该直条的一组像素中的像素数量对该直条的信噪比值进行加权;对这些直条的加权后信噪比值求和;并将这些直条的加权后信噪比值的和除以输出图像的像素总数或图像直方图的这些直条中的像素总数。本发明还涉及被设置为提供对包括多个像素的输出图像的平均信噪比值进行估计的相机(1),其中图像中的每个像素具有像素值。
Description
技术领域
本发明涉及一种用于提供对输出图像的平均信噪比值进行估计的方法。本发明还涉及一种被设置为用于提供对输出图像的平均信噪比值进行估计的相机。
背景技术
由使用图像传感器的数字相机拍摄的图像将从多种源中拾取噪声,例如读出噪声σr和/或光子散粒噪声σph。对这些图像的许多进一步应用要求降低图像中的噪声。为了降低图像中的噪声,使用噪声滤波。当向图像应用噪声滤波时,重要的是使噪声滤波方法和噪声滤波的强度适合图像中存在的噪声多少。信噪比值(SNR值)可量化图像信号相对于图像中噪声的强度,因此是在将噪声滤波应用于图像时的重要参数。具体地,在将噪声滤波应用于图像时,对整幅图像的平均SNR值进行估计是非常有用的。平均SNR值的又一应用领域是利用平均SNR值作为何时启动相机中的昼/夜功能的指示。表示图像噪声相对于图像信号较大或者增大的、小的或者减小的平均SNR值,可例如表示需要启动相机的夜间功能。平均SNR值的又一应用领域是将平均SNR值应用于自动曝光算法中,以找到产生可接受的噪声水平的曝光时间。
关于随机变量S的SNR值被定义为(针对成像所使用的定义):
其中E[S]为信号S的预期值,并且σ为信号S的标准偏差。在图像处理管线中,利用等式(A)根据图像数据计算SNR值在处理能力方面成本是相当昂贵的,因此需要估计的SNR值。对于利用单曝光来生成输出图像的相机,这常常通过利用场景中的平均亮度值作为信号的预期值并且将预计算的读出噪声值用作信号的标准偏差来实现。然而,该方法将不适合多曝光图像,例如多曝光HDR图像。这是由于其包含由在不同曝光时间下的不同曝光拼接的图像,这例如暗示噪声水平和/或噪声源可在拼接图像的不同曝光区域之间改变,这还暗示SNR值在拼接图像的不同曝光区域中是不同的。
从而,需要一种用于估计图像的平均SNR值的替代方法。
发明内容
有鉴于此,本发明的一个目的在于提供用于估计图像的平均SNR值的方法和相机。
本发明的又一目的在于提供适合于估计从多个图像拼接的输出图像的平均SNR值的方法和相机。
具体地,根据本发明的第一方面,提供一种用于提供对包括多个图像像素的输出图像的平均信噪比值进行估计的方法,其中所述图像的每个图像像素具有像素值。该方法包括:提供被划分为多个直条的图像直方图,所述图像直方图包括关于在所述输出图像的图像像素当中像素值的分布的信息,每个直条包括具有在预定范围内的像素值的一组图像像素;标识所述图像直方图的每个直条的信噪比值;针对所述图像直方图的每个直条,利用这个直条的所述一组图像像素中的图像像素的数量对这个直条的信噪比值进行加权;对所述多个直条的加权信噪比值求和;将所述多个直条的加权后的信噪比值的和除以所述输出图像的图像像素的总数或者除以所述图像直方图的所述多个直条中的图像像素的总数。
据此,实现了用于提供图像的估计的平均SNR值的方法。通过提供输出图像的估计的平均SNR值,将可以利用该平均信噪比值来对输出图像执行噪声滤波。此外,该估计的平均SNR值也可用于启动相机中的昼/夜功能。又一应用领域是将平均SNR值应用于自动曝光算法中。利用上述方法的重要益处在于其以较低的计算成本提供图像的估计的平均SNR值。
输出图像可以是包括多个图像像素的任意种类的图像,所述输出图像的每个图像像素具有像素值。所述输出图像可以是通过拼接多个其它图像而得到的图像。这种拼接的输出图像可以是诸如多曝光HDR图像、全景图像或者通过拼接两个或多个图像而得到的任意其它种类的图像等的多曝光图像。所述输出图像还可以是图像的子集。也就是说,所述输出图像可以是来自另一个图像的剪切块。
所述输出图像的图像像素的像素值通常是来自图像传感器的输出信号或输出信号的组合。所述图像传感器通常被细分为传感器像素。所述图像传感器中的每个传感器像素被设置为输出像素值。像素值是在所述图像传感器的相应传感器像素中接收的光子的数量的函数。像素值可例如由来自图像传感器单元的模拟-数字单元或代表来自图像传感器的输出的其它量来体现。至少一些传感器像素的像素值构成由所述图像传感器拍摄的图像的相应图像像素的像素值。也就是说,来自一些传感器像素的像素值可例如用于计算图像传感器的暗电流和/或其它特征,来自一些传感器像素的其它像素值可例如被视为与图像不相关,并且一些其它传感器像素的像素值可用于导出由图像传感器拍摄的图像的像素值。
包括关于在输出图像的图像像素当中像素值的分布的信息的图像直方图,可由用于拍摄输出图像的图像传感器提供。在多曝光图像的情况下,图像直方图代表在组合多曝光之后像素值的分布。图像直方图中的每个直条代表像素值的范围。从而,图像直方图包括关于具有在每个直条内的像素值的图像像素的数量的信息。
根据本发明实施例,所述输出图像可包括具有来源于多个图像的图像像素的像素值的图像像素。也就是说,所述输出图像可以是通过拼接多个图像而形成的图像。因此,输出图像可以是诸如多曝光HDR图像或者通过组合两个或多个图像形成的全景图像等的多曝光图像。
根据本发明另一实施例,所述多个图像可具有不同的曝光时间。这是针对多曝光图像(诸如多曝光HDR图像)的情况。
根据本发明另一实施例,所述输出图像中的第一像素的像素值可以是来自所述多个图像中第一图像的像素的像素值,而所述输出图像中的第二像素的像素值可以是来自所述多个图像中第二图像的像素的像素值。也就是说,所述输出图像包括这样的像素,即该像素包括仅来自用于形成输出图像的所述多个图像中一个图像的图像数据。针对任意种类的多曝光输出图像,这是正确的。
根据本发明又一实施例,所述输出图像中的至少一个像素的像素值可以是通过组合来自所述多个图像中至少两个图像的像素的像素值而获得的像素值。也就是说,所述输出图像包括这样的像素,即该像素包括来自用于形成输出图像的所述多个图像中至少两个图像的图像数据。可以以技术人员已知的多种不同方法组合来自所述多个图像中至少两个图像的像素的像素值。下面在实施例的描述中将描述用于组合来自所述多个图像中至少两个图像的像素的像素值的一个这种方法。在US2009/0059039和US20100310190中描述组合来自所述多个图像中至少两个图像的像素的像素值的更多方法。组合来自两个或多个图像的像素值可以针对任意种类的多曝光图像进行。如果是多曝光HDR图像,则这对应于来自所述多个图像中至少两个图像的图像数据所应用的过渡区,以便实现输出图像的较高动态范围。如果是全景图像,则这对应于图像中具有来自构成全景图像的至少两个图像的贡献的区域,即构成全景图像的至少两个图像的重叠区域。
根据本发明又一实施例,标识所述图像直方图的所述多个直条中的、包括具有通过组合来自所述多个图像中至少两个图像的像素的像素值而获得的像素值的所述像素的所述直条的信噪比值的动作,可包括组合来自所述多个图像中所述至少两个图像的所述像素的所述像素值的信噪比值。
根据本发明的另一方面,提供一种计算机可读记录介质。该计算机可读记录介质在其上记录有当在具有处理能力的设备上执行时用于实现根据上述实施例中任意一个实施例的方法的程序。
根据本发明的又一方面,提供一种被设置为用于提供对包括多个像素的输出图像的平均信噪比值进行估计的相机,其中图像中的每个像素具有像素值。该相机包括:图像传感器,被设置为获取用于导出所述输出图像中的像素的像素值的像素值;图像直方图提供器,被设置为提供图像直方图,所述图像直方图包括关于在所述输出图像的像素当中像素值的分布的信息,所述图像直方图的每个直条包括具有在预定范围内的像素值的一组像素;信噪比值标识器,被设置为标识所述图像直方图的每个直条的信噪比值;以及计算器,被设置为通过针对所述图像直方图的每个直条利用这个直条的所述一组像素中的像素的数量对这个直条的信噪比值进行加权、对所述直条的加权后的信噪比值求和、并且将所述直条的加权后的信噪比值的和除以所述输出图像的像素的总数或者除以所述图像直方图的直条中的像素的总数而计算出所述平均信噪比值。
根据本发明一个实施例,所述相机可进一步包括图像组合器,该图像组合器被设置为将来源于所述图像传感器所拍摄的多个图像的像素的像素值组合,以便形成所述输出图像。
根据本发明另一实施例,所述多个图像可利用不同的曝光时间拍摄得到。
根据本发明另一实施例,所述图像组合器可被设置为,利用来自所述多个图像中第一图像的像素的像素值形成所述输出图像的第一像素的像素值,以及利用来自所述多个图像中第二图像的像素的像素值形成所述输出图像的第二像素的像素值。
根据本发明又一实施例,所述图像组合器可被设置为将来自所述图像传感器所拍摄的所述多个图像中至少两个图像的像素的像素值组合,以便形成所述输出图像的像素中至少一个像素的像素值。
根据本发明又一实施例,所述信噪比值标识器被设置为,将所述多个图像中所述至少两个图像的像素的、用于获得所述输出图像的像素中所述至少一个像素的所述像素值的像素值的信噪比值组合,以便标识所述图像直方图的多个直条中的、包括所述输出图像的像素中所述至少一个像素的直条的信噪比。
根据本发明另一实施例,所述相机进一步包括存储器,所述存储器包括作为像素值的函数的信噪比值的表格,或者包括用于计算作为像素值的函数的信噪比值的预定义函数和参数值。
根据本发明又一实施例,所述图像直方图的每个直条的信噪比值依赖于所述图像传感器的温度。
附图说明
现在将参照示出了本发明实施例的附图更详细地描述本发明的这些方面和其它方面。附图不应当被视为将本发明限于具体实施例,相反,它们用于解释并理解本发明。在所有附图中,相同的附图标记始终表示相同的元件。
图1是根据本发明实施例的相机的示意图。
图2是示出根据本发明实施例的方法的示意流程图。
具体实施方式
利用等式(A)计算平均SNR值在处理器容量方面成本是昂贵的,并且其也不会给出拼接输出图像的类似多曝光图像的精确结果。
本发明解决了以较低处理成本提供对输出图像的平均SNR值进行估计的问题。具体地,本发明可用于提供拼接输出图像的,尤其是包括来自以在不同曝光时间下记录的多幅图像的图像数据的拼接输出图像的估计平均SNR值。
拼接输出图像可利用多曝光技术来产生,以提高图像的动态范围,其中技术领域有时也可被称为高动态范围(HDR)技术、宽动态范围(WDR)技术或扩展动态范围技术。可替代地,拼接输出图像可利用全景技术,即拼接多幅图像以便实现全景图,来产生。由于拼接输出图像包括利用例如不同曝光时间而获取的图像数据的特性,这例如暗示噪声水平和/或噪声源可在拼接图像的不同曝光区域之间改变,因此SNR值将在拼接输出图像的不同图像像素之间改变,见下文关于拼接输出图像(例如多曝光图像)的图像像素的像素值的SNR值的更详细论述。因此,估计的平均SNR值将在平均起来描述输出图像的SNR方面是有益的。该估算的平均SNR值可例如被用作输出图像的噪声滤波的输入和/或启动相机的昼/夜功能的输入和/或在自动曝光算法中找到合适曝光时间的输入。
利用本发明的重要益处在于其以较低的计算成本提供输出图像的估计的平均SNR值。
总括地说,用于计算估计的平均SNR值的本发明方法包括利用图像直方图来描述输出图像中图像像素的像素值的分布并且利用预计算的表格或一个或多个预定义的函数和参数来计算图像直方图中每个像素值范围(即图像直方图的每个直条(bin))的预期SNR值。然后,针对图像直方图的每个直条,通过利用每个直条的一组图像像素中的图像像素的数量对该直条的信噪比值进行加权、对这些直条的加权信噪比值求和、并且将这些直条的加权信噪比值的和除以输出图像的图像像素的总数或图像直方图的直条中的图像像素的总数而计算出估计的平均SNR值。
描述输出图像中的像素值的分布的图像直方图可由图像传感器或图像处理管线提供。在输出图像为拼接的输出图像,例如为多曝光的图像的情况下,图像直方图代表将多曝光组合之后像素值的分布。图像直方图中的每个直条代表像素值的范围。像素值是在图像传感器的相应传感器像素中接收的光子的数量的函数。像素值可例如由来自图像传感器的模拟-数字单元或代表图像传感器输出的其它量来体现。
针对图像直方图中每个直条的SNR值,预计算的表格或预定义的函数和参数可利用图像传感器的校准数据、图像传感器的特性和/或图像传感器的温度来计算出或预定义。如果拼接的输出图像包括来自不同图像的图像数据,类似例如具有不同曝光时间的图像,则针对包括通过将至少两个不同图像的图像像素的像素值组合而形成的图像像素的一个直条/多个直条,SNR值是通过将用于形成该直条的图像像素的至少两个不同图像的图像像素的像素值的SNR值组合,例如通过缩放和/或内插,而计算出。下文将论述如何组合来自不同图像(类似例如利用不同曝光时间而获取的图像)的像素的像素值。此外,下文还将论述如何组合来自不同图像,尤其是来自具有不同曝光时间的图像的图像像素的像素值的信噪比值。
作为不同像素值的函数的SNR值的预计算表格和/或预定的函数和参数可在相机的运行时间计算出和/或确定,并且在装配过程中被存储在相机上。
在图1中,图示了用于提供对包括大量图像像素的输出图像的平均SNR值进行估计的相机1的实施例,其中图像的每个图像像素具有像素值。
相机1通常为任何类型的数字相机。相机1可以能够利用单次或多曝光技术拍摄静止图像和/或视频图像。此外,相机1可连接至数字网络。此外,相机1可为便携式相机、固定式相机或具有摇摄/倾斜功能的相机。相机1可以是用于监控例如监视目的、机器视觉、商店、商业信息等的应用的相机。为了便于理解本发明,没有对与本发明无关的相机的标准特征进行描述。相机1包括外壳2、镜头3、图像传感器4、图像组合器6、图像直方图提供器8、信噪比值标识器(attributor)10、计算器12、处理器14和存储器16。
处理器14被设置为对由相机1的其它组件中的任一组件产生的数据进行处理和/或传递。
图像传感器4被设置为拍摄图像。图像传感器4可以例如是电荷耦合器件(CCD)传感器、互补金属氧化物半导体(CMOS)传感器或用于记录入射光的类似器件。图像传感器4包括多个传感器像素。图像传感器4被设置为输出每个传感器像素的像素值。每个传感器像素的像素值是由上述传感器像素所接收的光子的数量的函数。至少一些传感器像素的像素值构成由图像传感器拍摄的图像的相应图像像素的像素值。也就是说,来自一些传感器像素的像素值可例如用于计算图像传感器的暗电流和/或其它特征,来自一些传感器像素的其它像素值可例如被视为与图像和由图像传感器拍摄的图像的像素值不相关。
针对本发明的一些应用,将图像传感器4所拍摄的单个图像考虑为输出图像,这是在利用本发明来估计包括来自由图像传感器拍摄的单个图像的图像数据的输出图像的平均SNR值的情况。
为了从图像传感器4所拍摄的多个图像形成拼接的输出图像,相机包括图像组合器6。图像组合器6被设置为将源自上述图像传感器4所拍摄的多个图像的图像像素的像素值组合,以便形成输出图像的图像像素,输出图像现在是拼接的输出图像。拼接的输出图像通常包括具有自多个图像推导出的像素值的图像像素。拼接的输出图像可例如包括具有仅来自于上述多个图像中第一图像的像素值的图像像素、具有仅来自于上述多个图像中第二图像的像素值的图像像素,和/或具有来自于上述多个图像中至少两个图像的像素值的组合的像素值的图像像素。这通常是在形成多曝光HDR图像或多曝光全景图像时的情况。因此,图像组合器6被设置为利用来自上述多个图像中第一图像的图像像素的像素值来形成上述输出图像的第一图像像素的像素值,以及利用来自上述多个图像中第二图像的图像像素的像素值来形成上述输出图像的第二图像像素的像素值。此外,图像组合器6被设置为将来自图像传感器所拍摄的上述多个图像中至少两个图像的图像像素的像素值组合,以便形成上述输出图像的图像像素中至少一个图像像素的像素值。
图像直方图提供器8被设置为提供包括关于在输出图像的图像像素当中像素值的分布的信息的图像直方图。在多曝光的图像的情况下,图像直方图代表在组合多曝光之后的像素值的分布。图像直方图的每个直条包括具有处于预定范围内的像素值的一组图像像素。因此,图像直方图中的每个直条代表像素值的范围。从而,图像直方图包括关于具有每个直条内的像素值的图像像素的数量的信息。
信噪比值标识器10被设置为标识图像直方图的每个直条的信噪比值。通常,选择该直条范围内的像素值,并且针对该值计算相应的SNR值。利用直条范围内的哪个像素值可在本发明的不同实现方式之间改变。例如,可利用直条范围内的最大或最小值。另一个示例是利用处于直条范围中间的像素值。
计算器12被设置为计算输出图像的上述平均信噪比值。针对图像直方图的每个直条,通过利用每个直条的一组图像像素中的图像像素的数量对该直条的信噪比值进行加权、对这些直条的加权后的信噪比值求和、以及将这些直条的加权后的信噪比值的和除以输出图像的图像像素的总数来进行计算。可替代地,这些直条的加权后的信噪比值的和可被图像直方图的这些直条中的图像像素的总数相除。通常,这两个替代方法得到相同的值。这是由于输出图像中的图像像素的总数和图像直方图的这些直条中的图像像素的总数应该是相同的。
存储器16包括作为像素值范围(例如针对这些直条的像素值)的函数的SNR值的上述预计算的表格。可替代地,存储器16包括用于计算作为像素值的函数的信噪比值的一个或多个预定义的函数和参数值。应认识到,存储器16可包括上述预计算的表格,也包括上述一个或多个预定义的函数和参数。存储器16还可包括关于不同的图像传感器温度的不同表格。这是由于SNR值依赖于图像传感器的温度。这些表格可利用下文所定义的等式(G)、(H)、(I)和(J)以及等式(A)一起预计算出。这些预定义函数可以是基于下文所定义的等式(A)、(G)、(H)、(I)以及(J)的函数。
根据本发明一个实施例,图像组合器6和/或图像直方图提供器8可为图像传感器4的整体部件。
根据本发明一个实施例,计算器10可在相机1的处理器14中实现。
图2图示了用于估计输出图像的平均SNR值的方法的实施例。该方法包括:步骤100,提供被划分为多个格直条的图像直方图,该图像直方图包括关于在输出图像的图像像素当中像素值的分布的信息,每个格直条包括具有在预定范围内的像素值的一组图像像素;步骤102,标识图像直方图的每个格直条的信噪比值;步骤104,针对图像直方图的每个格直条,利用每个格直条的一组图像像素中的图像像素的数量对这个格直条的信噪比值进行加权;步骤106,对这些格直条的加权后的信噪比值求和;步骤108,将这些格直条的加权后的信噪比值的和除以输出图像的图像像素的总数。如上所述,可替代地,这些格直条的加权后的信噪比值的和可被图像直方图的这些格直条中的图像像素的总数相除。
根据本发明一个实施例,上述输出图像包括具有来源于多个图像(类似例如具有不同曝光时间的图像)的图像像素的像素值的图像像素。为了得到输出图像的图像像素的像素值,从上述多个图像中第一图像的图像像素获取上述输出图像中的一些图像像素的像素值。输出图像中的图像像素的其它像素值可通过从上述多个图像中第二图像的图像像素获取像素值而得到。并且最终,输出图像中的图像像素的像素值可通过将来自于上述多个图像中的上述第一图像和上述第二图像两者的图像像素的像素值组合而得到。
如果输出图像为从多个图像拼接的图像,则针对图像直方图的上述直条中的包括具有通过组合来自上述多个图像中至少两个图像的图像像素的像素值而获得的像素值的图像像素的那个直条,标识信噪比值的这个动作包括组合关于来自上述多个图像中上述至少两个图像的上述图像像素的上述像素值的信噪比值。
针对多曝光图像所估计的SNR值
如上所述,关于随机变量S的SNR值被定义为(针对成像所使用的定义):
其中E[S]为信号S的预期值,并且σ为信号S的标准偏差。信号,即从图像传感器所输出的每个传感器像素的像素值的数字代码输出或模拟-数字单元(ADU),利用传感器特定的转换因子Cf被转换为产生的电子的相应数量。
其中Gf是在计算图像直方图之前加到信号上的任何模拟或数字增益。
为了计算图像直方图中每个直条的SNR值,可将与每个直条对应的像素值用作预期值。当直条中的多个图像像素具有相同的像素值,并且对于具有较小数量的图像像素的直条可能发生的可能假贡献在计算输出图像的平均SNR之后被加权时,这是合理的假设。
关于信号的标准偏差,在该像素值的情况下,仅仅说明读出噪声σr和光子散粒噪声σph(由于暗电流常常由传感器利用光学上的黑色参考传感器像素去除)。技术人员认识到,当估计标准偏差时可考虑更多的因子。
读出噪声σr通常针对每个传感器预计算出,并且通常依赖于例如拍摄图像的图像传感器的温度。光子散粒噪声σph由于入射在传感器像素上的光子数量符合泊松(Poisson)分布的事实而出现。因此:
将这些噪声源集合得到总噪声:
当拼接多个图像以便实现拼接的输出图像时,拼接的输出图像的图像像素的像素值可通过将来自上述多个图像的图像像素的像素值组合而得到。例如,当形成多曝光图像,例如形成多曝光HDR图像时,利用来源于具有不同曝光时间的图像的图像像素的像素值。为了计算拼接的输出图像中每个图像像素的每个像素值的估计SNR值,需要说明所执行的图像拼接。拼接的输出图像的图像像素的像素值是从构成拼接的输出图像的多个图像得到。对于拼接的输出图像中的一些图像像素,利用来自上述多个图像中第一图像的像素值,而对于拼接的输出图像中的一些其它图像像素,则利用来自上述多个图像中第二图像的像素值。此外,针对拼接的输出图像的另一些的图像像素,可利用来自上述多个图像中至少两个图像的图像像素的像素值之间的内插像素值。对于多曝光图像的例子,利用两次相邻曝光的两个图像像素之间的内插像素值,以便得到具有来自上述多个图像中不止一个图像的贡献的图像像素的像素值。对于具有通过内插来自上述多个图像中至少两个图像的图像像素的像素值而得到的像素值的图像像素,将来自上述多个图像中上述至少两个图像的每个像素值的噪声组合。因此,通过内插来自上述多个图像中至少两个图像的图像像素的像素值而得到的拼接的输出图像的图像像素的像素值的噪声,是用于获得该特定图像像素的像素值的像素值的组合噪声。
下面是如何估算多曝光图像的图像像素的SNR值的示例,其中像素值介于两次曝光T1和T2之间。假设该像素值为两次曝光之间的加权(和缩放)值:
S=αS[T1]+εrβS[T2];α+β=1 (E)
加权因子α和β被选择,使得在仅仅利用T1曝光的像素值的T1端点处向T1给出完全加权,反之亦然。曝光时间比εr是已知的因子。较短曝光T2中的信号需要被缩放,以匹配T1数据。此外,假设
有效地假定图像视图在两次曝光之间没有运动。这将得出正确的平均值。
针对被转换为所产生电子的相应数量的集合信号,因此得出(利用(B)、(E)和(F)):
现在转至标准偏差,为了有助于这里,利用无关联的随机变量的标准偏差的下述特征:
最终,利用(D)和(G),获得:
而且,利用(F):
然后针对图像直方图中的像素值,等式(G)、(H)、(I)以及(J)可与等式(A)一起,用于计算与包括拼接的输出图像的具有该像素值的图像像素的图像直方图中的直条相关的SNR值。
针对拼接的输出图像中的具有来源于上述多个图像中仅仅一个图像的像素值的图像像素,可仅仅将相应的加权因子设置为零。
如果存在大于两次的曝光以产生多于一个的内插区域,则技术人员认识到可以以如上面描述的相同方式进行处理。
在通过引用被并入本申请中的US2009/0059039和US20100310190中更详细地论述如何组合多曝光图像的图像像素的SNR值。
在附图和说明书中,公开了本发明的优选实施例和示例,尽管采用了具体术语,但这些术语仅仅是以通用和描述性的意义被使用,而非用于限制的目的,本发明的范围在所附权利要求中列出。
Claims (15)
1.一种用于提供对包括多个图像像素的输出图像的平均信噪比值进行估计的方法,所述输出图像的每个图像像素具有像素值,所述方法包括:
提供被划分为多个直条的图像直方图,所述图像直方图包括关于在所述输出图像的图像像素当中像素值的分布的信息,每个直条包括具有在预定范围内的像素值的一组图像像素,
标识所述图像直方图的每个直条的信噪比值,
针对所述图像直方图的每个直条,利用该直条的所述一组图像像素中的图像像素的数量对该直条的信噪比值进行加权,
对所述多个直条的加权后的信噪比值求和,以及
将所述多个直条的加权后的信噪比值的和除以所述输出图像的图像像素的总数或者除以所述图像直方图的所述多个直条中的图像像素的总数。
2.根据权利要求1所述的方法,其中所述输出图像包括具有来源于多个图像的图像像素的像素值的图像像素。
3.根据权利要求2所述的方法,其中所述多个图像是利用不同的曝光时间拍摄的。
4.根据权利要求2或3所述的方法,其中所述输出图像中的第一图像像素的像素值是来自所述多个图像中第一图像的图像像素的像素值,而所述输出图像中的第二图像像素的像素值是来自所述多个图像中第二图像的图像像素的像素值。
5.根据权利要求2至4中任一项所述的方法,其中所述输出图像中的至少一个图像像素的像素值是通过组合来自所述多个图像中至少两个图像的图像像素的像素值而获得的像素值。
6.根据权利要求5所述的方法,其中标识所述图像直方图的所述多个直条中的、包括具有通过组合来自所述多个图像中至少两个图像的图像像素的像素值而获得的像素值的所述图像像素的所述直条的信噪比值的动作,包括组合来自所述多个图像中所述至少两个图像的所述图像像素的所述像素值的信噪比值。
7.一种计算机可读记录介质,在所述计算机可读记录介质上记录有当在具有处理能力的设备上执行时用于实现根据权利要求1至6中任一项所述的方法的程序。
8.一种被设置为用于提供对包括多个图像像素的输出图像的平均信噪比值进行估计的相机(1),其中所述图像的每个图像像素具有像素值,所述相机包括:
图像传感器(4),被设置为获取用于导出所述输出图像的图像像素的像素值的像素值,
图像直方图提供器(8),被设置为提供图像直方图,所述图像直方图包括关于在所述输出图像的图像像素当中像素值的分布的信息,所述图像直方图的每个直条包括具有在预定范围内的像素值的一组图像像素,
信噪比值标识器(10),被设置为标识所述图像直方图的每个直条的信噪比值,以及
计算器(12),被设置为通过以下方式计算出所述平均信噪比值:针对所述图像直方图的每个直条,利用该直条的所述一组图像像素中的图像像素的数量对该直条的信噪比值进行加权、对多个直条的加权后的信噪比值求和、并且将所述多个直条的加权后的信噪比值的和除以所述输出图像的图像像素的总数或除以所述图像直方图的多个直条中的图像像素的总数。
9.根据权利要求8所述的相机,进一步包括图像组合器(6),所述图像组合器(6)被设置为将来源于所述图像传感器(4)所拍摄的多个图像的图像像素的像素值组合,以便形成所述输出图像。
10.根据权利要求9所述的相机,其中所述多个图像是利用不同的曝光时间拍摄的。
11.根据权利要求9或10所述的相机,其中所述图像组合器(6)被设置为,利用来自所述多个图像中第一图像的图像像素的像素值来形成所述输出图像的第一图像像素的像素值,以及利用来自所述多个图像中第二图像的图像像素的像素值来形成所述输出图像的第二图像像素的像素值。
12.根据权利要求9至11中任一项所述的相机,其中所述图像组合器(6)被设置为将来自所述图像传感器所拍摄的所述多个图像中至少两个图像的图像像素的像素值组合,以便形成所述输出图像的图像像素中至少一个图像像素的像素值。
13.根据权利要求12所述的相机,其中所述信噪比值标识器(10)被设置为,将所述多个图像中所述至少两个图像的图像像素的、用于获得所述输出图像的图像像素中所述至少一个图像像素的所述像素值的像素值的信噪比值组合,以便标识所述图像直方图的多个直条中的、包括所述输出图像的图像像素中所述至少一个图像像素的直条的信噪比。
14.根据权利要求8至13中任一项所述的相机,进一步包括存储器(16),所述存储器(16)包括作为像素值的函数的信噪比值的表格,或者包括用于计算作为像素值的函数的信噪比值的一个或多个预定义函数和参数值。
15.根据权利要求8至14中任一项所述的相机,其中所述图像直方图的每个直条的信噪比值依赖于所述图像传感器(4)的温度。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP11175609.4A EP2552099B1 (en) | 2011-07-27 | 2011-07-27 | Method and camera for providing an estimation of a mean signal to noise ratio value for an image |
EP11175609.4 | 2011-07-27 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102905084A true CN102905084A (zh) | 2013-01-30 |
CN102905084B CN102905084B (zh) | 2015-06-24 |
Family
ID=44719211
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210253658.4A Active CN102905084B (zh) | 2011-07-27 | 2012-07-20 | 用于提供对图像的平均信噪比值进行估计的方法和相机 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8553110B2 (zh) |
EP (1) | EP2552099B1 (zh) |
JP (1) | JP5420730B2 (zh) |
KR (1) | KR101576237B1 (zh) |
CN (1) | CN102905084B (zh) |
TW (1) | TWI507999B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107079108A (zh) * | 2014-10-02 | 2017-08-18 | 康诺特电子有限公司 | 具有直方图扩展的机动车辆相机装置 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5506864B2 (ja) * | 2011-06-20 | 2014-05-28 | 富士フイルム株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
US9208749B2 (en) * | 2012-11-13 | 2015-12-08 | Htc Corporation | Electronic device and method for enhancing readability of an image thereof |
TWI493508B (zh) * | 2013-11-28 | 2015-07-21 | Method and device for detecting object image with improved classification efficiency | |
CN103888689B (zh) | 2014-03-13 | 2017-10-31 | 北京智谷睿拓技术服务有限公司 | 图像采集方法及图像采集装置 |
CN103888679A (zh) * | 2014-03-13 | 2014-06-25 | 北京智谷睿拓技术服务有限公司 | 图像采集方法及图像采集装置 |
EP2938064B1 (en) | 2014-04-24 | 2016-10-12 | Axis AB | Method and apparatus for determining exposure setting |
KR102273656B1 (ko) | 2014-11-24 | 2021-07-05 | 삼성전자주식회사 | 광역 역광 보정 영상의 노이즈 레벨 제어 장치, 및 이를 포함하는 영상 처리 시스템 |
WO2017031358A1 (en) * | 2015-08-19 | 2017-02-23 | Battelle Memorial Institute | Biological material fouling assessment systems and methods |
US9674460B1 (en) * | 2015-11-19 | 2017-06-06 | Google Inc. | Generating high-dynamic range images using varying exposures |
GB2569593B (en) * | 2017-12-20 | 2021-05-26 | Apical Ltd | Exposure ratio control |
JP7129921B2 (ja) | 2018-03-05 | 2022-09-02 | 株式会社パイロットコーポレーション | シャープペンシル |
KR102287082B1 (ko) * | 2021-05-11 | 2021-08-25 | 김관태 | 다단계 이종 필터 시스템을 이용한 소형 초분광 이미지 센서 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001026054A2 (en) * | 1999-10-01 | 2001-04-12 | Microsoft Corporation | Locally adapted histogram equalization |
CN1674640A (zh) * | 1999-06-01 | 2005-09-28 | 索尼公司 | 噪声量估算装置和方法 |
CN101267504A (zh) * | 2007-03-14 | 2008-09-17 | 索尼株式会社 | 图像拾取装置、图像拾取方法、曝光控制方法和程序 |
US20110064327A1 (en) * | 2008-02-01 | 2011-03-17 | Dagher Joseph C | Image Data Fusion Systems And Methods |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11341344A (ja) | 1998-05-26 | 1999-12-10 | Toshiba Corp | ダイナミックレンジ拡大機能を備えた電子カメラ |
KR100339368B1 (ko) | 2000-07-18 | 2002-06-03 | 구자홍 | 영상 신호의 잡음 크기 추정 방법 및 장치 |
EP1442425B1 (fr) | 2001-07-12 | 2018-08-08 | DxO Labs | Procede et systeme pour produire des informations formatees liees aux defauts des appareils |
JP2006504312A (ja) | 2002-10-23 | 2006-02-02 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | シャープネス強調 |
EP1591963B1 (en) * | 2004-04-29 | 2008-07-09 | Mitsubishi Electric Information Technology Centre Europe B.V. | Adaptive quantisation of a depth map |
JP2006074252A (ja) * | 2004-08-31 | 2006-03-16 | Fuji Photo Film Co Ltd | 画像読取装置及び暗出力補正方法 |
US7652788B2 (en) | 2006-06-23 | 2010-01-26 | Nokia Corporation | Apparatus, method, mobile station and computer program product for noise estimation, modeling and filtering of a digital image |
GB2443663A (en) * | 2006-07-31 | 2008-05-14 | Hewlett Packard Development Co | Electronic image capture with reduced noise |
JP4541370B2 (ja) | 2007-02-16 | 2010-09-08 | 日本放送協会 | Snr測定方法、snr測定装置およびsnr測定プログラム |
JP2009004945A (ja) | 2007-06-20 | 2009-01-08 | Sony Corp | 計測装置および方法、プログラム、並びに記録媒体 |
US20090059039A1 (en) | 2007-08-31 | 2009-03-05 | Micron Technology, Inc. | Method and apparatus for combining multi-exposure image data |
US7940311B2 (en) | 2007-10-03 | 2011-05-10 | Nokia Corporation | Multi-exposure pattern for enhancing dynamic range of images |
US8346008B2 (en) | 2009-06-09 | 2013-01-01 | Aptina Imaging Corporation | Systems and methods for noise reduction in high dynamic range imaging |
KR20120078851A (ko) * | 2011-01-03 | 2012-07-11 | 삼성전자주식회사 | 이미지 선명화 방법, 이미지 센서, 및 이를 포함하는 장치들 |
-
2011
- 2011-07-27 EP EP11175609.4A patent/EP2552099B1/en active Active
-
2012
- 2012-07-16 TW TW101125562A patent/TWI507999B/zh active
- 2012-07-20 CN CN201210253658.4A patent/CN102905084B/zh active Active
- 2012-07-24 KR KR1020120080815A patent/KR101576237B1/ko active IP Right Grant
- 2012-07-26 US US13/558,751 patent/US8553110B2/en active Active
- 2012-07-27 JP JP2012167073A patent/JP5420730B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1674640A (zh) * | 1999-06-01 | 2005-09-28 | 索尼公司 | 噪声量估算装置和方法 |
WO2001026054A2 (en) * | 1999-10-01 | 2001-04-12 | Microsoft Corporation | Locally adapted histogram equalization |
CN101267504A (zh) * | 2007-03-14 | 2008-09-17 | 索尼株式会社 | 图像拾取装置、图像拾取方法、曝光控制方法和程序 |
US20110064327A1 (en) * | 2008-02-01 | 2011-03-17 | Dagher Joseph C | Image Data Fusion Systems And Methods |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107079108A (zh) * | 2014-10-02 | 2017-08-18 | 康诺特电子有限公司 | 具有直方图扩展的机动车辆相机装置 |
Also Published As
Publication number | Publication date |
---|---|
KR20130014025A (ko) | 2013-02-06 |
JP5420730B2 (ja) | 2014-02-19 |
US8553110B2 (en) | 2013-10-08 |
US20130027589A1 (en) | 2013-01-31 |
TW201312472A (zh) | 2013-03-16 |
CN102905084B (zh) | 2015-06-24 |
KR101576237B1 (ko) | 2015-12-09 |
TWI507999B (zh) | 2015-11-11 |
EP2552099B1 (en) | 2013-08-28 |
JP2013031175A (ja) | 2013-02-07 |
EP2552099A1 (en) | 2013-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102905084B (zh) | 用于提供对图像的平均信噪比值进行估计的方法和相机 | |
CN101485193B (zh) | 图像生成装置以及图像生成方法 | |
EP1924966B1 (en) | Adaptive exposure control | |
CN104378558B (zh) | 用于产生高动态范围影像的系统和方法 | |
US10154216B2 (en) | Image capturing apparatus, image capturing method, and storage medium using compressive sensing | |
WO2019236626A2 (en) | Hdr image generation from single-shot hdr color image sensors | |
EP2560375B1 (en) | Image processing device, image capture device, program, and image processing method | |
CN102724400A (zh) | 图像处理设备及其控制方法 | |
CN103391397B (zh) | 使用相位差方法进行焦点检测的焦点检测设备和摄像设备 | |
CN104010128A (zh) | 摄像设备及其控制方法 | |
CN102694973B (zh) | 摄像设备 | |
US20230186501A1 (en) | Depth information generating apparatus, image capturing apparatus, depth information generating method, image processing apparatus, and image processing method | |
US7868925B2 (en) | Device, method, and program for generating high-resolution image data at a low data transfer rate | |
JP2013162347A (ja) | 画像処理装置、画像処理方法、プログラム、および装置 | |
CN104349082A (zh) | 图像处理装置、图像处理方法以及程序 | |
JP6353233B2 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
Hanji et al. | Noise-aware merging of high dynamic range image stacks without camera calibration | |
CN101534375B (zh) | 用于校正色差的方法 | |
US8599288B2 (en) | Noise reduction apparatus, method and computer-readable recording medium | |
JP2012003454A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
CN102186020A (zh) | 图像处理装置、图像处理方法 | |
JP6318661B2 (ja) | 被写体検出装置、撮像装置及び画像処理プログラム | |
JP2012142676A (ja) | 撮像装置及び画像生成方法 | |
Bringier et al. | Evidence theory for high dynamic range reconstruction with linear digital cameras | |
JP2018152095A (ja) | 画像処理装置、撮像装置及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |