CN103856720A

CN103856720A - 图像处理设备和方法

Info

Publication number: CN103856720A
Application number: CN201310594596.8A
Authority: CN
Inventors: 都築毅
Original assignee: Samsung Techwin Co Ltd
Current assignee: Hanhua Vision Co ltd
Priority date: 2012-11-30
Filing date: 2013-11-21
Publication date: 2014-06-11
Anticipated expiration: 2033-11-21
Also published as: US9131172B2; US20140152861A1; CN103856720B

Abstract

提供一种图像处理设备和方法。所述图像处理设备包括：检测单元，被构造为通过使用当前帧中的长曝光图像和前一帧中的长曝光图像来检测运动；处理单元，被构造为根据从检测单元获得的运动检测结果来对当前帧中的短曝光图像执行无限脉冲响应（IIR）滤波。

Description

图像处理设备和方法

本申请要求于2012年11月30日提交到日本专利局的第2012-0263136号日本专利申请和于2013年8月20日提交到韩国知识产权局的第10-2013-0098604号韩国专利申请的优先权，它们的公开通过引用整体包含于此。

技术领域

与示例性实施例一致的设备和方法涉及宽动态范围（WDR）图像处理。

背景技术

宽动态范围（WDR）也被称为高动态范围（HDR），但是在下文中，被称为WDR。

近来，WDR拍摄功能被越来越多地使用。WDR拍摄功能用于通过连续拍摄并合成短时间曝光图像（在下文中称为“短曝光图像”）和长时间曝光图像（在下文中称为“长曝光图像”），在超过图像传感器可捕获图像的动态范围的动态范围中获得图像。WDR拍摄功能在对比度非常高的环境（诸如具有背光的环境）中具有显著的效果。

然而，针对用于将短曝光图像与长曝光图像合成的结构，可能引起两个问题。一个问题为：在合成时，运动的对象可引起该对象的轮廓的偏差，从而引起图像中的对象的轮廓成双的伪影。另一问题为：如果在短曝光图像中拍摄到闪烁并且当所述短曝光图像用于合成时，则会输出包括所述闪烁的合成图像。因此，图像会不清楚。提供本发明构思主要解决与闪烁有关的所述另一问题。

产生闪烁的示例可以是不包括逆变器的荧光灯。一些最近提供的发光二极管（LED）照明设备具有低的闪烁频率，但是如此低频率的闪烁仍会引起闪烁的产生。此外，包括液晶显示器（LCD）的TV设备或用于个人计算机（PC）的显示器越来越多地采用背光闪烁，以便提高视频显示器的性能。背光闪烁也会引起闪烁的产生。

在下文中，描述了减轻与WDR有关的闪烁的方法。一个方法将主要校正当在具有闪光灯的环境中所拍摄的图像被合成时而产生的白平衡（WB）与在没有闪光灯的环境中所拍摄的图像被合成时而产生的WB之间的差（参考2011-35894号日本专利登记）。在这种情况下，可通过对几个图像的加权平均来减少闪烁。还可通过对几个图像的加权平均来获得WDR效果。此外，可调整增益来校正WB。

通过将利用1/240秒的快门速度拍摄的图像与利用1/60秒的快门速度拍摄的图像进行比较以便检测闪烁来执行另一方法（参考2012-119761号日本专利登记）。在这种情况下，针对几个WDR合成图像和从短曝光图像获得的色调补偿图像分别设置优先级。随后，基于相应优先级，控制几个WDR合成图像和从短曝光图像获得的色调补偿图像的显示或记录。如果检测到闪烁，则可提高色调补偿图像而不是WDR合成图像的组合比。

然而，与将短曝光图像与长曝光图像进行合成的类型相比，在2011-35894号日本专利登记中公开的方法可具有较小的WDR效果。此外，关于2011-35894号日本专利登记中公开的方法，由于几个图像被加权平均，因此需要与帧的数量相应的帧存储器，会增加存储器大小或数据发送负荷。使用运动检测结果来计算增益以调整WB。然而，可能不能解决由于几个图像的加权平均而导致的运动中的对象的轮廓成双的问题。

关于2012-119761号日本专利登记中公开的另一方法，在拍摄前需要获取用于闪烁确定的参考图像。此外，当运动图像被拍摄时，如果在是否存在闪烁中存在改变，则这样的改变可能不被正确处理。如果通过使用2012-119761号日本专利登记中公开的所述另一方法检测闪烁，则可提高色调补偿图像而不是WDR合成图像的组合比。因此，WDR效果可显著降低。

发明内容

一个或多个实施例提供一种用于通过执行用于将短曝光图像与长曝光图像进行合成的WDR处理，来防止存储器容量和数据发送负荷的增加，防止运动中的对象的图像的双影，并获得针对具有闪烁的运动图像的显著的WDR效果的技术。

各个方面将在下面的描述中被部分地阐明，并且从所述描述中将部分地显然，或者可通过呈现的示例性实施例的实践而得知。

根据示例性实施例的一方面，提供一种包括检测单元和处理单元的图像处理设备。

检测单元可通过使用当前帧中的长曝光图像和前一帧中的长曝光图像来检测运动。

处理单元可通过根据从检测单元获得的运动检测结果设置IIR滤波的循环系数（cyclic coefficient），来对当前帧中的短曝光图像执行无限脉冲响应（IIR）滤波。

处理单元可将对当前帧中的短曝光图像执行IIR滤波的结果与对前一帧中的短曝光图像执行IIR滤波的结果进行组合，并输出对所述结果组合的结果。

处理单元可通过如果运动值高则将对当前帧中的短曝光图像的IIR滤波的循环系数设置为高，来对当前帧中的短曝光图像执行IIR滤波。

根据另一示例性实施例的一方面，提供一种包括检测运动和执行IIR滤波的图像处理方法。

可通过使用当前帧中的长曝光图像和前一帧中的长曝光图像检测运动，来执行运动的检测。

可通过根据运动检测结果设置IIR滤波的循环系数来执行IIR滤波。

附图说明

从以下结合附图对示例性实施例的描述，这些和/或其它方面将变得清楚且更容易理解，在附图中：

图1是根据示例性实施例的被用作图像处理设备的宽动态范围（WDR）系统的框图；

图2是示出根据示例性实施例的运动检测结果与无限脉冲响应（IIR）滤波的循环系数之间的关系的示例的曲线图；

图3是示出根据示例性实施例的应用于图1的WDR系统的图像处理方法的示例的流程图。

具体实施方式

提供以下描述和附图以更好地理解本发明构思。在下面的描述中，如果确定公知功能或结构由于不必要的细节将模糊本发明构思，则不详细描述该公知功能或结构。

以下描述和附图不意图限制本发明构思的范围，本发明构思的范围应由权利要求限定。以下描述中使用的术语仅用于描述本发明构思的特定示例性实施例而不意图限制本发明构思。

现在将详细参照附图中示出的示例性实施例，其中，相同的标号始终表示相同的元件。在这点上，实施例可具有不同的形式而不应被解释为受限于在此阐述的描述。因此，以下仅通过参照附图描述实施例，以解释实施例的多个方面。

具有基本相同功能的几个组件可通过在相同的标号之后添加另一标号来相互进行区分。如果没有必要相互区分具有基本相同功能的几个组件，则为所述几个组件设置相同的标号。

图1是根据示例性实施例的被用作图像处理设备的宽动态范围（WDR）系统10的框图。

在当前实施例中，参照图1，被用作图像处理设备的WDR系统10包括图像传感器110、第一存储器121、第二存储器122、检测单元130、被用作处理单元的无限脉冲响应（IIR）滤波器140和合成单元150。

在下文中，依次详细描述WDR系统10的前述组件中的每一个的功能。根据示例性实施例，检测单元130、IIR滤波器140和合成单元150可以是执行特定任务的软件组件或硬件组件，诸如现场可编程门阵列（FPGA）或专用集成电路（ASIC）。这些组件可方便地被构造为位于一个或多个可寻址的存储介质上并被构造为在一个或多个处理器上执行。因此，通过举例的方式，这些组件中的每一个可包括软件组件、面向对象的软件组件、类组件和任务组件、处理、函数、属性、过程、子例程、程序代码段、驱动、固件、微代码、电路、数据、数据库、数据结构、表、数组以及变量。组件和单元中提供的功能可被组合到更少的组件和单元中，或者被进一步分离到其它组件和单元中。此外，组件和单元可被这样实现，使得它们执行通信系统中的一个或多个计算机。

图像传感器110在图像装置的光接收面上形成从外部发射的光的图像，将形成图像的光光电地转换为电荷量，并因此将该电荷量转换为电信号。图像传感器110的示例可以是电荷耦合器件（CCD）图像传感器或互补金属氧化物半导体（CMOS）图像传感器。

在当前实施例中，图像传感器110依次捕捉长曝光图像和短曝光图像。如图1中所示，如果长曝光图像和短曝光图像被依次拍摄，则WDR系统10包括至少两个路径，诸如用于从图像传感器110输出长曝光图像的路径以及用于从图像传感器110输出短曝光图像的另一路径。

前一帧中相对长的曝光时间所拍摄的长曝光图像被存储在第一存储器121中。

所述前一帧中相对短的曝光时间所拍摄的短曝光图像被输出到IIR滤波器140。IIR滤波器140对所述前一帧中的短曝光图像执行IIR滤波，随后，将IIR滤波的结果存储在第二存储器122中。

在下一帧周期中，图像传感器110获得当前帧中的长曝光图像和短曝光图像。在当前实施例中，前一帧表示在当前帧之前的一帧的帧。

在本示例性实施例中，诸如短曝光图像和长曝光图像的术语不限定相对两个拍摄图像的绝对曝光时间。换句话说，如果具有不同的曝光时间的两个图像被拍摄，则在相应的两个图像中具有相对短的曝光时间的图像与短曝光时间相应，而具有相对长的曝光时间的图像与长曝光时间相应。

被用作处理单元的IIR滤波器140根据从检测单元130获得的运动检测的结果来设置IIR滤波的循环系数，以对从图像传感器110输出的当前帧中的短曝光图像执行IIR滤波。

IIR滤波器140将对当前帧中的短曝光图像执行IIR滤波的结果与对前一帧中的短曝光图像执行滤波的结果进行组合，并输出对所述结果组合的结果。

在当前实施例中，作为从IIR滤波器获得的输出像素值的Y可被表示为下面的等式1。

Y=K×X_t+(1-K)×X_t-1 …(1)

在等式1中，K为IIR滤波的循环系数，K具有0至1的值，X_t为当前帧中的短曝光图像的像素值，X_t-1为通过使用IIR滤波器140对前一帧中的短曝光图像中的像素值执行处理的结果。

因此，作为输出像素值的Y是对当前帧中的短曝光图像中的像素值执行IIR滤波的结果。输出像素值Y被输出到合成单元150，并同时被存储在第二存储器122中，从而用作下一帧中的X_t-1。

如果IIR滤波的循环系数K减小，则多个帧的加权平均的效果增加。因此，提高了闪烁被减轻的程度。然而，如果IIR滤波的循环系数K减小，则位于存在运动的地方的对象的轮廓会相互重叠。

相反，如果IIR滤波的循环系数增加，则输出像素值Y接近于当前帧中的像素值。因此，如果IIR滤波的循环系数K增加，则位于存在运动的地方的对象的轮廓不会相互重叠。然而，由于IIR滤波的循环系数K增加，因此时间方向上的滤波效果降低并且闪烁减轻效果也降低。

作为参考，如果本发明构思的示例性实施例不限于IIR滤波并且几个帧被加权平均以扩展动态范围或或降噪，则位于存在运动的区域中的对象的轮廓会彼此重叠，从而造成不自然的图像。作为解决这样的问题的示例，可检测运动，并且针对存在运动的区域，可不对帧的像素进行加权平均。

然而，这可仅在照明环境未改变时被执行。如果包括闪烁的图像被输入，则因为未对闪烁和运动进行区分，所以会产生失效并因此不能获得期望的效果。

根据示例性实施例，可基于使用WDR系统的拍摄方法的特性，通过使用以下描述的运动检测方法来解决这样的问题。

总体上，用于长曝光图像的快门速度等于或长于闪烁频率。因此，闪烁不会被包括在长曝光图像中。因此，可仅通过长曝光图像的帧之间的差来获得运动值。

基于此，检测单元130通过使用从图像传感器110输出的当前帧中的长曝光图像以及从第一存储器121输出的前一帧中的长曝光图像来检测运动。

当检测单元130通过获得长曝光图像的帧的差来检测运动时，如果帧差的值小于第一阈值，则确定运动不存在，并因此将运动的值设置为最小值。

此外，如果帧差的值大于第二阈值，则确定存在运动，并因此将运动的值设置为最大值。

此外，如果帧差的值是在第一阈值与第二阈值之间的范围内的值，则运动检测结果的值（即，运动值）被设置为与长曝光图像的帧的差成比例。

从检测单元130获得的长曝光图像中的运动检测的结果的值（即，运动值）被输入到IIR滤波器140。与此相应地，适应地设置IIR滤波的循环系数。

随后，描述根据运动检测结果（即，运动值）控制IIR滤波的循环系数的示例。

图2是示出根据示例性实施例的运动检测结果与IIR滤波的循环系数之间的关系的示例的曲线图。

参照图1和图2，当运动检测结果（即，运动值）高时，IIR滤波器140将IIR滤波的循环系数设置为高，以执行IIR滤波。图2中示出的TH1和TH2表示用于确定运动是否存在的阈值。

如果运动检测结果（即，运动值）小于第一阈值TH1，则IIR滤波器140将IIR滤波的循环系数设置为最小值“0.3”。因此，几个帧的加权平均的效果被提高，从而提高了闪烁减轻的效果。

如果运动检测结果（即，运动值）大于第二阈值TH2，则IIR滤波器140将IIR滤波的循环系数设置为最大值“0.9”。因此，几个帧的加权平均的效果被降低，从而防止由运动中的对象的轮廓的重叠会造成的不自然的图像。

如果运动检测结果（即，运动值）是在第一阈值TH1与第二阈值TH2之间的范围内的值，则IIR滤波器140将IIR滤波的循环系数被设置为与运动检测结果（即，运动值）成比例。

合成单元150将当前帧中的长曝光图像与对当前帧中的短曝光图像执行IIR滤波的结果进行合成。例如，合成单元150根据关于选择的信息将当前帧中的长曝光图像与对当前帧中的短曝光图像执行IIR滤波的结果进行合成，从而产生WDR图像。

用于选择当前帧中的长曝光图像和对当前帧的短曝光图像执行IIR滤波的结果之一的算法有多种。

例如，由于在长曝光图像中饱和的区域很可能在短曝光图像中不饱和，因此，可将短曝光图像选择作为在相应区域中使用的图像。然而，以这样的方式选择短曝光图像会造成在存在大运动的区域中对象的轮廓成双的伪影。在这种情况下，可执行用于检测运动并减小轮廓的成双的处理。不具体限制用于选择执行IIR滤波的短曝光图像和长曝光图像的算法。

此外，合成单元150可根据短曝光图像和长曝光图像之间的组合比，通过将当前帧中的长曝光图像与对当前帧中的短曝光图像执行IIR滤波的结果进行合成来产生WDR图像。例如，如果长曝光图像的饱和度高，则将短曝光图像的组合比设置得高。此外，如果短曝光图像或长曝光图像中的运动大，则将短曝光图像的组合比设置得高。不具体限制用于计算短曝光图像和长曝光图像之间的组合比的算法。

例如，如果长曝光图像的组合比被设置为α，则合成单元150可针对分别与当前帧中的长曝光图像和对当前帧中的短曝光图像执行IIR滤波的结果相应的每个像素，采用如下所述的等式2。

Y_F=α×X_Lt+(1-α)×X_St …(2)

在等式2中，Y_F为从合成单元150输出的像素值，X_Lt为当前帧中的长曝光图像的像素值，X_St为对当前帧中的短曝光图像执行IIR滤波的结果的像素值。

因此，通过将等式2应用于每个像素而获得的帧图像为WDR图像。此外，可从WDR系统10的内部或外部产生选择信息或组合比。不具体限制通过使用合成单元150执行的合成方法。

如图3中所示，在操作S1，检测单元130通过使用从图像传感器110输出的当前帧中的长曝光图像和从第一存储器121输出的前一帧中的长曝光图像来检测运动。

在操作S2，IIR滤波器140根据运动检测结果（即，由检测单元130检测到的运动值）设置IIR滤波的循环系数，并通过使用设置的循环系数来对从图像传感器110输出的当前帧中的短曝光图像执行IIR滤波。

在操作S3，合成单元150将从图像传感器110输出的当前帧中的长曝光图像与从IIR滤波器140输出的对当前帧中的短曝光图像执行IIR滤波的结果进行合成。

将对当前帧中的短曝光图像执行IIR滤波的结果存储在第二存储器122中，以在对下一帧执行IIR滤波时被用作对前一帧中的短曝光图像执行IIR滤波的结果。

分别针对每一帧执行操作S1至操作S3。

根据本发明构思的示例性实施例，图像处理设备和方法可通过执行用于将短曝光图像与长曝光图像进行合成的WDR处理，来防止存储器容量和数据发送负荷的增加，防止运动中的对象的图像的双影，并获得针对包括闪烁的运动图像的显著的WDR效果。

上述实施例还可被实现为计算机可读记录介质上的计算机可读代码，或可通过传输介质被发送。所述计算机可读记录介质可以是可存储随后可由计算机系统读取的数据的任何数据存储装置。所述计算机可读记录介质的示例包括：只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储装置。所述计算机可读记录介质还可分布于联网的计算机系统上，使得所述计算机可读代码以分布方式被存储并被执行。

在下文中，根据示例性实施例，详细描述可通过使用所述方法获得的效果。

根据示例性实施例，采用在WDR合成之前减轻包括在短曝光图像中的闪烁的方法。可通过执行IIR滤波来减轻闪烁。如果采用对几个帧中的图像进行加权平均的方法，则运动中的对象的轮廓会相互重叠，并且图像会变得不自然。

根据示例性实施例，为了解决这样的问题，可通过使用不包括闪烁的长曝光图像检测运动来高精度地获得运动值。随后，可采用所述运动值来设置IIR滤波的循环系数。

此外，如果采用减轻WDR合成的闪烁的方法，则会难以区分运动和闪烁，因此，闪烁可能不被减轻。根据示例性实施例，可在WDR合成之前减轻包括在短曝光图像中的闪烁。因此，可执行稳定的WDR合成，而不必考虑WDR合成的闪烁。

如上所述，根据以上实施例中的一个或多个，图像处理设备和方法可通过执行用于对短曝光图像与长曝光图像进行合成的WDR处理，防止存储器容量和数据发送负荷的增加，防止运动中的对象的图像的双影，并获得针对具有闪烁的运动图像的显著WDR效果。

应理解，应仅以描述意义考虑描述于此的示例性实施例，而不用于限制的目的。通常，应将对每个实施例内的特征或方面的描述视为可用于其它实施例中的其它相似特征或方面。

例如，根据示例性实施例，拜尔（bayer）数据被应用为将被处理的信号。然而，可采用红-绿-蓝（RGB）数据或Y-信号U信号V-信号（YUV）数据而不是拜尔数据。

虽然已经参照附图描述了一个或多个示例性实施例，但是本领域普通技术人员将理解，在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可在所述示例性实施例中在形式和细节上做出各种改变。

Claims

1.图像处理设备，包括：

检测单元，被构造为通过使用当前帧中的长曝光图像和前一帧中的长曝光图像来检测运动；

处理单元，被构造为根据从检测单元获得的运动检测结果来对当前帧中的短曝光图像执行无限脉冲响应（IIR）滤波。

2.如权利要求1所述的图像处理设备，其中，通过图像传感器依次捕捉长曝光图像和短曝光图像。

3.如权利要求2所述的图像处理设备，其中，处理单元被构造为将对当前帧中的短曝光图像执行IIR滤波的结果与对前一帧中的短曝光图像执行IIR滤波的结果进行组合，并输出对所述结果组合的结果。

4.如权利要求3所述的图像处理设备，其中，处理单元被构造为通过使用根据运动检测结果而变化的循环系数，对当前帧中的短曝光图像执行IIR滤波。

5.如权利要求4所述的图像处理设备，其中，所述循环系数被设置为至少在预定范围内与相应于运动检测结果的运动值成比例。

6.如权利要求5所述的图像处理设备，其中，所述预定范围在第一阈值与第二阈值之间，

其中，如果运动值低于第一阈值，则循环系数被设置为最小值，如果运动值高于第二阈值，则循环系数被设置为最大值。

7.如权利要求6所述的图像处理设备，还包括合成单元，被构造为将当前帧中的长曝光图像与从处理单元获得的对当前帧中的短曝光图像执行IIR滤波的结果进行合成。

8.如权利要求1所述的图像处理设备，其中，处理单元被构造为将对当前帧中的短曝光图像执行IIR滤波的结果与对前一帧中的短曝光图像执行IIR滤波的结果进行组合，并输出对所述结果组合的结果。

9.如权利要求1所述的图像处理设备，其中，处理单元被构造为通过使用根据运动检测结果而变化的循环系数，对当前帧中的短曝光图像执行IIR滤波。

10.如权利要求1所述的图像处理设备，还包括合成单元，被构造为将当前帧中的长曝光图像与从处理单元获得的对当前帧中的短曝光图像执行IIR滤波的结果进行合成。

11.一种图像处理方法，包括：

通过使用当前帧中的长曝光图像和前一帧中的长曝光图像来检测运动；

根据运动检测结果对当前帧中的短曝光图像执行无限脉冲响应（IIR）滤波。

12.如权利要求11所述的图像处理方法，其中，通过图像传感器依次捕获长曝光图像和短曝光图像。

13.如权利要求12所述的图像处理方法，其中通过将对当前帧中的短曝光图像执行IIR滤波的结果与对前一帧中的短曝光图像执行IIR滤波的结果进行组合来执行IIR滤波，并输出对所述结果组合的结果。

14.如权利要求13所述的图像处理方法，其中，通过使用根据运动检测结果而变化的循环系数，对当前帧中的短曝光图像执行IIR滤波。

15.如权利要求14所述的图像处理方法，其中，循环系数被设置为至少在预定范围内与相应于运动检测结果的运动值成比例。

16.如权利要求15所述的图像处理方法，其中，所述预定范围在第一阈值与第二阈值之间，

17.如权利要求16所述的图像处理方法，还包括将当前帧中的长曝光图像与对当前帧中的短曝光图像执行IIR滤波的结果进行合成。

18.如权利要求11所述的图像处理方法，其中，将对当前帧中的短曝光图像执行IIR滤波的结果与对前一帧中的短曝光图像执行IIR滤波的结果进行组合来执行IIR滤波，并输出对所述结果组合的结果。

19.如权利要求11所述的图像处理方法，其中，通过使用根据运动检测结果而变化的循环系数，对当前帧中的短曝光图像执行IIR滤波。

20.如权利要求11所述的图像处理方法，还包括将当前帧中的长曝光图像与对当前帧中的短曝光图像执行IIR滤波的结果进行合成。