CN108122216B - 用于数字图像的动态范围扩展的系统和方法 - Google Patents

Abstract

一种用于数字图像的动态范围扩展的系统，包括：配置装置，根据第一和第二参数得到块三对角矩阵的值；分析装置，计算并存储前一帧图像数据的直方图和前一帧图像数据的直方图均衡；优化装置，根据第一和第二参数、块三对角矩阵以及直方图和直方图均衡，利用块三对角矩阵方程，计算并存储前一帧图像数据的输出直方图，根据前一帧图像数据的输出直方图，计算并得出映射函数，根据映射函数得出前一帧图像数据的映射表；映射装置，接收后一帧图像数据，利用前一帧图像数据的映射表处理后一帧图像数据以产生增强的图像数据。与现有技术相比，本发明不但可处理超高清图像，而且对硬件系统要求很低。因此，本发明实现了以很低的硬件要求去处理超高清图像。

Description

用于数字图像的动态范围扩展的系统和方法

技术领域

本发明涉及图像处理领域，更具体地说，涉及一种用于数字图像或视频信号的动态范围扩展的系统和方法。

背景技术

数字图像由尺寸为宽×高的整数的2-D阵列表示。颜色由可以是不同格式(例如RGB、YUV、LUV等)的3种阵列表示，并且有时第四通道也用于表示透明区域(alpha通道)。本发明仅集中研究亮度数据(不是颜色或透明度)，被称为表示亮度的1个通道(例如YUV格式的Y通道)。在数字图像中最常用的整数格式(比特深度)是无符号的8位/像素(值从0到255)。

在显示面板中，在伽玛校正之后，将亮度值转换成(cd/m2)，范围从Y＝0的最低(最暗)级别到Y＝2^比特深度-1的最高(最亮)级别。由显示面板覆盖的亮度的范围被称为显示面板的动态范围。

数字图像可能不使用所有可用的亮度级别。例如，8比特/像素图像可能仅使用从64到191的Y值，其仅覆盖从0到255的完整范围的50％。具有低(大)亮度值覆盖的图像被称为低(高)动态范围图像(分别为LDR或HDR图像)。

本发明引入了一种扩大(或扩展)输入数字图像的动态范围的系统和方法。增强帮助展现图像中的看不见的细节，同时防止图像中的现有噪声或伪像变得可见。

发明内容

本发明的另外方面和优点部分将在后面的描述中阐述，还有部分可从描述中明显地看出，或者可以在本发明的实践中得到。

公开了一种扩展数字图像或视频信号的动态范围的系统和方法。与现有技术相比，本发明不但可处理超高清图像，而且对硬件系统要求很低。因此，本发明实现了以很低的硬件要求去处理超高清图像。本发明解决了提高增强效果的更复杂的问题。

本发明提供了一种用于数字图像的动态范围扩展的系统，包括：配置装置，被配置以产生第一参数和第二参数，并根据所述第一参数和所述第二参数得到块三对角矩阵的值；分析装置，被配置以计算输入的前一帧图像数据的直方图和输入的前一帧图像数据的直方图均衡，并存储所述前一帧图像数据的直方图和所述前一帧图像数据的直方图均衡；优化装置，被配置以根据来自配置装置的所述第一参数和所述第二参数、所述块三对角矩阵以及来自分析装置的所述前一帧图像数据的直方图和所述前一帧图像数据的直方图均衡，利用所述块三对角矩阵方程，计算并存储前一帧图像数据的输出直方图，根据所述前一帧图像数据的输出直方图，计算并得出映射函数，根据所述映射函数得出前一帧图像数据的映射表并保存所述映射表；映射装置，被配置接收后一帧图像数据，利用所述前一帧图像数据的映射表处理后一帧图像数据以产生增强的图像数据。

本发明还提供了一种用于数字图像的动态范围扩展的方法，包括：产生第一参数和第二参数，并根据所述第一参数和所述第二参数得到块三对角矩阵的值；计算输入的前一帧图像数据的直方图和输入的前一帧图像数据的直方图均衡，并存储所述前一帧图像数据的直方图和所述前一帧图像数据的直方图均衡；根据所述第一参数和所述第二参数、所述块三对角矩阵以及所述前一帧图像数据的直方图和所述前一帧图像数据的直方图均衡，利用所述块三对角矩阵方程，计算并存储所述前一帧图像数据的输出直方图，根据所述前一帧图像数据的输出直方图，计算并得出映射函数，根据所述映射函数得出前一帧图像数据的映射表并保存所述映射表；接收后一帧图像数据，利用所述前一帧图像数据的映射表处理所述后一帧图像数据以产生增强的图像数据。

本发明解决了如下问题：

1.重新定义系统Sh＝h_input+λh_EQ(使用不同的矩阵S)以改善图像增强。

2.提出一种在FPGA上求解Sh＝h_input+λh_EQ的系统和方法，并增强LCD显示器中的视频信号。

本发明通过增加对比度和控制视觉伪像(如噪声和条带)来提高图像的视觉效果。并且本发明提供了一个可以使用少量资源在FPGA上实现的系统。

附图说明

通过结合附图对本发明的优选实施例进行详细描述，本发明的上述和其他目的、特性和优点将会变得更加清楚，其中相同的标号指定相同结构的单元，并且在其中：

图1左侧示出了原始图像，图1右侧示出了直方图均衡图像。

图2左侧示出了原始图像，图2中间示出了直方图平滑图像；图2右侧示出了直方图均衡平滑图像。

图3示出了根据本发明实施例的用于数字图像的动态范围扩展的系统的框图。

图4示出了根据本发明实施例的图像数据的动态范围扩展的时序图。

图5示出了根据本发明实施例的用于数字图像的动态范围扩展的方法的流程图。

具体实施方式

下面将参照示出本发明实施例的附图充分描述本发明。然而，本发明可以以许多不同的形式实现，而不应当认为限于这里所述的实施例。相反，提供这些实施例以便使本发明透彻且完整，并且将向本领域技术人员充分表达本发明的范围。在附图中，为了清楚起见放大了组件。

例如BT.2020的数字电视的现代标准正在增加图像的比特深度到最少10比特/像素。这是由现代显示面板覆盖高动态范围(例如>1000cd/m2)的能力所激发的。在HDR(HighDynamic Range，高动态范围)显示器中，连续亮度特征(ΔY＝1)之间的亮度中的差值增加并变得更加可见。因此，对于HDR显示器来说，增加图像的比特深度以减少可能产生不想要的伪像(例如，亮度条带、增加的噪声或可见的压缩伪像)的相邻像素特征之间的间隙是尤其重要的。

现代HDR显示器中的流行特征是增强输入图像的动态范围以展现最大量的细节并产生更好的用户体验。标准对比度增强器(例如简单地重新调节值的范围以覆盖100％的亮度特征)不适合于这样的应用，因为它们产生许多不期望的效果，例如：视频中的图像闪烁、颜色条带和增加的噪声。简单的对比度增强器未能考虑可能使用100％动态范围的像素特征的分布，但是大多数像素可能仍然集中在低动态范围。图像Y中的像素特征的分布可以在它的直方图中看出：

h_Y(n)＝一帧图像中Y等于n的像素点的个数。

其中，Y是灰度值。

或在累积分布函数(CDF)中：

CDF_Y(n)＝一帧图像中Y<＝n的像素点总数。

其中，Y是灰度值。

图1左侧示出了原始图像，图1右侧示出了直方图均衡图像。

对于LDR(Low Dynamic Range，低动态范围)图像，CDF值在由图像使用的像素值的窄范围中具有急剧增加(参见图1左侧)。考虑像素分布来增强对比度的标准技术是直方图均衡(HEQ)。如图1右侧所示，HEQ均匀地分布像素值，并产生类似于线性增加的CDF。HEQ产生动态范围的最大可能增加，但是它经常导致过度增强的输出，不提供控制参数并且不能控制噪声和条带伪像(参见图1)。

如图1所示的HEQ的一个特定问题是它在不使用中间值的情况下重新分布像素特征。这在直方图中产生大的间隙，并且CDF中的突然变化在图像中可见。在参考文献[1](T.Arici,S.Dikbas,and Y.Altunbasak,“A Histogram Modification Framework andIts Application for Image Contrast Enhancement.”IEEE Trans.On ImageProcessing,Vol.18,No.9,pp.1921-1935,September 2009)中，提出几个新的解决方案来控制和改进使用数值优化方法的HEQ的效果。称为直方图平滑的一种理想方法产生优化的输出直方图h_opt，使得：

h_opt＝ArgMin_h||h-h_input||²+λ||h-h_EQ||²+γDh||²方程1

这意味着，ho_pt是产生3个分量的最小和的直方图h：1)具有输入直方图h_input的平方差的和，2)通过常量参数λ加权的的平方差的和，3)由常量参数γ加权的、直方图步长差值Dh的平方值的和。这里Dh是一个矩阵向量乘法：

D是方程1中的参数矩阵。

如参考文献[1]中所定义。该优化问题的解可以通过求解线性方程2来计算，Sh_out＝h_input+λh_EQ...方程2，其中：

S是方程2的参数矩阵。方程2是方程1的变形形式。

如参考文献[1]中所定义。最后，给定输入图像X，可以通过以下过程获得优化的图像Y：

1.计算输入图像直方图h_input和输入图像直方图均衡h_EQ。

2.通过求解三对角矩阵方程Sh_out＝h_input+λh_EQ计算输出图像直方图h_out。其中λ和γ是常量参数，具体取值通常需要根据不同系统而被不同配置。

3.计算映射函数：

其中是小于x的最大整数，W是宽度，H是高度，WxH是指图像中所有的像素点个数，B是比特深度。

4.对于每个输入像素Y[i,j]，输出像素由下式给出：

Out[i,j]＝T[Y[i,j]]

参考文献[1]陈述了：

1.Sh_out＝h_input+λh_EQ可以用三对角矩阵求解器求解，但它不能用于LCD显示器，因为它太复杂，无法在FPGA中实现。

2.提出了不太复杂的其他不同近似，但同时导致了较差的质量。

针对上述问题，本发明对上述的三对角矩阵方程进行了优化从而得到优化的输出直方图。

图3示出了根据本发明实施例的用于数字图像的动态范围扩展的系统的框图。

在参考文献[1]中，根据前向差h(n+1)-h(n)来处理像素特征为n处的直方图间隙，这必然会导致整体的像素特征分布上移，使图像呈现出更明亮的效果。图2左侧示出了原始图像，图2中间示出了直方图平滑图像；图2右侧示出了直方图均衡平滑图像。如图2所示，处理后的图像与原始图像不匹配，而且改变亮度和对比度，降低了增加动态范围的能力。它还对间隙位置敏感，并且在视频信号中产生闪烁。

本发明利用对称差来处理像素特征为n处的直方图间隙，即，h[n+1]-h[n-1]。

对于对称差的对应矩阵D为：

从而，获得优化的输出直方图的块三对角矩阵方程是Sh_out＝h_input+λh_EQ，其中

现在矩阵S不是三对角的，而是具有大小为2×2的块的块三对角的。即：

其中，和这些2×2块矩阵都是对角线的，因此易于反转。然后可以使用块三对角求解器来求解该矩阵方程。

本发明使用块三对角方法来求解块三对角矩阵方程Sh＝h_input+λh_EQ。该系统使用定点算法解决了比特深度10位/像素和图像分辨率8K(4320x7680)的问题。

如图3所示，用于数字图像的动态范围扩展的系统包括配置装置301、分析装置302、优化装置303以及映射装置304。

如上所述，在块三对角矩阵方程中，块三对角矩阵S取决于参数γ和λ。参数γ和λ通常根据不同系统而被不同配置。

配置装置301被配置以产生合适的参数γ和λ(根据实验可以得到适合不同系统的参数γ和λ)，并根据参数γ和λ得到块三对角矩阵S和D的值。

如果γ和λ是固定的，则可以使用软件预先计算块三对角矩阵S和D的值，并且不需要在FPGA(Field-Programmable Gate Array，现场可编程门阵列)上运行。

分析装置302被配置以计算输入的前一帧图像数据的直方图和输入的前一帧图像数据的直方图均衡，并存储前一帧图像数据的直方图和前一帧图像数据的直方图均衡。

优化装置303被配置以根据来自配置装置301的参数γ和λ、块三对角矩阵S以及来自分析装置302的前一帧图像数据的直方图和前一帧图像数据的直方图均衡，利用块三对角矩阵方程，计算并存储前一帧图像数据的输出直方图；根据前一帧图像数据的输出直方图，计算并得出映射函数，根据映射函数得出前一帧图像数据的映射表并保存该映射表。

其中，块三对角矩阵方程可以采用参考文献[1]中所公开的方程Sh_out＝h_input+λh_EQ；或者也可以采用现有或者未来的其他方程。

其中，映射函数可以采用参考文献[1]中所定义的如下映射函数：或者也可以采用现有或者未来的其他映射函数。

映射装置304被配置以接收后一帧图像数据，并利用前一帧图像数据的映射表处理后一帧图像数据以产生增强的图像数据。

映射装置304还包括用户自定义调整参数CT。该值可以从0(无效果)更改为64(最强效果)。用户可以通过参数CT来控制本发明的算法的增强程度。

根据现有系统，仅在对每帧数字图像的所有像素进行上述处理之后，才能够利用映射表产生增强的图像数据。对于视频信号，如果逐帧地应用图像增强，则需要帧缓冲器来存储输入图像数据的像素，计算最佳映射表，并最终输出增强的图像。对于UHD(Ultra HighDefinition Television，超高清电视分辨率)，将需要大量的资源。

为了节约资源，本发明采用了分析前一帧并在后一帧中应用增强的方法。

图4示出了根据本发明实施例的图像数据的动态范围扩展的时序图。

如图4所示，当k+1帧到达时，其被分析以计算其直方图，并且同时，利用来自k帧的信息的映射表来处理k+1帧并显示处理后的输出图像。并且在两个帧之间的时间间隔(即，VBLANK时间)中优化装置303执行处理。

例如，在开机时候，第1帧不变，用第1帧得出的映射表去处理第2帧，用第2帧得出映射表去处理第3帧，……用第k帧的得出的映射表去处理第k+1帧，以此类推。并且，显示的永远是利用前一帧优化后的映射表处理后一帧所得的输出图像。

假设连续的两帧记为k和k+1，则处理时序如下：

1.在k帧输入的同时，计算k帧的直方图；

2在k帧输入完毕后，直方图统计完成；

3.在帧k和k+1之间的Vblank区间内，根据直方图进行运算得出优化的k帧的输出直方图，根据输出直方图得出映射函数，根据映射函数得出k帧的映射表并保存该映射表；

4.当k+1帧输入时，k+1帧的每个像素都作为上述映射表的输入，根据映射表进行映射并得出k+1帧的每个像素的输出，作为k+1帧处理后的输出图像，并输出显示；在k+1帧输入的同时，也重复上述步骤1到3的过程，得到k+1帧的映射表以用于K+2帧的映射处理，以此类推。

图5示出了根据本发明实施例的用于数字图像的动态范围扩展的方法的流程图。

块三对角矩阵S中的块取决于参数γ和λ。参数γ和λ通常根据不同系统而被不同配置。如图5所示，在步骤501，配置合适的参数γ和λ(根据实验可以得到适合不同系统的参数γ和λ)，并根据参数γ和λ得到块三对角矩阵S和D的值。

如果γ和λ是固定的，则该步骤401可以使用软件预先计算块三对角矩阵S和D的值，并且不需要在FPGA(Field-Programmable Gate Array，现场可编程门阵列)上运行。

在步骤502，计算输入的前一帧图像数据的直方图和输入的前一帧图像数据的直方图均衡，并存储前一帧图像数据的直方图和前一帧图像数据的直方图均衡。

在步骤503，根据参数γ和λ、块三对角矩阵S以及前一帧图像数据的直方图和前一帧图像数据的直方图均衡，利用块三对角矩阵方程Sh_out＝h_input+λh_EQ，计算并存储前一帧图像数据的输出直方图；根据前一帧图像数据的输出直方图，计算并得出映射函数，根据映射函数得出前一帧图像数据的映射表并保存该映射表。

在步骤504，接收后一帧图像数据，并利用前一帧图像数据的映射表处理后一帧图像数据以产生增强的图像数据。

其中，映射函数可以采用参考文献[1]中所定义的如下映射函数：或者也可以采用现有或者未来的其他映射函数。

在步骤504还包括用户通过自定义调整参数CT来控制本发明的算法的增强程度。该值可以从0(无效果)更改为64(最强效果)。

本发明的优点：

与HEQ相比，本发明获得更好的质量效果，因为其分布控制输出直方图中的像素特征之间的间隙的像素。与HEQ相比，本发明减少了噪声和条带伪像。

与参考文献[1]中的直方图平滑相比，本发明具有改进的视觉效果，并且还可以在FPGA中实现。直方图平滑可以改变输出图像中的亮度级别，降低扩展动态范围的能力。参考文献[1]提到在FPGA中实现直方图平滑的数值问题太复杂。本发明提供了一种使用少量资源在FPGA中实现增强器的系统和方法。

与加权直方图和局部直方图近似相比，本发明实现了更好的质量效果。如参考文献[1]中所述，这些近似不如直方图平滑，并且本发明优于直方图平滑。

与参考文献[1]中的局部直方图近似相比，本发明需要分析整个图像帧以获得优化的解。局部直方图近似使用小块图像来加速处理。本发明通过在下一帧应用上一帧的优化结果来避免帧缓冲器的必要性。

除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。

这里参照支持根据本发明实施例的方法、装置(系统)和计算机程序产品的方框图和流程图描述本发明示例性实施例。应当理解，流程图和/或方框图的每个方框以及流程图和/或方框图的方框组合可以通过计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得通过计算机或其他可编程数据处理装置的处理器执行的指令创建实现流程图和/或方框图方框中指定功能/动作的手段。

这些计算机程序指令也可以存储在计算机可读存储器中，可以引导计算机或其他可编程数据处理装置以特定方式运行，使得存储在计算机可读存储器中的指令产生包括实现流程图和/或方框图方框中指定功能/动作的指令手段的制造物品。

计算机程序指令还可以加载到计算机或其他可编程数据处理装置上，导致在计算机或其他可编程装置上执行一系列操作步骤来产生计算机实现的处理，使得计算机或其他可编程装置上执行的指令提供实现流程图和/或方框图方框中指定功能/动作的步骤。每个方框可以表示代码模块、片断或部分，其包括一个或多个用来实现指定逻辑功能的可执行指令。还应当注意，在其他实现中，方框中标出的功能可能不按图中标出的顺序发生。例如，根据所涉及的功能，连续示出的两个方框可能实际上基本上并发地执行，或者方框有时可能以相反的顺序执行。

上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (18)

1.一种用于数字图像的动态范围扩展的系统，包括：

配置装置，被配置以产生第一参数和第二参数，并根据所述第一参数和所述第二参数得到块三对角矩阵的值；

分析装置，被配置以计算输入的前一帧图像数据的直方图和输入的前一帧图像数据的直方图均衡，并存储所述前一帧图像数据的直方图和所述前一帧图像数据的直方图均衡；

优化装置，被配置以根据来自配置装置的所述第一参数和所述第二参数、所述块三对角矩阵以及来自分析装置的所述前一帧图像数据的直方图和所述前一帧图像数据的直方图均衡，利用所述块三对角矩阵方程，计算并存储前一帧图像数据的输出直方图，根据所述前一帧图像数据的输出直方图，计算并得出映射函数，根据所述映射函数得出前一帧图像数据的映射表并保存所述映射表；

映射装置，被配置接收后一帧图像数据，利用所述前一帧图像数据的映射表处理后一帧图像数据以产生增强的图像数据。

2.如权利要求1所述的系统，其中，当每一帧图像到达时，分析装置计算到达的帧图像数据的直方图和到达的帧图像数据的直方图均衡。

3.如权利要求2所述的系统，其中，在前一帧图像获取已经完成后并在后一帧图像到达之前的时间间隔期间，优化装置进行计算并得出所述前一帧图像数据的映射表。

4.如权利要求3所述的系统，其中，当每一帧图像到达时，映射装置利用到达的帧图像数据前一帧的图像数据的映射表处理到达的帧图像数据以产生所述增强的图像数据。

5.如权利要求1-4中的任何一个所述的系统，其中，利用对称差来处理像素特征的直方图间隙，从而获得所述块三对角矩阵。

6.如权利要求5所述的系统，其中，所述块三对角矩阵如下：

其中，和并且其中γ和λ为可配置的系统参数。

7.如权利要求6所述的系统，其中，所述块三对角矩阵方程如下：

Sh_out＝h_input+λh_EQ

其中，h_out表示输出直方图，h_input表示输入直方图，h_EQ表示输入直方图均衡。

8.如权利要求7所述的系统，其中，利用块三对角方法来求解所述块三对角矩阵方程并得到输出直方图。

9.如权利要求8所述的系统，其中，所述第一参数和所述第二参数根据实验得到。

10.一种用于数字图像的动态范围扩展的方法，包括：

产生第一参数和第二参数，并根据所述第一参数和所述第二参数得到块三对角矩阵的值；

计算输入的前一帧图像数据的直方图和输入的前一帧图像数据的直方图均衡，并存储所述前一帧图像数据的直方图和所述前一帧图像数据的直方图均衡；

根据所述第一参数和所述第二参数、所述块三对角矩阵以及所述前一帧图像数据的直方图和所述前一帧图像数据的直方图均衡，利用所述块三对角矩阵方程，计算并存储所述前一帧图像数据的输出直方图，根据所述前一帧图像数据的输出直方图，计算并得出映射函数，根据所述映射函数得出前一帧图像数据的映射表并保存所述映射表；

接收后一帧图像数据，利用所述前一帧图像数据的映射表处理所述后一帧图像数据以产生增强的图像数据。

11.如权利要求10所述的方法，其中，当每一帧图像到达时，计算并存储到达的帧图像数据的直方图和到达的帧图像数据的直方图均衡。

12.如权利要求11所述的方法，其中，在前一帧图像获取已经完成后并在后一帧图像到达之前的时间间隔期间，计算并得出所述前一帧图像数据的映射表。

13.如权利要求12所述的方法，其中，当每一帧图像到达时，利用到达的帧图像数据前一帧的图像数据的映射表处理到达的帧图像数据以产生所述增强的图像数据。

14.如权利要求10-13中的任何一个所述的方法，其中，利用对称差来处理像素特征的直方图间隙，从而获得所述块三对角矩阵。

15.如权利要求14所述的方法，其中，所述块三对角矩阵如下：

其中，和并且其中γ和λ为可配置的系统参数。

16.如权利要求15所述的方法，其中，所述块三对角矩阵方程如下：

Sh_out＝h_input+λh_EQ

其中，h_out表示输出直方图，h_input表示输入直方图，h_EQ表示输入直方图均衡。

17.如权利要求16所述的方法，其中，利用块三对角方法来求解所述块三对角矩阵方程并得到输出直方图。

18.如权利要求17所述的方法，其中，所述第一参数和所述第二参数根据实验得到。