CN110400260B - 图像处理方法及装置 - Google Patents

Abstract

本发明提供一种图像处理方法及装置，通过在CLAHE算法中加入平坦区扩展和自适应平坦区像素检测，并修改平坦区像素所在矩形区域的亮度直方图的幅度为特定值，使得幅度为特定值的像素经过直方图均衡处理后的对比度保持不变，从而能够在自适应增强图像局部对比度和亮度的同时较好地抑制噪声放大以及避免图像出现色阶和弧线等问题。

Description

图像处理方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像处理方法及装置。

背景技术

在手机使用过程中，用户经常需要在强烈的环境光下观看手机屏幕，例如室外强烈的阳光或者室内强烈的灯光，由于环境光的强烈，手机屏幕反射的环境光较多，导致用户观察到的手机屏幕显示内容的可视度下降。这时，用户往往是将手机屏幕的背光亮度调高，在许多情况下可以缓解这一问题，但是有些手机屏幕的最高亮度值较低，即使提高背光亮度至最大值，仍然存在看不清图像的情况，并且增大屏幕背光亮度，会使手机功耗显著增加，减少待机时间。而通过局部色调映射(Local tone mapping，LTM)的实时图像处理方法，根据环境光强度，自适应调整图像像素值，可以提升图像局部对比度和亮度，增强图像在手机屏幕上的可视度，弥补屏幕背光不够和功耗大的问题，这是手机的阳光可读功能。在各种实时局部色调映射算法中，限制对比度的自适应直方图均衡(Contrast Limited AdaptiveHistogram Equalization，CLAHE)算法具有效果好、通用性强且硬件代价较低的优点，是最常用的实时局部色调映射算法，其原理为将图像分成若干矩形小块，对每一矩形小块分别做直方图均衡来实现局部对比度提升，最后通过插值来平滑各块处理结果，降低计算复杂度。

在实现本发明的过程中，发明人发现现有技术中至少存在如下技术问题：

CLAHE算法最重要的特点是，对于每个矩形小区域都限制对比度放大幅度，用来克服过度放大噪音的问题，但是由于手机屏幕显示的图像来源复杂，质量不一，因此为了适用各种噪声程度的图像，所以一般不会将对比度提升幅度设得很高，以免在增强图像对比度和亮度的同时产生噪声放大以及图像出现色阶和弧线等问题。而在实际使用中当环境光非常强烈时，图像局部对比度和亮度必须相对应有较大程度的提高，才能满足用户对屏幕可视度提升的要求。由此可见，CLAHE算法这时难以平衡对比度放大和噪声抑制之间的关系，例如，图像对比度和亮度提升到了用户满意的程度，但同时就可能会出现明显噪声、图像出现色阶和弧线等问题。

发明内容

本发明提供的图像处理法及装置，能够在自适应增强图像局部对比度和亮度的同时较好地抑制噪声放大以及避免图像出现色阶和弧线等问题。

第一方面，本发明提供一种图像处理方法，包括：

计算待处理图像亮度分量中各个像素的像素梯度值，并统计小于第一阈值T1的像素梯度值的像素对应的梯度直方图，并根据所述梯度直方图统计所述待处理图像亮度分量的噪声水平T2；

将所述待处理图像亮度分量分成多个矩形区域，统计每个矩形区域的第一亮度直方图，确定每个矩形区域中由小于所述噪声水平T2的像素梯度值的像素组成的第一平坦区；

采用低通滤波器对每个第一平坦区进行平坦区扩展处理得到对应的第二平坦区，并统计每个第二平坦区的亮度直方图，针对每个亮度值计算所述第二平坦区的亮度直方图与所述第二平坦区所在矩形区域的亮度直方图的幅度比值，确定大于第三阈值T3的幅度比值的对应亮度值，并将所述第二平坦区所在矩形区域中具有所述对应亮度值的像素设置为平坦区像素；

计算每个矩形区域的第一亮度直方图的最低有效幅度H1，将所述平坦区像素所在矩形区域的亮度直方图的幅度统一修改为H1，并将修改前的幅度原值与H1的差值进行累计求和后加到所在矩形区域的第一亮度直方图的峰值位置，以得到每个矩形的第二亮度直方图；

采用CLAHE算法对每个矩形的第二亮度直方图进行自适应均衡处理，以得到所述待处理图像亮度分量中各个像素的最终亮度值。

第二方面，本发明提供一种图像处理装置，包括：

噪声水平统计模块，用于计算待处理图像亮度分量中各个像素的像素梯度值，并统计小于第一阈值T1的像素梯度值的像素对应的梯度直方图，并根据所述梯度直方图统计所述待处理图像亮度分量的噪声水平T2；

第一亮度直方图计算模块，用于将所述待处理图像亮度分量分成多个矩形区域，统计每个矩形区域的第一亮度直方图；

第一平坦区确定模块，用于确定每个矩形区域中由小于所述噪声水平T2的像素梯度值的像素组成的第一平坦区；

第二平坦区及其亮度直方图确定模块，用于采用低通滤波器对每个第一平坦区进行平坦区扩展处理得到对应的第二平坦区，并统计每个第二平坦区的亮度直方图；

平坦区像素确定模块，用于针对每个亮度值计算所述第二平坦区的亮度直方图与所述第二平坦区所在矩形区域的亮度直方图的幅度比值，确定大于第三阈值T3的幅度比值的对应亮度值，并将所述第二平坦区所在矩形区域中具有所述对应亮度值的像素设置为平坦区像素；

幅度计算模块，用于计算每个矩形区域的第一亮度直方图的最低有效幅度H1；

第二亮度直方图计算模块，用于将所述平坦区像素所在矩形区域的亮度直方图的幅度统一修改为H1，并将修改前的幅度原值与H1的差值进行累计求和后加到所在矩形区域的第一亮度直方图的峰值位置，以得到每个矩形的第二亮度直方图；

自适应均衡模块，用于采用CLAHE算法对每个矩形的第二亮度直方图进行自适应均衡处理，以得到所述待处理图像亮度分量中各个像素的最终亮度值。

本发明实施例提供的图像处理方法及装置，与现有技术相比，通过在CLAHE算法中加入平坦区扩展和自适应平坦区像素检测，并修改平坦区像素所在矩形区域的亮度直方图的幅度为特定值，使得幅度为特定值的像素经过直方图均衡处理后的对比度保持不变，从而能够在自适应增强图像局部对比度和亮度的同时较好地抑制噪声放大以及避免图像出现色阶和弧线等问题。另外，由于具有自适应噪声抑制效果，因而能够适用于对比度提升强烈的应用场景，且实现复杂度低，适合硬件实现和手机实时显示处理。

附图说明

图1为本发明一实施例图像处理方法的流程图；

图2为本发明一实施例图像处理装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种图像处理方法，如图1所示，所述方法包括：

S11、计算待处理图像亮度分量中各个像素的像素梯度值，并统计小于第一阈值T1的像素梯度值的像素对应的梯度直方图，并根据所述梯度直方图统计所述待处理图像亮度分量的噪声水平T2。

S12、将所述待处理图像亮度分量分成多个矩形区域，统计每个矩形区域的第一亮度直方图，确定每个矩形区域中由小于所述噪声水平T2的像素梯度值的像素组成的第一平坦区。

S13、采用低通滤波器对每个第一平坦区进行平坦区扩展处理得到对应的第二平坦区，并统计每个第二平坦区的亮度直方图，针对每个亮度值计算所述第二平坦区的亮度直方图与所述第二平坦区所在矩形区域的亮度直方图的幅度比值，确定大于第三阈值T3的幅度比值的对应亮度值，并将所述第二平坦区所在矩形区域中具有所述对应亮度值的像素设置为平坦区像素。

平坦区扩展处理的原理如下：例如，平坦区的亮度范围是0-255，上步骤后平坦区的亮度范围是64-128，但是考虑到处于平坦区边缘的像素点，其数量上属于平坦区和不属于平坦区的数量接近，比如亮度为64的像素在矩形区亮度直方图上统计共10个，其中通过上一步骤判断属于平坦区的数量为5个，而处于非平坦区的数量也为5个，判断为平坦区的像素点数量并不占优，后续的判断方法(比值为5/10)可能会使得将亮度为的64像素点判为非平坦区像素，影响算法在平坦区边缘的效果。为了避免这样的情况，通过低通滤波(比如5阶FIR低通滤波器)，可以自适应地压低亮度直方图靠近平坦区中心的峰值处的像素统计值，而将减下来的像素统计值补偿到边缘像素统计值上，比如，使得平坦区亮度直方图上，亮度为64的统计值从5增加到8，比值变为为8/10，这样后续的判断方法将有更高概率将亮度64像素判断为平坦区像素进行处理。

S14、计算每个矩形区域的第一亮度直方图的最低有效幅度H1，将所述平坦区像素所在矩形区域的亮度直方图的幅度统一修改为H1，并将修改前的幅度原值与H1的差值进行累计求和后加到所在矩形区域的第一亮度直方图的峰值位置，以得到每个矩形的第二亮度直方图；

S15、采用CLAHE算法对每个矩形的第二亮度直方图进行自适应均衡处理，以得到所述待处理图像亮度分量中各个像素的最终亮度值。

后续处理按照CLAHE算法流程处理，只是要用每个矩形的第二亮度直方图替换CLAHE算法的原始亮度统计直方图。其流程为：对个各矩形区域，在新的亮度直方图上依次进行对比度限幅和和重分布操作，生成对比度限幅的亮度直方图；接着，进行直方图均衡处理，生成各矩形区域的亮度映射(tone mapping)表；最后，对每个像素，使用相邻四个区域的亮度映射表分别查出对应的四个映射值，然后跟据此像素到四个矩形区域中心的距离使用双线性插值插出每个像素最终的亮度值。

本发明实施例提供的图像处理方法，与现有技术相比，通过在CLAHE算法中加入平坦区扩展和自适应平坦区像素检测，并修改平坦区像素所在矩形区域的亮度直方图的幅度为特定值，使得幅度为特定值的像素经过直方图均衡处理后的对比度保持不变，从而能够在自适应增强图像局部对比度和亮度的同时较好地抑制噪声放大以及避免图像出现色阶和弧线等问题，另外，由于具有自适应噪声抑制效果，因而能够适用于对比度提升强烈的应用场景，且实现复杂度低，适合硬件实现和手机实时显示处理。

可选地，所述计算待处理图像亮度分量中各个像素的像素梯度值包括：

计算所述待处理图像亮度分量中各个像素的水平梯度值和垂直梯度值，并将所述水平梯度值和所述垂直梯度值进行相加得到所述像素梯度值。

可选地，所述根据所述梯度直方图统计所述待处理图像亮度分量的噪声水平T2包括：

如果(G_max×2<T1)，T2＝G_max×2；否则，T2＝T1；

其中，G_max为所述待处理图像亮度分量中各个像素的像素梯度值。

可选地，所述计算每个矩形区域的亮度直方图的最低有效幅度H1通过以下方式实现：

H1＝(M×N)/(V_max-V_min)，其中，M和N分别为所述矩形区域长和宽，Vmax和Vmin分别是所述矩形区域的亮度最大值和最小值。

如图2所示，本发明实施例提供一种图像处理装置，所述装置包括：

噪声水平统计模块，用于计算待处理图像亮度分量中各个像素的像素梯度值，并统计小于第一阈值T1的像素梯度值的像素对应的梯度直方图，并根据所述梯度直方图统计所述待处理图像亮度分量的噪声水平T2；

第一亮度直方图计算模块，用于将所述待处理图像亮度分量分成多个矩形区域，统计每个矩形区域的第一亮度直方图；

第一平坦区确定模块，用于确定每个矩形区域中由小于所述噪声水平T2的像素梯度值的像素组成的第一平坦区；

第二平坦区及其亮度直方图确定模块，用于采用低通滤波器对每个第一平坦区进行平坦区扩展处理得到对应的第二平坦区，并统计每个第二平坦区的亮度直方图；

平坦区像素确定模块，用于针对每个亮度值计算所述第二平坦区的亮度直方图与所述第二平坦区所在矩形区域的亮度直方图的幅度比值，确定大于第三阈值T3的幅度比值的对应亮度值，并将所述第二平坦区所在矩形区域中具有所述对应亮度值的像素设置为平坦区像素；

幅度计算模块，用于计算每个矩形区域的第一亮度直方图的最低有效幅度H1；

第二亮度直方图计算模块，用于将所述平坦区像素所在矩形区域的亮度直方图的幅度统一修改为H1，并将修改前的幅度原值与H1的差值进行累计求和后加到所在矩形区域的第一亮度直方图的峰值位置，以得到每个矩形的第二亮度直方图；

自适应均衡模块，用于采用CLAHE算法对每个矩形的第二亮度直方图进行自适应均衡处理，以得到所述待处理图像亮度分量中各个像素的最终亮度值。

本发明实施例提供的图像处理装置，与现有技术相比，通过在CLAHE算法中加入平坦区扩展和自适应平坦区像素检测，并修改平坦区像素所在矩形区域的亮度直方图的幅度为特定值，使得幅度为特定值的像素经过直方图均衡处理后的对比度保持不变，从而能够在自适应增强图像局部对比度和亮度的同时较好地抑制噪声放大以及避免图像出现色阶和弧线等问题，另外，由于具有自适应噪声抑制效果，因而能够适用于对比度提升强烈的应用场景，且实现复杂度低，适合硬件实现和手机实时显示处理。

可选地，所述噪声水平统计模块包括梯度像素值计算单元，所述梯度像素值计算单元，用于计算所述待处理图像亮度分量中各个像素的水平梯度值和垂直梯度值，并将所述水平梯度值和所述垂直梯度值进行相加得到所述像素梯度值。

可选地，所述噪声水平统计模块包括噪声水平计算单元，所述噪声水平计算单元，用于通过以下方式得到噪声水平T2：如果(G_max×2<T1)，T2＝G_max×2；否则，T2＝T1；其中，G_max为所述待处理图像亮度分量中各个像素的像素梯度值。

可选地，所述幅度计算模块通过以下方式得到每个矩形区域的亮度直方图的最低有效幅度H1：

H1＝(M×N)/(V_max-V_min)，其中，M和N分别为所述矩形区域长和宽，Vmax和Vmin分别是所述矩形区域的亮度最大值和最小值。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种图像处理方法，其特征在于，包括：

计算待处理图像亮度分量中各个像素的像素梯度值，并统计小于第一阈值T1的像素梯度值的像素对应的梯度直方图，并根据所述梯度直方图统计所述待处理图像亮度分量的噪声水平T2；

将所述待处理图像亮度分量分成多个矩形区域，统计每个矩形区域的第一亮度直方图，确定每个矩形区域中由小于所述噪声水平T2的像素梯度值的像素组成的第一平坦区；

采用低通滤波器对每个第一平坦区进行平坦区扩展处理得到对应的第二平坦区，并统计每个第二平坦区的亮度直方图，针对每个亮度值计算所述第二平坦区的亮度直方图与所述第二平坦区所在矩形区域的亮度直方图的幅度比值，确定大于第三阈值T3的幅度比值的对应亮度值，并将所述第二平坦区所在矩形区域中具有所述对应亮度值的像素设置为平坦区像素；

计算每个矩形区域的第一亮度直方图的最低有效幅度H1，将所述平坦区像素所在矩形区域的亮度直方图的幅度统一修改为H1，并将修改前的幅度原值与H1的差值进行累计求和后加到所在矩形区域的第一亮度直方图的峰值位置，以得到每个矩形的第二亮度直方图；

采用CLAHE算法对每个矩形的第二亮度直方图进行自适应均衡处理，以得到所述待处理图像亮度分量中各个像素的最终亮度值。

2.根据权利要求1所述的方法，其特征在于，所述计算待处理图像亮度分量中各个像素的像素梯度值包括：

计算所述待处理图像亮度分量中各个像素的水平梯度值和垂直梯度值，并将所述水平梯度值和所述垂直梯度值进行相加得到所述像素梯度值。

3.根据权利要求1所述的方法，其特征在于，所述根据所述梯度直方图统计所述待处理图像亮度分量的噪声水平T2包括：

如果(G_max×2<T1)，T2＝G_max×2；否则，T2＝T1；

其中，G_max为所述待处理图像亮度分量中各个像素的像素梯度值。

4.根据权利要求1所述的方法，其特征在于，所述计算每个矩形区域的亮度直方图的最低有效幅度H1通过以下方式实现：

H1＝(M×N)/(V_max-V_min)，其中，M和N分别为所述矩形区域长和宽，Vmax和Vmin分别是所述矩形区域的亮度最大值和最小值。

5.一种图像处理装置，其特征在于，包括：

噪声水平统计模块，用于计算待处理图像亮度分量中各个像素的像素梯度值，并统计小于第一阈值T1的像素梯度值的像素对应的梯度直方图，并根据所述梯度直方图统计所述待处理图像亮度分量的噪声水平T2；

第一亮度直方图计算模块，用于将所述待处理图像亮度分量分成多个矩形区域，统计每个矩形区域的第一亮度直方图；

第一平坦区确定模块，用于确定每个矩形区域中由小于所述噪声水平T2的像素梯度值的像素组成的第一平坦区；

第二平坦区及其亮度直方图确定模块，用于采用低通滤波器对每个第一平坦区进行平坦区扩展处理得到对应的第二平坦区，并统计每个第二平坦区的亮度直方图；

平坦区像素确定模块，用于针对每个亮度值计算所述第二平坦区的亮度直方图与所述第二平坦区所在矩形区域的亮度直方图的幅度比值，确定大于第三阈值T3的幅度比值的对应亮度值，并将所述第二平坦区所在矩形区域中具有所述对应亮度值的像素设置为平坦区像素；

幅度计算模块，用于计算每个矩形区域的第一亮度直方图的最低有效幅度H1；

第二亮度直方图计算模块，用于将所述平坦区像素所在矩形区域的亮度直方图的幅度统一修改为H1，并将修改前的幅度原值与H1的差值进行累计求和后加到所在矩形区域的第一亮度直方图的峰值位置，以得到每个矩形的第二亮度直方图；

自适应均衡模块，用于采用CLAHE算法对每个矩形的第二亮度直方图进行自适应均衡处理，以得到所述待处理图像亮度分量中各个像素的最终亮度值。

6.根据权利要求5所述的装置，其特征在于，所述噪声水平统计模块包括梯度像素值计算单元，所述梯度像素值计算单元，用于计算所述待处理图像亮度分量中各个像素的水平梯度值和垂直梯度值，并将所述水平梯度值和所述垂直梯度值进行相加得到所述像素梯度值。

7.根据权利要求5所述的装置，其特征在于，所述噪声水平统计模块包括噪声水平计算单元，所述噪声水平计算单元，用于通过以下方式得到噪声水平T2：如果(G_max×2<T1)，T2＝G_max×2；否则，T2＝T1；其中，G_max为所述待处理图像亮度分量中各个像素的像素梯度值。

8.根据权利要求5所述的装置，其特征在于，所述幅度计算模块通过以下方式得到每个矩形区域的亮度直方图的最低有效幅度H1：

H1＝(M×N)/(V_max-V_min)，其中，M和N分别为所述矩形区域长和宽，Vmax和Vmin分别是所述矩形区域的亮度最大值和最小值。

Images