CN101340511A - 一种基于亮度检测的自适应视频图像增强方法 - Google Patents

Abstract

一种基于亮度检测的自适应视频图像增强方法，本发明通过对不同光照条件图像进行检测、并根据检测结果对低照度图像进行增强。对图像进行检测时，以YUV格式图像各采样点在RGB色彩空间的亮度值的均值做为当前帧图像的亮度值。对待处理的每一帧图像，如该帧图像的亮度值小于预设的正常照度图像的亮度门限值，则对该帧图像待处理区域中的每一像素点的Y分量的值进行分段线性变换，以改善低照度图像的视觉效果。为了加快运算速度，获取图像中各采样点在RGB色彩空间的亮度值，以及对低照度图像Y分量的线性变换操作，均采用查表方式进行。本发明的方法计算量小，能满足实时性的需求，可以用于手机电视视频通信中视频图像的处理。

Description

一种基于亮度检测的自适应视频图像增强方法

技术领域

本发明属于图像信息处理领域，具体涉及基于亮度检测的自适应视频图像增强方法。

背景技术

图像增强是图像处理的一种基本手段，它往往是各种图像分析与处理时的预处理过程，其主要目的是：1)改善图像的视觉效果，提高图像成分的清晰度；2)使图像变得更有利于计算机处理。图像增强的方法一般分为空间域和变换域两大类：空间域方法直接对图像像素的灰度进行处理，变换域方法在图像的某个变换域中对变换系数进行处理，然后通过逆变换获得增强结果。

低照度图像的细节灰度差别只在几十级以内，且图像灰度值较低。因此，希望通过一种图像增强处理既能看到整幅图像又尽可能突出局部细节。传统的直方图均衡化方法是将一已知灰度概率密度分布图像经过某种变换变成一幅具有均匀灰度概率密度分布的新图像，其结果是扩展像素值的动态范围，从而达到增强图像整体对比度的效果，是一种常用的灰度增强算法。使用该方法对某些图像进行处理时，其具体增强效果不易控制，处理结果总是得到全局均衡化的直方图。可能存在的问题如下：

1)输出图像的实际灰度变化范围很难达到图像格式所允许的最大灰度变化范围。

2)输出图像的灰度分布直方图虽然接近均匀分布，但其值与理想值仍有可能存在较大的差异，并非是最佳值。

3)输出图像的灰度级有可能被过多地合并，因此容易造成图像、信息的丢失。

发明内容

本发明所要解决的技术问题是提供一种基于亮度检测的自适应视频图像增强方法，改善低照度条件下视频图像的主观视觉效果，同时不造成光照充足画面的显示失真。

为了解决上述技术问题，本发明提供了一种基于亮度检测的自适应视频图像增强方法，包括：

对待处理的每一帧图像，如该帧图像的亮度值小于预设的正常照度图像的亮度门限值，则对该帧图像待处理区域中的每一像素点Y分量的值进行分段线性变换：如该像素点Y分量的值位于预设的包含Y分量最大值的高亮度值区间，则保持该像素点Y分量的值不变，否则，对该像素点Y分量的值进行令该值增大的线性变换，并用线性变换后得到的值作为增强后该像素点Y分量的值。

进一步地，上述方法还可具有以下特点：所述线性变换是按以下方式进行的：

将像素点Y分量的整个值范围从小到大划分为第一区间、第二区间和所述高亮度值区间，第一区间和第二区间的边界为第一门限值T₁，第二区间与高亮度值区间的边界为第二门限值T₂；

当像素点Y分量的值位于第一区间时，Y′＝Y(T₁+α)/T₁    (a)；

当像素点Y分量的值位于第二区间时：

Y′＝T₁+α+(Y-T₁)(T₂-T₁-α)/(T₂-T₁)    (b)；

其中，Y是Y分量原来的值，Y′是Y分量经线性变换后得到的值，α是Y分量调整幅度参数的值。

进一步地，上述方法还可具有以下特点：所述Y分量调整幅度参数的值α按以下方式确定：

α＝min(Th₂，β(Th₁-Lum))

其中，Lum为当前帧图像的亮度值，Th₁为预设的正常照度图像的亮度门限值，Th₂为预设的Y分量调整幅度的最大值，β为预设的调节因子且满足0＜β＜1，0＜α＜T₂-T₁。

进一步地，上述方法还可具有以下特点：所述当前帧图像的亮度值等于该帧图像在RGB色彩空间的亮度值。

进一步地，上述方法还可具有以下特点：

所述当前帧图像的亮度值等于该帧图像待处理区域中全部或部分像素点在RGB色彩空间的亮度值的均值，所述像素点在RGB色彩空间的亮度值是指该像素点R分量、G分量和B分量的值中的最大值。

进一步地，上述方法还可具有以下特点：

所述当前帧图像的亮度值等于该帧图像待处理区域中非极高亮度的像素点在RGB色彩空间的亮度值的均值；所述非极高亮度的像素点是指该像素点R分量、G分量和B分量的值中的最小值小于预设的极高亮度门限值。

进一步地，上述方法还可具有以下特点：

所述待处理的每一帧图像为YUV格式的图像，在计算当前帧图像的亮度值时，对该帧图像待处理区域中的每一像素点，先根据该像素点的Y分量、U分量和V分量的值得到该像素点R分量、G分量和B分量的值中的最大值和最小值。

进一步地，上述方法还可具有以下特点：

对所述YUV格式图像的Y平面采用使得Y平面和U、V平面具有相同的大小的下采样方式。

进一步地，上述方法还可具有以下特点：

所述像素点R分量、G分量和B分量的值中的最大值和最小值是通过以下方式得到的：

对帧图像进行处理之前，先遍历U分量和V分量的值计算max(R′，G′ B′)和min(R′，G′ B′))的值，用第一查找表Table′₁记录U分量、V分量的值与max(R′，G′，B′)的值的对应关系，用第二查找表Table′₂记录U分量、V分量的值和min(R′，G′，B′)的值的对应关系，

其中：

R′＝1.402(V-128)

G′＝-0.34414(U-128)-0.71414(V-128)

B′＝1.772(U-128)

然后，遍历Y分量和max(R′，G′，B′)的值计算max(R，G，B)的值，遍历Y分量和min(R′，G′，B′)的值计算min(R，G，B)的值，用第三查找表Table₁记录Y分量和max(R′，G′，B′)的值与max(R，G，B)的值的对应关系，用第四查找表Table₂记录Y分量和min(R′，G′，B′)的值与min(R，G，B)的值的对应关系，其中：

max(R，G，B)＝min(255，Y+max(R′，G′，B′))

min(R，G，B)＝max(0，Y+min(R′，G′，B′))

式中的max(R，G，B)和min(R，G，B)即为像素点R分量、G分量和B分量的值中的最大值和最小值；

计算像素点R分量、G分量和B分量的值中的最大值和最小值时，先根据该像素点U分量和V分量的值查第一查找表Table′₁和第二查找表Table′₂得到对应的max(R′，G′，B′)和min(R′，G′，B′)的值，然后再结合该像素点Y分量的值查第三查找表Table₁和第四查找表Table₂即可得到该像素点R分量、G分量和B分量的值中的最大值max(R，G，B)和最小值min(R，G，B)。

进一步地，上述方法还可具有以下特点：

对帧图像进行处理之前，先遍历像素点Y分量的值Y和Y分量调整幅度参数的值α按公式(a)和(b)计算线性变换后得到的值Y′，并用第五查找表YMap记录Y、α与Y′的对应关系，0＜α＜T₂-T₁且α为正整数；

在计算值Y′时，直接根据位于第一区间或第二区间的Y分量的值Y和Y分量调整幅度参数的值α查找第五查找表YMap，得到Y经线性变换的对应值Y′。

进一步地，上述方法还可具有以下特点：所述帧图像待处理区域为整个帧图像，或者是指整个帧图像中用于显示的区域。

进一步地，上述方法还可具有以下特点：所述T₁的取值范围为30～80，T₂的取值范围为200～250，Th₁的取值范围为110-135，Th₂≤Th₁-T₁，β的取值范围为0.6～1。

采用本发明的方法，通过对不同光照条件的视频图像进行检测、并根据检测结果对低照度图像进行增强，可以在适当扩展像素值的动态范围的同时尽量避免灰度级被过多地合并，解决传统直方图均衡化方法带来的图像失真问题，在基本不改变正常照度图像的前提下，明显改善暗场景图像的视觉效果，得到较高品质的输出图像。进一步通过查表等方法使得本发明方法的计算量小，可以满足实时性的需求，具有较强的应用价值，可以用于手机电视视频通信中视频图像的处理。

附图说明

图1是本实施例基于亮度检测的自适应视频图像增强方法的流程图；

图2A是Y平面采样示意图；

图2B是UV平面采样示意图。

具体实施方式

本实施例方法中需要根据像素点Y、U、V分量的值确定该像素点R、G、B分量的值中的最大值和最小值，由于YUV色彩空间到RGB色彩空间的转换涉及浮点运算，本实施例将各Y、U、V分量的值对应的R、G、B分量的值中的最大值和最小值写入查找表中，通过查找表实现快速运算。如果遍历Y、U、V分量的值设置查找表，表容量各为256×256×256字节。为了减少实现所需要的内存，采用二次映射的方式。在对视频图像进行增强处理之前，先进行以下的查找表初始化操作。

YUV到RGB之间的转换式如下：

R＝Y+1.402(V-128)

G＝Y-0.34414(U-128)-0.71414(V-128)

B＝Y+1.772(U-128)

如不考虑Y的影响，将上式写成：

R′＝1.402(V-128)

G′＝-0.34414(U-128)-0.71414(V-128)    (1)

B′＝1.772(U-128)

由此得到，

max(R，G，B)＝min(255，Y+max(R′，G′，B′))

                                                 (2)

min(R，G，B)＝max(0，Y+min(R′，G′，B′))

以上Y、U、V、R、G、B分别表示YUV、RGB色彩空间相应分量的值，max(R′，G′，B′)、min(R′，G′，B′)分别表示R′，G′，B′中的最大值和最小值，max(R，G，B)、min(R，G，B)分别表示R、G、B中的最大、最小值。

初始化时，先遍历U分量和V分量的值，按式(1)计算max(R′，G′，B′)和min(R′，G′，B′)的值，用查找表Table′₁[256][256]记录U分量、V分量的值与max(R′，G′，B′)的值的对应关系，用查找表Table′₂[256][256]记录U分量、V分量的值和min(R′，G′，B′)的值的对应关系。U、V分量的取值区间均为[0，255]，因此Table′₁[256][256]、Table′₂[256][256]所需要的内存仅为256×256字节。

然后，遍历Y分量和max(R′，G′，B′)的值，按式(2)计算max(R，G，B)的值，遍历Y分量和min(R′，G′，B′)的值计算min(R，G，B)的值，用查找表Table₁[256][256]记录Y分量和max(R′，G′，B′)的值与max(R，G，B)的值的对应关系，用查找表Table₂[256][512]记录Y分量和max(R′，G′，B′)的值与min(R，G，B)的值的对应关系。考虑到max(R′，G′，B′)、min(R′，G′，B′)的取值区间不超过[0，255]、[-256，255]，Table₁[256][256]、Table₂[256][512]所需内存分别为：256×256、256×512字节。

此外，本实施例还建立了一个表来保存像素点Y分量的值Y、Y分量调整幅度参数的值α与对Y进行线性变换后得到的值Y′的对应关系，为便于理解，在下文相关步骤中再进行详细说明。

本实施例基于亮度检测的自适应视频图像增强方法的流程如图1所示，从解码输出缓冲区中读入一帧YUV格式的图像后，对该帧图像的处理包括以下步骤：

步骤110，对该帧图像待处理区域的Y平面进行下采样，所用的下采样的方式使得Y平面与U、V平面具有相同的大小；

当帧图像为4:2:0模式的YUV图像时，需要分别在水平和垂直方向对该帧图像Y平面进行1/2下采样，使其与U、V平面具有相同的大小。以减少计算量并利于色彩空间转换的计算。但是，对于本发明来说并不局限于此，因为无论采用何种下采样方式，均可根据Y分量、U分量和V分量(简写为Y、U、V分量)的值计算出R分量、G分量和B分量(简写为R、G、B分量)的值，也就同样可以完成后续处理中对像素点亮度值以及图像亮度值的计算，进而通过线性变换实现图像增强。

对于待处理的图像来说，并不一定要对全部区域进行处理，例如有些图像最终只需要显示其中的部分区域，此时可以将要显示的该部分区域作为待处理区域进行图像增强处理，而其它区域的像素点不需要进行任何处理。假定图像上、下各有1/8区间不属于待处理区域，则可以进一步减少采样点，即排除上、下各1/8区间的点。以16*16大小的4:2:0模式YUV图像为例，参与色彩空间转换的Y平面采样点如图2A所示，U、V平面采样点如图2B所示。其中的采样点是用小圆圈来表示的。

步骤120，获取经采样的Y、U、V平面中各像素点在RGB色彩空间的亮度值，该亮度值等于像素点R、G、B分量的值中的最大值，同时将其中非极高亮度的像素点的平均亮度值做为当前帧图像的亮度值；

在本实施例中，非极高亮度的像素点是指该像素点R、G、B分量的值中的最小值小于预设的极高亮度门限值。极高亮度的像素点往往对应于光源点。

具体计算时，如果满足min(R，G，B)＜T₃，则判断该采样点为非极高亮度的像素点，将满足该条件的采样点的数目及其亮度值max(R，G，B)分别进行累加，得到一幅该帧图像中非极高亮度的像素点的总数目Pixels，以及非极高亮度的采样点的亮度值之和Total_Lum。其中T₃可能通过大量的实验来获得。

对各个采样点的检测完成后，计算非极高亮度的采样点的平均亮度值(也可以对这些采样点进行加权平均)，并将其作为当前帧图像的亮度值：

$\mathrm{Lum}=\frac{\mathrm{Total}\_\mathrm{Lum}}{\mathrm{Pixels}};$

用RGB色彩空间中的R、G、B分量的最大值来计算像素点和帧图像的亮度值，比之直接用YUV色彩空间中的Y分量来计算要更加符合图像的真实亮度，有利于得到较高品质的输出图像。但本发明也可以直接用Y分量的值作为像素点的亮度值，在计算帧图像的亮度值时，可以计算亮度值小于预设的极高亮度门限值的像素点的亮度平均值。

另外，本发明也可以不考虑极高亮度的像素点的影响，直接以待处理区域所有像素点的平均亮度值作为当前帧图像的亮度值。

对于任意采样点(Y，U，V)，查表确定其在RGB色彩空间中R、G、B分量的值中的最大值和最小值时，先根据该像素点U分量和V分量的值查表Table′₁[256][256]和表Table′₂[256][256]，得到对应的max(R′，G′，B′)和min(R′，G′，B′)的值，然后再结合该像素点Y分量的值查表Table₁[256][256]和表Table₂[256][512]即可得到该像素点R分量、G分量和B分量的值中的最大值和最小值。用公式表示如下：

max(R，G，B)＝Table₁[Y][Table₁′[U][V]]；

min(R，G，B)＝Table₂[Y][Table₂′[U][V]]。

步骤130，将当前帧图像的亮度值Lum与设定的正常照度图像的亮度门限值Th₁进行比较，如果当前帧图像的亮度值大于或等于该亮度门限值Th₁，则无需对该帧图像进行增强，保持当前帧图像的Y分量不变，结束对该帧图像的增强处理；如果当前帧图像的亮度值Lum小于该亮度门限值Th₁，执行步骤140；

步骤140，根据当前帧图像的亮度值Lum与亮度门限值Th₁的差确定当前帧图像的Y分量调整幅度的值α，然后对当前帧图像待处理区域的每一像素点Y分量的值进行分段线性变换，并用线性变换后得到的值作为增强后该像素点Y分量的值；

Y分量调整幅度的值α根据下式确定：

α＝min(Th₂，β(Th₁-Lum))

其中，Lum表示由上一步计算得到的当前帧图像亮度值；β为预设的调节因子，并且满足0＜β＜1；Th₁表示正常照度图像的亮度门限值；Th₂表示Y分量调整幅度的最大值，可以由实验获取。

应当说明的是，α也可以采用根据Lum查表的方式来获取。

本实施例是将Y分量的整个取值范围分为3个区间，分别为[0，T₁)、[T₁，T₂]、(T₂，255]区间，其中(T₂，255]区间也可称为高亮度值区间。T₁是第一区间和第二区间的边界，也可以包含在第二区间中。T₂是第二区间和高亮度值区间的边界，也可以包含在高亮度值区间中。门限值T₁、T₂可以根据实验设定，并且满足0＜T₁＜T₂＜255；α为区间(0，T₂-T₁)中的任意值。

将Y分量的值Y进行分段线性变换时，按以下公式进行：

当Y＞T₂时，认为该像素点高亮，不修改其Y分量的值，即：

Y′＝Y；

当T₁≤Y≤T₂时，按线性关系将其投射到[T₁+α，T₂]区间内，即：

Y′＝T₁+α+(Y-T₁)(T₂-T₁-α)/(T₂-T₁)；    (3)

当Y＜T₁时，按线性关系将其投射到[0，T₁+α)区间内，即：

Y′＝Y(T₁+α)/T₁；    (4)

其中，Y′为对Y进行线性变换后得到的值；

上述线性变换的方法可以在适当扩展像素值的动态范围的同时尽量避免灰度级被过多地合并，解决传统直方图均衡化方法带来的图像失真问题，在基本不改变正常照度图像的前提下，明显改善暗场景图像的视觉效果。但上述区间的划分和具体的线性变换公式不是唯一的，如除高亮度值区间外，可以再划分为第一区间、第二区间和第三区间，或者只划分出第一区间，等等。本发明对此不做限定。

为了加快运算速度，本实施例仍然是通过查表的方式来找到Y对应的Y′值。这样在步骤110之前，先需要遍历位于[0，T₁)、[T₁，T₂]区间的Y分量的值Y和Y分量调整幅度参数的值α(α∈(0，T₂-T₁)且α为正整数)，按公式(3)和(4)计算对Y线性变换后到的值Y′，并用表YMap[256][256]记录Y′与Y、α的对应关系，该表所需的内存为256×256字节。

在计算出α后，对于位于[0，T₁)、[T₁，T₂]区间的Y分量的值Y，结合计算出的Y分量调整幅度参数的值α查表YMap[256][256]，即可得到对Y线性变换后得到的值Y′，即Y′＝YMap[α][Y]。

步骤150，将经过增强的图像数据送入显示缓存。

上述T₁，T₂，Th₁、T₃、β的参考值为：T₁：30～80；T₂：200～250；T₃：235-255；Th₁：110-135；Th₂≤Th₁-T₁；β：0.6～1。

Claims (12)

1、一种基于亮度检测的自适应视频图像增强方法，包括：

对待处理的每一帧图像，如该帧图像的亮度值小于预设的正常照度图像的亮度门限值，则对该帧图像待处理区域中的每一像素点Y分量的值进行分段线性变换：如该像素点Y分量的值位于预设的包含Y分量最大值的高亮度值区间，则保持该像素点Y分量的值不变，否则，对该像素点Y分量的值进行令该值增大的线性变换，并用线性变换后得到的值作为增强后该像素点Y分量的值。

2、如权利要求1所述的方法，其特征在于，所述线性变换是按以下方式进行的：

将像素点Y分量的整个值范围从小到大划分为第一区间、第二区间和所述高亮度值区间，第一区间和第二区间的边界为第一门限值T₁，第二区间与高亮度值区间的边界为第二门限值T₂；

当像素点Y分量的值位于第一区间时，Y′＝Y(T₁+α)/T₁   (a)；

当像素点Y分量的值位于第二区间时：

Y′＝T₁+α+(Y-T₁)(T₂-T₁-α)/(T₂-T₁)                 (b)；

其中，Y是Y分量原来的值，Y′是Y分量经线性变换后得到的值，α是Y分量调整幅度参数的值。

3、如权利要求2所述的方法，其特征在于，所述Y分量调整幅度参数的值α按以下方式确定：

α＝min(Th₂，β(Th₁-Lum))

其中，Lum为当前帧图像的亮度值，Th₁为预设的正常照度图像的亮度门限值，Th₂为预设的Y分量调整幅度的最大值，β为预设的调节因子且满足0＜β＜1，0＜α＜T₂-T₁。

4、如权利要求1或2或3所述的方法，其特征在于，所述当前帧图像的亮度值等于该帧图像在RGB色彩空间的亮度值。

5、如权利要求4所述的方法，其特征在于：

所述当前帧图像的亮度值等于该帧图像待处理区域中全部或部分像素点在RGB色彩空间的亮度值的均值，所述像素点在RGB色彩空间的亮度值是指该像素点R分量、G分量和B分量的值中的最大值。

6、如权利要求5所述的方法，其特征在于：

所述当前帧图像的亮度值等于该帧图像待处理区域中非极高亮度的像素点在RGB色彩空间的亮度值的均值；所述非极高亮度的像素点是指该像素点R分量、G分量和B分量的值中的最小值小于预设的极高亮度门限值。

7、如权利要求5所述的方法，其特征在于：

所述待处理的每一帧图像为YUV格式的图像，在计算当前帧图像的亮度值时，对该帧图像待处理区域中的每一像素点，先根据该像素点的Y分量、U分量和V分量的值得到该像素点R分量、G分量和B分量的值中的最大值和最小值。

8、如权利要求7所述的方法，其特征在于：

对所述YUV格式图像的Y平面采用使得Y平面和U、V平面具有相同的大小的下采样方式。

9、如权利要求8所述的方法，其特征在于，

所述像素点R分量、G分量和B分量的值中的最大值和最小值是通过以下方式得到的：

对帧图像进行处理之前，先遍历U分量和V分量的值计算max(R′，G′，B′)和min(R′，G′，B′))的值，用第一查找表Table₁′记录U分量、V分量的值与max(R′，G′，B′)的值的对应关系，用第二查找表Table₂′记录U分量、V分量的值和min(R′，G′，B′)的值的对应关系，其中：

R′＝1.402(V-128)

G′＝-0.34414(U-128)-0.71414(V-128)

B′＝1.772(U-128)

然后，遍历Y分量和max(R′，G′，B′)的值计算max(R，G，B)的值，遍历Y分量和min(R′，G′，B′)的值计算min(R，G，B)的值，用第三查找表Table₁记录Y分量和max(R′，G′，B′)的值与max(R，G，B)的值的对应关系，用第四查找表Table₂记录Y分量和min(R′，G′，B′)的值与min(R，G，B)的值的对应关系，其中：

max(R，G，B)＝min(255，Y+max(R′，G′，B′))

min(R，G，B)＝max(0，Y+min(R′，G′，B′))

式中的max(R，G，B)和min(R，G，B)即为像素点R分量、G分量和B分量的值中的最大值和最小值；

计算像素点R分量、G分量和B分量的值中的最大值和最小值时，先根据该像素点U分量和V分量的值查第一查找表Table₁′和第二查找表Table₂′得到对应的max(R′，G′，B′)和min(R′，G′，B′)的值，然后再结合该像素点Y分量的值查第三查找表Table₁和第四查找表Table₂即可得到该像素点R分量、G分量和B分量的值中的最大值max(R，G，B)和最小值min(R，G，B)。

10、如权利要求3所述的方法，其特征在于：

对帧图像进行处理之前，先遍历像素点Y分量的值Y和Y分量调整幅度参数的值α按公式(a)和(b)计算线性变换后得到的值Y′，并用第五查找表YMap记录Y、α与Y′的对应关系，0＜α＜T₂-T₁且α为正整数；

在计算值Y′时，直接根据位于第一区间或第二区间的Y分量的值Y和Y分量调整幅度参数的值α查找第五查找表YMap，得到Y经线性变换的对应值Y′。

11、如权利要求3，5至10中任一权利要求所述的方法，其特征在于：

所述帧图像待处理区域为整个帧图像，或者是指整个帧图像中用于显示的区域。

12、如权利要求3所述的方法，其特征在于：

所述T₁的取值范围为30～80，T₂的取值范围为200～250，Th₁的取值范围为110-135，Th₂≤Th₁-T₁，β的取值范围为0.6～1。

Images