CN106469440A - 基于OpenCL的暗通道去雾并行优化方法 - Google Patents

Abstract

本发明公开了一种基于OpenCL的暗通道去雾并行优化方法，主要解决现有技术适用平台受限，难以对高分辨率图像进行实时处理的缺陷，其实现步骤为：1.设备初始化；2.将有雾视频的一帧图像拷贝到设备中；3.计算有雾图像的灰度图和三通道最小值图，并计算暗通道图；4.根据暗通道图计算大气光；5.依据暗通道图和大气光计算预估透射率图；6.对预估透射率图进行导向滤波得到精细透射率图；7.根据大气光，有雾图像和精细透射率图进行去雾处理，并将去雾后的图像拷贝到主机内存。本发明适用于多种并行计算平台，提高了暗通道去雾的处理速度，可用于为后续的视频监控，图像识别提供清晰的图像源。

Description

基于OpenCL的暗通道去雾并行优化方法

技术领域

本发明属于图像处理技术领域，更进一步是一种去雾并行优化方法，可用于对后续的实时视频监控，图像识别提供清晰的图像源。

背景技术

雾霾天气条件下，室外图像采集设备受其影响，采集到的图像会出现模糊，对比度下降，色调偏移等退化现象，不仅严重影响了视觉检测系统的正常工作，也给后期智能识别等应用带来了巨大挑战。

何恺明等人提出的暗通道先验去雾方法，在单帧图像去雾效果方面得到了学术界的认可，然而在处理速度方面，由于该方法计算时间较长，通过单纯的CPU串行运算，难以满足视频监控场景对实时性的要求。

基于图像数据利于分割，可以大量并行的特点，很多基于CPU+GPU的异构计算的解决方案应运而生。国防科技大学的薛云刚等人在论文《基于CUDA的暗原色先验去雾算法并行实现与优化》中提出一种基于CUDA计算框架的并行实现方法，对640×480的图像有25帧/秒的处理速度；四川川大智胜软件股份有限公司，四川大学的专利申请“一种基于CUDA的图像实时去雾方法”(公开号：CN103049890A，申请号：CN201310017014.X，申请日：2013年1月17日)中公开了一种基于CUDA的图像实时去雾的方法，对600×400的图像可以达到32帧/秒的处理速度。这些方法存在以下不足：

首先，现有的异构计算解决方案均对低分辨率达到25帧/秒以上的处理速度，随着近年来监控设备逐步向1920×1080的高分辨率过渡，这种处理速度不能满足的高清视频的实时处理需求；

其次，基于CUDA计算框架编写的程序仅能运行在NVIDIA公司生产的GPU上，其可移植性较低。

发明内容

本发明的目的在于克服已有技术的不足，提出一种基于OpenCL的暗通道去雾并行优化方法，以提高视频的去雾速度和实现平台的兼容性。

为了实现上述目的，本发明包括：

(1)选用支持开放计算语言OpenCL的平台，对该平台进行初始化，并从中选取能运行内核函数的设备E，该设备包括CPU，GPU，intel MIC加速卡；

(2)将RGB彩色有雾视频的一帧图像I从主机内存拷贝到设备E的全局内存中；

(3)通过并行处理的方式计算RGB彩色有雾图像I各像素位置的灰度值，生成灰度图I^gray，通过并行处理的方式计算各像素位置RGB三通道最小值，生成最小值图I^min；

(4)对最小值图I^min进行最小值滤波，得到暗通道图I^dark；

(5)根据暗通道图I^dark计算大气光A：

(5a)计算暗通道图I^dark的直方图h；

(5b)根据直方图h求得灰度值最大的0.1％像素点对应的灰度值下界l；

(5c)以l为阈值对暗通道图像I^dark进行二值化得到二值图像I'；

(5d)对有雾图像I的RGB三通道图I_r、I_g、I_b分别点乘二值图像I'，得到RGB三通道灰度图像I_r'、I_g'、I_b'；

(5e)分别计算RGB三通道灰度图像I_r'、I_g'、I_b'的直方图h_r、h_g、h_b；

(5f)通过RGB三通道直方图h_r、h_g、h_b，计算大气光A＝{A_r,A_g,A_b}，

其中，c∈{r,g,b}，i为在0～255变化的灰度值，A_r、A_g、A_b分别为红色，绿色，蓝色三通道的大气光值；

(6)根据大气光A和有雾图像I的RGB三通道图I_r、I_g、I_b，计算预估透射率图t；

(7)根据有雾图像的灰度图I^gray和预估透射率图t，得到精细透射率图t：

(7a)对预估透射率图t进行行向均值滤波，得到行均值滤波结果图t_r；再对行均值滤波结果图t_r进行列向均值滤波，得到平滑透射率图m_t；

(7b)对有雾图像的灰度图I^gray进行均值滤波，得到平滑引导图m_I；

(7c)根据平滑透射率图m_t、平滑引导图m_I、预估透射率图t和有雾图像的灰度图I^gray，得到平滑缩放矩阵m_a、平滑偏移矩阵m_b；

(7d)根据平滑缩放矩阵m_a、平滑偏移矩阵m_b和有雾图像的灰度图I^gray，得到精细透射率图

(8)根据RGB三通道有雾图像I、精细透射率图和大气光A，计算去雾结果图J；

(9)将RGB三通道去雾结果图J从设备E读回主机内存；

本发明与现有技术相比较，具有如下优点：

第一，由于本发明使用了开放计算语言OpenCL，基于OpenCL语言编写的程序，可以在INTEL,AMD的CPU，NVIDIA，AMD的GPU，INTEL的MIC平台运行，与此相对的，其他解决方案采用的CUDA计算语言作为NVIDIA专属计算框架，仅能在NVDIA显卡上运行，因此，本发明方案具有更好的平台兼容性。

第二，由于本发明引入直方图求解大气光，与选取单一像素点的原暗通道去雾算法相比，所得大气光值在数值上具有稳定性。

第三，由于本发明在均值滤波中使用了局部内存，该类型内存具有很高的存取速度，本发明中对局部内存的使用，保证了对全局内存的读写操作为合并访问，提高了读取写入效率，节省了处理时间。

第四，由于本发明在均值滤波中采用了先分块计算，再合并分块处理结果的方法，提高了并行度，节省了处理时间。

第五，由于本发明在均值滤波中采用了先进行行向滤波，再进行列向滤波的行列分离的处理方法，避免了对同一像素点的冗余访问，提高了处理速度。

附图说明

图1是本发明的实现流程图。

图2是本发明使用的RGB彩色有雾视频的一帧图像。

图3是本发明的去雾结果图。

具体实施方式

以下参照附图，对本发明具体实施方式和效果做进一步描述:

参照图1，本发明采用OpenCL计算框架，可以在任何一款支持OpenCL架构的设备上实现，其步骤如下：

步骤1，初始化。

选用支持开放计算语言OpenCL的平台，对该平台进行初始化，并从中选取能运行内核函数的设备E，该设备包括CPU，GPU，intel MIC加速卡。

步骤2，将RGB彩色有雾视频的一帧图像I从主机内存拷贝到设备E的全局内存中。

由于视频可以看作时间连续的图像序列，本发明通过对RGB彩色有雾视频连续帧进行图像去雾来实现视频去雾，将有雾视频连续帧图像从主机内存拷贝到设备的全局内存中，以进行图像去雾操作。

步骤3，计算灰度图和三通道最小值图。

以单个线程处理单个像素点，不同线程处理不同坐标位置像素点的方式，计算RGB彩色有雾图像I各坐标位置的灰度值，形成灰度图I^gray；

其中，灰度图I^gray在坐标x处的像素值：

I^gray(x)＝0.299×r+0.587×g+0.114×b，r,g,b分别为有雾图像I在x处的红色、绿色、蓝色像素值；

以单个线程处理单个像素点，不同线程处理不同坐标位置像素点的方式，计算各像素位置RGB三通道最小值，形成最小值图I^min；

其中，最小值图I^min在坐标x处的像素值：I^min(x)＝min(r,g,b)。

步骤4，对最小值图I^min进行最小值滤波，得到暗通道图I^dark。

计算暗通道图I^dark在坐标x处的像素值I^dark(x)：

形成暗通道图I^dark，其中，Ω(x)为以坐标x为中心的正方形邻域。

步骤5，计算大气光。

(5a)计算暗通道图I^dark的直方图h；

(5b)根据直方图h求得灰度值最大的0.1％像素点对应的灰度值下界l：

计算累计和数组s在坐标o处的值：通过累计和数组s查找满足下式的灰度值下界l：

s[l]>＝0.001×n

s[l+1]<0.001×n

其中，s[l]，s[l+1]分别为s在坐标l，l+1处的值，n为暗通道图I^dark像素点总数；

(5c)以l为阈值对暗通道图像I^dark进行二值化，得到二值图像I'；

(5d)对有雾图像I的RGB三通道图I_r、I_g、I_b分别点乘二值图像I'，得到RGB三通道灰度图像I_r'、I_g'、I_b'；

(5e)分别计算RGB三通道灰度图像I_r'、I_g'、I_b'的直方图h_r、h_g、h_b；

(5f)通过RGB三通道直方图h_r、h_g、h_b，计算大气光A＝{A_r,A_g,A_b}，

其中，c∈{r,g,b}，i为在0～255变化的灰度值，A_r、A_g、A_b分别为红色，绿色，蓝色三通道的大气光值。

步骤6，计算预估透射率图。

(6a)根据红色，绿色，蓝色三通道的大气光值A_r、A_g、A_b，计算预估透射率图t在坐标z处的像素值t(z)：

其中I_r(y)、I_g(y)、I_b(y)分别为RGB三通道图I_r、I_g、I_b在坐标y处的灰度值，Ω(z)为以坐标z为中心的正方形邻域；

(6b)将各坐标处像素值t(z)进行组合，形成预估透射率图t。

步骤7，对预估透射率图进行导向滤波，得到精细透射率图。

(7a)对预估透射率图t进行行向均值滤波，得到行均值滤波结果图t_r；再对行均值滤波结果图t_r进行列向均值滤波，得到平滑透射率图m_t：

(7a1)设置H个工作组，每个工作组包含256个线程，每个工作组对应处理预估透射率图t的一行数据，其中H为预估透射率图t的高度；

(7a2)使用第i个工作组的全部线程，通过合并访存的方式，读入预估透射率图t的第i行数据，存储到局部内存数组g起始坐标为l₁＝R+1的连续内存空间中，其中R为滤波器半径；

(7a3)对局部内存数组g的边界扩展像素赋值：

先对数组g的l₁个左边界扩展像素赋值，得到数组g在坐标j处的像素值：

g[j]＝g[2l₁-1-j]，其中，0<＝j<l₁；

再对数组g的l₂个右边界扩展像素赋值，得到数组g在坐标l₁+W+k处的像素值：

g[l₁+W+k]＝g[l₁+W-1-k]，其中：l₂＝(W+l₁+R+M-1)/M×M-W-l₁，W为预估透射率图t的宽度，M为滤波器宽度M＝2×R+1，0<＝k<l₂；

(7a4)计算分块数:L＝(W+R+l₂)/M；

(7a5)以第i个工作组中前L个线程，并行计算局部内存数组g的L个分块的前缀和:

g[m]＝g[m-1]+g[m]，其中，g[m]为数组g在坐标m处的像素值，对第l个线程，

1+l×M<＝m<1+(l+1)×M，l为线程编号；

(7a6)以第i个工作组中所有线程并行计算行均值滤波结果图t_r在第i行的像素值，再用各行结果合并形成行均值滤波结果图t_r，其中t_r在坐标位置(i,j)处的像素值为：

t_r(i,j)＝(g[j+l₁+R]+g[(j+M-1)/M×M]-g[j])/M；

(7a7)根据行均值滤波结果图t_r，以第i个线程，计算第i列第0行的滤波结果：

其中，t_r(j,i)为t_r在坐标位置(j,i)的像素值；

(7a8)根据行均值滤波结果图t_r，第i列第0行滤波结果m_t(0,i)，以第i个线程，计算第i列的H-1行滤波结果m_t(j,i)：

m_t(j,i)＝m_t(j-1,i)+q(j+R,i)-q(j-R,i)，

其中，

1<＝j<H，m_t(j-1,i)为第i列，第j-1行滤波结果；

(7a9)将第i列第0行的滤波结果m_t(0,i)与第i列的H-1行滤波结果m_t(j,i)进行组合，形成平滑透射率图m_t。

(7b)对有雾图像的灰度图I^gray进行均值滤波，得到平滑引导图m_I；

(7c)根据平滑透射率图m_t、平滑引导图m_I、预估透射率图t和有雾图像的灰度图I^gray，得到平滑缩放矩阵m_a、平滑偏移矩阵m_b：

(7c1)根据有雾图像的灰度图I^gray和平滑引导图m_I，计算引导图方差矩阵var_I：

var_I＝f_mean(I^gray.*I^gray,R)-m_I.*m_I，

其中f_mean(I^gray.*I^gray,R)表示对I^gray与I^gray点乘的结果进行均值滤波，R为滤波器半径；

(7c2)根据预估透射率图、有雾图像的灰度图I^gray、平滑引导图m_I和平滑透射率图m_t,计算引导图与预估透射率图的协方差矩阵cov_It：

cov_It＝f_mean(t.*I^gray,R)-m_t.*m_I，

其中，f_mean(t.*I^gray,R)表示对I^gray与t点乘的结果进行均值滤波，R为滤波器半径，.*为点乘运算符；

(7c3)根据引导图方差矩阵var_I、引导图与预估透射率图的协方差矩阵cov_It、平滑引导图m_I和平滑透射率图m_t,计算缩放矩阵a、偏移矩阵b:

b＝m_I-a.*m_t

(7c4)对缩放矩阵a、偏移矩阵b分别进行均值滤波，得到平滑缩放矩阵m_a、平滑偏移矩阵m_b；

(7d)根据平滑缩放矩阵m_a、平滑偏移矩阵m_b和有雾图像的灰度图I^gray，得到精细透射率图：

步骤8，计算去雾结果图。

(8a)计算去雾结果图J在坐标z处像素值J(z)：

其中，分别为有雾图像I，精细透射率图在坐标z处的像素值；

(8b)将各坐标处的像素值J(z)进行组合，形成去雾结果图J。

步骤9，将去雾结果图J拷贝到主机内存，完成对有雾视频的单帧去雾。

本发明通过以上步骤，实现了高速的视频去雾操作，可以为后续的视频监控，图像识别等应用提供清晰的图像源。

本发明的效果可由以下实验进一步说明：

实验1，平台兼容性测试：

本实验测试的有雾视频分辨率为640×480，计算在不同平台上对测试视频前500帧进行去雾，输出视频的平均帧率＝帧数/处理时间(秒)，如表一所示：

表一，不同平台视频去雾平均帧率表

从表一可以看出，本发明适用于不同平台，且去雾输出视频的平均帧率均高于现有解决方案。

实验2，性能测试

本实验测试设备为AMD HD7750显卡，选取不同分辨率有雾视频，计算对前500帧进行去雾，输出视频的平均帧率,如表二所示：

表二，AMD HD7750显卡对不同分辨率视频去雾平均帧率表

从表二可以看出，本发明对于高分辨率图像具有超过40帧每秒的处理速率，实现了高清视频实时处理。

实验3，去雾效果测试

本实验测试的有雾视频分辨率为640×480，对比有雾视频中的一帧图像与该帧图像去雾后图像的清晰度。

取有雾视频第320帧图像，如图2所示，用本发明方法对该有雾图像进行去雾处理，得到去雾后图像如图3所示。

对比图2图3可见，去雾后图像清晰度明显提高，表明本发明具有良好的去雾效果。

综上，本发明解决了现有技术方案的缺陷，适用于多种并行计算平台，实现了高清视频实时处理，可以为后续的视频监控，图像识别等应用提供清晰的图像源。

Claims (8)

1.基于OpenCL的暗通道去雾并行优化方法，包括：

(1)选用支持开放计算语言OpenCL的平台，对该平台进行初始化，并从中选取能运行内核函数的设备E，该设备包括CPU，GPU，intel MIC加速卡；

(2)将RGB彩色有雾视频的一帧图像I从主机内存拷贝到设备E的全局内存中；

(3)通过并行处理的方式计算RGB彩色有雾图像I各坐标位置的灰度值，生成灰度图I^gray，通过并行处理的方式计算各坐标位置RGB三通道最小值，生成最小值图I^min；

(4)对最小值图I^min进行最小值滤波，得到暗通道图I^dark；

(5)根据暗通道图I^dark计算大气光A：

(5a)计算暗通道图I^dark的直方图h；

(5b)根据直方图h求得灰度值最大的0.1％像素点对应的灰度值下界l；

(5c)以l为阈值对暗通道图像I^dark进行二值化得到二值图像I'；

(5d)对有雾图像I的RGB三通道图I_r、I_g、I_b分别点乘二值图像I'，得到RGB三通道灰度图像I_r'、I_g'、I_b'；

(5e)分别计算RGB三通道灰度图像I_r'、I_g'、I_b'的直方图h_r、h_g、h_b；

(5f)通过RGB三通道直方图h_r、h_g、h_b，计算大气光A＝{A_r,A_g,A_b}，

其中，c∈{r,g,b}，i为在0～255变化的灰度值，A_r、A_g、A_b分别为红色，绿色，蓝色三通道的大气光值；

(6)根据大气光A和有雾图像I的RGB三通道图I_r、I_g、I_b，计算预估透射率图t；

(7)根据有雾图像的灰度图I^gray和预估透射率图t，得到精细透射率图

(7a)对预估透射率图t进行行向均值滤波，得到行均值滤波结果图t_r；再对行均值滤波结果图t_r进行列向均值滤波，得到平滑透射率图m_t；

(7b)对有雾图像的灰度图I^gray进行均值滤波，得到平滑引导图m_I；

(7c)根据平滑透射率图m_t、平滑引导图m_I、预估透射率图t和有雾图像的灰度图I^gray，得到平滑缩放矩阵m_a、平滑偏移矩阵m_b；

(7d)根据平滑缩放矩阵m_a、平滑偏移矩阵m_b和有雾图像的灰度图I^gray，得到精细透射率图

(8)根据RGB三通道有雾图像I、精细透射率图和大气光A，计算去雾结果图J；

(9)将去雾结果图J拷贝到主机内存，完成对有雾视频的单帧去雾。

2.根据权利要求1所述的基于OpenCL的暗通道去雾并行优化方法，其特征在于：步骤(3)中并行处理方式是指单个线程处理单个像素点，不同线程对应处理图像不同坐标位置的像素点。

3.根据权利要求1所述的基于OpenCL的暗通道去雾并行优化方法，其特征在于：步骤(6)中根据大气光A和有雾图像I的RGB三通道图I_r、I_g、I_b，计算预估透射率图t，按如下步骤进行：

(6a)计算预估透射率图t在坐标z处的像素值t(z)：

其中I_r(y)、I_g(y)、I_b(y)分别为I_r、I_g、I_b在坐标y处的灰度值，Ω(z)为以坐标z为中心的正方形邻域；

(6b)将各坐标处像素值t(z)进行组合，形成预估透射率图t。

4.根据权利要求1所述的基于OpenCL的暗通道去雾并行优化方法，其特征在于：步骤(7a)中对预估透射率图t进行行向均值滤波，按如下步骤进行：

(7a1)设置H个工作组，每个工作组包含256个线程，每个工作组对应处理预估透射率图t的一行数据，其中H为预估透射率图t的高度；

(7a2)使用第i个工作组的全部线程，通过合并访存的方式，读入预估透射率图t的第i行数据，存储到局部内存数组g起始坐标为l₁＝R+1的连续内存空间中，其中R为滤波器半径；

(7a3)对局部内存数组g的边界扩展像素赋值：

先对数组g的l₁个左边界扩展像素赋值，得到数组g在坐标j处的像素值：g[j]＝g[2l₁-1-j]，其中，0<＝j<l₁；

再对数组g的l₂个右边界扩展像素赋值，得到数组g在坐标l₁+W+k处的像素值：g[l₁+W+k]＝g[l₁+W-1-k]

其中，l₂＝(W+l₁+R+M-1)/M×M-W-l₁，W为预估透射率图t的宽度，M为滤波器宽度M＝2×R+1，0<＝k<l₂；

(7a4)计算分块数:L＝(W+R+l₂)/M；

(7a5)以第i个工作组中前L个线程并行计算局部内存数组g的L个分块的前缀和:g[m]＝g[m-1]+g[m]，其中，g[m]为数组g在坐标m处的像素值，对第l个线程，1+l×M<＝m<1+(l+1)×M，l为线程编号；

(7a6)以第i个工作组中所有线程并行计算行均值滤波结果图t_r在第i行的像素值，再用各行结果合并形成行均值滤波结果图t_r，其中t_r在坐标位置(i,j)处的像素值为：

t_r(i,j)＝(g[j+l₁+R]+g[(j+M-1)/M×M]-g[j])/M。

5.根据权利要求1所述的基于OpenCL的暗通道去雾并行优化方法，其特征在于：步骤(7a)中对行均值滤波结果图t_r进行列向均值滤波，按如下步骤进行：

(7a7)根据行均值滤波结果图t_r，以第i个线程，计算第i列第0行的滤波结果m_t(0,i)：

其中，t_r(j,i)为t_r在坐标位置(j,i)的像素值；

(7a8)根据行均值滤波结果图t_r，第i列第0行滤波结果m_t(0,i)，以第i个线程，计算第i列的H-1行滤波结果m_t(j,i)：

m_t(j,i)＝m_t(j-1,i)+q(j+R,i)-q(j-R,i)

其中，

1<＝j<H，m_t(j-1,i)为第i列，第j-1行滤波结果；

(7a9)将第i列第0行的滤波结果m_t(0,i)与第i列的H-1行滤波结果m_t(j,i)进行组合，形成平滑透射率图m_t。

6.根据权利要求1所述的基于OpenCL的暗通道去雾并行优化方法，其特征在于：步骤(7a2)中的合并访存，是指使用工作组中的编号连续的线程，访问全局内存中的地址连续的内存区域。

7.根据权利要求1所述的基于OpenCL的暗通道去雾并行优化方法，其特征在于：步骤(7c)按如下步骤进行：

(7c1)根据有雾图像的灰度图I^gray,平滑引导图m_I，计算引导图方差矩阵var_I：

var_I＝f_mean(I^gray.*I^gray,R)-m_I.*m_I，

其中f_mean(I^gray.*I^gray,R)表示对I^gray与I^gray点乘的结果进行均值滤波，R为滤波器半径；

(7c2)根据预估透射率图t,有雾图像的灰度图I^gray,平滑引导图m_I，平滑透射率图m_t,计算引导图与预估透射率图的协方差矩阵cov_It：

cov_It＝f_mean(t.*I^gray,R)-m_t.*m_I

其中，f_mean(t.*I^gray,R)表示对I^gray与t点乘的结果进行均值滤波，R为滤波器半径，.*为点乘运算符；

(7c3)根据引导图方差矩阵var_I，引导图与预估透射率图的协方差矩阵cov_It，平滑引导图m_I，平滑透射率图m_t,计算缩放矩阵a、偏移矩阵b:

(7c4)对缩放矩阵a、偏移矩阵b分别进行均值滤波，得到平滑缩放矩阵m_a、平滑偏移矩阵m_b。

8.根据权利要求1所述的基于OpenCL的暗通道去雾并行优化方法，其特征在于：步骤(8)中根据RGB三通道有雾图像I、精细透射率图和大气光A，计算去雾结果图J，按如下步骤进行：

(8a)计算去雾结果图J在坐标z处像素值J(z)：

其中，分别为有雾图像I，精细透射率图在坐标z处的像素值；

(8b)将各坐标处的像素值J(z)进行组合，形成去雾结果图J。