CN104683767B - 透雾图像生成方法及装置 - Google Patents
透雾图像生成方法及装置 Download PDFInfo
- Publication number
- CN104683767B CN104683767B CN201510070311.XA CN201510070311A CN104683767B CN 104683767 B CN104683767 B CN 104683767B CN 201510070311 A CN201510070311 A CN 201510070311A CN 104683767 B CN104683767 B CN 104683767B
- Authority
- CN
- China
- Prior art keywords
- image
- mean
- weight
- color
- dark channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000000149 penetrating effect Effects 0.000 title abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 50
- 238000000926 separation method Methods 0.000 claims abstract description 15
- 230000002708 enhancing effect Effects 0.000 claims abstract description 4
- 230000004927 fusion Effects 0.000 claims description 20
- 238000005286 illumination Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 14
- 238000000354 decomposition reaction Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 21
- 230000035515 penetration Effects 0.000 description 23
- 230000003287 optical effect Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000003915 air pollution Methods 0.000 description 2
- 238000011378 penetrating method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本申请提供一种透雾图像生成方法及装置，该方法包括：获取第一彩色图像和红外图像；对所述第一彩色图像进行增强处理生成第二彩色图像；对所述第二彩色图像进行亮色分离获取第一亮度图像和色彩图像；对所述第一亮度图像和所述红外图像进行图像融合得到第二亮度图像；将所述第二亮度图像与所述色彩图像进行合成生成透雾图像。通过本申请可以获得包含大量细节信息的彩色透雾图像，透雾处理效果更佳。
Description
技术领域
本申请涉及视频监控技术领域，尤其涉及透雾图像生成方法及装置。
背景技术
透雾技术主要应用于大雾天气或空气污染等能见度不高的视频监控场景中。目前，透雾技术主要包括光学透雾和数字透雾，其中，光学透雾利用近红外光波长较长，受雾气干扰较小的原理获得比可见光下更加清晰的图像；而数字透雾是基于图像复原或图像增强的后端处理技术使图像变得清晰。
上述两种透雾处理方法都具有一定的局限性：光学透雾摄取的图像为黑白图像，且在物体对红外光反射一致时会丢失图像的对比度信息；而数字透雾是一种后期图像增强技术，虽然可以获得彩色图像，但对于传输过程中已经损失的信息无法恢复。可见，上述两种透雾处理方法各有利弊，透雾效果不够理想。
发明内容
有鉴于此，本申请提供了一种透雾图像生成方法，该方法包括：
获取第一彩色图像和红外图像；
对所述第一彩色图像进行增强处理生成第二彩色图像；
对所述第二彩色图像进行亮色分离获取第一亮度图像和色彩图像；
对所述第一亮度图像和所述红外图像进行图像融合得到第二亮度图像；
将所述第二亮度图像与所述色彩图像进行合成生成透雾图像。
本申请还提供了一种透雾图像生成装置，该装置包括：
获取单元，用于获取第一彩色图像和红外图像；
增强单元，用于对所述第一彩色图像进行增强处理生成第二彩色图像；
分离单元，用于对所述第二彩色图像进行亮色分离获取第一亮度图像和色彩图像；
融合单元，用于对所述第一亮度图像和所述红外图像进行图像融合得到第二亮度图像；
生成单元，用于将所述第二亮度图像与所述色彩图像进行合成生成透雾图像。
本申请获取第一彩色图像和红外图像，对第一彩色图像进行增强处理生成第二彩色图像，再对第二彩色图像进行亮色分离获取第一亮度图像和色彩图像，然后将第一亮度图像与红外图像进行融合生成第二亮度图像，最后将生成的第二亮度图像与前述色彩图像进行合成生成最终的透雾图像。通过本申请可以获得包含大量细节信息的彩色透雾图像，透雾处理效果更佳。
附图说明
图1是本申请一种实施例中透雾图像生成方法的处理流程图；
图2是本申请一种实施例中多分辨率融合流程示意图；
图3是本申请一种实施例中透雾图像生成装置的基础硬件示意图；
图4是本申请一个实施例中的透雾图像生成装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案及优点更加清楚明白，以下参照附图对本申请所述方案作进一步地详细说明。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
透雾技术主要应用于大雾天气或空气污染等能见度不高的视频监控场景中，通过透雾处理过滤掉恶劣天气的影响，获得清晰的图像，以满足视频监控的需求。目前，透雾技术主要分为光学透雾和数字透雾。
光学透雾利用近红外光波长较长，受雾气干扰较小，图像的细节信息损失较少的特点获得比可见光下更加清晰的图像，但是光学透雾获取的图像为黑白图像，用户体验不好，且当被拍摄物体对红外光反射一致时，将丢失图像的对比度信息，例如，拍摄蓝底白字车牌时需通过颜色识别车牌，但红外光无法区分上述颜色，整个车牌对红外光的反射一致，因此，无法获得车牌信息，也就失去了视频监控的意义。
而数字透雾是对可见光下接收的图像进行复原或图像增强处理使图像变得清晰，数字透雾虽然可以获得彩色图像，但对于传输过程中已经损失的信息无法恢复。可见，上述两种透雾处理方法各有利弊，透雾效果不够理想。
针对上述问题，本申请实施例提出一种透雾图像生成方法，该方法获取第一彩色图像和红外图像，对第一彩色图像进行增强处理生成第二彩色图像，再对第二彩色图像进行亮色分离获取第一亮度图像和色彩图像，然后将第一亮度图像与红外图像进行融合生成第二亮度图像，最后将生成的第二亮度图像与前述色彩图像进行合成生成最终的透雾图像。
参见图1，为本申请透雾图像生成方法的一个实施例流程图，该实施例对透雾图像生成过程进行描述。
步骤110，获取第一彩色图像和红外图像。
第一彩色图像为可见光下拍摄到的图像；红外图像顾名思义为红外光下拍摄到的图像。可通过以下实施方式获取第一彩色图像和红外图像：
实施方式一：采用两台摄像机进行拍摄，一台摄像机拍摄第一彩色图像，另一台摄像机拍摄红外图像。
实施方式二：采用既可以拍摄第一彩色图像也可以拍摄红外图像的摄像机。通常这种类型的摄像机包括可见光截止滤镜以及对应的切换装置，摄像机在可见光下拍摄第一彩色图像，再通过切换装置切换到光学透雾模式，即通过可见光截止滤镜滤除可见光，透过红外光以获取红外图像。在一种较优的实施方式中，可见光截止滤镜的中心波长可在720nm～950nm波段范围内选择，以利用近红外波段获取较好的透雾效果。
实施方式三：获取原始图像，对原始图像进行处理后生成第一彩色图像和红外图像，具体过程如下：首先，获取包含红(R)、绿(G)、蓝(B)和红外(IR)分量的原始图像(RAW图像)。本申请实施例中利用RGB-IR传感器获取上述原始图像，RGB-IR传感器最早用于测距，后用于民用安防的普通监控场景中。在获取原始图像后，分别对原始图像中的R、G、B以及IR分量进行基于方向的插值处理，获取各个分量图像，将获得的R、G、B分量图像合成，生成第一彩色图像，将IR分量图像作为红外图像。
可见，实施方式三通过对原始图像的处理可以同时获取到第一彩色图像和红外图像，相较于实施方式一和实施方式二，实施方式三获取的两幅图像没有位置差异和时间差异，不需要复杂的帧匹配和运动物体匹配；且节省了硬件成本(无需两个摄像机配合或在一台摄像机中增加切换装置)。
步骤120，对所述第一彩色图像进行增强处理生成第二彩色图像。
彩色图像的增强处理主要采用暗通道透雾算法，该算法的计算量较大，通常无法实现实时运行，且透雾处理效果有待提高。本申请实施例提出了一种改进的暗通道透雾算法对第一彩色图像进行增强处理以获得更好的透雾处理效果，具体过程如下：
通过计算第一彩色图像中各个像素点的R、G、B分量最小值获取初始暗通道图像，由于暗通道透雾处理对分辨率要求不高，因此，本申请实施例在获取到初始暗通道图像后，对该初始暗通道图像进行下采样，例如，可根据初始暗通道图像的大小进行2×2至6×6的下采样，以缩小初始暗通道图像的分辨率，减少后续处理的运算量，提高透雾处理的实时性。对下采样后的暗通道图像采用最小滤波器获取一定邻域内的最小值，生成粗糙的暗通道图像，以下简称粗糙暗通道图像。
对生成的粗糙暗通道图像进行导向滤波得到精细的暗通道图像，以下简称精细暗通道图像，具体计算过程如下：
meanI＝fmean(I)
meanp＝fmean(p)
corrI＝fmean(I.*I)
corrIp＝fmean(I.*p)
varI＝corrI-meanI.*meanI
covIp＝corrIp-meanI.*meanp
a＝covIp./(varI+∈)
b＝meanp-a.*meanI
meana＝fmean(a)
meanb＝fmean(b)
q＝meana.*I+meanb
其中，
fmean(x)＝boxfilter(x)/boxfilter(N)
N＝1+γ×p/255
p为粗糙暗通道图像；I为第一彩色图像的亮度图像；∈为正则化参数；q为精细暗通道图像；γ为可调系数；boxfilter(x)为方框滤波器函数；fmean(x)为均值函数；var表示方差；cov表示协方差；a和b为线性参数。
上述滤波过程主要用于降噪，并在降噪的同时保持边缘信息。其中，a、b、q的求解是源自保持梯度的滤波器模型的解，该模型假设q＝aI+b，其中，a和b都是线性的，因为只有这样q的梯度才等于I的梯度，也就是保持了边缘。
在上述计算过程中，N可称为归一化因子，现有技术方案中通常将N设定为固定常数1。本申请实施例中N为可变参数，该可变参数与可调系数γ以及粗糙暗通道图像中的雾气浓度分布情况有关，从而在对粗糙暗通道图像进行精细化处理的过程中对不同雾气浓度分布情况的粗糙暗通道图像进行非均匀调节，加强了最终的去雾效果，而暗通道透雾算法的复杂度并没有显著增加。
除了对粗糙暗通道图像进行精细化处理外，还需要获取大气光照强度信息，本申请实施例对获取大气光照强度的方法也进行了改进。在采用原有暗通道透雾算法求取大气光照强度时，首先需要求出粗糙暗通道图像的高亮区域，然后在第一彩色图像中找到与该高亮区域对应的图像区域，获取该图像区域的最大亮度值作为大气光照强度。然而通过实际分析显示，粗糙暗通道图像高亮区域的亮度约等于第一彩色图像的亮度，因此，本申请实施例直接从粗糙暗通道图像的高亮区域获取最大亮度值作为大气光照强度，省略了向第一彩色图像进行区域映射的过程，进一步减少了运算量，提升了透雾处理效率。
如前所述，在进行暗通道透雾处理之前对初始暗通道图像进行下采样以减少运算量，提高透雾处理效率，而此时在获得精细暗通道图像后，可通过上采样恢复暗通道图像尺寸(分辨率)。
根据第一彩色图像、大气光照强度以及上采样后的精细暗通道图像可生成第二彩色图像，具体为：通过大气模型I(x)＝J(x)t(x)+A(1-t(x))求取第二彩色图像，公式如下：
其中，
Ic为第一彩色图像；
A为大气光照强度；
q′为对精细暗通道图像q进行上采样后的精细暗通道图像；
I′c为第二彩色图像。
从上述对第一彩色图像进行增强处理的过程可以看出，本申请实施例通过对暗通道图像先下采样再上采样的处理过程(先缩小分辨率再通过插值还原分辨率)，减少了运算量，提高了透雾处理效率。但是先下采样再上采样的处理过程无法精确还原图像，在一定程度上降低了透雾处理效果，因此，在实际操作过程中可对处理效率和处理效果进行权衡，设置合理的下采样尺寸。
上述处理过程已经达到一定的透雾处理效果，比现有的数字透雾处理效果要好，在雾气浓度不高(不影响可见光传输)时，将本步骤获得的第二彩色图像直接作为最终的透雾图像输出，可以提高透雾处理效率；在雾气浓度高时，执行后续步骤以提高透雾处理能力，当然，若不执行本步骤的增强处理而直接将第一彩色图像进行后续的亮色分离以及融合处理也可以获得一个较好的透雾图像，该透雾图像优于现有的光学透雾处理效果，但是，如果这个不执行增强处理的方法直接应用于雾气浓度较低的情况下，其处理效果可能达不到现有的数字透雾处理效果。因此，本申请为了适应不同的雾气浓度，统一执行增强处理后再执行后续步骤，以保证无论在任何雾气浓度下，都可以获得比现有光学透雾和数字透雾都好的透雾处理效果。当然，也可以根据应用环境，例如，某区域普遍雾气浓度较低或普遍雾气浓度较高，而采取部分步骤的组合，达到优于现有的透雾处理效果。
步骤130，对所述第二彩色图像进行亮色分离获取第一亮度图像和色彩图像。
步骤140，对所述第一亮度图像和所述红外图像进行图像融合得到第二亮度图像。
本申请实施例采用多分辨率融合技术通过权重选取提取第一亮度图像和红外图像中更多的细节信息，以达到更优的透雾处理效果。多分辨率融合技术原本应用于宽动态场景的多帧曝光图像融合中，通过设置多维度权重(曝光、对比度、饱和度)来提取几帧不同曝光图像中的较优信息，并且融合成一幅自然过渡的宽动态图像。本申请实施例利用多分辨率融合技术从锐度、梯度和熵三个维度进行权重分配，以获取更多的图像信息，其中，锐度主要用于提起图像中的边缘信息；梯度主要用于提取亮度变化信息；熵用于衡量一定区域内是否达到最佳曝光状态。在获取上述各维度权重后进行多分辨率分解再融合，具体过程如下：
分别获取第一亮度图像的第一权重图像以及红外图像的第二权重图像。本申请实施例中第一权重图像的获取方式与第二权重图像的获取方式相同，以第一权重图像的获取方式为例，从第一亮度图像中提取第一锐度权重图像、第一梯度权重图像以及第一熵权重图像，具体提取过程如下：
第一锐度权重图像(weight_Sharpness)：
weight_Sharpness＝|H*L|
其中，H为第一亮度图像，L可以为Sobel算子(索贝尔算子)、拉普拉斯算子等，可以有多种选择，由用户配置。
第一梯度权重图像(weight_Gradient)：
第一熵权重图像(weight_Entropy)：
其中，m(i)为第一亮度图像中每个像素在一定邻域内不同亮度出现的概率。
根据获得的第一锐度权重图像、第一梯度权重图像以及第一熵权重图像获取第一总权重图像，具体可以为：
weight_T＝weight_Sharpness·weight_Gradient·weight_Entropy
同理，按照第一总权重图像的获取方式，从红外图像中提取第二锐度权重图像、第二梯度权重图像以及第二熵权重图像，根据第二锐度权重图像、第二梯度权重图像以及第二熵权重图像获取第二总权重图像。
对第一总权重图像和第二总权重图像进行归一化处理，生成第一权重图像和第二权重图像。假设第一总权重图像为weight_T，第二总权重图像为weight_T′，则
第一权重图像weight0：
weight0＝weight_T/(weight_T+weight_T′)
第二权重图像weight0′：
weight0′＝weight_T′/(weight_T+weight_T′)
在获取第一权重图像和第二权重图像后，分别对第一亮度图像、第一权重图像、红外图像以及第二权重图像进行多分辨率分解。参见图2，H为第一亮度图像，Iir为红外图像，weight0为第一权重图像，weight0′为第二权重图像。具体地，可以对第一亮度图像H和红外图像Iir采用拉普拉斯金字塔分解，如图2所示，第一亮度图像H向下分解为具有不同分辨率的lp0、lp1、lp2、g3图像，各图像的分辨率大小关系为lp0>lp1>lp2>g3，同理，红外图像Iir分解为对应分辨率下的lp0′、lp1′、lp2′、g3′图像。对第一权重图像weight0和第二权重图像weight0′可以采用高斯金字塔分解，生成对应分辨率下的权重图像(weight1、weight2、weight3、weight1′、weight2′、weight3′)。上述图像分解中采用了不同的分解方式，这是由于拉普拉斯金字塔分解可以保留图像的细节信息，而权重图像没有保留细节信息的需求，因此，可以采用相对简单但会产生一定信息损失的高斯金字塔分解，以进一步减少运算量，提高透雾处理的效率。
在完成上述分解后，对分解后的第一亮度图像、第一权重图像、红外图像以及第二权重图像进行融合得到第二亮度图像。参见图2，从最低分辨率对应的图像(weight2、g3、g3′、weight3′)开始融合，融合后的图像进行上采样，使图像与上层图像的分辨率相同，添加到上一层的融合图像中，以此类推，向上融合直至达到最终的图像(result)作为第二亮度图像。
步骤150，将所述第二亮度图像与所述色彩图像进行合成生成透雾图像。
通过本步骤将包含了大量细节信息的第二亮度图像与色彩图像合成，得到彩色的透雾图像，该透雾图像的效果明显优于单独使用光学透雾或数字透雾获取的透雾图像。
与前述透雾图像生成方法的实施例相对应，本申请还提供透雾图像生成装置的实施例。
本申请透雾图像生成装置的实施例可以应用在图像处理设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的CPU将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图3所示，为本申请透雾图像生成装置所在设备的一种硬件结构图，除了图3所示的CPU、内存以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件。
请参考图4，为本申请一个实施例中的透雾图像生成装置的结构示意图。该透雾图像生成装置包括获取单元401、增强单元402、分离单元403、融合单元404以及生成单元405，其中：
获取单元401，用于获取第一彩色图像和红外图像；
增强单元402，用于对所述第一彩色图像进行增强处理生成第二彩色图像；
分离单元403，用于对所述第二彩色图像进行亮色分离获取第一亮度图像和色彩图像；
融合单元404，用于对所述第一亮度图像和所述红外图像进行图像融合得到第二亮度图像；
生成单元405，用于将所述第二亮度图像与所述色彩图像进行合成生成透雾图像。
进一步地，
所述获取单元401，具体用于获取原始图像，所述原始图像中包含红R、绿G、蓝B以及红外IR分量；分别对所述R、G、B以及IR分量进行基于方向的插值处理，生成R、G、B以及IR分量图像；将所述R、G、B分量图像合成，生成所述第一彩色图像；将所述IR分量图像作为所述红外图像。
进一步地，所述增强单元402，包括：
初始图像获取模块，用于从所述第一彩色图像中获取初始暗通道图像；
粗糙图像生成模块，用于对所述初始暗通道图像进行下采样生成粗糙暗通道图像；
精细图像生成模块，用于对所述粗糙暗通道图像进行导向滤波得到精细暗通道图像；
光照强度获取模块，用于从所述粗糙暗通道图像中获取大气光照强度；
精细图像采样模块，用于对所述精细暗通道图像进行上采样；
彩色图像生成模块，用于根据所述第一彩色图像、所述大气光照强度以及上采样后的精细暗通道图像生成所述第二彩色图像。
进一步地，
所述精细图像生成模块，具体用于计算生成精细暗通道图像，计算过程如下：
meanI＝fmean(I)
meanp＝fmean(p)
corrI＝fmean(I.*I)
corrIp＝fmean(I.*p)
varI＝corrI-meanI.*meanI
covIp＝corrIp-meanI.*meanp
a＝covIp./(varI+∈)
b＝meanp-a.*meanI
meana＝fmean(a)
meanb＝fmean(b)
q＝meana.*I+meanb
其中，
fmean(x)＝boxfilter(x)/boxfilter(N)
N＝1+γ×p/255
p为粗糙暗通道图像；
I为第一彩色图像的亮度图像；
∈为正则化参数；
q为精细暗通道图像；
γ为可调系数；
boxfilter(x)为方框滤波器函数；
fmean(x)为均值函数；
var表示方差；
cov表示协方差；
a和b为线性参数。
进一步地，
所述彩色图像生成模块，具体用于计算生成第二彩色图像，计算过程如下：
其中，
Ic为第一彩色图像；
A为大气光照强度；
q′为对精细暗通道图像q进行上采样后的精细暗通道图像；
I′c为第二彩色图像。
进一步地，所述融合单元404，包括：
权重图像获取模块，用于分别获取所述第一亮度图像的第一权重图像以及所述红外图像的第二权重图像；
多分辨率分解模块，用于分别对所述第一亮度图像、所述第一权重图像、所述红外图像以及所述第二权重图像进行多分辨率分解；
亮度图像融合模块，用于对分解后的第一亮度图像、第一权重图像、红外图像以及第二权重图像进行融合得到第二亮度图像。
进一步地，
所述权重图像获取模块，具体用于从所述第一亮度图像中提取第一锐度权重图像、第一梯度权重图像以及第一熵权重图像；根据所述第一锐度权重图像、第一梯度权重图像以及第一熵权重图像获取第一总权重图像；从所述红外图像中提取第二锐度权重图像、第二梯度权重图像以及第二熵权重图像；根据所述第二锐度权重图像、第二梯度权重图像以及第二熵权重图像获取第二总权重图像；对所述第一总权重图像和所述第二总权重图像进行归一化处理，生成所述第一权重图像和所述第二权重图像。
上述图4示出的透雾图像生成装置的实施例，该透雾图像生成装置应用于图像处理设备上，其具体实现过程可参见前述方法实施例的说明，在此不再赘述。
从以上方法及装置的实施例中可以看出，本申请获取第一彩色图像和红外图像，对第一彩色图像进行增强处理生成第二彩色图像，再对第二彩色图像进行亮色分离获取第一亮度图像和色彩图像，然后将第一亮度图像与红外图像进行融合生成第二亮度图像，最后将生成的第二亮度图像与前述色彩图像进行合成生成最终的透雾图像。通过本申请可以获得包含大量细节信息的彩色透雾图像，透雾处理效果更佳。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
Claims (10)
1.一种透雾图像生成方法，其特征在于，该方法包括：
获取第一彩色图像和红外图像；
对所述第一彩色图像进行增强处理生成第二彩色图像；
对所述第二彩色图像进行亮色分离获取第一亮度图像和色彩图像；
对所述第一亮度图像和所述红外图像进行图像融合得到第二亮度图像；
将所述第二亮度图像与所述色彩图像进行合成生成透雾图像；
其中，对所述第一亮度图像和所述红外图像进行图像融合得到第二亮度图像，包括：
根据所述第一亮度图像获取所述第一亮度图像的第一权重图像，以及根据所述红外图像获取所述红外图像的第二权重图像；分别对所述第一亮度图像、所述第一权重图像、所述红外图像以及所述第二权重图像进行多分辨率分解；对分解后的第一亮度图像、第一权重图像、红外图像以及第二权重图像进行融合得到第二亮度图像；
其中，所述分别获取所述第一亮度图像的第一权重图像以及所述红外图像的第二权重图像，包括：
从所述第一亮度图像中提取第一锐度权重图像、第一梯度权重图像以及第一熵权重图像；
根据所述第一锐度权重图像、第一梯度权重图像以及第一熵权重图像获取第一总权重图像；
从所述红外图像中提取第二锐度权重图像、第二梯度权重图像以及第二熵权重图像；
根据所述第二锐度权重图像、第二梯度权重图像以及第二熵权重图像获取第二总权重图像；
对所述第一总权重图像和所述第二总权重图像进行归一化处理，生成所述第一权重图像和所述第二权重图像；
其中，锐度权重图像、梯度权重图像和熵权重图像分别为从对应图像中提取的锐度图像、梯度图像和熵图像。
2.如权利要求1所述的方法，其特征在于，所述获取第一彩色图像和红外图像，包括：
获取原始图像，所述原始图像中包含红R、绿G、蓝B以及红外IR分量；
分别对所述R、G、B以及IR分量进行基于方向的插值处理，生成R、G、B以及IR分量图像；
将所述R、G、B分量图像合成，生成所述第一彩色图像；
将所述IR分量图像作为所述红外图像。
3.如权利要求1所述的方法，其特征在于，所述对所述第一彩色图像进行增强处理生成第二彩色图像，包括：
从所述第一彩色图像中获取初始暗通道图像；
对所述初始暗通道图像进行下采样生成粗糙暗通道图像；
对所述粗糙暗通道图像进行导向滤波得到精细暗通道图像；
从所述粗糙暗通道图像中获取大气光照强度；
对所述精细暗通道图像进行上采样；
根据所述第一彩色图像、所述大气光照强度以及上采样后的精细暗通道图像生成所述第二彩色图像。
4.如权利要求3所述的方法，其特征在于，所述对所述粗糙暗通道图像进行导向滤波得到精细暗通道图像，包括：
meanI＝fmean(I)
meanp＝fmean(p)
corrI＝fmean(I.*I)
corrIp＝fmean(I.*p)
varI＝corrI-meanI.*meanI
covIp＝corrIp-meanI.*meanp
a＝covIp./(varI+∈)
b＝meanp-a.*meanI
meana＝fmean(a)
meanb＝fmean(b)
q＝meana.*I+meanb
其中，
fmean(x)＝boxfilter(x)/boxfilter(N)
N＝1+γ×p/255
p为粗糙暗通道图像；
I为第一彩色图像的亮度图像；
∈为正则化参数；
q为精细暗通道图像；
γ为可调系数；
boxfilter(x)为方框滤波器函数；
fmean(x)为均值函数；
var表示方差；
cov表示协方差；
a和b为线性参数；
N为归一化因子。
5.如权利要求3所述的方法，其特征在于，所述根据所述第一彩色图像、所述大气光照强度以及上采样后的精细暗通道图像生成所述第二彩色图像，包括：
<mrow>
<msubsup>
<mi>I</mi>
<mi>c</mi>
<mo>&prime;</mo>
</msubsup>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>I</mi>
<mi>c</mi>
</msub>
<mo>-</mo>
<mi>A</mi>
</mrow>
<msup>
<mi>q</mi>
<mo>&prime;</mo>
</msup>
</mfrac>
<mo>+</mo>
<mi>A</mi>
</mrow>
其中，
Ic为第一彩色图像；
A为大气光照强度；
q′为对精细暗通道图像q进行上采样后的精细暗通道图像；
I′c为第二彩色图像。
6.一种透雾图像生成装置，其特征在于，该装置包括：
获取单元，用于获取第一彩色图像和红外图像；
增强单元，用于对所述第一彩色图像进行增强处理生成第二彩色图像；
分离单元，用于对所述第二彩色图像进行亮色分离获取第一亮度图像和色彩图像；
融合单元，用于对所述第一亮度图像和所述红外图像进行图像融合得到第二亮度图像；
生成单元，用于将所述第二亮度图像与所述色彩图像进行合成生成透雾图像；
其中，所述融合单元，包括：
权重图像获取模块，用于根据所述第一亮度图像获取所述第一亮度图像的第一权重图像以及根据所述红外图像获取所述红外图像的第二权重图像；
多分辨率分解模块，用于分别对所述第一亮度图像、所述第一权重图像、所述红外图像以及所述第二权重图像进行多分辨率分解；
亮度图像融合模块，用于对分解后的第一亮度图像、第一权重图像、红外图像以及第二权重图像进行融合得到第二亮度图像；
其中，所述权重图像获取模块，具体用于从所述第一亮度图像中提取第一锐度权重图像、第一梯度权重图像以及第一熵权重图像；根据所述第一锐度权重图像、第一梯度权重图像以及第一熵权重图像获取第一总权重图像；从所述红外图像中提取第二锐度权重图像、第二梯度权重图像以及第二熵权重图像；根据所述第二锐度权重图像、第二梯度权重图像以及第二熵权重图像获取第二总权重图像；对所述第一总权重图像和所述第二总权重图像进行归一化处理，生成所述第一权重图像和所述第二权重图像，其中，锐度权重图像、梯度权重图像和熵权重图像分别为从对应图像中提取的锐度图像、梯度图像和熵图像。
7.如权利要求6所述的装置，其特征在于：
所述获取单元，具体用于获取原始图像，所述原始图像中包含红R、绿G、蓝B以及红外IR分量；分别对所述R、G、B以及IR分量进行基于方向的插值处理，生成R、G、B以及IR分量图像；将所述R、G、B分量图像合成，生成所述第一彩色图像；将所述IR分量图像作为所述红外图像。
8.如权利要求6所述的装置，其特征在于，所述增强单元，包括：
初始图像获取模块，用于从所述第一彩色图像中获取初始暗通道图像；
粗糙图像生成模块，用于对所述初始暗通道图像进行下采样生成粗糙暗通道图像；
精细图像生成模块，用于对所述粗糙暗通道图像进行导向滤波得到精细暗通道图像；
光照强度获取模块，用于从所述粗糙暗通道图像中获取大气光照强度；
精细图像采样模块，用于对所述精细暗通道图像进行上采样；
彩色图像生成模块，用于根据所述第一彩色图像、所述大气光照强度以及上采样后的精细暗通道图像生成所述第二彩色图像。
9.如权利要求8所述的装置，其特征在于：
所述精细图像生成模块，具体用于计算生成精细暗通道图像，计算过程如下：
meanI＝fmean(I)
meanp＝fmean(p)
corrI＝fmean(I.*I)
corrIp＝fmean(I.*p)
varI＝corrI-meanI.*meanI
covIp＝corrIp-meanI.*meanp
a＝covIp./(varI+∈)
b＝meanp-a.*meanI
meana＝fmean(a)
meanb＝fmean(b)
q＝meana.*I+meanb
其中，
fmean(x)＝boxfilter(x)/boxfilter(N)
N＝1+γ×p/255
p为粗糙暗通道图像；
I为第一彩色图像的亮度图像；
∈为正则化参数；
q为精细暗通道图像；
γ为可调系数；
boxfilter(x)为方框滤波器函数；
fmean(x)为均值函数；
var表示方差；
cov表示协方差；
a和b为线性参数；
N为归一化因子。
10.如权利要求8所述的装置，其特征在于：
所述彩色图像生成模块，具体用于计算生成第二彩色图像，计算过程如下：
<mrow>
<msubsup>
<mi>I</mi>
<mi>c</mi>
<mo>&prime;</mo>
</msubsup>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>I</mi>
<mi>c</mi>
</msub>
<mo>-</mo>
<mi>A</mi>
</mrow>
<msup>
<mi>q</mi>
<mo>&prime;</mo>
</msup>
</mfrac>
<mo>+</mo>
<mi>A</mi>
</mrow>
其中，
Ic为第一彩色图像；
A为大气光照强度；
q′为对精细暗通道图像q进行上采样后的精细暗通道图像；
I′c为第二彩色图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510070311.XA CN104683767B (zh) | 2015-02-10 | 2015-02-10 | 透雾图像生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510070311.XA CN104683767B (zh) | 2015-02-10 | 2015-02-10 | 透雾图像生成方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104683767A CN104683767A (zh) | 2015-06-03 |
| CN104683767B true CN104683767B (zh) | 2018-03-06 |
Family
ID=53318258
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510070311.XA Active CN104683767B (zh) | 2015-02-10 | 2015-02-10 | 透雾图像生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104683767B (zh) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106488201B (zh) | 2015-08-28 | 2020-05-01 | 杭州海康威视数字技术股份有限公司 | 一种图像信号的处理方法和系统 |
| FR3048800B1 (fr) * | 2016-03-11 | 2018-04-06 | Bertin Technologies | Procede de traitement d'images |
| CN105931193A (zh) * | 2016-04-01 | 2016-09-07 | 南京理工大学 | 一种基于暗通道先验的夜间交通卡口图像增强方法 |
| CN107438170B (zh) * | 2016-05-25 | 2020-01-17 | 杭州海康威视数字技术股份有限公司 | 一种图像透雾方法及实现图像透雾的图像采集设备 |
| CN107767345B (zh) * | 2016-08-16 | 2023-01-13 | 杭州海康威视数字技术股份有限公司 | 一种透雾方法及装置 |
| CN107918929B (zh) * | 2016-10-08 | 2019-06-21 | 杭州海康威视数字技术股份有限公司 | 一种图像融合方法、装置及系统 |
| CN106548467B (zh) * | 2016-10-31 | 2019-05-14 | 广州飒特红外股份有限公司 | 红外图像和可见光图像融合的方法及装置 |
| CN108419062B (zh) * | 2017-02-10 | 2020-10-02 | 杭州海康威视数字技术股份有限公司 | 图像融合设备和图像融合方法 |
| CN108419061B (zh) * | 2017-02-10 | 2020-10-02 | 杭州海康威视数字技术股份有限公司 | 基于多光谱的图像融合设备、方法及图像传感器 |
| CN107705263A (zh) * | 2017-10-10 | 2018-02-16 | 福州图森仪器有限公司 | 一种基于rgb‑ir传感器的自适应透雾方法和终端 |
| CN107862330A (zh) * | 2017-10-31 | 2018-03-30 | 广东交通职业技术学院 | 一种结合导向滤波和最大概率的高光谱图像分类方法 |
| CN108021896B (zh) * | 2017-12-08 | 2019-05-10 | 北京百度网讯科技有限公司 | 基于增强现实的拍摄方法、装置、设备及计算机可读介质 |
| CN108052977B (zh) * | 2017-12-15 | 2021-09-14 | 福建师范大学 | 基于轻量级神经网络的乳腺钼靶图像深度学习分类方法 |
| CN107948540B (zh) * | 2017-12-28 | 2020-08-25 | 信利光电股份有限公司 | 一种道路监控摄像头和道路监控图像的拍摄方法 |
| CN109993704A (zh) * | 2017-12-29 | 2019-07-09 | 展讯通信（上海）有限公司 | 一种去雾图像处理方法及系统 |
| CN108259874B (zh) * | 2018-02-06 | 2019-03-26 | 青岛大学 | 视频图像透雾透霾及真彩色还原实时处理系统及方法 |
| CN108965654B (zh) | 2018-02-11 | 2020-12-25 | 浙江宇视科技有限公司 | 基于单传感器的双光谱摄像机系统和图像处理方法 |
| CN108921803B (zh) * | 2018-06-29 | 2020-09-08 | 华中科技大学 | 一种基于毫米波与可见光图像融合的去雾方法 |
| CN109003237A (zh) * | 2018-07-03 | 2018-12-14 | 深圳岚锋创视网络科技有限公司 | 全景图像的天空滤镜方法、装置及便携式终端 |
| CN109214993B (zh) * | 2018-08-10 | 2021-07-16 | 重庆大数据研究院有限公司 | 一种雾霾天气智能车视觉增强方法 |
| CN109242784A (zh) * | 2018-08-10 | 2019-01-18 | 重庆大数据研究院有限公司 | 一种雾霾天气大气覆盖率预测方法 |
| CN110210541B (zh) * | 2019-05-23 | 2021-09-03 | 浙江大华技术股份有限公司 | 图像融合方法及设备、存储装置 |
| CN110378861B (zh) | 2019-05-24 | 2022-04-19 | 浙江大华技术股份有限公司 | 一种图像融合方法及装置 |
| CN111383206B (zh) * | 2020-06-01 | 2020-09-29 | 浙江大华技术股份有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8396324B2 (en) * | 2008-08-18 | 2013-03-12 | Samsung Techwin Co., Ltd. | Image processing method and apparatus for correcting distortion caused by air particles as in fog |
| CN101783012B (zh) * | 2010-04-06 | 2012-05-30 | 中南大学 | 一种基于暗原色的自动图像去雾方法 |
| CN102243758A (zh) * | 2011-07-14 | 2011-11-16 | 浙江大学 | 基于雾天图像复原和图像融合的图像去雾方法 |
| CN102254301B (zh) * | 2011-07-22 | 2013-01-23 | 西安电子科技大学 | 基于边缘方向插值的cfa图像去马赛克方法 |
| CN104050637B (zh) * | 2014-06-05 | 2017-02-22 | 华侨大学 | 基于两次引导滤波的快速图像去雾方法 |
| CN104166968A (zh) * | 2014-08-25 | 2014-11-26 | 广东欧珀移动通信有限公司 | 一种图像去雾的方法、装置及移动终端 |
-
2015
- 2015-02-10 CN CN201510070311.XA patent/CN104683767B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN104683767A (zh) | 2015-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104683767B (zh) | 透雾图像生成方法及装置 | |
| CN112767289B (zh) | 图像融合方法、装置、介质及电子设备 | |
| CN111741281B (zh) | 图像处理方法、终端及存储介质 | |
| EP2852152B1 (en) | Image processing method, apparatus and shooting terminal | |
| JP6351903B1 (ja) | 画像処理装置、画像処理方法、及び撮影装置 | |
| US10620005B2 (en) | Building height calculation method, device, and storage medium | |
| CN111080724A (zh) | 一种红外和可见光的融合方法 | |
| US20140340515A1 (en) | Image processing method and system | |
| US20210049738A1 (en) | Panoramic image construction based on images captured by rotating imager | |
| CN105049718A (zh) | 一种图像处理方法及终端 | |
| CN106960428A (zh) | 可见光和红外双波段图像融合增强方法 | |
| Sidike et al. | Adaptive trigonometric transformation function with image contrast and color enhancement: Application to unmanned aerial system imagery | |
| CN107742274A (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| CN110517206B (zh) | 彩色摩尔纹消除方法及装置 | |
| CN112241668B (zh) | 图像处理方法、装置及设备 | |
| Chakrabarti et al. | Rethinking color cameras | |
| US20230127009A1 (en) | Joint objects image signal processing in temporal domain | |
| Honda et al. | Make my day-high-fidelity color denoising with near-infrared | |
| CN112241735B (zh) | 一种图像处理方法、装置及系统 | |
| US10614559B2 (en) | Method for decamouflaging an object | |
| Lee et al. | Joint defogging and demosaicking | |
| WO2005059833A1 (ja) | 輝度補正装置および輝度補正方法 | |
| Kwon et al. | Multispectral demosaicking considering out-of-focus problem for red-green-blue-near-infrared image sensors | |
| CN112241935B (zh) | 图像处理方法、装置及设备、存储介质 | |
| CN107424135A (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |