CN110930341A - 一种基于图像融合的低光照图像增强方法 - Google Patents
一种基于图像融合的低光照图像增强方法 Download PDFInfo
- Publication number
- CN110930341A CN110930341A CN201910988092.1A CN201910988092A CN110930341A CN 110930341 A CN110930341 A CN 110930341A CN 201910988092 A CN201910988092 A CN 201910988092A CN 110930341 A CN110930341 A CN 110930341A
- Authority
- CN
- China
- Prior art keywords
- image
- map
- illumination
- fusion
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000004927 fusion Effects 0.000 title claims abstract description 25
- 238000012937 correction Methods 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 9
- 238000012800 visualization Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于图像融合的低光照图像增强方法。本发明的方法首先将图像从RGB空间转换到HSV空间，然后从V通道中估计初始光照图Ⅰ；对于初始光照图Ⅰ进行过滤，得到进一步准确的光照图Ⅱ；对光照图Ⅱ进行伽玛校正，得到多张中间图；确定中间图的权重，进行图像融合得到最后的光照图Ⅲ；求出反射图，从HSV空间转回RGB空间得到最后的增强图。本发明提出了一种基于融合的低光照图像增强算法，针对低光照的情况，可以有效的增强图像，得到一张对比度强，色彩自然，视觉效果好的图像。该算法可以在手机上应用，只需要一键操作，有效的提高低光照图像的质量，令用户的拍照体验感提升。
Description
技术领域
本发明涉及图像增强领域，具体的说涉及一种基于图像融合的低光照图像增强方法。一种低光照图像增强，确定最佳反射图的方法。
背景技术
随着先进移动设备的普及，尤其是手机上相机的应用，人们几乎可以随时随地拍照。而社交媒体平台的蓬勃发展，每天都有大量的照片被制作和分享，形成了一种重要的大数据。但是，这些可视化数据的质量并没有得到保证，因为这些可视化数据的生成源是相当开放的。一方面，在拍照时，大多数人都是业余爱好者或对摄影技巧知之甚少，他们常常选择次优的拍摄参数。另一方面，有许多挑战性的拍摄条件，导致低质量的照片，如恶劣的天气，移动的物体，和低光照条件。低光图像降低了用户体验的视觉质量，并且阻碍了对工业应用程序内容的理解。
低光照图像是造成图像视觉质量差的主要因素之一，在黑暗中或者光照不均匀的情况下都会造成图像失真。虽然存在允许用户交互调整照片的软件，但对于非专业人士来说，这是相当乏味和困难的，因为它需要同时操纵颜色和对比度等控件，同时精细地调整照片中的各种对象和细节。
为了让人们日常拍照可以简便的使用，一种一键式操作的算法需要被提出应用。图像增强技术提供了一种可能的解决方案，因为图像增强不仅满足了更好的视觉体验的需要，而且提高了视觉系统的可靠性和鲁棒性，使得图像处理系统更容易分析和处理图像。
低光照图像增强的主要是对得到的不满意的图像进行自适应处理，将图像的暗区域部分变亮，而亮区域不会过分曝光。得到的增强图像具有良好的对比度，自然的光照色彩以及良好的视觉效果。
发明内容
本发明主要是提出一种基于图像融合的低光照图像增强方法，可以对得到的低光照图像进行增强处理，得到一张对比度明显，色彩自然，视觉效果好，暗区域变亮的图像。
本发明的方法首先将图像从RGB空间转换到HSV空间，然后从V通道中估计初始光照图Ⅰ；对于初始光照图Ⅰ进行过滤，得到进一步准确的光照图Ⅱ；对光照图Ⅱ进行伽玛校正，得到多张中间图；确定中间图的权重，进行图像融合得到最后的光照图Ⅲ；求出反射图，从HSV空间转回RGB空间得到最后的增强图。具体包括以下步骤：
步骤1：图像从RGB空间转换到HSV空间，得到初始光照图Ⅰ；
采取基于Retinex的理论模型，使用简单的光照预测方法直接默认V通道为初始的光照图；
步骤2：过滤初始光照图Ⅰ，得到进一步准确的光照图Ⅱ；
采取现成的guided滤波器对于步骤1中得到的初始光照图Ⅰ进行处理，将得到光照图Ⅱ；
步骤3：对光照图Ⅱ进行伽玛校正，得到多张中间图；
根据光照图Ⅱ产生多张中间图像作为融合源；使用伽玛进行校正，采取不同的伽玛值得到几张不同的中间图；
步骤4：确定中间图像的权重，进行中间图像融合；
采取不同权重的叠加方法得到中间图像融合后的融合图，即最后的光照图Ⅲ；采取基于PCA理论的权重确定方法得到融合图；
步骤5：求出反射图，从HSV空间转回RGB空间
根据Retinex理论得到光照图Ⅲ对应的反射图，将反射图作为最后的V通道的值；最后将HSV空间转换为RGB空间；此时得到的图像就是最后的增强图。
所述的使用伽玛进行校正的校正公式为：
T'＝T1/λ。
所述的步骤3中得到的N张中间图像T1,T2,…TN均转换为一维向量，得到这N个列向量组合的矩阵的协方差矩阵C，对于得到的协方差矩阵，求出它的特征值以及对应的特征向量；此时根据得到的特征值，选择其中比较大的特征值所对应的特征向量作为定义权重的方向；
具体的公式如下：
其中ω是对应中间图像的权重，ξ则是大的特征值所对应的特征向量；
最后得到的融合图像记为T：
T＝ω1T1+ω2T2+…+ωNTN。
本发明有益效果如下：
本发明提出了一种基于融合的低光照图像增强算法，针对低光照的情况，可以有效的增强图像，得到一张对比度强，色彩自然，视觉效果好的图像。该算法可以在手机上应用，只需要一键操作，有效的提高低光照图像的质量，令用户的拍照体验感提升。
附图说明
图1为本发明的算法流程图
具体实施方式
以下结合附图及实施例，对本发明进行进一步的详细说明。
本发明的方法首先将图像从RGB空间转换到HSV空间，然后从V通道中估计初始的光照图；对于初始的光照图进行过滤，得到进一步准确的光照图；对光照图进行伽玛校正，得到多张中间图；确定中间图的权重，进行图像融合得到最后的光照图；求出反射图，从HSV空间转回RGB空间得到最后的增强图。
实施流程如图1所示。本发明所述方法包括以下步骤：
步骤1：图像从RGB空间转换到HSV空间，得到初始光照图；
人类的眼睛对亮度比颜色更敏感。因此，光照分量的校正对于一种针对不均匀光照下获取的图像进行校正的算法是至关重要的。对于彩色图像，如果直接对红(R)、绿(G)、蓝(B)通道进行校正，很难保证所有通道都按照合适的比例进行增减，这往往会导致校正后图像的颜色失真。所以可以考虑对人的视觉感官友好的H(色调)S(饱和度)V(亮度)空间。
转换公式如下：
S＝1-min(R,G,B)/V
V＝max(R,G,B)
本发明采取了基于Retinex的理论模型，使用一种简单的光照预测方法，直接默认V通道为初始的光照图，记为T1。
步骤2：过滤初始光照图，得到进一步准确的光照图；
本发明采取了现成的guided滤波器对于步骤1中得到的初始光照图进行处理，将得到的结果作为进一步准确的光照图，记为T2。
步骤3：对光照图进行伽玛校正，得到多张中间图
此时我们只得到了一张光照图，由于采取了以上的方式带来的误差比较大，所以要进一步改善光照图。对于只有一张图像的情况，有一种比较好的方法是根据那一张图像产生多张中间图像作为融合源。一种比较简单的方法是使用伽玛进行校正，采取不同的伽玛值可以得到几张不同的中间图，为下一步的图像融合做准备。
校正公式为：
T'＝T1/λ
本说明采取了两个不同的伽玛值，得到两张不同的中间光照图，记为T3，T4.
步骤4：确定中间图的权重，进行图像融合
此时在步骤3中得到了几张不同的中间图，本说明是采取不同权重的叠加方法得到融合图。其中的一个重点就是图像的权重确定问题，最简单的方法是权重都相等。本说明采取了一种基于PCA理论的权重确定方法，得到了比较好的融合效果。
将步骤3中得到的中间图像T3和T4转换为一维向量，这里就是简单的按照列展开重新组合得到。
此时可以得到这两个列向量组合的矩阵的协方差矩阵C，大小为2×2。对于得到的协方差矩阵，求出它的特征值以及对应的特征向量。此时可以得到两个特征值，选择其中比较大的特征值所对应的特征向量作为定义权重的方向。
具体的公式如下：
其中ω是对应中间图像的权重，ξ则是大的特征值所对应的特征向量。
最后得到的融合图像记为T：
T＝ω1T3+ω2T4
步骤5：求出反射图，从HSV空间转回RGB空间
此时在步骤4中得到了最后的光照图，我们进一步可以根据Retinex理论得到对应的反射图，将反射图作为最后的V通道的值。最后将HSV空间转换为RGB空间。此时得到的图像就是最后的增强图。
Claims (4)
1.一种基于图像融合的低光照图像增强方法，其特征在于该方法首先将图像从RGB空间转换到HSV空间，然后从V通道中估计初始光照图Ⅰ；对于初始光照图Ⅰ进行过滤，得到进一步准确的光照图Ⅱ；对光照图Ⅱ进行伽玛校正，得到多张中间图；确定中间图像的权重，进行中间图像融合得到最后的光照图Ⅲ；求出反射图，从HSV空间转回RGB空间得到最后的增强图。
2.根据权利要求1所述的一种基于图像融合的低光照图像增强方法，其特征在于具体包括以下步骤：
步骤1：图像从RGB空间转换到HSV空间，得到初始光照图Ⅰ；
采取基于Retinex的理论模型，使用简单的光照预测方法直接默认V通道为初始的光照图；
步骤2：过滤初始光照图Ⅰ，得到进一步准确的光照图Ⅱ；
采取现成的guided滤波器对于步骤1中得到的初始光照图Ⅰ进行处理，将得到光照图Ⅱ；
步骤3：对光照图Ⅱ进行伽玛校正，得到多张中间图；
根据光照图Ⅱ产生多张中间图像作为融合源；使用伽玛进行校正，采取不同的伽玛值得到几张不同的中间图；
步骤4：确定中间图像的权重，进行中间图像融合；
采取不同权重的叠加方法得到中间图像融合后的融合图，即最后的光照图Ⅲ；采取基于PCA理论的权重确定方法得到融合图；
步骤5：求出反射图，从HSV空间转回RGB空间
根据Retinex理论得到光照图Ⅲ对应的反射图，将反射图作为最后的V通道的值；最后将HSV空间转换为RGB空间；此时得到的图像就是最后的增强图。
3.根据权利要求2所述的一种基于图像融合的低光照图像增强方法，其特征在于使用伽玛进行校正的校正公式为：
T'＝T1/λ。
4.根据权利要求3所述的一种基于图像融合的低光照图像增强方法，其特征在于将步骤3中得到的N张中间图像T1,T2,…TN均转换为一维向量，得到这N个列向量组合的矩阵的协方差矩阵C，对于得到的协方差矩阵，求出它的特征值以及对应的特征向量；此时根据得到的特征值，选择其中比较大的特征值所对应的特征向量作为定义权重的方向；
具体的公式如下：
其中ω是对应中间图像的权重，ξ则是大的特征值所对应的特征向量；
最后得到的融合图像记为T：
T＝ω1T1+ω2T2+…+ωNTN。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910988092.1A CN110930341A (zh) | 2019-10-17 | 2019-10-17 | 一种基于图像融合的低光照图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910988092.1A CN110930341A (zh) | 2019-10-17 | 2019-10-17 | 一种基于图像融合的低光照图像增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110930341A true CN110930341A (zh) | 2020-03-27 |
Family
ID=69849249
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910988092.1A Pending CN110930341A (zh) | 2019-10-17 | 2019-10-17 | 一种基于图像融合的低光照图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110930341A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111932471A (zh) * | 2020-07-24 | 2020-11-13 | 山西大学 | 用于低照度图像增强的双路曝光度融合网络模型及方法 |
| CN111968188A (zh) * | 2020-07-08 | 2020-11-20 | 华南理工大学 | 一种低光照图像增强处理方法、系统、装置和存储介质 |
| CN112541859A (zh) * | 2019-09-23 | 2021-03-23 | 武汉科技大学 | 一种光照自适应的人脸图像增强方法 |
| CN113129236A (zh) * | 2021-04-25 | 2021-07-16 | 中国石油大学(华东) | 基于Retinex和卷积神经网络的单张低光照图像增强方法及系统 |
| CN113744151A (zh) * | 2021-08-31 | 2021-12-03 | 平安科技（深圳）有限公司 | 待诊图像处理方法、装置、设备及存储介质 |
| CN114372941A (zh) * | 2021-12-16 | 2022-04-19 | 佳源科技股份有限公司 | 一种低光照图像增强方法、装置、设备及介质 |
| CN114897753A (zh) * | 2022-05-13 | 2022-08-12 | 安徽工程大学 | 一种低照度图像增强方法 |
| WO2023272506A1 (zh) * | 2021-06-29 | 2023-01-05 | 深圳市大疆创新科技有限公司 | 图像处理方法及装置、可移动平台及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107507138A (zh) * | 2017-07-27 | 2017-12-22 | 北京大学深圳研究生院 | 一种基于Retinex模型的水下图像增强方法 |
| CN108053374A (zh) * | 2017-12-05 | 2018-05-18 | 天津大学 | 一种结合双边滤波与Retinex的水下图像增强方法 |
| CN109191390A (zh) * | 2018-08-03 | 2019-01-11 | 湘潭大学 | 一种基于不同颜色空间多算法融合的图像增强算法 |
-
2019
- 2019-10-17 CN CN201910988092.1A patent/CN110930341A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107507138A (zh) * | 2017-07-27 | 2017-12-22 | 北京大学深圳研究生院 | 一种基于Retinex模型的水下图像增强方法 |
| CN108053374A (zh) * | 2017-12-05 | 2018-05-18 | 天津大学 | 一种结合双边滤波与Retinex的水下图像增强方法 |
| CN109191390A (zh) * | 2018-08-03 | 2019-01-11 | 湘潭大学 | 一种基于不同颜色空间多算法融合的图像增强算法 |
Non-Patent Citations (1)
| Title |
|---|
| 张雷等: "差异特征指数测度的红外偏振与光强图像多算法融合", 《火力与指挥控制》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112541859A (zh) * | 2019-09-23 | 2021-03-23 | 武汉科技大学 | 一种光照自适应的人脸图像增强方法 |
| CN112541859B (zh) * | 2019-09-23 | 2022-11-25 | 武汉科技大学 | 一种光照自适应的人脸图像增强方法 |
| CN111968188A (zh) * | 2020-07-08 | 2020-11-20 | 华南理工大学 | 一种低光照图像增强处理方法、系统、装置和存储介质 |
| CN111968188B (zh) * | 2020-07-08 | 2023-08-22 | 华南理工大学 | 一种低光照图像增强处理方法、系统、装置和存储介质 |
| CN111932471B (zh) * | 2020-07-24 | 2022-07-19 | 山西大学 | 用于低照度图像增强的双路曝光度融合网络模型及方法 |
| CN111932471A (zh) * | 2020-07-24 | 2020-11-13 | 山西大学 | 用于低照度图像增强的双路曝光度融合网络模型及方法 |
| CN113129236A (zh) * | 2021-04-25 | 2021-07-16 | 中国石油大学(华东) | 基于Retinex和卷积神经网络的单张低光照图像增强方法及系统 |
| WO2023272506A1 (zh) * | 2021-06-29 | 2023-01-05 | 深圳市大疆创新科技有限公司 | 图像处理方法及装置、可移动平台及存储介质 |
| CN113744151A (zh) * | 2021-08-31 | 2021-12-03 | 平安科技（深圳）有限公司 | 待诊图像处理方法、装置、设备及存储介质 |
| CN114372941A (zh) * | 2021-12-16 | 2022-04-19 | 佳源科技股份有限公司 | 一种低光照图像增强方法、装置、设备及介质 |
| CN114372941B (zh) * | 2021-12-16 | 2024-04-26 | 佳源科技股份有限公司 | 一种低光照图像增强方法、装置、设备及介质 |
| CN114897753A (zh) * | 2022-05-13 | 2022-08-12 | 安徽工程大学 | 一种低照度图像增强方法 |
| CN114897753B (zh) * | 2022-05-13 | 2024-08-02 | 安徽工程大学 | 一种低照度图像增强方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110930341A (zh) | 一种基于图像融合的低光照图像增强方法 | |
| US10237527B2 (en) | Convolutional color correction in digital images | |
| US9386288B2 (en) | Compensating for sensor saturation and microlens modulation during light-field image processing | |
| CN108668093B (zh) | Hdr图像的生成方法及装置 | |
| US9635332B2 (en) | Saturated pixel recovery in light-field images | |
| US9723285B2 (en) | Multi-area white-balance control device, multi-area white-balance control method, multi-area white-balance control program, computer in which multi-area white-balance control program is recorded, multi-area white-balance image-processing device, multi-area white-balance image-processing method, multi-area white-balance image-processing program, computer in which multi-area white-balance image-processing program is recorded, and image-capture apparatus | |
| US10949958B2 (en) | Fast fourier color constancy | |
| CN111292246B (zh) | 图像颜色校正方法、存储介质及内窥镜 | |
| CN101527860B (zh) | 白平衡控制设备及其控制方法和摄像设备 | |
| JP6395810B2 (ja) | 動きゴーストフィルタリングのための基準画像選択 | |
| US20210073957A1 (en) | Image processor and method | |
| WO2022000397A1 (zh) | 低照度图像增强方法、装置及计算机设备 | |
| CN109191403A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| Kwok et al. | Gray world based color correction and intensity preservation for image enhancement | |
| US8369654B2 (en) | Developing apparatus, developing method and computer program for developing processing for an undeveloped image | |
| US20100195906A1 (en) | Automatic image enhancement | |
| Vazquez-Corral et al. | Color stabilization along time and across shots of the same scene, for one or several cameras of unknown specifications | |
| WO2019184667A1 (zh) | 一种全景图像的颜色校正方法和电子设备 | |
| JP2008052428A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、撮像装置 | |
| US20160240166A1 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
| CN114862698A (zh) | 一种基于通道引导的真实过曝光图像校正方法与装置 | |
| JP7504629B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラム、および記憶媒体 | |
| US20180176528A1 (en) | Light locus generation for automatic white balance | |
| Brown | Color processing for digital cameras | |
| JP5327766B2 (ja) | デジタル画像における記憶色の修正 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200327 |
|
| RJ01 | Rejection of invention patent application after publication |