CN110544225A - 一种基于弱计算能力的轻量化图像融合算法与装置 - Google Patents
一种基于弱计算能力的轻量化图像融合算法与装置 Download PDFInfo
- Publication number
- CN110544225A CN110544225A CN201910728496.7A CN201910728496A CN110544225A CN 110544225 A CN110544225 A CN 110544225A CN 201910728496 A CN201910728496 A CN 201910728496A CN 110544225 A CN110544225 A CN 110544225A
- Authority
- CN
- China
- Prior art keywords
- image
- algorithm
- fusion algorithm
- visible light
- computing power
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 44
- 238000012937 correction Methods 0.000 claims abstract description 27
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 11
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 4
- 238000012805 post-processing Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000011161 development Methods 0.000 abstract description 6
- 238000000034 method Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000007500 overflow downdraw method Methods 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明是设计一种基于弱计算能力的轻量化图像融合算法与装置，利用传感器获取同一时刻同一场景下的红外图像和可见光图像并进行预处理，使用基于全变分最小化的图像融合算法，融合算法被部署在S835开发板，将处理过后的图像作为H通道，与可见光图像的UV通道进行组合，得到最终的结果。针对开发板对融合算法进行优化：优化全变分最小化的求解公式、对自适应gamma校正进行优化、发挥开发板多核优势并行化处理、拆解内部循环尽量使循环层数不超过两层等。
Description
技术领域
本发明涉及图像处理领域，具体而言是一种基于弱计算能力的轻量化图像融合算法与装置。
背景技术
图像融合是指将两幅或多幅不同类型的图像利用特定的算法合成一幅新的图像，以达到对场景更完整、清晰的描述。图像融合在医学、遥感探测、气象预报、灾情检测分析、军事目标检测等领域有重要的应用价值，尤其是在计算机视觉方面。
简单组合式图像融合方法需要手动设定加权系数，而且不同场景需要不同的加权系数，因此适用性较差。逻辑滤波器图像融合方法需要设定逻辑运算规则，对不同场景也需要进行不同的处理，因此适用性较差。金字塔图像融合方法需要构建图像金字塔，因此会扩大数据量，而且图像金字塔不同层之间存在冗余，这些会导致计算负担增加；金字塔融合方法需要对融合金字塔进行逆重构，此过程存在不稳定性。小波变换融合方法需要选择一个合适的小波基，并且需要设定小波分解层数，过少的分解层数融合后的效果会导致一些细节消失，而过多的分解层数则会消耗大量时间。这些方法在适应性或者计算量方面都存在一些问题，因此提出了一种基于弱计算能力的轻量化图像融合算法。
发明内容
针对上述问题，本发明提供一种基于弱计算能力的轻量化图像融合算法与装置，实现优化算法、计算加速、轻量化。本发明采用的技术方案如下：
一种基于弱计算能力的轻量化图像融合算法与装置，包括以下步骤：
S11、获取红外图像预进行预处理，去噪，对齐到融合图像坐标；
S12、获取可见光图像进行预处理，对齐到融合图像坐标系，提取HUV格式的H通道；
S13、使用基于全变分最小化的图像融合算法，即利用全变分最小化算法对红外图像与可见光图像的H通过进行融合；
S14、对融合图像归一化到0至255之间，并进行自适应的gamma校正；
S15、将融合图像与红外图像的UV通道组合，得到最终结果。
所述红外图像和可见光图像均是利用传感器获取同一时刻同一场景下的。
所述预处理的方式如下：
a)红外图像预处理：首先需要对传感器获取到的红外图像进行去噪，得到一个边缘清晰光滑的红外图像。然后利用装置的参数，将红外图像对齐到融合图像坐标系。
b)可见光图像预处理：首先利用装置的参数，将传感器获取到的可见光图像对齐到融合图像坐标系。提取HUV格式图像中的H通道并将其送入算法。
对于一幅m×n的图像，用u∈Rmn×1表示像素强度的列向量。该全变分模型中的u的定义如下：
全变分最小化模型的公式如下：
其中第一项是||u-f||2是数据保真项，它代表所观察到的图像f和原始未知图像u之间的保真度，第二项的全变差J(u)起到了正则化作用，λ为正则化参数，控制数据保真度和正则项之间的权衡。
所述的融合图像应该具有与红外图像类似的像素强度，即经验误差应该尽可能小：
场景中细节的描述来源于梯度，因此将可见光图像H通道中的梯度作为融合算法的约束条件来保留可见光图像中的信息。由于可见光图像的梯度往往是稀疏的，用L1范数，鼓励梯度稀疏：
组合公式(3)和(4)，我们将融合算法表述为下面的目标函数表示：
公式中前一项表示融合后的图像应当具有与红外图像相似的像素强度，后一项表示融合后的图像应当具有与可见光图像相似的梯度，λ用来平衡两者之间的关系。通俗来说，公式(5)表示的是将可见光图像中的梯度转移到红外图像中的相应位置。因此，融合图像还是应该看起来像一个红外图像，但含有更多的外观细节，即具有更复杂和详细的场景描述的红外图像。
将公式(5)转化为全变分最小化公式算法的形式，令y＝x-v，则公式(5)为：
通过公式(6)计算得到的结果y*为融合后图像减去可见光图像H通道的值。因此，融合后图像的值为：
x*＝y*+v (7)
对公式(7)中求得的x*进行后处理如下：
S91、对x*进行归一化处理，将其归一化到0至255之间的整数，以便于进行后续处理；
S92、对归一化后的x*进行gamma校正处理。为了能让融合后图像的效果更适合观测，因此此处采取自适应的gamma校正。与传统的gamma校正算法不同，自适应的gamma校正算法中，gamma值是一个变化的值。具体算法如下：选定一个阈值，当像素值小于阈值，利用gamma校正适当提升该像素点的像素值；当像素值大于阈值，利用gamma校正适当降低该像素点的像素值。
将处理过后的图像作为H通道，与可见光图像的UV通道进行组合，得到最终的结果。
该产品解决了传统图像融合的弊端，对自适应gamma校正进行优化，预先设定参数，离线计算对应参数值并存入数组，使得对像素的gamma校正可以通过查表的方式进行，节省了运算资源的同时可以实现优化算法、计算加速、轻量化，并减少变量个数，通过整合代码使算法脱离对开源库的依赖。
附图说明
图1为一种基于弱计算能力的轻量化图像融合算法与装置的算法流程图。
图2为自适应的gamma校正像素值变化示意图。
图3为融合算法结果及算法时间示意图。
具体实施方式：
构建一种基于弱计算能力的轻量化图像融合算法与装置，全方位提醒、自动及时预警，包括以下步骤：
S11、获取红外图像预进行预处理，去噪，对齐到融合图像坐标；
S12、获取可见光图像进行预处理，对齐到融合图像坐标系，提取HUV格式的H通道；
S13、使用基于全变分最小化的图像融合算法，即利用全变分最小化算法对红外图像与可见光图像的H通过进行融合；
S14、对融合图像归一化到0至255之间，并进行自适应的gamma校正；
S15、将融合图像与红外图像的UV通道组合，得到最终结果。
所述红外图像和可见光图像均是利用传感器获取同一时刻同一场景下的。
所述预处理的方式如下：
a)红外图像预处理：首先需要对传感器获取到的红外图像进行去噪，得到一个边缘清晰光滑的红外图像。然后利用装置的参数，将红外图像对齐到融合图像坐标系。
b)可见光图像预处理：首先利用装置的参数，将传感器获取到的可见光图像对齐到融合图像坐标系。提取HUV格式图像中的H通道并将其送入算法。
对于一幅m×n的图像，用u∈Rmn×1表示像素强度的列向量。该全变分模型中的u的定义如下：
全变分最小化模型的公式如下：
其中第一项是||u-f||2是数据保真项，它代表所观察到的图像f和原始未知图像u之间的保真度，第二项的全变差J(u)起到了正则化作用，λ为正则化参数，控制数据保真度和正则项之间的权衡。
确定融合后的图像的像素强度经验误差。所述的融合图像应该具有与红外图像类似的像素强度，即经验误差应该尽可能小：
场景中细节的描述来源于梯度，为了保留可见光图像中的信息，常规思考下，融合后的图像应当也具有与可见光图像H通道类似的像素强度。然而，由于红外图像与可见光图像对同一物理位置的描述可能不同，因此对相同区域的像素强度表现可能相差很大且无规律性。因此考虑同时优化与不恰当。考虑对于场景中细节的描述来源于梯度，因此将可见光图像H通道中的梯度作为算法的约束条件。由于可见光图像的梯度往往是稀疏的，因此考虑用L1范数，鼓励梯度稀疏：
组合公式(3)和(4)，我们将融合算法表述为下面的目标函数表示：
公式中前一项表示融合后的图像应当具有与红外图像相似的像素强度，后一项表示融合后的图像应当具有与可见光图像相似的梯度，λ用来平衡两者之间的关系。通俗来说，公式(5)表示的是将可见光图像中的梯度转移到红外图像中的相应位置。因此，融合图像还是应该看起来像一个红外图像，但含有更多的外观细节，即具有更复杂和详细的场景描述的红外图像。
将公式(5)转化为全变分最小化公式算法的形式，令y＝x-v，则公式(5)为：
通过公式(6)计算得到的结果y*为融合后图像减去可见光图像H通道的值。因此，融合后图像的值为：
x*＝y*+v (7)
对公式(7)中求得的x*进行后处理如下：
S91、对x*进行归一化处理，将其归一化到0至255之间的整数，以便于进行后续处理；
S92、对归一化后的x*进行gamma校正处理。为了能让融合后图像的效果更适合观测，因此此处采取自适应的gamma校正。与传统的gamma校正算法不同，自适应的gamma校正算法中，gamma值是一个变化的值。具体算法如下：选定一个阈值，当像素值小于阈值，利用gamma校正适当提升该像素点的像素值；当像素值大于阈值，利用gamma校正适当降低该像素点的像素值。这样的处理方式可以使低像素值适当提高，而使高像素值适当降低。
将处理过后的图像作为H通道，与可见光图像的UV通道进行组合，得到最终的结果。
融合算法被部署在S835开发板，为了实现算法的弱计算能力和轻量化，针对开发板对融合算法进行了优化。
S101、优化全变分最小化的求解公式。全变分最小化求解一般需要对图像求二次导数，因此对每次迭代过程需要串行处理并迭代多次求得结果。本专利中，对全变分最小化公式的求解方法进行优化，使每次迭代过程可以并行计算得到结果，加快了整个算法计算速度。
S102、对自适应gamma校正进行优化。对该部分预先设定参数，离线计算对应参数值并存入数组，使得对像素的gamma校正可以通过查表的方式进行，节省了运算资源的同时，加快了算法运行速度。
S103、发挥开发板多核优势，将整个算法进行并行化处理，进一步加快融合算法速度。
S104、在算法层面进一步优化，拆解内部循环尽量使循环层数不超过两层；使用与、或运算代替if判断语句；用逻辑运算加、减、乘和移位运算代替除法运算；将用整数运算取代浮点运算。通过优化使得算法对于计算能力的要求降低，弱计算能力的条件下算法也能保证融合效果，并能达到实时。
S105、分析代码，常量化部分参数，减少变量个数；整合代码，使算法脱离对开源库的依赖；分析算法流程，合并循环减少代码量和资源消耗。通过优化使算法更简洁、运行速度更快，实现算法的轻量化。
Claims (10)
1.一种基于弱计算能力的轻量化图像融合算法与装置，其特征在于以下步骤：
S11、获取红外图像预进行预处理，去噪，对齐到融合图像坐标；
S12、获取可见光图像进行预处理，对齐到融合图像坐标系，提取HUV格式的H通道；
S13、使用基于全变分最小化的图像融合算法，即利用全变分最小化算法对红外图像与可见光图像的H通过进行融合；
S14、对融合图像归一化到0至255之间，并进行自适应的gamma校正；
S15、将融合图像与红外图像的UV通道组合，得到最终结果。
2.根据权利要求1所述的一种基于弱计算能力的轻量化图像融合算法与装置，其特征在于：所述红外图像和可见光图像均是利用传感器获取同一时刻同一场景下的。
3.根据权利要求1所述的一种基于弱计算能力的轻量化图像融合算法与装置，其特征在于：所述预处理的方式如下：
a)红外图像预处理：首先需要对传感器获取到的红外图像进行去噪，得到一个边缘清晰光滑的红外图像。然后利用装置的参数，将红外图像对齐到融合图像坐标系。
b)可见光图像预处理：首先利用装置的参数，将传感器获取到的可见光图像对齐到融合图像坐标系。提取HUV格式图像中的H通道并将其送入算法。
4.根据权利要求1所述的一种基于弱计算能力的轻量化图像融合算法与装置，其特征在于：所述基于全变分最小化的图像融合算法如下：对于一幅m×n的图像，用u∈Rmn×1表示像素强度的列向量。该全变分模型中的u的定义如下：
全变分最小化模型的公式如下：
其中第一项是||u-f||2是数据保真项，它代表所观察到的图像f和原始未知图像u之间的保真度，第二项的全变差J(u)起到了正则化作用，λ为正则化参数，控制数据保真度和正则项之间的权衡。
5.根据权利要求1所述的一种基于弱计算能力的轻量化图像融合算法与装置，其特征在于：所述的融合图像应该具有与红外图像类似的像素强度，即经验误差应该尽可能小：
6.根据权利要求1所述的一种基于弱计算能力的轻量化图像融合算法与装置，其特征在于：场景中细节的描述来源于梯度，因此将可见光图像H通道中的梯度作为融合算法的约束条件来保留可见光图像中的信息。由于可见光图像的梯度往往是稀疏的，用L1范数，鼓励梯度稀疏：
7.根据权利要求1所述的一种基于弱计算能力的轻量化图像融合算法与装置，其特征在于：组合公式(3)和(4)，我们将融合算法表述为下面的目标函数表示：
公式中前一项表示融合后的图像应当具有与红外图像相似的像素强度，后一项表示融合后的图像应当具有与可见光图像相似的梯度，λ用来平衡两者之间的关系。通俗来说，公式(5)表示的是将可见光图像中的梯度转移到红外图像中的相应位置。因此，融合图像还是应该看起来像一个红外图像，但含有更多的外观细节，即具有更复杂和详细的场景描述的红外图像。
8.根据权利要求1所述的一种基于弱计算能力的轻量化图像融合算法与装置，其特征在于：将公式(5)转化为全变分最小化公式算法的形式，令y＝x-v，则公式(5)为：
通过公式(6)计算得到的结果y*为融合后图像减去可见光图像H通道的值。因此，融合后图像的值为：
x*＝y*+v (7)
9.根据权利要求1所述的一种基于弱计算能力的轻量化图像融合算法与装置，其特征在于：对公式(7)中求得的x*进行后处理如下：
S91、对x*进行归一化处理，将其归一化到0至255之间的整数，以便于进行后续处理；
S92、对归一化后的x*进行gamma校正处理。为了能让融合后图像的效果更适合观测，因此此处采取自适应的gamma校正。与传统的gamma校正算法不同，自适应的gamma校正算法中，gamma值是一个变化的值。具体算法如下：选定一个阈值，当像素值小于阈值，利用gamma校正适当提升该像素点的像素值；当像素值大于阈值，利用gamma校正适当降低该像素点的像素值。
10.根据权利要求9所述的一种基于弱计算能力的轻量化图像融合算法与装置，其特征在于：将处理过后的图像作为H通道，与可见光图像的UV通道进行组合，得到最终的结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910728496.7A CN110544225A (zh) | 2019-08-08 | 2019-08-08 | 一种基于弱计算能力的轻量化图像融合算法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910728496.7A CN110544225A (zh) | 2019-08-08 | 2019-08-08 | 一种基于弱计算能力的轻量化图像融合算法与装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110544225A true CN110544225A (zh) | 2019-12-06 |
Family
ID=68710122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910728496.7A Pending CN110544225A (zh) | 2019-08-08 | 2019-08-08 | 一种基于弱计算能力的轻量化图像融合算法与装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110544225A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103761724A (zh) * | 2014-01-28 | 2014-04-30 | 中国石油大学(华东) | 基于超现实亮度对比度传递算法的可见光与红外视频融合方法 |
| CN107292860A (zh) * | 2017-07-26 | 2017-10-24 | 武汉鸿瑞达信息技术有限公司 | 一种图像处理的方法及装置 |
| CN107392886A (zh) * | 2017-06-14 | 2017-11-24 | 国网山东省电力公司菏泽供电公司 | 一种电力设备图像处理方法 |
| CN107945145A (zh) * | 2017-11-17 | 2018-04-20 | 西安电子科技大学 | 基于梯度置信变分模型的红外图像融合增强方法 |
| WO2018145575A1 (zh) * | 2017-02-10 | 2018-08-16 | 杭州海康威视数字技术股份有限公司 | 图像融合设备和图像融合方法 |
| CN109816608A (zh) * | 2019-01-22 | 2019-05-28 | 北京理工大学 | 一种基于噪声抑制的低照度图像自适应亮度增强方法 |
| CN110060226A (zh) * | 2019-04-11 | 2019-07-26 | 江南大学 | 基于人类视觉梯度转化和全变差参数自适应图像融合方法 |
| CN110084774A (zh) * | 2019-04-11 | 2019-08-02 | 江南大学 | 一种增强的梯度传递和总变差最小化融合图像的方法 |
-
2019
- 2019-08-08 CN CN201910728496.7A patent/CN110544225A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103761724A (zh) * | 2014-01-28 | 2014-04-30 | 中国石油大学(华东) | 基于超现实亮度对比度传递算法的可见光与红外视频融合方法 |
| WO2018145575A1 (zh) * | 2017-02-10 | 2018-08-16 | 杭州海康威视数字技术股份有限公司 | 图像融合设备和图像融合方法 |
| CN107392886A (zh) * | 2017-06-14 | 2017-11-24 | 国网山东省电力公司菏泽供电公司 | 一种电力设备图像处理方法 |
| CN107292860A (zh) * | 2017-07-26 | 2017-10-24 | 武汉鸿瑞达信息技术有限公司 | 一种图像处理的方法及装置 |
| CN107945145A (zh) * | 2017-11-17 | 2018-04-20 | 西安电子科技大学 | 基于梯度置信变分模型的红外图像融合增强方法 |
| CN109816608A (zh) * | 2019-01-22 | 2019-05-28 | 北京理工大学 | 一种基于噪声抑制的低照度图像自适应亮度增强方法 |
| CN110060226A (zh) * | 2019-04-11 | 2019-07-26 | 江南大学 | 基于人类视觉梯度转化和全变差参数自适应图像融合方法 |
| CN110084774A (zh) * | 2019-04-11 | 2019-08-02 | 江南大学 | 一种增强的梯度传递和总变差最小化融合图像的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 周杏芳: "基于多源图像融合的铁路异物侵限检测方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, no. 6, 15 June 2018 (2018-06-15), pages 1 - 98 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Coconet: Coupled contrastive learning network with multi-level feature ensemble for multi-modality image fusion | |
| Zhang et al. | Deep hierarchical guidance and regularization learning for end-to-end depth estimation | |
| CN109872285A (zh) | 一种基于变分约束的Retinex低照度彩色图像增强方法 | |
| CN113808036B (zh) | 基于Retinex模型的低照度图像增强与去噪方法 | |
| Liu et al. | Infrared and visible image fusion and denoising via ℓ2− ℓp norm minimization | |
| Wang et al. | Low-light image enhancement based on deep learning: a survey | |
| CN116664462A (zh) | 一种基于ms-dsc和i_cbam的红外和可见光图像融合方法 | |
| Zhou et al. | Physical-priors-guided DehazeFormer | |
| Yao et al. | GACA: a gradient-aware and contrastive-adaptive learning framework for low-light image enhancement | |
| Singh et al. | Frn: fusion and recalibration network for low-light image enhancement | |
| CN116958526A (zh) | 目标检测模型训练方法、装置、设备以及目标检测方法 | |
| Zhang et al. | Deep joint neural model for single image haze removal and color correction | |
| Pei et al. | State recognition and temperature rise time prediction of tobacco curing using multi-sensor data-fusion method based on feature impact factor | |
| Xu et al. | CRetinex: A progressive color-shift aware Retinex model for low-light image enhancement | |
| Shi et al. | WDTSNet: Wavelet decomposition two-stage network for infrared thermal radiation effect correction | |
| Ye et al. | CR-YOLOv9: improved YOLOv9 multi-stage strawberry fruit maturity detection application integrated with CRNET | |
| Qi et al. | A deep learning and image enhancement based pipeline for infrared and visible image fusion | |
| Wang et al. | Enlighten fusion multiscale network for infrared and visible image fusion in dark environments | |
| Ji et al. | Infrared and visible image fusion of generative adversarial network based on multi-channel encoding and decoding | |
| Li et al. | Grain depot image dehazing via quadtree decomposition and convolutional neural networks | |
| CN110544225A (zh) | 一种基于弱计算能力的轻量化图像融合算法与装置 | |
| Shen et al. | Infrared and visible image fusion via global variable consensus | |
| Singh et al. | Multiscale reflection component based weakly illuminated nighttime image enhancement | |
| Zhang et al. | LL-WSOD: Weakly supervised object detection in low-light | |
| Zhu et al. | Infrared and visible image fusion using threshold segmentation and weight optimization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |