CN102982518A - 红外与可见光动态图像的融合方法及装置 - Google Patents

Abstract

本发明提出了一种红外与可见光动态图像的图像融合方法及装置，属于图像处理领域。该图像融合方法包括以下步骤：S1.计算出图像配准参数；S2.分别采集红外图像和可见光图像，并根据该图像配准参数，对该红外图像和可见光图像进行图像配准；S3.对经图像配准后的红外图像、可见光图像进行图像融合。本发明在红外图像和可见光图像的图像融合过程中，首先根据图像配准参数实现图像配准，极大地减小了数值变换的计算量，提高了计算速度，从而提高了图像融合的速度，满足了图像处理的实时性要求。

Description

红外与可见光动态图像的融合方法及装置

技术领域

本发明涉及图像处理领域，具体地涉及一种红外与可见光动态图像的融合方法及装置。

背景技术

由于图像传感器自身物理特性、成像机理和观察视角等各个方面的种种限制，单一的图像传感器往往不能够从场景中提取足够的信息，以致于很难甚至无法独立获得对一幅场景的全面描述。为了满足实际中的需要，充分利用多传感器的图像信息，各种图像融合技术快速发展起来。

可见光图像是反射图像，高频成分多，在一定照度下能反映场景的细节，但照度不佳时的可见光图像的对比度较低；红外图像是辐射图像，灰度由目标与背景的温差决定，不能反映真实的场景。单独使用可见光或红外图像均存在不足之处，当目标本身各部位温度变化较大或者背景热辐射特性较弱时，红外图像包含的目标或背景的细节信息较少，而可见光图像则可含丰富的细节信息；然而，在光线较暗或有少量烟、云、雾环境中，可见光图像质量较差，红外图像中的目标却依然清晰可辨。可见光图像和红外图像的融合就可以适应昼夜光线变换较大的情况，并具备一定的穿透能力，从而有效地综合和发掘各自的特征信息，增强场景理解，突出目标，有利于在隐藏、伪装和迷惑的情况下更快、更精确地探测目标。

图像融合作为一种综合处理多传感器图像数据的有效技术途径日益引起人们的重视，其应用范围已遍及军事、遥感、医学、安全监控等领域。图像融合是综合传感器、图像处理、信号处理、计算机及人工智能的现代高新技术。Pohl和Genderen对图像融合做了如下定义：图像融合就是通过一种特定算法将两幅或多幅图像合成为一幅新图像。它的主要思想是采用一定的算法，把工作在不同波长范围、具有不同成像机理的图像传感器对同一个场景的多个成像信息融合成一个新图像，从而使融合的图像可信度更高，模糊较少，可理解性更好，更适合人的视觉及计算机检测、分类、识别、理解等处理。

目前的图像融合方法中存在计算效率低、实时性较差的问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种红外与可见光动态图像的图像融合方法及装置，根据图像配准参数来实现图像配准，极大地减小了数值变换的计算量，提高了计算速度，从而提高了图像融合的速度，满足了图像处理的实时性要求。

为了实现本发明的上述目的，本发明提供了一种红外与可见光动态图像的图像融合方法，其特征在于包括以下步骤：

S1、计算出图像配准参数；

S2、分别采集红外图像和可见光图像，并根据该图像配准参数，对该红外图像和可见光图像进行图像配准；

S3、采用逐帧融合的方式对经图像配准后的红外图像、可见光图像进行动态图像融合。

本发明在红外图像和可见光图像的图像融合过程中，首先根据图像配准参数实现图像配准，极大地减小了数值变换的计算量，提高了计算速度，从而提高了图像融合的速度，满足了图像处理的实时性要求。

所述步骤S1为：采集一副红外图像、一幅可见光图像，并在红外图像和可见光图像上分别选择四个辅助点且该辅助点在红外图像、可见光图像上一一对应，根据四对辅助点的坐标计算出图像配准参数：缩放比例和平移量。

所述步骤S1中还可建立图像配准参数查找表，从而进一步提高图像配准效率，提高计算速度。

所述步骤S2由以下步骤组成：

S20、继续同步地分别继续采集红外图像、可见光图像；

S21、在图像配准过程中，选择红外图像和可见光图像中一个作为参考图像，另一个作为待配准图像，采用图像配准参数对该红外图像和可见光图像进行图像配准。

在所述步骤S20中还包括对该红外图像、可见光图像进行预处理的步骤，该预处理包括图像格式转换、图像去噪、图像增强和图像变换，其中该图像格式转换过程中将可见光图像转换成YUV格式的图像；该图像去噪过程中对红外图像以及YUV格式的可见光图像的Y通道图像进行空间滤波；该图像增强过程中对经去噪后的红外图像和可见光图像进行直方图增强；该图像变换过程中对经增强后的红外图像和可见光图像进行小波变换。在图像配准过程中首先分别对红外图像、可见光图像进行预处理，提高了图像配准的精度。

所述步骤S3中针对每一帧经图像配准后的红外图像和可见光图像均按照以下步骤进行图像融合：

S30、根据经图像配准后的红外图像、可见光图像，对应获得红外图像的第一数值结果和可见光图像的第二数值结果；

S31、将该第一数值结果和第二数值结果分别进行小波变换，对应地获得红外图像的第三数值结果和可见光图像的第四数值结果；

S32、对该第三数值结果和第四数值结果进行融合决策处理，获得第五数值结果；具体的步骤为：

比较该第三数值结果和第四数值结果的绝对值大小：将绝对值较大的数值结果的加权系数设置为0.8，将绝对值较小的数值结果的加权系数设置为0.2；对该第三数值结果和第四数值结果进行加权求和，获得第五数值结果；

S33、对该第五数值结果进行小波逆变换，获得红外图像和可见光图像的融合图像，由此采用逐帧融合的方式，实现了红外图像和可见光图像的动态图像融合。

本发明还提供了一种红外与可见光动态图像的图像融合装置，其特征在于：包括红外成像传感器、可见光成像传感器、视频处理模块和计算机，其中所述视频处理模块用于控制该红外成像传感器、可见光成像传感器对应地采集红外图像、可见光图像；

所述计算机用于计算出图像配准参数并发送给该视频处理模块；

所述视频处理模块用于对该红外图像、可见光图像进行图像配准，并将经图像配准后的红外图像、可见光图像发送给该计算机；

所述计算机还用于对经图像配准后的红外图像、可见光图像进行图像融合。

该红外与可见光动态图像的图像融合装置还包括转台和转台控制卡，该转台包括转台本体、第一交流伺服电机和第二交流伺服电机，其中所述计算机用于发送转台控制指令给该转台控制卡；

所述转台控制卡根据该转台控制指令控制该第一交流伺服电机、第二交流伺服电机动作，从而控制该转台绕铅垂轴、水平轴旋转。由此，实现了对红外成像传感器、可见光成像传感器的运动控制。

该红外成像传感器和可见光成像传感器并列固定在同一转台上，并保持两者光轴与成像坐标轴的平行。由此红外成像传感器和可见光成像传感器成像的俯仰角和方位角一致，在图像配准过程中仅需要调整缩放比例和平移量，降低了图像配准的难度。

该可见光成像传感器配置有电动镜头，且该电动镜头的控制器与该视频处理模块连接，通过该视频处理模块可对该电动镜头进行缩放、变焦和光圈控制。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、本发明在红外图像和可见光图像的图像融合过程中，首先根据图像配准参数实现图像配准，极大地减小了数值变换的计算量，提高了计算速度，从而提高了图像融合的速度，满足了图像处理的实时性要求；

2、在图像配准参数计算过程中还可建立图像配准参数查找表，从而进一步提高图像配准效率，提高计算速度；

3、在图像配准过程中首先分别对红外图像、可见光图像进行预处理，提高了图像配准的精度；

4、该红外与可见光动态图像的图像融合装置中将红外成像传感器和可见光成像传感器并列固定在同一转台上，并保持两者光轴与成像坐标轴的平行，由此两者成像的俯仰角和方位角一致，在图像配准过程中仅需要调整缩放比例和平移量，降低了图像配准的难度。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明的电路原理图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

该红外与可见光动态图像的图像融合方法包括以下步骤：

S1、计算出图像配准参数；

S2、分别采集红外图像和可见光图像，并根据该图像配准参数，对该红外图像和可见光图像进行图像配准；

S3、采用逐帧融合的方式对经图像配准后的红外图像、可见光图像进行动态图像融合。

步骤S1的具体步骤为：采集一副红外图像、一幅可见光图像，并在红外图像和可见光图像上分别选择四个辅助点且该辅助点在红外图像、可见光图像上一一对应，根据四对辅助点的坐标计算出图像配准参数：缩放比例和平移量。

此外，在步骤S1中，还可以根据经验参数(诸如目标距离、放大倍数、焦距等参数)建立图像配准参数查找表，从而进一步提高图像配准效率，提高计算速度。

步骤S2的具体步骤为：

S20、继续同步地分别继续采集红外图像、可见光图像，对该红外图像、可见光图像进行预处理，该预处理包括图像格式转换、图像去噪、图像增强和图像变换，其中该图像格式转换过程中将可见光图像转换成YUV格式的图像；该图像去噪过程中对红外图像以及YUV格式的可见光图像的Y通道图像进行空间滤波；该图像增强过程中对经去噪后的红外图像和可见光图像进行直方图增强；该图像变换过程中对经增强后的红外图像和可见光图像进行小波变换。

S21、选择红外图像和可见光图像中一个作为参考图像，另一个作为待配准图像，采用该图像配准参数对经预处理后的红外图像和可见光图像进行图像配准。

本发明在红外图像和可见光图像的图像融合过程中，首先根据图像配准参数实现图像配准，极大地减小了数值变换的计算量，提高了计算速度，从而提高了图像融合的速度，满足了图像处理的实时性要求。

步骤S3中针对每一帧经图像配准后的红外图像和可见光图像均按照以下步骤进行图像融合：

S30、根据经图像配准后的红外图像、可见光图像，对应获得红外图像的第一数值结果和可见光图像的第二数值结果；

S31、将该第一数值结果和第二数值结果分别进行小波变换，对应地获得红外图像的第三数值结果和可见光图像的第四数值结果；

S32、对该第三数值结果和第四数值结果进行融合决策处理，获得第五数值结果；具体的步骤为：比较该第三数值结果和第四数值结果的绝对值大小：将绝对值较大的数值结果的加权系数设置为0.8，将绝对值较小的数值结果的加权系数设置为0.2；对该第三数值结果和第四数值结果进行加权求和，获得第五数值结果。

S33、对该第五数值结果进行小波逆变换，获得红外图像和可见光图像的融合图像，由此采用逐帧融合的方式，实现了红外图像和可见光图像的动态图像融合。

如图1所示，该红外与可见光动态图像的图像融合装置包括红外成像传感器、可见光成像传感器、转台、转台控制卡、视频处理模块和计算机，其中该转台包括转台本体、第一交流伺服电机和第二交流伺服电机。该视频处理模块用于控制该红外成像传感器、可见光成像传感器对应地采集红外图像、可见光图像；计算机用于计算出图像配准参数并发送给该视频处理模块；视频处理模块用于对该红外图像、可见光图像进行图像配准，并将经图像配准后的红外图像、可见光图像发送给该计算机；计算机还用于对经图像配准后的红外图像、可见光图像进行图像融合。

在控制该转台的过程中，计算机用于发送转台控制指令给该转台控制卡；转台控制卡根据该转台控制指令控制该第一交流伺服电机、第二交流伺服电机动作，从而控制该转台绕铅垂轴、水平轴旋转。由此，实现了对红外成像传感器、可见光成像传感器的运动控制。

此外，该红外成像传感器和可见光成像传感器并列固定在同一转台上，并保持两者光轴与成像坐标轴的平行，由此两者成像的俯仰角和方位角一致，在图像配准过程中仅需要调整缩放比例和平移量，降低了图像配准的难度。

在本发明的第一实施例中，该红外成像传感器采用法国CEDIP(InfraredSystems)公司生产的高性能远红外成像仪，成像仪后端具有一个模拟复合视频输出端口、一个八位数字视频输出端口和一个串行控制端口。

可见光成像传感器采用美国UNIQ公司的UM-301摄像头，它是一种具有近红外CCD成像特性的高性能可见光成像传感器，摄像头后端具有一个视频输出接口、一个增益调节旋钮和一个12针的连接器(包含电源接口)。可见光传感器配备一个电动镜头，电动镜头的控制器通过RS232串行接口与视频处理模块连接，通过该视频处理模块可对该电动镜头进行缩放、变焦和光圈控制。

转台采用固高公司生产的PT(Pan and Tilt)二维数控转台。视频处理模块拟采用TI公司2002年生产的专用多媒体芯片TMS320DM642为核心芯片，视频处理模块通过以太网接口与计算机相连接。

具体地，该红外与可见光动态图像的图像融合装置的工作原理为：

A1、计算机发送一个图像配准指令给视频处理模块，视频处理模块根据该图像配准指令控制该红外成像传感器采集一副红外图像，可见光成像传感器采集一幅可见光图像，并将该红外图像和可见光图像发送给计算机；此外，计算机在该红外图像和可见光图像上分别选择四个辅助点且该辅助点在红外图像、可见光图像上一一对应，计算机根据四对辅助点的坐标计算出图像配准参数：缩放比例和平移量，并将该图像配准参数发送给视频处理模块。

A2、该视频处理模块在接收到该图像配置参数后，控制该红外成像传感器、可见光成像传感器继续同步地对应采集红外图像、可见光图像，并对该红外图像、可见光图像进行预处理；该视频处理模块选择红外图像和可见光图像中一个作为参考图像，另一个作为待配准图像，采用图像配准参数对经预处理后的红外图像、可见光图像进行图像配准。

A3、该视频处理模块将经图像配准后的红外图像、可见光图像发送给计算机，该计算机对应地获得红外图像的第一数值结果和可见光图像的第二数值结果；计算机将该第一数值结果和第二数值结果分别进行小波变换，对应地获得红外图像的第三数值结果和可见光图像的第四数值结果；对该第三数值结果和第四数值结果进行融合决策处理，获得第五数值结果；对该第五数值结果进行小波逆变换，获得融合后图像。按此步骤采用逐帧融合的方式实现动态图像融合。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种红外与可见光动态图像的图像融合方法，其特征在于包括以下步骤：

S1、计算出图像配准参数；

S2、分别采集红外图像和可见光图像，并根据该图像配准参数，对该红外图像和可见光图像进行图像配准；

S3、采用逐帧融合的方式对经图像配准后的红外图像、可见光图像进行动态图像融合。

2.根据权利要求1所述的红外与可见光动态图像的图像融合方法，其特征在于所述步骤S1为：采集一副红外图像、一幅可见光图像，并在红外图像和可见光图像上分别选择四个辅助点且该辅助点在红外图像、可见光图像上一一对应，根据四对辅助点的坐标计算出图像配准参数：缩放比例和平移量。

3.根据权利要求2所述的红外与可见光动态图像的图像融合方法，其特征在于所述步骤S1中还可建立图像配准参数查找表。

4.根据权利要求1所述的红外与可见光动态图像的图像融合方法，其特征在于所述步骤S2由以下步骤组成：

S20、继续同步地分别继续采集红外图像、可见光图像；

S21、在图像配准过程中，选择红外图像和可见光图像中一个作为参考图像，另一个作为待配准图像，采用图像配准参数对该红外图像和可见光图像进行图像配准。

5.根据权利要求4所述的红外与可见光动态图像的图像融合方法，其特征在于：在所述步骤S20中还包括对该红外图像、可见光图像进行预处理的步骤，该预处理包括图像格式转换、图像去噪、图像增强和图像变换，其中该图像格式转换过程中将可见光图像转换成YUV格式的图像；该图像去噪过程中对红外图像以及YUV格式的可见光图像的Y通道图像进行空间滤波；该图像增强过程中对经去噪后的红外图像和可见光图像进行直方图增强；该图像变换过程中对经增强后的红外图像和可见光图像进行小波变换。

6.根据权利要求1所述的红外与可见光动态图像的图像融合方法，其特征在于所述步骤S3中针对每一帧经图像配准后的红外图像和可见光图像均按照以下步骤进行图像融合：

S30、根据经图像配准后的红外图像、可见光图像，对应获得红外图像的第一数值结果和可见光图像的第二数值结果；

S31、将该第一数值结果和第二数值结果分别进行小波变换，对应地获得红外图像的第三数值结果和可见光图像的第四数值结果；

S32、对该第三数值结果和第四数值结果进行融合决策处理，获得第五数值结果；具体的步骤为：

比较该第三数值结果和第四数值结果的绝对值大小：将绝对值较大的数值结果的加权系数设置为0.8，将绝对值较小的数值结果的加权系数设置为0.2；对该第三数值结果和第四数值结果进行加权求和，获得第五数值结果；

S33、对该第五数值结果进行小波逆变换，获得红外图像和可见光图像的融合图像，由此采用逐帧融合的方式，实现了红外图像和可见光图像的动态图像融合。

7.一种红外与可见光动态图像的图像融合装置，其特征在于：包括红外成像传感器、可见光成像传感器、视频处理模块和计算机，其中所述视频处理模块用于控制该红外成像传感器、可见光成像传感器对应地采集红外图像、可见光图像；

所述计算机用于计算出图像配准参数并发送给该视频处理模块；

所述视频处理模块用于对该红外图像、可见光图像进行图像配准，并将经图像配准后的红外图像、可见光图像发送给该计算机；

所述计算机还用于对经图像配准后的红外图像、可见光图像进行图像融合。

8.根据权利要求7所述的红外与可见光动态图像的图像融合装置，其特征在于：还包括转台和转台控制卡，该转台包括转台本体、第一交流伺服电机和第二交流伺服电机，其中所述计算机用于发送转台控制指令给该转台控制卡；

所述转台控制卡根据该转台控制指令控制该第一交流伺服电机、第二交流伺服电机动作，从而控制该转台绕铅垂轴、水平轴旋转。

9.根据权利要求7或8所述的红外与可见光动态图像的图像融合装置，其特征在于：该红外成像传感器和可见光成像传感器并列固定在同一转台上，并保持两者光轴与成像坐标轴的平行。

10.根据权利要求7所述的红外与可见光动态图像的图像融合装置，其特征在于：该可见光成像传感器配置有电动镜头，且该电动镜头的控制器与该视频处理模块连接，通过该视频处理模块可对该电动镜头进行缩放、变焦和光圈控制。