CN111988587B - 图像融合设备和图像融合方法 - Google Patents

Abstract

本发明实施例提供了图像融合设备及图像融合方法。该图像融合设备包括：光采集装置、图像处理器，以及具有四类感光通道的图像传感器，所述四类感光通道包括：红绿蓝RGB通道和全波段W通道；光采集装置对入射光中第一预定波长区间的光谱进行阻挡，得到目标光；第一预定波长区间为：该图像传感器中RGB通道与W通道在红外波段上响应差别高于第一预定阈值的光谱的波长区间；图像传感器通过RGB通道和W通道，将目标光转换为图像信号；图像处理器将图像信号解析为色彩信号和对红外波段感光的亮度信号，并将色彩信号和亮度信号进行融合处理，得到融合后图像。通过本方案，可以简化图像处理器从色彩信号中去除红外成分的运算，提高融合效率。

Description

图像融合设备和图像融合方法

技术领域

本发明涉及图像处理技术领域，特别是涉及图像融合设备和图像融合方法。

背景技术

在低照度场景下，为了保证所采集的图像涵盖较多的图像信息，通常需要分光融合的图像采集设备来采集图像。具体的，分光融合的图像采集设备采集图像的基本原理为：采集可见光信号所对应的可见光图像以及采集红外光信号所对应的红外图像，并将可见光图像和红外图像进行融合，得到融合后的图像，其中，融合后的图像为双波段图像，相对于属于单波段的可见光图像和红外图像中的任一种图像而言，体现出的图像信息更多。

现有技术中的分光融合的图像采集设备具体包括：半反半透镜、可见光传感器、红外光传感器、配准单元和融合单元，具体的，该半反半透镜用于将入射光分解为可见光和红外光，该可见光传感器用于对可见光感光形成可见光图像，该红外光传感器用于对红外光感光形成红外图像，该配准单元用于消除红外图像和可见光图像之间的位置偏差，该融合单元用于对配准单元所形成的位置校正后的红外图像与可见光图像进行加权融合，其中，融合得到形成的融合后的图像为图像采集设备的输出图像。

尽管现有技术中的分光融合的图像采集设备能够得到融合后图像，但是，由于可见光图像中会掺杂红外成分，使得图像处理器在接收到可见光图像时，从可见光图像(即色彩信号)中去除红外成分的运算量较大，导致融合效率较低。

发明内容

本发明实施例的目的在于提供图像融合设备和图像融合方法，以降低图像处理器从色彩信号中去除红外成分的运算量，提高融合效率。具体技术方案如下：

第一方面，本发明实施例提供了一种图像融合设备，包括：

光采集装置、图像处理器，以及具有四类感光通道的图像传感器，所述四类感光通道包括：红绿蓝RGB通道和红外IR通道；

所述光采集装置，用于对入射光中第一预定波长区间的光谱进行阻挡，得到目标光；其中，所述第一预定波长区间为：所述图像传感器中RGB通道与IR通道在红外波段上响应差别高于第一预定阈值的光谱的波长区间；

所述图像传感器，用于通过所述RGB通道和所述IR通道，将所述目标光转换为图像信号；

所述图像处理器，用于将所述图像信号解析为色彩信号和对红外波段感光的亮度信号，并将所述色彩信号和所述亮度信号进行融合处理，得到融合后图像，其中，所述色彩信号为基于R通道、G通道或B通道解析得到的信号。

第二方面，本发明实施例还提供了一种图像融合设备，包括：

光采集装置、图像处理器，以及具有四类感光通道的图像传感器，所述四类感光通道包括：红绿蓝RGB通道和全波段W通道；

所述光采集装置，用于对入射光中第一预定波长区间的光谱进行阻挡，得到目标光，所述第一预定波长区间为：所述图像传感器中RGB通道与W通道在红外波段上响应差别高于第一预定阈值的光谱的波长区间；

所述图像传感器，用于通过所述RGB通道和所述W通道，将所述目标光转换为图像信号；

所述图像处理器，用于将所述图像信号解析为色彩信号和亮度信号，并将所述色彩信号和所述亮度信号进行融合处理，得到融合后图像，其中，所述色彩信号为基于R通道、G通道或B通道解析得到的信号。

第三方面，本发明实施例还提供了一种图像融合方法，应用于图像融合设备，所述图像融合设备具有四类感光通道，所述四类感光通道包括：红绿蓝RGB通道和红外IR通道；所述方法包括：

对入射光中第一预定波长区间的光谱进行阻挡，得到目标光；其中，所述第一预定波长区间为：所述图像融合设备的图像传感器中RGB通道与IR通道在红外波段上响应差别高于第一预定阈值的光谱的波长区间；

通过所述RGB通道和所述IR通道，将所述目标光转换为图像信号；

将所述图像信号解析为色彩信号和对红外波段感光的亮度信号，并将所述色彩信号和所述亮度信号进行融合处理，得到融合后图像，其中，所述色彩信号为基于R通道、G通道或B通道解析得到的信号。

第四方面，本发明实施例还提供了一种图像融合方法，应用于图像融合设备，所述图像融合设备具有四类感光通道，所述四类感光通道包括：红绿蓝RGB通道和全波段W通道；所述方法包括：

对入射光中第一预定波长区间的光谱进行阻挡，得到目标光，所述第一预定波长区间为：所述图像融合设备的图像传感器中RGB通道与W通道在红外波段上响应差别高于第一预定阈值的光谱的波长区间；

通过所述RGB通道和所述W通道，将所述目标光转换为图像信号；

将所述图像信号解析为色彩信号和亮度信号，并将所述色彩信号和所述亮度信号进行融合处理，得到融合后图像，其中，所述色彩信号为基于R通道、G通道或B通道解析得到的信号。

可见，本发明实施例中，光采集装置对入射光中第一预定波长区间的光谱进行阻挡，使得近红外波段中各通道量子效率反差较大的部分被滤除，从而简化图像处理器从色彩信号中去除红外成分的运算，提高了融合效率。并且，本发明实施例所提供的图像融合设备通过具有四类感光通道的图像传感器进行图像采集，相比现有技术中光学系统上需要特殊设计才能同时获取红外光与可见光，结构复杂度极大降低，从而使得使用范围能够得到扩展。

另外，通过本发明实施例所提供的图像融合方法，可以降低从色彩信号中去除红外成分的运算量，提高了融合效率，同时，实现了通过结构简单的图像融合设备来采集双波段图像的目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例第一方面所提供的一种图像融合设备的结构示意图；

图2为拜耳阵列示意图；

图3为RGBIR图像传感器所对应的阵列示意图；

图4为IR通道插值所对应的插值结果的示意图；

图5为光谱阻挡的原理示意图；

图6为本发明实施例第一方面所提供的一种图像融合设备的另一结构示意图；

图7为本发明实施例第一方面所提供的一种图像融合设备的另一结构示意图；

图8为本发明实施例第二方面所提供的一种图像融合设备的结构示意图；

图9为RGBW图像传感器所对应的阵列示意图；

图10为W通道插值所对应的插值结果的示意图；

图11为本发明实施例第二方面所提供的一种图像融合设备的另一结构示意图；

图12为本发明实施例第二方面所提供的一种图像融合设备的另一结构示意图；

图13为光谱阻挡的另一原理示意图；

图14为本发明实施所提供的应用于第一方面所提供的一种图像融合设备的一种图像融合方法的流程图；

图15为本发明实施例所提供的应用于第二方面所提供的一种图像融合设备的一种图像融合方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

第一方面，为了解决现有技术中图像处理器从色彩信号中去除红外成分的运算量大，导致融合效率不高的问题，本发明实施例提供了一种图像融合设备。

如图1所示，本发明实施例所提供的一种图像融合设备，可以包括：

光采集装置110、图像处理器130，以及具有四类感光通道的图像传感器120，该四类感光通道包括：红绿蓝RGB通道和红外IR通道；

该光采集装置110，用于对入射光中第一预定波长区间的光谱进行阻挡，得到目标光；其中，所述第一预定波长区间为：该图像传感器120中RGB通道与IR通道在红外波段上响应差别高于第一预定阈值的光谱的波长区间；

该图像传感器120，用于通过该RGB通道和该IR通道，将该目标光转换为图像信号；

该图像处理器130，用于将该图像信号解析为色彩信号以及对红外波段感光的亮度信号，并将该色彩信号和该亮度信号进行融合处理，得到融合后图像，其中，该色彩信号为基于R通道、G通道或B通道解析得到的信号。

需要强调的是，通过对入射光中第一预定波长区间的光谱进行阻挡，使得近红外波段中各通道量子效率反差较大的部分被滤除，从而简化图像处理器从色彩信号中去除红外成分的运算，提高了融合效率。其中，第一预定阈值的具体值可以根据实际情况设定，在此不做限定。需要强调的是，R通道或G通道或B通道的值分别与IR通道的值的三个差量中，只要任意一个差量高于第一预定阈值，光采集装置110可对相应波长区间的光谱部分进行阻挡。

可选地，为了让红外波段和可见光波段通过，该第一预定波长区间可以为[T1,T2]，其中，T1的值处于区间[600nm,800nm]内，T2的值处于区间[750nm，1100nm]内。可以理解的是，通过增加对入射光预定波长区间的光谱的阻挡的功能，使得图像传感器120中，RGB通道和IR通道在红外波段(650nm-1100nm)上响应差别较大的光谱区域滤除，从而使得图像传感器120感光形成的图像信号通过简单运算即可还原出精准的色彩信号，以及对红外波段(650-1100nm)感光的亮度信号。如图5所示，灰色部分为需要被阻挡滤除的部分光谱，图5中，IR表征红外信号、R表征红光信号、G表征绿光信号、B表征蓝光信号。需要强调的是，图5仅仅是示例，并不具有任何限定意义，而由于制作工艺等原因，实际滤除曲线通常不会如图5所示的陡峭程度，但是会存在坡度。本领域技术人员可以理解的是，拜耳阵列，即BAYER阵列，是图像传感器的一种数据格式，拜耳阵列示意图可以参见图2所示，即以马赛克方式输出红、绿、蓝点阵信息。由于基于拜耳阵列的图像传感器仅仅具有RGB三通道，无法得到红外光谱，因此，为了得到可见光图像和红外图像的融合图像，需要通过棱镜分光、不同光学传感器等同时获取红外光和可见光，结构较为复杂。而为了降低结构复杂度，本发明实施例所利用的图像传感器为具有四类感光通道的图像传感器，以使得一个图像传感器采集的图像信号能够被解析出色彩信号以及对红外波段感光的亮度信号。为了引用方便，对于本发明实施例所提供的具有红绿蓝RGB通道和红外IR通道的图像传感器简称为RGBIR图像传感器。

具体的，图3给出了RGBIR图像传感器所对应的阵列示意图，如图3所示，RGBIR图像传感器包括四类感光通道，即RGB通道和IR通道，具体的，IR通道为对红外波段感光的通道；而RGB通道既可以对可见光波段感光又可以对红外波段感光，并且，RGB通道主要用于对可见光波段感光。需要强调的是，图3所给出的阵列仅仅作为示例性说明，并不应该构成对本发明实施例的限定。另外，本领域技术人员可以理解的是，实际应用中，RGBIR图像传感器所对应的阵列的结构多种多样，且均可以应用于本发明实施例。

需要说明的是，该色彩信号具体可以由R通道、G通道或B通道的值减去与对应像素位置相应的IR参数值后所形成，该IR参数值为对应像素位置的IR通道的值与预设修正值的乘积。可以理解的是，通过将所遍历的R通道、G通道或B通道的值分别减去与对应像素位置相应的IR参数值，即去除色彩信号中的红外成分，可以避免色彩信号中红外成分与RGB三类信号成分进行串扰，提升低照度下的图像效果。需要强调的是，该预设修正值可以根据实际情况进行设定，举例而言，该预设修正值通常可以设为1，当然，可以根据实际情况，将该预设修正值设为0至1024中的任一整数或小数，而本领域技术人员可以理解的是，预设修正值的取值并不局限于此。可选地，在一种具体实现方式中，该图像处理器130将该图像信号解析为色彩信号以及对红外波段感光的亮度信号过程包括：

步骤a1，对该图像信号中的IR通道进行插值运算，生成与输入分辨率相同的、且对红外波段感光的亮度信号，其中，该输入分辨率为所述图像信号具有的分辨率；

步骤a2，遍历该图像信号，将所遍历到的R通道、G通道或B通道的值减去与对应像素位置相应的IR参数值，该IR参数值为对应像素位置的IR通道的值与预设修正值的乘积；

步骤a3，分别对该图像信号中R通道、G通道和B通道插值，生成与该输入分辨率相同的色彩信号。

仍以图3所示的阵列为例，如图3所示，每一个小方格对应一个像素点，RGBIR图像传感器所生成的图像信号的分辨率为8*8。由于对该图像信号中的IR通道插值，生成与输入分辨率相同的、且对红外波段感光的亮度信号，因此，对于图3而言，对该图像信号中的IR通道插值后所生成的亮度信号的分辨率也为8*8，其中，IR通道的插值结果可以参见图4。并且，对该图像信号中的IR通道插值所采用的插值算法可以为双线性，或双三次等等，具体的插值过程在此不做限定。需要强调的是，RGBIR图像传感器所生成的图像信号的分辨率与阵列结构相关，8*8仅仅是具有图3所示阵列结构的RGBIR图像传感器对应的分辨率，并不应该构成对本发明实施例的限定。

另外，如图3所示，由于每个小方格内可能是R、可能是B，也可能是G，因此，在遍历该图像信号，会遍历到R通道、G通道或B通道，进而将所遍历到的R通道、G通道或B通道的值减去与对应像素位置相应的IR参数值，以去除红外成分。并且，分别对该图像信号中R通道、G通道和B通道插值所采用的插值算法可以为双线性或双三次等等，对IR通道插值与对RGB通道插值所采用的插值算法可以相同也可以不同，在此不做限定；类似的，由于分别对该图像信号中R通道、G通道和B通道插值，生成与该输入分辨率相同的色彩信号，因此，以图3为例，对该图像信号中的RGB通道插值后所生成的色彩信号的分辨率也为8*8。

需要强调的是，上述所给出的该图像处理器130将该图像信号解析为色彩信号以及对红外波段感光的亮度信号的具体实现方式，仅仅作为示例，并不应该构成对本发明实施例的限定。

可以理解的是，在获得色彩信号和亮度信号后，该图像处理器130将该色彩信号和亮度信号进行融合处理从而得到融合后图像的具体实现方式存在多种。下面结合两种进行详细介绍。

在一种具体实现方式中，该图像处理器130将该色彩信号和亮度信号进行融合处理，得到融合后图像的过程，可以包括：

步骤b1，根据该色彩信号，计算各个像素对应的辅助值Y，其中，Y＝(R*w1+G*w2+B*w3)/(w1+w2+w3)，R为像素对应的R通道的值，G为像素对应的G通道的值，B为像素对应的B通道的值，w1、w2和w3为权重值；

步骤b2，计算该色彩信号中各个通道值与辅助值Y的比例，得到各个像素对应的参考通道值K1、K2和K3，其中，K1＝R/Y，K2＝G/Y，K3＝B/Y；

步骤b3，对该参考通道值K1、K2和K3进行色彩降噪处理；

步骤b4，将对应像素上的亮度信号Y’与色彩降噪后的参考通道值K1-K3进行融合处理，生成融合后的RGB三通道值R’、G’和B’，得到融合后图像；其中，R’＝K1*Y’；G’＝K2*Y’；B’＝K3*Y’。

其中，本发明实施例不对权重值w1、w2和w3的值进行限定；色彩降噪处理可以采用的方式包括但不局限于高斯滤波。举例而言，假设w1＝1、w2＝1，w3＝1，此时，Y＝(R+G+B)/3。

在另一种具体实现方式中，该图像处理器130将该色彩信号和亮度信号进行融合处理，得到融合后图像的过程，可以包括：

步骤c1，将该色彩信号转换为YUV信号，该YUV信号为明亮度及色度信号；

步骤c2，提取该YUV信号中的色度UV分量；

步骤c3，对UV分量与该亮度信号进行组合，形成新的YUV信号；

步骤c4，将所形成的新的YUV信号确定为融合后图像，或者，将所形成的新的YUV信号转换为RGB信号，并将转换为的RGB信号确定融合后图像。

可以理解的是，对于YUV格式而言，“Y”表示明亮度(Luminance或Luma)，也就是灰阶值；而“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。而在提取到UV分量之后，在对UV分量与亮度信号进行组合之前，可以对UV分量进行降噪处理，以去除色彩噪声，从而提高融合后图像的图片质量，其中，降噪处理的方式可以包括但不局限于高斯滤波。需要强调的是，YUV信号和色彩信号的相互转换可以采用现有技术存在的任一种转换算法来实现，并且，可以采用现有技术来从YUV信号中提取UV分量以及对UV分量与该亮度信号进行组合。

需要强调的是，上述所给出的该图像处理器130将该色彩信号和亮度信号进行融合处理，得到融合后图像的具体实现方式，仅仅作为示例，并不应该构成对本发明实施例的限定。另外，可以理解的是，该图像处理器130可以首先对该色彩信号和亮度信号进行优化处理，进而对优化处理后的色彩信号和优化处理后的亮度信号进行融合处理，得到融合后图像，举例而言，对色彩信号的优化处理可以包括：对色彩信号进行低通滤波处理，以实现对色彩信号进行降噪；而对亮度信号的优化处理可以包括：对亮度信号进行高通滤波处理，以实现亮度信号的边缘增强。

可见，本发明实施例中，光采集装置对入射光中第一预定波长区间的光谱进行阻挡，使得近红外波段中各通道量子效率反差较大的部分被滤除，从而简化图像处理器从色彩信号中去除红外成分的运算，提高了融合效率。并且，本发明实施例所提供的图像融合设备通过具有四类感光通道的图像传感器进行图像采集，相比现有技术中光学系统上需要特殊设计才能同时获取红外光与可见光，结构复杂度极大降低，从而使得使用范围能够得到扩展。

为了实现对入射光中第一预定波长区间的光谱进行阻挡，在一种具体实现方式中，该光采集装置110可以包括：带阻滤光片和第一类光学镜头；

该第一类光学镜头，用于以全光谱透射方式将入射光透射至该带阻滤光片；

该带阻滤光片，用于将该第一类光学镜头所透过的光中的该第一预定波长区间的光谱进行阻挡，以得到目标光。

具体的，带阻滤光片可以为通过镀膜方式集成在该第一类光学镜头上的涂层；或者，带阻滤光片可以为设置于该第一类光学镜头上的贴片，等等。并且，需要说明的是，所述的全光谱透射方式为全波段光谱均被透射的方式，即任何波段的光谱均不被阻挡；而由于第一类光学镜头以全光谱透射方式将入射光透射至该带阻滤光片，因此，该第一类光学镜头所透过的光的波段与入射光的波段相同，即第一类光学镜头未对任何波段的光谱进行阻挡。

为了实现对入射光中第一预定波长的光谱进行阻挡，在另一种实现方式中，该光采集装置110包括：能够阻挡第一预定波长区间的光谱的第二类光学镜头。

需要强调的是，为了实现对入射光中第一预定波长区间的光谱进行阻挡，上述所给出的光采集装置110的具体实现方式仅仅作为示例，并不应该构成对本发明实施例的限定。

可选地，在一种具体实现方式中，该图像传感器120将目标光转换为图像信号时，在红外波段的第二预定波长区间内RGB通道间的响应差别低于第二预定阈值，以保证去除红外成分后颜色的准确还原，从而提高图像融合质量，其中，该第二预定波长区间为[T3,T4]，其中，T4大于T3，且T3大于等于750nm，T4小于等于1100nm。举例而言，如图5所示，图像传感器120将目标光转换为图像信号时，灰色区域右侧波段内RGB通道间的响应满足了一定约束。需要强调的是，该第二预定阈值可以根据实际情况进行设定，本发明实施例在此不做限定。

需要说明的是，为了在红外波段的第二预定波长区间内RGB通道间的响应差别低于第二预定阈值，该图像传感器120的具体结构可以多种多样，本发明实施例并不作限定，如：在图像传感器中增加特定的光学元件，如滤光片等等。

可选地，该图像传感器120将该目标光转换为图像信号的过程中，可以在同一帧时间内进行多次曝光采集。对于该图像传感器120而言，在一种实现方式中，单次或多次曝光可以通过人工方式设定。

并且，对于图像传感器120在同一帧时间内进行多次曝光采集而言，该图像处理器130将该图像信号解析为色彩信号以及对红外波段感光的亮度信号的过程，可以包括：

利用第一类曝光形成的图像信号，解析得到色彩信号；

利用第二类曝光形成的图像信号，解析得到对红外波段感光的亮度信号。

其中，第一类曝光和第二类曝光可以为相同曝光时长也可以为不同曝光时长，当第一类曝光和第二类曝光为不同曝光时长时，第一类曝光的曝光时长可以小于第二类曝光的曝光时长，当然，第一类曝光的曝光时长也可以大于第二类曝光的曝光时长，这都是合理的。

具体的，利用第一类曝光形成的图像信号，解析得到色彩信号具体可以包括：

对第一类曝光形成的图像信号中的IR通道进行插值运算，得到各个像素位置的IR通道的值；

遍历该第一类曝光形成的图像信号，将所遍历到的R通道、G通道或B通道的值减去对应像素位置相应的IR参数值，所述IR参数值为对应像素位置的IR通道的值与预设修正值的乘积；

分别对该第一类曝光形成的图像信号中R通道、G通道和B通道进行插值运算，生成与所述输入分辨率相同的色彩信号；

相应地，利用第二类曝光形成的图像信号，解析得到对红外波段感光的亮度信号具体可以包括：

对第二类曝光形成的图像信号中的IR通道进行插值运算，生成与输入分辨率相同的、且对红外波段感光的亮度信号，其中，所述输入分辨率为该图像信号具有的分辨率。

上述过程所涉及的任一通道的插值可以采用双线性、双三次插值算法，当然并不局限于此。

并且，为了保证红外信号充足，可以利用短曝光形成的图像信号来解析得到色彩信号，而利用长曝光形成的图像信号来解析得到亮度信号，以保证图像质量，此时，第一类曝光的曝光时长小于第二类曝光的曝光时长。

可选地，在图1所示的实施例的基础上，如图6所示，本发明实施例所提供的一种图像融合设备还可以包括：

信号控制器140，用于调控该图像传感器120形成符合预定亮度要求的图像信号。

具体的，在一种实现方式中，该信号控制器可以具体用于对该图像传感器120所形成的图像信号进行亮度统计，并根据统计结果调控该图像传感器120形成符合预定亮度要求的图像信号。具体的，该信号控制器140可以执行如下步骤：(a)生成初始亮度调控信号，并发送图像传感器120；(b)统计图像传感器120所生成图像信号的平均亮度，即将所有像素值相加并求平均；(c)将平均亮度与参考值相比较，若差值在预定范围内，则维持当前亮度调控信号的数值不变；若差值在预定范围之外且大于参考值，则下调亮度调控信号的数值；若差值在预定范围之外且小于参考值，则上调亮度调控信号的数值。

当然，在另一种实现方式中，该信号控制器140可以定时向图像传感器120发送预定的亮度调控信号，该预定的亮度调控信号为基于预定亮度要求所设定的调控信号。

可以理解的是，该信号控制器140还可以用于控制该图像传感器120在单次曝光采集和多次曝光采集之间切换。需要强调的是，上述所给出的信号控制器140调控该图像传感器120形成符合预定亮度要求的图像信号的具体实现方式仅仅作为示例，并不应该构成对本发明实施例的限定。

可选地，在低照度环境下，为了保证融合后图像的亮度较为理想，信噪比较高，可以对该环境进行补光照明，即补充红外光。基于该处理思想，如图7所示，本发明实施例所提供的一种图像融合设备还可以包括：红外补光器150；

该信号控制器140还用于控制该红外补光器150对该图像传感器进行红外补光。

具体的，在一种具体实现方式中，信号控制器140可以检测亮度调控信号中的增益值g，当g大于阈值T1时，补光控制信号置为1，开启红外补光，而当g小于阈值T2时，补光控制信号置为0，关闭红外补光，其中，T1大于T2。

需要强调的是，T1和T2的具体值可以根据实际情况来设定，在此不做限定；另外，上述所给出的该信号控制器140控制该红外补光器150对该图像传感器进行红外补光的具体实现方式仅仅作为示例性说明，并不应该构成对本发明实施例的限定。

第二方面，为了解决现有技术中图像处理器从色彩信号中去除红外成分的运算量大，导致融合效率不高的问题，本发明实施例提供了一种图像融合设备。

如图8所示，本发明实施例所提供的一种图像融合设备，可以包括：

光采集装置210、图像处理器230，以及具有四类感光通道的图像传感器220，所述四类感光通道包括：红绿蓝RGB通道和全波段W通道；

该光采集装置210，用于对入射光中第一预定波长区间的光谱进行阻挡，得到目标光，该第一预定波长区间为：该图像传感器220中RGB通道与W通道在红外波段上响应差别高于第一预定阈值的光谱的波长区间；

所述图像传感器220，用于通过该RGB通道和该W通道，将该目标光转换为图像信号；

该图像处理器230，用于将该图像信号解析为色彩信号和亮度信号，并将该色彩信号和该亮度信号进行融合处理，得到融合后图像，其中，该色彩信号为基于R通道、G通道或B通道解析得到的信号。

需要强调的是，通过对入射光中第一预定波长区间的光谱进行阻挡，使得近红外波段中各通道量子效率反差较大的部分被滤除，从而简化图像处理器从色彩信号中去除红外成分的运算，提高了融合效率。其中，第一预定阈值的具体值可以根据实际情况设定，在此不做限定。需要强调的是，R通道或G通道或B通道的值分别与W通道的值的三个差量中，只要任意一个差量高于第一预定阈值，光采集装置210可对相应波长区间的光谱部分进行阻挡。

可选地，为了让红外波段和可见光波段通过，该第一预定波长区间可以为[T1,T2]，其中，T1的值处于区间[600nm,800nm]内，T2的值处于区间[750nm，1100nm]内。可以理解的是，通过增加对入射光预定波长区间的光谱的阻挡的功能，使得图像传感器220中，RGB通道和W通道在红外波段(650nm-1100nm)上响应差别较大的光谱区域滤除，从而使得图像传感器220感光形成的图像信号通过简单运算即可还原出精准的色彩信号，以及亮度信号。如图13所示，灰色部分为需要被阻挡滤除的部分光谱，图13中，W表征全波段光谱信号、R表征红光信号、G表征绿光信号、B表征蓝光信号。需要强调的是，图13仅仅是示例，并不具有任何限定意义，而由于制作工艺等原因，实际滤除曲线通常不会如图13所示的陡峭程度，但是会存在坡度。

本领域技术人员可以理解的是，拜耳阵列，即BAYER阵列，是图像传感器的一种数据格式，拜耳阵列示意图可以参见图2所示，即以马赛克方式输出红、绿、蓝点阵信息。由于基于拜耳阵列的图像传感器仅仅具有RGB三通道，无法得到红外光谱，因此，为了得到可见光图像和红外图像的融合图像，需要通过棱镜分光、不同光学传感器等同时获取红外光和可见光，结构较为复杂。而为了降低结构复杂度，本发明实施例所利用的图像传感器为具有四类感光通道的图像传感器，以使得一个图像传感器采集的图像信号能够被解析出色彩信号以及亮度信号。为了引用方便，对于本发明实施例所提供的具有红绿蓝RGB通道和全波段通道的图像传感器命名为RGBW图像传感器。

而图9给出了RGBW图像传感器所对应的阵列示意图，如图9所示，RGBW图像传感器包括四类感光通道，即RGB通道和W通道，具体的，W通道为全波段感光的通道，由于W通道为全波段感光，因此，W通道可以对红外波段感光，W通道可以作为亮度通道；而RGB通道既可以对可见光波段感光又可以对红外波段感光，并且，RGB通道主要用于对可见光波段感光。需要强调的是，图9所给出的阵列仅仅作为示例性说明，并不应该构成对本发明实施例的限定。另外，本领域技术人员可以理解的是，实际应用中，RGBW图像传感器所对应的阵列的结构多种多样，且均可以应用于本发明实施例。

需要说明的是，该色彩信号具体可以由R通道、G通道或B通道的值减去与对应像素位置相应的IR参数值后所形成，该IR参数值为对应像素位置的IR值与第二预设修正值的乘积，该IR值为采用预定计算公式所计算得到的值。可以理解的是，通过将所遍历的R通道、G通道或B通道的值分别减去与对应像素位置相应的IR参数值，即去除色彩信号中的红外成分，可以避免色彩信号中红外成分与RGB三类信号成分进行串扰，提升低照度下的图像效果。并且，需要强调的是，该第一预设修正值和第二预设修正值可以根据实际情况进行设定。举例而言，该第一预设修正值通常可以设为2，当然，可以根据实际情况，将该第一预设修正值设为0至1024中的任一整数或小数，而本领域技术人员可以理解的是，第一预设修正值的取值并不局限于此；类似的，该第二预设修正值通常可以设为1，当然，可以根据实际情况，将该第二预设修正值设为0至1024中的任一整数或小数，但本领域技术人员可以理解的是，第二预设修正值的取值并不局限于此。可选地，在一种具体实现方式中，该图像处理器230将该图像信号解析为色彩信号和亮度信号的过程包括：

步骤d1，对该图像信号中的W通道进行插值运算，生成与输入分辨率相同的亮度信号，其中，该输入分辨率为该图像信号所具有的分辨率；

步骤d2，分别对该图像信号中R通道、G通道和B通道进行插值运算，生成与该输入分辨率相同的各通道图像信号；

步骤d3，遍历各通道图像信号，采用预定公式计算各像素位置的IR值，其中，该预定公式为(R+G+B-W)/n，R为像素对应的R通道的值，G为像素对应的G通道的值，B为像素对应的B通道的值，W为像素对应的W通道的值，n为第一预设修正值；

步骤d4，遍历各通道图像信号，将所遍历到的R通道、G通道或B通道的值减去与对应像素位置相应的IR参数值，生成色彩信号，该IR参数值为对应像素位置的IR值与第二预设修正值的乘积。

仍以图9所示的阵列为例，如图9所示，每一个小方格对应一个像素点，RGBW图像传感器所生成的图像信号的分辨率为8*8。由于对该图像信号中的W通道进行插值运算，生成与输入分辨率相同的亮度信号，因此，对于图9而言，对该图像信号中的W通道插值后所生成的亮度信号的分辨率也为8*8，其中，图10给出了W通道的插值结果的示意图。并且，对该图像信号中的W通道插值所采用的插值算法可以为双线性，或双三次等等，具体的插值过程在此不做限定。需要强调的是，RGBW图像传感器所生成的图像信号的分辨率与阵列结构相关，8*8仅仅是具有图9所示阵列结构的RGBW图像传感器对应的分辨率，并不应该构成对本发明实施例的限定。

另外，类似的，由于分别对该图像信号中R通道、G通道和B通道进行插值运算，生成与该输入分辨率相同的各通道图像信号，因此，以图9为例，分别对该图像信号中R通道、G通道和B通道插值后所形成的各通道图像信号的分辨率为8*8；并且，对该图像信号中R通道、G通道和B通道插值所采用的插值算法可以为双线性或双三次等等，而对W通道插值与对RGB通道插值所采用的插值算法可以相同也可以不同，在此不做限定。

需要强调的是，上述所给出的该图像处理器230将该图像信号解析为色彩信号和亮度信号的具体实现方式，仅仅作为示例，并不应该构成对本发明实施例的限定。

可以理解的是，在获得色彩信号和亮度信号后，该图像处理器230将该色彩信号和亮度信号进行融合处理从而得到融合后图像的具体实现方式存在多种。下面结合两种进行详细介绍。

在一种具体实现方式中，该图像处理器230将该色彩信号和该亮度信号进行融合处理，得到融合后图像的过程，包括：

步骤e1，根据该色彩信号，计算各个像素对应的辅助值Y，其中，Y＝(R*w1+G*w2+B*w3)/(w1+w2+w3)，R为像素对应的R通道的值，G为像素对应的G通道的值，B为像素对应的B通道的值，w1、w2和w3为权重值；

步骤e2，计算该色彩信号中各个通道值与辅助值Y的比例，得到各个像素对应的参考通道值K1、K2和K3，其中，K1＝R/Y，K2＝G/Y，K3＝B/Y；

步骤e3，对该参考通道值K1、K2和K3进行色彩降噪处理；

步骤e4，将对应像素上的亮度信号Y’与色彩降噪后的参考通道值K1-K3进行融合处理，生成融合后的RGB三通道值R’、G’和B’，得到融合后图像；其中，R’＝K1*Y’；G’＝K2*Y’；B’＝K3*Y’。

其中，本发明实施例不对权重值w1、w2和w3的值进行限定；色彩降噪处理可以采用的方式包括但不局限于高斯滤波。举例而言，假设w1＝1、w2＝1，w3＝1，此时，Y＝(R+G+B)/3。

在另一种具体实现方式中，该图像处理器230将该色彩信号和该亮度信号进行融合处理，得到融合后图像的过程，包括：

步骤f1，将该色彩信号转换为YUV信号，该YUV信号为明亮度及色度信号；

步骤f2，提取该YUV信号中的色度UV分量；

步骤f3，对该UV分量与该亮度信号进行组合，形成新的YUV信号；

步骤f4，将所形成的新的YUV信号确定为融合后图像，或者，将所形成的新的YUV信号转换为RGB信号，并将转换为的RGB信号确定为融合后图像。

可以理解的是，对于YUV格式而言，“Y”表示明亮度(Luminance或Luma)，也就是灰阶值；而“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。而在提取到UV分量之后，在对UV分量与亮度信号进行组合之前，可以对UV分量进行降噪处理，以去除色彩噪声，从而提高融合后图像的图片质量，其中，降噪处理的方式可以包括但不局限于高斯滤波。需要强调的是，YUV信号和色彩信号的相互转换可以采用现有技术存在的任一种转换算法来实现，并且，可以采用现有技术来从YUV信号中提取UV分量以及对UV分量与该亮度信号进行组合。

需要强调的是，上述所给出的该图像处理器230将该色彩信号和亮度信号进行融合处理，得到融合后图像的具体实现方式，仅仅作为示例，并不应该构成对本发明实施例的限定。另外，可以理解的是，该图像处理器230可以首先对该色彩信号和亮度信号进行优化处理，进而对优化处理后的色彩信号和优化处理后的亮度信号进行融合处理，得到融合后图像，举例而言，对色彩信号的优化处理可以包括：对色彩信号进行低通滤波处理，以实现对色彩信号进行降噪；而对亮度信号的优化处理可以包括：对亮度信号进行高通滤波处理，以实现亮度信号的边缘增强。

可见，本发明实施例中，光采集装置对入射光中第一预定波长区间的光谱进行阻挡，使得近红外波段中各通道量子效率反差较大的部分被滤除，从而简化图像处理器从色彩信号中去除红外成分的运算，提高了融合效率。并且，本发明实施例所提供的图像融合设备通过具有四类感光通道的图像传感器进行图像采集，相比现有技术中光学系统上需要特殊设计才能同时获取红外光与可见光，结构复杂度极大降低，从而使得使用范围能够得到扩展。

为了实现对入射光中第一预定波长区间的光谱进行阻挡，在一种具体实现方式中，该光采集装置210包括：带阻滤光片和第一类光学镜头；

该第一类光学镜头，用于以全光谱透射方式将入射光透射至该带阻滤光片；

该带阻滤光片，用于将该第一类光学镜头所透过的光中的该第一预定波长区间的光谱进行阻挡，以得到目标光。

具体的，带阻滤光片可以为通过镀膜方式集成在该第一类光学镜头上的涂层；或者，带阻滤光片可以为设置于该第一类光学镜头上的贴片，等等。并且，需要说明的是，所述的全光谱透射方式为全波段光谱均被透射的方式，即任何波段的光谱均不被阻挡；而由于第一类光学镜头以全光谱透射方式将入射光透射至该带阻滤光片，因此，该第一类光学镜头所透过的光的波段与入射光的波段相同，即第一类光学镜头未对任何波段的光谱进行阻挡。为了实现对入射光中第一预定波长的光谱进行阻挡，在另一种实现方式中，该光采集装置210可以包括：能够阻挡该第一预定波长区间的光谱的第二类光学镜头。

需要强调的是，为了实现对入射光中第一预定波长区间的光谱进行阻挡，上述所给出的光采集装置210的具体实现方式仅仅作为示例，并不应该构成对本发明实施例的限定。

可选地，在一种具体实现方式中，该图像传感器220将该目标光转换为图像信号时，在红外波段的第二预定波长区间内RGB通道间的响应差别低于第二预定阈值，以保证去除红外成分后颜色的准确还原，从而提高图像融合质量，其中，该第二预定波长区间为[T3,T4]，其中，T4大于T3，且T3大于等于750nm，T4小于等于1100nm。举例而言，如图13所示，图像传感器220将目标光转换为图像信号时，灰色区域右侧波段内RGB通道间的响应满足了一定约束。需要强调的是，该第二预定阈值可以根据实际情况进行设定，本发明实施例在此不做限定。

需要说明的是，为了在红外波段的第二预定波长区间内RGB通道间的响应差别低于第二预定阈值，该图像传感器220的具体结构可以多种多样，本发明实施例并不作限定，如：在图像传感器中增加特定的光学元件，如滤光片等等。

可选地，该图像传感器220将该目标光转换为图像信号的过程中，在同一帧时间内进行多次曝光采集。对于该图像传感器220而言，在一种实现方式中，单次或多次曝光可以通过人工方式设定。

并且，对于图像传感器220在同一帧时间内进行多次曝光采集而言，该图像处理器230将该图像信号解析为色彩信号和亮度信号的过程，可以包括：

利用第一类曝光形成的图像信号，解析得到色彩信号；

利用第二类曝光形成的图像信号，解析得到亮度信号。

其中，第一类曝光和第二类曝光可以为相同曝光时长也可以为不同曝光时长，当第一类曝光和第二类曝光为不同曝光时长时，第一类曝光的曝光时长可以小于第二类曝光的曝光时长，当然，第一类曝光的曝光时长也可以大于第二类曝光的曝光时长，这都是合理的。

具体的，利用第一类曝光形成的图像信号，解析得到色彩信号具体可以包括：

分别对第一类曝光形成的图像信号中R通道、G通道和B通道插值，生成与输入分辨率相同的各通道图像信号；

遍历该各通道图像信号，采用预定公式计算各像素位置的IR值，其中，该预定公式为(R+G+B-W)/n，R为像素对应的R通道的值，G为像素对应的G通道的值，B为像素对应的B通道上的值，W为像素对应的W通道的值，n为第一预设修正值；

遍历该各通道图像信号，将所遍历到的R通道、G通道或B通道的值减去与对应像素位置相应的IR参数值，生成色彩信号，其中，该IR参数值为对应像素位置的IR值与第二预设修正值的乘积；

相应地，利用第二类曝光形成的图像信号，解析得到亮度信号具体可以包括：

对第二类曝光形成的图像信号中的W通道插值，生成与输入分辨率相同的亮度信号，其中，该输入分辨率为该图像信号所具有的分辨率。

上述过程所涉及的任一通道的插值可以采用双线性、双三次插值算法，当然并不局限于此。

可选地，在图8所示的实施例的基础上，如图11所示，本发明实施例所提供的一种图像融合设备还可以包括：

信号控制器240，用于调控该图像传感器220形成符合预定亮度要求的图像信号。

具体的，在一种实现方式中，该信号控制器240可以具体用于对该图像传感器220所形成的图像信号进行亮度统计，并根据统计结果调控该图像传感器220形成符合预定亮度要求的图像信号。具体的，该信号控制器240可以执行如下步骤：(a)生成初始亮度调控信号，并发送图像传感器220；(b)统计图像传感器220所生成图像信号的平均亮度，即将所有像素值相加并求平均；(c)将平均亮度与参考值相比较，若差值在预定范围内，则维持当前亮度调控信号的数值不变；若差值在预定范围之外且大于参考值，则下调亮度调控信号的数值；若差值在预定范围之外且小于参考值，则上调亮度调控信号的数值。

当然，在另一种实现方式中，该信号控制器240可以定时向图像传感器220发送预定的亮度调控信号，该预定的亮度调控信号为基于预定亮度要求所设定的调控信号。

可以理解的是，该信号控制器240还可以用于控制该图像传感器220在单次曝光采集和多次曝光采集之间切换。需要强调的是，上述所给出的信号控制器240调控该图像传感器220形成符合预定亮度要求的图像信号的具体实现方式仅仅作为示例，并不应该构成对本发明实施例的限定。

可选地，在低照度环境下，为了保证融合后图像的亮度较为理想，信噪比较高，可以对该环境进行补光照明，即补充红外光。基于该处理思想，如图12所示，本发明实施例所提供的一种图像融合设备还可以包括：红外补光器250；

该信号控制器240还用于控制该红外补光器250对该图像传感器进行红外补光。

具体的，在一种具体实现方式中，信号控制器240可以检测亮度调控信号中的增益值g，当g大于阈值T1时，补光控制信号置为1，开启红外补光，而当g小于阈值T2时，补光控制信号置为0，关闭红外补光，其中，T1大于T2。

需要强调的是，T1和T2的具体值可以根据实际情况来设定，在此不做限定；另外，上述所给出的该信号控制器240控制该红外补光器250对该图像传感器进行红外补光的具体实现方式仅仅作为示例性说明，并不应该构成对本发明实施例的限定。

第三方面，基于上述第一方面所提供的图像融合设备，本发明实施例还提供了一种图像融合方法，应用于本发明实施例第一方面所提供的图像融合设备，该图像融合设备具有四类感光通道，该四类感光通道包括：红绿蓝RGB通道和红外IR通道；如图14所示，所述方法可以包括如下步骤：

S1401，对入射光中第一预定波长区间的光谱进行阻挡，得到目标光；其中，所述第一预定波长区间为：该图像融合设备的图像传感器中RGB通道与IR通道在红外波段上响应差别高于第一预定阈值的光谱的波长区间；

S1402，通过该RGB通道和该IR通道，将该目标光转换为图像信号；

其中，通过该RGB通道和IR通道，将该目标光转换为图像信号的具体实现方式可以采用现有技术中的任一实现方式中，在此不做限定。

S1403，将该图像信号解析为色彩信号和对红外波段感光的亮度信号，并将该色彩信号和该亮度信号进行融合处理，得到融合后图像，其中，该色彩信号为基于R通道、G通道或B通道解析得到的信号。

其中，图像融合设备的具体结构可以参照第一方面所示实施例所描述的内容，在此不做赘述。

需要强调的是，通过对入射光中第一预定波长区间的光谱进行阻挡，使得近红外波段中各通道量子效率反差较大的部分被滤除，从而简化图像处理器从色彩信号中去除红外成分的运算，提高了融合效率。其中，第一预定阈值的具体值可以根据实际情况设定，在此不做限定。可选地，为了让红外波段和可见光波段通过，该第一预定波长区间可以为[T1,T2]，其中，T1的值处于区间[600nm,800nm]内，T2的值处于区间[750nm，1100nm]内。

需要说明的是，该色彩信号具体可以由R通道、G通道或B通道的值减去与对应像素位置相应的IR参数值后所形成，该IR参数值为对应像素位置的IR通道的值与预设修正值的乘积。可以理解的是，通过将所遍历的R通道、G通道或B通道的值分别减去与对应像素位置相应的IR参数值，即去除色彩信号中的红外成分，可以避免色彩信号中红外成分与RGB三类信号成分进行串扰，提升低照度下的图像效果。需要强调的是，该预设修正值可以根据实际情况进行设定，举例而言，该预设修正值通常可以设为1，当然，可以根据实际情况，将该预设修正值设为0至1024中的任一整数或小数，而本领域技术人员可以理解的是，预设修正值的取值并不局限于此。

具体的，在一种具体实现方式中，所述将该图像信号解析为色彩信号和对红外波段感光的亮度信号的步骤，可以包括：

步骤a1，对该图像信号中的IR通道进行插值运算，生成与输入分辨率相同、且对红外波段感光的亮度信号，其中，该输入分辨率为所述图像信号具有的分辨率；

步骤a2，遍历该图像信号，将所遍历到的R通道、G通道或B通道的值减去与对应像素位置相应的IR参数值，该IR参数值为对应像素位置的IR通道的值与预设修正值的乘积；

步骤a3，分别对该图像信号中R通道、G通道和B通道插值，生成与该输入分辨率相同的色彩信号。

其中，关于本实施例的步骤a1-a3的具体描述内容可以参照上述第一方面所提供实施例在介绍图像融合设备时所给出的相应描述内容，在此不做赘述。

需要说明的是，将该色彩信号和亮度信号进行融合处理从而得到融合后图像的具体实现方式存在多种。下面结合两种进行详细介绍。

具体的，在一种具体实现方式中，所述将该色彩信号和该亮度信号进行融合处理，得到融合后图像的步骤，可以包括：

步骤b1，根据该色彩信号，计算各个像素对应的辅助值Y，其中，Y＝(R*w1+G*w2+B*w3)/(w1+w2+w3)，R为像素对应的R通道的值，G为像素对应的G通道的值，B为像素对应的B通道的值，w1、w2和w3为权重值；

步骤b2，计算该色彩信号中各个通道值与辅助值Y的比例，得到各个像素对应的参考通道值K1、K2和K3，其中，K1＝R/Y，K2＝G/Y，K3＝B/Y；

步骤b3，对该参考通道值K1、K2和K3进行色彩降噪处理；

步骤b4，将对应像素上的亮度信号Y’与色彩降噪后的参考通道值K1-K3进行融合处理，生成融合后的RGB三通道值R’、G’和B’，得到融合后图像；其中，R’＝K1*Y’；G’＝K2*Y’；B’＝K3*Y’。

其中，关于本实施例的步骤b1-b4的具体描述内容可以参照上述第一方面所提供实施例在介绍图像融合设备时所给出的相应描述内容，在此不做赘述。

具体的，在另一种具体实现方式中，所述将该色彩信号和该亮度信号进行融合处理，得到融合后图像的步骤，包括：

步骤c1，将该色彩信号转换为YUV信号，该YUV信号为明亮度及色度信号；

步骤c2，提取该YUV信号中的色度UV分量；

步骤c3，对该UV分量与该亮度信号进行组合，形成新的YUV信号；

步骤c4，将所形成的新的YUV信号确定为融合后图像，或者，将所形成的新的YUV信号转换为RGB信号，并将转换为的RGB信号确定为融合后图像。

其中，关于本实施例的步骤c1-c4的具体描述内容可以参照上述第一方面所提供实施例在介绍图像融合设备时所给出的相应描述内容，在此不做赘述。

另外，该图像融合设备在将该目标光转换为图像信号的过程中，可以在同一帧时间内进行多次曝光采集，其中，单次或多次曝光可以通过人工方式设定，当然，并不局限于此。

并且，对于图像融合设备在同一帧时间内进行多次曝光采集而言，将该图像信号解析为色彩信号以及对红外波段感光的亮度信号的过程，可以包括：

利用第一类曝光形成的图像信号，解析得到色彩信号；

利用第二类曝光形成的图像信号，解析得到对红外波段感光的亮度信号。

其中，第一类曝光和第二类曝光可以为相同曝光时长也可以为不同曝光时长，当第一类曝光和第二类曝光为不同曝光时长时，第一类曝光的曝光时长可以小于第二类曝光的曝光时长，当然，第一类曝光的曝光时长也可以大于第二类曝光的曝光时长，这都是合理的。

具体的，利用第一类曝光形成的图像信号，解析得到色彩信号具体可以包括：

对第一类曝光形成的图像信号中的IR通道进行插值运算，得到各个像素位置的IR通道的值；

遍历该第一类曝光形成的图像信号，将所遍历到的R通道、G通道或B通道的值减去对应像素位置相应的IR参数值，该IR参数值为对应像素位置的IR通道的值与预设修正值的乘积；

分别对该第一类曝光形成的图像信号中R通道、G通道和B通道进行插值运算，生成与所述输入分辨率相同的色彩信号；

相应地，利用第二类曝光形成的图像信号，解析得到对红外波段感光的亮度信号具体可以包括：

对第二类曝光形成的图像信号中的IR通道进行插值运算，生成与输入分辨率相同的、且对红外波段感光的亮度信号，其中，该输入分辨率为该图像信号具有的分辨率。

上述过程所涉及的任一通道的插值可以采用双线性、双三次插值算法，当然并不局限于此。

并且，为了保证红外信号充足，可以利用短曝光形成的图像信号来解析得到色彩信号，而利用长曝光形成的图像信号来解析得到亮度信号，以保证图像质量，此时，第一类曝光的曝光时长小于第二类曝光的曝光时长。

通过本发明实施例所提供的图像融合方法，可以降低从色彩信号中去除红外成分的运算量，提高了融合效率，同时，实现了通过结构简单的图像融合设备来采集双波段图像的目的。

第四方面，基于上述第二方面所提供的图像融合设备，本发明实施例还提供了一种图像融合方法，应用于本发明实施例第二方面所提供的图像融合设备，该图像融合设备具有四类感光通道，所述四类感光通道包括：红绿蓝RGB通道和全波段W通道；如图15所示，所述方法可以包括如下步骤：

S1501，对入射光中第一预定波长区间的光谱进行阻挡，得到目标光，该第一预定波长区间为：该图像融合设备的图像传感器中RGB通道与W通道在红外波段上响应差别高于第一预定阈值的光谱的波长区间；

S1502，通过该RGB通道和该W通道，将该目标光转换为图像信号；

其中，通过该RGB通道和W通道，将该目标光转换为图像信号的具体实现方式可以采用现有技术中的任一实现方式中，在此不做限定。

S1503，将该图像信号解析为色彩信号和亮度信号，并将该色彩信号和该亮度信号进行融合处理，得到融合后图像，其中，该色彩信号为基于R通道、G通道或B通道解析得到的信号。

需要强调的是，通过对入射光中第一预定波长区间的光谱进行阻挡，使得近红外波段中各通道量子效率反差较大的部分被滤除，从而简化图像处理器从色彩信号中去除红外成分的运算，提高了融合效率。其中，第一预定阈值的具体值可以根据实际情况设定，在此不做限定。

可选地，为了让红外波段和可见光波段通过，该第一预定波长区间可以为[T1,T2]，其中，T1的值处于区间[600nm,800nm]内，T2的值处于区间[750nm，1100nm]内。

其中，图像融合设备的具体结构可以参照第二方面所示实施例所描述的内容，在此不做赘述。

需要说明的是，该色彩信号具体可以由R通道、G通道或B通道的值减去与对应像素位置相应的IR参数值后所形成，该IR参数值为对应像素位置的IR值与第二预设修正值的乘积，该IR值为采用预定计算公式所计算得到的值。其中，通过将所遍历的R通道、G通道或B通道的值分别减去与对应像素位置相应的IR参数值，即去除色彩信号中的红外成分，可以避免色彩信号中红外成分与RGB三类信号成分进行串扰，提升低照度下的图像效果。并且，需要强调的是，该第一预设修正值和第二预设修正值可以根据实际情况进行设定。举例而言，该第一预设修正值通常可以设为2，当然，可以根据实际情况，将该第一预设修正值设为0至1024中的任一整数或小数，而本领域技术人员可以理解的是，第一预设修正值的取值并不局限于此；类似的，该第二预设修正值通常可以设为1，当然，可以根据实际情况，将该第二预设修正值设为0至1024中的任一整数或小数，但本领域技术人员可以理解的是，第二预设修正值的取值并不局限于此。

可选地，在一种具体实现方式中，所述将该图像信号解析为色彩信号和亮度信号的步骤，包括：

步骤d1，对该图像信号中的W通道进行插值运算，生成与输入分辨率相同的亮度信号，其中，该输入分辨率为该图像信号所具有的分辨率；

步骤d2，分别对该图像信号中R通道、G通道和B通道进行插值运算，生成与该输入分辨率相同的各通道图像信号；

步骤d3，遍历各通道图像信号，采用预定公式计算各像素位置的IR值，其中，该预定公式为(R+G+B-W)/n，R为像素对应的R通道的值，G为像素对应的G通道的值，B为像素对应的B通道的值，W为像素对应的W通道的值，n为第一预设修正值；

步骤d4，遍历各通道图像信号，将所遍历到的R通道、G通道或B通道的值减去与对应像素位置相应的IR参数值，生成色彩信号，该IR参数值为对应像素位置的IR值与第二预设修正值的乘积。

其中，关于本实施例的步骤d1-d4的具体描述内容可以参照上述第二方面所提供实施例在介绍图像融合设备时所给出的相应描述内容，在此不做赘述。

需要说明的是，将该色彩信号和亮度信号进行融合处理从而得到融合后图像的具体实现方式存在多种。下面结合两种进行详细介绍。

具体的，在一种具体实现方式中，所述将该色彩信号和该亮度信号进行融合处理，得到融合后图像的步骤，可以包括：

步骤e1，根据该色彩信号，计算各个像素对应的辅助值Y，其中，Y＝(R*w1+G*w2+B*w3)/(w1+w2+w3)，R为像素对应的R通道的值，G为像素对应的G通道的值，B为像素对应的B通道的值，w1、w2和w3为权重值；

步骤e2，计算所述色彩信号中各个通道值与辅助值Y的比例，得到各个像素对应的参考通道值K1、K2和K3，其中，K1＝R/Y，K2＝G/Y，K3＝B/Y；

步骤e3，对该参考通道值K1、K2和K3进行色彩降噪处理；

步骤e4，将对应像素上的亮度信号Y’与色彩降噪后的参考通道值K1-K3进行融合处理，生成融合后的RGB三通道值R’、G’和B’，得到融合后图像；其中，R’＝K1*Y’；G’＝K2*Y’；B’＝K3*Y’。

其中，关于本实施例的步骤e1-e4的具体描述内容可以参照上述第二方面所提供实施例在介绍图像融合设备时所给出的相应描述内容，在此不做赘述。

具体的，在另一种具体实现方式中，所述将该色彩信号和该亮度信号进行融合处理，得到融合后图像的步骤，可以包括：

步骤f1，将该色彩信号转换为YUV信号，该YUV信号为明亮度及色度信号；

步骤f2，提取该YUV信号中的色度UV分量；

步骤f3，对该UV分量与该亮度信号进行组合，形成新的YUV信号；

步骤f4，将所形成的新的YUV信号确定为融合后图像，或者，将所形成的新的YUV信号转换为RGB信号，并将转换为的RGB信号确定为融合后图像。

其中，关于本实施例的步骤f1-f4的具体描述内容可以参照上述第二方面所提供实施例在介绍图像融合设备时所给出的相应描述内容，在此不做赘述。

另外，该图像融合设备在将该目标光转换为图像信号的过程中，可以在同一帧时间内进行多次曝光采集，其中，单次或多次曝光可以通过人工方式设定，当然，并不局限于此。

并且，对于图像融合设备在同一帧时间内进行多次曝光采集而言，将该图像信号解析为色彩信号以及对红外波段感光的亮度信号的过程，可以包括：

利用第一类曝光形成的图像信号，解析得到色彩信号；

利用第二类曝光形成的图像信号，解析得到亮度信号。

其中，第一类曝光和第二类曝光可以为相同曝光时长也可以为不同曝光时长，当第一类曝光和第二类曝光为不同曝光时长时，第一类曝光的曝光时长可以小于第二类曝光的曝光时长，当然，第一类曝光的曝光时长也可以大于第二类曝光的曝光时长，这都是合理的。

具体的，利用第一类曝光形成的图像信号，解析得到色彩信号具体可以包括：

分别对第一类曝光形成的图像信号中R通道、G通道和B通道插值，生成与输入分辨率相同的各通道图像信号；

遍历该各通道图像信号，采用预定公式计算各像素位置的IR值，其中，该预定公式为(R+G+B-W)/n，R为像素对应的R通道的值，G为像素对应的G通道的值，B为像素对应的B通道上的值，W为像素对应的W通道的值，n为第一预设修正值；

遍历该各通道图像信号，将所遍历到的R通道、G通道或B通道的值减去与对应像素位置相应的IR参数值，生成色彩信号，其中，该IR参数值为对应像素位置的IR值与第二预设修正值的乘积；

相应地，利用第二类曝光形成的图像信号，解析得到亮度信号具体可以包括：

对第二类曝光形成的图像信号中的W通道插值，生成与输入分辨率相同的亮度信号，其中，该输入分辨率为该图像信号所具有的分辨率。

上述过程所涉及的任一通道的插值可以采用双线性、双三次插值算法，当然并不局限于此。

通过本发明实施例所提供的图像融合方法，可以降低从色彩信号中去除红外成分的运算量，提高了融合效率，同时，实现了通过结构简单的图像融合设备来采集双波段图像的目的。

另外，本发明实施例所涉及的“第一类”、“第二类”、“第三类”、“第四类”、“第一”和“第二”等词汇仅仅用于从命名上区分同一类型的对象，以使得引用这些对象时更加方便且清楚，并不具有任何限定意义。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (13)

1.一种图像融合设备，其特征在于，包括：

光采集装置、图像处理器，以及具有四类感光通道的图像传感器，所述四类感光通道包括：红绿蓝RGB通道和全波段W通道；

所述光采集装置，用于对入射光中第一预定波长区间的光谱进行阻挡，得到目标光，所述第一预定波长区间为：所述图像传感器中RGB通道与W通道在红外波段上响应差别高于第一预定阈值的光谱的波长区间；

所述图像传感器，用于通过所述RGB通道和所述W通道，将所述目标光转换为图像信号；其中，所述将所述目标光转换为图像信号包括：在同一帧时间内进行多次曝光采集图像信号，采集到的图像信号包括：利用第一类曝光形成的图像信号和利用第二类曝光形成的图像信号；所述图像传感器将所述目标光转换为图像信号时，在红外波段的第二预定波长区间内RGB通道间的响应差别低于第二预定阈值；

所述图像处理器，用于将所述采集到的图像信号解析为色彩信号和亮度信号，并将所述色彩信号和所述亮度信号进行融合处理，得到融合后图像，其中，所述色彩信号为基于R通道、G通道或B通道解析得到的信号；

其中，所述色彩信号由R通道、G通道或B通道的值减去与对应像素位置相应的IR参数值后所形成，所述IR参数值为对应像素位置的IR值与第二预设修正值的乘积，所述IR值为采用预定计算公式所计算得到的值；所述图像处理器将所述采集到的图像信号解析为色彩信号和亮度信号的过程包括：

对所述采集到的图像信号中的W通道进行插值运算，生成与输入分辨率相同的亮度信号，其中，所述输入分辨率为所述采集到的图像信号所具有的分辨率；分别对所述图像信号中R通道、G通道和B通道进行插值运算，生成与所述输入分辨率相同的各通道图像信号；遍历所述各通道图像信号，采用预定公式计算各像素位置的IR值，其中，所述预定公式为(R+G+B-W)/n，R为像素对应的R通道的值，G为像素对应的G通道的值，B为像素对应的B通道的值，W为像素对应的W通道的值，n为第一预设修正值；遍历所述各通道图像信号，将所遍历到的R通道、G通道或B通道的值减去与对应像素位置相应的IR参数值，生成色彩信号，所述IR参数值为对应像素位置的IR值与第二预设修正值的乘积；

所述图像处理器将所述采集到的图像信号解析为色彩信号和亮度信号的过程，包括：利用所述第一类曝光形成的图像信号，解析得到色彩信号；利用所述第二类曝光形成的图像信号，解析得到亮度信号。

2.根据权利要求1所述的图像融合设备，其特征在于，所述图像处理器将所述色彩信号和所述亮度信号进行融合处理，得到融合后图像的过程，包括：

将所述色彩信号转换为YUV信号，所述YUV信号为明亮度及色度信号；

提取所述YUV信号中的色度UV分量；

对所述UV分量与所述亮度信号进行组合，形成新的YUV信号；

将所形成的新的YUV信号确定为融合后图像，或者，将所形成的新的YUV信号转换为RGB信号，并将转换为的RGB信号确定为融合后图像。

3.根据权利要求1-2任一项所述的图像融合设备，其特征在于，所述光采集装置包括：带阻滤光片和第一类光学镜头；

所述第一类光学镜头，用于以全光谱透射方式将入射光透射至所述带阻滤光片；

所述带阻滤光片，用于将所述第一类光学镜头所透过的光中的所述第一预定波长区间的光谱进行阻挡，以得到目标光。

4.根据权利要求1-2任一项所述的图像融合设备，其特征在于，所述光采集装置包括：能够阻挡所述第一预定波长区间的光谱的第二类光学镜头。

5.根据权利要求1-2任一项所述的图像融合设备，其特征在于，所述第一预定波长区间为[T1,T2]，其中，T1的值处于区间[600nm,800nm]内，T2的值处于区间[750nm，1100nm]内。

6.根据权利要求1所述的图像融合设备，其特征在于，所述第二预定波长区间为[T3,T4]，其中，T4大于T3，且T3大于等于750nm，T4小于等于1100nm。

7.根据权利要求1所述的图像融合设备，其特征在于，还包括：信号控制器，用于调控所述图像传感器形成符合预定亮度要求的图像信号。

8.根据权利要求7所述的图像融合设备，其特征在于，所述信号控制器具体用于对所述图像传感器所形成的图像信号进行亮度统计，并根据统计结果调控所述图像传感器形成符合预定亮度要求的图像信号。

9.根据权利要求7所述的图像融合设备，其特征在于，所述信号控制器还用于控制所述图像传感器在单次曝光采集和多次曝光采集之间切换。

10.根据权利要求7所述的图像融合设备，其特征在于，还包括：红外补光器；所述信号控制器还用于控制所述红外补光器对所述图像传感器进行红外补光。

11.一种图像融合方法，其特征在于，应用于图像融合设备，所述图像融合设备具有四类感光通道，所述四类感光通道包括：红绿蓝RGB通道和全波段W通道；所述方法包括：

对入射光中第一预定波长区间的光谱进行阻挡，得到目标光，所述第一预定波长区间为：所述图像融合设备的图像传感器中RGB通道与W通道在红外波段上响应差别高于第一预定阈值的光谱的波长区间；

通过所述RGB通道和所述W通道，将所述目标光转换为图像信号；其中，所述将所述目标光转换为图像信号包括：在同一帧时间内进行多次曝光采集图像信号，采集到的图像信号包括：利用第一类曝光形成的图像信号和利用第二类曝光形成的图像信号；所述图像传感器将所述目标光转换为图像信号时，在红外波段的第二预定波长区间内RGB通道间的响应差别低于第二预定阈值；

将所述采集到的图像信号解析为色彩信号和亮度信号，并将所述色彩信号和所述亮度信号进行融合处理，得到融合后图像，其中，所述色彩信号为基于R通道、G通道或B通道解析得到的信号；

其中，所述色彩信号由R通道、G通道或B通道的值减去与对应像素位置相应的IR参数值后所形成，所述IR参数值为对应像素位置的IR值与预设修正值的乘积，所述IR值为采用预定计算公式所计算得到的值；所述将所述采集到的图像信号解析为色彩信号和亮度信号的步骤，包括：

对所述采集到的图像信号中的W通道进行插值运算，生成与输入分辨率相同的亮度信号，其中，所述输入分辨率为所述采集到的图像信号所具有的分辨率；分别对所述图像信号中R通道、G通道和B通道进行插值运算，生成与所述输入分辨率相同的各通道图像信号；遍历所述各通道图像信号，采用预定公式计算各像素位置的IR值，其中，所述预定公式为(R+G+B-W)/n，R为像素对应的R通道的值，G为像素对应的G通道的值，B为像素对应的B通道的值，W为像素对应的W通道的值，n为第一预设修正值；遍历所述各通道图像信号，将所遍历到的R通道、G通道或B通道的值减去与对应像素位置相应的IR参数值，生成色彩信号，所述IR参数值为对应像素位置的IR值与第二预设修正值的乘积；

将所述采集到的图像信号解析为色彩信号以及对红外波段感光的亮度信号的过程，包括：利用所述第一类曝光形成的图像信号，解析得到色彩信号；利用所述第二类曝光形成的图像信号，解析得到对红外波段感光的亮度信号。

12.根据权利要求11所述的方法，其特征在于，所述将所述色彩信号和所述亮度信号进行融合处理，得到融合后图像的步骤，包括：

根据所述色彩信号，计算各个像素对应的辅助值Y，其中，Y＝(R*w1+G*w2+B*w3)/(w1+w2+w3)，R为像素对应的R通道的值，G为像素对应的G通道的值，B为像素对应的B通道的值，w1、w2和w3为权重值；计算所述色彩信号中各个通道值与辅助值Y的比例，得到各个像素对应的参考通道值K1、K2和K3，其中，K1＝R/Y，K2＝G/Y，K3＝B/Y；对所述参考通道值K1、K2和K3进行色彩降噪处理；将对应像素上的亮度信号Y1’、Y2’和Y3’与色彩降噪后的参考通道值K1、K2和K3进行融合处理，生成融合后的RGB三通道值R’、G’和B’，得到融合后图像；其中，R’＝色彩降噪后的参考通道值K1*Y1’；G’＝色彩降噪后的参考通道值K2*Y2’；B’＝色彩降噪后的参考通道值K3*Y3’。

13.根据权利要求11所述的方法，其特征在于，所述将所述色彩信号和所述亮度信号进行融合处理，得到融合后图像的步骤，包括：

将所述色彩信号转换为YUV信号，所述YUV信号为明亮度及色度信号；

提取所述YUV信号中的色度UV分量；

对所述UV分量与所述亮度信号进行组合，形成新的YUV信号；

将所形成的新的YUV信号确定为融合后图像，或者，将所形成的新的YUV信号转换为RGB信号，并将转换为的RGB信号确定为融合后图像。

Images