[go: up one dir, main page]

CN114693581B - 图像融合处理方法、装置、设备及存储介质 - Google Patents

图像融合处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114693581B
CN114693581B CN202210618014.4A CN202210618014A CN114693581B CN 114693581 B CN114693581 B CN 114693581B CN 202210618014 A CN202210618014 A CN 202210618014A CN 114693581 B CN114693581 B CN 114693581B
Authority
CN
China
Prior art keywords
infrared
pixel
image
value
thermal imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210618014.4A
Other languages
English (en)
Other versions
CN114693581A (zh
Inventor
段炼
梁书玉
周波
苗瑞
邹小刚
莫少锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Haiqing Zhiyuan Technology Co ltd
Original Assignee
Shenzhen HQVT Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen HQVT Technology Co Ltd filed Critical Shenzhen HQVT Technology Co Ltd
Priority to CN202210618014.4A priority Critical patent/CN114693581B/zh
Publication of CN114693581A publication Critical patent/CN114693581A/zh
Application granted granted Critical
Publication of CN114693581B publication Critical patent/CN114693581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Radiation Pyrometers (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本申请提供一种图像融合处理方法、装置、设备及存储介质。该方法包括：获取对同一目标物体进行图像采集的热成像图像、可见光图像和近红外图像；可见光图像和近红外图像的分辨率相同，近红外图像的分辨率大于热成像图像的分辨率；近红外图像中每个近红外像素对应有亮度值；热成像图像中每个热成像像素对应有第一热度值；根据近红外图像的分辨率与热成像图像的分辨率，确定每个热成像像素对应的M*N个近红外像素；M和N均为大于1的整数；针对M*N个近红外像素中每个近红外像素，根据近红外像素的亮度值和近红外像素对应的第一热度值，确定近红外像素的目标热度值；根据近红外像素的目标热度值对可见光图像进行插值，得到融合后的目标图像。

Description

图像融合处理方法、装置、设备及存储介质
技术领域
本申请涉及图像处理技术，尤其涉及一种图像融合处理方法、装置、设备及存储介质。
背景技术
热成像是通过接收场景发出的红外线辐射，并将红外线辐射转换成指示热模式的热成像图像的技术。由于其不受光线影响，因此，被广泛应用于监测领域。
目前主流的热成像摄像头的分辨率仅能够达到2-8万像素，使得热成像图像对于一些图像细节无法显示。市场上虽然也存在高分辨率的热成像相机，但成本较高。因此，有人提出了将热成像图像提供的热值像素以一定的规律融合到可见光图像当中，以对热成像图像进行图像增强，但是融合效果较差，使得图像增强前后差异较小。
发明内容
本申请提供一种图像融合处理方法、装置、设备及存储介质，用以解决对热成像图像进行图像增强，但是融合效果较差，使得图像增强前后差异较小的问题。
第一方面，本申请提供一种图像融合处理方法，包括：获取对同一目标物体进行图像采集得到的热成像图像、可见光图像和近红外图像；所述可见光图像和所述近红外图像的分辨率相同，且所述近红外图像的分辨率大于所述热成像图像的分辨率；所述近红外图像中每个近红外像素对应有亮度值；所述热成像图像中每个热成像像素对应有第一热度值；根据所述近红外图像的分辨率与所述热成像图像的分辨率，确定所述热成像图像中每个热成像像素对应的M*N个近红外像素；所述M和所述N均为大于1的整数；针对所述M*N个近红外像素中每个近红外像素，根据所述近红外像素的亮度值和所述近红外像素对应的热成像像素的第一热度值，确定所述近红外像素的目标热度值；根据所述近红外像素的目标热度值对所述可见光图像进行插值，得到对所述热成像图像、所述可见光图像和所述近红外图像融合后的目标图像。
可选的，所述针对所述M*N个近红外像素中每个近红外像素，根据所述近红外像素的亮度值和所述近红外像素对应的热成像像素的第一热度值，确定所述近红外像素的目标热度值，包括：根据所述M*N个近红外像素对应的热成像像素的第一热度值与所述M*N个近红外像素的乘积，确定所述M*N个近红外像素的第一热度值总和；针对所述M*N个近红外像素中每个近红外像素，根据所述近红外像素的亮度值和所述M*N个近红外像素的亮度值总和，确定所述近红外像素在所述M*N个近红外像素中的亮度值占比；根据所述M*N个近红外像素的第一热度值总和，与，所述近红外像素在所述M*N个近红外像素中的亮度值占比的乘积，确定所述近红外像素的目标热度值。
可选的，所述针对所述M*N个近红外像素中每个近红外像素，根据所述近红外像素的亮度值和所述近红外像素对应的热成像像素的第一热度值，确定所述近红外像素的目标热度值，包括：根据所述M*N个近红外像素对应的热成像像素的第一热度值与所述M*N个近红外像素的乘积，确定所述M*N个近红外像素的第一热度值总和；针对所述M*N个近红外像素中每个近红外像素，根据所述近红外像素的亮度值和所述M*N个近红外像素的亮度值总和，确定所述近红外像素在所述M*N个近红外像素中的亮度值占比；根据所述M*N个近红外像素的第一热度值总和，与，所述近红外像素在所述M*N个近红外像素中的亮度值占比的乘积，确定所述近红外像素的第二热度值；根据所述M*N个近红外像素对应的热成像像素与相邻热成像像素之间的第一热度值的差值，确定所述近红外像素的热度偏移值；根据所述近红外像素的第二热度值和所述热度偏移值，确定所述近红外像素的目标热度值。
可选的，所述根据所述M*N个近红外像素对应的热成像像素与相邻热成像像素之间的第一热度值的差值，确定所述近红外像素的热度偏移值，包括：确定所述M*N个近红外像素中的中心像素点到边缘像素点之间的距离；确定所述M*N个近红外像素对应的热成像像素与相邻热成像像素之间的第一热度值的差值；根据所述第一热度值的差值与所述距离的比值，得到所述近红外像素的热度偏移值。
可选的，所述根据所述近红外像素的第二热度值和所述热度偏移值，确定所述近红外像素的目标热度值，包括：根据所述近红外像素的第二热度值，与，所述热度偏移值和相邻像素热度值影响系数的乘积之和，得到所述近红外像素的目标热度值。
可选的，所述根据所述近红外像素的目标热度值对所述可见光图像进行插值，得到对所述热成像图像、所述可见光图像和所述近红外图像融合后的目标图像，包括：根据所述近红外像素与所述可见光图像中可见光像素之间的对应关系，将所述近红外像素的目标热度值插入所述近红外像素对应的可见光像素，得到所述可见光像素的目标热度值。
可选的，所述根据所述近红外像素的目标热度值对所述可见光图像进行插值，得到对所述热成像图像、所述可见光图像和所述近红外图像融合后的目标图像，包括：根据所述近红外像素与所述可见光图像中可见光像素之间的对应关系，将所述近红外像素的目标热度值插入所述近红外像素对应的可见光像素，得到所述可见光像素的初始热度值；根据所述近红外图像中最大目标热度值与最小目标热度值之间的热度差，对所述可见光像素的初始热度值进行调整，得到所述可见光像素的目标热度值。
可选的，所述根据所述近红外图像中最大目标热度值与最小目标热度值之间的热度差，对所述可见光像素的初始热度值进行调整，得到所述可见光像素的目标热度值，包括：确定所述近红外图像中最大目标热度值与最小目标热度值之间的热度差，与目标颜色值的目标比值；将所述目标比值与所述可见光像素的初始热度值的乘积，确定为所述可见光像素的目标热度值。
可选的，所述近红外图像的分辨率为Wir*Hir，所述热成像图像的分辨率为Wt*Ht；所述根据所述近红外图像的分辨率与所述热成像图像的分辨率，确定所述热成像图像中每个热成像像素对应的M*N个近红外像素，包括：根据所述近红外图像的分辨率与所述热成像图像的分辨率的比值，得到所述热成像图像中每个热成像像素对应的M*N个近红外像素；其中，所述M的取值等于所述Wir与所述Wt的比值，所述N的取值等于所述Hir与所述Ht的比值。
第二方面，本申请提供一种图像融合处理装置，包括：获取模块，用于获取对同一目标物体进行图像采集得到的热成像图像、可见光图像和近红外图像；所述可见光图像和所述近红外图像的分辨率相同，且所述近红外图像的分辨率大于所述热成像图像的分辨率；所述近红外图像中每个近红外像素对应有亮度值；所述热成像图像中每个热成像像素对应有第一热度值；确定模块，用于根据所述近红外图像的分辨率与所述热成像图像的分辨率，确定所述热成像图像中每个热成像像素对应的M*N个近红外像素；所述M和所述N均为大于1的整数；所述确定模块，还用于针对所述M*N个近红外像素中每个近红外像素，根据所述近红外像素的亮度值和所述近红外像素对应的热成像像素的第一热度值，确定所述近红外像素的目标热度值；插值模块，用于根据所述近红外像素的目标热度值对所述可见光图像进行插值，得到对所述热成像图像、所述可见光图像和所述近红外图像融合后的目标图像。
第三方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面所述的方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面所述的方法。
第五方面，本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如第一方面所述的方法。
本申请提供的图像融合处理方法、装置、设备及存储介质，通过获取对同一目标物体进行图像采集得到的热成像图像、可见光图像和近红外图像；可见光图像和近红外图像的分辨率相同，且近红外图像的分辨率大于热成像图像的分辨率；近红外图像中每个近红外像素对应有亮度值；热成像图像中每个热成像像素对应有第一热度值；根据近红外图像的分辨率与热成像图像的分辨率，确定热成像图像中每个热成像像素对应的M*N个近红外像素；M和N均为大于1的整数；针对M*N个近红外像素中每个近红外像素，根据近红外像素的亮度值和近红外像素对应的热成像像素的第一热度值，确定近红外像素的目标热度值；根据近红外像素的目标热度值对可见光图像进行插值，得到对热成像图像、可见光图像和近红外图像融合后的目标图像。由于根据近红外图像的分辨率与热成像图像的分辨率，确定热成像图像中每个热成像像素对应的M*N个近红外像素，找出热成像图像与近红外图像中像素之间的对应关系，并根据每个近红外像素的亮度值和每个近红外像素对应的热成像像素的第一热度值，重新确定每个近红外像素的目标热度值，而每个近红外像素的亮度值能够反映出目标物体表面的细节差异，因此，使用重新确定的每个近红外像素的目标热度值进行图像融合，能够达到增强热成像图像分辨率的效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的应用场景图；
图2为本申请实施例提供的图像融合处理方法的流程图一；
图3为本申请实施例提供的近红外图像与热成像图像的分辨率关系图；
图4为本申请实施例提供的图像融合处理方法的流程图二；
图5为本申请实施例提供的图像融合处理方法的流程图三；
图6为本申请实施例提供的确定近红外像素的热度偏移值的示例图；
图7为本申请实施例提供的图像融合处理装置的结构示意图；
图8为本申请实施例提供的电子设备的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
热成像技术是指利用红外探测器和光学成像物镜接收被测目标的红外辐射能量分布图形反映到红外探测器的光敏元件上，从而获得红外热像图，这种热像图与物体表面的热分布场相对应。通俗地讲红外热像仪就是将物体发出的不可见红外能量转变为可见的热图像，热图像上面的不同颜色代表被测物体的不同温度。
自然界中的一切物体，无论是北极冰川，还是火焰、人体，甚至极寒冷的宇宙深空，只要温度高于绝对零度-273℃都会有红外辐射，物体的温度越高，分子或原子的热运动越剧烈，则红外辐射越强。热成像相机利用该原理，通过检测整个场景的热辐射数据，接收场景发出的红外线辐射，并将红外线辐射转换成指示热模式的红外线图像。
可见光相机捕获场景中光谱中的人眼可见的波段部分，转换成数字信号后形成可见的图像。
目前可见光的图像成像技术飞速发展，例如手机的中的图像采集器，其分辨率的像素总数甚至达到了一亿像素，常见的监控摄像机中，400万像素已经是基础配置。但在热成像图像领域，受限于采集单元的体积大小，成本等诸多因素，热成像的主流分辨率还停留在2~8万的级别。显然，在这样的分辨率下，对于一些图像中的细节显示就无能为力了。例如一定距离的指示灯，排线接口等，在热成像的图像中显示是模糊的一块。
在有限的成本上，要得到理想的热成像图像，有人提出了双光融合的方式，即将热成像图像提供的热值像素以一定的规律融合到可见光图像当中，但由于热成像图像与可见光图像的分辨率差异过大，使得最终的图像融合效果较差。
并且由于可见光图像融合只参考了可见光图像中颜色的部分进行插值填充，而实际上颜色本身受到场景的复杂光照影响，变化较大，无法真实的反应物体的结构，纹理特征等，只反应了亮度和色彩2个关系，对于立体结构导致的温度差异无法体现。
针对上述技术问题，本申请提出如下技术构思：通过集成有近红外镜头、热成像镜头和可见光镜头的图像采集设备分别获取近红外图像、热成像图像和可见光图像；其中，近红外图像和可见光图像的分辨率相同，而近红外图像的分辨率大于热成像图像，这意味着热成像图像中每个热成像像素对应近红外图像中的多个近红外像素，记为M*N个近红外像素。针对该M*N个近红外像素中每个近红外像素，图像采集设备还能够获取每个近红外像素的亮度值，而M*N个近红外像素中每个近红外像素的亮度在该M*N个近红外像素的亮度总和中的占比，与M*N个近红外像素中每个近红外像素的热度值在该M*N个近红外像素的热度值总和中的占比相同，根据这一原理，可以确定M*N个近红外像素中每个近红外像素的目标热度值，进而确定近红外图像中每个近红外像素的目标热度值。由于近红外图像与可见光图像的分辨率相同，因此，通过将近红外图像中每个近红外像素的目标热度值插入可见光图像中对应的可见光像素中，可以得到图像分辨率增强后的热成像图像。
图1为本申请实施例提供的应用场景图。如图1所示，该应用场景包括图像采集设备11和计算平台12；
其中，图像采集设备11包括热成像图像采集单元111、可见光图像采集单元112、近红外图像采集单元113和近红外发射器114；近红外图像采集单元113的前端设置有滤光单元115。可选的，热成像图像采集单元111可以是热成像摄像头，可见光图像采集单元112可以是可见光摄像头，近红外图像采集单元113可以是近红外摄像头，滤光单元115可以是窄带滤光片。
计算平台12可以为台式计算机、笔记本电脑、手机、服务器等具备图像数据处理功能的设备。
近红外图像采集单元113是一种特殊的可见光摄像头，在该摄像头的前端部署的窄带滤光片，只接收特定波段的光线。由近红外发射器114发射光线，光线到达物体后，反射到达近红外光图像采集单元，从而可以得到一副以近红外光图像采集单元的光轴方向照射下的单一光照画面，其成像特点是不易受到其他光线的干扰。其得到的近红外图像可以表示为Y（0，1....Wir*Hir）的矩阵。
然后，令热成像图像采集单元111，近红外图像采集单元113的视场角（Field OfView，FOV）角度和光轴角度均相同，则此时近红外镜头的宽高为Wir*Hir，热成像镜头宽高为Wt*Ht，根据分辨率比例，可求模M=Wir/Wt，N=Hir/Ht。即M*N个近红外像素覆盖区域的热量数值由一个热成像像素点表示。
本申请实施例提供的图像融合处理方法可以应用于如下一些场景：
在火灾监测时，通过将图像采集设备11设置在无人机上，以代替消防人员进入危险现场对火灾火情进行侦查。
在农作物监测时，例如将图像采集设备11设置在农业无人机上，以监测农作物健康状况。
在环境保护场景中，油、化学物品等污染物发出的热辐射与周围的土壤或水发出的辐射不同，通过图像采集设备11能够跟踪这些污染物并寻找源头。
在石化行业中，由于石油化工生产中的许多重要设备需要在高温高压条件下工作，存在一些潜在危险，因此对生产过程中的在线监测非常重要。通过图像采集设备11可以检测到产品和管道、耐火和隔热材料、各种反应炉的腐蚀、破裂、减薄、堵塞、泄漏等相关信息，可以迅速准确地得到设备和材料表面的二维温度分布。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图2为本申请实施例提供的图像融合处理方法的流程图一。如图2所示，该图像融合处理方法，包括：
S201、获取对同一目标物体进行图像采集得到的热成像图像、可见光图像和近红外图像；可见光图像和近红外图像的分辨率相同，且近红外图像的分辨率大于热成像图像的分辨率；近红外图像中每个近红外像素对应有亮度值；热成像图像中每个热成像像素对应有第一热度值。
本实施例的方法的执行主体可以是图1所示的计算平台。
通过图1所示的图像采集设备对同一目标物体进行图像采集可以得到热成像图像、可见光图像和近红外图像。这里的目标物体可以是森林、污染物、农作物、生产设备等任何需要通过热成像技术进行监测的对象。
具体的，是由近红外发射器发射光线，光线到达目标物体后，经过目标物体反射到达近红外镜头，从而可以得到一副以近红外镜头光轴方向照射下的单一光照画面，即近红外图像，其可以表示为一Y（0，1....Wir*Hir）的矩阵。然后，对热成像镜头与近红外光镜头的FOV角度和光轴角度进行调节，使得热成像镜头与近红外光镜头的FOV角度相同，光轴角度也相同。此时，近红外镜头的宽高为Wir*Hir，热成像镜头宽高为Wt*Ht，得到的热成像图像为（0，1....Wt*Ht）的矩阵。以及，对可见光镜头与近红外光镜头的FOV角度和光轴角度进行调节，使得可见光镜头与近红外光镜头的FOV角度相同，光轴角度也相同。此时，近红外镜头的宽高为Wir*Hir，可见光镜头宽高为Wir*Hir，由于可见光图像与近红外图像的分辨率相同，因此，可见光图像同样可以表示为（0，1....Wir*Hir）的矩阵。
其中，Wir*Hir可以用于表示可见光图像与近红外图像的分辨率，Wt*Ht可以用于表示热成像图像的分辨率；Wir*Hir大于Wt*Ht。
由于目标物体的表面反光强弱是由目标物体的材质、颜色、形状和距离等因素造成，例如在单一平面照射时，其亮度值应规律地沿着远离光心方向逐渐减少。因此，当近红外光源照射到目标物体时，目标物体还会返回光线照射到目标物体表面的强度值，即近红外像素的亮度值，以反映目标物体的材质、颜色、形状或距离等差异。近红外图像包括多个近红外像素，每个近红外像素对应有亮度值，即目标物体返回的强度值。
热成像图像包括多个热成像像素，每个热成像像素对应有热度值，用于反映目标物体的温度差异。
S202、根据近红外图像的分辨率与热成像图像的分辨率，确定热成像图像中每个热成像像素对应的M*N个近红外像素；M和N均为大于1的整数。
可选的，根据近红外图像的分辨率与热成像图像的分辨率，确定热成像图像中每个热成像像素对应的M*N个近红外像素，包括：根据近红外图像的分辨率与热成像图像的分辨率的比值，得到热成像图像中每个热成像像素对应的M*N个近红外像素；其中，M的取值等于Wir与Wt的比值，N的取值等于Hir与Ht的比值。本实施例是根据近红外图像的分辨率与热成像图像的分辨率的比例，确定热成像图像中每个热成像像素对应的M*N个近红外像素。具体的，是根据近红外图像的宽度与热成像图像的宽度的比值，得到M的取值；根据近红外图像的高度与热成像图像的高度的比值，得到N的取值。
图3为本申请实施例提供的近红外图像与热成像图像的分辨率关系图。如图3所示，近红外图像的分辨率大于热成像图像的分辨率，意味着近红外图像中多个近红外像素与热成像图像中一个热成像像素相对应。近红外图像的宽度Wir与热成像图像的宽度Wt的比值Wir/Wt即为M的取值，即M=Wir/Wt；近红外图像的高度Hir与热成像图像的宽度Ht的比值Hir/Ht即为N的取值，即N=Hir/Ht。即近红外图像中每M*N个近红外像素（图中箭头左边的阴影示出的矩形框）与热成像图像中一个热成像像素（图中箭头右边的阴影示出的矩形框）相对应，也可以理解为近红外图像中每M*N个近红外像素由热成像图像中的一个热成像像素表示。举例来说，假设近红外图像的分辨率为400万，热成像图像的分辨率为2万，则M*N=200，即热成像图像中每个热成像像素对应近红外图像中200个近红外像素。
S203、针对M*N个近红外像素中每个近红外像素，根据近红外像素的亮度值和近红外像素对应的热成像像素的第一热度值，确定近红外像素的目标热度值。
近红外像素的亮度值能够反映目标物体的材质、颜色、形状、与近红外镜头间的距离等细节差异。通过根据M*N个近红外像素中每个近红外像素的亮度值在M*N个近红外像素的亮度值总和中的占比，以及M*N个近红外像素中每个近红外像素的目标热度值在M*N个近红外像素的目标热度值总和中的占比相同的原理，可以确定M*N个近红外像素中每个近红外像素的目标热度值。进而，可以确定近红外图像中每个近红外像素的目标热度值。
S204、根据近红外像素的目标热度值对可见光图像进行插值，得到对热成像图像、可见光图像和近红外图像融合后的目标图像。
由于近红外像素的分辨率与可见光图像的分辨率相同，因此，近红外图像中的近红外像素与可见光图像中的像素是一一对应的关系，根据该一一对应的关系，可以将近红外图像中每个近红外像素的目标热度值赋值给可见光图像中每个可见光像素，实现可见光图像插值，得到对热成像图像、可见光图像和近红外图像融合后的目标图像。
本实施例通过获取对同一目标物体进行图像采集得到的热成像图像、可见光图像和近红外图像；可见光图像和近红外图像的分辨率相同，且近红外图像的分辨率大于热成像图像的分辨率；近红外图像中每个近红外像素对应有亮度值；热成像图像中每个热成像像素对应有第一热度值；根据近红外图像的分辨率与热成像图像的分辨率，确定热成像图像中每个热成像像素对应的M*N个近红外像素；M和N均为大于1的整数；针对M*N个近红外像素中每个近红外像素，根据近红外像素的亮度值和近红外像素对应的热成像像素的第一热度值，确定近红外像素的目标热度值；根据近红外像素的目标热度值对可见光图像进行插值，得到对热成像图像、可见光图像和近红外图像融合后的目标图像。由于根据近红外图像的分辨率与热成像图像的分辨率，确定热成像图像中每个热成像像素对应的M*N个近红外像素，找出热成像图像与近红外图像中像素之间的对应关系，并根据每个近红外像素的亮度值和每个近红外像素对应的热成像像素的第一热度值，重新确定每个近红外像素的目标热度值，而每个近红外像素的亮度值能够反映出目标物体表面的细节差异，因此，使用重新确定的每个近红外像素的目标热度值进行图像融合，能够达到增强热成像图像分辨率的效果。
图4为本申请实施例提供的图像融合处理方法的流程图二。如图4所示，图像融合处理方法中，针对M*N个近红外像素中每个近红外像素，根据近红外像素的亮度值和近红外像素对应的热成像像素的第一热度值，确定近红外像素的目标热度值，包括：
S401、根据M*N个近红外像素对应的热成像像素的第一热度值与M*N个近红外像素的乘积，确定M*N个近红外像素的第一热度值总和。
请继续参阅图3，设M*N个近红外像素对应的热成像像素的第一热度值为Tp，则根据物理世界中，M*N个近红外像素的第一热度值总和等于M*N个近红外像素对应的热成像像素的第一热度值与M*N个近红外像素的乘积，可以得到M*N个近红外像素的第一热度值总和为Tp*M*N。
S402、针对M*N个近红外像素中每个近红外像素，根据近红外像素的亮度值和M*N个近红外像素的亮度值总和，确定近红外像素在M*N个近红外像素中的亮度值占比。
设M*N个近红外像素的亮度值总和为S，M*N个近红外像素的亮度值为Yp，则每个近红外像素在M*N个近红外像素中的亮度值占比为Yp/S。
S403、根据M*N个近红外像素的第一热度值总和，与，近红外像素在M*N个近红外像素中的亮度值占比的乘积，确定近红外像素的目标热度值。
可选的，根据M*N个近红外像素的第一热度值总和，与，近红外像素在M*N个近红外像素中的亮度值占比的乘积，确定近红外像素的目标热度值，包括：根据M*N个近红外像素的第一热度值总和，与，近红外像素在M*N个近红外像素中的亮度值占比的乘积，得到近红外像素的第二热度值；将近红外像素的第二热度值，作为近红外像素的目标热度值。该实现方式可以表示为如下公式（1）：
Ty=Yp/S*（Tp*M*N）；（1）
式（1）中，Ty为近红外像素的第二热度值；Tp*M*N为M*N个近红外像素的第一热度值总和；Yp/S为每个近红外像素的亮度值在M*N个近红外像素中的亮度值占比。
图5为本申请实施例提供的图像融合处理方法的流程图三。如图5所示，图像融合处理方法中，针对M*N个近红外像素中每个近红外像素，根据近红外像素的亮度值和近红外像素对应的热成像像素的第一热度值，确定近红外像素的目标热度值，包括：
S501、根据M*N个近红外像素对应的热成像像素的第一热度值与M*N个近红外像素的乘积，确定M*N个近红外像素的第一热度值总和。
其中，步骤S501的具体实施方式与步骤S401的具体实施方式相同，具体可以参见步骤S401的具体实施方式的介绍，此处不再赘述。
S502、针对M*N个近红外像素中每个近红外像素，根据近红外像素的亮度值和M*N个近红外像素的亮度值总和，确定近红外像素在所述M*N个近红外像素中的亮度值占比。
其中，步骤S502的具体实施方式与步骤S402的具体实施方式相同，具体可以参见步骤S402的具体实施方式的介绍，此处不再赘述。
S503、根据M*N个近红外像素的第一热度值总和，与，近红外像素在M*N个近红外像素中的亮度值占比的乘积，确定近红外像素的第二热度值。
其中，步骤S503的具体实施方式与步骤S403的具体实施方式相同，具体可以参见步骤S403的具体实施方式的介绍，此处不再赘述。
S504、根据M*N个近红外像素对应的热成像像素与相邻热成像像素之间的第一热度值的差值，确定近红外像素的热度偏移值。
可选的，根据M*N个近红外像素对应的热成像像素与相邻热成像像素之间的第一热度值的差值，确定近红外像素的热度偏移值，包括：
步骤b1、确定M*N个近红外像素对应的热成像像素与相邻热成像像素之间的第一热度值的差值。
图6为本申请实施例提供的确定近红外像素的热度偏移值的示例图。如图6所示，针对热成像图像中每个热成像像素，以每个热成像像素为中心点，取3*3的热成像图像矩阵，并计算周围3*3热成像像素矩阵中热成像像素之间的热度值关系。
请继续参阅图6，假设3*3热成像像素矩阵中每个热成像像素记为pi，j，i取值为1，2，3；j取值为1，2，3。p1，2对应的热度值为31，p2，1对应的热度值为37，p2，2对应的热度值为38，p2，3对应的热度值为39，p3，2对应的热度值为21。按照图中从左到右的顺序，依次可以确定从p2，1到p2，2热度值增加值为1，从p2，2到p2，3热度值增加值为1。按照由上到下的顺序，依次可以确定从p1，2到p2，2热度值增加值为7，从p2，2到p3，2热度值增加值为-17，从而得到M*N个近红外像素对应的热成像像素与相邻热成像像素之间的第一热度值的差值，如附图中箭头右边的矩阵所示。
步骤b2、确定M*N个近红外像素中的中心像素点到边缘像素点之间的距离。
请继续参阅图6，箭头右边的3*3矩阵中中心像素点代表一个热成像像素对应的M*N个近红外像素。假设M*N个近红外像素中M取值为9，则M*N个近红外像素中的中心像素点到边缘像素点之间的距离为5。
需要说明的是，本实施例中步骤b1与步骤b2并不限制先后执行顺序，可以是先执行步骤b1，再执行步骤b2，也可以是先执行步骤b2，再执行步骤b1，还可以是同时执行步骤b1与步骤b2，本实施例对此不作限制。
步骤b3、根据第一热度值的差值与距离的比值，得到近红外像素的热度偏移值。
示例性地，将M*N个近红外像素中的中心像素点到边缘像素点之间的距离记为L，M*N个近红外像素对应的热成像像素与相邻热成像像素之间的第一热度值的差值记为K，则每个近红外像素的热度偏移值为K\L。
S505、根据近红外像素的第二热度值和热度偏移值，确定近红外像素的目标热度值。
可选的，根据近红外像素的第二热度值和热度偏移值，确定近红外像素的目标热度值，包括：根据近红外像素的第二热度值，与，热度偏移值和相邻像素热度值影响系数的乘积之和，得到近红外像素的目标热度值。具体可以表示为如下公式（2）：
Tyn=Ty+K\L*P；（2）
式（2）中，Tyn为近红外像素的目标热度值；Ty为近红外像素的第二热度值；K\L为每个近红外像素的热度偏移值；P为近红外像素周边的相邻近红外像素对近红外像素的热度值影响系数，其取值为0.1到0.5之间的常数。
请继续参阅图6，箭头右边的3*3矩阵中中心像素点代表一个热成像像素对应的M*N个近红外像素。假设M取值为9，而该M*N个近红外像素中第一排的9个近红外像素的第二热度值按照图中由左至右的顺序依次为1、2、3、4、5、6、6、4、2，每个近红外像素的热度偏移值为1\5=0.2。假设P取值为0.5，则是在M*N个近红外像素中第一排的9个近红外像素的第二热度值的基础上增加0.2*0.5=0.1，得到M*N个近红外像素中第一排的9个近红外像素的目标热度值按照图中由左至右的顺序依次为1.1、2.1、3.1、4.1、5.1、6.1、6.1、4.1、2.1。
在本申请的一个或多个实施例中，可选的，根据近红外像素的目标热度值对可见光图像进行插值，得到对热成像图像、可见光图像和近红外图像融合后的目标图像，包括：根据近红外像素与可见光图像中可见光像素之间的对应关系，将近红外像素的目标热度值插入近红外像素对应的可见光像素，得到可见光像素的目标热度值。具体的，是根据近红外像素与可见光图像中可见光像素之间的对应关系，将近红外像素的目标热度值插入近红外像素对应的可见光像素，得到可见光像素的初始热度值；将可见光像素的初始热度值作为可见光像素的目标热度值。
在本申请的一个或多个实施例中，可选的，根据近红外像素的目标热度值对可见光图像进行插值，得到对热成像图像、可见光图像和近红外图像融合后的目标图像，包括：
步骤c1、根据近红外像素与可见光图像中可见光像素之间的对应关系，将近红外像素的目标热度值插入近红外像素对应的可见光像素，得到可见光像素的初始热度值。
步骤c2、根据近红外图像中最大目标热度值与最小目标热度值之间的热度差，对可见光像素的初始热度值进行调整，得到可见光像素的目标热度值。
可选的，步骤c2包括：
步骤c21、确定近红外图像中最大目标热度值与最小目标热度值之间的热度差，与目标颜色值的目标比值。
步骤c22、将目标比值与可见光像素的初始热度值的乘积，确定为可见光像素的目标热度值。
根据上述实施例中的方法步骤，可以得到近红外图像中每个近红外像素的目标热度值；根据近红外图像中每个近红外像素的目标热度值，得到基于近红外光的热度插值表。
然后，将其插入与近红外镜头的FOV角度，光轴角度相同的可见光镜头采集到的可见光图像当中。
根据热度插值表中的最高热度值减去最低热度值，得到近红外图像中最大目标热度值与最小目标热度值之间的最大热度差值。因为可见光是由R（Red，红色）、G（Green，绿色）、B（Blue，蓝色）阵列组成，可以分别对每个像素点的颜色值进行比例加权。以R为例，对R进行比例加权，包括：将可见光图像的可见光像素点中最大的R值调整至255，其余可见光像素点的R值按比例进行加权，此时得到融合后的目标图像。例如温差30.0度，将30.0的小数点向右移动一位，得到色阶的阶数为300阶，则每个色阶的值为256/300，再乘以该可见光像素的初始热度值，就是最终需要显示的可见光像素的目标热度值。
在上述方法实施例的基础上，图7为本申请实施例提供的图像融合处理装置的结构示意图。如图7所示，该图像融合处理装置，包括：获取模块71、确定模块72和插值模块73；其中，获取模块71，用于获取对同一目标物体进行图像采集得到的热成像图像、可见光图像和近红外图像；所述可见光图像和所述近红外图像的分辨率相同，且所述近红外图像的分辨率大于所述热成像图像的分辨率；所述近红外图像中每个近红外像素对应有亮度值；所述热成像图像中每个热成像像素对应有第一热度值；确定模块72，用于根据所述近红外图像的分辨率与所述热成像图像的分辨率，确定所述热成像图像中每个热成像像素对应的M*N个近红外像素；所述M和所述N均为大于1的整数；所述确定模块72，还用于针对所述M*N个近红外像素中每个近红外像素，根据所述近红外像素的亮度值和所述近红外像素对应的热成像像素的第一热度值，确定所述近红外像素的目标热度值；插值模块73，用于根据所述近红外像素的目标热度值对所述可见光图像进行插值，得到对所述热成像图像、所述可见光图像和所述近红外图像融合后的目标图像。
可选的，所述确定模块72针对所述M*N个近红外像素中每个近红外像素，根据所述近红外像素的亮度值和所述近红外像素对应的热成像像素的第一热度值，确定所述近红外像素的目标热度值，具体包括：根据所述M*N个近红外像素对应的热成像像素的第一热度值与所述M*N个近红外像素的乘积，确定所述M*N个近红外像素的第一热度值总和；针对所述M*N个近红外像素中每个近红外像素，根据所述近红外像素的亮度值和所述M*N个近红外像素的亮度值总和，确定所述近红外像素在所述M*N个近红外像素中的亮度值占比；根据所述M*N个近红外像素的第一热度值总和，与，所述近红外像素在所述M*N个近红外像素中的亮度值占比的乘积，确定所述近红外像素的目标热度值。
可选的，所述确定模块72针对所述M*N个近红外像素中每个近红外像素，根据所述近红外像素的亮度值和所述近红外像素对应的热成像像素的第一热度值，确定所述近红外像素的目标热度值，具体包括：根据所述M*N个近红外像素对应的热成像像素的第一热度值与所述M*N个近红外像素的乘积，确定所述M*N个近红外像素的第一热度值总和；针对所述M*N个近红外像素中每个近红外像素，根据所述近红外像素的亮度值和所述M*N个近红外像素的亮度值总和，确定所述近红外像素在所述M*N个近红外像素中的亮度值占比；根据所述M*N个近红外像素的第一热度值总和，与，所述近红外像素在所述M*N个近红外像素中的亮度值占比的乘积，确定所述近红外像素的第二热度值；根据所述M*N个近红外像素对应的热成像像素与相邻热成像像素之间的第一热度值的差值，确定所述近红外像素的热度偏移值；根据所述近红外像素的第二热度值和所述热度偏移值，确定所述近红外像素的目标热度值。
可选的，所述确定模块72根据所述M*N个近红外像素对应的热成像像素与相邻热成像像素之间的第一热度值的差值，确定所述近红外像素的热度偏移值，具体包括：确定所述M*N个近红外像素中的中心像素点到边缘像素点之间的距离；确定所述M*N个近红外像素对应的热成像像素与相邻热成像像素之间的第一热度值的差值；根据所述第一热度值的差值与所述距离的比值，得到所述近红外像素的热度偏移值。
可选的，所述确定模块72根据所述近红外像素的第二热度值和所述热度偏移值，确定所述近红外像素的目标热度值，具体包括：根据所述近红外像素的第二热度值，与，所述热度偏移值和相邻像素热度值影响系数的乘积之和，得到所述近红外像素的目标热度值。
可选的，所述插值模块73根据所述近红外像素的目标热度值对所述可见光图像进行插值，得到对所述热成像图像、所述可见光图像和所述近红外图像融合后的目标图像，具体包括：根据所述近红外像素与所述可见光图像中可见光像素之间的对应关系，将所述近红外像素的目标热度值插入所述近红外像素对应的可见光像素，得到所述可见光像素的目标热度值。
可选的，所述插值模块73根据所述近红外像素的目标热度值对所述可见光图像进行插值，得到对所述热成像图像、所述可见光图像和所述近红外图像融合后的目标图像，具体包括：根据所述近红外像素与所述可见光图像中可见光像素之间的对应关系，将所述近红外像素的目标热度值插入所述近红外像素对应的可见光像素，得到所述可见光像素的初始热度值；根据所述近红外图像中最大目标热度值与最小目标热度值之间的热度差，对所述可见光像素的初始热度值进行调整，得到所述可见光像素的目标热度值。
可选的，所述插值模块73根据所述近红外图像中最大目标热度值与最小目标热度值之间的热度差，对所述可见光像素的初始热度值进行调整，得到所述可见光像素的目标热度值，具体包括：确定所述近红外图像中最大目标热度值与最小目标热度值之间的热度差，与目标颜色值的目标比值；将所述目标比值与所述可见光像素的初始热度值的乘积，确定为所述可见光像素的目标热度值。
可选的，所述近红外图像的分辨率为Wir*Hir，所述热成像图像的分辨率为Wt*Ht；所述插值模块73根据所述近红外图像的分辨率与所述热成像图像的分辨率，确定所述热成像图像中每个热成像像素对应的M*N个近红外像素，具体包括：根据所述近红外图像的分辨率与所述热成像图像的分辨率的比值，得到所述热成像图像中每个热成像像素对应的M*N个近红外像素；其中，所述M的取值等于所述Wir与所述Wt的比值，所述N的取值等于所述Hir与所述Ht的比值。
本申请实施例提供的图像融合处理装置，可用于执行上述实施例中图像融合处理方法的技术方案，其实现原理和技术效果类似，在此不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，确定模块72可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上确定模块72的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
图8为本申请实施例提供的电子设备的结构示意图。如图8所示，该电子设备可以包括：收发器81、处理器82、存储器83。
处理器82执行存储器存储的计算机执行指令，使得处理器82执行上述实施例中的方案。处理器82可以是通用处理器，包括中央处理器CPU、网络处理器（network processor，NP）等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器83通过系统总线与处理器82连接并完成相互间的通信，存储器83用于存储计算机程序指令。
收发器81可以用于获取对同一目标物体进行图像采集得到的热成像图像、可见光图像和近红外图像。
系统总线可以是外设部件互连标准（peripheral component interconnect，PCI）总线或扩展工业标准结构（extended industry standard architecture，EISA）总线等。系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。收发器用于实现数据库访问装置与其他计算机（例如客户端、读写库和只读库）之间的通信。存储器可能包含随机存取存储器（randomaccess memory，RAM），也可能还包括非易失性存储器（non-volatile memory）。
本申请实施例提供的电子设备，可以是上述实施例的计算平台。
本申请实施例还提供一种运行指令的芯片，该芯片用于执行上述实施例中图像融合处理方法的技术方案。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行上述实施例中图像融合处理方法的技术方案。
本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，其存储在计算机可读存储介质中，至少一个处理器可以从计算机可读存储介质读取计算机程序，至少一个处理器执行计算机程序时可实现上述实施例中图像融合处理方法的技术方案。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (12)

1.一种图像融合处理方法，其特征在于，包括：
获取对同一目标物体进行图像采集的热成像图像、可见光图像和近红外图像；所述可见光图像和所述近红外图像的分辨率相同，且所述近红外图像的分辨率大于所述热成像图像的分辨率；所述近红外图像中每个近红外像素对应有亮度值；所述热成像图像中每个热成像像素对应有第一热度值；
根据所述近红外图像的分辨率与所述热成像图像的分辨率，确定所述热成像图像中每个热成像像素对应的M*N个近红外像素；所述M和所述N均为大于1的整数；
针对所述M*N个近红外像素中每个近红外像素，根据所述近红外像素的亮度值和所述近红外像素对应的热成像像素的第一热度值，确定所述近红外像素的目标热度值；
根据所述近红外像素的目标热度值对所述可见光图像进行插值，得到对所述热成像图像、所述可见光图像和所述近红外图像融合后的目标图像。
2.根据权利要求1所述的方法，其特征在于，所述针对所述M*N个近红外像素中每个近红外像素，根据所述近红外像素的亮度值和所述近红外像素对应的热成像像素的第一热度值，确定所述近红外像素的目标热度值，包括：
根据所述M*N个近红外像素对应的热成像像素的第一热度值与所述M*N个近红外像素的乘积，确定所述M*N个近红外像素的第一热度值总和；
针对所述M*N个近红外像素中每个近红外像素，根据所述近红外像素的亮度值和所述M*N个近红外像素的亮度值总和，确定所述近红外像素在所述M*N个近红外像素中的亮度值占比；
根据所述M*N个近红外像素的第一热度值总和，与，所述近红外像素在所述M*N个近红外像素中的亮度值占比的乘积，确定所述近红外像素的目标热度值。
3.根据权利要求1所述的方法，其特征在于，所述针对所述M*N个近红外像素中每个近红外像素，根据所述近红外像素的亮度值和所述近红外像素对应的热成像像素的第一热度值，确定所述近红外像素的目标热度值，包括：
根据所述M*N个近红外像素对应的热成像像素的第一热度值与所述M*N个近红外像素的乘积，确定所述M*N个近红外像素的第一热度值总和；
针对所述M*N个近红外像素中每个近红外像素，根据所述近红外像素的亮度值和所述M*N个近红外像素的亮度值总和，确定所述近红外像素在所述M*N个近红外像素中的亮度值占比；
根据所述M*N个近红外像素的第一热度值总和，与，所述近红外像素在所述M*N个近红外像素中的亮度值占比的乘积，确定所述近红外像素的第二热度值；
根据所述M*N个近红外像素对应的热成像像素与相邻热成像像素之间的第一热度值的差值，确定所述近红外像素的热度偏移值；
根据所述近红外像素的第二热度值和所述热度偏移值，确定所述近红外像素的目标热度值。
4.根据权利要求3所述的方法，其特征在于，所述根据所述M*N个近红外像素对应的热成像像素与相邻热成像像素之间的第一热度值的差值，确定所述近红外像素的热度偏移值，包括：
确定所述M*N个近红外像素中的中心像素点到边缘像素点之间的距离；
确定所述M*N个近红外像素对应的热成像像素与相邻热成像像素之间的第一热度值的差值；
根据所述第一热度值的差值与所述距离的比值，得到所述近红外像素的热度偏移值。
5.根据权利要求3所述的方法，其特征在于，所述根据所述近红外像素的第二热度值和所述热度偏移值，确定所述近红外像素的目标热度值，包括：
根据所述近红外像素的第二热度值，与，所述热度偏移值和相邻像素热度值影响系数的乘积之和，得到所述近红外像素的目标热度值。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述近红外像素的目标热度值对所述可见光图像进行插值，得到对所述热成像图像、所述可见光图像和所述近红外图像融合后的目标图像，包括：
根据所述近红外像素与所述可见光图像中可见光像素之间的对应关系，将所述近红外像素的目标热度值插入所述近红外像素对应的可见光像素，得到所述可见光像素的目标热度值。
7.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述近红外像素的目标热度值对所述可见光图像进行插值，得到对所述热成像图像、所述可见光图像和所述近红外图像融合后的目标图像，包括：
根据所述近红外像素与所述可见光图像中可见光像素之间的对应关系，将所述近红外像素的目标热度值插入所述近红外像素对应的可见光像素，得到所述可见光像素的初始热度值；
根据所述近红外图像中最大目标热度值与最小目标热度值之间的热度差，对所述可见光像素的初始热度值进行调整，得到所述可见光像素的目标热度值。
8.根据权利要求7所述的方法，其特征在于，所述根据所述近红外图像中最大目标热度值与最小目标热度值之间的热度差，对所述可见光像素的初始热度值进行调整，得到所述可见光像素的目标热度值，包括：
确定所述近红外图像中最大目标热度值与最小目标热度值之间的热度差，与目标颜色值的目标比值；
将所述目标比值与所述可见光像素的初始热度值的乘积，确定为所述可见光像素的目标热度值。
9.根据权利要求1-5任一项所述的方法，其特征在于，所述近红外图像的分辨率为Wir*Hir，所述热成像图像的分辨率为Wt*Ht；
所述根据所述近红外图像的分辨率与所述热成像图像的分辨率，确定所述热成像图像中每个热成像像素对应的M*N个近红外像素，包括：
根据所述近红外图像的分辨率与所述热成像图像的分辨率的比值，得到所述热成像图像中每个热成像像素对应的M*N个近红外像素；
其中，所述M的取值等于所述Wir与所述Wt的比值，所述N的取值等于所述Hir与所述Ht的比值。
10.一种图像融合处理装置，其特征在于，包括：
获取模块，用于获取对同一目标物体进行图像采集得到的热成像图像、可见光图像和近红外图像；所述可见光图像和所述近红外图像的分辨率相同，且所述近红外图像的分辨率大于所述热成像图像的分辨率；所述近红外图像中每个近红外像素对应有亮度值；所述热成像图像中每个热成像像素对应有第一热度值；
确定模块，用于根据所述近红外图像的分辨率与所述热成像图像的分辨率，确定所述热成像图像中每个热成像像素对应的M*N个近红外像素；所述M和所述N均为大于1的整数；
所述确定模块，还用于针对所述M*N个近红外像素中每个近红外像素，根据所述近红外像素的亮度值和所述近红外像素对应的热成像像素的第一热度值，确定所述近红外像素的目标热度值；
插值模块，用于根据所述近红外像素的目标热度值对所述可见光图像进行插值，得到对所述热成像图像、所述可见光图像和所述近红外图像融合后的目标图像。
11.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1-9中任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-9中任一项所述的方法。
CN202210618014.4A 2022-06-02 2022-06-02 图像融合处理方法、装置、设备及存储介质 Active CN114693581B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210618014.4A CN114693581B (zh) 2022-06-02 2022-06-02 图像融合处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210618014.4A CN114693581B (zh) 2022-06-02 2022-06-02 图像融合处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114693581A CN114693581A (zh) 2022-07-01
CN114693581B true CN114693581B (zh) 2022-09-06

Family

ID=82131262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210618014.4A Active CN114693581B (zh) 2022-06-02 2022-06-02 图像融合处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114693581B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017020595A1 (zh) * 2015-08-05 2017-02-09 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
CN111062378A (zh) * 2019-12-23 2020-04-24 重庆紫光华山智安科技有限公司 图像处理方法、模型训练方法、目标检测方法及相关装置
CN112712485A (zh) * 2019-10-24 2021-04-27 杭州海康威视数字技术股份有限公司 一种图像融合方法及装置
WO2021184029A1 (en) * 2020-11-12 2021-09-16 Innopeak Technology, Inc. Systems and methods for fusing color image and near-infrared image

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7340099B2 (en) * 2003-01-17 2008-03-04 University Of New Brunswick System and method for image fusion
TWI666935B (zh) * 2017-07-12 2019-07-21 謝基生 增強近紅外擷取影像的微型熱像儀
CN112053314B (zh) * 2020-09-04 2024-02-23 深圳市迈测科技股份有限公司 图像融合方法、装置、计算机设备和介质及红外热像仪

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017020595A1 (zh) * 2015-08-05 2017-02-09 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
CN112712485A (zh) * 2019-10-24 2021-04-27 杭州海康威视数字技术股份有限公司 一种图像融合方法及装置
CN111062378A (zh) * 2019-12-23 2020-04-24 重庆紫光华山智安科技有限公司 图像处理方法、模型训练方法、目标检测方法及相关装置
WO2021184029A1 (en) * 2020-11-12 2021-09-16 Innopeak Technology, Inc. Systems and methods for fusing color image and near-infrared image

Also Published As

Publication number Publication date
CN114693581A (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
US9729803B2 (en) Apparatus and method for multispectral imaging with parallax correction
CN106683071B (zh) 图像的拼接方法和装置
JP6585006B2 (ja) 撮影装置および車両
WO2018161466A1 (zh) 深度图像获取系统和方法
CN110717942A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP6600936B2 (ja) 画像処理装置、画像処理方法、画像処理システム、プログラム、及び記録媒体
Pistellato et al. Deep demosaicing for polarimetric filter array cameras
WO2020031681A1 (en) Color temperature sensor for ambient light correction
CN108495115B (zh) 图像传感器及其像素组和像素阵列，获取图像信息的方法
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
US20190110028A1 (en) Method for correcting aberration affecting light-field data
JP4104495B2 (ja) データ処理装置、画像処理装置およびカメラ
CN112866552A (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN114693581B (zh) 图像融合处理方法、装置、设备及存储介质
JP2013178684A (ja) 奥行き推定装置、再構成画像生成装置、奥行き推定方法、再構成画像生成方法及びプログラム
CN115471571A (zh) 标定方法、图像处理方法、装置、存储介质与电子设备
CN112866510A (zh) 对焦方法和装置、电子设备、计算机可读存储介质
KR101630856B1 (ko) 다분광 포토메트릭 스테레오 시스템 그리고 이의 동작 방법
Pashchenko et al. An algorithm for the visualization of stereo images simultaneously captured with different exposures
CN111260781B (zh) 一种生成图像信息的方法、装置和电子设备
Ju et al. Color fringe removal in narrow color regions of digital images
JP2019022147A (ja) 光源方向推定装置
CN112866550A (zh) 相位差获取方法和装置、电子设备、计算机可读存储介质
CN112907704B (zh) 一种图像融合方法、计算机设备以及装置
CN112752088A (zh) 深度图像生成方法及装置、参考图像生成方法、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 518100 Guangdong Shenzhen Baoan District Xixiang street, Wutong Development Zone, Taihua Indus Industrial Park 8, 3 floor.

Patentee after: Shenzhen Haiqing Zhiyuan Technology Co.,Ltd.

Address before: 518100 Guangdong Shenzhen Baoan District Xixiang street, Wutong Development Zone, Taihua Indus Industrial Park 8, 3 floor.

Patentee before: SHENZHEN HIVT TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder