CN111914635A - 人体测温方法、装置、系统和电子设备 - Google Patents

Abstract

本发明提供了一种人体测温方法、装置、系统及电子设备。其中，该方法包括：获取同一视场对应的可见光视频帧序列和红外视频帧序列；对可见光视频帧序列进行对象检测，得到标注有可见对象检测框的可见光视频帧，对红外视频帧序列进行对象检测和跟踪，得到标注有红外对象检测框的红外视频帧和同一对象的红外轨迹信息；基于第一对象的红外轨迹信息选择第一对象对应的优质检测框，以及从可见光视频帧中标注的可见对象检测框中查找出与优质检测框匹配的目标对象检测框确定第一对象的温度。本发明基于可见光视频帧序列和红外视频帧序列进行人体测温，保证了测温的准确性，另外，不需要工作人员靠近被测目标进行测温，一定程度上降低了人力成本。

Description

人体测温方法、装置、系统和电子设备

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种人体测温方法、装置、系统及电子设备。

背景技术

远距离人体温度测量通常采用红外测温技术，基于红外摄像头采集人体图像中的特定区域，将该特定区域中的最大温度作为人体温度。

为了提升远距离测温的准确性，相关技术通常采用可见光与红外测温结合的技术进行，这种测温方式中，通过对象检测技术在可见图像上确定出目标区域，再在红外图像中找到该目标区域对应的红外区域，以该红外区域的温度作为测温结果。由于红外图像和可见光图像在空域上难以做到精确对齐，导致上述红外区域与目标区域存在偏差，进而导致测温准确度较差。

发明内容

有鉴于此，本发明的目的在于提供一种人体测温方法、装置、系统及电子设备，以缓解上述技术问题。

第一方面，本发明实施例提供了一种人体测温方法，其中，上述方法应用于电子设备，包括：获取同一视场对应的可见光视频帧序列和红外视频帧序列；其中，可见光视频帧序列和红外视频帧序列在时域和空域上对齐；对可见光视频帧序列进行对象检测，得到标注有可见对象检测框的可见光视频帧；其中，对象包括人脸和/或人体；对红外视频帧序列进行对象检测和跟踪，得到标注有红外对象检测框的红外视频帧和同一对象的红外轨迹信息；其中，红外轨迹信息为包含相同检测框标识的红外视频帧子序列；将每条红外轨迹信息对应的对象分别作为第一对象，对于每个第一对象均执行以下操作：基于第一对象的红外轨迹信息对应的各个红外对象检测框，选择第一对象对应的优质检测框；从可见光视频帧中标注的可见对象检测框中，查找与优质检测框匹配的目标对象检测框；基于目标对象检测框和优质检测框，确定第一对象的温度。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，获取同一视场对应的可见光视频帧序列和红外视频帧序列的步骤，包括：通过可见光摄像头和红外摄像头对同一视场采集视频流，得到可见光原始视频流和红外原始视频流；对可见光原始视频流和红外原始视频流进行时域和空域对齐，得到可见光视频帧序列和红外视频帧序列。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，对可见光原始视频流和红外原始视频帧序列进行时域和空域对齐，得到可见光视频帧序列和红外视频帧序列的步骤，包括：基于可见光摄像头和红外摄像头的帧率确定时域对齐方式；基于可见光摄像头和红外摄像头所在位置对应的空间坐标确定空域对齐方式；按照确定的时域对齐方式和空域对齐方式，对可见光原始视频流和红外原始视频流进行时域和空域对齐，得到可见光视频帧序列和红外视频帧序列。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，对可见光视频帧序列进行对象检测，得到标注有可见对象检测框的可见光视频帧的步骤，包括：通过预先训练好的第一检测模型对可见光视频帧序列进行对象检测，得到标注有可见对象检测框的可见光视频帧；对红外视频帧序列进行对象检测和跟踪，得到标注有红外对象检测框的红外视频帧和同一对象的红外轨迹信息的步骤，包括：通过预先训练好的第二检测模型对红外视频帧序列进行对象检测，得到标注有红外对象检测框的红外视频帧；对每个红外视频帧进行跟踪，得到同一对象的红外轨迹信息。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，基于第一对象的红外轨迹信息对应的各个红外对象检测框，选择第一对象对应的优质检测框的步骤，包括：通过预先训练好的红外检测框质量评估模型，对第一对象的红外轨迹信息对应的各个红外对象检测框进行评估，基于评估分数确定第一对象对应的优质检测框。

结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，基于评估分数确定该第一对象对应的优质检测框的步骤，包括：将评估分数最高的红外对象检测框作为第一对象对应的优质检测框；或者，将评估分数大于预设质量阈值的红外对象检测框作为第一对象对应的优质检测框。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，从可见光视频帧中标注的可见对象检测框中，查找与优质检测框匹配的目标对象检测框的步骤，包括：确定优质检测框所在红外视频帧的第一帧标识；从可见光视频帧中查找帧标识为第一帧标识的目标可见光视频帧；计算优质检测框与目标可见光视频帧中的各个可见对象检测框的IOU值；将最大IOU值对应的可见对象检测框作为目标对象检测框。

结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，上述方法还包括：对每个可见光视频帧进行跟踪，得到同一对象的可见光轨迹信息；其中，可见光轨迹信息为包含相同检测框标识的可见光视频帧子序列；从可见光视频帧中标注的可见对象检测框中，查找与优质检测框匹配的目标对象检测框的步骤，包括：从每个同一对象的可见光轨迹信息中，查找与第一对象的红外轨迹信息匹配的目标可见光轨迹信息；从目标可见光轨迹信息对应的可见对象检测框中选择目标对象检测框。

结合第一方面的第七种可能的实施方式，本发明实施例提供了第一方面的第八种可能的实施方式，其中，从每个同一对象的可见光轨迹信息中，查找与第一对象的红外轨迹信息匹配的目标可见光轨迹信息的步骤，包括：将每个同一对象的可见光轨迹信息对应的可见对象检测框与第一对象的红外轨迹信息对应的红外对象检测框进行匹配度打分；将匹配度打分值最高的可见光轨迹信息作为与第一对象的红外轨迹信息匹配的目标可见光轨迹信息。

结合第一方面的第七种可能的实施方式，本发明实施例提供了第一方面的第九种可能的实施方式，其中，上述方法还包括：

基于第一对象的可见光轨迹信息和红外轨迹信息，确定可见光视频帧序列和红外视频帧序列的空间校正关系；

从目标可见光轨迹信息对应的可见对象检测框中选择目标对象检测框的步骤，包括：根据空间校正关系对目标可见光轨迹信息对应的每个可见对象检测框进行校正，得到可见对象校正检测框组；计算优质检测框与可见对象校正检测框组中的各个可见对象校正检测框的IOU值；将最大IOU值对应的可见对象校正检测框作为目标对象检测框。

结合第一方面，本发明实施例提供了第一方面的第十种可能的实施方式，其中，基于目标对象检测框和优质检测框，确定第一对象的温度的步骤，包括：对目标对象检测框进行关键点检测，得到包含有局部对象区域的可见光坐标信息；其中，局部对象区域为额头区域或手腕区域；基于可见光坐标信息在优质检测框中确定出子检测区，将子检测区对应的温度确定为第一对象的温度。

结合第一方面，本发明实施例提供了第一方面的第十一种可能的实施方式，其中，上述方法还包括：基于目标对象检测框的特征信息，在预存的人像数据库中检索第一对象的身份信息；确定检索到的身份信息与第一对象的温度的对应关系。

第二方面，本发明实施例还提供一种人体测温装置，其中，该装置应用于电子设备，包括：获取模块，用于获取同一视场对应的可见光视频帧序列和红外视频帧序列；其中，可见光视频帧序列和红外视频帧序列在时域和空域上对齐；检测模块，用于对可见光视频帧序列进行对象检测，得到标注有可见对象检测框的可见光视频帧；其中，对象包括人脸和/或人体；检测跟踪模块，用于对红外视频帧序列进行对象检测和跟踪，得到标注有红外对象检测框的红外视频帧和同一对象的红外轨迹信息；其中，红外轨迹信息为包含相同检测框标识的红外视频帧子序列；执行模块，用于将每条红外轨迹信息对应的对象分别作为第一对象，对于每个第一对象均执行以下操作：选择模块，用于基于第一对象的红外轨迹信息对应的各个红外对象检测框，选择第一对象对应的优质检测框；查找模块，用于从可见光视频帧中标注的可见对象检测框中，查找与优质检测框匹配的目标对象检测框；第一确定模块，用于基于目标对象检测框和优质检测框，确定第一对象的温度。

第三方面，本发明实施例还提供一种人体测温系统，包括服务器和相机组，相机组包括可见光摄像头和红外摄像头；相机组用于通过可见光摄像头和红外摄像头分别获取同一视场对应的可见光视频序列和红外视频序列；服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述人体测温方法的步骤。

第四方面，本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，上述处理器执行计算机程序时实现上述的人体测温方法的步骤。

第五方面，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其中，计算机程序被处理设备运行时执行上述的人体测温方法的步骤。

本发明实施例带来了以下有益效果：

本发明提供的人体测温方法、装置及电子设备，通过获取同一视场对应的可见光视频帧序列和红外视频帧序列；并对可见光视频帧序列进行对象检测，得到标注有可见对象检测框的可见光视频帧，对红外视频帧序列进行对象检测和跟踪，得到标注有红外对象检测框的红外视频帧和同一对象的红外轨迹信息；基于第一对象的红外轨迹信息选择第一对象对应的优质检测框，以及从可见光视频帧中标注的可见对象检测框中查找出与优质检测框匹配的目标对象检测框，进而确定第一对象的温度。该测温方式通过将可见光视频帧与红外视频帧结合应用，能够对同一区域内的同一目标对象进行轨迹跟踪，基于跟踪得到的轨迹信息以及同一对象在红外视频帧中的优质检测框与可见光视频帧中的目标对象检测框确定该同一对象的温度，有效提升了测温的准确性。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种电子设备的结构示意图；

图2为本发明实施例提供的一种人体测温方法的流程图；

图3为本发明实施例提供的另一种人体测温方法的流程图；

图4为本发明实施例提供的另一种人体测温方法的流程图；

图5为本发明实施例提供的另一种人体测温方法的流程图；

图6为本发明实施例提供的一种空间校正方法的流程图；

图7为本发明实施例提供的另一种人体测温方法的流程图；

图8为本发明实施例提供的另一种人体测温方法的流程图；

图9为本发明实施例提供的一种人体测温装置的结构示意图；

图10为本发明实施例提供的另一种人体测温装置的结构示意图；

图11为本发明实施例提供的一种人体测温系统的结构示意图；

图12为本发明实施例提供的一种基于空间坐标对齐检测框的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应用红外摄像头测温的方式经常会用于小区、地铁或商场等入口处，用以对进入目标区域的人员的体温测量，以供工作人员参考。为了有效提升测温效率和准确度，本发明实施例提供了一种人体测温方法、装置、系统及电子设备，该技术可以应用于人员密集的公共场所的人员测温，也可以应用于小区等人员相对稀疏的场所的人员测温，通过将可见光视频帧与红外视频帧结合应用，不仅能够对多个目标对象进行准确测温，而且无需工作人员靠近被测目标测温，一定程度上提升了测温效率，下面通过实施例进行描述。

如图1所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理器102、一个或多个存储器104、输入装置106、输出装置108以及一个或多个图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，电子设备也可以具有其他组件和结构。

处理器102可以为服务器、智能终端，或者是包含中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对电子设备100中的其它组件的数据进行处理，还可以控制电子设备100中的其它组件以执行人体测温功能。

存储器104可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行程序指令，以实现下文的本发明实施例中(由处理设备实现)的功能以及/或者其它期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如可见光视频序列和红外视频序列，以及应用程序使用和/或产生的各种数据等。

输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

图像采集装置110可以获取可见光视频序列和红外视频序列，并且将采集到的视频序列存储在存储器104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的人体测温方法和装置的电子设备中的各器件可以集成设置，也可以分散设置，诸如将处理器102、存储器104、输入装置106和输出装置108集成设置于一体，而将图像采集装置110设置于可以采集到视频帧的指定位置。当上述电子设备中的各器件集成设置时，该电子设备可以被实现为诸如相机、智能手机、平板电脑、计算机、车载终端等智能终端。

本实施例提供了一种人体测温方法，该方法应用于上述电子设备，参见图2所示的一种人体测温方法的流程图，该方法具体包括如下步骤：

步骤S202，获取同一视场对应的可见光视频帧序列和红外视频帧序列；其中，可见光视频帧序列和红外视频帧序列在时域和空域上对齐；

上述视场代表着摄像头能够观察到的最大范围，通常以角度来表示，视场越大，观测范围越大。上述同一视场可以理解为可见光视频帧序列和红外视频帧序列对应的采集设备的视场角度相同，表现在视频帧上即为同一区域的视频帧。

为了达到较好的测温效果，在本实施例中，上述可见光视频帧序列和红外视频帧序列是预先进行时域和空域对齐处理后的视频帧序列；经时域对齐后的可见光视频帧序列和红外视频帧序列中包含的视频帧的数量是相同的，也即可见光视频帧序列和红外视频帧序列中的可见光视频帧和红外视频帧是一一对应的，相互对应的可见光视频帧和红外视频帧具有相同的帧标识。经空域对齐后的可见光视频帧序列和红外视频帧序列可理解为可见光视频帧与红外视频帧可以经由坐标变换统一到同一坐标系中，进而由可见光视频帧与红外视频帧中一个帧中的指定位置得到该位置在另一个帧中的坐标。

步骤S204，对可见光视频帧序列进行对象检测，得到标注有可见对象检测框的可见光视频帧；其中，对象包括人脸和/或人体等；

上述对象可以为人脸对象或人体对象，或者人体其它部位，为了便于说明，以人脸对象为例进行说明；在对可见光视频帧序列进行人脸对象检测时，能够在包括有人脸对象的可见光视频帧上标注出每个人脸对象的人脸检测框，比如，在上述可见光视频帧序列中包含人脸对象1的人脸检测框的可见光视频帧共有5帧，分别对应的可见光视频帧的帧标识为1、2、3、4、5；包含人脸对象2的人脸检测框的可见光视频帧共有4帧，分别对应的可见光视频帧的帧标识为3、4、5、6。上述帧标识可以使用上述数字的形式或其他形式对视频帧进行标识，在此不进行限定。

步骤S206，对红外视频帧序列进行对象检测和跟踪，得到标注有红外对象检测框的红外视频帧和同一对象的红外轨迹信息；其中，红外轨迹信息为包含相同检测框标识的红外视频帧子序列；

其中，上述红外轨迹信息中不仅包括同一对象的红外视频帧子序列，还可以包括红外对象检测框所在视频帧的帧标识以及红外对象检测框的坐标信息；该坐标信息可以包括与在红外视频帧中预先设定的原点坐标的相对位置。

同样地，在对红外视频帧序列进行人脸对象检测和跟踪时，能够在包括有人脸对象的红外视频帧上标注出每个人脸对象的人脸检测框，并且，能够获取每个人脸对象对应的红外轨迹信息。可以理解的是，不同视频帧中通过对人脸对象的跟踪而确认为对应相同人脸对象的红外对象检测框具有相同的检测框标识。

上述红外轨迹信息可以用红外视频帧的帧标识和红外对象检测框的坐标信息表示。比如，在上述红外视频帧序列中包含人脸对象1的人脸检测框的红外视频帧共有5帧，分别对应的红外视频帧的帧标识为1、2、3、4、5，为了准确查找上述每个红外对象检测框的坐标信息，在本实施例中可选取对象检测框的左上角位置点和右下角位置点的坐标信息；具体地，人脸对象1在这5帧中的红外对象检测框的坐标信息分别为[a1(x_a1,y_a1),b1(x_b1,y_b1)]，[a2(x_a2,y_a2),b2(x_b2,y_b2)]，[a3(x_a3,y_a3),b3(x_b3,y_b3)]，[a4(x_a4,y_a4),b4(x_b4,y_b4)]，[a5(x_a5,y_a5),b5(x_b5,y_b5)](a1-a5代表红外对象检测框左上角位置点，b1-b5代表右下角位置点，x_a1-x_a5表示每个红外对象检测框左上角位置点的横坐标，y_a1-y_a5表示每个红外对象检测框左上角位置点的纵坐标，x_b1-x_b5表示每个红外对象检测框右下角位置点的横坐标，y_b1-y_b5表示每个红外对象检测框右下角位置点的纵坐标)，则人脸对象1的红外轨迹信息可以表示为帧1、帧2、帧3、帧4和帧5组成的红外视频帧子序列或人脸对象1在帧1、帧2、帧3、帧4和帧5中红外对象检测框位置的抠图组成的红外视频帧子序列；包含人脸对象2的人脸检测框的红外视频帧共有4帧，分别对应的红外视频帧的帧标识为3、4、5、6，人脸对象2在这4帧中的红外对象检测框的坐标信息分别为[a6(x_a6,y_a6)，b6(x_b6,y_b6)]，[a7(x_a7,y_a7)，b7(x_b7,y_b7)]，[a8(x_a8,y_a8)，b8(x_b8,y_b8)]，[a9(x_a9,y_a9)，b9(x_b9,y_b9)]，则人脸对象2的红外轨迹信息可以表示为帧3、帧4、帧5和帧6组成的红外视频帧子序列或人脸对象2在帧3、帧4、帧5和帧6中红外对象检测框位置的抠图组成的红外视频帧子序列。

步骤S208，将每条红外轨迹信息对应的对象分别作为第一对象，对于每个第一对象均执行以下步骤S210至步骤S214中的操作；

步骤S210，基于第一对象的红外轨迹信息对应的各个红外对象检测框，选择第一对象对应的优质检测框；

通常，由于拍摄环境或者人为原因，会使得到的第一对象的红外轨迹信息中包括被遮挡或者不清晰的红外对象检测框，为了准确对第一对象进行测温，可以在上述红外视频帧子序列中选取第一对象对应的优质检测框，该优质检测框为第一对象的无遮挡清晰的红外对象检测框，其中，优质检测框的选取数量可以根据实际需要进行设定，在此不进行限定。

步骤S212，从可见光视频帧中标注的可见对象检测框中，查找与优质检测框匹配的目标对象检测框；

从上述可见光视频帧中标注的可见对象检测框中，可基于优质检测框所在视频帧的帧标识和优质检测框的坐标信息查找与优质检测框匹配的目标对象检测框；首先，在可见光视频帧序列中查找到与优质检测框所在视频帧的帧标识相同的可见光视频帧，然后，基于优质检测框在该红外视频帧中的坐标信息，把该可见光视频帧中标注的可见对象检测框中与优质检测框匹配的可见对象检测框作为目标对象检测框。

步骤S214，基于目标对象检测框和优质检测框，确定第一对象的温度。

在一例中，优质检测框是红外视频帧中的图像，因此可以确定出温度信息，进而可以得到与第一对象相对应的温度。在其基础上，还可以对上述目标对象检测框进行身份识别，得到第一对象的身份信息，进而可以得到与第一对象的身份信息相对应的温度。

上述实施例提供的人体测温方法，通过获取同一视场对应的可见光视频帧序列和红外视频帧序列；并对可见光视频帧序列进行对象检测，得到标注有可见对象检测框的可见光视频帧，对红外视频帧序列进行对象检测和跟踪，得到标注有红外对象检测框的红外视频帧和同一对象的红外轨迹信息；基于第一对象的红外轨迹信息选择第一对象对应的优质检测框，以及从可见光视频帧中标注的可见对象检测框中查找出与优质检测框匹配的目标对象检测框，进而确定第一对象的温度。该测温方式通过将可见光视频帧与红外视频帧结合应用，能够对同一区域内的同一目标对象进行轨迹跟踪，基于跟踪得到的轨迹信息以及同一对象在红外视频帧中的优质检测框与可见光视频帧中的目标对象检测框确定该同一对象的温度，有效提升了测温的准确性。

本发明实施例还提供了另一种人体测温方法，该方法在上述实施例的基础上实现；本实施例重点描述获取同一视场对应的可见光视频帧序列和红外视频帧序列的具体实施方式。如图3所示的另一种人体测温方法的流程图，本实施例中的人体测温方法包括如下步骤：

步骤S302，通过可见光摄像头和红外摄像头对同一视场采集视频流，得到可见光原始视频流和红外原始视频流；

将可见光摄像头和红外摄像头视为一组相机，并排平行放置或并排竖向放置在同一位置，且采集同一视场区域；如果区域范围较大，可以在不同位置设置不同的相机组，每个相机组采集的视频序列均为同一小区域的可见光原始视频流和红外原始视频流。

步骤S304，对可见光原始视频流和红外原始视频流进行时域和空域对齐，得到可见光视频帧序列和红外视频帧序列；

以一个相机组获取到的可见光原始视频流和红外原始视频流为例进行时域和空域对齐的说明；具体地，对可见光原始视频流和红外原始视频流进行时域和空域对齐，得到可见光视频帧序列和红外视频帧序列的步骤，可以通过步骤A1-步骤A3执行：

步骤A1，基于可见光摄像头和红外摄像头的帧率确定时域对齐方式；

在实际拍摄过程中由于红外摄像头的视频的帧率一般低于可见光摄像头的视频的帧率，因此，红外原始视频流中包含的视频帧的数量要少于可见光原始视频流中包含的视频帧的数量，为了保证两个原始视频流包含的视频帧的数量相同，在本实施例中，可将红外摄像头采集的视频帧进行复制以达到与可见光摄像头采集的视频帧相同的数量，比如，在红外原始视频流中每隔两帧或每隔三帧的位置处插入一个复制视频帧，该复制视频帧可以为复制插入位置的前一帧的视频或后一帧的视频。

除了上述利用帧率确定两个原始视频序列时域对齐的方式外，还可以基于采集时间进行时域对齐，比如，基于红外原始视频流的采集时间过滤可见光原始视频流，仅保留采集时间一致的可见光视频流，以实现两个原始视频流时域对齐。

步骤A2，基于可见光摄像头和红外摄像头所在位置对应的空间坐标确定空域对齐方式；

将可见光摄像头和红外摄像头的位置信息转化成地理坐标系下的地理位置信息，通过可见光摄像头和红外摄像头对应的地理位置信息能够得到两个地理位置信息之间的空间坐标转化关系，基于该空间坐标转化关系可实现上述的空域对齐；经空域对齐后的可见光视频帧序列和红外视频帧序列可通过可见光视频帧中指定位置的坐标在红外视频帧中确定出该指定位置的坐标。

步骤A3，按照确定的时域对齐方式和空域对齐方式，对可见光原始视频流和红外原始视频流进行时域和空域对齐，得到可见光视频帧序列和红外视频帧序列。

步骤S306，对可见光视频帧序列进行对象检测，得到标注有可见对象检测框的可见光视频帧；其中，对象包括人脸或人体；

具体地，通过预先训练好的第一检测模型对可见光视频帧序列进行对象检测，得到标注有可见对象检测框的可见光视频帧。

上述第一检测模型可以是由带有标签的人脸训练样本对SSD(Single ShotMultiBox Detector)算法、retinaNet算法或fasterRCNN算法等深度神经网络进行训练得到的可见光人脸检测模型，利用上述训练好的可见光人脸检测模型能够准确检测出每个可见光视频帧中包含的人脸对象，并能够在上述可见光视频帧中用方框的形式将人脸对象标注出来，以便于用户识别人脸对象。

步骤S308，对红外视频帧序列进行对象检测和跟踪，得到标注有红外对象检测框的红外视频帧和同一对象的红外轨迹信息；其中，红外轨迹信息为包含相同检测框标识的红外视频帧子序列；

上述步骤S305的实现可以通过步骤B1-步骤B2执行：

步骤B1，通过预先训练好的第二检测模型对红外视频帧序列进行对象检测，得到标注有红外对象检测框的红外视频帧；

上述第二检测模型可以使用与上述可见光人脸检测模型一样的结构，在可见光检测模型参数的基础上利用带标签的人脸温度图进行训练得到红外人脸检测模型，利用上述训练好的红外人脸检测模型能够准确检测出每个红外视频帧中包含的人脸对象，并能够在上述红外视频帧中用方框的形式将人脸对象标注出来，以便于用户识别人脸对象。

步骤B2，对每个红外视频帧进行跟踪，得到同一对象的红外轨迹信息。

在本实施例中，可基于IOU(Intersection over Union，交并比)匹配跟踪算法对每个红外视频帧进行IOU跟踪，得到同一对象的红外轨迹信息；上述IOU匹配跟踪算法是一种测量在特定数据集中检测相应物体准确度的一个标准，这个标准用于测量真实和预测之间的相关度，相关度越高，该标准值越高；在本实施例的目标跟踪中，为了实现简单，上述标准值可以由预先训练好的红外人脸检测模型实现，通过该模型可以对在包含有人脸对象的红外视频帧中计算出检测框之间的交叠率，即它们的交集与并集的比值；如果计算出的相邻两红外视频帧(例如帧标识为5和帧标识为6的视频帧)中检测框之间的交叠率高于预先设定的交叠率阈值或者为最大交叠率，则确定两个检测框对应的人脸对象为同一个目标对象；通过上述IOU匹配跟踪算法能够获得在上述红外视频帧序列中同一人脸目标的红外对象检测框所在的红外视频帧的帧标识以及红外对象检测框的坐标信息，并将同一人脸目标的红外检测框赋予相同的检测框标识。

除了可以利用上述IOU匹配跟踪算法进行人脸对象的跟踪之外，还可以基于红外对象检测框的坐标信息利用马氏距离或协方差距离计算两红外视频帧中红外对象检测框的线性相关度进行人脸对象的跟踪，该线性相关度越高，说明是同一人脸对象以获取每个对象的红外轨迹信息。

步骤S310，将每条红外轨迹信息对应的对象分别作为第一对象，对于每个第一对象均执行以下步骤S312至步骤S316中的操作；

步骤S312，基于第一对象的红外轨迹信息对应的各个红外对象检测框，选择第一对象对应的优质检测框；

步骤S314，从可见光视频帧中标注的可见对象检测框中，查找与优质检测框匹配的目标对象检测框；

步骤S316，基于目标对象检测框和优质检测框，确定第一对象的温度。

本发明实施例提供上述人体测温方法，可以基于帧率和空间坐标对可见光摄像头和红外摄像头采集的可见光原始视频流和红外原始视频流进行时域和空域的对齐，得到可见光视频帧序列和红外视频帧序列，其中，根据第一检测模型得到标注有第一对象的可见对象检测框的可见光视频帧，根据第二检测模型得到标注有第一对象的红外对象检测框的红外视频帧，并，对每个红外视频帧进行跟踪，得到第一对象的红外轨迹信息，基于第一对象的可见光视频帧、红外视频帧和红外轨迹信息获取第一对象对应的优质检测框和目标对象检测框，进而基于目标对象检测框和优质检测框，确定第一对象的温度。该方式一方面可以对可见光原始视频流和红外原始视频流进行时域和空域对齐，另一方面，还可以基于对齐的可见光视频帧序列和红外视频帧序列进行第一对象的温度测量，通过对可见光原始视频帧序列和红外原始视频帧序列时域和空域的对齐，能够准确获取优质检测框和目标对象检测框，有效提高测温的准确度。

本发明实施例还提供了另一种人体测温方法，该方法在上述实施例的基础上实现；本实施例重点描述选择第一对象对应的优质检测框，以及查找与优质检测框匹配的目标对象检测框的具体实施方式。如图4所示的另一种人体测温方法的流程图，本实施例中的人体测温方法包括如下步骤：

步骤S402，获取同一视场对应的可见光视频帧序列和红外视频帧序列；其中，可见光视频帧序列和红外视频帧序列在时域和空域上对齐；

步骤S404，对可见光视频帧序列进行对象检测，得到标注有可见对象检测框的可见光视频帧；其中，对象包括人脸和/或人体；

步骤S406，对红外视频帧序列进行对象检测和跟踪，得到标注有红外对象检测框的红外视频帧和同一对象的红外轨迹信息；其中，红外轨迹信息为包含相同检测框标识的红外视频帧子序列；

步骤S408，将每条红外轨迹信息对应的对象分别作为第一对象，对于每个第一对象均执行以下步骤S410至步骤S420中的操作；

步骤S410，通过预先训练好的红外检测框质量评估模型，对第一对象的红外轨迹信息对应的各个红外对象检测框进行评估，基于评估分数确定第一对象对应的优质检测框；

上述红外检测框质量评估模型是由预先对红外人脸的质量进行人工标注的样本集对神经网络模型训练得到的，当红外视频帧中红外对象检测框对应的人脸对象尺寸合适、遮挡较小、姿态变化小、红外对象检测框温度分布合理的情况下红外检测框质量评估模型给予较高的评估分数，反之，给予低的评估分数；当通过红外检测框质量评估模型对红外视频帧序列中第一对象对应的红外对象检测框进行评估时，可将评估分数最高的红外对象检测框作为第一对象对应的优质检测框；或者将评估分数大于预设质量阈值的红外对象检测框作为第一对象对应的优质检测框，具体可以根据实际需要进行设定，在此不进行限定。

步骤S412，确定优质检测框所在红外视频帧的第一帧标识；

为了便于说明，在本实施例中以一个优质检测框为例进行说明，在基于上述红外检测框质量评估模型的评估分数得到出优质检测框后，确定该优质检测框所在红外视频帧的第一帧标识，该第一帧标识即为该红外视频帧在红外视频帧序列中的帧标识，比如，对象1的优质检测框出现在帧标识为3的红外视频帧中。

步骤S414，从可见光视频帧中查找帧标识为第一帧标识的目标可见光视频帧；

接续前例，对象1的优质检测框出现在帧标识为3的红外视频帧中，则在上述可见光视频帧序列中将帧标识为3可见光视频帧确定为目标可见光视频帧。

步骤S416，计算优质检测框与目标可见光视频帧中的各个可见对象检测框的IOU值；

为了在目标可见光视频帧中确定与优质检测框对应的第一对象为同一对象，在本实施例中，可以利用IOU匹配跟踪算法将优质检测框与目标可见光视频帧中的各个可见对象检测框进行检测框匹配，以确定同一对象。

比如，目标可见光视频帧中包括可见对象检测框1、可见对象检测框2和可见对象检测框3，在进行检测框匹配时，可利用IOU匹配跟踪算法的算法特性，分别计算优质检测框与上述3个可见对象检测框的IOU值，其中，优质检测框与可见对象检测框1的IOU值为0.4，优质检测框与可见对象检测框2的IOU值为0.6，优质检测框与可见对象检测框3的IOU值为0.9。

步骤S418，将最大IOU值对应的可见对象检测框作为目标对象检测框；

接续前例，由于优质检测框与可见对象检测框3的IOU值最高，因此，可确定出可见对象检测框3为与优质检测框对应的目标对象检测框。

步骤S420，基于目标对象检测框和优质检测框，确定第一对象的温度。

本发明实施例提供的上述人体测温方法，能够利用红外检测框质量评估模型准确得到第一对象对应的优质检测框，并利用优质检测框的第一帧标识和IOU匹配跟踪算法准确得到与优质检测框对应的目标对象检测框，基于优质检测框和目标对象检测框实现同一对象的温度测量，提升了对象测温的准确性。

本发明实施例还提供了另一种人体测温方法，该方法在上述实施例的基础上实现；本实施例重点描述查找与优质检测框匹配的目标对象检测框的具体实施方式。如图5所示的另一种人体测温方法的流程图，本实施例中的人体测温方法包括如下步骤：

步骤S502，获取同一视场对应的可见光视频帧序列和红外视频帧序列；其中，可见光视频帧序列和红外视频帧序列在时域和空域上对齐；

步骤S504，可见光视频帧序列进行对象检测，得到标注有可见对象检测框的可见光视频帧；其中，对象包括人脸和/或人体；

步骤S506，对每个可见光视频帧进行跟踪，得到同一对象的可见光轨迹信息；其中，可见光轨迹信息为包含相同检测框标识的可见光视频帧子序列；

同样地，利用IOU匹配跟踪算法能够实现在上述可见光视频帧序列中确定同一对象的检测框所在的可见光视频帧的帧标识以及可见对象检测框的坐标信息；该过程与上述基于IOU匹配跟踪算法对每个红外视频帧进行IOU跟踪，得到同一对象的红外轨迹信息的过程相同，在此不进行赘述。

步骤S508，对红外视频帧序列进行对象检测和跟踪，得到标注有红外对象检测框的红外视频帧和同一对象的红外轨迹信息；其中，红外轨迹信息为包含相同检测框标识的红外视频帧子序列；

步骤S510，将每条红外轨迹信息对应的对象分别作为第一对象，对于每个第一对象均执行以下步骤S512至步骤S518中的操作；

步骤S512，基于第一对象的红外轨迹信息对应的各个红外对象检测框，选择第一对象对应的优质检测框；

步骤S514，从每个同一对象的可见光轨迹信息中，查找与第一对象的红外轨迹信息匹配的目标可见光轨迹信息；

其中，步骤S514的实现过程可以通过步骤C1-步骤C2执行：

步骤C1，将每个同一对象的可见光轨迹信息对应的可见对象检测框与第一对象的红外轨迹信息对应的红外对象检测框进行匹配度打分；

同样地，可利用IOU匹配跟踪算法进行轨迹信息的匹配度打分，得到第一对象的红外轨迹信息对应的红外对象检测框分别与每个同一对象的可见光轨迹信息对应的可见对象检测框的IOU值，为了提高匹配速率，可以在每个同一对象的可见光视频帧子序列中随机选取3或4个视频帧中的可见对象检测框与第一对象的红外轨迹信息对应的红外对象检测框进行匹配度打分，该匹配度打分过程与上述计算优质检测框与目标可见光视频帧中的各个可见对象检测框的IOU值的过程相同，所以，不在此进行赘述。

步骤C2，将匹配度打分值最高的可见光轨迹信息作为与第一对象的红外轨迹信息匹配的目标可见光轨迹信息。

同样地，可将上述IOU值最高的可见光轨迹信息作为与第一对象的红外轨迹信息匹配的目标可见光轨迹信息。

如此，通过轨迹中多帧图像来判断两个轨迹是否匹配，准确度更高。

其中，步骤S514的实现过程可以通过步骤C3执行：

步骤C3，查找与第一对象对应的优质检测框所在红外视频帧的帧标识相同的可见光视频帧，在该可见光视频帧中查找与第一对象对应的优质检测框匹配的可见对象检测框(例如将与优质检测框IOU大于阈值或IOU最大的可见对象检测框作为匹配的可见对象检测框)，将该可见对象检测框所对应的可见光轨迹信息作为目标可见光轨迹信息。

步骤S516，从目标可见光轨迹信息对应的可见对象检测框中选择目标对象检测框；

步骤S518，基于目标对象检测框和优质检测框，确定第一对象的温度。

本发明实施例提供的上述人体测温方法，能够在获得每个对象的可见光轨迹信息后，基于匹配度打分的方式确定与第一对象的红外轨迹信息匹配的目标可见光轨迹信息，进一步，可根据目标可见光轨迹信息得到与优质检测框对应的目标对象检测框，基于优质检测框和目标对象检测框实现对同一对象的温度测量，保证了对象测温的准确性。

基于上述实施例提供的人体测温方法，本实施例提供了一种空间校正方法，用于对可见光视频帧序列和红外视频帧序列进行空域校正。如图6所示的空间校正方法的流程图，该方法包括如下步骤：

步骤S602，获取同一视场对应的可见光视频帧序列和红外视频帧序列；其中，可见光视频帧序列和红外视频帧序列在时域和空域上对齐；

本实施例通过对可见光摄像头和红外摄像头的可见光原始视频流和红外原始视频流进行时域和空域对齐，得到可见光视频帧序列和红外视频帧序列。其中，这里的空域对齐是基于可见光摄像头和红外摄像头的摆放位置确定的空域变化关系进行的对齐操作，其精度可能不是非常高，通过下述空间校正，以提升可见光摄像头和红外摄像头空域对齐精度。

步骤S604，可见光视频帧序列进行对象检测，得到标注有可见对象检测框的可见光视频帧；其中，对象包括人脸和/或人体；

步骤S606，对每个可见光视频帧进行跟踪，得到同一对象的可见光轨迹信息；其中，可见光轨迹信息为包含相同检测框标识的可见光视频帧子序列；

步骤S608，对红外视频帧序列进行对象检测和跟踪，得到标注有红外对象检测框的红外视频帧和同一对象的红外轨迹信息；

步骤S610，对于各同一对象的红外轨迹信息中的第一对象的红外估计信息，从每个所述同一对象的可见光轨迹信息中，查找与所述第一对象的红外轨迹信息匹配的目标可见光轨迹信息，得到第一对象的可见光轨迹信息；

步骤S612，基于第一对象的可见光轨迹信息和红外轨迹信息，确定可见光视频帧序列和红外视频帧序列的空间校正关系；

其中，第一对象可以是上述轨迹中任一条轨迹对应的对象，在此不进行限定。

上述将可见光摄像头和红外摄像头并排平行放置或并排竖向放置在同一位置，通过空间坐标实现空域的粗对齐，为了进一步实现空域对齐，在本实施例中，可以应用预设的特征提取与匹配算法，通过该算法可以用于分别提取同一时域第一对象在可见光视频帧和红外视频帧中的特征点，如角点，得到该特征点在上述两个视频帧中的坐标值，并对所提取的特征点进行匹配对应；在空域上对可见光视频帧序列和红外视频帧序列进行自适应对齐，进而确定出可见光摄像头和红外摄像头间的投影变换矩阵，该投影变换矩阵为上述两视频帧序列的空间校正关系，通过该投影变换矩阵，可以实现可见光视频帧与红外视频帧间的坐标转换，也可以理解为，根据该投影变换矩阵，可以将可见光视频帧中指定位置的坐标映射到为红外视频帧中，并使映射后的坐标与红外视频帧中与指定位置相对应位置的坐标之差最小；或者将红外视频帧中指定位置的坐标映射到可见光视频帧中，并使映射后的坐标与可见光视频帧中与指定位置相对应位置的坐标之差最小，从而实现空域精准对齐。

为了便于说明，比如，可见光坐标系为A，红外坐标系为B，经上述可见光摄像头和红外摄像头所在位置对应的空间坐标得到两坐标系的变换关系为A*M1＝B，M1为可见光摄像头与红外摄像头对应的空域变化矩阵。参见图12示出的一种基于空间坐标对齐检测框的示意图，为了表示的更直观，以第一对象为例进行说明，图12中将第一对象分别对应的红外对象检测框和可见对象检测框均放置于至同一坐标系下进行说明。其中，图12中左侧的大矩形框表示第一对象的第1视频帧，本实施例将第一对象在第1红外视频帧和第1可见光视频帧分别对应检测框表示于图12的第一视频帧中，以白色框代表红外对象检测框，斜线框代表可见对象检测框。右侧的大矩形框表示第一对象的第2视频帧，与第1视频帧同理，第2视频帧中的白色框为第一对象在第2红外视频帧中的红外对象检测框，第2视频帧中的斜线框为第一对象在第2可见光视频帧中的可见对象检测框。由图12可知，经上述空域变化矩阵对应的空域对齐操作之后，红外对象检测框和可见对象检测框之间并未完全重合，为了消除上述两类检测框存在的对齐偏差，在本实施例中，可利用第一对象的可见光轨迹信息和红外轨迹信息中互相匹配的可见光检测框和红外检测框的位置关系确定出空间校正关系M2，基于空间校正关系的两坐标系的变换关系为A*M1*M2＝B，经M2对应的校正对齐后，能够使可见对象检测框和对应的红外对象检测框重合或基本重合。可以理解的是，在一例中，可根据第一对象的可见光轨迹信息和第一对象的红外轨迹信息中各个匹配的可见对象检测框和红外对象检测框的位置确定M2，例如求解M2使各个匹配的可见对象检测框和红外对象检测框的位置偏差之和最小。

步骤S614，根据上述空间校正关系对除第一对象之外的其他对象的可见光轨迹信息和/或红外轨迹信息进行校正，得到校正的可见光轨迹信息和/或校正的红外轨迹信息；或者，根据上述空间校正关系对除了第一对象之外的其他对象的可见对象检测框和/或红外对象检测框进行校正，得到可见对象校正检测框组和/或红外对象校正检测框组。

以对可见对象检测框进行校正为例进行说明。查询与每个可见对象检测框对应的红外对象检测框的坐标信息，基于红外对象检测框的坐标信息和上述空间校正关系对每个可见对象检测框的坐标信息进行校正，以得到可见对象校正检测框组，该可见对象校正检测框组包括多个校正后的可见对象检测框，且，每个校正后的可见对象检测框均可通过上述空间校正关系得到对应视频帧包含的红外对象检测框。

上述经过校正得到的校正的轨迹信息或校正检测框组可以用于确定红外轨迹信息或可见光轨迹信息的匹配关系，或者用于确定红外检测框与可见光检测框的匹配关系，例如，对于第二对象(即上述第一对象之后的对象)的测温，可以计算该第二对象对应的优质检测框与可见对象校正检测框组中的各个可见对象校正检测框的IOU值；将最大IOU值对应的可见对象校正检测框作为该第二对象匹配的目标对象检测框；并将计算出的最大IOU值对应的可见对象校正检测框作为与该优质检测框对应的目标对象检测框，以实现对该第二对象的温度测量。

上述计算过程与上述实施例中计算优质检测框与目标可见光视频帧中的各个可见对象检测框的IOU值的过程相同，都可以利用IOU匹配跟踪算法实现IOU值计算的，所以，在此不再进行赘述。

在下次测温过程中，基于两个摄像头采集到的同一对象的可见光轨迹信息和红外轨迹信息，以及上述空间校正关系，可以更准确地获取相互匹配的检测框，完成精准测温。

本实施例提供了另一种人体测温方法，该方法在上述实施例的基础上实现；本实施例重点描述基于目标对象检测框和优质检测框确定第一对象的温度的具体实施方式。如图7所示的另一种人体测温方法的流程图，本实施例中的人体测温方法包括如下步骤：

步骤S702，获取同一视场对应的可见光视频帧序列和红外视频帧序列；其中，可见光视频帧序列和红外视频帧序列在时域和空域上对齐；

步骤S704，对可见光视频帧序列进行对象检测，得到标注有可见对象检测框的可见光视频帧；其中，对象包括人脸和/或人体；

步骤S706，对红外视频帧序列进行对象检测和跟踪，得到标注有红外对象检测框的红外视频帧和同一对象的红外轨迹信息；其中，红外轨迹信息为包含相同检测框标识的红外视频帧子序列；

步骤S708，将每条红外轨迹信息对应的对象分别作为第一对象，对于每个第一对象均执行以下步骤S710至步骤S714中的操作；

步骤S710，基于第一对象的红外轨迹信息对应的各个红外对象检测框，选择第一对象对应的优质检测框；

步骤S712，从可见光视频帧中标注的可见对象检测框中，查找与优质检测框匹配的目标对象检测框；

步骤S714，对目标对象检测框进行关键点检测，得到包含有局部对象区域的可见光坐标信息；其中，局部对象区域为额头区域或手腕区域；

上述局部对象区域是指无衣物遮挡裸露在外的额头区域或手腕区域，由于上述对象是以人脸为例的，因此，在本实施例中以额头区域为例进行说明，可利用预先训练好的人脸关键点检测模型在上述目标对象检测框中提取出第一对象的额头区域的可见光坐标信息。

其中，人脸关键点检测模型是利用标注好的人脸关键点的样本训练集对神经网络训练得到的，利用该人脸关键点检测模型能够准确获取到视频帧中包含局部对象区域的位置。

步骤S716，基于可见光坐标信息在优质检测框中确定出子检测区，将子检测区对应的温度确定为第一对象的温度。

根据上述步骤S714得到的额头区域的可见光坐标信息，以及，上述实施例中获得的投影变换矩阵能够计算出额头区域在优质检测框中的子检测区的位置，该子检测区即为仅包含额头区域的检测区，可将子检测区对应的温度确定为第一目标对象的温度。

如果优质检测框为一个时，则可直接将该优质检测框确定出的子检测区对应的温度确定为第一对象的温度。

如果优质检测框为多个时，比如，确定出的优质检测框分别在帧标识为3和4的红外视频帧中，基于上述可见光坐标信息和投影变换矩阵分别得到的子检测区对应的温度分别为36.5摄氏度和36.8摄氏度，可将其子检测区对应的最高温度确定为第一对象的温度，也可以将多个温度进行加权或平均等计算之后的温度值作为第一对象的温度，或者，将利用分数位的方式确定第一对象的温度，在此不进行限定。

在上述得到的第一对象的温度为局部对象区域的温度，还可以通过训练好的神经网络映射模型得到局部对象区域与体温的映射关系，在得到局部对象区域的温度后通过该映射关系得到人体温度；或者，直接将上述局部对象区域的温度作为人体温度进行记录和存储。

本发明实施例提供的上述人体测温方法，能够对得到的目标对象检测框进行关键点检测，得到包含有局部对象区域的可见光坐标信息，基于可见光坐标信息在优质检测框中确定出子检测区，将子检测区对应的温度确定为第一对象的温度，该方式能够通过关键点的可见光坐标信息在优质检测框中确定出指定局部检测区域，有效实现第一对象的指定区域温度检测。

为了对第一对象的温度进行实时存储，上述方法还包括：基于目标对象检测框的特征信息，在预存的人像数据库中检索第一对象的身份信息；确定检索到的身份信息与第一对象的温度的对应关系。

上述目标对象检测框的特征信息可以为目标对象检测框的图像信息；如果在预存的人像数据库中检索到与该第一对象匹配的图像信息时，查询上述第一对象的身份信息，例如，ID(Identity document，身份标识号)号，将第一对象的身份信息与检测到的温度进行关联，具体地，可将获取到的第一对象的温度存储在该ID号下的文件夹中。

如果没有在预存的人像数据库中检索到该第一对象匹配的图像信息时，基于第一对象的可见光轨迹信息建立轨迹ID号，基于建立的轨迹ID号将获取到的第一对象的温度存储在该ID号下的文件夹中，上述存储方式方便记录被测人员信息以及排查温度异常人员，供快速追踪异常温度人员的行动轨迹，提升异常温度人员的追踪效率和准确率。

进一步，为了充分对上述人体测温方法进行理解，图8示出了另一种人体测温方法的流程图，如图8所示，以人脸对象作为目标对象为例，该人体测温方法包括如下步骤：

步骤S800，对于同一视场可见光摄像头采集可见光视频帧序列，红外摄像头采集红外视频帧序列，然后分别执行步骤S801和步骤S802；

其中，可见光摄像头和红外摄像头对齐安装，具体地，是将可见光摄像头和红外摄像头并排平行放置或并排竖向放置采集同一视场区域的视频帧序列，以实现可见光视频帧序列和红外视频帧序列的空域对齐；由于可见光摄像头和红外摄像头的帧率不相同，所以，采集到的可见光视频帧序列和红外视频帧序列中包含的视频帧的数量不同，为了实现时域对齐，可通过视频帧复制的方法，或者利用采集时间过滤的方法对上述两种视频序列进行处理，以实现两种视频的时域对齐。

步骤S801，确定出红外视频帧序列中的人脸框信息，然后执行步骤S803；

通过预先训练好的红外人脸检测模型对温度视频帧序列进行人脸对象检测，以得到带有人脸对象的红外视频帧，并且，在带有人脸对象的红外视频帧中用方框的形式将人脸对象标注出来。

步骤S802，确定出可见光视频帧序列中的人脸框信息，然后执行步骤S804；

通过预先训练好的可见光人脸检测模型对可见光视频帧序列进行人脸对象检测，以得到带有人脸对象的可见光视频帧，并且，在带有人脸对象的可见光视频帧中用方框的形式将人脸对象标注出来。

步骤S803，在红外视频帧序列中获取人脸对象的红外轨迹信息，然后执行步骤S805；

步骤S804，在可见光视频帧序列中获取人脸对象的可见光轨迹信息，然后执行步骤S806；

在本实施例中，可利用IOU匹配跟踪算法获得在上述红外视频帧序列中同一人脸对象的检测框所在的红外视频帧的帧标识以及人脸对象检测框的坐标信息等红外轨迹信息；同样地，通过上述IOU匹配跟踪算法能够在可见光视频帧序列中确定同一人脸对象的检测框所在的可见光视频帧的帧标识以及人脸对象检测框的坐标信息。

步骤S805，基于第一对象的红外轨迹信息对应的各个红外对象检测框，选择第一对象对应的优质检测框，然后执行步骤S806；

为了实现对多对象进行测温，在本实施例中，可将每条红外轨迹信息对应的对象作为第一对象进行温度检测，为了实现精准测温，可利用预先训练好的红外检测框质量评估模型在第一对象对应的红外轨迹信息选出人脸对象尺寸合适、遮挡较小、姿态变化小、红外对象检测框温度分布合理的优质检测框。

步骤S806，从每个同一对象的可见光轨迹信息中，查找与第一对象的红外轨迹信息匹配的目标可见光轨迹信息；

由于每个对象都对应一可见光轨迹信息，为了获取第一对象的红外轨迹信息匹配的目标可见光轨迹信息，可利用上述IOU匹配跟踪算法进行轨迹信息的匹配度打分的方式，将匹配度打分值最高的可见光轨迹信息作为与第一对象的红外轨迹信息匹配的目标可见光轨迹信息。

步骤S807，从目标可见光轨迹信息对应的可见对象检测框中选择目标对象检测框；

利用上述IOU匹配跟踪算法计算优质检测框与目标可见光轨迹信息对应的每个可见对象检测框的IOU值，将计算得到的最大IOU值对应的可见对象检测框确定为目标对象检测框。

步骤S808，对目标对象检测框进行关键点检测，得到包含有局部对象区域的可见光坐标信息；其中，局部对象区域为额头区域或手腕区域；

在本实施例中，可利用预先训练好的人脸关键点检测模型在上述目标对象检测框中提取出预先设定的测温局部区域，比如，额头区域。

步骤S809，基于可见光坐标信息在优质检测框中确定出子检测区；

根据额头区域在可见光视频帧中的可见光坐标信息和上述投影变换矩阵能够得到在优质检测框中确定出额头区域的位置，进而可得到额头区域对应的额温。

步骤S810，通过子检测区对应的温度得到人体温度；

通过预先训练好的神经网络映射模型得到每个人脸对象局部对象区域与体温的映射关系，在得到人脸对象对应的局部对象区域的温度后通过该映射关系得到人体温度。

为了进一步提升测温的准确度，上述方法还可以包括对人体温度进行温度补偿；通常，由于红外摄像头在工作时会受到内部及外部的环境影响，如空调、人流环境温度扰动，所以实际采集到的温度图与实际温度可能存在一定的误差，为了对红外摄像头采集到的温度图进行修正还可以基于同一视场对应的环境温度对红外视频流进行温度补偿。

上述红外摄像头能够对物体辐射出的红外线进行捕获，其中，红外线辐射是自然界存在的一种最为广泛的电磁波辐射，它是基于任何物体在常规环境下都会产生自身的分子和原子无规则的运动，并不停地辐射出热红外能量，现实生活中，红外摄像头能够将被测物发射的红外线转换成不同灰度显示出来，灰度的不同代表温度不同，不同的灰度图像就对应着不同的温度，上述红外视频序列中的每帧红外视频帧即为灰度图像。

本实施例可以使用红外摄像头时，引入一个基准“黑体辐射源”进行温度补偿。简单说黑体辐射源就是一个恒温目标，用于给红外摄像头不停的做矫正，具体过程为：黑体辐射源作为标准源设定固定温度；热红外摄像头采集目标对象与黑体辐射源的红外数据，标定黑体辐射源；红外数据转换成不同灰度显示出来；通过标准源温度与采集到的对应区域灰度映射校正得到最终温度值。

上述温度补偿即可以在基于目标对象检测框和优质检测框确定出第一对象的温度后进行温度补偿，还可以在获取红外原始视频流时进行温度补偿，减少因红外摄像头自身或外部环境对实际测温对象的温度影响，从而保证了基于视频帧进行温度测量的准确性，上述测温方式能够将可见光视频帧与红外视频帧结合应用，对同一视场内的多个人脸对象同时进行轨迹跟踪，并在红外目标帧中确定出人体温度，一定程度上提高了测温效率，此外，该测温方式不需要工作人员靠近被测目标测温，一定程度上降低了人力成本。

需要说明的是，上述各方法实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

对应于上述方法实施例，本发明实施例提供了一种人体测温装置，该装置应用于上述电子设备，图9示出了一种人体测温装置的结构示意图，如图9所示，该人体测温装置包括：

获取模块902，用于获取同一视场对应的可见光视频帧序列和红外视频帧序列；其中，可见光视频帧序列和红外视频帧序列在时域和空域上对齐；

检测模块904，用于对可见光视频帧序列进行对象检测，得到标注有可见对象检测框的可见光视频帧；其中，对象包括人脸和/或人体；

检测跟踪模块906，用于对红外视频帧序列进行对象检测和跟踪，得到标注有红外对象检测框的红外视频帧和同一对象的红外轨迹信息；其中，红外轨迹信息为包含相同检测框标识的红外视频帧子序列；

执行模块910，用于将每条红外轨迹信息对应的对象分别作为第一对象，对于每个第一对象均执行以下操作：

选择模块912，用于基于第一对象的红外轨迹信息对应的各个红外对象检测框，选择第一对象对应的优质检测框；

查找模块914，用于从可见光视频帧中标注的可见对象检测框中，查找与优质检测框匹配的目标对象检测框；

第一确定模块916，用于基于目标对象检测框和优质检测框，确定第一对象的温度。

本发明提供的人体测温装置，能够获取同一视场对应的可见光视频帧序列和红外视频帧序列；并对可见光视频帧序列进行对象检测，得到标注有可见对象检测框的可见光视频帧，对红外视频帧序列进行对象检测和跟踪，得到标注有红外对象检测框的红外视频帧和同一对象的红外轨迹信息；基于第一对象的红外轨迹信息选择第一对象对应的优质检测框，以及从可见光视频帧中标注的可见对象检测框中查找出与优质检测框匹配的目标对象检测框确定第一对象的温度。该测温方式通过将可见光视频帧与红外视频帧结合应用，能够对同一区域内的同一目标对象进行轨迹跟踪，基于跟踪得到的轨迹信息以及同一对象在红外视频帧中的优质检测框与可见光视频帧中的目标对象检测框确定该同一对象的温度，保证了测温的准确性。

上述获取模块902还用于，通过可见光摄像头和红外摄像头对同一视场采集视频流，得到可见光原始视频流和红外原始视频流；对可见光原始视频流和红外原始视频流进行时域和空域对齐，得到可见光视频帧序列和红外视频帧序列。

上述获取模块902还用于，基于可见光摄像头和红外摄像头的帧率确定时域对齐方式；基于可见光摄像头和红外摄像头所在位置对应的空间坐标确定空域对齐方式；按照确定的时域对齐方式和空域对齐方式，对可见光原始视频流和红外原始视频流进行时域和空域对齐，得到可见光视频帧序列和红外视频帧序列。

上述检测模块904还用于，通过预先训练好的第一检测模型对可见光视频帧序列进行对象检测，得到标注有可见对象检测框的可见光视频帧。

上述检测跟踪模块906还用于，通过预先训练好的第二检测模型对红外视频帧序列进行对象检测，得到标注有红外对象检测框的红外视频帧；对每个红外视频帧进行跟踪，得到同一对象的红外轨迹信息。

上述选择模块912还用于，通过预先训练好的红外检测框质量评估模型，对第一对象的红外轨迹信息对应的各个红外对象检测框进行评估，基于评估分数确定第一对象对应的优质检测框。

上述选择模块912还用于，将评估分数最高的红外对象检测框作为第一对象对应的优质检测框；或者将评估分数大于预设质量阈值的红外对象检测框作为第一对象对应的优质检测框。

上述查找模块914还用于，确定优质检测框所在红外视频帧的第一帧标识；从可见光视频帧中查找帧标识为第一帧标识的目标可见光视频帧；计算优质检测框与目标可见光视频帧中的各个可见对象检测框的IOU值；将最大IOU值对应的可见对象检测框作为目标对象检测框。

基于上述人体测温装置，本发明实施例还提供了另一种人体测温装置，参见图10所示的人体测温装置的结构示意图，该人体测温装置包括图9所示的结构之外，还包括与检测模块904和检测跟踪模块906均连接的跟踪模块1002，对每个可见光视频帧进行跟踪，得到同一对象的可见光轨迹信息；其中，可见光轨迹信息为包含相同检测框标识的可见光视频帧子序列。

上述查找模块914还用于，从每个同一对象的可见光轨迹信息中，查找与第一对象的红外轨迹信息匹配的目标可见光轨迹信息；从目标可见光轨迹信息对应的可见对象检测框中选择目标对象检测框。

上述查找模块914还用于，将每个同一对象的可见光轨迹信息对应的可见对象检测框与第一对象的红外轨迹信息对应的红外对象检测框进行匹配度打分；将匹配度打分值最高的可见光轨迹信息作为与第一对象的红外轨迹信息匹配的目标可见光轨迹信息。

上述人体测温装置还包括与选择模块912和查找模块914均连接的校正模块1004，用于基于第一对象的可见光轨迹信息和红外轨迹信息，确定可见光视频帧序列和红外视频帧序列的空间校正关系。

上述查找模块914还用于，根据空间校正关系对目标可见光轨迹信息对应的每个可见对象检测框进行校正，得到可见对象校正检测框组；计算优质检测框与可见对象校正检测框组中的各个可见对象校正检测框的IOU值；将最大IOU值对应的可见对象校正检测框作为目标对象检测框。

上述第一确定模块916还用于，对目标对象检测框进行关键点检测，得到包含有局部对象区域的可见光坐标信息；其中，局部对象区域为额头区域或手腕区域；基于可见光坐标信息在优质检测框中确定出子检测区，将子检测区对应的温度确定为第一对象的温度。

上述人体测温装置还包括与第一确定模块916连接的检索模块1006，用于基于目标对象检测框的特征信息，在预存的人像数据库中检索第一对象的身份信息。

上述人体测温装置还包括与检索模块1006连接的第二确定模块1008，用于确定检索到的身份信息与第一对象的温度的对应关系。

本发明实施例还提供一种人体测温系统，参见图11所示的一种人体测温系统的结构示意图，如图11所示，该人体测温系统1104包括服务器1103和相机组1100，上述相机组1100包括可见光摄像头1101和红外摄像头1102；相机组1100用于通过可见光摄像头1101和红外摄像头1102分别获取同一视场对应的可见光视频序列和红外视频序列；服务器1103包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述人体测温方法的步骤。

具体地，上述可见光摄像头1101和红外摄像头1102可在同一位置上并排平行放置或并排竖向放置以实现空域对齐，并且，服务器1103和相机组1100通讯连接，以接收可见光摄像头采集到的可见光视频序列和红外摄像头采集到的红外视频序列，并对接收到的可见光视频序列和红外视频序列进行时域对齐，利用时域和空域对齐的两种视频序列结合应用，执行上述人体测温方法的步骤，以实现对同一视场内的多个目标对象进行温度测量。本实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行上述人体测温方法的步骤。

本发明实施例所提供的一种人体测温方法、装置及电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (16)

1.一种人体测温方法，其特征在于，所述方法应用于电子设备，包括：

获取同一视场对应的可见光视频帧序列和红外视频帧序列；其中，所述可见光视频帧序列和红外视频帧序列在时域和空域上对齐；

对所述可见光视频帧序列进行对象检测，得到标注有可见对象检测框的可见光视频帧；其中，所述对象包括人脸和/或人体；

对所述红外视频帧序列进行所述对象检测和跟踪，得到标注有红外对象检测框的红外视频帧和同一对象的红外轨迹信息；其中，所述红外轨迹信息为包含相同检测框标识的红外视频帧子序列；

将每条所述红外轨迹信息对应的对象分别作为第一对象，对于每个所述第一对象均执行以下操作：

基于所述第一对象的红外轨迹信息对应的各个红外对象检测框，选择所述第一对象对应的优质检测框；

从所述可见光视频帧中标注的可见对象检测框中，查找与所述优质检测框匹配的目标对象检测框；

基于所述目标对象检测框和所述优质检测框，确定所述第一对象的温度。

2.根据权利要求1所述的方法，其特征在于，所述获取同一视场对应的可见光视频帧序列和红外视频帧序列的步骤，包括：

通过可见光摄像头和红外摄像头对同一视场采集视频流，得到可见光原始视频流和红外原始视频流；

对所述可见光原始视频流和所述红外原始视频流进行时域和空域对齐，得到可见光视频帧序列和红外视频帧序列。

3.根据权利要求2所述的方法，其特征在于，对所述可见光原始视频流和所述红外原始视频帧序列进行时域和空域对齐，得到可见光视频帧序列和红外视频帧序列的步骤，包括：

基于所述可见光摄像头和所述红外摄像头的帧率确定时域对齐方式；

基于所述可见光摄像头和所述红外摄像头所在位置对应的空间坐标确定空域对齐方式；

按照确定的所述时域对齐方式和所述空域对齐方式，对所述可见光原始视频流和所述红外原始视频流进行时域和空域对齐，得到可见光视频帧序列和红外视频帧序列。

4.根据权利要求1所述的方法，其特征在于，对所述可见光视频帧序列进行对象检测，得到标注有可见对象检测框的可见光视频帧的步骤，包括：

通过预先训练好的第一检测模型对所述可见光视频帧序列进行对象检测，得到标注有可见对象检测框的可见光视频帧；

对所述红外视频帧序列进行所述对象检测和跟踪，得到标注有红外对象检测框的红外视频帧和同一对象的红外轨迹信息的步骤，包括：

通过预先训练好的第二检测模型对所述红外视频帧序列进行所述对象检测，得到标注有红外对象检测框的红外视频帧；

对每个所述红外视频帧进行跟踪，得到同一对象的红外轨迹信息。

5.根据权利要求1所述的方法，其特征在于，基于所述第一对象的红外轨迹信息对应的各个红外对象检测框，选择所述第一对象对应的优质检测框的步骤，包括：

通过预先训练好的红外检测框质量评估模型，对所述第一对象的红外轨迹信息对应的各个红外对象检测框进行评估，基于评估分数确定所述第一对象对应的优质检测框。

6.根据权利要求5所述的方法，其特征在于，基于评估分数确定该第一对象对应的优质检测框的步骤，包括：

将评估分数最高的红外对象检测框作为所述第一对象对应的优质检测框；或者，

将评估分数大于预设质量阈值的红外对象检测框作为所述第一对象对应的优质检测框。

7.根据权利要求1所述的方法，其特征在于，从所述可见光视频帧中标注的可见对象检测框中，查找与所述优质检测框匹配的目标对象检测框的步骤，包括：

确定所述优质检测框所在红外视频帧的第一帧标识；

从所述可见光视频帧中查找帧标识为所述第一帧标识的目标可见光视频帧；

计算所述优质检测框与所述目标可见光视频帧中的各个可见对象检测框的IOU值；

将最大IOU值对应的可见对象检测框作为目标对象检测框。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：对每个所述可见光视频帧进行跟踪，得到同一对象的可见光轨迹信息；其中，所述可见光轨迹信息为包含相同检测框标识的可见光视频帧子序列；

从所述可见光视频帧中标注的可见对象检测框中，查找与所述优质检测框匹配的目标对象检测框的步骤，包括：

从每个所述同一对象的可见光轨迹信息中，查找与所述第一对象的红外轨迹信息匹配的目标可见光轨迹信息；

从所述目标可见光轨迹信息对应的可见对象检测框中选择目标对象检测框。

9.根据权利要求8所述的方法，其特征在于，从每个所述同一对象的可见光轨迹信息中，查找与所述第一对象的红外轨迹信息匹配的目标可见光轨迹信息；的步骤，包括：

将每个所述同一对象的可见光轨迹信息对应的可见对象检测框与所述第一对象的红外轨迹信息对应的红外对象检测框进行匹配度打分；

将匹配度打分值最高的可见光轨迹信息作为与所述第一对象的红外轨迹信息匹配的目标可见光轨迹信息。

10.根据权利要求8所述的方法，其特征在于，所述方法还包括：

基于所述第一对象的可见光轨迹信息和红外轨迹信息，确定所述可见光视频帧序列和所述红外视频帧序列的空间校正关系；

从所述目标可见光轨迹信息对应的可见对象检测框中选择目标对象检测框的步骤，包括：

根据所述空间校正关系对所述目标可见光轨迹信息对应的每个所述可见对象检测框进行校正，得到可见对象校正检测框组；

计算所述优质检测框与所述可见对象校正检测框组中的各个可见对象校正检测框的IOU值；

将最大IOU值对应的可见对象校正检测框作为目标对象检测框。

11.根据权利要求1所述的方法，其特征在于，基于所述目标对象检测框和所述优质检测框，确定所述第一对象的温度的步骤，包括：

对所述目标对象检测框进行关键点检测，得到包含有局部对象区域的可见光坐标信息；其中，所述局部对象区域为额头区域或手腕区域；

基于所述可见光坐标信息在所述优质检测框中确定出子检测区，将所述子检测区对应的温度确定为所述第一对象的温度。

12.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述目标对象检测框的特征信息，在预存的人像数据库中检索所述第一对象的身份信息；

确定检索到的所述身份信息与所述第一对象的温度的对应关系。

13.一种人体测温装置，其特征在于，所述装置应用于电子设备，包括：

获取模块，用于获取同一视场对应的可见光视频帧序列和红外视频帧序列；其中，所述可见光视频帧序列和红外视频帧序列在时域和空域上对齐；

检测模块，用于对所述可见光视频帧序列进行对象检测，得到标注有可见对象检测框的可见光视频帧；其中，所述对象包括人脸和/或人体；

检测跟踪模块，用于对所述红外视频帧序列进行所述对象检测和跟踪，得到标注有红外对象检测框的红外视频帧和同一对象的红外轨迹信息；其中，所述红外轨迹信息为包含相同检测框标识的红外视频帧子序列；

执行模块，用于将每条所述红外轨迹信息对应的对象分别作为第一对象，对于每个所述第一对象均执行以下操作：

选择模块，用于基于所述第一对象的红外轨迹信息对应的各个红外对象检测框，选择所述第一对象对应的优质检测框；

查找模块，用于从所述可见光视频帧中标注的可见对象检测框中，查找与所述优质检测框匹配的目标对象检测框；

第一确定模块，用于基于所述目标对象检测框和所述优质检测框，确定所述第一对象的温度。

14.一种人体测温系统，其特征在于，包括服务器和相机组，所述相机组包括可见光摄像头和红外摄像头；

所述相机组用于通过所述可见光摄像头和所述红外摄像头分别获取同一视场对应的可见光视频帧序列和红外视频帧序列；

所述服务器包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1至12任一项所述的人体测温方法的步骤。

15.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至12任一项所述的人体测温方法的步骤。

16.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理设备运行时执行如权利要求1至12任一项所述的人体测温方法的步骤。

Images