[go: up one dir, main page]

CN115937776A - 监控方法、装置、系统、电子设备及计算机可读存储介质 - Google Patents

监控方法、装置、系统、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN115937776A
CN115937776A CN202211619559.3A CN202211619559A CN115937776A CN 115937776 A CN115937776 A CN 115937776A CN 202211619559 A CN202211619559 A CN 202211619559A CN 115937776 A CN115937776 A CN 115937776A
Authority
CN
China
Prior art keywords
visible light
target
light image
detected
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211619559.3A
Other languages
English (en)
Inventor
浦世亮
聂鑫鑫
范蒙
俞海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202211619559.3A priority Critical patent/CN115937776A/zh
Publication of CN115937776A publication Critical patent/CN115937776A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种监控方法、装置、系统、电子设备及计算机可读存储介质，该监控方法中，首先获得非可见光图像，以及基于在非可见光图像的采集周期内采集的可见光信号成像获得的目标图像；然后检测该非可见光图像中是否存在待检测目标；若存在，根据待检测目标在该非可见光图像中的第一位置区域，确定待检测目标在该可见光图像中的第二位置区域，进而完成基于该可见光图像的目标监控，其中，该可见光图像为基于目标图像所确定的图像。与现有技术相比，本方案利用对非可见光图像进行目标检测得到的检测结果，来确定非可见光图像对应的可见光图像的目标检测结果；保证了可见光图像的目标检测结果具有高的准确度，进而保证了智能监控的效果。

Description

监控方法、装置、系统、电子设备及计算机可读存储介质
技术领域
本发明涉及监控技术领域，特别是涉及监控方法、装置、系统、电子设备及计算机可读存储介质。
背景技术
随着城市交通、社会治安以及重点区域防范等问题愈发明显，视频监控的应用越来越广泛。而随着科学技术的飞速发展，智能监控应运而生，智能监控设备可以自动从采集到的图像中检测出预先设置的目标，如人、车辆等，确定目标在所采集图像中的位置区域；例如，预先设置的目标为人，则智能监控设备采集到图像后中，能够自动检测出其所采集图像中人所在的位置区域。
现有技术中，智能监控设备采集到可见光图像后，通过目标检测方法对可见光图像进行目标检测，得到目标在所采集图像中的位置区域，完成智能监控。但是，在低照度的情况下，智能监控设备所采集的可见光图像的图像质量差，通过目标检测方法对可见光图像进行目标检测所得到的检测结果不准确，导致在可见光图像中所确定的目标所在位置区域不准确，监控效果差。
发明内容
本发明实施例的目的在于提供一种监控方法、装置、系统、电子设备及计算机可读存储介质，以提高在可见光图像中确定目标所在位置区域的准确度，保证监控效果。具体技术方案如下：
为达上述目的，第一方面，本发明实施例提供了一种监控方法，所述方法包括：
获得非可见光图像，以及基于在所述非可见光图像的采集周期内采集的可见光信号成像获得的目标图像；
检测所述非可见光图像中是否存在待检测目标；
若存在，根据所述待检测目标在所述非可见光图像中的第一位置区域，确定所述待检测目标在所述可见光图像中的第二位置区域，进而完成基于所述可见光图像的目标监控，其中，所述可见光图像为基于所述目标图像所确定的图像。
作为本发明实施例的一种实现方式，可选的，所述可见光图像为所述目标图像；
所述根据所述待检测目标在所述非可见光图像中的第一位置区域，确定所述待检测目标在所述可见光图像中的第二位置区域的步骤，包括：
以所述可见光图像为基准，对所述待检测目标在所述非可见光图像中的第一位置区域进行位置配准，获得配准后的第一位置区域，并将所述可见光图像中与配准后的第一位置区域对应的位置区域作为所述可见光图像中待检测目标的第二位置区域。
可选的，所述以所述可见光图像为基准，对所述待检测目标在所述非可见光图像中的第一位置区域进行位置配准，获得配准后的第一位置区域的步骤，包括：
以所述可见光图像为基准，按照如下公式对所述待检测目标在所述非可见光图像中的第一位置区域进行位置配准，获得配准后的第一位置区域：
Figure BDA0004001431090000021
Figure BDA0004001431090000022
其中，(x,y)为配准前的第一位置区域内像素点的坐标，(x1,y1)为配准后第一位置区域中与(x,y)对应的像素点的坐标，
Figure BDA0004001431090000023
为离线标定获取到的仿射变换矩阵。
作为本发明实施例的另一种实现方式，可选的，所述可见光图像为：以所述非可见光图像为基准，对所述目标图像进行位置配准后所得到的图像；
所述根据所述待检测目标在所述非可见光图像中的第一位置区域，确定所述待检测目标在所述可见光图像中的第二位置区域的步骤，包括：
将所述可见光图像中与所述待检测目标在所述非可见光图像中的第一位置区域相同的位置区域确定为：所述待检测目标在所述可见光图像中的第二位置区域。
可选的，在所述根据所述待检测目标在所述非可见光图像中的第一位置区域，确定所述待检测目标在所述可见光图像中的第二位置区域的步骤之后，所述方法还包括：
在所述可见光图像中的所述第二位置区域标记所述待检测目标。
可选的，在所述在所述可见光图像中的所述第二位置区域标记所述待检测目标的步骤之后，所述方法还包括：
根据所确定出的每个待检测目标所处的第二位置区域，在所述可见光图像中标记出该待检测目标的种类。
可选的，当检测到所述非可见光图像中存在待检测目标时，所述方法还包括：
在所述非可见光图像中识别所述待检测目标的待识别属性信息，得到识别结果；
相应的，在所述在所述可见光图像中的所述第二位置区域标记所述待检测目标的步骤之后，所述方法还包括：
根据所述第二位置区域，在所述可见光图像中标记出针对所述待检测目标的识别结果。
可选的，在所述获得可见光图像以及与所述可见光图像对应的非可见光图像的步骤之后，所述方法还包括：
根据所述非可见光图像，确定补光状态参数；
按照所述补光状态参数进行非可见光补光。
第二方面，本发明实施例提供了一种监控装置，所述装置包括：
获得模块，用于获得非可见光图像，以及基于在所述非可见光图像的采集周期内采集的可见光信号成像获得的目标图像；
检测模块，用于检测所述非可见光图像中是否存在待检测目标；
第一确定模块，用于在所述检测模块的检测结果为是的情况下，根据所述待检测目标在所述非可见光图像中的第一位置区域，确定所述待检测目标在所述可见光图像中的第二位置区域，进而完成基于所述可见光图像的目标监控，其中，所述可见光图像为基于所述目标图像所确定的图像。
作为本发明实施例的一种实现方式，可选的，所述可见光图像为所述目标图像；
所述第一确定模块，具体用于：以所述可见光图像为基准，对所述待检测目标在所述非可见光图像中的第一位置区域进行位置配准，获得配准后的第一位置区域，并将所述可见光图像中与配准后的第一位置区域对应的位置区域作为所述可见光图像中待检测目标的第二位置区域。
可选的，所述第一确定模块，具体用于：以所述可见光图像为基准，按照如下公式对所述待检测目标在所述非可见光图像中的第一位置区域进行位置配准，获得配准后的第一位置区域，并将所述可见光图像中与配准后的第一位置区域对应的位置区域作为所述可见光图像中待检测目标的第二位置区域：
Figure BDA0004001431090000041
Figure BDA0004001431090000042
其中，(x,y)为配准前的第一位置区域内像素点的坐标，(x1,y1)为配准后第一位置区域中与(x,y)对应的像素点的坐标，
Figure BDA0004001431090000043
为离线标定获取到的仿射变换矩阵。
作为本发明实施例的另一种实现方式，可选的所述可见光图像为：以所述非可见光图像为基准，对所述目标图像进行位置配准后所得到的图像；
所述第一确定模块，具体用于：将所述可见光图像中与所述待检测目标在所述非可见光图像中的第一位置区域相同的位置区域确定为：所述待检测目标在所述可见光图像中的第二位置区域。
可选的，所述装置还包括：
标记模块，用于在确定所述待检测目标在所述可见光图像中的第二位置区域之后，在所述可见光图像中的所述第二位置区域标记所述待检测目标。
可选的，所述标记模块，还用于在所述可见光图像中的所述第二位置区域标记所述待检测目标之后，根据所确定出的每个待检测目标所处的第二位置区域，在所述可见光图像中标记出该待检测目标的种类。
可选的，所述装置还包括：
识别模块，用于当检测到所述非可见光图像中存在待检测目标时，在所述非可见光图像中识别所述待检测目标的待识别属性信息，得到识别结果；
相应的，所述标记模块，还用于在所述可见光图像中的所述第二位置区域标记所述待检测目标之后，根据所述第二位置区域，在所述可见光图像中标记出针对所述待检测目标的识别结果。
可选的，所述装置还包括：
第二确定模块，用于在获得所述非可见光图像后，根据所述非可见光图像，确定补光状态参数；
补光模块，用于按照所述补光状态参数进行非可见光补光。
第三方面，本发明实施例提供了一种监控系统，所述系统包括目标图像采集设备、非可见光图像采集设备以及图像处理设备；其中：
所述非可见光图像采集设备，用于非可见光图像，并将所采集的非可见光图像发送给所述图像处理设备；
所述目标图像采集设备，用于基于在所述非可见光图像的采集周期内采集的可见光信号，成像获得目标图像，并将所述目标图像发送给所述图像处理设备；
所述图像处理设备，用于接收所述目标图像采集设备发送的所述目标图像以及所述非可见光图像采集设备发送的所述非可见光图像；检测所述非可见光图像中是否存在待检测目标；若存在，根据所述待检测目标在所述非可见光图像中的第一位置区域，确定所述待检测目标在所述可见光图像中的第二位置区域，进而完成基于所述可见光图像的目标监控，其中，所述可见光图像为基于所述目标图像所确定的图像。
作为本发明实施例的一种实现方式，可选的，所述可见光图像为所述目标图像；
所述图像处理设备根据所述待检测目标在所述非可见光图像中的第一位置区域，确定所述待检测目标在所述可见光图像中的第二位置区域，具体为：
以所述可见光图像为基准，对所述待检测目标在所述非可见光图像中的第一位置区域进行位置配准，获得配准后的第一位置区域，并将所述可见光图像中与配准后的第一位置区域对应的位置区域作为所述可见光图像中待检测目标的第二位置区域。
可选的，所述图像处理设备以所述可见光图像为基准，对所述待检测目标在所述非可见光图像中的第一位置区域进行位置配准，获得配准后的第一位置区域，具体为：
以所述可见光图像为基准，按照如下公式对所述待检测目标在所述非可见光图像中的第一位置区域进行位置配准，获得配准后的第一位置区域：
Figure BDA0004001431090000061
Figure BDA0004001431090000062
其中，(x,y)为配准前的第一位置区域内像素点的坐标，(x1,y1)为配准后第一位置区域中与(x,y)对应的像素点的坐标，
Figure BDA0004001431090000071
为离线标定获取到的仿射变换矩阵。
作为本发明实施例的另一种实现方式，可选的，所述可见光图像为：以所述非可见光图像为基准，对所述目标图像进行位置配准后所得到的图像；
所述图像处理设备根据所述待检测目标在所述非可见光图像中的第一位置区域，确定所述待检测目标在所述可见光图像中的第二位置区域，具体为：
将所述可见光图像中与所述待检测目标在所述非可见光图像中的第一位置区域相同的位置区域确定为：所述待检测目标在所述可见光图像中的第二位置区域。
可选的，所述图像处理设备还用于：
在所述可见光图像中的所述第二位置区域标记所述待检测目标。
可选的，所述图像处理设备还用于：
根据所确定出的每个待检测目标所处的第二位置区域，在所述可见光图像中标记出该待检测目标的种类。
可选的，所述图像处理设备还用于：
当检测到所述非可见光图像中存在待检测目标时，在所述非可见光图像中识别所述待检测目标的待识别属性信息，得到识别结果；在所述可见光图像中的所述第二位置区域标记所述待检测目标之后，根据所述第二位置区域，在所述可见光图像中标记出针对所述待检测目标的识别结果。
可选的，所述系统还包括非可见光补光灯，
所述非可见光图像采集设备，还用于在采集到所述非可见光图像后，根据所述非可见光图像，确定补光状态参数；将所述补光状态参数发送给所述非可见光补光灯；
所述非可见光补光灯，用于接收所述非可见光图像采集设备发送的所述补光状态参数；按照所述补光状态参数进行非可见光补光。
第四方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一监控方法所述的方法步骤。
第五方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一监控方法所述的方法步骤。
本发明实施例提供的方案中，首先获得可见光图像以及与该可见光图像对应的非可见光图像；然后检测该非可见光图像中是否存在待检测目标；若存在，则根据待检测目标在该非可见光图像中的第一位置区域，确定待检测目标在该可见光图像中的第二位置区域，进而完成基于该可见光图像的目标监控。与现有技术相比，本发明实施例提供的方案，利用对非可见光图像进行目标检测得到的检测结果，来确定非可见光图像对应的可见光图像的目标检测结果；低照度情况下，非可见光图像的图像质量高，所以对非可见光图像进行目标检测得到的检测结果的准确度高，保证可见光图像的目标检测结果同样具有高的准确度，进而保证了智能监控的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种监控方法的流程示意图；
图2为本发明实施例涉及的对目标图像进行ISP处理(Image Signal Processing，图像信号处理)的示意图；
图3为本发明实施例涉及的对非可见光图像进行ISP处理的示意图；
图4为本发明另一实施例提供的一种监控方法的流程示意图；
图5为本发明实施例涉及的对目标图像进行ISP处理的过程示意图；
图6为本发明实施例涉及的对非可见光图像进行ISP处理的过程示意图；
图7为本发明实施例涉及的对非可见光图像进行目标检测的过程示意图；
图8为本发明实施例提供的一种监控装置的结构示意图；
图9为本发明另一实施例提供的一种监控装置的结构示意图；
图10为本发明一实施例提供的一种监控系统的结构示意图；
图11为本发明另一实施例提供的一种监控系统的结构示意图；
图12为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面首先针对本申请文件涉及的技术术语进行简单介绍。
可见光图像，是利用可见光信号成像获得的图像。同理，非可见光图像是利用非可见光信号成像获得的图像。其中，非可见光是人类肉眼看不见的电磁波，包括红外光、紫外线等；其中的红外光，通常指近红外光(Near Infrared，NIR)，近红外光是介于可见光(VIS)和中红外光(MIR)之间的电磁波，按ASTM(美国试验和材料检测协会)定义是指波长在780～2526nm范围内的电磁波，习惯上又将近红外区划分为近红外短波(780～1100nm)和近红外长波(1100～2526nm)两个区域。
在本申请文件中，上述非可见光可以直接为红外光，相应的，非可见光图像为红外图像；上述非可见光还可以为红外光中的近红外光，相应的，非可见光图像为近红外图像。
目标检测，是指利用目标检测方法从图像中检测出预先设置的待检测目标，如人、汽车等，目标检测的过程中，可以确定出待检测目标在图像中的区域，以及待检测目标的种类。常见的目标检测方法包括：基于深度学习的目标检测方法、利用图像分割技术的目标检测方法以及利用特征匹配技术的目标检测方法等。
下面通过具体实施方式来对本申请文件进行详细介绍。
本发明实施例提供的一种监控方法，可以应用于能够采集可见光图像和非可见光图像的监控设备，例如常见的球形摄像机(球机)等摄像机，或是对摄像机传回图像进行处理的图像处理设备，这都是合理的，本发明实施例并不对上述监控设备的具体形式做限定。
如图1所示的一种监控方法的流程示意图，本发明实施例提供的一种监控方法包括：
S101：获得非可见光图像，以及基于在非可见光图像的采集周期内采集的可见光信号成像获得的目标图像。
需要说明的是，步骤S101中的目标图像为非可见光图像的采集周期内采集的可见光信号成像获得的，所以该非可见光图像与目标图像存在一一对应的关系，该非可见光图像与该目标图像为针对同一场景在相同曝光时间段所获得的。
作为获得上述目标图像以及非可见光图像的一种可选的实现方式，上述步骤S101，可以包括：接收摄像机等其他设备传回的目标图像以及非可见光图像，进而得到上述目标图像以及非可见光图像。
例如，上述监控设备为一图像处理设备，该图像处理设备通信连接一摄像机，该摄像机同时采集上述非可见光图像以及其对应的目标图像，并将所采集的非可见光图像以及目标图像发送给该图像处理设备，则该图像处理设备接收获得非可见光图像以及上述目标图像。
作为获得上述目标图像和非可见光图像的另一种可选的实现方式，上述监控设备可以为具有摄像功能的设备，该监控设备上设置有摄像部件，该摄像部件采集非可见光信号，并利用所采集的非可见光信号生成目标图像和非可见光图像。
一种情况下，该摄像部件中包含有相机镜头、分光单元、可见光传感器以及非可见光传感器。其中，该分光单元可以为半反半透镜，该半反半透镜可以透射可见光而反射非可见光。具体的，该半反半透镜的具体产品形式可以为但不局限于分光棱镜；本领域技术人员可以理解的是，分光棱镜可以允许可见光透过，截止或反射非可见光，也就是，通过棱镜反射面的入射光被滤去非可见波段(被滤去的非可见光可以被反射)，而让可见光通过；另外，对于分光棱镜而言，其能够通过的可见光波段范围，可以通过调节棱镜镀膜的厚度来控制，具体的控制方式为现有技术，在此不做赘述。
在此情况下，相机镜头捕捉的入射光被分光单元分离成可见光信号以及非可见光信号，可见光传感器利用可见光信号成像生成上述目标图像，同样的，非可见光传感器利用非可见光信号成像生成非可见光图像。
另一种情况下，该摄像部件中包含有两个摄像头，其中一个摄像头用于采集可见光信号，并利用采集的可见光信号成像生成上述目标图像，同时，另一摄像头用于采集非可见光信号，并利用采集的非可见光信号成像生成非可见光图像。
本发明实施例中，为了保证所获得的目标图像的图像质量，可以对所获得的目标图像做ISP处理，即上述步骤S101所获得的目标图像为经过ISP处理后的目标图像。如图2所示，对成像获得的原始目标图像所进行的ISP处理包括：包含黑电平及坏点校正的Sensor校正；包含白平衡校正、色彩校正及Gamma校正的色彩还原处理；包含色彩插值和RGB(一种颜色标准)转YUV(一种颜色标准)处理的色彩空间转换处理；以及包含Tone mapping(色调映射)、降噪、锐化和透雾的图像增强处理。
同理，为了保证所获得的非可见光图像的图像质量，可以对所获得的非可见光图像做ISP处理，即上述步骤S101所获得的非可见光图像为经过ISP处理后的非可见光图像。如图3所示，对成像获得的原始非可见光图像所进行的ISP处理包括：包含黑电平、坏点校正以及Gamma校正的图像校正处理；以及包含Tone mapping、降噪、锐化和透雾的图像增强处理。
应该说明的是，本发明实施例中，对直接成像获得的目标图像以及非可见光图像所采用的ISP处理可以借鉴现有技术去实现，本发明实施例在此不再详细介绍。
在监控设备利用所采集的可见光信号和非可见光信号分别生成目标图像和非可见光图像的实现方式下，为了提高所获得的非可见光图像的信噪比，监控设备所采集的非可见光信号可以包括环境入射光中的非可见光信号，以及额外补充的非可见光信号。
即在本发明实施例中，监控设备还可以包括有一个非可见光补光灯，该非可见光补光灯的补光强度等补光状态参数可以是预先固定设置的，但是，在实际的应用场景中，光照强度可能随时发生变化，为保证非可见光的充足，并实现对补光状态参数的动态调整，在上述步骤S101之后，上述方法还可以包括下述步骤a和步骤b：
步骤a：根据该非可见光图像，确定补光状态参数。
监控设备可以根据非可见光图像的图像信息，确定补光状态参数，此处的图像信息可以是非可见光图像的信噪比、曝光参数等，而补光状态参数可以是非可见光补光灯的开闭状态以及补光强度等。当然，步骤a的具体实现可以参照现有技术，本发明实施例在此不做赘述，仅以下述实例进行示例性说明。
示例性的，监控设备在获得非可见光图像后，首先计算出非可见光图像的信噪比，当所计算的信噪比大于阈值T1时，确定补光强度为0，即关闭非可见光补光灯；当所计算的信噪比小于阈值T2时，确定新的补光强度为原补光强度与预设正值K1的和值；当所计算的信噪比处于[T1，T2]的范围时，确定补光强度不变，即新的补光强度为原补光强度，其中，T1＞T2。
步骤b：按照所确定的补光状态参数进行非可见光补光。
此处所述的按照所确定的补光状态参数进行非可见光补光，即表示上述非可见光补光灯按照所确定的补光状态参数进行非可见光补光，使得监控设备此后所采集的非可见光信号包括环境入射光中的非可见光信号，以及非可见光灯额外补充的非可见光信号。例如，该非可见光补光灯为红外LED补光灯，则补光状态参数可以为LED灯头数目，红外补光强度以及角度，则红外LED补光灯按照所确定的LED灯头数目，红外补光强度以及角度进行红外补光。
需要说明的是，监控设备按照所确定的补光状态参数进行非可见光补光时，并不会影响当前已获得的非可见光图像的图像质量，而是对当前时刻后获得的非可见光图像的图像质量产生影响。
S102：检测该非可见光图像中是否存在待检测目标。
应该说明的是，此处的待检测目标为人为预先设置的目标，例如，预先设置待检测目标是人和汽车，则步骤S102需要检测所获得的非可见光图像中是否存在人或汽车；若预先设置待检测目标仅是人，则步骤S102需要检测所获得的非可见光图像中是否存在人。
本发明实施例中，监控设备可以利用现有技术中任何可行的技术来完成步骤S102。例如，利用目标检测方法，检测该非可见光图像中是否存在待检测目标。此处所述的目标检测方法可以是：基于深度学习的目标检测方法、利用图像分割技术的目标检测方法或利用特征匹配技术的目标检测方法等，本发明实施例并不限定该目标检测方法的具体种类，并且目标检测方法的具体实现方式可以参照现有技术，本发明实施例对于目标检测方法的具体实现方式不做详细介绍。
在本发明实施例中，如果步骤S102的检测结果为是，则执行步骤S103：根据待检测目标在该非可见光图像中的第一位置区域，确定待检测目标在该可见光图像中的第二位置区域，进而完成基于该可见光图像的目标监控，其中，可见光图像为基于目标图像所确定的图像。
本领域技术人员可以理解的是，在利用目标检测方法等技术进行目标检测的过程中，如果检测出该非可见光图像中存在有待检测目标，则此时待检测目标的在该非可见光图像中的位置区域已被确定。另外，确定待检测目标在该可见光图像中的第二位置区域后，监控设备获得了确定了第二位置区域的可见光图像，即完成了在可见光图像中的目标检测，进而可以完成基于该可见光图像的目标监控。
需要说明的是，如图1所示，当步骤S102的检测结果为否时，本发明实施例提供的监控方法的流程指向“结束”，表明此时可见光图像中不存在待检测目标，此时监控设备得到一个基于在上述非可见光图像的采集周期内采集的可见光信号成像获得的图像，而相对的，当步骤S102的检测结果为是时，监控设备得到一个确定了上述第二位置区域的上述可见光图像。
上述可见光图像为基于目标图像所确定的图像，一种情况下，该可见光图像即为上述目标图像。作为步骤S103的一种可选的实现方式，当上述可见光图像为上述目标图像时，上述根据待检测目标在该非可见光图像中的第一位置区域，确定待检测目标在该可见光图像中的第二位置区域的步骤，可以是：首先在可见光图像中找到与第一位置区域在该非可见光图像中所处位置相同的位置区域，然后直接将所找到的位置区域确定为：待检测目标在该可见光图像中的第二位置区域。
示例性的，在非可见光图像中找到第一位置区域，其为像素坐标为(x2，y2)至(x2+100，y2+200)的矩形区域；则在可见光图像，即目标图像中，将像素坐标同样为(x2，y2)至(x2+100，y2+200)的矩形区域确定为可见光图像中的第二位置区域。
在上述实现方式下，由于设备本身的设计、制造工艺等原因，实际获得的目标图像与非可见光图像之间存在一定的位置偏差；为了消除上述目标图像与非可见光图像之间的位置偏差，保证上述可见光图像与非可见光图像具有像素级的对齐，进而保证所确定第二位置区域的准确度，作为步骤S103的另一种可选的实现方式，当上述可见光图像为上述目标图像时，上述根据待检测目标在该非可见光图像中的第一位置区域，确定待检测目标在该可见光图像中的第二位置区域(S103)的步骤，可以包括：
以该可见光图像为基准，对待检测目标在该非可见光图像中的第一位置区域进行位置配准，获得配准后的第一位置区域，并将该可见光图像中与配准后的第一位置区域对应的位置区域作为该可见光图像中待检测目标的第二位置区域。
本发明实施例中可以以该可见光图像为基准，对整个非可见光图像进行配准，但为了减少计算量，可以仅对待检测目标在该非可见光图像中的第一位置区域进行位置配准。当然，配准的具体实现方法属于现有技术，例如，基于水平镜像、仿射变换或投影变换实现的位置配准。
作为一种可选的实现方式，上述以该可见光图像为基准，对待检测目标在该非可见光图像中的第一位置区域进行位置配准，获得配准后的第一位置区域的步骤，可以包括：
以该可见光图像为基准，按照如下公式对待检测目标在该非可见光图像中的第一位置区域进行位置配准，获得配准后的第一位置区域：
Figure BDA0004001431090000151
Figure BDA0004001431090000152
其中，(x,y)为配准前的第一位置区域内像素点的坐标，(x1,y1)为配准后第一位置区域中与(x,y)对应的像素点的坐标，
Figure BDA0004001431090000153
为离线标定获取到的仿射变换矩阵。
示例性的，在非可见光图像中找到第一位置区域，其为像素坐标为(x2，y2)至(x2+100，y2+200)的矩形区域，然后利用上述公式进行位置配准后，配准后的第一位置区域为非可见光图像中像素坐标为(x2+2，y2+4)至(x2+102，y2+204)的矩形区域；则在可见光图像中，将像素坐标同样为(x2+2，y2+4)至(x2+102，y2+204)的矩形区域确定为可见光图像中的第二位置区域。
需要强调的是，上述获得配准后的第一位置区域的实现方式仅仅作为示例性说明，并不构成对本发明实施例的限定，本领域技术人员完全可以基于现有技术获得配准后的第一位置区域。
同样为了保证上述可见光图像与非可见光图像具有像素级的对齐，进而保证所确定第二位置区域的准确度；上述可见光图像为基于目标图像所确定的图像，具体的，在另一种情况下，该可见光图像可以为：以上述非可见光图像为基准，对目标图像进行位置配准后所得到的图像。
当然，以上述非可见光图像为基准，对目标图像进行位置配准的具体实现方式与上述以该可见光图像为基准，对待检测目标在该非可见光图像中的第一位置区域进行位置配准的方式相同，本领域技术人员可以基于上述以该可见光图像为基准，对待检测目标在该非可见光图像中的第一位置区域进行位置配准的方式，完成以上述非可见光图像为基准，对目标图像进行位置配准的操作，本发明实施例在此不再赘述。
在此情况下，上述根据待检测目标在该非可见光图像中的第一位置区域，确定待检测目标在该可见光图像中的第二位置区域(S103)的步骤，可以包括：
将可见光图像中与待检测目标所述非可见光图像中的第一位置区域相同的位置区域确定为：待检测目标在可见光图像中的第二位置区域。
示例性的，在非可见光图像中找到第一位置区域，其为像素坐标为(x2，y2)至(x2+200，y2+100)的矩形区域；则在可见光图像，即目标图像的配准图像中，将像素坐标同样为(x2，y2)至(x2+200，y2+100)的矩形区域确定为可见光图像中的第二位置区域。
可以理解，在现有技术中，监控设备直接通过目标检测方法对基于可见光信号成像获得的可见光图像进行目标检测，得到目标在直接成像获得的可见光图像中的位置区域，完成智能监控，但是在低照度情况下，直接成像获得的可见光图像的图像质量差，即使通过图像增强或增加局部曝光量的手段，也无法大幅增加直接成像获得的可见光图像的图像质量，所以现有技术无法在直接成像获得的可见光图像中准确地确定待检测目标所处的区域，甚至于无法准确地检测到直接成像获得的可见光图像中是否存在待检测目标。
由上可知，与现有技术相比，本发明实施例提供的方案，利用对非可见光图像进行目标检测得到的检测结果，来确定非可见光图像对应的可见光图像的目标检测结果；低照度情况下，非可见光图像的图像质量高，所以对非可见光图像进行目标检测得到的检测结果的准确度高，保证可见光图像的目标检测结果同样具有高的准确度，进而保证了智能监控的效果。
并且，监控设备还可以包括有一个非可见光补光灯，非可见光补光灯产生的补光保证了非可见光的充足，使得所获得的非可见光图像的信噪比较高，保证了针对非可见光图像得到的目标检测结果的准确性。
可以理解，上述实施例中，监控设备执行监控方法后，得到确定了上述第二位置区域的可见光图像，一种情况下，监控设备可以直接将确定了上述第二位置区域的可见光图像(附带有目标检测结果的可见光图像)存储在本地或者传输给其他设备，以供查看。为了使得确定了上述第二位置区域的可见光图像被显示后，可以在图像中清楚地展示待检测目标所处的位置，如图4所示，在上述根据待检测目标在该非可见光图像中的第一位置区域，确定待检测目标在该可见光图像中的第二位置区域(S103)的步骤之后，所述方法还可以包括：
S104：在该可见光图像中的第二位置区域标记待检测目标。
步骤S104的具体实现方式有很多，本发明实施例并不限定步骤S104的具体实现方式，只要保证在将标记了第二位置区域的可见光图像显示出来时，人眼可以看到所标记的第二位置区域即可。例如，标记了第二位置区域的可见光图像被显示出来时，可见光图像中的第二位置区域的边缘区域被高亮显示，或者可见光图像中用红色线框标记着所确定出的第二位置区域。当然，步骤S104的具体标记方式可以利用现有技术，本发明实施例在此不再详细介绍。
更进一步的，由于预先设置的待检测目标可以是至少两种，例如，待检测目标包括人和汽车，为了使得人眼能够在被显示后的可见光图像中清楚的看到被检测出的每个待检测目标的种类，在上述在该可见光图像中的第二位置区域标记待检测目标(S104)的步骤之后，上述监控方法还可以包括：
根据所确定出的每个待检测目标所处的第二位置区域，在该可见光图像中标记出待检测目标的种类。
可以理解，待检测目标是预先设置的，所以监控设备在非可见光图像中检测待检测目标所处的第一位置区域时，是按照对应种类的待检测目标进行查找检测的，故监控设备完全可以获知每个待检测目标的种类。例如，监控设备在非可见光图像中检测树木所处的第一位置区域，显然的，当找到一个第一位置区域时，该第一位置区域对应的待检测目标的种类为树木。
另外需要说明的是，可见光图像中的每个第二位置区域对应的待检测目标的种类，与该第二位置区域对应的第一位置区域所对应的待检测目标的种类相同。例如，非可见光图像中，第一位置区域所对应的待检测目标的种类为汽车，则在可见光图像中，与该第一位置区域对应的第二位置区域所对应的待检测目标的种类同样为汽车。
此处所表述的根据所确定出的每个待检测目标所处的第二位置区域，在该可见光图像中标记出待检测目标的种类，可以为：在所确定出的每个待检测目标所处的第二位置区域内标记出该待检测目标的种类，例如，被显示出来可见光图像中用红色线框标记着所确定出的第二位置区域，每个红色线框区域内还显示有种类标记“人”；还可以为：在所确定出的每个待检测目标所处的第二位置区域外侧不超过预设像素距离处标记出该待检测目标的种类，例如，被显示出来可见光图像中用红色线框标记着所确定出的第二位置区域，每个红色线框区域右下角外20像素距离处还显示有种类标记“人”。
当然，关于上述步骤中种类的具体标记方式同样可以利用现有技术，只要使得可见光图像被显示出来后，能够清楚的展示每一个第二位置区域所对应的种类即可，本发明实施例在此不再详细介绍。
更进一步的，作为本发明实施例一种可选的实现方式，当检测到上述非可见光图像中存在待检测目标时，上述方法还可以包括：
在该非可见光图像中识别待检测目标的待识别属性信息，得到识别结果。
上述待识别属性信息可以理解为预先设定的需要识别的属性信息，例如，如果待检测目标为车辆，上述待识别属性信息可以是车辆的车牌号、车辆的类型等，如果待检测目标为人，上述待识别属性信息可以是人的性别等。当然，本发明实施例并不限定该待识别属性的具体种类，可以根据实际的需要设定待识别属性信息。
另外，在该非可见光图像中识别待检测目标的待识别属性信息的方法可以是现有技术中可行的图像识别方法，例如，基于训练和分类的图像识别方法、基于神经网络的图像识别方法以及基于小波矩的图像识别方法等，本发明实施例在此并不限定所采用的识别方法。
相应的，在上述在该可见光图像中的第二位置区域标记待检测目标(S104)的步骤之后，上述方法还可以包括：
根据上述第二位置区域，在该可见光图像中标记出针对待检测目标的识别结果。
此处所表述的根据上述第二位置区域，在该可见光图像中标记出待检测目标的识别结果，可以为：在所确定出的待检测目标所处的第二位置区域内标记出该待检测目标的种类，例如，待检测目标为车辆，待识别属性信息为车辆类型和车牌号，则被显示出来的可见光图像中用红色线框标记着所确定出的第二位置区域，每个红色线框区域内还显示有所识别出的车辆类型以及车牌号：货车，京Axxxxx。
还可以为：在所确定出的待检测目标所处的第二位置区域外侧不超过预设像素距离处标记出针对该待检测目标的识别结果，例如，待检测目标为人，待识别属性信息为人的性别，则在被显示出来的可见光图像中用红色线框标记着所确定出的第二位置区域，每个红色线框区域右下角外20像素距离处还显示有识别结果“男”。
当然，关于上述步骤中识别结果的具体标记方式同样可以利用现有技术，只要使得可见光图像被显示出来后，能够清楚的展示每个第二位置区域所对应的识别结果即可，本发明实施例在此不再详细介绍。
同样可以理解的是，低照度情况下，非可见光图像的图像质量高，所以对非可见光图像进行图像识别所得到的识别结果的准确度高，而本发明实施例在该可见光图像中标记出针对待检测目标的识别结果，使得可见光图像也同样可以携带准确的图像识别结果。
另外，对于本发明实施例中的可见光图像中既可以仅标记第二位置区域以及待检测目标的种类，也可以仅标记第二位置区域以及针对待检测目标的识别结果，还可以关于同时标记第二位置区域、待检测目标的种类以及针对待检测目标的识别结果。
在本发明实施例中，如果该监控设备自身具有显示部件，则可以将标记后的可见光图像在本地显示出来，以使得人眼可以清楚的在显示出来的可见光图像中看到标记后的可见光图像，显然的，此处所述的标记后的可见光图像为：标记有第二位置区域，且同时标记有待检测目标的种类和/或针对待检测目标的识别结果的可见光图像。
当然，大多数情况下，获得上述标记后的可见光图像后，监控设备会将该标记后的可见光图像传输到其它的存储设备中，并可以由其它的显示设备从该存储设备中读取并显示该可见光图像；此情况下，为了便于传输，监控设备可以对标记后的可见光图像进行视频编码操作，然后将编码后的可见光图像传输给存储设备。
下面通过具体实例来对本发明实施例进行简单介绍。
本实例中，上述监控设备为一球机，该球机连接着后端控制台，该球机中包含有相机镜头、分光单元、可见光传感器以及非可见光传感器，而预设的待检测目标为人和汽车。首先，相机镜头捕捉的入射光被分光单元分离成可见光信号以及非可见光信号，可见光传感器利用可见光信号成像生成原始可见光图像，同样的，非可见光传感器利用同一曝光时间段采集的非可见光信号成像生成原始非可见光图像。
然后，球机对所获得的原始可见光图像进行如图5所示的ISP处理：即依次对原始可见光图像做黑电平、坏点校正、白平衡校正、色彩插值、Gamma校正、色彩校正、RGB转YUV、降噪和锐化处理，获得处理后的可见光图像；同理，球机还对所获得的原始非可见光图像进行如图6所示的ISP处理：即依次对原始非可见光图像做黑电平、坏点校正、Gamma校正、降噪和锐化处理，获得处理后的非可见光图像。
此后，如图7所示，球机利用基于深度学习的目标检测方法，按照如下步骤：1、提取候选区域，2、计算特征，3、分类，4、精细修正候选区域，对处理后的非可见光图像进行目标检测，确定处理后的非可见光图像中存在一个待检测目标汽车，且待检测目标汽车在处理后的非可见光图像中的第一位置区域为像素坐标为(x3，y3)至(x3+50，y2+80)的矩形区域。然后，球机通过基于训练和分类的图像识别方法，在该非可见光图像中识别待检测目标的车牌号，并得到识别结果：浙Axxxxx。
球机再以上述处理后的可见光图像为基准，对待检测目标汽车在处理后的非可见光图像中的第一位置区域进行位置配准，获得配准后的第一位置区域，配准后的第一位置区域在非可见光图像中像素坐标为(x3+2，y3+4)至(x3+52，y3+84)的矩形区域，则在处理后的可见光图像中，将像素坐标同样为(x3+2，y3+4)至(x3+52，y3+84)的矩形区域确定为可见光图像中的第二位置区域。
球机在该处理后的可见光图像中标记出第二位置区域，并在该第二位置区域内标记待检测目标的种类汽车以及上述识别结果，然后球机将标记后的可见光图像编码后发送给后端控制台，后端控制台接收并显示标记后的可见光图像，在显示的可见光图像中，所确定出的第二位置区域被红色线框标记出来，同时，该红色线框内展示有待检测目标的种类“汽车”，以及上述识别结果：浙Axxxxx。
相应于图1所示的方法实施例，本发明实施例还提供了一种监控装置，如图8所示，所述装置包括：
获得模块110，用于获得非可见光图像，以及基于在所述非可见光图像的采集周期内采集的可见光信号成像获得的目标图像；
检测模块120，用于检测所述非可见光图像中是否存在待检测目标；
第一确定模块130，用于在所述检测模块120的检测结果为是的情况下，根据所述待检测目标在所述非可见光图像中的第一位置区域，确定所述待检测目标在所述可见光图像中的第二位置区域，进而完成基于所述可见光图像的目标监控，其中，所述可见光图像为基于所述目标图像所确定的图像。
作为本发明实施例的一种可选的实现方式，所述可见光图像可以为所述目标图像；此情况下，所述第一确定模块130，可以具体用于：
以所述可见光图像为基准，对所述待检测目标在所述非可见光图像中的第一位置区域进行位置配准，获得配准后的第一位置区域，并将所述可见光图像中与配准后的第一位置区域对应的位置区域作为所述可见光图像中待检测目标的第二位置区域。
作为本发明实施例的一种可选的实现方式，所述第一确定模块130，可以具体用于：
以所述可见光图像为基准，按照如下公式对所述待检测目标在所述非可见光图像中的第一位置区域进行位置配准，获得配准后的第一位置区域，并将所述可见光图像中与配准后的第一位置区域对应的位置区域作为所述可见光图像中待检测目标的第二位置区域：
Figure BDA0004001431090000221
Figure BDA0004001431090000222
其中，(x,y)为配准前的第一位置区域内像素点的坐标，(x1,y1)为配准后第一位置区域中与(x,y)对应的像素点的坐标，
Figure BDA0004001431090000223
为离线标定获取到的仿射变换矩阵。
作为本发明实施例的另一种可选的实现方式，所述可见光图像可以为：以所述非可见光图像为基准，对所述目标图像进行位置配准后所得到的图像；
此情况下，所述第一确定模块130，可以具体用于：
将所述可见光图像中与所述待检测目标在所述非可见光图像中的第一位置区域相同的位置区域确定为：所述待检测目标在所述可见光图像中的第二位置区域。
相应于图4所示方法实施例，如图9所示，所述装置还可以包括：
标记模块140，用于在确定所述待检测目标在所述可见光图像中的第二位置区域之后，在所述可见光图像中的所述第二位置区域标记所述待检测目标。
作为本发明实施例的一种可选的实现方式，所述标记模块140，还可以用于在所述可见光图像中的所述第二位置区域标记所述待检测目标之后，根据所确定出的每个待检测目标所处的第二位置区域，在所述可见光图像中标记出该待检测目标的种类。
作为本发明实施例的一种可选的实现方式，所述装置还可以包括：
识别模块，用于当检测到所述非可见光图像中存在待检测目标时，在所述非可见光图像中识别所述待检测目标的待识别属性信息，得到识别结果；
相应的，所述标记模块，还用于在所述可见光图像中的所述第二位置区域标记所述待检测目标之后，根据所述第二位置区域，在所述可见光图像中标记出针对所述待检测目标的识别结果。
作为本发明实施例的一种可选的实现方式，所述装置还可以包括：
第二确定模块，用于在获得所述非可见光图像后，根据所述非可见光图像，确定补光状态参数；
补光模块，用于按照所述补光状态参数进行非可见光补光。
由上可知，与现有技术相比，本发明实施例提供的方案，利用对非可见光图像进行目标检测得到的检测结果，来确定非可见光图像对应的可见光图像的目标检测结果；低照度情况下，非可见光图像的图像质量高，所以对非可见光图像进行目标检测得到的检测结果的准确度高，保证了可见光图像的目标检测结果同样具有高的准确度，进而保证了智能监控的效果。
并且，监控设备还可以包括有一个非可见光补光灯，非可见光补光灯产生的补光保证了非可见光的充足，使得所获得的非可见光图像的信噪比较高，保证了针对非可见光图像得到的目标检测结果的准确性。
相应于图1所示方法实施例，本发明实施例还提供了一种监控系统，如图10所示，所述系统包括目标图像采集设备、非可见光图像采集设备以及图像处理设备；其中：
所述非可见光图像采集设备，用于非可见光图像，并将所采集的非可见光图像发送给所述图像处理设备；
所述目标图像采集设备，用于基于在所述非可见光图像的采集周期内采集的可见光信号，成像获得目标图像，并将所述目标图像发送给所述图像处理设备；
所述图像处理设备，用于接收所述目标图像采集设备发送的所述目标图像以及所述非可见光图像采集设备发送的所述非可见光图像；针对待检测目标，对所获得的非可见光图像进行目标检测，得到包含有所述非可见光图像中待检测目标的第一位置区域的检测结果；根据所述第一位置区域，确定所述可见光图像中待检测目标的第二位置区域，其中，所述可见光图像为基于所述目标图像所确定的图像。
应该说明的是，本发明实施例中，该目标图像采集设备以及非可见光图像采集设备可以为两个物理设备；当然该目标图像采集设备以及非可见光图像采集设备同样可以位于同一物理实体上，例如目标图像采集设备以及非可见光图像采集设备可以是常见的球机中所包含的两个子设备。
当然，在本发明实施例所提供的监控系统中，各个设备分别执行的操作都可以参照上述方法实施例中监控设备所执行的对应操作，本发明实施例在此不再赘述。
作为本发明实施例的一种可选的实现方式，所述可见光图像可以为所述目标图像；此情况下，所述图像处理设备根据所述待检测目标在所述非可见光图像中的第一位置区域，确定所述待检测目标在所述可见光图像中的第二位置区域，可以具体为：
以所述可见光图像为基准，对所述待检测目标在所述非可见光图像中的第一位置区域进行位置配准，获得配准后的第一位置区域，并将所述可见光图像中与配准后的第一位置区域对应的位置区域作为所述可见光图像中待检测目标的第二位置区域。
作为本发明实施例的一种可选的实现方式，所述图像处理设备以所述可见光图像为基准，对所述待检测目标在所述非可见光图像中的第一位置区域进行位置配准，获得配准后的第一位置区域，可以具体为：
以所述可见光图像为基准，按照如下公式对所述待检测目标在所述非可见光图像中的第一位置区域进行位置配准，获得配准后的第一位置区域：
Figure BDA0004001431090000251
Figure BDA0004001431090000252
其中，(x,y)为配准前的第一位置区域内像素点的坐标，(x1,y1)为配准后第一位置区域中与(x,y)对应的像素点的坐标，
Figure BDA0004001431090000253
为离线标定获取到的仿射变换矩阵。
作为本发明实施例的另一种可选的实现方式，所述可见光图像可以为：以所述非可见光图像为基准，对所述目标图像进行位置配准后所得到的图像；
此情况下，所述图像处理设备根据所述待检测目标在所述非可见光图像中的第一位置区域，确定所述待检测目标在所述可见光图像中的第二位置区域，可以具体为：
将所述可见光图像中与所述待检测目标在所述非可见光图像中的第一位置区域相同的位置区域确定为：所述待检测目标在所述可见光图像中的第二位置区域。
相应于图4所示方法实施例，作为本发明实施例的一种可选的实现方式，所述图像处理设备还可以用于：
在所述可见光图像中的所述第二位置区域标记所述待检测目标。
作为本发明实施例的一种可选的实现方式，所述图像处理设备还可以用于：
根据所确定出的每个待检测目标所处的第二位置区域，在所述可见光图像中标记出该待检测目标的种类。
作为本发明实施例的一种可选的实现方式，所述图像处理设备还用于：当检测到所述非可见光图像中存在待检测目标时，在所述非可见光图像中识别所述待检测目标的待识别属性信息，得到识别结果；在所述可见光图像中的所述第二位置区域标记所述待检测目标之后，根据所述第二位置区域，在所述可见光图像中标记出针对所述待检测目标的识别结果。
作为本发明实施例的一种可选的实现方式，如图11所示，所述系统还可以包括非可见光补光灯，
所述非可见光图像采集设备，还用于在采集到所述非可见光图像后，根据所述非可见光图像，确定补光状态参数；将所述补光状态参数发送给所述非可见光补光灯；
所述非可见光补光灯，用于接收所述非可见光图像采集设备发送的所述补光状态参数；按照所述补光状态参数进行非可见光补光。
由上可知，与现有技术相比，本发明实施例提供的方案，利用对非可见光图像进行目标检测得到的检测结果，来确定非可见光图像对应的可见光图像的目标检测结果；低照度情况下，非可见光图像的图像质量高，所以对非可见光图像进行目标检测得到的检测结果的准确度高，保证了可见光图像的目标检测结果同样具有高的准确度，进而保证了智能监控的效果。
并且，监控设备还可以包括有一个非可见光补光灯，非可见光补光灯产生的补光保证了非可见光的充足，使得所获得的非可见光图像的信噪比较高，保证了针对非可见光图像得到的目标检测结果的准确性。
本发明实施例还提供了一种电子设备，如图12所示，包括处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信，
存储器303，用于存放计算机程序；
处理器301，用于执行存储器303上所存放的程序时，实现如下步骤：
获得非可见光图像，以及基于在非可见光图像的采集周期内采集的可见光信号成像获得的目标图像；
检测该非可见光图像中是否存在待检测目标；
若存在，则根据待检测目标在该非可见光图像中的第一位置区域，确定待检测目标在该可见光图像中的第二位置区域，进而完成基于该可见光图像的目标监控，其中，该可见光图像为基于目标图像所确定的图像。
关于该方法各个步骤的具体实现以及相关解释内容可以参见上述图1和4所示的方法实施例，在此不做赘述。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
由上可知，与现有技术相比，本发明实施例提供的方案，利用对非可见光图像进行目标检测得到的检测结果，来确定非可见光图像对应的可见光图像的目标检测结果；低照度情况下，非可见光图像的图像质量高，所以对非可见光图像进行目标检测得到的检测结果的准确度高，保证了可见光图像的目标检测结果同样具有高的准确度，进而保证了智能监控的效果。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的监控方法。
由上可知，与现有技术相比，本发明实施例提供的方案，利用对非可见光图像进行目标检测得到的检测结果，来确定非可见光图像对应的可见光图像的目标检测结果；低照度情况下，非可见光图像的图像质量高，所以对非可见光图像进行目标检测得到的检测结果的准确度高，保证了可见光图像的目标检测结果同样具有高的准确度，进而保证了智能监控的效果。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、系统、电子设备以及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种监控方法，其特征在于，所述方法包括：
获得由监控设备上摄像部件所采集非可见光信号生成的非可见光图像，以及基于在所述非可见光图像的采集周期内所述摄像部件采集的可见光信号成像获得的目标图像，其中，所述摄像部件包含相机镜头和分光单元，所述相机镜头捕捉的入射光被所述分光单元分离成可见光信号以及非可见光信号，所述分光单元用于透射可见光而反射非可见光；
检测所述非可见光图像中是否存在待检测目标；
若存在，根据所述待检测目标在所述非可见光图像中的第一位置区域，确定所述待检测目标在所述可见光图像中的第二位置区域，进而完成基于所述可见光图像的目标监控；
当检测到所述非可见光图像中存在待检测目标时，所述方法还包括：
在所述非可见光图像中识别所述待检测目标的待识别属性信息，得到识别结果；
在确定所述待检测目标在所述可见光图像中的第二位置区域之后，所述方法还包括：
在所述可见光图像中的所述第二位置区域标记所述待检测目标；
根据所确定出的每个待检测目标所处的第二位置区域，在所述可见光图像中标记出该待检测目标的种类；
根据所述第二位置区域，在所述可见光图像中标记出针对所述待检测目标的识别结果；或者在所确定出的待检测目标所处的第二位置区域外侧不超过预设像素距离处标记出针对该待检测目标的识别结果；
显示标记后的可见光图像。
2.根据权利要求1所述的方法，其特征在于，所述可见光图像为所述目标图像；
所述根据所述待检测目标在所述非可见光图像中的第一位置区域，确定所述待检测目标在所述可见光图像中的第二位置区域的步骤，包括：
以所述可见光图像为基准，对所述待检测目标在所述非可见光图像中的第一位置区域进行位置配准，获得配准后的第一位置区域，并将所述可见光图像中与配准后的第一位置区域对应的位置区域作为所述可见光图像中待检测目标的第二位置区域。
3.根据权利要求1所述的方法，其特征在于，
所述可见光图像为：以所述非可见光图像为基准，对所述目标图像进行位置配准后所得到的图像；
所述根据所述待检测目标在所述非可见光图像中的第一位置区域，确定所述待检测目标在所述可见光图像中的第二位置区域的步骤，包括：
将所述可见光图像中与所述待检测目标在所述非可见光图像中的第一位置区域相同的位置区域确定为：所述待检测目标在所述可见光图像中的第二位置区域。
4.根据权利要求1所述的方法，其特征在于，所述检测所述非可见光图像中是否存在待检测目标的步骤，包括：
利用目标检测方法，检测所述非可见光图像中是否存在待检测目标；其中，所述目标检测方法为：基于深度学习的目标检测方法、利用图像分割技术的目标检测方法或利用特征匹配技术特征的目标检测方法，所述待检测目标是预先配置的。
5.根据权利要求2所述的方法，其特征在于，所述以所述可见光图像为基准，对所述待检测目标在所述非可见光图像中的第一位置区域进行位置配准，获得配准后的第一位置区域的步骤，包括：
以所述可见光图像为基准，利用预设位置配准方式，对所述待检测目标在所述非可见光图像中第一位置区域进行位置配准，获得配准后的第一位置区域；其中，所述预设位置配准方式为基于水平镜像的位置配准算法、仿射变换的位置配准算法或投影变换的位置配准算法。
6.根据权利要求1-5任一项所述的方法，其特征在于，在所述获得可见光图像以及与所述可见光图像对应的非可见光图像的步骤之后，所述方法还包括：
根据所述非可见光图像的图像信息，确定补光状态参数；
按照所述补光状态参数进行非可见光补光。
7.一种监控装置，其特征在于，所述装置包括：
获得模块，用于获得由监控设备上摄像部件所采集非可见光信号生成的非可见光图像，以及基于在所述非可见光图像的采集周期内所述摄像部件采集的可见光信号成像获得的目标图像，其中，所述摄像部件包含相机镜头和分光单元，所述相机镜头捕捉的入射光被所述分光单元分离成可见光信号以及非可见光信号，所述分光单元用于透射可见光而反射非可见光；
检测模块，用于检测所述非可见光图像中是否存在待检测目标；
第一确定模块，用于在所述检测模块的检测结果为是的情况下，根据所述待检测目标在所述非可见光图像中的第一位置区域，确定所述待检测目标在所述可见光图像中的第二位置区域，进而完成基于所述可见光图像的目标监控；
识别模块，用于当检测到所述非可见光图像中存在待检测目标时，在所述非可见光图像中识别所述待检测目标的待识别属性信息，得到识别结果；
标记模块，用于在确定所述待检测目标在所述可见光图像中的第二位置区域之后，在所述可见光图像中的所述第二位置区域标记所述待检测目标；
所述标记模块，还用于根据所确定出的每个待检测目标所处的第二位置区域，在所述可见光图像中标记出该待检测目标的种类；
所述标记模块，还用于根据所述第二位置区域，在所述可见光图像中标记出针对所述待检测目标的识别结果；或者在所确定出的待检测目标所处的第二位置区域外侧不超过预设像素距离处标记出针对该待检测目标的识别结果；
显示模块，用于显示标记后的可见光图像。
8.一种监控系统，其特征在于，所述系统包括监控设备和图像处理设备；其中：
所述监控设备，用于获得由自身上摄像部件所采集非可见光信号生成的非可见光图像，以及基于在所述非可见光图像的采集周期内所述摄像部件采集的可见光信号成像获得的目标图像；其中，所述摄像部件包含相机镜头和分光单元，所述相机镜头捕捉的入射光被所述分光单元分离成可见光信号以及非可见光信号，所述分光单元用于透射可见光而反射非可见光；
所述图像处理设备，用于接收所述监控设备获得的所述目标图像以及所述所述非可见光图像；检测所述非可见光图像中是否存在待检测目标；若存在，根据所述待检测目标在所述非可见光图像中的第一位置区域，确定所述待检测目标在所述可见光图像中的第二位置区域，进而完成基于所述可见光图像的目标监控；
所述图像处理设备，还用于当检测到所述非可见光图像中存在待检测目标时，在所述非可见光图像中识别所述待检测目标的待识别属性信息，得到识别结果；
所述图像处理设备，还用于在确定所述待检测目标在所述可见光图像中的第二位置区域之后，在所述可见光图像中的所述第二位置区域标记所述待检测目标；
所述图像处理设备，还用于根据所确定出的每个待检测目标所处的第二位置区域，在所述可见光图像中标记出该待检测目标的种类；
所述图像处理设备，还用于根据所述第二位置区域，在所述可见光图像中标记出针对所述待检测目标的识别结果；或者在所确定出的待检测目标所处的第二位置区域外侧不超过预设像素距离处标记出针对该待检测目标的识别结果；
所述图像处理设备，还用于显示标记后的可见光图像。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
CN202211619559.3A 2017-09-15 2017-09-15 监控方法、装置、系统、电子设备及计算机可读存储介质 Pending CN115937776A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211619559.3A CN115937776A (zh) 2017-09-15 2017-09-15 监控方法、装置、系统、电子设备及计算机可读存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211619559.3A CN115937776A (zh) 2017-09-15 2017-09-15 监控方法、装置、系统、电子设备及计算机可读存储介质
CN201710834952.7A CN109508588A (zh) 2017-09-15 2017-09-15 监控方法、装置、系统、电子设备及计算机可读存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201710834952.7A Division CN109508588A (zh) 2017-09-15 2017-09-15 监控方法、装置、系统、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN115937776A true CN115937776A (zh) 2023-04-07

Family

ID=65723499

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202211619559.3A Pending CN115937776A (zh) 2017-09-15 2017-09-15 监控方法、装置、系统、电子设备及计算机可读存储介质
CN201710834952.7A Pending CN109508588A (zh) 2017-09-15 2017-09-15 监控方法、装置、系统、电子设备及计算机可读存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201710834952.7A Pending CN109508588A (zh) 2017-09-15 2017-09-15 监控方法、装置、系统、电子设备及计算机可读存储介质

Country Status (4)

Country Link
US (1) US11275952B2 (zh)
EP (1) EP3683716A4 (zh)
CN (2) CN115937776A (zh)
WO (1) WO2019052320A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507327B (zh) * 2020-04-07 2023-04-14 浙江大华技术股份有限公司 一种目标检测方法及装置
CN112399075B (zh) * 2020-10-15 2022-06-07 浙江大华技术股份有限公司 补光灯的控制方法、监控设备、电子装置和存储介质

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496594B1 (en) * 1998-10-22 2002-12-17 Francine J. Prokoski Method and apparatus for aligning and comparing images of the face and body from different imagers
US6775404B1 (en) * 1999-03-18 2004-08-10 University Of Washington Apparatus and method for interactive 3D registration of ultrasound and magnetic resonance images based on a magnetic position sensor
US7319805B2 (en) * 2003-10-06 2008-01-15 Ford Motor Company Active night vision image intensity balancing system
US7602942B2 (en) * 2004-11-12 2009-10-13 Honeywell International Inc. Infrared and visible fusion face recognition system
US8531562B2 (en) * 2004-12-03 2013-09-10 Fluke Corporation Visible light and IR combined image camera with a laser pointer
CN101111748B (zh) * 2004-12-03 2014-12-17 弗卢克公司 具有激光指示器的可见光和ir组合的图像照相机
WO2008130905A2 (en) * 2007-04-17 2008-10-30 Mikos, Ltd. System and method for using three dimensional infrared imaging to provide detailed anatomical structure maps
CN101383004A (zh) * 2007-09-06 2009-03-11 上海遥薇实业有限公司 一种红外和可见光图像相结合的乘客目标检测方法
CA2721662C (en) * 2008-04-16 2016-06-07 Elbit Systems Ltd. Multispectral enhanced vision system and method for aircraft landing in inclement weather conditions
US8093559B1 (en) * 2008-12-02 2012-01-10 Hrl Laboratories, Llc Methods and apparatus for three-color infrared sensors
CN102567707B (zh) * 2010-12-27 2016-10-12 北京北科慧识科技股份有限公司 生物识别传感器及生物识别系统
CN102789114B (zh) * 2011-05-18 2015-07-15 中国科学院微电子研究所 一种可见-红外双通摄像机
CN102231205A (zh) * 2011-06-24 2011-11-02 北京戎大时代科技有限公司 一种多模监控装置及方法
CN102542569B (zh) * 2011-12-21 2015-03-11 武汉市兑尔科技有限公司 一种快速图像配准及其标定方法及实现其的系统
EP2820637A1 (en) * 2012-02-28 2015-01-07 Watts, William Henry Weather avoidance tool system
US9275302B1 (en) * 2012-08-24 2016-03-01 Amazon Technologies, Inc. Object detection and identification
US9986176B2 (en) * 2013-02-25 2018-05-29 Commonwealth Scientific And Industrial Research Organisation 3D imaging method and system
CN103745203B (zh) 2014-01-15 2017-03-15 南京理工大学 基于视觉注意和均值漂移的目标检测与跟踪方法
WO2015157058A1 (en) * 2014-04-07 2015-10-15 Bae Systems Information & Electronic Systems Integration Inc. Contrast based image fusion
US9245196B2 (en) * 2014-05-09 2016-01-26 Mitsubishi Electric Research Laboratories, Inc. Method and system for tracking people in indoor environments using a visible light camera and a low-frame-rate infrared sensor
US9785247B1 (en) * 2014-05-14 2017-10-10 Leap Motion, Inc. Systems and methods of tracking moving hands and recognizing gestural interactions
CN106485245A (zh) * 2015-08-24 2017-03-08 南京理工大学 一种基于可见光和红外图像的全天候目标实时跟踪方法
CN106488201B (zh) * 2015-08-28 2020-05-01 杭州海康威视数字技术股份有限公司 一种图像信号的处理方法和系统
US9549101B1 (en) * 2015-09-01 2017-01-17 International Business Machines Corporation Image capture enhancement using dynamic control image
CN105203159A (zh) * 2015-10-14 2015-12-30 武汉三江中电科技有限责任公司 单通道可见光与红外图像采集融合监测系统
JP6356925B2 (ja) * 2015-10-27 2018-07-11 富士フイルム株式会社 撮像システム、並びにオブジェクト検出装置及びその作動方法
CN205265843U (zh) * 2015-12-16 2016-05-25 广州斯摩莱信息科技有限公司 可见光与红外光双视监控系统
CN105913040B (zh) * 2016-04-27 2019-04-23 重庆邮电大学 暗视觉条件下的双摄像头实时行人检测系统
CN106056594A (zh) * 2016-05-27 2016-10-26 四川桑莱特智能电气设备股份有限公司 一种基于双光谱的可见光图像提取系统与方法
CN106060364A (zh) * 2016-07-28 2016-10-26 浙江宇视科技有限公司 光学透雾彩色图像采集方法及摄像机
CN106454049B (zh) * 2016-10-28 2021-12-31 无锡豪帮高科股份有限公司 一种基于分区双通滤光片的虹膜识别及拍照二合一摄像模组
CN106446873B (zh) * 2016-11-03 2021-01-26 北京旷视科技有限公司 人脸检测方法及装置
CN108419062B (zh) * 2017-02-10 2020-10-02 杭州海康威视数字技术股份有限公司 图像融合设备和图像融合方法
CN107483717A (zh) * 2017-07-19 2017-12-15 广东欧珀移动通信有限公司 红外补光灯的设置方法及相关产品
CN109461168B (zh) * 2018-10-15 2021-03-16 腾讯科技（深圳）有限公司 目标对象的识别方法和装置、存储介质、电子装置

Also Published As

Publication number Publication date
CN109508588A (zh) 2019-03-22
WO2019052320A1 (zh) 2019-03-21
US11275952B2 (en) 2022-03-15
EP3683716A1 (en) 2020-07-22
US20210034881A1 (en) 2021-02-04
EP3683716A4 (en) 2020-11-11

Similar Documents

Publication Publication Date Title
US8077204B2 (en) Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method
JP4263737B2 (ja) 歩行者検知装置
CN107169405B (zh) 基于双目摄像机活体识别的方法及装置
EP3336764B1 (en) Vehicle monitoring method and image acquisition device
CN111308448B (zh) 图像采集设备与雷达的外参确定方法及装置
US8005266B2 (en) Vehicle surroundings monitoring apparatus
CN107113408B (zh) 图像处理装置、图像处理方法、程序和系统
CN112069862B (zh) 目标检测方法和装置
US20150339811A1 (en) Systems and methods for haziness detection
CN110135235B (zh) 一种眩光处理方法、装置及车辆
CN107506760A (zh) 基于gps定位与视觉图像处理的交通信号检测方法及系统
JP6553624B2 (ja) 計測機器、及びシステム
US11455710B2 (en) Device and method of object detection
JPWO2013047088A1 (ja) 生体認識装置
CN115937776A (zh) 监控方法、装置、系统、电子设备及计算机可读存储介质
KR101276073B1 (ko) 차량용 내비게이션에서의 영상에서 앞차 검출을 통한 거리 인식 시스템 및 방법
CN101783013A (zh) 一种适用于交通控制的图像增强系统与方法
CN113011222B (zh) 一种活体检测系统、方法及电子设备
US11589028B2 (en) Non-same camera based image processing apparatus
JP2016110373A (ja) カーブミラー検出装置
US20240015269A1 (en) Camera system, method for controlling the same, storage medium, and information processing apparatus
CN117830121A (zh) 一种图像融合方法及相关组件
JP4765113B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP4704998B2 (ja) 画像処理装置
TWI630818B (zh) Dynamic image feature enhancement method and system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination