CN114511595B - 多模态协同和融合的目标跟踪方法、装置及系统、介质 - Google Patents

Abstract

多模态协同和融合的目标跟踪方法、装置及系统、存储介质，所述多模态协同和融合的目标跟踪方法包括：获取预设区域的广角图像；在预设区域进行目标检测，确定目标所在的目标区域，获取所述目标区域的长焦图像；根据如下方式生成从所述广角图像变倍至所述长焦图像过程中的任一变倍数为x的图像：获取所述广角图像变倍x后的变倍图像；确定所述目标区域在变倍图像中的位置和大小；将长焦图像缩放至所述目标区域在变倍图像的大小，得到缩放后的长焦图像；将所述缩放后的长焦图像拼接至所述变倍图像中所述目标区域对应的位置，得到所述变倍数为x的图像。本实施例提供的方案，无需光学变倍系统，变倍响应速度快，没有机械磨损，且成本低，便于小型化。

Description

多模态协同和融合的目标跟踪方法、装置及系统、介质

技术领域

本文涉及监控技术，尤指一种多模态协同和融合的目标跟踪方法、装置及系统、存储介质。

背景技术

在安防监控项目落地应用中，客户普遍存在一种监控需求：既要求全景综观大局，又同时需要对全景内感兴趣的人或车查看局部的高清细节。

当前支持光学变倍的双目相机是满足上述需求较为普遍的一种实现方式。双目相机的第一路码流由定焦广角摄像头负责采集全景，第二路码流由支持光学变倍的PTZ(Pan/Tilt/Zoom 全方位移动及镜头变倍、变焦控制)球机实现。

由于相机光学变倍变焦通过电机机械控制，在频繁使用场景下镜头存在寿命问题。另外，相机存在光学变倍镜头和电机控制模块，故存在成本高和小型化难的问题，这影响了此类相机的应用和普及。

发明内容

本申请实施例提供了一种多模态协同和融合的目标跟踪方法、装置及系统、存储介质，可以提高响应速度，降低成本。

本申请实施例提供了一种多模态协同和融合的目标跟踪方法，包括：

获取预设区域的广角图像；

使用目标检测模块在所述预设区域进行目标检测，确定目标所在的目标区域，其中，所述目标检测模块包括以下至少之一：毫米波雷达、广角摄像头，按如下方式获取所述目标区域的长焦图像：

当检测到的所述目标沿第一方向的大小与当前调用的长焦摄像头的视场角沿第一方向的大小的比值小于第一预设阈值，且，所述目标沿第二方向的大小与当前调用的长焦摄像头的视场角沿第二方向的大小的比值小于第二预设阈值时，获取一个长焦摄像头的图像作为所述目标区域的长焦图像；当检测到的所述目标沿第一方向的大小与当前调用的长焦摄像头的视场角沿第一方向的大小的比值大于等于第一预设阈值时，获取多个长焦摄像头的图像，将所述多个长焦摄像头的图像沿第一方向拼接作为所述目标区域的长焦图像；当检测到的所述目标沿第二方向的大小与当前调用的长焦摄像头的视场角沿第二方向的大小的比值大于等于第二预设阈值时，获取多个长焦摄像头的图像，将所述多个长焦摄像头的图像沿第二方向拼接作为所述目标区域的长焦图像，所述第一方向和第二方向其中之一为所述长焦摄像头的图像的长度方向，另一为所述长焦摄像头的图像的宽度方向；

根据如下方式生成从所述广角图像变倍至所述长焦图像过程中的任一变倍数为x的图像：获取所述广角图像变倍x后的变倍图像；确定所述目标区域在所述变倍图像中的位置和大小；将所述长焦图像缩放至所述目标区域在所述变倍图像的大小，得到缩放后的长焦图像；将所述缩放后的长焦图像拼接至所述变倍图像中所述目标区域对应的位置，得到所述变倍数为x的图像。

在一示例性实施例中，所述获取所述广角图像变倍x后的变倍图像包括：

所述目标区域在所述广角图像中的图像称为目标图像；所述广角图像的中心点为第一中心点，所述目标图像的中心点为第二中心点，获取所述第一中心点和所述第二中心点的距离D，确定迁移距离d=x*D/N，N为从所述广角图像变倍至所述长焦图像的最大变倍数；根据所述迁移距离d、所述第一中心点和所述第二中心点确定第三中心点，其中，所述第三中心点与所述第一中心点的距离为所述迁移距离d，且所述第三中心点位于所述第一中心点和所述第二中心点构成的线段上；

将所述广角图像中以所述第三中心点为中心，第一方向的像素数为h0/x，第二方向的像素数为w0/x的区域作为新画幅，其中，所述广角图像第一方向的像素数为h0，第二方向的像素数为w0；

将所述新画幅插值x倍生成与所述广角图像大小一致的图像，得到所述变倍图像。

在一示例性实施例中，所述确定所述目标区域在所述变倍图像中的位置和大小包括：

所述目标区域在所述变倍图像中的中心点为第四中心点，所述第四中心点与所述变倍图像的中心点的距离为d’=(D-d)*x，根据所述第二中心点与所述第一中心点的连线与所述第一方向的夹角，以及所述距离d’，确定所述第四中心点的位置；

将所述长焦图像缩小至原始大小的x*f0/f1，得到缩放后的长焦图像，其中，所述f0为所述广角图像对应的焦距，所述f1为所述长焦图像对应的焦距。

在一示例性实施例中，所述多个长焦摄像头包括第一长焦摄像头和第二长焦摄像头，所述第一长焦摄像头获取的长焦图像为第一图像，所述第二长焦摄像头获取的长焦图像为第二图像，且从调度第一长焦摄像头切换至调度第一长焦摄像头和第二长焦摄像头，所述获取多个长焦摄像头的图像前，还包括：

获取调度所述第二长焦摄像头前，所述广角图像中所述目标区域的中心点，以及，所述目标区域沿拼接方向的第一长度，将所述目标区域的中心点沿拼接方向移动所述第一长度的一半，获得第五中心点；将所述目标区域的中心点沿与拼接方向相反的方向移动所述第一长度的一半，获得第六中心点；所述拼接方向为所述第一图像和所述第二图像拼接的方向；

将所述第五中心点作为所述第一长焦摄像头的中心点调度所述第一长焦摄像头，将所述第六中心点作为所述第二长焦摄像头的中心点调度所述第二长焦摄像头。

在一示例性实施例中，所述方法还包括：

获取所述目标的运动信息，以及，确定所述目标的类别；

根据所述目标的运动信息和所述目标的类别确定：调用的长焦摄像头的数量及基于所调用的长焦摄像头的图像生成所述目标区域的长焦图像的拼接方式。

在一示例性实施例中，所述运动信息包括运动方向和速度；所述类别包括人；

所述根据所述目标的运动信息和所述目标的类别确定调用的长焦摄像头的数量及基于所调用的长焦摄像头的图像生成所述目标区域的长焦图像的拼接方式包括：

当所述目标为人，且运动方向为接近所述长焦摄像头，且运动速度大于等于第一预设速度阈值，调用两个长焦摄像头，且所述两个长焦摄像头的图像的拼接方式为沿人的站立方向拼接；

当所述目标为人，且运动方向为接近所述长焦摄像头，且运动速度小于第一预设速度阈值，调用一个长焦摄像头；

当所述目标的运动方向为远离所述长焦摄像头，则调用的长焦摄像头数量不变。

在一示例性实施例中，所述运动信息包括运动方向和速度；所述类别包括车辆；

当所述目标为车辆，且运动方向为接近所述长焦摄像头，且运动速度大于等于第二预设速度阈值，沿第四方向，所述车辆的车头的正面的长度与所述车辆的长度的比值大于等于第三预设阈值，则：所述车辆沿第三方向的长度大于等于沿第四方向的长度，调用两个长焦摄像头，且所述两个长焦摄像头的图像的拼接方式为沿第三方向拼接；所述车辆沿第三方向的长度小于沿第四方向的长度，调用两个长焦摄像头，且所述两个长焦摄像头的图像的拼接方式为沿第四方向拼接，其中，将车底至车顶方向称为第三方向，第四方向垂直于第三方向；

当所述目标为车辆，且运动方向为接近所述长焦摄像头，且运动速度大于等于第二预设速度阈值，沿第四方向，所述车辆的车头的正面的长度与所述车辆的长度的比值小于第三预设阈值，调用两个长焦摄像头，且所述两个长焦摄像头的图像的拼接方式为沿第四方向拼接；

当所述目标的运动方向为远离所述长焦摄像头，则调用的长焦摄像头数量不变。

本公开实施例提供一种目标跟踪装置，包括存储器和处理器，所述存储器存储有程序，所述程序在被所述处理器读取执行时，实现上述任一实施例所述的多模态协同和融合的目标跟踪方法。

本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一实施例所述的多模态协同和融合的目标跟踪方法。

本公开实施例提供一种目标跟踪系统，包括：主控模块、目标检测模块、广角摄像头和至少一个长焦摄像头，其中：

所述主控模块被配置为，控制所述广角摄像头获取预设区域的广角图像；以及，接收目标检测模块返回的目标所在的目标区域，根据如下方式控制所述长焦摄像头以获取所述目标区域的长焦图像：当检测到的所述目标沿第一方向的大小与当前调用的长焦摄像头的视场角沿第一方向的大小的比值小于第一预设阈值，且，所述目标沿第二方向的大小与当前调用的长焦摄像头的视场角沿第二方向的大小的比值小于第二预设阈值时，获取一个长焦摄像头的图像作为所述目标区域的长焦图像；当检测到的所述目标沿第一方向的大小与当前调用的长焦摄像头的视场角沿第一方向的大小的比值大于等于第一预设阈值时，获取多个长焦摄像头的图像，将所述多个长焦摄像头的图像沿第一方向拼接作为所述目标区域的长焦图像；当检测到的所述目标沿第二方向的大小与当前调用的长焦摄像头的视场角沿第二方向的大小的比值大于等于第二预设阈值时，获取多个长焦摄像头的图像，将所述多个长焦摄像头的图像沿第二方向拼接作为所述目标区域的长焦图像，所述第一方向和第二方向其中之一为所述长焦摄像头的图像的长度方向，另一为所述长焦摄像头的图像的宽度方向；以及，根据如下方式生成从所述广角图像变倍至所述长焦图像过程中的任一变倍数为x的图像：获取所述广角图像变倍x后的变倍图像；确定所述目标区域在所述变倍图像中的位置和大小；将所述长焦图像缩放至所述目标区域在所述变倍图像的大小，得到缩放后的长焦图像；将所述缩放后的长焦图像拼接至所述变倍图像中所述目标区域对应的位置，得到所述变倍数为x的图像；

所述目标检测模块被配置为，在所述预设区域进行目标检测，确定目标所在的目标区域，发送所述目标区域给主控模块；所述目标检测模块包括以下至少之一：毫米波雷达、广角摄像头；

所述广角摄像头被配置为，根据所述主控模块的控制，获取预设区域的广角图像，将所述广角图像发送给所述主控模块；

所述长焦摄像头被配置为，根据所述主控模块的控制，获取所述目标区域的长焦图像，将所述长焦图像发送给所述主控模块。

与相关技术相比，本申请包括一种多模态协同和融合的目标跟踪方法、装置及系统、存储介质，所述多模态协同和融合的目标跟踪方法包括：获取预设区域的广角图像；在所述预设区域进行目标检测，确定目标所在的目标区域，获取所述目标区域的长焦图像；根据如下方式生成从所述广角图像变倍至所述长焦图像过程中的任一变倍数为x的图像：获取所述广角图像变倍x后的变倍图像；确定所述目标区域在所述变倍图像中的位置和大小；将所述长焦图像缩放至所述目标区域在所述变倍图像的大小，得到缩放后的长焦图像；将所述缩放后的长焦图像拼接至所述变倍图像中所述目标区域对应的位置，得到所述变倍数为x的图像。本实施例提供的方案，通过将长焦图像缩放替换目标区域，无需进行光学变倍即可得到不同倍率的图像，既可得到全景图像，也可以呈现高清局部图像（目标区域的图像），可满足全景系统对整体和局部的兼顾的需求，另外，无需光学变倍系统，变倍响应速度快，没有机械磨损，且成本低，便于小型化。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。

附图说明

附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。

图1为一示例性实施例提供的目标跟踪系统框图；

图2为一示例性实施例提供的多模态协同和融合的目标跟踪方法流程图；

图3为一示例性实施例提供的变倍实现方法流程图；

图4为一示例性实施例提供的成像示意图；

图5为一示例性实施例提供的广角图像示意图；

图6为一示例性实施例提供的多个长焦摄像头的图像拼接示意图；

图7为一示例性实施例提供的不同拼接方式示意图；

图8为一示例性实施例提供的目标跟踪装置示意图。

具体实施方式

本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。

本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。

此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。

图1为本公开实施例提供的目标跟踪系统框图。如图1所示，本实施例提供的目标跟踪系统可以包括：主控模块、目标检测模块、广角摄像头和至少一个长焦摄像头，其中：

所述主控模块被配置为，控制所述目标跟踪系统的其他模块，包括：控制所述广角摄像头获取预设区域的广角图像；以及，接收所述目标检测模块返回的目标所在的目标区域，根据如下方式控制所述长焦摄像头以获取所述目标区域的长焦图像：当检测到的所述目标沿第一方向的大小与当前调用的长焦摄像头的视场角沿第一方向的大小的比值小于第一预设阈值，且，所述目标沿第二方向的大小与当前调用的长焦摄像头的视场角沿第二方向的大小的比值小于第二预设阈值时，获取一个长焦摄像头的图像作为所述目标区域的长焦图像；当检测到的所述目标沿第一方向的大小与当前调用的长焦摄像头的视场角沿第一方向的大小的比值大于等于第一预设阈值时，获取多个长焦摄像头的图像，将所述多个长焦摄像头的图像沿第一方向拼接作为所述目标区域的长焦图像；当检测到的所述目标沿第二方向的大小与当前调用的长焦摄像头的视场角沿第二方向的大小的比值大于等于第二预设阈值时，获取多个长焦摄像头的图像，将所述多个长焦摄像头的图像沿第二方向拼接作为所述目标区域的长焦图像，所述第一方向和第二方向其中之一为所述长焦摄像头的图像的长度方向，另一为所述长焦摄像头的图像的宽度方向；以及，根据如下方式生成从所述广角图像变倍至所述长焦图像过程中的任一变倍数为x的图像：获取所述广角图像变倍x后的变倍图像；确定所述目标区域在所述变倍图像中的位置和大小；将所述长焦图像缩放至所述目标区域在所述变倍图像的大小，得到缩放后的长焦图像；将所述缩放后的长焦图像拼接至所述变倍图像中所述目标区域对应的位置，得到所述变倍数为x的图像；

所述目标检测模块被配置为，在所述预设区域进行目标检测，确定目标所在的目标区域，发送所述目标区域给所述主控模块；

所述广角摄像头被配置为，根据所述主控模块的控制，获取预设区域的广角图像，将所述广角图像发送给所述主控模块；

所述长焦摄像头被配置为，根据所述主控模块的控制，获取所述目标区域的长焦图像，将所述长焦图像发送给所述主控模块。

在一示例性实施例中，所述目标检测模块包括以下至少之一：毫米波雷达、广角摄像头。毫米波雷达或广角摄像头可以获取目标的位置及大小信息（即目标区域的信息）。其中，毫米波雷达对目标的位置感知可以借助多普勒效应获取，通过检测电磁波频率变化反映目标的运动信息，确认目标的位置和轮廓。广角摄像头通过构造深度神经网络，经过图像分类、目标检测、图像分割，可以获得目标位置和大小信息。可使用智能广角摄像头实现。所述广角摄像头可以和用于获取广角图像的广角摄像头复用，即，目标检测和获取广角图像使用同一广角摄像头，或者，目标检测和获取广角图像分别使用不同的广角摄像头实现。

在一示例性实施例中，所述目标检测模块还可以获取目标的运动信息，其中，毫米波雷达对目标的速度的感知可以借助多普勒效应获取，通过检测电磁波频率变化反映目标的运动信息，确认目标速度。广角摄像头可以根据多张图像确定目标的位移，根据位移确定目标的运动速度和方向。

在一示例性实施例中，所述广角摄像头可以是定焦的广角摄像头，或者，可以是可变焦的广角摄像头，但在目标跟踪系统中维持焦距不变。广角摄像头可以固定不动，采集预设区域（即监控区域）的全景图像。

在一示例性实施例中，所述长焦摄像头可以是定焦的长焦摄像头；或者，可以是可变焦的长焦摄像头，但在目标跟踪系统中维持焦距不变。所述目标跟踪系统中可以包括2个或2个以上的长焦摄像头。长焦摄像头可以根据目标位置的变化进行转动。

在一示例性实施例中，所述广角摄像头和定焦摄像头可以靠近集成，以保证物距视角相当。

图2为本公开实施例提供的多模态协同和融合的目标跟踪方法的流程图。如图2所示，本实施例提供一种多模态协同和融合的目标跟踪方法，包括：

步骤201，获取预设区域的广角图像；

步骤202，在所述预设区域进行目标检测，确定目标所在的目标区域，获取所述目标区域的长焦图像；

步骤203，根据如下方式生成从所述广角图像变倍至所述长焦图像过程中的任一变倍数为x的图像：获取所述广角图像变倍x后的变倍图像；确定所述目标区域在所述变倍图像中的位置和大小；将所述长焦图像缩放至所述目标区域在所述变倍图像的大小，得到缩放后的长焦图像；将所述缩放后的长焦图像拼接至所述变倍图像中所述目标区域对应的位置，得到所述变倍数为x的图像。

所述将长焦图像缩放至所述目标区域在所述变倍图像的大小是指，对长焦图像进行下采样以缩放至所述目标区域在所述变倍图像的大小。

本实施例提供的方案，通过将长焦图像缩放替换目标区域，无需进行光学变倍即可得到不同倍率的图像，既可得到全景图像，也可以呈现高清局部图像（目标区域的图像），可满足全景系统对整体和局部的兼顾的需求，另外，无需光学变倍系统，变倍响应速度快，没有机械磨损，且成本低，便于小型化。

在一示例性实施例中，所述步骤202中，目标检测模块检测到目标后，将目标所在的目标区域的信息（包括大小和位置信息）发送给主控模块，主控模块根据目标区域调度长焦摄像头的云台的PTZ转动，转动到目标区域的中心点，可以通过标定技术实现。例如，获取长焦摄像头的长焦图像与广角摄像头的广角图像的对应点之间的角点匹配关系，即：

1）获得广角图像内最优的特征点对。匹配点坐标（x，y）和云台PTZ位置（p，t，z）角坐标之间的关系，其中p、t为角度，z=1。

2）根据上述角点匹配关系，以及目标区域的坐标，调度长焦摄像头云台转动到目标区域的中心点。

如果是雷达，则可以通过张正友标定方法，将雷达的三维坐标转换为二维坐标，通过上述角点匹配也可实现目标检测模块检测到位置和长焦图像的位置融合。

目标检测模块对目标进行跟踪，将目标区域发送给主控模块，主控模块根据目标区域的中心点控制长焦摄像头进行转动，获取目标区域的长焦图像，长焦图像的中心点即为目标区域的中心点。

在一示例性实施例中，所述获取所述广角图像变倍x后的变倍图像包括：

所述目标区域在所述广角图像中的图像称为目标图像；所述广角图像的中心点为第一中心点，所述目标图像的中心点为第二中心点，获取所述第一中心点和所述第二中心点的距离D，确定迁移距离d=x*D/N，N为从所述广角图像变倍至所述长焦图像的最大变倍数；根据所述迁移距离d、所述第一中心点和所述第二中心点确定第三中心点，其中，所述第三中心点与所述第一中心点的距离为所述迁移距离d，且所述第三中心点位于所述第一中心点和所述第二中心点构成的线段上；

将所述广角图像中以所述第三中心点为中心，第一方向的像素数为h0/x，第二方向的像素数为w0/x的区域作为新画幅，其中，所述广角图像第一方向的像素数为h0，第二方向的像素数为w0；

将所述新画幅插值x倍生成与所述广角图像大小一致的图像，得到所述变倍图像。

在一示例性实施例中，x∈[1,N]，所述最大变倍数N可以是f1/f0(当目标区域的长焦图像由一个长焦摄像头生成)，或者，f1/（2f0）（目标区域的长焦图像由两个长焦摄像头拼接而成，即此时的最大变倍数为单个长焦图像时支持的最大变倍数的一半），所述f0为所述广角图像对应的焦距（即广角摄像头的焦距），所述f1为所述长焦图像对应的焦距（即长焦摄像头的焦距，目标跟踪系统中存在多个长焦摄像头时，多个长焦摄像头的焦距可以相同）。

在一示例性实施例中，所述确定所述目标区域在所述变倍图像中的位置和大小包括：

所述目标区域在所述变倍图像中的中心点为第四中心点，所述第四中心点与所述变倍图像的中心点的距离为d’=(D-d)*x，根据所述第二中心点与所述第一中心点的连线与所述第一方向的夹角，以及所述距离d’，确定所述第四中心点的位置；

将所述长焦图像缩小至原始大小的x*f0/f1，得到缩放后的长焦图像，其中，所述f0为所述广角图像对应的焦距，所述f1为所述长焦图像对应的焦距。

在一示例性实施例中，为了获取目标的完整呈现，长焦摄像头对目标采集会有两种情况：一个长焦摄像头可以采集完整的目标；多个长焦摄像头分别采集目标的部分图像，通过拼接呈现完整目标。所述步骤202中，获取所述目标区域的长焦图像可以是通过一个长焦摄像头获取目标区域的长焦图像，或者，通过多个长焦摄像头获取多个长焦图像，将该多个长焦图像拼接得到目标区域的长焦图像，比如，通过两个长焦摄像头分别获取第一图像和第二图像，将第一图像和叠图像拼接得到所述目标区域的长焦图像。

在一示例性实施例中，所述获取所述目标区域的长焦图像包括：

当检测到的所述目标沿第一方向的大小与当前调用的长焦摄像头的视场角沿第一方向的大小的比值小于第一预设阈值，且，所述目标沿第二方向的大小与当前调用的长焦摄像头的视场角沿第二方向的大小的比值小于第二预设阈值时，获取一个长焦摄像头的图像作为所述目标区域的长焦图像；

当检测到的所述目标沿第一方向的大小与当前调用的长焦摄像头的视场角沿第一方向的大小的比值大于等于第一预设阈值时，获取多个长焦摄像头的图像，将所述多个长焦摄像头的图像沿第一方向拼接作为所述目标区域的长焦图像；

当检测到的所述目标沿第二方向的大小与当前调用的长焦摄像头的视场角沿第二方向的大小的比值大于等于第二预设阈值时，获取多个长焦摄像头的图像，将所述多个长焦摄像头的图像沿第二方向拼接作为所述目标区域的长焦图像，所述第一方向和第二方向其中之一为所述长焦摄像头的图像的长度方向，另一为所述长焦摄像头的图像的宽度方向。本实施例中，可以使用两个长焦摄像头进行拼接，但本公开实施例不限于此，可以是更多长焦摄像头拼接。

在一示例性实施例中，所述多个长焦摄像头包括第一长焦摄像头和第二长焦摄像头，所述第一长焦摄像头获取的长焦图像为第一图像，所述第二长焦摄像头获取的长焦图像为第二图像，且从调度第一长焦摄像头切换至调度第一长焦摄像头和第二长焦摄像头，所述获取多个长焦摄像头的图像前，还包括：

获取调度所述第二长焦摄像头前，所述广角图像中所述目标区域的中心点，以及，所述目标区域沿拼接方向的第一长度，将所述目标区域的中心点沿拼接方向移动所述第一长度的一半，获得第五中心点；将所述目标区域的中心点沿与拼接方向相反的方向移动所述第一长度的一半，获得第六中心点；所述拼接方向为所述第一图像和所述第二图像拼接的方向；

将所述第五中心点作为所述第一长焦摄像头的中心点调度所述第一长焦摄像头，将所述第六中心点作为所述第二长焦摄像头的中心点调度所述第二长焦摄像头。

在一示例性实施例中，所述方法还包括：

获取所述目标的运动信息，以及，确定所述目标的类别；

根据所述目标的运动信息和所述目标的类别确定：调用的长焦摄像头的数量及基于所调用的长焦摄像头的图像生成所述目标区域的长焦图像的拼接方式。本实施例提供的方案，可以根据运动信息和类别提前进行长焦摄像头的调度。

在一示例性实施例中，所述运动信息可以包括运动方向和速度；所述类别可以包括人和车辆；

所述根据所述目标的运动信息和所述目标的类别确定调用的长焦摄像头的数量及基于所调用的长焦摄像头的图像生成所述目标区域的长焦图像的拼接方式包括：

当所述目标为人，且运动方向为接近所述长焦摄像头，且运动速度大于等于第一预设速度阈值，调用两个长焦摄像头，且所述两个长焦摄像头的图像的拼接方式为沿人的站立方向拼接；

当所述目标为人，且运动方向为接近所述长焦摄像头，且运动速度小于第一预设速度阈值，调用一个长焦摄像头；

当所述目标为车辆，且运动方向为接近所述长焦摄像头，且运动速度大于等于第二预设速度阈值，沿第四方向，所述车辆的正面的长度与所述车辆的长度的比值大于等于第三预设阈值，则：所述车辆沿第三方向的长度大于等于沿第四方向的长度时，调用两个长焦摄像头，且所述两个长焦摄像头的图像的拼接方式为沿第三方向拼接；所述车辆沿第三方向的长度小于沿第四方向的长度时，调用两个长焦摄像头，且所述两个长焦摄像头的图像的拼接方式为沿第四方向拼接，其中，将车底至车顶方向称为第三方向，第四方向垂直于第三方向；

当所述目标为车辆，且运动方向为接近所述长焦摄像头，且运动速度大于等于所述第二预设速度阈值，沿第四方向，所述车辆的正面的长度与所述车辆的长度的比值小于第三预设阈值时，调用两个长焦摄像头，且所述两个长焦摄像头的图像的拼接方式为沿第四方向拼接；

当所述目标的运动方向为远离所述长焦摄像头，则调用的长焦摄像头数量不变。

下面通过一个示例对本公开实施例技术方案进行说明。

为了简化描述，本实施例中，预置条件如下：

广角摄像头和长焦摄像头可以采用相同的传感器（Sensor）。为保证分辨率相同及后期图像拼接效果的一致性，如均采用同型号4K分辨率的Sensor；但本公开实施例不限于此，可以是其他分辨率。

本实施例中，以人和车作为感兴趣的目标，但不限于此。单个长焦摄像头无法采集完整目标图像时，则调度两个长焦摄像头分区域采集。

利用长焦摄像头的图像的下采样和广角摄像头的图像的裁剪，通过对两者图像拼接，可实现变倍x时的高清图像。变倍图像的输出依赖于广角摄像头和长焦摄像头的协同，需要考虑变倍时画幅中心点的移动、广角图像的裁剪尺寸、长焦图像的下采样缩放，最终将两者图像融合为变倍x的图像。

如图3所示，本实施例提供一种生成从所述广角图像变倍至所述长焦图像过程中的任一变倍数为x的图像的方法，包括：

步骤301，获取所述广角图像变倍x后的变倍图像；

首先说明变倍x时新画幅大小计算。以广角摄像头的图像为基准图像，在变倍为x时，虚拟焦距f为x乘以f0，f0为广角摄像头的焦距。如图4所示，物体高度为h2，焦距为f时，成像高度h1=f*h2，因此，焦距从f0变化到xf0，成像高度h1变大，相应的可拍摄到的预设区域中的区域变小，基准图像长度方向的像素数为h0，宽度方向的像素数为w0，则新画幅长度方向的像素数h1`=h0/x，宽度方向的像素数w1’=w0/x。本实施例中，第一方向可以为广角图像长度方向，第二方向可以为广角图像宽度方向。

如图5所示，画幅从广角图像100逐渐演变为目标图像102，图像的中心点会从第一中心点C0迁移到第二中心点C1（第二中心点C1为目标图像102的中心点）。第一中心点C0和第二中心点C1之间的距离为D，变倍x时需迁移的距离可简单化为等比运动（可采用其他函数，仅影响变倍效果）。若按等比曲线，则迁移距离d=（已变倍数）*D/(变倍总程N)；其中，所述已变倍数即为前述虚拟变倍x，d为第一中心点C0和第三中心点C之间的距离。

如图5所示，根据迁移距离d和第一中心点C0的坐标（x0，y0），第二中心点C1的坐标（x1，y1），计算出第三中心点C的坐标。以第三中心点C为中心点，w1’h1’为宽高，可在基准图像100内获得变倍x后的新画幅101，其中，第三中心点C位于所述第一中心点C0和所述第二中心点C1构成的线段上。

由于新画幅101仅仅为广角图像100裁剪出的一部分，通过插值将新画幅101还原为广角图像100的大小，本实施例中，广角图像100的大小为4K，因此，通过插值将新画幅101还原为4K大小，即得到所述广角图像变倍x后的变倍图像。

步骤302，确定所述目标区域在所述变倍图像中的位置和大小；

插值后的新画幅的中心点为C’（即插值前的C点），目标区域的中心点为第四中心点C1’(即插值前的第二中心点C1)，则变倍图像中第四中心点C1’与C’点的距离d’=（D-d）×插值倍率。根据C’点的坐标和d’可求得在插值后的新画幅中C1’点的坐标，其中，所述插值倍率为前述虚拟变倍x。所述第二中心点C1与所述第一中心点C0的连线与所述第一方向的夹角可以计算得到，该夹角即为所述第四中心点C1’与C’的连线与第一方向的夹角，因此，根据C’点的坐标和d’可求得在插值后的新画幅中C1’点的坐标。

目标区域在变倍图像中的大小即为目标图像扩大x倍。

步骤303，将所述长焦图像缩放至所述目标区域在所述变倍图像的大小，得到缩放后的长焦图像；

对长焦图像进行下采样以实现缩放，即缩放到目标图像102在变倍图像的大小。缩放倍率可参考步骤301，但此时基准图像为长焦图像，焦距从f1到f的变倍即可算出图像缩小后的大小尺寸，即将长焦图像缩放至原来的X/N。

步骤304，将所述缩放后的长焦图像拼接至所述变倍图像中所述目标区域对应的位置，得到所述变倍数为x的图像。

即，使用缩放后的长焦图像替换变倍图像中所述目标区域对应的位置。如图5所示，使用图5中右侧缩放后的长焦图像替换变倍图像（图5中未示出）中目标区域对应的位置。拼接时，缩放所得的长焦图像的中心点的位置为C1’，即使用缩放所得的长焦图像替换插值后的新画幅的相应区域的图像。由于插值导致目标模糊，倍率越高越模糊，因此使用长焦图像对目标区域进行替换，使得变倍x后，仍呈现高清目标。

下面对多个长焦摄像头的图像的拼接进行说明。

多个长焦摄像头分别采集目标的部分图像，通过拼接呈现一个完整目标。长焦摄像头的调用存在两种：

随目标运动，从调用一个长焦摄像头到调用多个长焦摄像头。以人走近为例，随着人走近（相对长焦摄像头），从调用一个长焦摄像头变成调用两个长焦摄像头。

随目标运动，依目标形态变化改变对多个长焦摄像头的拼接方式。以卡车转弯为例，调用两个长焦摄像头，卡车横向行驶时，两个长焦摄像头的图像左右拼接得到目标区域的长焦图像；卡车纵向行驶时，两个长焦摄像头的图像上下拼接得到目标区域的长焦图像，其中，上下拼接可以是沿从车底至车顶方向，即第三方向拼接，左右拼接可以是沿与第三方向垂直的第四方向拼接。

目标为人时，在人从远及近（相对长焦摄像头）的过程中：

在只调度一个长焦摄像头时，可以周期性计算目标的大小与长焦摄像头的视场角范围的比值，当达到预设阈值（例如80%）就增加调度另一长焦摄像头。包括：计算目标高度（目标沿第二方向的长度）与长焦摄像头的视场角高度（视场角沿第二方向的长度）的比值，与第一预设阈值进行比较，以及，计算目标宽度与长焦摄像头的视场角宽度的比值，与第二预设阈值进行比较，任何一个达到阈值就启动拼接过程。

例如以人为目标，如图6所示，在目标（此处为人）走近变大后高度方向的比值首先触发阈值，从而高度方向从一个长焦摄像头的图像变为两个长焦摄像头的图像拼接。

对两个长焦摄像头的中心点重新定位。第一个长焦摄像头中心点从C1点移动到P1点；新调度的第二个长焦摄像头中心点为P2点。当前变倍为x时，在广角图像建立的各中心点坐标变化：（1） C1点坐标：通过目标检测模块获得目标位置信息，其中心坐标（x1，y1）即为C1点坐标；（2）取第一个长焦摄像头的长焦图像为基准图像，焦距从f1到f的变倍可算出长焦图像缩小后的大小。以缩小后的长焦图像的高度的1/2分别作为上移值和下移值，将C1点沿高度方向上移该上移值即可获得P1点在变倍x时的坐标。（3）将C1点沿高度方向下移该下移值即可得到P2点的坐标。将该P1点的坐标和P2点的坐标转换为未变倍时的坐标（即在广角图像中的坐标），通过角点匹配关系，调度云台将两个长焦摄像头分别调度到点P1点、P2点对应的位置，对目标采集各自区域的图像，即，第一长焦摄像头采集的图像的中心点为P1点，第二长焦摄像头采集的图像在中心点为P2点。

对广角图像和两个缩放后的长焦图像进行图像拼接。此时，因为是上下拼接，目标区域的高度方向的高度为两个长焦摄像头的长焦图像的高度相加，因此，变倍时，按高度进行缩放以防止目标变形，即此时最大变倍为f1/（2f0），超过该变倍数则目标不能完整显示。

以卡车转弯为例，如图7所示，卡车横向进入广角画面后，目标检测模块获得目标位置信息和大小信息。主控模块计算目标大小与长焦摄像头的视场角范围的比值超出阈值（例如80%），用两个长焦摄像头的图像进行左右拼接。此时，因为是左右拼接，目标区域的宽度方向的大小为两个长焦摄像头的长焦图像的宽度方向的尺寸相加，因此，变倍时，按宽度方向支持的最大变倍进行缩放以防止目标变形，即此时最大变倍为f1/（2f0），超过该变倍数则目标不能完整显示。

在车辆转弯驶后，若卡车高度也超过阈值，则将两个长焦摄像头的图像从左右拼接改为上下拼接。

在一示例性实施例中，由于雷达可以精确的测定目标运动方向和速度，而摄像机特别是长焦摄像机可以实现目标的分类，基于对目标类型、运动方向和速度的判断，多个长焦摄像机可以提前进行动态组合调整，从而避免目标所占画面过大，导致长焦摄像机的画面无法覆盖目标整体。

其中，长焦摄像机跟踪目标，基于目标检测提取目标抠图，将目标抠图放入神经网络进行目标分类，可以判断出是人还是车。雷达基于多普勒效应可以判断目标的运动方向是远离摄像机还是接近摄像机，以及，确定运动速度。

1.如果目标是人，则：

若目标的运动方向为接近长焦摄像头：

若目标的运动速度大于等于第一预设速度阈值（可以根据需要配置，比如为2米/秒），这说明目标大概率不会变换运动方向，则调用两个长焦摄像头（如果当前已调用两个长焦摄像头，则维持调用两个长焦摄像头），两个长焦摄像头的图像进行上下拼接得到目标的长焦图像，对该目标进行跟踪；

若目标的运动速度小于第一预设速度阈值，则暂不调整长焦摄像头，不作拼接，因为低速运动的人很可能会变化方向，可以等待后续目标的高度与长焦摄像头的视场角的高度的比值大于等于第一预设阈值再调度第二长焦摄像头。

若目标的运动方向为远离长焦摄像头，则不必进行调用两个长焦摄像头进行拼接，即调用一个长焦摄像头即可。

2.如果目标是车辆，则：

若目标的运动方向为接近长焦摄像头，且，目标的运动速度大于等于第二预设速度阈值（可以根据需要配置，比如为20米/秒），这说明目标大概率的不会变换运动方向，则：

如果车辆的车头的正面的横向（第四方向）的长度与所述车辆横向尺寸的比例大于等于第三预设阈值（比如为80%），说明车辆迎面而来，当，车辆沿第三方向的长度大于等于沿第四方向的长度，即目标呈现上下较长的形态，则调整两个长焦摄像头进行上下拼接，如果车辆沿第三方向的长度小于沿第四方向的长度，即目标呈现左右较长的形态，则调整两个长焦摄像头进行左右拼接，且对该目标进行跟踪；如图7所示，车辆纵向行驶时（转弯后），车辆的车头的正面沿第四方向的长度基本为该车辆沿第四方向的长度，且，车辆沿第三方向的长度大于等于沿第四方向的长度，则调用两个长焦摄像头进行上下拼接；

如果车辆的车头的正面的横向长度与所述车辆横向尺寸的比例小于第三预设阈值，说明车辆斜着开过来，大概率会横向离开，则目标马上会呈现左右长的姿态，则调整两个长焦摄像头进行左右拼接，且对该目标进行跟踪；如图7所示，车辆横向行驶时（转弯前），车辆的车头的的正面沿第四方向的长度基本接近于0，此时，调用两个长焦摄像头，进行左右拼接；

若目标的运动方向为接近长焦摄像头，且，目标的运动速度小于第二预设速度阈值，则维持当前调用的长焦摄像头不变。因为低速运动的车辆很可能会变化方向，等目标高度或宽度与长焦摄像头的视场角的高度或宽度的比值到达相应阈值再改变拼接方式。

若目标的运动方向为远离长焦摄像头，则维持当前调用的长焦摄像头不变。

在一示例性实施例中，所述第二预设速度阈值大于所述第一预设速度阈值。

如图8所示，本公开实施例提供一种目标跟踪装置80，包括存储器810和处理器820，所述存储器810存储有程序，所述程序在被所述处理器820读取执行时，实现上述任一实施例所述的目标跟踪方法。

本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一实施例所述的目标跟踪方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于 RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (10)

1.一种多模态协同和融合的目标跟踪方法，其特征在于，包括：

获取预设区域的广角图像；

使用目标检测模块在所述预设区域进行目标检测，确定目标所在的目标区域，其中，所述目标检测模块包括以下至少之一：毫米波雷达、广角摄像头，按如下方式获取所述目标区域的长焦图像：

当检测到的所述目标沿第一方向的大小与当前调用的长焦摄像头的视场角沿第一方向的大小的比值小于第一预设阈值，且，所述目标沿第二方向的大小与当前调用的长焦摄像头的视场角沿第二方向的大小的比值小于第二预设阈值时，获取一个长焦摄像头的图像作为所述目标区域的长焦图像；当检测到的所述目标沿第一方向的大小与当前调用的长焦摄像头的视场角沿第一方向的大小的比值大于等于第一预设阈值时，获取多个长焦摄像头的图像，将所述多个长焦摄像头的图像沿第一方向拼接作为所述目标区域的长焦图像；当检测到的所述目标沿第二方向的大小与当前调用的长焦摄像头的视场角沿第二方向的大小的比值大于等于第二预设阈值时，获取多个长焦摄像头的图像，将所述多个长焦摄像头的图像沿第二方向拼接作为所述目标区域的长焦图像，所述第一方向和第二方向其中之一为所述长焦摄像头的图像的长度方向，另一为所述长焦摄像头的图像的宽度方向；

根据如下方式生成从所述广角图像变倍至所述长焦图像过程中的任一变倍数为x的图像：根据倍数x、目标图像在所述广角图像中的位置得到第一方向和第二方向均为所述广角图像1/x的新画幅，将所述新画幅插值x倍生成与所述广角图像大小一致的图像，作为所述广角图像变倍x后的变倍图像；其中，所述目标区域在所述广角图像中的图像称为目标图像；确定所述目标区域在所述变倍图像中的位置和大小；将所述长焦图像缩放至所述目标区域在所述变倍图像的大小，得到缩放后的长焦图像；将所述缩放后的长焦图像拼接至所述变倍图像中所述目标区域对应的位置，得到所述变倍数为x的图像。

2.根据权利要求1所述的多模态协同和融合的目标跟踪方法，其特征在于，所述根据倍数x、目标图像在所述广角图像中的位置得到第一方向和第二方向均为所述广角图像1/x的新画幅包括：

所述广角图像的中心点为第一中心点，所述目标图像的中心点为第二中心点，获取所述第一中心点和所述第二中心点的距离D，确定迁移距离d=x*D/N，N为从所述广角图像变倍至所述长焦图像的最大变倍数；根据所述迁移距离d、所述第一中心点和所述第二中心点确定第三中心点，其中，所述第三中心点与所述第一中心点的距离为所述迁移距离d，且所述第三中心点位于所述第一中心点和所述第二中心点构成的线段上；

将所述广角图像中以所述第三中心点为中心，第一方向的像素数为h0/x，第二方向的像素数为w0/x的区域作为新画幅，其中，所述广角图像第一方向的像素数为h0，第二方向的像素数为w0。

3.根据权利要求2所述的多模态协同和融合的目标跟踪方法，其特征在于，所述确定所述目标区域在所述变倍图像中的位置和大小包括：

所述目标区域在所述变倍图像中的中心点为第四中心点，所述第四中心点与所述变倍图像的中心点的距离为d’=(D-d)*x，根据所述第二中心点与所述第一中心点的连线与所述第一方向的夹角，以及所述距离d’，确定所述第四中心点的位置；

将所述长焦图像缩小至原始大小的x*f0/f1，得到缩放后的长焦图像，其中，所述f0为所述广角图像对应的焦距，所述f1为所述长焦图像对应的焦距。

4.根据权利要求1所述的多模态协同和融合的目标跟踪方法，其特征在于，所述多个长焦摄像头包括第一长焦摄像头和第二长焦摄像头，所述第一长焦摄像头获取的长焦图像为第一图像，所述第二长焦摄像头获取的长焦图像为第二图像，且从调度第一长焦摄像头切换至调度第一长焦摄像头和第二长焦摄像头，所述获取多个长焦摄像头的图像前，还包括：

获取调度所述第二长焦摄像头前，所述广角图像中所述目标区域的中心点，以及，所述目标区域沿拼接方向的第一长度，将所述目标区域的中心点沿拼接方向移动所述第一长度的一半，获得第五中心点；将所述目标区域的中心点沿与拼接方向相反的方向移动所述第一长度的一半，获得第六中心点；所述拼接方向为所述第一图像和所述第二图像拼接的方向；

将所述第五中心点作为所述第一长焦摄像头的中心点调度所述第一长焦摄像头，将所述第六中心点作为所述第二长焦摄像头的中心点调度所述第二长焦摄像头。

5.根据权利要求1至4任一所述的多模态协同和融合的目标跟踪方法，其特征在于，所述方法还包括：

获取所述目标的运动信息，以及，确定所述目标的类别；

根据所述目标的运动信息和所述目标的类别确定：调用的长焦摄像头的数量及基于所调用的长焦摄像头的图像生成所述目标区域的长焦图像的拼接方式。

6.根据权利要求5所述的多模态协同和融合的目标跟踪方法，其特征在于，所述运动信息包括运动方向和速度；所述类别包括人；

所述根据所述目标的运动信息和所述目标的类别确定调用的长焦摄像头的数量及基于所调用的长焦摄像头的图像生成所述目标区域的长焦图像的拼接方式包括：

当所述目标为人，且运动方向为接近所述长焦摄像头，且运动速度大于等于第一预设速度阈值，调用两个长焦摄像头，且所述两个长焦摄像头的图像的拼接方式为沿人的站立方向拼接；

当所述目标为人，且运动方向为接近所述长焦摄像头，且运动速度小于第一预设速度阈值，调用一个长焦摄像头；

当所述目标的运动方向为远离所述长焦摄像头，则调用的长焦摄像头数量不变。

7.根据权利要求5所述的多模态协同和融合的目标跟踪方法，其特征在于，所述运动信息包括运动方向和速度；所述类别包括车辆；

当所述目标为车辆，且运动方向为接近所述长焦摄像头，且运动速度大于等于第二预设速度阈值，沿第四方向，所述车辆的车头的正面的长度与所述车辆的长度的比值大于等于第三预设阈值，则：所述车辆沿第三方向的长度大于等于沿第四方向的长度，调用两个长焦摄像头，且所述两个长焦摄像头的图像的拼接方式为沿第三方向拼接；所述车辆沿第三方向的长度小于沿第四方向的长度，调用两个长焦摄像头，且所述两个长焦摄像头的图像的拼接方式为沿第四方向拼接，其中，将车底至车顶方向称为第三方向，第四方向垂直于第三方向；

当所述目标为车辆，且运动方向为接近所述长焦摄像头，且运动速度大于等于第二预设速度阈值，沿第四方向，所述车辆的车头的正面的长度与所述车辆的长度的比值小于第三预设阈值，调用两个长焦摄像头，且所述两个长焦摄像头的图像的拼接方式为沿第四方向拼接；

当所述目标的运动方向为远离所述长焦摄像头，则调用的长焦摄像头数量不变。

8.一种目标跟踪装置，其特征在于，包括存储器和处理器，所述存储器存储有程序，所述程序在被所述处理器读取执行时，实现如权利要求1至7任一所述的多模态协同和融合的目标跟踪方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至7任一所述的多模态协同和融合的目标跟踪方法。

10.一种目标跟踪系统，其特征在于，包括：主控模块、目标检测模块、广角摄像头和至少一个长焦摄像头，其中：

所述主控模块被配置为，控制所述广角摄像头获取预设区域的广角图像；以及，接收目标检测模块返回的目标所在的目标区域，根据如下方式控制所述长焦摄像头以获取所述目标区域的长焦图像：当检测到的所述目标沿第一方向的大小与当前调用的长焦摄像头的视场角沿第一方向的大小的比值小于第一预设阈值，且，所述目标沿第二方向的大小与当前调用的长焦摄像头的视场角沿第二方向的大小的比值小于第二预设阈值时，获取一个长焦摄像头的图像作为所述目标区域的长焦图像；当检测到的所述目标沿第一方向的大小与当前调用的长焦摄像头的视场角沿第一方向的大小的比值大于等于第一预设阈值时，获取多个长焦摄像头的图像，将所述多个长焦摄像头的图像沿第一方向拼接作为所述目标区域的长焦图像；当检测到的所述目标沿第二方向的大小与当前调用的长焦摄像头的视场角沿第二方向的大小的比值大于等于第二预设阈值时，获取多个长焦摄像头的图像，将所述多个长焦摄像头的图像沿第二方向拼接作为所述目标区域的长焦图像，所述第一方向和第二方向其中之一为所述长焦摄像头的图像的长度方向，另一为所述长焦摄像头的图像的宽度方向；以及，根据如下方式生成从所述广角图像变倍至所述长焦图像过程中的任一变倍数为x的图像：根据倍数x、目标图像在所述广角图像中的位置得到第一方向和第二方向均为所述广角图像1/x的新画幅，将所述新画幅插值x倍生成与所述广角图像大小一致的图像，作为所述广角图像变倍x后的变倍图像；其中，所述目标区域在所述广角图像中的图像称为目标图像；确定所述目标区域在所述变倍图像中的位置和大小；将所述长焦图像缩放至所述目标区域在所述变倍图像的大小，得到缩放后的长焦图像；将所述缩放后的长焦图像拼接至所述变倍图像中所述目标区域对应的位置，得到所述变倍数为x的图像；

所述目标检测模块被配置为，在所述预设区域进行目标检测，确定目标所在的目标区域，发送所述目标区域给主控模块；所述目标检测模块包括以下至少之一：毫米波雷达、广角摄像头；

所述广角摄像头被配置为，根据所述主控模块的控制，获取预设区域的广角图像，将所述广角图像发送给所述主控模块；

所述长焦摄像头被配置为，根据所述主控模块的控制，获取所述目标区域的长焦图像，将所述长焦图像发送给所述主控模块。

Images