CN110490902B - 应用于智慧城市的目标跟踪方法、装置、计算机设备 - Google Patents

Abstract

本申请涉及一种应用于智慧城市的目标跟踪方法，该方法包括：获取多帧图像；根据多帧图像，确定跟踪目标的第一表观特征信息和检测目标的第二表观特征信息；根据第一表观特征信息和第二表观特征信息，确定多帧图像中跟踪目标的跟踪信息，并根据跟踪信息对所述跟踪目标进行跟踪。该方法基于跟踪目标的第一表观特征信息和检测目标的第二表观特征信息，能够得知检测目标与跟踪目标的相似程度，进而判断检测目标是否为跟踪目标，由此实现对跟踪目标的跟踪。可见，由于能够更为准确地确定跟踪目标，因此提高了目标跟踪的可靠性。本申请还涉及一种应用于智慧城市的目标跟踪装置、计算机设备和计算机可读存储介质。

Description

应用于智慧城市的目标跟踪方法、装置、计算机设备

技术领域

本申请涉及图像处理技术领域，特别是涉及一种应用于智慧城市的目标跟踪方法、装置、计算机设备和计算机可读存储介质。

背景技术

智慧城市迅速发展的时代，精准监控变得不可或缺，其中，目标跟踪技术是精准监控的关键环节。目前，在城市交通、重点场所监视、犯罪分子的追踪等方面，全自动或者半自动地实现跟踪任务可以大大减少工作人员的工作量。

传统的目标跟踪方法主要分为两步进行，第一步，获取初始目标所在的位置信息，包括横纵坐标和目标的宽高；第二步，对下一帧目标所在的位置信息进行预测。

然而，采用传统的目标跟踪方法容易丢失跟踪目标，跟踪的可靠性不高。

发明内容

基于此，有必要针对上述传统的目标跟踪方法可靠性不高的技术问题，提供一种应用于智慧城市的目标跟踪方法、装置、计算机设备和计算机可读存储介质。

一种应用于智慧城市的目标跟踪方法，所述方法包括：

获取多帧图像；

根据所述多帧图像，确定跟踪目标的第一表观特征信息和检测目标的第二表观特征信息；

根据所述第一表观特征信息和所述第二表观特征信息，确定所述多帧图像中跟踪目标的跟踪信息，并根据所述跟踪信息对所述跟踪目标进行跟踪。

在其中一个实施例中，根据所述多帧图像，确定跟踪目标的第一表观特征信息和检测目标的第二表观特征信息，包括：

获取所述多帧图像中的基准帧图像；

确定所述基准帧图像中的跟踪目标；

提取所述跟踪目标的第一表观特征信息。

在其中一个实施例中，提取所述跟踪目标的第一表观特征信息，包括：

根据所述跟踪目标在所述基准帧图像中的位置，确定所述跟踪目标对应的第一边界框图像；

对所述第一边界框图像进行归一化处理，得到第一标准边界框图像；

将所述第一标准边界框图像输入至表观特征提取模型进行特征提取，得到所述跟踪目标的第一表观特征信息。

在其中一个实施例中，根据所述多帧图像，确定跟踪目标的第一表观特征信息和检测目标的第二表观特征信息，包括：

获取所述多帧图像中的当前帧图像；

对所述当前帧图像进行目标检测，获得所述检测目标；

提取所述检测目标的第二表观特征信息。

在其中一个实施例中，对所述当前帧图像进行目标检测，获得所述检测目标，包括：

将所述当前帧图像输入至目标检测模型进行目标检测，得到所述当前帧图像中至少一个初始检测结果属于指定类别的概率，其中，所述目标检测模型包括预先训练好的深度学习模型；

若所述初始检测结果属于指定类别的概率大于预设的指定概率阈值，则确定所述初始检测结果为检测目标。

在其中一个实施例中，提取所述检测目标的第二表观特征信息，包括：

根据所述检测目标在所述当前帧图像中的位置，确定所述检测目标对应的第二边界框图像；

对所述第二边界框图像进行归一化处理，得到第二标准边界框图像；

将所述第二标准边界框图像输入至表观特征提取模型进行特征提取，得到所述检测目标的第二表观特征信息。

在其中一个实施例中，所述第一表观特征信息包括第一表观特征向量，所述第二表观特征信息包括第二表观特征向量；

所述根据所述第一表观特征信息和所述第二表观特征信息，确定所述多帧图像中跟踪目标的跟踪信息，包括：

计算所述第一表观特征向量和所述第二表观特征向量的最小余弦距离；

若所述最小余弦距离小于预设的余弦距离阈值，则确定所述检测目标为跟踪目标；

获取所述多帧图像中所述检测目标的位置信息，并将所述位置信息确定为所述跟踪信息。

在其中一个实施例中，所述方法还包括：

获取所述跟踪目标在所述多帧图像中的当前帧图像中的第一运动特征；

获取所述检测目标在所述当前帧图像中的第二运动特征；

根据所述第一运动特征、所述第二运动特征以及预设的相似度判断条件，判断所述检测目标是否为候选跟踪目标；

所述若所述最小余弦距离小于预设的余弦距离阈值，则确定所述检测目标为跟踪目标，包括：

若所述检测目标为候选跟踪目标，且所述最小余弦距离小于预设的余弦距离阈值，则确定所述检测目标为跟踪目标。

在其中一个实施例中，所述获取所述跟踪目标在所述多帧图像中的当前帧图像中的第一运动特征，包括：

获取所述跟踪目标在所述多帧图像中的基准帧图像中所对应的初始区域；

根据所述初始区域以及轨迹预推算法，预测所述跟踪目标在所述当前帧图像中对应的最终区域；

将所述最终区域确定为所述第一运动特征；

所述获取所述检测目标在所述当前帧图像中的第二运动特征，包括：

获取所述检测目标在所述当前帧图像中对应的第一区域；

将所述第一区域确定为所述第二运动特征；

所述根据所述第一运动特征、所述第二运动特征以及预设的相似度判断条件，判断所述检测目标是否为候选跟踪目标，包括：

确定所述最终区域与所述第一区域的重叠区域，并计算所述重叠区域占所述最终区域的百分比；

若所述百分比大于预设的百分比阈值，则确定所述检测目标为候选跟踪目标。

在其中一个实施例中，所述获取所述跟踪目标在所述多帧图像中的当前帧图像中的第一运动特征，还包括：

根据所述初始区域以及轨迹预推算法，预测所述跟踪目标的速度；

将所述跟踪目标的速度确定为所述第一运动特征；

所述若所述百分比大于预设的百分比阈值，则确定所述检测目标为候选跟踪目标，包括：

若所述百分比大于预设的百分比阈值，则确定所述检测目标为初始候选跟踪目标；

获取所述初始候选跟踪目标和所述跟踪目标的位置偏移量；

根据所述位置偏移量和所述跟踪目标的速度，判断所述初始候选跟踪目标是否为候选跟踪目标；

若所述初始候选跟踪目标为候选跟踪目标，则确定所述检测目标为候选跟踪目标。

在其中一个实施例中，所述初始区域为包括所述跟踪目标的第一边界框图像；所述第一区域为包括所述检测目标的第二边界框图像；

在确定所述检测目标为候选跟踪目标之后，所述方法还包括：

保存所述跟踪目标对应的第一边界框图像。

一种应用于智慧城市的目标跟踪装置，所述装置包括：

图像获取模块，用于获取多帧图像；

特征提取模块，用于根据所述多帧图像，确定跟踪目标的第一表观特征信息和检测目标的第二表观特征信息；

目标跟踪模块，用于根据所述第一表观特征信息和所述第二表观特征信息，确定所述多帧图像中跟踪目标的跟踪信息，并根据所述跟踪信息对所述跟踪目标进行跟踪。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述实施例中任一项所述的方法的步骤。

上述应用于智慧城市的目标跟踪方法、装置、计算机设备和计算机可读存储介质，通过获取多帧图像中跟踪目标的第一表观特征信息和检测目标的第二表观特征信息，并基于该第一表观特征信息和第二表观特征信息，确定跟踪目标的跟踪信息，从而实现对跟踪目标的跟踪。由于不同目标的表观特征能够反映目标之间的相似程度，因此，基于跟踪目标的第一表观特征信息和检测目标的第二表观特征信息，能够得知检测目标与跟踪目标的相似程度，进而判断检测目标是否为跟踪目标，由此实现对跟踪目标的跟踪。可见，由于能够更为准确地确定跟踪目标，因此提高了目标跟踪的可靠性。

附图说明

图1为一个实施例中应用于智慧城市的目标跟踪方法的应用环境图；

图2为一个实施例中应用于智慧城市的目标跟踪方法的流程示意图；

图3为一个实施例中在基准帧图像中提取跟踪目标的第一表观特征信息的流程示意图；

图4为一个实施例中提取跟踪目标的第一表观特征信息的流程示意图；

图5为一个实施例中在当前帧图像中提取检测目标的第二表观特征信息的流程示意图；

图6为一个实施例中提取检测目标的第二表观特征信息的流程示意图；

图7为一个实施例中根据第一表观特征向量和第二表观特征向量确定多帧图像中跟踪目标的跟踪信息的流程示意图；

图8为一个实施例中通过多种相似度判断条件确定检测目标为跟踪目标的流程示意图；

图9为一个实施例中应用于智慧城市的目标跟踪装置的结构框图；

图10为一个实施例中计算机设备的内部结构图；

图11为一个实施例中检测到行人的应用场景图；

图12为一个实施例中128维表观特征向量图；

图13为图11中针对行人进行跟踪的应用场景图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的应用于智慧城市的目标跟踪方法，可以应用于如图1所示的应用环境中。其中，目标跟踪设备102与图像采集设备104连接。图像采集设备104用于采集多帧图像。目标跟踪设备102获取图像采集设备104传回的该多帧图像，并根据该多帧图像，确定跟踪目标的第一表观特征信息和检测目标的第二表观特征信息，最后根据第一表观特征信息和第二表观特征信息，确定多帧图像中跟踪目标的跟踪信息，并根据跟踪信息对跟踪目标进行跟踪。可选地，跟踪方式可以是目标跟踪设备102控制图像采集设备104对跟踪目标进行拍摄跟踪。

可选地，目标跟踪设备102可以但不限于是各种计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。可选地，图像采集设备104包括摄像头、相机及球型摄像机的一种或多种。

在一个实施例中，如图2所示，提供了一种应用于智慧城市的目标跟踪方法，以该方法应用于图1中的目标跟踪设备102为例进行说明，包括以下步骤：

S202，获取多帧图像。

其中，多帧图像即多张图像，其至少包含两帧图像。

具体地，图像采集设备采集多帧图像。目标跟踪设备获取图像采集设备传回的该多帧图像。

可选地，多帧图像可通过对图像采集设备，例如摄像头拍摄的视频数据进行图像提取获得。

S204，根据所述多帧图像，确定跟踪目标的第一表观特征信息和检测目标的第二表观特征信息。

其中，跟踪目标为已确定跟踪的目标，检测目标为待确定跟踪的目标。

其中，表观特征信息是指目标的外观所反映的特征信息。以行人为例，行人的表观特征信息可包括人物的头发颜色，头发长短，皮肤颜色，身高、性别、所穿的衣服类型、携带的包裹类型等。

其中，在多帧图像中，用于确定跟踪目标的图像为基准帧图像，用于识别检测目标的图像为当前帧图像。

具体地，目标跟踪设备在获取多帧图像之后，根据该多帧图像，在基准帧图像中确定跟踪目标，在当前帧图像中识别检测目标，并基于获得的跟踪目标和检测目标，在对应的图像中进行目标的表观特征提取，从而得到跟踪目标的第一表观特征信息和检测目标的第二表观特征信息。

可选地，基准帧图像可以是多帧图像中的第一帧图像，也可以是当前帧图像的前一帧图像。

S206，根据所述第一表观特征信息和所述第二表观特征信息，确定所述多帧图像中跟踪目标的跟踪信息，并根据所述跟踪信息对所述跟踪目标进行跟踪。

具体地，目标跟踪设备在获得跟踪目标的第一表观特征信息和检测目标的第二表观特征信息之后，根据该第一表观特征信息和第二表观特征信息进行检测目标与跟踪目标的相似度判断，若判定该检测目标为跟踪目标，则将该检测目标的位置信息确定为跟踪信息，并根据该跟踪信息对跟踪目标进行跟踪。

上述应用于智慧城市的目标跟踪方法，通过获取多帧图像中跟踪目标的第一表观特征信息和检测目标的第二表观特征信息，并基于该第一表观特征信息和第二表观特征信息，确定跟踪目标的跟踪信息，从而实现对跟踪目标的跟踪。由于不同目标的表观特征能够反映目标之间的相似程度，因此，基于跟踪目标的第一表观特征信息和检测目标的第二表观特征信息，能够得知检测目标与跟踪目标的相似程度，进而判断检测目标是否为跟踪目标，由此实现对跟踪目标的跟踪。可见，由于能够更为准确地确定跟踪目标，因此提高了目标跟踪的可靠性。

在一个实施例中，请参阅图3，涉及在基准帧图像中提取跟踪目标的第一表观特征信息的具体过程。在上述实施例的基础上，S204包括以下步骤：

S212，获取所述多帧图像中的基准帧图像；

S214，确定所述基准帧图像中的跟踪目标；

S216，提取所述跟踪目标的第一表观特征信息。

可选地，目标跟踪设备可以将多帧图像中的第一帧图像确定为基准帧图像。目标跟踪设备也可以将当前帧图像的前一帧图像确定为基准帧图像。其中，基准帧图像中需包含跟踪目标。

具体地，目标跟踪设备在确定多帧图像中的基准帧图像之后，在该基准帧图像中，通过目标检测算法确定跟踪目标，或者通过人工框定的方式选取跟踪目标。在确定跟踪目标之后，目标跟踪设备从基准帧图像中，提取跟踪目标的第一表观特征信息。

作为一种实施方式，请参阅图4，S216包括以下步骤：

S2162，根据所述跟踪目标在所述基准帧图像中的位置，确定所述跟踪目标对应的第一边界框图像；

S2164，对所述第一边界框图像进行归一化处理，得到第一标准边界框图像；

S2166，将所述第一标准边界框图像输入至表观特征提取模型进行特征提取，得到所述跟踪目标的第一表观特征信息。

其中，第一边界框图像是利用边界框在基准帧图像中所框出的包含跟踪目标的图像。

具体地，目标跟踪设备根据跟踪目标在基准帧图像中的位置，利用边界框框出跟踪目标，得到对应的第一边界框图像。之后目标跟踪设备对第一边界框图像进行归一化处理，得到第一标准边界框图像，进而将第一标准边界框图像输入至表观特征提取模型进行特征提取，得到跟踪目标的第一表观特征信息。

可选地，以表观特征提取模型为卷积神经网络为例，虽然该卷积神经网络的组成比较简单，但其能够很好地提取到目标的表观特征信息。可选地，该卷积神经网络可包括2个卷积层、1个最大池化层、6个残差层、1个密集连接层和1个批标准化层。具体地，目标跟踪设备在得到第一边界框图像之后，将该第一边界框图像归一化成128*64(像素)的第一标准边界框图像，进而将该128*64(像素)的第一标准边界框图像输入至卷积神经网络，通过该卷积神经网络提取跟踪目标的第一表观特征信息。其中，该第一表观特征信息可以是128维的第一表观特征向量。

本申请实施例通过在基准帧图像中确定跟踪目标，进而得到跟踪目标的第一表观特征信息，使得跟踪目标的第一表观特征信息更为可靠，提高了目标跟踪的准确性。

在一个实施例中，请参阅图5，涉及在当前帧图像中提取检测目标的第二表观特征信息的具体过程。在上述实施例的基础上，S204包括以下步骤：

S222，获取所述多帧图像中的当前帧图像；

S224，对所述当前帧图像进行目标检测，获得所述检测目标；

S226，提取所述检测目标的第二表观特征信息。

其中，当前帧图像是指当下被目标跟踪设备读取的图像。

具体地，目标跟踪设备在确定多帧图像中的当前帧图像之后，在该当前帧图像中，通过目标检测算法对当前帧图像进行目标检测，获得检测目标。之后，目标跟踪设备从当前帧图像中，提取检测目标的第二表观特征信息。

作为一种实施方式，请参阅图6，S226包括以下步骤：

S2262，根据所述检测目标在所述当前帧图像中的位置，确定所述检测目标对应的第二边界框图像；

S2264，对所述第二边界框图像进行归一化处理，得到第二标准边界框图像；

S2266，将所述第二标准边界框图像输入至表观特征提取模型进行特征提取，得到所述检测目标的第二表观特征信息。

其中，第二边界框图像是利用边界框在当前帧图像中所框出的包含检测目标的图像。

具体地，目标跟踪设备根据检测目标在当前帧图像中的位置，利用边界框框出检测目标，得到对应的第二边界框图像。之后目标跟踪设备对第二边界框图像进行归一化处理，得到第二标准边界框图像，进而将第二标准边界框图像输入至表观特征提取模型进行特征提取，得到检测目标的第二表观特征信息。

可选地，以表观特征提取模型为卷积神经网络为例，虽然该卷积神经网络的组成比较简单，但其能够很好地提取到目标的表观特征信息。可选地，该卷积神经网络可包括2个卷积层、1个最大池化层、6个残差层、1个密集连接层和1个批标准化层。具体地，目标跟踪设备在得到第二边界框图像之后，将该第二边界框图像归一化成128*64(像素)的第二标准边界框图像，进而将该128*64(像素)的第二标准边界框图像输入至卷积神经网络，通过该卷积神经网络提取检测目标的第二表观特征信息。其中，该第二表观特征信息可以是128维的第二表观特征向量。

本申请实施例通过在当前帧图像中确定检测目标，进而得到检测目标的第二表观特征信息，使得检测目标的第二表观特征信息更完整，进一步提高了目标跟踪的准确性。

在一个实施例中，涉及通过预先训练好的深度学习模型对当前帧图像进行目标检测，获得检测目标的具体过程。在上述实施例的基础上，S224包括以下步骤：

S232，将所述当前帧图像输入至目标检测模型进行目标检测，得到所述当前帧图像中至少一个初始检测结果属于指定类别的概率，其中，所述目标检测模型包括预先训练好的深度学习模型；

S234，若所述初始检测结果属于指定类别的概率大于预设的指定概率阈值，则确定所述初始检测结果为检测目标。

具体地，目标跟踪设备将当前帧图像输入至目标检测模型进行目标检测，获得至少一个初始检测结果以及初始检测结果属于指定类别的概率。可以理解，初始检测结果对应的指定类别的概率可以为多个，例如，某一初始检测结果为人的概率为50％，为植物的概率为20％，为石头的概率为30％。之后对该初始检测结果属于指定类别的概率与对应的指定概率阈值进行比较，若初始检测结果属于指定类别的概率大于预设的指定概率阈值，则保留该初始检测结果，并将其确定为检测目标；否则，舍弃该初始检测结果。其中，预设的指定概率阈值可设定为0到1之间的任意数值。

进一步地，上述深度学习模型进行模型训练的具体过程可以为：首先，可以从采集的视频图像中提取各类目标图像样本，组成训练样本集。之后对该训练样本集中的图像样本进行整理，并在图像样本中标记各类目标。最后将这些标记好的图像样本用来训练深度学习模型，得到目标检测模型。更进一步地，在标记各类目标时，可选择边界框对目标进行标记，这样，训练好的目标检测模型还可以输出目标的边界框信息。其中，该边界框信息可用来确定目标在图像中的位置。

本申请实施例中，为了解决复杂背景下目标跟踪困难且跟踪精度低的情况，采用深度学习对当前帧图像进行目标检测。深度学习模型主要是利用各类目标图像样本进行模型训练，利用深度学习强大的目标特征提取能力来实现对目标的检测识别，从而达到目标准确检测的目的，进而达到对目标准确跟踪的有效辅助作用。

在一个实施例中，请参阅图7，涉及根据第一表观特征向量和第二表观特征向量确定多帧图像中跟踪目标的跟踪信息的具体过程。其中，第一表观特征信息包括第一表观特征向量，第二表观特征信息包括第二表观特征向量。在上述实施例的基础上，S206包括以下步骤：

S242，计算所述第一表观特征向量和所述第二表观特征向量的最小余弦距离；

S244，若所述最小余弦距离小于预设的余弦距离阈值，则确定所述检测目标为跟踪目标；

S246，获取所述多帧图像中所述检测目标的位置信息，并将所述位置信息确定为所述跟踪信息。

具体地，目标跟踪设备基于上述实施例涉及的卷积神经网络，能够提取跟踪目标的第一表观特征向量和检测目标的第二表观特征向量。进而目标跟踪设备计算第一表观特征向量和第二表观特征向量的最小余弦距离，将该最小余弦距离与预设的余弦距离阈值进行比较，若最小余弦距离小于预设的余弦距离阈值，则确定检测目标为跟踪目标。之后目标跟踪设备获取多帧图像中检测目标的位置信息，并将该位置信息确定为多帧图像中跟踪目标的跟踪信息。

可选地，检测目标的位置信息可以是检测目标的坐标信息。

本申请实施例中，通过判断最小余弦距离与预设的余弦距离阈值的大小，将最小余弦距离小于预设的余弦距离阈值的检测目标确定为跟踪目标，提高了跟踪目标的判别准确性。

在一个实施例中，请参阅图8，涉及通过多种相似度判断条件确定检测目标为跟踪目标的具体过程。在上述实施例的基础上，该方法还包括以下步骤：

S252，获取所述跟踪目标在所述多帧图像中的当前帧图像中的第一运动特征；

S254，获取所述检测目标在所述当前帧图像中的第二运动特征；

S256，根据所述第一运动特征、所述第二运动特征以及预设的相似度判断条件，判断所述检测目标是否为候选跟踪目标；

S258，若所述检测目标为候选跟踪目标，且所述最小余弦距离小于预设的余弦距离阈值，则确定所述检测目标为跟踪目标。

可选地，运动特征可包括位置、速度等。

具体地，目标跟踪设备基于跟踪目标在基准帧图像中的位置信息，通过轨迹预推算法，获得跟踪目标在当前帧图像中的第一运动特征。并且，目标跟踪设备利用目标检测模型，获得检测目标在当前帧图像中的第二运动特征。之后，目标跟踪设备根据第一运动特征、第二运动特征以及预设的相似度判断条件，判断检测目标是否为候选跟踪目标，若第一运动特征、第二运动特征满足预设的相似度判断条件，则判定检测目标为候选跟踪目标。进而，若检测目标为候选跟踪目标，且最小余弦距离小于预设的余弦距离阈值，则目标跟踪设备确定检测目标为跟踪目标。

本申请实施例通过多种相似度判断条件来确定检测目标为跟踪目标，进一步提高了跟踪目标的判别准确性。

作为一种实施方式，涉及一种通过多种相似度判断条件确定检测目标为候选跟踪目标的可能的实现过程。在上述实施例的基础上，该实现过程包括以下步骤：

S2522，获取所述跟踪目标在所述多帧图像中的基准帧图像中所对应的初始区域；S2524，根据所述初始区域以及轨迹预推算法，预测所述跟踪目标在所述当前帧图像中对应的最终区域；S2526，将所述最终区域确定为所述第一运动特征；

S2542，获取所述检测目标在所述当前帧图像中对应的第一区域；S2544，将所述第一区域确定为所述第二运动特征。

S2562，确定所述最终区域与所述第一区域的重叠区域，并计算所述重叠区域占所述最终区域的百分比；S2564，若所述百分比大于预设的百分比阈值，则确定所述检测目标为候选跟踪目标。

可选地，初始区域为包括跟踪目标的第一边界框图像。第一区域为包括检测目标的第二边界框图像。

具体地，目标跟踪设备获取跟踪目标在多帧图像中的基准帧图像中所对应的初始区域，并根据该初始区域以及轨迹预推算法，预测跟踪目标在当前帧图像中对应的最终区域，之后将该最终区域确定为第一运动特征。并且，目标跟踪设备获取检测目标在当前帧图像中对应的第一区域，并将该第一区域确定为第二运动特征。之后，目标跟踪设备确定最终区域与第一区域的重叠区域，并计算重叠区域占最终区域的百分比，若百分比大于预设的百分比阈值，则确定检测目标为候选跟踪目标。

作为一种实施方式，涉及另一种通过多种相似度判断条件确定检测目标为候选跟踪目标的可能的实现过程。在上述实施例的基础上，该实现过程包括以下步骤：

S252a，根据所述初始区域以及轨迹预推算法，预测所述跟踪目标的速度；S252b，将所述跟踪目标的速度确定为所述第一运动特征；

S256a，若所述百分比大于预设的百分比阈值，则确定所述检测目标为初始候选跟踪目标；S256b，获取所述初始候选跟踪目标和所述跟踪目标的位置偏移量；S256c，根据所述位置偏移量和所述跟踪目标的速度，判断所述初始候选跟踪目标是否为候选跟踪目标；S256d，若所述初始候选跟踪目标为候选跟踪目标，则确定所述检测目标为候选跟踪目标。

具体地，目标跟踪设备根据初始区域以及轨迹预推算法，预测跟踪目标的速度，并将该跟踪目标的速度确定为第一运动特征。若百分比大于预设的百分比阈值，则目标跟踪设备确定检测目标为初始候选跟踪目标，之后获取初始候选跟踪目标和跟踪目标的位置偏移量，并根据位置偏移量和跟踪目标的速度，判断初始候选跟踪目标是否为候选跟踪目标，若初始候选跟踪目标为候选跟踪目标，则目标跟踪设备确定检测目标为候选跟踪目标。

可选地，轨迹预推算法包括卡尔曼滤波、贝叶斯推理方法等。作为一种实施方式，选用卡尔曼滤波来预测跟踪目标在当前帧图像中的位置，即最终区域，同时得到跟踪目标的速度，从而实现跟踪目标的运动特征的提取。

本申请实施例考虑到目标运动的连续性，运动特征的提取主要通过轨迹预推算法来确定跟踪目标的位置和速度，从而能够减少提取表观特征目标的数量。

可选地，S256c的实现方式包括：

实现方式一，目标跟踪设备首先将位置偏移量转化为对应的实际速度，若该实际速度与跟踪目标的速度的比值位于[1-△v，1+△v]内，则判定初始候选跟踪目标为候选跟踪目标。其中，△v的取值可根据实际跟踪精度需求进行设定。

实现方式二，目标跟踪设备首先将位置偏移量转化为对应的实际速度，若该实际速度与跟踪目标的速度的差值位于[-△v，+△v]内，则判定初始候选跟踪目标为候选跟踪目标。其中，△v的取值可根据实际跟踪精度需求进行设定。

在一个实施例中，在确定检测目标为候选跟踪目标之后，所述方法还包括：保存跟踪目标对应的第一边界框图像。进一步地，若判定在当前帧图像中的检测目标中没有跟踪目标后，则直接转到多帧图像的后一帧图像，同时保存上一帧图像中跟踪目标对应的第一边界框图像。

本申请一实施例针对该应用于智慧城市的目标跟踪方法的一实际场景进行了应用，具体是采用楼道监控视频，主要针对监控拍摄期间走动的行人进行处理。

视频开始后，当监控场景中出现行人时，此时对该行人目标进行检测和跟踪，如图11所示。首先，利用深度学习目标检测模型进行检测，图11中蓝色框为行人目标的检测结果，同时并对该行人目标进行特征提取，得到该目标的特征向量。为了后续方便实现对该行人目标的跟踪，本实施例利用当前帧图像中目标的特征向量作为基准特征向量，后续帧图像中检测的目标都与该特征向量进行相似度判断，该目标的基准特征向量如图12中终端显示的128维的向量。此外，图11中红色框为确定当前帧图像的跟踪目标，后续对该行人目标进行跟踪。

为了验证该方法能够准确的实现目标稳定跟踪，对该视频图像中作为跟踪目标的行人进行持续处理。如图13所示，上述作为跟踪目标的行人已经从画面中心行进到屏幕上方，同时发生了一定的形变。图13中红色框为该行人目标的检测结果，蓝色框为该行人目标的跟踪结果。从而可以说明，本实施例的方法提取到目标特征向量通过相似度判断能够准确的对目标进行跟踪，不受目标形变因素的影响。

应该理解的是，虽然图2-8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图9所示，提供了一种应用于智慧城市的目标跟踪装置30，该装置包括：

图像获取模块302，用于获取多帧图像；

特征提取模块304，用于根据所述多帧图像，确定跟踪目标的第一表观特征信息和检测目标的第二表观特征信息；

目标跟踪模块306，用于根据所述第一表观特征信息和所述第二表观特征信息，确定所述多帧图像中跟踪目标的跟踪信息，并根据所述跟踪信息对所述跟踪目标进行跟踪。

上述应用于智慧城市的目标跟踪装置，通过获取多帧图像中跟踪目标的第一表观特征信息和检测目标的第二表观特征信息，并基于该第一表观特征信息和第二表观特征信息，确定跟踪目标的跟踪信息，从而实现对跟踪目标的跟踪。由于不同目标的表观特征能够反映目标之间的相似程度，因此，基于跟踪目标的第一表观特征信息和检测目标的第二表观特征信息，能够得知检测目标与跟踪目标的相似程度，进而判断检测目标是否为跟踪目标，由此实现对跟踪目标的跟踪。可见，由于能够更为准确地确定跟踪目标，因此提高了目标跟踪的可靠性。

关于应用于智慧城市的目标跟踪装置的具体限定可以参见上文中对于应用于智慧城市的目标跟踪方法的限定，在此不再赘述。上述应用于智慧城市的目标跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种应用于智慧城市的目标跟踪方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

获取多帧图像；

根据所述多帧图像，确定跟踪目标的第一表观特征信息和检测目标的第二表观特征信息；

根据所述第一表观特征信息和所述第二表观特征信息，确定所述多帧图像中跟踪目标的跟踪信息，并根据所述跟踪信息对所述跟踪目标进行跟踪。

上述计算机设备，通过获取多帧图像中跟踪目标的第一表观特征信息和检测目标的第二表观特征信息，并基于该第一表观特征信息和第二表观特征信息，确定跟踪目标的跟踪信息，从而实现对跟踪目标的跟踪。由于不同目标的表观特征能够反映目标之间的相似程度，因此，基于跟踪目标的第一表观特征信息和检测目标的第二表观特征信息，能够得知检测目标与跟踪目标的相似程度，进而判断检测目标是否为跟踪目标，由此实现对跟踪目标的跟踪。可见，由于能够更为准确地确定跟踪目标，因此提高了目标跟踪的可靠性。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取多帧图像；

根据所述多帧图像，确定跟踪目标的第一表观特征信息和检测目标的第二表观特征信息；

根据所述第一表观特征信息和所述第二表观特征信息，确定所述多帧图像中跟踪目标的跟踪信息，并根据所述跟踪信息对所述跟踪目标进行跟踪。

上述计算机可读存储介质，通过获取多帧图像中跟踪目标的第一表观特征信息和检测目标的第二表观特征信息，并基于该第一表观特征信息和第二表观特征信息，确定跟踪目标的跟踪信息，从而实现对跟踪目标的跟踪。由于不同目标的表观特征能够反映目标之间的相似程度，因此，基于跟踪目标的第一表观特征信息和检测目标的第二表观特征信息，能够得知检测目标与跟踪目标的相似程度，进而判断检测目标是否为跟踪目标，由此实现对跟踪目标的跟踪。可见，由于能够更为准确地确定跟踪目标，因此提高了目标跟踪的可靠性。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。

Claims (10)

1.一种应用于智慧城市的目标跟踪方法，其特征在于，所述方法包括：

获取多帧图像；

根据所述多帧图像，确定跟踪目标的第一表观特征信息和检测目标的第二表观特征信息，其中，所述跟踪目标为已确定跟踪的目标，所述检测目标为待确定跟踪的目标；所述第一表观特征信息是指表征所述跟踪目标的外观的特征信息，所述第二表观特征信息是指表征所述检测目标的外观的特征信息；

计算所述第一表观特征信息中的第一表观特征向量和所述第二表观特征信息中的第二表观特征向量的最小余弦距离；

获取所述检测目标与所述跟踪目标之间的位置偏移量；

根据所述位置偏移量确定的所述检测目标对应的实际速度以及所述跟踪目标的预测速度，判断所述检测目标是否为候选跟踪目标；

若所述实际速度与所述预测速度的比值位于[1-△v，1+△v]内，则判定所述检测目标为候选跟踪目标，其中，所述△v表示实际跟踪精度；

若所述检测目标为候选跟踪目标，且所述最小余弦距离小于预设的余弦距离阈值，则确定所述检测目标为跟踪目标；

将所述多帧图像中所述检测目标的位置信息确定为跟踪信息，以对所述跟踪目标进行跟踪。

2.根据权利要求1所述的方法，其特征在于，根据所述多帧图像，确定跟踪目标的第一表观特征信息和检测目标的第二表观特征信息，包括：

获取所述多帧图像中的基准帧图像；

确定所述基准帧图像中的跟踪目标；

提取所述跟踪目标的第一表观特征信息。

3.根据权利要求2所述的方法，其特征在于，提取所述跟踪目标的第一表观特征信息，包括：

根据所述跟踪目标在所述基准帧图像中的位置，确定所述跟踪目标对应的第一边界框图像；

对所述第一边界框图像进行归一化处理，得到第一标准边界框图像；

将所述第一标准边界框图像输入至表观特征提取模型进行特征提取，得到所述跟踪目标的第一表观特征信息。

4.根据权利要求1所述的方法，其特征在于，根据所述多帧图像，确定跟踪目标的第一表观特征信息和检测目标的第二表观特征信息，包括：

获取所述多帧图像中的当前帧图像；

对所述当前帧图像进行目标检测，获得所述检测目标；

提取所述检测目标的第二表观特征信息。

5.根据权利要求4所述的方法，其特征在于，对所述当前帧图像进行目标检测，获得所述检测目标，包括：

将所述当前帧图像输入至目标检测模型进行目标检测，得到所述当前帧图像中至少一个初始检测结果属于指定类别的概率，其中，所述目标检测模型包括预先训练好的深度学习模型；

若所述初始检测结果属于指定类别的概率大于预设的指定概率阈值，则确定所述初始检测结果为检测目标。

6.根据权利要求4所述的方法，其特征在于，提取所述检测目标的第二表观特征信息，包括：

根据所述检测目标在所述当前帧图像中的位置，确定所述检测目标对应的第二边界框图像；

对所述第二边界框图像进行归一化处理，得到第二标准边界框图像；

将所述第二标准边界框图像输入至表观特征提取模型进行特征提取，得到所述检测目标的第二表观特征信息。

7.根据权利要求1所述的方法，其特征在于，在确定所述检测目标为候选跟踪目标之后，所述方法还包括：

保存所述跟踪目标对应的第一边界框图像。

8.一种应用于智慧城市的目标跟踪装置，其特征在于，所述装置包括：

图像获取模块，用于获取多帧图像；

特征提取模块，用于根据所述多帧图像，确定跟踪目标的第一表观特征信息和检测目标的第二表观特征信息，其中，所述跟踪目标为已确定跟踪的目标，所述检测目标为待确定跟踪的目标；所述第一表观特征信息是指表征所述跟踪目标的外观的特征信息，所述第二表观特征信息是指表征所述检测目标的外观的特征信息；

目标跟踪模块，用于计算所述第一表观特征信息中的第一表观特征向量和所述第二表观特征信息中的第二表观特征向量的最小余弦距离；获取所述检测目标与所述跟踪目标之间的位置偏移量；根据所述位置偏移量确定的所述检测目标对应的实际速度以及所述跟踪目标的预测速度，判断所述检测目标是否为候选跟踪目标；若所述实际速度与所述预测速度的比值位于[1-△v，1+△v]内，则判定所述检测目标为候选跟踪目标，其中，所述△v表示实际跟踪精度；若所述检测目标为候选跟踪目标，且所述最小余弦距离小于预设的余弦距离阈值，则确定所述检测目标为跟踪目标；将所述多帧图像中所述检测目标的位置信息确定为跟踪信息，以对所述跟踪目标进行跟踪。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images