CN112651996A - 目标检测跟踪方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请提供一种目标检测跟踪方法、装置、电子设备和存储介质，涉及视频图像处理技术领域，该方法包括：获取目标视频，对目标视频中的第一类图像帧进行检测，以确定各个第一类图像帧中所包含的目标，根据各个第一类图像帧中包含的目标的目标信息对目标模板集进行更新，对目标模板集中的图像进行特征提取，得到图像特征集，根据目标视频中的第二类图像帧和图像特征集对当前的目标跟踪模型进行训练，得到更新后的目标跟踪模型。通过对目标视频中不同位置中的帧数进行分别处理，并在检测与跟踪的过程中实时地对目标模板集以及目标跟踪模型进行更新，能够准确地对目标视频中的多个目标进行实时的检测与跟踪。

Description

目标检测跟踪方法、装置、电子设备和存储介质

技术领域

本申请涉及视频图像处理技术领域，具体而言，涉及一种目标检测跟踪方法、装置、电子设备和存储介质。

背景技术

随着经济和社会的不断发展，在视频图像的处理技术上，在对多种视频中的多种目标进行检测以及跟踪的处理时，例如在对交通信息视频中的车辆目标或者在对多种场合的监控视频中的行人目标进行检测以及跟踪时，由于近年来神经网络、机器学习等人工智能新技术的快速发展，已经由传统的过度依赖人和硬件设备这一特点，不断地向智能化和信息化的方向发展，基于人工智能的目标检测与跟踪技术成为目前研究的热点。

基于人工智能的目标检测与跟踪技术相比于传统的视频图像处理技术，它可模仿人的视觉功能对目标进行检测和跟踪，具备成本低、易安装、可维护性好等优点。当前主要有基于图像特征点的检测跟踪方法，基于光流的检测跟踪方法，基于神经网络的检测跟踪方法等，这些方法都有一定的局限性，无法兼顾准确性与实时性。

发明内容

有鉴于此，本申请实施例的目的在于提供一种目标检测跟踪方法、装置、电子设备和存储介质，以改善现有技术中存在的实时性与准确性无法兼容的问题。

为了解决上述问题，第一方面，本申请实施例提供了一种目标检测跟踪方法，所述方法包括：

获取目标视频；

对所述目标视频中的第一类图像帧进行检测，以确定各个第一类图像帧中所包含的目标；

根据所述各个第一类图像帧中包含的目标的目标信息对目标模板集进行更新；

对所述目标模板集中的图像进行特征提取，得到图像特征集；

根据所述目标视频中的第二类图像帧和所述图像特征集对当前的目标跟踪模型进行训练，得到更新后的目标跟踪模型。

在上述实现过程中，在获取到目标视频后对所述目标视频中的内容进行读取，对所述目标视频中的每一帧图像进行检测或者跟踪处理。将所述目标视频中的第一类图像帧进行检测处理，并根据检测后得到的各个第一类图像帧中包含的多个目标的目标信息对所述目标模板集进行更新，对更新后所述目标模板集进行图像特征的提取，提取得到所述图像特征集，根据所述图像特征集以及第二类图像帧对当前的目标跟踪模型进行训练，得到更新后的所述目标跟踪模型。其中，所述第一类图像帧和所述第二类图像帧分别处于所述目标视频中的不同帧数位置，通过对所述目标视频中的不同位置的帧数进行分别处理，能够对所述目标视频中的多个目标进行检测与跟踪，并在检测与跟踪的过程中实时地对所述目标模板集以及所述目标跟踪模型进行更新，提高检测与跟踪的准确性和实时性。

可选地，所述对所述目标视频中的第一类图像帧进行检测，以确定各个第一类图像帧中所包含的目标，包括：

对所述各个第一类图像帧进行识别，以得到所述各个第一类图像帧对应的第一目标集，任一第一类图像帧对应的第一目标集中包括所述第一类图像帧中的一个或多个目标，其中所述第一类图像帧为所述目标视频中的第n帧，n对m取余结果为0的帧，m为预设整数值，所述第二类图像帧为所述目标视频中除所述第一类图像帧之外的图像帧；

针对每个第一目标集，将所述第一目标集中的第一目标与所述目标模板集中的各个目标模板进行对比，以确定出第一目标模板，所述第一目标为所述第一目标集中任意一个目标，所述目标模板集中包括一个或多个目标模板；

计算所述第一目标与所述第一目标模板的相似度。

在上述实现过程中，所述第一类图像帧为所述目标视频中的第n帧，由n对m进行取余处理，m为用户预先设置的整数值，由用户根据自身需求以及实际情况对m的大小进行选择，所述第一类图像帧的n对m的取余结果为0，所述第二类图像帧为所述目标视频中除去所述第一类图像帧的其他图像帧。在对各个所述第一类图像帧进行检测以确定各个所述第一类图像帧中包含的多个目标时，对各个所述第一类图像帧进行识别，识别后得到与所述各个第一类图像帧对应的所述第一目标集，其中，任一第一类图像帧对应的所述第一目标集中包含一个或多个所述第一类图像帧中的目标，在每一个所述第一目标集中任意选出一个目标第一目标，所述目标模板集中包含了一个或者多个目标模板，将所述第一目标与所述目标模板集中的各个目标模板进行轮流对比，确定出与所述第一目标的图像交并比最高的所述第一目标模板，并根据所述第一目标与所述第一目标模板包含的信息计算出两者的相似度。通过将所述第一类图像帧的目标集中的目标与所述目标模板集中的目标模板进行对比，确定出所述第一类图像帧中所包含的多个目标的目标信息。

可选地，所述计算所述第一目标与所述第一目标模板的相似度，包括：

根据所述第一目标与所述第一目标模板的运动矢量，计算出所述第一目标与所述第一目标模板的第一相似度；

根据所述第一目标与所述第一目标模板的直方图，计算出所述第一目标与所述第一目标模板的第二相似度；

根据所述第一相似度与所述第二相似度，计算出所述第一目标与所述第一目标模板的所述相似度。

在上述实现过程中，由所述第一目标和所述第一目标模板之间的运动矢量，以及所述第一目标模板的运动矢量，计算出所述第一目标与所述第一目标模板的第一相似度；对所述第一目标以及所述第一目标模板在图像中的占比进行计算，得到所述第一目标以及所述第一目标模板的直方图，并将所述第一目标以及所述第一目标模板的直方图归一化到相同的尺寸，根据归一化后的所述第一目标以及所述第一目标模板的直方图得到所述第一目标与所述第一目标模板的第二相似度；再根据所述第一相似度和所述第二相似度计算得到所述相似度，所述相似度为综合相似度，通过对所述第一目标和所述第一目标模板的运动矢量和直方图的计算，能够得到更加准确以及具有实时性的综合相似度。

可选地，所述对所述各个第一类图像帧进行识别，以得到所述各个第一类图像帧对应的第一目标集，包括：

根据目标检测算法对所述各个第一类图像帧进行识别，以确定出所述各个第一类图像帧的识别结果，所述识别结果包括所述第一类图像中包含的至少一个目标，以及所述至少一个目标对应的置信度；

根据所述各个第一类图像帧的识别结果，构建所述各个第一类图像帧对应的第一目标集。

在上述实现过程中，所述各个第一类图像帧对应的第一目标集中包含了多个目标以及目标对应的置信度数据，根据目标检测算法对各个所述第一类图像帧进行识别，识别出各个所述第一类图像帧中包含的至少一个目标以及所述至少一个目标对应的置信度，作为所述第一类图像帧的识别结果，根据各个第一类图像帧的识别结果，将获取到的各个目标以及各个目标对应的置信度进行结合，构建出所述第一目标集。通过构建所述第一目标集将所述第一类图像帧中的多个目标以及目标置信度信息进行收集，以便进行计算。

所述根据所述各个第一类图像帧中包含的目标的目标信息对目标模板集进行更新，包括：

当所述第一目标与所述第一目标模板的相似度在第一数值区间内，且所述第一目标的置信度在第二数值区间内时，判定所述第一目标和所述第一目标模板为同一目标，将所述第一目标的目标信息更新到所述第一目标模板的信息中；

当所述第一目标与所述第一目标模板的相似度在第三数值区间内，且所述第一目标的置信度在第四数值区间内时，判定所述第一目标为新目标，将所述第一目标的目标信息添加到所述目标模板集中作为新目标；

当所述第一目标与所述第一目标模板的相似度在第五数值区间内，且所述第一目标的置信度在第六数值区间内时，对所述第一目标中的目标信息不做处理。

在上述实现过程中，根据所述相似度以及所述第一目标的置信度的大小对所述第一目标以及所述第一目标模板集两者的关系进行判断，根据所述相似度以及所述第一目标的置信度的大小所处的数字区间，判断完后产生了三种判断结果：当判断所述第一目标和所述第一目标模板为同一目标时，将所述第一目标中的所述目标信息更新到所述第一目标模板的信息在，对所述第一目标模板所在的目标模板集进行更新；在判断所述第一目标为新目标时，将所述第一目标中的所述目标信息更新到所述第一目标模板的信息中，对所述第一目标模板所在的目标模板集进行更新；在第三种情况时，对所述第一目标中的所述目标信息不做处理。通过所述相似度以及所述第一目标的置信度大小，得到所述第一目标以及所述第一目标模板之间的关系，对所述目标模板集进行准确、实时的更新。

可选地，所述根据所述目标视频中的第二类图像帧和所述图像特征集对当前的目标跟踪模型进行训练，得到更新后的目标跟踪模型，包括：

根据目标跟踪算法对所述目标视频中的各个第二类图像帧以及所述图像特征集进行计算，以对所述目标跟踪模型进行更新训练，得到更新后的当前的目标跟踪模型。

在上述实现过程中，将所述第二类图像帧作为目标跟踪算法的参数，结合所述图像特征集，对所述目标跟踪模型进行更新训练，以得到更新后的当前的所述目标跟踪模型。通过目标跟踪算法将所述第二类图像帧转换为数列矩阵，并将所述数列矩阵作为输入参数，能够对所述目标跟踪模型进行准确、实时的更新和训练。

可选地，所述方法还包括：

将所述目标视频中的各个第二类图像帧输入所述目标跟踪模型中进行计算，以得到各个第二类图像帧中目标的跟踪结果；

若任一第二类图像帧的所述跟踪结果表征对所述第二类图像帧中的第二目标跟踪成功，则对所述第二目标的跟踪信息进行更新，其中，所述跟踪信息包括所述第二目标的运动数据；

若任一第二类图像帧的所述跟踪结果表征对所述第二类图像帧中的第三目标跟踪失败，将所述第三目标从所述目标模板集中删除。

在上述实现过程中，在对所述目标跟踪模型更新完后，将各个所述第二类图像帧中的目标的所述目标信息输入到所述目标跟踪模型中进行计算，得到各个所述第二类图像帧中的目标的跟踪结果，当任一第二类图像帧的所述跟踪结果表征为对所述第二类图像帧中的所述第二目标跟踪成功时，对所述第二目标的跟踪信息进行反馈并更新，所述跟踪信息中包括所述第二目标的运动轨迹等数据，当任意第二类图像帧的所述跟踪结果表征对所述第二类图像帧中的所述第三目标跟踪失败时，将所述第三目标从所述目标模板集中删除，其中，跟踪失败的目标与所述第二类图像帧中的对应的目标的误差较大，准确度较低，所以将所述第三目标从所述目标模板集中删除。通过对所述第二类图像帧中的目标的跟踪结果进行判断，并根据跟踪结果进行相关处理，能够对目标的跟踪信息进行实时更新，并且保持所述目标模板集的准确性。

第二方面，本申请还提供了一种目标检测跟踪装置，所述装置包括：读取模块、检测模块和跟踪模块；

所述读取模块，用于获取目标视频；

所述检测模块，用于对所述目标视频中的第一类图像帧进行检测，以确定各个第一类图像帧中所包含的目标，根据所述各个第一类图像帧中包含的目标的目标信息对目标模板集进行更新；

所述跟踪模块，用于对所述目标模板集中的图像进行特征提取，得到图像特征集，根据所述目标视频中的第二类图像帧和所述图像特征集对当前的目标跟踪模型进行训练，得到更新后的目标跟踪模型。

在上述实现过程中，通过所述读取模块对所述目标视频的内容进行获取，通过所述检测模块对所述读取模块中获取的所述目标视频的各个所述第一类图像帧进行检测，并根据检测后得到的各个所述第一类图像帧中包含的所述目标信息对所述目标模板集进行更新，通过所述跟踪模块对更新后所述目标模板集进行图像特征的提取，提取得到所述图像特征集，根据所述图像特征集以及各个所述第二类图像帧对当前的目标跟踪模型进行训练，得到更新后的所述目标跟踪模型。通过对所述目标视频中的不同位置的帧数进行分别处理，能够对所述目标视频中的多个目标进行检测与跟踪，并在检测与跟踪的过程中实时地对所述目标模板集以及所述目标跟踪模型进行更新，提高检测与跟踪的准确性和实时性。

第三方面，本申请实施例还提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行上述第一方面中任一实现方式中的步骤。

第四方面，本申请实施例还提供了一种可读取存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述第一方面中任一实现方式中的步骤。

综上所述，本申请提供了一种目标检测跟踪方法、装置、电子设备和存储介质，通过对目标视频中的不同位置的帧数进行分别处理，能够对目标视频中不同帧数中的多个目标进行检测与跟踪，并在检测与跟踪的过程中实时地对目标模板集以及目标跟踪模型进行更新，提高检测与跟踪的准确性和实时性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种目标检测跟踪方法的流程示意图；

图2为本申请实施例提供的目标检测跟踪方法的步骤S2的流程示意图；

图3为本申请实施例提供了目标检测跟踪方法的步骤S21的流程示意图；

图4为本申请实施例提供的目标检测跟踪方法的步骤S23的流程示意图；

图5为本申请实施例提供的目标检测跟踪方法的部分流程示意图；

图6为本申请实施例提供的一种目标检测跟踪装置的结构示意图。

图标：10-目标检测跟踪装置；11-读取模块；12-检测模块；13-跟踪模块。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请实施例的一部分实施例，而不是全部的实施例。基于本申请实施例的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请实施例保护的范围。

本申请实施例提供了一种目标检测跟踪方法、装置、存储介质和存储介质，涉及视频图像处理技术领域，可以对多种视频进行监测和跟踪处理，该视频可以为交通信息中的视频，还可以为学校、企业等多种场合下的监控视频等，还可以为其他的包含多个目标的视频，该视频中的目标可以是移动的车辆，还可以是移动的行人等其他的多种目标，下面对本申请实施例提供的一种目标检测跟踪方法进行说明。

请参阅图1，图1为本申请实施例提供的一种目标检测跟踪方法的流程示意图，该方法可以包括以下步骤：

步骤S1，获取目标视频。

其中，在获取到目标视频后对目标视频中的内容进行读取，并且对目标视频中的每一帧进行分类。

步骤S2，对所述目标视频中的第一类图像帧进行检测，以确定各个第一类图像帧中所包含的目标。

其中，在对目标视频的每一帧进行分类后，选取第一类图像帧，使用算法对第一类图像帧进行检测处理，以得到各个第一类图像帧中包含的目标，示例地，可以使用YOLO(YouOnly Look Once)算法对第一类图像帧进行检测，YOLO算法具有简洁、快速的优点，且能对整张图片做卷积，在检测目标时具有较大的视野，不易对背景产生误判，提高检测的准确性。

步骤S3，根据所述各个第一类图像帧中包含的目标的目标信息对目标模板集进行更新。

其中，根据步骤S2中检测到的各个第一类图像帧的目标所包含的目标信息，能够对目标模板集中所包含的目标模板的数据进行准确、实时的更新。

示例地，当对一段交通视频中的多个车辆目标进行检测跟踪时，车辆视频的第一类图像帧中包含了多个移动的车辆目标，每个车辆目标都具有自身的目标信息，目标信息中可以包括车辆的车牌信息、对车辆的标号信息、车辆的运动轨迹、车辆的时间信息以及车辆在图片上的位置信息等多种信息；在对一段公共场合的监控视频中的多个移动的行人目标进行检测跟踪时，监控视频的第一类图像帧中包含了多个移动的行人目标，每个行人目标都有自身的目标信息，目标信息中可以包括对行人的识别信息、对行人的标号信息、行人的运动轨迹、行人的时间信息以及行人在图片中的位置信息等多种信息。

步骤S4，对所述目标模板集中的图像进行特征提取，得到图像特征集。

其中，通过算法对目标模板集中的图像进行特征提取，将提取到的多个图像特征合并到一起，构成一个图像特征集，示例地，在对图像的特征进行提取时，可以提取图像的HOG(Histogram of Oriented Gradient)特征，该特征通过计算和统计图像局部区域的梯度方向直方图来构成特征，使得局部目标的表现和形状能够被梯度或边缘的方向密度分布很好地描述，HOG特征能够保持图像几何和光学的形变的不变性，可以容许目标有一些细微的动作而不影响检测的效果。

步骤S5，根据所述目标视频中的第二类图像帧和所述图像特征集对当前的目标跟踪模型进行训练，得到更新后的目标跟踪模型。

其中，使用算法对图像特征集以及第二类图像帧进行计算，得到当前的目标跟踪模型，并对目标跟踪模型进行训练以及更新，示例地，可以使用KCF(Kernel CorrelationFilter核相关滤波算法)跟踪算法对第二类图像帧以及图像特征集进行计算，使用目标周围区域的循环矩阵采集正负样本，利用脊回归对检测到的目标进行跟踪，训练得到当前的目标跟踪模型，并对目标跟踪模型进行更新，降低了运算量，提高了运算的速度和实时性。

图1所示的实施例中提供了一种目标检测的方法，通过对目标视频的不同位置的帧数进行分别处理，能够对目标视频中的多个目标进行检测与跟踪，并在检测与跟踪的过程中实时地对目标模板集以及目标跟踪模型进行更新，提高检测与跟踪的准确性和实时性。

请参阅图2，图2为本申请实施例提供的目标检测跟踪方法的步骤S2的流程示意图，该方法的步骤S2可以包括以下步骤：

步骤S21，对所述各个第一类图像帧进行识别，以得到所述各个第一类图像帧对应的第一目标集。

其中，对目标视频中的各个第一类图像帧都进行识别，能够得到与各个第一类图像帧对应的第一目标集，在目标视频中对第一类图像帧和第二类图像帧的选择处理上，第一类图像帧为目标视频中的第n帧，由n对m进行取余处理，m为用户预先设置的整数值，由用户根据自身需求以及实际情况对m的大小进行选择，所述第一类图像帧的n对m的取余结果为0，所述第二类图像帧为所述目标视频中除去所述第一类图像帧的其他图像帧，例如，m可以为3，由n对3进行取余处理，得出第三帧、第六帧、第九帧等3的倍数帧数为第一类图像帧，而第一帧、第二帧、第四帧、第五帧等3的非倍数为第二类图像帧，m还可以为4，由n对4进行取余处理，得出第四帧、第八帧、第十二帧等为第一类图像帧，而第一帧、第二帧、第三帧、第五帧、第六帧、第七帧等为第二类图像帧，为了确保对目标检测跟踪的实时性，对m的取值应适当避免较大的整数值。

值得说明的是，用户还可以根据目标视频中的实际情况，还可以选择对目标视频进行随机选择帧数、例如随机选取一部分帧数为第一类图像帧数，在选择剩下的帧数为第二类图像帧数，还可以选择交叉选择帧数的方式，例如选择奇数帧为第一类图像帧，选择偶数帧为第二类图像帧，能够通过多种选择方式来对第一类图像帧和第二类图像帧进行选择。

示例地，图3为本申请实施例提供了目标检测跟踪方法的步骤S21的流程示意图，该方法的步骤S21可以还包括以下步骤：

步骤S211，根据目标检测算法对所述各个第一类图像帧进行识别，以确定出所述各个第一类图像帧的识别结果。

其中，使用目标检测算法对各个第一类图像帧进行识别，识别结果包括第一类图像帧中包含的至少一个目标和与这个目标对应的置信度信息，置信度即模型认为检测框中存在目标的确信度。对于一个检测框，会首先使用置信度阈值进行过滤，当检测框的置信度大于该阈值时才认为检测框中存在目标(即为正样本，positive)，否则认为不存在目标(即为负样本，negative)。在算法的选择上也可以选择可以使用YOLO(You Only Look Once)算法。

步骤S212，根据所述各个第一类图像帧的识别结果，构建所述各个第一类图像帧对应的第一目标集。

其中，将识别出来的各个第一类图像帧的识别结果结合在一起，构成与各个第一类图像帧对应的第一目标集，第一目标集中包含了各个第一类图像帧中包含的目标以及目标对应的置信度信息。

步骤S22，针对每个第一目标集，将所述第一目标集中的第一目标与所述目标模板集中的各个目标模板进行对比，以确定出第一目标模板。

其中，针对每一个第一目标集，在第一目标集任选一个目标作为第一目标，将第一目标与目标模板集中的各个目标模板进行轮流对比，确定出第一目标模板，示例地，在进行对比时可以选择对第一目标以及目标模板进行IOU(Intersection-over-Union，图像交并比)的对比，是用来衡量两个矩形框重合程度的一种度量指标，在目标模板集中找出与第一目标对比后的图像交并比最大的目标模板第一目标模板，计算过程如下所示：

其中，I_imax为IOU的最大值，D_i为第一目标集中的第一目标，T_i为目标模板集中的第一目标模板。

步骤S23，计算所述第一目标与所述第一目标模板的相似度。

其中，使用算法对第一目标以及第一目标模板之间的相似度进行计算。

示例地，图4为本申请实施例提供的目标检测跟踪方法的步骤S23的流程示意图，该方法包括以下步骤：

步骤S231，根据所述第一目标与所述第一目标模板的运动矢量计算出第一相似度。

其中，先计算出第一目标模板T_i的运动矢量

再计算出第一目标D_i和第一目标模板T_i之间的运动矢量

并根据

和

计算出第一相似度

计算公式如下所示：

步骤S232，根据所述第一目标与所述第一目标模板的直方图计算出第二相似度。

其中，可以选择对所述第一目标以及所述第一目标模板在图像中的占比进行计算，得到所述第一目标以及所述第一目标模板的直方图，并将所述第一目标以及所述第一目标模板的直方图归一化到相同的尺寸，根据归一化后的所述第一目标以及所述第一目标模板的直方图得到所述第一目标与所述第一目标模板的第二相似度，第一目标的直方图记为

第一目标模板的直方图记为

第二相似度记为

计算方式如下所示：

其中，k为用户预先设定的参数，N为第一目标直方图

与第一目标模板直方图

中的分割子区域(称作bins)的个数，第一目标的直方图的运动矢量

第一目标模板的直方图的运动矢量

步骤S233，根据所述第一相似度与所述第二相似度计算出所述相似度。

其中，根据上述计算出的第一相似度

和第二相似度

结合IOU的最大值I_imax，计算得出综合相似度S_i，计算方法如下所示：

式中，α、β、γ为相关加权系数，参考值为α＝0.6、β＝0.2、γ＝0.2。

需要说明的是，当第一目标与第一目标模板的相似度在第一数值区间内，即S_i≥0.6，第一目标的置信度在第二数值区间，即P_i≥0.8时：

例如，在S_i＝0.6，P_i＝0.8时，或者在S_i＝0.7，P_i＝0.9时，第一目标与第一目标模板的相似度最高，判断第一目标和第一目标模板为同一目标，将所述第一目标的目标信息更新到所述第一目标模板的信息中；

当第一目标与第一目标模板的相似度在第三数值区间内，即S_i<0.2，第一目标的置信度在第四数值区间，即P_i≥0.8时：

例如，在S_i＝0.1，P_i＝0.8时，或者在S_i＝0.15，P_i＝0.9时，第一目标与第一目标模板之间的相似度较低，判断第一目标为新目标，将第一目标中的目标信息梗系电脑目标模板集中，对目标模板集进行更新；

当第一目标与第一目标模板的相似度在第五数值区间内，即0.2<S_i<0.6，第一目标的置信度在第六数值区间，即P_i<0.8时：

例如，在S_i＝0.4，P_i＝0.7时，或者在S_i＝0.5，P_i＝0.5时，对第一目标的目标信息暂时不做处理，其中，通过第一目标与第一目标模板的相似度以及第一目标的置信度能够得到第一目标与第一目标模板之间的关系，对所述目标模板集进行准确、实时的更新。

在上述实施例中，通过相关算法找到与第一目标图像交并比最高的第一目标模板，并对第一目标以及第一目标模板的相似度进行计算，确定出第一目标与第一目标模板之间的关系，能够对目标模板集进行准确、实时的更新。

请参阅图5，图5为本申请实施例提供的目标检测跟踪方法的部分流程示意图，该方法包括：

步骤S6，将所述目标视频中的各个第二类图像帧输入所述目标跟踪模型中进行计算，以得到各个第二类图像帧中目标的跟踪结果。

其中，可以将第二类图像帧的图像作为输入参数，使用KCF(Kernel CorrelationFilter核相关滤波算法)跟踪算法对目标跟踪算法对目标视频中的各个第二类图像帧以及目标模板集中的图像特征集进行计算，得到更新后的目标跟踪模型，再将各个第二类图像帧中的目标的目标信息输入的目标跟踪模型中进行计算，得到各个第二类图像帧中的目标的跟踪结果。

需要说明的是，更新后的目标跟踪模型还可以作为下一次的跟踪处理中的参考数据，从而减少因重置目标跟踪模型等原因带来的误差较大等问题，保持跟踪的准确性和实时性。

步骤S7，若任一第二类图像帧的所述跟踪结果表征对所述第二类图像帧中的第二目标跟踪成功，则对所述第二目标的跟踪信息进行更新。

其中，当第二目标的跟踪结果满足相关阈值时，则第二目标为跟踪成功的目标，对第二目标的跟踪信息进行更新，跟踪信息包括第二目标的运动轨迹等相关数据，示例地，相关阈值为用户在算法中设定的显示跟踪结果是否成功的阈值，由用户在实际计算中得出。

步骤S8，若任一第二类图像帧的所述跟踪结果表征对所述第二类图像帧中的第三目标跟踪失败，将所述第三目标从所述目标模板集中删除。

其中，当第三目标的跟踪结果不满足相关阈值时，则第三目标为跟踪失败的目标，将第三目标的目标信息从目标模板集中删除，跟踪失败的第三目标与第二类图像帧中对应的跟踪目标的误差较大，准确度较低。

在上述实施方式中，对跟踪成功的目标进行数据更新，对跟踪失败的目标进行数据删除，能够保证跟踪的准确性和实时性，且能够删除误差较大的数据，对准确的数据进行实时更新。

请参阅图6，图6为本申请实施例提供的一种目标检测跟踪装置的结构示意图，该目标检测跟踪装置10包括：读取模块11、检测模块12和跟踪模块13，其中，读取模块11、检测模块12和跟踪模块13三者之间相互连接。

读取模块11，用于获取目标视频；

检测模块12，用于对所述目标视频中的第一类图像帧进行检测，以确定各个第一类图像帧中所包含的目标，根据所述各个第一类图像帧中包含的目标的目标信息对目标模板集进行更新；

跟踪模块13，用于对所述目标模板集中的图像进行特征提取，得到图像特征集，根据所述目标视频中的第二类图像帧和所述图像特征集对当前的目标跟踪模型进行训练，得到更新后的目标跟踪模型。

可选地，检测模块12中还包括识别模块、对比模块、计算模块和分析模块。

所述识别模块，用于对所述各个第一类图像帧进行识别，以得到所述各个第一类图像帧对应的第一目标集，任一第一类图像帧对应的第一目标集中包括所述第一类图像帧中的一个或多个目标，其中所述第一类图像帧为所述目标视频中的第n帧，n对m取余结果为0的帧，m为预设整数值，所述第二类图像帧为所述目标视频中除所述第一类图像帧之外的图像帧；

所述识别模块，还用于根据目标检测算法对所述各个第一类图像帧进行识别，以确定出所述各个第一类图像帧的识别结果，所述识别结果包括所述第一类图像帧中包含的至少一个目标，以及所述至少一个目标对应的置信度，并根据所述各个第一类图像帧的识别结果，构建所述各个第一类图像帧对应的第一目标集。

所述对比模块，用于将所述第一目标集中的第一目标与所述目标模板集中的各个目标模板进行对比，以确定出第一目标模板，所述第一目标为所述第一目标集中任意一个目标，所述目标模板集中包括一个或多个目标模板。

所述计算模块，用于计算所述第一目标与所述第一目标模板的相似度，所述相似度由第一相似度和第二相似度算出，根据所述第一目标与所述第一目标模板的运动矢量，计算出所述第一目标与所述第一目标模板的第一相似度，根据所述第一目标与所述第一目标模板的直方图，计算出所述第一目标与所述第一目标模板的第二相似度，根据所述第一相似度与所述第二相似度，计算出所述第一目标与所述第一目标模板的所述相似度。

所述分析模块，用于根据所述第一目标与所述第一目标模板的相似度以及所述第一目标的置信度所处的数值区间对所述第一目标以及所述第一目标模板之间的关系进行分析和处理：

当所述第一目标与所述第一目标模板的相似度在第一数值区间内，且所述第一目标的置信度在第二数值区间内时，判定所述第一目标和所述第一目标模板为同一目标，将所述第一目标的目标信息更新到所述第一目标模板的信息中；

当所述第一目标与所述第一目标模板的相似度在第三数值区间内，且所述第一目标的置信度在第四数值区间内时，判定所述第一目标为新目标，将所述第一目标的目标信息添加到所述目标模板集中作为新目标；

当所述第一目标与所述第一目标模板的相似度在第五数值区间内，且所述第一目标的置信度在第六数值区间内时，对所述第一目标中的目标信息不做处理。

可选地，跟踪模块13还包括更新模块。

所述更新模块，用于根据目标跟踪算法对所述目标视频中的各个第二类图像帧以及所述图像特征集进行计算，以对所述目标跟踪模型进行更新训练，得到更新后的当前的目标跟踪模型。

所述更新模块，还用于所述目标视频中的各个第二类图像帧输入所述目标跟踪模型中进行计算，以得到各个第二类图像帧中目标的跟踪结果；

若任一第二类图像帧的所述跟踪结果表征对所述第二类图像帧中的第二目标跟踪成功，则对所述第二目标的跟踪信息进行更新，其中，所述跟踪包括所述第二目标的运动数据；

若任一第二类图像帧的所述跟踪结果表征对所述第二类图像帧中的第三目标跟踪失败，将所述第三目标从所述目标模板集中删除。

在上述实施过程中，能够通过对所述目标视频中的不同位置的帧数进行分别处理，能够对所述目标视频中的多个目标进行检测与跟踪，并在检测与跟踪的过程中实时地对所述目标模板集以及所述目标跟踪模型进行更新，提高检测与跟踪的准确性和实时性。

本申请实施例还提供了一种电子设备，该电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行本实施例提供一种目标检测跟踪方法中任一项所述方法中的步骤。

应当理解是，该电子设备可以是个人电脑(personal computer，PC)、平板电脑、智能手机、个人数字助理(personal digital assistant，PDA)等具有逻辑计算功能的电子设备。

本申请实施例还提供了一种可读取存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行一种目标检测跟踪方法中的步骤。

综上所述，本申请实施例提供的一种目标检测跟踪方法、装置、电子设备和存储介质，使用多种算法，通过对目标视频中的不同位置的帧数进行分别处理，能够对目标视频中不同帧数中的多个目标进行检测与跟踪，并在检测与跟踪的过程中实时地对目标模板集以及目标跟踪模型进行更新，提高检测与跟踪的准确性和实时性。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的框图显示了根据本申请的多个实施例的设备的可能实现的体系架构、功能和操作。在这点上，框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图中的每个方框、以及框图的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。因此本实施例还提供了一种可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行区块数据存储方法中任一项所述方法中的步骤。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RanDom Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种目标检测跟踪方法，其特征在于，所述方法包括：

获取目标视频；

对所述目标视频中的第一类图像帧进行检测，以确定各个第一类图像帧中所包含的目标；

根据所述各个第一类图像帧中包含的目标的目标信息对目标模板集进行更新；

对所述目标模板集中的图像进行特征提取，得到图像特征集；

根据所述目标视频中的第二类图像帧和所述图像特征集对当前的目标跟踪模型进行训练，得到更新后的目标跟踪模型。

2.根据权利要求1所述的方法，其特征在于，所述对所述目标视频中的第一类图像帧进行检测，以确定各个第一类图像帧中所包含的目标，包括：

对所述各个第一类图像帧进行识别，以得到所述各个第一类图像帧对应的第一目标集，任一第一类图像帧对应的第一目标集中包括所述第一类图像帧中的一个或多个目标，其中所述第一类图像帧为所述目标视频中的第n帧，n对m取余结果为0的帧，m为预设整数值，所述第二类图像帧为所述目标视频中除所述第一类图像帧之外的图像帧；

针对每个第一目标集，将所述第一目标集中的第一目标与所述目标模板集中的各个目标模板进行对比，以确定出第一目标模板，所述第一目标为所述第一目标集中任意一个目标，所述目标模板集中包括一个或多个目标模板；

计算所述第一目标与所述第一目标模板的相似度。

3.根据权利要求2所述的方法，其特征在于，所述计算所述第一目标与所述第一目标模板的相似度，包括：

根据所述第一目标与所述第一目标模板的运动矢量，计算出所述第一目标与所述第一目标模板的第一相似度；

根据所述第一目标与所述第一目标模板的直方图，计算出所述第一目标与所述第一目标模板的第二相似度；

根据所述第一相似度与所述第二相似度，计算出所述第一目标与所述第一目标模板的所述相似度。

4.根据权利要求2所述的方法，其特征在于，所述对所述各个第一类图像帧进行识别，以得到所述各个第一类图像帧对应的第一目标集，包括：

根据目标检测算法对所述各个第一类图像帧进行识别，以确定出所述各个第一类图像帧的识别结果，所述识别结果包括所述第一类图像帧中包含的至少一个目标，以及所述至少一个目标对应的置信度；

根据所述各个第一类图像帧的识别结果，构建所述各个第一类图像帧对应的第一目标集。

5.根据权利要求4所述的方法，其特征在于，所述根据所述各个第一类图像帧中包含的目标的目标信息对目标模板集进行更新，包括：

当所述第一目标与所述第一目标模板的相似度在第一数值区间内，且所述第一目标的置信度在第二数值区间内时，判定所述第一目标和所述第一目标模板为同一目标，将所述第一目标的目标信息更新到所述第一目标模板的信息中；

当所述第一目标与所述第一目标模板的相似度在第三数值区间内，且所述第一目标的置信度在第四数值区间内时，判定所述第一目标为新目标，将所述第一目标的目标信息添加到所述目标模板集中作为新目标；

当所述第一目标与所述第一目标模板的相似度在第五数值区间内，且所述第一目标的置信度在第六数值区间内时，对所述第一目标中的目标信息不做处理。

6.根据权利要求1所述的方法，其特征在于，所述根据所述目标视频中的第二类图像帧和所述图像特征集对当前的目标跟踪模型进行训练，得到更新后的目标跟踪模型，包括：

根据目标跟踪算法对所述目标视频中的各个第二类图像帧以及所述图像特征集进行计算，以对所述目标跟踪模型进行更新训练，得到更新后的当前的目标跟踪模型。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述目标视频中的各个第二类图像帧输入所述目标跟踪模型中进行计算，以得到各个第二类图像帧中目标的跟踪结果；

若任一第二类图像帧的所述跟踪结果表征对所述第二类图像帧中的第二目标跟踪成功，则对所述第二目标的跟踪信息进行更新，其中，所述跟踪信息包括所述第二目标的运动数据；

若任一第二类图像帧的所述跟踪结果表征对所述第二类图像帧中的第三目标跟踪失败，将所述第三目标从所述目标模板集中删除。

8.一种目标检测跟踪装置，其特征在于，所述装置包括：读取模块、检测模块和跟踪模块；

所述读取模块，用于获取目标视频；

所述检测模块，用于对所述目标视频中的第一类图像帧进行检测，以确定各个第一类图像帧中所包含的目标，根据所述各个第一类图像帧中包含的目标的目标信息对目标模板集进行更新；

所述跟踪模块，用于对所述目标模板集中的图像进行特征提取，得到图像特征集，根据所述目标视频中的第二类图像帧和所述图像特征集对当前的目标跟踪模型进行训练，得到更新后的目标跟踪模型。

9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器运行所述程序指令时，执行权利要求1-7中任一项所述方法中的步骤。

10.一种可读取存储介质，其特征在于，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器运行时，执行权利要求1-7任一项所述方法中的步骤。

Images