CN113887523A - 数据集更新方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请提供一种数据集更新方法、装置、电子设备和存储介质，涉及视频图像处理技术领域，该方法包括：对获取的视频数据进行读取，获取指定帧图像和对应的数据集；对指定帧图像进行检测，确定出指定帧图像中包含的目标检测信息；根据目标检测信息对数据集进行更新。本申请通过对视频数据中的指定帧图像进行检测，能够基于检测得到的指定帧图像中的一个或多个目标对应的目标检测信息对视频数据视频图像数据集进行更新，以提高数据集更新的效率，提升数据集质量，在优化后的数据集的基础上加速深度学习模型的生成与迭代，提升深度学习模型的训练和评估质量，提高目标检测与识别的精度与准确性。

Description

数据集更新方法、装置、电子设备和存储介质

技术领域

本申请涉及视频图像处理技术领域，具体而言，涉及一种数据集更新方法、装置、电子设备和存储介质。

背景技术

随着科学技术的不断发展，深度学习在目标识别领域已逐渐凸显出优势。在神经网络发展到一定高度后，目标识别精度需要依赖标注数据集的数据与质量，提升数据集的质量能够提高模型训练的质量和预测的准确率。

现有技术中，传统的开源数据集基本都是基于实验室研究为出发点，针对特定目标的检测与识别的精度较低，难以适应复杂多变的工程应用场景。且基于实际工程应用场景构建的目标数据集多为人工标注，在人工标注过程中需要耗费大量人力成本与时间成本，人工作业还会使数据集标签质量参差不齐，导致数据集更新的效率较低，质量较差，无法加速深度学习模型的生成与迭代。

发明内容

有鉴于此，本申请实施例的目的在于提供一种数据集更新方法、装置、电子设备和存储介质，以改善现有技术中存在的数据集更新效率较低的问题。

为了解决上述问题，第一方面，本申请实施例提供了一种数据集更新方法，包括：

对获取的视频数据进行读取，获取指定帧图像和对应的数据集；

对所述指定帧图像进行检测，确定出所述指定帧图像中包含的目标检测信息；

根据所述目标检测信息对所述数据集进行更新。

在上述实现方式中，通过对视频数据中的指定帧图像进行检测，能够基于检测得到的指定帧图像中的一个或多个目标对应的目标检测信息对视频数据视频图像数据集进行更新，以提高数据集更新的效率，提升数据集质量，在优化后的数据集的基础上加速深度学习模型的生成与迭代，提升深度学习模型的训练和评估质量，提高目标检测与识别的精度与准确性。

可选地，所述对获取的视频数据进行读取，获取指定帧图像和对应的数据集，包括：

获取视频数据对应的数据集；

根据所述视频数据中的待检测帧图像的帧数判断所述待检测帧图像是否为指定帧图像，若是，则获取所述指定帧图像；其中，所述指定帧图像为所述视频数据中的第n帧图像，n对m取余结果为0，m为预设整数，所述视频数据中除所述指定帧图像之外的图像帧为非指定帧图像。

在上述实现方式中，在进行指定帧的获取时，通过视频数据中待检测帧图像的帧数对待检测帧图像是否为指定帧进行判断，能够对视频数据中的指定帧和非指定帧进行快速地分类。其中，通过帧数对指定帧图像进行选取的方式可以由工作人员根据实际情况与工程经验进行选择和调整。

可选地，所述目标检测信息包括置信度和综合相似度；所述对所述指定帧图像进行检测，确定出所述指定帧图像中包含的目标检测信息，包括：

基于目标检测模型对所述指定帧图像进行识别，以得到所述指定帧图像对应的目标集，其中，任一指定帧图像对应的目标集中包括所述指定帧图像中的一个或多个目标，以及每个目标对应的置信度；

获取第n-1帧图像的模板目标集；

计算所述目标集中的第一目标与所述模板目标集中的第二目标的综合相似度，其中，所述第一目标为所述目标集中任意一个目标，所述第二目标为所述模板目标集中的任意一个模板目标。

在上述实现方式中，在判断当前帧图像为指定帧图像时，对指定帧图像进行识别，得到指定帧图像中一或多个目标的集合的目标集，目标检测信息中还可以包括每个目标对应的目标信息，例如置信度等信息。通过获取指定帧图像的前一帧图像，即第n-1帧图像的模板目标集，将目标集中的任意一个目标与模板目标集中的任意一个模板目标进行对比，能够计算得到第一目标与第二目标之间的综合相似度，以对前后帧图像中目标的变化情况进行检测和识别，有效地提高了目标检测与识别的精度。其中，第一目标与模板目标集中的所有第二目标进行综合相似度计算后，还能够取综合相似度最大的第二目标作为参照模板，以最大值的综合相似度作为目标检测信息中的综合相似度。

可选地，所述计算所述目标集中的第一目标与所述模板目标集中的第二目标的综合相似度，包括：

根据所述第一目标与所述第二目标的轮廓数据，计算出所述第一目标与所述第二目标的图像交并比；

计算出所述第一目标与所述第二目标的结构相似度；

根据所述图像交并比和所述结构相似度，计算出所述第一目标与所述第二目标的综合相似度。

在上述实现方式中，在计算综合相似度时，通过对第一目标与第二目标的图像交并比进行计算，以及对第一目标与第二目标的结构相似度进行计算，能够结合图像交并比与结构相似度计算得到综合相似度。结合两种数据得到综合相似度，能够同时体现第一目标与第二目标的图像与结构两方面的相似程度，有效地提高了综合相似度的有效性和准确性。

可选地，所述计算出所述第一目标与所述第二目标的结构相似度，包括：

基于所述图像交并比，将所述第一目标与所述第二目标的图像进行归一化，分别得到所述第一目标对应的目标图像和所述第二目标对应的模板目标图像；

计算所述目标图像的第一像素平均值和所述模板目标图像的第二像素平均值；

基于所述第一像素平均值计算出所述第一目标的第一像素标准差；

基于所述第二像素平均值计算出所述第二目标的第二像素标准差；

基于所述第一像素平均值和所述第二像素平均值，计算出所述第一目标与所述第二目标的亮度相关值；

基于所述第一像素标准差和所述第二像素标准差，计算出所述第一目标与所述第二目标的对比度相关值；

基于所述第一像素标准差和所述第二像素标准差，计算出所述第一目标与所述第二目标的结构相关值；

基于所述亮度相关值、所述对比度相关值和所述结构相关值，计算出所述第一目标与所述第二目标的结构相似度。

在上述实现方式中，在计算结构相似度时，通过对第一目标的第一像素平均值与第二目标的第二像素平均值进行计算，能够在第一像素平均值和第二像素平均值的基础上计算得到第一目标与第二目标的亮度相关值。通过对第一目标的第一像素标准差和第二目标的第二像素标准差进行计算，能够在第一像素标准差和第二像素标准差的基础上计算得到第一目标与第二目标的对比度相关值和结构相关值。能够分别从亮度、对比度以及结构多方面对第一目标与第二目标之间的相似性进行对比，提高结构相似度的多样性和有效性。

可选地，所述根据所述目标检测信息对所述数据集进行更新，包括：

根据所述目标检测信息判断所述第一目标是否属于所述模板目标集；

当所述第一目标与所述第二目标的相似度在第一数值区间内，且所述第一目标的置信度在第二数值区间内时，判定所述第一目标不属于所述模板目标集，将所述第一目标添加到所述指定帧图像的当前模板目标集中作为新目标；

当所述第一目标与所述第二目标的相似度在第三数值区间内，且所述第一目标的置信度在第四数值区间内时，判定所述第一目标属于所述模板目标集，将所述第一目标更新到所述指定帧图像的当前模板目标集中；

当所述第一目标与所述第二目标的相似度在第五数值区间内，或所述第一目标的置信度在第六数值区间内时，对所述第一目标不做处理；

在所述第一目标不属于所述模板目标集时，将所述目标检测信息添加到所述数据集中，以对所述数据集进行更新。

在上述实现方式中，根据目标检测信息判断是否对数据集进行更新，当目标检测信息中的相似度与置信度分别处于不同的数值区间时，判定第一目标是否属于模板目标集，若属于，则将目标检测信息添加到指定帧图像的当前模板目标集中对第二目标的信息进行更新，若不属于，则将目标检测信息添加到指定帧图像的当前模板目标集中作为新目标。在第一目标不属于模板目标集的同时，还能够将目标检测信息添加到数据集中，以对视频的视频图像数据集进行更新。能够基于相似度和置信度对第一目标与模板目标集的关系进行判断，从而决定是否对数据集进行更新，提高数据集更新的效率，提升数据集的质量。

可选地，所述方法还包括：

在获取所述非指定帧图像时，基于目标检测算法对所述非指定帧图像进行检测，得到模板目标检测信息；

基于所述模板目标检测信息对所述模板目标集进行更新。

在上述实现方式中，在获取的待检测帧图像为非指定帧图像时，为了提高数据集的质量，无需根据非指定帧图像对数据集进行更新。通过目标检测算法对非指定帧图像进行检测，得到非指定帧图像包含的一个或多个模板目标检测信息，基于模板目标检测信息对当前的模板目标集进行更新，能够对模板目标集中的多个模板目标进行及时地更新，提高模板目标集的实时性和有效性，提高后续综合相似度计算的准确性。

第二方面，本申请还提供了一种数据集更新装置，所述装置包括：

获取模块，用于对获取的视频数据进行读取，获取指定帧图像和对应的数据集；

确定模块，用于对所述指定帧图像进行检测，确定出所述指定帧图像中包含的目标检测信息；

更新模块，用于根据所述目标检测信息对所述数据集进行更新。

在上述实现方式中，通过获取模块对视频数据的指定帧图像和数据集进行获取，通过确定模块对指定帧图像进行检测，以确定出指定帧图像中包含的目标检测信息，通过更新模块基于获取的目标检测信息对数据集进行更新。能够对数据集进行及时、准确地更新，提高了数据集更新的效率，提升了数据集质量。在优化后的数据集的基础上加速深度学习模型的生成与迭代，提升深度学习模型的训练和评估质量，提高目标检测与识别的精度与准确性。

第三方面，本申请实施例还提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行上述数据集更新方法中任一实现方式中的步骤。

第四方面，本申请实施例还提供了一种可读取存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述数据集更新方法中任一实现方式中的步骤。

综上所述，本申请提供一种数据集更新方法、装置、电子设备和存储介质，通过对视频数据中的多帧图像进行识别和检测，能够对视频的图像数据集进行及时、准确地更新，有效地提高了数据集更新的效率，提升了数据集质量。以在优化后的数据集的基础上加速深度学习模型的生成与迭代，提升深度学习模型的训练和评估质量，提高目标检测与识别的精度与准确性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种数据集更新方法的流程示意图；

图2为本申请实施例提供的一种步骤S1的详细流程示意图；

图3为本申请实施例提供的一种步骤S2的详细流程示意图；

图4为本申请实施例提供的一种步骤S23的详细流程示意图；

图5为本申请实施例提供的一种步骤S232的详细流程示意图；

图6为本申请实施例提供的一种步骤S3的详细流程示意图；

图7为本申请实施例提供的一种数据集更新装置的结构示意图。

图标：400-数据集更新装置；410-获取模块；420-确定模块；430-更新模块。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请实施例的一部分实施例，而不是全部的实施例。基于本申请实施例的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请实施例保护的范围。

本申请实施例提供了一种数据集更新方法，应用于服务器，服务器可以为个人电脑(Personal Computer，PC)、平板电脑、智能手机、个人数字助理(PersonalDigitalAssistant，PDA)等具有逻辑计算功能的电子设备，能够对视频数据进行处理的同时对视频图像数据集进行更新，以提高数据集的更新效率和质量，从而提高以数据集为基础进行训练的深度学习模型的训练效率和评估质量。

请参阅图1，图1为本申请实施例提供的一种数据集更新方法的流程示意图，该方法可以包括以下步骤：

步骤S1，对获取的视频数据进行读取，获取指定帧图像和对应的数据集。

其中，可以对需要进行更新的视频数据的序列进行读取，将视频数据的总帧数记为M，并获取该视频数据对应的数据集(Data Set)，即一种由数据所组成的集合。

可选地，请参考图2，图2为本申请实施例提供的一种步骤S1的详细流程示意图，步骤S1还可以包括步骤S11-S12：

步骤S11，获取视频数据对应的数据集。

其中，数据集为视频图像数据集，用于作为深度学习模型进行训练的数据依据。深度学习模型在对目标进行识别时，目标识别精度需要依赖标注数据集的数据与质量，数据集的质量会对深度学习模型训练的质量和预测的准确率产生影响。

步骤S12，根据所述视频数据中的待检测帧图像的帧数判断所述待检测帧图像是否为指定帧图像，若是，则获取所述指定帧图像。

其中，所述指定帧图像为所述视频数据中的第n帧图像，帧数为n，n对m取余结果为0，m为预设整数，所述视频数据中除所述指定帧图像之外的图像帧为非指定帧图像。

可选地，在对指定帧与非指定帧进行分类时，可以通过帧数的选择对指定帧图像进行选取，采用n对m取余结果为0的计算方式，m的取值可以由工作人员根据实际情况与工程经验进行选择和调整，以实现对视频数据中的指定帧和非指定帧进行快速地分类，快速判断当前的待检测帧是否为指定帧。

在图2所示的实施例中，能够对多帧图像进行快速地分类，以实时地获取指定帧图像进行后续的检测操作。

在执行完步骤S1之后，继续执行步骤S2。

步骤S2，基于目标检测模型对所述指定帧图像进行检测，确定出所述指定帧图像中包含的目标检测信息。

其中，目标检测信息中包括检测置信度数据和相似度数据，还包括目标检测得到的轮廓数据、类别ID等与目标有关的检测信息。目标可以是移动的车辆，还可以是移动的行人等其他的多种目标，目标检测信息中还可以包括车辆的车牌信息、对车辆的标号信息、车辆的运动轨迹、车辆的时间信息以及车辆在图片上的位置信息，以及对行人的识别信息、对行人的标号信息、行人的运动轨迹、行人的时间信息以及行人在图片中的位置信息等多种信息。

可选地，请参阅图3，图3为本申请实施例提供的一种步骤S2的详细流程示意图，步骤S2还可以包括步骤S21-S23：

步骤S21，基于目标检测模型对所述指定帧图像进行识别，以得到所述指定帧图像对应的目标集。

其中，任一指定帧图像对应的目标集中包括所述指定帧图像中的一个或多个目标，以及每个目标对应的置信度等相关信息。

可选地，目标检测模型可以为YOLO(You Only Look Once，一种目标检测算法)模型，将指定帧图像作为YOLO模型的输入参数，实现对目标检测信息的获取。

步骤S22，获取第n-1帧图像的模板目标集。

其中，视频数据中还具有模板目标集，记为T_n-1，模板目标集中包括一个或多个模板目标，选取当前检测的指定帧图像的前一帧图像对应的模板目标集，以与指定帧图像中的一个或多个目标进行对比。

可选地，在获取非指定帧图像时，为了提高数据集的质量，无需根据非指定帧图像中的目标对数据集进行更新，可以基于目标检测算法对非指定帧图像进行检测，得到非指定帧图像包含的一个或多个模板目标检测信息，并基于模板目标检测信息对模板目标集进行更新。模板目标检测信息中也可以包括目标检测得到的轮廓数据、类别ID等与目标有关的检测信息。能够对模板目标集中的多个模板目标进行及时地更新，提高模板目标集的实时性和有效性，提高后续综合相似度计算的准确性。

其中，目标检测算法可以为YOLO算法等目标检测算法，YOLO算法具有简洁、快速的优点，且能对整张图片做卷积，在检测目标时具有较大的视野，不易对背景产生误判，提高检测的准确性。

步骤S23，计算所述目标集中的第一目标与所述模板目标集中的第二目标的综合相似度。

其中，所述第一目标为所述目标集中任意一个目标，所述第二目标为所述模板目标集中的任意一个模板目标。在目标集中任选一目标作为第一目标，在模板目标集中任选一模板目标作为第二目标，能够计算得到第一目标与第二目标之间的综合相似度，提高综合相似度的准确性。

可选地，第一目标能够与模板目标集中的所有目标进行轮流对比，在第一目标与模板目标集中的所有第二目标进行综合相似度计算后，可以取综合相似度最大的第二目标作为参照模板，以最大值的综合相似度作为目标检测信息中的综合相似度。

在图3所示的实施例中，通过对前后帧图像中目标的变化情况进行检测和识别，能够有效地提高目标检测与识别的精度。

可选地，请参阅图4，图4为本申请实施例提供的一种步骤S23的详细流程示意图，步骤S23还可以包括步骤S231-S233：

步骤S231，根据所述第一目标与所述第二目标的轮廓数据，计算出所述第一目标与所述第二目标的图像交并比。

其中，将第一目标记为d_i，第二目标记为t_j，d_i的轮廓数据的矩形为Rd_i，t_j的轮廓数据的矩形为Rt_j，基于Rd_i和Rt_j计算d_i与t_j的图像交并比(IOU，Intersection-over-Union，图像交并比)，来衡量d_i与t_j在图像中的两个矩形框重合程度，计算过程如下：

其中，Ad_i为d_i的轮廓矩形Rd_i所占的面积，At_j为t_j的轮廓矩形Rt_j所占的面积，A_dt为Rd_i和Rt_j两个矩形交集的面积。

步骤S232，计算出所述第一目标与所述第二目标的结构相似度。

其中，能够分别从亮度、对比度以及结构多方面对第一目标与第二目标图像的结构相似度进行计算，能够有效地提高结构相似度的多样性和有效性。

可选地，请参阅图5，图5为本申请实施例提供的一种步骤S232的详细流程示意图，步骤S232还可以包括步骤S2321-S2327：

步骤S2321，基于所述图像交并比，将所述第一目标与所述第二目标的图像进行归一化，分别得到所述第一目标对应的目标图像和所述第二目标对应的模板目标图像。

其中，由于图像尺寸、角度、视角等的不同，因此第一目标与第二目标的图像大小也不相同，需要对第一目标与第二目标的图像进行归一化，以将第一目标与第二目标所占图像的大小归一化到相同的尺度空间，得到尺寸相同的目标图像和模板目标图像。

步骤S2322，计算所述目标图像的第一像素平均值和所述模板目标图像的第二像素平均值。

其中，根据目标图像和模板目标图像的像素对像素平均值进行计算，计算方式如下：

其中，x_p为第一目标d_i的目标图像的第p个像素值，μ_d为第一像素平均值，y_p为第二目标t_j的模板目标图像的第p个像素值，μ_t为第二像素平均值，N为目标图像与模板目标图像中像素值的总值。

步骤S2323，基于所述第一像素平均值计算出所述第一目标的第一像素标准差；基于所述第二像素平均值计算出所述第二目标的第二像素标准差。

其中，分别根据计算得到的第一像素平均值μ_d和第二像素平均值μ_t，计算出第一目标d_i的第一像素标准差和第二目标t_j的第二像素标准差，计算方式如下：

其中，σ_d为第一像素标准差，σ_t为第二像素标准差。

步骤S2324，基于所述第一像素平均值和所述第二像素平均值，计算出所述第一目标与所述第二目标的亮度相关值。

其中，计算方式如下：

C₁＝(K₁×H)²

其中，L(d_i，t_j)为亮度相关值，C₁为第一常数，能够保证分母为零时等式的稳定性，C₁可以由工作人员根据目标图像和模板目标图像的像素值动态范围H进行选择和调整。

可选地，在目标图像和模板目标图像为8-bit灰度图像时，像素值H＝255，K₁为比例系数，可以取0.01。

步骤S2325，基于所述第一像素标准差和所述第二像素标准差，计算出所述第一目标与所述第二目标的对比度相关值。

其中，计算方式如下：

C₂＝(K₂×H)²

其中，P(d_i，t_j)为对比度相关值，C₂为第二常数，能够保证分母为零时等式的稳定性，C₂可以由工作人员根据目标图像和模板目标图像的像素值动态范围H进行选择和调整。

可选地，在目标图像和模板目标图像为8-bit灰度图像时，像素值H＝255，K₂为比例系数，可以取0.03。

步骤S2326，基于所述第一像素标准差和所述第二像素标准差，计算出所述第一目标与所述第二目标的结构相关值。

其中，计算方式如下：

其中，σ_dt为目标图像与模板目标图像的交集面积的像素标准值，S(d_i，t_j)为结构相关值，C₃为第三常数，能够保证分母为零时等式的稳定性。

步骤S2327，基于所述亮度相关值、所述对比度相关值和所述结构相关值，计算出所述第一目标与所述第二目标的结构相似度。

其中，结合亮度、对比度和结构多方面的相关值，对目标图像与模板目标图像两个图像的结构相似度进行计算，能够从亮度、对比度以及结构的多方面对第一目标与第二目标之间的相似性进行对比，提高结构相似度的多样性和有效性。计算方式如下：

SSIM(d_i，t_j)＝[L(d_i，t_j)^a][P(d_i，t_j)^b][S(d_i，t_j)^c]

其中，SSIM(d_i，t_j)为结构相似度，a、b、c为权重系数，分别用于调整亮度、对比度以及结构三个模块间的权重，为工程应用优化计算，可以设置a＝b＝c＝1，C₃＝0.5C₂，可得：

步骤S233，根据所述图像交并比和所述结构相似度，计算出所述第一目标与所述第二目标的综合相似度。

其中，结合图像交并比与结构相似度两种数据计算得到综合相似度，能够同时体现第一目标与第二目标的图像与结构两方面的相似程度，有效地提高了综合相似度的有效性和准确性。计算方式如下：

Z＝α×I(d_i，t_j)+β×SSIM(d_i，t_j)

其中，Z为综合相似度，α、β为相关加权系数，α、β的值能够由工作人员根据实际情况和工程经验进行选择和调整，参考值为α＝0.4、β＝0.6。

可选地，由于第一目标需要与模板目标集T_n-1中的所有目标进行轮流对比，在第一目标与模板目标集中的所有第二目标进行综合相似度计算后，可以取综合相似度最大的第二目标的综合相似度值为目标检测信息中的综合相似度，计算方式如下：

其中，u为模板目标集T_n-1中所有模板目标的数量，以Z_max作为最终的综合相似度。

在执行完步骤S2之后，继续执行步骤S3。

步骤S3，根据所述目标检测信息对所述数据集进行更新。

其中，根据检测得到的目标检测信息对指定帧图像中的目标与模板目标集中的目标之间的关系进行判断，以对数据集进行更新，提高数据集更新的效率，提升数据集质量，在优化后的数据集的基础上加速深度学习模型的生成与迭代。

可选地，请参阅图6，图6为本申请实施例提供的一种步骤S3的详细流程示意图，步骤S3还可以包括步骤S31-S35：

步骤S31，根据所述目标检测信息判断所述第一目标是否属于所述模板目标集。

其中，根据目标检测信息中的第一目标的置信度以及与模板目标集中多个第二目标之间的最大的综合相似度，能够对第一目标是否属于模板目标集进行判断。

可选地，判断的数值区间可以根据实际情况和工程经验进行选择和调整。

步骤S32，当所述第一目标与所述第二目标的相似度在第一数值区间内，且所述第一目标的置信度在第二数值区间内时，判定所述第一目标不属于所述模板目标集，将所述第一目标添加到所述指定帧图像的当前模板目标集中作为新目标。

其中，在第一目标与第二目标的相似度在第一数值区间内，如Z_max<0.25，且第一目标的置信度在第二数值区间内，如置信度w≥0.8时，第一目标与第二目标之间的相似度较低，判断第一目标为新目标，不属于模板目标集T_n-1，将第一目标更新到指定帧图像的当前模板目标集T_n中作为新目标，以供后续的对比使用，无需对数据集进行更新。

步骤S33，当所述第一目标与所述第二目标的相似度在第三数值区间内，且所述第一目标的置信度在第四数值区间内时，判定所述第一目标属于所述模板目标集，将所述第一目标更新到所述指定帧图像的当前模板目标集中。

其中，在第一目标与第二目标的相似度在第三数值区间内，如Z_max≥0.75，且第一目标的置信度在第四数值区间内，如置信度w≥0.8时，第一目标与第二目标之间的相似度较高，且置信度较高，判断第一目标与第二目标属于同一目标，第一目标属于模板目标集T_n-1，无需再对第一目标的相关信息进行采集，只需将第一目标更新到指定帧图像的当前模板目标集T_n中。

可选地，在第一目标的置信度较高时，第二数值区间和第四数值区间可以为同一数值区间。

步骤S34，当所述第一目标与所述第二目标的相似度在第五数值区间内，或所述第一目标的置信度在第六数值区间内时，对所述第一目标不做处理。

其中，在第一目标与第二目标的相似度在第五数值区间内，即0.25≤Z_max<0.75，或是第一目标的置信度在第六数值区间内，即w<0.8时，无法对第一目标与模板目标集T_n-1之间的关系进行判断，因此对第一目标不做处理。

步骤S35，在所述第一目标不属于所述模板目标集时，将所述目标检测信息添加到所述数据集中，以对所述数据集进行更新。

其中，在判定第一目标不属于模板目标集T_n-1时，将第一目标中的目标检测信息，例如轮廓数据、类别ID等相关信息更新到数据集中，以对数据集进行实时地更新。

值得说明的是，在检测或更新出现故障时，服务器还能够接收工作人员发送的人工干预指令，并对指令进行验证，验证成功后直接对当前检测的第n帧图像进行目标检测，并将检测得到的目标直接更新到当前模板目标集T_n中，并同步将对应的目标检测信息直接更新到数据集中。能够在出现故障时仍旧保持数据集的实时更新，提高数据集的实时性和准确性。

可选地，在对当前的指定帧图像第n帧图像检测并更新完毕后，继续读取第n+1帧图像，并重复检测与更新流程，直到对视频数据中的所有帧图像处理完毕。

在图1所示的实施例中，能够基于检测得到的指定帧图像中的一个或多个目标对应的目标检测信息对视频数据视频图像数据集进行更新，以提高数据集更新的效率，提升数据集质量，从而在优化后的数据集的基础上加速深度学习模型的生成与迭代，提升深度学习模型的训练和评估质量，提高目标检测与识别的精度与准确性。

请参阅图7，图7为本申请实施例提供的一种数据集更新装置的结构示意图，数据集更新装置400可以包括：获取模块410、确定模块420和更新模块430。

获取模块410，用于对获取的视频数据进行读取，获取指定帧图像和对应的数据集；

确定模块420，用于对所述指定帧图像进行检测，确定出所述指定帧图像中包含的目标检测信息；

更新模块430，用于根据所述目标检测信息对所述数据集进行更新。

在一可选的实施方式中，获取模块410还可以包括获取子模块和判断子模块：

获取子模块，用于获取视频数据对应的数据集；

判断子模块，用于根据所述视频数据中的待检测帧图像的帧数判断所述待检测帧图像是否为指定帧图像，若是，则获取所述指定帧图像；其中，所述指定帧图像为所述视频数据中的第n帧图像，n对m取余结果为0，m为预设整数，所述视频数据中除所述指定帧图像之外的图像帧为非指定帧图像。

在一可选的实施方式中，确定模块420还可以包括识别子模块、模板子模块和计算子模块：

识别子模块，用于基于目标检测模型对所述指定帧图像进行识别，以得到所述指定帧图像对应的目标集，其中，任一指定帧图像对应的目标集中包括所述指定帧图像中的一个或多个目标，以及每个目标对应的置信度；

模板子模块，用于获取第n-1帧图像的模板目标集；

计算子模块，用于计算所述目标集中的第一目标与所述模板目标集中的第二目标的综合相似度，其中，所述第一目标为所述目标集中任意一个目标，所述第二目标为所述模板目标集中的任意一个模板目标。

在一可选的实施方式中，计算子模块还可以包括图像单元和结构单元：

图像单元，用于根据所述第一目标与所述第二目标的轮廓数据，计算出所述第一目标与所述第二目标的图像交并比；

结构单元，用于计算出所述第一目标与所述第二目标的结构相似度；

计算子模块，还可以用于根据所述图像交并比和所述结构相似度，计算出所述第一目标与所述第二目标的综合相似度。

在一可选的实施方式中，结构单元还可以用于基于所述图像交并比，将所述第一目标与所述第二目标的图像进行归一化，分别得到所述第一目标对应的目标图像和所述第二目标对应的模板目标图像；计算所述目标图像的第一像素平均值和所述模板目标图像的第二像素平均值；基于所述第一像素平均值计算出所述第一目标的第一像素标准差；基于所述第二像素平均值计算出所述第二目标的第二像素标准差；基于所述第一像素平均值和所述第二像素平均值，计算出所述第一目标与所述第二目标的亮度相关值；基于所述第一像素标准差和所述第二像素标准差，计算出所述第一目标与所述第二目标的对比度相关值；基于所述第一像素标准差和所述第二像素标准差，计算出所述第一目标与所述第二目标的结构相关值；基于所述亮度相关值、所述对比度相关值和所述结构相关值，计算出所述第一目标与所述第二目标的结构相似度。

在一可选的实施方式中，更新模块430还可以包括分类子模块和更新子模块：

分类子模块，用于根据所述目标检测信息判断所述第一目标是否属于所述模板目标集；当所述第一目标与所述第二目标的相似度在第一数值区间内，且所述第一目标的置信度在第二数值区间内时，判定所述第一目标不属于所述模板目标集，将所述第一目标添加到所述指定帧图像的当前模板目标集中作为新目标；当所述第一目标与所述第二目标的相似度在第三数值区间内，且所述第一目标的置信度在第四数值区间内时，判定所述第一目标属于所述模板目标集，将所述第一目标更新到所述指定帧图像的当前模板目标集中；当所述第一目标与所述第二目标的相似度在第五数值区间内，或所述第一目标的置信度在第六数值区间内时，对所述第一目标不做处理；

更新子模块，用于在所述第一目标不属于所述模板目标集时，将所述目标检测信息添加到所述数据集中，以对所述数据集进行更新。

在一可选的实施方式中，数据集更新装置400还可以包括模板更新模块，用于在获取所述非指定帧图像时，基于目标检测算法对所述非指定帧图像进行检测，得到模板目标检测信息；基于所述模板目标检测信息对所述模板目标集进行更新。

由于本申请实施例中的装置解决问题的原理与前述的数据集更新方法的实施例相似，因此本实施例中的装置的实施可以参见上述方法的实施例中的描述，重复之处不再赘述。

在图7所示的实施例中，通过各个模块实现对视频图像数据集及时、准确地更新。

本申请实施例还提供了一种电子设备，该电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行本实施例提供的数据集更新方法中任一项所述方法中的步骤。

应当理解是，该电子设备可以是个人电脑、平板电脑、智能手机、个人数字助理等具有逻辑计算功能的电子设备。

本申请实施例还提供了一种可读取存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行数据集更新方法中的步骤。

综上所述，本申请实施例提供了一种提供一种数据集更新方法、装置、电子设备和存储介质，通过对视频数据中的多帧图像进行识别和检测，能够对视频的图像数据集进行及时、准确地更新，有效地提高了数据集更新的效率，提升了数据集质量。以在优化后的数据集的基础上加速深度学习模型的生成与迭代，提升深度学习模型的训练和评估质量，提高目标检测与识别的精度与准确性。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的框图显示了根据本申请的多个实施例的设备的可能实现的体系架构、功能和操作。在这点上，框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图中的每个方框、以及框图的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。因此本实施例还提供了一种可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行区块数据存储方法中任一项所述方法中的步骤。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RanDom Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种数据集更新方法，其特征在于，包括：

对获取的视频数据进行读取，获取指定帧图像和对应的数据集；

对所述指定帧图像进行检测，确定出所述指定帧图像中包含的目标检测信息；

根据所述目标检测信息对所述数据集进行更新。

2.根据权利要求1所述的方法，其特征在于，所述对获取的视频数据进行读取，获取指定帧图像和对应的数据集，包括：

获取视频数据对应的数据集；

根据所述视频数据中的待检测帧图像的帧数判断所述待检测帧图像是否为指定帧图像，若是，则获取所述指定帧图像；其中，所述指定帧图像为所述视频数据中的第n帧图像，n对m取余结果为0，m为预设整数，所述视频数据中除所述指定帧图像之外的图像帧为非指定帧图像。

3.根据权利要求2所述的方法，其特征在于，所述目标检测信息包括置信度和综合相似度；所述对所述指定帧图像进行检测，确定出所述指定帧图像中包含的目标检测信息，包括：

基于目标检测模型对所述指定帧图像进行识别，以得到所述指定帧图像对应的目标集，其中，任一指定帧图像对应的目标集中包括所述指定帧图像中的一个或多个目标，以及每个目标对应的置信度；

获取第n-1帧图像的模板目标集；

计算所述目标集中的第一目标与所述模板目标集中的第二目标的综合相似度，其中，所述第一目标为所述目标集中任意一个目标，所述第二目标为所述模板目标集中的任意一个模板目标。

4.根据权利要求3所述的方法，其特征在于，所述计算所述目标集中的第一目标与所述模板目标集中的第二目标的综合相似度，包括：

根据所述第一目标与所述第二目标的轮廓数据，计算出所述第一目标与所述第二目标的图像交并比；

计算出所述第一目标与所述第二目标的结构相似度；

根据所述图像交并比和所述结构相似度，计算出所述第一目标与所述第二目标的综合相似度。

5.根据权利要求4所述的方法，其特征在于，所述计算出所述第一目标与所述第二目标的结构相似度，包括：

基于所述图像交并比，将所述第一目标与所述第二目标的图像进行归一化，分别得到所述第一目标对应的目标图像和所述第二目标对应的模板目标图像；

计算所述目标图像的第一像素平均值和所述模板目标图像的第二像素平均值；

基于所述第一像素平均值计算出所述第一目标的第一像素标准差；

基于所述第二像素平均值计算出所述第二目标的第二像素标准差；

基于所述第一像素平均值和所述第二像素平均值，计算出所述第一目标与所述第二目标的亮度相关值；

基于所述第一像素标准差和所述第二像素标准差，计算出所述第一目标与所述第二目标的对比度相关值；

基于所述第一像素标准差和所述第二像素标准差，计算出所述第一目标与所述第二目标的结构相关值；

基于所述亮度相关值、所述对比度相关值和所述结构相关值，计算出所述第一目标与所述第二目标的结构相似度。

6.根据权利要求3所述的方法，其特征在于，所述根据所述目标检测信息对所述数据集进行更新，包括：

根据所述目标检测信息判断所述第一目标是否属于所述模板目标集；

当所述第一目标与所述第二目标的相似度在第一数值区间内，且所述第一目标的置信度在第二数值区间内时，判定所述第一目标不属于所述模板目标集，将所述第一目标添加到所述指定帧图像的当前模板目标集中作为新目标；

当所述第一目标与所述第二目标的相似度在第三数值区间内，且所述第一目标的置信度在第四数值区间内时，判定所述第一目标属于所述模板目标集，将所述第一目标更新到所述指定帧图像的当前模板目标集中；

当所述第一目标与所述第二目标的相似度在第五数值区间内，或所述第一目标的置信度在第六数值区间内时，对所述第一目标不做处理；

在所述第一目标不属于所述模板目标集时，将所述目标检测信息添加到所述数据集中，以对所述数据集进行更新。

7.根据权利要求3所述的方法，其特征在于，所述方法还包括：

在获取所述非指定帧图像时，基于目标检测算法对所述非指定帧图像进行检测，得到模板目标检测信息；

基于所述模板目标检测信息对所述模板目标集进行更新。

8.一种数据集更新装置，其特征在于，所述装置包括：

获取模块，用于对获取的视频数据进行读取，获取指定帧图像和对应的数据集；

确定模块，用于对所述指定帧图像进行检测，确定出所述指定帧图像中包含的目标检测信息；

更新模块，用于根据所述目标检测信息对所述数据集进行更新。

9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器运行所述程序指令时，执行权利要求1-7中任一项所述方法中的步骤。

10.一种可读取存储介质，其特征在于，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器运行时，执行权利要求1-7任一项所述方法中的步骤。

Images