[go: up one dir, main page]

CN113052019B - 目标跟踪方法及装置、智能设备和计算机存储介质 - Google Patents

目标跟踪方法及装置、智能设备和计算机存储介质 Download PDF

Info

Publication number
CN113052019B
CN113052019B CN202110262505.5A CN202110262505A CN113052019B CN 113052019 B CN113052019 B CN 113052019B CN 202110262505 A CN202110262505 A CN 202110262505A CN 113052019 B CN113052019 B CN 113052019B
Authority
CN
China
Prior art keywords
tracking
area
foreground mask
target
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110262505.5A
Other languages
English (en)
Other versions
CN113052019A (zh
Inventor
孙爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Skyworth Display Technology Co ltd
Original Assignee
Nanjing Skyworth Institute Of Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Skyworth Institute Of Information Technology Co ltd filed Critical Nanjing Skyworth Institute Of Information Technology Co ltd
Priority to CN202110262505.5A priority Critical patent/CN113052019B/zh
Publication of CN113052019A publication Critical patent/CN113052019A/zh
Application granted granted Critical
Publication of CN113052019B publication Critical patent/CN113052019B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标跟踪方法及装置、智能设备和计算机存储介质，所述方法包括以下步骤：采集图像，对所述图像进行目标检测，得到包括第一前景掩膜的检测框，对所述第一前景掩膜进行跟踪，得到包括第二前景掩膜的跟踪框，根据所述检测框的第一面积以及所述跟踪框的第二面积确定目标跟踪置信度，根据所述目标跟踪置信度确定跟踪结果，解决现有技术中目标跟踪不准确的问题，提高目标跟踪的准确度。

Description

目标跟踪方法及装置、智能设备和计算机存储介质
技术领域
本发明涉及目标跟踪技术领域，尤其涉及一种目标跟踪方法及装置、智能设备和计算机存储介质。
背景技术
目前，目标跟踪是确定机视觉和人工智能领域中重要课题，可以将其应用于视频监控、智能电视和人机交互等领域，因为相关滤波器算法的跟踪器复杂度低、速度快的优点，可以广泛应用于智能电视和人机交互等产品中，其中，现有技术中采用KCF目标跟踪器进行目标跟踪，但是，当追踪目标的目标尺度变化、遮挡和出视野时，会导致在采用KCF目标跟踪器进行跟踪的过程中出现目标丢失现象，从而降低目标跟踪的准确度。
发明内容
本发明主要目的在于提供一种目标跟踪方法及装置、智能设备和计算机存储介质，旨在解决目标跟踪不准确的问题。
为实现上述目的，本发明提供一种目标跟踪方法；在一实施例中，所述目标跟踪方法包括以下步骤：
采集图像，对所述图像进行目标检测，得到包括第一前景掩膜的检测框；
对所述第一前景掩膜进行跟踪，得到包括第二前景掩膜的跟踪框；
根据所述检测框的第一面积以及所述跟踪框的第二面积确定目标跟踪置信度；
根据所述目标跟踪置信度确定跟踪结果。
在一实施例中，所述根据所述检测框的第一面积以及所述跟踪框的第二面积确定目标跟踪置信度的步骤包括：
获取所述第一面积与所述第二面积的交集，以及所述第一面积与所述第二面积的并集；
获取所述交集与所述并集的比值，并根据所述比值确定所述目标跟踪置信度。
在一实施例中，所述根据所述目标跟踪置信度确定跟踪结果的步骤包括：
获取所述第一前景掩膜的第三面积以及所述第二前景掩膜的第四面积；
根据所述第一前景掩膜的第三面积以及所述第二前景掩膜的第四面积确定参考置信度；
根据所述参考置信度、所述目标跟踪置信度以及预设阈值确定跟踪结果。
在一实施例中，所述根据所述第一前景掩膜的第三面积以及所述第二前景掩膜的第四面积确定参考置信度的步骤包括：
获取所述第三面积与所述第四面积的交集，以及所述第三面积与所述第四面积的并集；
获取所述交集与所述并集的比值，并根据所述比值确定所述参考置信度。
在一实施例中，所述根据所述参考置信度、所述目标跟踪置信度以及预设阈值确定跟踪结果的步骤包括：
获取第一子阈值与所述目标跟踪置信度之间的交集，所述预设阈值包括第一子阈值以及第二子阈值；
比对所述交集、所述参考置信度以及所述第二子阈值，根据比对结果确定所述跟踪结果，其中，在所述交集大于所述参考置信度且小于所述第二子阈值时，确定跟踪结果为跟踪目标没有丢失。
在一实施例中，所述对所述第一前景掩膜进行跟踪，得到包括第二前景掩膜的跟踪框的步骤之后，还包括：
获取第一前景掩膜的第一特征与第二前景掩膜的第二特征，所述第一特征与所述第二特征均包括尺度特征以及方向特征中的至少一种；
若所述第一特征与所述第二特征相匹配，执行所述根据所述检测框的第一面积以及所述跟踪框的第二面积确定目标跟踪置信度的步骤。
在一实施例中，所述根据所述目标跟踪置信度确定跟踪结果的步骤之后，还包括：
采用所述跟踪框对所述检测框进行校正，根据校正的检测框重置所述跟踪框对应的所述第二前景掩膜。
为实现上述目的，本发明还提供一种目标跟踪装置，所述装置包括：
检测模块，用于采集图像，对所述图像进行目标检测，得到包括第一前景掩膜的检测框；
跟踪模块，用于对所述第一前景掩膜进行跟踪，得到包括第二前景掩膜的跟踪框；
计算模块，用于根据所述检测框的第一面积以及所述跟踪框的第二面积确定目标跟踪置信度；
判断模块，用于根据所述目标跟踪置信度确定跟踪结果。
为实现上述目的，本发明还提供一种智能设备，所述智能设备包括存储器、处理器以及存储在所述存储器并可在所述处理器上运行的目标跟踪程序，所述目标跟踪程序被所述处理器执行时实现如上所述的目标跟踪方法的各个步骤。
为实现上述目的，本发明还提供一种计算机存储介质，所述计算机存储介质存储有目标跟踪程序，所述目标跟踪程序被处理器执行时实现如上所述的目标跟踪方法的各个步骤。
本发明提供的目标跟踪方法及装置、智能设备和计算机存储介质，通过对采集的图形进行目标检测，得到包括第一前景掩膜的检测框，对所述第一前景掩膜进行跟踪，得到包括第二前景掩膜的跟踪框，根据检测框的第一面积以及跟踪框的第二面积确定目标跟踪置信度，根据目标跟踪置信度确定跟踪结果，从而根据跟踪结果判断目标是否跟踪丢失，以及时调整跟踪结果，解决了现有技术中目标跟踪不准确的问题，提高目标跟踪的准确度。
附图说明
图1为本发明实施例涉及的智能设备结构示意图；
图2为本发明目标跟踪方法的第一实施例的流程示意图；
图3为本发明目标跟踪方法的第二实施例的流程示意图；
图4为本发明目标跟踪方法的第三实施例的流程示意图；
图5为本发明目标跟踪方法的第四实施例的流程示意图；
图6为本发明目标跟踪方法的第五实施例的流程示意图；
图7为本发明目标跟踪方法的第六实施例的流程示意图；
图8为本发明目标跟踪方法的第七实施例的流程示意图；
图9为本发明目标跟踪装置的结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请为解决现有技术中目标跟踪不准确的问题，通过采集图像，对所述图像进行目标检测，得到包括第一前景掩膜的检测框；对所述第一前景掩膜进行跟踪，得到包括第二前景掩膜的跟踪框；根据所述检测框的第一面积以及所述跟踪框的第二面积确定目标跟踪置信度；根据所述目标跟踪置信度确定跟踪结果的技术方案，实现根据跟踪结果判断目标是否跟踪丢失，提高目标跟踪的准确度。
为了更好地理解上述技术方案，下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
如图1所示，图1为本发明实施例方案涉及的硬件运行环境的结构示意图。
需要说明的是，图1即可为智能设备的硬件运行环境的架构示意图。
如图1所示，该智能设备可以包括：处理器1001，例如CPU，存储器1005，用户接口1003，网络接口1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1所示的智能设备结构并不构成对智能设备的限定，智能设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及目标跟踪程序。其中，操作系统是管理和控制智能设备硬件和软件资源的程序，目标跟踪程序以及其它软件或程序的运行。
在图1所示的智能设备中，用户接口1003主要用于连接终端，与终端进行数据通信；网络接口1004主要用于后台服务器，与后台服务器进行数据通信；处理器1001可以用于调用存储器1005中存储的目标跟踪程序。
在本实施例中，智能设备包括：存储器1005、处理器1001及存储在所述存储器上并可在所述处理器上运行的目标跟踪程序，其中：
在本申请实施例中，处理器1001可以用于调用存储在存储器1005中的目标跟踪程序，并执行以下操作：
在检测到连接的后台智能设备创建的任务后，根据所述任务生成任务处理指令并发送至节点客户端；
接收节点客户端实时返回的所述任务处理指令对应的任务的处理结果；将所述处理结果实时反馈至所述后台智能设备。
在本申请实施例中，处理器1001可以用于调用存储在存储器1005中的目标跟踪程序，并执行以下操作：
采集图像，对所述图像进行目标检测，得到包括第一前景掩膜的检测框；
对所述第一前景掩膜进行跟踪，得到包括第二前景掩膜的跟踪框；
根据所述检测框的第一面积以及所述跟踪框的第二面积确定目标跟踪置信度；
根据所述目标跟踪置信度确定跟踪结果。
在本申请实施例中，处理器1001可以用于调用存储在存储器1005中的目标跟踪程序，并执行以下操作：
获取所述第一面积与所述第二面积的交集，以及所述第一面积与所述第二面积的并集；
获取所述交集与所述并集的比值，并根据所述比值确定所述目标跟踪置信度。
在本申请实施例中，处理器1001可以用于调用存储在存储器1005中的目标跟踪程序，并执行以下操作：
获取所述第一前景掩膜的第三面积以及所述第二前景掩膜的第四面积；
根据所述第一前景掩膜的第三面积以及所述第二前景掩膜的第四面积确定参考置信度；
根据所述参考置信度、所述目标跟踪置信度以及预设阈值确定跟踪结果。
在本申请实施例中，处理器1001可以用于调用存储在存储器1005中的目标跟踪程序，并执行以下操作：
获取所述第三面积与所述第四面积的交集，以及所述第三面积与所述第四面积的并集；
获取所述交集与所述并集的比值，并根据所述比值确定所述参考置信度。
在本申请实施例中，处理器1001可以用于调用存储在存储器1005中的目标跟踪程序，并执行以下操作：
获取第一子阈值与所述目标跟踪置信度之间的交集，所述预设阈值包括第一子阈值以及第二子阈值；
比对所述交集、所述参考置信度以及所述第二子阈值，根据比对结果确定所述跟踪结果，其中，在所述交集大于所述参考置信度且小于所述第二子阈值时，确定跟踪结果为跟踪目标没有丢失。
在本申请实施例中，处理器1001可以用于调用存储在存储器1005中的目标跟踪程序，并执行以下操作：
获取第一前景掩膜的第一特征与第二前景掩膜的第二特征，所述第一特征与所述第二特征均包括尺度特征以及方向特征中的至少一种；
若所述第一特征与所述第二特征相匹配，执行所述根据所述检测框的第一面积以及所述跟踪框的第二面积确定目标跟踪置信度的步骤。
在本申请实施例中，处理器1001可以用于调用存储在存储器1005中的目标跟踪程序，并执行以下操作：
采用所述跟踪框对所述检测框进行校正，根据校正的检测框重置所述跟踪框对应的所述第二前景掩膜。
由于本申请实施例提供的智能设备，为实施本申请实施例的方法所采用的智能设备，故而基于本申请实施例所介绍的方法，本领域所属人员能够了解该智能设备的具体结构及变形，故而在此不再赘述。凡是本申请实施例的方法所采用的智能设备都属于本申请所欲保护的范围。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
对于软件实现，可通过执行本发明实施例所述功能的模块(例如过程、函数等)来实现本发明实施例所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
基于上述结构，提出本发明的实施例，本申请应用所述的目标跟踪方法的操作系统包括但不限于Linux、Android或者Windows7等，所述目标跟踪方法可应用于智能终端，例如智能电视等智能视频处理设备上。
参照图2，图2为本发明目标跟踪方法的第一实施例的流程示意图，包括以下步骤：
步骤S110，采集图像，对所述图像进行目标检测，得到包括第一前景掩膜的检测框。
在本实施例中，所述对图像进行目标检测的过程实际为对运动目标进行前景提取的过程，在前景提取过程中主要分为两大类，一是静态的前景提取，即摄像头是固定且运动目标相对的背景部分是不变的；二是动态的前景提取，即摄像头追踪某个运动目标且运动目标的背景部分是随着运动目标的位置变化而变化，采用前景提取算法从视频流数据中筛除不需要分析的背景部分以保留前景部分，从而提高目标分析效果，本申请以静态的前景提取为例展开描述。
在本实施例中，视频帧中存在多个运动目标，因此需要对多个运动目标进行检测，每个运动目标对应于一个第一前景掩膜，且每个第一前景掩膜对应于一个检测框；所述前景提取算法至少包括PAWCS算法、SuBSENSE算法中的任意一种，所述掩膜用于区分前景部分和背景部分，前景部分可以认为是白色像素组成的，背景部分为黑色像素组成；所述第一前景掩膜即前景部分，是前景提取算法在每个视频帧中对运动目标检测出来的结果，即将视频帧中的运动目标提取出来，所提取的运动目标即为第一前景掩膜；所述检测框为包括所述第一前景掩膜的最小矩形框，即矩形框的长和宽是最小的，所述检测框用于确定所述第一前景掩膜的位置；具体地，获取视频，将所述视频按照预设时间间隔进行划分为多个图像帧，采用前景提取算法获取各图像帧中的运动目标的第一前景掩膜，通过运动目标的第一前景掩膜确定最小检测框，通过所述最小检测框确定运动目标的位置。
步骤S120，对所述第一前景掩膜进行跟踪，得到包括第二前景掩膜的跟踪框。
在本实施例中，视频帧中存在多个运动目标，因此需要对多个运动目标进行跟踪，因为跟踪过程存在误差，采用目标跟踪器跟踪每个运动目标对应产生第二前景掩膜，且每个第二前景掩膜对应于一个跟踪框；所述第二前景掩膜是目标跟踪器在每个视频帧中对运动目标跟踪出来的结果，即对第一前景掩膜跟踪出来的结果，与检测框类似，所述跟踪框为包括所述第二前景掩膜的最小矩形框，即长和宽最小；具体地，采用目标跟踪器对第一前景掩膜进行跟踪，得到第二前景掩膜以及第二前景掩膜对应的跟踪框，所述目标跟踪器为KCF目标跟踪器，所述KCF目标跟踪器采用鉴别式跟踪方法，该跟踪方法在跟踪过程中训练一个目标检测器，使用目标检测器去检测下一帧预测位置是否为目标，然后再使用新检测结果去更新目标检测器，在训练目标检测器时选取目标前景掩膜为正样本，目标背景掩膜为负样本，用于区分前景掩膜与背景掩膜。
步骤S130，根据所述检测框的第一面积以及所述跟踪框的第二面积确定目标跟踪置信度。
在本实施例中，所述第一面积为包括第一前景掩膜的最小检测框的面积，所述第二面积为包括第二前景掩膜的最小跟踪框的面积，所述目标跟踪置信度是用测量值估计总体的真实值，即用检测框的第一面积以及跟踪框的第二面积估计目标的真实位置；通过对各图像帧中的运动目标进行检测，得到包括第一前景掩膜的最小检测框，计算所述最小检测框的面积，通过对各图像帧中的运动目标的第一前景掩膜进行跟踪，得到包括第二前景掩膜的最小跟踪框，计算所述最小跟踪框的面积，通过最小检测框的面积以及最小跟踪框的面积确定目标跟踪置信度。
在本实施例中，具体地，所述确定目标跟踪置信度实际为根据最小检测框与最小跟踪框中像素点的个数进行确定的，因为检测框中每个像素点的尺寸大小一致，因此，通过检测最小检测框中像素点的个数，计算最小检测框的面积，通过检测最小跟踪框中像素点的个数，计算最小跟踪框的面积，从而实现根据最小检测框中像素点的个数以及最小跟踪框中像素点的个数确定目标跟踪置信度。
步骤S140，根据所述目标跟踪置信度确定跟踪结果。
在本实施例中，在根据检测框的第一面积以及跟踪框的第二面积确定目标跟踪置信度之后，根据目标跟踪置信度与预设阈值进行比较，确定跟踪结果，例如，第一前景掩膜是准确的，当运动目标出现严重遮挡时，目标跟踪结果会出现偏移，在此基础上将计算得到的目标跟踪置信度与预设阈值进行比较，当目标跟踪置信度不在预设阈值范围内，则判定出现目标跟踪丢失。
在本实施例的技术方案中，通过对采集的时间间隔内的图像帧进行目标检测，得到第一前景掩膜和对应的检测框，采用目标跟踪器对第一前景掩膜进行跟踪，得到第二前景掩膜和对应的跟踪框，计算所述检测框的第一面积以及所述跟踪框的第二面积，根据所述检测框的第一面积以及所述跟踪框的第二面积确定目标跟踪置信度，将目标跟踪置信度与预设阈值进行对比，当目标跟踪置信度不在预设阈值范围内时，从而判定目标跟踪已丢失。
参照图3，图3为本发明目标跟踪方法的第二实施例的流程示意图，第二实施例中的步骤S131-步骤S132是第一实施例中步骤S130的细化步骤，所述第二实施包括以下步骤：
步骤S131，获取所述第一面积与所述第二面积的交集，以及所述第一面积与所述第二面积的并集。
步骤S132，获取所述交集与所述并集的比值，并根据所述比值确定所述目标跟踪置信度。
在本实施例中，检测检测框中像素点的个数，根据检测框中像素点的个数计算检测框的第一面积，记为SD(x)，检测跟踪框中像素点的个数，根据跟踪框中像素点的个数计算跟踪框的第二面积，记为ST(x)，获取检测框的第一面积与跟踪框的第二面积的交集，记为SD(x)∩ST(x)，获取检测框的第一面积与跟踪框的第二面积的并集，记为SD(x)∪ST(x)，获取所述检测框的第一面积与跟踪框的第二面积的交集以及检测框的第一面积与跟踪框的第二面积的并集的比值，记为根据该比值确定目标跟踪置信度R(x)，记为
在本实施例的技术方案中，通过获取检测框的第一面积与跟踪框的第二面积的交集以及并集，从而根据所述交集与所述并集的比值确定目标跟踪置信度。
参照图4，图4为本发明目标跟踪方法的第三实施例的流程示意图，第三实施例中的步骤S141-步骤S143是第一实施例中步骤S140的细化步骤，所述第三实施包括以下步骤：
步骤S141，获取所述第一前景掩膜的第三面积以及所述第二前景掩膜的第四面积。
步骤S142，根据所述第一前景掩膜的第三面积以及所述第二前景掩膜的第四面积确定参考置信度。
在本实施例中，与检测框的第一面积以及跟踪框的第二面积类似，根据第一前景掩膜中像素点的个数计算第一前景掩膜的第三面积，根据第二前景掩膜中像素点的个数计算第二前景掩膜的第四面积，根据所述第一前景掩膜的第三面积与第二前景掩膜的第四面积确定参考置信度。
步骤S143，根据所述参考置信度、所述目标跟踪置信度以及预设阈值确定跟踪结果。
在本实施例中，根据第一前景掩膜的面积以及第二前景掩膜的面积确定参考置信度，根据最小检测框的面积以及最小跟踪框的面积确定目标跟踪置信度，将所述参考置信度与目标跟踪置信度与预设阈值进行比较，判断所述参考置信度与目标跟踪置信度是否在预设阈值范围内，根据判断结果确定跟踪结果。
在本实施例的技术方案中，通过第一前景掩膜的第三面积以及第二前景掩膜的第四面积确定参考置信度，根据该参考置信度、目标跟踪置信度以及预设阈值之间的关系，确定目标跟踪结果。
参照图5，图5为本发明目标跟踪方法的第四实施例的流程示意图，第四实施例中的步骤S1421-步骤S1422是第三实施例中步骤S142的细化步骤，所述第四实施包括以下步骤：
步骤S1421，获取所述第三面积与所述第四面积的交集，以及所述第三面积与所述第四面积的并集。
步骤S1422，获取所述交集与所述并集的比值，并根据所述比值确定所述参考置信度。
在本实施例中，检测第一前景掩膜中像素点的个数，根据第一前景掩膜中像素点的个数计算第一前景掩膜的第三面积，记为FD(x)，检测第二前景掩膜中像素点的个数，根据第二前景掩膜中像素点的个数计算第二前景掩膜的第四面积，记为FT(x)，获取第一前景掩膜的第三面积与第二前景掩膜的第四面积的交集，记为FD(x)∩FT(x)，获取第一前景掩膜的第三面积与第二前景掩膜的第四面积的并集，记为FD(x)∪FT(x)，获取所述第一前景掩膜的第三面积与第二前景掩膜的第四面积的交集以及第一前景掩膜的第三面积与第二前景掩膜的第四面积的并集的比值，记为根据该比值确定参考置信度，记为
在本实施例的技术方案中，通过获取所述第三面积与所述第四面积的交集，以及所述第三面积与所述第四面积的并集，从而根据所述交集与所述并集的比值确定参考置信度。
参照图6，图6为本发明目标跟踪方法的第五实施例的流程示意图，第五实施例中的步骤S1431-步骤S1432是第三实施例中步骤S143的细化步骤，所述第五实施包括以下步骤：
步骤S1431，获取第一子阈值与所述目标跟踪置信度之间的交集，所述预设阈值包括第一子阈值以及第二子阈值。
步骤S1432，比对所述交集、所述参考置信度以及所述第二子阈值，根据比对结果确定所述跟踪结果，其中，在所述交集大于所述参考置信度且小于所述第二子阈值时，确定跟踪结果为跟踪目标没有丢失。
在本实施例中，所述第一子阈值以及所述第二子阈值为预设阈值，所述第一子阈值为第一前景掩膜第三面积与第二前景前景掩膜的第四面积符合要求的预设阈值，记为T1；所述第二子阈值为检测框第一面积与跟踪框第二面积符合要求的预设阈值，记为T2，获取第一子阈值与目标跟踪置信度R(x)之间的交集T1∩R(x)，将所述交集与参考置信度以及第二子阈值进行对比，判断比对结果是否符合要求，当所述交集大于参考置信度并且所述交集小于第二子阈值符合要求时，即C(x)<T1∩R(x)<T2，则表示目标跟踪没有丢失，当所述比对结果不符合要求时，则表示目标跟踪已丢失，具体地，所述
在本实施例的技术方案中，通过获取预设阈值中的第一子阈值与目标跟踪置信度之间的交集，将所述交集与参考置信度以及预设阈值中的第二子阈值进行比对，当所述交集大于参考置信度且交集小于第二子阈值时，则判定跟踪目标丢失，从而对目标跟踪结果进行判断。
参照图7，图7为本发明目标跟踪方法的第六实施例的流程示意图，第六实施例中的步骤S230位于第一实施例中步骤S120之后，所述第六实施包括以下步骤：
步骤S210，采集图像，对所述图像进行目标检测，得到包括第一前景掩膜的检测框。
步骤S220，对所述第一前景掩膜进行跟踪，得到包括第二前景掩膜的跟踪框。
步骤S230，获取第一前景掩膜的第一特征与第二前景掩膜的第二特征，所述第一特征与所述第二特征均包括尺度特征以及方向特征中的至少一种。
在本实施例中，运动目标在运动的过程中，因为存在多个运动目标，在对运动目标进行跟踪的过程中，可能因为光线的问题造成跟踪结果的偏差，因此，在确定目标跟踪置信度之前需要进行目标匹配，确定目标的前景掩膜和跟踪结果之间的关系，即确定第一前景掩膜与第二前景掩膜之间的映射关系，在这个过程中，获取第一前景掩膜的第一特征与第二前景掩膜的第二特征，所述第一特征包括尺度特征以及方向特征中的至少一种，所述第二特征包括尺度特征以及方向特征中的至少一种，所述尺度特征为SIFT特征，所述方向特征为ORB特征，分别提取帧级检测的第一前景掩膜的和第二前景掩膜目标区域的SIFT特征和ORB特征进行特征匹配，当二者匹配成功后，则第一前景掩膜和第二前景掩膜达到映射关系，当跟踪的目标无法在当前帧的检测前景目标找到一个与之特征匹配，则表示跟踪失败，舍弃当前跟踪的目标；如果检测的前景目标无法在跟踪目标中找到一个实现匹配，则表示出现跟踪目标丢失。
步骤S240，若所述第一特征与所述第二特征相匹配，根据所述检测框的第一面积以及所述跟踪框的第二面积确定目标跟踪置信度。
在本实施例中，当第一前景掩膜的第一特征与第二前景掩膜的第二特征相匹配，例如第一前景掩膜的SIFT特征与第二前景掩膜的SIFT特征匹配时，或者第一前景掩膜的ORB特征与第二前景掩膜的ORB特征匹配时，即确定第一前景掩膜与第二前景掩膜为具有映射关系，计算具有映射关系的所述第一前景掩膜所对应的检测框的第一面积、以及所述第二前景掩膜所对应的跟踪框的第二面积，根据检测款的第一面积以及跟踪框的第二面积确定目标跟踪置信度。
步骤S250，根据所述目标跟踪置信度确定跟踪结果。
在本实施例的技术方案中，通过采集图像，对所述图像进行目标检测，得到包括第一前景掩膜的检测框，对所述第一前景掩膜进行跟踪，得到包括第二前景掩膜的跟踪框，获取第一前景掩膜的第一特征与第二前景掩膜的第二特征进行特征匹配，当第一特征与第二特征相匹配时，根据检测框的第一面积以及跟踪框的第二面积确定目标跟踪置信度，解决现有技术中目标跟踪不准确的问题，提高目标跟踪的准确度。
参照图8，图8为本发明目标跟踪方法的第七实施例的流程示意图，第七实施例中的步骤S350位于第一实施例中步骤S140之后，所述第七实施包括以下步骤：
步骤S310，采集图像，对所述图像进行目标检测，得到包括第一前景掩膜的检测框。
步骤S320，对所述第一前景掩膜进行跟踪，得到包括第二前景掩膜的跟踪框。
步骤S330，根据所述检测框的第一面积以及所述跟踪框的第二面积确定目标跟踪置信度。
步骤S340，根据所述目标跟踪置信度确定跟踪结果。
步骤S350，采用所述跟踪框对所述检测框进行校正，根据校正的检测框重置所述跟踪框对应的所述第二前景掩膜。
在本实施例中，根据当前图像帧的第一前景掩膜更新KCF目标跟踪器，具体地，采用第二前景掩膜对应的跟踪框对第一前景掩膜对应的检测框进行校正，得到校正后的检测框，重新对校正后的检测框对应的第一前景掩膜进行跟踪，得到包括第二前景掩膜的跟踪框，即实现根据校正的检测框重置所述跟踪框对应的第二前景掩膜。
在本实施例的技术方案中，通过采集图像，对所述图像进行目标检测，得到包括第一前景掩膜的检测框，对所述第一前景掩膜进行跟踪，得到包括第二前景掩膜的跟踪框，根据检测框的第一面积以及所述跟踪框的第二面积确定目标跟踪置信度，根据所述目标跟踪置信度确定目标跟踪结果，采用所述跟踪框对所述检测框进行校正，根据校正的检测框重置所述跟踪框对应的第二前景掩膜的位置，解决了现有技术中采用目标跟踪器对目标检测与跟踪不准确的技术问题，提高目标跟踪的准确度。
基于同一发明构思，本发明还提供一种目标跟踪装置，如图9所示，图9为本发明目标跟踪装置的结构示意图，所述目标跟踪装置包括：检测模块10、跟踪模块20、计算模块30以及判断模块40，下面将对各个模块进行展开描述：
检测模块10，用于采集图像，对所述图像进行目标检测，得到包括第一前景掩膜的检测框；
跟踪模块20，用于对所述第一前景掩膜进行跟踪，得到包括第二前景掩膜的跟踪框；
计算模块30，用于根据所述检测框的第一面积以及所述跟踪框的第二面积确定目标跟踪置信度；具体地，所述计算模块30还用于获取所述第一面积与所述第二面积的交集，以及所述第一面积与所述第二面积的并集；获取所述交集与所述并集的比值，并根据所述比值确定所述目标跟踪置信度。
判断模块40，用于根据所述目标跟踪置信度确定跟踪结果；具体地，所述判断模块40还用于获取所述第一前景掩膜的第三面积以及所述第二前景掩膜的第四面积；根据所述第一前景掩膜的第三面积以及所述第二前景掩膜的第四面积确定参考置信度；根据所述参考置信度、所述目标跟踪置信度以及预设阈值确定跟踪结果；具体地，所述判断模块40中的根据所述第一前景掩膜的第三面积以及所述第二前景掩膜的第四面积确定参考置信度的步骤包括：获取所述第三面积与所述第四面积的交集，以及所述第三面积与所述第四面积的并集；获取所述交集与所述并集的比值，并根据所述比值确定所述参考置信度；所述判断模块40中的根据所述参考置信度、所述目标跟踪置信度以及预设阈值确定跟踪结果的步骤包括：获取第一子阈值与所述目标跟踪置信度之间的交集，所述预设阈值包括第一子阈值以及第二子阈值；比对所述交集、所述参考置信度以及所述第二子阈值，根据比对结果确定所述跟踪结果，其中，在所述交集大于所述参考置信度且小于所述第二子阈值时，确定跟踪结果为跟踪目标没有丢失。
所述目标检测装置除了包括上面所述的模块之外，还包括：匹配模块与更新模块；所述匹配模块用于获取第一前景掩膜的第一特征与第二前景掩膜的第二特征，所述第一特征与所述第二特征均包括尺度特征以及方向特征中的至少一种，若所述第一特征与所述第二特征相匹配时，连接计算模块30；所述更新模块采用所述跟踪框对所述检测框进行校正，根据校正的检测框重置所述跟踪框对应的第二前景掩膜。
由于采用了采集图像，对所述图像进行目标检测，得到包括第一前景掩膜的检测框；对所述第一前景掩膜进行跟踪，得到包括第二前景掩膜的跟踪框；根据所述检测框的第一面积以及所述跟踪框的第二面积确定目标跟踪置信度；根据所述目标跟踪置信度确定跟踪结果，根据所述跟踪结果实时更新目标跟踪器的技术方案，解决了现有技术中目标跟踪不准确的问题，提高目标跟踪准确度。
基于同一发明构思，本申请实施例还提供了一种计算机存储介质，所述计算机存储介质存储有目标跟踪程序，所述目标跟踪程序被处理器执行时实现如上所述的目标跟踪方法的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
由于本申请实施例提供的计算机存储介质，为实施本申请实施例的方法所采用的计算机存储介质，故而基于本申请实施例所介绍的方法，本领域所属人员能够了解该计算机存储介质的具体结构及变形，故而在此不再赘述。凡是本申请实施例的方法所采用的计算机存储介质都属于本申请所欲保护的范围。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或确定机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有确定机可用程序代码的确定机可用计算机存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的确定机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和确定机程序产品的流程图和/或方框图来描述的。应理解可由确定机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些确定机程序指令到通用确定机、专用确定机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过确定机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些确定机程序指令也可存储在能引导确定机或其他可编程数据处理设备以特定方式工作的确定机可读存储器中，使得存储在该确定机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些确定机程序指令也可装载到确定机或其他可编程数据处理设备上，使得在确定机或其他可编程设备上执行一系列操作步骤以产生确定机实现的处理，从而在确定机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的确定机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为标识。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种目标跟踪方法，其特征在于，所述方法包括：
采集图像，对所述图像进行目标检测，得到包括第一前景掩膜的检测框；
对所述第一前景掩膜进行跟踪，得到包括第二前景掩膜的跟踪框；
根据所述检测框的第一面积以及所述跟踪框的第二面积确定目标跟踪置信度；
获取所述第一前景掩膜的第三面积以及所述第二前景掩膜的第四面积，其中，所述第三面积根据所述第一前景掩膜中像素点的个数计算得到，所述第四面积根据所述第二前景掩膜中像素点的个数计算得到；
获取所述第三面积与所述第四面积的交集，以及所述第三面积与所述第四面积的并集；
获取所述交集与所述并集的比值，并根据所述比值确定参考置信度；
在所述参考置信度小于第一子阈值的区间与所述目标跟踪置信度小于第二子阈值的区间存在交集时，确定跟踪结果为跟踪目标没有丢失，其中，所述第一子阈值小于所述第二子阈值。
2.如权利要求1所述的目标跟踪方法，其特征在于，所述根据所述检测框的第一面积以及所述跟踪框的第二面积确定目标跟踪置信度的步骤包括：
获取所述第一面积与所述第二面积的交集，以及所述第一面积与所述第二面积的并集；
获取所述交集与所述并集的比值，并根据所述比值确定所述目标跟踪置信度。
3.如权利要求1所述的目标跟踪方法，其特征在于，所述对所述第一前景掩膜进行跟踪，得到包括第二前景掩膜的跟踪框的步骤之后，还包括：
获取第一前景掩膜的第一特征与第二前景掩膜的第二特征，所述第一特征与所述第二特征均包括尺度特征以及方向特征中的至少一种；
若所述第一特征与所述第二特征相匹配，执行所述根据所述检测框的第一面积以及所述跟踪框的第二面积确定目标跟踪置信度的步骤。
4.如权利要求1所述的目标跟踪方法，其特征在于，所述目标跟踪方法，还包括：
采用所述跟踪框对所述检测框进行校正，根据校正的检测框重置所述跟踪框对应的所述第二前景掩膜。
5.一种目标跟踪装置，其特征在于，所述装置包括：
检测模块，用于采集图像，对所述图像进行目标检测，得到包括第一前景掩膜的检测框；
跟踪模块，用于对所述第一前景掩膜进行跟踪，得到包括第二前景掩膜的跟踪框；
计算模块，用于根据所述检测框的第一面积以及所述跟踪框的第二面积确定目标跟踪置信度；
判断模块，用于获取所述第一前景掩膜的第三面积以及所述第二前景掩膜的第四面积，其中，所述第三面积根据所述第一前景掩膜中像素点的个数计算得到，所述第四面积根据所述第二前景掩膜中像素点的个数计算得到；获取所述第三面积与所述第四面积的交集，以及所述第三面积与所述第四面积的并集；获取所述交集与所述并集的比值，并根据所述比值确定参考置信度；在所述参考置信度小于第一子阈值的区间与所述目标跟踪置信度小于第二子阈值的区间存在交集时，确定跟踪结果为跟踪目标没有丢失，其中，所述第一子阈值小于所述第二子阈值。
6.一种智能设备，其特征在于，所述智能设备包括存储器、处理器以及存储在所述存储器并可在所述处理器上运行的目标跟踪程序，所述目标跟踪程序被所述处理器执行时实现如权利要求1-4任一项所述的目标跟踪方法的各个步骤。
7.一种计算机存储介质，其特征在于，所述计算机存储介质存储有目标跟踪程序，所述目标跟踪程序被处理器执行时实现如权利要求1-4任一项所述的目标跟踪方法的各个步骤。
CN202110262505.5A 2021-03-10 2021-03-10 目标跟踪方法及装置、智能设备和计算机存储介质 Active CN113052019B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110262505.5A CN113052019B (zh) 2021-03-10 2021-03-10 目标跟踪方法及装置、智能设备和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110262505.5A CN113052019B (zh) 2021-03-10 2021-03-10 目标跟踪方法及装置、智能设备和计算机存储介质

Publications (2)

Publication Number Publication Date
CN113052019A CN113052019A (zh) 2021-06-29
CN113052019B true CN113052019B (zh) 2024-08-20

Family

ID=76511205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110262505.5A Active CN113052019B (zh) 2021-03-10 2021-03-10 目标跟踪方法及装置、智能设备和计算机存储介质

Country Status (1)

Country Link
CN (1) CN113052019B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793365B (zh) * 2021-11-17 2022-04-29 第六镜科技(成都)有限公司 目标跟踪方法、装置、计算机设备及可读存储介质
CN114155278A (zh) * 2021-11-26 2022-03-08 浙江商汤科技开发有限公司 目标跟踪及相关模型的训练方法和相关装置、设备、介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530613A (zh) * 2013-10-15 2014-01-22 无锡易视腾科技有限公司 一种基于单目视频序列的目标人手势交互方法
CN110111363A (zh) * 2019-04-28 2019-08-09 深兰科技（上海）有限公司 一种基于目标检测的跟踪方法及设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105303191A (zh) * 2014-07-25 2016-02-03 中兴通讯股份有限公司 一种前视监视场景下的行人计数方法和装置
CN107301651A (zh) * 2016-04-13 2017-10-27 索尼公司 对象跟踪装置和方法
CN111242977B (zh) * 2020-01-09 2023-04-25 影石创新科技股份有限公司 全景视频的目标跟踪方法、可读存储介质及计算机设备
CN111260687B (zh) * 2020-01-10 2022-09-27 西北工业大学 一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法
CN111539993B (zh) * 2020-04-13 2021-10-19 中国人民解放军军事科学院国防科技创新研究院 基于分割的空间目标视觉跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530613A (zh) * 2013-10-15 2014-01-22 无锡易视腾科技有限公司 一种基于单目视频序列的目标人手势交互方法
CN110111363A (zh) * 2019-04-28 2019-08-09 深兰科技（上海）有限公司 一种基于目标检测的跟踪方法及设备

Also Published As

Publication number Publication date
CN113052019A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN107358149B (zh) 一种人体姿态检测方法和装置
CN109035304B (zh) 目标跟踪方法、介质、计算设备和装置
CN110909712B (zh) 运动目标检测方法、装置、电子设备及存储介质
CN106971401B (zh) 多目标跟踪装置和方法
CN111160379A (zh) 图像检测模型的训练方法及装置、目标检测方法及装置
CN108229308A (zh) 目标对象识别方法、装置、存储介质和电子设备
CN108230352B (zh) 目标对象的检测方法、装置和电子设备
US10671887B2 (en) Best image crop selection
CN109086734B (zh) 一种对人眼图像中瞳孔图像进行定位的方法及装置
CN109727275B (zh) 目标检测方法、装置、系统和计算机可读存储介质
CN111783665A (zh) 一种动作识别方法、装置、存储介质和电子设备
CN108229494B (zh) 网络训练方法、处理方法、装置、存储介质和电子设备
CN113052019B (zh) 目标跟踪方法及装置、智能设备和计算机存储介质
CN111582032A (zh) 行人检测方法、装置、终端设备及存储介质
CN111814776B (zh) 一种图像处理方法、设备、服务器及存储介质
CN111667419A (zh) 一种基于Vibe算法的移动目标鬼影消除方法及系统
CN111444803A (zh) 图像处理方法、装置、电子设备及存储介质
KR101690050B1 (ko) 지능형 영상보안 시스템 및 객체 추적 방법
CN113762027B (zh) 一种异常行为的识别方法、装置、设备及存储介质
CN112819953B (zh) 三维重建方法、网络模型训练方法、装置及电子设备
CN110298302A (zh) 一种人体目标检测方法及相关设备
CN110689556A (zh) 跟踪方法、装置及智能设备
CN112784691B (zh) 一种目标检测模型训练方法、目标检测方法和装置
CN111695404A (zh) 行人跌倒检测方法、装置、电子设备及存储介质
CN114998283A (zh) 一种镜头遮挡物检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240823

Address after: 518000, A1306, Skyworth Building, No. 008 Gaoxin South 1st Road, Gaoxin Community, Yuehai Street, Nanshan District, Shenzhen, Guangdong Province

Patentee after: Shenzhen Skyworth Display Technology Co.,Ltd.

Country or region after: China

Address before: 1036, 10 / F, No.28, ningshuang Road, Yuhuatai District, Nanjing City, Jiangsu Province, 210012

Patentee before: NANJING SKYWORTH INSTITUTE OF INFORMATION TECHNOLOGY Co.,Ltd.

Country or region before: China