CN113963375A - 一种基于区域的多特征匹配速滑运动员多目标跟踪方法 - Google Patents
一种基于区域的多特征匹配速滑运动员多目标跟踪方法 Download PDFInfo
- Publication number
- CN113963375A CN113963375A CN202111220338.4A CN202111220338A CN113963375A CN 113963375 A CN113963375 A CN 113963375A CN 202111220338 A CN202111220338 A CN 202111220338A CN 113963375 A CN113963375 A CN 113963375A
- Authority
- CN
- China
- Prior art keywords
- speed
- matching
- area
- feature
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000011218 segmentation Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 101000642315 Homo sapiens Spermatogenesis-associated protein 17 Proteins 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 102100036408 Spermatogenesis-associated protein 17 Human genes 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明结合深度学习与计算机视觉算法，具体公开了一种基于区域的多特征匹配速滑运动员多目标跟踪方法，该跟踪方法包括如下步骤：s1、根据速滑场地对当前区域进行划分；s2、根据目标检测算法检测图片中的速滑运动员信息；s3、根据s1中的划分区域对s2检测得到的速滑运动员信息进行区域划分；s4、对每个区域中的速滑运动员利用多特征信息进行匹配；s5、根据每个区域中速滑运动员的跟踪结果，进行区域间的匹配形成最终的跟踪结果。本发明方法针对速滑运动员比赛时长、速滑场地等特征信息，通过区域分割、多特征匹配等方式更鲁棒的进行速滑运动员的多目标跟踪。
Description
技术领域
本发明结合深度学习与计算机视觉算法，具体公开了一种基于区域的多特征匹配速滑运动员多目标跟踪方法。
背景技术
多目标跟踪是计算机视觉领域的一项关键技术，在自动驾驶、智能监控、行为识别等方向应用广泛。但由于多目标跟踪任务本身的复杂性，导致其比目标检测与单目标跟踪任务面临着更多的挑战，比如目标重叠、外观剧变、外观相似等问题。如何更有效的去解决这些问题，对于多目标跟踪技术的应用具有重要意义，于是在过去的几十年里，人们提出了广泛的解决方案。
多目标跟踪(Multiple Object Tracking,MOT)指在事先不知道目标数量的情况下，对视频中的行人、汽车、动物等多个目标进行检测并赋予ID进行轨迹跟踪。主要任务是在给定视频中同时对多个感兴趣的目标进行定位，不同的目标拥有不同的ID，以便实现后续的轨迹预测、精准查找等工作。与其它计算机视觉任务相比，多目标跟踪任务主要存在以下研究难点：1)目标检测不够准确；2)频繁的目标遮挡；3)目标数量不确定；4)相似外观，多目标间的相互影响。
现如今工业界关注度最高的多目标跟踪方法，主要是SORT以及DeepSORT。这两类方法通过目标检测和匈牙利匹配、卡尔曼预测加更新的方式，实现多目标跟踪。但需要应用落地就需要得到真实场景下的跟踪目标的各项数值，包括跟踪目标每秒的移动距离、移动速度等，由于摄像头下真实场景的形变问题，得到更为真实的以上数据仍是一个待解决的难题。
在本发明中，我们提出了一种基于区域的多特征匹配速滑运动员多目标跟踪方法。针对速滑运动员的跟踪匹配与现有数据集的匹配方法是有很大不同的。现有的数据集MOT17，MOT19等针对行人的数据集中，行人多是进行直线运动，同时跟踪的时间也相对较短。而速滑运动员比赛时间长、根据场地进行运动所以滑动轨迹相对固定，因此直接使用现有的算法是无法进行良好匹配的。基于以上问题，我们将整个场地进行区域化跟踪，使得速滑运动员在每一块区域中的运动状态都相对一致；同时我们尝试使用多特征的方式对前后帧的过程进行更好的匹配。通过这种多区域、多特征的方式能够更好的对速滑运动员的轨迹进行跟踪。
本发明，结合深度学习与计算机视觉的方法，构建一个基于多目标跟踪方案，在单个摄像头下，进行多区域、多特征匹配的多目标跟踪方法，能够更加贴近速滑运动员的运动特征，从而更好的对速滑运动员进行跟踪。
发明内容
本发明的目的在于提出一种基于区域的多特征匹配速滑运动员多目标跟踪方法，其采用如下方案：
一种基于区域的多特征匹配速滑运动员多目标跟踪方法，包括如下步骤：
s1、根据速滑场地对当前区域进行划分；
s2、根据目标检测算法检测图片中的速滑运动员信息；
s3、根据s1中的划分区域对s2检测得到的速滑运动员信息进行区域划分；
s4、对每个区域中的速滑运动员利用多特征信息进行匹配；
s5、根据每个区域中速滑运动员的跟踪结果，进行区域间的匹配形成最终的跟踪结果。
进一步，上述步骤s1中，根据速滑场地的特征对当前区域进行划分，使得每一块区域中运动特征相对固定；
进一步，上述步骤s2中，根据目标检测算法检测图片中的速滑运动员当前位置、姿态等特征信息；
进一步，检测速滑运动员的如下特征：
s21、速滑运动员的位置以及边界框信息；
s22、速滑运动员的特征维度向量，用于使用度量的方法对前后帧进行ID的匹配；
s23、速滑运动员的姿态特征，其中包含17个关节点代表速滑运动员的关节点位置信息。
进一步，上述步骤s3中，根据s1中的区域对s2检测得到的速滑运动员信息进行区域划分，使得能够在每一块区域中应用不同的跟踪模型；
进一步，上述步骤s4中，根据每个区域中的速滑运动员信息，利用这些多特征的信息对速滑运动员前后帧进行关联匹配；
进一步，上述步骤s5中，根据每个区域中的速滑运动员跟踪结果，进行区域间的匹配形成最终的跟踪结果；
进一步，区域间的匹配过程如下:
s51、获取区域与区域之间共同部分的速滑运动员的跟踪结果；
s52、在时间段上通过投票的形式获取前后区域中ID之间的匹配关系，使用公共部分的跟踪结果进行区域与区域之间的匹配，得到最终的匹配结果，最后形成完整的跟踪轨迹。
本发明具有如下优点：
本发明方法在计算机视觉下使用深度神经网络，通过检测加跟踪的形式对多目标进行实时的跟踪，同时使用多区域的方法对速滑场地进行区域划分，使得区域内速滑运动员的运动特征符合一定的线性或者弯道特性，在匹配的过程中除了使用传统的位置特征以及行人重识别特征以外，还添加了姿态特征做进一步的匹配处理，提高速滑运动员的匹配准确度。本方法根据现有的速滑运动员的运动特性，针对性的对现有的多目标跟踪方法进行修正，使得能够更快更好的完成对速滑运动员的多目标跟踪任务。
附图说明
图1为一种基于区域的多特征匹配速滑运动员多目标跟踪方法的实施流程图；
图2为一种基于区域的多特征匹配速滑运动员多目标跟踪方法的区域划分示意图；
具体实施方法
下面结合附图1以及具体实施方式对本发明作进一步详细说明：
结合图1所示，一种基于区域的多特征匹配速滑运动员多目标跟踪方法，包括如下步骤：
s1、根据速滑场地对当前区域进行划分，划分区域如附图2所示；
为了提高检测的准确度，得到更好的多目标跟踪结果，根据场地中不同速滑运动员的运动特性对运动场地划分为8个区域，在区域之间进行单纯的直线或者弯道任务。
s2、根据目标检测算法检测图片中的速滑运动员信息；
为了更好的应用各种特征进行速滑运动员的跟踪匹配，在目标检测阶段我们利用了图片中速滑运动员的多种信息。
s21、速滑运动员的位置以及边界框信息，主要表示速滑远动员在图片中的位置，以及其所处的区域；
s22、速滑运动员的特征信息，运动特征信息为一组长度为N的行人重识别向量，用来进行特征度量。
s23、速滑运动员的姿态特征，其中包含17个关节点代表速滑运动员的关节点位置信息。
s3、根据s1中的区域对检测的速滑运动员信息进行区域划分，具体的划分原则如下：
s31、首先标记图片中场地中区域特征点的位置，根据对应特征点计算4条曲线用来进行运动的区域划分。
s32、4条曲线对应的区域划分过程如下；
计算过程如下：
1、平面图像对应的真实场地为椭圆，根据长轴曲线一分为二，左边记为0，右边记为1；
2、与短轴平行，均等取三条曲线，在第一条曲线上方的记为0，下方的记为1；
3、在第二条曲线上方的继续记为0，下方的记为1；
4、在第三条曲线上方的继续记为0，下方的记为1；
5、对应得八块区域得到0000、0100、0110、0111、1000、1100、1110、1111的对应序号。
s33、根据速滑运动员的位置信息，计算速滑运动员所处的区域位置，应用不同的区域匹配原则。
s4、对每个区域中的速滑运动员利用多特征信息进行匹配；
根据每个区域中的速滑运动员信息，使用区域位置，行人重识别特征，姿态关节点特征进行综合的特征匹配度量，对速滑运动员前后帧进行关联匹配。
s5、根据每个区域中速滑运动员的跟踪结果，进行区域间的匹配形成最终的跟踪结果。
获取区域与区域之间的共同部分速滑运动员的跟踪结果，在时间段上通过投票的形式获取前后区域中ID之间的匹配关系，使用公共部分的跟踪结果进行区域与区域之间的匹配，得到最终的匹配结果，最后形成完整的跟踪轨迹。
当然，以上说明仅仅为本发明的整体的实施流程，本发明并不限于列举上述实施流程，应当说明的是，任何熟悉本领域的技术人员在本说明书的教导下，所做出的所有等同替代、明显变形形式，均落在本说明书的实质范围之内，理应受到本发明的保护。
Claims (3)
1.一种基于区域的多特征匹配速滑运动员多目标跟踪方法，其特征在于，包括如下步骤：
s1、根据速滑场地对当前区域进行划分；
s2、根据目标检测算法检测图片中的速滑运动员信息；
s3、根据s1中的划分区域对s2检测得到的速滑运动员信息进行区域划分；
s4、对每个区域中的速滑运动员利用多特征信息进行匹配；
s5、根据每个区域中速滑运动员的跟踪结果，进行区域间的匹配形成最终的跟踪结果。
2.根据权利要求1所述的一种基于区域的多特征匹配速滑运动员多目标跟踪方法，其特征在于，所述步骤s1、s3中，对运动场地进行区域划分，在不同的区域内应用多特征的跟踪策略，提升对速滑运动员的跟踪性能。
3.根据权利要求1所述的一种基于区域的多特征匹配速滑运动员多目标跟踪方法，其特征在于，所述步骤s4中，通过多特征匹配技术，通过区域位置信息，行人重识别特征，姿态特征进行帧与帧之间的综合度量匹配。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111220338.4A CN113963375A (zh) | 2021-10-20 | 2021-10-20 | 一种基于区域的多特征匹配速滑运动员多目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111220338.4A CN113963375A (zh) | 2021-10-20 | 2021-10-20 | 一种基于区域的多特征匹配速滑运动员多目标跟踪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113963375A true CN113963375A (zh) | 2022-01-21 |
Family
ID=79465643
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111220338.4A Pending CN113963375A (zh) | 2021-10-20 | 2021-10-20 | 一种基于区域的多特征匹配速滑运动员多目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113963375A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1738426A (zh) * | 2005-09-09 | 2006-02-22 | 南京大学 | 一种视频运动目标分割与跟踪方法 |
| US20110115920A1 (en) * | 2009-11-18 | 2011-05-19 | Industrial Technology Research Institute | Multi-state target tracking mehtod and system |
| CN109410245A (zh) * | 2018-09-13 | 2019-03-01 | 北京米文动力科技有限公司 | 一种视频目标跟踪方法及设备 |
| CN109448025A (zh) * | 2018-11-09 | 2019-03-08 | 国家体育总局体育科学研究所 | 视频中短道速滑运动员的自动跟踪与轨迹建模方法 |
| CN110490901A (zh) * | 2019-07-15 | 2019-11-22 | 武汉大学 | 抗姿态变化的行人检测跟踪方法 |
| CN111639570A (zh) * | 2020-05-20 | 2020-09-08 | 华中科技大学 | 一种基于运动模型和单目标线索的在线多目标跟踪方法 |
| CN111709974A (zh) * | 2020-06-22 | 2020-09-25 | 苏宁云计算有限公司 | 基于rgb-d图像的人体跟踪方法及装置 |
| CN111882580A (zh) * | 2020-07-17 | 2020-11-03 | 元神科技(杭州)有限公司 | 一种视频多目标跟踪方法及系统 |
-
2021
- 2021-10-20 CN CN202111220338.4A patent/CN113963375A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1738426A (zh) * | 2005-09-09 | 2006-02-22 | 南京大学 | 一种视频运动目标分割与跟踪方法 |
| US20110115920A1 (en) * | 2009-11-18 | 2011-05-19 | Industrial Technology Research Institute | Multi-state target tracking mehtod and system |
| CN109410245A (zh) * | 2018-09-13 | 2019-03-01 | 北京米文动力科技有限公司 | 一种视频目标跟踪方法及设备 |
| CN109448025A (zh) * | 2018-11-09 | 2019-03-08 | 国家体育总局体育科学研究所 | 视频中短道速滑运动员的自动跟踪与轨迹建模方法 |
| CN110490901A (zh) * | 2019-07-15 | 2019-11-22 | 武汉大学 | 抗姿态变化的行人检测跟踪方法 |
| CN111639570A (zh) * | 2020-05-20 | 2020-09-08 | 华中科技大学 | 一种基于运动模型和单目标线索的在线多目标跟踪方法 |
| CN111709974A (zh) * | 2020-06-22 | 2020-09-25 | 苏宁云计算有限公司 | 基于rgb-d图像的人体跟踪方法及装置 |
| CN111882580A (zh) * | 2020-07-17 | 2020-11-03 | 元神科技(杭州)有限公司 | 一种视频多目标跟踪方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| McNally et al. | Golfdb: A video database for golf swing sequencing | |
| Breitenstein et al. | Online multiperson tracking-by-detection from a single, uncalibrated camera | |
| JP6625220B2 (ja) | シーン内のオブジェクトのアクションを検出する方法及びシステム | |
| Yang et al. | An online learned CRF model for multi-target tracking | |
| CN106022220B (zh) | 一种体育视频中对参赛运动员进行多人脸跟踪的方法 | |
| Zhang et al. | A sport athlete object tracking based on deep sort and yolo V4 in case of camera movement | |
| CN109448025B (zh) | 视频中短道速滑运动员的自动跟踪与轨迹建模方法 | |
| CN109191497A (zh) | 一种基于多种信息融合的实时在线多目标跟踪方法 | |
| Naik et al. | DeepPlayer-track: player and referee tracking with jersey color recognition in soccer | |
| Yamamoto et al. | Multiple players tracking and identification using group detection and player number recognition in sports video | |
| Ivasic-Kos et al. | Building a labeled dataset for recognition of handball actions using mask R-CNN and STIPS | |
| CN104794737A (zh) | 一种深度信息辅助粒子滤波跟踪方法 | |
| CN106780564A (zh) | 一种基于先验模型约束的抗干扰轮廓跟踪方法 | |
| Sha et al. | Understanding and analyzing a large collection of archived swimming videos | |
| Ludwig et al. | Robust estimation of flight parameters for ski jumpers | |
| CN114283355A (zh) | 一种基于小样本学习的多目标濒危动物跟踪方法 | |
| Woinoski et al. | Towards automated swimming analytics using deep neural networks | |
| CN106127766B (zh) | 基于空间耦合关系和历史模型的目标跟踪方法 | |
| Kong et al. | Long-term action dependence-based hierarchical deep association for multi-athlete tracking in sports videos | |
| CN111833378A (zh) | 一种基于代理共享网络的多无人机单目标跟踪方法及装置 | |
| Teachabarikiti et al. | Players tracking and ball detection for an automatic tennis video annotation | |
| Lee et al. | A study on sports player tracking based on video using deep learning | |
| CN112949615B (zh) | 一种基于融合检测技术的多目标跟踪系统及跟踪方法 | |
| CN113963375A (zh) | 一种基于区域的多特征匹配速滑运动员多目标跟踪方法 | |
| Pan et al. | Research on volleyball players tracking based on improved deepsort |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20220121 |
|
| WD01 | Invention patent application deemed withdrawn after publication |