CN104243901B

CN104243901B - 基于智能视频分析平台的多目标跟踪方法及其系统

Info

Publication number: CN104243901B
Application number: CN201310248467.3A
Authority: CN
Inventors: 熊培杰; 曾刚; 熊壮
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2013-06-21
Filing date: 2013-06-21
Publication date: 2018-09-11
Anticipated expiration: 2033-06-21
Also published as: WO2014201891A1; CN104243901A

Abstract

本发明公开了一种基于智能视频分析平台的多目标跟踪方法及其系统，所述系统包括：任务接入单元，用于获取多目标跟踪任务，以及对所述至少一个多目标跟踪算法单元进行负载均衡，并将所述多目标跟踪任务进行分配并下发；算法管理单元，用于依据所述任务接入单元的输入以及获取的不同节点的原始视频流对所述至少一个多目标跟踪算法单元进行管理；多目标跟踪算法单元，用于依据分配的多目标跟踪任务对相应的视频流进行多目标跟踪处理。本发明能够实现对多路视频流多目标的持续性跟踪。

Description

基于智能视频分析平台的多目标跟踪方法及其系统

技术领域

本发明涉及视频监控技术领域，具体而言，尤其涉及一种基于智能视频分析平台的多目标跟踪方法及其系统。

背景技术

当前，平安城市已然成为人们关注的热点话题。如何让老百姓过得更加安心，如何编织一张完善的安防网络来保证城市的安全，智慧的、先进的城市监控系统是最为行之有效的方法。然而传统的视频监控领域，主要还是利用人力，例如采取录像回退的方式来搜索紧急事件中的关键信息，这样效率极低，并且会错过处理突发事件的黄金时期。因此，迫切地需要采取一种手段来改善此种状况，为此基于多目标跟踪的视频智能分析也由此应运而生。其带来的好处也是革命性地，例如在特重大案件中，诸如银行抢劫、商铺打劫、绑架等，都可以通过多目标跟踪事先记录的告警信息、徘徊路径信息、快照信息等来过滤踩点行为、犯罪路径等，从而可以快速有效地锁定不法分子，为案件的侦破争取宝贵时间。

针对多目标跟踪方法，目前现有技术中：

1、专利号为ZL201010221290的中国专利文献公开了一种视频监控中基于运动目标检测的多目标跟踪方法，该方法首先使用背景去除法检测前景运动目标；然后建立当前帧前景目标团块与前一帧已检测到的目标之间的关联矩阵，并以此来判断目标所处的各种状态(如目标消失、目标保持初始状态、目标重合、目标分离等)，对处于分离状态的目标进行二次跟踪；最后更新目标的位置、面积及核加权颜色直方图等特征，实现对多个目标的跟踪。简而言之，该方法通过目标颜色、面积等特征信息来更新关联矩阵，从而实现目标的跟踪。

2、申请号为CN201210198932的中国专利文献公开了一种基于视频的多目标跟踪方法及装置，该方法包括提取目标模板并初始化目标的参数步骤、Adaboost检测步骤、根据运动模型，对粒子集进行动态预测步骤、对各个混合分量的权值进行更新步骤、更新每个目标的运动状态步骤及模板更新步骤。可以得知，该方法采用AdaBoost算法来检测目标，再通过对粒子集进行动态预测，更新目标状态来实现多目标跟踪。

其中，AdaBoost算法是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。

3、专利号为ZL200910237773的中国专利文献公开了一种智能视频监控系统中多目标跟踪方法，该方法首先采集视频数据，视频图像预处理，目标分割；然后提取具有稳定的基于传统颜色空间(Color Based)特征和基于对比度(Contrast Based)特征相结合的综合特征信息，用于目标匹配，并为跟踪目标建立多世代跟踪队列，采用生命质量竞争机制实现多世代跟踪队列的更迭，最终实现目标可靠跟踪。该方法通过目标颜色、对比度等特征信息来建立多世代跟踪队列，并采用生命质量竞争机制实现多世代跟踪队列的更迭，最终实现目标可靠跟踪。

但是，本发明的发明人针对上述现有技术进行研究分析之后发现，其均存在一些缺陷，具体如下：

对于第一种多目标跟踪方法，虽然目标颜色、面积等特征信息较为直观，但这些特征的可重复性高。在实际应用当中，在目标监控区域，倘若出现身材、着装近似的目标，将大大增加出错的概率。

对于第二种多目标跟踪方法，AdaBoost算法需要事先对大量样本进行学习才能保证检测的准确度，因此对于实时性要求较高的城市安防系统以及后期系统的维护都是一个不小的挑战。

对于第三种多目标跟踪方法，其需要对非关键监控场景进行算法分析，增加不必要的性能消耗，减少可能的并发数。

发明内容

为了解决上述现有技术中存在的至少一个技术问题，本发明实施例的目的在于提供一种基于智能视频分析平台的多目标跟踪方法及其系统，从而实现对多路视频流，多目标的持续性跟踪。

为了达到本发明的目的，本发明采用以下技术方案实现：

一种基于智能视频分析平台的多目标跟踪系统，其包括：任务接入单元、算法管理单元以及至少一个多目标跟踪算法单元，其中：

任务接入单元，用于获取多目标跟踪任务，以及对所述至少一个多目标跟踪算法单元进行负载均衡，并将所述多目标跟踪任务进行分配并下发；

算法管理单元，用于依据所述任务接入单元的输入以及获取的不同节点的原始视频流对所述至少一个多目标跟踪算法单元进行管理；

多目标跟踪算法单元，用于依据分配的多目标跟踪任务对相应的视频流进行多目标跟踪处理。

优选地，所述基于智能视频分析平台的多目标跟踪系统还包括：

客户端，用于依据用户的输入进行多目标跟踪任务的制定。

视频流集群单元，用于为算法管理单元提供不同节点的原始视频流，以供所述至少一个多目标跟踪算法单元分析使用。

快照管理单元，用于对经多目标跟踪处理后得到的快照结果进行管理；

和/或，路径管理单元，用于对经多目标跟踪处理后得到的目标跟踪路径结果进行管理。

优选地，所述客户端还用于多目标跟踪结果的展示和多目标跟踪信息的查找。

一种基于智能视频分析平台的多目标跟踪方法，其系统包括：任务接入单元、算法管理单元以及至少一个多目标跟踪算法单元，所述方法包括：

任务接入单元获取多目标跟踪任务，对所述至少一个多目标跟踪算法单元进行负载均衡，并将所述多目标跟踪任务进行分配并下发；

算法管理单元依据所述任务接入单元的输入以及获取的不同节点的原始视频流对所述至少一个多目标跟踪算法单元进行管理；

多目标跟踪算法单元依据分配的多目标跟踪任务对相应的视频流进行多目标跟踪处理。

优选地，在执行所有步骤之前，所述基于智能视频分析平台的多目标跟踪方法还包括：

客户端依据用户的输入进行多目标跟踪任务的制定。

优选地，在执行算法管理单元依据所述任务接入单元的输入以及获取的不同节点的原始视频流对所述至少一个多目标跟踪算法单元进行管理的步骤之前，所述基于智能视频分析平台的多目标跟踪方法还包括：

视频流集群单元为算法管理单元提供不同节点的原始视频流，以供所述至少一个多目标跟踪算法单元分析使用。

优选地，多目标跟踪算法单元依据分配的多目标跟踪任务对相应的视频流进行多目标跟踪处理的步骤包括：

从视频流输入一帧图像，利用背景减除法提取前景目标；

利用多目标跟踪算法对前景目标进行新增、匹配、合并、分裂、删除操作；

对闯入兴趣区域的目标进行快照抓拍、告警上报以及路径记录操作；

对快照以及路径信息进行存储。

更为优选地，在执行从视频流输入一帧图像并利用背景减除法提取前景目标之前，根据用户制定的任务，提取视频流的兴趣区域；之后再对视频流的兴趣区域采用背景减除法，提取前景目标。

更为优选地，利用多目标跟踪算法对前景目标进行新增、匹配、合并、分裂、删除操作的步骤包括：

原始目标与跟踪目标进行匹配，并将匹配结果写入标记模版；

按列扫描标记模版，处理目标分裂、目标消失情况；

按行扫描标记模版，处理目标新增、目标匹配、目标合并情况。

更为优选地，对视频流的兴趣区域采用背景减除法，以提取前景目标的步骤包括：

取多帧图像求取平均值，获得初始背景，再取相同数量的帧图像同初始背景计算背景像素的振幅值；

背景初始化后，对当前帧图像的每一像素点进行判断，若像素值在对应的背景图像像素值的振幅内，则认为是背景，否则认为是前景；

提取前景后，采取滑动平均的方法对初始背景和振幅值进行更新，其中，背景以相对快的速率进行更新，前景则以相对慢的速率进行更新。

更为优选地，标记模版反映了当前帧与前一帧目标的相互关系，当前帧目标集可表示为R={O_k,1,O_k,2,......O_k,n}，上一帧目标集可表示为L={O_k-1,1,O_k-1,2,......O_k-1,m}，其中O_k,1表示第k帧的第一个目标，标记模版中，行坐标表示当前帧目标集，列坐标表示上一帧目标集，如果当前帧目标与上一帧目标匹配，则标记模版对应位置记为1，否则记为0。

更为优选地，按列扫描标记模版，处理目标分裂、目标消失情况的处理方法包括：

如果目标未出现目标分裂，也未出现目标消失，则直接按行扫描标记模版，处理目标新增、目标匹配、目标合并情况；

如果目标出现分裂，则处理过程如下：

如果未在身份标识ID(IDentity)簇信息中找到该分裂目标，那么通过新增目标存储的颜色信息从分裂目标中找出主目标并保持ID不变，更新其颜色、路径信息以及卡尔曼Kalman滤波器信息，余下分裂子目标按新增目标处理；

如果在ID簇信息中找到该分裂目标，说明该分裂目标在之前出现过合并，首先找出主目标并赋予主ID号，更新其颜色、路径信息以及Kalman滤波器信息，余下分裂目标根据颜色信息在从ID簇中寻找与自己最匹配的目标信息，找到后赋予从ID号，更新颜色、路径信息以及Kalman滤波器信息，如果分裂目标多于从ID簇中记录的目标数，则多于的分裂目标按新增目标处理；

处理完目标分裂情况后更新ID簇信息；

如果目标出现消失，则处理过程如下：

如果用户需要存储跟踪目标的路径信息，则当目标消失后上报消失目标的路径信息；

路径信息上报后，释放该目标相关的所有信息，包括颜色、路径、Kalman滤波器；

更新ID簇信息。

更为优选地，按行扫描标记模版，处理目标新增、目标匹配、目标合并情况的处理方法包括：

如果为新出现目标，为其新增Kalman滤波器、分配ID号、记录颜色以及路径信息；如果用户设置了快照抓拍，则上传新目标出现的首帧图像；

如果目标是唯一匹配，则只需要更新其Kalman滤波器相关信息以及颜色、路径信息，继续对该目标进行有效跟踪；

如果目标出现合并，则合并目标的Kalman滤波器用ID号最小目标的Kalman滤波器信息进行更新，同时更新颜色、路径信息，之后为该合并目标建立ID簇信息，以便在目标出现分裂时进行查找，其中ID簇可表示为：C={O_k→{O₁,O₂,......O_N}}，其中O_k表示主目标信息，{O₁,O₂,......O_N}表示所有从目标信息集合，目标信息由ID号以及目标颜色信息所组成，建立ID簇信息后，删除被合并目标的ID簇信息以及Kalman滤波器。

通过上述本发明的技术方案可以看出，本发明提供的一种基于智能视频分析平台的多目标跟踪方法及其系统，通过该平台算法管理单元的并发处理能力，在算法管理单元下挂载相应的多目标跟踪算法单元，从而实现对多路视频流多目标的持续性跟踪。

附图说明

图1是本发明实施例提供的基于智能视频分析平台的多目标跟踪系统结构示意图；

图2是本发明实施例提供的基于智能视频分析平台的多目标跟踪方法流程示意图；

图3是本发明实施例提供的多目标跟踪算法执行流程示意图；

图4是本发明实施例提供的多目标跟踪算法具体执行流程示意图。

本发明目的的实现、功能特点及优异效果，下面将结合具体实施例以及附图做进一步的说明。

具体实施方式

下面结合附图和具体实施例对本发明所述技术方案作进一步的详细描述，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

本发明实施例提供的一种基于智能视频分析平台的多目标跟踪系统，如图1所示，其包括：任务接入单元200、算法管理单元300以及至少一个多目标跟踪算法单元500，其中：

任务接入单元200，用于获取多目标跟踪任务，以及对所述至少一个多目标跟踪算法单元500进行负载均衡，并将所述多目标跟踪任务进行分配或拆分并下发；

算法管理单元300，用于依据所述任务接入单元200的输入以及获取的不同节点的原始视频流对所述至少一个多目标跟踪算法单元500进行管理；

多目标跟踪算法单元500，用于依据分配的多目标跟踪任务对相应的视频流进行多目标跟踪处理，并给出告警信息、跟踪结果等。

本实施例中，所述任务接入单元200可以通过多个渠道获取多目标跟踪任务，例如通过客户端的下发或者通过用户直接输入。

优选实施方式中，所述基于智能视频分析平台的多目标跟踪系统还包括客户端100，用于依据用户的输入进行多目标跟踪任务的制定。其中，用户对所述客户端100进行操作，以输入多目标跟踪任务的实现方案为本领域技术人员所共知，本实施例对此不做细述。

客户端100在用户配置好多目标跟踪任务之后，再将制定好了的多目标跟踪任务下发给任务接入单元200。

以及，所述基于智能视频分析平台的多目标跟踪系统还可以包括视频流集群单元400，用于为算法管理单元300提供不同节点的原始视频流，以供所述至少一个多目标跟踪算法单元500分析使用。

在具体实施时，所述视频流集群单元400用于接收至少一个视频探头所捕捉的视频流文件，并在算法管理单元300有需要时，将这些视频流文件传送给算法管理单元300。以及，所述基于智能视频分析平台的多目标跟踪系统还包括：

快照管理单元600，用于对经多目标跟踪处理后得到的快照结果进行管理；

和/或，路径管理单元700，用于对经多目标跟踪处理后得到的目标跟踪路径结果进行管理。

在上述基于智能视频分析平台的多目标跟踪系统的基础上，参考图1，如图2所示，本发明实施例还提供了一种基于智能视频分析平台的多目标跟踪方法，其实现包括如下步骤：

S02、任务接入单元200获取多目标跟踪任务，对所述至少一个多目标跟踪算法单元500进行负载均衡，并将所述多目标跟踪任务进行分配并下发；

S04、算法管理单元300依据所述任务接入单元200的输入以及获取的不同节点的原始视频流对所述至少一个多目标跟踪算法单元500进行管理；

S05、多目标跟踪算法单元500依据分配的多目标跟踪任务对相应的视频流进行多目标跟踪处理。

类似地，在一种具体实施方式中，在执行所述步骤S10之前，所述基于智能视频分析平台的多目标跟踪方法还包括：

S01、客户端100依据用户的输入进行多目标跟踪任务的制定。

另外，在执行步骤S04之前，所述基于智能视频分析平台的多目标跟踪方法还包括：

S03、视频流集群单元400为算法管理单元300提供不同节点的原始视频流，以供所述至少一个多目标跟踪算法单元500分析使用。

参考图3，本发明一具体实施例提供的多目标跟踪方法，包括如下具体步骤：

步骤S100：用户制定多目标跟踪任务，选择待分析视频流。

步骤S200：通过视频监控客户端，在视频流上画出兴趣区域，则算法只对该区域进行多目标跟踪分析，当然也可不制定兴趣区域，则默认对全屏进行算法分析。同时，也可勾选是否上传告警快照，是否存储目标轨迹等。规则相关信息以xml文件形式保存。

步骤S300：下发用户制定的任务，任务接入单元通过分析各算法单元上报的性能参数做负载均衡，避免某一台算法分析服务器过载。

步骤S400：从xml配置文件读取相应的规则参数，如兴趣区域的坐标、长宽以及其它用于算法运行的参数。

步骤S500：从视频流输入一帧图像，利用背景减除法提取前景目标。

步骤S600：利用多目标跟踪算法对前景目标进行新增、匹配、合并、分裂、删除等操作。

步骤S700：对闯入兴趣区域的目标进行快照抓拍、告警上报、路径记录等。

步骤S800：对快照、路径信息进行存储，待用户需要时进行查看。

步骤S900：重复步骤S500～S800。直到用户关闭该多目标跟踪任务。

本实施例中，在实现基于智能视频分析平台的多目标跟踪方法中，所述步骤S500～S800具体包括如下步骤：

A、根据用户制定的任务，提取视频流兴趣区域。

B、对兴趣区域采用背景减除法，提取前景目标。

C、原始目标与跟踪目标进行匹配，并将匹配结果写入标记模版。

D、按列扫描标记模版，处理目标分裂、目标消失情况。

E、按行扫描标记模版，处理目标新增、目标匹配、目标合并情况。

F、重复步骤B～E，直到用户停止该任务。

对于所述步骤A，提取视频流兴趣区域的具体步骤如下：

A1、从xml解析用户标注的兴趣区域，提取兴趣区域坐标。

A2、根据兴趣区域大小重新开辟新的图像存储区。

A3、最后根据坐标拷贝图像有用信息存入新开辟的空间中。

对于所述步骤B，提取前景目标的具体步骤如下：

B1、取100帧图像求取平均值，获得初始背景avgImg，再取100帧图像同初始背景avgImg计算背景像素的振幅值sgm。

B2、背景初始化后，对当前帧图像的每一像素点进行判断，若像素值在对应的背景图像像素值的振幅sgm内，则认为是背景，否则认为是前景。

B3、提取前景后，采取滑动平均的方法对初始背景avgImg和振幅sgm进行更新，背景以相对快的速率进行更新，前景则以相对慢的速率进行更新。

对于所述步骤C，原始目标与跟踪目标匹配过程具体步骤如下：

C1、标记模版充分反映了当前帧与前一帧目标的相互关系，当前帧目标集可表示为R={O_k,1,O_k,2,......O_k,n}，上一帧目标集可表示为L={O_k-1,1,O_k-1,2,......O_k-1,m}，其中O_k,1表示第k帧的第一个目标，所述n、m均为正数，且两者可以相等。标记模版中，行坐标表示当前帧目标集，列坐标表示上一帧目标集。如果当前帧目标与上一帧目标匹配上，则标记模版对应位置记为1，否则记为0。其中，标记模版可表示如下：

C2、计算当前帧与上一帧目标个数，为标记模版开辟大小合适的存储空间。

C3、取一个当前帧目标依次遍历上一帧目标集进行匹配操作，目标用矩形框来表示，匹配过程如下:

C31、计算当前帧目标与上一帧目标矩形框是否相交，并且相交面积是否大于原始目标矩形框面积的1/10，如果均满足则判断为真。

C32、分别计算当前帧目标矩形框四个坐标点(左上、右上、左下、右下)与上一帧目标矩形框四个坐标点的欧式距离，如果四个坐标点欧式距离均小于15个像素，则判断为真。

C33、如果C31与C32结果均为真，则匹配成功，标记模版对应位置记为1。

C34、重复C31～C33，直到遍历完所有上一帧目标。

C4、重复C3，直到遍历完所有当前帧目标。

对于所述步骤D，按列扫描标记模版，处理目标分裂、目标消失。

其中，对于目标分裂，其可表示如下：

其中，第一列中有多个当前帧目标与上一帧目标进行了匹配，则说明这个目标在当前帧出现了分裂。

对于目标消失，其可表示如下：

其中，第一列中与所有当前帧目标均匹配不上，也就是说上一帧的目标从画面中消失。

对于步骤D，其具体实现步骤如下：

D1、如果目标未出现目标分裂，也未出现目标消失，跳转步骤E。

D2、如果目标出现分裂，处理过程如下：

D21、如果未在ID簇信息中找到该分裂目标，那么通过新增目标存储的颜色信息从分裂目标中找出主目标并保持ID不变，更新其颜色、路径信息以及Kalman滤波器信息。余下分裂子目标按新增目标处理(参见步骤E)。

D22、如果在ID簇信息中找到该分裂目标，说明该分裂目标在之前出现过合并。首先还是找出主目标并赋予主ID号，更新其颜色、路径信息以及Kalman滤波器信息。余下分裂目标根据颜色信息在从ID簇中寻找与自己最匹配的目标信息，找到后赋予从ID号，更新颜色、路径信息以及Kalman滤波器信息。如果分裂目标多于从ID簇中记录的目标数，则多于的分裂目标按新增目标处理。

D23、处理完目标分裂情况后更新ID簇信息。

D3、如果目标出现消失，处理过程如下：

D31、如果用户需要存储跟踪目标的路径信息，则当目标消失后上报消失目标的路径信息。

D32、路径信息上报后，释放该目标相关的所有信息，包括颜色、路径、Kalman滤波器等。

D33、更新ID簇信息。

对于所述步骤E，按行扫描标记模版，处理目标新增、目标匹配、目标合并。

对于目标新增，其可表示如下：

其中，第一行所有值均为0，也就是说在匹配过程中，当前帧目标与上一帧所有跟踪目标均未匹配上，则当前目标为新出现目标。

对于目标匹配，其可表示如下：

其中，如果每一行均与每一列的一个目标进行匹配，并且同一列也仅有一个目标匹配上，则说明当前帧目标与上一帧目标一一匹配。

对于目标合并，其可表示如下：

其中，第一行当前帧目标与多个上一帧目标进行了匹配，则说明上一帧目标在当前帧出现了合并。

对于所述步骤E，其具体实现步骤如下：

E1、如果为新出现目标，为其新增Kalman滤波器、分配ID号、记录颜色以及路径信息。如果用户设置了快照抓拍，则上传新目标出现的首帧图像。

其中Kalman滤波器是一种用于时变线性系统的递归滤波器，这种滤波器是将过去的测量估计误差不断进行合并以此来估计将来的误差。对于多目标跟踪系统，由于前景提取、目标交叉等一系列因素，容易导致目标跟踪路径出现杂点。而Kalman滤波器这样的特性，可以很好地对目标跟踪过程中出现的误差进行自我矫正，从而使得路径信息更加平滑,充分保证了跟踪过程的精确性以及鲁棒性。

E2、如果目标是唯一匹配，则只需要更新其Kalman滤波器相关信息以及颜色、路径信息，继续对该目标进行有效跟踪。

E3、如果目标出现合并，则合并目标的Kalman滤波器用ID号最小目标的Kalman滤波器信息进行更新，同时更新颜色、路径信息。之后为该合并目标建立ID簇信息，以便在目标出现分裂时进行查找。ID簇示意如下：C={O_k→{O₁,O₂,......O_N}}，其中O_k表示主目标信息，{O₁,O₂,......O_N}表示所有从目标信息集合，目标信息由ID号以及目标颜色信息所组成。建立ID簇信息后，删除被合并目标的ID簇信息以及Kalman滤波器。

继续参照图4，其为本发明实施例提供的多目标跟踪算法具体执行流程示意图，其包括如下实现步骤：

步骤1、初始化临时变量，处理消失目标，上传消失目标路径信息；

步骤2、更新子区域图像；

步骤3、初始化并更新标记模版；

步骤4、按列扫描标记模版，处理目标分裂情况；

步骤5、判断目标是否出现分裂，如果是，则转步骤6，否则，转步骤9；

步骤6、判断是否未找到ID簇，如果是，则转步骤7，否则，转步骤22；

步骤7、根据颜色信息找出主目标，更新Kalman滤波器、更新颜色、路径信息以及显示框；

步骤8、剩余目标按新增目标进行处理；

步骤9、按行扫描模版，处理合并、新增等情况；

步骤10、判断是否为新出现目标，如果是，则转步骤11，否则，转步骤14；

步骤11、新增Kalman滤波器，分配ID号并记录颜色、路径信息；

步骤12、进行快照抓拍并上传；

步骤13、处理消失目标并上传消失目标路径信息，结束；

步骤14、判断是否唯一匹配，如果是，则转步骤15，否则，转步骤17；

步骤15、更新Kalman滤波器；

步骤16、更新颜色、路径信息前矫正预测值，之后转步骤13；

步骤17、判断是否与多个跟踪目标匹配，如果是，则转步骤18，否则，转步骤13；

步骤18、用最小ID号的Kalman滤波器进行参数更新；

步骤19、更新显示框以及颜色、路径信息；

步骤20、建立ID簇信息；

步骤21、删除被合并目标的ID簇信息以及Kalman滤波器，之后转步骤13；

步骤22、判断是否分裂个数大于或等于ID簇信息个数，如果是，则转步骤23，否则，转步骤28；

步骤23、根据颜色信息找出主目标，更新Kalman滤波器、更新颜色、路径信息以及显示框；

步骤24、删除ID簇主目标信息；

步骤25、剩余目标在ID簇信息中作一一匹配，还多余的按新增目标处理；

步骤26、销毁该ID簇以及ID对应的直方图内存区；

步骤27、如果主目标对应的ID簇为空，则删除这个ID簇，之后转步骤9；

步骤28、初始化并更新分裂标记模版；

步骤29、按列扫描分裂标记模版，建立ID簇的匹配；

步骤30、判断当前处理的是否是主目标，如果是，则转步骤31，否则，转步骤32；

步骤31、更新Kalman滤波器、更新颜色、路径信息以及显示框，之后转步骤27；

步骤32、剩余目标则需找出最小ID号并按新增目标处理；

步骤33、删除ID簇中剩余目标的对应信息，并新建ID簇，之后转步骤27。采用本发明实施例所述的基于智能视频分析平台的多目标跟踪方法具有如下优点：

(1)智能分析平台与算法相结合，大大提高了多目标跟踪的并行处理能力，可以同时对多路视频信号、多区域目标进行持续跟踪。

(2)可以直接在视频信号上进行兴趣区域的设置，丢弃不需要分析的区域，从而给算法分析留出最大的性能空间。

(3)Kalman滤波器与标记模版相结合，使得位置坐标变化更加平滑，恰当地反映了目标的运动趋势。并且通过坐标的自我迭代，充分保证位置信息的精确度以及鲁棒性。

(4)在多目标跟踪中引入个人颜色特征，进一步增加跟踪的准确性，特别当目标出现合并、分裂、匹配时大大地降低了人物编号出错的概率。

(5)快照抓拍以及跟踪路线的记录，可以在特殊事件的搜查中进行快速定位，特别是一些不发分子犯罪前的徘徊踩点、逃跑路线分析等。当用户需要搜索某特殊路径的关联目标，可在视频监控客户端输入路径的起点以及终点坐标，则与此路径相关联的目标会以快照形式检索出来，从而大大增加关键目标的锁定效率。

(6)采用动态链接库的方式对智能分析平台进行规划，可以非常方便地新增算法或者对原有算法进行升级，增加了该发明的灵活性。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种基于智能视频分析平台的多目标跟踪系统，其特征在于，包括：任务接入单元、算法管理单元以及至少一个多目标跟踪算法单元，其中：

多目标跟踪算法单元，用于依据分配的多目标跟踪任务对相应的视频流进行多目标跟踪处理；

其中，多目标跟踪算法单元依据分配的多目标跟踪任务对相应的视频流进行多目标跟踪处理包括：

从视频流输入一帧图像，利用背景减除法提取前景目标；

对快照以及路径信息进行存储；

其中，利用多目标跟踪算法对前景目标进行新增、匹配、合并、分裂、删除操作包括：

按列扫描标记模版，处理目标分裂、目标消失情况；

2.如权利要求1所述的基于智能视频分析平台的多目标跟踪系统，其中，还包括：

客户端，用于依据用户的输入进行多目标跟踪任务的制定。

3.如权利要求1所述的基于智能视频分析平台的多目标跟踪系统，其中，还包括：

4.如权利要求1所述的基于智能视频分析平台的多目标跟踪系统，其中，还包括：

5.如权利要求2所述的基于智能视频分析平台的多目标跟踪系统，其中，所述客户端还用于多目标跟踪结果的展示和多目标跟踪信息的查找。

6.一种基于智能视频分析平台的多目标跟踪方法，其特征在于，基于智能视频分析平台的多目标跟踪系统包括：任务接入单元、算法管理单元以及至少一个多目标跟踪算法单元，所述方法包括：

多目标跟踪算法单元依据分配的多目标跟踪任务对相应的视频流进行多目标跟踪处理；

其中，多目标跟踪算法单元依据分配的多目标跟踪任务对相应的视频流进行多目标跟踪处理的步骤包括：

从视频流输入一帧图像，利用背景减除法提取前景目标；

对快照以及路径信息进行存储；

其中，利用多目标跟踪算法对前景目标进行新增、匹配、合并、分裂、删除操作的步骤包括：

按列扫描标记模版，处理目标分裂、目标消失情况；

7.如权利要求6所述的基于智能视频分析平台的多目标跟踪方法，其中，在执行所有步骤之前，所述方法还包括：

客户端依据用户的输入进行多目标跟踪任务的制定。

8.如权利要求6所述的基于智能视频分析平台的多目标跟踪方法，其中，在执行算法管理单元依据所述任务接入单元的输入以及获取的不同节点的原始视频流对所述至少一个多目标跟踪算法单元进行管理的步骤之前，所述方法还包括：

9.如权利要求6所述的基于智能视频分析平台的多目标跟踪方法，其中，在执行从视频流输入一帧图像并利用背景减除法提取前景目标之前，根据用户制定的任务，提取视频流的兴趣区域；之后再对视频流的兴趣区域采用背景减除法，提取前景目标。

10.如权利要求9所述的基于智能视频分析平台的多目标跟踪方法，其中，对视频流的兴趣区域采用背景减除法，以提取前景目标的步骤包括：

11.如权利要求9所述的基于智能视频分析平台的多目标跟踪方法，其中，标记模版反映了当前帧与前一帧目标的相互关系，当前帧目标集可表示为R＝{O_k,1,O_k,2.......O_k,n}，上一帧目标集可表示为L＝{O_k-1,1,O_k-1,2.......O_k-1,m}，其中O_k,1表示第k帧的第一个目标，标记模版中，行坐标表示当前帧目标集，列坐标表示上一帧目标集，如果当前帧目标与上一帧目标匹配，则标记模版对应位置记为1，否则记为0。

12.如权利要求9所述的基于智能视频分析平台的多目标跟踪方法，其中，按列扫描标记模版，处理目标分裂、目标消失情况的处理方法包括：

如果目标出现分裂，则处理过程如下：

如果未在身份标识ID簇信息中找到该分裂目标，那么通过新增目标存储的颜色信息从分裂目标中找出主目标并保持ID不变，更新其颜色、路径信息以及卡尔曼Kalman滤波器信息，余下分裂子目标按新增目标处理；

处理完目标分裂情况后更新ID簇信息；

如果目标出现消失，则处理过程如下：

更新ID簇信息。

13.如权利要求9所述的基于智能视频分析平台的多目标跟踪方法，其中，按行扫描标记模版，处理目标新增、目标匹配、目标合并情况的处理方法包括：

如果目标出现合并，则合并目标的Kalman滤波器用ID号最小目标的Kalman滤波器信息进行更新，同时更新颜色、路径信息，之后为该合并目标建立ID簇信息，以便在目标出现分裂时进行查找，其中ID簇可表示为：C＝{O_k→{O₁,O₂......O_N}}，其中O_k表示主目标信息，{O₁，O₂......O_N}表示所有从目标信息集合，目标信息由ID号以及目标颜色信息所组成，建立ID簇信息后，删除被合并目标的ID簇信息以及Kalman滤波器。