CN104156978B - 基于球载平台的多目标动态跟踪方法 - Google Patents

Abstract

本发明公开了一种基于球载平台的多目标动态跟踪方法，包括有手动框选目标跟踪方法、自动检测跟踪方法，所述的手动框选目标跟踪方法是手动的在球载平台录像上标定一个跟踪目标然后予以跟踪，采用压缩降维方法，通过压缩降维理论来降维前景目标和背景的特征，作为在线学习更新分类器的正样本和负样本，然后使用该训练分类器去预测下一帧图像的目标位置；自动跟踪方法是通过在高空球载相机传下来的图像上手动设定一块初始化检测区域，然后对这块指定区域实时检测运动目标，对于检测出来的运动目标，予以标注出来，然后使用上述同样的在线学习跟踪方法去跟踪。本发明在保持跟踪实时性和一定准确率前提下有效克服球载视频晃动引起的跟踪难题。

Description

基于球载平台的多目标动态跟踪方法

技术领域

本发明涉及运动目标检测跟踪领域，具体涉及一种基于球载平台的多目标动态跟踪方法。

背景技术

球载平台浮空气球属于航空产品范畴。它可以搭载不同的电子设备来执行特定任务，具有留空时间长、载重能力大、安全性好、运行成本低等优点，具有飞机、卫星等其他平台难以替代的优势，在城市安防、防灾减灾和遥感、广播电视、测绘等领域有着广泛的应用前景，是目前世界各国竞相发展的焦点和热点，据中央台报道俄罗斯正在研制巨型飞艇，我国也将其列入十七个重大科技专项之一。

目前搭载在浮空气球载上的安防设备主要是可见光视频，其视频信息主要通过信号线传输到地面控制室，依靠地面人工值守监控，效率较低。随着浮空平台市场占有率的进一步扩大，如何进一步增强浮空平台的智能视频分析功能，提高其市场附加值，成为一个很重要的问题。本方法拟对浮空气球载视频监控系统中多目标跟踪展开研究，但是由于浮空气球载视频会出现背景的晃动，大大提高跟踪的难度系数，本发明也正是基于此问题而提出的基于球载平台的多目标跟踪方法，可以在一定的背景晃动下具有满意的跟踪效果。

发明内容

本发明提供了一种基于球载平台的多目标动态跟踪方法，以解决传统球载视频背景晃动而产生的跟踪难题。

为了达到上述目的，本发明所采用的技术方案为：

一种基于球载平台的多目标动态跟踪方法，其特征在于：包括有手动框选目标跟踪方法、自动检测跟踪方法，如果在跟踪的过程中选择警戒区域绘制抓拍预警以及录像实时保存，所述的警戒区域绘制抓拍预警是通过预先在高空球载相机监控场景的图像上绘制一块警戒区域，则所有经过该警戒区域的跟踪目标都会被进行抓拍预警；

（1）所述的手动框选目标跟踪方法是通过采用一种高效的跟踪算法实时的对高空球载相机传下来的图像框选出感兴趣的运动目标进行跟踪，手动框选目标跟踪方法要求跟踪的实时性以及对背景晃动的鲁棒性，同时如果跟踪目标进入了绘制的警戒区域，要求对其抓拍预警；具体为：

手动的在球载平台录像上标定一个跟踪目标然后予以跟踪，目标跟踪最基本要求就是实时性，同时由于是球载平台晃动，要求跟踪方法对背景晃动具有一定的鲁棒性；为了达到跟踪的实时性，采用压缩降维方法，通过压缩降维理论来降维前景目标和背景的特征，作为在线学习更新分类器的正样本和负样本，然后使用该训练分类器去预测下一帧图像的目标位置；正是将高维特征进行降维才能在不影响跟踪准确性前提下大幅度提高跟踪速度，具体跟踪过程：

1）在t帧的时候，采样得到若干张目标和背景的图像，其中目标和背景分别为正样本和负样本，然后对他们进行多尺度变换，再通过一个稀疏测量矩阵对多尺度图像特征进行降维，然后通过降维后的特征去训练朴素贝叶斯分类器，其中降维后的特征包括目标和背景；

2）在t+1帧的时候，在上一帧跟踪到的目标位置的周围采样n个扫描窗口（避免去扫描整幅图像），通过同样的稀疏测量矩阵对其降维，提取特征，然后用第t帧训练好的朴素贝叶斯分类器进行分类，分类分数最大的窗口就认为是目标窗口，这样就实现了从t帧到t+1帧的目标跟踪；

综上所述，手动框选目标跟踪方法中，通过稀疏测量矩阵对数目庞大的多尺度变换特征进行压缩，同时，由于为了抑制球载平台的晃动对跟踪结果影响，需要实时的更新分类器，以适应场景的变化，正是通过不断学习跟新分类器，实现背景晃动下目标跟踪。

（2）所述的自动跟踪方法是通过在高空球载相机传下来的图像上手动设定一块初始化检测区域，然后对这块指定区域实时检测运动目标，对于检测出来的运动目标，予以标注出来，然后使用步骤（1）中同样的在线学习跟踪方法去跟踪；其中检测运动目标的具体过程为：

由于球载平台下的图像都是会存在的晃动的，因此传统的静态背景下的运动目标检测算法在这里就失去了效果，为了提高检测性能，采用了经典光流算法；通过对标定的检测区域使用光流算法，来粗略的区分运动目标和背景，但是由于球载平台下视频都会存在背景明显晃动的现象，所以对每帧图像都做光流算法也无法准确的区别运动目标和背景，为使光流算法行之有效，必须在一定程度上抑制背景的晃动对光流检测目标的影响，由于球载浮空平台的抑制作用，使得球载相机只会出现左右来回晃动，不会出现相机上下晃动，这样球载平台录像多数情况下出现的都是左右来回晃动情况；为了抑制背景晃动对光流检测的影响，则通过计算各帧光流向量的累加和，因为背景是来回晃动，背景的运动速度矢量会被很好的抵消，通过当前帧的计算光流和光流累加和一起来确定修正运动目标；正是通过上述光流累加和的信息以及当前帧的信息按一定比例进行叠加而很好的抑制背景晃动对目标检测带来的影响，由于跟踪检测的实时性能要求，光流检测目标的算法性能必须非常高效，但是光流法一直无法普及应用与其计算量大速度性能差有很大关联性，为了解决光流法速度性能的问题，这里充分利用显卡的计算能力，利用显卡进行光流计算，这样可以同时使用CPU和GPU来解决传统光流法速度劣势的问题，达到检测的实时性能要求。

本发明的优点是：

本发明方法可以在保持跟踪实时性和一定准确率前提下有效克服球载视频晃动引起的跟踪难题。

附图说明

图1为本发明的整体流程图。

图2为手动框选目标跟踪方法原理图。

图3为光流检测目标的原理图。

具体实施方式

如图1所示，一种基于球载平台的多目标动态跟踪方法，包括有手动框选目标跟踪方法、自动检测跟踪方法，如果在跟踪的过程中选择警戒区域绘制抓拍预警以及录像实时保存，所述的警戒区域绘制抓拍预警是通过预先在高空球载相机监控场景的图像上绘制一块警戒区域，则所有经过该警戒区域的跟踪目标都会被进行抓拍预警；

（1）如图2所示，手动框选目标跟踪方法是通过采用一种高效的跟踪算法实时的对高空球载相机传下来的图像框选出感兴趣的运动目标进行跟踪，手动框选目标跟踪方法要求跟踪的实时性以及对背景晃动的鲁棒性，同时如果跟踪目标进入了绘制的警戒区域，要求对其抓拍预警；具体为：

手动的在球载平台录像上标定一个跟踪目标然后予以跟踪，目标跟踪最基本要求就是实时性，同时由于是球载平台晃动，要求跟踪方法对背景晃动具有一定的鲁棒性；为了达到跟踪的实时性，采用压缩降维方法，通过压缩降维理论来降维前景目标和背景的特征，作为在线学习更新分类器的正样本和负样本，然后使用该训练分类器去预测下一帧图像的目标位置；正是将高维特征进行降维才能在不影响跟踪准确性前提下大幅度提高跟踪速度，具体跟踪过程：

1）在t帧的时候，采样得到若干张目标和背景的图像，其中目标和背景分别为正样本和负样本，然后对他们进行多尺度变换，再通过一个稀疏测量矩阵对多尺度图像特征进行降维，然后通过降维后的特征去训练朴素贝叶斯分类器，其中降维后的特征包括目标和背景；

2）在t+1帧的时候，在上一帧跟踪到的目标位置的周围采样n个扫描窗口（避免去扫描整幅图像），通过同样的稀疏测量矩阵对其降维，提取特征，然后用第t帧训练好的朴素贝叶斯分类器进行分类，分类分数最大的窗口就认为是目标窗口，这样就实现了从t帧到t+1帧的目标跟踪；

综上所述，手动框选目标跟踪方法中，通过稀疏测量矩阵对数目庞大的多尺度变换特征进行压缩，同时，由于为了抑制球载平台的晃动对跟踪结果影响，需要实时的更新分类器，以适应场景的变化，正是通过不断学习跟新分类器，实现背景晃动下目标跟踪。

（2）所述的自动跟踪方法是通过在高空球载相机传下来的图像上手动设定一块初始化检测区域，然后对这块指定区域实时检测运动目标，对于检测出来的运动目标，予以标注出来，然后使用步骤（1）中同样的在线学习跟踪方法去跟踪；其中检测运动目标的具体过程为：

由于球载平台下的图像都是会存在的晃动的，因此传统的静态背景下的运动目标检测算法在这里就失去了效果，为了提高检测性能，采用了经典光流算法；通过对标定的检测区域使用光流算法，来粗略的区分运动目标和背景，但是由于球载平台下视频都会存在背景明显晃动的现象，所以对每帧图像都做光流算法也无法准确的区别运动目标和背景，为使光流算法行之有效，必须在一定程度上抑制背景的晃动对光流检测目标的影响，由于球载浮空平台的抑制作用，使得球载相机只会出现左右来回晃动，不会出现相机上下晃动，这样球载平台录像多数情况下出现的都是左右来回晃动情况；为了抑制背景晃动对光流检测的影响，则通过计算各帧光流向量的累加和，因为背景是来回晃动，背景的运动速度矢量会被很好的抵消，通过当前帧的计算光流和光流累加和一起来确定修正运动目标；图3为光流检测目标的原理图：正是通过上述光流累加和的信息以及当前帧的信息按一定比例进行叠加而很好的抑制背景晃动对目标检测带来的影响，由于跟踪检测的实时性能要求，光流检测目标的算法性能必须非常高效，但是光流法一直无法普及应用与其计算量大速度性能差有很大关联性，为了解决光流法速度性能的问题，这里充分利用显卡的计算能力，利用显卡进行光流计算，这样可以同时使用CPU和GPU来解决传统光流法速度劣势的问题，达到检测的实时性能要求。

Claims (1)

1.一种基于球载平台的多目标动态跟踪方法，其特征在于：包括有手动框选目标跟踪方法、自动检测跟踪方法，如果在跟踪的过程中选择警戒区域绘制抓拍预警以及录像实时保存，则所有经过该警戒区域的跟踪目标都会被进行抓拍预警；所述的警戒区域绘制抓拍预警是通过预先在高空球载相机监控场景的图像上绘制一块警戒区域；

（1）所述的手动框选目标跟踪方法是通过采用跟踪算法实时地对高空球载相机传下来的图像框选出感兴趣的运动目标进行跟踪，同时如果跟踪目标进入了绘制的警戒区域，要求对其抓拍预警；具体为：

手动的在球载平台录像上标定一个跟踪目标然后予以跟踪，采用压缩降维方法，通过压缩降维理论来降维前景目标和背景的特征，作为在线学习更新分类器的正样本和负样本，然后使用该训练分类器去预测下一帧图像的目标位置；具体跟踪过程：

1）在t帧的时候，采样得到若干张目标和背景的图像，其中目标和背景分别为正样本和负样本，然后对它们进行多尺度变换，再通过一个稀疏测量矩阵对多尺度图像特征进行降维，然后通过降维后的特征去训练朴素贝叶斯分类器，其中降维后的特征包括目标和背景；

2）在t+1帧的时候，在上一帧跟踪到的目标位置的周围采样n个扫描窗口，通过同样的稀疏测量矩阵对其降维，提取特征，然后用第t帧训练好的朴素贝叶斯分类器进行分类，分类分数最大的窗口就认为是目标窗口，这样就实现了从t帧到t+1帧的目标跟踪；

（2）所述的自动跟踪方法是通过在高空球载相机传下来的图像上手动设定一块初始化检测区域，然后对这块指定区域实时检测运动目标，对于检测出来的运动目标，予以标注出来，然后使用步骤（1）中同样的在线学习跟踪方法去跟踪；其中检测运动目标的具体过程为：

通过对标定的检测区域使用光流算法进行检测，来粗略的区分运动目标和背景，计算各帧光流向量的累加和，通过当前帧的计算光流和光流向量的累加和一起来确定修正运动目标；其中，利用显卡进行光流计算，即同时使用CPU和GPU来实时计算光流。