CN109118521A - 一种基于特征相似性学习的运动目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于特征相似性学习的运动目标跟踪方法，包括：输入前一帧的目标状态和分类器参数W'_t‑1；根据前一帧目标状态获取候选正样本计算的特征相似性表示计算其回归得分计算目标最优状态更新分类器参数W'_t；输出最优状态和分类器参数W'_t。本发明通过研究特征的非局部相似性信息，构造了一种非局部相似性度量函数，并提出了基于非局部相似性学习的运动目标跟踪方法，能够有效地把跟踪目标和背景区分开，在光照影响较大、目标出现严重遮挡等复杂场景下显著地提高了跟踪器的精度和稳健性。

Description

一种基于特征相似性学习的运动目标跟踪方法

技术领域

本发明属于图像处理领域，尤其涉及一种基于特征相似性学习的运动目标跟踪方法。

背景技术

视觉运动目标跟踪是指从摄像机记录的视频序列中连续地推断特定目标运动状态轨迹的技术，是计算机视觉研究中非常重要的一个研究课题,可用于自动监控、机器人导航、人机接口等很多应用领域。运动目标跟踪不仅推动了图像处理、模式识别、机器学习和人工智能等领域的理论研究，也成为很多实用的计算机视觉系统必不可少的一个环节。尽管运动目标跟踪对于人类视觉系统而言是一个非常简单的任务，但对于计算机视觉而言，现有跟踪算法的性能还远没有达到人类视觉系统的智能。主要困难在于自然场景中的运动目标跟踪不仅要解决如何将目标与周围相似的背景区分开来，还要解决跟踪过程中目标由于姿态、光照和遮挡等因素导致的外观变化,需要有效地处理快速运动、遮挡，光照影响，背景杂波等多方面的问题。视觉目标跟踪是指从摄像机记录的视频序列中连续地推断特定目标运动状态轨迹的技术，是计算机视觉研究中非常重要的一个研究课题,可用于自动监控、机器人导航、人机接口等很多应用领域。目标跟踪不仅推动了图像处理、模式识别、机器学习和人工智能等领域的理论研究，也成为很多实用的计算机视觉系统必不可少的一个环节。尽管目标跟踪对于人类视觉系统而言是一个非常简单的任务，但对于计算机视觉而言，现有跟踪算法的性能还远没有达到人类视觉系统的智能。主要困难在于自然场景中的目标跟踪不仅要解决如何将目标与周围相似的背景区分开来，还要解决跟踪过程中目标由于姿态、光照和遮挡等因素导致的外观变化,需要有效地处理快速运动、遮挡，光照影响，背景杂波等多方面的问题。

相当多的基于全局或局部特征的表示方法已经被设计出来，用于进行视频跟踪。但是，传统的方法仅仅利用了两帧间的最佳匹配特征，而没有有效利用特征间的相互作用，使得目标表观发生重大变化如光照变化影响较大或目标出现严重遮挡时，容易造成跟踪失败。

发明内容

为了解决上述问题，本发明在对传统的利用局部或全局特征的基础上，加入了对特征的相互关系的度量，并构造出特征的非局部相似性度量函数。使得跟踪算法在处理问题时变得更稳健更准确。

为实现上述目的，本发明公开了一种基于特征相似性学习的运动目标跟踪方法，包括以下步骤：

步骤1，输入前一帧的目标状态和分类器参数W'_t-1，利用运动模型采样出n_p个候选粒子这里的运动模型即在前一帧目标位置周围运动(参考文献：

Wang N,Shi J,Yeung D Y,et al.Understanding and diagnosing visualtracking

systems[C]//Proceedings of the IEEE International Conference onComputer Vision.2015:3101-3109.)；

步骤2，根据步骤1中每一个粒子状态裁剪(即调用matlab子函数在上一帧周围直接裁剪)出当前帧中的与之对应的图像块并且计算其非局部相似性NSL特征表示最终得到其观测模型

步骤3，根据观测模型找出目标最优状态并得到其对应的图像块

步骤4，更新分类器参数W'_t←W'_t-1；

步骤5，输出目标最优状态输出分类器参数W'_t用于下一帧的计算；

步骤1中，所述前一帧的目标状态和分类器参数W'_t-1是之前t-1帧时输出的结果。

步骤2中，所述当前帧中的与之对应的图像块是在上一帧每一个粒子状态的基础上得到的。

步骤2中，通过如下公式计算非局部相似性NSL(Nonlocal Similarity Learning)特征表示

其中X表示串联起来的所有图像块，而向量x_i表示第i个图像块，vec(·)表示矩阵向量化操作，而表示每个图像块的相似性表示，其中的ψ(x_j,x_i)表示两个向量x_j和x_i间的匹配信息，比如向量x₁和向量x₂之间的相似性ψ(x₁ ^T,x₂ ^T)具体计算公式如下：

ψ(x₁ ^T,x₂ ^T)＝[x₁x₁ ^T,x₂x₂ ^T,x₁x₂ ^T,x₂x₁ ^T]，

最后的观测模型其中的表示当前帧的图像块的得分，这里的逻辑分类器f(X)如下所示：

其中，＜·,·＞_F表示F(Frobenius)内积，W'_j为学习到的权重矩阵，s(x_i,x_j)表示x_i,x_j的相似性。

步骤3中，通过如下公式计算目标最优状态

其中，P(o_t|s_t)表示在当前帧状态s_t的前提下的观测结果，P(s_t|O_t-1)表示在前一帧的目标位置O_t-1的前提下，当前帧采样的结果，其实就是根据前一帧的跟踪结果，在当前帧进行采样，其中的N(s_t|s_t-1,Σ)是服从高斯分布的采样，即对附近样本采样，∑＝diag(σ_x,σ_y,σ_s)，σ_x,σ_y,σ_s表示正态分布的参数，最后，则是所求得的当前帧最优状态，即当前帧跟踪结果。

步骤6中，若回归得分小于阈值ρ即(ρ一般取0.90-0.95)，则用SGD随机梯度下降法对分类器参数W'_t进行更新，否则不更新。

本发明的有益效果是：本发明提出的基于特征相似性学习的运动目标跟踪方法有效地利用了特征的非局部相似性信息，在目标发生遮挡、旋转、尺度变化、快速运动、光照变化等各种复杂情况下，依然可以准确地跟踪目标，显著地提高了跟踪算法的精度和稳健性。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1为本发明的流程图。

图2为本发明与其它主流跟踪算法的成功率对比图。

图3为本发明与其它主流跟踪算法的精度对比图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

本发明提供的基于特征相似性学习的视频运动目标跟踪方法，如图1所示，具体包括以下操作步骤：

步骤1，输入前一帧的目标状态和分类器参数W'_t-1，利用运动模型采样出n_p个候选粒子前一帧的目标状态和分类器参数W'_t-1是之前t-1帧时输出的结果。

步骤2，根据步骤1中每一个粒子状态裁剪出当前帧中的与之对应的图像块并且计算其非局部相似性NSL特征表示最终得到其观测模型

步骤3，根据观测模型找出目标最优状态并得到其对应的图像块

步骤4，更新分类器参数W'_t←W'_t-1；

步骤5，输出目标最优状态输出分类器参数W'_t用于下一帧的计算；

步骤1中，所述前一帧的目标状态和分类器参数W'_t-1是之前t-1帧时输出的结果。

步骤2中，所述当前帧中的与之对应的图像块是在上一帧每一个粒子状态的基础上得到的。

步骤2中，通过如下公式计算非局部相似性NSL特征表示

其中X表示串联起来的所有图像块，vec(·)表示矩阵向量化操作，而

表示每个图像块的相似性表示，其中的ψ(x_j,x_i)表示两个向量x_j和x_i间的匹配信息，比如向量x₁和向量x₂之间的相似性,具体计算公式如下：

ψ(x₁ ^T,x₂ ^T)＝[x₁x₁ ^T,x₂x₂ ^T,x₁x₂ ^T,x₂x₁ ^T]，

最后的观测模型其中的表当前帧的图像块的得分，这里的逻辑分类器f(X)如下所示：

其中，＜·,·＞_F表示F(Frobenius)内积，W'_j为学习到的权重矩阵。

步骤3中，通过如下公式计算目标最优状态

P(o_t|s_t)表示在当前帧状态s_t的前提下的观测结果，P(s_t|O_t-1)表示在前一帧的目标位置O_t-1的前提下，当前帧采样的结果，其实就是根据前一帧的跟踪结果，在当前帧进行采样，其中的N(s_t|s_t-1,Σ)是服从高斯分布的，即对近邻样本采样，∑＝diag(σ_x,σ_y,σ_s)，σ_x,σ_y,σ_s表示正态分布的参数，最后，则是所求得的当前帧最优状态，即当前帧跟踪结果，最后的结果即[高度h，宽度w，左上角坐标值x，左上角坐标值y]。

步骤6中，若回归得分小于阈值ρ即(ρ一般取0.90-0.95)，则用SGD随机梯度下降法对分类器参数W'_t进行更新，否则不更新。

本发明效果评价：本发明采用两种评价准则评估跟踪器的性能：成功率图(success plots)和精度图(precision plots)。在成功率图中，横坐标表示重叠阈值(Overlap threshold)，纵坐标表示成功率(Success rate)，重叠率是通过计算跟踪结果目标框与真实结果目标框的重叠率获得的。当重叠率大于阈值时，跟踪结果视为准确。在本发明中，曲线下面积(AUC)用于评估不同的跟踪器，AUC越大的跟踪器性能越好。类似地，在精度图中，横坐标表示位置误差阈值(Location error threshold)，单位是像素，纵坐标表示精度(Precision)。位置误差是通过计算算法跟踪结果与目标真实值之间的目标中心位置的欧式距离。当测得的位置误差小于阈值时，则认为跟踪结果是准确的。本发明用误差阈值为像素灰度值20时对应的精度来估测不同的跟踪器，精确度越高说明跟踪器性能越好。

通过上述两种评价方式，选取50个视频序列验证本实施例提供的目标跟踪方法，这些视频序列含有不同的挑战因素，包括：光照变化(IV)、尺寸变化(SV)、遮挡(OCC)、变形(DEF)、快速运动(FM)、运动模糊(MB)、面内旋转(IPR)、超出范围(OV)、面外旋转(OPR)、背景混乱(BC)和低分辨率(LR)。同时，将本发明设计的跟踪方法与现有的4种主流跟踪方法进行了比较，包括RPT、KCF、DSST、Struck。图2和图3分别为本发明和其他几种主流跟踪方法的成功率和精度的对比。

由此可见，本发明提供的目标跟踪方法，与已有的方法相比，精度有了明显的提高，跟踪结果更为稳定。

本发明提供了一种基于特征相似性学习的运动目标跟踪方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (6)

1.一种基于特征相似性学习的运动目标跟踪方法，其特征在于，包括以下步骤：

步骤1，输入前一帧的目标状态和分类器参数W'_t-1，利用运动模型采样出n_p个候选粒子

步骤2，根据步骤1中每一个粒子状态裁剪出当前帧中的与之对应的图像块并且计算其非局部相似性NSL特征表示最终得到其观测模型

步骤3，根据观测模型找出目标最优状态并得到其对应的图像块

步骤4，更新分类器参数W'_t←W'_t-1；

步骤5，输出目标最优状态输出分类器参数W'_t用于下一帧的计算。

2.如权利要求1所述的方法，其特征在于，步骤1中，所述前一帧的目标状态和分类器参数W'_t-1是之前t-1帧时输出的结果。

3.如权利要求2所述的方法，其特征在于，步骤2中，所述当前帧中的与之对应的图像块是在上一帧每一个粒子状态的基础上得到的。

4.如权利要求3所述的方法，其特征在于，步骤2中，通过如下公式计算非局部相似性NSL特征表示

其中X表示串联起来的所有图像块，而向量x_i表示第i个图像块，vec(·)表示矩阵向量化操作，而表示每个图像块的相似性表示，其中的ψ(x_j,x_i)表示两个向量x_j和x_i间的匹配信息，向量x₁和向量x₂之间的相似性ψ(x₁ ^T,x₂ ^T)具体计算公式如下：

ψ(x₁ ^T,x₂ ^T)＝[x₁x₁ ^T,x₂x₂ ^T,x₁x₂ ^T,x₂x₁ ^T]，

最后的观测模型其中的表示当前帧的图像块的得分，逻辑分类器f(X)计算公式如下所示：

其中，＜·,·＞_F表示F内积，W'_j为学习到的权重矩阵，s(x_i,x_j)表示x_i,x_j的相似性。

5.如权利要求4所述的方法，其特征在于，步骤3中，通过如下公式计算目标最优状态

其中，P(o_t|s_t)表示在当前帧状态s_t的前提下的观测结果，P(s_t|O_t-1)表示在前一帧的目标位置O_t-1的前提下当前帧采样的结果，其中的N(s_t|s_t-1,Σ)是服从高斯分布的采样，即对附近样本采样，∑＝diag(σ_x,σ_y,σ_s)，σ_x,σ_y,σ_s表示正态分布的参数，最后，则是所求得的当前帧最优状态，即当前帧跟踪结果。

6.如权利要求5所述的方法，其特征在于，步骤6中，若回归得分小于阈值ρ即则用SGD随机梯度下降法对分类器参数W'_t进行更新，否则不更新。