CN108734177A - 双步相关滤波目标跟踪方法 - Google Patents

Abstract

本发明公开了一种双步相关滤波目标跟踪方法，涉及计算机视觉技术领域，特别是图像处理目标跟踪领域。本算法重点在于加强相关滤波目标跟踪的鲁棒性，提高相关滤波目标跟踪处理目标遮挡能力。本发明包含以下步骤：(1)融合HOG与CN特征获取目标更为全面的特征表征来提高目标跟踪的鲁棒性。(2)采用双步相关滤波目标跟踪方法，通过粗定位与精定位相结合，提高目标跟踪的精度保证跟踪速度。(3)采用新的目标跟踪置信度指标，通过置信度指标自适应更新滤波器模板，解决目标遮档时的滤波器模板被污染的问题。实验结果表明，双步相关滤波目标跟踪方法，较基础方法提高了目标跟踪的精度和鲁棒性，实现了实时性较强的目标跟踪，对现有技术有重要改进。

Description

双步相关滤波目标跟踪方法

技术领域

本发明涉及计算机视觉技术领域，特别是图像处理目标跟踪领域。

背景技术

目标跟踪根据已知图像确定位置处的目标，预测确定目标在下一帧中的图像位置，进而达到目标持续跟踪。由于目标跟踪具有光照变化、尺度变化、目标遮挡、目标形变、运动模糊、快速运动、目标旋转、超出视野、背景干扰、低分辨率等问题，以及目标信息较少，对目标的建模难度较大的问题导致目标跟踪困难。相关滤波目标跟踪方法作为一种判别式跟踪方法，由于其具有超高的跟踪速度和较强的跟踪鲁棒性，因此对相关滤波目标跟踪算法进行研究对目标实时性跟踪，提高跟踪鲁棒性具有重要意义。

国外学者对该领域进行了深入的研究：Bolme等人提出最小化输出均方误差方法(Minimum Output Sum of Squared Error,MOSSE)，通过最小化滤波目标结果与目标值的误差来训练滤波器模板完成目标跟踪。该方法首次将相关滤波应用到目标跟踪中，跟踪速度达到669Fps，算法跟踪鲁棒性较好。Henriques等人提出核相关滤波(KernelizedCorrelation Filters,KCF)目标跟踪方法。用循环矩阵性质将相关滤波训练过程的采样等价于目标特征矩阵循环移位操作，来完成滤波器模板训练的密集采样，并采用核函数方法，解决非线性问题。该方法极大地加速了目标滤波器模板的训练过程，提高了相关滤波目标跟踪方法的鲁棒性。Bibi提出自适应多尺度核相关滤波(Scale Adaptive KernelCorrelation Filter,SAMF)方法。通过构建目标尺度池，分别对不同尺度图像进行相关滤波，来估计目标尺度变化。该方法解决了目标尺寸的变化问题，但由于跟踪速度限制尺度池设置有限，导致对于目标尺度变化不敏感。Danelljan提出尺度空间判别跟踪(Discriminative Scale Space Tracking,DSST)方法。通过额外的一维尺度相关滤波器，判别目标尺度池中的最佳尺度。该方法简单高效，对目标尺度变化估计精确。马超提出分层卷积特征目标跟踪(Hierarchical Convolutional Features for Visual Tracking,HCFT)方法，通过卷积神经网络强大的特征提取能力，来提取目标更为鲁棒的特征，提高了目标跟踪的鲁棒性和精度，但跟踪速度较慢。刘婷提出自适应分块目标跟踪(Real-timepart-based tracking via adaptive correlation filters,RPAC)方法，通过将目标分解为局部目标，对局部目标分别进行相关滤波跟踪，然后结合分块信息作为最终跟踪结果。该方法对目标遮挡情况的跟踪效果较好，但目标分块模型较为复杂，一些情况下目标跟踪的鲁棒性不高。

上述算法针对相关滤波目标跟踪算法进行了创新与改进，但仍存在以下问题：目标跟踪的精度和鲁棒性有待进一步提高；对目标遮挡的处理以及发生遮挡时的模板更新问题有待优化。

发明内容

有鉴于此，本发明的目的在于提出一种双步相关滤波目标跟踪算法，该方法能够提高目标跟踪算法的鲁棒性，有效解决目标遮挡等问题导致的滤波器模板污染问题。

基于上述目的，本发明提供的技术方案是：

双步相关滤波目标跟踪方法，该方法包括以下步骤：

步骤一：分别提取训练目标图像特征，训练粗定位相关滤波器模板、精定位相关滤波器模板和目标尺度相关滤波器模板；

步骤二：提取预测目标图像HOG特征，用训练后的粗定位相关滤波器模板确定目标大致图像位置；

步骤三：在目标大致图像位置提取目标图像块HOG与CN融合特征，用训练后的精定位相关滤波器模板求取目标精定位响应图确定目标精确图像位置；

步骤四：在目标精确图像位置提取目标多尺度图像特征，用训练后的尺度相关滤波器确定目标尺度大小；

步骤五：根据目标精定位响应图，计算目标跟踪置信度指标值；

步骤六：在目标精确图像位置按照步骤一方法分别训练粗定位相关滤波器模板、精定位相关滤波器模板和目标尺度相关滤波器模板，根据目标跟踪置信度阈值，自适应更新相关滤波器模板；

步骤七：根据目标跟踪置信度指标值，更新目标跟踪置信度阈值；

步骤八：重复步骤二～步骤七；

完成目标跟踪。

其中，步骤一具体包括以下步骤：

(101)在训练目标图像位置分别以目标大小将图像扩展1.6倍，提取对应目标图像块Cell大小为8的31维HOG特征x_ci；

(102)通过最小化损失函数来训练粗定位相关滤波器模板w_C，其中，是滤波器响应目标值，u＝{1,2,…W}，v＝{1,2,…H},W/H是目标图像块的宽和高，λ＝0.0001是正则化系数，n表示训练用目标图像数，训练得到粗定位相关滤波器模板 是各矩阵的离散傅里叶变换DFT结果，⊙表示对应元素相乘；

(103)在训练目标图像位置分别以目标大小将目标图像扩展1倍，提取对应目标图像块Cell大小为1的31维HOG特征；以同样大小图像块提取11维CN特征；将提取的HOG特征与CN特征按通道融合为42维目标特征x_Fi；

(104)通过最小化损失函数来训练精定位相关滤波器模板w_F，训练得到精定位相关滤波器模板

(105)在训练目标图像位置以目标大小图像提取对应目标图像块Cell大小为4的31维HOG特征x_si；

(106)通过最小化损失函数来训练尺度相关滤波器模板w_s，训练得到目标尺度相关滤波器模板

其中，步骤二具体包括以下步骤：

(201)在预测目标图像位置以目标大小将目标图像扩展1.6倍，提取对应目标图像块Cell大小为8的31维HOG特征z_C；

(202)用粗定位相关滤波器求取目标粗定位响应图d表示目标特征通道数，目标粗定位响应图最大处为目标大致图像位置。

其中，步骤三具体包括以下步骤：

(301)在目标大致图像位置以目标大小将目标图像扩展1倍，提取对应目标图像块Cell大小为1的31维HOG特征；以同样大小目标图像块提取11维CN特征；将提取的HOG特征与CN特征按通道融合为42维目标特征z_F；

(302)用精定位相关滤波器求取目标精定位响应图目标精定位响应图最大处为目标精确图像位置。

其中，步骤四具体包括以下步骤：

(401)在目标精确图像位置构造目标图像尺度池，sW×sH，W/H是目标图像块的宽和高，N＝33是目标尺度数，a＝1.02表示尺度步长；

(402)对目标图像尺度池中所有不同尺度图像提取对应目标图像块Cell大小为4的31维HOG特征z_S；

(403)用目标尺度相关滤波器求取目标尺度响应图目标尺度响应图最大处为目标尺度大小。

其中，步骤五具体为：

根据目标精定位响应图，求取目标跟踪置信度指标分别是目标精定位响应图的最大值和均值，是目标精定位响应图不同位置点的目标响应值，y_F为目标精定位响应图，ω/k分别表示目标精定位响应图的宽和高。

其中，步骤六具体包括以下步骤：

(601)在目标精确图像位置，按照(101)，(103)和(105)步骤方法得到目标特征；

(602)判断目标跟踪置信度指标值AP是否满足置信度阈值shd条件，如果大于置信度阈值则对滤波器模板按下式：进行更新，如果小于置信度阈值则不更新，a/b表示不同滤波器模板的对应变量，a_old/b_old表示更新前不同滤波器模板的对应变量，x表示对应滤波器模板提取的目标特征。

其中，步骤七具体为：

根据目标跟踪置信度指标值AP，更新目标跟踪置信度阈值shd，shd＝(1-κ)·shd_old+κ·AP，κ＝0.05是阈值更新率，shd_old为更新前的目标跟踪置信度阈值，在目标图像首帧训练滤波器模板，shd为0。

本发明相比背景技术的优点在于：

本算法的重点在于加强相关滤波目标跟踪的鲁棒性和精度，提高相关滤波目标跟踪处理目标遮挡能力，避免目标跟踪中的模型污染问题，同时可以保证跟踪的实时性。双步相关滤波目标跟踪方法，较基础方法提高了目标跟踪的精度和鲁棒性，能够实现实时性较强的目标跟踪，是对现有技术的重要改进。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的一个方法流程图。

图2为目标图像不同Cell的HOG特征可视化图和重构图。

图3为目标跟踪不同时刻置信度指标值。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明做进一步的详细说明。

本实施方式阐述了双步相关滤波目标跟踪算法的原理，按照滤波器模板训练、目标位置粗定位、目标位置精定位、目标尺度估计、目标置信度指标值计算、目标滤波器模板更新的思路进行计算，着重对相关滤波目标跟踪算法的结构、目标特征融合以及目标滤波器模板更新方式进行优化改进，并分别将本算法与传统算法进行跟踪鲁棒性和精度对比以说明本发明的优势所在。其具体步骤如下：

步骤一：分别提取训练目标图像特征，训练粗定位相关滤波器模板、精定位相关滤波器模板和目标尺度相关滤波器模板；

(101)在训练目标图像位置分别以目标大小将图像扩展1.6倍，提取对应目标图像块Cell大小为8的31维HOG特征x_ci；

(102)通过最小化损失函数来训练粗定位相关滤波器模板w_C，是滤波器响应目标值，u＝{1,2,…W}，v＝{1,2,…H},W/H是目标图像块的宽和高，λ＝0.0001是正则化系数，n表示训练用目标图像数，可训练得到粗定位相关滤波器模板 是各矩阵的离散傅里叶变换DFT结果，⊙表示对应元素相乘；

(103)在训练目标图像位置以目标大小将目标图像扩展1倍，提取对应目标图像块Cell大小为1的31维HOG特征以同样大小图像块提取11维CN特征将提取的HOG特征与CN特征按通道融合为42维目标特征x_F；

(104)通过最小化损失函数来训练精定位相关滤波器模板w_F，可训练得到精定位相关滤波器模板

方向梯度直方图(Histogram of Oriented Gradients,HOG)特征是一种物体检测特征描述子，通过计算图像的梯度直方图来描述物体的表观特征。其包含图像的局部信息和全局信息，对目标的特征描述准确，并且不受光照的影响，同时特征计算速度快。

如图2所示，图(a)为跟踪视频中的某一帧目标图像，图(b)左侧为在不同Cell大小，提取的目标图像HOG特征可视化图，图(b)右侧为根据对应不同Cell大小的HOG目标特征重构出的目标图像。由(b)不同单元重构图像可以看出，单元越大，图像细节信息越少，而图像语义信息越丰富，反之，则图像的细节信息越丰富，图像的语义信息越少，同时Cell越大目标HOG特征计算速度越快。类似于卷积神经网络提取目标特征特点，不同于神经网络，HOG特征提取需要的参数更少，计算速度更快。

图像的语义信息对目标位置的变化描述较好，而图像的细节信息可完成目标位置的精确定位。通过精定位与粗定位结合跟踪策略来提高目标跟踪的鲁棒性，同时大单元HOG特征计算量小，跟踪速度损失小，能够保证目标跟踪的实时性。

(105)在训练目标图像位置以目标大小图像提取对应目标图像块Cell大小为4的31维HOG特征x_si；

(106)通过最小化损失函数来训练尺度相关滤波器模板w_s，可训练得到目标尺度相关滤波器模板

步骤二：提取预测目标图像HOG特征，用训练后的粗定位相关滤波器模板确定目标大致图像位置；

(201)在预测目标图像位置以目标大小将目标图像扩展1.6倍，提取对应目标图像块Cell大小为8的31维HOG特征z_C；

(202)用粗定位相关滤波器求取目标粗定位响应图d表示目标特征通道数，目标粗定位响应图最大处为目标大致图像位置。

步骤三：在目标大致图像位置提取目标图像块HOG与CN融合特征，用训练后的精定位相关滤波器模板求取目标精定位响应图确定目标精确图像位置；

(301)在目标大致图像位置以目标大小将目标图像扩展1倍，提取对应目标图像块Cell大小为1的31维HOG特征以同样大小目标图像块提取11维CN特征将提取的HOG特征与CN特征按通道融合为42维目标特征z_F；

MOSSE相关滤波目标跟踪方法采用灰度特征作为目标特征描述子进行目标跟踪，但灰度特征容易受到噪声以及光照等因素的影响，因此目标跟踪的鲁棒性相对较低。其后学者使用HOG特征作为目标跟踪特征提取算法，HOG特征由于对目标梯度信息的表示，对目标细节的刻画，同时其对光照等因素不敏感，因此目标跟踪的鲁棒性较高。

颜色(Color Name,CN)特征在目标识别和检测领域已经得到广泛应用，将CN特征应用到目标跟踪中，在基于颜色目标跟踪方面取得不错的效果。CN特征将目标RGB(红，绿，蓝)3通道颜色特征映射为黑、蓝、棕、灰、绿、橙、粉、紫、红、白和黄(black,blue,brown,grey,green,orange,pink,purple,red,white,yellow)11维颜色的通道特征，较RGB三原色特征对目标的表征能力更强，而且具有一定的光学不变性。

而单一特征对目标特征的表征不完备，对目标跟踪的影响因素判别能力不全面，基于特征融合的目标跟踪方法较单一特征具有更高的鲁棒性。采用HOG特征与CN特征融合的目标跟踪方法，CN特征对目标具有一定的形变不变性，并且在目标模糊时仍具有一定的判别能力。CN特征对于目标的表观特性描述与HOG特征对目标细节的刻画相补充，对目标的描述更为完备，可提高目标特征在多种场景的判别力，提高目标跟踪的鲁棒性。

(302)用精定位相关滤波器求取目标精定位响应图目标精定位响应图最大处为目标精定位图像位置。

步骤四：在目标精确图像位置提取目标多尺度图像特征，用训练后的尺度相关滤波器确定目标尺度大小；

(401)在目标精确图像位置构造目标图像尺度池，sW×sH，W/H是目标图像块的宽和高，N＝33是目标尺度数，a＝1.02表示尺度步长；

(402)对目标图像尺度池中所有不同尺度图像提取对应目标图像块Cell大小为4的31维HOG特征z_S；

(403)用目标尺度相关滤波器求取目标尺度响应图目标尺度响应图最大处为目标尺度大小。

步骤五：根据目标精定位响应图，计算目标跟踪置信度指标值；

(501)根据目标精定位响应图，求取目标跟踪置信度指标分别是目标精定位响应图的最大值和均值，是目标精定位响应图不同位置点的目标响应值，y_F为目标精定位响应图，ω/k分别表示目标精定位响应图的宽和高。

步骤六：在目标精确定位图像位置按照步骤一方法分别训练粗定位相关滤波器模板、精定位相关滤波器模板和目标尺度相关滤波器模板，根据目标跟踪置信度阈值，自适应更新相关滤波器模板；

(601)在目标精确图像位置，按照(101)，(103)和(105)步骤方法得到目标特征x_C,x_F,x_S。

(602)判断(501)所求AP值是否满足置信度阈值shd条件，如果大于置信度阈值则对滤波器模板按下式： 进行更新，如果小于置信度阈值则不更新，a/b表示不同滤波器模板的对应变量，x表示对应滤波器模板提取的目标特征即x_C,x_F,x_S。

基于相关滤波目标跟踪方法，在目标跟踪过程中，经常会出现目标被遮挡或出视野等问题，而标准相关滤波目标跟踪方法，目标滤波器模板在跟踪过程中实时更新，以满足目标旋转、形变等问题的跟踪情况，因此当目标被遮挡，目标滤波器模板会因为学习到遮挡信息而受到污染，导致模型漂移，最终导致目标跟踪失败。

对目标跟踪效果进行评判，根据跟踪置信度自适应更新滤波器模板是一种简单有效的处理目标遮挡模型漂移的策略。当目标跟踪效果较好时，实时更新滤波器模板以满足目标形变等需要，当目标跟踪物体被遮挡或出视野等情况下，保存目标滤波器模板，待目标恢复，继续进行跟踪并更新目标模板，在避免模型漂移的同时可以在一定程度上减少计算量，提高跟踪速度。

步骤七：根据目标跟踪置信度，更新置信度阈值；

(701)根据(501)所求目标跟踪置信度指标值AP，更新目标跟踪置信度阈值，shd＝(1-κ)·shd_old+κ·AP，κ＝0.05是阈值更新率。需要指出，在目标图像首帧训练滤波器模板，shd为0。

目标跟踪的置信度阈值需要人为根据经验和跟踪场景设定为固定值，导致在不同场景中置信度阈值的适应性下降，而且固定阈值不能满足多种跟踪场景。提出一种自适应置信度阈值确定方法，如图3，在不同跟踪场景下，可自适应确定模板更新阈值，多种情况下的跟踪鲁棒性更强。

在新一帧目标跟踪后计算当前帧的置信度指标值，然后根据一定更新率更新置信度阈值，该策略结合了当前跟踪置信度与原始跟踪置信度信息，跟踪鲁棒性更强。同时置信度指标计算采用已有目标响应图计算，降低了资源占用，而且计算量较小，对跟踪速度影响较低，采用置信度阈值更新策略可以在一定程度上减少模板计算和更新次数，加快目标跟踪速度。

步骤八：重复步骤二～步骤七；

完成目标跟踪。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子。凡在本发明的精神和原则之内，对以上实施例所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.双步相关滤波目标跟踪方法，其特征在于，该方法包括以下步骤：

步骤一：分别提取训练目标图像特征，训练粗定位相关滤波器模板、精定位相关滤波器模板和尺度相关滤波器模板；

步骤二：提取预测目标图像HOG特征，用训练后的粗定位相关滤波器模板确定目标大致图像位置；

步骤三：在目标大致图像位置提取目标图像块HOG与CN融合特征，用训练后的精定位相关滤波器模板求取目标精定位响应图确定目标精确图像位置；

步骤四：在目标精确图像位置提取目标多尺度图像特征，用训练后的尺度相关滤波器确定目标尺度大小；

步骤五：根据目标精定位响应图，计算目标跟踪置信度指标值；

步骤六：在目标精确图像位置按照步骤一方法分别训练粗定位相关滤波器模板、精定位相关滤波器模板和目标尺度相关滤波器模板，根据目标跟踪置信度阈值，自适应更新相关滤波器模板；

步骤七：根据目标跟踪置信度指标值，更新目标跟踪置信度阈值；

步骤八：重复步骤二～步骤七；

完成目标跟踪。

2.根据权利要求1所述双步相关滤波目标跟踪方法，其特征在于：步骤一具体包括以下步骤：

(101)在训练目标图像位置分别以目标大小将图像扩展1.6倍，提取对应目标图像块Cell大小为8的31维HOG特征x_ci；

(102)通过最小化损失函数来训练粗定位相关滤波器模板w_C，其中，是滤波器响应目标值，u＝{1,2,…W}，v＝{1,2,…H},W/H是目标图像块的宽和高，λ＝0.0001是正则化系数，n表示训练用目标图像数，训练得到粗定位相关滤波器模板 是各矩阵的离散傅里叶变换DFT结果，⊙表示对应元素相乘；

(103)在训练目标图像位置分别以目标大小将目标图像扩展1倍，提取对应目标图像块Cell大小为1的31维HOG特征；以同样大小图像块提取11维CN特征；将提取的HOG特征与CN特征按通道融合为42维目标特征x_Fi；

(104)通过最小化损失函数来训练精定位相关滤波器模板w_F，训练得到精定位相关滤波器模板

(105)在训练目标图像位置以目标大小图像提取对应目标图像块Cell大小为4的31维HOG特征x_si；

(106)通过最小化损失函数来训练尺度相关滤波器模板w_s，训练得到目标尺度相关滤波器模板

3.根据权利要求2所述双步相关滤波的目标跟踪方法，其特征在于：步骤二具体包括以下步骤：

(201)在预测目标图像位置以目标大小将目标图像扩展1.6倍，提取对应目标图像块Cell大小为8的31维HOG特征z_C；

(202)用粗定位相关滤波器求取目标粗定位响应图d表示目标特征通道数，目标粗定位响应图最大处为目标大致图像位置。

4.根据权利要求2所述双步相关滤波的目标跟踪方法，其特征在于：步骤三具体包括以下步骤：

(301)在目标大致图像位置以目标大小将目标图像扩展1倍，提取对应目标图像块Cell大小为1的31维HOG特征；以同样大小目标图像块提取11维CN特征；将提取的HOG特征与CN特征按通道融合为42维目标特征z_F；

(302)用精定位相关滤波器求取目标精定位响应图d表示目标特征通道数，目标精定位响应图最大处为目标精确图像位置。

5.根据权利要求2所述双步相关滤波的目标跟踪方法，其特征在于：步骤四具体包括以下步骤：

(401)在目标精确图像位置构造目标图像尺度池，sW×sH，W/H是目标图像块的宽和高，N＝33是目标尺度数，a＝1.02表示尺度步长；

(402)对目标图像尺度池中所有不同尺度图像提取对应目标图像块Cell大小为4的31维HOG特征z_S；

(403)用目标尺度相关滤波器求取目标尺度响应图d表示目标特征通道数，目标尺度响应图最大处为目标尺度大小。

6.根据权利要求1所述双步相关滤波的目标跟踪方法，其特征在于：步骤五具体为：

根据目标精定位响应图，求取目标跟踪置信度指标分别是目标精定位响应图的最大值和均值，是目标精定位响应图不同位置点的目标响应值，y_F为目标精定位响应图，ω/k分别表示目标精定位响应图的宽和高。

7.根据权利要求2所述双步相关滤波的目标跟踪方法，其特征在于：步骤六具体包括以下步骤：

(601)在目标精确图像位置，按照(101)，(103)和(105)步骤方法得到目标特征；

(602)判断目标跟踪置信度指标值AP是否满足置信度阈值shd条件，如果大于置信度阈值则对滤波器模板按下式：进行更新，如果小于置信度阈值则不更新，a/b表示不同滤波器模板的对应变量，a_old/b_old表示更新前不同滤波器模板的对应变量，x表示对应滤波器模板提取的目标特征。

8.根据权利要求1所述双步相关滤波的目标跟踪方法，其特征在于：步骤七具体为：

根据目标跟踪置信度指标值AP，更新目标跟踪置信度阈值shd，shd＝(1-κ)·shd_old+κ·AP，κ＝0.05是阈值更新率，shd_old为更新前的目标跟踪置信度阈值，在目标图像首帧训练滤波器模板，shd为0。