CN104484868B - 一种结合模板匹配和图像轮廓的运动目标航拍跟踪方法 - Google Patents

Abstract

一种结合模板匹配和图像轮廓的运动目标航拍跟踪方法，包括如下步骤：1)进行模板匹配获取目标位置，采用相关系数匹配方式来进行模板匹配；2)根据上一帧得到的圆心圈定检测范围；3)进行图像二值化，获取图像的轮廓图，通过创建包围闭合轮廓的圆来获得待选圆集；4)在待检测区域中获得半径最接近目标边长一半的圆形，获得目标圆并转化到全图片帧时的坐标，重复包括2)～3)在内之后的步骤；若没有找到，则重复包括1)～3)在内之后的步骤。本发明实时性良好、稳定性较好。

Description

一种结合模板匹配和图像轮廓的运动目标航拍跟踪方法

技术领域

本发明涉及一种运动目标航拍跟踪方法。

背景技术

通常的，无人机通过GPS进行定位导航，然而GPS的精确范围有限，当无人机进入目标一定范围内后，无人机便较难进行精确定位。且现有的目标跟踪算法种类繁多，目标运动模型研究如kalman预测跟踪，meanshift跟踪，粒子滤波跟踪等；目标表现模型研究上Tracking by Detection成为视觉跟踪比较热门的话题，如Ensemble Tracking、SupportVectortracking、Incremental Leaningfor Visual Tracking及TLD等。但大多算法针对特定场景或缺乏实时性及实用性。

存在的技术缺陷为：实时性较差、稳定性较差。

发明内容

为了克服已有运动目标航拍跟踪方法的实时性较差、稳定性较差的不足，本发明提供了一种实时性良好、稳定性较好的结合模板匹配和图像轮廓的运动目标航拍跟踪方法。

本发明解决其技术问题所采用的技术方案是：

一种结合模板匹配和图像轮廓的运动目标航拍跟踪方法，包括如下步骤：

1)进行模板匹配获取目标位置

模板匹配的过程通过在原图像即输入图像上滑动模板实时进行匹配，过程如下：

假设原图像是一张p*q的图像I，有一张w*h的模板图像T，匹配的过程如下：

(1.1)创建一个大小与I相同的结果图像R，令x＝0，y＝0；

(1.2)从原图像的左上角(x，y)开始，切割一块(x，y)至(x+w，y+h)的临时图像；

(1.3)比较临时图像和模板图像T的相似度，记为a；

(1.4)相似度a就是结果图像R(x，y)处的像素值；

(1.5)令x＝x+1，y＝y+1；

(1.6)重复(1.2)～(1.5)的步骤直到x＝p-w，y＝q-h停止。

(1.7)遍历结果图像R，数值最大的点(m，n)即为目标正方形的左上顶点坐标，可得目标中心的坐标c(x，y)为(m+w/2，n+h/2)；

采用相关系数匹配方式来进行模板匹配，通过匹配模板对其均值的相对值与图像对其均值的相关值来实现，数值最大的为最优匹配。

其中

T′(x′，y′)＝T(x′，y′)-1/(w·h)·∑_x″，y″T(x″，y″)

I′(x+x′，y+y′)＝1(x+x′，y+y′)-1/(w·h)·∑_x″，y″I(x+x″，y+y″)

R(x，y)得出的结果即为流程中的相似度a，x′和x″表示模板矩阵的行号，y′和y″的表示模板矩阵的列号。

模板匹配时，需要根据高度来调整模板的大小，当高度为h时，i＝(x*Ir*Hr)/(h*Xr)，对模板进行重置大小的操作，调整其边长为i，再进行模板匹配，获取目标正方形的中心c(x，y)，所述中心c(x，y)为圆心；

2)根据上一帧得到的圆心圈定检测范围

先要对目标半径进行更新，即当高度变为h时，实际长度为x时在视频中的目标长度i为

在拍摄高度为Hr时，获取边长Xr的长度在图像中的像素个数Ir；

据公式(2)得目标边长i，同时设定待检测区域，每获取一帧目标物在视频帧中最大相对位移为maxImove：

maxImove＝S*IBR＝S*Ir/(h*Xr/Hr)； (4)

待检测区域为以上一帧目标圆心为中心，以maxImove/2*2＝maxImove为边长的区域；

3)进行图像二值化，获取图像的轮廓图，通过创建包围闭合轮廓的圆来获得待选圆集，这些待选圆是包围轮廓的圆形边界框，这使得只要遮挡不截断目标的一个闭合轮廓连续区域，目标圆就会持续存在；

4)在待检测区域中获得半径最接近目标边长一半的圆形，获得目标圆并转化到全图片帧时的坐标，重复包括2)在内之后的步骤；若没有找到，则重复包括1)在内之后的步骤。

获得了目标圆，即实现目标跟踪。

本发明的技术构思为：该方法针对无人机对航模标准平面标识物(如图1所示)的精确定位的应用场景。首先利用模板匹配中的相关系数匹配方式进行目标定位，通过模板匹配的结果确定待检测区域，在待检测区域内通过闭合轮廓逼近圆的原理获得待选圆的集合，从待选圆集合中选择符合条件的目标圆，后续循环待检测区域的定位方式，若其中未找到符合条件的圆则重复模板匹配。待检测区域的设定可以有效地减小计算量，后续定位的方式也可以有效地提高定位的效率。

本发明的有益效果主要表现在：1、缩小了检测范围，实时性较好，稳定性较好；2、充分利用无人机的已知数据，降低了系统的复杂度。

附图说明

图1是航模标准平面标志物的示意图。

图2是结合模板匹配和图像轮廓的运动目标航拍跟踪方法的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1和图2，一种结合模板匹配和图像轮廓的运动目标航拍跟踪方法，包括如下步骤：

1)进行模板匹配获取目标位置，本发明选择了相关系数匹配方式(CV_TM_CCOEFF)来进行模板匹配，因经过分析实验后发现其对目标旋转也具有较好的适应性。

模板匹配的过程通过在原图像即输入图像上滑动模板实时进行匹配，过程如下：

假设原图像是一张p*q的图像I，有一张w*h的模板图像T，匹配的过程如下：

(1.1)创建一个大小与I相同的结果图像R，令x＝0，y＝0；

(1.2)从原图像的左上角(x,y)开始，切割一块(x,y)至(x+w,y+h)的临时图像；

(1.3)比较临时图像和模板图像T的相似度，记为a；

(1.4)相似度a就是结果图像R(x,y)处的像素值；

(1.5)令x＝x+1，y＝y+1；

(1.6)重复(1.2)～(1.5)的步骤直到x＝p-w，y＝q-h停止。

(1.7)遍历结果图像R，数值最大的点(m,n)即为目标正方形的左上顶点坐标，可得目标中心的坐标c(x,y)为(m+w/2,n+h/2)；

采用相关系数匹配方式来进行模板匹配，通过匹配模板对其均值的相对值与图像对其均值的相关值来实现，数值最大的为最优匹配。

其中

T′(x′，y′)＝T(x′，y′)-1/(w·h)·∑_x″，y″T(x″，y″)

I′(x+x′，y+y′)＝I(x+x′，y+y′)-1/(w·h)·∑_x″，y″I(x+x″，y+y″)

R(x，y)得出的结果即为流程中的相似度a，x′和x″表示模板矩阵的行号，y′和y″的表示模板矩阵的列号；

模板匹配时，需要根据高度来调整模板的大小，当高度为h时，i＝(x*Ir*Hr)/(h*Xr)，对模板进行重置大小的操作，调整其边长为i，再进行模板匹配，获取目标正方形的中心c(x，y)，所述中心c(x，y)为圆心；

2)根据上一帧得到的圆心圈定检测范围

先要对目标半径进行更新，即当高度变为h时，实际长度为x时在视频中的目标长度i为

在拍摄高度为Hr时，获取边长Xr的长度在图像中的像素个数Ir；

据公式(2)得目标边长i，同时设定待检测区域，每获取一帧目标物在视频帧中最大相对位移为maxImove：

maxImove＝S*IBR＝S*Ir/(h*Xr/Hr)； (4)

待检测区域为以上一帧目标圆心为中心，以maxImove/2*2＝maxImove为边长的区域；

3)进行图像二值化，获取图像的轮廓图，通过创建包围闭合轮廓的圆来获得待选圆集，这些待选圆是包围轮廓的圆形边界框，这使得只要遮挡不截断目标的一个闭合轮廓连续区域，目标圆就会持续存在；

4)在待检测区域中获得半径最接近目标边长一半的圆形，获得目标圆并转化到全图片帧时的坐标，重复包括2)在内之后的步骤；若没有找到，则重复包括1)在内之后的步骤；

获得了目标圆，即实现目标跟踪。

本实施例中，实际应用中，需要知道实际中的长度在拍摄后图像中的长度，本实验进行了一个简单的换算，需要先设定一些参考量，在拍摄高度为Hr时，获取边长Xr的长度在图像中的像素个数Ir。

高度可以由无人机实时获取或者是控制，所以是已知量，由相似三角形可知：x/Xr＝h/Hr。故在这些参考量的情况下，高度为h时，对应在实际中长度为x＝h*Xr/Hr，可得出图像中的像素个数与实际中长度的比值(IBR)如下

IBR＝Ir:(h×Xr/Hr)； (1)

故高度为h时，实际长度为x时在视频中的长度i为

同理高度为h时，视频中长度为i时在实际中的长度x为

多轴无人机飞行速度最大可达约10米/秒，但实际操作中的飞行速度较慢约1-2米/秒。本发明在假设无人机飞行速度小于v米/秒的条件下进行设计，故速度为v米/秒时，两帧之间无人机运动距离约为1/30*v*100＝S(厘米)，由以上公式可得h时，每获取一帧目标物在视频帧中最大相对位移maxImove为：

maxImove＝S*IBR＝S*Ir/(h*Xr/Hr) (4)。

Claims (1)

1.一种结合模板匹配和图像轮廓的运动目标航拍跟踪方法，其特征在于：所述跟踪方法包括如下步骤：

1)进行模板匹配获取目标位置

模板匹配的过程通过在原图像即输入图像上滑动模板实时进行匹配，过程如下：

假设原图像是一张p*q的图像I，有一张w*h的模板图像T，匹配的过程如下：

(1.1)创建一个大小与I相同的结果图像R，令x＝0，y＝0；

(1.2)从原图像的左上角(x，y)开始，切割一块(x，y)至(x+w，y+h)的临时图像；

(1.3)比较临时图像和模板图像T的相似度，记为a；

(1.4)相似度a就是结果图像R(x，y)处的像素值；

(1.5)令x＝x+1，y＝y+1；

(1.6)重复(1.2)～(1.5)的步骤直到x＝p-w，y＝q-h停止；

(1.7)遍历结果图像R，数值最大的点(m，n)即为目标正方形的左上顶点坐标，可得目标中心的坐标c(x，y)为(m+w/2，n+h/2)；

采用相关系数匹配方式来进行模板匹配，通过匹配模板对其均值的相对值与图像对其均值的相关值来实现，数值最大的为最优匹配；

$R(x,y)=\underset{x^{\′},y^{\′}}{\mathrm{\Σ}}\left(T^{\′}\right(x^{\′},y^{\′})\·I^{\′}(x+x^{\′},y+y^{\′}\left)\right)$

其中

T′(x′，y′)＝T(x′，y′)-1/(w·h)·Σ_x″，y″T(x″，y″)

I′(x+x′，y+y′)＝I(x+x′，y+y′)-1/(w·h)·Σ_x″，y″I(x+x″，y+y″)

R(x，y)得出的结果即为流程中的相似度a，x′和x″表示模板矩阵的行号，y′和y″的表示模板矩阵的列号；

模板匹配时，需要根据高度来调整模板的大小，当高度为h时，i＝(x*Ir*Hr)/(h*Xr)，对模板进行重置大小的操作，调整其边长为i，再进行模板匹配，获取目标正方形的中心c(x，y)，所述中心c(x，y)为圆心；

2)根据上一帧得到的圆心圈定检测范围

先要对目标半径进行更新，即当高度变为h时，实际长度为x时在视频中的目标长度i为

$i=x\×IBR=\frac{x\×Ir\×Hr}{h\×Xr};---\left(2\right)$

在拍摄高度为Hr时，获取边长Xr的长度在图像中的像素个数Ir；

据公式(2)得目标边长i，同时设定待检测区域，每获取一帧目标物在视频帧中最大相对位移为maxImove：

maxImove＝S*IBR＝S*Ir/(h*Xr/Hr)； (4)

S为两帧之间无人机运动距离；

待检测区域为以上一帧目标圆心为中心，以maxImove/2*2＝maxImove为边长的区域；

3)进行图像二值化，获取图像的轮廓图，通过创建包围闭合轮廓的圆来获得待选圆集，这些待选圆是包围轮廓的圆形边界框，这使得只要遮挡不截断目标的一个闭合轮廓连续区域，目标圆就会持续存在；

4)在待检测区域中获得半径最接近目标边长一半的圆形，获得目标圆并转化到全图片帧时的坐标，重复包括2)在内之后的步骤；若没有找到，则重复包括1)在内之后的步骤；

获得了目标圆，即实现目标跟踪。