CN111986233A - 基于特征自学习的大场景极小目标遥感视频跟踪方法 - Google Patents

Abstract

本发明提出的一种基于特征自学习的大场景极小目标遥感视频跟踪方法，主要解决了现有视频跟踪算法存在的计算复杂度高、跟踪精度低问题。其方案包括：1)获取极小目标特征自学习网络的初始训练集；2)构建极小目标特征自学习网络；3)构建特征自学习网络的损失函数；4)根据损失函数训练网络得到极小目标特征自学习模型；5)输入测试集图像，得到遥感视频目标跟踪结果。本发明使用特征自学习网络学习极小目标的外观特征、预测目标位置，避免了传统跟踪方法常用的前期处理过程，有效减小了网络复杂性，且极大的提高了超模糊的大场景遥感视频中极小目标的定位准确性。

Description

基于特征自学习的大场景极小目标遥感视频跟踪方法

技术领域

本发明属于遥感视频处理技术领域，涉及大场景极小目标的遥感视频目标跟踪，具体是一种基于特征自学习的大场景极小目标遥感视频跟踪方法，可用于交通状况监测、应急预警及重大设施检测。

背景技术

遥感目标跟踪是计算机视觉领域的一个重要的研究方向，遥感视频记录是在卫星平台进行的广域空中监测，是对广阔区域在一段时间内的活动实现持续监测的一种手段。遥感视频受限于其拍摄方式，视频覆盖地域范围极大，因此成像分辨率较低，甚至有些视频非常模糊；在跟踪车辆、舰船或飞机时，其目标尺寸极小，车辆的大小甚至达到3*3个像素左右，与周围环境的对比度极低，没有清晰轮廓边界，这给遥感视频中的目标跟踪带来极大挑战。传统的跟踪方法通常需要先进行图像配准，但由于拍摄视频的卫星不断运动导致有些视频整体呈一个方向偏移，同时由于地区高低会存在部分区域缩放，使得传统方法准确性不高。

视频目标跟踪给定目标在第一帧的位置，预测后续连续帧中的目标位置。最近的自然光学视频跟踪方法大致是基于神经网络(Neural Network)和相关滤波(CorrelationFilter)的，如Siamese-FC网络结合了两种方法，先利用双支路的卷积神经网路提取图像特征，然后将得到的两个特征做互相关联，这种方法的网络结构简单、准确率较高。然而，这些方法适用的视频图像通常分辨率较高，目标在图像中占比较大，能为卷积操作提供足够的色彩、形状等信息，可在极其模糊、目标在图像中占几个像素的遥感视频中，则很难达到较好的效果。

湖南航升卫星科技有限公司在其申请的专利“遥感视频图像运动目标实时智能感知方法及其装置”(专利申请号201810111223.3，公开号CN108389220A)中公开了一种基于深度卷积神经网络的遥感目标跟踪方法。该方法首先对视频的帧图像作背景减除法，得到可能包含目标的候选图像，然后用深度卷积神经网络对候选图像分类，再结合卫星星下点的先验信息计算得到贝叶斯后验概率，判断候选图像是否包含目标。该方法一定程度上改善了检测的准确度，但其存在的不足之处是：其一，由于很多遥感视频整体向一个方向偏移，还存在因地域海拔等问题引起的部分区域缩放情况，因此在第一步中对帧图像进行的背景减除法并不能得到准确的候选区域，且需要先进行图像配准等操作，大大增加了计算量；其二，简单的深层卷积网络难以学到目标相较于周围环境的外观信息，而对于遥感视频与周围环境对比度较低、信息损失严重的情况，此方法并不适用；其三，该方法所采用的算法复杂度高、计算速度较慢。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出了一种计算复杂度低，精度更高的基于运动估计的大场景小目标遥感视频跟踪方法。

实现本发明的基本思路是：构建包含两个分支的遥感视频目标跟踪网络，一个分支用于目标定位，另一个分支用于特征自学习；用于特征自学习的网络分支可根据视频第一帧的目标，无标签的学习目标外观特征，整个网络根据学到的目标特征，在搜索图中精准识别目标，极大的提高了目标的定位准确性。从而解决了现有视频跟踪算法存在的计算复杂度高，跟踪精度低问题。

为实现上述目的，本发明的技术方案包括如下：

(1)获取极小目标特征自学习网络的初始训练集D：

(1a)取原始遥感数据视频A的每一帧图像，在第一帧图像中根据目标边界框取出目标图像块，再从每帧图像中分别以前一帧、当前帧、后一帧中目标边界框放大三倍后的位置取图像块作为目标搜索区域，将目标图像块和所有的目标搜索区域按视频帧数顺序排列在一起作为训练集的训练数据；

(1b)将目标在当前帧的最大像素点确定为目标中心，根据目标的宽度和高度做高斯掩膜，再将该高斯掩膜作为目标位置标签，即训练集的训练标签；

(1c)训练数据与训练标签共同组成初始训练集D；

(2)构建极小目标特征自学习网络：

(2a)并联四个提取训练数据特征的卷积模块，将从同一帧取出的三个目标搜索区域和一个目标图像块作为网络输入，同时送入卷积模块，得到第一目标搜索区域的卷积特征C1、第二目标搜索区域的卷积特征C2、第三目标搜索区域的卷积特征C3以及目标图像特征O；

(2b)将第一目标搜索区域的卷积特征C1、第二目标搜索区域的卷积特征C2、第三目标搜索区域的卷积特征C3分别与目标图像特征O作互相关，形成互相关层；在该层得到第一相关特征C11、第二相关特征C22、第三相关特征C33，并将第二相关特征C22作为网络的第一个输出；

(2c)根据第一相关特征C11、第二相关特征C22、第三相关特征C33和目标图像特征O，分别计算三个目标搜索区域和一个目标图像块的几何不变矩Hu矩阵，构成特征自学习层；该层包括第一目标搜索区域的Hu矩阵hu₁、第二目标搜索区域的Hu矩阵hu₂、第三目标搜索区域的Hu矩阵hu₃以及目标图像块的Hu矩阵hu₄，并将hu₁、hu₂、hu₃和hu₄作为网络的第二个输出；

(2d)由步骤(2b)和步骤(2c)中依次得到的两个输出共同组成网络的输出层；

(2e)在卷积模块上依次层叠互相关层、特征自学习层、输出层得到极小目标特征自学习网络；

(3)构建特征自学习网络的损失函数：

特征自学习网络包含两个损失函数，其中一个为用于训练网络、确定目标中心位置的第一损失函数L_location；另一个为用于自学习极小目标特征、无需训练标签的第二损失函数L_appearance；

(3a)利用步骤(1b)得到的训练标签与步骤(2b)得到的第一个输出结果做交叉熵，获取第一损失函数L_location；

(3b)根据步骤(2c)的计算结果按照下式自定义一个自学习损失函数，即第二个损失函数L_appearance：

(4)根据损失函数训练步骤(2)构建的极小目标特征自学习网络，得到极小目标特征自学习模型；

(5)将测试集的图像送入训练好的特征自学习模型中，得到输出图像；累计得到的输出图像即为遥感视频目标跟踪结果。

本发明与现有技术相比，具有以下优点：

第一、由于本发明使用特征自学习网络，通过卷积神经网络根据第一帧目标和其他帧搜索图学习目标的外观特征，从而获得目标外观特征；在网络适用于极其模糊的遥感视频时，无需训练标签即可自学习需要跟踪的极小目标外观特征，相比于其他方法中需要图像配准、背景减除法、背景建模法或道路先验信息提取法等相关处理方式，本发明无需进行前期处理算法和大量人工标注，便可实现端对端的目标特征学习，有效减小了跟踪方法的复杂度，并提高了算法的鲁棒性；

第二、由于本发明将特征自学习网络和目标定位网络相结合，在学习目标外观特征的同时预测目标的中心位置，两者互相促进，使跟踪器更关注目标本身的特征，从而加强了目标与周围环境的区分性，大大提高了在极其模糊的遥感视频中进行目标跟踪的准确率，使目标定位更精准。

附图说明

图1是本发明的实现流程图；

图2是本发明提出的特征自学习网络的结构示意图；

图3是采用本发明对分辨率极低的遥感视频大场景中极小目标的跟踪定位结果与标签位置的仿真对比图；其中，(a)为整张帧图像的1/5；(b)为第30帧；(c)为第60帧；(d)为第90帧；(e)为第120帧；(f)为第150帧。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面结合附图，对本发明作进一步详细阐述。

大场景极小目标遥感视频跟踪在交通状况监测、应急预警、重大设施检测等方面发挥重要作用。本发明研究的遥感视频是地球外卫星拍摄的极低分辨率、大场景极小目标的遥感视频。本发明研究的视频跟踪目标，例如车辆，由于这类目标极小且极其模糊，几乎没有如颜色、轮廓等外观信息，目标与周围环境的对比度也特别低，使得人眼在目标不移动时很难分辨出该目标的具体类型；视频由于其拍摄方式会出现图像平移及部分区域缩放，这些挑战给遥感视频目标跟踪带来远比清晰视频更大的挑战。近些年来，视频跟踪常用的方法分为两种，第一种先将图像输入通过卷积神经网络进行学习，提取目标特征，然后在下一帧选择多个区域，选择目标得分最高的位置为目标，这种方法不适用于只有极少的外观信息的遥感目标，小样本时卷积很难提取出充足的目标特征。另一种是先经过前期处理技术，如先进行图像配准再用帧差法得到目标运动轨迹，然后找一个滤波模板，卷积下一帧的图像与滤波模板，响应最大的位置即预测的目标，这种方法网络复杂，需要前期处理，不能实现端对端的训练，且有些遥感视频中出现图像平移的同时还有部分区域缩放，这些前期处理手段的准确率会大大降低。因此本发明针对这些挑战，经过研究提出一种基于特征自学习的大场景极小目标遥感视频跟踪方法，参见图1，本发明包括如下步骤：

(1)获取极小目标特征自学习网络的初始训练集D：

(1a)取原始遥感数据视频A的每一帧图像，在第一帧图像中根据目标边界框取出目标图像块，再从每帧图像中分别以前一帧、当前帧、后一帧中目标边界框放大三倍后的位置取图像块作为目标搜索区域，将目标图像块和所有的目标搜索区域按视频帧数顺序排列在一起作为训练集的训练数据；

(1b)将目标在当前帧的最大像素点确定为目标中心，根据目标的宽度和高度做高斯掩膜，再将该高斯掩膜作为目标位置标签，即训练集的训练标签；

(1c)训练数据与训练标签共同组成初始训练集D。

(2)构建极小目标特征自学习网络：包括并联的四个提取训练数据特征的卷积模块，再依次层叠互相关层、特征自学习层和输出层，如图2所示；

(2a)并联四个提取训练数据特征的卷积模块，将从同一帧取出的三个目标搜索区域和一个目标图像块作为网络输入，同时送入卷积模块；卷积模块包含卷积层、归一化层和激活层，用于得到图像基本特征，设置卷积核大小为3*3，经过卷积操作得到特征C1、C2、C3和O，其中C1为得到的第一目标搜索区域的卷积特征、C2为第二目标搜索区域的卷积特征、C3为第三目标搜索区域的卷积特征、O为目标图像块对应得到的目标图像特征；

(2b)将(2a)中得到的三个目标搜索区域的卷积特征C1、C2、C3分别与目标图像特征O作互相关，形成互相关层；在该层得到第一相关特征C11、第二相关特征C22、第三相关特征C33，并将第二相关特征C22作为网络的第一个输出；

(2c)根据第一相关特征C11、第二相关特征C22、第三相关特征C33和目标图像特征O，分别计算三个目标搜索区域和一个目标图像块的几何不变矩Hu矩阵，构成特征自学习层；该层包括第一目标搜索区域的Hu矩阵hu₁、第二目标搜索区域的Hu矩阵hu₂、第三目标搜索区域的Hu矩阵hu₃以及目标图像块的Hu矩阵hu₄，并将hu₁、hu₂、hu₃和hu₄作为网络的第二个输出；并将结果作为网络第二个输出。几何不变矩Hu矩阵包括7个元素，记为M₁～M₇，本步骤计算得到的结果hu₁、hu₂、hu₃和hu₄，分别包括7个元素，均按照如下方式计算得到：

(2c1)以图像左上角为原点，沿图像向右为x轴、向下为y轴，建立坐标系，这里的图像可以是任意一个目标搜索区域图像，也可以是目标图像；p表示x轴图像矩的阶数，q表示y轴图像矩的阶数，则p+q阶原点矩m_pq表示如下：

根据零阶原点矩求得质心位置横坐标

根据一阶原点矩求得质心位置纵坐标

(2c2)根据下式计算中心矩δ_pq：

(2c3)计算归一化中心矩μ_pq：

其中，N表示大于等于零的整数；

(2c4)获取矩阵中的元素值M₁～M₇：

M₁＝μ₂₀+μ₀₂，

M₂＝(μ₂₀-μ₀₂)²+4μ₁₁ ²，

M₃＝(μ₃₀-3μ₁₂)²+(3μ₂₁-μ₀₃)²，

M₄＝(μ₃₀+μ₁₂)²+(μ₂₁+μ₀₃)²，

M₅＝(μ₃₀-3μ₁₂)(μ₃₀+μ₁₂)[(μ₃₀+μ₁₂)²-3(μ₂₁+μ₀₃)²]，+(3μ₂₁-μ₀₃)(μ₂₁+μ₀₃)[3(μ₃₀+μ₁₂)²-(μ₂₁+μ₀₃)²]

M₆＝(μ₂₀-μ₀₂)[(μ₃₀+μ₁₂)²-(μ₂₁+μ₀₃)²]+4μ₁₁(μ₃₀+μ₁₂)(μ₂₁+μ₀₃)，

M₇＝(3μ₂₁-μ₀₃)(μ₃₀+μ₁₂)[(μ₃₀+μ₁₂)²-3(μ₂₁+μ₀₃)²]。-μ₁₁(μ₃₀-3μ₁₂)(μ₂₁+μ₀₃)[3(μ₃₀+μ₁₂)²-(μ₂₁+μ₀₃)²]

(3)构建特征自学习网络的损失函数：

特征自学习网络包含两个损失函数，其中一个为用于训练网络、确定目标中心位置的第一损失函数L_location；另一个为用于自学习极小目标特征、无需训练标签的第二损失函数L_appearance；

(3a)利用步骤(1b)得到的训练标签与步骤(2b)得到的第一个输出结果做交叉熵，获取第一损失函数L_location，其计算方式具体如下：

式中，p_ij∈[0,1]表示网络判定位置(i,j)为目标中心位置的概率；y_ij∈{0,1}表示目标位置标签，当y_ij＝1表示位置(i,j)存在目标，当y_ij＝0表示位置(i,j)处没有目标；α_ij为第一超参数；β为第二超参数，且β＝2；δ为第三超参数，且δ＝4；W和H分别表示目标图像的宽度和高度；M_ij表示表示位置(i,j)的高斯掩膜计算值；

(3b)根据步骤(2c)的计算结果按照下式自定义一个自学习损失函数，即第二个损失函数L_appearance：

(4)根据损失函数训练步骤(2)构建的极小目标特征自学习网络，得到极小目标特征自学习模型；

(5)将测试集的图像送入训练好的特征自学习模型中，得到输出图像；累计得到的输出图像即为遥感视频目标跟踪结果。

本发明解决了现有视频跟踪算法存在的计算复杂度高，跟踪精度较低的问题。

本发明的效果可以通过仿真进一步说明：

A：仿真条件：

仿真平台：主频为2.40GHz的Intel Xeon CPU E5-2630 v3 CPU，64GB的运行内存，Ubuntu16.04操作系统；

软件平台：pytorch和Python；

显卡：GeForce GTX TITAN X/PCIe/SSE2×2。

B：仿真内容：

使用吉林一号视频卫星拍摄的利比亚德尔纳地区的遥感视频，该视频共有750帧，以前300帧的车辆为目标，对目标标记边框，左上顶点的坐标为训练集DateSet；分别以本发明和对比方法(现有基于KCF的目标跟踪方法)对目标视频进行跟踪仿真。

C：仿真结果：

用本发明方法和对比方法在上述仿真条件下进行实验，即运用对比方法与本发明对利比亚德尔纳地区遥感视频中车辆目标进行跟踪，得到特征自学习网络在每隔30帧时对目标的跟踪效果图，如图3所示；得到评价指标的对比结果如下表1所示。

表1.利比亚德尔纳地区遥感视频目标跟踪结果一览表

	Precision	IOU
			KCF	62.95％	57.73％
本发明方法	88.51％	79.29％

根据上述仿真结果，作出如下分析：

表1中，Precision表示特征自学习网络预测的目标框与标签框的区域重叠率，IOU表示预测边界框的中心位置和标签中心位置的平均欧氏距离小于给定阈值的百分比，在本例中，选取给定阈值为5，KCF表示对比方法。

参见表1，从表1的数据对比中可以看出本发明跟踪目标的精度相对对比方法提高很多，将Precision由62.95％提高到了88.51％，从表1可见本发明将边界框的中心位置和标签中心位置的平均欧氏距离小于给定阈值的百分比IOU，相对于对比方法基于KCF的目标跟踪方法的57.73％提高到79.29％。

参照图3，其中浅灰色矩形框表示标签边界框，即标签位置，深灰色矩形框表示网络预测目标边界框，即网络预测位置；以第30帧、60帧、90帧、120帧、150帧目标跟踪图像为例，即截取每隔30帧网络的跟踪结果与标签的边界框作为示例，可看出标签边界框与预测目标边界框基本重合，在长达数百帧中对比两个边界框，亦可得出边界框基本重合的结论，能够证明本发明跟踪精度高。

上述仿真分析证明了本发明所提方法的正确性与有效性。

综上所述，本发明提出的一种基于特征自学习的大场景极小目标遥感视频跟踪方法，可以在分辨率极低的大场景遥感视频中精准的跟踪尺寸极小的目标，解决了端对端的极模糊遥感视频跟踪问题。通过获取极小目标特征自学习网络的初始训练集D，构建极小目标特征自学习网络，构建特征自学习网络的损失函数，训练构建的极小目标特征自学习网络，得到极小目标特征自学习模型，在模型中输入测试集的图像，从而得到遥感视频目标跟踪结果；本发明使用特征自学习网络学习极小目标的外观特征，预测目标位置，避免了传统跟踪方法常用的前期处理技术，减小了网络复杂性，明显的提高了超模糊的大场景遥感视频中极小目标的跟踪准确性，本发明方法同样也适用于其它各种遥感视频的跟踪问题。

本发明未详细说明部分属于本领域技术人员公知常识。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (4)

1.一种基于特征自学习的大场景极小目标遥感视频跟踪方法，其特征在于，包括如下步骤：

(1)获取极小目标特征自学习网络的初始训练集D：

(1a)取原始遥感数据视频A的每一帧图像，在第一帧图像中根据目标边界框取出目标图像块，再从每帧图像中分别以前一帧、当前帧、后一帧中目标边界框放大三倍后的位置取图像块作为目标搜索区域，将目标图像块和所有的目标搜索区域按视频帧数顺序排列在一起作为训练集的训练数据；

(1b)将目标在当前帧的最大像素点确定为目标中心，根据目标的宽度和高度做高斯掩膜，再将该高斯掩膜作为目标位置标签，即训练集的训练标签；

(1c)训练数据与训练标签共同组成初始训练集D；

(2)构建极小目标特征自学习网络：

(2a)并联四个提取训练数据特征的卷积模块，将从同一帧取出的三个目标搜索区域和一个目标图像块作为网络输入，同时送入卷积模块，得到第一目标搜索区域的卷积特征C1、第二目标搜索区域的卷积特征C2、第三目标搜索区域的卷积特征C3以及目标图像特征O；

(2b)将第一目标搜索区域的卷积特征C1、第二目标搜索区域的卷积特征C2、第三目标搜索区域的卷积特征C3分别与目标图像特征O作互相关，形成互相关层；在该层得到第一相关特征C11、第二相关特征C22、第三相关特征C33，并将第二相关特征C22作为网络的第一个输出；

(2c)根据第一相关特征C11、第二相关特征C22、第三相关特征C33和目标图像特征O，分别计算三个目标搜索区域和一个目标图像块的几何不变矩Hu矩阵，构成特征自学习层；该层包括第一目标搜索区域的Hu矩阵hu₁、第二目标搜索区域的Hu矩阵hu₂、第三目标搜索区域的Hu矩阵hu₃以及目标图像块的Hu矩阵hu₄，并将hu₁、hu₂、hu₃和hu₄作为网络的第二个输出；

(2d)由步骤(2b)和步骤(2c)中依次得到的两个输出共同组成网络的输出层；

(2e)在卷积模块上依次层叠互相关层、特征自学习层、输出层得到极小目标特征自学习网络；

(3)构建特征自学习网络的损失函数：

特征自学习网络包含两个损失函数，其中一个为用于训练网络、确定目标中心位置的第一损失函数L_location；另一个为用于自学习极小目标特征、无需训练标签的第二损失函数L_appearance；

(3a)利用步骤(1b)得到的训练标签与步骤(2b)得到的第一个输出结果做交叉熵，获取第一损失函数L_location；

(3b)根据步骤(2c)的计算结果按照下式自定义一个自学习损失函数，即第二个损失函数L_appearance：

(4)根据损失函数训练步骤(2)构建的极小目标特征自学习网络，得到极小目标特征自学习模型；

(5)将测试集的图像送入训练好的特征自学习模型中，得到输出图像；累计得到的输出图像即为遥感视频目标跟踪结果。

2.根据权利要求1所述的基于特征自学习的大场景极小目标遥感视频跟踪方法，其特征在于：步骤(2a)所述卷积模块包含卷积层、归一化层和激活层，用于得到图像基本特征，其卷积核大小为3*3。

3.根据权利要求1所述的基于特征自学习的大场景极小目标遥感视频跟踪方法，其特征在于：步骤(2c)中所述几何不变矩Hu矩阵按照如下方式得到：

(2c1)以图像左上角为原点，沿图像向右为x轴、向下为y轴，建立坐标系；p表示x轴图像矩的阶数，q表示y轴图像矩的阶数，则p+q阶原点矩m_pq表示如下：

根据零阶原点矩求得质心位置横坐标

根据一阶原点矩求得质心位置纵坐标

(2c2)根据下式计算中心矩δ_pq：

(2c3)计算归一化中心矩μ_pq：

其中，N表示大于等于零的整数；

(2c4)获取矩阵中的元素值M₁～M₇：

M₁＝μ₂₀+μ₀₂，

M₂＝(μ₂₀-μ₀₂)²+4μ₁₁ ²，

M₃＝(μ₃₀-3μ₁₂)²+(3μ₂₁-μ₀₃)²，

M₄＝(μ₃₀+μ₁₂)²+(μ₂₁+μ₀₃)²，

M₆＝(μ₂₀-μ₀₂)[(μ₃₀+μ₁₂)²-(μ₂₁+μ₀₃)²]+4μ₁₁(μ₃₀+μ₁₂)(μ₂₁+μ₀₃)，

4.根据权利要求1所述的基于特征自学习的大场景极小目标遥感视频跟踪方法，其特征在于：步骤(3a)中的第一损失函数L_location按照下式计算：

式中，p_ij∈[0,1]表示网络判定位置(i,j)为目标中心位置的概率；y_ij∈{0,1}表示目标位置标签，当y_ij＝1表示位置(i,j)存在目标，当y_ij＝0表示位置(i,j)处没有目标；α_ij为第一超参数；β为第二超参数，且β＝2；δ为第三超参数，且δ＝4；W和H分别表示目标图像的宽度和高度；M_ij表示表示位置(i,j)的高斯掩膜计算值。

Images