CN104835178A - 一种低信噪比运动小目标的跟踪与识别的方法 - Google Patents

Abstract

本发明公开了一种低信噪比运动小目标的跟踪与识别的方法，包括：给出从视频序列的单帧图像中提取目标的方法，减弱或消除背景与噪声的影响；给出弱小目标运动信息提取和状态预测建模；建立两帧间图像运动小目标的关联矩阵；基于多帧图像叠加的信息融合，利用模糊下推自动机链弹栈递归运算提出了网络环境下大规模图像与视频图像运动小目标的跟踪算法与识别方法。本发明有助于目标识别与图像处理人员了解检测目标运动规律、活跃程度及其对其他目标的影响，从而给出相应的决策，寻求抑制或消除不良因素对其或其他重要目标的影响都是非常必要的，对军事、民事、公安系统、道路交通所有基于视频系统的目标识别与跟踪的发展起到重要借鉴和参考作用。

Description

一种低信噪比运动小目标的跟踪与识别的方法

技术领域

本发明属于模式识别与分类技术领域，尤其涉及一种低信噪比运动小目标的跟踪与识别的方法。

背景技术

随着科技的发展和人类的安防意识的提升，网络环境下视频监控系统在各个领域得到越来越广泛的应用，如军事、交通、银行、工厂、社区等。而基于视频监控的运动目标的识别是一项十分有用的工作,可以应用在航天、军事、导弹轨迹识别跟踪，交通违章检测等众多领域。但在有些场合如世界各国对周边地区环境监视中，需要能够尽快地截获并锁定跟踪目标。那么对运动小目标的准确检测与跟踪，对在军事、民事等各个领域的应用显得越来越重要，也越来越急迫。网络环境强杂波背景条件下低信噪比运动弱小目标的检测问题直接决定探测系统的作用距离及检测性能，其解决对于提高探测系统性能具有非常重要的实际意义。

目前对复杂背景下视频图像的去噪处理、运动目标的多维参数提取、视频图像处理及运动目标的跟踪与识别等问题的处理缺乏解决方法，这些问题已成为图像处理领域的一个热点问题，这也是现在许多部门棘手且亟待解决的问题。

由于不同的航空视频采集系统、不同的物理现象如光照不能完全均匀分布等多方面的原因，使获得的图像边缘强度不同。而且，在实际场合中，图像数据往往还被噪声所污染。同时景物特性混在一起又会使随后的解释变得非常困难。要实现对航空图像画面意图的准确领会，需要研究既能检测出图像目标强度的非连续性，又要能同时确定它们的精确位置的目标识别方法。

低信噪比下运动小目标信号探测与提取是目前各种先进探测系统需要解决 的关键技术问题之一，此时目标的图像只占有一个或几个像素的面积，并且由于背景环境复杂、大气辐射的不均匀性、探测器的内部噪声等等因素影响，目标几乎淹没在杂波起伏背景中，不具有形状和结构信息，有时甚至可能丢失目标，这就给弱小目标检测带来了很大的难度。强杂波背景条件下低信噪比运动弱小目标的检测问题直接决定探测系统的作用距离及检测性能，其解决对于提高探测系统性能具有非常重要的实际意义。也将对军事、民事、公安系统、道路交通等所有基于视频系统的目标识别与跟踪的发展起到重要的借鉴和参考作用。

发明内容

本发明实施例的目的在于提供一种低信噪比运动小目标的跟踪与识别的方法，旨在解决现有技术存在跟踪实时速度较慢、跟踪或识别效果较差的问题。

本发明实施例是这样实现的，一种低信噪比运动小目标的跟踪与识别的方法，其特征在于，该低信噪比运动小目标的跟踪与识别的方法以一种分阶段、按目标分别给出不同的实施方法，对视频图像中运动小目标容易被复杂背景中的其他物体或噪声遮挡或淹没的情况，提出了开闭变换的消除或减弱背景与噪声的算法；对小目标的弱小特性，提出了在线学习的自适应神经网络竞争模型，利用竞争的活动单元提取弱小目标的多维特征参数；对于视频中小目标的运动特性，利用灰度的突变，给出了小目标运动状态模型和预测模型；对运动小目标实时检测与跟踪，采用了模糊下推自动机链进行轨迹识别与跟踪，以模糊下推自动机链深度为阈值进行轨迹判决；

具体包括以下步骤：

步骤一，给出从视频序列的单帧图像中提取目标的方法，减弱或消除背景与噪声的影响；

步骤二，给出弱小目标运动信息提取和状态预测建模；

步骤三，建立两帧间图像运动小目标的关联矩阵；

步骤四，基于多帧图像叠加的信息融合，利用模糊下推自动机链弹栈递归运算提出了网络环境下大规模图像与视频图像运动小目标的跟踪算法与识别方法。

进一步，在步骤一中，给出从视频序列的单帧图像中提取目标的方法，减弱或消除背景与噪声的影响时，具体实现方法为：

利用数学形态学组合运算求取局部极大值与极小值，减轻后续处理的计算量，尽量减少虚警率点数，对每个局部极大值点进行区域生长、极小值点实施减弱或消除，对可能的目标进行选择；

使用开运算变换g＝f-fοB或闭运算变换g＝f□B-f，对单帧图像进行滤波，检测到图像中变化较大的地方，即相当于高频分量，同时能滤去图像中灰度值变化相对较为平缓的地方，相当于低频分量，利用这个变换就对一幅单帧图像进行滤波，滤掉低频成分，相当于滤掉大面积背景，留下包含小目标在内的高频部分；式中，f为图像灰度帧，B为结构体，ο表示开运算，□表示闭运算；

为准确识别目标或轨迹,进行小目标增强和干扰的抑制，由于小目标点在各帧之间运动，对视频图像可进行多帧叠加，在叠加的最后帧上，小目标点表现为相关性很强的轨迹点，但噪声仍有可能淹没小目标轨迹，提出多帧差分叠加算法，选取包含运动小目标点在内的图像序列，奇数帧与偶数帧各n帧差值的叠加值，即：

$f_z=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}(f_{2i+1}-f_{2i})$

式中,f_i为图像序列中的第i帧,f_z为最后的叠加帧；

通过对叠加帧采取阈值化处理，方法如下:

$f_z(i,j)=\left\{\begin{array}{cc}{f}_z(i,j),& f_z(i,j)\&GreaterEqual;\mathrm{\&delta;}\\ 0,& f_z(i,j)<\mathrm{\&delta;}\end{array}\right.$

δ是阈值，取M,N为叠加帧图像的尺寸。

进一步，在步骤二中，给出弱小目标运动信息提取和状态预测建模时，具体实现方法为：

首先构建了在线学习的自适应神经网络竞争模型，利用其竞争的活动单元提取弱小目标的多维特征参数：

第一步，初始化网络：固定输出神经网络格子的维数为N×M，输入层为四阶网络，并随机初始化输入神经元和输出神经元连接的权重，令t表示算法迭代次数，置t＝0；

第二步，选择获胜者：把各帧小目标图像的灰度、色度、运动参数值X＝{x₁,x₂,…,x_d}输入到网络中的输入神经元，对每一个输入神经元值x_j，竞争层中的结点i的输出为 $S_i^t=G\left({\mathrm{\&mu;}}_i\left(t\right)\right),$ G是一个激活函数，如取 $G\left(x\right)=\frac{1}{1+e^{-\mathrm{\&alpha;x}}},$ α＞0是常数，控制曲线的斜率；μ_i(t)是p维输入向量x_j和p维权重向量ω_ji(t)间的欧氏距离||x_j-ω_ji(t)||和，即ω_ji(t)是在t时刻从输入层结点j到竞争层结点i的连接权重向量，j∈J，J＝{1,…,d}，i∈I，I＝{1,…,N_i}是竞争层的某局部区域；

选择获胜的输出神经元i^*，在竞争层中，对应最小的结点将获胜，即如果那么竞争层中获胜的结点为i^*，则与i^*关联的权重及与i^*点邻近的点关联的权重都会得到调整；

第三步，更新权重：N(i^*)是获胜输出神经元^i*的近邻，由输出神经元间的距离具体指定，对每一个输出神经元i∈{N(i^*),i^*}，按照下式来调整更新：

${\mathrm{\&omega;}}_{\mathrm{kj}}(t+1)=\left\{\begin{array}{cc}{\mathrm{\&omega;}}_{\mathrm{kj}}\left(t\right)+\mathrm{\&eta;}\left(t\right)(x_k-{\mathrm{\&omega;}}_{\mathrm{kj}}\left(t\right)),\mathrm{if}& j\&Element;N_i\\ 0& ,\mathrm{otherwise}\end{array}\right.$

η(t)＝η预先已确定好；这条规则只更新获胜输出神经元的近邻；

第四步，标准化权重：更新权重后对标准化，从而与输入测量标准是一致的；

第五步，继续循环：重复第一步到第四步，迭代的次数被置成t＝t+1，直到满足停机准则，停机准则为||x_j-ω_ji(t)||＜ε，取ε＝0.5，或者超过了最大的循环次数为止。

进一步，在步骤三中，建立两帧间图像运动小目标的关联矩阵的实现方法为：

建立m×n目标匹配矩阵M，这里，m为目前帧的运动小目标的个数，n为上一帧的运动小目标的个数，元素M(i,j)的值由下式给定：

$M(i,j)=\left\{\begin{array}{ccc}|r_i-r_j|,& \mathrm{if}& r_i+r_j>\sqrt{{(x_i-x_j)}^2+{(y_i-y_j)}^2}\\ \&infin;,& & \mathrm{else}\end{array}\right.$

式中r_i为第i目标的半径；r_j为第j目标的半径；(x_i,y_i)为第i目标的质心坐标；(x_j,y_j)为第j目标的质心坐标；∞表示一个很大的数值；

首先，在矩阵M中选择值最小且不为∞的元素，该元素所对应的行和列分别是当前运动小目标和上一帧运动小目标的编号，行对应的运动小目标与列对应的运动小目标相匹配，然后把完成匹配的行与列的所有元素值变为∞；继续在矩阵M中寻找最小值，完成运动小目标的匹配，直到矩阵内的所有值都变为∞；搜索结束后，没有找到匹配目标的行代表在当前图像中有新运动小目标的出现，没有找到匹配目标的列代表在当前图像中某运动小目标消失。

进一步，在步骤四中，基于多帧图像叠加的信息融合，利用模糊下推自动机链弹栈递归运算提出了网络环境下大规模图像与视频图像运动小目标的跟踪算法与识别方法为：

第一步，各模糊下推自动机对运动小目标识别在时间上的融合：

f_ip(t)和Ξ_i(t)分别表示t时刻由模糊下推自动机i测得的被识别运动小目标属于第p类的模糊隶属度及模糊分布，表示到l时刻为止由第i个模糊下推自动机积累融合得到的被识别目标属于第p类的模糊隶属度，表示到l时刻为止由第i个模糊下推自动机积累融合得到的被识别目标的模糊分布，这里， l＝1,2,…,t,即

${\mathrm{\&Xi;}}_i\left(t\right)=\underset{p\&Element;U}{\mathrm{\&Sigma;}}{f}_{\mathrm{ip}}\left(t\right)/o_p$

和

${\mathrm{\&Xi;}}_i^{t-1}=\underset{p\&Element;U}{\mathrm{\&Sigma;}}{f}_{\mathrm{ip}}^{(t-1)}/o_p$

o_p(p∈U)是运动小目标，将t-1时刻的累积融合模糊分布与t时刻的测量模糊分布进行融合，得第i个模糊下推自动机到t时刻为止的目标识别累积融合模糊分布为：

${\mathrm{\&Xi;}}_i^t=\underset{p\&Element;U}{\mathrm{\&Sigma;}}{f}_{\mathrm{ip}}^{\left(t\right)}/o_p$

其中，S₂是模糊综合函数，通常S₂取下式：

$S_t\left(M_{\mathrm{ip}}\left(t\right)\right)={\left(\frac{1}{t}\underset{l=1}{\overset{t}{\mathrm{\&Sigma;}}}{f}_{\mathrm{ip}}^q\left(l\right)\right)}^{\frac{1}{q}},q>0$

此时，以模糊分布对应的小目标的运动状态为是当前第t时刻的小目标的运动状态估计：

${\stackrel{\mathrm{\&Lambda;}}{x}}_{t+1|t}^{\left(i\right)}={\stackrel{\mathrm{\&Lambda;}}{x}}^{\left(i\right)}(t+1|t)=F_i\left(t\right){\stackrel{\mathrm{\&Lambda;}}{x}}^{\left(i\right)}\left(t\right|t)$

F_i(t)为从上一时刻到当前时刻的运动状态转移矩阵，选择转移模型，为上一时刻的状态估计值，为当前时刻的状态估计值；

第二步，模糊下推自动机对小目标识别的空间融合：

在得到t时刻各模糊下推自动机目标识别的积累模糊分布之后，这里i＝1,…,N，利用模糊综合函数对这N个模糊分布进行融合，就得到了到t时刻为止对目标识别的时-空累积融合模糊分布为：

${\mathrm{\&Xi;}}^t=\underset{p\&Element;U}{\mathrm{\&Sigma;}}{f}_p^{\left(t\right)}/o_p$

利用模糊综合函数理论，可得

$f_p^{\left(t\right)}=S_N[f_{1p}^{\left(t\right)},f_{2p}^{\left(t\right)},...,f_{\mathrm{Np}}^{\left(t\right)}]$

S_N也表示模糊综合函数；设

此时，以模糊分布Ξ^t对应的小目标的运动状态为是当前第k帧的所有小目标的运动状态估计，运动状态融合结果为：是由第1帧到第k帧的运动信息预测当前第k帧的第i个小目标的运动状态估计，是当前第k帧的所有小目标的运动状态估计，是模型的模糊隶属度；跟踪的关键是通过测量从开始时刻到k-1时刻预测当前k时刻第i个跟踪系统模型的模糊隶属度 ${\mathrm{\&mu;}}_{k|k-1}^{\left(i\right)}\stackrel{\mathrm{\&Delta;}}{=}\mathrm{Pr}\left\{m_k^{\left(i\right)}\right|z^{k-1}\}=\underset{j}{\mathrm{\&Sigma;}}{\mathrm{\&pi;}}_{\mathrm{ji}}{\mathrm{\&mu;}}_{k-1}^{\left(j\right)},$ 这里 ${\mathrm{\&mu;}}_{k-1}^{\left(j\right)}=\mathrm{Pr}\left\{m_{k-1}^{\left(j\right)}\right|z^{k-1}\}$ 是k-1时刻跟踪系统模型的模糊隶属度，是已知的，π_ji＝Pr{m_k＝m⁽ⁱ⁾|m_k-1＝m^(j)}是从模型m_k-1到模型m_k的状态转移模糊隶属度。

进一步，经过多帧融合后，小目标点得到进一步增强，大部分噪声点被滤去，滤除随机噪声干扰通过模糊下推自动机链长度进行判决，为了在保留小目标点的同时尽可能减少模糊下推自动机链长度，对融合帧采取了阈值化处理，方法如下:

$f_A(i,j)=\left\{\begin{array}{cc}{f}_A(i,j),& f_A(i,j)\&GreaterEqual;T\\ 0,& f_A(i,j)<T\end{array}\right.$

阈值T是模糊下推自动机链的长度，但此链必须保证含有小目标点，f_A为总的融合帧，在最后的融合帧上，小目标点表现为一相关性很强的轨迹；

根据融合算法计算出待识别运动小目标或轨迹的特征向量各分量f_A的模糊隶属度μ_ij，即获得未知运动小目标或轨迹的特征向量为U_i＝[μ_i1,μ_i2,…,μ_ik]^T；把它同已经训练好的已知第i₀类别的多维参数特征向量U_i0相比较，当且仅当 时，判决待识别运动小目标或轨迹属于第i₀类；即若使得 则判断待识别运动小目标或轨迹属于第i₀类；这里，δ为门限值，B为目标或轨迹类的指标集。

本发明提供的低信噪比运动小目标的跟踪与识别的方法，提出了一种基于单帧与多帧的时空域融合滤波的小目标跟踪算法与识别方法，对视频图像中运动小目标容易被复杂背景中的其他物体或噪声遮挡或淹没的情况，提出了开闭变换的消除或减弱背景与噪声的算法；对小目标的弱小特性，提出了在线学习的自适应神经网络竞争模型，利用其竞争的活动单元提取弱小目标的多维特征参数；对于视频中小目标的运动特性，利用灰度的突变，给出了小目标运动状态模型和预测模型；对运动小目标实时检测与跟踪，采用了模糊下推自动机链进行轨迹识别与跟踪，以模糊下推自动机链深度为阈值进行轨迹判决，从而提出了一种基于复杂环境下的运动小目标跟踪算法与识别方法，本发明有助于目标识别与图像处理人员了解检测目标的运动规律、活跃程度及其对其他目标的影响，从而给出相应的决策，寻求抑制或消除不良因素对其或其他重要目标的影响都是非常必要的；将对军事、民事、公安系统、道路交通等所有基于视频系统的目标识别与跟踪的发展起到重要的借鉴和参考作用。本发明的特征提取识别法的平均正确识别率最高，实验中，随着样本数的增多，平均正确识别率不断增大，达到一定的样本量时再增大样本曲线逐渐趋于平稳。

附图说明

图1是本发明实施例提供的低信噪比下的运动小目标的跟踪与识别方法的实现流程图；

图2是本发明实施例提供的开闭变换对运动小目标图像的滤波结果的示意图；

图中：(a)图像序列的第5帧；(b)第5帧开闭变换算法滤波效果；

图3是本发明实施例提供的所建立跟踪系统状态融合对图像或视频中运动小目标的跟踪；

图4是本发明实施例提供的模糊下推自动机链对运动小目标的跟踪轨迹图像；

图5是本发明实施例提供的提出的与现有的识别法的正确识别率比较示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图及具体实施例对本发明的应用原理作进一步描述。

如图1所示，本发明实施例的低信噪比运动小目标的跟踪与识别的方法包括以下步骤：

步骤S101，给出从视频序列的单帧图像中提取目标的方法，减弱或消除背景与噪声的影响；

步骤S102，给出弱小目标运动信息提取和状态预测建模；

步骤S103，建立两帧间图像运动小目标的关联矩阵；

步骤S104，基于多帧图像叠加的信息融合，利用模糊下推自动机链弹栈递归运算提出了网络环境下大规模图像与视频图像运动小目标的跟踪算法与识别方法。

在本发明实施例中，在步骤S101中，给出从视频序列的单帧图像中提取目标的方法，减弱或消除背景与噪声的影响时，具体实现方法为：

在基于数学形态学的基础上，提出了开闭变换的图像目标检测算法。该算法的主要思路是利用数学形态学组合运算求取局部极大值与极小值，减轻后续处理的计算量，尽量减少虚警率点数。对每个局部极大值点进行区域生长、极小值点实施减弱或消除，对可能的目标进行选择。

利用此算法使达到对于每一帧经过开闭变换滤波后的图像其表现为大面积的零背景和包含小面积目标，以及随机的点状噪声在内的高频分量。然后根据相邻帧之间运动目标的相关性，进行差分多帧叠加，小目标由于其运动性，在 叠加帧上表现为相关性很强的轨迹点，而高频点状噪声，则由于其随机性相互抵消一部分,未抵消部分在几何面积上表现为相关性很差的随机分布干扰点。

例如，使用简单的一种开运算变换g＝f-fοB，对单帧图像进行滤波，可以检测到图像中变化较大的地方，即相当于高频分量，同时能滤去图像中灰度值变化相对较为平缓的地方，相当于低频分量。利用这个变换就可以对一幅单帧图像进行滤波，滤掉低频成分，相当于滤掉大面积背景，留下包含小目标在内的高频部分。式中，f为图像灰度帧，B为结构体，ο表示开运算。使用开闭变换，对运动小目标的视频图像的其中一帧处理结果如图2所示。

在本发明实施例中，在步骤S102中，给出弱小目标运动信息提取和状态预测建模时，具体实现方法为：

对目标进行检测与跟踪，首先建立一个参考模板作为标准模板。

给定已知的运动目标，即在一定视频条件下的含有此目标的一帧图像中，检测出其运动速度、当前位置、运动方向o、成像的高度h、灰度均值μ与方差σ。把此帧的图像作为参考模板。

建立参考模板如下：以目标位置中心点为圆心，以拍帧时间与目标在成像平面内的投影速度的乘积为半径的前半圆区域内,进行搜索。以灰度的变化次数为门限，设置阈值。沿像宽与像高方向分别查找灰度的变化次数，若两个方向的变化次数都小于或等于2，延长拍帧时间，直到至少一个方向上的灰度变化次数为3或3次以上。然后，以圆心为起点，计算连续三次相邻的灰度变化之间的距离d₁和d₂，可得目标的运动幅度与目标在一帧的成像宽度，以此幅度和宽度为当前位置时的目标运动特征参数s₁和s₂。由灰度的跳变可以定位目标的位置并以其计算出运动方向、速度和成像的高度等。半圆区域内目标的灰度均值和方差为另两个特征参数，得到一个为后续图像处理所使用的主要特征向量V作为标准特征向量。

由小目标的运动信息，将给出运动状态预测模型为

${\stackrel{\mathrm{\&Lambda;}}{x}}_{k+1|k}^{\left(i\right)}={\stackrel{\mathrm{\&Lambda;}}{x}}^{\left(i\right)}(k+1|k)=F_i\left(k\right){\stackrel{\mathrm{\&Lambda;}}{x}}^{\left(i\right)}\left(k\right|k)$

这里，F_i(k)为从上一帧到当前帧的运动状态转移矩阵，将必须对其选择合适的转移模型，为上一帧的状态估计值，为当前帧的状态估计值。

在本发明实施例中，在步骤S103中，建立两帧间图像运动小目标的关联矩阵的实现方法为：

建立m×n目标匹配矩阵M。这里，m为目前帧的运动小目标的个数，n为上一帧的运动小目标的个数。元素M(i,j)的值由下式给定。

$M(i,j)=\left\{\begin{array}{ccc}|r_i-r_j|,& \mathrm{if}& r_i+r_j>\sqrt{{(x_i-x_j)}^2+{(y_i-y_j)}^2}\\ \&infin;,& & \mathrm{else}\end{array}\right.$

式中r_i为第i目标的半径；r_j为第j目标的半径；(x_i,y_i)为第i目标的质心坐标；(x_j,y_j)为第j目标的质心坐标；∞表示一个很大的数值。

利用匹配矩阵来实现当前图像中的运动小目标与上一帧图像中运动小目标的匹配。首先，在矩阵M中选择值最小且不为∞的元素，该元素所对应的行和列分别是当前运动小目标和上一帧运动小目标的编号，这样行对应的运动小目标与列对应的运动小目标相匹配。然后把完成匹配的行与列的所有元素值变为∞。继续在矩阵M中寻找最小值，完成运动小目标的匹配，直到矩阵内的所有值都变为∞。搜索结束后，没有找到匹配目标的行代表在当前图像中有新运动小目标的出现，没有找到匹配目标的列代表在当前图像中某运动小目标消失。

在本发明实施例中，在步骤S104中，基于多帧图像叠加的信息融合，利用模糊下推自动机链弹栈递归运算提出了网络环境下大规模图像与视频图像运动小目标的跟踪算法与识别方法为：

基于多特征融合，提出了基于当前帧与上一帧运动小目标的特征和运动状态的联合概率和粗糙度数据关联算法、假设检验方法。利用联合概率和粗糙度数据关联算法预估计多状态小目标跟踪算法。采用多假设检验方法利用后帧中的信息更新假设状态。在提出这些算法和方法的同时，给出合适的“门限”，只 计算位于“门限”内的观测值与小目标的关联概率和粗糙度，这就大大减少了计算量，用观测位置与预测位置的距离解决小目标冲突问题。

要实现图像的运动小目标跟踪与识别，就必须提出一种合适的识别算法，即可认为待识别的和已经训练好的已知类别的运动小目标特征向量都是模糊数向量，将其特征向量相比较，定义特征隶属函数、隶属度及匹配规则，给出模糊目标识别算法。具体实施为：

为对图像或视频中运动小目标的轨迹实施跟踪，本发明提出了多帧叠加的运动状态融合算法：根据图像或视频中运动小目标的运动状态，将设计出一种检测与跟踪系统的融合算法，以实现对运动小目标的跟踪。本算法由三部分组成：(a)映射跟踪系统进入具有N个反馈神经元的神经网络中；(b)让N个反馈神经元在时间上即多帧融合上完成跟踪系统的状态融合；(c)使M个非反馈输出神经元再来完成在空间上即单帧融合上的跟踪系统的状态融合，最后计算跟踪系统状态的时－空累积融合，来完成跟踪系统对运动小目标的融合跟踪算法。

设计出跟踪系统状态融合算法为：这里，是由第1帧到第k帧的运动信息预测当前第k帧的第i个小目标的运动状态估计，是当前第k帧的所有小目标的运动状态估计，是模型的模糊隶属度。跟踪的关键是通过测量从开始时刻到k-1时刻预测当前k时刻第i个跟踪系统模型的模糊隶属度 ${\mathrm{\&mu;}}_{k|k-1}^{\left(i\right)}\stackrel{\mathrm{\&Delta;}}{=}\mathrm{Pr}\left\{m_k^{\left(i\right)}\right|z^{k-1}\}=\underset{j}{\mathrm{\&Sigma;}}{\mathrm{\&pi;}}_{\mathrm{ji}}{\mathrm{\&mu;}}_{k-1}^{\left(j\right)},$ 这里 ${\mathrm{\&mu;}}_{k-1}^{\left(j\right)}=\mathrm{Pr}\left\{m_{k-1}^{\left(j\right)}\right|z^{k-1}\}$ 是k-1时刻跟踪系统模型的模糊隶属度，是已知的，π_ji＝Pr{m_k＝m⁽ⁱ⁾|m_k-1＝m^(j)}是从模型m_k-1到模型m_k的状态转移模糊隶属度。建立的跟踪系统状态融合对运动小目标的跟踪过程如图3所示。

在最后的叠加帧上，小目标点表现为一相关性很强的轨迹。但要识别出小目标点的轨迹仍非易事，主要是一些离散干扰点仍有可能存在。另外还可能出现轨迹点与干扰点相互交错。因此只能在一定的假设下从全局出发根据整体相 关性进行判决。为此，提出基于模糊下推自动机链，利用弹栈与出栈的方法以轨迹的相关长度为门限进行轨迹判决。跟踪结果如图4所示。从图4可以看出，说明本发明提出的模糊下推自动机链跟踪算法在模式识别系统中取得了较大的成功。

根据融合算法计算出待识别运动小目标或轨迹的特征向量各分量的模糊隶属度μ_ij，即可获得未知运动小目标或轨迹的特征向量为U_i＝[μ_i1,μ_i2,…,μ_ik]^T。把它同已经训练好的已知第i₀类别的多维参数特征向量U_i0相比较，当且仅当 时，判决待识别运动小目标或轨迹属于第i₀类。即若使得 则判断待识别运动小目标或轨迹属于第i₀类。这里，δ为门限值，B为目标或轨迹类的指标集。

本发明的具体步骤为：

步骤一，给出从视频序列的单帧图像中提取目标的方法，减弱或消除背景与噪声的影响；

步骤二，给出弱小目标运动信息提取和状态预测建模；

步骤三，建立两帧间图像运动小目标的关联矩阵；

步骤四，基于多帧图像叠加的信息融合，利用模糊下推自动机链弹栈递归运算提出了网络环境下大规模图像与视频图像运动小目标的跟踪算法与识别方法。

进一步，在步骤一中，给出从视频序列的单帧图像中提取目标的方法，减弱或消除背景与噪声的影响时，具体实现方法为：

由于场景的复杂程度、稳定程度影响着目标跟踪的效果。例如，目标图像受光照不均匀、背景中物体的变动的影响等。要从图像中有效地分割、提取出目标，必须提出一种减弱或消除背景或噪声影响的算法。本发明将在基于数学形态学的基础上，提出开闭变换的图像目标检测算法。该算法的主要思路是利用数学形态学组合运算求取局部极大值与极小值，减轻后续处理的计算量，尽 量减少虚警率点数。对每个局部极大值点进行区域生长、极小值点实施减弱或消除，对可能的目标进行选择。

利用此算法使达到对于每一帧经过开闭变换滤波后的图像其表现为大面积的零背景和包含小面积目标，以及随机的点状噪声在内的高频分量。然后根据相邻帧之间运动目标的相关性，进行差分多帧叠加，小目标由于其运动性，在叠加帧上表现为相关性很强的轨迹点，而高频点状噪声，则由于其随机性相互抵消一部分,未抵消部分在几何面积上表现为相关性很差的随机分布干扰点。

例如，使用简单的一种开运算变换g＝f-fοB，对单帧图像进行滤波，可以检测到图像中变化较大的地方，即相当于高频分量，同时能滤去图像中灰度值变化相对较为平缓的地方，相当于低频分量。利用这个变换就可以对一幅单帧图像进行滤波，滤掉低频成分，相当于滤掉大面积背景，留下包含小目标在内的高频部分。式中，f为图像灰度帧，B为结构体，ο表示开运算。使用开闭变换，对运动小目标的视频图像的其中一帧处理结果如图2所示。

由于开闭变换滤波与结构体尺寸有关，结构体尺寸的大小决定着高通滤波效果。结构体尺寸越小，滤除低频背景就越彻底，所能保留的目标尺寸就越小。

进一步，在步骤二中，实施弱小目标运动信息提取和状态预测建模，具体实现方法为：

对目标进行检测与跟踪，首先建立一个参考模板作为标准模板。

给定已知的运动目标，即在一定视频条件下的含有此目标的一帧图像中，检测出其运动速度、当前位置、运动方向o、成像的高度h、灰度均值μ与方差σ。把此帧的图像作为参考模板。

建立参考模板如下：以目标位置中心点为圆心，以拍帧时间与目标在成像平面内的投影速度的乘积为半径的前半圆区域内,进行搜索。以灰度的变化次数为门限，设置阈值。沿像宽与像高方向分别查找灰度的变化次数，若两个方向的变化次数都小于或等于2，延长拍帧时间，直到至少一个方向上的灰度变化次数为3或3次以上。然后，以圆心为起点，计算连续三次相邻的灰度变化之间 的距离d₁和d₂，可得目标的运动幅度与目标在一帧的成像宽度，以此幅度和宽度为当前位置时的目标运动特征参数s₁和s₂。由灰度的跳变可以定位目标的位置并以其计算出运动方向、速度和成像的高度等。半圆区域内目标的灰度均值和方差为另两个特征参数，得到一个为后续图像处理所使用的主要特征向量V作为标准特征向量。

由小目标的运动信息，将给出运动状态预测模型为

${\stackrel{\mathrm{\&Lambda;}}{x}}_{k+1|k}^{\left(i\right)}={\stackrel{\mathrm{\&Lambda;}}{x}}^{\left(i\right)}(k+1|k)=F_i\left(k\right){\stackrel{\mathrm{\&Lambda;}}{x}}^{\left(i\right)}\left(k\right|k)$

这里，F_i(k)为从上一帧到当前帧的运动状态转移矩阵，将必须对其选择合适的转移模型，为上一帧的状态估计值，为当前帧的状态估计值。

进一步，在步骤三中，建立两帧间图像运动小目标的关联矩阵的实现方法为：

建立m×n目标匹配矩阵M。这里，m为目前帧的运动小目标的个数，n为上一帧的运动小目标的个数。元素M(i,j)的值由下式给定。

$M(i,j)=\left\{\begin{array}{ccc}|r_i-r_j|,& \mathrm{if}& r_i+r_j>\sqrt{{(x_i-x_j)}^2+{(y_i-y_j)}^2}\\ \&infin;,& & \mathrm{else}\end{array}\right.$

式中r_i为第i目标的半径；r_j为第j目标的半径；(x_i,y_i)为第i目标的质心坐标；(x_j,y_j)为第j目标的质心坐标；∞表示一个很大的数值。

利用匹配矩阵来实现当前图像中的运动小目标与上一帧图像中运动小目标的匹配。首先，在矩阵M中选择值最小且不为∞的元素，该元素所对应的行和列分别是当前运动小目标和上一帧运动小目标的编号，这样行对应的运动小目标与列对应的运动小目标相匹配。然后把完成匹配的行与列的所有元素值变为∞。继续在矩阵M中寻找最小值，完成运动小目标的匹配，直到矩阵内的所有值都变为∞。搜索结束后，没有找到匹配目标的行代表在当前图像中有新运动小目标的出现，没有找到匹配目标的列代表在当前图像中某运动小目标消失。

进一步，在步骤四中，基于多帧图像叠加的信息融合，利用模糊下推自动机链弹栈递归运算提出了网络环境下大规模图像与视频图像运动小目标的跟踪算法与识别方法为：

基于多特征融合，本发明提出了描述运动小目标与跟踪其运动轨迹的数据关联算法。同时提出基于当前帧与上一帧运动小目标的特征和运动状态的联合概率和粗糙度数据关联算法、假设检验方法。利用联合概率和粗糙度数据关联算法预估计多状态小目标跟踪算法。采用多假设检验方法利用后帧中的信息更新假设状态。在提出这些算法和方法的同时，给出合适的“门限”，只计算位于“门限”内的观测值与小目标的关联概率和粗糙度，这就大大减少了计算量，用观测位置与预测位置的距离解决小目标冲突问题。

要实现图像的运动小目标跟踪与识别，就必须提出一种合适的识别算法，即可认为待识别的和已经训练好的已知类别的运动小目标特征向量都是模糊数向量，将其特征向量相比较，定义特征隶属函数、隶属度及匹配规则，给出模糊目标识别算法。具体实施为：

为对图像或视频中运动小目标的轨迹实施跟踪，本发明提出了多帧叠加的运动状态融合算法：根据图像或视频中运动小目标的运动状态，将设计出一种检测与跟踪系统的融合算法，以实现对运动小目标的跟踪。本算法由三部分组成：(a)映射跟踪系统进入具有N个反馈神经元的神经网络中；(b)让N个反馈神经元在时间上即多帧融合上完成跟踪系统的状态融合；(c)使M个非反馈输出神经元再来完成在空间上即单帧融合上的跟踪系统的状态融合，最后计算跟踪系统状态的时－空累积融合，来完成跟踪系统对运动小目标的融合跟踪算法。

设计出跟踪系统状态融合算法为：这里，是由第1帧到第k帧的运动信息预测当前第k帧的第i个小目标的运动状态估计，是当前第k帧的所有小目标的运动状态估计，是模型的模糊隶属度。跟踪的关键是通过测量从开始时刻到k-1时刻预测当前k时刻第i个跟踪系统模型的模糊隶属 度 ${\mathrm{\&mu;}}_{k|k-1}^{\left(i\right)}\stackrel{\mathrm{\&Delta;}}{=}\mathrm{Pr}\left\{m_k^{\left(i\right)}\right|z^{k-1}\}=\underset{j}{\mathrm{\&Sigma;}}{\mathrm{\&pi;}}_{\mathrm{ji}}{\mathrm{\&mu;}}_{k-1}^{\left(j\right)},$ 这里 ${\mathrm{\&mu;}}_{k-1}^{\left(j\right)}=\mathrm{Pr}\left\{m_{k-1}^{\left(j\right)}\right|z^{k-1}\}$ 是k-1时刻跟踪系统模型的模糊隶属度，是已知的，π_ji＝Pr{m_k＝m⁽ⁱ⁾|m_k-1＝m^(j)}是从模型m_k-1到模型m_k的状态转移模糊隶属度。建立的跟踪系统状态融合对运动小目标的跟踪过程如图3所示。

在最后的叠加帧上，小目标点表现为一相关性很强的轨迹。但要识别出小目标点的轨迹仍非易事，主要是一些离散干扰点仍有可能存在。另外还可能出现轨迹点与干扰点相互交错。因此只能在一定的假设下从全局出发根据整体相关性进行判决。为此，提出基于模糊下推自动机链，利用弹栈与出栈的方法以轨迹的相关长度为门限进行轨迹判决。跟踪结果如图4所示。从图4可以看出，说明本发明提出的模糊下推自动机链跟踪算法在模式识别系统中取得了较大的成功。

根据融合算法计算出待识别运动小目标或轨迹的特征向量各分量的模糊隶属度μ_ij，即可获得未知运动小目标或轨迹的特征向量为U_i＝[μ_i1,μ_i2,…,μ_ik]^T。把它同已经训练好的已知第i₀类别的多维参数特征向量U_i0相比较，当且仅当 时，判决待识别运动小目标或轨迹属于第i₀类。即若使得 则判断待识别运动小目标或轨迹属于第i₀类。这里，δ为门限值，B为目标或轨迹类的指标集。

本发明提供的低信噪比下的运动小目标的跟踪与识别问题，现有的文献也有类似的研究，但这些文献方法中都存在跟踪实时速度较慢、跟踪或识别效果较差等弱点。然而，本发明以一种分阶段、按目标分别给出不同的实施方法，提出了一种基于单帧与多帧的时空域融合滤波的小目标跟踪算法与识别方法。对视频图像中运动小目标容易被复杂背景中的其他物体或噪声遮挡或淹没的情况，提出了开闭变换的消除或减弱背景与噪声的算法；对小目标的弱小特性，提出了在线学习的自适应神经网络竞争模型，利用其竞争的活动单元提取弱小 目标的多维特征参数；对于视频中小目标的运动特性，利用灰度的突变，给出了小目标运动状态模型和预测模型；对运动小目标实时检测与跟踪，采用了模糊下推自动机链进行轨迹识别与跟踪，以模糊下推自动机链深度为阈值进行轨迹判决，从而提出了一种基于复杂环境下的运动小目标跟踪算法与识别方法。本发明的这些研究有助于目标识别与图像处理人员了解检测目标的运动规律、活跃程度及其对其他目标的影响，从而给出相应的决策，寻求抑制或消除不良因素对其或其他重要目标的影响都是非常必要的。这将对军事、民事、公安系统、道路交通等所有基于视频系统的目标识别与跟踪的发展起到重要的借鉴和参考作用。

本发明提出的这种运动小目标跟踪与识别方法与现有的识别方法相比较，仿真结果如图5和表1所示。

对视频中每幅运动小目标图像，仿真中选用给定尺度为2⁸的小波基函数按照本发明提出的方法进行10次重复实验，每次实验分别取不同个数的样本。本发明方法与目前文献给出的运用较多的两种运动小目标跟踪和识别法进行比较，在仿真500次时的正确平均识别率分别为95.14％，92.45％，88.17％。而且，本发明方法的识别速度也较目前两种识别方法较快，结果如图5和表1所示。

从图5知，基于本发明的特征提取识别法的平均正确识别率最高。实验中，随着样本数的增多，平均正确识别率不断增大，达到一定的样本量时再增大样本曲线逐渐趋于平稳。

为了评价各算法的综合性能，我们根据计算速度、存储量、通信量、正确识别率等几个方面，采用定量与定性相结合的方法，综合比较。评价了不同掌纹识别法的优劣。表1给出了综合比较结果。

表1 不同运动小目标识别法的综合比较

算法	正确识别率均值	计算速度	存储量	通信量
					现有方法1	0.8817	0.82s	中	中
现有方法2	0.9245	0.49s	较低	较低
					本发明提出方法	0.9514	0.426s	低	低

表1中的计算速度是算法在仿真环境下每步都计算10次重复实验所用的平 均计算时间，只是算法本身的计算时间。仿真使用的计算机是奔4，2G的内存，所用的程序设计语言是MATLAB。表1中的存储与通信量要求只是根据各种算法的计算过程，复杂度大致估计的。从表的结果可以看出，存储量与通信量是紧密相联系的。表中正确平均识别率是各算法在给定的仿真实验环境情况下，经过500次仿真实验取平均后，再取10个时间步的平均值。实际上它们是正确识别率在空间和时间上的平均，因而是正确识别率的总体平均。

从仿真结果知，基于本发明特征提取的识别法不但具有较快的处理速度、较低的存储量和通信量，而且还有较好的识别效果。

本发明的实现方案如下：

(1)给出从视频序列的单帧图像中提取目标的方法，减弱或消除背景与噪声的影响在基于数学形态学的基础上，提出了开闭变换的图像目标检测算法。该算法的主要思路是利用数学形态学组合运算求取局部极大值与极小值，减轻后续处理的计算量，尽量减少虚警率点数。对每个局部极大值点进行区域生长、极小值点实施减弱或消除，对可能的目标进行选择。

利用此算法使达到对于每一帧经过开闭变换滤波后的图像其表现为大面积的零背景和包含小面积目标，以及随机的点状噪声在内的高频分量。然后根据相邻帧之间运动目标的相关性，进行差分多帧叠加，小目标由于其运动性，在叠加帧上表现为相关性很强的轨迹点，而高频点状噪声，则由于其随机性相互抵消一部分,未抵消部分在几何面积上表现为相关性很差的随机分布干扰点。

例如，使用简单的一种开运算变换g＝f-fοB，对单帧图像进行滤波，可以检测到图像中变化较大的地方，即相当于高频分量，同时能滤去图像中灰度值变化相对较为平缓的地方，相当于低频分量。利用这个变换就可以对一幅单帧图像进行滤波，滤掉低频成分，相当于滤掉大面积背景，留下包含小目标在内的高频部分。式中，f为图像灰度帧，B为结构体，ο表示开运算。使用开闭变换，对运动小目标的视频图像的其中一帧处理结果如图2所示。

(2)给出弱小目标运动信息提取和状态预测建模

对目标进行检测与跟踪，首先建立一个参考模板作为标准模板。

给定已知的运动目标，即在一定视频条件下的含有此目标的一帧图像中，检测出其运动速度、当前位置、运动方向o、成像的高度h、灰度均值μ与方差σ。把此帧的图像作为参考模板。

建立参考模板如下：以目标位置中心点为圆心，以拍帧时间与目标在成像平面内的投影速度的乘积为半径的前半圆区域内,进行搜索。以灰度的变化次数为门限，设置阈值。沿像宽与像高方向分别查找灰度的变化次数，若两个方向的变化次数都小于或等于2，延长拍帧时间，直到至少一个方向上的灰度变化次数为3或3次以上。然后，以圆心为起点，计算连续三次相邻的灰度变化之间的距离d₁和d₂，可得目标的运动幅度与目标在一帧的成像宽度，以此幅度和宽度为当前位置时的目标运动特征参数s₁和s₂。由灰度的跳变可以定位目标的位置并以其计算出运动方向、速度和成像的高度等。半圆区域内目标的灰度均值和方差为另两个特征参数，得到一个为后续图像处理所使用的主要特征向量V作为标准特征向量。

由小目标的运动信息，将给出运动状态预测模型为

${\stackrel{\mathrm{\&Lambda;}}{x}}_{k+1|k}^{\left(i\right)}={\stackrel{\mathrm{\&Lambda;}}{x}}^{\left(i\right)}(k+1|k)=F_i\left(k\right){\stackrel{\mathrm{\&Lambda;}}{x}}^{\left(i\right)}\left(k\right|k)$

这里，F_i(k)为从上一帧到当前帧的运动状态转移矩阵，将必须对其选择合适的转移模型，为上一帧的状态估计值，为当前帧的状态估计值。

(3)建立两帧间图像运动小目标的关联矩阵

建立m×n目标匹配矩阵M。这里，m为目前帧的运动小目标的个数，n为上一帧的运动小目标的个数。元素M(i,j)的值由下式给定。

$M(i,j)=\left\{\begin{array}{ccc}|r_i-r_j|,& \mathrm{if}& r_i+r_j>\sqrt{{(x_i-x_j)}^2+{(y_i-y_j)}^2}\\ \&infin;,& & \mathrm{else}\end{array}\right.$

式中r_i为第i目标的半径；r_j为第j目标的半径；(x_i,y_i)为第i目标的质心坐标； (x_j,y_j)为第j目标的质心坐标；∞表示一个很大的数值。

利用匹配矩阵来实现当前图像中的运动小目标与上一帧图像中运动小目标的匹配。首先，在矩阵M中选择值最小且不为∞的元素，该元素所对应的行和列分别是当前运动小目标和上一帧运动小目标的编号，这样行对应的运动小目标与列对应的运动小目标相匹配。然后把完成匹配的行与列的所有元素值变为∞。继续在矩阵M中寻找最小值，完成运动小目标的匹配，直到矩阵内的所有值都变为∞。搜索结束后，没有找到匹配目标的行代表在当前图像中有新运动小目标的出现，没有找到匹配目标的列代表在当前图像中某运动小目标消失。

(4)基于多帧图像叠加的信息融合，利用模糊下推自动机链弹栈递归运算提出了网络环境下大规模图像与视频图像运动小目标的跟踪算法与识别方法

基于多特征融合，本发明提出了描述运动小目标与跟踪其运动轨迹的数据关联算法。同时提出了基于当前帧与上一帧运动小目标的特征和运动状态的联合概率和粗糙度数据关联算法、假设检验方法。利用联合概率和粗糙度数据关联算法预估计多状态小目标跟踪算法。采用多假设检验方法利用后帧中的信息更新假设状态。在提出这些算法和方法的同时，给出合适的“门限”，只计算位于“门限”内的观测值与小目标的关联概率和粗糙度，这就大大减少了计算量，用观测位置与预测位置的距离解决小目标冲突问题。

要实现图像的运动小目标跟踪与识别，就必须提出一种合适的识别算法，即可认为待识别的和已经训练好的已知类别的运动小目标特征向量都是模糊数向量，将其特征向量相比较，定义特征隶属函数、隶属度及匹配规则，给出模糊目标识别算法。具体实施为：

为对图像或视频中运动小目标的轨迹实施跟踪，本发明提出了多帧叠加的运动状态融合算法：根据图像或视频中运动小目标的运动状态，将设计出一种检测与跟踪系统的融合算法，以实现对运动小目标的跟踪。本算法由三部分组成：(a)映射跟踪系统进入具有N个反馈神经元的神经网络中；(b)让N个反馈神 经元在时间上即多帧融合上完成跟踪系统的状态融合；(c)使M个非反馈输出神经元再来完成在空间上即单帧融合上的跟踪系统的状态融合，最后计算跟踪系统状态的时－空累积融合，来完成跟踪系统对运动小目标的融合跟踪算法。

设计出跟踪系统状态融合算法为：这里，是由第1帧到第k帧的运动信息预测当前第k帧的第i个小目标的运动状态估计，是当前第k帧的所有小目标的运动状态估计，是模型的模糊隶属度。跟踪的关键是通过测量从开始时刻到k-1时刻预测当前k时刻第i个跟踪系统模型的模糊隶属度 ${\mathrm{\&mu;}}_{k|k-1}^{\left(i\right)}\stackrel{\mathrm{\&Delta;}}{=}\mathrm{Pr}\left\{m_k^{\left(i\right)}\right|z^{k-1}\}=\underset{j}{\mathrm{\&Sigma;}}{\mathrm{\&pi;}}_{\mathrm{ji}}{\mathrm{\&mu;}}_{k-1}^{\left(j\right)},$ 这里 ${\mathrm{\&mu;}}_{k-1}^{\left(j\right)}=\mathrm{Pr}\left\{m_{k-1}^{\left(j\right)}\right|z^{k-1}\}$ 是k-1时刻跟踪系统模型的模糊隶属度，是已知的，π_ji＝Pr{m_k＝m⁽ⁱ⁾|m_k-1＝m^(j)}是从模型m_k-1到模型m_k的状态转移模糊隶属度。建立的跟踪系统状态融合对运动小目标的跟踪过程如图3所示。

在最后的叠加帧上，小目标点表现为一相关性很强的轨迹。但要识别出小目标点的轨迹仍非易事，主要是一些离散干扰点仍有可能存在。另外还可能出现轨迹点与干扰点相互交错。因此只能在一定的假设下从全局出发根据整体相关性进行判决。为此，提出基于模糊下推自动机链，利用弹栈与出栈的方法以轨迹的相关长度为门限进行轨迹判决。跟踪结果如图4所示。从图4可以看出，说明本发明提出的模糊下推自动机链跟踪算法在模式识别系统中取得了较大的成功。

根据融合算法计算出待识别运动小目标或轨迹的特征向量各分量的模糊隶属度μ_ij，即可获得未知运动小目标或轨迹的特征向量为U_i＝[μ_i1,μ_i2,…,μ_ik]^T。把它同已经训练好的已知第i₀类别的多维参数特征向量U_i0相比较，当且仅当 时，判决待识别运动小目标或轨迹属于第i₀类。即若使得 则判断待识别运动小目标或轨迹属于第i₀类。这里，δ为门 限值，B为目标或轨迹类的指标集。

本发明的创新点如下：

(1)如何对视频序列中两帧间图像小目标建立数据关联是运动小目标跟踪算法的主要难点。网络环境下背景的复杂性，小目标在图像中占据的比例小、目标颜色与背景颜色的相似程度、背景的稳定程度，多目标的交互及各种特殊情况的发生都会给运动小目标跟踪带来困难。小目标外观特征如目标形状和纹理等信息，由于遮挡过程的发生在图像中几乎被淹没，以及小目标运动的不确定性，导致小目标信息的丢失，很容易发生跟踪失败。如何有效的处理遮挡，特别是严重的遮挡，一直是运动小目标跟踪中的一个难点。在监控视频中，各帧中的小目标外观往往非常相似，如何选取合适的特征以较好的区分不同小目标运动状态来实现准确的数据关联，是本项目将要研究的一个关键问题。而目前国内外对这个问题的研究几乎是一个空白。

对这个问题的探讨，本发明分析小目标在图像中的成像特点及运动信息，首先对目标的弱小和运动特性，采用开闭变换去掉背景、消除或减小噪声等算法处理。然后根据相邻帧之间运动小目标的运动相关性，进行差分多帧叠加。

(2)利用运动小目标本身的特性，建立运动信息向量、抽取小目标多特征点运动小目标的多维参数提取是现在许多部门棘手且亟待解决的难题。本发明利用了运动小目标本身的特性，挖掘运动小目标各特征参数及特征参数的特征点，建立运动学特征向量，给出了运动小目标的多维参数提取。

(3)采用基于多帧图像叠加的信息融合和模糊下推自动机链递归运算进行轨迹判决，建立模型算法和基于特征选取并行的机制进行图像识别。

随着科技的发展和人类的安防意识的提升，网络环境下视频监控系统在各个领域得到越来越广泛的应用。而基于视频监控的运动目标的识别是一项十分有用的工作,可以应用在航天、军事、导弹轨迹识别跟踪，交通违章检测等众多领域。但在有些场合如红外制导中，需要能够尽快地截获并锁定跟踪目标。那么对运动小目标的准确检测与跟踪，对在军事、民事等各个领域的应用显得 越来越重要，也越来越急迫。网络环境强杂波背景条件下低信噪比运动小目标的检测问题直接决定探测系统的作用距离及检测性能，其解决对于提高探测系统性能具有非常重要的实际意义。

针对这些问题的研究，本发明分析了多形态目标的各种特征，利用跟踪系统状态融合、模糊下推自动机链弹栈递归运算对视频图像的运动小目标进行轨迹跟踪，给出运动小目标识别算法。

本发明的具体实施例：

本发明提供的低信噪比下的运动小目标的跟踪与识别问题，现有的文献也有类似的研究，但这些方法中都存在跟踪实时速度较慢、跟踪或识别效果较差等弱点。然而，本发明以一种分阶段、按目标分别给出不同的实施方法，提出了一种基于单帧与多帧的时空域融合滤波的小目标跟踪算法与识别方法(基于如图3)。①对视频图像中运动小目标容易被复杂背景中的其他物体或噪声遮挡或淹没的情况，提出了开闭变换的消除或减弱背景与噪声的算法；②对小目标的弱小特性，提出了在线学习的自适应神经网络竞争模型，利用其竞争的活动单元提取弱小目标的多维特征参数；③对于视频中小目标的运动特性，利用灰度的突变，给出了小目标运动状态模型和预测模型；④对运动小目标实时检测与跟踪，采用了模糊下推自动机链进行轨迹识别与跟踪，以模糊下推自动机链深度为阈值进行轨迹判决，从而提出了一种基于复杂环境下的运动小目标跟踪算法与识别方法。

对技术方案①的实施是:

使用开运算变换g＝f-fοB或闭运算变换g＝f□B-f，对单帧图像进行滤波，检测到图像中变化较大的地方，即相当于高频分量，同时能滤去图像中灰度值变化相对较为平缓的地方，相当于低频分量，利用这个变换就对一幅单帧图像进行滤波，滤掉低频成分，相当于滤掉大面积背景，留下包含小目标在内的高频部分；式中，f为图像灰度帧，B为结构体，ο表示开运算,□表示闭运算。

Claims (6)

1.一种低信噪比运动小目标的跟踪与识别的方法，其特征在于，该低信噪比运动小目标的跟踪与识别的方法以一种分阶段、按目标分别给出不同的实施方法，对视频图像中运动小目标容易被复杂背景中的其他物体或噪声遮挡或淹没的情况，提出了开闭变换的消除或减弱背景与噪声的算法；对小目标的弱小特性，提出了在线学习的自适应神经网络竞争模型，利用竞争的活动单元提取弱小目标的多维特征参数；对于视频中小目标的运动特性，利用灰度的突变，给出了小目标运动状态模型和预测模型；对运动小目标实时检测与跟踪，采用了模糊下推自动机链进行轨迹识别与跟踪，以模糊下推自动机链深度为阈值进行轨迹判决；

具体包括以下步骤：

步骤一，给出从视频序列的单帧图像中提取目标的方法，减弱或消除背景与噪声的影响；

步骤二，给出弱小目标运动信息提取和状态预测建模；

步骤三，建立两帧间图像运动小目标的关联矩阵；

步骤四，基于多帧图像叠加的信息融合，利用模糊下推自动机链弹栈递归运算提出了网络环境下大规模图像与视频图像运动小目标的跟踪算法与识别方法。

2.如权利要求1所述的低信噪比运动小目标的跟踪与识别的方法，其特征在于，在步骤一中，给出从视频序列的单帧图像中提取目标的方法，减弱或消除背景与噪声的影响时，具体实现方法为：

利用数学形态学组合运算求取局部极大值与极小值，减轻后续处理的计算量，尽量减少虚警率点数，对每个局部极大值点进行区域生长、极小值点实施减弱或消除，对可能的目标进行选择；

使用开运算变换g＝f-fоB或闭运算变换g＝f□B-f，对单帧图像进行滤 波，检测到图像中变化较大的地方，即相当于高频分量，同时能滤去图像中灰度值变化相对较为平缓的地方，相当于低频分量，利用这个变换就对一幅单帧图像进行滤波，滤掉低频成分，相当于滤掉大面积背景，留下包含小目标在内的高频部分；式中，f为图像灰度帧，B为结构体，о表示开运算，□表示闭运算；

为准确识别目标或轨迹,进行小目标增强和干扰的抑制，由于小目标点在各帧之间运动，对视频图像可进行多帧叠加，在叠加的最后帧上，小目标点表现为相关性很强的轨迹点，但噪声仍有可能淹没小目标轨迹，提出多帧差分叠加算法，选取包含运动小目标点在内的图像序列，奇数帧与偶数帧各n帧差值的叠加值，即：

式中,f_i为图像序列中的第i帧,f_z为最后的叠加帧；

通过对叠加帧采取阈值化处理，方法如下:

δ是阈值，取M,N为叠加帧图像的尺寸。

3.如权利要求1所述的低信噪比运动小目标的跟踪与识别的方法，其特征在于，在步骤二中，给出弱小目标运动信息提取和状态预测建模时，具体实现方法为：

首先构建了在线学习的自适应神经网络竞争模型，利用其竞争的活动单元提取弱小目标的多维特征参数：

第一步，初始化网络：固定输出神经网络格子的维数为N×M，输入层为四阶网络，并随机初始化输入神经元和输出神经元连接的权重，令t表示算法迭代次数，置t＝0；

第二步，选择获胜者：把各帧小目标图像的灰度、色度、运动参数值 X＝{x₁,x₂,…,x_d}输入到网络中的输入神经元，对每一个输入神经元值x_j，竞争层中的结点i的输出为G是一个激活函数，如取α＞0是常数，控制曲线的斜率；μ_i(t)是p维输入向量x_j和p维权重向量ω_ji(t)间的欧氏距离||x_j-ω_ji(t)||和，即ω_ji(t)是在t时刻从输入层结点j到竞争层结点i的连接权重向量，j∈J，J＝{1,…,d}，i∈I，I＝{1,…,N_i}是竞争层的某局部区域；

选择获胜的输出神经元i^*，在竞争层中，对应最小的结点将获胜，即如果那么竞争层中获胜的结点为i^*，则与i^*关联的权重及与i^*点邻近的点关联的权重都会得到调整；

第三步，更新权重：N(i^*)是获胜输出神经元i^*的近邻，由输出神经元间的距离具体指定，对每一个输出神经元i∈{N(i^*),i^*}，按照下式来调整更新：

η(t)＝η预先已确定好；这条规则只更新获胜输出神经元的近邻；

第四步，标准化权重：更新权重后对标准化，从而与输入测量标准是一致的；

第五步，继续循环：重复第一步到第四步，迭代的次数被置成t＝t+1，直到满足停机准则，停机准则为||x_j-ω_ji(t)||＜ε，取ε＝0.5，或者超过了最大的循环次数为止。

4.如权利要求1所述的低信噪比运动小目标的跟踪与识别的方法，其特征在于，在步骤三中，建立两帧间图像运动小目标的关联矩阵的实现方法为：

建立m×n目标匹配矩阵M，这里，m为目前帧的运动小目标的个数，n为上一帧的运动小目标的个数，元素M(i,j)的值由下式给定：

式中r_i为第i目标的半径；r_j为第j目标的半径；(x_i,y_i)为第i目标的质心坐标；(x_j,y_j)为第j目标的质心坐标；∞表示一个很大的数值；

首先，在矩阵M中选择值最小且不为∞的元素，该元素所对应的行和列分别是当前运动小目标和上一帧运动小目标的编号，行对应的运动小目标与列对应的运动小目标相匹配，然后把完成匹配的行与列的所有元素值变为∞；继续在矩阵M中寻找最小值，完成运动小目标的匹配，直到矩阵内的所有值都变为∞；搜索结束后，没有找到匹配目标的行代表在当前图像中有新运动小目标的出现，没有找到匹配目标的列代表在当前图像中某运动小目标消失。

5.如权利要求1所述的低信噪比运动小目标的跟踪与识别的方法，其特征在于，在步骤四中，基于多帧图像叠加的信息融合，利用模糊下推自动机链弹栈递归运算提出了网络环境下大规模图像与视频图像运动小目标的跟踪算法与识别方法为：

第一步，各模糊下推自动机对运动小目标识别在时间上的融合：

f_ip(t)和Ξ_i(t)分别表示t时刻由模糊下推自动机i测得的被识别运动小目标属于第p类的模糊隶属度及模糊分布，表示到l时刻为止由第i个模糊下推自动机积累融合得到的被识别目标属于第p类的模糊隶属度，表示到l时刻为止由第i个模糊下推自动机积累融合得到的被识别目标的模糊分布，这里，l＝1,2,…,t,即

和

o_p(p∈U)是运动小目标，将t-1时刻的累积融合模糊分布与t时刻的测量模糊分布进行融合，得第i个模糊下推自动机到t时刻为止的目标识别累积融合模 糊分布为：

其中，S₂是模糊综合函数，通常S₂取下式：

此时，以模糊分布对应的小目标的运动状态为是当前第t时刻的小目标的运动状态估计：

F_i(t)为从上一时刻到当前时刻的运动状态转移矩阵，选择转移模型，为上一时刻的状态估计值，为当前时刻的状态估计值；

第二步，模糊下推自动机对小目标识别的空间融合：

在得到t时刻各模糊下推自动机目标识别的积累模糊分布之后，这里i＝1,…,N，利用模糊综合函数对这N个模糊分布进行融合，就得到了到t时刻为止对目标识别的时-空累积融合模糊分布为：

利用模糊综合函数理论，可得

S_N也表示模糊综合函数；设p＝1,…,M；

此时，以模糊分布Ξ^t对应的小目标的运动状态为是当前第k帧的所有小目标的运动状态估计，运动状态融合结果为： 是由第1帧到第k帧的运动信息预测当前第k帧的第i个小目标的运动状态估计，是当前第k帧的所有小目标的运动状态估计，是模型的模糊隶属度；跟踪的关键 是通过测量从开始时刻到k-1时刻预测当前k时刻第i个跟踪系统模型的模糊隶属度这里是k-1时刻跟踪系统模型的模糊隶属度，是已知的，π_ji＝Pr{m_k＝m⁽ⁱ⁾|m_k-1＝m^(j)}是从模型m_k-1到模型m_k的状态转移模糊隶属度。

6.如权利要求5所述的低信噪比运动小目标的跟踪与识别的方法，其特征在于，经过多帧融合后，小目标点得到进一步增强，大部分噪声点被滤去，滤除随机噪声干扰通过模糊下推自动机链长度进行判决，为了在保留小目标点的同时尽可能减少模糊下推自动机链长度，对融合帧采取了阈值化处理，方法如下:

阈值T是模糊下推自动机链的长度，但此链必须保证含有小目标点，f_A为总的融合帧，在最后的融合帧上，小目标点表现为一相关性很强的轨迹；

根据融合算法计算出待识别运动小目标或轨迹的特征向量各分量f_A的模糊隶属度μ_ij，即获得未知运动小目标或轨迹的特征向量为U_i＝[μ_i1,μ_i2,…,μ_ik]^T；把它同已经训练好的已知第i₀类别的多维参数特征向量相比较，当且仅当 时，判决待识别运动小目标或轨迹属于第i₀类；即若使得 则判断待识别运动小目标或轨迹属于第i₀类；这里，δ为门限值，B为目标或轨迹类的指标集。