CN101839722A - 一种中低空下目标自动识别及载体高精度定位方法 - Google Patents

Abstract

本发明公布了一种中低空下目标快速自动识别及载体高精度定位方法，属景象匹配制导领域。本方法基于图像尺度特征提取不变算法和H模型的构建进行匹配识别目标和提供高精度导航信息源；依据反馈匹配结果自适应协调规划相关参数以进一步控制匹配性能；通过研究基于积分图像的均值滤波替代高斯卷积滤波生成图像多尺度空间以加快匹配速率；根据图像匹配的结果，基于随机抽样一致性思想，构建适应该算法强健匹配能力的图像空间变换模型；基于该模型剔除错配点精确定位像素以识别目标并通过模型映射提供高精度导航信息源，同时可选取已知变换参数的双图，根据该变换模型，对图像匹配算法的性能和结果进行验证。

Description

一种中低空下目标自动识别及载体高精度定位方法

技术领域

本发明涉及利用图像匹配方法和构建图像间变换模型，在中低空下精确识别目标及为载体提供高精度导航信息源。属于景象匹配制导领域。

背景技术

中低空视野下利用图像匹配实现目标准确探测和载体精确定位在景象匹配制导、军事侦察、灾难救助、空中支援、地形勘察等军用和民用领域均有广泛应用。其中，国外在军事方面较早开展该方面的研究：美国自上世纪70年代开始展开景象匹配辅助导航的研究，目前已在“战斧”、“F-16”中成功应用并取的良好效果；在无人机自主飞行中，景象匹配辅助导航研究同样广泛开展，由于图像导航系统质量轻、精度高而备受青睐，利用图像匹配自动识别跑道或其它目标并获取导航信息、实现自主飞行和降落；在民用领域方面，基于图像匹配自动识别目标和定位的报道也常见报端；国内在该方面的研究起步较晚，目前关于景象匹配辅助导航、基于图像匹配的目标识别等的研究正积极展开。

中低空下目标识别并提供高精度载体导航信息源，其基本原理是通过机载图像传感器获取的实时目标图像与预先制备的高精度基准参考图或前期目标侦查图像匹配，根据匹配结果精准实现目标识别并通过对环境的综合分析提供高精度导航信息源；由于存在环境、设备、拍摄形态等因素的影响，实测图和数字参考地图之间会存在平移、旋转、尺度、视角、错切、光照、扭曲等变化，因此高效准确的图像匹配算法是目标准确识别及确保提供高精度导航信息源的关键。而当前在景象匹配辅助导航中研究较为广泛的Hausdorff图像匹配及其改进算法效率低下、正确率不高、无匹配的概率大；而在普通图像匹配中采用较为广泛的尺度不变特征提取(SIFT：Scale Invariant Feature Transform)算法，虽其在同类算子中具有最强的鲁棒性和较好的实时性，但在景象匹配制导领域，匹配结果完全不可控、错误匹配点多、变换模型欠缺、图像匹配结果无有效验证手段、无加速方法等问题，严重限制了其在景象匹配制导中的应用。目前国内尚未开展解决此类问题的研究，需要针对尺度不变特征提取算法的强健匹配能力，结合中低空视野下识别目标和导航的需求，对基于尺度不变特征提取算法进行改进并完善其缺少而在景象匹配制导中必须的功能；

附录文献：

文献1：刘建业，曾庆化，赵伟，熊智等.导航系统理论与应用[M].西安：西北工业大学出版社，2010

文献2：Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision，2004，2(60)：91～110.

发明内容

本发明所要解决的技术问题是在景象匹配制导领域中，充分利用在图像匹配中有强健匹配能力的尺度不变特征提取算法，针对其匹配结果完全不可控、特征点过多、错误匹配点出现概率高、图像间变换模型欠缺、图像匹配结果无有效验证手段、无加速方法等严重限制其在景象匹配中应用的瓶颈问题，从理论和实践上提出解决方法，以提供准确目标信息和实时精确的导航定位信息；

本发明为实现上述目的，采用如下技术方案：

本发明一种中低空下目标自动识别及载体高精度定位方法，包括如下步骤：

第一步：基于尺度不变特征提取算法提取实测图的特征和参考图的特征；

其特征在于：

第二步：根据第一步所述的实测图和参考图的特征利用最近/次近邻规则进行图像初始匹配得到初始匹配结果；依据初始匹配结果自适应协调规划粗调和微调两级特征提取参数控制第一步所述的基于尺度不变特征提取算法提取实测图和参考图的特征点；

第三步：根据第二步所述的匹配结果基于RANSAC方法构建适应于特征不变提取算法强健能力的图像空间变换模型H；

第四步：将实测图匹配点坐标根据第三步所述的图像空间变换模型H变换到参考图中得到变换后的实测图匹配点坐标，并得到变换后的实测图匹配点坐标与第二步所述的实测图经初始匹配获得的匹配点坐标的距离误差r，当所述距离误差r大于设定的误差阈值，则剔除所述实测图匹配点，识别目标；

第五步：根据第四步所述的剔除错误匹配点后的实测图点集加权求取目标中心点，将中心点通过第三步所述的图像空间变换模型H映射到数字地图库即参考图中获取目标地理位置；

第六步：采用机载导航设备输出的高度、姿态信息，根据第五步所述目标点地理位置及其与机体的几何位置关系，通过几何解算求取机体与目标的相对位置、为机体提供高精度位置信息源，并将所述位置信息源通过信息融合提高导航精度。

优选地，第三步构建的图像空间变换模型H及图像匹配算法有效性的验证方法如下：

1)让实测图和参考图按已知变化参数进行变换，同时求取图像间的变换矩阵R；

2)当第三步所述的图像空间变换模型H的元素与变换矩阵R中对应元素的误差在设定允许的误差范围内，则图像空间变换模型H有效；

3)将实测图中所有点通过H模型映射到参考图大小的新图像中，并与参考图进行比对，若误差在设定允许的范围内，则判定映射的新图像与参考图一致，进而验证图像匹配算法的正确性。

优选地，第一步中尺度不变特征提取算法中的高斯卷积滤波采用基于积分图像的均值滤波方法替代生成图像多尺度空间。

优选地，构建图像空间变换模型H的方法如下：

p_i＝(x_i，y_i，1)^T、p_i′＝(x_i′，y_i′，1)^T分别为目标实测图与参考图中匹配点集中第i个对应的齐次坐标点，存在图像空间变换模型H，使得：

p_i′＝Hp_i                   (1)

其中：

$H=\left(\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right)=\left(\begin{array}{c}{h_1}^T\\ {h_2}^T\\ {h_3}^T\end{array}\right),h_{j(j=\mathrm{1,2,3})}=\left(\begin{array}{c}{h}_{j1}\\ h_{j2}\\ h_{j3}\end{array}\right)---\left(2\right)$

将齐次坐标代入(1)得式：

${x_i}^{\′}=\frac{h_{11}{x}_i+h_{12}{y}_i+h_{13}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}}=\frac{{h_1}^T{p}_i}{{h_3}^T{p}_i}\→{h_1}^T{p}_i-{x_i}^{\′}{h_3}^T{p}_i=0---\left(3\right)$

${y_i}^{\′}=\frac{h_{21}{x}_i+h_{22}{y}_i+h_{23}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}}=\frac{{h_2}^T{p}_i}{{h_3}^T{p}_i}\→{h_2}^T{p}_i-{y_i}^{\′}{h_3}^T{p}_i=0---\left(4\right)$

令h＝(h₁₁，h₁₂，h₁₃，h₂₁，h₂₂，h₂₃，h₃₁，h₃₂，h₃₃)，亦即：

$\left(\begin{array}{ccccccccc}{x}_i& y_i& 1& 0& 0& 0& -{x_i}^{\′}{x}_i& -{x_i}^{\′}{y}_i& -{x_i}^{\′}\\ 0& 0& 0& x_i& y_i& 1& -{y_i}^{\′}{x}_i& -{y_i}^{\′}{y}_i& -{y_i}^{\′}\end{array}\right)h^T=0---\left(5\right)$

对于n对对应点，则存在：

Lh^T＝0                 (6)

其中L为：

$L=\left(\begin{array}{ccc}{p_1}^T& 0& -{x_1}^{\′}{p_1}^T\\ 0& {p_1}^T& -{y_1}^{\′}{p_1}^T\\ .& .& .\\ .& .& .\\ .& .& .\\ {p_n}^T& 0& -{x_n}^{\′}{p_n}^T\\ 0& {p_n}^T& -{y_n}^{\′}{p_n}^T\end{array}\right)---\left(7\right)$

由此，基于匹配点集构建了图像空间变换模型H；其中T为转置，(x_i，y_i)为实测图匹配点集中第i个像素点的二维坐标，(x_i′，y_i′)为参考图匹配点集中第i个像素点的二维坐标，h₁₁、h₁₂、h₁₃、h₂₁、h₂₂、h₂₃、h₃₁、h₃₂、h₃₃为H的元素，表征图像间几何变换参数，当图像存在几何变化时，由图像间相关几何变换矩阵级联得到。

优选地，基于最小二乘思想、利用奇异值分解第四步中所述剔除错误匹配点后、由实测图与参考图匹配点集构建的L，求取图像最优空间变换模型H。

本发明从深入分析基于尺度不变特征提取算法和基于BBF(Best-Bin-First)基础上的欧氏距离的最近/次近邻匹配算法入手，结合景象匹配制导的应用场景和需求，对尺度不变特征提取算法的实现机理进行透切的分析。通过原理分析和大量实验研究发现、图像预处理相关参数及SIFT相关参数的变化对匹配结果影响呈现规律性变化，通过协调规划参数，很大程度上可控制匹配结果的生成，根据需要可自适应控制所需要的特征点数目；为了适应某些特征明显的区域，减少计算量，加快匹配速度，选用基于积分图像的均值滤波替代高斯卷积滤波，只需进行一次图像积分运算，其后卷积过程可基于积分图像进行，大大的提高了匹配速度，其特征点数目减少在一定程度正适合于某些特定区域匹配制导的需求；针对尺度不变特征提取算法图像间的变换模型欠缺，出现错误匹配率高的情况，通过对图形图像的几何变换深入分析，采用齐次坐标的基础上，图像间的变换关系可以用3*3矩阵的H(Homography Matrix)模型描述，通过随机抽样一致性思想构建的H模型能够应付大比例的野值特征点。将实测图通过模型映射到参考图中，求取其与匹配获取的点之间的距离误差，根据要求设定阈值，剔除多余和错误的匹配点；通过构建的最优模型，可将实测图信息映射到参考数字地图库中，获取目标的地理位置同时为载体提供高精度导航信息源；采用已知变换顺序和参数的匹配双图进行匹配，利用上述方法构建起变换模型，同时通过已知参数求其变化矩阵，将其与H阵比对，同时通过H阵映射的到参考图中的实测图与参考图相减，可从理论角度验证图像匹配算法的正确性，从而脱离仅能依靠目测对匹配结果进行判定的粗糙方法。本发明具有重要的理论意义和很强的工程应用价值。

附图说明

图1是本发明整体流程图。

图2是目标初始匹配实现程序流程图。

图3是相关参数对匹配结果典型影响趋势。

图4是基于积分图像的块状区域均值滤波卷积。

图5是错误匹配点剔除原理。

具体实施方式

下面结合附图对发明的技术方案进行详细说明：

本发明通过从理论研究和大量的实验分析两方面展开在景象匹配制导中目标的准确快速识别和载体高精度定位。如图1所示，为了基于图像匹配的方法实现目标准确识别和提供搞精度载体定位信息，需要完成工作：

1基于尺度不变特征的目标初始匹配

本发明基于尺度不变特征提取算法的优越性能实现特征的提取，建立特征描述符基础上的Kd-Tree，通过BBF快速搜素方法，快速找出特征点之间的最近、次近邻距离，根据最近/次近邻的比例和阈值确定是否初始匹配点。本发明目标初始匹配识别程序流程图如图2所示；

整个流程的实现可分为如下四个部分：

(1)求取尺度空间极值。首先基于高斯内核函数构建多尺度图像空间，采用一组连续的高斯卷积核G(x，y，σ)与原图像I(x，y)卷积生成一系列尺度空间图像，相邻尺度图像求差生成DOG(Different of Gaussian)图像D_i(x，y，σ)，将DOG尺度空间各阶非最外层每点与本层及邻层的领域26点相比较求极值提取特征点。

(2)分配特征点方向。特征点梯度的模和方向为式(1)和(2)，在特征点领域内采样，创建梯度直方图。直方图以每10度代表一个方向，共36个方向，选择直方图的主峰值作为特征点的主方向，量值达到主峰值80％的作为副方向，以增强匹配的鲁棒性。

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}---\left(1\right)$

θ(x，y)＝tan^-1((L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y)))        (2)

(3)特征描述符生成。以特征点为中心16×16的领域作为采样窗口，利用公式(1)，(2)求取每个像素的梯度值和梯度方向。高斯加权求取每4*4小块在8个梯度方向的直方图(采样点与特征点使用相对方向以保持旋转不变性)，绘制每个梯度方向的累加值，形成一个种子点，由此每个特征点生成128维的特征描述符，将其归一化，减少光照影响。邻域方向性信息联合的思想可增强算法抗噪声的能力，对于含有定位误差的特征匹配也提供了较好的容错性。

(4)特征匹配。P_a{p^(a) ₁，p^(a) ₂...p^(a) _m}，P_b＝{p^(b) ₁，p^(b) ₂...p^(b) _n}分别为从实测图和参考图中提取的特征点集，以参考图P_b中的特征点128维描述符每一同维数据与其均值的差方根大小依次为索引建立Kd-Tree，采用BBF搜索算法得到实测图P_a特征点在Kd-Tree的近似k(本文k＝2)近邻，与遍历法相比，该方法效率能得以量级提高。然后以Euclidean距离作为描述子的距离函数，按照distance-ratio准则进行匹配确定匹配特征点。

2图像匹配算法的改进方法

本发明充分继承具有强健匹配能力的尺度不变特征提取算法，结合景象匹配制导的特点，以不同种区域的景象匹配应用为背景，针对景象匹配中存在的：特征点过多、匹配信息冗余、效率低下或特征点过少、无法完成匹配任务；图像匹配结果完全不可控；某些特征丰富的区域，匹配速度慢，无加速匹配方法等问题，分别从理论层次和采用实验分析的手段提出改进方案。

2.1匹配效果自适应控制研究

在景象匹配制导中，通常期望匹配的结果为所要求的状态，即根据匹配区域性质，将匹配特征点动态控制在一定范围内。但原始的尺度不变特征提取算法，其特征点一般具有大量性的特点，且匹配结果完全不可控。一方面，大量的特征点提取和匹配势必增加计算量，降低匹配效率，不能满足导航制导中对实时性的要求；另一方面，增加的特征点数目必然促使错误匹配点出现的概率增大，直接影响目标识别的准确性和导航精度；另外，由于某些区域的特性或载体姿态的原因，会导致匹配点相应减少，同样需要采用辅助手段增加其匹配点数目，以满足景象匹配制导对图像匹配的要求。

从图2目标初始识别流程图可以看出，从实测图与参考图经图像特征提取到特征匹配初始识别目标，经历诸多步骤，其中主要通过生成多尺度图像，提取图像局部稳定特征，根据最近邻/次近邻的比例确定匹配特征点，每个过程和细节的处理都直接影响图像匹配的结果。图像预处理过程中，通过改变图像灰度线性变换因子，直接改变图像的对比度，通过低对比度特征点剔除，改变特征点匹配的效果；图像多尺度空间生成的过程中，尺度空间的阶数和每阶的图像层数，从物理意义上直接增加或减少图像特征点生成的概率；高斯卷积过程中，尺度因子的改变直接改变滤波卷积的结果，由于高斯半径的改变，直接控制特征点的产生；低对比度剔除阈值、最近邻/次近邻比例等阈值直接决定增加或减少特征点的数目；梯度直方图的等级和特征点方向分配过程中邻域信息的采用直接决定匹配的结果等等；通过进一步对大量图像的各相关参数改变对图像匹配结果验证发现，各相关参数改变对特征点提取和匹配结果呈现规律性影响；表现为随着各单独参数的递增，匹配结果总体呈现增加和递减趋势，虽然中间会出现波动，但总体趋势是明显的，且单个参数对匹配结果的影响是有界的；

从上面的理论分析和进一步实验可知，图像匹配过程中各阶段的参数变化对结果呈现规律性影响，其影响是有界且稳定的；针对景象匹配制导的应用背景，为有效对匹配结果实施控制，在大量实验过程中，分别就图像预处理灰度线性变化因子、噪声预处理高斯半径、金字塔阶数、每阶层数、尺度因子、梯度直方图等级、阈值等各单独参数变化对匹配结果的影响进行研究分析，并且将其对特征点提取及匹配结果的影响规律用数学方式进行描述，见图3，为500*300像素下，两个参数各自对匹配结果的典型影响趋势，其它参数的影响规律可用类似方法描述，并且不同场景下参数变化对特征提取及匹配的结果影响规律呈相同趋势。根据实际应用需求，研究各相关参数变化对特征提取结果的影响幅度，可以将其划分为粗调和微调两级调整参数。通过参数变化对结果影响规律可知，在匹配过程中，根据匹配所处区域特性和成像质量，通过前次匹配结果的反馈，不断动态协调规划各参数，调整过程中，可依据先粗调后微调的原则。通过多次调整，自动搜寻最优的各个参数，以控制匹配结果呈现所需的质量，从而使匹配结果自动适应该区域导航制导对图像匹配的需求；

2.2基于积分图像的匹配加速实现

在某些特征丰富的区域，通过高斯卷积滤波生成多尺度图像金字塔，需要进行大量的计算，且大量特征点的生成非景象匹配制导解算所需合适结果，造成资源浪费和效率低下；为能减少特征点的生成、加快图像匹配速度，使其能较好的适应景象匹配制导过程对图像匹配的要求，本发明采用根据前次匹配结果判定景象匹配所处区域，从而决定选用基于积分图像的均值滤波替代高斯卷积滤波生成多尺度图像金字塔，一定程度上可减少特征点的生成，较快的加大图像匹配速度，快速提高针对微小视角变化图像的匹配效率。

均值滤波可建立在对图像只需进行一次遍历求积分的基础上进行，由于不需要进行类似高斯滤波模版移动下的多次计算，计算量大为减少，可大大提高图像金字塔的生成速度；积分图像的实现过程如下，令(x₀，y₀)为图像中的某点，I(x₀，y₀)为其灰度值，I’(x₀，y₀)为该点的积分图像值，积分图像求取如式(3)：

$I^{\′}(x_0,y_0)=\underset{0\≤x\≤x_0}{\mathrm{\Σ}}\underset{0\≤y\≤y_0}{\mathrm{\Σ}}I(x_0,y_0)---\left(3\right)$

在建立积分图像的基础上，可根据积分图像快速求取分块区域均值滤波卷积的值，块状区域的均值滤波值可依靠积分图像快速求取，如图4。求取ABCD块状区域所有像素点累加灰度值V的方法为：

V＝I′(D)-I′(C)-I′(B)+I′(A)            (4)

为生成多尺度的图像金字塔，可改变块状区域的大小以实现不同尺度的均值滤波，选用通过基于积分图像基础上的块状区域均值滤波方法构建的多尺度图像金字塔，能够在特征点丰富的区域，减少特征点生成，并加速图像匹配过程，提高匹配效率和优化匹配结果；

3基于图像变换模型的精匹配实现

在上述初始匹配过程中，基于尺度不变特征算法提取的特征点产生的大量性、随机性、复杂性及BBF的最近邻的搜索方法使得误匹配有时不可避免，识别的结果很可能会导致有效目标的偏离或错误识别，进而提供不准确的定位信息。同时，在景象匹配制导过程中，需要准确知道匹配双图间的变换关系，以将实测图的位置准确映射到数字地图参考库中，从而获取匹配目标的地理位置信息。本发明针对尺度不变特征提取算法的强健能力，构建基于单应性矩阵基础上的H模型，以此反映图像间的变换关系，实验证明该模型具有很强的适应能力。在构建最优精确模型的基础上剔除错误匹配点，展开图像精匹配的研究，其匹配结果精度能达到亚像素级。

3.1H变换模型适应性的理论分析

对图像间的几何变换关系进行分析，可以知道图像间的尺度、旋转、平移、错切等变换关系可以由图像间对应点的变换关系得到。引入齐次坐标，用n+1维坐标研究n(n＝2)维坐标会给问题的解决带来方便。令p_i＝(x_i，y_i，1)^T、p_i′＝(x_i′，y_i′，1)^T分别为图像经几何变换前后所对应的第i个坐标点。

当图像在x方向和y方向分别存在Sx和Sy的尺度变化时，其对应坐标点变化前后关系可描述为(相对图像坐标原点，下同)：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]=\left[\begin{array}{ccc}\mathrm{Sx}& 0& 0\\ 0& \mathrm{Sy}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(5\right)$

当图像间存在θ旋转变化时，其对应坐标点前后关系可描述为：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}& 0\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(6\right)$

当图像间存在x，y方向存在平移dx，dy变化时，其对应坐标点前后关系可描述为：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]=\left[\begin{array}{ccc}1& 0& \mathrm{dx}\\ 0& 1& \mathrm{dy}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(7\right)$

当图像间存在x，y方向Cx，Cy错切变化时，其对应坐标点前后关系可描述为：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]=\left[\begin{array}{ccc}1& \mathrm{Cx}& 0\\ \mathrm{Cy}& 1& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(8\right)$

图像间存在的几何变换均可以上述以及其它几何变化按照一定顺序级联实现，即总存在一个3*3矩阵能够描述图像间的变换关系，亦即：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]=\left[\begin{array}{ccc}A& B& C\\ D& E& F\\ G& H& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(9\right)$

从上述分析看出，图像间的各种几何变化可以用一3*3的矩阵来描述，图像变化的结果可以看做是一系列几何变化按一定次序级联完成。

3.2H变换模型构建

针对图像间变化可以通过各种单独几何变化级联完成，且各单独变化可以在齐次坐标下用一3*3的矩阵来描述，因此引入一个3*3的矩阵用来构建图像间的变换模型，对图像间的变化具有较为准确的描述能力。图像间的变换模型可根据匹配点集构建。

假设p_i＝(x_i，y_i，1)^T、p_i′＝(x_i′，y_i′，1)^T为目标实测图与参考图中匹配点集中第i个对应的齐次坐标点，如果存在H，使得：

p_i′＝Hp_i                 (10)

其中：

$H=\left(\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right)=\left(\begin{array}{c}{h_1}^T\\ {h_2}^T\\ {h_3}^T\end{array}\right),h_{j(j=\mathrm{1,2,3})}=\left(\begin{array}{c}{h}_{j1}\\ h_{j2}\\ h_{j3}\end{array}\right)---\left(11\right)$

则H为描述视点间对应关系的一个3×3单应性矩阵。包含了目标图像旋转、缩放、平移、错切、透视投影等变换因素。将齐次坐标代入(10)得式：

${x_i}^{\′}=\frac{h_{11}{x}_i+h_{12}{y}_i+h_{13}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}}=\frac{{h_1}^T{p}_i}{{h_3}^T{p}_i}\→{h_1}^T{p}_i-{x_i}^{\′}{h_3}^T{p}_i=0---\left(12\right)$

${y_i}^{\′}=\frac{h_{21}{x}_i+h_{22}{y}_i+h_{23}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}}=\frac{{h_2}^T{p}_i}{{h_3}^T{p}_i}\→{h_2}^T{p}_i-{y_i}^{\′}{h_3}^T{p}_i=0---\left(13\right)$

令h＝(h₁₁，h₁₂，h₁₃，h₂₁，h₂₂，h₂₃，h₃₁，h₃₂，h₃₃)，亦即：

$\left(\begin{array}{ccccccccc}{x}_i& y_i& 1& 0& 0& 0& -{x_i}^{\′}{x}_i& -{x_i}^{\′}{y}_i& -{x_i}^{\′}\\ 0& 0& 0& x_i& y_i& 1& -{y_i}^{\′}{x}_i& -{y_i}^{\′}{y}_i& -{y_i}^{\′}\end{array}\right)h^T=0---\left(14\right)$

对于n对对应点，则存在：

Lh^T＝0                   (15)

其中L为：

$L=\left(\begin{array}{ccc}{p_1}^T& 0& -{x_1}^{\′}{p_1}^T\\ 0& {p_1}^T& -{y_1}^{\′}{p_1}^T\\ .& .& .\\ .& .& .\\ .& .& .\\ {p_n}^T& 0& -{x_n}^{\′}{p_n}^T\\ 0& {p_n}^T& -{y_n}^{\′}{p_n}^T\end{array}\right)---\left(16\right)$

由此，基于匹配点集构建了图像间的变换模型H，该模型准确的描述了图像间对应点坐标的变换关系，亦即建立了匹配双图间的枢纽；

3.3基于RANSAC思想的H模型求解

在匹配双图间变换模型构建的基础上，由于图像变换过程中不可避免的出现一些随机性噪声及其它非线性变换误差，因而并非所有点完全满足单应性变换模型。如何通过匹配点集如何求取方程最优解对准确剔除匹配点、精确映射目标点位置信息意义重大。

考察H向量，齐次坐标的使用让H可以利用h₃₃进行归一化(即所有元素除以h₃₃)，从而使得H仅有8个独立无关的未知量，因此求解单应性矩阵H至少需要4对对应匹配点。根据数值代数知识，通过对L进行奇异值分解，求解对应于L^TL最小特征值的特征向量，h即为该特征向量。求解过程中需要采用最小二乘的思想确保特征点集经模型映射后残差||Lh^T||最小。考虑本发明依据RANSAC思想随机抽取n(n＞＝4)对匹配点集求解H模型，可能会存在病态(矛盾)或超定线性方程，需求解其在最小二乘意义下的最优解，以确保得到误差最小的变换模型。而通过对诸多编程方法求解的测试发现OpenCV开源库中的cvSolve(A，B，h’，CV_SVD)函数利用奇异值分解能够精确的求解病态线性方程以及快速求解超定线性方程的最小二乘解，计算机求解中应用该函数构建随机抽样点对的H模型，具有较强的鲁棒性。

由于齐次坐标的使用及对h的归一化，可令：

Ah’＝B              (17)

其中，A、B、h’如式(18)、(19)、(20)：

$A=\left(\begin{array}{cccccccc}{x}_1& y_1& 1& 0& 0& 0& -{x_1}^{\′}{x}_1& -{x_1}^{\′}{y}_1\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ x_n& y_n& 1& 0& 0& 0& -{x_n}^{\′}{x}_n& -{x_n}^{\′}{y}_n\\ 0& 0& 0& x_1& y_1& 1& -{y_1}^{\′}{x}_1& -{y_1}^{\′}{y}_1\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ 0& 0& 0& x_n& y_n& 1& -{y_n}^{\′}{x}_n& -{y_n}^{\′}{y}_n\end{array}\right)---\left(18\right)$

$B=\left(\begin{array}{c}{x_1}^{\′}\\ .\\ .\\ .\\ {x_n}^{\′}\\ {y_1}^{\′}\\ .\\ .\\ .\\ {y_n}^{\′}\end{array}\right)---\left(19\right)$

$h^{\′}=\left(\begin{array}{c}{h}_{11}\\ h_{12}\\ h_{13}\\ h_{21}\\ h_{22}\\ h_{23}\\ h_{31}\\ h_{32}\end{array}\right)---\left(20\right)$

目标实测图与参考图匹配点集数目一般远大于4，如何从大量点集中高效寻求图像最优精确变换参数模型成为提高算法性能和匹配精度的又一关键。考虑匹配效率，相对于计算量过大的遍历算法，本发明基于RANSAC基本思想，以概率统计的方法确定相关阈值，求解最佳变换模型H，该方法能较好的应付大比例野值。从匹配点集中随机抽取一样本子集(n＝4)，初始化模型，将实测图匹配点集输入该初始模型进行空间变换后，根据距离误差阈值r确定其有效点集(内点或一致点集)，如果内点数目大于设定阈值，则用该有效点集代入(17)重新求解模型参数，以求取最优变换模型。否则，重新随机采样；经过多次反复，直至求取最优模型。

3.4错误匹配剔除

通过对初始匹配结果及前述对尺度不变特征提取算法的性质分析可知，由于SIFT的海量特征点、相关要求下的阈值确定，基于BBF估计的快速搜素算法等，使得错误匹配点的存在不可避免。而空中前瞻性视野下，匹配结果的一个或几个像素误差都可能导致目标识别产生几十米甚至上百米的误差，因此，剔除错误匹配，精确定位像素点对目标的准确识别和提供高精度载体导航信息源具有重大的作用。

一种较好的解决思路是基于上述构建的最优变换模型H而展开，图5为错误匹配点的剔除思路示意图。P_a’，P_b’为实测图与参考图的匹配点集，将P_a’中的特征点经空间变换模型变换后与P_b’中的点比对，即目标实测图中A点经自动匹配后与参考图中A’对应，A”是经图像变换模型H后与A对应的点。求取其误差距离r，其中r为式(21)：

$r=\sqrt{{(x^{\′}-x^{\′\′})}^2+{(y^{\′}-y^{\′\′})}^2}---\left(21\right)$

将实测图的匹配点经变换模型映射到参考图中，按图5求取每个特征点的变换距离误差r，将其与概率统计之确定阈值比较，如果大于设定值，则为误匹配点，予以剔除，否则，则为正确匹配结果，经错误匹配点剔除后，能准确获取实测图与参考图间的匹配结果。

经剔除错误匹配点精确定位像素后，可得到目标图像亚像素级的精确匹配结果。同时可根据需求对剔除效果进行评价，判定是否将剔除错配点后的点集重新代入(17)，以求取满足应用要求的更为精确模型；基于进一步修正后的H模型，将目标图像中心点坐标映射到地图数据库中，从而获取目标更精确地理位置信息。通过识别的目标地理位置及载体导航设备提供的姿态和其它导航参数，经信息融合后可为载体提供高精度导航信息源。

4基于变换模型的图像匹配性能分析

经过上述步骤，已经能够在景象匹配制导下实现对目标的精确识别和提供高精度导航信息源。但是图像匹配结果的正确性、精度如何，从传统的对图像匹配结果进行验证的手段可以看出，主要是通过目测对匹配结果进行鉴定，粗略的判定匹配结果是否有效，目标识别是否正确，少有从理论角度对匹配结果进行判定，通过理论分析对图像匹配性能进行验证。

本发明基于构建的匹配双图间的变换模型，提出了一种可以从理论上对图像匹配结果进行验证的手段。其实现思路如下：

通过3.1节对图像几何变换的分析可知，图像间的几何变化可以通过单个矩阵或矩阵的级联实现。从这个角度看来，让匹配双图间按已知变化参数进行变换，同时将变换参数代入矩阵中，求取图像间的变化矩阵R。继而将变换后的双图经匹配算法获取匹配点并基于此构建双图间的H模型，将该模型的元素与变化矩阵R中相关元素进行比对，如果匹配算法性能优越，H模型应该与变化矩阵一致，否则，可据此判定图像匹配结果不满足要求或是错误的匹配；为了进一步获取直观上的比对效果，可将实测图所有点经变换模型映射到参考图中，将实测图变换后的图与参考图相减，可获得直观上的匹配结果的比对效果；将匹配点集坐标、变换模型及求取的距离误差等参数记录下来，可对图像匹配结果的精度进行分析；包括如下步骤：

所述图像匹配算法和图像空间变换模型，结合模型和已知变换参数，对匹配算法的性能进行验证，其实现步骤如下：

a)针对已知单个几何变换参数的图像或存在多个几何变换参数但变换顺序已知的匹配双图，通过相关匹配算法进行图像匹配；

b)根据匹配点集构建匹配双图间H变换模型；

c)根据已知图像间几何变换参数及顺序，计算图像间的变换矩阵；

d)将b)和c)中的矩阵进行比对，分析匹配效果；

e)将实测图经H模型变换映射到参考图中，将两幅图像进行比对，从直观上分析匹配结果，并通过求取的距离误差，分析匹配精度。

具体实现如下：

1)当图像中仅存在单个变换时，以旋转为例，其它变换可根据3.1节相关阐述，按照相同思路进行，将实测图相对参考图某点(x₀，y₀)旋转θ，则其变化矩阵R应该为：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}& -x_0\cos \mathrm{\θ}+y_0\sin \mathrm{\θ}+x_0\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& -x_0*\sin \mathrm{\θ}-y_0\cos \mathrm{\θ}+y_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(22\right)$

其中，(x_i，y_i)为实测图中第i个像素点的二维坐标，(x_i′，y_i′)为参考图中第i个像素点的二维坐标，θ为旋转角度。

将该已知变换参数的双图经上述图像匹配算法进行匹配，根据匹配点集构建H模型，将该模型与(22)中的变化矩阵各元素进行比对验证匹配结果。对变化前后的点坐标和误差距离r进行分析可对图像匹配的精度进行分析；

2)当图像存在多种几何变化时，需要注意的是，由于矩阵的不可交换性，因此必须将图像变换事先按照某一序列进行，根据各个参数及其顺序求取级联变化矩阵，否则，可能出现即使各单个变化参数相同，但变化顺序的差异使得变化矩阵完全不同。将该矩阵与经匹配构建的H模型进行比对以验证图像匹配的结果。例如对匹配双图相对图像坐标原点依次进行平移、尺度、旋转变化时，其变化矩阵R为：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{S}_x\cos \mathrm{\θ}& -S_y\sin \mathrm{\θ}& -d_x{S}_x\cos \mathrm{\θ}-d_y{S}_y\sin \mathrm{\θ}\\ S_x\sin \mathrm{\θ}& S_y\cos \mathrm{\θ}& d_x{S}_x\sin \mathrm{\θ}+d_y{S}_y\cos \mathrm{\θ}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(23\right)$

其中，S_x，S_y分别图像在x，y方向的尺度变化；d_x，d_y分别为图像在x，y方向的平移量；θ为旋转角度；

由于是耦合变化及实验过程中误差出现的不可避免性，可能H模型与变换矩阵R不完全一致，对误差进行分析，计算其是否在允许的范围内(例如平移的像素误差等)，据此判定匹配的有效性。

根据该方法，可以对各种图像匹配算法的能力进行验证，从而为从理论上对图像匹配的性能(正确性和精确性)进行验证提供了理论基础。

Claims (5)

1.一种中低空下目标自动识别及载体高精度定位方法，包括如下步骤：

第一步：基于尺度不变特征提取算法提取实测图的特征和参考图的特征；

其特征在于：

第二步：根据第一步所述的实测图和参考图的特征利用最近/次近邻规则进行图像初始匹配得到初始匹配结果；依据初始匹配结果自适应协调规划粗调和微调两级特征提取参数控制第一步所述的基于尺度不变特征提取算法提取实测图和参考图的特征点；

第三步：根据第二步所述的匹配结果基于RANSAC方法构建适应于特征不变提取算法强健能力的图像空间变换模型H；

第四步：将实测图匹配点坐标根据第三步所述的图像空间变换模型H变换到参考图中得到变换后的实测图匹配点坐标，并得到变换后的实测图匹配点坐标与第二步所述的实测图经初始匹配获得的匹配点坐标的距离误差r，当所述距离误差r大于设定的误差阈值，则剔除所述实测图匹配点，识别目标；

第五步：根据第四步所述的剔除错误匹配点后的实测图点集加权求取目标中心点，将中心点通过第三步所述的图像空间变换模型H映射到数字地图库即参考图中获取目标地理位置；

第六步：采用机载导航设备输出的高度、姿态信息，根据第五步所述目标点地理位置及其与机体的几何位置关系，通过几何解算求取机体与目标的相对位置、为机体提供高精度位置信息源，并将所述位置信息源通过信息融合提高导航精度。

2.根据权利要求1所述的一种中低空下目标自动识别及载体高精度定位方法，其特征在于第三步构建的图像空间变换模型H及图像匹配算法有效性的验证方法如下：

1)让实测图和参考图按已知变化参数进行变换，同时求取图像间的变换矩阵R；

2)当第三步所述的图像空间变换模型H的元素与变换矩阵R中对应元素的误差在设定允许的误差范围内，则图像空间变换模型H有效；

3)将实测图中所有点通过H模型映射到参考图大小的新图像中，并与参考图进行比对，若误差在设定允许的范围内，则判定映射的新图像与参考图一致，进而验证图像匹配算法的正确性。

3.根据权利要求1所述的一种中低空下目标自动识别及载体高精度定位方法，其特征在于第一步中尺度不变特征提取算法中的高斯卷积滤波采用基于积分图像的均值滤波方法替代生成图像多尺度空间。

4.根据权利要求1所述的一种中低空下目标自动识别及载体高精度定位方法，其特征在于构建图像空间变换模型H的方法如下：

p_i＝(x_i，y_i，1)^T、p_i′＝(x_i′，y_i′，1)^T分别为目标实测图与参考图中匹配点集中第i个对应的齐次坐标点，存在图像空间变换模型H，使得：

p_i′＝Hp_i    (1)

其中：

$H=\left(\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{32}\end{array}\right)=\left(\begin{array}{c}{h_1}^T\\ {h_2}^T\\ {h_3}^T\end{array}\right),h_{j(j=\mathrm{1,2,3})}=\left(\begin{array}{c}{h}_{j1}\\ h_{j2}\\ h_{j3}\end{array}\right)---\left(2\right)$

将齐次坐标代入(1)得式：

${x_i}^{\′}=\frac{h_{11}{x}_i+h_{12}{y}_i+h_{13}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}}=\frac{{h_1}^T{p}_i}{{h_3}^T{p}_i}\→{h_1}^T{p}_i-{x_i}^{\′}{h_3}^T{p}_i=0---\left(3\right)$

${y_i}^{\′}=\frac{h_{21}{x}_i+h_{22}{y}_i+h_{23}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}}=\frac{{h_2}^T{p}_i}{{h_3}^T{p}_i}\→{h_2}^T{p}_i-{y_i}^{\′}{h_3}^T{p}_i=0---\left(4\right)$

令h＝(h₁₁，h₁₂，h₁₃，h₂₁，h₂₂，h₂₃，h₃₁，h₃₂，h₃₃)，亦即：

$\left(\begin{array}{ccccccccc}{x}_i& y_i& 1& 0& 0& 0& -{x_i}^{\′}{x}_i& -{x_i}^{\′}{y}_i& -{x_i}^{\′}\\ 0& 0& 0& x_i& y_i& 1& -{y_i}^{\′}{x}_i& -{y_i}^{\′}{y}_i& -{y_i}^{\′}\end{array}\right)h^T=0---\left(5\right)$

对于n对对应点，则存在：

Lh^T＝0    (6)

其中L为：

$L=\left(\begin{array}{ccc}{p_1}^T& 0& -{x_1}^{\′}{p_1}^T\\ 0& {p_1}^T& -{y_i}^{\′}{p_1}^T\\ .& .& .\\ .& .& .\\ .& .& .\\ {p_n}^T& 0& -{x_n}^{\′}{p_n}^T\\ 0& {p_n}^T& -{y_n}^{\′}{p_n}^T\end{array}\right)---\left(7\right)$

由此，基于匹配点集构建了图像空间变换模型H；其中T为转置，(x_i，y_i)为实测图匹配点集中第i个像素点的二维坐标，(x_i′，y_i′)为参考图匹配点集中第i个像素点的二维坐标，h₁₁、h₁₂、h₁₃、h₂₁、h₂₂、h₂₃、h₃₁、h₃₂、h₃₃为H的元素，表征图像间几何变换参数，当图像存在几何变化时，由图像间相关几何变换矩阵级联得到。

5.根据权利要求4所述的一种中低空下目标自动识别及载体高精度定位方法，其特征在于基于最小二乘思想、利用奇异值分解第四步中所述剔除错误匹配点后、由实测图与参考图匹配点集构建的L，求取图像最优空间变换模型H。

Images