CN105654479A - 多光谱图像配准方法和装置 - Google Patents

Abstract

本发明提供一种多光谱图像配准方法和装置，其中，多光谱图像配准方法包括：分别根据获取到的参考图像和待配准图像的特征点计算每个特征点对应的EOH描述符；根据EOH描述符计算参考图像的每个特征点和待配准图像的每个特征点之间的欧式距离；根据欧式距离进行参考图像中每个特征点与待配准图像中所有特征点的匹配以及待配准图像中每个特征点与参考图像中所有特征点的匹配，获得参考图像和待配准图像之间的特征点匹配对；根据特征点匹配对将参考图像与待配准图像进行图像配准。本发明提供的多光谱图像配准方法，通过参考图像和待配准图像中特征点的双向匹配，提高了图像配准的准确性。

Description

多光谱图像配准方法和装置

技术领域

本发明涉及图像处理领域，尤其涉及一种多光谱图像配准方法和装置。

背景技术

图像配准就是将不同时间、不同传感器(成像设备)或者不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程。其中，多光谱图像的配准得到了越来越广泛的应用，所谓多光谱图像的配准，是指对由不同频段的传感器(成像设备)所生成的多幅多光谱图像进行配准，例如：将可见光图像与红外光图像进行配准。

目前，基于特征点的配准算法是图像配准中最常见的方法，算法流程如下：首先，对多幅图像进行特征提取得到特征点；然后，通过相似性度量，找到多幅图像中匹配的特征点对；最后，通过匹配的特征点对进行图像配准。其中，对于特征点的匹配，通常采用单向匹配，具体的，定义两幅图像分别为参考图像和待配准图像，计算两幅图像中所有特征点两两之间的欧式距离，对于待配准图像中的每一个特征点T，参考图像中与特征点T之间欧式距离最小的特征点为S₁，欧式距离为D₁，参考图像中与特征点T之间欧式距离次小的特征点为S₂，欧式距离为D₂，若D₁<α·D₂，0<α<1，则特征点S₁即为与特征点T相匹配的特征点，构成特征点对(S₁，T)。

但是，在多模图像中，由于成像设备不同，多模图像之间其纹理结构差异以及像素差异都很大，检测出的特征点并不稳定，通过特征点的单向匹配，参考图像中的特征点S₁为待配准图像中特征点T的最优匹配点，但是反过来，待配准图像中的特征点T并不一定是参考图像中特征点S₁的最优匹配点，这样得到的特征点匹配对(S₁，T)将是不准确的，进而，基于准确性较低的特征点匹配对进行图像配准，降低了图像配准的准确性。

发明内容

本发明提供了一种多光谱图像配准方法和装置，通过参考图像和待配准图像中特征点的双向匹配，提高了特征点匹配对的准确性，进而提高了图像配准的准确性。

本发明提供的多光谱图像配准方法，包括：

分别确定参考图像和待配准图像的特征点；

分别根据所述参考图像和所述待配准图像的特征点计算所述参考图像和所述待配准图像中每个特征点对应的边缘方向直方图EOH描述符；

根据所述EOH描述符计算所述参考图像中每个特征点与所述待配准图像中每个特征点之间的欧式距离；

根据所述欧式距离进行所述参考图像中每个特征点与所述待配准图像中所有特征点的匹配以及所述待配准图像中每个特征点与所述参考图像中所有特征点的匹配，获得所述参考图像和所述待配准图像之间的特征点匹配对；

根据所述特征点匹配对将所述参考图像与所述待配准图像进行图像配准。

本发明提供的多光谱图像配准装置，包括：

特征点确定模块，用于分别确定参考图像和待配准图像的特征点；

描述符生成模块，用于分别根据所述参考图像和所述待配准图像的特征点计算所述参考图像和所述待配准图像中每个特征点对应的边缘方向直方图EOH描述符；

计算模块，用于根据所述EOH描述符计算所述参考图像中每个特征点与所述待配准图像中每个特征点之间的欧式距离；

第一匹配模块，用于根据所述欧式距离进行所述参考图像中每个特征点与所述待配准图像中所有特征点的匹配以及所述待配准图像中每个特征点与所述参考图像中所有特征点的匹配，获得所述参考图像和所述待配准图像之间的特征点匹配对；

第二匹配模块，用于根据所述特征点匹配对将所述参考图像与所述待配准图像进行图像配准。

本发明提供了一种多光谱图像配准方法和装置，其中，多光谱图像配准方法包括：分别确定参考图像和待配准图像的特征点，分别根据参考图像和待配准图像的特征点计算参考图像和待配准图像中每个特征点对应的EOH描述符，根据EOH描述符计算参考图像中每个特征点与待配准图像中每个特征点之间的欧式距离，根据欧式距离进行参考图像中每个特征点与待配准图像中所有特征点的匹配以及待配准图像中每个特征点与参考图像中所有特征点的匹配，获得参考图像和待配准图像之间的特征点匹配对，根据特征点匹配对将参考图像与待配准图像进行图像配准。本发明提供的多光谱图像配准方法，通过参考图像和待配准图像中特征点之间的双向匹配得到特征点匹配对，保证了对于参考图像和待配准图像来说均是符合条件的最优的匹配关系，提高了特征点匹配对的准确性，进而提高了图像配准的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的多光谱图像配准方法的流程图；

图2为本发明实施例二提供的多光谱图像配准方法的流程图；

图3为本发明实施例一提供的多光谱图像配准装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例一提供的多光谱图像配准方法的流程图。如图1所示，本发明提供的多光谱图像配准方法，可以包括：

步骤101、分别确定参考图像和待配准图像的特征点。

所谓特征点，是指图像中不易变化的具有一定模式特征的像素点或局部区域，也称为兴趣点、显著点或者关键点。特征点是图像内容最抽象的描述，对图像噪声、灰度变化、图像形变以及遮挡等都有较好的适应能力。

获取图像的特征点可以有多种方式，本实施例不加以限制。

可选的，本步骤的一种实现方式可以是：

采用尺度不变特征转换(Scale-invariantfeaturetransform，简称SIFT)算法分别获取参考图像和待配准图像的特征点。

通过SIFT算法得到的特征点，是基于局部外观的特征点，对尺度缩放、旋转、亮度变化、噪声、视角改变的容忍度相当高，特征点高度显著且容易获取，有利于图像配准的稳定性。

可选的，本步骤的另一种实现方式可以是：

分别确定参考图像和待配准图像的特征线段。

分别延长参考图像和待配准图像的特征线段，将参考图像中特征线段的延长线的交点作为参考图像的特征点，以及将待配准图像中特征线段的延长线的交点作为待配准图像的特征点。

由于在多模图像中，图像间的像素和纹理结构差异较大，特征线段相比于单独的特征点将更加稳定，所以，通过特征线段获得的特征点将更加准确，有利于图像配准的准确性。

步骤103、分别根据参考图像和待配准图像的特征点计算参考图像和待配准图像中每个特征点对应的EOH描述符。

所谓描述符，是指对特征点建立的特征描述，也称为描述子。理想的描述符要满足对尺度、旋转、甚至仿射等变换具有一定的不变性，而且不同特征点对应的描述符相关性要小，这样才能有效的区分出不同的特征点。

在本步骤中，通过图像的特征点计算得到了边缘方向直方图(EdgeOrientationHistogram，简称EOH)描述符，对于多光谱图像来说，相对于图像中的全局区域，图像中的边缘区域对于多光谱图像更加稳定，EOH描述符采用了图像中较为稳定的边缘区域，有利于多光谱图像配准的准确性。

步骤105、根据EOH描述符计算参考图像中每个特征点与待配准图像中每个特征点之间的欧式距离。

在本步骤中，需要遍历参考图像和待配准图像中所有的特征点，计算参考图像中的一个特征点与待配准图像中的一个特征点的欧式距离。

例如，参考图像中有3个特征点，待配准图像有2个特征点，则通过本步骤的计算，共得到3×2＝6个特征点之间的欧式距离。

步骤107、根据欧式距离进行参考图像中每个特征点与待配准图像中所有特征点的匹配以及待配准图像中每个特征点与参考图像中所有特征点的匹配，获得参考图像和待配准图像之间的特征点匹配对。

在本步骤中，通过特征点之间的欧式距离将进行参考图像和待配准图像中特征点的双向匹配，即，在进行参考图像中每个特征点与待配准图像中特征点匹配的同时，也进行待配准图像中每个特征点与参考图像中特征点的匹配。

在现有技术中，是通过特征点单向匹配获得特征点匹配对的，通过特征点的单向匹配，参考图像中的特征点S₁为待配准图像中特征点T的最优匹配点，但是反过来，待配准图像中的特征点T并不一定是参考图像中特征点S₁的最优匹配点。而在本步骤中，通过特征点之间的双向匹配，同时考虑到了参考图像中特征点与待配准图像中特征点的相互匹配，可以保证匹配后得到的特征点匹配对对于参考图像和待配准图像双方来说均是符合条件的最优的匹配关系，提高了特征点匹配对的准确性，进而提高了图像配准的准确性。

步骤109、根据特征点匹配对将参考图像与待配准图像进行图像配准。

由于通过特征点的双向匹配得到了准确的特征点匹配对，所以，根据该准确的特征点匹配对对参考图像和待配准图像进行匹配，可以提升参考图像和待配准图像之间的配准精确度。

本实施例提供了一种多光谱图像配准方法，包括：分别确定参考图像和待配准图像的特征点，分别根据参考图像和待配准图像的特征点计算参考图像和待配准图像中每个特征点对应的EOH描述符，根据EOH描述符计算参考图像中每个特征点与待配准图像中每个特征点之间的欧式距离，根据欧式距离进行参考图像中每个特征点与待配准图像中所有特征点的匹配以及待配准图像中每个特征点与参考图像中所有特征点的匹配，获得参考图像和待配准图像之间的特征点匹配对，根据特征点匹配对将参考图像与待配准图像进行图像配准。本实施例提供的多光谱图像配准方法，通过参考图像和待配准图像中特征点之间的双向匹配得到特征点匹配对，保证了对于参考图像和待配准图像来说均是符合条件的最优的匹配关系，提高了特征点匹配对的准确性，进而提高了图像配准的准确性。

图2为本发明实施例二提供的多光谱图像配准方法的流程图，本实施例在实施例一的基础上，提供了实施例一中步骤107的一种具体实现方式。如图2所示，步骤107根据欧式距离进行参考图像中每个特征点与待配准图像中所有特征点的匹配以及待配准图像中每个特征点与参考图像中所有特征点的匹配，获得参考图像和待配准图像之间的特征点匹配对，可以包括：

步骤201、对于参考图像中的每一个特征点S_i，将待配准图像中所有特征点T_j与特征点S_i之间的欧式距离d(S_i,T_j)进行从小到大排序，将前k个欧式距离对应的特征点对(S_i,T_j)作为第一特征点对集。

其中，S_i为参考图像中的特征点，T_j为待配准图像中的特征点，1≤k≤min(m,n)，m为参考图像中特征点的个数，n为待配准图像中特征点的个数。

对于参考图像中的每个特征点S_i，1≤i≤m，其与待配准图像中所有特征点的欧式距离为D_i＝{d(S_i,T₁),d(S_i,T₂),…,d(S_i,T_n)}，对D_i从小到大进行排序，选择前k个欧式距离对应的特征点对组成的集合C_i＝{(S_i,T_{j_1}),(S_i,T_{j_2}),…,(S_i,T_{j_k})}为可能与特征点S_i相匹配的特征点集，其中，1≤j_k≤k，参考图像中所有特征点S_i对应的特征点集C_i组成了第一特征点对集。

通过本步骤，得到了所有与参考图像中特征点S_i相匹配的特征点匹配对，实际上完成了参考图像一侧的单向特征点匹配。

步骤203、对于待配准图像中的每一个特征点T_j，将参考图像中所有特征点S_i与特征点T_j之间的欧式距离d(S_i,T_j)进行从小到大的排序，将前k个欧式距离对应的特征点对(S_i,T_j)作为第二特征点对集。

对于待配准图像中的每个特征点T_j，1≤j≤n，其与待配准图像中所有特征点的欧式距离为D_j＝{d(S₁,T_j),d(S₂,T_j),…,d(S_m,T_j)}，对D_j从小到大进行排序，选择前k个欧式距离对应的特征点对组成的集合C_j＝{(S_{i_1},T_j),(S_{i_2},T_j),…,(S_{i_k},T_j)}为可能与特征点T_j相匹配的特征点集，其中，1≤i_k≤k，待配准图像中所有特征点T_j对应的特征点集C_j组成了第二特征点对集。、

通过本步骤，得到了所有与待配准图像中特征点T_j相匹配的特征点匹配对，实际上完成了待配准图像一侧的单向特征点匹配。

需要说明的是，步骤203也可以在步骤201之前，本实施例对于步骤201和步骤203的顺序不加以限制。

步骤205、将第一特征点对集与第二特征点对集的交集作为参考图像和待配准图像之间的特征点匹配对。

通过步骤201和步骤203，得到了单向匹配的第一特征点对集和第二特征点对集，将第一特征点对集与第二特征点对集取交集，则同时考虑到了参考图像中特征点与待配准图像中特征点的相互匹配，可以保证匹配后得到的特征点匹配对对于参考图像和待配准图像双方来说均是符合条件的最优的匹配关系，提高了特征点匹配对的准确性，进而提高了图像配准的准确性。

优选的，当k＝1时，可以得到一一对应的特征点匹配对。

本实施例提供了一种多光谱图像配准方法，包括：对于参考图像中的每一个特征点S_i，将待配准图像中所有特征点T_j与特征点S_i之间的欧式距离d(S_i,T_j)进行从小到大排序，将前k个欧式距离对应的特征点对(S_i,T_j)作为第一特征点对集，对于待配准图像中的每一个特征点T_j，将参考图像中所有特征点S_i与特征点T_j之间的欧式距离d(S_i,T_j)进行从小到大的排序，将前k个欧式距离对应的特征点对(S_i,T_j)作为第二特征点对集，将第一特征点对集与第二特征点对集的交集作为参考图像和待配准图像之间的特征点匹配对。本实施例提供的多光谱图像配准方法，通过参考图像和待配准图像中特征点之间的双向匹配得到特征点匹配对，保证了对于参考图像和待配准图像来说均是符合条件的最优的匹配关系，提高了特征点匹配对的准确性，进而提高了图像配准的准确性。

图3为本发明实施例一提供的多光谱图像配准装置的结构示意图，本实施例提供的多光谱图像配准装置，用以执行图1～图2所示实施例提供的多光谱图像配准方法。本实施例提供的多光谱图像配准装置，可以包括：

特征点确定模块11，用于分别确定参考图像和待配准图像的特征点。

描述符生成模块13，用于分别根据参考图像和待配准图像的特征点计算参考图像和待配准图像中每个特征点对应的EOH描述符。

计算模块15，用于根据EOH描述符计算参考图像中每个特征点与待配准图像中每个特征点之间的欧式距离。

第一匹配模块17，用于根据欧式距离进行参考图像中每个特征点与待配准图像中所有特征点的匹配以及待配准图像中每个特征点与参考图像中所有特征点的匹配，获得参考图像和待配准图像之间的特征点匹配对。

第二匹配模块19，用于根据特征点匹配对将参考图像与待配准图像进行图像配准。

本实施例提供了一种多光谱图像配准装置，包括：特征点确定模块，用于分别确定参考图像和待配准图像的特征点，描述符生成模块，用于分别根据参考图像和待配准图像的特征点计算参考图像和待配准图像中每个特征点对应的EOH描述符，计算模块，用于根据EOH描述符计算参考图像中每个特征点与待配准图像中每个特征点之间的欧式距离，第一匹配模块，用于根据欧式距离进行参考图像中每个特征点与待配准图像中所有特征点的匹配以及待配准图像中每个特征点与参考图像中所有特征点的匹配，获得参考图像和待配准图像之间的特征点匹配对，第二匹配模块，用于根据特征点匹配对将参考图像与待配准图像进行图像配准。本实施例提供的多光谱图像配准装置，通过参考图像和待配准图像中特征点之间的双向匹配得到特征点匹配对，保证了对于参考图像和待配准图像来说均是符合条件的最优的匹配关系，提高了特征点匹配对的准确性，进而提高了图像配准的准确性。

可选的，特征点确定模块11，具体用于：

采用SIFT算法分别获取参考图像和待配准图像的特征点。

可选的，特征点确定模块11，具体用于：

分别确定参考图像和待配准图像的特征线段；

分别延长参考图像和待配准图像的特征线段，将参考图像和待配准图像的特征线段延长线的交点作为参考图像和待配准图像的特征点。

可选的，第一匹配模块17，具体用于：

对于参考图像中的每一个特征点S_i，将待配准图像中所有特征点T_j与特征点S_i之间的欧式距离d(S_i,T_j)进行从小到大的排序，将前k个欧式距离对应的特征点对(S_i,T_j)作为第一特征点对集。

对于待配准图像中的每一个特征点T_j，将参考图像中所有特征点S_i与特征点T_j之间的欧式距离d(S_i,T_j)进行从小到大的排序，将前k个欧式距离对应的特征点对(S_i,T_j)作为第二特征点对集。

将第一特征点对集与第二特征点对集的交集作为参考图像和待配准图像之间的特征点匹配对。

其中，S_i为参考图像中的特征点，T_j为待配准图像中的特征点，1≤k≤min(m,n)，m为参考图像中特征点的个数，n为待配准图像中特征点的个数。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种多光谱图像配准方法，其特征在于，包括：

分别确定参考图像和待配准图像的特征点；

分别根据所述参考图像和所述待配准图像的特征点计算所述参考图像和所述待配准图像中每个特征点对应的边缘方向直方图EOH描述符；

根据所述EOH描述符计算所述参考图像中每个特征点与所述待配准图像中每个特征点之间的欧式距离；

根据所述欧式距离进行所述参考图像中每个特征点与所述待配准图像中所有特征点的匹配以及所述待配准图像中每个特征点与所述参考图像中所有特征点的匹配，获得所述参考图像和所述待配准图像之间的特征点匹配对；

根据所述特征点匹配对将所述参考图像与所述待配准图像进行图像配准。

2.根据权利要求1所述的多光谱图像配准方法，其特征在于，所述根据所述欧式距离进行所述参考图像中每个特征点与所述待配准图像中所有特征点的匹配以及所述待配准图像中每个特征点与所述参考图像中所有特征点的匹配，获得所述参考图像和所述待配准图像之间的特征点匹配对，包括：

对于所述参考图像中的每一个特征点S_i，将所述待配准图像中所有特征点T_j与所述特征点S_i之间的欧式距离d(S_i,T_j)进行从小到大排序，将前k个欧式距离对应的特征点对(S_i,T_j)作为第一特征点对集；

对于所述待配准图像中的每一个特征点T_j，将所述参考图像中所有特征点S_i与所述特征点T_j之间的欧式距离d(S_i,T_j)进行从小到大排序，将前k个欧式距离对应的特征点对(S_i,T_j)作为第二特征点对集；

将第一特征点对集与第二特征点对集的交集作为所述参考图像和所述待配准图像之间的特征点匹配对；

其中，S_i为参考图像中的特征点，T_j为待配准图像中的特征点，1≤k≤min(m,n)，m为参考图像中特征点的个数，n为待配准图像中特征点的个数。

3.根据权利要求1或2所述的多光谱图像配准方法，其特征在于，所述分别确定参考图像和待配准图像的特征点，包括：

采用尺度不变特征转换SIFT算法分别获取所述参考图像和所述待配准图像的特征点。

4.根据权利要求1或2所述的多光谱图像配准方法，其特征在于，所述分别确定参考图像和待配准图像的特征点，包括：

分别确定所述参考图像和所述待配准图像的特征线段；

分别延长所述参考图像和所述待配准图像的特征线段，将所述参考图像中特征线段的延长线的交点作为所述参考图像的特征点，以及将所述待配准图像中特征线段的延长线的交点作为所述待配准图像的特征点。

5.一种多光谱图像配准装置，其特征在于，包括：

特征点确定模块，用于分别确定参考图像和待配准图像的特征点；

描述符生成模块，用于分别根据所述参考图像和所述待配准图像的特征点计算所述参考图像和所述待配准图像中每个特征点对应的边缘方向直方图EOH描述符；

计算模块，用于根据所述EOH描述符计算所述参考图像中每个特征点与所述待配准图像中每个特征点之间的欧式距离；

第一匹配模块，用于根据所述欧式距离进行所述参考图像中每个特征点与所述待配准图像中所有特征点的匹配以及所述待配准图像中每个特征点与所述参考图像中所有特征点的匹配，获得所述参考图像和所述待配准图像之间的特征点匹配对；

第二匹配模块，用于根据所述特征点匹配对将所述参考图像与所述待配准图像进行图像配准。

6.根据权利要求5所述的多光谱图像配准装置，其特征在于，所述第一匹配模块具体用于：

对于所述参考图像中的每一个特征点S_i，将所述待配准图像中所有特征点T_j与所述特征点S_i之间的欧式距离d(S_i,T_j)进行从小到大排序，将前k个欧式距离对应的特征点对(S_i,T_j)作为第一特征点对集；

对于所述待配准图像中的每一个特征点T_j，将所述参考图像中所有特征点S_i与所述特征点T_j之间的欧式距离d(S_i,T_j)进行从小到大排序，将前k个欧式距离对应的特征点对(S_i,T_j)作为第二特征点对集；

将第一特征点对集与第二特征点对集的交集作为所述参考图像和所述待配准图像之间的特征点匹配对；

其中，S_i为参考图像中的特征点，T_j为待配准图像中的特征点，1≤k≤min(m,n)，m为参考图像中特征点的个数，n为待配准图像中特征点的个数。

7.根据权利要求5或6所述的多光谱图像配准装置，其特征在于，所述特征点确定模块具体用于：

采用尺度不变特征转换SIFT算法分别获取所述参考图像和所述待配准图像的特征点。

8.根据权利要求5或6所述的多光谱图像配准装置，其特征在于，所述特征点确定模块具体用于：

分别确定所述参考图像和所述待配准图像的特征线段；

分别延长所述参考图像和所述待配准图像的特征线段，将所述参考图像中特征线段的延长线的交点作为所述参考图像的特征点，以及将所述待配准图像中特征线段的延长线的交点作为所述待配准图像的特征点。