CN115880507A - 输电图像缺陷检测的去重方法、装置、设备和存储介质 - Google Patents

Abstract

本申请涉及图像去重技术领域，提供了一种输电图像缺陷检测的去重方法，通过获取待检测的多张图像，根据相机拍摄图像时空间位置的接近程度，对图像进行分类，基于对同一类里的图像二维特征点提取的结果，对图像进行类内的两两匹配，当类内匹配到的两张图像的特征点相同的数量到达阈值时，将两张图像归入类内疑似重复图像集，获取图像集里各张图像的位姿，根据图像集里各张图像的位姿之间的相对关系，进行三维区域重构，确定类内疑似重复图像集里两两图像之间是否具有共视关系，当图像集里两两图像之间具有共视关系时，将具有共视关系的两张图像中的一张图像归入类内非重复图像集，显著地提高了缺陷去重的精准度和后续对图像进行缺陷检测的效率。

Description

输电图像缺陷检测的去重方法、装置、设备和存储介质

技术领域

本申请涉及输电线路缺陷检测技术领域，特别是涉及一种输电图像缺陷检测的去重方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

在对架空输电线路中的缺陷检测过程中，需要对输电线路的缺陷进行图像采集；在图像采集时，可能会对同一个缺陷进行多次拍摄，得到多张重复图像。如果直接利用这些重复图像进行缺陷检测，则会重复检测到同一个缺陷，影响输电线路的缺陷检测效率。

发明内容

基于此，有必要针对上述技术问题，提供一种输电图像缺陷检测的去重方法、装置、计算机设备、存储介质和计算机程序产品。

本申请提供一种输电图像缺陷检测的去重方法，所述方法包括：

获取待缺陷检测的多张图像；

根据相机拍摄各张图像时处于相应空间位置的接近程度，对所述多张图像进行分类；

基于对同一类里的各张图像进行二维特征点提取的结果，对同一类里的图像进行类内的两两匹配；

当类内的两两匹配到的同类的两张图像的二维特征点相同的数量到达阈值时，则将所述两张图像归入类内疑似重复图像集；

获取所述类内疑似重复图像集里各张图像对应的位姿；图像对应的位姿为相机拍摄所述图像时相应的空间位置和所用的姿态；

根据所述类内疑似重复图像集里各张图像对应的位姿之间的相对关系，进行三维区域重构，以确定所述类内疑似重复图像集里两两图像之间是否具有共视关系；

当所述类内疑似重复图像集里两两图像之间具有共视关系时，则将具有共视关系的同类的两张图像中的一张图像归入类内非重复图像集。

在其中一个实施例中，所述方法还包括：

当类内的两两匹配到的同类的两张图像的二维特征点相同的数量没有到达阈值时，则将所述两张图像归入类内非重复图像集。

在其中一个实施例中，在将具有共视关系的同类内的两张图像中的一张图像归入类内非重复图像集后，所述方法还包括：

基于对图像进行二维特征点提取的结果，对不同类的类内非重复图像集里的图像进行类间的两两匹配；

当类间的两两匹配到的不同类的两张图像的二维特征点相同的数量到达所述阈值时，则将所述不同类的两张图像归入类间疑似重复图像集；

获取所述类间疑似重复图像集里各张图像对应的位姿；

根据所述类间疑似重复图像集里各张图像对应的位姿之间的相对关系，进行三维区域重构，以确定所述类间疑似重复图像集里两两图像之间是否具有共视关系；

当所述类间疑似重复图像集里两两图像之间具有共视关系时，则利用具有共视关系的不同类的两张图像中的一张图像，进行输电线路的缺陷检测。

在其中一个实施例中，在基于对同一类里的各张图像进行二维特征点提取的结果，对同一类里的图像进行类内的两两匹配之前，所述方法还包括：

通过标注框，对所述同一类里的各张图像的缺陷区域进行标注；

对所述标注框对应的图像的缺陷区域进行二维特征点提取。

在其中一个实施例中，通过标注框，对所述同一类里的各张图像的缺陷区域进行标注，包括：

根据所述同一类里的各张图像的缺陷区域的大小以及对应关系，通过对应尺寸的标注框，对所述同一类里的各张图像的缺陷区域进行标注；所述对应关系为缺陷区域越大，标注框的尺寸越大。

在其中一个实施例中，在根据所述类内疑似重复图像集里各张图像对应的位姿之间的相对关系，进行三维区域重构之前，所述方法还包括：

通过几何估计法，确定所述类内疑似重复图像集里各张图像对应的位姿之间的相对关系。

在其中一个实施例中，所述几何估计法包括对极几何法、三角化法和集束调整法中的至少一种。

本申请提供一种输电图像缺陷检测的去重装置，所述装置包括：

图像获取模块，用于获取待缺陷检测的多张图像；

分类模块，用于根据相机拍摄各张图像时处于相应空间位置的接近程度，对所述多张图像进行分类；

提取匹配模块，用于基于对同一类里的各张图像进行二维特征点提取的结果，对同一类里的图像进行类内的两两匹配；

提取匹配模块，还用于当类内的两两匹配到的同类的两张图像的二维特征点相同的数量到达阈值时，则将所述两张图像归入类内疑似重复图像集；

位姿获取模块，用于获取所述类内疑似重复图像集里各张图像对应的位姿；图像对应的位姿为相机拍摄所述图像时相应的空间位置和所用的姿态；

共视关系判断模块，用于根据所述类内疑似重复图像集里各张图像对应的位姿之间的相对关系，进行三维区域重构，以确定所述类内疑似重复图像集里两两图像之间是否具有共视关系；

共视关系判断模块，还用于当所述类内疑似重复图像集里两两图像之间具有共视关系时，则将具有共视关系的同类的两张图像中的一张图像归入类内非重复图像集。

本申请提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行上述方法。

本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行上述方法。

本申请提供一种计算机程序产品，其上存储有计算机程序，所述计算机程序被处理器执行上述方法。

上述输电图像缺陷检测的去重方法、装置、计算机设备、存储介质和计算机程序产品，根据相机拍摄各张图像时处于相应空间位置的接近程度，对待缺陷检测的多张图像进行分类，接着，基于对同一类里的各张图像进行二维特征点提取的结果，对同一类里的图像进行类内的两两匹配，当类内的两两匹配到的同类的两张图像的二维特征点相同的数量到达阈值时，则将上述两张图像归入类内疑似重复图像集；获取类内疑似重复图像集里各张图像对应的位姿，图像对应的位姿为相机拍摄上述图像时相应的空间位置和所用的姿态，根据上述类内疑似重复图像集里各张图像对应的位姿之间的相对关系，进行三维区域重构，以确定上述类内疑似重复图像集里两两图像之间是否具有共视关系，当上述类内疑似重复图像集里两两图像之间具有共视关系时，则将具有共视关系的同类的两张图像中的一张图像归入类内非重复图像集。

本申请中，先基于三维先验信息里的相机拍摄图像时的位置，将拍摄位置较为接近的图像归在同一类里，提高后续的去重处理效率；然后，根据图像的二维特征点的数量进行类内的两两匹配，从同类的多张图像里初步筛选出可能重复的图像；接着，利用三维先验信息里的位姿以及图像间的共视关系，在初步筛选出来的可能重复的同类图像里，进一步筛选出同类重复图像，去重精准度高，提高了后续对图像进行缺陷检测的效率。

附图说明

图1为一个实施例中输电图像缺陷检测的去重方法的流程示意图；

图2为一个实施例中不同类的类内非重复图像集的示意图；

图3为一个实施例中融合二维图像和三维先验的输电缺陷检测去重方法的流程示意图；

图4为一个实施例中输电图像缺陷检测的去重装置的结构框图；

图5为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。

目前，仅基于二维特征进行去重的算法具有较大歧义，特别是针对待分类目标与周围临近区域结构较为相似，容易导致局部特征判别能力变弱，产生误匹配；而结合三维结构恢复的辅助判定依赖于成功建模且特征点充足的重建模型，在实际输电场景中，由于拍摄案例照片过于稀疏、背景环境复杂、噪声大、缺陷目标包含特征点太少等原因，会出现三维重建失败的情况，导致该方法无法实际操作。

基于此，本申请通过三维空间先验聚类算法、二维特征检测和局部空间共视性细化去重三个阶段来解决缺陷图像的去重问题，是一种融合了二维特征和三维先验信息的层次式缺陷去重技术。

在一个实施例中，如图1所示，提供了一种输电图像缺陷检测的去重方法，包括以下步骤：

步骤S101，获取待缺陷检测的多张图像。

具体的，通过相机处于相应的空间位置和姿态对于输电线路的缺陷进行拍摄，获取待缺陷检测的多张图像。

步骤S102，根据相机拍摄各张图像时处于相应空间位置的接近程度，对上述多张图像进行分类。

上述空间位置指相机拍摄输电线路的缺陷的图像时的GPS信息，记录了相机拍摄输电线路的缺陷的图像的位置，GPS信息属于三维先验信息，同时三维先验信息还包括欧拉角，记录了相机拍摄输电线路的缺陷的图像的姿态，这些先验信息可以提供相机拍摄图像时的大致方位，因为拍摄位置较为接近的图像拍摄的是同一缺陷的可能性较大，利用空间聚类算法，根据GPS信息，将相机拍摄各张图像时相应空间位置较为接近的缺陷图像分为一类，可以提高后续对于每一类里的图像的去重的效率。

步骤S103，基于对同一类里的各张图像进行二维特征点提取的结果，对同一类里的图像进行类内的两两匹配，当类内的两两匹配到的同类的两张图像的二维特征点相同的数量到达阈值时，则将上述两张图像归入类内疑似重复图像集。

上述类内两两匹配指的是，同一类里的各张图像在进行二维特征点提取后，都要与除本身外的其它图像进行二维特征点的匹配；上述类内疑似重复图像集指的是，用来存储这一类里的二维特征点相同的数量达到阈值的图像集合，即可能是重复图像的集合。示例性的，A类图像里面包括图像a、图像b和图像c，那么，进行类内两两匹配时，图像a要与图像b和图像c分别进行二维特征点的匹配，图像b要和图像c进行二维特征点的匹配，以完成类内两两匹配；若图像a与图像b二维特征点相同的数量达到阈值，那么图像a与图像b就为疑似重复图像，将图像a与图像b归于A类图像的类内疑似重复图像集。

当同一类的两张图像的二维特征点相同的数量达到阈值时，这两张图像就有可能是重复图像，这是因为二维特征检测依靠图像色彩、物体结构等信息得到视觉上相似的缺陷图像，但其中会存在许多由跨视角、图像尺度不一致导致的遗漏缺陷和重复纹理导致的错误去重缺陷，二维特征无法在以上歧义性较大的场景下正确检测重复缺陷。

进一步的，对于图像的二维特征点的提取可以通过Superpoint算法来进行，它一种无监督图像特征与描述子提取算法，基于VGG类型的卷积神经网络编码器进行提取，对于特征点的匹配可以通过Superglue特征点匹配算法来实现，Superglue特征点匹配算法是一种基于Transformer神经网络结构与注意力机制的特征点匹配算法，采用上述两种算法可以减少计算开销并且更加鲁棒，并在匹配阶段利用Transformer原理，利用自注意力与交叉注意力机制模拟人类的匹配过程，使得特征更加具备匹配特异性。

步骤S104，获取上述类内疑似重复图像集里各张图像对应的位姿；图像对应的位姿为相机拍摄上述图像时相应的空间位置和所用的姿态。

步骤S105，根据上述类内疑似重复图像集里各张图像对应的位姿之间的相对关系，进行三维区域重构，以确定上述类内疑似重复图像集里两两图像之间是否具有共视关系，当上述类内疑似重复图像集里两两图像之间具有共视关系时，则将具有共视关系的同类的两张图像中的一张图像归入类内非重复图像集。

上述共视关系指的是，两张疑似重复图像拍摄的缺陷为同一缺陷；上述类内非重复图像集指的是，用来存储这一类图像中不具有共视关系的图像，以及这一类图像中具有共视关系的两张图像中的一张，以保证类内非处重复图像集里面的图像是无重复的图像。示例性的，A类图像里面包括图像a、图像b和图像c，经过类内两两匹配后，将二维特征点相同的数量达到阈值的图像a与图像b归于A类图像的类内疑似重复图像集，与其它图像进行类内两两匹配后，二维特征点相同的数量未达到阈值的图像c归入A类的类内非处重复图像集；图像a和图像b的位姿之间的相对关系，进行三维区域重构，获得图像a与图像b之间的共视关系，当图像a与图像b具有共视关系时，则图像a与图像b记录的缺陷为同一缺陷，即图像a与图像b为重复图像，从图像a与图像b中任选一张归入A类的类内非处重复图像集。

具体的，因为利用二维特征无法在以上歧义性较大的场景下正确检测重复的缺陷图像，那么根据类内疑似重复图像集里的图像的三维先验信息，即位姿，可以采用对极几何、三角化、集束调整等几何估计方法，两两恢复缺陷图像记录的缺陷之间的共视关系并进行三维建模，在两张缺陷图像构建的局部空间内，本申请根据可以共视关系可以有效检测三维一致的重复缺陷图像，从而实现对于缺陷图像的精准去重。

上述输电图像缺陷检测的去重方法，根据相机拍摄各张图像时处于相应空间位置的接近程度，对待缺陷检测的多张图像进行分类，接着，基于对同一类里的各张图像进行二维特征点提取的结果，对同一类里的图像进行类内的两两匹配，当类内的两两匹配到的同类的两张图像的二维特征点相同的数量到达阈值时，则将上述两张图像归入类内疑似重复图像集；获取类内疑似重复图像集里各张图像对应的位姿，图像对应的位姿为相机拍摄上述图像时相应的空间位置和所用的姿态，根据上述类内疑似重复图像集里各张图像对应的位姿之间的相对关系，进行三维区域重构，以确定上述类内疑似重复图像集里两两图像之间是否具有共视关系，当上述类内疑似重复图像集里两两图像之间具有共视关系时，则将具有共视关系的同类的两张图像中的一张图像归入类内非重复图像集。本申请中，先基于三维先验信息里的相机拍摄图像时的位置，将拍摄位置较为接近的图像归在同一类里，提高后续的去重处理效率；然后，根据图像的二维特征点的数量进行类内的两两匹配，从同类的多张图像里初步筛选出可能重复的图像；接着，利用三维先验信息里的位姿以及图像间的共视关系，在初步筛选出来的可能重复的同类图像里，进一步筛选出同类重复图像，去重精准度高，提高了后续对图像进行缺陷检测的效率。

在其中一个实施例中，本申请提供的方法还包括步骤：

当类内的两两匹配到的同类的两张图像的二维特征点相同的数量没有到达阈值时，则将上述两张图像归入类内非重复图像集。

具体的，当两张缺陷图像的二维特征点相同的数量没有达到阈值，则说明上述两张缺陷图像拍摄为同一缺陷的可能性较小，可以直接归入非重复图像集，用于后续对于输电线路缺陷的检测。

在其中一个实施例中，在将具有共视关系的同类内的两张图像中的一张图像归入类内非重复图像集后，本申请提供的方法还包括步骤：

基于对图像进行二维特征点提取的结果，对不同类的类内非重复图像集里的图像进行类间的两两匹配；当类间的两两匹配到的不同类的两张图像的二维特征点相同的数量到达上述阈值时，则将上述不同类的两张图像归入类间疑似重复图像集；获取上述类间疑似重复图像集里各张图像对应的位姿；根据上述类间疑似重复图像集里各张图像对应的位姿之间的相对关系，进行三维区域重构，以确定上述类间疑似重复图像集里两两图像之间是否具有共视关系；当上述类间疑似重复图像集里两两图像之间具有共视关系时，则利用具有共视关系的不同类的两张图像中的一张图像，进行输电线路的缺陷检测。

示例性的，结合图2进行说明，A类类内非重复图像集中有图像a、图像b和图像c，B类类内非重复图像集中有图像d、图像e和图像f，根据在获取类内非重复图像集过程中，各张图像的二维特征点的提取结果，对于A类类内非重复图像集中的图像与B类类内非重复图像集中的图像进行类间两两匹配，若图像a与图像d二维特征点相同的数量达到了阈值，那么图像a与图像d疑似重复图像，那么则将图像a和图像d归入类间疑似重复图像集；再对根据图像a与图像d对应的位姿之间的相对关系，进行三维区域重构，获取图像a与图像d之间的共视关系，若图像a与图像d具有共视关系，那么图像a与图像d记录的缺陷为同一缺陷，将图像a与图像d中的一张保留至其所属的类的类内非重复图像集，以进行后续的缺陷检测，例如，将图像a保留到A类类内非重复图像集，以进行后续的缺陷检测。

在得到每一类的类内非重复图像集后，只是完成了对于每一类类内的缺陷图像的去重，但是不同类的类内非重复图像集里的缺陷图像仍然有可能存在重复，因此需要对于不同类的类内非重复图像集里的缺陷图像进行类间的去重，类间去重的方法与类内的去重方法相同，另外，若两类类内非重复图像集进行类间去重时，若两个集合的缺陷图像存在较高的二维特征和空间相似度，则被认为是缺陷图像记录的缺陷是一致，并进行合并。缺陷图像经过类内去重和类间去重后，就可以得到重复率极低的缺陷图像集合，极大地提高了后续进行输电线路的缺陷检测的效率。

在其中一个实施例中，在基于对同一类里的各张图像进行二维特征点提取的结果，对同一类里的图像进行类内的两两匹配之前，本申请提供的方法还包括步骤：

通过标注框，对上述同一类里的各张图像的缺陷区域进行标注；对上述标注框对应的图像的缺陷区域进行二维特征点提取。

在其中一个实施例中，通过标注框，对上述同一类里的各张图像的缺陷区域进行标注，本申请提供的方法还包括步骤：

根据上述同一类里的各张图像的缺陷区域的大小以及对应关系，通过对应尺寸的标注框，对上述同一类里的各张图像的缺陷区域进行标注；上述对应关系为缺陷区域越大，标注框的尺寸越大。

在其中一个实施例中，在根据上述类内疑似重复图像集里各张图像对应的位姿之间的相对关系，进行三维区域重构，本提供的方法还包括步骤：

通过几何估计法，确定上述类内疑似重复图像集里各张图像对应的位姿之间的相对关系。

在其中一个实施例中，上述几何估计法包括对极几何法、三角化法和集束调整法中的至少一种。

为了更好地理解上述方法，以下详细阐述一个本申请输电图像缺陷检测的去重方法的应用实例。

本实施例的技术方案面向的应用场景主要是输电场景，针对输电场景二维图像缺陷检测容易多次检测到同一缺陷的问题，采用融合二维图像和三维先验信息的缺陷检测与去重算法，利用图像的二维特征信息和三维先验信息（GPS，欧拉角）对不同图像记录同一个缺陷开展去重工作，避免缺陷检测过程中重复检测到同一个缺陷。

具体的，如图3所示，本实施例提高供一种从2D特征到3D空间层次式的空间缺陷去重技术，分为三维空间先验聚类、二维特征检测、和局部空间共视性细化去重三个阶段来解决缺陷去重问题。充分利用了图像的二维特征信息和拍摄时采集的三维空间信息来解决在复杂环境（野外，高空）下的缺陷去重检测。

其中，三维空间先验聚类：在获取待缺陷检测的多张图像后，根据相机拍摄各张图像时处于相应空间位置的接近程度，对多张图像进行分类。

具体的，得益于输电线路巡检系统的发展，设备在拍摄缺陷图像时会同时捕获拍摄地点的GPS和相机的欧拉角信息，GPS记录相机拍摄的位置，欧拉角记录相机拍摄的姿态，欧拉角是一种确定定点转动刚体位姿的3个一组独立角参量，包括roll（翻滚角）、pitch（俯仰角）和yaw（偏航角）。这些三维先验信息可以提供缺陷图像的大致方位。本申请间聚类算法，根据GPS信息，将位置相近的缺陷图像聚集为一类。

二维特征检测去重：基于对同一类里的各张图像进行二维特征点提取的结果，对同一类里的图像进行类内的两两匹配，当类内的两两匹配到的同类的两张图像的二维特征点相同的数量到达阈值时，则将上述两张图像归入类内疑似重复图像集。

同时，在进行二维特征点提取前，可以根据同一类里的各张图像的缺陷区域的大小以及对应关系，通过对应尺寸的标注框，对同一类里的各张图像的缺陷区域进行标注；对应关系为缺陷区域越大，标注框的尺寸越大，然后对上述标注框对应的图像的缺陷区域进行二维特征点提取。

具体的，对于缺陷图像的二维特征点的提取可以通过Superpoint算法来进行，它一种无监督图像特征与描述子提取算法，基于VGG类型的卷积神经网络编码器进行提取，对于特征点的匹配可以通过Superglue特征点匹配算法来实现，Superglue特征点匹配算法是一种基于Transformer神经网络结构与注意力机制的特征点匹配算法，采用上述两种算法可以减少计算开销并且更加鲁棒，并在匹配阶段利用Transformer原理，利用自注意力与交叉注意力机制模拟人类的匹配过程，使得特征更加具备匹配特异性，另外，在获得匹配关系后，通过对目标图像缺陷标注框内的特征点进行匹配数目查询，并通过对标注范围的感知自适应地调整大小以获取临近特征，进而可以得到更加鲁棒的匹配效果。

当同一类的两张图像的二维特征点相同的数量达到阈值时，这两张图像就有可能是重复图像，这是因为二维特征检测依靠图像色彩、物体结构等信息得到视觉上相似的缺陷图像，但其中会存在许多由跨视角、图像尺度不一致导致的遗漏缺陷和重复纹理导致的错误去重缺陷，二维特征无法在以上歧义性较大的场景下正确检测重复缺陷，因此在进行二维特征检测去重后，还要进行局部空间共视性化去重。

局部空间共视性化去重：获取上述类内疑似重复图像集里各张图像对应的位姿；图像对应的位姿为相机拍摄上述图像时相应的空间位置和所用的姿态。

根据上述类内疑似重复图像集里各张图像对应的位姿之间的相对关系，进行三维区域重构，以确定上述类内疑似重复图像集里两两图像之间是否具有共视关系，当上述类内疑似重复图像集里两两图像之间具有共视关系时，则将具有共视关系的同类的两张图像中的一张图像归入类内非重复图像集。

具体的，因为利用二维特征无法在以上歧义性较大的场景下正确检测重复的缺陷图像，那么根据类内疑似重复图像集里的图像的三维先验信息，即位姿，可以采用对极几何、三角化、集束调整等几何估计方法，两两恢复缺陷图像记录的缺陷之间的共视关系并进行三维建模，在两张缺陷图像构建的局部空间内，本申请根据可以共视关系可以有效检测三维一致的重复缺陷图像，从而实现对于缺陷图像的精准去重。

当一组待检测图像被注册进三维模型坐标系后，根据对应关系的传递性，本申请可以从各个照片自己的二维三维对应关系推导出哪些照片对应这相同场景，以及它们之间的二维像素级对应。有了待检测图像之间的二维对应关系后，就能很容易在后续缺陷检测中略过已检测的缺陷，或者利用多视图中分别检测到同一缺陷的位置观测联合优化得到更精确的缺陷所在位置。

另外，在得到每一类的类非重复图像集后，只是完成了对于每一类类内的缺陷图像的去重，但是不同类的类内非重复图像集里的缺陷图像仍然有可能存在重复，因此需要对于不同类的类内非重复图像集里的缺陷图像进行类间的去重，类间去重的方法与类内的去重方法相同，另外，若两类类内非重复图像集进行类间去重时，若两个集合的缺陷图像存在较高的二维特征和空间相似度，则被认为是缺陷图像记录的缺陷是一致的并合并。缺陷图像经过类内去重和类间去重后，就可以得到重复率极低的缺陷图像集合，极大地提高了后续进行输电线路的缺陷检测的效率。

本申请利用图像的三维先验信息（GPS和欧拉角），对缺陷线进行空间聚类。首先在类内进行缺陷去重检测（二维特征检测和局部空间共视性细化去重），得到二维特征和空间一致的缺陷集合。缺陷集合会进一步在类间进行缺陷去重，两个集合存在较高的特征和空间相似度，则被认为是一致的缺陷并合并。其中，在二维特征检测阶段，一方面使用较为稳定的二维特征点提取与匹配算法，一方面使用自适应范围进行匹配点对计数，通过计数与阈值比较来确认重复缺陷。在局部空间共视性细化去重阶段，本申请两两恢复图像之间的相对位姿和共视关系，利用共视关系来进一步确认和补充空间一致的重复缺陷。

综上所述，本申请至少具有下列的优点：

1. 采用层次式的缺陷去重策略可以有效解决重复纹理、图像尺度不一致导致的漏检和错检。并且层次式的检测框架有效避免了冗余、歧义性较高的缺陷样本检测，极大地提高检测的效率和精度。

2. 采用二维特征检测和局部空间去重从二维和三维上同时验证重复缺陷的正确性，显著地提高了缺陷去重的精准度。

应该理解的是，虽然如上上述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上上述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图4所示，提供了一种输电图像缺陷检测的去重装置，包括：

图像获取模块401，用于获取待缺陷检测的多张图像；

分类模块402，用于根据相机拍摄各张图像时处于相应空间位置的接近程度，对上述多张图像进行分类；

提取匹配模块403，用于基于对同一类里的各张图像进行二维特征点提取的结果，对同一类里的图像进行类内的两两匹配；

提取匹配模块403，还用于当类内的两两匹配到的同类的两张图像的二维特征点相同的数量到达阈值时，则将上述两张图像归入类内疑似重复图像集；

位姿获取模块404，用于获取上述类内疑似重复图像集里各张图像对应的位姿；图像对应的位姿为相机拍摄上述图像时相应的空间位置和所用的姿态；

共视关系判断模块405，用于根据上述类内疑似重复图像集里各张图像对应的位姿之间的相对关系，进行三维区域重构，以确定上述类内疑似重复图像集里两两图像之间是否具有共视关系；

共视关系判断模块405，还用于当上述类内疑似重复图像集里两两图像之间具有共视关系时，则将具有共视关系的同类的两张图像中的一张图像归入类内非重复图像集。

在其中一个实施例中，提取匹配模块403，还用于当类内的两两匹配到的同类的两张图像的二维特征点相同的数量没有到达阈值时，则将上述两张图像归入类内非重复图像集。

在其中一个实施例中，上述装置还包括类间去重模块，用于基于对图像进行二维特征点提取的结果，对不同类的类内非重复图像集里的图像进行类间的两两匹配；当类间的两两匹配到的不同类的两张图像的二维特征点相同的数量到达上述阈值时，则将上述不同类的两张图像归入类间疑似重复图像集；获取上述类间疑似重复图像集里各张图像对应的位姿；根据上述类间疑似重复图像集里各张图像对应的位姿之间的相对关系，进行三维区域重构，以确定上述类间疑似重复图像集里两两图像之间是否具有共视关系；当上述类间疑似重复图像集里两两图像之间具有共视关系时，则利用具有共视关系的不同类的两张图像中的一张图像，进行输电线路的缺陷检测。

在其中一个实施例中，上述装置还包括标注模块，用于通过标注框，对上述同一类里的各张图像的缺陷区域进行标注；对上述标注框对应的图像的缺陷区域进行二维特征点提取。

在其中一个实施例中，标注模块，还用于根据上述同一类里的各张图像的缺陷区域的大小以及对应关系，通过对应尺寸的标注框，对上述同一类里的各张图像的缺陷区域进行标注；上述对应关系为缺陷区域越大，标注框的尺寸越大。

在其中一个实施例中，共视关系判断模块405，还用于通过几何估计法，确定上述类内疑似重复图像集里各张图像对应的位姿之间的相对关系。

在其中一个实施例中，上述几何估计法包括对极几何法、三角化法和集束调整法中的至少一种。

关于输电图像缺陷检测的去重装置的具体限定可以参见上文中对于输电图像缺陷检测的去重方法的限定，在此不再赘述。上述输电图像缺陷检测的去重装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储输电图像缺陷检测的去重数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机设备还包括输入输出接口，输入输出接口是处理器与外部设备之间交换信息的连接电路，它们通过总线与处理器相连，简称I/O接口。该计算机程序被处理器执行时以实现一种输电图像缺陷检测的去重方法。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述各个方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，其上存储有计算机程序，所述计算机程序被处理器执行上述各个方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（DynamicRandom Access Memory，DRAM）等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上的实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种输电图像缺陷检测的去重方法，其特征在于，所述方法包括：

获取待缺陷检测的多张图像；

根据相机拍摄各张图像时处于相应空间位置的接近程度，对所述多张图像进行分类；

基于对同一类里的各张图像进行二维特征点提取的结果，对同一类里的图像进行类内的两两匹配；

当类内的两两匹配到的同类的两张图像的二维特征点相同的数量到达阈值时，则将所述两张图像归入类内疑似重复图像集；

获取所述类内疑似重复图像集里各张图像对应的位姿；图像对应的位姿为相机拍摄所述图像时相应的空间位置和所用的姿态；

根据所述类内疑似重复图像集里各张图像对应的位姿之间的相对关系，进行三维区域重构，以确定所述类内疑似重复图像集里两两图像之间是否具有共视关系；

当所述类内疑似重复图像集里两两图像之间具有共视关系时，则将具有共视关系的同类的两张图像中的一张图像归入类内非重复图像集。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当类内的两两匹配到的同类的两张图像的二维特征点相同的数量没有到达阈值时，则将所述两张图像归入类内非重复图像集。

3.根据权利要求1所述的方法，其特征在于，在将具有共视关系的同类内的两张图像中的一张图像归入类内非重复图像集后，所述方法还包括：

基于对图像进行二维特征点提取的结果，对不同类的类内非重复图像集里的图像进行类间的两两匹配；

当类间的两两匹配到的不同类的两张图像的二维特征点相同的数量到达所述阈值时，则将所述不同类的两张图像归入类间疑似重复图像集；

获取所述类间疑似重复图像集里各张图像对应的位姿；

根据所述类间疑似重复图像集里各张图像对应的位姿之间的相对关系，进行三维区域重构，以确定所述类间疑似重复图像集里两两图像之间是否具有共视关系；

当所述类间疑似重复图像集里两两图像之间具有共视关系时，则利用具有共视关系的不同类的两张图像中的一张图像，进行输电线路的缺陷检测。

4.根据权利要求1所述的方法，其特征在于，在基于对同一类里的各张图像进行二维特征点提取的结果，对同一类里的图像进行类内的两两匹配之前，所述方法还包括：

通过标注框，对所述同一类里的各张图像的缺陷区域进行标注；

对所述标注框对应的图像的缺陷区域进行二维特征点提取。

5.根据权利要求4所述的方法，其特征在于，通过标注框，对所述同一类里的各张图像的缺陷区域进行标注，包括：

根据所述同一类里的各张图像的缺陷区域的大小以及对应关系，通过对应尺寸的标注框，对所述同一类里的各张图像的缺陷区域进行标注；所述对应关系为缺陷区域越大，标注框的尺寸越大。

6.根据权利要求1所述的方法，其特征在于，在根据所述类内疑似重复图像集里各张图像对应的位姿之间的相对关系，进行三维区域重构之前，所述方法还包括：

通过几何估计法，确定所述类内疑似重复图像集里各张图像对应的位姿之间的相对关系。

7.根据权利要求6所述的方法，其特征在于，所述几何估计法包括对极几何法、三角化法和集束调整法中的至少一种。

8.一种输电图像缺陷检测的去重装置，其特征在于，所述装置包括：

图像获取模块，用于获取待缺陷检测的多张图像；

分类模块，用于根据相机拍摄各张图像时处于相应空间位置的接近程度，对所述多张图像进行分类；

提取匹配模块，用于基于对同一类里的各张图像进行二维特征点提取的结果，对同一类里的图像进行类内的两两匹配；

提取匹配模块，还用于当类内的两两匹配到的同类的两张图像的二维特征点相同的数量到达阈值时，则将所述两张图像归入类内疑似重复图像集；

位姿获取模块，用于获取所述类内疑似重复图像集里各张图像对应的位姿；图像对应的位姿为相机拍摄所述图像时相应的空间位置和所用的姿态；

共视关系判断模块，用于根据所述类内疑似重复图像集里各张图像对应的位姿之间的相对关系，进行三维区域重构，以确定所述类内疑似重复图像集里两两图像之间是否具有共视关系；

共视关系判断模块，还用于当所述类内疑似重复图像集里两两图像之间具有共视关系时，则将具有共视关系的同类的两张图像中的一张图像归入类内非重复图像集。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。

Images