CN115586789A - 基于视觉的风力发电机巡检无人机悬停点确认及巡检方法 - Google Patents

Abstract

本发明公开了一种基于视觉的风力发电机巡检无人机悬停点确认及巡检方法，所述悬停点确认方法中，通过确认出的风力发电机的正前方和/或正后方，将巡检时无人机悬停点确认为位于所述风力发电机轮毂中心线的正上方，同时，包括具体的正前方和/或正后方的确认方法。所述巡检方法基于所述悬停点确认方法所确认的悬停点。本方案通过无人机的纯视觉载荷方案，在风力发电机不停机的情况下，确定出风力发电机的正前方和/或正后方，解析出风力发电机当前的偏航角；所以确认的悬停点用于巡检时，利于叶片图像识别以及图像特征清晰度。

Description

基于视觉的风力发电机巡检无人机悬停点确认及巡检方法

技术领域

本发明涉及航摄技术领域，特别是涉及一种基于视觉的风力发电机巡检无人机悬停点确认及巡检方法。

背景技术

风力发电机是将风能转化为电能的设备，是新能源发电领域的重要组成部分，中国已成为全球范围内增长最快的风电发展市场。风力发电机一般包括叶片、发电机、调向器、塔架、限速安全架构和储能装置等。叶片是风力发电机中最基础同时为最关键、最昂贵的部件，其良好的性能是保证机组正常稳定运行的首要因素。

由于叶片整体裸露在自然环境中工作，受风沙侵蚀，使用一定年限后一般都会出现表面磨损、穿孔等缺陷，这不仅影响发电效率，严重时甚至出现安全隐患：当叶片发生失效事故特别是单片断裂事故时，叶片之间的平衡状态被破坏，发电机组振动会突然加剧，此种状态下如不存在机组保护措施或机组保护未及时介入，将对发电机组轴系以及塔筒带来严重危害，严重时可能导致整台机组被毁。在风力发电机长期运行过程中，叶片发生失效通常需要长期的过程，如前期能够对叶片表面损伤情况进行有效监测，可有效避免出现如叶片断裂现象这样的严重事故。因此定期进行风力发电机的巡检和维护是风力发电运维的重要组成部分。

目前，对叶片表面进行损伤检测较为常见的方式包括：人工高空（攀爬或悬吊）肉眼贴近检查、地面热成像设备图像检查、地面望远镜或者长焦距相机目视检查，以上方式中，受限于检查设备性能和检查方式，存在效率低、危险系数大等问题，随着无人机以及航摄技术的成熟，现有技术中出现了依靠无人机进行风力发电机表面手动或自动化巡检的方式，具体方案包括如申请号为CN202011275910.2、CN201911393629.6、CN202210088479.3、CN202010115183.7、CN201910753262.8、CN202110643559.6、CN202011275910.2等专利申请文件提供的技术方案。

现如今，使用无人机进行风力发电机巡检已经相当普遍，未来趋势是让无人机实现完全自主、智能化的自动巡检。通常情况下，根据巡检方式，用无人机进行风力发电机巡检需要确定拍摄位置/风力发电机特征位置。关于以上位置确定，现有技术中如公开号为：CN110910349A、发明创造名称为：一种基于航拍视觉的风电机组状态获取方法；公开号为：CN113759960A、发明创造名称为：基于无人机的风机叶片及塔筒巡检识别系统及方法均公开了相关方法，具体如确认风力发电机轮毂中心点。

对用于风力发电机叶片表面损伤检测的检测技术进行进一步优化，无疑对推进我国清洁能源发展进程具有积极的意义。

发明内容

针对上述提出的对用于风力发电机叶片表面损伤检测的检测技术进行进一步优化，无疑对推进我国清洁能源发展进程具有积极的意义的技术问题，本发明提供了一种基于视觉的风力发电机巡检无人机悬停点确认及巡检方法。本方案提供的技术方案可用于风力发电机巡检无人机巡检悬停点位确认，具体为确定出风力发电机的正前方和/或正后方后，再确定出巡检无人机图像获取悬停点。

针对上述问题，本发明提供的一种基于视觉的风力发电机巡检无人机悬停点确认方法通过以下技术要点来解决问题：一种基于视觉的风力发电机巡检无人机悬停点确认方法，通过确认出的风力发电机的正前方和/或正后方，将巡检时无人机悬停点确认为位于所述风力发电机轮毂中心线的正上方；

其中，所述正前方和/或正后方的确认方法为：

S1、根据风力发电机的位置坐标以及所述轮毂中心线的高度，确认无人机飞行的环形航线：所述环形航线位于风力发电机叶片转动轨迹的外侧，环形航线位于处于所述高度的水平面上，所述位置坐标位于环形航线的中心线上；

S2、无人机沿所述环形航线飞行过程中对风力发电机的叶片进行拍摄，环形航线上具有多个拍摄点，当相机的视野朝向偏向风力发电机的一侧时，在所形成的照片中，即使环形航线上相机位于风力发电机的正前方或正后方，也会导致不同叶片在照片中呈现出不同的视觉长度，这样，将导致步骤S3中所获取长度并非为用于计算最优长度，最终影响正前方或正后方判断的精度，基于此，优选设置为：各拍摄点镜头均朝向环形航线中心，各叶片整体位于各拍摄点的照片成像区域内；

S3、获取各照片中各叶片视觉状态下的长度，针对各照片，通过最大叶片长度与最小叶片长度的差值，确定风力发电机的正前方或正后方；

其中，所述差值最小的照片所对应的拍摄点位于风力发电机的正前方或正后方。

现有技术中，根据所设定的风力发电机巡检方法，确认风力发电机轮毂中心点或航摄仪相对于风力发电机的位置为其中的关键技术之一。如为了确定拍摄位置，在获得风力发电机轮毂中心点后，可以以风力发电机轮毂中心点作为特征点确认航摄仪悬停拍摄位置，风力发电机轮毂中心点的获得方式包括：通过图像识别，利用风力发电机轮毂主视方位视觉状态下为圆的特点获得轮毂中心，但当视口位于风力发电机后侧时，由于机舱后端外形并不一定为规则图形，故现有方法并不能相对准确的通过机舱端部图像识别直接获取到机舱后端中心点。其他的，现有拍摄位置确认中，也包括通过如下方式获得航摄仪的拍摄位置：由于拍摄位置与风力发电机的位置及风力发电机的偏航角有关，基于此，先确认风力发电机的位置、偏航角，或风力发电机的正前方/正后方等参数，而后确认航摄仪的拍摄位置，在此过程中，风力发电机的位置（如通过安装位置的经纬度）是已知值，但偏航角在风力发电机的工作过程中可能发生改变，具体数据一般存在于风力发电机的电脑数据中，并不一定能直观获取，基于这样的情况，如针对所述偏航角，无人机飞手通过目视方式来进行确认，这样不仅不利于智能巡检实施，同时相关结果受操作人员的影响较大；其他的，现有智能巡检方案则多为先操作无人机飞到已停机的风力发电机正前方，再通过视觉识别和激光雷达建图来执行智能巡检步骤，这使得风力发电机巡检对其他设备的依赖性较强。

针对风力发电机巡检目的，本方案提供了一种基于视觉的风力发电机巡检无人机悬停点确认方法，所获得的无人机悬停点可用于实现如下所述的风力发电机无人机巡检方法中，该方案不仅为一种区别于现有技术的无人机悬停点确认方法，同时为一种仅基于照片视觉特征，可确认出的风力发电机正前方和正后方的方案。

以上方案中，可以理解的，风力发电机轮毂中心线即沿着所述正前方或正后方延伸。在步骤S1中，所述位置坐标可采用风力发电机安装位置，所述轮毂中心线的高度也为固定值，一般被电厂所纪录，关于所述环形航线的半径规划，本领域技术人员可以根据具体需要进行设定，设置为环形航线位于风力发电机叶片转动轨迹的外侧，旨在使得本方法的实施能够在风力发电机工作过程中完成，如风力发电机停机状态下，可进一步缩小至所述环形航线与所述转动轨迹相交，在环形航线上拍摄点不能无限多的情况下，增大环形航线半径r有利于提高关于方位识别的拍摄点位置确认精度，缩小环形航线半径r有利于提高拍摄点位置确认效率；同时风力发电机在运行时，一般认为轮毂中心线为水平线且风力发电机仅存在偏航角根据需要进行调整，故当确认所述r后，能够唯一规划出所述环形航线。在步骤S2中，无人机携带航摄仪沿所述环形航线对风力发电机进行多点拍摄，可以被理解的，不同的拍摄点所形成的图像中由于具有不同的拍摄方位角，故叶片在图像中具有不同的成像效果，各叶片整体位于各拍摄点的照片成像区域内可被理解为各叶片在当下拍摄中能够被拍摄到的全部区域均位于照片成像区域内，以便于进行步骤S3中的叶片视觉状态下的长度获取。在步骤S3中，根据步骤S2所获得的照片，由于不同叶片分布在轮毂周向方向的不同位置，故各拍摄点下，相同叶片具有不同的视觉长度，相同拍摄点下，不同叶片具有不同的视觉长度，具体视觉状态长度下的长度可根据叶片两端之间像素点的数量进行确定，由于照片中，叶片有被机舱、轮毂遮挡的可能性，故照片中所展示的叶片并不一定能够覆盖叶尖至叶根，但如果拍摄点位于风力发电机的正前方、正后方或最接近正前方、正后方的位置时，可获得步骤S3中的最小差值，利用判定为所述差值最小的照片所对应的拍摄点位于风力发电机的正前方或正后方的方法，即可获得风力发电机的正前方、正后方或当前拍摄点分布下可以获得的最接近正前方、正后方的方位。而关于所述正前方、正后方区别判定，通过轮毂、机舱明显的外形区别，通过简单的图像识别即可判定。而后，在确认出的风力发电机的正前方和/或正后方的基础上，设定为用于风力发电机巡检的悬停拍摄点位位于所述风力发电机轮毂中心线的正上方。

综上，以上确认的风力发电机巡检无人机悬停点确认方法中，为达到所述正前方、正后方确认目的，利用风力发电机固有或能够被直接获取的数据，进一步辅助于叶片图像视觉长度判断即可实现，整个方法的完成采用现有航摄仪即可完成，为达到智能化自动巡检，悬停点确认方法加以简单的图像特征识别即可完成，通过无人机的纯视觉载荷方案，在风力发电机不停机的情况下，确定出风力发电机的正前方和/或正后方，解析出风力发电机当前的偏航角。

以上设定的环形航线即用于使得本方法的实现可在风力发电机不停机情况下。

所确认的巡检时无人机悬停点，可使得航摄仪在进行如下所提供的巡检方法过程中，使得被拍摄的叶片始终处于悬停点的下方，采用从上朝下的拍摄方式，所得照片背景为地面或海面，与常见纯白的叶片对比度较高，更容易进行叶片图像提取和识别：若点位是自下而上拍摄，则照片可能会以天空为背景，与叶片的对比度较小，不易进行叶片图像提取，且可能因为太阳的直射产生炫光和过曝，不利于图像中特征清晰度。

作为本领域技术人员，为确认出风力发电机的正前方和/或正后方，可采用如下方法中的任意一种：确认出正前方或正后方的拍摄点后，通过拍摄点与环形航线中心进行确认；确认出正前方或正后方的拍摄点后，通过拍摄点的朝向进行确认；确认出正前方和正后方的拍摄点后，通过两个拍摄点的连线进行确认；通过确认出以下方案的叶根后，针对如具有三片叶片的风力发电机，利用三个叶根坐标数据确认出轮毂中心以及机舱中心，通过轮毂中心与机舱中心的连线进行确认。

作为所述的基于视觉的风力发电机巡检无人机悬停点确认方法更进一步的技术方案：

如上所述，以上差值取决于环形航线上拍摄点分布，拍摄点也不能无限多的分布于环形航线上，当规划的拍摄点中，所得照片中差值最小的拍摄点偏离正前方、正后方超过设定范围时，会造成正前方、正后方、轮毂中心线或者风力发电机当前的偏航角确认超过允许偏差。而直接设定仅关联差值的允许偏差时，针对具有不同叶片长度的风力发电机并不具备允许偏差通用性：为利于方向、轮毂中心线或偏航角确定精度，叶片长度更长的风力发电机可适当增大所述差值，而叶片长度更短的风力发电机可适当减小所述差值，针对以上问题，进一步设置为：在所述步骤S3中，还包括差值优化步骤，所述差值优化步骤为：

利用最小差值除以最大叶片长度或最小叶片长度，将所得结果与设置的判定阈值进行比对：

当所述结果小于或等于判定阈值时，确认出差值最小的照片所对应的拍摄点位于风力发电机正前方或正后方的拍摄点；

当所述结果大于判定阈值时，调整步骤S2中的拍摄点分布，获得新的结果，将调整后获得的结果与判定阈值进行比对，直至拍摄点分布被调整为所述结果小于或等于判定阈值，而后确认出差值最小的照片所对应的拍摄点位于风力发电机正前方或正后方的拍摄点。采用本方案，在获得所述最小差值后进一步获得所述结果而后将所述结果与判定阈值进行比对，确认当前最小差值是否在可接受范围内，当可接受时，利用当下最小差值关联照片所关联的拍摄点，确认出风力发电机的正前方或正后方，当不可接受时，调整环形航线上的拍摄点，按照相应比对方法进行风力发电机的正前方、正后方重新确认。作为本领域技术人员，该步骤用于通过差值校验和调整以提高方位确认精度并使得差值优化步骤适用于不同尺寸的风力发电机，根据所要求的风力发电机方位确认精度、根据环形航线上拍摄点规划方式，该步骤并非是每个实施例中的必要步骤。

所述叶片视觉状态下的长度通过识别照片中的叶片两端的相对位置获得，具体为：

S3-1、识别照片中的叶片并对各叶片添加目标边界框；

S3-2、确认各叶片的叶根，具体为：

根据各目标边界框的中点，建立关联全部中点的最小外接矩形；

判断各目标边界框分别位于最小外接矩形中的顶点数量，若该目标边界框只有一个顶点位于最小外接矩形内，位于最小外接矩形内的顶点为目标边界框所对应叶片的叶根；

若目标边界框具有两个顶点位于最小外接矩形内，分别取该两个顶点中的各顶点与其他目标边界框作为叶根的顶点组成多边形，取形成面积最小的多边形的顶点作为目标边界框所对应叶片的叶根；

S3-3、根据所确认的各叶片叶根以及叶尖，获得各照片中各叶片视觉状态下的长度。现有技术中，所述目标边界框为矩形框，叶片的形状决定一般为叶片的叶尖以及叶根分别作为目标边界框的不同顶点，各目标边界框的中点为各目标边界框对角线的连线交点，同时，现有风力发电机一般设置三个叶片，在环形航线上位于风力发电机正前方或者正后方的拍摄点或最接近正前方或者正后方的拍摄点下，一般为：其中两片叶片的目标边界框具有一个位于最小外接矩形内的顶点，另一片叶片的目标边界框具有两个位于最小外接矩形内的顶点，通过以上方式可确认出作为叶片叶根的目标边界框顶点，而作为叶片叶尖的目标边界框顶点是可清晰确认的，以确定为叶根的目标边界框顶点到叶尖的目标边界框顶点的距离为叶片长度，以上两个顶点一般为目标边界框的一对对角线顶点，以上多边形一般为三角形。作为本领域技术人员，可被理解的，当环形航线上的拍摄点较大的偏离所述正前方或正后方时，由于部分叶片的部分位置会受到轮毂、机舱的遮挡，故以上步骤S2中的叶根为相机当下视觉状态下叶片远离叶尖的一端，当叶片被全部遮挡时，可认为相应叶片的长度为零，当相机移动至单一叶片的延长线上进行拍摄时，全部叶片视觉状态下长度可被认为不可用，此时可通过缺少全部叶片有效长度数据作为判定标准，直接判定为该拍摄点并非位于所述正前方或正后方。特别的，针对机舱尾部图形可能不规则的情况，该方法不仅可用于判定轮毂中点位置，还可以用于判定机舱端部的中点位置，具体为：利用所述差值最小的照片中所确定的各叶片叶根，确认风力发电机机舱端部的中点位置/轮毂的中点位置。在运用于判定轮毂中心位置时，相较于直接识别轮毂图像轮廓并将所述轮毂图像轮廓的中点作为轮毂中心，由于目标边界框的获取图像相较于轮毂尺寸更大，故所得的轮毂中心更为准确。而关于以上中点位置判断，可利用叶片叶根一般分布在以所述中点作为圆心的圆周上的特点，通过简单的数据运算，即可通过叶根位置获得所述中心位置。

为便于本方案自动化执行，关于实现本方案中的数据纪录，设置为：在差值优化步骤中建立波动曲线，所述波动曲线用于反映环形航线下各照片所述结果的变化趋势，并将波动曲线进行滤波后得到修正曲线，将修正曲线与设定的判断阈值进行比对，确认出位于风力发电机正前方或正后方的拍摄点或重新获取所述波动曲线，以最终得到位于风力发电机正前方或正后方的拍摄点。相较于数据直接表格纪录，以波动曲线纪录数据并进行滤波得到修正曲线的方式具有数据承载量大、结果直观的特点。更为具体的，以上波动曲线可设置于表格中，表格的纵向对应各照片所述结果，表格的横向对应拍摄时间或方位数据。

本方案还公开了一种基于视觉的风力发电机巡检方法，在如上任意一项所述的悬停点确认方法所确认的无人机悬停点上，利用具有云台的航摄仪采集风力发电机叶片图像数据；

同时，具体图像数据采集过程为：

在所述悬停点上，通过云台改变相机镜头朝向调整视场区域；

所述朝向改变方式为：在目标叶片的转动平面上，视场区域沿平行于所述转动平面的直线平移；

当目标叶片转动至视场区域时，相机采集图像；

在悬停点位所采集的图像包括第一图像和第二图像，在目标叶片的转动轨迹上，第一图像为目标叶片处于第一位置时相机所采集到的图像，第二图像为目标叶片处于第二位置时相机所采集到的图像，在所述转动平面上，第一位置的目标叶片转动180°到达第二位置。

现有技术中，风力发电机的叶片一般安装为具有一定的仰角以及锥角，由于锥角的存在，所述转动平面可视为垂直于叶片转动轴线的平面、叶片上任意一点转动所形成圆环所在的平面。镜头在云台的作用下实现视场区域沿直线平移时，当镜头转动的角度足够大时，镜头能够在转动平面上形成条形可拍摄区域，这样，目标叶片能够在两个位置进入视场区域，其中一个位置为第一位置，另一个位置为第二位置，第一位置的目标叶片转动180°后即到达第二位置。为实现视场区域沿直线平移，镜头绕云台上的单轴转动即可，该轴与所述直线垂直。同时，所述目标叶片可被理解为三片叶片中需要被巡检的叶片，可为风力发电机上的部分叶片也可为全部叶片。

区别于现有技术，本方案在无人机悬停、镜头朝向通过云台调整的基础上，提供了一种所拍摄图像包括第一图像以及第二图像的技术方案，采用本方案，不仅可实现叶片不停转巡检，同时从覆盖面积以及图像特征识别角度，具有航线规划简单的特点。

具体的，本方案利用：在悬停点位，通过云台改变相机镜头朝向即可获得第一图像和第二图像，而相对于第一位置的目标叶片，当目标叶片转动180°后，对于暴露在视场区域的目标叶片表面，如无人机悬停点位处于叶片的前方上侧、第一位置所获得的第一图像能够清晰展示目标叶片当下状态顶面（前缘）以及正面上侧（迎风面上侧）细节时，在第二位置所获得的第二图像能够清晰展示目标叶片底面（相对于所述顶面的后缘）以及正面下侧（相对于所述上侧的迎风面下侧）细节；以其他相对位置对目标叶片进行拍摄时，即使针对目标叶片上的同一目标区域，由于出现在不同视场区域中，故获得所述第一图像以及第二图像相当于改变了针对该目标区域的拍摄角度，在成像中相应遮挡/清晰区域改变、叶片表面缺陷以不同样式反映在图像中，特别是针对叶片上容易出现的风蚀缺陷，斜向拍摄方式更容易获得与周围对比明显的缺陷细节，这样，利于获得更多的叶片表面图像特征信息，从而提升叶片表面缺陷识别率以及缺陷清晰程度。

综上，本方案在同一悬停点位可获得目标叶片不同位置的图像信息、能够以不同拍摄角度对叶片表面特征信息进行提取，相对于现有技术中如风力发电机停机巡检时无人机绕目标叶片螺旋形飞行拍摄、风力发电机转动过程中无人机随转跟踪拍摄、风力发电机转动过程中云台转动改变拍摄区域覆盖不同径向位置的叶片段落，从覆盖面积以及特征识别效果角度，本方案通过简单的视场区域调整，即可相对全面、清晰的获得目标叶片的表面特征信息，在设置更少悬停点位以及更短拍摄航线的前提下，即可全面获得目标叶片目标区域的图像信息和/或清晰的图像特征信息达到巡检目的，从而达到方便规划航线的目的。

作为本领技术人员，现有风力发电机常规巡检中，一般采用尽可能覆盖叶片全部表面的图像获取形式，故为保障图像特征提取效果，针对任意目标叶片，将目标叶片的全部表面分割成多个区域，单次拍摄仅针对其中一个区域，故作为优选方式，从图像质量角度，在单个悬停点位上，针对第一位置和第二位置下的目标叶片，相机均对目标叶片进行多次拍摄，每次拍摄覆盖不同的目标叶片表面，根据叶片的形式，这些区域一般沿着叶片的长度方向依次排布，根据这些图像的后期使用方法：如拍摄完的照片将通过拼接的方式，合成为一张完整的风力发电机叶片、选择单张照片进行查看等，可对相邻两个区域的相对位置进行规定。以上提出的方案与现有技术的区别在于悬停点位采集的图像包括第一图像和第二图像，同时通过视场区域变换满足第一图像和第二图像的拍摄要求，故应该理解成：在悬停点位，无论是对第一位置或第二位置的目标叶片进行了多少次图像采集均应该落入本方案的构思范围以内。

而采用在确认出正前方、正后方的基础上确认出巡检时无人机悬停点，除了具有以上突出的图像背景剔除、图像质量效果外，无论是针对所述第一图像还是第二图像，无论是在风力发电机前方拍摄还是后方拍摄，在悬停点数量尽可能少、叶片表面覆盖尽可能全面的情况下，所得照片中叶片可尽可能不为风力发电机轮毂、机舱部分所遮挡，利于巡检数据采集的全面性。

作为所述的基于视觉的风力发电机巡检方法更进一步的技术方案：

作为一种可充分利用悬停点位的全部视场，以采集该悬停点位下目标叶片全部可采集区域的图像，以简化航线规划以及提高巡检效率；同时，均采用多张图像形成所述的第一图像、第二图像，使得单张图像能够更为清晰反映叶片表面细节；同时，通过对第一图像以及第二图像获取顺序规定，保障图像获取效率的技术方案，设置为：所述第一图像以及第二图像均包括多张图像；

在悬停点位相机所采集的全部图像中：

第一位置目标叶片上的全部可采集区域被第一图像所覆盖；

第二位置目标叶片上的全部可采集区域被第二图像所覆盖；

在拍摄流程中，当完成全部第一图像采集后再对第二图像进行采集；

第一图像以及第二图像的采集方式均为：云台使得视场区域沿着目标叶片径向方向移动，由目标叶片的一端至另一端依次采集各张图像。

本方案在具体实施时，根据叶片长条形的结构特点，第一图像以及第二图像各自所包括的多张图像均可为沿着叶片长度方向依次排列的多个区域对应的图像；悬停点位相机所采集的全部图像覆盖全部可采集区域即尽可能利用当下悬停状态航摄仪的视场范围；限定完成第一图像采集后再进行第二图像采集即旨在在满足拍摄设定的基础上，使得云台单次转动的角度更小，这样可缩短图像采集时间；以上限定的第一图像、第二图像采集方式即用于限定图像采集顺序，用于匹配如上提出的缩短采集时间问题。在一个具体实现方式中，采用如下方式完成图像采集：航摄仪随无人机悬停后，先对第一位置下目标航片进行图像采集，云台带动镜头调整朝向的方式为使得视场区域沿着第一位置下目标叶片的径向方向移动，第一图像采集顺序由叶根到叶尖、由叶尖到叶根均可，完成第一图像采集后，云台带动镜头调整至能够采集第二位置下目标叶片的朝向，而后按照由叶根到叶尖或者由叶尖到叶根的顺序完成全部的第二图像采集。作为本领域技术人员，当运用为目标叶片上具有规定的巡检范围时，第一图像、第二图像所包括的图像能够覆盖规定的巡检范围即可。

为通过后期图像拼接，获得能够直观反映目标叶片各位置表面情况的整合图像或模型，设置为：第一图像中相邻两个采集区域所对应的图像具有设定的重叠率；

第二图像中相邻两个采集区域所对应的图像具有设定的重叠率。可以理解的，以上重叠率即用于相关图像之间的拼接，具体拼接方式可采用常规的特征识别方式，具体重叠率要求根据相机性能、所采用拼接软件需求等进行设定。

风力发电机在运行时，叶片的前缘是作为风切入测的切风面，叶片前缘和叶片迎风面一般为风蚀严重区域，为更为清晰反映这些区域的图像特征，设置为：无人机悬停的位置或目标叶片被采集图像时的位置满足：相机采集图像时，目标叶片上图像目标区域位于镜头的下侧。本方案即为：相机在采集图像时，以由图像采集区域的上方完成图像采集，如相机位置为叶片的正面上方时，第一位置时叶片表面特征识别质量好的区域为前缘以及迎风面上侧，则第二位置时叶片表面特征识别质量好的区域为后缘以及迎风面下侧，当调整相机位置至叶片的背侧上方时，第一位置时叶片表面特征识别质量好的区域为前缘以及背风面上侧，则第二位置时叶片表面特征识别质量好的区域为后缘以及背风面下侧，这样，通过两个点即可获得全面的叶片表面图像。另外，采用从上朝下的拍摄方式，所得照片背景为地面或海面，与常见纯白的叶片对比度较高，更容易进行叶片图像提取和识别：若点位是自下而上拍摄，则照片可能会以天空为背景，与叶片的对比度较小，不易进行叶片图像提取，且可能因为太阳的直射产生炫光和过曝，不利于图像中特征清晰度。在具体实施时，针对如上提出的第一位置和第二位置，同时第一位置和第二位置均包括多张图像的运用，优选采用：目标叶片与地面保持水平时进入视场区域并进行拍摄，这样，可使得各张照片中叶片叶脊所占据的像素点均较多，同时叶片相邻区域的视觉近似度高，不仅便于对背景图像进行鉴别和剔除，针对叶片本身也具有图像特征一致性高的特点，如后期进行三维叶片表面图像建模时，可有效保障贴图质量以利于叶片表面缺陷判定，即：所述第一图像以及第二图像均为目标叶片转动至水平姿态时所采集到的图像。为获得全面的叶片巡检数据，所述悬停点包括位于风力发电机轮毂中心线前侧的第一悬停点、位于风力发电机轮毂中心线后侧的第二悬停点。

本发明具有以下有益效果：

以上确认的风力发电机巡检无人机悬停点确认方法中，为达到所述正前方、正后方确认目的，利用风力发电机固有或能够被直接获取的数据，进一步辅助于叶片图像视觉长度判断即可实现，整个方法的完成采用现有航摄仪即可完成，为达到智能化自动巡检，悬停点确认方法加以简单的图像特征识别即可完成，通过无人机的纯视觉载荷方案，在风力发电机不停机的情况下，确定出风力发电机的正前方和/或正后方，解析出风力发电机当前的偏航角。

以上设定的环形航线即用于使得本方法的实现可在风力发电机不停机情况下。

所确认的巡检时无人机悬停点，可使得航摄仪在进行如下所提供的巡检方法过程中，使得被拍摄的叶片始终处于悬停点的下方，采用从上朝下的拍摄方式，所得照片背景为地面或海面，与常见纯白的叶片对比度较高，更容易进行叶片图像提取和识别：若点位是自下而上拍摄，则照片可能会以天空为背景，与叶片的对比度较小，不易进行叶片图像提取，且可能因为太阳的直射产生炫光和过曝，不利于图像中特征清晰度。

附图说明

图1 为本方案所述的基于视觉的风力发电机巡检无人机悬停点确认方法一个具体运用实施例中，反映巡检时无人机悬停点相对于风力发电机位置的示意图；

图2为本方案所述的基于视觉的风力发电机巡检方法一个具体运用实施例中，反映风力发电机正前方的悬停点下的拍摄流程示意图；

图3为本方案所述的基于视觉的风力发电机巡检方法一个具体运用实施例中，反映风力发电机正后方的悬停点下的拍摄流程示意图；

图4为图2以及图3所展示拍摄流程在目标叶片上的覆盖区域示意图；

图5为本方案所述的基于视觉的风力发电机巡检方法一个具体运用实施例中，第一图像以及第二图像各自包括图像在叶片上的区域展示示意图；

图6为现有风力发电机叶片外观区域划分示意图；

图7为实施例11提供的无人机悬停点确认方法实现方式中，用于解释相关技术术语的示意图；

图8用于展示一个具体实施例中的波动曲线；

图9用于展示一个具体实施例中的修正曲线。

图6中的附图标记分别为：1、后缘，2、前缘，3、迎风面，4、叶尖。

具体实施方式

下面结合实施例对本发明作进一步的详细说明，但是本发明不仅限于以下实施例：

实施例1：

如图1至图6所示，一种基于视觉的风力发电机巡检无人机悬停点确认方法，通过确认出的风力发电机的正前方和/或正后方，将巡检时无人机悬停点确认为位于所述风力发电机轮毂中心线的正上方；

其中，所述正前方和/或正后方的确认方法为：

S1、根据风力发电机的位置坐标以及所述轮毂中心线的高度，确认无人机飞行的环形航线：所述环形航线位于风力发电机叶片转动轨迹的外侧，环形航线位于处于所述高度的水平面上，所述位置坐标位于环形航线的中心线上；

S2、无人机沿所述环形航线飞行过程中对风力发电机的叶片进行拍摄，环形航线上具有多个拍摄点，各拍摄点镜头均朝向环形航线中心，各叶片整体位于各拍摄点的照片成像区域内；

S3、获取各照片中各叶片视觉状态下的长度，针对各照片，通过最大叶片长度与最小叶片长度的差值，确定风力发电机的正前方或正后方；

其中，所述差值最小的照片所对应的拍摄点位于风力发电机的正前方或正后方。

实施例2：

本实施例在实施例1的基础上进行进行进一步细化：

在所述步骤S3中，还包括差值优化步骤，所述差值优化步骤为：

利用最小差值除以最大叶片长度或最小叶片长度，将所得结果与设置的判定阈值进行比对：

当所述结果小于或等于判定阈值时，确认出差值最小的照片所对应的拍摄点位于风力发电机正前方或正后方的拍摄点；

当所述结果大于判定阈值时，调整步骤S2中的拍摄点分布，获得新的结果，将调整后获得的结果与判定阈值进行比对，直至拍摄点分布被调整为所述结果小于或等于判定阈值，而后确认出差值最小的照片所对应的拍摄点位于风力发电机正前方或正后方的拍摄点。

实施例3：

本实施例在实施例1的基础上进行进行进一步细化：

所述叶片视觉状态下的长度通过识别照片中的叶片两端的相对位置获得，具体为：

S3-1、识别照片中的叶片并对各叶片添加目标边界框；

S3-2、确认各叶片的叶根，具体为：

根据各目标边界框的中点，建立关联全部中点的最小外接矩形；

判断各目标边界框分别位于最小外接矩形中的顶点数量，若该目标边界框只有一个顶点位于最小外接矩形内，位于最小外接矩形内的顶点为目标边界框所对应叶片的叶根；

若目标边界框具有两个顶点位于最小外接矩形内，分别取该两个顶点中的各顶点与其他目标边界框作为叶根的顶点组成多边形，取形成面积最小的多边形的顶点作为目标边界框所对应叶片的叶根；

S3-3、根据所确认的各叶片叶根以及叶尖4，获得各照片中各叶片视觉状态下的长度。

实施例4：

本实施例在实施例3的基础上进行进行进一步细化：

利用所述差值最小的照片中所确定的各叶片叶根，确认风力发电机机舱端部的中点位置/轮毂的中点位置。

实施例5：

本实施例在实施例2的基础上进行进行进一步细化：

在差值优化步骤中建立波动曲线，所述波动曲线用于反映环形航线下各照片所述结果的变化趋势，并将波动曲线进行滤波后得到修正曲线，将修正曲线与设定的判断阈值进行比对，确认出位于风力发电机正前方或正后方的拍摄点或重新获取所述波动曲线，以最终得到位于风力发电机正前方或正后方的拍摄点。

实施例6：

本实施例在实施例1的基础上，提供一种基于视觉的风力发电机巡检方法，该方法为：在实施例1至5任意一项所述的悬停点确认方法所确认的无人机悬停点上，利用具有云台的航摄仪采集风力发电机叶片图像数据；

同时，具体图像数据采集过程为：

在所述悬停点上，通过云台改变相机镜头朝向调整视场区域；

所述朝向改变方式为：在目标叶片的转动平面上，视场区域沿平行于所述转动平面的直线平移；

当目标叶片转动至视场区域时，相机采集图像；

在悬停点位所采集的图像包括第一图像和第二图像，在目标叶片的转动轨迹上，第一图像为目标叶片处于第一位置时相机所采集到的图像，第二图像为目标叶片处于第二位置时相机所采集到的图像，在所述转动平面上，第一位置的目标叶片转动180°到达第二位置。

实施例7：

本实施例在实施例6的基础上进行进行进一步细化：

所述第一图像以及第二图像均包括多张图像；

在悬停点位相机所采集的全部图像中：

第一位置目标叶片上的全部可采集区域被第一图像所覆盖；

第二位置目标叶片上的全部可采集区域被第二图像所覆盖；

在拍摄流程中，当完成全部第一图像采集后再对第二图像进行采集；

第一图像以及第二图像的采集方式均为：云台使得视场区域沿着目标叶片径向方向移动，由目标叶片的一端至另一端依次采集各张图像。风力发电机在运行时，风力发电机叶片从外观看可以划分为四个部分：PS面（迎风面3）、SS面（背风面，位于迎风面3的背侧）、前缘2（风切入侧）、后缘1（风切出侧），具体如图6所示。叶片在工作时，叶片的前缘2是作为风切入测的切风面，叶片前缘2和叶片迎风面3一般为风蚀严重区域，为更为清晰反映这些区域的图像特征，设置为：叶片无人机悬停的位置满足：相机采集图像时，目标叶片位于镜头的下侧。本方案即为：相机在采集图像时，以由图像采集区域的上方完成图像采集，如相机位置为叶片的正面上方时，第一位置时叶片表面特征识别质量好的区域为前缘2以及迎风面3上侧，则第二位置时叶片表面特征识别质量好的区域为后缘1以及迎风面3下侧，当调整相机位置至叶片的背侧上方时，第一位置时叶片表面特征识别质量好的区域为前缘2以及背风面上侧，则第二位置时叶片表面特征识别质量好的区域为后缘1以及背风面下侧迎风面3迎风面3，这样，通过两个点即可获得全面的叶片表面图像。另外，采用从上朝下的拍摄方式，所得照片背景为地面或海面，与常见纯白的叶片对比度较高，更容易进行叶片图像提取和识别：若点位是自下而上拍摄，则照片可能会以天空为背景，与叶片的对比度较小，不易进行叶片图像提取，且可能因为太阳的直射产生炫光和过曝，不利于图像中特征清晰度。在具体实施时，针对如上提出的第一位置和第二位置，同时第一位置和第二位置均包括多张图像的运用，优选采用：目标叶片与地面保持水平时进入视场区域并进行拍摄，这样，可使得各张照片中叶片叶脊所占据的像素点均较多，同时叶片相邻区域的视觉近似度高，不仅便于对背景图像进行鉴别和剔除，针对叶片本身也具有图像特征一致性高的特点，如后期进行三维叶片表面图像建模时，可有效保障贴图质量以利于叶片表面缺陷判定。

实施例8：

本实施例在实施例6的基础上进行进行进一步细化：

第一图像中相邻两个采集区域所对应的图像具有设定的重叠率；

第二图像中相邻两个采集区域所对应的图像具有设定的重叠率。

实施例9：

本实施例在实施例6的基础上进行进行进一步细化：

无人机悬停的位置或目标叶片被采集图像时的位置满足：相机采集图像时，目标叶片上图像目标区域位于镜头的下侧。

实施例10：

本实施例在实施例9的基础上进行进行进一步细化：

所述第一图像以及第二图像均为目标叶片转动至水平姿态时所采集到的图像；

所述悬停点包括位于风力发电机轮毂中心线前侧的第一悬停点、位于风力发电机轮毂中心线后侧的第二悬停点。

实施例11：

与以上实施例构思相同的，本实施例提供一种具体的无人机悬停点确认方法实现方式：

主要包括以下步骤：

步骤1：控制无人机飞至轮毂中心线高度H，并且以如图1所示的半径r的环形航线，围绕风力发电机中心线飞行。

步骤2：在围绕飞行过程中通过视觉识别风力轮毂中心的正前方A0和正后方B0，具体步骤为：

步骤2-1：识别叶片，对叶片添加目标边界框，可以得到每个目标边界框的中点和每个目标边界框的4个顶点，如图7示出的围绕各叶片的矩形框以及这些矩形框中的中点所示。

步骤2-2：确认每个叶片的叶根。

具体为：根据三个目标边界框的中点建立最小外接矩形（以下简称为：外接矩），如图7通过三个中点建立出的矩形框所示，若只有一个目标边界框顶点在外接矩内，则确定在外接矩内的目标边界框顶点为叶片的叶根（如图7左上侧叶片以及左下侧叶片的目标边界框位于外接矩内的顶点分别为对应叶片的叶根）；若外接矩内包含2个目标边界框顶点（如图7右上侧的叶片），针对该目标边界框的顶点，则将这两个顶点分别与其他两个目标边界框作为叶根的顶点组成三角形，两个三角形中，作为面积最小的三角形的顶点确定为该叶片的叶根（即右上侧叶片在目标边界框内的2个顶点分别与左上侧叶片以及左下侧叶片的叶根组成三角形，将右上侧叶片目标边界框在外接矩中的两个顶点中，用于形成面积最小的三角形的顶点确认为右上侧叶片的叶根）。

图7中，附图标记分别为：5、左上侧叶片的目标边界框、6、左下侧叶片的目标边界框，7、右上侧叶片的目标边界框，8、外接矩，9、轮毂中心。

另外，如图7所示，可以根据三个叶根坐标（图7中通过圆点标识）与轮毂中心、机舱中心的关系，以求平均值等方式得到图中轮毂中心坐标。同样的，如视口位于风力发电机正后方，可得到机舱中心坐标。

步骤2-3：确定叶片长度。

具体为：以确定为叶根的目标边界框顶点到确定为叶尖4的目标边界框顶点（一般为目标边界框对角线顶点的距离）的距离，确定为叶片长度。

步骤2-4：针对环形航线上的各个拍摄点，根据（最长叶片长度-最短叶片长度）/最短叶片长度可以得到一个波动曲线，如图8所示。

步骤2-5：对上述波动曲线进行滤波得到滤波后的曲线，如图9所示。

步骤2-6：选取波谷为风力发电机正前方或正后方，本实施例选择波谷小于0.08则判断该位置为正前方或正后方。（需要说明的是：图8和图9中，纵向不同位置用于指针不同比值，横向不同位置用于指针不同拍摄时间，图中波谷比较长是因为无人机在该位置悬停了一端时间，根据环形航线上不同拍摄点分布设置方式，当具有多个小于0.08的数值时，表明具有多个满足设定条件的拍摄点可被用于确定为位于风力发电机正前方或正后方，但应该选择最小的数值所对应的拍摄点作为位于风力发电机正前方的拍摄位置或正后方的拍摄位置）。

进一步地，当得到正前方或正后方之后，还可以根据风力发电机正面有轮毂，基于图像识别轮毂，判断无人机正处于正前方。

步骤3：控制无人机在正前方A0处垂直上升距离h后悬停在A点拍摄风力发电机前方图像，拍摄完成后飞至B处拍摄风力发电机后方图像，B为正后方B0垂直上升距离h后的点，垂直上升距离h也可人为设置。或者，也可以控制无人机按照先在B拍摄再到A拍摄。

实施例12：

本实施例提供一种具体的巡检方法实现方式：

当无人机悬停于图1所示A点时，如图2左图所展示拍摄流程和右图所展示拍摄流程，得到图4箭头所示第一拍摄流程覆盖区域和第二拍摄流程覆盖区域；当悬停于B点时，如图3左图所展示拍摄流程和右图所展示拍摄流程，得到图4箭头所示第三拍摄流程覆盖区域和第四拍摄流程覆盖区域。

以第一拍摄流程进行举例说明，由图2可知将叶片图像采集分为了沿着叶片长度方向的多个采集段，在叶片上，以靠近风机中心为采集段1，向远离风机中心方向，依次为采集段2，以此类推至采集段n。当具有三片叶片的风力发电机旋转一周后，采集时在采集段1对应的视场区域采集3个叶片的信息后，云台控制相机转动和对焦至采集段2对应的视场区域，对经过该视场区域的3个叶片信息进行采集，直至采集完采集段n对应区域下的3个叶片的信息，之后，云台控制相机旋转对第二拍摄流程进行采样。之后无人机飞到B点以同样方式进行采集，直至采集完整个拍摄流程。

实施例13：

本实施例在实施例12的基础上，提供一种具体的巡检方法实现方式：

具体巡检过程如下：

步骤1：将叶片分为n个采集段，分别为A、B、C、D、E等，如图5所示。相邻采集段可部分重叠。保证叶片每个部分都采集到和具有相应的图像重叠率。

步骤2：通过人工操控或无人机自动飞至图1所示点位A，并悬停于点位A，通过云台将无人机相机镜头对准叶片的A位置保持不动，当叶片旋转经过A位置时，相机进行抓拍。风机叶片旋转一圈，相机便能依次抓拍的叶片1、叶片2和叶片3的A位置的图像信息。无人机相机具有自动快速对焦功能，当叶片旋转至A位置时，自动快速对焦并完成图像采集。

步骤3：当采集完三个叶片的A位置后，通过云台转动将镜头对准叶片的B位置，对三个叶片的B位置进行图像采集…依次类推，直至在点位A采集完三个叶片的图像信息，这些图像为第一图像，而后在点位A采集三个叶片的第二图像。

步骤4：通过人工操控或无人机自动飞至图1所示点位B并悬停于点位B，重复上述步骤2和步骤3，采集点位B时三个叶片的图像信息，这些图像包括第一图像和第二图像，采集了B点位的第一图像后再进行第二图像采集。

步骤5，根据采集到的图像信息合成为一种较长的完整风机叶片照片。

以上内容是结合具体的优选实施方式对本发明作的进一步详细说明，不能认定本发明的具体实施方式只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明的技术方案下得出的其他实施方式，均应包含在本发明的保护范围内。

Claims (10)

1.基于视觉的风力发电机巡检无人机悬停点确认方法，其特征在于，通过确认出的风力发电机的正前方和/或正后方，将巡检时无人机悬停点确认为位于所述风力发电机轮毂中心线的正上方；

其中，所述正前方和/或正后方的确认方法为：

S1、根据风力发电机的位置坐标以及所述轮毂中心线的高度，确认无人机飞行的环形航线：所述环形航线位于风力发电机叶片转动轨迹的外侧，环形航线位于处于所述高度的水平面上，所述位置坐标位于环形航线的中心线上；

S2、无人机沿所述环形航线飞行过程中对风力发电机的叶片进行拍摄，环形航线上具有多个拍摄点，各叶片整体位于各拍摄点的照片成像区域内；

S3、获取各照片中各叶片视觉状态下的长度，针对各照片，通过最大叶片长度与最小叶片长度的差值，确定风力发电机的正前方或正后方；

其中，所述差值最小的照片所对应的拍摄点位于风力发电机的正前方或正后方。

2.根据权利要求1所述的基于视觉的风力发电机巡检无人机悬停点确认方法，其特征在于，

在所述步骤S3中，还包括差值优化步骤，所述差值优化步骤为：

利用最小差值除以最大叶片长度或最小叶片长度，将所得结果与设置的判定阈值进行比对：

当所述结果小于或等于判定阈值时，确认出差值最小的照片所对应的拍摄点位于风力发电机正前方或正后方的拍摄点；

当所述结果大于判定阈值时，调整步骤S2中的拍摄点分布，获得新的结果，将调整后获得的结果与判定阈值进行比对，直至拍摄点分布被调整为所述结果小于或等于判定阈值，而后确认出差值最小的照片所对应的拍摄点位于风力发电机正前方或正后方的拍摄点。

3.根据权利要求1所述的基于视觉的风力发电机巡检无人机悬停点确认方法，其特征在于，所述叶片视觉状态下的长度通过识别照片中的叶片两端的相对位置获得，具体为：

S3-1、识别照片中的叶片并对各叶片添加目标边界框；

S3-2、确认各叶片的叶根，具体为：

根据各目标边界框的中点，建立关联全部中点的最小外接矩形；

判断各目标边界框分别位于最小外接矩形中的顶点数量，若该目标边界框只有一个顶点位于最小外接矩形内，位于最小外接矩形内的顶点为目标边界框所对应叶片的叶根；

若目标边界框具有两个顶点位于最小外接矩形内，分别取该两个顶点中的各顶点与其他目标边界框作为叶根的顶点组成多边形，取形成面积最小的多边形的顶点作为目标边界框所对应叶片的叶根；

S3-3、根据所确认的各叶片叶根以及叶尖，获得各照片中各叶片视觉状态下的长度。

4.根据权利要求1至3中任意一项所述的基于视觉的风力发电机巡检无人机悬停点确认方法，其特征在于，各拍摄点镜头均朝向环形航线中心。

5.根据权利要求2所述的基于视觉的风力发电机巡检无人机悬停点确认方法，其特征在于，在差值优化步骤中建立波动曲线，所述波动曲线用于反映环形航线下各照片所述结果的变化趋势，并将波动曲线进行滤波后得到修正曲线，将修正曲线与设定的判断阈值进行比对，确认出位于风力发电机正前方或正后方的拍摄点或重新获取所述波动曲线，以最终得到位于风力发电机正前方或正后方的拍摄点。

6.基于视觉的风力发电机巡检方法，其特征在于，在权利要求1至5任意一项所述的悬停点确认方法所确认的无人机悬停点上，利用具有云台的航摄仪采集风力发电机叶片图像数据；

同时，具体图像数据采集过程为：

在所述悬停点上，通过云台改变相机镜头朝向调整视场区域；

所述朝向改变方式为：在目标叶片的转动平面上，视场区域沿平行于所述转动平面的直线平移；

当目标叶片转动至视场区域时，相机采集图像；

在悬停点位所采集的图像包括第一图像和第二图像，在目标叶片的转动轨迹上，第一图像为目标叶片处于第一位置时相机所采集到的图像，第二图像为目标叶片处于第二位置时相机所采集到的图像，在所述转动平面上，第一位置的目标叶片转动180°到达第二位置。

7.根据权利要求6所述的基于视觉的风力发电机巡检方法，其特征在于，所述第一图像以及第二图像均包括多张图像；

在悬停点位相机所采集的全部图像中：

第一位置目标叶片上的全部可采集区域被第一图像所覆盖；

第二位置目标叶片上的全部可采集区域被第二图像所覆盖；

在拍摄流程中，当完成全部第一图像采集后再对第二图像进行采集；

第一图像以及第二图像的采集方式均为：云台使得视场区域沿着目标叶片径向方向移动，由目标叶片的一端至另一端依次采集各张图像。

8.根据权利要求6或7所述的基于视觉的风力发电机巡检方法，其特征在于，第一图像中相邻两个采集区域所对应的图像具有设定的重叠率；

第二图像中相邻两个采集区域所对应的图像具有设定的重叠率。

9.根据权利要求6所述的基于视觉的风力发电机巡检方法，其特征在于，无人机悬停的位置或目标叶片被采集图像时的位置满足：相机采集图像时，目标叶片上图像目标区域位于镜头的下侧。

10.根据权利要求9所述的基于视觉的风力发电机巡检方法，其特征在于，所述第一图像以及第二图像均为目标叶片转动至水平姿态时所采集到的图像；

所述悬停点包括位于风力发电机轮毂中心线前侧的第一悬停点、位于风力发电机轮毂中心线后侧的第二悬停点。

Images