CN112508865B - 一种无人机巡检避障方法、装置、计算机设备和存储介质 - Google Patents
一种无人机巡检避障方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112508865B CN112508865B CN202011319830.2A CN202011319830A CN112508865B CN 112508865 B CN112508865 B CN 112508865B CN 202011319830 A CN202011319830 A CN 202011319830A CN 112508865 B CN112508865 B CN 112508865B
- Authority
- CN
- China
- Prior art keywords
- obstacle
- aerial vehicle
- unmanned aerial
- target
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013507 mapping Methods 0.000 claims abstract description 49
- 238000001514 detection method Methods 0.000 claims description 99
- 230000000007 visual effect Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 26
- 239000003990 capacitor Substances 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000000737 periodic effect Effects 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000003062 neural network model Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种无人机巡检避障方法、装置、计算机设备和存储介质。所述方法包括：获取主摄像机拍摄的视频流；对视频流中的视频帧进行障碍物识别，得到障碍物识别结果；当障碍物识别结果表征存在目标障碍物时，确定目标障碍物在主摄像机视野范围内的第一位置；将第一位置映射到设置于前视双目摄像机视野内对应的第二位置，根据第二位置计算目标障碍物与无人机之间的第一距离；获取无人机与目标巡检点之间的第二距离，并在根据第一距离和第二距离确定满足避障触发条件时，调整无人机的飞行航线，以实现巡检避障。本方法结合前述的第一距离和第二距离进行无人机飞行航线的调整，降低了无人机与目标障碍物之间的碰撞概率，保障了飞行安全。
Description
技术领域
本申请涉及电力设备巡检技术领域，特别是涉及一种无人机巡检避障方法、装置、计算机设备和存储介质。
背景技术
随着无人机技术的发展，变电站巡检方式逐渐由人工巡检转变为无人机巡检，利用无人机进行电力设备的巡检能够有效的解决人工巡检中存在的视野受限，避免在突发自然灾害情况下例如火灾、地震所带来的人身伤害等问题。
目前在利用无人机进行电力设备巡检的时候，通常考虑在无人机上搭载云台主摄像头，根据设计好的飞行路线，进行自动的飞行巡检。然而，无人机在巡检过程中难免会遇到前方存在障碍物的突发情况，这就需要在及时、有效的识别到前方障碍物对应具体位置的时候，重新规划无人机的飞行路线，从而避免发生炸机等事故。虽然，目前无人机通用的避障算法在一定程度上能够避免发生前述的突发事故，但是，现有的避障算法所适用的场景，仅针对于主摄像头能够准确的识别到前方障碍物的具体位置的情况，当障碍物前存在遮挡物或主摄像头只拍摄到障碍物的一小部分等导致障碍目标定位失误的场景下，还是很容易出现炸机等突发事故，存在巡检避障准确性低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高巡检避障准确性的一种无人机巡检避障方法、装置、计算机设备和存储介质。
一种无人机巡检避障方法，所述方法包括：
获取主摄像机拍摄的视频流，所述主摄像机为部署在无人机巡检区域中的云台上的摄像机；
对所述视频流中的视频帧进行障碍物识别，得到障碍物识别结果；
当所述障碍物识别结果表征存在目标障碍物时，确定所述目标障碍物在所述主摄像机视野范围内的第一位置；
将所述第一位置映射到设置于所述无人机上的前视双目摄像机视野内对应的第二位置，根据所述第二位置计算所述目标障碍物与所述无人机之间的第一距离；
获取无人机与目标巡检点之间的第二距离，并在根据所述第一距离和所述第二距离确定满足避障条件时，调整所述无人机的飞行航线，以实现巡检避障。
在其中一个实施例中，所述对所述视频流中的视频帧进行障碍物识别，得到障碍物识别结果，包括：
将所述视频流中的视频帧输入至障碍物检测模型；
通过所述障碍物检测模型对所述视频帧进行特征提取，得到对应的特征图；
基于所述特征图进行分割处理，得到多个分割区域；
从所述多个分割区域中识别出前景区域，并确定所述前景区域中对应目标障碍物的目标检测框；
根据所述目标检测框所处的位置，确定所述目标障碍物在所述主摄像机视野范围内的第一位置。
在其中一个实施例中，所述确定所述前景区域中对应目标障碍物的目标检测框，包括：
确定所述前景区域中对应部分检测到目标障碍物的初始检测框；
调整所述初始检测框的检测位置以及大小，直到通过所述初始检测框能够完整检测到目标障碍物时，将调整后的初始检测框作为目标检测框。
在其中一个实施例中，所述根据所述第二位置计算所述目标障碍物与所述无人机之间的第一距离，包括：
获取所述前视双目摄像机中的两个前视摄像头之间的基线距离；所述两个前视摄像头对称的设置在前视双目摄像机中；
根据所述目标障碍物在前视双目摄像机拍摄视野内对应的第二位置，确定所述目标障碍物到每个前视摄像头分别对应的投影点；其中，两个所述投影点处于同一水平线上；
获取每个投影点的坐标位置，并根据各投影点的坐标位置确定所述前视双目摄像机的焦距，以及各投影点到各自对应的前视摄像头之间的视觉距离；
根据所述前视双目摄像机的焦距、两个前视摄像头之间的基线距离以及各投影点到各自对应的前视摄像头之间的视觉距离，计算目标障碍物与无人机之间的第一距离。
在其中一个实施例中，所述根据所述前视双目摄像机的焦距、两个前视摄像头之间的基线距离以及各投影点到各自对应的前视摄像头之间的视觉距离，计算目标障碍物与无人机之间的第一距离，包括：
按照下述公式计算目标障碍物与无人机之间的第一距离：
式中，z为所述第一距离，f为前视双目摄像机的焦距，b为两个前视摄像头之间的基线距离，uL和uR分别为各投影点到各自对应的前视摄像头之间的视觉距离。
在其中一个实施例中，所述无人机设于变电站涵盖的地域范围中，用于对设于变电站中的电力设备进行定期巡检；所述电力设备包括变压器、高压断路器、隔离开关、母线、避雷器、电容器和电抗器中的至少一种。
在其中一个实施例中，所述将所述第一位置映射到设置于所述无人机上的前视双目摄像机拍摄视野内对应的第二位置，包括：
获取主摄像机拍摄到的主视图像，以及前视双目摄像机拍摄到的前视图像；
从所述主视图像提取出用于表征目标障碍物识别特征的第一图像特征点，以及从所述前视图像提取出用于表征目标障碍物识别特征的第二图像特征点；确定所述第一图像特征点与所述第二图像特征点之间的空间映射关系；
根据所述空间映射关系，将所述第一位置映射到设置于所述无人机上的前视双目摄像机拍摄视野内对应的第二位置。
一种无人机巡检避障装置，所述装置包括：
获取模块，用于获取主摄像机拍摄的视频流，所述主摄像机为部署在无人机巡检区域中的云台上的摄像机；
识别模块，用于对所述视频流中的视频帧进行障碍物识别，得到障碍物识别结果；
定位模块，用于当所述障碍物识别结果表征存在目标障碍物时，确定所述目标障碍物在所述主摄像机视野范围内的第一位置；
映射模块，用于将所述第一位置映射到设置于所述无人机上的前视双目摄像机视野内对应的第二位置，根据所述第二位置计算所述目标障碍物与所述无人机之间的第一距离；
避障模块，用于获取无人机与目标巡检点之间的第二距离，并在根据所述第一距离和所述第二距离确定满足避障条件时，调整所述无人机的飞行航线，以实现巡检避障。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取主摄像机拍摄的视频流，所述主摄像机为部署在无人机巡检区域中的云台上的摄像机；
对所述视频流中的视频帧进行障碍物识别，得到障碍物识别结果；
当所述障碍物识别结果表征存在目标障碍物时，确定所述目标障碍物在所述主摄像机视野范围内的第一位置；
将所述第一位置映射到设置于所述无人机上的前视双目摄像机视野内对应的第二位置，根据所述第二位置计算所述目标障碍物与所述无人机之间的第一距离；
获取无人机与目标巡检点之间的第二距离，并在根据所述第一距离和所述第二距离确定满足避障条件时，调整所述无人机的飞行航线，以实现巡检避障。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取主摄像机拍摄的视频流，所述主摄像机为部署在无人机巡检区域中的云台上的摄像机；
对所述视频流中的视频帧进行障碍物识别，得到障碍物识别结果；
当所述障碍物识别结果表征存在目标障碍物时，确定所述目标障碍物在所述主摄像机视野范围内的第一位置；
将所述第一位置映射到设置于所述无人机上的前视双目摄像机视野内对应的第二位置，根据所述第二位置计算所述目标障碍物与所述无人机之间的第一距离；
获取无人机与目标巡检点之间的第二距离，并在根据所述第一距离和所述第二距离确定满足避障条件时，调整所述无人机的飞行航线，以实现巡检避障。
上述无人机巡检避障方法、装置、计算机设备和存储介质，基于障碍物识别结果，当确定了目标障碍物存在于主摄像机视野范围内的时候，不直接由第一位置进行第一距离的计算，而是将第一位置映射到前视双目摄像机内对应的第二位置，由第二位置进行第一距离的计算，避免了直接由第一位置进行第一距离计算所带来的偏差，提高了障碍物识别准确度。结合无人机到目标巡检点之间的间隔距离，以及无人机到目标障碍物之间的间隔距离，基于上述两个距离指标进行无人机飞行航线的调整，有效的降低了无人机与目标障碍物之间的碰撞概率，提高了巡检避障准确性。
附图说明
图1为一个实施例中无人机巡检避障方法的应用环境图；
图2为一个实施例中无人机巡检避障方法的流程示意图；
图3为一个实施例中对视频流中的视频帧进行障碍物识别，得到障碍物识别结果步骤的流程示意图；
图4为一个实施例中根据第二位置计算目标障碍物与无人机之间的第一距离步骤的流程示意图；
图5为目标障碍物与两个前视摄像头之间对应的投影示意图；
图6为一个实施例中将第一位置映射到设置于无人机上的前视双目摄像机视野内对应的第二位置步骤的流程示意图；
图7为一个实施例中无人机巡检避障装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的无人机巡检避障方法，可以应用于如图1所示的应用环境中。其中，无人机102上部署有前视双目摄像机104，巡检区域的云台上部署有主摄像机106，无人机102、前视双目摄像104和主摄像机106均通过网络与计算机设备108进行通信。无人机用于在巡检区域内进行巡检，当无人机在执行巡检任务时，无人机上部署的前视双目摄像机可采集对应的视频流。而部署在无人机巡检区域中的云台上的主摄像机也可实时采集视频流，并将采集的视频流发送至计算机设备。计算机设备对主摄像机采集的视频流中的视频帧进行障碍物识别，得到障碍物识别结果；当所述障碍物识别结果表征存在目标障碍物时，确定所述目标障碍物在所述主摄像机视野范围内的第一位置。计算机设备将所述第一位置映射到设置于所述无人机上的前视双目摄像机视野内对应的第二位置，根据所述第二位置计算所述目标障碍物与所述无人机之间的第一距离；获取无人机与目标巡检点之间的第二距离，并在根据所述第一距离和所述第二距离确定满足避障触发条件时，调整所述无人机的飞行航线，以实现巡检避障。
其中，计算机设备108具体可以是终端或服务器，终端具体可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种无人机巡检避障方法，以该方法应用于计算机设备为例进行说明，包括以下步骤：
步骤S202，获取主摄像机拍摄的视频流，所述主摄像机为部署在无人机巡检区域中的云台上的摄像机。
其中，主摄像机为搭载在无人机巡检区域中的云台上的摄像机，其拥有高清像素，可以用来确定目标障碍物的位置。视频流为由多个按照时间顺序排列的视频帧组成的流数据。无人机设于变电站涵盖的地域范围中，用于对设于变电站中的电力设备进行定期巡检。变电站涵盖的地域范围即可认为是无人机巡检区域。
在其中一个实施例中，电力设备包括变压器、高压断路器、隔离开关、母线、避雷器、电容器和电抗器中的至少一种，本申请实施例对比不作限定。
具体地，计算机设备可通过有线网络或无线网络等通信方式，接收主摄像机采集的视频流。在其中一个实施例中，计算机设备可在需要时向主摄像机发送指令，以使得主摄像机响应于该指令向计算机设备传输主摄像机采集的视频流。
步骤S204，对视频流中的视频帧进行障碍物识别，得到障碍物识别结果。
具体的，根据先前在计算机设备中建立的障碍物识别模型，将视频流中的视频帧输入到障碍物识别模型后，由障碍物识别模型对输入的视频帧进行处理，得到障碍物识别结果。需要说明的是，障碍物识别模型为基于神经网络建模技术搭建的建模模型。
在其中一个实施例中，首先，计算机设备基于现有的Faster-Rcnn预训练模型(目标检测算法)进行障碍物识别模型的搭建，当然，在其他实施例中也可以采用其他的神经网络模型搭建技术，例如RNN(通常指复发神经网络)神经网络模型搭建技术，本申请实施例对此不作限定。最后，将视频帧输入到Faster-Rcnn预训练模型之后，由Faster-Rcnn预训练模型对输入的视频帧进行处理，得到障碍物识别结果。
当前实施例中，通过Faster-Rcnn预训练模型对输入的视频帧进行处理，能够准确的定位到目标障碍物在主摄像机视野范围内的位置，有效的提高了对目标障碍物的识别准确度。
步骤S206，当障碍物识别结果表征存在目标障碍物时，确定目标障碍物在主摄像机视野范围内的第一位置。
具体的，由计算机设备根据当前获取到的障碍物识别结果确定目标障碍物是否存在于主摄像机视野范围内。若是，则根据目标检测框位置，进一步确定目标障碍物在主摄像机视野范围内的第一位置。
在其中一个实施例中，当判断出目标障碍物存在于主摄像机视野范围内时，基于目标障碍物在主摄像机视野范围内的第一位置，来调整无人机的飞行航线，从而避免与目标障碍物之间的碰撞。在其他方面，当判断出目标障碍物不存在于主摄像机视野范围内时，进而可以判断出当前无人机的巡检航线是安全可靠的，即无人机在巡检过程中碰撞到目标障碍物的概率较小，当前可以选择不调整或者对无人机的飞行航线进行微调，使得无人机能够在更短的时间内到达巡航点。
当前实施例中，基于目标障碍物在主摄像机视野范围内所处的位置，进行无人机飞行航线的调整，进一步降低了无人机与目标障碍物之间的碰撞概率，提高了无人机的巡检效率。
步骤208，将第一位置映射到设置于无人机上的前视双目摄像机视野内对应的第二位置，根据第二位置计算目标障碍物与无人机之间的第一距离。
具体的，由计算机设备根据图像特征点之间的空间映射关系，将第一位置映射到设置到第二位置；进而，再根据第二位置计算出目标障碍物与无人机之间的间隔距离。
在其中一个实施例中，首先，由计算机设备调用图像特征点关联匹配算法，进行各第一图像特征点与相应第二图像特征点之间的关联匹配计算，并确定各第一、二图像特征点之间是否能够成功关联即确定第一图像特征点与第二图像特征点之间的空间映射关系。其次，由计算机设备根据各第一图像特征点与相应第二图像特征点之间的关联匹配结果，确定是否需要将第一位置映射到第二位置，若需要，则先将第一位置映射到第二位置，再根据第二位置进行目标障碍物与无人机之间间隔距离(即第一距离)的计算。
当前实施例中，通过调用图像特征点关联匹配算法，进行各第一图像特征点与相应第二图像特征点之间的关联匹配计算，在对第一图像特征点与第二图像特征点之间的空间映射关系有效识别这一前提之下，进一步提高了障碍物的识别准确度。
步骤210，获取无人机与目标巡检点之间的第二距离，并在根据第一距离和第二距离确定满足避障条件时，调整无人机的飞行航线，以实现巡检避障。
具体的，由计算机设备获取目标障碍物与无人机之间的第一距离，并根据获取到的无人机机身的整体长度设定避障触发阈值或者避障触发条件。其中，当需要利用计算机设备判断是否进行无人机飞行航线的调整时，当前需要根据无人机与目标巡检点之间的第二距离，以及在根据第一距离和第二距离确定满足避障条件时，由计算机设备重新调整无人机的飞行航线，使得无人机能够在避开目标障碍物的情况下，得以实现巡检避障。
在其中一个实施例中，由计算机设备确定无人机与目标巡检点之间的第二距离具体包括以下步骤：获取无人机当前飞行位置以及下一个飞行位置各自对应的经纬度坐标，将前述获取到的飞行位置坐标数据通过无线通信技术传输到计算机设备之后，由计算机设备进行无人机与目标巡检点之间的间隔距离(即第二距离)的计算。可选的，当计算得到的第二距离大于等于避障触发阈值时，或者，当计算得到的第二距离满足避障条件时，则由计算机设备重新调整无人机的飞行航线，得以实现巡检避障。
当前实施例中，基于设定的避障触发条件或避障触发阈值、以及无人机与目标巡检点之间的第二距离，对无人机的飞行航线进行实时调整，降低了无人机与目标障碍物之间的碰撞概率，保障了无人机的飞行安全。
上述无人机巡检避障方法中，基于障碍物识别结果，当确定目标障碍物存在于主摄像机视野范围内的时候，不直接由第一位置进行第一距离的计算，而是将第一位置映射到前视双目摄像机内对应的第二位置，由第二位置进行第一距离的计算，避免了直接由第一位置进行第一距离计算所带来的偏差，提高了障碍物识别准确度。结合无人机到目标巡检点之间的间隔距离，以及无人机到目标障碍物之间的间隔距离，基于上述两个距离指标进行无人机飞行航线的调整，有效的降低了无人机与目标障碍物之间的碰撞概率，提高了巡检避障准确性。
在另一个实施例中，如图3所示，对视频流中的视频帧进行障碍物识别，得到障碍物识别结果，包括以下步骤：
步骤S302，将视频流中的视频帧输入至障碍物检测模型。
其中，障碍物检测模型为在执行该方法之前，由计算机设备调用相关的建模软件进行搭建，需要说明的是，障碍物检测模型可基于现有的Faster-Rcnn神经网络模型、RNN神经网络模型等等进行搭建，本申请实施例对比不作限定。视频帧为由计算机设备按照一定的时间间隔从视频流中提取出多个视频帧。对于前述时间间隔的设置，可按照用户的实际需求进行自定义设置，例如可以为500ms或1000ms等等，本申请实施例对比不作限定。
步骤S304，通过障碍物检测模型对视频帧进行特征提取，得到对应的特征图。
其中，特征提取为基于计算机设备完成对相应神经网络模型的调用之后，利用该神经网络模型的卷积层和pooling(池化)层，对模型输入数据进行处理的操作过程。这样，基于神经网络模型中的卷积层和pooling层进行特征图的提取，能够在保留输入图像显著特征的同时，降低图像特征的处理维度，极大提高了对目标障碍物的识别效率以及识别准确度。
步骤S306，基于特征图进行分割处理，得到多个分割区域。
其中，分割区域即为按照一定的分割比例，对获取的特征图进行分割所得的相应区域。
步骤S308，从多个分割区域中识别出前景区域，并确定前景区域中对应目标障碍物的目标检测框。
其中，前景区域为存在于特征图中的某一区域；需要说明的是，待识别的目标对象普遍存在于前景区域中。目标检测框为一个用于对前述的待识别的目标对象进行检测的矩形检测框。
具体的，由计算机设备从分割得到的多个分割区域中识别出前景区域，并根据目标检测框所处的位置，确定目标检测框在主摄像机拍摄视野范围内的位置。
在其中一个实施例中，首先，基于计算机设备完成对相应神经网络模型的建模以及调用。在进行前景区域识别的时候，利用当前的建模网络模型的softmax(逻辑回归)层，进行背景区域以及前景区域的识别。其次，在确定了前景区域中对应目标障碍物的目标检测框之后，由计算机设备获取当前目标检测框对应上、下、左、右4个顶点坐标，根据当前获取到的目标检测框对应上、下、左、右4个顶点坐标即可进一步确定目标检测框所处的位置。最后，根据目标检测框所处的位置，确定目标检测框在主摄像机拍摄视野范围内的位置。
当前实施例中，由于待识别的目标对象普遍存在于前景区域中，因此，根据障碍物检测模型中的softmax层进行前景区域的识别，能够保证前景区域、以及障碍物的识别准确度。
步骤S310，根据目标检测框所处的位置，确定目标障碍物在主摄像机视野范围内的第一位置。
具体的，由计算机设备确定目标检测框所处的位置包括：确定前景区域中对应部分检测到目标障碍物的初始检测框；调整初始检测框的检测位置以及大小，直到通过初始检测框能够完整检测到目标障碍物的时候，将当前的初始检测框作为目标检测框。
在其中一个实施例中，考虑到对应目标障碍物的目标检测框可能进行检测到部分目标障碍物这一实施场景。首先，由计算机设备确定前景区域中对应部分检测到目标障碍物的初始检测框。其次，通过执行多次bounding box regression(边框回归)方法，进一步修正初始检测框的位置以及面积，使得通过修正后的初始检测框能够完整检测到目标障碍物。最后，将修正后的初始检测框作为目标检测框。
当前实施例中，通过bounding box regression方法不断的修正初始检测框的位置以及面积，使得目标障碍物能够被准确的识别到，有效的提高了目标障碍物的识别准确度。
在另一个实施例中，如图4所示，根据第二位置计算目标障碍物与无人机之间的第一距离，包括以下步骤：
步骤S402，获取前视双目摄像机中的两个前视摄像头之间的基线距离；两个前视摄像头对称的设置在前视双目摄像机中。
其中，前视双目摄像机部署在无人机的机头，其为一个双目的摄像机，用来估算无人机与目标障碍物之间的间隔距离。基线距离为两个前视摄像头各自对应的基线之间的距离。具体可参考图5，两个前视摄像头分别对应与图5中示意的点QL和点QR，两个前视摄像头之间的基线距离即为：图5中示意的点QL和点QR之间的间隔距离b。
步骤S404，根据目标障碍物在前视双目摄像机拍摄视野内对应的第二位置，确定目标障碍物到每个前视摄像头分别对应的投影点；其中，两个投影点处于同一水平线上。
其中，请参考图5，前述的第二位置即为图5中示意的点P所处的坐标位置，前述的两个前视摄像头分别对应的投影点为图5中示意的点PL和点PR。
步骤S406，获取每个投影点的坐标位置，并根据各投影点的坐标位置确定前视双目摄像机的焦距，以及各投影点到各自对应的前视摄像头之间的视觉距离。
其中，请参考图5，前视双目摄像机的焦距即为图5中示意的点QR到点PR之间，或者点QL到点PL之间的垂直距离f。各投影点到各自对应的前视摄像头之间的视觉距离即为图5中示意的：点QR到点PR之间的水平间隔位置-uR，以及点QL到点PL之间的水平间隔位置ul。
步骤S408，根据前视双目摄像机的焦距、两个前视摄像头之间的基线距离以及各投影点到各自对应的前视摄像头之间的视觉距离，计算目标障碍物与无人机之间的第一距离。
具体的，由计算机设备根据相似三角形原理进行第一距离计算公式的构建。由计算机设备将前视双目摄像机的焦距、两个前视摄像头之间的基线距离以及各投影点到各自对应的前视摄像头之间的视觉距离带入上述构建得到的公式中，计算得到目标障碍物与无人机之间的第一距离。
在其中一个实施例中，通过以下公式进行目标障碍物与无人机之间的第一距离的计算：
式中，z为第一距离，f为前视双目摄像机的焦距，b为两个前视摄像头之间的基线距离，uL和-uR分别为各投影点到各自对应的前视摄像头之间的视觉距离。
当前实施例中，根据相似三角形原理构建了目标障碍物与无人机之间的第一距离的计算公式，并在多项代入参数已知或预先求解得到相关参数的情况下，进行第一距离的计算，使得在有效降低第一距离计算复杂度的同时，能够提高目标障碍物的识别准确度。
在另一个实施例中，如图6所示，将第一位置映射到设置于无人机上的前视双目摄像机视野内对应的第二位置，包括以下步骤：
步骤S602，获取主摄像机拍摄到的主视图像，以及前视双目摄像机拍摄到的前视图像。
其中，主视图像即为无人机巡检区域中的云台上的主摄像机拍摄到的图像，前视图像即为设置于无人机的机头上的前视双目摄像机拍摄到的图像。
步骤S604，从主视图像提取出用于表征目标障碍物识别特征的第一图像特征点，以及从前视图像提取出用于表征目标障碍物识别特征的第二图像特征点；确定第一图像特征点与第二图像特征点之间的空间映射关系。
具体的，由计算机设备调用图像特征点关联匹配算法，进行各第一图像特征点分别与相应第二图像特征点之间的关联匹配，并确定各第一、二图像特征点之间是否能够成功关联即确定第一图像特征点与第二图像特征点之间的空间映射关系。
在其中一个实施例中，由计算机设备调用Matcher.knnMatch()函数，进行各第一图像特征点分别与相应第二图像特征点之间的关联匹配，当前也可以采用其他的图像特征点关联匹配算法，本申请实施例对比不作限定。通过计算每对图像特征点之间的映射距离，且，当前述的映射距离处于预设的距离阈值范围内时，确定相应的图像特征点成功关联。反之，则匹配不成功。
当前实施例中，通过调用图像特征点关联匹配算法，进行各第一图像特征点与相应第二图像特征点之间的关联匹配计算，使得在有效确定第一图像特征点与第二图像特征点之间的空间映射关系的情况下，能够进一步提高障碍物识别准确度。
步骤S606，根据空间映射关系，将第一位置映射到设置于无人机上的前视双目摄像机拍摄视野内对应的第二位置。
具体的，由计算机设备根据各第一图像特征点与相应第二图像特征点之间的关联匹配结果，确定是否需要将第一位置映射到设置与无人机上的前视双目摄像机拍摄视野内对应的第二位置。
在其中的一个实施例中，当成功关联到的图像特征点个数大于等于预设的数量阈值时，将第一位置映射到设置于无人机上的前视双目摄像机拍摄视野内对应的第二位置。
当前实施例中，虽然利用主摄像机能够识别到目标障碍物，但是因为主摄像机属于单目摄像机，基于目标障碍物在主摄像机视野范围内的位置，进行目标障碍物与无人机之间的距离计算，具备一定的偏差性。因此，考虑到无人机飞行中的安全问题，本实施例中将目标障碍物在主摄像机视野范围内的位置映射到前视双目摄像头的视野中进行深度计算，能够有效的保障无人机的飞行安全，提高识别准确度。
应该理解的是，虽然图2、3、4、6中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、3、4、6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种无人机巡检避障装置，包括：获取模块701、识别模块702、定位模块703、映射模块704和避障模块705，其中：
获取模块701，用于获取主摄像机拍摄的视频流，主摄像机为部署在无人机巡检区域中的云台上的摄像机；需要说明的是，无人机设于变电站涵盖的地域范围中，用于对设于变电站中的电力设备进行定期巡检；电力设备包括变压器、高压断路器、隔离开关、母线、避雷器、电容器和电抗器中的任意一种或多种，本申请实施例对比不作限定。
识别模块702，用于对视频流中的视频帧进行障碍物识别，得到障碍物识别结果。
定位模块703，用于当障碍物识别结果表征存在目标障碍物时，确定目标障碍物在主摄像机视野范围内的第一位置。
映射模块704，用于将第一位置映射到设置于无人机上的前视双目摄像机视野内对应的第二位置，根据第二位置计算目标障碍物与无人机之间的第一距离。
避障模块705，用于获取无人机与目标巡检点之间的第二距离，并在根据第一距离和第二距离确定满足避障条件时，调整无人机的飞行航线，以实现巡检避障。
在一个实施例中，识别模块702，还用于将视频流中的视频帧输入至障碍物检测模型；通过障碍物检测模型对视频帧进行特征提取，得到对应的特征图；基于特征图进行分割处理，得到多个分割区域；从多个分割区域中识别出前景区域，并确定前景区域中对应目标障碍物的目标检测框；根据目标检测框所处的位置，确定目标障碍物在所述主摄像机视野范围内的第一位置。
在一个实施例中，识别模块702，还用于确定前景区域中对应部分检测到目标障碍物的初始检测框；调整初始检测框的检测位置以及大小，直到通过初始检测框能够完整检测到目标障碍物时，将调整后的初始检测框作为目标检测框。
在一个实施例中，映射模块704，还用于获取前视双目摄像机中的两个前视摄像头之间的基线距离；两个前视摄像头对称的设置在前视双目摄像机中；根据目标障碍物在前视双目摄像机拍摄视野内对应的第二位置，确定目标障碍物到每个前视摄像头分别对应的投影点；其中，两个投影点处于同一水平线上；获取每个投影点的坐标位置，并根据各投影点的坐标位置确定前视双目摄像机的焦距，以及各投影点到各自对应的前视摄像头之间的视觉距离；根据前视双目摄像机的焦距、两个前视摄像头之间的基线距离以及各投影点到各自对应的前视摄像头之间的视觉距离，计算目标障碍物与无人机之间的第一距离。
在一个实施例中，映射模块704，还用于按照下述公式计算目标障碍物与无人机之间的第一距离：
式中，z为第一距离，f为前视双目摄像机的焦距，b为两个前视摄像头之间的基线距离，uL和uR分别为各投影点到各自对应的前视摄像头之间的视觉距离。
在一个实施例中，避障模块705，还用于获取主摄像机拍摄到的主视图像，以及前视双目摄像机拍摄到的前视图像；从主视图像提取出用于表征目标障碍物识别特征的第一图像特征点，以及从前视图像提取出用于表征目标障碍物识别特征的第二图像特征点；确定第一图像特征点与第二图像特征点之间的空间映射关系；根据空间映射关系，将第一位置映射到设置于无人机上的前视双目摄像机拍摄视野内对应的第二位置。
上述无人机巡检避障装置，当确定了目标障碍物存在于主摄像机视野范围内的时候，不直接由第一位置进行第一距离的计算，而是将第一位置映射到前视双目摄像机内对应的第二位置，由第二位置进行第一距离的计算，避免了直接由第一位置进行第一距离计算所带来的偏差，提高了障碍物识别准确度。结合无人机到目标巡检点之间的间隔距离，以及无人机到目标障碍物之间的间隔距离，基于上述两个距离指标进行无人机飞行航线的调整，有效的降低了无人机与目标障碍物之间的碰撞概率，提高了巡检避障准确性。
关于无人机巡检避障装置的具体限定可以参见上文中对于无人机巡检避障方法的限定，在此不再赘述。上述无人机巡检避障装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储主摄像机拍摄的视频流数据以及无人机与目标巡检点之间的间隔距离数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种无人机巡检避障方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种无人机巡检避障方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取主摄像机拍摄的视频流，主摄像机为部署在无人机巡检区域中的云台上的摄像机；对视频流中的视频帧进行障碍物识别，得到障碍物识别结果；当障碍物识别结果表征存在目标障碍物时，确定目标障碍物在主摄像机视野范围内的第一位置；将第一位置映射到设置于无人机上的前视双目摄像机视野内对应的第二位置，根据第二位置计算目标障碍物与无人机之间的第一距离；获取无人机与目标巡检点之间的第二距离，并在根据第一距离和第二距离确定满足避障触发条件时，调整无人机的飞行航线，以实现巡检避障。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将视频流中的视频帧输入至障碍物检测模型；通过障碍物检测模型对视频帧进行特征提取，得到对应的特征图；基于特征图进行分割处理，得到多个分割区域；从多个分割区域中识别出前景区域，并确定前景区域中对应目标障碍物的目标检测框；根据目标检测框所处的位置，确定目标障碍物在主摄像机视野范围内的第一位置。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将视频流中的视频帧输入至障碍物检测模型；通过障碍物检测模型对视频帧进行特征提取，得到对应的特征图；基于特征图进行分割处理，得到多个分割区域；从多个分割区域中识别出前景区域，并确定前景区域中对应目标障碍物的目标检测框；根据目标检测框所处的位置，确定目标障碍物在主摄像机视野范围内的第一位置。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据前视双目摄像机的焦距、两个前视摄像头之间的基线距离以及各投影点到各自对应的前视摄像头之间的视觉距离，计算目标障碍物与无人机之间的第一距离，包括：
按照下述公式计算目标障碍物与无人机之间的第一距离：
式中，z为第一距离，f为前视双目摄像机的焦距，b为两个前视摄像头之间的基线距离，uL和uR分别为各投影点到各自对应的前视摄像头之间的视觉距离。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取主摄像机拍摄到的主视图像，以及前视双目摄像机拍摄到的前视图像；从主视图像提取出用于表征目标障碍物识别特征的第一图像特征点，以及从前视图像提取出用于表征目标障碍物识别特征的第二图像特征点；确定第一图像特征点与第二图像特征点之间的空间映射关系；根据空间映射关系，将第一位置映射到设置于无人机上的前视双目摄像机拍摄视野内对应的第二位置。
上述计算机设备，当确定了目标障碍物存在于主摄像机视野范围内的时候，不直接由第一位置进行第一距离的计算，而是将第一位置映射到前视双目摄像机内对应的第二位置，由第二位置进行第一距离的计算，避免了直接由第一位置进行第一距离计算所带来的偏差，提高了障碍物识别准确度。结合无人机到目标巡检点之间的间隔距离，以及无人机到目标障碍物之间的间隔距离，基于上述两个距离指标进行无人机飞行航线的调整，有效的降低了无人机与目标障碍物之间的碰撞概率，提高了巡检避障准确性。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取主摄像机拍摄的视频流，主摄像机为部署在无人机巡检区域中的云台上的摄像机；对视频流中的视频帧进行障碍物识别，得到障碍物识别结果；当障碍物识别结果表征存在目标障碍物时，确定目标障碍物在主摄像机视野范围内的第一位置；将第一位置映射到设置于无人机上的前视双目摄像机视野内对应的第二位置，根据第二位置计算目标障碍物与无人机之间的第一距离；获取无人机与目标巡检点之间的第二距离，并在根据第一距离和第二距离确定满足避障触发条件时，调整无人机的飞行航线，以实现巡检避障。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将视频流中的视频帧输入至障碍物检测模型；通过障碍物检测模型对视频帧进行特征提取，得到对应的特征图；基于特征图进行分割处理，得到多个分割区域；从多个分割区域中识别出前景区域，并确定前景区域中对应目标障碍物的目标检测框；根据目标检测框所处的位置，确定目标障碍物在主摄像机视野范围内的第一位置。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：确定前景区域中对应部分检测到目标障碍物的初始检测框；调整初始检测框的检测位置以及大小，直到通过初始检测框能够完整检测到目标障碍物时，将调整后的初始检测框作为目标检测框。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取前视双目摄像机中的两个前视摄像头之间的基线距离；两个前视摄像头对称的设置在前视双目摄像机中；根据目标障碍物在前视双目摄像机拍摄视野内对应的第二位置，确定目标障碍物到每个前视摄像头分别对应的投影点；其中，两个投影点处于同一水平线上；获取每个投影点的坐标位置，并根据各投影点的坐标位置确定前视双目摄像机的焦距，以及各投影点到各自对应的前视摄像头之间的视觉距离；根据前视双目摄像机的焦距、两个前视摄像头之间的基线距离以及各投影点到各自对应的前视摄像头之间的视觉距离，计算目标障碍物与无人机之间的第一距离。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：按照下述公式计算目标障碍物与无人机之间的第一距离：
式中，z为第一距离，f为前视双目摄像机的焦距，b为两个前视摄像头之间的基线距离，uL和uR分别为各投影点到各自对应的前视摄像头之间的视觉距离。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取主摄像机拍摄到的主视图像，以及前视双目摄像机拍摄到的前视图像；从主视图像提取出用于表征目标障碍物识别特征的第一图像特征点，以及从前视图像提取出用于表征目标障碍物识别特征的第二图像特征点；确定第一图像特征点与第二图像特征点之间的空间映射关系；根据空间映射关系，将第一位置映射到设置于无人机上的前视双目摄像机拍摄视野内对应的第二位置。
上述存储介质，当确定了目标障碍物存在于主摄像机视野范围内的时候，不直接由第一位置进行第一距离的计算，而是将第一位置映射到前视双目摄像机内对应的第二位置，由第二位置进行第一距离的计算，避免了直接由第一位置进行第一距离计算所带来的偏差，提高了障碍物识别准确度。结合无人机到目标巡检点之间的间隔距离，以及无人机到目标障碍物之间的间隔距离，基于上述两个距离指标进行无人机飞行航线的调整，有效的降低了无人机与目标障碍物之间的碰撞概率，提高了巡检避障准确性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种无人机巡检避障方法，其特征在于，所述方法包括：
获取主摄像机拍摄的视频流，所述主摄像机为部署在无人机巡检区域中的云台上的摄像机；
对所述视频流中的视频帧进行障碍物识别，得到障碍物识别结果；
当所述障碍物识别结果表征存在目标障碍物时，确定所述目标障碍物在所述主摄像机视野范围内的第一位置；
获取主摄像机拍摄到的主视图像，以及设置于所述无人机上的前视双目摄像机拍摄到的前视图像；
从所述主视图像提取出用于表征目标障碍物识别特征的第一图像特征点，以及从所述前视图像提取出用于表征目标障碍物识别特征的第二图像特征点；
确定所述第一图像特征点与所述第二图像特征点之间的空间映射关系；
根据所述空间映射关系，将所述第一位置映射到设置于所述无人机上的前视双目摄像机拍摄视野内对应的第二位置；
获取所述前视双目摄像机中的两个前视摄像头之间的基线距离；所述两个前视摄像头对称的设置在前视双目摄像机中；
根据所述目标障碍物在前视双目摄像机拍摄视野内对应的第二位置，确定所述目标障碍物到每个前视摄像头分别对应的投影点；其中，两个所述投影点处于同一水平线上；
获取每个投影点的坐标位置，并根据各投影点的坐标位置确定所述前视双目摄像机的焦距，以及各投影点到各自对应的前视摄像头之间的视觉距离；
按照下述公式计算目标障碍物与无人机之间的第一距离：
；
式中，为所述第一距离，/>为前视双目摄像机的焦距，/>为两个前视摄像头之间的基线距离，/>和/>分别为各投影点到各自对应的前视摄像头之间的视觉距离；
获取无人机与目标巡检点之间的第二距离，并在根据所述第一距离和所述第二距离确定满足避障触发条件时，调整所述无人机的飞行航线，以实现巡检避障。
2.根据权利要求1所述的方法，其特征在于，所述对所述视频流中的视频帧进行障碍物识别，得到障碍物识别结果，包括：
将所述视频流中的视频帧输入至障碍物检测模型；
通过所述障碍物检测模型对所述视频帧进行特征提取，得到对应的特征图；
基于所述特征图进行分割处理，得到多个分割区域；
从所述多个分割区域中识别出前景区域，并确定所述前景区域中对应目标障碍物的目标检测框；
根据所述目标检测框所处的位置，确定所述目标障碍物在所述主摄像机视野范围内的第一位置。
3.根据权利要求2所述的方法，其特征在于，所述确定所述前景区域中对应目标障碍物的目标检测框，包括：
确定所述前景区域中对应部分检测到目标障碍物的初始检测框；
调整所述初始检测框的检测位置以及大小，直到通过所述初始检测框能够完整检测到目标障碍物时，将调整后的初始检测框作为目标检测框。
4.根据权利要求1所述的方法，其特征在于，所述无人机设于变电站涵盖的地域范围中，用于对设于变电站中的电力设备进行定期巡检；所述电力设备包括变压器、高压断路器、隔离开关、母线、避雷器、电容器和电抗器中的至少一种。
5.一种无人机巡检避障装置，其特征在于，所述装置包括：
获取模块，用于获取主摄像机拍摄的视频流，所述主摄像机为部署在无人机巡检区域中的云台上的摄像机；
识别模块，用于对所述视频流中的视频帧进行障碍物识别，得到障碍物识别结果；
定位模块，用于当所述障碍物识别结果表征存在目标障碍物时，确定所述目标障碍物在所述主摄像机视野范围内的第一位置；
避障模块，用于获取主摄像机拍摄到的主视图像，以及设置于所述无人机上的前视双目摄像机拍摄到的前视图像；
所述避障模块，用于从所述主视图像提取出用于表征目标障碍物识别特征的第一图像特征点，以及从所述前视图像提取出用于表征目标障碍物识别特征的第二图像特征点；
确定所述第一图像特征点与所述第二图像特征点之间的空间映射关系；
所述避障模块，用于根据所述空间映射关系，将所述第一位置映射到设置于所述无人机上的前视双目摄像机拍摄视野内对应的第二位置
映射模块，用于获取所述前视双目摄像机中的两个前视摄像头之间的基线距离；所述两个前视摄像头对称的设置在前视双目摄像机中；
所述映射模块，用于根据所述目标障碍物在前视双目摄像机拍摄视野内对应的第二位置，确定所述目标障碍物到每个前视摄像头分别对应的投影点；其中，两个所述投影点处于同一水平线上；
所述映射模块，用于获取每个投影点的坐标位置，并根据各投影点的坐标位置确定所述前视双目摄像机的焦距，以及各投影点到各自对应的前视摄像头之间的视觉距离；
所述映射模块，用于按照下述公式计算目标障碍物与无人机之间的第一距离：
；
式中，为所述第一距离，/>为前视双目摄像机的焦距，/>为两个前视摄像头之间的基线距离，/>和/>分别为各投影点到各自对应的前视摄像头之间的视觉距离；
避障模块，用于获取无人机与目标巡检点之间的第二距离，并在根据所述第一距离和所述第二距离确定满足避障条件时，调整所述无人机的飞行航线，以实现巡检避障。
6.根据权利要求5所述的装置，其特征在于，所述识别模块，用于将所述视频流中的视频帧输入至障碍物检测模型；通过所述障碍物检测模型对所述视频帧进行特征提取，得到对应的特征图；基于所述特征图进行分割处理，得到多个分割区域；从所述多个分割区域中识别出前景区域，并确定所述前景区域中对应目标障碍物的目标检测框；根据所述目标检测框所处的位置，确定所述目标障碍物在所述主摄像机视野范围内的第一位置。
7.根据权利要求6所述的装置，其特征在于，所述识别模块，用于确定所述前景区域中对应部分检测到目标障碍物的初始检测框；调整所述初始检测框的检测位置以及大小，直到通过所述初始检测框能够完整检测到目标障碍物时，将调整后的初始检测框作为目标检测框。
8.根据权利要求5所述的装置，其特征在于，所述无人机设于变电站涵盖的地域范围中，用于对设于变电站中的电力设备进行定期巡检；所述电力设备包括变压器、高压断路器、隔离开关、母线、避雷器、电容器和电抗器中的至少一种。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011319830.2A CN112508865B (zh) | 2020-11-23 | 2020-11-23 | 一种无人机巡检避障方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011319830.2A CN112508865B (zh) | 2020-11-23 | 2020-11-23 | 一种无人机巡检避障方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112508865A CN112508865A (zh) | 2021-03-16 |
| CN112508865B true CN112508865B (zh) | 2024-02-02 |
Family
ID=74959450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011319830.2A Active CN112508865B (zh) | 2020-11-23 | 2020-11-23 | 一种无人机巡检避障方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112508865B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113239864A (zh) * | 2021-05-31 | 2021-08-10 | 南通大学 | 一种适用于农业调查的无人机的路线规划方法 |
| CN113552583A (zh) * | 2021-07-30 | 2021-10-26 | 东莞市光劲光电有限公司 | 一种单摄像头物体三维空间定位方法 |
| CN113900443B (zh) * | 2021-09-28 | 2023-07-18 | 合肥工业大学 | 一种基于双目视觉的无人机避障预警方法及装置 |
| CN113910223B (zh) * | 2021-09-29 | 2024-12-27 | 广东核电合营有限公司 | 核电站空中巡查系统、方法、机器人及存储介质 |
| CN115407799B (zh) * | 2022-09-06 | 2024-10-18 | 西北工业大学 | 一种用于垂直起降飞行器的飞行控制系统 |
| CN115562348A (zh) * | 2022-11-03 | 2023-01-03 | 国网福建省电力有限公司漳州供电公司 | 基于变电站的无人机图像技术方法 |
| CN117315028B (zh) * | 2023-10-12 | 2024-04-30 | 北京多维视通技术有限公司 | 室外火场起火点定位方法、装置、设备及介质 |
| CN119440090A (zh) * | 2025-01-10 | 2025-02-14 | 国网湖南省电力有限公司电力科学研究院 | 一种巡检无人机的自主避障方法、系统、设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102707724A (zh) * | 2012-06-05 | 2012-10-03 | 清华大学 | 一种无人机的视觉定位与避障方法及系统 |
| CN106204443A (zh) * | 2016-07-01 | 2016-12-07 | 成都通甲优博科技有限责任公司 | 一种基于多目复用的全景无人机系统 |
| CN107909024A (zh) * | 2017-11-13 | 2018-04-13 | 哈尔滨理工大学 | 基于图像识别和红外避障的车辆跟踪系统、方法及车辆 |
| CN108323190A (zh) * | 2017-12-15 | 2018-07-24 | 深圳市道通智能航空技术有限公司 | 一种避障方法、装置和无人机 |
| CN108447075A (zh) * | 2018-02-08 | 2018-08-24 | 烟台欣飞智能系统有限公司 | 一种无人机监测系统及其监测方法 |
| KR20190014197A (ko) * | 2017-07-28 | 2019-02-12 | 한세대학교 산학협력단 | 다수의 카메라를 이용한 실내 비행 드론의 위치와 자세 정보 추출 장치 및 방법 |
| CN110687904A (zh) * | 2019-12-09 | 2020-01-14 | 广东科凯达智能机器人有限公司 | 一种巡线机器人视觉导航巡检和避障方法 |
| CN111242986A (zh) * | 2020-01-07 | 2020-06-05 | 北京百度网讯科技有限公司 | 跨相机的障碍物跟踪方法、装置、设备、系统及介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7974460B2 (en) * | 2007-02-06 | 2011-07-05 | Honeywell International Inc. | Method and system for three-dimensional obstacle mapping for navigation of autonomous vehicles |
-
2020
- 2020-11-23 CN CN202011319830.2A patent/CN112508865B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102707724A (zh) * | 2012-06-05 | 2012-10-03 | 清华大学 | 一种无人机的视觉定位与避障方法及系统 |
| CN106204443A (zh) * | 2016-07-01 | 2016-12-07 | 成都通甲优博科技有限责任公司 | 一种基于多目复用的全景无人机系统 |
| KR20190014197A (ko) * | 2017-07-28 | 2019-02-12 | 한세대학교 산학협력단 | 다수의 카메라를 이용한 실내 비행 드론의 위치와 자세 정보 추출 장치 및 방법 |
| CN107909024A (zh) * | 2017-11-13 | 2018-04-13 | 哈尔滨理工大学 | 基于图像识别和红外避障的车辆跟踪系统、方法及车辆 |
| CN108323190A (zh) * | 2017-12-15 | 2018-07-24 | 深圳市道通智能航空技术有限公司 | 一种避障方法、装置和无人机 |
| CN108447075A (zh) * | 2018-02-08 | 2018-08-24 | 烟台欣飞智能系统有限公司 | 一种无人机监测系统及其监测方法 |
| CN110687904A (zh) * | 2019-12-09 | 2020-01-14 | 广东科凯达智能机器人有限公司 | 一种巡线机器人视觉导航巡检和避障方法 |
| CN111242986A (zh) * | 2020-01-07 | 2020-06-05 | 北京百度网讯科技有限公司 | 跨相机的障碍物跟踪方法、装置、设备、系统及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于相似性测度和极限学习机的遥感图像分类研究;李建伟等;《微型电脑应用》;第35卷(第1期);第72-75页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112508865A (zh) | 2021-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112508865B (zh) | 一种无人机巡检避障方法、装置、计算机设备和存储介质 | |
| EP4109331A1 (en) | Obstacle detection method and apparatus, computer device, and storage medium | |
| CN110264495B (zh) | 一种目标跟踪方法及装置 | |
| EP2405393B1 (en) | Device, method and program for creating information for object position estimation | |
| CN111242973A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| US11900676B2 (en) | Method and apparatus for detecting target in video, computing device, and storage medium | |
| CN110633629A (zh) | 基于人工智能的电网巡检方法、装置、设备及存储介质 | |
| CN109683699A (zh) | 基于深度学习实现增强现实的方法、装置及移动终端 | |
| CN113192646B (zh) | 目标检测模型构建方法及不同目标间距离监控方法、装置 | |
| CN116129332B (zh) | 多船舶目标的跟踪识别方法、装置、电子设备及存储介质 | |
| CN112614165B (zh) | 烟火监控方法、装置、摄像机、电子装置和存储介质 | |
| CN115147809B (zh) | 一种障碍物检测方法、装置、设备以及存储介质 | |
| US20240257526A1 (en) | Monitoring method and apparatus, and unmanned vehicle and monitoring device | |
| CN113378605A (zh) | 多源信息融合方法及装置、电子设备和存储介质 | |
| US20180278914A1 (en) | Image generation system and image generation method | |
| CN105303554A (zh) | 一种图像特征点的3d重建方法和装置 | |
| CN114611635A (zh) | 一种对象的识别方法、装置、存储介质及电子装置 | |
| CN114742726B (zh) | 盲区的检测方法、装置、电子设备及存储介质 | |
| CN113870307B (zh) | 一种基于帧间信息的目标检测方法及装置 | |
| CN112001247B (zh) | 多目标检测方法、设备及存储装置 | |
| CN114359474A (zh) | 三维重建方法和装置、计算机设备、存储介质 | |
| KR102211769B1 (ko) | 멀티 카메라 촬영 영상의 기하보정 방법 및 장치 | |
| CN113763468A (zh) | 一种定位方法、装置、系统及存储介质 | |
| KR20150050224A (ko) | 비정상 배회 탐지 장치 및 방법 | |
| US20240104880A1 (en) | Information processing apparatus and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |