CN107656545A - 一种面向无人机野外搜救的自主避障与导航方法 - Google Patents
一种面向无人机野外搜救的自主避障与导航方法 Download PDFInfo
- Publication number
- CN107656545A CN107656545A CN201710818817.3A CN201710818817A CN107656545A CN 107656545 A CN107656545 A CN 107656545A CN 201710818817 A CN201710818817 A CN 201710818817A CN 107656545 A CN107656545 A CN 107656545A
- Authority
- CN
- China
- Prior art keywords
- uav
- obstacle avoidance
- rescue
- feature
- navigation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 63
- 230000000007 visual effect Effects 0.000 claims abstract description 21
- 238000013459 approach Methods 0.000 claims abstract description 9
- 230000033001 locomotion Effects 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 230000001186 cumulative effect Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 5
- 238000012790 confirmation Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 239000007787 solid Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
- G01S19/49—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提供的是一种面向无人机野外搜救的自主避障与导航方法,包括基于GPS信号的全局导航和基于双目视觉与超声波结合的自主避障与导航算法,无人机首先按照规划好的路径,在GPS信号的导航下进行搜索,发现目标后,采用基于双目视觉和超声波结合的自主避障与导航算法,其中双目相机获取含有深度信息的视差图,把视差图重投影到三维空间得到点云,根据点云建立代价地图,使用代价地图进行路径重规划以避障,在无GPS信号时,使用视觉惯性里程计(VIO)保证无人机按照规划的路径飞行,并采用超声波传感器以探测并躲避无人机下方的障碍,从而接近被救目标,实现了在野外搜救场景下的无人机自主避障与导航。
Description
技术领域
本发明属于无人飞行器避障领域,尤其涉及一种面向无人机野外搜救的自主避障与导航方法。
背景技术
近年来,随着无人机控制技术的逐渐成熟,其应用也越来越广泛,包括农间协助作业、工业电力线巡检等,其中涉及到许多方面的技术,如目标检测和跟踪、飞行器运动控制、远距离信号传输等。自主避障与导航也是无人机技术中的重要部分,是指无人机通过传感器主动感知周围的障碍物,根据得到的障碍物信息进行新的路径规划,以躲避周围的障碍物,并运动到目标位置,是保证无人机安全飞行的基础,也是无人机顺利完成各种作业的前提。
在将无人机技术运用到野外搜救中时,首先让无人机在GPS信号的反馈下沿预设路径飞行,此时无人机离地面较高,能够避开地形的影响,当无人机发现待搜救目标后,需要接近目标已进行近距离观察或投放物资,在此过程中,由于野外环境复杂,树林、山崖等障碍物较多,要求无人机具有可靠的自主避障能力和导航能力。早前有使用多个超声波传感器进行避障的方案,但在野外环境下,障碍密集,仅采用超声波传感器不能得到完整的障碍物信息,不能探测树枝、电线等细长障碍物,且不能保证实时更新,从而不能探测移动的障碍物。目前,在野外环境中,还没有一种较好的能够得到丰富的障碍物信息,能够探测细长障碍物,并进行实时更新和路径规划的算法,来保证无人机顺利完成野外搜救任务。
发明内容
本发明的目的在于提供一种基于双目视觉和超声波结合的算法,该算法能够实现在野外环境下的无人机自主避障与导航,从而完成野外搜救的任务。
本发明提供的自主避障与导航算法包括以下具体步骤:
一种面向无人机野外搜救的自主避障与导航方法,其特征在于,包括:
步骤1:无人机在GPS信号的导航下,按照预设的路径进行搜索,具体包括:
步骤101:在无人机配套软件上根据搜救环境,设置全局的搜索路径;
步骤102:无人机按照预设的路径,在GPS信号的导航下进行高空搜索;
步骤2:无人机发现目标后,通过基于双目视觉和超声波的算法实现自主避障和导航,从而接近目标,具体包括:
步骤201:当无人机在步骤1中发现目标后,开始下降并接近目标;
步骤202:无人机通过机载的双目相机拍摄周围环境,并得到视差图,根据双目测距原理,从视差图得到周围物体的深度信息;
步骤203:将视差图重投影到三维空间,从而得到点云数据;
步骤204:根据点云数据表示的障碍信息建立代价地图;
步骤205:根据代价地图上不断更新的障碍信息,调整最佳路径,并产生各个移动方向上的速度命令以便无人机避开障碍物并接近目标;
步骤206:采用超声波传感器探测飞机下方的地面,从而使无人机与地面始终保持一定的安全距离。
在上述的一种面向无人机野外搜救的自主避障与导航方法,所述步骤201的具体实现方法包括:
当无人机发现待救援目标后,使用双目相机可以根据左右两个相机的视差计算出物体的距离信息;使用两个相机可以得到左右视图,两个视图必定产生差异,称之为“左右视差”,定义前方物体上的点p12对应于左右视图上的点p1和点p2;则p1,p2,p12构成一个三角形,通过求解这个三角形的各边长,顶点位置,就可以算出点p12的坐标,再进一步也就可以得到p12到p1p2的距离,也就是p12到p1p2的深度;
由于采用的双目相机具有较高的分辨率,能够清晰地得到周围物体的影像,包括树枝、电线等超声波不能探测的细长障碍,也能够以这种方法进行检测并得到它们的深度信息。
在上述的一种面向无人机野外搜救的自主避障与导航方法,所述步骤202的具体实现方法包括:使用OpenCV开源计算机视觉库,其中有基于块匹配算法的由双目视图计算差异图的实现;差异图重投影到三维空间就可以得到点云(PointCloud),;而点云数据恰好是对障碍信息一个最通用的描述;采用的机器人操作系统ROS实现点云的获取,最后根据双目视觉模块生成的可视化三维点云图,使用ROS开源工具RVIZ可以看到,障碍信息已经被可视化,得到的三维点云可以让无人机了解前方一定距离内的障碍信息,为避障提供了条件。
在上述的一种面向无人机野外搜救的自主避障与导航方法,所述步骤203的具体实现方法包括:云数据得到后,就可以得到障碍信息,需要解决的问题是如何躲避这些障碍;本算法使用基于代价地图的路径重规划躲避这些障碍;首先,建立一个空的网格地图,以无人机当前位置为参考,根据点云信息,有点云出现的位置设为Occupied,没有出现的网格为Free;点云密度大于某个值的地方就认定为有固体障碍,从而实现代价地图的建立。
在上述的一种面向无人机野外搜救的自主避障与导航方法,所述步骤204的具体实现方法包括:
代价地图分为全局代价地图和局部代价地图;由于本算法的应用场景是局部区域内未知地图的避障飞行,因此只能使用局部代价地图,这个是根据不断收到的传感器数据动态更新的地图;实际的避障中,首先需要初始化一个全局的规划器;这个全局规划器负责生成一个从指定的“起点”到指定的“目标点”之间的最短路径,通常使用Dijkstra最短路径算法,这个生成的最短路径为最初状态的最佳路径;然后根据局部代价地图,局部规划器将根据最新的障碍信息不断调整更新最佳路径,并产生各个移动移动方向上的速度命令以便无人机避开障碍物;这些速度命令一般采用动态窗口方法来生成,步骤如下:
步骤204A、在机器人控制空间(dx,dy,dθ)中离散采样;
步骤204B、对于每个采样速度,从机器人的当前状态执行正向仿真,以预测如果使用采样速度行进一段时间的运动会发生什么;
步骤204C、使用包括诸如以下特征的度量来评估(打分),如图4所示,从而正向模拟产生的每个轨迹:接近障碍物,接近目标,接近全局路径和速度;然后丢弃非法轨迹(与障碍物碰撞的轨迹以及得分较低的轨迹);
步骤204D、选择最高得分的轨迹,并将相关速度发送到移动基底;
步骤204E、清除得分并重复。
在上述的一种面向无人机野外搜救的自主避障与导航方法,所述步骤205的具体实现方法包括:
建立视觉惯性里程计;考虑到野外环境复杂,地形多变,无人机在搜救过程中可能会进入山崖下方GPS信号微弱的区域,此时不能再通过GPS信号实现绝对定位,需采用相对定位的方法来确定无人机的位置,里程计是一种广泛使用的相对定位方法;常用的里程计有惯性里程计(IO)和视觉里程计(VO),惯性里程计(IO)利用加速度计和陀螺仪进行定位,由于漂移误差和积分导致的累积误差,惯性里程计在运行一段时间后便会出现较大的定位偏差,需要进行校正;视觉里程计(VO)则是通过相机感知周围环境,采集图像,然后根据特征匹配和运动约束等方法来估计相机的姿态,比较准确,不会有漂移和累积误差;视觉里程计的实现主要包括以下4个步骤:
步骤205A1、特征检测;对于双目相机拍摄的图像,先进行特征点检测,常用的特征有角点,方向梯度直方图(HOG),局部二值模式(LBP)等,本算法采用了尺度不变特征(SIFT),能够保持尺度变换和旋转的不变性;
步骤205A2、立体匹配;对于双目相机两个摄像头拍摄的图像,根据双目测距原理,得到图像上对应部分的深度信息,从而得到各点的三维坐标;
步骤205A3、时域特征点跟踪;对同一摄像头在不同时刻拍摄的图像之间特征点进行匹配,并通过三角测量得到特征点在相机坐标系下的三维坐标;
步骤205A4、运动估计;在完成特征点时域跟踪的基础上,便可以通过无人机在相邻采样间隔时间内在同一坐标系下的位姿变化,对它进行运动估计,采用了随机抽样一致性方法(RANSAC)进行运动估计;
尽管视觉里程计较为准确,但会由于场景特征的缺乏而导致跟踪的失败,为此,本算法将视觉信息与惯性测量单元(IMU)的数据进行融合,得到视觉惯性里程计(VIO),从而实现在GPS信号缺失情况下的对无人机的准确定位;本算法采用的融合方法为MSCKF,步骤如下:
步骤205B1、初始化;初始化相机和IMU的参数,并构造MSCKF状态向量;
步骤205B2、读取IMU数据,估计新的MSCKF状态向量和对应的协方差矩阵;
步骤205B3、开始对图像数据进行处理,在MSCKF状态向量中增加当前帧的摄像机位姿,若位姿数大于滑动窗口大小的范围,去除状态变量中最早的视图对应的摄像机位姿;
步骤205B4、提取图像特征并匹配,去除外点;
步骤205B5、处理所有提取的特征;判断当前特征是否是之前视图中已经观察到的特征,如果是,且当前帧还可以观测到该特征,则加入该特征的track列表,否则将该特征的track加入到剩余列表,用于更新MSCKF的状态变量,如果不是,
给该特征分配新的特征ID,并加入到当前视图可观测特征的集合;
步骤205C1、循环遍历剩余列表中的track,用于更新MSCKF的状态变量;
步骤205C2、计算新的MSCKF状态向量的协方差矩阵;
步骤205C3、管理状态变量,绘制运动轨迹;
通过以上方法便能融合视觉信息和IMU的数据,以实现在无GPS信号场景下对无人机的定位,从而保证导航任务的完成。
在上述的一种面向无人机野外搜救的自主避障与导航方法,所述步骤206的具体实现方法包括:
搜救系统在野外工作时,与地面保持一定的距离是十分必要的;因为野外地形无法预测,如果固定设置无人机飞行高度,遇到某些起伏地形时,无人机则无法跟随地形相应地提升飞行高度,也就无法越过该地形继续搜索;此外,野外搜救时,无人机很有可能有降低飞行高度的需求,如自动递送急救物资,或者靠近目标做进一步确认;此类情况下,需要躲避无人机下方的障碍;此时超声波是一个很好的避障工具;利用超声波传感器,机载设备能以20Hz的频率接收到下方的障碍信息;超声波的有效测距范围为0.02—20m,在飞行过程中,采用下面的避障策略来躲避下方的障碍:
系统初始化时,需要设定正常飞行的高度,以及安全距离;在飞行过程中可以根据任务的变化来设定正常飞行高度;由此策略,无人机系统将与下方障碍保持一定的距离,从而保证安全飞行。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:
1.通过双目视觉能够得到无人机周围完整的障碍物信息,包括树枝、电线等细长障碍物,保证了无人机对周围环境探测的准确性。
2.代价地图可以进行实时更新,从而能够处理移动障碍的场景,能够应对更复杂的情形。
3.避免了气压计不能在地势起伏区域确定相对高度的弊端,采用超声波传感器探测下方地形,使无人机能自主爬山。
附图说明
图1为视差到深度转换原理图。
图2为三维点云图。
图3为可视化三维点云图。
图4为局部规划器对正向模拟路径打分图。
图5为无人机地形跟随示意图。
图6是本发明的方法流程示意图。
具体实施方式
本发明提供了一种面向无人机野外搜救的自主避障与导航方法。为使本发明的目的,技术方案及效果更加清楚、明确,以下参考附图对本发明进一步详细说明。
本发明主要包含两个部分,基于GPS信号导航的全局搜索和接近目标过程中的自主避障和导航。所述面向无人机野外搜救的自主避障与导航方法,主要包含以下步骤:
步骤S100:无人机在GPS信号的导航下,按照预设的路径进行搜索。
步骤S200:无人机发现目标后,通过基于双目视觉和超声波的算法实现自主避障和导航,从而接近目标。
本发明所依靠的无人机系统包括旋翼无人机,机载双目相机,机载红外相机,超声波传感器,机载X86计算平台,地面控制端包括遥控器,配套控制软件。本发明为一种面向无人机野外搜救的自主避障与导航方法,首先通过配套软件设定全局搜索的路径,然后让无人机在GPS信号的导航下,按照预设的路径进行搜索,当无人机发现目标后,通过基于双目视觉的方法得到周围障碍物的信息,通过位于飞机下方的超声波传感器保持与地面的安全距离,从而实现此阶段的自主避障和导航,并最终接近目标。下面对各个步骤进行详细描述:
所述一种面向无人机野外搜救的自主避障与导航方法,其中,步骤S100具体包括:
步骤S101:根据搜救环境,在无人机配套软件上设置全局的搜索路径。
步骤S102:无人机按照预设的路径,在GPS信号的导航下进行搜索,此时无人机飞行高度较高,不受地面障碍物的影响,此阶段目标为发现被困人员。
所述一种面向无人机野外搜救的自主避障与导航方法,其中,步骤S200具体包括:
步骤S201:当无人机发现待救援目标后,使用双目相机可以根据左右两个相机的视差计算出物体的距离信息。使用两个相机可以得到左右视图,两个视图必定产生差异,称之为“左右视差”,从左右视差(disparity)到“深度”(depth)的转换原理如图1所示。
设前方物体上的点p12对应于左右视图上的点p1和点p2。则p1,p2,p12构成一个三角形,通过求解这个三角形的各边长,顶点位置,就可以算出点p12的坐标,再进一步也就可以得到p12到p1p2的距离(深度)。
由于采用的双目相机具有较高的分辨率,能够清晰地得到周围物体的影像,包括树枝、电线等超声波不能探测的细长障碍,也能够以这种方法进行检测并得到它们的深度信息。
步骤S202:在本算法实现中,使用了OpenCV开源计算机视觉库,其中有基于块匹配算法的由双目视图计算差异图的实现。差异图重投影到三维空间就可以得到点云(PointCloud),如图2所示。而点云数据恰好是对障碍信息一个最通用的描述。本算法采用的机器人操作系统ROS可以实现点云的获取。
图3是本算法根据双目视觉模块生成的可视化三维点云图,使用ROS开源工具RVIZ可以看到,障碍信息已经被可视化,得到的三维点云可以让无人机了解前方一定距离内的障碍信息,为避障提供了条件。
步骤S203:点云数据得到后,就可以得到障碍信息,需要解决的问题是如何躲避这些障碍。本算法使用基于代价地图的路径重规划躲避这些障碍。首先,建立一个空的网格地图,以无人机当前位置为参考,根据点云信息,有点云出现的位置设为Occupied(以概率表示),没有出现的网格为Free(障碍出现概率为0);点云密度大于某个值的地方就认定为有固体障碍,从而实现代价地图的建立。
步骤S204:代价地图分为全局代价地图和局部代价地图。由于本算法的应用场景是局部区域内未知地图的避障飞行,因此只能使用局部代价地图,这个是根据不断收到的传感器数据动态更新的地图。实际的避障中,首先需要初始化一个全局的规划器。这个全局规划器负责生成一个从指定的“起点”到指定的“目标点”之间的最短路径,通常使用Dijkstra最短路径算法,这个生成的最短路径为最初状态的最佳路径。然后根据局部代价地图,局部规划器将根据最新的障碍信息不断调整更新最佳路径,并产生各个移动移动方向上的速度命令以便无人机避开障碍物。这些速度命令一般采用动态窗口方法来生成,步骤如下:
(1)在机器人控制空间(dx,dy,dθ)中离散采样。
(2)对于每个采样速度,从机器人的当前状态执行正向仿真,以预测如果使用采样速度行进一段时间的运动会发生什么。
(3)使用包括诸如以下特征的度量来评估(打分),如图4所示,从而正向模拟产生的每个轨迹:接近障碍物,接近目标,接近全局路径和速度。然后丢弃非法轨迹(与障碍物碰撞的轨迹以及得分较低的轨迹)。
(4)选择最高得分的轨迹,并将相关速度发送到移动基底。
(5)清除得分并重复。
步骤S205:建立视觉惯性里程计(VIO)。考虑到野外环境复杂,地形多变,无人机在搜救过程中可能会进入山崖下方等GPS信号微弱的区域,此时不能再通过GPS信号实现绝对定位,需采用相对定位的方法来确定无人机的位置,里程计是一种广泛使用的相对定位方法。常用的里程计有惯性里程计(IO)和视觉里程计(VO),惯性里程计(IO)利用加速度计和陀螺仪进行定位,由于漂移误差和积分导致的累积误差,惯性里程计在运行一段时间后便会出现较大的定位偏差,需要进行校正。视觉里程计(VO)则是通过相机感知周围环境,采集图像,然后根据特征匹配和运动约束等方法来估计相机的姿态,比较准确,不会有漂移和累积误差。视觉里程计的实现主要包括以下4个步骤:
(1)特征检测。对于双目相机拍摄的图像,先进行特征点检测,常用的特征有角点,方向梯度直方图(HOG),局部二值模式(LBP)等,本算法采用了尺度不变特征(SIFT),能够保持尺度变换和旋转的不变性。
(2)立体匹配。对于双目相机两个摄像头拍摄的图像,根据双目测距原理,得到图像上对应部分的深度信息,从而得到各点的三维坐标。
(3)时域特征点跟踪。对同一摄像头在不同时刻拍摄的图像之间特征点进行匹配,并通过三角测量得到特征点在相机坐标系下的三维坐标。
(4)运动估计。在完成特征点时域跟踪的基础上,便可以通过无人机在相邻采样间隔时间内在同一坐标系下的位姿变化,对它进行运动估计,本算法采用了随机抽样一致性方法(RANSAC)进行运动估计。
尽管视觉里程计较为准确,但会由于场景特征的缺乏而导致跟踪的失败,为此,本算法将视觉信息与惯性测量单元(IMU)的数据进行融合,得到视觉惯性里程计(VIO),从而实现在GPS信号缺失情况下的对无人机的准确定位。本算法采用的融合方法为MSCKF,步骤如下:
(1)初始化。初始化相机和IMU的参数,并构造MSCKF状态向量。
(2)读取IMU数据,估计新的MSCKF状态向量和对应的协方差矩阵。
(3)开始对图像数据进行处理,在MSCKF状态向量中增加当前帧的摄像机位姿,若位姿数大于滑动窗口大小的范围,去除状态变量中最早的视图对应的摄像机位姿。
(4)提取图像特征并匹配,去除外点。
(5)处理所有提取的特征。判断当前特征是否是之前视图中已经观察到的特征,如果是,且当前帧还可以观测到该特征,则加入该特征的track列表,否则将该特征的track加入到剩余列表,用于更新MSCKF的状态变量,如果不是,给该特征分配新的特征ID,并加入到当前视图可观测特征的集合。
(6)循环遍历剩余列表中的track,用于更新MSCKF的状态变量。
(7)计算新的MSCKF状态向量的协方差矩阵。
(8)管理状态变量,绘制运动轨迹。
通过以上方法便能融合视觉信息和IMU的数据,以实现在无GPS信号场景下对无人机的定位,从而保证导航任务的完成。
步骤S206:搜救系统在野外工作时,与地面保持一定的距离是十分必要的。因为野外地形无法预测,如果固定设置无人机飞行高度,遇到某些起伏地形(如斜坡)时,无人机则无法跟随地形相应地提升飞行高度,也就无法越过该地形继续搜索。此外,野外搜救时,无人机很有可能有降低飞行高度的需求,如自动递送急救物资,或者靠近目标做进一步确认。此类情况下,需要躲避无人机下方的障碍。此时超声波是一个很好的避障工具。利用超声波传感器,机载设备能以20Hz的频率接收到下方的障碍信息。超声波的有效测距范围为0.02—20m,在飞行过程中,采用下面的避障策略来躲避下方的障碍,如图5所示。系统初始化时,需要设定正常飞行的高度,以及安全距离。在飞行过程中可以根据任务的变化来设定正常飞行高度(但安全距离是固定的与障碍的最小可容忍距离)。由此策略,无人机系统将与下方障碍保持一定的距离,从而保证安全飞行。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (7)
1.一种面向无人机野外搜救的自主避障与导航方法,其特征在于,包括:
步骤1:无人机在GPS信号的导航下,按照预设的路径进行搜索,具体包括:
步骤101:在无人机配套软件上根据搜救环境,设置全局的搜索路径;
步骤102:无人机按照预设的路径,在GPS信号的导航下进行高空搜索;
步骤2:无人机发现目标后,通过基于双目视觉和超声波的算法实现自主避障和导航,从而接近目标,具体包括:
步骤201:当无人机在步骤1中发现目标后,开始下降并接近目标;
步骤202:无人机通过机载的双目相机拍摄周围环境,并得到视差图,根据双目测距原理,从视差图得到周围物体的深度信息;
步骤203:将视差图重投影到三维空间,从而得到点云数据;
步骤204:根据点云数据表示的障碍信息建立代价地图;
步骤205:根据代价地图上不断更新的障碍信息,调整最佳路径,并产生各个移动方向上的速度命令以便无人机避开障碍物并接近目标;
步骤206:采用超声波传感器探测飞机下方的地面,从而使无人机与地面始终保持一定的安全距离。
2.根据权利要求1所述的一种面向无人机野外搜救的自主避障与导航方法,其特征在于,所述步骤201的具体实现方法包括:
当无人机发现待救援目标后,使用双目相机可以根据左右两个相机的视差计算出物体的距离信息;使用两个相机可以得到左右视图,两个视图必定产生差异,称之为“左右视差”,定义前方物体上的点p12对应于左右视图上的点p1和点p2;则p1,p2,p12构成一个三角形,通过求解这个三角形的各边长,顶点位置,就可以算出点p12的坐标,再进一步也就可以得到p12到p1p2的距离,也就是p12到p1p2的深度;
由于采用的双目相机具有较高的分辨率,能够清晰地得到周围物体的影像,包括树枝、电线等超声波不能探测的细长障碍,也能够以这种方法进行检测并得到它们的深度信息。
3.据权利要求1所述的一种面向无人机野外搜救的自主避障与导航方法,其特征在于,所述步骤202的具体实现方法包括:使用OpenCV开源计算机视觉库,其中有基于块匹配算法的由双目视图计算差异图的实现;差异图重投影到三维空间就可以得到点云(PointCloud),;而点云数据恰好是对障碍信息一个最通用的描述;采用的机器人操作系统ROS实现点云的获取,最后根据双目视觉模块生成的可视化三维点云图,使用ROS开源工具RVIZ可以看到,障碍信息已经被可视化,得到的三维点云可以让无人机了解前方一定距离内的障碍信息,为避障提供了条件。
4.据权利要求1所述的一种面向无人机野外搜救的自主避障与导航方法,其特征在于,所述步骤203的具体实现方法包括:云数据得到后,就可以得到障碍信息,需要解决的问题是如何躲避这些障碍;本算法使用基于代价地图的路径重规划躲避这些障碍;首先,建立一个空的网格地图,以无人机当前位置为参考,根据点云信息,有点云出现的位置设为Occupied,没有出现的网格为Free;点云密度大于某个值的地方就认定为有固体障碍,从而实现代价地图的建立。
5.据权利要求1所述的一种面向无人机野外搜救的自主避障与导航方法,其特征在于,所述步骤204的具体实现方法包括:
代价地图分为全局代价地图和局部代价地图;由于本算法的应用场景是局部区域内未知地图的避障飞行,因此只能使用局部代价地图,这个是根据不断收到的传感器数据动态更新的地图;实际的避障中,首先需要初始化一个全局的规划器;这个全局规划器负责生成一个从指定的“起点”到指定的“目标点”之间的最短路径,通常使用Dijkstra最短路径算法,这个生成的最短路径为最初状态的最佳路径;然后根据局部代价地图,局部规划器将根据最新的障碍信息不断调整更新最佳路径,并产生各个移动移动方向上的速度命令以便无人机避开障碍物;这些速度命令一般采用动态窗口方法来生成,步骤如下:
步骤204A、在机器人控制空间(dx,dy,dθ)中离散采样;
步骤204B、对于每个采样速度,从机器人的当前状态执行正向仿真,以预测如果使用采样速度行进一段时间的运动会发生什么;
步骤204C、使用包括诸如以下特征的度量来评估打分,从而正向模拟产生的每个轨迹:接近障碍物,接近目标,接近全局路径和速度;然后丢弃非法轨迹;
步骤204D、选择最高得分的轨迹,并将相关速度发送到移动基底;
步骤204E、清除得分并重复。
6.据权利要求1所述的一种面向无人机野外搜救的自主避障与导航方法,其特征在于,所述步骤205的具体实现方法包括:
建立视觉惯性里程计;考虑到野外环境复杂,地形多变,无人机在搜救过程中可能会进入山崖下方GPS信号微弱的区域,此时不能再通过GPS信号实现绝对定位,需采用相对定位的方法来确定无人机的位置,里程计是一种广泛使用的相对定位方法;常用的里程计有惯性里程计(IO)和视觉里程计(VO),惯性里程计(IO)利用加速度计和陀螺仪进行定位,由于漂移误差和积分导致的累积误差,惯性里程计在运行一段时间后便会出现较大的定位偏差,需要进行校正;视觉里程计(VO)则是通过相机感知周围环境,采集图像,然后根据特征匹配和运动约束等方法来估计相机的姿态,比较准确,不会有漂移和累积误差;视觉里程计的实现主要包括以下4个步骤:
步骤205A1、特征检测;对于双目相机拍摄的图像,先进行特征点检测,常用的特征有角点,方向梯度直方图(HOG),局部二值模式(LBP)等,本算法采用了尺度不变特征(SIFT),能够保持尺度变换和旋转的不变性;
步骤205 A2、立体匹配;对于双目相机两个摄像头拍摄的图像,根据双目测距原理,得到图像上对应部分的深度信息,从而得到各点的三维坐标;
步骤205 A3、时域特征点跟踪;对同一摄像头在不同时刻拍摄的图像之间特征点进行匹配,并通过三角测量得到特征点在相机坐标系下的三维坐标;
步骤205 A4、运动估计;在完成特征点时域跟踪的基础上,便可以通过无人机在相邻采样间隔时间内在同一坐标系下的位姿变化,对它进行运动估计,采用了随机抽样一致性方法(RANSAC)进行运动估计;
尽管视觉里程计较为准确,但会由于场景特征的缺乏而导致跟踪的失败,为此,本算法将视觉信息与惯性测量单元(IMU)的数据进行融合,得到视觉惯性里程计(VIO),从而实现在GPS信号缺失情况下的对无人机的准确定位;本算法采用的融合方法为MSCKF,步骤如下:
步骤205B1、初始化;初始化相机和IMU的参数,并构造MSCKF状态向量;
步骤205B2、读取IMU数据,估计新的MSCKF状态向量和对应的协方差矩阵;
步骤205B3、开始对图像数据进行处理,在MSCKF状态向量中增加当前帧的摄像机位姿,若位姿数大于滑动窗口大小的范围,去除状态变量中最早的视图对应的摄像机位姿;
步骤205B4、提取图像特征并匹配,去除外点;
步骤205B5、处理所有提取的特征;判断当前特征是否是之前视图中已经观察到的特征,如果是,且当前帧还可以观测到该特征,则加入该特征的track列表,否则将该特征的track加入到剩余列表,用于更新MSCKF的状态变量,如果不是,
给该特征分配新的特征ID,并加入到当前视图可观测特征的集合;
步骤205C1、循环遍历剩余列表中的track,用于更新MSCKF的状态变量;
步骤205C2、计算新的MSCKF状态向量的协方差矩阵;
步骤205C3、管理状态变量,绘制运动轨迹;
通过以上方法便能融合视觉信息和IMU的数据,以实现在无GPS信号场景下对无人机的定位,从而保证导航任务的完成。
7.根据权利要求1所述的一种面向无人机野外搜救的自主避障与导航方法,其特征在于,所述步骤206的具体实现方法包括:
搜救系统在野外工作时,与地面保持一定的距离是十分必要的;因为野外地形无法预测,如果固定设置无人机飞行高度,遇到某些起伏地形时,无人机则无法跟随地形相应地提升飞行高度,也就无法越过该地形继续搜索;此外,野外搜救时,无人机很有可能有降低飞行高度的需求,如自动递送急救物资,或者靠近目标做进一步确认;此类情况下,需要躲避无人机下方的障碍;此时超声波是一个很好的避障工具;利用超声波传感器,机载设备能以20Hz的频率接收到下方的障碍信息;超声波的有效测距范围为0.02—20m,在飞行过程中,采用下面的避障策略来躲避下方的障碍:
系统初始化时,需要设定正常飞行的高度,以及安全距离;在飞行过程中可以根据任务的变化来设定正常飞行高度;由此策略,无人机系统将与下方障碍保持一定的距离,从而保证安全飞行。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710818817.3A CN107656545A (zh) | 2017-09-12 | 2017-09-12 | 一种面向无人机野外搜救的自主避障与导航方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710818817.3A CN107656545A (zh) | 2017-09-12 | 2017-09-12 | 一种面向无人机野外搜救的自主避障与导航方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107656545A true CN107656545A (zh) | 2018-02-02 |
Family
ID=61129811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710818817.3A Pending CN107656545A (zh) | 2017-09-12 | 2017-09-12 | 一种面向无人机野外搜救的自主避障与导航方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107656545A (zh) |
Cited By (76)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108536157A (zh) * | 2018-05-22 | 2018-09-14 | 上海迈陆海洋科技发展有限公司 | 一种智能水下机器人及其系统、物标跟踪方法 |
CN108549378A (zh) * | 2018-05-02 | 2018-09-18 | 长沙学院 | 一种基于栅格地图的混合路径规划方法和系统 |
CN108563235A (zh) * | 2018-05-24 | 2018-09-21 | 南方科技大学 | 一种多旋翼无人机、抓取目标物体的方法、装置及设备 |
CN108629793A (zh) * | 2018-03-22 | 2018-10-09 | 中国科学院自动化研究所 | 使用在线时间标定的视觉惯性测程法与设备 |
CN108733076A (zh) * | 2018-05-24 | 2018-11-02 | 南方科技大学 | 一种无人机抓取目标物体的方法、装置及电子设备 |
CN108768497A (zh) * | 2018-04-27 | 2018-11-06 | 郑州航空工业管理学院 | 无人机辅助无线传感网及其节点调度与飞行参量设计方法 |
CN108762308A (zh) * | 2018-08-20 | 2018-11-06 | 辽宁壮龙无人机科技有限公司 | 一种基于雷达和摄像头的无人机避障系统及控制方法 |
CN108917752A (zh) * | 2018-03-30 | 2018-11-30 | 深圳清创新科技有限公司 | 无人船导航方法、装置、计算机设备和存储介质 |
CN108957476A (zh) * | 2018-09-26 | 2018-12-07 | 中国计量大学 | 一种基于无人机的树径测量装置及树径测算方法 |
CN109032182A (zh) * | 2018-08-20 | 2018-12-18 | 辽宁壮龙无人机科技有限公司 | 一种基于毫米波雷达的无人机避障系统及控制方法 |
CN109032162A (zh) * | 2018-08-20 | 2018-12-18 | 辽宁壮龙无人机科技有限公司 | 一种基于激光雷达的无人机避障系统及控制方法 |
CN109060281A (zh) * | 2018-09-18 | 2018-12-21 | 山东理工大学 | 基于无人机的一体化桥梁检测系统 |
CN109087323A (zh) * | 2018-07-25 | 2018-12-25 | 武汉大学 | 一种基于精细cad模型的图像车辆三维姿态估计方法 |
CN109116867A (zh) * | 2018-09-28 | 2019-01-01 | 拓攻(南京)机器人有限公司 | 一种无人机飞行避障方法、装置、电子设备及存储介质 |
CN109143303A (zh) * | 2018-09-03 | 2019-01-04 | 天津远度科技有限公司 | 飞行定位方法、装置及固定翼无人机 |
CN109163718A (zh) * | 2018-09-11 | 2019-01-08 | 江苏航空职业技术学院 | 一种面向建筑群的无人机自主导航方法 |
CN109164825A (zh) * | 2018-08-13 | 2019-01-08 | 上海机电工程研究所 | 一种用于多旋翼无人机的自主导航避障方法及装置 |
CN109298387A (zh) * | 2018-08-20 | 2019-02-01 | 京信通信系统(中国)有限公司 | 搜救定位方法、装置、计算机存储介质及设备 |
CN109407103A (zh) * | 2018-09-07 | 2019-03-01 | 昆明理工大学 | 一种无人机雾天障碍物识别装置及其识别方法 |
CN109490931A (zh) * | 2018-09-03 | 2019-03-19 | 天津远度科技有限公司 | 飞行定位方法、装置及无人机 |
CN109557920A (zh) * | 2018-12-21 | 2019-04-02 | 华南理工大学广州学院 | 一种自动导航建图机器人及控制方法 |
CN109612455A (zh) * | 2018-12-04 | 2019-04-12 | 天津职业技术师范大学 | 一种室内定位方法及系统 |
CN109785428A (zh) * | 2019-01-21 | 2019-05-21 | 苏州大学 | 一种基于多态约束卡尔曼滤波的手持式三维重建方法 |
CN109795484A (zh) * | 2018-12-24 | 2019-05-24 | 百度在线网络技术(北京)有限公司 | 车辆控制方法和设备 |
CN109814601A (zh) * | 2019-04-03 | 2019-05-28 | 广东电网有限责任公司 | 一种基于三维激光的无人机飞行轨迹自动规划方法和装置 |
CN109822579A (zh) * | 2019-04-10 | 2019-05-31 | 江苏艾萨克机器人股份有限公司 | 基于视觉的协作机器人安全控制方法 |
CN110027701A (zh) * | 2019-03-28 | 2019-07-19 | 苏州大学 | 地下综合管廊巡检系统 |
CN110109480A (zh) * | 2019-05-21 | 2019-08-09 | 南京邮电大学 | 一种基于多传感器融合的无人机巡查搜救系统及搜救方法 |
CN110104167A (zh) * | 2019-04-25 | 2019-08-09 | 江苏大学 | 一种采用红外热成像传感器的自动化搜救无人机系统和控制方法 |
CN110211151A (zh) * | 2019-04-29 | 2019-09-06 | 华为技术有限公司 | 一种运动物体的追踪方法和装置 |
CN110231035A (zh) * | 2019-06-27 | 2019-09-13 | 北京克莱明科技有限公司 | 攀爬移动机器人路径引导方法 |
CN110262568A (zh) * | 2019-07-19 | 2019-09-20 | 深圳市道通智能航空技术有限公司 | 一种基于目标跟踪的无人机避障方法、装置及无人机 |
CN110378178A (zh) * | 2018-09-30 | 2019-10-25 | 长城汽车股份有限公司 | 目标跟踪方法及装置 |
CN110567468A (zh) * | 2018-06-06 | 2019-12-13 | 百度在线网络技术(北京)有限公司 | 道路轨迹获取方法、设备及存储介质 |
CN110650530A (zh) * | 2019-09-24 | 2020-01-03 | 北京佰才邦技术有限公司 | 无人机的搜索定位方法、装置和无人机 |
CN110728178A (zh) * | 2019-09-02 | 2020-01-24 | 武汉大学 | 一种基于深度学习的事件相机车道线提取方法 |
EP3598874A4 (en) * | 2018-06-14 | 2020-01-29 | Beijing Didi Infinity Technology and Development Co., Ltd. | SYSTEMS AND METHODS FOR UPDATING A HIGH RESOLUTION MAP BASED ON BINOCULAR IMAGES |
WO2020019130A1 (zh) * | 2018-07-23 | 2020-01-30 | 深圳市大疆创新科技有限公司 | 运动估计方法及可移动设备 |
WO2020103108A1 (zh) * | 2018-11-22 | 2020-05-28 | 深圳市大疆创新科技有限公司 | 一种语义生成方法、设备、飞行器及存储介质 |
CN111578926A (zh) * | 2020-04-16 | 2020-08-25 | 天津大学 | 一种基于自动驾驶平台的地图生成与导航避障的方法 |
CN111752295A (zh) * | 2019-08-27 | 2020-10-09 | 广州极飞科技有限公司 | 无人机飞行轨迹规划方法及相关装置 |
CN111890358A (zh) * | 2020-07-01 | 2020-11-06 | 浙江大华技术股份有限公司 | 双目避障方法、装置、存储介质及电子装置 |
CN112020688A (zh) * | 2018-03-26 | 2020-12-01 | 捷普有限公司 | 使用深度评估进行自主机器人导航的装置、系统和方法 |
CN112305576A (zh) * | 2020-10-31 | 2021-02-02 | 中环曼普科技(南京)有限公司 | 一种多传感器融合的slam算法及其系统 |
CN112348434A (zh) * | 2020-10-29 | 2021-02-09 | 济南浪潮高新科技投资发展有限公司 | 一种云化小区外卖全自动配送的方案 |
CN112346481A (zh) * | 2020-11-24 | 2021-02-09 | 广西电网有限责任公司电力科学研究院 | 一种无人机电力巡检作业的方法及系统 |
CN112363540A (zh) * | 2020-12-05 | 2021-02-12 | 陕西厚凯智能科技有限公司 | 一种远程无人机操作系统 |
CN112382134A (zh) * | 2020-04-26 | 2021-02-19 | 北京三快在线科技有限公司 | 生成飞行路径的方法、装置、存储介质和电子设备 |
CN112542800A (zh) * | 2020-11-24 | 2021-03-23 | 广西电网有限责任公司电力科学研究院 | 一种输电线路故障识别的方法及其系统 |
CN112596071A (zh) * | 2020-11-02 | 2021-04-02 | 中国兵器工业计算机应用技术研究所 | 无人机自主定位方法、装置及无人机 |
CN112598010A (zh) * | 2020-11-26 | 2021-04-02 | 厦门大学 | 一种双目视觉的非结构化地形实时感知与重构方法 |
CN112614171A (zh) * | 2020-11-26 | 2021-04-06 | 厦门大学 | 面向工程机械集群作业的空-地一体化动态环境感知系统 |
CN112887595A (zh) * | 2021-01-20 | 2021-06-01 | 厦门大学 | 一种针对动态多目标的相机即时自动规划方法 |
CN112967283A (zh) * | 2021-04-22 | 2021-06-15 | 上海西井信息科技有限公司 | 基于双目摄像头的目标识别方法、系统、设备及存储介质 |
CN113029169A (zh) * | 2021-03-03 | 2021-06-25 | 宁夏大学 | 一种基于三维地图和自主导航的空地协作搜救系统及方法 |
CN113140006A (zh) * | 2021-04-30 | 2021-07-20 | 中德(珠海)人工智能研究院有限公司 | 一种自平衡机器人的控制方法、系统及存储介质 |
CN113310493A (zh) * | 2021-05-28 | 2021-08-27 | 广东工业大学 | 一种基于事件触发机制的无人机实时导航方法 |
CN113433965A (zh) * | 2020-03-23 | 2021-09-24 | 北京三快在线科技有限公司 | 无人机避障方法,装置,存储介质及电子设备 |
CN113465728A (zh) * | 2021-06-25 | 2021-10-01 | 重庆工程职业技术学院 | 一种地形感知方法、系统、存储介质、计算机设备 |
CN113524140A (zh) * | 2021-07-29 | 2021-10-22 | 深圳市维创世纪信息技术有限公司 | 一种可避免物体松动坠落的搬运工业机器人及其搬运方法 |
CN113566789A (zh) * | 2021-09-27 | 2021-10-29 | 深圳市大道智创科技有限公司 | 基于深度相机的室内斜坡检测方法、装置及可读介质 |
CN113678082A (zh) * | 2019-03-25 | 2021-11-19 | 索尼集团公司 | 移动体、移动体的控制方法和程序 |
CN113741533A (zh) * | 2021-09-16 | 2021-12-03 | 中国电子科技集团公司第五十四研究所 | 一种基于模仿学习与强化学习的无人机智能决策系统 |
CN113885568A (zh) * | 2021-10-25 | 2022-01-04 | 中电鸿信信息科技有限公司 | 一种基于视景定位的拒止环境下无人机航迹规划方法 |
CN113933871A (zh) * | 2021-10-15 | 2022-01-14 | 贵州师范学院 | 基于无人机和北斗定位的洪水灾情检测系统 |
CN114543814A (zh) * | 2022-02-24 | 2022-05-27 | 北京化工大学 | 一种应用于三维环境中的机器人自主定位与导航的方法 |
CN114625141A (zh) * | 2022-03-16 | 2022-06-14 | 西安交通大学 | 基于时空概率道路树的轨迹生成与优化方法及系统 |
CN115033010A (zh) * | 2022-03-16 | 2022-09-09 | 东风越野车有限公司 | 一种旋翼无人机随机飞行模式控制方法及系统 |
CN115115785A (zh) * | 2022-07-20 | 2022-09-27 | 东南大学 | 面向野外山林环境搜救的多机协同三维建模系统及方法 |
CN115202381A (zh) * | 2022-07-12 | 2022-10-18 | 杭州艺会智能科技有限公司 | 一种在垂直立面漫游作业的无人机系统及构建环境模型的方法 |
CN115661204A (zh) * | 2022-11-01 | 2023-01-31 | 中国人民解放军军事科学院国防科技创新研究院 | 一种无人机集群对运动目标的协同搜寻与跟踪定位方法 |
CN115752480A (zh) * | 2022-12-09 | 2023-03-07 | 佛山市稚蒙环境科技有限公司 | 一种基于物联网的采样装置管理系统及方法 |
WO2023030062A1 (zh) * | 2021-09-01 | 2023-03-09 | 中移(成都)信息通信科技有限公司 | 一种无人机的飞行控制方法、装置、设备、介质及程序 |
KR20230068807A (ko) * | 2021-11-11 | 2023-05-18 | 한국전력 국제원자력대학원대학교 산학협력단 | 드론의 장애물 충돌회피를 위한 2d 히스토그램 생성방법 |
CN117389311A (zh) * | 2023-12-13 | 2024-01-12 | 北京御航智能科技有限公司 | 无人机自主越障方法、装置、电子设备及存储介质 |
WO2024114209A1 (zh) * | 2022-12-01 | 2024-06-06 | 浙江大有实业有限公司杭州科技发展分公司 | 一种无rtk信号场景下全自动无人机巡检智能路径规划方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0936520B1 (en) * | 1989-12-11 | 2002-06-19 | Caterpillar Inc. | Integrated vehicle positioning and navigation system, apparatus and method |
CN103901892A (zh) * | 2014-03-04 | 2014-07-02 | 清华大学 | 无人机的控制方法及系统 |
CN103941750A (zh) * | 2014-04-30 | 2014-07-23 | 东北大学 | 基于小型四旋翼无人机的构图装置及方法 |
CN106325275A (zh) * | 2016-09-14 | 2017-01-11 | 广州今甲智能科技有限公司 | 一种机器人导航的系统、方法及装置 |
CN106802668A (zh) * | 2017-02-16 | 2017-06-06 | 上海交通大学 | 基于双目与超声波融合的无人机三维避撞方法及系统 |
CN106933243A (zh) * | 2015-12-30 | 2017-07-07 | 湖南基石信息技术有限公司 | 一种基于双目视觉的无人机实时避障系统及方法 |
CN106980325A (zh) * | 2017-04-25 | 2017-07-25 | 中国联合网络通信集团有限公司 | 一种无人机搜救方法、装置及无人机 |
-
2017
- 2017-09-12 CN CN201710818817.3A patent/CN107656545A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0936520B1 (en) * | 1989-12-11 | 2002-06-19 | Caterpillar Inc. | Integrated vehicle positioning and navigation system, apparatus and method |
CN103901892A (zh) * | 2014-03-04 | 2014-07-02 | 清华大学 | 无人机的控制方法及系统 |
CN103941750A (zh) * | 2014-04-30 | 2014-07-23 | 东北大学 | 基于小型四旋翼无人机的构图装置及方法 |
CN106933243A (zh) * | 2015-12-30 | 2017-07-07 | 湖南基石信息技术有限公司 | 一种基于双目视觉的无人机实时避障系统及方法 |
CN106325275A (zh) * | 2016-09-14 | 2017-01-11 | 广州今甲智能科技有限公司 | 一种机器人导航的系统、方法及装置 |
CN106802668A (zh) * | 2017-02-16 | 2017-06-06 | 上海交通大学 | 基于双目与超声波融合的无人机三维避撞方法及系统 |
CN106980325A (zh) * | 2017-04-25 | 2017-07-25 | 中国联合网络通信集团有限公司 | 一种无人机搜救方法、装置及无人机 |
Non-Patent Citations (1)
Title |
---|
蔡迎波: "基于多状态约束的视觉/惯性组合导航算法研究", 《光学与光电技术》 * |
Cited By (107)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108629793A (zh) * | 2018-03-22 | 2018-10-09 | 中国科学院自动化研究所 | 使用在线时间标定的视觉惯性测程法与设备 |
US12019452B2 (en) | 2018-03-26 | 2024-06-25 | Jabil Inc | Apparatus, system, and method of using depth assessment for autonomous robot navigation |
CN112020688A (zh) * | 2018-03-26 | 2020-12-01 | 捷普有限公司 | 使用深度评估进行自主机器人导航的装置、系统和方法 |
CN112020688B (zh) * | 2018-03-26 | 2024-06-11 | 捷普有限公司 | 使用深度评估进行自主机器人导航的装置、系统和方法 |
CN108917752B (zh) * | 2018-03-30 | 2022-11-11 | 深圳一清创新科技有限公司 | 无人船导航方法、装置、计算机设备和存储介质 |
CN108917752A (zh) * | 2018-03-30 | 2018-11-30 | 深圳清创新科技有限公司 | 无人船导航方法、装置、计算机设备和存储介质 |
CN108768497B (zh) * | 2018-04-27 | 2020-10-09 | 郑州航空工业管理学院 | 无人机辅助无线传感网及其节点调度与飞行参量设计方法 |
CN108768497A (zh) * | 2018-04-27 | 2018-11-06 | 郑州航空工业管理学院 | 无人机辅助无线传感网及其节点调度与飞行参量设计方法 |
CN108549378A (zh) * | 2018-05-02 | 2018-09-18 | 长沙学院 | 一种基于栅格地图的混合路径规划方法和系统 |
CN108549378B (zh) * | 2018-05-02 | 2021-04-20 | 长沙学院 | 一种基于栅格地图的混合路径规划方法和系统 |
CN108536157A (zh) * | 2018-05-22 | 2018-09-14 | 上海迈陆海洋科技发展有限公司 | 一种智能水下机器人及其系统、物标跟踪方法 |
CN108563235B (zh) * | 2018-05-24 | 2022-02-08 | 南方科技大学 | 一种多旋翼无人机、抓取目标物体的方法、装置及设备 |
CN108563235A (zh) * | 2018-05-24 | 2018-09-21 | 南方科技大学 | 一种多旋翼无人机、抓取目标物体的方法、装置及设备 |
CN108733076A (zh) * | 2018-05-24 | 2018-11-02 | 南方科技大学 | 一种无人机抓取目标物体的方法、装置及电子设备 |
US11307038B2 (en) | 2018-06-06 | 2022-04-19 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and device for acquiring road track, and storage medium |
CN110567468A (zh) * | 2018-06-06 | 2019-12-13 | 百度在线网络技术(北京)有限公司 | 道路轨迹获取方法、设备及存储介质 |
CN110832275B (zh) * | 2018-06-14 | 2021-05-18 | 北京嘀嘀无限科技发展有限公司 | 基于双目图像更新高分辨率地图的系统和方法 |
CN110832275A (zh) * | 2018-06-14 | 2020-02-21 | 北京嘀嘀无限科技发展有限公司 | 基于双目图像更新高分辨率地图的系统和方法 |
EP3598874A4 (en) * | 2018-06-14 | 2020-01-29 | Beijing Didi Infinity Technology and Development Co., Ltd. | SYSTEMS AND METHODS FOR UPDATING A HIGH RESOLUTION MAP BASED ON BINOCULAR IMAGES |
WO2020019130A1 (zh) * | 2018-07-23 | 2020-01-30 | 深圳市大疆创新科技有限公司 | 运动估计方法及可移动设备 |
CN109087323A (zh) * | 2018-07-25 | 2018-12-25 | 武汉大学 | 一种基于精细cad模型的图像车辆三维姿态估计方法 |
CN109164825A (zh) * | 2018-08-13 | 2019-01-08 | 上海机电工程研究所 | 一种用于多旋翼无人机的自主导航避障方法及装置 |
CN109298387A (zh) * | 2018-08-20 | 2019-02-01 | 京信通信系统(中国)有限公司 | 搜救定位方法、装置、计算机存储介质及设备 |
CN109032162A (zh) * | 2018-08-20 | 2018-12-18 | 辽宁壮龙无人机科技有限公司 | 一种基于激光雷达的无人机避障系统及控制方法 |
CN109032182A (zh) * | 2018-08-20 | 2018-12-18 | 辽宁壮龙无人机科技有限公司 | 一种基于毫米波雷达的无人机避障系统及控制方法 |
CN108762308A (zh) * | 2018-08-20 | 2018-11-06 | 辽宁壮龙无人机科技有限公司 | 一种基于雷达和摄像头的无人机避障系统及控制方法 |
CN109490931A (zh) * | 2018-09-03 | 2019-03-19 | 天津远度科技有限公司 | 飞行定位方法、装置及无人机 |
CN109143303A (zh) * | 2018-09-03 | 2019-01-04 | 天津远度科技有限公司 | 飞行定位方法、装置及固定翼无人机 |
CN109407103A (zh) * | 2018-09-07 | 2019-03-01 | 昆明理工大学 | 一种无人机雾天障碍物识别装置及其识别方法 |
CN109163718A (zh) * | 2018-09-11 | 2019-01-08 | 江苏航空职业技术学院 | 一种面向建筑群的无人机自主导航方法 |
CN109060281A (zh) * | 2018-09-18 | 2018-12-21 | 山东理工大学 | 基于无人机的一体化桥梁检测系统 |
CN108957476A (zh) * | 2018-09-26 | 2018-12-07 | 中国计量大学 | 一种基于无人机的树径测量装置及树径测算方法 |
CN109116867A (zh) * | 2018-09-28 | 2019-01-01 | 拓攻(南京)机器人有限公司 | 一种无人机飞行避障方法、装置、电子设备及存储介质 |
CN110378178A (zh) * | 2018-09-30 | 2019-10-25 | 长城汽车股份有限公司 | 目标跟踪方法及装置 |
US12222729B2 (en) | 2018-09-30 | 2025-02-11 | Great Wall Motor Company Limited | Target tracking method and device |
CN110378178B (zh) * | 2018-09-30 | 2022-01-28 | 毫末智行科技有限公司 | 目标跟踪方法及装置 |
WO2020103108A1 (zh) * | 2018-11-22 | 2020-05-28 | 深圳市大疆创新科技有限公司 | 一种语义生成方法、设备、飞行器及存储介质 |
CN109612455A (zh) * | 2018-12-04 | 2019-04-12 | 天津职业技术师范大学 | 一种室内定位方法及系统 |
CN109557920A (zh) * | 2018-12-21 | 2019-04-02 | 华南理工大学广州学院 | 一种自动导航建图机器人及控制方法 |
CN109795484A (zh) * | 2018-12-24 | 2019-05-24 | 百度在线网络技术(北京)有限公司 | 车辆控制方法和设备 |
CN109785428A (zh) * | 2019-01-21 | 2019-05-21 | 苏州大学 | 一种基于多态约束卡尔曼滤波的手持式三维重建方法 |
CN109785428B (zh) * | 2019-01-21 | 2023-06-23 | 苏州大学 | 一种基于多态约束卡尔曼滤波的手持式三维重建方法 |
CN113678082A (zh) * | 2019-03-25 | 2021-11-19 | 索尼集团公司 | 移动体、移动体的控制方法和程序 |
CN110027701A (zh) * | 2019-03-28 | 2019-07-19 | 苏州大学 | 地下综合管廊巡检系统 |
CN109814601A (zh) * | 2019-04-03 | 2019-05-28 | 广东电网有限责任公司 | 一种基于三维激光的无人机飞行轨迹自动规划方法和装置 |
CN109822579A (zh) * | 2019-04-10 | 2019-05-31 | 江苏艾萨克机器人股份有限公司 | 基于视觉的协作机器人安全控制方法 |
CN110104167A (zh) * | 2019-04-25 | 2019-08-09 | 江苏大学 | 一种采用红外热成像传感器的自动化搜救无人机系统和控制方法 |
US12073630B2 (en) | 2019-04-29 | 2024-08-27 | Huawei Technologies Co., Ltd. | Moving object tracking method and apparatus |
CN110211151B (zh) * | 2019-04-29 | 2021-09-21 | 华为技术有限公司 | 一种运动物体的追踪方法和装置 |
CN110211151A (zh) * | 2019-04-29 | 2019-09-06 | 华为技术有限公司 | 一种运动物体的追踪方法和装置 |
CN110109480A (zh) * | 2019-05-21 | 2019-08-09 | 南京邮电大学 | 一种基于多传感器融合的无人机巡查搜救系统及搜救方法 |
CN110231035A (zh) * | 2019-06-27 | 2019-09-13 | 北京克莱明科技有限公司 | 攀爬移动机器人路径引导方法 |
CN110262568B (zh) * | 2019-07-19 | 2021-10-22 | 深圳市道通智能航空技术股份有限公司 | 一种基于目标跟踪的无人机避障方法、装置及无人机 |
CN110262568A (zh) * | 2019-07-19 | 2019-09-20 | 深圳市道通智能航空技术有限公司 | 一种基于目标跟踪的无人机避障方法、装置及无人机 |
CN111752295B (zh) * | 2019-08-27 | 2021-09-10 | 广州极飞科技股份有限公司 | 无人机飞行轨迹规划方法及相关装置 |
CN111752295A (zh) * | 2019-08-27 | 2020-10-09 | 广州极飞科技有限公司 | 无人机飞行轨迹规划方法及相关装置 |
CN110728178A (zh) * | 2019-09-02 | 2020-01-24 | 武汉大学 | 一种基于深度学习的事件相机车道线提取方法 |
CN110728178B (zh) * | 2019-09-02 | 2022-03-15 | 武汉大学 | 一种基于深度学习的事件相机车道线提取方法 |
CN110650530A (zh) * | 2019-09-24 | 2020-01-03 | 北京佰才邦技术有限公司 | 无人机的搜索定位方法、装置和无人机 |
CN113433965A (zh) * | 2020-03-23 | 2021-09-24 | 北京三快在线科技有限公司 | 无人机避障方法,装置,存储介质及电子设备 |
CN113433965B (zh) * | 2020-03-23 | 2023-01-31 | 北京三快在线科技有限公司 | 无人机避障方法,装置,存储介质及电子设备 |
CN111578926A (zh) * | 2020-04-16 | 2020-08-25 | 天津大学 | 一种基于自动驾驶平台的地图生成与导航避障的方法 |
CN112382134A (zh) * | 2020-04-26 | 2021-02-19 | 北京三快在线科技有限公司 | 生成飞行路径的方法、装置、存储介质和电子设备 |
CN111890358B (zh) * | 2020-07-01 | 2022-06-14 | 浙江大华技术股份有限公司 | 双目避障方法、装置、存储介质及电子装置 |
CN111890358A (zh) * | 2020-07-01 | 2020-11-06 | 浙江大华技术股份有限公司 | 双目避障方法、装置、存储介质及电子装置 |
CN112348434A (zh) * | 2020-10-29 | 2021-02-09 | 济南浪潮高新科技投资发展有限公司 | 一种云化小区外卖全自动配送的方案 |
CN112305576A (zh) * | 2020-10-31 | 2021-02-02 | 中环曼普科技(南京)有限公司 | 一种多传感器融合的slam算法及其系统 |
CN112596071B (zh) * | 2020-11-02 | 2024-09-20 | 中国兵器工业计算机应用技术研究所 | 无人机自主定位方法、装置及无人机 |
CN112596071A (zh) * | 2020-11-02 | 2021-04-02 | 中国兵器工业计算机应用技术研究所 | 无人机自主定位方法、装置及无人机 |
CN112346481A (zh) * | 2020-11-24 | 2021-02-09 | 广西电网有限责任公司电力科学研究院 | 一种无人机电力巡检作业的方法及系统 |
CN112542800A (zh) * | 2020-11-24 | 2021-03-23 | 广西电网有限责任公司电力科学研究院 | 一种输电线路故障识别的方法及其系统 |
CN112598010A (zh) * | 2020-11-26 | 2021-04-02 | 厦门大学 | 一种双目视觉的非结构化地形实时感知与重构方法 |
CN112614171B (zh) * | 2020-11-26 | 2023-12-19 | 厦门大学 | 面向工程机械集群作业的空-地一体化动态环境感知系统 |
CN112614171A (zh) * | 2020-11-26 | 2021-04-06 | 厦门大学 | 面向工程机械集群作业的空-地一体化动态环境感知系统 |
CN112598010B (zh) * | 2020-11-26 | 2023-08-01 | 厦门大学 | 一种双目视觉的非结构化地形实时感知与重构方法 |
CN112363540A (zh) * | 2020-12-05 | 2021-02-12 | 陕西厚凯智能科技有限公司 | 一种远程无人机操作系统 |
CN112887595A (zh) * | 2021-01-20 | 2021-06-01 | 厦门大学 | 一种针对动态多目标的相机即时自动规划方法 |
CN113029169A (zh) * | 2021-03-03 | 2021-06-25 | 宁夏大学 | 一种基于三维地图和自主导航的空地协作搜救系统及方法 |
CN112967283B (zh) * | 2021-04-22 | 2023-08-18 | 上海西井科技股份有限公司 | 基于双目摄像头的目标识别方法、系统、设备及存储介质 |
CN112967283A (zh) * | 2021-04-22 | 2021-06-15 | 上海西井信息科技有限公司 | 基于双目摄像头的目标识别方法、系统、设备及存储介质 |
CN113140006A (zh) * | 2021-04-30 | 2021-07-20 | 中德(珠海)人工智能研究院有限公司 | 一种自平衡机器人的控制方法、系统及存储介质 |
CN113140006B (zh) * | 2021-04-30 | 2023-01-20 | 中德(珠海)人工智能研究院有限公司 | 一种自平衡机器人的控制方法、系统及存储介质 |
CN113310493B (zh) * | 2021-05-28 | 2022-08-05 | 广东工业大学 | 一种基于事件触发机制的无人机实时导航方法 |
CN113310493A (zh) * | 2021-05-28 | 2021-08-27 | 广东工业大学 | 一种基于事件触发机制的无人机实时导航方法 |
CN113465728B (zh) * | 2021-06-25 | 2023-08-04 | 重庆工程职业技术学院 | 一种地形感知方法、系统、存储介质、计算机设备 |
CN113465728A (zh) * | 2021-06-25 | 2021-10-01 | 重庆工程职业技术学院 | 一种地形感知方法、系统、存储介质、计算机设备 |
CN113524140A (zh) * | 2021-07-29 | 2021-10-22 | 深圳市维创世纪信息技术有限公司 | 一种可避免物体松动坠落的搬运工业机器人及其搬运方法 |
WO2023030062A1 (zh) * | 2021-09-01 | 2023-03-09 | 中移(成都)信息通信科技有限公司 | 一种无人机的飞行控制方法、装置、设备、介质及程序 |
CN113741533A (zh) * | 2021-09-16 | 2021-12-03 | 中国电子科技集团公司第五十四研究所 | 一种基于模仿学习与强化学习的无人机智能决策系统 |
CN113566789A (zh) * | 2021-09-27 | 2021-10-29 | 深圳市大道智创科技有限公司 | 基于深度相机的室内斜坡检测方法、装置及可读介质 |
CN113933871A (zh) * | 2021-10-15 | 2022-01-14 | 贵州师范学院 | 基于无人机和北斗定位的洪水灾情检测系统 |
CN113885568A (zh) * | 2021-10-25 | 2022-01-04 | 中电鸿信信息科技有限公司 | 一种基于视景定位的拒止环境下无人机航迹规划方法 |
KR102657142B1 (ko) | 2021-11-11 | 2024-04-15 | 한국전력 국제원자력대학원대학교 산학협력단 | 드론의 장애물 충돌회피를 위한 2d 히스토그램 생성방법 |
KR20230068807A (ko) * | 2021-11-11 | 2023-05-18 | 한국전력 국제원자력대학원대학교 산학협력단 | 드론의 장애물 충돌회피를 위한 2d 히스토그램 생성방법 |
CN114543814A (zh) * | 2022-02-24 | 2022-05-27 | 北京化工大学 | 一种应用于三维环境中的机器人自主定位与导航的方法 |
CN114625141B (zh) * | 2022-03-16 | 2025-03-21 | 西安交通大学 | 基于时空概率道路树的轨迹生成与优化方法及系统 |
CN115033010A (zh) * | 2022-03-16 | 2022-09-09 | 东风越野车有限公司 | 一种旋翼无人机随机飞行模式控制方法及系统 |
CN114625141A (zh) * | 2022-03-16 | 2022-06-14 | 西安交通大学 | 基于时空概率道路树的轨迹生成与优化方法及系统 |
CN115202381A (zh) * | 2022-07-12 | 2022-10-18 | 杭州艺会智能科技有限公司 | 一种在垂直立面漫游作业的无人机系统及构建环境模型的方法 |
CN115115785A (zh) * | 2022-07-20 | 2022-09-27 | 东南大学 | 面向野外山林环境搜救的多机协同三维建模系统及方法 |
CN115661204B (zh) * | 2022-11-01 | 2023-11-10 | 中国人民解放军军事科学院国防科技创新研究院 | 一种无人机集群对运动目标的协同搜寻与跟踪定位方法 |
CN115661204A (zh) * | 2022-11-01 | 2023-01-31 | 中国人民解放军军事科学院国防科技创新研究院 | 一种无人机集群对运动目标的协同搜寻与跟踪定位方法 |
WO2024114209A1 (zh) * | 2022-12-01 | 2024-06-06 | 浙江大有实业有限公司杭州科技发展分公司 | 一种无rtk信号场景下全自动无人机巡检智能路径规划方法 |
CN115752480B (zh) * | 2022-12-09 | 2023-11-21 | 佛山市稚蒙环境科技有限公司 | 一种基于物联网的采样装置管理系统及方法 |
CN115752480A (zh) * | 2022-12-09 | 2023-03-07 | 佛山市稚蒙环境科技有限公司 | 一种基于物联网的采样装置管理系统及方法 |
CN117389311B (zh) * | 2023-12-13 | 2024-04-09 | 北京御航智能科技有限公司 | 无人机自主越障方法、装置、电子设备及存储介质 |
CN117389311A (zh) * | 2023-12-13 | 2024-01-12 | 北京御航智能科技有限公司 | 无人机自主越障方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107656545A (zh) | 一种面向无人机野外搜救的自主避障与导航方法 | |
US12079011B2 (en) | System and method for perceptive navigation of automated vehicles | |
Jung et al. | A direct visual servoing‐based framework for the 2016 IROS Autonomous Drone Racing Challenge | |
CN108475059B (zh) | 自主视觉导航 | |
Bacik et al. | Autonomous flying with quadrocopter using fuzzy control and ArUco markers | |
Heng et al. | Autonomous visual mapping and exploration with a micro aerial vehicle | |
Fraundorfer et al. | Vision-based autonomous mapping and exploration using a quadrotor MAV | |
Kong et al. | Autonomous landing of an UAV with a ground-based actuated infrared stereo vision system | |
CA2931632C (en) | Multi-sensor fusion for robust autonomous flight in indoor and outdoor environments with a rotorcraft micro-aerial vehicle (mav) | |
JP2015006874A (ja) | 3次元証拠グリッドを使用する自律着陸のためのシステムおよび方法 | |
Steiner et al. | A vision-aided inertial navigation system for agile high-speed flight in unmapped environments: Distribution statement a: Approved for public release, distribution unlimited | |
US20190066522A1 (en) | Controlling Landings of an Aerial Robotic Vehicle Using Three-Dimensional Terrain Maps Generated Using Visual-Inertial Odometry | |
Pfrunder et al. | A proof-of-concept demonstration of visual teach and repeat on a quadrocopter using an altitude sensor and a monocular camera | |
Al-Kaff et al. | Intelligent vehicle for search, rescue and transportation purposes | |
Teixeira et al. | Autonomous aerial inspection using visual-inertial robust localization and mapping | |
Warren et al. | Towards visual teach and repeat for GPS-denied flight of a fixed-wing UAV | |
Ellingson et al. | Relative visual-inertial odometry for fixed-wing aircraft in GPS-denied environments | |
Xia et al. | Integrated emergency self-landing method for autonomous uas in urban aerial mobility | |
Kamat et al. | A survey on autonomous navigation techniques | |
Dubey et al. | Droan—disparity-space representation for obstacle avoidance | |
Kendoul et al. | A visual navigation system for autonomous flight of micro air vehicles | |
Nakamura et al. | Estimation techniques in robust vision-based landing of aerial vehicles | |
Agarwal et al. | Monocular vision based navigation and localisation in indoor environments | |
Dubey et al. | Droan-disparity-space representation for obstacle avoidance: Enabling wire mapping & avoidance | |
CN109901589B (zh) | 移动机器人控制方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180202 |