CN104298248A - 旋翼无人机精确视觉定位定向方法 - Google Patents

Abstract

本发明公开了一种基于人工标志物的旋翼无人机精确视觉定位定向方法。包括如下步骤：在人工设施、天然物体表面安装具有特殊图案的标志物；标定摄像头；建立标志物实际尺寸、标志物与摄像头的相对距离以及摄像头成像中标志物尺寸的比例映射关系，设定无人机与标志物的保持距离；引导无人机飞至待悬停位置，调整无人机使标志物图案进入摄像头视野，开启视觉识别功能；视觉处理计算机通过视觉分析比对当前所摄图案的几何特征与基准图案的差异，然后发送给飞行控制计算机生成控制律以调整无人机消除位置、高度与航向的偏差，实现精确的定位定向悬停。该方法自主性强，稳定性好，可靠性高，有利于人工设施、天然物体附近的无人机安全作业。

Description

旋翼无人机精确视觉定位定向方法

技术领域

本发明属于无人机飞行控制与计算机视觉交叉融合的技术领域，特别是一种旋翼无人机精确视觉定位定向方法。

背景技术

近年来，旋翼无人机得到了快速的发展，具有飞行稳定、易操控、低噪声、安全危害性小等特点，在航空摄影、电力巡检、灾情考察、军事侦察等多个领域得到越来越广的应用。传统的旋翼无人机的导航定位主要采用IMU(惯性组件)和卫星(如GPS)组合方式，具有一定的局限性：卫星导航只能在户外使用，易受干扰产生漂移；IMU价格昂贵且存在温漂，难以实现长时间的精确定位。此外，旋翼无人机的航向感知主要依靠磁罗盘，一旦受到干扰将严重影响无人机的悬停及机动飞行的轨迹控制精度，导致严重事故。

利用机器视觉为旋翼无人机定位具有诸多好处。其中，采用人工标志物的方式进行相对位置的判定，具有定位精确、易实现、功耗低、价格便宜的优点。在一些结合特定建筑设施的应用场合下能够得到很好的效果，例如输电铁塔的绝缘子检测、从建筑外部对指定房间的监视、化工塔类设备指定部件的检查等。此技术通过摄像头获取标志物的图像，通过图像分析获得无人机与标志物的相对位置，从而辅助无人机定位定向，方便无人机对附近区域进行拍照等作业。

目前对于非GPS/IMU的无人机定位，现状如下：

2014年1月1日公开的中国专利申请CN201310444134.8“一种四旋翼无人机的超声波定位装置及方法”公开了一种四旋翼无人机的超声波定位装置及方法，通过为无人机安装一组多个超声波模块，利用超声波测距获得与障碍物间的距离，并利用多个模块同时测距，从而得到无人机的相对位置信息。该方法采用超声波传感器测距，超声波传感器测距范围有限、而且容易受到干扰，该定位装置及方法应用场景有限，存在一定不足。

2013年9月11日公开的中国专利申请CN201210437143.X“无人机点对点定位的方法与系统”公开了一种无人机点对点定位的方法与系统，使用位于无人机上的搜索定位仪接收发射仪发出的点对点定位信号，通过确定搜索定位仪与发射仪的角度与距离，从而实现无人机的精确定位。该方法需要为无人机加装接收仪，同时需要在确定地点安装发射仪发射无线电波。如果需要精确定位，发射仪将需要多台，实际使用不很方便。

2013年3月13日公开的中国申请CN201210418160.9“基于大小回字标志物的多旋翼无人机位姿获取方法”公开了一种基于大小回字标志物的多旋翼无人机位姿获取方法，通过识别一个指定的印有回字的标识牌，用一系列的运算获得无人机当前的位姿信息。该方法中，回字标志不具有方向特征，难以实现无人机的航向获取与定向控制。

论文《基于单目视觉的摄像头定位方法的研究》(沈慧杰，吉林大学硕士学位论文)研究了两种摄像头定位方法。其中一种是基于几何关系的单目视觉定位。该方法利用单目视觉的测距模型，同时建立摄像头与场景内已知特征点之间的几何关系，通过一系列三角计算，即可得出摄像头在二维坐标平面内的位置。该方法主要用于二维坐标平面的摄像头位置获取，没有相对距离的维度计算，且并不能直接用于无人机的位置锁定。

以上文献中对于无人机定位定向的研究，存在一定不足之处：它们有的不能同时获得无人机的三维位置及航向信息，有的因为受到环境干扰等原因，测量精度不高或实现难度大，难以应用到无人机悬停时的精确定位与定向。同时也可以看到，利用计算机视觉进行无人机等运动体的精确定位与定向，有着广阔的应用前景。

发明内容

本发明要解决的问题是，提供一种操作简单的旋翼无人机精确视觉定位与定向方法。该方法可保证无人机在悬停时不易受环境干扰，测量精度高，能同时获得无人机的三维位置及航向信息，实现无人机的精确定位定向悬停。

本发明涉及的装置包括：摄像头、视觉处理计算机以及标志物。标志物安装在特定的人工设施、天然物体的外表面上，用作视觉定位定向的参照；摄像头与视觉处理计算机安装在旋翼无人机上。摄像头与视觉处理计算机通过专用接口连接，确保摄像头捕获的视频信息能快速稳定地输入视觉处理计算机。视觉处理计算机对获取的视频信息进行计算与分析，得到旋翼无人机相对标志物的当前位置、姿态及方向信息，并将其发送给飞行控制计算机(简称飞控计算机)以控制无人机完成相对标志物的定位与定向飞行操作。

本发明公开的一种旋翼无人机精确视觉定位定向方法，具体步骤如下：

1)安装标志物；无人机机载摄像头标定；给定无人机与标志物的初始相对距离；通过摄像头标定，建立标志物实际尺寸、标志物与摄像头的相对距离以及摄像头成像中标志物的尺寸的比例映射关系。实际飞行过程中，通过判断机载摄像头成像中标志物的像素尺寸即可计算获得无人机与标志物的相对距离。

2)引导无人机到达期望悬停点；

3)无人机悬停状态下精确定位定向的实时修正。

作为上述技术方案的进一步改进，所述步骤1)的标志物水平或竖直安装；标志物上具有图案，图案可以是矩形、等腰三角形以及轴对称的多边形。若标志物水平安装，标志物上的图案具有明确的方向特征，比如箭头、突起、内凹等；若标志物竖直安装，标志物上的图案的对称轴则保持铅垂方向。

作为上述技术方案的另一种改进，当所述标志物水平安装时，所述步骤1)的摄像头镜头竖直向下；当所述标志物竖直安装时，所述步骤1)的摄像头镜头水平向前。

作为上述技术方案的另一种改进，所述步骤2)引导无人机到达期望悬停点的过程如下：操控无人机飞向标志物，待标志物完全进入机载摄像头视场，开启视觉识别功能；视觉计算机识别出标志物后，根据标志物中心与图像中心之间的水平偏差、垂直偏差以及标志物在图像中的旋转、变形调整无人机姿态，使得标志物中心与图像中心重合且不存在旋转变形；同时，通过标志物像素尺寸计算无人机与标志物的相对距离，调整无人机姿态，消除无人机与标志物实际的相对距离与初始给定的相对距离的偏差，此时无人机到达期望悬停点。

作为上述技术方案的另一种改进，步骤3)无人机悬停时定位定向的时时矫正的过程如下：无人机悬停过程中，视觉计算机实时识别摄像头视场中的标志物，根据标志物在图像中的水平偏差、垂直偏差、像素尺寸以及旋转变形，生成控制指令发送给飞行控制计算机，调整无人机姿态，及时消除无人机位置、高度以及航向的漂移，实现无人机精确的定位定向悬停。

作为上述技术方案的另一种改进，若标志物水平安装，步骤2)和步骤3)中消除距离偏差和航向偏差的过程为：通过视觉处理计算机和飞控计算机执行以下操作：

a1)根据摄像头视野中标志物的边长信息计算出无人机相对标志物的距离与预定值的偏差，即高度的偏差，并通过升降的方式消除；

b1)比较视野中标志物的质心与视野中心是否重合，得到水平位置的偏差，并调整无人机平移消除水平位置的偏差；

c1)调整无人机航向，使航向角与基准航向角相同，锁定航向；

由于标志物水平安装且无人机悬停时摄像头方向竖直向下，故因视角不正而产生的图案畸变忽略。

若标志物竖直安装，步骤2)和步骤3)中消除距离偏差和航向偏差的过程为：视觉处理计算机和飞控计算机依次执行以下操作：

a2)根据摄像头视野中标志物的边长信息计算出无人机相对标志物的距离与预定值的偏差，并通过飞控系统自动调整无人机前后平移消除该误差；

b2)根据视野中标志物的质心与视野中心是否重合，得到横向位置、高度与基准值的偏差，并飞控系统自动调整无人机平移或升降消除；

c2)识别标志物左右两侧边的长度，如果两侧边长度不等，则偏转无人机航向使之逐渐相同；

执行步骤c2)的过程中，如果标志物质心与视野中心偏离距离超过一定值，则暂停执行步骤c2)，通过再次执行步骤b2)消除横向位置的偏差后再继续执行c2)，如此直到消除航向偏差和位置偏差；

上述步骤a1)、b1)和c1)无先后顺序，步骤a2)、b2)和c2)也无先后顺序。

作为上述技术方案的另一种改进，所述标志物安装在人工设施、天然物体等外侧，满足一下要求：标志物不易弯折变形，表面不易产生镜面反射；标志物的图案鲜明，与周围环境对比明显；如果标志物水平安装，则标志物图案至少有一个能区别于其它点的角点作为特征点，作为图案的方向特征。

作为上述技术方案的另一种改进，若所述标志物水平安装，无人机基准航向为从标志物质心到特征角点的方向。标志物水平安装的情况下，步骤2)和步骤3)中无人机基准航向为从标志物质心到特征角点的方向。

有益效果：

本发明的旋翼无人机精确视觉定位定向方法，在无人机执行飞行任务时，能够为无人机提供与人工设施及天然物体等相关的良好的相对位置数据，辅助无人机实现精确的定点定航向的悬停，从而有效防止无人机发生碰撞。该方法的实现灵活方便，计算简单，可保证无人机长时间稳定悬停，自主性强、稳定性好，方便无人机在诸如高层建筑、输电杆塔、平地、天然峭壁等各种人工设施、天然物体附近悬停完成相应作业而不受位置与航向漂移的干扰。此外，当标志物安装在移动物体表面时，还能实现无人机跟随移动物体飞行。

附图说明

图1旋翼无人机精确视觉定位定向方法涉及的装置连接示意图；

图2标志物图案示例1；

图3标志物图案示例2；

图4利用旋翼无人机精确视觉定位定向装置与方法进行输电杆塔的标志牌与绝缘子巡检的示意图；

图5利用水平安装的标志物定位定向示意图；

图6利用相似三角形计算无人机与标志物的距离示意图；

图7标志物水平安装下无人机悬停存在水平位置偏差的示意图；

图8标志物水平安装下无人机悬停存在航向偏差的示意图；

图9利用竖直安装的标志物定位定向示意图；

图10标志物竖直安装下无人机悬停存在航向偏差的示意图；

图11利用旋翼无人机精确视觉定位定向方法进行楼宇反恐的示意图。

具体实施方式

下面结合附图，对本发明提出的旋翼无人机精确视觉定位定向方法进行详细说明。

本发明实施例一：

以旋翼无人机精确视觉定位定向方法应用到小型多旋翼无人机电力巡检当中为例，工作过程如下：

巡检用的小型多旋翼无人机包括飞行控制计算机、视觉处理计算机、定位定向摄像头、机架、桨叶、电机及电调、遥控器接收机、电池、巡检用微单相机及配套的云台、图传等部分。地面部分包括：图传接收机、地面站、飞行控制遥控器、相机控制及云台控制遥控器。如图1所示，无人机装上摄像头以及视觉处理计算机，视觉处理计算机与飞行控制计算机通过稳定的总线连接。摄像头镜头竖直朝下。

选定标志物。由于本场合下标志物需水平安装，则图案需具有明确的方向特征，比如箭头、突起、内凹等。图2和图3为两种可用于水平安装的标志物的示例，分别是在矩形一边上增加一个向外突出的锐角三角形和在矩形一边上内凹锐角三角形。本实施例中，如图4所示，在杆塔标志牌附近的平地上安装紫色标志物，紫色标志物的图案形状为矩形，并在一边上增加一个锐角三角形，设定该三角形突出的锐角角点作为方向特征点，也可以选用其他带有箭头、突起、内凹等的标志物。

标定摄像头。建立标志物实际尺寸、标志物与摄像头的相对距离以及摄像头成像中标志物的尺寸的比例映射关系。通过地面站设定无人机与标志物需保持的安全距离。安全距离即在出现气流干扰时可以保证无人机不与周围环境发生碰撞，同时无人机的电子系统不会因输电线路电磁干扰导致发生故障的距离，它由操控人员根据经验，依现场情况设定。

安装好标志物后，开始执行巡检操作。操纵无人机飞行至平地上紫色标志物的上方，保证标志物图案进入摄像头视野。图5为利用水平安装的标志物定位定向时，一种可能拍到的摄像头视野中的标志物图案。此时，启动视觉识别功能，使图案质心与视野中心重合，同时无人机与标志物保持设定的距离，到达期望悬停点并保持精确的定位定向悬停状态，即可用相机拍摄杆塔标志牌。视觉识别功能开启后，视觉处理计算机和飞控计算机的具体处理过程如下：视觉处理计算机会对图像信息作分析，若外界干扰导致无人机偏离初始的悬停位置和/或方向，按照如下步骤输出指令给飞控计算机，调整无人机恢复至初始的悬停位置和/或方向：

a1)根据摄像头视野中标志物的边长信息以及摄像头标定的信息，利用相似三角形法则计算出无人机当前高度。如图6利用相似三角形计算无人机与标志物的距离示意图，f是通过摄像机标定测得的相机焦距，Lx、Ly为标志物的实际长与宽，Lx’、Ly’为标志物在摄像机视野中的长与宽，D为摄像机与标志物的距离。当无人机已实现稳定悬停后，计算标志物实际的边长与视野中标志物边长的比值，结合摄像头的焦距，利用相似三角形原理算得无人机相对标志物的距离。当标志物为水平安装时，这个距离即无人机相对标志物的高度；当标志物为竖直安装时，标志物的高度即无人机的当前高度。计算公式如下：

$D=f\×\frac{\mathrm{Lx}+\mathrm{Ly}}{{\mathrm{Lx}}^{\′}+L{y}^{\′}}$

获得当前高度后，通过升降的方式消除与设定高度的偏差；

b1)如图7所示，，当标志物图案的质心M与摄像头视野中心O不重合时，表明无人机当前位置与基准位置存在偏差。无人机平移让M与O重合，消除水平位置偏差；

c1)如图8所示，当从M到图案特征角点的有向线段所标示的方向与视野正上方(即Y轴)形成的夹角K不为0°时，表明无人机偏航角存在偏差。无人机执行偏航操作，让K为0°。

如此即可实现无人机的位置与航向的锁定，此时，操纵人员可以操控无人机巡检用微单相机及其云台，对输电线路执行巡检任务。

本发明实施例二：

以旋翼无人机精确视觉定位定向方法应用到小型多旋翼无人机的输电铁塔绝缘子检测当中为例，工作过程如下：

输电铁塔的绝缘子检测是电力巡检的一个重要部分。高压输电铁塔通常搭载两回三相线缆，绝缘子位于每根线缆靠近铁塔的位置。采用本发明的方法，可帮助无人机安全快捷并且较自主地对同一铁塔上的多相绝缘子进行检测。

小型多旋翼无人机的组成以及旋翼无人机精确视觉定位定向方法涉及的装置与实施例一基本相同。唯一不同的是视觉处理用的摄像头镜头为水平向前安装。

选定标志物。如图4所示，利用旋翼无人机精确视觉定位定向装置与方法进行输电杆塔的巡检与绝缘子检测，在A、B、C相绝缘子附近铁塔上分别安装图案色为红、绿、蓝色的矩形标志物。

标定摄像头。建立标志物实际尺寸、标志物与摄像头的相对距离以及摄像头成像中标志物的尺寸的比例映射关系。通过地面站设定无人机与标志物需保持的安全距离。

安装好标志物后，开始执行巡检操作。操纵无人机飞至A相绝缘子附近合适的航拍位置，使红色图案的标志物进入摄像头的视野后，启动视觉识别功能。当无人机视野中图案的质心与视野中心重合时，无人机到达期望悬停点并进入自主悬停状态。图9为利用竖直安装的标志物定位定向时，一种可能拍到的摄像头视野中的标志物图案。视觉识别功能开启后，视觉处理计算机和飞控计算机的具体处理过程如下：视觉处理计算机会对图像信息作分析，若外界干扰导致无人机偏离初始的悬停位置和/或方向，按照如下步骤输出指令给飞控计算机，调整无人机恢复至初始的悬停位置和/或方向：

a2)根据摄像头视野中标志物的边长信息与摄像头标定的信息，利用相似三角形法则计算出无人机与标志物的距离，并通过进退的方式消除与设定距离的偏差；

b2)当摄像头视野中的标志物图案质心M与视野中心O不重合时，表明无人机当前在高度以及相对标志物的横向位置上存在偏差。这时调整无人机升降与横向平移，使M点与O点重合；

c2)如图10标志物竖直安装下无人机悬停存在航向偏差的示意图，捕获摄像机视野中两侧边的长度L1、L2，当两者不相等时，则表明无人机并未正对着标志物平面，存在航向偏差。故调整无人机偏航，向使两者相等，如果这一过程中M与O的距离超过一定值，则先按步骤b2)平移消除M、O间的位置差再执行航向偏转。

如此不断循环各个步骤，即可实现无人机的位置与航向的不断矫正与锁定，此时，操纵人员可以操纵相机对目标A相绝缘子进行拍摄。

拍摄完A相绝缘子相后，操纵无人机飞至B相附近合适的航拍位置，调整无人机使绿色图案在视野中的位置符合要求，锁定位置开始B相绝缘子的拍摄，整个过程同A相绝缘子。然后再同样地完成C相绝缘子的拍摄。拍摄完成后，无人机返航。

本发明实施例三：

以旋翼无人机精确视觉定位定向装置与方法应用到小型多旋翼无人机的楼宇反恐为例。所用小型多旋翼无人机的组成包括：飞行控制计算机、视觉处理计算机、定位定向摄像头、机架、桨叶、电机及电调、遥控器接收机、电池、监控用摄像头、图传等部分。地面部分包括：图传接收机、地面站、飞行控制遥控器、监控用摄像头及云台控制的遥控器。

当某高楼的靠窗房间发生人质劫持事件时，对该窗户进行实时监控将非常关键。这时，采用旋翼无人机定点悬停，实时航拍的方案相比在附近楼宇或地面架设摄像头拍摄，成像往往更清晰，并且定点方便灵活。通过旋翼无人机精确视觉定位定向装置与方法，可以保证无人机在指定区域自主定位定点悬停，减少人工悬停的工作量，悬停更稳定，同时能避免因为操纵不当导致无人机与楼宇发生碰撞的情况。如图11所示，利用旋翼无人机精确视觉定位定向装置与方法进行楼宇反恐监控，其工作过程如下：

标定摄像头。标志物定为矩形。建立标志物实际尺寸、标志物与摄像头的相对距离以及摄像头成像中标志物的尺寸的比例映射关系。通过地面站给定无人机与标志物需保持的距离。

安装标志物。可由反恐人员进入楼中相邻的安全的房间，安装在窗户外墙上，或者从楼顶抛下条幅(底端悬挂足够的重物)等方式安装。

安装完成后，由操控人员操纵无人机飞至目标位置，调整无人机使标志物完全进入摄像头视野后，启动视觉识别功能，使无人机精确到达期望悬停点。

无人机精确到达期望悬停点后，开始精确定位定向悬停。无人机会根据摄像头中标志物的质心位置、边长信息控制无人机保持定位定向悬停。此时，调整航拍摄像头焦距及摄像头云台，使监控效果最佳，开始监控。

Claims (8)

1.一种旋翼无人机精确视觉定位定向方法，其特征在于：包括以下步骤：

1)安装标志物；无人机机载摄像头标定；初始给定无人机与标志物的相对距离；

2)引导无人机到达期望悬停点；

3)无人机悬停状态下精确定位定向的实时修正。

2.根据权利要求1所述的旋翼无人机精确视觉定位定向方法，其特征在于：所述步骤1)的标志物水平或竖直安装；标志物上具有图案，若标志物水平安装，标志物上的图案具有明确的方向特征；若标志物竖直安装，标志物上的图案的对称轴则保持铅垂方向。

3.根据权利要求2所述的旋翼无人机精确视觉定位定向方法，其特征在于：当所述标志物水平安装时，所述步骤1)的摄像头镜头竖直向下；当所述标志物竖直安装时，所述步骤1)的摄像头镜头水平向前。

4.根据权利要求1所述的旋翼无人机精确视觉定位定向方法，其特征在于：所述步骤2)引导无人机到达期望悬停点的过程如下：操控无人机飞向标志物，待标志物完全进入机载摄像头视场，开启视觉识别功能；视觉计算机识别出标志物后，调整无人机姿态，使得标志物中心与图像中心重合且不存在旋转变形；同时，计算无人机与标志物的相对距离，调整无人机姿态，消除无人机与标志物实际的相对距离与初始给定的相对距离的偏差，此时无人机到达期望悬停点。

5.根据权利要求1所述的旋翼无人机精确视觉定位定向方法，其特征在于：步骤3)无人机悬停时定位定向的时时矫正的过程如下：无人机悬停过程中，视觉计算机实时识别摄像头视场中的标志物，调整无人机姿态，消除无人机位置、距离以及航向的漂移，实现无人机精确的定位定向悬停。

6.根据权利要求2所述的旋翼无人机精确视觉定位定向方法，其特征在于：若标志物水平安装，步骤2)和步骤3)中消除距离偏差和航向偏差的过程为：通过视觉处理计算机和飞控计算机执行以下操作：

a1)根据摄像头视野中标志物的边长信息计算出无人机相对标志物的距离与预定值的偏差，即高度的偏差，并通过升降的方式消除；

b1)比较视野中标志物的质心与视野中心是否重合，得到水平位置的偏差，并调整无人机平移消除水平位置的偏差；

c1)调整无人机航向，使航向角与基准航向角相同，锁定航向；

若标志物竖直安装，步骤2)和步骤3)中消除距离偏差和航向偏差的过程为：视觉处理计算机和飞控计算机依次执行以下操作：

a2)根据摄像头视野中标志物的边长信息计算出无人机相对标志物的距离与预定值的偏差，并通过飞控系统自动调整无人机前后平移消除该误差；

b2)根据视野中标志物的质心与视野中心是否重合，得到横向位置、高度与基准值的偏差，并飞控系统自动调整无人机平移或升降消除；

c2)识别标志物左右两侧边的长度，如果两侧边长度不等，则偏转无人机航向使之逐渐相同；

执行步骤c2)的过程中，如果标志物质心与视野中心偏离距离超过一定值，则暂停执行步骤c2)，通过再次执行步骤b2)消除横向位置的偏差后再继续执行c2)，如此直到消除航向偏差和位置偏差；

上述步骤a1)、b1)和c1)无先后顺序，步骤a2)、b2)和c2)也无先后顺序。

7.根据权利要求2所述的旋翼无人机精确视觉定位定向方法，其特征在于：所述标志物安装在人工设施、天然物体等外侧，满足一下要求：标志物不易弯折变形，表面不易产生镜面反射；标志物的图案鲜明，与周围环境对比明显；如果标志物水平安装，则标志物图案至少有一个能区别于其它点的角点作为特征点，作为图案的方向特征。

8.根据权利要求1或2所述的旋翼无人机精确视觉定位定向方法，其特征在于：若所述标志物水平安装，无人机基准航向为从标志物质心到特征角点的方向。