CN112987765B - 一种仿猛禽注意力分配的无人机/艇精准自主起降方法 - Google Patents

Abstract

本发明公开一种仿猛禽注意力分配的无人机/艇精准自主起降方法，包括：步骤一：自主起降区域合作目标设计；步骤二：获取图像的布尔特征图步骤三：仿猛禽注意力分配机制建模；步骤四：基于仿猛禽注意力分配机制的无人艇合作目标识别；步骤五：无人机自主降落到无人艇上的策略选择；步骤六：无人机/艇起降时的相对位姿估计；及判断是否降落成功。本发明方法提高了合作目标区域及标识点的检测效率及准确性；系统框架以及流程合理、高效，能够满足无人机在无人艇上自主起降的任务要求；提高了视觉导航的稳定性和抗干扰能力。

Description

一种仿猛禽注意力分配的无人机/艇精准自主起降方法

技术领域

本发明是一种基于生物视觉的无人机/艇精准自主起降研究方法，尤其是一种仿猛禽注意力分配的无人机/艇精准自主起降方法，属于无人机自主导航与控制领域。

背景技术

随着经济发展及未来战争的需要，海上活动逐渐呈现出高密度、多元化、立体化的发展趋势。智能化产品及装备在人工智能及自动化技术发展的浪潮中应运而生，更多任务繁杂、危险系数高的工作逐渐被智能化平台所取代。在未来在多元化的海空环境下，无人机/艇协同作业将成为海上战争、海洋捕捞、生物保护、环境监测、基础地理空间信息采集等任务的一把利刃。

无人机(Unmanned Aerial Vehicle,UAV)是一种配置灵活、战场生存能力强的作业工具，因其速度快、小巧灵活、隐蔽性好、感知能力强、视野范围广等优势，在海陆空各个领域被广泛应用。但是无人机受续航时间短的约束，使得无人机只能在特定的时间内完成指定任务。无人艇(Unmanned Surface Vehicles,USV)具有体积小、速度高、成本低及续航能力强等优点。然而，无人艇存在搜索范围小、通信距离近的问题。如果可以将无人机与无人艇各自的优势结合起来，不仅能够扩大搜索范围，还可以延长续航时间，大大提升复杂任务的执行能力。无人机/艇精准自主起降技术是保障无人机在无人艇上精准停靠和能源补给的基本保障，也是无人机/艇在最短时间能能够获得最大效益的前提基础。

面对复杂多变的海面环境，无人机/艇自主起降更易受到海浪、海风等因素的影响，大大增加了无人机/无人艇的自主起降的难度。传统的导航方式主要包括全球定位系统(Global Positioning System,GPS)导航、惯性导航、组合导航等。GPS导航是常用的导航方式，具有全球全天候定位、观测时间短等优点，但GPS所使用的卫星受到美国军方的控制。惯性导航完全依赖载体上的设备完成自主导航任务，具有隐蔽性好和不受外界条件限制的优势，但加速度及精度和误差积累较严重。超声波定位导航具有成本低廉、精度高的优点，但容易受天气、周围环境及障碍物阴影、表面粗糙等外界环境的影响。组合导航系统将多种导航系统的信息相结合，导航精度比单一的导航系统精度高，但若不能及时正确判断并隔离出现故障的系统，会影响到其他导航系统的导航性能。所以，传统的导航方式由于受外界电磁信号的干扰及传感器自身的误差积累，难以满足海上无人机/艇精准自主起降的要求。视觉导航采用被动工作方式，其设备简单、不依靠外接设备，应用范围较广。仿生视觉导航是计算机视觉领域中一个新的重要分支，具有对天气要求较低、不借助传感器及卫星系统等外部设备、隐蔽性强及抗干扰能力强等优势，具有较大的发展潜力。仿生视觉技术的发展为无人机/艇精准自主起降的视觉系统设计提供了新的思路。

猛禽具有“天空之王”的美誉，擅长在高空寻找地面猎物，且以视野宽、探测距离远、目光敏锐、识别精度高著称。以鹰为代表的猛禽视力通常是人类的6-8倍，猛禽空中看物，能迅速从复杂动态环境中锁定猎物，并根据自身与猎物的距离调整自身视觉模式。猛禽能够通过注意力分配机制对复杂的视野场景迅速做出精确的分析，将感兴趣区域定位在高敏感度的视网膜中央凹处，确保视觉系统能够聚焦到感兴趣的猎物区域。猛禽视觉通路中神经元的尖峰序列代表视网膜图像中刺激的发生，当多个视觉刺激出现在不同的位置，神经群体之间出现竞争，只有获胜的神经群体才能传播到高级的视觉中心进行更进一步的处理。对于猛禽视网膜来说，相比周边大量的环境信息，猎物在其视网膜形成的刺激具有更强的竞争性，即猛禽将更多的注意力分配给了猎物。结合无人机/艇在精准自主起降过程因受到无人艇甲板高频运动、起降区域狭小、起降时间短暂、起降环境动态扰动大等问题而造成的无人艇起降合作目标处于多干扰、高动态、难识别的特点，将猛禽注意力分配机制应用于无人机/艇精准自主起降过程中。

综上所述，本发明提出了一种仿猛禽注意力分配的无人机/艇精准自主起降方法，以解决在起降区域小、干扰多等复杂海面环境下的无人机/艇精准自主起降问题，为引导无人机在无人艇上精准自主降落与起飞提供了可能，有效提高海面无人机/艇在任务执行过程中的合作能力。

发明内容

本发明提出了一种仿猛禽注意力分配的无人机/艇精准自主起降方法，其目的是提供一种高效、精准的复杂海面干扰环境中的无人机/艇自主起降方法，从而打破无人机在执行海上任务的航程限制，同时弥补无人艇视野范围小的缺陷，有效拓展了无人机/艇合作平台的视角范围和续航能力，使得无人机/艇可以在更复杂的环境中完成更综合的任务，使得海上作业效能的最大化。

本发明针对复杂海面环境下无人机在无人艇上的自主起飞与降落问题，提供了一种仿猛禽注意力分配的无人机/艇精准自主起降方法，该方法的流程框架如图1所示，该方法具体步骤如下：

步骤一：自主起降区域合作目标设计

无人机/艇精准自主起降合作目标设计如图2所示，将所述的自主起降合作目标固定在无人艇的甲板上并在该起降区域四周安装防护网，避免无人机在起降过程中与无人艇艇体发生碰撞或坠入海中。由于海面背景多以蓝色为主，选取与蓝色相别较大的颜色如红色填充整个自主起降合作目标，整个红色填充区域作为无人机自主起降的第一层合作目标。第一层合作目标区域即以O为圆心，半径为R_I的圆，即I区。以O为圆心，以R_II为半径划分II区，其中

以水平向右为正方向，以0°(即A₁点)为起点，在I区与II区的交界处(即虚线圆上)均匀分布8个蓝色圆形标识点(即A₁～A₈，其中A₁与A₂之间的夹角为α)，这8个点作为无人机自主起降的第二层合作目标。同理，以O为圆心，以R_III为半径划分III区，其中

以水平向右为正方向，以B₁点为起点(与水平方向夹角为β，其中10°＜β＜35°)，II区和III区的交界处(即虚线圆上)也均匀分布8个蓝色圆形标识点(即B₁～B₈)，这8个点作为无人机自主起降的第三层合作目标。

步骤二：获取图像的布尔特征图

布尔图可以用来描述视觉场景中不同维度的特征，且能体现推向在不同维度上的变化信息。在无人机上安装下视相机，作为无人机视觉系统的输入设备，相机用于实时采集设置有自主起降合作目标的无人艇的图像，根据图像的颜色阈值、亮度阈值及梯度阈值变化，分别获取图像的布尔颜色图集合I_color、布尔亮度图集合I_value及布尔梯度图集合I_grad。

其中，I_ci,i＝1,2,…n1为不同颜色阈值下的颜色布尔特征图，颜色阈值为[0,255]上的均匀分布，图像可获得n1个布尔颜色特征图。I_vi,i＝1,2,…n2为不同亮度阈值下的亮度布尔特征图，亮度阈值为[0,255]上的均匀分布，图像可获得n2个布尔亮度特征图。I_gi,i＝1,2,…n3为不同梯度阈值下的梯度布尔特征图，梯度阈值为[0,255]上的均匀分布，图像可获得n3个布尔梯度特征图。

步骤三：仿猛禽注意力分配机制建模

顶盖-峡核竞争网络是猛禽脑中重要的动态竞争网络，该动态竞争网络主要考虑视顶盖第10层神经元(L10)、峡核小细胞部(Ipc)和峡核大细胞部(Imc)。视顶盖第10层神经元L10将信号投射到峡核大细胞部Imc(正向刺激作用)和峡核小细胞部分Ipc(正向刺激作用)；峡核大细胞部Imc将一部分信号投射到峡核小细胞部Ipc(正向刺激作用)，另一部分信号反投射到视顶盖L10(反向抑制作用)；峡核小细胞部Ipc将信号反投射到视顶盖L10(反向抑制作用)。顶盖-峡核竞争网络中的神经元i和神经元j间的解剖学特征可用权重矩阵ω_ij的形式进行描述，投射的突触传导(L10→Ipc，L10→Imc，Ipc→L10)的权重采用高斯分布进行描述。L10→Ipc，L10→Imc，Ipc→L10的正向投射关系标准服从高斯分布，它们的权重可描述为

其中，i→j可分别代表L10→Ipc、L10→Imc和Ipc→L10。ΔL_10→Ipc，ΔL_10→Imc，ΔI_pc→L10分别为高斯函数分布的宽度。

Imc→L10的反向投射权重表示为

其中，ΔI_mc→L10为高斯函数分布的宽度，D为高斯函数的下陷深度，下陷附近i＝j。当D＝1时，Imc神经元j到L10神经元i在同一位置没有反馈，即i＝j。

Imc→L10的反向投射服从均匀分布，即

ω_ij＝1 (4)

对于前向抑制强度的增加，全局Imc→Ipc投射并不能促进竞争互动作用，而只是调节Ipc神经元的活性水平。然而，随着周期性的反拓扑Imc→L10反馈投射强度的增加，刺激竞争开始出现。新位置的Imc神经元活动在L10目标神经元中产生足够的抑制电流，抑制电流和适应电流之和可以克服兴奋电流。L10目标神经元停止放电，Ipc神经元的刺激竞争分数+1。刺激竞争分数定义为

其中，r_i和r_j分别为i，j神经元刺激中心周围的N个神经元的平均峰值速率。

步骤四：基于仿猛禽注意力分配机制的无人艇合作目标识别

将步骤三中的注意力分配机制应用于步骤二中，当无人机距离无人艇较远时，无人机视觉系统可将更多的注意力分配给海面上的无人艇；当无人机到达降落区且无人艇在无人机的视觉系统中只能部分成像时，无人机视觉系统将更多的注意力分配给无人艇上的自主起降合作目标，具体框图如图3所示。

将步骤二中获得的n1个布尔颜色特征图、n2个布尔亮度特征图及n3个布尔梯度特征图根据步骤三中的仿猛禽注意力分配机制中的刺激竞争分数公式(5)进行竞争打分，按照得分情况对各特征维度的布尔特征图进行分别排序，得分前M(其中，2≤M≤7)的布尔特征获胜并进行进一步处理。所述的进一步处理是：将获得的M个布尔颜色特征图、M个布尔亮度特征图和M个布尔梯度特征图采用格式塔原则进行特征融合，经线性化处理后得到最终的无人艇或合作目标注意力分配图。

步骤五：无人机自主降落到无人艇上的策略选择

当无人机到达降落区域且能够识别到整个合作目标的红色区域但识别不到蓝色标识点时，无人机通过识别第一层合作目标的引导靠近无人艇。随着无人机逐渐靠近无人艇，无人机通过识别第二层合作目标实现无人机与无人艇间的相对位姿估计。当第二层合作目标识别的数量不足以进行无人机与无人艇间位姿估计时，切换为第三层合作目标，继续引导无人机降落，如图4所示，无人机从发现无人艇到降落到无人艇上的整个过程可分为以下五个阶段：

(1)无人机捕捉到无人艇，但是无法识别合作目标，如H1区域；

(2)无人机只能捕捉到第一层合作目标，但无法获得起降区域上的标识点，如H2区域；

(3)无人机能够捕捉到第二层合作目标，但无法获得第三层合作目标，该阶段包含只能识别部分第二层合作目标标识点的情况，详见步骤六，如H3区域；

(4)无人机同时捕捉到第二层合作目标和第三层合作目标，该部分包括只识别到部分合作目标标识点的情况，详见步骤六，如H4区域；

(5)无人机只能捕捉到第三层合作目标，该阶段包含只能识别部分第三层合作目标标识点的情况，详见步骤六，如H5区域。

步骤六：无人机/艇起降时的相对位姿估计

针对步骤五中的阶段(1)，采用GPS导航方式引导无人机靠近无人艇，使其到达可识别无人艇合作目标的区域，同时，融合仿猛禽注意力分配机制使得无人艇始终处于机载相机的视野中央。针对步骤五中的阶段(2)，对注意力分配到的第一层合作目标的红色区域进行椭圆拟合，取椭圆的长、短轴顶点作为匹配点，进行位姿估计。针对步骤五中的阶段(3)，在仿猛禽注意力分配得到的第一层合作目标(即红色区域)内，通过颜色信息检测蓝色标识点，这样不仅可以避免同为蓝色信息海浪的干扰，又可减少计算量。将所检测到的蓝色标识点进行椭圆拟合，取椭圆的长、短轴顶点作为匹配点进行位姿估计。针对步骤五中的阶段(4)，第二层和第三层合作目标同时被检测到时，利用凸包变换方法筛选出最外圈的第二层合作目标。将筛选出的标识点进行椭圆拟合，取椭圆的长、短轴顶点作为匹配点进行位姿估计。随着无人机距离无人艇的垂直距离不断减少，能够采集到的标识点的数量越来越少，步骤五中的阶段(5)的使用方法与阶段(3)相同。

在无遮挡等其他特殊情况下，上述五个阶段均可获得n个匹配特征点，采用RPnP(ARobust Solution to the Perspective-n-Point Problem)算法进行无人机/艇间的精确位姿测量，得到相机坐标系下的无人艇合作目标的位置，分别经过相机坐标系、机体坐标系、地面惯性系的坐标转换，获得无人机与无人艇在地面坐标系下的相对位置关系Δx,Δy,Δh。所述的RPnP算法的具体方法为：在合作目标坐标系下，选取两点距离最长的连线为旋转轴Z_a轴，连线的中点为原点，建立坐标系O_aX_aY_aZ_a。用所述合作目标坐标系中所选取的两点在相机坐标系下的对应的坐标连线设为Z_c轴，确定相机坐标系O_cX_cY_cZ_c。O_aX_aY_aZ_a与O_cX_cY_cZ_c两坐标系间的旋转矩阵R可以表示为

其中，H为任意正交旋转矩阵，H的第三列[h₇ h₈ h₉]^T为Z_c，Z_c,α表示绕轴旋转角度α。

由相机成像原理可知，特征点由三维转化为二维归一化平面的投影可表示为

其中，(u_i,v_i)为特征点的像素坐标，(X_i,Y_i,Z_i)为特征点在O_aX_aY_aZ_a坐标系下的坐标，t＝[t_x t_y t_z]^T为O_aX_aY_aZ_a坐标系与O_cX_cY_cZ_c坐标系间的平移向量。n个特征点可以构造2n×6个方程组，采用奇异值分解的方法可以求解参数[cosα sinα t_x t_y t_z 1]^T，从而获得两坐标系之间的旋转矩阵R和平移矩阵t。

步骤七：标识点部分遮挡的预测处理

无人机在降落到无人艇的过程中，由于无人机和无人艇自身姿态的变化或海浪覆盖部分艇体，会出现标识点遮挡的情况。合作目标标识点的遮挡会造成无人机与无人艇间的位姿估计结果不准确，使得无人艇无法安全的降落到无人艇上。

针对步骤五中的阶段(3)，当无人机只能识别到部分第二层合作目标标识点且不满足椭圆拟合条件时，需要对被遮挡的标识点进行预测，用估计出的点和检测到的特征点进行椭圆拟合。同样，取椭圆的长、短轴顶点作为匹配点进行位姿估计。仿射变换可表示为

其中，(tt_x,tt_y)表示平移量，a_i,i＝1,2,…,4反映图像的旋转和缩放变化。(x,y)为模板坐标，(x′,y′)为(x,y)的估计值。

针对步骤五中的阶段(4)，当第二层合作目标和第三层合作目标都被部分检测到时，选取第三层合作目标作为无人机的合作目标，此时，需要剔除第二层合作目标的干扰。干扰处理情况可表示为m+8，m为检测到的第二层合作目标的个数，8为第三层合作目标的个数。干扰处理通过椭圆拟合统计重合的椭圆中心的方式进行。已知第三层合作目标的8个点分布在同一个圆上，每5个点可拟合成一个椭圆，所拟合成的椭圆中心近似重合，这个重合点即为降落区合作目标的中心点。以该重合点为中心，所拟合椭圆的长轴为半径画圆，该圆区域以外的点即为干扰点，可把第二层合作目标去除。

步骤五中的阶段(5)的合作目标遮挡处理方法与阶段(3)的合作目标遮挡处理方法相同，此处不再赘述。

步骤八：判断是否降落成功

当无人机与无人艇间的相对位置满足Δx＜Δx^t1时，判断Δy和Δh是否分别小于Δy^t1,Δh^t1。如果Δy和Δh都小于Δy^t1,Δh^t1，表示降落成功，无人机电机停转，其中Δx^t1,Δy^t1,Δh^t1分别为表示降落成功的阈值；否则，执行步骤九，无人机加大油门，执行起飞指令。

步骤九：无人机在无人艇上自主起飞策略

当无人机精准降落到无人艇并执行能源补充等操作后，无人机可执行起飞指令，以执行其他任务流程。起飞过程与降落过程相反，为了保证无人机能够平稳快速起飞，加入无人机自主起飞策略。由于无人艇始终处于高频晃动状态，无人机在起飞过程中会有侧翻或与无人艇体发生碰撞的危险。因此，在无人机起飞过程中，无人机的视觉系统仍然处于工作状态，采集下视场景中的图像，根据仿猛禽注意力分配机制的测算结果，使得合作目标始终处于图像的正中央，避免由于无人机与无人艇的运动差异且无人机还未上升到离艇高度时与无人艇发生碰撞。

步骤十：判断是否起飞成功

判断无人机与无人艇间的相对位置是否满足Δh＞Δh^t2，若满足，表示起飞成功，其中，Δh^t2为起飞成功时无人机与无人艇间相对高度的阈值。若不满足，无人机视觉系统继续使能，保持无人艇的合作目标处于图像中央，并继续上升，直至满足起飞成功条件。

本发明提出了一种仿猛禽注意力分配的无人机/艇精准自主起降方法。该方法是通过对猛禽视顶盖-峡核的刺激竞争机制进行模拟，搭建仿猛禽注意力分配机制的合作目标提取，实现无人机/艇的精准自主起降。该发明的主要优势主要体现在以下2个方面：1)将猛禽视觉机制引入到合作目标提取过程中，提高了合作目标区域及标识点的检测效率及准确性；2)本发明提供了完整的无人机/艇精准自主起降的系统框架及其工作流程，系统框架以及流程合理、高效，能够满足无人机在无人艇上自主起降的任务要求；3)本发明提供了5种不同的视觉导航方法，解决了不同距离下合作目标及部分遮挡情况下的视觉导航问题，提高了视觉导航的稳定性和抗干扰能力。

附图说明

图1本发明方法流程框图

图2无人机/艇精准自主起降合作目标设计示意图

图3仿猛禽注意力分配框图

图4无人机/艇自主起降合作目标识别区域图

图5远距无人艇目标检测图

图6(a)、(b)第一层合作目标检测图

图7(a)、(b)第二层合作目标检测图

图8(a)、(b)第二三层合作目标检测图

图9(a)、(b)第三层合作目标检测图

图10(a)、(b)合作目标排除干扰结果图

图中标号及符号说明如下：

I——输入图像

Y——是(满足条件)

N——否(不满足条件)

△x——无人机/艇x方向的距离差

△y——无人机/艇y方向的距离差

△h——无人机/艇z方向的距离差

Δh^t1——降落成功高度阈值

Δh^t2——起飞成功高度阈值

Δh_H2——进入视觉导航范围的高度阈值

O——合作目标的中心

I区——第一层合作目标的红色圆形区域

II区——第二层合作目标区域

III区——第三层合作目标区域

R_I——I区的半径

R_II——II区的半径

R_III——III区的半径

A₁～A₈——第一层合作目标的8个蓝色标识点

B₁～B₈——第二层合作目标的8个蓝色标识点

α——A₁点与正方向的夹角

β——B₁点与正方向的夹角n1——布尔颜色特征图的个数

n2——布尔亮度特征图的个数

n3——布尔梯度特征图的个数

S——输出仿猛禽注意力分配图

H1——无人艇进入无人机视野区域

H2——第一层合作目标进入相机视野区域

H3——第二层合作目标进入相机视野区域

H4——部分第一层合作目标移出相机视野区域

H5——第三层合作目标进入相机视野区域

P1～P4——拟合椭圆长短轴与外接矩形的交点

具体实施方式

下面通过一个具体的无人机在复杂海面降落到无人艇并在无人艇上稳定起飞的实例来验证本发明所提出的方法的有效性。一种仿猛禽注意力分配的无人机/艇精准自主起降方法具体步骤如下：

步骤一：起降区域合作目标设计

无人机/艇精准自主起降合作目标设计如图2所示，将所述的自主起降合作目标固定在无人的艇甲板上并在该起降区域四周安装防护网，避免无人机在起降过程中与无人艇艇体发生碰撞或坠入海中。由于海面背景多以蓝色为主，选取与蓝色相别较大的颜色如红色填充整个自主起降合作目标，整个红色填充区域作为无人机自主起降的第一层合作目标。第一层合作目标区域即以O为圆心，半径为R_I的圆，即I区。以O为圆心，以R_II为半径划分II区，其中

以水平向右为正方向，以0°(即A₁点)为起点，在I区与II区的交界处(即虚线圆上)均匀分布8个蓝色圆形标识点(即A₁～A₈，其中A₁与A₂之间的夹角为α＝45°)，这8个点作为无人机自主起降的第二层合作目标。。同理，以O为圆心，以R_III为半径划分III区，其中

以水平向右为正方向，以B₁点为起点(与水平方向夹角为β＝22.5°，其中10°＜β＜35°)，II区和III区的交界处(即虚线圆上)也均匀分布8个蓝色圆形标识点(即B₁～B₈)，这8个点作为无人机自主起降的第三层合作目标。

步骤二：获取图像的布尔特征图

布尔图可以用来描述视觉场景中不同维度的特征，且能体现推向在不同维度上的变化信息。在无人机上安装下视相机，作为无人机视觉系统的输入设备，相机用于实时采集设置有自主起降合作目标的无人艇图像，根据图像的颜色阈值、亮度阈值及梯度阈值变化，分别获取图像的布尔颜色图集合I_color、布尔亮度图集合I_value及布尔梯度图集合I_grad，如式(1)所示。其中，I_ci,i＝1,2,…n1为不同颜色阈值下的颜色布尔特征图，颜色阈值为[0,255]上的均匀分布，图像可获得n1个布尔颜色特征图，实验中n1取值为15。I_vi,i＝1,2,…n2为不同亮度阈值下的亮度布尔特征图，亮度阈值为[0,255]上的均匀分布，图像可获得n2个布尔亮度特征图，实验中n2取值为15。I_gi,i＝1,2,…n3为不同梯度阈值下的梯度布尔特征图，梯度阈值为[0,255]上的均匀分布，图像可获得n3个布尔梯度特征图，实验中n3取值为15。

步骤三：仿猛禽注意力分配机制建模

顶盖-峡核竞争网络是猛禽脑中重要的动态竞争网络，该动态竞争网络主要考虑视顶盖第10层神经元(L10)、峡核小细胞部(Ipc)和峡核大细胞部(Imc)。视顶盖第10层神经元L10将信号投射到峡核大细胞部Imc(正向刺激作用)和峡核小细胞部分Ipc(正向刺激作用)；峡核大细胞部Imc将一部分信号投射到峡核小细胞部Ipc(正向刺激作用)，另一部分信号反投射到视顶盖L10(反向抑制作用)；峡核小细胞部Ipc将信号反投射到视顶盖L10(反向抑制作用)。顶盖-峡核竞争网络中的神经元i和神经元j间的解剖学特征可用权重矩阵ω_ij的形式进行描述，投射的突触传导(L10→Ipc，L10→Imc，Ipc→L10)的权重采用高斯分布进行描述。L10→Ipc，L10→Imc，Ipc→L10的正向投射关系标准服从高斯分布，它们的权重可用式(2)分别描述。其中，i→j可分别代表L10→Ipc、L10→Imc和Ipc→L10。ΔL_10→Ipc，ΔL_10→Imc，ΔI_pc→L10分别为高斯函数分布的宽度。

Imc→L10的反向投射权重表示为式(3)。其中，ΔI_mc→L10为高斯函数分布的宽度，D为高斯函数的下陷深度，下陷附近i＝j。当D＝1时，Imc神经元j到L10神经元i在同一位置没有反馈，即i＝j。Imc→L10的反向投射服从均匀分布，即权重矩阵ω_ij可用式(4)进行描述。

对于前向抑制强度的增加，全局Imc→Ipc投射并不能促进竞争互动作用，而只是调节Ipc神经元的活性水平。然而，随着周期性的反拓扑Imc→L10反馈投射强度的增加，刺激竞争开始出现。新位置的Imc神经元活动在L10目标神经元中产生足够的抑制电流，抑制电流和适应电流之和可以克服兴奋电流。L10目标神经元停止放电，Ipc神经元的竞争分数+1。刺激竞争分数定义为式(5)，其中，r_i和r_j分别为i，j神经元刺激中心周围的N＝13个神经元的平均峰值速率。

步骤四：基于仿猛禽注意力分配机制的无人艇合作目标识别

将步骤三中的注意力分配机制应用于步骤二中，当无人机距离无人艇较远时，无人机视觉系统可将更多的注意力分配给海面上的无人艇；当无人机到达降落区且无人艇在无人机的视觉系统中只能部分成像时，无人机视觉系统将更多的注意力分配给无人艇上的自主起降合作目标，具体框图如图3所示。

将步骤二中获得的n1个布尔颜色特征图、n2个布尔亮度特征图及n3个布尔梯度特征图根据步骤三中的仿猛禽注意力分配机制中的刺激竞争分数公式(5)进行竞争打分，按照得分情况对各特征维度的布尔特征图进行分别排序，得分前M＝3的布尔特征获胜并进行进一步处理。所述的进一步处理为：将获得的M个布尔颜色特征图、M个布尔亮度特征图和M个布尔梯度特征图采用格式塔原则进行特征融合，经线性化处理后得到最终的无人艇或合作目标注意力分配图。

步骤五：无人机自主降落到无人艇上的策略选择

当无人机到达降落区域且能够识别到整个合作目标的红色区域但识别不到蓝色标识点时，无人机通过识别第一层合作目标的引导靠近无人艇。随着无人机逐渐靠近无人艇，无人机通过识别第二层合作目标实现无人机与无人艇间的相对位姿估计。当第二层合作目标识别的数量不足以进行无人机与无人艇间位姿估计时，切换为第三层合作目标，继续引导无人机降落，如图4所示，无人机从发现无人艇到降落到无人艇上的整个过程可分为以下五个阶段：

(1)无人机捕捉到无人艇，但是无法识别合作目标，如H1区域。无人机视觉系统的视景中包含整个无人艇，由仿猛禽注意力分配机制框选出无人艇目标，如图5所示；

(2)无人机只能捕捉到第一层合作目标，但无法获得起降区域上的标识点，如H2区域。如图6(a)、(b)所示，为无人机视觉系统在不同角度获取的第一层合作目标的场景图，其中，灰色三角形为识别的红色圆形合作目标所拟合的椭圆的长轴和短轴与椭圆外接矩阵的交点。其中，图6(a)为无人机在无人艇侧方场景，图6(b)为无人机在无人艇正上方场景。

(3)无人机能够捕捉到第二层合作目标，但无法获得第三层合作目标，该阶段包含只能识别部分第二层合作目标标识点的情况，详见步骤六，如H3区域。如图7(a)、(b)所示，为无人机视觉系统在不同角度获取的第二层合作目标的场景图，其中，灰色三角形为识别的标识点所拟合的椭圆的长轴和短轴与椭圆外接矩阵的交点。其中，图7(a)为无人机在无人艇侧方场景，图7(b)为无人机在无人艇正上方场景。

(4)无人机同时捕捉到第二层合作目标和第三层合作目标，该部分包括只识别到部分合作目标的情况，详见步骤六，如H4区域。如图8(a)、(b)所示，为无人机视觉系统在不同角度获取的第二层合作目标和第三层合作目标的场景图，其中，灰色三角形为识别的标识点所拟合的椭圆的长轴和短轴与椭圆外接矩阵的交点。其中，图8(a)为无人机在无人艇侧方场景，图8(b)为无人机在无人艇正上方场景。

(5)无人机只能捕捉到第三层合作目标，该阶段包含只能识别部分第三层合作目标标识点的情况，详见步骤六，如H5区域。如图9(a)、(b)所示，为无人机视觉系统在不同角度获取的第三层合作目标的场景图，其中，灰色三角形为识别的标识点所拟合的椭圆的长轴和短轴与椭圆外接矩阵的交点。其中，图9(a)为无人机在无人艇侧方场景，图9(b)为无人机在无人艇正上方场景。

步骤六：无人机/艇起降时的相对位姿估计

针对步骤五中的阶段(1)，采用GPS导航方式引导无人机靠近无人艇，使其到达可识别无人艇合作目标的区域，同时，融合仿猛禽注意力分配机制使得无人艇始终处于机载相机的视野中央。针对步骤五中的阶段(2)，对注意力分配到的第一层合作目标的红色区域进行椭圆拟合，取椭圆的长、短轴顶点作为匹配点，进行位姿估计。针对步骤五中的阶段(3)，在仿猛禽注意力分配得到的第一层合作目标(即红色区域)内，通过颜色信息检测蓝色标识点，这样不仅可以避免同为蓝色信息海浪的干扰，又可减少计算量。将所检测到的蓝色标识点进行椭圆拟合，取椭圆的长、短轴顶点作为匹配点进行位姿估计。针对步骤五中的阶段(4)，第二层和第三层合作目标同时被检测到时，利用凸包变换方法筛选出最外圈的第二层合作目标。凸包变换的具体方法为：(1)将识别到的标识点构成数据集S＝{A_m,B_n}，m为识别到的第二层标识点的个数，n为识别到的第三层标识点的个数，m+n为识别到的所有标识点的总数；(2)查找数据集S中最左下角的标识点，即x坐标和y坐标都具备最小值，标记改点为S₁；(3)过S₁点做一条水平线，计算S₁与其余点的连线距离和夹角，按夹角由大到小进行排序，若夹角相同则按距离由小到大排序，分别标记为S₂,…,S_m+n；(4)将S₁,…,S_m+n连接成多边形，循环剔除非凸点，余下的点即为凸包变换所选出的标识点。将筛选出的标识点进行椭圆拟合，取椭圆的长、短轴顶点作为匹配点进行位姿估计。随着无人机距离无人艇的垂直距离不断减少，能够采集到的标识点的数量越来越少，步骤五中的阶段(5)的使用方法与阶段(3)相同。

在无遮挡等其他特殊情况下，上述五个阶段均可获得n＝4个匹配特征点，采用RPnP(A Robust Solution to the Perspective-n-Point Problem)算法进行无人机/艇间的精确位姿测量，得到相机坐标系下的无人艇合作目标的位置，分别经过相机坐标系、机体坐标系、地面惯性系的坐标转换，获得无人机与无人艇在地面坐标系下的相对位置关系Δx,Δy,Δh。RPnP算法的具体方法为：在合作目标坐标系下，选取两点距离最长的连线为旋转轴Z_a轴，连线的中点为原点，建立坐标系O_aX_aY_aZ_a。用所述合作目标坐标系中所选取的两点在相机坐标系下的对应的坐标连线设为Z_c轴，确定相机坐标系O_cX_cY_cZ_c。O_aX_aY_aZ_a与O_cX_cY_cZ_c两坐标系间的旋转矩阵R可以表示为式(6)。其中，H为任意正交旋转矩阵，H的第三列[h₇ h₈h₉]^T为Z_c，Z_c,α表示绕轴旋转角度α。

由相机成像原理可知，特征点由三维转化为二维归一化平面的投影可表示为式(7)。其中，(u_i,v_i)为特征点的像素坐标，(X_i,Y_i,Z_i)为特征点在O_aX_aY_aZ_a坐标系下的坐标，t＝[t_x t_y t_z]^T为O_aX_aY_aZ_a坐标系与O_cX_cY_cZ_c坐标系间的平移向量。n＝4个特征点可以构造2n×6个方程组，采用奇异值分解的方法可以求解参数[cosα sinα t_x t_y t_z 1]^T，从而获得两坐标系之间的旋转矩阵R和平移矩阵t。

步骤七：标识点部分遮挡的预测处理

无人机在降落到无人艇的过程中，由于无人机和无人艇自身姿态的变化或海浪覆盖部分艇体，会出现标识点遮挡的情况。合作目标标识点的遮挡会造成无人机与无人艇间的位姿估计结果不准确，使得无人艇无法安全的降落到无人艇上。

针对步骤五中的阶段(3)，当无人机只能识别到部分第二层合作目标标识点且不满足椭圆拟合条件时，需要对被遮挡的标识点进行预测，用估计出的点和检测到的特征点进行椭圆拟合。同样，取椭圆的长、短轴顶点作为匹配点进行位姿估计。仿射变换可用式(8)表示。其中，(tt_x,tt_y)表示平移量，a_i,i＝1,2,…,4反映图像的旋转和缩放变化。(x,y)为模板坐标，(x′,y′)为(x,y)的估计值。

针对步骤五中的阶段(4)，当第二层合作目标和第三层合作目标都被部分检测到时，选取第三层合作目标作为无人机的合作目标，此时，需要剔除第二层合作目标的干扰。干扰处理情况可表示为m+8，m为检测到的第二层合作目标的个数，8为第三层合作目标的个数。干扰处理通过椭圆拟合统计重合的椭圆中心的方式进行。已知第三层合作目标的8个点分布在同一个圆上，每5个点可拟合成一个椭圆，所拟合成的椭圆中心近似重合，这个重合点即为降落区合作目标的中心点。以该重合点为中心，所拟合椭圆的长轴为半径画圆，该圆区域以外的点即为干扰点，可把第二层合作目标去除，如图10(a)、(b)所示，为无人机视觉系统在不同角度获取的全部第三层合作目标和部分第二层合作目标的场景图，其中，灰色三角形为识别的标识点所拟合的椭圆的长轴和短轴与椭圆外接矩阵的交点。其中，图10(a)为无人机在无人艇侧方场景，图10(b)为无人机在无人艇正上方场景。

步骤五中的阶段(5)的合作目标遮挡处理方法与阶段(3)的合作目标遮挡处理方法相同，此处不再赘述。

步骤八：判断是否降落成功

当无人机与无人艇间的相对位置满足Δx＜Δx^t1时，判断Δy和Δh是否分别小于Δy^t1,Δh^t1。如果Δy和Δh都小于Δy^t1,Δh^t1，表示降落成功，无人机电机停转，其中Δx^t1,Δy^t1,Δh^t1分别为表示降落成功的阈值；否则，执行步骤九，无人机加大油门，执行起飞指令。

步骤九：无人机在无人艇上自主起飞策略

当无人机精准降落到无人艇并执行能源补充等操作后，无人机可执行起飞指令，以执行其他任务流程。起飞过程与降落过程相反，由于无人机与无人艇之间存在明显的运动差异，并保证无人机能够平稳快速起飞，加入无人机自主起飞策略。由于无人艇始终处于高频晃动状态，无人机在起飞过程中会有侧翻或与无人艇体发生碰撞的危险。因此，在无人机起飞过程中，无人机的视觉系统仍然处于工作状态，机载相机连续采集下视场景中的图像，采用步骤三基于仿猛禽注意力分配机制的图像处理方法及步骤六的位姿估计方法估计机载相机与无人艇合作目标之间的相对位置关系。将机载相机与无人艇合作目标间的相对位置关系转换到无人机坐标系，通过无人机的飞控系统调整无人机的位置及姿态，使得合作目标始终处于机载相机视野中，以便无人机进行上升过程中的位姿估计，进而避免在无人机还未上升到安全离艇高度时与无人艇发生碰撞。

步骤十：判断是否起飞成功

判断无人机与无人艇间的相对位置是否满足Δh＞Δh^t2，若满足，表示起飞成功，其中，Δh^t2为起飞成功时无人机与无人艇间相对高度的阈值。若不满足，无人机视觉系统继续使能，保持无人艇的合作目标处于图像中央，并继续上升脱离H5区域，直至满足起飞成功条件。

Claims (6)

1.一种仿猛禽注意力分配的无人机/艇精准自主起降方法，其特征在于：该方法包括如下步骤：

步骤一：自主起降区域合作目标设计

自主起降区域合作目标固定在无人艇的甲板上，并在该自主起降区域合作目标上划分出第一层、第二层及第三层合作目标；

步骤二：获取图像的布尔特征图

在无人机上安装下视相机，作为无人机视觉系统的输入设备，用于实时采集设置有自主起降合作目标的无人艇的图像，根据图像的颜色阈值、亮度阈值及梯度阈值变化，分别获取图像的布尔颜色图集合I_color、布尔亮度图集合I_value及布尔梯度图集合I_grad；进一步获得图像的布尔颜色特征图、布尔亮度特征图、布尔梯度特征图；

步骤三：仿猛禽注意力分配机制建模

顶盖-峡核竞争网络是猛禽脑中重要的动态竞争网络，顶盖-峡核竞争网络中的神经元i和神经元j间的解剖学特征可用权重矩阵ω_ij的形式进行描述；

步骤四：基于仿猛禽注意力分配机制的无人艇合作目标识别

将步骤三中的注意力分配机制应用于步骤二中，当无人机距离无人艇较远时，无人机视觉系统可将更多的注意力分配给海面上的无人艇；当无人机到达降落区且无人艇在无人机的视觉系统中只能部分成像时，无人机视觉系统将更多的注意力分配给无人艇上的自主起降合作目标；

步骤五：无人机自主降落到无人艇上的策略选择

当无人机到达降落区域且能够识别到整个合作目标的红色区域但识别不到蓝色标识点时，无人机通过识别第一层合作目标的引导靠近无人艇；随着无人机逐渐靠近无人艇，无人机通过识别第二层合作目标实现无人机与无人艇间的相对位姿估计；当第二层合作目标识别的数量不足以进行无人机与无人艇间的位姿估计时，切换为第三层合作目标，继续引导无人机降落；即无人机从发现无人艇到降落到无人艇上的整个过程可分五个阶段；

步骤六：无人机/艇起降时的相对位姿估计

在无遮挡等其他特殊情况下，上述五个阶段均可获得n个匹配特征点，采用RPnP算法进行无人机/艇间的精确位姿测量，得到相机坐标系下的无人艇合作目标的位置，分别经过相机坐标系、机体坐标系、地面惯性系的坐标转换，获得无人机与无人艇在地面坐标系下的相对位置关系；

结束：判断是否降落成功

当无人机与无人艇间的相对位置满足Δx＜Δx^t1时，判断Δy和Δh是否分别小于Δy^t1,Δh^t1；如果Δy和Δh都小于Δy^t1,Δh^t1，表示降落成功，无人机电机停转，其中Δx^t1,Δy^t1,Δh^t1分别为表示降落成功的阈值；

步骤三中所述神经元i和神经元j间的解剖学特征可用权重矩阵ω_ij的形式进行描述，L10→Ipc、L10→Imc、Ipc→L10投射突触传导的权重采用高斯分布进行描述；L10→Ipc，L10→Imc，Ipc→L10的正向投射关系标准服从高斯分布，它们的权重可描述为

其中，i→j可分别代表L10→Ipc、L10→Imc和Ipc→L10；ΔL_10→Ipc，Δ_L10→Imc，Δ_Ipc→L10分别为高斯函数分布的宽度；

Imc→L10的反向投射权重表示为

其中，Δ_Imc→L10为高斯函数分布的宽度，D为高斯函数的下陷深度，下陷附近i＝j；当D＝1时，Imc神经元j到L10神经元i在同一位置没有反馈，即i＝j；

Imc→L10的反向投射服从均匀分布，即

ω_ij＝1 (4)

对于前向抑制强度的增加，全局Imc→Ipc投射并不能促进竞争互动作用，而只是调节Ipc神经元的活性水平；然而，随着周期性的反拓扑Imc→L10反馈投射强度的增加，刺激竞争开始出现；新位置的Imc神经元活动在L10目标神经元中产生足够的抑制电流，抑制电流和适应电流之和可以克服兴奋电流；L10目标神经元停止放电，Ipc神经元的刺激竞争分数+1；

将步骤二中获得的布尔颜色特征图、布尔亮度特征图及布尔梯度特征图根据步骤三中的仿猛禽注意力分配机制中的刺激竞争分数公式进行竞争打分，按照得分情况对各特征维度的布尔特征图进行分别排序，得分前M的布尔特征获胜并进行进一步处理；

所述的进一步处理是：将获得的M个布尔颜色特征图、M个布尔亮度特征图和M个布尔梯度特征图采用格式塔原则进行特征融合，经线性化处理后得到最终的无人艇或合作目标注意力分配图；

步骤五所述的五个阶段，具体如下：

(1)无人机捕捉到无人艇，但是无法识别合作目标；

(2)无人机只能捕捉到第一层合作目标，但无法获得起降区域上的标识点；

(3)无人机能够捕捉到第二层合作目标，但无法获得第三层合作目标，该阶段包含只能识别部分第二层合作目标标识点的情况；

(4)无人机同时捕捉到第二层合作目标和第三层合作目标，该部分包括只识别到部分合作目标标识点的情况；

(5)无人机只能捕捉到第三层合作目标，该阶段包含只能识别部分第三层合作目标标识点的情况。

2.根据权利要求1所述的一种仿猛禽注意力分配的无人机/艇精准自主起降方法，其特征在于：所述的刺激竞争分数定义为

其中，r_i和r_j分别为i，j神经元刺激中心周围的N个神经元的平均峰值速率。

3.根据权利要求1所述的一种仿猛禽注意力分配的无人机/艇精准自主起降方法，其特征在于：在所述步骤六之后，结束步骤之前，该方法进一步包括有：标识点部分遮挡的预测处理，具体如下：

无人机在降落到无人艇的过程中会出现标识点遮挡的情况，标识点的遮挡会造成无人机与无人艇间的位姿估计结果不准确，使得无人艇无法安全的降落到无人艇上；

针对步骤五中五个阶段之一：当无人机只能识别到部分第二层合作目标标识点且不满足椭圆拟合条件时，需要对被遮挡的标识点进行预测，用估计出的点和检测到的特征点进行椭圆拟合；

针对步骤五中五个阶段之一：当第二层合作目标和第三层合作目标都被部分检测到时，选取第三层合作目标作为无人机的合作目标，此时，需要剔除第二层合作目标的干扰；干扰处理情况可表示为m+8，m为检测到的第二层合作目标的个数，8为第三层合作目标的个数；干扰处理通过椭圆拟合统计重合的椭圆中心的方式进行。

4.根据权利要求1所述的一种仿猛禽注意力分配的无人机/艇精准自主起降方法，其特征在于：在所述的结束步骤中，判断Δy和Δh是否分别小于Δy^t1,Δh^t1；若否，无人机加大油门，执行起飞指令。

5.根据权利要求1所述的一种仿猛禽注意力分配的无人机/艇精准自主起降方法，其特征在于：该方法进一步包括有：无人机在无人艇上自主起飞策略，具体过程如下：

当无人机精准降落到无人艇并执行能源补充操作后，或根据结束步骤判断结果，无人机执行起飞指令，以执行其他任务流程；起飞过程与降落过程相反，同时为保证无人机能够平稳快速起飞，加入无人机自主起飞策略；即在无人机起飞过程中，无人机的视觉系统仍然处于工作状态，采集下视场景中的图像，根据仿猛禽注意力分配机制的测算结果，使得合作目标始终处于图像的正中央，避免由于无人机与无人艇的运动差异且无人机还未上升到离艇高度时与无人艇发生碰撞。

6.根据权利要求5所述的一种仿猛禽注意力分配的无人机/艇精准自主起降方法，其特征在于：该方法进一步包括有如下步骤：判断是否起飞成功,

判断无人机与无人艇间的相对位置是否满足Δh＞Δh^t2，若满足，表示起飞成功，其中，Δh^t2为起飞成功时无人机与无人艇间相对高度的阈值；若不满足，无人机视觉系统继续使能，保持无人艇的合作目标处于图像中央，并继续上升，直至满足起飞成功条件。

Images