CN114842359B - 一种基于视觉的固定翼无人机自主着陆跑道检测方法 - Google Patents

Abstract

本发明公开了一种基于视觉的固定翼无人机自主着陆跑道检测方法，包括对采集的跑道图像进行灰度化处理；建立静态蒙版对跑道图像进行图像切割；采用自适应直方图均衡化方法对跑道图像进行图像增强处理；采用高斯滤波方法对跑道图像进行平滑和模糊处理；采用sobel算子对跑道图像进行边缘检测；根据上一帧跑道图像的跑道线检测结果建立动态蒙版；采用Hough变换方法对跑道图像进行直线检测；对检测到的直线进行空间滤波，得到跑道线检测结果。本发明能够提高无人机自主着陆跑道检测的精确性和实时性，进而实现基于计算机视觉的无人机自主着陆的自主精确导航。

Description

一种基于视觉的固定翼无人机自主着陆跑道检测方法

技术领域

本发明涉及无人机着陆导航技术领域，具体涉及一种基于视觉的固定翼无人机自主着陆跑道检测方法。

背景技术

无人机着陆是指依靠机载的导航设备或地面辅助仪器，以及飞行控制系统来进行定位导航，并最终控制无人机降落在着陆场的过程。无人机着陆是飞中重要的阶段，在无人机进场过程中，如果飞行器在高度决策以下，必须提供除全球定位系统(GPS)以外的其他手段用于导航，以增加导航系统冗余度。传统的进场方案通常采用仪表着陆系统(ILS，Instrument Landing System)作为地基引导设备，然而该方案需要昂贵的机载和地基设备，难以广泛用于中小型飞机和中小型机场的着陆场景中。有关统计表明，无人机回收过程中的故障数占整个执行任务故障数的80％以上。因此，研究可靠的无人机着陆导航系统是一项迫在眉睫的任务。虽然美国研制出了“全球鹰”、“捕食者”、X-45C和X-47B等先进无人机，但仍缺乏可靠自主的着陆能力。美军无人机目前可以依靠GPS完成半自主着陆，但面临战时GPS易受干扰的问题。由于目前无人机缺乏既实用又精确的自主导航设备，大部分无人机还依赖于地面遥控着陆，着陆时操纵复杂，地面干扰因素多，事故发生率较高。

在军事上，一些能够实现自主着陆的战机会得到军方高度重视，这些战机适应各种环境下进行作战，并且具有较好的机动能力。除此之外，能够自主着陆的飞机还相应的减少了对地面辅助设备的依赖，在具体战斗过程中，即使战机的基地被毁坏，战机也能够有效的进行着陆。

无人机能够进行自主着陆的方法分为在无人机上搭载精确稳定可靠的导航系统和飞行控制系统。当前，计算机视觉作为一种无源的信息源正越来越受到重视，越来越多的学者开始研究如何利用计算机视觉技术对载体进行自主精确导航。近几年来，计算机视觉在智能车辆、机器人、微型空中飞行器和无人机自主着陆等方面得到了广泛的研究并获一定成功。视觉导航由于具有成本低、设备简单、信息量大、完全自主、对着陆场条件要求低和完全无源性等优点，可以较好地满足战场环境下人机自主着陆的要求，提高无人机着陆的自适应性、智能性和隐蔽性。

发明内容

针对现有技术中的上述不足，本发明提供了一种基于视觉的固定翼无人机自主着陆跑道检测方法。

为了达到上述发明目的，本发明采用的技术方案为：

一种基于视觉的固定翼无人机自主着陆跑道检测方法，包括以下步骤：

S1、对采集的跑道图像进行灰度化处理；

S2、建立静态蒙版对步骤S1处理后的跑道图像进行图像切割；

S3、采用自适应直方图均衡化方法对步骤S2得到的跑道图像进行图像增强处理；

S4、采用高斯滤波方法对步骤S3处理后的跑道图像进行平滑和模糊处理；

S5、采用sobel算子对步骤S4处理后的跑道图像进行边缘检测；

S6、判断上一帧跑道图像是否检测到跑道线；

若是，则根据上一帧跑道图像检测到的跑道线建立动态蒙版对步骤S5处理后的跑道图像进行图像切割；

否则，不进行图像切割；

S7、采用Hough变换方法对步骤S6得到的跑道图像进行直线检测；

S8、对步骤S7检测到的直线进行空间滤波，得到跑道线检测结果。

可选地，步骤S2中建立静态蒙版对步骤S1处理后的跑道图像进行图像切割，具体为：

首先创建一个与待处理的跑道图像相同大小的像素值全为0的图像掩膜；

然后选取多个像素点在所创建的图像掩膜上绘制多边形，并将多边形区域内的像素值填充为255，建立静态蒙版；

最后将建立的静态蒙版与待处理的跑道图像对应的像素进行按位与运算，得到图像分割后的跑道图像。

可选地，步骤S3中采用自适应直方图均衡化方法对步骤S2得到的跑道图像进行图像增强处理，具体为：

首先将步骤S2得到的跑道图像划分为设定大小的像素块，对每个像素块进行直方图均衡化处理；

然后对相邻像素块之间的变换函数进行平滑插值，得到图像增强后的跑道图像；

所述变换函数表示为：

其中，s为跑道图像变换得到的对应位置的灰度值，r为跑道图像的原始灰度值，L为跑道图像的灰度级数量，p_r(x)为原始灰度值r的概率密度函数。

可选地，步骤S6中根据上一帧跑道图像检测到的跑道线建立动态蒙版，具体为：

计算上一帧跑道图像检测到的左跑道线和右跑道线的交点坐标，并根据先验信息确定上边界偏移量，将交点坐标的纵坐标向上偏移所确定的上边界偏移量，得到动态上边界；

计算上一帧跑道图像检测到的起始跑道线分别与左跑道线和右跑道线的交点坐标，并根据先验信息确定下边界偏移量，将起始跑道线分别与左跑道线和右跑道线的交点坐标的纵坐标向下偏移所确定的下边界偏移量，得到动态下边界；

根据先验信息确定左边界偏移量，将起始跑道线与左跑道线的交点坐标的横坐标向左偏移所确定的左边界偏移量，得到动态左边界；

根据先验信息确定右边界偏移量，将起始跑道线与右跑道线的交点坐标的横坐标向右偏移所确定的右边界偏移量，得到动态右边界；

根据动态上边界、动态下边界、动态左边界和动态右边界确定的图像范围建立动态蒙版。

可选地，步骤S8中对步骤S7检测到的直线进行空间滤波，得到跑道线检测结果，具体为：

将步骤S7检测到的直线中斜率大于0和小于0的直线的斜率和截距以及直线上的点坐标分别保存到左跑道线列表和右跑道线列表中；

采用斜率约束和线长约束对左跑道线列表和右跑道线列表中的直线进行筛选；

对筛选后的左跑道线列表和右跑道线列表中的直线进行线段配对；

采用中值约束对配对的左跑道线列表和右跑道线列表中的直线进行筛选，得到跑道线检测结果。

可选地，所述采用斜率约束和线长约束对左跑道线列表和右跑道线列表中的直线进行筛选，具体为：

判断左跑道线列表和右跑道线列表中的直线的斜率是否超出设定的斜率阈值范围；若是，则删除该直线；否则保留该直线；

根据左跑道线列表和右跑道线列表中的直线的斜率和截距分别计算两条直线的交点坐标；

判断交点坐标的横坐标或纵坐标是否超出跑道图像的横纵坐标的阈值范围；若是，则删除该交点坐标对应的两条直线；否则保留该交点坐标对应的两条直线；

判断交点坐标的纵坐标是否大于该交点坐标对应的两条直线上两点连成线段的纵坐标；若是，保留该交点坐标对应的两条直线；否则删除该交点坐标对应的两条直线；

根据左跑道线列表和右跑道线列表中的直线上点的坐标分别计算各条直线的线段长度；

判断线段长度是否大于设定的线段长度阈值；若是，则保留该线段长度对应的直线；否则删除该线段长度对应的直线。

可选地，所述对筛选后的左跑道线列表和右跑道线列表中的直线进行线段配对，具体为：

遍历筛选后的左跑道线列表中的直线，计算选取的直线的线段中点与右跑道线列表中的直线的线段中点的纵坐标差值；

判断纵坐标差值是否小于设定的纵坐标阈值；若是，则保留选取的直线与右跑道线列表中的直线的线段配对；否则继续遍历筛选后的左跑道线列表中的直线；

判断选取的直线的线段中点的横坐标是否小于所配对的右跑道线列表中的直线的线段中点的横坐标；若是，则保留选取的直线与右跑道线列表中的直线的线段配对；否则删除选取的直线与右跑道线列表中该直线的线段配对；

计算选取的直线与右跑道线列表中的直线的夹角；

判断夹角是否大于设定的夹角阈值；若是，则保留选取的直线与右跑道线列表中的直线的线段配对；否则删除选取的直线与右跑道线列表中该直线的线段配对。

可选地，所述采用中值约束对配对的左跑道线列表和右跑道线列表中的直线进行筛选，得到跑道线检测结果，具体为：

根据左跑道线列表和右跑道线列表中的直线的斜率和截距分别计算两条直线的交点坐标；

将交点坐标的横坐标和纵坐标分别保存到横坐标列表和纵坐标列表中，并分别计算横坐标列表和纵坐标列表的中值；

分别计算交点与中值坐标点之间的距离，选取距离最小的交点对应的两条直线，得到跑道线检测结果。

可选地，还包括对跑道线检测结果进行时间滤波。

可选地，所述对跑道线检测结果进行时间滤波，具体为：

判断当前帧跑道图像是否检测到左跑道线和右跑道线；

若是，则将跑道线检测结果中左跑道线和右跑道线的斜率和截距保存到全局变量中；

否则获取全局变量中存储的左跑道线和右跑道线的斜率和截距。

本发明具有以下有益效果：

本发明通过对采集的跑道图像进行灰度化处理；建立静态蒙版对跑道图像进行图像切割；采用自适应直方图均衡化方法对跑道图像进行图像增强处理；采用高斯滤波方法对跑道图像进行平滑和模糊处理；采用sobel算子对跑道图像进行边缘检测；根据上一帧跑道图像的跑道线检测结果建立动态蒙版；采用Hough变换方法对跑道图像进行直线检测；对检测到的直线进行空间滤波，得到跑道线检测结果。本发明能够提高无人机自主着陆跑道检测的精确性和实时性，进而实现基于计算机视觉的无人机自主着陆的自主精确导航。

附图说明

图1为本发明实施例的一种基于视觉的固定翼无人机自主着陆跑道检测方法的流程示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

本发明为了解决固定翼无人机在自主着陆过程中视觉导航的主要技术问题，以真实的无人机跑道为研究对象，依靠视觉导航技术，对跑道进行识别和检测，并根据检测的结果确定无人机相对于跑道坐标系的位姿，从而可以确定固定翼无人机的着陆方向，同时根据无人机的着陆要求，确定出着陆跑道并调整无人机的着陆位置，最终实现固定翼无人机基于视觉的自主着陆。

本发明采用的技术思路是先对相机的图像进行灰度化处理，用于将RGB三个通道转化为单通道，从而可以减小运算量。然后对灰度化之后的图像进行图像增强，用于提高跑道线的清晰度。然后采用高斯滤波对图像进行平滑和模糊处理。然后采用sobel算子计算图像灰度函数的近似梯度，实现边缘检测。如果已经初始化完成，说明之前已经检测到跑道线，并且产生了对应的动态蒙版，则本次只在上次动态蒙版的范围内检测跑道边缘。如果之前没有检测到跑道线，则在整个图像的范围内检测跑道边缘。检测到跑道边缘之后，可以根据边缘进行直线提取，但是提取出的直线有很多干扰，需要进一步通过空间滤波和时间滤波对跑道线进行过滤和决策，直到得到真实的跑道线。最后需要根据真实的跑道线确定动态蒙版的范围，为下一帧的跑道线检测做准备。

如图1所示，本发明实施例提供了一种基于视觉的固定翼无人机自主着陆跑道检测方法，包括以下步骤：

S1、对采集的跑道图像进行灰度化处理；

在本发明的一个可选实施例中，本发明采集的跑道图像为RGB彩色图像，因此在对跑道图像进行灰度化处理时，采用RGB三通道加权平均方式进行灰度化处理，设置的权重为R:G:B＝6:3:1。

本发明首先对采集的跑道图像进行灰度化处理，能够较大减小程序的计算量，提高图像处理的实时性。

S2、建立静态蒙版对步骤S1处理后的跑道图像进行图像切割；

在本发明的一个可选实施例中，在跑道图像识别的过程中，跑道的周围可能会存在位置比较固定的干扰，为了解决这一问题，本发明通过建立静态蒙版对步骤S1处理后的跑道图像进行图像切割，具体为：

首先创建一个与待处理的跑道图像相同大小的像素值全为0的图像掩膜；

然后选取多个像素点在所创建的图像掩膜上绘制多边形，并将多边形区域内的像素值填充为255，建立静态蒙版；

最后将建立的静态蒙版与待处理的跑道图像对应的像素进行按位与运算，得到图像分割后的跑道图像。

本发明建立静态蒙版是在跑道图像的跑道周围划定固定的区域，该区域内显示的是原始图像，而在区域外的像素值为0，即全部为黑色，从而实现每次只在划定的区域内对跑道进行检测，提高检测效率。

S3、采用自适应直方图均衡化方法对步骤S2得到的跑道图像进行图像增强处理；

在本发明的一个可选实施例中，步骤S3中采用自适应直方图均衡化方法对步骤S2得到的跑道图像进行图像增强处理，具体为：

首先将步骤S2得到的跑道图像划分为设定大小的像素块，对每个像素块进行直方图均衡化处理；

然后对相邻像素块之间的变换函数进行平滑插值，得到图像增强后的跑道图像；

所述变换函数表示为：

其中，s为跑道图像变换得到的对应位置的灰度值，r为跑道图像的原始灰度值，L为跑道图像的灰度级数量，p_r(x)为原始灰度值r的概率密度函数。

具体而言，暗图像直方图的分布集中在灰度较低的一端，而亮图像直方图分布偏向于灰度较高的一端。如果一副图像的灰度直方图几乎覆盖了整个灰度的取值范围，并且除了个别灰度值的个数较为突出，整个灰度值近似于均匀分布，那么这幅图像就具有较大的灰度动态范围和较高的对比度，图像的细节更为丰富。因此可以根据输入图像的的直方图信息得到一个变换函数，利用该变换函数可以让输入图像的灰度直方图分布近似变为均匀分布，从而实现直方图均衡化。

假设待处理图像为灰度图像，r表示待处理图像的灰度，取值范围为[0，L-1]，则r＝0表示黑色，r＝L-1表示白色，则直方图均衡化的过程对应于一个变换T，表示为

s＝T(r),0≤r≤L-1

也就是说，对于输入图像的某个灰度值，通过变换得到的对应位置的灰度值为s，其中变换T满足以下条件：

(1)T(r)在[0,L-1]上严格单调递增；

(2)当0≤r≤L-1时，0≤T(r)≤L-1；

条件(1)要求T(r)单调递增，这样输入灰度值与输出灰度值一一对应，同时像素灰度值之间的相对大小关系不变，这样可以避免反变换时出现问题；条件(2)保证了输出图像的灰度范围与输入图像相同。实际处理的图像是整数灰度值，因此必须把所有结果四舍五入为最接近的整数值。

首先，对于连续的形式，一幅灰度图像的灰度值可以看作区间[0，L-1]内的随机变量，因此可以用概率密度函数表示灰度值，假设p_r(r)和p_s(s)分别表示随机变量r和s的概率密度函数，p_r(r)和变换T已知，且T(r)在定义域内连续可微，则变换后s的概率密度函数可以由下式得到

因此输出图像灰度s的概率密度函数由输入图像的灰度r的概率密度函数和变换T(r)得到。图像处理中的一个重要的变换函数构造如下：

为了寻找变换后随机变量s的概率密度函数p_s(s)，则

可以得到：

因此经过变换后的p_s(s)是均匀分布，也就是说图像灰度值的概率密度函数经过变换T(r)得到的随机变量s服从均匀分布。

对于离散形式，推导过程与连续形式相似，只是用求和运算代替积分运算，得到离散的表达式如下

其中MN为图像像素总数，n_k为灰度为r_k的像素个数，L是图像可能的灰度级数量。

全局均衡化处理后的图像只能是近似均匀分布，均衡化图像的动态范围扩大了，但其本质是扩大了量化间隔，而量化级别反而减少了。因此原来灰度不同像素经过处理后可能变的相同。形成了一片相同灰度的区域，各区域之间有明显的边界，从而出现了伪轮廓。全局直方图均衡化的另一个潜在问题是可能放大位于暗区域的噪声。

需要注意的是，在原始图像对比度本来就很高的情况下，如果再均衡化，则灰度调和，对比度会降低。在泛白缓和的图像中，均衡化会合并一些像素灰度，从而在增加对比度。均衡化后的图片如果再对其均衡化，则图像不会有任何变化。

虽然全局直方图均衡化很有效，但对于一些图像来说，不同区域采取不同的均衡化方法，即将图像分成M×M大小的像素块，分别对每个子块进行直方图均衡化，这样产生的效果可能会更好，但是会出现区块效应，即在块的边界处亮度不连续。

消除人为区块效应的一个方法是使用移动窗口，即对所有的以每个像素为中心大小为M×M的块重新计算直方图。虽然此方法很慢，因为每个像素都需要进行M²次运算，但是此方法可以加速，只需对进入块和离开块(在图像的光栅扫描中)的像素所在直方图中相应的项进行更新。注意，这种操作是一种非线性邻域操作。

因此，本发明采用自适应直方图均衡化方法，先将图像划分成不重叠块，对每块进行均衡化，然后在块与块之间对转换函数进行平滑插值；对于给定的像素(i,j)，根据块的水平和垂直位置(s,t)计算其权重值。其中给定的像素是通过其在查找表中四个邻接的值混合出映射结果。

S4、采用高斯滤波方法对步骤S3处理后的跑道图像进行平滑和模糊处理；

在本发明的一个可选实施例中，本发明采用高斯滤波对图像进行平滑和模糊处理，从而实现对图像的减噪处理。高斯滤波是对图像上的每一个像素点的值，都由其本身和领域内其他像素点的值经过加权平均后得到，即用一个卷积核扫描图像中的每一个像素点，将领域内的各个像素值与对应位置的权值做点乘然后求和。

高斯卷积核来自于二维高斯函数，即二维正态分布密度函数。均值为0，方差δ²的二维高斯函数如下

高斯卷积核是连续的二维高斯函数的离散化表示，因此任意大小的高斯模板都可以通过建立一个(2k+1)×(2k+1)的矩阵M得到，其(i,j)位置的元素值可以通过如下确定

若图像中一个3×3的窗口为A，要滤波的像素点为e，则经过高斯滤波之后，像素点e的亮度值为

其中*为卷积符号，sum表示矩阵中所有元素相加求和。高斯卷积核大小的选择将影响检测器的性能。尺寸越大，检测器对噪声的敏感度越低，但是边缘检测的定位误差也将略有增加。

σ取不同的值时，二维高斯函数的形状会有很大的不同，如果σ过小，偏离中心的所有像素权重将会减小，相当于加权和响应基本不考虑领域像素的作用，这样滤波操作退化为图像的点运算，无法起到平滑噪声的作用；相反如果σ过大，而领域相对较小，这样在领域内高斯模板将退化成为平均模板。因此只有当σ取合适的值时才能得到一个像素值的较好估计。

S5、采用sobel算子对步骤S4处理后的跑道图像进行边缘检测；

在本发明的一个可选实施例中，sobel算子的计算过程为：

1)分别在x和y两个方向求导。在水平方向上，将图像与一个奇数大小的内核G_x进行卷积，比如当内核大小为3时，内核G_x的计算结果为

例如：

则p5点在x方向上的梯度向量为：

p5_x＝(p7-p1)+2*(p8-p2)+(p9-p3)

垂直方向上，将图像与一个奇数大小的内核进行卷积，比如当内核大小为3时，内核G_y的计算结果为

例如：

则p5点在y方向上的梯度向量为：

p5_y＝(p7-p1)+2*(p8-p2)+(p9-p3)

2)在图像的每一点，结合以上两个结果求出近似梯度

该点的梯度方向可以通过取这两个值的比的反正切得到

如果通过步骤1)计算出来的Gx和Gy很大，则通过步骤2)计算出来的G就很大，则代表p5点的梯度很大，则p5点很有可能就是一个边界点。

S6、判断上一帧跑道图像是否检测到跑道线；

若是，则根据上一帧跑道图像检测到的跑道线建立动态蒙版对步骤S5处理后的跑道图像进行图像切割；

否则，不进行图像切割；

在本发明的一个可选实施例中，本发明根据上一帧跑道图像检测到的跑道线建立动态蒙版对跑道图像进行图像切割，这样可以减少大部分干扰，并可以更加精确地检测到跑道线，同时提高检测速度。

步骤S6中根据上一帧跑道图像检测到的跑道线建立动态蒙版，具体为：

计算上一帧跑道图像检测到的左跑道线和右跑道线的交点坐标，并根据先验信息确定上边界偏移量，将交点坐标的纵坐标向上偏移所确定的上边界偏移量，得到动态上边界；

计算上一帧跑道图像检测到的起始跑道线分别与左跑道线和右跑道线的交点坐标，并根据先验信息确定下边界偏移量，将起始跑道线分别与左跑道线和右跑道线的交点坐标的纵坐标向下偏移所确定的下边界偏移量，得到动态下边界；

根据先验信息确定左边界偏移量，将起始跑道线与左跑道线的交点坐标的横坐标向左偏移所确定的左边界偏移量，得到动态左边界；

根据先验信息确定右边界偏移量，将起始跑道线与右跑道线的交点坐标的横坐标向右偏移所确定的右边界偏移量，得到动态右边界；

根据动态上边界、动态下边界、动态左边界和动态右边界确定的图像范围建立动态蒙版。

S7、采用Hough变换方法对步骤S6得到的跑道图像进行直线检测；

在本发明的一个可选实施例中，本发明采用Hough变换方法对步骤S6得到的跑道图像进行特征提取，在一个参数空间中通过计算累计结果的局部最大值得到一个符合该特定形状的集合作为霍夫变换的结果。

在使用Hough线变换之前，首先要对图像进行边缘检测的处理，即Hough变换的直接输入是边缘二值图像。程序中首先对图像提取sobel算子，得到二值化的图像，然后再进行Hough直线提取。

一条直线在图像二维空间可由两个变量表示，有两种情况：在直角坐标系中，可以由参数斜率和截距(k,b)表示；在极坐标系中，可以由参数极径和极角(r,θ)表示。

对于Hough变换，我们采用第二种方式来表示直线，因此直线的表达式为

化简得到：

r＝x cosθ+y sinθ

一般来说，对于点(x₀,y₀)，可以将通过这个点的一族直线统一定义为：

r_θ＝x₀cosθ+y₀sinθ

这就意味着每一对(r,θ)代表一条经过点(x₀,y₀)的直线。对于一个给定点(x₀,y₀)，我们在极坐标对极径极角平面绘制出所有通过它的直线，将得到一条正弦曲线。

我们可以对图像上的所有点进行上述的操作，如果两个不同点进行上述操作之后得到的曲线在平面θ-r相交，便意味着他们通过同一条直线，交点的坐标表示的是参数对θ-r或者是点(x₁,y₁)和点(x₂,y₂)组成的平面内的直线。因此一条直线能够通过在平面θ-r寻找交于一点的曲线数量来检测，越多直线交于一点就意味着这个交点表示的直线由更多的点组成，因此可以通过设置直线上点的阈值，来定义多少条直线交于一点才认为检测到了一条直线。

具体计算时，可将参数空间视为离散空间，建立一个二维累加数组A(θ,r)，第一维的范围是图像坐标空间中ρ的可能范围，第二维的范围是图像坐标空间中的r的可能的范围。开始时将A(θ,r)初始化为0，然后对图像坐标空间中的每一个前景点(x_i,y_i)，将参数空间中每一个离散值θ，带入r_θ＝x₀cosθ+y₀sinθ中，从而可以计算出对应的r值，每计算出一对(θ,r)，都将对应的数组元素A(θ,r)加1，所有的计算结束之后，在参数空间表决结果中寻找A(θ,r)的最大峰值，所对应的θ₀,r₀就是原图像中共线点数目最多的直线方程的参数，接下来可以继续寻找次峰值和第3峰值的参数值，它们对应于原图中共线点数目略少一点的直线。

S8、对步骤S7检测到的直线进行空间滤波，得到跑道线检测结果。

在本发明的一个可选实施例中，步骤S8中对步骤S7检测到的直线进行空间滤波，得到跑道线检测结果，具体为：

将步骤S7检测到的直线中斜率大于0和小于0的直线的斜率和截距以及直线上的点坐标分别保存到左跑道线列表和右跑道线列表中；

采用斜率约束和线长约束对左跑道线列表和右跑道线列表中的直线进行筛选；

对筛选后的左跑道线列表和右跑道线列表中的直线进行线段配对；

采用中值约束对配对的左跑道线列表和右跑道线列表中的直线进行筛选，得到跑道线检测结果。

其中采用斜率约束和线长约束对左跑道线列表和右跑道线列表中的直线进行筛选，具体为：

判断左跑道线列表和右跑道线列表中的直线的斜率是否超出设定的斜率阈值范围；若是，则删除该直线；否则保留该直线；

根据左跑道线列表和右跑道线列表中的直线的斜率和截距分别计算两条直线的交点坐标；

判断交点坐标的横坐标或纵坐标是否超出跑道图像的横纵坐标的阈值范围；若是，则删除该交点坐标对应的两条直线；否则保留该交点坐标对应的两条直线；

判断交点坐标的纵坐标是否大于该交点坐标对应的两条直线上两点连成线段的纵坐标；若是，保留该交点坐标对应的两条直线；否则删除该交点坐标对应的两条直线；

根据左跑道线列表和右跑道线列表中的直线上点的坐标分别计算各条直线的线段长度；

判断线段长度是否大于设定的线段长度阈值；若是，则保留该线段长度对应的直线；否则删除该线段长度对应的直线。

其中对筛选后的左跑道线列表和右跑道线列表中的直线进行线段配对，具体为：

遍历筛选后的左跑道线列表中的直线，计算选取的直线的线段中点与右跑道线列表中的直线的线段中点的纵坐标差值；

判断纵坐标差值是否小于设定的纵坐标阈值；若是，则保留选取的直线与右跑道线列表中的直线的线段配对；否则继续遍历筛选后的左跑道线列表中的直线；

判断选取的直线的线段中点的横坐标是否小于所配对的右跑道线列表中的直线的线段中点的横坐标；若是，则保留选取的直线与右跑道线列表中的直线的线段配对；否则删除选取的直线与右跑道线列表中该直线的线段配对；

计算选取的直线与右跑道线列表中的直线的夹角；

判断夹角是否大于设定的夹角阈值；若是，则保留选取的直线与右跑道线列表中的直线的线段配对；否则删除选取的直线与右跑道线列表中该直线的线段配对。

其中采用中值约束对配对的左跑道线列表和右跑道线列表中的直线进行筛选，得到跑道线检测结果，具体为：

根据左跑道线列表和右跑道线列表中的直线的斜率和截距分别计算两条直线的交点坐标；

将交点坐标的横坐标和纵坐标分别保存到横坐标列表和纵坐标列表中，并分别计算横坐标列表和纵坐标列表的中值；

分别计算交点与中值坐标点之间的距离，选取距离最小的交点对应的两条直线，得到跑道线检测结果。

具体而言，由于Hough变换检测到的跑道线上点的坐标是在蒙板上的像素坐标，所以需要将跑道上点的坐标还原到原始图像上，即将直线上的点的横坐标加上蒙板左上角点的横坐标，直线上点的纵坐标加上蒙板左上角点的纵坐标。

跑道线的过滤采用斜率约束和线长约束的方式。在正对跑道的视角下，跑道线的斜率保持在一定范围内，检测出来的跑道线长也满足一定的条件，通过这两个约束可以过滤掉一些不符合要求的线段。

对于跑道线的确定，将斜率小于0和斜率大于0的线段分成两类，然后分别将斜率小于0和大于0的直线的斜率和截据以及直线上点的坐标存储到两个列表变量中，之后需要对这两个列表中的直线信息进行进一步的过滤。首先，根据左右两条直线的列表中的直线斜率和截据信息求左右两条跑道线的交点，由于一般情况下这个交点在图像内，且交点在检测到的跑道上的点连接成的线段的上方，所以根据这些条件可以过滤掉一些不符合要求的线段。另外，由于左跑道线上的线段中点和右跑道线上的线段中点的纵坐标不能相差太远，且左线段中点坐标必须在右线段中点横坐标的左侧，以及候选左右跑道边线的夹角必须大于一定的阈值，所以可以根据这些条件对左右跑道线上的点线段进行配对，并将配对后的结果存储到列表变量中。

左右跑道上的线段配对成功之后，需要进一步决策筛选出真正的左右跑道线。首先根据左右跑道线的线段的斜率和截据计算出任意两条左右跑道线上的线段的交点坐标，然后将交点的横纵坐标分别存储到两个列表中，并对这两个列表中的内容求中值，相当于求出交点横纵坐标的中值，然后就可以求出线段的交点中距离中值交点最近的交点，从而可以进一步得到筛选之后的线段。

在本发明的一个可选实施例中，本发明的检测方法还包括对跑道线检测结果进行时间滤波。对跑道线检测结果进行时间滤波，具体为：

判断当前帧跑道图像是否检测到左跑道线和右跑道线；

若是，则将跑道线检测结果中左跑道线和右跑道线的斜率和截距保存到全局变量中；

否则获取全局变量中存储的左跑道线和右跑道线的斜率和截距。

当检测到左右两条跑道线时，将跑道线的斜率和截据信息存储到全局变量中，当下一次没有检测到左右两条跑道线时，就利用上一次检测到的跑道线信息，同时还可以设置一个累加器，能够对没有检测到的连续帧数进行计数，即当连续很多帧都没有检测到左右跑道线时，则不利用时间滤波的信息。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (8)

1.一种基于视觉的固定翼无人机自主着陆跑道检测方法，其特征在于，包括以下步骤：

S1、对采集的跑道图像进行灰度化处理；

S2、建立静态蒙版对步骤S1处理后的跑道图像进行图像切割，具体为：

首先创建一个与待处理的跑道图像相同大小的像素值全为0的图像掩膜；

然后选取多个像素点在所创建的图像掩膜上绘制多边形，并将多边形区域内的像素值填充为255，建立静态蒙版；

最后将建立的静态蒙版与待处理的跑道图像对应的像素进行按位与运算，得到图像分割后的跑道图像；

S3、采用自适应直方图均衡化方法对步骤S2得到的跑道图像进行图像增强处理；

S4、采用高斯滤波方法对步骤S3处理后的跑道图像进行平滑和模糊处理；

S5、采用sobel算子对步骤S4处理后的跑道图像进行边缘检测；

S6、判断上一帧跑道图像是否检测到跑道线；

若是，则根据上一帧跑道图像检测到的跑道线建立动态蒙版对步骤S5处理后的跑道图像进行图像切割；其中根据上一帧跑道图像检测到的跑道线建立动态蒙版，具体为：

计算上一帧跑道图像检测到的左跑道线和右跑道线的交点坐标，并根据先验信息确定上边界偏移量，将交点坐标的纵坐标向上偏移所确定的上边界偏移量，得到动态上边界；

计算上一帧跑道图像检测到的起始跑道线分别与左跑道线和右跑道线的交点坐标，并根据先验信息确定下边界偏移量，将起始跑道线分别与左跑道线和右跑道线的交点坐标的纵坐标向下偏移所确定的下边界偏移量，得到动态下边界；

根据先验信息确定左边界偏移量，将起始跑道线与左跑道线的交点坐标的横坐标向左偏移所确定的左边界偏移量，得到动态左边界；

根据先验信息确定右边界偏移量，将起始跑道线与右跑道线的交点坐标的横坐标向右偏移所确定的右边界偏移量，得到动态右边界；

根据动态上边界、动态下边界、动态左边界和动态右边界确定的图像范围建立动态蒙版；

否则，不进行图像切割；

S7、采用Hough变换方法对步骤S6得到的跑道图像进行直线检测；

S8、对步骤S7检测到的直线进行空间滤波，得到跑道线检测结果。

2.根据权利要求1所述的基于视觉的固定翼无人机自主着陆跑道检测方法，其特征在于，步骤S3中采用自适应直方图均衡化方法对步骤S2得到的跑道图像进行图像增强处理，具体为：

首先将步骤S2得到的跑道图像划分为设定大小的像素块，对每个像素块进行直方图均衡化处理；

然后对相邻像素块之间的变换函数进行平滑插值，得到图像增强后的跑道图像；

所述变换函数表示为：

其中，s为跑道图像变换得到的对应位置的灰度值，r为跑道图像的原始灰度值，L为跑道图像的灰度级数量，p _r(x)为原始灰度值r的概率密度函数。

3.根据权利要求1所述的基于视觉的固定翼无人机自主着陆跑道检测方法，其特征在于，步骤S8中对步骤S7检测到的直线进行空间滤波，得到跑道线检测结果，具体为：

将步骤S7检测到的直线中斜率大于0和小于0的直线的斜率和截距以及直线上的点坐标分别保存到左跑道线列表和右跑道线列表中；

采用斜率约束和线长约束对左跑道线列表和右跑道线列表中的直线进行筛选；

对筛选后的左跑道线列表和右跑道线列表中的直线进行线段配对；

采用中值约束对配对的左跑道线列表和右跑道线列表中的直线进行筛选，得到跑道线检测结果。

4.根据权利要求3所述的基于视觉的固定翼无人机自主着陆跑道检测方法，其特征在于，所述采用斜率约束和线长约束对左跑道线列表和右跑道线列表中的直线进行筛选，具体为：

判断左跑道线列表和右跑道线列表中的直线的斜率是否超出设定的斜率阈值范围；若是，则删除该直线；否则保留该直线；

根据左跑道线列表和右跑道线列表中的直线的斜率和截距分别计算两条直线的交点坐标；

判断交点坐标的横坐标或纵坐标是否超出跑道图像的横纵坐标的阈值范围；若是，则删除该交点坐标对应的两条直线；否则保留该交点坐标对应的两条直线；

判断交点坐标的纵坐标是否大于该交点坐标对应的两条直线上两点连成线段的纵坐标；若是，保留该交点坐标对应的两条直线；否则删除该交点坐标对应的两条直线；

根据左跑道线列表和右跑道线列表中的直线上点的坐标分别计算各条直线的线段长度；

判断线段长度是否大于设定的线段长度阈值；若是，则保留该线段长度对应的直线；否则删除该线段长度对应的直线。

5.根据权利要求3所述的基于视觉的固定翼无人机自主着陆跑道检测方法，其特征在于，所述对筛选后的左跑道线列表和右跑道线列表中的直线进行线段配对，具体为：

遍历筛选后的左跑道线列表中的直线，计算选取的直线的线段中点与右跑道线列表中的直线的线段中点的纵坐标差值；

判断纵坐标差值是否小于设定的纵坐标阈值；若是，则保留选取的直线与右跑道线列表中的直线的线段配对；否则继续遍历筛选后的左跑道线列表中的直线；

判断选取的直线的线段中点的横坐标是否小于所配对的右跑道线列表中的直线的线段中点的横坐标；若是，则保留选取的直线与右跑道线列表中的直线的线段配对；否则删除选取的直线与右跑道线列表中该直线的线段配对；

计算选取的直线与右跑道线列表中的直线的夹角；

判断夹角是否大于设定的夹角阈值；若是，则保留选取的直线与右跑道线列表中的直线的线段配对；否则删除选取的直线与右跑道线列表中该直线的线段配对。

6.根据权利要求3所述的基于视觉的固定翼无人机自主着陆跑道检测方法，其特征在于，所述采用中值约束对配对的左跑道线列表和右跑道线列表中的直线进行筛选，得到跑道线检测结果，具体为：

根据左跑道线列表和右跑道线列表中的直线的斜率和截距分别计算两条直线的交点坐标；

将交点坐标的横坐标和纵坐标分别保存到横坐标列表和纵坐标列表中，并分别计算横坐标列表和纵坐标列表的中值；

分别计算交点与中值坐标点之间的距离，选取距离最小的交点对应的两条直线，得到跑道线检测结果。

7.根据权利要求1所述的基于视觉的固定翼无人机自主着陆跑道检测方法，其特征在于，还包括对跑道线检测结果进行时间滤波。

8.根据权利要求7所述的基于视觉的固定翼无人机自主着陆跑道检测方法，其特征在于，所述对跑道线检测结果进行时间滤波，具体为：

判断当前帧跑道图像是否检测到左跑道线和右跑道线；

若是，则将跑道线检测结果中左跑道线和右跑道线的斜率和截距保存到全局变量中；

否则获取全局变量中存储的左跑道线和右跑道线的斜率和截距。