CN102538782A - 一种基于计算机视觉的直升机着陆引导装置和方法 - Google Patents

Abstract

本发明公开了一种基于计算机视觉的直升机着陆引导装置和方法，该装置包括地面三摄像头视觉传感器系统、前景搜索模块、跟踪匹配模块、位姿解算模块和无线数据传输模块，所述地面三摄像头视觉传感器系统、前景搜索模块、跟踪匹配模块、位姿解算模块和无线数据传输模块依次相连，所述地面三摄像头视觉传感器系统与跟踪匹配模块相连；本发明较之以往视觉引导着陆方案，图像的背景为单调的天空，有效地降低了背景的干扰，减小了噪声；同时，由地面高性能计算机完成图像处理任务，较之机载计算机，有效提升实时性和计算精度。

Description

一种基于计算机视觉的直升机着陆引导装置和方法

技术领域

本发明涉及飞行器导航技术领域，尤其涉及一种无人直升机着陆视觉引导方法以及实现该方法的装置。

背景技术

微小型无人直升机的自主着陆是非常复杂的飞行阶段,它要求在低速和低高度的情况下,获得精确的高度，速度和航向等自身运动信息，并反馈给机载飞行控制系统，以控制飞机的位置和姿态，降落到指定位置。

传统的无人机着陆引导方法是，将机载的全球定位系统（GPS）、惯性导航系统（INS）以及电子罗盘的数据融合来得到直升机的位姿信息。但是由于受限于机载GPS系统的精度，以及降落过噪声干扰、遮挡等原因，GPS 系统无法提供足够精准的位姿信息。而INS和电子罗盘往往存在着较大的积分误差,也无法独立准确地提供定位信息。

针对这一问题，近年来出现利用视觉传感器拍摄地面标志以获取直升机位姿信息的着陆引导方案。但视觉方法需对采集的图像进行复杂的运算处理，以提取上述位姿信息。而受限于直升机的尺寸和载重能力，机载计算机系统的性能有限，这就意味着在运算实时性和运算精度方面存在较大问题。此外，机载视觉传感器在获取地面图像时存在着不同程度的图像抖动，烟雾遮挡等问题，所以仍有必要寻求新的更为完善的直升机着陆方案。

发明内容

为了提高飞机位姿测量的实时性和精度，本发明提供了一种将直升机降落架末端塑料缓冲球作为特征角点，利用视觉传感器实时跟踪角点，并通过图像处理算法获取直升机位姿信息，以引导直升机自主定点着陆的装置和方法。

本发明的目的是通过以下技术方案来实现的：一种直升机着陆引导装置，它包括：地面三摄像头视觉传感器系统、前景搜索模块、跟踪匹配模块、位姿解算模块和无线数据传输模块等，所述地面三摄像头视觉传感器系统、前景搜索模块、跟踪匹配模块、位姿解算模块和无线数据传输模块依次相连，所述地面三摄像头视觉传感器系统与跟踪匹配模块相连。

一种无人直升机着陆视觉引导方法，包括如下步骤：

（1）地面三摄像头视觉传感器系统采集图像；

（2）在步骤1采集的图像中搜索图像前景，即颜色分别为红、黄、蓝、绿的四个机载人工地标；

（3）使用粒子滤波算法实时跟踪上述人工地标；

（4）由位姿解算模块计算直升机相对地坐标系的位置和姿态；

（5）地面站计算机通过无线数据传输模块将步骤4得到的位姿信息传送至连接到飞行控制计算机的接收机，然后通过RS-232接口传输到飞行控制计算机；

（6）飞行控制计算机根据上述位姿信息引导直升机降落到指定位置。

本发明的有益效果是，本发明由于采用了在直升机机体上设置人工地标，由地面多摄像头视觉传感器系统拍摄空中地标的方案，较之直升机机载视觉传感器拍摄地面人工地标的方案，图像的背景为单调的天空，有效地降低了背景的干扰，减小了噪声；同时，由地面高性能计算机完成图像处理任务，较之机载计算机，有效提升实时性和计算精度。此外，本方案采用多摄像头视觉系统从三个角度采集图像信息进行融合，可以有效解决地标间的遮挡问题，增大了系统的测量空间范围。本发明仅在原有硬件基础上增加四个人工地标以及三台摄像头，充分利用了原有的地面站计算机和无线数据传输模块，有效控制了成本。

附图说明

下面结合附图和实施例对本发明进一步说明：

图1是本发明的直升机着陆装置功能框示意图；

图2是地面三摄像头视觉传感器系统结构图；

图3是前景搜索模块软件流程图；

图4是跟踪匹配模块软件流程图； 

图5是位姿解算模块软件流程图；

图6是本发明的直升机着陆方法的流程示意图。

具体实施方式

图1是本发明所涉及的直升机着陆引导装置的功能框图的示例。

如图1所示，本发明直升机着陆引导装置包括：地面三摄像头视觉传感器系统1、前景搜索模块2、跟踪匹配模块3、位姿解算模块4和无线数据传输模块5，地面三摄像头视觉传感器系统1、前景搜索模块2、跟踪匹配模块3、位姿解算模块4和无线数据传输模块5依次相连，地面三摄像头视觉传感器系统1与跟踪匹配模块3相连。

如图2所示，地面三摄像头视觉传感器系统包括三台光学摄像头，其连接关系如图2所示。光学摄像头可以采用罗技公司的C160产品，但不限于此。

如图3所示，前景搜索模块的工作过程如下：将视觉传感器输出的图像由RGB域转为HSV域；经过筛选检测所需的颜色区域，即四个人工地标所对应的红、黄、蓝、绿区域；分别将上述各个颜色区域翻转成反色即绿、蓝、黄、红颜色；将上述两幅图像转化为Gray图像以去除噪声，并进行做差运算，从而消除背景；随后对上述图像运用Canny算子以寻找圆球边缘；最后应用霍夫变换求解上述四个圆的半径以及圆心在图像中的坐标。本模块可以采用C++语言调用OpenCV库函数实现，但不限于此。

上述人工地标为固定在直升机降落架末端的四个硬质塑料缓冲球，其相对于直升机的质心位置已经过标定。上述人工地标可采用日本Futaba公司出产的T-REX 600 Nitro Super Pro 直升机附带的降落架，但不仅限于此。

如图4所示，跟踪匹配模块的工作过程如下：设定粒子数量，确定运动模型为一阶自适应模型；将S2中检测到得四个地标设定为跟踪目标，并使用加权颜色直方图建立目标模型：针对上述每一个人工地标，令目标即投影圆中心坐标为y，直方图量化级数为m，跟踪区域内像素坐标为{x_i}_i=1,2,…,N，建立加权颜色直方图目标模型 p={p_u（y）}_u=1,2,..,m ，其中：

；

；

其中，

为核函数带宽；

为对应于核函数的剖面函数；函数b将像素点根据其颜色值划分到直方图的响应bin中；

为Kronecker函数；u为直方图量化级数； 

并建立初始状态粒子集共N个粒子：

；

其中，

表示第0帧时刻、第i个粒子中该地标投影圆的圆心坐标和半径信息，且每个粒子的初始权重值都为1/N。在后续图像帧中进行系统状态转移以随机传播粒子，并且求解粒子权值；粒子加权后求取上述各目标在像平面中的坐标位置；输出坐标位置值；然后进行重采样，重新分布粒子的位置。本模块可以采用C++语言实现，但不限于此。

如图5所示，位姿解算模块设计实现过程包括如下步骤：已知直升机坐标系和摄像机坐标系的转换关系如下所示：

；

其中，（x_c，y_c，z_c）（x_h，y_h，z_h）分别表示地标中心在摄像头坐标系下的齐次坐标和在直升机坐标系下的齐次坐标；用迭代最小二乘算法求解直升机坐标系相对于摄像头坐标系原点的旋转矩阵R和位移矩阵t；通过解算旋转矩阵可以获得直升机的偏航角、横滚角以及俯仰角；通过解算位移矩阵可以获得直升机的高度信息以及相对于降落点的距离信息。

无线数据传输模块可以采用安美通科技有限公司生产的APC200A-43模块，但不仅限于此。

如图6所示，本发明无人直升机着陆视觉引导方法包括如下步骤：

开始阶段，假设直升机已在全球定位系统的引导下，飞行到地面视觉传感器系统的有效视野范围内。飞行控制计算机切换到本发明涉及的直升机着陆引导装置，以提供着陆所需的高精度位姿信息。

1. 地面三摄像头视觉传感器系统采集图像。

地面三摄像头视觉传感器系统实时采集图像，并将采集的图像传送至前景搜索模块。

2.在步骤1采集的图像中搜索图像前景，即颜色分别为红、黄、蓝、绿的四个机载人工地标。

具体操作如下：前景搜索模块将地面三摄像头视觉传感器系统输出的图像由RGB域转为HSV域；经过筛选检测所需的颜色区域，即四个人工地标所对应的红、黄、蓝、绿区域；分别将上述各个颜色区域翻转成反色即绿、蓝、黄、红颜色；将上述两幅图像转化为Gray图像以去除噪声，并进行做差运算，从而消除背景；随后对上述图像运用Canny算子以寻找圆球边缘；最后应用霍夫变换求解上述四个圆的半径以及圆心在图像中的坐标。

3.使用粒子滤波算法实时跟踪上述人工地标

具体操作如下：在跟踪匹配模块中，设定粒子数量，确定运动模型为一阶自适应模型；将步骤2中检测到的四个地标设定为跟踪目标，并使用加权颜色直方图建立目标模型：针对上述每一个人工地标，令目标即投影圆中心坐标为y，直方图量化级数为m，跟踪区域内像素坐标为{x_i}_i=1,2,…,N，建立加权颜色直方图目标模型 p={p_u（y）}_u=1,2,..,m ，其中：

；

；

其中，

为核函数带宽；

为对应于核函数的剖面函数；函数b将像素点根据其颜色值划分到直方图的响应bin中；为Kronecker函数；u为直方图量化级数；

并建立初始状态粒子集共N个粒子

；

其中表示第0帧时刻、第i个粒子中该地标投影圆的圆心坐标和半径信息，且每个粒子的初始权重值都为1/N。在后续图像帧中进行系统状态转移以随机传播粒子，并且求解粒子权值；粒子加权后求取上述各目标在像平面中的坐标位置；输出坐标位置值；然后进行重采样，重新分布粒子的位置。

4.由位姿解算模块计算直升机相对地坐标系的位置和姿态。

具体操作如下：已知直升机坐标系和摄像机坐标系的转换关系如下所示：

；

其中，（x_c，y_c，z_c）（x_h，y_h，z_h）分别表示地标中心在摄像头坐标系下的齐次坐标和在直升机坐标系下的齐次坐标；用迭代最小二乘算法求解直升机坐标系相对于摄像头坐标系原点的旋转矩阵R和位移矩阵t；通过解算旋转矩阵可以获得直升机的偏航角、横滚角以及俯仰角；通过解算位移矩阵可以获得直升机的高度信息以及相对于降落点的距离信息。

5.地面站计算机通过无线数据传输模块将上述位姿信息传送至连接到飞行控制计算机的接收机，然后通过RS-232接口传输到飞行控制计算机。

6.飞行控制计算机根据上述位姿信息引导直升机降落到指定位置。

依照上述步骤无人直升机可实现安全定点着陆。

Claims (5)

1.一种直升机着陆引导装置，其特征在于，它包括：地面三摄像头视觉传感器系统、前景搜索模块、跟踪匹配模块、位姿解算模块和无线数据传输模块等，所述地面三摄像头视觉传感器系统、前景搜索模块、跟踪匹配模块、位姿解算模块和无线数据传输模块依次相连，所述地面三摄像头视觉传感器系统与跟踪匹配模块相连。

2.一种应用权利要求1所述直升机着陆引导装置的无人直升机着陆视觉引导方法，其特征在于，该方法包括如下步骤：

（1）地面三摄像头视觉传感器系统采集图像；

（2）在步骤1采集的图像中搜索图像前景，即颜色分别为红、黄、蓝、绿的四个机载人工地标；

（3）使用粒子滤波算法实时跟踪上述人工地标；

（4）由位姿解算模块计算直升机相对地坐标系的位置和姿态；

（5）地面站计算机通过无线数据传输模块将步骤4得到的位姿信息传送至连接到飞行控制计算机的接收机，然后通过RS-232接口传输到飞行控制计算机；

（6）飞行控制计算机根据上述位姿信息引导直升机降落到指定位置。

3.根据权利要求2所述的无人直升机着陆视觉引导方法，其特征在于，所述步骤2具体为：将地面三摄像头视觉传感器系统输出的图像由RGB域转为HSV域；经过筛选检测所需的颜色区域，即四个人工地标所对应的红、黄、蓝、绿区域；分别将上述各个颜色区域翻转成反色即绿、蓝、黄、红颜色；将上述两幅图像转化为Gray图像以去除噪声，并进行做差运算，从而消除背景；随后对上述图像运用Canny算子以寻找圆球边缘；最后应用霍夫变换求解上述四个圆的半径以及圆心在图像中的坐标。

4.根据权利要求2所述的无人直升机着陆视觉引导方法，其特征在于，所述步骤3具体为：设定粒子数量，确定运动模型为一阶自适应模型；将步骤2中检测到的四个地标设定为跟踪目标，并使用加权颜色直方图建立目标模型：针对上述每一个人工地标，令目标即投影圆中心坐标为y，直方图量化级数为m，跟踪区域内像素坐标为{x_i}_i=1,2,…,N，建立加权颜色直方图目标模型：p={p_u（y）}_u=1,2,..,m ，其中：

；

；

其中，

为核函数带宽；为对应于核函数的剖面函数；函数b将像素点根据其颜色值划分到直方图的响应bin中；

为Kronecker函数；u为直方图量化级数；

并建立初始状态粒子集共N个粒子：

；

其中

表示第0帧时刻、第i个粒子中该地标投影圆的圆心坐标和半径信息，且每个粒子的初始权重值都为1/N；在后续图像帧中进行系统状态转移以随机传播粒子，并且求解粒子权值；粒子加权后求取上述各目标在像平面中的坐标位置；输出坐标位置值；然后进行重采样，重新分布粒子的位置。

5.根据权利要求2所述的无人直升机着陆视觉引导方法，其特征在于，所述步骤5具体为：已知直升机坐标系和摄像机坐标系的转换关系如下所示：

；

其中，（x_c，y_c，z_c）（x_h，y_h，z_h）分别表示地标中心在摄像头坐标系下的齐次坐标和在直升机坐标系下的齐次坐标；用迭代最小二乘算法求解直升机坐标系相对于摄像头坐标系原点的旋转矩阵R和位移矩阵t；通过解算旋转矩阵可以获得直升机的偏航角、横滚角以及俯仰角；通过解算位移矩阵可以获得直升机的高度信息以及相对于降落点的距离信息。

Images