CN105334347A - 一种基于无人机的粒子图像测速检测系统及方法 - Google Patents

Abstract

本发明公开了一种基于无人机的粒子图像测速检测系统及方法；系统部分包括多旋翼无人机、微型智能相机、万向传动装置、浓度测量仪和地面站监控系统；本发明中万向传动装置可以实现微型智能相机任意角度的拍摄，充分满足科研拍摄需要。本发明中实现的利用无人机搭载微型智能相机并依靠PC上位机完成一个闭环式的大尺度粒子图像检测任务相较于实验室环境下有了很大的突破，在便捷高效地基础上实现了在非常规环境下的检测，具备很大的实用性。

Description

一种基于无人机的粒子图像测速检测系统及方法

技术领域

本发明涉及无人机研究领域，特别涉及一种基于无人机的非常规情况下图像粒子检测系统及其方法。

背景技术

近年来，随着无人机技术的不断发展，其在电力、通信、气象、农林、海洋、勘探、防灾减灾等领域的应用也越来越广泛。多旋翼无人机由于其简单紧凑的机械结构、更加灵活的行动、起降环境要求较低、易操作、可在小氛围内实现起飞、悬停、降落等优异特点，被格外重视。

大尺度粒子图像测速是一种安全、高效的全场流速测量技术。它采用模式识别的方法匹配、跟踪连续视频图像中的水流示踪物，实现流速场的定量表示及可视化。现有的图像粒子测速技术在实验室环境下已经取得较为满意的成果，但是当研究环境改为自然环境下，特别是在一些高危情况下或者科研工作者不能近距离检测的情况下，传统的粒子图像检测就面临一个较为尴尬的处境。作为实验室环境下的粒子图像测速PIV技术在大尺度现场环境下的扩展，不仅可用于常规条件下天然河道水流紊动特性的研究，其非接触特性更使之成为极端条件下河流流量测量少数可行的方法之一，可以克服导致传统测流仪器无法正常施测的难题，而且可以在一些非常规的情况下体现出系统设备强有力的实用性。

发明内容

本发明针对现有技术的不足，提出了一种基于无人机的粒子图像测速检测系统及方法。

一种基于无人机的粒子图像测速检测系统，包括多旋翼无人机、微型智能相机、万向传动装置、浓度测量仪和地面站监控系统；

所述微型智能相机内嵌于万向传动装置内；

所述万向传动装置包括第一步进电机、第二步进电机、第一传动构件、第二传动构件和电机控制器；

所述的第一传动构件与第二传动构件采用扣件式无缝对接；所述第一步进电机驱动第一传动构件，第二步进电机驱动第二传动构件，每个传动构件都能实现在一个平面内旋转，两个构件的旋转平面互成90°；万向传动装置固定在多旋翼无人机的底部；

所述微型智能相机在上位机的控制下驱动第一步进电机、第二步进电机可以实现任意角度的图像拍摄；

所述浓度测量仪包括机械杆、金属探头和传感器；机械杆是一种可伸缩折叠机械结构，可以在上位机的控制下由微电机实现折叠伸缩运动；机械杆顶部与多旋翼无人机的底部相连，机械杆末端设置有金属探头，传感器安装在金属探头上；

地面站监控系统由无线数据收发设备、无线图像接收设备和PC上位机组成；无线数据收发设备接收多旋翼无人机的无线数据收发设备传出的飞行姿态数据，并将其通过计算机软件整合显示在微型计算机的屏幕上；无线图像接收设备接收无线图像发送设备的图像信号，并将图像处理软件显示在PC上位机上，实现图像的捕捉和记录功能。

所述微型智能相机包括处理器模块、CMOS图像传感器模块、光学系统模块、内部寄存器和电源模块；所述光学系统模块包括双滤镜切换器、三可变镜头和补光灯，CMOS图像传感器模块外侧依次设置有双滤镜切换器、三可变镜头；补光灯设置在相机外侧；双滤镜切换器安装在CMOS图像传感器模块外侧，双滤镜切换器中内嵌850～1050nm近红外滤镜和400～1050全光谱滤镜，内部寄存器的信号输出端口接处理器模块。

一种基于无人机的粒子图像测速检测方法，具体包括以下步骤：

步骤1、首先在地面设置好控制点，然后由上位机发送指令，控制无人机打开匣口向待检测区域水面均匀释放示踪物；

步骤2、控制无人机飞行至设定区域后悬停，同时上位机发出控制指令，第一步进电机和第二步进电机驱动两个传动构件调整微型智能相机的角度进行拍摄，通过I²C接口设置内部寄存器，实现图像大小、位置、曝光时间的调节，然后初始化微型智能相机；

步骤3、等待3-5s后判断是否有图像输入，然后开始采图；如果没有图像输入，则返回步骤3，继续等待；

步骤4、从后90帧图像后采集，达到N帧后进行一次判断，若未达到则返回步骤4；

步骤5、对采集的图片进行根据自适应多阈值去噪滤波来进行图像重建，然后读入t₀＝i和t₁＝i+1时刻的两帧图片作为一个图像对，对读入图像对进行运动矢量估计和矢量类型识别操作，然后进行二维小波域滤波与结合时间轴滤波消噪；时间轴滤波将t₀和t₁时刻得到的2个有效瞬时位移场X₀和X₁进行时间轴滤波得到更新后的时间平均位移场X_TA，遵循以下原则：

$X_{TA}=\left\{\begin{array}{cc}{X}_0;& t_0=i\\ X_1;& t_1=i+1\\ (X_0+X_1)/2& t=(t_0+t_1)/2\end{array}\right.$

式中，X_TA为更新后的时间平均位移矢量，t₀和t₁表示相应时刻；然后执行一个判断语句，判断正确率是否大于95％；假设X_TA(x,y)＝0，表示第i帧中坐标为(x,y)的位移场和第i+1帧中的坐标(x,y)的位移场没有变化，对小波域滤波的各位移场的正确迁移路线进行估计：

式中，t表示任意时刻，X_t(x,y)表示任意时刻的位移场，T是一个可调的阈值，流场的矢量正确率为P＝X₀/(X₀+X₁)，若P大于一个可在接收范围内的最低阈值，可以视为为有效的瞬时流场，参与后续的处理；如果不满足判断条件，则舍弃，重新获取，并返回步骤5；

步骤6、利用无线数据收发设备将无人机的飞行姿态数据发送给地面监控系统，以便及时调整飞行姿态；整个采集检测处理及传输的时间控制在15s内完成，图像经过编码H.264压缩后进行无线传输，主要上传流场信息和每一时刻的首帧图像到PC上位机，用于后期标定中的变换系数求解和目标域流场情况可视化；

步骤7、当微型智能相机光轴与水面垂直时，由中心透射投影关系可以推导出目标与所成的像满足相似关系，为获得我们想要的在正射视角下的矢量场，通过流场定标；

步骤8、由于实际定标过程中仍会出现分析区域大小不均匀的情况，采用线性插值法对流场进行网格化处理，采用三线法将矢量箭头绘制在图像中；由于Δt表示帧间时间间隔，最后求出任一点X_t(x,y)出的平均流速矢量；至此完成一次完整的时间平均流速场的测量。

本发明相对于现有技术具有如下的优点：

(1)本发明中万向传动装置可以实现微型智能相机任意角度的拍摄，充分满足科研拍摄需要。

(2)本发明中实现的利用无人机搭载微型智能相机并依靠PC上位机完成一个闭环式的大尺度粒子图像检测任务相较于实验室环境下有了很大的突破，在便捷高效地基础上实现了在非常规环境下的检测，具备很大的实用性。

附图说明

图1是本发明中一次时间平均流场测量过程的流程框图；

图2是本发明中不包括多旋翼无人机的万向传动装置的结构图；

图3是本发明多旋翼无人机结构示意图；

图4是本发明基于无人机的微型智能相机模块结构图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

基于无人机的粒子图像测速检测系统，包括多旋翼无人机1、微型智能相机2、万向传动装置3、浓度测量仪4和地面站监控系统。所述微型智能相机2内嵌于万向传动装置3内。

如图2所示，所述万向传动装置3包括第一步进电机3.1、第二步进电机3.2、第一传动构件3.3、第二传动构件3.4和电机控制器3.5；

所述的第一传动构件3.3与第二传动构件3.4采用扣件式无缝对接，保证结构的稳定；所述第一步进电机3.1驱动第一传动构件3.3，第二步进电机3.2驱动第二传动构件3.4，每个传动构件都能实现在一个平面内旋转，两个构件的旋转平面互成90°；万向传动装置3固定在多旋翼无人机1的底部。

所述微型智能相机2在上位机的控制下驱动第一步进电机3.1、第二步进电机3.2可以实现任意角度的图像拍摄，充分满足采集需要。

如图4所示，所述微型智能相机2包括处理器模块2.1、CMOS图像传感器模块2.2、光学系统模块、内部寄存器和电源模块2.4。

所述光学系统模块包括双滤镜切换器2.3.1、三可变镜头2.3.2和补光灯2.3.3，CMOS图像传感器模块2.2外侧依次设置有双滤镜切换器2.3.1、三可变镜头2.3.2；补光灯2.3.3设置在相机外侧；双滤镜切换器2.3.1安装在CMOS图像传感器模块2.2外侧，双滤镜切换器2.3.1中内嵌850～1050nm近红外滤镜和400～1050全光谱滤镜，内部寄存器的信号输出端口接处理器模块2.1；这种光学滤波技术可以为后续流程中原本复杂的图像增强算法得以简化；补光灯2.3.3的开闭由光敏电阻和处理器模块2.1控制的继电器共同完成，以满足弱光下的拍摄要求。

所述浓度测量仪4包括机械杆、金属探头和传感器。机械杆是一种可伸缩折叠机械结构，可以在上位机的控制下由微电机实现折叠伸缩运动；机械杆顶部与无人机的底部相连，机械杆末端设置有金属探头，传感器安装在金属探头上，用以检测和传输浓度数据。同时可根据检测要求更换相应的浓度测量仪4。

如图3所示，所述多旋翼无人机1包括：多轴飞行器机架1.1、机载电调1.2、锂电池1.3、飞行器飞行控制单元1.4、PMU电源管理单元1.5、气压计、陀螺仪以及PCMS收发模组1.6及其配套遥控器，机载电调1.2、锂电池1.3、飞行器飞行控制单元1.4、PMU电源管理单元1.5、气压计、陀螺仪和PCMS收发模组1.6均安装在多轴飞行器机架1.1上；多轴飞行器机架旋翼的各个电机经机载电调1.2连接飞行器飞行控制单元1.4，气压计用于检测飞行器距离地面高度，陀螺仪用于检测飞行器空中姿态角；飞行器飞行控制单元分别与气压计、陀螺仪、PCMS收发模组相连接，锂电池1.3经PMU电源管理单元1.5与飞行器飞行控制单元1.4连接供电。同时多旋翼无人机1的类型可以根据实际情况进行选用，且机身与支架易于安装或拆卸，从而方便多旋翼无人机的更换。

所述的多轴飞行器机架1.1包括旋翼1.1.1、无刷电机1.1.2、机臂1.1.3、飞行器支架1.1.4；多轴飞行器支架1.1的各个机臂1.1.3上均安装有无刷电机1.1.2，无刷电机1.1.2输出轴连接旋翼1.1.1。

地面站监控系统由无线数据收发设备、无线图像接收设备和PC上位机组成。无线数据收发设备接收无线数据收发设备传出的飞行姿态数据，并将其通过计算机软件整合显示在微型计算机的屏幕上。无线图像接收设备接收无线图像发送设备的图像信号，并将图像处理软件显示在PC上位机上，实现图像的捕捉和记录功能。

如图1所示，一种基于无人的大尺度粒子图像测速检测方法，包括以下步骤：

步骤1、首先在地面设置好控制点，然后由上位机发送指令，控制无人机打开匣口向待检测区域水面均匀释放示踪物。

步骤2、控制无人机飞行至设定区域后悬停，同时上位机发出控制指令，第一步进电机和第二步进电机驱动两个传动构件调整微型智能相机的角度进行拍摄，通过I²C接口设置内部寄存器，实现图像大小、位置、曝光时间等调节，然后初始化微型智能相机。

步骤3、等待3-5s后判断是否有图像输入，然后开始采图。如果没有图像输入，则返回步骤3，继续等待。

步骤4、从后90帧图像后采集，达到N帧后进行一次判断，若未达到则返回步骤4。

步骤5、对采集的图片进行根据自适应多阈值去噪滤波来进行图像重建，然后读入t₀＝i和t₁＝i+1时刻的两帧图片作为一个图像对，对读入图像对进行运动矢量估计和矢量类型识别操作，然后进行二维小波域滤波与结合时间轴滤波消噪。时间轴滤波将t₀和t₁时刻得到的2个有效瞬时位移场X₀和X₁进行时间轴滤波得到更新后的时间平均位移场X_TA，遵循以下原则：

$X_{TA}=\left\{\begin{array}{cc}{X}_0;& t_0=i\\ X_1;& t_1=i+1\\ (X_0+X_1)/2& t=(t_0+t_1)/2\end{array}\right.$

式中，X_TA为更新后的时间平均位移矢量，t₀和t₁表示相应时刻。然后执行一个判断语句，判断正确率是否大于95％。假设X_TA(x,y)＝0，表示第i帧中坐标为(x,y)的位移场和第i+1帧中的坐标(x,y)的位移场没有变化，对小波域滤波的各位移场的正确迁移路线进行估计：

式中，t表示任意时刻，X_t(x,y)表示任意时刻的位移场，T是一个可调的阈值，流场的矢量正确率为P＝X₀/(X₀+X₁)，若P大于一个可在接收范围内的低阈值，可以视为为有效的瞬时流场，参与后续的处理。如果不满足判断条件，否则舍弃，重新获取，返回步骤5。

步骤6、利用无线数据收发设备将无人机的飞行姿态数据发送给地面监控系统，以便及时调整飞行姿态。整个采集检测处理及传输的时间控制在15s内完成，图像经过编码H.264压缩后进行无线传输，主要上传流场信息和每一时刻的首帧图像到PC上位机，用于后期标定中的变换系数求解和目标域流场情况可视化。

步骤7、当微型智能相机光轴与水面垂直时，由中心透射投影关系可以推导出目标与所成的像满足相似关系，为获得我们想要的在正射视角下的矢量场，就需要进行流场定标。流场定标的关键是单应矩阵的求解，本系统采用一种最大似然估计法结合最小二乘法获得平面模板与成像平面的单应矩形求解方法。考虑到定标过程都会涉及复杂的模型和多变的参数，需要进行人机交互，利用Matlab函数库辅助开发完成。

步骤8、由于实际定标过程中仍会出现分析区域大小不均匀的情况，可用线性插值法对流场进行网格化处理，采用三线法将矢量箭头绘制在图像中。由于Δt表示帧间时间间隔，最后可求出任一点X_t(x,y)出的平均流速矢量。至此完成一次完整的时间平均流速场的测量。

Claims (3)

1.一种基于无人机的粒子图像测速检测系统，包括多旋翼无人机、微型智能相机、万向传动装置、浓度测量仪和地面站监控系统；

其特征在于：所述微型智能相机内嵌于万向传动装置内；

所述万向传动装置包括第一步进电机、第二步进电机、第一传动构件、第二传动构件和电机控制器；

所述的第一传动构件与第二传动构件采用扣件式无缝对接；所述第一步进电机驱动第一传动构件，第二步进电机驱动第二传动构件，每个传动构件都能实现在一个平面内旋转，两个构件的旋转平面互成90°；万向传动装置固定在多旋翼无人机的底部；

所述微型智能相机在上位机的控制下驱动第一步进电机、第二步进电机可以实现任意角度的图像拍摄；

所述浓度测量仪包括机械杆、金属探头和传感器；机械杆是一种可伸缩折叠机械结构，可以在上位机的控制下由微电机实现折叠伸缩运动；机械杆顶部与多旋翼无人机的底部相连，机械杆末端设置有金属探头，传感器安装在金属探头上；

地面站监控系统由无线数据收发设备、无线图像接收设备和PC上位机组成；无线数据收发设备接收多旋翼无人机的无线数据收发设备传出的飞行姿态数据，并将其通过计算机软件整合显示在微型计算机的屏幕上；无线图像接收设备接收无线图像发送设备的图像信号，并将图像处理软件显示在PC上位机上，实现图像的捕捉和记录功能。

2.根据权利要求1所述的一种基于无人机的粒子图像测速检测系统，其特征在于：所述微型智能相机包括处理器模块、CMOS图像传感器模块、光学系统模块、内部寄存器和电源模块；所述光学系统模块包括双滤镜切换器、三可变镜头和补光灯，CMOS图像传感器模块外侧依次设置有双滤镜切换器、三可变镜头；补光灯设置在相机外侧；双滤镜切换器安装在CMOS图像传感器模块外侧，双滤镜切换器中内嵌850～1050nm近红外滤镜和400～1050全光谱滤镜，内部寄存器的信号输出端口接处理器模块。

3.一种基于无人的大尺度粒子图像测速检测系统的方法，其特征在于，具体包括以下步骤：

步骤1、首先在地面设置好控制点，然后由上位机发送指令，控制无人机打开匣口向待检测区域水面均匀释放示踪物；

步骤2、控制无人机飞行至设定区域后悬停，同时上位机发出控制指令，第一步进电机和第二步进电机驱动两个传动构件调整微型智能相机的角度进行拍摄，通过I²C接口设置内部寄存器，实现图像大小、位置、曝光时间的调节，然后初始化微型智能相机；

步骤3、等待3-5s后判断是否有图像输入，然后开始采图；如果没有图像输入，则返回步骤3，继续等待；

步骤4、从后90帧图像后采集，达到N帧后进行一次判断，若未达到则返回步骤4；

步骤5、对采集的图片进行根据自适应多阈值去噪滤波来进行图像重建，然后读入t₀＝i和t₁＝i+1时刻的两帧图片作为一个图像对，对读入图像对进行运动矢量估计和矢量类型识别操作，然后进行二维小波域滤波与结合时间轴滤波消噪；时间轴滤波将t₀和t₁时刻得到的2个有效瞬时位移场X₀和X₁进行时间轴滤波得到更新后的时间平均位移场X_TA，遵循以下原则：

式中，X_TA为更新后的时间平均位移矢量，t₀和t₁表示相应时刻；然后执行一个判断语句，判断正确率是否大于95％；假设X_TA(x,y)＝0，表示第i帧中坐标为(x,y)的位移场和第i+1帧中的坐标(x,y)的位移场没有变化，对小波域滤波的各位移场的正确迁移路线进行估计：

式中，t表示任意时刻，X_t(x,y)表示任意时刻的位移场，T是一个可调的阈值，流场的矢量正确率为P＝X₀/(X₀+X₁)，若P大于一个可在接收范围内的最低阈值，可以视为为有效的瞬时流场，参与后续的处理；如果不满足判断条件，则舍弃，重新获取，并返回步骤5；

步骤6、利用无线数据收发设备将无人机的飞行姿态数据发送给地面监控系统，以便及时调整飞行姿态；整个采集检测处理及传输的时间控制在15s内完成，图像经过编码H.264压缩后进行无线传输，主要上传流场信息和每一时刻的首帧图像到PC上位机，用于后期标定中的变换系数求解和目标域流场情况可视化；

步骤7、当微型智能相机光轴与水面垂直时，由中心透射投影关系可以推导出目标与所成的像满足相似关系，为获得我们想要的在正射视角下的矢量场，通过流场定标；

步骤8、由于实际定标过程中仍会出现分析区域大小不均匀的情况，采用线性插值法对流场进行网格化处理，采用三线法将矢量箭头绘制在图像中；由于Δt表示帧间时间间隔，最后求出任一点X_t(x,y)出的平均流速矢量；至此完成一次完整的时间平均流速场的测量。