CN116246187A - 基于动态卷积神经网络的无人机高空拍摄图像检测方法 - Google Patents

Abstract

本发明公开了一种基于动态卷积神经网络的无人机高空拍摄图像检测方法，按照以下步骤进行：对待救援人员数据进行收集、筛选、标注、数据预处理，得到处理图像；将处理图像输入提出的动态卷积神经网络模型进行模型训练、参数调整优化，得到改进型动态卷积神经网络模型；采用无人机摄像头拍摄救援地高空图像；将所述救援地高空图像实时输入至所述改进型动态卷积神经网络模型进行检测识别，输出检测结果，直至找到待救援人员。有益效果搜救速度提升、检测精度高、鉴别成效好、低成本。

Description

基于动态卷积神经网络的无人机高空拍摄图像检测方法

技术领域

本发明属于基于无人机的图像检测技术领域，具体涉及一种基于动态卷积神经网络的无人机高空拍摄图像检测方法。

背景技术

随着技术的不断发展，无人机已经成为搜救行动中的一种重要工具。在户外极端天气与恶劣环境下，无人机可以大大提高搜救行动的效率和安全性。

在极端天气条件下，人们可能会遭遇雪崩、暴雨、洪水等自然灾害，这些灾害会给搜救行动带来很大的挑战。无人机可以利用其高空飞行和远程控制的优势，在恶劣的环境中执行搜救任务，减少搜救人员受到的危险。

此外，无人机还可以提供实时的高清视频和图像数据，这些数据可以帮助搜救人员确定搜救区域，找到被困者的位置，并为救援人员提供必要的信息。无人机还可以利用红外成像技术，通过探测人体热量来发现被困者的位置，这在极端天气下，人们可能被深埋在雪中或泥土中时尤为重要。

在山区或荒野等偏远地区，由于交通不便、地形险峻等原因，搜救行动往往需要耗费大量时间和人力物力。无人机可以通过空中视角快速地搜索和观察大片区域，将搜救范围缩小，提高搜救效率，并且在有限时间内找到被困者，挽救生命。

综上所述，无人机在户外极端天气与恶劣环境下，对于搜救行动的重要性不言而喻。它可以在高危环境中执行搜救任务，提高搜救效率和安全性，为救援人员提供必要的信息和支持，挽救生命。

现有的一种技术方案(参见已有的申请专利：无人机搜救系统、申请号：201922212823.1)，其将便携装置放于待救援设备上，便携装置附带GPS模块对待救援设备初步定位。首先通过GPS模块对待救援人员进行初步定位，上位机获得初步定位信息，出动无人机按规划路线前往初步定位位置，再利用UWB定位模块进一步精确定位。该技术方案虽然能够对定位坠落无人机进行快速搜索和定位，但是在极端恶劣的天气和地理环境下，该方案的可靠性和鲁棒性受到很大影响。在恶劣天气下，例如暴雨、暴风等，地面和空中的可见性会受到极大的限制，导致传感器的精度和灵敏度降低，难以准确识别和定位待搜救人员。同样，在崎岖的地形和复杂的建筑物群中，无人机的位置也可能受到遮挡和干扰，进一步降低定位的准确性。

此外，该技术方案还存在漏掉待救援人员的风险。该方案需要在待搜救人员上安装特定的定位设备，而如果该设备在在恶劣环境中行进过程中损坏或失效，那么搜救系统将无法获取待救援人员的位置信息，从而影响救援的及时性和有效性。

综合来看，虽然该技术方案在一定程度上提高了无人机搜救的效率和准确性，但在极端恶劣的天气和地理环境下以及特殊情况下，仍然存在很大的缺陷和风险，需要进一步加强技术研发和实践应用，提高搜救系统的鲁棒性和可靠性。

发明内容

针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种基于动态卷积神经网络的无人机高空拍摄图像检测方法，目的在于解决在恶劣环境下，高空拍摄图像容易误检、漏检的问题，本发明提出的方法具有检测精度高、鉴别成效好、低成本、高效益的优点。

为了解决上述技术问题，本发明采用了如下的技术方案：

一种基于动态卷积神经网络的无人机高空拍摄图像检测方法，包括无人机检测系统，该无人机检测系统包括无人机，无人机搭载有摄像头、无人机处理器、无人机数据收发器和地面控制器；所述无人机处理器的拍摄控制端连接摄像头，无人机处理器收发端连接无人机数据收发器，该无人机数据收发器与地面控制器连接；

其关键步骤在于，图像检测方法按照以下步骤进行：

步骤1：对待救援人员数据进行收集、筛选和标注，获得标注待救援人员数据，对获得数据进行数据预处理，得到处理图像；

所述待救援人员数据可以是人脸图像、穿着衣物图像、携带物品图像；

步骤2：将处理图像输入提出的动态卷积神经网络模型进行模型训练、参数调整优化，得到改进型动态卷积神经网络模型；

步骤3：采用无人机摄像头拍摄救援地高空图像；

步骤4：将所述救援地高空图像实时输入至所述改进型动态卷积神经网络模型进行检测识别，输出检测结果，直至找到待救援人员。

通过上述设计，在深层卷积神经网络上改进的优良的分类网络，其改进增加的调优层会根据输入的图像动态调整网络的权值，根据每张图像数据集类型使用不同的权值进行识别，此类网络能更好的适应户外的搜救人员这种类型复杂的数据集，提高了检测网络在恶劣环境下识别的准确性，避免漏检、误检，达到高效救援的目的。

进一步的技术方案为步骤1中所述处理图像的步骤为：

步骤11：将待救援人员数据中目标图像进行提取；

步骤12：对目标图像进行镜像填充，使各边都能切出整数的补丁patch和边界区域进行预测时获得上下文信息；

步骤13：按序切片，为避免重叠，将所有补丁patch之间设置一个固定间隔；

步骤14：根据预设尺寸，对图像进行尺寸调节，得到处理图像。

采用上述图像处理操作实现数据增强、数据集制作、数据预处理，得到想要的图像数据。

再进一步的技术方案为：所述动态卷积神经网络模型包括主体网络和调优网络，所述主体网络设置有8个卷积层、4个池化层、3个全连接层；所述调优网络由三个卷积神经网络组成，所述主体网络激活函数使用softmax激活函数。

再进一步的技术方案为：在步骤2中将处理图像输入提出的动态卷积神经网络模型进行模型训练时，先进入所述主体网络的前3个卷积层依次对处理图像进行卷积操作和池化操作，当图像传输到主体网络的第4、5、6卷积层时，所述调优网络会根据输入的图像的种类对对应的第4、5、6卷积层的权重系数进行微调，即第4、5、6卷积层为调优层；随后传入7、8层进行卷积后池化依次送入全连接层，最后由激活函数进行处理输出结果。

再进一步的技术方案为：在一、二、三和七、八卷积层和后三层全连接层前向传播为普通的卷积神经网络，计算公式如下：

其中

表示第l层第j个特征图，

表示第l层第j个特征图其中一个元素，

表示l-1层到l层之间的一个卷积核，

是相应的偏置，*表示卷积操作，σ是Sigmoid激活函数；

在改进的动态调优层：四、五、六卷积层的前向传播表达式为：

其中，

表示从调优层传过来的调优权重系数，α是一个超参数，用来调整调优层的影响。

再进一步的技术方案为：在步骤2中，所述训练阶段训练时，在反向传播中会将前向传播的输出值与期望值进行比较的得到差值，然后再以损失函数梯度下降的形式整个网络进行回传调整参数；

在一、二、三和七、八卷积层和后三层全连接中反向传播为普通的卷积神经网络，计算公式如下：

其中，δ^l表示l层的误差，

表示梯度这里等于损失函数对激活函数输出的求导即

表示Hadamard乘积，f表示Sigmoid激活函数，w是权重系数矩阵；

在改进的动态调优层：四、五、六卷积层的反向向传播误差表达式为：

其中，

表示第l层第j个特征图与第l+1层第i个特征图之间的误差，

表示从调优层传过来的调优权重系数。

其中，调优层是由三个不同输出的卷积神经网络组成，他对主干网络的调优实现原理是将调优层卷积神经网络的输出点乘一个调整参数α再生成调整权重系数矩阵用来影响主干网的参数，调优层的前向传播和反向传播原理与普通卷积神经网络一致。

再进一步的技术方案为所述动态卷积神经网络模型进行模型训练过程或在所述无人机处理器内运行；所述动态卷积神经网络模型进行模型训练过程或所述地面控制器内运行。

与现有技术相比，本发明的有益效果是：

本发明所应用的动态卷积神经网络改进增加的调优层会根据输入的图像动态调整网络的权值，根据每张图像数据集类型使用不同的权值进行识别，此类网络能更好的适应户外的搜救人员这种类型复杂的数据集，提高了检测网络在恶劣环境下识别的准确性，避免漏检、误检，达到高效救援的目的；采用本发明方案无人机在极端天气所受到的恶劣影响：无人机可以在危险区域或恶劣天气条件下进行搜索和救援，从而避免了人员伤亡的风险。例如，在山区、海上或火灾现场等危险区域，无人机可以帮助救援人员迅速找到被困者，并避免降低救援人员的安全风险；基于动态卷积神经网络的无人机检测方法不需要昂贵的器材和专业的检测设备就能取得优良的效果，所用的系统装置后期易于维护，维护成本低。

附图说明

图1为无人机检测系统框图；

图2为动态卷积神经网络的结构示意图；

图3为本发明检测流程图。

具体实施方式

下面结合附图对本发明作进一步的详细说明。

具体实施时：如图1至图3所示，

一种基于动态卷积神经网络的无人机高空拍摄图像检测方法，包括无人机检测系统，结合图1可以看出，该无人机检测系统包括无人机，无人机搭载有摄像头、无人机处理器、无人机数据收发器和地面控制器；所述无人机处理器的拍摄控制端连接摄像头，无人机处理器收发端连接无人机数据收发器，该无人机数据收发器与地面控制器连接；

其特征在于，结合图3可以看出，图像检测方法按照以下步骤进行：

步骤1：对待救援人员数据进行收集、筛选和标注，获得标注待救援人员数据，对获得数据进行数据预处理，得到处理图像；

步骤1中所述处理图像的步骤为：

步骤11：将待救援人员数据中目标图像进行提取；

步骤12：对目标图像进行镜像填充，使各边都能切出整数的补丁patch和边界区域进行预测时获得上下文信息；

步骤13：按序切片，为避免重叠，将所有补丁patch之间设置一个固定间隔；

步骤14：根据预设尺寸，对图像进行尺寸调节，得到处理图像。

在本实施例中，数据增强，在取得图片后，对图片进行旋转分别旋转90度、180度、270度后加入椒盐噪声，这样原来的图片就增加到原来的5倍，增加后的检测网络的鲁棒性得到了较大的提升，由于无人机所处的环境、光源的强弱影响会造成检测效果的不确定性，因此要采集不同的待救援人员，不同环境下的图像。数据集制作，获得数据图像后选择大多数图像使用RectLabel工具对相关的目标进行标注，处理结束后我们得到训练集。剩余的图像分成验证集和测试集，用来调整参数和测试网络。

数据预处理，将数据导入预处理工具对，原图进行镜像填充，使各边都能切出整数的patch和边界区域进行预测时获得上下文信息；按序切片，为避免重叠，各patch之间设置一个固定间隔；对图像进行resize，采用双线性插值法：

在本实施例中，得到需要的固定尺寸大小为224×224。

所述待救援人员数据至少包括人脸图像；

步骤2：将处理图像输入提出的动态卷积神经网络模型进行模型训练、参数调整优化，得到改进型动态卷积神经网络模型；

在本实施例中，所述动态卷积神经网络模型进行模型训练过程在所述地面控制器内运行。

本实施例中，结合图2可以看出，无人机检测所依附的动态卷积神经网络的原理：主体卷积神经网络包含8个卷积层、4个池化层、3个全连接层，调优层对应着不同的调节对象拥有不同维度的卷积神经网络结构；测试时，当图像被输入到网络中时先将图片进行三次卷积，减少计算量，增加非线性判别能力，随后送入调优层调节的卷积层以此来对不同的图像进行权值动态调整，随后再送入卷积层和全连接层进一步增强特征学习能力后输入分类结果。

将处理图像输入提出的动态卷积神经网络模型进行模型训练时，先进入所述主体网络的前3个卷积层依次对处理图像进行卷积操作和池化操作，当图像传输到主体网络的第4、5、6卷积层时，所述调优网络会根据输入的图像的种类对对应的第4、5、6卷积层的权重系数进行微调，即第4、5、6卷积层为调优层；随后传入7、8层进行卷积后池化依次送入全连接层，最后由激活函数进行处理输出结果。

在一、二、三和七、八卷积层和后三层全连接层前向传播为普通的卷积神经网络，计算公式如下：

其中

表示第l层第j个特征图，

表示第l层第j个特征图其中一个元素，

表示l-1层到l层之间的一个卷积核，

是相应的偏置，*表示卷积操作，σ是Sigmoid激活函数；

得到期望值与输出值的差值，使用平方损失函数：

在改进的动态调优层：四、五、六卷积层的前向传播表达式为：

其中，

表示从调优层传过来的调优权重系数，α是一个超参数，用来调整调优层的影响。

所述训练阶段训练时，在反向传播中会将前向传播的输出值与期望值进行比较的得到差值，然后再以损失函数梯度下降的形式整个网络进行回传调整参数；

在一、二、三和七、八卷积层和后三层全连接中反向传播为普通的卷积神经网络，得到训练好的权值。计算公式如下：

其中，δ^l表示l层的误差，

表示梯度这里等于损失函数对激活函数输出的求导即

表示Hadamard乘积，f表示Sigmoid激活函数，w是权重系数矩阵；

在改进的动态调优层：四、五、六卷积层的反向向传播误差表达式为：

其中，

表示第l层第j个特征图与第l+1层第i个特征图之间的误差，

表示从调优层传过来的调优权重系数。

步骤3：采用无人机摄像头拍摄救援地高空图像；

步骤4：将所述救援地高空图像实时输入至所述改进型动态卷积神经网络模型进行检测识别，输出检测结果，直至找到待救援人员。

本发明通过合理的系统结构和检测的流程设计，对极端天气和恶劣环境对无人机搜救造成的影响都进行了考虑，通过改良的动态卷积神经网络，无论天气和环境是好或坏都可以被检测，从而及时避免漏检、误检，大大提高救援效率；此外，利用设计的结构大大提高了无人机搜救的速度，提高了救援效率，降低了成本；采用本技术方案，可以获得更为准确的检测结果，相对现有技术来说，技术进步明显，具有突出的特点。

以上仅是本发明优选的实施方式，需指出的是，对于本领域技术人员在不脱离本技术方案的前提下，作出的若干变形和改进的技术方案应同样视为落入本权利要求书要求保护的范围。

Claims (7)

1.一种基于动态卷积神经网络的无人机高空拍摄图像检测方法，包括无人机检测系统，该无人机检测系统包括无人机，无人机搭载有摄像头、无人机处理器、无人机数据收发器和地面控制器；所述无人机处理器的拍摄控制端连接摄像头，无人机处理器收发端连接无人机数据收发器，该无人机数据收发器与地面控制器连接；

其特征在于，图像检测方法按照以下步骤进行：

步骤1：对待救援人员数据进行收集、筛选和标注，获得标注待救援人员数据，对获得数据进行数据预处理，得到处理图像；

步骤2：将处理图像输入提出的动态卷积神经网络模型进行模型训练、参数调整优化，得到改进型动态卷积神经网络模型；

步骤3：采用无人机摄像头拍摄救援地高空图像；

步骤4：将所述救援地高空图像实时输入至所述改进型动态卷积神经网络模型进行检测识别，输出检测结果，直至找到待救援人员。

2.根据权利要求1所述的基于动态卷积神经网络的无人机高空拍摄图像检测方法，其特征在于：

步骤1中所述处理图像的步骤为：

步骤11：将待救援人员数据中目标图像进行提取；

步骤12：对目标图像进行镜像填充，使各边都能切出整数的补丁patch和边界区域进行预测时获得上下文信息；

步骤13：按序切片，为避免重叠，将所有补丁patch之间设置一个固定间隔；

步骤14：根据预设尺寸，对图像进行尺寸调节，得到处理图像。

3.根据权利要求1所述的基于动态卷积神经网络的无人机高空拍摄图像检测方法，其特征在于：所述动态卷积神经网络模型包括主体网络和调优网络，所述主体网络设置有8个卷积层、4个池化层、3个全连接层；所述调优网络由三个卷积神经网络组成，所述主体网络激活函数使用softmax激活函数。

4.根据权利要求1所述的基于动态卷积神经网络的无人机高空拍摄图像检测方法，其特征在于：在步骤2中将处理图像输入提出的动态卷积神经网络模型进行模型训练时，先进入所述主体网络的前3个卷积层依次对处理图像进行卷积操作和池化操作，当图像传输到主体网络的第4、5、6卷积层时，所述调优网络会根据输入的图像的种类对对应的第4、5、6卷积层的权重系数进行微调，即第4、5、6卷积层为调优层；随后传入7、8层进行卷积后池化依次送入全连接层，最后由激活函数进行处理输出结果。

5.根据权利要求4所述的基于动态卷积神经网络的无人机高空拍摄图像检测方法，其特征在于：在一、二、三和七、八卷积层和后三层全连接层前向传播为普通的卷积神经网络，计算公式如下：

其中

表示第l层第j个特征图，

表示第l层第j个特征图其中一个元素，

表示l-1层到l层之间的一个卷积核，

是相应的偏置，*表示卷积操作，σ是Sigmoid激活函数；

在改进的动态调优层：四、五、六卷积层的前向传播表达式为：

其中，

表示从调优层传过来的调优权重系数，α是一个超参数，用来调整调优层的影响。

6.根据权利要求5所述的基于动态卷积神经网络的无人机高空拍摄图像检测方法，其特征在于：在步骤2中，所述训练阶段训练时，在反向传播中会将前向传播的输出值与期望值进行比较的得到差值，然后再以损失函数梯度下降的形式整个网络进行回传调整参数；

在一、二、三和七、八卷积层和后三层全连接中反向传播为普通的卷积神经网络，计算公式如下：

其中，δ^l表示l层的误差，

表示梯度这里等于损失函数对激活函数输出的求导即

⊙表示Hadamard乘积，f表示Sigmoid激活函数，w是权重系数矩阵；

在改进的动态调优层：四、五、六卷积层的反向向传播误差表达式为：

其中，

表示第l层第j个特征图与第l+1层第i个特征图之间的误差，

表示从调优层传过来的调优权重系数。

7.根据权利要求1所述的基于动态卷积神经网络的无人机高空拍摄图像检测方法，其特征在于：所述动态卷积神经网络模型进行模型训练过程或在所述无人机处理器内运行；

所述动态卷积神经网络模型进行模型训练过程或所述地面控制器内运行。

Images