CN113177956A - 一种面向无人机遥感影像的语义分割方法 - Google Patents

Abstract

本发明公开一种面向无人机遥感影像的语义分割方法，首先进行了分块处理，然后逐块进行遥感影像语义分割，这降低了方法读取遥感影像数据的规模，减少了语义分割处理中出现内存溢出的风险。本发明设计并实现了变焦器用于提取不同空间范围的目标图像，通过构建特征化的图像金字塔，保留了目标图像中最完备的关键特征信息，能够得到最为准确的分类预测值，从而确保像元的高分类精度。本发明在实施中将图像切片采用多进程、图像语义分割并行处理方式，用以降低总体运行时间成本。本发明在分类器中使用轻量化的卷积神经网络，在确保图像分类精度不降低的情况下，最大程度地降低了模型体量，减少了方法在应用中耗占的内存及磁盘空间。

Description

一种面向无人机遥感影像的语义分割方法

技术领域

本发明涉及图像语义分割领域，具体涉及一种面向无人机遥感影像的语义分割方法。

背景技术

图像语义分割是遥感影像计算机解译中的重要手段。通过语义分割可以判定影像中的每个像元的类属，从而生成土地覆盖/利用分类图。在现阶段的土地利用分类调查中，无人机低空遥感影像数据因使用方便、获取成本低、空间分辨率高等特点极大提高了工作效率。然而无人机遥感影像相比常规的中、高空遥感(航空、卫星遥感)影像包含了更为复杂的地物目标信息，这使得传统的分割方法，如支撑向量机分类、神经网络分类、决策树分类、专家系统分类等的应用受到了较大限制。在人工智能技术快速发展的背景下，深度学习由于可以从海量图像数据中直接学习图像特征表达从而解决了较多的计算机视觉任务，如图像分类、图像识别、图像分割等。这使得深度学习正逐渐成为遥感影像地物分类的新方法。

目前，应用深度学习进行遥感影像分类方法主要基于经典或先进的图像分割模型。全连接网络(Fully Convolutional Networks，FCN)是最基础的图像分割框架。FCN将卷积神经网络后面的全连接层全部改为卷积层，以获取低维到高维特征图。然后在不同维度特征图上进行逐像素分类预测，并对其上采样扩展到原图像尺寸，最后进行预测结果融合。由于FCN主要利用深层网络提取特征并分类，因此对小尺寸物体不敏感，且对图像中的分割细节不精确。U-Net模型是FCN的改进和延伸，它沿用了FCN进行图像语义分割的思想，即利用卷积层、池化层进行特征提取，再利用反卷积层还原图像尺寸。U-Net结构采用对称的压缩-扩展通道。压缩通道用于捕获上下文，逐层提取图像特征，扩展通道用于精确定位，还原影像的位置信息。实验证明，U-Net模型在较少训练样本下也能取得较为准确的分类结果。然而该模型通常用于二值化语义分割，对多类标签语义分割需要额外修改模型结构。SegNet模型和FCN类似，也移除了全连接层。SegNet的核心结构包括编码器网络、解码器网络和逐像素分类层。其中，编码器部分使用的是VGG-16网络的前13层卷积层，通过下采样提取图像高维特征图。每个编码器层都对应一个解码器层，用于将低分辨率的特征图进行上采样以映射到全输入分辨率特征图，以进行像素分类。数据验证显示，该模型的训练速度和分割精度都优于FCN模型，但该模型独立于像素进行分类，没有考虑像素之间的空间关系，这导致分割的结果具有块状效应。为此，DeepLab模型通过在卷积网络最后层引入全连接条件随机场(Conditional Random Field，CRF)来恢复目标边界细节，达到准确定位。基于语义分割，Mask-RCNN的出现提升了分割任务的层次，即处理实例分割。Mask-RCNN沿用了Faster RCNN的思想，特征提取采用ResNet残差网络，另外多加了一个Mask预测分支。Mask-RCNN架构仍然采用两步法策略，首先是找出区域生成网络(Region Proposal Network，RPN)，然后对RPN找到的每个兴趣区进行分类、定位，并计算二值化掩膜。这使得Mask RCNN具有较高的分割精度，同时特征金字塔网络(Feature Pyramid Network，FPN)策略使该模型能支持多尺度检测。

尽管上述分割模型在图像测试数据集上取得了较好的分割效果，但对于无人机遥感影像而言，其分割精度和运行效率仍面临巨大挑战。首先无人机遥感影像地物较为复杂，目标尺度多变，训练样本不充足，这使得上述模型的分类精度较低。其次无人机遥感影像数据规模较大，上述分割模型由于网络较深，模块较多使其模型体积庞大，这导致模型在读取影像数据，装载权重文件和预测分类结果时运行效率不高。最后分割模型在提取目标物特征方面存在信息衰减问题，特别是对于小目标物，这使得模型在分割小尺寸地物时效果不好。当前图像分割模型主要基于卷积层提取特征，如单一特征图，金字塔特征层次和特征金字塔网络。这三种方式虽然能提取高维抽象图像特征，但无一例外会损失掉部分或大部分图像原有的关键特征。相比之下，特征化的图像金字塔在所有层级都具有较强语义，能尽可能保留全部图像特征信息，且在ImageNet和COCO检测挑战赛排名靠前的算法中应用较多，但耗时较大，对计算量和内存要求也较高。可见，上述问题的存在制约了深度学习语义分割模型在无人机遥感影像分类方面的应用，这亟待解决和处理。

发明内容

发明目的：本发明的目的是针对现有图像语义分割算法在无人机遥感影像分类方面精度不高、效率低下问题，从而提出的一种高精度无人机遥感影像语义分割方法。该方法不仅能够实现较好分割效果，而且对遥感影像分类精度有很大提升，达到准确分割高分辨率无人机遥感影像的目的。

技术方案：本发明所述的一种面向无人机遥感影像的语义分割方法，包括如下步骤：

(1)图像预处理：对无人机遥感影像进行图像增强处理，包括图像去燥、图像锐化和图像均衡化等操作；

(2)参数初始化：对方法中涉及到的参数，如图像分块尺寸s、图像切片个数n、变焦器窗口半径r、变焦级别(即焦距)f等进行初始化；

(3)图像分块及切片：根据预设图像分块尺寸，对原始图像进行按块划分，并按块编号进行临时存储，为保持边界语义性完整，相邻两图像块之间要重叠m₁个像元。根据块编号，创建图像分块队列，按出队顺序依次对各图像块进行语义分割处理。根据预设图像切片个数，对待处理图像块进行等距切分，为保持边界语义性完整，相邻两图像切片之间要重叠m₂个像元。

(4)构建图像分割进程池：根据设定CPU核数，构建进程池，将进程池中的子进程按异步非阻塞式处理任务。将上述步骤切分的各图像切片分别送入子进程，创建并行图像分割任务。

(5)跳跃遍历像元，利用变焦器提取目标子图：以图像切片坐标系为基准，利用变焦器初始焦距逐像元滑动提取目标子图。当目标子图经分类后的输出概率低于阈值时，根据变焦级别进行升尺度变焦，扩大提取目标子图范围。当对目标子图分类完成后，变焦器恢复初始焦距按跨度对像元进行跳跃遍历，提取下一个目标子图。

(6)分类器分类：利用分类器对提取的图像切片中的目标子图进行分类，输出中心像元的分类结果，完成图像切片中的语义分割；

(7)图像切片合并及边界融合：对完成语义分割的各图像切片进行合并，对重叠边界进行融合处理。

(8)图像块合并及边界融合：对完成语义分割的各图像块按块编号进行合并，对重叠边界进行融合处理。

(9)后处理：对经上述步骤处理后的语义分割图像进行后处理，得到更为准确的遥感影像分类结果。

优选的，在上述步骤(1)中，去除图像噪点(比如椒盐点)主要采用卷积核为3×3的中值和均值滤波，即利用噪声像元邻域中强度值的中间值和平均值来取代及消除掉噪声像元。为突出地物目标边界使用的图像锐化操作主要为4领域和8领域的拉普拉斯算子(Laplace Operator)。为保持图像各区域亮度一致性及提高部分区域图像清晰度所使用的图像均衡化方法主要为全局直方图均衡化。

优选的，在上述步骤(2)中，需要初始化的参数主要包括：图像分块尺寸s，图像分块重叠像元数m1，图像切片个数n，图像切片重叠像元数m2，进程池CPU核数，变焦器变焦级别(即焦距)f及平移系数c，分类概率阈值thr等。

优选的，在上述步骤(3)中，图像分块编号格式为：序号_行索引_列索引。其中序号为块的唯一标识，由原图像尺寸和图像块尺寸计算得出，行索引和列索引分别由按高度分块数和按宽度分块数得出。

bid＝N_row*N_col＝f_ceil(H/s)*f_ceil(W/s)

式中，bid为图像块的序号，N_row为按高度分块数，N_col为按宽度分块数，f_ceil()为向上取整函数，H和W分别为原始图像的像素高度和宽度，s为图像块尺寸。

优选的，在上述步骤(5)中，变焦器具有相机镜头的自动变焦功能，且变焦器窗口大小r与变焦级别f具有如下关系：

r＝R(f)＝2*f+c

式中，r为窗口大小，f为变焦级别，c为平移系数。当f取值较小时，变焦器捕捉的地物空间范围较小，反之较大。

变焦器是否变焦和当前提取的地物图像的分类概率有关，并用下式表达：

式中，p为最大分类概率，thr为概率阈值。

变焦器从当前像素移动到下一个像素的跨度和变焦级别有关，并用下式表达：

k＝K_ceil(f/2)

式中，k为跨度，K_ceil为向上取整函数。

一般情况下，变焦器不会启动变焦机制，它会以所在像元为中心，根据初始变焦级别计算窗口大小然后提取目标图像进行后续分类。但当分类概率低于相应阈值时，变焦器会启动变焦机制，逐步扩大目标图像范围，直至分类概率满足分类要求为止。重复此过程，会形成一系列的特征化的图像金字塔。这些图像由于保持最完备的关键特征信息，因此能够得到最为准确的分类值。

优选的，在上述步骤(6)中，对目标子图进行类别判定的分类器主要采用轻量化的卷积神经网络，它由一系列卷积层(压缩层和扩展层)、池化层、归一化层、激活函数层和全连接层构成。在使用分类器之前可预先在遥感影像上选择样本兴趣区进行分类训练，其中学习率在训练过程中按步长(Multistep)进行动态调整。

优选的，在上述步骤(7)中，图像重叠边界融合方法主要采用卷积核为5×5的中值滤波。

优选的，在上述步骤(8)中，图像重叠边界融合方法主要采用卷积核为5×5的中值滤波。

优选的，在上述步骤(9)中，最后生成的语义分割图像可能存在小部分虚假像元，如破碎斑块、孤岛像元等。为有效去除虚假像元，该过程处理主要采用腐蚀和膨胀操作来处理。

本发明的有益效果：

本发明不仅能够实现较好分割效果，而且对遥感影像分类精度有很大提升，达到准确分割高分辨率无人机遥感影像的目的。

1)本发明针对无人机遥感影像空间大尺度的特点，首先进行了分块处理，然后逐块进行遥感影像语义分割，这降低了方法读取遥感影像数据的规模，减少了语义分割处理中出现内存溢出的风险。

2)本发明设计并实现了变焦器用于提取不同空间范围的目标图像，通过构建特征化的图像金字塔，保留了目标图像中最完备的关键特征信息，能够得到最为准确的分类预测值，从而确保像元的高分类精度。

3)本发明在实施中采用多进程，图像语义分割并行处理方式，用以降低总体运行时间成本。此外，变焦器的跳跃遍历也缩短了运行时间。这确保了遥感影像语义分割的时效性。

4)本发明在分类器中使用轻量化的卷积神经网络，在确保图像分类精度不降低的情况下，最大程度地降低了模型体量，减少了方法在应用中耗占的内存及磁盘空间。

附图说明

为了更清晰地说明本发明实施例中的技术方案，下面将对实施例中所需要，使用的附图简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载，的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种面向无人机遥感影像的图像语义分割方法的流程示意图。

图2为本发明实施例中的图像分块及切片示意图。

图3为本发明实施例中的变焦器结构及构建的图像金字塔示意图。

图4为本发明实施例中的分类器结构示意图。

图5为本发明实施例中的无人机遥感影像语义分割效果图。

具体实施方式

下面结合具体实施例和附图对本发明的技术方案作进一步详细说明。具体的，本发明是一种面向无人机遥感影像的语义分割方法，如图1所示，其具体步骤包括如下：

(1)图像预处理：对无人机遥感影像进行增强处理，以达到减少噪声、突出细节的目的，主要包括图像去燥、图像锐化和图像均衡化等操作。

在上述步骤中，图像噪声(比如椒盐噪声)处理主要采用卷积核为3×3的中值和均值滤波，即利用噪声像元邻域中强度值的中间值和平均值来取代及消除掉噪声像元。为突出地物目标边界使用的图像锐化操作主要为4领域和8领域的拉普拉斯算子(LaplaceOperator)。为保持图像各区域亮度一致性及提高部分区域图像清晰度所使用的图像均衡化方法主要为全局直方图均衡化。

在上述步骤中，拉普拉斯算子的处理过程描述为：首先利用边缘增强算子，突出图像中的局部边缘，然后从边缘强度较大的地方开始，沿着两个不同方向逐步跟踪边缘点，直到两条轨迹相遇并形成一条闭合的轮廓线。

(2)参数初始化：对方法中涉及到的参数进行初始化，主要包括：图像分块尺寸s，图像分块重叠像元数m₁，图像切片个数n，图像切片重叠像元数m₂，进程池CPU核数，变焦器变焦级别(即焦距)f及平移系数c，分类概率阈值thr等。

(3)图像分块及切片：根据预设图像分块尺寸，对原始图像进行按块划分，并按块编号进行临时存储，为保持边界语义性完整，相邻两图像块之间要重叠m₁个像元。根据块编号，创建图像分块队列，按出队顺序依次对各图像块进行语义分割处理。根据预设图像切片个数，对待处理图像块进行等距切分，为保持边界语义性完整，相邻两图像切片之间要重叠m₂个像元。如图2所示。

在上述步骤中，图像分块编号格式为：序号_行索引_列索引。其中序号为块的唯一标识，由原图像尺寸和图像块尺寸计算得出，行索引和列索引分别由按高度分块数和按宽度分块数得出。

bid＝N_row*N_col＝f_ceil(H/s)*f_ceil(W/s)

式中，bid为图像块的序号，N_row为按高度分块数，N_col为按宽度分块数，f_ceil()为向上取整函数，H和W分别为原始图像的像素高度和宽度，s为图像块尺寸。

(4)构建图像分割进程池：根据设定CPU核数，构建进程池，将进程池中的子进程按异步非阻塞式处理任务。将上述步骤切分的各图像切片分别送入子进程，创建并执行并行图像分割任务。如图3所示。

(5)跳跃遍历像元，利用变焦器提取目标子图。以图像切片坐标系为基准，利用变焦器初始焦距逐像元滑动提取目标子图。当目标子图经分类后的输出概率低于阈值时，根据变焦级别进行升尺度变焦，扩大提取目标子图范围。当对目标子图分类完成后，变焦器恢复初始焦距按跨度对像元进行跳跃遍历，提取下一个目标子图。

在上述步骤中，变焦器具有相机镜头的自动变焦功能，且变焦器窗口大小r与变焦级别f具有如下关系：

r＝R(f)＝2*f+c

式中，r为窗口大小，f为变焦级别，c为平移系数。当f取值较小时，变焦器捕捉的地物空间范围较小，反之较大。

变焦器是否变焦和当前提取的地物图像的分类概率有关，并用下式表达：

式中，p为最大分类概率，thr为概率阈值。

变焦器从当前像素移动到下一个像素的跨度和变焦级别有关，并用下式表达：

k＝K_ceil(f/2)

式中，k为跨度，K_ceil为向上取整函数。

一般情况下，变焦器不会启动变焦机制，它会以所在像元为中心，根据初始变焦级别计算窗口大小然后提取目标图像进行后续分类。但当分类概率低于相应阈值时，变焦器会启动变焦机制，逐步扩大目标图像范围，直至分类概率满足分类要求为止。重复此过程，会形成一系列的特征化的图像金字塔。这些图像由于保持最完备的关键特征信息，因此能够得到最为准确的分类值。

(6)分类器分类：利用分类器对提取的图像切片中的目标子图进行分类，输出中心像元的分类结果，完成图像切片中的语义分割；

在上述步骤中，对目标子图进行类别判定的分类器主要采用轻量化的卷积神经网络。在本发明实施例中采用SqueezeNet，但不仅限于此，它由一系列卷积层(压缩层和扩展层)、池化层、归一化层、激活函数层和全连接层构成。SqueezeNet模型的核心模块为fire模块，由压缩层(1×1卷积)和扩展层(1×1卷积+3×3卷积)组成，可以使卷积神经网络在有限的参数预算上保持同等的准确性。如图4所示。SqueezeNet模型的输入图像的尺寸预设为32×32像素，但并不仅限于此；每层通道保留其原始值；类别数依赖于遥感影像语义分割类别；学习率初始设为0.001，在训练过程中按步长(Multistep)进行动态调整，但并不仅限于此；在使用SqueezeNet模型之前可预先在遥感影像上选择样本兴趣区进行分类训练。除此之外，经典的卷积神经网络骨架如VGGNet、ResNet及GooleLeNet等亦可作为本方法的分类器。

(7)图像切片合并及边界融合：对完成语义分割的各图像切片进行合并，对重叠边界进行融合处理。

在上述步骤中，图像重叠边界融合方法主要采用卷积核为5×5的中值滤波。但不仅限于此；

(8)图像块合并及边界融合：对完成语义分割的各图像块按块编号进行合并，对重叠边界进行融合处理。

在上述步骤中，图像重叠边界融合方法主要采用卷积核为5×5的中值滤波。但不仅限于此；

(9)后处理：在上述步骤中，最后生成的语义分割图像可能存在小部分虚假像元，如破碎斑块、孤岛像元等。为有效去除虚假像元，需要对其进行后处理，以便得到更为准确的遥感影像分类结果，该过程主要采用腐蚀和膨胀操作来处理。最终分类后的遥感影像效果如图5所示。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种面向无人机遥感影像的语义分割方法，其特征在于，包括如下步骤：

步骤1：对无人机遥感影像进行预处理；

步骤2：对涉及到的参数进行初始化；

步骤3：对预处理后的无人机遥感影像进行分块并编号，及切片；

步骤4：构建图像分割进程池，将图像分割进程池中的子进程按异步非阻塞式处理任务，并将步骤3切分的各图像切片分别送入子进程，创建并行图像分割任务；

步骤5：跳跃遍历各图像切片中的像元，利用变焦器提取目标子图；

步骤6：利用分类器对提取的图像切片中的目标子图进行分类，输出中心像元的分类结果，完成图像切片中的语义分割；

步骤7：对完成语义分割的各图像切片进行合并，对重叠边界进行融合处理；

步骤8：对完成语义分割的各图像块按块编号进行合并，对重叠边界进行融合处理；

步骤9：对经上述步骤处理后的语义分割图像进行后处理，得到更为准确的遥感影像分类结果。

2.根据权利要求1所述的一种面向无人机遥感影像的语义分割方法，其特征在于，步骤1中，所述预处理包括图像去燥、图像锐化和图像均衡化；图像去燥操作采用卷积核为3×3的中值和均值滤波；图像锐化操作采用4领域和8领域的拉普拉斯算子；图像均衡化操作采用全局直方图均衡化。

3.根据权利要求1所述的一种面向无人机遥感影像的语义分割方法，其特征在于，步骤2中，需要初始化的参数包括：图像分块尺寸s，图像分块重叠像元数m₁，图像切片个数n，图像切片重叠像元数m₂，进程池CPU核数，变焦器变焦级别f及平移系数c，分类概率阈值thr。

4.根据权利要求1所述的一种面向无人机遥感影像的语义分割方法，其特征在于，步骤3具体包括：根据预设图像分块尺寸，对原始图像进行按块划分，并按块编号进行临时存储，相邻两图像块之间要重叠m₁个像元；根据块编号，创建图像分块队列，按出队顺序依次对各图像块进行语义分割处理；根据预设图像切片个数，对待处理图像块进行等距切分，相邻两图像切片之间要重叠m₂个像元。

5.根据权利要求4所述的一种面向无人机遥感影像的语义分割方法，其特征在于，图像分块编号格式为：序号_行索引_列索引，其中序号为块的唯一标识，由原图像尺寸和图像块尺寸计算得出，行索引和列索引分别由按高度分块数和按宽度分块数得出，

bid＝N_row*N_col＝f_ceil(H/s)*f_ceil(W/s)

式中，bid为图像块的序号，N_row为按高度分块数，N_col为按宽度分块数，f_ceil()为向上取整函数，H和W分别为原始图像的像素高度和宽度，s为图像块尺寸。

6.根据权利要求1所述的一种面向无人机遥感影像的语义分割方法，其特征在于，步骤5具体包括：以图像切片坐标系为基准，利用变焦器初始焦距逐像元滑动提取目标子图；当目标子图经分类后的输出概率低于阈值时，根据变焦级别进行升尺度变焦，扩大提取目标子图范围；当对目标子图分类完成后，变焦器恢复初始焦距按跨度对像元进行跳跃遍历，提取下一个目标子图。

7.根据权利要求1所述的一种面向无人机遥感影像的语义分割方法，其特征在于，步骤6中，对目标子图进行类别判定的分类器采用轻量化的卷积神经网络，它由一系列卷积层、池化层、归一化层、激活函数层和全连接层构成；在使用分类器之前预先在遥感影像上选择样本兴趣区进行分类训练，其中学习率在训练过程中按步长进行动态调整。

8.根据权利要求1所述的一种面向无人机遥感影像的语义分割方法，其特征在于，步骤7中，图像重叠边界融合方法采用卷积核为5×5的中值滤波。

9.根据权利要求1所述的一种面向无人机遥感影像的语义分割方法，其特征在于，步骤8中，图像重叠边界融合方法采用卷积核为5×5的中值滤波。

10.根据权利要求1所述的一种面向无人机遥感影像的语义分割方法，其特征在于，步骤9中，所述后处理包括腐蚀和膨胀操作。

Images