CN119380002B - 一种半监督遥感影像变化检测方法及系统 - Google Patents
一种半监督遥感影像变化检测方法及系统 Download PDFInfo
- Publication number
- CN119380002B CN119380002B CN202411942130.7A CN202411942130A CN119380002B CN 119380002 B CN119380002 B CN 119380002B CN 202411942130 A CN202411942130 A CN 202411942130A CN 119380002 B CN119380002 B CN 119380002B
- Authority
- CN
- China
- Prior art keywords
- enhancement
- data set
- untagged
- weak
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008859 change Effects 0.000 title claims abstract description 138
- 238000001514 detection method Methods 0.000 title claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims abstract description 11
- 230000003044 adaptive effect Effects 0.000 claims abstract description 10
- 238000012360 testing method Methods 0.000 claims description 12
- 238000012952 Resampling Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 238000013139 quantization Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000007246 mechanism Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 36
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101100136092 Drosophila melanogaster peng gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种半监督遥感影像变化检测方法及系统，涉及图像处理技术领域，其中的方法首先引入通道级数据增强技术，以提高强增强效果，并改进一致性正则化，从而解决特征表示不足的问题。其次，采用自适应阈值在训练过程中动态调整阈值，以平衡伪标签的质量和数量，从而优化训练过程。最后，提出一种自适应类别权重机制来缓解类别不平衡带来的影响，有效增强模型对变化类别的学习能力。通过以上三种策略，提升了模型对于无标签数据集的利用率，进一步增强模型的变化检测性能。
Description
技术领域
本申请涉及图像处理技术领域，特别涉及一种半监督遥感影像变化检测方法及系统。
背景技术
遥感影像变化检测具体指的是对同一地表环境在不同时间拍摄的双时遥感影像进行定性分析，以确定该区域是否发生了变化。随着卫星传感器的不断提升，遥感影像的分辨率也不断提高。高分辨率的遥感影像通常具有更高的空间分辨率，能够提供更多关于地表特征和空间分布的信息，这有助于检测更微妙的变化，例如小型建筑物的改建。
目前，有大量研究关注如何有效提取双时高分遥感影像的变化区域。随着图像分割技术的不断改进，全监督变化检测模型的有效性和准确性也在不断提高。现在，主流的变化检测方法仍然依赖于大量可靠的有标签数据来训练模型。然而，这类方法存在一个挑战性的问题，即标注像素级变化检测标签需要耗费大量的人力和物力。特别是在军事领域的目标变化检测，获取大量准确的像素级标签数据非常困难。为了解决像素级标签数据获取困难以及成本较高的问题，研究人员越来越关注于使用少量标签数据的半监督变化检测方法、使用图像及标签的弱监督变化检测方法和不使用标签数据的无监督变化检测方法。无监督变化检测方法主要分为两类，一类是使用场景分类的遥感影像训练好的预训练模型，然后使用其作为变化检测的特征提取器。另一类是经典的无监督算法和监督学习变化检测框架相结合。这种方法严重依赖先验知识，限制了其应用范围。弱监督变化检测利用粗粒度的图像级标签进行训练，有效缓解了手动标注成本高昂的问题。但是弱监督标签的质量仍然严重影响着模型的精度。相比之下，半监督变化检测方法利用少量标签数据，既降低了标注标签数据的成本，又取得了较好的变化检测效果。
目前，半监督变化检测的核心思想是利用大量未标记数据训练模型。大致可以将其分为以下三种方法：（1）基于对抗学习的方法：它主要使用生成对抗网络来获取生成器的数据分布，并使用判别器来区分不同的图像。（2）基于一致性正则化的方法：通过对数据施加不同形式的扰动，约束模型在不同增强版本输入数据上的预测结果。（3）伪标签方法：使用模型预测伪标签数据，然后选择有置信度的伪标签，将伪标签与真标签混合，训练模型。
尽管当前的半监督变化检测方法在降低数据标注成本方面表现出色，但它们仍然面临一些挑战。首先，基于对抗学习的方法存在训练不稳定的问题，这使得模型难以达到理想的效果。其次，基于一致性正则化的方法通常会受到扰动程度和方式的影响，导致模型的鲁棒性受到限制。此外，伪标签筛选的方法对模型性能有着显著影响。一般情况下，会设定一个固定的阈值来确定每个像素点的预测值，但这种做法可能会带来一些问题。若阈值较高，伪标签将只包含原始遥感图像的一部分信息，从而影响变化对象的特征完整性；而若阈值较低，则会引入大量错误标签，进一步降低模型性能。
发明内容
本申请实施例提供了一种半监督遥感影像变化检测方法及系统，用以解决现有技术中伪标签方法使用固定阈值存在模型性能较低的问题。
一方面，本申请实施例提供了一种半监督遥感影像变化检测方法，包括：
获取由双时遥感影像构成的遥感影像数据集；
将遥感影像数据集划分为有标签数据集和无标签数据集，对有标签数据集进行弱增强处理，得到有标签弱增强数据集，将无标签数据集复制为两份，对第一份无标签数据集进行弱增强处理，得到无标签弱增强数据集，对第二份无标签数据集依次进行弱增强处理和强增强处理，得到无标签连续增强数据集；
分别将有标签弱增强数据集、无标签弱增强数据集以及无标签连续增强数据集输入编码器-解码器网络，得到变化概率预测图，其中变化概率预测图包括与有标签弱增强数据集对应的有标签弱增强变化概率预测图、与无标签弱增强数据集对应的无标签弱增强变化概率预测图以及与无标签连续增强数据集对应的无标签连续增强变化概率预测图；
利用有标签弱增强变化概率预测图和相应的标签之间的损失建立有标签损失函数；
利用无标签弱增强变化概率预测图更新自适应阈值，并根据无标签弱增强变化概率预测图中最大概率对应的类型生成相应的伪标签，利用无标签连续增强变化概率预测图和伪标签之间的损失建立无标签损失函数，根据更新后的自适应阈值更新无标签损失函数，得到更新无标签损失函数；
利用有标签损失函数和更新无标签损失函数对编码器-解码器网络进行训练，得到训练后的编码器-解码器网络；
获取待检测遥感影像，将待检测遥感影像输入训练后的编码器-解码器网络，得到变化检测结果。
另一方面，本申请实施例还提供了一种半监督遥感影像变化检测系统，包括：
数据集获取模块，用于获取由双时遥感影像构成的遥感影像数据集；
数据集增强模块，用于将遥感影像数据集划分为有标签数据集和无标签数据集，对有标签数据集进行弱增强处理，得到有标签弱增强数据集，将无标签数据集复制为两份，对第一份无标签数据集进行弱增强处理，得到无标签弱增强数据集，对第二份无标签数据集依次进行弱增强处理和强增强处理，得到无标签连续增强数据集；
编码器-解码器网络，用于分别对有标签弱增强数据集、无标签弱增强数据集以及无标签连续增强数据集进行处理，得到变化概率预测图，其中变化概率预测图包括与有标签弱增强数据集对应的有标签弱增强变化概率预测图、与无标签弱增强数据集对应的无标签弱增强变化概率预测图以及与无标签连续增强数据集对应的无标签连续增强变化概率预测图；
损失函数建立模块，用于利用有标签弱增强变化概率预测图和相应的标签之间的损失建立有标签损失函数；也用于利用无标签弱增强变化概率预测图更新自适应阈值，并根据无标签弱增强变化概率预测图中最大概率对应的类型生成相应的伪标签，利用无标签连续增强变化概率预测图和伪标签之间的损失建立无标签损失函数，根据更新后的自适应阈值更新无标签损失函数，得到更新无标签损失函数；
网络训练模块，用于利用有标签损失函数和更新无标签损失函数对编码器-解码器网络进行训练，得到训练后的编码器-解码器网络；
变化检测模块，用于获取待检测遥感影像，将待检测遥感影像输入训练后的编码器-解码器网络，得到变化检测结果。
本申请中的一种半监督遥感影像变化检测方法及系统，首先，引入通道级数据增强技术，以提高强增强效果，并改进一致性正则化，从而解决特征表示不足的问题。其次，采用自适应阈值在训练过程中动态调整阈值，以平衡伪标签的质量和数量，从而优化训练过程。最后，提出一种自适应类别权重机制来缓解类别不平衡带来的影响，有效增强模型对变化类别的学习能力。通过以上三种策略，提升了模型对于无标签数据集的利用率，进一步增强模型的变化检测性能。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种半监督遥感影像变化检测方法的架构图。
图2为本申请实施例提供的弱增强处理前的原图。
图3为图2的原图经过弱增强处理后的图像。
图4为图3的图像经过强增强处理后的图像。
图5为对不同时刻遥感影像利用不同方法进行变化检测后的结果。其中，（a）和（b）分别为不同时刻的遥感影像，（c）为仅采用监督学习算法得到的变化检测结果，（d）为采用S4GAN算法得到的变化检测结果，（e）为采用SemiCDNet算法得到的变化检测结果，（f）为采用SemiCD算法得到的变化检测结果，（g）为采用RCL算法得到的变化检测结果，（h）为采用FPA算法得到的变化检测结果，（i）为采用本申请的方法得到的变化检测结果。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例提供的一种半监督遥感影像变化检测方法的架构图。本申请实施例提供了一种半监督遥感影像变化检测方法，包括：
S100，获取由双时遥感影像构成的遥感影像数据集。
示例性地，本申请实施例中使用的遥感影像数据集为WHU-CD（Wuhan UniversityChange Detect，武汉大学变化检测）数据集。对该数据集进行切分，将其中的遥感影像裁剪为256×256大小的图片，每个图片之间没有重叠，总共得到7434对图像，同时按照8:1:1的比例将数据集划分为训练集、验证集和测试集。
S110，将遥感影像数据集划分为有标签数据集和无标签数据集，对有标签数据集进行弱增强处理，得到有标签弱增强数据集，将无标签数据集复制为两份，对第一份无标签数据集进行弱增强处理，得到无标签弱增强数据集，对第二份无标签数据集依次进行弱增强处理和强增强处理，得到无标签连续增强数据集。
示例性地，在得到训练集后，将训练集中95%的遥感影像划分为无标签数据集，而剩余的5%的遥感影像则作为有标签数据集。有标签数据集可以表示为，其中代表第i对双时遥感影像，表示T0时刻的遥感影像，表示T1时刻的遥感影像，表示每个像素的二元标签，即该像素属于变化还是属于未变化，n表示有标签数据集的大小。无标签数据集可以表示为，其中代表第j对双时遥感影像，N表示无标签数据集的大小。
在增强处理的过程中，无标签数据集被复制为两份，第一份仅仅只进行弱增强，而第二份则需要在弱增强的基础上进行强增强。对于有标签数据集，本申请实施例通过弱增强获得到有标签弱增强数据集，对于无标签数据集，经过弱增强和强增强，分别得到无标签弱增强数据集和无标签连续增强数据集。特别注意，数据增强只对训练集应用，而验证集和测试集不需要。
弱增强包含三个依次进行的增强操作，分别是缩放、裁剪和水平翻转，其中对图像缩放的比例是[0.5,2.0]，裁剪大小是随机生成的，水平翻转的概率是50%。
在强增强处理时，对图像的RGB（Red Green Blue，红绿蓝）三通道进行随机量化处理。具体来说，在随机量化处理时将每个通道的数据划分为多个，例如8个区间，然后将每个区间的原始数据映射为在该区间中随机采样的值，这样每次都可以为图像的每个区间带来一个随机量化值，会提升数据的多样性。
如图2-4所示，图2是原图，图3是进行过放大、裁剪和水平翻转后的弱增强结果，图4是在弱增强基础上再次进行的随机量化操作得到的强增强结果。
S120，分别将有标签弱增强数据集、无标签弱增强数据集以及无标签连续增强数据集输入编码器-解码器网络，得到变化概率预测图，其中变化概率预测图包括与有标签弱增强数据集对应的有标签弱增强变化概率预测图、与无标签弱增强数据集对应的无标签弱增强变化概率预测图以及与无标签连续增强数据集对应的无标签连续增强变化概率预测图。
示例性地，本申请实施例采用两个编码器-解码器网络对数据集进行处理，其中第一个编码器-解码器网络对有标签弱增强数据集进行处理，而另一个编码器-解码器网络则依次对无标签弱增强数据集和无标签连续增强数据集进行处理。每个编码器-解码器网络均包含依次连接的编码器、金字塔池化模块和解码器，其中的编码器为两个，且两个编码器的结构相同。两个编码器分别负责对数据集中的一对增强后的遥感影像进行特征提取，而解码器则对差分后的特征进行处理得到变化概率预测图。
对于有标签弱增强数据集，编码器E的处理过程为：数据集中的一对图像作为输入分别输入到两个编码器中，和的尺寸相同都为，得到一对尺寸相同的高维特征图和。其中，表示三维特征向量张量，H/s表示输入图像的高度H被空间尺度因子s降采样后的结果，W/s表示输入图像的宽度W被空间尺度因子s降采样后的结果，C表示特征空间通道数，C和s分别被设定为2048和8。
金字塔池化模块（PPM）：为了获取两幅图之间的特征差异，使用和进行差分运算，之后对差分运算的结果进行特征提取，获得不同尺度上捕获特征图。
解码器D：解码器由一系列的上采样卷积模块组成，通过这些上采样卷积模块对捕获特征图进行上采样卷积，将捕获特征图转化为有标签弱增强变化概率预测图，这里的2表示的是变化和未变化两种类别。接下来，通过softmax函数将有标签弱增强变化概率预测图沿着类别维度缩放到[0,1]之间。
网络整体流程计算公式如下：
其中，E(·)表示编码器的特征提取操作，PPM(·)表示金字塔池化模块的获取不同尺度上捕获特征图的操作，表示对高维特征图和进行差分操作，D(·)表示解码器获取有标签弱增强变化概率预测图的操作，表示有标签弱增强变化概率预测图中第u行第v列像素的预测概率，表示缩放后的预测概率，softmax(·)表示经过softmax函数处理。
对于无标签弱增强数据集和无标签连续增强数据集而言，输入的图像和经过和有标签弱增强数据集相同的处理流程，分别得到无标签弱增强变化概率预测图和无标签连续增强变化概率预测图。
特别注意，两个编码器-解码器网络是同时对数据集进行处理的。
S130，利用有标签弱增强变化概率预测图和相应的标签之间的损失建立有标签损失函数。
示例性地，对有标签弱增强数据集称为监督训练，而对无标签弱增强数据集和无标签连续增强数据集的处理称为无监督训练，两个编码器-解码器网络共享权重数据。
在监督训练过程中，使用交叉熵损失函数最小化有标签弱增强变化概率预测图和标签之间的损失，表示为：
其中，L s表示有标签损失函数，CE(·)表示交叉熵损失，表示第u行第v列像素的二元标签。
S140，利用无标签弱增强变化概率预测图更新自适应阈值，并根据无标签弱增强变化概率预测图中最大概率对应的类型生成相应的伪标签，利用无标签连续增强变化概率预测图和伪标签之间的损失建立无标签损失函数，根据更新后的自适应阈值更新无标签损失函数，得到更新无标签损失函数。
示例性地，在无监督训练过程中，利用无标签弱增强变化概率预测图更新自适应阈值，同时通过无标签弱增强变化概率预测图中最大概率对应的类型对无标签弱增强变化概率预测图进行二值化处理，进而生成相应的伪标签。
使用一致性损失函数最小化无标签连续增强变化概率预测图和伪标签之间的损失，表示为：
其中，L u表示无标签损失函数，这里的表示预定义的过滤噪声标签的置信度阈值，表示预测概率大于的视为高质量伪标签，记作1；否则设置为0，表示经过缩放处理后无标签弱增强变化概率预测图中第u行第v列像素的预测概率，max(·)表示取最大值，表示经过缩放处理后无标签连续增强变化概率预测图中第u行第v列像素的预测概率，表示无标签弱增强变化概率预测图中第u行第v列像素的伪标签。
利用无标签弱增强变化概率预测图更新自适应阈值的方法包括以下步骤：
第一步，对无标签弱增强变化概率预测图计算每个像素点的最大预测概率，然后对每个类别c的概率进行平均，以获得局部预测置信度：
其中，B代表批大小，代表第k对图像中，位置（u,v）处的像素属于c类的最大预测概率。
第二步，计算c类最大预测概率对应的像素所占的比例，然后通过该比例计算出c类的相反权重。表示为：
其中，表示c类像素的数量，表示第k对图像中(u,v)位置处像素最大预测概率所对应的类别c。
第三步，将自适应阈值估计为每轮置信度的指数移动平均（ExponentialMoving Average，EMA）。其初始化值为1/C’，其中C’表示类的数量。
这里的是EMA的动量衰减，范围为（0,1），在实验中被设置为0.9999。针对二分类的变化检测，C’的值为2，即就是初始阈值被设置为0.5。
在更新自适应阈值之后，筛选得到的高质量和数量的伪标签对应的置信度掩码可以表示为：
对c类别数量进行重采样，得到c类别相应的重采样率：
因此，可以根据每个像素点的重采样率来调整损失函数的权重。像素点的权重图可以表示为：
这里的表示(u,v)位置处像素最大预测概率所对应的类别c。
根据以上步骤，更新无标签损失函数可以更新为：
S150，利用有标签损失函数和更新无标签损失函数对编码器-解码器网络进行训练，得到训练后的编码器-解码器网络。
示例性地，整个网络的总损失L包含两个部分，可以表示为：
使用有标签损失和更新无标签损失优化编码器-解码器网络，得到最终的网络模型。训练完成后，分别将验证集和测试集输入训练后的编码器-解码器网络，以对训练后的编码器-解码器网络进行验证和测试。
S160，获取待检测遥感影像，将待检测遥感影像输入训练后的编码器-解码器网络，得到变化检测结果。
示例性地，待检测遥感影像也应为双时遥感影像，该待检测遥感影像在进行变化检测之前，不需要进行弱增强和强增强的处理，直接输入训练后的编码器-解码器网络即可得到最终的变化检测结果。
本申请实施例还提供了一种半监督遥感影像变化检测方法的系统，该系统包括：
数据集获取模块，用于获取由双时遥感影像构成的遥感影像数据集；
数据集增强模块，用于将遥感影像数据集划分为有标签数据集和无标签数据集，对有标签数据集进行弱增强处理，得到有标签弱增强数据集，将无标签数据集复制为两份，对第一份无标签数据集进行弱增强处理，得到无标签弱增强数据集，对第二份无标签数据集依次进行弱增强处理和强增强处理，得到无标签连续增强数据集；
编码器-解码器网络，用于分别对有标签弱增强数据集、无标签弱增强数据集以及无标签连续增强数据集进行处理，得到变化概率预测图，其中变化概率预测图包括与有标签弱增强数据集对应的有标签弱增强变化概率预测图、与无标签弱增强数据集对应的无标签弱增强变化概率预测图以及与无标签连续增强数据集对应的无标签连续增强变化概率预测图；
损失函数建立模块，用于利用有标签弱增强变化概率预测图和相应的标签之间的损失建立有标签损失函数；也用于利用无标签弱增强变化概率预测图更新自适应阈值，并根据无标签弱增强变化概率预测图中最大概率对应的类型生成相应的伪标签，利用无标签连续增强变化概率预测图和伪标签之间的损失建立无标签损失函数，根据更新后的自适应阈值更新无标签损失函数，得到更新无标签损失函数；
网络训练模块，用于利用有标签损失函数和更新无标签损失函数对编码器-解码器网络进行训练，得到训练后的编码器-解码器网络；
变化检测模块，用于获取待检测遥感影像，将待检测遥感影像输入训练后的编码器-解码器网络，得到变化检测结果。
仿真实验
1、仿真条件：
使用具有12G内存的单个NVIDIA GeForce GTX 3080Ti GPU进行训练和测试。在实验中批大小被设定为4，数据集使用WHU-CD数据集。
2、评价指标：
为了准确评估所提出的半监督变化检测方法的性能，选择IoU、F1、Kappa、TPR（True Positive Ratio，真正比）和TNR（True Negative Ratio，真反比）这5个指标。详细的解释如下：
上述公式中，TP、TN、FP和FN分别表示变化像素正确预测的数量、未变化像素正确预测的数量、未变化像素被错误的预测为变化像素的数量以及变化像素被错误的预测为未变化像素的数量，P、R、OA和P e均为中间变量。IoU可以反应预测区域和真实区域的重叠程度，由于变化检测中，变化像素的预测难度远高于未变化像素的预测难度，因此本申请更进一步使用变化像素的IoUc来代替全局的IoU。F1评估模型的整体性能。Kappa评估模型与实际观察结果之间的一致性。TPR评估模型预测变化像素能力，即敏感性。TNR评估模型预测未变化像素能力，即特异性。以上5个指标越高，模型的性能越好。
3、仿真内容：
为了证明本申请中方法的有效性，实验中使用了五种近几年流行的方法做对比，同时也对比了仅仅使用少部分标签进行监督训练(Only-sup)和使用全部数据进行监督训练(Fully-sup)的效果。为了进一步说明本申请方法在对于无标签数据集的利用率，对比了1%、5%、10%和20%有标签数据集比例下的实验效果。如表1、表2、表3和表4所示。其中：
1）S4GAN（Semi-supervised semantic segmentation Generative AdversarialNetworks，半监督语义分割生成式对抗网络）在“S. Mittal, M. Tatarchenko, and T.Brox, Semi-supervised semantic segmentation with high-and low-levelconsistency,IEEE transactions on pattern analysis and machine intelligence,vol. 43, no. 4, pp. 1369–1379, 2019.”中有详细介绍。
2）SemiCDNet（Semi-supervised Change Detection Networks，半监督变化检测网络）在“D. Peng, L. Bruzzone, Y. Zhang, H. Guan, H. Ding, and X. Huang,Semicdnet: A semisupervised convolutional neural network for change detectionin high resolution remote-sensing images, IEEE Transactions on Geoscience andRemote Sensing, vol. 59, no. 7, pp. 5891–5906, 2020.”中有详细介绍。
3）SemiCD（Semi-supervised Change Detection，半监督变化检测）在“W. G. C.Bandara and V. M. Patel,Revisiting consistency regularization for semi-supervised change detection in remote sensing images,arXiv preprint arXiv:2204.08454, 2022.”中有详细介绍。
4）RCL（Reliable Contrastive Learning，可信对比学习）在“J.-X. Wang, T.Li, S.-B. Chen, J. Tang, B. Luo, and R. C. Wilson,Reliable contrastivelearning for semi-supervised change detection in remote sensing images,IEEETransactions on Geoscience and Remote Sensing, vol. 60, pp. 1–13, 2022.”中有详细介绍。
5）FPA（Feature-Prediction Alignment，特征预测对齐）在“X. Zhang, X.Huang, and J. Li,Semisupervised change detection with feature-predictionalignment,IEEE Transactions on Geoscience and Remote Sensing, vol. 61, pp. 1–16, 2023.”中有详细介绍。
表1 1%有标签数据集下不同方法在WHU-CD测试集上的结果
表2 5%有标签数据集下不同方法在WHU-CD测试集上的结果
表3 10%有标签数据集下不同方法在WHU-CD测试集上的结果
表4 20%有标签数据集下不同方法在WHU-CD测试集上的结果
从表1-表4中可以看到本申请的方法在不同比例有标签数据集下的有效性，在WHU-CD数据集上得到了验证。实验结果表明，与其他现有方法相比，本申请的方法提升了半监督变化检测模型的性能。同时通过图5也可以看出，本申请的方法对于小范围目标的检测的完整性较好。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (8)
1.一种半监督遥感影像变化检测方法，其特征在于，包括：
获取由双时遥感影像构成的遥感影像数据集；
将所述遥感影像数据集划分为有标签数据集和无标签数据集，对所述有标签数据集进行弱增强处理，得到有标签弱增强数据集，将所述无标签数据集复制为两份，对第一份所述无标签数据集进行弱增强处理，得到无标签弱增强数据集，对第二份所述无标签数据集依次进行弱增强处理和强增强处理，得到无标签连续增强数据集；
分别将所述有标签弱增强数据集、所述无标签弱增强数据集以及所述无标签连续增强数据集输入编码器-解码器网络，得到变化概率预测图，其中所述变化概率预测图包括与所述有标签弱增强数据集对应的有标签弱增强变化概率预测图、与所述无标签弱增强数据集对应的无标签弱增强变化概率预测图以及与所述无标签连续增强数据集对应的无标签连续增强变化概率预测图；
利用所述有标签弱增强变化概率预测图和相应的标签之间的损失建立有标签损失函数；
利用所述无标签弱增强变化概率预测图更新自适应阈值，并根据所述无标签弱增强变化概率预测图中最大概率对应的类型生成相应的伪标签，利用所述无标签连续增强变化概率预测图和所述伪标签之间的损失建立无标签损失函数，根据更新后的所述自适应阈值更新所述无标签损失函数，得到更新无标签损失函数；
利用所述有标签损失函数和所述更新无标签损失函数对所述编码器-解码器网络进行训练，得到训练后的所述编码器-解码器网络；
获取待检测遥感影像，将所述待检测遥感影像输入训练后的所述编码器-解码器网络，得到变化检测结果；
其中，利用所述无标签弱增强变化概率预测图更新自适应阈值的方法包括：
确定所述无标签弱增强变化概率预测图中每个像素点的最大预测概率，根据所述最大预测概率确定局部预测置信度；
确定所述无标签弱增强变化概率预测图中每个类别的像素点所占的比例，根据所述比例确定相应的相反权重；
根据所述局部预测置信度和所述相反权重确定更新后的所述自适应阈值；
在更新所述自适应阈值后，根据更新后的所述自适应阈值和所述无标签弱增强变化概率预测图中每个像素点的最大预测概率的大小关系确定置信度掩码；
在确定所述比例后，根据所述比例确定每个类别的重采样率，进而根据所述重采样率确定每个像素点的权重图；
在得到所述权重图后，根据所述权重图以及所述置信度掩码更新所述无标签损失函数。
2.根据权利要求1所述的一种半监督遥感影像变化检测方法，其特征在于，所述编码器-解码器网络包括依次连接的编码器、金字塔池化模块和解码器，所述编码器对输入数据集中的一对遥感影像进行高维特征提取，得到高维特征图，所述金字塔池化模块对每一对所述高维特征图依次进行差分运算和特征提取，得到不同尺度上的捕获特征图，所述解码器对所述捕获特征图进行上采样卷积，得到变化概率预测图。
3.根据权利要求1所述的一种半监督遥感影像变化检测方法，其特征在于，在进行弱增强处理时，对输入的数据集中的遥感影像依次进行缩放、裁剪和水平翻转处理，在进行强增强处理时，对输入的图像的RGB三通道进行随机量化处理。
4.根据权利要求3所述的一种半监督遥感影像变化检测方法，其特征在于，在所述随机量化处理过程中，将图像中每个通道的数据划分为多个区间，将每个区间中的原始数据映射为该区间中随机采样的值。
5.根据权利要求1所述的一种半监督遥感影像变化检测方法，其特征在于，在得到所述变化概率预测图后，利用softmax函数对所述变化概率预测图中的变化概率沿着类别维度缩放到[0,1]之间。
6.根据权利要求1所述的一种半监督遥感影像变化检测方法，其特征在于，所述有标签损失函数基于交叉熵损失函数建立，所述无标签损失函数基于一致性损失函数建立。
7.根据权利要求1所述的一种半监督遥感影像变化检测方法，其特征在于，在训练所述编码器-解码器网络时，将所述遥感影像数据集划分为训练集、验证集和测试集，对所述训练集进行弱增强处理和强增强处理后，输入所述编码器-解码器网络，以对所述编码器-解码器网络进行训练，得到训练后的所述编码器-解码器网络后，分别将所述验证集和所述测试集输入训练后的所述编码器-解码器网络，以对训练后的所述编码器-解码器网络进行验证和测试。
8.应用权利要求1-7任一项所述的一种半监督遥感影像变化检测方法的系统，其特征在于，包括：
数据集获取模块，用于获取由双时遥感影像构成的遥感影像数据集；
数据集增强模块，用于将所述遥感影像数据集划分为有标签数据集和无标签数据集，对所述有标签数据集进行弱增强处理，得到有标签弱增强数据集，将所述无标签数据集复制为两份，对第一份所述无标签数据集进行弱增强处理，得到无标签弱增强数据集，对第二份所述无标签数据集依次进行弱增强处理和强增强处理，得到无标签连续增强数据集；
编码器-解码器网络，用于分别对所述有标签弱增强数据集、所述无标签弱增强数据集以及所述无标签连续增强数据集进行处理，得到变化概率预测图，其中所述变化概率预测图包括与所述有标签弱增强数据集对应的有标签弱增强变化概率预测图、与所述无标签弱增强数据集对应的无标签弱增强变化概率预测图以及与所述无标签连续增强数据集对应的无标签连续增强变化概率预测图；
损失函数建立模块，用于利用所述有标签弱增强变化概率预测图和相应的标签之间的损失建立有标签损失函数；也用于利用所述无标签弱增强变化概率预测图更新自适应阈值，并根据所述无标签弱增强变化概率预测图中最大概率对应的类型生成相应的伪标签，利用所述无标签连续增强变化概率预测图和所述伪标签之间的损失建立无标签损失函数，根据更新后的所述自适应阈值更新所述无标签损失函数，得到更新无标签损失函数；
网络训练模块，用于利用所述有标签损失函数和所述更新无标签损失函数对所述编码器-解码器网络进行训练，得到训练后的所述编码器-解码器网络；
变化检测模块，用于获取待检测遥感影像，将所述待检测遥感影像输入训练后的所述编码器-解码器网络，得到变化检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202411942130.7A CN119380002B (zh) | 2024-12-27 | 2024-12-27 | 一种半监督遥感影像变化检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202411942130.7A CN119380002B (zh) | 2024-12-27 | 2024-12-27 | 一种半监督遥感影像变化检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN119380002A CN119380002A (zh) | 2025-01-28 |
| CN119380002B true CN119380002B (zh) | 2025-02-28 |
Family
ID=94338024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202411942130.7A Active CN119380002B (zh) | 2024-12-27 | 2024-12-27 | 一种半监督遥感影像变化检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN119380002B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116894985A (zh) * | 2023-09-08 | 2023-10-17 | 吉林大学 | 半监督图像分类方法及半监督图像分类系统 |
| CN117809305A (zh) * | 2023-11-30 | 2024-04-02 | 西北工业大学宁波研究院 | 基于指数函数阈值动态调整的半监督学习语义分割方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230053716A1 (en) * | 2021-08-09 | 2023-02-23 | Naver Corporation | System and method of semi-supervised learning with few labeled images per class |
| CN118587481A (zh) * | 2024-05-22 | 2024-09-03 | 辽宁师范大学 | 一种基于半监督学习的多源遥感影像融合分类方法 |
-
2024
- 2024-12-27 CN CN202411942130.7A patent/CN119380002B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116894985A (zh) * | 2023-09-08 | 2023-10-17 | 吉林大学 | 半监督图像分类方法及半监督图像分类系统 |
| CN117809305A (zh) * | 2023-11-30 | 2024-04-02 | 西北工业大学宁波研究院 | 基于指数函数阈值动态调整的半监督学习语义分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN119380002A (zh) | 2025-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111738124B (zh) | 基于Gabor变换和注意力的遥感图像云检测方法 | |
| CN111950453B (zh) | 一种基于选择性注意力机制的任意形状文本识别方法 | |
| CN110533631B (zh) | 基于金字塔池化孪生网络的sar图像变化检测方法 | |
| CN113159120A (zh) | 一种基于多尺度跨图像弱监督学习的违禁物检测方法 | |
| CN107818555B (zh) | 一种基于最大后验的多字典遥感图像时空融合方法 | |
| CN112818969B (zh) | 一种基于知识蒸馏的人脸姿态估计方法及系统 | |
| CN106250931A (zh) | 一种基于随机卷积神经网络的高分辨率图像场景分类方法 | |
| CN104182985B (zh) | 遥感图像变化检测方法 | |
| CN111462012A (zh) | 一种基于条件生成对抗网络的sar图像仿真方法 | |
| CN114565594A (zh) | 基于软掩膜对比损失的图像异常检测方法 | |
| CN106919952A (zh) | 基于结构稀疏表示和内部聚类滤波的高光谱异常目标检测方法 | |
| CN114565824B (zh) | 基于全卷积网络的单阶段旋转舰船检测方法 | |
| CN116310812B (zh) | 基于半监督语义分割对比学习的高分辨遥感图像语义变化检测方法 | |
| CN109598220A (zh) | 一种基于多元输入多尺度卷积的人数统计方法 | |
| CN110414616B (zh) | 一种利用空间关系的遥感图像字典学习分类方法 | |
| CN114624715B (zh) | 一种基于自注意力时空神经网络模型的雷达回波外推方法 | |
| CN117541535A (zh) | 一种基于深度卷积神经网络的输电线路巡检图像检测方法 | |
| CN116844041A (zh) | 一种基于双向卷积时间自注意力机制的耕地提取方法 | |
| CN104680151B (zh) | 一种顾及雪覆盖影响的高分辨全色遥感影像变化检测方法 | |
| Shit et al. | An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection | |
| CN118279708A (zh) | 面向多源数据融合的自注意渐进网络及方法 | |
| CN113763471A (zh) | 一种基于视觉的弹孔检测方法及系统 | |
| Chi et al. | DBGNet: Dual-branch gate-aware network for infrared small target detection | |
| CN114973019B (zh) | 一种基于深度学习的地理空间信息变化检测分类方法及系统 | |
| CN111784583A (zh) | 一种用于降水图的循环随机超分辨率生成对抗网络 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |