[go: up one dir, main page]

CN118628355A - 一种基于扩散模型的遥感图像超分辨率重建方法及系统 - Google Patents

一种基于扩散模型的遥感图像超分辨率重建方法及系统 Download PDF

Info

Publication number
CN118628355A
CN118628355A CN202410679550.4A CN202410679550A CN118628355A CN 118628355 A CN118628355 A CN 118628355A CN 202410679550 A CN202410679550 A CN 202410679550A CN 118628355 A CN118628355 A CN 118628355A
Authority
CN
China
Prior art keywords
resolution
image
remote sensing
super
sensing image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410679550.4A
Other languages
English (en)
Inventor
陈嘉翊
方桃
刘明鑫
段文超
周欣桐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Commercial Big Data Co ltd
Guowang Xiongan Finance Technology Group Co ltd
Original Assignee
State Grid Commercial Big Data Co ltd
Guowang Xiongan Finance Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Commercial Big Data Co ltd, Guowang Xiongan Finance Technology Group Co ltd filed Critical State Grid Commercial Big Data Co ltd
Priority to CN202410679550.4A priority Critical patent/CN118628355A/zh
Publication of CN118628355A publication Critical patent/CN118628355A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及计算机视觉领域技术领域，公开了一种基于扩散模型的遥感图像超分辨率重建方法及系统，该方法包括：采集高分辨率遥感图像并将其汇总形成遥感图像数据集；获取预设的单图像超分辨率扩散模型；对高分辨率遥感图像进行模糊化处理，构建高分辨率与低分辨率图像对的遥感图像配对数据集；根据遥感图像配对数据集对单图像超分辨率扩散模型进行重训练；基于完成重训练的单图像超分辨率扩散模型对遥感图像进行超分辨率重建。提高了超分辨率重建的质量和模型的准确性，使得经过微调后的单图像超分辨率扩散模型效果更好。

Description

一种基于扩散模型的遥感图像超分辨率重建方法及系统
技术领域
本发明涉及计算机视觉领域技术领域，尤其涉及一种基于扩散模型的遥感图像超分辨率重建方法及系统。
背景技术
遥感图像包含丰富的地物目标，尺度大、范围广，拥有丰富的细节信息和感知信息，能够有效的进行场景感知与环境分析。因此遥感图像在很多领域都得到广泛的应用。目前基本采用基于深度学习的方法进行超分辨率重建，基于深度学习的方法包括有三类，第一种为PSNR(峰值信噪比)导向的方法，但是该方法会导致图像过度平滑和高频信息丢失；第二种为GAN(生成对抗网络)方法，虽然该方法突破性地解决了过度平滑的问题，容易陷入模式崩溃，导致生成的SR样本缺乏多样性；SRFlow(使用规范化流的超分辨率)模型，但该模型的逆过程通过噪声预测期迭代去噪，但是该预测期依赖于低分辨率信息。
现有基于深度学习的方法通常是采用互联网通用图像进行训练，在逆过程重建超分辨率图像的过程中，上述的方法无法获得多样化有准确的高分辨率图像，同时由于遥感图像的视距长、视野宽，现有基于深度学习的方法不适用于遥感图像，导致重建的超分辨率图像效果差。
发明内容
本发明提供了一种基于扩散模型的遥感图像超分辨率重建方法，以解决的重建的超分辨率图像效果差技术问题。
为了解决上述技术问题，本发明实施例提供了一种基于扩散模型的遥感图像超分辨率重建方法，所述方法包括：
采集高分辨率遥感图像并将其汇总形成遥感图像数据集；
获取预设的单图像超分辨率扩散模型；
对所述高分辨率遥感图像进行模糊化处理，构建高分辨率与低分辨率图像对的遥感图像配对数据集；
根据所述遥感图像配对数据集对所述单图像超分辨率扩散模型进行重训练；
基于完成重训练的所述单图像超分辨率扩散模型对所述遥感图像进行超分辨率重建。
进一步地，所述对所述高分辨率遥感图像进行模糊化处理，构建高分辨率与低分辨率图像对的遥感图像配对数据集的具体步骤包括：
所述高分辨率遥感图像采用降质去噪模型生成对应的低分辨率遥感图像，并配对得到所述高分辨率与低分辨率图像对；
将所述高分辨率与低分辨率图像对汇总得到所述遥感图像配对数据集。
进一步地，所述单图像超分辨率扩散模型包括有两个过程，分别为扩散过程和逆扩散过程；
所述扩散过程通过逐步添加高斯噪声将残差图像转换为高斯分布中的潜变量；
所述逆扩散过程通过使用低分辨率编码器D从低分辨率图像编码的隐藏状态条件化地使用所述条件噪声预测器对所述潜变量进行有限步T的迭代去噪，将其转换为残差图像，将生成的残差图像添加到上采样的低分辨率图像中，重建高分辨率图像。
进一步地，所述使用所述条件噪声预测器对所述潜变量进行有限步T的迭代去噪的具体步骤包括：
采集高分辨率互联网通用图像并将其汇总形成通用图像数据集；
所述条件噪声预测器通过通用图像数据集，学习在给定当前噪声图像和原始的低分辨率图像的条件下预测每个逆扩散步骤中应去除的噪声量。
本发明实施例还提供了一种基于扩散模型的遥感图像超分辨率重建系统，所述系统包括：
遥感图像数据获取模块，用于采集高分辨率遥感图像并将其汇总形成遥感图像数据集和获取预设的单图像超分辨率扩散模型；
数据集构建模块，用于对所述高分辨率遥感图像进行模糊化处理，构建高分辨率与低分辨率图像对的遥感图像配对数据集；
模型训练模块，用于根据所述遥感图像配对数据集对所述单图像超分辨率扩散模型进行重训练；
模型应用模块，用于基于完成重训练的所述单图像超分辨率扩散模型对所述遥感图像进行超分辨率重建。
进一步地，所述获取模块中用于所述对所述高分辨率遥感图像进行模糊化处理，构建高分辨率与低分辨率图像对的遥感图像配对数据集的具体步骤包括：
所述高分辨率遥感图像采用降质去噪模型生成对应的低分辨率遥感图像，并配对得到所述高分辨率与低分辨率图像对；
将所述高分辨率与低分辨率图像对汇总得到所述遥感图像配对数据集。
进一步地，所述单图像超分辨率扩散模型包括有两个过程，分别为扩散过程和逆扩散过程；
所述逆扩散过程由一个具有基于密集链接残差块的低分辨率编码器D的条件噪声预测器确定；
所述逆扩散过程通过使用所述低分辨率编码器D从低分辨率图像编码的隐藏状态条件化地使用所述条件噪声预测器对潜变量进行有限步T的迭代去噪，将其转换为残差图像，将生成的残差图像添加到上采样的低分辨率图像中，重建高分辨率图像。
进一步地，所述使用所述条件噪声预测器对所述潜变量进行有限步T的迭代去噪的具体步骤包括：
采集高分辨率互联网通用图像并将其汇总形成通用图像数据集；
所述条件噪声预测器通过通用图像数据集，学习在给定当前噪声图像和原始的低分辨率图像的条件下预测每个逆扩散步骤中应去除的噪声量。
本发明实施例还提供了一种计算机设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述任一项所述的方法。
本发明实施例还提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述任一项所述的方法。
本发明实施例的有益效果：
本发明中在现有的单图像超分辨率扩散模型中输入遥感图像进行重训练，实现微调，不仅无需购买大量的遥感图像进行训练，降低了成本，还使用经过微调后的单图像超分辨率扩散模型应用于遥感图像，提高了单图像超分辨率扩散模型的超分辨率重建的图像质量的准确性，使得超分辨率重建效果更好。
附图说明
图1是本发明遥感图像超分辨率重建方法的一个实施例的流程图；
图2是本发明的步骤30的一个具体实施方式的流程图；
图3是本发明的条件噪声预测期的模型结构示意图；
图4是本发明遥感图像超分辨率重建系统的示意性框图；
图5是本发明的实施例的示例计算机设备的示意性框图。
其中，说明书附图的附图标记如下：
600、计算机设备；601、计算单元；602、ROM；603、RAM；604、总线；605、I/O接口；606、输入单元；607、输出单元；608、存储单元；609、通信单元。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
请参照图1，为本发明实施例提供的一种基于扩散模型的遥感图像超分辨率重建方法，该方法包括：
S10、采集高分辨率遥感图像并将其汇总形成遥感图像数据集。
本实施例的遥感图像具体可以为卫星遥感图像。
具体地，通常采集的卫星遥感图像都是属于高分辨率遥感图像，将众多高分辨率遥感图像汇总形成一个遥感图像数据集。
S20、获取预设的单图像超分辨率扩散模型。
具体地，单图像超分辨率扩散概率模型是用于迭代降噪和生成预测的卷积神经网络。
具体地，单图像超分辨率扩散模型通过马尔可夫链逐渐将高斯噪声转化为受低分辨率输入条件的超分辨率(SR)图像，并通过数据似然的变分界的变体进行优化，可以提供多样化且真实的SR预测。
本实施例的单图像超分辨率扩散模型采用互联网通用图像进行训练得到，互联网通用图像可以从互联网的网站上随机下载得到，无需成本。其中，遥感图像与互联网通用图像相比，遥感图像比互联网通用图像的视距更长、视野更宽，因此若将遥感图像直接应用在单图像超分辨率扩散模型上，其超分辨率重建效果较差。
具体地，扩散模型是一种生成模型，单图像超分辨率扩散模型建立在一个T步的扩散模型上，其中T是总的扩散步数。
扩散模型采用参数化的马尔科夫链通过变分推断进行训练，逐步从简单分布中的潜变量XT生成复杂分布中的数据X0，将每个扩散时间步t∈{1,2,...,T}中的结果Xt(在扩散步骤t的数据)是一个d维向量，并且Xt与X0具有相同的维度d。一个扩散模型包含有两个过程：扩散过程和逆扩散过程。
具体地，扩散过程是从高分辨率遥感图像扩散到低分辨率遥感图像的过程，逆扩散过程是从低分辨率遥感图像扩散到高分辨率遥感图像的过程。单图像超分辨率扩散模型利用马尔可夫链将高分辨率遥感图像转换为简单分布的潜变量，在逆扩散过程中使用基于低分辨率编码器D(LR编码器)的低分辨率信息的条件噪声预测期迭代地去除噪声量，生成超分辨率遥感图像。
S30、对高分辨率遥感图像进行模糊化处理，构建高分辨率与低分辨率图像对的遥感图像配对数据集。
具体地，步骤S30的具体步骤包括：
S31、高分辨率遥感图像采用降质去噪模型生成对应的低分辨率遥感图像，并配对得到高分辨率与低分辨率图像对。
具体地，低分辨率的像素值远低于高分辨率的像素值。
S32、将高分辨率与低分辨率图像对汇总得到遥感图像配对数据集。
具体地，将遥感图像配对数据集存储在存储模块中，供单图像超分辨率扩散模型调用以重新训练。
S40、根据遥感图像配对数据集对单图像超分辨率扩散模型进行重训练。
具体地，单图像超分辨率扩散模型是由互联网通用图像训练得到，而互联网通用图像与遥感图像的图像特点不同，因此根据遥感图像配对数据集对单图像超分辨率扩散模型进行重训练，以此对单图像超分辨率扩散模型进行微调，使经过微调后的单图像超分辨率扩散模型应用于遥感图像中进行超分辨率重建的准确率高，效果好。
本实施例中，为了微调单图像超分辨率扩散模型，需要采集的遥感图像的数量较少，如此既能保证准确性还能降低成本。
本实施例中，将单图像超分辨率扩散概率模型进行预训练，在经过预训练的单图像超分辨率扩散概率模型的基础上使用遥感图像进行超分辨率微调，使训练更高效，且效果更好。
S50、基于完成重训练的单图像超分辨率扩散模型对遥感图像进行超分辨率重建。
现有的单图像超分辨率扩散模型采用互联网通用图像训练，属于一种通用模型，但是本发明人发现将通用模型直接应用于遥感图像中效果较差。并且现有技术中还有技术人员直接采用遥感图像进行训练单图像超分辨率扩散模型，但是遥感图像是很宝贵的且数量较少，每张遥感图像都需要很高的价格，为了能保证模型的准确性，需要购买大量遥感图像，导致成本非常高。
而本发明中在现有的单图像超分辨率扩散模型中输入遥感图像进行重训练，实现微调，不仅无需购买大量的遥感图像进行训练，降低了成本，还使用经过微调后的单图像超分辨率扩散模型应用于遥感图像，提高了单图像超分辨率扩散模型的超分辨率重建的图像质量的准确性，使得超分辨率重建效果更好。
实施例二
请参照图3，在实施例一的基础上，本发明的单图像超分辨率扩散模型包括有两个过程，分别为扩散过程和逆扩散过程。
具体地，扩散过程通过逐步添加高斯噪声ε将残差图像X0转换为高斯分布中的潜变量XT。
具体地，逆扩散过程由一个具有基于密集链接残差块(RRDB)的低分辨率编码器(LR编码器)D的条件噪声预测器确定。
逆扩散过程通过使用低分辨率编码器(LR编码器)D从低分辨率图像XL(LR图像)编码的隐藏状态条件化地使用条件噪声预测器对潜变量进行有限步T的迭代去噪，将其转换为残差图像X0，将生成的残差图像添加到上采样的低分辨率图像中，重建高分辨率图像(HR图像)。具体地，条件噪声预测器的目标是在扩散过程中预测每个扩散时间步中添加的高斯噪声ε。
具体地，使用条件噪声预测器对潜变量进行有限步T的迭代去噪的具体步骤包括：
采集高分辨率互联网通用图像并将其汇总形成通用图像数据集；
条件噪声预测器通过通用图像数据集，学习在给定当前噪声图像和原始的低分辨率图像的条件下预测每个逆扩散步骤中应去除的噪声量。如此，可以学习训练以精确高斯噪声ε的取值，提高单图像超分辨率扩散模型的超分辨率重建过程的准确性。
具体地，单图像超分辨率扩散模型包括一个四步条件噪声预测器和一个包含有多个RRDB块的LR编码器。单图像超分辨率扩散模型不直接预测HR图像，而是应用残差预测来预测高分辨率图像与上采样的低分辨率图像之间的差异，并将差异表示为残差图像X0。
条件噪声预测器根据LR图像信息预测扩散过程中每个时间步中添加的高斯噪声ε。如图3所示，本实施例的条件噪声预测器使用U-Net作为主体，以3通道的Xt扩散时间步t∈{1,2,...T-1,T}和LR编码器的输出作为输入。
具体地，首先，通过一个2D卷积块(CB)将Xt转换为隐藏表示，该卷积块由一个2D卷积层和Mi sh激活组成，然后，LR编码器编码的低分辨率信息Xe与2D卷积块的输出进行融合，接着，将时间步t转换为时间步嵌入te，使用Transformer正弦位置编码，将隐藏状态和te依次输入到收缩路径(CS)、中间步骤(MS)和扩张路径(ES)中，最后由一个卷积块输出。
更具体地，收缩路径和扩张路径均包含有四个步骤，收缩路径随着步骤通道数倍增，收缩路径的一个步骤中包括有卷积层、残差块层以及下采样层，扩张路径对着步骤通道数减半，扩张路径的一个步骤中包括有第一残差块层、第二残差块层以及下采样层。中间步骤的一个步骤中包括两个残差块，插入在收缩和扩张路径之间。
为了减小模型大小，只在第二和第四个收缩步骤中加倍通道大小，并在每个收缩步骤中减半特征图的空间大小。收缩路径中的下采样层是一个两步长的2D卷积，扩张路径中的上采样层是2D转置卷积。
此外，在U-Net的扩张步骤中，不仅使用当前层的输出作为下一层的输入，还将来自收缩路径中相对应层的输出(特征图)通过连接操作一起输入到扩张层中。这种设计使得网络能够在上采样过程中利用之前在收缩路径中捕获的详细特征信息，从而更精确地恢复图像的细节，提高超分辨率重建的质量和准确性。
更具体地，应用位于U-Net的最后一个卷积块生成时间步t-1中的高斯噪声ε作为预测噪声，使用扩散模型来恢复Xt-1(在扩散步骤t-1的数据)。由于多尺度跳跃连接，本实施例的条件噪声预测器易于训练且稳定。此外，它通过收缩和扩张路径结合了局部和全局信息，使得提高了单图像超分辨率扩散模型的重建的图像质量更高和准确性。
具体地，本实施例的LR编码器包含有多个RRDB块，多个RRDB块组成了RRDB架构，其中，LR编码器放弃了RRDB架构中位于最后一个的卷积层，应用的是位于U-Net中的最后一个卷积块，用来输出隐藏的低分辨率图像信息，而不是具体地高分辨率结果。
实施例三
请参阅图4，本发明实施例还提供了一种基于扩散模型的遥感图像超分辨率重建系统，该系统包括：
遥感图像数据获取模块，用于采集高分辨率遥感图像并将其汇总形成遥感图像数据集和获取预设的单图像超分辨率扩散模型；
数据集构建模块，用于对高分辨率遥感图像进行模糊化处理，构建高分辨率与低分辨率图像对的遥感图像配对数据集；
模型训练模块，用于根据遥感图像配对数据集对单图像超分辨率扩散模型进行重训练；
模型应用模块，用于基于完成重训练的单图像超分辨率扩散模型对遥感图像进行超分辨率重建。
具体地，获取模块中用于对高分辨率遥感图像进行模糊化处理，构建高分辨率与低分辨率图像对的遥感图像配对数据集的具体步骤包括：
高分辨率遥感图像采用降质去噪模型生成对应的低分辨率遥感图像，并配对得到高分辨率与低分辨率图像对；
将高分辨率与低分辨率图像对汇总得到遥感图像配对数据集。
具体地，单图像超分辨率扩散模型包括有两个过程，分别为扩散过程和逆扩散过程；
扩散过程通过逐步添加高斯噪声将残差图像转换为高斯分布中的潜变量；
逆扩散过程通过使用低分辨率编码器D从低分辨率图像编码的隐藏状态条件化地使用条件噪声预测器对潜变量进行有限步T的迭代去噪，将其转换为残差图像，将生成的残差图像添加到上采样的低分辨率图像中，重建高分辨率图像。
具体地，使用条件噪声预测器对潜变量进行有限步T的迭代去噪的具体步骤包括：
采集高分辨率互联网通用图像并将其汇总形成通用图像数据集；
条件噪声预测器通过通用图像数据集，学习在给定当前噪声图像和原始的低分辨率图像的条件下预测每个逆扩散步骤中应去除的噪声量。
本发明实施例的基于扩散模型的遥感图像超分辨率重建系统的有益效果等同于上述一种基于扩散模型的遥感图像超分辨率重建方法的有益效果，在此不做赘述。
实施例四
请参阅图5，本发明实施例还提供一种计算机设备，其包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述一种基于扩散模型的遥感图像超分辨率重建方法。
本发明实施例的计算机设备的有益效果等同于上述一种基于扩散模型的遥感图像超分辨率重建方法的有益效果，在此不做赘述。
本发明实施例还提供了一种存储介质，存储介质上存储有计算机程序，该程序被处理器时实现上述一种基于扩散模型的遥感图像超分辨率重建方法。
本发明的存储介质的有益效果等同于上述一种基于扩散模型的遥感图像超分辨率重建方法的有益效果，在此不做赘述。
图5示出了可以用来实施本发明的实施例的示例计算机设备600的示意性框图。计算机设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。计算机设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图5所示，计算机设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备操作所需的各种程序和数据。计算单元601、ROM 602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
计算机设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许计算机设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如一种基于扩散模型的遥感图像超分辨率重建方法。例如，在一些实施例中，基于扩散模型的遥感图像超分辨率重建方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到计算机设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的基于扩散模型的遥感图像超分辨率重建方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行一种基于扩散模型的遥感图像超分辨率重建方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明公开的技术方案所期望的结果，本文在此不进行限制。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。
而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于扩散模型的遥感图像超分辨率重建方法，其特征在于，所述方法包括：
采集高分辨率遥感图像并将其汇总形成遥感图像数据集；
获取预设的单图像超分辨率扩散模型；
对所述高分辨率遥感图像进行模糊化处理，构建高分辨率与低分辨率图像对的遥感图像配对数据集；
根据所述遥感图像配对数据集对所述单图像超分辨率扩散模型进行重训练；
基于完成重训练的所述单图像超分辨率扩散模型对所述遥感图像进行超分辨率重建。
2.如权利要求1所述的一种基于扩散模型的遥感图像超分辨率重建方法，其特征在于，所述对所述高分辨率遥感图像进行模糊化处理，构建高分辨率与低分辨率图像对的遥感图像配对数据集的具体步骤包括：
所述高分辨率遥感图像采用降质去噪模型生成对应的低分辨率遥感图像，并配对得到所述高分辨率与低分辨率图像对；
将所述高分辨率与低分辨率图像对汇总得到所述遥感图像配对数据集。
3.如权利要求1所述的一种基于扩散模型的遥感图像超分辨率重建方法，其特征在于，所述单图像超分辨率扩散模型包括有两个过程，分别为扩散过程和逆扩散过程；
所述扩散过程通过逐步添加高斯噪声将残差图像转换为高斯分布中的潜变量；
所述逆扩散过程通过使用低分辨率编码器D从低分辨率图像编码的隐藏状态条件化地使用条件噪声预测器对所述潜变量进行有限步T的迭代去噪，将其转换为残差图像，将生成的残差图像添加到上采样的低分辨率图像中，重建高分辨率图像。
4.如权利要求3所述的一种基于扩散模型的遥感图像超分辨率重建方法，其特征在于，所述使用条件噪声预测器对所述潜变量进行有限步T的迭代去噪的具体步骤包括：
采集高分辨率互联网通用图像并将其汇总形成通用图像数据集；
所述条件噪声预测器通过通用图像数据集，学习在给定当前噪声图像和原始的低分辨率图像的条件下预测每个逆扩散步骤中应去除的噪声量。
5.一种基于扩散模型的遥感图像超分辨率重建系统，其特征在于，所述系统包括：
遥感图像数据获取模块，用于采集高分辨率遥感图像并将其汇总形成遥感图像数据集和获取预设的单图像超分辨率扩散模型；
数据集构建模块，用于对所述高分辨率遥感图像进行模糊化处理，构建高分辨率与低分辨率图像对的遥感图像配对数据集；
模型训练模块，用于根据所述遥感图像配对数据集对所述单图像超分辨率扩散模型进行重训练；
模型应用模块，用于基于完成重训练的所述单图像超分辨率扩散模型对所述遥感图像进行超分辨率重建。
6.如权利要求5所述的一种基于扩散模型的遥感图像超分辨率重建系统，其特征在于，所述获取模块中用于所述对所述高分辨率遥感图像进行模糊化处理，构建高分辨率与低分辨率图像对的遥感图像配对数据集的具体步骤包括：
所述高分辨率遥感图像采用降质去噪模型生成对应的低分辨率遥感图像，并配对得到所述高分辨率与低分辨率图像对；
将所述高分辨率与低分辨率图像对汇总得到所述遥感图像配对数据集。
7.如权利要求5所述的一种基于扩散模型的遥感图像超分辨率重建系统，其特征在于，所述单图像超分辨率扩散模型包括有两个过程，分别为扩散过程和逆扩散过程；
所述逆扩散过程由一个具有基于密集链接残差块的低分辨率编码器D的条件噪声预测器确定；
所述逆扩散过程通过使用所述低分辨率编码器D从低分辨率图像编码的隐藏状态条件化地使用所述条件噪声预测器对潜变量进行有限步T的迭代去噪，将其转换为残差图像，将生成的残差图像添加到上采样的低分辨率图像中，重建高分辨率图像。
8.如权利要求7所述的一种基于扩散模型的遥感图像超分辨率重建系统，其特征在于，所述使用条件噪声预测器对所述潜变量进行有限步T的迭代去噪的具体步骤包括：
采集高分辨率互联网通用图像并将其汇总形成通用图像数据集；
所述条件噪声预测器通过通用图像数据集，学习在给定当前噪声图像和原始的低分辨率图像的条件下预测每个逆扩散步骤中应去除的噪声量。
9.一种计算机设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-4中任一项所述的方法。
10.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的方法。
CN202410679550.4A 2024-05-29 2024-05-29 一种基于扩散模型的遥感图像超分辨率重建方法及系统 Pending CN118628355A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410679550.4A CN118628355A (zh) 2024-05-29 2024-05-29 一种基于扩散模型的遥感图像超分辨率重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410679550.4A CN118628355A (zh) 2024-05-29 2024-05-29 一种基于扩散模型的遥感图像超分辨率重建方法及系统

Publications (1)

Publication Number Publication Date
CN118628355A true CN118628355A (zh) 2024-09-10

Family

ID=92600947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410679550.4A Pending CN118628355A (zh) 2024-05-29 2024-05-29 一种基于扩散模型的遥感图像超分辨率重建方法及系统

Country Status (1)

Country Link
CN (1) CN118628355A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119151791A (zh) * 2024-11-11 2024-12-17 人工智能与数字经济广东省实验室(深圳) 一种遥感图像的连续超分辨率扩大方法、装置及终端

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119151791A (zh) * 2024-11-11 2024-12-17 人工智能与数字经济广东省实验室(深圳) 一种遥感图像的连续超分辨率扩大方法、装置及终端

Similar Documents

Publication Publication Date Title
CN113014927B (zh) 图像压缩方法和图像压缩装置
CN109671129B (zh) 一种自适应参数学习的动态磁共振图像重建方法和装置
US20230206396A1 (en) Image super-resolution reconstructing
US12212764B2 (en) Image compression method and apparatus
CN111429347A (zh) 图像超分辨率重建方法、装置及计算机可读存储介质
CN112950471A (zh) 视频超分处理方法、装置、超分辨率重建模型、介质
KR20220157402A (ko) 이미지 리스케일링
CN117911258A (zh) 样本生成方法以及相关设备
CN113888410A (zh) 图像超分辨率方法、装置、设备、存储介质以及程序产品
CN118628355A (zh) 一种基于扩散模型的遥感图像超分辨率重建方法及系统
CN112991169B (zh) 基于图像金字塔和生成对抗网络的图像压缩方法及系统
CN117787380A (zh) 模型获取方法、装置、介质及设备
CN116485655A (zh) 一种基于扩散模型的ct图像超分辨率处理方法
Esmaeilzehi et al. DHBSR: A deep hybrid representation-based network for blind image super resolution
Talreja et al. XTNSR: Xception-based transformer network for single image super resolution
CN116309158A (zh) 网络模型的训练方法、三维重建方法、装置、设备和介质
CN115587941A (zh) 一种基于并行处理的注意力模块的图像去模糊方法
CN115601257A (zh) 一种基于局部特征和非局部特征的图像去模糊方法
CN115578261A (zh) 图像处理方法、深度学习模型的训练方法、装置
Yang et al. Unsupervised image blind super resolution via real degradation feature learning
CN117745725B (zh) 图像处理方法、图像处理模型训练方法、三维医学图像处理方法、计算设备及存储介质
Chen et al. A review of super resolution based on deep learning
CN114693759B (zh) 一种基于编解码网络的轻量级快速图像深度估计方法
Lin et al. Image super‐resolution reconstruction based on implicit image functions
Huang et al. Cascading and Residual Connected Network for Single Image Superresolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination