CN112991181A - 一种基于反应扩散方程的图像超分辨率重建方法 - Google Patents

Abstract

本发明属于计算机视觉领域，尤其涉及一种基于反应扩散方程的图像超分辨率重建方法。该方法提出了新的反应扩散模块和级联深度框架。反应扩散模块将反应扩散方程嵌入深度模型，由深度模型学习生成求解方程所需参数，进而引导图像超分辨率重建任务中局部图纹的生成，降低了超分任务的难度。级联深度框架级联了多个特征变换和反应扩散模块，使得超分任务被划分成小的部分交给模型不同深度的部分完成，降低了模型训练的难度。最后搭建了一个新的深度超分模型，在不降低超分性能的情况下，大幅减少了超分模型的参数数量与模型深度，降低了深度超分模型应用的难度。

Description

一种基于反应扩散方程的图像超分辨率重建方法

技术领域

本发明属于计算机视觉领域，涉及一种图像超分辨率重建方法，具体涉及一种基于反应扩散方程的级联深度图像超分网络。

背景技术

图像超分辨率重建旨在恢复出低分变率图像在降质过程中丢失的细节信息。这在图像分类、图像分割、目标探测等领域有着极大的实际应用意义。超分问题是一个病态问题，传统方法如插值、稀疏编码、点扩散方法无法泛化应用在大数据集上。深度学习算法能够有效的提取大数据中图像共有的潜在信息，大幅提高图像超分辨率算法的性能。

目前，基于深度学习的图像超分算法已经得到广泛深入的研究，研究者针对超分任务，设计了多种复杂的深度网络结构，使超分性能得到了大幅度的提升。然而现存方法对图像超分任务中的图纹生成部分缺乏相应的引导机制，仅仅依靠深度模型强大的学习能力来完成。

这使得已有的深度模型存在以下问题：

1参数数量较大，模型的训练变得困难；

2模型的深度较深，使用模型较为耗时。

3模型的复杂结构使得其实际应用变得十分困难。

有必要为图像超分问题的图纹生成机制设计一种有针对性的解决方案，降低深度超分模型的复杂度。

发明内容

为了克服上述问题，本发明将反应扩散方程嵌入深度模型，为图像超分的局部图纹生成提供引导，并基于此设计了一种级联的深度超分框架，大大减少了模型的参数数量、模型的深度，降低了模型应用的难度。

本发明所采用的技术方案是一种基于反应扩散方程的级联深度模型框架。其包括以下步骤。

一种基于反应扩散方程的图像超分辨率重建方法，其特征在于，包括：

建立图像超分辨率重建模型，具体包括：

步骤1.1：采集若干高分辨率图像；

步骤1.2：使用双三次插值方法将高分图像按照若干设定倍数下采样降质得到低分辨率图像；定义(该高分图像降质得到的低分图像，高分图像)作为一个图像样本，所有的图像样本一起构成图像超分数据集，并将数据归一化(将数据除以图像数据的最大值,一般为255,使得图像数据的取值范围由[0,数据最大值]变成[0,1])，以便于处理；

步骤1.3：根据高分图像分辨率的大小把步骤1.2得到的数据集划分成两部分；第一部分中高分图像的分辨率高(图像的尺寸：高×宽不低于1000×2000或2000×1000)，把这些图像裁剪为尺寸小的图像块得到(低分图像块，高分图像块)作为训练集；第二部分中高分图像的分辨率低(图像的尺寸：高×宽低于1000×2000或2000×1000)，这些(低分图像，高分图像)图像直接作为测试集；

步骤1.4：构建基于反应扩散方程的级联深度网络；网络包括：

特征提取模块，使用一层卷积从低分图像上提取初始特征；

特征变换模块：由8个基本模块与一个长跨层连接组成，其中基本模块由4个残差模块和短跨层连接，长短跨层连接加强了变换过程中浅层特征与深层特征的融合，降低了训练深层网络的难度；

反应扩散模块：首先使用反卷积层放大特征的尺度，接着将变换后的特征与预估超分图像一起输入反应扩散过程，让反应扩散过程引导局部图纹的生成；

步骤1.5：使用训练集来更新网络的参数，网络参数使用Kaiming初始化，由L1损失，利用Adam优化器计算梯度并进行参数更新；在迭代设定次数后，模型收敛，得到建立好的图像超分辨率重建模型；

采用建立好的图像超分辨率重建模型进行图像超分辨率重建，具体包括：

步骤2.1、采集需要重建的低分辨率图像，并将图像归一化得到可以处理的低分图像数据；

步骤2.2、把低分图像数据输入到建立好的图像超分模型,由特征提取模块提取特征,特征变换模块对特征进行变换，最后由反应阔散模块重建得到模型的输出；

步骤2.3、把模型的输出乘以255，将数据重新还原为原本图像数据的范围[0,255]得到最终的图像超分重建结果。

在上述的一种基于反应扩散方程的图像超分辨率重建方法，其特征在于：

特征提取模块f_e由1层卷积f_conv组成(卷积f_conv为深度模型的基本单元,其由卷积核

与偏置项

确定,c_i表示输入数据的通道数,c_o表示输出通道数,k表示卷积核尺寸，一般为3,本发明通过设置步长为1与边缘零填充的方式让卷积f_conv不改变输入数据的尺寸),输入为低分图像x^LR∈R^3×h×w,3表示输入彩色RGB(红绿蓝)3个通道的图像数据,h,w分别表示输入低分图像的高和宽,即输入数据是由3个矩阵堆叠而成(输入通道数为3),每个矩阵的维度都是h×w；输出为初始特征F⁰∈R^64×h×w，即初始特征由64个矩阵堆叠而成(输出通道数为64)，每个矩阵分别保存了图像数据某一方面的特征；特征的选取由这层卷积的参数为w₀∈R^64×3×3×3,b₀∈R⁶⁴确定,即F⁰＝f_e(x^LR)＝f_conv(w₀,b₀,x^LR)，w₀,b₀根据步骤1.5确定。

在上述的一种基于反应扩散方程的图像超分辨率重建方法，特征变换模块f_t由8个基本模块f_bm1,f_bm2,f_bm3,f_bm4,f_bm5,f_bm6,f_bm7,f_bm8与一个长跨层连接f_conv组成；输入为数据特征F^i-1∈R^64×h×w,i＝1,2,3,4,输出为经过变换后的特征Fⁱ∈R^64×h×w，输入特征先依次经过8个基本模块变换特征，然后使用一个卷积提取到新特征添加到输入特征上得到经过变换后的特征，即:

Fⁱ＝F^i-1+

f_conv(w_l,b_l,f_bm8(f_bm7(f_bm6(f_bm5(f_bm4(f_bm3(f_bm2(f_bm1(F^i-1)))))))))；

基本模块f_bm由4个残差模块f_res1,f_res2,f_res3,f_res4与一个短跨层连接f_conv组成；输入数据特征Fⁱⁿ∈R^64×h×w,输出经过变换后的特征F^out∈R^64×h×w；与上面的结构类似,即:F^out＝Fⁱⁿ+f_conv(w_s,b_s,f_res4(f_res3(f_res2(f_res1(Fⁱⁿ)))))

残差模块f_res结构为‘卷积层-ReLU激活函数-卷积层’，其计算公式如下

F^out＝Fⁱⁿ+f_conv(w_res2,b_res2,f_ReLU(f_conv(w_res1,b_res1,Fⁱⁿ))),

f_ReLU(F)＝max(0,F)表示只保留F中的大于0的数据,小于0的数据被置为0；

特征变换模块中所有卷积函数的参数w,b均根据权利要求1步骤1.5确定。

在上述的一种基于反应扩散方程的图像超分辨率重建方法，反应扩散模块f_rd由8个卷积层和1个反卷积层组成，输入为根据权利要求3所述经过变换后的特征Fⁱ∈R^64×h×w与预估超分结果SR_rough∈R^3×H×W，输出为经过反应扩散方程引导后的超分结果SR_fine∈R^3×H×W；若当前模块为第1个反应扩散模块，SR_rough由无参双三次插值方法f_bi按照倍率s(s为超分重建中的放大因子，H,W分别表示输出超分图像的高和宽,由输入低分图像的高和宽h,w与放大因子s计算得到,H＝sh，W＝sw)将低分图像x^LR放大得到；若当前模块不是第1个反应扩散模块，SR_rough则为前一个反应扩散模块的输出；反应扩散模块的具体工作步骤包括：

a.使用反卷积(反卷积又称转置卷积,是卷积f_conv的一个变种,假设输入为

一般情况下卷积不改变输入数据的空间尺寸(宽和高),即输出y^out＝f_conv(w，b,xⁱⁿ),

因此为了得到放大后的输出结果,转置卷积首先按照特定放大因子，以2倍为例，通过数据内部零填充的方式把输入数据放大输入的尺度，

再使用一般的卷积对

变换得到输出结果,

记为

)放大特征Fⁱ∈R^64×h×w的尺度到高分图像的尺度得到结果F^new∈R^{64 ×H×W}，H＝sh,W＝sw，s为超分重建放大因子F^new＝f_deconv(w_de,b_de，Fⁱ)；

b.分别使用一个卷积操作生成求解下列反应扩散方程所需的参数V，c₀.c₁，c₂，c₃，d₀,d₂,d₃∈R^3×H×W；

该反应扩散方程定义了两种成分U，V∈R^3×H×W随着时间t的变化情况；U_t,V_t∈R^3×H×W即为U,V对时间t的导数,ΔU,ΔV即为使用Laplace算子对U,V进行变换的结果；

V＝f_conv(w_v,b_v,F^new)表示反应扩散方程中的V成分；c₀＝f_conv(w_c0,b_c0,F^new),c₁＝f_conv(w_c1,b_c1,F^new),c₂＝f_conv(w_c2,b_c2,F^new),c₃＝f_conv(w_c3,b_c3,F^new),d₀＝f_conv(w_d0，b_d0,F^new),d₂＝f_conv(w_d2,b_d2，F^new)，d₃＝f_conv(w_d3,b_d3,F^new)为定义反应扩散方程需要的参数，这些参数确定了反应扩散方程局部的解,即定义了局部生成的图纹；

c.由预估图像SR_rough作为反应扩散方程中的U成分初始值U⁰,V＝f_conv(w_v,b_v，F^new)作为V成分初始值V⁰，使用欧拉迭代法求解方程

n＝1,2,3,4.表示迭代轮数,dt表示时间步长，取值为1.反应扩散模块的输出SR_fine＝U⁴。

在上述的一种基于反应扩散方程的图像超分辨率重建方法，基于反应扩散方程的级联深度网络以f_net表示，f_net的组成成分为：1个特征提取模块f_e，4个特征变换模块f_t1,f_t2,f_t3,f_t4，4个反应扩散模块f_rd1,f_rd2,f_rd3,f_rd4；输入为低分图像x^LR,输出为超分结果SR,其数据处理步骤如下：

a.由特征提取模块f_e从输入的经过处理的图像数据x^LR上提取到初始特征F⁰，F⁰＝f_e(x^LR)

b.由4个特征变换模块f_t1,f_t2,f_t3,f_t4依次进行特征变换得到F¹,F²,F³,F⁴，其中第i(i＝1,2,3,4)个特征变换模块的输出Fⁱ由该特征模块f_ti对前一阶段得到的特征F^i-1进行变换得到，即Fⁱ＝f_ti(F^i-1)；

c.由4个反应扩散模块f_rd1,f_rd2,f_rd3,f_rd4依次使用得到的特征F¹,F²,F³,F⁴进行图像超分重建；首先，使用无参双三次插值方法f_bi按照倍率将低分图像x^LR上采样得到初始的超分预估结果SR⁰，即SR⁰＝f_bi(x^LR)；然后，依次经过4个反应扩散模块的引导，得到低分图像的超分辨率重建结果；其中第i(i＝1,2,3,4)个反应扩散模块的输出SRⁱ,由该反应扩散模块f_rdi使用前一阶段得到的超分重建结果SR^i-1与第i个特征变换模块的输出Fⁱ进行重建得到，即SRⁱ＝f_rdi(SR^i-1，Fⁱ)；第4个反应扩散模块的输出SR⁴作为最终的图像超分结果SR，

即SR＝f_net(x^LR)＝f_rd4(f_rd3(f_rd2(f_rd1(f_bi(x^LR),F¹),F²),F³),F⁴)，

其中F¹＝f_t1(f_e(x^LR))，F²＝f_t2(F¹)，F³＝f_t3(F²)，F⁴＝f_t4(F³)。

本发明的有益效果为：

(1)本发明提出了基于反应扩散方程的的反应扩散模块，为超分重建时局部图纹的生成提供有效引导，降低超分任务的难度。

(2)本发明基于上述模块搭建了级联深度模型框架，使得超分重建的过程被分成4个子阶段，并分别交给网络深度不同的部分来完成，降低了模型的训练难度。

(3)本发明基于上述模型构建级联深度超分模型，在不降低超分性能的情况下，大幅减少了模型的参数数量，模型的深度，降低了模型应用的难度。

附图说明

图1为本发明实施例中深度图像超分变率重建框架。

图2为本发明实例中深度超分网络的结构。

具体实施方式

下面结合附图对本发明进一步说明。

本发明提供了一种基于反应扩散方程的深度图像超分辨率方法，包括以下步骤：

步骤1：采集大量高分辨率彩色RGB图像(High-ResolutionImage,HR),

y_i表示高分图像，n表示高分图像的数量,i用以标识不同的高分图像。[0,255]表示图像数据的取值范围。H_i×W_i为每一张高分图像y_i各自的空间尺寸，即各自的高×宽。

步骤2：使用双三次插值(Bicubic,本发明中使用MATLAB的imresize函数按照默认参数完成)方法将高分图像按照2倍、3倍、4倍下采样降质得到低分辨率图像(Low-Resolution Image,LR)

表示把高分图像y_i按照s倍率缩小得到的低分图像。s为超分重建的放缩倍率，取值为{2，3，4}。h_is×w_is表示低分图像

的空间尺寸，其中

低分图像

与高分图像y_i一起构成图像超分数据集

并将数据归一化，以便于处理，归一化方式为将数据除以图像数据的最大值255,使得图像数据的取值范围由[0,255]变成[0,1]。

步骤3：根据高分图像分辨率的大小把步骤2得到的数据集划分成两部分

与

其中

第一部分中高分图像的分辨率较高(图像的尺寸：高×宽不低于1000×2000或2000×1000)，把这些图像裁剪为尺寸较小的图像块得到

作为训练集。

表示把低分图像

裁剪而成的小图像块，y_iks表示相应的高分图像块。m_is表示把第i张低分图像

裁剪后的图像块的总数。第二部分中高分图像的分辨率较低(图像的尺寸：高×宽低于1000×2000或2000×1000)，这些图像直接作为测试集。

步骤4：构建基于反应扩散方程的级联深度网络f_net(附图2)。f_net的组成成分为：1个特征提取模块f_e，4个特征变换模块f_t1,f_t2,f_t3,f_t4，4个反应扩散模块f_rd1,f_rd2,f_rd3,f_rd4。输入为低分图像x^LR,输出为超分结果SR,其数据处理步骤如下：

a.由特征提取模块f_e从输入的经过处理的图像数据x^LR上提取到初始特征F⁰，F⁰＝f_e(x^LR)

b.由4个特征变换模块f_t1,f_t2,f_t3,f_t4依次进行特征变换得到F¹,F²,F³,F⁴，其中第i(i＝1,2,3,4)个特征变换模块的输出Fⁱ由该特征模块f_ti对前一阶段得到的特征F^i-1进行变换得到，即Fⁱ＝f_ti(F^i-1)。

c.由4个反应扩散模块f_rd1,f_rd2,f_rd3,f_rd4依次使用得到的特征F¹,F²,F³,F⁴进行图像超分重建。首先，使用无参双三次插值方法f_bi按照倍率将低分图像x^LR上采样得到初始的超分预估结果SR⁰，即SR⁰＝f_bi(x^LR)。然后，依次经过4个反应扩散模块的引导，得到低分图像的超分辨率重建结果。其中第i(i＝1,2,3,4)个反应扩散模块的输出SRⁱ,由该反应扩散模块f_rdi使用前一阶段得到的超分重建结果SR^i-1与第i个特征变换模块的输出Fⁱ进行重建得到，即SRⁱ＝f_rdi(SR^i-1，Fⁱ)。第4个反应扩散模块的输出SR⁴作为最终的图像超分结果SR，

即SR＝f_net(x^LR)＝f_rd4(f_rd3(f_rd2(f_rd1(f_bi(x^LR),F¹),F²),F³),F⁴)，

其中F¹＝f_t1(f_e(x^LR))，F²＝f_t2(F¹)，F³＝f_t3(F²),F⁴＝f_t4(F³)

步骤5：使用训练集来更新网络的参数，网络参数按照Kaiming初始化方式使用均值为0标准差为0.0035的正态分布初始化。由L1损失L₁(SR_iks,y_iks)＝||SR_iks-y_iks||₁，|| ||₁表示求所有元素绝对值的平均值，SR_iks为深度超分模型f_net对低分图像

的输出结果。每次进行参数更新时，会固定放缩因子s,从训练集中随机选取16个样本来计算L1损失的和进而计算梯度，即损失loss＝∑_iks L₁(SR_iks,y_iks),以w_all∈R^N表示f_net中的所有参数,N表示参数总数量,梯度为

本发明使用用Adam(Adaptive MomentEstimation，自适应梯度动量估计优化器)来更新梯度。

其中k表示迭代轮数,m^k,v^k∈R^N分别表示第k轮迭代时梯度的一阶统计量与二阶统计量,β₁＝0.5，β₂＝0.7。在迭代100万次后，模型收敛，能够用来完成图像超分辨率重建任务。

步骤6、采集需要重建的低分辨率图像，并将图像归一化得到可以处理的低分图像数据；把低分图像数据输入到建立好的图像超分模型,由特征提取模块提取特征,特征变换模块对特征进行变换，最后由反应阔散模块重建得到模型的输出。把模型的输出乘以255，将数据重新还原为原本图像数据的范围[0,255]得到最终的图像超分重建结果。

以上是本发明涉及的图像超分辨率重建方法的具体实施步骤。整个流程综合考虑了数据采集、数据预处理、搭建深度网络及图像超分重建。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (5)

1.一种基于反应扩散方程的图像超分辨率重建方法，其特征在于，包括：

建立图像超分辨率重建模型，具体包括：

步骤1.1：采集若干高分辨率图像；

步骤1.2：使用双三次插值方法将高分图像按照若干设定倍数下采样降质得到低分辨率图像；定义(该高分图像降质得到的低分图像，高分图像)作为一个图像样本，所有的图像样本一起构成图像超分数据集，并将数据归一化(将数据除以图像数据的最大值,一般为255,使得图像数据的取值范围由[0,数据最大值]变成[0,1])，以便于处理；

步骤1.3：根据高分图像分辨率的大小把步骤1.2得到的数据集划分成两部分；按照设定划分分辨率阈值，高于分辨率阈值的第一部分中高分图像的分辨率高，把第一部分图像裁剪为尺寸小的图像块得到(低分图像块，高分图像块)作为训练集；低于分辨率阈值的第二部分中高分图像的分辨率低，这些(低分图像，高分图像)图像样本不做裁剪，直接作为测试集；

步骤1.4：构建基于反应扩散方程的级联深度网络；网络包括：

特征提取模块，使用一层卷积从低分图像上提取初始特征；

特征变换模块：由8个基本模块与一个长跨层连接组成，其中基本模块由4个残差模块和短跨层连接，长短跨层连接加强了变换过程中浅层特征与深层特征的融合，降低了训练深层网络的难度；

反应扩散模块：首先使用反卷积层放大特征的尺度，接着将变换后的特征与预估超分图像一起输入反应扩散过程，让反应扩散过程引导局部图纹的生成；

步骤1.5：使用训练集来更新网络的参数，网络参数使用Kaiming初始化，由L1损失，利用Adam优化器计算梯度并进行参数更新；在迭代设定次数后，模型收敛，得到建立好的图像超分辨率重建模型；

采用建立好的图像超分辨率重建模型进行图像超分辨率重建，具体包括：

步骤2.1、采集需要重建的低分辨率图像，并将图像归一化得到可以处理的低分图像数据；

步骤2.2、把低分图像数据输入到建立好的图像超分模型,由特征提取模块提取特征,特征变换模块对特征进行变换，最后由反应阔散模块重建得到模型的输出；

步骤2.3、把模型的输出乘以255，将数据重新还原为原本图像数据的范围[0,255]得到最终的图像超分重建结果。

2.根据权利要求1所述的一种基于反应扩散方程的图像超分辨率重建方法，其特征在于：特征提取模块f_e由1层卷积f_conv组成，卷积f_conv为深度模型的基本单元,其由卷积核

与偏置项

确定,c_i表示输入数据的通道数,c_o表示输出通道数,k表示卷积核尺寸,输入为低分图像x^LR∈R^3×h×w,3表示输入彩色RGB红绿蓝3个通道的图像数据,h,w分别表示输入低分图像的高和宽,即输入数据是由3个矩阵堆叠而成,每个矩阵的维度都是h×w；输出为初始特征F⁰∈R^64×h×w，即初始特征由64个矩阵堆叠而成(输出通道数为64)，每个矩阵分别保存了图像数据某一方面的特征；特征的选取由这层卷积的参数为w₀∈R^{64 ×3×3×3},b₀∈R⁶⁴确定,即F⁰＝f_e(x^LR)＝f_conv(w₀，b₀,x^LR)，w₀,b₀根据步骤1.5确定。

3.根据权利要求1所述的一种基于反应扩散方程的图像超分辨率重建方法，其特征在于：特征变换模块f_t由8个基本模块f_bm1，f_bm2,f_bm3,f_bm4,f_bm5,f_bm6,f_bm7,f_bm8与一个长跨层连接f_conv组成；输入为数据特征F^i-1∈R^64×h×w,i＝1,2,3,4,输出为经过变换后的特征Fⁱ∈R^{64 ×h×w}，输入特征先依次经过8个基本模块变换特征，然后使用一个卷积提取到新特征添加到输入特征上得到经过变换后的特征，即:

Fⁱ＝F^i-1+

f_conv(w_l,b_l,f_bm8(f_bm7(f_bm6(f_bm5(f_bm4(f_bm3(f_bm2(f_bm1(Fⁱ-1)))))))))；

基本模块f_bm由4个残差模块f_res1,f_res2,f_res3,f_res4与一个短跨层连接f_conv组成；输入数据特征Fⁱⁿ∈R^64×h×w,输出经过变换后的特征F^out∈R^64×h×w；与上面的结构类似,即:F^out＝Fⁱⁿ+f_conv(w_s,b_s,f_res4(f_res3(f_res2(f_res1(Fⁱⁿ)))))

残差模块f_res结构为‘卷积层-ReLU激活函数-卷积层’，其计算公式如下

F^out＝Fⁱⁿ+f_conv(w_res2,b_res2,f_ReLU(f_conv(w_res1,b_res1,Fⁱⁿ))),

f_ReLU(F)＝max(0,F)表示只保留F中的大于0的数据,小于0的数据被置为0；

特征变换模块中所有卷积函数的参数w,b均根据权利要求1步骤1.5确定。

4.根据权利要求1所述的一种基于反应扩散方程的图像超分辨率重建方法，其特征在于：反应扩散模块f_rd由8个卷积层和1个反卷积层组成，输入为根据权利要求3所述经过变换后的特征Fⁱ∈R^64×h×w与预估超分结果SR_rough∈R^3×H×W，输出为经过反应扩散方程引导后的超分结果SR_fine∈R^3×H×W；若当前模块为第1个反应扩散模块，SR_rough由无参双三次插值方法f_bi按照倍率s(s为超分重建中的放大因子，H,W分别表示输出超分图像的高和宽,由输入低分图像的高和宽h,w与放大因子s计算得到,H＝sh,W＝sw)将低分图像x^LR放大得到；若当前模块不是第1个反应扩散模块，SR_rough则为前一个反应扩散模块的输出；反应扩散模块的具体工作步骤包括：

a.使用反卷积，反卷积又称转置卷积,是卷积f_conv的一个变种,输入为

卷积不改变输入数据的空间尺寸宽(w)和高(h),即输出y^out＝f_conv(w，b，xⁱⁿ)，

为了得到放大后的输出结果,转置卷积首先按照特定放大因子s，s为正整数，定义为图像超分放大倍率，且s≥2，通过数据内部零填充的方式把输入数据的尺寸放大得到放大后的数据

再使用卷积对

变换得到反卷积输出结果

反卷积把低分图像特征的尺度放大到高分图像的尺度，便于后续处理；

b.分别使用一个卷积操作生成求解下列反应扩散方程所需的参数V，c₀.c₁,c₂，c₃,d₀，d₂，d₃∈R^3×H×W；

该反应扩散方程定义了两种成分U，V∈R^3×H×W随着时间t的变化情况；U_t,V_t∈R^3×H×W即为U,V对时间t的导数,ΔU，ΔV即为使用Laplace算子对U,V进行变换的结果；

V＝f_conv(w_v,b_v，F^new)表示反应扩散方程中的V成分；

c₀＝f_conv(w_c0，b_c0，F^new),c₁＝f_conv(w_c1，b_c1,F^new),c₂＝f_conv(w_c2,b_c2,F^new),c₃＝f_conv(w_c3,b_c3,F^new),d₀＝f_conv(w_d0,b_d0,F^new),d₂＝f_conv(w_d2，b_d2，F^new)，d₃＝f_conv(w_d3,b_d3，F^new)为定义反应扩散方程需要的参数，这些参数确定了反应扩散方程局部的解,即定义了局部生成的图纹；

c.由预估图像SR_rough作为反应扩散方程中的U成分初始值U⁰,V＝f_conv(w_v,b_v，F^new)作为V成分初始值V⁰，使用欧拉迭代法求解方程

n＝1,2，3，4.表示迭代轮数,dt表示时间步长，取值为1.反应扩散模块的输出SR_fine＝U⁴。

5.根据权利要求1所述的一种基于反应扩散方程的图像超分辨率重建方法，其特征在于：基于反应扩散方程的级联深度网络以f_net表示，

f_net的组成成分为：1个特征提取模块f_e，4个特征变换模块f_t1，f_t2，f_t3，f_t4，4个反应扩散模块f_rd1,f_rd2，f_rd3,f_rd4；输入为低分图像x^LR,输出为超分结果SR,其数据处理步骤如下：

a.由特征提取模块f_e从输入的经过处理的图像数据x^LR上提取到初始特征F⁰，F⁰＝f_e(x^LR)

b.由4个特征变换模块f_t1,f_t2,f_t3,f_t4依次进行特征变换得到F¹,F²,F³,F⁴，其中第i(i＝1,2,3,4)个特征变换模块的输出Fⁱ由该特征模块f_ti对前一阶段得到的特征F^i-1进行变换得到，即Fⁱ＝f_ti(F^i-1)；

c.由4个反应扩散模块f_rd1,f_rd2,f_rd3,f_rd4依次使用得到的特征F¹,F²,F³,F⁴进行图像超分重建；首先，使用无参双三次插值方法f_bi按照倍率将低分图像x^LR上采样得到初始的超分预估结果SR⁰，即SR⁰＝f_bi(x^LR)；然后，依次经过4个反应扩散模块的引导，得到低分图像的超分辨率重建结果；其中第i(i＝1,2,3,4)个反应扩散模块的输出SRⁱ,由该反应扩散模块f_rdi使用前一阶段得到的超分重建结果SR^i-1与第i个特征变换模块的输出Fⁱ进行重建得到，即SRⁱ＝f_rdi(SR^i-1,Fⁱ)；第4个反应扩散模块的输出SR⁴作为最终的图像超分结果SR，

即SR＝f_net(x^LR)＝f_rd4(f_rd3(f_rd2(f_rd1(f_bi(x^LR),F¹),F²),F³),F⁴)，

其中F¹＝f_t1(f_e(x^LR)),F²＝f_t2(F¹),F³＝f_t3(F²),F⁴＝f_t4(F³)。

Images