CN111784582A - 一种基于dec_se的低照度图像超分辨率重建方法 - Google Patents

Abstract

本发明公开一种基于DEC_SE的低照度图像超分辨率重建方法，所述方法包括如下步骤：1）加工现有数据集；2）特征提取；3）残差密集分解网络的训练；4）超分增强网络的训练；5）超分辨率重建。这种方法能够对低照度的低分辨率的图片进行重建，使得重建后的图像的亮度、对比度和分辨率得到显著提升。

Description

一种基于DEC_SE的低照度图像超分辨率重建方法

技术领域

本发明涉及深度学习、低照度增强、图像超分辨率重建领域，具体是一种基于DEC_SE的低照度图像超分辨率重建方法。

背景技术

低照度增强技术有直方图均衡化和基于Retinex理论的各种网络模型，其中Retinex理论结合现在的卷积神经网络是当前低照度增强的一个热门方向。Retinex理论认为任何一幅图像可以分解为光照图像即illumination和反射图像即reflectance，反射图像是物体的本身性质决定的即为不变的部分，光照图则受外界影响比较大，可以去除光照影响或者对光照图像进行校正，则可以达到增强图像的目的。

超分辨率重建技术的应用范围非常广，在视频编码通信、医学影像和卫星图像等方面都有着非常重要的作用，是计算机视觉领域一个非常重要的研究课题。图像超分辨重建技术也由早期的插值、稀疏编码等技术演变到如今的基于深度学习的超分辨重建技术，重建的效果也是越来越好。

现有技术中的图像超分辨重建主要是针对正常照度下的图片进行超分辨率重建，但是对于照度较低的图片，由于亮度低，对比度低等因素的干扰，现有的超分辨率重建技术对其重建的效果较差。

发明内容

本发明的目的是针对现有技术的不足，而提供一种基于DEC_SE的低照度图像超分辨率重建方法。这种方法能够对低照度的低分辨率的图片进行重建，使得重建后的图像的亮度、对比度和分辨率得到显著提升。

实现本发明目的的技术方案是：

一种基于DEC_SE的低照度图像超分辨率重建方法，包括如下步骤：

1)加工现有数据源：将数据集Urban100中的每一对数据中的低分辨率图片模拟低照度下成像的特点得到低照度的低分辨率图片即LLR,所述每一对数据包括高分辨图片即HR和低分辨率图片即LR，将得到的每张低照度的低分辨率图片和原数据集中对应的HR和LR构成新的数据对即每一数据对包含同一张图片的三张不同形式：HR、LR和LLR，得到新的数据集New-Urban100，New-Urban100数据集分组情况如表1所示：

表1：

2)特征提取：特征提取过程包括：

2-1)选取滤波器的大小为3*3、输入通道为3、输出通道为C，因为输入的是RGB图片所以输入通道为3；

2-2)将正常照度的低分辨率图片LR和低照度的低分辨率图片LLR与所选滤波器分别做卷积操作，在做卷积操作之前需要对原始图片进行填充即padding，目的是使得卷积后的特征图的尺寸和原始的输入尺寸保持不变，方便后面的重建，且它们的滤波器参数共享，得到C个特征图即feature map作为另一动作的输入，就是对正常照度和低照度的低分辨率图片的一个浅层特征提取；

3)残差密集分解网络的训练：过程包括：

3-1)依据Retinex理论，将输入的图片分解成如公式(1)所示的反射图像R(reflectance，简称R)和光照图像I(illumination，简称I)：

S＝R·I (1)，

公式(1)中S代表原图像，R代表反射图像,I代表光照图像,·代表element-wisemultiplication操作；

3-2)将步骤2)得到的特征图送入残差密集分解网络即RDD-Net中训练,所述残差密集分解网络由一系列卷积操作和激活函数组成，并且该网络为了减轻网络负担和更好地对特征的表达采用密集连接和跳跃链接；

3-3)将LR和LLR的残差密集分解网络参数共享，且经过RDD-Net网络后，两张图片会分别被分解为反射图像和光照图像，LR分解的反射图像为Rnormal、光照图像为Inormal，LLR分解的反射图像为Rlow、光照图像为Ilow，根据Retinex理论，一张图片在任何光照的情况下分解出的反射图像是不变的，如公式(2)所示来训练该网络：

L_dec＝||R_low-R_normal||₁ (2)，

用1范数来求两张不同照度的低分辨率图片的反射图像的差，并以此作为残差密集分解网络的损失函数；

4)超分增强网络的训练：过程包括：

4-1)对反射图像处理：对低照度低分辨率的图片的反射图像进行上采样，先进行卷积操作，提取高层特征，为接下来的上采样操作做一个预处理，上采样操作采用Pixelshuffle，上采样操作为：若将一张W×H×1图像放大r²则需要先对这张图片进行预处理，即卷积操作：将通道数转化为r²，且每个特征图的大小尺寸和原图一样，转化后的特征图为W×H×r²，这样将每个特征图对应点的像素按顺序组合起来即得到一张放大后的图像，大小为rW×rH×1，如公式(3)所示：

Y＝fⁿ(R_low)＝PS(W_n*f^n-1(R_low)+b_n) (3)，

其中Y为上采样的结果，fⁿ代表卷积操作和Pixel shuffle操作，R_low代表要上采样的反射图像，PS代表Pixel shuffle，W_n代表最后一层卷积层的参数，f^n-1代表之前的卷积操作，b_n代表最后一层的偏置，损失函数为公式(4)所示：

这是根据Pixel shuffle改写的均方误差即MSE,其中r²为要放大的倍数，H代表原图像的高，W代表原图像的宽，

代表对应高分辨率图片的反射图像，

代表预处理和Pixel shuffle操作，R^llr代表要上采样的图像；

4-2)对光照图像和反射图像的处理：采用超分增强网络即SPEH-Net来对光照图像和反射图像进行处理，根据Retinex理论，光照图像应该在保持整体结构边界的同时纹理细节要平滑，所以将反射图像一起送入SPEH-Net进行训练，来保证光照图像能够保持结构边界且细节纹理平滑，因为光照增强和超分重建都需要很大的感受野，所以该部分对U-net网络改进提出了SPEH-Net，先将反射图像和光照图像进行拼接操作，拼接后是特征图为2的特征图，然后送入SPEH-Net网络，所述SPEH-Net网络设有三个子模块，分别为下采样模块、通道转化模块和上采样模块，该网络对输入的特征图经过这三个子模块进行超分增强，最终得到一张重建的光照图像，损失函数采用L2范数，如公式(5)所示：

其中n代表批处理的数据对个数，

代表第i对数据的高分辨率图片的光照图像，g()表式SPEH-Net网络的操作，

代表第i对数据集的低照度低分辨率的光照图像；

5)超分辨率重建：将超分增强网络的两个输出、反射图像的上采样结果和光照图像的超分辨率增强结果进行element-wise multiplication，即可得到最终的重建图像，损失函数如公式(6)所示：

其中n代表批处理的数据对个数，R′_i,low代表第i个数据对的低照度的低分辨率图片的反射图像上采样后的反射图像，I′_i,low代表第i个数据对的低照度的低分辨率图片的光照图像增强后的光照图像，·代表element-wise multiplication，S_i代表第i个数据对正常照度的高分辨率图片。

步骤3-2)中所述的残差密集分解网络中训练为：

将特征提取步骤的输出W×H×C作为步骤3-2)模块的输入，步骤3-2)模块设有三个由卷积和relu激活函数组成的子模块、一个加权求和模块即Weight_sum和一个sigmoid激活函数构成，这三个卷积的滤波器大小都是3*3，且在做卷积操作之前都要对输入进行填充操作，即在输入数据的外围填充一层0，这样用大小为3*3的滤波器做卷积操作就可以保证输出的尺寸和输入的尺寸一样大，输出通道数都是C，其目的就是提取更高层特征和为了更好地分解，输入通道数有所不同，因为该模块采用密集连接，所以每一个卷积操作的输入都是前面所有的输出结果在通道数上的叠加，即第一个卷积输入的特征图的大小是W×H×C，经过卷积操作和激活函数的激活，输出也是W×H×C，第二个卷积操作的输入变成了W×H×2C，因为它的输入不仅由前一个模块的输出构成也由前一个模块的输入构成，且他们是在通道数上的叠加，以此类推，第三个卷积操作的输入的特征图的大小为W×H×3C，事实上这就是密集连接网络的优势所在，这样做可以充分利用前面的浅层特征，随着卷积操作的不断加深，网络提取的是越来越深的特征也叫更高级的特征，但是浅层特征却会被慢慢地丢失，所以为了更好地利用浅层特征，密集连接网络是一个很好的选择，而且它还有一个优势，就是在用反馈传播算法的时候它可以有效的解决梯度消失或梯度爆炸问题，但是它的缺点也很明显，参数太多，该模块只对三层卷积层进行密集连接，其参数就已经很多了即体现在通道数的成倍增长，所以该模块还使用了跳跃连接即skip-connection，让一些浅层的特征直接传送到后面这样既缓解了网络的计算能力也能保证浅层特征不会丢失,而且也会起到缓解梯度消失或梯度爆炸的问题，特征提取后，特征图进入加权求和模块，因为前面每个由卷积和relu激活函数构成的子模块的输出的通道都是C，只是所含得特征不一样，所以对它们进行加权求和，初始化权重参数W1,W2,W3,W4各为0.25,然后通过公式(2)所示的损失函数由网络来学习这些权重，随后进入跳跃连接模块，由特征提取模块的输出和经过残差密集分解网络的加权求和模块的输出进行Element-wise sum操作

得到的结果为再进行一次卷积操作，卷积操作前进行填充，滤波器大小为3*3，输入通道为C，输出通道为C，然后再用一个sigmoid激活函数完成分解，正常照度的低分辨率图片和低照度的低分辨率图片的分解过程一样，且它们参数共享。

步骤4-1)中所述的上采样过程为：

由残差密集分解网络对低照度低分辨率图像的分解产生的反射图像作为上采样部分的输入，进行四倍放大，则需要将W×H×1的输入经过特征提取后输出为W×H×2²，然后进行上采样，得到一张大小2W×2H×1的输出图像，采用公式(4)所示损失函数训练此步骤的参数，上采样操作有很多，在深度学习中上采样的主流方法有以下四种：(1)双三次线性插值(Bicubic interpolation)；(2)反池化(Unpooling)；(3)反卷积(Deconvolution)；(4)亚像素卷积(Pixel shuffle)，其中亚像素卷积是最适合应用在超分辨率重建中，原理为：要将输入尺寸为W×H×1的图片上采样r²倍，变为rW×rH×1，则先需要对输入图片用卷积进行特征提取，采用的滤波器的大小为3*3且每次在进行卷积操作前都需要对输入进行填充，以确保卷积后的输出和输入的尺寸一样大，经过特征提取后得到的特征图应该为W×H×r²这样将每张特征图上对应的点按照从左到右，从上到下的顺序排列起来，用r×r个像素点代表W×H×1中的对应的一个像素点，这样就得到一张rW×rH×1的输出，完成上采样。

步骤4-2)中所述的采用超分增强网络即SPEH-Net来对光照图像和反射图像进行处理的具体过程为：

将残差密集分解的两个输出作为输入，其中反射图像也作为输入的一部分，是为了在增强光照图像的同时使其既保持整体结构边界也要保证纹理细节要平滑，这样重建出来的效果更好，对U-Net网络改进得到可以提升光照度的超分辨率重建网络SPEH-Net，网络SPEH-Net中下采样模块主要用于特征提取，获得更大的感受野，更高级的特征，通道转化模块是为了保证特征图尺寸不变的情况下，提取更高级的特征，作为下采样模块和上采样模块的过渡模块，上采样模块是利用高级特征和浅层特征完成对输入的逐步重建，网络SPEH-Net将上一步骤的两个输出先进行拼接，拼接后得到一个W×H×2的两通道的图像，假设W和H都为64，将拼接后的图像送入下采样子模块，网络SPEH-Net的3个模块的动作为：

1)下采样模块：下采样模块由3次下采样操作组成，第一次下采样操作用三个卷积操作和两个relu激活函数完成，第一个卷积前先填充，再进行卷积操作，滤波器参数为3*3*2*32，输入通道数是2，输出通道数为32，然后再通过relu激活函数，第二次卷积前先填充，再进行卷积操作，滤波器参数为3*3*32*32，输入通道数是32，输出通道数为32，然后再通过relu激活函数，第三次卷积不需要填充，选取的滤波器参数为33*33*32*32，输出的尺寸为32*32，通道数为32，完成第一次下采样操作；第二次下采样操作用三个卷积操作和两个relu激活函数完成，第一个卷积前先填充，再进行卷积操作，滤波器参数为3*3*32*64，输入通道数是32，输出通道数为64，然后再通过relu激活函数，第二次卷积前先填充，再进行卷积操作，滤波器参数为3*3*64*64，输入通道数是64，输出通道数为64，然后再通过relu激活函数，第三次卷积不需要填充，选取的滤波器参数为17*17*64*64，输出的尺寸为16*16，通道数为64，完成第二次下采样操作；第三次下采样操作用三个卷积操作和两个relu激活函数完成，第一个卷积前先填充，再进行卷积操作，滤波器参数为3*3*64*128，输入通道数是64，输出通道数为128，然后再通过relu激活函数，第二次卷积前先填充，再进行卷积操作，滤波器参数为3*3*128*128，输入通道数是128，输出通道数为128，然后再通过relu激活函数，第三次卷积不需要填充，选取的滤波器参数为9*9*128*128，输出的尺寸为8*8，通道数为128，完成第三次下采样操作，至此下采样模块动作完成；

2)通道转化模块：通道转化模块设有两个卷积操作和两个relu激活函数，进行第一次卷积前要先填充，第一个卷积操作采用的滤波器大小为3*3*128*256，输出通道数为256，然后再通过relu激活函数；进行第二次卷积前要先填充，第二个卷积操作采用的滤波器大小为3*3*256*128，输出通道数为128，然后再通过relu激活函数，通道转化模块动作完成；

3)上采样模块：上采样模块动作由3次上采样操作组成，第一次上采样操作由一个反卷积、两个卷积操作和两个relu激活函数完成：将8*8的输入填充成24*24然后再用大小为9*9的滤波器进行卷积可得到16*16大小的特征图，输入通道数为128，输出通道数为128，完成反卷积，将对应下采样层的第二次卷积结果连接过来，组成通道数为256的特征图，然后再进行2次卷积操作，第一次卷积操作前先填充，再用大小为3*3的滤波器进行卷积，输入通道为256，输出通道为128，再通过relu激活函数，第一次卷积操作完成，第二次卷积操作前先填充，再用大小为3*3的滤波器进行卷积，输入通道为128，输出通道为64，再通过relu激活函数，第二次卷积操作完成，至此第一次上采样操作完成，第二次上采样操作由一个反卷积，两个卷积操作和两个relu激活函数完成：将16*16的输入填充成48*48然后再用大小为17*17的滤波器进行卷积可得到32*32大小的特征图，输入通道数为64，输出通道数为128，完成反卷积，将对应下采样层的第二次卷积结果连接过来，组成通道数为128的特征图，然后再进行2次卷积操作，第一次卷积操作前先填充，再用大小为3*3的滤波器进行卷积，输入通道为128，输出通道为64，再通过relu激活函数，第一次卷积操作完成，第二次卷积操作前先填充，再用大小为3*3的滤波器进行卷积，输入通道为64，输出通道为32，再通过relu激活函数，第二次卷积操作完成，第三次上采样操作由一个反卷积、两个卷积操作、两个relu激活函数和一个Pixel shuffle操作完成：将32*32的输入填充成96*96然后再用大小为33*33的滤波器进行卷积可得到64*64大小的特征图，输入通道数为32，输出通道数为32，完成反卷积，将对应下采样层的第二次卷积结果连接过来，组成通道数为64的特征图，然后再进行2次卷积操作，第一次卷积操作前先填充，再用大小为3*3的滤波器进行卷积，输入通道为64，输出通道为32，再通过relu激活函数，第一次卷积操作完成，第二次卷积操作前先填充，再用大小为3*3的滤波器进行卷积，输入通道为32，输出通道为4，再通过relu激活函数，第二次卷积操作完成，采用Pixel shuffle操作将64*64*4，转化成大小为128*128*1的超分增强后的光照图像，至此上采样模块动作完成，此步骤采用公式(5)所示的对超分增强网络的参数进行训练。

本技术方案解决的是超分辨率重建中，由于低照度环境下，图像亮度较差，对比度低，细节模糊导致的重建效果不佳的问题，本技术方案先利用Retinex理论，将低照度低分辨图像进行分解，分别分解为反射图像和光照图像，并对反射图像进行上采样，对光照图像，采用一系列连续的下采样和上采样，将得到的结果与反射图像上采样的结果进行重建，得到最终的超分辨率重建结果。

这种方法能够对低照度的低分辨率的图片进行重建，使得重建后的图像的亮度，对比度，分辨率得到显著提升。

附图说明

图1为实施例中的DEC_SE网络模型示意图；

图2为实施例中残差密集块分解RDD-Net过程示意图；

图3为实施例中上采样Pixel shuffle排列顺序示意图；

图4为实施例中超分增强网络(SPEH-Net)过程示意图；

图5为图1-图4中的符号说明。

具体实施方式

下面结合附图和实施例对本发明的内容做进一步的说明，但不是对本发明的限定。

实施例：

参照图1，一种基于DEC_SE的低照度图像超分辨率重建方法，包括如下步骤：

1)加工现有数据源：将数据集Urban100中的每一对数据中的低分辨率图片模拟低照度下成像的特点得到低照度的低分辨率图片即LLR,所述每一对数据包括高分辨图片即HR和低分辨率图片即LR，将得到的每张低照度的低分辨率图片和原数据集中对应的HR和LR构成新的数据对即每一数据对包含同一张图片的三张不同形式：HR、LR和LLR，得到新的数据集New-Urban100，New-Urban100数据集分组情况如表1所示：

表1：

2)特征提取：特征提取过程包括：

2-1)选取滤波器的大小为3*3、输入通道为3、输出通道为C，因为输入的是RGB图片所以输入通道为3；

2-2)将正常照度的低分辨率图片LR和低照度的低分辨率图片LLR与所选滤波器分别做卷积操作，在做卷积操作之前需要对原始图片进行填充即padding，目的是使得卷积后的特征图的尺寸和原始的输入尺寸保持不变，方便后面的重建，且它们的滤波器参数共享，得到C个特征图即feature map作为另一动作的输入，就是对正常照度和低照度的低分辨率图片的一个浅层特征提取；

3)残差密集分解网络的训练：过程包括：

3-1)依据Retinex理论，将输入的图片分解成如公式(1)所示的反射图像R和光照图像I：

S＝R·I (1)，

公式(1)中S代表原图像，R代表反射图像,I代表光照图像,·代表element-wisemultiplication操作；

3-2)将步骤2)得到的特征图送入残差密集分解网络即RDD-Net中训练,所述残差密集分解网络由一系列卷积操作和激活函数组成，并且该网络为了减轻网络负担和更好地对特征的表达采用密集连接和跳跃链接，如图2所示；

3-3)将LR和LLR的残差密集分解网络参数共享，且经过RDD-Net网络后，两张图片会分别被分解为反射图像和光照图像，LR分解的反射图像为Rnormal、光照图像为Inormal，LLR分解的反射图像为Rlow、光照图像为Ilow，根据Retinex理论，一张图片在任何光照的情况下分解出的反射图像是不变的，如公式(2)所示来训练该网络：

L_dec＝||R_low-R_normal||₁ (2)，

用1范数来求两张不同照度的低分辨率图片的反射图像的差，并以此作为残差密集分解网络的损失函数；

4)超分增强网络的训练：过程包括：

4-1)对反射图像处理：对低照度低分辨率的图片的反射图像进行上采样，先进行卷积操作，提取高层特征，为接下来的上采样操作做一个预处理，上采样操作采用Pixelshuffle，上采样操作为：若将一张W×H×1图像放大r²则需要先对这张图片进行预处理，即卷积操作：将通道数转化为r²，且每个特征图的大小尺寸和原图一样，转化后的特征图为W×H×r²，这样将每个特征图对应点的像素按顺序组合起来即得到一张放大后的图像，大小为rW×rH×1，如公式(3)所示：

Y＝fⁿ(R_low)＝PS(W_n*f^n-1(R_low)+b_n) (3)，

其中Y为上采样的结果，fⁿ代表卷积操作和Pixel shuffle操作，R_low代表要上采样的反射图像，PS代表Pixel shuffle，W_n代表最后一层卷积层的参数，f^n-1代表之前的卷积操作，b_n代表最后一层的偏置，损失函数为公式(4)所示：

这是根据Pixel shuffle改写的均方误差即MSE,其中r²为要放大的倍数，H代表原图像的高，W代表原图像的宽，

代表对应高分辨率图片的反射图像，

代表预处理和Pixel shuffle操作，R^llr代表要上采样的图像，如图3所示；

4-2)对光照图像和反射图像的处理：采用超分增强网络即SPEH-Net来对光照图像和反射图像进行处理，根据Retinex理论，光照图像应该在保持整体结构边界的同时纹理细节要平滑，所以将反射图像一起送入SPEH-Net进行训练，来保证光照图像能够保持结构边界且细节纹理平滑，因为光照增强和超分重建都需要很大的感受野，所以该部分对U-net网络改进提出了SPEH-Net，先将反射图像和光照图像进行拼接操作，拼接后是特征图为2的特征图，然后送入SPEH-Net网络，所述SPEH-Net网络设有三个子模块，分别为下采样模块、通道转化模块和上采样模块，该网络对输入的特征图经过这三个子模块进行超分增强，最终得到一张重建的光照图像，损失函数采用L2范数，如公式(5)所示：

其中n代表批处理的数据对个数，

代表第i对数据的高分辨率图片的光照图像，g()表式SPEH-Net网络的操作，

代表第i对数据集的低照度低分辨率的光照图像，如图4所示，图4中方框块的右下角数字代表该模块的尺寸大小，方框块的上方或下方数字代表该模块的通道数；

5)超分辨率重建：将超分增强网络的两个输出、反射图像的上采样结果和光照图像的超分辨率增强结果进行element-wise multiplication，即可得到最终的重建图像，损失函数如公式(6)所示：

其中n代表批处理的数据对个数，R′_i,low代表第i个数据对的低照度的低分辨率图片的反射图像上采样后的反射图像，I′_i,low代表第i个数据对的低照度的低分辨率图片的光照图像增强后的光照图像，·代表element-wise multiplication，S_i代表第i个数据对正常照度的高分辨率图片。

步骤3-2)中所述的残差密集分解网络中训练为：

将特征提取步骤的输出W×H×C作为步骤3-2)模块的输入，步骤3-2)模块设有三个由卷积和relu激活函数组成的子模块、一个加权求和模块即Weight_sum和一个sigmoid激活函数构成，这三个卷积的滤波器大小都是3*3，且在做卷积操作之前都要对输入进行填充操作，即在输入数据的外围填充一层0，这样用大小为3*3的滤波器做卷积操作就可以保证输出的尺寸和输入的尺寸一样大，输出通道数都是C，其目的就是提取更高层特征和为了更好地分解，输入通道数有所不同，因为该模块采用密集连接，所以每一个卷积操作的输入都是前面所有的输出结果在通道数上的叠加，即第一个卷积输入的特征图的大小是W×H×C，经过卷积操作和激活函数的激活，输出也是W×H×C，第二个卷积操作的输入变成了W×H×2C，因为它的输入不仅由前一个模块的输出构成也由前一个模块的输入构成，且他们是在通道数上的叠加，以此类推，第三个卷积操作的输入的特征图的大小为W×H×3C，事实上这就是密集连接网络的优势所在，这样做可以充分利用前面的浅层特征，随着卷积操作的不断加深，网络提取的是越来越深的特征也叫更高级的特征，但是浅层特征却会被慢慢地丢失，所以为了更好地利用浅层特征，密集连接网络是一个很好的选择，而且它还有一个优势，就是在用反馈传播算法的时候它可以有效的解决梯度消失或梯度爆炸问题，但是它的缺点也很明显，参数太多，该模块只对三层卷积层进行密集连接，其参数就已经很多了即体现在通道数的成倍增长，所以该模块还使用了跳跃连接即skip-connection，让一些浅层的特征直接传送到后面这样既缓解了网络的计算能力也能保证浅层特征不会丢失,而且也会起到缓解梯度消失或梯度爆炸的问题，特征提取后，特征图进入加权求和模块，因为前面每个由卷积和relu激活函数构成的子模块的输出的通道都是C，只是所含得特征不一样，所以对它们进行加权求和，初始化权重参数W1,W2,W3,W4各为0.25,然后通过公式(2)所示的损失函数由网络来学习这些权重，随后进入跳跃连接模块，由特征提取模块的输出和经过残差密集分解网络的加权求和模块的输出进行Element-wise sum操作

得到的结果为再进行一次卷积操作，卷积操作前进行填充，滤波器大小为3*3，输入通道为C，输出通道为C，然后再用一个sigmoid激活函数完成分解，正常照度的低分辨率图片和低照度的低分辨率图片的分解过程一样，且它们参数共享。

步骤4-1)中所述的上采样过程为：

由残差密集分解网络对低照度低分辨率图像的分解产生的反射图像作为上采样部分的输入，进行四倍放大，则需要将W×H×1的输入经过特征提取后输出为W×H×2²，然后进行上采样，得到一张大小2W×2H×1的输出图像，采用公式(4)所示损失函数训练此步骤的参数，上采样操作有很多，在深度学习中上采样的主流方法有以下四种：(1)双三次线性插值(Bicubic interpolation)；(2)反池化(Unpooling)；(3)反卷积(Deconvolution)；(4)亚像素卷积(Pixel shuffle)，其中亚像素卷积是最适合应用在超分辨率重建中，原理为：要将输入尺寸为W×H×1的图片上采样r²倍，变为rW×rH×1，则先需要对输入图片用卷积进行特征提取，采用的滤波器的大小为3*3且每次在进行卷积操作前都需要对输入进行填充，以确保卷积后的输出和输入的尺寸一样大，经过特征提取后得到的特征图应该为W×H×r²这样将每张特征图上对应的点按照从左到右，从上到下的顺序排列起来，用r×r个像素点代表W×H×1中的对应的一个像素点，这样就得到一张rW×rH×1的输出，完成上采样。

步骤4-2)中所述的采用超分增强网络即SPEH-Net来对光照图像和反射图像进行处理的具体过程为：

将残差密集分解的两个输出作为输入，其中反射图像也作为输入的一部分，是为了在增强光照图像的同时使其既保持整体结构边界也要保证纹理细节要平滑，这样重建出来的效果更好，对U-Net网络改进得到可以提升光照度的超分辨率重建网络SPEH-Net，网络SPEH-Net中下采样模块主要用于特征提取，获得更大的感受野，更高级的特征，通道转化模块是为了保证特征图尺寸不变的情况下，提取更高级的特征，作为下采样模块和上采样模块的过渡模块，上采样模块是利用高级特征和浅层特征完成对输入的逐步重建，网络SPEH-Net将上一步骤的两个输出先进行拼接，拼接后得到一个W×H×2的两通道的图像，假设W和H都为64，将拼接后的图像送入下采样子模块，网络SPEH-Net的3个模块的动作为：

1)下采样模块：下采样模块由3次下采样操作组成，第一次下采样操作用三个卷积操作和两个relu激活函数完成，第一个卷积前先填充，再进行卷积操作，滤波器参数为3*3*2*32，输入通道数是2，输出通道数为32，然后再通过relu激活函数，第二次卷积前先填充，再进行卷积操作，滤波器参数为3*3*32*32，输入通道数是32，输出通道数为32，然后再通过relu激活函数，第三次卷积不需要填充，选取的滤波器参数为33*33*32*32，输出的尺寸为32*32，通道数为32，完成第一次下采样操作；第二次下采样操作用三个卷积操作和两个relu激活函数完成，第一个卷积前先填充，再进行卷积操作，滤波器参数为3*3*32*64，输入通道数是32，输出通道数为64，然后再通过relu激活函数，第二次卷积前先填充，再进行卷积操作，滤波器参数为3*3*64*64，输入通道数是64，输出通道数为64，然后再通过relu激活函数，第三次卷积不需要填充，选取的滤波器参数为17*17*64*64，输出的尺寸为16*16，通道数为64，完成第二次下采样操作；第三次下采样操作用三个卷积操作和两个relu激活函数完成，第一个卷积前先填充，再进行卷积操作，滤波器参数为3*3*64*128，输入通道数是64，输出通道数为128，然后再通过relu激活函数，第二次卷积前先填充，再进行卷积操作，滤波器参数为3*3*128*128，输入通道数是128，输出通道数为128，然后再通过relu激活函数，第三次卷积不需要填充，选取的滤波器参数为9*9*128*128，输出的尺寸为8*8，通道数为128，完成第三次下采样操作，至此下采样模块动作完成；

2)通道转化模块：通道转化模块设有两个卷积操作和两个relu激活函数，进行第一次卷积前要先填充，第一个卷积操作采用的滤波器大小为3*3*128*256，输出通道数为256，然后再通过relu激活函数；进行第二次卷积前要先填充，第二个卷积操作采用的滤波器大小为3*3*256*128，输出通道数为128，然后再通过relu激活函数，通道转化模块动作完成；

3)上采样模块：上采样模块动作由3次上采样操作组成，第一次上采样操作由一个反卷积、两个卷积操作和两个relu激活函数完成：将8*8的输入填充成24*24然后再用大小为9*9的滤波器进行卷积可得到16*16大小的特征图，输入通道数为128，输出通道数为128，完成反卷积，将对应下采样层的第二次卷积结果连接过来，组成通道数为256的特征图，然后再进行2次卷积操作，第一次卷积操作前先填充，再用大小为3*3的滤波器进行卷积，输入通道为256，输出通道为128，再通过relu激活函数，第一次卷积操作完成，第二次卷积操作前先填充，再用大小为3*3的滤波器进行卷积，输入通道为128，输出通道为64，再通过relu激活函数，第二次卷积操作完成，至此第一次上采样操作完成，第二次上采样操作由一个反卷积，两个卷积操作和两个relu激活函数完成：将16*16的输入填充成48*48然后再用大小为17*17的滤波器进行卷积可得到32*32大小的特征图，输入通道数为64，输出通道数为128，完成反卷积，将对应下采样层的第二次卷积结果连接过来，组成通道数为128的特征图，然后再进行2次卷积操作，第一次卷积操作前先填充，再用大小为3*3的滤波器进行卷积，输入通道为128，输出通道为64，再通过relu激活函数，第一次卷积操作完成，第二次卷积操作前先填充，再用大小为3*3的滤波器进行卷积，输入通道为64，输出通道为32，再通过relu激活函数，第二次卷积操作完成，第三次上采样操作由一个反卷积、两个卷积操作、两个relu激活函数和一个Pixel shuffle操作完成：将32*32的输入填充成96*96然后再用大小为33*33的滤波器进行卷积可得到64*64大小的特征图，输入通道数为32，输出通道数为32，完成反卷积，将对应下采样层的第二次卷积结果连接过来，组成通道数为64的特征图，然后再进行2次卷积操作，第一次卷积操作前先填充，再用大小为3*3的滤波器进行卷积，输入通道为64，输出通道为32，再通过relu激活函数，第一次卷积操作完成，第二次卷积操作前先填充，再用大小为3*3的滤波器进行卷积，输入通道为32，输出通道为4，再通过relu激活函数，第二次卷积操作完成，采用Pixel shuffle操作将64*64*4，转化成大小为128*128*1的超分增强后的光照图像，至此上采样模块动作完成，此步骤采用公式(5)所示的对超分增强网络的参数进行训练。

本例中，以上图1-图4中的符号说明如图5所示。

Claims (4)

1.一种基于DEC_SE的低照度图像超分辨率重建方法，其特征在于，包括如下步骤：

1)加工现有数据源：将数据集Urban100中的每一对数据中的低分辨率图片模拟低照度下成像的特点得到低照度的低分辨率图片即LLR,所述每一对数据包括高分辨图片即HR和低分辨率图片即LR，将得到的每张低照度的低分辨率图片和原数据集中对应的HR和LR构成新的数据对即每一数据对包含同一张图片的三张不同形式：HR、LR和LLR，得到新的数据集New-Urban100，New-Urban100数据集分组情况如表1所示：

表1：

2)特征提取：特征提取过程包括：

2-1)选取滤波器的大小为3*3、输入通道为3、输出通道为C；

2-2)将正常照度的低分辨率图片LR和低照度的低分辨率图片LLR与所选滤波器分别做卷积操作，在做卷积操作之前需要对原始图片进行填充即padding，且它们的滤波器参数共享，得到C个特征图即feature map作为另一动作的输入；

3)残差密集分解网络的训练：过程包括：

3-1)依据Retinex理论，将输入的图片分解成如公式(1)所示的反射图像R和光照图像I：

S＝R·I (1)，

公式(1)中S代表原图像，R代表反射图像,I代表光照图像,·代表element-wisemultiplication操作；

3-2)将步骤2)得到的特征图送入残差密集分解网络即RDD-Net中训练,所述残差密集分解网络由一系列卷积操作和激活函数组成，并且该网络对特征的表达采用密集连接和跳跃链接；

3-3)将LR和LLR的残差密集分解网络参数共享，且经过RDD-Net网络后，两张图片会分别被分解为反射图像和光照图像，LR分解的反射图像为Rnormal、光照图像为Inormal，LLR分解的反射图像为Rlow、光照图像为Ilow，如公式(2)所示来训练该网络：

L_dec＝||R_low-R_normal||₁ (2)，

用1范数来求两张不同照度的低分辨率图片的反射图像的差，并以此作为残差密集分解网络的损失函数；

4)超分增强网络的训练：过程包括：

4-1)对反射图像处理：对低照度低分辨率的图片的反射图像进行上采样，先进行卷积操作，提取高层特征，上采样操作采用Pixel shuffle，上采样操作为：若将一张W×H×1图像放大r²则需要先对这张图片进行预处理，即卷积操作：将通道数转化为r²，且每个特征图的大小尺寸和原图一样，转化后的特征图为W×H×r²，将每个特征图对应点的像素按顺序组合起来即得到一张放大后的图像，大小为rW×rH×1，如公式(3)所示：

Y＝fⁿ(R_low)＝PS(W_n*f^n-1(R_low)+b_n) (3)，

其中Y为上采样的结果，fⁿ代表卷积操作和Pixel shuffle操作，R_low代表要上采样的反射图像，PS代表Pixel shuffle，W_n代表最后一层卷积层的参数，f^n-1代表之前的卷积操作，b_n代表最后一层的偏置，损失函数为公式(4)所示：

这是根据Pixelshuffle改写的均方误差即MSE,其中r²为要放大的倍数，H代表原图像的高，W代表原图像的宽，

代表对应高分辨率图片的反射图像，

代表预处理和Pixelshuffle操作，R^llr代表要上采样的图像；

4-2)对光照图像和反射图像的处理：采用超分增强网络即SPEH-Net来对光照图像和反射图像进行处理，将反射图像一起送入SPEH-Net进行训练，保证光照图像能够保持结构边界且细节纹理平滑，先将反射图像和光照图像进行拼接操作，拼接后是特征图为2的特征图，然后送入SPEH-Net网络，所述SPEH-Net网络设有三个子模块，分别为下采样模块、通道转化模块和上采样模块，该网络对输入的特征图经过这三个子模块进行超分增强，最终得到一张重建的光照图像，损失函数采用L2范数，如公式(5)所示：

其中n代表批处理的数据对个数，

代表第i对数据的高分辨率图片的光照图像，g()表式SPEH-Net网络的操作，

代表第i对数据集的低照度低分辨率的光照图像；

5)超分辨率重建：将超分增强网络的两个输出、反射图像的上采样结果和光照图像的超分辨率增强结果进行element-wise multiplication，即可得到最终的重建图像，损失函数如公式(6)所示：

其中n代表批处理的数据对个数，R′_i,low代表第i个数据对的低照度的低分辨率图片的反射图像上采样后的反射图像，I′_i,low代表第i个数据对的低照度的低分辨率图片的光照图像增强后的光照图像，·代表element-wise multiplication，S_i代表第i个数据对正常照度的高分辨率图片。

2.根据权利要求1所述的基于DEC_SE的低照度图像超分辨率重建方法，其特征在于，步骤3-2)中所述的残差密集分解网络中训练为：

将特征提取步骤的输出W×H×C作为步骤3-2)模块的输入，步骤3-2)模块设有三个由卷积和relu激活函数组成的子模块、一个加权求和模块即Weight_sum和一个sigmoid激活函数构成，这三个卷积的滤波器大小都是3*3，且在做卷积操作之前都要对输入进行填充操作，即在输入数据的外围填充一层0，输出通道数都是C，输入通道数有所不同，因为该模块采用密集连接，所以每一个卷积操作的输入都是前面所有的输出结果在通道数上的叠加，即第一个卷积输入的特征图的大小是W×H×C，经过卷积操作和激活函数的激活，输出也是W×H×C，第二个卷积操作的输入变成了W×H×2C，因为它的输入不仅由前一个模块的输出构成也由前一个模块的输入构成，且他们是在通道数上的叠加，以此类推，第三个卷积操作的输入的特征图的大小为W×H×3C，随着卷积操作的不断加深，网络提取的是越来越深的特征也叫更高级的特征，采用跳跃连接即skip-connection，特征提取后，特征图进入加权求和模块，因为前面每个由卷积和relu激活函数构成的子模块的输出的通道都是C，只是所含得特征不一样，所以对它们进行加权求和，初始化权重参数W1,W2,W3,W4各为0.25,然后通过公式(2)所示的损失函数由网络来学习这些权重，随后进入跳跃连接模块，由特征提取模块的输出和经过残差密集分解网络的加权求和模块的输出进行Element-wise sum操作

得到的结果为再进行一次卷积操作，卷积操作前进行填充，滤波器大小为3*3，输入通道为C，输出通道为C，然后再用一个sigmoid激活函数完成分解，正常照度的低分辨率图片和低照度的低分辨率图片的分解过程一样，且它们参数共享。

3.根据权利要求1所述的基于DEC_SE的低照度图像超分辨率重建方法，其特征在于，步骤4-1)中所述的上采样过程为：

由残差密集分解网络对低照度低分辨率图像的分解产生的反射图像作为上采样部分的输入，进行四倍放大，则需要将W×H×1的输入经过特征提取后输出为W×H×2²，然后进行上采样，得到一张大小2W×2H×1的输出图像，采用公式(4)所示损失函数训练此步骤的参数，原理为：要将输入尺寸为W×H×1的图片上采样r²倍，变为rW×rH×1，则先需要对输入图片用卷积进行特征提取，采用的滤波器的大小为3*3且每次在进行卷积操作前都需要对输入进行填充，经过特征提取后得到的特征图应该为W×H×r²这样将每张特征图上对应的点按照从左到右，从上到下的顺序排列起来，用r×r个像素点代表W×H×1中的对应的一个像素点，这样就得到一张rW×rH×1的输出，完成上采样。

4.根据权利要求1所述的基于DEC_SE的低照度图像超分辨率重建方法，其特征在于，步骤4-2)中所述的采用超分增强网络即SPEH-Net来对光照图像和反射图像进行处理的具体过程为：

将残差密集分解的两个输出作为输入，其中反射图像也作为输入的一部分，网络SPEH-Net将上一步骤的两个输出先进行拼接，拼接后得到一个W×H×2的两通道的图像，假设W和H都为64，将拼接后的图像送入下采样子模块，网络SPEH-Net的3个模块的动作为：

1)下采样模块：下采样模块由3次下采样操作组成，第一次下采样操作用三个卷积操作和两个relu激活函数完成，第一个卷积前先填充，再进行卷积操作，滤波器参数为3*3*2*32，输入通道数是2，输出通道数为32，然后再通过relu激活函数，第二次卷积前先填充，再进行卷积操作，滤波器参数为3*3*32*32，输入通道数是32，输出通道数为32，然后再通过relu激活函数，第三次卷积不需要填充，选取的滤波器参数为33*33*32*32，输出的尺寸为32*32，通道数为32，完成第一次下采样操作；第二次下采样操作用三个卷积操作和两个relu激活函数完成，第一个卷积前先填充，再进行卷积操作，滤波器参数为3*3*32*64，输入通道数是32，输出通道数为64，然后再通过relu激活函数，第二次卷积前先填充，再进行卷积操作，滤波器参数为3*3*64*64，输入通道数是64，输出通道数为64，然后再通过relu激活函数，第三次卷积不需要填充，选取的滤波器参数为17*17*64*64，输出的尺寸为16*16，通道数为64，完成第二次下采样操作；第三次下采样操作用三个卷积操作和两个relu激活函数完成，第一个卷积前先填充，再进行卷积操作，滤波器参数为3*3*64*128，输入通道数是64，输出通道数为128，然后再通过relu激活函数，第二次卷积前先填充，再进行卷积操作，滤波器参数为3*3*128*128，输入通道数是128，输出通道数为128，然后再通过relu激活函数，第三次卷积不需要填充，选取的滤波器参数为9*9*128*128，输出的尺寸为8*8，通道数为128，完成第三次下采样操作，至此下采样模块动作完成；

2)通道转化模块：通道转化模块设有两个卷积操作和两个relu激活函数，进行第一次卷积前要先填充，第一个卷积操作采用的滤波器大小为3*3*128*256，输出通道数为256，然后再通过relu激活函数；进行第二次卷积前要先填充，第二个卷积操作采用的滤波器大小为3*3*256*128，输出通道数为128，然后再通过relu激活函数，通道转化模块动作完成；

3)上采样模块：上采样模块动作由3次上采样操作组成，第一次上采样操作由一个反卷积、两个卷积操作和两个relu激活函数完成：将8*8的输入填充成24*24然后再用大小为9*9的滤波器进行卷积可得到16*16大小的特征图，输入通道数为128，输出通道数为128，完成反卷积，将对应下采样层的第二次卷积结果连接过来，组成通道数为256的特征图，然后再进行2次卷积操作，第一次卷积操作前先填充，再用大小为3*3的滤波器进行卷积，输入通道为256，输出通道为128，再通过relu激活函数，第一次卷积操作完成，第二次卷积操作前先填充，再用大小为3*3的滤波器进行卷积，输入通道为128，输出通道为64，再通过relu激活函数，第二次卷积操作完成，至此第一次上采样操作完成，第二次上采样操作由一个反卷积，两个卷积操作和两个relu激活函数完成：将16*16的输入填充成48*48然后再用大小为17*17的滤波器进行卷积可得到32*32大小的特征图，输入通道数为64，输出通道数为128，完成反卷积，将对应下采样层的第二次卷积结果连接过来，组成通道数为128的特征图，然后再进行2次卷积操作，第一次卷积操作前先填充，再用大小为3*3的滤波器进行卷积，输入通道为128，输出通道为64，再通过relu激活函数，第一次卷积操作完成，第二次卷积操作前先填充，再用大小为3*3的滤波器进行卷积，输入通道为64，输出通道为32，再通过relu激活函数，第二次卷积操作完成，第三次上采样操作由一个反卷积、两个卷积操作、两个relu激活函数和一个Pixel shuffle操作完成：将32*32的输入填充成96*96然后再用大小为33*33的滤波器进行卷积可得到64*64大小的特征图，输入通道数为32，输出通道数为32，完成反卷积，将对应下采样层的第二次卷积结果连接过来，组成通道数为64的特征图，然后再进行2次卷积操作，第一次卷积操作前先填充，再用大小为3*3的滤波器进行卷积，输入通道为64，输出通道为32，再通过relu激活函数，第一次卷积操作完成，第二次卷积操作前先填充，再用大小为3*3的滤波器进行卷积，输入通道为32，输出通道为4，再通过relu激活函数，第二次卷积操作完成，采用Pixel shuffle操作将64*64*4，转化成大小为128*128*1的超分增强后的光照图像，至此上采样模块动作完成，此步骤采用公式(5)所示的对超分增强网络的参数进行训练。

Images