CN109903228B - 一种基于卷积神经网络的图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的图像超分辨率重建方法，该方法使用两层卷积层提取浅层特征，使用多个U型网络进行多尺度的特征提取与融合，使用残差通道注意力机制有效增强有用特征，抑制噪声，使用一层卷积层完成图像最终的重建，使用图像训练集对网络进行端到端训练并保存模型参数供测试使用。本发明显著提高了图像重建质量，在不提高硬件成本的条件下提高了图像的分辨率。

Description

一种基于卷积神经网络的图像超分辨率重建方法

技术领域

本发明涉及计算机视觉及图像处理领域，具体是一种基于卷积神经网络的图像超分辨率重建方法。

背景技术

图像超分辨率重建是一种通过使用软件算法的方式改善图像质量的技术，即由输入的一幅或者多幅同一场景的低分辨率图像重建出一幅高分辨率图像的技术。它克服了通过硬件获得高分辨率图像成本高的固有缺陷，在技术上和成本上具有较大优势，因此被越来越多地应用于医学成像，人脸识别和安防监控领域。目前已有大量的图像超分辨率重建算法被提出，包括基于插值的方法，基于重建的方法和基于学习的方法。

发明内容

本发明的目的是提供一种基于卷积神经网络的图像超分辨率重建方法，以解决现有技术在性能上的不足，以获得更高质量的重建图像。

为了达到上述目的，本发明所采用的技术方案为：

一种基于卷积神经网络的图像超分辨率重建方法，其特征在于，构建一个包括浅层特征提取模块、多个U型网络模块、基于残差通道注意力的特征融合模块和重建模块的网络模型，将低分辨率图片输入到所述网络模型，得到低分辨率图片对应的高分辨率图片；其具体步骤如下：

(1)、采用浅层特征提取模块进行浅层特征提取

对于输入的低分辨率图像I_LR，使用3×3的卷积层提取浅层特征，为使模型紧凑，再使用1×1的卷积层压缩通道数量，经过非线性激活单元得到浅层特征图F₀，由以下等式给定：

F₀＝f_conv(I_LR) (1)

其中f_conv代表浅层特征提取模块。

(2)、得到浅层特征图F₀后，将其作为U型网络模块的输入，每个U型网络模块均包含两个阶段，阶段一为对输入的特征图执行卷积核大小为3，步长为2的卷积操作，每执行一次，特征图的大小缩减为之前的1/4，连续执行两次此操作，此时特征图为输入特征图大小的1/16，此阶段也称为编码阶段。编码阶段输出的特征图作为第二阶段的输入，阶段二采用卷积核为6，步长为2的转置卷积操作，每执行一次，特征图的大小扩大为之前的4倍，连续执行两次此操作，此时特征图扩大为之前的16倍，此阶段也称为解码阶段，编码阶段的特征与解码阶段特征通道跳连接方式进行融合，有利于信息传递及反向传播参数的更新。堆叠多个U型网络已达到多次自下而上和自上而下的多尺度特征提取，多尺度特征的提取有利于图像超分辨率重建。使用F_n代表第n个U型网络的输出(n>0)，则F_n可以用以下等式得到：

F_n＝U_n([F₀,C(F₁),…,C(F_n-1)]) (2)

其中U_n代表第n个U型网络，C代表压缩模块，为1×1的卷积层用于压缩通道数量，[F₀,C(F₁),…,C(F_n-1)]代表特征在通道维度上的连接。

(3)、对于多个U型网络的输出，因为每个通道的信息量不同，为便于网络重建，使用残差通道注意力机制，对每个通道学习一个对应的权值，通道特征与权值相乘后与原特征图相加，达到增强有用特征，削弱无用特征及噪声的目的。可通过以下等式描述：

r_n＝s_c×F_n+F_n (3)

其中s_c代表通道注意力模块得到的权值，r_n为残差通道注意力模块的输出。

(4)、在通道维度上连接得到的多个残差通道注意力模块输出r_n，使用3×3的卷积层完成图像的重建。

I_sr＝F_conv([r₁,…,r_n]) (4)

其中I_sr代表重建图像，F_conv代表3×3的卷积层。

(5)、给定训练集

y⁽ⁱ⁾为真实高分辨率原图像，采用平均绝对误差(MAE)作为损失函数，可通过下式描述：

(6)、使用Adam优化算法，经多轮迭代更新参数至网络收敛，保留其参数供测试使用。

(7)、已知有一张低分辨率图像，将低分辨率图像输入进步骤(6)中已训练的网络中，由卷积神经网络输出重建的高分辨率图像。

本发明使用多个U型网络来进行多尺度的特征提取，提高网络提取特征与重建图像的能力；使用残差通道注意力机制增强有用特征，抑制噪声，从而加快网络收敛，提高网络的鲁棒性。

本发明使用卷积神经网络完成端到端的低分辨率的图像重建，多个U型网络对于特征的优化以及有效的残差通道注意力机制提高了重建图像的质量，在没有提高硬件成本的条件下提高了图像的分辨率。

本发明的有益效果是：

本发明提出了有效的卷积神经网络架构，通过有效的网络训练，提高了图像的重建质量。

附图说明

图1是本发明的系统框架图。

图2是本发明提出的图像超分重建的网络结构。

图3是待重建的低分辨率图像。

图4中的(a)是bicubic方法重建效果图，(b)是本发明的重建效果图。

具体实施方式

如图1所示，一种基于卷积神经网络的图像超分辨率重建方法，过程如下：

(1)、使用DIV2K数据集作为训练集，其包含800张训练图像，100张验证图像和100张测试图像。为了充分利用训练数据，使用两种方式对训练数据进行增强，对图像进行90°，180°和270°的旋转以及水平和垂直翻转图像。通过使用双三次插值缩小高分辨率图像来生成对应的低分辨率图像I_LR。使用此扩充数据集训练所有网络模型。

(2)、网络结构如图2所示，对于输入的低分辨率图像I_LR，使用3×3的卷积层提取浅层特征，其通道数为256，为使模型紧凑，使用1×1的卷积层压缩通道数量至64，经过非线性激活单元得到浅层特征图F₀，由以下等式给定：

F₀＝f_conv(I_LR) (1)

其中f_conv代表浅层特征提取模块。

(3)、得到浅层特征图F₀后，将其作为U型网络模块的输入，每个U型网络模块均包含两个阶段，阶段一为对输入的特征图执行卷积核大小为3，步长为2的卷积操作，每执行一次，特征图的大小缩减为之前的1/4，连续执行两次此操作，此时特征图为输入特征图大小的1/16，此阶段也称为编码阶段。编码阶段输出的特征图作为第二阶段的输入，阶段二采用卷积核为6，步长为2的转置卷积操作，每执行一次，特征图的大小扩大为之前的4倍，连续执行两次此操作，此时特征图扩大为之前的16倍，此阶段也称为解码阶段，编码阶段的特征与解码阶段特征通道跳连接方式进行融合，有利于信息传递及反向传播参数的更新。堆叠8个U型网络已达到多次自下而上和自上而下的多尺度特征提取，多尺度特征的提取有利于图像超分辨率重建。使用F_n代表第n个U型网络的输出(n>0)，则F_n可以用以下等式得到：

F_n＝U_n([F₀,C(F₁),…,C(F_n-1)]) (2)

其中U_n代表第n个U型网络，C代表压缩模块，为1×1的卷积层用于压缩通道数量，[F₀,C(F₁),…,C(F_n-1)]代表特征在通道维度上的连接。

(4)、对于8个U型网络的输出，因为每个通道的有效信息不同，为便于网络重建，使用残差通道注意力机制，对每个通道学习一个对应的权值，通道特征与权值相乘后与原特征图相加，达到增强有用特征，削弱无用特征及噪声的目的。可通过以下等式描述：

r_n＝s_c×F_n+F_n (3)

其中s_c代表通道注意力模块得到的权值，r_n为残差通道注意力模块的输出。

(5)、在通道维度上连接得到的多个残差通道注意力模块输出r_n，使用3×3的卷积层完成图像的重建，可通过下式描述：

I_sr＝F_conv([r₁,…,r_n]) (4)

其中I_sr代表重建图像，F_conv代表3×3的卷积层。

(6)、采用平均绝对误差(MAE)作为损失函数，可通过下式描述：

(7)、通过设置每批大小为20，设置β₁＝0.9，β₂＝0.999和ε＝10^-8来使用ADAM优化器对网络进行端到端训练。使用Xavier方法初始化权重，并将所有偏差设置为零。对于所有层，学习率初始化为10^-4，并且在200K更新迭代后，学习率减小10倍。训练至网络收敛后，保留其参数供测试使用。

(8)、将需要重建的低分辨率图像，如图3所示，输入进步骤(7)中已训练的网络，由卷积神经网络输出重建的高分辨率图像，如图4(b)所示。

Claims (1)

1.一种基于卷积神经网络的图像超分辨率重建方法，其特征在于，构建一个包括浅层特征提取模块、多个U型网络模块、基于残差通道注意力的特征融合模块和重建模块的网络模型，将低分辨率图片输入到所述网络模型，得到低分辨率图片对应的高分辨率图片；其具体步骤如下：

(1)、采用浅层特征提取模块进行浅层特征提取

对于输入的低分辨率图像I_LR，使用3×3的卷积层提取浅层特征，为使模型紧凑，再使用1×1的卷积层压缩通道数量，经过非线性激活单元得到浅层特征图F₀，由以下等式给定：

F₀＝f_conv(I_LR) (1)

其中f_conv代表浅层特征提取模块；

(2)、得到浅层特征图F₀后，将其作为U型网络模块的输入，每个U型网络模块均包含两个阶段，阶段一为对输入的特征图执行卷积核大小为3，步长为2的卷积操作，每执行一次，特征图的大小缩减为之前的1/4，连续执行两次此操作，此时特征图为输入特征图大小的1/16，此阶段也称为编码阶段；编码阶段输出的特征图作为第二阶段的输入，阶段二采用卷积核为6，步长为2的转置卷积操作，每执行一次，特征图的大小扩大为之前的4倍，连续执行两次此操作，此时特征图扩大为之前的16倍，此阶段也称为解码阶段，编码阶段的特征与解码阶段特征通道跳连接方式进行融合，有利于信息传递及反向传播参数的更新；堆叠多个U型网络已达到多次自下而上和自上而下的多尺度特征提取，多尺度特征的提取有利于图像超分辨率重建；使用F_n代表第n个U型网络的输出(n>0)，则F_n可以用以下等式得到：

F_n＝U_n([F₀,C(F₁),…,C(F_n-1)]) (2)

其中U_n代表第n个U型网络，C代表压缩模块，为1×1的卷积层用于压缩通道数量，[F₀,C(F₁),…,C(F_n-1)]代表特征在通道维度上的连接；

(3)、对于多个U型网络的输出，因为每个通道的信息量不同，为便于网络重建，使用残差通道注意力机制，对每个通道学习一个对应的权值，通道特征与权值相乘后与原特征图相加，达到增强有用特征，削弱无用特征及噪声的目的；通过以下等式描述：

r_n＝s_c×F_n+F_n (3)

其中s_c代表通道注意力模块得到的权值，r_n为残差通道注意力模块的输出；

(4)、在通道维度上连接得到的多个残差通道注意力模块输出r_n，使用3×3的卷积层完成图像的重建；

I_sr＝F_conv([r₁,…,r_n]) (4)

其中I_sr代表重建图像，F_conv代表3×3的卷积层；

(5)、给定训练集

y⁽ⁱ⁾为真实高分辨率原图像，采用平均绝对误差作为损失函数，通过下式描述：

(6)、使用Adam优化算法，经多轮迭代更新参数至网络收敛，保留其参数供测试使用；

(7)、已知有一张低分辨率图像，将低分辨率图像输入进步骤(6)中已训练的网络中，由卷积神经网络输出重建的高分辨率图像。

Images