CN111709895B - 基于注意力机制的图像盲去模糊方法及系统 - Google Patents

Abstract

本发明提供了一种基于注意力机制的图像盲去模糊方法及系统，包括：多尺度注意力网络采用端到端方式，直接恢复清晰图像；所述多尺度注意力网络采用非对称的编解码结构，所述编解码结构的编码侧采用残差密集网络块，以完成所述多尺度注意力网络对输入图像进行特征提取和表达；所述编解码结构的解码侧设置多个注意力模块，所述注意力模块输出初步复原图像，所述初步复原图像形成图像金字塔式的多尺度结构；所述注意力模块还输出注意力特征图，所述注意力特征图从全局角度建模远距离区域之间的关系处理模糊图像；暗通道先验损失和多尺度内容损失组成损失函数，损失函数是用来反向优化网络的，不是自身优化。

Description

基于注意力机制的图像盲去模糊方法及系统

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于注意力机制的图像盲去模糊方法及系统。

背景技术

动态场景模糊是一种在图像获取过程中，由拍摄设备的抖动、不同景深下目标物体运动、相机失焦等因素引起的常见现象。模糊的图像不仅会影响视觉效果，同时不利于目标检测、语义分割等后续计算机视觉任务，因此去模糊一直是图像处理领域一个基本但十分重要的问题。

通常模糊图像在数学上被建模为：

其中，

表示二维空间卷积运算。模糊图像I_Blur是由清晰图像I_Sharp和模糊核K卷积，再叠加噪声N形成。根据模糊核是否已知分为非盲和盲去模糊两类问题。另外，根据图像任意位置上像素点的模糊核是否相同，也分为均匀模糊(空间不变模糊)和非均匀模糊(空间变化模糊)。

模糊图像复原就是从模糊图像重建出潜在的清晰图像，通常，真实动态场景中的模糊是不可预知且空间变化的。因此非均匀盲去模糊具有重要的研究价值。

早期研究者们基于式(1)的数学模型方法中，遵循先估计模糊核K再估计潜在清晰图像I_Sharp的框架，可以看出盲去模糊是解不唯一的逆问题。针对去模糊问题的不适定性，基于特定的假设建模不同类型的模糊，并引入不同的自然图像和相机轨迹的先验知识约束清晰图像的解空间。近年来，随着深度学习的发展，许多基于神经网络的方法逐渐被应用于模糊核的估计和清晰图像反卷积求解过程中。

然而，上述方法复原的图像质量严重依赖模糊核估计的准确性，并且迭代求解计算开销大。因此近期的工作把图像复原视为一种图像翻译问题，采用端到端的方法进行直接输出清晰图像，避免了模糊核估计复杂耗时的过程，迄今研究者们也提出了很多改进的模型。

但是目前基于卷积神经网络的盲去模糊方法不能高效地处理复杂动态场景模糊，输出图像的纹理细节和边缘结构不清晰。多尺度的深度学习模型往往重复多个子网络模块、循环训练，虽然一定程度上提升了去模糊效果，但存在模型复杂、参数量多、训练难度大、推理耗时等问题，同时需要考虑不同尺度下参数之间的关系。卷积层的局部连接特性导致网络的感受野增加有限，无法从全局角度利用模糊区域之间的关系。另外，中间层无区别地对待特征图中不同信息，也在一定程度上限制了网络的特征表达和学习能力。

发明内容

本发明的目的在于提供一种基于注意力机制的图像盲去模糊方法及系统，以解决现有的基于卷积神经网络的盲去模糊方法不能高效地处理复杂动态场景模糊的问题。

为解决上述技术问题，本发明提供一种基于注意力机制的图像盲去模糊方法，所述基于注意力机制的图像盲去模糊方法包括：

多尺度注意力网络采用端到端方式，直接恢复清晰图像；

所述多尺度注意力网络采用非对称的编解码结构，所述编解码结构的编码侧采用残差密集网络块，以完成所述多尺度注意力网络对输入图像进行特征提取和表达；

所述编解码结构的解码侧设置多个注意力模块，所述注意力模块输出初步复原图像，所述初步复原图像形成图像金字塔式的多尺度结构；

所述注意力模块还输出注意力特征图，所述注意力特征图从全局角度建模远距离区域之间的关系处理模糊图像；

暗通道先验损失和多尺度内容损失组成损失函数，所述损失函数用于反向优化网络。

可选的，在所述的基于注意力机制的图像盲去模糊方法中，所述非对称的编解码结构包括：

所述编码侧由四个卷积模块组成，每个尺度下包含步长为2的卷积层和三个残差连接的密集网络块；

所述解码侧由三个注意力模块和重建模块组成，所述注意力模块与所述重建模块相互补充，自适应的校准特征图的重要性有助于重建信息；每个重建模块包含一个转置卷积层和三个瓶颈残差块；

所述瓶颈残差块的结构由两个卷积层组成，先通过1×1卷积层增加通道维度，再通过3×3卷积核得到目标输出，每个卷积层之后均有非线性激活函数；

所述编解码两侧相同尺寸的注意力特征图之间加入跳跃连接，通过相加完成低层特征与高层特征的融合。

可选的，在所述的基于注意力机制的图像盲去模糊方法中，所述残差密集网络块包括：

根据输入图像与输出图像之间的恒等映射完成残差学习，在图像复原过程中恒等映射将相似度达到阈值的输入图像与输出图像直接相连；

所述残差密集网络块将上一个注意力模块的输出传递到当前注意力模块中每个卷积层的输入上，完成特征的连续传递；

每个卷积层的输出通过在通道维度上的拼接，以密集连接的方式传递到之后各个卷积层的输入上；

拼接后的密集特征通过卷积层进行非线性变换将多通道特征融合；

在密集网络块的局部残差学习中使用残差缩放；

残差密集网络块将残差网络块和密集网络块进行整合。

可选的，在所述的基于注意力机制的图像盲去模糊方法中，所述注意力模块包括：

所述注意力模块对于输入特征为1×1的图像进行非线性变换，生成通道数为64的注意力特征图；

经过5×5预测卷积层将通道数压缩为3，输出当前分辨率下的清晰图像；

将输出图像通过最近邻插值进行上采样，再通过非线性变换得到全局特征图；

所述全局特征图包含从所述初步复原图像中提取的浅层特征，与解码侧的重建模块得到的深层特征在通道维度上进行拼接，调整不同空间位置上特征的重要性。

可选的，在所述的基于注意力机制的图像盲去模糊方法中，所述损失函数包括：

L_total＝λ₁L_darkchannel+λ₂L_{sub_content}+λ₃L_content   (2)

暗通道先验损失的系数λ₁为25，注意力模块的内容损失系数λ₂为5，输出的内容损失系数λ₃为10。

可选的，在所述的基于注意力机制的图像盲去模糊方法中，所述多尺度内容损失模块包括：

网络优化过程中选择均方误差作为内容损失函数，通过计算网络输出图像与真实清晰图像之间逐像素误差的平方得到：

其中，θ_σ是网络参数，I_x,y ^sharp是真实的清晰图像，I^Blur是模糊图片，

是复原得到的图像，r，W，H分别是图像数量，图像宽和图像高；

在训练过程中采用优化的多尺度均方误差函数；

利用解码侧的复原图像与对应尺度的真实清晰图片之间的均方误差，监督注意力模块中全局特征的提取和转化：

各个尺度的内容损失加权后得到多尺度内容损失函数，权重通过原图与当前尺寸的比值得到。

可选的，在所述的基于注意力机制的图像盲去模糊方法中，所述暗通道先验损失模块包括：

暗通道先验损失实现清晰图像暗通道稀疏性约束；

对图像I，像素p的暗通道定义为：

其中，p和q是像素位置，N(p)表示以像素p为中心的图像块，I^c(q)是第C个通道上图像，因此暗通道描述的是图像块中最小值；

基于卷积神经网络的去模糊工作中，卷积是特征提取的基本操作，每个通道上的卷积计算可表示为：

其中，x_i,j表示输入第i行j列元素，w_m,n表示卷积核第m行n列权重，w_b表示偏置，a_i,j表示该通道上得到的特征图第i行j列元素；

所述暗通道先验损失模块采用均方误差，计算真实清晰图像和复原图像中像素暗通道的欧几里得距离：

本发明还提供一种基于注意力机制的图像盲去模糊系统，所述基于注意力机制的图像盲去模糊系统包括：

多尺度注意力网络，采用端到端方式，直接恢复清晰图像；

所述多尺度注意力网络采用非对称的编解码结构，所述编解码结构的编码侧采用残差密集网络块，以完成所述多尺度注意力网络对输入图像进行特征提取和表达；

所述编解码结构的解码侧设置多个注意力模块，所述注意力模块输出初步复原图像，所述初步复原图像形成图像金字塔式的多尺度结构；

所述注意力模块还输出注意力特征图，所述注意力特征图从全局角度建模远距离区域之间的关系处理模糊图像；

暗通道先验损失和多尺度内容损失组成损失函数，所述损失函数用于反向优化网络。

在本发明提供的基于注意力机制的图像盲去模糊方法及系统中，针对盲去模糊不能有效处理复杂的动态场景模糊问题，提出了基于注意力机制的图像去模糊算法，用多尺度注意力网络端到端的直接恢复清晰图像。该网络采用非对称的编解码结构。首先编码侧采用了残差密集网络块，提高网络对输入图像的特征提取和表达能力。其次，解码侧设计了多个简单高效的注意力模块，该模块输出的初步复原图像实现了图像金字塔式的多尺度结构，输出的注意力特征图从全局角度建模远距离区域之间的关系，更好地处理模糊程度严重的图像。最后，提出暗通道先验损失和多尺度内容损失组成的损失函数。实验结果表明，GOPRO数据集的复原图像在评价指标和视觉效果均优于对比算法。相比多尺度循环网络，GOPRO测试集上的峰值信噪比和结构相似性分别提高了1.97％和1.16％，复原图像边缘更锐利、纹理更清晰。所提方法有效提升了动态场景模糊图像复原性能，优化了训练过程，缩短了复原时间。

本发明基于注意力机制设计了非对称的编解码网络实现动态场景模糊图像盲复原，实现了以下有益效果：

(1)受到注意力机制的启发设计了注意力模块，该模块实现了全局特征的提取和转化，输出不同空间分辨率下注意力特征图和复原图像。注意力模块融入网络的解码侧，通过端到端训练实现优化，有效捕获了全局上下文信息同时实现了“渐进式”多尺度结构。

(2)网络由非对称的编码器-解码器结构组成。为了提高特征的提取和表达能力，编码侧残差连接的密集网络块组成；解码侧中上采样重建特征，主干网络与注意力模块的特征图在通道维度上进行拼接，自适应地校准解码侧提取的特征。

(3)训练过程中，损失函数由暗通道先验损失和多尺度均方误差损失组成，指导网络生成具有边缘锐利、纹理清晰的图像，进一步提升网络的性能。

(4)在公开合成数据集的测试结果表明，本发明算法和近期方法在评价指标和复原时间上均有改进，复原图像也具有更清晰的边缘结构和丰富的纹理细节。采集真实动态场景中的模糊图像进行实验，验证算法的实用价值。

附图说明

图1是本发明一实施例基于注意力机制的网络结构示意图；

图2是本发明一实施例解码侧的瓶颈模块结构示意图；

图3是本发明一实施例残差密集网络块结构示意图；

图4是本发明一实施例注意力模块结构示意图；

图5是本发明一实施例的注意力特征图与对应特征图逐元素处理结果示意图；

图6是本发明一实施例的不同空间分辨率下的模糊图像和特征示意图；

图7是本发明一实施例的GOPRO测试数据集复原效果比较示意图；

图8是本发明一实施例的复原图像与SRN复原图像纹理细节比较示意图；

图9是本发明一实施例的真实模糊图像复原效果比较示意图。

具体实施方式

以下结合附图和具体实施例对本发明提出的基于注意力机制的图像盲去模糊方法及系统作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

本发明的核心思想在于提供一种基于注意力机制的图像盲去模糊方法及系统，以解决现有的基于卷积神经网络的盲去模糊方法不能高效地处理复杂动态场景模糊的问题。

为实现上述思想，本发明提供了一种基于注意力机制的图像盲去模糊方法及系统，所述基于注意力机制的图像盲去模糊方法包括：多尺度注意力网络采用端到端方式，直接恢复清晰图像；所述多尺度注意力网络采用非对称的编解码结构，所述编解码结构的编码侧采用残差密集网络块，以完成所述多尺度注意力网络对输入图像进行特征提取和表达；所述编解码结构的解码侧设置多个注意力模块，所述注意力模块输出初步复原图像，所述初步复原图像形成图像金字塔式的多尺度结构；所述注意力模块还输出注意力特征图，所述注意力特征图从全局角度建模远距离区域之间的关系处理模糊图像；暗通道先验损失和多尺度内容损失组成损失函数，所述损失函数用于反向优化网络。

<实施例一>

本实施例提供了一种基于注意力机制的图像盲去模糊方法，基于非对称的编码-解码网络结构。该结构简单紧凑，在各种计算机视觉的任务中都得到了广泛应用。近期在图像复原领域，许多基于学习的端到端方法都围绕此展开，视频去模糊任务中用结合跳跃连接的编解码网络，单张图像动态场景去模糊领域中提出的基于残差块组成的编解码网络，采用多尺度循环结构“由粗到精”逐步估计清晰图像，是目前基于深度学习的去模糊方法中参数量较小性能较好的网络。

编解码网络中编码侧与解码侧的任务不同，编码侧从模糊图像I_Blur下采样提取特征，解码侧对提取的特征进行上采样重建图像预测清晰图像中每个像素值。因此本发明设计了非对称的网络结构，称为多尺度注意力网络(Multi-Scale Attention Network，MSANet)，如图1所示。

编码侧由四个卷积模块组成，每个尺度下包含步长为2的卷积层和三个残差连接的密集网络块；解码侧由三个空间注意力融合模块和重建模块组成，注意力模块与重建模块相互补充，自适应的校准特征图的重要性有助于重建信息。每个重建模块包含一个转置卷积层和三个瓶颈残差块，瓶颈残差块的结构如图2所示，由两个卷积层组成，先通过1×1卷积层增加通道维度，再通过3×3卷积核得到目标输出，每个卷积层之后均有非线性激活函数，结构如图2所示。

与U-Net相似，编解码两侧相同尺寸的特征图之间加入跳跃连接，通过相加实现低层特征与高层特征的融合，提升去模糊性能。另外，为了避免复原图像中的伪影和棋盘效应，网络中均舍弃了归一化(Normalization)操作。

从物理现象上看，动态场景模糊实际上是同一场景目标在曝光时间内一段距离的延迟后信息分散在周围像素点上，最终形成模糊的图像。因此模糊图像中包含清晰图像的信息，两者之间相似度较高，本发明利用残差连接的密集网络块，提高靠近输入图像的编码侧特征提取和表达能力，结构如图3所示。

首先，输入与输出之间的恒等映射实现了残差学习，在图像复原工作中恒等映射将相似度很高的输入与输出直接相连，降低了训练难度。

其次，残差密集网络模块中将上一个模块的输出传递到当前模块中每个卷积层的输入上，实现了特征的连续传递。同样每个卷积层的输出，也以密集连接的方式传递到之后各个层的输入上。上述连接通过在通道维度上的拼接实现。

最后，拼接后的密集特征通过卷积层进行非线性变换将多通道特征融合。为了进一步提高性能，在密集网络块的局部残差学习中还使用了残差缩放。

残差密集网络块将残差网络块和密集网络块进行了整合，不仅通过多条密集连接实现了特征的跨层重复利用，提高了特征的学习和表达能力，还利用残差学习降低了训练难度，同时避免了深度网络中的梯度消失等问题。

动态场景下捕获的模糊图像在不同空间位置上特征信息的重要性不同，如图像中的背景(如天空、楼房等)和前景物体(如行人、车辆)。目前的去模糊卷积神经网络采用大尺寸卷积核、加深网络层数的方式，局部增大了感受野大小，无法从全局角度利用模糊区域之间的关系。为此，注意力机制作为近年来网络的设计趋势，可以模拟人类注意力使计算资源偏向重要特征的特点，在自然语言处理和计算机视觉的许多任务中都有优异的表现，特别地在超分辨的工作中通过引入不同的注意力模块，有效地增强高频特征并抑制平滑区域的噪声，取得了比以往更好的效果。

因此本发明的编解码网络在解码侧集成空间注意力模块，实现不同尺度下清晰图像的估计和全局上下文特征提取。模块结构如图4所示；

首先，注意力模块对于输入特征为1×1进行非线性变换，生成通道数为64的特征图。再经过5×5预测卷积层将通道数压缩为3，输出当前分辨率下的清晰图像。从全局角度实现特征的提取和该尺度下复原图像的输出。

其次，将输出图像通过最近邻插值进行上采样，再通过非线性变换得到全局特征图。该特征是从复原图像中提取的浅层特征，与解码侧重建模块得到的深层特征在通道维度上进行拼接，调整不同空间位置上特征的重要性。

通常，注意力特征图采用点乘或相加作用于原特征图，但去模糊工作和高级计算机任务目的不同，旨在恢复图像中更多的信息，逐元素调整可能会破坏原特征图中好的信息，造成信息的丢失。

从图5(b)中可以看出，低频的平滑区域(如衣服)和高频细节(如地面纹理)中存在异常像素值，复原图像质量差。本发明采用拼接操作，将解码侧上采样特征图与注意力模块输出特征图在通道维度上进行拼接，融合了主干网络中的高级语义特征与注意力模块输出的浅层图像上下文信息。既保留了更多的信息，也实现了特征图空间位置上重要性的调整。

为了处理不同程度的模糊，近期的去模糊网络着重于利用大的感受野获取丰富的上下文信息，并结合多尺度策略逐步估计潜在的清晰图像，使网络具有不同的感受野。但是，简单地堆叠相同的模块对网络的性能提升有限，同时需要考虑模型参数与尺度之间的关系。

如图6所示，标(1)处代表原图，标(2)处表示2倍下采样，标(3)处表示4倍下采样，包含模糊边缘的图像在下采样的过程中，其中模糊边缘随着尺度变小模糊程度视觉可见的减少，相应的特征也会改变，而清晰边缘在下采样的过程中几乎没有变化。因此在多尺度的网络结构中编码侧的特征提取模块参数共享不能很好地区分不同分辨率下的图像中清晰和模糊特征，而解码侧重建清晰图像的过程中不同分辨率下的模块参数可以共享。

为此，本发明的注意力模块中第一个卷积层输出通道数为64，与网络最后一层得到最终图像前的特征通道数相同。因为模块中预测卷积层与网络最后一层都是重建出清晰图像，因此在整个解码侧参数共享。不仅可以显著减少网络中可训练参数量，降低了模型复杂度，同时求解目标一致情况下共享卷积层的权重可以在不同尺度下传递有用的信息，循环训练也相当于在尺度上进行数据增强，有助于恢复清晰图像。

为了优化网络模型，本发明使用的损失函数由内容损失和暗通道先验损失组成，

L_total＝λ₁L_darkchannel+λ₂L_{sub_content}+λ₃L_content   (2)

实验中，将暗通道先验损失的系数λ₁为25，注意力模块的内容损失系数λ₂为5，输出的内容损失系数λ₃为10。

一般来说，网络优化过程中选择均方误差作为内容损失函数，通过计算网络输出图像与真实清晰图像之间逐像素误差的平方得到，

其中，θ_σ是网络参数，I_x,y ^sharp是真实的清晰图像，I^Blur是模糊图片，

是复原得到的图像。r，W，H分别是图片数量，图片宽和高。

复原图像为网络最终的输出，但是多尺度结构网络对应单一的损失函数，不能评估中间复原结果的可靠性。因此，本发明在训练过程中采用优化的多尺度均方误差函数。利用解码侧的复原图像与对应尺度的真实清晰图片之间的均方误差，监督注意力模块中全局特征的提取和转化

可以看出，各个尺度的内容损失加权后得到多尺度内容损失函数，权重通过原图与当前尺寸的比值得到，低分辨率包含像素点少，所以相应的权重大。

像素级别的误差函数虽然在客观评价指标均方误差(MSE)和峰值信噪比(PSNR)上表现优异，但生成图像总是倾向于生成平滑的图像，模糊的边缘在恢复后依然不够锐利。为了进一步提高复原图像质量，通过理论和式样证明了清晰图像中暗通道的稀疏性，可以有效区分清晰图像和模糊图像，并提出L₀范数的约束项用于非一致性运动模糊估计问题中。受此启发，本发明引入了暗通道先验损失实现清晰图像暗通道稀疏性约束。

对图像I，像素p的暗通道定义为，

其中，p和q是像素位置，N(p)表示以像素p为中心的图像块，I^c(q)是第C个通道上图像，因此暗通道描述的是图像块中最小值。

基于卷积神经网络的去模糊工作中，卷积是特征提取的基本操作，每个通道上的卷积计算可表示为

其中，x_i,j表示输入第i行j列元素，w_m,n表示卷积核第m行n列权重，w_b表示偏置，a_i,j表示该通道上得到的特征图第i行j列元素。可以看出，输出特征图中每个像素是通过输入对应像素与邻域加权得到，也就意味着暗通道像素值会增大。因此引入暗通道稀疏先验可以有效指导网络输出具有清晰的边缘和纹理的图像。

相比于现有技术采用L₀范数统计图像中暗通道非零元素的个数，虽然可以很好约束地输出图像，但是由于其不可导性，所以不能作为目标函数进行反向传播(不能作为目标函数进行反向传播优化)。因此本发明设计的暗通道先验损失采用均方误差，即计算真实清晰图像和复原图像中像素暗通道的欧几里得距离。

基于深度学习的动态场景运动去模糊需要大量的成对训练数据，早期数据集是研究者们通过清晰图像和不同模糊核卷积合成。这样简化模糊源生成的图像不能模拟真实动态场景中的复杂运动模糊。因此，研究者们提出利用高速摄像机的多帧清晰图像平均合成，近似模拟成像设备抖动和目标物体运动导致共同引起的非一致性模糊。

本发明实验选择2017年Nah等提出的GOPRO数据集就是利用GoPro摄像机中7到15张清晰帧平均生成，中间帧为对应的真实清晰图像。共包含3214对清晰-模糊图像对，分辨率为720×1280，将2103对用于训练，其余1111对为测试数据集。

本发明算法基于TensorFlow框架利用Python实现，分别在配有Nvidia GeForceGTX 1080Ti GPU的工作站和2.7GHz Inter Core i5 CPU的Mac pro上训练和测试。

训练过程中批大小为4，学习率初始值设置为1×10^-4，之后呈系数为0.3指数衰减，优化算法为Adam算法，训练周期为2000，足以使网络模型收敛。编解码网络中的下采样卷积层步长为2，核尺寸为5；相应的上采样转置卷积层步长也为2，核尺寸为4。编码侧的残差密集网络块中四个核为3的卷积层和Leaky ReLu非线性激活函数交替构成，模块最后用于融合特征的输出卷积层核大小为1×1；解码侧瓶颈残差块两个卷积层核大小分别为1和3。与之前大多数使用大尺寸卷积核不同，本发明中大多数卷积核尺寸为3。

训练时输入图像随机裁剪为256×256，并随机的上下翻转或者旋转90°防止过拟合。多尺度注意力模块的初步复原图像尺寸分别为32×32，64×64，128×128，最终复原图像与输入一致。测试时输入与输出图像均为初始分辨率720×1280。

实验中的对比方法有Whyte等提出的传统非均匀模糊图像盲复原算法、结合深度学习利用CNN实现估计模糊核的方法(From Motion Blur to Motion Flow，MBMF)和端到端的基于深度学习方法，包括深度多尺度卷积神经网络(Deep Multi-scale ConvolutionalNeural Network，MS-CNN)、基于条件生成对抗网络的DeblurGAN、尺度循环网络(Scale-Recurrent Network，SRN)和空间变化的循环神经网络(Spatially Variant RecurrentNeural Networks，SVRNN)。

本发明选取常用的峰值信噪比(peak signal to noise ratio,，PSNR)、结构相似性(structure similarity index measure，SSIM)和复原时间作为定量评价指标，表1为对比结果。

表1 GOPRO测试集上与现有算法评价指标比较

方法	PSNR/dB	SSIM	复原时间t/s
				<![CDATA[Whyte等<sup>[31]</sup>方法]]>	24.65	0.7566	700
MBMF	26.15	0.8050	210
				MS-CNN	28.66	0.8554	6
DeblurGAN	26.74	0.8704	0.207
				SVRNN	29.33	0.8808	0.304
SRN	30.41	0.9040	0.358
				本发明算法	31.02	0.9145	0.296

传统方法不能模拟动态场景中的空间变化模糊，所以Whyte等方法和MBMF均表现不佳。MS-CNN和DeblurGAN显著地提升了去模糊效果。但MS-CNN结构复杂，复原时间长，DeblurGAN虽然网络结构简单，但输出图像质量有待提高。改进模型SRN和SVRNN进一步提高了去模糊的性能，其中SRN在现有的方法中表现最佳，SVRNN较好地平衡了复原质量和时间开销。

本发明算法在客观评价指标取得了最好的结果，对比SRN方法PSNR提高了0.61dB，同时复原时间相比SVRNN更短。

在GOPRO测试集上的去模糊可视化效果如图7所示，(1)表示运动模糊，(2)表示相机抖动模糊，可以看出传统方法不适用于非均匀模糊的动态场景，复原图像仍然存在模糊。基于条件生成对抗网络的DeblurGAN去除了图像中空间变化的模糊，进一步提高了复原图像效率，但是图像中存在明显的伪影导致视觉效果不佳。MS-CNN一定程度上去除了不同尺度的模糊，但依然存在输出图像的边缘不够锐利，缺失纹理细节等问题。

对比其他方法，图7(h)中本发明算法运动模糊图像(1)中复原的高速行驶汽车轮廓锐利，没有明显的模糊边缘，(2)中相机抖动复原的窗户纹理细节清晰，有效地去除非均匀模糊。

另外从GOPRO测试集中选择的不同类型的模糊图像，如图8所示，分别为不同景深下拍摄对象移动造成的运动模糊(1)、(2)，拍摄静止汽车时相机抖动模糊(3)、(4)和模糊程度严重的(5)。和SRN相比，SRN复原的车牌中数字和字母存在变形，道路斑马线模糊，人脸细节存在着一定的人工复原的痕迹。而本发明算法中这些高频细节得到了有效复原，数字结构清晰、斑马线边缘锐利、人脸细节也更加合理，更贴近于右图中的真实清晰图像。

本发明采集了真实动态场景中的模糊图像进行实验，测试在2.7GHz Inter Corei5 CPU的Macbook pro上进行。

首先，相比于SRN，本发明方法的平均复原时间缩短了10s。其次，在测试过程中对于输入的初始分辨率图片模型得到复原图像的前向推理过程中，需要进行模型参数运算的次数(Floating point operations per second，FLOPs)要明显少于SRN，计算代价小。

表2真实图片与SRN方法复原时间比较

方法	平均复原时间/s	浮点计算次数(FLOPs)
			<![CDATA[SRN<sup>[16]</sup>]]>	29.9628	2,349G
本发明方法	18.1362	1,686G

另外，可视化结果如图9所示，从左到右依次是模糊图像，SRN算法复原图像以及本发明算法结果。可以看出，(1)中墙面和(2)中图案纹理比模糊图像清晰，模糊程度严重的(3)的复原图像中椅子以及书本边缘得到恢复，本发明算法能够有效处理真实的动态场景不同模糊，恢复了图像中高频细节，如边缘结构锐利，纹理细节清晰。

为了去除单张图片中的复杂动态场景模糊，本发明提出了多尺度注意力网络。网络基于非对称的编码-解码结构，编码侧利用残差密集网络块提高了特征的提取和表达能力；其次，解码侧不同空间分辨率下嵌入注意力模块，生成的初步复原图像实现了图像金字塔式多尺度结构增加网络的感受野，输出的注意力特征图优化了解码侧恢复高频细节的能力。另外，网络最后的输出卷积层与注意力模块中预测卷积层参数共享，降低了网络的复杂度。损失函数中设计了暗通道先验损失函数指导网络重建具有细节更清晰的图像，多尺度内容损失函数实现了不同尺度下的有监督学习。

实验结果表明，本发明提出的多尺度注意力网络可以有效解决复杂动态场景模糊问题。相较于其他算法，客观评价指标(PSNR、SSIM)更优，复原图像边缘更锐利、纹理更清晰，真实模糊图像复原效果更佳。所提方法在复原精度和效率都具较好的性能。

综上，上述实施例对基于注意力机制的图像盲去模糊方法及系统的不同构型进行了详细说明，当然，本发明包括但不局限于上述实施中所列举的构型，任何在上述实施例提供的构型基础上进行变换的内容，均属于本发明所保护的范围。本领域技术人员可以根据上述实施例的内容举一反三。

<实施例二>

本实施例提供一种基于注意力机制的图像盲去模糊系统，所述基于注意力机制的图像盲去模糊系统包括：多尺度注意力网络，采用端到端方式，直接恢复清晰图像；所述多尺度注意力网络采用非对称的编解码结构，所述编解码结构的编码侧采用残差密集网络块，以完成所述多尺度注意力网络对输入图像进行特征提取和表达；所述编解码结构的解码侧设置多个注意力模块，所述注意力模块输出初步复原图像，所述初步复原图像形成图像金字塔式的多尺度结构；所述注意力模块还输出注意力特征图，所述注意力特征图从全局角度建模远距离区域之间的关系处理模糊图像；暗通道先验损失和多尺度内容损失组成损失函数，所述损失函数用于反向优化网络。

在本发明提供的基于注意力机制的图像盲去模糊方法及系统中，针对盲去模糊不能有效处理复杂的动态场景模糊问题，提出了基于注意力机制的图像去模糊算法，用多尺度注意力网络端到端的直接恢复清晰图像。该网络采用非对称的编解码结构。首先编码侧采用了残差密集网络块，提高网络对输入图像的特征提取和表达能力。其次，解码侧设计了多个简单高效的注意力模块，该模块输出的初步复原图像实现了图像金字塔式的多尺度结构，输出的注意力特征图从全局角度建模远距离区域之间的关系，更好地处理模糊程度严重的图像。最后，提出暗通道先验损失和多尺度内容损失组成的损失函数。实验结果表明，GOPRO数据集的复原图像在评价指标和视觉效果均优于对比算法。相比多尺度循环网络，GOPRO测试集上的峰值信噪比和结构相似性分别提高了1.97％和1.16％，复原图像边缘更锐利、纹理更清晰。所提方法有效提升了动态场景模糊图像复原性能，优化了训练过程，缩短了复原时间。

本发明基于注意力机制设计了非对称的编解码网络实现动态场景模糊图像盲复原，实现了以下有益效果：

(1)受到注意力机制的启发设计了注意力模块，该模块实现了全局特征的提取和转化，输出不同空间分辨率下注意力特征图和复原图像。注意力模块融入网络的解码侧，通过端到端训练实现优化，有效捕获了全局上下文信息同时实现了“渐进式”多尺度结构。

(2)网络由非对称的编码器-解码器结构组成。为了提高特征的提取和表达能力，编码侧残差连接的密集网络块组成；解码侧中上采样重建特征，主干网络与注意力模块的特征图在通道维度上进行拼接，自适应地校准解码侧提取的特征。

(3)训练过程中，损失函数由暗通道先验损失和多尺度均方误差损失组成，指导网络生成具有边缘锐利、纹理清晰的图像，进一步提升网络的性能。

(4)在公开合成数据集的测试结果表明，本发明算法和近期方法在评价指标和复原时间上均有改进，复原图像也具有更清晰的边缘结构和丰富的纹理细节。采集真实动态场景中的模糊图像进行实验，验证算法的实用价值。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (5)

1.一种基于注意力机制的图像盲去模糊方法，其特征在于，所述基于注意力机制的图像盲去模糊方法包括：

多尺度注意力网络采用端到端方式，直接恢复清晰图像；

所述多尺度注意力网络采用非对称的编解码结构，所述编解码结构的编码侧采用残差密集网络块，以完成所述多尺度注意力网络对输入图像进行特征提取和表达；

所述编解码结构的解码侧设置多个注意力模块，所述注意力模块输出初步复原图像，所述初步复原图像形成图像金字塔式的多尺度结构；

所述注意力模块还输出注意力特征图，所述注意力特征图从全局角度建模远距离区域之间的关系处理模糊图像；

暗通道先验损失和多尺度内容损失组成损失函数，所述损失函数用于反向优化网络；

所述损失函数包括：

L_total＝λ₁L_darkchannel+λ₂L_{sub_content}+λ₃L_content           (1)

暗通道先验损失的系数λ₁为25，注意力模块的内容损失系数λ₂为5，输出的内容损失系数λ₃为10；

多尺度内容损失模块包括：

网络优化过程中选择均方误差作为内容损失函数，通过计算网络输出图像与真实清晰图像之间逐像素误差的平方得到：

其中，θ_σ是网络参数，I_x,y ^sharp是真实的清晰图像，I^Blur是模糊图片，

是复原得到的图像，r，W，H分别是图像数量，图像宽和图像高；

在训练过程中采用优化的多尺度均方误差函数；

利用解码侧的复原图像与对应尺度的真实清晰图片之间的均方误差，监督注意力模块中全局特征的提取和转化：

各个尺度的内容损失加权后得到多尺度内容损失函数，权重通过原图与当前尺寸的比值得到；

暗通道先验损失模块包括：

暗通道先验损失实现清晰图像暗通道稀疏性约束；

对图像I，像素p的暗通道定义为：

其中，p和q是像素位置，N(p)表示以像素p为中心的图像块，I^c(q)是第C个通道上图像，因此暗通道描述的是图像块中最小值；

基于卷积神经网络的去模糊工作中，卷积是特征提取的基本操作，每个通道上的卷积计算可表示为：

其中，x_i,j表示输入第i行j列元素，w_m,n表示卷积核第m行n列权重，w_b表示偏置，a_i,j表示该通道上得到的特征图第i行j列元素；

所述暗通道先验损失模块采用均方误差，计算真实清晰图像和复原图像中像素暗通道的欧几里得距离：

2.如权利要求1所述的基于注意力机制的图像盲去模糊方法，其特征在于，所述非对称的编解码结构包括：

所述编码侧由四个卷积模块组成，每个尺度下包含步长为2的卷积层和三个残差连接的密集网络块；

所述解码侧由三个注意力模块和重建模块组成，所述注意力模块与所述重建模块相互补充，自适应的校准特征图的重要性有助于重建信息；每个重建模块包含一个转置卷积层和三个瓶颈残差块；

所述瓶颈残差块的结构由两个卷积层组成，先通过1×1卷积层增加通道维度，再通过3×3卷积核得到目标输出，每个卷积层之后均有非线性激活函数；

所述编解码两侧相同尺寸的注意力特征图之间加入跳跃连接，通过相加完成低层特征与高层特征的融合。

3.如权利要求1所述的基于注意力机制的图像盲去模糊方法，其特征在于，所述残差密集网络块包括：

根据输入图像与输出图像之间的恒等映射完成残差学习，在图像复原过程中恒等映射将相似度达到阈值的输入图像与输出图像直接相连；

所述残差密集网络块将上一个注意力模块的输出传递到当前注意力模块中每个卷积层的输入上，完成特征的连续传递；

每个卷积层的输出通过在通道维度上的拼接，以密集连接的方式传递到之后各个卷积层的输入上；

拼接后的密集特征通过卷积层进行非线性变换将多通道特征融合；

在密集网络块的局部残差学习中使用残差缩放；

残差密集网络块将残差网络块和密集网络块进行整合。

4.如权利要求1所述的基于注意力机制的图像盲去模糊方法，其特征在于，所述注意力模块包括：

所述注意力模块对于输入特征为1×1的图像进行非线性变换，生成通道数为64的注意力特征图；

经过5×5预测卷积层将通道数压缩为3，输出当前分辨率下的清晰图像；

将输出图像通过最近邻插值进行上采样，再通过非线性变换得到全局特征图；

所述全局特征图包含从所述初步复原图像中提取的浅层特征，与解码侧的重建模块得到的深层特征在通道维度上进行拼接，调整不同空间位置上特征的重要性。

5.一种实施如权利要求1所述方法的基于注意力机制的图像盲去模糊系统，其特征在于，所述基于注意力机制的图像盲去模糊系统包括：

多尺度注意力网络，采用端到端方式，直接恢复清晰图像；

所述多尺度注意力网络采用非对称的编解码结构，所述编解码结构的编码侧采用残差密集网络块，以完成所述多尺度注意力网络对输入图像进行特征提取和表达；

所述编解码结构的解码侧设置多个注意力模块，所述注意力模块输出初步复原图像，所述初步复原图像形成图像金字塔式的多尺度结构；

所述注意力模块还输出注意力特征图，所述注意力特征图从全局角度建模远距离区域之间的关系处理模糊图像；

暗通道先验损失和多尺度内容损失组成损失函数，所述损失函数用于反向优化网络。

Images