CN116721027A - 基于变分模糊核估计的运动图像去模糊方法 - Google Patents
基于变分模糊核估计的运动图像去模糊方法 Download PDFInfo
- Publication number
- CN116721027A CN116721027A CN202310663159.0A CN202310663159A CN116721027A CN 116721027 A CN116721027 A CN 116721027A CN 202310663159 A CN202310663159 A CN 202310663159A CN 116721027 A CN116721027 A CN 116721027A
- Authority
- CN
- China
- Prior art keywords
- image
- fuzzy
- blur
- clear
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于变分模糊核估计的运动图像去模糊方法,首先通过变分推断算法,拟合模糊核的隐式物理结构分布,将其表示为潜在变量,例如方向、范围,能够得到非参数化的模糊核特征。其次,采用模糊生成模型,以数据驱动的方式近似模糊核的预期统计分布。在模糊生成阶段采用双头解码器结构。本发明的模糊核估计方法克服了现有非均匀运动模糊估计方法的局限性,能够生成大量极其精确的运动模糊核,通过训练该模型,不仅能够实现对真实的运动模糊图像去模糊,而且够生成大量清晰‑模糊数据对,从而有效地丰富和扩充现有的基准数据集。综合实验证明,本发明方法比现有的基于端到端深度学习的方法具有更好去模糊效果。
Description
技术领域
本发明涉及图像去模糊领域,尤其涉及一种基于变分模糊核估计的运动图像去模糊方法。
背景技术
图像去模糊旨在将给定的模糊图像恢复成清晰图像,模糊图像的模糊种类大致分为运动模糊、高斯模糊、失焦模糊。这里针对图像运动模糊进行调查讨论。在一般情况下,图像中的运动模糊的分布是图像空间的变化,解决图像去模糊问题可以分为基于图像先验和深度神经网络两大类。基于图像先验的方法针对退化的线性卷积模型根据是否已知模糊核信息将去模糊算法分为非盲反卷积与盲反卷积两类。传统非盲反卷积去模糊算法如维纳滤波、非盲反卷积等,其得到的复原图像有大量“振铃”效果影响图像的质量。并且由于现实情况中模糊核k的信息往往未知,现今主流的运动去模糊算法主要针对图像盲反卷积模糊,这些方法充分利用自然图像的一些先验信息,如自然图像的稀疏性,克服了原来非盲去模糊图像质量差的缺陷。图像盲反卷积是一个典型的病态问题,其求解模型主要基于最大化后验概率模型MAP,对于MAP方法有很多基于理论的干净图像和模糊核的先验建模被提出,如梯度稀释先验,光谱先验、低秩先验等。但这些基于MAP的方法所估计的模糊核大多是失败的,所得到的复原图像效果也很不理想。VB的后验均值估计具有天然的鲁棒性,可以降低边缘与模糊核交替迭代估计陷入局部最小值的风险。
对于结合模糊模型的深度去模糊模型来说,为了训练其得到一个好的结果,就必须要很多规模质量高的清晰-模糊图像对数据集。但在现实当中很难直接捕获成对的清晰-模糊图像对。
2015年有学者等提出了基于深度卷积神经网络估计非均匀模糊的方法。首先通过深度卷积神经网络估计每个图像区域的模糊概率分布,然后通过马尔可夫随机场模型来预测稠密的非均匀模糊,最后基于非盲图像去模糊方法估计清晰图像。可以有效地从模糊图像中估计不同图像区域中的模糊核,在处理动态场景下的图像去模糊问题时取得了较好的结果。有学者为了弥补显式的清晰边缘选择方法的缺陷,首先通过深度神经网络从模糊图像中估计深度特征,将深度特征变换到频率域来估计运动模糊核,然后基于运动模糊核估计潜在的清晰图像,最后基于估计的潜在清晰图像和原始的模糊图像,经过相同的网络来进一步更新深度特征,从而更好地估计运动模糊核。有通过非盲图像去模糊方法估计清晰图像,但是其假定模糊是局部线性的,能够充分地利用图像的更多有用信息。有学者将L0平滑滤波作用后的清晰图像作为网络的约束。为了构造清晰的边缘信息训练网络,将L0平滑滤波作用于清晰图像,然后将滤波结果的梯度作为清晰边缘,最大限度的获得了好的去模糊结果。通过在频域中准确的内核估计来复原任意模糊内核退化的清晰图像。有学者使用条件GAN与面向去模糊的优化目标相结合,学习从退化图像的光谱到未知内核的端到端转换,取得了比最先进的盲去模糊方法更高的性能。
现有技术方案存在的不足:
1、依靠大量手动设计运动模糊核先验,耗时耗力且不准确。
一些传统的去模糊方法和一些结合模糊物理模型的深度学习方法通过假设运动场、摄像机的运动参数或直接手动将核的长度和方向参数化来建模型以估计模糊核,得到的模糊核单一且不准确,导致去模糊效果差。
2、跳过核估计的步骤,模型缺少物理特性的支持,得到的去模糊效果受限于所使用的数据集
许多端到端的深度去模糊方法跳过了核估计步骤,直接通过网络实现模糊到清晰图像的映射,法依赖大量合成的训练数据集,缺少物理结构的支持,导致跨数据集的泛化性能大大下降,并网络可能会捕获大量特定于相机的映射,导致其去模糊效果下降。
3、在真实的复杂运动模糊场景图像上的去模糊泛化能力差
对于真实拍摄的运动模糊图像,由于其模糊类型复杂,模糊结构不均匀,以往的传统以及深度图像去模糊效果被合成数据集限制,泛化能力差。
发明内容
针对现有技术之不足,本发明提出一种基于变分模糊核估计的运动图像去模糊方法,其特征在于,所述方法通过变分贝叶斯推断算法,将编码器提取到的图像分
所述方法通过变分贝叶斯推断算法,将编码器提取到的图像分布特征进行重参数化分布,得到潜在的模糊隐式分布,探索模糊核的内在生成机制,然后通过模糊组系生成模块,结合解码器结构将包含隐式分布信息的变量重构成非参数化的模糊组系,以数据驱动的方式得到具有物理特性的模糊特征并估计出真实的模糊图像,从而提高模型刻画模糊核的能力,最后将训练得到的模型输入到去模糊模块,能够得到清晰的去模糊图像,去模糊方法具体包括:
步骤1:准备去模糊训练集,所述训练集包括模糊图像和对应的清晰图像构成的图像对;
步骤2:将模糊图像输入变分核生成网络中进行处理,输出得到模糊线性组,并结合清晰图像通过局部卷积网络得到估计的模糊图像,同时得到训练好的变分模糊生成模型,具体包括:
步骤21:提取模糊图像的特征向量,将模糊图像输入到编码器提取图像特征向量;
步骤22:解码得到混合系数,将所述图像特征向量输入到解码器1中,所述图像特征向量被解码为混合系数;
步骤23:采用变分贝叶斯推断算法探究模糊核的隐含分布并通过生成器得到具有模糊物理特性的模糊组系,包括两个阶段:
步骤231:第一阶段,将所述图像特征向量通过变分贝叶斯推断算法探究模糊核的隐含分布,通过重参数化潜在变量构建模糊核隐含分布信息,得到重参数化分布;
步骤232:第二阶段,将重参数化分布输入包含解码器2的生成器中,通过解码和线性化生成模糊组系,将模糊核建模为一个维数为M的模糊组系,将整个模糊组系建模是以潜在变量为条件的深度生成模型;
步骤24:将步骤22与步骤23得到的混合系数与模糊组系先进行加权组合得到模糊线性组,然后与清晰图像对输入局部卷积网络中,所述局部卷积网络将模糊图像对应的清晰图像与所述模糊线性组进行卷积,得到估计模糊图像;
步骤3:基于步骤2训练得到的变分模糊生成模型,构建优化分布去模糊模型,对模糊图像进行处理,得到最终清晰的去模糊图像,具体包括:
步骤31:将一组模糊图像输入到步骤2训练得到的变分模糊生成模型中,得到对应模糊图像具有物理特性的模糊线性组;
步骤32:构建深度图像先验模块,用于重参数化清晰图像先验分布,得到清晰图像先验,具体的:
首先,使用标准正态随机向量表示清晰图像分布,在此不对其做优化求解,而是将其作为神经网络的随机输出;
然后,在深度图像先验模块的基础上先使用正则化理查森-露西自然图像先验算法对清晰图像分布的梯度进行正则化约束;
最后,使用变分正则化项对清晰图像进一步约束,避免平凡解,得到一个随机的清晰图像先验;
步骤33:将清晰图像先验与步骤31得到的模糊线性组进行局部卷积,将得到估计模糊图像,计算所述估计模糊图像与输入的模糊图像的图像重模糊损失,通过所述模糊损失反向控制步骤32的深度图像先验模块得到优化后的清晰图像先验,整个优化分布模型通过最小化损失约束,最后输出清晰的去模糊图像。
本发明的有益效果在于:
1、本发明采用变分贝叶斯推断算法,更有效地捕捉不同方向、长度、密度的运动模糊物理结构,能够充分在训练集上以数据驱动的方式提取图像中运动模糊的统计分布。
2、本发明通过所提出的变分模糊生成模型中的变分核生成网络生成精确的空间变化核,简化了模糊图像成像问题,能够产生高质量的运动去模糊图像,本发明方法有效地克服了基于模型的技术在去模糊图像中由于不准确的运动模糊表征而产生的伪影的局限性。
3、本发明训练得到变分模糊生成模型,还能在只输入清晰图像的情况下自动充分地生成多样化和高质量的清晰-模糊图像训练对,以增强现有的基准数据集,该变分模糊生成模型还可以将前向模型一致性应用到一些端到端的方法中,以提高其去模糊性能,并且贡献一个增强数据集。
附图说明
图1是本发明变分模糊生成模型的结构图;
图2是本发明优化分布去模糊模型的结构图;
图3是模糊组系生成示意图;
图4是模糊迁移生成实验可视化结果;
图5是模糊组系生成实验可视化结果;
图6是不同方法在REDS数据集上的去模糊结果;
图7是不同方法在数据集上的去模糊结果。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
下面结合附图进行详细说明。
本发明中图1中重参数化模块中的含有模糊物理特性的潜在变量ω表示,即潜在模糊分布;混合系数用X表示,模糊组系用K表示。
针对现有技术之不足,本发明提出一种基于变分模糊核估计的运动图像去模糊方法,所述方法通过变分贝叶斯推断算法,将编码器提取到的图像分布特征进行重参数化分布,得到潜在的模糊隐式分布,探索模糊核的内在生成机制,然后通过模糊组系生成模块,结合解码器结构将包含隐式分布信息的变量重构成非参数化的模糊组系,以数据驱动的方式得到具有物理特性的模糊特征并估计出真实的模糊图像,从而提高模型刻画模糊核的能力,最后将训练得到的模型输入到去模糊模块,能够得到清晰的去模糊图像,去模糊方法具体包括:
步骤1:准备去模糊训练集,所述训练集包括模糊图像和对应的清晰图像构成的图像对。
步骤2:将模糊图像输入变分核生成网络中进行处理,输出得到模糊线性组,并结合清晰图像通过局部卷积网络得到估计的模糊图像,同时得到训练好的变分模糊生成模型,图1是本发明变分模糊生成模型的结构图。具体包括:
步骤21:提取模糊图像的特征向量,将模糊图像输入到编码器提取图像特征向量。
所述编码器由五个下采样区块组成,每个下采样区块由两个卷积和一个最大池化层组成。在每个下采样块之后,将空间大小除以2,最后输出一个图像特征向量。
步骤22:解码得到混合系数,将所述图像特征向量输入到解码器1中,所述图像特征向量被解码为混合系数。
解码器1具有U-Net结构,拥有跳跃连接层。
步骤23:采用变分贝叶斯推断算法探究模糊核的隐含分布并通过生成器得到具有模糊物理特性的模糊组系,包括两个阶段:
步骤231:第一阶段,将所述图像特征向量通过变分贝叶斯推断算法探究模糊核的隐含分布,通过重参数化潜在变量构建模糊核隐含分布信息,得到重参数化分布,具体的,先将步骤1的图像特征向量进行大小重构,输出包含模糊物理特性的n维潜在变量,模糊物理特征包括方向、密度、长度,潜在变量被预建模为具有各向同性的高斯先验分布,利用变分贝叶斯推断算法最大化K-L散列函数,重参数化潜在变量的隐式分布的均值和方差,得到拟合真实模糊空间的模糊物理特征分布,即重参数化分布。
步骤232:第二阶段将重参数化分布输入包含解码器2的生成器中,通过解码和线性化生成模糊组系,将模糊核建模为一个维数为M的模糊组系,将整个模糊组系建模是以潜在变量为条件的深度生成模型,具体如图3所示,图3是模糊组系生成示意图。
具体的,所述重参数化分布先输入解码器2,解码器2包括5个上采样块和5个下采样块,同解码器1一样使用U-Net结构,并拥有跳跃连接层,将重参数化后的潜在变量依次输入5个上采样块,每次上采样由双线性上采样和三个卷积层组成。此外,解码器2中的下采样块中的第二次卷积与上采样块中的第二次卷积之间存在跳跃式连接,最后一次卷积之后进行线性操作,再沿着批量大小对各个维度通道应用最大归一化激活函数(softmax),输出模糊组系K。
归一化以确保与模糊核相关的每个像素的混合系数的总和为1;卷积内核大小为3,填充为1,除了第一个64通道的卷积,其内核大小为2。
步骤2中结合模糊生成模型的过程,运用了具体的变分贝叶斯推断算法,通过将模糊核加入到低秩结构中,并将模糊图像中稠密的非均匀模糊核分解为更小的基本单元的线性组合得到模糊组系,将变分思想运用到模糊分布探寻过程,通过数据驱动的方法生成能反应真实模糊空间物理特性的模糊组系。
具体实现过程为:
首先,将完整分布表示为一般的统计分布其中P(ω)是关于模糊核组的潜在变量ω的先验分布,然后使用非参数变分贝叶斯框架来学习P(b)的对数估计。它被表示为变分后验T和KL散度。在最小化KL散度的情况下,直接将变分后验作为模糊图像分布的对数估计:
logP(b)~T(ω;b)=EQ(ω|b)[logPθ(b|ω)P(ω)-logQ(ω|b)] (1)
数学表达式(1)中P(ω|b)是概率密度函数。Q(ω|b)是真实后验P(ω|b)相对于潜变量ω的变分近似后验。最大化T(ω;b)以近似b的分布。根据变分理论,使用高斯分布来近似先验P(ω),变分后验用KL散度表示如下:
其中,μif(b)和σif(b)是ω后验分布参数的推断函数。将其作为VBLoss控制整个模糊组系的生成,其中变分推断部分能够推断真实空间下的模糊组系,除了生成器参数不再引入其他设定参数。
步骤24:将步骤22与步骤23得到的混合系数与模糊组系先进行加权组合得到模糊线性组,然后与清晰图像对输入局部卷积网络中,所述局部卷积网络将模糊图像b对应的清晰图像与所述模糊线性组进行卷积,得到估计模糊图像bf。
图像重模糊损失函数数学表达式如下:
上述表达式表示估计模糊图像bf与模糊图像b之间的分布距离。αi是同一图像的模糊组系核之间权重的倒数。
步骤3:基于步骤2训练得到的变分模糊生成模型,构建优化分布去模糊模型,对模糊图像进行处理,最终得到去模糊图像。图2是本发明优化分布去模糊模型的结构图;图2中的训练模型,即为步骤1训练得到的变分模糊生成模型。具体包括:
步骤31:将一组模糊图像输入到步骤2训练得到的变分模糊生成模型中,得到对应模糊图像具有物理特性的模糊组系。
步骤32:构建深度图像先验模块,用于重参数化清晰图像先验分布,具体的:
首先使用标准正态随机向量表示清晰图像分布,在此不对其做优化求解,而是将其作为神经网络的随机输出,然后在深度图像先验模块的基础上先使用正则化理查森-露西自然图像先验算法对清晰图像的梯度进行正则化约束,可以满足自然图像的梯度稀疏性,减少图像噪声。同时再使用变分正则化项对图像进一步约束,避免平凡解,得到一个随机清晰图像先验。
步骤33:将清晰图像先验与步骤31得到的模糊线性组进行局部卷积,将得到估计模糊图像,计算所述估计模糊图像与输入的模糊图像的图像重模糊损失,通过该损失反向控制步骤32的深度图像先验模块得到优化后的清晰图像先验,整个优化分布模型通过最小化损失约束,最后输出清晰的去模糊图像。
图4为对清晰图像的模糊迁移生成实验可视化结果,从数据集REDS进行迁移到COCO数据集,图4(a)为模糊迁移前的清晰图像,图4(b)、图4(c)和图4(d)为按照比例系数得到的模糊图像,比例系数分别为60%,80%,100%,图4(e)为原始的模糊图像,通过模糊迁移实验可以构建增强模糊-清晰数据集。
图5为模糊组系生成实验可视化结果,将两张模糊图像输入到训练好的变分模糊生成模型中,可以直接得到模糊图像对应的模糊核组,直观反应其模糊分布的物理情况。图5(a)为模糊图像,图5(b)为生成的模糊组系。
为了进一步说明本发明方法的有益效果,本发明所选取的对比方法包括端到端方法:方法1去模糊生成对抗网络、方法2缩放递归网络去模糊方法;基于模型的去模糊方法:方法3自去模糊方法,方法4非均匀模糊核估计方法,方法5模糊内核空间方法。本发明采用三个评价指标来评价本发明的去模糊效果,使用评价指标图像感知相似度LPIPS、峰值信噪比PSNR、结构相似度SSIM来进行评价比较,结果显示本发明的去模糊结果优于现有的去模糊方法。
图6为不同方法在REDS数据集上的去模糊结果对比,图6(a)为模糊图像(从上往下的图片的结构相似度评价指标分别为:0.682、0.641、0.430、0.603),图6(b)方法1的去模糊结果(从上往下的图片的结构相似度评价指标分别为:0.543、0.543、0.423、0.467),图6(c)为方法2的去模糊结果(从上往下的图片的结构相似度评价指标分别为:0.761、0.753、0.573、0.687),图6(d)为方法3的去模糊结果(从上往下的图片的结构相似度评价指标分别为:0.897、0.962、0.964、0.883),图6(e)为方法4的去模糊结果(从上往下的图片的结构相似度评价指标分别为:0.562、0.472、0.389、0.492),图6(f)为本发明方法的去模糊结果(从上往下的图片的结构相似度评价指标分别为:0.504、0.522、0.376、0.455),图6(g)为清晰图像。
图7为不同方法在数据集上的去模糊结果对比,图7(a)为模糊图像(从上往下的图片的峰值信噪比评价指标分别为:24.69dB、25.73dB),图7(b)为方法1的去模糊结果(从上往下的图片的峰值信噪比评价指标分别为:27.82dB、28.96dB),图7(c)方法2的去模糊结果(从上往下的图片的峰值信噪比评价指标分别为:28.69dB、30.48dB),图7(d)方法3的去模糊结果(从上往下的图片的峰值信噪比评价指标分别为:29.37dB、29.86dB),图7(e)方法4的去模糊结果(从上往下的图片的峰值信噪比评价指标分别为:30.07dB、30.16dB),图7(f)方法5的去模糊结果(从上往下的图片的峰值信噪比评价指标分别为:27.93dB、29.76dB),图7(g)为本文方法的去模糊结果(从上往下的图片的峰值信噪比评价指标分别为:32.93dB、33.14dB),图7(h)清晰图像。从图6和图7的可视化结果可以直观的看出,本发明去模糊方法相较其他方法的去模糊效果得到的去模糊结果,与真实清晰图像更为接近,恢复细节更加完整、准确。
设计模糊生成与转移实验评价模糊核生成质量,最后设计增强去模糊实验,评价生成的增强模糊数据集,探究本发明的增强数据集对经典去模糊深度学习方法的提高效果。
去模糊对比实验:为了验证模型的去模糊能力,将所提出的模型与多个目前的深度学习去模糊模型进行比较,所有实验都是跨数据集进行,以便能够验证模型在实际应用中的泛化性能和鲁棒性。本发明比较了多个标准数据集包括真实图像模糊数据集和合成数据集上的去模糊结果,包括REDS数据集,数据集、Lai数据集等。使用评价指标图像感知相似度LPIPS、峰值信噪比PSNR、结构相似度SSIM来进行评价比较,结果显示本发明的去模糊结果优于现有的去模糊方法。
表1是各个对比方法在REDS数据集上的图像感知相似度LPIPS的对比结果,越小越好。表2是各个方法在数据集上的客观评价指标对比结果,越大越好。
表1在REDS数据集上的客观评价指标对比
采用方法 | 方法1 | 方法2 | 方法3 | 方法4 | 方法5 | 本发明方法 |
图像感知相似度 | 0.467 | 0.531 | 0.768 | 0.477 | 0.896 | 0.441 |
表2在数据集上的客观评价指标对比
采用方法 | 方法1 | 方法2 | 方法3 | 方法4 | 方法5 | 本发明方法 |
峰值信噪比 | 27.18 | 27.57 | 25.24 | 28.23 | 28.01 | 28.46 |
结构相似度 | 0.79 | 0.81 | 0.76 | 0.81 | 0.80 | 0.83 |
增强去模糊实验:本发明首先使用模型生成的模糊组系类对方法1Deblur GAN模型进行微调,对其进行增强去模糊,其次采集模型在GOPRO训练集上使用REDS测试集模糊图像提取的模糊组系,再通过改变K值将不同模糊效果和模糊程度迁移到COCO数据集,然后将整个增强的数据集重新训练Deblur GAN网络,结果如表3所示,可以看到本发明生成的新增强模糊数据集对Deblur GAN有了一定的提升。
表3在GOPRO数据集上的客观评价指标对比
采用方法 | 方法1 | 方法1+方法4 | 方法1+本发明方法 | 方法1+增强COCO数据集 |
峰值信噪比 | 27.14 | 28.08 | 28.11 | 29.23 |
结构相似度 | 0.79 | 0.85 | 0.87 | 0.91 |
需要注意的是,上述具体实施例是示例性的,本领域技术人员可以在本发明公开内容的启发下想出各种解决方案,而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白,本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。
Claims (1)
1.基于变分模糊核估计的运动图像去模糊方法,其特征在于,所述方法通过变分贝叶斯推断算法,将编码器提取到的图像分布特征进行重参数化分布,得到潜在的模糊隐式分布,探索模糊核的内在生成机制,然后通过模糊组系生成模块,结合解码器结构将包含隐式分布信息的变量重构成非参数化的模糊组系,以数据驱动的方式得到具有物理特性的模糊特征并估计出真实的模糊图像,从而提高模型刻画模糊核的能力,最后将训练得到的模型输入到去模糊模块,能够得到清晰的去模糊图像,去模糊方法具体包括:
步骤1:准备去模糊训练集,所述训练集包括模糊图像和对应的清晰图像构成的图像对;
步骤2:将模糊图像输入变分核生成网络中进行处理,输出得到模糊线性组,并结合清晰图像通过局部卷积网络得到估计的模糊图像,同时得到训练好的变分模糊生成模型,具体包括:
步骤21:提取模糊图像的特征向量,将模糊图像输入到编码器提取图像特征向量;
步骤22:解码得到混合系数,将所述图像特征向量输入到解码器1中,所述图像特征向量被解码为混合系数;
步骤23:采用变分贝叶斯推断算法探究模糊核的隐含分布并通过生成器得到具有模糊物理特性的模糊组系,包括两个阶段:
步骤231:第一阶段,将所述图像特征向量通过变分贝叶斯推断算法探究模糊核的隐含分布,通过重参数化潜在变量构建模糊核隐含分布信息,得到重参数化分布;
步骤232:第二阶段,将重参数化分布输入包含解码器2的生成器中,通过解码和线性化生成模糊组系,将模糊核建模为一个维数为M的模糊组系,将整个模糊组系建模是以潜在变量为条件的深度生成模型;
步骤24:将步骤22与步骤23得到的混合系数与模糊组系先进行加权组合得到模糊线性组,然后与清晰图像对输入局部卷积网络中,所述局部卷积网络将模糊图像对应的清晰图像与所述模糊线性组进行卷积,得到估计模糊图像;
步骤3:基于步骤2训练得到的变分模糊生成模型,构建优化分布去模糊模型,对模糊图像进行处理,得到最终清晰的去模糊图像,具体包括:
步骤31:将一组模糊图像输入到步骤2训练得到的变分模糊生成模型中,得到对应模糊图像具有物理特性的模糊线性组;
步骤32:构建深度图像先验模块,用于重参数化清晰图像先验分布,得到清晰图像先验,具体的:
首先,使用标准正态随机向量表示清晰图像分布,在此不对其做优化求解,而是将其作为神经网络的随机输出;
然后,在深度图像先验模块的基础上先使用正则化理查森-露西自然图像先验算法对清晰图像分布的梯度进行正则化约束;
最后,使用变分正则化项对清晰图像进一步约束,避免平凡解,得到一个随机的清晰图像先验;
步骤33:将清晰图像先验与步骤31得到的模糊线性组进行局部卷积,将得到估计模糊图像,计算所述估计模糊图像与输入的模糊图像的图像重模糊损失,通过所述模糊损失反向控制步骤32的深度图像先验模块得到优化后的清晰图像先验,整个优化分布模型通过最小化损失约束,最后输出清晰的去模糊图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310663159.0A CN116721027A (zh) | 2023-06-06 | 2023-06-06 | 基于变分模糊核估计的运动图像去模糊方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310663159.0A CN116721027A (zh) | 2023-06-06 | 2023-06-06 | 基于变分模糊核估计的运动图像去模糊方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116721027A true CN116721027A (zh) | 2023-09-08 |
Family
ID=87867266
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310663159.0A Pending CN116721027A (zh) | 2023-06-06 | 2023-06-06 | 基于变分模糊核估计的运动图像去模糊方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116721027A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118314057A (zh) * | 2024-02-28 | 2024-07-09 | 武昌首义学院 | 一种卫星情报数据与作战系统即时反馈分析方法及系统 |
CN119151827A (zh) * | 2024-11-13 | 2024-12-17 | 浙江工业大学 | 一种基于多尺度特征加权的图像去模糊方法 |
-
2023
- 2023-06-06 CN CN202310663159.0A patent/CN116721027A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118314057A (zh) * | 2024-02-28 | 2024-07-09 | 武昌首义学院 | 一种卫星情报数据与作战系统即时反馈分析方法及系统 |
CN119151827A (zh) * | 2024-11-13 | 2024-12-17 | 浙江工业大学 | 一种基于多尺度特征加权的图像去模糊方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | Real-esrgan: Training real-world blind super-resolution with pure synthetic data | |
Chang et al. | Spatial-adaptive network for single image denoising | |
Zamir et al. | Restormer: Efficient transformer for high-resolution image restoration | |
Ma et al. | Learning deep context-sensitive decomposition for low-light image enhancement | |
Huang et al. | Robust single-image super-resolution based on adaptive edge-preserving smoothing regularization | |
Zhang et al. | Image super-resolution based on structure-modulated sparse representation | |
CN109087273B (zh) | 基于增强的神经网络的图像复原方法、存储介质及系统 | |
CN109035142B (zh) | 一种对抗网络结合航拍图像先验的卫星图像超分辨方法 | |
Yin et al. | Highly accurate image reconstruction for multimodal noise suppression using semisupervised learning on big data | |
CN106127689B (zh) | 图像视频超分辨率方法和装置 | |
CN116721027A (zh) | 基于变分模糊核估计的运动图像去模糊方法 | |
CN113763268B (zh) | 人脸图像盲修复方法及系统 | |
CN110111251B (zh) | 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法 | |
CN107133923A (zh) | 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法 | |
Kong et al. | Deep red unfolding network for image restoration | |
Chaurasiya et al. | Deep dilated CNN based image denoising | |
CN113724134A (zh) | 一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法 | |
CN112529776A (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
CN113947538A (zh) | 一种多尺度高效卷积自注意力单幅图像除雨方法 | |
CN105590296B (zh) | 一种基于双字典学习的单帧图像超分辨率复原方法 | |
CN109767389A (zh) | 基于局部和非局部联合先验的自适应加权双范数遥感图像盲超分辨重建方法 | |
Kim et al. | Example-based learning for single-image super-resolution and JPEG artifact removal | |
US20240362747A1 (en) | Methods for generating image super-resolution data set, image super-resolution model and training method | |
Kou et al. | Efficient Blind Image Deblurring Network based on Frequency Decomposition | |
Du et al. | CNN-based image super-resolution and deblurring |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |