[go: up one dir, main page]

CN105976332B - 基于图像中亮条纹信息的图像去模糊方法 - Google Patents

基于图像中亮条纹信息的图像去模糊方法 Download PDF

Info

Publication number
CN105976332B
CN105976332B CN201610284962.3A CN201610284962A CN105976332B CN 105976332 B CN105976332 B CN 105976332B CN 201610284962 A CN201610284962 A CN 201610284962A CN 105976332 B CN105976332 B CN 105976332B
Authority
CN
China
Prior art keywords
image
fuzzy
optimal
kernel
bright
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610284962.3A
Other languages
English (en)
Other versions
CN105976332A (zh
Inventor
王荣刚
张欣欣
王振宇
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN201610284962.3A priority Critical patent/CN105976332B/zh
Priority to PCT/CN2016/090091 priority patent/WO2017190432A1/zh
Priority to US16/098,732 priority patent/US10755390B2/en
Publication of CN105976332A publication Critical patent/CN105976332A/zh
Application granted granted Critical
Publication of CN105976332B publication Critical patent/CN105976332B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • G06T2207/20044Skeletonization; Medial axis transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20201Motion blur correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公布了一种基于图像中亮条纹信息的图像去模糊方法,利用运动模糊图像中存在的亮条纹,得到模糊核的形状信息,通过结合图像和所述模糊核对图像复原进行约束,得到准确的模糊核和高质量的复原图像;具体包括:选取包含最优亮条纹的最优图像块;提取得到模糊核形状信息;进行模糊核估计,得到最终的模糊核;进行非盲反卷积,还原得到清晰复原图像,作为最终的去模糊图像。本发明建立了一个实际拍摄的包含亮条纹的模糊图像测试集,采用本发明技术方案,能够得到准确的模糊核和高质量的复原图像,在图像处理领域应用价值高。

Description

基于图像中亮条纹信息的图像去模糊方法
技术领域
本发明属于图像处理技术领域,涉及图像增强处理方法,尤其涉及一种基于图像中亮条纹信息的图像去模糊方法,利用模糊图像中的亮条纹对图像去运动模糊,复原得到一张高质量的图像。
背景技术
由于相机和拍摄场景之间的相对运动,获取到的图像常常存在一定程度的运动模糊。图像退化的模型可以表示为如下的卷积过程
其中,I是获取到的模糊图像,L是清晰图像,k是模糊核(即点扩散函数),N是图像获取设备的噪声,表示卷积运算。在(1)中,已知量只有模糊图像I,所以单张图片盲反卷积求解L的过程是一个高度病态的问题。
当有光源或者反光物体(如水面,金属,玻璃等)存在时,这些高亮度的点便会在照片上形成亮条纹,严重影响了图像的质量。存在亮条纹的模糊图像是运动模糊图像的一种特殊情况,在这种情况下,如果点光源或者反光点的亮度非常高,超过成像设备中的传感器的阈值,在成像平面上形成饱和像素,每个传感器的响应都等于传感器的饱和响应,即式2:
k1=k2=…=kw=…kn=传感器的饱和响应,(式2)
此时模糊模型不符合等式1的线性卷积模型,因此不能用卷积表示。饱和目标点在成像平面上沿相机的运动轨迹形成亮条纹。亮条纹与背景区域的对比度较大,有明显的边缘,而这些强边缘会影响到用于估计模糊核的边缘图,导致模糊核估计不准确。但是,亮条纹也为模糊核的估计提供了有用的信息。
单张图片去模糊获得了越来越多的研究者的关注,并且取得了巨大的进步。由于已知信息只有一张模糊图像,我们要得到的是模糊核和未知的清晰图像,因此利用模糊核的特征如稀疏性,以及自然图像的统计特征如梯度分布等对未知的图像进行约束可以得到模糊核和中间图像,同时,这些约束可以避免求解陷入局部最小值,保证模糊核的稀疏性,减小复原出的图像的噪声。在文献[1]中,Fergus等人第一次将模糊核看作一个函数,用基于变分贝叶斯的方法,并将自然图像梯度的长尾分布模型表示为高斯混合模型,用集成学习的方法估计出模糊核,但是此方法较复杂,对图像的处理过程非常慢。在文献[2]中,Krishnan等人假设L的梯度服从超拉普拉斯分布,取得了高质量的复原图像,超拉普拉斯约束项作为一个有效的约束条件被广泛应用于后来的去模糊工作中。
目前国内外对于包含亮条纹的模糊图像去模糊的研究成果比较少。虽然亮条纹包含了许多有用信息,如模糊核的形状信息,但是大多数去模糊算法都没有对这些信息进行有效利用。在文献[3]中,Hua和Low手动选取亮条纹区域,并用其对模糊核进行约束,但是人工选取的图像块不一定是适合约束模糊核的图像区域,并且与人的经验有密切关系。在文献[4]中记载了,Hu等人提出了利用亮条纹信息对夜景模糊图像去模糊的算法,自动选取最优亮条纹图像块,并结合其它图像先验项进行模糊核估计,但是,此方法经常会出现误检和漏检的情况。由于饱和像素破坏了线性卷积模型,所以传统的反卷积算法对此类图片复原并不适用。针对这一问题,文献[5]中,Whyte等人建立了一个正演模型来消除饱和像素产生的振铃效应。文献[6]记载了Cho等人去除饱和像素,用非饱和像素来进行反卷积操作。
综上所述可知,单张图像去运动模糊已受到广泛关注,已有大量的去运动模糊算法涌现,具有重要的应用价值。而存在亮条纹的模糊图像提供了模糊核信息,目前尚缺乏能够充分提取模糊图像中的亮条纹信息,并利用此信息进行模糊核估计对图像去运动模糊,从而复原得到一张高质量的图像的方法。
引用文献:
[1]R.Fergus,B.Singh,and A.Hertzmann,“Removing camera shake from asingle photograph,”ACM Trans.Graph,vol.25,pp.787–794,2006
[2]D.Krishnan and R.Fergus,“Fast image deconvolution using hyper-laplacian priors,”in NIPS,2009,pp.157–170
[3]B.-S.Hua and K.-L.Low.“Interactive motion deblurring using lightstreaks,”In ICIP,pp.1553-1556,2011.
[4]Z.Hu,S.Cho,and J.Wang.“Deblurring low-light images with lightstreaks”,In CVPR,pp.3382-3389,2014.
[5]O.Whyte,J.Sivic,and A.Zisserman,“Deblurring shaken and partiallysaturated images”,In ICCV Workshops,pp.745–752,2011.
[6]S.Cho,J.Wang,and S.Lee.“Handling outliers in non-blind imagedeconvolution,”In ICCV,pp.495-502,2011.
[7]X.Zhang,R.Wang,and Y.Tian.“Image deblurring using robust sparsitypriors”,in ICIP,pages 138-142,2015.
[8]Q.Shan,J.Jia,and A.Agarwala,“High-quality motion deblurring from asingle image,”ACM Trans.Graph,vol.27(3),pp.73,2008.
[9]L.Xu,S.Zheng,and J.Jia,“Unnatural l0sparse representation fornatural image deblurring,”in CVPR,2013,pp.1107–1114.
发明内容
为了克服上述现有技术的不足,本发明提供一种基于图像中亮条纹信息的图像去模糊方法,利用运动模糊图像中存在的亮条纹,得到模糊核的形状信息,并结合自然图像和模糊核的其它先验项对图像复原进行约束,以得到准确的模糊核和高质量的复原图像。
本发明针对包含亮条纹的模糊图片提出了一种鲁棒的去模糊技术。该技术主要包括亮条纹图像块选取、模糊核估计和图像复原三部分。在亮条纹图像块选取方面,本发明提出了最优亮条纹选取方法,手动选取包含亮条纹的图像块;然后从最优亮条纹中经过骨化及形态学运算等过程提取出模糊核的形状信息,并与自然图像和模糊核的先验知识结合起来对清晰图像和模糊核进行约束,通过迭代计算估计出模糊核;最后采用一种可以处理饱和像素的非盲反卷积方法还原出最终的锐利图像。
本发明提供的技术方案是:
一种基于图像中亮条纹信息的图像去模糊方法,利用运动模糊图像中存在的亮条纹,得到模糊核的形状信息,通过结合图像和所述模糊核对图像复原进行约束,得到准确的模糊核和高质量的复原图像;包括如下步骤:
1)选取包含最优亮条纹的最优图像块;
2)针对包含最优亮条纹的最优图像块,提取得到模糊核形状信息;包括如下步骤:
21)设置一个亮度阈值;
22)将亮度小于所述亮度阈值的像素的亮度设为0,将最优亮条纹的中心点调节到最优图像块的中心位置;
23)将所有亮度小于及等于0的像素的亮度设为0,大于0像素的亮度设为1,将最优图像块转换成为一个二值图像;
24)将所述二值图像进行骨化操作(可使用MATLAB中的bwmorph函数实现此操作),得到单像素宽度的二值图,即拍摄设备的运动轨迹,也就是模糊核的形状;
为了对模糊核的形状进行约束,最后将单像素宽度的二值图进行膨胀操作(可使用MATLAB中的imdilate实现此操作),膨胀模型是半径为模糊核短边的1/5大小的圆盘模型,将得到的结果(单像素宽度的运动轨迹膨胀后的结果)用矩阵T表示。
3)模糊核估计:用步骤2)得到的模糊核形状信息与稀疏先验项结合对模糊核进行约束,通过迭代计算中间图和模糊核,得到最终的模糊核;包括如下步骤:
31)首先建立图像金字塔,输入图像为原始的模糊图像I;并将模糊核k初始化为一个5×5大小的矩阵,其为在骨化之后的矩阵下采样得到的;以上一层图像中得到的模糊核经上采样作为当前迭代过程的初始模糊核;
模糊核估计的模型为式3:
M=J-T (式3)
其中,о表示Hadamard乘积;γ,λ1和λ2是权重系数;J是全1矩阵;T是单像素宽度的运动轨迹膨胀后的结果;第一项是数值保真项,符合模糊图像退化模型;第二项对清晰图像的全局约束项,使得复原出来的清晰图像的梯度统计分布服从“重尾模型”,其中,0<α<1,本实施例中α=0.6;第三项利用掩膜M对模糊核的形状进行约束,使模糊核的形状尽量趋近于亮条纹的形状;第四项λ2||k||1是稀疏约束项;
32)通过求解最优化能量方程(式3),迭代计算L和k,估计出最终的模糊核。
可通过以下步骤求解最优化能量方程(式3):
321)在方程(式3)中,当k为已知时(将模糊核k初始化为一个5×5大小的矩阵),方程(式3)简化为:
322)然后将L作为已知量,计算k,
然而我们无法直接求解这个复杂方程。
323)因此,我们引入一个替代量w,替换(式5)中的Mоk,得到如下方程:
然后迭代求解k和w。
首先,将w作为已知量,求解k:
利用迭代加权最小二乘法(Iteratively reweighted least squares,IRLS)可以求解出k。然后,将k作为已知量,求解w:
得到w为:
本发明实施例中,设定迭代次数为20,经过20次迭代式5和式8,得到k;
324)然后多次迭代(本实施例中,迭代次数设为5次)计算式4和式5,求得最终的模糊核k。
4)非盲反卷积:通过非盲复原算法还原得到清晰复原图像,作为最终的去模糊图像。
本发明采用Cho等人在文献6(S.Cho,J.Wang,and S.Lee.“Handling outliers innon-blind image deconvolution,”In ICCV,2011)提出的非盲复原算法,还原清晰图像。所述非盲复原算法将饱和像素点和噪声视为奇异点,将奇异像素点和其它像素点分别进行处理,用期望最大化(Expectation-Maximization,EM)算法迭代地优化异常值(饱和像素)和复原图像,最终得到高质量的复原图像。
与现有技术相比,本发明的有益效果是:
本发明提供一种基于图像中亮条纹信息的图像去模糊方法,利用运动模糊图像中存在的亮条纹,得到模糊核的形状信息,并结合自然图像和模糊核的其它先验项对图像复原进行约束,以得到准确的模糊核和高质量的复原图像。本发明具有以下优点:
(一)本发明提出了最优亮条纹选取方法,手动选取包含最优亮条纹的图像块。
(二)本发明提出了一个模糊核形状提取方法,可以从包含最优亮条纹的图像块中提取到形状信息,然后用其与其它先验项对模糊核进行约束,估计出准确的模糊核。
(三)本发明建立了一个实际拍摄的包含亮条纹的模糊图像测试集,用于对去模糊算法进行测试。针对该模糊图像测试集,采用本发明提供的基于图像中亮条纹信息的图像去模糊方法,能够得到准确的模糊核和高质量的复原图像,在图像处理领域应用价值高。
附图说明
图1是本发明提供的针对存在亮条纹的图像的图像去模糊方法的流程框图。
图2是本发明实施例中对模糊核形状信息进行提取过程中的截图;
其中,(a)为模糊图像,(b)为选取出的包含亮条纹的图像块,(c)为骨化之后的结果,(d)为膨胀之后的结果,(e)为估计出的模糊核。
图3是本发明实施例中对低光照图像亮条纹形状提取的截图;
其中,图像中间矩形框中为选取出的最优亮条纹图像块,左上角矩形框中为最优亮条纹图像块的放大图像,右上角矩形框中为提取出的亮条纹形状图。
图4是本发明实施例中对正常光照亮条纹形状进行提取过程中的截图;
其中,左上角矩形框中为选取出的亮条纹图像块,右上角矩形框中为提取出的亮条纹形状图。
图5是本发明实施例中采用的人工模糊图像测试数据集的部分图片。
图6是本发明实施例中分别采用现有方法和本发明提供方法得到的模糊核估计和复原结果,对比了模糊核估计的准确性;
其中,(a)为模糊图像;(b)(c)(d)的左上角是各算法估计出的模糊核;图(b)为Zhang等人采用方法(文献[7])得到的模糊核估计和复原结果;图(c)为Hu等人采用方法[4]得到的模糊核估计和复原结果;图(d)为本发明提供方法得到的模糊核估计和复原结果。
图7是本发明实施例中分别采用现有方法和本发明提供方法得到的模糊核估计和复原结果,表示了模糊核形状约束项对模糊核估计的影响;
图中(b)(c)的左上角为估计出的模糊核;图(a)为模糊图像,图(b)为Zhang等人[7]的模糊核估计和复原结果,图(c)为本发明的模糊核估计和复原结果。
图8是本发明实施例中分别采用现有方法和本发明提供方法得到的对实际图像进行去模糊得到的效果对比图;
其中,(a)为待处理的模糊图像;(b)为Hu等人采用方法[4]得到的去模糊结果;(c)为Xu等人采用方法(文献[8])得到的去模糊结果;(d)为本发明提供方法得到的去模糊结果;(b)、(c)、(d)中图片的左上角矩形框内是各方法估计出的模糊核。
图9是本发明实施例对实际图像去模糊效果对比图;
其中,(a)为模糊图像;(b)为Hu等人[4]的去模糊结果;(c)为Xu等人[8]的去模糊结果;(d)为本发明提供方法得到的结果.,图片左上角矩形框内是各算法估计出的模糊核。
图10是本发明实施例对本发明建立的实际图像数据集进行去模糊处理的效果对比图;
其中,(a1)~(c1)是模糊图像,(a2)~(c2)是采用文献[3]方法的去模糊结果;(a3)~(c3)是采用文献[4]方法的去模糊结果,(a4)~(c4)是采用文献[7]方法的去模糊结果;(a5)~(c5)是本发明提供方法的去模糊结果。
图11本发明实施例对本发明建立的实际图像数据集进行去模糊处理的效果对比图;
其中,(a1)~(a4)为模糊图像;(b1)~(b4)为Hua等[3]方法的结果;(c1)~(c4)为Hu等人[4]采用方法的结果;(d1)~(d4)为本发明提供方法的去模糊结果。
具体实施方式
下面结合附图,通过实施例进一步描述本发明,但不以任何方式限制本发明的范围。
本发明提供一种基于图像中亮条纹信息的图像去模糊方法,该方法利用运动模糊图像中存在的亮条纹,得到模糊核的形状信息,并结合自然图像和模糊核的其它先验项对图像复原进行约束,以得到准确的模糊核和高质量的复原图像。
本发明实施例针对待处理的模糊图像,通过执行以下步骤进行图像的去运动模糊,得到最终的去模糊图像;操作过程如图1所示,包括如下步骤:
第一步:手动选取包含最优亮条纹的图像块;
本发明实施例通过手动选取得到满足如下条件的包含最优亮条纹的最优图像块:
(一)亮条纹的亮度要远大于其邻近区域的亮度;
邻近区域即指周围像素点。本发明具体实施中,选取的图像块中亮条纹由亮度为亮度大于此图像块亮度最大值的70%的像素点组成;例如,图3中的矩形框内就是选取出的最优亮条纹图像块。
(二)亮条纹在图像块中是稀疏分布,即亮条纹宽度比较小;
宽度比较小是相对于图像中其他高亮度条纹而言的,在本发明实验中,对于800×600大小的图片,亮条纹设定为5个像素宽度。
(三)每个图像块(image patch)中有且只有一条亮条纹;
图像块是图像中的一个矩形区域,其中包含了整条亮条纹;例如图3矩形框内就是选取出的最优亮条纹图像块;
根据以上这三个特性,我们可以找到多个包含亮条纹的图像块,然后从中选取最优图像块。最优的亮条纹还需符合以下几个条件:
(四)亮条纹的形状要与图像中其他多数亮条纹的形状相似,这是为了避免将亮条纹和条形的发光体区(光源或者反光体)混淆,避免将发光体误认为亮条纹;
(五)图像块背景部分的亮度相对较低;即在符合前4个条件的所有图像块中选择背景亮度最低的一个或者几个图像块;
(六)图像块中除了亮条纹没有其他与亮条纹亮度相近的结构信息。
其他亮度较高的结构包括:高亮度的发光体、一个图像块包含的多条亮条纹、显著的图像边缘等结构。
通过以上这些条件,可手动选取得到最优亮条纹图像块。
第二步:模糊核形状信息提取。模糊核可以分为形状和亮度。根据第一步提到的最优亮条纹选出包含亮条纹的图像块,如图2(b)所示;然后设置一个阈值,将亮度小于这个阈值的像素的像素值设为0,并将亮条纹的中心点调节到图像块的中心位置;接下来把所有小于0的像素值设为0,大于0像素值设为1,此时这个图像块成为了一个二值图像;将此二值图进行骨化操作(可使用MATLAB中的bwmorph函数实现此操作),得到图2(c)所示的单像素宽度的二值图,这就是我们要得到的拍摄设备运动轨迹,也就是模糊核的形状;为了对模糊核的形状进行约束,最后将图2(c)进行膨胀操作(可使用MATLAB中的imdilate实现此操作),膨胀模型为半径模糊核短边的1/5大小的圆盘模型,得到的结果如图2(d)所示,此矩阵用T表示。
图3是从输入的模糊图像中选取亮条纹图像块以及从亮条纹中提取的模糊核形状结果图,可以看出右上角的模糊核形状和亮条纹的形状是一致的。与Hu等人采用方法不同的是,对于图4所示的模糊图像,其中并不存在饱和的亮条纹,但是仍然存在矩形框中的亮度高于背景区域的条纹,记录了拍摄设备的运动轨迹。用本发明提出的模糊核形状提取方法也可以得到模糊核的形状信息,如图4右上角所示。
第三步:模糊核估计。用第二步得到的形状信息与稀疏先验项结合对模糊核进行约束,通过迭代计算中间图和模糊核得到最终的模糊核。
首先建立图像金字塔,输入图像为原始的模糊图像I;并初始化模糊核k,将模糊核k初始化为一个5×5大小的矩阵,其为骨化之后的矩阵(图2(c)所示)下采样得到的。。图像金字塔中,每一层计算出的模糊核和中间图都经过上采样作为下一个精细层的模糊核和中间图的初始值。
模糊核估计的模型为:
M=J-T (式3)
其中,о表示Hadamard乘积,γ,λ1和λ2是权重系数,J是全1矩阵,T是单像素宽度的运动轨迹膨胀后的结果;第一项是数值保真项,符合模糊图像退化模型;第二项对清晰图像的全局约束项,使得复原出来的清晰图像的梯度统计分布服从“重尾模型”,其中,0<α<1,本实施例中α=0.6;第三项利用掩膜M对模糊核的形状进行约束,使模糊核的形状尽量趋近于亮条纹的形状;第四项λ2||k||1是稀疏约束项。
通过求解最优化能量方程(4.1),迭代计算L和k,估计出最终的模糊核。
在方程(3)中,若k已知(将模糊核k初始化为一个5×5大小的矩阵,其为骨化之后的矩阵(图2(c)所示)下采样得到的),则方程(3)简化为:
然后将L作为已知量,计算k,
然而我们无法直接求解这个复杂方程。因此,我们引入一个替代量w,替换(5)中的Mоk,得到如下方程:
然后迭代求解k和w。
首先,将w作为已知量,求解k,
利用迭代加权最小二乘法(Iteratively reweighted least squares,IRLS)可以求解出k。然后,将k作为已知量,求解w,
得到w为:
设定迭代次数为20,经过20次迭代式(5)和式(8),得到k,然后迭代5次计算式(4)和式(5)求得最终的模糊核k。
第四步:非盲反卷积。本发明采用Cho等人在文献6(S.Cho,J.Wang,and S.Lee.“Handling outliers in non-blind image deconvolution,”In ICCV,2011)提出的非盲复原算法,还原清晰图像。Cho等人将饱和像素点和噪声视为奇异点,将奇异像素点和其它像素点分别进行处理。用期望最大化(Expectation-Maximization,EM)算法迭代地优化异常值(饱和像素)和复原图像。最终得到高质量的复原图像。
经过以上四个步骤后,就得到了最终的去模糊图像。
为了检验本发明的有效性,本发明建立了包含亮条纹的实际拍摄的模糊图像测试集,然后在此数据集上对本发明提出的去模糊算法进行测试,同时与目前常用的去模糊算法进行了对比实验。
用于进行主观测试的数据集一共包含25张不同场景下由数码相机或者手机拍摄的模糊程度不同的图片。每张图像中都包含一条或多条高亮度的亮条纹。此测试集中的部分图片如图5所示。
在本发明建立的实际拍摄的模糊图像集上进行实验,直观地与其他算法的复原图像的模糊程度、噪声、振铃等进行比较。在与其他算法对比时,我们将其他算法中的可调参数调到最优。
图6比较了Hu等人[4]和Zhang等人[7]与本文的模糊核估计结果,如图片左上角所示。本发明技术与Zhang等人[7]模糊核估计算法最大的区别就是利用亮条纹对模糊核进行形状约束,比较图6(b)和(d)可以看出,本章算法的模糊核形状与图中亮条纹形状更相近,还原出的图像更锐利,且包含更少的振铃。与6(c)相比,虽然图(c)的模糊核形状更接近圣诞树上的亮条纹,但是与本章的复原结果相比却明显的振铃,这是由于本发明结合亮条纹信息和其他先验知识在模糊核估计过程中进行迭代计算,在每次迭代过程中都对模糊核进行修正,以达到最优估计结果。图7中,将Zhang等人[7]算法与本发明技术比较。本发明与Zhang等人[7]在模糊核估计方法的区别主要是本算法用亮条纹提取出的形状信息在模糊核估计过程中对模糊核进行形状约束,即利用了约束项可以看到,Zhang等人[7]估计出的模糊核和实际模糊核差距较大,还原出的图像仍然是非常模糊的,而本发明算法估计的模糊核形状准确,复原图像质量明显提高。
图8和图9是本章算法与目前流行的几种算法对实际拍摄的包含亮条纹的模糊图片的去模糊效果的对比图,其中(a)为模糊图像,(b)为Hu等人[4]的去模糊结果,(c)是Xu等人[9]的去模糊结果,(d)是本章算法的结果,图片左上角矩形框内是各算法估计出来的模糊核。图8中的矩形框内是手动选取出来的最优亮条纹图像块,Hu等人[4]和Xu等人[9]估计出的模糊核和实际模糊核的形状相差很大,几乎没有去模糊效果,而本发明估计的模糊核形状与亮条纹形状一致,从最终的复原图像中可以清晰识别出人的面孔。
图10中的图像是针对包含亮条纹图像去模糊的工作中常用的进行主观测试的图片。其中,第一排是模糊图像,第二排是Hua和Low的去模糊结果,第三排是Hu等人的去模糊结果,第四排是Zhang等人的去模糊结果,最后一排是本章算法的结果。可以看到,Zhang等人的算法对这三张存在亮条纹的图像几乎没有去模糊效果,Hua和Low以及Hu等人虽然使模糊图片变得锐利,但是存在严重的振铃效应,而本章算法得到的锐利图像清晰且相比之下振铃较少,并且可以将亮条纹还原出点光源原本的形状。
此外,我们在自己建立的实际模糊数据集上对本章算法以及Hua和Low和Hu等人进行测试,如图11所示。总体看来,Hua和Low复原的图像振铃和噪声比较严重,Hu等人的振铃较严重,对有些图像会产生过增强的效果,而本发明噪声和振铃较少,复原图像相对清晰。
需要注意的是,公布实施例的目的在于帮助进一步理解本发明,但是本领域的技术人员可以理解:在不脱离本发明及所附权利要求的精神和范围内,各种替换和修改都是可能的。因此,本发明不应局限于实施例所公开的内容,本发明要求保护的范围以权利要求书界定的范围为准。

Claims (6)

1.一种基于图像中亮条纹信息的图像去模糊方法,利用运动模糊图像中存在的亮条纹,得到模糊核的形状信息,通过结合图像和所述模糊核对图像复原进行约束,得到准确的模糊核和高质量的复原图像;包括如下步骤:
1)选取包含最优亮条纹的最优图像块;具体采用手动选取方法,所述包含最优亮条纹的最优图像块具有如下特征:
(一)所述最优亮条纹由亮度为所述最优图像块中亮度大于像素亮度最大值的70%的像素点组成;
(二)所述最优亮条纹在图像块中稀疏分布;
(三)每个最优图像块中有且只有一条最优亮条纹;
(四)所述最优亮条纹的形状要与图像中其他多数亮条纹的形状相似,避免所述最优亮条纹和条形发光体区混淆;
(五)所述最优图像块是满足上述特征(一)~(四)的所有图像块中背景亮度最低的一个或多个图像块;
(六)所述最优图像块中除了亮条纹没有其他与亮条纹亮度相近的结构,所述其他结构包括:高亮度的发光体、一个图像块包含的多条亮条纹和显著的图像边缘结构中的一种或多种;
2)针对包含最优亮条纹的最优图像块,提取得到模糊核形状信息;
3)进行模糊核估计:用步骤2)得到的模糊核形状信息与稀疏先验项结合对模糊核进行约束,通过迭代计算中间图和模糊核,得到最终的模糊核;包括如下步骤:
31)建立图像金字塔,输入图像为原始的模糊图像,记为I;模糊核记为k,将模糊核k初始化为一个5×5大小的矩阵;以上一层图像中得到的模糊核经上采样作为当前迭代过程的初始模糊核;将最优化能量方程式3作为模糊核估计的模型,通过所述模糊核估计的模型进行模糊核估计:
M=J-T (式3)
其中,表示Hadamard乘积;γ,λ1和λ2是权重系数;J是全1矩阵;T是单像素宽度的运动轨迹膨胀后的结果;第一项是数值保真项,符合模糊图像退化模型;第二项对清晰图像的全局约束项,使得复原出来的清晰图像的梯度统计分布服从“重尾模型”,其中,0<α<1;第三项利用掩膜M对模糊核的形状进行约束,使模糊核的形状尽量趋近于亮条纹的形状;第四项λ2‖k‖1是稀疏约束项;
32)通过求解最优化能量方程式3,迭代计算L和k,估计出最终的模糊核;
具体通过以下步骤求解式3:
321)在式3中,当k为已知时,将模糊核k初始化为一个5×5大小的矩阵,式3简化为式4:
322)然后将L作为已知量,通过式5计算k:
323)为求解式5,引入一个替代量w,替换式5中的得到方程式6:
迭代求解方程式6,得到k和w;
324)设定迭代次数,经过多次迭代计算式4和式5,求得最终的模糊核k;
4)进行非盲反卷积:通过非盲复原算法还原得到清晰复原图像,作为最终的去模糊图像。
2.如权利要求1所述基于图像中亮条纹信息的图像去模糊方法,其特征是,步骤2)所述提取得到模糊核形状信息,具体包括如下步骤:
21)设置一个亮度阈值;
22)将亮度小于所述设置的亮度阈值的像素的值设为0,将所述最优亮条纹的中心点调节到所述最优图像块的中心位置;
23)将所有亮度小于等于0的像素的值均设为0,亮度大于0的像素的值均设为1,将最优图像块转换成为一个单像素宽度的二值图像;
24)将所述二值图像进行骨化操作,得到单像素宽度的二值图,表示拍摄设备的运动轨迹,作为模糊核的形状。
3.如权利要求2所述基于图像中亮条纹信息的图像去模糊方法,其特征是,步骤24)所述骨化操作使用MATLAB中的bwmorph函数实现。
4.如权利要求1所述基于图像中亮条纹信息的图像去模糊方法,其特征是,在步骤3)之前对模糊核的形状进行约束,具体将所述单像素宽度的二值图进行膨胀操作,膨胀模型是半径为模糊核短边的1/5大小的圆盘模型,得到单像素宽度的运动轨迹膨胀后的结果,表示为矩阵T。
5.如权利要求4所述基于图像中亮条纹信息的图像去模糊方法,其特征是,所述膨胀操作使用MATLAB中的imdilate实现。
6.如权利要求1所述基于图像中亮条纹信息的图像去模糊方法,其特征是,所述迭代求解方程式6,得到k和w;具体包括如下步骤:
首先,将w作为已知量,通过式7利用迭代加权最小二乘法求解出k:
然后,将k作为已知量,通过式8求解w:
得到w为式9:
所述迭代的次数设为20。
CN201610284962.3A 2016-05-03 2016-05-03 基于图像中亮条纹信息的图像去模糊方法 Active CN105976332B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610284962.3A CN105976332B (zh) 2016-05-03 2016-05-03 基于图像中亮条纹信息的图像去模糊方法
PCT/CN2016/090091 WO2017190432A1 (zh) 2016-05-03 2016-07-15 基于图像中亮条纹信息的图像去模糊方法
US16/098,732 US10755390B2 (en) 2016-05-03 2016-07-15 Image deblurring method based on light streak information in an image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610284962.3A CN105976332B (zh) 2016-05-03 2016-05-03 基于图像中亮条纹信息的图像去模糊方法

Publications (2)

Publication Number Publication Date
CN105976332A CN105976332A (zh) 2016-09-28
CN105976332B true CN105976332B (zh) 2019-03-01

Family

ID=56994086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610284962.3A Active CN105976332B (zh) 2016-05-03 2016-05-03 基于图像中亮条纹信息的图像去模糊方法

Country Status (3)

Country Link
US (1) US10755390B2 (zh)
CN (1) CN105976332B (zh)
WO (1) WO2017190432A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292842B (zh) * 2017-06-15 2020-08-07 北京大学深圳研究生院 基于先验约束和离群值抑制的图像去模糊方法
CN107274370A (zh) * 2017-06-19 2017-10-20 南京末梢信息技术有限公司 一种基于交替求极值算法的快速图像去模糊方法
CN107798662B (zh) * 2017-10-18 2020-04-07 维沃移动通信有限公司 一种图像处理方法及移动终端
CN108154487B (zh) * 2017-12-25 2021-02-09 天津大学 基于多通道分解的屏摄图像摩尔纹消除方法
CN108335268B (zh) * 2018-01-05 2021-09-07 广西师范大学 一种基于盲解卷积的彩色图像去模糊的方法
DE102018103262B4 (de) * 2018-02-14 2024-05-29 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zum Betreiben einer Beleuchtungsvorrichtung eines Kraftfahrzeugs
JP7106307B2 (ja) * 2018-03-14 2022-07-26 キヤノンメディカルシステムズ株式会社 医用画像診断装置、医用信号復元方法、医用信号復元プログラム、モデル学習方法、モデル学習プログラム、および磁気共鳴イメージング装置
CN108681995A (zh) * 2018-05-20 2018-10-19 北京联合大学 一种基于变分贝叶斯估计的去运动模糊的方法
CN110166684B (zh) * 2018-06-29 2021-09-17 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN109272456A (zh) * 2018-07-25 2019-01-25 大连理工大学 基于视觉先验信息的模糊图像高精度还原方法
CN109064474B (zh) * 2018-07-30 2022-01-04 安徽慧视金瞳科技有限公司 一种交互式课堂教学系统自动获取掩膜图方法
CN110349100B (zh) * 2019-06-26 2022-08-12 南京理工大学 一种沿模糊路径的比例式像素提取方法
CN110852973B (zh) * 2019-11-12 2022-09-23 华中科技大学 一种脉冲噪声模糊图像非线性复原方法及系统
WO2021118270A1 (en) 2019-12-11 2021-06-17 Samsung Electronics Co., Ltd. Method and electronic device for deblurring blurred image
CN111192222B (zh) * 2020-01-07 2023-05-23 大连海事大学 一种基于变分框架的水下图像颜色校正方法及系统
CN111047544B (zh) * 2020-01-08 2022-09-23 华中科技大学 一种基于非线性退化模型的饱和图像去模糊方法
CN111899201B (zh) * 2020-08-17 2022-06-07 哈尔滨工业大学 一种基于条件重增强网络的低照度图像增强方法
US11615510B2 (en) 2020-10-21 2023-03-28 Samsung Electronics Co., Ltd. Kernel-aware super resolution
CN115334228B (zh) * 2021-04-26 2024-08-20 华为技术有限公司 一种视频处理方法及相关装置
CN113177889B (zh) * 2021-04-27 2022-03-01 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN113177890B (zh) * 2021-04-27 2023-04-18 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN113256565A (zh) * 2021-04-29 2021-08-13 中冶华天工程技术有限公司 运动模糊图像智能复原方法
CN113610725A (zh) * 2021-08-05 2021-11-05 深圳市慧鲤科技有限公司 图片处理方法、装置、电子设备及存储介质
US11704777B2 (en) 2021-08-27 2023-07-18 Raytheon Company Arbitrary motion smear modeling and removal
CN114897734B (zh) * 2022-05-18 2024-05-28 北京化工大学 一种基于梯度方向先验的被测目标图像复原方法
CN116095291B (zh) * 2023-03-07 2023-06-16 山东爱特云翔计算机有限公司 一种用于媒体流图像传输的图像预处理方法
CN116167948B (zh) * 2023-04-21 2023-07-18 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种基于空变点扩散函数的光声图像复原方法及系统
DE102023114884A1 (de) 2023-06-06 2024-12-12 Ifm Electronic Gmbh Verfahren zur Reduzierung von Artefakten in 3D-Bilddaten
CN117173058B (zh) * 2023-11-03 2024-02-02 武汉工程大学 空变模糊图像统一复原方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105139348A (zh) * 2015-07-27 2015-12-09 中国科学院光电技术研究所 一种运动模糊图像的双迭代混合盲复原方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI405147B (zh) * 2010-03-16 2013-08-11 Novatek Microelectronics Corp 單張影像的階層式去動態模糊方法
CN102509281A (zh) 2011-11-24 2012-06-20 浙江大学 基于透明度的双图像去平面运动模糊方法
CN103337057B (zh) 2013-07-05 2015-12-02 西北工业大学 基于多尺度自相似的运动模糊图像盲复原方法
US9392173B2 (en) * 2013-12-13 2016-07-12 Adobe Systems Incorporated Image deblurring based on light streaks
US9723204B2 (en) * 2014-08-27 2017-08-01 Adobe Systems Incorporated Dynamic motion path blur kernel

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105139348A (zh) * 2015-07-27 2015-12-09 中国科学院光电技术研究所 一种运动模糊图像的双迭代混合盲复原方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Deblurring Low-light Images with Light Streaks;Zhe Hu 等;《2014 IEEE Conference on Computer Vision and Pattern Recognition》;20140628;第3382-3386页
Image deblurring based on light streak shape;Xiuping Liu等;《Journal of Electronic Imaging》;20160405;第25卷(第2期);第1-10页
Interactive motion deblurring using light streaks;Binh-Son Hua等;《2011 IEEE International Conference on Image Processing》;20110914;第1553-1556页

Also Published As

Publication number Publication date
US20190139199A1 (en) 2019-05-09
US10755390B2 (en) 2020-08-25
WO2017190432A1 (zh) 2017-11-09
CN105976332A (zh) 2016-09-28

Similar Documents

Publication Publication Date Title
CN105976332B (zh) 基于图像中亮条纹信息的图像去模糊方法
Wang et al. Progressive retinex: Mutually reinforced illumination-noise perception network for low-light image enhancement
Yang et al. Fast single image reflection suppression via convex optimization
Hu et al. Deblurring low-light images with light streaks
Vanmali et al. Visible and NIR image fusion using weight-map-guided Laplacian–Gaussian pyramid for improving scene visibility
Chen et al. Blind deblurring for saturated images
Fang et al. Single image dehazing and denoising: a fast variational approach
CN102326379A (zh) 从图像中去除模糊的方法以及在其上记录该方法的记录介质
CN109658447B (zh) 基于边缘细节保持的夜间图像去雾方法
TW201830330A (zh) 一種圖像處理方法及圖像處理系統
Liu et al. Kinect depth restoration via energy minimization with tv 21 regularization
Zhang et al. Self-supervised image restoration with blurry and noisy pairs
Zhao et al. Restoration of motion blurred images based on rich edge region extraction using a gray-level co-occurrence matrix
Lee et al. Motion deblurring using edge map with blurred/noisy image pairs
CN111640077A (zh) 一种简单高效的模糊文本图片清晰化处理方法
Tallon et al. Space-variant blur deconvolution and denoising in the dual exposure problem
CN108154488B (zh) 一种基于显著图像块分析的图像运动模糊去除方法
Wang et al. An exposure fusion approach without ghost for dynamic scenes
Cui et al. A modified Richardson–Lucy algorithm for single image with adaptive reference maps
Hua et al. Interactive motion deblurring using light streaks
Wang et al. Rapid nighttime haze removal with color-gray layer decomposition
Moon et al. A simple ghost-free exposure fusion for embedded HDR imaging
Yang et al. Low light image denoising based on poisson noise model and weighted tv regularization
Li et al. Joint motion deblurring with blurred/noisy image pair
Sarbas et al. Deblurring of low light images using light-streak and dark channel

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant