[go: up one dir, main page]

CN115147311B - 基于HSV与AM-RetinexNet图像增强方法 - Google Patents

基于HSV与AM-RetinexNet图像增强方法 Download PDF

Info

Publication number
CN115147311B
CN115147311B CN202210917717.7A CN202210917717A CN115147311B CN 115147311 B CN115147311 B CN 115147311B CN 202210917717 A CN202210917717 A CN 202210917717A CN 115147311 B CN115147311 B CN 115147311B
Authority
CN
China
Prior art keywords
image
component
low
processed
enhancement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210917717.7A
Other languages
English (en)
Other versions
CN115147311A (zh
Inventor
王小芳
徐何方圆
刘嘉琳
郭松铭
邹倩颖
廖员
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Geely University
Original Assignee
Beijing Geely University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Geely University filed Critical Beijing Geely University
Priority to CN202210917717.7A priority Critical patent/CN115147311B/zh
Publication of CN115147311A publication Critical patent/CN115147311A/zh
Application granted granted Critical
Publication of CN115147311B publication Critical patent/CN115147311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于HSV与AM‑RetinexNet图像增强方法,包括以下步骤:S1:获取待处理图像的RGB分量,将RGB分量转换为HSV分量;S2:对HSV分量中的饱和度分量进行自适应调整;S3:对HSV分量中的亮度分量进行增强处理;S4:将色调分量、进行自适应调整后的饱和度分量以及进行增强处理后的亮度分量转换为最新的RGB分量;S5:对增强RGB分量进行自适应色彩恢复,完成图像增强。本发明利用AM‑RetinexNet网络能有效对地下空间非均匀亮度低照度图像增强处理,一定程度上解决现有图像因照度分布不均引起的图像增强整体效果较差缺陷。

Description

基于HSV与AM-RetinexNet图像增强方法
技术领域
本发明属于图像处理技术领域,具体涉及一种基于HSV与AM-RetinexNet图像增强方法。
背景技术
随着数字经济时代发展,新基建成为数字经济时代发展的重点。而地下空间作为新基建的一种主要环境,其安全性直接影响基本民生。如何实现智能化地下空间探测成为改造与监控的核心,但地下空间图像往往在图像采集时,出现图像照度低、亮度不均匀、噪声多、细节丢失严重等问题,如何进行地下空间图像增强处理以解决地下空间探测成为智能探测研究热点。
发明内容
本发明为了解决上述问题,提出了一种基于HSV与AM-RetinexNet图像增强方法。
本发明的技术方案是:一种基于HSV与AM-RetinexNet图像增强方法包括以下步骤:
S1:获取待处理图像的RGB分量,并将RGB分量转换为HSV分量,其中,HSV分量包括色调分量、饱和度分量和亮度分量;
S2:对待处理图像HSV分量中的饱和度分量进行自适应调整;
S3:对待处理图像HSV分量中的亮度分量进行增强处理;
S4:将待处理图像的色调分量、进行自适应调整后的饱和度分量以及进行增强处理后的亮度分量转换为增强RGB分量;
S5:对待处理图像的增强RGB分量进行自适应色彩恢复,完成图像增强。
进一步地,步骤S1中,将待处理图像的红色分量R、绿色分量G和蓝色分量B转换为待处理图像的色调分量H、饱和度分量S和亮度分量V,其计算公式分别为:
V=Mmax
其中,H′表示待处理图像增强后的色调分量,Mmax表示待处理图像的红色分量R、绿色分量G和蓝色分量B中的最大值,Nmin表示待处理图像的红色分量R、绿色分量G、蓝色分量B中的最小值。
进一步地,步骤S2中,对待处理图像的饱和度分量S进行自适应调整,得到拉伸后的图像饱和度分量S1,其计算公式为:
其中,S表示待处理图像的饱和度分量,α表示饱和度调节系数,β表示亮度分量处理计算所得的权重值,log(·)表示对数函数。
进一步地,步骤S3包括以下子步骤:
S31:利用直方均衡化方法对待处理图像的亮度分量进行均衡化预处理,得到待处理图像的均匀黑亮度分量V1low;
S32:将待处理图像的均匀黑亮度分量V1low和正常图像的亮度分量Vnormal输入至AM-RetinexNet网络的分解网络中,对AM-RetinexNet网络进行训练,得到待处理图像的光照分量V1Ilow和反射分量V1Rlow
S33:将待处理图像的光照分量V1Ilow输入到训练后AM-RetinexNet网络的增强网络中,得到增强分量V2Ilow
S34:利用非局部均值滤波算法对反射分量V1Rlow进行降噪,得到降噪分量V2Rlow
S35:根据增强分量V2Ilow和降噪分量V2Rlow,计算增强亮度分量V2
S36:对增强亮度分量V2进行平滑处理,得到平滑处理后的增强亮度分量V3,实现对亮度分量的增强处理。
进一步地,步骤S31中,进行均衡化预处理的具体方法为:通过像素级动态范围调整方法得到均匀黑亮度分量V1low,其计算公式为:
其中,Pr(r)表示待处理图像灰度级为r的概率密度;T(r)表示单值单调增加函数;
均匀化后的亮度分量V1low满足像素级动态范围的表达式为:
其中,P(V1low)表示均匀化后的亮度分量的概率估计值;
所述步骤S35中,增强亮度分量V2的计算公式为:
V2=V2Rlow*V2Ilow
其中,V2Ilow表示增强分量,V2Rlow表示降噪分量;
所述步骤S36中,平滑处理后的增强亮度分量V3的计算公式为:
其中,V2表示增强亮度分量,Z表示卷积滤波器的卷积核,表示卷积操作。
进一步地,步骤S32中,分解网络的损失函数Li的表达式为:
Li=||V1Rlow-VRnormal||1
其中,V1Rlow表示待处理图像的反射分量,VRnormal表示正常图像的反射分量,||·||1表示1-范数;
所述步骤S33中,增强网络的损失函数Lj的表达式为:
Lj=||VSnormal-V1Ilow×V1Rlow||1,s.t(VSnormal)i≤1,(V1Ilow×V1Rlow)i≤1
其中,VSnormal表示图像归一化处理结果,V1Ilow表示待处理图像的均匀黑亮度分量;
所述AM-RetinexNet网络的损失函数L的表达式为:
L=ωiLijLj
其中,ωi表示分解网络的损失函数权重值,ωj表示增强网络的损失函数权重值。
进一步地,步骤S5包括以下子步骤:
S51:根据增强RGB分量,确定颜色恢复因子Cδ(i,j);
S52:利用颜色恢复因子Cδ(i,j)进行自适应颜色恢复,完成图像增强。
进一步地,颜色恢复因子Cδ(i,j)的计算公式为:
其中,G表示增益参数,c表示最新红色分量、绿色分量和蓝色分量的调节比重值,λ表示调节图像亮度,δ表示分量参数,i表示待处理图像特征像素的横坐标,j表示待处理图像特征像素的纵坐标,Sδ(·)表示待处理图像的红色分量、绿色分量和蓝色分量。δ为分量参数选取,值为(1,2,3)代表R、G、B分量。
进一步地,步骤S52中,进行自适应颜色恢复的计算公式为:
Fδ(i,j)=Cδ(i,j)Rδ(i,j)
其中,Fδ(·)表示自适应颜色恢复后的颜色分量,Cδ(i,j)表示颜色恢复因子,Rδ(·)表示最新红色分量、绿色分量和蓝色分量,i表示待处理图像特征像素的横坐标,j表示待处理图像特征像素的纵坐标。
本发明的有益效果是:本发明利用AM-RetinexNet网络能有效对地下空间非均匀亮度低照度图像增强处理,一定程度上解决现有图像因照度分布不均引起的图像增强整体效果较差缺陷。
附图说明
图1为图像增强方法的流程图;
图2为部分图片不同算法不同数据集的全局增强处理图;
图3为另一部分不同算法不同数据集的全局增强处理图;
图4为消融实验全局图像增强效果对比图;
图5为消融实验局部放大增强效果对比图。
具体实施方式
下面结合附图对本发明的实施例作进一步的说明。
在描述本发明的具体实施例之前,为使本发明的方案更加清楚完整,首先对本发明中出现的缩略语和关键术语定义进行说明:
非局部均值滤波算法(NL-Means):基本原理与均值滤波类似,都是要取平均值,但是非局部均值滤波在计算中加入了每一个点的权重值,所以能够保证在相邻且相差很大的点在方框中求平均值时相互之间的影响减小,也就对图像边缘细节部分保留很多,这样图像看起来会更清晰。
如图1所示,本发明提供了一种基于HSV与AM-RetinexNet图像增强方法,包括以下步骤:
S1:获取待处理图像的RGB分量,并将RGB分量转换为HSV分量,其中,HSV分量包括色调分量、饱和度分量和亮度分量;
S2:对待处理图像HSV分量中的饱和度分量进行自适应调整;
S3:对待处理图像HSV分量中的亮度分量进行增强处理;
S4:将待处理图像的色调分量、进行自适应调整后的饱和度分量以及进行增强处理后的亮度分量转换为增强RGB分量;
S5:对待处理图像的增强RGB分量进行自适应色彩恢复,完成图像增强。
在本发明实施例中,待处理图像即为低照度图像,使用HSV模型将图像分解为H通道、S通道和V通道变量,利用三通道间相对独立关系,改善增强后图像的颜色失真、处理效果差问题。处理过程中,将提取V分量相关信息传递给S分量,自适应调整色彩饱和度,以避免图像色感变化;利用直方图均衡化处理V分量得到亮度均匀黑结果,并利用AM-RetinexNet网络对其进行训练模型,解决边缘模糊和亮度效果不佳问题,处理后再使用平滑卷积进行锐化处理,以进一步抑制噪声干扰;最后,将HSV分量融合并转换到RGB空间,引入颜色恢复因子对RGB图像进行自适应色彩恢复,得到增强结果。
在本发明实施例中,步骤S1中,为保留图像低照度增强处理过程中细节信息和图像色彩视觉效果,采用面向视觉感知的HSV模型,将待处理图像的红色分量R、绿色分量G和蓝色分量B转换为待处理图像的色调分量H、饱和度分量S和亮度分量V,其计算公式分别为:
V=Mmax
其中,H′表示待处理图像增强后的色调分量,Mmax表示待处理图像的红色分量R、绿色分量G和蓝色分量B中的最大值,Nmin表示待处理图像的红色分量R、绿色分量G、蓝色分量B中的最小值。
在本发明实施例中,步骤S2中,为解决色彩饱和度引起的图像逼真度差、色彩暗淡、主观视觉感受差等问题,使用自适应色彩饱和度拉伸函数调整低照度图像的饱和度,对待处理图像的饱和度分量S进行自适应调整,得到拉伸后的图像饱和度分量S1,其计算公式为:
其中,S表示待处理图像的饱和度分量,α表示饱和度调节系数,该系数值为2.73,β表示亮度分量处理计算所得的权重值,log(·)表示对数函数。
β由图像V分量、梯度的最值和均值计算进行自适应,其计算公式为:
其中,b表示自适应权重值微调因子,可取b=0.085,Vmax表示低照度图像V分量中的最大灰度,Vmean表示图像V分量的平均值,VGmax和VGmin分别表示低照度图像V分量的梯度最大值和最小值,VGmean表示低照度空间图像V分量的总梯度平均值。VG则为低照度图像V分量的梯度值,其结果由梯度计算公式计算所得,具体为:
其中,VG为低照度空间图像V分量的梯度结果值,表示为低照度空间图像V分量的偏导数。(m,n)表示低照度空间图像中位置为(i,j)像素点的灰度等级大小。(i,j)表示对应的图像特征像素坐标。
在本发明实施例中,步骤S3包括以下子步骤:
S31:利用直方均衡化方法对待处理图像的亮度分量进行均衡化预处理,得到待处理图像的均匀黑亮度分量V1low;
S32:将待处理图像的均匀黑亮度分量V1low和正常图像的亮度分量Vnormal输入至AM-RetinexNet网络的分解网络中,对AM-RetinexNet网络进行训练,得到待处理图像的光照分量V1Ilow和反射分量V1Rlow;正常图像的光照分量和反射分量用于辅助模型训练
S33:将待处理图像的光照分量V1Ilow输入到训练后AM-RetinexNet网络的增强网络中,得到增强分量V2Ilow
S34:利用非局部均值滤波算法对反射分量V1Rlow进行降噪,得到降噪分量V2Rlow
S35:根据增强分量V2Ilow和降噪分量V2Rlow,计算增强亮度分量V2
S36:对增强亮度分量V2进行平滑处理,得到平滑处理后的增强亮度分量V3,实现对亮度分量的增强处理。
在本发明实施例中,步骤S31中,进行均衡化预处理的具体方法为:通过像素级动态范围调整方法得到均匀黑亮度分量V1low,其计算公式为:
其中,Pr(r)表示待处理图像灰度级为r的概率密度;T(r)表示单值单调增加函数;表示低照度图像整体密度分布函数,该分布函数必须满足两个条件,分别为:(1)该函数为单值单调增加函数;(2)函数取值0≤T(r)≤1。
将计算结果V1low对r求导,得到灰度级r的概率密度Pr(r),计算为:
将概率密度Pr(r)带入均匀概率密度计算公式,获取V分量均匀黑处理的密度分量,亮度分量满足在原始图像亮度分量区间内,均匀化后的亮度分量V1low满足像素级动态范围的表达式为:
其中,P(V1low)表示均匀化后的亮度分量的概率估计值;
步骤S35中,增强亮度分量V2的计算公式为:
V2=V2Rlow*V2Ilow
其中,V2Ilow表示增强分量,V2Rlow表示降噪分量
步骤S36中,平滑处理后的增强亮度分量V3的计算公式为:
其中,V2表示增强亮度分量,Z表示卷积滤波器的卷积核,表示卷积操作。
在本发明实施例中,为提高图像增强效果和视觉色彩,本网络参考RetinexNet网络的损失函数,其损失函数分为分解损失和重建损失,分解损失用于控制反射图与光照图的分解效果,分解网络的损失函数Li的表达式为:
Li=||V1Rlow-VRnormal||1
其中,V1Rlow表示待处理图像的反射分量,VRnormal表示正常图像的反射分量,||·||1表示1-范数;
重建损失用于控制反射图和光照图的增强与重建效果,增强网络的损失函数Lj的表达式为:
Lj=||VSnormal-V1Ilow×V1Rlow||1,s.t(VSnormal)i≤1,(V1Ilow×V1Rlow)i≤1
其中,VSnormal表示图像归一化处理结果,V1Ilow表示待处理图像的均匀黑亮度分量;V1Ilow×V1Rlow表示低照度图V1;(VSnormal)i表示图像归一化处理结果;(V1Ilow×V1Rlow)i表示图像归一化后的结果。为避免像素色彩值超出色域范围,研究将图像归一化至[0,1],以确保颜色通道中所有像素值有上界。
AM-RetinexNet网络的损失函数L的表达式为:
L=ωiLijLj
其中,ωi表示分解网络的损失函数权重值,ωj表示增强网络的损失函数权重值。
为最大程度保留图像边缘细节,降低噪声,使处理图像趋向正常图像,研究采用AM-RetinexNet网络对图像V1low分量进行处理,该模型整体分为照度处理和锐化处理两阶段。
为增强图像增强处理后细节,有效降低图像噪声和模型训练时间,使用AM-RetinexNet网络进行亮度增强处理,算法在RetinexNet网络的基础上引入注意力机制对特征图进行强化,并使用非局部均值滤波算法进行图像降噪。模型分为分解网络和增强网络。
分解网络采用Decom-Net网络将图像分解为反射图VR和光照图VI。Decom-Net网络除第一层和最后一层外,由5个带有ReLU的卷积层组成。分别将低照度和正常照度图像输入到分解网络中并共享网络参数,根据低照度图像和正常图像反射率一致性原理,共享分解网络权值,优化训练模型,得到低照度图像光照分量V1Ilow与反射分量V1Rlow,正常照度图像的光照分量VInormo1与反射分量VRmormol。在分解过程中,对光照映射的结构感知平滑性进行约束,当估计的光照图为平滑时,约束图像使得反射图的细节得到充分保留,约束信息包括原始噪声和增强噪声。
分解过程中,由于暗区噪声随亮度强度进行放大,为保证亮度增强后图像噪声低,处理时间低,研究使用非局部均值滤波算法对分解后的反射分量V1Rlow进行降噪处理。将反射分量V1Rlow输入增强网络中,利用图像的冗余信息进行降噪处理,并在降噪同时最大限度保留图像细节特征。
其原理为利用图像中相似邻域结构像素的加权平均值计算像素估计值实现图像降噪处理,其计算公式为:
其中,V1Rlow表示低照度反射图的噪声图像,V2Rlow表示低照度反射图的降噪结果图像,ε(x,y)表示降噪处理的权值,即像素点x和y间的相似度,其计算公式为:
其中,ε(x,y)值由以x,y为中心的低照度空间图像矩形邻域V(x),V(y)间的距离||V(x)-V(y)||2决定,x到y的距离计算公式为:
其中,Z表示低照度反射图降噪处理归一化系数,其计算如式13所示。
其中,h表示平滑参数,控制高斯函数的衰减程度,h越大高斯函数变化越平缓,反映低照度空间的反射图像降噪水平越高,且图像越模糊;h越小,边缘细节成分保持越多,同时会残留过多噪声点,h的取值根据图像噪声水平进行综合处理。通过非局部均值滤波算法处理,得到降噪结果的发射图。
为增强光照图亮度,尽可能保留图像分辨率,研究引入注意力机制(AM层)的U-Net架构对V1Ilow与进行增强训练。网络模型将空间域上的光照分布、空间结构信息引入网络,使网络对物体的空间信息更加敏感,以生成光线分布更佳的光照图。
U-Net架构采用上下采样路径对称结构实现特征通道数增加进而提升特征图分辨率。上下采样层之间设复制与修剪通路使特征图直接在采样路径之间进行传递,进而使上采样网络能够有效推断丢失像素,获得高分辨率的光照图像V2Ilow。下采样的每组下采样块由两层3×3unpadded卷积层和ReLU组成,每组使用大小和步长为2的最大池化进行下采样处理,让每组下采样块进行一次卷积后,其特征图通道数增加一倍。当网络获取大尺度光照分布后对输入图像依次下采样到小尺度结果。
上采样处理使用多组调整图像尺寸的卷积层进行图像处理,其过程为每组上采样先使用2×2up-convolution(转置卷积)将V分量中光照图的分辨率翻倍、通道数减半,并与收缩网络中对应位置的编码器进行卷积输出特征图concatenation。处理过程中利用大尺度光照信息重建局部光照分布,按元素求和从下采样块中引入链接到相应镜像上采样块,从而强制网络进行残差学习,使用收缩路径捕捉上下文信息,形成对称扩张路径结构,对图像像素精准定位,以获得增强效果。其中,收缩路径交替进行卷积和池化运算,在逐层增加特征图数量同时逐步对特征图进行下采样,并使用Overlap-tile策略使收缩网络将对应的特征图四周裁剪后再拼接到扩张网络特征图。扩张路径的每个阶段由一个特征图上采样与卷积构成,扩展路径中各个卷积层对应一条扩张分支,扩张分支用于提高输出图像的分辨率。为更好进行定位,扩张路径利用跳跃连接,将上采样特征和来自收缩路径的高分辨率特征进行图像融合。
U-Net架构中AM层用于生成权重注意力图以捕获空间结构关系,提取图像细节信息,减少图像色块和边界扭曲情况的发生。不断迭代卷积结构,学习照度特征,以获得照度特征,其计算公式分别为:
Fl+1,AM(i,j)=(ωl,AM+1)×[Fl(i,j)×ωl+1+z]
其中,Fl+1和Fl分别表示第l+1层卷积输出和第l层的输入;(i,j)表示对应的低照度图像特征像素坐标,加入AM层将原本特征信息扩大ωl,AM+1倍,ωl,AM表示第l层加入AM权重的VIlow(i,j)照度特征;ω和z分别表示照度处理模型的卷积层权重和偏置项;K表示特征图通道数;W和D分别表示卷积核总行数和总列数;Fl+1,AM(i,j)为第l+1层加入AM层的特征图;ωl,AM代表像素块中每一个像素中心点与其他像素点间距离,距离越小,则像素间相似度越高。图像块的距离计算公式为:
其中,xi,xj表示低照度光照图的特征点;f(xi,xj)表示相似系数,当且仅当f(xi,xj)=exp(xixj)可计算待测像素与其他像素点之间的距离;C(x)表示归一化系数,其计算公式为:
通过上述两式计算AM层中图像块间距离,其计算公式为:
整个照度增强模型中,相邻卷积之间由激活函数进行连接,其计算公式为:
训练时,将预处理的低照度图像V1low分量和正常图像Vnormal分量一同送入网络训练。其中,Vnormal作为真实标签,用于辅助生成网络生成正常图,仅在训练期间输入。利用低照度图像与正常图像反射率一致原理共享分解网络的权值,实现V1low自适应调整,使分解网络输出反射图V1Rlow和光照图V1Ilow。通过分解网络分解后,将V1Ilow送入增强网络增强照度,得到增强图像V2Ilow。AM层生成权重注意力图,以捕获空间结构关系,减少边界扭曲和图像色块的现象,非局部均值滤波算法对光照图V1Rlow进行降噪处理,得到降噪图像V2Rlow,以避免反射图像的噪声与图像纹理混淆。将V2Rlow和V2Ilow相乘得到增强亮度分量图像V2
为避免最终处理反射图像与入射图像在融合过程中出现边缘不平滑,研究利用平滑卷积对融合结果V2进行平滑处理,其计算公式为:
V2=V2R*V2I
其中,V2表示两个亮度分量的融合结果,V2R表示图像增强反射率的最终图像,V2I表示图像增强入射率的最终图像,Z表示卷积滤波器的卷积核,表示卷积操作,V3表示V2分量图像平滑处理结果。
经过平滑卷积处理后,得到边缘平滑处理结果V3,将H和处理后的S1、V3转换回RGB空间,得到照度和色彩饱和度增强图像,但该图像在色彩比例上存在一定的失调和失真。
在本发明实施例中,步骤S5包括以下子步骤:
S51:根据增强RGB分量,确定颜色恢复因子cδ(i,j);
S52:利用颜色恢复因子Cδ(i,j)进行自适应颜色恢复,完成图像增强。
在本发明实施例中,步骤S51中,为解决融合后RGB图像色彩比例失调和失真问题,使用颜色恢复因子cδ对图像的R、G、B分量分别相乘实现色彩修正,颜色恢复因子cδ(i,j)的计算公式为:
其中,G表示增益参数,c表示最新红色分量、绿色分量和蓝色分量的调节比重值,λ表示调节图像亮度,δ表示分量参数,i表示待处理图像特征像素的横坐标,j表示待处理图像特征像素的纵坐标,Sδ(·)表示待处理图像的红色分量、绿色分量和蓝色分量。δ为分量参数选取,值为(1,2,3)代表R、G、B分量。
在本发明实施例中,步骤S52中,进行自适应颜色恢复的计算公式为:
Fδ(i,j)=Cδ(i,j)Rδ(i,j)
其中,Fδ(·)表示自适应颜色恢复后的颜色分量,Cδ(i,j)表示颜色恢复因子,Rδ(·)表示最新红色分量、绿色分量和蓝色分量,i表示待处理图像特征像素的横坐标,j表示待处理图像特征像素的纵坐标。
下面结合具体实施例对本发明进行说明。
实验环境:
研究使用Intel i7 8700 CPU、32G内存和PaddlePaddle平台2G GPU资源,使用自建地下空间数据集DCIM、开源数据集LOL以及自建数据集进行模型训练,其中自建数据集1052张,数据以训练集与测试集7:3比例进行随机分配。并使用OpenCV、TensorFlow、Pytorch框架进行训练。
评价模型:
研究使用互信息(MI)、标准差(STD)、结构相似性(SSIM)、平均梯度(AG)、空间频率(SF)和峰值信噪比(PSNR)客观评价指标对处理后图像进行分析,其中,互信息用于度量低照度增强的两幅图像之间的相似程度值越高越接近原图,计算公式为:
MI=H(A)+H(B)-H(A,B)
其中,A,B分别表示低照度原始图像和增强图像,H(A),H(B)表示对应图像的信息熵,H(A,B)表示联合信息熵。
标准差用于度量低照度增强处理后像素分布的分散程度计算公式为:
其中,SDT表示标准差,N表示x的数量,Xi表示图像数据,μ表示算术平均值。
结构相似性用于衡量两幅图像的相似度,值越大,越接近原图,计算公式为:
其中,uX、uY分别表示图像X和Y的均值,σX、σY分别表示图像X和Y的标准差,分别表示图像X和Y的方差,σXY表示图像X和Y的协方差,C1、C2和C3为常数。
平均梯度用于衡量融合图像的清晰程度,值越大,图像还原越清晰,其计算公式为:
其中,H表示融合图像,M与N分别表示图像的高和宽。H(i,j)表示第i行、第j列的像素值。
空间频率反映图像灰度的变化程度,值越大,效果越佳,计算公式为:
峰值信噪比用于衡量图像质量及降噪效果,值越大效果越佳,计算公式为:
其中,MSE是原图像与处理图像之间均方误差。
不同算法不同数据集性能分析:
研究在相同实验环境下对自建数据集、开源数据集DICM和LOL分别采用Laplacian算法、CLAHE算法、LOG算法、Retinex算法、直方均衡化HE算法、RCTNet算法、Zero-DCE算法以及改进算法实现图像全局增强处理和局部增强处理,处理结果如图2和图3所示。
由图2肉眼分析可知,三种数据集使用Laplacian算法进行照度增强的整体效果最差,无明显增强变化;CLAHE算法、直方均衡化HE算法、LOG算法、经典Retinex算法虽在照度处理上有一定提升,但出现泛白及视觉光照过亮等情况,在增强后图像中餐桌、墙体和车头存在明显噪声,且图像颜色偏蓝,色彩饱和度失真较为严重;RCTNet算法和Zero-DCE算法对照度有一定效果,在一定程度上还原色彩饱和度,但出现局部过亮、肉眼感官不佳。改进算法的色彩饱和度、图像整体增强效果最符合原图,且细节较为清晰,改进算法在全局图像增强的主观评价上具有一定优势。
由图3可知,局部放大增强图像处理中,Laplacion和CLAHE整体照度较低、图像增强效果不明显,LOG、Retinex、RCTNet以及Zero-DCE增前后图像噪声明显,图像较模糊。LOL和DICM数据集的正常图和改进算法增强图从肉眼观看,色彩饱和度几乎没有差异,整体保留图像的一定细节信息,降噪效果明显。改进算法较传统算法而言,其局部放大图像增强可较好恢复图像色彩饱和度、图像对比度,图像整体亮度感官较均匀,其整体色彩、细节和亮度恢复与正常图效果最为吻合,改进算法在图像局部放大增强处理上具有一定价值性。
不同算法全局图像增强客观评价:
为验证各算法性能,研究对自建数据集、开源数据集LOL和DICM在相同实验环境下分别使用Laplacian算法、CLAHE算法、LOG算法、Retinex算法、直方均衡化HE算法、RCTNet算法、Zero-DCE算法以及改进算法对图像全局进行增强处理,处理后采用客观评价指标MI、STD、SSIM、AG、SF、PSNR进行分析,结果保留两位小数,分析结果如表1所示。
表1
由表1可知,自建数据集的全局图像效果最佳为改进算法,图像评价指标MI、STD、SSIM、AG、SF、PSNR值分别为5.97、76.40、0.63、13.25、37.87、38.67;改进算法较效果最佳的低照度图像增强算法而言,整体分别提升1.53%、10.80%、6.78%、45.29%、11.74%、8.13%;较传统算法而言,整体分别提升10.27%、56.32%、41.02%、177.46%、382.39%、25.80%。
DICM开源数据集的全局图像增强处理效果最佳的为改进算法,图像评价指标MI、STD、SSIM、AG、SF、PSNR值分别为5.54、74.18、0.61、12.66、35.85、39.27;改进算法较传统最佳的低照度图像增强算法而言,整体分别提升6.74%、13.88%、22.00%、31.19%、17.66%、2.99%;较传统算法而言,整体分别提升31.63%、51.31%、125.80%、207.13%、77.46%、29.60%。
LOL开源数据集的全局图像增强处理效果最佳的仍为改进算法,图像评价指标MI、STD、SSIM、AG、SF、PSNR值分别为6.21、56.11、0.66、11.12、35.83、41.89;改进算法较效果最佳的低照度图像增强算法而言,整体分别提升2.81%、4.82%、15.79%、33.65%、17.59%、1.60%;较传统算法而言,整体分别提升19.78%、50.59%、82.29%、131.90%、77.36%、35.43%。
改进算法在自建数据集、开源DICM和LOL数据集的全局图像处理中,较效果最佳的低照度图像增强算法而言,MI、STD、SSIM、AG、SF、PSNR整体分别提升3.70%、9.83%、14.86%、36.71%、15.66%、4.24%。改进算法的细节处理、色彩恢复、图像降噪和照度增强处理整体效果最佳,色偏最小,改进算法在低照度图像增强中有一定优势。
不同数据集不同算法局部放大增强客观分析:
为验证各算法性能,研究对自建数据集、开源数据集LOL和DICM在相同实验环境下分别使用Laplacian算法、CLAHE算法、LOG算法、Retinex算法、直方均衡化HE算法、RCTNet算法、Zero-DCE算法以及改进算法对局部放大图像进行增强处理,处理后采用客观评价指标MI、STD、SSIM、AG、SF、PSNR进行分析,结果保留两位小数,分析结果如表2所示。
表2
由表2可知,自建数据集的局部图像增强处理效果最佳为改进算法,图像评价指标MI、STD、SSIM、AG、SF、PSNR值分别为6.07、73.24、0.61、11.24、35.54、37.83;改进算法较效果最佳的低照度图像增强算法而言,整体分别提升1.16%、47.17%、0.33%、35.33%、88.83%、1.67%;较传统算法而言,整体分别提升12.52%、49.26%、35.09%、123.89%、87.38%、47.89%。
DICM开源数据集的局部图像增强处理效果最佳为改进算法,图像评价指标MI、STD、SSIM、AG、SF、PSNR值分别为7.32、87.70、0.45、20.05、36.84、37.83;较效果最佳的低照度图像增强算法而言,整体分别提升5.67%、69.33%、0.67%、3.00%、92.00%、10.00%;较传统算法而言,整体分别提升24.25%、186.68%、145.65%、383.90%、93.16%、44.11%。
LOL开源数据集的局部图像增强处理效果最佳的仍为改进算法,图像评价指标MI、STD、SSIM、AG、SF、PSNR值分别为6.02、56.13、0.43、11.43、37.28、39.83;改进算法较效果最佳的低照度图像增强算法而言,整体分别提升0.50%、4.83%、0.33%、6.00%、65.33%、26.50%;较传统算法而言,整体分别提升13.31%、59.14%、113.62%、187.22%、76.52%、50.79%。
改进算法在自建数据集、开源DICM和LOL数据集的局部图像放大增强处理上,较效果最佳的低照度图像增强算法而言,MI、STD、SSIM、AG、SF、PSNR值平均分别提升2.44%、40.44%、0.44%、14.78%、82.06%、12.72%。改进算法在细节处理、图像降噪处理、图像色彩恢复和整体亮度增强效果最佳,对低照度图像增强处理具有明显优势。
消融实验分析:
本模型在RetinexNet基础上通过改进AM-Retinex架构对HSV空间进行增强处理。为验证本研究相较基础模型有更好的图像增强效果,将研究算法与RetinexNet、AM-RetinexNet以及HSV-RetinexNet模型进行对比实验,实验使用自建数据集、DICM数据集和LOL数据集进行全局处理和局部放大处理验证,结果如图4和图5所示。
由图4和图5可知,引入注意力机制的AM-Retinex算法与本发明算法,其图像低照度增强处理主观视觉和色差处理效果更佳,此外,改进算法的图像细节效果最佳、降噪效果最明显,也最符合正常图。
为保证客观性能,实验选用MI、SSIM、AG、PSNR和平均检测时间五个指标对三种数据集低照度图像增强的平均效果进行定量评价,评价指标数据保留两位小数,如表3所示。
表3
由表3可知,消融实验的单张图像平均检测时间最佳为RetinexNet,次之改进算法,最长为AM-RetinexNet,改进算法单张图像平均检测时间虽较最佳算法RetinexNet增加了0.72秒,效率降低2.2%。但改进算法在图像增强处理效果上,三个数据集处理的平均MI、SSIM、AG、PSNR结果最优,分别达到6.18、0.56、13.29、39.22,改进算法较其他消融实验算法而言,平均MI、SSIM、AG、PSNR整体分别提升7.7%、10.00%、75.8%、17.4%。改进算法图像低照度增强的细节更佳、降噪效果更好,色彩修正以及整体亮度增强更符合正常图,改进算法在整体增强处理上有明显优势。
在3个数据集上进行全局增强和局部放大增强对比试验。与基础RetinexNex算法相比,能有效修正色偏、降低图像噪声。改进算法在MI、STD、SSIM、AG、SF、PSNR评价指标上表现更佳。与其他传统低照度图像增强算法相比,图像整体亮度增强效果明显,图像分辨率较高、色彩修正效果最佳,且单张图片检测时间无较大增加。
本发明的工作原理及过程为:本发明利用HSV空间图像三分量的相互独立性分别对S分量和V分量进行增强;其中,使用直方均匀化和β权值自适应计算方法对S分量的饱和度进行增强处理,修复图像整体视觉色彩;使用直方均衡化方法对V分量亮度进行均匀黑预处理,再使用AM-RetinexNet网络进行亮度增强训练,以提高图像亮度,增强图像细节,降低模型训练时间;将处理后的S分量和V分量结果与原始H分量进行融合,并使用自适应色彩恢复因子对增强RGB图像进行修正,以得到整体色彩与照度增强的结果。
本发明的有益效果为:本发明利用AM-RetinexNet网络能有效对地下空间非均匀亮度低照度图像增强处理,一定程度上解决现有图像因照度分布不均引起的图像增强整体效果较差缺陷。
本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的原理,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合,这些变形和组合仍然在本发明的保护范围内。

Claims (2)

1.一种基于HSV与AM-RetinexNet图像增强方法,其特征在于,包括以下步骤:
S1:获取待处理图像的RGB分量,并将RGB分量转换为HSV分量,其中,HSV分量包括色调分量、饱和度分量和亮度分量;
S2:对待处理图像HSV分量中的饱和度分量进行自适应调整;
S3:对待处理图像HSV分量中的亮度分量进行增强处理;
S4:将待处理图像的色调分量、进行自适应调整后的饱和度分量以及进行增强处理后的亮度分量转换为增强RGB分量;
S5:对待处理图像的增强RGB分量进行自适应色彩恢复,完成图像增强;
所述步骤S1中,将待处理图像的红色分量R、绿色分量G和蓝色分量B转换为待处理图像的色调分量H、饱和度分量S和亮度分量V,其计算公式分别为:
其中,H′表示待处理图像增强后的色调分量,Mmax表示待处理图像的红色分量R、绿色分量G和蓝色分量B中的最大值,Nmin表示待处理图像的红色分量R、绿色分量G、蓝色分量B中的最小值;
所述步骤S2中,对待处理图像的饱和度分量S进行自适应调整,得到拉伸后的图像饱和度分量S1,其计算公式为:
其中,S表示待处理图像的饱和度分量,α表示饱和度调节系数,β表示亮度分量处理计算所得的权重值,log(·)表示对数函数;
所述步骤S3包括以下子步骤:
S31:利用直方均衡化方法对待处理图像的亮度分量进行均衡化预处理,得到待处理图像的均匀黑亮度分量V1low;
S32:将待处理图像的均匀黑亮度分量V1low和正常图像的亮度分量Vnormal输入至AM-RetinexNet网络的分解网络中,对AM-RetinexNet网络进行训练,得到待处理图像的光照分量V1Ilow和反射分量V1Rlow
S33:将待处理图像的光照分量V1Ilow输入到训练后AM-RetinexNet网络的增强网络中,得到增强分量V2Ilow
S34:利用非局部均值滤波算法对反射分量V1Rlow进行降噪,得到降噪分量V2Rlow
S35:根据增强分量V2Ilow和降噪分量V2Rlow,计算增强亮度分量V2
S36:对增强亮度分量V2进行平滑处理,得到平滑处理后的增强亮度分量V3,实现对亮度分量的增强处理;
所述步骤S31中,进行均衡化预处理的具体方法为:通过像素级动态范围调整方法得到均匀黑亮度分量V1low,其计算公式为:
其中,Pr(r)表示待处理图像灰度级为r的概率密度;T(r)表示单值单调增加函数;
均匀化后的亮度分量V1low满足像素级动态范围的表达式为:
其中,P(V1low)表示均匀化后的亮度分量的概率估计值;
所述步骤S35中,增强亮度分量V2的计算公式为:
V2=V2Rlow*V2Ilow
其中,V2Ilow表示增强分量,V2R1ow表示降噪分量;
所述步骤S36中,平滑处理后的增强亮度分量V3的计算公式为:
其中,V2表示增强亮度分量,Z表示卷积滤波器的卷积核,表示卷积操作;
所述步骤S5包括以下子步骤:
S51:根据增强RGB分量,确定颜色恢复因子Cδ(i,j);
S52:利用颜色恢复因子Cδ(i,j)进行自适应颜色恢复,完成图像增强;
所述步骤S51中,颜色恢复因子Cδ(i,j)的计算公式为:
其中,G表示增益参数,c表示最新红色分量、绿色分量和蓝色分量的调节比重值,λ表示调节图像亮度,δ表示分量参数,i表示待处理图像特征像素的横坐标,j表示待处理图像特征像素的纵坐标,Sδ(·)表示待处理图像的红色分量、绿色分量和蓝色分量;
所述步骤S52中,进行自适应颜色恢复的计算公式为:
Fδ(i,j)=Cδ(i,j)Rδ(i,j)
其中,Fδ(·)表示自适应颜色恢复后的颜色分量,Cδ(i,j)表示颜色恢复因子,Rδ(·)表示最新红色分量、绿色分量和蓝色分量,i表示待处理图像特征像素的横坐标,j表示待处理图像特征像素的纵坐标。
2.根据权利要求1所述的基于HSV与AM-RetinexNet图像增强方法,其特征在于,所述步骤S32中,分解网络的损失函数Li的表达式为:
Li=||V1Rlow-VRnormal||1
其中,V1Rlow表示待处理图像的反射分量,VRnormal表示正常图像的反射分量,||·||1表示1-范数;
所述步骤S33中,增强网络的损失函数Lj的表达式为:
Lj=||VSnormal-V1Ilow×V1Rlow||1,s.t(VSnormal)i≤1,(V1Ilow×V1Rlow)i≤1
其中,VSnormal表示图像归一化处理结果,V1Ilow表示待处理图像的均匀黑亮度分量;
所述AM-RetinexNet网络的损失函数L的表达式为:
L=ωiLijLj
其中,ωi表示分解网络的损失函数权重值,ωj表示增强网络的损失函数权重值。
CN202210917717.7A 2022-08-01 2022-08-01 基于HSV与AM-RetinexNet图像增强方法 Active CN115147311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210917717.7A CN115147311B (zh) 2022-08-01 2022-08-01 基于HSV与AM-RetinexNet图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210917717.7A CN115147311B (zh) 2022-08-01 2022-08-01 基于HSV与AM-RetinexNet图像增强方法

Publications (2)

Publication Number Publication Date
CN115147311A CN115147311A (zh) 2022-10-04
CN115147311B true CN115147311B (zh) 2024-08-09

Family

ID=83413553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210917717.7A Active CN115147311B (zh) 2022-08-01 2022-08-01 基于HSV与AM-RetinexNet图像增强方法

Country Status (1)

Country Link
CN (1) CN115147311B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363009B (zh) * 2023-03-31 2024-03-12 哈尔滨工业大学 基于有监督学习的快速轻量化低照度图像增强方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504212A (zh) * 2016-11-07 2017-03-15 湖南源信光电科技有限公司 一种改进的hsi空间信息低照度彩色图像增强算法
CN111968041A (zh) * 2020-07-03 2020-11-20 南昌大学 一种自适应图像增强方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100771158B1 (ko) * 2005-10-07 2007-10-29 삼성전자주식회사 칼라 영상의 화질 향상을 위한 방법 및 시스템
CN114066747B (zh) * 2021-10-19 2024-05-31 重庆理工大学 一种基于光照和反射互补性的低照度图像增强方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504212A (zh) * 2016-11-07 2017-03-15 湖南源信光电科技有限公司 一种改进的hsi空间信息低照度彩色图像增强算法
CN111968041A (zh) * 2020-07-03 2020-11-20 南昌大学 一种自适应图像增强方法

Also Published As

Publication number Publication date
CN115147311A (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
Wang et al. Low-light image enhancement based on virtual exposure
CN107527332B (zh) 基于改进Retinex的低照度图像色彩保持增强方法
CN113658057B (zh) 一种Swin Transformer微光图像增强方法
CN114066747B (zh) 一种基于光照和反射互补性的低照度图像增强方法
CN114266707B (zh) 一种结合注意力机制和Retinex模型的低光图像增强方法
CN113793275A (zh) 一种Swin Unet低照度图像增强方法
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
CN116523794A (zh) 一种基于卷积神经网络的低光照图像增强方法
CN111105376B (zh) 基于双分支神经网络的单曝光高动态范围图像生成方法
CN113096029A (zh) 基于多分支编解码器神经网络的高动态范围图像生成方法
CN115063318A (zh) 自适应频率分解的低光照图像增强方法与相关设备
CN116681627B (zh) 一种跨尺度融合的自适应水下图像生成对抗增强方法
CN115760630A (zh) 一种低照度图像增强方法
Anoop et al. Advancements in low light image enhancement techniques and recent applications
Huang et al. Underwater image enhancement based on color restoration and dual image wavelet fusion
CN115147311B (zh) 基于HSV与AM-RetinexNet图像增强方法
Park et al. ULBPNet: Low-light image enhancement using U-shaped lightening back-projection
Zhang et al. A cross-scale framework for low-light image enhancement using spatial–spectral information
CN115809966A (zh) 一种低照度图像的增强方法和系统
CN115209119A (zh) 一种基于深度神经网络的视频自动着色方法
CN118172254A (zh) 一种基于深度学习的高动态范围图像重建方法和系统
CN115082315B (zh) 低光照小像素cfa采样与边缘计算设备适用的去马赛克方法
CN113012079B (zh) 低亮度车底图像增强方法、装置及存储介质
CN116309133A (zh) 一种局部和全局自适应对比度校正的低光照图像增强方法
CN116128768A (zh) 一种带有去噪模块的无监督图像低照度增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant