[go: up one dir, main page]

CN115100415A - 复杂噪声场景下的红外小目标检测方法、设备及存储介质 - Google Patents

复杂噪声场景下的红外小目标检测方法、设备及存储介质 Download PDF

Info

Publication number
CN115100415A
CN115100415A CN202210931838.7A CN202210931838A CN115100415A CN 115100415 A CN115100415 A CN 115100415A CN 202210931838 A CN202210931838 A CN 202210931838A CN 115100415 A CN115100415 A CN 115100415A
Authority
CN
China
Prior art keywords
tensor
infrared
target
iteration
complex noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210931838.7A
Other languages
English (en)
Other versions
CN115100415B (zh
Inventor
杨俊刚
安成锦
刘婷
吴天昊
盛卫东
李振
安玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202210931838.7A priority Critical patent/CN115100415B/zh
Publication of CN115100415A publication Critical patent/CN115100415A/zh
Application granted granted Critical
Publication of CN115100415B publication Critical patent/CN115100415B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

本发明公开了一种复杂噪声场景下的红外小目标检测方法、设备及存储介质，通过即插即用结构引入深度去噪先验，帮助在复杂的噪声场景中更好地去噪和保留图像细节信息。同时，采用张量核范数的加权和来更准确地评估背景。本发明采用交替方向乘子法来解决这种非凸问题。在不同场景上的实验结果表明，本发明提出的方法在复杂噪声场景上有更强的鲁棒性和更高的检测率。

Description

复杂噪声场景下的红外小目标检测方法、设备及存储介质
技术领域
本发明涉及红外小目标检测技术，特别是一种复杂噪声场景下的红外小目标检测方法、设备及存储介质。
背景技术
红外小目标检测的研究有广泛的应用价值。然而，由于红外探测系统成像距离远，目标通常缺乏形状信息和纹理信息。此外，成像系统中的背景杂波和噪声干扰较强，小目标通常被埋没在具有低信噪比的复杂噪声背景中。因此，红外小目标检测仍然是一项具有挑战性的任务，已经引起了广泛的关注。
在过去的几十年里，人们提出了许多红外小目标检测方法。这些方法分为基于模型和基于深度学习的方法。其中低秩稀疏分解方法是经典的基于模型的方法之一。低秩稀疏分解方法在均匀场景中取得了良好的检测效果，但在噪声场景中性能较差。主要原因是它们忽略了噪声对小目标检测任务的影响。因此，许多学者在低秩稀疏分解方法中引入了噪声项。这些方法假设在理想条件下，噪声服从高斯独立同分布，因此使用Frobenius范数来约束噪声。事实上，红外图像往往含有复杂的噪声。为了更好地去除噪声，文献[X.Wang,Z.Peng,D.Kong,P.Zhang,and Y.He,“Infrared dim target detection based on totalvariation regularization and principal component pursuit,”Image and VisionComputing,vol.63,pp.1–9,2017.]在低秩模型中引入了全变分(TV)正则化项。上述方法提高了噪声场景中小目标检测的性能，但在复杂噪声场景中检测结果不理想。主要原因是上述方法中关于噪声的假设比较简单。因此，这些方法不能很好地匹配真实场景中的复杂噪声，所以在真实场景中的红外小目标检测结果不理想。
考虑到复杂噪声的场景，文献[C.Gao,L.Wang,Y.Xiao,Q.Zhao,and D.Meng,“Infrared small-dim target detection based on markov random field guidednoise modeling,”Pattern Recognition,vol.76,pp.463–475,2018.]提出了马尔可夫随机场引导的混合高斯噪声模型。尽管该方法取得了好的性能，但该方法忽略了真实场景中不同帧之间的噪声不服从高斯独立同分布的这一事实，因此，在某些复杂噪声场景中，这个方法的检测结果会受到影响。进一步的，文献[Y.Sun,J.Yang,and W.An,“Infrared smalltarget detection based on reweighted infrared patch-image model and totalvariation regularization,”in Image and Signal Processing for Remote SensingXXV,vol.11155.International Society for Optics and Photonics,2019,p.111551F.]将改进的马尔可夫随机场和非独立高斯同分布结合用于红外小目标检测。这个方法在复杂噪声场景中具有良好的检测性能。这表明真实场景中的噪声是复杂的，仅使用Frobenius范数或全变分正则化不足以描述真实场景的噪声分布，从而导致检测率低和虚警率高等问题。因此，有必要寻找一种有效的去噪器来提高复杂噪声场景下的红外小目标检测性能。
发明专利申请CN113256585A提供了一种基于时空张量分解的红外视频运动小目标实时检测方法，在构建红外检测模型时候，假定红外图像中的噪声是符合高斯独立同分布的，因此仅使用Frobenius范数来约束噪声项，上述方法在简单场景中可以取的较好的检测结果。然而，真实红外图像包含的噪声非常复杂，上述方法在真实场景中会出现低检测率和高虚警率等问题。
发明内容
本发明所要解决的技术问题是，针对现有技术不足，提供一种复杂噪声场景下的红外小目标检测方法、设备及存储介质，提高红外小目标检测的准确率。
为解决上述技术问题，本发明所采用的技术方案是：一种复杂噪声场景下的红外小目标检测方法，包括以下步骤：
获取复杂噪声场景下的红外图像；
将所述红外图像分割为若干图像块，堆叠所有图像块，构建红外块张量；
利用所述红外块张量，建立以下优化模型：
Figure BDA0003781861930000021
其中，
Figure BDA0003781861930000022
分别表示红外图像块张量、背景块张量和目标块张量；
Figure BDA0003781861930000023
Figure BDA0003781861930000024
表示加权常数，||B||WSTNN表示背景块张量
Figure BDA0003781861930000025
的张量核范数的加权和，⊙表示哈达玛积，
Figure BDA0003781861930000026
为隐式正则项，k1、k2表示模态数，λ和λ1表示正则化参数；W是局部权重图；
Figure BDA0003781861930000027
表示目标块张量的l1范数；所述隐式正则项即利用去噪网络去除红外块张量中噪声后得到的红外块张量；
通过上述优化模型计算得到目标块张量，将所述目标块张量重建为目标图像；
从所述目标图像中检测红外小目标。
本发明通过PnP(即插即用，Plug-and-play)结构在低秩稀疏分解的模型中引入深度去噪先验，深度去噪先验对噪声的约束有着更强的去噪能力和更好地图像细节保护能力，可以帮助在复杂的噪声场景中更好地去噪和保留图像细节信息，因此本发明的方法可以更好地描述真实场景中的噪声，极大地提高了红外小目标检测的准确率，降低了红外小目标检测的高虚警率。
所述去噪器为FFDNet，用于去除背景中的噪声。
本发明中，通过所述优化模型计算目标块张量的具体实现过程包括：
令
Figure BDA0003781861930000031
为固定常量，解算以下子模型：
Figure BDA0003781861930000032
则，
Figure BDA0003781861930000033
其中，Thγ(X)＝sign(X)max(X|-γ,0),
Figure BDA0003781861930000034
Figure BDA0003781861930000035
μt表示第t次迭代的惩罚系数，
Figure BDA0003781861930000036
表示第t次迭代的拉格朗日乘子，
Figure BDA0003781861930000037
表示第t次迭代的背景块张量，
Figure BDA0003781861930000038
表示第t次迭代的目标块张量。
本发明通过软阈值法[参考文献A.Beck and M.Teboulle,“A fast iterativeshrinkage-thresholding algorithm for linear inverse problems,”SIAM journal onimaging sciences,vol.2,no.1,pp.183–202,2009.]得到目标块张量，Thγ(X)＝sign(X)max(X|-γ,0)表示软阈值的操作。
第t次迭代的背景块张量
Figure BDA00037818619300000314
的计算过程包括：
令目标块张量
Figure BDA00037818619300000315
为固定常量，解算以下子模型：
Figure BDA0003781861930000039
则，
Figure BDA00037818619300000310
表示第t-1次迭代的拉格朗日乘子，μt-1表示第t-1次迭代的惩罚参数，
Figure BDA00037818619300000311
表示背景块张量的k1k2模态，
Figure BDA00037818619300000312
表示第t-1次迭代的辅助变量。
本发明通过梯度下降法[参考文献Ruder S.An overview of gradient descentoptimization algorithms[J].arXiv preprint arXiv:1609.04747,2016.]求得背景块张量
Figure BDA00037818619300000313
计算过程简单。
拉格朗日乘子的迭代更新表达式为：
Figure BDA0003781861930000041
其中，
Figure BDA0003781861930000042
Figure BDA0003781861930000043
表示t-SVT运算[参考文献Chen L,Liu Y,Zhu C.Iterative block tensor singular value thresholding for extractionof lowrank component of image data[C]//2017IEEE International Conference onAcoustics,Speech and Signal Processing(ICASSP).IEEE,2017:1862-1866.]，t-fold(X,k1,k2)表示按照k1,k2指定的顺序重新排列X的维度；
Figure BDA0003781861930000044
FFDNet表示深度去噪网络，μt+1＝min(ρμt,μmax)，μmax表示惩罚系数μt的最大值，ρ为常数，
Figure BDA0003781861930000045
Figure BDA0003781861930000046
表示惩罚系数的最大值。
本发明通过引入拉格朗日乘子[参考文献Z.Lin,M.Chen,and Y.Ma,“Theaugmented lagrange multiplier method for exact recovery of corrupted low-rankmatrices,”arXiv preprint arXiv:1009.5055,2010.]和辅助变量将有约束的凸优化问题转化为无约束的凸优化问题。然后再通过交替方向乘子法(ADMM)[参考文献S.Boyd,N.Parikh,and E.Chu,Distributed optimization and statistical learning via thealternating direction method of multipliers.Now Publishers Inc,2011.]算法迭代求解。ADMM是一种求解具有可分离的凸优化问题的重要方法由于处理速度快，收敛性能好，ADMM算法在图像处理、机器学习等领域有着广泛应用。
作为一个发明构思，本发明还提供了一种终端设备，其包括处理器和存储器；所述存储器存储有计算机程序/指令；所述处理器执行所述存储器存储的计算机程序/指令；所述计算机程序/指令被配置为实现本发明上述方法的步骤。
作为一个发明构思，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序/指令；所述计算机程序/指令被处理器执行时本发明上述方法的步骤。
与现有技术相比，本发明所具有的有益效果为：本发明通过PnP结构在现有的低秩稀疏分解模型中引入了深度去噪先验，可以更好地去除噪声和保留图像细节信息，从而更好地解决了复杂噪声场景导致的低检测率和高虚警率问题。为了更准确地评估背景，本发明用WSTNN(weighted sum of tensor nuclear norm，张量核范数)范数代替核范数，同时有机地结合了深度去噪先验和低秩先验，可以得到更清晰的背景图像，从而进一步提高了复杂噪声场景下的红外小目标的检测性能。
附图说明
图1为本发明实施例的方法流程图；
图2为本发明实施例的块张量构建图；
图3(a)～图3(c)为本发明实施例方法与其他方法的ROC结果对比图；图3(a)场景1的ROC曲线图，图3(b)场景2的ROC曲线图，图3(c)场景3的ROC曲线图；
图4为本发明实施例方法与其他方法在三个场景上实验结果图。
具体实施方式
如图1所示，本发明实施例以MATLAB为实现平台，设计一种复杂噪声场景下的红外小目标检测方法，包括以下步骤：
S1，获取真实红外图像，作为原始输入图像；
S2，通过块张量构建方法得到红外块张量；
其中，步骤S2的实现方法为：假定输入的红外图像为O，采用固定大小的滑动窗口从左上到右下的顺序遍历整幅图像，然后将得到的图像块堆叠成一个块张量
Figure BDA0003781861930000051
详细过程见图2。本发明实施例中，滑动窗口大小可以根据实际情况设置。
S3，建立红外小目标检测模型；
(1)分析红外图像的特征：
因为红外背景变化缓慢，在低秩稀疏分解方法中，通常用低秩张量来描述
Figure BDA0003781861930000052
此外，由于红外系统成像距离远，红外小目标只占据几个像素，这意味着相对于整幅红外图像，
Figure BDA0003781861930000053
是一个稀疏块张量。
(2)分析基础模型：
基于上述特征，红外小目标检测模型可以写为：
Figure BDA0003781861930000054
求解上述模型是NP问题。因此，采用核范数作为秩函数的凸近似，上式更改如下所示：
Figure BDA0003781861930000055
上述模型在简单均匀场景上效果较好，但是在复杂的噪声场景上存在检测率低和虚警率高等问题。因此，在上述模型中引入了噪声项，并且对背景增加全变分正则项约束，上述模型变化为如下形式：
Figure BDA0003781861930000061
上述模型在简单的噪声场景上效果较好，但是在真实场景上效果不理想。主要是因为真实场景中的噪声非常复杂，仅使用Frobenius范数或全变分正则化不足以描述真实场景的噪声分布，从而导致检测率低和虚警率高等问题。而且核范数会过收缩奇异值，这不能很好准确地描述背景的低秩特征，从而不能准确地评估背景。
(3)建立优化新模型：
在分析上述经典模型的基础上，分别作出如下改进：
1)通过PnP结构在现有的模型中引入深度去噪先验，这样可以帮助更好地去除噪声和保留图像细节信息。
2)使用WSTNN范数代替核范数为了更准确地背景评估。
此时，建立优化模型如下：
Figure BDA0003781861930000062
其中，
Figure BDA0003781861930000063
Figure BDA0003781861930000064
和
Figure BDA0003781861930000065
分别表示红外图像块张量，背景块张量和目标块张量，
Figure BDA0003781861930000066
表示加权常数，且满足
Figure BDA0003781861930000067
BWSTNN表示背景块张量
Figure BDA0003781861930000068
的张量核范数的加权和。⊙表示哈达玛积。
Figure BDA0003781861930000069
为隐式正则项，它可以通过PnP结构从许多去噪器中选择，本发明实施例选择的是快速和灵活的去噪网络(fast and flexible denoisingnetwork,FFDNet)用于去除背景中的噪声。
Figure BDA00037818619300000610
为隐式正则项，这一项主要是用于去除输入背景块张量的噪声和保持背景块中的细节信息，现有技术在构建红外检测模型时候，假定红外图像中的噪声是符合高斯独立同分布的，因此仅使用Frobenius范数或者全变分正则化来约束噪声项，这一类方法在简单噪声场景中可以取的较好的检测结果。然而，真实红外图像包含的噪声非常复杂，所以，仅使用Frobenius范数或全变分正则化不足以描述真实场景的噪声分布，从而导致检测率低和虚警率高等问题。因此，有必要寻找一种有效的去噪器来提高复杂噪声场景下的红外小目标检测性能。针对上述问题，考虑到深度学习去噪的强大的能力，本发明实施例通过PnP结构引入快速和灵活的去噪网络(fast and flexibledenoising network,FFDNet)用于去除背景中的噪声，相较于现有的方法，本发明实施例可以更好地结合深度先验和低秩先验来去除真实场景中的复杂噪声，从而极大地提高了红外小目标检测的准确率，降低了红外小目标检测的高虚警率。W是一个局部权重图，用于同时编码背景和目标之间的相关信息。
Figure BDA0003781861930000071
表示张量块目标的l1范数。
为了求解模型，引入辅助变量
Figure BDA0003781861930000072
和
Figure BDA0003781861930000073
模型改写为下面的形式：
Figure BDA0003781861930000074
通过交替方向乘子法(alternating direction multiplier method,ADMM)求解模型，如下所示：
Figure BDA0003781861930000075
其中，
Figure BDA0003781861930000076
为拉格朗日乘子，
Figure BDA0003781861930000077
和μ为惩罚系数，
Figure BDA0003781861930000078
是Frobenius范数，L(.)表示增广拉格朗日函数，是通过引入拉格朗日乘子和辅助变量将建立的红外小目标检测模型从有约束的凸优化问题变成无约束的凸优化问题得到的。为了求解变量
Figure BDA0003781861930000079
等，从L(.)中分别分离出不同的变量，然后再用ADMM迭代求解得到各个变量。
S4，优化求解红外背景块张量
Figure BDA00037818619300000710
的方法为：
令
Figure BDA00037818619300000711
为固定常量，求解背景
Figure BDA00037818619300000712
的子模型如下：
Figure BDA00037818619300000713
Figure BDA00037818619300000714
更新表达如下：
Figure BDA00037818619300000715
S5，优化求解红外目标块张量
Figure BDA00037818619300000716
的方法为：
令红外背景块张量
Figure BDA00037818619300000717
为固定常量，求解目标
Figure BDA00037818619300000718
的子模型如下：
Figure BDA0003781861930000081
Figure BDA0003781861930000082
更新表达如下：
Figure BDA0003781861930000083
其中，Thγ(X)＝sign(X)max(|X|-γ,0)。
S6，其余参数的优化求解方法为：
为了优化求解模型，使用交替方向乘子法把有约束问题变为无约束问题。在本发明实施例中，引入参数的优化求解方法如下所示：
为方便模型求解，引入辅助变量
Figure BDA0003781861930000084
优化求解：
令红外背景块张量
Figure BDA0003781861930000085
红外目标块张量
Figure BDA0003781861930000086
为固定常量，求解子模型：
Figure BDA0003781861930000087
Figure BDA0003781861930000088
更新表达如下：
Figure BDA0003781861930000089
其中，
Figure BDA00037818619300000810
表示t-SVT运算。t-fold(X,k1,k2)表示按照k1,k2指定的顺序重新排列X的维度。
为方便模型求解，引入辅助变量
Figure BDA00037818619300000811
优化求解：
Figure BDA00037818619300000812
Figure BDA00037818619300000813
更新表达如下：
Figure BDA00037818619300000814
其中，
Figure BDA00037818619300000815
本发明实施例中，为了更好地求解红外背景块张量
Figure BDA00037818619300000816
引入了辅助变量
Figure BDA00037818619300000817
使得
Figure BDA00037818619300000818
从而得到了
Figure BDA00037818619300000819
引入拉格朗日乘子
Figure BDA00037818619300000820
更新如下：
Figure BDA0003781861930000091
引入参数μ的优化求解：
μt+1＝min(ρμt,μmax)；
μmax表示惩罚参数的最大值，μmax＝1e10。
引入参数β的优化求解：
Figure BDA0003781861930000092
ρ为常数，本发明实施例中，ρ＝1.5，βmax表示惩罚参数的最大值，βmax＝1e10。
红外图像中背景是低秩的，目标是稀疏的，本发明实施例建立了基于低秩稀疏张量分解的红外小目标检测模型；为了获得更准确地背景评估，本发明实施例采用张量加权核范数的和来约束背景。考虑到红外图像中包含着复杂的噪声，为了更好地去除噪声和保护图像的细节信息，本发明实施例通过PnP结构在低秩模型中引入了深度去噪先验。通过结合深度去噪先验和低秩先验，本发明可以更好地解决复杂噪声场景下的红外小目标检测问题。
求解背景块张量子问题，目标块张量子问题和其他参数的子问题后，采用文献[J.Salmon and Y.Strozecki,“Patch reprojections for non-local methods,”SignalProcessing,vol.92,no.2,pp.477–489,2012.]中的统一平均估计量重投影方案(uniformaverage of estimators reprojection scheme，UAE)将解算得到的背景块张量和目标块张量重建为背景图像和目标图像。
最后，本发明实施例用阈值分割方法[C.Gao,D.Meng,Y.Yang,Y.Wang,X.Zhou,andA.G.Hauptmann,“Infrared patch-image model for small target detection in asingle image,”IEEE Transactions on Image Processing,vol.22,no.12,pp.4996–5009,2013.]，从得到的目标图像中检测红外小目标，即实现复杂噪声场景下的红外小目标检测。
本发明实施例在三种真实红外场景中随机添加了混合噪声来模拟真实场景中的复杂噪声。并与6种红外小目标检测方法进行对比实验来验证本发明所提供的红外小目标检测方法在复杂噪声场景下的强鲁棒性和高检测性。步骤如下：
(1)选取6种红外小目标检测方法，分别为：
方法1：基于背景抑制的方法[J.-F.Rivest and R.Fortin,“Detection of dimtargets in digital infrared imagery by morphological image processing,”Optical Engineering,vol.35,no.7,pp.1886–1893,1996.],简称Top-hat方法。
方法2：基于局部对比的方法[J.Han,S.Moradi,I.Faramarzi,H.Zhang,Q.Zhao,X.Zhang,and N.Li,“Infrared small target detection based on the weightedstrengthened local contrast measure,”IEEE Geoscience and Remote SensingLetters,2020.]，简称WSLCM方法。
方法3：基于矩阵低秩稀疏分解的方法[C.Gao,D.Meng,Y.Yang,Y.Wang,X.Zhou,and A.G.Hauptmann,“Infrared patch-image model for small target detection in asingle image,”IEEE Transactions on Image Processing,vol.22,no.12,pp.4996–5009,2013.]，简称IPI方法。
方法4：基于张量低秩稀疏分解的方法[Z.Cao,X.Kong,Q.Zhu,S.Cao,and Z.Peng,“Infrared dim target detection via mode-k1k2 extension tensor tubal rankunder complex ocean environment,”ISPRS Journal of Photogrammetry and RemoteSensing,vol.181,pp.167–190,2021.]，简称METTR方法。
方法5：具有TV正则项的张量低秩稀疏分解的方法[T.Liu,J.Yang,B.Li,C.Xiao,Y.Sun,Y.Wang,and W.An,“Non-convex tensor low-rank approximation for infraredsmall target detection,”arXiv preprint arXiv:2105.14974,2021.]，简称NMOG-MFD方法。
方法6：基于马尔科夫随机场的方法[Y.Sun,J.Yang,and W.An,“Infrared smalltarget detection based on reweighted infrared patch-image model and totalvariation regularization,”in Image and Signal Processing for Remote SensingXXV,vol.11155.International Society for Optics and Photonics,2019,p.111551F.]，简称ASTTV-NTLA方法。
方法7：一种复杂噪声场景下的红外小目标检测方法(本发明实施例的方法)
(2)为了定量评估方法的有效性，采用上述6种红外小目标检测方法在3种合成噪声红外序列图像上进行实验，并选取特征指标为：检测率和虚警率，画ROC曲线图，如图3(a)～图3(c)所示。
(3)为了定性评估方法的卓越性，图4展示了上述6种方法和本发明实施例方案的检测结果图，如图4所示。图3(a)～图3(c)、图4的实验结果表明本发明实施例的方法在定量评估和定性评估上都比其他6种红外小目标检测模型更有优势，检测率更高，虚警率更低。因此，本发明实施例方案可以有效解决复杂噪声场景小红外小目标的检测问题。

Claims (7)

1.一种复杂噪声场景下的红外小目标检测方法，其特征在于，包括以下步骤：
获取复杂噪声场景下的红外图像；
将所述红外图像分割为若干图像块，堆叠所有图像块，构建红外块张量；
利用所述红外块张量，建立以下优化模型：
Figure FDA0003781861920000011
其中，
Figure FDA0003781861920000012
分别表示红外图像块张量、背景块张量和目标块张量；
Figure FDA0003781861920000013
Figure FDA0003781861920000014
表示加权常数，||B||WSTNN表示背景块张量
Figure FDA00037818619200000117
的张量核范数的加权和，⊙表示哈达玛积，
Figure FDA0003781861920000015
为隐式正则项，k1、k2表示模态数，λ和λ1表示正则化参数；W是局部权重图；
Figure FDA0003781861920000016
表示目标块张量的l1范数；所述隐式正则项即利用去噪网络去除红外块张量中噪声后得到的红外块张量；通过上述优化模型计算得到目标块张量，将所述目标块张量重建为目标图像；从所述目标图像中检测红外小目标。
2.根据权利要求1所述的复杂噪声场景下的红外小目标检测方法，其特征在于，所述去噪器为FFDNet。
3.根据权利要求1所述的复杂噪声场景下的红外小目标检测方法，其特征在于，通过所述优化模型计算目标块张量的具体实现过程包括：
令
Figure FDA0003781861920000017
为固定常量，解算以下子模型：
Figure FDA0003781861920000018
则，
Figure FDA0003781861920000019
其中，Thγ(X)＝sign(X)max(|X|-γ,0)，
Figure FDA00037818619200000110
Figure FDA00037818619200000111
μt表示第t次迭代的惩罚系数，
Figure FDA00037818619200000112
表示第t次迭代的拉格朗日乘子，
Figure FDA00037818619200000113
表示第t次迭代的背景块张量，
Figure FDA00037818619200000114
表示第t次迭代的目标块张量。
4.根据权利要求3所述的复杂噪声场景下的红外小目标检测方法，其特征在于，第t次迭代的背景块张量
Figure FDA00037818619200000115
的计算过程包括：
令目标块张量
Figure FDA00037818619200000116
为固定常量，解算以下子模型：
Figure FDA0003781861920000021
则，
Figure FDA0003781861920000022
表示第t-1次迭代的拉格朗日乘子，μt-1表示第t-1次迭代的惩罚参数，
Figure FDA0003781861920000023
表示第t-1次迭代的辅助变量，
Figure FDA0003781861920000024
表示背景块张量的k1k2模态。
5.根据权利要求4所述的复杂噪声场景下的红外小目标检测方法，其特征在于，拉格朗日乘子的迭代更新表达式为：
Figure FDA0003781861920000025
其中，
Figure FDA0003781861920000026
Figure FDA0003781861920000027
表示t-SVT运算，t-fold(X1,k1,k2)表示按照k1,k2指定的顺序重新排列X的维度；
Figure FDA0003781861920000028
FFDNet表示深度去噪网络，μt+1＝min(ρμt,μmax)，μmax表示惩罚系数μt的最大值，ρ为常数，
Figure FDA0003781861920000029
Figure FDA00037818619200000210
表示惩罚系数的最大值。
6.一种终端设备，其特征在于，包括处理器和存储器；所述存储器存储有计算机程序/指令；所述处理器执行所述存储器存储的计算机程序/指令；所述计算机程序/指令被配置为实现权利要求1～5之一所述方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序/指令；其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1～5之一所述方法的步骤。
CN202210931838.7A 2022-08-04 2022-08-04 复杂噪声场景下的红外小目标检测方法、设备及存储介质 Active CN115100415B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210931838.7A CN115100415B (zh) 2022-08-04 2022-08-04 复杂噪声场景下的红外小目标检测方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210931838.7A CN115100415B (zh) 2022-08-04 2022-08-04 复杂噪声场景下的红外小目标检测方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115100415A true CN115100415A (zh) 2022-09-23
CN115100415B CN115100415B (zh) 2024-12-31

Family

ID=83300355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210931838.7A Active CN115100415B (zh) 2022-08-04 2022-08-04 复杂噪声场景下的红外小目标检测方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115100415B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115510660A (zh) * 2022-09-30 2022-12-23 哈尔滨工业大学 一种基于深度稀疏低秩神经网络的红外弱小目标检测方法
CN117974494A (zh) * 2024-03-29 2024-05-03 哈尔滨工业大学 基于正则化低秩张量分解的文化遗产红外热成像去噪方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934815A (zh) * 2019-03-18 2019-06-25 电子科技大学 一种结合atv约束的张量恢复红外弱小目标检测方法
CN110992342A (zh) * 2019-12-05 2020-04-10 电子科技大学 基于3datv约束的spcp红外弱小目标检测方法
CN114782789A (zh) * 2022-02-14 2022-07-22 中国科学院空天信息创新研究院 基于空时张量的红外场景时敏弱小目标检测方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934815A (zh) * 2019-03-18 2019-06-25 电子科技大学 一种结合atv约束的张量恢复红外弱小目标检测方法
CN110992342A (zh) * 2019-12-05 2020-04-10 电子科技大学 基于3datv约束的spcp红外弱小目标检测方法
CN114782789A (zh) * 2022-02-14 2022-07-22 中国科学院空天信息创新研究院 基于空时张量的红外场景时敏弱小目标检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李俊宏;张萍;王晓玮;黄世泽;: "红外弱小目标检测算法综述", 中国图象图形学报, no. 09, 16 September 2020 (2020-09-16) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115510660A (zh) * 2022-09-30 2022-12-23 哈尔滨工业大学 一种基于深度稀疏低秩神经网络的红外弱小目标检测方法
CN117974494A (zh) * 2024-03-29 2024-05-03 哈尔滨工业大学 基于正则化低秩张量分解的文化遗产红外热成像去噪方法

Also Published As

Publication number Publication date
CN115100415B (zh) 2024-12-31

Similar Documents

Publication Publication Date Title
Han et al. Sequential kernel density approximation through mode propagation: Applications to background modeling
Heitz et al. Multiscale minimization of global energy functions in some visual recovery problems
US8718328B1 (en) Digital processing method and system for determination of object occlusion in an image sequence
CN109447073B (zh) 一种基于张量鲁棒主成分分析的红外弱小目标检测方法
CN107680116B (zh) 一种监测视频图像中运动目标的方法
CN110287819A (zh) 动态背景下基于低秩及稀疏分解的动目标检测方法
CN109934815A (zh) 一种结合atv约束的张量恢复红外弱小目标检测方法
CN108510013B (zh) 基于低秩核心矩阵的改进稳健张量主成分分析的背景建模方法
CN109584303B (zh) 一种基于Lp范数和核范数的红外弱小目标检测方法
CN115100415B (zh) 复杂噪声场景下的红外小目标检测方法、设备及存储介质
CN111311611B (zh) 一种实时三维大场景多对象实例分割的方法
CN115187786A (zh) 一种基于旋转的CenterNet2目标检测方法
Dinesh et al. 3D point cloud color denoising using convex graph-signal smoothness priors
CN110992342A (zh) 基于3datv约束的spcp红外弱小目标检测方法
Coelho et al. EM-based mixture models applied to video event detection
CN113256585B (zh) 基于时空张量分解的红外视频运动小目标实时检测方法
CN116863285A (zh) 多尺度生成对抗网络的红外与可见光图像融合方法
CN105261043A (zh) 基于显著性检测的视频运动物体检测方法
Dutta et al. Weighted singular value thresholding and its application to background estimation
CN117853760B (zh) 一种基于表示学习的红外小目标检测方法及装置
Tsuji et al. Non-guided depth completion with adversarial networks
JP4201958B2 (ja) 動画像のオブジェクト抽出装置
Wu et al. Infrared Dim and Small Target Detection Algorithm Combining Multiway Gradient Regularized Principal Component Decomposition Model
CN113033334A (zh) 图像处理方法、装置、电子设备、介质和计算机程序产品
CN116993782B (zh) 一种基于非对称背景感知的目标跟踪方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant