CN111833300A - 一种基于生成对抗学习的复合材料构件缺陷检测方法和装置 - Google Patents
一种基于生成对抗学习的复合材料构件缺陷检测方法和装置 Download PDFInfo
- Publication number
- CN111833300A CN111833300A CN202010502149.5A CN202010502149A CN111833300A CN 111833300 A CN111833300 A CN 111833300A CN 202010502149 A CN202010502149 A CN 202010502149A CN 111833300 A CN111833300 A CN 111833300A
- Authority
- CN
- China
- Prior art keywords
- defect
- image
- model
- suspected
- generative adversarial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
技术领域
本发明涉及复合材料构件缺陷检测领域,尤其涉及一种基于生成对抗学习的复合材料构件缺陷检测方法和装置。
背景技术
复合材料一般由基体和高强度增韧纤维构成,具有非均质、孔隙多的特点。由于基体和纤维不能完全结合,因此复合材料构件的缺陷一般表现为断层、孔隙、基体密度不均匀等。与表面缺陷不同,复合材料构件的缺陷一般为内部缺陷,且尺寸较小。对复合材料的无损检测一般使用X射线或者计算机断层扫描(CT)进行,为了分析缺陷的结构,往往需要极高分辨率的设备,检测成本较高。
但本申请发明人在实现本申请实施例中技术方案的过程中,发现上述现有技术至少存在如下技术问题:
现有技术中在使用深度学习模型对复合材料构件缺陷进行检测的过程中,由于构建数据集中的缺陷样本数量少、类别严重不均衡,从而导致网络难以收敛、漏检率高的技术问题。
发明内容
本发明实施例提供了一种基于生成对抗学习的复合材料构件缺陷检测方法和装置,用以解决现有技术中在使用深度学习模型对复合材料构件缺陷进行检测的过程中,由于构建数据集中的缺陷样本数量少、类别严重不均衡,从而导致网络难以收敛、漏检率高的技术问题。实现了复合材料构件缺陷的精确检测,大大降低漏检率的技术效果。
鉴于上述问题,提出了本申请实施例以便提供一种基于生成对抗学习的复合材料构件缺陷检测方法和装置。
第一方面,本发明提供了一种基于生成对抗学习的复合材料构件缺陷检测方法,所述方法包括:构造编码-解码结构的生成对抗模型;根据待检测图像获得缺陷数据集利用所述缺陷数据集训练所述生成对抗模型;根据所述训练后的生成对抗模型筛选获得疑似缺陷;构造卷积神经网络模型;利用所述缺陷数据集训练所述卷积神经网络模型;根据所述训练后的卷积神经网络模型对所述疑似缺陷进行精确分割,获得缺陷检测结果。
优选的,其中,所述构造编码-解码结构的生成对抗模型,包括:
在生成对抗网络模型中添加编码器E(x,θe),其中,x表示待检测图像,θe为网络参数编码器E(x)输出z=E(x)为所述待检测图像的编码;
优选的,其中,所述重构损失项为:
其中,所述x为所述待检测图像,x′为输出项,所述i,j,k为对应的三维图像的像素索引。
优选的,其中,所述重构损失项为:
其中,所述x为所述待检测图像,x′为输出项,所述i,j,k为对应的三维图像的像素索引。
优选的,其中,所述根据所述训练后的生成对抗模型筛选获得疑似缺陷,包括:
根据所述第一重构误差,确定异常检测的第一阈值At;
对待检测图像使用所述生成对抗模型进行重构,获得第二重构误差;
判断所述第二重构误差是否超出所述第一阈值At,获得第一判断结果;
根据所述第一判断结果,获得待检测图像的疑似缺陷。
优选的,其中,所述根据所述第一判断结果,获得待检测图像的疑似缺陷,包括:
如果所述第一判断结果为所述第二重构误差超出所述第一阈值At,确定所述待检测图像存在疑似缺陷;
如果所述第一判断结果为所述第二重构误差未超出所述第一阈值At,确定所述待检测图像不存在疑似缺陷。
优选的,其中,所述根据所述训练后的卷积神经网络模型对所述疑似缺陷进行精确分割,获得缺陷检测结果,包括:
将所述待检测图像的疑似缺陷输入所述卷积神经网络模型,获得输出结果,所述输出结果包括所述疑似缺陷的位置和轮廓;
获得预定检测标准;
根据所述疑似缺陷的轮廓和位置,结合预定检测标准判断所述疑似缺陷是否影响构件的力学性能;
如果所述疑似缺陷影响构件的力学性能,确定所述疑似缺陷对应的构件不合格;
如果所述疑似缺陷不影响构件的力学性能,确定所述疑似缺陷对应的构件为合格。
第二方面,本发明提供了一种基于生成对抗学习的复合材料构件缺陷检测装置,所述装置包括:
第一构造单元,所述第一构造单元用于构造编码一解码结构的生成对抗模型;
第一获得单元,所述第一获得单元用于根据待检测图像获得缺陷数据集
第二获得单元,所述第二获得单元用于根据所述训练后的生成对抗模型筛选获得疑似缺陷;
第二构造单元,所述第二构造单元用于构造卷积神经网络模型;
第二训练单元,所述第二训练单元用于利用所述缺陷数据集训练所述卷积神经网络模型;
第三获得单元,所述第三获得单元用于根据所述训练后的卷积神经网络模型对所述疑似缺陷进行精确分割,获得缺陷检测结果。
优选的,所述第一构造单元包括:
所述第一添加单元,所述第一添加单元用于在生成对抗网络模型中添加编码器E(x,θe),其中,x表示待检测图像,θe为网络参数编码器E(x)输出z=E(x)为所述待检测图像的编码;
优选的,其中,所述重构损失项为:
其中,所述x为所述待检测图像,x′为输出项,所述i,j,k为对应的三维图像的像素索引。
优选的,其中,所述重构损失项为:
其中,所述x为所述待检测图像,x′为输出项,所述i,j,k为对应的三维图像的像素索引。
优选的,所述第二获得单元包括:
第一确定单元,所述第一确定单元用于根据所述第一重构误差,确定异常检测的第一阈值At;
第七获得单元,所述第七获得单元用于对待检测图像使用所述生成对抗模型进行重构,获得第二重构误差;
第一判断单元,所述第一判断单元用于判断所述第二重构误差是否超出所述第一阈值At,获得第一判断结果;
第八获得单元,所述第八获得单元用于根据所述第一判断结果,获得待检测图像的疑似缺陷。
优选的,所述第八获得单元包括:
第二确定单元,所述第二确定单元用于如果所述第一判断结果为所述第二重构误差超出所述第一阈值At,确定所述待检测图像存在疑似缺陷;
第三确定单元,所述第三确定单元用于如果所述第一判断结果为所述第二重构误差未超出所述第一阈值At,确定所述待检测图像不存在疑似缺陷。
优选的,所述第三获得单元包括:
第九获得单元,所述第九获得单元用于将所述待检测图像的疑似缺陷输入所述卷积神经网络模型,获得输出结果,所述输出结果包括所述疑似缺陷的位置和轮廓;
第十获得单元,所述第十获得单元用于获得预定检测标准;
第二判断单元,所述第二判断单元用于根据所述疑似缺陷的轮廓和位置,结合预定检测标准判断所述疑似缺陷是否影响构件的力学性能;
第四确定单元,所述第四确定单元用于如果所述疑似缺陷影响构件的力学性能,确定所述疑似缺陷对应的构件不合格;
第五确定单元,所述第五确定单元用于如果所述疑似缺陷不影响构件的力学性能,确定所述疑似缺陷对应的构件为合格。
第三方面,本发明提供了一种基于生成对抗学习的复合材料构件缺陷检测装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现以下步骤:
构造编码一解码结构的生成对抗模型;根据待检测图像获得缺陷数据集利用所述缺陷数据集训练所述生成对抗模型;根据所述训练后的生成对抗模型筛选获得疑似缺陷;构造卷积神经网络模型;利用所述缺陷数据集训练所述卷积神经网络模型;根据所述训练后的卷积神经网络模型对所述疑似缺陷进行精确分割,获得缺陷检测结果。
第四方面,本发明提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现以下步骤:
构造编码-解码结构的生成对抗模型;根据待检测图像获得缺陷数据集利用所述缺陷数据集训练所述生成对抗模型;根据所述训练后的生成对抗模型筛选获得疑似缺陷;构造卷积神经网络模型;利用所述缺陷数据集训练所述卷积神经网络模型;根据所述训练后的卷积神经网络模型对所述疑似缺陷进行精确分割,获得缺陷检测结果。
本申请实施例中的上述一个或多个技术方案,至少具有如下一种或多种技术效果:
本发明实施例提供的一种基于生成对抗学习的复合材料构件缺陷检测方法和装置,所述方法包括:构造编码一解码结构的生成对抗模型;根据待检测图像获得缺陷数据集利用所述缺陷数据集训练所述生成对抗模型;根据所述训练后的生成对抗模型筛选获得疑似缺陷;构造卷积神经网络模型;利用所述缺陷数据集训练所述卷积神经网络模型;根据所述训练后的卷积神经网络模型对所述疑似缺陷进行精确分割,获得缺陷检测结果。用以解决现有技术中在使用深度学习模型对复合材料构件缺陷进行检测的过程中,由于构建数据集中的缺陷样本数量少、类别严重不均衡,从而导致网络难以收敛、漏检率高的技术问题。实现了复合材料构件缺陷的精确检测,大大降低漏检率的技术效果。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
图1为本发明实施例中一种基于生成对抗学习的复合材料构件缺陷检测方法的流程示意图;
图2为本发明实施例中一种基于生成对抗学习的复合材料构件缺陷检测装置的结构示意图;
图3为本发明实施例中另一种基于生成对抗学习的复合材料构件缺陷检测装置的结构示意图;
图4为本发明实施例中生成对抗网络模型的结构示意图;
图5为本发明实施例中缺陷数据集的重构误差的频率分布图。
附图标记说明:第一构造单元11,第一获得单元12,第一训练单元13,第二获得单元14,第二构造单元15,第二训练单元16,第三获得单元17,总线300,接收器301,处理器302,发送器303,存储器304,总线接口306。
具体实施方式
本发明实施例提供了一种基于生成对抗学习的复合材料构件缺陷检测方法和装置,解决了现有技术中在使用深度学习模型对复合材料构件缺陷进行检测的过程中,由于构建数据集中的缺陷样本数量少、类别严重不均衡,从而导致网络难以收敛、漏检率高的技术问题。
本发明提供的技术方案总体思路如下:构造编码一解码结构的生成对抗模型;根据待检测图像获得缺陷数据集利用所述缺陷数据集训练所述生成对抗模型;根据所述训练后的生成对抗模型筛选获得疑似缺陷;构造卷积神经网络模型;利用所述缺陷数据集训练所述卷积神经网络模型;根据所述训练后的卷积神经网络模型对所述疑似缺陷进行精确分割,获得缺陷检测结果。用以解决现有技术中在使用深度学习模型对复合材料构件缺陷进行检测的过程中,由于构建数据集中的缺陷样本数量少、类别严重不均衡,从而导致网络难以收敛、漏检率高的技术问题。实现了复合材料构件缺陷的精确检测,大大降低漏检率的技术效果。
下面通过附图以及具体实施例对本发明技术方案做详细的说明,应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明,而不是对本申请技术方案的限定,在不冲突的情况下,本申请实施例以及实施例中的技术特征可以相互组合。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
实施例一
图1为本发明实施例中一种基于生成对抗学习的复合材料构件缺陷检测方法的流程示意图。如图1所示,本发明实施例提供了一种基于生成对抗学习的复合材料构件缺陷检测方法,所述方法包括:
步骤110:构造编码-解码结构的生成对抗模型;
进一步的,所述构造编码-解码结构的生成对抗模型,包括:在生成对抗网络模型中添加编码器E(x,θe),其中,x表示待检测图像,θe为网络参数编码器E(x)输出z=E(x)为所述待检测图像的编码;加入对抗网络D′(z,φ),φ为网络参数,对所述待检测图像的编码添加约束,使得所述待检测图像的编码z分布接近多维高斯分布
其中,所述x为所述待检测图像,x′为输出项,所述i,j,k为对应的三维图像的像素索引。
其中,所述x为所述待检测图像,x′为输出项,所述i,j,k为对应的三维图像的像素索引。
具体而言,C/SiC复合材料构件的无损检测图像一般为断层扫描图像(CT),可以将CT图像看作一种三维图像。在本申请实施例中,使用深度学习算法对C/SiC复合材料构件进行缺陷检测时,首先需构建一编码一解码结构的生成对抗模型,其中,根据C/SiC复合材料构件的CT检测图像构成,设其中非缺陷图像的分布为pdata,用表示所述缺陷数据集,在生成对抗网络模型中添加编码器E(x,θe)和判别器D′(z,φ),这里θe、φ表示网络参数。这样,所述生成对抗网络模型就包含编码器E(x,θe)、生成器G(z,θg)、隐变量判别器D′(z,φ)和图像判别器D(z,θ)。如图4所示,首先所述待检测图像x通过所述编码器E(z,θe)将其映射为一个隐变量z,通过所述隐变量判别器D′对z进行约束,使其符合多维高斯分布隐空间的编码输入到生成器G(z;θg)中,生成对应的重构图像x′~pg。生成图像判别器约束生成器使其生成的图像满足数据分布pdata。对隐变量判别器D,使用真实样本和编码器得到的编码分布对其进行对抗训练,同样对生成图像判别器使用生成器生成的图像以及真实图像进行对抗训练。
具体而言,假设所述待检测图像x~pdata(x)来自缺陷数据集令编码器的输出为z=E(x),生成器的输出为x′=G(z);使用D(x),D′(z)分别表示生成图像判别器的输出和隐变量判别器的输出。那么对编码器和隐变量判别器组成的系统V(E,D′),训练过程为进行极大极小博弈:
编码器试图将图像映射为编码分布,在判别器的作用下,编码分布趋向于隐变量的先验分布。假设p(z)为隐变量服从的先验分布,为多维高斯分布,那么编码器最终将图像映射为多维高斯分布。
对编码器E、生成器G,和生成图像判别器组成的系统V(GE,D),与原始的生成对抗网络相同,同样对其进行对抗训练。令编码器和生成器组成的系统为GE,GE可以将看作自编码器。在给定输入x~pdata(x)时输出为x′=GE(x),那么对系统V(GE,D),同样做极大极小博弈,有:
通过对抗训练,自编码器GE通过将输入x重构为x′,生成图像判别器约束自编码器的输出,使其符合数据分布pdata(x)。为了使得输入图像和输出图像对应,在目标函数中加入了重构损失用于约束输入和输出的相似性,其中,的公式如下:
综合以上,对编码器E和生成器G,训练目标函数为:
其中,i,j,k为对应的三维图像的像素索引。
由于复合材料中的缺陷一般较少,因此无损检测图像中存在大量的非缺陷样本,所以将所述缺陷数据集中不包含缺陷的样本挑出,训练所述编码一解码结构的生成对抗模型,重构输入样本。当所述生成对抗模型收敛之后,所述生成对抗模型可以建模非缺陷样本的分布,而无法建模缺陷样本的分布,也即对无缺陷图像的重构误差较小,而对包含缺陷的图像重构误差较大,从而可以使用异常检测算法检测待检测图像中是否存在疑似缺陷。
步骤140:根据所述训练后的生成对抗模型筛选获得疑似缺陷;
进一步的,所述根据所述训练后的生成对抗模型筛选获得疑似缺陷,包括:对所述缺陷数据集中的样本使用所述生成对抗模型进行重构,获得第一重构误差;根据所述第一重构误差,确定异常检测的第一阈值At;对待检测图像使用所述生成对抗模型进行重构,获得第二重构误差;判断所述第二重构误差是否超出所述第一阈值At,获得第一判断结果;根据所述第一判断结果,获得待检测图像的疑似缺陷。
进一步的,所述根据所述第一判断结果,获得待检测图像的疑似缺陷,包括:如果所述第一判断结果为所述第二重构误差超出所述第一阈值At,确定所述待检测图像存在疑似缺陷;如果所述第一判断结果为所述第二重构误差未超出所述第一阈值At,确定所述待检测图像不存在疑似缺陷。
具体而言,为了确定异常检测的第一阈值At,首先对所述缺陷数据集中的所有样本使用所述生成对抗模型进行重构,并计算出所述缺陷数据集的所有样本的归一化重构误差,即所述第一重构误差,然后对所述第一重构误差进行分析即可得出所述第一阈值At。比如,图5是一个异常分数分布,所述异常分数分布分别绘制出了所述缺陷数据集中缺陷样本和无缺陷样本的第一重构误差分布图。从图3可以明显看出,大多数无缺陷样本的所述第一重构误差较小,而包含缺陷样本的所述第一重构误差较大。根据所述复合材料构件缺陷检测的要求,即可确定所述第一阈值At。在确定所述第一阈值At之后,即可在所述待检测图像中对疑似缺陷进行检测。对每张所述待检测图像x,使用训练好的所述生成对抗模型进行重构,并计算归一化重构误差A(x),即所述第二重构误差,然后判断所述第二重构误差A(x)是否超出所述第一阈值At,如果所述第二重构误差A(x)未超出所述第一阈值At,即可所述待检测图像x不存在疑似缺陷;如果所述第二重构误差A(x)超出所述第一阈值At,即A(x)>At时,就可确定所述待检测图像x存在疑似缺陷,同样地,对全部所述待检测图像进行异常检测,从而达到筛选所述待检测图像的疑似缺陷的技术效果。
在步骤140中所述第二重构误差A(x)的具体计算过程为:首先将所述待检测图像x输入所述生成对抗模型中,获得所述生成器G的输出G(E(x)),通过计算两者的重构误差得到异常分数A(x),即所述第二重构误差,其中,所述第二重构误差的计算公式为:
同上,这里可以选择最小均方误差函数和二进制交叉熵函数为了便于分判断,可以将所述待检测图像的异常分数归一化。即在得到所有所述待检测图像的异常分数后,计算所有所述待检测图像异常分数的最大值和最小值,并将其归一化,即将A(x)的取值范围限定在[0,1]之间。归一化的异常分数由下式给出:
步骤150:构造卷积神经网络模型;
具体而言,所述卷积神经网络模型的网络结构为三维的U-net网络,其中,所述卷积神经网络模型由前导的卷积层、下采样部分和上采样部分构成,整体结构呈U型。下采样部分包含四个由双层卷积层组成,每个卷积层由卷积层、批标准化层和激活层构成。下采样由最大池化层完成,经过一层最大池化,特征图的分辨率降低一半。与之类似,上采样部分同样由两个部分构成,即上采样层和双层卷积。与最大池化相反,上采样层提升特征图的分辨率。一般采用双线性插值放大特征图。为了结合低分辨率和高分辨率的特征图,在采样和下采样的对应层之间加入跨层连接,从而达到构造卷积神经网络模型的技术效果。
步骤160:利用所述缺陷数据集训练所述卷积神经网络模型;
步骤170:根据所述训练后的卷积神经网络模型对所述疑似缺陷进行精确分割,获得缺陷检测结果。
进一步的,所述根据所述训练后的卷积神经网络模型对所述疑似缺陷进行精确分割,获得缺陷检测结果,包括:将所述待检测图像的疑似缺陷输入所述卷积神经网络模型,获得输出结果,所述输出结果包括所述疑似缺陷的位置和轮廓;获得预定检测标准;根据所述疑似缺陷的轮廓和位置,结合预定检测标准判断所述疑似缺陷是否影响构件的力学性能;如果所述疑似缺陷影响构件的力学性能,确定所述疑似缺陷对应的构件不合格;如果所述疑似缺陷不影响构件的力学性能,确定所述疑似缺陷对应的构件为合格。
具体而言,使用所述缺陷数据集训练所述卷积神经网络模型,使得训练后的所述卷积神经网络模型具备分割缺陷的能力。当训练后的所述卷积神经网络模型收敛之后,即可用其对所述疑似缺陷进行精确分割,具体地,将存在疑似缺陷的所述待检测图像x输入所述卷积神经网络模型中,获得输出结果,其中,所述输出结果给出了所述疑似缺陷的位置和轮廓,然后将C/SiC复合材料构件力学性能对缺陷的要求作为检测所述复合材料构件是否合格的预定检测标准,最后根据所述预定检测标准,判断所述疑似缺陷的轮廓和位置是否会影响构件的力学性能,如果所述疑似缺陷的轮廓和位置会影响构件的力学性能,则确定所述疑似缺陷对应的构件不合格,即存在所述疑似缺陷的复合材料构件不合格;如果所述疑似缺陷的轮廓和位置不会影响构件的力学性能,则确定所述疑似缺陷对应的构件合格,即存在所述疑似缺陷的复合材料构件为合格构件,进而实现了复合材料构件缺陷的精确检测,大大降低漏检率的技术效果。
实施例二
基于与前述实施例中一种基于生成对抗学习的复合材料构件缺陷检测方法同样的发明构思,本发明还提供一种基于生成对抗学习的复合材料构件缺陷检测装置,如图2所示,所述装置包括:
第一构造单元11,所述第一构造单元11用于构造编码—解码结构的生成对抗模型;
第二获得单元14,所述第二获得单元14用于根据所述训练后的生成对抗模型筛选获得疑似缺陷;
第二构造单元15,所述第二构造单元15用于构造卷积神经网络模型;
第二训练单元16,所述第二训练单元16用于利用所述缺陷数据集训练所述卷积神经网络模型;
第三获得单元17,所述第三获得单元17用于根据所述训练后的卷积神经网络模型对所述疑似缺陷进行精确分割,获得缺陷检测结果。
进一步的,所述第一构造单元11包括:
所述第一添加单元,所述第一添加单元用于在生成对抗网络模型中添加编码器E(x,θe),其中,x表示待检测图像,θe为网络参数编码器E(x)输出z=E(x)为所述待检测图像的编码;
进一步的,其中,所述重构损失项为:
其中,所述x为所述待检测图像,x′为输出项,所述i,j,k为对应的三维图像的像素索引。
进一步的,其中,所述重构损失项为:
其中,所述x为所述待检测图像,x′为输出项,所述i,j,k为对应的三维图像的像素索引。
进一步的,所述第二获得单元14包括:
第一确定单元,所述第一确定单元用于根据所述第一重构误差,确定异常检测的第一阈值At;
第七获得单元,所述第七获得单元用于对待检测图像使用所述生成对抗模型进行重构,获得第二重构误差;
第一判断单元,所述第一判断单元用于判断所述第二重构误差是否超出所述第一阈值At,获得第一判断结果;
第八获得单元,所述第八获得单元用于根据所述第一判断结果,获得待检测图像的疑似缺陷。
进一步的,所述第八获得单元包括:
第二确定单元,所述第二确定单元用于如果所述第一判断结果为所述第二重构误差超出所述第一阈值At,确定所述待检测图像存在疑似缺陷;
第三确定单元,所述第三确定单元用于如果所述第一判断结果为所述第二重构误差未超出所述第一阈值At,确定所述待检测图像不存在疑似缺陷。
进一步的,所述第三获得单元17包括:
第九获得单元,所述第九获得单元用于将所述待检测图像的疑似缺陷输入所述卷积神经网络模型,获得输出结果,所述输出结果包括所述疑似缺陷的位置和轮廓;
第十获得单元,所述第十获得单元用于获得预定检测标准;
第二判断单元,所述第二判断单元用于根据所述疑似缺陷的轮廓和位置,结合预定检测标准判断所述疑似缺陷是否影响构件的力学性能;
第四确定单元,所述第四确定单元用于如果所述疑似缺陷影响构件的力学性能,确定所述疑似缺陷对应的构件不合格;
第五确定单元,所述第五确定单元用于如果所述疑似缺陷不影响构件的力学性能,确定所述疑似缺陷对应的构件为合格。
前述图1实施例一中的一种基于生成对抗学习的复合材料构件缺陷检测方法的各种变化方式和具体实例同样适用于本实施例的一种基于生成对抗学习的复合材料构件缺陷检测装置,通过前述对一种基于生成对抗学习的复合材料构件缺陷检测方法的详细描述,本领域技术人员可以清楚的知道本实施例中一种基于生成对抗学习的复合材料构件缺陷检测装置的实施方法,所以为了说明书的简洁,在此不再详述。
实施例三
基于与前述实施例中一种基于生成对抗学习的复合材料构件缺陷检测方法同样的发明构思,本发明还提供一种基于生成对抗学习的复合材料构件缺陷检测装置,其上存储有计算机程序,该程序被处理器执行时实现前文所述一种基于生成对抗学习的复合材料构件缺陷检测方法的任一方法的步骤。
其中,在图3中,总线架构(用总线300来代表),总线300可以包括任意数量的互联的总线和桥,总线300将包括由处理器302代表的一个或多个处理器和存储器304代表的存储器的各种电路链接在一起。总线300还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口306在总线300和接收器301和发送器303之间提供接口。接收器301和发送器303可以是同一个元件,即收发机,提供用于在传输介质上与各种其他装置通信的单元。
处理器302负责管理总线300和通常的处理,而存储器304可以被用于存储处理器302在执行操作时所使用的数据。
实施例四
基于与前述实施例中一种基于生成对抗学习的复合材料构件缺陷检测方法同样的发明构思,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现以下步骤:
构造编码—解码结构的生成对抗模型;根据待检测图像获得缺陷数据集利用所述缺陷数据集训练所述生成对抗模型;根据所述训练后的生成对抗模型筛选获得疑似缺陷;构造卷积神经网络模型;利用所述缺陷数据集训练所述卷积神经网络模型;根据所述训练后的卷积神经网络模型对所述疑似缺陷进行精确分割,获得缺陷检测结果。
在具体实施过程中,该程序被处理器执行时,还可以实现实施例一中的任一方法步骤。
本申请实施例中的上述一个或多个技术方案,至少具有如下一种或多种技术效果:
本发明实施例提供的一种基于生成对抗学习的复合材料构件缺陷检测方法和装置,所述方法包括:构造编码—解码结构的生成对抗模型;根据待检测图像获得缺陷数据集利用所述缺陷数据集训练所述生成对抗模型;根据所述训练后的生成对抗模型筛选获得疑似缺陷;构造卷积神经网络模型;利用所述缺陷数据集训练所述卷积神经网络模型;根据所述训练后的卷积神经网络模型对所述疑似缺陷进行精确分割,获得缺陷检测结果。用以解决现有技术中在使用深度学习模型对复合材料构件缺陷进行检测的过程中,由于构建数据集中的缺陷样本数量少、类别严重不均衡,从而导致网络难以收敛、漏检率高的技术问题。实现了复合材料构件缺陷的精确检测,大大降低漏检率的技术效果。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
6.如权利要求5所述的方法,其中,所述根据所述第一判断结果,获得待检测图像的疑似缺陷,包括:
如果所述第一判断结果为所述第二重构误差超出所述第一阈值At,确定所述待检测图像存在疑似缺陷;
如果所述第一判断结果为所述第二重构误差未超出所述第一阈值At,确定所述待检测图像不存在疑似缺陷。
7.如权利要求1所述的方法,其中,所述根据所述训练后的卷积神经网络模型对所述疑似缺陷进行精确分割,获得缺陷检测结果,包括:
将所述待检测图像的疑似缺陷输入所述卷积神经网络模型,获得输出结果,所述输出结果包括所述疑似缺陷的位置和轮廓;
获得预定检测标准;
根据所述疑似缺陷的轮廓和位置,结合预定检测标准判断所述疑似缺陷是否影响构件的力学性能;
如果所述疑似缺陷影响构件的力学性能,确定所述疑似缺陷对应的构件不合格;
如果所述疑似缺陷不影响构件的力学性能,确定所述疑似缺陷对应的构件为合格。
8.一种基于生成对抗学习的复合材料构件缺陷检测装置,其特征在于,所述装置包括:
第一构造单元,所述第一构造单元用于构造编码—解码结构的生成对抗模型;
第二获得单元,所述第二获得单元用于根据所述训练后的生成对抗模型筛选获得疑似缺陷;
第二构造单元,所述第二构造单元用于构造卷积神经网络模型;
第二训练单元,所述第二训练单元用于利用所述缺陷数据集训练所述卷积神经网络模型;
第三获得单元,所述第三获得单元用于根据所述训练后的卷积神经网络模型对所述疑似缺陷进行精确分割,获得缺陷检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010502149.5A CN111833300B (zh) | 2020-06-04 | 2020-06-04 | 一种基于生成对抗学习的复合材料构件缺陷检测方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010502149.5A CN111833300B (zh) | 2020-06-04 | 2020-06-04 | 一种基于生成对抗学习的复合材料构件缺陷检测方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111833300A true CN111833300A (zh) | 2020-10-27 |
| CN111833300B CN111833300B (zh) | 2023-03-14 |
Family
ID=72897574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010502149.5A Active CN111833300B (zh) | 2020-06-04 | 2020-06-04 | 一种基于生成对抗学习的复合材料构件缺陷检测方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111833300B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112348184A (zh) * | 2020-11-02 | 2021-02-09 | 广西仙草堂制药有限责任公司 | 一种青蒿素纯度的检测方法和装置 |
| CN112508862A (zh) * | 2020-11-19 | 2021-03-16 | 电子科技大学 | 一种通过改进gan增强裂纹磁光图像的方法 |
| CN112649716A (zh) * | 2020-12-18 | 2021-04-13 | 安徽诚越电子科技有限公司 | 一种超级电容使用安全的检测方法及装置 |
| CN112802001A (zh) * | 2021-02-07 | 2021-05-14 | 柳州龙燊汽车部件有限公司 | 一种汽车座椅骨架缺陷智能检测方法及装置 |
| CN113658096A (zh) * | 2021-07-15 | 2021-11-16 | 佛山市顺德区普瑞特机械制造有限公司 | 板材异常检测方法及装置 |
| CN113688890A (zh) * | 2021-08-13 | 2021-11-23 | 上海商汤智能科技有限公司 | 异常检测方法、装置、电子设备及计算机可读存储介质 |
| CN113947597A (zh) * | 2021-12-20 | 2022-01-18 | 宁波海棠信息技术有限公司 | 一种基于屏蔽重建的工业缺陷检测方法、装置及介质 |
| CN114330090A (zh) * | 2021-09-24 | 2022-04-12 | 腾讯科技(深圳)有限公司 | 一种缺陷检测方法、装置、计算机设备和存储介质 |
| CN114510957A (zh) * | 2020-11-16 | 2022-05-17 | 财团法人工业技术研究院 | 具有生成对抗网络架构的异常检测装置和异常检测方法 |
| WO2022130814A1 (ja) * | 2020-12-16 | 2022-06-23 | コニカミノルタ株式会社 | 指標選択装置、情報処理装置、情報処理システム、検査装置、検査システム、指標選択方法、および指標選択プログラム |
| US20220207707A1 (en) * | 2020-12-30 | 2022-06-30 | Hon Hai Precision Industry Co., Ltd. | Image defect detection method, electronic device using the same |
| CN114707600A (zh) * | 2022-04-01 | 2022-07-05 | 西安电子科技大学 | 一种基于生成模型的异常检测方法及系统 |
| CN115170901A (zh) * | 2022-06-15 | 2022-10-11 | 深圳市深视创新科技有限公司 | 缺陷样本生成方法、装置及计算机可读存储介质 |
| CN115564950A (zh) * | 2022-09-29 | 2023-01-03 | 中北大学 | 基于深度学习的小样本火箭弹粘接缺陷检测方法 |
| CN115830403A (zh) * | 2023-02-22 | 2023-03-21 | 厦门微亚智能科技有限公司 | 一种基于深度学习的自动缺陷分类系统及方法 |
| CN115861160A (zh) * | 2022-07-20 | 2023-03-28 | 长春工业大学 | 一种手机电源接口表面缺陷检测方法、装置和存储介质 |
| CN116152174A (zh) * | 2022-12-23 | 2023-05-23 | 宁波海棠信息技术有限公司 | 一种跨类别的工业缺陷检测方法、装置及介质 |
| CN116740020A (zh) * | 2023-06-13 | 2023-09-12 | 西北工业大学 | 基于对抗学习的航空发动机叶片图像缺陷智能检测方法 |
| CN119850624A (zh) * | 2025-03-20 | 2025-04-18 | 北京金冠智能电气科技有限公司 | 一种电阻片缺陷检测方法及装置、电子设备、存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109829891A (zh) * | 2019-01-02 | 2019-05-31 | 浙江大学 | 一种基于密集生成对抗神经网络的磁瓦表面缺陷检测方法 |
| CN110619618A (zh) * | 2018-06-04 | 2019-12-27 | 杭州海康威视数字技术股份有限公司 | 一种表面缺陷检测方法、装置及电子设备 |
| CN110796669A (zh) * | 2019-10-28 | 2020-02-14 | 上海悦易网络信息技术有限公司 | 一种垂直边框定位方法及设备 |
-
2020
- 2020-06-04 CN CN202010502149.5A patent/CN111833300B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110619618A (zh) * | 2018-06-04 | 2019-12-27 | 杭州海康威视数字技术股份有限公司 | 一种表面缺陷检测方法、装置及电子设备 |
| CN109829891A (zh) * | 2019-01-02 | 2019-05-31 | 浙江大学 | 一种基于密集生成对抗神经网络的磁瓦表面缺陷检测方法 |
| CN110796669A (zh) * | 2019-10-28 | 2020-02-14 | 上海悦易网络信息技术有限公司 | 一种垂直边框定位方法及设备 |
Non-Patent Citations (1)
| Title |
|---|
| 郭瑞琦等: "基于U-Net卷积神经网络的轮毂缺陷分割", 《自动化与仪表》 * |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112348184A (zh) * | 2020-11-02 | 2021-02-09 | 广西仙草堂制药有限责任公司 | 一种青蒿素纯度的检测方法和装置 |
| CN114510957A (zh) * | 2020-11-16 | 2022-05-17 | 财团法人工业技术研究院 | 具有生成对抗网络架构的异常检测装置和异常检测方法 |
| CN112508862A (zh) * | 2020-11-19 | 2021-03-16 | 电子科技大学 | 一种通过改进gan增强裂纹磁光图像的方法 |
| CN112508862B (zh) * | 2020-11-19 | 2022-03-25 | 电子科技大学 | 一种通过改进gan增强裂纹磁光图像的方法 |
| JPWO2022130814A1 (zh) * | 2020-12-16 | 2022-06-23 | ||
| JP7718429B2 (ja) | 2020-12-16 | 2025-08-05 | コニカミノルタ株式会社 | 指標選択装置、情報処理装置、情報処理システム、検査装置、検査システム、指標選択方法、および指標選択プログラム |
| WO2022130814A1 (ja) * | 2020-12-16 | 2022-06-23 | コニカミノルタ株式会社 | 指標選択装置、情報処理装置、情報処理システム、検査装置、検査システム、指標選択方法、および指標選択プログラム |
| CN112649716A (zh) * | 2020-12-18 | 2021-04-13 | 安徽诚越电子科技有限公司 | 一种超级电容使用安全的检测方法及装置 |
| US12293502B2 (en) * | 2020-12-30 | 2025-05-06 | Hon Hai Precision Industry Co., Ltd. | Image defect detection method, electronic device using the same |
| US20220207707A1 (en) * | 2020-12-30 | 2022-06-30 | Hon Hai Precision Industry Co., Ltd. | Image defect detection method, electronic device using the same |
| CN112802001A (zh) * | 2021-02-07 | 2021-05-14 | 柳州龙燊汽车部件有限公司 | 一种汽车座椅骨架缺陷智能检测方法及装置 |
| CN113658096A (zh) * | 2021-07-15 | 2021-11-16 | 佛山市顺德区普瑞特机械制造有限公司 | 板材异常检测方法及装置 |
| CN113658096B (zh) * | 2021-07-15 | 2024-11-22 | 广东瀚秋智能装备股份有限公司 | 板材异常检测方法及装置 |
| CN113688890A (zh) * | 2021-08-13 | 2021-11-23 | 上海商汤智能科技有限公司 | 异常检测方法、装置、电子设备及计算机可读存储介质 |
| CN114330090A (zh) * | 2021-09-24 | 2022-04-12 | 腾讯科技(深圳)有限公司 | 一种缺陷检测方法、装置、计算机设备和存储介质 |
| CN114330090B (zh) * | 2021-09-24 | 2024-08-13 | 腾讯科技(深圳)有限公司 | 一种缺陷检测方法、装置、计算机设备和存储介质 |
| CN113947597A (zh) * | 2021-12-20 | 2022-01-18 | 宁波海棠信息技术有限公司 | 一种基于屏蔽重建的工业缺陷检测方法、装置及介质 |
| CN114707600A (zh) * | 2022-04-01 | 2022-07-05 | 西安电子科技大学 | 一种基于生成模型的异常检测方法及系统 |
| CN115170901A (zh) * | 2022-06-15 | 2022-10-11 | 深圳市深视创新科技有限公司 | 缺陷样本生成方法、装置及计算机可读存储介质 |
| CN115861160A (zh) * | 2022-07-20 | 2023-03-28 | 长春工业大学 | 一种手机电源接口表面缺陷检测方法、装置和存储介质 |
| CN115564950A (zh) * | 2022-09-29 | 2023-01-03 | 中北大学 | 基于深度学习的小样本火箭弹粘接缺陷检测方法 |
| CN116152174A (zh) * | 2022-12-23 | 2023-05-23 | 宁波海棠信息技术有限公司 | 一种跨类别的工业缺陷检测方法、装置及介质 |
| CN115830403B (zh) * | 2023-02-22 | 2023-05-30 | 厦门微亚智能科技有限公司 | 一种基于深度学习的自动缺陷分类系统及方法 |
| CN115830403A (zh) * | 2023-02-22 | 2023-03-21 | 厦门微亚智能科技有限公司 | 一种基于深度学习的自动缺陷分类系统及方法 |
| CN116740020A (zh) * | 2023-06-13 | 2023-09-12 | 西北工业大学 | 基于对抗学习的航空发动机叶片图像缺陷智能检测方法 |
| CN119850624A (zh) * | 2025-03-20 | 2025-04-18 | 北京金冠智能电气科技有限公司 | 一种电阻片缺陷检测方法及装置、电子设备、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111833300B (zh) | 2023-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111833300B (zh) | 一种基于生成对抗学习的复合材料构件缺陷检测方法和装置 | |
| CN110361778B (zh) | 一种基于生成对抗网络的地震数据重建方法 | |
| CN114266339A (zh) | 一种基于小样本和gaf-dcgan的滚动轴承故障诊断方法 | |
| CN112508429B (zh) | 一种基于卷积神经网络的埋地管道阴极保护系统故障诊断方法 | |
| CN113538353B (zh) | 基于单通道图数据增强和迁移训练残差网络的五相异步电动机滚动轴承故障诊断方法 | |
| Luo et al. | Normal reference attention and defective feature perception network for surface defect detection | |
| CN111458144A (zh) | 一种基于卷积神经网络的风力发电机故障诊断方法 | |
| CN109685097B (zh) | 一种基于gan的图像检测方法及装置 | |
| CN115205650B (zh) | 基于多尺度标准化流的无监督异常定位与检测方法及装置 | |
| WO2023082760A1 (zh) | 应用于工业质检的缺陷图片生成方法及装置 | |
| Xiao et al. | Research on defect detection method of powder metallurgy gear based on machine vision | |
| CN109949280A (zh) | 图像处理方法、装置、设备存储介质及生长发育评估系统 | |
| CN116597255A (zh) | 一种基于特征重构和分布损失的图像异常检测方法 | |
| CN116611184A (zh) | 一种齿轮箱的故障检测方法、装置及介质 | |
| CN112986285B (zh) | 缺陷类型确定方法、装置、云平台和介质 | |
| Han et al. | Health assessment for RUL prediction of machinery components using low-sampling temporal signals: A condensed image coding approach | |
| Jia et al. | Defect severity assessment model for sewer pipeline based on automated pipe calibration | |
| Gao et al. | High-quality super-resolution reconstruction: Using the improved industrial computed laminography system and SR-iResASPP network to reconstruct aero-engine turbine discs | |
| Fan et al. | Damage detection of CFRP by electrical impedance tomography imaging based on RM-DeeplabV3 | |
| CN111724331B (zh) | 一种基于生成网络的多孔介质图像重建方法 | |
| Wu et al. | VQ-VAE-2 based unsupervised algorithm for detecting concrete structural apparent cracks | |
| CN115586005A (zh) | 基于递归图和深度自适应Transformer的轴承故障检测方法及系统 | |
| CN113537010B (zh) | 基于单通道图数据增强和迁移训练残差网络的十五相异步电动机滚动轴承故障诊断方法 | |
| CN119205707B (zh) | 一种基于自监督学习和特征降噪的图像异常检测方法 | |
| CN119251337B (zh) | 镍基高温合金微观组织结构图像扩散生成方法、系统、设备、介质及产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |






































































































