[go: up one dir, main page]

CN113256624A - 连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质 - Google Patents

连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN113256624A
CN113256624A CN202110726306.5A CN202110726306A CN113256624A CN 113256624 A CN113256624 A CN 113256624A CN 202110726306 A CN202110726306 A CN 202110726306A CN 113256624 A CN113256624 A CN 113256624A
Authority
CN
China
Prior art keywords
round billet
defect
image
main body
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110726306.5A
Other languages
English (en)
Inventor
周畅
王赛楠
王华飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Shanghai ICT Co Ltd
CM Intelligent Mobility Network Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Shanghai ICT Co Ltd
CM Intelligent Mobility Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Shanghai ICT Co Ltd, CM Intelligent Mobility Network Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202110726306.5A priority Critical patent/CN113256624A/zh
Publication of CN113256624A publication Critical patent/CN113256624A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质，涉及计算机技术领域；其中该方法包括：获取连铸圆坯的截面图像；基于计算机视觉算法对所述截面图像中的圆坯主体与背景进行分割，输出圆坯主体图像；基于不同缺陷分别对应的检测模型，将所述圆坯主体图像作为所述检测模型的输入进行缺陷检测，确定所述连铸圆坯的缺陷及等级。本发明的方案能够解决目前对连铸圆坯表面缺陷评级方法依赖于人工，存在较大的检测误差，不能保证较为准确的输出缺陷评级结果，导致评级存在较大的错误概率的问题。

Description

连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质
技术领域
本发明涉及计算机技术领域，特别是指一种连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质。
背景技术
连铸坯因其重量轻、体积小等优点在工业界被广泛使用。在连铸坯的生产过程中，连铸坯的内部质量评估至关重要。其中，连铸圆坯的表面质量检测主要依靠对酸蚀后的圆坯低倍试样进行观测，进而对各种缺陷的类别及等级进行判定。
传统钢铁行业对连铸圆坯表面缺陷评级方法主要采用人工判断或者机器辅助人工判断的方式。具体来讲，经过酸洗后的圆坯样本通过相机拍摄获得其截面图像。人工判断的方式依靠行业专家通过将采集到的圆坯图像与标准文件中不同种类缺陷的图像一一比对，加以行业经验，对样本中存在的缺陷进行评级；机器辅助人工判断通过行业内质检系统对连铸圆坯图像进行检测，再通过行业专家对机器检测结果进行评判，得出最终缺陷分级。由于对连铸圆坯表面缺陷评级方法依赖于人工，存在较大的检测误差，不能保证较为准确的输出缺陷评级结果，导致评级存在较大的错误概率。
发明内容
本发明的目的是提供一种连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质，以解决目前对连铸圆坯表面缺陷评级方法依赖于人工，存在较大的检测误差，不能保证较为准确的输出缺陷评级结果，导致评级存在较大的错误概率的问题。
为达到上述目的，本发明的实施例提供一种连铸圆坯缺陷检测方法，包括：
获取连铸圆坯的截面图像；
基于计算机视觉算法对所述截面图像中的圆坯主体与背景进行分割，输出圆坯主体图像；
基于不同缺陷分别对应的检测模型，将所述圆坯主体图像作为所述检测模型的输入进行缺陷检测，确定所述连铸圆坯的缺陷及等级。
可选地，所述基于计算机视觉算法对所述截面图像中的圆坯主体与背景进行分割，输出圆坯主体图像，包括：
对所述截面图像进行图像预处理，得到预处理后的第一图像；
对所述第一图像进行霍夫变换处理，获得圆形区域；
基于所述圆形区域进行筛选处理，确定圆坯主体区域；
将所述圆坯主体区域缩放至目标尺寸，并输出圆坯主体图像；其中，所述圆坯主体图像为矩形，且所述圆坯主体图像中除所述圆坯主体区域外的区域为黑色。
可选地，所述对所述截面图像进行预处理，得到预处理后的图像，包括：
将红绿蓝（RGB）格式的截面图像转换为灰度图；
将所述灰度图进行高斯模糊处理，得到预处理后的第一图像。
可选地，所述将所述圆坯主体图像作为所述检测模型的输入进行缺陷检测之前，还包括：
采用线上增强的方式对训练样本进行扩充，利用扩充后的训练样本对所述检测模型进行训练，其中扩充方式包括：随机形变、裁剪、翻转中的至少一个。
可选地，所述基于不同缺陷分别对应的检测模型，将所述圆坯主体图像作为所述检测模型的输入进行缺陷检测，确定所述连铸圆坯的缺陷及等级，包括以下至少两项：
基于第一缺陷对应的第一检测模型，将所述圆坯主体图像作为所述第一检测模型的输入进行缺陷检测，确定所述连铸圆坯的第一缺陷等级；其中，所述第一缺陷包括中心裂纹、皮下裂纹、中间裂纹和皮下气泡；
基于第二缺陷对应的第二检测模型，将所述圆坯主体图像作为所述第二检测模型的输入进行缺陷检测，确定所述连铸圆坯的第二缺陷等级；其中，所述第二缺陷包括缩孔；
基于第三缺陷对应的第三检测模型，将所述圆坯主体图像作为所述第三检测模型的输入进行缺陷检测，确定所述连铸圆坯的第三缺陷等级；其中，所述第三缺陷包括中心疏松；
基于第四缺陷对应的第四检测模型，将所述圆坯主体图像作为所述第四检测模型的输入进行缺陷检测，确定所述连铸圆坯的第四缺陷等级；其中，所述第四缺陷包括白亮带。
可选地，所述将所述圆坯主体图像作为所述第一检测模型的输入进行缺陷检测，确定所述连铸圆坯的第一缺陷等级，包括：
将所述圆坯主体图像作为所述第一检测模型的输入，并基于残差网络（resnet）101模型和多阶段混合任务级联（Hybrid Task Cascade，HTC）的DetectoRS模型进行实例分割，得到实例分割结果；其中，所述实例分割结果包括中心裂纹、皮下裂纹、中间裂纹和皮下气泡分别对应的分割结果；
针对每个实例分割结果分别进行特征提取；
将针对每个实例分割结果所提取到的特征，分别输入各自对应的支持向量机（Support Vector Machine，SVM）分类器，并输出每个第一缺陷的等级。
可选地，所述第一检测模型中的区域生成网络（RegionProposal Network，RPN）结构中采用了至少两种预设长宽比的候选框。
可选地，将所述圆坯主体图像作为所述第一检测模型的输入进行缺陷检测之前，还包括以下至少一项：
采用将用于训练的样本图像的短边进行预设范围的随机缩放，以及将所述样本图像的整体比例固定的方式，进行所述第一检测模型的训练；
采用线性增加的热身（warmup）策略，进行所述第一检测模型的训练；
采用测试数据增强（Test Time Augmentation，TTA）的方式，进行所述第一检测模型的测试，以及采用多尺度结合数据增强的方式，进行测试数据的处理。
可选地，所述将所述圆坯主体图像作为所述第二检测模型的输入进行缺陷检测，确定所述连铸圆坯的第二缺陷等级，包括：
将所述圆坯主体图像作为所述第二检测模型的输入，对所述圆坯主体图像进行图像预处理，得到预处理后的第二图像；
基于U-Net的语义分割模型对所述第二图像进行所述第二缺陷的语义分割，确定所述第二缺陷的区域；
提取所述区域中的像素点个数作为所述区域的面积特征；
将所述面积特征输入所述第二缺陷对应的SVM分类器，并输出所述第二缺陷的等级。
可选地，所述将所述圆坯主体图像作为所述第三检测模型的输入进行缺陷检测，确定所述连铸圆坯的第三缺陷等级，包括：
将所述圆坯主体图像作为所述第三检测模型的输入，对所述圆坯主体图像进行图像预处理，得到预处理后的第三图像；
基于高分辨率网络（High-Resoultion Net，HRNet）的分类模型对所述第三图像进行分类处理，并输出所述第三缺陷的等级。
可选地，所述将所述圆坯主体图像作为所述第四检测模型的输入进行缺陷检测，确定所述连铸圆坯的第四缺陷等级，包括：
将所述圆坯主体图像作为所述第四检测模型的输入，对所述圆坯主体图像进行图像预处理，得到预处理后的第四图像；
基于残差网络resnet50的分类模型对所述第四图像进行分类处理，并输出所述第四缺陷的等级。
为达到上述目的，本发明的实施例提供一种连铸圆坯缺陷检测装置，包括：
获取模块，用于获取连铸圆坯的截面图像；
分割模块，用于基于计算机视觉算法对所述截面图像中的圆坯主体与背景进行分割，输出圆坯主体图像；
检测模块，用于基于不同缺陷分别对应的检测模型，将所述圆坯主体图像作为所述检测模型的输入进行缺陷检测，确定所述连铸圆坯的缺陷及等级。
可选地，所述分割模块包括：
预处理子模块，用于对所述截面图像进行图像预处理，得到预处理后的第一图像；
霍夫变换子模块，用于对所述第一图像进行霍夫变换处理，获得圆形区域；
筛选子模块，用于基于所述圆形区域进行筛选处理，确定圆坯主体区域；
输出子模块，用于将所述圆坯主体区域缩放至目标尺寸，并输出圆坯主体图像；其中，所述圆坯主体图像为矩形，且所述圆坯主体图像中除所述圆坯主体区域外的区域为黑色。
可选地，所述预处理子模块包括：
转换单元，用于将RGB格式的截面图像转换为灰度图；
处理单元，用于将所述灰度图进行高斯模糊处理，得到预处理后的第一图像。
可选地，所述连铸圆坯缺陷检测装置还包括：
第一训练模块，用于采用线上增强的方式对训练样本进行扩充，利用扩充后的训练样本对所述检测模型进行训练，其中扩充方式包括：随机形变、裁剪、翻转中的至少一个。
可选地，所述检测模块包括以下至少两项：
第一检测子模块，用于基于第一缺陷对应的第一检测模型，将所述圆坯主体图像作为所述第一检测模型的输入进行缺陷检测，确定所述连铸圆坯的第一缺陷等级；其中，所述第一缺陷包括中心裂纹、皮下裂纹、中间裂纹和皮下气泡；
第二检测子模块，用于基于第二缺陷对应的第二检测模型，将所述圆坯主体图像作为所述第二检测模型的输入进行缺陷检测，确定所述连铸圆坯的第二缺陷等级；其中，所述第二缺陷包括缩孔；
第三检测子模块，用于基于第三缺陷对应的第三检测模型，将所述圆坯主体图像作为所述第三检测模型的输入进行缺陷检测，确定所述连铸圆坯的第三缺陷等级；其中，所述第三缺陷包括中心疏松；
第四检测子模块，用于基于第四缺陷对应的第四检测模型，将所述圆坯主体图像作为所述第四检测模型的输入进行缺陷检测，确定所述连铸圆坯的第四缺陷等级；其中，所述第四缺陷包括白亮带。
可选地，所述第一检测子模块包括：
实例分割单元，用于将所述圆坯主体图像作为所述第一检测模型的输入，并基于残差网络resnet101模型和HTC的DetectoRS模型进行实例分割，得到实例分割结果；其中，所述实例分割结果包括中心裂纹、皮下裂纹、中间裂纹和皮下气泡分别对应的分割结果；
特征提取单元，用于针对每个实例分割结果分别进行特征提取；
第一检测单元，用于将针对每个实例分割结果所提取到的特征，分别输入各自对应的SVM分类器，并输出每个第一缺陷的等级。
可选地，所述第一检测模型中的RPN结构中采用了至少两种预设长宽比的候选框。
可选地，所述连铸圆坯缺陷检测装置还包括以下至少一项：
第二训练模块，用于采用将用于训练的样本图像的短边进行预设范围的随机缩放，以及将所述样本图像的整体比例固定的方式，进行所述第一检测模型的训练；
第三训练模块，用于采用线性增加的warmup策略，进行所述第一检测模型的训练；
测试模块，用于采用TTA的方式，进行所述第一检测模型的测试，以及采用多尺度结合数据增强的方式，进行测试数据的处理。
可选地，所述第二检测子模块包括：
第一预处理单元，用于将所述圆坯主体图像作为所述第二检测模型的输入，对所述圆坯主体图像进行图像预处理，得到预处理后的第二图像；
语义分割单元，用于基于U-Net的语义分割模型对所述第二图像进行所述第二缺陷的语义分割，确定所述第二缺陷的区域；
提取单元，用于提取所述区域中的像素点个数作为所述区域的面积特征；
第二检测单元，用于将所述面积特征输入所述第二缺陷对应的SVM分类器，并输出所述第二缺陷的等级。
可选地，所述第三检测子模块包括：
第二预处理单元，用于将所述圆坯主体图像作为所述第三检测模型的输入，对所述圆坯主体图像进行图像预处理，得到预处理后的第三图像；
第三检测单元，用于基于HRNet的分类模型对所述第三图像进行分类处理，并输出所述第三缺陷的等级。
可选地，所述第四检测子模块包括：
第三预处理单元，用于将所述圆坯主体图像作为所述第四检测模型的输入，对所述圆坯主体图像进行图像预处理，得到预处理后的第四图像；
第四检测单元，用于基于残差网络resnet50的分类模型对所述第四图像进行分类处理，并输出所述第四缺陷的等级。
为达到上述目的，本发明的实施例提供一种电子设备，包括：收发机、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令；所述处理器执行所述程序或指令时实现如上所述的连铸圆坯缺陷检测方法中的步骤。
为达到上述目的，本发明的实施例提供一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上所述的连铸圆坯缺陷检测方法中的步骤。
本发明的上述技术方案的有益效果如下：
本发明实施例，基于计算机视觉算法对获取到的连铸圆坯的截面图像中的圆坯主体与背景进行分割，输出圆坯主体图像，可以保证针对连铸圆坯的分割具有较强的准确性及鲁棒性，从而保证最终检测结果的准确性；并且基于不同缺陷分别对应的检测模型，将所述圆坯主体图像作为所述检测模型的输入进行缺陷检测，确定所述连铸圆坯的缺陷及等级，避免了依赖人工对连铸圆坯表面缺陷评级方法存在较大的检测误差，不能保证较为准确的输出缺陷评级结果，导致评级存在较大的错误概率的问题。
附图说明
图1为本发明实施例的连铸圆坯缺陷检测方法的流程图；
图2为本发明实施例中对圆坯主体与背景进行分割的流程示意图；
图3为本发明实施例的连铸圆坯缺陷检测和分级的流程示意图；
图4为本发明实施例中对第一缺陷进行检测及评级的流程示意图；
图5a为本发明实施例的RFP模块的结构示意图；
图5b为本发明实施例的SAC模块的结构示意图；
图6为本发明实施例的RPN结构中候选框的示意图；
图7为本发明实施例中对第二缺陷进行检测及评级的流程示意图；
图8为本发明实施例中对第三缺陷进行检测及评级的流程示意图；
图9为本发明实施例中对第四缺陷进行检测及评级的流程示意图；
图10为本发明实施例的连铸圆坯缺陷检测装置的框图；
图11为本发明实施例的电子设备的框图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在本申请所提供的实施例中，应理解，“与A 相应的B”表示B 与A 相关联，根据A可以确定B。但还应理解，根据A 确定B 并不意味着仅仅根据A 确定B，还可以根据A 和/或其它信息确定B。
如图1所示，本发明实施例的一种连铸圆坯缺陷检测方法，包括：
步骤11：获取连铸圆坯的截面图像。
步骤12：基于计算机视觉算法对所述截面图像中的圆坯主体与背景进行分割，输出圆坯主体图像。
步骤13：基于不同缺陷分别对应的检测模型，将所述圆坯主体图像作为所述检测模型的输入进行缺陷检测，确定所述连铸圆坯的缺陷及等级。
可选地，针对经过酸洗后的连铸圆坯样本通过相机拍摄获得其截面图像。
其中，计算机视觉技术在表面质量控制方面的技术方向主要包括检测、语义分割和实例分割三个方向。其中，检测技术用来发现并以矩形框框选出检测图中的目标；语义分割对图像中的每个像素点进行分类（不区分同类物体）；实例分割对像素点进行分类（区分同类物体的不同个体）。
其中，连铸圆坯缺陷的种类及判别标准可以参照中华人民共和国黑色冶金行业标准YB/T 153-2015以及YB/T 4149-2006。其中，YB/T 153-2015把连铸坯缺陷分为中心疏松、中心偏析、缩孔、内部裂纹（包括角部裂纹、皮下裂纹、中间裂纹、中心裂纹）、皮下气泡、白亮带等。针对每种缺陷，标准中详细描述了缺陷的形貌特征、产生原因、评定原则，以及相应的缺陷等级的示例图，这里不再赘述。
上述方案中，基于计算机视觉算法对获取到的连铸圆坯的截面图像中的圆坯主体与背景进行分割，输出圆坯主体图像，可以保证针对连铸圆坯的分割具有较强的准确性及鲁棒性，从而保证最终检测结果的准确性；并且基于不同缺陷分别对应的检测模型，将所述圆坯主体图像作为所述检测模型的输入进行缺陷检测，确定所述连铸圆坯的缺陷及等级，避免了依赖人工对连铸圆坯表面缺陷评级方法存在较大的检测误差，不能保证较为准确的输出缺陷评级结果，导致评级存在较大的错误概率的问题。
可选地，所述基于计算机视觉算法对所述截面图像中的圆坯主体与背景进行分割，输出圆坯主体图像，包括：
对所述截面图像进行图像预处理，得到预处理后的第一图像；
对所述第一图像进行霍夫变换处理，获得圆形区域；
基于所述圆形区域进行筛选处理，确定圆坯主体区域；
将所述圆坯主体区域缩放至目标尺寸，并输出圆坯主体图像；其中，所述圆坯主体图像为矩形，且所述圆坯主体图像中除所述圆坯主体区域外的区域为黑色，即实现了截面图像中的圆坯主体与背景进行分割。
具体的，针对连铸圆坯主体和背景的分割过程可参见图2，具体过程如下：
圆坯图像输入：获取连铸圆坯的截面图像，作为输入图像；
样本预处理：对所述截面图像进行图像预处理，得到预处理后的第一图像，具体可以包括：将RGB格式的截面图像转换为灰度图；将所述灰度图进行高斯模糊处理，得到预处理后的第一图像。
例如：可以采用OpenCV将图像由RGB转为灰度图，针对图像输入尺寸，采用内核大小为3×3的高斯模糊进行降噪处理，从而降低后续步骤中梯度计算上的误差。
霍夫变换检测圆形：对所述第一图像进行霍夫变换处理，获得圆形区域；如可以采用OpenCV中的霍夫梯度，根据图像特点，采用阈值为[100, 200]的Canny边缘检测，针对圆坯的大小，最小半径设置为300像素，最大半径设置为图像短边的一半，从而更好地限制霍夫变换输出的结果，以降低误检率。
圆形筛选：具体可以包括圆形圆心位置的筛选以及判断圆形是否超出图像，从而获得合适的圆形范围。由于图像采集时一般将圆坯置于图像的中间，且图像包括完整圆坯。故将霍夫变换检测出的圆形中心设置为图像中心±50像素的位置，且边缘位置不超过图像边缘，最后对筛选出的圆心和半径进行均值化，得出最终的圆形区域。
圆坯尺寸缩放：由于后续缺陷评级方法需要考虑到缺陷大小占圆坯主体的比例，故将所述圆坯主体区域缩放至目标尺寸；例如：将圆坯图像大小利用OpenCV的resize()函数统一缩放到1500px*1500px（考虑到图像细节的保存及圆坯的不同尺度，根据采集图像的分辨率确定）。
圆坯主体图像输出：输出的圆坯主体图像为矩形，例如：输出圆坯主体区域的外切矩形的区域，作为圆坯主体图像，且所述圆坯主体图像中除所述圆坯主体区域外的区域为黑色，即实现了截面图像中的圆坯主体与背景进行分割。
该方案中，将输出的圆坯主体图像作为后续缺陷检测模型的输入，进行缺陷检测，可以保证针对连铸圆坯的分割具有较强的准确性及鲁棒性，从而保证最终检测结果的准确性。
可选地，所述将所述圆坯主体图像作为所述检测模型的输入进行缺陷检测之前，还包括：
采用线上增强的方式对训练样本进行扩充，利用扩充后的训练样本对所述检测模型进行训练，其中扩充方式包括：随机形变、裁剪、翻转中的至少一个。
该实施例中，在检测模型的训练过程中，通过采用线上增强的方式对训练样本进行扩充，可以增加样本的随机性，提高训练精度。
如图3所示，给出了连铸圆坯缺陷检测和分级的流程示意图；具体包括：圆坯主体图像输入、图像预处理、缺陷检测、检测结果处理和输出分级结果。其中，针对不同种类缺陷，采用了4种不同的模型对缺陷进行检测和评级。
可选地，所述基于不同缺陷分别对应的检测模型，将所述圆坯主体图像作为所述检测模型的输入进行缺陷检测，确定所述连铸圆坯的缺陷及等级，包括以下至少两项：
基于第一缺陷对应的第一检测模型，将所述圆坯主体图像作为所述第一检测模型的输入进行缺陷检测，确定所述连铸圆坯的第一缺陷等级；其中，所述第一缺陷包括中心裂纹、皮下裂纹、中间裂纹和皮下气泡；
基于第二缺陷对应的第二检测模型，将所述圆坯主体图像作为所述第二检测模型的输入进行缺陷检测，确定所述连铸圆坯的第二缺陷等级；其中，所述第二缺陷包括缩孔；
基于第三缺陷对应的第三检测模型，将所述圆坯主体图像作为所述第三检测模型的输入进行缺陷检测，确定所述连铸圆坯的第三缺陷等级；其中，所述第三缺陷包括中心疏松；
基于第四缺陷对应的第四检测模型，将所述圆坯主体图像作为所述第四检测模型的输入进行缺陷检测，确定所述连铸圆坯的第四缺陷等级；其中，所述第四缺陷包括白亮带。
以下结合具体的缺陷类型，基于不同缺陷对应的检测模型进行缺陷检测的方法进行说明：
针对中心裂纹、皮下裂纹、中间裂纹和皮下气泡等缺陷，基于第一检测模型进行检测：
可选地，所述将所述圆坯主体图像作为所述第一检测模型的输入进行缺陷检测，确定所述连铸圆坯的第一缺陷等级，包括：
将所述圆坯主体图像作为所述第一检测模型的输入，并基于残差网络resnet101模型和HTC的DetectoRS模型进行实例分割，得到实例分割结果；其中，所述实例分割结果包括中心裂纹、皮下裂纹、中间裂纹和皮下气泡分别对应的分割结果；
针对每个实例分割结果分别进行特征提取；
将针对每个实例分割结果所提取到的特征，分别输入各自对应的支持向量机SVM分类器，并输出每个第一缺陷的等级。
具体的，针对中心裂纹、皮下裂纹、中间裂纹和皮下气泡这四类缺陷，由于其形貌特征相似，且依据YB/T 153-2015标准在评级的过程中需要考虑缺陷个体的数量及尺寸大小，因此可以采用如图4所示的检测流程。
具体流程包括：将圆坯主体图像作为实例分割模型的输入，基于该实例分割模型对四种缺陷类型进行实例分割；例如：采用基于resnet101和HTC的DetectoRS模型进行实例分割，得到中心裂纹、皮下裂纹、中间裂纹和皮下气泡各自对应的分割结果。
然后针对分割后得到的分割结果分别进行特征提取，将提取后的特征分别输入四个针对不同缺陷的SVM分类器，如将对应提取到中心裂纹的特征输入到SVM1，将对应提取到皮下裂纹的特征输入到SVM2，将对应提取到中间裂纹的特征输入到SVM3，将对应提取到皮下气泡的特征输入到SVM4，并最终输出缺陷等级分级结果。
具体的，采用基于resnet101和HTC的DetectoRS模型进行四种缺陷实例分割。DetectoRS模型在其基础上增加了可切换的空洞卷积（Switchable Atrous Convolution，SAC）模块和递归特征金字塔（Recursive Feature Pyramid，RFP）模块。其中，SAC模块通过将神经网络提取特征时的卷积操作更改为可改变的空洞卷积操作，可以更充分针对待检测物体形状提取特征，充分利用计算资源。RFP模块在特征金字塔节奏FPN的基础上增加金字塔层到特征层的反馈，从而使得输出的特征更好地保留图像不同深度特征层下的特征信息，从而使得DetectoRS模型在实例分割领域具有显著的效果。其中RFP和SAC模块宏观设计如图5a，5b所示。
可选地，本发明实施例在DetectoRS模型的基础上，针对工业数据量普遍缺乏的问题，采用基于数据增强库（albumentation）对数据进行训练时的线上增强来增加样本的随机性，提高训练精度，其中包括随机形变、裁剪、翻转等操作。
可选地，所述第一检测模型中的RPN结构中采用了至少两种预设长宽比的候选框。
例如：针对模型中的RPN结构，结合四种缺陷具有细长的形态特点，引入长宽比为1：10和1：5的候选框来优化识别结果。候选框长宽比为1：1、2：1、5：1、1：2、1：10，如图6所示。同时，由于缺陷的区域相对图像整体来讲占比较少，为提升RPN结构生成正样本的数量，将RPN结构中正样本的重叠度（Intersection over Union，IOU）阈值降低到0.5。
可选地，将所述圆坯主体图像作为所述第一检测模型的输入进行缺陷检测之前，还包括以下至少一项：
采用将用于训练的样本图像的短边进行预设范围的随机缩放，以及将所述样本图像的整体比例固定的方式，进行所述第一检测模型的训练；例如：在训练策略上，针对缺陷个体间形态差异较大的问题对输入图像短边采用[800，1800]的随机缩放，图像整体比例固定来提升模型对多尺寸缺陷检测的适应性。
采用线性增加的warmup策略，进行所述第一检测模型的训练；例如：在训练率的设置上采用线性增加的warmup策略来提升模型收敛速度，模型训练循环500次以后达到预设训练率。整体训练50个迭代，在40个迭代时学习率缩小10倍，47个迭代时再缩小10倍，从而加速模型收敛。
采用TTA的方式，进行所述第一检测模型的测试，以及采用多尺度结合数据增强的方式，进行测试数据的处理；此外，针对圆坯本体呈圆形，具有中心对称性的特点，本发明实施例在测试步骤中增加了随机旋转操作来增加识别的准确率，对测试结果进行soft-nms操作得出最终结果。
进一步地，在针对四种缺陷实例进行分割得到相应的分割结果后，可以针对四种缺陷实例的分割结果，参照YB/T 153-2015中不同缺陷的评级标准，提取如表1所列特征。
缺陷名称 提取特征
中心裂纹 裂纹条数、每条裂纹最大横纵坐标和最小横纵坐标点之间的距离、每条裂纹区域的像素点数量
皮下裂纹 裂纹条数、每条裂纹最大横纵坐标和最小横纵坐标点之间的距离、每条裂纹区域的像素点数量、裂纹距离圆坯边缘的最近距离
中间裂纹 裂纹条数、每条裂纹最大横纵坐标和最小横纵坐标点之间的距离、每条裂纹区域的像素点数量
皮下气泡 裂纹条数、每条裂纹最大横纵坐标和最小横纵坐标点之间的距离、每条裂纹区域的像素点数量、裂纹距离圆坯边缘的最近距离
表1
再进一步地，将上述提取到的特征按照不同缺陷输入相应的SVM分类器。其中，针对4种缺陷的5种等级（如等级0，1，2，3，4），利用历史人工评级的结果，训练4种SVM分类器，每个分类器的输入为表1中列举的相应缺陷的特征，输出为5个级别。本方案中，对于输入的特征首先进行正则化处理便于降低模型的误判率。
由于针对每种缺陷的特征数量比较少，因此可以采用径向基函数（Radial BasisFunction，RBF）核函数，便于将特征数量映射到高维度，提升模型的分级能力；以及采取基于一比一（One vs. One，OvO）的方法训练历史数据得到最终分级模型，从而基于上述模型可以输出上述四种缺陷的等级。
针对缩孔缺陷，基于第二检测模型进行检测：
可选地，所述将所述圆坯主体图像作为所述第二检测模型的输入进行缺陷检测，确定所述连铸圆坯的第二缺陷等级，包括：
将所述圆坯主体图像作为所述第二检测模型的输入，对所述圆坯主体图像进行图像预处理，得到预处理后的第二图像；
基于U-Net的语义分割模型对所述第二图像进行所述第二缺陷的语义分割，确定所述第二缺陷的区域；
提取所述区域中的像素点个数作为所述区域的面积特征；
将所述面积特征输入所述第二缺陷对应的SVM分类器，并输出所述第二缺陷的等级。
具体的，针对缩孔缺陷的识别分割及评级方法，如图7所示，具体过程包括：圆坯主体图像输入、图像预处理、基于U-Net模型的语义分割、确定缩孔缺陷区域、针对缩孔缺陷的特征提取、基于SVM分类器的缺陷等级分类、输出分级结果。
其中，图像预处理包括图像的裁剪、缩放等。例如：裁剪部分可以参照YB/T 153-2015中各级别缩孔的示例图以及钢厂中样本的实际情况，选取中心圆形区域。由于最大等级缺陷不会超过圆心半径的三分之一，为节省计算资源，提升运算速度，将裁剪区域半径可以为圆坯半径的三分之一。
其中，采用基于U-Net的语义分割模型进行缩孔缺陷的语义分割； 例如：U-Net网络可以通过多次下采样来获取图像深层语义信息，有助于对图像中像素点的分类。通过跳层连接（Skip Connection）保留图像的高分辨率信息，从而使得定位更加精准。针对圆坯的图像内容较为单一，中心缩孔的特征（如位置、形态、像素特征等）较为明显等特点，U-Net能够在模型复杂度较低的情况下实现缩孔的准确识别及高精度分割，且依据YB/T 153-2015中心缩孔缺陷等级分级只需考虑孔洞大小，故采用语义分割U-Net模型来实现缺陷的检测。
可选地，语义分割模型可以通过针对现有数据进行语义分割标注训练得到。训练时可以采用线上增强的方法来增加样本的随机性，提高训练精度，其中包括随机形变、裁剪等操作。
进一步地，在进行语义分割确定缩孔缺陷区域后，提取缺陷区域的像素点个数作为缺陷区域的面积特征，并针对提取到的特征输入到针对缩孔的SVM分类器（即图7中SVM5），经过SVM分类器输出缩孔缺陷的等级。
可选地，缩孔缺陷的等级可以分为5个等级；该分类器的训练可以基于历史人工判级数据，通过输入上述提取得到的中心缩孔的像素点个数，经过SVM输出5个等级。
针对中心疏松的缺陷，基于第三检测模型进行检测：
可选地，所述将所述圆坯主体图像作为所述第三检测模型的输入进行缺陷检测，确定所述连铸圆坯的第三缺陷等级，包括：
将所述圆坯主体图像作为所述第三检测模型的输入，对所述圆坯主体图像进行图像预处理，得到预处理后的第三图像；
基于HRNet的分类模型对所述第三图像进行分类处理，并输出所述第三缺陷的等级。
具体的，针对中心疏松的缺陷的检测和评级方法，如图8所示，具体包括：圆坯主体图像输入、图像预处理、基于HRNet的分类模型进行分类、输出中心疏松等级。
其中，图像预处理包括图像的裁剪、缩放等。例如：裁剪部分选取中心圆形区域，可以参照YB/T 153-2015中各级别疏松的示例图以及钢厂中样本的实际情况，疏松区域最大尺寸（4级）不超过圆坯直径的二分之一，为降低误判率，提高分类效率，故裁剪区域半径可以约为圆坯半径的二分之一。
其中，采用HRNet的分类模型对上述图像预处理中得到的区域进行分类，并输出中心疏松缺陷的等级。
由于疏松点的个体尺寸相对整体疏松区域较小，所以在提取特征时需考虑到小物体细节的保留。例如：可参照YB/T 153-2015中心疏松的分级需考虑疏松的数量、大小以及密集程度。由于疏松个体数量较多，个体间形态差异较大，且特征不够明显，考虑到深度学习模型的误差，不宜以检测个体的方式去进行检测和评级，因此，本发明考虑整体解决方案，利用深度神经网络具有高复杂度的特点，将缺陷区域输入足够复杂的分类网络，避免因考虑缺陷个体带来的误差。并且本方案中HRNet通过多尺度特征层融合，实现了大分辨率的输入，保留了小物体的细节，能够针对中心疏松缺陷实现较好的分类效果。
可选地，该分类模型可以通过针对现有数据进行分类标注训练得到，训练时可以采用线上增强的方法来增加样本的随机性，提高训练精度，其中包括随机形变、裁剪等操作。
针对白亮带的缺陷，基于第四检测模型进行检测：
可选地，所述将所述圆坯主体图像作为所述第四检测模型的输入进行缺陷检测，确定所述连铸圆坯的第四缺陷等级，包括：
将所述圆坯主体图像作为所述第四检测模型的输入，对所述圆坯主体图像进行图像预处理，得到预处理后的第四图像；
基于残差网络resnet50的分类模型对所述第四图像进行分类处理，并输出所述第四缺陷的等级。
具体的，针对白亮带的缺陷的检测和评级方法，如图9所示，具体包括：圆坯主体图像输入、图像预处理、基于ResNet50的分类模型进行二分类、输出白亮带等级（可由白亮带有无表示）。
其中，图像预处理包括图像的裁剪、缩放等。
其中，采用基于resnet50的分类模型对上述图像预处理中得到的结果进行分类，并输出白亮带等级。其中，白亮带等级可参照YB/T 153-2015中白亮带缺陷的等级判定，如只需判定有无白亮带。由于参照YB/T 153-2015中白亮带的示例图以及钢厂中样本的实际情况可知白亮带特征较为明显，且缺陷区域尺寸较大，故可以采用较为简单的分类网络resnet50进行二分类，从而在节省资源的情况下达到较好的检测结果。
可选地，分类模型可以通过针对现有数据进行分类标注训练得到，训练时可以采用线上增强的方法来增加样本的随机性，提高训练精度，其中包括随机形变、裁剪等操作。
综上，本发明实施例中，基于霍夫变换的分割方法对连铸圆坯主体与背景进行分割，具体通过检测图像中的圆形区域，结合逻辑筛选（例如尺寸、位置的限制），来分割出连铸圆坯的主体和背景，在提升分割鲁棒性的同时，避免了区域分割等方法受背景复杂度影响较大的问题，从而提升分割的准确性，间接降低了后续缺陷检测的误检与错检率。
并且基于多深度学习模型和机器学习模型的融合缺陷检测与分级方法，针对钢铁厂中连铸圆坯常见缺陷（中心疏松、缩孔、中间裂纹、中心裂纹、皮下裂纹、皮下气泡、白亮带）进行分类检测，实现了连铸圆坯低倍自动化检验，提升了检验准确率的同时，避免了人工参与检验的主观性，能够实现多种类缺陷的准确检测，并能够提升检测效率。
如图10所示，本发明实施例提供一种连铸圆坯缺陷检测装置1000，包括：
获取模块1010，用于获取连铸圆坯的截面图像；
分割模块1020，用于基于计算机视觉算法对所述截面图像中的圆坯主体与背景进行分割，输出圆坯主体图像；
检测模块1030，用于基于不同缺陷分别对应的检测模型，将所述圆坯主体图像作为所述检测模型的输入进行缺陷检测，确定所述连铸圆坯的缺陷及等级。
可选地，所述分割模块1020包括：
预处理子模块，用于对所述截面图像进行图像预处理，得到预处理后的第一图像；
霍夫变换子模块，用于对所述第一图像进行霍夫变换处理，获得圆形区域；
筛选子模块，用于基于所述圆形区域进行筛选处理，确定圆坯主体区域；
输出子模块，用于将所述圆坯主体区域缩放至目标尺寸，并输出圆坯主体图像；其中，所述圆坯主体图像为矩形，且所述圆坯主体图像中除所述圆坯主体区域外的区域为黑色。
可选地，所述预处理子模块包括：
转换单元，用于将RGB格式的截面图像转换为灰度图；
处理单元，用于将所述灰度图进行高斯模糊处理，得到预处理后的第一图像。
可选地，所述连铸圆坯缺陷检测装置1000还包括：
第一训练模块，用于采用线上增强的方式对训练样本进行扩充，利用扩充后的训练样本对所述检测模型进行训练，其中扩充方式包括：随机形变、裁剪、翻转中的至少一个。
可选地，所述检测模块1030包括以下至少两项：
第一检测子模块，用于基于第一缺陷对应的第一检测模型，将所述圆坯主体图像作为所述第一检测模型的输入进行缺陷检测，确定所述连铸圆坯的第一缺陷等级；其中，所述第一缺陷包括中心裂纹、皮下裂纹、中间裂纹和皮下气泡；
第二检测子模块，用于基于第二缺陷对应的第二检测模型，将所述圆坯主体图像作为所述第二检测模型的输入进行缺陷检测，确定所述连铸圆坯的第二缺陷等级；其中，所述第二缺陷包括缩孔；
第三检测子模块，用于基于第三缺陷对应的第三检测模型，将所述圆坯主体图像作为所述第三检测模型的输入进行缺陷检测，确定所述连铸圆坯的第三缺陷等级；其中，所述第三缺陷包括中心疏松；
第四检测子模块，用于基于第四缺陷对应的第四检测模型，将所述圆坯主体图像作为所述第四检测模型的输入进行缺陷检测，确定所述连铸圆坯的第四缺陷等级；其中，所述第四缺陷包括白亮带。
可选地，所述第一检测子模块包括：
实例分割单元，用于将所述圆坯主体图像作为所述第一检测模型的输入，并基于残差网络resnet101模型和HTC的DetectoRS模型进行实例分割，得到实例分割结果；其中，所述实例分割结果包括中心裂纹、皮下裂纹、中间裂纹和皮下气泡分别对应的分割结果；
特征提取单元，用于针对每个实例分割结果分别进行特征提取；
第一检测单元，用于将针对每个实例分割结果所提取到的特征，分别输入各自对应的支持向量机SVM分类器，并输出每个第一缺陷的等级。
可选地，所述第一检测模型中的区域生成网络RPN结构中采用了至少两种预设长宽比的候选框。
可选地，所述连铸圆坯缺陷检测装置1000还包括以下至少一项：
第二训练模块，用于采用将用于训练的样本图像的短边进行预设范围的随机缩放，以及将所述样本图像的整体比例固定的方式，进行所述第一检测模型的训练；
第三训练模块，用于采用线性增加的warmup策略，进行所述第一检测模型的训练；
测试模块，用于采用TTA的方式，进行所述第一检测模型的测试，以及采用多尺度结合数据增强的方式，进行测试数据的处理。
可选地，所述第二检测子模块包括：
第一预处理单元，用于将所述圆坯主体图像作为所述第二检测模型的输入，对所述圆坯主体图像进行图像预处理，得到预处理后的第二图像；
语义分割单元，用于基于U-Net的语义分割模型对所述第二图像进行所述第二缺陷的语义分割，确定所述第二缺陷的区域；
提取单元，用于提取所述区域中的像素点个数作为所述区域的面积特征；
第二检测单元，用于将所述面积特征输入所述第二缺陷对应的SVM分类器，并输出所述第二缺陷的等级。
可选地，所述第三检测子模块包括：
第二预处理单元，用于将所述圆坯主体图像作为所述第三检测模型的输入，对所述圆坯主体图像进行图像预处理，得到预处理后的第三图像；
第三检测单元，用于基于HRNet的分类模型对所述第三图像进行分类处理，并输出所述第三缺陷的等级。
可选地，所述第四检测子模块包括：
第三预处理单元，用于将所述圆坯主体图像作为所述第四检测模型的输入，对所述圆坯主体图像进行图像预处理，得到预处理后的第四图像；
第四检测单元，用于基于残差网络resnet50的分类模型对所述第四图像进行分类处理，并输出所述第四缺陷的等级。
本发明实施例中的连铸圆坯缺陷检测装置1000可以实现如上所述的连铸圆坯缺陷检测方法中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
如图11所示，本发明实施例提供一种电子设备，包括收发机1110、处理器1100、存储器1120及存储在所述存储器1120上并可在所述处理器1100上运行的程序或指令；所述处理器1100执行所述程序或指令时实现如上所述的连铸圆坯缺陷检测方法中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
所述收发机1110，用于在处理器1100的控制下接收和发送数据。
其中，在图11中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器1100代表的一个或多个处理器和存储器1120代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机1110可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。处理器1100负责管理总线架构和通常的处理，存储器1120可以存储处理器1100在执行操作时所使用的数据。
本发明实施例的一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上所述的连铸圆坯缺陷检测方法中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器（Read-Only Memory，简称ROM）、随机存取存储器（Random Access Memory，简称RAM）、磁碟或者光盘等。
进一步需要说明的是，此说明书中所描述的终端包括但不限于智能手机、平板电脑等，且所描述的许多功能部件都被称为模块，以便更加特别地强调其实现方式的独立性。
本发明实施例中，模块可以用软件实现，以便由各种类型的处理器执行。举例来说，一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块，举例来说，其可以被构建为对象、过程或函数。尽管如此，所标识模块的可执行代码无需物理地位于一起，而是可以包括存储在不同位里上的不同的指令，当这些指令逻辑上结合在一起时，其构成模块并且实现该模块的规定目的。
实际上，可执行代码模块可以是单条指令或者是许多条指令，并且甚至可以分布在多个不同的代码段上，分布在不同程序当中，以及跨越多个存储器设备分布。同样地，操作数据可以在模块内被识别，并且可以依照任何适当的形式实现并且被组织在任何适当类型的数据结构内。所述操作数据可以作为单个数据集被收集，或者可以分布在不同位置上（包括在不同存储设备上），并且至少部分地可以仅作为电子信号存在于系统或网络上。
在模块可以利用软件实现时，考虑到现有硬件工艺的水平，所以可以以软件实现的模块，在不考虑成本的情况下，本领域技术人员都可以搭建对应的硬件电路来实现对应的功能，所述硬件电路包括常规的超大规模集成（VLSI）电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。
上述范例性实施例是参考该些附图来描述的，许多不同的形式和实施例是可行而不偏离本发明精神及教示，因此，本发明不应被建构成为在此所提出范例性实施例的限制。更确切地说，这些范例性实施例被提供以使得本发明会是完善又完整，且会将本发明范围传达给那些熟知此项技术的人士。在该些图式中，组件尺寸及相对尺寸也许基于清晰起见而被夸大。在此所使用的术语只是基于描述特定范例性实施例目的，并无意成为限制用。如在此所使用地，除非该内文清楚地另有所指，否则该单数形式“一”、“一个”和“该”是意欲将该些多个形式也纳入。会进一步了解到该些术语“包含”及/或“包括”在使用于本说明书时，表示所述特征、整数、步骤、操作、构件及/或组件的存在，但不排除一或更多其它特征、整数、步骤、操作、构件、组件及/或其族群的存在或增加。除非另有所示，陈述时，一值范围包含该范围的上下限及其间的任何子范围。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种连铸圆坯缺陷检测方法，其特征在于，包括：
获取连铸圆坯的截面图像；
基于计算机视觉算法对所述截面图像中的圆坯主体与背景进行分割，输出圆坯主体图像；
基于不同缺陷分别对应的检测模型，将所述圆坯主体图像作为所述检测模型的输入进行缺陷检测，确定所述连铸圆坯的缺陷及等级。
2.根据权利要求1所述的连铸圆坯缺陷检测方法，其特征在于，所述基于计算机视觉算法对所述截面图像中的圆坯主体与背景进行分割，输出圆坯主体图像，包括：
对所述截面图像进行图像预处理，得到预处理后的第一图像；
对所述第一图像进行霍夫变换处理，获得圆形区域；
基于所述圆形区域进行筛选处理，确定圆坯主体区域；
将所述圆坯主体区域缩放至目标尺寸，并输出圆坯主体图像；其中，所述圆坯主体图像为矩形，且所述圆坯主体图像中除所述圆坯主体区域外的区域为黑色。
3.根据权利要求2所述的连铸圆坯缺陷检测方法，其特征在于，所述对所述截面图像进行预处理，得到预处理后的图像，包括：
将红绿蓝RGB格式的截面图像转换为灰度图；
将所述灰度图进行高斯模糊处理，得到预处理后的第一图像。
4.根据权利要求1所述的连铸圆坯缺陷检测方法，其特征在于，所述将所述圆坯主体图像作为所述检测模型的输入进行缺陷检测之前，还包括：
采用线上增强的方式对训练样本进行扩充，利用扩充后的训练样本对所述检测模型进行训练，其中扩充方式包括：随机形变、裁剪、翻转中的至少一个。
5.根据权利要求1所述的连铸圆坯缺陷检测方法，其特征在于，所述基于不同缺陷分别对应的检测模型，将所述圆坯主体图像作为所述检测模型的输入进行缺陷检测，确定所述连铸圆坯的缺陷及等级，包括以下至少两项：
基于第一缺陷对应的第一检测模型，将所述圆坯主体图像作为所述第一检测模型的输入进行缺陷检测，确定所述连铸圆坯的第一缺陷等级；其中，所述第一缺陷包括中心裂纹、皮下裂纹、中间裂纹和皮下气泡；
基于第二缺陷对应的第二检测模型，将所述圆坯主体图像作为所述第二检测模型的输入进行缺陷检测，确定所述连铸圆坯的第二缺陷等级；其中，所述第二缺陷包括缩孔；
基于第三缺陷对应的第三检测模型，将所述圆坯主体图像作为所述第三检测模型的输入进行缺陷检测，确定所述连铸圆坯的第三缺陷等级；其中，所述第三缺陷包括中心疏松；
基于第四缺陷对应的第四检测模型，将所述圆坯主体图像作为所述第四检测模型的输入进行缺陷检测，确定所述连铸圆坯的第四缺陷等级；其中，所述第四缺陷包括白亮带。
6.根据权利要求5所述的连铸圆坯缺陷检测方法，其特征在于，所述将所述圆坯主体图像作为所述第一检测模型的输入进行缺陷检测，确定所述连铸圆坯的第一缺陷等级，包括：
将所述圆坯主体图像作为所述第一检测模型的输入，并基于残差网络resnet101模型和多阶段混合任务级联HTC的DetectoRS模型进行实例分割，得到实例分割结果；其中，所述实例分割结果包括中心裂纹、皮下裂纹、中间裂纹和皮下气泡分别对应的分割结果；
针对每个实例分割结果分别进行特征提取；
将针对每个实例分割结果所提取到的特征，分别输入各自对应的支持向量机SVM分类器，并输出每个第一缺陷的等级。
7.根据权利要求6所述的连铸圆坯缺陷检测方法，其特征在于，所述第一检测模型中的区域生成网络RPN结构中采用至少两种预设长宽比的候选框。
8.根据权利要求6所述的连铸圆坯缺陷检测方法，其特征在于，将所述圆坯主体图像作为所述第一检测模型的输入进行缺陷检测之前，还包括以下至少一项：
采用将用于训练的样本图像的短边进行预设范围的随机缩放，以及将所述样本图像的整体比例固定的方式，进行所述第一检测模型的训练；
采用线性增加的热身warmup策略，进行所述第一检测模型的训练；
采用测试数据增强TTA的方式，进行所述第一检测模型的测试，以及采用多尺度结合数据增强的方式，进行测试数据的处理。
9.根据权利要求5所述的连铸圆坯缺陷检测方法，其特征在于，所述将所述圆坯主体图像作为所述第二检测模型的输入进行缺陷检测，确定所述连铸圆坯的第二缺陷等级，包括：
将所述圆坯主体图像作为所述第二检测模型的输入，对所述圆坯主体图像进行图像预处理，得到预处理后的第二图像；
基于U-Net的语义分割模型对所述第二图像进行所述第二缺陷的语义分割，确定所述第二缺陷的区域；
提取所述区域中的像素点个数作为所述区域的面积特征；
将所述面积特征输入所述第二缺陷对应的支持向量机SVM分类器，并输出所述第二缺陷的等级。
10.根据权利要求5所述的连铸圆坯缺陷检测方法，其特征在于，所述将所述圆坯主体图像作为所述第三检测模型的输入进行缺陷检测，确定所述连铸圆坯的第三缺陷等级，包括：
将所述圆坯主体图像作为所述第三检测模型的输入，对所述圆坯主体图像进行图像预处理，得到预处理后的第三图像；
基于高分辨率网络HRNet的分类模型对所述第三图像进行分类处理，并输出所述第三缺陷的等级。
11.根据权利要求5所述的连铸圆坯缺陷检测方法，其特征在于，所述将所述圆坯主体图像作为所述第四检测模型的输入进行缺陷检测，确定所述连铸圆坯的第四缺陷等级，包括：
将所述圆坯主体图像作为所述第四检测模型的输入，对所述圆坯主体图像进行图像预处理，得到预处理后的第四图像；
基于残差网络resnet50的分类模型对所述第四图像进行分类处理，并输出所述第四缺陷的等级。
12.一种连铸圆坯缺陷检测装置，其特征在于，包括：
获取模块，用于获取连铸圆坯的截面图像；
分割模块，用于基于计算机视觉算法对所述截面图像中的圆坯主体与背景进行分割，输出圆坯主体图像；
检测模块，用于基于不同缺陷分别对应的检测模型，将所述圆坯主体图像作为所述检测模型的输入进行缺陷检测，确定所述连铸圆坯的缺陷及等级。
13.一种电子设备，包括：收发机、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令；其特征在于，所述处理器执行所述程序或指令时实现如权利要求1至11中任一项所述的连铸圆坯缺陷检测方法中的步骤。
14.一种可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被处理器执行时实现如权利要求1至11中任一项所述的连铸圆坯缺陷检测方法中的步骤。
CN202110726306.5A 2021-06-29 2021-06-29 连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质 Pending CN113256624A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110726306.5A CN113256624A (zh) 2021-06-29 2021-06-29 连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110726306.5A CN113256624A (zh) 2021-06-29 2021-06-29 连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN113256624A true CN113256624A (zh) 2021-08-13

Family

ID=77190211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110726306.5A Pending CN113256624A (zh) 2021-06-29 2021-06-29 连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN113256624A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724238A (zh) * 2021-09-08 2021-11-30 佛山科学技术学院 基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法
CN114155367A (zh) * 2022-02-09 2022-03-08 北京阿丘科技有限公司 印制电路板缺陷检测方法、装置、设备及存储介质
CN114677334A (zh) * 2022-03-04 2022-06-28 山东钢铁股份有限公司 一种异型坯表面质量控制方法、系统和装置
CN115049926A (zh) * 2022-06-10 2022-09-13 安徽农业大学 一种基于深度学习的小麦倒伏损失评估方法和装置
CN116630242A (zh) * 2023-04-28 2023-08-22 广东励图空间信息技术有限公司 一种基于实例分割的管道缺陷评估方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4247819A (en) * 1977-09-22 1981-01-27 Nippon Kokan Kabushiki Kaisha Apparatus for surface flaw detection on electrically conductive cylindrical material
CN102937784A (zh) * 2012-10-30 2013-02-20 中冶南方工程技术有限公司 基于人工神经网络的铸坯质量在线预报的控制方法
CN104914111A (zh) * 2015-05-18 2015-09-16 北京华检智研软件技术有限责任公司 一种带钢表面缺陷在线智能识别检测系统及其检测方法
CN111768381A (zh) * 2020-06-29 2020-10-13 北京百度网讯科技有限公司 零部件缺陷检测方法、装置及电子设备
CN111929309A (zh) * 2020-09-14 2020-11-13 成都卓识维景科技有限公司 一种基于机器视觉的铸造件外观缺陷检测方法及系统
CN112115897A (zh) * 2020-09-24 2020-12-22 深圳市赛为智能股份有限公司 多指针仪表报警检测方法、装置、计算机设备及存储介质
CN112115898A (zh) * 2020-09-24 2020-12-22 深圳市赛为智能股份有限公司 多指针仪表检测方法、装置、计算机设备及存储介质
CN113012192A (zh) * 2021-03-22 2021-06-22 河海大学 基于全景分割多目标追踪的视频全量分割计数方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4247819A (en) * 1977-09-22 1981-01-27 Nippon Kokan Kabushiki Kaisha Apparatus for surface flaw detection on electrically conductive cylindrical material
CN102937784A (zh) * 2012-10-30 2013-02-20 中冶南方工程技术有限公司 基于人工神经网络的铸坯质量在线预报的控制方法
CN104914111A (zh) * 2015-05-18 2015-09-16 北京华检智研软件技术有限责任公司 一种带钢表面缺陷在线智能识别检测系统及其检测方法
CN111768381A (zh) * 2020-06-29 2020-10-13 北京百度网讯科技有限公司 零部件缺陷检测方法、装置及电子设备
CN111929309A (zh) * 2020-09-14 2020-11-13 成都卓识维景科技有限公司 一种基于机器视觉的铸造件外观缺陷检测方法及系统
CN112115897A (zh) * 2020-09-24 2020-12-22 深圳市赛为智能股份有限公司 多指针仪表报警检测方法、装置、计算机设备及存储介质
CN112115898A (zh) * 2020-09-24 2020-12-22 深圳市赛为智能股份有限公司 多指针仪表检测方法、装置、计算机设备及存储介质
CN113012192A (zh) * 2021-03-22 2021-06-22 河海大学 基于全景分割多目标追踪的视频全量分割计数方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724238A (zh) * 2021-09-08 2021-11-30 佛山科学技术学院 基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法
CN113724238B (zh) * 2021-09-08 2024-06-11 佛山科学技术学院 基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法
CN114155367A (zh) * 2022-02-09 2022-03-08 北京阿丘科技有限公司 印制电路板缺陷检测方法、装置、设备及存储介质
CN114677334A (zh) * 2022-03-04 2022-06-28 山东钢铁股份有限公司 一种异型坯表面质量控制方法、系统和装置
CN115049926A (zh) * 2022-06-10 2022-09-13 安徽农业大学 一种基于深度学习的小麦倒伏损失评估方法和装置
CN115049926B (zh) * 2022-06-10 2023-10-24 安徽农业大学 一种基于深度学习的小麦倒伏损失评估方法和装置
CN116630242A (zh) * 2023-04-28 2023-08-22 广东励图空间信息技术有限公司 一种基于实例分割的管道缺陷评估方法及装置
CN116630242B (zh) * 2023-04-28 2024-01-12 广东励图空间信息技术有限公司 一种基于实例分割的管道缺陷评估方法及装置

Similar Documents

Publication Publication Date Title
CN115082683B (zh) 一种基于图像处理的注塑缺陷检测方法
CN111292305B (zh) 一种改进型yolo-v3的金属加工表面缺陷检测方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN110060237B (zh) 一种故障检测方法、装置、设备及系统
CN113256624A (zh) 连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质
CN113435460B (zh) 一种亮晶颗粒灰岩图像的识别方法
CN112241699A (zh) 物体缺陷类别识别方法、装置、计算机设备和存储介质
CN105809121A (zh) 多特征协同的交通标志检测与识别方法
CN109977808A (zh) 一种晶圆表面缺陷模式检测与分析方法
CN113658132A (zh) 基于计算机视觉的结构件焊缝检测方法
CN107038416B (zh) 一种基于二值图像改进型hog特征的行人检测方法
CN106096602A (zh) 一种基于卷积神经网络的中文车牌识别方法
CN111986126B (zh) 一种基于改进vgg16网络的多目标检测方法
CN111695373B (zh) 斑马线的定位方法、系统、介质及设备
CN114820625B (zh) 一种汽车顶块缺陷检测方法
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
CN113177924A (zh) 一种工业流水线产品瑕疵检测方法
CN111667475A (zh) 一种基于机器视觉的大枣分级检测方法
CN113313678A (zh) 一种基于多尺度特征融合的精子形态学自动分析方法
CN117557565B (zh) 一种锂电池极片的检测方法及其装置
CN110866915A (zh) 基于度量学习的圆形砚台质量检测方法
CN111161237A (zh) 一种果蔬表面质检方法及其储存介质、分拣装置
CN110060239B (zh) 一种用于瓶子瓶口的缺陷检测方法
CN115082449B (zh) 一种电子元器件缺陷检测方法
CN115995023A (zh) 瑕疵检测方法、装置、电子设备、计算机可读存储介质及产品检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210813

RJ01 Rejection of invention patent application after publication