CN117745678A - 一种输送带滚筒包胶检测方法、装置、设备及存储介质 - Google Patents
一种输送带滚筒包胶检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117745678A CN117745678A CN202311768179.0A CN202311768179A CN117745678A CN 117745678 A CN117745678 A CN 117745678A CN 202311768179 A CN202311768179 A CN 202311768179A CN 117745678 A CN117745678 A CN 117745678A
- Authority
- CN
- China
- Prior art keywords
- images
- image
- spliced
- encapsulation
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005538 encapsulation Methods 0.000 title claims abstract description 118
- 238000001514 detection method Methods 0.000 title claims abstract description 61
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 230000007547 defect Effects 0.000 claims abstract description 129
- 238000000034 method Methods 0.000 claims abstract description 60
- 230000036541 health Effects 0.000 claims abstract description 55
- 230000011218 segmentation Effects 0.000 claims abstract description 22
- 239000000463 material Substances 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000015654 memory Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 10
- 230000002950 deficient Effects 0.000 claims description 9
- 238000005316 response function Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000006798 recombination Effects 0.000 claims description 2
- 238000005215 recombination Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 description 14
- 238000010073 coating (rubber) Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 238000005299 abrasion Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000007704 transition Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000965478 Darksidea epsilon Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 239000012770 industrial material Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本申请涉及一种输送带滚筒包胶检测方法、装置、设备及存储介质，应用在带式输送运输系统领域，其中方法包括：获取图像采集单元采集到的若干待拼接图像；通过提取特征点的方式对若干待拼接图像进行拼接，并将拼接完成的图像确定为待检测图像；识别待检测图像中的缺陷，基于缺陷对待检测图像进行分割，获得若干待检测区域；通过对待检测区域赋予权重的方式计算滚筒包胶的健康度得分，若健康度得分超过预设的阈值，则生成报警提示。本申请具有的技术效果是：通过拼接多个采集图像，灵活的权重分配策略以及根据缺陷对待检测图像进行分割，对于缺陷的准确定位提供了有效手段，使得检测结果更为可靠，进而提升了对包胶检测的准确性。
Description
技术领域
本申请涉及带式输送运输系统的技术领域，尤其是涉及一种输送带滚筒包胶检测方法、装置、设备及存储介质。
背景技术
输送带滚筒作为工业物料输送的核心设备，在各行业广泛应用，其运行状况直接关系到输送系统的正常运转和物料输送的高效性。其中，滚筒的包胶对于提高摩擦性、防止磨损、延长使用寿命等方面起着至关重要的作用，若滚筒表面的包胶出现缺陷时，会造成输送带打滑，甚至因过度摩擦引发起火。因此需要对滚筒包胶定期进行检测，确保输送带滚筒的安全、稳定运行。
目前，通常使用红外线传感器来检测滚筒表面的温度变化，包胶状态不良会导致温度分布异常，从而通过红外线传感器获取的温度数据来判断包胶是否出现缺陷。
然而，使用红外线传感器对包胶进行检测时，如果包胶缺陷导致的温度变化很小或不显著，会难以准确检测缺陷；并且红外线传感器的性能会受到环境条件(如温度、湿度等)的影响，导致检测出现误差，进而降低对包胶检测的准确性。
发明内容
为了提升对包胶检测的准确性，本申请提供一种输送带滚筒包胶检测方法、装置、设备及存储介质。
第一方面，本申请提供一种输送带滚筒包胶检测方法，采用如下的技术方案：所述方法应用于滚筒包胶检测系统，所述滚筒包胶检测系统包括图像采集单元，所述方法包括：
获取所述图像采集单元采集到的若干待拼接图像；
通过提取特征点的方式对若干所述待拼接图像进行拼接，并将拼接完成的图像确定为待检测图像；
识别所述待检测图像中的缺陷，基于所述缺陷对所述待检测图像进行分割，获得若干待检测区域；
通过对所述待检测区域赋予权重的方式计算滚筒包胶的健康度得分，若所述健康度得分超过预设的阈值，则生成报警提示。
在一个具体的可实施方案中，所述待拼接图像包含重合区域，所述通过提取特征点的方式对若干所述待拼接图像进行拼接包括：
根据所述待拼接图像中像素点的灰度值，提取所述待拼接图像的特征点；
基于所述特征点，使用RANSAC算法和最小二乘法计算所述待拼接图像对应的拼接变换矩阵；
通过计算若干所述待拼接图像的整体平均灰度值，调整所述待拼接图像的亮度；
使用加权渐变融合的方式调整所述重合区域的亮度；
根据所述拼接变换矩阵对若干所述待拼接图像进行拼接。
在一个具体的可实施方案中，所述根据所述待拼接图像中像素点的灰度值，提取所述待拼接图像的特征点包括：
计算待拼接图像的每个像素点在水平方向和垂直方向的梯度；
对所述待拼接图像的每个像素点，根据其邻域内像素点的梯度计算Harris矩阵，所述邻域为预设的像素点窗口范围；
根据所述Harris矩阵的特征值，确定角点响应函数；
基于所述角点响应函数，提取所述待拼接图像中的角点，并将所述角点确认为特征点。
在一个具体的可实施方案中，所述通过计算若干所述待拼接图像的整体平均灰度值，调整所述待拼接图像的亮度包括：
分别计算所述待拼接图像中像素点的图像平均灰度值和所有所述待拼接图像的整体平均灰度值；
结合所述图像平均灰度值和所述整体平均灰度值，对所述待拼接图像中每个像素点的灰度值进行调整。
在一个具体的可实施方案中，所述使用加权渐变融合的方式调整所述重合区域的亮度包括：
确定所述待拼接图像的重合区域对应的宽cols和高rows；
基于所述宽cols和所述高rows，确定融合策略公式
其中，所述pr,c为融合后的灰度值，所述(r,c)为重合区域第r行、第c列像素点的位置，p_1r,c和p_2r,c为两张图原来的灰度值；
根据所述融合后的灰度值pr,c调整所述重合区域的亮度。
在一个具体的可实施方案中，所述识别所述待检测图像中的缺陷，基于所述缺陷对所述待检测图像进行分割包括：
基于预设的缺陷级别和模型训练集，利用pytorch框架训练分割模型，将训练好的所述分割模型进行部署；
使用部署好的所述分割模型识别所述待检测图像中的缺陷，并确认所述缺陷对应的缺陷类型；
基于所述缺陷所在的区域和所述缺陷类型，对所述待检测图像进行分割。
在一个具体的可实施方案中，所述待检测区域包括滚筒区域、嵌入物料缺陷区域和包胶脱落缺陷区域，所述通过对所述待检测区域赋予权重的方式计算滚筒包胶的健康度得分包括：
根据像素点数量确定所述滚筒区域的相对面积AR，所述嵌入物料缺陷区域的相对面积ADL1和所述包胶脱落缺陷区域的相对面积ADL2；
基于预设的得分权重系数，计算滚筒包胶对应的包胶破坏度得分
其中，所述d为包胶破坏度得分，所述α为嵌入物料缺陷的得分权重系数，所述β为包胶脱落缺陷的得分权重系数；
对所述包胶破坏度得分进行归一化处理，得到包胶对应的健康度分数
其中，所述h为健康度分数，μ为归一化处理的范围值。
第二方面，本申请提供一种滚筒包胶检测装置，采用如下技术方案：所述装置应用于滚筒包胶检测系统，所述滚筒包胶检测系统包括图像采集单元，所述装置包括：
拼接图像获取模块，用于获取所述图像采集单元采集到的若干待拼接图像；
图像特征提取模块，用于通过提取特征点的方式对若干所述待拼接图像进行拼接，并将拼接完成的图像确定为待检测图像；
图像缺陷识别模块，用于识别所述待检测图像中的缺陷，基于所述缺陷对所述待检测图像进行分割，获得若干待检测区域；
健康得分计算模块，用于通过对所述待检测区域赋予权重的方式计算滚筒包胶的健康度得分，若所述健康度得分超过预设的阈值，则生成报警提示。
第三方面，本申请提供一种计算机设备，采用如下技术方案：包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如上述任一种输送带滚筒包胶检测方法的计算机程序。
第四方面，本申请提供一种计算机可读存储介质，采用如下技术方案：存储有能够被处理器加载并执行上述任一种输送带滚筒包胶检测方法的计算机程序。
综上所述，本申请具有以下有益技术效果：
通过图像采集单元获取多个待拼接图像，提取图像的特征点并进行拼接，可以高效的处理大规模图像，提升对包胶检测的计算效率；通过识别待检测图像中的缺陷并根据缺陷对待检测图像进行分割，对于缺陷的准确定位提供了有效手段，使得检测结果更为可靠；赋予权重的方式能够将对滚筒包胶健康度评估的关注点更加聚焦在具体的待检测区域上，不同区域可能存在不同的工作环境或受力情况，采用灵活的权重分配策略，使得对于一些重要或易受损区域的评估更为重要，例如，对于较为严重的缺陷，可以赋予更高的权重，以更敏感地捕捉到潜在的问题，进而提升了对包胶检测的准确性。
附图说明
图1是本申请实施例中用于说明图像采集单元的示意图。
图2是本申请实施例中输送带滚筒包胶检测方法的流程图。
图3是本申请实施例中用于说明两种缺陷类型的示意图。
图4是本申请实施例中用于说明实例标注的示意图。
图5是本申请实施例中用于说明待检测区域分割的示意图。
图6是本申请实施例中用于说明包胶完好的健康度得分结果示意图。
图7是本申请实施例中用于说明包胶嵌入物料的健康度得分结果示意图。
图8是本申请实施例中用于说明包胶脱落的健康度得分结果示意图。
图9是本申请实施例中用于说明现场部署的包胶健康度得分示意图。
图10是本申请实施例中用于说明滚筒包胶检测装置的结构框图。
图11是本申请实施例中用于说明计算机设备的示意图。
附图标记：1001、拼接图像获取模块；1002、图像特征提取模块；1003、图像缺陷识别模块；1004、健康得分计算模块。
具体实施方式
以下结合附图1-11对本申请作进一步详细说明。
本申请实施例公开一种输送带滚筒包胶检测方法，该方法应用于滚筒包胶检测系统，滚筒包胶检测系统包括图像采集单元，图像采集单元与输送带滚筒相互独立，并朝向输送带滚筒，图像采集单元主要由相机、镜头、光源、雨刮(镜头除尘)和安装支架组成，如图1所示，以两组采集镜头为例，安装支架上均匀放置两个相机(图中a1和a2)，使得两个相机的视角可以覆盖整个输送带滚筒，相机上方的两个小圆圈为相机的镜头，雨刮位于镜头上，相机的数量可以根据实际场景中输送带滚筒的大小灵活设置；滚筒包胶检测系统还包括图像处理单元，图像处理单元可以是上位机，用于接收待拼接图像或待检测图像、对待拼接图像进行拼接、使用深度模型识别待检测图像中的缺陷、确定缺陷等级、量化滚筒包胶健康度得分以及对健康度检测结果实时显示等；滚筒包胶检测系统还包括图像传输单元，图像传输单元可以是千兆交换机或光纤，用于将图像采集单元采集到的图像传输至图像处理单元。本申请实施例公开的一种输送带滚筒包胶检测方法的执行主体为上述图像处理单元。
如图2所示，该方法包括以下步骤：
S10，获取图像采集单元采集到的若干待拼接图像。
具体来说，图像采集单元中每个相机捕捉到的待拼接图像覆盖输送带滚筒的一部分，图像处理单元通过图像传输单元与图像采集单元连接或通信，获取到若干待拼接图像；通过对这些待拼接图像进行拼接，系统可以获取整个输送带滚筒的完整视图。
S20，通过提取特征点的方式对若干待拼接图像进行拼接，并将拼接完成的图像确定为待检测图像。
具体来说，对于每个待拼接图像，图像处理单元会提取图像中的特征点，特征点表示图像中显著的结构变化或特征，通过比较不同待拼接图像中的特征点，图像处理单元可以确定他们之间的对应关系，利用这些对应关系，可以将若干待拼接图像进行拼接，形成一个完整的图像，将拼接完成的图像确定为待检测图像，用于后续的缺陷检测任务。
S30，识别待检测图像中的缺陷，基于缺陷对待检测图像进行分割，获得若干待检测区域。
具体来说，不同类型的缺陷，对输送带滚筒的影响程度不同，将缺陷划分为不同的类型，例如包胶嵌入物料缺陷和包胶脱落(磨损)缺陷，并使用深度学习或其他图像处理技术，针对待检测图像中的缺陷进行识别；一旦识别到缺陷，图像处理单元会采用图像分割技术，将图像中的缺陷部分与背景分开。图像分割的目的是将图像划分为不同的待检测区域。
S40，通过对待检测区域赋予权重的方式计算滚筒包胶的健康度得分，若健康度得分超过预设的阈值，则生成报警提示。
具体来说，每个待检测区域可能包含不同类型的缺陷，而这些缺陷对滚筒包胶的整体健康度会产生不同的影响，图像处理单元为每个待检测区域，即每种类型的缺陷赋予不同的权重，权重可以根据缺陷的类型、大小、位置等因素进行调整，以更准确地反映不同区域的影响程度；图像处理单元可以根据各个区域的权重计算滚筒包胶的健康度得分，健康度得分是对滚筒整体健康状况的一个综合评估；如果健康度得分超过了预设的阈值，系统将生成报警提示，可以通过视觉界面、声音提示或其他通知方式来实现，报警提示通知操作人员或系统维护人员，指示有必要对滚筒进行进一步的检查、维护或修理。
通过输送带滚筒包胶检测方法，使用多个相机并均匀放置在安装支架上，确保了整个输送带滚筒的视角被覆盖，使得系统能够捕捉到滚筒表面的不同部分，有助于更全面地检测缺陷；采用提取特征点的方式对待拼接图像进行拼接，提高了拼接的准确性和图像的一致性，并且使用深度学习等技术进行缺陷识别和分割，提高了对不同缺陷类型的检测能力；对待检测区域进行加权计算，考虑不同缺陷类型的权重，为每个区域赋予不同的重要性，有助于更准确地评估滚筒包胶的整体健康度，确保系统对不同缺陷的敏感性；引入健康度得分的概念，通过对各区域权重的计算，综合评估滚筒包胶的整体状况，设定预设阈值并生成报警提示，有助于及早发现潜在问题，进而提升了对输送带滚筒包胶检测的准确率和效率。
在一个实施例中，待拼接图像包含重合区域，为了使拼接的效果更加精确和自然，通过提取特征点的方式对若干待拼接图像进行拼接的步骤可以被具体执行为：
根据待拼接图像中像素点的灰度值，提取待拼接图像的特征点，特征点可以为图像中突出的、具有显著变化的角点，角点可以反映出待拼接图像中像素点周围存在较大的梯度变化；基于特征点，使用RANSAC算法和最小二乘法计算待拼接图像对应的拼接变换矩阵，拼接变换矩阵描述了通过旋转、缩放或平移等操作将一个图像映射到另一个图像的方式，使得它们能够无缝拼接在一起；具体计算方式包括：使用RANSAC算法从待拼接图像的特征点中随机选择一小部分样本，使用随机选择的样本点拟合一个初始的拼接变换模型，将其他的特征点投影到模型中，通过设定一个阈值来判断它们是否适合模型，这些适合模型的点构成了“内点集”，重复上述步骤多次，选择具有最大内点数的模型。这有助于提高拟合模型的准确性，同时降低噪声和异常值的影响，最终得到的模型即为拼接变换模型，其中使用RANSAC算法选取的内点用于计算最终的拼接变换矩阵，通过最小化误差函数，使用最小二乘法调整拟合模型，得到一个更准确的拼接变换矩阵，可以多次迭代最小二乘法的过程，进一步提高对异常值的鲁棒性，确保得到更稳健的拼接变换矩阵；通过计算若干待拼接图像的整体平均灰度值，调整待拼接图像中每个像素点的灰度值，进而调整待拼接图像的亮度，使得每个待拼接图像在整体上具有一致的亮度水平；针对待拼接图像之间的重合区域，再使用加权渐变融合的方式调整重合区域的亮度，以平滑地融合两个相邻待拼接图像的重合部分，进而产生自然和无缝的过渡；最后根据计算得到的拼接变换矩阵对若干待拼接图像进行拼接，以创建一个完整的待检测图像。
通过本实施例，通过根据待拼接图像中像素点的灰度值提取角点等显著变化的特征点，能够更准确地捕捉图像中的结构信息，使得拼接的效果更加精确和自然，并且使用角点作为特征点，相对于其他特征点(如边缘点)，更能反映图像中局部结构的显著变化，可以更好地捕捉图像中重要的局部信息；使用RANSAC算法对拟合模型进行迭代选择内点，有助于提高对噪声和异常值的鲁棒性，确保拼接变换模型的准确性和稳定性；通过最小二乘法对拟合模型进行进一步优化，能够更精确地调整拼接变换矩阵，提高整体拼接的质量；多次迭代最小二乘法的过程可以进一步提高对异常值的鲁棒性，确保拼接变换矩阵的稳健性，适应不同场景和条件下的拼接需求；通过对待拼接图像进行整体平均灰度值的计算和调整，以及对重合区域的加权渐变融合，能够确保拼接后的图像在亮度上更一致，同时实现无缝的过渡，使得拼接结果更加自然，进而提升了后续包胶缺陷检测的准确性和可靠性。
在一个实施例中，为了确保检测到的特征点具有一定的质量和可靠性，根据待拼接图像中像素点的灰度值，提取待拼接图像的特征点的步骤可以被具体执行为：
可以通过使用Sobel、Prewitt等滤波器获取图像的梯度信息，计算待拼接图像的每个像素点在水平方向和垂直方向的梯度；对待拼接图像的每个像素点，根据其邻域内像素点的梯度计算Harris矩阵：
其中，Ix和Iy为像素点的梯度，Harris矩阵包含了刑诉点附近梯度的信息，邻域K(u ,v)为预设的像素点窗口范围；根据Harris矩阵的特征值，确定角点响应函数：
其中，(u,v)表示当前像素判定点，Δx、Δy代表水平、垂直方向上的偏移量，I(x,y)代表图像(x,y)位置的灰度值，ω(x,y)代表窗口加权函数，如高斯函数；基于角点响应函数，提取待拼接图像中的角点，可以通过设置阈值筛选出角点响应较大的像素点，也可以通过非极大值抑制(NMS)来进一步精选，并将角点确认为特征点。
通过本实施例，对梯度的准确计算有助于提高角点检测的精度和鲁棒性；构建Harris矩阵，通过考察像素点邻域内的梯度信息，使得角点的检测不仅仅依赖于局部的亮度变化，还兼顾了梯度的方向信息，提高了对角点的鲁棒性；使用角点响应函数，即通过对Harris矩阵的行列式和迹进行组合，可以更好地衡量角点的重要性，这种设计使得角点的响应不仅与亮度变化相关，还考虑了梯度的变化；通过设置合适的阈值或采用非极大值抑制，筛选出具有显著角点响应的像素点作为特征点，使得在提高检测效率的同时，确保了检测到的特征点具有一定的质量和可靠性。
在一个实施例中，为了有助于提升整体图像的质量，通过计算若干待拼接图像的整体平均灰度值，调整待拼接图像的亮度的步骤可以被具体执行为：
计算待拼接图像中像素点的图像平均灰度值，将所有待拼接图像的平均灰度值进行累加，并除以图像数量，得到所有待拼接图像的整体平均灰度值；结合图像平均灰度值和整体平均灰度值，对待拼接图像中每个像素点的灰度值进行调整，具体包括将每个像素点的灰度值增加一个修正值，该修正值是整体平均灰度值与当前图像平均灰度值的差。
通过本实施例，采用动态的方式计算整体平均灰度值，并将其应用到每个待拼接图像中，这样的动态调整方式更灵活，能够适应不同图像之间亮度差异的变化，而不仅仅是简单地将所有图像的亮度拉升或降低到一个统一的水平；通过计算整体平均灰度值，然后调整每个像素点的灰度值，减少了待拼接图像之间的亮度不一致性，这有助于减少在拼接后出现过渡明显或不连贯的情况，提升了整体拼接图像的视觉一致性；由于整体平均灰度值的计算是基于所有待拼接图像的，因此这种方法更具有适应性，能够应对不同图像场景下的亮度差异，而不需要依赖于预先设定的固定亮度值；通过调整每个像素点的灰度值，使得整体平均灰度值一致，有助于提升整体图像的质量，减少了因亮度差异引起的视觉瑕疵，提供更加自然和连贯的视觉效果。
在一个实施例中，为了提升输送带滚筒包胶检测的准确性，使用加权渐变融合的方式调整重合区域的亮度的步骤可以被具体执行为：
确定待拼接图像的重合区域在水平和垂直方向上对应的宽cols和高rows；基于宽cols和高rows，确定融合策略公式：
其中，pr,c为融合后的灰度值，(r,c)为重合区域第r行、第c列像素点的位置，p_1r,c和p_2r,c为两张图原来的灰度值；根据融合后的灰度值pr,c调整重合区域中每个像素点的灰度值，进而调整重合区域的亮度，实现渐变过渡，使得两张图在重合区域没有明显的过渡痕迹。
通过本实施例，加权渐变融合采用了灰度值的加权平均，确保了两张图在重合区域的平滑过渡，这种方法缓解了拼接后图像出现明显的亮度不一致或过渡痕迹，提高了图像的整体视觉一致性；通过融合策略的设计，确保了在调整重合区域亮度的同时，不会造成图像质量的明显下降，有助于保持原始图像细节和质量，进而提升了输送带滚筒包胶检测的准确性。
在一个实施例中，为了提升对输送带滚筒包胶检测的准确性和可靠性，识别待检测图像中的缺陷，基于缺陷对待检测图像进行分割的步骤可以被具体执行为：
首先将缺陷的划分为包胶嵌入物料缺陷和包胶脱落(磨损)缺陷两种，如图3所示，左侧图像为包胶嵌入物料缺陷，包胶表面被嵌入凹凸不平的其他物料，有测图像为包胶脱落(磨损)缺陷，包胶表面由于磨损已经脱落了约一半面积，导致滚筒暴露在外；获取缺陷的样本实例信息，如表1所示，由于包胶脱落(磨损)缺陷更为严重，故将包胶脱落(磨损)缺陷确定为2级，其所在区域用标签damage_level_2进行标注，将包胶嵌入物料缺陷确定为1级，其所在区域用标签damage_level_1进行标注，滚筒中除了缺陷所在的区域确定为滚筒区域，用标签roller进行标注，可以用Labelme工具标注样本并转换为Yolov训练集，标注示意图如图4所示；
表1样本实例信息
| 实例标记值 | 标签 | 意义 |
| 0 | roller | 滚筒 |
| 1 | damage_level_1 | 包胶嵌入物料缺陷 |
| 2 | damage_level_2 | 包胶脱落(磨损)缺陷 |
基于缺陷级别和Yolov训练集，利用Pytorch框架训练分割模型；例如，用含1000张图片的训练集，含100张图片的验证集，训练200轮，并观测验证集缺陷定位、模型分割、目标置信度和分类损失的收敛过程，模型定位、模型分割精度、召回率、mAP指标提高过程等；将训练好的分割模型进行部署，具体包括将Pt格式模型转换为通用Onnx格式模型，利用OpenCV dnn模块调用模型进行部署；使用部署好的分割模型识别待检测图像中的缺陷，并确认缺陷对应的缺陷类型；基于缺陷所在的区域和缺陷类型，对待检测图像进行分割，并获得分割后的若干待检测区域，待检测区域中会包含不同类型的缺陷。
通过本实施例，将缺陷分为两个级别，即包胶嵌入物料缺陷和包胶脱落(磨损)缺陷，通过这种多级别的划分，更准确地描述了缺陷的不同类型和严重程度；在表1中标注了实例标记值、标签和意义，为模型的训练提供了更具体的信息，这种标注方式可以更好地指导模型学习不同级别和类型的缺陷；使用Yolov训练集进行模型的训练，这种目标检测算法适用于缺陷检测任务，同时可以实现对不同缺陷的定位和分类；使用Pytorch框架训练分割模型，为深度学习模型的训练提供了灵活性和可扩展性，同时Pytorch具有较好的易用性，有助于更高效地训练模型；通过观测验证集缺陷定位、模型分割、目标置信度和分类损失的收敛过程，以及模型定位、模型分割精度、召回率、mAP指标提高过程，提高了对模型训练过程的监控，确保了模型性能的有效提升；将训练好的分割模型转换为通用Onnx格式，这种格式的模型更容易在不同平台上进行部署，提高了模型的可移植性和部署效率；将模型部署到实际场景中，通过OpenCV dnn模块实现对待检测图像中缺陷的实时识别和分割，这种综合应用将理论模型成功地应用于实际问题中，进而提升了对输送带滚筒包胶检测的准确性和可靠性。
在一个实施例中，待检测区域包括滚筒区域、嵌入物料缺陷区域和包胶脱落缺陷区域，为了提升滚筒包胶检测系统的可靠性，通过对待检测区域赋予权重的方式计算滚筒包胶的健康度得分的步骤可以被具体执行为：
如图5所示，首先定义滚筒区域为集合R，包胶嵌入物料缺陷区域为集合DL1，包胶脱落缺陷区域为集合DL2，根据像素点数量确定滚筒区域的相对面积AR，即集合R区域内像素点的数量，嵌入物料缺陷区域的相对面积ADL1，即集合DL1区域内像素点的数量，和包胶脱落缺陷区域的相对面积ADL2，即集合DL2区域内像素点的数量，具体包括：
其中，f表示集合面积的映射函数，并且AR、ADL1和ADL2的关系为：
基于预设的得分权重系数，定义并计算滚筒包胶对应的包胶破坏度得分，包胶破坏度得分计算模型如下：
其中，d为包胶破坏度得分，α为嵌入物料缺陷的得分权重系数，β为包胶脱落缺陷的得分权重系数，由于二级缺陷(包胶脱落)更为严重，故α<β；当时，dmin＝0；当时，dmax＝β；即包胶破坏度d∈[0,β]；对包胶破坏度得分进行归一化处理，得到包胶对应的健康度分数：
其中，h为健康度分数，μ为归一化处理的范围值；例如μ＝100时，健康度得分可以归一化至(0,100]，且权重系数和在实际应用过程中可根据实际需求灵活更改数值大小。
需要说明的是，根据包胶健康度计算模型，可以分别用包胶完好、包胶嵌入物料、包胶脱落图像测试包胶健康度得分，例如，考虑到现实中包胶嵌入物料这种情况滚筒仍可以正常工作，α取较小权重0.5，β取5时，测试结果分别如图6、图7和图8所示，图6、图7和图8中左图为原图，右图为标注包胶健康度得分的分割图像；包胶健康度计算模型测试结果符合预设的要求时，可以在实际场景中投入使用，如图9所示，系统检测出该实际场景中的包胶存在嵌入物料缺陷，并且通过包胶健康度计算模型获得该包胶的健康度得分为64。在实际应用过程中，根据健康度得分结合预先设定的分数阈值，滚筒包胶检测系统还可满足实时报警提醒或联动停机等不同报警等级的智能监控功能需求。
通过本实施例，将包胶嵌入物料缺陷和包胶脱落缺陷划分为不同的集合DL1和DL2。通过这种多级别的划分，更精细地描述了不同类型缺陷的空间分布情况；通过相对面积的计算，考虑了不同区域的像素点数量，而不仅仅是简单地考虑存在缺陷的像素点数量，有助于更全面地了解不同缺陷在滚筒区域内的分布状况；引入了预设的得分权重系数α和β，通过调整这些系数，可以灵活地根据实际需求平衡不同级别缺陷对健康度得分的影响，这种权重系数的引入增加了算法的可调性；对包胶破坏度得分进行了归一化处理，将得分映射到一个固定的范围，这种归一化处理有助于使得健康度得分更易于理解和比较，使得得分更具有可解释性；可以通过调整μ的值来灵活地改变归一化的范围，使得在实际应用中更符合具体需求，这种参数的调整使得算法更具有适用性，进而提升了滚筒包胶检测系统的可靠性。
图2是一个实施例中输送带滚筒包胶检测方法的流程示意图。应该理解的是，虽然图2流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行；除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行；并且图2的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
基于上述方法，本申请实施例还公开一种滚筒包胶检测装置。
参照图10，该装置包括以下模块：
拼接图像获取模块1001，用于获取图像采集单元采集到的若干待拼接图像；
图像特征提取模块1002，用于通过提取特征点的方式对若干待拼接图像进行拼接，并将拼接完成的图像确定为待检测图像；
图像缺陷识别模块1003，用于识别待检测图像中的缺陷，基于缺陷对待检测图像进行分割，获得若干待检测区域；
健康得分计算模块1004，用于通过对待检测区域赋予权重的方式计算滚筒包胶的健康度得分，若健康度得分超过预设的阈值，则生成报警提示。
在一个实施例中，图像特征提取模块1002，具体用于根据待拼接图像中像素点的灰度值，提取待拼接图像的特征点；基于特征点，使用RANSAC算法和最小二乘法计算待拼接图像对应的拼接变换矩阵；通过计算若干待拼接图像的整体平均灰度值，调整待拼接图像的亮度；使用加权渐变融合的方式调整重合区域的亮度；根据拼接变换矩阵对若干待拼接图像进行拼接。
在一个实施例中，图像特征提取模块1002，具体用于计算待拼接图像的每个像素点在水平方向和垂直方向的梯度；对待拼接图像的每个像素点，根据其邻域内像素点的梯度计算Harris矩阵，邻域为预设的像素点窗口范围；根据Harris矩阵的特征值，确定角点响应函数；基于角点响应函数，提取待拼接图像中的角点，并将角点确认为特征点。
在一个实施例中，图像特征提取模块1002，具体用于分别计算待拼接图像中像素点的图像平均灰度值和所有待拼接图像的整体平均灰度值；结合图像平均灰度值和整体平均灰度值，对待拼接图像中每个像素点的灰度值进行调整。
在一个实施例中，图像特征提取模块1002，具体用于确定待拼接图像的重合区域对应的宽cols和高rows；基于宽cols和高rows，确定融合策略公式
其中，pr,c为融合后的灰度值，(r,c)为重合区域第r行、第c列像素点的位置，p_1r,c和p_2r,c为两张图原来的灰度值；根据融合后的灰度值pr,c调整重合区域的亮度。
在一个实施例中，图像缺陷识别模块1003，具体用于基于预设的缺陷级别和模型训练集，利用pytorch框架训练分割模型，将训练好的分割模型进行部署；使用部署好的分割模型识别待检测图像中的缺陷，并确认缺陷对应的缺陷类型；基于缺陷所在的区域和缺陷类型，对待检测图像进行分割。
在一个实施例中，健康得分计算模块1004，具体用于根据像素点数量确定滚筒区域的相对面积AR，嵌入物料缺陷区域的相对面积ADL1和包胶脱落缺陷区域的相对面积ADL2；基于预设的得分权重系数，计算滚筒包胶对应的包胶破坏度得分
其中，d为包胶破坏度得分，α为嵌入物料缺陷的得分权重系数，β为包胶脱落缺陷的得分权重系数；对包胶破坏度得分进行归一化处理，得到包胶对应的健康度分数
其中，h为健康度分数，μ为归一化处理的范围值。
本申请实施例提供的滚筒包胶检测装置，可以应用于如上述实施例中提供的输送带滚筒包胶检测方法，相关细节参考上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
需要说明的是：本申请实施例中提供的滚筒包胶检测装置在进行输送带滚筒包胶检测时，仅以上述各功能模块/功能单元的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块/功能单元完成，即将滚筒包胶检测装置的内部结构划分成不同的功能模块/功能单元，以完成以上描述的全部或者部分功能。另外，上述方法实施例提供的输送带滚筒包胶检测方法的实施方式与本实施例提供的滚筒包胶检测装置的实施方式属于同一构思，本实施例提供的滚筒包胶检测装置的具体实现过程详见上述方法实施例，这里不再赘述。
本申请实施例还公开一种计算机设备。
具体来说，如图11所示，该计算机设备可以是桌上型计算机、笔记本电脑、掌上电脑以及云端服务器等计算机设备。该计算机设备可以包括，但不限于，处理器和存储器。其中，处理器和存储器可以通过总线或者其他方式连接。其中，处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、图形处理器(Graphics Processing Unit，GPU)、嵌入式神经网络处理器(Neural-network Processing Unit，NPU)或者其他专用的深度学习协处理器、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请上述实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施方式中的方法。存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储控制单元、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例还公开一种计算机可读存储介质。
具体来说，计算机可读存储介质用于存储计算机程序，计算机程序被处理器执行时，实现上述方法实施方式中的方法。本领域技术人员可以理解，实现本申请上述实施方式方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施方式的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。
Claims (10)
1.一种输送带滚筒包胶检测方法，其特征在于，所述方法应用于滚筒包胶检测系统，所述滚筒包胶检测系统包括图像采集单元，所述方法包括：
获取所述图像采集单元采集到的若干待拼接图像；
通过提取特征点的方式对若干所述待拼接图像进行拼接，并将拼接完成的图像确定为待检测图像；
识别所述待检测图像中的缺陷，基于所述缺陷对所述待检测图像进行分割，获得若干待检测区域；
通过对所述待检测区域赋予权重的方式计算滚筒包胶的健康度得分，若所述健康度得分超过预设的阈值，则生成报警提示。
2.根据权利要求1所述的方法，其特征在于，所述待拼接图像包含重合区域，所述通过提取特征点的方式对若干所述待拼接图像进行拼接包括：
根据所述待拼接图像中像素点的灰度值，提取所述待拼接图像的特征点；
基于所述特征点，使用RANSAC算法和最小二乘法计算所述待拼接图像对应的拼接变换矩阵；
通过计算若干所述待拼接图像的整体平均灰度值，调整所述待拼接图像的亮度；
使用加权渐变融合的方式调整所述重合区域的亮度；
根据所述拼接变换矩阵对若干所述待拼接图像进行拼接。
3.根据权利要求2所述的方法，其特征在于，所述根据所述待拼接图像中像素点的灰度值，提取所述待拼接图像的特征点包括：
计算待拼接图像的每个像素点在水平方向和垂直方向的梯度；
对所述待拼接图像的每个像素点，根据其邻域内像素点的梯度计算Harris矩阵，所述邻域为预设的像素点窗口范围；
根据所述Harris矩阵的特征值，确定角点响应函数；
基于所述角点响应函数，提取所述待拼接图像中的角点，并将所述角点确认为特征点。
4.根据权利要求2所述的方法，其特征在于，所述通过计算若干所述待拼接图像的整体平均灰度值，调整所述待拼接图像的亮度包括：
分别计算所述待拼接图像中像素点的图像平均灰度值和所有所述待拼接图像的整体平均灰度值；
结合所述图像平均灰度值和所述整体平均灰度值，对所述待拼接图像中每个像素点的灰度值进行调整。
5.根据权利要求2所述的方法，其特征在于，所述使用加权渐变融合的方式调整所述重合区域的亮度包括：
确定所述待拼接图像的重合区域对应的宽cols和高rows；
基于所述宽cols和所述高rows，确定融合策略公式
其中，所述pr,c为融合后的灰度值，所述(r,c)为重合区域第r行、第c列像素点的位置，p_1r,c和p_2r,c为两张图原来的灰度值；
根据所述融合后的灰度值pr,c调整所述重合区域的亮度。
6.根据权利要求1所述的方法，其特征在于，所述识别所述待检测图像中的缺陷，基于所述缺陷对所述待检测图像进行分割包括：
基于预设的缺陷级别和模型训练集，利用Pytorch框架训练分割模型，将训练好的所述分割模型进行部署；
使用部署好的所述分割模型识别所述待检测图像中的缺陷，并确认所述缺陷对应的缺陷类型；
基于所述缺陷所在的区域和所述缺陷类型，对所述待检测图像进行分割。
7.根据权利要求1所述的方法，其特征在于，所述待检测区域包括滚筒区域、嵌入物料缺陷区域和包胶脱落缺陷区域，所述通过对所述待检测区域赋予权重的方式计算滚筒包胶的健康度得分包括：
根据像素点数量确定所述滚筒区域的相对面积AR，所述嵌入物料缺陷区域的相对面积ADL1和所述包胶脱落缺陷区域的相对面积ADL2；
基于预设的得分权重系数，计算滚筒包胶对应的包胶破坏度得分
其中，所述d为包胶破坏度得分，所述α为嵌入物料缺陷的得分权重系数，所述β为包胶脱落缺陷的得分权重系数；
对所述包胶破坏度得分进行归一化处理，得到包胶对应的健康度分数
其中，所述h为健康度分数，μ为归一化处理的范围值。
8.一种输送带滚筒包胶检测装置，其特征在于，所述装置应用于滚筒包胶检测系统，所述滚筒包胶检测系统包括图像采集单元，所述装置包括：
拼接图像获取模块(1001)，用于获取所述图像采集单元采集到的若干待拼接图像；
图像特征提取模块(1002)，用于通过提取特征点的方式对若干所述待拼接图像进行拼接，并将拼接完成的图像确定为待检测图像；
图像缺陷识别模块(1003)，用于识别所述待检测图像中的缺陷，基于所述缺陷对所述待检测图像进行分割，获得若干待检测区域；
健康得分计算模块(1004)，用于通过对所述待检测区域赋予权重的方式计算滚筒包胶的健康度得分，若所述健康度得分超过预设的阈值，则生成报警提示。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。
10.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311768179.0A CN117745678A (zh) | 2023-12-20 | 2023-12-20 | 一种输送带滚筒包胶检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311768179.0A CN117745678A (zh) | 2023-12-20 | 2023-12-20 | 一种输送带滚筒包胶检测方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117745678A true CN117745678A (zh) | 2024-03-22 |
Family
ID=90250554
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311768179.0A Pending CN117745678A (zh) | 2023-12-20 | 2023-12-20 | 一种输送带滚筒包胶检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117745678A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118096730A (zh) * | 2024-04-22 | 2024-05-28 | 湖南隆深氢能科技有限公司 | 一种基于ccm卷料转印生产线的实时监测方法、系统及介质 |
| CN120198430A (zh) * | 2025-05-26 | 2025-06-24 | 杭州迅效自动化科技有限公司 | 一种基于工件检测设备的视觉检测方法 |
| CN120761388A (zh) * | 2025-09-02 | 2025-10-10 | 广东逸科兴制造技术有限公司 | 对圆柱电芯端面的包胶状况检测方法、装置、设备和介质 |
-
2023
- 2023-12-20 CN CN202311768179.0A patent/CN117745678A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118096730A (zh) * | 2024-04-22 | 2024-05-28 | 湖南隆深氢能科技有限公司 | 一种基于ccm卷料转印生产线的实时监测方法、系统及介质 |
| CN120198430A (zh) * | 2025-05-26 | 2025-06-24 | 杭州迅效自动化科技有限公司 | 一种基于工件检测设备的视觉检测方法 |
| CN120761388A (zh) * | 2025-09-02 | 2025-10-10 | 广东逸科兴制造技术有限公司 | 对圆柱电芯端面的包胶状况检测方法、装置、设备和介质 |
| CN120761388B (zh) * | 2025-09-02 | 2025-11-25 | 广东逸科兴制造技术有限公司 | 对圆柱电芯端面的包胶状况检测方法、装置、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117745678A (zh) | 一种输送带滚筒包胶检测方法、装置、设备及存储介质 | |
| CN110148130B (zh) | 用于检测零件缺陷的方法和装置 | |
| US9235902B2 (en) | Image-based crack quantification | |
| JP6794737B2 (ja) | 情報処理装置、情報処理方法、プログラムおよび検査システム | |
| US11315229B2 (en) | Method for training defect detector | |
| WO2017176304A1 (en) | Automatic assessment of damage and repair costs in vehicles | |
| JP6347589B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN113095438A (zh) | 晶圆缺陷分类方法及其装置、系统、电子设备和存储介质 | |
| CN116485779B (zh) | 自适应晶圆缺陷检测方法、装置、电子设备及存储介质 | |
| KR20220101373A (ko) | 영상 기반 pcb 결함 검출 장치 및 방법 | |
| CN113837173A (zh) | 目标对象检测方法、装置、计算机设备和存储介质 | |
| CN113469944A (zh) | 一种产品质检方法、装置和电子设备 | |
| CN118887174A (zh) | 基于融合视觉的压铸件缺陷识别方法及平台 | |
| CN117197653A (zh) | 基于深度学习的滑坡灾害识别方法及系统 | |
| CN119131006A (zh) | 一种基于深度学习的陶瓷缺陷智能检测方法、系统、设备及存储介质 | |
| Singh et al. | Segmentation technique for the detection of Micro cracks in solar cell using support vector machine | |
| JP7198438B2 (ja) | オブジェクト検出方法、オブジェクト検出装置及びコンピュータプログラム | |
| JP7245451B2 (ja) | オブジェクト検出方法、オブジェクト検出装置及びコンピュータプログラム | |
| US11508143B2 (en) | Automated salience assessment of pixel anomalies | |
| CN119741698A (zh) | 聚氨酯滚轮的缺陷检测方法及相关设备 | |
| KR102230559B1 (ko) | 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치 | |
| CN119399498A (zh) | 输电线路的山火点定位方法及装置、设备及存储介质 | |
| KR20210031444A (ko) | 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치 | |
| CN120126069B (zh) | 一种基于图像差异识别的输电线路周边隐患动态检测系统 | |
| Ieamsaard et al. | Automatic optical inspection of solder ball burn defects on head gimbal assembly |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |