CN118135179B - 切割板件的级联识别方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种切割板件的级联识别方法、装置、计算机设备和存储介质。方法包括：获取切割板件的切割场景图像；确定板件整版图像和切割台背景图像；利用一级识别网络模型，获取切割板件的边界角点信息和位置信息；根据切割板件的边界角点信息和板件整版图像，利用二级识别网络模型，获取切割板件中各待抓取工件的边缘信息；根据预设工件套料图、切割板件的边界角点信息和各待抓取工件的边缘信息，对各待抓取工件进行识别处理，获得各待抓取工件的坐标信息；根据切割板件的位置信息和各待抓取工件的坐标信息，对各待抓取工件进行分拣下料。采用本方法，能够在板件经过激光切割后，提高板件内各个工件的分拣精度和抓取效率。

Description

切割板件的级联识别方法、装置、计算机设备和存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种切割板件的级联识别方法、装置、计算机设备和存储介质。

背景技术

智能分拣生产线作为智能制造业基础环节，对整体生产效率具有重要影响。在当前智能制造发展背景下，板件在经过激光切割后得到各个工件，对各个工件进行自动分拣下料成为行业新趋势。激光束移动速度快且无需接触加工，能大幅提升切割效率，适用于各种批量生产。

高精度板件经激光切割后，因工艺不同切割的缝隙的大小会有较大差异，并且切割完成后，受传送过程中的工件挤压、视觉光照、背景相似等因素影响，视觉抓取时不易识别板件的角点、区域和板件内的各个工件，易出现定位困难的问题，从而影响各个工件的分拣精度和抓取效率。

因此，亟需一种切割板件的级联识别方法、装置、计算机设备和存储介质，在板件经过激光切割后，提高板件内的各个工件的分拣精度和抓取效率。

发明内容

基于此，有必要针对上述技术问题，提供一种能够在板件经过激光切割后，提高板件内的各个工件的分拣精度和抓取效率的切割板件的级联识别方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种切割板件的级联识别方法，包括：

获取切割板件的切割场景图像；

根据所述切割场景图像，确定板件整版图像和切割台背景图像；

根据所述板件整版图像和所述切割台背景图像，利用一级识别网络模型，获取所述切割板件的边界角点信息和位置信息；

根据所述一级识别模型获取的切割板件的边界角点信息和所述板件整版图像，利用二级识别网络模型，获取所述切割板件中各待抓取工件的边缘信息；

根据预设工件套料图、所述切割板件的边界角点信息和所述各待抓取工件的边缘信息，对所述切割板件中各待抓取工件进行识别处理，获得各待抓取工件的坐标信息；

根据所述切割板件的位置信息和所述各待抓取工件的坐标信息，对各待抓取工件进行分拣下料。

在其中一个实施例中，所述根据所述切割场景图像，确定板件整版图像和切割台背景图像，包括：

对所述切割场景图像进行伪装目标检测，获得所述切割场景图像中切割板件的伪装目标特征；

根据所述切割板件的伪装目标特征，将所述切割场景图像划分为板件整版图像和切割台背景图像。

在其中一个实施例中，所述对所述切割场景图像进行伪装目标检测，获得所述切割场景图像中切割板件的伪装目标特征，包括：

基于搜索识别网络模型对所述切割场景图像进行伪装目标检测，获得所述切割场景图像中所述切割板件伪装图像特征；

根据预设伪装目标特征库，对所述伪装图像特征进行匹配，确定所述切割场景图像中切割板件的伪装目标特征。

在其中一个实施例中，所述方法还包括：

根据所述切割板件的边界角点信息和位置信息，将所述切割场景图像设置为仅包含所述板件整版图像的蒙版图像。

在其中一个实施例中，所述获取所述切割板件的边界角点信息和位置信息之后，还包括：

根据所述一级识别模型获取的切割板件的边界角点信息和所述蒙版图像，利用二级识别网络模型，获取所述切割板件中各待抓取工件的边缘信息。

在其中一个实施例中，所述根据所述一级识别模型获取的切割板件的边界角点信息和所述板件整版图像，利用二级识别网络模型，获取所述切割板件中各待抓取工件的边缘信息，包括：

根据所述一级识别模型获取的切割板件的边界角点信息，获取结果填充图像；

将所述结果填充图像作为所述二级识别网络模型的输入图像；

利用二级识别网络模型，采用边界注意力机制的边缘提取模型，获取所述结果填充图像中切割板件中各待抓取工件的边缘信息。

第二方面，本申请还提供了一种切割板件的级联识别装置，包括：

获取模块，用于获取切割板件的切割场景图像；

处理模块，用于根据所述切割场景图像，确定板件整版图像和切割台背景图像；

处理模块，还用于根据所述板件整版图像和所述切割台背景图像，利用一级识别网络模型，获取所述切割板件的边界角点信息和位置信息；

处理模块，还用于根据所述一级识别模型获取的切割板件的边界角点信息和所述板件整版图像，利用二级识别网络模型，获取所述切割板件中各待抓取工件的边缘信息；

处理模块，还用于根据预设工件套料图、所述切割板件的边界角点信息和所述各待抓取工件的边缘信息，对所述切割板件中各待抓取工件进行识别处理，获得各待抓取工件的坐标信息；

控制模块，用于根据所述切割板件的位置信息和所述各待抓取工件的坐标信息，对各待抓取工件进行分拣下料。

第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取切割板件的切割场景图像；

根据所述切割场景图像，确定板件整版图像和切割台背景图像；

根据所述板件整版图像和所述切割台背景图像，利用一级识别网络模型，获取所述切割板件的边界角点信息和位置信息；

根据所述一级识别模型获取的切割板件的边界角点信息和所述板件整版图像，利用二级识别网络模型，获取所述切割板件中各待抓取工件的边缘信息；

根据预设工件套料图、所述切割板件的边界角点信息和所述各待抓取工件的边缘信息，对所述切割板件中各待抓取工件进行识别处理，获得各待抓取工件的坐标信息；

根据所述切割板件的位置信息和所述各待抓取工件的坐标信息，对各待抓取工件进行分拣下料。

第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取切割板件的切割场景图像；

根据所述切割场景图像，确定板件整版图像和切割台背景图像；

根据所述板件整版图像和所述切割台背景图像，利用一级识别网络模型，获取所述切割板件的边界角点信息和位置信息；

根据所述一级识别模型获取的切割板件的边界角点信息和所述板件整版图像，利用二级识别网络模型，获取所述切割板件中各待抓取工件的边缘信息；

根据预设工件套料图、所述切割板件的边界角点信息和所述各待抓取工件的边缘信息，对所述切割板件中各待抓取工件进行识别处理，获得各待抓取工件的坐标信息；

根据所述切割板件的位置信息和所述各待抓取工件的坐标信息，对各待抓取工件进行分拣下料。

第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取切割板件的切割场景图像；

根据所述切割场景图像，确定板件整版图像和切割台背景图像；

根据所述板件整版图像和所述切割台背景图像，利用一级识别网络模型，获取所述切割板件的边界角点信息和位置信息；

根据所述一级识别模型获取的切割板件的边界角点信息和所述板件整版图像，利用二级识别网络模型，获取所述切割板件中各待抓取工件的边缘信息；

根据预设工件套料图、所述切割板件的边界角点信息和所述各待抓取工件的边缘信息，对所述切割板件中各待抓取工件进行识别处理，获得各待抓取工件的坐标信息；

根据所述切割板件的位置信息和所述各待抓取工件的坐标信息，对各待抓取工件进行分拣下料。

上述切割板件的级联识别方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，通过级联识别的方式，确定板件的边界角点信息和位置信息，然后进一步获取各待抓取工件的边缘信息，最后结合预设工件套料图进行识别处理，这样可以更准确地获取到各工件的坐标信息，从而提高分拣的精度。并且，由于该方法可以准确地获取到各工件的坐标信息，因此在分拣下料时，可以直接、准确地抓取到各个工件，避免了因定位困难而导致的抓取失败或抓取错误，从而提高了抓取的效率。同时该方法对切割缝隙的大小、传送过程中的工件挤压、视觉光照、背景相似等因素有较好的适应性，可以在这些复杂条件下仍然保持较高的分拣精度和抓取效率。并且采用级联识别网络模型，这种模型具有良好的扩展性，可以通过添加更多的识别网络模型，进一步提高分拣精度和抓取效率。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中切割板件的级联识别方法的应用环境图；

图2为一个实施例中切割板件的级联识别方法的流程示意图；

图3为切割板件的级联识别方法的整体流程示意图；

图4为一个实施例中切割板件整版图像和切割台背景图像的分割示意图；

图5为一个实施例中切割板件的切割板件中各待抓取工件的边缘示意图；

图6为另一个实施例中切割板件的级联识别方法的流程示意图；

图7为一个实施例中切割板件的级联识别装置的结构框图；

图8为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的切割板件的级联识别方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。服务器104获取切割板件的切割场景图像；根据切割场景图像，确定板件整版图像和切割台背景图像；根据板件整版图像和切割台背景图像，利用一级识别网络模型，获取切割板件的边界角点信息和位置信息；根据一级识别模型获取的切割板件的边界角点信息和板件整版图像，利用二级识别网络模型，获取切割板件中各待抓取工件的边缘信息；根据预设工件套料图、切割板件的边界角点信息和各待抓取工件的边缘信息，对切割板件中各待抓取工件进行识别处理，获得各待抓取工件的坐标信息；根据切割板件的位置信息和各待抓取工件的坐标信息，对各待抓取工件进行分拣下料。

其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个示例性的实施例中，如图2所示，提供了一种切割板件的级联识别方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤S202至步骤S212。其中：

步骤S202，获取切割板件的切割场景图像。

具体地，获取切割板件的切割场景图像是指通过某种图像采集设备（如摄像头、扫描仪等）对正在进行切割操作的板件（例如钢板）进行拍摄或扫描，以获取该板件在切割过程中的2D图像信息。这个图像信息包含了板件切割时的各种细节，如板件的形状、尺寸、切割缝隙的大小、位置等，以及可能存在的工件挤压、光照不均、背景干扰等因素。

具体来说，获取切割场景图像的过程可以包括以下几个步骤：

选择合适的图像采集设备：根据切割板件的特点和识别需求，选择具有高分辨率、高灵敏度、快速响应等特点的图像采集设备。

确定图像采集位置：根据切割设备的布局和切割过程的特点，确定图像采集设备的最佳位置，以确保能够获取到清晰、完整的切割场景图像。

调整图像采集参数：根据图像采集设备的特点和切割场景的实际需求，调整图像采集设备的参数，如曝光时间、焦距、色彩模式等，以确保获取到的图像信息具有足够的清晰度和准确性。

进行图像采集：在切割过程中，通过图像采集设备对板件进行拍摄或扫描，获取切割场景图像。这个过程需要确保图像采集设备与切割设备之间的同步和协调，以确保获取到的图像信息能够准确反映切割过程中的实际情况。通过获取切割场景图像，可以为后续的板件识别和分拣操作提供重要的数据支持。

步骤S204，根据切割场景图像，确定板件整版图像和切割台背景图像。

具体地，根据切割场景图像，确定板件整版图像和切割台背景图像的过程，实际上是对图像进行分割和识别的过程。在激光切割过程中，摄像头或其他图像采集设备会捕获到包括板件、切割台以及可能存在的其他背景元素的整个场景图像。这个图像通常是一个复杂的混合体，包含了多种元素和特征。

首先，板件整版图像是指在整个切割场景图像中，代表完整板件（未经切割）的部分。这通常是一个连续的区域，具有一致的纹理、颜色或形状，与周围的切割台或其他背景元素有明显的区分。确定板件整版图像通常涉及图像分割技术，如阈值处理、边缘检测或区域生长等，以从混合的背景中分离板件区域。

其次，切割台背景图像则指的是切割场景图像中，除了板件以外的部分，主要是切割台本身以及其他可能的背景元素。这部分图像通常具有与板件不同的颜色、纹理或形状特征，可以作为区分板件和背景的依据。

确定板件整版图像和切割台背景图像的目的是为了在接下来的识别过程中，能够更准确地提取板件及其内部工件的信息。如图3所示，通过对图像进行分割，可以去除与板件无关的背景元素，减少干扰，提高识别的准确性和效率。这个过程通常需要结合图像处理算法和计算机视觉技术来实现。通过算法对图像进行处理，可以提取板件和背景的轮廓、边缘、颜色等特征信息，进而实现图像分割和目标识别。

步骤S206，根据板件整版图像和切割台背景图像，利用一级识别网络模型，获取切割板件的边界角点信息和位置信息。

具体地，首先，对板件整版图像和切割台背景图像进行预处理，包括去噪、增强对比度、归一化等操作，以提高图像质量和减少干扰因素，使得后续的识别过程更加准确和可靠。接着，利用一级识别网络模型，一级识别网络模型基于学习的伪装目标检测的分割方法，如SINET，实现提取展台上切割钢板的轮廓信息。这个过程中，模型会学习并识别出图像中与板件边界和角点相关的特征，如边缘轮廓、角点形状、纹理信息等。在特征提取的基础上，模型会对板件的边界和角点进行精确检测。这通常涉及到边缘检测算法（如Canny边缘检测）和角点检测算法（如Harris角点检测）的应用。通过这些算法，可以准确地识别板件的边界轮廓和关键角点的位置。在检测到边界和角点之后，模型会根据这些信息来确定板件在整个图像中的位置。这通常包括确定板件的中心点、边界框（bounding box）等，以便后续的分拣和抓取操作能够准确地对准目标。最后，一级识别网络模型会输出切割板件的边界角点信息和位置信息。这些信息可以是以坐标形式表示的角点位置，也可以是边界框的坐标和尺寸等。这些输出结果将作为后续操作（如二级识别、工件识别处理等）的重要依据。

在本实施例中，如图4所示，采用PSINet模型预测切割板件位于切割场景图像中的ROI区域，并预测出整版的二值化mask。在图像处理中，ROI区域是指图像中用户感兴趣或者需要特别关注的区域。在本实施例中ROI区域指的是切割场景图像中包含切割板件的区域。通过识别并定位这些区域，可以更加精确地针对工件进行后续的处理，如分拣、抓取等。二值化mask是一种图像处理方法，其中图像被转换为仅包含两种像素值（通常是0和1或黑色和白色）的图像。这种处理有助于简化图像，突出感兴趣的区域，并消除不相关的信息。在本例中，整版的二值化mask指的是一个能够准确表示板件整版轮廓和位置的二值化图像。

示例性地，将切割场景图像作为PSINet模型的输入。这个图像可能包含了板件、切割台以及其他可能的背景元素。在模型内部，通过一系列的卷积层、池化层等结构，提取输入图像的特征。这些特征可能包括边缘、纹理、形状等，有助于区分板件和背景。基于提取的特征，模型会尝试预测并定位图像中的ROI区域。这些区域是模型认为最可能包含切割板件的区域。同时，模型还会根据提取的特征生成整版的二值化mask。这个mask会突出显示板件的轮廓和位置，而将背景和其他不相关元素抑制为黑色或较低的像素值。最后，模型会输出预测的ROI区域和整版的二值化mask。这些信息可以直接用于后续的分拣、抓取等操作，因为它们提供了精确的板件位置和工件区域信息。

步骤S208，根据一级识别模型获取的切割板件的边界角点信息和板件整版图像，利用二级识别网络模型，获取切割板件中各待抓取工件的边缘信息。

具体地，如图5所示，根据一级识别模型获取的切割板件的边界角点信息和板件整版图像，利用二级识别网络模型获取切割板件中各待抓取工件的边缘信息，是一个图像处理和计算机视觉任务中的关键步骤。

其中，边界角点信息是通过一级识别网络模型从整版图像中识别并提取的。这些角点信息精确地描述了板件轮廓的关键位置，是确定板件形状和位置的重要依据。利用这些角点信息，可以准确地定位板件在图像中的位置，从而避免在后续的工件识别过程中出现偏差。整版图像是包含板件和可能存在的其他元素的原始图像。在处理整版图像时，可能需要应用图像预处理技术，如去噪、增强对比度等，以提高图像质量并突出板件及其内部工件的特征。

而二级识别网络模型是一个经过训练的深度学习模型，专门用于从图像中识别并提取工件的边缘信息。这个模型可能基于卷积神经网络（CNN）或其他先进的图像识别技术。它接收经过预处理的整版图像和边界角点信息作为输入，并输出工件边缘的预测结果。在二级识别网络模型的输出中，获得了各待抓取工件的边缘信息。这些信息可能包括工件的边缘轮廓、位置坐标等。这些信息是通过模型对图像中的特征进行学习和识别得到的，它们能够精确地描述工件在图像中的位置和形状。获取到的工件边缘信息对于后续的工件分拣和抓取操作至关重要。通过准确地知道每个工件的位置和形状，可以精确地控制抓取装置，确保能够准确地抓取到每个工件。这不仅可以提高分拣效率，还可以减少误抓和漏抓的情况，提高整体的生产效率和质量。

步骤S210，根据预设工件套料图、切割板件的边界角点信息和各待抓取工件的边缘信息，对切割板件中各待抓取工件进行识别处理，获得各待抓取工件的坐标信息。

具体地，预设工件套料图是一个参考模板，其中包含了待抓取工件的形状、尺寸和相对位置信息。这个套料图是在工件设计和生产准备阶段就已经确定的，用于指导后续的切割和分拣操作。通过使用这个套料图，可以知道哪些工件是需要被识别和抓取的。通过一级识别网络模型和二级识别网络模型获取的切割板件的边界角点信息和各待抓取工件的边缘信息，这些信息提供了工件在切割板件上的精确位置和形状。结合这些信息，可以更准确地识别出每个待抓取工件的具体位置和轮廓。在获得边界角点信息和工件边缘信息的基础上，通过图像处理和计算机视觉技术，可以对切割板件中的各待抓取工件进行识别处理。这个过程涉及到模式匹配、形状分析、边缘检测等算法，以确保能够准确地识别出每个工件。一旦工件被成功识别，可以提取出它们的坐标信息。这些坐标信息描述了工件在切割板件上的具体位置，包括工件的中心点、边缘点等。这些坐标信息对于后续的抓取操作至关重要，决定了抓取装置应该移动到哪个位置来准确地抓取工件。

步骤S212，根据切割板件的位置信息和各待抓取工件的坐标信息，对各待抓取工件进行分拣下料。

具体地，根据切割板件的位置信息和各待抓取工件的坐标信息，抓取装置（如机械臂、吸盘等）会进行精确的定位和移动。抓取装置会首先移动到板件附近，然后根据每个工件的坐标信息，逐一抓取工件。这个过程需要确保抓取装置能够准确地定位到每个工件，并且以适当的方式（如吸附、夹持等）将工件从板件上取下。抓取装置在抓取到工件后，会将其移动到指定的分拣区域。根据不同的需求，这些工件可能会按照不同的分类或顺序进行摆放。分拣过程可能涉及到对工件进行进一步的识别、分类和计数等操作，以确保每个工件都被正确地放置到相应的位置。

上述切割板件的级联识别方法中，通过级联识别的方式，确定板件的边界角点信息和位置信息，然后进一步获取各待抓取工件的边缘信息，最后结合预设工件套料图进行识别处理，这样可以更准确地获取到各工件的坐标信息，从而提高分拣的精度。并且，由于该方法可以准确地获取到各工件的坐标信息，因此在分拣下料时，可以直接、准确地抓取到各个工件，避免了因定位困难而导致的抓取失败或抓取错误，从而提高了抓取的效率。同时该方法对切割缝隙的大小、传送过程中的工件挤压、视觉光照、背景相似等因素有较好的适应性，可以在这些复杂条件下仍然保持较高的分拣精度和抓取效率。并且采用级联识别网络模型，这种模型具有良好的扩展性，可以通过添加更多的识别网络模型，进一步提高分拣精度和抓取效率。

在一个示例性的实施例中，如图6所示，步骤根据切割场景图像，确定板件整版图像和切割台背景图像包括步骤S602至步骤S604。其中：

步骤S602，对切割场景图像进行伪装目标检测，获得切割场景图像中切割板件的伪装目标特征；

步骤S604，根据切割板件的伪装目标特征，将切割场景图像划分为板件整版图像和切割台背景图像。

具体地，在切割场景中，通常涉及到对板件进行精确的切割操作，而在实际操作过程中，板件可能会被放置在切割台上，并且切割场景图像中会包含板件、切割台以及其他可能的背景元素。为了从切割场景图像中准确地提取板件整版图像（即仅包含板件及其相关元素的图像）和切割台背景图像（即不包含板件，仅包含切割台和背景的图像），需要执行一系列步骤。

其中，系统或算法会对切割场景图像进行伪装目标检测。伪装目标检测是计算机视觉领域的一个任务，它旨在识别出图像中与背景颜色、纹理等相似或难以区分的目标。在切割场景中，板件可能被视为“伪装目标”，因为它可能与切割台或其他背景元素在颜色、纹理等方面相似。通过应用适当的伪装目标检测算法，可以从切割场景图像中提取板件的伪装目标特征。这些特征可能包括板件的形状、大小、颜色、纹理等，它们有助于区分板件和背景。

在获得板件的伪装目标特征后，下一步是将切割场景图像划分为两部分：板件整版图像和切割台背景图像。这可以通过图像分割技术实现，比如基于阈值的分割、基于区域的分割或基于边缘的分割等。根据板件的伪装目标特征，算法可以准确地识别板件在图像中的位置和范围，并将其从切割场景图像中分割出来，形成板件整版图像。同时，算法也能识别出切割台和背景部分，并将其作为切割台背景图像提取出来。

本实施例中，通过执行上述步骤，可以获得两个独立的图像：一个是仅包含板件及其相关元素的板件整版图像，另一个是仅包含切割台和背景的切割台背景图像。这有利于后续的图像处理、分析和切割操作。例如，板件整版图像可以用于进一步的工件识别、定位和切割操作，而切割台背景图像则可以用于监测切割台的状态或进行其他相关分析。

在其中一个实施例中，对切割场景图像进行伪装目标检测，获得切割场景图像中切割板件的伪装目标特征，包括：

基于搜索识别网络模型对切割场景图像进行伪装目标检测，通过获得切割场景图像中切割板件伪装图像特征；

根据预设伪装目标特征库，对伪装图像特征进行匹配，确定切割场景图像中切割板件的伪装目标特征。

具体地，伪装目标检测的目的是从复杂的背景中识别出那些与背景相似或难以直接区分的目标。在切割场景图像中，这意味着要区分切割板件和切割台或其他背景元素。

通过搜索模块（Search Module，SM）初步识别出可能包含伪装目标的区域。它利用预先训练好的搜索识别网络模型来分析切割场景图像，并找出那些可能与切割板件相关的区域。工作原理：搜索模块接收切割场景图像作为输入，并通过搜索识别网络模型进行特征提取和分类。这个模型基于深度学习，特别是卷积神经网络（CNN），它已经被训练成能够识别与切割板件相似的图像区域。通过搜索模块的处理，可以获得一系列候选区域，这些区域可能包含切割板件。

通过识别模块（Identification Module，IM）对搜索模块提供的候选区域进行进一步的验证和识别，以确定哪些区域确实包含切割板件。工作原理：识别模块利用预设的伪装目标特征库来进行验证。这个特征库包含了已知的伪装目标（如切割板件）的特征模板。识别模块将搜索模块提供的候选区域特征与这些模板进行匹配和比较。通过比较候选区域特征与库中模板的相似度，识别模块能够确定哪些区域确实包含切割板件，并提取出这些区域的伪装目标特征。

其中，系统拥有一个预设的伪装目标特征库，这个库中存储了已知伪装目标的特征模板。这些模板可能是通过先前的学习或训练过程获得的，并且包含了伪装目标的典型特征。在获得切割板件的伪装图像特征后，系统将这些特征与预设特征库中的模板进行比对和匹配。这个过程可能涉及到特征之间的相似度计算、距离度量等技术。通过匹配，系统能够确定切割场景图像中切割板件的伪装目标特征。

综上所述，通过对切割场景图像进行伪装目标检测，并结合搜索识别网络模型和预设伪装目标特征库，系统能够准确地识别并提取出切割板件的伪装目标特征。这对于后续的图像处理和分析，特别是在复杂的切割场景中，具有重要的应用价值。

在其中一个实施例中，方法还包括：根据切割板件的边界角点信息和位置信息，将切割场景图像设置为仅包含板件整版图像的蒙版图像。

具体地，“边界角点信息”指的是板件边缘的角点坐标，而“位置信息”则可能包括板件在图像中的大致位置或方向。使用这些信息，可以创建一个与原始图像大小相同的蒙版图像，该蒙版图像仅覆盖切割板件的部分，而忽略其他背景或干扰元素。其中板件区域被标记为1（或其他表示存在的值），而背景和其他区域被标记为0（或其他表示不存在的值）。

PSINet被用于生成板件整版的mask区域，这个mask区域是一个二值化图像，其中板件区域被精确地标记出来，而背景和其他元素被忽略。在获得整板的mask区域后，算法会分析这个mask区域，找出其边缘的角点。这些角点信息对于确定板件在图像中的精确位置和方向至关重要。进而根据整版边缘角点确定工件在图像中的位置信息，使用整版边缘的角点信息，可以计算板件在图像中的准确位置和可能的方向。在确定了板件的位置和方向后，可以对输入图像数据进行重构。这可能包括旋转、裁剪或其他操作，以确保板件以期望的方式呈现。为了专注于板件本身，算法会将mask区域中预测的工件角点以外的所有区域（即非工件区域）填充为0。这意味着只有板件区域会被保留，而所有背景和其他元素都会被移除或置为零。

本实施例中，通过使用蒙版、角点信息和可能的神经网络模型，算法能够精确地识别、定位和重构板件，从而方便后续的图像处理或分析操作。

在其中一个实施例中，获取切割板件的边界角点信息和位置信息之后，还包括：

根据一级识别模型获取的切割板件的边界角点信息和蒙版图像，利用二级识别网络模型，获取切割板件中各待抓取工件的边缘信息。

具体地，蒙版图像是一个二值化图像，其中仅包含切割板件区域，背景和其他元素被置为零。这样的图像可以大大简化后续识别的复杂度，因为算法只需要关注板件区域内的内容。二级识别网络模型是一个深度学习模型，专门设计用于识别图像中的特定目标，即切割板件上的各个待抓取工件。这个模型经过训练，能够识别出与工件相关的特征，如边缘、形状、大小等。与一级识别网络模型（可能是之前的伪装目标检测）不同，二级识别网络模型采用边界注意力机制，以增强切割板件上密集部件间隔边线信息的提取。更加专注于工件本身的细节和特征。

利用二级识别网络模型，可以对蒙版图像进行处理，以识别出各个工件的边缘信息。这些边缘信息对于后续的抓取操作至关重要，因为它们定义了工件的确切位置和形状。获取了工件的边缘信息后，就可以进一步确定抓取点的位置、抓取顺序等。

本实施例中，利用获得的切割板件的位置和角点信息，结合蒙版图像和二级识别网络模型，来进一步识别和分析板件上的各个待抓取工件。

在其中一个实施例中，根据一级识别模型获取的切割板件的边界角点信息和板件整版图像，利用二级识别网络模型，获取切割板件中各待抓取工件的边缘信息，包括：

根据一级识别模型获取的切割板件的边界角点信息，获取结果填充图像；

将结果填充图像作为二级识别网络模型的输入图像；

利用二级识别网络模型，采用边界注意力机制的边缘提取模型，获取结果填充图像中切割板件中各待抓取工件的边缘信息。

具体地，基于之前已经获得的切割板件的边界角点信息和整版图像。这些信息提供了板件在图像中的精确位置和形状。二级识别网络模型是一个经过训练的神经网络，它能够识别图像中的特定目标。在这个上下文中，模型被用于进一步分析板件整版图像，以获取更详细的信息。在这一步中，算法会识别出切割板件的非切割边线区域，即板件上不需要切割的部分。这些区域会被填充上特定的颜色，生成一个颜色填充图像。这样做的目的是为了突出显示板件上的切割线，便于后续的边缘信息提取。边界注意力机制是一种图像处理技术，它允许算法专注于图像中的边缘区域。在这一步中，算法会利用边界注意力机制来分析颜色填充图像，以获取切割板件中各待抓取工件的边缘信息。通过边界注意力机制，算法能够精确地识别板件上各个待抓取工件的边缘。这些边缘信息定义了工件在板件上的精确位置和形状。

本实施例中，利用了二级识别网络模型来处理切割板件的整版图像，通过颜色填充和边界注意力机制来提取板件上各待抓取工件的边缘信息。这个过程不仅提高了工件识别的准确性，还为后续的抓取操作提供了必要的边缘信息。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的切割板件的级联识别方法的切割板件的级联识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个切割板件的级联识别装置实施例中的具体限定可以参见上文中对于切割板件的级联识别方法的限定，在此不再赘述。

在一个示例性的实施例中，如图7所示，提供了一种切割板件的级联识别装置，包括：获取切割板件的切割场景图像；

获取模块702，用于获取切割板件的切割场景图像；

处理模块704，用于根据切割场景图像，确定板件整版图像和切割台背景图像；

处理模块704，还用于根据板件整版图像和切割台背景图像，利用一级识别网络模型，获取切割板件的边界角点信息和位置信息；

处理模块704，还用于根据一级识别模型获取的切割板件的边界角点信息和板件整版图像，利用二级识别网络模型，获取切割板件中各待抓取工件的边缘信息；

处理模块704，还用于根据预设工件套料图、切割板件的边界角点信息和各待抓取工件的边缘信息，对切割板件中各待抓取工件进行识别处理，获得各待抓取工件的坐标信息；

控制模块706，用于根据切割板件的位置信息和各待抓取工件的坐标信息，对各待抓取工件进行分拣下料。

在一个示例性的实施例中，处理模块704，还用于对切割场景图像进行伪装目标检测，获得切割场景图像中切割板件的伪装目标特征；

处理模块704，还用于根据切割板件的伪装目标特征，将切割场景图像划分为板件整版图像和切割台背景图像。

在一个示例性的实施例中，处理模块704，还用于基于搜索识别网络模型对切割场景图像进行伪装目标检测，获得切割场景图像中切割板件伪装图像特征；

处理模块704，还用于根据预设伪装目标特征库，对伪装图像特征进行匹配，确定切割场景图像中切割板件的伪装目标特征。

在一个示例性的实施例中，处理模块704，还用于根据切割板件的边界角点信息和位置信息，将切割场景图像设置为仅包含板件整版图像的蒙版图像。

在一个示例性的实施例中，处理模块704，还用于根据一级识别模型获取的切割板件的边界角点信息和蒙版图像，利用二级识别网络模型，获取切割板件中各待抓取工件的边缘信息。

在一个示例性的实施例中，处理模块704，还用于根据一级识别模型获取的切割板件的边界角点信息，获取结果填充图像；将结果填充图像作为二级识别网络模型的输入图像；利用二级识别网络模型，采用边界注意力机制的边缘提取模型，获取结果填充图像中切割板件中各待抓取工件的边缘信息。

上述切割板件的级联识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个示例性的实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种切割板件的级联识别方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个示例性的实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取切割板件的切割场景图像；

根据切割场景图像，确定板件整版图像和切割台背景图像；

根据板件整版图像和切割台背景图像，利用一级识别网络模型，获取切割板件的边界角点信息和位置信息；

根据一级识别模型获取的切割板件的边界角点信息和板件整版图像，利用二级识别网络模型，获取切割板件中各待抓取工件的边缘信息；

根据预设工件套料图、切割板件的边界角点信息和各待抓取工件的边缘信息，对切割板件中各待抓取工件进行识别处理，获得各待抓取工件的坐标信息；

根据切割板件的位置信息和各待抓取工件的坐标信息，对各待抓取工件进行分拣下料。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

根据切割场景图像，确定板件整版图像和切割台背景图像，包括：

对切割场景图像进行伪装目标检测，获得切割场景图像中切割板件的伪装目标特征；

根据切割板件的伪装目标特征，将切割场景图像划分为板件整版图像和切割台背景图像。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

对切割场景图像进行伪装目标检测，获得切割场景图像中切割板件的伪装目标特征，包括：

基于搜索识别网络模型对切割场景图像进行伪装目标检测，获得切割场景图像中切割板件伪装图像特征；

根据预设伪装目标特征库，对伪装图像特征进行匹配，确定切割场景图像中切割板件的伪装目标特征。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

根据切割板件的边界角点信息和位置信息，将切割场景图像设置为仅包含板件整版图像的蒙版图像。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取切割板件的边界角点信息和位置信息之后，还包括：

根据一级识别模型获取的切割板件的边界角点信息和蒙版图像，利用二级识别网络模型，获取切割板件中各待抓取工件的边缘信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

根据一级识别模型获取的切割板件的边界角点信息和板件整版图像，利用二级识别网络模型，获取切割板件中各待抓取工件的边缘信息，包括：

根据一级识别模型获取的切割板件的边界角点信息，获取结果填充图像；将结果填充图像作为二级识别网络模型的输入图像；利用二级识别网络模型，采用边界注意力机制的边缘提取模型，获取结果填充图像中切割板件中各待抓取工件的边缘信息。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取切割板件的切割场景图像；

根据切割场景图像，确定板件整版图像和切割台背景图像；

根据板件整版图像和切割台背景图像，利用一级识别网络模型，获取切割板件的边界角点信息和位置信息；

根据一级识别模型获取的切割板件的边界角点信息和板件整版图像，利用二级识别网络模型，获取切割板件中各待抓取工件的边缘信息；

根据预设工件套料图、切割板件的边界角点信息和各待抓取工件的边缘信息，对切割板件中各待抓取工件进行识别处理，获得各待抓取工件的坐标信息；

根据切割板件的位置信息和各待抓取工件的坐标信息，对各待抓取工件进行分拣下料。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

根据切割场景图像，确定板件整版图像和切割台背景图像，包括：

对切割场景图像进行伪装目标检测，获得切割场景图像中切割板件的伪装目标特征；

根据切割板件的伪装目标特征，将切割场景图像划分为板件整版图像和切割台背景图像。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

对切割场景图像进行伪装目标检测，获得切割场景图像中切割板件的伪装目标特征，包括：

基于搜索识别网络模型对切割场景图像进行伪装目标检测，获得切割场景图像中切割板件伪装图像特征；

根据预设伪装目标特征库，对伪装图像特征进行匹配，确定切割场景图像中切割板件的伪装目标特征。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

根据切割板件的边界角点信息和位置信息，将切割场景图像设置为仅包含板件整版图像的蒙版图像。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取切割板件的边界角点信息和位置信息之后，还包括：

根据一级识别模型获取的切割板件的边界角点信息和蒙版图像，利用二级识别网络模型，获取切割板件中各待抓取工件的边缘信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

根据一级识别模型获取的切割板件的边界角点信息和板件整版图像，利用二级识别网络模型，获取切割板件中各待抓取工件的边缘信息，包括：

根据一级识别模型获取的切割板件的边界角点信息，获取结果填充图像；将结果填充图像作为二级识别网络模型的输入图像；利用二级识别网络模型，采用边界注意力机制的边缘提取模型，获取结果填充图像中切割板件中各待抓取工件的边缘信息。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取切割板件的切割场景图像；

根据切割场景图像，确定板件整版图像和切割台背景图像；

根据板件整版图像和切割台背景图像，利用一级识别网络模型，获取切割板件的边界角点信息和位置信息；

根据一级识别模型获取的切割板件的边界角点信息和板件整版图像，利用二级识别网络模型，获取切割板件中各待抓取工件的边缘信息；

根据预设工件套料图、切割板件的边界角点信息和各待抓取工件的边缘信息，对切割板件中各待抓取工件进行识别处理，获得各待抓取工件的坐标信息；

根据切割板件的位置信息和各待抓取工件的坐标信息，对各待抓取工件进行分拣下料。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

根据切割场景图像，确定板件整版图像和切割台背景图像，包括：

对切割场景图像进行伪装目标检测，获得切割场景图像中切割板件的伪装目标特征；

根据切割板件的伪装目标特征，将切割场景图像划分为板件整版图像和切割台背景图像。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

对切割场景图像进行伪装目标检测，获得切割场景图像中切割板件的伪装目标特征，包括：

基于搜索识别网络模型对切割场景图像进行伪装目标检测，获得切割场景图像中切割板件伪装图像特征；

根据预设伪装目标特征库，对伪装图像特征进行匹配，确定切割场景图像中切割板件的伪装目标特征。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

根据切割板件的边界角点信息和位置信息，将切割场景图像设置为仅包含板件整版图像的蒙版图像。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取切割板件的边界角点信息和位置信息之后，还包括：

根据一级识别模型获取的切割板件的边界角点信息和蒙版图像，利用二级识别网络模型，获取切割板件中各待抓取工件的边缘信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

根据一级识别模型获取的切割板件的边界角点信息和板件整版图像，利用二级识别网络模型，获取切割板件中各待抓取工件的边缘信息，包括：

根据一级识别模型获取的切割板件的边界角点信息，获取结果填充图像；将结果填充图像作为二级识别网络模型的输入图像；利用二级识别网络模型，采用边界注意力机制的边缘提取模型，获取结果填充图像中切割板件中各待抓取工件的边缘信息。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要符合相关规定。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (5)

1.一种切割板件的级联识别方法，其特征在于，所述方法包括：

获取切割板件的切割场景图像；

利用一级识别网络模型获取所述切割板件的边界角点信息和位置信息，所述一级识别网络模型为PSINET模型，所述获取所述切割板件的边界角点信息和位置信息包括：采用搜索识别网络模型对所述切割场景图像进行伪装目标检测，获得所述切割场景图像中所述切割板件的伪装目标特征；

其中，通过所述搜索识别网络模型的搜索模块，根据所述切割场景图像初步识别与切割板件相似的图像区域得到候选区域，获得候选区域特征；以及通过所述搜索识别网络模型的识别模块根据预设伪装目标特征库，将搜索模块提供的候选区域特征与所述伪装目标特征库中的模板进行匹配，确定所述切割场景图像中切割板件的伪装目标特征；

根据所述切割板件的伪装目标特征，将所述切割场景图像划分为板件整版图像和切割台背景图像；

根据所述板件整版图像和所述切割台背景图像，获取所述切割板件的边界角点信息和位置信息；

根据所述一级识别网络模型获取的切割板件的边界角点信息，获取结果填充图像；将所述结果填充图像作为二级识别网络模型的输入图像，利用二级识别网络模型，采用边界注意力机制的边缘提取模型，获取所述结果填充图像中切割板件中各待抓取工件的边缘信息；

通过预设工件套料图，确定待抓取的工件；根据边界角点信息和所述各待抓取工件的边缘信息，通过图像处理和计算机视觉技术，对切割板件中的所述各待抓取工件进行识别处理，获得各待抓取工件的坐标信息；

根据所述切割板件的位置信息和所述各待抓取工件的坐标信息，对各待抓取工件进行分拣下料。

2.一种切割板件的级联识别装置，其特征在于，所述装置包括：

获取模块，用于获取切割板件的切割场景图像；

处理模块，用于利用一级识别网络模型获取所述切割板件的边界角点信息和位置信息，所述一级识别网络模型为PSINET模型，所述获取所述切割板件的边界角点信息和位置信息包括：采用搜索识别网络模型对所述切割场景图像进行伪装目标检测，获得所述切割场景图像中所述切割板件的伪装目标特征；其中，通过所述搜索识别网络模型的搜索模块，根据所述切割场景图像初步识别与切割板件相似的图像区域得到候选区域，获得候选区域特征；以及通过所述搜索识别网络模型的识别模块根据预设伪装目标特征库，将搜索模块提供的候选区域特征与所述伪装目标特征库中的模板进行匹配，确定所述切割场景图像中切割板件的伪装目标特征；根据所述切割板件的伪装目标特征，将所述切割场景图像划分为板件整版图像和切割台背景图像；

处理模块，还用于根据所述板件整版图像和所述切割台背景图像，获取所述切割板件的边界角点信息和位置信息；

处理模块，还用于根据所述一级识别网络模型获取的切割板件的边界角点信息，获取结果填充图像；将所述结果填充图像作为二级识别网络模型的输入图像，利用二级识别网络模型，采用边界注意力机制的边缘提取模型，获取所述结果填充图像中切割板件中各待抓取工件的边缘信息；

处理模块，还用于通过预设工件套料图，确定待抓取的工件；根据边界角点信息和所述各待抓取工件的边缘信息，通过图像处理和计算机视觉技术，对切割板件中的所述各待抓取工件进行识别处理，获得各待抓取工件的坐标信息；

控制模块，用于根据所述切割板件的位置信息和所述各待抓取工件的坐标信息，对各待抓取工件进行分拣下料。

3.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1中所述的方法的步骤。

4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1中所述的方法的步骤。

5.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1中所述的方法的步骤。