CN114728428A

CN114728428A - 用于对包装生产线中的切割设备进行监控的系统

Info

Publication number: CN114728428A
Application number: CN202080077652.9A
Authority: CN
Inventors: 阿德里亚诺·德弗兰切斯基; 弗朗西斯科·莱奥塔; 马西莫·梅切拉; 马尔科·维萨尼
Original assignee: Rota Laser Mould Co ltd
Current assignee: Rota Laser Mould Co ltd
Priority date: 2019-10-30
Filing date: 2020-10-28
Publication date: 2022-07-08
Anticipated expiration: 2040-10-28
Also published as: WO2021084433A1; IL292569B2; US20220371297A1; CN114728428B; US12036761B2; AU2020373398A1; IL292569A; CA3155858A1; ZA202204629B; EP4051468A1; IL292569B1

Abstract

本发明涉及一种用于对包装生产线中的切割设备进行监控的系统(1000)，包括供给待切割的材料的线、预定的材料切割设备(200)的区域和包装输出线；系统(1000)的特征在于，其包括：用于对切割设备(200)的切割动作进行计数的装置(210)；摄像机(100)，被定位成对所述输出线的区域取帧，摄像机(100)被配置成提供所述区域中的所述包装的视频数据；第一编码装置，被配置成在计算机(300)上运行第一算法以从所述视频数据开始识别切割缺陷，所述第一算法提供缺陷识别数据；第二编码装置，被配置成在所述计算机(300)上运行经训练的专家算法，以基于缺陷识别数据、切割动作计数数据的时间序列以及基于所述预定类型的切割设备(200)来预测切割性能劣化。

Description

用于对包装生产线中的切割设备进行监控的系统

本发明涉及一种用于生产包装的模切机(die cutter)监控系统。

背景技术

在任何行业中，确保流程尽可能顺利都是至关重要的。这包括确保产品按时交付、确保在较旧的部件损坏或破裂时仍可使用部件、以及确保产品质量尽可能最好。

特别地，包装工业机械在意大利经济中发挥着重要作用。事实上，如意大利工业家联合会(Confindustria)在2018年的UCIMA报告[1]中报告的，意大利在制造自动包装机方面是世界领先的，德国是该工业的主要竞争对手，2017年进一步增长8.9％，总营业额超过70亿欧元。

在包装纸板(packaging cardboard)的生产中，切割设备可以主要包括重型圆柱砧(在下文中也称为“模具(die)”或“模切滚筒”或“模切机”或“模切辊”)、一组定制的旋转模具，并且用于切割、形成和成型纸板。确保旋转模具的切割质量在客户满意度和成本节约都方面有很大影响。

为此，仍需要对模具的生命周期和切割质量进行监控，以便及时干预生产周期和/或安排维护及其必要的修正。

发明目的和内容

本发明的目的是提供一种用于对包装材料的生产中的模具的生命周期进行监控的系统，其解决了问题并克服了现有技术的缺陷。

本发明的优选示例性实施方式的详细描述

附图说明

现在将通过示例的方式、特别是参考随附附图中的图来描述本发明，在附图中：

-图1示出了根据现有技术的(左上)侧旋转模具、(右上)旋转模具的细节、(左下)平模具、(右下)平模具的细节；

-图2在左侧示出了根据现有技术的RuuviTag^TM传感器的俯视图，并且在右侧示出了同一传感器的侧视图；

-图3示出了在RuuviTag^TM PCB上的“LIS2DH12”加速度传感器的位置；

-图4示出了监视模切过程的视频的静止图像；

-图5示出了根据本发明的计算机视觉系统的处理步骤；

-图6示出了在根据本发明的过程的建立期间使用的测试纸板；

-图7示出了根据本发明的过程中的纸板的视觉居中的示例；

-图8示出了不同类型的有缺陷的纸板；

-图9在(a)中示出了检测到的纸板的图像，并且在(b)中示出了轮廓的数字处理、质心的标识和缺陷的标识；

-图10示出了由根据本发明的系统识别的三个缺陷；在(a)中示出了第一缺陷的特写(纸板的一部分被切掉但没有弹出)，在(b)中示出了第二缺陷(纸板的一部分被切掉但没有完全弹出)，在(c)中示出了对穿孔和/或折缝(crease)的尝试，这导致连续刻蚀缺陷；

-图11示出了本发明的安装在电机上用于测试的传感器的采样数据的曲线图；

-图12示出了图11的放大细节，具有两个连续的峰值，其中测量误差(传感器上的噪声)是明显的，该测量误差通过根据本发明的可选技术被消除；

-图13示出了频率低通滤波器的作用，其导致较低强度随时间降低，因此仅留下测量峰值；

-图14示出了设备在存在旋转速度变化时的行为的曲线图；

-图15示出了在由操作员手动移动期间的模具的仿真；

-图16示出了根据本发明的系统的整体图；

-图17示出了根据本发明的实施方式的模具数据处理流程的示例；

-图18在(a)中示出了从CAD提取的纸板原型：黑色区域是切割产生的孔，灰色线是折痕，较粗的黑色线是不会导致孔的切割；在(b)中示出了纸板的正确示例。从CAD提取的所有元件均已标识；以及在(c)中示出了具有两个缺失孔的纸板的示例；

-图19在(a)中示出了根据本发明的系统的第一控制面板，该第一控制面板示出了特定模具上的数据和告警；并且在(b)中示出了当维护者选择了模具状态视图时的同一面板；

-图20在中部和顶部详细示出了图19的(b)中的曲线图，该曲线图示出了用于估计模具的使用寿命的6个不同参数的历史趋势；

-图21在中部和底部详细示出了图19的(b)中的曲线图，该曲线图示出了模具在接下来一年的使用中的性能；

-图22在(a)中示出了图19的(b)中的但选择了CAD模型上的缺陷的面板，并且在(b)中示出了平均寿命相对于预定义的可接受阈值的随时间变化的趋势图；以及

-图23在(a)中示出了对前图中的整个模具的假定分析，并且在(b)中示出了对图22的(a)中的单个切割元件的假定分析。

值得注意的是，如本领域技术人员将从说明书中毫不费力地理解的，下文中不同实施方式的元件可以在尊重本发明的技术概念的同时被组合在一起以提供另外的实施方式而没有限制。

本说明书还关于未描述的细节特征参考了现有技术的实现方式，诸如，例如，通常在现有技术中在相同类型的解决方案中使用的次要元件。

当一种元件被引入时，总是被理解为可能存在“至少一个”或者“一个或更多个”。

当本说明书中列出元件或特征时，这意味着根据本发明的发现“包括”这些元件或替代性地“由”这些元件“组成”。

具体实施方式

在下文中将始终提及用于生产纸板、由此生产片材的模具。然而，根据本发明的系统同样适用于以借助于模具(例如，通过首先用压力机压碎材料，然后用模具对其进行切割)生产任何形式的任何材料的包装。此外，本发明还适用于除旋转模具以外的切割装置，例如摆臂式和非旋转式的切割装置。在这种情况下，例如，冲压计数系统会改变，但系统的其余部分不会改变。

旋转计数器和模切机标识符组件

本发明的解决方案的第一部分旨在解决一般问题，即，发现如何预测模具失效(即，它没有正确切割/磨损)之前的剩余时间的问题。在本发明的系统的研究和开发期间，考虑了以下目标：

-自动标识已安装的一组模具；

-直接在已安装的一组模具上连续且自动测量旋转；以及

-收集使用数据。

因此，为了实现这些目标，已经探索了多种解决方案(四个涉及旋转的计数并且五个涉及旋转模切机的标识)，包括以下内容：

-光学传感器：概念是检测或不检测红外光。通过将此设备放置在模具的外轮廓(outline)的前面并且使用反射材料，可以检测反射光的峰值并且测量连续峰值之间的时间。测量的时间是模具完成旋转所用的时间。

-磁力计和磁体：主要包括磁力计和磁体的小型设备被安装在模具的外轮廓上。理念是检测或不检测磁场。如同之前的方法，通过将此设备放置在模具的外轮廓的前面并且在固定位置使用磁体，可以检测磁场的峰值并且测量这些峰值之间的时间以确定旋转的次数。该设备可以配备有Wi-Fi连接芯片，该Wi-Fi连接芯片将以有规律的间隔将收集到的数据发送到后端。

-摄像机控制：适当地安装在支撑件上并且垂直于传送带(未示出)定位的摄像机借助于计算机视觉对从模具中出来的纸板进行质量控制。由于旋转模具每次旋转只能切割一个纸板，因此系统可以通过针对每个检测到的纸板使软件级数字计数器递增来确定旋转的次数。

-相机和QR码控制：辅助摄像机，其适当地安装在如根据本发明的质量控制摄像机的支撑件上，指向模具并且借助于计算机视觉执行高对比度形状的分析，诸如施加在旋转模切机上的白色片上的黑色QR码，使用于确定由旋转模切机进行的旋转的次数的软件级数字计数器递增。

然而，由于各种原因，一些解决方案被认为不太适合。例如，由于金属可能会产生干扰且作为结果，传感器可能会进行不正确的测量，因此光学传感器已被排除在外。

此外，为了标识模具，分析了由申请人开发的以下五种解决方案：

·RFID系统：将唯一的无源RFID标签直接固定在模具上，该标签由配备有天线的设备识别。根据使用的标签类型，该解决方案可以分为两种不同的方法(HF或UHF，由于UHF具有较小的天线，因此UHF是优选)。

·信标：专门开发的小型设备被安装在模具内部，并且使用蓝牙技术以信标模式操作，以传输诸如唯一的ID之类的信息。安装在滚筒(在该滚筒上安装有模具)附近的第二设备接收该信息，以通过使用例如RSSI2(RSSI：接收信号强度指示器)作为参数搜索最接近的模具从而标识新安装的模具。

·红外光ID发射器：设备被安装在旋转模切机内部，并且一旦被安装在模具上，设备就会启动并且借助于红外光传输其ID。紧挨着摄像机安装的设备用作接收器，并且告警已经安装旋转模切机。

·QR码和手动扫描：唯一的QR码被施加在每个旋转模切机上，并且在将旋转模切机组装在辊上的步骤期间，操作员利用智能手机、使用特殊的app来扫描QR码，以通知刚刚安装在辊上的模具的ID系统。

·QR码和自动扫描：如同之前的解决方案，唯一的QR码被施加在每个旋转模切机上，并且摄像机通过对码进行解码并通知系统来自动识别旋转模切机的组装。

所有这些解决方案都有优点和缺点。例如，具有磁体的磁力计的情况将需要额外的布线，从而使多台机器上的安装更加复杂。此外，要将信标用作解决方案，必须修改旋转模具本身(例如，通过切割凹槽)以容纳信标。

在模切机周围插入物理设备或对模切机进行修改并不总是很方便。一些机器实际上配备有导向锁定系统，从而防止在机器运行时对机器进行访问。出于这个原因，不仅是被认为靠近模具定位的设备，而是所有需要靠近机器安装的设备都具有低适用性。作为结果，QR码标识和计数方法被放弃并且被硬件设备的开发代替，该硬件设备具有用于测量执行的旋转的次数并经由蓝牙/Wi-Fi传输此信息以及唯一标识符的特征，从而高度重视能源自主因素。因此，为了满足本发明的一些需要，需要非常小的设备，该设备可以被直接插入旋转模具中，并且不需要诸如信标之类的解决方案所需要的任何修改。在这种情况下，使用的设备是RuuviTag^TM，如图2所示。RuuviTag的使用将在下一节中更详细地说明，但从现在开始必须清楚，市场上或未来的其他解决方案在不损害本发明的技术概念的有效性的情况下是可能的。

优选的解决方案是同时使用硬件和软件组件。使用优选防水的蓝牙设备(例如，但不限于，RuuviTag^TM)，该蓝牙设备能够发送关于温度、湿度、压力和运动的信息。根据本发明的实施方式，蓝牙设备被安装在所生产的每个模具上。设备在传输中发出蓝牙数据包，在蓝牙数据包中传送从环境传感器和加速度计(后者在图3中突出示出)获得的信息、以及执行的旋转的次数和包含传感器的设备的相对MAC地址(例如，如上的RuuviTag^TM)。

软件组件例如在迷你PC平台上运行，有利地借助于hcitool和hcidump进程。它获取由蓝牙4.0适配器接收到的所有数据包并对这些数据包进行解码。

在模具边缘上的设备(例如RuuviTag^TM)能够正确地对电机转数进行检测和计数，即使速度达每秒10转数。此外，即使发生旋转速度变化，它也能够实时连续地检测转数。

质量分析组件

根据本发明的实施方式的计算机视觉系统根据视场而采用一个或更多个摄像机，这些摄像机获取刚由模具产生的要检验的纸板的图像。可以使用不同型号的RGB(或甚至黑/白)摄像机。为了确保良好的图像质量，如有必要，可以存在照明设备。根据应用的情况，灯的类型可以是高频荧光灯、LED、卤素光纤或白炽灯或其他；事实上，哪种灯最合适的判定取决于工厂的环境照明条件。

“帧抓取器(frame grabber)”或视频捕获卡通过设置触发器、曝光/积分时间、快门速度等来控制每个摄像机。在相机上安装镜头，以确保更好的图像质量，安装的镜头的类型取决于所选的相机。检验软件对由摄像机、例如(但不限于)USB 3.0连接所获取的帧进行处理，并且判断纸板是否质量良好。

计算机视觉系统必须根据被检验的特定纸板来进行配置。检验软件的配置文件被单独存储在计算机中，或者存储在数据库中，可以基于与相机相关联的纸板和模切滚筒来从中选择一者。

质量分析组件的目标是以下各者中的一者或更多者：

-对生产线进行连续和自动控制；

-通过将纸板与配置文件(例如，CAD文件)中的参考图像进行比较来检测纸板中的异常情况；

-当检测到的切割错误超过预定的阈值时通知模具组的制造商。

最后，现有技术未使用或建议的另一参数是CAD文件的内容，或在根据本发明的缺陷识别技术中使用CAD文件(或另一格式，在模型或设计的任何情况下)的机会，以具有更精确的参考来通过其比较离开生产线的产品。

这种方法使用已知的图像处理技术(在图17中被表示为滤波器、hsv分割、透视变换等)。创新之处在于这些技术可以以语义的方式使用。系统不只是简单地拍摄纸板的外观如何的图像而是将该图像与离开的纸板进行比较。相反，比较是逐个详细地进行的。这是通过从模具(或等效设计)的CAD文件而不是从样本图像开始获得的。例如，这使得识别纸板的折痕变得更容易，该识别在没有切口位置和折痕位置的语义知识的情况下是复杂的，这是因为难以区分折痕与简单的光的作用。

该系统可以创建向量表示，在该向量表示中明确指示了切口和折痕；因此，在比较时，系统准确地示出了导致指示纸板有瑕疵的原因，而不是简单地指示这样的纸板。这种类型的信息可以被用于进行更精确的预测，还提供有关模具的主要“弱点”的信息，以及过去的哪些条件(例如温度、湿度、使用)导致它们出现。

根据本发明的过程的示例

参考图5，为了开发最终解决方案，发明人遵循图像处理和计算机视觉过程来执行本发明的解决方案的第一部分。

在此背景下，发明人已经开发了一种能够自动检验子系统的系统，其中该信息可以被与由旋转监控子系统收集的信息相关地使用，以确定系统在显示出性能下降之前已运行了多长时间。同样值得一提的是，该解决方案还使用了可以被集成在模切机内部的低功耗电子设备，该低功耗电子设备作为连续设备工作，并且执行自动的模具标识功能和由已安装的模具执行的连续和自动旋转测量功能两者，以及收集有关该低功耗电子设备的使用的数据。此外，还存在扩展所收集的数据的类型的机会，以包括诸如温度、压力和湿度等之类的信息。

参考图6，纸板图像获取是使用摄像机(例如，USB 3.0工业摄像机)执行的。考虑到模具的纸板生产的最高速度为每秒10个纸板，相机能够捕获到清晰的图像。相机可以用C++编程以获取和处理所捕获的帧。至于摄像机的定位，其将垂直于纸板定位在整个被检验的物体/纸板可见的点上。如果被检验的物体从左向右移动，则理想纸板的参考图像必须在同一方向上对齐，并且摄像机必须被定位成使得整个纸板对于摄像机可见，并且当纸板被捕获时，纸板应该是占据大部分的捕获帧的物体。以这种方式使用移动纸板的方向的知识：在定位摄像机时具有一定的自由度，还允许发明者设置摄像机，以便当纸板位于帧的中心时使纸板完全可见，或者，换句话说，当边界矩形差不多位于帧的中心时使纸板完全可见。

参考图7，可以想象在相对于边界矩形的侧部(左侧和右侧)的距离更短的距离处绘制例如两条垂直线(以虚线示出)。当纸板差不多位于帧的中心时，意味着边界矩形处于同一位置中，并且边界矩形的上侧部和/或下侧部与两条线相交。这将确认纸板是肯定完全可见的。

参考图8，摄像机能够以足够的质量拍摄照片，从而标识纸板中的潜在缺陷。在图中，示出了在具有不同缺陷的不同纸板上捕获的图像，作为可能的缺陷的示例并且作为原型中使用的摄像机的测试。图9示出了根据本发明的一方面的图像处理的第一步骤：在(b)中，获得了(a)中的纸板的外轮廓，以及纸板的质心(附图标记“0”)和缺陷的位置(附图标记“1”，例如，在特定示例中不应存在的孔)。

然后，图10示出了由根据本发明的系统识别的三个缺陷作为特定示例；在(a)中示出了第一缺陷的特写(纸板的一部分被切掉但没有弹出)，在(b)中示出了第二缺陷(纸板的一部分被切掉但没有完全顶出)，在(c)中示出了对穿孔的尝试，这导致了连续的刻蚀缺陷。

在任何情况下，在本专利申请中，“缺陷”是指对图像或对纸板参考参数的任何不符合(此外，例如，尺寸)。

现在描述模具的旋转的测量，并参考图11，在利用根据本发明的传感器获得的沿轴z的加速度的曲线图中，可以看出由于离心力的促成，正弦波的幅度有很大的偏移，但该采样信号非常干净，尽管存在可能由若干因素引起的一些错误。最可能的因素是可能会发生蓝牙数据包丢失；这等同于丢失10个样本，且因此由曲线图产生的波形可能不是完全正弦的。其他要考虑的因素还有传感器由于曲轴的高速旋转和重量分散而所承受的振动，即使传感器已被锁定在专门的固定系统内。

因此，一旦从Z轴采样的数据准确地重建了正弦波形，就可以说可以通过计算信号中的峰值的数量来测量旋转的次数。因此，可以将算法基于这些假设。例如，如下。设：

·z是沿z轴采样的值

·t是采样时间的瞬间

然后，如果满足以下条件，则可以说z是“高峰值”zmax：

z(t)＞z(t-1)ez(t)＞z(t+1)

类似地，如果满足以下条件，则可以说z是“低峰值”zmin：

z(t)＜z(t-1)ez(t)＜z(t+1)

然而，固件是实时工作的，并且数据是按顺序分析的。此时，方便将假设稍作改动如下：

如果满足以下条件，则z是“高峰值”zmax：

z(t-1)＞z(t-2)ez(t-1)＞z(t)

同样，对于“低峰值”。

为每对“高峰值”和“低峰值”计算新的转数。

然而，这种方法被证明是相当弱的；因此，这个示例算法通过执行过滤操作得到了加强。例如，在检测到的数据中，由于噪声可能存在峰值，诸如图12所示。

初步操作可以包括使用低通滤波器[4]的离散时间实现方式对数据进行过滤，以消除一些噪声和不规则峰值。在一些测试之后，发现切割频率的可能选择等于14Hz。在图13中给出了此过滤示例的结果。

可以进行进一步的过滤以改进测量，如在下面的示例中：计算所有峰值的最大峰值和最小峰值，并且计算其全局平均值；如果最小值和最大值分别不低于或不高于此阈值，则不对旋转进行计数。

maxZ＝max(z_i)其中i＝{O，1，...，N}

minZ＝min(z_i)其中i＝{0，1，…，N}

全局平均值＝(maxZ+minZ)/2

但是，动态地重新计算平均值很方便，因此更可靠；然后，添加计数器，该计数器在样本X之后重置maxZ和minZ。执行第二频率检查：如果时段变化超过10％，则意味着频率已更改，并且阈值必须被重置。这是临界情况，但它涵盖了在生产期间的任何减速/加速。

最后，计算如下：

宽度＝|(zmax-zmin)|

因此，如果宽度>最小宽度，则计算旋转(其中最小宽度是常数)。

根据本发明的设备能够正确地对电机转数进行检测和计数，即使在达每秒10转数的速度下。此外，即使旋转速度发生变化，也能够实时连续地检测转数，如可以在图14中的曲线图中所看到的。

该设备通过对Z轴上的变化的峰值进行分析来识别转数。这暗示如果模切机板即将被安装在辊上，则在该操作期间模切机板振动，或者例如，如果将模切机板拆卸并存储在仓库中，则该算法能够在旋转与其他运动之间进行区分。在图15中的曲线图中可以观察到这种现象，在该现象中数据是利用手持设备并模拟上述情况进行采样的(来自加速度计的沿z轴的数据，具有或不具有14Hz的低通滤波器)。

当模具从仓库取出后需要安装时，例如可以如下进行：以相对较小的间隔：应用_安装_间隔(APPLICATION_MOUNTING_INTERVAL)秒来重复地启动新的活动：任务_安装(task_mounting)。当模具正确地安装在机器上时，操作员会在激活模具之前等待几秒。任务_安装将检测到没有执行修正(revision)，还分析先前检测到的信号的幅度，且然后将重置全局计数器。此时，可以开始将其与组件的软件配对并启动机器的步骤。

还可以通过更有效地消除噪声和静态情况下的旋转计数问题来实施卡尔曼滤波器以具有更准确的测量。

预测性维护

在先前描述的用于对旋转进行计数和对新切割纸板中的问题进行标识的两个组件的下游，预测性维护模块可以包括在本发明的解决方案中，该预测性维护模块负责以预测性方式假设模具的劣化(即，其切割性能)何时将超过预定义的可接受阈值。

该系统可以经由互联网进行连接(如果盒工厂配备了以太网或Wi-Fi连接，则借助于以太网或Wi-Fi连接提供该连接，或者如果没有其他连接可用并且该系统必须完全自主地工作，则经由4G/5G调制解调器、借助于蜂窝连接提供该连接)并且将生产的信息记录在由服务提供商提供的云存档中，以便允许对存档和单个模具的历史进行查询，甚至远程查询。云系统可以被保护，使得每个单独的模具与适当的访问级别相关联，由此只有负责模具的组织的业务经理可以看到相应的数据。

输入数据集包括两种类型的时间序列：

-来自智能模具上的传感器的传感器数据，尤其是温度、湿度和旋转的次数；以及

-输出监控，尤其是对于生产的每张纸板：可能由光学模块(用于对纸板和缺陷进行识别的摄像机和图像处理软件系统)发现的错误的数量，尤其是，标识出切割缺陷和分离缺陷。

这些时间序列是从安装模具的时间t_0开始直到时间t_结束记录的，时间t_结束是模具本身的拆卸的时间。显然，当模具被重新组装时(因为由此产生的纸板必须重新投入生产)，这会产生新的时间序列。事实上，应记住，系统借助于智能模具上的传感器(特别是借助于传感器的蓝牙模块)，正确地对在给定时刻安装的模具进行标识，且因此，一切与此相关的信息以分段方式针对每个模具被正确地记录(纸板绘图、时间序列、产生的预测)。

在源自传感器数据的时间序列上，对特定模式进行标识(例如，在生产批次期间的使用的间隔)。为了标识这些模式，对组装和拆卸模具的时刻进行标识。在这些模式中，获得了一系列指标，诸如，例如以下各者中的一者或更多者：针对旋转、温度和湿度的最小值、最大值、平均值、方差和频率分析。

预测性监控

根据本发明，预测性监控对缺陷的数量何时(给定当前使用曲线)将超过特定阈值。

给定输入数据的高维度，为了具有输入数据的固定长度表示，可以使用自动编码器等。自动编码器是一种神经网络，具有无监督学习，其中输入等于输出。神经网络包含瓶颈(bottleneck)，该瓶颈对应于使在一个输入与另一输入之间进行区分的可能性最大化的表示。自动编码器还允许从测量中消除噪声并且降低对于预测活动所必需的神经网络的过度拟合的趋势。自动编码器包括两部分：编码部分和解码部分，在这两个部分之间插入有一层，即上述瓶颈，在该瓶颈中获得输入数据的缩减的长度表示。在示例性情况下，使用了单个隐藏层，其包含代表10位的信息表示的10个单元。

在示例中，借助于自动编码器获得的10位表示被用作对于具有带三个隐藏层的长短期记忆(LSTM)架构的递归神经网络(RNN)的输入(但也可以使用另一种专家算法或用于对模具的操作进行估计的另一种算法，其不需要学习以例如评估系统错误，诸如与所生产的包装的尺寸有关的错误)。这种类型的网络被称为时间编码器。

时间编码器后面可以跟随带有两个全连接隐藏层和一个线性回归层的网络。

虽然与自动编码器相关的部分是借助于无监督学习来自动训练的，但LSTM网络和执行线性回归的网络是借助于监督学习来训练的。特别地，模具的制造商接收来自所有设施的信息，并且周期性地更新网络的权重。

瑕疵检测

瑕疵检测对使用模式、模具状态和特征以及发现的缺陷类型之间的关系进行标识。

目的是改进产品本身。例如，可以找到传感器数据与切割质量之间的相关性(例如，旋转的低次数与高温产生不准确的切割)。

可以构建包含一系列测量值或数据的数据集，该数据集包括：

1.缺陷的类型，

2.历史使用模式(诸如，例如以下各者中的一者或更多者：传感器数据的最小值、最大值、平均值、方差和频率分析，

3.模切机年限(从生产线上的安装或者从购买开始，或者甚至是剩余使用寿命，被定义为在时间间隔内的缺陷的数量超过预定的阈值之前的旋转的次数，其中阈值是系统参数，剩余使用寿命被不断更新)，

4.刀片的类型。

因此，该数据集包含离散数据。为了确定重复模式，例如，可以使用称为频繁模式挖掘的一组技术。

监控和预测系统的总体架构

参考图16，根据本发明的实施方式的监控系统1000的总体架构包括：

-一个或更多个模具(或通常是切割设备)200，可选地包括蓝牙标签210(用于对旋转进行计数并且可能用于检测环境参数，见上文)；

-一个或更多个摄像机100；

-本地计算机300和远程计算机400。

来自相机100和来自模具200(或来自标签210，但根据本发明其他解决方案是可能的)的数据：

-在720和710中，分别被发送到远程计算机，该远程计算机使用它们来连续不断地对专家算法进行训练，以识别切割缺陷和可能的模具的磨损状态；

-在760和750中，分别被发送到本地计算机300，以用于视频处理和后续基于上面提到的经训练的专家算法来识别切割缺陷和可能的模具的磨损状态。

这里应指出，远程计算机甚至可以不存在，本地计算机执行所有规定的操作。但是，训练(远程)和特定识别(本地)的分离允许更好地进行数据管理和专家算法训练：来自所有生产线的模具的数据到达远程计算机，并且更多的数据可用于在第一步骤期间以及然后在系统的整个操作期间对专家算法进行训练，或者多年来在生产期间对专家算法进行训练。在后一种情况下，系统将基于远程训练，在后续的时间间隔中，利用通信730在本地更新专家算法。

根据本发明的一方面，仅将视频数据发送到本地计算机，本地计算机通过将图像与参考图像(例如，理想纸板的CAD文件)进行比较来识别缺陷，且然后在740中专门向远程计算机地发送对缺陷的描述，远程计算机使用该描述与其他参数一起对专家算法进行训练。由此，避免了通过通信网络与远程计算机发送视频数据，以及因此，也避免了与通过网络发送大量数据相关联的所有问题。

当本地神经网络检测到模具的不可接受的磨损时，可以发出本地或远程告警(这可能导致更换模具)，例如利用告警组件350发出本地或远程告警。

以远程的方式，可以存在用于数据和/或由远程计算机400处理的显示终端500，其可以由操作员600进行控制。

根据本发明的一方面，标签210还能够提供环境数据，诸如温度和湿度(均提供给远程计算机400并且提供给本地计算机300-并且湿度可能提供给远程计算机400)。在这种情况下，专家算法使用此类数据以及旋转的次数(或更一般地，切割动作，诸如冲压切割设备的切割冲头的数量)和缺陷的类型来预测模具的使用寿命。以自动的方式，它还可以标识必须更换或修理模具的时间间隔，在专家算法还在输入中接收模具(或更一般地，切割设备)的映射或形态模型的可选情况下，还可选地指示哪些是要修理的模具的区域。仍然可选地，当切割设备包括若干切割元件时，专家算法可以标识单个切割元件(或部分)的有用视图。

有利地，该系统可以指示低于另一平均值x的平均旋转的次数y，由此生产的纸板的平均质量在接下来的几天中提高并且模具的使用寿命也被延长。也可以通过将时间轴划分为具有不同用途的时段来计算获得的质量将会是怎样的。例如，在从0(今天)到A天的日子里，通过将模切机设置为第一数量的RPM，并且在从A天到B天的日子里，通过将模切机设置为第二数量的RPM。

此处应指出，专家算法对一个或更多个操作参数进行估计，如提到的，这些操作参数包括使用年限，但也可以包括纸板(或另一种包装产品)的尺寸参数，例如其长度。在操作参数包括纸板的尺寸参数的情况下，远程计算机(云)可以向本地计算机发送命令，使得本地计算机对模具(或模具的对置滚筒(counter-cylinder))的旋转速度进行调节，以便获得更长的纸板。可能地，可以发送类似的命令以更好地沿模具的旋转轴线对模具进行定位。对于模具以外的切割设备，任何其他可能的机械调整都可以基于由专家算法或由其他不需要训练的算法估计的性能参数来以远程或本地的方式进行(例如，鉴于对系统错误的检测)。

凭借一个或更多个性能参数，也可以对其他类型的系统错误或磨损错误进行标识，例如，对包括在切割设备中的特定切割元件的不起作用进行标识。因此，此类参数的数量将取决于特定切割设备和所进行的特定生产线，以上提供的只是示例。

过去的行为分析

根据本发明的系统可以提供不是预测性类型而是对过去发生的事情进行详尽阐述的分析。在这种情况下，对事件进行分类的问题超出了传感器值的简单注释。

一特定案例是冲击识别。例如，可以将发生的冲击与相对强度联系起来。

这种类型的分析并非微不足道，因为它需要应用基于机器学习的冲击分类技术。根据本发明的方法涉及对一定长度的“时期”(即，一定数量的加速度计测量值)的收集和对分类器的训练，例如SVM-支持向量机类型的训练。

SVM分类器将所有可能的测量值的集合划分为两类，即，“冲击”和“非冲击”。

“非冲击”类别还包括由于运输引起的加速度(这些加速度具有特征为例如相对于冲击随着时间拉长的曲线(profile)。这种模型的训练可以离线进行，而不取决于特定模具(如果模具的木材类型保持不变)。

该过去的冲击分析可以另外用于预测制造质量和/或模具使用寿命。

结果提供示例

图19的(a)示出了应用程序的实物模型(mockup)，该实物模型将系统的结果呈现给生产线的制造商/维护人员。客户借助于仪表板访问数据，该仪表板允许具有已安装的模具(或另一切割设备)的整体视图(图像的左侧的按钮，在本案例中为模具编号n)。在图的右侧，而是存在系统告警的列表。例如，在图中，该系统指示模具#2需要注意。

通过选择模具(在该图像的情况下，选择了模具#1)，模具信息变得可用，其中通过评估生产的纸板中存在的错误百分比获得模具的状态的粗略指示。一旦选择了模具，通过点击“示出使用详细信息”，可以访问预测性维护详细信息，如图19的(b)所示。在窗口的右侧，示出了CAD分析的结果，该结果包含上述纸板的所有元件。在左侧，显示了模具信息的扩展版本。在中心区域，显示了被称为“模切机历史”的曲线图，该曲线图示出了模具的最近历史(参见图20)。该历史可以通过选择用于聚合数据的开始日期和分辨率(参考间隔)来显示。聚合可以通过取平均值(例如，在参考间隔期间的平均温度)或通过计数(在参考间隔中的错误的数量)来完成。

具体而言，图20中的曲线图示出了6个不同的函数，这些函数用于估计模具的使用寿命。测量被示出为以恒定长度间隔(在本案例中为15分钟，如前一屏幕中配置的)从某个日期开始(在图中为2020年10月18日下午4点)。对于这些间隔中的每个间隔，测量被聚合为：

-在参考间隔内生产的纸板(包装)的总数；

-在参考间隔期间每小时的平均旋转的次数；

-在参考间隔内的总错误的数量；

-在参考间隔内的平均温度；

-在参考间隔内的平均湿度；以及

-在参考间隔内遭受的冲击(切割动作)的数量。

在图中，假设，例如，模具在安装前受到3次冲击，并且在从模切机中去除之后受到两次冲击。同时，有2个生产周期，第一生产周期为每小时4200转，并且第二生产周期为每小时3600转。在这2个周期期间，黄线示出了错误的数量。可以在生产周期之外监控温度和湿度，以便还了解模具的存储条件。

第二曲线图，被称为“模切机剩余使用寿命”(参见图21)，显示了模具在下一年使用中的性能趋势。除了示出正确的纸板(不具有标识的缺陷)的百分比之外，该图还示出了最低质量阈值。如所示，两条曲线在第6个月相交，因此，在前一屏幕中，将6个月指示为模具的使用寿命。

基于前一曲线图，提供了模具的剩余使用寿命的粗略指示，或者可以使用上述专家算法进行更精确的估计。

参考图22的(a)，可以通过在CAD提取的结果上选择特定切割元件或折缝元件来应用相同的推理。与刚刚讨论的案例的唯一差异是存在关于维护和所选元件的类型(在纸板图中以红色指示)的详细信息。然而，剩余使用寿命仅根据特定元件来计算(但显然它可以根据一系列元件和/或在整个模具上并行计算)。

从图22的(b)中的曲线图可以看出，对于在模具上选择的特定元件，曲线永远不会交叉。因此，在图22的(a)中表明，在正常使用条件下，模具的特定元件的剩余使用寿命超过一年。

从前一图中屏幕中的每个屏幕，都可以访问假定分析。假定分析对于整个模具以及模具的特定元件都是可能的。因此，将仅描述图23的(a)中的屏幕，而对于图23的(b)中的屏幕，相同的指示适用，除了考虑特定元件而不是模具作为整体元件之外。

在假定分析屏幕中，可以为分析指示一系列有效参数：

-分析时段。显然，分析的精度与时段的长度成反比(图中为一个月，因此将每天提供质量测量)。

-相对于对应的前一时段(因此，在图中为前一个月)的温度和湿度条件。这些条件被指示为高于或低于前一时段中的条件的百分比。

-将使用的平均旋转速度，同样相对于前一观察时段。

-每天的平均预期使用。

通过改变这些参数，示出的曲线图将相对于由专家算法预期的形状而改变形状。应注意的是，前一屏幕中示出的剩余使用寿命是借助于相同类型的分析、设置逐渐增大的时段并维持与前一观察时段相同的条件获得的。

本发明的优点

本发明允许预测性维护以改进生产，尤其是减少由于生产线中的模具组(或其部件)的缺陷和磨损造成的浪费量，监控切割机的切割质量并且将数据与其他模块分析相关联以对问题进行标识。

更具体地，本发明解决了与旋转模切机有关的两个主要问题。第一个问题是对预测模具的生命周期的方式进行标识；第二个问题是对何时需要更换或维护模具(在其生产的纸板的质量下降到一定质量以下之前)进行标识。实际上，这通过减少停机时间和材料浪费改善了生产过程，停机时间和材料浪费是由于不知道模具何时磨损，导致切割质量低下，且因此无法及时更换以继续工作造成的。

最后，对模具的标识和对性能条件的估计可以解决仓库问题，例如，通过借助于机械定位和拾取臂、基于最高使用频率来将模具存储在靠近仓库的出口区的区域中。

参考文献

[1]UCIMA 2018 Confindustria，6th national statistical survey(第六次全国统计调查)

[2]Zheng Liu,Hiroyuki Ukida,Pradeep Ramuhalli和Kurt Niel。IntegratedImaging and Vision Techniques for Industrial Inspection(用于工业检验的集成成像和视觉技术)。Springer,2015

[3]https://youtu.be/Jb4ehi1k9yk？t＝176

[4]https://en.wikipedia.org/wiki/Low-pass_filter

至此，我们已经描述了本发明的优选实施方式并提出了一些变体，但应当理解的是，本领域的技术人员可以在不脱离如所附权利要求限定的相应保护范围的情况下进行修改和改变。

Claims

1.一种用于对包装生产线中的切割设备进行监控的系统(1000)，所述系统(1000)包括以下后续的部分：

-用于供给待切割的材料的线；

-用于切割所述材料的区域，所述区域包括预定类型的切割设备(200)，所述切割设备(200)通过切割所述材料串联地实现多个包装元件；

-输出线，所述输出线用于输出所述多个包装元件；

所述系统(1000)的特征在于：

-所述切割设备(200)包括：

■至少一个环境传感器，所述至少一个环境传感器被配置成检测包括温度和湿度的环境数据；

■用于对所述切割设备(200)的切割动作进行计数的装置(210)，所述计数的装置被配置成提供切割动作计数数据的时间序列；

-摄像机(100)被定位成为所述输出线的区域取帧，所述摄像机(100)被配置成针对所述区域中的所述多个包装元件的每个包装提供视频数据；

-包括第一编码装置，所述第一编码装置被配置成在计算机(300)上运行第一算法，以基于所述视频数据以及存储在所述计算机(300)中的参考模型来识别切割缺陷，所述第一算法提供缺陷识别数据；

-包括第二编码装置，所述第二编码装置被配置成在所述计算机(300)上运行专家算法，以对与所述切割设备(200)的操作相关的、被称为操作指标的一个或更多个参数进行估计，所述估计是基于以下多个数据进行的：

■由所述第一编码装置提供的所述缺陷识别数据；

■来自所述环境传感器的所述环境数据；

■由切割动作计数装置提供的所述切割动作计数数据；以及

■所述预定类型的切割设备(200)；

其中，根据所述多个数据的至少一个历史序列对所述专家算法进行训练，并且其中，所述一个或更多个操作指标包括：用于对所述切割设备(200)的切割性能进行预测的至少一个参数。

2.根据权利要求1所述的系统(1000)，其中，所述切割设备(200)包括多个切割元件，并且其中，所述至少一个性能预测参数包括：所述切割设备(200)的使用年限；或所述切割设备(200)的所述切割元件中的一个切割元件的使用年限。

3.根据权利要求1或2所述的系统(1000)，其中，所述计数装置(210)包括蓝牙标签，所述蓝牙标签包括加速度计。

4.根据权利要求3所述的系统(1000)，其中，所述蓝牙标签包括所述环境传感器。

5.根据前述权利要求中的一项或更多项所述的系统(1000)，其中，所述模型是向量模型，所述向量模型包括所述包装的切口和折痕的指示。

6.根据前述权利要求中的一项或更多项所述的系统(1000)，其中，所述模型是CAD设计或等同物。

7.根据前述权利要求中的一项或更多项所述的系统(1000)，其中，所述本地计算机(300)被配置成：基于所述一个或更多个操作指标的值，来发送用于对所述切割设备(200)的旋转速度进行调整的命令。

8.根据前述权利要求中的一项或更多项所述的系统(1000)，其中，所述计算机(300)是本地计算机。

9.根据权利要求8所述的系统(1000)，其中：

-所述切割设备(200)或所述本地计算机(300)将用于对所述切割设备进行标识的数据发送到远程计算机(400)，优选地，所述远程计算机(400)在云上；

-所述本地计算机(300)将所述缺陷识别数据和所述多个数据的时间序列传送到所述远程计算机(400)；

-所述远程计算机(400)基于从所述切割设备(200)和/或从所述本地计算机(300)接收到的数据来对所述算法进行训练；以及

-在所述本地计算机(300)上以预定的时间间隔对所述专家算法进行更新。

10.根据权利要求8或9所述的系统(1000)，其中，所述切割设备(200)或所述本地计算机(300)将由所述环境传感器测量的环境数据发送到所述远程计算机(400)。

11.根据权利要求1至10中的一项或更多项所述的系统(1000)，其中，在所述包装生产线中存在警报装置(350)，所述警报装置(350)由所述本地计算机(300)基于所述一个或更多个操作指标激活。

12.根据前述权利要求中的一项或更多项所述的系统(1000)，其中，所述专家算法是使用从所述时间序列和/或环境数据中提取的统计参数中的一个或更多个统计参数来进行训练的，所述统计参数选自以下各者：最小值、最大值、平均值、方差和频率分析。

13.根据前述权利要求中的一项或更多项所述的系统(1000)，其中，所述切割设备(200)是旋转模具，并且所述用于对所述切割动作进行计数的装置是用于对所述模具的旋转进行计数(210)的装置。

14.根据权利要求1至13中的一项或更多项所述的系统(1000)，其中，经训练的所述专家算法被训练成：还基于切割设备形态模型来对所述至少一个性能预测参数进行估计。

15.根据权利要求14所述的系统(1000)，其中，所述性能预测是针对所述形态模型的不同部分存在区分的预测。

16.根据权利要求2至14中的一项或更多项所述的系统(1000)，其中，所述切割设备(200)包括多个切割元件，并且其中，所述一个或更多个操作指标包括：性能低于预定的阈值的所述切割元件的位置的标识符。

17.一种用于对包装生产线中的切割设备进行监控的方法，所述方法包括执行以下步骤：

-提供根据权利要求1至16中的一项或更多项所述的系统；

-利用所述多个数据的至少一个历史序列对所述专家算法进行训练，从而获得经训练的专家算法；

-在所述计算机(300)上运行所述经训练的专家算法；以及

-获得所述操作指标作为所述经训练的专家算法的输出。

18.根据权利要求17所述的方法，其中，执行另外的步骤，其中，所述本地计算机(300)基于所述一个或更多个操作指标的值来对所述切割设备(200)的操作速度的调整进行控制。