CN110222575A - 基于注意力机制目标检测的设备综合效率分析方法、装置、系统、设备及存储介质 - Google Patents
基于注意力机制目标检测的设备综合效率分析方法、装置、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN110222575A CN110222575A CN201910376669.3A CN201910376669A CN110222575A CN 110222575 A CN110222575 A CN 110222575A CN 201910376669 A CN201910376669 A CN 201910376669A CN 110222575 A CN110222575 A CN 110222575A
- Authority
- CN
- China
- Prior art keywords
- frame
- equipment
- analyzed
- efficiency
- working condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 48
- 230000007246 mechanism Effects 0.000 title claims abstract description 38
- 238000001514 detection method Methods 0.000 title claims abstract description 37
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000004519 manufacturing process Methods 0.000 claims abstract description 32
- 230000000694 effects Effects 0.000 claims abstract description 5
- 238000004590 computer program Methods 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 20
- 238000013480 data collection Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 239000012141 concentrate Substances 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 4
- 230000002547 anomalous effect Effects 0.000 abstract description 2
- 230000003044 adaptive effect Effects 0.000 abstract 1
- 238000012544 monitoring process Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 241000406668 Loxodonta cyclotis Species 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000004080 punching Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241000024287 Areas Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于注意力机制目标检测的设备综合效率分析方法、装置、系统、设备及存储介质，所述分析方法包括：首先，利用基于注意力机制目标检测的方法，将生产环境下有效的设备和工人行为识别出来，剔除了无关的工厂环境和无效的设备；其次，对识别出来不同的设备和工人行为使用恰当的视频分析方法进行有针对性的分析，提高了分析速度和准确率；最后，利用分析出来的结果进行效率计算和异常事件分析，实现了应用于工厂的设备综合效率智能分析，自适应能力强、精度好、效率高。
Description
技术领域
本发明涉及视频图像分析技术领域，特别是涉及基于注意力机制目标检测的设备综合效率分析方法、装置、系统、设备及存储介质。
背景技术
智能制造是具有信息自感知、自决策、自执行等功能的先进制造过程、系统与模式的总称，具体体现在制造过程的各个环节与新一代信息技术深度融合，新一代信息技术包括物联网、大数据、人工智能等。智能制造大体具有四大特征：以智能工厂为载体，以关键制造环节的智能化为核心，以端到端数据流为基础，以网通互联为支撑。
随着智能制造的发展，工厂车间趋于无人化与全自动管理，如何在无人的环境下管理好工厂车间，确保车间的正常运行与生产效率已经成为迫在眉睫的问题。随着近几年人工智能的高速发展，视频分析技术也得到了快速发展和应用，视频分析技术接入各种摄像机以及DVR、DVS及流媒体服务器等各种视频设备，通过智能化图像识别处理技术，对车间状态进行监控，通过实时分析，将分析数据传导综合监控平台及客户端。
工厂的生产车间的状况复杂，在进行智能监控时通常至少面临如下问题：
首先，生产车间内各类机器、搬运车辆、辅助器械等物体较多，时常彼此遮挡，不同工序操作的相似性以及车间内频繁的光线强弱变化，都给视频、图像的分析与识别带来了挑战，传统的视频图像分析方法对整张帧进行处理，自适应性不强，直接在工厂环境下应用效果欠佳。
其次，生产制造过程中各工序特征不一，具有工作时间不明确、工件复杂等弊端，传统的单模型视频、图像分析模型直接应用时鲁棒性弱、效率较低。
在工厂的车间环境下，由于智能监控存在诸多问题，因此在进行设备综合效率分析时，通常采用人工记录的方式，效率较低，且可靠性不高。
发明内容
基于此，针对生产车间内的设备综合效率分析问题，提供一种基于注意力机制目标检测的设备综合效率分析方法，提高设备综合效率分析的效率以及可靠性。
基于注意力机制目标检测的设备综合效率分析方法，包括如下步骤：
获取生产环境的监控视频，利用目标识别模型对监控视频中的至少三个连续帧进行识别，得到各帧中包含待分析对象的感兴趣区域；
根据待分析对象的不同，对各感兴趣区域进行如下处理中的一种：
利用帧间差分法识别待分析对象的工作状态；
利用基于HSV空间的帧间差分法识别待分析对象的工作状态；
利用基于ORB特征的特征匹配方法识别待分析对象的工作状态；
根据待分析对象的工作状态，计算设备综合效率。
本发明在进行智能制造下的视频图像分析时，使用加入了注意力机制的目标识别模型，能够快速准确的识别判断生产车间内与设备综合效率(Overall EquipmentEffectiveness，简称oee)相关的各待分析对象的工作状态，从而实时智能监测车间内的异常状态，优化全自动生产制造过程。
本发明可以实施在各种生产环境下的车间，例如厚板制造流水线车间。
以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。
可选地，针对部件运动幅度大的设备或工件、和动作模式模糊的车间工人，利用帧间差分法识别待分析对象的工作状态；
针对颜色特征显著的设备或工件，利用基于HSV空间的帧间差分法识别待分析对象的工作状态；
针对动作单一的设备或工件，利用基于ORB特征的特征匹配方法识别待分析对象的工作状态。
可选地，利用帧间差分法识别待分析对象的工作状态，具体包括：
在三个连续帧中，对第一帧感兴趣区域和第二帧感兴趣区域进行帧间差分运算，得到第一帧间差分图；对第二帧感兴趣区域和第三帧感兴趣区域进行帧间差分运算，得到第二帧间差分图；
依据设定阈值对第一帧间差分图和第二帧间差分图分别进行二值化操作，得到二值化的第一帧间差分图和二值化的第二帧间差分图；
对二值化的第一帧间差分图和二值化的第二帧间差分图进行逻辑与运算，依据运算结果得到待分析对象的工作状态。
可选地，利用基于HSV空间的帧间差分法识别待分析对象的工作状态，具体包括：
将感兴趣区域转换为HSV颜色空间下的图像，并对该图像进行二值化处理；
在三个连续帧中，对二值化的第一帧感兴趣区域和二值化的第二帧感兴趣区域进行帧间差分运算，得到第三帧间差分图；对二值化的第二帧感兴趣区域和二值化的第三帧感兴趣区域进行帧间差分运算，得到第四帧间差分图；
对第三帧间差分图和第四帧间差分图进行逻辑与运算，依据运算结果得到待分析对象的工作状态。
可选地，利用基于ORB特征的特征匹配方法识别待分析对象的工作状态，具体包括：
计算感兴趣区域对应的ORB特征算子，将该ORB特征算子与对应区域的日常状态图的ORB特征算子进行匹配，依据匹配状态，得到待分析对象的工作状态。
可选地，所述目标识别模型的训练过程包括：
获取用于训练的先验数据集，该先验数据集中包括若干特征图片，每个特征图片中包括一个待分析对象的感兴趣区域，每个待分析对象至少对应1000张特征图片；
将先验数据集输入神经网络模型进行训练，得到所述目标识别模型。
本发明还提供了一种基于注意力机制目标检测的设备综合效率分析装置，包括：
第一模块，用于获取生产环境的监控视频，利用目标识别模型对监控视频中的至少三个连续帧进行识别，得到各帧中包含待分析对象的感兴趣区域；
第二模块，用于根据待分析对象的不同，对各感兴趣区域进行如下处理中的一种：
利用帧间差分法识别待分析对象的工作状态；
利用基于HSV空间的帧间差分法识别待分析对象的工作状态；
利用基于ORB特征的特征匹配方法识别待分析对象的工作状态；
第三模块，用于根据待分析对象的工作状态，计算设备综合效率。
本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述的基于注意力机制目标检测的设备综合效率分析方法。
本发明还提供了一种基于注意力机制目标检测的设备综合效率分析系统，包括影像采集装置以及服务器，所述服务器包括存储器和处理器，所述存储器内存储有计算机程序，所述服务器从影像采集装置获取生产环境的监控视频；所述处理器执行所述计算机程序时，实现所述的基于注意力机制目标检测的设备综合效率分析方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于注意力机制目标检测的设备综合效率分析方法。
本发明提供的基于注意力机制目标检测的设备综合效率分析方法，能够提高设备综合效率分析的效率以及可靠性，实现对生产过程的智能监控和分析。
附图说明
图1为本发明基于注意力机制目标检测的设备综合效率分析方法的流程图；
图2为本发明基于注意力机制目标检测的设备综合效率分析方法中目标模型的训练过程；
图3为车间的设备综合效率计算结果的示意图；
图4为一个实施例中计算机设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了更好地描述和说明本申请的实施例，可参考一幅或多幅附图，但用于描述附图的附加细节或示例不应当被认为是对本申请的发明创造、目前所描述的实施例或优选方式中任何一者的范围的限制。
需要说明的是，当组件被称为与另一个组件“连接”时，它可以直接与另一个组件连接或者也可以存在居中的组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
下列实施方式中，所涉及的概念定义及符号说明总结如下：
P：表示用于训练的先验数据集；
It-1、It和It+1：表示监控视频中的连续三帧图像，t为时刻；
和表示依次经过灰度化和高斯平滑处理后的连续三帧图像；
dk-1和dk：表示连续三帧图像的帧间差分图；
bk-1和bk：表示dk-1和dk的二值化图像；
I(x)：表示圆周上任意一点的灰度值；
I(P)：表示圆心的灰度值；
εd：表示灰度值差的阈值；
Meanpool：均值池化，公式如下：
式中：t表示参与池化的激活值的序位阈值，Rj表示在第j个特征图内的池化域，i表示在这个池化域内激活值的索引值，ri和ai分别表示激活值i的序位和激活数值；
Leaky ReLU：带泄露整流函数，公式如下：
其中：x为上一层神经网络的输入向量，λ为参数；
ILSVRC CLS-LOC数据集：预训练的开源数据集。
下面结合附图，对本发明做详细描述。
如图1所示，基于注意力机制目标检测的设备综合效率分析方法，包括如下步骤：
获取生产环境的监控视频，利用目标识别模型对监控视频中的至少三个连续帧进行识别，得到各帧中包含待分析对象的感兴趣区域；
根据待分析对象的不同，对各感兴趣区域进行如下处理中的一种：
利用帧间差分法识别待分析对象的工作状态；
利用基于HSV空间的帧间差分法识别待分析对象的工作状态；
利用基于ORB特征的特征匹配方法识别待分析对象的工作状态；
根据待分析对象的工作状态，计算设备综合效率。
针对生产环境的复杂状况，本发明采用具有注意力机制的目标识别模型智能识别生产环境下的各图像中的感兴趣区域，每个感兴趣区域中包含一个待分析对象，待分析对象可以为生产设备、生产工件或者工作人员。针对包含有待分析对象的感兴趣区域后，对感兴趣区域的图像依据待分析对象的不同，分别采用不同的图像处理策略，以兼顾图像识别的准确性和效率，提高适应性。
利用图像识别得到的待分析对象的工作状态后，根据待分析对象的工作状态，计算设备综合效率，对车间效益实现实时计算和监控，进而实现智能化管理。
本发明在进行待分析对象的工作状态识别之前，首先在各帧视频中识别出包含待分析对象的感兴趣区域，针对每个待分析对象，在后续进行视频识别时，对感兴趣区域进行图像识别操作，而不是整个视频帧，能够避免视频帧中的不相关部分以及背景部分被重复运算和/或不必要计算，大大提高图像处理的效率，并保证结果的准确性。
在生产环境的车间内，在影像采集装置视角不变的前提下，各设备以及工作人员具有相对固定的区域，该区域即对应至图像上的感兴趣区域，通过分析感兴趣区域内的待分析对象的位置信息以及特征信息，即可得到相应待分析对象的工作状态。
生产环境的监控视频从生产车间的多个视角获得，在进行图像识别时，针对每个视角，分别进行图像的处理识别。在利用目标检测模型对图像进行识别之前，对原始采集的监控视频图像依次进行灰度化、降噪等预处理，具体的感兴趣区域识别包括：
步骤1-a、针对某生产车间的监控视频，获取连续三个视频帧，分别为It-1、It和It+1；
步骤1-b、将It-1、It和It+1分别依次进行灰度化和高斯平滑处理，得到 和
步骤1-c、将和分别输入目标识别模型，得到包含待分析对象的感兴趣区域(也即待分析对象所处的特征框区域)。
依据待分析对象的不同，对各感兴趣区域进行不同的图像处理，得到各待分析对象的工作状态，记录各设备的工作时间以及停工时间，分析车间中工人的状态来得到车间停工的具体原因(例如，工人做维修动作、清洁动作等会干扰机器运转的动作都会导致车间停工)将该原因作为车间异常事件进行记录。
根据目标识别模型对感兴趣区域中待分析对象的识别结果，判断车间内是否有工人活动，如果没有工人活动，则记录为因未知原因停工，如果有工人活动，根据工人的位置信息判断可能发生的事件，并进一步判断停工原因。例如，根据监控识别工人在机器维修的位置，就进一步使用ORB特征匹配的方法判断工人是否在进行维修工作，以此来得到机器停工的原因。
根据车间内各设备的工作时间和日常工作时间，计算车间的设备综合效率，对各个时段的设备综合效率进行数理统计，可采用直观的统计图(例如折线图、直方图等)对车间的设备综合效率进行实时展示，如图3所示。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
不同的待分析对象，具有不同的视觉特征和工序特征，因此对不同的待分析对象采用不同的图像处理方式，提高识别的准确性和适应性。
针对部件运动幅度大的设备或工件、和动作模式模糊的车间工人，利用帧间差分法识别待分析对象的工作状态；
针对颜色特征显著的设备或工件，利用基于HSV空间的帧间差分法识别待分析对象的工作状态；
针对动作单一的设备或工件，利用基于ORB特征的特征匹配方法识别待分析对象的工作状态。
对于运动幅度较大的设备或工件，由于车间环境静止，利用帧间差分法识别待分析对象的工作状态。
对于动作单一的设备或工件，利用基于ORB特征的特征匹配方法识别待分析对象的工作状态，降低计算量，提高实时分析的速度和精度。
在其中一个实施例中，利用帧间差分法识别待分析对象的工作状态，如图1所示，具体包括：
在三个连续帧中，对第一帧感兴趣区域和第二帧感兴趣区域进行帧间差分运算，得到第一帧间差分图；对第二帧感兴趣区域和第三帧感兴趣区域进行帧间差分运算，得到第二帧间差分图；
依据设定阈值对第一帧间差分图和第二帧间差分图分别进行二值化操作，得到二值化的第一帧间差分图和二值化的第二帧间差分图；
对二值化的第一帧间差分图和二值化的第二帧间差分图进行逻辑与运算，依据运算结果得到待分析对象的工作状态。
所述设定阈值根据具体的分析任务进行设定，例如，当进行对车间中冲床运动的分析时，由于不同冲床运动面积大小不一，本文先截取一段10秒的视频观察冲床工作过程中差分图的数值变化情况，将数值突变的节点上的数值作为阈值使用。将第一帧间差分图和第二帧间差分图分别与设定阈值进行对比，若帧间差分图大于该设定阈值，则设备正常工作，并记录实时时间；若帧间差分图小于或等于该设定阈值，则设备正常工作，并记录实时时间。
具体地利用帧间差分法识别待分析对象的工作状态，包括：
步骤2-a，对于和中包含待分析对象的感兴趣区域，分别对前两帧和后两帧进行帧间差分运算得到第一帧间差分图dk-1和第二帧间差分图dk，具体计算公式如下：
步骤2-b，将第一帧间差分图dk-1和第二帧间差分图dk分别与设定阈值T进行比对，得到二值化的第一帧间差分图bk-1和二值化的第二帧间差分图bk；
步骤2-c，将bk-1和bk做逻辑“与”操作，得到帧间二值图Bt(x,y)；
步骤2-d，将帧间二值图Bt(x,y)与阈值(与设定阈值T并非同一阈值)进行比较，若帧间二值图Bt(x,y)大于阈值，则设备正常工作，记录下实时时间；若帧间二值图Bt(x,y)小于阈值，则设备停止工作，输出异常事件记录，记录下实时时间。
在其中一个实施例中，利用基于HSV空间的帧间差分法识别待分析对象的工作状态，如图1所示，具体包括：
将感兴趣区域转换为HSV颜色空间下的图像，并对该图像进行二值化处理；
在三个连续帧中，对二值化的第一帧感兴趣区域和二值化的第二帧感兴趣区域进行帧间差分运算，得到第三帧间差分图；对二值化的第二帧感兴趣区域和二值化的第三帧感兴趣区域进行帧间差分运算，得到第四帧间差分图；
对第三帧间差分图和第四帧间差分图进行逻辑与运算，依据运算结果得到待分析对象的工作状态。
针对颜色特征显著的待分析对象，利用HSV颜色空间进行辅助判断，具体包括：
步骤3-a，将包含待分析对象的感兴趣区域的图像由RGB图像转换为HSV颜色空间下的图像，RGB图像是红、绿和蓝(r，g和b)基础三元色的度量，值为0到1之间的实数，设max等于r，g和b中的最大者，min等于r，g和b中的最小值，则RGB图像转换为HSV的过程如下：
v＝max。
步骤3-b，将得到的HSV图像进行二值化处理，将特征颜色所在的像素点设为1，其他像素点设为0；
步骤3-c，在三个连续帧中，对二值化的第一帧感兴趣区域和二值化的第二帧感兴趣区域进行帧间差分运算，得到第三帧间差分图；对二值化的第二帧感兴趣区域和二值化的第三帧感兴趣区域进行帧间差分运算，得到第四帧间差分图；
步骤3-d，对第三帧间差分图和第四帧间差分图进行逻辑与运算，依据运算结果得到待分析对象的工作状态，该步骤参照步骤2-c执行，当所有待分析对象都停止工作时，设定车间为停工状态，进入异常事件分析。
在其中一个实施例中，利用基于ORB特征的特征匹配方法识别待分析对象的工作状态，如图1所示，具体包括：
计算感兴趣区域对应的ORB特征算子，将该ORB特征算子与对应区域的日常状态图的ORB特征算子进行匹配，依据匹配状态，得到待分析对象的工作状态。
若感兴趣区域的ORB特征算子和对应区域的日常状态图的ORB特征算子相匹配，则未发生异常事件，若不匹配，则发生异常事件，并记录异常事件以发生时间。
ORB特征算子的计算公式如下：
检测候选特征点周围的像素值，如果候选点周围区域有足够多的像素点与该候选点的灰度值差别够大，则认为该候选点为一个特征点。
在其中一个实施例中，所述目标识别模型的训练过程包括：
获取用于训练的先验数据集，该先验数据集中包括若干特征图片，每个特征图片中包括一个待分析对象的感兴趣区域，每个待分析对象至少对应1000张特征图片；
将先验数据集输入神经网络模型进行训练，得到所述目标识别模型。
在利用目标识别模型之前，需要对目标识别模型进行训练，以提高识别准确率。在进行训练之前需要首先收集用于训练的先验数据集，由于深度学习对用于训练的先验数据集P要求很高，而工厂环境又不同于日常生活，因此需要首先组建先验数据集。
在建立先验数据集时，收集一定量的生产环境下的视频，根据生产环境的工序和设备特征对视频帧进行预处理，如图2所示，对每帧视频中待分析对象(包括生产环境下的设备和人员，图2中A、B、X分别代表不同的待分析对象)所处的感兴趣区域分析定位和分割，得到用于训练的先验数据集。
用于训练的视频帧和后续实时监控的视频帧采集自同一视角，用于训练的视频帧依次进行灰度化、高斯平滑等处理后，利用具体坐标将含有待分析对象的特征区域截取出来，作为特征图片。每个特征图片中包括一个待分析对象的感兴趣区域，每个待分析对象至少对应1000张特征图片，同一分析对象的特征图片存入相应的数据集中。
以在ILSVRCCLS-LOC数据集上预训练好的神经网络模型(本发明使用VGG16模型)为基础，使用先验数据集P进行训练，得到鲁棒性高的目标检测模型，神经网络模型的结构如图2所示，具体如下：
神经网络模型结构前六层为VGG16模型结构：第一层卷积层为conv3-64(卷积核大小为3*3，输出64个特征)，第一层池化层为meanpool，窗口大小为2，步长为2；第二层与第三层卷积层为conv3-128，第二层池化层为meanpool，窗口大小为2，步长为2；第四层、第五层和第六层卷积层为conv3-256，第三层池化层为meanpool，窗口大小为2，步长为2；
将VGG16模型的第七层全连接层转换成卷积核大小为3*3的卷积层conv6，激活函数为leaky ReLU，第四层池化层为meanpool，窗口大小为3，步长为2；
将VGG16模型的第八层全连接层转换成卷积核大小为1*1的卷积层conv7,激活函数为leaky ReLU，第五层池化层为meanpool，窗口大小为3，步长为2。
在其中一个实施例中，提供了一种基于注意力机制目标检测的设备综合效率分析装置，包括：
第一模块，用于获取生产环境的监控视频，利用目标识别模型对监控视频中的至少三个连续帧进行识别，得到各帧中包含待分析对象的感兴趣区域；
第二模块，用于根据待分析对象的不同，对各感兴趣区域进行如下处理中的一种：
利用帧间差分法识别待分析对象的工作状态；
利用基于HSV空间的帧间差分法识别待分析对象的工作状态；
利用基于ORB特征的特征匹配方法识别待分析对象的工作状态；
第三模块，用于根据待分析对象的工作状态，计算设备综合效率。
关于基于注意力机制目标检测的设备综合效率分析装置的具体限定可以参见上文中对于基于注意力机制目标检测的设备综合效率分析方法的限定，在此不再赘述。上述基于注意力机制目标检测的设备综合效率分析装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在其中一个实施例中，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述的基于注意力机制目标检测的设备综合效率分析方法。
该计算机设备可以是终端，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现所述的基于注意力机制目标检测的设备综合效率分析方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在其中一个实施例中，提供了一种基于注意力机制目标检测的设备综合效率分析系统，包括影像采集装置以及服务器，所述服务器包括存储器和处理器，所述存储器内存储有计算机程序，所述服务器从影像采集装置获取生产环境的监控视频；所述处理器执行所述计算机程序时，实现所述的基于注意力机制目标检测的设备综合效率分析方法。
所述影像采集装置可以采用各种视频监控设备，只要能够直接或间接获得反映车间内生产状态的连续图像即可。
在其中一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于注意力机制目标检测的设备综合效率分析方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.基于注意力机制目标检测的设备综合效率分析方法，其特征在于，包括如下步骤：
获取生产环境的监控视频，利用目标识别模型对监控视频中的至少三个连续帧进行识别，得到各帧中包含待分析对象的感兴趣区域；
根据待分析对象的不同，对各感兴趣区域进行如下处理中的一种：
利用帧间差分法识别待分析对象的工作状态；
利用基于HSV空间的帧间差分法识别待分析对象的工作状态；
利用基于ORB特征的特征匹配方法识别待分析对象的工作状态；
根据待分析对象的工作状态，计算设备综合效率。
2.如权利要求1所述的基于注意力机制目标检测的设备综合效率分析方法，其特征在于，针对部件运动幅度大的设备或工件、和动作模式模糊的车间工人，利用帧间差分法识别待分析对象的工作状态；
针对颜色特征显著的设备或工件，利用基于HSV空间的帧间差分法识别待分析对象的工作状态；
针对动作模式固定的设备或工件，利用基于ORB特征的特征匹配方法识别待分析对象的工作状态。
3.如权利要求1或2所述的基于注意力机制目标检测的设备综合效率分析方法，其特征在于，利用帧间差分法识别待分析对象的工作状态，具体包括：
在三个连续帧中，对第一帧感兴趣区域和第二帧感兴趣区域进行帧间差分运算，得到第一帧间差分图；对第二帧感兴趣区域和第三帧感兴趣区域进行帧间差分运算，得到第二帧间差分图；
依据设定阈值对第一帧间差分图和第二帧间差分图分别进行二值化操作，得到二值化的第一帧间差分图和二值化的第二帧间差分图；
对二值化的第一帧间差分图和二值化的第二帧间差分图进行逻辑与运算，依据运算结果得到待分析对象的工作状态。
4.如权利要求1或2所述的基于注意力机制目标检测的设备综合效率分析方法，其特征在于，利用基于HSV空间的帧间差分法识别待分析对象的工作状态，具体包括：
将感兴趣区域转换为HSV颜色空间下的图像，并对该图像进行二值化处理；
在三个连续帧中，对二值化的第一帧感兴趣区域和二值化的第二帧感兴趣区域进行帧间差分运算，得到第三帧间差分图；对二值化的第二帧感兴趣区域和二值化的第三帧感兴趣区域进行帧间差分运算，得到第四帧间差分图；
对第三帧间差分图和第四帧间差分图进行逻辑与运算，依据运算结果得到待分析对象的工作状态。
5.如权利要求1或2所述的基于注意力机制目标检测的设备综合效率分析方法，其特征在于，利用基于ORB特征的特征匹配方法识别待分析对象的工作状态，具体包括：
计算感兴趣区域对应的ORB特征算子，将该ORB特征算子与对应区域的日常状态图的ORB特征算子进行匹配，依据匹配状态，得到待分析对象的工作状态。
6.如权利要求1或2所述的基于注意力机制目标检测的设备综合效率分析方法，其特征在于，所述目标识别模型的训练过程包括：
获取用于训练的先验数据集，该先验数据集中包括若干特征图片，每个特征图片中包括一个待分析对象的感兴趣区域，每个待分析对象至少对应1000张特征图片；
将先验数据集输入神经网络模型进行训练，得到所述目标识别模型。
7.基于注意力机制目标检测的设备综合效率分析装置，其特征在于，包括：
第一模块，用于获取生产环境的监控视频，利用目标识别模型对监控视频中的至少三个连续帧进行识别，得到各帧中包含待分析对象的感兴趣区域；
第二模块，用于根据待分析对象的不同，对各感兴趣区域进行如下处理中的一种：
利用帧间差分法识别待分析对象的工作状态；
利用基于HSV空间的帧间差分法识别待分析对象的工作状态；
利用基于ORB特征的特征匹配方法识别待分析对象的工作状态；
第三模块，用于根据待分析对象的工作状态，计算设备综合效率。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～6任一项所述的基于注意力机制目标检测的设备综合效率分析方法。
9.一种基于注意力机制目标检测的设备综合效率分析系统，包括影像采集装置以及服务器，所述服务器包括存储器和处理器，所述存储器内存储有计算机程序，其特征在于，所述服务器从影像采集装置获取生产环境的监控视频；所述处理器执行所述计算机程序时，实现如权利要求1～6任一项所述的基于注意力机制目标检测的设备综合效率分析方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～6任一项所述的基于注意力机制目标检测的设备综合效率分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910376669.3A CN110222575B (zh) | 2019-05-07 | 2019-05-07 | 基于注意力机制目标检测的设备综合效率分析方法、装置、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910376669.3A CN110222575B (zh) | 2019-05-07 | 2019-05-07 | 基于注意力机制目标检测的设备综合效率分析方法、装置、系统、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110222575A true CN110222575A (zh) | 2019-09-10 |
| CN110222575B CN110222575B (zh) | 2021-06-29 |
Family
ID=67820819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910376669.3A Expired - Fee Related CN110222575B (zh) | 2019-05-07 | 2019-05-07 | 基于注意力机制目标检测的设备综合效率分析方法、装置、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110222575B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112016400A (zh) * | 2020-08-04 | 2020-12-01 | 香港理工大学深圳研究院 | 一种基于深度学习的单类目标检测方法、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1801930A (zh) * | 2005-12-06 | 2006-07-12 | 南望信息产业集团有限公司 | 基于视频内容分析的可疑静止物检测方法 |
| CN202600730U (zh) * | 2012-04-28 | 2012-12-12 | 上海海事大学 | 集装箱码头桥吊效率分析的图像处理装置 |
| CN104700430A (zh) * | 2014-10-05 | 2015-06-10 | 安徽工程大学 | 机载显示器的运动检测方法 |
| CN109086779A (zh) * | 2018-07-28 | 2018-12-25 | 天津大学 | 一种基于卷积神经网络的注意力目标识别方法 |
| CN109255739A (zh) * | 2018-09-12 | 2019-01-22 | 三峡大学 | 一种基于人脸表情和人体动作识别的课堂学习效率分析算法 |
| US10223617B1 (en) * | 2014-06-06 | 2019-03-05 | Deepmind Technologies Limited | Image processing with recurrent attention |
-
2019
- 2019-05-07 CN CN201910376669.3A patent/CN110222575B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1801930A (zh) * | 2005-12-06 | 2006-07-12 | 南望信息产业集团有限公司 | 基于视频内容分析的可疑静止物检测方法 |
| CN202600730U (zh) * | 2012-04-28 | 2012-12-12 | 上海海事大学 | 集装箱码头桥吊效率分析的图像处理装置 |
| US10223617B1 (en) * | 2014-06-06 | 2019-03-05 | Deepmind Technologies Limited | Image processing with recurrent attention |
| CN104700430A (zh) * | 2014-10-05 | 2015-06-10 | 安徽工程大学 | 机载显示器的运动检测方法 |
| CN109086779A (zh) * | 2018-07-28 | 2018-12-25 | 天津大学 | 一种基于卷积神经网络的注意力目标识别方法 |
| CN109255739A (zh) * | 2018-09-12 | 2019-01-22 | 三峡大学 | 一种基于人脸表情和人体动作识别的课堂学习效率分析算法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112016400A (zh) * | 2020-08-04 | 2020-12-01 | 香港理工大学深圳研究院 | 一种基于深度学习的单类目标检测方法、设备及存储介质 |
| CN112016400B (zh) * | 2020-08-04 | 2021-06-29 | 香港理工大学深圳研究院 | 一种基于深度学习的单类目标检测方法、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110222575B (zh) | 2021-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Westphal et al. | A machine learning method for defect detection and visualization in selective laser sintering based on convolutional neural networks | |
| Yan et al. | YOLO V3+ VGG16-based automatic operations monitoring and analysis in a manufacturing workshop under Industry 4.0 | |
| KR20200004825A (ko) | 디스플레이 장치 품질 검사 방법, 장치, 전자 장치 및 저장 매체 | |
| CN111667455A (zh) | 一种刷具多种缺陷的ai检测方法 | |
| CN111653023A (zh) | 一种智能工厂监管方法 | |
| CN111124852A (zh) | 一种基于bmc健康管理模块的故障预测方法及系统 | |
| CN108182416A (zh) | 一种无人机监控场景下的人体行为识别方法、系统及装置 | |
| CN109145836A (zh) | 基于深度学习网络和卡尔曼滤波的船只目标视频检测方法 | |
| CN116992346A (zh) | 一种基于人工智能大数据分析的企业生产数据处理系统 | |
| CN113239759A (zh) | 一种电网作业现场违章识别方法 | |
| CN113592813B (zh) | 基于深度学习语义分割的新能源电池焊接缺陷检测方法 | |
| CN117173791A (zh) | 一种基于动作识别的配网施工人员违规检测方法及系统 | |
| Vilar-Andreu et al. | Enhancing Precision Agriculture Pest Control: A generalized Deep Learning Approach with YOLOv8-based Insect Detection | |
| CN110222575A (zh) | 基于注意力机制目标检测的设备综合效率分析方法、装置、系统、设备及存储介质 | |
| CN110543809A (zh) | 一种电力作业现场风险监管入侵视频识别方法 | |
| Liu | A Deep Neural Network‐Based Target Recognition Algorithm for Robot Scenes | |
| CN111882545A (zh) | 基于双向信息传递及特征融合的织物疵点检测方法 | |
| CN115019202A (zh) | 一种应用于服务型移动机械臂的分步式抓取检测方法 | |
| Martín et al. | ARDIS: knowledge‐based architecture for visual system configuration in dynamic surface inspection | |
| Zhang et al. | Prediction of human actions in assembly process by a spatial-temporal end-to-end learning model | |
| Luo et al. | Adaptive and explainable deep learning-based rapid identification of architectural cracks | |
| Schmidt | From data and algorithms to value creation in the Industry 4.0 | |
| CN118711179B (zh) | 基于半导体存储芯片的组成结构智能识别方法及系统 | |
| Wang et al. | Image recognition technology and digital twin in the power industry | |
| Zhu et al. | Power cabinet door-opening state recognition technology based on edge feature extraction of monocular vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210629 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |