[go: up one dir, main page]

CN112183532B - 基于弱监督协同学习算法的安全帽识别方法及存储介质 - Google Patents

基于弱监督协同学习算法的安全帽识别方法及存储介质 Download PDF

Info

Publication number
CN112183532B
CN112183532B CN202011042403.4A CN202011042403A CN112183532B CN 112183532 B CN112183532 B CN 112183532B CN 202011042403 A CN202011042403 A CN 202011042403A CN 112183532 B CN112183532 B CN 112183532B
Authority
CN
China
Prior art keywords
instance
sample
image
subset
instances
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011042403.4A
Other languages
English (en)
Other versions
CN112183532A (zh
Inventor
吴衍
马碧芳
郭永宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Anjida Intelligent Technology Co ltd
Original Assignee
Fujian Polytechnic Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Polytechnic Normal University filed Critical Fujian Polytechnic Normal University
Priority to CN202011042403.4A priority Critical patent/CN112183532B/zh
Publication of CN112183532A publication Critical patent/CN112183532A/zh
Application granted granted Critical
Publication of CN112183532B publication Critical patent/CN112183532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于深度学习和目标识别技术领域，具体涉及一种基于弱监督协同学习算法的安全帽识别方法及存储介质。本发明的方法包括以下步骤：采用图像级别标签图像对弱监督协同学习算法网络进行训练；将待检测图像输入训练好的所述弱监督协同学习算法网络进行目标检测，得到概率向量；根据所述概率向量判定所述待检测图像中人物是否正确佩戴安全帽。本申请的技术方案采用一种新的协同学习构架，它在弱监督的学习过程中把弱监督检测子网络和有监督检测子网络连接成一个统一的整体，利用预测一致性损失加强了这两个检测子网络的实例预测一致性，这样让这个弱监督协同学习算法既具有弱监督的高效的训练网络的能力，也具有有监督的算法精准的检测精度。

Description

基于弱监督协同学习算法的安全帽识别方法及存储介质
技术领域
本发明属于深度识别和目标识别技术领域，具体涉及一种基于弱监督协同学习算法的安全帽识别方法及存储介质。
背景技术
基于建筑工地的安全性考虑要求每个进入工地的人员都要佩戴安全帽，安全帽作为最后一道安全防线，作用十分重要。但是进入建筑工地区域的人员经常由于偷懒、遗忘或者抱着侥幸心理不带安全帽，所存在的危险伤害隐患巨大。所以安全帽检测识别提醒对建筑工地的安全防范来说就显得尤为重要，检测预警在岗工人是否按照要求戴好安全帽，做好安全防范措施作业，才能真正做到安全生产信息化管理，做到事前预防事中常态监测，事后规范管理。
针对建筑工地人员佩戴安全帽的检测，通常的办法就是在入口处进行检测，但是在建筑工地区域内，人员是否戴帽就很难检测了。目前常见的检测方式有以下几种：
(1)人工检测，在工地的每个入口安排专人把守检查，在建筑工地区域安排人员巡逻检查，但是该方式需要耗费人力资源，而且存在检查遗漏的可能。
(2)采用传感器、芯片或标签来进行提醒，在安全帽中安置这些感知设备，当工人或访客佩戴安全帽进入工地时，门禁阅读器会识别安全帽中的传感器、芯片或标签，如果没有佩戴将触发系统提醒。这种方法虽然可以在入口处不遗漏地检测，但是无法检测出人员是否正确佩戴，如果是简单携带并无佩戴，是无法检测出来的。同时这种检测方法也只能在入口处进行检测，一旦进入建筑工地区域，该方法就失效，还是需要人力来检测。
(3)基于计算机视频图像识别的安全帽佩戴行为检测。在工地的每个入口和重要地点安置摄像机，根据摄像机拍摄视频画面，采用计算机视频图像识别算法检测出画面中的施工人员头部和安全帽位置，进而进行是否佩戴安全帽的判断，实现对施工人员安全帽佩戴行为的实时检测与预警。这种方法利用到了计算机做图像处理识别，既节省了人工和传感器的成本，又提高了检测精度和效率，是目前的主流方法，而这个方法大多基于深度学习算法，大致分为两类：第一类、两步骤(Two-stage)算法，先产生候选区域(regionproposals)，然后采用卷积神经网络(Convolutional Neural Networks,CNN)进行分类，这类算法典型代表有R-CNN，Fast R-CNN和Faster R-CNN等。第二类、一步骤(One-stage)算法，直接产生物体的类别和位置坐标值，这类算法典型有YOLO和SSD等。
上述基于深度学习的工地安全帽检测算法都是采用有监督的算法，例如中国专利号CN201810913181一种动态背景中的安全帽检测方法与系统、CN201811570198一种安全帽识别方法及装置、CN201910300441基于深度学习的安全帽佩戴识别方法及设备和CN201910484745基于深度学习的安全帽定位与颜色识别的方法及系统。采用有监督的算法，即通过有标签的训练样本(即打好标签的安全帽图片)来训练深度学习算法网络，从而得到一个最优算法模型，再利用这个模型对新的工地安全帽图像数据进行识别判断从而实现检测的目的。而这个过程中最大的问题就是训练样本的生成成本太大了，有监督算法的训练样本图片的标签要求是很高的，图像中训练目标物体不仅要给出物体类别，还要有位置坐标等信息，这是一种边界框级别(bounding-box level)的标签，而且这些标签通常是由人工标记上去的，这个过程费时费力。
另外，虽然业界也在进行无监督算法的研究，即用无标签的训练样本来训练深度学习算法网络，但这个学习过程太过复杂困难了，技术发展很缓慢一直没有突破。而弱监督算法做为有监督和无监督的折中算法应运而生，它训练样本只是图像级别(image level)的标签(即标注仅包含图片中物体的类别)，而不是费时费力的边界框级别(bounding-boxlevel)的标签，这样既保证了学习训练过程的简单易操作，又提高了算法的效率，是工地安全帽检测算法的一种理想选择，但目前也尚未出现相关的研究成果。
本发明针对上述问题，如何设计一种基于弱监督协同学习算法的工地安全帽识别方法，通过视频实时分析和预警，对未佩戴安全帽的危险行为实时预警，将报警截图和视频保存到数据库形成报表，是亟需解决的一个技术问题。
发明内容
本发明的目的之一在于克服以上缺点，提供一种基于弱监督协同学习算法的安全帽识别方法，能够对建筑工地生产区域内人员是否佩戴安全帽进行实时分析识别、跟踪和报警。
为了解决上述技术问题，本发明提供了一种基于弱监督协同学习算法的安全帽识别方法，包括以下步骤：
步骤1、采用图像级别标签图像对弱监督协同学习算法网络进行训练；
步骤2、将待检测图像输入训练好的所述弱监督协同学习算法网络进行目标检测，得到概率向量；
步骤3、根据所述概率向量判定所述待检测图像中人物是否正确佩戴安全帽。
进一步地，所述采用图像级别的标签样本对弱监督协同学习算法网络进行训练，包括以下步骤：
步骤11、通过卷积层和ROI池化层对图像级别标签图像进行特征提取，得到包含样本实例训练图片包；
步骤12、弱监督学习模块根据所述训练图片包进行训练并生成边界框级别标签图像第一实例子集；
步骤13、有监督学习模块根据所述训练图片包以及所述边界框级别标签图像第一实例子集进行训练并生成边界框级别标签图像第二实例子集；
步骤14、有监督学习模块对所述边界框级别标签图像第一实例子集以及所述边界框级别标签图像第二实例子集进行计算一致性损失，并根据计算结果更新所述有监督学习模块的网络参数。
进一步地，所述弱监督学习模块根据所述训练图片包进行训练并生成边界框级别标签图像第一结果集，包括以下步骤：
步骤121、连续实例选择器对所述训练图片包中的样本实例进行子集划分；
步骤122、连续评估器根据所述训练图片包样本实例子集划分结果对所述训练图片包中的样本实例进行评估；
步骤123、将评估后的所述训练图片包作为边界框级别标签图像第一结果集。
进一步地，所述连续实例选择器对所述训练图片包中的样本实例进行子集划分，包括以下步骤：
步骤1211、连续实例选择器计算所述训练图片包中每个样本实例的得分，所述得分的计算公式为：S(ti,j,σs)＝σs T(FVb-FVf)，其中，tij表示第i个包中的第j个样本实例，σs是实例选择器的网络参数，FVb是样本实例tij中背景的费舍尔向量，FVf是样本实例tij中前景的费舍尔向量；
步骤1212、从所述训练图片包所有样本实例中选取得分最高且不属于任何一个边界框级别标签图像实例子集的样本实例，建立一个新的边界框级别标签图像实例子集；
步骤1213、将与步骤1211中所述得分最高的样本实例图片重叠面积大于或等于τ，且不属于任何一个边界框级别标签图像实例子集的样本实例归入相同的边界框级别标签图像实例子集中，其中，τ表示连续参数，取值范围为[0,1]；
步骤1214、根据已经建立的所述边界框级别标签图像实例子集计算连续实例选择器的目标函数值，所述连续实例选择器的目标函数为：
其中，ti表示第i个训练图片包，ti,β(τ)代表第i个包中的第β(τ)个实例子集，σs是实例选择器的网络参数，li代表第i个训练图片包的正负标志，Nβ(τ)是实例子集ti,β(τ)中实例的个数，ti,j∈ti,β(τ)；
步骤1215、判断所述连续实例选择器的目标函数值是否大于预设的阈值；
步骤1216、若所述连续实例选择器的目标函数值小于或等于预设的阈值，则跳转至步骤1212继续执行；
步骤1217、若所述连续实例选择器的目标函数值大于预设的阈值，则子集划分完成。
进一步地，所述连续评估器根据所述训练图片包样本实例子集划分结果对所述训练图片包中的样本实例进行评估，评估公式为：
其中，IOU函数表示两个样本实例之间的交并比，tij表示第i个包中的第j个样本实例，lij表示样本实例tij的正负标志,ti,j*表示得分最高的样本实例子集ti,β(τ)*中得分最高的样本实例，τ表示连续参数，其取值范围为[0,1]。
进一步地，所述预测一致性损失计算，计算公式为：
其中，Lc为一致性损失，xws表示弱监督学习模块得到的边界框级别标签图像样本实例，xs有监督学习模块得到的边界框级别标签图像样本实例，IOU函数表示两个样本实例之间的交并比。
进一步地，所述概率向量，包括：待检测图像中的物体识别为安全帽的概率值、待检测图像中的物体识别为人的概率值以及待检测图像中的物体位置坐标信息。
进一步地，所述根据所述概率向量判定所述待检测图像中人物是否正确佩戴安全帽，包括以下步骤：
若待检测图像中的物体识别为人的概率值以及物体识别为安全帽的概率值大于固定阈值且安全帽位置在人头顶上，则判定待检测图像中的人物正确佩戴安全帽，否则判定图像中的人物未正确佩戴安全帽。
相应地，本申请还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述权利要求中任一项基于弱监督协同学习算法的安全帽识别方法的步骤。
本发明技术方案的有益效果有:
1.本申请的技术方案采用弱监督的深度学习算法，仅需要图像级别的标签样本图片进行训练，对训练样本图片的要求大大降低，减少了人工处理训练样本图片的时间，提高了工作效率。
2.本申请的弱监督深度学习算法采用改进的连续多实例学习方法，它通过平滑多实例学习方法的目标函数并将其转换成多个更容易解决的子问题，从而多个子问题的目标函数联合去逼近最终的目标函数，能更好地解决弱监督目标函数的非凸性，避免模型过早陷入局部极小值，从而获得更好的优化结果。
3.本申请技术方案中弱监督协同学习算法采用一种新的协同学习构架，它在弱监督的学习过程中把弱监督检测子网络和有监督检测子网络连接成一个统一的整体，利用预测一致性损失加强了这两个检测子网络的实例预测一致性，这样让这个弱监督协同学习算法既具有弱监督的高效的训练网络的能力，也具有有监督的算法精准的检测精度。
附图说明
图1是本发明的一种基于弱监督协同学习算法的安全帽识别方法步骤流程图。
图2是本发明采用图像级别的标签样本对弱监督协同学习算法网络进行训练步骤流程图。
图3是本发明弱监督学习模块根据所述训练图片包进行训练并生成边界框级别标签图像第一结果集步骤流程图。
图4是本发明连续实例选择器对所述训练图片包中的样本实例进行子集划分步骤流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，是本发明的一种基于弱监督协同学习算法的安全帽识别方法步骤流程图，包括以下步骤：
步骤1、采用图像级别标签图像对弱监督协同学习算法网络进行训练；
在深度学习和目标识别技术领域，用于训练的图像可以分为图像级别(imagelevel)标签图像以及边界框级别(bounding-box level)标签图像，其中，图像级别(imagelevel)标签图像指的对于用于训练的图像，只知道其包含人或安全帽，而不知道人或安全帽在图像中的具体位置，而边界框级别(bounding-box level)标签图像不仅知道其包含人或安全帽，而且知道每个人或安全帽在图像中的具体位置，因此边界框级别标签图像训练样本通常是由人工标记人或安全帽的位置，这个过程费时费力效率低下。如图2所示，是本发明采用图像级别的标签样本对弱监督协同学习算法网络进行训练步骤图，包括以下步骤：
步骤11、通过卷积层和ROI池化层对图像级别标签图像进行特征提取，得到包含样本实例训练图片包；
将用于训练的图像级别标签图像送入卷积层，卷积层根据输入的图像提取出包含不同目标(人或安全帽)的重要特征的候选区域，再将结果送入池化层，由池化层将不同大小的候选区域转换为固定大小的输出，以便进行后训练。池化层输出的结果即为包含样本实例训练图片包。例如，每一张输入的用于训练的图像级别标签图像都生成一个对应的训练图片包，每个训练图片包中的样本实例都对应图像中一个为人或安全帽的候选区域，也称为样本实例。
步骤12、弱监督学习模块根据所述训练图片包进行训练并生成边界框级别标签图像第一实例子集；如图3所示，是本发明弱监督学习模块根据所述训练图片包进行训练并生成边界框级别标签图像第一结果集步骤流程图，包括以下步骤：
步骤121、连续实例选择器对所述训练图片包中的样本实例进行子集划分；
假设定义T代表所有的训练图片的包，ti∈T代表其中第i个训练图片包，li代表第i个训练图片包的正负标志，当其为1时表示ti为正样本包，即ti中至少包含一个正样本实例，例如至少包含人或安全帽的样本实例，当其为-1时表示ti为负样本包，即ti中包含的样本实例全部是负样本实例，例如完全不包含人和安全帽的样本实例。ti,j代表的是第i个包中的第j个样本实例，li,j表示的是ti,j样本实例的正负标志，其为1时表示该样本实例为正样本实例，其为-1时表示该样本实例为负样本实例。本申请的技术方案需要将所述训练图片包中的样本实例划分成多个子集，每个子集代表相似样本实例的集合，比如，一个子集是人脸区域集合，另一个子集是安全帽区域集合。如图4所示，是本发明连续实例选择器对所述训练图片包中的样本实例进行子集划分步骤流程图，包括以下步骤：
步骤1211、连续实例选择器计算所述训练图片包中每个样本实例的得分,这里的得分是针对每个样本实例计算的对象分数，也就是指样本实例属于具体一个对象(人脸或安全帽)的分数，是利用连续实例选择器计算出来的,所述得分的计算公式为：S(ti,j,σs)＝σs T(FVb-FVf)，其中，tij表示第i个包中的第j个样本实例，σs是实例选择器的网络参数，FVb是样本实例tij中背景的费舍尔向量，FVf是样本实例tij中前景的费舍尔向量；
步骤1212、从所述训练图片包所有样本实例中选取得分最高且不属于任何一个边界框级别标签图像实例子集的样本实例，建立一个新的边界框级别标签图像实例子集；
步骤1213、将与步骤1211中所述得分最高的样本实例图片重叠面积大于或等于τ，且不属于任何一个边界框级别标签图像实例子集的样本实例归入相同的边界框级别标签图像实例子集中，其中，τ表示连续参数，取值范围为[0,1]；
步骤1214、根据已经建立的所述边界框级别标签图像实例子集计算连续实例选择器的目标函数值，所述连续实例选择器的目标函数为：
其中，ti表示第i个训练图片包，ti,β(τ)代表第i个包中的第β(τ)个实例子集，σs是实例选择器的网络参数，li代表第i个训练图片包的正负标志，Nβ(τ)是实例子集ti,β(τ)中实例的个数，ti,j∈ti,β(τ)，通过连续实例选择器S(ti,β(τ),σs)计算出子集ti,β(τ)的得分。当τ＝0时，包ti被划分为一个包含所有实例的子集；当τ＝1时，包ti被划分为多个子集，每个子集只有一个实例；当0＜τ＜1时，每个包有多个子集，该目标函数比传统多实例学习的实例选择器的目标函数更加平滑，这样的平滑可以大大缓解非凸问题，通过优化这个目标函数可以发现更好的解，最后得出分数最高的实例子集ti,β(τ)*；
步骤1215、判断所述连续实例选择器的目标函数值是否大于预设的阈值；
步骤1216、若所述连续实例选择器的目标函数值小于或等于预设的阈值，则跳转至步骤1212继续执行；
步骤1217、若所述连续实例选择器的目标函数值大于预设的阈值，则子集划分完成。
传统的弱监督深度学习算法，大多采用多实例学习方法，该方法把每张图看成一个包(bag)，图中的物体看成一个实例(instance)，在训练过程中迭代地从包中选出得分最高的候选区域(proposal)进行网络的训练，由于弱监督的监督信息只是指示图片中是否包含相应类别物体的图像级别信息，因此实例存在定位的随机性，描述候选区域选择的目标函数容易在早期学习阶段出现非凸性，而优化这个目标函数会陷入局部极小值中，使其只检测部分区域，而忽略了完整的范围。
本技术方案的弱监督深度学习算法采用改进的连续多实例学习方法，在传统的多实例学习方法的基础上引入连续优化方法，目的是更好地解决弱监督目标检测问题的非凸性，将图片中的实例候选区域进行有效划分，将空间相关和类别相关的实例划分成一个子集，并在相应的子集上定义对应的平滑目标函数，不同子集的目标函数联合逼近原始目标函数，获得更好的优化结果。它通过平滑多实例学习方法的目标函数并将其转换成多个更容易解决的子问题，从而多个子问题的目标函数联合去逼近最终的目标函数，能更好地解决弱监督目标函数的非凸性，避免模型过早陷入局部极小值，从而获得更好的优化结果。
步骤122、连续评估器根据所述训练图片包样本实例子集划分结果对所述训练图片包中的样本实例进行评估；连续评估器的作用是基于连续实例选择器选择出来的样本实例子集对每个样本实例的正负标志结果进一步做评估，将一些错误或者干扰背景排除，进一步提高训练的准确性，其中，连续评估器采用的评估公式为：
其中，IOU函数表示两个样本实例之间的交并比，tij表示第i个包中的第j个样本实例，lij表示样本实例tij的正负标志,ti，j*表示得分最高的样本实例子集ti,β(τ)*中得分最高的样本实例，τ表示连续参数，其取值范围为[0,1]。从式中可以看出当样本实例与ti,j*交并比大于等于阈值时，该样本实例为正样本，当实例与ti,j*交并比小于阈值时，该样本实例为负样本，其他实例情况不做考虑。
步骤123、将经过连续评估器评估后的所述训练图片包作为边界框级别标签图像第一结果集。
步骤13、有监督学习模块根据所述训练图片包以及所述边界框级别标签图像第一实例子集进行训练并生成边界框级别标签图像第二实例子集；本申请的所述的有监督学习模块，采用的是常规的Faster R-CNN算法，通过输入边界框级别标签图像第一实例子集，经过训练并输出边界框级别标签图像第二实例子集；
步骤14、有监督学习模块对所述边界框级别标签图像第一实例子集以及所述边界框级别标签图像第二实例子集进行计算一致性损失，并根据计算结果更新所述有监督学习模块的网络参数。其中，所述预测一致性损失计算，计算公式为：
其中，Lc为一致性损失，xws表示弱监督学习模块得到的边界框级别标签图像样本实例，xs有监督学习模块得到的边界框级别标签图像样本实例，IOU函数表示两个样本实例之间的交并比。将弱监督学习模块得到的边界框级别标签图像第一实例子集与有监督学习模块得到的边界框级别标签图像第二实例子集进行一致性损失判断，并根据计算结果反向更新所述有监督学习模块的网络参数，通过保持与弱监督学习模块的预测一致性来进行学习，达到对有监督算法训练的目的。
另外，有监督学习模块和弱监督学习模块在网络上有一定的相似性，训练的过程中可以共享网络参数，并且可以在卷积层和部分完全连接层共享部分图像特征表示，这也确保了两个算法感知的一致性，提高两个分支的训练效率。
步骤2、将待检测图像输入训练好的所述弱监督协同学习算法网络进行目标检测，得到概率向量；具体地，由有监督学习模块对待检测图像进行目标检测，通常采用的是Faster R-CNN算法得到概率向量，这里的概率向量包括：待检测图像中的物体识别为安全帽的概率值、待检测图像中的物体识别为人的概率值以及待检测图像中的物体位置坐标信息。
步骤3、根据所述概率向量判定所述待检测图像中人物是否正确佩戴安全帽，包括以下步骤：若待检测图像中的物体识别为人的概率值以及物体识别为安全帽的概率值大于固定阈值且安全帽位置在人头顶上，则判定待检测图像中的人物正确佩戴安全帽，否则判定图像中的人物未正确佩戴安全帽。具体地，通过弱监督协同学习算法网络进行图像识别，得出检测结果，再建立人头安全帽联合检测模型：当未出现人时，判断现场无人员；只出现人，或者安全帽和人都出现，但安全帽在人头顶下方，认定未佩戴安全帽；只有当安全帽和人同时出现，并且安全帽出现在人头顶上，才认定佩戴安全帽。
优选地，本申请的技术方案还可以提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述权利要求中任一项基于弱监督协同学习算法的安全帽识别方法的步骤。
本申请的技术方案，通过弱监督算法和有监督的Faster R-CNN算法进行协同学习的技术，提出一种弱监督协同学习的框架，利用两种算法之间的任务相似性即预测一致性来联合训练这两个算法子网络。首先弱监督算法使用连续多实例学习的方法训练学习，这种算法仅需要图像级别的标签样本图片进行训练，对训练样本图片的要求大大降低；将弱监督算法输出的边界框级别标签图像输入给有监督的Faster R-CNN算法进行训练，同时使用预测一致性损失来保持与弱监督算法结果的相似性，以此提供训练学习的准确性，这样，本申请的弱监督协同学习方法既具有弱监督学习方法的高效训练网络的能力，同时具有有监督的学习方法精准的检测精度。
上述具体实施方式只是对本发明的技术方案进行详细解释，本发明并不只仅仅局限于上述实施例，凡是依据本发明原理的任何改进或替换，均应在本发明的保护范围之内。

Claims (7)

1.一种基于弱监督协同学习算法的安全帽识别方法，其特征在于，包括以下步骤：
步骤1、采用图像级别标签图像对弱监督协同学习算法网络进行训练，包括以下步骤：
步骤11、通过卷积层和ROI池化层对图像级别标签图像进行特征提取，得到包含样本实例训练图片包；
步骤12、弱监督学习模块根据所述训练图片包进行训练并生成边界框级别标签图像第一实例子集，包括以下步骤：步骤121、连续实例选择器对所述训练图片包中的样本实例进行子集划分；步骤122、连续评估器根据所述训练图片包样本实例子集划分结果对所述训练图片包中的样本实例进行评估；步骤123、将评估后的所述训练图片包作为边界框级别标签图像第一结果集；
步骤13、有监督学习模块根据所述训练图片包以及所述边界框级别标签图像第一实例子集进行训练并生成边界框级别标签图像第二实例子集；
步骤14、有监督学习模块对所述边界框级别标签图像第一实例子集以及所述边界框级别标签图像第二实例子集计算一致性损失，并根据计算结果更新所述有监督学习模块的网络参数；
步骤2、将待检测图像输入训练好的所述弱监督协同学习算法网络进行目标检测，得到概率向量；
步骤3、根据所述概率向量判定所述待检测图像中人物是否正确佩戴安全帽。
2.如权利要求1所述的基于弱监督协同学习算法的安全帽识别方法，其特征在于，所述连续实例选择器对所述训练图片包中的样本实例进行子集划分，包括以下步骤：
步骤1211、连续实例选择器计算所述训练图片包中每个样本实例的得分，所述得分的计算公式为：S(ti,j,σs)＝σs T(FVb-FVf)，其中，tij表示第i个包中的第j个样本实例，σs是实例选择器的网络参数，FVb是样本实例tij中背景的费舍尔向量，FVf是样本实例tij中前景的费舍尔向量；
步骤1212、从所述训练图片包所有样本实例中选取得分最高且不属于任何一个边界框级别标签图像实例子集的样本实例，建立一个新的边界框级别标签图像实例子集；
步骤1213、将与步骤1211中所述得分最高的样本实例图片重叠面积大于或等于τ，且不属于任何一个边界框级别标签图像实例子集的样本实例归入相同的边界框级别标签图像实例子集中，其中，τ表示连续参数，取值范围为[0,1]；
步骤1214、根据已经建立的所述边界框级别标签图像实例子集计算连续实例选择器的目标函数值，所述连续实例选择器的目标函数为：
其中，ti表示第i个训练图片包，ti,β(τ)代表第i个包中的第β(τ)个实例子集，σs是实例选择器的网络参数，li代表第i个训练图片包的正负标志，Nβ(τ)是实例子集ti,β(τ)中实例的个数，ti,j∈ti,β(τ)；
步骤1215、判断所述连续实例选择器的目标函数值是否大于预设的阈值；
步骤1216、若所述连续实例选择器的目标函数值小于或等于预设的阈值，则跳转至步骤1212继续执行；
步骤1217、若所述连续实例选择器的目标函数值大于预设的阈值，则子集划分完成。
3.如权利要求1所述的基于弱监督协同学习算法的安全帽识别方法，其特征在于，所述连续评估器根据所述训练图片包样本实例子集划分结果对所述训练图片包中的样本实例进行评估，评估公式为：
其中，IOU函数表示两个样本实例之间的交并比，tij表示第i个包中的第j个样本实例，lij表示样本实例tij的正负标志,表示得分最高的样本实例子集ti,β(τ)*中得分最高的样本实例，τ表示连续参数，其取值范围为[0,1]。
4.如权利要求1所述的基于弱监督协同学习算法的安全帽识别方法，其特征在于，所述一致性损失的计算公式为：
其中，Lc为一致性损失，xws表示弱监督学习模块得到的边界框级别标签图像样本实例，xs有监督学习模块得到的边界框级别标签图像样本实例，IOU函数表示两个样本实例之间的交并比。
5.如权利要求1所述的基于弱监督协同学习算法的安全帽识别方法，其特征在于，所述概率向量，包括：待检测图像中的物体识别为安全帽的概率值、待检测图像中的物体识别为人的概率值以及待检测图像中的物体位置坐标信息。
6.如权利要求5所述的基于弱监督协同学习算法的安全帽识别方法，其特征在于，所述根据所述概率向量判定所述待检测图像中人物是否正确佩戴安全帽，包括以下步骤：
若待检测图像中的物体识别为人的概率值以及物体识别为安全帽的概率值大于固定阈值且安全帽位置在人头顶上，则判定待检测图像中的人物正确佩戴安全帽，否则判定图像中的人物未正确佩戴安全帽。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1-6中任一项基于弱监督协同学习算法的安全帽识别方法的步骤。
CN202011042403.4A 2020-09-28 2020-09-28 基于弱监督协同学习算法的安全帽识别方法及存储介质 Active CN112183532B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011042403.4A CN112183532B (zh) 2020-09-28 2020-09-28 基于弱监督协同学习算法的安全帽识别方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011042403.4A CN112183532B (zh) 2020-09-28 2020-09-28 基于弱监督协同学习算法的安全帽识别方法及存储介质

Publications (2)

Publication Number Publication Date
CN112183532A CN112183532A (zh) 2021-01-05
CN112183532B true CN112183532B (zh) 2024-11-15

Family

ID=73945397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011042403.4A Active CN112183532B (zh) 2020-09-28 2020-09-28 基于弱监督协同学习算法的安全帽识别方法及存储介质

Country Status (1)

Country Link
CN (1) CN112183532B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610120B (zh) * 2021-07-21 2023-09-29 燕山大学 基于弱监督学习的App图像内容安全检测方法
CN114241242B (zh) * 2021-12-20 2025-03-21 哈尔滨工程大学 一种基于自注意力交互融合的图像情绪分类方法
CN117278696B (zh) * 2023-11-17 2024-01-26 西南交通大学 一种建造现场实时个人防护装备违规视频剪辑方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263686A (zh) * 2019-06-06 2019-09-20 温州大学 一种基于深度学习的施工工地图像安全帽检测方法
CN110738127A (zh) * 2019-09-19 2020-01-31 福建师范大学福清分校 基于无监督深度学习神经网络算法的安全帽识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3399465B1 (en) * 2017-05-05 2025-02-26 Dassault Systèmes Forming a dataset for fully-supervised learning
CN110728223A (zh) * 2019-10-08 2020-01-24 济南东朔微电子有限公司 一种基于深度学习的安全帽佩戴识别方法
CN111445488B (zh) * 2020-04-22 2023-08-04 南京大学 一种弱监督学习自动识别和分割盐体的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263686A (zh) * 2019-06-06 2019-09-20 温州大学 一种基于深度学习的施工工地图像安全帽检测方法
CN110738127A (zh) * 2019-09-19 2020-01-31 福建师范大学福清分校 基于无监督深度学习神经网络算法的安全帽识别方法

Also Published As

Publication number Publication date
CN112183532A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN110738127B (zh) 基于无监督深度学习神经网络算法的安全帽识别方法
CN109492581B (zh) 一种基于tp-stg框架的人体动作识别方法
Golparvar-Fard et al. Vision-based action recognition of earthmoving equipment using spatio-temporal features and support vector machine classifiers
Gibert et al. Deep multitask learning for railway track inspection
Elhamod et al. Automated real-time detection of potentially suspicious behavior in public transport areas
CN107133569B (zh) 基于泛化多标记学习的监控视频多粒度标注方法
CN111291699A (zh) 基于监控视频时序动作定位和异常检测的变电站人员行为识别方法
CN110569843B (zh) 一种矿井目标智能检测与识别方法
US11893727B2 (en) Rail feature identification system
CN118470628A (zh) 一种工程施工现场智能监控系统
CN108052859A (zh) 一种基于聚类光流特征的异常行为检测方法、系统及装置
CN112183532B (zh) 基于弱监督协同学习算法的安全帽识别方法及存储介质
CN110728252B (zh) 一种应用于区域人员运动轨迹监控的人脸检测方法
CN115512293B (zh) 基于计算机视觉的空间行为智能分析方法和系统
Mohan et al. Anomaly and activity recognition using machine learning approach for video based surveillance
Karim et al. A region-based deep learning algorithm for detecting and tracking objects in manufacturing plants
Chatrasi et al. Pedestrian and object detection using image processing by yolov3 and yolov2
Peng et al. [Retracted] Helmet Wearing Recognition of Construction Workers Using Convolutional Neural Network
Nain et al. Authentication control system for the efficient detection of hard-hats using deep learning algorithms
CN114979567B (zh) 一种应用于视频智能监控的物体与区域交互方法及系统
Dai et al. Concrete bridge crack detection method based on an improved RT-DETR model
Iparraguirre-Villanueva et al. Improving industrial security device detection with convolutional neural networks
US20250191364A1 (en) Anomaly detection system for video surveillance
CN119919983B (zh) 智能安防信息管理方法、装置及存储介质
CN117058627B (zh) 一种公共场所人群安全距离监测方法、介质及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: China

Address after: 350300 No.1, Xueyuan new village, Longjiang street, Fuqing City, Fuzhou City, Fujian Province

Applicant after: Fujian Normal University of Technology

Address before: 350300 No.1, Xueyuan new village, Longjiang street, Fuqing City, Fuzhou City, Fujian Province

Applicant before: FUQING BRANCH OF FUJIAN NORMAL University

Country or region before: China

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20241127

Address after: Unit 305, Building 3, Jinzuan Apartment, No. 138 Wuyi Middle Road, Taijiang District, Fuzhou City, Fujian Province 350005

Patentee after: FUJIAN ANJIDA INTELLIGENT TECHNOLOGY CO.,LTD.

Country or region after: China

Address before: 350300 No.1, Xueyuan new village, Longjiang street, Fuqing City, Fuzhou City, Fujian Province

Patentee before: Fujian Normal University of Technology

Country or region before: China

TR01 Transfer of patent right