CN110059742A - 基于深度学习的安全护具穿戴识别方法及设备 - Google Patents
基于深度学习的安全护具穿戴识别方法及设备 Download PDFInfo
- Publication number
- CN110059742A CN110059742A CN201910300432.7A CN201910300432A CN110059742A CN 110059742 A CN110059742 A CN 110059742A CN 201910300432 A CN201910300432 A CN 201910300432A CN 110059742 A CN110059742 A CN 110059742A
- Authority
- CN
- China
- Prior art keywords
- safety
- neural network
- image
- convolutional neural
- safety protector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001012 protector Effects 0.000 title claims abstract description 135
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000013135 deep learning Methods 0.000 title abstract description 22
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 83
- 238000012549 training Methods 0.000 claims abstract description 64
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 230000001681 protective effect Effects 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 230000003190 augmentative effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 10
- 239000010410 layer Substances 0.000 description 72
- 238000000605 extraction Methods 0.000 description 13
- 238000005286 illumination Methods 0.000 description 9
- 238000005070 sampling Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种基于深度学习的安全护具佩戴识别方法及设备，所述方法通过将待识别图像输入预先构建的安全护具识别模型；其中，所述安全护具识别模型基于预先标注的图像样本和多层卷积神经网络训练获得；基于安全护具识别模型的输出结果，获得待识别图像中包含安全护具的子图像。解决了现有技术中安全护具佩戴识别方案受光照的影响较大，并且不同的特征提取方法对算法的鲁棒性也有影响的技术问题，实现快速和准确进行安全护具佩戴识别的技术效果。
Description
技术领域
本发明实施例涉及图像识别技术领域，尤其涉及一种基于深度学习的安全护具穿戴识别方法及设备。
背景技术
安全护具是运用在设备上的安全件，乘坐飞机等飞行器，或在高空作业与进行技艺表演时，为保障安全所用的设备。安全护具具体包括：绝缘手套、安全带、护目镜和安全带。现有的安全护具佩戴识别方法主要采用传统的模式识别，通过图像预处理、特征提取、安全护具识别等一系列的步骤实现安全护具佩戴识别，现有的方法虽然具体实施步骤有所不同，但整体流程、使用的技术都大同小异。
现有技术首先通过安装在车内的CCD摄像机采集乘员的图像信息，其次对采集的图像进行预处理，包括平滑去噪和灰度图转化。然后对经过预处理的图像进行二值化操作并进行积分投影，最后结合安全护具几何特征的先验知识确定安全护具的特征点坐标，从而达到安全护具识别目的。
现有的方法采用传统的模式识别方法，安全护具佩戴识别包括预处理图像、特征提取、识别等步骤，步骤繁琐，而且需要大量的先验知识，对算法设计人员的专业知识要求较高，算法设计人员的水平直接决定了能否准确检测出是否佩戴安全护具。传统的模式识别方法受光照的影响较大，并且不同的特征提取方法对算法的鲁棒性也有影响，这大大增加了安全护具佩戴识别的难度。
发明内容
本发明实施例提供一种基于深度学习的安全护具穿戴识别方法及设备，用以解决现有技术中安全护具穿戴识别方案受光照的影响较大，并且不同的特征提取方法对算法的鲁棒性也有影响的技术问题，实现快速和准确进行安全护具穿戴识别的技术效果。
本发明实施例提供一种安全护具穿戴识别方法，包括：
将待识别图像输入预先构建的安全护具识别模型；其中，所述安全护具识别模型基于预先标注的图像样本和多层卷积神经网络训练获得；
基于安全护具识别模型的输出结果，获得待识别图像中包含安全护具的子图像；其中，所述安全护具为：绝缘手套、安全带、护目镜或安全带。
本发明实施例提供一种安全护具穿戴识别设备，包括：
输入模块，用于将待识别图像输入预先构建的安全护具识别模型；其中，所述安全护具识别模型基于预先标注的图像样本和多层卷积神经网络训练获得；
获取模块，用于基于安全护具穿戴识别模型的输出结果，获得待识别图像中包含安全护具穿戴的子图像；其中，所述安全护具为：绝缘手套、安全带、护目镜或安全带。
本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项所述安全护具穿戴识别方法。
本发明实施例提供的基于深度学习的安全护具佩戴识别方法及设备，所述方法通过将待识别图像输入预先构建的安全护具识别模型；其中，所述安全护具识别模型基于预先标注的图像样本和多层卷积神经网络训练获得；基于安全护具识别模型的输出结果，获得待识别图像中包含安全护具的子图像。解决了现有技术中安全护具佩戴识别方案受光照的影响较大，并且不同的特征提取方法对算法的鲁棒性也有影响的技术问题，实现快速和准确进行安全护具佩戴识别的技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于深度学习的安全护具佩戴识别方法实施例整体流程示意图；
图2为本发明基于深度学习的安全护具佩戴识别设备实施例整体结构示意图；
图3为本发明电子设备实施例结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有的安全护具佩戴识别受光照的影响较大，并且不同的特征提取方法对安全护具识别方案的鲁棒性也有影响。为解决上述问题，本发明实施例提供一种基于深度学习的安全护具佩戴识别方法。如图1，示出本发明实施例一种基于深度学习的安全护具佩戴识别方法整体流程示意图。该方法的执行主体可以是智能手机、智能手环等便携智能终端，还可以是云端服务器，本发明对此不作具体限定。该方法包括：
步骤S1，将待识别图像输入预先构建的安全护具识别模型；其中，所述安全护具识别模型基于预先标注的图像样本和多层卷积神经网络训练获得。
具体的，待识别图像为包含需要被识别是否佩戴有安全护具人物的图像。待识别图像可以是通过摄像装置实时获取的图像，也可以是预先获取并存储在特定存储器或服务器中的图像。进一步，待识别图像可以是单帧的静态图片图像，也可以是动态的视频图像。图片图像的格式可以为：BMP、TIFF、EPS、JPEG、GIF、PSD和PDF等；视频图像的格式可以为MPEG、MPG、AVI、 MOV、RMVB和FLV等。
进一步，安全护具识别模型为基于预先标注的图像样本和多层卷积神经网络训练获得。需要说明的是，多层卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deep learning)的代表算法之一。由于卷积神经网络能够进行平移不变分类(shift-invariant classification)，因此也被称为“平移不变人工神经网络(Shift-InvariantArtificial Neural Networks,SIANN)”。多层卷积神经网络在大量学习数据时有稳定的表现，对于一般的大规模图像分类问题，多层卷积神经网络可用于构建阶层分类器，也可以在精细分类识别(fine-grained recognition)中用于提取图像的判别特征以供其它分类器进行学习。对于后者，特征提取可以人为地将图像的不同部分分别输入卷积神经网络，也可以由卷积神经网络通过非监督学习自行提取。
其中，步骤S1前需要首先获取一定数量的图像样本，图像样本可以为摄像设备采集的图片、网上下载的公共图片和经过图像处理技术扩充的图片。作为多层卷积神经网络训练的前期准备工作，图像样本的标注是一项基础的工作。图像样本的标注可以通过现有技术中的LabelMe软件，标注人员在样本图像中包含安全护具的图像区域，通过手动绘制矩形或多边形的方式实现图像标注；也可以使用ByLabel软件，通过自动提取图像边缘，手动选取边缘并编组的方式实现图像标注。关于图像样本的具体标注方式本发明实施例不作具体限定。
进一步，基于预先标注的图像样本和多层卷积神经网络训练获得所述安全护具识别模型的过程，可以采用现有技术中的训练方式，也可以采用本发明下述实施例中的训练方式。其中，现有技术中的训练方式例如包括：首先，多层卷积神经网络进行权值的初始化；其次，将标注的图像样本输入数据经过卷积层、下采样层、全连接层的向前传播得到输出值；再次，求出多层卷积神经网络的输出值与目标值之间的误差；再次，当误差大于期望值时，将误差传回多层卷积神经网络中，依次求得全连接层，下采样层，卷积层的误差。各层的误差可以理解为对于多层卷积神经网络的总误差，多层卷积神经网络应承担多少；当误差等于或小于期望值时，结束训练。最后，根据求得误差进行权值更新。本发明实施例不对安全护具识别模型的训练方法作具体限定。
步骤S2，基于安全护具识别模型的输出结果，获得待识别图像中包含安全护具的子图像；其中，所述安全护具为：绝缘手套、安全带、护目镜或安全带。
具体地，举个具体实例来对步骤S2的实现步骤进行说明。步骤S2实现过程的第一步基于卷积层实现，卷积层执行了以下几个步骤。首先，将待识别图像分解成一系列重叠的m*m像素的拼图，其中m≥2，且为正整数。之后，基于一个简单的单层神经网络运行这些拼图，权重保持不变。将拼图排列组合，当保持每个重叠后的拼图尺寸是小的(m*m)时，安全护具识别模型需要处理它们保证可控与小型化。然后，将以数字表示照片中每个区域的内容的数组进行输出值排列，其中坐标轴表示颜色，宽度和高度。下一步是池化层。采用这些3或4维阵列，并与空间维度一起应用下采样功能。结果输出一个池数组，其中仅包含重要的图像部分，同时丢弃剩余部分，这最大限度地减少了需要完成的计算量，同时也避免了过度拟合问题。采用下采样阵列作为常规全连接神经网络的输入。最后一步的输出待识别图像中对于各拼图中包含安全护具的概率值(确信值)。确信值最高的一个或多个拼图组成包含安全护具的子图像。其中，本发明实施例不对步骤S2的具体实现方法作具体限定。
本发明实施例提供的安全护具佩戴识别方法，通过将待识别图像输入预先构建的安全护具识别模型；基于安全护具识别模型的输出结果，获得待识别图像中包含安全护具的子图像。解决了现有技术中安全护具佩戴识别方案受光照的影响较大，并且不同的特征提取方法对算法的鲁棒性也有影响的技术问题，实现快速和准确进行安全护具佩戴识别的技术效果。
基于上述实施例，将待识别图像输入预先构建的安全护具识别模型，之前还包括：
获取第一图像样本集，并对第一图像样本集进行标注；
基于标注的第一图像样本集和多层卷积神经网络训练获得安全护具识别模型。
其中，首先一定数量的图像样本，图像样本中能够为摄像设备采集的图片、网上下载的公共图片和经过图像处理技术扩充的图片。作为多层卷积神经网络训练的前期准备工作，图像样本的标注是一项基础的工作。图像样本的标注可以通过现有技术中的LabelMe软件，在通过标注人员在样本图像中包含安全护具的图像区域手动绘制矩形或多边形的方式实现图像标注；也可以使用ByLabel软件，自动提取图像边缘，手动选取边缘并编组的方式实现图像标注。关于图像样本的具体标注方式本发明实施例不作具体限定，将标注后的图像样本作为第一图像样本集。
进一步，基于第一图像样本集中预先标注的图像样本和多层卷积神经网络训练获得所述安全护具识别模型的过程可以采用现有技术中的训练方式，也可以采用本发明下述实施例中的训练方式。其中，现有技术中的训练方式例如包括：首先，多层卷积神经网络进行权值的初始化；其次，将标注的图像样本输入数据经过卷积层、下采样层、全连接层的向前传播得到输出值；再次，求出网络的输出值与目标值之间的误差；再次，当误差大于我们的期望值时，将误差传回网络中，依次求得全连接层，下采样层，卷积层的误差。各层的误差可以理解为对于网络的总误差，网络应承担多少；当误差等于或小于我们的期望值时，结束训练。最后，根据求得误差进行权值更新。本发明实施例不对安全护具识别模型的训练方法作具体限定。
本发明实施例提供的安全护具佩戴识别方法，基于标注的第一图像样本集和多层卷积神经网络训练获得安全护具识别模型。解决了现有技术中安全护具佩戴识别方案受光照的影响较大，并且不同的特征提取方法对算法的鲁棒性也有影响的技术问题，实现快速和准确进行安全护具佩戴识别的技术效果。
基于上述任一实施例，基于标注的第一图像样本集和多层卷积神经网络训练获得安全护具识别模型，之前还包括：在多层卷积神经网络上添加focus loss损失函数。
其中，损失函数(loss function)是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。例如在统计学和机器学习中被用于模型的参数估计。
focus loss是现有技术中一种处理深度学习中正负样本不均衡的损失函数，降低non-hard-sample的loss,提高hard-sample的loss。以二分类cross entropy loss为例。
L(y,y0)＝-log(Py)
其中，
Py＝P if y0＝1
Py＝1-P if y0＝0
y0是truth label,Py是predicted probablity，Py∈[0,1]；
focus loss的一个实现是修改loss为如下形式：
L(y,y0)＝-(1-Py)2log(Py)
显然Py越接近1的样本，其分类效果越好，也说明这个样本属于 non-hard-sample，focus loss压制了较大的Py对应的loss值，降低在反向传播过程中的作用。
进一步，基于标注的第一图像样本集和多层卷积神经网络训练获得安全护具识别模型，包括：基于标注的第一图像样本集对多层卷积神经网络进行训练，直至loss不再下降为止，获得安全护具识别模型。
本发明实施例提供的基于深度学习的安全护具佩戴识别方法，通过在安全护具识别模型中加入focus loss，解决了正负样本比例严重失衡的问题。
在本发明任一上述具体实施例的基础上，提供一种基于深度学习的安全护具佩戴识别方法，基于标注的第一图像样本集和多层卷积神经网络训练获得安全护具识别模型，包括：
基于标注的第一图像样本集对多层卷积神经网络进行训练，直至loss不再下降为止，获得安全护具识别模型。
本发明实施例提供的基于深度学习的安全护具佩戴识别方法，通过在安全护具识别模型中加入focus loss，基于标注的第一图像样本集对多层卷积神经网络进行训练，直至loss不再下降为止，获得安全护具识别模型，解决了正负样本比例严重失衡的问题。
在本发明任一上述具体实施例的基础上，提供一种基于深度学习的安全护具佩戴识别方法，基于标注的第一图像样本集和多层卷积神经网络训练获得安全护具识别模型，包括：
S21，设置多层卷积神经网络的层数、卷积核大小和每层的卷积核数目、步长和数目、res层、route层和detection层获得多层卷积神经网络；
S22，基于标注的第一图像样本集和误差反向传播算法对多层卷积神经网络进行训练，获得安全护具识别模型。
需要说明的是，每个多层卷积神经网络内包含多个卷层，每个卷积层内包含多个卷积核，卷积核大小必须大于1才有提升感受野的作用。步骤S21 用于预先设置多层卷积神经网络的层数、卷积核大小和每层的卷积核数目。
其中，误差反向传播法，即BP法(error BackPropagation)影响广泛，也称 BP算法。BP算法是自动控制上最重要、应用最多的有效算法。BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。
正向传播：输入样本→输入层→各隐层(处理)→输出层。
误差反向传播：输出误差(某种形式)→隐层(逐层)→输入层。其主要目的是通过将输出误差反传，将误差分摊给各层所有单元，从而获得各层单元的误差信号，进而修正各单元的权值(其过程，是一个权值调整的过程)。
本发明实施例提供的安全护具佩戴识别方法，基于标注的第一图像样本集和误差反向传播算法对多层卷积神经网络进行训练，获得安全护具识别模型，使得安全护具识别模型的训练过程更加高效。
在本发明任一上述具体实施例的基础上，提供一种基于深度学习的安全护具佩戴识别方法，
基于标注的第一图像样本集和多层卷积神经网络训练获得安全护具识别模型，还包括：
从每次执行步骤S21和步骤S22训练后获得的多层卷积神经网络中，选择loss值较小的n个；n≥2，且为整数；
基于验证集对n个训练后获得的多层卷积神经网络进行验证，测试安全护具佩戴识别的精度，选取识别误差最小的为安全护具识别模型。
本发明实施例提供的安全护具佩戴识别方法，通过将待识别图像输入预先构建的安全护具识别模型；其中，所述安全护具识别模型基于预先标注的图像样本和多层卷积神经网络训练获得；基于安全护具识别模型的输出结果，获得待识别图像中包含安全护具的子图像。解决了现有技术中安全护具佩戴识别方案受光照的影响较大，并且不同的特征提取方法对算法的鲁棒性也有影响的技术问题，实现快速和准确进行安全护具佩戴识别的技术效果。
在本发明任一上述具体实施例的基础上，提供一种基于深度学习的安全护具佩戴识别方法，第一图像样本集包括摄像设备采集的图片、网上下载的公共图片和经过图像处理技术扩充的图片。
本发明实施例提供的安全护具佩戴识别方法，通过将待识别图像输入预先构建的安全护具识别模型；其中，所述安全护具识别模型基于预先标注的图像样本和多层卷积神经网络训练获得；基于安全护具识别模型的输出结果，获得待识别图像中包含安全护具的子图像。解决了现有技术中安全护具佩戴识别方案受光照的影响较大，并且不同的特征提取方法对算法的鲁棒性也有影响的技术问题，实现快速和准确进行安全护具佩戴识别的技术效果。
基于上述任一实施例，以下详细说明本发明技术方案中所涉及的各个细节问题，详细说明本发明方法涉及的关键步骤:
步骤一，采集大量的操作人员佩戴安全护具以及未佩戴安全护具的图片, 根据不同的图片人工标注目标，比如对于操作人员佩戴安全护具的图片，在各自对应的ground_truth上人工标注相对应的label。标注大量的操作人员佩戴及未佩戴安全护具的图片，按比例分为测试集、验证集和训练集。
步骤二,构建多层卷积神经网络,包括定义构成网络的层数、卷积核大小、步长和数目，res层，route层，detection层等。
步骤三，采用误差反向传播算法对网络进行训练。将检测目标的 true_box_xy、true_box_wh、true_box_class与各自预测的pred_box_xy、 pred_box_wh、pred_box_class的loss和作为目标函数。
步骤四，根据实际场景增加2-3层卷积层,设计更深的网络结构更深的网络能够学习更好的特征。
步骤五，重复步骤二和步骤三,即每次增加卷积层得到新的网络结构,再对新结构进行训练。当增加网络层后loss值不再减小或者不增加网络层loss值已经小于设定的阈值时，就以当前的网络结构作为最终的网络结构。最终经过不断的尝试，确定13个层卷积层、4个res层、2个upsample层、2个route、 2个detection层构成神经网络模型既可以保证loss值足够小，又可以保证运算时间较小。
步骤六，从最终的网络结构训练时保存的中间模型中选择loss值较小的几个模型，用验证集验证模型，测试安全护具佩戴识别的精度，识别误差最小的，即为最终的模型。
如图2，在本发明任一上述具体实施例的基础上，提供一种基于深度学习的安全护具佩戴识别设备，包括：
输入模块201，用于将待识别图像输入预先构建的安全护具识别模型；其中，所述安全护具识别模型基于预先标注的图像样本和多层卷积神经网络训练获得。
具体的，待识别图像为包含需要被识别是否佩戴有安全护具人物的图像。待识别图像可以是通过摄像装置实时获取的图像，也可以是预先获取并存储在特定存储器或服务器中的图像。进一步，待识别图像可以是单帧的静态图片图像，也可以是动态的视频图像。图片图像的格式可以为：BMP、TIFF、 EPS、JPEG、GIF、PSD和PDF等；视频图像的格式可以为MPEG、MPG、AVI、 MOV、RMVB和FLV等。
进一步，安全护具识别模型为基于预先标注的图像样本和多层卷积神经网络训练获得。需要说明的是，多层卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络 (Feedforward Neural Networks)，是深度学习(deep learning)的代表算法之一。由于卷积神经网络能够进行平移不变分类(shift-invariant classification)，因此也被称为“平移不变人工神经网络(Shift-InvariantArtificial Neural Networks,SIANN)”。多层卷积神经网络在大量学习数据时有稳定的表现，对于一般的大规模图像分类问题，多层卷积神经网络可用于构建阶层分类器，也可以在精细分类识别(fine-grained recognition)中用于提取图像的判别特征以供其它分类器进行学习。对于后者，特征提取可以人为地将图像的不同部分分别输入卷积神经网络，也可以由卷积神经网络通过非监督学习自行提取。
其中，输入模块201执行上述步骤之前需要首先获取一定数量的图像样本，图像样本可以为摄像设备采集的图片、网上下载的公共图片和经过图像处理技术扩充的图片。作为多层卷积神经网络训练的前期准备工作，图像样本的标注是一项基础的工作。图像样本的标注可以通过现有技术中的 LabelMe软件，标注人员在样本图像中包含安全护具的图像区域手动绘制矩形或多边形的方式实现图像标注；也可以使用ByLabel软件，自动提取图像边缘，标注人员手动选取边缘并编组的方式实现图像标注。关于图像样本的具体标注方式本发明实施例不作具体限定。
进一步，基于预先标注的图像样本和多层卷积神经网络训练获得所述安全护具识别模型的过程可以采用现有技术中的训练方式，也可以采用本发明下述实施例中的训练方式。其中，现有技术中的训练方式例如包括：首先，多层卷积神经网络进行权值的初始化；其次，将标注的图像样本输入数据经过卷积层、下采样层、全连接层的向前传播得到输出值；再次，求出多层卷积神经网络的输出值与目标值之间的误差；再次，当误差大于的期望值时，将误差传回网络中，依次求得全连接层，下采样层，卷积层的误差。各层的误差可以理解为对于多层卷积神经网络的总误差，多层卷积神经网络应承担多少；当误差等于或小于期望值时，结束训练。最后，根据求得误差进行权值更新。本发明实施例不对安全护具识别模型的训练方法作具体限定。
获取模块202，用于基于安全护具佩戴识别模型的输出结果，获得待识别图像中包含安全护具佩戴的子图像；其中，所述安全护具为：绝缘手套、安全带、护目镜或安全带。
具体地，举个具体实例对获取模块202所实现的步骤进行说明。获取模块02所实现的步骤的第一步基于卷积层实现，卷积层执行了以下几个步骤。首先，将待识别图像分解成一系列重叠的m*m像素的拼图，其中m≥2，且为正整数。之后，基于一个简单的单层神经网络运行这些拼图，权重保持不变。将拼图排列组合，当保持每个拼图尺寸是小的(m*m)时，安全护具识别模型需要处理它们保证可控与小型化。然后，将以数字表示照片中每个区域的内容的数组进行输出值排列，其中坐标轴表示颜色，宽度和高度。下一步是池化层。它采用这些3或4维阵列，并与空间维度一起应用下采样功能。结果是一个池数组，其中仅包含重要的图像部分，同时丢弃剩余部分，这最大限度地减少了需要完成的计算量，同时也避免了过度拟合问题。采用下采样阵列作为常规全连接神经网络的输入。最后一步的输出待识别图像中对于各拼图中包含安全护具的概率值(确信值)。确信值最高的一个或多个拼图组成包含安全护具的子图像。其中，本发明实施例不对获取模块202所执行步骤的具体实现方法作具体限定。
本发明实施例提供的安全护具佩戴识别方法，通过将待识别图像输入预先构建的安全护具识别模型；基于安全护具识别模型的输出结果，获得待识别图像中包含安全护具的子图像。解决了现有技术中安全护具佩戴识别方案受光照的影响较大，并且不同的特征提取方法对算法的鲁棒性也有影响的技术问题，实现快速和准确进行安全护具佩戴识别的技术效果。
举个例子如下：
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)301、通信接口(Communications Interface)302、存储器(memory)303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储器 303中的逻辑指令，以执行如下方法：将待识别图像输入预先构建的安全护具识别模型；其中，所述安全护具识别模型基于预先标注的图像样本和多层卷积神经网络训练获得；基于安全护具识别模型的输出结果，获得待识别图像中包含安全护具的子图像。
此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种安全护具穿戴识别方法，其特征在于，包括：
将待识别图像输入预先构建的安全护具识别模型；其中，所述安全护具识别模型基于预先标注的图像样本和多层卷积神经网络训练获得；
基于安全护具识别模型的输出结果，获得待识别图像中包含安全护具的子图像；其中，所述安全护具为：绝缘手套、安全带、护目镜或安全带。
2.根据权利要求1所述的安全护具穿戴识别方法，其特征在于，将待识别图像输入预先构建的安全护具识别模型，之前还包括：
获取第一图像样本集，并对第一图像样本集进行标注；
基于标注的第一图像样本集和多层卷积神经网络训练获得安全护具识别模型。
3.根据权利要求2所述的安全护具穿戴识别方法，其特征在于，基于标注的第一图像样本集和多层卷积神经网络训练获得安全护具识别模型，之前还包括：在多层卷积神经网络上添加focus loss损失函数。
4.根据权利要求3所述的安全护具穿戴识别方法，其特征在于，基于标注的第一图像样本集和多层卷积神经网络训练获得安全护具识别模型，包括：
基于标注的第一图像样本集对多层卷积神经网络进行训练，直至loss不再下降为止，获得安全护具识别模型。
5.根据权利要求4所述的安全护具穿戴识别方法，其特征在于，基于标注的第一图像样本集和多层卷积神经网络训练获得安全护具识别模型，包括：
S21，设置多层卷积神经网络的层数、卷积核大小和每层的卷积核数目、步长和数目、res层、route层和detection层获得多层卷积神经网络；
S22，基于标注的第一图像样本集和误差反向传播算法对多层卷积神经网络进行训练，获得安全护具识别模型。
6.根据权利要求5所述的安全护具穿戴识别方法，其特征在于，基于标注的第一图像样本集和多层卷积神经网络训练获得安全护具识别模型，还包括：
重复步骤S21和步骤S22；
每次执行步骤S21时，在先前多层卷积神经网络中增加卷积层得到新的多层卷积神经网络；
基于步骤S22对新的多层卷积神经网络进行训练；
当训练后获得的多层卷积神经网络的loss值不再变化，且loss值小于预设阈值时，以当前的训练后获得的多层卷积神经网络作为安全护具识别模型。
7.根据权利要求6所述的安全护具穿戴识别方法，其特征在于，基于标注的第一图像样本集和多层卷积神经网络训练获得安全护具识别模型，还包括：
从每次执行步骤S21和步骤S22训练后获得的多层卷积神经网络中，选择loss值较小的n个；n≥2，且为整数；
基于验证集对n个训练后获得的多层卷积神经网络进行验证，测试安全护具穿戴识别的精度，选取识别误差最小的为安全护具识别模型。
8.根据权利要求2所述的安全护具穿戴识别方法，其特征在于，第一图像样本集包括摄像设备采集的图片、网上下载的公共图片和经过图像处理技术扩充的图片。
9.一种基于深度学习的安全护具穿戴识别设备，其特征在于，包括：
输入模块，用于将待识别图像输入预先构建的安全护具识别模型；其中，所述安全护具识别模型基于预先标注的图像样本和多层卷积神经网络训练获得；
获取模块，用于基于安全护具穿戴识别模型的输出结果，获得待识别图像中包含安全护具穿戴的子图像；其中，所述安全护具为：绝缘手套、安全带、护目镜或安全带。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述安全护具穿戴识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910300432.7A CN110059742A (zh) | 2019-04-15 | 2019-04-15 | 基于深度学习的安全护具穿戴识别方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910300432.7A CN110059742A (zh) | 2019-04-15 | 2019-04-15 | 基于深度学习的安全护具穿戴识别方法及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110059742A true CN110059742A (zh) | 2019-07-26 |
Family
ID=67319038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910300432.7A Pending CN110059742A (zh) | 2019-04-15 | 2019-04-15 | 基于深度学习的安全护具穿戴识别方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110059742A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111339933A (zh) * | 2020-02-25 | 2020-06-26 | 北京国网富达科技发展有限责任公司 | 基于深度学习的变电站安全监控方法及装置 |
| CN112149527A (zh) * | 2020-09-07 | 2020-12-29 | 珠海格力电器股份有限公司 | 一种可穿戴设备检测方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106203499A (zh) * | 2016-07-07 | 2016-12-07 | 青岛大学 | 一种基于深度cnn的安全带检测方法 |
| CN108427953A (zh) * | 2018-02-26 | 2018-08-21 | 北京易达图灵科技有限公司 | 一种文字识别方法及装置 |
| CN108764164A (zh) * | 2018-05-30 | 2018-11-06 | 华中科技大学 | 一种基于可变形卷积网络的人脸检测方法及系统 |
| CN109460699A (zh) * | 2018-09-03 | 2019-03-12 | 厦门瑞为信息技术有限公司 | 一种基于深度学习的驾驶员安全带佩戴识别方法 |
| KR101957759B1 (ko) * | 2018-10-12 | 2019-03-14 | 렉스젠(주) | 안전 벨트 검출 시스템 및 그 방법 |
-
2019
- 2019-04-15 CN CN201910300432.7A patent/CN110059742A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106203499A (zh) * | 2016-07-07 | 2016-12-07 | 青岛大学 | 一种基于深度cnn的安全带检测方法 |
| CN108427953A (zh) * | 2018-02-26 | 2018-08-21 | 北京易达图灵科技有限公司 | 一种文字识别方法及装置 |
| CN108764164A (zh) * | 2018-05-30 | 2018-11-06 | 华中科技大学 | 一种基于可变形卷积网络的人脸检测方法及系统 |
| CN109460699A (zh) * | 2018-09-03 | 2019-03-12 | 厦门瑞为信息技术有限公司 | 一种基于深度学习的驾驶员安全带佩戴识别方法 |
| KR101957759B1 (ko) * | 2018-10-12 | 2019-03-14 | 렉스젠(주) | 안전 벨트 검출 시스템 및 그 방법 |
Non-Patent Citations (3)
| Title |
|---|
| 全球人工智能: ""没错！卷积神经网络实现图像识别，就这么简单！"", 《HTTPS://WWW.SOHU.COM/A/164912671_642762》 * |
| 全球人工智能: ""没错！卷积神经网络实现图像识别，就这么简单！"", 《HTTPS://WWW.ZHUANZHI.AI/DOCUMENT/C2359B9A9C6E6814E90D80A6C9ACE879》 * |
| 生清静心不: ""没错！卷积神经网络实现图像识别，就这么简单！"", 《HTTP://WWW.360DOC.COM/CONTENT/17/0908/07/40898787_685416748.SHTML》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111339933A (zh) * | 2020-02-25 | 2020-06-26 | 北京国网富达科技发展有限责任公司 | 基于深度学习的变电站安全监控方法及装置 |
| CN112149527A (zh) * | 2020-09-07 | 2020-12-29 | 珠海格力电器股份有限公司 | 一种可穿戴设备检测方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111898547B (zh) | 人脸识别模型的训练方法、装置、设备及存储介质 | |
| CN106960195B (zh) | 一种基于深度学习的人群计数方法及装置 | |
| CN110046574A (zh) | 基于深度学习的安全帽佩戴识别方法及设备 | |
| CN108805064A (zh) | 一种基于深度学习的鱼类定位检测和识别方法及系统 | |
| CN110378235A (zh) | 一种模糊人脸图像识别方法、装置及终端设备 | |
| CN107657249A (zh) | 多尺度特征行人重识别的方法、装置、存储介质及处理器 | |
| CN110569844B (zh) | 基于深度学习的船舶识别方法及系统 | |
| CN109711268B (zh) | 一种人脸图像筛选方法及设备 | |
| CN112836625A (zh) | 人脸活体检测方法、装置、电子设备 | |
| CN111723687A (zh) | 基于神经网路的人体动作识别方法和装置 | |
| CN111062328B (zh) | 一种图像处理方法、装置及智能机器人 | |
| CN112200056B (zh) | 人脸活体检测方法、装置、电子设备及存储介质 | |
| CN113705294A (zh) | 一种基于人工智能的图像识别方法、装置 | |
| CN110222718A (zh) | 图像处理的方法及装置 | |
| CN107563299A (zh) | 一种利用ReCNN融合上下文信息的行人检测方法 | |
| CN113570615A (zh) | 一种基于深度学习的图像处理方法、电子设备及存储介质 | |
| CN109977875A (zh) | 基于深度学习的手势识别方法及设备 | |
| CN112434576A (zh) | 一种基于深度相机的人脸识别方法及系统 | |
| CN110059742A (zh) | 基于深度学习的安全护具穿戴识别方法及设备 | |
| CN110610131B (zh) | 人脸运动单元的检测方法、装置、电子设备及存储介质 | |
| CN112329550A (zh) | 基于弱监督学习的受灾建筑快速定位评估方法及装置 | |
| CN112115790A (zh) | 人脸识别方法、装置、可读存储介质和电子设备 | |
| CN108345835A (zh) | 一种基于仿复眼感知的目标识别方法 | |
| CN113705304B (zh) | 一种图像处理方法、装置、存储介质及计算机设备 | |
| CN110751034B (zh) | 行人行为识别方法及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190726 |