CN113343852A - 一种电力作业现场人员行为检测方法、系统及装置 - Google Patents
一种电力作业现场人员行为检测方法、系统及装置 Download PDFInfo
- Publication number
- CN113343852A CN113343852A CN202110640233.8A CN202110640233A CN113343852A CN 113343852 A CN113343852 A CN 113343852A CN 202110640233 A CN202110640233 A CN 202110640233A CN 113343852 A CN113343852 A CN 113343852A
- Authority
- CN
- China
- Prior art keywords
- real
- image
- time scene
- behavior
- scene image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000006399 behavior Effects 0.000 claims abstract description 98
- 238000005286 illumination Methods 0.000 claims abstract description 81
- 238000001514 detection method Methods 0.000 claims abstract description 58
- 238000012544 monitoring process Methods 0.000 claims abstract description 21
- 230000002708 enhancing effect Effects 0.000 claims abstract description 8
- 238000013441 quality evaluation Methods 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 22
- 238000011897 real-time detection Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 230000010365 information processing Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 abstract description 2
- 238000004458 analytical method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000007547 defect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000012260 Accidental injury Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Water Supply & Treatment (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本发明属于电力作业监测防护技术领域，公开了一种电力作业现场人员行为检测方法、系统及装置，所述电力作业现场人员行为检测方法包括：采集作业现场实时场景图像，对采集的实时场景图像进行光照质量评价，对光照不足、光照不均匀的场景图进行修复和增强；对经过质量修复的实时场景图像进行实时检测，在实时场景图像上标注出所检测出的违规行为；将经检测后的实时场景图像传输至移动端设备，供安全管理人员观看；当发现作业人员出现违规行为时，发出告警信息。本发明自动化程度高，一旦发现出现违规行为的工作人员时便在当场声光报警劝相关工作人员离开配电室，并立即短信通知安全管理人员，实现了违规行为的自动化检测，节省了人力物力。
Description
技术领域
本发明属于电力作业监测防护技术领域，尤其涉及一种电力作业现场人员行为检测方法、系统及装置。
背景技术
目前，电力作业现场是指，带有电力设备设施，或高/低压负荷的室内，室外场所，主要为电力设施设备，电力相关单位进行维修，安装，检修等工作。企业要求进入作业现场的人员不能出现如抽烟，摔倒等违规(意外)行为，从而避免劳动者在生产过程可能遭受的事故伤害和职业危害，保护劳动者在工作过程中的安全。但是在实际生产过程中部分工人安全意识较为淡薄，或可能出现不可避免的意外，导致悲剧的发生。为了彻底避免工人不按照电力现场作业行为规范工作，或遇到意外情况，传统的做法是专门配备安全管理人员负责监督。随着物联网技术的发展，为了节约劳动力，部分企业开发出巡检机器人来替代安全管理人员负责监督任务。但是这种方法存在的问题是成本太高，并且机器人巡检技术本身还存在一定的缺陷，无法做到产品的真正落地，在各大企业内进行普及。随着人工智能尤其是计算机视觉技术的发展，出现了用于电力作业现场人员行为检测的技术，这种技术极大地降低了成本问题，并且克服了机器人巡检存在的下列缺陷：一是不能达到实时检测的效果，二是机器人巡检虽然在建筑工地阳光充足的工作环境中进行检测效果表现良好。但是在室内光照不足、甚至光照由于遮挡物遮挡而不均匀的环境中检测精度大大降低。
通过上述分析，现有技术存在的问题及缺陷为：
(1)现有用于电力作业现场人员行为检测的技术存在不能达到实时检测的效果。
(2)现有用于电力作业现场人员行为检测的技术存在室内作业光照不足、甚至光照由于遮挡物遮挡而不均匀的环境中检测精度大大降低。
解决以上问题及缺陷的难度为：现有技术在电力作业现场人员行为检测上或者做到检测精度高、检测速度低，或者做到检测精度低、检测速度快，在精度和速度上无法做到兼得。在电力作业现场这样一个需要实时检测作业人员行为的场景中，开发一套精准检测作业人员是否出现违规行为(意外)又不失实时性的系统是非常必要的。电力作业现场环境复杂，室内作业可能出现，光照不足、光照不均匀等问题，严重影响了人员行为的检测精度，很大程度上会发生漏检，在保证系统的实时性的条件下采用适当方法对图像进行增强又是一大挑战。
解决以上问题及缺陷的意义为：本发明在室内作业，光照不足、光照不均匀等情况下仍然保持了较高的检测精度，走出了现有技术在人员行为检测上存在的精度和速度的两难困境，能够及时对出现的违规行为或人员意外情况进行告警，充分保证了员工在工作过程中的生命财产安全。
发明内容
针对现有技术存在的问题，本发明提供了一种电力作业现场人员行为检测方法、系统及装置。
本发明是这样实现的，一种电力作业现场人员行为检测方法，所述电力作业现场人员行为检测方法，包括以下步骤：
步骤一，采集作业现场实时场景图像。其目的是获取可供后续智能分析工作的数据来源，为分析提供前提条件；
步骤二，对采集的实时场景图像进行光照质量评价，对光照不足、光照不均匀的场景图进行修复和增强。其目的是防止降低极端光照情况对目标识别造成较大的负面影响，优化目标在图像中的可识别度，提高识别成功概率；
步骤三，对经过质量修复的实时场景图像进行实时检测，在实时场景图像上标注出所检测出的违规行为，为；
步骤四，将经检测后的实时场景图像传输至移动端设备，供安全管理人员观看；当发现作业人员出现违规行为时，发出告警信息。对安全管理人员进行告警，使其能够注意到正在发生的违规行为，对违规行为进行及时的监控和制止，保障作业现场的人员人身安全和设备财产安全。
进一步，所述步骤二具体过程为：对采集的实时场景图像进行光照质量评价，判断采集到的实时场景图像的质量是否合格；对采集的实时场景图像进行光照质量评价，包括将图片从RGB空间转到HSV空间，判断V空间的均值是否大于预定义阈值m，若是则图像光照质量合格；否则图像光照质量评价不合格；其中预测m为通过多次实验得到的关于图像光照不足的经验值。
对质量评价不合格的图像进行图像修复和增强，得到质量评价合格的场景图像。对光照质量评价不合格的图像进行修复，在原始图像上进行对数变换从而实现整个画面的亮度提升。
进一步，所述步骤三具体过程为：对质量修复及增强后的实时场景图像进行施工人员的行为检测以及施工人员检测，在实时场景图像上标注出所检测出的违规行为；同时在实时场景图像上，利用矩形框标注出所检测到的违规行为。
进一步，所述步骤四具体过程为：将检测并标注后的实时场景图像从服务器传送到手机、笔记本等移动端，供安全管理人员查看；当发现作业人员出现违规行为时，立刻发送短信通知安全管理人员。
本发明的另一目的在于提供一种实施所述电力作业现场人员行为检测方法的电力作业现场人员行为检测系统，所述电力作业现场人员行为检测系统包括：
实时场景图像采集模块，用于采集作业现场实时场景图像；
实时场景图像评价模块，用于对采集的实时场景图像进行光照质量评价，对光照不足、光照不均匀的场景图进行修复和增强；
检测模块，用于对质量修复及增强后的实时场景图像进行施工人员的行为检测以及施工人员检测，在实时场景图像上标注出所检测出的违规行为；
检测信息处理模块，用于将经检测后的实时场景图像传输至移动端设备，供安全管理人员观看，当发现作业人员出现违规行为时，发出告警信息。
本发明的另一目的在于提供一种实施所述电力作业现场人员行为检测方法的电力作业现场人员行为检测装置，所述电力作业现场人员行为检测装置包括：监控摄像头、服务器、移动显示器；
监控摄像头通过局域网与服务器连接，服务器通过互联网与移动显示器连接；其中监控摄像头和服务器处于同一局域网下，监控摄像头通过rtsp协议将作业现场实时场景图发送到服务器，服务器处理作业现场实时场景图，并将处理的结果图通过tcp协议传送给移动显示器，由移动显示器进行显示。
进一步，所述服务器接收作业现场摄像头发来的实时场景图像；摄像头实时采集现场的场景，其每隔122ms采集一张场景图，并将场景图通过rtsp协议发送给服务器，此协议支持对流媒体的播放、暂停、后退、前进等操作，服务器不断接收网络摄像头传来的场景图并进行处理；
服务器对网络摄像头发送来的实时场景图像进行光照质量评价，对光照不足、光照不均匀的场景图进行修复和增强，获得质量良好的图像；服务器对摄像头发送来的实时场景图像进行光照质量评价，判断图像的质量是否合格；
进一步，所述在进行图像质量评价前，首先选出一批质量良好的实时场景图像作为标准图像，将实时场景图像从RGB空间转到HSV空间，由于V空间受到光照强度的影响最大，统计这些实时场景图像v空间的均值m，将均值m作为判断实时场景图像亮度的标准；
对图像进行质量评价时，包括：将图片从RGB空间转到HSV空间，判断V空间的均值是否大于预定义阈值m，若是则所述图像光照质量合格；否则所述图像光照质量不合格；
对光照质量评价不合格的图像进行图像修复和增强，得到修复和增强后的质量评价合格的实时场景图；
进一步，所述对光照质量评价不合格的图像进行图像增强采用对数图像增强的方法，使用公式为S＝c log(r+1)，对图像来实现增强；
对数变换将图像的低灰度值扩展，显示出低灰度部分更多的细节，将其高灰度值压缩，减少高灰度值的细节。
进一步，所述图像增强完成后，采用卷积神经网络在作业现场实时场景图像上进行行为和工作人员位置检测；同时利用低层特征和高层特征，将处理过的低层特征和高层特征进行累加，构建特征金字塔，融合多层特征信息进行类别分类和定位框的回归，从而让低层特征提供更加准确的位置信息，让高层特征提供更强的语义信息；
其具体过程如下所示：
对输入网络的图片进行图片大小调整、图片归一化等预处理操作；
构建bottom-up网络，bottom-up网络将输入的1024*1024的图片，经过5个阶段的卷积池化层分别得到不同大小的特征图，分别为stage1阶段的256*256大小的feature-map、stage2阶段的128*128大小的feature-mapStage3阶段的64*64大小的feature-map、stage4阶段的32*32大小的feature-map以及stage5阶段的16*16大小的feature-map，其中每一阶段特征图的提取采用的是DenseBlock块；
构建top-down网络，将stage5阶段的feature_map经过1*1卷积得到特征图M5，特征图M5经过上采样与stage4阶段的feature_map融合得到特征图M4，特征图M4经过上采样与stage3阶段的feature_map融合得到特征图M3，特征图M3经过上采样与stage2阶段的feature_map融合得到特征图M2；
将特征图M5、M4、M3、M2分别经过3*3卷积得到特征图P5、p4、p3、p2，然后将特征图P5，P4，P3，P2送入RPN网络进行ROI的提取；
将提取到的ROI进行RoIAlign操作，得到统一尺寸的ROI，将得到的ROI送入全连接网络层，然后再走两个支路，一个支路输出分类结果，一个支路输出检测框的坐标修正值。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明的系统自动化程度高，以前是通过安监人员巡查或观看作业现场监控视频来杜绝违规现象，但由于点多面广，需要在安监人员人员方面投入大量人力，但仍然难以做到对电力作业现场的全面巡查。而在观看现场监控视频时，由于监控视频数量庞大难以完全顾及，且存在长期观看造成的视觉疲劳等原因，安检人员难免会发生疏漏，而电力作业现场人员行为检测系统则很好地解决了这个难题，网络摄像头采集作业现场实时场景图，将实时场景图发送到服务器，服务器后端采用AI智能分析，一旦发现出现违规行为的工作人员时便在当场声光报警劝相关工作人员离开配电室，并立即短信通知安全管理人员，实现了违规行为的自动化检测，节省了人力物力。
同时本发明中放入算法可靠性强，算法对于各种不同光照强度的图片具有很强的鲁棒性，对人员行为识别率达到96％以上，足以对违规行为形成震慑，从根本上解除管理者和监管部门的后顾之忧，充分保障了安全意识淡薄的工作者的安全。本发明实时性强，算法检测每张图片的速度为122ms，可以达到实时检测的效果，从而使得移动端能够看到实时的检测结果，便于及时发现出现违规行为的人员。
附图说明
图1是本发明实施例提供的电力作业现场人员行为检测方法流程图。
图2是本发明实施例提供的电力作业现场人员行为检测系统结构示意图；
图中：1、实时场景图像采集模块；2、实时场景图像评价模块；3、行为检测模块；4、检测信息处理模块。
图3是本发明实施例提供的电力作业现场人员行为检测装置结构示意图；
图中：5、监控摄像头；6、服务器；7、移动显示器。
图4是本发明实施例提供的电力作业现场人员行为检测装置运行方法流程图。
图5是本发明实施例提供的对作业现场实时场景图像进行目标检测的网络结构示意图。
图6是本发明实施例提供电力作业现场人员行为检测系统的应用效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种电力作业现场人员行为检测方法、系统系统及装置，下面结合附图对本发明作详细的描述。
本发明提供的方法业内的普通技术人员还可以采用其他的步骤实施，图1是本发明提供的电力作业现场人员行为检测方法、系统及装置仅仅是一个具体实施例而已。
如图1所示，本发明实施例提供的电力作业现场人员行为检测方法，包括以下步骤：
S101：采集作业现场实时场景图像。
S102：对采集的实时场景图像进行光照质量评价，对光照不足、光照不均匀的场景图进行修复和增强。
S103：对经过质量修复的实时场景图像进行实时检测，在实时场景图像上标注出所检测出的违规行为。
S104：将经检测后的实时场景图像传输至移动端设备，供安全管理人员观看；当发现作业人员出现违规行为时，发出告警信息。
本发明实施例中S102具体过程为：
对采集的实时场景图像进行光照质量评价，判断采集到的实时场景图像的质量是否合格；对采集的实时场景图像进行光照质量评价，包括将图片从RGB空间转到HSV空间，判断V空间的均值是否大于预定义阈值m，若是则图像光照质量合格；否则图像光照质量评价不合格；其中预测m为通过多次实验得到的关于图像光照不足的经验值。
对质量评价不合格的图像进行图像修复和增强，得到质量评价合格的场景图像。对光照质量评价不合格的图像进行修复，在原始图像上进行对数变换从而实现整个画面的亮度提升。
本发明实施例中S103具体过程为：对质量修复及增强后的实时场景图像进行施工人员的行为检测以及施工人员检测，在实时场景图像上标注出所检测出的违规行为；同时在实时场景图像上，利用矩形框标注出所检测到的违规行为。
本发明实施例中S104具体过程为：将检测并标注后的实时场景图像从服务器传送到手机、笔记本等移动端，供安全管理人员查看；当发现作业人员出现违规行为时，立刻发送短信通知安全管理人员。
如图2所示，本发明实施例提供的电力作业现场人员行为检测系统包括：
实时场景图像采集模块1，用于采集作业现场实时场景图像。
实时场景图像评价模块2，用于对采集的实时场景图像进行光照质量评价，对光照不足、光照不均匀的场景图进行修复和增强。
检测模块3，用于对质量修复及增强后的实时场景图像进行施工人员的行为检测以及施工人员检测，在实时场景图像上标注出所检测出的违规行为。
检测信息处理模块4，用于将经检测后的实时场景图像传输至移动端设备，供安全管理人员观看，当发现作业人员出现违规行为时，发出告警信息。
如图3所示，本发明实施例提供的电力作业现场人员行为检测装置包括：监控摄像头5、服务器6、移动显示器7。
本发明实施例提供的电力作业现场人员行为检测装置工作过程，如下：
监控摄像头5通过局域网与服务器6连接，服务器6通过互联网与移动显示器7连接。其中监控摄像头和服务器处于同一局域网下，监控摄像头通过rtsp协议将作业现场实时场景图发送到服务器，服务器处理作业现场实时场景图，并将处理的结果图通过tcp协议传送给移动显示器，由移动显示器进行显示。
服务器接收作业现场网络摄像头发来的实时场景图像；网络摄像头实时采集现场的场景，其每隔122ms采集一张场景图，并将场景图通过rtsp协议发送给服务器，此协议支持对流媒体的播放、暂停、后退、前进等操作，服务器不断接收网络摄像头传来的场景图并进行处理。
服务器对网络摄像头发送来的实时场景图像进行光照质量评价，对光照不足、光照不均匀的场景图进行修复和增强，获得质量良好的图像。服务器对网络摄像头发送来的实时场景图像进行光照质量评价，判断图像的质量是否合格。网络摄像头在作业现场采集图像时，作业现场的环境情况是多种多样的，例如白天时光照充足、晚上进入作业现场巡查时灯光暗淡、高大的配电器材遮挡时光照不均匀，在光照充足的情况下算法检测精度高，但是在光照受到影响，图片质量不高时，检测的精度会大大降低，因此对网络摄像头发送来的实时场景图进行质量评价是十分有必要的。
在进行图像质量评价前，首先手工选出一批质量良好的实时场景图像作为标准图像，将实时场景图像从RGB空间转到HSV空间，由于V空间受到光照强度的影响最大，统计这些实时场景图像v空间的均值m，将均值m作为判断实时场景图像亮度的标准。对图像进行质量评价时，包括：将图片从RGB空间转到HSV空间，判断V空间的均值是否大于预定义阈值m，若是则所述图像光照质量合格；否则所述图像光照质量不合格。
对光照质量评价不合格的图像进行图像修复和增强，得到修复和增强后的质量评价合格的实时场景图。由于作业现场场景条件的影响导致图像拍摄的视觉效果不佳，这就需要图像增强技术来改善实时场景图像带给人的视觉效果，这样有利于对图像中目标的识别。由于对数曲线在像素值较低的区域斜率大，在像素值较高的区域斜率较小，所以图像经过对数变换后，较暗区域的对比度将有所提升，可以增强图像的暗部细节。因此在图像光照增强部分本发明使用对数图像增强的方法，使用公式为S＝c log(r+1)，对图像来实现增强。该对数变换可以将图像的低灰度值扩展，显示出低灰度部分更多的细节，将其高灰度值压缩，减少高灰度值的细节，从而达到强调图像低灰度部分的目的。
对经过图像增强的作业现场实时场景图进行施工人员、人员行为的实时检测，在实时场景图像上标注出检测出的违规行为；在作业现场实时场景图像上进行行为和工作人员位置检测的卷积神经网络如图5所示，其主要思想是同时利用低层特征和高层特征，将处理过的低层特征和高层特征进行累加，构建特征金字塔，融合多层特征信息进行类别分类和定位框的回归，从而让低层特征提供更加准确的位置信息，让高层特征提供更强的语义信息。其具体过程如下所示：
(1)对输入网络的图片进行图片大小调整、图片归一化等预处理操作。
(2)构建bottom-up网络，bottom-up网络将输入的1024*1024的图片，经过5个阶段的卷积池化层分别得到不同大小的特征图，分别为stagel阶段的256*256大小的feature-map、stage2阶段的128*128大小的feature-mapStage3阶段的64*64大小的feature-map、stage4阶段的32*32大小的feature-map以及stage5阶段的16*16大小的feature-map，其中每一阶段特征图的提取采用的是DenseBlock块。
(3)构建top-down网络，将stage5阶段的feature_map经过1*1卷积得到特征图M5，特征图M5经过上采样与stage4阶段的feature_map融合得到特征图M4，特征图M4经过上采样与stage3阶段的feature_map融合得到特征图M3，特征图M3经过上采样与stage2阶段的feature_map融合得到特征图M2。
(4)将特征图M5、M4、M3、M2分别经过3*3卷积得到特征图P5、p4、p3、p2，然后将特征图P5，P4，P3，P2送入RPN网络进行ROI的提取。
(5)将提取到的ROI进行RoIAlign操作，得到统一尺寸的ROI，将得到的ROI送
入全连接网络层，然后再走两个支路，一个支路输出分类结果，一个支路输出检测框的坐标修正值。
检测后的实时场景图像由服务器传输至手机、笔记本等移动设备上，供管理人员查看，当服务器发现作业人员出现违规行为时，服务器立刻控制作业现场硬件设备进行声光警报并发送短信通知安全负责人员。服务器将类别和检测框标注在图片上，然后将图片通过tcp协议将实时场景图发送到手机、笔记本端，供其显示作业现场的实时情况。
图6是本发明实施例提供电力作业现场人员行为检测系统的应用效果图。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
应当注意，本发明的实施方式可以通过软件系统与其他现有的视频监控系统平台相连接的方式来实现。软件部分呈现为智能分析系统并部署于硬件设备中，由视频监控系统提供视频图像并执行任务下发等指令，智能分析系统从视频监控系统中获取分析任务内容、视频图像等进行分析，当发现违规行为时，将违规行为种类、报警图像、违规行为在图像中的位置返回给视频监控系统，由视频监控系统进行统一处理。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种电力作业现场人员行为检测方法，其特征在于，所述电力作业现场人员行为检测方法包括：
采集作业现场实时场景图像；
对采集的实时场景图像进行光照质量评价，对光照不足、光照不均匀的场景图进行修复和增强；
对经过质量修复的实时场景图像进行实时检测，在实时场景图像上标注出所检测出的违规行为；
将经检测后的实时场景图像传输至移动端设备，供安全管理人员观看；当发现作业人员出现违规行为时，发出告警信息。
2.如权利要求1所述的电力作业现场人员行为检测方法，其特征在于，所述对采集的实时场景图像进行光照质量评价，对光照不足、光照不均匀的场景图进行修复和增强具体过程为：对采集的实时场景图像进行光照质量评价，判断采集到的实时场景图像的质量是否合格；对采集的实时场景图像进行光照质量评价，包括将图片从RGB空间转到HSV空间，判断V空间的均值是否大于预定义阈值m，若是则图像光照质量合格；否则图像光照质量评价不合格；其中预测m为通过多次实验得到的关于图像光照不足的经验值；
对质量评价不合格的图像进行图像修复和增强，得到质量评价合格的场景图像。对光照质量评价不合格的图像进行修复，在原始图像上进行对数变换从而实现整个画面的亮度提升。
3.如权利要求2所述的电力作业现场人员行为检测方法，其特征在于，所述对光照质量评价不合格的图像进行图像增强采用对数图像增强的方法，使用公式为S＝clog(r+1)，对图像实现增强；
对数变换将图像的低灰度值扩展，显示出低灰度部分更多的细节，将高灰度值压缩，减少高灰度值的细节。
4.如权利要求1所述的电力作业现场人员行为检测方法，其特征在于，所述对经过质量修复的实时场景图像进行实时检测，在实时场景图像上标注出所检测出的违规行为具体过程为：对质量修复及增强后的实时场景图像进行施工人员的行为检测以及施工人员检测，在实时场景图像上标注出所检测出的违规行为；同时在实时场景图像上，利用矩形框标注出所检测到的违规行为。
5.如权利要求1所述的电力作业现场人员行为检测方法，其特征在于，所述对经过质量修复的实时场景图像进行实时检测，在实时场景图像上标注出所检测出的违规行为的具体过程为：将检测并标注后的实时场景图像从服务器传送到手机、笔记本移动端，供安全管理人员查看；当发现作业人员出现违规行为时，立刻发送短信通知安全管理人员。
6.如权利要求1所述的电力作业现场人员行为检测方法，其特征在于，所述对光照不足、光照不均匀的场景图进行增强增强完成后，采用卷积神经网络在作业现场实时场景图像上进行行为和工作人员位置检测；同时利用低层特征和高层特征，将处理过的低层特征和高层特征进行累加，构建特征金字塔，融合多层特征信息进行类别分类和定位框的回归，让低层特征提供更加准确的位置信息，让高层特征提供更强的语义信息。
7.如权利要求6所述的电力作业现场人员行为检测方法，其特征在于，进一步具体包括：
对输入网络的图片进行图片大小调整、图片归一化预处理操作；
构建bottom-up网络，bottom-up网络将输入的1024*1024的图片，经过5个阶段的卷积池化层分别得到不同大小的特征图，分别为stage1阶段的256*256大小的feature-map、stage2阶段的128*128大小的feature-mapStage3阶段的64*64大小的feature-map、stage4阶段的32*32大小的feature-map以及stage5阶段的16*16大小的feature-map，其中每一阶段特征图的提取采用的是DenseBlock块；
构建top-down网络，将stage5阶段的feature_map经过1*1卷积得到特征图M5，特征图M5经过上采样与stage4阶段的feature_map融合得到特征图M4，特征图M4经过上采样与stage3阶段的feature_map融合得到特征图M3，特征图M3经过上采样与stage2阶段的feature_map融合得到特征图M2；
将特征图M5、M4、M3、M2分别经过3*3卷积得到特征图P5、p4、p3、p2，然后将特征图P5，P4，P3，P2送入RPN网络进行ROI的提取；
将提取到的ROI进行RoIAlign操作，得到统一尺寸的ROI，将得到的ROI送入全连接网络层，然后再走两个支路，一个支路输出分类结果，一个支路输出检测框的坐标修正值。
8.一种实施权利要求1～7任意一项所述电力作业现场人员行为检测方法的电力作业现场人员行为检测系统，其特征在于，所述电力作业现场人员行为检测系统包括：
实时场景图像采集模块，用于采集作业现场实时场景图像；
实时场景图像评价模块，用于对采集的实时场景图像进行光照质量评价，对光照不足、光照不均匀的场景图进行修复和增强；
检测模块，用于对质量修复及增强后的实时场景图像进行施工人员的行为检测以及施工人员检测，在实时场景图像上标注出所检测出的违规行为；
检测信息处理模块，用于将经检测后的实时场景图像传输至移动端设备，供安全管理人员观看，当发现作业人员出现违规行为时，发出告警信息。
9.一种实施如权利要求1～7任意一项所述电力作业现场人员行为检测方法的电力作业现场人员行为检测装置，其特征在于，所述电力作业现场人员行为检测装置包括：监控摄像头、服务器、移动显示器；
监控摄像头通过局域网与服务器连接，服务器通过互联网与移动显示器连接；其中监控摄像头和服务器处于同一局域网下，监控摄像头通过rtsp协议将作业现场实时场景图发送到服务器，服务器处理作业现场实时场景图，并将处理的结果图通过tcp协议传送给移动显示器，由移动显示器进行显示。
10.如权利要求9所述的电力作业现场人员行为检测装置，其特征在于，所述服务器接收作业现场摄像头发来的实时场景图像；摄像头实时采集现场的场景，其每隔122ms采集一张场景图，并将场景图通过rtsp协议发送给服务器，此协议支持对流媒体的播放、暂停、后退、前进操作，服务器不断接收网络摄像头传来的场景图并进行处理；
服务器对网络摄像头发送来的实时场景图像进行光照质量评价，对光照不足、光照不均匀的场景图进行修复和增强，获得质量良好的图像；服务器对摄像头发送来的实时场景图像进行光照质量评价，判断图像的质量是否合格。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110640233.8A CN113343852A (zh) | 2021-06-08 | 2021-06-08 | 一种电力作业现场人员行为检测方法、系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110640233.8A CN113343852A (zh) | 2021-06-08 | 2021-06-08 | 一种电力作业现场人员行为检测方法、系统及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113343852A true CN113343852A (zh) | 2021-09-03 |
Family
ID=77475439
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110640233.8A Pending CN113343852A (zh) | 2021-06-08 | 2021-06-08 | 一种电力作业现场人员行为检测方法、系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113343852A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114821464A (zh) * | 2022-03-31 | 2022-07-29 | 西安翔迅科技有限责任公司 | 一种用于弹射座椅维修场景的智能监管系统及监管方法 |
| CN118506285A (zh) * | 2024-07-15 | 2024-08-16 | 浪潮通用软件有限公司 | 一种智能适配环境的违规监测方法、设备及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111368727A (zh) * | 2020-03-04 | 2020-07-03 | 西安咏圣达电子科技有限公司 | 配电室巡检人员着装检测方法、存储介质、系统、装置 |
| CN111383429A (zh) * | 2020-03-04 | 2020-07-07 | 西安咏圣达电子科技有限公司 | 建筑工地工人着装检测方法、系统、装置、存储介质 |
-
2021
- 2021-06-08 CN CN202110640233.8A patent/CN113343852A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111368727A (zh) * | 2020-03-04 | 2020-07-03 | 西安咏圣达电子科技有限公司 | 配电室巡检人员着装检测方法、存储介质、系统、装置 |
| CN111383429A (zh) * | 2020-03-04 | 2020-07-07 | 西安咏圣达电子科技有限公司 | 建筑工地工人着装检测方法、系统、装置、存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114821464A (zh) * | 2022-03-31 | 2022-07-29 | 西安翔迅科技有限责任公司 | 一种用于弹射座椅维修场景的智能监管系统及监管方法 |
| CN118506285A (zh) * | 2024-07-15 | 2024-08-16 | 浪潮通用软件有限公司 | 一种智能适配环境的违规监测方法、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111368727B (zh) | 配电室巡检人员着装检测方法、存储介质、系统、装置 | |
| CN102842211B (zh) | 一种基于图像识别的输电线路防外力监控预警系统及方法 | |
| CN116091901A (zh) | 一种基于监控设备故障诊断分析的运维管理平台 | |
| CN111383429A (zh) | 建筑工地工人着装检测方法、系统、装置、存储介质 | |
| CN105488806A (zh) | 一种工件位置追踪定位方法及定位系统 | |
| CN112991669A (zh) | 一种危险作业预警方法、系统、存储介质及处理终端 | |
| CN116846059A (zh) | 一种用于电网巡检和监控的边缘检测系统 | |
| CN113343852A (zh) | 一种电力作业现场人员行为检测方法、系统及装置 | |
| CN112863100B (zh) | 一种智能施工安全监测系统及方法 | |
| CN113989711B (zh) | 一种配电施工安全工器具使用识别方法及系统 | |
| CN114842376A (zh) | 状态确定方法、装置、存储介质及电子装置 | |
| CN112702570A (zh) | 一种基于多维行为识别的安防管理系统 | |
| CN116418952A (zh) | 一种矿井作业人员的智能化监控系统以及方法 | |
| CN111343285A (zh) | 一种强化学习与图像智能识别的电力在线监测系统 | |
| CN119339247A (zh) | 基于深度学习目标检测及跟踪的输电线路防外破监控方法 | |
| CN113807209A (zh) | 车位检测方法、装置、电子设备及存储介质 | |
| CN118761722A (zh) | 一种基于bim的智慧工地系统 | |
| CN114463698A (zh) | 一种变电站环境监控智能辅助系统 | |
| CN118509557A (zh) | 基于无人机场集群对土地监管巡查的方法 | |
| CN115082765B (zh) | 现场作业管理方法及现场作业管理系统 | |
| CN115346283B (zh) | 电缆巡检的图像采集装置、方法、设备及存储介质 | |
| CN116887237A (zh) | 一种基于蓝牙技术监管环卫作业人员工作的方法和系统 | |
| CN112699753B (zh) | 扬尘监控与智能溯源系统及方法 | |
| CN116011927A (zh) | 监督巡查方法、装置、电子设备及存储介质 | |
| CN116052356A (zh) | 一种智能工地监控平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210903 |