[go: up one dir, main page]

CN111860318A - 一种建筑工地行人徘徊检测方法、装置、设备及存储介质 - Google Patents

一种建筑工地行人徘徊检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111860318A
CN111860318A CN202010699299.XA CN202010699299A CN111860318A CN 111860318 A CN111860318 A CN 111860318A CN 202010699299 A CN202010699299 A CN 202010699299A CN 111860318 A CN111860318 A CN 111860318A
Authority
CN
China
Prior art keywords
pedestrian
construction site
loitering
tracking
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010699299.XA
Other languages
English (en)
Inventor
朱常玉
单建华
戴福全
章益明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Pinming Safety Control Information Technology Co ltd
Original Assignee
Hangzhou Pinming Safety Control Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Pinming Safety Control Information Technology Co ltd filed Critical Hangzhou Pinming Safety Control Information Technology Co ltd
Priority to CN202010699299.XA priority Critical patent/CN111860318A/zh
Publication of CN111860318A publication Critical patent/CN111860318A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Marketing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Evolutionary Biology (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种建筑工地行人徘徊检测方法、装置、设备及存储介质，包括：实时获取从建筑工地安装的摄像头采集到的视频流中捕获的帧图像；在获取的帧图像上划定行人徘徊检测区域；通过深度学习结合多目标匹配算法对检测区域内的各行人进行跟踪；计算跟踪的行人的轨迹距离和滞留时间，若轨迹距离大于设定距离阈值，同时滞留时间大于设定时间阈值时，则识别行人为徘徊；在识别出行人为徘徊后，连接报警器进行预警。本申请通过深度学习结合多目标匹配算法对检测区域内的各行人进行跟踪计算，这样基于行人在检测区域的行为分析可以实时监测行人是否徘徊，提高了检测结果的精度，提升了跟踪效果，解决现有技术中的方法出现大量漏识和误识情况的问题。

Description

一种建筑工地行人徘徊检测方法、装置、设备及存储介质
技术领域
本发明涉及视频监控人工智能领域，特别是涉及一种建筑工地行人徘徊检测方法、装置、设备及存储介质。
背景技术
建筑施工工地作为一个高危场景，不仅场景复杂，各种行人管理监控也非常复杂。随着智慧工地普及，利用视频分析监控的方法不断引起重视，工地安全性保障要求不断提高。行人徘徊是异常行为的一种，建筑工地上需要监控这些徘徊行为，一方面是防止不法分子有不法企图，另一方面，工地上工人众多，也需要防止聚众闹事。
目前，徘徊检测方法大多数是利用检测目标运动轨迹和运动时长来判断。但是当运动目标出现静止或者存在遮挡，就无法准确跟踪目标。另外一种是利用跟踪算法实现，但是同样存在以下问题：一是现有跟踪算法在工地这种复杂场景中会出现大量漏识和误识情况，二是跟踪算法占用显存高，耗时长，成本高。
因此，如何准确跟踪目标，提升跟踪效果，解决大量漏识和误识情况等问题，是本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种建筑工地行人徘徊检测方法、装置、设备及存储介质，可以提高检测结果的精度，提升跟踪效果，解决现有技术中的方法出现大量漏识和误识情况的问题。其具体方案如下：
一种建筑工地行人徘徊检测方法，包括：
实时获取从建筑工地安装的摄像头采集到的视频流中捕获的帧图像；
在获取的所述帧图像上划定行人徘徊检测区域；
通过深度学习结合多目标匹配算法对所述检测区域内的各行人进行跟踪；
计算跟踪的所述行人的轨迹距离和滞留时间，若所述轨迹距离大于设定距离阈值，同时所述滞留时间大于设定时间阈值时，则识别所述行人为徘徊；
在识别出所述行人为徘徊后，连接报警器进行预警。
优选地，在本发明实施例提供的上述建筑工地行人徘徊检测方法中，通过深度学习结合多目标匹配算法对所述检测区域内的各行人进行跟踪，具体包括：
依次建立工地行人目标检测数据集和工地行人重识别数据集；
根据建立的所述工地行人目标检测数据集，构建并训练行人目标检测模型；
根据建立的所述工地行人重识别数据集，构建并训练行人重识别特征提取模型；
通过所述行人目标检测模型检测出所述检测区域内当前帧图像中的各行人，并通过所述行人重识别特征提取模型提取所述行人的特征；
根据提取出的所述特征，预测下一帧图像中的行人位置，进行多行人的定位跟踪。
优选地，在本发明实施例提供的上述建筑工地行人徘徊检测方法中，根据提取出的所述特征，预测下一帧图像中的行人位置，进行多行人的定位跟踪，具体包括：
将提取出的所述特征作为输入，利用卡尔曼滤波预测下一帧图像中的行人位置；
利用匈牙利算法结合预测的所述下一帧图像中的行人位置以及提取出的所述特征，进行多行人的定位跟踪。
优选地，在本发明实施例提供的上述建筑工地行人徘徊检测方法中，在训练所述行人目标检测模型之后，还包括：
通过TensorRT优化器对所述行人目标检测模型进行加速；
在训练所述行人重识别特征提取模型之后，还包括：
通过TensorRT优化器对所述行人重识别特征提取模型进行加速。
优选地，在本发明实施例提供的上述建筑工地行人徘徊检测方法中，依次建立工地行人目标检测数据集和工地行人重识别数据集，具体包括：
收集建筑工地上不同类型的行人数据作为工地行人目标检测数据集并进行标注；所述行人数据包括所有穿戴安全帽和反光衣的行人姿态，未戴安全帽和未穿反光衣的行人姿态；所述行人姿态包括行走、停驻、下蹲、坐下；
收集建筑工地上不同摄像头之间的行人重识别数据作为工地行人重识别数据集并进行标注。
优选地，在本发明实施例提供的上述建筑工地行人徘徊检测方法中，所述行人目标检测模型为CenterNet，所述行人目标检测模型的基础模型为ResNet101，损失函数为交叉熵损失函数；
所述行人重识别特征提取模型的基础模型为ResNet50，损失函数为人脸识别损失函数，采用随机梯度下降法进行迭代优化。
本发明实施例还提供了一种建筑工地行人徘徊检测装置，包括：安装在建筑工地的多个摄像头，与所述摄像头电性连接的算法服务器，与所述算法服务器电性连接的报警器；所述算法服务器包括：
图像获取模块，用于实时获取从所述摄像头采集到的视频流中捕获的帧图像；
区域划定模块，用于在获取的所述帧图像上划定行人徘徊检测区域；
行人跟踪模块，用于通过深度学习结合多目标匹配算法对所述检测区域内的各行人进行跟踪；
行人检测模块，用于计算跟踪的所述行人的轨迹距离和滞留时间，若所述轨迹距离大于设定距离阈值，同时所述滞留时间大于设定时间阈值时，则识别所述行人为徘徊；
预警模块，用于在识别出所述行人为徘徊后，连接所述报警器进行预警。
优选地，在本发明实施例提供的上述建筑工地行人徘徊检测装置中，所述行人跟踪模块，包括：
数据集建立单元，用于依次建立工地行人目标检测数据集和工地行人重识别数据集；
模型训练单元，用于根据建立的所述工地行人目标检测数据集，构建并训练行人目标检测模型；根据建立的所述工地行人重识别数据集，构建并训练行人重识别特征提取模型；
行人跟踪单元，用于通过所述行人目标检测模型检测出所述检测区域内当前帧图像中的各行人，并通过所述行人重识别特征提取模型提取所述行人的特征；根据提取出的所述特征，预测下一帧图像中的行人位置，进行多行人的定位跟踪。
本发明实施例还提供了一种建筑工地行人徘徊检测设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如本发明实施例提供的上述建筑工地行人徘徊检测方法。
本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述建筑工地行人徘徊检测方法。
从上述技术方案可以看出，本发明所提供的一种建筑工地行人徘徊检测方法、装置、设备及存储介质，包括：实时获取从建筑工地安装的摄像头采集到的视频流中捕获的帧图像；在获取的帧图像上划定行人徘徊检测区域；通过深度学习结合多目标匹配算法对检测区域内的各行人进行跟踪；计算跟踪的行人的轨迹距离和滞留时间，若轨迹距离大于设定距离阈值，同时滞留时间大于设定时间阈值时，则识别行人为徘徊；在识别出行人为徘徊后，连接报警器进行预警。
本发明通过深度学习结合多目标匹配算法对检测区域内的各行人进行跟踪计算，这样基于行人在检测区域的行为分析可以实时监测行人是否徘徊，提高了检测结果的精度，提升了跟踪效果，解决了现有技术中的方法出现大量漏识和误识情况的问题。
附图说明
为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术行人来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的建筑工地行人徘徊检测方法的流程图；
图2为本发明实施例提供的建筑工地行人徘徊检测方法中步骤S103的具体流程图；
图3为本发明实施例提供的建筑工地行人徘徊检测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术行人在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种基于行为分析的建筑工地行人徘徊检测方法，如图1所示，包括以下步骤：
S101、实时获取从建筑工地安装的摄像头采集到的视频流中捕获的帧图像；
在实际应用中，在建筑工地安装多个摄像头(如镜头采用6mm)，通过摄像头实时采集监控图像的视频流，将从视频流中捕获的帧图像实时发送至行人徘徊检测算法服务器上；
S102、在获取的帧图像上划定行人徘徊检测区域；
具体地，在获取的视频流图像上可以画取人员徘徊检测矩形框，用于划定检测范围；
S103、通过深度学习结合多目标匹配算法对检测区域内的各行人进行跟踪；
需要说明的是，利用深度学习技术和多目标匹配算法可以构建相应的跟踪模型来对检测区域内的多行人进行检测和特征提取，通过行为分析，实现多行人跟踪；
S104、计算跟踪的行人的轨迹距离和滞留时间，若轨迹距离大于设定距离阈值，同时滞留时间大于设定时间阈值时，则识别行人为徘徊；
具体地，设定距离阈值可以设置为20m，设定时间阈值可以设置为10s；在实际应用中，首先在获取的视频流中框化徘徊检测区域，然后监测跟踪区域内的行人，当此时行人在区域内逗留的时间超过10s,同时跟踪轨迹长度超过20m，则判断此人为徘徊；
S105、在识别出行人为徘徊后，连接报警器进行预警。
在本发明实施例提供的上述建筑工地行人徘徊检测方法中，通过深度学习结合多目标匹配算法对检测区域内的各行人进行跟踪计算，这样基于行人在检测区域的行为分析可以实时监测行人是否徘徊，提高了检测结果的精度，提升了跟踪效果，解决了现有技术中的方法出现大量漏识和误识情况的问题。
在具体实施时，在本发明实施例提供的上述建筑工地行人徘徊检测方法中，如图2所示，步骤S103通过深度学习结合多目标匹配算法对检测区域内的各行人进行跟踪，具体可以包括以下步骤：
S201、建立工地行人目标检测数据集；
S202、根据建立的工地行人目标检测数据集，构建并训练行人目标检测模型；
S203、建立工地行人重识别数据集；
S204、根据建立的工地行人重识别数据集，构建并训练行人重识别特征提取模型；
S205、通过行人目标检测模型检测出检测区域内当前帧图像中的各行人，并通过行人重识别特征提取模型提取检测出的行人的特征；
S206、根据提取出的特征，预测下一帧图像中的行人位置，进行多行人的定位跟踪。
这样可以将工地行人特征纳入跟踪计算，进一步提升了跟踪效果。
在具体实施时，在本发明实施例提供的上述建筑工地行人徘徊检测方法中，步骤S201建立工地行人目标检测数据集，具体可以包括：收集建筑工地上不同类型的行人数据作为工地行人目标检测数据集并进行标注；行人数据包括所有穿戴安全帽和反光衣的行人姿态，未戴安全帽和未穿反光衣的行人姿态；行人姿态包括行走、停驻、下蹲、坐下等；需要说明的是，共标注的数据至少20万张，将数据集按照10：1划分训练集和验证集。此数据集用于工地行人目标检测模型训练。
在具体实施时，在本发明实施例提供的上述建筑工地行人徘徊检测方法中，行人目标检测模型为CenterNet，此方法与传统方法不同，构建模型时将目标作为一个点，采用关键点估计找到中心点，并回归其他属性，不会用到非极大值抑制(NMS)；相比于其他方法，此方法在相同性能算法上精度有较大提升，并能减少误报。将输入图片数据resize为256*128，行人目标检测模型的基础模型为ResNet101，其中ResNet为深度残差网络，设定初始学习率为3.75e-4，损失函数为交叉熵损失函数(Cross Entropy Loss)，每隔40和60个周期学习率降低50％，批量大小为4，开启4个线程读取数据，共训练120个周期。
在具体实施时，在本发明实施例提供的上述建筑工地行人徘徊检测方法中，由于行人目标检测模型采用基础模型网络结构较大，实际工业上部署导致单帧检测时间长，算法显存占用高等问题，如果采用轻量型网络结构，那么算法的准确度无法提升，因此为了解决这一问题，如图2所示，在执行步骤S202训练行人目标检测模型之后，还可以包括：
S207、通过TensorRT优化器对行人目标检测模型进行加速。
具体地，将行人目标检测模型转化为onnx格式；将转化为onnx格式的模型转化为TensorRT引擎文件模型；利用TensorRT向前推理工具对TensorRT引擎文件模型进行加速推理；其中，TensorRT为一个高性能的深度学习推理优化器。这样对行人目标检测模型进行加速处理，可以减少算法占用显存，提升速度。
另外，在具体实施时，在本发明实施例提供的上述建筑工地行人徘徊检测方法中，步骤S203建立工地行人重识别数据集，具体可以包括：收集建筑工地上不同摄像头之间的行人重识别数据作为工地行人重识别数据集并进行标注。此数据集标注样本至少5万张，用于行人重识别特征提取模型训练。
在具体实施时，在本发明实施例提供的上述建筑工地行人徘徊检测方法中，行人重识别特征提取模型的基础模型为ResNet50，其中ResNet为深度残差网络，主要为了减少过拟合，模型共50个卷积层，其中训练时采用迁移学习，利用预训练模型，改变全连接层，输出为训练数据集中不同摄像头固定ID行人个数。将输入图片数据resize为256*128，并进行数据增强处理，最后进行归一化。损失函数为人脸识别损失函数(ArcFace loss)，此函数进一步增大类间距离，减小类内距离，计算不同ID损失，采用随机梯度下降法(SGD)方法进行迭代优化，其中初始学习率设置为0.003，每40个周期下降10％，总共训练90个周期。
同上，在具体实施时，在本发明实施例提供的上述建筑工地行人徘徊检测方法中，由于行人重识别特征提取模型采用基础模型网络结构较大，实际工业上部署导致单帧检测时间长，算法显存占用高等问题，如果采用轻量型网络结构，那么算法的准确度无法提升，因此为了解决这一问题，如图2所示，在执行步骤S204训练行人重识别特征提取模型之后，还可以包括：
S208、通过TensorRT优化器对行人重识别特征提取模型进行加速。
具体地，将行人重识别特征提取模型转化为onnx格式；将转化为onnx格式的模型转化为TensorRT引擎文件模型；利用TensorRT向前推理工具对TensorRT引擎文件模型进行加速推理；其中，TensorRT为一个高性能的深度学习推理优化器。这样对行人重识别特征提取模型进行加速处理，加上之前对行人目标检测模型进行加速处理，可以使得算法占用显存减少一半，速度提升2倍。
进一步的，在具体实施时，在本发明实施例提供的上述建筑工地行人徘徊检测方法中，步骤S206根据提取出的特征，预测下一帧图像中的行人位置，进行多行人的定位跟踪，具体可以包括：将提取出的特征作为输入，利用卡尔曼滤波预测下一帧图像中的行人位置；利用匈牙利算法结合预测的下一帧图像中的行人位置以及提取出的特征，进行多行人的定位跟踪。这样最终实现跟踪算法，速度快，准确率高。
基于同一发明构思，本发明实施例还提供了一种建筑工地行人徘徊检测装置，由于该装置解决问题的原理与前述一种建筑工地行人徘徊检测方法相似，因此该装置的实施可以参见建筑工地行人徘徊检测方法的实施，重复之处不再赘述。
在具体实施时，本发明实施例提供的建筑工地行人徘徊检测装置，如图3所示，具体包括：安装在建筑工地的多个摄像头1，与摄像头1电性连接的算法服务器2，与算法服务器2电性连接的报警器3；算法服务器2包括：
图像获取模块21，用于实时获取从摄像头采集到的视频流中捕获的帧图像；
区域划定模块22，用于在获取的帧图像上划定行人徘徊检测区域；
行人跟踪模块23，用于通过深度学习结合多目标匹配算法对检测区域内的各行人进行跟踪；
行人检测模块24，用于计算跟踪的行人的轨迹距离和滞留时间，若轨迹距离大于设定距离阈值，同时滞留时间大于设定时间阈值时，则识别行人为徘徊；
预警模块25，用于在识别出行人为徘徊后，连接报警器进行预警。
在本发明实施例提供的上述建筑工地行人徘徊检测装置中，可以通过上述五个模块、摄像头和报警器的相互作用，实现对检测区域内的各行人的跟踪计算，实时监测行人是否徘徊，提高了检测结果的精度，提升了跟踪效果，解决了现有技术中的方法出现大量漏识和误识情况的问题。
在具体实施时，在本发明实施例提供的上述建筑工地行人徘徊检测装置中，行人跟踪模块23，可以包括：
数据集建立单元，用于依次建立工地行人目标检测数据集和工地行人重识别数据集；
模型训练单元，用于根据建立的工地行人目标检测数据集，构建并训练行人目标检测模型；根据建立的工地行人重识别数据集，构建并训练行人重识别特征提取模型；
行人跟踪单元，用于通过行人目标检测模型检测出检测区域内当前帧图像中的各行人，并通过行人重识别特征提取模型提取行人的特征；根据提取出的特征，预测下一帧图像中的行人位置，进行多行人的定位跟踪。
进一步的，在具体实施时，在本发明实施例提供的上述建筑工地行人徘徊检测装置中，为了减少算法占用显存和提升速度，行人跟踪模块23，还可以包括：
模型加速模块，用于通过TensorRT优化器分别对行人目标检测模型和行人重识别特征提取模型进行加速。
关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
相应的，本发明实施例还公开了一种建筑工地行人徘徊检测设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现前述实施例公开的建筑工地行人徘徊检测方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
进一步的，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的建筑工地行人徘徊检测方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业行人还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术行人可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本发明实施例提供的一种建筑工地行人徘徊检测方法、装置、设备及存储介质，包括：实时获取从建筑工地安装的摄像头采集到的视频流中捕获的帧图像；在获取的帧图像上划定行人徘徊检测区域；通过深度学习结合多目标匹配算法对检测区域内的各行人进行跟踪；计算跟踪的行人的轨迹距离和滞留时间，若轨迹距离大于设定距离阈值，同时滞留时间大于设定时间阈值时，则识别行人为徘徊；在识别出行人为徘徊后，连接报警器进行预警。本发明通过深度学习结合多目标匹配算法对检测区域内的各行人进行跟踪计算，这样基于行人在检测区域的行为分析可以实时监测行人是否徘徊，提高了检测结果的精度，提升了跟踪效果，解决了现有技术中的方法出现大量漏识和误识情况的问题。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的建筑工地行人徘徊检测方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术行人，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种建筑工地行人徘徊检测方法，其特征在于，包括：
实时获取从建筑工地安装的摄像头采集到的视频流中捕获的帧图像；
在获取的所述帧图像上划定行人徘徊检测区域；
通过深度学习结合多目标匹配算法对所述检测区域内的各行人进行跟踪；
计算跟踪的所述行人的轨迹距离和滞留时间，若所述轨迹距离大于设定距离阈值，同时所述滞留时间大于设定时间阈值时，则识别所述行人为徘徊；
在识别出所述行人为徘徊后，连接报警器进行预警。
2.根据权利要求1所述的建筑工地行人徘徊检测方法，其特征在于，通过深度学习结合多目标匹配算法对所述检测区域内的各行人进行跟踪，具体包括：
依次建立工地行人目标检测数据集和工地行人重识别数据集；
根据建立的所述工地行人目标检测数据集，构建并训练行人目标检测模型；
根据建立的所述工地行人重识别数据集，构建并训练行人重识别特征提取模型；
通过所述行人目标检测模型检测出所述检测区域内当前帧图像中的各行人，并通过所述行人重识别特征提取模型提取所述行人的特征；
根据提取出的所述特征，预测下一帧图像中的行人位置，进行多行人的定位跟踪。
3.根据权利要求2所述的建筑工地行人徘徊检测方法，其特征在于，根据提取出的所述特征，预测下一帧图像中的行人位置，进行多行人的定位跟踪，具体包括：
将提取出的所述特征作为输入，利用卡尔曼滤波预测下一帧图像中的行人位置；
利用匈牙利算法结合预测的所述下一帧图像中的行人位置以及提取出的所述特征，进行多行人的定位跟踪。
4.根据权利要求3所述的建筑工地行人徘徊检测方法，其特征在于，在训练所述行人目标检测模型之后，还包括：
通过TensorRT优化器对所述行人目标检测模型进行加速；
在训练所述行人重识别特征提取模型之后，还包括：
通过TensorRT优化器对所述行人重识别特征提取模型进行加速。
5.根据权利要求4所述的建筑工地行人徘徊检测方法，其特征在于，依次建立工地行人目标检测数据集和工地行人重识别数据集，具体包括：
收集建筑工地上不同类型的行人数据作为工地行人目标检测数据集并进行标注；所述行人数据包括所有穿戴安全帽和反光衣的行人姿态，未戴安全帽和未穿反光衣的行人姿态；所述行人姿态包括行走、停驻、下蹲、坐下；
收集建筑工地上不同摄像头之间的行人重识别数据作为工地行人重识别数据集并进行标注。
6.根据权利要求5所述的建筑工地行人徘徊检测方法，其特征在于，所述行人目标检测模型为CenterNet，所述行人目标检测模型的基础模型为ResNet101，损失函数为交叉熵损失函数；
所述行人重识别特征提取模型的基础模型为ResNet50，损失函数为人脸识别损失函数，采用随机梯度下降法进行迭代优化。
7.一种建筑工地行人徘徊检测装置，其特征在于，包括：安装在建筑工地的多个摄像头，与所述摄像头电性连接的算法服务器，与所述算法服务器电性连接的报警器；所述算法服务器包括：
图像获取模块，用于实时获取从所述摄像头采集到的视频流中捕获的帧图像；
区域划定模块，用于在获取的所述帧图像上划定行人徘徊检测区域；
行人跟踪模块，用于通过深度学习结合多目标匹配算法对所述检测区域内的各行人进行跟踪；
行人检测模块，用于计算跟踪的所述行人的轨迹距离和滞留时间，若所述轨迹距离大于设定距离阈值，同时所述滞留时间大于设定时间阈值时，则识别所述行人为徘徊；
预警模块，用于在识别出所述行人为徘徊后，连接所述报警器进行预警。
8.根据权利要求7所述的建筑工地行人徘徊检测装置，其特征在于，所述行人跟踪模块，包括：
数据集建立单元，用于依次建立工地行人目标检测数据集和工地行人重识别数据集；
模型训练单元，用于根据建立的所述工地行人目标检测数据集，构建并训练行人目标检测模型；根据建立的所述工地行人重识别数据集，构建并训练行人重识别特征提取模型；
行人跟踪单元，用于通过所述行人目标检测模型检测出所述检测区域内当前帧图像中的各行人，并通过所述行人重识别特征提取模型提取所述行人的特征；根据提取出的所述特征，预测下一帧图像中的行人位置，进行多行人的定位跟踪。
9.一种建筑工地行人徘徊检测设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至6任一项所述的建筑工地行人徘徊检测方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的建筑工地行人徘徊检测方法。
CN202010699299.XA 2020-07-20 2020-07-20 一种建筑工地行人徘徊检测方法、装置、设备及存储介质 Pending CN111860318A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010699299.XA CN111860318A (zh) 2020-07-20 2020-07-20 一种建筑工地行人徘徊检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010699299.XA CN111860318A (zh) 2020-07-20 2020-07-20 一种建筑工地行人徘徊检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN111860318A true CN111860318A (zh) 2020-10-30

Family

ID=73000619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010699299.XA Pending CN111860318A (zh) 2020-07-20 2020-07-20 一种建筑工地行人徘徊检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111860318A (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418118A (zh) * 2020-11-27 2021-02-26 招商新智科技有限公司 一种无监督桥下行人入侵检测方法及装置
CN112613496A (zh) * 2021-03-08 2021-04-06 深圳市安软科技股份有限公司 一种行人重识别方法、装置、电子设备及存储介质
CN112633150A (zh) * 2020-12-22 2021-04-09 中国华戎科技集团有限公司 一种基于目标轨迹分析的滞留徘徊行为识别方法和系统
CN112733814A (zh) * 2021-03-30 2021-04-30 上海闪马智能科技有限公司 一种基于深度学习的行人徘徊滞留检测方法、系统及介质
CN112990058A (zh) * 2021-03-30 2021-06-18 北京邮电大学 一种基于轨迹分析的多目标行人徘徊检测方法
CN113033337A (zh) * 2021-03-08 2021-06-25 深圳市安软科技股份有限公司 基于TensorRT的行人重识别方法及装置
CN113255608A (zh) * 2021-07-01 2021-08-13 杭州智爱时刻科技有限公司 一种基于cnn分类的多摄像头人脸识别定位方法
CN113408333A (zh) * 2021-04-27 2021-09-17 上海工程技术大学 一种基于视频数据的地铁站内行人交通行为判别方法
CN113628248A (zh) * 2021-08-11 2021-11-09 云从科技集团股份有限公司 行人驻留时长确定方法、装置以及计算机可读存储介质
CN113807240A (zh) * 2021-09-15 2021-12-17 国网河北省电力有限公司衡水供电分公司 基于非配合式人脸识别的变电站人员着装智能监控方法
CN113887445A (zh) * 2021-10-08 2022-01-04 山东可信云信息技术研究院 一种视频中驻足和徘徊行为识别方法及系统
CN114662521A (zh) * 2021-11-16 2022-06-24 成都考拉悠然科技有限公司 一种行人徘徊行为检测方法及其系统
CN115272371A (zh) * 2022-07-29 2022-11-01 上海微创医疗机器人（集团）股份有限公司 视频图像分析方法、电子设备和存储介质
CN115309940A (zh) * 2022-08-10 2022-11-08 公诚管理咨询有限公司 基于工地执法记录仪的智慧施工数据分析方法及其系统
CN115439800A (zh) * 2022-07-26 2022-12-06 江苏东印智慧工程技术研究院有限公司 一种基于计算机视觉的人员施工安全行为识别方法以及系统
CN115762028A (zh) * 2022-11-03 2023-03-07 安徽大学 一种车辆行人入侵的检测报警方法及系统
CN115760904A (zh) * 2021-09-02 2023-03-07 中移物联网有限公司 一种畜禽统计方法、装置、电子设备和介质
CN116189283A (zh) * 2022-12-19 2023-05-30 南京华苏科技有限公司 基于时间空间联合的人员徘徊行为检测方法
CN116665243A (zh) * 2021-03-23 2023-08-29 福建诺诚数字科技有限公司 一种基于tof深度图测量行人间距的方法和装置以及设备
CN116844106A (zh) * 2023-06-13 2023-10-03 海信集团控股股份有限公司 一种徘徊事件检测方法、装置、设备及介质
CN116977920A (zh) * 2023-06-28 2023-10-31 三峡科技有限责任公司 一种多区域类型多推理预警机制的临界防护方法
CN118334743A (zh) * 2024-04-19 2024-07-12 苏州罗盘网络科技股份有限公司 一种公共场所中的人员逗留行为检测方法
CN118485962A (zh) * 2024-05-22 2024-08-13 深圳市神州云海智能科技有限公司 一种基于多摄像头的目标检测分析方法、装置、储存介质、系统和机器人

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101577006A (zh) * 2009-06-15 2009-11-11 北京中星微电子有限公司 视频监控中的徘徊检测方法和系统
CN106845385A (zh) * 2017-01-17 2017-06-13 腾讯科技（上海）有限公司 视频目标跟踪的方法和装置
CN108875588A (zh) * 2018-05-25 2018-11-23 武汉大学 基于深度学习的跨摄像头行人检测跟踪方法
CN109117721A (zh) * 2018-07-06 2019-01-01 江西洪都航空工业集团有限责任公司 一种行人徘徊检测方法
CN110110593A (zh) * 2019-03-27 2019-08-09 广州杰赛科技股份有限公司 基于自学习的人脸考勤方法、装置、设备及存储介质
CN110399808A (zh) * 2019-07-05 2019-11-01 桂林安维科技有限公司 一种基于多目标跟踪的人体行为识别方法及系统
CN110598633A (zh) * 2019-09-12 2019-12-20 杭州品茗安控信息技术股份有限公司 一种摔倒行为识别方法、装置及系统
CN110688896A (zh) * 2019-08-23 2020-01-14 北京正安维视科技股份有限公司 一种行人徘徊检测方法
CN111160203A (zh) * 2019-12-23 2020-05-15 中电科新型智慧城市研究院有限公司 一种基于头肩模型和iou跟踪的徘徊逗留行为分析方法
KR102131946B1 (ko) * 2019-11-29 2020-07-09 한다움건설(주) 스마트 건축 플래너를 이용한 공사 프로젝트 관리 서비스 제공 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101577006A (zh) * 2009-06-15 2009-11-11 北京中星微电子有限公司 视频监控中的徘徊检测方法和系统
CN106845385A (zh) * 2017-01-17 2017-06-13 腾讯科技（上海）有限公司 视频目标跟踪的方法和装置
CN108875588A (zh) * 2018-05-25 2018-11-23 武汉大学 基于深度学习的跨摄像头行人检测跟踪方法
CN109117721A (zh) * 2018-07-06 2019-01-01 江西洪都航空工业集团有限责任公司 一种行人徘徊检测方法
CN110110593A (zh) * 2019-03-27 2019-08-09 广州杰赛科技股份有限公司 基于自学习的人脸考勤方法、装置、设备及存储介质
CN110399808A (zh) * 2019-07-05 2019-11-01 桂林安维科技有限公司 一种基于多目标跟踪的人体行为识别方法及系统
CN110688896A (zh) * 2019-08-23 2020-01-14 北京正安维视科技股份有限公司 一种行人徘徊检测方法
CN110598633A (zh) * 2019-09-12 2019-12-20 杭州品茗安控信息技术股份有限公司 一种摔倒行为识别方法、装置及系统
KR102131946B1 (ko) * 2019-11-29 2020-07-09 한다움건설(주) 스마트 건축 플래너를 이용한 공사 프로젝트 관리 서비스 제공 방법
CN111160203A (zh) * 2019-12-23 2020-05-15 中电科新型智慧城市研究院有限公司 一种基于头肩模型和iou跟踪的徘徊逗留行为分析方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
徐耀建;: "基于深度学习的视频多目标行人检测与追踪", 现代信息科技, no. 12, pages 14 - 17 *
谢林·托马斯: "《PyTorch深度学习实战》", 30 June 2020, 机械工业出版社, pages: 202 - 205 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418118A (zh) * 2020-11-27 2021-02-26 招商新智科技有限公司 一种无监督桥下行人入侵检测方法及装置
CN112633150A (zh) * 2020-12-22 2021-04-09 中国华戎科技集团有限公司 一种基于目标轨迹分析的滞留徘徊行为识别方法和系统
CN112633150B (zh) * 2020-12-22 2024-10-18 中国华戎科技集团有限公司 一种基于目标轨迹分析的滞留徘徊行为识别方法和系统
CN112613496A (zh) * 2021-03-08 2021-04-06 深圳市安软科技股份有限公司 一种行人重识别方法、装置、电子设备及存储介质
CN113033337A (zh) * 2021-03-08 2021-06-25 深圳市安软科技股份有限公司 基于TensorRT的行人重识别方法及装置
CN116665243A (zh) * 2021-03-23 2023-08-29 福建诺诚数字科技有限公司 一种基于tof深度图测量行人间距的方法和装置以及设备
CN112733814A (zh) * 2021-03-30 2021-04-30 上海闪马智能科技有限公司 一种基于深度学习的行人徘徊滞留检测方法、系统及介质
CN112990058A (zh) * 2021-03-30 2021-06-18 北京邮电大学 一种基于轨迹分析的多目标行人徘徊检测方法
CN113408333B (zh) * 2021-04-27 2022-10-11 上海工程技术大学 一种基于视频数据的地铁站内行人交通行为判别方法
CN113408333A (zh) * 2021-04-27 2021-09-17 上海工程技术大学 一种基于视频数据的地铁站内行人交通行为判别方法
CN113255608A (zh) * 2021-07-01 2021-08-13 杭州智爱时刻科技有限公司 一种基于cnn分类的多摄像头人脸识别定位方法
CN113628248A (zh) * 2021-08-11 2021-11-09 云从科技集团股份有限公司 行人驻留时长确定方法、装置以及计算机可读存储介质
CN113628248B (zh) * 2021-08-11 2024-04-09 云从科技集团股份有限公司 行人驻留时长确定方法、装置以及计算机可读存储介质
CN115760904A (zh) * 2021-09-02 2023-03-07 中移物联网有限公司 一种畜禽统计方法、装置、电子设备和介质
CN113807240A (zh) * 2021-09-15 2021-12-17 国网河北省电力有限公司衡水供电分公司 基于非配合式人脸识别的变电站人员着装智能监控方法
CN113887445A (zh) * 2021-10-08 2022-01-04 山东可信云信息技术研究院 一种视频中驻足和徘徊行为识别方法及系统
CN114662521A (zh) * 2021-11-16 2022-06-24 成都考拉悠然科技有限公司 一种行人徘徊行为检测方法及其系统
CN115439800A (zh) * 2022-07-26 2022-12-06 江苏东印智慧工程技术研究院有限公司 一种基于计算机视觉的人员施工安全行为识别方法以及系统
CN115272371A (zh) * 2022-07-29 2022-11-01 上海微创医疗机器人（集团）股份有限公司 视频图像分析方法、电子设备和存储介质
CN115309940A (zh) * 2022-08-10 2022-11-08 公诚管理咨询有限公司 基于工地执法记录仪的智慧施工数据分析方法及其系统
CN115762028A (zh) * 2022-11-03 2023-03-07 安徽大学 一种车辆行人入侵的检测报警方法及系统
CN116189283A (zh) * 2022-12-19 2023-05-30 南京华苏科技有限公司 基于时间空间联合的人员徘徊行为检测方法
CN116844106A (zh) * 2023-06-13 2023-10-03 海信集团控股股份有限公司 一种徘徊事件检测方法、装置、设备及介质
CN116977920A (zh) * 2023-06-28 2023-10-31 三峡科技有限责任公司 一种多区域类型多推理预警机制的临界防护方法
CN116977920B (zh) * 2023-06-28 2024-04-12 三峡科技有限责任公司 一种多区域类型多推理预警机制的临界防护方法
CN118334743A (zh) * 2024-04-19 2024-07-12 苏州罗盘网络科技股份有限公司 一种公共场所中的人员逗留行为检测方法
CN118334743B (zh) * 2024-04-19 2025-07-11 苏州罗盘网络科技股份有限公司 一种公共场所中的人员逗留行为检测方法
CN118485962A (zh) * 2024-05-22 2024-08-13 深圳市神州云海智能科技有限公司 一种基于多摄像头的目标检测分析方法、装置、储存介质、系统和机器人

Similar Documents

Publication Publication Date Title
CN111860318A (zh) 一种建筑工地行人徘徊检测方法、装置、设备及存储介质
CN113284168B (zh) 目标跟踪方法、装置、电子设备及存储介质
JP6759474B2 (ja) 深層学習ネットワーク及び平均シフトに基づく船舶自動追跡方法及びシステム
CN108256404B (zh) 行人检测方法和装置
WO2021139049A1 (zh) 检测方法、检测装置、监控设备和计算机可读存储介质
CN111325292B (zh) 一种对象行为的识别方法及装置
CN111127508B (zh) 一种基于视频的目标跟踪方法及装置
CN113191180B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN113033523B (zh) 跌倒判断模型的构建方法及系统、跌倒判断方法及系统
CN103810717A (zh) 一种人体行为检测方法及装置
CN112836683A (zh) 用于便携式摄像设备的车牌识别方法、装置、设备和介质
CN112733629A (zh) 异常行为判断方法、装置、设备和存储介质
CN111445442A (zh) 基于神经网络的人群计数方法、装置、服务器及存储介质
KR101651410B1 (ko) 다중시차 행위인식 기반의 폭력 검출시스템 및 검출방법
CN111597919A (zh) 一种视频监控场景下的人体跟踪方法
CN113723176A (zh) 一种目标对象确定方法、装置、存储介质和电子装置
CN116311166A (zh) 交通障碍物识别方法、装置及电子设备
CN116189086A (zh) 基于ai模型的徘徊人员检测方法、边缘设备和存储介质
CN113449563B (zh) 一种人员跟踪标记方法、装置、电子设备及存储介质
CN112861711A (zh) 区域入侵检测方法、装置、电子设备及存储介质
CN112825193B (zh) 目标跟踪方法、装置、电子设备以及存储介质
CN117877100A (zh) 一种行为模式的确定方法、装置、电子设备及存储介质
CN111695404A (zh) 行人跌倒检测方法、装置、电子设备及存储介质
CN113837091B (zh) 识别方法、装置、电子设备及计算机可读存储介质
CN111008601A (zh) 一种基于视频的打架斗殴检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Block C, 5th Floor, Building B, Paradise Software Park, No. 3 Xidoumen Road, Xihu District, Hangzhou, Zhejiang 310000

Applicant after: Pin Ming Technology Co.,Ltd.

Address before: 310012 Room C, 5 / F, building B, Paradise Software Park, 3 xidoumen Road, Xihu District, Hangzhou City, Zhejiang Province

Applicant before: HANGZHOU PINMING SAFETY CONTROL INFORMATION TECHNOLOGY CO.,LTD.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201030