CN114283362A - 电梯乘客异常行为检测方法、系统、终端设备及存储介质 - Google Patents
电梯乘客异常行为检测方法、系统、终端设备及存储介质 Download PDFInfo
- Publication number
- CN114283362A CN114283362A CN202111575522.0A CN202111575522A CN114283362A CN 114283362 A CN114283362 A CN 114283362A CN 202111575522 A CN202111575522 A CN 202111575522A CN 114283362 A CN114283362 A CN 114283362A
- Authority
- CN
- China
- Prior art keywords
- key point
- passenger
- behavior
- elevator
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Maintenance And Inspection Apparatuses For Elevators (AREA)
- Indicating And Signalling Devices For Elevators (AREA)
Abstract
本发明公开了一种电梯乘客异常行为检测方法、系统、终端设备及存储介质，该方法包括：获取电梯内的视频帧图像；将视频帧图像转换为HSV色彩空间图像；对HSV色彩空间图像中的人体进行ROI区域分割，得到人体关键点；对人体关键点进行识别，得到对应乘客的关键点连接数据和关键点坐标数据；基于所述关键点连接数据和关键点坐标数据，对所述乘客的行为进行分类识别，基于分类识别结果判断所述乘客的行为是否为异常行为。本发明提高了计算效率，同时还消除了环境因素造成的识别误差，提高了电梯内异常行为识别准确性，满足检测需求。
Description
技术领域
本发明涉及电梯安全技术领域，尤其涉及一种基于AI与图像处理的电梯乘客异常行为检测方法、系统、终端设备及存储介质。
背景技术
近年来，随着高层建筑的增多，人们对电梯的依赖越来越强。然而电梯轿厢的空间狭小、封闭和不透明性，外界通常难以及时发现电梯轿厢中发生的抢劫、打斗、侵害、扒门等人为的异常行为。因此，对电梯乘客行为的监测显得尤为重要，针对乘客危险行为，如蹦跳、扒门等，极有可能造成电梯坠落等事故，威胁乘客们的生命财产安全，采取及时有效的措施，能够极大的避免或挽救生命财产的损失。
随着人工智能技术和计算机视觉领域技术的发展，用计算机代替人力检测异常情况逐渐普及，因此，通过行为检测及时识别出乘客异常行为并发出相应警报，可以有效的减少电梯意外事故，更好的保障乘客出行安全，从而具有重要的研究及商业价值。
目前，对电梯乘客危险行为检测最直接的方法就是对电梯监控视频进行图像处理，但现有技术大多都只是直接利用深度学习的技术进行乘客行为识别，未对图像进行预处理，这样就会导致环境因素对识别精度的影响非常大，从而降低了异常行为识别准确性，同时现有技术也未能考虑计算效率，不能满足检测需求。
发明内容
本发明的主要目的在于提供一种电梯乘客异常行为检测方法、系统、终端设备及存储介质，旨在提高电梯内异常行为识别准确性以及计算效率，满足检测需求。
为实现上述目的，本发明实施例提供一种电梯乘客异常行为检测方法，所述方法包括以下步骤：
获取电梯内的视频帧图像；
将所述视频帧图像转换为HSV色彩空间图像；
对所述HSV色彩空间图像中的人体进行ROI区域分割，得到人体关键点；
对所述人体关键点进行识别，得到对应乘客的关键点连接数据和关键点坐标数据；
基于所述关键点连接数据和关键点坐标数据，对所述乘客的行为进行分类识别，基于分类识别结果判断所述乘客的行为是否为异常行为。
可选地，所述基于所述关键点连接数据和关键点坐标数据，对所述乘客的行为进行分类识别，基于分类识别结果判断所述乘客的行为是否为异常行为的步骤包括：
选取连续N帧图像的关键点连接数据和关键点坐标数据；
将选取的N帧图像的关键点连接数据和关键点坐标数据作为一组数据输入至预先创建的乘客行为识别模型，对所述乘客的行为进行分类识别；
按照视频帧图像的时间序列，向后滑动M帧，重新选取N帧图像的关键点连接数据和关键点坐标数据，输入至所述乘客行为识别模型，对所述乘客的行为进行分类识别，以此类推，当连续T次乘客行为被分类为设定类异常行为时，判定所述乘客的行为为异常行为；其中，N、M、T为正整数。
可选地，所述N为[30，60]区间中的一个正整数，M为[1，5]区间中的一个正整数，T大于或等于3。
可选地，所述基于所述关键点连接数据和关键点坐标数据，对所述乘客的行为进行分类识别，基于分类识别结果判断所述乘客的行为是否为异常行为的步骤包括：
通过云端服务器基于所述关键点连接数据和关键点坐标数据及预先创建的乘客行为识别模型，对所述乘客的行为进行分类识别，基于分类识别结果判断所述乘客的行为是否为异常行为。
可选地，所述方法还包括：
在检测到所述乘客的行为为异常行为时，通过所述云端服务器通知物业管理终端，以采取应对措施。
可选地，所述将所述视频帧图像转换为HSV色彩空间图像的步骤包括：
通过边缘计算装置将所述视频帧图像转换为HSV色彩空间图像；
所述对所述HSV色彩空间图像中的人体进行ROI区域分割，得到人体关键点的步骤包括：
通过所述边缘计算装置对所述HSV色彩空间图像中的人体进行ROI区域分割，得到人体关键点；
所述对所述人体关键点进行识别，得到对应乘客的关键点连接数据和关键点坐标数据的步骤包括：
通过所述边缘计算装置利用卷积神经网络，对每一个分割出来的人体关键点进行识别，得到对应乘客的关键点连接数据和关键点坐标数据，并传输给所述云端服务器。
可选地，所述获取电梯内的视频帧图像的步骤包括：
通过所述云端服务器接收用户通过物业管理终端触发的对电梯内摄像头状态进行访问的访问指令；
将所述访问指令通过所述云端服务器发送给所述边缘计算装置；
通过所述边缘计算装置对应的摄像头对所述电梯内进行数据采集，获得所述电梯内的视频帧图像。
可选地，所述关键点为所述乘客的关节点或身体躯干的几何中心点，所述关键点连接数据为对应的关节连接关系或身体躯干连接关系的集合，采用拓扑图的结构进行储存。
可选地，所述乘客行为识别模型为LSTM网络串联多个并联的SVM分类器构成，所述SVM分类器数量与预设的乘客异常行为的类型数量相同。
可选地，所述基于所述关键点连接数据和关键点坐标数据，对所述乘客的行为进行分类识别，基于分类识别结果判断所述乘客的行为是否为异常行为的步骤之前还包括：
基于预先收集的多帧图像建立所述乘客行为识别模型。
此外，本发明实施例还提出一种电梯乘客异常行为检测系统，所述系统包括：
图像获取模块，用于获取电梯内的视频帧图像；
图像转换模块，用于将所述视频帧图像转换为HSV色彩空间图像；
图像分割模块，用于对所述HSV色彩空间图像中的人体进行ROI区域分割，得到人体关键点；
识别模块，用于对所述人体关键点进行识别，得到对应乘客的关键点连接数据和关键点坐标数据；
行为判断模块，用于基于所述关键点连接数据和关键点坐标数据，对所述乘客的行为进行分类识别，基于分类识别结果判断所述乘客的行为是否为异常行为。
此外，本发明实施例还提出一种电梯乘客异常行为检测系统，所述系统包括：
边缘计算装置，用于获取电梯内的视频帧图像，将所述视频帧图像转换为HSV色彩空间图像，对所述HSV色彩空间图像中的人体进行ROI区域分割，得到人体关键点，对所述人体关键点进行识别，得到对应乘客的关键点连接数据和关键点坐标数据；
云端服务器，用于基于所述关键点连接数据和关键点坐标数据，对所述乘客的行为进行分类识别，基于分类识别结果判断所述乘客的行为是否为异常行为。
此外，本发明实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的电梯乘客异常行为检测方法。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的电梯乘客异常行为检测方法。
此外，本发明实施例还提出一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上所述的电梯乘客异常行为检测方法。
本发明实施例提出的电梯乘客异常行为检测方法、系统、终端设备及存储介质，通过获取电梯内的视频帧图像；将所述视频帧图像转换为HSV色彩空间图像；对所述HSV色彩空间图像中的人体进行ROI区域分割，得到人体关键点；对所述人体关键点进行识别，得到对应乘客的关键点连接数据和关键点坐标数据；基于所述关键点连接数据和关键点坐标数据，对所述乘客的行为进行分类识别，基于分类识别结果判断所述乘客的行为是否为异常行为。由此，通过图像色彩空间转换和人体关节关键点识别对监控视频进行预处理，减少了云端服务器的计算量，提高了计算效率，同时还消除了环境因素造成的识别误差，提高了电梯内异常行为识别准确性；此外，还可以对乘客行为在时间段上进行准确的分类，能够有效避免单帧图像或识别误差造成的误判，进一步提高了电梯内异常行为识别准确性，满足检测需求。
附图说明
图1为本发明电梯乘客异常行为检测系统的硬件环境示意图；
图2为本发明实施例涉及的电梯乘客异常行为检测系统的架构示意图；
图3为本发明电梯乘客异常行为检测方法一示例性实施例的流程示意图；
图4为本发明电梯乘客异常行为检测方法另一示例性实施例的流程示意图；
图5为本发明电梯乘客异常行为检测系统的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：通过获取电梯内的视频帧图像；将所述视频帧图像转换为HSV色彩空间图像；对所述HSV色彩空间图像中的人体进行ROI区域分割，得到人体关键点；对所述人体关键点进行识别，得到对应乘客的关键点连接数据和关键点坐标数据；基于所述关键点连接数据和关键点坐标数据，对所述乘客的行为进行分类识别，基于分类识别结果判断所述乘客的行为是否为异常行为。由此，通过图像色彩空间转换和人体关节关键点识别对监控视频进行预处理，减少了云端服务器的计算量，提高了计算效率，同时还消除了环境因素造成的识别误差，提高了电梯内异常行为识别准确性；此外，还可以对乘客行为在时间段上进行准确的分类，能够有效避免单帧图像或识别误差造成的误判，进一步提高了电梯内异常行为识别准确性，满足检测需求。
本发明实施例涉及的技术术语：
HSV(Hue,Saturation,Value)，是根据颜色的直观特性由A.R.Smith在1978年创建的一种颜色空间,也称六角锥体模型(Hexcone Model)。这个模型中颜色的参数分别是：色调(H)，饱和度(S)，明度(V)。
本发明实施例考虑到，现有相关方案中，多是针对乘客异常行为的识别和分析，但是其针对性太过广泛，采用的只是单纯的图像识别技术，在准确性上还远不能满足需求，而且没有考虑计算效率；虽然可以采用多种网络模型来对摄像头视频进行学习，但是场景的变化和数据集的匮乏，势必会造成识别准确性问题。因此，现有相关方案只是单纯的对监控图像本身进行了图像处理，但缺乏对人本身的动作进行预处理，导致识别准确性低，以及未能考虑计算效率。
因此，本发明实施例提出解决方案，可以提高电梯内异常行为识别准确性以及计算效率，满足检测需求。
具体地，参照图1，图1为本发明电梯乘客异常行为检测系统的硬件环境示意图。该电梯乘客异常行为检测系统可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为手机、平板电脑等智能移动终端，还可以为服务器等网络设备。
在本实施例中，该电梯乘客异常行为检测系统至少包括输出模块110、处理器120、存储器130以及通信模块140。
存储器130中存储有操作系统以及电梯乘客异常行为检测程序；输出模块110可为显示屏、扬声器等。通信模块140可以包括WIFI模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。
其中，作为一种实施例方式，存储器130中的电梯乘客异常行为检测程序被处理器执行时实现以下步骤：
获取电梯内的视频帧图像；
将所述视频帧图像转换为HSV色彩空间图像；
对所述HSV色彩空间图像中的人体进行ROI区域分割，得到人体关键点；
对所述人体关键点进行识别，得到对应乘客的关键点连接数据和关键点坐标数据；
基于所述关键点连接数据和关键点坐标数据，对所述乘客的行为进行分类识别，基于分类识别结果判断所述乘客的行为是否为异常行为。
进一步地，存储器130中的电梯乘客异常行为检测程序被处理器执行时还实现以下步骤：
选取连续N帧图像的关键点连接数据和关键点坐标数据；
将选取的N帧图像的关键点连接数据和关键点坐标数据作为一组数据输入至预先创建的乘客行为识别模型，对所述乘客的行为进行分类识别；
按照视频帧图像的时间序列，向后滑动M帧，重新选取N帧图像的关键点连接数据和关键点坐标数据，输入至所述乘客行为识别模型，对所述乘客的行为进行分类识别，以此类推，当连续T次乘客行为被分类为设定类异常行为时，判定所述乘客的行为为异常行为；其中，N、M、T为正整数。
进一步地，存储器130中的电梯乘客异常行为检测程序被处理器执行时还实现以下步骤：
通过云端服务器基于所述关键点连接数据和关键点坐标数据及预先创建的乘客行为识别模型，对所述乘客的行为进行分类识别，基于分类识别结果判断所述乘客的行为是否为异常行为。
进一步地，存储器130中的电梯乘客异常行为检测程序被处理器执行时还实现以下步骤：
在检测到所述乘客的行为为异常行为时，通过所述云端服务器通知物业管理终端，以采取应对措施。
进一步地，存储器130中的电梯乘客异常行为检测程序被处理器执行时还实现以下步骤：
通过边缘计算装置将所述视频帧图像转换为HSV色彩空间图像；
通过所述边缘计算装置对所述HSV色彩空间图像中的人体进行ROI区域分割，得到人体关键点；
通过所述边缘计算装置利用卷积神经网络，对每一个分割出来的人体关键点进行识别，得到对应乘客的关键点连接数据和关键点坐标数据，并传输给所述云端服务器。
进一步地，存储器130中的电梯乘客异常行为检测程序被处理器执行时还实现以下步骤：
通过所述云端服务器接收用户通过物业管理终端触发的对电梯内摄像头状态进行访问的访问指令；
将所述访问指令通过所述云端服务器发送给所述边缘计算装置；
通过所述边缘计算装置对应的摄像头对所述电梯内进行数据采集，获得所述电梯内的视频帧图像。
进一步地，存储器130中的电梯乘客异常行为检测程序被处理器执行时还实现以下步骤：
基于预先收集的多帧图像建立所述乘客行为识别模型。
本实施例通过上述方案，获取电梯内的视频帧图像；将所述视频帧图像转换为HSV色彩空间图像；对所述HSV色彩空间图像中的人体进行ROI区域分割，得到人体关键点；对所述人体关键点进行识别，得到对应乘客的关键点连接数据和关键点坐标数据；基于所述关键点连接数据和关键点坐标数据，对所述乘客的行为进行分类识别，基于分类识别结果判断所述乘客的行为是否为异常行为。由此，通过图像色彩空间转换和人体关节关键点识别对监控视频进行预处理，减少了云端服务器的计算量，提高了计算效率，同时还消除了环境因素造成的识别误差；针对多帧图像建立乘客行为识别模型，对乘客行为在时间段上进行准确的分类，能够有效避免单帧图像或识别误差造成的误判。同时，通过边缘计算节点和云端服务器相结合的模式，提高计算效率。
参照图2，图2为本发明实施例涉及的电梯乘客异常行为检测系统的架构示意图。
如图2所示，该电梯乘客异常行为检测系统主要包括：边缘计算装置3及云端服务器1，其中：
边缘计算装置3，用于通过摄像头获取电梯内的视频帧图像，将所述视频帧图像转换为HSV色彩空间图像，对所述HSV色彩空间图像中的人体进行ROI区域分割，得到人体关键点，对所述人体关键点进行识别，得到对应乘客的关键点连接数据和关键点坐标数据；
云端服务器1，用于基于所述关键点连接数据和关键点坐标数据，对所述乘客的行为进行分类识别，基于分类识别结果判断所述乘客的行为是否为异常行为。
具体地，如图2所示，作为一种实施方式，该电梯乘客异常行为检测系统可以包括：云端服务器1，云端服务器数据库2，通用边缘计算装置3和7，本地数据库4和8，电梯摄像头5和6，物业管理终端9。其中：
所述云端服务器1分别与云端数据库2、边缘计算装置3和边缘计算装置7相连；所述边缘计算装置3分别与本地数据库4、电梯摄像头5、电梯摄像头6相连；所述边缘计算装置7分别与本地数据库8、物业管理终端9相连。
当用户通过物业管理终端9的网络远程访问云端服务器对电梯摄像头5、6的状态进行访问时，云端服务器1向边缘计算装置3和边缘计算装置7广播访问指令，边缘计算装置3和边缘计算装置7对访问指令进行匹配，其中，匹配的目的是，确定是与边缘计算装置7连接的物业管理终端9需要对电梯摄像头5、6的状态进行访问。
其中，边缘计算装置3的外设接口或者网络模块接收到访问指令后，通过边缘计算装置3对应的电梯摄像头5和电梯摄像头6进行数据采集。电梯摄像头5和电梯摄像头6将实时采集的数据传输到与其相连接的边缘计算装置3的外设接口或者网络模块，外设接口或者网络模块将接收到的数据上传到对应的边缘计算装置3的内存中；然后边缘计算装置3的计算单元调用图像色彩空间转换和人体关节关键点识别算法对数据进行预处理，将计算结果通过边缘计算装置3的网络模块上传到云端服务器1，云端服务器1利用乘客行为识别模型对乘客行为进行分类识别，并将结果存储到云端数据库2中，同时，也将计算结果通过边缘计算装置3的外设接口存储到本地数据库4中。
由此，通过图像色彩空间转换和人体关节关键点识别对监控视频进行预处理，减少了云端服务器的计算量，提高了计算效率，同时还消除了环境因素造成的识别误差，提高了电梯内异常行为识别准确性；此外，还可以对乘客行为在时间段上进行准确的分类，能够有效避免单帧图像或识别误差造成的误判，进一步提高了电梯内异常行为识别准确性，满足检测需求。
需要说明的是，上述电梯摄像头的数量、边缘计算装置7以及相应的数据库等可以根据实际情况设定，本实施例对此不作具体限定。
基于上述系统架构但不限于上述架构，提出本发明方法实施例。
参照图3，图3为本发明电梯乘客异常行为检测方法一示例性实施例的流程示意图。所述电梯乘客异常行为检测方法包括：
步骤S101，获取电梯内的视频帧图像；
本实施例方法的执行主体可以是一种电梯乘客异常行为检测装置，也可以是一种终端设备、云端服务器或电梯乘客异常行为检测系统，本实施例以电梯乘客异常行为检测系统进行举例，该电梯乘客异常行为检测系统可以包括边缘计算装置及云端服务器。
具体地，为了对电梯内的乘客行为进行监测，首先，获取电梯内的视频帧图像。
作为一种实施方式，可以通过设置在电梯内的摄像头采集获取电梯内的视频帧图像，以便后续基于该视频帧图像获得电梯内乘客的行为，并判断乘客行为是否为危险行为等异常行为。
作为另一种实施方式，用户可以通过物业管理终端主动发起获取电梯内乘客的图像数据。
具体地，用户通过物业管理终端触发对电梯内摄像头状态进行访问的访问指令，通过云端服务器接收用户通过物业管理终端触发的对电梯内摄像头状态进行访问的访问指令；将所述访问指令通过所述云端服务器发送给所述边缘计算装置；通过所述边缘计算装置对应的摄像头对所述电梯内进行数据采集，获得所述电梯内的视频帧图像。
更为具体地，当用户通过物业管理终端的网络远程访问云端服务器对电梯摄像头的状态进行访问时，云端服务器向边缘计算装置广播访问指令，边缘计算装置的外设接口或者网络模块接收到访问指令后，通过边缘计算装置对应的电梯摄像头进行数据采集。电梯摄像头将实时采集的数据传输到与其相连接的边缘计算装置的外设接口或者网络模块，外设接口或者网络模块将接收到的数据上传到对应的边缘计算装置的本地数据库中。
其中，摄像头采集的电梯内的视频帧图像为RGB图像。
步骤S102，将所述视频帧图像转换为HSV色彩空间图像；
其中，作为一种实施方式，通过边缘计算装置将所述视频帧图像转换为HSV色彩空间图像；
如前所述，边缘计算装置的摄像头采集的电梯内的视频帧图像为RGB图像。在本实施例中，通过边缘计算装置利用图像色彩空间转换方法，将本地数据库中的单帧RGB图像转化为HSV色彩空间图像，由此，通过在边缘端采用图像色彩空间转换对监控视频进行预处理，减少了云端服务器的计算量，提高了计算效率，同时还消除了环境因素造成的识别误差，比如消除由于光照不足引起的影子对模型检测效果的影响，有助于提高异常行为识别准确性。
步骤S103，对所述HSV色彩空间图像中的人体进行ROI区域分割，得到人体关键点；
步骤S104，对所述人体关键点进行识别，得到对应乘客的关键点连接数据和关键点坐标数据；
具体地，作为一种实施方式，可以通过所述边缘计算装置对所述HSV色彩空间图像中的人体进行ROI区域分割，得到人体关键点；
然后，通过所述边缘计算装置利用卷积神经网络，对每一个分割出来的人体关键点进行识别，得到对应乘客的关键点连接数据和关键点坐标数据，并传输给所述云端服务器。
其中，所述关键点为所述乘客的关节点或身体躯干的几何中心点，所述关键点连接数据为对应的关节连接关系或身体躯干连接关系的集合，可以采用拓扑图的结构进行储存。
由此，通过在边缘端采用图像色彩空间转换和人体关节关键点识别对监控视频进行预处理，减少了云端服务器的计算量，提高了计算效率，同时还消除了环境因素造成的识别误差，有助于提高图像识别准确性。
步骤S105，基于所述关键点连接数据和关键点坐标数据，对所述乘客的行为进行分类识别，基于分类识别结果判断所述乘客的行为是否为异常行为。
具体地，作为一种实施方式，在判断电梯内乘客的行为是否为异常行为时，可以通过云端服务器基于所述关键点连接数据和关键点坐标数据及预先创建的乘客行为识别模型，对所述乘客的行为进行分类识别，基于分类识别结果判断所述乘客的行为是否为异常行为。
其中，所述乘客行为识别模型为LSTM网络串联多个并联的SVM分类器构成，所述SVM分类器数量与预设的乘客异常行为的类型数量相同。
具体实现时，本实施例可以基于预先收集的多帧图像建立所述乘客行为识别模型。
作为一种具体实施方式，在判断电梯内乘客的行为是否为异常行为时，首先，选取连续N帧图像的关键点连接数据和关键点坐标数据；
然后，将选取的N帧图像的关键点连接数据和关键点坐标数据作为一组数据输入至预先创建的乘客行为识别模型，对所述乘客的行为进行分类识别；
按照视频帧图像的时间序列，向后滑动M帧，重新选取N帧图像的关键点连接数据和关键点坐标数据，输入至所述乘客行为识别模型，对所述乘客的行为进行分类识别，以此类推，当连续T次乘客行为被分类为设定类异常行为时，判定所述乘客的行为为异常行为；其中，N、M、T为正整数。
具体地，作为一种实施方式，N、M、T的取值可以如下设置：N为[30，60]区间中的一个正整数，M为[1，5]区间中的一个正整数，T大于或等于3。
进一步地，在检测到所述乘客的行为为异常行为时，通过所述云端服务器通知物业管理终端，以采取应对措施。
以下以电梯乘客危险行为的检测为例，结合图4对本实施例方案进行详细阐述：
如图4所示，本实施例电梯乘客危险行为的检测流程包括：
步骤1、摄像头采集电梯内视频RGB图像，并通过网络逐帧上传到本地数据库进行存储；
步骤2、边缘计算装置利用图像色彩空间转换方法，将本地数据库中的单帧RGB图像转化为HSV色彩空间图像；
步骤3、边缘计算装置利用分割技术，对HSV图像中的人体进行ROI(Region ofInterest，感兴趣区域)区域分割；
步骤4、边缘计算装置利用卷积神经网络(Convolutional Neural Network,CNN)对每一个分割出来的人体关键点进行识别，得到对应乘客的关键点连接数据和关键点坐标数据；
步骤5、边缘计算装置将每帧图像的乘客的关键点连接数据和关键点坐标数据上传到云端数据库；
步骤6、云端服务器利用乘客行为识别模型，按照每N帧图像的关键点连接数据和关键点坐标数据为一组作为输入，对乘客行为进行分类识别；
步骤7、按照视频图像的时间序列，向后滑动M帧，重新选取N帧图像，重复步骤6，当连续3次乘客行为被分类为特定一类危险行为时，判定该乘客行为为危险行为；
步骤8、针对判定的乘客危险行为，云端服务器及时通过物业管理终端通知物业采取应对措施。
其中，N为[30，60]区间中的一个正整数，M为[1，5]区间中的一个正整数。
本实施例基于AI与图像处理的电梯乘客危险行为检测方法，通过在边缘端采用图像色彩空间转换和人体关节关键点识别对监控视频进行预处理，减少了云端服务器的计算量，提高了计算效率，同时还消除了环境因素造成的识别误差；针对多帧图像建立乘客行为识别模型，对乘客行为在时间段上进行准确的分类，能够有效避免单帧图像或识别误差造成的误判。
此外，如图5所示，本发明实施例还提出一种电梯乘客异常行为检测系统，所述系统包括：
图像获取模块10，用于获取电梯内的视频帧图像；
图像转换模块20，用于将所述视频帧图像转换为HSV色彩空间图像；
图像分割模块30，用于对所述HSV色彩空间图像中的人体进行ROI区域分割，得到人体关键点；
识别模块40，用于对所述人体关键点进行识别，得到对应乘客的关键点连接数据和关键点坐标数据；
行为判断模块50，用于基于所述关键点连接数据和关键点坐标数据，对所述乘客的行为进行分类识别，基于分类识别结果判断所述乘客的行为是否为异常行为。
本实施例实现电梯乘客异常行为检测的原理及实施过程，请参照上述各实施例，在此不再赘述。
此外，本发明实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述实施例所述的电梯乘客异常行为检测方法。
由于本电梯乘客异常行为检测程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例所述的电梯乘客异常行为检测方法。
此外，本发明实施例还提出一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上述实施例所述的电梯乘客异常行为检测方法。
由于本电梯乘客异常行为检测程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
相比现有技术，本发明实施例提出的电梯乘客异常行为检测方法、系统、终端设备及存储介质，通过获取电梯内的视频帧图像；将所述视频帧图像转换为HSV色彩空间图像；对所述HSV色彩空间图像中的人体进行ROI区域分割，得到人体关键点；对所述人体关键点进行识别，得到对应乘客的关键点连接数据和关键点坐标数据；基于所述关键点连接数据和关键点坐标数据，对所述乘客的行为进行分类识别，基于分类识别结果判断所述乘客的行为是否为异常行为。由此，通过图像色彩空间转换和人体关节关键点识别对监控视频进行预处理，减少了云端服务器的计算量，提高了计算效率，同时还消除了环境因素造成的识别误差，提高了电梯内异常行为识别准确性；此外，还可以对乘客行为在时间段上进行准确的分类，能够有效避免单帧图像或识别误差造成的误判，进一步提高了电梯内异常行为识别准确性，满足检测需求。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本发明每个实施例的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (14)
1.一种电梯乘客异常行为检测方法，其特征在于，所述方法包括以下步骤：
获取电梯内的视频帧图像；
将所述视频帧图像转换为HSV色彩空间图像；
对所述HSV色彩空间图像中的人体进行ROI区域分割，得到人体关键点；
对所述人体关键点进行识别，得到对应乘客的关键点连接数据和关键点坐标数据；
基于所述关键点连接数据和关键点坐标数据，对所述乘客的行为进行分类识别，基于分类识别结果判断所述乘客的行为是否为异常行为。
2.根据权利要求1所述的方法，其特征在于，所述基于所述关键点连接数据和关键点坐标数据，对所述乘客的行为进行分类识别，基于分类识别结果判断所述乘客的行为是否为异常行为的步骤包括：
选取连续N帧图像的关键点连接数据和关键点坐标数据；
将选取的N帧图像的关键点连接数据和关键点坐标数据作为一组数据输入至预先创建的乘客行为识别模型，对所述乘客的行为进行分类识别；
按照视频帧图像的时间序列，向后滑动M帧，重新选取N帧图像的关键点连接数据和关键点坐标数据，输入至所述乘客行为识别模型，对所述乘客的行为进行分类识别，以此类推，当连续T次乘客行为被分类为设定类异常行为时，判定所述乘客的行为为异常行为；其中，N、M、T为正整数。
3.根据权利要求2所述的方法，其特征在于，所述N为[30，60]区间中的一个正整数，M为[1，5]区间中的一个正整数，T大于或等于3。
4.根据权利要求1所述的方法，其特征在于，所述基于所述关键点连接数据和关键点坐标数据，对所述乘客的行为进行分类识别，基于分类识别结果判断所述乘客的行为是否为异常行为的步骤包括：
通过云端服务器基于所述关键点连接数据和关键点坐标数据及预先创建的乘客行为识别模型，对所述乘客的行为进行分类识别，基于分类识别结果判断所述乘客的行为是否为异常行为。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
在检测到所述乘客的行为为异常行为时，通过所述云端服务器通知物业管理终端，以采取应对措施。
6.根据权利要求4所述的方法，其特征在于，
所述将所述视频帧图像转换为HSV色彩空间图像的步骤包括：
通过边缘计算装置将所述视频帧图像转换为HSV色彩空间图像；
所述对所述HSV色彩空间图像中的人体进行ROI区域分割，得到人体关键点的步骤包括：
通过所述边缘计算装置对所述HSV色彩空间图像中的人体进行ROI区域分割，得到人体关键点；
所述对所述人体关键点进行识别，得到对应乘客的关键点连接数据和关键点坐标数据的步骤包括：
通过所述边缘计算装置利用卷积神经网络，对每一个分割出来的人体关键点进行识别，得到对应乘客的关键点连接数据和关键点坐标数据，并传输给所述云端服务器。
7.根据权利要求6所述的方法，其特征在于，所述获取电梯内的视频帧图像的步骤包括：
通过所述云端服务器接收用户通过物业管理终端触发的对电梯内摄像头状态进行访问的访问指令；
将所述访问指令通过所述云端服务器发送给所述边缘计算装置；
通过所述边缘计算装置对应的摄像头对所述电梯内进行数据采集，获得所述电梯内的视频帧图像。
8.根据权利要求1-7中任一项所述的方法，其特征在于，所述关键点为所述乘客的关节点或身体躯干的几何中心点，所述关键点连接数据为对应的关节连接关系或身体躯干连接关系的集合，采用拓扑图的结构进行储存。
9.根据权利要求2-7中任一项所述的方法，其特征在于，所述乘客行为识别模型为LSTM网络串联多个并联的SVM分类器构成，所述SVM分类器数量与预设的乘客异常行为的类型数量相同。
10.根据权利要求2-7中任一项所述的方法，其特征在于，所述基于所述关键点连接数据和关键点坐标数据，对所述乘客的行为进行分类识别，基于分类识别结果判断所述乘客的行为是否为异常行为的步骤之前还包括：
基于预先收集的多帧图像建立所述乘客行为识别模型。
11.一种电梯乘客异常行为检测系统，其特征在于，所述系统包括：
图像获取模块，用于获取电梯内的视频帧图像；
图像转换模块，用于将所述视频帧图像转换为HSV色彩空间图像；
图像分割模块，用于对所述HSV色彩空间图像中的人体进行ROI区域分割，得到人体关键点；
识别模块，用于对所述人体关键点进行识别，得到对应乘客的关键点连接数据和关键点坐标数据；
行为判断模块，用于基于所述关键点连接数据和关键点坐标数据，对所述乘客的行为进行分类识别，基于分类识别结果判断所述乘客的行为是否为异常行为。
12.一种电梯乘客异常行为检测系统，其特征在于，所述系统包括：
边缘计算装置，用于获取电梯内的视频帧图像，将所述视频帧图像转换为HSV色彩空间图像，对所述HSV色彩空间图像中的人体进行ROI区域分割，得到人体关键点，对所述人体关键点进行识别，得到对应乘客的关键点连接数据和关键点坐标数据；
云端服务器，用于基于所述关键点连接数据和关键点坐标数据，对所述乘客的行为进行分类识别，基于分类识别结果判断所述乘客的行为是否为异常行为。
13.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-10中任一项所述的电梯乘客异常行为检测方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-10中任一项所述的电梯乘客异常行为检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111575522.0A CN114283362A (zh) | 2021-12-21 | 2021-12-21 | 电梯乘客异常行为检测方法、系统、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111575522.0A CN114283362A (zh) | 2021-12-21 | 2021-12-21 | 电梯乘客异常行为检测方法、系统、终端设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114283362A true CN114283362A (zh) | 2022-04-05 |
Family
ID=80874169
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111575522.0A Pending CN114283362A (zh) | 2021-12-21 | 2021-12-21 | 电梯乘客异常行为检测方法、系统、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114283362A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115147775A (zh) * | 2022-07-05 | 2022-10-04 | 上海檀索科技有限公司 | 一种视频图像处理识别系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019101597A (ja) * | 2017-11-30 | 2019-06-24 | 株式会社富士通アドバンストエンジニアリング | 行動識別プログラム、行動識別方法及び行動識別装置 |
| CN110425005A (zh) * | 2019-06-21 | 2019-11-08 | 中国矿业大学 | 矿井下皮带运输人员人机交互行为安全监控与预警方法 |
| CN111339883A (zh) * | 2020-02-19 | 2020-06-26 | 国网浙江省电力有限公司 | 复杂场景下基于人工智能的变电站内异常行为识别与检测方法 |
| CN111368696A (zh) * | 2020-02-28 | 2020-07-03 | 淮阴工学院 | 基于视觉协同的危化品运输车违规驾驶行为检测方法及系统 |
| CN113111840A (zh) * | 2021-04-26 | 2021-07-13 | 常州典宏自动化科技有限公司 | 一种煤矿综采工作面作业人员违规和危险行为预警方法 |
| US20210347366A1 (en) * | 2020-11-04 | 2021-11-11 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Abnormal driving behavior determination method, device, vehicle and medium |
-
2021
- 2021-12-21 CN CN202111575522.0A patent/CN114283362A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019101597A (ja) * | 2017-11-30 | 2019-06-24 | 株式会社富士通アドバンストエンジニアリング | 行動識別プログラム、行動識別方法及び行動識別装置 |
| CN110425005A (zh) * | 2019-06-21 | 2019-11-08 | 中国矿业大学 | 矿井下皮带运输人员人机交互行为安全监控与预警方法 |
| CN111339883A (zh) * | 2020-02-19 | 2020-06-26 | 国网浙江省电力有限公司 | 复杂场景下基于人工智能的变电站内异常行为识别与检测方法 |
| CN111368696A (zh) * | 2020-02-28 | 2020-07-03 | 淮阴工学院 | 基于视觉协同的危化品运输车违规驾驶行为检测方法及系统 |
| US20210347366A1 (en) * | 2020-11-04 | 2021-11-11 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Abnormal driving behavior determination method, device, vehicle and medium |
| CN113111840A (zh) * | 2021-04-26 | 2021-07-13 | 常州典宏自动化科技有限公司 | 一种煤矿综采工作面作业人员违规和危险行为预警方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115147775A (zh) * | 2022-07-05 | 2022-10-04 | 上海檀索科技有限公司 | 一种视频图像处理识别系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108446630B (zh) | 机场跑道智能监控方法、应用服务器及计算机存储介质 | |
| JP6905850B2 (ja) | 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置 | |
| CN110781914B (zh) | 一种设备故障的监控处理方法、装置、设备和存储介质 | |
| CN107633203A (zh) | 面部情绪识别方法、装置及存储介质 | |
| CN115620471A (zh) | 一种基于大数据筛查的图像识别安防系统 | |
| CN110490171B (zh) | 一种危险姿态识别方法、装置、计算机设备及存储介质 | |
| CN115331172A (zh) | 一种基于监控视频的车间危险行为识别报警方法及系统 | |
| CN116664359A (zh) | 一种基于多传感融合的智能火情预警决策系统及方法 | |
| CN113955594B (zh) | 一种电梯控制方法、装置、计算机设备和存储介质 | |
| CN111047824B (zh) | 一种室内儿童看护联动控制预警方法及系统 | |
| CN109544870A (zh) | 用于智能监控系统的报警判断方法与智能监控系统 | |
| CN114332925A (zh) | 电梯内宠物检测方法、系统、装置及计算机可读存储介质 | |
| CN114092877A (zh) | 一种基于机器视觉的垃圾桶无人值守系统设计方法 | |
| CN112528825A (zh) | 一种基于图像识别的车站乘客招援服务方法 | |
| CN114283362A (zh) | 电梯乘客异常行为检测方法、系统、终端设备及存储介质 | |
| US12100214B2 (en) | Video-based public safety incident prediction system and method therefor | |
| CN113408435B (zh) | 一种安全监控方法、装置、设备和存储介质 | |
| CN115082963A (zh) | 人体属性识别模型训练及人体属性识别方法、相关装置 | |
| CN114663964A (zh) | 船舶远程驾驶行为状态监测预警方法、系统及存储介质 | |
| CN114387665A (zh) | 一种基于便携布控球的登高无人扶梯识别系统 | |
| CN117876956A (zh) | 异常行为检测方法和装置、电子设备及存储介质 | |
| CN114758286B (zh) | 基于工作票事件的边缘智能安全监测方法和装置 | |
| CN116630853A (zh) | 一种重点交通枢纽的实时视频人员寻踪方法及系统 | |
| CN113298811B (zh) | 智能教室人数的自动计数方法、装置、设备及存储介质 | |
| CN116611977A (zh) | 失联人员路径溯源及救援方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |