CN111126153B - 基于深度学习的安全监测方法、系统、服务器及存储介质 - Google Patents
基于深度学习的安全监测方法、系统、服务器及存储介质 Download PDFInfo
- Publication number
- CN111126153B CN111126153B CN201911165549.5A CN201911165549A CN111126153B CN 111126153 B CN111126153 B CN 111126153B CN 201911165549 A CN201911165549 A CN 201911165549A CN 111126153 B CN111126153 B CN 111126153B
- Authority
- CN
- China
- Prior art keywords
- target
- monitoring
- monitored
- information
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Alarm Systems (AREA)
Abstract
本发明实施例公开了一种基于深度学习的安全监测方法、系统、服务器及存储介质。所述方法包括:获取监测区域内待监测目标的视频数据;通过预先训练的第一模型对所述视频数据进行分析,以获取监测区域内的所述待监测目标的监测特征信息;根据所述监测特征信息判断待监测目标是否存在异常;当所述待监测目标存在异常时进行报警操作。本发明通过对视频数据进行基于深度学习的训练,实现对视频数据的语义结构化提取和对视频数据的有效管理。
Description
技术领域
本发明实施例涉及视频图像分析技术,尤其涉及一种基于深度学习的安全监测方法、系统、服务器及存储介质。
背景技术
当前,视频监控系统已经成为相关领域应用的重要手段。通过视频监控,监控人员或安保人员可以更加直接有效的针对监控区域进行安全防护和排查。但是,由于视频数据量庞大且格式复杂,存储代价昂贵且难以管理,面对海量的视频信息、非结构化的数据形式和内容的多义性,导致人工调阅方式耗时耗力,大量视频未经梳理而流失,严重影响了监控系统的建设成效。
发明内容
本发明提供一种基于深度学习的安全监测方法、系统、服务器及存储介质,以实现对视频数据的语义结构化提取和对视频数据的有效管理。
第一方面,本发明实施例提供了一种基于深度学习的安全监测方法,包括:
获取监测区域内待监测目标的视频数据;
通过预先训练的第一模型对视频数据进行分析,以获取监测区域内的待监测目标的监测特征信息;
根据监测特征信息判断待监测目标是否存在异常;
当待监测目标存在异常时进行报警操作。
进一步的,监测特征信息包括监测目标动作信息、监测目标停留时长信息、烟雾检测信息和监测目标服装信息中的一种或多种。
进一步的,通过预先训练的第一模型对视频数据进行分析,以获取监测区域内的待监测目标的监测特征信息之前包括:
对视频数据进行卷积神经网络的训练,以得到分析监测目标动作信息、监测目标停留时长信息、烟雾检测信息和监测目标服装信息对应的第一模型。
进一步的,通过预先训练的第一模型对视频数据进行分析,以获取监测区域内的待监测目标的监测特征信息包括:
使用第一模型对视频数据进行基于监测目标动作信息的识别,以获取待监测目标的监测目标动作信息;
根据第一预设权重值计算监测目标动作信息的第一置信度;
根据监测目标动作信息的预设参数阈值和第一置信度判断待监测目标的动作状态。
进一步的,通过预先训练的第一模型对视频数据进行分析,以获取监测区域内的待监测目标的监测特征信息还包括:
使用第一模型对视频数据进行基于监测目标停留时长信息的识别,以获取待监测目标的监测目标停留时长信息;
根据第二预设权重值和监测目标停留时长信息计算监测目标停留时长信息的第二置信度;
根据监测目标停留时长信息的预设参数阈值和第二置信度判断待监测目标的逗留状态。
进一步的,通过预先训练的第一模型对视频数据进行分析,以获取监测区域内的待监测目标的监测特征信息还包括:
使用第一模型对视频数据进行基于烟雾检测信息的识别,以获取待监测目标的烟雾检测信息;
根据烟雾检测信息计算烟雾浓度并确定烟雾所在区域和待监测目标的吸烟动作;
根据烟雾浓度、烟雾所在区域和待监测目标的吸烟动作计算烟雾检测信息的第三置信度;
根据烟雾检测信息的预设参数阈值和第三置信度判断待监测目标的吸烟状态。
进一步的,通过预先训练的第一模型对视频数据进行分析,以获取监测区域内的待监测目标的监测特征信息还包括:
使用第一模型对视频数据进行基于监测目标服装信息的识别,以获取待监测目标的监测目标服装信息;
根据监测目标服装信息和监测目标服装信息的预设权重值计算监测目标服装信息的第四置信度;
根据监测目标服装信息的预设参数阈值和第四置信度判断待监测目标的着装状态。
进一步的,根据待监测目标的状态判断待监测目标是否存在异常包括:
若待监测目标的动作状态为打架时,则待监测目标存在异常;
若待监测目标的逗留状态为过长逗留时,则待监测目标存在异常;
若待监测目标的吸烟状态为吸烟时,则待监测目标存在异常;
若待监测目标的着装状态为异常着装时,则待监测目标存在异常
第二方面,本发明实施例还提供了一种基于深度学习的安全监测系统,包括:
第一获取模块,用于获取监测区域内待监测目标的视频数据;
第二获取模块,用于通过预先训练的第一模型对视频数据进行分析,以获取监测区域内的待监测目标的监测特征信息;
判断模块,用于根据监测特征信息判断待监测目标是否存在异常;
报警模块,用于当待监测目标存在异常时进行报警操作。
第三方面,本发明实施例还提供了一种服务器,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例中任一项基于深度学习的安全监测方法的步骤。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施例中任一项基于深度学习的安全监测方法的步骤。
本发明通过对视频数据进行基于深度学习的训练,解决了现有技术中针对大量的视频信息,不能及时对视频中的非结构化数据形式和内容进行分析和梳理从而导致数据流失的技术问题,实现了对视频数据的语义结构化提取和对视频数据的有效管理的技术效果。
附图说明
图1为本发明实施例一提供的一种基于深度学习的安全监测方法的流程图;
图2为本发明实施例二提供的一种基于深度学习的安全监测方法的流程图;
图3为本发明实施例二提供的替代实施例的基于深度学习的安全监测方法的流程图;
图4为本发明实施例二提供的替代实施例的基于深度学习的安全监测方法的流程图;
图5为本发明实施例二提供的替代实施例的基于深度学习的安全监测方法的流程图;
图6为本发明实施例二提供的另一种基于深度学习的安全监测方法的流程图;
图7为本发明实施例三提供的一种基于深度学习的安全监测系统的结构示意图;
图8为本发明实施例四提供的一种服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理,但是其中的许多步骤可以被并行地、并发地或者同时实施。此外,各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止,但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
此外,术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等,但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一获取模块称为第二获取模块,且类似地,可将第二获取模块称为第一获取模块。第一获取模块和第二获取模块两者都是获取模块,但其不是同一获取模块。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
实施例一
图1为本发明实施例一提供的一种基于深度学习的安全监测方法的流程图,本实施例可适用于监测区域内待监测目标的视频分析的情况,该方法可以由处理器来执行。如图1所示,基于深度学习的安全监测方法,具体包括如下步骤:
步骤S110、获取监测区域内待监测目标的视频数据;
具体的,监控人员可以在需要进行监测的区域内安装监控摄像头等监控设备,对监测区域进行实时监控,并得到对应的监测视频。
步骤S120、通过预先训练的第一模型对视频数据进行分析,以获取监测区域内的待监测目标的监测特征信息;
具体的,监控人员可以预先建立好针对视频数据进行数据分析的训练模型,在得到视频数据后,监测人员可以通过预先建立好的训练模型对视频数据进行分析,从而将视频内容中包含的数据(如待监测目标的行为数据),即监测特征信息识别或者提取出来。
步骤S130、根据监测特征信息判断待监测目标是否存在异常;
具体的,在步骤S120中通过训练模型得到的检测特征信息后,根据监测特征信息判断待监测目标是否存在异常。在本实施例中,监测特征信息可以包括监测目标动作信息、监测目标停留时长信息、烟雾检测信息和监测目标服装信息中的一种或多种。
步骤S140、当待监测目标存在异常时进行报警操作。
具体的,可以根据监测特征信息的阈值或置信度判断待监测目标是否存在异常,比如,当监测特征信息为监测目标动作信息时,若监测目标动作信息的置信度大于等于预先设置的置信度阈值,说明监测目标动作信息不存在异常,若待监测目标信息的置信度小于预先设置的置信度阈值,说明待监测目标动作存在异常,这时安全监测系统需要进行报警操作,以提醒监控人员监控区域可能存在异常如可疑人员或吸烟人员等。
本发明实施例一的有益效果在于通过对视频数据进行基于深度学习的训练,解决了现有技术中针对大量的视频信息,不能及时对视频中的非结构化数据形式和内容进行分析和梳理从而导致数据流失的技术问题,实现了对视频数据的语义结构化提取和对视频数据的有效管理的技术效果。
实施例二
本发明实施例二是在实施例一的基础上做的进一步优化。图2为本发明实施例二的基于深度学习的安全监测方法的流程图。如图2所示,本实施例的基于深度学习的安全监测方法,包括:
步骤S210、获取监测区域内待监测目标的视频数据;
具体的,监控人员可以在需要进行监测的区域内安装监控摄像头等监控设备,对监测区域进行实时监控,并得到对应的监测视频。
在本实施例中,监测特征信息可以包括监测目标动作信息、监测目标停留时长信息、烟雾检测信息和监测目标服装信息中的一种或多种。
步骤S220、对视频数据进行卷积神经网络的训练,以得到分析监测目标动作信息、监测目标停留时长信息、烟雾检测信息和监测目标服装信息对应的第一模型;
具体的,监控人员或工作人员可以预先设置好用于分析视频数据的训练模型。比如对监控视频图像中的人员、车辆、非机动车等关注目标进行持续的监测和跟踪,并择优选择关键帧图像进行人车的属性识别,从而获取车牌、车型、品牌、人员性别、年龄服饰等监测特征信息。在本实施例中,在获取了如监测目标动作信息、监测目标停留时长信息、烟雾检测信息和监测目标服装信息的监测特征信息这些结构化信息后,监控人员或工作人员可以通过大规模并行处理数据库、数据挖掘、分布式文件系统、分笔试数据库、云计算平台可扩展的存储系统,实现结构化视频数据的存储、计算和应用,也就是说,在对视频数据进行了深度学习的训练后,可以得到视频中非结构化的数据形式(如人体、车辆)和视频语义内容,再将这些得到的数据信息按照结构化的形式存储到对应的存储系统中,从而实现对视频数据的有效分析、组织和管理。
步骤S231、使用第一模型对视频数据进行基于监测目标动作信息的识别,以获取待监测目标的监测目标动作信息;
具体的,在本实施例中,人体行为识别可以采用骨架行为检测,即通过红绿蓝(redgreen blue,RGB)图像进行关节点估计(Pose Estimation)。每一时刻(帧)骨架对应人体的18个关节点所在的坐标位置信息,一个时间序列由若干帧组成,行为识别就是对时域预先分割好的序列判定其所属行为动作的类型,即“读懂行为”。对特定区域人员骨架进行识别,尤其是针对监测区域内人员是否发生打架斗殴的识别,整个过程经历了开始的靠近阶段、挥动拳脚的高潮阶段以及结束阶段。相比之下,挥动拳脚的高潮阶段包含了更多的信息,最有助于动作的判别。依据时域注意力模型,通过一个子网络来自动学习和获知序列中不同帧的重要性,使重要的帧在分类中起更大的作用,以优化识别的精度。
步骤S232、根据第一预设权重值计算监测目标动作信息的第一置信度;
具体的,在本实施例中,对待监测目标的动作进行监测主要依赖于人体的肢体动作以及相对位置和移动速度进行判断。在计算第一置信度时,可以采用经过优化的光流法(光流法指的是一种简单实用的图像运动的表达方式,通常定义为一个图像序列中的图像亮度模式的表观运动,即空间物体表面上的点的运动速度在视觉传感器的成像平面上的表达),计算人体的相对位置、运动矢量、相对运动速度和肢体接触的速度等。置信度,也称为可靠度,或置信水平、置信系数,即在抽样对总体参数作出估计时,由于样本的随机性,其结论总是不确定的。因此,采用一种概率的陈述方法,也就是数理统计中的区间估计法,即估计值与总体参数在一定允许的误差范围以内,其相应的概率有多大,这个相应的概率称作置信度或置信度。
步骤S233、根据监测目标动作信息的预设参数阈值和第一置信度判断待监测目标的动作状态。
具体的,可以预先设置算法的参数阈值,并对不同的参数阈值设置对应的权重值,根据不同的权重值、参数阈值和监测目标动作信息计算得到监测目标动作信息的第一置信度后,根据第一置信度判断待监测目标的动作状态。举例来说,当监控人员或工作人员需要针对打架斗殴行为的识别时,若第一置信度大于等于置信度阈值(可以是监测目标动作信息的预设参数阈值)时,则说明在监测区域内没有发生异常,即待监测目标的动作状态不存在异常,也就是说没有发生打架斗殴;若第一置信度小于置信度阈值时,则说明在监测区域内存在异常,即待监测目标的动作状态为打架,这时安全监测系统会发出报警信号,从而通知监控人员或工作人员对监控区域进行安全排查处理,确保监控区域内的安全。在本实施例中,还可以辅助采用面部表情识别,从而更精准的对待监测目标的动作状态进行判断。
图3为本发明实施例二提供的替代实施例的基于深度学习的安全监测方法的流程图。图4为本发明实施例二提供的替代实施例的基于深度学习的安全监测方法的流程图。图5为本发明实施例二提供的替代实施例的基于深度学习的安全监测方法的流程图。
如图3所示,步骤S231至步骤S233的替代实施例可以是:
步骤S241、使用第一模型对视频数据进行基于监测目标停留时长信息的识别,以获取待监测目标的监测目标停留时长信息;
步骤S242、根据第二预设权重值和监测目标停留时长信息计算监测目标停留时长信息的第二置信度;
步骤S243、根据监测目标停留时长信息的预设参数阈值和第二置信度判断待监测目标的逗留状态。
具体的,在本实施例中,可以针对监控区域内待监测目标的逗留时间进行监测。在监测目标停留时长时间的第一模型中,根据第二预设权重值和监测目标停留时长信息计算第二置信度,再根据第二置信度和预设参数阈值和第二置信度判断待监测目标的逗留状态。当第二置信度大于等于预设的置信度阈值时(可以是监测目标停留时长信息的预设参数阈值),则说明待监测目标的逗留状态为正常停留,而当第二置信度小于预设的置信度阈值时,则说明待监测目标的逗留状态为过长逗留,这时安全监测系统会发出报警信号,从而通知监控人员或工作人员对监控区域内的逗留人员或车辆进行安全排查处理,确保监控区域内的安全。
如图4所示,步骤S231至步骤S233的替代实施例还可以是:
步骤S251、使用第一模型对视频数据进行基于烟雾检测信息的识别,以获取待监测目标的烟雾检测信息;
步骤S252、根据烟雾检测信息计算烟雾浓度并确定烟雾所在区域和待监测目标的吸烟动作;
步骤S253、根据烟雾浓度、烟雾所在区域和待监测目标的吸烟动作计算烟雾检测信息的第三置信度;
步骤S254、根据烟雾检测信息的预设参数阈值和第三置信度判断待监测目标的吸烟状态。
具体的,在本实施例中,可以针对待监测目标的吸烟状态进行检测。吸烟检测主要依赖于对烟雾浓度的检测、烟雾位置的检测和吸烟动作的检测,因此需要三个神经网络分别检测烟雾浓度、烟雾所在区域和待监测目标的吸烟动作,并在对应的神经网络下分别得到烟雾浓度、烟雾所在区域和吸烟动作的第三置信度,这三者的第三置信度按照不同权重计算后得到烟雾检测信息的第三置信度。当第三置信度大于等于置信度阈值(可以是烟雾检测信息的预设参数阈值)时,则说明待监测目标的吸烟状态为不吸烟,而当第三置信度小于置信度阈值时,则说明待监测目标的吸烟状态为吸烟,这时安全监测系统会发出报警信号,从而通知监控人员或工作人员对监控区域内的人员进行排查,确保监控区域内空气的健康以及设施安全。
如图5所示,步骤S231至步骤S233的替代实施例还可以是:
步骤S261、使用第一模型对视频数据进行基于监测目标服装信息的识别,以获取待监测目标的监测目标服装信息;
步骤S262、根据监测目标服装信息和监测目标服装信息的预设权重值计算监测目标服装信息的第四置信度;
步骤S263、根据监测目标服装信息的预设参数阈值和第四置信度判断待监测目标的着装状态。
具体的,在本实施例中,可以针对待监测目标的着装状态进行检测。在进行着装状态的检测时,主要通过服装的颜色、服装的特殊标识进行服装的识别,而服装颜色的检测需要考虑环境和色差带来的误差问题。因此,在进行待监测目标的着装状态检测之前,可以先通过神经网络,对不同的服装颜色的数据集和不同的服装的特殊标识的数据集进行识别,当这个针对待监测目标的着装状态的训练模型的误差范围在允许的误差范围内时,再开始运用于对待监测目标的着装状态的检测。在得到待监测目标的监测目标服装信息后,可以根据不同的权重值计算第四置信度。当第四置信度大于等于置信度阈值时(可以是监测目标服装信息的预设参数阈值),则说明待监测目标的着装状态为正常着装,而当第四置信度小于置信度阈值时,则说明待监测目标的着装状态为异常着装,这时安全监测系统会发出报警信号,从而通知监控人员或工作人员对监控区域内的人员进行排查,防止可疑人员危害他人或公共设施的安全。
图7为本发明实施例三提供的一种基于深度学习的安全监测系统的结构示意图。在本实施例中,基于深度学习的安全监测方法还包括:
步骤S271、若待监测目标的动作状态为打架时,则待监测目标存在异常;
步骤S272、若待监测目标的逗留状态为过长逗留时,则待监测目标存在异常;
步骤S273、若待监测目标的吸烟状态为吸烟时,则待监测目标存在异常;
步骤S274、若待监测目标的着装状态为异常着装时,则待监测目标存在异常;
步骤S280、当待监测目标存在异常时进行报警操作。
具体的,可以分别根据第一、第二、第三和第四置信度判断待监测目标的动作状态、逗留状态、吸烟状态和着装状态。当任何一个待监测目标的状态出现异常时,安全监测系统将会进行报警操作,从而通知监控人员或安保人员监测区域内可能存在的安全隐患,进而针对性的采取防范措施。
本发明实施例二的有益效果在于通过对视频数据进行基于深度学习的训练,并针对视频数据中待监测目标的信息分别在对应的神经网络中进行数据分析,解决了现有技术中针对大量的视频信息,不能及时对视频中的非结构化数据形式和内容进行分析和梳理从而导致数据流失的技术问题,实现了对视频数据的语义结构化提取和对视频数据的有效管理的技术效果。
实施例三
图3为本发明实施例三提供的一种基于深度学习的安全监测系统的结构示意图。如图3所示,本实施例的基于深度学习的安全监测系统300,包括:
第一获取模块310,用于获取监测区域内待监测目标的视频数据;
第二获取模块320,用于通过预先训练的第一模型对视频数据进行分析,以获取监测区域内的待监测目标的监测特征信息;
判断模块330,用于根据监测特征信息判断待监测目标是否存在异常;
报警模块340,用于当待监测目标存在异常时进行报警操作。
在本实施例中,监测特征信息包括监测目标动作信息、监测目标停留时长信息、烟雾检测信息和监测目标服装信息中的一种或多种。
在本实施例中,基于深度学习的安全监测系统300还包括:
训练模块350,用于对视频数据进行卷积神经网络的训练,以得到分析监测目标动作信息、监测目标停留时长信息、烟雾检测信息和监测目标服装信息对应的第一模型。
在本实施例中,第二获取模块320包括:
第一训练单元,用于使用第一模型对视频数据进行基于监测目标动作信息的识别,以获取待监测目标的监测目标动作信息;
第一计算单元,用于根据第一预设权重值计算监测目标动作信息的第一置信度;
第一判断单元,用于根据监测目标动作信息的预设参数阈值和第一置信度判断待监测目标的动作状态。
在本实施例中,第二获取模块320还包括:
第二训练单元,用于使用第一模型对视频数据进行基于监测目标停留时长信息的识别,以获取待监测目标的监测目标停留时长信息;
第二计算单元,用于根据第二预设权重值和监测目标停留时长信息计算监测目标停留时长信息的第二置信度;
第二判断单元,用于根据监测目标停留时长信息的预设参数阈值和第二置信度判断待监测目标的逗留状态。
在本实施例中,第二获取模块320还包括:
第三训练单元,用于使用第一模型对视频数据进行基于烟雾检测信息的识别,以获取待监测目标的烟雾检测信息;
第三计算单元,用于根据烟雾检测信息计算烟雾浓度并确定烟雾所在区域和待监测目标的吸烟动作;
第四计算单元,用于根据烟雾浓度、烟雾所在区域和待监测目标的吸烟动作计算烟雾检测信息的第三置信度;
第三判断单元,用于根据烟雾检测信息的预设参数阈值和第三置信度判断待监测目标的吸烟状态。
在本实施例中,第二获取模块320还包括:
第四训练单元,用于使用第一模型对视频数据进行基于监测目标服装信息的识别,以获取待监测目标的监测目标服装信息;
第五计算单元,用于根据监测目标服装信息和监测目标服装信息的预设权重值计算监测目标服装信息的第四置信度;
第四判断单元,用于根据监测目标服装信息的预设参数阈值和第四置信度判断待监测目标的着装状态。
在本实施例中,判断模块330包括:
第五判断单元,用于若待监测目标的动作状态为打架时,则待监测目标存在异常;
第六判断单元,用于若待监测目标的逗留状态为过长逗留时,则待监测目标存在异常;
第七判断单元,用于若待监测目标的吸烟状态为吸烟时,则待监测目标存在异常;
第八判断单元,用于若待监测目标的着装状态为异常着装时,则待监测目标存在异常。
本发明实施例所提供的基于深度学习的安全监测系统可执行本发明任意实施例所提供的基于深度学习的安全监测方法,具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种服务器的结构示意图,如图4所示,该服务器包括处理器410、存储器420、输入装置430和输出装置440;服务器中处理器410的数量可以是一个或多个,图4中以一个处理器410为例;服务器中的处理器410、存储器420、输入装置430和输出装置440可以通过总线或其他方式连接,图4中以通过总线连接为例。
存储器410作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的基于深度学习的安全监测系统对应的程序指令/模块(例如,基于深度学习的安全监测系统的第一获取模块、第二获取模块、判断模块、报警模块和训练模块)。处理器410通过运行存储在存储器420中的软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述的基于深度学习的安全监测方法。
也即:
获取监测区域内待监测目标的视频数据;
通过预先训练的第一模型对视频数据进行分析,以获取监测区域内的待监测目标的监测特征信息;
根据监测特征信息判断待监测目标是否存在异常;
当待监测目标存在异常时进行报警操作。
存储器420可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器420可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器420可进一步包括相对于处理器410远程设置的存储器,这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字或字符信息,以及产生与服务器的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质,计算机可执行指令在由计算机处理器执行时用于执行一种基于深度学习的安全监测方法,该方法包括:
获取监测区域内待监测目标的视频数据;
通过预先训练的第一模型对视频数据进行分析,以获取监测区域内的待监测目标的监测特征信息;
根据监测特征信息判断待监测目标是否存在异常;
当待监测目标存在异常时进行报警操作。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上的方法操作,还可以执行本发明任意实施例所提供的基于深度学习的安全监测方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
值得注意的是,上述基于深度学习的安全监测系统的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (8)
1.一种基于深度学习的安全监测方法,其特征在于,包括:
获取监测区域内待监测目标的视频数据;
通过预先训练的第一模型对所述视频数据进行分析,以获取监测区域内的所述待监测目标的监测特征信息;
根据所述监测特征信息判断待监测目标是否存在异常;
当所述待监测目标存在异常时进行报警操作;
其中,所述监测特征信息包括监测目标动作信息、监测目标停留时长信息、烟雾检测信息和监测目标服装信息中的一种或多种;
其中,所述通过预先训练的第一模型对所述视频数据进行分析,以获取监测区域内的所述待监测目标的监测特征信息之前包括:
对所述视频数据进行卷积神经网络的训练,以得到分析所述监测目标动作信息、监测目标停留时长信息、烟雾检测信息和监测目标服装信息对应的第一模型;
其中,所述通过预先训练的第一模型对所述视频数据进行分析,以获取监测区域内的所述待监测目标的监测特征信息包括:
使用所述第一模型对所述视频数据进行基于所述监测目标停留时长信息的识别,以获取所述待监测目标的监测目标停留时长信息;
根据第二预设权重值和所述监测目标停留时长信息计算所述监测目标停留时长信息的第二置信度;
根据所述监测目标停留时长信息的预设参数阈值和所述第二置信度判断所述待监测目标的逗留状态;
其中,所述监测目标停留时长信息通过对监控视频图像监测和跟踪,并择优选择关键帧图像进行所述监测目标停留时长信息的识别确定。
2.根据权利要求1所述的一种基于深度学习的安全监测方法,其特征在于,所述通过预先训练的第一模型对所述视频数据进行分析,以获取监测区域内的所述待监测目标的监测特征信息包括:
使用所述第一模型对所述视频数据进行基于所述监测目标动作信息的识别,以获取所述待监测目标的监测目标动作信息;
根据第一预设权重值计算所述监测目标动作信息的第一置信度;
根据所述监测目标动作信息的预设参数阈值和所述第一置信度判断所述待监测目标的动作状态。
3.根据权利要求1所述的一种基于深度学习的安全监测方法,其特征在于,所述通过预先训练的第一模型对所述视频数据进行分析,以获取监测区域内的所述待监测目标的监测特征信息还包括:
使用所述第一模型对所述视频数据进行基于所述烟雾检测信息的识别,以获取所述待监测目标的烟雾检测信息;
根据所述烟雾检测信息计算烟雾浓度并确定烟雾所在区域和所述待监测目标的吸烟动作;
根据所述烟雾浓度、烟雾所在区域和所述待监测目标的吸烟动作计算所述烟雾检测信息的第三置信度;
根据所述烟雾检测信息的预设参数阈值和所述第三置信度判断所述待监测目标的吸烟状态;
其中,所述烟雾浓度、烟雾所在区域和所述待监测目标的吸烟动作的置信度是通过不同的神经网络分别检测所述烟雾浓度、烟雾所在区域和待监测目标的吸烟动作确定的。
4.根据权利要求1所述的一种基于深度学习的安全监测方法,其特征在于,所述通过预先训练的第一模型对所述视频数据进行分析,以获取监测区域内的所述待监测目标的监测特征信息还包括:
使用所述第一模型对所述视频数据进行基于所述监测目标服装信息的识别,以获取所述待监测目标的监测目标服装信息;
根据所述监测目标服装信息和所述监测目标服装信息的预设权重值计算所述监测目标服装信息的第四置信度;
根据所述监测目标服装信息的预设参数阈值和所述第四置信度判断所述待监测目标的着装状态。
5.根据权利要求1-4所述的一种基于深度学习的安全监测方法,其特征在于,所述根据所述待监测目标的状态判断所述待监测目标是否存在异常包括:
若所述待监测目标的动作状态为打架时,则所述待监测目标存在异常;
若所述待监测目标的逗留状态为过长逗留时,则所述待监测目标存在异常;
若所述待监测目标的吸烟状态为吸烟时,则所述待监测目标存在异常;
若所述待监测目标的着装状态为异常着装时,则所述待监测目标存在异常。
6.一种基于深度学习的安全监测系统,其特征在于,包括:
第一获取模块,用于获取监测区域内待监测目标的视频数据;
第二获取模块,用于通过预先训练的第一模型对所述视频数据进行分析,以获取监测区域内的所述待监测目标的监测特征信息;
判断模块,用于根据所述监测特征信息判断待监测目标是否存在异常;
报警模块,用于当所述待监测目标存在异常时进行报警操作;
其中,所述监测特征信息包括监测目标动作信息、监测目标停留时长信息、烟雾检测信息和监测目标服装信息中的一种或多种;
其中,训练模块用于对所述视频数据进行卷积神经网络的训练,以得到分析所述监测目标动作信息、监测目标停留时长信息、烟雾检测信息和监测目标服装信息对应的第一模型;
其中,第一训练单元,用于使用所述第一模型对所述视频数据进行基于所述监测目标停留时长信息的识别,以获取所述待监测目标的监测目标停留时长信息;
第一计算单元,用于根据第二预设权重值和所述监测目标停留时长信息计算所述监测目标停留时长信息的第二置信度;
第一判断单元,用于根据所述监测目标停留时长信息的预设参数阈值和所述第二置信度判断所述待监测目标的逗留状态;
其中,所述监测目标停留时长信息通过对监控视频图像监测和跟踪,并择优选择关键帧图像进行所述监测目标停留时长信息的识别确定。
7.一种服务器,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1-5中任一项所述基于深度学习的安全监测方法的步骤。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-5中任一项所述基于深度学习的安全监测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911165549.5A CN111126153B (zh) | 2019-11-25 | 2019-11-25 | 基于深度学习的安全监测方法、系统、服务器及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911165549.5A CN111126153B (zh) | 2019-11-25 | 2019-11-25 | 基于深度学习的安全监测方法、系统、服务器及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111126153A CN111126153A (zh) | 2020-05-08 |
CN111126153B true CN111126153B (zh) | 2023-07-21 |
Family
ID=70496626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911165549.5A Expired - Fee Related CN111126153B (zh) | 2019-11-25 | 2019-11-25 | 基于深度学习的安全监测方法、系统、服务器及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111126153B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111586190B (zh) * | 2020-05-22 | 2021-03-16 | 江苏濠汉信息技术有限公司 | 一种用于车载的封样监控系统及装置 |
CN115460433B (zh) * | 2021-06-08 | 2024-05-28 | 京东方科技集团股份有限公司 | 一种视频处理方法、装置、电子设备及存储介质 |
CN113609937B (zh) * | 2021-07-24 | 2023-12-22 | 全图通位置网络有限公司 | 一种城市轨道交通的应急处理方法、系统及存储介质 |
CN113889287A (zh) * | 2021-10-19 | 2022-01-04 | 成都万维科技有限责任公司 | 数据处理方法、装置、系统及存储介质 |
CN114037139B (zh) * | 2021-11-04 | 2024-09-17 | 华东师范大学 | 一种基于注意力机制的货运车辆仓库逗留时长预测方法 |
CN114885119A (zh) * | 2022-03-29 | 2022-08-09 | 西北大学 | 一种基于计算机视觉的智能监控报警系统及方法 |
CN117253333A (zh) * | 2023-11-20 | 2023-12-19 | 深圳市美安科技有限公司 | 一种火灾摄像检测装置、火灾检测报警方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013125469A (ja) * | 2011-12-15 | 2013-06-24 | Sogo Keibi Hosho Co Ltd | 警備装置および警備動作切替え方法 |
CN105788364A (zh) * | 2014-12-25 | 2016-07-20 | 中国移动通信集团公司 | 一种预警信息的发布方法及装置 |
CN106530331A (zh) * | 2016-11-23 | 2017-03-22 | 北京锐安科技有限公司 | 视频监控系统及方法 |
JP2019149039A (ja) * | 2018-02-27 | 2019-09-05 | パナソニックIpマネジメント株式会社 | 見守りシステム及び見守り方法 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8237771B2 (en) * | 2009-03-26 | 2012-08-07 | Eastman Kodak Company | Automated videography based communications |
JP2010246000A (ja) * | 2009-04-09 | 2010-10-28 | Panasonic Corp | 映像サーチ再生装置 |
CN101778260B (zh) * | 2009-12-29 | 2012-01-04 | 公安部第三研究所 | 一种基于结构化描述的视频监控管理方法及系统 |
US9292533B2 (en) * | 2010-06-08 | 2016-03-22 | Dell Products L.P. | Systems and methods for improving storage efficiency in an information handling system |
US8616673B2 (en) * | 2010-10-29 | 2013-12-31 | Eastman Kodak Company | Method of controlling print density |
CN102572215A (zh) * | 2011-12-14 | 2012-07-11 | 深圳市贝尔信智能系统有限公司 | 城市级可视化视频分析方法及服务器 |
CN102665071B (zh) * | 2012-05-14 | 2014-04-09 | 安徽三联交通应用技术股份有限公司 | 一种社会治安视频监控图像智能处理和检索方法 |
WO2015025704A1 (ja) * | 2013-08-23 | 2015-02-26 | 日本電気株式会社 | 映像処理装置、映像処理方法および映像処理プログラム |
US9501693B2 (en) * | 2013-10-09 | 2016-11-22 | Honda Motor Co., Ltd. | Real-time multiclass driver action recognition using random forests |
CN105578126A (zh) * | 2014-11-11 | 2016-05-11 | 杜向阳 | 监控摄像头自动报警系统 |
US10878342B2 (en) * | 2017-03-30 | 2020-12-29 | Intel Corporation | Cloud assisted machine learning |
CN108734055B (zh) * | 2017-04-17 | 2021-03-26 | 杭州海康威视数字技术股份有限公司 | 一种异常人员检测方法、装置及系统 |
CN108021891B (zh) * | 2017-12-05 | 2020-04-14 | 广州大学 | 基于深度学习与传统算法结合的车辆环境识别方法和系统 |
CN108288032B (zh) * | 2018-01-08 | 2020-11-10 | 深圳市腾讯计算机系统有限公司 | 动作特征获取方法、装置及存储介质 |
CN108764148B (zh) * | 2018-05-30 | 2020-03-10 | 东北大学 | 基于监控视频的多区域实时动作检测方法 |
CN108960065B (zh) * | 2018-06-01 | 2020-11-17 | 浙江零跑科技有限公司 | 一种基于视觉的驾驶行为检测方法 |
CN109241946A (zh) * | 2018-10-11 | 2019-01-18 | 平安科技(深圳)有限公司 | 异常行为监控方法、装置、计算机设备及存储介质 |
CN109614948B (zh) * | 2018-12-19 | 2020-11-03 | 北京锐安科技有限公司 | 异常行为的检测方法、装置、设备和存储介质 |
CN110033007B (zh) * | 2019-04-19 | 2022-08-09 | 福州大学 | 基于深度姿态预估和多特征融合的行人衣着属性识别方法 |
CN110163171B (zh) * | 2019-05-27 | 2020-07-31 | 北京字节跳动网络技术有限公司 | 用于识别人脸属性的方法和装置 |
CN110414313B (zh) * | 2019-06-06 | 2024-02-13 | 平安科技(深圳)有限公司 | 异常行为告警方法、装置、服务器及存储介质 |
CN110472492A (zh) * | 2019-07-05 | 2019-11-19 | 平安国际智慧城市科技股份有限公司 | 目标生物检测方法、装置、计算机设备和存储介质 |
-
2019
- 2019-11-25 CN CN201911165549.5A patent/CN111126153B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013125469A (ja) * | 2011-12-15 | 2013-06-24 | Sogo Keibi Hosho Co Ltd | 警備装置および警備動作切替え方法 |
CN105788364A (zh) * | 2014-12-25 | 2016-07-20 | 中国移动通信集团公司 | 一种预警信息的发布方法及装置 |
CN106530331A (zh) * | 2016-11-23 | 2017-03-22 | 北京锐安科技有限公司 | 视频监控系统及方法 |
JP2019149039A (ja) * | 2018-02-27 | 2019-09-05 | パナソニックIpマネジメント株式会社 | 見守りシステム及び見守り方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111126153A (zh) | 2020-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111126153B (zh) | 基于深度学习的安全监测方法、系统、服务器及存储介质 | |
Zhan et al. | A high-precision forest fire smoke detection approach based on ARGNet | |
Zeng et al. | Agent-centric risk assessment: Accident anticipation and risky region localization | |
US10009579B2 (en) | Method and system for counting people using depth sensor | |
US20190294881A1 (en) | Behavior recognition | |
US20210124914A1 (en) | Training method of network, monitoring method, system, storage medium and computer device | |
Chowdhury et al. | Computer vision and smoke sensor based fire detection system | |
US8675917B2 (en) | Abandoned object recognition using pedestrian detection | |
JP2015523753A (ja) | ガウスプロセスに基づく変分ベイズ期待値最大化を使用する異常なオブジェクトのトラック決定 | |
CN110189355A (zh) | 安全疏散通道占用检测方法、装置、电子设备及存储介质 | |
CN109766755A (zh) | 人脸识别方法及相关产品 | |
CN111353436A (zh) | 基于图像深度学习算法的超门店经营分析方法和装置 | |
CN107330414A (zh) | 暴力行为监控方法 | |
CN105976398A (zh) | 一种白天火灾视频检测方法 | |
CN112071084A (zh) | 一种利用深度学习判断违章停车的方法和系统 | |
CN111539325A (zh) | 基于深度学习的森林火灾探测方法 | |
CN111914656A (zh) | 一种人员行为检测方法、装置、电子设备及存储介质 | |
Zhang | A Yolo-based Approach for Fire and Smoke Detection in IoT Surveillance Systems. | |
CN116419059A (zh) | 基于行为标签的自动监控方法、装置、设备及介质 | |
CN117495804A (zh) | 充电站安全监测方法、装置、计算机设备和存储介质 | |
CN104077571B (zh) | 一种采用单类序列化模型的人群异常行为检测方法 | |
CN115083229B (zh) | 基于ai视觉识别的飞行训练设备智能识别与警示系统 | |
Wang et al. | Explainable deep learning for image-driven fire calorimetry | |
CN117854010B (zh) | 一种人员行为类型的检测方法、检测装置、设备及介质 | |
Tian et al. | Latency-aware road anomaly segmentation in videos: A photorealistic dataset and new metrics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20230721 |
|
CF01 | Termination of patent right due to non-payment of annual fee |