CN115019402B - 一种岸边人员危险行为检测方法、电子设备和存储介质 - Google Patents

Abstract

本申请涉及一种岸边人员危险行为检测方法、电子设备和存储介质，该方法包括：获取岸边的监控视频，根据监控视频确定河堤区域；提取河堤区域的像素点信息，根据像素点信息计算河堤趋势得分；根据河堤趋势得分与零的关系，确定河堤检测区域；获取监控视频中的人员信息，根据人员信息确定人员是否存在于所述河堤检测区域；在人员存在于河堤检测区域以及人员不存在于所述河堤检测区域的情况下，分别确定人员状态得分、人员步行得分和人员溺水得分；根据连续多帧图像中人员是否存在于河堤检测区域确定人员是否存在闯入河堤检测区域的行为；若存在闯入河堤检测区域的行为，确定人员是否存在危险行为；若确定人员存在危险行为，发送报警信息至管理处。

Description

一种岸边人员危险行为检测方法、电子设备和存储介质

技术领域

本申请涉及安全技术领域，特别是涉及一种岸边人员危险行为检测方法、电子设备和存储介质。

背景技术

根据世界卫生组织的数据，溺水是造成全球人口意外死亡的第三大原因，我国每年约有5.7万人死于溺水。为切实保障群众生命安全，相关部门针对重点水域进行监控，并轮流对河流、沟渠、水库、矿坑、池塘等危险水域进行巡视，但人工巡检往往存在工作量大、发现不及时等弊端。由此，需提供一种岸边人员危险行为检测方法，实时检测近河人员，标记潜在危险情况，及时警报，以弥补人力有限的漏洞及肉眼观察的不足，进一步降低甚至杜绝溺水事故的发生。

发明内容

基于上述问题，本申请提供一种岸边人员危险行为检测方法、电子设备和存储介质。

第一方面，本申请实施例提供一种岸边人员危险行为检测方法，包括：

获取岸边的监控视频，根据监控视频确定河堤区域；

提取河堤区域的像素点信息，根据像素点信息计算河堤趋势得分；

根据河堤趋势得分与零的关系，分别确定第一河堤检测区域和第二河堤检测区域，汇总第一河堤检测区域和第二河堤检测区域得到河堤检测区域；

获取监控视频中的人员信息，根据人员信息确定人员是否存在于所述河堤检测区域；

在人员存在于河堤检测区域以及人员不存在于所述河堤检测区域的情况下，分别确定人员状态得分、人员步行得分和人员溺水得分；

根据连续多帧图像中人员是否存在于河堤检测区域确定人员是否存在闯入河堤检测区域的行为；

若存在闯入河堤检测区域的行为，根据人员状态得分和人员步行得分以及人员溺水得分确定人员移动得分、人员倒地得分、人员站立得分、持续溺水得分、人员岸上得分和人员水上得分；

分别根据人员移动得分、人员倒地得分、人员站立得分、持续溺水得分、人员岸上得分、人员水上得分和预设阈值的关系确定人员是否存在危险行为；

若确定人员存在危险行为，发送报警信息至管理处。

进一步地，上述一种岸边人员危险行为检测方法中，提取所述河堤区域的像素点信息，根据所述像素点信息计算河堤趋势得分，包括：提取河堤区域的像素点坐标集合{(x0_i,y0_i)}，其中i为像素点的序号，统计得到像素点坐标集合的元素数N₀，通过如下公式计算得到河堤趋势得分g_t：

ts₁为第一预设阈值，

进一步地，上述一种岸边人员危险行为检测方法中，根据河堤趋势得分与零的关系，确定第一河堤检测区域，包括：

当河堤趋势得分g_t不等于零时，提取像素点坐标集合中纵坐标y0_i的范围[down₀,up₀]，对于河堤坐标集合中的任一行y0_i＝j，其中j∈[down₀,up₀]，提取行内横坐标范围[down₁,up₁]以及每一个像素点的灰度值gr_k，其中k∈[down₁,up₁]表示点的横坐标；

当每一个像素点的灰度值gr_k大于第二预设阈值ts₂时，像素点的边缘得分gb_k＝1；当每一个像素点的灰度值gr_k小于等于第二预设阈值ts₂时，像素点的边缘得分gb_k＝-1；

根据像素点的边缘得分计算行上沿得分：

根据像素点的边缘得分计算行下沿得分：

当河堤趋势得分g_t>0时，获取行河堤坐标集合中的任一行y0_i＝j的行右边界坐标xrb_j和行左边界坐标xlb_j，

其中，gx1_j为边缘得分gb_k＝1的像素点中最大的横坐标值，

xlb_j＝max(0,(1-c₁)xrb_j-c₁down₁)

c₁为历史数据训练得到的第一修正常数；

当河堤趋势得分g_t<0时，获取行河堤坐标集合中的任一行y0_i＝j的行左边界坐标xlb_j和行右边界坐标xrb_j，

其中，gx2_j为边缘得分gb_k＝1的像素点中最小的横坐标值，

xrb_j＝min(W,(1+c₁)up₁-c₁xlb_j)

将满足如下条件：

y0_i＝j

xlb_j≤x0_i≤xrb_j

的像素点(x0_i,y0_i)提取出来作为行y0_i＝j的检测区域像素点集合，将河堤坐标集合中的每一行y0_i＝j的检测区域像素点集合汇总得到第一河堤检测区域，其中j∈[down₀,up₀]，W表示监控视频的宽。

进一步地，上述一种岸边人员危险行为检测方法中，根据河堤趋势得分与零的关系，确定第二河堤检测区域，包括：

当河堤趋势得分g_t＝0时，提取像素点坐标集合中纵坐标x0_i的范围[down₂,up₂]，对于河堤坐标集合中的任一列x0_i＝k，其中k∈[down₂,up₂]，提取行内纵坐标范围[down₃,up₃]，

计算列x0_i＝k的列上边界

yub_k＝min(H,c₂down₃+(1-c₂)up₃)

计算列x0_i＝k的列下边界

ydb_k＝max(0,(1+c₃)down₃-c₃up₃)

其中，c₂为历史数据训练得到的第二修正常数，c₃为历史数据训练得到的第三修正常数，

将满足如下条件：

x0_i＝k

ydb_k≤y0_i≤yub_k

的像素点(x0_i,y0_i)提取出来作为行x0_i＝k的检测区域像素点集合，将河堤坐标集合中的每一列x0_i＝k的检测区域像素点集合汇总得到第二河堤检测区域，其中k∈[down₂,up₂]，H表示监控视频的高。

进一步地，上述一种岸边人员危险行为检测方法中，在人员存在于所述河堤检测区域以及人员不存在于河堤检测区域的情况下，分别确定人员状态得分、人员步行得分和人员溺水得分；

若人员存在于河堤检测区域，获取河堤检测区域的人员关键点信息，根据检测到的人员关键点信息分别确定人员状态得分、人员步行得分和人员溺水得分；若人员不存在于河堤检测区域，确定人员状态得分、人员步行得分和人员溺水得分；包括：

检测人员关键点信息脖子(xn_a,yn_a)，手肘(xe1_a,ye1_a)，(xe2_a,ye2_a)，手腕(xs1_a,ys1_a)，(xs2_a,ys2_a)，胯骨(xk1_a,yk1_a)，(xk2_a,yk2_a)，膝盖(xa1_a,ya1_a)，(xa2_a,ya2_a)信息，

当人员关键点信息都检测到时，人员状态得分gz_a＝1，通过如下公式计算人员步行得分gs_a：

其中，

gs2_a＝max(g1_a+1,g2_a+1)

ts₃为第三预设阈值，ts₄为第四预设阈值，ts₅为第五预设阈值，ts₆为第六预设阈值，人员的溺水得分gn_a＝0；

当人员关键点信息中胯骨(xk1_a,yk1_a)，(xk2_a,yk2_a)，膝盖(xa1_a,ya1_a)，(xa2_a,ya2_a)都检测不到时，人员状态得分gz_a＝-1，通过如下公式计算人员的溺水得分gn_a：

ts₇为第七预设阈值，

gs3_a＝max(g3_a,g4_a)

人员的步行得分gs_a＝0；

若人员不存在于河堤检测区域时，人员状态得分gz_a＝0，人员步行得分gs_a＝0，人员的溺水得分gn_a＝0。

进一步地，上述一种岸边人员危险行为检测方法中，根据连续多帧图像中人员是否存在于河堤检测区域确定人员是否存在闯入河堤检测区域的行为，包括：

当检测到人员存在于河堤检测区域时，人员存在得分gj_a＝1，

当检测到人员不存在于河堤检测区域时，人员存在得分gj_a＝0，

从视频第a帧开始连续N₁帧图像，

当

时，

其中，ts₈为第八预设阈值，确定人员存在闯入河堤检测区域的行为。

进一步地，上述一种岸边人员危险行为检测方法中，根据所述人员状态得分和所述人员步行得分以及所述人员溺水得分确定人员移动得分、人员倒地得分、人员站立得分、持续溺水得分、人员岸上得分和人员水上得分，包括：根据所述人员状态得分gz_a和所述人员步行得分gs_a确定人员移动得分gy₀和人员倒地得分gr₀；根据所述人员状态得分gz_a、所述人员移动得分gy₀和所述人员倒地得分gr₀确定人员站立得分gt₀，根据所述人员状态得分gz_a和所述人员溺水得分gn_a确定持续溺水得分gp₀，根据所述人员状态得分gz_a确定人员岸上得分gq₁和人员水上得分gq₂，

确定人员移动得分gy₀的公式如下：

确定人员倒地得分gr₀的公式如下：

确定人员站立得分gt₀的公式如下：

确定人员持续溺水得分gp₀的公式如下：

确定人员岸上得分gq₁的公式如下：

确定人员水上得分gq₂的公式如下：

进一步地，上述一种岸边人员危险行为检测方法中，分别根据人员移动得分、人员倒地得分、人员站立得分、持续溺水得分、人员岸上得分、人员水上得分和预设阈值的关系确定人员是否存在危险行为，包括：

当人员持续溺水得分gp₀大于第九预设阈值ts₉时，确定人员存在溺水行为；当人员移动得分gy₀大于第十预设阈值ts₁₀时，确定人员存在河堤行走行为；

当人员倒地得分gr₀大于第十一预设阈值ts₁₁时，确定人员存在跌倒行为；当人员站立得分gt₀大于第十二预设阈值ts₁₂时，确定人员存在长时间站立行为；

当人员岸上得分gq₁大于人员水上得分gq₂,且,人员持续溺水得分gp₀大于第九预设阈值ts₉时，确定人员存在溺水后上岸行为；当人员岸上得分gq₁小于等于人员水上得分gq₂,且,人员持续溺水得分gp₀大于第九预设阈值ts₉时，确定人员存在从岸上掉入水中行为。

第二方面，本发明实施例还提供了一种电子设备，包括：处理器和存储器；

所述处理器通过调用所述存储器存储的程序或指令，用于执行如上所述任一项所述的所述一种岸边人员危险行为检测方法。

第三方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如上所述任一项所述的所述一种岸边人员危险行为检测方法。

本申请实施例的优点在于：通过获取岸边的监控视频，根据监控视频确定河堤区域；提取河堤区域的像素点信息，根据像素点信息计算河堤趋势得分；根据河堤趋势得分与零的关系，分别确定第一河堤检测区域和第二河堤检测区域，汇总第一河堤检测区域和第二河堤检测区域得到河堤检测区域；获取监控视频中的人员信息，根据人员信息确定人员是否存在于所述河堤检测区域；在人员存在于河堤检测区域以及人员不存在于所述河堤检测区域的情况下，分别确定人员状态得分、人员步行得分和人员溺水得分；根据连续多帧图像中人员是否存在于河堤检测区域确定人员是否存在闯入河堤检测区域的行为；若存在闯入河堤检测区域的行为，根据人员状态得分和人员步行得分以及人员溺水得分确定人员移动得分、人员倒地得分、人员站立得分、持续溺水得分、人员岸上得分和人员水上得分；分别根据人员移动得分、人员倒地得分、人员站立得分、持续溺水得分、人员岸上得分、人员水上得分和预设阈值的关系确定人员是否存在危险行为；若确定人员存在危险行为，发送报警信息至管理处，管理处人员根据报警信息及时的杜绝人危险行为的发生，而且管理处人员不需要去现场查看或者实时盯着监控，用户体验度高。

附图说明

为了更清楚地说明本申请实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种岸边人员危险行为检测方法示意图；

图2是本公开实施例提供的一种电子设备的示意性框图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵时做类似改进，因此本申请不受下面公开的具体实施的限制。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

图1为本申请实施例提供的一种岸边人员危险行为检测方法示意图。

第一方面，本申请实施例提供一种岸边人员危险行为检测方法，结合图1，包括S101至S109九个步骤：

S101：获取岸边的监控视频，根据监控视频确定河堤区域。

具体的，本申请实施例中，获取岸边的监控视频可以通过摄像头获取，根据监控视频确定河堤区域是通过河堤检测模型确定的，河堤检测模型是通过收集河堤的图像并对河堤区域进行标注，使用基于YOLO的训练模型对标注图像进行训练得到的。

S102：提取河堤区域的像素点信息，根据像素点信息计算河堤趋势得分。

具体的，本申请实施例中，下文结合具体的公式详细介绍提取河堤区域的像素点信息，根据像素点信息计算河堤趋势得分的步骤。

S103：根据河堤趋势得分与零的关系，分别确定第一河堤检测区域和第二河堤检测区域，汇总第一河堤检测区域和第二河堤检测区域得到河堤检测区域。

具体的，本申请实施例中，下文结合具体的公式详细介绍根据河堤趋势得分不等于零和等于零两种情况分别确定第一河堤检测区域和第二河堤检测区域的步骤，汇总第一河堤检测区域和第二河堤检测区域得到河堤检测区域。

S104：获取监控视频中的人员信息，根据人员信息确定人员是否存在于河堤检测区域。

具体的，本申请实施例中，如监控视频内的人员信息(x₁,y₁,w₁,h₁)，其中(x₁,y₁)为人员方框的左顶点坐标，w₁为人员方框的宽，h₁为人员方框的高。当点(x₁+0.5w₁,y₁+h₁)和(x₁+0.5w₁,y₁+0.5h₁)同时属于河堤检测区域时，确定人员存在于河堤检测区域，反之，确定人员不存在于河堤检测区域。

S105：在人员存在于河堤检测区域以及人员不存在于所述河堤检测区域的情况下，分别确定人员状态得分、人员步行得分和人员溺水得分。

具体的，本申请实施例中，下文结合具体的公式详细介绍在人员存在于河堤检测区域以及人员不存在于河堤检测区域的两种情况下，分别确定人员状态得分、人员步行得分和人员溺水得分的步骤。

S106：根据连续多帧图像中人员是否存在于河堤检测区域确定人员是否存在闯入河堤检测区域的行为。

具体的，本申请实施例中，下文结合具体的公式详细介绍确定人员是否存在闯入河堤检测区域的行为的步骤。

S107：若存在闯入河堤检测区域的行为，根据人员状态得分和人员步行得分以及人员溺水得分确定人员移动得分、人员倒地得分、人员站立得分、持续溺水得分、人员岸上得分和人员水上得分。

具体的，本申请实施例中，根据人员状态得分和人员步行得分确定人员移动得分和人员倒地得分；根据人员状态得分、人员移动得分和人员倒地得分确定人员站立得分，根据人员状态得分和人员溺水得分确定持续溺水得分，根据人员状态得分确定人员岸上得分和人员水上得分，下文结合具体的公式详细介绍确定步骤。

S108：分别根据人员移动得分、人员倒地得分、人员站立得分、持续溺水得分、人员岸上得分、人员水上得分和预设阈值的关系确定人员是否存在危险行为。

具体的，本申请实施例中，下文结合具体的预设阈值介绍确定人员是否存在危险行为步骤。

S109：若确定人员存在危险行为，发送报警信息至管理处。

具体的，本申请实施例中，在确定人员存在危险行为的情况下，发送报警信息至管理处，管理处人员根据报警信息及时的杜绝人危险行为的发生，而且管理处人员不需要去现场查看或者实时盯着监控，用户体验度高。

进一步地，上述一种岸边人员危险行为检测方法中，提取所述河堤区域的像素点信息，根据所述像素点信息计算河堤趋势得分，包括：提取河堤区域的像素点坐标集合{(x0_i,y0_i)}，其中i为像素点的序号，统计得到像素点坐标集合的元素数N₀，通过如下公式计算得到河堤趋势得分g_t：

ts₁为第一预设阈值，

具体的，本申请实施例中，第一预设阈值ts₁根据实际情况灵活设定。

进一步地，上述一种岸边人员危险行为检测方法中，根据河堤趋势得分与零的关系，确定第一河堤检测区域，包括：

当河堤趋势得分g_t不等于零时，提取像素点坐标集合中纵坐标y0_i的范围[down₀,up₀]，对于河堤坐标集合中的任一行y0_i＝j，其中j∈[down₀,up₀]，提取行内横坐标范围[down₁,up₁]以及每一个像素点的灰度值gr_k，其中k∈[down₁,up₁]表示点的横坐标；

当每一个像素点的灰度值gr_k大于第二预设阈值ts₂时，像素点的边缘得分gb_k＝1；当每一个像素点的灰度值gr_k小于等于第二预设阈值ts₂时，像素点的边缘得分gb_k＝-1；

根据像素点的边缘得分计算行上沿得分：

根据像素点的边缘得分计算行下沿得分：

当河堤趋势得分g_t>0时，获取行河堤坐标集合中的任一行y0_i＝j的行右边界坐标xrb_j和行左边界坐标xlb_j，

其中，gx1_j为边缘得分gb_k＝1的像素点中最大的横坐标值，

xlb_j＝max(0,(1-c₁)xrb_j-c₁down₁)

c₁为历史数据训练得到的第一修正常数；

当河堤趋势得分g_t<0时，获取行河堤坐标集合中的任一行y0_i＝j的行左边界坐标xlb_j和行右边界坐标xrb_j，

其中，gx2_j为边缘得分gb_k＝1的像素点中最小的横坐标值，

xrb_j＝min(W,(1+c₁)up₁-c₁xlb_j)

将满足如下条件：

y0_i＝j

xlb_j≤x0_i≤xrb_j

的像素点(x0_i,y0_i)提取出来作为行y0_i＝j的检测区域像素点集合，将河堤坐标集合中的每一行y0_i＝j的检测区域像素点集合汇总得到第一河堤检测区域，其中j∈[down₀,up₀]，W表示监控视频的宽。

进一步地，上述一种岸边人员危险行为检测方法中，根据河堤趋势得分与零的关系，确定第二河堤检测区域，包括：

当河堤趋势得分g_t＝0时，提取像素点坐标集合中纵坐标x0_i的范围[down₂,up₂]，对于河堤坐标集合中的任一列x0_i＝k，其中k∈[down₂,up₂]，提取行内纵坐标范围[down₃,up₃]，

计算列x0_i＝k的列上边界

yub_k＝min(H,c₂down₃+(1-c₂)up₃)

计算列x0_i＝k的列下边界

ydb_k＝max(0,(1+c₃)down₃-c₃up₃)

其中，c₂为历史数据训练得到的第二修正常数，c₃为历史数据训练得到的第三修正常数，

将满足如下条件：

x0_i＝k

ydb_k≤y0_i≤yub_k

的像素点(x0_i,y0_i)提取出来作为行x0_i＝k的检测区域像素点集合，将河堤坐标集合中的每一列x0_i＝k的检测区域像素点集合汇总得到第二河堤检测区域，其中k∈[down₂,up₂]，H表示监控视频的高。

具体的，本申请实施例中，第二预设阈值ts₂根据实际情况灵活设定。

进一步地，上述一种岸边人员危险行为检测方法中，在人员存在于所述河堤检测区域以及人员不存在于河堤检测区域的情况下，分别确定人员状态得分、人员步行得分和人员溺水得分；

若人员存在于河堤检测区域，获取河堤检测区域的人员关键点信息，根据检测到的人员关键点信息分别确定人员状态得分、人员步行得分和人员溺水得分；若人员不存在于河堤检测区域，确定人员状态得分、人员步行得分和人员溺水得分；包括：

检测人员关键点信息脖子(xn_a,yn_a)，手肘(xe1_a,ye1_a)，(xe2_a,ye2_a)，手腕(xs1_a,ys1_a)，(xs2_a,ys2_a)，胯骨(xk1_a,yk1_a)，(xk2_a,yk2_a)，膝盖(xa1_a,ya1_a)，(xa2_a,ya2_a)信息，

当人员关键点信息都检测到时，人员状态得分gz_a＝1，通过如下公式计算人员步行得分gs_a：

其中，

gs2_a＝max(g1_a+1,g2_a+1)

ts₃为第三预设阈值，ts₄为第四预设阈值，ts₅为第五预设阈值，ts₆为第六预设阈值，人员的溺水得分gn_a＝0；

当人员关键点信息中胯骨(xk1_a,yk1_a)，(xk2_a,yk2_a)，膝盖(xa1_a,ya1_a)，(xa2_a,ya2_a)都检测不到时，人员状态得分gz_a＝-1，通过如下公式计算人员的溺水得分gn_a：

ts₇为第七预设阈值，

gs3_a＝max(g3_a,g4_a)

人员的步行得分gs_a＝0；

若人员不存在于河堤检测区域时，人员状态得分gz_a＝0，人员步行得分gs_a＝0，人员的溺水得分gn_a＝0。

具体的，本申请实施例中，第三预设阈值ts₃、第四预设阈值ts₄、第五预设阈值ts₅、第六预设阈值ts₆和第七预设阈值ts₇根据实际情况灵活设定。

进一步地，上述一种岸边人员危险行为检测方法中，根据连续多帧图像中人员是否存在于河堤检测区域确定人员是否存在闯入河堤检测区域的行为，包括：

当检测到人员存在于河堤检测区域时，人员存在得分gj_a＝1，

当检测到人员不存在于河堤检测区域时，人员存在得分gj_a＝0，

从视频第a帧开始连续N₁帧图像，

当

时，

其中，ts₈为第八预设阈值，确定人员存在闯入河堤检测区域的行为。

具体的，本申请实施例中，第八预设阈值ts₈根据实际情况灵活设定。

进一步地，上述一种岸边人员危险行为检测方法中，根据所述人员状态得分和所述人员步行得分以及所述人员溺水得分确定人员移动得分、人员倒地得分、人员站立得分、持续溺水得分、人员岸上得分和人员水上得分，包括：根据人员状态得分gz_a和人员步行得分gs_a确定人员移动得分gy₀和人员倒地得分gr₀；根据人员状态得分gz_a、人员移动得分gy₀和人员倒地得分gr₀确定人员站立得分gt₀，根据人员状态得分gz_a和人员溺水得分gn_a确定持续溺水得分gp₀，根据人员状态得分gz_a确定人员岸上得分gq₁和人员水上得分gq₂，

确定人员移动得分gy₀的公式如下：

确定人员倒地得分gr₀的公式如下：

确定人员站立得分gt₀的公式如下：

确定人员持续溺水得分gp₀的公式如下：

确定人员岸上得分gq₁的公式如下：

确定人员水上得分gq₂的公式如下：

进一步地，上述一种岸边人员危险行为检测方法中，分别根据人员移动得分、人员倒地得分、人员站立得分、持续溺水得分、人员岸上得分、人员水上得分和预设阈值的关系确定人员是否存在危险行为，包括：

当人员持续溺水得分gp₀大于第九预设阈值ts₉时，确定人员存在溺水行为；当人员移动得分gy₀大于第十预设阈值ts₁₀时，确定人员存在河堤行走行为；

当人员倒地得分gr₀大于第十一预设阈值ts₁₁时，确定人员存在跌倒行为；当人员站立得分gt₀大于第十二预设阈值ts₁₂时，确定人员存在长时间站立行为；

当人员岸上得分gq₁大于人员水上得分gq₂,且,人员持续溺水得分gp₀大于第九预设阈值ts₉时，确定人员存在溺水后上岸行为；当人员岸上得分gq₁小于等于人员水上得分gq₂,且,人员持续溺水得分gp₀大于第九预设阈值ts₉时，确定人员存在从岸上掉入水中行为。

具体的，本申请实施例中，第九预设阈值ts₉、第十预设阈值ts₁₀、第十一预设阈值ts₁₁和第十二预设阈值ts₁₂根据实际情况灵活设定。

第二方面，本发明实施例还提供了一种电子设备，包括：处理器和存储器；

所述处理器通过调用所述存储器存储的程序或指令，用于执行如上所述任一项所述的一种岸边人员危险行为检测方法。

第三方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如上所述任一项所述的一种岸边人员危险行为检测方法。

图2是本公开实施例提供的一种电子设备的示意性框图。

如图2所示，电子设备包括：至少一个处理器201、至少一个存储器202和至少一个通信接口203。电子设备中的各个组件通过总线系统204耦合在一起。通信接口203，用于与外部设备之间的信息传输。可理解，总线系统204用于实现这些组件之间的连接通信。总线系统204除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但为了清楚说明起见，在图2中将各种总线都标为总线系统204。

可以理解，本实施例中的存储器202可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

在一些实施方式中，存储器202存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。

其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本申请实施例提供的一种岸边人员危险行为检测方法中任一方法的程序可以包含在应用程序中。

在本申请实施例中，处理器201通过调用存储器202存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器201用于执行本申请实施例提供的一种岸边人员危险行为检测方法各实施例的步骤。

获取岸边的监控视频，根据监控视频确定河堤区域；

提取河堤区域的像素点信息，根据像素点信息计算河堤趋势得分；

根据河堤趋势得分与零的关系，分别确定第一河堤检测区域和第二河堤检测区域，汇总第一河堤检测区域和第二河堤检测区域得到河堤检测区域；

获取监控视频中的人员信息，根据人员信息确定人员是否存在于所述河堤检测区域；

在人员存在于河堤检测区域以及人员不存在于所述河堤检测区域的情况下，分别确定人员状态得分、人员步行得分和人员溺水得分；

根据连续多帧图像中人员是否存在于河堤检测区域确定人员是否存在闯入河堤检测区域的行为；

若存在闯入河堤检测区域的行为，根据人员状态得分和人员步行得分以及人员溺水得分确定人员移动得分、人员倒地得分、人员站立得分、持续溺水得分、人员岸上得分和人员水上得分；

分别根据人员移动得分、人员倒地得分、人员站立得分、持续溺水得分、人员岸上得分、人员水上得分和预设阈值的关系确定人员是否存在危险行为；

若确定人员存在危险行为，发送报警信息至管理处。

本申请实施例提供的一种岸边人员危险行为检测方法中任一方法可以应用于处理器201中，或者由处理器201实现。处理器201可以是一种集成电路芯片，具有信号能力。在实现过程中，上述方法的各步骤可以通过处理器201中的硬件的集成逻辑电路或者软件形式的指令完成。上述器201可以是通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规器等。

本申请实施例提供的一种岸边人员危险行为检测方法中任一方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器202，处理器201读取存储器202中的信息，结合其硬件完成一种岸边人员危险行为检测方法的步骤。

本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。

本领域的技术人员能够理解，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种岸边人员危险行为检测方法，其特征在于，包括：

获取岸边的监控视频，根据所述监控视频确定河堤区域；

提取所述河堤区域的像素点信息，根据所述像素点信息计算河堤趋势得分包括：提取所述河堤区域的像素点坐标集合{(x0_i,y0_i)}，其中i为像素点的序号，统计得到像素点坐标集合的元素数N₀，通过如下公式计算得到河堤趋势得分g_t：

ts₁为第一预设阈值，

根据所述河堤趋势得分与零的关系，分别确定第一河堤检测区域和第二河堤检测区域，汇总所述第一河堤检测区域和所述第二河堤检测区域得到河堤检测区域；

获取所述监控视频中的人员信息，根据所述人员信息确定人员是否存在于所述河堤检测区域；

在人员存在于所述河堤检测区域以及人员不存在于所述河堤检测区域的情况下，分别确定人员状态得分、人员步行得分和人员溺水得分；

若人员存在于所述河堤检测区域，获取所述河堤检测区域的人员关键点信息，根据检测到的人员关键点信息分别确定人员状态得分、人员步行得分和人员溺水得分；若人员不存在于所述河堤检测区域，确定人员状态得分、人员步行得分和人员溺水得分；

检测人员关键点信息脖子(xn_a,yn_a)，手肘(xe1_a,ye1_a)，(xe2_a,ye2_a)，手腕(xs1_a,ys1_a)，(xs2_a,ys2_a)，胯骨(xk1_a,yk1_a)，(xk2_a,yk2_a)，膝盖(xa1_a,ya1_a)，(xa2_a,ya2_a)信息，

当人员关键点信息都检测到时，人员状态得分gz_a＝1，通过如下公式计算人员步行得分gs_a：

其中，

gs2_a＝max(g1_a+1,g2_a+1)

ts₃为第三预设阈值，ts₄为第四预设阈值，ts₅为第五预设阈值，ts₆为第六预设阈值，人员的溺水得分gn_a＝0；

当人员关键点信息中胯骨(xk1_a,yk1_a)，(xk2_a,yk2_a)，膝盖(xa1_a,ya1_a)，(xa2_a,ya2_a)都检测不到时，人员状态得分gz_a＝-1，通过如下公式计算人员的溺水得分gn_a：

ts₇为第七预设阈值，

gs3_a＝max(g3_a,g4_a)

人员的步行得分gs_a＝0；

若人员不存在于所述河堤检测区域时，人员状态得分gz_a＝0，人员步行得分gs_a＝0，人员的溺水得分gn_a＝0；

根据连续多帧图像中人员是否存在于河堤检测区域确定人员是否存在闯入所述河堤检测区域的行为；若存在闯入所述河堤检测区域的行为，根据所述人员状态得分和所述人员步行得分以及所述人员溺水得分确定人员移动得分、人员倒地得分、人员站立得分、持续溺水得分、人员岸上得分和人员水上得分，包括：根据所述人员状态得分gz_a和所述人员步行得分gs_a确定人员移动得分gy₀和人员倒地得分gr₀；根据所述人员状态得分gz_a、所述人员移动得分gy₀和所述人员倒地得分gr₀确定人员站立得分gt₀，根据所述人员状态得分gz_a和所述人员溺水得分gn_a确定持续溺水得分gp₀，根据所述人员状态得分gz_a确定人员岸上得分gq₁和人员水上得分gq₂，

确定人员移动得分gy₀的公式如下：

确定人员倒地得分gr₀的公式如下：

确定人员站立得分gt₀的公式如下：

确定人员持续溺水得分gp₀的公式如下：

确定人员岸上得分gq₁的公式如下：

确定人员水上得分gq₂的公式如下：

其中，N₁为帧数；

分别根据所述人员移动得分、所述人员倒地得分、所述人员站立得分、所述持续溺水得分、所述人员岸上得分、所述人员水上得分和预设阈值的关系确定人员是否存在危险行为；

若确定人员存在危险行为，发送报警信息至管理处。

2.根据权利要求1所述的一种岸边人员危险行为检测方法，其特征在于，所述根据所述河堤趋势得分与零的关系，确定第一河堤检测区域，包括：

当所述河堤趋势得分g_t不等于零时，提取像素点坐标集合中纵坐标y0_i的范围[down₀,up₀]，对于河堤坐标集合中的任一行y0_i＝j，其中j∈[down₀,up₀]，提取行内横坐标范围[down₁,up₁]以及每一个像素点的灰度值gr_k，其中k∈[down₁,up₁]表示点的横坐标；

当每一个像素点的灰度值gr_k大于第二预设阈值ts₂时，像素点的边缘得分gb_k＝1；当每一个像素点的灰度值gr_k小于等于第二预设阈值ts₂时，像素点的边缘得分gb_k＝-1；

根据所述像素点的边缘得分计算行上沿得分：

根据所述像素点的边缘得分计算行下沿得分：

当河堤趋势得分g_t>0时，获取行河堤坐标集合中的任一行y0_i＝j的行右边界坐标xrb_j和行左边界坐标xlb_j，

其中，gx1_j为边缘得分gb_k＝1的像素点中最大的横坐标值，

xlb_j＝max(0,(1-c₁)xrb_j-c₁down₁)

c₁为历史数据训练得到的第一修正常数；

当河堤趋势得分g_t<0时，获取行河堤坐标集合中的任一行y0_i＝j的行左边界坐标xlb_j和行右边界坐标xrb_j，

其中，gx2_j为边缘得分gb_k＝1的像素点中最小的横坐标值，

xrb_j＝min(W,(1+c₁)up₁-c₁xlb_j)

将满足如下条件：

y0_i＝j

xlb_j≤x0_i≤xrb_j

的像素点(x0_i,y0_i)提取出来作为行y0_i＝j的检测区域像素点集合，将河堤坐标集合中的每一行y0_i＝j的检测区域像素点集合汇总得到第一河堤检测区域，其中j∈[down₀,up₀]，W表示监控视频的宽。

3.根据权利要求1所述的一种岸边人员危险行为检测方法，其特征在于，所述根据所述河堤趋势得分与零的关系，确定第二河堤检测区域，包括：

当河堤趋势得分g_t＝0时，提取像素点坐标集合中横坐标x0_i的范围[down₂,up₂]，对于河堤坐标集合中的任一列x0_i＝k，其中k∈[down₂,up₂]，提取行内纵坐标范围[down₃,up₃]，

计算列x0_i＝k的列上边界

yub_k＝min(H,c₂down₃+(1-c₂)up₃)

计算列x0_i＝k的列下边界

ydb_k＝max(0,(1+c₃)down₃-c₃up₃)

其中c₂为历史数据训练得到的第二修正常数，c₃为历史数据训练得到的第三修正常数，

将满足如下条件：

x0_i＝k

ydb_k≤y0_i≤yub_k

的像素点(x0_i,y0_i)提取出来作为行x0_i＝k的检测区域像素点集合，将河堤坐标集合中的每一列x0_i＝k的检测区域像素点集合汇总得到第二河堤检测区域，其中k∈[down₂,up₂]，H表示监控视频的高。

4.根据权利要求1所述的一种岸边人员危险行为检测方法，其特征在于，所述根据连续多帧图像中人员是否存在于河堤检测区域确定人员是否存在闯入所述河堤检测区域的行为，包括：

当检测到人员存在于河堤检测区域时，人员存在得分gj_a＝1，

当检测到人员不存在于河堤检测区域时，人员存在得分gj_a＝0，

从视频第a帧开始连续N₁帧图像，

当

时，

其中，ts₈为第八预设阈值，确定人员存在闯入所述河堤检测区域的行为。

5.根据权利要求1所述的一种岸边人员危险行为检测方法，其特征在于，分别根据所述人员移动得分、所述人员倒地得分、所述人员站立得分、所述持续溺水得分、所述人员岸上得分、所述人员水上得分和预设阈值的关系确定人员是否存在危险行为，包括：

当人员持续溺水得分gp₀大于第九预设阈值ts₉时，确定人员存在溺水行为；当人员移动得分gy₀大于第十预设阈值ts₁₀时，确定人员存在河堤行走行为；

当人员倒地得分gr₀大于第十一预设阈值ts₁₁时，确定人员存在跌倒行为；当人员站立得分gt₀大于第十二预设阈值ts₁₂时，确定人员存在长时间站立行为；

当人员岸上得分gq₁大于人员水上得分gq₂,且人员持续溺水得分gp₀大于第九预设阈值ts₉时，确定人员存在溺水后上岸行为；当人员岸上得分gq₁小于等于人员水上得分gq₂,且,人员持续溺水得分gp₀大于第九预设阈值ts₉时，确定人员存在从岸上掉入水中行为。

6.一种电子设备，其特征在于，包括：处理器和存储器；

所述处理器通过调用所述存储器存储的程序或指令，用于执行如权利要求1至5任一项所述一种岸边人员危险行为检测方法。

Images