[go: up one dir, main page]

CN107103733A - 一种摔倒报警方法、装置及设备 - Google Patents

一种摔倒报警方法、装置及设备 Download PDF

Info

Publication number
CN107103733A
CN107103733A CN201710548787.9A CN201710548787A CN107103733A CN 107103733 A CN107103733 A CN 107103733A CN 201710548787 A CN201710548787 A CN 201710548787A CN 107103733 A CN107103733 A CN 107103733A
Authority
CN
China
Prior art keywords
human body
image
key point
sequence
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710548787.9A
Other languages
English (en)
Other versions
CN107103733B (zh
Inventor
马兆远
韩放
韩德伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Langshun Intelligent System Co ltd
Original Assignee
Sima Great (beijing) Intelligent Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sima Great (beijing) Intelligent Systems Ltd filed Critical Sima Great (beijing) Intelligent Systems Ltd
Priority to CN201710548787.9A priority Critical patent/CN107103733B/zh
Publication of CN107103733A publication Critical patent/CN107103733A/zh
Application granted granted Critical
Publication of CN107103733B publication Critical patent/CN107103733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438Sensor means for detecting
    • G08B21/0446Sensor means for detecting worn on the body to detect changes of posture, e.g. a fall, inclination, acceleration, gait

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种摔倒报警方法、装置及设备,涉及防摔倒监控领域。该方法应用于该装置,该设备包括该装置,该方法包括:获取采集区域内的环境视频;将环境视频处理成多帧第一图像序列;将每一帧第一图像序列输入到基于深度学习算法的人体姿态估计模型,得到环境视频中人体对应的热度图像;获取热度图像的多个关键点,将多个关键点按预设规则生成第一关键点序列;根据多帧连续的第一图像序列对应的第一关键点序列判断人体是否摔倒;当判断人体摔倒时,生成报警信息。通过采集环境视频中的人体,获取人体姿态的变化,在判断人体摔倒时生成报警信息,无需人体佩戴,不影响人体活动的同时对人体状态进行检测。

Description

一种摔倒报警方法、装置及设备
技术领域
本发明涉及防摔倒监控领域,具体而言,涉及一种摔倒报警方法、装置及设备。
背景技术
根据世界疾病控制与预防组织统计,世界上超过65岁的老人,每年有l/3会摔倒,其中有一半为再发性摔倒,摔倒率随年龄增长而增长;摔倒的老年人中有20%-30%的人发生中度和重度损伤(髋骨骨折和头创伤),60%活动受限或不能活动,造成巨大的医疗负担和健康伤害。医院里,病人摔倒不及时救治也会产生很严重的后果。减小老年人以及病人摔倒带来的伤害问题已成为国际上新的研究热点。医学研究标明:减小人摔倒时给身体带来的冲击可以有效减轻摔倒事故带来的伤害;而对于已经摔倒的老人及病人,救助等待时间的长短直接决定了患病的程度。
目前主要的摔倒自动检测报警系统主要通过自动检测人体上躯干部位的加速度信息及位姿信息,综合人体加速度、位姿、运动时间三者之间的关系,正确判断人体是否摔倒以及是否需要求救。
然而,需要佩戴额外的设备这一限定,大大阻碍了现有方案的实现效果,并且设备佩戴较为繁琐,老年人或病人此前没有接触过此类装置的话不易操作,且设备佩戴位置有严格要求,普通人不易掌握,可能额外需专业人员上门安装。另外,老年人或病人大多行动不便,很可能发生由于身体状况没有来得及佩戴设备的情况,此时一旦危险发生,不能及时报警,后果将不堪设想,如果要保证这种情况下系统正常工作,人身体需要24小时佩戴设备,影响了老年人和病人的舒适程度。
发明内容
本发明的目的在于提供一种摔倒报警方法、装置及设备,以改善上述问题。
为了实现上述目的,本发明采用的技术方案如下:
第一方面,一种摔倒报警方法,所述摔倒报警方法包括:
获取采集区域内的环境视频;
将所述环境视频处理成多帧第一图像序列;
将每一帧所述第一图像序列输入到基于深度学习算法的人体姿态估计模型,得到所述环境视频中人体对应的热度图像;
获取所述热度图像的多个关键点,将所述多个关键点按预设规则生成第一关键点序列;
根据多帧连续的所述第一图像序列对应的所述第一关键点序列判断所述人体是否摔倒;
当判断所述人体摔倒时,生成报警信息。
进一步地,所述将每一帧所述第一图像序列输入到基于深度学习算法的人体姿态估计模型,得到所述环境视频中人体对应的热度图像的步骤之前,还包括对所述基于深度学习算法的人体姿态估计模型进行训练的步骤:
获取人体图片,对图片中的人体的轮廓进行标注;
构建深度学习网络;
将所述人体图片输入所述深度学习网络进行训练,以得到所述基于深度学习算法的人体姿态估计模型。
进一步地,所述根据多帧连续的所述第一图像序列对应的所述第一关键点序列判断所述人体是否摔倒的步骤之前还包括建立关键点序列模型的步骤,所述建立关键点序列模型的步骤包括:
获取人体在不同姿态时对应的第二图像序列,获取所述第二图像序列对应的第二关键点序列,所述姿态包括摔倒行为和未摔倒行为;
根据第二图像序列对应的姿态对所述第二关键点序列进行标记,获取所述第二关键点序列对应的人体姿态变化,以得到所述关键点序列模型。
进一步地,所述获取人体在不同姿态时对应的第二图像序列,获取所述第二图像序列对应的第二关键点序列的步骤,包括:
获取人体姿态模型视频,将所述视频处理成多帧所述第二图像序列;
获取多帧连续的所述第二图像序列的所述第二关键点序列。
进一步地,所述获取多帧连续的第二图像序列的第二关键点序列的步骤包括:
记录多帧连续的所述第二图像序列中每一所述第二图像序列对应的时间;
获取所述多帧连续的所述第二图像序列中每一所述第二图像序列对应的第二关键点序列。
进一步地,所述根据多帧连续的所述第一图像序列对应的所述第一关键点序列判断所述人体是否摔倒的步骤,包括:
当连续的多帧所述第一图像序列对应的所述第一关键点序列的变化大于连续的多帧所述第二图像序列对应的所述第二关键点序列的变化的阈值时判断所述人体摔倒。
第二方面,一种摔倒报警装置,所述摔倒报警装置包括:
视频获取模块,用于获取采集区域内的环境视频;
图像分割模块,用于将所述环境视频处理成多帧第一图像序列;
热度图像获取模块,用于将每一帧所述第一图像序列输入到基于深度学习算法的人体姿态估计模型,得到所述环境视频中人体对应的热度图像;
关键点检测模块,用于获取所述热度图像的多个关键点,将所述多个关键点按预设规则生成第一关键点序列;
摔倒行为判断模块,用于根据多帧连续的所述第一图像序列对应的所述第一关键点序列判断所述人体是否摔倒;
报警模块,用于当判断所述人体摔倒时,生成报警信息。
进一步地,所述报警装置还包括:
人体估计模型训练模块,用于获取人体图片,对图片中的人体的轮廓进行标注;构建深度学习网络;将所述人体图片输入所述深度学习网络进行训练,以得到所述基于深度学习算法的人体姿态估计模型。
进一步地,所述报警装置还包括:
关键点序列模型模块,用于获取人体在不同姿态时对应的第二图像序列,获取所述第二图像序列对应的第二关键点序列,所述姿态包括摔倒行为和未摔倒行为;根据第二图像序列对应的姿态对所述第二关键点序列进行标记,获取所述第二关键点序列对应的人体姿态变化,以得到所述关键点序列模型。
第三方面,一种摔倒报警设备,所述摔倒报警设备包括:
存储器;
处理器;以及
摔倒报警装置,所述摔倒报警装置存储于所述存储器中并包括一个或多个由所述处理器执行的软件功能模组,摔倒报警装置包括:
视频获取模块,用于获取采集区域内的环境视频;
图像分割模块,用于将所述环境视频处理成多帧第一图像序列;
热度图像获取模块,用于将每一帧所述第一图像序列输入到基于深度学习算法的人体姿态估计模型,得到所述环境视频中人体对应的热度图像;
关键点检测模块,用于获取所述热度图像的多个关键点,将所述多个关键点按预设规则生成第一关键点序列;
摔倒行为判断模块,用于根据多帧连续的所述第一图像序列对应的所述第一关键点序列判断所述人体是否摔倒;
报警模块,用于当判断所述人体摔倒时,生成报警信息;
人体估计模型训练模块,用于获取人体图片,对图片中的人体的轮廓进行标注,构建深度学习网络,将所述人体图片输入所述深度学习网络进行训练,以得到所述基于深度学习算法的人体姿态估计模型;
关键点序列模型模块,用于获取人体在不同姿态时对应的第二图像序列,获取所述第二图像序列对应的第二关键点序列,所述姿态包括摔倒行为和未摔倒行为;根据第二图像序列对应的姿态对所述第二关键点序列进行标记,获取所述第二关键点序列对应的人体姿态变化,以得到所述关键点序列模型。
本发明提供了一种摔倒报警方法、装置及设备,该方法应用于该装置,该设备包括该装置,该方法包括:获取采集区域内的环境视频;将环境视频处理成多帧第一图像序列;将每一帧第一图像序列输入到基于深度学习算法的人体姿态估计模型,得到环境视频中人体对应的热度图像;获取热度图像的多个关键点,将多个关键点按预设规则生成第一关键点序列;根据多帧连续的第一图像序列对应的第一关键点序列判断人体是否摔倒;当判断人体摔倒时,生成报警信息。通过采集环境视频中的人体,获取人体姿态的变化,在判断人体摔倒时生成报警信息,无需人体佩戴,不影响人体活动的同时对人体状态进行检测。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的摔倒报警设备与多个摄像装置的交互的示意图;
图2为本发明实施例提供的摔倒报警设备的方框示意图;
图3-图5,为本发明实施例提供的摔倒报警装置的功能模块示意图;
图6为本发明实施例提供的摔倒报警方法应用于摔倒报警设备的流程图;
图7为本发明实施例提供的建立人体姿态估计模型的步骤;
图8-图10为本发明实施例提供的建立关键点序列模型的步骤。
图标:100-摔倒报警设备;110-摔倒报警装置;112-视频获取模块;113-图像分割模块;114-热度图像获取模块;115-关键点检测模块;116-摔倒行为判断模块;117-报警模块;118-人体估计模型训练模块;119-关键点序列模型模块;120-存储器;130-处理器;140-通信单元;200-摄像装置;300-网络。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
请参阅图1,为本发明实施例提供的摔倒报警设备100与多个摄像装置200的交互的示意图。摔倒报警设备100可通过网络300与多个摄像装置200进行通信,以实现摔倒报警设备100与多个摄像装置200之间的数据通信或交互。
请参阅图2,为本发明实施例提供的摔倒报警设备100的方框示意图。摔倒报警设备100包括摔倒报警装置110、存储器120、处理器130和通信单元140。存储器120、处理器130以及通信单元140各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。摔倒报警装置110包括至少一个可以软件或固件(firmware)的形式存储于存储器120中或固化在摔倒报警设备100的操作系统(operating system,OS)中的软件功能模块。处理器130用于执行存储器120中存储的可执行模块,例如摔倒报警装置110所包括的软件功能模块及计算机程序等。
其中,所述存储器120可以是,但不限于,随机存取存储器(Random AccessMemory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(ProgrammableRead-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-OnlyMemory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory,EEPROM)等。其中,存储器120用于存储程序,处理器130在接收到执行指令后,执行所述程序。通信单元140用于通过网络300建立摔倒报警设备100与多个摄像装置200之间的通信连接,并用于通过网络300收发数据。
请参阅图3,为本发明实施例提供的摔倒报警装置110的功能模块示意图。摔倒报警装置110包括:视频获取模块112、图像分割模块113、热度图像获取模块114、关键点检测模块115、摔倒行为判断模块116及报警模块117。
其中,
视频获取模块112,用于获取采集区域内的环境视频。
本实施例中,视频获取模块112用于获取摄像装置200采集的视频信息。该摄像装置200可以为安装在独居老年人家中及医院病房及楼道内的摄像头,采集实时图像信息,上传至摔倒报警设备100进行后续处理。摄像头安装保证无监控死角,以此保证一旦有摔倒行为发生能及时报警,通知相关医护人员进行救治。可以清楚的是,该环境视频可以为摄像装置200采集到人体出现时,对人体追踪拍摄所获得的视频。
图像分割模块113,用于将环境视频处理成多帧第一图像序列。
本实施例中,图像分割模块113用于将视频获取模块112获取的视频进行分割处理,得到多张连续的图像信息,图像信息包括图像。可以清楚的是,可以根据具体的运用场景,设置每秒提取多帧图像。例如,设置为每秒内提取6帧图像,当然可以为了具体精度要求更改提取图像帧数。
热度图像获取模块114,用于将每一帧第一图像序列输入到基于深度学习算法的人体姿态估计模型,得到环境视频中人体对应的热度图像。
本实施例中,热度图像获取模块114用于将图像分割模块113分割的图像输入到基于深度学习算法的人体姿态估计模型,生成对应的热度图。具体实施时,基于深度学习算法的人体姿态估计模型使用的是深度学习框架Caffe(Convolutional Architecture forFast Feature Embedding,卷积神经网络框架)。
关键点检测模块115,用于获取热度图像的多个关键点,将多个关键点按预设规则生成第一关键点序列。
本实施例中,关键点检测模块115用于根据热度图像获取模块114获取的热度图得到包括鼻子、脖子、肩膀等在内的多个关键点,该关键点可在具体运用场景中设置在不同部位,并按一定顺序组成关键点序列。可以清楚的是,该预设的规则可以是根据具体场景设置的。例如,可将关键点按人体轮廓顺序连接。
摔倒行为判断模块116,用于根据多帧连续的第一图像序列对应的第一关键点序列判断人体是否摔倒。
本实施例中,将第一图像序列对应的第一关键点序列放入关键点序列模型中,当连续的多帧所述第一图像序列对应的所述第一关键点序列的变化大于关键点序列模型中连续的多帧所述第二图像序列对应的所述第二关键点序列的变化的阈值时,判断所述人体摔倒,该阈值可以根据具体环境参数设置。在具体实施过程中,采集到连续的图像对应的关键点序列,根据关键点序列判断人体姿态变化。
具体实施时,人体不同姿态情况下,各关键点信息包括关键点位置、各关键点与中心点角度等具有不同的模式,例如,人在摔倒的情况下,整个身体各个关键点与中心点角度,将与站立或行走情况下有很大的变化。另外,由于人的行为是一个连续过程,是一连串不同姿态的变化,在此,充分考虑时间信息,将原本的二维信息扩展到三维。
报警模块117,用于当判断人体摔倒时,生成报警信息。
具体实施时,连续的第一图像对应的关键点序列对应的人体姿态为摔倒行为时生成报警信息。该报警信息可以是发送到与摔倒报警设备100连接的客户端,以便于提示医护人员及时进行救治。
请参阅图4,为本发明实施例提供的摔倒报警装置110的功能模块示意图。进一步地,摔倒报警装置110还包括人体估计模型训练模块118。
人体估计模型训练模块118,用于获取人体图片,对图片中的人体的轮廓进行标注,构建深度学习网络300,将人体图片输入深度学习网络300进行训练,以得到基于深度学习算法的人体姿态估计模型。
本实施例中,获取大量带有人体数据的图片,将该图片中的人体轮廓进行标注,构建深度学习网络300,将人体图片输入深度学习网络300进行训练,得到基于深度学习算法的人体姿态估计模型。
请参阅图5,为本发明实施例提供的摔倒报警装置110的功能模块示意图。进一步地,摔倒报警装置110还包括关键点序列模型模块119。
关键点序列模型模块119,用于获取人体在不同姿态时对应的第二图像序列,获取第二图像序列对应的第二关键点序列,姿态包括摔倒行为和未摔倒行为;根据第二图像序列对应的姿态对第二关键点序列进行标记,获取第二关键点序列对应的人体姿态变化,以得到关键点序列模型。
具体实施时,在进行关键点检测前还要对关键点序列模型,进行训练,训练过程如下:
准备数据:在此采用COCO数据集,并对图片中的人物进行标注。将数据转换为LMDB格式,便于输入caffe。
构建深度学习网络300,并把网络300结构写为caffe接受的prototxt格式。
采用VGG-19model初始化网络300,并开始训练。
进一步地,用于获取人体在不同姿态时对应的第二图像序列,获取第二图像序列对应的第二关键点序列具体包括:
获取人体姿态模型视频,将视频处理成多帧第二图像序列;获取多帧连续的第二图像序列的第二关键点序列。
具体实施时,该获取的不同姿态时对应的第二图像序列为已知的人体姿态模型视频,将人体姿态模型视频进行处理生成多帧第二图像序列,在第二图像序列中关键点进行标记得到关键点序列,及第二关键点序列对应的人体姿态变化。
进一步地,记录多帧连续的第二图像序列中每一第二图像序列对应的时间;获取多帧连续的第二图像序列中每一第二图像序列对应的第二关键点序列。
具体实施时,需要对每一第二图像序列的时间进行标记,以得到多帧连续的第二图像对应的关键点序列的变化,以此判断人体的姿态变化。
请参阅图6,为本发明实施例提供的摔倒报警方法应用于摔倒报警设备100的流程图。所述方法包括以下步骤:
步骤S101,获取采集区域内的环境视频。
可以理解地,通过视频获取模块112可以执行步骤S101。
步骤S102,将环境视频处理成多帧第一图像序列。
可以理解地,通过图像分割模块113可以执行步骤S102。
步骤S103,将每一帧第一图像序列输入到基于深度学习算法的人体姿态估计模型,得到环境视频中人体对应的热度图像。
可以理解地,通过热度图像获取模块114可以执行步骤S103。
步骤S104,获取热度图像的多个关键点,将多个关键点按预设规则生成第一关键点序列。
可以理解地,通过关键点检测模块115可以执行步骤S104。
步骤S105,根据多帧连续的第一图像序列对应的第一关键点序列判断人体是否摔倒。
可以理解地,通过摔倒行为判断模块116可以执行步骤S105。
步骤S106,当判断人体摔倒时,生成报警信息。
可以理解地,通过报警模块117可以执行步骤S106。
请参阅图7,为本发明实施例提供的建立人体姿态估计模型的步骤。可以理解的,通过人体估计模型训练模块118可以执行一下步骤。
所述步骤包括:
步骤S201,获取人体图片,对图片中的人体的轮廓进行标注。
步骤S202,构建深度学习网络300。
步骤S203,将人体图片输入深度学习网络300进行训练,以得到基于深度学习算法的人体姿态估计模型。
请参阅图8-图10,为本发明实施例提供的建立关键点序列模型的步骤。可以理解的,通过关键点序列模型模块119可以执行一下步骤。
所述步骤包括:
步骤S301,获取人体在不同姿态时对应的第二图像序列,获取第二图像序列对应的第二关键点序列,姿态包括摔倒行为和未摔倒行为。
步骤S302,根据第二图像序列对应的姿态对第二关键点序列进行标记,获取第二关键点序列对应的人体姿态变化,以得到关键点序列模型。
所述步骤S301具体包括步骤S3011和步骤S3012。
步骤S3011,获取人体姿态模型视频,将视频处理成多帧第二图像序列。
步骤S3012,获取多帧连续的第二图像序列的第二关键点序列。
所述步骤S3012包括步骤S30121和步骤S30122。
步骤S30121,记录多帧连续的第二图像序列中每一第二图像序列对应的时间。
步骤S30122,获取多帧连续的第二图像序列中每一第二图像序列对应的第二关键点序列。
综上所述,本发明提供了一种摔倒报警方法、装置及设备,涉及防摔倒监控领域。该方法应用于该装置,该设备包括该装置,该方法包括:获取采集区域内的环境视频;将环境视频处理成多帧第一图像序列;将每一帧第一图像序列输入到基于深度学习算法的人体姿态估计模型,得到环境视频中人体对应的热度图像;获取热度图像的多个关键点,将多个关键点按预设规则生成第一关键点序列;根据多帧连续的第一图像序列对应的第一关键点序列判断人体是否摔倒;当判断人体摔倒时,生成报警信息。通过采集环境视频中的人体,获取人体姿态的变化,在判断人体摔倒时生成报警信息,无需人体佩戴,不影响人体活动的同时对人体状态进行检测。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种摔倒报警方法,其特征在于,所述摔倒报警方法包括:
获取采集区域内的环境视频;
将所述环境视频处理成多帧第一图像序列;
将每一帧所述第一图像序列输入到基于深度学习算法的人体姿态估计模型,得到所述环境视频中人体对应的热度图像;
获取所述热度图像的多个关键点,将所述多个关键点按预设规则生成第一关键点序列;
根据多帧连续的所述第一图像序列对应的所述第一关键点序列判断所述人体是否摔倒;
当判断所述人体摔倒时,生成报警信息。
2.如权利要求1所述的摔倒报警方法,其特征在于,所述将每一帧所述第一图像序列输入到基于深度学习算法的人体姿态估计模型,得到所述环境视频中人体对应的热度图像的步骤之前,还包括对所述基于深度学习算法的人体姿态估计模型进行训练的步骤:
获取人体图片,对图片中的人体的轮廓进行标注;
构建深度学习网络;
将所述人体图片输入所述深度学习网络进行训练,以得到所述基于深度学习算法的人体姿态估计模型。
3.如权利要求1所述的摔倒报警方法,其特征在于,所述根据多帧连续的所述第一图像序列对应的所述第一关键点序列判断所述人体是否摔倒的步骤之前还包括建立关键点序列模型的步骤,所述建立关键点序列模型的步骤包括:
获取人体在不同姿态时对应的第二图像序列,获取所述第二图像序列对应的第二关键点序列,所述姿态包括摔倒行为和未摔倒行为;
根据第二图像序列对应的姿态对所述第二关键点序列进行标记,获取所述第二关键点序列对应的人体姿态变化,以得到所述关键点序列模型。
4.如权利要求3所述的摔倒报警方法,其特征在于,所述获取人体在不同姿态时对应的第二图像序列,获取所述第二图像序列对应的第二关键点序列的步骤,包括:
获取人体姿态模型视频,将所述视频处理成多帧所述第二图像序列;
获取多帧连续的所述第二图像序列的所述第二关键点序列。
5.如权利要求4所述的摔倒报警方法,其特征在于,所述获取多帧连续的第二图像序列的第二关键点序列的步骤包括:
记录多帧连续的所述第二图像序列中每一所述第二图像序列对应的时间;
获取所述多帧连续的所述第二图像序列中每一所述第二图像序列对应的第二关键点序列。
6.如权利要求5所述的摔倒报警方法,其特征在于,所述根据多帧连续的所述第一图像序列对应的所述第一关键点序列判断所述人体是否摔倒的步骤,包括:
当连续的多帧所述第一图像序列对应的所述第一关键点序列的变化大于连续的多帧所述第二图像序列对应的所述第二关键点序列的变化的阈值时判断所述人体摔倒。
7.一种摔倒报警装置,其特征在于,所述摔倒报警装置包括:
视频获取模块,用于获取采集区域内的环境视频;
图像分割模块,用于将所述环境视频处理成多帧第一图像序列;
热度图像获取模块,用于将每一帧所述第一图像序列输入到基于深度学习算法的人体姿态估计模型,得到所述环境视频中人体对应的热度图像;
关键点检测模块,用于获取所述热度图像的多个关键点,将所述多个关键点按预设规则生成第一关键点序列;
摔倒行为判断模块,用于根据多帧连续的所述第一图像序列对应的所述第一关键点序列判断所述人体是否摔倒;
报警模块,用于当判断所述人体摔倒时,生成报警信息。
8.如权利要求7所述的摔倒报警装置,其特征在于,所述报警装置还包括:
人体估计模型训练模块,用于获取人体图片,对图片中的人体的轮廓进行标注;构建深度学习网络;将所述人体图片输入所述深度学习网络进行训练,以得到所述基于深度学习算法的人体姿态估计模型。
9.如权利要求7所述的摔倒报警装置,其特征在于,所述报警装置还包括:
关键点序列模型模块,用于获取人体在不同姿态时对应的第二图像序列,获取所述第二图像序列对应的第二关键点序列,所述姿态包括摔倒行为和未摔倒行为;根据第二图像序列对应的姿态对所述第二关键点序列进行标记,获取所述第二关键点序列对应的人体姿态变化,以得到所述关键点序列模型。
10.一种摔倒报警设备,其特征在于,所述摔倒报警设备包括:
存储器;
处理器;以及
摔倒报警装置,所述摔倒报警装置存储于所述存储器中并包括一个或多个由所述处理器执行的软件功能模组,摔倒报警装置包括:
视频获取模块,用于获取采集区域内的环境视频;
图像分割模块,用于将所述环境视频处理成多帧第一图像序列;
热度图像获取模块,用于将每一帧所述第一图像序列输入到基于深度学习算法的人体姿态估计模型,得到所述环境视频中人体对应的热度图像;
关键点检测模块,用于获取所述热度图像的多个关键点,将所述多个关键点按预设规则生成第一关键点序列;
摔倒行为判断模块,用于根据多帧连续的所述第一图像序列对应的所述第一关键点序列判断所述人体是否摔倒;
报警模块,用于当判断所述人体摔倒时,生成报警信息;
人体估计模型训练模块,用于获取人体图片,对图片中的人体的轮廓进行标注,构建深度学习网络,将所述人体图片输入所述深度学习网络进行训练,以得到所述基于深度学习算法的人体姿态估计模型;
关键点序列模型模块,用于获取人体在不同姿态时对应的第二图像序列,获取所述第二图像序列对应的第二关键点序列,所述姿态包括摔倒行为和未摔倒行为;根据第二图像序列对应的姿态对所述第二关键点序列进行标记,获取所述第二关键点序列对应的人体姿态变化,以得到所述关键点序列模型。
CN201710548787.9A 2017-07-06 2017-07-06 一种摔倒报警方法、装置及设备 Active CN107103733B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710548787.9A CN107103733B (zh) 2017-07-06 2017-07-06 一种摔倒报警方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710548787.9A CN107103733B (zh) 2017-07-06 2017-07-06 一种摔倒报警方法、装置及设备

Publications (2)

Publication Number Publication Date
CN107103733A true CN107103733A (zh) 2017-08-29
CN107103733B CN107103733B (zh) 2019-07-02

Family

ID=59664467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710548787.9A Active CN107103733B (zh) 2017-07-06 2017-07-06 一种摔倒报警方法、装置及设备

Country Status (1)

Country Link
CN (1) CN107103733B (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062526A (zh) * 2017-12-15 2018-05-22 厦门美图之家科技有限公司 一种人体姿态估计方法及移动终端
CN108520223A (zh) * 2018-04-02 2018-09-11 广州华多网络科技有限公司 视频图像的分割方法、分割装置、存储介质和终端设备
CN108629300A (zh) * 2018-04-24 2018-10-09 北京科技大学 一种跌倒检测方法
CN108798761A (zh) * 2018-06-14 2018-11-13 王冬 一种矿井内应急供氧系统及方法
CN108960056A (zh) * 2018-05-30 2018-12-07 西南交通大学 一种基于姿态分析和支持向量数据描述的跌倒检测方法
CN109559477A (zh) * 2018-12-24 2019-04-02 绿瘦健康产业集团有限公司 无人健身房室内智能监管方法、装置、终端设备及介质
CN109582705A (zh) * 2018-10-31 2019-04-05 阿里巴巴集团控股有限公司 多源序列的监测方法及装置
CN109902659A (zh) * 2019-03-15 2019-06-18 北京字节跳动网络技术有限公司 用于处理人体图像的方法和装置
CN110135329A (zh) * 2019-05-13 2019-08-16 腾讯科技(深圳)有限公司 从视频中提取姿势的方法、装置、设备及存储介质
CN110188633A (zh) * 2019-05-14 2019-08-30 广州虎牙信息科技有限公司 人体体态指标预测方法、装置、电子设备及存储介质
CN110222614A (zh) * 2019-05-28 2019-09-10 深兰科技(上海)有限公司 一种识别行人跌倒的方法和设备
CN110321780A (zh) * 2019-04-30 2019-10-11 苏州大学 基于时空运动特性的异常摔倒行为检测方法
CN110379130A (zh) * 2019-06-28 2019-10-25 浙江大学 一种基于多路高清sdi视频的医疗看护防摔倒系统
CN110390303A (zh) * 2019-07-24 2019-10-29 深圳前海达闼云端智能科技有限公司 摔倒报警方法、电子设备及计算机可读存储介质
CN110826401A (zh) * 2019-09-26 2020-02-21 广州视觉风科技有限公司 一种人体肢体语言识别方法及系统
CN110874865A (zh) * 2019-11-14 2020-03-10 腾讯科技(深圳)有限公司 三维骨架生成方法和计算机设备
CN111079536A (zh) * 2019-11-18 2020-04-28 高新兴科技集团股份有限公司 基于人体关键点时序的行为分析方法、存储介质及设备
CN111104932A (zh) * 2020-02-03 2020-05-05 北京都是科技有限公司 一种摔倒检测系统、方法及图像处理器
CN111126272A (zh) * 2019-12-24 2020-05-08 腾讯科技(深圳)有限公司 姿态获取方法、关键点坐标定位模型的训练方法和装置
CN111563397A (zh) * 2019-02-13 2020-08-21 阿里巴巴集团控股有限公司 检测方法、装置、智能设备及计算机存储介质
CN111814767A (zh) * 2020-09-02 2020-10-23 科大讯飞(苏州)科技有限公司 跌倒检测方法、装置、电子设备和存储介质
CN112668456A (zh) * 2020-12-25 2021-04-16 佛山科学技术学院 一种基于深度学习的人体摔倒识别系统及方法
CN112752084A (zh) * 2020-12-30 2021-05-04 合肥联宝信息技术有限公司 一种投影控制方法、装置及计算机可读存储介质
CN112907892A (zh) * 2021-01-28 2021-06-04 上海电机学院 基于多视图的人体跌倒报警方法
CN113158783A (zh) * 2021-03-10 2021-07-23 重庆特斯联智慧科技股份有限公司 一种基于人体识别的社区居民健康监控方法和系统
CN113221621A (zh) * 2021-02-04 2021-08-06 宁波卫生职业技术学院 一种基于深度学习的重心监测与识别方法
CN113221661A (zh) * 2021-04-14 2021-08-06 浪潮天元通信信息系统有限公司 一种智能化人体摔倒检测系统及方法
CN113628413A (zh) * 2021-08-30 2021-11-09 中山大学附属第三医院(中山大学肝脏病医院) 穿脱防护服出现意外的自动报警求救技术
CN114694269A (zh) * 2022-02-28 2022-07-01 江西中业智能科技有限公司 一种人体行为监护方法、系统及存储介质
CN114863205A (zh) * 2022-04-08 2022-08-05 深圳市宏电技术股份有限公司 摔倒行为检测方法、装置、设备及可读介质
CN115177062A (zh) * 2022-06-27 2022-10-14 武汉理工大学 一种摔倒检测智能头盔及可拆卸式摔倒检测模块及方法
US12133724B2 (en) 2020-01-21 2024-11-05 Hill-Rom Services, Inc. Machine vision to predict clinical patient parameters

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361321A (zh) * 2014-11-13 2015-02-18 侯振杰 一种判断老年人摔倒行为及身体平衡能力的方法
CN105279483A (zh) * 2015-09-28 2016-01-27 华中科技大学 一种基于深度图像的跌倒行为实时检测方法
CN106485185A (zh) * 2015-08-27 2017-03-08 无锡林之盛科技有限公司 一种基于边界链码的老人摔倒检测算法
CN106503643A (zh) * 2016-10-18 2017-03-15 上海电力学院 人体跌倒检测方法
CN106529418A (zh) * 2016-10-19 2017-03-22 中国科学院计算技术研究所 一种跌倒检测及报警方法
US20170142331A1 (en) * 2015-11-12 2017-05-18 Chiun Mai Communication Systems, Inc. Electronic device and method for capturing images
CN106845456A (zh) * 2017-03-01 2017-06-13 西安电子科技大学 一种视频监控系统中人体摔倒监测的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361321A (zh) * 2014-11-13 2015-02-18 侯振杰 一种判断老年人摔倒行为及身体平衡能力的方法
CN106485185A (zh) * 2015-08-27 2017-03-08 无锡林之盛科技有限公司 一种基于边界链码的老人摔倒检测算法
CN105279483A (zh) * 2015-09-28 2016-01-27 华中科技大学 一种基于深度图像的跌倒行为实时检测方法
US20170142331A1 (en) * 2015-11-12 2017-05-18 Chiun Mai Communication Systems, Inc. Electronic device and method for capturing images
CN106503643A (zh) * 2016-10-18 2017-03-15 上海电力学院 人体跌倒检测方法
CN106529418A (zh) * 2016-10-19 2017-03-22 中国科学院计算技术研究所 一种跌倒检测及报警方法
CN106845456A (zh) * 2017-03-01 2017-06-13 西安电子科技大学 一种视频监控系统中人体摔倒监测的方法

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062526A (zh) * 2017-12-15 2018-05-22 厦门美图之家科技有限公司 一种人体姿态估计方法及移动终端
CN108520223A (zh) * 2018-04-02 2018-09-11 广州华多网络科技有限公司 视频图像的分割方法、分割装置、存储介质和终端设备
CN108520223B (zh) * 2018-04-02 2021-11-12 广州方硅信息技术有限公司 视频图像的分割方法、分割装置、存储介质和终端设备
CN108629300A (zh) * 2018-04-24 2018-10-09 北京科技大学 一种跌倒检测方法
CN108629300B (zh) * 2018-04-24 2022-01-28 北京科技大学 一种跌倒检测方法
CN108960056B (zh) * 2018-05-30 2022-06-03 西南交通大学 一种基于姿态分析和支持向量数据描述的跌倒检测方法
CN108960056A (zh) * 2018-05-30 2018-12-07 西南交通大学 一种基于姿态分析和支持向量数据描述的跌倒检测方法
CN108798761A (zh) * 2018-06-14 2018-11-13 王冬 一种矿井内应急供氧系统及方法
CN109582705B (zh) * 2018-10-31 2023-06-02 创新先进技术有限公司 多源序列的监测方法及装置
CN109582705A (zh) * 2018-10-31 2019-04-05 阿里巴巴集团控股有限公司 多源序列的监测方法及装置
CN109559477A (zh) * 2018-12-24 2019-04-02 绿瘦健康产业集团有限公司 无人健身房室内智能监管方法、装置、终端设备及介质
CN111563397A (zh) * 2019-02-13 2020-08-21 阿里巴巴集团控股有限公司 检测方法、装置、智能设备及计算机存储介质
CN109902659A (zh) * 2019-03-15 2019-06-18 北京字节跳动网络技术有限公司 用于处理人体图像的方法和装置
CN109902659B (zh) * 2019-03-15 2021-08-20 北京字节跳动网络技术有限公司 用于处理人体图像的方法和装置
CN110321780B (zh) * 2019-04-30 2022-05-17 苏州大学 基于时空运动特性的异常摔倒行为检测方法
CN110321780A (zh) * 2019-04-30 2019-10-11 苏州大学 基于时空运动特性的异常摔倒行为检测方法
CN110135329B (zh) * 2019-05-13 2023-08-04 腾讯科技(深圳)有限公司 从视频中提取姿势的方法、装置、设备及存储介质
CN110135329A (zh) * 2019-05-13 2019-08-16 腾讯科技(深圳)有限公司 从视频中提取姿势的方法、装置、设备及存储介质
CN110188633B (zh) * 2019-05-14 2023-04-07 广州虎牙信息科技有限公司 人体体态指标预测方法、装置、电子设备及存储介质
CN110188633A (zh) * 2019-05-14 2019-08-30 广州虎牙信息科技有限公司 人体体态指标预测方法、装置、电子设备及存储介质
CN110222614A (zh) * 2019-05-28 2019-09-10 深兰科技(上海)有限公司 一种识别行人跌倒的方法和设备
CN110379130A (zh) * 2019-06-28 2019-10-25 浙江大学 一种基于多路高清sdi视频的医疗看护防摔倒系统
CN110379130B (zh) * 2019-06-28 2021-04-16 浙江大学 一种基于多路高清sdi视频的医疗看护防摔倒系统
CN110390303A (zh) * 2019-07-24 2019-10-29 深圳前海达闼云端智能科技有限公司 摔倒报警方法、电子设备及计算机可读存储介质
CN110826401A (zh) * 2019-09-26 2020-02-21 广州视觉风科技有限公司 一种人体肢体语言识别方法及系统
CN110826401B (zh) * 2019-09-26 2023-12-26 广州视觉风科技有限公司 一种人体肢体语言识别方法及系统
CN110874865A (zh) * 2019-11-14 2020-03-10 腾讯科技(深圳)有限公司 三维骨架生成方法和计算机设备
CN111079536B (zh) * 2019-11-18 2023-08-29 高新兴科技集团股份有限公司 基于人体关键点时序的行为分析方法、存储介质及设备
CN111079536A (zh) * 2019-11-18 2020-04-28 高新兴科技集团股份有限公司 基于人体关键点时序的行为分析方法、存储介质及设备
CN111126272A (zh) * 2019-12-24 2020-05-08 腾讯科技(深圳)有限公司 姿态获取方法、关键点坐标定位模型的训练方法和装置
WO2021129064A1 (zh) * 2019-12-24 2021-07-01 腾讯科技(深圳)有限公司 姿态获取方法、关键点坐标定位模型的训练方法和装置
US12133724B2 (en) 2020-01-21 2024-11-05 Hill-Rom Services, Inc. Machine vision to predict clinical patient parameters
CN111104932A (zh) * 2020-02-03 2020-05-05 北京都是科技有限公司 一种摔倒检测系统、方法及图像处理器
CN111814767A (zh) * 2020-09-02 2020-10-23 科大讯飞(苏州)科技有限公司 跌倒检测方法、装置、电子设备和存储介质
CN112668456A (zh) * 2020-12-25 2021-04-16 佛山科学技术学院 一种基于深度学习的人体摔倒识别系统及方法
CN112752084A (zh) * 2020-12-30 2021-05-04 合肥联宝信息技术有限公司 一种投影控制方法、装置及计算机可读存储介质
CN112907892A (zh) * 2021-01-28 2021-06-04 上海电机学院 基于多视图的人体跌倒报警方法
CN113221621A (zh) * 2021-02-04 2021-08-06 宁波卫生职业技术学院 一种基于深度学习的重心监测与识别方法
CN113221621B (zh) * 2021-02-04 2023-10-31 宁波卫生职业技术学院 一种基于深度学习的重心监测与识别方法
CN113158783A (zh) * 2021-03-10 2021-07-23 重庆特斯联智慧科技股份有限公司 一种基于人体识别的社区居民健康监控方法和系统
CN113221661A (zh) * 2021-04-14 2021-08-06 浪潮天元通信信息系统有限公司 一种智能化人体摔倒检测系统及方法
CN113628413A (zh) * 2021-08-30 2021-11-09 中山大学附属第三医院(中山大学肝脏病医院) 穿脱防护服出现意外的自动报警求救技术
CN114694269A (zh) * 2022-02-28 2022-07-01 江西中业智能科技有限公司 一种人体行为监护方法、系统及存储介质
CN114863205A (zh) * 2022-04-08 2022-08-05 深圳市宏电技术股份有限公司 摔倒行为检测方法、装置、设备及可读介质
CN115177062A (zh) * 2022-06-27 2022-10-14 武汉理工大学 一种摔倒检测智能头盔及可拆卸式摔倒检测模块及方法

Also Published As

Publication number Publication date
CN107103733B (zh) 2019-07-02

Similar Documents

Publication Publication Date Title
CN107103733B (zh) 一种摔倒报警方法、装置及设备
CN110477925B (zh) 一种针对敬老院老人的跌倒检测与预警方法及系统
Liu et al. A fall detection system using k-nearest neighbor classifier
CN111383421A (zh) 隐私保护跌倒检测方法和系统
Sase et al. Human fall detection using depth videos
CN112949417A (zh) 一种摔倒行为识别方法、设备及系统
CN109561855B (zh) 用于跌倒检测的设备、系统和方法
CN111539253B (zh) 一种人脸检测方法、装置、终端及存储介质
JP2019185752A (ja) 画像抽出装置
US12133724B2 (en) Machine vision to predict clinical patient parameters
KR100822476B1 (ko) 원격 응급상황 모니터링 시스템 및 방법
CN104506809B (zh) 一种基于智能视频的重症病患监控系统
CN114469076B (zh) 一种融合身份特征的独居老人跌倒识别方法及系统
KR20130118512A (ko) 얼굴 인식을 통한 환자 상태 모니터링 시스템 및 이를 이용한 환자 상태 모니터링 서비스 제공 방법
CN116883946B (zh) 老人异常行为实时检测方法、装置、设备及存储介质
Shahiduzzaman Fall detection by accelerometer and heart rate variability measurement
Seredin et al. The study of skeleton description reduction in the human fall-detection task
KR102544147B1 (ko) 영상분석 기반 1인 낙상 감지 시스템 및 방법
CN117136028A (zh) 患者监测系统
KR20120095647A (ko) 홈 헬스케어 모니터링 장치 및 방법
CN113271848B (zh) 身体健康状态影像分析装置、方法以及系统
JP7235137B2 (ja) 監視システム、監視方法、および監視プログラム
US20240378890A1 (en) In-Bed Pose and Posture Tracking System
GB2581767A (en) Patient fall prevention
JP2023030965A (ja) 行動分析システム、および、行動分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
DD01 Delivery of document by public notice

Addressee: Li Junjie

Document name: Deemed not to have provided notice

DD01 Delivery of document by public notice
TR01 Transfer of patent right

Effective date of registration: 20230908

Address after: Unit 3510-8, Luohu Business Center, No. 2028 Shennan East Road, Chengdong Community, Dongmen Street, Luohu District, Shenzhen City, Guangdong Province, 518000

Patentee after: Shenzhen Langshun Intelligent System Co.,Ltd.

Address before: 100089 Beijing, Haidian District, Shanghai 26 Road, 10 floor, 1019 room.

Patentee before: BMI (BEIJING) INTELLIGENT SYSTEM CO.,LTD.

TR01 Transfer of patent right