[go: up one dir, main page]

CN112949417A - 一种摔倒行为识别方法、设备及系统 - Google Patents

一种摔倒行为识别方法、设备及系统 Download PDF

Info

Publication number
CN112949417A
CN112949417A CN202110160809.0A CN202110160809A CN112949417A CN 112949417 A CN112949417 A CN 112949417A CN 202110160809 A CN202110160809 A CN 202110160809A CN 112949417 A CN112949417 A CN 112949417A
Authority
CN
China
Prior art keywords
human body
target human
information
target
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110160809.0A
Other languages
English (en)
Inventor
蔡冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ezviz Network Co Ltd
Original Assignee
Hangzhou Ezviz Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ezviz Network Co Ltd filed Critical Hangzhou Ezviz Network Co Ltd
Priority to CN202110160809.0A priority Critical patent/CN112949417A/zh
Publication of CN112949417A publication Critical patent/CN112949417A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种摔倒行为识别方法、设备及系统。该方法包括：获取目标空间的视频数据；对该视频数据中的各个视频帧进行处理，确定视频帧中目标人体的关键骨骼点的骨骼点信息；根据多个视频帧所对应的骨骼点信息以及预先生成的目标空间中的指定对象的标记信息，识别目标人体是否存在摔倒行为；其中，上述指定对象为可用于躺卧的物体。本申请实施例，可避免目标人体在指定对象上躺下的行为被误识别为摔倒行为的情况的发生，即减少误判情况的发生，从而提高了摔倒行为识别的准确性；并且，不需要目标人体佩戴任何可穿戴设备即可实现摔倒行为的识别，不会对日常活动产生影响以及带来不适感。

Description

一种摔倒行为识别方法、设备及系统
技术领域
本申请涉及机器视觉技术领域，尤其涉及一种摔倒行为识别方法、设备及系统。
背景技术
随着社会老龄化的加剧，以及越来越多的年轻人外出打工，独居老人的比例越来越高。随着年龄的增长，老年人的身体机能不断下降，摔倒已成为老年人受到伤害和死亡的最大诱因。如果老人在摔倒后能够得到及时医疗救助，可有效降低意外伤亡风险。因此，消费者对于摔倒行为检测设备的需求也在迅速增加。
目前，已经存在的摔倒行为检测方案主要包含两大类，一类是通过穿戴可穿戴设备，通过可穿戴设备对人体的姿态进行监测，从而判断佩戴者是否出现摔倒动作。但是，这种方式需要佩戴者长期佩带可穿戴设备，舒适感较差，且不方便用户的日常活动；另一类是通过监控设备进行监控，对监控画面进行分析以确定是否存在摔倒行为，但是，目前的识别方法中会将监控画面中所有卧倒动作都识别为摔倒行为，如在床上躺下等，也即容易出现误判、准确性较低。
由此可知，利用现有技术进行摔倒行为识别时，存在影响用户舒适感、不方便用户的日常活动，或者容易出现误判、准确性较低的问题。
申请内容
本申请实施例采用下述技术方案：
第一方面，本申请实施例提供一种摔倒行为识别方法，包括：
获取目标空间的视频数据；
对所述视频数据中的各个视频帧进行处理，确定所述视频帧中目标人体的关键骨骼点的骨骼点信息；其中，所述骨骼点信息至少包括所述关键骨骼点在所述目标空间的位置信息和所述关键骨骼点的置信度信息；
根据多个所述视频帧所对应的所述骨骼点信息以及预先生成的所述目标空间中的指定对象的标记信息，识别所述目标人体是否存在摔倒行为；其中，所述指定对象为可用于躺卧的物体，所述标记信息用于标记所述指定对象在所述目标空间的位置信息。
可选的，所述根据多个所述视频帧所对应的所述骨骼点信息以及预先确定的所述目标空间中的指定对象的位置信息，识别所述目标人体是否存在摔倒行为，包括：
基于多个所述视频帧所对应的所述骨骼点信息生成时间序列数据；
将所述时间序列数据输入至预先训练的摔倒识别模型进行识别，以识别所述目标人体是否存在倒下动作；
若识别结果指示所述目标人体存在倒下动作，则根据所述骨骼点信息中的位置信息和所述指定对象的标记信息，判断所述目标人体是否处于所述指定对象上；
若判断结果指示所述目标人体处于所述指定对象上，则确定所述目标人体不存在摔倒行为；否则，确定所述目标人体存在摔倒行为。
可选的，所述根据多个所述视频帧所对应的所述骨骼点信息以及预先确定的所述目标空间中的指定对象的位置信息，识别所述目标人体是否存在摔倒行为，包括：
根据所述骨骼点信息中的位置信息和所述指定对象的标记信息，判断所述目标人体是否处于所述指定对象上；
若确定所述目标人体未处于所述指定对象上，则基于多个所述视频帧所对应的所述骨骼点信息生成时间序列数据，将所述时间序列数据输入至预先训练的摔倒识别模型进行识别，以识别所述目标人体是否存在倒下动作；
若是识别结果指示所述目标人体存在倒下动作，则确定所述目标人体存在摔倒行为。
可选的，所述关键骨骼点在所述目标空间的位置信息包括所述关键骨骼点在所述视频帧的坐标系中的第一坐标信息，所述指定对象的标记信息包括所述指定对象在其所在视频帧的坐标系中的第二坐标信息；
相应的，所述根据所述骨骼点信息中的位置信息和所述指定对象的标记信息，判断所述目标人体是否处于所述指定对象上，包括：
从所述关键骨骼点中筛选出属于所述目标人体的躯干部位的躯干骨骼点；
判断所述躯干骨骼点所对应的第一坐标信息是否位于所述第二坐标信息的范围内；
若是，则确定所述目标人体处于所述指定对象上。
可选的，所述对所述视频数据中的各个视频帧进行处理，确定所述视频帧中目标人体的关键骨骼点的骨骼点信息，包括：
针对所述视频数据中的各个视频帧，提取所述视频帧中所述目标人体所对应的局部区域图像；
对所述局部区域图像进行人体姿态估计，确定所述目标人体的关键骨骼点的骨骼点信息。
可选的，本申请实施例提供的方法，还包括：
按照预设时间间隔获取所述目标空间中包含所述指定对象在内的场景视频数据，对所述场景视频数据进行语义分割处理，得到所述指定对象的标记信息；
或者，
在预设时刻点获取所述目标空间中包含所述指定对象在内的场景视频数据，对所述场景视频数据进行语义分割处理，得到所述指定对象的标记信息。
第二方面，本申请实施例还提供了一种摔倒行为识别设备，所述设备包括：
图像采集模块，用于获取目标空间的视频数据；
图像处理模块，用于对所述视频数据中的各个视频帧进行处理，确定所述视频帧中目标人体的关键骨骼点的骨骼点信息；根据多个所述视频帧所对应的所述骨骼点信息以及预先生成的所述目标空间中的指定对象的标记信息，识别所述目标人体是否存在摔倒行为；其中，所述骨骼点信息至少包括所述关键骨骼点在所述目标空间的位置信息和所述关键骨骼点的置信度信息；所述指定对象为可用于躺卧的物体，所述标记信息用于标记所述指定对象在所述目标空间的位置信息。
可选的，所述图像处理模块，具体用于：
基于多个所述视频帧所对应的所述骨骼点信息生成时间序列数据；将所述时间序列数据输入至预先训练的摔倒识别模型进行识别，以识别所述目标人体是否存在倒下动作；若识别结果指示所述目标人体存在倒下动作，则根据所述骨骼点信息中的位置信息和所述指定对象的标记信息，判断所述目标人体是否处于所述指定对象上；若判断结果指示所述目标人体处于所述指定对象上，则确定所述目标人体不存在摔倒行为；否则，确定所述目标人体存在摔倒行为。
可选的，所述图像处理模块，还具体用于：
根据所述骨骼点信息中的位置信息和所述指定对象的标记信息，判断所述目标人体是否处于所述指定对象上；若确定所述目标人体未处于所述指定对象上，则基于多个所述视频帧所对应的所述骨骼点信息生成时间序列数据，将所述时间序列数据输入至预先训练的摔倒识别模型进行识别，以识别所述目标人体是否存在倒下动作；若是识别结果指示所述目标人体存在倒下动作，则确定所述目标人体存在摔倒行为。
可选的，所述图像采集模块，还用于：
按照预设时间间隔或者在预设时间点获取所述目标空间中包含所述指定对象在内的场景视频数据；
所述图像处理模块，还用于对所述场景视频数据进行语义分割处理，得到所述指定对象的标记信息。
第三方面，本申请实施例还提供了一种摔倒行为识别系统，所述系统包括视频采集设备和服务器；
所述视频采集设备，用于采集目标空间的视频数据，并将所述视频数据发送给所述服务器；
所述服务器，用于对所述视频数据中的各个视频帧进行处理，确定所述视频帧中目标人体的关键骨骼点的骨骼点信息；根据多个所述视频帧所对应的所述骨骼点信息以及预先生成的所述目标空间中的指定对象的标记信息，识别所述目标人体是否存在摔倒行为；其中，所述骨骼点信息至少包括所述关键骨骼点在所述目标空间的位置信息和所述关键骨骼点的置信度信息；所述指定对象为可用于躺卧的物体，所述标记信息用于标记所述指定对象在所述目标空间的位置信息。
可选的，所述服务器，具体用于：
基于多个所述视频帧所对应的所述骨骼点信息生成时间序列数据；将所述时间序列数据输入至预先训练的摔倒识别模型进行识别，以识别所述目标人体是否存在倒下动作；若识别结果指示所述目标人体存在倒下动作，则根据所述骨骼点信息中的位置信息和所述指定对象的标记信息，判断所述目标人体是否处于所述指定对象上；若判断结果指示所述目标人体处于所述指定对象上，则确定所述目标人体不存在摔倒行为；否则，确定所述目标人体存在摔倒行为。
可选的，所述视频采集设备，还用于按照预设时间间隔或者在预设时间点获取所述目标空间中包含所述指定对象在内的场景视频数据，并发送给所述服务器；
所述服务器，还用于对所述场景视频数据进行语义分割处理，得到所述指定对象的标记信息。
第四方面，本申请实施例还提供了一种计算机设备，包括处理器、通信接口、存储器和通信总线；其中，所述处理器、所述通信接口以及所述存储器通过总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现本申请实施例第一方面所述的方法步骤。
第五方面，本申请实施例还提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例第一方面所述的方法步骤。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
采用本申请实施例提供的技术方案，在识别位于目标空间中的目标人体是否存在摔倒行为时，将目标空间中可用于躺卧的指定对象的标记信息也考虑在内，这样，可以避免目标人体在指定对象上躺下的行为被误识别为摔倒行为的情况的发生，即可以减少误判情况的发生，从而提高了摔倒行为识别的准确性；并且，本申请实施例所提供到的方法，不需要目标人体佩戴任何可穿戴设备即可实现摔倒行为的识别，不会对日常活动产生影响以及带来不适感。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例提供的摔倒行为识别方法的第一种流程示意图；
图2为本申请实施例提供的摔倒行为识别方法的第二种流程示意图；
图3为本申请实施例提供的摔倒行为识别方法的第三种流程示意图；
图4(a)为本申请实施例提供的摔倒行为识别方法中，采集的客厅的场景视频数据的一种示意图；
图4(b)为本申请实施例提供的摔倒行为识别方法中，在场景视频数据中对沙发进行标记后的示意图；
图4(c)为本申请实施例提供的摔倒行为识别方法中，所标记的目标人体的躯干骨骼点的示意图；
图5为本申请实施例提供的摔倒行为识别设备的结构示意图；
图6为本申请实施例提供的摔倒行为识别系统的结构示意图；
图7为本申请实施例提供的网络设备的模块组成示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
首先，本申请实施例提供了一种摔倒行为识别方法，该方法可以应用于视频采集设备，即由视频采集设备对目标空间进行监控，并根据监控得到的视频数据进行摔倒行为识别；还可以应用于服务器端，即由视频采集设备对目标空间进行监控，并将视频数据上传至服务器端，由服务器端根据监控的视频数据进行摔倒行为识别。
图1为本申请实施例提供的摔倒行为识别方法的第一种流程图，如图1所示，该方法至少包括如下步骤：
步骤102，获取目标空间的视频数据。
其中，上述目标空间可以为卧室、客厅、某公共场合等任意需要进行摔倒行为识别的空间区域，可以为室内空间，也可以为室外空间，本申请实施例并不对此进行限定，只要是设置有可用于躺卧的物体的空间即可采用本申请实施例所提供的方法进行摔倒行为识别。
可选的，在一种具体实施方式中，若是本申请实施例所提供的摔倒行为识别方法是由安装在目标空间的视频采集设备(如监控摄像机)执行的，则上述步骤102的过程实际上是视频采集设备采集目标空间的视频数据的过程；在另外一种具体实施方式中，若是本申请实施例所提供的摔倒行为识别方法是由视频采集设备所接入的服务器端执行的，则上述步骤102的过程实际上为服务器端从视频采集设备获取目标空间的视频数据的过程。
步骤104，对视频数据中的各个视频帧进行处理，确定该视频帧中目标人体的关键骨骼点的骨骼点信息。
其中，上述骨骼点信息至少包括关键骨骼点在目标空间的位置信息和关键骨骼点的置信度信息。上述所提及到的置信度也可以理解为可靠度，即实际上表征上述关键骨骼点识别的可靠程度。
具体的，在实施时，视频采集设备在进行视频数据采集时，可以按照一定的帧率进行采集，也即，实际上所采集的视频数据则是由一帧帧连续的视频帧数据构成的。例如，在一种具体实施方式中，若是视频采集设备在进行视频采集时，以每秒采集12帧画面的帧率进行采集，这样实际上可以理解，该视频采集设备每秒采集12帧画面，这12帧画面则构成该秒内的视频数据。
因此，实际上所采集的视频数据则是由连续的多个视频帧所构成的，每个视频帧中的画面是静态的，由连续的多个视频帧构成具有动态画面的视频数据。因此，所采集的视频数据中，目标人体可能处于一个动态状态，也即在各帧视频帧中目标人体的姿态是有所差异的。因此，在上述步骤104中，基于所获取的视频数据确定目标人体的关键骨骼点的骨骼点信息时，则是对视频数据中的各个视频帧进行处理，以确定各个视频帧中目标人体的关键骨骼点的骨骼点信息。当然，若是目标人体是处于运动状态的，则根据各个视频帧所确定的目标人体的关键骨骼点的骨骼点信息是有所区别的。
可选的，在一种具体实施方式中，上述关键骨骼点可以是人体关键部位的骨骼点，如人体左眼、右眼、左耳、右耳、嘴巴、胸颈处、左肩、左肘、左手、右肩、又肘、右手、左髋、左膝、左脚、右髋、右膝和右脚，共18个关键骨骼点。当然，所采用的关键骨骼点并不一定必须为上述18个关键骨骼点，也可以包含其他关键骨骼点，或者只是采用上述18个关键骨骼点中的部分关键骨骼点，此处只是示例性说明本申请实施例中的关键骨骼点，并不构成对本申请实施例的限定。
步骤106，根据多个视频帧所对应的骨骼点信息以及预先确定的目标空间中的指定对象的标记信息，识别目标人体是否存在摔倒行为；其中，上述指定对象为可用于躺卧的物体，上述标记信息用于标记指定对象在目标空间的位置信息。
其中，在一种具体实施方式中，上述指定对象可以为床、沙发、躺椅等可用于目标人体进行躺卧的物体。
一般情况下，当目标人体在目标空间进行活动时，在指定对象上的一些行为可能会被误判为摔倒行为，如在床上躺下、在沙发上躺下、躺在躺椅上等，因此，为了减少误判为摔倒行为的情况的发生，在上述步骤106中，在进行摔倒行为识别时，将目标空间中的指定对象的位置信息也考虑在内，这样，可以减少将目标人体躺卧在指定对象上的行为识别为摔倒行为的情况的发生，从而提高了摔倒行为识别到的准确性。
为便于理解本申请实施例提供的方法，下述将一一详细介绍上述各个步骤的具体实现过程。
可选的，在一种具体实施方式中，上述步骤104中，对视频数据中的各个视频帧进行处理，确定视频帧中目标人体的关键骨骼点的骨骼点信息，具体包括如下过程：
针对视频数据中的各个视频帧，提取该视频帧中目标人体所对应的局部区域图像；对上述局部区域图像进行人体姿态估计，确定目标人体的关键骨骼点的骨骼点信息。
具体的，在一种具体实施方式中，在获取到目标空间的视频数据后，针对该视频数据中所包含的每个视频帧，可以基于预设检测算法识别该视频帧中的目标人体，并从该视频帧中提取出目标人体所对应的局部区域图像。当然，在具体实施时，所采集的视频数据中可能包含目标人体，也可能不包含目标人体，若是目标人体出现在视频采集设备的监控区域中时，所采集的视频数据则包含目标人体，若是目标人体在视频采集设备的监控区域之外活动，则所采集的视频数据则不包含目标人体。因此，在使用预设检测算法识别视频帧中的目标人体时，可能会出现识别不到目标人体的情况，在该种情况下，则不再对该视频帧进行任何处理，结束该流程即可。
在具体实施时，若是通过预设检测算法识别到视频帧中的目标人体，则基于该预设检测算法将包含有目标人体的局部区域图像从整个视频帧中分割出来即可。
可选的，在具体实施时，上述预设检测算法可以为YOLO(You Only Look Once)算法，也可以使用其他检测算法实现，只要是可以识别目标人体并提取目标人体所对应的局部图像区域的算法均可以应用于本申请实施例中。此处只是示例性说明，并不构成对本申请实施例的限定。
在提取出目标人体所对应的局部区域图像后，则基于该局部区域图像，采用预设姿态估计算法，对该局部区域图像中的目标人体进行人体姿态估计，以确定目标人体的关键骨骼点的骨骼点信息。可选的，在一种具体实施方式中，可以采用AlphaPose姿态估计算法确定目标人体的关键骨骼点的骨骼点信息。
另外，另外需要说明的是，上述步骤106在具体实施时，可以是在基于骨骼点信息识别出目标人体存在倒下动作后，再结合目标空间中的指定对象的标记信息确定目标人体的倒下动作是否为摔倒行为；也可以是先检测目标人体是否处于指定对象上，在确定目标人体未处于指定对象上时，再执行检测目标人体是否存在摔倒动作的步骤。
可选的，在一种具体实施方式中，上述步骤106中，根据多个视频帧所对应的骨骼点信息以及预先确定的所述目标空间中的指定对象的位置信息，识别所述目标人体是否存在摔倒行为，可通过如下过程实现：
基于多个视频帧所对应的骨骼点信息生成时间序列数据；将上述时间序列数据输入至预先训练的摔倒识别模型进行识别，以识别目标人体是否存在倒下动作；若识别结果指示目标人体存在倒下动作，则根据骨骼点信息中的位置信息和指定对象的标记信息，判断目标人体是否处于指定对象上；若判断结果指示目标人体处于指定对象上，则确定目标人体不存在摔倒行为；否则，确定目标人体存在摔倒行为。
其中，上述多个视频帧可以为预设时间长度内连续采集的视频数据所对应的视频帧，例如，可以为5秒、10秒等时间长度内连续采集的视频数据所对应的视频帧；或者，上述多个视频帧可以为连续采集的指定数量个视频帧，如连续采集的120帧视频帧等等。由于摔倒行为为包含一系列动作在内的、为持续一段时间的动作行为，因此，在识别是否存在摔倒行为时，需要使用一段时间内的视频数据，也即需要使用多个视频帧所对应的骨骼点信息。
在具体实施时，可以将所确定出的每帧视频帧所对应的骨骼点按照时间顺序进行排列，生成时间序列数据。为便于理解，下述将举例进行说明。
例如，在一种具体实施方式中，基于120帧视频帧所对应的骨骼点信息进行摔倒行为识别。所采集的120帧视频按照时间先后顺序依次记为视频帧1、视频帧2、视频帧3、…、视频帧120。视频帧1所对应的关键骨骼点的骨骼点信息记为骨骼点信息1，视频帧2所对应的关键骨骼点的骨骼点信息记为骨骼点信息2、视频帧3所对应的关键骨骼点的骨骼点信息记为骨骼点信息4，视频帧120所对应的关键骨骼点的骨骼点信息记为骨骼点信息120。因此，基于上述120帧视频所对应的骨骼点信息所生成的时间序列数据可以为：
骨骼点信息1、骨骼点信息2、…、骨骼点信息120。
可选的，在本申请实施例中，可以采用时空图卷积网络模型(Spatial TemporalGraph Convolution Networks for Skeleton Based Action Recognition，STGCN)识别目标人体是否存在倒下动作。
具体的，在本申请实施例中，当通过摔倒识别模型识别出目标人体存在到下动作后，则需要根据目标人体所对应的骨骼点信息中的位置信息以及目标空间中指定对象的标记信息，判断目标人体是否位于指定对象上，若是判断出目标人体位于指定对象上，这时，可以认为目标人体当前的倒下动作可能是为主动在指定对象上躺下的动作，即不认为目标人体存在摔倒行为；若是判断出目标人体未位于指定对象上，这时，可以认为目标人体当前的倒下动作为摔倒行为，即确定目标人体存在摔倒行为。
在本申请实施例中，在通过摔倒识别模型识别出目标人体存在倒下动作之后，再结合目标空间中的指定对象的标记信息进一步判断目标人体是否位于指定对象上，通过增加判断目标人体是否位于指定对象上，可以避免用户在指定对象上躺下的行为被误识别为摔倒行为的情况的发生，即减少误判情况的发生，从而提高了摔倒行为识别的准确性；并且，本申请实施例所提供到的方法，不需要目标人体佩戴任何可穿戴设备即可实现摔倒行为的识别，不会对用户的日常活动产生影响。
其中，通过摔倒识别模型检测目标人体是否存在倒下动作的具体过程可以参考现有技术，此处不再赘述。
另外，需要说明的是，在本申请实施例中，可以在基于摔倒识别模型识别出目标人体存在倒下动作之后，再结合目标人体是否位于指定对象上，从而最终确定目标人体是否存在摔倒行为；也可以是在使用摔倒识别模型识别目标人体是否存在倒下动作之前，先判断目标人体是否位于指定对象上，若是确定目标人体位于指定对象上，这时可以不必执行后续使用摔倒识别模型识别目标人体是否存在倒下动作的步骤，从而减少计算量，进而减少资源消耗。
因此，在一种具体实施方式中，上述步骤104中，根据多个视频帧所对应的骨骼点信息以及预先确定的目标空间中的指定对象的位置信息，识别目标人体是否存在摔倒行为，还可以通过如下方式实现：
根据上述骨骼点信息中的位置信息和指定对象的标记信息，判断目标人体是否处于指定对象上；若确定目标人体未处于指定对象上，则基于多个视频帧所对应的骨骼点信息生成时间序列数据，将该时间序列数据输入至预先训练的摔倒识别模型进行识别，以识别目标人体是否存在倒下动作；若是识别结果指示目标人体存在倒下动作，则确定目标人体存在摔倒行为。
可选的，在一种具体实施方式中，首选判断目标人体是否处于指定对象上，若是处于指定对象上，即使后续通过摔倒识别模型检测出目标人体存在倒下动作也不会认为目标人体存在摔倒行为，因此，在具体实施时，为了减少资源消耗，可以先执行检测目标人体是否处于指定对象上的操作。
其中，上述基于时间序列数据检测目标人体是否存在倒下动作的相关内容可参考前述介绍，此处不再赘述。
可选的，在具体实施时，可以通过比较某些关键骨骼点的位置信息是否与指定对象重叠的方式检测目标人体是否位于指定对象上。因此，在一种具体实施方式中，上述关键骨骼点在目标空间的位置信息包含关键骨骼点在视频帧的坐标系中的第一坐标信息，指定对象的标记信息包括指定对象在其所在视频帧的坐标系中的第二坐标信息；
一般的，在建立视频帧所对应的坐标系时，可以以视频帧的左上角作为原点，该原点向右的方向为X轴方向，该原点向下的方向为Y轴方向。当然，还可以以视频帧的其他点作为原点建立坐标系，此处只是示例性说明，并不构成对本申请实施例的限定。
另外，需要说明的是，在具体实施时，上述指定对象所在视频帧以及关键骨骼点所对应视频帧的采集角度相同，也即，视频采集设备在采集场景视频数据以及视频数据时，采集角度是固定的。
相应的，在本申请实施例中，上述根据骨骼点信息中的位置信息和指定对象的标记信息，判断目标人体是否处于指定对象上，具体可以通过如下过程实现：
从关键骨骼点中筛选出属于目标人体的躯干部位的躯干骨骼点；判断躯干骨骼点所对应的第一坐标信息是否与与第二坐标信息的范围内；若是，则确定目标人体处于指定对象上。
可选的，在一种具体实施方式中，由于指定对象为存在一定大小的实体物体，因此，第二坐标信息实际上为一个坐标范围，例如，横坐标为(x1，x2)，纵坐标的范围为(y1，y2)。确定躯干骨骼点在坐标系中的第一坐标系，并判断各个躯干骨骼点所对应的第一坐标系统是否均落入第二坐标系的范围内，若是，则确定目标人体位于指定对象上。
为便于理解本申请实施例提供的方法，下述将举例进行说明。
例如，在一种具体实施方式中，所筛选的目标人体的躯干部位的躯干骨骼点可以为属于躯干的某几个躯干骨骼点，也可以为属于躯干的全部骨骼点。例如，结合人体躺在沙发或者床上的动作可知，一般人体躺在沙发或者床上时，人体胸径处、左肩、右肩、左髋以及右髋等部位是位于指定对象上的。因此，在具体实施时，可以分别判断上述几个躯干骨骼点所对应的第一坐标信息是否位于第二坐标信息的范围内，若是，则确定目标人体处于指定对象上。
为便于理解本申请实施例提供的方法，下述将以本申请实施例提供的方法由视频采集设备执行为例介绍本申请所提供方法的具体实施例。
其中，图2示出了本申请实施例提供的摔倒行为识别方法的第二种流程示意图，如图2所示，该方法至少包括如下步骤：
步骤202，采集目标空间的视频数据。
步骤204，针对视频数据中的各个视频帧，检测视频帧中的目标人体，并从视频帧中提取目标人体所对应的局部区域图像。
步骤206，对局部区域图像进行人体姿态估计，确定目标人体的关键骨骼点的骨骼点信息。
其中，上述关键骨骼点的骨骼点信息包括关键骨骼点在其所对应视频帧坐标系中的第一坐标信息和关键骨骼点的置信度信息。
步骤208，基于多个视频帧所对应的骨骼点信息生成时间序列数据。
步骤210，将时间序列数据输入至预先训练的摔倒识别模型进行识别，以识别目标人体是否存在倒下的行为；若存在，则执行步骤212；否则，结束。
步骤212，从关键骨骼点中筛选出属于目标人体的躯干部位的躯干骨骼点。
步骤214，获取预先生成的指定对象在其所在视频帧的坐标系中的第二坐标信息。
其中，上述指定对象为可用于躺卧的物体，指定对象所在视频帧的采集角度与关键骨骼点所对应视频帧的采集角度相同。
步骤216，判断躯干骨骼点所对应的第一坐标信息是否位于第二坐标信息的范围内；若是，则执行步骤220；否则，执行步骤218。
步骤218，确定目标人体存在摔倒行为。
步骤220，确定目标人体不存在摔倒行为。
其中，上述只是示例性列举一种可能的实施方式，上述各个步骤的执行顺序并不构成对本社你请实施例的限定。例如，上述步骤214可以在步骤216之前的任意一个步骤执行。
可选的，在一种具体实施方式中，可以将预先所确定出的指定对象在目标空间的标记信息存储在视频采集设备中；或者，还可以直接基于用于进行摔倒行为监控的视频采集设备确定目标空间的指定对象的标记信息，在具体实施时，可以是基于用于进行摔倒行为监控的视频采集设备采集目标空间孔家的场景视频数据，并对所采集的场景视频数据进行处理，以确定指定对象的标记信息。因此，本申请实施例提供的方法，还包括如下步骤：
按照预设时间间隔获取目标空间中包含指定对象在内的场景视频数据；对该场景视频数据进行语义分割处理，得到指定对象的标记信息；
或者，
在预设时刻点获取目标空间中包含指定对象在内的场景视频数据；对该场景视频数据进行语义分割处理，得到指定对象的标记信息。
需要说明的是，对于位于目标空间中的指定对象而言，随着目标空间的布局的变化，指定对象的位置信息可能也会发生变化，因此，需要每间隔一段时间重新生成一次指定对象的标记信息。
在具体实施时，可以按照设定时间间隔更新一次指定对象的标记信息，如每间隔10个小时或者5个小时等等；或者，也可以按照预设时刻点进行指定对象的标记信息的更新，如在每天的早晨6:00以及下午15:00进行指定对象的标记信息的更新等等。
另外，需要说明的是，在本申请实施例中，在采集场景视频数据时视频采集设备的采集角度与采集目标空间的视频数据时的采集角度相同。
其中，上述通过语义分割的方式确定指定对象的标记信息的具体过程可参考现有技术，本申请实施例不再赘述。
另外，需要说明的是，在一种具体实施方式中，可以在场景视频数据的视频帧图像上将指定对象的区域标记为1，非指定对象的区域标记为0。
图3示出了本申请实施例提供的摔倒行为识别方法的第三种流程示意图，该方法应用于视频采集设备，如图3所示，该方法至少包括如下步骤：
步骤302，检测当前时刻是否达到预设时刻点；若是，则执行步骤304；否则，执行步骤306。
步骤304，采集目标空间的场景视频数据，对场景视频数据进行语义分割处理，生成指定对象在其所在视频帧的坐标系中的第二坐标信息。
其中，上述指定对象为可用于躺卧的物体，指定对象所在视频帧的采集角度与关键骨骼点所对应视频帧的采集角度相同。
步骤306，采集目标空间的视频数据。
步骤308，针对视频数据中的各个视频帧，检测视频帧中的目标人体，并从视频帧中提取目标人体所对应的局部区域图像。
步骤310，对局部区域图像进行人体姿态估计，确定目标人体的关键骨骼点的骨骼点信息。
其中，上述关键骨骼点的骨骼点信息包括关键骨骼点在其所对应视频帧坐标系中的第一坐标信息和关键骨骼点的置信度信息。
步骤312，基于多个视频帧所对应的骨骼点信息生成时间序列数据。
步骤314，将时间序列数据输入至预先训练的摔倒识别模型进行识别，以识别目标人体是否存在倒下的行为；若存在，则执行步骤316。
步骤316，从关键骨骼点中筛选出属于目标人体的躯干部位的躯干骨骼点。
步骤318，判断躯干骨骼点所对应的第一坐标信息是否位于第二坐标信息的范围内；若是，则执行步骤322；否则，执行步骤320。
步骤320，确定目标人体存在摔倒行为。
步骤322，确定目标人体不存在摔倒行为。
为便于理解本申请实施例所提供的摔倒行为识别方法，下述将结合图例以目标空间为客厅、指定对象为沙发为例介绍本申请实施例所提供的方法。例如，在一种具体实施方式中，可以通过视频采集设备采集客厅的场景视频数据，所采集的客厅的场景视频数据的一种示意图如图4(a)所示，对图4(a)所示的场景视频数据进行语义分割处理，确定沙发在客厅中的位置信息，并在场景视频数据中对沙发的位置信息进行标记，在图4(a)所示的场景视频数据中将沙发所对应的位置信息进行标记，标记后所得到的示意图如图4(b)所示。在日常使用中，通过视频采集设备采集客厅中的视频数据，并针对所采集的视频数据中的各个视频帧，从包含有目标人体的视频帧中提取目标人体所对应的局部区域图像；然后对所提取出的目标人体所对应的局部区域图像进行人体姿态估计，以确定出目标人体的关键骨骼点的骨骼点信息；其中，所采用的关键骨骼点可以是人体关键部位的骨骼点，如人体左眼、右眼、左耳、右耳、嘴巴、胸颈处、左肩、左肘、左手、右肩、又肘、右手、左髋、左膝、左脚、右髋、右膝和右脚，共18个关键骨骼点；基于所确定出的关键骨骼点识别目标人体是否存在倒下的行为；若是存在，则从关键骨骼点中筛选出目标人体的躯干部位的躯干骨骼点，如胸径处、左肩、右肩、左肘、右肘、左髋、右髋、左膝和右膝等，如图4(c)中黑色圆点所示，基于上述躯干骨骼点和沙发的位置信息确定目标人体的倒下行为是否为摔倒行为；其中，在具体实施时，可以是判断目标人体的躯干骨骼点所对应的第一坐标信息是否位于沙发所对应的第二坐标信息的范围内；若否，则确定目标人体的倒下行为为摔倒行为。
另外，需要说明的是，在本申请实施例中，图4(a)、图4(b)和图4(c)则是采用线条图的形式对所采集的视频进行示意性的说明，在实际应用中，所采集到的视频为均为目标空间中的实物，此处只是示意性说明，并不构成对本申请实施例的限定。
另外，需要说明的是，在本申请实施例中，可以将摔倒行为识别设备(如监控摄像机或者服务器端)与指定监控人的终端设备建立连接，当检测到目标人体存在摔倒行为时，向指定监控人的终端设备发送目标人体摔倒的警报信息。
本申请实施例提供的摔倒行为识别方法，在识别位于目标空间中的目标人体是否存在摔倒行为时，将目标空间中可用于躺卧的指定对象的标记信息也考虑在内，这样，可以避免目标人体在指定对象上躺下的行为被误识别为摔倒行为的情况的发生，即可以减少误判情况的发生，从而提高了摔倒行为识别的准确性；并且，本申请实施例所提供到的方法，不需要目标人体佩戴任何可穿戴设备即可实现摔倒行为的识别，不会对日常活动产生影响以及带来不适感。
对应于本申请实施例提供的方法，基于相同的思路，本申请实施例还提供了一种摔倒行为识别设备，用于执行本申请实施例提供的方法。图5为本申请实施例提供的摔倒行为识别设备的结构示意图，如图5所示，该设备包括：
图像采集模块402，用于获取目标空间的视频数据；
图像处理模块404，用于对所述视频数据中的各个视频帧进行处理，确定所述视频帧中目标人体的关键骨骼点的骨骼点信息；根据多个所述视频帧所对应的所述骨骼点信息以及预先生成的所述目标空间中的指定对象的标记信息，识别所述目标人体是否存在摔倒行为；其中，所述骨骼点信息至少包括所述关键骨骼点在所述目标空间的位置信息和所述关键骨骼点的置信度信息；所述指定对象为可用于躺卧的物体，所述标记信息用于标记所述指定对象在所述目标空间的位置信息。
可选的，上述图像处理模块404，具体用于：
基于多个所述视频帧所对应的所述骨骼点信息生成时间序列数据；将所述时间序列数据输入至预先训练的摔倒识别模型进行识别，以识别所述目标人体是否存在倒下动作；若识别结果指示所述目标人体存在倒下动作，则根据所述骨骼点信息中的位置信息和所述指定对象的标记信息，判断所述目标人体是否处于所述指定对象上；若判断结果指示所述目标人体处于所述指定对象上，则确定所述目标人体不存在摔倒行为；否则，确定所述目标人体存在摔倒行为。
可选的，上述图像处理模块404，还具体用于：
根据所述骨骼点信息中的位置信息和所述指定对象的标记信息，判断所述目标人体是否处于所述指定对象上；若确定所述目标人体未处于所述指定对象上，则基于多个所述视频帧所对应的所述骨骼点信息生成时间序列数据，将所述时间序列数据输入至预先训练的摔倒识别模型进行识别，以识别所述目标人体是否存在倒下动作；若是识别结果指示所述目标人体存在倒下动作，则确定所述目标人体存在摔倒行为。
可选的，上述图像采集模块402，还用于：
按照预设时间间隔或者在预设时间点获取所述目标空间中包含所述指定对象在内的场景视频数据；
所述图像处理模块404，还用于对所述场景视频数据进行语义分割处理，得到所述指定对象的标记信息。
其中，本申请实施例提供的摔倒行为识别设备可实现图1-图4(c)所示摔倒行为识别方法实施例中的全部方法步骤，此处不再赘述。
本申请实施例提供的摔倒行为识别设备，在识别位于目标空间中的目标人体是否存在摔倒行为时，将目标空间中可用于躺卧的指定对象的标记信息也考虑在内，这样，可以避免目标人体在指定对象上躺下的行为被误识别为摔倒行为的情况的发生，即可以减少误判情况的发生，从而提高了摔倒行为识别的准确性；并且，本申请实施例所提供到的方法，不需要目标人体佩戴任何可穿戴设备即可实现摔倒行为的识别，不会对日常活动产生影响以及带来不适感。
对应于本申请实施例图1-图4(c)所示实施例提供的方法，基于相同的思路，本申请实施例还提供了一种摔倒行为识别系统，用于执行本申请图1-图4(c)所示实施例提供的方法。图6为本申请实施例提供的摔倒行为识别系统的结构示意图，如图6所示，该设备包括：视频采集设备502和服务器504；
所述视频采集设备502，用于采集目标空间的视频数据，并将所述视频数据发送给所述服务器；
所述服务器504，用于对所述视频数据中的各个视频帧进行处理，确定所述视频帧中目标人体的关键骨骼点的骨骼点信息；根据多个所述视频帧所对应的所述骨骼点信息以及预先生成的所述目标空间中的指定对象的标记信息，识别所述目标人体是否存在摔倒行为；其中，所述骨骼点信息至少包括所述关键骨骼点在所述目标空间的位置信息和所述关键骨骼点的置信度信息；所述指定对象为可用于躺卧的物体，所述标记信息用于标记所述指定对象在所述目标空间的位置信息。
可选的，服务器504，具体用于：
基于多个所述视频帧所对应的所述骨骼点信息生成时间序列数据；将所述时间序列数据输入至预先训练的摔倒识别模型进行识别，以识别所述目标人体是否存在倒下动作；若识别结果指示所述目标人体存在倒下动作，则根据所述骨骼点信息中的位置信息和所述指定对象的标记信息，判断所述目标人体是否处于所述指定对象上；若判断结果指示所述目标人体处于所述指定对象上，则确定所述目标人体不存在摔倒行为；否则，确定所述目标人体存在摔倒行为。
可选的，所述视频采集设备502，还用于按照预设时间间隔或者在预设时间点获取所述目标空间中包含所述指定对象在内的场景视频数据，并发送给所述服务器；
所述服务器504，还用于对所述场景视频数据进行语义分割处理，得到所述指定对象的标记信息。
其中，本申请实施例提供的摔倒行为识别系统可实现图1-图4(c)所示摔倒行为识别方法实施例中的全部方法步骤，此处不再赘述。
本申请实施例提供的摔倒行为识别系统，在识别位于目标空间中的目标人体是否存在摔倒行为时，将目标空间中可用于躺卧的指定对象的标记信息也考虑在内，这样，可以避免目标人体在指定对象上躺下的行为被误识别为摔倒行为的情况的发生，即可以减少误判情况的发生，从而提高了摔倒行为识别的准确性；并且，本申请实施例所提供到的方法，不需要目标人体佩戴任何可穿戴设备即可实现摔倒行为的识别，不会对日常活动产生影响以及带来不适感。
相应于本申请实施例提供的一种目标人体入侵检测系统，本申请实施例提供一种网络设备，参见图7所示，网络设备包括处理器610、收发机620、存储器630和总线接口。其中：
在本申请实施例中，网络设备600还包括：存储在存储器630上并可在所述处理器610上运行的计算机程序，所述计算机程序被所述处理器610执行时实现上述摔倒行为识别方法的全部方法步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
在图7中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器610代表的一个或多个处理器和存储器630代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机620可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。
处理器610负责管理总线架构和通常的处理，存储器630可以存储处理器610在执行操作时所使用的数据。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (15)

1.一种摔倒行为识别方法，其特征在于，所述方法包括：
获取目标空间的视频数据；
对所述视频数据中的各个视频帧进行处理，确定所述视频帧中目标人体的关键骨骼点的骨骼点信息；其中，所述骨骼点信息至少包括所述关键骨骼点在所述目标空间的位置信息和所述关键骨骼点的置信度信息；
根据多个所述视频帧所对应的所述骨骼点信息以及预先生成的所述目标空间中的指定对象的标记信息，识别所述目标人体是否存在摔倒行为；其中，所述指定对象为可用于躺卧的物体，所述标记信息用于标记所述指定对象在所述目标空间的位置信息。
2.如权利要求1所述的方法，其特征在于，所述根据多个所述视频帧所对应的所述骨骼点信息以及预先确定的所述目标空间中的指定对象的位置信息，识别所述目标人体是否存在摔倒行为，包括：
基于多个所述视频帧所对应的所述骨骼点信息生成时间序列数据；
将所述时间序列数据输入至预先训练的摔倒识别模型进行识别，以识别所述目标人体是否存在倒下动作；
若识别结果指示所述目标人体存在倒下动作，则根据所述骨骼点信息中的位置信息和所述指定对象的标记信息，判断所述目标人体是否处于所述指定对象上；
若判断结果指示所述目标人体处于所述指定对象上，则确定所述目标人体不存在摔倒行为；否则，确定所述目标人体存在摔倒行为。
3.如权利要求1所述的方法，其特征在于，所述根据多个所述视频帧所对应的所述骨骼点信息以及预先确定的所述目标空间中的指定对象的位置信息，识别所述目标人体是否存在摔倒行为，包括：
根据所述骨骼点信息中的位置信息和所述指定对象的标记信息，判断所述目标人体是否处于所述指定对象上；
若确定所述目标人体未处于所述指定对象上，则基于多个所述视频帧所对应的所述骨骼点信息生成时间序列数据，将所述时间序列数据输入至预先训练的摔倒识别模型进行识别，以识别所述目标人体是否存在倒下动作；
若是识别结果指示所述目标人体存在倒下动作，则确定所述目标人体存在摔倒行为。
4.如权利要求2或3所述的方法，其特征在于，所述关键骨骼点在所述目标空间的位置信息包括所述关键骨骼点在所述视频帧的坐标系中的第一坐标信息，所述指定对象的标记信息包括所述指定对象在其所在视频帧的坐标系中的第二坐标信息；
相应的，所述根据所述骨骼点信息中的位置信息和所述指定对象的标记信息，判断所述目标人体是否处于所述指定对象上，包括：
从所述关键骨骼点中筛选出属于所述目标人体的躯干部位的躯干骨骼点；
判断所述躯干骨骼点所对应的第一坐标信息是否位于所述第二坐标信息的范围内；
若是，则确定所述目标人体处于所述指定对象上。
5.如权利要求1所述的方法，其特征在于，所述对所述视频数据中的各个视频帧进行处理，确定所述视频帧中目标人体的关键骨骼点的骨骼点信息，包括：
针对所述视频数据中的各个视频帧，提取所述视频帧中所述目标人体所对应的局部区域图像；
对所述局部区域图像进行人体姿态估计，确定所述目标人体的关键骨骼点的骨骼点信息。
6.如权利要求1所述的方法，其特征在于，所述方法还包括：
按照预设时间间隔获取所述目标空间中包含所述指定对象在内的场景视频数据，对所述场景视频数据进行语义分割处理，得到所述指定对象的标记信息；
或者，
在预设时刻点获取所述目标空间中包含所述指定对象在内的场景视频数据，对所述场景视频数据进行语义分割处理，得到所述指定对象的标记信息。
7.一种摔倒行为识别设备，其特征在于，所述设备包括：
图像采集模块，用于获取目标空间的视频数据；
图像处理模块，用于对所述视频数据中的各个视频帧进行处理，确定所述视频帧中目标人体的关键骨骼点的骨骼点信息；根据多个所述视频帧所对应的所述骨骼点信息以及预先生成的所述目标空间中的指定对象的标记信息，识别所述目标人体是否存在摔倒行为；其中，所述骨骼点信息至少包括所述关键骨骼点在所述目标空间的位置信息和所述关键骨骼点的置信度信息；所述指定对象为可用于躺卧的物体，所述标记信息用于标记所述指定对象在所述目标空间的位置信息。
8.如权利要求7所述的设备，其特征在于，所述图像处理模块，具体用于：
基于多个所述视频帧所对应的所述骨骼点信息生成时间序列数据；将所述时间序列数据输入至预先训练的摔倒识别模型进行识别，以识别所述目标人体是否存在倒下动作；若识别结果指示所述目标人体存在倒下动作，则根据所述骨骼点信息中的位置信息和所述指定对象的标记信息，判断所述目标人体是否处于所述指定对象上；若判断结果指示所述目标人体处于所述指定对象上，则确定所述目标人体不存在摔倒行为；否则，确定所述目标人体存在摔倒行为。
9.如权利要求7所述的设备，其特征在于，所述图像处理模块，还具体用于：
根据所述骨骼点信息中的位置信息和所述指定对象的标记信息，判断所述目标人体是否处于所述指定对象上；若确定所述目标人体未处于所述指定对象上，则基于多个所述视频帧所对应的所述骨骼点信息生成时间序列数据，将所述时间序列数据输入至预先训练的摔倒识别模型进行识别，以识别所述目标人体是否存在倒下动作；若是识别结果指示所述目标人体存在倒下动作，则确定所述目标人体存在摔倒行为。
10.如权利要求7所述的设备，其特征在于，所述图像采集模块，还用于：
按照预设时间间隔或者在预设时间点获取所述目标空间中包含所述指定对象在内的场景视频数据；
所述图像处理模块，还用于对所述场景视频数据进行语义分割处理，得到所述指定对象的标记信息。
11.一种摔倒行为识别系统，其特征在于，所述系统包括视频采集设备和服务器；
所述视频采集设备，用于采集目标空间的视频数据，并将所述视频数据发送给所述服务器；
所述服务器，用于对所述视频数据中的各个视频帧进行处理，确定所述视频帧中目标人体的关键骨骼点的骨骼点信息；根据多个所述视频帧所对应的所述骨骼点信息以及预先生成的所述目标空间中的指定对象的标记信息，识别所述目标人体是否存在摔倒行为；其中，所述骨骼点信息至少包括所述关键骨骼点在所述目标空间的位置信息和所述关键骨骼点的置信度信息；所述指定对象为可用于躺卧的物体，所述标记信息用于标记所述指定对象在所述目标空间的位置信息。
12.如权利要求11所述的系统，其特征在于，所述服务器，具体用于：
基于多个所述视频帧所对应的所述骨骼点信息生成时间序列数据；将所述时间序列数据输入至预先训练的摔倒识别模型进行识别，以识别所述目标人体是否存在倒下动作；若识别结果指示所述目标人体存在倒下动作，则根据所述骨骼点信息中的位置信息和所述指定对象的标记信息，判断所述目标人体是否处于所述指定对象上；若判断结果指示所述目标人体处于所述指定对象上，则确定所述目标人体不存在摔倒行为；否则，确定所述目标人体存在摔倒行为。
13.如权利要求11所述的系统，其特征在于，
所述视频采集设备，还用于按照预设时间间隔或者在预设时间点获取所述目标空间中包含所述指定对象在内的场景视频数据，并发送给所述服务器；
所述服务器，还用于对所述场景视频数据进行语义分割处理，得到所述指定对象的标记信息。
14.一种计算机设备，其特征在于，包括处理器、通信接口、存储器和通信总线；其中，所述处理器、所述通信接口以及所述存储器通过总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现权利要求1-6任一所述的方法步骤。
15.一种计算机可读存储介质，其特征在于，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
CN202110160809.0A 2021-02-05 2021-02-05 一种摔倒行为识别方法、设备及系统 Pending CN112949417A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110160809.0A CN112949417A (zh) 2021-02-05 2021-02-05 一种摔倒行为识别方法、设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110160809.0A CN112949417A (zh) 2021-02-05 2021-02-05 一种摔倒行为识别方法、设备及系统

Publications (1)

Publication Number Publication Date
CN112949417A true CN112949417A (zh) 2021-06-11

Family

ID=76242557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110160809.0A Pending CN112949417A (zh) 2021-02-05 2021-02-05 一种摔倒行为识别方法、设备及系统

Country Status (1)

Country Link
CN (1) CN112949417A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392765A (zh) * 2021-06-15 2021-09-14 广东工业大学 一种基于机器视觉的摔倒检测方法和系统
CN113505752A (zh) * 2021-07-29 2021-10-15 中移（杭州）信息技术有限公司 摔倒检测方法、装置、设备以及计算机可读存储介质
CN113657150A (zh) * 2021-07-07 2021-11-16 浙江大华技术股份有限公司 一种跌倒检测方法、装置和计算机可读存储介质
CN113990037A (zh) * 2021-11-01 2022-01-28 珠海华发人居生活研究院有限公司 一种养老健康及意外智能监测系统
CN114017909A (zh) * 2021-10-29 2022-02-08 海信家电集团股份有限公司 一种空调器和控制方法
CN114758173A (zh) * 2022-04-12 2022-07-15 平顶山天安煤业股份有限公司六矿 一种基于机器视觉的井下钻杆计数方法
CN114972419A (zh) * 2022-04-12 2022-08-30 中国电信股份有限公司 摔倒检测方法、装置、介质与电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558865A (zh) * 2019-01-22 2019-04-02 郭道宁 一种基于人体关键点的对需特别看护人员的异常状态检测方法
CN109685037A (zh) * 2019-01-08 2019-04-26 北京汉王智远科技有限公司 一种实时动作识别方法、装置及电子设备
CN110298278A (zh) * 2019-06-19 2019-10-01 中国计量大学 一种基于人工智能的地下停车库行人车辆监测方法
CN110647812A (zh) * 2019-08-19 2020-01-03 平安科技（深圳）有限公司 摔倒行为检测处理方法、装置、计算机设备及存储介质
JP2020034960A (ja) * 2018-08-27 2020-03-05 株式会社シークェンス 被監視者の姿勢検知装置
CN111881898A (zh) * 2020-09-27 2020-11-03 西南交通大学 基于单目rgb图像的人体姿态检测方法
CN111914676A (zh) * 2020-07-10 2020-11-10 泰康保险集团股份有限公司 人体摔倒检测方法、装置、电子设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020034960A (ja) * 2018-08-27 2020-03-05 株式会社シークェンス 被監視者の姿勢検知装置
CN109685037A (zh) * 2019-01-08 2019-04-26 北京汉王智远科技有限公司 一种实时动作识别方法、装置及电子设备
CN109558865A (zh) * 2019-01-22 2019-04-02 郭道宁 一种基于人体关键点的对需特别看护人员的异常状态检测方法
CN110298278A (zh) * 2019-06-19 2019-10-01 中国计量大学 一种基于人工智能的地下停车库行人车辆监测方法
CN110647812A (zh) * 2019-08-19 2020-01-03 平安科技（深圳）有限公司 摔倒行为检测处理方法、装置、计算机设备及存储介质
CN111914676A (zh) * 2020-07-10 2020-11-10 泰康保险集团股份有限公司 人体摔倒检测方法、装置、电子设备和存储介质
CN111881898A (zh) * 2020-09-27 2020-11-03 西南交通大学 基于单目rgb图像的人体姿态检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
杨张振;: "基于Kinect的摔倒行为研究", 计算机技术与发展, no. 04 *
段俊臣;梁美祥;王瑞;: "基于人体骨骼点检测与多层感知机的人体姿态识别", 电子测量技术, no. 12 *
管珊珊;张益农;: "基于残差时空图卷积网络的3D人体行为识别", 计算机应用与软件, no. 03, 12 March 2020 (2020-03-12) *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392765A (zh) * 2021-06-15 2021-09-14 广东工业大学 一种基于机器视觉的摔倒检测方法和系统
CN113392765B (zh) * 2021-06-15 2023-08-01 广东工业大学 一种基于机器视觉的摔倒检测方法和系统
CN113657150A (zh) * 2021-07-07 2021-11-16 浙江大华技术股份有限公司 一种跌倒检测方法、装置和计算机可读存储介质
CN113505752A (zh) * 2021-07-29 2021-10-15 中移（杭州）信息技术有限公司 摔倒检测方法、装置、设备以及计算机可读存储介质
CN113505752B (zh) * 2021-07-29 2024-04-23 中移（杭州）信息技术有限公司 摔倒检测方法、装置、设备以及计算机可读存储介质
CN114017909A (zh) * 2021-10-29 2022-02-08 海信家电集团股份有限公司 一种空调器和控制方法
CN113990037A (zh) * 2021-11-01 2022-01-28 珠海华发人居生活研究院有限公司 一种养老健康及意外智能监测系统
CN114758173A (zh) * 2022-04-12 2022-07-15 平顶山天安煤业股份有限公司六矿 一种基于机器视觉的井下钻杆计数方法
CN114972419A (zh) * 2022-04-12 2022-08-30 中国电信股份有限公司 摔倒检测方法、装置、介质与电子设备
CN114972419B (zh) * 2022-04-12 2023-10-03 中国电信股份有限公司 摔倒检测方法、装置、介质与电子设备

Similar Documents

Publication Publication Date Title
CN112949417A (zh) 一种摔倒行为识别方法、设备及系统
CN110477925B (zh) 一种针对敬老院老人的跌倒检测与预警方法及系统
KR102413893B1 (ko) 스켈레톤 벡터 기반 비대면 비접촉 낙상탐지 시스템 및 방법
CN111383421A (zh) 隐私保护跌倒检测方法和系统
CN109920208A (zh) 跌倒预测方法、装置、电子设备及系统
JP6666488B2 (ja) 画像抽出装置
CN105975956A (zh) 一种基于红外全景摄像头的独居老人异常行为识别方法
CN114469076B (zh) 一种融合身份特征的独居老人跌倒识别方法及系统
KR100822476B1 (ko) 원격 응급상황 모니터링 시스템 및 방법
JP2020034960A (ja) 被監視者の姿勢検知装置
CN107609474B (zh) 肢体动作识别方法、装置、机器人及存储介质
Joshi et al. A fall detection and alert system for an elderly using computer vision and Internet of Things
CN113392765A (zh) 一种基于机器视觉的摔倒检测方法和系统
CN113657150A (zh) 一种跌倒检测方法、装置和计算机可读存储介质
CN110781808A (zh) 跌倒检测方法、装置、设备及存储介质
US20220156959A1 (en) Image processing device, image processing method, and recording medium in which program is stored
CN113034849A (zh) 婴儿看护设备、看护方法及存储介质
JPH08257017A (ja) 状態監視装置及びその方法
CN115063752B (zh) 一种基于uwb定位的视频追踪预警方法及系统
CN114913548A (zh) 基于骨骼点信息的人体敏感信息隐藏方法
CN117994863B (zh) 一种人体行为识别方法及其识别系统
CN110008870A (zh) 对象状态告警方法和装置
CN115507519A (zh) 用于空调器监控的方法及装置、空调器、存储介质
CN114677761A (zh) 一种人体摔倒检测方法和装置、电子设备
CN113660455A (zh) 一种基于dvs数据的跌倒检测方法、系统、终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination