[go: up one dir, main page]

CN115273243B - 跌倒检测方法、装置、电子设备和计算机可读存储介质 - Google Patents

跌倒检测方法、装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN115273243B
CN115273243B CN202211178155.5A CN202211178155A CN115273243B CN 115273243 B CN115273243 B CN 115273243B CN 202211178155 A CN202211178155 A CN 202211178155A CN 115273243 B CN115273243 B CN 115273243B
Authority
CN
China
Prior art keywords
fall
falling
obtaining
human body
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211178155.5A
Other languages
English (en)
Other versions
CN115273243A (zh
Inventor
张存义
艾国
杨作兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen MicroBT Electronics Technology Co Ltd
Original Assignee
Shenzhen MicroBT Electronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen MicroBT Electronics Technology Co Ltd filed Critical Shenzhen MicroBT Electronics Technology Co Ltd
Priority to CN202211178155.5A priority Critical patent/CN115273243B/zh
Publication of CN115273243A publication Critical patent/CN115273243A/zh
Application granted granted Critical
Publication of CN115273243B publication Critical patent/CN115273243B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种跌倒检测方法、装置、电子设备和计算机可读存储介质，该跌倒检测方法包括：获取视频数据；将视频数据输入多任务检测模型，通过多任务检测模型得到与视频数据中的人物对象相关联的人体关键特征点集；根据人体关键特征点集和预设的跌倒条件，得到第一跌倒判断结果；根据第一跌倒判断结果，得到与人物对象相关联的跌倒检测结果。本公开实现了对跌倒的端到端检测，有利于提升跌倒检测的准确率，特别是提升行动缓慢人群的跌倒检测准确率，增强了跌倒检测的可靠性。

Description

跌倒检测方法、装置、电子设备和计算机可读存储介质
技术领域
本公开涉及计算机技术领域，特别涉及一种跌倒检测方法、装置、电子设备和计算机可读存储介质。
背景技术
儿童、老人是存在跌倒的高风险人群，特别是老人，在跌倒时如果没有被及时发现，可能会造成非常严重的后果。
然而，当前对于跌倒检测的方式，多数都是针对年轻人的运动过程的检测，或者通过可穿戴设备判断是否跌倒，这些方式一方面对于行动较为缓慢的人员的检测效果较差，另一方面，由于可穿戴设备的价格以及人们对可穿戴设备的穿戴时的不便，降低了可穿戴设备的普及率。
由于上述各种原因，导致了对诸如老年人等行动较为缓慢的人群的跌倒检测效果的下降。
发明内容
有鉴于此，本公开提供一种跌倒检测方法、装置、电子设备和计算机可读存储介质，以提升跌倒检测的准确率，特别是提升行动缓慢人群的跌倒检测准确率。
本公开的技术方案是这样实现的：
一种跌倒检测方法，包括：
获取视频数据；
将所述视频数据输入多任务检测模型，通过所述多任务检测模型得到与所述视频数据中的人物对象相关联的人体关键特征点集；
根据所述人体关键特征点集和预设的跌倒条件，得到第一跌倒判断结果；
根据所述第一跌倒判断结果，得到与所述人物对象相关联的跌倒检测结果。
进一步，所述将所述视频数据输入多任务检测模型，通过所述多任务检测模型得到与所述视频数据中的人物对象相关联的人体关键特征点集，包括：
将连续图像依次输入所述多任务检测模型，得到每一图像中的与所述人物对象相关联的特征点全集，其中，所述连续图像为所述视频数据中的图像；
根据预设的关键特征点指示信息，从所述每一图像的所述特征点全集中选出关键特征点组成所述人体关键特征点集，其中，所述关键特征点指示信息表征所述人物对象的身体部位。
进一步，所述根据所述人体关键特征点集和预设的跌倒条件，得到第一跌倒判断结果，包括：
根据所述人体关键特征点集，得到人体特征框，所述人体特征框为所述人体关键特征点集的最小外接矩形；
根据所述人体特征框与预设参考线之间角度信息的第一跌倒条件，得到所述第一跌倒判断结果。
进一步，所述根据所述人体关键特征点集和预设的跌倒条件，得到第一跌倒判断结果，包括：
根据跌倒参考点指示信息，从所述人体关键特征点集中获得跌倒参考特征点集；
根据所述跌倒参考特征点集中的特征点之间的第二跌倒条件，得到所述第一跌倒判断结果。
进一步，所述跌倒参考特征点集包括颈部特征点、左膝部特征点和右膝部特征点；
所述根据所述跌倒参考特征点集中的特征点之间的第二跌倒条件，得到所述第一跌倒判断结果，包括：
根据所述左膝部特征点和所述右膝部特征点在所述视频数据的图像的纵坐标值，得到膝部纵坐标平均值，所述膝部纵坐标平均值表征所述左膝部特征点和所述右膝部特征点的纵坐标平均值；
根据所述颈部特征点在所述视频数据的图像的纵坐标值和所述膝部纵坐标平均值，得到颈部膝部纵坐标差值；
根据所述颈部膝部纵坐标差值和所述第二跌倒条件，得到所述第一跌倒判断结果。
进一步，所述根据所述第一跌倒判断结果，得到与所述人物对象相关联的跌倒检测结果，包括：
在所述视频数据的第一设定数量的连续图像中，在所述第一跌倒判断结果为跌倒的图像的数量达到第二设定数量的情况下，得到结果为跌倒的所述跌倒检测结果。
进一步，所述跌倒检测方法进一步包括：
通过所述多任务检测模型得到与所述视频数据中的人物对象相关联的第二跌倒判断结果；
根据所述第一跌倒判断结果或所述第二跌倒判断结果，得到与所述人物对象相关联的跌倒检测结果。
进一步，所述根据所述第一跌倒判断结果或所述第二跌倒判断结果，得到与所述人物对象相关联的跌倒检测结果，包括：
针对所述视频数据的任一图像，判断所述第一跌倒判断结果是否为跌倒；
在所述第一跌倒判断结果为跌倒的情况下，得到该任一图像为跌倒的预判跌倒结果；
在所述第一跌倒判断结果为未跌倒的情况下，判断所述第二跌倒判断结果是否为跌倒；
在所述第二跌倒判断结果为跌倒的情况下，得到该任一图像为跌倒的预判跌倒结果；
在所述视频数据的第一设定数量的连续图像中，在所述预判跌倒结果为跌倒的图像的数量达到第二设定数量的情况下，得到结果为跌倒的所述跌倒检测结果。
进一步，在所述得到与所述人物对象相关联的跌倒检测结果之后，所述跌倒检测方法进一步包括：
发出跌倒报警信息。
一种跌倒检测装置，包括：
视频获取模块，被配置为执行获取视频数据；
模型推理模块，被配置为执行将所述视频数据输入多任务检测模型，通过所述多任务检测模型得到与所述视频数据中的人物对象相关联的人体关键特征点集；
第一跌倒判断结果获得模块，被配置为执行根据所述人体关键特征点集和预设的跌倒条件，得到第一跌倒判断结果；
跌倒检测结果获得模块，被配置为执行根据所述第一跌倒判断结果，得到与所述人物对象相关联的跌倒检测结果。
一种电子设备，包括：
处理器；
用于存储所述处理器的可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令，以实现如上任一项所述的跌倒检测方法。
一种计算机可读存储介质，当所述计算机可读存储介质中的至少一条指令被电子设备的处理器执行时，使得所述电子设备能够实现如上任一项所述的跌倒检测方法。
从上述方案可以看出，本公开实施例的跌倒检测方法、装置、电子设备和计算机可读存储介质，利用多任务检测模型得到视频数据中人物对象的人体关键特征点集，进一步利用人体关键特征点集得到关联于人体跌倒时角度的变化或者人体关键特征点之间距离的变化的第一跌倒判断结果，对一段时间内出现的第一跌倒判断结果进行综合判断，在一段时间内的视频数据的图像中出现的第一跌倒判断结果的数量达到预设的数量时得到跌倒检测结果。实现了对任务对象的端到端检测，有利于提升跌倒检测的准确率，特别是提升行动缓慢人群的跌倒检测准确率，增强了跌倒检测的可靠性。
附图说明
图1是根据一示意性实施例示出的一种跌倒检测方法的流程图；
图2是根据一具体实施例示出的得到人体关键特征点集的流程图；
图3是根据一示意性实施例示出的多任务检测模型框架示意图；
图4是根据一示意性实施例示出的多任务检测模型得到的检测框和特征点全集的示意图；
图5是根据一示意性实施例示出的一种得到第一跌倒判断结果的流程图；
图6是根据一示意性实施例示出的另一种得到第一跌倒判断结果的流程图；
图7是根据一示意性实施例示出的根据膝部和颈部特征点判断第一跌倒判断结果的流程图；
图8是根据一示意性实施例示出的进一步结合第二跌倒判断结果得到跌倒检测结果的流程图；
图9是根据一示意性实施例示出的另一种跌倒检测方法的流程图；
图10是根据一具体实施例示出的得到人体关键特征点集和第二跌倒判断结果的流程图；
图11是根据一示意性实施例示出的一种跌倒检测方法的一个应用场景流程图；
图12是根据一示意性实施例示出的一种跌倒检测方法的另一个应用场景流程图；
图13是根据一示意性实施例示出的一种跌倒检测装置的示意图；
图14是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本公开的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本公开作进一步详细说明。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
现有的跌倒检测方式主要包括利用智能设备的跌倒检测、利用动作识别算法的跌倒检测、利用人体轮廓和特征提取的跌倒检测、基于深度学习的跌倒检测等。
智能设备，例如可穿戴设备、深度相机、雷达、加速度计。可穿戴设备需要穿戴在身上，设备投入较大，并且对排斥可穿戴设备的用户无法使用。深度相机的检测范围有限，在距离深度相机2米外的地方，随着与深度相机的距离的增加深度坐标误差会越来越大。雷达对于安装位置有较高的要求，并且误检概率较大。加速度计需要佩戴于身上，并且对于缓慢跌倒识别的准确率低，难以适用于行动较慢的人群使用。
利用动作识别算法进行摔倒检测中，针对行人检测、关键点检测、行人追踪需要分别使用三个模型，进行时空图卷积实现动作分类，其中所使用的模型较多，并且算法不易部署到终端设备，需要通过服务端执行计算，终端和服务器之间的网速、服务器负载状态都会影响识别检测的效率。若三个模型并发，则对终端的带宽和计算能力都将带来压力，在终端一侧的电路板上三个模型并发相比于一个模型来说给终端将带来更大的压力；由于终端的计算能力较弱，所以需要将三个模型布置于服务端进行模型推理，终端只进行图像采集，并执行最后的模型结果，这种方案中，服务端需要使用GPU（Graphics Processing Unit，图形处理器）推理模型，同时终端向服务端传输数据，其中还会造成网速等方面的新的影响。
人体轮廓检测结合特征提取进行分类的方法，这类方法的特征阈值一般是固定的，但是在图像采集设备安装时的位置、角度的差异会导致阈值出现偏差，造成检测准确率下降。
基于深度学习目标检测算法，例如YOLO系列算法，其是对人是否摔倒进行检测二分类，检测“摔倒”和“非摔倒”；由于检测框包含人体整个外轮廓，对摔倒时四肢张开的场景，该方法误判较高，因为四肢干扰了模型对人体整个外在特征的判断。
上述人体跌倒的检测手段，对于慢速跌倒的检测成功率较低。基于此，本公开实施例提供一种跌倒检测方法、装置、电子设备和计算机可读存储介质，以提升跌倒检测的准确率，特别是提升行动缓慢人群的跌倒检测准确率，并且实现对跌倒的端到端检测，实现对跌倒的快速响应。
图1是根据一示意性实施例示出的一种跌倒检测方法的流程图，如图1所示，本公开实施例的跌倒检测方法主要包括以下步骤101至步骤104。
步骤101、获取视频数据。
在一些实施例中，视频数据来源于事先录制并已存储的数据，基于已存储的数据，本公开实施例能够实现对历史数据关于跌倒检测的准确分析。已存储的数据可以是以任何形式存储于任何存储设备的数据。
在一些实施例中，视频数据来源于实时拍摄的数据，基于实时获取的拍摄数据，本公开实施例能够实现对实时拍摄的场景内人物跌倒的快速检测和及时响应。实时拍摄的数据可以是来源于各种视频拍摄终端设备的实时视频数据。
步骤102、将视频数据输入多任务检测模型，通过多任务检测模型得到与视频数据中的人物对象相关联的人体关键特征点集。
图2是根据一具体实施例示出的得到人体关键特征点集的流程图，如图2所示，步骤102进一步可包括如下步骤201至步骤202。
步骤201、将连续图像依次输入多任务检测模型，得到每一图像中的与人物对象相关联的特征点全集。
其中，连续图像为视频数据中的图像。在一些实施例中，连续图像是从图像采集设备实时获取的。图像采集设备例如摄像头装置。
步骤202、根据预设的关键特征点指示信息，从每一图像的特征点全集中选出关键特征点组成人体关键特征点集，其中，关键特征点指示信息表征人物对象的身体部位。
在一些实施例中，多任务检测模型为YOLOPose模型。YOLOPose模型是一种基于YOLO的目标检测框架，能够实现对目标的端到端的检测。图3是根据一示意性实施例示出的多任务检测模型框架示意图。如图3所示，该YOLOPose模型是基于YOLOv5的YOLO-pose架构，输入图像通过darknetcsp（一种轻量级深度学习训练框架）主干（backbone），生成各种尺度{P3、P4、P5、P6}的特征图。路径聚合网络特征融合（PANet feature fusion）部分用于跨多个尺度融合这些特征图，其中包括从上至下路径（Top-down path）和从下至上路径（Bottom-up path）。PANet特征融合的输出被馈送到检测头（Detection heads），其中，对应于{P3、P4、P5、P6}分别为头1（Head1）、头2（Head2）、头3（Head3）、头4（Head4）。最后，每个检测头都分支为框头（Box head）和关键点头（Keypoints head）。
本公开实施例中，针对人的跌倒检测，对YOLOPose模型中的锚框（anchor box）进行修改，并且预测结果仅涉及跌倒（fall）和未跌倒（或正常）（normal）两个结果。其中，关于对anchor box（锚框）的修改，因为本公开实施例用于检测人的跌倒，检测对象为人，所以锚框与人体轮廓有关，进而锚框聚类（anchor聚类）只针对人体框进行，例如，在coco数据集中只聚类人体box（框），得到针对人体的特定的锚框。
关键点头用于预测人体关键点，本公开实施例中，步骤201得到的特征点全集即为关键点头预测的人体关键点。
在本公开实施例中，将组成视频数据的连续图像依次输入多任务检测模型，能够得到每一图像中人物的人体关键特征点集。图4是根据一示意性实施例示出的多任务检测模型得到的人体关键特征点集的示意图，图4所示中，x表示图像的横轴，y表示图像的纵轴。在一些实施例中，YOLOPose模型得到的特征点全集中共包括18个点，分别为头部（H）、颈部（N）、左肩部（Sl）、右肩部（Sr）、左胯部（Bl）、右胯部（Br）、左膝部（Kl）、右膝部（Kr）、左肘部、右肘部、左手部、右手部、左脚部、右脚部、左耳、右耳、左眼、右眼。
利用常规目标检测方法进行跌倒检测时，因为跌倒的人物的动作幅度较大，常规目标检测的手段是利用人体的外轮廓进行判断，如图4所示中外部的虚线框即为外轮廓，所有18个监测点均在外轮廓的范围内。考虑到跌倒的时候人体四肢可能是张开的，这时候检测人体外轮廓的矩形框不能反应人体整个的状态，从而可能产生误判。在本公开实施例中，为了提升检测的准确率，只提取其中反映真实人体轮廓核心特征的关键点，即在步骤202中，从包括18个点的特征点全集中得到人体关键特征点集，具体地，在一些实施例中，是从包括18个点的特征点全集中选取头部（H）、颈部（N）、左肩部（Sl）、右肩部（Sr）、左胯部（Bl）、右胯部（Br）、左膝部（Kl）、右膝部（Kr）这8个关键特征点，由这8个关键特征点组成人体关键特征点集。通过头部（H）、颈部（N）、左肩部（Sl）、右肩部（Sr）、左胯部（Bl）、右胯部（Br）、左膝部（Kl）、右膝部（Kr）这8个关键特征点所反映的人体姿态，能够基本确定出人体与地面之间的相关位置变化，从而能够准确判断出人体是否处于跌倒状态，例如，人在正常活动时处于直立状态，并且该直立状态能够在这8个关键特征点的分布中所反馈，例如，人在弯腰时，这8个关键特征点的分布中所反馈的信息与跌倒时这8个点所反馈的信息也明显不同。对应地，身体部位包括：头部、颈部、左肩部、右肩部、左胯部、右胯部、左膝部、右膝部。
为了基于人体关键特征点集得到相关的跌倒判断结果，在如下步骤103中通过人体关键特征点集与预设的跌倒条件实现判断。
步骤103、根据人体关键特征点集和预设的跌倒条件，得到第一跌倒判断结果。
图5是根据一示意性实施例示出的一种得到第一跌倒判断结果的流程图，如图5所示，步骤103可进一步包括如下步骤501至步骤502。
步骤501、根据人体关键特征点集，得到人体特征框，人体特征框为人体关键特征点集的最小外接矩形。
步骤502、根据人体特征框与预设参考线之间角度信息的第一跌倒条件，得到第一跌倒判断结果。
其中，同时参见图4所示，人体特征框为图4中位于外轮廓的虚线框内的小虚线框，该小虚线框中仅包含头部（H）、颈部（N）、左肩部（Sl）、右肩部（Sr）、左胯部（Bl）、右胯部（Br）、左膝部（Kl）、右膝部（Kr）这8个关键特征点，该小虚线框为人体关键特征点集的最小外接矩形。在步骤501中，根据8个关键特征点得到相关的最小外接矩形的手段可以通过现有技术实现，此处不再赘述。
在本公开实施例中，人体特征框只根据头部（H）、颈部（N）、左肩部（Sl）、右肩部（Sr）、左胯部（Bl）、右胯部（Br）、左膝部（Kl）、右膝部（Kr）这8个关键特征点得到，能够避免四肢对目标特征的干扰，由于在图像采集设备正常放置并且人在进行正常活动时，人体特征框相对于图像采集设备的画面竖直轴线基本是平行的，即人体特征框的长度方向与图像的竖直轴线（或y轴）平行，并且大部分跌倒的动作发生后，人体特征框都不再与图像采集设备的画面竖直轴线平行，即人体特征框的长度方向与图像的竖直轴线（或y轴）不再平行。因此，通过人体特征框判断人体状态是否跌倒能够得到较准确的结果。特别是在缓慢跌倒过程中的判断，人体特征框的长度方向与图像的竖直轴线之间的夹角一旦偏离相关的设定角度，则预示着图像（或者视频数据）中的人物正处于跌倒状态或者即将跌倒。
由于第一跌倒条件是关于人体特征框与预设参考线之间角度信息的，所以，第一跌倒条件也可称为角度跌倒条件。
在一些实施例中，第一跌倒条件例如人体特征框与预设参考线之间的夹角是否超过角度跌倒阈值，角度跌倒阈值的设定范围例如10°至20°，优选地，角度跌倒阈值为10°。
基于第一跌倒条件为人体特征框与预设参考线之间的夹角是否超过角度跌倒阈值的实施例，步骤502可以进一步包括如下步骤5021至步骤5024。
步骤5021、获取人体特征框的标线与预设参考线之间的夹角。
在一些实施例中，人体特征框的标线方向为人体特征框的长度方向，其中人体特征框的长度方向表征人体躯干部分的方向，在一些实施例中，可以将人体特征框的长边确定为人体特征框的标线。
在一些实施例中，预设参考线的设置主要参考人在正常站立时的方向，优选地，预设参考线的方向为竖直方向，在多数情况下，图像采集设备所采集的图像的横轴（x轴）为水平方向，纵轴（y轴）为垂直于水平方向的竖直方向，因此，在一些实施例中，预设参考线的方向可以是图像的纵轴方向。
步骤5022、判断夹角是否超过角度跌倒阈值，若夹角超过角度跌倒阈值则执行步骤5023，否则执行步骤5024。
其中，夹角超过角度跌倒阈值是指夹角大于角度跌倒阈值。
步骤5023、得到“跌倒”的第一跌倒判断结果。
步骤5024、得到“未跌倒”或“正常”的第一跌倒判断结果。
从上述步骤5021至步骤5024能够看出，利用角度跌倒阈值的第一跌倒条件仅能判断人体相对于拍摄位置横向跌倒的情况。实际中，存在一些通过角度无法判断是否跌倒的情况，例如人体朝向或者远离拍摄位置的方向跌倒过程中，人体特征框都是直立的，也就是说，如果人体跌倒是朝向或者远离拍摄位置的方向跌倒，则人体特征框与预设参考线之间的夹角可能不会超出所设定的角度跌倒阈值，从而无法判断人体是否跌倒，而事实上人体已经跌到。因此，本公开实施例还提供了另一种得到第一跌倒判断结果的方法，即人体朝向或者远离拍摄位置的方向跌倒判断的过程。
图6是根据一示意性实施例示出的另一种判断第一跌倒判断结果的流程图，如图6所示，步骤103可进一步包括如下步骤601至步骤602。
步骤601、根据跌倒参考点指示信息，从人体关键特征点集中获得跌倒参考特征点集。
步骤602、根据跌倒参考特征点集中的特征点之间的第二跌倒条件，得到第一跌倒判断结果。
在一些实施例中，跌倒参考特征点集包括颈部特征点、左膝部特征点和右膝部特征点。图7是根据一示意性实施例示出的根据膝部和颈部特征点判断第一跌倒判断结果的流程图，如图7所示，在跌倒参考特征点集包括颈部特征点、左膝部特征点和右膝部特征点的情况下，步骤602可包括如下步骤701至步骤703。
步骤701、根据左膝部特征点和右膝部特征点在图像的纵坐标值，得到膝部纵坐标平均值，膝部纵坐标平均值表征左膝部特征点和右膝部特征点的纵坐标平均值。
步骤702、根据颈部特征点在视频数据的图像的纵坐标值和膝部纵坐标平均值，得到颈部膝部纵坐标差值。
步骤703、根据颈部、膝部纵坐标差值和第二跌倒条件，得到第一跌倒判断结果。
在步骤701至步骤703中，颈部膝部纵坐标差值可通过下式获得：
Figure DEST_PATH_IMAGE001
其中，
Figure 23892DEST_PATH_IMAGE002
为颈部特征点在图像的纵坐标值，
Figure 878715DEST_PATH_IMAGE003
为左膝部特征点在图像的纵坐标 值，
Figure 658452DEST_PATH_IMAGE004
为右膝部特征点在图像的纵坐标值，
Figure 53662DEST_PATH_IMAGE005
为颈部膝部纵坐标差值。
在人体朝向或者远离拍摄位置的方向跌倒的过程中，拍摄的图像当中人体的膝部之间的位置和颈部的距离会缩短，因此，本公开实施例在步骤701至步骤703中通过得到的颈部膝部纵坐标差值来判断人体是否存在朝向或者远离拍摄位置的方向跌倒的情况。
在一些实施例中，第二跌倒条件例如颈部、膝部纵坐标差值是否小于0，即颈部特征的纵坐标值是否小于膝部平均纵坐标值，其中膝部平均纵坐标值为左膝部特征点和右膝部特征点的纵坐标值的平均值，其中，颈部特征的纵坐标值小于膝部平均纵坐标值表明了在图像中颈部的位置低于膝部的位置，这种情况预示着人体并非处于正常的直立状态，而极大可能处于跌倒状态。在一些实施例中，在颈部膝部纵坐标差值小于或等于颈部膝部的第二跌倒条件时，得到“跌倒”的第一跌倒判断结果，否则得到“未跌倒”或“正常”的第一跌倒判断结果。
由于第二跌倒条件是关于跌倒参考特征点集中的特征点之间距离的，所以，第二跌倒条件也可称为距离跌倒条件。
基于第二跌倒条件为颈部、膝部纵坐标差值是否小于0的实施例，步骤703可以进一步包括如下步骤7031至步骤7033。
步骤7031、判断颈部、膝部纵坐标差值是否小于0，若颈部膝部纵坐标差值小于0则执行步骤7032，否则执行步骤7033。
步骤7032、得到“跌倒”的第一跌倒判断结果。
步骤7033、得到“未跌倒”或“正常”的第一跌倒判断结果。
步骤104、根据第一跌倒判断结果，得到与人物对象相关联的跌倒检测结果。
在一些实施例中，步骤104具体包括：
在视频数据的第一设定数量的连续图像中，在第一跌倒判断结果为跌倒的图像的数量达到第二设定数量的情况下，得到结果为跌倒的跌倒检测结果。
本公开实施例中，任意一个图像的第一跌倒判断结果为“跌倒”，则该任意一个图像的预判跌倒结果为“跌倒”。然而，在人行走的连续过程中可能存在瞬间超出预设的跌倒条件的范围而实际上并没有跌倒的情况，例如人走路瞬间摇摆幅度过大使得在某几个图像中的人体特征框与预设参考线之间的夹角出现超出角度跌倒阈值的情况，本公开实施例中，在步骤104中通过在一段时间内的视频数据的图像出现多次的跌倒的预判跌倒结果后，得到最终的跌倒检测结果，能够提升跌倒检测的准确率，特别是能够提升行动缓慢人群的跌倒检测准确率。
在一些实施例中，可以以列表的形式记录图像的第一跌倒判断结果，并得到跌倒检测结果。例如，初始化报警系数列表S=[]，其中，S是一个列表，列表长度设置为20（即第一设定数量为20），在检测到人的情况下，图像采集设备每秒采样16个图像，每出现一个第一跌倒判断结果为“跌倒”的图像，则列表中对应于该图像的位置记录1，否则记录0；当列表S填满的时候，每填充对应于一个新的图像的1或者0的第一跌倒判断结果，则相应地会去掉列表S中最早的第一跌倒判断结果记录，例如列表S=[0, 0, 0, 1, 1, 1, 1,…,1]，其中表示前3个图像中的第一跌倒判断结果为“未跌倒”或者“正常”，第4个及之后的图像的第一跌倒判断结果为“跌倒”，对列表S中的所有数字进行求和，设置预设第二设定数量为15，则，若求和的结果大于等于15则得到结果为“跌倒”的跌倒检测结果，表示检测到视频数据中的人出现了跌倒。
在一些实施例中，在得到与人物对象相关联的跌倒检测结果之后，该跌倒检测方法还进一步包括：
发出跌倒报警信息。
其中，跌倒报警信息的发送可以是发送至与图像采集设备相关联的报警装置，跌倒报警信息的发送可以是基于互联网、物联网发送，可以以有线、无线、有线和无线相结合的形式发送，报警信息的发送过程可基于网络通信协议进行。与图像采集设备相关联的报警装置可以是专用报警装置，也可以是智能移动终端设备。采用这种方式，当图像采集场景出现人摔倒的情况，例如老人摔倒，则能够及时被接收到跌倒报警信息的报警装置所提醒，使得相关人员能够及时对跌倒人员进行救助。
本公开实施例中采用的多任务检测模型基于一种端到端联合检测和多人姿态估计框架，并且判断过程简单快捷，实现了针对跌倒动作的实时检测，其不依赖于服务端执行算法，也不需要其他智能设备，图像采集设备仅需普通RGB（红绿蓝）相机即可，在相机固定好之后，人在相机画面做常规动作时，人体的关键特征点构成的人体特征框都保持竖直状态，在人跌倒时，人体特征框可能成为倾斜的矩形，与图像中的预设参考线产生一定的角度，或者在人跌倒时，颈部关键特征点和两个膝部关键特征点的中点之间的距离会变短，通过计算连续图像中人体特征框与预设参考线之间角度的变化以及颈部关键特征点和两个膝部关键特征点的中点之间的距离变化，就可以判断人体是否产生跌倒。
本公开实施例的跌倒检测方法，利用多任务检测模型得到视频数据中人物对象的人体关键特征点集，进一步利用人体关键特征点集得到关联于人体跌倒时角度的变化或者人体关键特征点之间距离的变化的第一跌倒判断结果，对一段时间内出现的第一跌倒判断结果进行综合判断，在一段时间内的视频数据的图像中出现的第一跌倒判断结果的数量达到预设的数量时得到跌倒检测结果。实现了对任务对象的端到端检测，有利于提升跌倒检测的准确率，特别是提升行动缓慢人群的跌倒检测准确率，增强了跌倒检测的可靠性。
图8是根据一示意性实施例示出的进一步结合第二跌倒判断结果得到跌倒检测结果的流程图，如图8所示，本公开实施例的跌倒检测方法进一步包括如下步骤801和步骤802。
步骤801、通过多任务检测模型得到与视频数据中的人物对象相关联的第二跌倒判断结果。
步骤802、根据第一跌倒判断结果或第二跌倒判断结果，得到与人物对象相关联的跌倒检测结果。
其中，多任务检测模型为YOLOPose模型，如图3所示，YOLOPose模型中的框头（Boxhead）用于预测行人检测，本公开实施例中，第二跌倒判断结果即为框头（Box head）的预测结果，框头（Box head）的预测结果包括两个标签（label），分别为“fall”和“normal”，标签“fall”对应于第二跌倒判断结果为“跌倒”，标签“normal”对应于第二跌倒判断结果为“未跌倒”或“正常”状态。
在一些实施例中，步骤802可以具体包括：
针对视频数据的任一图像，判断第一跌倒判断结果是否为跌倒；
在第一跌倒判断结果为跌倒的情况下，得到该任一图像为跌倒的预判跌倒结果；
在第一跌倒判断结果为未跌倒的情况下，判断第二跌倒判断结果是否为跌倒；
在第二跌倒判断结果为跌倒的情况下，得到该任一图像为跌倒的预判跌倒结果；
在视频数据的第一设定数量的连续图像中，在预判跌倒结果为跌倒的图像的数量达到第二设定数量的情况下，得到结果为跌倒的跌倒检测结果。
图9是根据一示意性实施例示出的另一种跌倒检测方法的流程图，该另一种跌倒检测方法将上述步骤101至步骤104以及步骤801至步骤802相结合，如图9所示，该另一种跌倒检测方法主要包括以下步骤901至步骤904。
步骤901、获取视频数据。
步骤902、将视频数据输入多任务检测模型，通过多任务检测模型得到与视频数据中的人物对象相关联的人体关键特征点集和第二跌倒判断结果。
图10是根据一具体实施例示出的得到人体关键特征点集和第二跌倒判断结果的流程图，如图10所示，步骤902进一步可包括如下步骤1001至步骤1002。
步骤1001、将连续图像依次输入多任务检测模型，得到每一图像中的与人物对象相关联的特征点全集以及第二跌倒判断结果。
步骤1002、根据预设的关键特征点指示信息，从每一图像的特征点全集中选出关键特征点组成人体关键特征点集，其中，关键特征点指示信息表征人物对象的身体部位。
其中，多任务检测模型为YOLOPose模型，其中，框头用于预测行人检测，本公开实施例中，第二跌倒判断结果即为框头（Box head）的预测结果，框头（Box head）的预测结果包括两个标签（label），分别为“fall”和“normal”，标签“fall”对应于第二跌倒判断结果为“跌倒”，标签“normal”对应于第二跌倒判断结果为“未跌倒”或“正常”状态。
本发明实施例中，第二跌倒判断结果是YOLOPose模型本身输出的初步跌倒判断结果。
本公开实施例中，针对人的跌倒检测，对YOLOPose模型中的锚框（anchor box）进行修改，并且预测结果仅涉及跌倒（fall）和未跌倒（或正常）（normal）两个结果。其中，关于对anchor box（锚框）的修改，因为本公开实施例用于检测人的跌倒，检测对象为人，所以锚框与人体轮廓有关，进而锚框聚类（anchor聚类）只针对人体框进行，例如，在coco数据集中只聚类人体box（框），得到针对人体的特定的锚框。
关键点头用于预测人体关键点，本公开实施例中，步骤1001得到的特征点全集即为关键点头预测的人体关键点。
步骤903、根据人体关键特征点集和预设的跌倒条件，得到第一跌倒判断结果。
关于步骤903的得到第一跌倒判断结果的具体过程可参见上述步骤103的相关说明和附图。
步骤904、根据第一跌倒判断结果或第二跌倒判断结果，得到与人物对象相关联的跌倒检测结果。
在一些实施例中，步骤904具体包括：
针对视频数据的任一图像，判断第一跌倒判断结果是否为跌倒；
在第一跌倒判断结果为跌倒的情况下，得到该任一图像为跌倒的预判跌倒结果；
在第一跌倒判断结果为未跌倒的情况下，判断第二跌倒判断结果是否为跌倒；
在第二跌倒判断结果为跌倒的情况下，得到该任一图像为跌倒的预判跌倒结果；
在视频数据的第一设定数量的连续图像中，在预判跌倒结果为跌倒的图像的数量达到第二设定数量的情况下，得到结果为跌倒的跌倒检测结果。
本公开实施例中，先判断任意一个图像的第一跌倒判断结果是否为“跌倒”并在第一跌倒判断结果判断出“未跌倒”的情况下，由YOLOPose模型得到的第二跌倒判断结果进行辅助判断，得到该任意一个图像的预判跌倒结果是否为“跌倒”，进而提升了单幅图像的预判跌倒结果的准确率。在人行走的连续过程中可能存在在瞬间超出预设的跌倒条件的范围，而实际上并没有跌倒的情况，例如人走路瞬间摇摆幅度过大而在某几图像中的人体特征框与预设参考线之间的夹角出现超出角度跌倒阈值的情况，本公开实施例中，在步骤904中通过在一段时间内的视频数据的图像出现多次的跌倒的预判跌倒结果后，得到最终的跌倒检测结果，能够提升跌倒检测的准确率，特别是能够提升行动缓慢人群的跌倒检测准确率。
在一个可选实施例中，在步骤904中通过在一段时间内的视频数据的图像连续出现多次的跌倒的预判跌倒结果后，得到最终的跌倒检测结果。
例如，以列表的形式记录连续图像中的预判跌倒结果，并得到跌倒检测结果。例如，初始化报警系数列表S=[]，其中，S是一个列表，列表长度设置为20（即第一设定数量为20），其中记录连续图像的预判跌倒结果，在检测到人的情况下，图像采集设备每秒采样16个图像，每出现一个第一跌倒判断结果或者第二跌倒判断结果为“跌倒”的图像，则列表中对应于该图像的预判跌倒结果记录位置处记录1，否则记录0；当列表S填满的时候，每填充对应于新的一个图像的1或者0的预判跌倒结果，则相应地会去掉列表S中最早的预判跌倒结果记录，例如列表S=[0, 0, 0, 1, 1, 1, 1,…,1]，其中表示前3个图像中的预判跌倒结果均为“未跌倒”或者“正常”，第4个及之后的图像的预判跌倒结果为“跌倒”。
在一些实施例中，对列表S中的所有数字进行求和，设置预设第二设定数量为15，则，若求和的结果大于等于15则得到结果为“跌倒”的跌倒检测结果，表示检测到视频数据中的人出现了跌倒。
在一些实施例中，对列表S中的连续出现的“1”进行求和，设置预设第二设定数量为15，则，若求和的结果大于等于15则得到结果为“跌倒”的跌倒检测结果，表示检测到视频数据中的人出现了跌倒。
图11是根据一示意性实施例示出的一种跌倒检测方法的一个应用场景流程图，如图11所示，该应用场景流程主要包括以下步骤1101至步骤1111。
步骤1101、通过拍摄获取视频数据。
步骤1102、将视频数据的当前图像输入多任务检测模型，得到该当前图像中的与人物对象相关联的特征点全集以及第二跌倒判断结果。
步骤1103、根据预设的关键特征点指示信息，从当前图像的特征点全集中选出关键特征点组成人体关键特征点集，其中，关键特征点集包括头部、颈部、左肩部、右肩部、左胯部、右胯部、左膝部、右膝部8个部位的关键特征点。
步骤1104、根据人体关键特征点集，得到人体特征框，人体特征框为人体关键特征点集的最小外接矩形。
步骤1105、根据预设参考线，获得人体特征框与预设参考线之间的夹角。
步骤1106、根据人体特征框与预设参考线之间的夹角和预设的角度跌倒阈值，得到第一跌倒判断结果。
其中，若夹角超过角度跌倒阈值则得到“跌倒”的第一跌倒判断结果，否则得到“未跌倒”或“正常”的第一跌倒判断结果。
步骤1107、根据左膝部特征点和右膝部特征点在视频数据的图像的纵坐标值，得到膝部纵坐标平均值。
步骤1108、根据颈部特征点在视频数据的图像的纵坐标值和膝部纵坐标平均值，得到颈部膝部纵坐标差值。
步骤1109、根据颈部膝部纵坐标差值和第二跌倒条件，得到第一跌倒判断结果。
步骤1110、根据当前图像的第一跌倒判断结果或第二跌倒判断结果，得到当前图像中与人物对象相关联的预判跌倒结果，将该跌倒检测结果输入报警系数列表。
其中，针对当前图像：判断第一跌倒判断结果是否为“跌倒”；如果第一跌倒判断结果为“跌倒”，则将表征“跌倒”的预判跌倒结果的数字1输入报警系数列表，否则判断第二跌倒判断结果是否为“跌倒”；如果第二跌倒判断结果为“跌倒”，则将表征“跌倒”的预判跌倒结果的数字1输入报警系数列表，否则将表征“未跌倒”或者“正常”的预判跌倒结果的数字0输入报警系数列表。
步骤1111、统计报警系数列表中为跌倒的预判跌倒结果的数量，当报警系数列表中为跌倒的预判跌倒结果的数量达到第二设定数量时，发出跌倒报警信息。
图12是根据一示意性实施例示出的一种跌倒检测方法的另一个应用场景流程图，如图12所示，该应用场景流程主要包括以下步骤1201至步骤1205。
步骤1201、将视频数据的图像输入多任务检测模型，得到与视频数据中的人物对象相关联的M、d和l，之后进入步骤1202。
其中，M为人体特征框与预设参考线之间角度信息，d为颈部膝部纵坐标差值，l为第二跌倒判断结果的值。
步骤1202、判断M是否大于10°，如果是则进入步骤1205，否则进入步骤1203。
步骤1203、判断d是否小于0，如果是则进入步骤1205，否则进入步骤1204。
步骤1204、判断l是否为“fall”，如果是则进入步骤1205，否则表明视频数据中的人物对象未摔倒。
步骤1205、疑似跌倒报警系数列表中增加记录1，之后进入步骤906。
步骤1206、判断疑似跌倒报警系数列表中的记录1之和是否大于等于15，如果是则进入步骤1207，否则在增加新的记录后继续判断。
步骤1207、发出跌倒报警信息。
图13是根据一示意性实施例示出的一种跌倒检测装置的示意图，如图13所示，该跌倒检测装置主要包括视频获取模块1301、模型推理模块1302、第一跌倒判断结果获得模块1303和跌倒检测结果获得模块1304。
其中，视频获取模块1301，被配置为执行获取视频数据。模型推理模块1302，被配置为执行将视频数据输入多任务检测模型，通过多任务检测模型得到与视频数据中的人物对象相关联的人体关键特征点集。第一跌倒判断结果获得模块1303，被配置为执行根据人体关键特征点集和预设的跌倒条件，得到第一跌倒判断结果。跌倒检测结果获得模块1304，被配置为执行根据第一跌倒判断结果，得到与人物对象相关联的跌倒检测结果。
在一些实施例中，模型推理模块1302包括图像模型推理子模块和图像特征点集选取子模块。其中，图像模型推理子模块，被配置为执行将连续图像依次输入多任务检测模型，得到每一图像中的与人物对象相关联的特征点全集，其中，连续图像为视频数据中的图像。图像特征点集选取子模块，被配置为执行根据预设的关键特征点指示信息，从每一图像的特征点全集中选出关键特征点组成人体关键特征点集，其中，关键特征点指示信息表征人物对象的身体部位。
在一些实施例中，第一跌倒判断结果获得模块1303包括特征框获得子模块和第一跌倒判断结果获得子模块。其中，特征框获得子模块，被配置为执行根据人体关键特征点集，得到人体特征框，人体特征框为人体关键特征点集的最小外接矩形。第一跌倒判断结果获得子模块，被配置为执行根据人体特征框与预设参考线之间角度信息的第一跌倒条件，得到第一跌倒判断结果。
在一些实施例中，第一跌倒判断结果获得模块1303包括跌倒特征点获得子模块和第一跌倒判断结果获得子模块。其中，跌倒特征点获得子模块，被配置为执行根据跌倒参考点指示信息，从人体关键特征点集中获得跌倒参考特征点集。第一跌倒判断结果获得子模块，被配置为执行根据跌倒参考特征点集中的特征点之间的第二跌倒条件，得到第一跌倒判断结果。
在一些实施例中，跌倒参考特征点集包括颈部特征点、左膝部特征点和右膝部特征点。第一跌倒判断结果获得子模块包括膝部平均值获得子模块、颈部膝部差值获得子模块和跌倒结果获得子模块。其中，膝部平均值获得子模块，被配置为执行根据左膝部特征点和右膝部特征点在视频数据的图像的纵坐标值，得到膝部纵坐标平均值，膝部纵坐标平均值表征左膝部特征点和右膝部特征点的纵坐标平均值。颈部膝部差值获得子模块，被配置为执行根据颈部特征点在视频数据的图像的纵坐标值和膝部纵坐标平均值，得到颈部膝部纵坐标差值。跌倒结果获得子模块，被配置为执行根据颈部膝部纵坐标差值和第二跌倒条件，得到第一跌倒判断结果。
在一些实施例中，跌倒检测结果获得模块1304进一步被配置为：在视频数据的第一设定数量的连续图像中，在第一跌倒判断结果为跌倒的图像的数量达到第二设定数量的情况下，得到结果为跌倒的跌倒检测结果。
在一些实施例中，该跌倒检测装置进一步包括第二跌倒判断结果获得模块。第二跌倒判断结果获得模块，被配置为执行通过多任务检测模型得到与视频数据中的人物对象相关联的第二跌倒判断结果。跌倒检测结果获得模块1304进一步被配置为执行：根据第一跌倒判断结果或第二跌倒判断结果，得到与人物对象相关联的跌倒检测结果。
在一些实施例中，跌倒检测结果获得模块1304进一步被配置为执行：针对视频数据的任一图像，判断第一跌倒判断结果是否为跌倒；在第一跌倒判断结果为跌倒的情况下，得到该任一图像为跌倒的预判跌倒结果；在第一跌倒判断结果为未跌倒的情况下，判断第二跌倒判断结果是否为跌倒；在第二跌倒判断结果为跌倒的情况下，得到该任一图像为跌倒的预判跌倒结果；在视频数据的第一设定数量的连续图像中，在预判跌倒结果为跌倒的图像的数量达到第二设定数量的情况下，得到结果为跌倒的跌倒检测结果。
在一些实施例中，该跌倒检测装置进一步包括报警模块。报警模块，被配置为执行在得到跌倒检测结果之后，发出跌倒报警信息。
该跌倒检测装置利用多任务检测模型得到视频数据中人物对象的人体关键特征点集，进一步利用人体关键特征点集得到关联于人体跌倒时角度的变化或者人体关键特征点之间距离的变化的第一跌倒判断结果，对一段时间内出现的第一跌倒判断结果进行综合判断，在一段时间内的视频数据的图像中出现的第一跌倒判断结果的数量达到预设的数量时得到跌倒检测结果。实现了对任务对象的端到端检测，有利于提升跌倒检测的准确率，特别是提升行动缓慢人群的跌倒检测准确率，增强了跌倒检测的可靠性。
本公开实施例还提供了另一种跌倒检测装置，该跌倒检测装置包括：视频获取模块，被配置为执行获取视频数据；模型推理模块，被配置为执行将视频数据输入多任务检测模型，通过多任务检测模型得到与视频数据中的人物对象相关联的人体关键特征点集和第二跌倒判断结果；第一跌倒判断结果获得模块，被配置为执行根据人体关键特征点集和预设的跌倒条件，得到第一跌倒判断结果；跌倒检测结果获得模块，被配置为执行根据第一跌倒判断结果或第二跌倒判断结果，得到与人物对象相关联的跌倒检测结果。
该另一种跌倒检测装置，利用多任务检测模型得到视频数据中人物对象的人体关键特征点集和第二跌倒判断结果，进一步利用人体关键特征点集得到关联于人体跌倒时角度的变化或者人体关键特征点之间距离的变化的第一跌倒判断结果，将多任务检测模型得到的第二跌倒判断结果以及根据人体关键特征点集确定的第一跌倒判断结果进行综合判断得到预判跌倒结果，在一段时间内的连续视频数据的图像中出现跌倒的预判跌倒结果的数量达到预设的数量时得到跌倒检测结果。实现了对任务对象的端到端检测，综合第一跌倒判断结果、第二跌倒判断结果而得到跌倒检测结果，有利于消除基于单一判断结果而得到检测结果的偏差，能够提升跌倒检测的准确率，特别是提升行动缓慢人群的跌倒检测准确率，增强了跌倒检测的可靠性。
关于上述各个实施例中的跌倒检测装置，其中各个单元执行操作的具体方式已经在有关该跌倒检测方法的实施例中进行了详细描述，此处将不作详细阐述说明。
需要说明的是：上述实施例仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
图14是本公开实施例提供的一种电子设备的结构示意图。在一些实施例中，该电子设备为服务器。该电子设备1400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（Central Processing Units，CPU）1401和一个或一个以上的存储器1402，其中，该存储器1402中存储有至少一条程序代码，该至少一条程序代码由该处理器1401加载并执行以实现上述各个实施例提供的跌倒检测方法。当然，该电子设备1400还可以具有图像采集部件、有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该电子设备1400还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种包括至少一条指令的计算机可读存储介质，例如包括至少一条指令的存储器，上述至少一条指令可由计算机设备中的处理器执行以完成上述实施例中的跌倒检测方法。
可选地，上述计算机可读存储介质可以是非临时性计算机可读存储介质，例如，该非临时性计算机可读存储介质可以包括ROM（Read-Only Memory，只读存储器）、RAM（Random-Access Memory，随机存取存储器）、CD-ROM（Compact Disc Read-Only Memory，只读光盘）、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品，包括一条或多条指令，该一条或多条指令可以由计算机设备的处理器执行，以完成上述各个实施例提供的跌倒检测方法。
以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (12)

1.一种跌倒检测方法，其特征在于，包括：
获取视频数据；
将所述视频数据输入多任务检测模型，通过所述多任务检测模型得到与所述视频数据中的人物对象相关联的人体关键特征点集，其中，所述多任务检测模型为YOLOPose模型；
根据所述人体关键特征点集和预设的跌倒条件，得到第一跌倒判断结果，其中，所述预设的跌倒条件包括：人体特征框与预设参考线之间角度信息的第一跌倒条件、人体的颈部膝部纵坐标差值的第二跌倒条件，其中，预设参考线的方向为人在正常站立时的方向；
根据所述第一跌倒判断结果，得到与所述人物对象相关联的跌倒检测结果。
2.根据权利要求1所述的跌倒检测方法，其特征在于，所述将所述视频数据输入多任务检测模型，通过所述多任务检测模型得到与所述视频数据中的人物对象相关联的人体关键特征点集，包括：
将连续图像依次输入所述多任务检测模型，得到每一图像中的与所述人物对象相关联的特征点全集，其中，所述连续图像为所述视频数据中的图像；
根据预设的关键特征点指示信息，从所述每一图像的所述特征点全集中选出关键特征点组成所述人体关键特征点集，其中，所述关键特征点指示信息表征所述人物对象的身体部位。
3.根据权利要求1所述的跌倒检测方法，其特征在于，所述根据所述人体关键特征点集和预设的跌倒条件，得到第一跌倒判断结果，包括：
根据所述人体关键特征点集，得到所述人体特征框，所述人体特征框为所述人体关键特征点集的最小外接矩形；
根据所述第一跌倒条件，得到所述第一跌倒判断结果。
4.根据权利要求1所述的跌倒检测方法，其特征在于，所述根据所述人体关键特征点集和预设的跌倒条件，得到第一跌倒判断结果，包括：
从所述人体关键特征点集中获得跌倒参考特征点集；
根据所述跌倒参考特征点集中的特征点之间的所述第二跌倒条件，得到所述第一跌倒判断结果。
5.根据权利要求4所述的跌倒检测方法，其特征在于：
所述跌倒参考特征点集包括颈部特征点、左膝部特征点和右膝部特征点；
所述根据所述跌倒参考特征点集中的特征点之间的所述第二跌倒条件，得到所述第一跌倒判断结果，包括：
根据所述左膝部特征点和所述右膝部特征点在所述视频数据的图像的纵坐标值，得到膝部纵坐标平均值，所述膝部纵坐标平均值表征所述左膝部特征点和所述右膝部特征点的纵坐标平均值；
根据所述颈部特征点在所述视频数据的图像的纵坐标值和所述膝部纵坐标平均值，得到颈部膝部纵坐标差值；
根据所述颈部膝部纵坐标差值和所述第二跌倒条件，得到所述第一跌倒判断结果。
6.根据权利要求1所述的跌倒检测方法，其特征在于，所述根据所述第一跌倒判断结果，得到与所述人物对象相关联的跌倒检测结果，包括：
在所述视频数据的第一设定数量的连续图像中，在所述第一跌倒判断结果为跌倒的图像的数量达到第二设定数量的情况下，得到结果为跌倒的所述跌倒检测结果。
7.根据权利要求1所述的跌倒检测方法，其特征在于，所述跌倒检测方法进一步包括：
通过所述多任务检测模型得到与所述视频数据中的人物对象相关联的第二跌倒判断结果，其中，所述第二跌倒判断结果为所述YOLOPose模型中的框头的预测结果；
根据所述第一跌倒判断结果或所述第二跌倒判断结果，得到与所述人物对象相关联的跌倒检测结果。
8.根据权利要求7所述的跌倒检测方法，其特征在于，所述根据所述第一跌倒判断结果或所述第二跌倒判断结果，得到与所述人物对象相关联的跌倒检测结果，包括：
针对所述视频数据的任一图像，判断所述第一跌倒判断结果是否为跌倒；
在所述第一跌倒判断结果为跌倒的情况下，得到该任一图像为跌倒的预判跌倒结果；
在所述第一跌倒判断结果为未跌倒的情况下，判断所述第二跌倒判断结果是否为跌倒；
在所述第二跌倒判断结果为跌倒的情况下，得到该任一图像为跌倒的预判跌倒结果；
在所述视频数据的第一设定数量的连续图像中，在所述预判跌倒结果为跌倒的图像的数量达到第二设定数量的情况下，得到结果为跌倒的所述跌倒检测结果。
9.根据权利要求1至8任一项所述的跌倒检测方法，其特征在于，在所述得到与所述人物对象相关联的跌倒检测结果之后，所述跌倒检测方法进一步包括：
发出跌倒报警信息。
10.一种跌倒检测装置，其特征在于，包括：
视频获取模块，被配置为执行获取视频数据；
模型推理模块，被配置为执行将所述视频数据输入多任务检测模型，通过所述多任务检测模型得到与所述视频数据中的人物对象相关联的人体关键特征点集，其中，所述多任务检测模型为YOLOPose模型；
第一跌倒判断结果获得模块，被配置为执行根据所述人体关键特征点集和预设的跌倒条件，得到第一跌倒判断结果，其中，所述预设的跌倒条件包括：人体特征框与预设参考线之间角度信息的第一跌倒条件、人体的颈部膝部纵坐标差值的第二跌倒条件，其中，预设参考线的方向为人在正常站立时的方向；
跌倒检测结果获得模块，被配置为执行根据所述第一跌倒判断结果，得到与所述人物对象相关联的跌倒检测结果。
11.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器的可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令，以实现如权利要求1至9任一项所述的跌倒检测方法。
12.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的至少一条指令被电子设备的处理器执行时，使得所述电子设备能够实现如权利要求1至9任一项所述的跌倒检测方法。
CN202211178155.5A 2022-09-27 2022-09-27 跌倒检测方法、装置、电子设备和计算机可读存储介质 Active CN115273243B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211178155.5A CN115273243B (zh) 2022-09-27 2022-09-27 跌倒检测方法、装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211178155.5A CN115273243B (zh) 2022-09-27 2022-09-27 跌倒检测方法、装置、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN115273243A CN115273243A (zh) 2022-11-01
CN115273243B true CN115273243B (zh) 2023-03-28

Family

ID=83756053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211178155.5A Active CN115273243B (zh) 2022-09-27 2022-09-27 跌倒检测方法、装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN115273243B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220604A (zh) * 2017-05-18 2017-09-29 清华大学深圳研究生院 一种基于视频的跌倒检测方法
CN109919132A (zh) * 2019-03-22 2019-06-21 广东省智能制造研究所 一种基于骨架检测的行人跌倒识别方法
CN110503063A (zh) * 2019-08-28 2019-11-26 东北大学秦皇岛分校 基于沙漏卷积自动编码神经网络的跌倒检测方法
CN112287759A (zh) * 2020-09-26 2021-01-29 浙江汉德瑞智能科技有限公司 基于关键点的跌倒检测方法
WO2021227874A1 (zh) * 2020-05-11 2021-11-18 杭州萤石软件有限公司 一种跌倒行为的检测方法和设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3418991A4 (en) * 2016-01-22 2019-07-10 Suzhou Ling Wei Technology Co., Ltd. INTELLIGENT CONTROL SYSTEM IN THE EVENT OF FALLING A BODY, AND ASSOCIATED METHOD
CN108629300B (zh) * 2018-04-24 2022-01-28 北京科技大学 一种跌倒检测方法
TWI662514B (zh) * 2018-09-13 2019-06-11 緯創資通股份有限公司 跌倒偵測方法以及使用此方法的電子系統
CN109670396B (zh) * 2018-11-06 2023-06-27 华南理工大学 一种室内老人跌倒检测方法
CN109684920B (zh) * 2018-11-19 2020-12-11 腾讯科技（深圳）有限公司 物体关键点的定位方法、图像处理方法、装置及存储介质
CN110781765B (zh) * 2019-09-30 2024-02-09 腾讯科技（深圳）有限公司 一种人体姿态识别方法、装置、设备及存储介质
US10911775B1 (en) * 2020-03-11 2021-02-02 Fuji Xerox Co., Ltd. System and method for vision-based joint action and pose motion forecasting
CN113392681A (zh) * 2020-03-13 2021-09-14 深圳云天励飞技术有限公司 人体跌倒检测方法、装置及终端设备
CN112488019A (zh) * 2020-12-07 2021-03-12 新疆爱华盈通信息技术有限公司 基于姿态识别的跌倒检测方法、装置、电子设备及存储介质
WO2022144898A1 (en) * 2020-12-31 2022-07-07 Carmel Haifa University Economic Corporation Ltd. Methods and system for assessing the risk of falls
CN112818807A (zh) * 2021-01-27 2021-05-18 深圳英飞拓科技股份有限公司 摔倒检测方法、装置、设备和存储介质
US20220284790A1 (en) * 2021-03-02 2022-09-08 Aisin Corporation Posture discrimination device
CN113657150A (zh) * 2021-07-07 2021-11-16 浙江大华技术股份有限公司 一种跌倒检测方法、装置和计算机可读存储介质
CN113384267A (zh) * 2021-08-17 2021-09-14 深圳市爱深盈通信息技术有限公司 一种跌倒实时检测方法、系统、终端设备及存储介质
CN114202722B (zh) * 2021-11-24 2025-01-28 沈阳建筑大学 基于卷积神经网络和多判别特征的跌倒检测方法
CN114373189A (zh) * 2021-12-20 2022-04-19 深圳市锐明技术股份有限公司 一种行为检测方法、装置、终端设备及存储介质
CN114333058A (zh) * 2021-12-30 2022-04-12 杭州程天科技发展有限公司 一种跌倒风险评估及防控方法和相关设备
CN114463788A (zh) * 2022-04-12 2022-05-10 深圳市爱深盈通信息技术有限公司 一种跌倒检测方法、系统、计算机设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220604A (zh) * 2017-05-18 2017-09-29 清华大学深圳研究生院 一种基于视频的跌倒检测方法
CN109919132A (zh) * 2019-03-22 2019-06-21 广东省智能制造研究所 一种基于骨架检测的行人跌倒识别方法
CN110503063A (zh) * 2019-08-28 2019-11-26 东北大学秦皇岛分校 基于沙漏卷积自动编码神经网络的跌倒检测方法
WO2021227874A1 (zh) * 2020-05-11 2021-11-18 杭州萤石软件有限公司 一种跌倒行为的检测方法和设备
CN112287759A (zh) * 2020-09-26 2021-01-29 浙江汉德瑞智能科技有限公司 基于关键点的跌倒检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于YOLO网络的人体跌倒检测方法;杨雪旗 等;《扬州大学学报(自然科学版)》;20190528;第22卷(第02期);61-64 *
基于姿态估计的静态图像跌倒检测方法;杨海清 等;《传感器与微系统》;20200924;第39卷(第10期);132-134 *
基于视觉识别的人体跌倒检测研究;吉承文 等;《数字通信世界》;20200301(第03期);7-8 *

Also Published As

Publication number Publication date
CN115273243A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
Wang et al. Fall detection based on dual-channel feature integration
US9183431B2 (en) Apparatus and method for providing activity recognition based application service
CN110427905A (zh) 行人跟踪方法、装置以及终端
CN110738154A (zh) 一种基于人体姿态估计的行人摔倒检测方法
EP3951715B1 (en) Generation apparatus, generation method, and program
CN113378649A (zh) 身份、位置和动作识别方法、系统、电子设备及存储介质
JP2014093023A (ja) 物体検出装置、物体検出方法及びプログラム
US11544926B2 (en) Image processing apparatus, method of processing image, and storage medium
CN115116127A (zh) 一种基于计算机视觉和人工智能的跌倒检测方法
JP4465150B2 (ja) 基準点に対する物体の相対位置を測定するシステムおよび方法
Yan et al. Human-object interaction recognition using multitask neural network
CN114663835B (zh) 一种行人跟踪方法、系统、设备及存储介质
CN115273243B (zh) 跌倒检测方法、装置、电子设备和计算机可读存储介质
KR102670939B1 (ko) 센서 데이터를 활용한 운동 자세 평가 시스템 및 방법
US11527090B2 (en) Information processing apparatus, control method, and non-transitory storage medium
WO2022116860A1 (en) Swimmer performance analysis system
CN112818929B (zh) 一种人员斗殴检测方法、装置、电子设备及存储介质
JP7630935B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN115546825A (zh) 一种安检规范性自动监测方法
CN112700494B (zh) 定位方法、装置、电子设备及计算机可读存储介质
Htoo et al. Privacy preserving human fall recognition using human skeleton data
CN118840778B (zh) 人脸识别算法及基于人脸识别和定位检测的智能帽贴
KR102708203B1 (ko) 딥러닝 기반 사회적 거리 모니터링 프레임워크
US20220343649A1 (en) Machine learning for basketball rule violations and other actions
CN115439879A (zh) 体育项目的测试方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant