[go: up one dir, main page]

CN112613490B - 一种行为识别方法、装置、机器可读介质及设备 - Google Patents

一种行为识别方法、装置、机器可读介质及设备 Download PDF

Info

Publication number
CN112613490B
CN112613490B CN202110023419.9A CN202110023419A CN112613490B CN 112613490 B CN112613490 B CN 112613490B CN 202110023419 A CN202110023419 A CN 202110023419A CN 112613490 B CN112613490 B CN 112613490B
Authority
CN
China
Prior art keywords
behavior
human body
category
parameters
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110023419.9A
Other languages
English (en)
Other versions
CN112613490A (zh
Inventor
郝冬冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yuncong Technology Group Co Ltd
Original Assignee
Yuncong Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yuncong Technology Group Co Ltd filed Critical Yuncong Technology Group Co Ltd
Priority to CN202110023419.9A priority Critical patent/CN112613490B/zh
Publication of CN112613490A publication Critical patent/CN112613490A/zh
Application granted granted Critical
Publication of CN112613490B publication Critical patent/CN112613490B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种行为识别方法，包括：对待处理的目标对象的图片进行人体检测，得到人体ROI区域；对所述人体ROI区域进行特征提取，得到人体关键点；基于所述人体关键点，得到行为参数以及姿态参数；根据所述行为参数与所述姿态参数识别目标对象的行为。本发明利用关键点得到行为参数和姿态参数，结合所述行为参数和所述姿态参数得到最终的行为识别结果，提高了行为识别的鲁棒性。

Description

一种行为识别方法、装置、机器可读介质及设备
技术领域
本发明涉及人工智能领域，具体涉及一种行为识别方法、装置、机器可读介质及设备。
背景技术
在视频结构化场景下，检测器获取人体框信息之后，往往还需要进一步获取人体的姿态信息，用于后续人体行为的理解。
人体的姿态信息往往可以通过人体的主要关节点位置来描述。例如：通过确定头、肩、躯干、手、腿、脚的位置，然后按一定顺序连接这些关节点，可以勾勒出人体的姿态，进而理解人体的行为。因此，需要先通过对人体关节点进行检测，进而用于人体行为理解。
然而现有的人体行为理解算法，往往通过输入时序视频序列，利用3D卷积神经网络或者循环神经网络(LSTM)等算法来提取时空一致性特征。这些算法耗时较大、内存占用较多，很难满足实时性的监控响应需求。此外，监控场景下，存在遮挡、截断、亮度差、模糊等问题，使得网络提取的特征不够纯净，给行为理解带来困难。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种行为识别方法、装置、机器可读介质及设备，用于解决现有技术存在的问题。
为实现上述目的及其他相关目的，本发明提供一种行为识别方法，包括：
对待处理的目标对象的图片进行人体检测，得到人体ROI区域；
对所述人体ROI区域进行特征提取，得到人体关键点；
基于所述人体关键点，得到行为参数以及姿态参数；
根据所述行为参数与所述姿态参数识别目标对象的行为。
可选地，所述行为参数包括行为类别以及行为类别得分，所述姿态参数包括姿态类别以及姿态类别得分。
可选地，通过预训练的关键点模型的特征提取层对所述人体ROI区域进行特征提取，得到人体关键点。
可选地，所述行为参数的获取方法包括：
根据所述人体关键点以及连接于所述特征提取层后的行为分类分支得到行为参数。
可选地，所述姿态参数的获取方法包括：
根据所述人体关键点以及连接于所述特征提取层后的关键点回归分支得到人体关键点参数，并根据所述关键点参数得到所述姿态参数；其中，所述人体关键点参数包括关键点的可见度类别以及关键点位置。
可选地，所述特征提取层的结构为Resnet18或VGG，所述行为分类分支的结构为全连接层或1x1卷积结构，所述关键点回归分支的结构为全连接层或1x1卷积结构。
可选地，所述可见度类别包括：可见可预测、不可见可预测、不可见不可预测。
可选地，该方法还包括：
根据所述人体关键点参数获取人体关键点完整度；
基于所述人体关键点完整度对所述人体关键点进行筛选。
可选地，所述基于所述人体关键点完整度对所述人体关键点进行筛选，包括：保留人体关键点完整度超过设定的完整度阈值的人体关键点。
可选地，所述人体关键点完整度的获取方法包括：
为不同位置的人体关键点设置相应的权重；
基于所述人体关键点的权重、关键点可见度类别得到人体关键点完整度。
可选地，所述根据所述行为参数与所述姿态参数识别目标对象的行为，包括：
若所述姿态类别与所述行为类别一致，则以所述姿态类别或所述行为类别作为目标对象的行为，且所述行为得分等于所述行为类别得分与所述姿态类别得分和的一半；
若所述姿态类别与所述行为类别不一致，且所述行为类别得分大于或等于设定阈值，则所述行为类别为所述目标对象的行为；
若所述姿态类别与所述行为类别不一致，且所述行为类别得分小于设定阈值，则所述姿态类别为所述目标对象的行为。
为实现上述目的及其他相关目的，本发明提供一种行为识别装置，包括：
人体检测模块，用于对待处理的目标对象的图片进行人体检测，得到人体ROI区域；
特征提取模块，用于对所述人体ROI区域进行特征提取，得到人体关键点；
参数获取模块，用于基于所述人体关键点，得到行为参数以及姿态参数；
行为识别模块，用于根据所述行为参数与所述姿态参数识别目标对象的行为。
可选地，所述行为参数包括行为类别以及行为类别得分，所述姿态参数包括姿态类别以及姿态类别得分。
可选地，所述参数获取模块通过预训练的关键点模型的特征提取层对所述人体ROI区域进行特征提取，得到人体关键点。
可选地，所述参数获取模块包括行为参数获取模块，用于根据所述人体关键点以及连接于所述特征提取层后的行为分类分支得到行为参数。
可选地，所述参数获取模块还包括姿态参数获取模块，用于根据所述人体关键点以及连接于所述特征提取层后的关键点回归分支得到人体关键点参数，并根据所述关键点参数得到所述姿态参数；其中，所述人体关键点参数包括关键点的可见度类别以及关键点位置。
可选地，所述根据所述行为参数与所述姿态参数识别目标对象的行为，包括：
若所述姿态类别与所述行为类别一致，则以所述姿态类别或所述行为类别作为目标对象的行为，且所述行为得分等于所述行为类别得分与所述姿态类别得分和的一半；
若所述姿态类别与所述行为类别不一致，且所述行为类别得分大于或等于设定阈值，则所述行为类别为所述目标对象的行为；
若所述姿态类别与所述行为类别不一致，且所述行为类别得分小于设定阈值，则所述姿态类别为所述目标对象的行为。
为实现上述目的及其他相关目的，本发明还提供一种电子设备，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行前述的一个或多个所述的方法。
为实现上述目的及其他相关目的，本发明还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行前述的一个或多个所述的方法。
如上所述，本发明提供的一种行为识别方法、装置、机器可读介质及设备，具有以下有益效果：
本发明的一种行为识别方法，包括：对待处理的目标对象的图片进行人体检测，得到人体ROI区域；对所述人体ROI区域进行特征提取，得到人体关键点；基于所述人体关键点，得到行为参数以及姿态参数；根据所述行为参数与所述姿态参数识别目标对象的行为。本发明利用关键点得到行为参数和姿态参数，结合所述行为参数和所述姿态参数得到最终的行为识别结果，提高了行为识别的鲁棒性。
附图说明
图1为本发明一实施例一种行为识别方法的流程图；
图2为本发明一实施例人体关键点分布示意图；
图3为本发明一实施例人体关键点示意图；
图4为本发明一实施例一种行为识别装置的结构示意图；
图5为本发明一实施例中终端设备的硬件结构示意图；
图6为本发明一实施例中终端设备的硬件结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
如图1所示，本申请实施例提供一种行为识别方法，包括：
S11对待处理的目标对象的图片进行人体检测，得到人体ROI区域；
S12对所述人体ROI区域进行特征提取，得到人体关键点；
S13基于所述人体关键点，得到行为参数以及姿态参数；
其中，所述行为参数包括行为类别以及行为类别得分，所述姿态参数包括姿态类别以及姿态类别得分；
S14根据所述行为参数与所述姿态参数识别目标对象的行为。
本发明利用关键点得到行为参数和姿态参数，结合所述行为参数和所述姿态参数得到最终的行为识别结果，提高了行为识别的鲁棒性。
在步骤S11中，待处理的目标对象的图片可以通过拍照、选择本地图片、输入图片链接地址等方式获取。其中，待处理的目标对象的图片中包含有一个目标人体。利用人体检测算法可以得到待处理图片中的人体ROI区域。人体ROI区域：是指人体所在区域的最小外接矩形框；结合矩形框左上角坐标以及矩形框的宽、高信息，可确定人体的ROI区域。
在一实施例中，通过预训练的关键点模型的特征提取层对所述人体ROI区域进行特征提取，得到人体关键点。
在一实施例中，所述行为参数的获取方法包括：
根据所述人体关键点以及连接于所述特征提取层后的行为分类分支得到行为参数。其中，行为参数中的行为类别包括：站立、坐、躺、举手等。
所述姿态参数的获取方法包括：
根据所述人体关键点以及连接于所述特征提取层后的关键点回归分支得到人体关键点参数，并根据所述关键点参数得到所述姿态参数；其中，所述人体关键点参数包括关键点的可见度类别以及关键点位置。其中，可见度类别包括不可预测、不可见可预测、可见，可以分别用0、1、2表示。
关键点回归分支分为两个子分支，一个分支对关键点的坐标进行回归，得到关键点的位置，另一个分支对关键点的可见度进行分类，得到关键点的可见度类别。这两个分支结构包括但不仅限于全连接层，1x1卷积结构。
在一实施例中，关键点模型的特征提取层的所述特征提取层的结构为Resnet18或VGG，所述行为分类分支的结构为全连接层或1x1卷积结构，所述关键点回归分支的结构为全连接层或1x1卷积结构。
关键点模型可以通过以下方法获取：
获取训练数据，其中所述训练数据中的数据为单个目标人体，该单个目标人体是从全景图中根据人体框的坐标信息，提取人体ROI区域。训练数据包含标注信息，如图2a、2b所示，以14点为例(头、颈、左右肩部、左右腰部、左右膝盖、左右脚、左右手肘、左右手腕)，在人体关键点骨架结构，蓝色表示可见可预测点，红色表示不可见可预测的点。图2a的姿态类别为站，图2b的姿态类别为坐。单个人体包含多个人体关键点、对应的可见度类别以及行为类别。
利用所述训练数据训练得到关键点模型，其中，关键点模型至少包括特征提取层、连接于特征提取层之后的行为分类分支和连接于特征提取层之后的关键点回归分支。在关键点模型训练过程中，在训练关键点模型时，冻结关键点回归分支的权重，并修改特征提取层的权重学习率为行为分类分支学习率的1/5。使用数据增强技术，如旋转、随机模糊、亮度变换、随机擦除等操作，来模拟不同光照条件下、不同清晰度条件下、遮挡情况下的场景图像。
在一实施例中，该方法还包括：
根据所述人体关键点参数获取人体关键点完整度；
基于所述人体关键点完整度对所述人体关键点进行筛选。
其中，对人体关键点进行筛选的规则是：当人体关键点完整度小于设定的完整度阈值，认为人体质量差，当人体关键点完整度大于或等于设定的完整度阈值，则认为人体质量好。在获取姿态参数时，是利用人体质量好的人体关键点。在完成人体关键点筛选后，根据所述人体关键点以及连接于所述特征提取层后的关键点回归分支得到人体关键点参数，并根据所述关键点参数得到所述姿态参数；通过关键点回归分支判断关键点的姿势是否符合站立、坐、躺、举手等姿态。
图3为人体关键点示意图。其中，1为左肩，2为右肩，3为左肘，4为右肘，5为左手腕，6为右手腕，7为左腰，8为右腰，9为左膝，10为右膝，11为左脚，12为右脚，13为头部，14为颈部。通过上述关键点可以判断人体的姿态，具体的方法包括：
1.站立判断
a)计算左右腿的平均长度，也即点7与点11以及点8与点12的平均长度；计算上半身的平均长度，也即点1、2的平均位置到点7、8的平均位置的距离；
b)计算上半身与大腿的夹角，即点1、7、9构成的夹角，以及点2、8、10构成的夹角的均值；
c)计算上半身和水平地面的平均夹角，也即点7、8的平均位置与点1、2点的平均位置构成的连线与水平地面的夹角；
d)计算大腿和水平地面的平均夹角，也即点9、10的平均位置与点7、8的平均位置构成的连线与水平地面的夹角；
e)计算大腿和小腿的夹角，也即点7、9、11构成的夹角，以及点8、10、12构成的夹角；
f)判断双腿是否是相对竖直状态，也即点11、12的平均位置和点7、8的平均位置和竖直方向的人夹角是否小于阈值20°；
g)根据a)，当左右腿的平均长度小于上半身平均长度的0.2倍,认为为非站立状态，反之可能为站立态；根据b)，当上半身与大腿夹角均值大于145°，认为为站立态，反之为非站立态；根据c)、d),当上半身与水平地面夹角与大腿与水平地面夹角均大于45，认为可能是站立态，反之为非站立态；根据e)、f)，大腿与小腿夹角大于145°且双腿与竖直方向夹角小于30°，认为可能为站立态。
2.坐姿判断
a)计算大腿的平均长度，也即点7与9以及点8与10的平均长度；计算小腿的长度，也即点9与点11以及点10与点12的平均长度；计算上半身的平均长度，也即点1、2的平均位置到点7、8的平均位置的距离；
b)计算上半身与大腿的夹角，也即点1、7、9构成的夹角以及点2、8、10构成的夹角的均值；
c)计算大腿和小腿的夹角，也即点7、9、11构成的夹角，以及点8、10、12构成的夹角。
d)计算膝盖与肩膀重心差距以及双脚与肩膀重心差距，也即点9、10中心位置与点1、2中心位置的重心距离以及点11、12中心位置与点1、2中心位置的重心距离。
e)当大腿长度和上半身长度的比例小于0.2且上半身与大腿夹角小于145°，认为为坐姿；当小腿长度与大腿长度比例大于1.4且上半身与大腿夹角小于145°且大腿与小腿夹角小于120°，认为为坐姿；当双脚与肩膀重心差距小于膝盖与肩膀重心差距的1.2倍时，且上半身与大腿夹角小于145°，认为是坐姿。
3.躺姿判断
a)计算头部也即13的中心位置，计算下半身也即点7、8、9、10点的中心位置，计算双肩也即点1、2的中心位置，计算腰部也即点7、8中心点的位置，计算双膝也即点9、10的中心位置，计算双脚也即点11、12的中心位置，计算手腕也即点5、6的中心位置；
b)计算小腿与竖直方向的夹角也即点9、11和点10、12分别与竖直方向的夹角；
c)计算头部与下半身中心点的连线与竖直方向的夹角；
d)当双脚的中心位置和手腕的中心位置的距离小于头部和下半身中心位置距离的0.1倍，可能为躺趴姿势；当头部与下半身中心点的连线与竖直方向夹角的正弦值小于0.7，可能为躺趴姿势，正弦值越小，可能性越大；当小腿与竖直方向夹角大于30°时，可能为躺趴姿势；当肩-腰-膝的夹角大于120°且小腿与竖直方向夹角大于等于30°且头部重心与腰部重心以及腰部重心与双脚的重心比介于0.8到1.2之间，可能为躺趴姿势。
在一实施例中，所述人体关键点完整度的获取方法包括：
为不同位置的人体关键点设置相应的权重；
基于所述人体关键点的权重、关键点可见度类别得到人体关键点完整度。
在一实施例中，所述根据所述行为参数与所述姿态参数识别目标对象的行为，包括：
若所述姿态类别与所述行为类别一致，则以所述姿态类别或所述行为类别作为目标对象的行为，且所述行为得分等于所述行为类别得分与所述姿态类别得分和的一半；
若所述姿态类别与所述行为类别不一致，且所述行为类别得分大于或等于设定阈值，则所述行为类别为所述目标对象的行为；其中，设定阈值可以根据需要求进行设定，此处，设定阈值可以设置为0.8；
若所述姿态类别与所述行为类别不一致，且所述行为类别得分小于设定阈值，则所述姿态类别为所述目标对象的行为。
需要说明的是，在进行举手判断行为判断时，由于举手逻辑判断结果准确性较低，因此，此时以行为别类判断为准。
应该理解，上述各个实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
本发明利用关键点模型进行人体关键点的提取，并进行分类；利用关键点回归分支输出的结果做人体质量判断和姿态判断。结合行为分类分支的结果和姿态判断的结果得到最终的行为识别结果，提高了行为识别的鲁棒性。由于行为分类分支和关键点回归分支共用featuremap，因此提高了前向推理的效率。
如图4所示，本申请实施例提供一种行为识别装置，包括：
人体检测模块41，用于对待处理的目标对象的图片进行人体检测，得到人体ROI区域；
特征提取模块42，用于对所述人体ROI区域进行特征提取，得到人体关键点；
参数获取模块43，用于基于所述人体关键点，得到行为参数以及姿态参数；
其中，所述行为参数包括行为类别以及行为类别得分，所述姿态参数包括姿态类别以及姿态类别得分；
行为识别模块34，用于根据所述行为参数与所述姿态参数识别目标对象的行为。
本发明利用关键点得到行为参数和姿态参数，结合所述行为参数和所述姿态参数得到最终的行为识别结果，提高了行为识别的鲁棒性。
待处理的目标对象的图片可以通过拍照、选择本地图片、输入图片链接地址等方式获取。其中，待处理的目标对象的图片中包含有一个目标人体。利用人体检测算法可以得到待处理图片中的人体ROI区域。人体ROI区域：是指人体所在区域的最小外接矩形框；结合矩形框左上角坐标以及矩形框的宽、高信息，可确定人体的ROI区域。
在一实施例中，所述参数获取模块通过预训练的关键点模型的特征提取层对所述人体ROI区域进行特征提取，得到人体关键点。
在一实施例中，所述参数获取模块包括行为参数获取模块，用于根据所述人体关键点以及连接于所述特征提取层后的行为分类分支得到行为参数。
所述参数获取模块还包括姿态参数获取模块，用于根据所述人体关键点以及连接于所述特征提取层后的关键点回归分支得到人体关键点参数，并根据所述关键点参数得到所述姿态参数；其中，所述人体关键点参数包括关键点的可见度类别以及关键点位置。其中，可见度类别包括不可预测、不可见可预测、可见，可以分别用0、1、2表示。
关键点回归分支分为两个子分支，一个分支对关键点的坐标进行回归，得到关键点的位置，另一个分支对关键点的可见度进行分类，得到关键点的可见度类别。这两个分支结构包括但不仅限于全连接层，1x1卷积结构。
在一实施例中，关键点模型的特征提取层的所述特征提取层的结构为Resnet18或VGG，所述行为分类分支的结构为全连接层或1x1卷积结构，所述关键点回归分支的结构为全连接层或1x1卷积结构。
关键点模型可以通过以下方法获取：
获取训练数据，其中所述训练数据中的数据为单个目标人体，该单个目标人体是从全景图中根据人体框的坐标信息，提取人体ROI区域。训练数据包含标注信息，如图2a、2b所示，以14点为例(头、颈、左右肩部、左右腰部、左右膝盖、左右脚、左右手肘、左右手腕)，在人体关键点骨架结构，蓝色表示可见可预测点，红色表示不可见可预测的点。图2a的姿态类别为站，图2b的姿态类别为坐。单个人体包含多个人体关键点、对应的可见度类别以及行为类别。
利用所述训练数据训练得到关键点模型，其中，关键点模型至少包括特征提取层、连接于特征提取层之后的行为分类分支和连接于特征提取层之后的关键点回归分支。在关键点模型训练过程中，在训练关键点模型时，冻结关键点回归分支的权重，并修改特征提取层的权重学习率为行为分类分支学习率的1/5。使用数据增强技术，如旋转、随机模糊、亮度变换、随机擦除等操作，来模拟不同光照条件下、不同清晰度条件下、遮挡情况下的场景图像。
在一实施例中，该装置还包括：
人体关键点完整度获取模块，用于根据所述人体关键点参数获取人体关键点完整度；
人体关键点筛选模块，用于基于所述人体关键点完整度对所述人体关键点进行筛选。
其中，对人体关键点进行筛选的规则是：当人体关键点完整度小于设定的完整度阈值，认为人体质量差，当人体关键点完整度大于或等于设定的完整度阈值，则认为人体质量好。在获取姿态参数时，是利用人体质量好的人体关键点。在完成人体关键点筛选后，根据所述人体关键点以及连接于所述特征提取层后的关键点回归分支得到人体关键点参数，并根据所述关键点参数得到所述姿态参数；通过关键点回归分支判断关键点的姿势是否符合站立、坐、躺、举手等姿态。
图3为人体关键点示意图。其中，1为左肩，2为右肩，3为左肘，4为右肘，5为左手腕，6为右手腕，7为左腰，8为右腰，9为左膝，10为右膝，11为左脚，12为右脚，13为头部，14为颈部。通过上述关键点可以判断人体的姿态，具体的方法包括：
1.站立判断
a)计算左右腿的平均长度，也即点7与点11以及点8与点12的平均长度；计算上半身的平均长度，也即点1、2的平均位置到点7、8的平均位置的距离；
b)计算上半身与大腿的夹角，即点1、7、9构成的夹角，以及点2、8、10构成的夹角的均值；
c)计算上半身和水平地面的平均夹角，也即点7、8的平均位置与点1、2点的平均位置构成的连线与水平地面的夹角；
d)计算大腿和水平地面的平均夹角，也即点9、10的平均位置与点7、8的平均位置构成的连线与水平地面的夹角；
e)计算大腿和小腿的夹角，也即点7、9、11构成的夹角，以及点8、10、12构成的夹角；
f)判断双腿是否是相对竖直状态，也即点11、12的平均位置和点7、8的平均位置和竖直方向的人夹角是否小于阈值20°；
g)根据a)，当左右腿的平均长度小于上半身平均长度的0.2倍,认为为非站立状态，反之可能为站立态；根据b)，当上半身与大腿夹角均值大于145°，认为为站立态，反之为非站立态；根据c)、d),当上半身与水平地面夹角与大腿与水平地面夹角均大于45，认为可能是站立态，反之为非站立态；根据e)、f)，大腿与小腿夹角大于145°且双腿与竖直方向夹角小于30°，认为可能为站立态。
2.坐姿判断
a)计算大腿的平均长度，也即点7与9以及点8与10的平均长度；计算小腿的长度，也即点9与点11以及点10与点12的平均长度；计算上半身的平均长度，也即点1、2的平均位置到点7、8的平均位置的距离；
b)计算上半身与大腿的夹角，也即点1、7、9构成的夹角以及点2、8、10构成的夹角的均值；
c)计算大腿和小腿的夹角，也即点7、9、11构成的夹角，以及点8、10、12构成的夹角。
d)计算膝盖与肩膀重心差距以及双脚与肩膀重心差距，也即点9、10中心位置与点1、2中心位置的重心距离以及点11、12中心位置与点1、2中心位置的重心距离。
e)当大腿长度和上半身长度的比例小于0.2且上半身与大腿夹角小于145°，认为为坐姿；当小腿长度与大腿长度比例大于1.4且上半身与大腿夹角小于145°且大腿与小腿夹角小于120°，认为为坐姿；当双脚与肩膀重心差距小于膝盖与肩膀重心差距的1.2倍时，且上半身与大腿夹角小于145°，认为是坐姿。
3.躺姿判断
a)计算头部也即13的中心位置，计算下半身也即点7、8、9、10点的中心位置，计算双肩也即点1、2的中心位置，计算腰部也即点7、8中心点的位置，计算双膝也即点9、10的中心位置，计算双脚也即点11、12的中心位置，计算手腕也即点5、6的中心位置；
b)计算小腿与竖直方向的夹角也即点9、11和点10、12分别与竖直方向的夹角；
c)计算头部与下半身中心点的连线与竖直方向的夹角；
d)当双脚的中心位置和手腕的中心位置的距离小于头部和下半身中心位置距离的0.1倍，可能为躺趴姿势；当头部与下半身中心点的连线与竖直方向夹角的正弦值小于0.7，可能为躺趴姿势，正弦值越小，可能性越大；当小腿与竖直方向夹角大于30°时，可能为躺趴姿势；当肩-腰-膝的夹角大于120°且小腿与竖直方向夹角大于等于30°且头部重心与腰部重心以及腰部重心与双脚的重心比介于0.8到1.2之间，可能为躺趴姿势。
在一实施例中，所述人体关键点完整度获取模块包括：
权重设置模块，用于为不同位置的人体关键点设置相应的权重；
完整度计算模块，用于基于所述人体关键点的权重、关键点可见度类别得到人体关键点完整度。
在一实施例中，所述根据所述行为参数与所述姿态参数识别目标对象的行为，包括：
若所述姿态类别与所述行为类别一致，则以所述姿态类别或所述行为类别作为目标对象的行为，且所述行为得分等于所述行为类别得分与所述姿态类别得分和的一半；
若所述姿态类别与所述行为类别不一致，且所述行为类别得分大于或等于设定阈值，则所述行为类别为所述目标对象的行为；其中，设定阈值可以根据需要求进行设定，此处，设定阈值可以设置为0.8；
若所述姿态类别与所述行为类别不一致，且所述行为类别得分小于设定阈值，则所述姿态类别为所述目标对象的行为。
需要说明的是，在进行举手判断行为判断时，由于举手逻辑判断结果准确性较低，因此，此时以行为别类判断为准。
本发明利用关键点模型进行人体关键点的提取，并进行分类；利用关键点回归分支输出的结果做人体质量判断和姿态判断。结合行为分类分支的结果和姿态判断的结果得到最终的行为识别结果，提高了行为识别的鲁棒性。由于行为分类分支和关键点回归分支共用featuremap，因此提高了前向推理的效率。
本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中方法所包含步骤的指令(instructions)。
图5为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。
可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。
在本实施例中，该终端设备的处理器包括用于执行各设备中各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。
图6为本申请的一个实施例提供的终端设备的硬件结构示意图。图6是对图5在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。
输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。
由上可知，在图5实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图6实施例中的输入设备的实现方式。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (13)

1.一种行为识别方法，其特征在于，包括：
对待处理的目标对象的图片进行人体检测，得到人体ROI区域；
对所述人体ROI区域进行特征提取，得到人体关键点；
基于所述人体关键点，得到行为参数以及姿态参数；
根据所述行为参数与所述姿态参数识别目标对象的行为；
通过预训练的关键点模型的特征提取层对所述人体ROI区域进行特征提取，得到人体关键点；
所述姿态参数的获取方法包括：
根据所述人体关键点以及连接于所述特征提取层后的关键点回归分支得到人体关键点参数，并根据所述关键点参数得到所述姿态参数；其中，所述人体关键点参数包括关键点的可见度类别以及关键点位置；
该方法还包括：
根据所述人体关键点参数获取人体关键点完整度；
基于所述人体关键点完整度对所述人体关键点进行筛选；
所述人体关键点完整度的获取方法包括：
为不同位置的人体关键点设置相应的权重；
基于所述人体关键点的权重、关键点可见度类别得到人体关键点完整度。
2.根据权利要求1所述的行为识别方法，其特征在于，所述行为参数包括行为类别以及行为类别得分，所述姿态参数包括姿态类别以及姿态类别得分。
3.根据权利要求1所述的行为识别方法，其特征在于，所述行为参数的获取方法包括：
根据所述人体关键点以及连接于所述特征提取层后的行为分类分支得到行为参数。
4.根据权利要求1所述的行为识别方法，其特征在于，所述特征提取层的结构为Resnet18或VGG，行为分类分支的结构为全连接层或1x1卷积结构，所述关键点回归分支的结构为全连接层或1x1卷积结构。
5.根据权利要求1所述的行为识别方法，其特征在于，所述可见度类别包括：可见可预测、不可见可预测、不可见不可预测。
6.根据权利要求1所述的行为识别方法，其特征在于，所述基于所述人体关键点完整度对所述人体关键点进行筛选，包括：保留人体关键点完整度超过设定的完整度阈值的人体关键点。
7.根据权利要求2所述的行为识别方法，其特征在于，所述根据所述行为参数与所述姿态参数识别目标对象的行为，包括：
若所述姿态类别与所述行为类别一致，则以所述姿态类别或所述行为类别作为目标对象的行为，且行为得分等于所述行为类别得分与所述姿态类别得分和的一半；
若所述姿态类别与所述行为类别不一致，且所述行为类别得分大于或等于设定阈值，则所述行为类别为所述目标对象的行为；
若所述姿态类别与所述行为类别不一致，且所述行为类别得分小于设定阈值，则所述姿态类别为所述目标对象的行为。
8.一种行为识别装置，其特征在于，包括：
人体检测模块，用于对待处理的目标对象的图片进行人体检测，得到人体ROI区域；
特征提取模块，用于对所述人体ROI区域进行特征提取，得到人体关键点；
参数获取模块，用于基于所述人体关键点，得到行为参数以及姿态参数；
行为识别模块，用于根据所述行为参数与所述姿态参数识别目标对象的行为；
所述参数获取模块通过预训练的关键点模型的特征提取层对所述人体ROI区域进行特征提取，得到人体关键点；
所述参数获取模块还包括姿态参数获取模块，用于根据所述人体关键点以及连接于所述特征提取层后的关键点回归分支得到人体关键点参数，并根据所述关键点参数得到所述姿态参数；其中，所述人体关键点参数包括关键点的可见度类别以及关键点位置；
根据所述人体关键点参数获取人体关键点完整度；
基于所述人体关键点完整度对所述人体关键点进行筛选，得到人体关键点；
所述人体关键点完整度的获取方法包括：
为不同位置的人体关键点设置相应的权重；
基于所述人体关键点的权重、关键点可见度类别得到人体关键点完整度。
9.根据权利要求8所述的行为识别装置，其特征在于，所述行为参数包括行为类别以及行为类别得分，所述姿态参数包括姿态类别以及姿态类别得分。
10.根据权利要求8所述的行为识别装置 ，其特征在于，所述参数获取模块包括行为参数获取模块，用于根据所述人体关键点以及连接于所述特征提取层后的行为分类分支得到行为参数。
11.根据权利要求9所述的行为识别装置，其特征在于，所述根据所述行为参数与所述姿态参数识别目标对象的行为，包括：
若所述姿态类别与所述行为类别一致，则以所述姿态类别或所述行为类别作为目标对象的行为，且行为得分等于所述行为类别得分与所述姿态类别得分和的一半；
若所述姿态类别与所述行为类别不一致，且所述行为类别得分大于或等于设定阈值，则所述行为类别为所述目标对象的行为；
若所述姿态类别与所述行为类别不一致，且所述行为类别得分小于设定阈值，则所述姿态类别为所述目标对象的行为。
12.一种电子设备，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-7中一个或多个所述的方法。
13.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-7中一个或多个所述的方法。
CN202110023419.9A 2021-01-08 2021-01-08 一种行为识别方法、装置、机器可读介质及设备 Active CN112613490B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110023419.9A CN112613490B (zh) 2021-01-08 2021-01-08 一种行为识别方法、装置、机器可读介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110023419.9A CN112613490B (zh) 2021-01-08 2021-01-08 一种行为识别方法、装置、机器可读介质及设备

Publications (2)

Publication Number Publication Date
CN112613490A CN112613490A (zh) 2021-04-06
CN112613490B true CN112613490B (zh) 2022-02-01

Family

ID=75253545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110023419.9A Active CN112613490B (zh) 2021-01-08 2021-01-08 一种行为识别方法、装置、机器可读介质及设备

Country Status (1)

Country Link
CN (1) CN112613490B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906667B (zh) * 2021-04-07 2023-05-02 南开大学 基于三维人体关键点的人体姿态分层分类方法
CN114299615A (zh) * 2021-12-28 2022-04-08 云从科技集团股份有限公司 基于关键点的多特征融合的动作识别方法、装置、介质及设备
CN115035433A (zh) * 2022-03-18 2022-09-09 华东师范大学 一种基于多摄像头协同分析和识别考生异常行为的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492581A (zh) * 2018-11-09 2019-03-19 中国石油大学(华东) 一种基于tp-stg框架的人体动作识别方法
CN110532873A (zh) * 2019-07-24 2019-12-03 西安交通大学 一种联合人体检测与姿态估计的深度网络学习方法
CN110751039A (zh) * 2019-09-18 2020-02-04 平安科技（深圳）有限公司 多视图3d人体姿态估计方法及相关装置
CN111191599A (zh) * 2019-12-27 2020-05-22 平安国际智慧城市科技股份有限公司 姿态识别方法、装置、设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229509B (zh) * 2016-12-16 2021-02-26 北京市商汤科技开发有限公司 用于识别物体类别的方法及装置、电子设备
CN108549863B (zh) * 2018-04-11 2019-11-26 腾讯科技（深圳）有限公司 人体姿态预测方法、装置、设备及存储介质
CN111881705B (zh) * 2019-09-29 2023-12-12 深圳数字生命研究院 数据处理、训练、识别方法、装置和存储介质
CN111062276A (zh) * 2019-12-03 2020-04-24 广州极泽科技有限公司 基于人机交互的人体姿态推荐方法、装置、机器可读介质及设备
CN111046825A (zh) * 2019-12-19 2020-04-21 杭州晨鹰军泰科技有限公司 人体姿态识别方法、装置、系统及计算机可读存储介质
CN111160219B (zh) * 2019-12-26 2022-04-26 深圳云天励飞技术股份有限公司 对象完整度评估方法、装置、电子设备及存储介质
CN112149494A (zh) * 2020-08-06 2020-12-29 中国地质大学（武汉） 一种多人姿态识别方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492581A (zh) * 2018-11-09 2019-03-19 中国石油大学(华东) 一种基于tp-stg框架的人体动作识别方法
CN110532873A (zh) * 2019-07-24 2019-12-03 西安交通大学 一种联合人体检测与姿态估计的深度网络学习方法
CN110751039A (zh) * 2019-09-18 2020-02-04 平安科技（深圳）有限公司 多视图3d人体姿态估计方法及相关装置
CN111191599A (zh) * 2019-12-27 2020-05-22 平安国际智慧城市科技股份有限公司 姿态识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112613490A (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
WO2020010979A1 (zh) 手部关键点的识别模型训练方法、识别方法及设备
US11468612B2 (en) Controlling display of a model based on captured images and determined information
CN112613490B (zh) 一种行为识别方法、装置、机器可读介质及设备
CN108875633B (zh) 表情检测与表情驱动方法、装置和系统及存储介质
WO2022166243A1 (zh) 捏合手势检测识别方法、装置及系统
CN109951628A (zh) 模型构建方法、拍照方法、装置、存储介质及终端
CN111857334B (zh) 人体手势字母的识别方法、装置、计算机设备及存储介质
CN112823354B (zh) 电子装置及其控制方法
CN107370942A (zh) 拍照方法、装置、存储介质及终端
CN107481280B (zh) 一种骨骼点的矫正方法及计算设备
CN104035557A (zh) 一种基于关节活跃度的Kinect动作识别方法
CN112232194A (zh) 一种单目标人体关键点检测方法、系统、设备及介质
CN108021905A (zh) 图片处理方法、装置、终端设备及存储介质
CN113392769B (zh) 人脸图像的合成方法、装置、电子设备及存储介质
CN112580472A (zh) 一种快速轻量的人脸识别方法、装置、机器可读介质及设备
Yao et al. A fall detection method based on a joint motion map using double convolutional neural networks
CN106293099A (zh) 手势识别方法及系统
CN111340848A (zh) 对目标区域的对象跟踪方法、系统、设备及介质
CN113986093A (zh) 互动方法及相关装置
CN110705438A (zh) 步态识别方法、装置、设备及存储介质
CN104851134A (zh) 虚拟触发与真实物体触发相结合的扩增实境系统及其方法
CN114299615A (zh) 基于关键点的多特征融合的动作识别方法、装置、介质及设备
CN111080589A (zh) 目标对象匹配方法、系统、设备及机器可读介质
CN111260697A (zh) 目标对象的识别方法、系统、设备及介质
CN110597397A (zh) 增强现实的实现方法、移动终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A behavior recognition method, device, machine-readable medium, and equipment

Granted publication date: 20220201

Pledgee: Industrial and Commercial Bank of China Limited Guangzhou Pazhou Artificial Intelligence and Digital Economy Experimental Zone Branch

Pledgor: Yuncong Technology Group Co.,Ltd.

Registration number: Y2024980050775