[go: up one dir, main page]

CN113963202A - 一种骨骼点动作识别方法、装置、电子设备及存储介质 - Google Patents

一种骨骼点动作识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113963202A
CN113963202A CN202111215393.4A CN202111215393A CN113963202A CN 113963202 A CN113963202 A CN 113963202A CN 202111215393 A CN202111215393 A CN 202111215393A CN 113963202 A CN113963202 A CN 113963202A
Authority
CN
China
Prior art keywords
data
convolution
module
layer
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111215393.4A
Other languages
English (en)
Inventor
陈恩庆
辛华磊
高猛
郭佳乐
郭新
吕小永
丁英强
马龙
酒明远
马双双
张楠楠
张爱菊
刘晓娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Xintong Intelligent Iot Co ltd
Zhengzhou University
Original Assignee
Henan Xintong Intelligent Iot Co ltd
Zhengzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Xintong Intelligent Iot Co ltd, Zhengzhou University filed Critical Henan Xintong Intelligent Iot Co ltd
Priority to CN202111215393.4A priority Critical patent/CN113963202A/zh
Publication of CN113963202A publication Critical patent/CN113963202A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种骨骼点动作识别方法、装置、电子设备及存储介质，用于改善对骨骼点动作进行识别的准确率较低的问题。该方法包括：获取目标生物的骨骼点数据；使用神经网络模型中的批量归一化层对骨骼点数据进行批量归一化运算，得到归一化后的数据；使用神经网络模型中的第一模块对归一化后的数据进行计算，得到第一特征图；使用神经网络模型中的多个第二模块对第一特征图进行计算，得到第二特征图，第一模块和第二模块均包括批感知注意BAM网络；使用神经网络模型中的全连接层对第二特征图进行分类，获得分类结果，分类结果表征从目标生物识别出的动作类别。

Description

一种骨骼点动作识别方法、装置、电子设备及存储介质
技术领域
本申请涉及骨骼点动作识别领域，具体而言，涉及一种骨骼点动作识别方法、装置、电子设备及存储介质。
背景技术
目前的人体动作识别领域通常使用多种模态数据来进行动作识别，如RGB模态、深度模态、光流模态以及骨架模态。
早期基于骨架序列的动作识别方法使用人工构建的特征来对动作进行分类，如骨架角度或者骨骼方向。传统的基于深度学习的方法，手动将骨架构造为关节坐标向量序列或伪图像，该序列或伪图像被馈送到循环神经网络(RNN)或卷积神经网络以生成预测。但目前的神经网络动作识别方法动作识别准确率较低。
发明内容
本发明实施例的目的在于一种骨骼点动作识别方法、装置、电子设备及存储介质，用于提高骨骼点动作识别方法准确率。
第一方面，本申请实施例提供了一种骨骼点动作识别方法，包括：获取目标生物的骨骼点数据；使用神经网络模型中的批量归一化层对骨骼点数据进行批量归一化运算，得到归一化后的数据；使用神经网络模型中的第一模块对归一化后的数据进行计算，得到第一特征图；使用神经网络模型中的多个第二模块对第一特征图进行计算，得到第二特征图，第一模块和第二模块均包括批感知注意BAM网络；使用神经网络模型中的全连接层对第二特征图进行分类，获得分类结果，分类结果表征从目标生物识别出的动作类别。在上述的实现过程中，通过使用神经网络第一模块和多个第二模块依次对归一化后的数据进行计算，使用全连接层对计算结果进行分类从而进行动作识别。该神经网络模型第一模块和第二模块中的BAM网络学习了不同样本之间的相似性权重，从而改善了对骨骼点动作进行识别的准确率较低的问题。
可选地，在本申请实施例中，第一模块还包括：空间图卷积网络和时间卷积网络；使用神经网络模型中的第一模块对归一化后的数据进行计算，得到第一特征图，包括：使用第一模块中的空间图卷积网络对归一化后的数据进行卷积运算，获得第一特征数据；使用第一模块中的BAM网络对第一特征数据进行计算，获得第二特征数据；使用第一模块中的时间卷积网络对第二特征数据进行卷积运算，获得第一特征图。在上述的实现过程中，利用第一模块的时空图卷积网络、BAM网络和时间卷积网络依次对归一后的数据进行计算，获得第一特征图，通过BAM网络学习一个批量内不同样本之间的重要性权重，提高了一个批量内不同样本在图像分类任务中的区分度。
可选地，在本申请实施例中，BAM网络包括：softmax层、通道维度卷积层、空间维度卷积层和时间维度卷积层；使用第一模块中的BAM网络对第一特征数据进行计算，获得第二特征数据，包括：使用通道维度卷积层、空间维度卷积层和时间维度卷积层对第一特征数据进行卷积运算，获得第一卷积特征；使用softmax层对第一卷积特征进行相似性运算，获得第二特征数据。在上述的实现过程中，分别使用卷积运算来对通道维度、时间维度、空间维度求均值，获得第一卷积特征，使用softmax层对第一卷积特征进行相似性运算，获得第二特征数据。批感知注意BAM网络学习一个批量内不同样本之间的重要性权重，提高了一个批量内不同样本在图像分类任务中的区分度，从而有效的提高了通过骨骼点数据识别出动作类别的准确率。
可选地，在本申请实施例中，使用softmax层对第一卷积特征进行相似性运算，获得第二特征数据，包括：使用softmax层对第一卷积特征进行相似性运算，获得相似性数据；对相似性数据和第一特征数据进行残差运算，得到第二特征数据。在上述的实现过程中，对BAM网络进行残差运算，有效地改善了随着网络的加深导致梯度消失或者梯度爆炸的问题。
可选地，在本申请实施例中，第二模块还包括：空间图卷积网络、时间卷积网络；使用神经网络模型中的多个第二模块对第一特征图进行计算，得到第二特征图，包括：使用第二模块中的空间图卷积网络对第一特征图进行卷积运算，获得第三特征数据；使用第二模块中的BAM网络对第三特征数据进行计算，获得第四特征数据；使用第二模块中的时间卷积网络对第四特征数据进行卷积运算，获得第五特征数据；将第一特征图和第五特征数据进行残差运算，获得第二特征图。在上述的实现过程中，利用第二模块的时空图卷积网络、BAM网络和时间卷积网络依次对归一后的数据进行计算，并且进行残差运算，通过BAM网络学习一个批量内不同样本之间的重要性权重，提高了一个批量内不同样本在图像分类任务中的区分度，避免梯度消失或者梯度爆炸的情况出现，从而提高了神经网络模型的准确率。
可选地，在本申请实施例中，BAM网络包括：softmax层、通道维度卷积层、空间维度卷积层和时间维度卷积层；使用第二模块中的BAM网络对第三特征数据进行计算，获得第四特征数据，包括：使用通道维度卷积层、空间维度卷积层和时间维度卷积层对第三特征数据进行卷积运算，获得第二卷积特征；使用softmax层对第二卷积特征进行相似性运算，获得第四特征数据。在上述的实现过程中，通过批感知注意BAM网络中的softmax层、通道维度卷积层、空间维度卷积层和时间维度卷积层，从通道维度、时间维度、空间维度学习一个批量内不同样本之间的重要性权重，提高了一个批量内不同样本在图像分类任务中的区分度，从而有效的提高了通过骨骼点数据识别出动作类别的准确率。
可选地，在本申请实施例中，空间图卷积包括：人体自然关节邻接矩阵、自适应参数矩阵和相似性矩阵；使用第一模块中的空间图卷积网络对归一化后的数据进行卷积运算，获得第一特征数据，包括：获取相似性矩阵，并将相似性矩阵、人体自然关节邻接矩阵和自适应参数矩阵相加，得到邻接矩阵；将归一化后的数据和邻接矩阵进行矩阵相乘，得到第一卷积数据；对第一卷积数据进行二维卷积运算，得到第一特征数据。在上述的实现过程中，空间图卷积网络使用三个不同的矩阵来建模动作特征，同时注意到样本与样本之间的不同特征，并且利用了骨骼数据的二阶信息，从而提高了动作识别的准确率。
可选地，在本申请实施例中，时间卷积网络包括：二维卷积层、批量归一化层和激活函数层；使用第一模块中的时间卷积网络对第二特征数据进行卷积运算，获得第一特征图，包括：对第二特征数据进行二维卷积运算，得到第二卷积数据；依次使用量归一化层和激活函数层对第二卷积数据依次进行运算，得到第一特征图。
本申请实施例还提供了一种骨骼点动作识别装置，包括：数据获取模块，用于获取目标生物的骨骼点数据；数据归一化模块，用于对骨骼点数据进行批量归一化运算，得到归一化后的数据；第一计算模块，用于对归一化后的数据进行计算，得到第一特征图；第二计算模块，用于对第一特征图进行计算，得到第二特征图，第一计算模块和第二计算模块均包括批感知注意BAM网络；分类模块，用于对第二特征图进行分类，获得分类结果，分类结果表征从目标生物识别出的动作类别。
本申请实施例还提供了一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如上面描述的方法。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上面描述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出的本申请实施例提供的骨骼点动作识别方法的流程示意图；
图2示出的本申请实施例提供的神经网络模型示意图；
图3示出的本申请实施例提供的第一模块结构示意图；
图4示出的本申请实施例提供的BAM网络结构的其中一种示意图；
图5示出的本申请实施例提供的第二模块结构示意图；
图6示出的本申请实施例提供的骨骼点动作识别装置的结构示意图；
图7示出的本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合附图对本申请技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本申请的技术方案，因此只作为示例，而不能以此来限制本申请的保护范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
在本申请实施例的描述中，技术术语“第一”“第二”等仅用于区别不同对象，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量、特定顺序或主次关系。在本申请实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。
在介绍本申请实施例提供的图像识别分析方法之前，先介绍本申请实施例所涉及的一些概念：
神经网络模型，是指使用预设的训练数据对未经训练的神经网络进行训练后获得的神经网络模型，这里的预设的训练数据可以根据具体实际情况进行设置，例如：在图像识别的任务中，预设的训练数据是指需要识别的图像，在有监督学习训练过程中，需要对训练数据设置正确的标签。
骨骼点动作识别：通常采用人体姿态估计(Human Posture Estimation)，即将图片中已检测到的人体关键点正确联系起来，从而实现人体姿态的估计，实现人体的检测。人体关键点通常对应人体上有一定自由度的关节，比如颈、肩、肘、腕、腰、膝、踝等。具体例如：通过对人体关键点在三维空间相对位置的计算，可以估计人体当前的姿态。同时如果增加时间序列，在一段时间内观测人体关键点的位置变化，可以更加准确的进行姿态的检测以及估计目标未来时刻的姿态，做到更加抽象的人体行为分析，比如判断一个人是否在进行打羽毛球。
需要说明的是，本申请实施例提供的骨骼点动作识别方法可以被电子设备执行，这里的电子设备是指具有执行计算机程序功能的设备终端或者上述的服务器，设备终端例如：智能手机、个人电脑(personalcomputer，PC)、平板电脑、个人数字助理(personaldigital assistant，PDA)、移动上网设备(mobile Internet device，MID)、网络交换机或网络路由器等。
在介绍本申请实施例提供的骨骼点动作识别方法之前，先介绍该骨骼点动作识别方法适用的应用场景，这里的应用场景包括但不限于：人类行为识别、人机交互和服装解析等领域。骨骼点动作识别方法体育健身、动作采集、3D试衣、舆情监测等领域具有广阔的应用前景，具体应用主要集中在智能视频监控，病人监护系统，人机交互，虚拟现实，人体动画，智能家居，智能安防，运动员辅助训练等等。
请参见图1示出的本申请实施例提供的骨骼点动作识别方法的流程示意图；
该骨骼点动作识别方法通过神经网络模型进行动作识别，该神经网络模型第一模块和第二模块中的BAM网络学习了不同样本之间的相似性权重，从而改善了对骨骼点动作进行识别的准确率较低的问题。上述的骨骼点动作识别方法可以包括如下步骤：
步骤S110：获取目标生物的骨骼点数据。
上述步骤S110的实施方式包括：第一种方式，通过数据集获取目标生物的骨骼点数据。数据集可以为：人体骨骼关键点数据集、coco数据集骨骼关键点等等。第二种方式，获取待处理图像，并提取待处理图像中目标生物的骨骼点数据。此处的待处理图像是指采集目标生物的图像，该图像可以从运动捕捉设备或视频中能够获得。提取待处理图像中目标生物的骨骼点数据，骨骼点数据可以从运动捕捉设备或视频的姿态估计算法中获得。通常来说，数据是一系列的帧，每一帧都有一组联合坐标。给定2D或3D坐标系下的身体关节序列，基于身体关节序列构造一个骨骼序列时空图。提取待处理图像中目标生物的骨骼点数据可以为：利用Kinect通过微软的SDK提取骨骼数据，并用OpenCV显示。
在步骤S110之后，执行步骤S120：使用神经网络模型中的批量归一化层对骨骼点数据进行批量归一化运算，得到归一化后的数据。
请参见图2示出的本申请实施例提供的神经网络模型示意图；该神经网络模型包括：批量归一化层、全连接层、一个第一模块和多个第二模块；批量归一化层、一个第一模块、多个第二模块和全连接层依次连接；该神经网络模型可以为批量注意自适应时空图卷积网络(BA-AGCN)。
上述步骤S120的实施方式例如：使用批量注意自适应时空图卷积网络的批量归一化层，数据预处理方法对骨骼序列时空图进行批量归一化运算，得到归一化后的数据。归一化运算就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的。对一个深层神经网络来说，令第l层的净输入为z(l)，经过激活函数后的输出是a(l)，即a(l)＝f(z(l))＝f(Wa(l-1)+b)其中，f()是激活函数，W和b是权重和偏置参数。
在步骤S120之后，执行步骤S130：使用神经网络模型中的第一模块对归一化后的数据进行计算，得到第一特征图。
请参见图3示出的本申请实施例提供的第一模块结构示意图；其中，第一模块包括空间图卷积网络、批感知注意BAM网络和时间卷积网络，空间图卷积网络、BAM网络和时间卷积网络依次连接。上述步骤S130的实施方式可以包括：
步骤S131：使用第一模块中的空间图卷积网络对归一化后的数据进行卷积运算，获得第一特征数据。
其中，空间图卷积的邻接矩阵由三部分组成：人体自然关节邻接矩阵、自适应参数矩阵和相似性矩阵。
上述步骤S131的实施方式例如：将归一化后的数据分别通过
Figure BDA0003310587610000091
函数和Wθ函数进行降维映射，获得第一映射数据和第二映射数据；将第一映射数据和第二映射数据相乘，并且经过softmax函数生成相似性矩阵。并将相似性矩阵、人体自然关节邻接矩阵和自适应参数矩阵相加，得到邻接矩阵；将归一化后的数据和邻接矩阵进行矩阵相乘，得到第一卷积数据；对第一卷积数据进行二维卷积运算和残差分析，得到第一特征数据。
请参见图4示出的本申请实施例提供的BAM网络结构的其中一种示意图，本申请实施例对BAM网络结构中通道维度卷积层、空间维度卷积层和时间维度卷积层的顺序不作限制；
步骤S132：使用第一模块中的BAM网络对第一特征数据进行计算，获得第二特征数据。
第一模块中的BAM网络包括：softmax层、通道维度卷积层、空间维度卷积层和时间维度卷积层。上述步骤S132的实施方式可以包括：
步骤S1321：使用通道维度卷积层、空间维度卷积层和时间维度卷积层对第一特征数据进行卷积运算，获得第一卷积特征。
具体地，第一卷积特征包括：通道维度均值、时间帧维度均值和空间维度均值。使用输入通道为输入通道数，输出通道为1的二维卷积网络对通道维度进行卷积运算，获得通道维度均值；
将时间维度与通道维度进行交换，使用输入通道为时间帧数，输出通道为1的二维卷积网络对时间维度进行卷积运算，获得时间帧维度均值；将空间维度与通道维度进行交换，使用输入通道为关节点个数，输出通道为1的二维卷积网络对空间维度进行卷积运算，获得空间维度均值；
步骤S1322：使用softmax层对第一卷积特征进行相似性运算，获得第二特征数据。
可选地，上述步骤S1322还可以进行残差运算，具体例如：使用softmax层对第一卷积特征进行相似性运算，获得第二特征数据，包括：使用softmax层对第一卷积特征进行相似性运算，获得相似性数据；对相似性数据和第一特征数据进行残差运算，得到第二特征数据。其中，对相似性数据和第一特征数据进行残差运算可以为，第一特征数据和相似性数据进行相乘，得到的结果再加上第一特征数据，获得第二特征数据，从而实现在批量训练过程中的注意力机制。
上述实现过程中，通过使用第一模块中的BAM网络对第一特征数据进行计算，获得第二特征数据。BAM网络用于自适应地重新加权一个批内不同样本的空间图特征，通过BAM网络学习一个批量内不同样本之间的重要性权重，提高了一个批量内不同样本在图像分类任务中的区分度。
步骤S133：使用第一模块中的时间卷积网络对第二特征数据进行卷积运算，获得第一特征图。
时间卷积网络包括：二维卷积层、批量归一化层和激活函数层。上述步骤S133的实施方式例如：对第二特征数据进行二维卷积运算，得到第二卷积数据；依次使用量归一化层和激活函数层对第二卷积数据依次进行运算，得到第一特征图。
在步骤S130之后，执行步骤S140：使用神经网络模型中的多个第二模块对第一特征图进行计算，得到第二特征图，第一模块和第二模块均包括批感知注意BAM网络。
请参见图5示出的本申请实施例提供的第二模块结构示意图；神经网络模型包括多个第二模块，其中，第二模块包括空间图卷积网络、批感知注意BAM网络和时间卷积网络。上述步骤S140的实施方式可以包括：
步骤S141：使用第二模块中的空间图卷积网络对第一特征图进行卷积运算，获得第三特征数据。
空间图卷积的邻接矩阵由三部分组成：人体自然关节邻接矩阵、自适应参数矩阵和相似性矩阵。上述步骤S141的实施方式例如：将第一特征图分别通过
Figure BDA0003310587610000121
函数和Wθ函数进行降维映射，获得第三映射数据和第四映射数据；将三映射数据和第四映射数据相乘，并且经过softmax函数生成相似性矩阵。并将相似性矩阵、人体自然关节邻接矩阵和自适应参数矩阵相加，得到邻接矩阵；将第一特征图和邻接矩阵进行矩阵相乘，得到第三卷积数据；对第三卷积数据进行二维卷积运算和残差分析，得到第三特征数据。在上述的实现过程中，空间图卷积网络使用三个不同的矩阵来建模动作特征，同时注意到样本与样本之间的不同特征，并且利用了骨骼数据的二阶信息，从而提高了动作识别的准确率。
步骤S142：使用第二模块中的BAM网络对第三特征数据进行计算，获得第四特征数据。
请参照图4，本申请实施例对BAM网络结构中通道维度卷积层、空间维度卷积层和时间维度卷积层的顺序不作限制；其中，第二模块中的BAM网络包括：softmax层、通道维度卷积层、空间维度卷积层和时间维度卷积层。上述步骤S142的实施方式可以包括：
步骤S1421：使用通道维度卷积层、空间维度卷积层和时间维度卷积层对第三特征数据进行卷积运算，获得第二卷积特征。
具体地，第二卷积特征包括：通道维度均值、时间帧维度均值和空间维度均值。使用输入通道为输入通道数，输出通道为1的二维卷积网络对通道维度进行卷积运算，获得通道维度均值；将时间维度与通道维度进行交换，使用输入通道为时间帧数，输出通道为1的二维卷积网络对时间维度进行卷积运算，获得时间帧维度均值；
将空间维度与通道维度进行交换，使用输入通道为关节点个数，输出通道为1的二维卷积网络对空间维度进行卷积运算，获得空间维度均值；
步骤S1422：使用softmax层对第二卷积特征进行相似性运算，获得第四特征数据。
可选地，上述步骤S1422还可以进行残差运算，使用softmax层对第二卷积特征进行相似性运算，获得第四特征数据，包括：使用softmax层对第二卷积特征进行相似性运算，获得相似性数据；对相似性数据和第三特征数据进行残差运算，得到第四特征数据。其中，对相似性数据和第三特征数据进行残差运算可以为，第三特征数据和相似性数据进行相乘，得到的结果再加上第三特征数据，获得第四特征数据。在上述的实现过程中，对BAM网络进行残差运算，有效的解决了随着网络的加深，出现的训练集准确率下降的问题。
上述实现过程中，通过使用第二模块中的BAM网络对第三特征数据进行计算，获得第四特征数据。BAM网络块用于自适应地重新加权一个批内不同样本的空间图特征，通过BAM网络学习一个批量内不同样本之间的重要性权重，提高了一个批量内不同样本一个批量内不同样本在图像分类任务中的区分度。
步骤S143：使用第二模块中的时间卷积网络对第四特征数据进行卷积运算，获得第五特征数据。
时间卷积网络包括：二维卷积层、批量归一化层和激活函数层。上述步骤S143的实施方式例如：对第四特征数据进行二维卷积运算，得到第四卷积数据；依次使用量归一化层和激活函数层对第四卷积数据依次进行运算，得到第二特征图。
步骤S144：将第一特征图和第五特征数据进行残差运算，获得第二特征图。
值得注意的是，神经网络的优化是基于批量图像的，并且在使用批量优化的过程中所有图像的贡献是相等的。当来自分离类别的两个样本的特征近似相似时，目前的注意机制不能在特征空间中有效地分离它们。为解决上述问题，将神经网络模型第一模块和第二模块中，每层空间图卷积和时间卷积之间使用一个BAM网络，BAM网络包括：softmax层、通道维度卷积层、空间维度卷积层和时间维度卷积层。BAM网络学习一个批量内不同样本之间的重要性权重，提高了一个批量内不同样本在图像分类任务中的区分度，从而提高了对骨骼点动作进行识别的准确率。
在步骤S140之后，执行步骤S150：使用神经网络模型中的全连接层对第二特征图进行分类，获得分类结果，分类结果表征从目标生物识别出的动作类别。
上述S150的实施方式例如：利用全连接层进行结果识别时，根据神经网络模型训练得出来的权重，以及经过前面的卷积、激活函数等深度网络计算出来的结果，进行加权求和，得到各个结果的预测值，然后取值最大的作为识别的结果。其中，全连接层在整个卷积神经网络中起到“分类器”的作用。
在上述的实现过程中，通过获取目标生物的骨骼点数据，并对骨骼点数据进行批量归一化运算，得到归一化后的数据，使用神经网络模型中的第一模块对归一化后的数据进行计算，到第一特征图；使用神经网络模型中的多个第二模块对第一特征图进行计算，得到第二特征图，第一模块和第二模块均包括批感知注意BAM网络，使用全连接层对第二特征图进行分类，从而对目标生物的动作进行识别。该神经网络模型的骨骼点动作识别算法中学习不同样本之间的相似性权重，从而改善了对骨骼点动作进行识别的准确率较低的问题。
可选地，上面的步骤中，使用通道维度卷积层、空间维度卷积层和时间维度卷积层对第一特征数据进行卷积运算，其中，通道维度卷积层、空间维度卷积层和时间维度卷积层顺序可以不作限制，顺序可以为：
分别使用通道维度卷积层、空间维度卷积层和时间维度卷积层依次对第一特征数据进行卷积运算，获得第一卷积特征；
或者，分别使用通道维度卷积层、时间维度卷积层和空间维度卷积层依次对第一特征数据进行卷积运算，获得第一卷积特征；
或者，分别使用空间维度卷积层、通道维度卷积层和时间维度卷积层依次对第一特征数据进行卷积运算，获得第一卷积特征；
或者，分别使用空间维度卷积层、时间维度卷积层和通道维度卷积层依次对第一特征数据进行卷积运算，获得第一卷积特征；
或者，分别使用时间维度卷积层、通道维度卷积层和空间维度卷积层依次对第一特征数据进行卷积运算，获得第一卷积特征；
或者，分别使用时间维度卷积层、空间维度卷积层和通道维度卷积层依次对第一特征数据进行卷积运算，获得第一卷积特征。
请参见图6示出的本申请实施例提供的骨骼点动作识别装置的结构示意图；本申请实施例提供了一种骨骼点动作识别装置200，包括：
数据获取模块210，用于获取目标生物的骨骼点数据。
数据归一化模块220，用于对骨骼点数据进行批量归一化运算，得到归一化后的数据。
第一计算模块230，用于对归一化后的数据进行计算，得到第一特征图。
第二计算模块240，用于对第一特征图进行计算，得到第二特征图，第一计算模块和第二计算模块均包括批感知注意BAM网络。
分类模块250，用于对第二特征图进行分类，获得分类结果，分类结果表征从目标生物识别出的动作类别。
应理解的是，该装置与上述的图像识别分析方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在装置的操作系统(operating system，OS)中的软件功能模块。
请参见图7示出的本申请实施例提供的电子设备的结构示意图。本申请实施例提供的一种电子设备300，包括：处理器310和存储器320，存储器320存储有处理器310可执行的机器可读指令，机器可读指令被处理器310执行时执行如上的方法。
本申请实施例还提供了一种存储介质330，该存储介质330上存储有计算机程序，该计算机程序被处理器310运行时执行如上的方法。
其中，存储介质330可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory,简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM)，可编程只读存储器(Programmable Red-Only Memory,简称PROM)，只读存储器(Read-Only Memory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
本申请实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请实施例的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请实施例各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
以上的描述，仅为本申请实施例的可选实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。

Claims (10)

1.一种骨骼点动作识别方法，其特征在于，包括：
获取目标生物的骨骼点数据；
使用神经网络模型中的批量归一化层对所述骨骼点数据进行批量归一化运算，得到归一化后的数据；
使用所述神经网络模型中的第一模块对所述归一化后的数据进行计算，得到第一特征图；
使用所述神经网络模型中的多个第二模块对所述第一特征图进行计算，得到第二特征图，所述第一模块和所述第二模块均包括批感知注意BAM网络；
使用所述神经网络模型中的全连接层对所述第二特征图进行分类，获得分类结果，所述分类结果表征从所述目标生物识别出的动作类别。
2.根据权利要求1所述的方法，其特征在于，所述第一模块还包括：空间图卷积网络和时间卷积网络；所述使用所述神经网络模型中的第一模块对所述归一化后的数据进行计算，得到第一特征图，包括：
使用所述第一模块中的空间图卷积网络对所述归一化后的数据进行卷积运算，获得第一特征数据；
使用所述第一模块中的BAM网络对所述第一特征数据进行计算，获得第二特征数据；
使用所述第一模块中的时间卷积网络对所述第二特征数据进行卷积运算，获得所述第一特征图。
3.根据权利要求2所述的方法，其特征在于，所述BAM网络包括：softmax层、通道维度卷积层、空间维度卷积层和时间维度卷积层；所述使用所述第一模块中的BAM网络对所述第一特征数据进行计算，获得第二特征数据，包括：
使用通道维度卷积层、空间维度卷积层和时间维度卷积层对所述第一特征数据进行卷积运算，获得第一卷积特征；
使用所述softmax层对所述第一卷积特征进行相似性运算，获得所述第二特征数据。
4.根据权利要求3所述的方法，其特征在于，所述使用所述softmax层对所述第一卷积特征进行相似性运算，获得所述第二特征数据，包括：
使用所述softmax层对所述第一卷积特征进行相似性运算，获得相似性数据；
对所述相似性数据和所述第一特征数据进行残差运算，得到所述第二特征数据。
5.根据权利要求1-4任一所述的方法，其特征在于，所述第二模块还包括：空间图卷积网络、时间卷积网络；所述使用所述神经网络模型中的多个第二模块对所述第一特征图进行计算，得到第二特征图，包括：
使用所述第二模块中的空间图卷积网络对所述第一特征图进行卷积运算，获得第三特征数据；
使用所述第二模块中的BAM网络对所述第三特征数据进行计算，获得第四特征数据；
使用所述第二模块中的时间卷积网络对所述第四特征数据进行卷积运算，获得第五特征数据；
将所述第一特征图和所述第五特征数据进行残差运算，获得第二特征图。
6.根据权利要求5所述的方法，其特征在于，所述BAM网络包括：softmax层、通道维度卷积层、空间维度卷积层和时间维度卷积层；所述使用所述第二模块中的BAM网络对所述第三特征数据进行计算，获得第四特征数据，包括：
使用通道维度卷积层、空间维度卷积层和时间维度卷积层对所述第三特征数据进行卷积运算，获得第二卷积特征；
使用所述softmax层对所述第二卷积特征进行相似性运算，获得所述第四特征数据。
7.根据权利要求2所述的方法，其特征在于，所述时间卷积网络包括：二维卷积层、批量归一化层和激活函数层；所述使用所述第一模块中的时间卷积网络对所述第二特征数据进行卷积运算，获得所述第一特征图，包括：
对所述第二特征数据进行二维卷积运算，得到第二卷积数据；
依次使用所述批量归一化层和所述激活函数层对所述第二卷积数据依次进行运算，得到第一特征图。
8.一种骨骼点动作识别装置，其特征在于，包括：
数据获取模块，用于获取目标生物的骨骼点数据；
数据归一化模块，用于对所述骨骼点数据进行批量归一化运算，得到归一化后的数据；
第一计算模块，用于对所述归一化后的数据进行计算，得到第一特征图；
第二计算模块，用于对所述第一特征图进行计算，得到第二特征图，所述第一计算模块和所述第二计算模块均包括批感知注意BAM网络；
分类模块，用于对所述第二特征图进行分类，获得分类结果，所述分类结果表征从所述目标生物识别出的动作类别。
9.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的方法。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的方法。
CN202111215393.4A 2021-10-19 2021-10-19 一种骨骼点动作识别方法、装置、电子设备及存储介质 Pending CN113963202A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111215393.4A CN113963202A (zh) 2021-10-19 2021-10-19 一种骨骼点动作识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111215393.4A CN113963202A (zh) 2021-10-19 2021-10-19 一种骨骼点动作识别方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113963202A true CN113963202A (zh) 2022-01-21

Family

ID=79465419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111215393.4A Pending CN113963202A (zh) 2021-10-19 2021-10-19 一种骨骼点动作识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113963202A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550308A (zh) * 2022-04-22 2022-05-27 成都信息工程大学 基于时空图的人体骨骼动作识别方法
CN117292431A (zh) * 2023-08-16 2023-12-26 杭州华橙软件技术有限公司 动作识别方法、电子设备及计算机可读存储介质
CN118486082A (zh) * 2024-05-29 2024-08-13 武汉纺织大学 一种基于骨骼点的课堂行为识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378213A (zh) * 2019-06-11 2019-10-25 中国科学院自动化研究所南京人工智能芯片创新研究院 行为识别方法、装置、计算机设备和存储介质
CN111597929A (zh) * 2020-04-30 2020-08-28 青岛科技大学 基于通道信息融合和组群关系空间结构化建模的组群行为识别方法
CN111881731A (zh) * 2020-05-19 2020-11-03 广东国链科技股份有限公司 基于人体骨架的行为识别方法、系统、装置及介质
CN111898709A (zh) * 2020-09-30 2020-11-06 中国人民解放军国防科技大学 一种图像分类方法及设备
CN112131943A (zh) * 2020-08-20 2020-12-25 深圳大学 一种基于双重注意力模型的视频行为识别方法及系统
CN113326981A (zh) * 2021-05-26 2021-08-31 北京交通大学 基于动态时空注意力机制的大气环境污染物预测模型
CN113408455A (zh) * 2021-06-29 2021-09-17 山东大学 一种基于多流信息增强图卷积网络的动作识别方法、系统及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378213A (zh) * 2019-06-11 2019-10-25 中国科学院自动化研究所南京人工智能芯片创新研究院 行为识别方法、装置、计算机设备和存储介质
CN111597929A (zh) * 2020-04-30 2020-08-28 青岛科技大学 基于通道信息融合和组群关系空间结构化建模的组群行为识别方法
CN111881731A (zh) * 2020-05-19 2020-11-03 广东国链科技股份有限公司 基于人体骨架的行为识别方法、系统、装置及介质
CN112131943A (zh) * 2020-08-20 2020-12-25 深圳大学 一种基于双重注意力模型的视频行为识别方法及系统
CN111898709A (zh) * 2020-09-30 2020-11-06 中国人民解放军国防科技大学 一种图像分类方法及设备
CN113326981A (zh) * 2021-05-26 2021-08-31 北京交通大学 基于动态时空注意力机制的大气环境污染物预测模型
CN113408455A (zh) * 2021-06-29 2021-09-17 山东大学 一种基于多流信息增强图卷积网络的动作识别方法、系统及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
PARK J 等: "BAM: Bottleneck attention module", 《ARXIV：1807.06514》, 17 July 2018 (2018-07-17), pages 1 - 14 *
WANG LI 等: "Skeleton-Based Action Recognition Using Multi-Scale and Multi-Stream Improved Graph Convolutional Network", 《IEEE ACCESS》, vol. 8, 18 August 2020 (2020-08-18), pages 144529 - 144542, XP011804736, DOI: 10.1109/ACCESS.2020.3014445 *
Z CHEN 等: "Multi-Scale Spatial Temporal Graph Convolutional Network for Skeleton-Based Action Recognition", 《PROCEEDINGS OF THE AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE》, vol. 35, no. 2, 18 May 2021 (2021-05-18), pages 1113 - 1122 *
刘伟: "基于深度学习的危险驾驶动作识别算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅰ辑》, no. 03, 15 March 2021 (2021-03-15), pages 026 - 102 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550308A (zh) * 2022-04-22 2022-05-27 成都信息工程大学 基于时空图的人体骨骼动作识别方法
CN117292431A (zh) * 2023-08-16 2023-12-26 杭州华橙软件技术有限公司 动作识别方法、电子设备及计算机可读存储介质
CN118486082A (zh) * 2024-05-29 2024-08-13 武汉纺织大学 一种基于骨骼点的课堂行为识别方法

Similar Documents

Publication Publication Date Title
CN111666857B (zh) 基于环境语义理解的人体行为识别方法、装置及存储介质
CN110472612B (zh) 人体行为识别方法及电子设备
WO2021169924A1 (zh) 行为预测方法及装置、步态识别方法及装置、电子设备和计算机可读存储介质
CN108875708A (zh) 基于视频的行为分析方法、装置、设备、系统及存储介质
CN107045631B (zh) 人脸特征点检测方法、装置及设备
CN109685037B (zh) 一种实时动作识别方法、装置及电子设备
CN113963202A (zh) 一种骨骼点动作识别方法、装置、电子设备及存储介质
CN110555481A (zh) 一种人像风格识别方法、装置和计算机可读存储介质
CN108230291B (zh) 物体识别系统训练方法、物体识别方法、装置和电子设备
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN110633004B (zh) 基于人体姿态估计的交互方法、装置和系统
CN114902299B (zh) 图像中关联对象的检测方法、装置、设备和存储介质
CN114494543B (zh) 动作生成方法及相关装置、电子设备和存储介质
CN111310720A (zh) 基于图度量学习的行人重识别方法及系统
CN117523456A (zh) 异常行为识别方法、装置、非易失性存储介质及电子设备
CN117994851A (zh) 一种基于多任务学习的老年人摔倒检测方法、装置及设备
CN113348465A (zh) 图像中对象的关联性预测方法、装置、设备和存储介质
CN118247810A (zh) 一种基于TensorFlow.js的人体姿态识别方法及识别系统
JP7488674B2 (ja) 物体認識装置、物体認識方法及び物体認識プログラム
CN113573009B (zh) 视频处理方法、装置、计算机设备以及存储介质
CN112329736B (zh) 人脸识别方法及金融系统
Subramanian et al. PhysioNet: Vision based human exercise action recognition leveraging transfer learning
CN117593792A (zh) 一种基于视频帧的异常姿态检测方法和装置
Upadhyay et al. An enhanced gait recognition system based on the features fusion methodology with recurrent neural network (RNN)
CN117079305A (zh) 姿态估计方法、姿态估计装置以及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination