[go: up one dir, main page]

CN112364785B - 一种运动训练指导方法、装置、设备及计算机存储介质 - Google Patents

一种运动训练指导方法、装置、设备及计算机存储介质 Download PDF

Info

Publication number
CN112364785B
CN112364785B CN202011271174.3A CN202011271174A CN112364785B CN 112364785 B CN112364785 B CN 112364785B CN 202011271174 A CN202011271174 A CN 202011271174A CN 112364785 B CN112364785 B CN 112364785B
Authority
CN
China
Prior art keywords
muscle
athlete
joint
data
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011271174.3A
Other languages
English (en)
Other versions
CN112364785A (zh
Inventor
唐博恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Xiongan ICT Co Ltd
China Mobile System Integration Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Xiongan ICT Co Ltd
China Mobile System Integration Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Xiongan ICT Co Ltd, China Mobile System Integration Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202011271174.3A priority Critical patent/CN112364785B/zh
Publication of CN112364785A publication Critical patent/CN112364785A/zh
Application granted granted Critical
Publication of CN112364785B publication Critical patent/CN112364785B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请实施例提供了一种运动训练指导方法、装置、设备及计算机存储介质，方法包括：获取运动员视频图像；识别所述视频图像中运动员的关节关键点，并得到运动员运动时的关节关键点数据；根据肌肉发力邻接矩阵模型，由所述关节关键点数据得到对应的运动员肌肉点发力数据；将所述运动员肌肉点发力数据与标准动作肌肉点发力数据进行对比得到对比结果，根据所述对比结果提供运动训练指导。根据本申请提供的实施例，通过识别运动员的关节关键点，利用肌肉发力邻接矩阵模型根据骨骼关键点变化得到运动员的肌肉发力数据，并与标准动作的肌肉发力量进行对比，得到肌肉发力建议和锻炼建议。

Description

一种运动训练指导方法、装置、设备及计算机存储介质
技术领域
本申请属于动作识别技术领域，尤其涉及一种运动训练指导方法、装置、设备及计算机存储介质。
背景技术
随着科学技术的发展，动作识别技术也有了极大的发展，动作识别技术在辅助训练领域有很大的应用价值。可用于体育运动和舞蹈等领域，对专业技术动作进行分析、评估及辅助训练。
在现有技术实现中，使用可穿戴设备如手环、贴片等装置，固定在肢体末端来提供运动方向与速度的检测，结合Kinect深度摄像头，通过对关节位置和运动序列判断与标准动作的差距，和标准动作对比来提供指导。
但是，现有技术基于简单的关节位置差异比对，只能提供与标准动作对比的是非判断结果，无法提供发力建议与差异，导致训练效率低下。
发明内容
本申请实施例提供一种运动训练指导方法、装置、设备及计算机存储介质，能够解决现有技术中，无法提供肌肉发力差异与指导建议，训练指导效率低的问题。
第一方面，本申请实施例提供一种运动训练指导方法，方法包括：
获取运动员视频图像；
识别视频图像中运动员的关节关键点，并得到运动员运动时的关节关键点数据；
根据肌肉发力邻接矩阵模型，由关节关键点数据得到对应的运动员肌肉点发力数据；
将运动员肌肉点发力数据与标准动作肌肉点发力数据进行对比得到对比结果，根据对比结果提供运动训练指导。
在一个实施例中，肌肉发力邻接矩阵模型，包括：
获取标准运动动作关节关键点位置数据以及对应的肌肉点发力数据；
基于所述标准运动动作关节关键点位置数据和对应的肌肉点发力数据建立神经网络训练集；
建立关节关键点与肌肉点对应关系的二分图网络；
根据所述神经网络训练集对所述关节关键点与肌肉点对应关系的二分图网络进行优化，得到所述肌肉发力邻接矩阵模型。
在一个实施例中，识别所述视频图像中运动员的关节关键点，并得到运动员运动时的关节关键点数据，包括：
设置摄像头初始空间坐标，并基于所述初始空间坐标建立空间坐标系；
识别所述视频图像中运动员的关节关键点，并得到基于所述空间坐标系下的关键点空间坐标；
基于任意关节关键点建立第一坐标系，并将所述关键点空间坐标转换为基于所述第一坐标系的关节关键点坐标；
根据运动员运动时的关节关键点变化，得到所述关节关键点数据。
在一个实施例中，识别所述视频图像中运动员的关节关键点，并得到基于所述空间坐标系下的关键点空间坐标，包括：
基于三个摄像头的相对位置建立空间坐标系；
将所述运动员的关节关键点的视频图像的每一帧像素转换为在所述空间坐标系下，分别基于三个摄像头的投影线；
计算所述投影线的相互垂足点；
将所述相互垂足点的均值作为所述关节关键点基于所述空间坐标系下的关键点空间坐标。
在一个实施例中，基于任意关节关键点建立第一坐标系，包括：
选取颈部关节关键点为原点，左右肩为x轴，垂直方向为z轴，位于水平面且垂直于x轴和z轴方向为y轴，以所述x，y，z轴和所述原点建立第一坐标系。
在一个实施例中，所述识别所述视频图像中运动员的关节关键点，包括：
利用堆叠沙漏网络算法对所述视频图像的每一帧图像进行检测，识别所述运动员的关节关键点。
在一个实施例中，将运动员运动时的关节关键点变化数据，与所述标准运动动作关节关键点变化数据进行关节关键点位置对比；
根据所述关节关键点位置对比的结果提供运动训练指导。
第二方面，本申请实施例提供了一种运动训练指导装置，装置包括：摄像头和中央处理单元；
所述摄像头用于获取运动员视频图像；
所述中央处理单元包括：关节关键点识别模块，肌肉发力处理模块，运动训练指导模块；
所述关节关键点识别模块，用于识别所述视频图像中运动员的关节关键点，并得到运动员运动时的关节关键点数据；
所述肌肉发力处理模，用于块根据所述肌肉发力邻接矩阵模型，由所述关节关键点数据得到对应的运动员肌肉点发力数据；
所述运动训练指导模块，用于将所述运动员肌肉点发力数据与标准动作肌肉点发力数据进行对比得到对比结果，根据所述对比结果提供运动训练指导。
第三方面，本申请实施例提供了一种运动训练指导设备，设备包括：摄像头，处理器，以及存储有计算机程序指令的存储器；所述处理器读取并执行所述计算机程序指令，以实现如上所述的运动训练指导方法。
第四方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如所述的运动训练指导方法。
本申请实施例提供的运动训练指导方法、装置、设备及计算机存储介质能够检测运动员的动作，提取运动员的关节关键点的位置信息，使用肌肉发力邻接矩阵模型根据关节关键点位置信息计算出运动员的肌肉发力量情况，用此肌肉发力数据和标准动作的肌肉发力量进行对比，得出使用者肌肉发力和标准肌肉发力区别，并给出运动训练指导建议。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种运动训练指导方法的流程示意图；
图2是本申请实施例提供的一种运动训练指导方法中关键点与肌肉点对应关系的二分网络图；
图3是本申请的一种实施例提供的一种运动训练指导方法中空间坐标系建立方法示意图；
图4是本申请一种实施例提供的一种运动训练指导方法中堆叠沙漏网络算法的结构示意图；
图5是本申请实施例提供的一种运动训练指导装置的结构示意图；
图6是本申请实施例提供的一种运动训练指导设备的硬件结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本申请所提供的实施例可以用于体育运动和舞蹈等领域，可以对技术动作进行训练指导以及分析评估。
而现有的技术基于简单的关节位置差异比对，只能提供与标准动作对比的是非判断结果，无法提供发力差异与建议，导致训练效率低下。
为了解决现有技术问题，本申请实施例提供了一种运动训练指导方法、装置、设备及计算机存储介质，通过识别运动员视频图像中的关节关键点，利用肌肉发力邻接矩阵模型根据关节关键点位置信息，计算出使用者的肌肉发力情况，并与标准动作的肌肉发力情况进行对比，得出使用者肌肉发力和标准肌肉发力区别，给出发力建议和肌肉节点锻炼建议。
下面首先对本申请实施例所提供的运动训练指导方法进行介绍。
请参考图1，示出了本申请一个实施例提供的一种运动训练指导方法的流程示意图。
在本实施例中，可以包括以下步骤：
S1：获取运动员视频图像。
本申请实施例所提供的技术方案基于对摄像头捕捉的视频图像进行处理，无需佩戴信息提取设备；由于设备固定在肢体末端需要运动学反解来得到非末端关节位置，运动学反解可以得出多个解析，并且在多关节高自由度下解析变得异常困难，无法预测每个内部关节点位置。同时设备佩戴繁琐，感应设备校准需要专业人员进行，增加了使用难度。因此，本申请实施例所提供的技术方案减少了可穿戴设备的佩戴、校准等过程，提高了使用者的使用体验。
S2：识别所述视频图像中运动员的关节关键点，并得到运动员运动时的关节关键点数据。
本实施例中，所使用的摄像头可以是深度摄像头，利用深度摄像头进行视频图像捕捉，可以更加方便有效地进行信息提取、关节关键点识别，运动跟踪等操作。
对摄深度像头获取的视频图像进行处理，识别运动员的关节关键点以及对关节关键点的运动轨迹进行追踪等。
S3：根据肌肉发力邻接矩阵模型，由所述关节关键点数据得到对应的运动员肌肉点发力数据；
由于做相同动作相同部位的表面肌电信号强度和肌肉发力强度为线性正比关系，因此可以将表面肌电信号等同于肌肉发力强度。
在本实施例中，建立标准的图神经网络训练数据集，收集专业运动员进行相关动作的肌肉电信号强度，并将上述数据作为标准动作数据，对邻接关系矩阵模型的参数进行优化。
可由上述邻接关系矩阵模型得到关节关键点和肌肉发力情况的对应关系，因此由骨骼(关节)关键点的位置信息和运动状态便可以计算出肌肉发力数据。
S4：将所述运动员肌肉点发力数据与标准动作肌肉点发力数据进行对比得到对比结果，根据所述对比结果提供运动训练指导。
通过上述实施例，可以得出使用者肌肉发力和标准肌肉发力区别；得到发力建议和肌肉节点锻炼建议，解决了现有技术中，只能基于简单的关节位置差异比对，只能提供动作的是非判断，而无法提供肌肉发力情况的改进建议，导致训练效率低下的问题。本实施例不仅可以提供发力建议指导，还可以根据识别的运动员的关节关键点给出动作指导建议，还可将动作指导与肌肉发力指导进行结合，提供专业的训练指导，有效地提高了训练的效率。
请参考图2，是本申请实施例提供的一种运动训练指导方法中关键点与肌肉点对应关系的二分图，在本实施例中，肌肉发力邻接矩阵模型包括：
获取标准运动动作关节关键点位置数据以及对应的肌肉点发力数据；
基于所述标准运动动作关节关键点位置数据和对应的肌肉点发力数据建立神经网络训练集；建立关节关键点与肌肉点对应关系的二分图网络；根据所述神经网络训练集对所述关节关键点与肌肉点对应关系的二分图网络进行优化，得到所述肌肉发力邻接矩阵模型。
上述实施例中，选取的(骨骼关节)关键点包括头顶、左耳、右耳、左眼、右眼、鼻子、左嘴角、右嘴角、头部、颈部、右手食指、右手拇指、右手掌心、右手腕、右肘部、右肩、肩部中心、左肩、左肘部、左手腕、左手掌心、左手拇指、左手食指、脊柱、髋部中心、右髋、左髋、右膝盖、左膝盖、右脚踝、左脚踝、右脚、左脚33个人体关键点；
选取肌肉点包括斜方肌，胸大肌，三角肌、斜方肌、背阔肌、肱二头肌、肱三头肌、伸指肌、前锯肌、腹直肌、股外肌、股直肌、股内肌、股二头肌、臀大肌、腓肠肌和比目鱼肌共17个。
根据二分图网络设定维度为17x25x6的邻接矩阵,使用区间在0～1的正态分布随机初始化关系矩阵，设定Huber损失函数，使用如下结构建立图结构：
卷积层-全连接层-卷积层-全连接层；
卷积层使用图卷积公式：
Hl+1＝σ(AHlWl) (1)
其中Wl为第l层的权重参数矩阵，σ(·)为Relu激活函数。
建立标准的图神经网络训练数据集，邀请专业运动员在相应17个肌肉点贴上肌电图感应装置，收集肌肉电信号强度。由于做相同动作相同部位的表面肌电信号强度和肌肉发力强度为线性正比关系，因此可以将表面肌电信号等同于肌肉发力强度。
同时，使用视频设备收集骨骼关键点位置信息，可以纪录专业运动员做标准运动动作的肌肉电信号强度和图像分析出的骨骼关键点位置信息。以此作为图神经网络的训练数据。使用训练数据训练邻接关系矩阵，优化邻接矩阵内参数，得到肌肉发力强度和骨骼关键点运动的关系描述。通过此邻接矩阵，可以由骨骼关键点的位置信息和运动状态计算(推断)出肌肉发力数据。
在本申请的另一个实施例中，识别视频图像中运动员的关节关键点，并得到运动员运动时的关节关键点数据，包括：设置摄像头初始空间坐标，并基于所述初始空间坐标建立空间坐标系；识别所述视频图像中运动员的关节关键点，并得到基于所述空间坐标系下的关键点空间坐标；基于任意关节关键点建立第一坐标系，并将所述关键点空间坐标转换为基于所述第一坐标系的关节关键点坐标；根据运动员运动时的关节关键点变化，得到所述关节关键点数据。
在现有技术中，使用单个深度摄像头的方案中，由于单个深度摄像头视距范围在0.8-3米的60度扇形区域，且俯仰角度也只有60度。因此运动员在进行大范围运动和起跳深蹲等动作时，深度摄像头无法捕捉全部身体部位，并且由于深度摄像头特性，智能只能观测到身体单面位置信息，在关节被遮挡发生时，深度摄像机无法捕捉关节信息，观察效率低下。无法为后期纠正提供足够信息。同时，由于深度摄像头Kinect的识别机制导致摄像头存在精度差异区域，当超出最佳识别区域时精度下降严重。这使得肢体末端更容易产生错误数据，导致动作纠正过程失败。
由于空间内各个骨骼关键点关联性弱，因此需要把每个骨骼关键点统一到一个以测试者为基准的坐标系内，以此减少绝对位移对骨骼关键点影响，增大骨骼关键点和人体位置的相对位移对动作判断的影响。
请参考图3，是本申请的一种实施例提供的一种运动训练指导方法中空间坐标系建立方法示意图。在本实施例中：
基于三个摄像头的相对位置建立空间坐标系；
将所述运动员的关节关键点的视频图像的每一帧像素转换为在所述空间坐标系下，分别基于三个摄像头的投影线；计算所述投影线的相互垂足点；将相互垂足点的均值作为所述关节关键点基于所述空间坐标系下的关键点空间坐标。
计算每个关键点映射到的真实空间位置。对三个摄像头的每个关键点分别进行配对，通过公式
中的真实空间转换关系可以由成像模型投影点q和原点Q得到关键点在空间到相机原点的投影线L。
L＝λZ+RTt (3)
其中RTt是摄像机的空间坐标，通过L1，L2,L3,求出相互垂足点m12,m21,m13,m31,m23,m32，取6垂足点均值得到M点坐标，将M点坐标作为关节关键点基于所述空间坐标系下的关键点空间坐标。
在本申请的一个实施例中，选取颈部关节关键点为原点，左右肩为x轴，垂直方向为z轴，位于水平面且垂直于x轴和z轴方向为y轴，以所述x，y，z轴和所述原点建立第一坐标系。
通过公式(2)(3)将25个相对于摄像头空间坐标点转换至颈部xyz坐标系内，生成5维姿态差异矩阵。矩阵维度分别为(n,t,x,y,z),其中n为关键点序号，t为时间序列数，x,y,z分别是关键点位于颈部坐标系的位置点，然后通过前后帧的对比得到：
由此生成新关键点描述矩阵(n,u,v,l,x,y,z)。
上述实施例，解决了现有的由于采用单个深度摄像头Kinect的识别机制，导致摄像头存在精度差异区域，当超出最佳识别区域时精度下降严重的问题。
需要说明的是，上述实施例中选取颈部关节关键点为原点，在实际应用过程中，理论上可以以任何关键点为原点进行坐标系建立，目的是保证数据获取的准确性和便捷性，本申请对此不做限定。
请参考图4，是本申请一种实施例提供的一种运动训练指导方法中堆叠沙漏网络算法的结构示意图。
本实施例中，利用堆叠沙漏网络算法对所述视频图像的每一帧图像进行检测，识别运动员的关节关键点。
本实施例利用每个摄像机捕捉使用者运动的视频图像，对每帧视频图像使用堆叠沙漏网络对目标进行全身关键点检测。堆叠沙漏网络分为两部分，网络的前部分就是普通的多层resnet卷积残差块组成，最终生成图像特征图；第二部分对特征图进行反卷积操作，得到兴趣目标点，由此得到关键点位置。
在本申请所提供的另一种实施例中，将运动员运动时的关节关键点变化数据，与所述标准运动动作关节关键点变化数据进行关节关键点位置对比；根据所述关节关键点位置对比的结果提供运动训练指导。
上述实施例提取使用者的骨骼关键点的位置信息，使用图神经网络邻接矩阵根据骨骼关键点位置信息推理出使用者的肌肉发力量，用此发力量和数据库中的标准动作的肌肉发力量进行对比，得出使用者肌肉发力和标准肌肉发力区别，得到发力建议和肌肉节点锻炼建议；再结合基于关节关键点位置对比的指导方法，可以为使用者提供动作和肌肉发力的综合训练指导。相比于现有技术中只能提供简单的关节位置是非对比，本申请实施例的方案更加科学有效，能够给出综合的训练指导建议，提高训练的效率。
图5是本申请实施例提供的一种运动训练指导装置结构示意图。如图5所示，该装置可以包括摄像头200和中央处理单元210。
摄像头200用于获取运动员视频图像；
中央处理单元可以包括：关节关键点识别模块211，肌肉发力处理模块212，运动训练指导模块213；
关节关键点识别模块211，用于识别所述视频图像中运动员的关节关键点，并得到运动员运动时的关节关键点数据；
肌肉发力处理模212，用于块根据所述肌肉发力邻接矩阵模型，由所述关节关键点数据得到对应的运动员肌肉点发力数据；
运动训练指导模块213，用于将所述运动员肌肉点发力数据与标准动作肌肉点发力数据进行对比得到对比结果，根据所述对比结果提供运动训练指导。
本实施例所提供的运动训练指导装置，实现训练指导的过程如下：
摄像头200获取运动员视频图像，并将视频图像信息发送给中央处理单元210，由中央处理单元中的关节关键点识别模块211对视频图像进行分析处理，识别视频图像中运动员的关节关键点；同时根据视频图像中关节的运动，得到运动员运动时的关节关键点数据；关节关键点识别模块211再将关节关键点数据发送给肌肉发力处理模212，肌肉发力处理模212根据所述肌肉发力邻接矩阵模型，由关节关键点数据得到对应的运动员肌肉点发力数据，并发送给运动训练指导模块213；最后，运动训练指导模块213，将所述运动员肌肉点发力数据与标准动作肌肉点发力数据进行对比得到对比结果，根据所述对比结果提供运动训练指导。
上述实施例通过获取摄像头的视频录像，检测运动员的动作，提取运动员的关节关键点的位置信息，使用肌肉发力邻接矩阵模型根据关节关键点位置信息计算出运动员的肌肉发力量情况，用此肌肉发力数据和标准动作的肌肉发力量进行对比，得出使用者肌肉发力和标准肌肉发力区别，并给出运动训练指导建议。
现有的技术方案只是基于简单的关节位置差异比对，只能提供是非判断，而无法提供肌肉发力的改进建议，更无法将动作与肌肉发力的情况进行结合，提供综合的训练指导，因此，本申请实施例提供的技术方案有效地提高了训练效率。
同时，本申请实施例使用图像拍摄方法，减少了设备佩戴校准过程，提高使用者的使用体验，同时消除设备间误差。使用多视角相机来解决在同侧的双目相机产生盲区的问题。对于运动员只能查看数据无法接受指导缺点。建立动作与肌肉发力的图关系网络，给予使用者专业的锻炼和发力指导。
图6示出了本申请实施例提供的运动训练指导设备的硬件结构示意图。
动训练指导设备可以包括摄像头300，处理器301以及存储有计算机程序指令的存储器302。
具体地，上述处理器301可以包括中央处理器(Central Processing Unit，CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器302可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器302可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在一个实例中，存储器302可以包括可移除或不可移除(或固定)的介质，或者存储器302是非易失性固态存储器。存储器302可在综合网关容灾设备的内部或外部。
在一个实例中，存储器302可以是只读存储器(Read Only Memory，ROM)。在一个实例中，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
存储器302可以包括只读存储器(ROM)，随机存取存储器(RAM)，磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如，存储器设备)，并且当该软件被执行(例如，由一个或多个处理器)时，其可操作来执行参考根据本公开的一方面的方法所描述的操作。
处理器301通过读取并执行存储器302中存储的计算机程序指令，以实现图1所示实施例中的方法/步骤S1至S4，并达到图1所示实施例执行其方法/步骤达到的相应技术效果，为简洁描述在此不再赘述。
在一个示例中，动训练指导设备还可包括通信接口303和总线310。其中，如图6所示，处理器301、存储器302、通信接口303通过总线310连接并完成相互间的通信。
通信接口303，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线310包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(Accelerated Graphics Port，AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，EISA)总线、前端总线(Front Side Bus，FSB)、超传输(Hyper Transport，HT)互连、工业标准架构(Industry Standard Architecture，ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线310可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RadioFrequency，RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (9)

1.一种运动训练指导方法，其特征在于，包括：
基于摄像头获取运动员视频图像，所述运动员无需佩戴信息提取设备；
识别所述视频图像中运动员的关节关键点，并得到运动员运动时的关节关键点数据；
根据肌肉发力邻接矩阵模型，由所述关节关键点数据得到对应的运动员肌肉点发力数据；
将所述运动员肌肉点发力数据与标准动作肌肉点发力数据进行对比得到对比结果，根据所述对比结果提供运动训练指导；
所述肌肉发力邻接矩阵模型，包括：
获取标准运动动作关节关键点位置数据以及对应的肌肉点发力数据；
基于所述标准运动动作关节关键点位置数据和对应的肌肉点发力数据建立神经网络训练集；
建立关节关键点与肌肉点对应关系的二分图网络；
根据所述神经网络训练集对所述关节关键点与肌肉点对应关系的二分图网络进行优化，得到所述肌肉发力邻接矩阵模型。
2.根据权利要求1所述的运动训练指导方法，其特征在于，识别所述视频图像中运动员的关节关键点，并得到运动员运动时的关节关键点数据，包括：
设置摄像头初始空间坐标，并基于所述初始空间坐标建立空间坐标系；
识别所述视频图像中运动员的关节关键点，并得到基于所述空间坐标系下的关键点空间坐标；
基于任意关节关键点建立第一坐标系，并将所述关键点空间坐标转换为基于所述第一坐标系的关节关键点坐标；
根据运动员运动时的关节关键点变化，得到所述关节关键点数据。
3.根据权利要求2所述的运动训练指导方法，其特征在于，识别所述视频图像中运动员的关节关键点，并得到基于所述空间坐标系下的关键点空间坐标，包括：
基于三个摄像头的相对位置建立空间坐标系；
将所述运动员的关节关键点的视频图像的每一帧像素转换为在所述空间坐标系下，分别基于三个摄像头的投影线；
计算所述投影线的相互垂足点；
将所述相互垂足点的均值作为所述关节关键点基于所述空间坐标系下的关键点空间坐标。
4.根据权利要求2所述的运动训练指导方法，其特征在于，基于任意关节关键点建立第一坐标系，包括：
选取颈部关节关键点为原点，左右肩为x轴，垂直方向为z轴，位于水平面且垂直于x轴和z轴方向为y轴，以所述x，y，z轴和所述原点建立第一坐标系。
5.根据权利要求1所述的运动训练指导方法，其特征在于，所述识别所述视频图像中运动员的关节关键点，包括：
利用堆叠沙漏网络算法对所述视频图像的每一帧图像进行检测，识别所述运动员的关节关键点。
6.根据权利要求1所述的运动训练指导方法，其特征在于，还包括：
将运动员运动时的关节关键点变化数据，与所述标准运动动作关节关键点变化数据进行关节关键点位置对比；
根据所述关节关键点位置对比的结果提供运动训练指导。
7.一种运动训练指导装置，其特征在于，所述装置包括：摄像头和中央处理单元；
所述摄像头用于获取运动员视频图像，所述运动员无需佩戴信息提取设备；
所述中央处理单元包括：关节关键点识别模块，肌肉发力处理模块，运动训练指导模块；
所述关节关键点识别模块，用于识别所述视频图像中运动员的关节关键点，并得到运动员运动时的关节关键点数据；
所述肌肉发力处理模，用于根据所述肌肉发力邻接矩阵模型，由所述关节关键点数据得到对应的运动员肌肉点发力数据；
所述运动训练指导模块，用于将所述运动员肌肉点发力数据与标准动作肌肉点发力数据进行对比得到对比结果，根据所述对比结果提供运动训练指导；
所述肌肉发力邻接矩阵模型，包括：
获取标准运动动作关节关键点位置数据以及对应的肌肉点发力数据；
基于所述标准运动动作关节关键点位置数据和对应的肌肉点发力数据建立神经网络训练集；
建立关节关键点与肌肉点对应关系的二分图网络；
根据所述神经网络训练集对所述关节关键点与肌肉点对应关系的二分图网络进行优化，得到所述肌肉发力邻接矩阵模型。
8.一种运动训练指导设备，其特征在于，所述设备包括：摄像头，处理器，以及存储有计算机程序指令的存储器；所述处理器读取并执行所述计算机程序指令，以实现如权利要求1-6任意一项所述的运动训练指导方法。
9.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-6任意一项所述的运动训练指导方法。
CN202011271174.3A 2020-11-13 2020-11-13 一种运动训练指导方法、装置、设备及计算机存储介质 Active CN112364785B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011271174.3A CN112364785B (zh) 2020-11-13 2020-11-13 一种运动训练指导方法、装置、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011271174.3A CN112364785B (zh) 2020-11-13 2020-11-13 一种运动训练指导方法、装置、设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN112364785A CN112364785A (zh) 2021-02-12
CN112364785B true CN112364785B (zh) 2023-07-25

Family

ID=74515571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011271174.3A Active CN112364785B (zh) 2020-11-13 2020-11-13 一种运动训练指导方法、装置、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN112364785B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966593B (zh) * 2021-03-03 2024-03-15 河南鑫安利安全科技股份有限公司 基于人工智能和大数据的企业安全标准化运行方法及系统
CN113486798A (zh) * 2021-07-07 2021-10-08 首都体育学院 一种基于因果关系的训练计划制定处理方法及装置
CN113842622B (zh) * 2021-09-23 2023-05-30 京东方科技集团股份有限公司 一种运动教学方法、装置、系统、电子设备及存储介质
CN113762214A (zh) * 2021-09-29 2021-12-07 宁波大学 一种基于ai人工智能的全身运动评估系统
CN115019395B (zh) * 2022-06-10 2022-12-06 杭州电子科技大学 基于堆叠沙漏网络的团体动作一致性的检测方法及系统
CN116563936A (zh) * 2023-01-03 2023-08-08 壹体技术有限公司 基于视频实现肌肉活动分析及可视化的方法、系统和介质
CN118903681A (zh) * 2024-08-26 2024-11-08 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 肌肉电刺激方法、系统、终端设备、存储介质及程序产品
CN118782209B (zh) * 2024-09-10 2025-01-17 江南大学附属医院 一种脊柱侧弯动态辅助矫形跟练监督方法和监督系统
CN119252425B (zh) * 2024-12-06 2025-04-29 鎏玥(上海)智能科技有限公司 一种基于图像分析的腿部肌肉训练分析方法及训练椅
CN119541871A (zh) * 2025-01-23 2025-02-28 中电科大数据研究院有限公司 一种基于视频数据的医疗信息处理方法、系统、装置及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105596021A (zh) * 2014-11-19 2016-05-25 株式会社东芝 图像分析装置和图像分析方法
CN106137504A (zh) * 2016-08-17 2016-11-23 杨如山 一种复合康复系统
CN106175802A (zh) * 2016-08-29 2016-12-07 吉林大学 一种在体骨关节应力分布检测方法
CN106202739A (zh) * 2016-07-14 2016-12-07 哈尔滨理工大学 一种骨骼肌力学行为多尺度建模方法
CN107735797A (zh) * 2015-06-30 2018-02-23 三菱电机株式会社 用于确定第一坐标系与第二坐标系之间的运动的方法
CN108446442A (zh) * 2018-02-12 2018-08-24 中国科学院自动化研究所 类神经肌肉骨骼机器人上肢模型的简化方法
CN109448815A (zh) * 2018-11-28 2019-03-08 平安科技（深圳）有限公司 自助健身方法、装置、计算机设备及存储介质
CN109753891A (zh) * 2018-12-19 2019-05-14 山东师范大学 基于人体关键点检测的足球运动员姿势校准方法及系统
CN110147743A (zh) * 2019-05-08 2019-08-20 中国石油大学(华东) 一种复杂场景下的实时在线行人分析与计数系统及方法
CN110355761A (zh) * 2019-07-15 2019-10-22 武汉理工大学 一种基于关节刚度和肌肉疲劳的康复机器人控制方法
CN110660017A (zh) * 2019-09-02 2020-01-07 北京航空航天大学 一种基于三维姿态识别的舞谱记录与演示方法
CN111046715A (zh) * 2019-08-29 2020-04-21 郑州大学 一种基于图像检索的人体动作对比分析方法
CN111062356A (zh) * 2019-12-26 2020-04-24 沈阳理工大学 一种从监控视频自动识别人体动作异常的方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105596021A (zh) * 2014-11-19 2016-05-25 株式会社东芝 图像分析装置和图像分析方法
CN107735797A (zh) * 2015-06-30 2018-02-23 三菱电机株式会社 用于确定第一坐标系与第二坐标系之间的运动的方法
CN106202739A (zh) * 2016-07-14 2016-12-07 哈尔滨理工大学 一种骨骼肌力学行为多尺度建模方法
CN106137504A (zh) * 2016-08-17 2016-11-23 杨如山 一种复合康复系统
CN106175802A (zh) * 2016-08-29 2016-12-07 吉林大学 一种在体骨关节应力分布检测方法
CN108446442A (zh) * 2018-02-12 2018-08-24 中国科学院自动化研究所 类神经肌肉骨骼机器人上肢模型的简化方法
CN109448815A (zh) * 2018-11-28 2019-03-08 平安科技（深圳）有限公司 自助健身方法、装置、计算机设备及存储介质
CN109753891A (zh) * 2018-12-19 2019-05-14 山东师范大学 基于人体关键点检测的足球运动员姿势校准方法及系统
CN110147743A (zh) * 2019-05-08 2019-08-20 中国石油大学(华东) 一种复杂场景下的实时在线行人分析与计数系统及方法
CN110355761A (zh) * 2019-07-15 2019-10-22 武汉理工大学 一种基于关节刚度和肌肉疲劳的康复机器人控制方法
CN111046715A (zh) * 2019-08-29 2020-04-21 郑州大学 一种基于图像检索的人体动作对比分析方法
CN110660017A (zh) * 2019-09-02 2020-01-07 北京航空航天大学 一种基于三维姿态识别的舞谱记录与演示方法
CN111062356A (zh) * 2019-12-26 2020-04-24 沈阳理工大学 一种从监控视频自动识别人体动作异常的方法

Also Published As

Publication number Publication date
CN112364785A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN112364785B (zh) 一种运动训练指导方法、装置、设备及计算机存储介质
CN107103298B (zh) 基于图像处理的引体向上计数系统及计数方法
US7704157B2 (en) Golf swing-measuring system
Yang et al. Human exercise posture analysis based on pose estimation
CN112906653A (zh) 一种多人交互的运动训练与评估系统
CN105664462A (zh) 基于人体姿态估计算法的辅助训练系统
JP2022043264A (ja) 運動評価システム
CN112464915A (zh) 一种基于人体骨骼点检测的俯卧撑计数方法
Malawski Depth versus inertial sensors in real-time sports analysis: A case study on fencing
CN112568898A (zh) 一种基于视觉图像对人体运动动作自动进行伤病风险评估及动作矫正的方法、装置及设备
CN115105821A (zh) 一种基于OpenPose的体操训练辅助系统
CN106447726A (zh) 一种运动员攀岩中身体位置视觉检测的方法
KR20230009676A (ko) 3차원 인체 자세 추정 장치 및 그 방법
CN115590504B (zh) 运动评测方法、装置、电子设备及存储介质
Leddy et al. Concurrent validity of the human pose estimation model “mediapipe pose” and the xsens inertial measuring system for knee flexion and extension analysis during hurling sport motion
CN114241602B (zh) 一种基于深度学习的多目转动惯量测量和计算方法
CN113361333B (zh) 一种非接触式骑行运动状态监测方法及其系统
CN119540840B (zh) 一种足球训练颠球次数检测的方法及计算机可读存储介质
Mangin et al. An instrumented glove for swimming performance monitoring
Rethinam et al. Olympic Weightlifters' Performance Assessment Module Using Computer Vision
CN116309712B (zh) 一种基于深度相机的功能运动分析系统及方法
Nakamura et al. Tankendo motion estimation system with robustness against differences in color and size between users' clothes using 4-color markers with elastic belts
CN116343332A (zh) 一种智能乒乓球教练方法及其系统
JP2009095631A (ja) ゴルフスウィング計測システム
CN117373117A (zh) 一种基于动态识别的太极拳训练方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant