CN108463271B - 用于运动技能分析以及技能增强和提示的系统和方法 - Google Patents
用于运动技能分析以及技能增强和提示的系统和方法 Download PDFInfo
- Publication number
- CN108463271B CN108463271B CN201680064109.9A CN201680064109A CN108463271B CN 108463271 B CN108463271 B CN 108463271B CN 201680064109 A CN201680064109 A CN 201680064109A CN 108463271 B CN108463271 B CN 108463271B
- Authority
- CN
- China
- Prior art keywords
- motion
- cue
- phase
- feedback
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/003—Repetitive work cycles; Sequence of movements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
- A61B5/1123—Discriminating type of movement, e.g. walking or running
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
- A61B5/1124—Determining motor skills
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/486—Biofeedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient; User input means
- A61B5/7405—Details of notification to user or communication with user or patient; User input means using sound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient; User input means
- A61B5/742—Details of notification to user or communication with user or patient; User input means using visual displays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient; User input means
- A61B5/7455—Details of notification to user or communication with user or patient; User input means characterised by tactile indication, e.g. vibration or electrical stimulation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/0015—Dancing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/10—Athletes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
- A61B5/1107—Measuring contraction of parts of the body, e.g. organ or muscle
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
- A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
- A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Business, Economics & Management (AREA)
- Dentistry (AREA)
- Physiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Entrepreneurship & Innovation (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- User Interface Of Digital Computer (AREA)
- Rehabilitation Tools (AREA)
Abstract
公开了一种运动增强系统,其提供包括训练和康复的实时和表现后的各种形式的反馈。该系统、装置和方法为人类运动行为提供增强,以便加速用户获取复杂的运动技能并减轻不良运动技术造成的伤害(例如,关节损伤或肌肉疲劳)。提供了通过整合其部件来实现系统的和全面的能力的环境。
Description
相关申请的交叉引用
本申请要求于2016年8月25日提交的美国专利申请第15/247,622号的权益,该申请要求于2015年8月28日提交的题为Platform System for Movement Skill Analysisand Skill Augmentation and Cueing的美国临时申请第62/211,281号的权益,该申请通过引用结合于此。
技术领域
公开了使用分解的运动元素来进行建模和分析的用于运动技能分析、运动技能增强和运动提示的装置、系统和方法。
背景技术
人类依靠运动技能执行日常任务,从对我们的自主性至关重要的动作到需要高度精细的运动技能的更为专业的领域。专业球员、音乐家、外科医生、以及甚至精英业余爱好者都需要数千小时的系统性和集中训练以及持续的训练,以保持高技术水平。甚至简单的日常行为也需要对一系列过程进行复杂的协调,从感测和运动控制到感知和认知。学习、维持和康复运动技能是有价值的,但同时也是复杂和具有挑战性的任务。获取和维持专业运动技能需要时间。运动技能的进步并不随训练时间而线性增长。相反,技能会随着要学习的内容呈指数级进步,以便熟练运动。运动表现依赖于广泛的功能(例如,感官、感知、计划、认知)。在复杂运动类型内的许多运动技能都是不自然的,并且因此要求本质功能适应于具体任务要求并熟悉外部任务元素。复杂的运动需要协调大量的肌肉和身体节段。运动的计算要求需要在短时间内开始,并且通常需要在表现期间进行调整。运动通常通过反复试验来学习,重点在于结果。有关运动如何组织的具体细节只能隐含在步骤记忆中。在练习和执行过程中,通常不会使用关于运动细节的明确知识。运动通常展开太快,甚至无法察觉。复杂的运动涉及太多的维度。例如,诸如网球拍的一件装置的路径涉及组合三个平移和旋转变量(例如,六个自由度)。
当包括各种身体节段和生物力学和神经运动约束时,这种复杂性呈指数增长。为了使事情更加复杂,这些变量受到动力学的约束,这限制了其时空演变。最后,在训练过程中用户可获得的反馈刺激或信号非常少。结果,对于大多数无法接受辅导的人来说,运动技能依赖于自我观察和乏味的重复。在许多领域,如果没有专业教练或训练师的帮助,将无法实现熟练。
表征和评估运动存在挑战。首先,人类运动是可变的。对同一任务的每次重复试验都会导致执行情况略有不同。其次,技术是特殊的。具有相同一般能力水平的个人有不同的方法和风格。第三,运动是快速的。通常情况下,动作在几分之一秒内展开,相关细节只跨越几毫秒。第四,运动是复杂的。经常着重于对需要在三维工作空间中进行控制的诸如工具(例如,手术器械)或一件装置(例如,网球拍、棒球棒、高尔夫球杆)的末端执行器进行控制。然而,这种运动的执行需要控制各种肢体、关节和肌肉,这增加了更多的额外自由度。
此外,协调的运动模式通常太复杂,并且执行得太快,而不能有意识地被感知和处理。因此,通常不能实时进行训练干预。此外,球员或操作员对其运动表现的细节通常没有足够清晰的认识。这些特征解释了一旦获取了基本运动模式就难以提高技能的原因。来自训练师或教练的外部反馈对于提高是必要的。
运动技能还取决于对外部任务元素的感知理解。从运动表现的观察来评估这些特征要困难得多。这些特征在表现中间接表现出来。一位优秀的教练会将其注意力放在重要的感知提示和反应特征上,并给出结果的诊断知识。
最后,有效训练的一个重要要求是考虑身体类型、技能水平、健康等的个体差异。在训练期间,这些特征更加难以明确地考虑。这对康复或与受伤或老龄球员合作时尤为重要。训练方法还应该利用属性和自然学习原理以及技能开发过程。
当前流行的可穿戴和嵌入式装置主要集中于识别和跟踪活动(例如,健身跟踪器(可从Fitbit公司获得)或健身跟踪器(可从进行Jawbone业务的Aliphcom获得))。健身跟踪器的流行示例包括用于计数步骤和跟踪覆盖的距离的装置。在专门针对特定运动的装置中可以找到更高级的功能。网球、羽毛球和高尔夫代表了最大的市场细分(例如,参见(来自法国Babolat)、网球挥拍分析仪(可从美国Zepp公司获得)和Smart Tennis Sensor(可从Sony获得))。这些产品的目的是提供对球员技术表现的分析。典型的特征包括跟踪动作类型;重建运动,例如,击球期间网球拍的路径;跟踪动作的关键结果变量,例如,拍头速度、对线床的影响分布以及旋转量。
通常在训练或打球场次之后提供这些评估的输出。数据以场次表现和时间的总结呈现。数据也聚合以提供统计趋势。这些产品的主要缺点是分析基于结果变量(在人类技能文献中称为结果知识),并因此不提供可直接用于训练的可操作信息。
需要向用户提供实时和表现后的训练和康复的系统和方法,这提供人类运动的增强并考虑了各种运动部件。
发明内容
公开了一种运动增强系统,其提供包括训练和康复的实时和表现后的各种形式的反馈。该装置、系统和方法可配置以增强人类运动行为,以便加速复杂运动技能获取,改善结果和表现,并减轻不良或不适应运动技术造成的伤害和磨损。
熟练的人类运动行为的困难在于描述表现所需的数据是高维的并且包括其他复杂性,例如,由运动动力学引起的非线性。而且,即使对于单个人来说,人类表现也是高度可变的。此外,人类呈现出范围广泛的技能水平、风格、体型、年龄、身体状况和医疗状况。所有这些变量都影响运动表现。运动复杂性一直困扰着研究人类神经系统的研究人员(例如,参见伯恩斯坦的自由度问题)。
公开了一种方法,其将运动分解成遵循人类神经系统的自然结构和组织的元素。这些元素用于系统地对运动行为进行建模和分析,并随后可用于合成和实施各种形式的运动增强,以提高符合自然人类运动控制原理的技能。
另外,一种环境通过集成其部件实现能力的系统的和全面的提高。在输入侧,本发明假设一种用于收集装置和各种身体节段的与任务和环境元素相关联的运动测量数据的方法,该任务和环境元素与该活动中考虑的分析级别相关。这些测量包括来自可穿戴传感器(例如,MEMS IMU)的数据和/或来自包括基于视觉或光学的跟踪系统的技术的数据。在输出侧,本发明使用各种形式来传送包括视觉、触觉和音频的反馈;这些反馈嵌入在装置或配件(智能手表、智能眼镜等)内。
运动技能增强系统的部件包括:运动处理系统(MPS),用于根据分层运动系统组织来分解运动数据。第一步骤是提取与用于执行任务的主要运动单元(PMU)的运动轮廓对应的运动节段。MPS的第二步骤根据运动的内在特征、与任务环境的交互和/或运动的结果,将运动数据划分到运动类型和类别中。PMU的集合定义了主体运动库。然后将来自每个类别的PMU运动轮廓分割成多个相位。最后,相位轮廓被分解成运动部件,这些运动部件可以与运动协调之下的肌肉激活模式和关节运动相关。
运动模型(MM)捕捉遵循用于MPS处理阶段的人类运动系统的三个组织级别的运动行为。通过聚合类型和类别所形成的PMU库描述了主体如何将执行任务所需的结果空间划分为具有其相关联的结果的不同的运动模式族。相位分割的PMU用于定义有限状态模型,该模型将运动模式描述为具有特定动力学的一系列状态。这些状态对应于由基础的连续运动过程驱动的各个运动相位。状态转变条件确定相位的排序。该模型描述了面对肌肉骨骼和其他生物约束时如何实现复杂的运动模式。最后,通过分解相位轮廓获得的各个运动部件被映射到肌肉骨骼系统,以描述如何通过组合身体节段和肌肉协同作用来实现运动轮廓。
技能模型(SM)从运动模型中提取属性。技能模型分为两个级别。任务表现评估级别描述了结果的范围以及实现这些结果的运动可靠性。功能评估级别描述了主体如何使用运动技术来实现各种结果,以及运动技术如何适于补偿任务条件和运动执行中的变化和不确定性。运动相位元素提供高维运动数据的稀疏描述。由于其基于人体结构,因此运动相位元素在功能分析中起着核心作用。运动模型元素(包括相变配置、相位轮廓特征等)用于识别哪些特征对结果最具预测性。同样,可以通过研究对结果没有影响的运动部件特征之间的耦合模式来分析运动适应机制。技能模型用于确定个人的技能状态(SS),该技能状态提供全面的技能评估。在活动表现级别,技能状态包含库、运动模式轮廓的统计特征以及相关联的结果。在功能级别,其包含对于每个运动模式及其相关联的运动模型的结果特征集和适应特征集。最后,生物细节包括由运动协同作用和生物力学模型描述的肌肉和关节协调和表现。
提供了一种用于合成反馈增强的方法。这些增强分为在知识级别操作的指令和在人类信息处理和技能层级的信号和提示级别操作的反馈提示。指令在知识级别操作并通过各种可视化方法来实现,这些方法描述了运动模型和技能模型的元素,例如,库的映射、针对不同运动模式的运动轮廓图以及相位分割的运动轮廓的详细图,并且在最低级别是运动协同作用和相关联的运动生物力学。视觉指令还伴随有解释相关量的口头指令。在功能级别,这些指令详细说明了运动模型元素在产生结果中的作用,包括与相变处的运动配置相关的特征以及各种相位节段的轮廓特征。反馈提示的合成基于提示机制,提示机制从运动模型及其与自然运动实施相关的各种功能特征来导出。
提供了一种用于实现或实施用于训练和康复以及伤害保护的不同形式的反馈增强的方法和系统。增强在指令和反馈提示之间划分。生成指令所必需的系统部件由具有必要的显示器和用户界面的主机计算机(例如,智能手机或平板电脑)实现。生成反馈提示所需的系统部件由提示系统实施。提示依赖于实时运动数据处理。提示系统分为两个子系统:提示处理器(CP)和提示生成器(CG)。CP从可用的测量系统或装置获取运动数据并生成提示信号。CG获取提示信号并生成可以被人类个体感知的提示刺激。CP由相位状态估计器(PE)和提示法则(CL)组成。PE估计当前和未来的运动相位并提取相关的运动数据。CL获取相位信息和各种运动数据,并计算提示信号。CG由提示编码器(CE)和提示换能器(CT)组成。CE获取提示信号,并生成可以由人类主体解释的反馈信号。CT获取反馈信号并生成物理刺激(例如,音频、视觉、触觉)。
运动模型和增强机制提供用于计算机辅助训练(CAT)的部件。CAT处理增强训练过程的管理和操作的各个方面。CAT系统有两个主要的子系统:用作管理训练过程的虚拟教练的训练代理(TA)和控制提示系统并在打球或表现期间管理各种提示功能的提示代理(CA)。训练代理分析诊断结果,以制定训练计划(TS)。在库级别,TA确定哪些运动模式必须进行优化或细化,并且还指定必须形成哪些新的运动模式。前者提高了特定运动模式的技能,并且后者涉及通过引入新模式或通过在现有模式中帮助区分运动来扩大库。
训练时间表被编码为训练元素(TE)的序列。这些训练元素是目标运动模式细化或运动模式形成。TE被形式化为跨越各种训练路径的分层树。关于库中的模式之间的层级关系和用于活动域的各种模式的相对重要性的信息用于定义TE的排序和定时。训练代理沿着训练时间表跟踪技能状态和进度,并更新TE。技能状态的纵向变化对应于个体的学习曲线。提示代理管理TS的特定训练元素的提示过程。TE通常由模式细化或模式形成组成。可以被激活以增强对训练元素的训练的反馈提示包括构成提示轮廓(CPr)的提示元素集。每个提示元素由提示机制表征,并且由提示系统通过提示法则实现。提示代理跟踪提示轮廓和各个提示元素的有效性。
除了这些能力之外,与运动和技能模型相关联的数据结构提供了支持运动数据的有效管理、组织和通信的特征。以上描述的量可以针对各种人群以及任何相关参数(例如,体型、尺寸、年龄、伤害、装置等)进行管理。从该系统提取的元数据可用于优化模型、算法和提示机制,并提供长期的训练优化。提取的元数据还可以提高对其他长期运动特征(例如,老化、磨损、伤害发展等)的理解。
与整体环境相关的其他功能和系统包括提示设计器。该系统在训练代理级别上提供用户交互,以优化训练时间表以及用于专业人员的提示法则和提示轮廓。
本公开的一个方面涉及一种运动分析系统。该运动分析系统包括:一个或多个传感器,被配置为获得运动数据;处理器,与一个或多个传感器通信,处理器被配置为:从一个或多个传感器收集运动数据;将收集的运动数据解析为一个或多个运动单元;对一个或多个运动单元建模;分析一个或多个运动单元;将一个或多个运动单元与先前运动测量和运动测量库中的一项或多项进行比较,以生成比较结果;基于比较结果,识别用于改变的运动数据的一个或多个方面;并且向用户提供反馈。一个或多个传感器可以获得具有两个或更多个自由度的运动数据,该自由度从欧几里德空间中的三个轴中选择或者从三个测量的量中选择。另外,所获得的运动数据可以是用户运动库内的运动。而且,可以从可穿戴传感器和远程传感器中的每一项的一个或多个中选择一个或多个传感器。可穿戴传感器还可以配置以感测运动的速度、运动的方位、重力以及肌肉的电活动中的一项或多项。提供给用户的反馈可以是可见的、触觉的和可听的中的每一项的一个或多个。另外,可以计算影响反馈的质量或结果的一个或多个运动特征。而且,一个或多个运动特征是相变和相位轮廓属性中的一项。提供给用户的反馈可以是相变提示、相位轮廓提示、警报和结果验证提示中的每一项的一个或多个。另外,可以实时、接近实时或者在远离实际运动期间的时间,提供反馈。可以从运动特征到生物力学特征的映射来计算警报(例如,以免受伤害或磨损)。一个或多个运动单元可以进一步分割成两个或更多个运动相位。可以将两个或更多个运动相位分解成两个或更多个协同作用,其中,两个或更多个协同作用是生物力学关系和神经肌肉关系中的每一项的一个或多个。本地主机装置(例如,本地计算装置)可以被配置成将训练信息和提示信息中的每一项的一个或多个传送给用户。可以基于运动单元的特征是否能够改变且是否将影响重复运动的质量或结果,来将改变的一个或多个解析的运动数据优先化。另外,所收集的运动数据可以是用户运动数据和用户控制的装置运动数据中的一项或多项。
本公开的另一方面涉及一种用于运动分析的设备。该用于运动分析的设备包括:一个或多个传感器设备,被配置为获取运动数据;处理器设备,与一个或多个传感器设备通信,处理器设备被配置为:从一个或多个传感器设备收集运动数据;将收集的运动数据解析为一个或多个运动单元;对一个或多个运动单元建模;分析一个或多个运动单元;将一个或多个运动单元与先前运动测量和运动测量库中的一项或多项进行比较,以生成比较结果;基于比较结果,识别用于改变的运动数据的一个或多个方面;并且向用户提供反馈。一个或多个传感器设备可以获得具有两个或更多个自由度的运动数据,该自由度从欧几里德空间中的三个轴中选择或者从三个测量的量中选择。另外,所获得的运动数据可以是用户运动库内的运动。而且,可以从可穿戴传感器设备和远程传感器设备中的每一项的一个或多个中选择一个或多个传感器设备。可穿戴传感器设备还可以配置成感测运动的速度、运动的方位、重力以及肌肉的电活动中的一项或多项。提供给用户的反馈可以是可见的、触觉的和可听的中的每一项的一个或多个。另外,可以计算影响反馈的质量或结果的一个或多个运动特征。而且,一个或多个运动特征是相变和相位轮廓属性中的一项。提供给用户的反馈可以是相变提示、相位轮廓提示、警报和结果验证提示中的每一项的一个或多个。另外,可以实时、接近实时或者在远离实际运动期间的时间提供反馈。可以从运动特征到生物力学特征的映射来计算警报(例如,以免受伤害或磨损)。一个或多个运动单元可以进一步分割成两个或更多个运动相位。可以将两个或更多个运动相位分解成两个或更多个协同作用,其中,两个或更多个协同作用是生物力学关系和神经肌肉关系中的每一项的一个或多个。本地主机装置设备(例如,本地计算装置设备)可以被配置成将训练信息和提示信息中的一项或多项传送给用户。可以基于运动单元的特征是否能够改变且是否将影响重复运动的质量或结果,来将改变的一个或多个解析的运动数据优先化。另外,所收集的运动数据可以是用户运动数据和用户控制的装置运动数据中的一项或多项。
本公开的又一方面涉及一种提示处理器。合适的提示处理器可配置以:生成提供运动相位和关联特征的预测的运动相位估计,提取运动相位特征,应用运动提示法则;并且生成运动提示,其中,运动相位估计和运动相位特征提取包括相位初始预测器、初始相位状态提取器、相位轮廓参数提取器和结果提取器中的一项或多项。提示法则还可配置以与参考定时进行比较、与目标状态值进行比较、与参考轮廓进行比较、以及与目标结果进行比较中的至少一项。另外,提示生成器可配置以生成相变提示、相位轮廓提示、警报和结果验证提示中的一项或多项。此外,提示处理器可以并入独立装置中。提示处理器可以是具有相位状态估计器、提示编码器和换能器的提示系统的一部分。可以基于运动特征是否能够改变且是否将影响重复运动的质量,来基于用于改变的分解运动数据中的一个或多个将生成的一个或多个提示优先化。
本公开的又一方面涉及一种提示处理器设备。合适的提示处理设备可配置以:生成提供运动相位和关联特征的预测的运动相位估计,提取运动相位特征,应用运动提示法则;并且生成运动提示,其中,运动相位估计和运动相位特征提取包括相位初始预测器、初始相位状态提取器、相位轮廓参数提取器和结果提取器中的一项或多项。提示法则还可配置以与参考定时进行比较、与目标状态值进行比较、与参考轮廓进行比较、以及与目标结果进行比较中的至少一项。另外,提示生成器设备可配置以生成相变提示、相位轮廓提示、警报和结果验证提示中的一项或多项。此外,提示处理器设备可以并入独立装置中。提示处理器设备可以是具有相位状态估计器、提示编码器和换能器的提示系统的一部分。可以基于运动特征是否能够改变且是否将影响重复运动的质量,来基于用于改变的分解运动数据中的一个或多个将生成的一个或多个提示优先化。
本公开的又一方面涉及运动训练计划。合适的运动训练计划包括:一个或多个传感器输入,可配置以收集运动数据;计算机化运动训练计划,其中,计算机化运动训练计划被配置为:将收集的运动数据解析为一个或多个运动单元,将一个或多个运动单元与先前运动测量和运动测量库中的一项或多项进行比较以生成比较结果,并且向用户呈现与运动库、运动相位节段和运动协同作用中的一项或多项有关的训练评估和训练指令中的至少一项。另外,运动训练计划可配置以在感测的运动期间向用户提供多个提示。在至少一些配置中,计算机化运动训练是迭代的。运动训练计划的输出包括训练时间表和一个或多个指令。训练时间表可以识别库运动中要由用户练习的一个或多个模式。所收集的运动数据可以包括用户运动数据和用户控制的装置运动数据中的一项或多项。
本公开的另一方面涉及运动训练计划。合适的运动训练计划包括:一个或多个传感器输入设备,可配置以收集运动数据;计算机化运动训练计划,其中,计算机化运动训练计划被配置为:将收集的运动数据解析为一个或多个运动单元,将一个或多个运动单元与先前运动测量和运动测量库中的一项或多项进行比较以生成比较结果,并且向用户呈现与库运动、运动相位节段和运动协同作用中的一项或多项有关的训练评估和训练指令中的至少一项。另外,运动训练计划可配置以在感测的运动期间从提示设备向用户提供多个提示。在至少一些配置中,计算机化运动训练是迭代的。运动训练计划的输出包括训练时间表和一个或多个指令。训练时间表可以识别库运动中要由用户练习的一个或多个模式。所收集的运动数据可以包括用户运动数据和用户控制的装置运动数据中的一项或多项。
还公开了一种训练方法。合适的训练方法包括:从一个或多个传感器收集运动数据;将收集的运动数据解析为一个或多个运动单元;对一个或多个运动单元建模;分析一个或多个运动单元;将一个或多个运动单元与先前运动测量和运动测量库中的一项或多项进行比较;并且基于比较,识别用于改变的运动数据的一个或多个方面。另外,该方法可以包括向用户提供反馈(例如,实时反馈、接近实时反馈或稍后提供的反馈)的步骤。在至少一些配置中,反馈是指令和提示中的至少一项,例如,提示是可见的、触觉的和可听的提示中的每一项的一个或多个。另外,该方法可以包括基于所识别的用于改变的一个或多个解析的运动数据来生成训练时间表。一个或多个运动单元还可以分割成两个或更多个运动相位。另外,可以将两个或更多个运动相位分解成两个或更多个协同作用,其中,两个或更多个协同作用是生物力学关系和神经肌肉关系中的每一项的一个或多个。在一些配置中,本地主机装置可配置以将训练信息和提示信息中的每一项的一个或多个传送给用户。所收集的运动数据可以是用户运动数据和用户控制的装置运动数据中的一项或多项。
引用并入
本说明书中提到的所有出版物、专利和专利申请通过引用并入本文,其程度如同具体地和单独地指出每个单独的出版物、专利或专利申请通过引用并入。例如,参见于2013年2月28日公布的题为Racket Sport Inertial Sensor Motion Tracking and Analysis的US2013/0053190A1(现在是于2015年2月3日发布的US 8,944,940B2);于2013年12月10日发布的题为Method and Apparatuses for Enhancing Performance in Racket Sports的US 8,602,922B2、于2005年1月27日发布的题为Interactive Gaming Systems withHaptic Feedback的US 2005/0017454A1;于2007年5月10日公布的题为Racquet withEntertainment and Performance Feedback的US 2007/0105664A1;于1981年3月24日发布的题为Electronic Athletic Equipment的US 4,257,594A;于2012年12月25日发布的题为Systems and Methods for Measuring and/or Analyzing Swing Information的US 8,337,335B2;于1997年7月8日发布的题为Tennis Pacer的US 5,646,911A;于1993年7月13日发布的题为Tennis Racket的US 5,226,650A;于2002年6月20日公布的题为Proprioceptive Golf Club with Analysis,Correction and Control Capabilities的US 2002/0077189A1;于1991年7月16日发布的题为Electronic Athletic Equipment的US5,031,909A;于2006年2月2日公布的题为Motion Tracking and Analysis Apparatus andMethod and System Implementations Thereof的US 2006/0025229A1;于1981年12月1日发布的题为Sports Vision Training Device的US 4,303,241A;于2011年2月22日发布的题为Device and Method for Measuring Shot Force Exerted on a Moveable GameDevice的US 7,891,666B2;以及于2009年4月9日公布的题为Force Sensor for RacquetHandle的WO 2009/043558A1。
附图说明
在所附权利要求中特别阐述了本发明的新颖特征。通过参考阐述了利用本发明原理的说明性实施方式的以下详细描述以及附图,来获得对本发明的特征和优点的更好理解,在图中:
图1示出了示例性训练过程,示出了具有训练回路和增强回路的闭环系统中的主要过程;
图2示出了击球运动与任务和环境元素之间的交互,包括相对于球场的球轨迹、球拍的触击及其在用球拍轨迹拦截之前的弹跳,该图还示出了球员沿着球轨迹的不同点的注视,并且将发球器示出为可以被编程以实现不同形式的交互的设备;
图3示出了总体运动轨迹和相关联的主要结果,突出显示了运动相位,并且示出了由各种运动约束导致的运动相位中的最佳轨迹、可接受包络以及可行包络;
图4A至图4F示出了主要运动模式(或运动单元)以及用于不同运动活动的对应的相位节段,该图还突出显示了可被视为作为向量的主要结果的量(对网球、高尔夫和棒球的球的触击、跑步的助推力和滑行的横向加速度的影响);
图5示出了正手内转和旋后,示出了基本的骨骼和肌肉结构。它还示出了捕捉前臂运动和肌肉骨骼结构之间的关系的可能的传感器;
图6示出了根据本公开的用户参与的平台的部件,包括用于实现用户性能增强和交互的提示系统和通信系统;
图7是提示处理器的方框图;在四个提示机制上的反馈增强过程的总体视图:相变提示、相位轮廓提示、警报和结果验证;
图8示出了描述分割层级及其典型时间尺度的运动活动数据的时间结构;
图9是包括运动数据处理(I)、运动模型(II)、技能评估和诊断(III)以及反馈合成(IV)的运动技能处理部件的示图;
图10是示出包括提示处理器(运动相位估计器、特征提取器和提示法则)和提示生成器(提示编码器和换能器)的示例性部件的提示系统的方框图;
图11示出了与网球击球相关联的树结构,突出显示运动单元分类(划分成击球的分类、类型和类别)和分割(分成相位),相位节段由轮廓和转变特征属性表征;
图12示出了根据人类信息处理组织嵌套的反馈级别的概要。该图还提供了用于处理数据并将信息传递给用户的装置和系统部件的示例;
图13示出了描述三个示例活动(网球、滑雪和滑板)的一般功能的整体平台架构;
图14是使用特征表示的运动单元轮廓分类的方框图概图;
图15A至图15E以网球击球示例的有限状态模型结构示出了运动模式结构的发展;
图16A示出了球拍角速率轮廓的集合,突出显示了可用于识别击球相位的特征,包括:后挥拍、后回路、向前挥拍、触击、随球动作和恢复;
图16B示出了在单位球体上的击球周期上的正手击球的集合的球拍方位轨迹(仰角和方位角)。该图还突出显示了击球相位,呈现了两个视图以提供击球的背面和正面;
图16C-1到图16C-2示出了正手/反手、上旋/切削击球的三维角速度相位图;
图16D示出了具有不同上旋和切削结果的几种正手击球的角运动,并突出显示了击球相位。该图还示出了正常包络和与后回路相位相关联的扩展包络;
图17示出了在平台的层级上的数据处理和其他功能的示例性组织,并突出显示了在主要部件级别和装置上的信息流;
图18A示出了球拍和具有关键变量的IMU传感器参考框架,关键变量包括测量的量(球拍3DOF加速度和角速)和主要估计量(滚转、俯仰、偏航);
图18B示出了在典型的正手击球上的绝对球坐标(方位角和仰角)的击球路径以及示例性击球相位。该图还示出了球拍的主体框架(触击基准框架)和相对于触击方位的球拍绝对方位;
图19A至图19B示出了示例性用户界面;
图20A示出了有限状态击球模型;
图20B示出了用于击球周期上的顶部自旋增强轮廓的提示系统的过程,突出显示了示例性相变和相位轮廓导数以及为计算反馈提示而提取的其他量;
图21示出了迭代训练系统过程的方框图;
图22示出了人类运动行为的控制和信息处理层级,突出显示了知识、基于规则的和基于信号的级别。该图还示出了用于来自任务环境的相关信息的感官和感知部件;
图23A至图23B示出了具有主要物理部件的示例性嵌入式感测和提示装置;以及
图24A至图24F示出了在网球、滑雪、高尔夫、跑步、游泳、康复的不同运动相位的提示机制(结果验证、警报、以及轮廓和转变提示)。
具体实施方式
本公开指向提供系统的、数据驱动的、计算机辅助的运动技能训练、维护和康复的系统。该系统和方法使用客观和定量的技能水平评估方法,然后使用这些评估来识别具体的缺陷,然后是训练干预的形式规范。一旦通过将运动分解为分解的运动数据可以定量地转化这些分量及其交互,则可以分析分解的运动,以具体地识别哪里需要改变。这使用户能够关闭训练或康复回路并作为迭代方案运行。
图1示出了评估回路100。评估回路100可配置以具有五个部件。提取器110从目标运动中提取运动元素。可以从收集来自用户训练或打球的信息的增强回路120引导出所提取的运动元素。增强回路120可以在运动过程122和提示系统124之间具有反馈回路。另外,增强回路120可以从指令模块130接收信息。指令模块130可以从用户或训练师接收一组目标技能140。场次数据126可以被提供给提取器110。提取器110的输出生成运动模型150,该运动模型150然后可以用于技能评估和诊断160。可以提供测量过程,其将行为或运动的方面映射为一个或多个测量信号。控制算法可配置以基于当前行为或运动的测量以及期望的行为或运动来生成控制动作。可以提供将测量信号转换为输入信号的致动器,以帮助控制系统。该系统实施了训练过程,并创建了系统时间表,该系统时间表建立遵循逻辑发展、符合人类学习原理的技能。训练从用户现有的运动技能开始,并通过将这些技能塑造成指定的目标技能而继续。
提示系统124可以包括两个部件:提示处理器和提示生成器。提示处理器将运动数据转化为提示信号。提示处理器实现有限状态估计器和提示法则计算器。有限状态估计器是用户的运动模型(其本身表示为有限状态机)的近似值。提示生成器将提示信号转化为物理刺激;该系统实时操作,以在用户参与活动时提供反馈。提示法则计算器采用状态估计和运动数据并对其进行操作,以计算是否将传递提示以及提示应该传送什么。反馈合成模型确定提示法则计算器如何操作,而有限状态估计器由用户的当前运动模型定义。提示生成器采用提示信号并将其转化为由换能器生成的反馈刺激(音频、视觉、触觉、符号或其他类型)。换能器的形式由平台实施细节、用户特性、装置参数、环境状态和/或其他问题决定。
系统接收来自在使用或打球期间发生的用户的物理运动的输入。测量可以捕捉为了完成活动而执行的一系列运动行为(例如,与网球击球相关的所有运动、与高尔夫挥杆相关的所有运动等)、相关联的任务条件以及与更广泛的功能部件相关的元素,例如,任务元素的感知。
MEMS IMU(例如,可从ST Microelectronics and InvenSense获得)通常包括6轴加速度和角速率和3轴磁强计,其通常用于估计在空间中的绝对方位(姿态和航向参考系统或AHRS)。为了从收集的运动测量数据中提取有用的信息,识别结构特征,然后将其与特定的运动事件或动作相关联。为了对技术和技能进行计算分析并最终合成有效的训练指导反馈,需要将运动分解为运动元素。
运动特征可以表示为几何和拓扑性质,其可以与运动组织和技能的特定方面相关。例如,运动特征可以在运动相位图中观察到,例如,球拍角速度的运动相位图。运动数据的集合可以针对模式进行分析(例如,使用主成分分析、相位空间分析和诸如状态空间嵌入的非线性时间序列分析技术)。此外,可以应用机器学习技术来分析运动的特征和特性的分布,并且将数据聚合和分类以确定模式,这些模式反过来可以用于确定整个系统的更深组织。考虑到各种运动类型和人类表现的变化。通常,该系统可配置以在对任何单独的运动或其分量进行深入分析之前区分不同的运动类型。
嵌入或部署在用户环境中的一个或多个运动传感器可与系统一起使用,以提供包含一个或多个用户、行动者及其相关联的装置(如果有的话)的运动动力学的测量。如本领域技术人员将理解的,考虑到运动系统的层级的深度,可以在多个级别实施运动分析的范围。例如,可以侧重于神经运动方面、运动技术和结构、以及结果,一直到战术和战略级别。
运动技术的内在运动结构和功能特性的分析可以用于技能分析。先前的解决方案集中于运动与环境的交互以及操作者如何根据与环境和任务元素的关系来组织其行为。图2以网球比赛期间用户的击球运动与用户10使用网球拍20触击球30的任务环境元素之间的交互的形式示出了示例性运动。提供了一个或多个运动跟踪相机210、210'。用户10的注视12根据球30的轨迹在不同的点处改变。同一图中所示的设备可以被编程,以实现不同形式的交互。在网球的示例中,该设备是发球器,发球器可以被编程以支持特定的击球模式的开发,并因此可以与提示系统一起被编程。
相反,公开的系统和装置增强了技能,包括例如:1)向用户提供对于训练的反馈,包括在表现期间提供信号;2)在表现期间增强运动体验,以帮助专注;3)通过帮助用户参与最佳技术,来提供免受伤害的保护;以及4)开发旨在开发与训练有关的技能的训练协议。
在许多运动活动中预期模式化特性。例如,在网球中,可以使用相同的一般击球模式来产生不同量的上旋或速度。然而,为了使这些不同的结果最大化,必须形成不同的模式以充分利用生物系统。例如,上旋或切削的击球在运动相位的时间和空间设置中具有特性特征。运动模式化是由于运动结果或任务条件的变化如何影响运动技术而造成的。随着期望的结果或任务条件的改变,生物力学和运动控制必须以不同的方式进行组织,以最佳利用系统的能力。从轨迹优化的角度来看,结果和条件的变化会改变系统的“操作点”,并导致激活不同的一组约束条件。由于非线性,这导致出现具有不同动态特性的不同运动模式。模式化对应于每类行为中的轨迹在空间和时间方面保持共同接近的趋势。这种接近性可以用非线性时间序列分析的技术在形式上描述。使用这些技术,描述网球击球期间的球拍状态轨迹的测量数据可以聚合并聚类,以识别不同的击球模式。
例如,从整个网球比赛的测量中整体获得的活动的这种表现数据导致了不同的运动模式库。不同的运动模式库是优化运动技术的结果,即,达到精通特定活动所需的结果和条件的范围。例如,在网球中,个人将开发不同的击球库,以优化必要的结果(例如,旋转的类型和量、强度等)并适应触击条件(球高度、速度等)的范围。这个库基本上起着个人在参与特定活动时可以调用的运动模式的词汇的作用。因此,模式化和库对技能评估具有重要意义。例如,特定网球球员的技能可以通过以下方式进行评估:1)提取关于整个击球库的特征,例如,它们共同达到活动域中的结果和条件的范围的程度,以及2)确定库中每一类击球达到相关联的结果的程度以及一致性程度,3)确定击球适应触击条件的程度。第一个分析提供了全面的评估,并且第二个分析强调了运动技能的技术实现。理解人类运动控制,提供了对运动技术和帮助优化运动技术的反馈的深入评估。
基于技能的运动行为通常是快速、协调的多维运动。人类信号传输和处理的延迟限制了反馈的作用。因此,生物运动控制系统必须广泛地依赖于“开环”控制,这意味着从预先编程的轮廓实现的轨迹在很大程度上是无意识的。通用运动程序(GMP)解释了如何编程复杂的运动。GMP描述了生成空间和时间肌肉模式的广义规则,以产生用于收集库中的运动模式的运动。GMP包含适应条件所需的机制。
复杂的运动通常涉及一系列不同的运动相位。因此,运动计划包含机制以便对这些元素进行计时和排序。运动相位通常形成为支持各种功能特征,例如,生物力学约束、任务结构以及与环境的各种感官交互。运动节段可以概念化为针对子目标的运动,每个运动节段都有其特定的生物力学和感官运动约束。这种结构允许将复杂的运动分解为更简单的运动元素。还可以帮助获取复杂的运动技能,并支持在动态和不确定的环境中操作所需的灵活性和适应性。
涉及感知运动控制的闭环反馈的带宽限制取决于任务在0.5和2Hz之间的某处。在该带宽之上,可以使用间歇闭环。运动相位通常表示开环段。可以在特定的相变中实施校正。这些相变也与功能特征相关联,例如,信息的特定元素可用的时间。例如,在网球击球中,高级的球员在击球开始时已经知道了预期的结果,并且预料迎面球的状况。在后挥拍相位结束时,并且在向前挥拍开始之前,球员基于从迎面球轨迹可获得的最新信息进行调整(参见图2,其示出了挥拍轨迹)。
如本领域技术人员将理解的,运动技能通常涉及与任务和环境元素的广泛交互。例如,在网球中,这些交互包括在任务中产生期望的结果并处理触击条件的范围。感知系统通常提供用于从所学习的运动模式库中选择运动模式的类型的提示。来自感官或感知系统的信号用于调节模式的特定方面,例如,基于网球感知速度的击球相位的定时。因此,训练运动技能涉及获取一套全面的机制。运动不是简单地引导身体节段的计划;它们包含许多功能特征。因此,技能获取还包括学习如何从任务环境中提取相关标志或提示,并制定对个人运动模式进行排序的计划。接下来介绍基本的运动学习概念,并将在后面的章节中进行扩展。
运动技能被认为是需要整合感官信息和运动反应以实现特定目标的行为。目标导向的、有意识的、工具性的或有意图的运动是特征在于参照其产生的后果而进行预先考虑的运动。要获得的结果对执行者来说是清楚的,并且决定了其对运动模式的组织。这种有意识的运动对比反射或固定的活动模式。运动技能被归类为由任务和环境条件的动力学定义的连续体。在连续体的一端是开放技能,这些技能发生在时间和空间变化的条件下;另一端是封闭技能,这些技能发生在固定不变的环境条件下。
在开放技能中,响应于任务环境的新方面而出现的新运动可能不源自现有模式的变化。相反,呈现为作为唯一的新模式而形成的新运动,尽管新模式可能会重用原始模式的部件。因此,在开放技能中,用户可以开发与环境条件和任务要求的范围匹配的运动模式库。另一方面,在封闭技能中,随着用户学习掌握任务,运动表现会随着时间的推移收敛到优化与任务要求相关的结果的固定运动模式。
通过运动节段或相位的组合来获得最复杂的运动。人类运动中的高的自由度(DOF)会导致冗余运动解决方案。例如,通过诸如肘、肩、手腕的关节运动的各种组合,可以实现球拍挥拍。每个DOF都有其自己的特定位移范围以及诸如速度或扭矩的其他约束。相同的一般运动的不同执行将在整个轨迹的不同阶段造成饱和,并将导致一系列运动相位。人类用户主要通过练习学习;他们基本上发现如何最好地利用丰富的运动空间来实现预期的结果。如前所述,技能获取是通过导致可用自由度的使用增加的阶段进行的。
通常,需要有意识的运动来产生特定的结果或环境改变。许多熟练的运动都涉及对诸如手、脚或一件装置或仪器的末端执行器的控制。另一类重要的熟练运动的特点在于,控制与诸如滑雪或冲浪的环境的交互的动力学。这些交互行为涉及特定操纵的执行,以允许有意识地控制运动。关键操纵的示例包括转弯或停止。运动技能获取的目的可以被定义为个体用来学习改变或维持其状态或空间中的对象状态的过程。
这些末端执行器运动包括各种不同的运动行为,包括到达运动,例如,用于抓取对象或触摸某物的运动、或拦截和投掷或击打运动。所有这些运动引导末端执行器沿着通往特定空间位置的路径。大部分到达运动都涉及静止的结束条件。拦截和击打涉及更加动态的结束条件。最熟练的末端执行器运动涉及在动作瞬间(接触、拦截或投掷)对其状态的精确控制。
到达或拦截运动严重依赖视觉信息。行为的输出侧(即运动的控制)仅描述了部分问题。行为的输入侧(包含感官和感知机制)对于完整理解至关重要。这些运动是部分由运动计划驱动的,但功能方面(例如,计划适应于外部任务元素或动力学)表示技能的基本方面。围绕目标状态组织目标导向的运动,例如,挥拍运动。例如,在网球中,围绕触击组织球拍击球运动,然而,该击球运动是通过满足球触击以及身体和肢体生物力学的约束的复杂的、协调的手臂运动模式来实现。在诸如滑雪的其他活动中,没有明确的目标。滑雪者利用引力和身体生物力学来产生转向运动,以操纵和控制其路径。这些协调运动代表了主要的运动单元。根据配置和条件,可能有满足这些约束的多种运动模式;然而,它们通常都具有共同的特征,这些特征能够识别运动模式并进行后续分析。
理解运动技能的获取,需要提供运动和任务以及环境元素的全面描述的数据。大多数运动技能都涉及许多自由度;使用早期技术跟踪运动技能意味着乏味地观察录像节段。更一般地,正式系统技能评估和建模的局限性是由于与复杂运动的基本性质和其他任务环境特征有关的各种复杂性而造成的。
熟练的人类运动(例如,网球击球)涉及基于内部状态和外部提示执行的复杂协调运动的排序。其成功表现涉及管理一系列贡献,包括工具或装置(例如,网球拍)的效果、运动生物力学、与活动相关的交互(例如,网球触击)以及与环境的交互(例如,空气动力学或其他介质)。
人类运动系统演变为管理这些交互并有效地处理任务和环境中普遍存在的各种不确定性和干扰。然而,尽管人类运动系统具有巨大的潜力,但对于高水平的运动设施来说,需要系统化和专门的训练。这在任何活动域都是相似的,例如,田径、音乐或职业的。这些因素可以分为外在因素和内在因素。外在因素包括与环境的交互,例如,足部击球或球对球拍的触击。内在因素包括生物力学、人类运动控制以及操纵装置动力学引起的效果。大多数熟练的行为是旨在实现特定的结果的所谓的有意识的行为。因此,学习体育或职业活动中的熟练行为,涉及学习掌握这些交互,以达到期望的结果或目标。人类运动系统与任务环境的耦合必须被视为耦合系统。如果将外在和内在的交互分开考虑,则复杂性将是棘手的。因此,易处理的解决方案的关键是构建和组织运动行为以同时处理整个系统的策略。
大脑演变出特定的组织和功能,以有效地处理这些复杂性。通过演化过程已确定了最佳处理两个域的耦合并实现足够适应水平的大脑和感官运动机制。因此,大脑的特定结构和组织,包括神经系统和更大的生物力学系统,支持使实现高效和适应性行为的自然解决方案。因此,运动系统的一部分是基因决定的。然而,运动技能,特别是有意识的运动中的运动技能,是基于任务和环境中的反复交互而学习的,并且在大脑仍在开发时的早年最佳获取。最后,学习运动技能涉及神经可塑性引起的皮层变化。然而,这些变化遵循由各种皮质结构(小脑、顶叶皮质、运动前和运动皮质以及前额叶皮质)的组织决定的特定过程。
已经针对复杂的运动行为描述了三种关键形式的行为单元。在顶层,运动基元与被认为是运动行为的一个基本特征的“运动等效性”的概念有关。这个思路是,相同的运动行为可以在各种情况下重复,而不会改变运动的整体形式。因此,通过识别不变量特征而将人类运动行为划分为运动基元是最成功的。由于复杂的运动是从一系列运动相位中获得的,所以下一级别的基元表示可以按顺序组合的模式。
从使用模式分析的测量中提取的结构特征来导出运动系统的元素。从分解方法中获得肌肉协同作用(例如,主成分分析或非负矩阵分解)。总体思路是,许多运动可以被描述为一般模型的变体,并且一旦指定运动的一般类别,实现稳健运动表现所需的一些关键机制是允许适应条件的变化或转移到新任务或活动的那些机制。
与可以从低级别大脑功能产生的周期性和反射运动相比,熟练运动通常涉及有意形成特定目标或结果。这些运动可以是完全自发的,例如,拿起电话给某人打电话;它们可以表示更大任务环境中的阶段,例如,准备食物时打开盘柜或回击网球发球。从这些示例中可以看出,运动很少是一种孤立的行为,而是与世界的更大一组交互的一部分,并因此,运动通常是一系列行为的一部分。
学习有意识的熟练运动涉及学习成功实现预期目标或结果的感知提示和运动动作(例如,达到抓取对象或向球传递动量)。学习涉及在重复任务或类似的任务时迭代这些解决方案。
如本领域技术人员将理解的,教学依赖于两种主要模式:示范和练习。理论上的示范应该集中于帮助学生理解他们需要了解的行为或运动的指示。练习是指执行重复的过程。研究表明,示范往往侧重于任务结果,而不是对运动协调性的分析。因此,运动技能获取可以通过提供在执行期间传送的特定信号来加速。特别地,两个信号将是有利。首先,信号强调运动的构成中使用的结构元素。其次,信号表明这些元素的哪些特征在运动结果中起作用。然而,这些信号必须适应个人的技能水平和他或她的特定运动技术。
用户在目标和结果方面形成对运动能力的抽象理解。大多数用户都会学习使用并发起运动的背景。因此,在最高级别上,人们可以从其运动库的知识中评估其表现。运动技能的技术细节在很大程度上是无意识的。这部分地是因为运动执行速度太快,人们无法直接控制其技术。因此,大多数学习都遵循反复试验过程。实现目标的运动基本得到加强。
难以或不可能直接评估运动技术。用户通常只通过其结果间接确定技术。因此,很难明确地指导运动技能系统的技术方面。培训师和教练越来越多地使用策略来帮助用户形成与正确运动技术相关联的感官记忆。验证正确的运动特征的反馈信号可以通过关联来用于加强这种运动应该是什么感觉的记忆。这种反馈形式因此加速特定技能的开发和巩固。
在控制层级的特定级别上操作的反馈有三种主要形式:在执行期间发生的实时反馈;例如基于运动结果的信息,紧跟动作之后的反馈;以及在训练盘或活动结束时的反馈。与运动表现的感觉、外观、声音等相关联的固有反馈、以及运动结果和与任务和环境的交互提供了可用于评估表现和帮助训练的大量信息。然而,个人必须学会识别和评估这些信息来源。
增强反馈是补充关于任务或运动的固有信息的信息。增强反馈的两大类别是:结果知识(KR)和表现知识(KP)。KR表示关于实现的结果或目标的表现后的信息。其有时被称为增强。然而注意,并非所有的运动都有与运动表现分离的结果。KP表示关于运动技能和模式化的信息。该信息对于获取复杂的运动技能很有用,例如,需要高维空间和时间协调的技能。以前,难以在许多活动中测量和跟踪表现。MEMS运动传感器的出现为使用关于来自测量的运动的运动学和动力学(动力学(kinetics))的信息创造了广泛的可能性。
在支持熟练运动中涉及几个级别的反馈。反馈在整个神经系统的分层组织的不同级别上起作用。皮层和皮质下的功能涉及运动模式的形成和实现以及用于校正和调整运动的不同反馈结构。在最低级别上,脊髓和皮质下系统用于物理实施。该系统接收来自皮层和皮质下结构的命令。反馈包含在肌肉、肌腱和关节级别感知的信息,并在脊髓回路级别进行调节。在脊柱和皮质下之间是控制姿势的系统。反馈包含来自前庭和本体感受的信息。脊髓回路与小脑结合。在中心是形成复杂的运动模式(特别是运动相位的组块和排序)的系统。反馈机制使用来自视觉、听觉、触觉源提取的提示的信息。该系统的任务是对行为与外部任务和环境元素进行微调和同步,例如,调整运动相位的定时或调节相位轮廓。相位通常是由皮质回路产生的序列的一部分。最高的结构是用于感知、计划和执行的皮质系统。该系统组合了感官和感知信息的各种来源,以建立可用于生成计划并且监视行为的表现和结果的表示。该系统可以处理更为抽象的信息形式,例如,口头或书面的。
基于技能的行为由携带本体感受信息以及无意识的外感知信息的信号驱动。基于技能的行为涉及自动化感官运动系统。基于规则的行为是由标志或提示驱动的,该标志或提示通常描述环境的状态,并确定要激活哪个所存储的模式。基于知识的行为由符号驱动,该符号描述与概念表示相关的抽象状态并用作推理或计划的基础(参见图23A至图23B)。
人类信息处理模型帮助理解反馈信息的类型和运动行为的相关联部件。作为示例,表1概述了网球中的信号类型、提示/标志和符号。在最高级别,基于知识的行为对应于击球类型和身体定位等,以便在给定关于整体情景意识的信息(例如,从外感知信息中获得的对手行为)时使用。在中间级别,提示触发行为。在最低级别,信号用于调节肌肉反应。
表1:网球中的信号、提示/标志和符号的示例。
在最高级别,基于规则的行为涉及基于通常从外感知信息获得的标志或提示来确定要激活哪个模式。在中间级别,提示用于时间运动执行。例如,视觉上提取的球的特定状态(例如,触击)可以用于指示发起后挥拍或前进击球的时刻,并且调节初始加速度的强度。最后,在最低级别,基于技能的行为对应于运动模式。信号主要是本体感受信息。感官运动系统的延迟和时间常数太大,无法为快节奏的熟练运动提供连续的反馈校正。神经肌肉时间常数(从运动皮层到肌肉反应的信号的时间)约为20~30毫秒;另一方面,从视觉或听觉刺激到物理反应的响应时间为约200毫秒的量级。因此,熟练的活动依赖于开环执行。反馈例如针对基于特定提示的间歇性动作而结构化并且控制相位的定时。大部分开环执行意味着必须学习节段,以便准确地再现。预测运动结果的机制对于在执行时能够调节运动是必要的。这个一般模型可以应用于用来辅助或训练人类运动行为的增强。原则上,可以在所有三个级别上设计增强。然而,运动技能假设结果已知,主要涉及基于技能和基于规则的行为。
最有用的KP反馈形式是有助于理解任务或运动的形式。这就解释了为什么提供参考轨迹来在之后建模并不一定有用。从这个意义上讲,KR的优点是提供了关于运动隐含正确性的客观信息。
由于人的注意能力受到限制,因此选择也解决这些限制的增强并且可能以允许大脑利用用于有效操作信息的机制(例如,组块)的方式来组织增强是重要的。
创建KP反馈有助于理解任务或运动。这可以通过使用运动的运动学和动力学测量来实现,该测量以与运动的功能维度(包括生物力学、运动控制和感觉或感知机制)相一致的方式产生与运动结果连接的并且按照定时和形式等进行组织的表现知识。
运动分析和提示平台技术的核心部件是将运动分解成基于包括肌肉协同作用的生物力学和运动控制原理的基本运动单元。这使得可以生成将任务结果与这些表现元素的要求相关联的反馈。同时,因为运动单元是连贯运动语言的一部分,使用基于运动组织来结构化的反馈,将显然帮助更好地克服注意力受限。利用将增强和教导这种语言的技术,可以帮助获取使用自组符号系统难以开发的运动智能形式。
通过在自然功能元素和特征内进行工作,可以将因个体差异而产生的影响分解出来。着眼于从表现数据得出的活动的结构特征,并随后识别功能元素内对特定结果有贡献的特征,可以设计出针对个人运动特征但在技能和风格范围以及由于伤害和其他因素可能出现的差异上一般化的反馈增强。
复杂的运动行为可以被排序为运动元素。大部分任务由一系列阶段组成,并且在不同的相位中描绘复杂的运动。因此,为了分析运动技能,需要理解运动元素如何组成。首先,如何通过对运动节段进行排序来实现复杂的运动,并且其次,如何通过协调不同的身体节段来实现各个节段。
首先是根据任务和环境的元素在时间上分解成子任务或子目标。其次是分解为可以并行组合的空间部件,以实现协调运动模式库。运动模式本身通常涉及一系列相位。
复杂的人类运动是高维的,即其描述需要大量的状态变量(位置、速度、角度)。具有代表性的复杂性是部分由于涉及线性和角运动的6个自由度的三维(3D)空间造成的。当涉及多个身体节段时,这个数字会倍增,并且一旦需要考虑韧带和肌肉,这个数字就会呈指数级复杂化。另外,还有动力学的影响,动力学规定这些状态变量如何随着时间的推移而发生变化,并通过力的作用(包括诸如惯性耦合的内部效应和诸如肌肉或空气动力学的外部作用等)而相互作用。出于这个原因,甚至在3D空间中跟踪单个节段或对象,例如,网球拍或前臂,也需要十几个状态变量。通过耦合微分方程来描述其时间演变。这些差分约束和其他关节配置的约束等导致可用于分析的几何特性。
从控制的角度来看,运动规划的公式化通常遵循运动方程、初始状态和目标状态的规定。这些问题可以作为动态计划或者是两点边值问题来解决。轨迹是通过求解使预先指定的成本函数(例如,轨迹持续时间或能量)最小化的轨迹而获得的。该公式化导致了为最佳轨迹提供条件的方程。因此,对于给定的初始状态和目标状态(例如,其指定结果),通常存在唯一的最佳运动轨迹。控制和轨迹优化框架为运动的概念化和分析提供了有用的工具。例如,可以定义成本函数,成本函数可以帮助表征人类轨迹,例如,测量能量或更一般的物理性能。此外,轨迹优化中使用的变分法使得可以研究轨迹变化与轨迹结果之间的关系。
运动组织的三个主要级别是:(i)运动轮廓及其相关结果。例如,该级别对应于任务基本描述,并表示整体运动元素或单元,例如,网球中的网球击球,(ii)运动轮廓通常由一系列的多个相位组成。该级别对应于生物力学实施级别,即肢体节段和关节如何协调以实现复杂运动。(iii)然后,可以将运动相位轮廓分解成肌肉协同作用。该级别对应于神经肌肉实施,即,如何通过肌肉单元的叠加来实现轮廓。肌肉协同作用表示肌肉激活模式。
第一项对应于可以被认为是语义特征的事物,即可以用于实现预期结果的一般运动技术,并且与由大脑开发的用于划分工作空间并实现与任务有关的一系列结果的策略相关。
第二项,相位分割,对应于运动的内部结构,并且与神经系统在考虑可用的神经肌肉系统的情况下实现特定结果的策略相关。
第三项,肌肉协同作用,描述了各种肌肉如何被激活,以实现相位级别的运动轮廓。协同作用通常提供空间和时间部件,这些部件可以组合,以实现各种运动。因此,预计同一套协同作用可以被其他运动重复使用。然而,例如,在网球中,臂节段配置在不同的击球相位处可能会非常不同,因此,在每个相位中可能会使用不同的几组协同作用。
例如,来自可穿戴运动传感器或光学运动捕捉系统的运动测量表示非线性时间序列。时间序列的分析依赖于理解所基于的动力学的结构特征。特征与运动架构相关联,例如,网球击球或高尔夫挥杆中的运动相位。可以通过使用计算可视化工具获得洞察,例如,相位空间;然而,状态可能有太多的维度,以至于是不切实际的。因此,数据应该减少。从可用测量中捕捉的行为数据导致高维状态空间。另一方面,驱动行为的动力学可能是较低维。降维可以用来发现行为下面的维度。其属于无监督学习技术的类别。
对于非线性时间序列,目标是将用高维时间序列xt描述的原始运动数据转换为保留运动动力学的几何特征的低维描述。这可以通过使用Taken的嵌入理论来完成。降维的最近应用的示例包括步态分析。
在一些应用中,运动相位分割可以基于对运动相位的预先存在或经验性理解。运动相位分解的准确性以及相关的有限状态模型的有效性可能因人而异,或者甚至在所考虑的运动类别上明显不同。由于运动动力学和控制过程是非线性的,因此对于相同的预期运动和结果可以存在广泛的运动模式。具体的运动结构将取决于个人的技能、技术、特定的身体特征、生物力学以及包括伤害、疾病等的其他因素。因此,相位分解需要一种方法来确定最佳运动分割及其有限状态描述。作为示例,图15A至图15E在网球击球的有限状态模型结构方面示出运动模式结构的发展。
虽然运动通常是高维行为,但训练过的运动通常具有特定的模式。模式具有有用的属性,即使行为依赖于许多自由度(DOF)但是有用的属性可以由少数主导的DOF来描述。由于神经运动过程提供的协调以及其他感知和控制机制,模式形成较低维度的系统。然而,较低的维度可以隐藏复杂的几何和拓扑结构。
通过关注与特定运动的动力学模式相关的低维流形可以分析运动架构。使用非线性动态系统,公式化可以访问分析和建模工具,这些工具在某些条件下可以通过测量行为来重建模式动力学。然后,可以分析重建的动力学,以确定然后可用于确定有用的抽象或模型的结构和几何。
使用用于分析非线性动态系统的数学工具,运动模式可以通过与离散时间非线性动力学相关联的非线性映射F来描述:
xt+1=Ft(xt,t,∈t) 方程1
运动模式的非线性模型因此可以由映射F来描述。该映射捕捉生物力学、感官、运动控制过程的组合影响。该模型假设学习的活动导致确定性动力学。也可以使用连续时间表示法,在这种情况下,动力学被表示为常微分方程(ODE)其描述向量场并且通常称为流。导致相同渐近行为的一组初始条件被称为吸引域。这种非线性动力学模型可以描述广泛的现象。该模型可以分解为可以访问各种有贡献的系统和过程的子部件。例如,可能可以明确地建模用户如何根据条件变化来调整其运动模式,例如,针对触击时球高度的变化而调整正手上旋击球。然而,在这个时候,行为被视为提取了各种内部机制的闭环行为。
非线性动态系统的语言使得可以通过不同的动力学或映射的集合{Fα,Fβ,···,Fγ}{Fα,Fβ,···,Fγ}来描述在特定活动(网球、滑雪、手术等)中组成用户库的运动模式的集合。在许多非线性时间序列中,运动系统状态变量x通常不能直接观察。相反,例如,通过运动传感器来获取测量值y。观测值或测量值可以定义为:yt=h(xt,ηt)yt=h(xt,ηt),其中,h是输出映射,并且ηt是测量噪声。
最高级别的运动属性被称为“运动等效性”。大脑产生在其完成的结果方面是等效的运动这一事实强调了这种想法,即在最高级别,大脑编码结果及其与任务目标的关系。与目标相关联的计划和监控功能是大脑的执行系统的一部分。例如,在网球中,球员基于期望的结果和条件(球状态,包括预期的触击高度、速度和球旋)来选择击球类型。甚至在连续的条件和结果内,也可以识别不同类型的击球。运动特征中的不变特征使得能够在运动类别之间进行描绘,例如,在一个特定类别内的运动可以通过诸如刚体平移和旋转的某种平滑变换来关联,即,这些运动在这类变换下是不变的。整体运动类别可以细分为子类。例如,分层分解将基于相关的相似性对运动进行分组。
在网球中,基于等级表示不同类型的特征的运动,整个击球类别可以细分为几十个子类。对于这个示例,顶级层级被称为类别级别。其区分击落地球、凌空、发球等。击球类别之间的区别主要基于触击点的高度。此外,可以基于触击侧(即,正手或反手)来创建子分类。甚至可以基于结果(上旋、平击、切削)和强度来描绘更多的子类。除了这些常见的类别之外,然后还可以基于击球技术的额外方面添加更细微的区别,例如,开放或关闭式站位。大多数击球特征可完全根据球拍轨迹确定,并因此不需要额外的测量,例如,球员在球场上的位置。库中的每个运动模式类别具有不同的形状并且可以占据不同维度的空间。形状和维度是由转变映射F给出的动力学的结果。库是这些形状的集合。从数学的角度来看,运动模式的几何特征可以通过嵌入理论来描述。这个想法是用来确定全面描述运动的DOF的子空间。系统的维度和包含轨迹的流形的几何描述运动类别结构。
与非线性系统动力学中的情况一样,状态转变映射F(动力学)、输出映射h和状态向量n的维数是未知的。非线性时间序列分析技术可以(假设确定性动力学F和平滑输出映射h)从测量行为获得的时间序列中估计与运动模式相关联的动力学。库特征可以提供有关技能的各种信息。通常在特定的类别中分析运动,而不考虑整体库结构。针对特定活动域的运动库描述了用户如何组织任务域的结果和技术。将运动分类为库的最简单方法是从时间序列中提取特征并应用聚类技术来确定类别。
运动分类已用于与技能建模无关的其他应用,例如,活动检测或手势识别。手势识别是自然人机界面的一个增长方面。后一种应用中的总体目标是确定运动基元,这些基元提供对该域中可能发生的各种运动的低维描述。基元可以用来分类运动。该库随后可以被其他代理用来识别人或机器人代理的意图,并且例如允许代理之间的协作。手势分类的重点是识别语义特征。在本申请中,目标是基于与运动技术和结果相关的特征进行分类。通常,可以在语义的意义上考虑击球分类的较高类别(例如,击落地球对凌空或反手对正手),较低级类别与技术相关。
通过生物力学、神经肌肉约束以及与任务有关的约束的作用,产生活动域中特定的整体或模式库。从最普遍的意义上说,这些模式描述了个人的运动技术如何用来实现结果。运动特征的一个重要方面是它们如何分解成相位。因此,总体运动模式特征是相位结构的结果。
行为中的序列顺序和运动相位结构是不同的。序列顺序与活动级别相关联,例如,与活动约束(例如,过程阶段、规则等)相关的特征。运动相位与运动技术相关联并且与运动系统的特征相关联。例如,在网球中,阶段包括:发球,然后移动到预料的位置,当球返回时对位移进行调整,为击球作准备,以及使用期望的结果所需的击球类型来接触球。阶段的总体顺序对应于行为的顺序。可以分析每个阶段,并且可以分析与其相关联的运动。运动的相位结构定义了流形的拓扑特性,驱动相位的动力学定义了其几何特性。
通过组合几个运动相位来实现许多复杂的运动,导致运动的进一步时间结构化。示例包括运动步态的相位或网球击球的相位。模式的相位结构化通常来自内在运动约束(生物力学)、任务约束的某些方面以及与运动控制和决策机制有关的功能因素,如其他地方所讨论的。例如,在步态中,不同的相位与基本的腿部生物力学和地面相互作用的力学相关联。
在网球中,用户的总体目标是回击迎面球。这是通过在用户击球时赋予向前动量和旋转来实现的。用户通过调节赋予球的线性和角动量来控制球。对于熟练的球员来说,整体网球击球运动包含由腿部、臀部、肩部、肘部和手腕组成的动力链。协调这些节段,以形成从后挥拍开始一直到随球动作和恢复的连续运动。在仔细的检查时,可以识别不同的相位。确切的相位特征很大程度上取决于技能水平。初级球员主要是从肩部挥动球拍,而不与身体其他节段进行非常精确的协调。高级球员利用整个身体运动学来最大化结果。最终,相位特征反映了身体节段的生物力学和神经运动策略的组合,包括通过最佳使用身体能力来实现最高的结果可靠性的肌肉协同作用。不同的相位与不同的生物力学功能相关联。例如,在步行时,已经识别出在步态周期的特定相位(例如,向前推进、挥拍起始、减速等)激活的协同作用。
可以使用来自约束最佳控制的概念来解释约束在创建不同运动相位中的角色。在最佳控制中,轨迹节段与单个弧的概念相关,单个弧对应于由轨迹激活不同的一组约束的节段。一般来说,这些系统使用切换的控制法则来最佳地控制。控制法则基于系统状态的划分来确定。由于系统由控制动作驱动,并穿过状态空间的不同分区,所以控制策略切换以最佳地考虑动力学的局部特征。
在非线性动态系统描述之后,轨迹相位可以在数学上描述为确定性动力学的序列F1,F2,...,FN。整个轨迹通过一系列初始值和渐近行为而获得,其中,下一组初始值对应于先前相位的终端值(图3)。与每个相位相关联的动力学源于不同的关节和肢体节段配置和力场。因此,可以为每个动力学F1分配由初始状态集和目标或子目标集指定的状态空间区域。例如,一旦动力学从初始集开始,初始动力学F1将把状态置于其子目标集χ1,并且从那里,假设状态满足下一个动力学F2的初始状态条件,则系统将切换到下一个相位等。与动力学之间的切换相关联的状态值(例如,χ1i=χ0j)定义相变。与每个相位相关的动力学源于不同的关节和肢体节段配置以及力模式。力模式源于时空肌肉激活模式,即肌肉协同作用。
协同作用描述了用于实现运动的不同肌肉群和肢体节段之间的协调。协同作用是通常为神经肌肉协调保留的一类运动基元。在之前讨论的示例中,可以通过这些基元的组合来获得在活动中观察到的各种运动轮廓。因此,分解为协同作用可以再次帮助深入了解参与运动技能的一组生物力学和神经部件。反过来,该信息可以用来获得关于生物部件的理解,并且可以用于身体表现、伤害预防。
流行的技术是非负矩阵分解。已经用各种测量来表征协同作用,包括端点、关节和/或身体节段的运动轮廓以及例如由表面肌电图(EMG)提供的肌肉和神经活动。测量类型显然决定了结果的准确性。例如,简单的端点或身体节段测量可能不会提供与神经肌肉活动强烈相关的协同作用。协同作用分析尚未并入可用于评估和康复的临床环境。由于在神经运动层级(用于抓握的运动皮层、用于姿势的脑干以及用于运动的脊髓)的不同级别已经识别出协同作用,所以肌肉协同作用分析可以提供神经运动缺陷的更精确图像。
一些运动有明确的结果或目标。这个目标可能是运动的结束状态,即χgoal=χN,或者可能是中间相位的状态,例如,子目标。后者就是网球击球的示例。虽然球的触击是击球的主要目标或结果,但这一相位并不是运动的实际结束。触击之后的运动相位(随球动作)是整个运动模式的重要组成部分。大多数复杂的运动涉及许多身体节段或自由度。因此,状态轨迹是多维状态向量,并且需要在参与该动作的不同状态轨迹之间添加区分。焦点和推论运动是可区分的;焦点运动例如是击中键的手指运动;推论运动例如是所有其他手指的运动,这些其他手指是对于击中键的任务来说必不可少的整个运动模式的一部分。虽然不是每个运动行为都有明确的目标或结果。例如,滑雪中使用的大部分运动都是为了控制滑雪者的速度和方向。从动态系统的角度来看,这个目标涉及通过滑雪者与地形的相互作用来生成向心加速度。根据滑雪者的状态和地形条件,腿部和臀部等的不同运动模式用于实现最佳结果(将在其他地方讨论)。对于确定性的自主动力系统,来自给定初始状态的轨迹是唯一的,并且假设系统具有稳定的渐近行为,则重新注入相同的初始状态将导致相同的轨迹模式。
可以定义最佳轨迹,其使系统通过相序来实现目标条件(结果)同时最小化性能目标(例如,猛击或能量)。考虑到生物力学约束、肌肉协同作用等,最佳轨迹与特定相序关联。在相变处的条件(即一组初始状态和子目标状态χ1i=χ0j以及描述转变的动力学Fi)表示最佳轨迹的特征。
绝对最佳轨迹是给定结果的全局最佳解,而局部最佳轨迹是针对给定相位结构的。例如,后者表示由于缺乏灵活性、技能或受伤而只能实现有限的一组配置以及有限的肌肉力场的情况。
在最佳控制理论中,初始值的扰动导致相邻的最佳轨迹。如果初始值在所谓的系统的吸引域内,则可以保证这一点。类似的想法可以用于动力学F中的扰动。这种扰动的动力学导致略微不同的渐近行为,然而,对于足够小的扰动,轨迹保持足够接近标称轨迹以致这些扰动轨迹属于相同的运动模式。轨迹针对其保持在吸引域中的初始值和动力学的扰动范围定义了可接受的包络。动力学和干扰中的扰动由时间相关噪声项∈t捕捉。
图3示出了对于假设的运动模式的轨迹包络300。这个示例中的运动包含中间目标集。轨迹包络300描绘了状态空间随时间推移的区域,并突出显示可行包络310和可接受轨迹的包络320以及最佳轨迹的包络330(x*0i)和最佳轨迹350(x*(t))。运动在模式化和相位分割方面的结构由其时空特性给出。运动特征由包含轨迹的流形的几何和维度来定义。示出了几个相位,包括:运动初始、相位1、相位2、中间目标相位、随球相位和恢复相位。这些运动模式特征通常根据通过分析非线性时间序列所获得的运动模式流形的拓扑来确定。用户可以选择属于相同运动模式并且仍然达到目标条件或结果的“可接受运动”。这可能由于运动目标条件(触击高度和速度)的变化或运动的不完美起始而发生。次优轨迹仍然可以达到期望的最终状态或结果,然而,它们通常需要更多的体力,可能会在一些肌肉或关节中造成压力或其他不良影响。物理表现可以通过肌肉骨骼系统的模型和诸如能耗的成本函数来描述。
属于相同模式的运动因此可以通过相对于标称轨迹的扰动来相关。此外,轨迹扰动还会导致主要结果的扰动和任何其他次要结果特征(例如,不同相位结果)。因此,利用这些数据,例如可以通过回归分析或敏感性分析来确定轨迹扰动(对应于运动技术)与结果扰动之间的关系。该信息为生成技能特征提供了量化基础,例如,技术的哪些方面有利于结果,反之亦然,哪些方面对良好结果不利。该知识反过来可以用于训练,并最终帮助合成反馈法则,用于实时提示。
通过将运动模式建模为具有不同动力学Fi的相位节段序列,模式动力学可以被抽象为有限状态模型。在目前的情况下,有限状态是单个相位动力学Fi,其将系统从初始值xi0带到下一个子目标状态xi1。更一般地,初始和子目标状态由集合表示以考虑通常在人类行为中预期的变化和干扰。通过这个模型,整体运动行为然后由从初始状态和初始运动相位触发的某个有限状态自动机给出。运动行为结合了连续动力学和离散变量,这些变量捕捉可能与离散决策变量相关联的相变和模式切换。混合模型可用于许多现代工程应用中,包括用于例如自动化系统以及人机系统的机器人。一旦表征了运动的结构,就可以用有限状态模型来描述该运动。
与当前状态唯一确定系统的演变(即,在干扰或模型不确定性内)的确定性模型相比,统计模型描述未来状态的概率密度的演变。诸如动态贝叶斯网络的统计模型在数据驱动方法中变得越来越流行。运动域的流行应用是对人类活动的识别。这些方法通常需要学习基于统计模式分析的活动相位;并随后利用该知识将状态空间离散为离散状态;并且最后,确定状态转变概率。一个常见的模型是隐马尔可夫模型(HMM)。大部分符号系统侧重于离散的比赛结构,并且可用于分析比赛计划,但目前并未达到实际的运动技能水平。
实时运动相位估计可以由本领域中受过训练的人员来实施。例如,运动中的多层HMM应用可以基于与用于实时语音识别的模型类似的模型。解码用于语音识别的声音记录通常在多个级别上进行。这些大多数都与语音产生系统的组织级别有关。语音分解的单位基于组合以形成音素的电话。音素是用于形成单词的基本构建块。音素与声音运动的特征有关。在该运动模型之后,对应于在顶层具有描述运动相位的可能序列上的概率分布的运动相位模型。在中间级别,相位模型在运动部件方面描述运动相位的组成(比较协同作用)。并且最后,在底层,描述运动部件的运动模型基于可用测量(IMU单元或其他传感器)中的特征。
由于解剖学、风格和技术水平的个体差异,针对相同的总体结果的运动可能是非常不同的。差异可以体现在运动相位结构中。例如,对于初级网球球员来说,向前击球将是基本的运动,其主要包括由从肩关节实施的向前挥拍运动。在技能获取和发展的过程中,大脑将学习更好地利用身体潜能、身体节段的协调范围以及其他运动系统部件。
复杂的运动涉及多个身体节段的协调;有些节段紧密协调,而其他节段(例如,手指)可以独立。随着运动技能的发展,运动技术的演变与运动系统的多个方面的变化(包括身体表现(例如,肌肉力度)的发展)相关联。技能分析最关键的是获取协调,这涉及到中枢神经系统的变化。随着运动技能的发展,运动模式在架构上发生深刻变化。因此,技能分析必须捕捉潜在的结构变化。学习复杂运动的特征是学会使用和协调由身体提供的大量自由度。可以通过修改和扩展有限状态模型来捕捉运动的结构变化。除了其他因素之外,运动相位结构还由与任务相关的各种约束和功能要求的影响造成。运动相位结构演变的一个方面可能与语音产生中引入的共同发音的概念有关。需要一系列运动元素的任务,训练可导致形成新的运动元素(参见图15A至图15E)。这些是通过相邻元素的交互形成的。已经在简单的任务中研究了动作相位之间的链接优化。然而,协同发音主要关注元素之间链接的过程。
可以嵌入或部署在环境中的运动传感器的范围提供对用户、行动者及其装置的运动动力学的广泛方面的测量。考虑到运动系统的层级深度,运动分析的范围可以在多个级别上进行。例如,可以侧重于神经运动方面、运动技术和结构、结果、一直到战术和策略级别。
运动技能(特别是对于开放运动技能)的详细分析,很快变得复杂。例如,在网球中,击球运动是包括球轨迹、步法一直到球场运动、比赛战术等的更大的协调和交互的系统的一部分。对击球运动的分析通常包括球拍轨迹(即,末端执行器或装置),即使该轨迹是涉及上肢身体和从脚、腿和臀部开始的驱动运动的运动链的结果。因此,应该跟踪许多元素和身体节段,以提供运动表现的完整描述。
通过直接观察查看,在重复试验中人类表现通常存在显著变化,使得难以应用易理解地并且特别地描述个体的技术和技能的定量模型。另外,由于具体的身体类型、身体素质和技能水平,用户的运动技术是高度个人化的。因此,能够捕捉对用户唯一的元素和特征,并能够不断调整训练方法以适应用户不断演变的技能,这是至关重要的。
熟练的行为依赖于有组织的策略并且建立在神经过程的明确定义的分层组织上。因此,为了实现从技能的评估和描述到向用户合成反馈的系统化过程,需要定义建模语言,该语言捕捉运动的结构和组织并且基于基本原理和人类运动科学原理。
在语言隐喻之后,在概念上,核心技术集中于解码运动数据,以提取可用于技能分析的相关运动元素。自然语音处理中的相关元素是语音产生的组织单元,称为音素。然后可以使用解码的音素来识别单词并最终识别引述的含义。为了帮助提取对于个人的运动技术的技能分析和诊断有用的运动单元,这些单元与用于运动产生的过程相关。这个分析然后可以被转化成指令并合成增强系统。
并行地,系统利用基础设施来操作各种过程。基础设施的基础是从支持高效处理、加工、跟踪和管理运动技能数据的运动单元导出的数据结构。此外,该结构允许对技能部件及其功能特征进行汇编,以设计针对运动技能表现和学习的精确方面的反馈机制。所提出的技能模型和伴随的技术适应人类表现中自然发生的细微差别,并建立在人类运动系统及其各种功能和学习机制固有的结构特征上。此外,这些方法捕捉给出用户在活动域中的其多功能表现的全局技能部件以及执行和适应特定任务元素和条件所需的特定技能部件。
图4A至图4E示出了用于其他运动活动的主要运动单元(用户10的网球运动单元410、高尔夫运动单元420、棒球运动单元430、滑雪运动单元440和跑步运动单元450)的运动架构的示例。附图还突出了运动相位和主要结果。
增强的技能平台可配置以通过组合运动捕捉技术、技能建模和分析工具以及可针对于运动表现的精确方面的一组反馈形式来创建用于训练、维护和康复运动技能的集成环境。该系统训练运动技术,以优化与其操作域的活动相关的一组结果。
任何任务都可以由环境元素EE和任务元素TE来描述。例如,一个人操纵装置(例如,网球拍)、末端执行器或一件装置,以与任务元素TE(例如,网球)交互。另外,可能有可以与活动的描述有关的杂项配件Z,例如,鞋子、衣服。工作空间W包含在环境中,并且通过表征任务的成功和执行的各种约束和规则(例如,网球场和网球比赛)来指定。在网球中,这个人是球员(或多个球员);任务环境是网球场;任务元素是网球;并且装置是网球拍,并且配件Z是鞋和其他装饰物,例如,臂带或头带。此外,可以包括各种输出装置,包括图形显示器(例如,LCD、OLED等)、触觉装置(例如,嵌入球拍握把内)、扬声器。最后,考虑各种输入装置,包括触敏显示器(用户界面)、键盘等。输入和输出装置可以用可由这个人佩戴的智能手表、平板电脑或可穿戴装置的形式集成。
所使用的整体元素、代理和其他部件(包括测量、输入和输出装置)被称为增强的人类系统或简称为系统S。具有该一般设置的系统的其他示例包括机器人系统、控制论系统(例如,装有假肢的人)、人机系统(人通过远程操作来操作机器人)。例如,诸如手术系统(可从IntuitiveSurgical公司获得)的机器人手术系统是作为集成增强运动技能系统的示例的机器人。
可以从人类行动者、装置或系统的不同部件获得测量y。通常,仪器被设计成获得包括针对特定分析水平的相关变量的测量。例如,在分析人网球击球表现时,状态或球拍运动的子集可能就足够了。关于身体节段(例如,手臂、腿、脚等)的额外测量对于能够分析场地上的运动、步法或诸如运动链或其他运动单元的身体运动是必需的。可以使用各种技术来获得这些测量,包括惯性运动单元(IMU)、视觉或光学跟踪系统等。示例包括使用捕捉更广泛的代理行为和任务环境的摄像机。视觉处理也可用于提取关于个体身体节段的运动的信息。一类重要的测量是捕捉生理量的测量。例如,注视跟踪系统用于测量视觉注意力。因此,如图2所示,在球拍挥拍期间握着触击球30的网球拍20的用户10(或球员)具有跟随在运动期间改变的轨迹的注视12。可提供一个或多个运动跟踪相机210、210',其捕捉与用户10、网球拍20、球30、运动和环境相关的数据。惯性测量单元可以嵌入或固定在装置上;由代理穿戴,以测量身体节段的运动;或甚至放置在皮肤上或植入体内,以测量在肌肉控制中涉及的肌肉活动或神经信号。参考图5,其示出了具有表面肌电图(EMG)传感器510、肌内电极520和IMU 530的用户的臂14,用于说明目的。IMU使用加速度计和陀螺仪的组合(有时还使用磁力计)来测量速度、方位和重力。
除了测量之外,可以实施数据融合和状态估计技术,以确定未直接测量的状态x。例如,在使用IMU的大多数应用中,身体节段或一件装置的方位需要姿态估计器,姿态估计器组合来自陀螺仪的角速度数据、来自加速度计的加速度和来自磁力计的磁场强度。数据融合和估计的示例是使用从基于视觉的跟踪算法提取的身体节段或装置运动信息,应用于来自摄像机的视频数据以及来自身体节段或装置上的装置的IMU数据。这种数据融合系统可以用来提供对身体节段或装置的绝对姿态的精确估计。使用混合系统符号在形式上描述典型的网络物理系统。这种符号系统组合连续和离散的量。例如,代理的运动可能受到导致非线性连续时间微分方程的物理法则的支配。离散变量可用于评估与特定事件相关联的条件,例如,对网球比赛中的击球计数或基于相对于任务环境和规则的球轨迹对比赛进行评分。状态变量的类别包括:受控变量、特定行为变量(例如,视觉注视向量)以及代理将其用作提示来作出决策的特征。
动作通常由用户进行并表示向系统添加力或能量。动作通常应用于特定位置,例如,末端执行器或装置。动作通常由对特定结果的有意期望而激起。例如,在网球中,球员想要对球赋予特定的效果(速度和旋转),其最终目标是将球驱动到对手球场的特定位置。事件可以由特定的状态条件来定义。例如,在网球中,重要的事件是球对球拍的触击。事件可以通过对系统状态的约束来在形式上表达,例如,由于触击造成的球拍加速度超过阈值,或者可替换地,当球和球拍速度相等时可以检测到触击。网球的其他相关事件包括球与地面接触以及球何时穿过网。
结果被定义为捕捉任务表现中的代理行为的相关特征的量。为了提供简明的描述,可以对结果进行分级分类,例如,主要结果、次要结果等。结果的定义是分析的范围和水平的函数。形式上表达的结果是系统状态的子集(例如,在特定时间,由事件定义)或状态的函数。例如,在网球中,主要结果是与球拍触击球相关的特征,例如,球离开球拍时的旋转或球的速度。次要结果可以包括球在线床上的位置。根据分析水平(以及可用的测量),更全面的结果包括球在球场上触击的位置。代理A的技能是代理使用其身体和/或工具、装置等来实现期望的任务结果TO并且更一般地与环境元素EE和任务元素TE交互和/或适应环境元素EE和任务元素TE的有效性。
杂项量包括任务或比赛规则(例如,网球比赛的规则)。决策规定代理或其装置或配件中的一个是否是由计算机控制的,例如,用于控制假肢的控制法则或用于自主代理,规定其在环境中的行为和动作的规则和算法以及响应于环境和/或其他代理。
图1示出了系统的概况,并且接着描述了‘增强的人类系统’,并且最后是通用运动模型、技能模型和不同的增强形式。图1中所示的迭代训练过程示出了两个主反馈回路:评估回路100跟踪技能获取过程,并且增强回路120在训练和任务表现期间增强用户的人类运动行为。评估回路100可以用于跟踪和更新关于用户技能的信息,包括运动模型和技能模型以及用于识别运动技术中特定缺陷的诊断工具。所识别的运动和技能模型与诊断评估相结合,为生成用于组织训练过程的一组指令提供了基础,并合成用于驱动增强的提示法则。用户接收两种主要形式的反馈:指令和实时提示。这些指令通常在场次期间以特定间隔产生,例如,完成一套训练,或训练场次后。指令通常以视觉形式呈现,并强调表现和技能的更全面的方面。
增强回路可以用于通过聚焦于已经通过诊断工具识别的运动特征来锻炼运动。提示过程针对特定特征以直接影响运动结果和表现。提示系统使用基于评估期间推导出的运动和技能模型所合成的算法来计算反馈信号。这些提示实时传送给用户。根据考虑了技能发展的分层结构以及运动和技能属性的时间特征的分层组织,传送评估和增强反馈。
训练评估回路由训练代理管理。增强回路由提示代理管理。这些代理实施了两个过程,并能够跟踪在这两个级别的进展,并提供必要的用户功能(参见图1和图6)。
图6示出了提出的对于目标技能140的平台的主要部件。该平台描绘了具有运动系统16(包括中枢神经系统和周围神经系统)的人类用户10(或受试者),其在相应的任务环境中的特定活动(如这里所示的网球)中锻炼他或她的运动技能。一些活动包括诸如网球拍20的装置和球。运动用于产生与活动相关的特定结果或适应环境条件。例如,在网球中,主要结果是对球轨迹的控制(包括诸如在球场上的触击位置、触击速度以及确定当球落在球场的另一端时球将如何反弹的旋转效果的特征)。用户装备有某种形式的运动测量装置,例如,获取运动数据622的惯性测量单元(IMU)。运动测量装置可以分布在相关的身体节段和/或装置上。用户的运动也可以使用运动捕捉系统(例如,基于视觉的运动跟踪系统)进行测量。此外,该系统还可以配置为监控任务环境并跟踪相关元素,例如,网球相对于网球场的运动。传感器装置也可以嵌入球或其他相关元素(例如,仪器化的网球)中。
实时反馈增强依赖于在具有提示处理器的提示系统624上实施的提示法则(也参见图7)。这些提示法则可以基于运动轮廓特征或间歇性反馈、基于经由提示刺激626的离散运动特征,来提供连续反馈。来自提示法则的信号使用作为提示系统624的一部分的提示生成器传送给用户,该提示系统产生可以在运动表现期间被用户察觉的提示刺激。提示系统624和发生器可以集成到可穿戴装置中。典型的提示刺激包括听觉、视觉或触觉。换能器可以集成在服装、配件等中。运动技能的表示要求根据运动系统的多个组织级别来分解运动数据。如果这种表示是基于人类运动系统的基本属性进行的,则表示将以基础的方式提供对技能的评估,这将更容易和直接转化为训练干预。本地主机628(例如,平板电脑、智能手机、智能手表等)可以将训练和提示信息传送给用户。增强合成630可以包括训练时间表或目标632和反馈增强634。增强合成630可以将训练指令传送给本地主机628或将提示法则传送给提示系统624。经由运动数据获取622从用户收集的数据可以继续执行包括运动处理610、运动模型650(即,运动模式库系统状态机)以及提供结果导数的库的技能评估和诊断660的步骤,其中运动处理610对导致相位分割的运动模式进行解析和分类。然后将源自运动处理、运动建模和技能评估的数据提供给增强合成630。
图7提供了关于提示处理器700的操作的额外细节。提示处理器700具有三个主要操作:相位估计和特征提取710、提示法则720和提示生成730。相位估计和特征提取710还包括检测/预测相位开始712、提取初始相位状态714、提取相位轮廓参数716和提取结果718中的一个或多个。提示法则720还包括与参考定时722进行比较、与目标状态值724进行比较、与参考轮廓726进行比较、以及与目标结果728进行比较中的一项或多项。提示生成730还包括相变提示732、相位轮廓提示734、警报736和结果验证提示738中的一个或多个。提示处理器700的输入是运动数据,而输出是一个或多个提示信号。提示信号750是提示处理器700的输出。提示信号750具有相变提示752、相位轮廓提示754、警报756和结果验证758中的每一个的一个或多个。
图8示出了场次的运动活动的整体时间结构。该图突出了主要的划分级别,包括场次、盘和对打(连续击球),随后是运动组织的主要单元,在这个示例中是击球,击球进一步分解为相位并且最后分解为动作。
大脑组织和控制运动的方式对于大多数熟练的运动活动来说基本上是相同的。用户与任务元素和环境的交互产生特定的运动架构。运动架构和相位分解是由于需要适应生物约束和特定于任务的结果类型而产生的。然而,相同的一般类型的组织的级别和相关联的运动元素。图4A至图4E示出了不同运动活动中的主要运动模式和相位分解的示例。许多活动共享相同的基本运动结构和组织。因此,运动模型和技能模型以及技能分析和增强可用于广泛的活动。
熟练运动可以根据运动系统组织的三个主要级别来建模:1)将运动全局划分为具有其相关联的主要结果的不同的运动模式,该结果可以根据运动库来共同描述;2)将这些模式在时间上划分为相位节段;3)随后可以在运动协同作用下分解这些相位。运动库描述了由用户使用以实现有效处理特定活动中的各种环境和任务约束或适应条件所必需的结果范围的运动模式的集合。库的发展是开放技能的特征。复杂的运动通常由不同的相位组成。此外,运动相位结构描述了用户的运动技术,该运动技术描绘了发展以实现与每个类别相关联的结果的运动相位序列。运动或肌肉协同作用描述了大脑如何组织运动来利用身体的能力。肌肉或运动协同作用表示与运动系统相关联的运动行为的基本构建块或单元。协同作用描述了肌肉和身体节段如何协调以产生组成运动模式的运动相位。运动模型为技术和技能的分析提供了基础。
运动分类和随后的映射描述了由个体获取的运动模式的范围。库多样化传送了关于球员的多功能性的信息。运动模式通常与主要结果相关联,并且因此,库还提供了结果范围的描述。运动模式是动态的,因此,跟踪其发展提供了有关个人如何适应其环境和任务的唯一信息。
对库中不同运动类别的相位分解描述了个人如何将不同技术用于任务中的不同结果。相位节段轮廓包含有关个人用户如何实现其运动结果的详细信息。由于相位结构是由功能和生物力学约束产生的,因此,在与相位相关联的特征方面的运动技术的分析,可以传送与训练更加直接相关的信息。同时,与运动模式的整个时间序列相比,这种表示是稀疏的。同一类别中的轮廓的变化或差异传送了有关用户如何实现其结果并处理条件变化的信息。
例如,在网球击球中发现的那些运动相位涉及复杂的运动协调。相位分解传送关于用户利用自然运动生物力学和任务元素和约束的能力的信息。每个相位的轨迹都是通过协调众多肌肉和身体节段来实现的。运动相位的分解允许识别肌肉协同作用和生物力学特性。最后,每个相位还具有特定的机制来实现适应能力。例如,相位是用于在不确定和动力学条件下执行的感官运动结构的一部分。运动相位是实现将运动与外部任务和环境元素同步的适当定时的重要部分。相位由不同的感官提示触发。
该系统可配置以帮助各种运动应用的训练或康复的增强平台。刚刚描述的运动结构和组织的元素代表了可以用来建立集成运动处理、分析和增强系统的语言或汇编系统的主要元素。图6示出了如何部署这些过程,以实现增强的人类运动活动。运动结构和组织的元素表示了由用户学习和存储的主要元素。因此,通过技能增强的效果,它们表示通过反馈增强的效果进行操作的元素。在评估回路级别,迭代训练过程有效地重组个人的库。在增强回路级别,反馈增强通过操纵运动相位特征及其与结果的关系来重塑(或重新编程)运动模式。过程I-III是作为评估回路的一部分的运动处理功能。这些过程支持训练评估并更新支持增强的算法(用于有限状态估计的有限状态模型、提示法则等),并且包括运动处理610、运动建模650以及技能评估和诊断660。过程IV-V是支持增强回路的增强系统的合成和实现。它们分为两个级别:指令和实时反馈。指令通常在配备有屏幕或其他设备的主机上实施,以显示符号或视觉的信息。反馈提示通过提示处理器和提示生成器并且基于信号和提示而实时实现(参见图7和图10)。
图9示出了从测量数据中提取的运动部件之间的系统集成,并强调了用于技能评估和诊断以及各种反馈元素的合成的部件和过程之间的协同作用。感兴趣的运动模式是与给定活动的主要结果相关联的运动模式。它们被称为运动基元或主要运动单元(MU)。运动技能处理部件包括运动处理数据910、运动模型950、技能模型评估和诊断960以及反馈合成930。系统输入是运动数据。运动数据处理910包括检测、解析和提取运动模式和结果918、将运动模式分类916、分割运动相位914以及分解运动相位和肌肉协同作用912。运动模型950包括一个或多个模式轮廓的运动模式库956、一个或多个相位轮廓的模式相位轮廓954以及包括运动生物力学、神经运动表现、任务约束等的相位功能特征952。技能模型和评估诊断960包括库962(例如,库映射,库度量(例如,尺寸和变化性)和结果)、相位轮廓964(例如,轮廓特征、表现测量和最佳性测量)和功能966(例如,相位轮廓结果导数、相变结果导数、运动适应)。反馈合成930包括指令932(例如,用于报告的数据、训练协议)、验证警报934(例如,强化、结果验证、表现提示、相位警报)和提示法则936(例如,实时反馈、相位强化、结果特征验证、结果优化、相位定时)。
在训练、比赛或定期表现期间,收集运动测量数据。处理该数据,以提取与活动相关的运动模式或主要运动单元。解析运动数据,以提取与主要动作相关联的节段并提取与其结果相关联的信息。对模式进行分类,以提取不同的类型和类别的运动模式(参见图11)。运动类别和结果形成了运动库。运动模式按照分层组织进行分解,包括分割运动相位以及根据运动协同作用分解相位节段。来自运动库及其相位和协同部件的不同类型的主要运动模式共同形成运动模型(参见图9中的950)。运动模型提供可用于技能分析和诊断的数据(参见图9中的960)。技能分析和诊断包括运动模型的三个级别(参见图9)。在库级别,可以相对于任务要求评估有关模式和结果范围的信息。在运动相位级别,关于运动技术及其与表现和结果的关系的信息。在协同作用级别,运动部件描述了运动相位轮廓与身体节段和肌肉的协调之间的关系。基于图9所示的在运动模型和技能模型方面的运动组织,所提出的框架可以用系统的方式组织运动评估和反馈提示。
评估回路跟踪用户的纵向技能发展。然后,训练代理提供环境来查看和管理训练评估和指令。训练代理基于评估向用户提供各种输出,以帮助理解和训练运动技术。两个主要输出是指令和反馈增强。指令在知识级别操作,并且最适合于记录技能发展中的中长期方面。反馈增强在信号和提示级别操作,并在表现期间实时生效。图6中所示的反馈增强合成630将分析和诊断的结果转换成在增强620期间提供给用户的训练指令。在详细描述和网球示例中提供了合成的示例。实现是指将指令转换和传送为在增强620期间呈现给用户的可理解且可操作的形式的过程。可以在不同的时间生成指令:在表现期间、紧接在运动之后或在训练场次之后。通信的形式包括符号语言(口语、文本)、提示(视觉、听觉、触觉)或信号(视觉刺激、听觉刺激、触觉刺激)。通信的形式是根据人的信息处理和与运动的结构和组织相关的功能属性来实现的。
指令可以被组织为三个级别:(1)利用反馈或提示法则为特定运动类别强化最佳运动特征。提示法则将运动模式节段中的特定相位解释为感知和感官运动过程。(2)基于运动库的组织定义“训练时间表”,根据运动模式及其相关联的相位分割之间的分层关系来构建库。(3)使用个人现有的运动模式扩展运动库。
建立反馈增强,以生成强化运动技术中导致结果改善的特征的刺激。该原理基于学习理论,例如,神经元群体选择理论。该理论本质上指出,选择并强化与良好结果相关联的行为,而消除对结果不利的行为。运动相位结构还与用于适应变化的条件(例如,定时和强度)的特定功能机制相关联。运动计划的功能特性以及相关的感官和适应机制为训练更大能力(例如,任务级别交互(环境和任务元素)所需的感知机制)提供了基础。
通过通信系统呈现评估结果。训练和提示代理是用于管理评估回路和增强回路的系统(参见图1)。跟踪和训练运动技能的技术可以采用各种信息处理和管理能力。图13示出了组织和管理用户的运动技能的通用平台架构的概述。该平台具有可以存储在云计算环境中的开发算法服务器1310以及也可以存储在云计算环境中的运动和应用服务器1320。可以提供主机1340,其例如是包括用户界面和训练代理以及装置管理器的智能手表、智能电话或平板电脑。此外,嵌入式装置或传感器可以与和该活动(如果有的话)相关联的一件装置(例如,网球拍20、滑雪者或滑板)相关联。该平台组合了用于通信的部件、用户界面、计算和数据存储。特别地,组合了云计算,这使得可以存储、管理和处理大量数据,具有嵌入式感测和计算,从而可以为数据收集和实时反馈构建必要的可穿戴硬件。这种系统为超越可以通过单个人的数据所能实现的能力提供了机会。来自众多球员的数据为分析不同技能水平的技能以及生物力学、年龄、健康、装置等方面的差异提供了机会。因此,该平台的一个重要方面是组织和管理集中的运动数据、运动模型、技能模型、提示法则等。由人口数据实现的能力是在不同技能水平上有关运动技术的信息的可用性。这可以用来交叉参考类似技能人员的技能分析,提供借用一个人的技术优势来加强第二个人的训练的机会。如本领域技术人员将理解的,云计算环境的使用仅仅是一种配置,并且在不脱离本公开的范围的情况下,可以使用其他计算环境。
为了实现这种大规模组织和管理能力,可以将额外的级别和控制特征添加到图1中的部件。
运动分析以及提示和增强平台具有多个功能,包括例如:(i)运动处理功能、(ii)运动模型和评估功能、iii)反馈增强功能、以及iv)技能发展跟踪功能,如图9所示。四个子部件使实现:解析、分类、相位分割和将运动分解为协同作用。解析是分割和提取与主要运动模式或运动数据处理910相关联的数据节段的过程。这些模式是运动行为组织中用于完成活动中的各种主要结果(例如,在网球中击球、在滑雪中刃转)的主要运动单元。例如,在网球中,主要运动结果对应于球拍触击球(参见图4A至图4E)。结果具有可检测到的明显特征。因此,对于目标导向的运动行为,可以通过检测与运动结果相关的特征来执行解析。可以类似地识别达到运动或其他目标导向的运动以及投掷或拦截运动。解析也可以通过使用与运动模式相关的更一般的特征来完成。其他特征包括例如运动学特征,例如,网球击球向前挥拍的相位中的球拍加速。对于非目标导向的运动,例如,滑雪,运动操纵的特征通常提供足够的信息来将该行为解析为一系列运动基元。例如,在滑雪中,可以从顶点的运动学或转弯的进入相位检测转弯操纵。结果是基于活动定义的,并且通常是已知的量。例如,在网球中,击球的结果是球的上旋、速度、方向等。结果可以定义在不同的级别,例如,击球级别和比赛级别。在网球方面,后者与比赛结构和得分计划有关。一些结果可以直接从测量中确定,而其他结果需要根据测量进行估计。因此,在功能级别,解析涉及:发现检测与MU相关的事件的特征;生成MU的时间序列描述;提取与MU相关联的运动结果。
该系统的输入包括数据流,并且输出包括MU的时间序列描述、其相关特征和结果描述符。与活动检测应用(10-25Hz)相比,运动技能分析应用要求以明显更高的速率(100Hz或更高)采样测量数据。运动也可以涉及多维状态变量。因此,测量时间历史导致大量数据。此外,测量数据通常扩展到包括对未测量的量的估计,例如,空间中的装置方位。当多个传感器连接到不同的身体节段时,情况会更加复杂。大数据对于操纵和分析(特别是对于实时应用)可能具有挑战性。低维抽象用于高效的实时分类。一般的分类方法是通过低维特征向量表示时间序列。然后,可以使用这些向量来使用数据聚类技术来有效地确定运动类别。反过来,运动类别成员资格信息可用于根据原始时间历史重构全维运动类别。这些可以用来进行运动分析,例如,用于评估运动技术或技能。
图14示出了运动模式轮廓的总体分类。如网球示例中所使用的,从运动轮廓提取击球特征开始,随后用于将击球的成员资格分配给各个类别。生成运动轮廓的集合1410,其将输入到运动轮廓的成员资格分配1420中,该分配又输入到分类的运动轮廓的集合1430中。运动集合特征表示1440将输入提供到运动轮廓分类1460中,该运动轮廓分类1460又将输入提供给分类特征1480。分类特征将输入提供给运动轮廓成员的资格分配1420。
通常提供测量数据,作为时间序列典型的MEMS IMU测量通常包括三个线性加速度[ax;ay;az]和三个角速率[p;q;r]。测量通常是下采样(周期Ts)并过滤,以产生具有适当信息和尺寸的时间历史。大多数应用涉及某种形式的状态估计(例如,姿态估计)。因此,通常对状态向量数据执行分类,该数据允许可靠描述运动表现。以下示例假设球拍运动由身体加速度和角速度来描述。
X是n×N矩阵,其中,n是状态的数量,并且N=tmeas/Ts是样本的数量。例如,以tmeas=2秒历史描述运动轮廓,以1kHz采样,导致6×2000=12,000个数据样本。
特征表示涉及将运动示例X(t)∈χ映射到其特征描述F:
其中,χ是示例空间,并且Fi是特征空间。使用少量数据选择特征,来描述运动轮廓X(t)∈χ,使得有效的处理、分类和分析成为可能。图14示出了从原始数据到特征空间的映射,将原始数据分类并映射到分类成员资格。然后,可以使用每个类别收集的运动轮廓,对运动技术和技能进行详细分析。特征表示可以区分不同运动类型的时间历史的属性。在下文中,这些特征被定义为提供关于在运动轮廓长度上的选定时间处的运动状态和动态状态的信息。这些特征还可以通过更正式的方法来选择,例如,基于分析运动轮廓的集合并确定变化的和不变的特征。如果这些变量的特征不是由于噪声造成的,则表示将在运动类型之间进行最佳区分的特征。相反,不变特征不包含有关运动类别的信息。确定区分特征的一种方法是对运动轮廓集合执行主成分分析(PCA)。与较大特征值相关的第一个特征向量描述数据中的方差,并且因此可以帮助识别最具信息性的数据样本。
一旦已经定义了充分描述特定类型的运动的一组特征,可以将这些特征或其子集用于分类。对于基本分类,可以基于与运动机制相关的物理或经验标准来选择特征。或者,可以基于“数据驱动”过程来选择特征,例如,基于PCA的特征分析或K均值聚类。
为了识别网球正手/反手或削球/上旋球,可以确定这些运动类型和结果的必要条件。经验分类产生一组预定义的击球类,例如,在击球树中所示(图11)。相反,“数据驱动”分类提供了有关个人击球库特定结构的信息。其有效性取决于收集的运动数据的量以及个人数据跨越球员库的程度。然而,生物力学的个体差异(由于解剖学、伤害、疾病、衰老等)可能会导致不跨越典型状态范围的库。
预定义类别的优点(例如,基于任务或活动的域标准)在于,提供在比较多个球员时非常有用的绝对标准。预定义类别具有绝对优势。个人可以基于相同的标准进行比较,并提供一种方法来评估收集的运动数据跨越标准库的程度。分类平台可以配置为组合两种方法。这些可以代表特定活动的标准化运动分类标准。数据驱动的分类将用于深入了解个人运动模式。后者然后可以用来定义和改进标准类别模型。这种类型的分析对应于平台中的顶层过程(在图13中显示为开发算法服务器1310中的技能模型和运动模型库)。鉴于预定义的一组特征,分类通常只需要特征子集。特征分析和选择涉及从可用特征中识别要使用哪些特征子集。一种常用的特征分析和选择方法是主成分分析(PCA)。
运动架构可以模制为一系列动力学,具有初始和目标集。因此,目标是能够将较大的运动单元(例如,整个网球运动)分割成这些子单元或相位,如图11所示。可以分别由单个相位动态Fi和相关的初始和子目标状态集χi0和χi1来描述的相位元素从生物力学系统与任务环境和约束的交互中出现(参见例如到达运动)。运动相位通常反映生物力学约束以及与动力学、运动控制以及与环境和任务的交互相关联的因素(参见图2)。捕捉运动相位结构,可以更好地表征这些贡献。最后,从相位分解获得的见解用来导出有限状态模型,有限状态模型可用于有限状态运动相位估计。该模型将整体运动描述为表示运动相位的有限数量的状态之间的一系列转变。
运动相位源于生物力学和神经运动系统以及与和任务和环境元素交互相关的功能方面。进一步分析相位内的运动可以提供有关实际运动实施的详细信息。例如,网球击球组合了身体、肩膀、肘部和手腕运动。初学者的击球主要是通过简单的肩部运动(水平外展和伸展)实现的。随着球员的进步,这种基本活动与肘部和手腕运动相结合,形成更复杂、更高维度的运动单元。
运动协同作用由分解技术(例如,非负矩阵分解)确定。通过数学分解技术确定的协同作用(例如,主要部件或矩阵分解)不一定与肌肉激活有关。尽管如此,这些元素仍然可以提供运动的相关时空特征的见解。这种理解然后可以用来描述技能和反馈增强。可以从各种测量或状态中提取协同作用,例如,相关身体节段的空间配置。可以从协同作用中获得的见解和理解类型取决于运动测量的信息内容。为了获得代表实际肌肉激活模式的肌肉协同作用,通常需要EMG测量或神经信号的测量(例如,参见图5中的前臂内旋和旋后)。基于因子分解技术的分解仍然提供有价值的信息,特别是如果结果与生物力学分析连接的话。这些分析可以针对相位涉及的主要身体节段进行。
运动模型(参见图9方框II)是从运动处理中提取的元素中导出的。从三个运动组织的层次中导出这些元素。将MU分类为单独的类别。类别集合形成了与用户体验和技能相关的运动库(MR)。将MU分割成相位序列和与相位相关的特定相位特征。分解各个部分或相位。这些成分与身体节段协调下面的肌肉协同作用或激活模式有关。分解可用于使运动特征与肌肉骨骼约束相关。
该元素集合包含到运动模型150和可包括在图1的运动模型150中的技能模型中。运动模型150可以具有各种输入和输出,例如包括:输入:MU的时间序列表示的集合;以及输出:MU组织,作为具有两个级别的数据树:MU类型和每个MU类型的相位;分类功能。技能可以通过运动如何利用自然运动能力来实现其特定目标或结果以及这些运动如何实现适应能力来补偿各种条件来确定。下面描述运动模型(参见图9方框II)如何用于评估技能和目标技能增强和提示(参见图9方框III)。运动技能传统上从两方面进行评估:表现知识(KP)和结果知识(KR)。技能的关键问题是这两个方面是如何相关的,即运动技术如何用于实现预期的结果。击球技术必须满足各种约束条件,包括生物力学和任务约束,还需要适应变化的任务条件。运动库描述了用户使用的各种模式,以完成特定活动中所需结果的范围或适应条件。运动相位结构描述了用户的运动技术,描绘了开发的运动相位序列,以达到与每个类别相关的结果。由特定活动域的这些类别形成的运动库描述了已经获得的运动模式集合,以生成有效处理各种环境和任务约束所需要的结果。运动或肌肉协同作用描述了大脑如何组织运动来利用身体的能力。肌肉或运动协同作用代表与运动系统相关的运动行为的基本构件或单元。协同作用描述了大脑如何协调肌肉和身体节段来产生组成运动模式的运动相位。用户的技能可以基于库的特征进行评估,例如,多大程度地跨越行为,测量或估计结果。运动模型捕捉反映任务要求和运动生物力学之间关系的运动元素和特征。这些元素和特征可以用来对运动技术和技能获取进行全面评估。这种评估方法基于运动结构、组织和技能发展原理。
运动技能评估的部件在图9中示出(方框III),并且包括:a)在库级别,评估侧重于运动模式和相关结果的一般特征以及如何组织与任务和环境要求和元素的关系。b)在运动相位轮廓级别,评估侧重于运动技术和运动模式。c)在功能级别,评估侧重于运动的内部结构及其详细的功能特征,包括技术与结果之间的关系以及用于适应任务条件的机制。
库代表了行为空间在任务执行级别的离散化。反映了整个行为范围如何在不同的任务条件下分解以实现结果,同时最好地利用生物力学、神经运动、感知和认知能力。个人利用各种条件并且反过来创造出不同类别的能力也是技能水平的反映。库的发展需要制定类别(涉及识别环境和任务条件等)这一事实也是更高层次认知技能的结果。组成库的不同运动模式代表与运动等效概念相关的基本组织单位。提取的类别测量与特定活动相关的运动库的宽度以及协同或运动类别的质量。考虑到活动,目标是跨越足够大的库,以支持多功能表现,即,处理不同的环境和任务限制。跨越库的模式应该适应不确定性和干扰。预计高级的球员库进行结构化并且多样化,具有各种各样的击球类别,这些类别具有不同的特征,以实现一系列结果。另一方面,新手球员库预计不太结构化,具有本身较少组织的更少模式。因此,结构的数量和模式的宽度以及实现其结果的程度,为系统技能评估提供了基本元素。
运动模式和特定的相位结构是技能水平的函数。例如,初学者将适应现有的运动协同作用来完成任务。随着他们变得更加精通,运动相位的数量和类型以及每个相位的表现都会发生变化。例如,初学者网球球员将首先使用基本的击球技术,这种技术主要是从前方挥拍相位和后方挥拍相位构建的。随着更多的经验和训练,击球模式将会改进,以包括更多的相位,例如,随球动作,以在触击后、在恢复时优化表现,以及具有后循环的更复杂的后挥拍,这可以实现更快的反应并且更好地满足导致触击的向前挥拍表现的要求。
与运动库的更具全局意义相反,每个类别都代表一种运动模式,获取该模式,用于为特定环境、任务约束和结果提供特定的适应性表现。虽然库中的活动类别涵盖了广泛的条件,但类别需要适应机制来适应任务和环境条件的变化。给定类别内(即,运动轮廓内)的其余变量部件是由于运动噪声(例如,εt)引起的。因此,一旦对运动模式进行了分类,每个类别内的运动特征分析提供了有关个人技术和技能的详细信息(参见节段)。对于高级球员而言,在类别中显示的变化主要与适应任务要求(例如,触击条件和身体配置)相关。对于初学者球员来说,变化主要来自运动噪音,例如,由于未经训练或协调不良的运动模式。对于初学者球员来说,变化也是由差异很小的运动模式类别引起的,即,用户混合两种模式,而没有足够的类别定义。例如,用户可以调整相同的击球结构来执行上旋和平击球。
可预测的运动结果需要在相变过程中精确配置身体节段并且在相位轮廓期间需要肌肉活动和身体节段协调的可靠的、可重复的模式。此外,还提供了各种校正机制,以校正运动表现的不同阶段的干扰或不确定性的影响。运动相位以一种允许在任务要求和环境约束条件下最好地利用人体肌肉骨骼和神经运动能力的方式分解轨迹。因此,这些相位通常与生物机械、运动控制或任务约束的重要特征相一致。一旦分类,运动模式代表相同的运动(在别处描述的经典意义上)。因此,这些轨迹提供了有关运动约束的各种功能方面的精确见解,包括感觉运动机制和生物力学。此外,运动技能(特别是开放技能)是由环境交互造成的。例如,在网球中,击球由基于上下文选择的结果、比赛所提供的这种机会以及不断适应条件决定,包括迎面球的确切轨迹和对手的运动。击球架构的开发是为了适应任务交互,特别是信息(感知)和运动表现之间的协调。因此,相位分解提供信息,以评估个体如何适应条件并优化结果。运动模型和相关的分解技术和数据结构可用于生成支持分析、可视化和反馈增强的各种输出。
运动技能诊断旨在生成可以轻松用于支持合成训练干预和增强的可操作信息。与每个相位相关的详细运动特征使得可以分析已经获得的功能特征,以获得结果,以及用于适应任务条件的机制。特别地,一旦运动技术和成果以简洁而充分的描述性形式捕捉,这些信息就可以组合,以分析特定运动特征与运动结果之间的关系。这种敏感性分析为合成反馈增强法则提供了基础。一般的方法是评估与MU有关的运动技术的特征,这些特征有助于运动的结果和其他属性,例如,运动的适应能力。这些包括:(1)识别对结果贡献最大的给定运动类别的运动特征。(2)识别与个人最佳结果相关的给定运动类别的运动特征。这些特征为特定的运动类别和结果定义了最佳运动特征。(3)识别与适应相关的给定运动类别的运动特征。对于与用于补偿任务条件的技术调整相关的给定结果,运动类别的技术具有可变性。输入可以包括运动类别;参数可以包括结果或性能标准;并且输出可以包括特征向量。
需要了解如何设计反馈,以便针对运动技术的特定方面,并指导正式分析框架中的技能获取。在工程应用中,可以使用动态编程来确定轨迹x(t),以优化成本函数J(x(t)),其可以是运动结果或运动表现和结果的其他方面,例如,运动的能量(即,运动的平滑或猛击)。由一系列相位描述的运动允许用比其他必需的变量少得多的变量来将运动参数化。所提出的运动模型的一组参数包括运动相位初始和结束条件、时间信息以及相位轮廓动力学Fi的参数。剖面动力学是由肌肉协调模式或肌肉协同作用产生的力场的结果。
运动相位的表示也有助于更好地建立结果与运动特征之间的关系。即,结果的优化可以被表述为参数优化问题或参数编程。这是可能的,因为结果可以表示为有限数量的参数的函数,而不是整个运动轨迹。该模型为运动的功能分析和反馈增强的制定提供了基础。作为参数优化问题的运动优化的制定假设运动结果(或表现)可以表示为需要最大化(或最小化)的目标或效用函数J(x,Θ)。量x是优化变量,而Θ是参数。对于运动优化制定,Θ可以用来表示运动模式的结构,即运动模式配置参数,并且x是指定一般模式内的运动轮廓的参数,即运动轮廓特征。例如,考虑到网球击球类别,例如,正手上旋,配置参数确定与和个人的击球相关联的运动结构相关联的击球模式(参见图15A至图15E)。运动轮廓参数包括运动结构内的扰动,例如,在相变处的运动状态中的扰动和/或关于相位轮廓的扰动。
优化的目标是确定最小化或最大化目标函数的参数值。可以包含约束函数g(x,Θ)≤0,以描述运动配置的可行范围,并且可以包括参数空间Θ∈Ξ,以描述运动配置参数值的范围。参数优化的一个简单解决方案是梯度下降(或上升,取决于目标是最小化还是最大化目标函数)。考虑到分别用Θ和x描述的轨迹示例的运动模式结构和轮廓特征,通过在运动轮廓特征中应用小的变化迭代更新运动,可以优化目标函数:其中,γ是步长。
该框架可用于提供运动技术的诊断,包括在轮廓特征级别和模式级别。对于由运动模式配置参数Θk指定的运动结构,相对于轮廓特征x的目标函数的梯度由下式给出:
这提供有关目标或结果对轮廓特征的敏感性的信息。因此,可以使用该分析来识别控制运动结果的一组特征。在触击时施加给球的旋转的示例改变了后回路开始时的球拍方位角和仰角以及向前挥拍开始时的仰角和翻滚率(参见图16B和图18B)。
类似的方法可用于确定模式配置特征及其对结果的影响。目标函数相对于模式配置特征Θ的梯度由下式给出:
这提供有关目标或结果对模式配置功能的敏感性的信息。然而,模式结构中的扰动可能不够连续或光滑,以允许数值敏感性分析。
技能模型和诊断函数提供可以转换成各种增强的信息(参见图9中的930)。参数化编程框架演示了各种形式的反馈增强的技能诊断和合成所需的基本元素。在实际实施中,敏感性分析以及甚至模型可以使用机器学习的统计方法来实现。利用这个框架,可以使用该分析来识别运动结果的一组模式特征。这个特定的信息对于运动模式的诊断是有用的,并且最终用于设计用于重塑运动模式架构的反馈。
下面描述了用于进行系统评估以提供合成增强所需信息的技能分析的元素。来自库中的运动类别的运动数据和相关结果提供关于由对象获得的运动技术的变化范围的信息。可以对全面的运动轮廓集进行排序,以基于诸如能量、挺举、结果水平等属性来确定不同的子集。与运动模式及其结果范围相关联的特征定义了该运动模式的当前特征包络。包络描述了运动结构中的功能特征以及与个人运动表现相关的变化和扰动。一些变化是由于运动噪声引起的,另一些与调节运动相关,以控制结果水平并适应条件。
例如,可以识别对于受试者的当前运动技术最佳的运动轮廓的子集,其中,可以使用诸如能量等目标函数来评估最佳性。该子集为个人的最佳技术提供参考。因此,使用该组中的运动轮廓可以用来加强运动技术。这可以通过向球员或主体提供在运动表现期间检测时验证其最佳技术的信号来实现。
此外,在同一类运动中,不同的轮廓自然地表现出结果水平的变化。捕捉运动特征与结果变化之间的关系提供了关于个体用来调节结果的技术的信息。同样,有关这些功能的信息可用于生成反馈信号,以帮助球员了解结果调制。
该组运动内的信息还可以提供帮助个体进一步优化其运动技术的基础,例如,以改善平滑度或增加其结果水平。遵循这个模型,可以通过生成信号来优化个人的运动表现,该信号提供关于应该修改运动特征的方向的信息。例如,从方程3中提取的参数可以描述一组轮廓特征,例如,相位之间的转变点处的运动的配置,或相位轮廓的特定运动特征。
基于这些概念,可以定义正常的和扩展的包络。包络捕捉与结果调制相关的特征(对于网球示例,参见图16D)。扩展的包络对应于导致超出目标所达到的范围的结果增加的特征。扩展的包络及其相关特征定义了可用于结果优化的运动变化范围。
训练复杂运动技能的一种挑战是缺乏关于表现或结果的信息。很少有自然信号可以帮助用户了解其运动技术是否正确。该知识在执行期间传送时最为有效。结果验证反馈以实时或接近实时的评估方式运行。表现知识(KR)和结果知识(KR)可以帮助个人训练。然而,没有自动化系统能够以系统化的方式自动传递反馈信号,建立在人类运动系统和人类技能获取过程之上。下面描述可用于增强人类表现的反馈模式和提示机制的类型。
在图6中描绘的增强系统620内传送反馈。运动架构和结构表示由人类用户学习和存储的主要元素(参见图6)。因此,通过技能增强的效果,表示通过反馈增强效应操纵的元素。这解释了如何使用反馈增强来重新编程人类运动系统。在两个主要级别上设想反馈:在增强回路级别,反馈增强通过操纵运动相位特征及其与结果的关系来重塑(或重新编程)运动模式。增强包括提示信号或由提示系统622提供的激励和由通信系统628提供的指令。在评估回路级别,迭代训练过程有效地重新组织该个人的库。
反馈合成指的是将关于不同技能评估和诊断部件的信息(图9方框II和III)转换成扩增层级的不同级别的反馈的过程。可以在不同的时间生成指令:在执行期间,即实时提示,紧接在运动之后(验证提示),或者在训练场次之后。通信的形式包括符号语言(口语、文本)、提示(视觉、听觉、触觉)或信号(视觉刺激、听觉、触觉)。
图21示出了迭代训练系统过程的方框图。总体表现数据库2110将表现数据提供给总体技能评估2120。可以生成或更新2130训练时间表,其可以被提供给用户轮廓。另外,训练场次管理2140可包含来自数据库和其他传感器的信息,以提供作为训练轮廓导航2150呈现给用户的建议的训练轮廓。用户选择训练轮廓并且实施训练场次2160。在训练之后,可以发生特定技能评估2170,随后是训练场次管理2140的迭代重复。另外,特定技能属性数据库2180可以向系统提供信息。
如段落[00175]中所述,增强的实现遵循人类的信息处理和与运动的结构和组织相关联的功能属性。增强模式也可以基于知识、提示和信号命名来描述。场次后通常是以可视化或指令的形式。它们被认为是知识级别。实时和接近实时通常基于信号和提示(参见图22)。
主要反馈形式在图12所示的实时提示与场次后或盘后之间划分。1)实时反馈1210,用于加强特定运动类别的最佳运动特征。提示法则将运动模式节段中的特定相位解释为感知和感官运动过程。2)接近实时反馈1220,向用户提供关于当前运动的属性和结果的信息。3)场次后反馈1230:它是长期的并且包括基于运动库的组织的“训练时间表”,例如,根据运动模式及其相关联的相位分割之间的分层关系来扩展该库。
反馈提示基于与运动模型描述的运动的结构和组织相关的功能特征。如段落[00189]中所述,有限状态模型提供了与人类运动系统兼容的轨迹的稀疏表示。运动架构源自各种功能特性。因此,该架构为实施反馈增强提供了基本结构。
从有限状态模型中,轨迹由一系列子轨迹xi表示,每个相位i和转换条件定义每个相位的初始值。在有限状态符号之后,特征包括在相变处的状态(在图3中示出的初始和终端状态xi0、xi1以及相位的相位轮廓特征xi(),ti0≤t≤ti1。前者涉及在图3中的运动轨迹中的初始和结束(子目标)条件、后者涉及动力学,即与肌肉协同作用有关的力场特征。这些量表面上是用于执行运动计划的大脑编码的信息类型。
相变和相位轮廓结构定义了两个主要提示机制。相变提示是针对在相位结束时和随后相位开始时的运动相位的特征的提示。相变用作段落[00135]中描述的一类子目标,因此,相变提示可以例如提供关于整个运动模式上的中间运动配置的信息。相位轮廓提示是针对相位轮廓特征的提示。这些提示可以帮助实现相位轮廓属性,例如,加速度或角速率轮廓。相位轮廓提示也影响当前相位轮廓之后的相变。
这些提示机制用来实现不同的提示目标:验证或加强运动的各个方面;提醒阻止对结果或身体有害的特定运动特征;并且发信号,以改变运动技术,例如,改进运动技术,以最大化结果或最大化针对给定结果水平的运动技术的有效性。
1)“结果验证”提供反馈信号来验证运动结果的满意成果。运动后可立即生成结果验证提示。这些提示充当加固。通过评估产生时的结果来启用该功能。
考虑结果z,例如,该结果可以表示为运动状态的函数:
并考虑最佳结果:
利用这个公式,可以定义反馈信号,该信号传送关于结果级别的信息。例如,结果层A、B、C可以被映射到在运动结果瞬间可以作为音频脉冲生成的音调。
2)“结果特征验证”提供了与给定结果水平一致的运动特征的验证。离散化结果集映射到相变(或相位轮廓)上的特征。例如,在相变i处的A级结果的运动开始时的相位轮廓由下式给出:
然后,可以使用这些区域来生成符合期望结果水平的运动技术的提示。这使得用户可以在由运动相位结构的特定特征描述的行为和这些特征对结果的影响之间建立关联。
结果特征验证提供反馈信号,验证关键运动特征满足所需值,以实现目标结果。该功能通过运动相位分解来实现,该分解允许跟踪各个相位上的运动行为并确定是否满足子目标水平的条件。
相变和轮廓提示有助于用户了解运动相位结构。提示提供了有关空间协调以及时间协调的信息。因此,这些提示的形式也可以被视为本体感受增强的类型,其中,本体感受增强提高了对运动结构的意识和有意识的感知。
3)“警报”可以被认为是验证提示的对立面。该反馈可以被设置为具有特定的功能角色,例如,如果运动状态轨迹在可行区域g(x,Θ)≤0之外(参见图3),则警告用户。与其他提示一样,警报强调相变或相位(相位轮廓)期间的条件。与运动特征同时发送的警报比任意时间或特征更有效。
可以基于对运动轮廓和生物力学系统之间的关系的分析来实施保护用户免受伤害或磨损的警报。例如,在向前挥拍和触击期间的相位轮廓可以被映射到手腕和前臂关节运动和肌肉活动(图5)。协同作用分解可用于确定关节偏转和肌肉激活轮廓。这个映射然后可以用来检测这些量何时超过一些可接受的值。同样,这些信息可用于生成相变和相位轮廓提示,以帮助形成与个体肌肉骨骼条件兼容的运动模式。
4)“成果优化”遵循一般的运动技能获取原理,一旦获得了基本的运动模式(或架构),就被完善并最终优化。如段落[00208]-[00209]中所述,可用于一组运动数据的信息还可以提供帮助个人进一步优化其运动技术的基础。结果的优化对应于学习修改运动,以增加结果的级别。该运动由影响结果的一组特征参数化。这组特征定义了可接受的轨迹。图3示出最佳目标状态340和可接受轨迹320的包络。特征的特定组合导致针对该特定运动模式的最佳结果水平。
鉴于由有限状态模型指定的运动模式架构,可以通过目标相位的函数来定义结果:
结果的敏感性相对于运动曲线可以用敏感性函数来描述,其中,是所有相位特征的集合。具有最高敏感性的特征子集定义了可用于提示用户细化相位轮廓的控制变量。同样,结果相对于运动模式架构的敏感性可以通过敏感性函数来描述,其中,是所有模式架构特征的集合。具有最高敏感性的子集定义了可用于提示用户优化模式架构的控制变量。
基于这个分析,相位定时和初始状态特征是用于提示的理想目标(控制变量)。这对应于提示运动相位的子目标状态(和初始状态)(图3)。例如,在网球中,这将对应于引导后挥拍在向前挥拍的开始时达到最佳球拍定位(仰角、方位角和俯仰)。
5)“运动细化”:在结果水平(方程7)内,运动可以细化,以达到更好的效率,减轻对身体的压力等。例如,为了提高效率而优化运动,遵循与结果优化相同的方法,但结果水平是固定的,目标函数捕捉与细化相关的质量,例如,猛击或能量。
6)“模式重塑”:该想法是通过插入新的相位来扩展先前形成的模式(参见图15A至图15E)。这是一种延伸到运动模式之外的模式细化形式。这个过程可以通过提供强化新模式的结果特征验证提示来实现。提示根据两种不同形式的相位延伸进行操作:插入新相位或将现有相位分解成两个子相位。
参数化优化框架可用于重塑运动模式架构。例如,给定结果函数J(x,Θ),该函数相对于模式配置参数Θ的梯度可以帮助探索模式架构中变化的影响。然而,由于用户特定运动模式类别的现有轨迹流形通常仅具有一种模式,因此该公式可能是不适当的。然而,随着用户技能获取的进展,数据中可能存在一些新模式元素,以支持数据驱动分析。或者,可以根据用户现有数据的参数开发模拟工具,以发现新的模式。然后,可以设计提示法则来强化将模式架构驱动到细化架构的特征。
7)“模式形成”:运动结构取决于技能水平,随着技能的发展而演变。
由于相变和相位轮廓提示仅限于转换运动结构和组织,所以形成新的运动模式需要不同的提示机制。
先前在段落[00221]中介绍的提示公式适合技能水平,然而,相变或相位轮廓提示可能不提供足够的信号来帮助形成新的运动模式。因此,有必要设计反馈提示,其可以帮助形成新的运动架构。下面描述可用于辅助运动模式化或相位结构的形成和重塑的提示机制。
诸如网球击球等复杂运动是动态过程,即时间和空间维度耦合。因此,为了满足在特定时间和空间的触击条件并产生导致期望结果的触击条件,这些轨迹的执行需要记忆由转变点给出的模式空间和状态配置以及记忆肌肉激活模式(肌肉协同作用),这些模式能够动态执行运动相位轮廓并且在运动相位之间转换。
运动序列学习理论表明,学习复杂序列从强调空间特征的显式阶段开始,然后是侧重于神经运动过程方面的隐式阶段。空间运动配置的获取通常通过直接演示或借助视觉显示来辅助。一旦新的运动模式的空间结构被同化,受试者必须学习肌肉激活和身体节段协调的模式,以在动态条件下成功地再现运动模式。这个过程通常不那么有意识,并且在典型的任务条件下可靠地使用之前,依赖于在内存中重复巩固。
用于结果特征验证或细化的提示机制可以帮助连接显式序列元素和隐式运动过程,并且反过来,应该有助于加速运动模式的形成和巩固。
使用提示机制的实时反馈增强通过提示系统来实现。提示系统1000由提示处理器1010和提示生成器1030组成,如图10所示。提示处理器1010包括状态机1020和提示法则1012。提示生成器包括提示编码器1032和换能器1034。提示系统1000可以集成到独立装置中,例如,耳机或可穿戴装置。状态机1020可以被配置为提供运动相位估计1024和特征提取1022。提示系统1000的输入是运动数据,而输出是一个或多个提示刺激(如果需要的话)。其主要功能还可以分布在多个物理系统上;例如,提示处理器可以在嵌入式装置上,并且提示生成器可以在智能手表上实现。用于产生提示刺激的换能器可以集成在衣服或其他配件中。
随着运动模式展开,有限状态估计器识别运动相位和相变。此外,了解各个相位的运动状态,可以提取转换时的运动状态的相关相位轮廓和数值。基于技能评估和技能模型和诊断的知识,提取相关相位和状态特征(例如,相位结果导数、相位轮廓结果导数和结果)。状态估计器使用运动测量来识别在相变时具有相应的启动时间和初始/结束状态的运动相位。相位估计可以用于提取关于运动相位的相关信息,包括例如描述运动特征与运动结果之间关系的状态信息和各种导数。提示法则使用该信息来计算提示信号。提示信号然后被提示生成器转换成刺激。
提示系统具有四个主要部件:相位状态估计器、提示法则、提示编码器和换能器。有限状态模型是运动相位离散状态估计系统的关键部件。运动相位的估计对于实时反馈至关重要。由于在响应中存在潜伏期,因此针对相变或相位轮廓特征的提示应基于对相位和相关相位特性的预测。运动相位可通过相变时的运动学或动力学特征来识别。可以为这些转换特性制定正式的检测规则。然后可以将这些数据包含在估计方案中,例如,有限状态估计器,这可以根据测量自动将运动分为多个相位。然而,一些运动涉及细微的结构特征,相位检测需要更复杂的模型。运动相位也可以基于从非线性时间序列提取的状态转变映射的模型来确定,如前文在段落[00121]中所讨论的。相位状态估计也可以用诸如隐马尔可夫模型(HMM)等统计方法进行。
提示法则与反馈法则类似地操作。采用状态信息并计算控制信号,以影响行为。提示法基于源于评估和诊断过程的技能模型,该模型识别期望的运动表现和结果的运动特征。主要示例是相变时的运动状态及其对前面讨论的运动结果的影响。可以通过敏感性分析来捕捉这种关系。来自提示法则的信号使用提示生成器传送给用户,提示生成器产生可以在运动表现期间被用户感知的提示刺激。典型的提示刺激包括听觉、视觉或触觉刺激。提示生成器由将提示信号转换为编码提示信号的提示编码器和将提示信号转换为提示激励的换能器组成。
提示编码器的目的是从用户可以容易地理解的提示信号中可用的信息中创建提示刺激。基于对解码器类型和内部模型的理解,最佳地设计编码器,用户将使用该模型来解释提示刺激。例如,在可听提示中,可以通过使用音阶的音符来产生提示刺激。音符和谐原理表示用于解释提示刺激的内在模型和解码器的固有形式。编码提示的一种方法是通过量化提示信号并将值分配给量化信号。这允许用户识别提示刺激的不同级别并将这些级别与相关信息相关联。一种方法是使用熟悉的刺激代码,例如,谐波或颜色方案(红色、橙色、绿色)等。这些形式非常常见,用户可以熟悉编码方案,并可逐步实现更复杂的提示。
提示的有效性取决于几个特征,包括事件的感知、运动结构的感知以及自然运动控制中的时间特征。估计目标或影响之前的最后一次校正发生在约290毫秒(用于视觉反馈)。这个时间取决于反馈模式,对于本体感受提示(约100毫秒)和可听提示(约150毫秒)较小。因此,对于在主要运动目标的短时间间隔内提示相位的运动相位轮廓,预期很少或没有益处。例如,来自网球实验的数据显示,在触击之前大约100毫秒的相位中,很少适应是可见的(参见例如图16A,其提供突出显示可用于识别击球相位的模式的球拍角速率轮廓的集合)。实时提示可能还需要预测相变和在未来转变点的运动状态。
为了实现系统的数据驱动的分析和增强,需要操作训练过程。技能增强部件是从分层运动和技能模型合成的。在运动技能模型之后引入了实现、跟踪和管理增强训练所需的元素。
用于解决用户的技能原件的不同方面的组织和技能发展模型(例如,运动库发展和运动模式相位形成)可以分解为皮层水平、皮质下水平和脊柱水平。皮层包括运动库(在长期记忆中)和执行或高层次知觉。皮质下水平包括运动相位模式形成和重新配置,而脊柱水平包括物理实施。通过选择反馈模式,可以针对这些不同的级别。
根据知识级别和提示/信号级别来描述增强函数的合成和实现。图1描述了这两个级别的合成和实现部件。在知识级别,来自技能模型的技能诊断用于合成训练时间表和一个或多个指令。在信号和提示级别,用来合成提示法则。
训练时间表由指定需要训练的模式和结果的训练元素组成(例如,细化或优化)。每个训练元素可以在几种增强模式下执行。这些可以选择为用户偏好。反馈提示被打包为提示轮廓,其针对在前面段落[00223]-[00239]中描述的提示目标1)-6)。指令通过诊断结果概述了关于个人运动技术的关键见解,包括评估层次的各个层次。
在一个实现方式中,训练时间表和指令由提供用于管理长期训练目标的专家系统的训练代理管理。同样,训练时间表内的提示轮廓可以由提示代理管理,该提示代理向用户提供关于选择提示的帮助并跟踪其有效性。技能评估(特别是结果相位和轮廓特征导数)提供了测量,以确定提示形式和机制的最佳组合以及应该如何使用这些形式。
提示代理跟踪特定提示轮廓的运动技术和结果的进展,并可推荐何时停止或切换到不同轮廓。另外,在提示法则激活时获取的运动数据提供了用于验证的进一步测量。提示法则效力在活动时进行评估。一旦提示轮廓的进度达到在合成期间预测的预期水平,训练过程返回到训练代理。
预期有限状态模型的结构在技能获取的各个阶段上发生变化(参见图15A至图15E)。例如,初学者主要关注向前挥拍和触击(图15A)。随球动作是触击的结果,后挥拍并未集成在击球中,而且本质上是加载运动。随着时间的过去,球员学习将随球动作和后挥拍整合为相干击球运动的一部分(图15B)。随着用户将其运动扩展到更广泛的状态空间区域,额外的生物力学约束和动态效应变得相关,因此需要考虑利用扩展包络。结果,运动架构可能非常不同,并且有限状态模型需要适应这些特定的特征,例如,恢复和后回路(图15D)。因此,目标是能够从数据中识别模型结构,以解决由于技术和技能的影响而导致的个体差异。例如,考虑网球击球。在初学者中,早期的击球运动大多是无差别的向前挥拍活动,其主要目标是拦截迎面而来的球。
当网球球员继续打球时,开始区分其运动,以对球施加不同的效果(比较强度和旋转)并且适应触击条件(比较迎面球的轨迹)。网球球员自己、通过调整其技术和/或通过教练的指导来发现这些新的击球模式。击球必须进行优化,因为需要更具体的结果和苛刻的条件。例如,为了实现强大的上旋效应,在触击之前的相位(后挥拍和向前挥拍)中的击球轨迹必须遵循将导致会生成上旋的触击条件的轮廓。例如,在向前挥拍开始之前,球拍头必须下降得足够低。击球技术的优化导致运动架构的专业化。由于这一运动细化过程,整体运动结构随着技能发展。这些特征表明,随着运动结构的差异化和专业化,训练时间表以及整个运动分析、建模和反馈增强应该迭代进行。
有限状态模型的状态可以被设想为具有扩展到高阶状态的主要状态的分层结构。对于网球示例,如图15A至图15E所示,最基本的运动模型由三个状态组成:击球(向前挥拍)、触击和准备(或闲置)。接下来,可以扩展击球状态,以包括随球动作和/或后挥拍等。然后,这三个状态可以进一步扩展:向前击球进入击球启动和拦截、随球动作进入恢复相位、以及后挥拍进入后挥拍启动和后回路。注意,相位结构以及因此结构细化的过程特定于运动模式。
模型的延伸遵循两个基本方向:a)添加或插入新的主要状态,例如,将挥拍划分为后挥拍和向前挥拍的情况,b)通过添加状态,改进或扩展现有主要状态,例如与将后挥拍扩展为后挥拍和后回落子相位一样的情况。在图15A至图15E中以虚线显示新的主要状态显,并且通过围绕这些状态的虚线突出显示新的扩展状态。增加或扩展之间的区别由分层运动结构决定。主要状态是运动子单元,而扩展则由包括运动控制机制的因素决定。在某些情况下,这些区别可能不明确。
运动结构层次与技能的自然发展之间存在关系。此外,初级状态对于更广泛的技能和技术类别是共同的。例如,可以由不同的击球类别共享,甚至可以在用户之间类似。因此,低阶运动模型可以可靠地描述广泛的用户群。高阶模型需要更详细地了解个人的技术。因此,模型可以通过增量过程合成,从低阶有限状态模型开始,然后可以在数据可用时进行细化。
用于图15A至图15E所示的演变运动架构的运动分割和有限状态模型可以以数据驱动的方式从个人用户提取。这些模型可以存储在库中并且能够跟踪技能开发过程,如图17所示。利用足够广泛的技能人口(在风格和技术方面)的数据、关于与运动架构等相关的模式形成的技能获取过程的知识等,可以对长期技能获取进行建模。该信息可以用来设计长期训练协议,这些协议可以考虑广泛的个人特征,例如,形态和身体特征。对运动结构发展的理解可以用来改进个体的运动结构。通过正式的分层模型结构捕捉运动架构的发展,可以设计训练时间表,这些时间表基于对运动架构细化的理解允许系统的技能发展路径。
捕捉运动结构和技能,为跟踪采集过程中用户的阶段提供了正式的基础。然后,这种理解可以用于沿着技能发展路径在每个阶段确定最佳形式的干预,例如,以反馈增强的形式。成功的训练框架的关键特征是能够持续为用户提供价值。在使用系统几个周期之后,统计信息会提供大部分信息,但是然后停止传送新信息。基本统计数据不会捕捉运动表现的细微变化。例如,网球中的四种典型结果(影响分布、球拍速度、旋转速度和球速)不直接提供训练效果、疲劳、伤害甚至装置变化的直接知识。另一个原因仅仅是缺乏测量。例如,步法在网球击球或髋部运动和核心中的作用只能通过测量球拍运动间接捕捉。
除了结果之外,还可以通过跟踪行为的不同方面来访问行为的更全面的特征。然而,提取这些知识依然依赖于专家的解释。随着时间的推移跟踪这些特征可以提供有价值的见解,例如,疲劳开始和特定受伤的影响。由于身体可以补偿这些因素,因此这些各种因素可能无法在结果中充分提取。然而,跟踪运动结构能够监视运动模式的特定变化。诸如伤害等持久性问题将充分改变模式,因此被迅速识别。还可以捕捉随时间发生的细微变化,例如,反馈增强或受伤的影响。利用该系统,可以对用户的健康状况进行全面诊断,并持续传送可用于提供对训练或其他方面进行详细调整的信息。
如本领域技术人员将理解的,用于该系统的典型使用场景的物理实现可以在各种系统和平台中实现。在图1和图6之后,一般的使用场景是反复跟踪和评估技能,同时提供一组运动指令和增强提示,使得用户能够系统地开发运动技能。这种场景对许多运动活动都是有效的,并且在此处被认为是将平台的实现背景化。在这种场景中,系统部件和计算过程以在物联网类型(IoT)平台中找到的物理部件上运行的应用程序的形式实现,包括:嵌入式装置、移动主机装置和云处理器/数据库。这些物理部件实现了平台的系统部件:传感器、主机装置、用户界面(UI)、处理、存储和增强。在应用程序、物理部件和系统部件之间划分,能够灵活部署在不同的活动域和装置上。
大多数物理活动发生在表示为'场次'、处理训练结构、指定的操作模式和用户交互的所定义的时间段内。这些场次可以包括打球、比赛或训练场次。典型的场次分成用户正在打球的时间段:‘盘’或‘局’。当用户暂停检查活动或仅仅休息时,盘通过暂停活动进行描述。因此,典型的会议组织由盘和暂停的周期组成。在每盘期间,传感器装置捕捉活动测量,预处理测量,并将测量数据或数据的子集流式传输到主机装置。主机装置然后进一步处理数据。或者,装置可以将数据直接流式传输到云端,可能经由主机装置进行中继。可以构想不同的网络拓扑和架构。例如,单个球员可以参与与互联网通信的移动装置。或者,两个或更多个球员可以与和互联网通信的一个或多个移动启用装置进行交互。每个球员可以具有相关联的传感器装置,或者每个球员可以具有带嵌入式传感器装置的装置(例如,网球拍)。随着一系列盘展开,数据可以连续处理、分批处理、或以这两者的混合方式进行处理。处理允许在暂停期间进行活动审查或概述,将相关信息传送给刚完成的活动或未来活动。数据也可以连续查看,可能由训练师查看。在一个实现方式中,用户经由诸如自然语言界面等免提功能与系统交互。例如,除配置提示功能外,球员还可发出关于训练状态或当前或过去表现的特定请求。可以基于当前技能选择具体的训练轮廓。训练轮廓将激活提示轮廓,为该训练轮廓的特定目标提供量身定制的提示信号。
典型的用户场景考虑经常在数月或数年的时间段内执行和训练针对活动的技能并且想要跟踪进度并且接收用于在场次之间开发、维持或康复运动技能的指令的用户。更具体地,用户可以每周执行两到三次活动,或者甚至更频繁地执行活动。该平台在评估回路内汇集并评估用户的运动表现数据(参见图1)。该过程生成描述用户当前和历史技能状态的运动库映射和技能模型。在活动期间的任何时间,用户都可以选择以指令和/或反馈提示的形式来激活反馈增强(图12)。即使用户不启用增强功能,评估回路也可以以被动模式运行,每当用户参与活动时,都会继续收集数据,并持续更新技能模型。
通常,平台的系统部件可以包括以下:传感器、主机装置、用户界面(UI)、处理、存储和增强。传感器是获取运动数据的一个或多个部件。主机确保所有系统部件连接并在其间传输数据,无论是在传入还是在传出方向。主机装置通常不涉及数据处理或启用用户界面。用户界面(UI)是负责用户与平台交互的部件:记录其交互,将交互转化为有意义的处理请求(例如,开始记录、显示技能度量等),并传送结果。UI不一定必须在实际上是图形化的,完全实时运行,或者甚至实现前面描述的所有平台用户交互。该平台的处理部件负责将来自传感器的数据处理成相关信息,包括但不限于解析的运动数据、运动模型、技能模型以及训练或提示指令,如其他位置所详述。除了生成相关信息之外,处理部件还为存储部件准备数据,将处理后的信息组织到数据模型和数据结构中,该数据模型和数据结构被设计用于运动技术和活动执行的分层和上下文视图。整个过程可能由不同层次的计算组成;其中一些实时发生。
在最高级别,用户界面负责在处理请求、数据请求、系统配置改变、系统激活和许多其他任务中执行所有最终用户请求。更具体地,用户界面(UI)使得用户能够浏览其运动表现的历史,探索技能诊断并参与训练系统的评估和增强回路。UI允许最终用户通过显示当前技能状态、诊断、指令和库映射来参与评估回路。启用增强回路时,UI然后提供选项,以从各种提示轮廓中进行选择,启用和配置扩充部件。
在没有一致的数据结构的情况下,大量运动表现数据的导航是棘手的。UI部件的设计因此受到活动的技能和活动模型的支配。通过确保UI被设计成考虑到特定的技能模型,可以最有效地利用该模型来支持用户理解其运动技术。描述用户的技能和活动模型的类别和相位本身可以定义用于在显示系统上(例如,在智能手机、平板电脑、计算机屏幕等上)有效传送信息和导航的元素。
从技能模型提取的特定量用于产生可视化并定义界面,并组织用户交互。这些量包括诸如时间上下文信息、整体统计、整体运动和相位轮廓、以及整体特殊运动和相位轮廓的输出。这些输出可以映射到包含导航界面、库映射和相位视图的可视化中,所有这些都可以呈现在用户装置的显示器上。
数据和其对应的数据结构组织的聚合使得可以跟踪个体的运动模式的发展或模式的改变。长期聚合描述了个体的主要运动特征,短期聚合使得可以理解训练干预、提示法则或其他因素(例如,装置或身体状况等)的功效和影响。该信息水平有助于定义界面的库映射层次。
运动模型的相位分割使得可以分析和显示每个击球相位的相关量。相位表示允许侧重于该相位特有的并且与该相位相关的特征的简明描述。此外,运动数据基于固有的运动架构,继承了分层结构,该结构还提供了导航和可视化数据的逻辑方法。所有这三个特征都可以在用户界面设计中充分利用,确定在这个级别显示哪些信息以及系统可以引发哪些用户交互。这种透明和合乎逻辑的表示对教学和广播来说至关重要
增强形式选择可以经由图形IO和/或自然语言处理UI来完成。在间歇期间,或者在具有充足的时间审查表现时,智能手机或平板电脑可以提供方便的图形用户界面(GUI)交互。在打球过程中,放手的用户输入和反馈更实用。例如,除了激活提示功能(例如,通过说出诸如“系统(THESYSTEM):在反手上旋介质上提示我”的命令)之外,球员还可以接收训练状态的语音提示,并且询问关于运动技术或结果(例如,通过说出诸如“系统:什么是最后一次击球的上旋?”的命令)。
考虑网球示例性使用示例。图11中所示的树数据结构允许用户通过击球1110的不同击球相位针对不同类型、类别和类型导航,其中,击球1110可被分为类型1120(例如,地面击球、扣球、凌空、发球)、类型1130(正手、反手)和类别1140(FH类别A、FH类别B、FH类别X)。此外,击球1110可以被分为具有属性1160的相位1150(触击、随球动作、恢复、后挥拍、后回路、向前挥拍)。这些图可以用于突出显示相应的轨迹节段以及从特征相位特征导出的表现和技能属性。图19A示出了如何将这个树结构转换成图形UI。
为了实现对运动表现和技能的长期分析和反馈,而存储历史记录。该存储器由平台内的许多不同实体、对象和数据结构组成:(1)将原始运动数据和处理后的运动数据存储到分层和上下文数据结构中;(2)用户的运动模型;和(3)用户的技能模型。信息可以存储在任何物理部件上,只要信息可以被系统中的其他相关部件访问。
数据结构的部分基础由从固有运动架构导出的分层运动和技能模型提供。如本领域技术人员将理解的,其他活动共享类似的一般结构,使得平台可通用到其他活动域。
熟练程度或技能的变化可以经由作为整体模式的一部分的库映射来评估。为了填补库映射,必须收集更长时间(例如,几个月)的数据,使得可以捕捉反映个人技术和技能的各种模式。此外,运动模式可以分为‘稳定’、‘不稳定’或‘异常值’。例如,每个人不时可以执行近乎完美以及灾难性的运动。一旦收集到足够的数据,因为涉及整体的一般表现或训练轨迹,就可以区分这些特征。
需要不同的数据库查询来支持用于调查表现模式的不同显示模式。这些查询包括例如:场次中的当前盘;比较同一场次中的连续盘的表现;场次期间的整体表现;比较最近活动历史中的两个或更多个场次(例如,在前一个场次中训练相同技能时);特定日历时段的场次中的总体表现;长期趋势。这些查询可以在整个运动库中执行,或者侧重于特定运动分类、类型和/或类型;也可以侧重于某些时间范围或使用其他选择标准。
还可以查询运动数据库,以从该库中提取具有特定特征的运动。然后,这些运动可以用作对象来定义用户界面。典型的对象包括例如:描述用户库中的最佳击球的“最佳”轮廓;或可以造成伤害的“灾难性”轮廓。最佳击球是基于结果系数和轨迹统计确定的,并且可以在整个运动轮廓上或每个相位内进行研究。在这种情况下返回的信息可能包括运动轮廓统计信息,例如,给定运动类型和相位的相关状态轮廓上的均值和方差。其他统计包括相位状态轮廓包络。这可用于生成当前训练盘中的击球示例与该盘、场次或历史结果的最佳击球之间的比较。描述错误运动模式的运动异常值(“灾难性”轮廓)可用于生成轮廓,以避免和关联反馈。
存储部件还能够经由比较运动模型、技能模型或通过其他标准来实现运动技能和技术的球员间比较。另外,可以使用参考运动,从而允许结合从特定域的运动机制中得出的最佳练习。
用户的运动模型表示如何吸收、处理用户的数据以及提取运动单元和相位节段的具体细节。该模型包括诸如有限状态模型、阈值或其他参数和定义等信息。根据活动,可以具有通用模板,从其中导出每个用户的运动模型,或者可以从记录的数据中完全导出用户的运动模型。
用户的技能模型表示其在运动技术和结果之间的当前关系。还包括诸如哪些改进应该优先考虑或哪些是历史上难以改变的对象等信息。与用户的运动模型一样,技能模型将具有不同程度的用户/活动特异性。
图11示出了与网球击球相关联的数据树结构。其他域往往有运动类别和相位的类似的一般组织。对于网球,时间组织可以描述如下。球员在球场上走动时场次开始,并且并在球员离开球场时结束。盘是训练或比赛时间间隔的连续周期。当球员休息时,可能在比赛期间或在训练场次间休息或与教练对话时,盘结束。对打是一系列连续的交换,通常在球员失球或犯非受迫性错误时结束。在对打中,击球按顺序排列。击球(或挥拍)是包含球触击前的时间段(击球准备)、触击时间段和超过恢复期的时间段的时间间隔。击球准备与随后的完成之间的时间段通常称为‘就绪状态’。击球由表示测量时间历史的‘击球轮廓’描述。相位是击球的一部分,其反映了击球组织中表现出的相关运动学、动力学或人为因素(运动控制、感知、决策制定)。表2描述了一些关于网球的相关信息。
表2:场次数据结构概述
最高级别的处理是运动模型、技能模型和提示法则的合成(参见图10)。这些过程是算法和模型开发的一部分。随着个体的技术和技能的发展,这些模型的功能是提供适当的运动/技能抽象以及这些抽象的持续发展。利用来自广泛的应用技能和技术的足够的用户数据,可以组装运动模型库。此时,可以通过评估库中各种模型的表现,来选择新用户的相关模型。随着用户技能的发展,模型也需要切换或适应。
反馈合成指的是基于对用户的技能状态的计算评估来生成用于改进运动技术的结果的指令的处理的部分(图9方框II和III)。由反馈合成生成的指令(计算上)表示为运动模型中对应于变化结果的差异。从实现的角度来看,技能模型、诊断功能、运动模型和相关的相位分割都可以用于生成指令。更具体地,反馈合成过程包括以下步骤。1)基于潜在或观察到的指令约束(运动范围、加速运动的能力等),确定用户有能力改变的用户运动模型的运动特征(特征结果导数);即,确定哪些运动参数自由地被优化。2)确定对结果显示显著影响的运动特征;即,选择应该被优化的运动参数。3)优先化既可改变又对结果影响最大的运动特征;即,选择了优化步骤。
该分析成为用于改善用户的运动表现的运动技术和结果的个性化和个体化指令的基础。反馈合成的输出可以转换成一系列反馈,包括:符号语言(文本、口语)、暗示(视觉、听觉、触觉)或信号(视觉刺激、听觉、触觉)。反馈合成的输出将被平台的增强系统部件转化为增强。
计算通常跨平台分布,但是与运动和技能处理相关的大多数计算功能通常在云中执行。这些过程需要最多的计算资源和最多的存储数据进行处理,使云成为合理的位置。在某些配置中,可以在装置和主机级别执行有限的运动和技能处理。从实现的角度来看,数据结构、存储部件和处理部件之间的关系对于有效实现系统的大量运动技能处理能力至关重要。
技能模型假设用户从一般模板学习模式。因此,目标是识别属于正在学习的不同模式的运动模式。第一步骤是解析与学习的运动模式或运动计划对应的运动模式。解析的数据然后可以聚合,以形成运动库。
运动分类从运动库取得整体数据并且确定该盘分成相似模式的子集。分类过程基于从集合数据中的时间历史中提取的特征。然后使用K-Means等聚类算法对这些特征进行分类。与运动模式相关联的运动轮廓可以被分成相位。从特征中确定相位,这些特征为可用于自动分割的检测规则提供了基础。不同的类别可能显示不同的相位和相位分割规则。
表3概述了主要过程、存储操作和数据结构属性之间的一些关系。
表3:主要过程和数据库操作的概述
增强系统部件负责将有用的信息传递给用户,以便帮助开发用户的运动技能。可以用图形、文本、语音指令、声音提示或触觉等形式封装增强。增强可以实时、接近实时或非实时地传递,并以两种主要形式传送:在知识级别上操作的指令和反馈提示(参见图6)。
物理平台的增强部件实施基于技能诊断而合成的反馈形式。如前所述,增强的具体类型包括:符号语言(口语、文本)、提示(视觉、听觉、触觉)或信号(视觉刺激、可听、触觉)。该部件的目的是以适当的形式提供反馈,以帮助用户满足预期的性能结果。
图13示出了跨平台的主要功能的组织结构。在平台的IoT类型实现之后,分层组织可以分为三个部分:云服务器(数据库、处理器)、主机级别的本地处理器(用户界面、主机)以及装置或用户级别增强的界面(增强、传感器)。图6所示的架构还提供了基础设施的蓝图。一些配置将具有可以针对云(传入路径)的过程以及可以针对用户(传出路径)的一些其他过程。可以包含额外部件和子部件。嵌入式装置可以具有装置管理器(具有能够进行测量和预处理、数据解析、特征提取和数据流传输的装置配置)、采样和预处理部件(用于校准和过滤传感器特征表情采样或重采样应用要求)以及运动估计器(协调和转换数据)。移动主机具有移动应用程序,其允许控制与平台的交互,例如,训练轮廓选择、表现诊断以及提供表现审查。另外,在某些情况下,移动应用程序可以协助运动解析(例如,轮廓特征提取、影响分析、击球轮廓和模型、分类、聚合)。云服务器执行击球分类、击球相位分割以及技术或技能分析。另外,运动数据处理(例如,相位分割、分类、特征提取和聚合)由云服务器执行。云服务器还提供活动分析、活动模型、技能分析和提示法则。统计信息也可以在云中生成。
如本领域技术人员将理解的,主要将系统部件分配给三个物理部件,以解释平台的分布式特性,并且可以根据特定活动和场景使用不同的拓扑。
主机装置是计算装置,其可能的形式包括智能手机、平板电脑、智能手表等。通常,主机装置可以被配置为实现以下系统部件:主机、UI、处理和增强。在一些配置中,主机装置可以实现处理系统部件。然而,由于存储和计算能力通常在主机装置上受到限制,因此主机上的处理能力可能受到限制。另外,根据装置和获取运动数据的主机之间的延迟,可以提供某种实时反馈。
主机装置功能可以包括数据路由,请求路由以及在系统部件之间提供控制层。例如,主机装置可负责从传感器到处理和存储部件中获取数据,并返回来自这两个部件的结果,路由UI请求以及潜在处理反馈配置。这意味着主机拥有传感器和传感器数据格式的知识,以及关于存储和处理部件所期望的数据的知识。主机可以管理这些其他部件之间所需的任何数据转换/转变。对于使用各种形式的预处理(例如,压缩)的性能有限的系统,主机处理这些工作中的一部分。主机还可以触发系统过程,例如:执行处理时,数据传输到临时或永久存储器时,更新增强配置时,以及其他系统控制决策。
云物理部件是用于实现单个用户和/或用户群的存储和处理系统部件的数据库和应用服务器。云轮廓和组织运动数据,使各种数据分析和数据管理服务成为可能。例如,在平台的典型IoT部署中,可以使用存储和处理的数据来提取有关用户表现的相关信息。在云中集中数据也使得可以执行机器学习功能,这些功能可用于确定运动和技能模型、提示法则等,并研究这些模型在用户群中的公平性。如本领域技术人员将理解的,云部件的功能可以在实现期间改变。例如,可以由云部件执行UI元素的生成,并且可以在主机或甚至装置上实现归因于云的一些功能。
装置可以是能够远程或经由物理配件观察或记录一件装置、用户的身体(或其部分)或环境因素的嵌入式计算机。该装置可以实现传感器和/或增强系统部件。对于许多使用,该装置的可能实现方式将结合运动传感器(例如,惯性测量单元、IMU)、处理单元、存储器单元、用于传输和接收数据的无线射频以及用于生成反馈的换能器。
捕捉的相关测量包括用户的运动、装置的运动或由用户操纵的末端执行器的运动。该装置可以附着或嵌入装置中和/或由用户佩戴。传感器捕捉与分析相关的运动单元并支持增强。除了运动数据外,其他测量还包括表面肌电图(EMG)、力等。
数据格式将取决于具体的传感器。对于基于IMU的系统,这是运动的常见时间序列数据。对于计算机视觉系统,相关量可以包括原始视频文件、提取的静止图像或提取的骨骼体的时间序列数据。数据可以在整个场次中连续,仅限于感兴趣的区域,或者由已提取的运动单元组成。
对于捕捉的任何数据,存在对应的传感器配置参数。这些参数包括比例因子、转换、有源传感器、采样率、测量单位和其他测量系统参数。为了有效处理数据,需要了解这些参数。然而,这些参数可以在单独的信息(元数据)中传送,嵌入在传感器数据中,已经应用于数据,在所有端点上硬编码,或者以某种其他方式记录。
该装置还可以部分负责支持增强系统部件。这包括提示处理器和提示生成器的实现方式,如图10中所述。这种装置还需要能够生成音频、视觉或触觉信号或刺激的某种形式的换能器。换能器的类型基于用户在参与特定活动时可以最好地识别什么刺激来确定。提示生成器可以与装置集成在一起,或者可以是其他配件或装置的一部分,例如,智能手表、眼镜或耳塞。提示生成器可以通过有线或无线连接可连接到平台部件(特别是装置和主机)。
在图23A至图23B中示出包括至少一个这种传感器的装置。这种装置将惯性测量单元2350(IMU)和其他运动传感器设备(例如,GPS、磁力计等)与CPU、用于与主机或互联网进行通信的无线电2340组合在一起。传感器部件不必是单独的装置,并且可以集成到主机物理部件中。额外部件包括例如通/断开关2360、电压调节器2320、时钟2330、扬声器2370(或蜂鸣器)或USB端口2310。
在不脱离本公开的范围的情况下,可以采用基于物联网生态系统的商业可用技术的系统部件和物理部件和装置的各种配置。物联网生态系统组合主机、计算资源、传感器、运动和互联网络以及其他部件,例如,智能手表、(近)本地分布式计算处理器、复制存储系统等。用于实现这个平台的系统部件的精确位置由活动特有的实际考虑决定。这些配置的假设是,用户将会执行或训练运动技能。
增强和反馈通常通过体现UI、处理和增强系统部件的训练代理应用来调度和部署。这些配置中的传感器部件使得能够测量和跟踪运动,而UI部件允许用户访问从技能诊断生成的训练时间表和训练设置。训练代理应用程序通常由用户在与UI相同的装置上部署和访问(例如,手机或智能手表)。
在平台系统部件的部署的一个实现方式中,用户可以激活在智能手表上运行的应用程序,以接收一组指令,然后激活实时提示,以在运动的现场表现期间指导特定运动类型的表现。在这种使用模式中,在用户开始当前或下一个活动盘之前,或者在活动暂停期间,用户可以查看其装置显示器,在该处应用程序显示计算以改善运动类型的结果的一组特定的技术指令(参见图6)。
一种配置具有一件“智能装置”。智能装置通过测量装置的运动来提供实时提示,以引导用户的运动技术。这件装置(例如,球拍、高尔夫球杆)包含实体装置,实现传感器和增强系统部件。智能手机实现主机和UI系统部件。云实现处理和存储系统部件。这三个部件通过无线通信技术进行通信。例如,智能装置通过蓝牙低功耗(BLE)与主机通信,主机通过Wi-Fi或蜂窝网络与云进行通信。
另一种配置是具有实时提示的独立装置,其中,独立装置测量活动运动表现并传递实时提示。这基本上将先前配置中描述的装置和装置物理部件分开。然后,装置物理部件可以以适合于活动要求的各种形式因子存在,由用户穿戴或者附属于装置。其他系统部件可以与先前的配置示例相同。
另一种配置是作为实时提示装置的智能手表。智能手表实现了许多主要的平台功能。用户可以在活动期间佩戴并提供反馈。智能手表可用作装置和主机物理部件,实现传感器、UI、主机和增强系统部件。在这种实施方式中,一些处理系统部件活动基于可用的系统资源(例如,存储和处理能力)在智能手表上实现。云物理部件实现处理和存储系统部件。
替代配置是作为传感器的独立装置,智能手表作为主机操作并提供增强;佩戴该装置被或将其嵌入“智能装置”中。这种配置允许直接嵌入装置或测量特定身体活动的传感器的精确度,同时为商用智能手表中可获得的便携式用户界面、显示和音频功能提供便利。在这种实施方式中,一些处理系统部件活动基于可用系统资源(例如,存储和处理能力)在智能手表上实现。云物理部件实现处理和存储系统部件。
示例
A、网球
网球处理遵循图9中提供的组织,并且整体操作在评估和增强回路之间分割。评估回路的数据处理是根据需要完成的。一旦运动数据聚合、处理、组织成不同的类别并分成不同的相位,这些信息就包含在运动模型950中。该模型用于评估和诊断个人的技术和技能,并最终合成指示和反馈增强930。前者使用通信系统(参见图6中的621)经由诸如智能电话或智能手表等主机传送给用户。后者经由提示系统622传送给用户。
该示例用于说明使用从附接到网球拍的IMU装置1830收集的运动数据的过程和分析技术(参见图18A)。
对于网球示例,运动传感器附接到球拍。传感器的目的是捕捉击球周期内的球拍运动。没有手臂或其他身体节段的显式测量。在另一种实现方式中,可以使用放置在诸如脚或手臂等各种位置的额外传感器单元来捕捉更多的完整的运动系统行为,使得能够分析其他身体节段如何参与击球运动并潜在地识别与运动技能有关的其他元素,例如,姿势或步法。
图18A示出了IMU传感器单元1830的坐标系{xs;Ys;zs}和网球拍框架体坐标系{xr;yr;zr}。注意,框架的方向是任意的;可以显示与其他方向的等同物。球拍的主体框架(RBF)坐标系显示在球拍的重心上。位置向量rs定义IMU坐标系相对于球拍坐标系原点的原点。加速度计沿着xs、ys和zs轴的方向测量球拍的加速度,并表示为ax;ay;az。角速率传感器测量围绕xs、ys和zs轴的球拍角速度,并表示为ωx;ωy;ωz。IMU数据被过滤并从传感器框架转换为RBF。另外,如本领域技术人员将理解的,传感器的加速计和角速率传感器轴可以位于或不位于相同的装置或部件上(可以具有两个IMU)。图18B示出了右手用户正手的触击基准框架。
在最抽象级别的网球技能分析中,行为事件主要与决定得分的打球结构和规则有关。这个级别包括诸如镜头选择等事件以及与打球计划相关的打球模式。在中间级别,这些行为包括与球场定位有关的身体运动和侧重于击球选择和球放置的决定。这些行为主要由打球结构决定,并被认为与击球运动分离。
在这些水平之下是与击球运动技能有关的核心行为,即,与球轨迹和对手运动的关系的击球执行的组织。下面更进一步地,行为包括促进击球的姿势控制、处理运动实现和组织的内在结构,而且大多是无意识的。在击球级别,运动相位动态展开。各相位之间的转换部分由功能元素决定。例如,‘向前挥拍’相位的开始必须基于估计的触击条件进行计时。该信息由从球轨迹提取的感知提示确定。
根据最佳的运动计划制定,指定球拍轨迹和整个人体运动协调,以适应整个范围的可能初始球拍状态、迎面球状况等,球员需要学习非常广泛的运动计划。这些计划必须学习所有预期的结果条件(旋转、速度等)。这种运动编程方法将是棘手的。人类在感觉运动行为中利用不变量来减轻与环境交互的复杂性。因此,虽然由于配置(迎面球的轨迹、对球场的影响以及球员的位置、姿势等)的组合,每个击球都具有独特的特征,但是受过训练的人将学习有效的感官运动策略,以返回球。由于无限范围的条件和人体固有的约束(感官、感知、生物力学等)的复杂性,所以描述所有交互(感官和运动行为)的工作空间在感官运动基元中被离散化,每个基元覆盖特定范围的条件和结果。
为了分析人类打网球,对行为单元的全面分析应该包括与环境的完整交互,包括对环境和任务元素(球员场地位置、对手位置、球位置和速度)的感知、以及完整的身体运动(步法、体位等)(参见图2)。由于感官运动行为针对活动中主要行为单元的实现方式,因此可通过单独测量和分析球拍运动来提取足够的细节;这些细节本身已经提供了有用的增强和说明平台的功能。更多的传感器可以分析对球员在各种不同活动中的技能有贡献的较大因素(参见图4A至图4E)。为简单起见,不失一般性,下面将按照球拍轨迹描述的描边视为运动行为的主要单元。
击球用于控制球场上的球轨迹。网球运动可以被描述为周期性或非周期性的目标导向的运动。球拍(也可能是其他用户的身体节段)在整个周期内的轨迹称为击球轮廓。运动的主要目标是球拍和球的受控制的触击。因此,网球击球是一种拦截行为。触击前的运动相位旨在控制触击条件。触击后的击球相位主要是为了将球拍轨迹恢复到休息状态。在连续的击球之间,周期性的运动可能会在短时间内中断,主要取决于球的速度和轨迹以及球员的球场位置。
网球击球运动被组织为一系列相位(向前挥拍、触击、随球动作)。运动相位是网球教学和训练的共同部分。然而,这些相位的参考一般是定性的。有组织的击球分割基于球拍运动测量数据提供对击球架构的客观的、确定性的描述。下面的分析首先侧重于基于从IMU测量获得的球拍角速率和加速度描边击球特性。建立相位分割的主要参考点是触击。可以基于特性运动特征来描述一般击球结构。
地面击球的典型阶段或相位是:后挥拍:新击球的第一阶段,球拍向后加速。后回路:后挥拍的向后运动与向前挥拍的前进运动之间的转换。在该相位期间,球拍基本上是在循环轨迹之后反转方向。向前挥拍:加速球拍,以获得触击动量。触击:球与球拍和线床接触的时间间隔。随球运动:触击后的球拍运动,主要是由在向前挥拍期间获得的球拍动量造成的。恢复:从随球运动到就绪状态的转换,主要是就绪状态之前的球拍的减速和方向变化。就绪状态:完成一次击球和开始下一次击球之间的“握持状态”,球拍通常保持在正面和优势手侧之间的某处。
首先,将来自传感器的记录的时间序列数据解析为用于该活动的主要运动单元,在该示例中为网球击球。然后将这些节段聚合到集合内并根据击球类别进行分类。然后,将每个类别中的击球轮廓分成反映该击球类别的运动架构的运动相位。这些节段被分解成可以与肌肉活动和生物力学元素模式相关的肌肉协同作用。这些步骤为用于运动技能分析的数据结构提供了基础。
数据处理的第一步骤是解析击球测量918,以提取对应于全击球轮廓周期的节段。在本示例中,使用来自球触击事件的特征来执行将运动数据解析为击球轮廓,以检测运动模式活动。通过查找以下评估为真的数据区域,来确定触击:
在整个数据流中,每当发现上述表达式为真时,就会创建触击索引。从第一个触击位置开始,索引记录在索引列表中。然后,将数据流提前一段时间(可能是用户/活动/事件特定参数),找到并记录上述表达式成立的下一个位置,并且数据流再次前进;该过程重复,直到已经处理整个数据流。随后,通过捕捉针对每个记录的索引和时间的范围(timp-ΔTpre-imp,timp+ΔTpost-imp),来提取击球轮廓。时间间隔用于定义击球轮廓的开始和终止,因为击球的物理开始和终止可能更难以处理。利用这种技术,很难识别准静止的启动/终止,即,在低速和低加速度下发生。根据测量,可以使用侧重于其他特征的其他技术。
一旦提取,这些轮廓就可以聚合、分类和进一步分析。网球击球分类基于分层树结构(图11)。击球类别结构包括:‘类别’={地面击球、凌空、发球};‘类型’={正手、反手};‘旋转类别’={上旋、平击、切削};并且‘强度分类’={强、中、低}。
表4:击球数据结构的概述
不同的传入球轨迹、身体运动和定位以及对返回球轨迹的期望最终效果导致各种各样的击球类型。在解析测量时间历史之后,将所得到的运动轮廓分类916,以创建用户的运动库的映射;更具体地,对于该网球示例,创建击球映射。这种表示是第一级分析,并支持各种功能,例如,数据管理和可视化。分类方法使用从击球轮廓提取的特征,包括从运动传感器(其是IMU)获得的测量以及包括球拍方位的状态估计。特征可以抽象大量测量数据,并因此实现计算上有效的分类。然后,可以使用从击球轮廓提取的特征集来执行击球的聚类。通常,只需要特征子集,来在特定击球类型之间描绘,并且分类通常也可以分层次进行。
一旦击球轮廓被组织成具有相似特征的不同类别,就有可能对每个类别中的击球及其结果进行更详细的分析。运动处理的核心方面是相位分割914。然后可以使用详细信息来支持对球员技术和技能的分析。
击球是球员故意为了产生特定结果而引导的运动。击球的主要目的是控制球轨迹,因此可以从触击的属性和产生的球轨迹中来评估结果。可以从现有的测量数据来衡量或估计结果。在本示例中,在触击相位期间从球拍主体框架加速度和角速度数据估计结果。通过以下变量来描述结果:传递给球的旋转、传递给球的动量以及线床上的触击位置。
运动结构和组织是建模和分析熟练运动的核心。整体击球轮廓取决于几个因素,包括运动生物力学、神经运动、认知和感知。所有这些因素都将体现在击球的形式和结构上。网球击球的最简单模型由两个相位组成:针对球触击的球拍向前运动以及“加载”向前运动所需的向后运动。根据技能水平,击球可以分成额外相位。网球文学一般考虑以下四个相位:后挥拍、向前挥拍、触击和随球动作。在这个示例中,运动架构(对于地面击球)包括七个不同的相位。在向前相位,触击之前和之后的部分分别是‘向前挥拍’和‘随球动作’。在前端和后端,击球运动都会发生方向变化。随球动作的结束被称为‘恢复’,后挥拍的结束和转换成向前挥拍在此处称为“后回路”。此外,‘就绪’相位被认为描述击球之间的休息周期。
相位分割提供了这些相位的数学描述,以允许自动检测和分割。通常可以基于运动学和动力学特征来识别相位。相位分割使用击球轮廓的特征来检测击球执行中的相位。每个运动相位由有限状态模型中的离散状态表示,该模型提供了击球运动的抽象模型。有限状态模型将整体击球描述为有限数量状态之间的转变。运动模型用作运动技能分析和实时提示的基础。
在已经分析击球之后,即从测量时间序列中检测并提取之后,聚合在集合中并被分类。在该示例中,基于对击球树中示出的主要击球类别的物理理解(图11),分层地执行分类。
可以从一组从击球轮廓(例如,RBF角速率和加速度)中提取的特征中获得用于将击球分类的信息。这些特征捕捉击球物理的特征,并允许使用最少的一组参数来抽取击球和球员的技术。注意,理论上也可以使用有关结果的数据。在这个示例中,结果仅用于技能分析。击球特征包括:1)例如,与击球相位相关的时间索引,包括挥拍速度零点交叉(与向前挥拍的开始和随球动作的结束有关);2)在这些时间索引处的状态值;以及3)在触击之前和之后的各种时间样本的状态值。在例如,触击之前,挥拍速率r,t=0.2、0.1和0.02秒时。
击球相位特征是用于识别击球相位的特征。这些功能还可以提供击球分类的信息。表5概述了角速率数据的一些击球相位特征。
表5:击球相位特征
选择击球轮廓特征,以捕捉击球轮廓的形状。其主要目的是击球分类。基本上是轮廓形状的低维描述。目标是使用最大程度地提供信息的特征来区分击球类型和执行或技术。相位特征在整个击球轮廓上的少量特定时间样本上对RBF加速度和角速率测量进行采样。选择这些点,以捕捉重要的轮廓特征,例如,在向前挥拍的早期和在触击之前不久的挥拍速率。这些特征可以从代表性击球轮廓的集合的主成分分析(PCA)中识别。
向前挥拍是朝着触击的主要运动,因此从该相位的击球轮廓提取的特征可预测击球类型和质量。触击之前的击球运动学和动力学特征(拦截相位)提供了有关所需触击条件的信息。同样,随球动作轮廓特征提供关于击球类型和技术的信息。表6概述了击球轮廓特征。轮廓特征捕捉击球轮廓特征。最后,外部特征也可以提供有价值的信息。表7描述了击球轮廓的峰值和统计特征。
表6:击球轮廓特征
击球类别可以根据击球分类(地面击球、凌空、发球)、类型(正手/反手)和类别(旋转和力度)分层表征。如RBF加速度和角速度分量所描述的,球拍运动与基本击球分类、类型和类型之间存在确定性关系。在下面的示例中,使用击球力学的知识来确定击球分类的物理标准,并使用这些标准来确定必要的特征。
表7:击球统计特征
接下来讨论基于物理特征的分层分类过程。一旦从击球轮廓中提取出特征,分类首先在击球类型(正手/反手)之间描绘,其次基于‘旋转’类别(上旋/平击/切削),第三根据击球强度(高/中/低)。
作为经验分类的示例,球拍纵向和垂直加速度ax和az以及挥拍速率r之间存在关系。可以在触击前20毫秒从挥拍速率r和纵向加速度ax中提取特征。正手和反手击球的这些特征在触击前20毫秒处的分布说明了这些特征如何根据正手FH和反手BH在两组中进行聚类。简单的分类规则(对于z向下)如下给出:
FH:r(t=-0.02)<0 方程11
BH:r(t=-0.02)>0 方程12
类似于FH/BH分类,可以定义击球‘旋转’类别(上旋、平击和切削)的定量标准。确定触击旋转的主要变量是球拍滚转速率p(有时称为“挡风玻璃刮水器”运动),可能会带来球拍俯仰率q的某种贡献。因此,在触击之前不久关于这些量的信息可用于击球分类。下面的数据假设带有zr的RBF轴配置向下(参见图18A)。在下面的示例中,旋转类别特征在触击之前20毫秒基于球拍滚转速率p和挥拍速率特征r来定义。
挥拍速率分布可以分为FH和BH。滚转速率分解成反手(r>0)的正p>0和负p<0滚转速率以及正手中的的两个聚类。这些聚类反映切削(或后旋)和上旋的量。还有一种具有低旋转率的击球,这是低旋转(即,平击球)的特征。平击球的阈值Pflat可以用来在平击、上旋和切削之间描绘。
上旋:p(t=-0.02)<Pflat 方程13
平击:|p(t=-0.02)|<Pflat 方程14
切削:p(t=-0.02)>Pflat 方程15
阈值Pflat可以手动设置,或者可以根据与球员技术相关联的聚类结果来确定。
另一个有用的分类是基于在向前挥拍期间的球拍动量变化的击球强度。注意,这不一定与触击时球拍动量变化幅度有关的触击强度。下面强调击球技术,因此在此使用在触击之前基于击球特征的击球强度。同样的想法可以应用于触击强度。两个强度阈值50和100m/sec2已用于在低强度、中强度和高强度类别之间描绘,这可以从颜色突出显示中看出。
高:|atot(t=-0.02)|>amed 方程16
中:alow<|atot(t=-0.02)|<amed 方程17
低:atot(t=-0.02)|<alow 方程18
这些阈值是手动设置的。类似于其他击球特征,这些也可以基于数据聚类的结果自动设置。
图19A中的屏幕截图1910示出了按照分层进行的前面章节中描述的三个标准分级地划分为18个击球类别的大约1300个地面击球的分类结果。首先根据类型(正手/反手),接下来根据旋转类别(上旋/平击/切削)并且随后根据强度(高/中/低)来划分击球。
一旦已经解析和分类基本运动模式(此处是网球运动),下一步就是将运动轨迹数据分解成与运动相位对应的节段。早期描述了典型的地面击球结构和运动相位。
相位与人类运动控制和生物力学相关。这些效应体现在运动学和动力学特征上。相位分割技术基于特定相位特征的识别,这些特征是特定相变中的相位的特征。例如,加速度和角速率的特定变化(例如,零点交叉)表示运动方向的变化或轨迹曲率的变化。
相位分解使得能够更详细地描述将运动特征与下面的结构和功能因素相关联的击球。每个相位可以描述为有限状态模型中的离散状态。该模型将相位内的运动描述为基于已经识别的状态条件在相位之间的连续动态(例如,较早描述的Fi)转变。有限状态模型是用于有限状态估计的有限状态机制定的基础。
根据速率和加速度计测量的观察结果显示,击球轮廓集合包含可以与网球击球相位相关的不同模式。在此处简要讨论这些模式。描述了有关特定于击球相位的功能元素的更多详细信息。
图16A突出显示了与相位分解相关的角速度特征。图16C-1至图16C-2示出了角速率向量的相位图,其示出了与四击球类别(BH TS和BHSL、FH TS和FH SL)的击球相关的3DOF角运动。角速率图突出显示速率部件之间的耦合在描绘击球相位中是重要的。事实上,从动力学角度来看,完整的角度相空间是6维的(3个角速度+3个角)。从行为角度来看,击球角运动可能是小于6维的子空间。所感知的身体速率描述图16C-1至图16C-2的3D图中的明确的流形这一事实表明,单独的速率可能足以确定大部分击球行为。
由IMU陀螺仪提供的角速率测量对于参考系的变化是不变的。另一方面,球拍加速度测量则是使用需要知道球拍的绝对方向的重力效应以及参考系相对运动的效应。球拍惯性加速度的幅度远大于重力加速度,因此,球拍加速度可能为相位检测提供额外特征。最显著的特点是在触击期间以及在触击前后的球拍加速度。这些是击球最动态的运动相位。
对相位空间中的数据的分析,例如,三种球拍角速度(p、q、r)的描述,为识别击球模式提供了额外的见解和标准。图16C-1到图16C-2示出了角速率和加速度的三维相位图。这些图已经包含了相位分割的结果。
相位图描述与击球相关的周期性模式。绘图表明,一般的形状具有独特和可重复的元素。尽管个体击球具有不同的特征,但有几个突出的特征强调了与运动行为相关的运动等效性的概念。正如预期的那样,角速率图与加速图一样更加一致。轨迹以个体采样(采样频率1kHz)示出,因此采样间隔分别指示速率和加速度图的角加速度或猛拉。样本展开的部分对应于触击区域。三维行为图显示了击球如何遵循不同的阶段。每个阶段都在其自己的二维子空间的内一种轨道上演变,这强调角度自由度之间的各种协调模式。
前面章节中描述的相位定义有限状态击球模型的主要状态(参见图20A)。每个相位都由特定的运动和动态特征表征。这些特征可用于制定检测规则,这些规则可应用于自动分割运动数据中的相位。检测规则还定义了有限状态模型中的状态转换。注意,对于这些规则中的许多规则,测量量(此处为RBF角速率和加速度)仅在部分时间内给出足够的相变信息。因此,一些相变规则还包括估计量,例如,方向。
在击球的有限状态之间的转换规则如下:就绪:就绪状态或相位对应于从恢复结束到开始到下一次击球开始之间的时间间隔,即,后挥拍开始,直到下一次击球。在就绪相位期间的球拍运动是准静止的,因此就绪相位定时可以从加速度和角速率测量值的大小来确定。对总加速度和角速度使用阈值:
另一种方法是限制触击后总击球持续时间。在球拍未达到准静止状态的情况下,例如,非常快节奏的比赛,该规则可能更有用。
tre=t0,imp+ΔTdur tre=t0,imp+ΔTdur 方程20
后挥拍:后挥拍对应于新击球的第一相位。正如名字所暗示的那样,状态是由球拍后挥拍运动引发的。可以通过使用方位角速率达到给定阈值并且方位角已经达到阈值的时间来检测后挥拍相位的开始。由于球拍手柄式样会影响挥拍速度,因此使用方位角(θ)优于挥拍速率r。
后回路:后回路用于指定后挥拍和向前挥拍之间的转变相位。该转变主要表示从后挥拍运动到向前挥拍运动的旋转运动。该相位可以从涉及较低加速度但高角速率的时间间隔中提取,例如,通过评估(四元数单位球体)轨迹曲率。
向前挥拍:向前挥拍是导致影响的相位。因此,需要足够的拍头速度和精确的接触条件。始于球拍的角加速度,并以球拦截并最终触击来结束。向前挥拍的开始是在球拍设置在弹道上时,后回路的高曲率轨迹变为低曲率轨迹的时间。
注意,还应该可以基于总平移加速度atot来检测向前挥拍相位的开始。这个规则将导致不同的相位划分和不同的部分。
在触击之前,具有简短的拦截相位。考虑到神经运动的约束(例如,人体神经肌肉常数和响应时间),当球拍接近球时,不可能校正球拍路径。
触击:触击开始的特征是与球触击线床时发生的动量传递相关的触击加速度。如前所述,触击期间的球接触持续约5毫秒。在总加速度通过阈值ath;imp上升时检测到触击的开始:
假设触击事件只持续球和球拍接触的时间。尽管触击可以表现为非线性事件(因此不能保证在相对于触击强度的持续时间内不变),但实证研究表明,大多数触击事件的持续时间相似。使用持续时间对于检查速率/加速度也是优选的,因为不受球拍振动模式的影响。
tft=t0,imp+ΔTimp tft=t0,imp+ΔTimp 方程26
随球动作:通过主要涉及在触击后立即保持对球拍的控制并减慢球拍。这个运动主要以运动生物力学范围的限制为特征。类似于向前挥拍,随球动作的主要特征在于球拍角度减速的变化。通过球拍挥拍速度r倒转符号,可以检测到随球动作的结束。
trec=t|sgn(r(t-δt))≠sgn(r(t+δt))
trec=t|sgn(r(t-δt))≠sgn(r(t+δt)) 方程27
恢复:在恢复期间,球员从随球动作的结束中取出球拍,到指定就绪位置的休息状态。
图20A中的状态转变图示出了每个相位定义状态的击球的相位。每个状态本身都由其特定的运动学和动力学表示,并且与生物力学和感觉、感知和运动控制元素的关联。这些特征和相关结构为技能分析以及球员反馈机制的设计提供了基础。有限状态模型的状态是:就绪、后挥拍、后回路、向前挥拍、触击、随球动作以及恢复。分别缩写为:re、bs、bl、fs、imp、ft、rec。
一般来说,击球相位不能直接测量,因此需要使用有限状态估计器进行估计。当限于RBF加速度和角速度时,确定具有不同风格和技术的一系列球员的当前状态可能具有挑战性。因此,处理可能不适用于这些更一般的情况。此外,球员可能在击球中间中断其运动,导致异常状态转变。用于确定球拍方位(姿态)的状态估计器可以帮助使有限状态估计更稳健。基于诸如隐马尔可夫模型(HMM)等统计模型的有限状态估计方案通常提供良好的准确性和稳健性。
下面描述了网球示例的技能模型和技能评估的元素。在图9方框III所示的技术模型的三个主要部件:a)运动模式库,即击球映射;b)模式相位轮廓;c)运动的协同作用。表8说明了可以从这些数据中提取的用于技术和技能评估的属性类型。
首先,概念和度量基于库。了解库的相关性需要简单描述侧重于网球用例的技能获取过程。典型的网球击球库由多种不同的挥拍模式组成。获得这些是为了达到精通打球所需的一系列结果并且实现这系列触击条件。运动模式库的开发是第[0079]段中描述的开放运动技能的典型特征。每个类别内的活动形成了等效击球的集合,该集合可以适应触击条件(速度、弹跳高度、旋转等)和结果的变化。
然而,运动模式在给定类别内的适应性只能处理触击条件和结果的有限数量的变化。在超出该允许范围时,击球表现(例如,能量或猛拉)退化并最终达到给定运动模式内可行的限制。这些限制通常是生物力学的。为了防止退化或饱和,必须开发新的模式。专家球员拥有广泛的击球轮廓库。这些模式也进行了高度优化,因此专家球员将尝试使用最佳的击球模式并在最佳触击条件下使用球。使用最佳的击球技术需要充分的击球准备,这取决于各种其他设施,包括感知机制、步法和姿势调整。
因此,全面的击球库为受试者提供了使用优化的、可预测的击球模式的能力,而不必依赖于击球期间的校正。后者在考虑到各种感觉运动约束(例如,反应时间和神经肌肉时间常数)的情况下仅提供有限量的校正或适应范围。初学者往往倾向于使用类似的运动模式并对其进行调整。因此,在其库中显示很差的模式清晰度,并且每个类别的活动显示出大量的变化,而且击球远不是最佳的。
在网球中,运动模式库描述用户获取的击球类型,以适应迎面球轨迹的范围以及效果和结果的范围。因此,击球类别反映了条件(迎面球的速度、旋转、高度)的范围以及所需击球结果(球速度、轨迹形状和长度等)的范围。
注意,在该示例中呈现的结果仅侧重于地面击球类别。还要注意,击球映射不限于这些类别。考虑到在丰富的打球条件下收集足够的数据,数据驱动分类允许识别更广泛的类别和其他类型的类型。该库是按照击球类别给出的,并且类别捕捉了某人击球的变量和不变特征。
库的处理可以基于不同的数据聚合。例如,可以映射不同的历史时间段,例如,过去的年份、月份、星期等,当前场次、盘或过去的N个击球等。也可以基于属性来聚合击球数据,例如,N个最佳结果的击球。这些捕捉行为的不同方面,包括识别根深蒂固的模式,并允许跟踪训练策略等如何影响库级别的行为。
最后,库评估取决于技能水平。对于库的高级球员要求与初学者不同。高级球员的库具有更宽范围的模式,并且这些模式具有更加发达的运动结构(参见图15E)。因此,技能评估必须基于技能水平。在库级别,对模式范围的预期以及模式在结果方面的表现基于运动结构和任务表现水平。
表8
在一些应用中,运动结果不是直接测量的,因此必须估计。下面描述如何根据球拍IMU测量在触击相位期间所描述的触击情况来估计结果。回球的旋转和速度由触击条件决定,因此对触击所涉及量的充分测量可能足以准确估计结果。在另一网球应用中,可以使用相机和计算机视觉算法来测量结果,或者甚至使用IMU传感器来测量网球。
通过从球拍提供线性和角动量来控制球。根据牛顿的第三法则,球拍的线性和角动量的变化必须等于球的线性和角动量的变化(假设球员在该相位期间没有施加任何力)。由于碰撞持续时间短,所以动力的变化可以归因于单独的触击。为了捕捉网球的完整旋转和速度值,需要专门的测量系统,例如,基于视觉的活动捕捉系统。当使用有限的传感器,例如,球拍IMU 1830(参见图18A)时,可以在触击期间根据球拍运动来估计结果。
由于击球包括许多速度/速率变化,因此永远不会有线性和角动量恒定的周期。因此,由于球的影响而不是球员的输入来隔离动量转移是具有挑战性的。一种方法是将数据过滤为低频和高频分量。从原始信号中减去低频分量只(大约)只留下信号的影响分量。
通过估计可归因于触击的加速度aimp以及可归因于触击的角速度和加速度ωimp和αimp,计算动量传递是微不足道的,因为它是力的积分。
其中,m是球拍的质量,M是作用在球拍上的力矩(转矩),根据惯性测量和球拍惯性张量I的知识计算,定义为:
Mimp=Iαimp+ωimp×(I·ωimp)
Mimp=Iαimp+ωimp×(I·ωimp) 方程30
由于球的质量和转动惯量明显小于球拍,所以球拍在击球开始时的状态决定了结果,可以单独通过球拍的状态来估计旋转结果。触击位置可以通过触击期间在平移和角动量传递之间的关系来计算。
ΔHx=m(ΔLzry-ΔLyrz) ΔHx=m(ΔLzry-ΔLyrz)
方程31
ΔHy=mΔLxrz ΔHy=mΔLxrz 方程32
ΔHz=mΔLxry ΔHz=mΔLxry
方程33
其中,H,L和m如上所定义,r是球拍质心到触击点的位置向量。求解分量r的上述方程,给出了触击位置。在已知触击位置的情况下,可以计算球的旋转。假设无滑动触击条件(其中,球不相对于球拍旋转),球的角速度可以计算为球拍在惯性框架中的角速度和球在球拍框架中的角速度之和。球拍的角速度和触击点的球拍外平面速度向量之和除以球的半径。
NwB=NwR+RwB NwB=NwR+RwB 方程34
然后,角速度RwB必须满足:
其中,vr,i是惯性框架中球-球拍接触点的速度。
对于网球击球技能的分析,目标是确定运动技术对结果的影响。这需要分析框架来描述击球技术和击球结果之间的关系。即使结果是由触击条件决定的,触击时的球拍状态取决于整个运动特征。导致与球触击。
在图16B中,来自正手类别的击球轮廓分成在图2中所示的运动组织和环境交互之后的相位。相位分解描述了球员获得的特定击球架构。击球架构由结果和条件特有。网球击球相位类似于文献中的典型击球标记,区别在于基于运动动态的分割提供了定量,而不是定性结果。定量方法还会导致额外状态,例如,后回路相位。相位结构取决于击球模式和技能。
如从图16C-1至图16C-2所示的角速率相位图可见,同一击球类别内的不同击球轮廓是同构的。可以通过其特征状态时间历史轮廓识别每个级别(参见图19A中的击球映射中的击球轮廓的总体视图)。
考虑到迎面球状况(轨迹、高度、速度、旋转)和期望的结果轨迹(由上旋的量、强度和动量传递确定),在向前挥拍开始(图16D)时需要特定初始球拍状态。初始向前挥拍状态反过来定义了初始的后回路状态等。稍微不同的肌肉激活模式和相位定时用于调节响应,但是整体的击球模式保持其一般形式。这些不变特性是因为每个类别中属于相同的感觉运动模式的击球。
通过精确控制离开球拍的球的旋转和速度来实现球轨迹的控制。网球的示例侧重于例如上旋或速度。下面描述技能评估的相位轮廓特征(图9方框III b)。
当球员开始后挥拍并延伸超出触击时,击球在触击之前开始约一秒钟(参见图16A)。后挥拍是由用于预测击球方向的提示触发的。这些从视觉上提取,例如,从对手的运动行为、姿势等中提取。就去后回路和向前挥拍相位针对球拦截和触击条件的控制。如其他地方所指出的,向前挥拍是在触击时间前约200毫秒处具有恒定条件的一致运动(图16A)。
类别内的变化是由于对触击条件的变化和结果的调制的补偿。图16B示出了具有不同旋转结果水平的正手击球的球拍方位相位图。当然,变化也是由与人类表现相关的随机运动噪音产生的。与结果变化无关的变化是补偿性的。例如,在网球中,需要调整为适应不同的触击条件(迎面球的速度、触击高度或旋转速度)和调节结果(上旋的量或速度)。与结果相关的变化突出了运动的功能属性。
相位分解使得可以确定特定相位节段特征与结果之间的关系。图16D显示了在前挥拍、触击和随球动作相位期间的高强度正手上旋(FHTS)和正手切削类(FHSL)的相位轮廓节段的集合。该图以球拍偏航率r、滚转速率p和仰角E来突出显示相位轮廓包络。
用于调整结果和触击条件变化补偿的这些功能特征可以建模,以确定技能分析并确定可以为设计提示或反馈机制而调制的机制。
这个网球示例中的运动技能可以被定义为球员有效使用其运动技术来实现预期结果的能力。因此,敏感性分析可以用来确定结果的水平如何与运动技术相关。如段落[00208]-[00212]中所述,该分析使得可以确定对结果有贡献的个体运动技术的具体特征。
运动轮廓捕捉运动表现和功能特征。每个相位中的状态变量反映了如何使用生物力学来获得特定的结果,以及如何调整这一策略以适应触击条件。许多变量组合可能会影响结果,并且穷尽地确定每个关系,可能是低效的。运动模型能够提取解释用于调整结果水平和适应条件的基本控制机制的特征。
传递给球的旋转是球拍和球状态分别在触击xr和xb处的组合的函数。触击时的状态是球拍轨迹x的函数,由其状态给出,例如,球拍滚转速率、俯仰率、起伏速率、方位角速率和仰角速率:
球拍触击条件只能通过击球间接控制;不能控制球的状态。触击条件以及因此结果是球拍轨迹的函数
鉴于方程36中的模型。理论上,可以确定围绕某个最佳轨迹x* r的击球技术的扰动如何改变结果。扰动用模型特征表示。特征示例包括运动相位的初始条件,例如,向前挥拍或相位轮廓的特征,例如,向前挥拍滚转速率。相对于这些特征的结果的敏感性定义了相变导数和相位轮廓导数。
下面通过自旋结果对相变和相位轮廓特征的敏感性来说明这些导数。用于正手的四个最敏感的旋转结果相变导数是:a)方位角和b)在后回程开始时的仰角以及c)在向前挥拍开始处的滚转速率p和d)仰角。相应的导数是:
可以通过线性回归提取所有四个系数的值。
图16D示出了从后挥拍到触击击球相位的一系列旋转结果的相位轮廓。检查上旋和切削的范围显示相变过程中的明显趋势以及与这些结果相关的轮廓,允许在视觉上推断上述导数。
例如,在后挥拍开始时,方位角和上旋之间的关系很清楚。获得较高方位角旋转量的击球会生成更多的上旋。仰角和上旋之间有类似的关系。具有最高负仰角的击球会生成最多的上旋,而具有最高正仰角的击球会生成最多的切削。
在向前挥拍的开始,相变导数也可以从图16D中理解。仰角和上旋之间又有明确的关系。滚转速率p在该图上不是直接可见的,但对数据的检查显示出类似的关系:更高的负滚转速率导致更多的上旋,更高的正滚转速率导致更多的切削。
在向前挥拍期间,也可以检查相关的轮廓。滚转速率p(图中未示出)的分析表明峰值滚转速率与提供给球的旋转量之间的强相关性。一般来说,在向前挥拍(触击开始)结束时观察到峰值滚转速率,并且在向前挥拍结束时,峰值滚转速率对应于唯一的轨迹。通过输入该滚转速度轨迹并在向前挥拍期间跟随该轨迹,用户可以以最高滚转速率进入触击相位,从而导致球旋转更多。
在向前挥拍期间的仰角轮廓与实现的上旋之间有类似的关系。当通过最负的仰角(球拍头低)进入向前挥拍也与上旋的增加有关时,为了实现这种增加,从开始向前挥拍状态到触击状态必须遵循独特的轨迹。如图16D所示,进入并停留在该轨迹上导致更多的上旋。
结果相变和相位轮廓导数提供了反馈设计的基础,以帮助用户最大化其预期结果。
这些相位轮廓和相变特性可以使用各种数值分析技术来提取。构成了用于合成指令和反馈提示法则的功能技能模型。
根据图9中的952,运动模型的最后部分涉及将相位轮廓特征与运动生物力学相关联。相位轮廓是由身体节段、关节角度和肌肉激活引起的约束的特定组合的结果。相位轮廓特征反映了生物力学和其他约束,例如,运动控制和任务。运动相位通过利用确定肌肉活动和身体节段协调的肌肉协同作用实现。因此,可以在生物力学与提取的击球特征之间建立关系(参见图9中的966)。
例如,在网球中,主要击球相位的一般手臂运动(向前击球开始,通过触击,到随球动作)由腕部、前臂和肩部生物力学确定。手腕和前臂代表提供球拍的精细运动控制的“末端执行器”,而大挥拍运动则通过肘部和肩部以及整个身体(躯干、臀部和腿部)生成。
前臂内旋和旋后(参见图5)以及手腕伸展和屈曲是在生成最佳球拍挥拍轮廓所需的击球相位期间所必需的更精细运动协调的重要部件。例如,手腕的内旋和旋后是用于在触击相位期间生成适当的触击条件的自由度。在高级球员中,手臂在整个后回路中的运动以及向向前挥拍相位的转变都遵循非常微妙的空间和时间模式。
在向前挥拍和触击相位期间,前臂和手腕运动在击球执行中起主要作用。在碰撞时,手腕名义上处于中立位置或延长。触击前的延伸量提供了可用于通过鞭打运动来加速拍头的屈曲范围。如果触击时的屈曲过大,则球拍头加速度的生成完全依赖于肘部、肩部和身体的旋转。
通过足够的测量(例如,图5中所示的表面EMG电极和身体节段器械),可以将相位轮廓映射到关节和身体节段运动(其可以由额外状态变量来描述)。在协同作用下分解轮廓和身体节段变量帮助理解如何基于肌肉骨骼系统实现和调整相位轮廓。
考虑到个体生物力学系统,该信息可用于评估运动轮廓相变特征。在一个实现方式中,该信息可以提供运动执行期间对身体结构的应变的详细知识,并且可以由提示系统用于警告球员。
使用在协同作用水平的相位分析来生成描述运动技术与生物力学系统的兼容性的度量。在指示处,击球结构由与涉及感知、决策和信息处理机制的任务环境的交互决定。因此,诸如视觉注视(参见图2中的12)的额外量的测量提供将感知和决策制定包含在技能模型内。与击球有关的主要决策和信息处理是:从任务环境中提取提示,选择击球(结果),执行击球,以结果为目标,并且对不确定性和不断变化的状况进行调整和适应。网球击球的主要功能维度包括击球相位和迎面球的状态(拦截、反弹和触击)。
基于对手的观察和战术考虑,球员在球到达球场一侧之前选择并计划其击球。击球是基于预期的触击时间和地点开始的。当球接近球员时,可以更新关于预期触击条件的信息。球员使用最新的信息来调节击球,例如,前向击球的时间,并且在后回路期间,调整在向前挥拍开始时球拍的方向,并且最后,当球在大约在150ms的触击下时,球员开始向前挥拍。在向前挥拍期间不可能进行控制,因此该相位的开始和向前挥拍轮廓的一致性必须非常准确地完成。
取决于迎面球的状况和球员的反应以及关于如何接触球的决定(参见图2)的触击条件(球场上的位置、球旋转、球相对于线床的相对方位、球拍相对于球的运动)确定球和球拍的后续运动。配合与球员使用的感知提示的知识以及对其他任务元素的知识,分析击球相位,可以用于评估决策制定和感知机制。这些评估也可以用来合成提示法则,以训练这些机制。
运动和技能模型为用户的反馈合成提供基础。反馈增强模式根据两个主要类别划分:通过通信系统进行通信的指令和通过提示系统进行通信的提示。指令和提示法则的合成来自图9所示的运动模型950。指令932可以从技能模型的各种属性导出;结果和表现特征934的验证提示主要是运动轮廓特征962和964;并且提示法则936从功能特征966导出。
基于个人技能评估和技能模型,来合成反馈提示机制。这些机制被设计成利用在运动过程中实时生成的各种反馈信号,针对运动技术的特定方面。
该示例假设用户已经获得了一系列的击球模式,以实现控制与球场相关的球轨迹所需的各种结果。这些模式在库中捕捉并按照前面描述的过程进行评估。评估确定了个体的技能状态,该技能状态指定了每种模式的正常操作包络、该模式内的结果水平和运动技术变化。
在段落[00201]中描述的参数分析框架以导数的形式提供关键运动特征及其对结果的影响之间的关系。可以根据结果水平,将段落[00212]中描述的正常包络内的每个运动模式的结果范围分成离散区域。例如,假设在结果中的正常分布、平均结果、低于平均值的一个标准偏差的范围以及高于平均值的一个标准偏差的范围。
训练或康复的总体目标是改善结果的一致性并扩大结果的水平。结果的一致性需要细化运动技术。改善结果需要优化运动技术。如前所述,扩大结果可能需要形成最佳利用生物力学能力的一种新型击球模式。从一开始形成新运动模式,例如,对于不熟悉的运动模式,或者可以从先前的运动模式的细化中实现(参见图15E)。
下面首先描述了指令的合成。复杂的运动由于其高维度和动态性质而难以理解。指令建立在运动结构上。分解相位中的运动有助于形成对运动结构及其基本元素的直观理解。
以提供个人表现的总体概述性描述的报告形式传送评估。报告结合了度量和可视化。按级别组织评估部件。库:对运动库的描述突出了个体如何将问题空间分解为结果。这是开放技能中熟练行为的一个方面,要求用户开发各种模式来解决广泛的任务条件和结果。库度量:i)与活动域相关的运动模式范围和结果的范围;ii)有区别的运动类别的量;iii)按结果覆盖任务域;四)运动类别的成功率;v)具有最佳/最差结果的运动类别。运动相位:根据运动相位分解每个类别的运动。在这个级别的评估目标是帮助个人理解任务背景下的组织和运动结构。运动相位度量:i)运动对活动任务条件和环境中的不确定性的适应性。
另外,可以从相位分割和功能分析导出几个物理性能度量,包括:i)运动技术在实现其结果中的效率;ii)给定的肌肉骨骼约束、各种运动相位的物理应力轮廓。
下面描述平台的用户界面(UI)的视觉元素的具体实现方式。这些视觉元素使用户能够了解其网球运动的运动结构,并可能提供界面,来启用或生成个性化的指令和实时提示(参见图6)。该实施方式假设通过在用户的智能手机或智能手表上运行的“运动应用程序”来部署视觉元素。
与视觉元素的更复杂的交互将可能发生在训练或打球的休息期间。元素在移动应用程序内的一系列“屏幕”上呈现。
聚合屏幕提供当前或过去的场次数据的概要,强调突出显示类型、持续时间、场次/盘的数量、球员信息、位置以及所执行的训练的类型。数据可以以列表或图形方式呈现。该屏幕允许选择特定的场次/盘/时间段/结果范围/等。然后,可以将这些选择与其他聚合进行比较,或者单独进行探索,调查聚合统计、趋势或更详细地检查活动。该屏幕允许基于特定聚合创建用户数据的“击球映射”。
系统可以基于在使用系统捕捉数据时执行的所有击球的历史来生成球员的网球击球库的映射(所谓的“击球映射”);该击球映射显示在映射屏幕上。击球映射可以帮助理解用户技能的整体库多功能性和质量。该组织允许快速了解哪些技术产生哪些结果。该映射能够:在用户执行活动时映射网球击球库;在活动场次期间浏览和导航击球库;提供击球技术的结果,包括球旋转、触击位置和方向;并将击球技术视为击球路径和相关联的相位节段。如本领域技术人员将理解的,映射屏幕中示出的特征针对非球拍相关活动而改变。
用户的网球击球库的一般分类结构是图11中所示的树。树通知与探索类别有关的用户界面交互。可以用多种方式查看不同类别1120(例如,地面击球、扣球、凌空、发球)、类型1130(正手、反手)和类型1140(FHA级、FH B级、FH X级)内的击球及其相关信息。树还允许用户向下导航到各个击球相位以及其间。击球1110可以被分为具有属性1160的相位1150(触击、随球动作、恢复、后挥拍、后回路、向前挥拍)。这些图可以用于突出显示相应的轨迹段以及从特征相位导出的表现和技能属性。体现的示例是基于网球的,然而,用于其他活动能够导航运动表现数据的用户界面可能涉及类似的一般结构、部件和交互模式。
虽然聚合屏幕先前被描述为用于选择映射屏幕的数据,但映射屏幕本身可以允许选择数据。选项包括:当前,仅显示最近的击球(最近按时间、场次或盘);历史最好(基于结果或其他表现度量)。映射屏幕允许通过特定的视图来探索分类树。这些视图是“分类视图”、“类别视图”、“相位视图”和“特征视图”。“分类视图”(未显示示例)提供了在击球分类类型上的最广泛视图。它在功能上类似于“类别视图”,涵盖了更广泛的数据集。类别视图1910显示了一个向下级别的活动类别(在本示例中,显示地面击球子类别),显示了由运动特征组织的适当聚合的库的类别,例如,旋转(上旋、平击和切削)和强度(低、中、高)(参见图19A至图19B)。数据可以概括为矩阵,每个单元描述特定的分类和类别。这些单元可以提供基本统计数据,例如,不同分类和类别的分数(盘或场次的%)、分类/类别中的错误运动数量(%错误)、或者有关表现和结果的统计数据。或者,单元可以绘制属于当前聚合的击球,以更直观的格式呈现数据。这包括轨迹集合1912,具有时间历史(参见图19A)、相位图(参见图16C-1至图16C-2)、3D运动旋转(参见图16B)、直方图、散射图等的形式。目标是提供对运动模式的直观和详细的描述。然后,用户可以选择深入分析并选择特定的子类别(在网球旋转类别和力度中),以产生“相位视图”(图19B)。
相位视图1920的目标是传送关于击球集合或单次击球的球拍运动状态、运动相位以及运动节段以及他们与击球结果或击球相位定时的关系的详细信息。通过绘制‘向前挥拍’、‘触击’以及‘随球动作’相位的数量,例如,挥拍速率r、滚转速率p和仰角θ,显示击球集合,提供了相位轮廓的详细描述。这种图可以视为时间的函数或者球拍方位角的函数。带走显式时间特征的相位图表示(例如,r与ΔAZ)突出了这些击球类型(正手与反手)和击球类别(上旋、切削)的特定相位轮廓包络。相位视图可以通过分配独特的颜色来突出显示特定的相位;例如,红色表示向前挥拍,黑色表示触击,靛蓝表示随球动作。这种类型的绘图使得能够详细了解这些相位期间的角运动(正视图,参见图19A至图19B)。相位视图还可以显示仅在相位级别应用的类似于类别图的信息(例如,3D运动旋转、直方图、散射图等)。
相位还可以与行为方面(路径视图,图18B)、生物力学方面(协同视图,显示相关轮廓上的相关生物力学部件的配置变化的协同视图,图5)以及功能因素(特征视图,图16D)相关。特征视图(图16D)提供了从敏感性分析中识别的运动特征的详细表示。该视图可以选择性地显示对运动结果具有最强触击的一组特征。在图16B的示例中,该视图基于在单位球体上观看的球拍方位(仰角和方位角),具有相对于触击基准框架(IDF)的方位。结合在方位角和仰角之间的耦合的这种绘图对于理解在各种运动相位的协调是直观的。
在一种配置中,用户可以通过旋转图16B中的球体(在此处使用两根手指示出)检查诸如相变等相关方面来交互。三个小组突出不同的意见。“后视图”显示了后挥拍-后回路-向前挥拍转换。“侧视图”显示了向前挥拍-触击-随球动作转换。“前视图”显示了随球动作-恢复转换。该显示突出显示对应于击球结果变化的特征。该显示还显示了表征该击球类别的各个结果范围的“正常包络”区域以及允许个体根据当前运动模式优化结果的“扩展包络”。特征视图有助于教导用户在训练场次间应该强调运动技术的哪些方面,以最佳地控制结果的水平。在示例配置中,用户可以通过旋转图16B中的球体(在此处使用两个手指示出)检查诸如相变和相关联状态等相关方面来交互。
路径视图(图18B)通过可视化三维空间中球拍质心(CM)路径的运动来提供运动技术的详细表示。可以从击球盘或场次历史中选择特定的运动或击球。该3D表示可以动画化,以帮助可视化每个相位中的球拍路径或运动表现。击球路径视图也可用于描绘运动的相关特征。
协同作用示图(未显示示例)描述了在运动相位期间的相关身体节段。该表示允许用户理解运动技术对生物力学系统的影响。例如,对于向前挥拍相位,协同作用视图在相位期间显示肩部旋转、肘伸展、前臂内旋和腕伸展(参见图5),并突出显示已经从表现评估的潜在应变或损伤风险。通过系统的评估和增强特征的组合,系统可以建议有助于防止身体节段在一个或多个相位执行风险运动的伤害警报提示。
该应用程序支持与这些视觉元素的多个用户交互。当观看击球时,用户可以捏合和放大单个击球或击球相位节段1920。也可以执行3D可视化的平移和倾斜(参见图16B和图18B)。额外功能包括标注和标记击球相位节段。用户还可以基于可视化相位节段特征(参见图16B和图19A至图19B),可能基于特定视觉提示,通过选择相关提示或者基于定制用户请求来设置提示。
从运动模型和一般运动功能特征导出的主反馈增加(参见图9中的930)。
结果验证:实时反馈信号,以通知球员该运动达到期望的目标结果。例如,可以设定上旋的目标结果。结果特征验证:实时反馈信号,以向球员通知针对期望的目标结果的运动技术(参见图24A中的d))。与结果验证类似,但另外,生成信号,来用信号表示符合运动结果的特征的运动一致性。潜在的特征包括相变和相位轮廓处的运动状态。
结果特征验证基于前面段落[00420]中描述的结果水平的离散化。例如,对于结果验证,使用三层结果的相同量化,例如,在第二级别(med)产生结果的运动技术将在后回路开始和向前挥拍开始中的每一个处产生离散的音调脉冲(D)(参见图24A中的b))。另外,如果结果达到预期的介质旋转水平,则在触击时产生脉冲(D)(参见图24A的a))。
警报:实时反馈提示,用于用信号表示对表现或结果有害的特定运动特征。也可以用来保护用户免受伤害。例如,在后挥拍期间(参见图24A的a),具有球拍向后运动,或者在随球动作结束时,具有球拍高度(参见图24A的e))。警报可用于一般运动或特定运动模式。
结果优化:实时反馈提示,用于帮助优化针对特定结果的运动技术。结果优化提示的机制来源于敏感性分析。例如,为诊断说明的四个导数:在向前挥拍开始时的球拍滚转速度和球拍高度以及在后回路启动时的球拍高度和方位(见图16D)。总体思路是提供提示,来帮助实施最大化结果的特征。这是通过组合基于多元导数的特征部件实现的。所选的相变特征描述了与结果相关的击球技术的特定方面。对于图16D中所示的正手示例,当考虑到上旋结果时,这些特征包括在后回路开始以及向前挥拍开始时的球拍高度和方位。结果可以分别实现为相变或相位轮廓提示(参见图24A的b)和c))。
可以使用警报提示来帮助保护受试者免受伤害或磨损,该警报提示可以基于对运动轮廓和生物力学系统之间的关系的分析来实施。例如,在向前挥拍和触击期间的相位轮廓可以被映射到手腕和前臂关节运动和肌肉活动(图5)。协同作用分解可用于确定关节偏转和肌肉活动轮廓。这个映射然后可以用来检测这些量何时超过一些可接受的值。这些信息可用于以相变和相位轮廓提示的形式生成警报,以帮助形成与个体的肌肉骨骼状况兼容的运动模式。
所有这些反馈提示通过在运动相位的特征与对结果的相应影响之间的关联来帮助球员开发“肌肉记忆”。提示还可以帮助球员了解运动结构和组织。
注意,也可以设计不是针对特定结果的更一般的提示轮廓。例如,提示可用于任何正手或反手地面击球。这些提示强调了该技术的一般方面,例如,后挥拍的延伸和随球动作。某些特征对于特定的击球类别是共同的,因此,可以具有类别特定的一般提示轮廓。这种提示轮廓需要识别击球类别,以便选择适合该类别的一组提示特征。
在段落[00462]至[00488]中提供了提示法则的进一步细节,作为用于网球应用的提示系统的描述的一部分。
下面描述了用于实施反馈增强的系统部件。反馈增加由提示系统启用。图10所示的提示系统具有两个主要部件:提示处理器1010和提示生成器1030。提示处理器将运动数据转换成提示信号。提示生成器将提示信号转换为物理刺激(在网球系统中,音频声波)。
对提示系统部件的布局没有限制,尽管某些组织会更有效或更实用。一个这种实现使提示系统完全在嵌入式传感装置上操作。或者,提示处理器可以在移动装置上操作,提示生成器可以在智能手表上操作,并在其间传输提示信号。如本领域技术人员将理解的,这些不同的硬件实现不影响功能原理。
在提示处理器内,存在两个部件:状态机1020和提示法则计算器1012。状态机被进一步分解成运动相位估计器1024和特征提取器1022。
在操作期间,将预处理的运动数据发送到提示处理器(参见图10和图20B中的操作)。预处理步骤将原始传感器数据转换为工程量,并且提供滤波或物理量估计(即,方位)。在分析记录的传感器数据之后,选择与网球有关的量。有限状态估计器作为有限状态机运行。由当前的相位状态向量定义并且具有管理状态之间的转换的规则。有限状态机的状态向量还包括为了更有效地估计当前状态而跟踪的各种量。从提供的数据中,估计球拍和球员的当前相位节段。
下面描述了有限状态估计器的潜在实现。如本领域技术人员将理解的,使用不同类别的方法(有限状态机、HMM等)或用于相同方法的不同参数,可以成功地实现成功的相位估计。这种有限状态估计器是使用经验分析设计的,并且是一种有限状态机。考虑了可能状态的缩减的子集:就绪、后挥拍、向前挥拍、触击和随球动作(S=Sr;Sb;Sf;Si;St)。在图20B中示出其操作示例。状态转换受以下规则控制:
就绪:当检测到大量z轴旋转时,保留就绪状态,如通过整合z轴角速率所确定的。
或者,在r与0相交的最近时间与现在需要大于指定阈值之间的角速度r的积分的绝对值。这样做的缺点是未检测到状态转换,直到后挥拍的中间(导致某种不准确性),但确实会拒绝否则会发生的一些“假阳性”状态转换。延迟对于这种转换不是问题,因为通常不会在进入后挥拍时传递提示。
后挥拍:当检测到z轴旋转速度零点交叉时,后挥拍状态转换到向前挥拍状态,如果超过时间,则转换到就绪状态。向前挥拍转换受以下规则控制:
s→Sf:sgn(r(t-))≠sgn(r(t+))
s→Sf:sgn(r(t-))≠sgn(r(t+)) 方程45
就绪状态转换由单独的规则控制:
s→Sr:t-t0c>tbs,max s→Sr:t-t0c>tbs,max 方程46
或者,如果在后挥拍开始与当前时间之间的时间大于后挥拍的最大允许时间,则机器转换到就绪状态,因为假设某些事情中断了击球并且不会发生触击。
向前挥拍:向前挥拍状态可以转换为触击状态或就绪状态。转换为触击状态由以下方程决定:
其中,Hz是角动量向量的z轴分量的时间导数。上述规则指出,当所有三个陈述在向前挥拍期间都为真时,机器转换到触击状态:角动量向量的时间导数的z分量高于其阈值,猛拉向量的量值高于其阈值,并且加速度向量的幅度高于其阈值。
在每个时间步骤处检查该规则时,还会检查额外规则:
s→Sr:t-t0c>tfs,max s→Sr:t-t0c>tfs,max 方程48
这与“后挥拍退出”规则类似,即,如果经过过多的时间,则机器转换到就绪状态。
触击:在测试时,触击状态自动转换到跟踪状态:
s→St s→St 方程49
随球动作:随球动作状态将根据以下规则转换到就绪状态:
s→Sr:t-ti>tft,min∧sgn(r(t-))≠sgn(r(t+))
s→Sr:t-ti>tft,min∧sgn(r(t-))≠sgn(r(t+)) 方程50
或者,当经过最小时间量并且在该时间过去之后已经发生z轴旋转速率的零点交叉时,随球动作状态转换到就绪状态。
特征提取器负责将相位估计和运动数据组合成特征量。如第[00393]段和相关章节所述,特征是从已显示与所需处理相关的数据中提取的量。
对于网球,有两大类特征:连续和离散。段落[00400]中描述的相位轮廓特征是潜在连续特征的子集;段落[00398]中所述的相变特征是潜在离散特征的子集。其他离散特征包括结果、警报、非转换相关的时间或活动等。
在操作期间,特征提取器具有相位到要计算的特征的映射。例如,在后挥拍相位期间,提取器具有计算峰值方位角速率、连续滚转速率、相位结束时的仰角等的指令。在触击相位期间,提取器的指令将包括结果的计算。
对于任何给定提示情况的相关特征将不可避免地成为用户或者潜在地所有用户的所有相关特征的集合的子集。然而,所有相关特征的集合明显小于所有潜在特征的集合。此外,如前所述,人类运动问题的维度很大。基本上只通过相关信息进行过滤的部件简化了系统设计。
然后,将提取的特征和当前状态估计提供给提示法则计算器,该提示法则计算器负责解释并生成提示信号。具有用于计算提示信号的自己的参数。提示法则计算器的参数部分地由活动提示轮廓(如段落[00268]中讨论的)并且由与当前用户相关的其他参数定义。
提示轮廓部分负责该配置-轮廓的选择(通过“系统”或用户)将确定哪些提示当前处于活动状态。而不是计算所有提示,只有计算相关提示才能减少系统负担。
这种活动配置的一部分是提示信号和量化级别的相位和特征之间的映射。例如,这种映射将在向前挥拍(相位)期间的起始挥拍速率(离散特征)与用于结果特征验证的提示信号相关联,具有挥拍速率={0、5、10、15、20、25、inf}的水平。另一个示例是将后挥拍(相位)期间的仰角速率(连续特征)与提示信号相关联的映射,以针对目标仰角轮廓进行结果优化,相对于目标轮廓的水平为例如,可以从前臂内旋合成警报提示(参见图5),以监视在各种运动相位期间手腕的安全运动范围。前臂内旋警报提示将相关量映射到两个离散的水平{安全、不安全}。
在相位、特征、信号和量化级别的多个映射可以在任何给定时间处于活动状态,并且可以生成多个信号。如720所示的目标或参考值/轮廓将离线计算,并作为提示法则参数的一部分来提供。
提示信号将描述正在提示的内容、级别以及信号是连续的还是离散的。提示处理器内的提示法则计算器和提示生成器内的提示编码器将需要被配置为具有关于当前定义了什么提示信号的共享知识(例如,如果提示法则计算器正在发送结果提示类型信号,则提示编码器需要有处理这种信号的规定)。
结果验证提示信号的更详细的示例如下。提示信号可以基于结果的量化范围来编码,其中,量化水平对应于结果质量层。考虑具有四层(S={(200,500),(500,1000),(1000,1500),(1500,inf.)}rpm:→{低,中,高,非常高})的上旋量化。提示信号被定义为:
200<|S|<500rpm→ysignal(低)
500≤|S|<1000rpm→ysignal(中间)
1000≤|S|<1500rpm→ysignal(高)
1500≤|S|<inf.rpm→ysignal(非常高)
并且ysignal需要被定义为“上旋结果”提示。
这些提示信号用于生成球员可以在碰撞瞬间察觉到的提示刺激。提示生成器负责生成这种提示刺激。对于网球,刺激是听觉的;脉冲、音调或连续波形。
如图10所示,提示生成器1030被分成两个功能块:提示编码器1032和换能器1034。提示编码器接受提示信号并确定提供给换能器的波形。换能器然后将波形转换成用户听到的声波。
如前所述,编码器接收提示信号,并基于其配置,生成换能器的音频波形。提示编码器不需要如何解释信号的复杂描述。其要求是在提示信号类型、提示信号量化水平、离散/连续提示信号和相应的音频波形之间进行映射。组合映射的规则也是必要的。
例如,提示编码器可以被配置为将“仰角速率的结果特征验证”,“{10,20,30,inf.}”,“连续的”映射到一组音频波形{WF1,WF2,WF3,WF4}。另一示例是将“挥拍速率的结果优化向前挥拍特征转换”,“{5,15,25,45}”,“离散”映射到一组重复波形脉冲{WFx1,WFx2,WFx3,WFx4}。
活动映射(提示信号的定义和结果波形)由提示轮廓设置,并且由当前目标、当前用户状态、历史用户状态以及任何其他相关信息或个人偏好(例如,给定的用户可以区分音频笔记的程度)确定。
需要定义用户和波形特征之间的共同“语言”,因此,用户学习如何实现某些音调是正的,或者大声的信号是负的。用户可能会对他们可以听到的提示类型或给定提示传递模式对他们有效的程度具有独特要求。例如,一些老年用户需要使用不同的频率。一些用户对音量变化反应更强烈,其他用户对频率变化反应更强烈。所有这些波形都可以预先计算并存储在音频文件中,或者根据需要即时生成。对于连续的提示信号,诸如失真等方面也可以编码相位轮廓可变性;如果击球开始“粗糙”,则信号可能听起来尴尬或不愉快,并且如果用户“平滑”,则反馈听起来会更好。
下面是编码模式的更详细的示例。该编码将结果层映射到C大音阶(C,D,E)的音调上:
ysignal(低)→ystimuli(低)=脉冲(C)
ysignal(中间)→ystimuli(中间)=脉冲(D)
ysignal(高)→ystimuli(高)=脉冲(E)
ysignal(非常高)→ystimuli(非常高)=脉冲(C+D+E)
一种替代编码可以映射到许多脉冲:
ysignal(低)→ystimuli(低)=1x脉冲
ysignal(中间)→ystimuli(中间)=2x脉冲
ysignal(高)→ystimuli(高)=3x脉冲
ysignal(非常高)→ystimuli(非常高)=4x脉冲
换能器1034负责将音频波形转换为用户听到的声波。如同任何这种换能器一样,需要提供电信号。由提示编码器生成的音频波形可能需要放大,以便换能器具有足够的功率来生成足够大的声音。编码器可能不一定输出未压缩的时间序列数据;在这种情况下,换能器部件将负责将编码器的输出转换为可直接打球的波形。换能器的位置也可能与效果有关。将换能器放置在球拍上,可以为用户提供更多的空间信息,但是信号本身不会像在用户耳朵中直接产生声音一样(例如,通过耳机)一致。另外,换能器不必与编码器或提示系统的其余部分处于相同的物理位置;例如,无线扬声器。对于网球示例,换能器可以位于球拍上,位于附着于用户的或者在用户附近的移动装置上(例如,位于球场长凳上的智能手表、智能手机)上,或者位于用户的单独装置(例如,蓝牙耳机)上。最后,这些和其他因素(音频传感器设计、音频保真度、功率要求、距离耳朵的距离、外部噪声等)的组合将影响应该提供给换能器的波形。描述音频波形的一种方法是用参数表征其包络:攻击、衰减、维持和释放;描述了达到峰值的时间、达到稳定状态的时间、稳态/峰值比率以及从稳态到零的时间。以上因素将影响这些参数的选择。
B、高尔夫
运动技能科学表明,大多数运动活动可以用作为用于实现任务或活动中的结果的运动模式的主要运动单元来分析。该系统可配置以在许多活动中进行概括,并通过其提取结构和轨迹模式的能力以及运动数据的表现历史来训练各种运动类型。下面描述了用于以下活动的实施方式和实现示例:高尔夫、跑步、游泳、滑雪和康复。
高尔夫场景考虑希望改善其高尔夫表现的用户。具体地,这包括提高其对多种不同球杆类型的高尔夫球、挥拍类型和情况的控制。增加对球的控制将导致更低的分数,提高用户的高尔夫表现。
用于高尔夫的提示系统的最小实现方式由附接到用户球杆的具有IMU的传感器组成。传感器需要知道当前正在使用的球杆,通过让用户识别正在使用哪个球杆或者放置在球杆上并由附近的传感器装置读取的电子标签来完成。传感器将IMU数据传输到手机。用户还戴着智能手表,并携带其手机或在其手机附近。用户的手机负责处理传感器和智能手表的IMU数据,计算提示,然后通过手机或手表上的扬声器传递音频提示。
高尔夫球活动涉及用户去练习场、果岭、高尔夫球场或其他练习环境。他们将配置和准备其装置。在其手机上,将启动应用程序,创建场次/盘/其他时间上下文。然后,他们可能会激活某些提示或潜在地启用训练演练(活动可能响应于应用提示)。
下面描述评估和增强回路中使用的关键过程(图1)。这些处理根据图9中描述的处理部件来实现。高尔夫的主要运动单元是挥拍。
上述装置允许捕捉用户运动数据,包括:球杆方位、角速度、角加速度;手臂和身体配置、速率和加速度。相关的环境因素包括:GPS定位、风速、气温和/或路线[地面]状况。记录的结果包括描述球最终位置和球飞行路径所需的量。在一个实现方式中,用户的电话负责计算这些量;在另一个实现方式中,通过替代手段获取结果数据。
如同其他开放运动技能的情况那样,存在多个主要运动模式;对于高尔夫,这些是不同的挥拍类型。对于高尔夫球,挥杆类型主要由球杆选择确定(这与用户的当前目标直接相关)。基于其他预期结果,每个球杆相关的挥杆类型也将有多个分类。
每个分类也将具有独特的相位分割。图4B示出了相位分割将如何基于挥拍的类型而变化的示例。有一些挥拍会有后挥拍、两相位下挥拍、触击、随球动作和恢复;其他挥拍将只有后挥拍、下挥拍、触击和上摆。相位分割可以使用类似于网球示例所描述的方法完成。
对于高尔夫球,技能的表示主要由显示合理执行量的用户库的广度决定。打一场高尔夫比赛涉及许多远射、短射门、投球等。在一个区域没有挥杆或挥杆非常不好,可以轻松地提高用户的得分。
技能模型还包含在本文档中的其他地方描述的信息、记录:运动技术与结果之间的关系;结果、库和/或技术趋势;提示的有效性;以及其他量。
对于高尔夫球,可以使用任何前面提到的提示形式(参见段落[00295])。提示包括来自用户手机或智能手表的音频反馈。由于高尔夫是相对间歇的活动,因此信息可以编码的方式更具灵活性。可能的选择是音调(音频音符)、持续时间或重复;更复杂的编码(和弦、和弦进展)、视觉反馈或口头反馈也是可能的。
示例提示显示在图24C中,并包括:相位轮廓提示-后挥拍角速率。为了改进或加强技术,这提示用户适当的角速率轮廓。警报提示-最大后挥拍旋转。将球杆抬得太远会导致伤害;该提示有助于用户避免该活动。相位轮廓提示-峰值加速度。为了最大化距离,用户需要在挥拍期间加速其球杆,以匹配目标加速度轮廓;该提示有助于这一点。结果验证提示-目标结果。该提示通知用户他们在击球时刚刚获得的结果(例如,发射的强度、角度等)。相位轮廓提示-随球动作扩展。正确地触击球需要球杆挥杆较快。通过帮助建立关联来提示用户其随球动作。
可以传递提示的组合,以支持技术和结果发展。一种潜在的情况是将主要和次要提示结合起来,以支持更高效的高尔夫挥杆轨迹,同时管理伤害风险。示例提示轮廓可能是:主要提示:警报提示-最大后挥拍旋转;次要提示:结果验证提示-目标结果。如本领域技术人员将理解的,提示轮廓可由提示的许多组合组成,并且提示轮廓的选择将具有许多因素。
C、跑步
跑步场景考虑竞争性耐力跑步者训练,以赢得半程马拉松式事件。总体结果目标是提高步伐效率。提高步幅效率将允许用户以相同的努力更快地运动,从而增加整个过程中的平均速度,并且减少时间。用于跑步的提示系统的最小实现方式包括附接到用户的脚的传感器和附接到与脚传感器通信的用户的手臂或身体的电话或智能手表。该系统中的传感器和主机都记录来自IMU的运动数据。手机或智能手表捕捉GPS数据。处理在主机上运行,并且通过音频反馈由主机传递提示。运行会话涉及用户作出关于会话目标的决定。这些包括训练提示演习、进入特定的例程、或只跑步,而没有特定的目标。
下面描述评估和增强回路中使用的关键过程(图1)。根据图9中描述的处理部件来实现这些过程。跑步的主要运动单元是步态周期的一步。
上面提到的装置允许捕捉用户运动数据,包括:身体配置和速度(角度、CG高度、速度);腿部分的配置和速度(髋关节/膝关节/踝关节角度和速率)。感兴趣的结果是:效率((能量/步幅单元)/(距离/步幅单元));最大可能的速度;关节上的力度;肌肉类型使用分布(慢肌纤维类型和快肌纤维类型之间的力分配)。可以使用步态运动估计器来计算这些结果。在用户的主机装置上执行这些计算。
与其他开放运动技能的情况一样,库包括不同类型的运动模式。对于跑步,这些是不同的步态周期。图4E显示了其中的一些,包括步行、慢跑、跑步和短跑、以及由其他标准(例如,坡度或目标速度)确定的更详细的子类。每个步态周期类别都有独特的相位分割。
对于快速跑步级别的地面步态周期,相位分割是跳跃、触击、驱动、恢复(图24D)。相位节段可以使用现有的步态模型来识别。相位分割特定于步态类别。
用于跑步的技能模型包括步态类型(例如,步行、慢跑、跑步、冲刺)以及分解的更详细的类别。对于这个示例,技能的更重要的方面是表现而不是库的广度。技能模型还包含本文档其他部分描述的信息、记录:运动技术与结果之间的关系;结果、库和/或技术趋势;提示的有效性;和其他量。
用于跑步的提示形式包括前面提到的提示形式中的任何一种(参见段落[00295])。可以从用户的手机、智能手表或通过耳机生成可听提示。信息可以用诸如音调(音频音符)、持续时间或重复等特征进行编码。
示例提示显示在图24D中,并包括:警报提示-脚高度警报;在恢复过程中将脚抬得太高会浪费能源并因此降低效率。轮廓提示-脚挥杆轨迹;对腿部运动进行适当的协调将会带来更有效的、更少的关节触击步幅。通过在跳跃相位提示遵循脚的轮廓,可以实现腿部速度和加速度的目标值。警报-对地面接触的冲量限制提示跑步者,其脚在触击时撞击地面有多艰难。相位特征提示-驱动扩展;在接触期间的脚-地面接触的持续时间和腿伸展都会影响步幅效率。
提示轮廓提供了可以被传递以支持技术和结果发展的提示的组合。一种可能的情况是将主要和次要提示结合起来,以使效率最大化。示例提示轮廓可能是:主要提示:轮廓提示-脚挥杆轨迹;辅助提示:相位特征提示-驱动扩展。如本领域技术人员将理解的,提示轮廓可以由提示的任何组合构成,并且提示轮廓的选择将具有许多因素。
D、游泳
游泳场景考虑正在研究速度和耐力技术的竞技游泳者。具体而言,用户想要提高自由划水的效率。游泳提示系统的最小实现方式包括:胸部佩戴有集成IMU的心率监测器;包含多个压力传感器和IMU的佩戴在手上的仪器手套;传送音频提示的耳机。胸部IMU或耳机负责通过IMU传感器或可能与手机的连接(相机、无线电强度等)确定池中的位置。手机接收来自所有传感器的数据、处理数据、计算提示,并将音频提示传送给耳机。游泳会话涉及用户对会话目标做出决定,可能训练提示演习、进入特定的例程、或只游泳,而没有特定的目标。训练演习可能集中于改进由用户、系统或另一个人(即,教练)确定的技能方面。
下面描述评估和增强回路中使用的关键过程(图1)。根据图9中描述的处理部件来实现这些过程。游泳的主要运动单元是图4F所示的击球周期。这些装置允许捕捉用户运动数据,包括:手腕/肘部/肩部角度;在泳池中的位置;身体侧倾;手部压力(末端执行器的力度和侧滑)。感兴趣的结果是划水长度、划水持续时间和划水效率。可以根据用户主机装置上的运动学和动力学模型以及传感器融合算法计算结果。
与其他开放式运动技能的情况一样,该系列库包括不同类型的运动模式。对于游泳,这些是不同的游泳类型,例如,自由/爬泳、蝶泳、仰泳等。这些类型中的每一种(例如,短跑、耐力)也有不同的速度。每个类别都有特定的相位分割。对于自由泳,相位节段是:划水、恢复、伸手和抓水,如图4F所示。划水是运动的推进部分。恢复和伸手是导致下一次划水的相位,并且抓水对应于下一次划水的开始。在划水过程中,手腕相对于前臂的方位是重要的,并且前臂的方位在水中。使手和前臂垂直于运动方向,提高游泳效率。游泳长度部分取决于在延伸期间手向前延伸多远,以及在划水过程中手/前臂向后移动多远。身体侧倾与游泳具有周期性的;适量的身体侧倾将导致改善的游泳效率。用户在恢复/延伸转变期间需要小心肩部运动。相位节段可以通过肩部旋转角度来识别,手/前臂(通过压力传感器)产生的力度也可以起作用。然而,不同类别的运动可能具有完全独特的相位和相位分割规则。
对于游泳,技能的表现包括“步态”类型(例如,自由/爬泳、蝶泳、蛙泳、仰泳等)的库以及类似于图11中的网球游泳类别树的更详细的分类分解。虽然用户的目标可能是改善其自由泳,但是当混合泳活动竞赛时,库的广泛性仍然很有价值。技能模型还包含本文档其他部分描述的信息、记录:运动技术与结果之间的关系;结果、库和/或技术趋势;提示的有效性;和其他量。
用于游泳的提示形式包括与任何前述提示形式相同的形式(参见段落[00295])。提示是通过用户的耳机提供的音频反馈。信息可以用诸如音调(音频音符)、持续时间或重复等特征进行编码。
示例提示示出在图24E中并且包括:警报提示-肩部旋转。在恢复相位期间,肩部旋转伤害/损伤是可能的。因此,在该相位期间进行警告来限制肩部伸展可以帮助免受伤害。从用户的生物力学特性中识别“高风险”区域。传感器融合技术用于计算手臂的当前配置,并检测肩部延伸是否处于高风险区域。相位轮廓提示-身体侧倾。该提示用于帮助用户在整个游泳运动中保持目标身体侧倾,从而有助于最大化游泳效率。相位轮廓提示-腕/前臂方位。在游泳期间的手/前臂方位是一个连续的量,其影响可以在划水相位期间提示(相位轮廓提示)的游泳效率。结果验证提示-游泳长度。在抓水转变处验证臂延伸的提示,以帮助最大化游泳长度。
提示轮廓结合提示来支持技术和结果发展。一种可能的情况是将主要和次要提示结合起来,以最大限度地提高游泳效率,并提供单独的警报提示,以免受伤害。示例提示轮廓可能是:主要提示:相位轮廓提示-身体侧倾;次要提示:腕/前臂方位;警报提示:警报提示-肩部旋转。如本领域技术人员将理解的,提示轮廓可以由提示的任何组合构成,并且提示轮廓的选择将具有许多因素。
E、滑雪
滑雪场景考虑想要在走刃(carving)、转入和转弯协调期间改善其控制的业余滑雪者。滑雪提示系统的最小实现方式包括:具有附接到滑雪靴的IMU的传感器;用户的手机捕捉IMU和GPS位置数据。手机接收来自所有传感器的数据,处理数据,计算提示,并将音频提示传送给头戴式耳机或耳机。
下面描述评估和增强回路中使用的关键过程(图1)。这些过程根据图9中描述的处理部件来实现。此处考虑的滑雪的主要运动单元是走刃转弯部分(参见图4D)。上述装置允许捕捉用户运动数据,包括:身体、滑雪和腿的方向和速度。感兴趣的结果是:转弯率、侧滑和转向协调水平。这些结果是从现有数据计算出来的;这些计算可以在用户的主机装置上执行。
与其他开放式运动技能一样,该库包括不同类型的运动模式。对于滑雪,这些是用于协商斜坡环境的不同演习,例如,遵循回转滑、走刃或者横穿雪上技巧。每个演习类型和相关联的运动单元类别具有其特定的相位分割。对于走刃,相位分割包括:进入、加负荷、顶点、卸负荷(参见图4D)。从传感器数据中提取的相位节段可以主要通过身体和滑雪滚转和偏航率来识别。
对于滑雪,技能评估包括演习类型库(例如,走刃、雪上技巧)。在这个侧重于走刃表现的场景中,库描述了在一定范围的速度和转动半径上的走刃操作。技能模型还包含本文档其他地方描述的信息,包括:运动技术与结果之间的关系;结果、库和/或技术趋势;提示的有效性;和其他量。
用于滑雪的提示形式包括前面提到的提示形式中的任何一种(参见段落[00295])。提示是通过耳机从用户手机传送的音频反馈。信息可以用诸如音调(音频音符)、持续时间或重复等特征进行编码。
示例反馈提示在图24B中示出,并包括:相位轮廓提示-滑雪者进入转弯时的身体侧倾速率轮廓。相位轮廓提示-身体侧倾和偏航率轮廓,用于训练正确的转弯协调。在装载进入转弯的滑雪板的过程中,必须协调身体侧倾角、滑雪偏航率轮、速度和侧滑。结果验证-转弯率目标,用于提供关于转弯表现的反馈。警报提示-侧滑警报,用于防止转弯期间的能量损失。
提示轮廓组合提示,以支持技术和结果发展。一种可能的场景是将主要和次要提示组合,以达到不同转弯半径的目标侧滑值。示例提示轮廓可能是:主要提示:相位轮廓提示-身体侧倾和转弯协调;次要提示:相位轮廓提示-身体侧倾。如本领域技术人员将理解的,提示轮廓可以是提示的任何组合,并且提示轮廓的选择将具有许多因素。
F、康复
康复场景考虑遭受中风、一侧瘫痪并且正在学习重新使用其右手和手臂的用户。康复提示系统的最小实现方式可以包括:在右手背部、右手腕和右上臂上佩戴的三个组合式IMU/EMG无线传感器;手机。手机接收来自所有传感器的数据,处理数据,计算提示并输出音频提示。
下面描述了在评估和增强回路中使用的关键过程(图1)。这些处理根据图9中描述的处理部件来实现。虽然整个康复过程涉及许多不同类型的运动单元,但本示例中考虑的主要运动单元是用于伸手、抓住和举起手臂和手的手臂运动。
上述装置允许捕捉用户运动数据,包括:右臂段和手的运动(路径和方向)以及这些身体节段的相关肌肉活动。感兴趣的结果是持续时间、运动质量(准确性、稳定性)。
此处考虑的主要运动单元是以抛物线速度轮廓为特征的手臂运动的节段,从静止开始并以静止结束。这允许相位被定义为这个过程中的子运动。轨迹首先根据任务活动中的运动单元进行分段。该过程使用在基线评估会话期间确定的参数(随后可能会随时间而改变)。对于康复情况,通过传感器的EMG进行运动和子运动相位进一步分解为肌肉协同作用。这种分析允许分析神经运动和/或体力如何恢复。
用于康复的提示形式可以包括任何前述的形式(参见段落[00295])。提示可以是来自用户手机的音频反馈。信息可以用诸如音调(音频音符)、持续时间或重复等特征进行编码。由于康复运动更缓慢地展开,并且更为间歇,因此信息可以编码的方式更具灵活性。在一些实现方式中,可以使用视觉或口头反馈。示例提示在图24F中示出,并包括:轮廓提示-肘部/肩部协调。当到达对象时,预计会有一定数量的组合肩部运动和相应的肘部运动。为了帮助患者实现这种协调,可以提供提示,以使其保持正确的状态。警报提示-肘关节偏移。作为重建正确运动的一部分,限制与名义轨迹的变化或偏移的总量是有益的。警报提示可以向用户警告这些情况。结果验证-时间和准确性。恢复功能运动表现包括能够在合理的时间成功地完成任务。对每个活动给出结果反馈对用户有益。提示的组合可以用于支持技术和结果发展。对于康复,用户的能力可能会随着时间的推移发生显著变化。首先,提示轮廓可能仅限于主要提示,随着时间的推移,可能会集成上面讨论的所有示例提示。对表现的分析将强烈影响可用的提示轮廓。
在可以执行增强的康复会话之前,患者与医生或物理治疗师进行若干基线评估会话。这些会话用于建立初始运动和技能模型、基线状态以及实际目标,用于基于临床数据的训练时间表。根据用户和条件,这些设置会话包括基于视觉的运动跟踪系统,以校准各种算法,特别是用于评估身体节段和肌肉激活的算法。然后,在每天半小时的回话中组织康复过程。每个回话都可以分为侧重于具体训练元素的设置。训练元素根据评估结果、总体训练目标或其他可能相关的临床数据生成。
训练会话由强调运动康复的不同方面的训练元素组成。训练元素正在进行练习。这些练习涉及在受试者前面的标准桌高的水平面上的点之间移动手,并从那里移动到脸上的各个点,包括嘴巴、眼睛和鼻子。这些点在定制的桌布上指定,并使用听觉提示在会话期间引导受试者,包括指定桌布上的点、这些运动的时间以及在到达运动期间的提示机制,以帮助改进运动模式。所有的训练元素都是“空手”执行或包括重量或配件,例如,玻璃或叉子。配件用于改变运动条件。
在训练会话之后,该系统用于监视受试者在自然环境交互中的运动,例如,在准备其膳食的同时或在其膳食期间。也可以由系统包括收集到的数据,以计划后续训练会话。训练元素的典型更新包括:引入新的到达模式,以增加运动库。运动细化/优化练习可以改善结果(运动精确度、持续时间、可重复性)。反馈提示用于针对运动协调和执行中的缺陷。特别是要重新训练与达到运动时使用的肌肉协同相关的肌肉激活模式。时间可以改变,以提高运动模式和感官-运动整合的速度。可以引入新的运动模式来解决库中的缺陷。每日会话的结果也中继给设计长期训练目标的医生/治疗师,该训练目标基于来自具有相似技能状态和临床表现的患者的临床数据和技能发展数据。
虽然本文已经示出和描述了本发明的优选实施方式,但是对于本领域技术人员来说显而易见的是,这种实施方式仅通过示例提供。在不偏离本发明的情况下,本领域技术人员现在将想到许多变化、变化和替换。应该理解的是,可以在实践本发明时采用在本文描述的本发明的实施方式的各种替代方案。其目的在于,以下权利要求限定本发明的范围,并且由此涵盖在这些权利要求及其等同物的范围内的方法和结构。
Claims (19)
1.一种运动分析系统,包括:
一个或多个传感器,被配置为获得运动数据;以及
处理器,与所述一个或多个传感器通信,所述处理器被配置为:
从所述一个或多个传感器收集运动数据;
将收集的运动数据解析为一个或多个运动单元;
对一个或多个所述运动单元建模以生成运动模型;
分析一个或多个所述运动单元;
将一个或多个所述运动单元与先前运动测量和运动测量库中的一项或多项进行比较,以生成比较结果;
基于所述比较结果,识别用于改变的运动数据的一个或多个方面;并且
向用户提供反馈;
其中,将收集的运动数据解析为一个或多个所述运动单元包括:提取与在执行任务时使用的运动单元的运动轮廓相对应的运动节段,根据运动的内在特征、与任务环境的交互、和/或运动结果将所述运动数据划分到运动类型和类别中,其中,所述运动单元的集合定义了主体运动库;
然后将来自每个类别的运动单元的运动轮廓分割成多个相位轮廓,并且所述相位轮廓被分解成能够与运动协调之下的肌肉激活模式和关节运动相关的运动部件,所述运动轮廓由一系列的多个相位组成;并且
所述反馈由指令和反馈提示提供,用于生成所述指令的系统部件由选自智能手机或平板电脑的具有显示器和用户界面的主机计算机实施,并且用于生成所述反馈提示的系统部件由提示系统实施,所述提示系统依赖于实时运动数据处理并且被分为两个子系统:
提示处理器和提示生成器,其中,所述提示处理器从可用的测量系统或装置获取所述运动数据并生成提示信号,并且所述提示生成器获取所述提示信号并生成能够被人类主体感知的物理提示刺激,其中,所述反馈提示通过所述提示处理器和所述提示生成器基于所述提示信号而实时实现;
其中,所述提示处理器包括相位状态估计器和提示法则,所述相位状态估计器估计当前和未来的运动相位并提取相关的运动数据,并且所述提示法则获取并使用关于所述运动相位的信息和所述运动数据来计算所述提示信号;
其中,计算影响所述反馈的质量或结果的一个或多个运动特征,并且选自相变配置和相位轮廓特征的运动模型的元素用于识别哪些运动特征对所述运动结果最具预测性,其中,相变由与动力学之间的切换相关联的状态值定义,并且所述提示信号是相变提示、相位轮廓提示、以及结果验证提示中的一项或多项;以及
其中,所述提示生成器包括提示编码器和提示换能器,所述提示编码器获取所述提示信号并生成能够由人类主体解释的反馈信号,并且所述提示换能器获取所述反馈信号并生成所述物理提示刺激。
2.根据权利要求1所述的运动分析系统,其中,所述运动数据包括用户运动库内的运动,通过聚合所述运动类型或类别而形成的所述用户运动库描述主体如何将用于执行所述任务的运动结果的空间划分为具有其相关联的运动结果的不同的运动模式族,其中:
相位已分割的运动单元和运动轮廓用于定义有限状态模型,所述有限状态模型将运动模式描述为具有动力学的一系列状态,所述状态对应于由基础的连续运动过程驱动的各个运动相位;
其中,状态转变条件确定所述状态的排序;
其中,所述有限状态模型描述了面对肌肉骨骼和其他生物约束时如何实现复杂的运动模式;并且
其中,通过分解所述相位轮廓获得的各个所述运动部件被映射到肌肉骨骼系统,以描述如何通过组合身体节段和肌肉协同作用来实现所述运动轮廓。
3.根据权利要求1或2所述的运动分析系统,其中,从可穿戴传感器和远程传感器中的每一项的一个或多个中选择所述一个或多个传感器,所述可穿戴传感器可配置以感测运动的速度、运动的方位、重力以及肌肉的电活动中的一项或多项,和/或其中,提供给所述用户的反馈是可见的、触觉的和可听的中的一项或多项。
4.根据权利要求1或2所述的运动分析系统,其中:
任务表现评估级别描述运动结果的范围以及实现所述运动结果的所述运动单元的可靠性;
功能评估级别描述主体如何使用运动技术来实现所述运动结果,以及所述运动技术如何适于补偿任务条件和运动执行中的变化和不确定性;
所述运动相位提供高维运动数据的描述、基于人类结构并且在功能分析中起作用;
技能模型用于确定主体的技能状态,所述技能状态提供全面的技能评估;其中:
在活动表现级别,所述技能状态包括运动库、所述运动轮廓的统计特征以及相关联的运动结果;并且
在功能级别,所述技能状态包括针对与所述运动模型相关联的每个运动模式的结果特征集和适应特征集;并且
生物细节包括由运动协同作用和生物力学模型描述的肌肉和关节协调和表现,并且其中,所述一个或多个运动特征是相变和相位轮廓属性中的一项,并且能够通过研究对所述运动结果没有影响的运动部件特征之间的耦合模式来分析运动适应机制。
5.根据权利要求1或2所述的运动分析系统,其中,提供给所述用户的反馈是警报,并且其中,从运动特征到选择以免受伤害的生物力学特征的映射来计算所述警报。
6.根据权利要求1或2所述的运动分析系统,其中,一个或多个所述运动单元分割成两个或更多个运动相位,并且所述运动分析系统还包括将所述两个或更多个运动相位分解成两个或更多个协同作用,其中,所述两个或更多个协同作用是生物力学关系和神经肌肉关系中的每一项的一个或多个。
7.根据权利要求1或2所述的运动分析系统,其中,本地主机装置将训练信息和提示信息中的一项或多项传送给所述用户。
8.根据权利要求1或2所述的运动分析系统,还包括基于所述运动单元的特征是否能够改变且是否将影响重复运动的质量或结果,来将用于改变的一个或多个解析的运动数据优先化,和/或其中,所收集的运动数据是用户运动数据和用户控制的装置运动数据中的一项或多项。
9.一种提示处理器,其中,所述提示处理器被配置为:
生成提供运动相位和关联特征的预测的运动相位估计,
提取运动相位特征,
应用运动提示法则;并且
从提示生成器生成反馈提示,其中:
所述运动相位估计和所述运动相位特征的提取包括:相位初始预测器、初始相位状态提取器、以及相位轮廓参数提取器中的一项或多项;以及用于提取运动结果的结果提取器;
其中,在人类信息处理和技能层级的信号和提示级别操作的所述反馈提示基于从运动模型及其与自然运动实施相关的各种功能特征导出的提示机制来合成;
其中,用于生成所述反馈提示的系统部件由提示系统实施,所述提示系统依赖于实时运动数据处理并且被分为所述提示处理器和所述提示生成器,
其中,所述提示处理器从可用的测量系统或装置获取所述运动数据并生成提示信号,
其中,所述提示生成器获取所述提示信号并生成能够被人类主体感知的物理提示刺激,并且其中,所述反馈提示通过所述提示处理器和所述提示生成器基于所述提示信号而实时实现;
其中,所述提示处理器包括相位状态估计器和提示法则,所述相位状态估计器估计当前和未来的运动相位并提取相关的运动数据,并且所述提示法则获取并使用关于所述运动相位的信息和所述运动数据来计算所述提示信号;
其中,计算影响所述反馈的质量或结果的一个或多个运动特征,并且选自相变配置和相位轮廓特征的运动模型的元素用于识别哪些运动特征对运动结果最具预测性,其中,相变由与动力学之间的切换相关联的状态值定义,并且所述提示信号是相变提示、相位轮廓提示、以及结果验证提示中的一项或多项;以及
其中,所述提示生成器包括提示编码器和提示换能器,所述提示编码器获取所述提示信号并生成能够由人类主体解释的反馈信号,并且所述提示换能器获取所述反馈信号并生成所述物理提示刺激。
10.根据权利要求9所述的提示处理器,
其中,除了由所述反馈提示提供之外,反馈还由指令提供,用于生成所述指令的系统部件由选自智能手机或平板电脑的具有显示器和用户界面的主机计算机实施,
其中,所述指令在知识级别操作并通过各种可视化方法来实施,所述可视化方法描述运动模型的元素和技能模型的元素,所述技能模型包括运动库的映射、针对不同运动模式的相位已分割的运动轮廓图以及相位已分割的运动轮廓的详细图,并且在最低级别是运动协同作用和相关联的运动生物力学,所述运动轮廓由一系列的多个相位组成;
其中,视觉指令伴随有解释相关量的口头指令;并且
其中,在功能级别,所述指令详细说明所述运动模型的元素在产生运动结果中的作用,所述运动模型的元素包括与所述相变处的运动配置相关的特征以及相位已分割的运动轮廓的特征。
11.根据权利要求9或10所述的提示处理器,其中,所述提示法则包括与参考定时进行比较、与目标状态值进行比较、与参考轮廓进行比较、以及与目标结果进行比较中的至少一项。
12.根据权利要求9或10所述的提示处理器,其中,所述提示生成器生成警报。
13.根据权利要求9或10所述的提示处理器,其中,所述提示处理器并入独立装置中。
14.根据权利要求9或10所述的提示处理器,其中,基于运动相位特征是否能够改变且是否将影响重复运动的质量,并且基于用于改变的分解运动数据中的一个或多个,来将所述反馈提示优先化。
15.一种训练方法,包括:
从一个或多个传感器收集运动数据;
将收集的运动数据解析为一个或多个运动单元;
对一个或多个所述运动单元建模以生成运动模型;
分析一个或多个所述运动单元;
将一个或多个所述运动单元与先前运动测量和运动测量库中的一项或多项进行比较;并且
基于比较结果,识别用于改变的运动数据的一个或多个方面,其中:
将收集的运动数据解析为一个或多个所述运动单元包括:提取与在执行任务时使用的运动单元的运动轮廓相对应的运动节段,根据运动的内在特征、与任务环境的交互、和/或运动结果将所述运动数据划分到运动类型和类别中,其中,所述运动单元的集合定义了主体运动库;并且
然后将来自每个类别的运动单元的运动轮廓分割成多个相位轮廓,并且所述相位轮廓被分解成能够与运动协调之下的肌肉激活模式和关节运动相关的运动部件,所述运动轮廓由一系列的多个相位组成;
所述方法还包括向用户提供反馈的步骤,其中:
所述反馈由指令和反馈提示提供,用于生成所述指令的系统部件由选自智能手机或平板电脑的具有显示器和用户界面的主机计算机实施,并且用于生成所述反馈提示的系统部件由提示系统实施,所述提示系统依赖于实时运动数据处理并且被分为两个子系统:提示处理器和提示生成器;其中,
所述提示处理器从可用的测量系统或装置获取所述运动数据并生成提示信号,并且所述提示生成器获取所述提示信号并生成能够被人类主体感知的物理提示刺激,其中,所述反馈提示通过所述提示处理器和所述提示生成器基于所述提示信号而实时实现;
所述提示处理器包括相位状态估计器和提示法则,所述相位状态估计器估计当前和未来的运动相位并提取相关的运动数据,并且所述提示法则获取并使用关于所述运动相位的信息和所述运动数据来计算所述提示信号,
其中,计算影响所述反馈的质量或结果的一个或多个运动特征,并且选自相变配置和相位轮廓特征的运动模型的元素用于识别哪些运动特征对所述运动结果最具预测性,其中,相变由与动力学之间的切换相关联的状态值定义,并且所述提示信号是相变提示、相位轮廓提示、以及结果验证提示中的一项或多项;以及
所述提示生成器包括提示编码器和提示换能器,所述提示编码器获取所述提示信号并生成能够由人类主体解释的反馈信号,并且所述提示换能器获取所述反馈信号并生成所述物理提示刺激。
16.根据权利要求15所述的方法,其中,所述反馈提示是可见的、触觉的和可听的中的一项或多项。
17.根据权利要求15或16所述的方法,并且所述方法还包括基于所识别的用于改变的一个或多个解析的运动数据来生成训练时间表的步骤,其中:
所述训练时间表由训练代理制定,所述训练代理用作管理训练过程并且分析诊断结果以制定所述训练时间表的虚拟教练;
在库的级别,所述训练代理确定哪些运动模式能够被优化或细化,所述优化或细化提高所述运动模式的技能,并且所述训练代理指定哪些新的运动模式能够被形成,这涉及通过引入新模式或通过在现有模式中帮助区分运动来扩大所述运动库;
所述训练时间表被编码为训练元素的序列,所述训练元素是目标运动模式细化或运动模式形成;
提示代理管理针对所述训练时间表的特定训练元素的提示过程;
所述训练元素包括所述运动模式细化或模式形成;
反馈提示能够被激活以增强所述训练元素的训练并且包括构成提示轮廓的提示元素集;
每个提示元素由提示机制表征,并且由提示系统通过提示法则实现;并且
所述提示代理跟踪所述提示轮廓和各个提示元素的有效性,
其中,所述训练元素被形式化为跨越训练路径的分层树,关于所述运动库中的所述运动模式之间的分层关系和用于活动域的所述运动模式的相对重要性的信息用于定义所述训练元素的排序和定时;
所述训练代理沿着所述训练时间表跟踪技能状态和进度,并更新所述训练元素;以及
所述技能状态的纵向变化对应于人类主体的学习曲线。
18.根据权利要求15或16所述的方法,其中,一个或多个所述运动单元分割成两个或更多个运动相位,并且所述方法还包括将所述两个或更多个运动相位分解成两个或更多个协同作用,其中,所述两个或更多个协同作用是生物力学关系和神经肌肉关系中的每一项的一个或多个。
19.根据权利要求15或16所述的方法,其中,本地主机装置将训练信息和提示信息中的一项或多项传送给用户,和/或其中,所收集的运动数据是用户运动数据和用户控制的装置运动数据中的一项或多项。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562211281P | 2015-08-28 | 2015-08-28 | |
US62/211,281 | 2015-08-28 | ||
US15/247,622 | 2016-08-25 | ||
US15/247,622 US10854104B2 (en) | 2015-08-28 | 2016-08-25 | System for movement skill analysis and skill augmentation and cueing |
PCT/US2016/048871 WO2017040242A1 (en) | 2015-08-28 | 2016-08-26 | Systems and methods for movement skill analysis and skill augmentation and cueing |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108463271A CN108463271A (zh) | 2018-08-28 |
CN108463271B true CN108463271B (zh) | 2021-07-27 |
Family
ID=58095972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680064109.9A Active CN108463271B (zh) | 2015-08-28 | 2016-08-26 | 用于运动技能分析以及技能增强和提示的系统和方法 |
Country Status (4)
Country | Link |
---|---|
US (3) | US10854104B2 (zh) |
EP (1) | EP3341093A4 (zh) |
CN (1) | CN108463271B (zh) |
WO (1) | WO2017040242A1 (zh) |
Families Citing this family (233)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9626554B2 (en) | 2010-08-26 | 2017-04-18 | Blast Motion Inc. | Motion capture system that combines sensors with different measurement ranges |
US9261526B2 (en) | 2010-08-26 | 2016-02-16 | Blast Motion Inc. | Fitting system for sporting equipment |
US9607652B2 (en) | 2010-08-26 | 2017-03-28 | Blast Motion Inc. | Multi-sensor event detection and tagging system |
US9396385B2 (en) | 2010-08-26 | 2016-07-19 | Blast Motion Inc. | Integrated sensor and video motion analysis method |
US8944940B2 (en) | 2011-08-29 | 2015-02-03 | Icuemotion, Llc | Racket sport inertial sensor motion tracking analysis |
US10213645B1 (en) * | 2011-10-03 | 2019-02-26 | Swingbyte, Inc. | Motion attributes recognition system and methods |
US10860683B2 (en) | 2012-10-25 | 2020-12-08 | The Research Foundation For The State University Of New York | Pattern change discovery between high dimensional data sets |
US10188309B2 (en) | 2013-11-27 | 2019-01-29 | North Inc. | Systems, articles, and methods for electromyography sensors |
US10042422B2 (en) | 2013-11-12 | 2018-08-07 | Thalmic Labs Inc. | Systems, articles, and methods for capacitive electromyography sensors |
US11921471B2 (en) | 2013-08-16 | 2024-03-05 | Meta Platforms Technologies, Llc | Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source |
US20150124566A1 (en) | 2013-10-04 | 2015-05-07 | Thalmic Labs Inc. | Systems, articles and methods for wearable electronic devices employing contact sensors |
US9880632B2 (en) | 2014-06-19 | 2018-01-30 | Thalmic Labs Inc. | Systems, devices, and methods for gesture identification |
US10668353B2 (en) | 2014-08-11 | 2020-06-02 | Icuemotion Llc | Codification and cueing system for sport and vocational activities |
US10918924B2 (en) | 2015-02-02 | 2021-02-16 | RLT IP Ltd. | Frameworks, devices and methodologies configured to enable delivery of interactive skills training content, including content with multiple selectable expert knowledge variations |
JP6836582B2 (ja) | 2015-05-08 | 2021-03-03 | ジーエヌ アイピー ピーティーワイ リミテッド | パフォーマンスセンサユニットから得られるユーザパフォーマンス属性に基づいてメディアデータの自動化された分類及び/又は検索を可能にするように構成されたフレームワーク、デバイス及び方法論 |
EP3302733A4 (en) * | 2015-05-27 | 2019-02-20 | GN IP Pty Ltd | STRUCTURES, DEVICES AND METHODOLOGIES CONFIGURED TO ALLOW SENSOR-BASED SURVEILLANCE-BASED MONITORING OF PHYSICALLY EXECUTED SKILLS, INCLUDING LOCATION-SPECIFIC LUDIFICATION |
US11577142B2 (en) | 2015-07-16 | 2023-02-14 | Blast Motion Inc. | Swing analysis system that calculates a rotational profile |
US10124230B2 (en) * | 2016-07-19 | 2018-11-13 | Blast Motion Inc. | Swing analysis method using a sweet spot trajectory |
US10121066B1 (en) * | 2017-11-16 | 2018-11-06 | Blast Motion Inc. | Method of determining joint stress from sensor data |
US11565163B2 (en) | 2015-07-16 | 2023-01-31 | Blast Motion Inc. | Equipment fitting system that compares swing metrics |
US10974121B2 (en) | 2015-07-16 | 2021-04-13 | Blast Motion Inc. | Swing quality measurement system |
US9694267B1 (en) * | 2016-07-19 | 2017-07-04 | Blast Motion Inc. | Swing analysis method using a swing plane reference frame |
CA3031040C (en) | 2015-07-16 | 2021-02-16 | Blast Motion Inc. | Multi-sensor event correlation system |
US10610101B2 (en) * | 2015-07-29 | 2020-04-07 | Athalonz, Llc | Arm fatigue analysis system |
US10854104B2 (en) | 2015-08-28 | 2020-12-01 | Icuemotion Llc | System for movement skill analysis and skill augmentation and cueing |
US9949008B2 (en) | 2015-08-29 | 2018-04-17 | Bragi GmbH | Reproduction of ambient environmental sound for acoustic transparency of ear canal device system and method |
US9949013B2 (en) | 2015-08-29 | 2018-04-17 | Bragi GmbH | Near field gesture control system and method |
US9843853B2 (en) | 2015-08-29 | 2017-12-12 | Bragi GmbH | Power control for battery powered personal area network device system and method |
US9905088B2 (en) | 2015-08-29 | 2018-02-27 | Bragi GmbH | Responsive visual communication system and method |
US9972895B2 (en) | 2015-08-29 | 2018-05-15 | Bragi GmbH | Antenna for use in a wearable device |
US10699594B2 (en) | 2015-09-16 | 2020-06-30 | Apple Inc. | Calculating an estimate of wind resistance experienced by a cyclist |
US9980189B2 (en) | 2015-10-20 | 2018-05-22 | Bragi GmbH | Diversity bluetooth system and method |
US10104458B2 (en) | 2015-10-20 | 2018-10-16 | Bragi GmbH | Enhanced biometric control systems for detection of emergency events system and method |
GB2544561B (en) * | 2015-11-23 | 2019-10-09 | Time Machine Capital Ltd | Tracking system and method for determining relative movement of a player within a playing arena |
KR20190038748A (ko) | 2015-12-10 | 2019-04-09 | 지엔 아이피 피티와이 엘티디 | 성능 모니터링 하드웨어를 통한 사용자 성능 모니터링에 기초하여 기능 훈련 데이터의 실시간 적응 공급을 가능하게 하는 구조 및 방법 |
US9980033B2 (en) | 2015-12-21 | 2018-05-22 | Bragi GmbH | Microphone natural speech capture voice dictation system and method |
US9939891B2 (en) | 2015-12-21 | 2018-04-10 | Bragi GmbH | Voice dictation systems using earpiece microphone system and method |
US10085091B2 (en) | 2016-02-09 | 2018-09-25 | Bragi GmbH | Ambient volume modification through environmental microphone feedback loop system and method |
US10265602B2 (en) * | 2016-03-03 | 2019-04-23 | Blast Motion Inc. | Aiming feedback system with inertial sensors |
US10085082B2 (en) | 2016-03-11 | 2018-09-25 | Bragi GmbH | Earpiece with GPS receiver |
US10045116B2 (en) | 2016-03-14 | 2018-08-07 | Bragi GmbH | Explosive sound pressure level active noise cancellation utilizing completely wireless earpieces system and method |
US10694994B2 (en) | 2016-03-22 | 2020-06-30 | Apple Inc. | Techniques for jointly calibrating load and aerobic capacity |
US10052065B2 (en) | 2016-03-23 | 2018-08-21 | Bragi GmbH | Earpiece life monitor with capability of automatic notification system and method |
US10015579B2 (en) | 2016-04-08 | 2018-07-03 | Bragi GmbH | Audio accelerometric feedback through bilateral ear worn device system and method |
US10013542B2 (en) | 2016-04-28 | 2018-07-03 | Bragi GmbH | Biometric interface system and method |
US10687707B2 (en) | 2016-06-07 | 2020-06-23 | Apple Inc. | Detecting activity by a wheelchair user |
WO2018005690A1 (en) | 2016-06-28 | 2018-01-04 | Against Gravity Corp. | Systems and methods for assisting virtual gestures based on viewing frustum |
US10201309B2 (en) | 2016-07-06 | 2019-02-12 | Bragi GmbH | Detection of physiological data using radar/lidar of wireless earpieces |
US10045110B2 (en) | 2016-07-06 | 2018-08-07 | Bragi GmbH | Selective sound field environment processing system and method |
US20180025664A1 (en) * | 2016-07-25 | 2018-01-25 | Anna Clarke | Computerized methods and systems for motor skill training |
EP3487595A4 (en) | 2016-07-25 | 2019-12-25 | CTRL-Labs Corporation | SYSTEM AND METHOD FOR MEASURING MOVEMENTS OF ARTICULATED RIGID BODIES |
US11331045B1 (en) | 2018-01-25 | 2022-05-17 | Facebook Technologies, Llc | Systems and methods for mitigating neuromuscular signal artifacts |
CN110337269B (zh) | 2016-07-25 | 2021-09-21 | 脸谱科技有限责任公司 | 基于神经肌肉信号推断用户意图的方法和装置 |
US20200073483A1 (en) | 2018-08-31 | 2020-03-05 | Ctrl-Labs Corporation | Camera-guided interpretation of neuromuscular signals |
US11000211B2 (en) | 2016-07-25 | 2021-05-11 | Facebook Technologies, Llc | Adaptive system for deriving control signals from measurements of neuromuscular activity |
US10687759B2 (en) | 2018-05-29 | 2020-06-23 | Facebook Technologies, Llc | Shielding techniques for noise reduction in surface electromyography signal measurement and related systems and methods |
WO2020102693A1 (en) * | 2018-11-16 | 2020-05-22 | Facebook Technologies, Inc. | Feedback from neuromuscular activation within various types of virtual and/or augmented reality environments |
WO2018022602A1 (en) | 2016-07-25 | 2018-02-01 | Ctrl-Labs Corporation | Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors |
US11216069B2 (en) | 2018-05-08 | 2022-01-04 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
US10918907B2 (en) * | 2016-08-14 | 2021-02-16 | Fitbit, Inc. | Automatic detection and quantification of swimming |
US10709933B2 (en) | 2016-08-17 | 2020-07-14 | Apple Inc. | Pose and heart rate energy expenditure for yoga |
US10687752B2 (en) | 2016-08-29 | 2020-06-23 | Apple Inc. | Detecting unmeasurable loads using heart rate and work rate |
US11896368B2 (en) | 2016-08-31 | 2024-02-13 | Apple Inc. | Systems and methods for determining swimming metrics |
CN109643499B (zh) * | 2016-08-31 | 2022-02-15 | 苹果公司 | 游泳分析的系统和方法 |
WO2018063989A1 (en) * | 2016-09-28 | 2018-04-05 | Bodbox, Inc. | Evaluation and coaching of athletic performance |
US9763285B1 (en) * | 2016-10-10 | 2017-09-12 | At&T Intellectual Property I, L.P. | Disengaging movement assistance |
US10062373B2 (en) | 2016-11-03 | 2018-08-28 | Bragi GmbH | Selective audio isolation from body generated sound system and method |
US10058282B2 (en) * | 2016-11-04 | 2018-08-28 | Bragi GmbH | Manual operation assistance with earpiece with 3D sound cues |
US10045112B2 (en) | 2016-11-04 | 2018-08-07 | Bragi GmbH | Earpiece with added ambient environment |
US10063957B2 (en) | 2016-11-04 | 2018-08-28 | Bragi GmbH | Earpiece with source selection within ambient environment |
US10045117B2 (en) | 2016-11-04 | 2018-08-07 | Bragi GmbH | Earpiece with modified ambient environment over-ride function |
CN107049324B (zh) * | 2016-11-23 | 2019-09-17 | 深圳大学 | 一种肢体运动姿态的判断方法及装置 |
US11216766B2 (en) * | 2017-01-09 | 2022-01-04 | Kabushiki Kaisha Toshiba | System and method for generalized skill assessment using activity data |
US10080922B2 (en) | 2017-01-18 | 2018-09-25 | Guy Savaric Scott Davis | Swimming paddle |
US10771881B2 (en) | 2017-02-27 | 2020-09-08 | Bragi GmbH | Earpiece with audio 3D menu |
US11694771B2 (en) | 2017-03-22 | 2023-07-04 | Bragi GmbH | System and method for populating electronic health records with wireless earpieces |
US10575086B2 (en) | 2017-03-22 | 2020-02-25 | Bragi GmbH | System and method for sharing wireless earpieces |
US11544104B2 (en) | 2017-03-22 | 2023-01-03 | Bragi GmbH | Load sharing between wireless earpieces |
US11380430B2 (en) | 2017-03-22 | 2022-07-05 | Bragi GmbH | System and method for populating electronic medical records with wireless earpieces |
RU2644295C1 (ru) * | 2017-04-24 | 2018-02-08 | Общество с ограниченно ответственностью "Открытые решения" | Способ восстановления двигательной активности верхней и нижней конечностей человека |
US11037369B2 (en) * | 2017-05-01 | 2021-06-15 | Zimmer Us, Inc. | Virtual or augmented reality rehabilitation |
US10708699B2 (en) | 2017-05-03 | 2020-07-07 | Bragi GmbH | Hearing aid with added functionality |
US10786728B2 (en) | 2017-05-23 | 2020-09-29 | Blast Motion Inc. | Motion mirroring system that incorporates virtual environment constraints |
US11051720B2 (en) | 2017-06-01 | 2021-07-06 | Apple Inc. | Fitness tracking for constrained-arm usage |
US10743805B2 (en) | 2017-06-02 | 2020-08-18 | International Business Machines Corporation | Haptic interface for generating preflex stimulation |
US11116415B2 (en) | 2017-06-07 | 2021-09-14 | Bragi GmbH | Use of body-worn radar for biometric measurements, contextual awareness and identification |
US11013445B2 (en) | 2017-06-08 | 2021-05-25 | Bragi GmbH | Wireless earpiece with transcranial stimulation |
CN107247974B (zh) * | 2017-06-30 | 2020-07-31 | 中国科学院计算技术研究所 | 基于多源数据融合的健身运动识别方法及系统 |
WO2019010435A1 (en) * | 2017-07-06 | 2019-01-10 | Icuemotion Llc | SYSTEMS AND METHODS FOR TRAINING SKILL TRAINING WITH DATA |
US20190073917A1 (en) * | 2017-09-07 | 2019-03-07 | Motorola Mobility Llc | Virtual Reality Assisted Training |
US20200193864A1 (en) | 2017-09-08 | 2020-06-18 | Intel Corporation | Sensor-derived swing hit and direction detection |
US10344960B2 (en) | 2017-09-19 | 2019-07-09 | Bragi GmbH | Wireless earpiece controlled medical headlight |
US11272367B2 (en) | 2017-09-20 | 2022-03-08 | Bragi GmbH | Wireless earpieces for hub communications |
WO2019079757A1 (en) | 2017-10-19 | 2019-04-25 | Ctrl-Labs Corporation | SYSTEMS AND METHODS FOR IDENTIFYING BIOLOGICAL STRUCTURES ASSOCIATED WITH NEUROMUSCULAR SOURCE SIGNALS |
US11188193B2 (en) | 2017-11-14 | 2021-11-30 | International Business Machines Corporation | Method and system for generating a prioritized list |
CN108079554B (zh) * | 2017-11-28 | 2019-07-30 | 浙江工业大学 | 一种运动测试型身体素质指标评价方法及系统 |
GB2569655B (en) * | 2017-12-22 | 2022-05-11 | Jemella Ltd | Training system and device |
CN108154137B (zh) * | 2018-01-18 | 2020-10-20 | 厦门美图之家科技有限公司 | 视频特征学习方法、装置、电子设备及可读存储介质 |
JP7367530B2 (ja) * | 2018-01-23 | 2023-10-24 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US10937414B2 (en) | 2018-05-08 | 2021-03-02 | Facebook Technologies, Llc | Systems and methods for text input using neuromuscular information |
US10970936B2 (en) | 2018-10-05 | 2021-04-06 | Facebook Technologies, Llc | Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment |
US11493993B2 (en) | 2019-09-04 | 2022-11-08 | Meta Platforms Technologies, Llc | Systems, methods, and interfaces for performing inputs based on neuromuscular control |
US11961494B1 (en) | 2019-03-29 | 2024-04-16 | Meta Platforms Technologies, Llc | Electromagnetic interference reduction in extended reality environments |
US11907423B2 (en) | 2019-11-25 | 2024-02-20 | Meta Platforms Technologies, Llc | Systems and methods for contextualized interactions with an environment |
US11481030B2 (en) | 2019-03-29 | 2022-10-25 | Meta Platforms Technologies, Llc | Methods and apparatus for gesture detection and classification |
US10504286B2 (en) | 2018-01-25 | 2019-12-10 | Ctrl-Labs Corporation | Techniques for anonymizing neuromuscular signal data |
US11150730B1 (en) | 2019-04-30 | 2021-10-19 | Facebook Technologies, Llc | Devices, systems, and methods for controlling computing devices via neuromuscular signals of users |
WO2019147956A1 (en) | 2018-01-25 | 2019-08-01 | Ctrl-Labs Corporation | Visualization of reconstructed handstate information |
EP3743901A4 (en) | 2018-01-25 | 2021-03-31 | Facebook Technologies, Inc. | REAL-TIME PROCESSING OF ESTIMATES FROM A HAND CONDITION REPRESENTATION MODEL |
WO2019147958A1 (en) | 2018-01-25 | 2019-08-01 | Ctrl-Labs Corporation | User-controlled tuning of handstate representation model parameters |
US10817795B2 (en) | 2018-01-25 | 2020-10-27 | Facebook Technologies, Llc | Handstate reconstruction based on multiple inputs |
WO2019147996A1 (en) | 2018-01-25 | 2019-08-01 | Ctrl-Labs Corporation | Calibration techniques for handstate representation modeling using neuromuscular signals |
WO2019148106A1 (en) * | 2018-01-26 | 2019-08-01 | University Of Cincinnati | Automated identification and creation of personalized kinetic state models of an individual |
FR3077213A1 (fr) * | 2018-01-29 | 2019-08-02 | Paola Vinci | Module virtuel d'apprentissage du tennis |
JP7458650B2 (ja) * | 2018-04-26 | 2024-04-01 | オムニバス 157 プロプリエタリー リミテッド | 泳者のモーションの能力測定基準を系統的に表すためのシステム及び方法 |
AU2019261945A1 (en) * | 2018-04-30 | 2020-11-26 | Vanderbilt University | Wearable device to monitor musculoskeletal loading, estimate tissue microdamage and provide injury risk biofeedback |
US10592001B2 (en) | 2018-05-08 | 2020-03-17 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
CN112469469B (zh) | 2018-05-25 | 2024-11-12 | 元平台技术有限公司 | 用于提供肌肉下控制的方法和装置 |
EP3576095A1 (en) | 2018-06-01 | 2019-12-04 | FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. | System for determining a game scenario in a sports game |
EP3807795A4 (en) | 2018-06-14 | 2021-08-11 | Facebook Technologies, LLC. | USER IDENTIFICATION AND AUTHENTICATION BY MEANS OF NEUROMUSCULAR SIGNATURES |
US11971951B2 (en) * | 2018-06-21 | 2024-04-30 | City University Of Hong Kong | Systems and methods using a wearable sensor for sports action recognition and assessment |
US11842572B2 (en) * | 2018-06-21 | 2023-12-12 | Baseline Vision Ltd. | Device, system, and method of computer vision, object tracking, image analysis, and trajectory estimation |
JP7262937B2 (ja) * | 2018-06-29 | 2023-04-24 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN109011506B (zh) * | 2018-07-12 | 2020-09-15 | 深圳市虚数科技有限公司 | 一种训练动作识别方法 |
WO2020018892A1 (en) | 2018-07-19 | 2020-01-23 | Ctrl-Labs Corporation | Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device |
WO2020019171A1 (zh) * | 2018-07-24 | 2020-01-30 | 中国科学院深圳先进技术研究院 | 身份认证方法、装置、电子设备及存储介质 |
KR102543650B1 (ko) * | 2018-07-30 | 2023-06-15 | 주식회사 엔씨소프트 | 모션 합성 장치 및 모션 합성 방법 |
EP3836836B1 (en) | 2018-08-13 | 2024-03-20 | Meta Platforms Technologies, LLC | Real-time spike detection and identification |
TWI714948B (zh) * | 2018-08-15 | 2021-01-01 | 財團法人工業技術研究院 | 運動狀態評估方法 |
CN110833420A (zh) | 2018-08-15 | 2020-02-25 | 财团法人工业技术研究院 | 运动状态评估方法 |
TWI713890B (zh) * | 2018-08-31 | 2020-12-21 | 國立虎尾科技大學 | 運動姿勢分析系統及其方法 |
JP7103078B2 (ja) * | 2018-08-31 | 2022-07-20 | オムロン株式会社 | 作業支援装置、作業支援方法及び作業支援プログラム |
CN110895588B (zh) * | 2018-09-13 | 2022-07-22 | 中国移动通信有限公司研究院 | 一种数据处理方法及设备 |
US11244362B2 (en) * | 2018-09-17 | 2022-02-08 | International Business Machines Corporation | Measuring user expertise utilizing networked sensing devices |
CN109035925A (zh) * | 2018-09-17 | 2018-12-18 | 武汉中奥互联科技有限公司 | 一种用于响应终端的动作并提供动态订制的体操教学方法 |
WO2020061451A1 (en) | 2018-09-20 | 2020-03-26 | Ctrl-Labs Corporation | Neuromuscular text entry, writing and drawing in augmented reality systems |
US10921764B2 (en) | 2018-09-26 | 2021-02-16 | Facebook Technologies, Llc | Neuromuscular control of physical objects in an environment |
US10843060B2 (en) * | 2018-10-04 | 2020-11-24 | Dish Network L.L.C. | Systems and methods for ball location on a sports field |
US20220001236A1 (en) * | 2018-10-09 | 2022-01-06 | Brian Francis Mooney | Coaching, assessing or analysing unseen processes in intermittent high-speed human motions, including golf swings |
US11281896B2 (en) | 2018-11-15 | 2022-03-22 | Smith & Nephew, Inc. | Physical activity quantification and monitoring |
US11797087B2 (en) | 2018-11-27 | 2023-10-24 | Meta Platforms Technologies, Llc | Methods and apparatus for autocalibration of a wearable electrode sensor system |
RU197549U1 (ru) * | 2018-11-27 | 2020-05-13 | Федеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский Томский государственный университет" (ТГУ, НИ ТГУ) | Устройство динамической коррекции движения руки человека |
US11164319B2 (en) | 2018-12-20 | 2021-11-02 | Smith & Nephew, Inc. | Machine learning feature vector generator using depth image foreground attributes |
US20200215393A1 (en) * | 2019-01-07 | 2020-07-09 | Michelle Blackwell | Methods for physical therapy |
CN109977752B (zh) * | 2019-01-16 | 2022-04-12 | 大连理工大学 | 一种基于序列模式挖掘的羽毛球运动员技战术分析方法 |
JP2020129018A (ja) * | 2019-02-07 | 2020-08-27 | 株式会社日立製作所 | 動作評価システムおよび方法 |
EP3696740B1 (en) * | 2019-02-14 | 2024-01-10 | Braun GmbH | System for assessing the usage of an envisaged manually movable consumer product |
US10905383B2 (en) | 2019-02-28 | 2021-02-02 | Facebook Technologies, Llc | Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces |
CN113557069B (zh) * | 2019-02-28 | 2025-01-03 | 元平台技术有限公司 | 用于手势分类和施加的力估计的无监督机器学习的方法和装置 |
US11065549B2 (en) * | 2019-03-15 | 2021-07-20 | Sony Interactive Entertainment Inc. | AI modeling for video game coaching and matchmaking |
CN109924984B (zh) * | 2019-03-22 | 2022-01-21 | 上海电气集团股份有限公司 | 基于人体运动意图检测的机器人运动控制方法及系统 |
EP3716017B1 (en) | 2019-03-29 | 2025-06-25 | Nokia Technologies Oy | Haptic feedback |
US11482127B2 (en) * | 2019-03-29 | 2022-10-25 | Indiavidual Learning Pvt. Ltd. | System and method for behavioral analysis and recommendations |
US10827968B2 (en) * | 2019-04-02 | 2020-11-10 | International Business Machines Corporation | Event detection and notification system |
US11325000B2 (en) | 2019-05-03 | 2022-05-10 | Xperience Robotics, Inc. | Wearable device systems and methods for guiding physical movements |
CN110197727A (zh) * | 2019-05-13 | 2019-09-03 | 中山大学附属第一医院 | 基于人工神经网络的上肢建模方法及运动机能评估系统 |
JP2020195431A (ja) * | 2019-05-30 | 2020-12-10 | 国立大学法人 東京大学 | トレーニング支援方法及び装置 |
WO2020240821A1 (ja) * | 2019-05-31 | 2020-12-03 | 日本電信電話株式会社 | 身体運動フィードバック装置、身体運動フィードバック方法、プログラム |
CN110364235A (zh) * | 2019-06-13 | 2019-10-22 | 缤刻普达(北京)科技有限责任公司 | 用户运动计划定制方法、装置、计算机设备及存储介质 |
CN110473602B (zh) * | 2019-06-26 | 2022-05-24 | 吉林大学 | 一种用于穿戴式体感游戏设备的体态数据集采集处理方法 |
KR102322406B1 (ko) * | 2019-07-15 | 2021-11-05 | 주식회사 골프존 | 가상 골프 시스템, 가상 골프 인트로 영상 생성방법 및 가상 골프의 플레이어에 관한 정보의 산정방법 |
CN112315485B (zh) * | 2019-07-18 | 2023-06-23 | 查宇亮 | 基于不对称性心动周期变化的素质能力量化评价方法 |
CN110689041A (zh) * | 2019-08-20 | 2020-01-14 | 陈羽旻 | 一种多目标行为动作识别预测方法、电子设备及存储介质 |
US11752414B2 (en) * | 2019-08-22 | 2023-09-12 | Fast Track Vision, LLC | System and method for tracking a projectile |
CN110624220B (zh) * | 2019-09-04 | 2021-05-04 | 福建师范大学 | 最优立定跳远技术模板的获取方法 |
US10940362B1 (en) | 2019-09-05 | 2021-03-09 | Andre Foucault | Kinoped lower extremity performance improvement, injury prevention, and rehabilitation system |
US11937904B2 (en) | 2019-09-09 | 2024-03-26 | Apple Inc. | Detecting the end of cardio machine activities on a wearable device |
KR102776983B1 (ko) * | 2019-09-24 | 2025-03-10 | 삼성전자주식회사 | 착용형 장치 및 이의 동작 방법 |
WO2021062330A1 (en) * | 2019-09-27 | 2021-04-01 | Eric Rosenberg | Quantified movement feedback system |
US12109453B2 (en) | 2019-09-27 | 2024-10-08 | Apple Inc. | Detecting outdoor walking workouts on a wearable device |
KR20210039875A (ko) * | 2019-10-02 | 2021-04-12 | 주식회사 모아이스 | 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체 |
CA3157828A1 (en) * | 2019-10-17 | 2021-04-22 | Polyvalor, Limited Partnership | Methods and systems for the acquisition of kinematic data for neuromotor assessment |
US12194342B2 (en) | 2019-11-10 | 2025-01-14 | Volley LLC | Automatic ball machine apparatus |
US11273341B2 (en) * | 2019-11-27 | 2022-03-15 | Ready 2 Perform Technology LLC | Interactive visualization system for biomechanical assessment |
US10857426B1 (en) | 2019-11-29 | 2020-12-08 | Kpn Innovations, Llc | Methods and systems for generating fitness recommendations according to user activity profiles |
US12073296B2 (en) | 2019-11-29 | 2024-08-27 | Kpn Innovations, Llc. | Methods and systems for generating physical activity sets for a human subject |
US12089953B1 (en) | 2019-12-04 | 2024-09-17 | Meta Platforms Technologies, Llc | Systems and methods for utilizing intrinsic current noise to measure interface impedances |
CN110935154B (zh) * | 2020-01-02 | 2021-10-08 | 赵永俊 | 用于手球射门训练的装置及手球射门训练方法 |
US11151462B2 (en) | 2020-02-04 | 2021-10-19 | Vignet Incorporated | Systems and methods for using machine learning to improve processes for achieving readiness |
US11157823B2 (en) | 2020-02-04 | 2021-10-26 | Vignet Incorporated | Predicting outcomes of digital therapeutics and other interventions in clinical research |
US20230050387A1 (en) * | 2020-02-11 | 2023-02-16 | Siemens Aktiengesellschaft | Method and system for imposing constraints in a skill-based autonomous system |
WO2021205479A2 (en) * | 2020-04-09 | 2021-10-14 | Tata Consultancy Services Limited | Method and system for real time trajectory optimization |
CN113709411B (zh) * | 2020-05-21 | 2024-05-14 | 幻蝎科技(武汉)有限公司 | 一种mr智能眼镜基于眼动追踪技术的体育辅助训练系统 |
JP7459679B2 (ja) * | 2020-06-23 | 2024-04-02 | 富士通株式会社 | 行動認識方法、行動認識プログラム及び行動認識装置 |
CN111939541A (zh) * | 2020-06-23 | 2020-11-17 | 北京瑞盖科技股份有限公司 | 一种乒乓球训练的评估方法、装置、设备和系统 |
US20210406738A1 (en) * | 2020-06-29 | 2021-12-30 | International Business Machines Corporation | Methods and systems for providing activity feedback utilizing cognitive analysis |
DE102020119907A1 (de) * | 2020-07-28 | 2022-02-03 | Enari GmbH | Vorrichtung und Verfahren zur Erkennung und Vorhersage von Körperbewegungen |
JP7390994B2 (ja) * | 2020-08-27 | 2023-12-04 | グローブライド株式会社 | 釣情報管理システム |
CN116075399B (zh) * | 2020-09-14 | 2024-11-12 | 三菱电机株式会社 | 机器人控制装置 |
US11928607B2 (en) | 2020-10-30 | 2024-03-12 | AstrumU, Inc. | Predictive learner recommendation platform |
US11671406B2 (en) | 2020-11-03 | 2023-06-06 | International Business Machines Corporation | Patterned and correlated electrical activity |
EP4251038A4 (en) * | 2020-12-06 | 2024-11-13 | Cionic, Inc. | MACHINE-LEARNED MOTION DETERMINATION BASED ON INTENTION IDENTIFICATION |
US11957605B2 (en) | 2020-12-06 | 2024-04-16 | Cionic, Inc. | Machine-learned movement determination based on intent identification |
CN116830167A (zh) * | 2020-12-21 | 2023-09-29 | 伊虎智动有限责任公司 | 用于开放式运动技能的评估和增强系统 |
CN112690808B (zh) * | 2020-12-22 | 2022-03-15 | 浙江大学 | 一种基于表面肌电信号和相空间重构法的人体肌肉疲劳识别方法和系统 |
CN112742007B (zh) * | 2021-01-07 | 2022-06-07 | 广东松山职业技术学院 | 一种智能羽毛球 |
KR20230086750A (ko) * | 2021-03-19 | 2023-06-15 | 썬전 샥 컴퍼니 리미티드 | 운동감시방법및 운동감시시스템 |
US11868531B1 (en) | 2021-04-08 | 2024-01-09 | Meta Platforms Technologies, Llc | Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof |
KR102401955B1 (ko) * | 2021-05-20 | 2022-05-25 | (주)에어패스 | Fsm 특성을 활용한 ar 스포츠 게임 콘텐츠 제공시스템 |
CA3222789A1 (en) | 2021-05-27 | 2022-12-01 | Ai Thinktank Llc | 3d avatar generation and robotic limbs using biomechanical analysis |
US11620858B2 (en) | 2021-05-28 | 2023-04-04 | Sportsbox.ai Inc. | Object fitting using quantitative biomechanical-based analysis |
US12008839B2 (en) | 2021-05-28 | 2024-06-11 | Sportsbox.ai Inc. | Golf club and other object fitting using quantitative biomechanical-based analysis |
JP2023001477A (ja) * | 2021-06-21 | 2023-01-06 | 株式会社日立製作所 | 活動量算出装置および活動量算出方法 |
CN113609992B (zh) * | 2021-08-06 | 2023-11-14 | 浙江大学 | 一种拍类运动战术流的分析方法 |
TWI820466B (zh) * | 2021-08-10 | 2023-11-01 | 臺灣輔康醫療器材股份有限公司 | 運動評估及處方產生系統及其方法 |
CN113794725A (zh) * | 2021-09-14 | 2021-12-14 | 北京本地通科技有限公司 | 一种电数字数据传输方法及系统 |
JP2024537861A (ja) * | 2021-10-05 | 2024-10-16 | カーステン マニュファクチュアリング コーポレーション | 一貫性のあるギャップを備えるゴルフクラブセットを作成するためのボール飛行データ予測システム及び方法 |
CN114371830B (zh) * | 2021-12-15 | 2024-11-29 | 西安理工大学 | 显示屏幕面板中滚轮式时间控件整点时刻的设置方法 |
CN114668387A (zh) * | 2021-12-15 | 2022-06-28 | 上海长征医院 | 基于运动特征和知识图谱的人体肌骨健康状况分析方法 |
USD1006661S1 (en) | 2021-12-22 | 2023-12-05 | Icuemotion Llc | Sensor cover |
EP4201306A1 (en) * | 2021-12-23 | 2023-06-28 | Polar Electro Oy | Apparatus, method and computer program product for providing audio guidance during exercise |
US12248898B2 (en) | 2022-01-28 | 2025-03-11 | AstrumU, Inc. | Confirming skills and proficiency in course offerings |
US11928660B2 (en) * | 2022-03-18 | 2024-03-12 | Toshiba Global Commerce Solutions Holdings Corporation | Scanner swipe guidance system |
USD1035720S1 (en) | 2022-04-20 | 2024-07-16 | Sportsbox.ai Inc. | Display screen with transitional graphical user interface |
USD1036464S1 (en) | 2022-04-20 | 2024-07-23 | Sportsbox.ai Inc. | Display screen with transitional graphical user interface |
USD1035721S1 (en) | 2022-04-20 | 2024-07-16 | Sportsbox.ai Inc. | Display screen with transitional graphical user interface |
KR102810412B1 (ko) * | 2022-07-21 | 2025-05-22 | 한국과학기술원 | 선택적 근육 활성화를 위한 골프 스윙 연습 시스템 및 이를 이용한 골프 트레이닝 방법 |
CN115120959B (zh) * | 2022-07-28 | 2024-12-27 | 中山市大成动漫科技有限公司 | 一种射球游艺机及其回收循环系统与控制方法 |
EP4325466A1 (de) * | 2022-08-18 | 2024-02-21 | Benecke-Kaliko AG | Erfassung eines performancedatensatzes einer sportbewegung |
CN115346415B (zh) * | 2022-09-05 | 2023-07-25 | 中国航空工业集团公司沈阳空气动力研究所 | 一种沉浸式滑雪模拟系统及其使用方法 |
IT202200020649A1 (it) * | 2022-10-07 | 2024-04-07 | Univ Telematica San Raffaele Roma | Sistema per monitorare eventi tattici in sport di squadra tramite la generazione di rispettivi contenuti multimediali e relativo metodo |
US12242663B2 (en) | 2022-12-08 | 2025-03-04 | Stmicroelectronics, Inc. | Sensor unit with on-device unsupervised learning and classification |
WO2024182439A1 (en) * | 2023-02-27 | 2024-09-06 | Trustees Of Boston University | Biomechanical measurement devices and uses thereof for phenotype-guided movement assessment, intervention, and active assistance device control |
WO2024218359A1 (en) * | 2023-04-20 | 2024-10-24 | F. Hoffmann-La Roche Ag | Monitoring of subjects with neuromuscular diseases |
US20240399236A1 (en) * | 2023-05-30 | 2024-12-05 | A Good Walk, LLC | Method and System For Golf Content Displayed on a Computing Device |
CN116458852B (zh) * | 2023-06-16 | 2023-09-01 | 山东协和学院 | 基于云平台及下肢康复机器人的康复训练系统及方法 |
US11957969B1 (en) * | 2023-08-02 | 2024-04-16 | Gotta Sports Inc. | System and method for match data analytics |
CN117315780B (zh) * | 2023-09-28 | 2024-07-23 | 江苏运动健康研究院 | 一种羽毛球挥拍动作识别与三维轨迹重建方法及系统 |
US12099975B1 (en) | 2023-10-13 | 2024-09-24 | AstrumU, Inc. | System for analyzing learners |
US20250161782A1 (en) * | 2023-11-18 | 2025-05-22 | Shure Technology Inc. | Smart golf eyewear and method of use thereof |
JP7662240B1 (ja) * | 2024-01-26 | 2025-04-15 | 株式会社CaTe | 情報処理装置、方法、プログラム、およびシステム |
TWI870326B (zh) * | 2024-07-18 | 2025-01-11 | 孫維孝 | 匹克球選手擊球表現分析及匹克球選手等級分級之方法及其系統 |
US12307799B1 (en) | 2024-09-23 | 2025-05-20 | AstrumU, Inc. | Document ingestion pipeline |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104225890A (zh) * | 2013-06-21 | 2014-12-24 | 精工爱普生株式会社 | 运动分析装置 |
Family Cites Families (123)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4257594A (en) | 1975-12-05 | 1981-03-24 | Richard N. Conrey | Electronic athletic equipment |
US4303241A (en) | 1980-08-11 | 1981-12-01 | Burroughs Wayne A | Sports vision training device |
US4508510A (en) | 1983-12-07 | 1985-04-02 | Mona Clifford | Method for psychomotor training of physical skills |
AU5748790A (en) | 1989-06-09 | 1991-01-07 | John L. O'neal | Biofeedback device for monitoring muscular movement |
DE3929459C1 (zh) | 1989-09-05 | 1991-01-24 | Wolfgang 4800 Bielefeld De Suttner | |
US5031909A (en) | 1990-05-07 | 1991-07-16 | Pecker Edwin A | Electronic athletic equipment |
US5154427A (en) | 1990-11-07 | 1992-10-13 | Harlan Thomas A | Golfer's swing analysis device |
US5419562A (en) | 1993-08-10 | 1995-05-30 | Cromarty; John I. | Method and apparatus for analyzing movements of an individual |
US6032530A (en) | 1994-04-29 | 2000-03-07 | Advantedge Systems Inc. | Biofeedback system for sensing body motion and flexure |
US5694340A (en) | 1995-04-05 | 1997-12-02 | Kim; Charles Hongchul | Method of training physical skills using a digital motion analyzer and an accelerometer |
AU5182396A (en) | 1995-05-18 | 1996-11-29 | Mark Johnson | Motion sensor |
US5646911A (en) | 1995-06-07 | 1997-07-08 | Davis; Douglas Jones | Tennis pacer |
US6219032B1 (en) | 1995-12-01 | 2001-04-17 | Immersion Corporation | Method for providing force feedback to a user of an interface device based on interactions of a controlled cursor with graphical elements in a graphical user interface |
US6314339B1 (en) | 1997-10-01 | 2001-11-06 | The Research Foundation Of State University Of New York | Method and apparatus for optimizing an actual motion to perform a desired task by a performer |
US6224493B1 (en) | 1999-05-12 | 2001-05-01 | Callaway Golf Company | Instrumented golf club system and method of use |
US6578291B2 (en) | 2000-06-06 | 2003-06-17 | John Hirsch | Shoe wear indicator |
CA2364919A1 (en) | 2000-12-14 | 2002-06-14 | Kevin Tuer | Proprioceptive golf club with analysis, correction and control capabilities |
US6565449B2 (en) | 2001-02-05 | 2003-05-20 | Kirk Alyn Buhler | Athletic ball impact measurement and display device |
US20020134153A1 (en) | 2001-03-26 | 2002-09-26 | Grenlund Aaron E. | Instrumented athletic device for coaching and like purposes |
US6649905B2 (en) | 2001-03-26 | 2003-11-18 | Aaron E. Grenlund | Accelerometer and devices using the same |
US7021140B2 (en) | 2001-07-24 | 2006-04-04 | Noel C. Perkins | Electronic measurement of the motion of a moving body of sports equipment |
US10360685B2 (en) * | 2007-05-24 | 2019-07-23 | Pillar Vision Corporation | Stereoscopic image capture with performance outcome prediction in sporting environments |
US7094164B2 (en) * | 2001-09-12 | 2006-08-22 | Pillar Vision Corporation | Trajectory detection and feedback system |
FR2829700A1 (fr) | 2001-09-19 | 2003-03-21 | Feel Your Play Technology | Article de sport tel qu'une raquette de tennis, comportant au moins un detecteur de mouvement |
US6659905B2 (en) | 2002-01-24 | 2003-12-09 | General Motors Corporation | Family of five-speed transmission mechanisms having three planetary gear sets and four clutches |
US20040259651A1 (en) | 2002-09-27 | 2004-12-23 | Imego Ab | Sporting equipment provided with a motion detecting arrangement |
WO2004044712A2 (en) | 2002-11-13 | 2004-05-27 | Brian King | System and method for capturing and analyzing tennis player performances and tendencies |
GB2418475B (en) | 2003-06-09 | 2007-10-24 | Immersion Corp | Interactive gaming systems with haptic feedback |
US20060166738A1 (en) | 2003-09-08 | 2006-07-27 | Smartswing, Inc. | Method and system for golf swing analysis and training for putters |
US20050054457A1 (en) | 2003-09-08 | 2005-03-10 | Smartswing, Inc. | Method and system for golf swing analysis and training |
US20060025229A1 (en) * | 2003-12-19 | 2006-02-02 | Satayan Mahajan | Motion tracking and analysis apparatus and method and system implementations thereof |
WO2005072831A1 (en) | 2004-01-26 | 2005-08-11 | Modelgolf Llc | Systems and methods of measuring and evaluating performance of a physical skill and equipment used to perform the physical skill |
US20050227775A1 (en) | 2004-03-26 | 2005-10-13 | Smartswing, Inc. | Method and system for calibrating sports implement inertial motion sensing signals |
US20050261073A1 (en) | 2004-03-26 | 2005-11-24 | Smartswing, Inc. | Method and system for accurately measuring and modeling a sports instrument swinging motion |
US8556267B2 (en) | 2004-06-07 | 2013-10-15 | Acushnet Company | Launch monitor |
US20050288119A1 (en) | 2004-06-28 | 2005-12-29 | Hongchuan Wang | Real-time measurements for establishing database of sporting apparatus motion and impact parameters |
US7771263B2 (en) | 2004-09-09 | 2010-08-10 | Telford Golf Enterprises, LLC | Portable swing speed analyzer |
US7160200B2 (en) | 2004-09-22 | 2007-01-09 | Yale University | Golf swing tempo measurement system |
EP1846115A4 (en) | 2005-01-26 | 2012-04-25 | Bentley Kinetics Inc | METHOD AND SYSTEM FOR ANALYZING AND TEACHING ATHLETIC MOVEMENT |
US7219033B2 (en) | 2005-02-15 | 2007-05-15 | Magneto Inertial Sensing Technology, Inc. | Single/multiple axes six degrees of freedom (6 DOF) inertial motion capture system with initial orientation determination capability |
US20060277466A1 (en) | 2005-05-13 | 2006-12-07 | Anderson Thomas G | Bimodal user interaction with a simulated object |
US7383728B2 (en) * | 2005-07-13 | 2008-06-10 | Ultimate Balance, Inc. | Orientation and motion sensing in athletic training systems, physical rehabilitation and evaluation systems, and hand-held devices |
DE102005036355A1 (de) | 2005-07-29 | 2007-02-01 | Cairos Technologies Ag | Verfahren zur Erfassung der Kraft- und Bewegungsverhältnisse an einem Spielgerät |
US20070105664A1 (en) | 2005-11-07 | 2007-05-10 | Fun Racquets, Inc. | Racquet with Entertainment and Performance Feedback |
US7499828B2 (en) | 2005-11-29 | 2009-03-03 | Mario Barton | Position determining apparatus and related method |
US20070135225A1 (en) * | 2005-12-12 | 2007-06-14 | Nieminen Heikki V | Sport movement analyzer and training device |
US7978081B2 (en) | 2006-01-09 | 2011-07-12 | Applied Technology Holdings, Inc. | Apparatus, systems, and methods for communicating biometric and biomechanical information |
US8636605B2 (en) | 2006-03-01 | 2014-01-28 | Acushnet Company | IR system for kinematic analysis |
US7536033B2 (en) | 2006-03-03 | 2009-05-19 | Richard Albert Kirby | Portable swing analyzer |
US8337335B2 (en) | 2006-10-07 | 2012-12-25 | Dugan Brian M | Systems and methods for measuring and/or analyzing swing information |
US8358965B2 (en) | 2006-12-30 | 2013-01-22 | Realtime Learning Systems, Llc | Internet based learning systems |
US20080200287A1 (en) * | 2007-01-10 | 2008-08-21 | Pillar Vision Corporation | Trajectory detection and feedfack system for tennis |
RU2364436C2 (ru) | 2007-06-18 | 2009-08-20 | Максим Алексеевич Васин | Способ тренировки и устройство для его осуществления |
US8360904B2 (en) | 2007-08-17 | 2013-01-29 | Adidas International Marketing Bv | Sports electronic training system with sport ball, and applications thereof |
DE202007013632U1 (de) | 2007-09-28 | 2007-12-06 | Exner, Frank, Dr. | Vorrichtung zur Optimierung der Schlagtechnik für Ballspiele |
US8260477B2 (en) | 2007-12-04 | 2012-09-04 | King Fahd University Of Petroleum And Minerals | Method and apparatus for tracking center of gravity of air vehicle |
CA2715965C (en) | 2008-02-14 | 2019-01-15 | Infomotion Sports Technologies, Inc. | Electronic analysis of athletic performance |
US9623284B2 (en) | 2008-02-20 | 2017-04-18 | Karsten Manufacturing Corporation | Systems and methods for storing and analyzing golf data, including community and individual golf data collection and storage at a central hub |
US9393478B2 (en) | 2008-02-20 | 2016-07-19 | Nike, Inc. | System and method for tracking one or more rounds of golf |
US8589114B2 (en) | 2008-08-19 | 2013-11-19 | Angelo Gregory Papadourakis | Motion capture and analysis |
WO2010039674A2 (en) | 2008-10-01 | 2010-04-08 | University Of Maryland, Baltimore | Step trainer for enhanced performance using rhythmic cues |
US20120046119A1 (en) | 2008-10-09 | 2012-02-23 | Golf Impact Llc | Golf Swing Measurement and Analysis System |
US9084925B2 (en) | 2008-10-09 | 2015-07-21 | Golf Impact, Llc | Golf swing analysis apparatus and method |
US20100105479A1 (en) | 2008-10-23 | 2010-04-29 | Microsoft Corporation | Determining orientation in an external reference frame |
US8622795B2 (en) | 2008-12-04 | 2014-01-07 | Home Box Office, Inc. | System and method for gathering and analyzing objective motion data |
US20100184564A1 (en) | 2008-12-05 | 2010-07-22 | Nike, Inc. | Athletic Performance Monitoring Systems and Methods in a Team Sports Environment |
CN102362302B (zh) | 2009-03-20 | 2016-01-06 | 约翰斯·霍普金斯大学 | 用于量化技能的方法及系统 |
US8540560B2 (en) | 2009-03-27 | 2013-09-24 | Infomotion Sports Technologies, Inc. | Monitoring of physical training events |
US20100323794A1 (en) | 2009-06-18 | 2010-12-23 | Yui-Zhang Su | Sensor based human motion detection gaming with false positive detection |
US20110021280A1 (en) | 2009-07-27 | 2011-01-27 | Vladimir Boroda | Hitting technique by identifying ball impact points |
US20110054290A1 (en) | 2009-09-01 | 2011-03-03 | Adidas AG, World of Sports | Method and System for Interpretation and Analysis of Physiological, Performance, and Contextual Information |
DE202010018140U1 (de) | 2009-09-25 | 2014-05-13 | Head Technology Gmbh | Vorrichtung zur Leistungssteigerung bei Schlägersportarten |
CA2779471A1 (en) | 2009-11-06 | 2011-05-12 | Skyhawke Technologies, Llc. | Golf shot tracking system |
US8423336B2 (en) | 2009-12-16 | 2013-04-16 | The United States Of America As Represented By The Secretary Of The Navy | Aerodynamic simulation system and method for objects dispensed from an aircraft |
US20110202152A1 (en) | 2010-01-11 | 2011-08-18 | John Barton | Apparatus, system and method employing acceleration data |
US9134534B2 (en) * | 2010-02-28 | 2015-09-15 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including a modular image source |
US8323107B2 (en) | 2010-03-16 | 2012-12-04 | Rafi Amit | Method and device for scorekeeping watch |
US9039527B2 (en) | 2010-08-26 | 2015-05-26 | Blast Motion Inc. | Broadcasting method for broadcasting images with augmented motion data |
US9247212B2 (en) * | 2010-08-26 | 2016-01-26 | Blast Motion Inc. | Intelligent motion capture element |
US9033810B2 (en) | 2010-08-26 | 2015-05-19 | Blast Motion Inc. | Motion capture element mount |
US9626554B2 (en) | 2010-08-26 | 2017-04-18 | Blast Motion Inc. | Motion capture system that combines sensors with different measurement ranges |
US8903521B2 (en) | 2010-08-26 | 2014-12-02 | Blast Motion Inc. | Motion capture element |
US8994826B2 (en) * | 2010-08-26 | 2015-03-31 | Blast Motion Inc. | Portable wireless mobile device motion capture and analysis system and method |
US8941723B2 (en) | 2010-08-26 | 2015-01-27 | Blast Motion Inc. | Portable wireless mobile device motion capture and analysis system and method |
US8905855B2 (en) | 2010-08-26 | 2014-12-09 | Blast Motion Inc. | System and method for utilizing motion capture data |
US8944928B2 (en) | 2010-08-26 | 2015-02-03 | Blast Motion Inc. | Virtual reality system for viewing current and previously stored or calculated motion data |
US8894597B2 (en) | 2010-09-04 | 2014-11-25 | Tracy A. Newkirk | Scapulo-spinal stabilizer with abdominal support for opening the superior thoracic aperture |
JP5675301B2 (ja) | 2010-11-26 | 2015-02-25 | 株式会社ブリヂストン | ゴルフスイングの分類方法、分類システム、解析装置およびプログラム |
CN102553194B (zh) | 2010-12-20 | 2015-07-22 | 精工爱普生株式会社 | 摆动分析装置 |
US9011293B2 (en) | 2011-01-26 | 2015-04-21 | Flow-Motion Research And Development Ltd. | Method and system for monitoring and feed-backing on execution of physical exercise routines |
US8956238B2 (en) | 2011-04-28 | 2015-02-17 | Nike, Inc. | Golf clubs and golf club heads |
US9375624B2 (en) | 2011-04-28 | 2016-06-28 | Nike, Inc. | Golf clubs and golf club heads |
US8419560B2 (en) | 2011-07-14 | 2013-04-16 | Alexander Andre Amini | System and method for adaptive delivery of game balls based on player-specific performance data analysis |
US20130018494A1 (en) * | 2011-07-14 | 2013-01-17 | Alexander Andre Amini | System and method for motion analysis and feedback with ongoing dynamic training orientation determination |
US8944940B2 (en) * | 2011-08-29 | 2015-02-03 | Icuemotion, Llc | Racket sport inertial sensor motion tracking analysis |
US9327177B2 (en) | 2011-10-14 | 2016-05-03 | Dunlop Sports Co. Ltd. | Tennis swing analysis method |
US9248358B2 (en) * | 2012-04-10 | 2016-02-02 | Apexk Inc. | Interactive cognitive-multisensory interface apparatus and methods for assessing, profiling, training, and improving performance of athletes and other populations |
US9082312B2 (en) | 2012-05-09 | 2015-07-14 | Antennasys, Inc. | Physical activity instructional apparatus |
FR2990356A1 (fr) * | 2012-05-10 | 2013-11-15 | Movea | Procede d'analyse du jeu d'un utilisateur d'une raquette |
CA2880434A1 (en) | 2012-07-30 | 2014-02-06 | Treefrog Developments, Inc. | Athletic monitoring |
JP6439235B2 (ja) | 2012-08-10 | 2018-12-19 | カシオ計算機株式会社 | 情報報知装置、情報報知方法及びプログラム |
US9652992B2 (en) | 2012-10-09 | 2017-05-16 | Kc Holdings I | Personalized avatar responsive to user physical state and context |
CN103076884B (zh) | 2013-02-07 | 2015-03-25 | 泽普互动(天津)科技有限公司 | 用于动作识别的数据采集方法和装置以及动作识别系统 |
US9314666B2 (en) * | 2013-03-15 | 2016-04-19 | Ficus Ventures, Inc. | System and method for identifying and interpreting repetitive motions |
KR101954959B1 (ko) | 2013-03-15 | 2019-03-07 | 나이키 이노베이트 씨.브이. | 운동 수행의 이미지 데이터로부터의 피드백 신호들 |
US9390630B2 (en) * | 2013-05-03 | 2016-07-12 | John James Daniels | Accelerated learning, entertainment and cognitive therapy using augmented reality comprising combined haptic, auditory, and visual stimulation |
WO2014197443A1 (en) | 2013-06-03 | 2014-12-11 | Kacyvenski Isaiah | Motion sensor and analysis |
US20150057111A1 (en) | 2013-08-20 | 2015-02-26 | Quattriuum Inc. | System, device and method for quantifying motion |
US20150104768A1 (en) | 2013-10-10 | 2015-04-16 | Modernstat Llc | Trainable skill practice planning and reporting system |
CN104107134B (zh) | 2013-12-10 | 2017-08-01 | 中山大学 | 基于肌电反馈的上肢训练方法及系统 |
US10327481B2 (en) | 2013-12-31 | 2019-06-25 | Suunto Oy | Arrangement and method for configuring equipment |
US20160345869A1 (en) | 2014-02-12 | 2016-12-01 | Khaylo Inc. | Automatic recognition, learning, monitoring, and management of human physical activities |
CN106102846A (zh) | 2014-03-19 | 2016-11-09 | 索尼公司 | 信息处理设备、信息处理方法及记录介质 |
US10668353B2 (en) * | 2014-08-11 | 2020-06-02 | Icuemotion Llc | Codification and cueing system for sport and vocational activities |
US20160361593A1 (en) | 2015-06-10 | 2016-12-15 | Wesley Charles Elliott | System, apparatus and method for determining and analyzing sport related activities in conjunction with low latency transmission and processing |
US20170225033A1 (en) | 2015-06-23 | 2017-08-10 | Ipcomm Llc | Method and Apparatus for Analysis of Gait and to Provide Haptic and Visual Corrective Feedback |
US9694267B1 (en) | 2016-07-19 | 2017-07-04 | Blast Motion Inc. | Swing analysis method using a swing plane reference frame |
US20170021259A1 (en) * | 2015-07-22 | 2017-01-26 | Ryke Dismuke | System and method of tracking and improving golf performance |
US10854104B2 (en) | 2015-08-28 | 2020-12-01 | Icuemotion Llc | System for movement skill analysis and skill augmentation and cueing |
CA3017037A1 (en) | 2016-03-11 | 2017-09-14 | Niklas KNAB | Signaling device and implement |
SK288743B6 (sk) | 2016-05-25 | 2020-04-02 | Hdts A S | Integrovaný viacúčelový hokejový trenažér a spôsob jeho ovládania/riadenia pre individuálny tréning a testovanie korčuliarskych a hokejových zručností |
US11083950B2 (en) | 2016-06-16 | 2021-08-10 | Sony Corporation | Information processing apparatus and information processing method |
WO2019010435A1 (en) | 2017-07-06 | 2019-01-10 | Icuemotion Llc | SYSTEMS AND METHODS FOR TRAINING SKILL TRAINING WITH DATA |
-
2016
- 2016-08-25 US US15/247,622 patent/US10854104B2/en active Active
- 2016-08-26 WO PCT/US2016/048871 patent/WO2017040242A1/en active Application Filing
- 2016-08-26 CN CN201680064109.9A patent/CN108463271B/zh active Active
- 2016-08-26 EP EP16842664.1A patent/EP3341093A4/en active Pending
-
2020
- 2020-10-12 US US17/068,012 patent/US11367364B2/en active Active
-
2022
- 2022-06-16 US US17/841,820 patent/US11763697B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104225890A (zh) * | 2013-06-21 | 2014-12-24 | 精工爱普生株式会社 | 运动分析装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2017040242A1 (en) | 2017-03-09 |
EP3341093A1 (en) | 2018-07-04 |
EP3341093A4 (en) | 2019-05-08 |
US11367364B2 (en) | 2022-06-21 |
US11763697B2 (en) | 2023-09-19 |
US20170061817A1 (en) | 2017-03-02 |
CN108463271A (zh) | 2018-08-28 |
US20210110734A1 (en) | 2021-04-15 |
HK1259069A1 (zh) | 2019-11-22 |
US20230017367A1 (en) | 2023-01-19 |
US10854104B2 (en) | 2020-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11763697B2 (en) | User interface system for movement skill analysis and skill augmentation | |
CN110998696B (zh) | 用于数据驱动型移动技能训练的系统和方法 | |
US11508344B2 (en) | Information processing device, information processing method and program | |
US20220198368A1 (en) | Assessment and augmentation system for open motor skills | |
Kyan et al. | An approach to ballet dance training through ms kinect and visualization in a cave virtual reality environment | |
JP2022507628A (ja) | 様々なタイプの仮想現実および/または拡張現実環境内の神経筋活性化からのフィードバック | |
US20230285806A1 (en) | Systems and methods for intelligent fitness solutions | |
US20220351824A1 (en) | Systems for dynamic assessment of upper extremity impairments in virtual/augmented reality | |
US20160175646A1 (en) | Method and system for improving biomechanics with immediate prescriptive feedback | |
Gharaei et al. | Optimizing the setting of medical interactive rehabilitation assistant platform to improve the performance of the patients: A case study | |
Rett | Robot-human interface using laban movement analysis inside a bayesian framework | |
Malik et al. | Badminton action analysis using LSTM | |
Qi | Interactive experience of singing learning and perception using gesture robots based on artificial intelligence games | |
HK1259069B (zh) | 用於運動技能分析以及技能增强和提示的系統和方法 | |
Tits | Expert gesture analysis through motion capture using statistical modeling and machine learning | |
KR20180040295A (ko) | 상호 작용 로봇 장치 및 이를 이용하는 방법 | |
CN118538362B (zh) | 一种基于体感交互式虚拟康复训练方法及系统 | |
Jensen | Design Considerations and Application Examples for Embedded Classification Systems | |
Sebernegg | Tennis Motion Learning in Virtual Reality | |
Flaig et al. | Data-Driven VR Movement Game for Adaptive Upper Extremity Rehabilitation for Children with Hemiparetic Cerebral Palsy: A Novel Therapy Approach | |
Liu et al. | Innovative Application of Computer Vision and Motion Tracking Technology in Sports Training. | |
Yang | Animation VR Motion Simulation Evaluation Based on Somatosensory Simulation Control Algorithm | |
Pogrzeba et al. | Towards a vocabulary for describing 3d motion data in functionally oriented music therapy | |
CN120199131A (zh) | 一种基于多模态人工智能结合虚拟现实技术的心肺复苏培训系统 | |
CN119626464A (zh) | 一种基于人工智能的空间忽略康复训练系统及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1259069 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |