CN102792315A - 用于实时确定重复运动参数的系统和方法 - Google Patents
用于实时确定重复运动参数的系统和方法 Download PDFInfo
- Publication number
- CN102792315A CN102792315A CN2011800091946A CN201180009194A CN102792315A CN 102792315 A CN102792315 A CN 102792315A CN 2011800091946 A CN2011800091946 A CN 2011800091946A CN 201180009194 A CN201180009194 A CN 201180009194A CN 102792315 A CN102792315 A CN 102792315A
- Authority
- CN
- China
- Prior art keywords
- motion
- cycle
- module
- signal
- repetition form
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P21/00—Testing or calibrating of apparatus or devices covered by the preceding groups
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种用于实时确定重复形式的运动的参数(PM,Tp)的系统,包括:-第一模块(EST1),其用于基于表示所述运动的代表性信号(S1,S2),在当前运动结束前,估计所述重复形式的运动的周期的近似值(Tr);-用于基于由所述第一估计模块(EST1)所估计的所述周期(Tr)来确定滑动窗口的尺寸(F)的模块(DET);-第二模块(EST2),其用于基于表示所述运动的代表性信号(S1,S2)和由所述第一估计模块(EST1)所传送的所述滑动窗口的尺寸(F),借助滑动窗口来精确估计所述运动参数。
Description
本发明涉及用于实时确定重复形式的运动的参数的系统和方法。
术语实时表示响应时间适合于应用的环境。
本发明应用于发生重复形式的运动的任何领域,诸如医疗领域、康复、体育运动领域等,但特别适合应用于视频游戏领域,其中许多游戏都需要玩家的部分身体的重复形式的运动。本发明也可以应用于自动机或机器人的重复形式的运动。
在诸如电影、视频游戏和体育运动等多个领域中实现了对人运动的分析。例如,这种分析使得能够再现由用户所执行的运动成为可能,以使显示在屏幕上的人的虚拟描绘栩栩如生,而无需重建复杂的物理模型,同时还保持了更逼真和更自然的身体动作。
运动的捕捉主要用于电影和视频游戏,以便通过再现实际运动而使显示屏上的人的化身或虚拟描绘栩栩如生,例如在文献WO 2008011352中所描述的那样。
然而,此类系统需要结合集中在人身上的视频采集而使用设置在用户是每一个肢体上的特定标识。之后对视频进行分析,以便通过在三个维度中确定每个标识的位置来定义模型。
因为对所执行的运动和标识的位置的精度上的约束是重要的,所以这种技术涉及复杂的实施方式。此外,因为数据的采集及其处理主要需要再现运动,而不是与系统实时互动,所以不必实时地执行数据的采集及其处理。
诸如在文献WO 2006103662中所公开的其它方案允许追踪体育赛事。这种应用使得可以以根据体育运动动作发生的阶段来改进其定向、或者以能够执行已经发生的体育运动动作的阶段性总结的方式来控制一组摄像机。然而,摄像机常常远离运动员,前者不能用于需要高精度的应用中。
在用户与例如视频游戏控制台等机器之间进行互动的情况下,目前正在研发允许玩家与游戏控制台之间的互动的其它方案。近来,微软(商标)已经提出了Natal计划。其目的在于提出一种使用摄影机的新接口,其解释用户所执行的运动,以便驱动视频游戏或多媒体接口。
然而,这种技术要求用户在确定的空间内动作,该确定的空间特别要求在用户与系统之间不存在任何障碍物。
其它系统使用板载(onboard)传感器,或者以其它方式表述,用户配备有可以给出其地点或位置的传感器,诸如卫星定位系统传感器等;或者配备有可以确定其运动的传感器,诸如加速度计、磁强计、陀螺仪等。在没有外界干涉的情况下,这些传感器必须是侵入可能最小的且易于安置的。
这些传感器,即使是低成本的,也使得可以在测量运动时获得比精度与传感器的尺寸和清晰度成比例并且从而需要更复杂的处理和更有效且更昂贵的处理机的视频传感器更好的精度。
板载传感器可以用于地理定位和导航。配备有诸如GPS接收器等卫星定位系统接收器的某些车辆或装置还包含惯性设备,以便减轻系统信号接收的暂时中断。从而,如文献US 2009192708中所述,这种系统适合于步行者的导航。然而,这些方案都需要全球位置基准(reference),仅可以以临时的方式来使用运动传感器,以便减轻由此产生的缺陷或增大精度。所用的系统包括非常少的传感器,简单的加速度计就可以给出位移的主要方向和速度,并且无需额外的细节来表征运动。此外,不必尽可能快地响应速度或方向的变化。这些系统不适合于相对精确的运动,也不适合于接口的使用。
在本发明中,用户仅借助于运动传感器来与机器进行互动。因此,这种方案需要高精度,但最重要的是需要最早可能的响应以及简单且自然的处理。
近年来,为了控制通信接口而固定在人身上的传感器的使用已经得到推广。
特别是在视频游戏的环境下,其中某些系统不仅使以比使用操纵杆或键盘更精确的方式进行互动成为可能,而且还可以通过使新玩家在无需学习掌握控制方式的情况下而迅速进行游戏来提供用户友好性,那些与运动相关联的控制方式更加自然。最后,这种方案通过使视频游戏适合于玩家自身的运动而提供了改进的真实性。
因此,Sony已经提出了一种与其包括运动传感器的游戏控制台兼容的dualshock(商标)操纵杆,以便可以将施加至控制台的运动转录到屏幕上。然而,这些运动是受限的,因此主要功能保持了将定向运动放大为操纵杆的倾斜角的函数的可能性。
最近,Nintendo推出了其大众化市场的Wii(商标)控制台,其包括互动式操纵杆。这些操纵杆配备有加速度计,用于查明玩家的运动,而无需更精确地确定运动的方向或幅度。诸如在文献EP 0908701中所描述的,为了补充这个操纵杆而开发了平台,以便也考虑腿部的运动。然而,这个平台仅可以查明同一位置处的腿部运动的频率,因此不容许玩家的任何位移。此外,其不可能查明玩家的定向,以便能够例如执行旋转命令。
文献WO 2006086487涉及使得模块适合于运动鞋,以便测量并发送与所执行的运动的数量有关的信息。该发明的具体特征在于能够测量玩家所执行的物理活动的数量,以便能够激活游戏的特定功能,或者化身或虚拟描绘的特定特性。然而,这种装置不允许玩家与其虚拟描绘之间完全的接口连接(interfacing)。实际上,仅使用了一个传感器(例如加速度计)来测量物理活动,但没有恢复信息来更精确表征所执行的运动。
这些系统对于实时应用来说缺乏精度和速度,特别是在视频游戏领域中。
本发明的目的在于减轻上述问题。
根据本发明的一个方面,提出了一种用于实时确定重复形式的运动的参数的系统,包括:
-第一模块,其用于基于表示所述运动的代表性信号,在当前运动结束前,估计所述重复形式的运动的周期的近似值;
-用于基于由所述第一估计模块所估计的所述周期来确定滑动窗口的尺寸的模块;
-第二模块,其用于基于表示所述运动的代表性信号和由所述第一估计模块所传送的所述滑动窗口的尺寸,借助滑动窗口来精确估计所述运动参数。
由此改进了实时确定,因为用于在进行中的运动结束前估计重复形式的运动的周期的近似值的第一模块允许确定模块以相适应的方式迅速估计特别适合于以快速方式精确计算运动参数的滑动窗口的尺寸。从而,滑动窗口的尺寸自动适应于重复形式的运动的周期的变化。重复形式的运动的表达旨在表示相对类似形式的运动,但其一些参数可以变化,诸如周期(或者频率或者速度)、幅度、或者冲击力(接触撞击的力)。
在一个实施例中,所述运动参数是所述重复形式的运动的周期。
所述系统尤其适合于基于第一近似快速估计来实时地精确估计重复形式的运动的周期,所述第一近似快速估计可以快速确定特别适合于周期的精确计算的滑动窗口的尺寸,从而迅速得多地执行周期的精确计算。因此,借助改进的最早的可能的响应时间(即,改进的实时方案),从而精确地执行重复形式的运动的周期的确定。
例如,所述第二估计模块包括用于计算重复形式的运动的周期的基于相关性(correlation)的模块。
因此,基于不是非常复杂的统计,有可能在无需运动的时域特征的先验知识的情况下确定参数。
根据一个实施例,用于估计不同于所述周期的所述重复形式的运动的另一运动参数的所述第一模块包括用于精确估计所述周期的所述第二模块。
如果借助根据本发明的系统,以精确的方式实时确定了重复形式的运动的周期,则根据本发明的另一方面,就可以利用所述周期来通过如下方式计算不同于该周期的另一运动参数:确定滑动窗口的尺寸,之后允许精确且迅速地估计该另一运动参数。
在一个实施例中,所述确定模块包括安全倍增(multiplicativeenhancement of safety)。
因此,采用安全裕度(safety margin)来确定滑动窗口的尺寸,从而使得可以避免滑动窗口的尺寸有点儿太小。
根据一个实施例,所述系统包括用于实时通信所述运动的进展的通信接口,例如,视听接口。
这个视听通信接口尤其适合于视频游戏系统。
在一个实施例中,所述系统还包括传感器组件,其适合于固定至执行重复形式的运动的元件,以便传送所述信号。
传感器组件可以包括至少一个磁强计、和/或至少一个加速度计、和/或陀螺仪、和/或压力传感器、和/或心电图仪、和/或用于测量呼吸量的流量计、和/或用于测量呼吸频率的传感器。
根据另一个方面,还提出了一种用于实时确定重复形式的运动的参数的方法,其包括以下步骤:
-基于表示所述运动的代表性信号,在当前运动结束前,估计所述重复形式的运动的周期的近似值;
-基于所述近似估计的周期来确定滑动窗口的尺寸;
-基于表示所述运动的代表性信号和所述滑动窗口的确定尺寸,借助滑动窗口精确估计所述运动参数。
根据一种模式的实施方式,实时确定所述重复形式的运动的精确周期。
在一种模式的实施方式中,不同于所述周期的所述重复形式的运动的另一运动参数的估计用于近似估计所述周期的步骤以及精确估计所述重复形式的运动的周期的步骤中。
根据一种模式的实施方式,所述信号由固定至执行重复形式的运动的元件的传感器组件发送,例如,包括至少一个磁强计、和/或至少一个加速度计、和/或陀螺仪、和/或压力传感器、和/或心电图仪、和/或用于测量呼吸量的流量计、和/或用于测量呼吸频率的传感器。
在一个实施例中,通过使用分解为减小的特征值λu、λv和λw,来执行由具备第一正交坐标系[X,Y,Z]的传感器组件所发送的所述信号的坐标系(frame)变化,以在第二正交坐标系[U,V,W]中表示所述第一正交坐标系[X,Y,Z],所述第二正交坐标系的轴U或轴U和V分别对应于所述运动的主轴或主平面。
从而改进了精度和鲁棒性。此外,于是传感器组件的自动校准也是可能的。
根据一个实施例,对所述重复形式的运动的精确周期的所述实时确定:检测所述滑动窗口之上的局部最大值和全局最大值,所述局部最大值和全局最大值是基本持续时间的倍数;并选择对应于所述精确周期的、最早出现的且其相对于所述全局最大值的偏差小于阈值的最大值。
因此,在所述精确周期的检测中的低误差风险在已经借助周期的快速近似估计而优化的滑动窗口的尺寸之上仍受到更多限制。
通过研究数个以完全非限制性的示例的方式描述的并由附图来例示的实施例,将会更好地理解本发明,在附图中:
-图1示意性地示出了根据本发明一个方面的用于实时确定重复形式的运动的参数的系统;
-图2示意性地示出了图1的系统的示例性实施例,其中,根据本发明的一个方面,参数是周期;
-图3示意性地示出了根据本发明的一个方面的、还估计了不同于所述周期的所述重复形式的运动的另一运动参数的图2的系统;
-图4和5示意性地示出了在视频游戏应用情况下的传感器组件;
-图6和7示意性地示出了确定周期的问题;以及
-图8示意性地示出了示例性地比较根据本发明一个方面的周期的计算与具有优化尺寸的窗口的估计。
在各个附图中,具有相同附图标记的元件是相同的。
在图1中示出了用于实时确定重复形式的运动的参数的系统,包括第一估计模块EST1,其用于基于表示运动的信号S1、S2,在当前运动结束前估计重复形式的运动的周期的近似值Tr。确定模块DET基于由所述第一估计模块EST1所估计的所述周期Tr来确定滑动窗口的尺寸F,例如通过将快速近似值Tr乘以等于1+Δ的系数或增益,以便取得安全裕度。例如,Δ可以在0到0.5之间。第二模块用于基于表示运动的信号S1、S2以及由第一估计模块EST1所传送的滑动窗口的尺寸F,借助滑动窗口来精确估计运动参数。
图2示出了在重复形式的运动中所实时确定的运动参数是运动的周期的情况,其作为第二估计模块EST2的输出Tp来传送。
在此情况下,本发明使得可以通常在进行中的运动结束前,通过快速估计运动周期Tr,来给用于精确估计的第二模块提供由确定模块DET所优化的滑动窗口的尺寸F,从而允许第二估计模块EST2在最早可能的时刻执行所述周期的精确估计Tp。这种精确估计要快速得多。
在计算周期的情况下,第二估计模块EST2基于可以包括或可以不包括第一估计模块EST1的输入信号的单一信号或若干信号,借助滑动窗口来执行相关性。
图3示出了根据本发明一个方面的“级联”实施例,其采用了图2的系统,并将其作为第一快速估计模块EST’1,用于估计滑动窗口的尺寸,以便精确地估计另一运动参数,一旦精确周期Tp已经以精确的方式计算出来,该另一运动参数就可以立即视为周期的快速估计Tr’。
例如,用于周期的快速估计的模块EST1可以实现文献A.Marakov的“Frequency tracking in nonstationary signals using Joint Order Statistics”,Proceedings of the International Symposium on Time-Frequency andTime-Scale Analysis 96,p 441-444、M.Jabloun的“Un nouvel outil d'analysetemps-fréquence basésur un moyennage àrecalage de phase”[A newtime-frequency analysis tool based on averaging with phase registration]Gretsi2009、或者S.Chandra Sekhar的“Adaptive spectrogram vs.Adaptive pseudoWigner-Ville distribution for instantaneous frequency estimation”,SignalProcessing 2003中所描述的快速估计。
信号S1、S2或S3可以是相同的、不同的或者一个可以包括另一个。它们源自发送表示重复形式的运动的信号的传感器。例如,传感器组件可以包括至少一个磁强计,和/或至少一个加速度计,和/或陀螺仪,和/或压力传感器,和/或心电图仪,和/或用于测量呼吸量的流量计,和/或用于测量呼吸频率的传感器。
图4示出了将本发明应用于与重复形式的行走运动有关的视频游戏领域的示例。对于每条腿来说,传感器组件包括三轴加速度计和三轴磁强计(X、Y和Z)。每个模态都是三维信号,在这个实例中总共有12个信号。以规则的间隔对这些信号进行采样,并且注明所接收的每个信号的日期,以便能使数据同步。
这种配置响应于传感器的具体定位,例如,在脚的一侧上,以便根据运动来确定传感器的一个主轴的方向,但可以想到应用处理来执行坐标系(U,V,W)的变化,以便将传感器定位在同一坐标系中。如图5中所示,坐标系的这种变化还可以查明运动的主方向或主平面。
以不同的方式表述,通过使用分解为减小的特征值λu、λv和λw来执行第一正交坐标系(X,Y,Z)中的信号的坐标系的变化,从而在第二正交坐标系(U,V,W)中表达第一正交坐标系(X,Y,Z),第二正交坐标系(U,V,W)的轴U或者轴U和V分别对应于所述运动的主轴或主平面。
信号必须包含关于所执行的运动的信息的最大值,有必要以相对于运动最优的方式来确定从其提取信号的传感器的轴的方向。
或者以最优的方式定位传感器,例如使得传感器的X轴以最佳信噪比测量包括最多信息的信号的分量,或者可以执行坐标系的变化。
为了执行从基准(X,Y,Z)至(U,V,W)的这种坐标系的变化,使用了特征值分解。原理在于确定系数λu、λv和λw,以使得λu>λv>λw。因此,可以将传感器的基准描述为形成正交坐标系的各个轴(U,V,W)的组合。分解的一个特性可以定义这个新的坐标系,以使得U轴是运动的主轴。
例如,对于给定的脚来说,必须在窗口之上考虑例如由加速度计A产生的3个传感器信号:[Ax,Ay,Az]。
此后必须计算相关矩阵C:
因此,为了实施处理操作,可以考虑加速度计的信号Au而不是Ax。
对于这个示例,为了模拟行走/奔跑,当玩家的脚离开地面时,或者当玩家的趾尖在地面上时,系统就认为玩家执行了行走/奔跑运动。在随后的非限制性的描述中,将本发明应用于这个示例。
周期使得可以定义玩家的步伐的频率或速度,即确定玩家是缓慢地还是迅速地行走,或者他是否在奔跑。可以利用两个信号S1和S2的互相关函数来估计步伐的持续时间。这种想法是估计使它们的相关性最大的、在这两个信号之间的时间迁移(shift),此后将这个迁移τopt与玩家的步伐的周期T相关联。可以设想复杂性增加的各种配置:
S1=S2=Agx或Adx或Agu或Adu,即,任选的脚的分量上的自相关性,并且如果可能的话,沿着主运动轴确定方向。在此情况下,τopt=T,
S1=Agx并且S2=Adx或Agu或Adu,即,两只脚的两个相似分量之间的相关性。在此情况下,必须注意,两个轴具有相同的方向和相同的意义。在此情况下,τopt=T/2,
在前一情况下,可以借助信号的特征值分解技术,通过执行对每只脚上的运动的主轴的估计来确定轴的共线性。
为了允许追踪玩家步伐的周期的变化,相关性的计算依赖于信号窗口,该信号窗口以因果关系的方式考虑了或者说顾及到仅使用感兴趣的时刻之前的样本的时间窗口、所述信号以及最近采集的样本。为了确定信号周期,有必要包含至少一个信号周期。
得到了以下用于两个信号S2与S2之间的相关性Γs1s2(t,τ)的等式:
其中:
t表示当前时刻,
τ表示所考虑的迁移,
It表示取决于t的间隔。
这个函数可以借助以下等式来估计:
Tf表示感兴趣的时间窗口的尺寸,从而将延迟τ的变化的取值范围定义为[0;Tf]。
为了支持最近采集的样本并改进估计的质量,可以在这个计算中增加持续时间Tf-τ的加权窗口wTf-τ,从而可以对每个信号窗口应用与窗口的时刻和样本的时刻成比例的特定权重。于是,可以通过以下关系式来计算相关函数:
其中,α表示加权窗口的时间指数(temporal index)。
在后者为最大值时,该相关性可以确定对应于信号周期的最优迁移。图6将相关函数表示为周期变化的信号的t和τ的函数。
图7是在给定时刻t=35s时的图6的纵截面。这两个图涉及具有脚的分量上的自相关性的S1=S2=Agx或Adx的情况。此后,有必要追踪最大值以修正给定时刻的任何误差。
从而,这个步骤使得可以借助适当地适应滑动窗口的尺寸,通过去掉次要值、周期的倍数,来使搜索最大相关性值变得容易。
因此,对应于步伐的持续时间的周期的结果是由相关性的最大值所确定的值T:
因此,这个方案需要单一参数:τmax(Tf),其对应于为计算相关性而考虑的最大迁移。因为有必要考虑这个尺寸的时间窗口,所以将这个迁移解释为最大可能延迟。
当使用固定参数时,延迟将是恒定的,但如果速率加速,就不可能在最早可能的时刻做出响应。因此,有必要将窗口的最大尺寸调整为最慢步伐的函数,即若干秒。因此,这个想法会得到分析窗口的尺寸的适应性调整,以便在改变行走速率之后优化系统的快速。
以其它方式来表述,如图7所示,相关性Γ的结果展现了若干波瓣,在自相关的情况下,其每一个最大值位于T、2T、3T…、kT(在两只脚之间的相关性的情况下,相应地为T/2、3T/2、5T/2…、(2k+1)T/2)。在完全稳定的信号的理想情况下,最大值是全局最大值的波瓣位于T(相应地为T/2)。然而,在周期不稳定的信号的情况下,全局最大值可以不位于T(相应地为T/2),而位于2T或3T(相应地为3T/2、5T/2)。
因此,在此情况下,对周期的估计所给出的结果会是错误的,所估计的周期会比实际值大两倍或三倍。因此,按如下给出修正:
假设T为全局最大值的时刻。
如果存在最大值接近于在时刻T/2或T/3或T/4…时的最大值的波瓣,则将时刻T修正为T/2或T/3或T/4,也就是说,最大可能的分母(相应地为2T/5,2T/3,…)。
第二次检查是可能的,以便验证时间连续性。原理在于通过将其与在最近的窗口之上所确定的值相比较来验证值T。如果值变化过大,那么就等待新样本的采集。根据随后窗口上T的值,其不是接近于在前一窗口上的值,就是接近于当前窗口上的T。在后一情况下,已经存在速率的变化,并已经找到T的优良值,否则,运动没有变化并且在当前窗口之上的T的估计是错误的,且可以用在前一窗口和随后窗口之上的T的平均值来代替。
根据本发明的一个方面,增加了预先确定滑动窗口的尺寸的步骤,其基于信号周期的简单且近似的估计。
对于这种简单且快速的估计,例如可以实现上文所引用的Makarov的估计,其使得可以以因果关系的方式(即,仅使用过去的样本)来定义信号周期的数值范围。
Marakov估计使得可以通过考虑最近所采集的样本,在每个时刻,确定非稳定信号的频率。该原理依赖于趋势的统计。对于信号的每一点,有必要估计是否修改了趋势,也就是说,是否保留了在前一时刻所观测到的最大值和最小值。如果修改了这个趋势,那么该点就不是极值,反之它就是极值。因此,可以在每个时刻查明对应于前一极值的时刻,在已知采样频率的情况下,可以将该前一极值转换为估计的周期或频率。
该算法的复杂性降低,并从而非常适合于信号周期的预先确定。基于这个估计,确实有可能以最优的方式确定随后在其上执行用于估计参数的处理操作的滑动窗口的尺寸。确实更为相关的是仅考虑对应于进行中的运动的最近的信号周期,而不是考虑会干扰计算的、描述过去且完成的运动的信号。
例如,因为由磁强计产生的信号包括较少波瓣,所以将它们用作第一估计模块EST1的输入。这种Marakov估计通过评估极值的存在,而仅考虑信号趋势的变化。对于每一点,有可能确定与最接近的过去极值的距离。因此,新的极值一出现,就可以借助与前一极值的距离来估计周期。
可以被估计的第二个参数是幅度,也就是说,步伐的长度。类似地,有必要通过使用第二估计模块EST2的精确相关性的结果,或者基于第一估计模块EST1的第一快速估计的Makarov结果,来提取包含所执行的步伐的信号的滑动窗口的尺寸。
借助于由磁强计产生的信号来确定幅度,并且该幅度对应于信号总和的最大值和最小值的差的绝对值:
S是右脚或左脚的磁强计的信号总和:
S(t)=Mx(t)+My(t)+Mz(t)
或者在坐标系变化的情况下是S(t)=Mu(t)+Mv(t)+Mw(t)
第三个参数可以是冲击力,也就是脚跟与地之间的撞击力。这个值直接与传感器的加速度相联系,因此与这些值成比例。
认为结果对应于所执行的步伐期间的加速度的最大值。正如对于幅度一样,因此有必要借助于第二估计模块EST2的精确相关的结果,或者基于第一估计模块EST1的第一快速估计的Makarov结果,来提取对应于所执行的步伐的信号的窗口。
作为加速度信号的范数来简单地进行计算:
运动的另一特性可以是定向。因此,通过最自然地考虑玩家相对于磁北极的定向来使用磁强计的信号。
相关性计算涉及加权窗口。可以选择加权的形式。然而,由于窗口对最近的样本赋予了更大的重要性(significance),所以该形式对性能的影响很小。
最后,取决于传感器的位置,指出传感器的定向的主轴以便仅使用两个信号(例如,沿X轴的左脚和右脚)来计算相关性会是有益的。
也可以应用坐标系的变化,以便确定运动的主轴,并从而自动确定待考虑的主轴,但这个计算会导致额外的复杂性。在这里,实验再次强调了当传感器位于脚的一侧上时,使用相同的X轴可以提供良好的结果,同时保持良好的鲁棒性。
为了例示预先确定行走频率的益处,图8示出了通过使用适应性或非适应性窗口来确定步伐的周期或持续时间的结果。
图8中所示的信号从上到下表示:
-由连接至脚的加速度计所发送的沿X轴的加速度信号;
-作为用于可变窗口尺寸的时间t和迁移τ的函数的相关性函数。位于图像顶部的黑色区域与以适应性方式调整的窗口的尺寸相联系。在这个示例中,其在0.5秒与1.7秒之间变化;
-与实际值相比较的、根据本发明以适应性方式估计的周期;
-作为用于固定窗口尺寸的时间t和迁移τ的函数的相关性函数;以及
-与实际值相比较的、以2秒的固定尺寸窗口估计的周期。
因此,在时刻A、B和C时,发生了从快速行走至缓慢行走的过渡,在第二个曲线中所表示的适应性方案比在第三个曲线中所表示的固定尺寸的窗口的情况更迅速地做出响应。时刻D对应于从缓慢行走至快速行走的过渡,由于信号自身的原因,其区别较为细微,但仍然改进了反应性。由于时刻E显示了在两种行走速度之间的较为温和的过渡期间,利用适应性方案更加平缓,所以时刻E比较有趣。
本发明对于改进实时性的方面尤其有益,并且在视频游戏的情况下,对于改进与各种游戏方式相关的系统的鲁棒性尤其有益。
Claims (16)
1.一种用于实时确定重复形式的运动的参数(PM,Tp)的系统,特征在于其包括:
-第一模块(EST1),其用于基于表示所述运动的代表性信号(S1,S2),在当前运动结束前,估计所述重复形式的运动的周期的近似值(Tr);
-用于基于由所述第一估计模块(EST1)所估计的所述周期(Tr)来确定滑动窗口的尺寸(F)的模块(DET);
-第二模块(EST2),其用于基于表示所述运动的代表性信号(S1,S2)和由所述第一估计模块(EST1)所传送的所述滑动窗口的尺寸(F),借助滑动窗口来精确估计所述运动参数。
2.根据权利要求1所述的系统,其中,所述运动参数(PM)是所述重复形式的运动的周期(Tp)。
3.根据权利要求2所述的系统,其中,所述第二估计模块(EST2)包括基于相关性的计算模块。
4.根据权利要求2或3所述的系统,其中,用于估计不同于所述周期(Tp)的所述重复形式的运动的另一运动参数(PM)的所述第一模块(EST1')包括用于精确估计所述周期的所述第二模块(EST2)。
5.根据前述权利要求中的任一项所述的系统,其中,所述确定模块(DET,DET')包括安全倍增。
6.根据前述权利要求中的任一项所述的系统,包括通信接口,其用于对所述运动的进展进行实时通信。
7.根据权利要求6所述的系统,其中,所述通信接口包括视听接口。
8.根据前述权利要求中的任一项所述的系统,还包括传感器组件,其适合于固定至执行所述重复形式的运动的元件,以便传送所述信号(S1,S2,S3,S)。
9.根据权利要求8所述的系统,其中,所述传感器组件包括至少一个磁强计、和/或至少一个加速度计、和/或陀螺仪、和/或压力传感器、和/或心电图仪、和/或用于测量呼吸量的流量计、和/或用于测量呼吸频率的传感器。
10.一种用于实时确定重复形式的运动的参数的方法,特征在于其包括以下步骤:
-基于表示所述运动的代表性信号(S,S1,S2,S3),在当前运动结束前,估计所述重复形式的运动的周期的近似值(Tr);
-基于所述近似估计的周期(Tr)来确定滑动窗口的尺寸(F);
-基于表示所述运动的代表性信号(S1)和所述滑动窗口的确定尺寸(F),借助滑动窗口精确估计所述运动参数(PM)。
11.根据权利要求10所述的方法,其中,实时确定所述重复形式的运动的精确周期(Tp)。
12.根据权利要求11所述的方法,其中,对不同于所述周期(Tp)的所述重复形式的运动的另一运动参数的估计用于近似估计所述周期的步骤中,以及精确估计所述重复形式的运动的周期的步骤(Tp)中。
13.根据权利要求11或12所述的方法,其中,所述信号(S1,S2,S3,S)由固定至执行所述重复形式的运动的元件的传感器组件发送。
14.根据权利要求13所述的方法,其中,由所述传感器组件所发送的所述信号源自至少一个磁强计、和/或至少一个加速度计、和/或陀螺仪、和/或压力传感器、和/或心电图仪、和/或用于测量呼吸量的流量计、和/或用于测量呼吸频率的传感器。
15.根据权利要求13或14所述的方法,其中,通过使用向减小的特征值λu、λv和λw的分解,来执行对由具备第一正交坐标系[X,Y,Z]的所述传感器组件所发送的所述信号的坐标系的改变,以在第二正交坐标系[U,V,W]中表示所述第一正交坐标系[X,Y,Z],所述第二正交坐标系的轴U或轴U和V分别对应于所述运动的主轴或主平面。
16.根据权利要求11至15中的任一项所述的方法,其中,所述重复形式的运动的所述精确周期(Tp)的所述实时确定检测所述滑动窗口之上的局部最大值和全局最大值,并选择对应于所述精确周期(Tp)的、最早出现的且其相对于所述全局最大值的偏差小于阈值的最大值,其中所述局部最大值和全局最大值是基本持续时间的倍数。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1050913 | 2010-02-10 | ||
FR1050913A FR2956229B1 (fr) | 2010-02-10 | 2010-02-10 | Systeme et procede de determination en temps reel d'un parametre d'un mouvement de forme repetitive |
PCT/EP2011/051961 WO2011098521A1 (fr) | 2010-02-10 | 2011-02-10 | Systeme et procede de determination en temps reel d'un parametre d'un mouvement de forme repetitive |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102792315A true CN102792315A (zh) | 2012-11-21 |
CN102792315B CN102792315B (zh) | 2018-03-06 |
Family
ID=42610922
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180009194.6A Expired - Fee Related CN102792315B (zh) | 2010-02-10 | 2011-02-10 | 用于实时确定重复运动参数的系统和方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US9341645B2 (zh) |
EP (1) | EP2534610A1 (zh) |
JP (1) | JP5934865B2 (zh) |
KR (1) | KR101700004B1 (zh) |
CN (1) | CN102792315B (zh) |
FR (1) | FR2956229B1 (zh) |
WO (1) | WO2011098521A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112767724A (zh) * | 2019-10-21 | 2021-05-07 | 罗伯特·博世有限公司 | 移动式作业机械在具有与其它移动式作业机械有碰撞风险的区的交通区域内交通运行的方法 |
CN114366061A (zh) * | 2021-12-31 | 2022-04-19 | 北京旷视科技有限公司 | 心率测量方法、计算机程序产品、存储介质及电子设备 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10156907B2 (en) * | 2015-12-14 | 2018-12-18 | Invensense, Inc. | Device for analyzing the movement of a moving element and associated method |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060262857A1 (en) * | 2003-11-20 | 2006-11-23 | Masahiro Iwasaki | Moving object detection device and moving object detection method |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3592051B2 (ja) | 1997-10-03 | 2004-11-24 | 任天堂株式会社 | 歩数計 |
GB9817834D0 (en) * | 1998-08-14 | 1998-10-14 | British Telecomm | Predicting avatar movement in a distributed virtual environment |
US8956228B2 (en) | 1999-12-03 | 2015-02-17 | Nike, Inc. | Game pod |
US6686716B1 (en) * | 2001-07-18 | 2004-02-03 | Itt Manufacturing Enterprises, Inc. | Tuned open-loop switched to closed-loop method for rapid point-to-point movement of a periodic motion control system |
EP1864505B1 (en) * | 2005-03-29 | 2020-01-15 | Sportvu Ltd. | Real-time objects tracking and motion capture in sports events |
US8433592B2 (en) * | 2005-04-14 | 2013-04-30 | Avraham Y. Goldratt Institute, Lp | Method and system for determining buffer inventory size |
US7791608B2 (en) * | 2006-07-16 | 2010-09-07 | The Jim Henson Company, Inc. | System and method of animating a character through a single person performance |
KR20090082711A (ko) | 2008-01-28 | 2009-07-31 | 삼성전자주식회사 | 보행자 항법 시스템에서의 보폭 추정 방법 및 시스템 |
WO2012138974A1 (en) * | 2011-04-08 | 2012-10-11 | Navteq B.V. | Trend based predictive traffic |
-
2010
- 2010-02-10 FR FR1050913A patent/FR2956229B1/fr not_active Expired - Fee Related
-
2011
- 2011-02-10 CN CN201180009194.6A patent/CN102792315B/zh not_active Expired - Fee Related
- 2011-02-10 JP JP2012552396A patent/JP5934865B2/ja not_active Expired - Fee Related
- 2011-02-10 EP EP11702651A patent/EP2534610A1/fr not_active Ceased
- 2011-02-10 WO PCT/EP2011/051961 patent/WO2011098521A1/fr active Application Filing
- 2011-02-10 US US13/578,539 patent/US9341645B2/en not_active Expired - Fee Related
- 2011-02-10 KR KR1020127020336A patent/KR101700004B1/ko not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060262857A1 (en) * | 2003-11-20 | 2006-11-23 | Masahiro Iwasaki | Moving object detection device and moving object detection method |
Non-Patent Citations (5)
Title |
---|
DAN LI等: ""Tracking rhythmicity in nonstationary quasi-periodic biomedical signals using adaptive time-varying covariance"", 《COMPUTERS IN BIOLOGY AND MEDICINE》 * |
DAVRONDZHON GAFUROV等: ""Gait Recognition Using Acceleration from MEMS"", 《PROCEEDINGS OF THE FIRST INTERNATIONAL CONFERENCE ON AVAILABILITY, RELIABILITY AND SECURITY》 * |
JIANYI LIU 等: ""Partitioning Gait Cycles Adaptive to Fluctuating Periods and Bad Silhouettes"", 《ICB 2007, LNCS 4642》 * |
LAWRENCE R.等: ""On the Use of Autocorrelation Analysis for Pitch Detection"", 《IEEE TRANSACTIONS ON ACOUSTICS,SPEECH,AND SIGNAL PROCESSING》 * |
SEBASTIJAN SPRAGER等: ""A Cumulant-Based Method for Gait Identification Using Accelerometer Data with Principal Component Analysis and Support Vector Machine"", 《WSEAS TRANSACTIONS ON SIGNAL PROCESSING》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112767724A (zh) * | 2019-10-21 | 2021-05-07 | 罗伯特·博世有限公司 | 移动式作业机械在具有与其它移动式作业机械有碰撞风险的区的交通区域内交通运行的方法 |
CN114366061A (zh) * | 2021-12-31 | 2022-04-19 | 北京旷视科技有限公司 | 心率测量方法、计算机程序产品、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
EP2534610A1 (fr) | 2012-12-19 |
US20130073249A1 (en) | 2013-03-21 |
JP2013527774A (ja) | 2013-07-04 |
KR101700004B1 (ko) | 2017-01-26 |
FR2956229B1 (fr) | 2016-02-19 |
KR20120128620A (ko) | 2012-11-27 |
WO2011098521A1 (fr) | 2011-08-18 |
FR2956229A1 (fr) | 2011-08-12 |
JP5934865B2 (ja) | 2016-06-15 |
CN102792315B (zh) | 2018-03-06 |
US9341645B2 (en) | 2016-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10751561B2 (en) | Systems and methods for controlling a self-paced treadmill using predicted subject velocity | |
US9067097B2 (en) | Virtual locomotion controller apparatus and methods | |
EP2497547A2 (en) | Information processing program, information processing apparatus, information processing system, and information processing method | |
Noma et al. | Design for locomotion interface in a large scale virtual environment ATLAS: ATR locomotion interface for active self motion | |
US10267646B2 (en) | Method and system for varying step length estimation using nonlinear system identification | |
US8353749B2 (en) | Vehicle tracking system, method and game | |
JP6183716B2 (ja) | 運動支援装置及び運動支援方法、運動支援プログラム | |
CN105311815A (zh) | 运动解析装置、运动解析系统以及运动解析方法 | |
KR20160031246A (ko) | 보행 환경 인식 방법 및 장치 | |
CN108338791B (zh) | 失稳运动数据的检测装置及检测方法 | |
CN105311806A (zh) | 运动解析方法、装置及系统、身体活动辅助方法及装置 | |
US10271775B2 (en) | Determining performance indicators for periodic movements | |
Li et al. | The effect of navigation method and visual display on distance perception in a large-scale virtual building | |
CN102792315A (zh) | 用于实时确定重复运动参数的系统和方法 | |
CN208591046U (zh) | 失稳运动数据的检测装置 | |
de la Rubia et al. | Natural locomotion based on foot-mounted inertial sensors in a wireless virtual reality system | |
US11481947B2 (en) | Information processing device estimating a parameter based on acquired indexes representing an exercise state of a subject, information processing method, and non-transitory recording medium | |
KR20210040671A (ko) | 동적으로 변화하는 인체 무게 중심 궤적 추정 장치 및 그 방법 | |
US12239881B1 (en) | System and method for interfacing to an exercise machine | |
EP4394788A1 (en) | Practice support apparatus, practice support method, and practice support program | |
Stavar et al. | Design, test and experimental validation of a VR treadmill walking compensation device | |
JP2022087176A (ja) | 情報処理装置、情報処理方法及びプログラム | |
Carlisle | Tracking and Analysis of Ecological Human Walking With Wearable Sensors | |
Utzeri | Analysis of spatio-temporal parameters during running at different speeds using foot-mounted magneto-inertial sensors | |
Multon | Sensing human walking: algorithms and techniques for extracting and modeling locomotion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180306 Termination date: 20220210 |