CN1154661A - 人体动作轨迹学习系统 - Google Patents

Abstract

在向人体对象传授运动技能的设备和方法中，学生的学习基于对教师动作的模仿。教师的动由运动传感设备所感知，然后被计算机数字化，最后被录制到计算机的永久存储器中。计算机在显示器上产生教师的图像序列，供学生观看和模仿。用于录制教师动作的运动传感设备也录制学生的动作，并且计算机根据学生的动作在显示器上产生图像序列及提供教师动作的图像序列。对学生的训练基于在屏幕上显示预先存储的教师动作。学生的任务在于模仿教师的动作。此过程将被多次重复，直到教师和学生的动作轨迹在空间和时间上能完全吻合为止。

Description

人体动作轨迹学习系统

本发明的背景技术

在目前的动作学习系统中，学生通过观看和模仿教师的动作获得运动技能。学生和教师的动作序列通常被摄像机录制下来存储在录像带上。某些系统将视频图像数字化并将动作序列储存在计算机的存储器中。学生观看录象或计算机动画，从而将自己的动作和教师的相比较。

SELSPOT和Optotrack之类的系统是比较受欢迎的人体动作分析系统。多个发光二极管标记器被固定在试验对象上在解剖学上被认为有必要注意的地方。当录像机录制试验者动作的时候，计算机以预先确定的顺序激活标记器。信号处理软件编辑试验对象的动作序列。试验者的动作序列可以在监视器上以两种方式被看到，其一是动画式的人体，其二是棍状人形。

另一套流行的系统使用的不是发光二极管，而是折射式标记器(Elite)。装载于摄像机上的光源每隔一段时间照亮标记器。计算机软件处理视频图像，从而产生试验对象的动作序列。

在上述每一种系统中，都需要使用多台摄像机供三维运动分析之用。包括两台以上摄像机的系统都需要复杂的同步硬件和更有力的信号处理软件。这些系统的另一个缺点是每个标记器必须同时为两个摄像机所见，用以确定标记器的立体定位。当试验对象运动的时候，大多数标记器隐藏在至少数个框架中，从而降低了系统准确性。

本发明的技术方案

本发明提供了动作学习的一套设备和一种方法。本发明的设备包括一个用于传感动作的传感设备，响应动作传感设备的电子设备，计算机存储器，和一个显示屏幕。电子设备根据学生的运动在显示屏幕上产生相应的图像序列。同时，与教师的运动相对应的图像序列也显示在显示器上。学生能通过这种方法模仿和学习教师的动作。

动作感知设备附着在球拍之类的器具上，为计算机提供关于器具的位置和定向方面的信息。电子设备产生该器具的图像，并随着学生移动器具实时更新图像。

本设备的目的在于帮助学生学习运动的方式。学生对于新动作的学习遵循下列三个步骤进行：第一，运动感知设备被连接到教师的手或者球拍上，使得教师的动作能存储在计算机的存储器中。第二，学生将运动感知设备固定在手上或球拍上。第三，与学生的动作相对应的图像序列被显示在屏幕上，并与已存储的教师动作相比较。学生的目的是模仿教师的动作轨迹轨迹。教师的动作可根据学生的需要从储存的教师动作库中选择提取。当学生能熟练跟上教师的动作时，电子设备可以逐步提高教师动作图像序列的速度，直至达到实时。

动作感知设备还可以在自己的固定部件和运动部件之间建立一个定向电磁场。本发明的目的和优点

本发明的新颖性在于教师和学生之间动作的精确吻合。它为学生提供了实时的可视化反馈，使其无需依赖对教师动作的记忆和可视化解释。另外，本发明相对于现有技术的运动分析系统在体积，复杂性和费用方面都有降低。

本发明采用与学生动作相同的参照框架，创造出教师的动作图像，从而提供一种较以前的系统更为有效的学习方法。本发明从空间和时间两方面提供教师和学生的动作轨迹轨迹的实时而直接的比较。本发明不需要录像机，因此无论传感器放在何处，它都能不间断地记录数据。也就是说，传感器不必象其他系统一样放在摄像机可见的区域里。

附图的简要说明

以上所述和本发明的其他目的、特性、和优点可以从结合附图的具体描述得到更明确的体现。附图的比例并非重点，重点在于描述本发明的主要原理。

图1示出了根据本发明的动作教学系统的基本组成部分。

图2是根据本发明教学生用球拍击球时的运动显示图像。

图3示出了Polhemus发射器的参考轴与装载在球拍上的Polhemus传感器的轴之间的关系。

图4是根据本发明的练习模式的图形说明。

图5是根据本发明的训练模式的图形说明。

图6是根据本发明的反馈模式的图形说明。

图7用图形方式表示训练前后测试结果，从而表现取得了进步的学生的情况。

图8用图形方式表示训练前后测试结果，从而表现未取得进步的学生的情况。

图9是试验系统的流程图，展示了根据本发明的系统的闭合回路性质。

图10A与10B是试验系统软件的流程图。

本发明的最佳实施例

图1示出了根据本发明的动作教学系统的基本组成部分。图中，可编程主机12包括键盘14、鼠标15、显示器10、非永久性存储器11、永久性存储器13(软盘驱动器、硬盘驱动器、和CD-ROM)。动作传感设备15和计算机12通信，而且最好采用。商业上可用的Polhemus系统，它包括动作处理器16、发射器18和传感器20。传感器20附着在类似乒乓球拍22之类的运动物体上。

在计算机12上运行的软件不间断地监视由动作处理器16产生的关于传感器20的位置和方向的数据，并在监视器10上不间断地更新物体22的图像。用户通过键盘14和鼠标15控制软件的运行。

训练的第一步是获得善于完成某个动作的专家的运动序列。传感器20被放置在教师的四肢或运动器具上的适当位置。如果教师是一位专业网球运动员，传感器应该放置在网球拍柄上和或他的前臂上。发射器18放置在教师的周围。传感器20接收发射器18在运动过程中产生的信号。在每个样本的间歇时间，动作处理器16确定传感器20的位置和方向以及与发射器18的联系，并且将数据发射给计算机12。在计算机12中，数据经过处理后存储到存储器11和13中。

学生使用同样的传感器设备从空间上和时间上试图模仿教师的运动过程。计算机12在监视器10上显示学生的运动轨迹轨迹图像，同时监视器上也可以显示预先存储的教师的动作运动轨迹轨迹。因此，学生就能在做动作的同时实时地接收到反馈信息。

如果学生的动作涉及与监视器10上运动或静止的物体接触，计算机12会提供物体的最终运动轨迹轨迹的知识。图2中显示了这样一个例子。它描述了学生要学习用球拍26击打乒乓球28的动作时，在监视器10上所能看到的图像。在这个例子中，学生学习用虚拟球拍26击打计算机产生的虚拟乒乓球28，从而使球28以一定的速度击中目标30的中心。球28显示在监视器10上，并以一定的初始速度从初始位置抛射出去。当球拍26击中球28时，球28的运动轨迹轨迹可以用简单的力学方程推导并显示在监视器10上。最终的运动轨迹包括施加在球上的旋转和平移动作。教师的球拍24以与学生的球拍26同样的参照框架显示出来，以便学生能借助及时反馈学生进展的系统实时模仿教师的动作。

此软件允许学生控制教师动作的速度，范围从慢动作一直到实时。通过播放慢动作，学生可以仔细观看需要注意的细节。此软件降低被击小球的最终运动轨迹，以便学生能精确地看到小球到底击中了球拍的哪个部位。

一个学生同时可以拥有数名教师，所以学生可以从不同的角度来学习运动技能。在许多实际情况下，一名学生跟随一位技能稍优于自己的教师学习，比跟随一位专家学更快。最开始，学生可能会选择一位有基本技能的教师，并随着自己取得进步而选择技能更高的教师。

当学生多次击球失利或未能击中目标时，此软件能自动进行干预。此时，此软件会降低教师的技能等级，从而允许学生重新致力于基本技能的训练，为想要迅速纠正错误的学生提供及时的反馈。

参照图1，图中计算机12最好是一台具有图形功能的个人计算机。这台计算机应该是能利用Polhemus设备或类似动作传感设备来作为接口的那一种。

Polhemus传感器是商业上可用的具有六级自由度的绝对位置和方向传感器。它包括一个带有三个正交排列的天线的发射器18和一个带有三个正交排列的线圈的传感器20。发射器18每隔一段时间从每个天线发射一种低频电磁波脉冲，引发传感器20的线圈产生电流。每个线圈中引发电流的相对强度取决于两个因素：传感器20的线圈距离发射器18的距离，以及传感器20相对传感器18的方向。动作处理器16根据传感器20的线圈中引发的电流，计算传感器20与发射器的相对位置和方向。位置和定向数据每隔一段时间从动作处理器16发射到计算机12。

如图3所示，有两个与Polhemus设备相关的坐标系。第一个是在空间上固定的发射器18的坐标系。第二个是能在三维空间自由运动的Polhemus传感器20的坐标系。传感器20的基准坐标系相对于发射器18的基准坐标系的位置和定向数据由Polhemus动作处理器16提供。这类信息如下图所示以1×6的矢量格式储存起来。

其中，X_sensor，Y_sensor，和Z_sensor表示传感器20沿三条坐标轴与发射器18的相对位置。而Ψ，θ，和Φ则是传感器20相对于发射器18的方位角、仰角和滚转角。方位角的含义是指X轴和Y轴相对于Z轴的转动角度。仰角的含义是指Z轴和X轴相对于Y轴的转动角度。滚转角的含义是指Y轴和Z轴相对于X轴的转动角度。

发明者建立了一套实用的小型试验系统。其中包括商用的PolhemusIsoTrack II传感器。该传感器在工作范围为1.5米时，精度是2.5mm和0.75度。该传感器跟踪单个物体时的采样率为60赫兹，在同时跟踪两个物体时采样率为30赫兹。由Polhemus生产的改进型产品跟踪单个物体时采样率为120赫兹，在同时跟踪四个物体时采样率为30赫兹。由于扩展了运作的范围，改进型产品精度更高。包括光学跟踪传感器的其它传感器技术可用于商业用途，并且与本发明完全兼容。

在试验系统中，数据从Polhemus动作处理器16通过一个RS-232串行口以38.4K的波特率发射到个人计算机12。个人计算机12上运行的软件采用了由缓冲中断驱动的通讯协议，确保无数据丢失现象发生。

试验系统中采用的个人计算机是一台带有一个Intel^TM 486 SX^TM处理器、两兆随机存储器、和一个SVGA监视器的IBM^TM兼容机。使用的软件是发明者使用C语言和汇编语言在C++编译器中开发的。

在训练过程中，由发明者使用汇编语言开发的优化图形库为用户手中的物体建立一个三维立体模型。本试验系统每秒钟产生60帧的图像，使动画效果极佳。这些图像是256色的，分辨率是640×480。还有一个标准的照明设备用于实体三维造型。

由发明者进行的试验还涉及学习用乒乓球拍击球的动作。如图2所示，在显示器10上，试验者可以看到球28沿球拍26的方向弹射出去。击球的目的是使球击中目标30的中心。

球拍26显示在显示器10上，但不显示试验者的胳膊或身体。因为Polhemus^TM设备提供了定向信息，因此只需一个传感器就能完全定义球拍之类物体的动作。还可以加上另外的传感器，用以提供手臂的模型或身体的棍图。该试验着眼于球28的最终运动轨迹。正是该轨迹决定了乒乓球的去向。系统只显示球拍，从而迫使试验对象将注意力集中在要学习的最关键的动作上。借助这些手段，试验对象发展了自己的策略，从而较好地协调身体的其他部分，以获得预想的运动轨迹。

该试验系统有三种操作模式：练习，训练，和反馈。如图4所示，该试验以练习模式开始。在这个阶段中，学生能练习基本动作，并熟悉试验环境。在练习模式中，当学生50挥动上面装载有Polhemus传感器20的真实乒乓球拍22时，他在监视器10上看见虚拟球拍52的反应。开始，监视器10上不显示球拍，从而允许学生50能熟悉如何移动球拍。当学生50有了充分的准备，他可以给计算机指令，使之在显示器10上产生虚拟球28。学生能使用虚拟球拍52击球，目的是使虚拟球28击中监视器10上显示的目标30的中心。系统会测试学生50的底线表现，并记录其动作类型。

如图5所示，试验的下一个阶段是训练模式。在该模式中，教师的球拍58B显示在监视器10上，并执行一个动作，使虚拟球28击中目标30。在训练模式中，学生50的目标是使用虚拟球拍56B模仿教师的球拍58B的动作。在这种模式下，学生并不击中虚拟球28，而是只模仿教师球拍58B击中虚拟球28的动作。开始，教师的球拍58B从初始位置58A到最终位置58B的过程以慢动作显示出来，以便学生50能单独练习动作的轨迹。逐渐地，教师的球拍58B的速度提高到实时。学生50学会了轨迹之后，能专心致志于运动的速度。随着学生50的模仿能力逐步提高，计算机自动提高教师的动作速度。

试验系统能检测学生动作的轨迹部分，其中包括学生与教师的轨迹最大的偏差。在接下来的图像中，这些部分用图形以慢动作显示，使学生50的注意力集中在没有适当学习的动作上。以前教练总是一边看受训者运动，一边提醒受训者哪里做错了。而此特性则完全取代了教练的口头评论。

训练模式之后，学生又重新回到练习模式中，并再次进行练习试验，以便自己的进展处于监视之下。一系列虚拟小球又出现在学生面前。经过了一定数量的实践练习之后，系统转换到反馈模式。

如图6所示，在反馈模式中，学生50被记录下来的动作56A-B被重新播放，同时也播放教师的动作58A-B。学生56B的轨迹与教师58B轨迹的不一致部分被60重点强调。本软件可以在每次训练尝试之后显示反馈，也可以在固定次数的训练之后显示。具体次数根据学生的表现好坏而定。学生50的表现会有一个稳定时期。在数次出色表演之后，学生可能会连续几次表现较差。在学生反复失误不能击中目标30时的那些间隔正是学生转换到训练模式或反馈模式的最佳时机。

进行了一次试验来测试训练模式对学生表现的影响效果。每名学生进行40次练习试验，在此过程中的底线表现被记录下来。表现的好坏由这些次试验的平均分决定。目标的中心为8分，每往外一圈减少1分。接下来，系统转换到训练模式，学生开始模仿教师的动作40次。教师的动作开始以慢动作进行，并逐渐加快至实时。然后，系统转换到练习模式，并在监视学生表现的同时再发出40个球。

显示学生经过训练模式取得进展的结果在图7中予以总结。它显示出每名学生训练前后的每次测试平均得分。这些数据显示出学生原来的表现无论好坏，经过训练模式后都有明显效果。前者例如学生1，4，5。后者例如学生6，12，13。两组学生在技术上都有极大的提高。

如图8所示，有些学生经过了训练模式并无进展。学生1和学生2从未击中目标，因此无从得知经过进一步训练的结果如何。训练后，学生4和6的成绩没有受影响，而学生3和5的成绩反而下降。给学生3，4，5，6使用的是专家级教师的动作轨迹。以后，教师的轨迹转变为较低技能级别，或者是中等技能级别，然后学生通过训练提高了水平。学生训练的效果可以通过提供一系列的教师技能级别来提高。

图9是显示系统闭合回路特性的试验系统流程图。当用户70移动物体72时，运动传感器72检测运动并将物体的位置和定向信息76传送给个人电脑80。个人电脑在练习模式、训练模式、或反馈模式中的一种下运行，并根据运行时的模式向监视器84传送图像82。监视器84为用户70提供虚拟反馈86，使得用户能决定在动作72中要取得哪些进展。

图10A和10B是试验系统软件的流程图。该程序以校正传感器相对于发射器100的位置开始。它画出包括小球和目标在内的三维工作空间(102)。传感器的位置和定向在104处被读出，试验者球拍的三维模型根据传感器的位置和定向绘出(106)。接下来，小球被给予一个初速度(108)。

如果学生处于练习模式(110)，则传感器的位置和定向被读出并记录在文件中(112)。学生球拍的三维立体模型被画出，小球的位置也被更新(114)。如果学生的球拍没有击中小球(116)，传感器的位置和定向会更新并记录下来(112)，学生的球拍和球位置的模型也被更新(114)。当小球与球拍接触时(116)，冲击的动力与小球的加速度被计算(118)，并在屏幕被更新(120)。如果小球没有与目标相接触(122)，小球的位置再次更新(120)。一旦小球接触目标(122)，系统会为学生计算一个得分(124)。然后此过程重复(110)。

如果学生处于训练模式(110)，教师的动作轨迹从文件中读取(126)。教师球拍的三维模型被画出(128)。学生的传感器的信息被读取，并且学生球拍的三维模型被画出，然后小球的位置被更新(130)。教师球拍的位置根据用户选择的更新速度被更新132。学生和教师的球拍位置不停更新，直到教师的动作轨迹结束为止(134)。一旦教师的运动轨迹结束(134)，系统将计算学生和教师的关联打分并赋予学生(136)。该过程从110开始重复。

另外一种形成教师动作的方法是先记录学生的运动，然后为计算机编程，从而预测与学生的运动最类似的能够成功击球中的轨迹。使用由用户的运动推出的教师轨迹，而不使用预先记录好的教师轨迹，可使学生能从中学习并改进自己的运动风格。这样，学生就不用被迫练习可能对其并不适用的动作。

还有一种形成教师动作的方法，那就是自学式方法。记录学生的几次试验运动，直到至少有一个动作达到预想的效果为止。计算机选择产生了最佳效果的运动序列来训练学生。

另外一种具体实现方案中，传感器装载在教师和学生的球拍上。学生和教师的运动都在监视器上实时显示。通过这种方法，学生不仅能向储存在存储器中的动作学习，而且能向活生生的教师学习。

虽然已结合优选实施例对本发明进行了说明，精通本行业的人士可在无需脱离由附加的权利要求所定义本发明的精神实质和范畴内实现形式和细节的多种变化。

例如，本发明可以用于响应一个运动物体学习其运动动，以及学习击打静止物体的动作，学习不涉及人体身体以外的其他物体的动作。涉及击打运动物体的动作包括：在乒乓球运动、网球运动、球拍类运动和橡皮球戏中使用球拍击打运动中的小球，在棒球运动和板球运动中用物体击打运动的球，在手球运动中用身体的某个部位击球，在棒球和足球运动中接住和抓住运动的物体。使静止物体运动起来的运动包括打曲棍球、打高尔夫球、投篮以及踢足球。不涉及身体以外其他物体的运动包括散步，滑冰和指挥交响乐。

本发明也可应用在医学方面。运动神经受到损伤的病人可以利用本发明进行训练以重新学习与运动肌肉有关的技能。要学习的运动有简单的，如开门等，也包括比较复杂的，如散步或用笔写字。

本发明还可以应用在工业中。例如，训练工人用安全的方式提起重物。另外，工人可以被训练来干要求较高的装配工作。

本发明与包括无线传感系统在内的众多位置和定向传感器技术兼容。

本发明可以用于各种动作的学习，其中既包括只需要一个传感器的运动，如乒乓球运动，也包括使用多个传感器的复杂动作。例如，如果乒乓球运动员不仅考虑球拍的运动，而且考虑挥动乒乓球拍时自己肘关节、肩膀、和躯体的运动，他会在这些地方增加传感器。这样，系统可以分析他的动作，并将其与使用同样设置的教师动作相比较。

根据要学习的动作不同，如果使用大屏幕电视或投影电视，而不使用计算机监视器，本发明会产生的效果更佳。

Claims (21)

1.一种教学系统，其特征在于包括：

  感知学生动作的运动传感设备；

  显示器；

  内存；以及

  响应运动传感设备在所述显示器上生成与学生的动作相应的图像序

  列，并同时产生相应的教师运动图像序列，从而使学生能模仿教师

  的动作的电子设备。

2.根据权利要求1所述的教学系统，其中所述的运动传感设备能感知

  学生移动的器具的位置和定向。

3.根据权利要求2所述的教学系统，其中所述的器具是一只球拍。

4.根据权利要求2所述的教学系统，其中所述的电子设备产生被器具

  击中的运动抛射物的图像序列。

5.根据权利要求4所述的教学系统，其中所述图像序列的抛射物进行

  旋转运动和平动。

6.根据权利要求1所述的教学系统，其中所述教师的动作是学生所能

  接受的预先存储动作。

7.根据权利要求1所述的教学系统，其中所述电子设备使教师运动的

  图像序列以较低的速度显示出来。

8.根据权利要求7所述的教学系统，随着学生越来越熟练地模仿教师

  的动作，所述电子设备会提高教师的运动图像序列的速度。

9.根据权利要求1所述的教学系统，教师的动作根据学生的需要从预

  先存储的教师动作库中提取。

10.根据权利要求1所述的教学系统，其中所述运动传感设备在自己的

   固定部件和运动部件之间建立了一个定向电磁场。

11.教授动作的方法，其特征在于包括以下步骤：

   用运动传感设备感知学生的运动；

   响应学生的运动显示图像序列；

   在显示教师的运动图像序列的同时，显示学生的运动图像序列，以

   便学生能使自己的动作与教师的一致。

12.根据权利要求11所述的方法，感知学生运动的步骤还包括感知由学

   生的动作而产生运动的器具的位置和定向。

13.根据权利要求12所述的方法，其中所述器具是一个球拍。

14.根据权利要求12所述的方法，还包括使用学生挥动的器具击打抛射

   物和显示抛射物的运动轨迹的步骤。

15.根据权利要求14所述的方法，其中所述显示抛射物轨迹的步骤考虑

   了抛射物的转动。

16.根据权利要求11所述的方法，其中所述显示存储器中储存的教师运

   动图像序列的步骤还包括将学生的一个可接受动作作为教师的动作

   储存起来。

17.根据权利要求11所述的方法，其中所述显示存储器中储存的教师运

   动的图像序列的步骤包括将教师的动作以较低的速度显示。

18.根据权利要求17中所述的方法，还包括随着学生可以越来越熟练地

   模仿教师的动作，提高教师动作显示速度的步骤。

19.根据权利要求11所述的方法，其中，显示存储器中储存的教师运动

   的图像序列还包括根据学生需要将教师的动作从预先存储的教师动

   作库中提取出来的步骤。

20.根据权利要求11所述的方法，使用运动传感设备感知学生运动的步

   骤还包括在运动感知设备的固定部件和运动部件之间建立定向的电

   磁场的步骤。

21.一套教学系统包括：

   用来感知运动的运动传感设备；

   一台显示器；以及

   响应运动传感设备在显示器上产生相应于学生的图像序列，并同时

   产生相应的教师运动图像序列，从而使学生能模仿教师的动作的电

   子设备。

Images