CN108883335A - 用于人与机器或人与人的可穿戴式的电子多感官接口 - Google Patents

Abstract

一个可穿戴式触觉人机交换界面(HHMI)可以从使用者的肌肉和神经接收电流活动。电流信号根据所接收到的电流活动来判定信号特点。根据接收到的电流活动，应用电流信号到目标对象来造成反应。目标对象可以是使用者的一个生物组件，例如肌肉，另一个使用者，或者是一个如无人机的远程操控设备。示例应用包括减轻震颤、加速学习、认知治疗、远程机器人、无人机和探测控制，以及感应虚拟和增强现实、中风、脑部和脊髓康复、游戏、教育、缓解疼痛、娱乐、远程手术、远程进行如体育赛事的参与或观察、生物反馈和虚拟现实。虚拟现实是指使用者感受到远程距离下的真实发生过程。真实效果的感受可以是时间，位置和身体上的不同。真实效果可以与自然界一致，由虚拟世界或者以自然和虚拟世界混合的形式组成。

Description

用于人与机器或人与人的可穿戴式的电子多感官接口

相关申请的引用参考

《多位传感人/机，人/人交换界面》申请号为62/147,016号，是专利合作条约申请，并已申请美国临时专利的优先办理，提交于为2015年4月14日。《可穿戴式电子人/机交换界面》：美国临时专利申请号为62/253,767号，提交于2015年11月11日，主要用于减轻病理性震颤，加速学习能力，认知治疗，远程控制以及虚拟和增强现实；以及《使用增强现实的触觉，听觉和视觉刺激手段实现加速学习，娱乐和认知治疗》：美国实用发明专利14/269,133，提交于2014年5月3日。《使用增强现实的触觉，听觉和视觉刺激手段实现加速学习，娱乐和认知治疗》同时也是美国临时实用发明专利61/818,971号，提交于2013年5月3日。以上所有申请在此将被合并处理。

技术领域

此项发明是关于人机，人人的远程虚拟现实(“虚拟现实”)界面。更具体来说，此项发明是关于可穿戴式的触觉人机交换界面(HHMI)，其功能应用于减轻病理性震颤，加速学习能力，认知治疗，远程机器控制，无人机和探测技术的控制和检测，虚拟和增强现实，中风，大脑和脊髓的复原，游戏，教育，减轻疼痛，娱乐，远程手术操作，远程参与/观察如体育赛事类事件，和生物反馈疗法等等。

发明背景

此部分内容为以下申请提供背景信息介绍。此处描述内容有可能包括概念的应用，但不一定属于已被构想，应用或描述的现有概念。因此，除非做出明确的解释，描述中的内容不会被认定为现有技术，也不会批准成为现有技术。

虚拟现实技术是指，通过物理手段并使用特殊类电子的设备，如配有传感器的护目镜，耳机，手套来实现与电脑所产生的三维影像或环境进行无缝交流。

增强现实技术是指，通过电脑产生的可植入传感信号如声音，视频，图像或者全球定位数据，对现场直接或间接的真实世界环境产生增强效果。

肌电图(EMG)是指通过在使用者皮肤表面放置传感器，来记录肌肉的电子活动。激发性电位或诱发反应是指通过对神经系统的刺激而产生的电位反应。自发电位也可以通过脑电图(EEG),肌电图(EMG),或者其他电生理学方法来实现。事件相关电位(ERP)是对于特殊的感觉，知觉，或者动态事件时脑部反应的测量单位。

脑电图(EEG)是在头皮部位记录脑电波活动。心电图(EKG)是记录心脏的电流和肌肉活动。肌电图(EMG)是记录肌肉的电活动，特别是通过使用者皮肤表面的传感器所产生的电活动。激发性电位或诱发反应是指通过对神经系统的刺激而产生的电位反应。自发电位也可以通过脑电图(EEG),肌电图(EMG),或者其他电生理学的方法来实现。事件相关电位(ERP)是对于特殊的感觉，知觉，或者动态事件的脑部反应的测量。

电流刺激对于减轻疼痛和肌肉训练的作用是众所周知的，例如，经皮神经电刺激疗法(TENS)可以通过刺激神经末梢来治疗疼痛。神经肌肉电刺激疗法是通过对肌肉造成无意识的收缩来造成肌肉的组织和强健，从而达到运动，健身，康复治疗的目的。

在人类的身体中，肉体和肢体的感觉是与力量和触碰有直接关系的。肉体感觉，如表皮(皮肤表面)和皮下组织(皮肤下层)。肢体感觉更多的是和机械类身体部件相关，如关节和肌肉。一般来说，这类感觉可以称之为触觉反应，可以用于判断物体的形变度，粗糙度，防滑度，温度，重量和惰性(力)等等。

发明内容

根据一个非限定实施例，在从远程传感器中获得了时间序列数据，在这里是指以模拟信号和数字信号的方式来产生，记录，传输或接收时间序列数据或者信息。数据或信息会随着加入声音事件或视频事件而发生改变。大多数触感提示都证明使用者有正常的感触能力。由于电脑控制一系列的电子信号，使用者可以根据电脑控制的序列电子信号接收到触感的提示。根据所产生的触觉，使用者对电子信号做出反应。触感提示是在具有同步独立性的时间序列数据中产生。

根据另一个非限定示范性实验，大多数初级感官提示都可以被使用者正常接收。大多数的初级感官提示都是在时间序列中产生并能有效的刺激使用者至少一处感官。多次的触感提示都证明使用者有正常的感触能力。由于电脑控制一系列的电子信号，使用者可以根据电脑控制的序列电子信号接收到触感提示。根据触觉，使用者对电子信号做出反应。触感提示是在具有同步独立性的时间序列数据中产生的初级感官提示。

根据另一项非限定示范性实验，人机交换界面利用多个导电仪，给使用者的皮肤传输电流信号，以此来刺激电流信号接收器。一个发电设备能够通过导电仪向使用者的皮肤发射出多个触觉提示信号。通过观察对使用者的接触或肌肉的运动，可以证明大部分的触感提示是有效的。

根据另一项非限定示范性实验，多个触感提示都可以被使用者正常接收。这些触感提示被限定为至少一个可移动的个体对于事件的身体活动反应。多个视觉感官提示是通过向使用者播放视频而产生的。视觉感官提示为使用者提供了一个虚拟视觉指示器，测试至少一个姿势下对至少一个可移动的个体对于事件的身体活动反应。视觉感官提示可以有效的对使用者的脑部视觉信息处理中枢进行刺激。视觉感官提示和触觉感官提示的信息是同步的，在身体状态上，视觉感官提示会随着触觉感官提示的变化而变化，视觉信息处理中枢也会由于触觉信息处理中枢的刺激而做出相应的反应。

远程虚拟现实，依照此处发明范围的描述，是属于使用者对于远程现实的感知能力。远程现实可以根据时间，地点或物理的形式来远程操控。远程现实可以和自然界完全一致，包含替代事物，虚拟事物或者由自然世界和虚拟世界共同组成。根据一项示范性实验，使用者对于远程虚拟现实的体验感受也许可以得到完全有效的应用，例如在虚拟现实系统中；或者得到部分应用，例如在增强现实系统中。

发明的研究内容表明，大部分触感提示都可以被使用者正常接收。使用者可以根据电脑控制的序列电子信号接收到触感提示。电流信号对使用者有刺激作用，并造成至少一处无意识的身体活动反应。在电脑发出电流信号的控制下，触感提示可以导致至少一处预设的无意识身体活动和姿势。

根据电脑发出的不同的序列电流信号，使用者会有不同的肢体感受。通过刺激体觉系统，触感提示可以对使用者的温度感受体，光感受体，机械性刺激感受体和化学感受体造成至少一处身体中的至少一种本体感受(如：身体姿势的改变和移动力量的改变)，机械性感受(如：触摸)，温度性感受(如：温度)，以及伤害感受(如：疼痛)。

HHMI的发明应用了人体/机器交流的概念。其中包括使用人机交换界面对一位有无意识震颤的病人进行检测。利用设定特殊的电流信号来减轻无意识震颤。电流信号通过人机交换界面传输到测试者身体上。

发明的另一项研究内容表明，设备中包括至少一个处理器，和至少一个包含电脑程序的内存。其中会有至少一个内存和程序和至少一个处理器适配，以此来使用人机交换界面对有无意识震颤的病人进行检测。利用设定特殊的电流信号来减轻无意识震颤。电流信号通过人机交换界面传输到测试者身体上。

发明的另一项研究内容表明，利用一个非暂时可读电脑内存来储存电脑程序，当人机交换界面执行程序时，可以对有无意识震颤的病人进行检测；利用设定特殊的电流信号来减轻无意识震颤。电流信号通过人机交换界面传输到测试者身体上。

发明的另一项研究内容表明，多个初级感官提示都证都可以被使用者正常接收。大多数的初级感官提示都是在时间序列中产生并能有效的刺激使用者至少一处感官。多次的触感提示也许可以证明使用者有正常的感触能力。由于电脑控制一系列的电子信号，使用者也许可以根据电脑控制的序列电子信号接收到触感提示。根据触觉，使用者对电子信号做出反应。触感提示也许取决于具有同步独立性的时间序列数据中产生的初级感官提示。

发明的另一项研究内容表明，大多数触觉感官提示都可以被使用者正常接收。多个触觉感官提示取决于特定条件下至少一个可移动的个体对于事件的身体活动反应。多个触觉感官提示在特定条件下，可以有效的对使用者的脑部触觉处理中枢进行刺激。大多数视觉感官提示可以通过视频播放设备证明可以被使用者正常接收。视觉感官提示为使用者提供的虚拟视觉，可以表现出使用者对于至少一处的身体反应。视觉感官提示可以有效的对使用者的脑部视觉信息处理中枢进行刺激。视觉感官提示和触觉感官提示的信息也许是同步的，视觉感官提示会随着触觉感官提示的变化而变化，视觉信息处理中枢也会由于触觉信息处理中枢的刺激而做出相应的反应。

发明的另一内容表明，电流活动可以被使用者至少一处的肌肉或者神经处接收。电流信号的作用取决于接收到的不同的电流活动。根据接收到的电流活动的不同，电流信号也会发生变化，这些信号可以被应用在目标事物上来造成不同的反应。这里的目标事物可以是使用者身体的生物组成部分，也可以是另一位使用者，或者是被远程操控的机器。

附图说明

图1为发明出的无人运载系统(UVS)界面的机构图；

图2为无人运载系统中板载传感器和控制器的机构图；

图3为独立导电仪通过晶体管和x-y轴网格连接；

图4为通过在使用者皮肤表面放置导电仪，来应用和检测使用者身体上感受器，肌肉以及神经上的电流信号；

图5为传感器与x-y网格发射机连接；

图6表示相对较小是信号传感器，用于检测，而相对较大的信号是在发射极上传输，目的是通过和x-y网格的电流交流得到信号的反馈；

图7为多个传感器在x-y导电网络相互连接，其中有一个在信号传输扫描中已经通电；

图8为使用者的裸臂；

图9为无皮肤的手臂，用来显示各类肌肉群中电极的位置；

图10为此项发明中的触觉界面中袖子的部分；

图11为带有针对肌肉和肌肉群的凝胶电极的手臂；

图12为此项发明中的触觉界面中袖子的部分，上面由相对较小的信号传感器和相对较大的传感器，用于发射针对肌肉和肌肉群的电极信号所组成的x-y导电网格；

图13表示一只穿有触觉界面的使用者手臂，正在向特殊肌肉群释放电流刺激；

图14表示一只穿有触觉界面的使用者手臂，特定肌肉群正在发生无意识收缩；

图15为无人运载系统；

图16表示一位使用者佩戴的系统可以接收声音/视觉/触觉的提示，也可以通过使用者自身接的电流信号来接收具有控制性的指令；

图17表示在人人交换界面中，触觉，视觉和声音体验效果从一个使用者转换到另一个使用者；

图18为此项发明中的由触觉式指套组成的人机交换界面；

图19为具有触觉和压力感应的圆形指槽组成的人机交换界面；

图20为此项发明中的具有敏感触觉和压力感应的圆形指槽；

图21为指槽电路组成部分的机构图；

图22为此项发明中的人机交换界面中，手部无线触觉信息转换器的组成部分；

图23为声音/视觉/触觉信号的采集系统；

图24为声音/视觉/触觉信号的应用系统；

图25(a)为此项发明中的人机交换界面中，视觉提示系统显示出的人造真实无人机的透视图；

图25(b)为远程设备，如无人机上安装的具有视频信息采集功能的360度摄像系统；

图26为一把配备有触觉信号和声音信号接收功能的椅子；

图27为一个配备有视觉感应提示的网球球拍，通过电脑编程和利用增强现实的技术手段，使用者可以在球拍上看到虚拟的网球，具有增强现实功能的眼镜也应用了类似的技术；

图28(a)为一只仿生鸟打开翅膀的一瞬间，无人运载系统的状态；

图28(b)为仿生鸟在向上挥动翅膀时，无人运载系统的状态；

图28(c)为仿生鸟在滑翔时，无人运载系统的状态；

图29(a)为一只背部装有控制和交流线路的鸟；

图29(b)为一只装有控制和交流线路的鸟，鸟的脑部肌肉信号已被阻断，通过电脑对肌肉的控制来操控鸟的飞行肌肉；

图29(c)为鸟翼的骨骼和羽毛结构图，上面佩戴有可由电脑控制的传感系统；

图30(a)为采集数据的流程图，数据包括感应活动中重复，传输和/或记录的一系列事件；

图30(b)为产生数据的流程图，数据是从某一事件中一系列传感活动中采集的；

图31(a)一个带有导电凸块的机构透视图；以及

图31(b)一个前额中部的剖面图，图中展示了导电凸块选择性的检测肌肉和神经的信号；

图32为使用者的手臂肌肉组织；

图33为此项发明中的触感人机交换界面放置于使用者袖子中的展示图；

图34为用于检测电流信号的电极等效电路的图解；

图35为使用脉冲方波来描绘电脑发出的电流信号，可以选择性的通过电极等效电路进行传输；

图36为电极等效电路通过预设电极传输的电流信号；

图37为一个包含有多个寻址电极的电路，这些寻址电极是用来传输或检测肌肉纤维和神经上的信号；

图38为另一个包含有多个寻址电极的电路，这些寻址电极也是用来传输或检测肌肉纤维和神经上的信号；

图39为另一个样本电路的图解，电路中配置有脉宽调变驱动器，可以在直流电或交流电的触觉电流信号中来选择寻址电极；

图40为样本电路图解，电路通过多个独立的寻址电极将电流信号传输到肌肉和神经纤维中；

图41为一个可重复的电路元件，其作用是在多个电极中寻找相同或不同的电极来进行指定的寻址电极中信号的传输，检测或者中断；

图42为一个典型示例，描述了电路从多个电极中检测到肌肉和神经的电流活动；

图43为使用者前臂和手部的肌肉和骨骼；

图44为佩戴有此项发明中的HHMI的使用者的前臂和手部；

图45中，检测到的电流信号表示震颤正在发作，以及发射电流来减轻肌肉的震颤的图；

图46表明目标肌肉组织已被检测到并且也接收到电流信号；

图47是一个部分截面图，为一个此项发明中的导电回路式HHMI中使用的电极的示意图；

图48是一个部分截面图，为一个此项发明中的导电杆式HHMI中使用的电极的示意图；

图49是一个截面图，为一个此项发明中的导电回路式HHMI中使用的电极的示意图；

图50是一个截面图，为一个此项发明中的导电杆式HHMI中使用的电极示意图；

图51为此项发明中的导电杆式HHMI中的一个独立寻址电极的透视图；

图52为用于此项发明中的HHMI中的独立寻址电极中导电杆的透视图；

图53为带有导电半球的HHMI中独立寻址电极的透视图；

图54为HHMI中独立寻址电极上导电半球的截面图；

图55为袖子式HHMI示意图，其中包含在x和y电极网内相连接的寻址电极；

图56为校准算法的流程图，用来校准HHMI在使用者身体上的位置；

图57为改进后的校准HHMI的流程图；

图58为使用者手部的肌肉；

图59为HHMI安置于手套中；

图60为使用者手部肌肉中独立寻址电极的分部；

图61为HHMI安置于内衣中，并且包含若干组高密度电极和若干组低密度电极；

图62为在教授音乐课时，使用HHMI作为加速学习系统的一部分；

图63为HHMI基本信号探测和传输的组件；

图64为在体育训练中，从自行车上收集数据；

图65为在训练期间，根据图64中收集到的数据对运动员进行同步感官提示；

图66为骑行者在骑行路途中的数据采样；

图67为当自行车在相对于海平面特定的角度和高度时，独立的数据样本观察；

图68为采集信息样本示意图，图中表示出了骑行者在骑行过程中，在相对于海平面的某一高度和角度上所采集到的数据；

图69为一个具有示范性娱乐应用效果的椅子；

图70为一个具有增强现实效果的虚拟感官提示的桌子，从使用者的角度看，球拍上会显示出一个由电脑程序控制的虚拟网球，这里使用了如现实增强眼镜的现实增强显示技术；

图71为一位使用者深度沉浸在虚拟现实体验中，图表表示检测和应用数据，也解释了同步感应提示手段对大脑信息处理中枢所产生的作用；

图72为在一副装有HHMI的高密度，高分辨率的手套，在神经分部密集的手指顶端部位还配有微型的感应电极；

图73为在袖子上安装的HHMI，利用它作为设备改装器或者原厂设备与游戏手柄之间做信号交流；

图74为一个配有触觉板的虚拟现实控制器，可以让使用者的指尖有电触感应；

图75为利用算法来检测数据的流程图，数据包括人体释放的压力，生物产生电流信号，生物活性电流信号，以及由于虚拟现实控制所造成的位移和速度变化；

图76为一个配有触感，声音和视频信号的HHMI，这些信号不仅取决于虚拟或增强现实，而且取决于人人交换界面中另一位远程控制使用者；

图77为无人机上具有远程感应和控制功能的HHMI；

图78为一个可以操作无人机的HHMI服装，其中配有触觉，声音和视觉感应提示系统，身体位置和电流活动感应系统以及脑活动感应系统；

图79为HHMI的应用，通过对大面积肌肉群进行电流刺激，向空中飞行器或无人机提供触觉提示；

图80为多个配有近距离传感器的无人机，用来探测其他无人机，地面以及其他潜在的撞击障碍物；

图81为数据收据算法的流程图；

图82为利用HHMI进行机器人手术；

图83为橄榄球运动员穿的护肩，里面配备了具有数据感应功能的运动装置；

图84为橄榄球运动员带的头盔，里面配备了具有数据感应功能的运动装置；

图85为球场上运动员身上的感应数据，这些数据可以用作感官提示，使橄榄球迷获得虚拟体验的乐趣；

图86为配有数据感应设备，如供棒球运动员使用的头盔，手套，棒球和球棒；

图87为一个装有HHMI的带电极的陀螺仪，利用它来控制平衡控制肌肉群；

图88为一件装有HHMI的坎肩，在紧贴穿着者腹部的位置配备有一个具有核心稳定功能的陀螺仪。

具体实施方式

“示例”这个单词在这份材料中的定义为“举例说明，例如，或者图”。任何描述为“示例”的概念都没有优于或者超越任何其他的概念。所有在细节描述中的举例说明，都属于可供艺术相关类人员制作或使用此项发明的实施例，并且不限于申请中定义发明内容范围。

各项实施例中涉及的成分，结构，设备装置，方法，程序，算法及其描述也许符合HHMI中其他的示例的应用条件，这里也会介绍其中的几项，其他HHMI的特点会在在提及时单独进行描述。

根据一项示例，发明出的加速学习系统，多位传感，虚拟现实，和无人机界面可以使飞行员避免外界障碍物的干扰，并集中精神在电脑控制的，及具有同步音频，视频和触觉刺激功能的远程遥控飞行，因为飞行员已同步感受到了无人机的所有信息。电流信号通过皮肤表面形成外部机械压力的触感提示，造成了肌肉的非自主收缩。通过与真实的听觉和视觉提示的触感数据同步，飞行员可以感受到无人机驾驶室里的真实操作效果。

这里很多描述的示例都是通过飞行员(人)控制无人机(机器)的实施实现的。然而，人机交换或者人人交换(两人的位置可以互换)界面也可以应用于其他个体与个体之间的交流。此项发明界面的技术和应用范围很广，包括娱乐，运动，军事，游戏，电脑控制，家庭自动化，外太空和深度海底探测，以及远程遥控无人机或者机器人操作等等。此项发明也可用于距离较远的两个人提供拟真的交流方式，或者根据实时或存储数据，对他人的活动进行体验和观察。

触觉感官提示可以通过振动的方式传达到预先设置的手指上。振动的强度可以根据音量和音高，或根据视觉上颜色和强度而产生变化。触觉感官提示也可以以电流脉冲的形式发射到预先设置可接受反应的神经或肌肉中。视觉提示可以在由至少一个具有现实增强功能的设备上显示，这些设备包括如眼镜或护目镜，电脑显示器，电视，智能手机显示屏或个人信息显示设备。视觉提示可以组成显示至少一种颜色，光线强度或者光线位置。视觉信息可能组成任何可供使用者观看的图像。

图1为此项发明中人机交换界面的组成图。图2为此项发明中用于情况监测和控制的机载式无人机械系统的组成图。根据一项非限定性实验，无人飞行系统或者无人机械系统的操作界面都包括电脑控制的感应刺激，分别用来传输和增强远程感知的环境条件以及当飞行员控制无人机时来自飞机的压力感应。突破传统的操纵杆或者控制器操作，通过特殊的多位传感人机交换界面，可以实现更真实完整的体验。

图3为独立导电仪通过晶体管和x-y轴网格相连。人机交换界面可提供神经肌肉电刺激来推动和感应神经和肌肉，其中产生的肌肉收缩时是触感提示的重要组成部分。这些“触觉”提示是通过一个或多个触觉提示信息(例如：模拟3D视频和音频)产生的。如果导电路径从使用者身体中提出了有效的电流活动信号，那么电路的设计就可以被简单化，尽可能的避免导电路径之间距离过近的问题。x和y感应点可以检测到神经纤维和肌肉纤维间的电流变化，以此来确定使用者的某个身体部位在指定动作下的最大动作变化。同样的x，y网格可以发送电流脉冲来刺激神经或者肌肉纤维，或者用来刺激皮肤表面的感觉。此项发明中的人机交换界面配有，轻便，无线，高分辨率的电流信号感应/应用机制。可用于检测驾驶员控制意图(控制无人机飞行)及增强触觉提示(体验无人机的飞行条件)。

图4为通过在使用者皮肤表面放置导电仪，来应用和检测使用者身体上感受器，肌肉以及神经上的电流信号。图5为传感器与x-y网格发射机连接。图6表示相对较小是信号传感器，用于检测，而相对较大的信号是在发射极上传输，目的是通过和x-y网格的电流交流得到信号的反馈。图7为多个传感器在x-y导电网络相互连接，其中有一个在信号传输扫描中已经通电。

灵活的x-y导体可以检测并应用多路传输，高分辨信号。例如，使用者身体中的电流活动(特别是神经和肌肉)可以被检测并且用于测量使用者的控制意图。控制意图可以是机械内置操作如在屏幕上移动鼠标，点击在HTML文件中的链接，控制家庭自动化设备，游戏，远程遥控无人驾驶车辆，控制外层空间和深海探测器等等。x-y导电网格组成交叉点。在x-y的交叉点，触觉传感器可以接收和读取电流信号。例如，如图3所示，导电仪可以接收和发送使用者身体中的电流信号。图中所表示的是晶体管和导电路径相连接，用于控制电子流(起到开关的作用)并增强电子流(起到增强器的作用)。图中的电路是简化过的，实际电路中还包括如电容，电阻，其他晶体管和其他电子组成部件。每一个导电片都可以被单独访问，例如，使用电极扫描技术来进行高分辨率信号的检测和应用，此方法与有源和无源矩阵的视频播放技术相类似。通过精准的映射电流活动(皮下肌肉和神经)可以达到更高的精准度。检测到的电流活动可以找到特殊使用者身上最恰当的电流信号检测位置。检测到的电流活动也可以用于传达使用者在人机交换界面的操作意图。通过神经纤维和肌肉，晶体管可以提供指定的导电路径，例如，使用体术手段，零部件和类似于x-y扫描仪，如OLED或LED显示器，或者电容触摸显示器等系统。

此次发明的HHMI由一个非自主电机控制(飞行员)和一个与远程信号传输设备(无人机)相连接的信号发射器(界面)来创造出的模拟真实体验界面。在一个非限定性实验中，导电仪将直流电传输到皮肤上。例如，微处理器会决定通过哪个电片(比如，使用导电x-y或者多路传输网格)来将触觉信号传导到飞行员的手臂上。导电仪可以被放置并调整到适用于目标肌肉/神经的位置，用来控制精确反复的手指/手部/前臂活动。非自主运动感觉上像一种有变化性的阻力(如风的作用力)或者更强烈一些的力量(像撞击)。即使远程无人机上一个微小的动作也可以被察觉到，当动作发生时，飞行员会感受到像打开车窗时风吹过手的人造阻力。通过映射电流活动可以有效的提高电流活动检测的分辨率(以此来找到飞行员身上最佳的电流刺激和信号控制位置)。

同样的导电仪也可以检测和应用电流活动，所以飞行员的特定身体位置(例如前臂和手)可以与导电仪和信号相匹配，从而产生映射的效果。例如，无人机控制面的角度会随着飞行员对外部阻力进行反作用力时而发生变化。

一把椅子(如图26所示)也可以成为人机交换界面的一部分。它可以提供具有模拟3D、360度视频，双声道音频和触觉反馈的舒适娱乐，教学或者远程控制体验。在VR画面中，椅子会变透明从而使飞行员的视觉感受最大化。

在医疗中示例应用的触觉反馈可以作为使用者身体活动的直接反馈。这一应用是非常有效的，比如，消除由于帕金森所造成的非自主震颤。在这个实验中，导电仪(或者如应变仪的机械传感器)可以用来检测电流或震颤时的肌肉活动。检测到的活动会由微处理器进行分析，之后便会发射阻隔电流信号。通过消除肌肉反应或者混淆病变肌肉，阻隔电流信号可以用来干扰检测到的肌肉震颤。另一项在医疗上的用途为利用触感服来治疗自闭症或其他类似的疾病，触觉感应可以为患者放松或者为患者提供帮助。据了解，例如通过对身体某部位的压力挤压，已有一些自闭症的患者从中收到了很好的治疗效果。这个技术使用压力坎肩或者重量坎肩就可以实现。而此项发明中的触感服装可以提供轻度挤压的模拟感觉，使患者可以体验到来自于特殊调解，移动便捷系统中的轻压感。

例如，电流活动来自于使用者至少一处的肌肉和神经，再例如，此份申请中描述的触觉界面组成部分。控制信号是已知的，例如，使用微处理器，根据接收到的电流信号来设定。控制信号是由，例如，可以产生TENS或者NMES的电路产生的。根据接收到的信号，控制信号被应用在例如使用者手臂的个体上，来造成如非自主肌肉运动的反应。作为一个非限定性的示例，接收到的信号也许是由一名患有帕金森的患者在非自主震颤时发出的。控制信号的特点就会根据非自主肌肉震颤，形成相应的可以控制非自主震颤的信号。控制信号会被传输到使用者身上，所产生的电流控制信号能够造成非自主肌肉运动，从而控制非自主震颤。

图3为一个简易的电路图和结构图，描述了一个独立导电片通过晶体管和x-y网格连接，来接收应用在使用者身上的电流活动，以及接收和放大来自于使用者身上的电流活动。例如，电流活动可以用于刺激力量和触摸类的躯体和动觉感受。例如躯体感受，可以通过皮肤和皮下组织感受到。动觉感受大多与人体的机械部位相关，如关节和肌肉。一般来说，这类感觉可以称之为触觉反应，可以用于判断如物体的形变度，粗糙度，防滑度，温度，重量和惰性(力)。在此份申请中描述的一项非限定性实验中，在“加速学习模式”下，一名学生被应用了触觉(触摸)，视觉和听觉提示，感官提示会相应的对学习效果进行反馈(例如操作无人机)。在控制真实无人机飞行期间，感官提示模拟或者增大了触觉，视觉和听觉上的体验感受。通过一个加强版的飞行模拟器，学员体验到控制无人机时的视觉和听觉信息，并且触觉感应造成的肌肉记忆可以快速有效的提高身体的条件反射能力。例如，在真实遥控无人飞行的“行动模式”下，感应提示提供了增强现实及机身压力的实时反馈信息。

在一项非限定的实施例中，触觉交换界面可以以袖子的形式供使用者使用，通过带有导电片和电极的校准电网，对电流活动的检测和应用。图8为使用者的裸臂。图9为无皮肤的手臂，用来显示各类肌肉群中电极的位置。图10为此项发明中的触觉界面中袖子的部分。图11为带有针对肌肉和肌肉群的凝胶电极的手臂。

图12为此项发明中的触觉界面中袖子的部分，上面由相对较小的信号传感器和相对较大的传感器，用于发射针对肌肉和肌肉群的电极信号所组成的x-y导电网格。图13表示一只穿有触觉界面的使用者手臂，正在向特殊肌肉群释放电流刺激。图14表示一只穿有触觉界面的使用者手臂，特定的肌肉群正在发生无意识收缩。

触觉界面可以是舒适，容易穿戴的服装形式，飞行员穿着之后可以进行小障碍或者无障碍运动。虽然全身的服装可以创造更全面的触觉体验，但是飞行员的交换界面只需要手臂的直接感应接触。

服装的袖子部分，如图所示，例如图10，12和13-14都装有灵活的x-y导电网，在每一个x-y交汇处，触觉传感器可以接受和发送电流信号。通过精准的映射电流活动(皮下肌肉和神经)可以达到更高的精准度。检测到的电流活动可以找到特殊飞行员身上最恰当的电流信号检测位置。

由于每个人的身体状况都不同，在校准模式下，飞行员进行了一次统一的测试。测试会造成神经灼热和肌肉收缩，如同持续的用手做一个如拍打或推动表面的控制动作。在这个测试中，已知的测试内容可以为利用手部控制飞机的机身，并利用手腕弯曲时的力量来控制飞行角度。测试中由身体发出的电流活动(例如在利用手部和腕部控制飞机时，由神经和肌肉产生的肌肉运动电流扫描信号)可以被x-y传感网格感应到，并且信号可以用于校准每个被检测到的电流信号的位置和相对力量等信息。除了身体本身的电流活动，其他生理学上的变化也可以被检测到，比如由于肌肉收缩所导致的使用者手臂形变。这些生理变化对于校准人机交换界面，和测量飞行员主管意识控制信号是十分有用的。被检测到的电流和肌肉活动可以用于改善校准，主观意识控制，和使用者条件等方面，可以涵盖EKG,EMG和EEG来作为非限定性示例。

在自动操作模式下，使用校准数据控制电脑产生的电流活动，进而造成飞行员身体部位的自动和非自主运动。实验结果是，在一种外部的作用力下，飞行员出现了非自主型运动，飞行员的手部是飞机内部控制面。电流刺激应用于飞行员至少一侧手臂的皮肤上，取决于通过飞行员的手部和臂部想要达到的预期效果。目标身体姿势可以与感应参数相关，例如弯曲，旋转、倾斜、投掷、打哈欠、温度、振动以及其他可检测的，UVS机械部件(机翼，机身，控制版面等等))上的压力或条件。感应参数可以是在操作飞机时，机翼控制表面的空气压力。感应参数从无人机上发射出来(使用无线电频率或者视觉瞄准线)，变成电脑控制的NMES提示(电流刺激)。这些参数可以造成飞行员手部的自动反应，由此可以直接感应到无人机控制面的位置。由NMES提示所造成的肌肉运动导致手部的压力活动。飞行员能够体验到阻力和压力是因为电脑控制的电流信号应用在了飞行员自身的感觉和肌肉生理机能上。由于皮下组织控制的电流信号刺激，除了压力和阻力，振动，敲击甚至是刮擦等物理感觉也可以被感受到的。肌肉的活动是非自主的和无意识的。即使在有条件的情况下，也没有使用任何机械力的刺激。比如说振动，可以通过使用电流信号或者使用机械蜂鸣器(如振动卡等)来刺激实现，例如，一把“按摩”椅或者一个带有一个或多个x-y界面的传感器。例如在音乐和娱乐项实验中，传感器可以在低音的时候传导振动，同时输入电流信号，使高音时发出轻擦的声音。比如说贝丝的节拍，通过对电流信号的合理控制，可以通过敲打感来感受到。

人类的手部对触觉方面的刺激非常敏感。例如，控制手指关节移动的肌肉在手掌和前臂。手指的肌肉可以细分为外部肌肉和内部肌肉。外部肌肉属于长屈肌和长伸肌。之所以叫外部肌肉是因为他们位于前臂。触觉感官的应用，例如触感提示，可以应用于身体的各个部位。此项发明中的加速学习系统也可以被广泛的应用于远程遥控操作的人机界面，教学，娱乐以及恢复治疗等各个方面。通过感应来刺激身体部位(例如：指尖对触觉刺激非常敏感)，触感提示可以利用特定的界面，学习或者娱乐增强化来应用于不同的领域。例如，手指(原理是肌肉控制手指，神经和肌肉进行交流)可以接收到压力，振动，电流刺激以及其他形式的触觉控制。此项发明中的人机交换界面包括了一个虚拟现实的视觉系统，系统可以提高飞行员的体验感受，飞行员可以体验到在三维视觉的环境中，头部和身体的真实移动感觉。无人机上装备了相机视角，摄像系统可以无死角(在软件处理后)的进行拍摄。举例来说，假设飞行员坐在图26的椅子上，这种虚拟视觉环境会使飞行员觉得他在驾驶一个玻璃椅子，而不是无人机。

UVS系统中的音频系统中包括高质量，双声道，通过降噪耳机播放出来的音频，来复制UVS周围环境中真实的声音，或者其他声音如白色噪声，平静或者亢奋的音乐，以及“探测”信息更新和指令。此项发明中人机交换界面的目的是为了让飞行员可以不受外界环境的干扰，但是隔离的程度可以自由的控制在安全范围内。技术上虽然可以通过将电极植入到皮肤组织下层，通过皮肤刺穿的位置应用和探测电流信号。然而，穿刺皮肤并不会对人机交换界面有很明显的效果，所以可以相应使用更少的注射凝胶，凝胶电极，碳纤维电极。

当遥控无人机飞行时，除了能提供全方位的视觉和听觉刺激之外，自动操作模式的应用和其他触觉提示可以使飞行员在感觉上深刻的“感受”到由UVS控制的飞行状况。根据UVS所提供的不同水平的真实条件信息，飞行员不会感觉自己在驾驶UVS，某种程度上，飞行“代替”了UVS。

例如，触感提示利用振动效果使飞行员体验突然的阵风，或者在机械和表面控制上利用不平衡压力，例如在低空飞行时，来控制运动的压力和阻力。即使是很细小的差别，如太阳照射在无人机变话的温度，飞行员的背部都会有相应的感应。在指定的环境和条件下，我们还不知道感受程度和细微感受是否能达到最优的效果，但是人机交换界面的设计初衷是为了解决大多电脑控制的高质量处理问题，以此来增强真实同步的感受体验。

因此，通过无人机传达的力量体验，可以被检测和传输，然后转化为相应的电流信号。飞行员身体中的感应器官如，伤害感受器，机械刺激感受器，以及本体感受器，化学感受器和温度感受器，都可以通过电脑控制的触觉提示来形成电流刺激，这些电流刺激可以复制人们通过皮肤，肌肉和骨骼接收到的自然感官。自从人类的神经系统可以被电流脉冲操作之后，任何神经，神经末梢，肌肉或者接收器官都可以被电流刺激所控制。电流刺激的信号特征例如地点，时间，停顿长度，频率和振幅都可以被电脑控制，根据指定的感受类型和肌肉活动来控制飞行员，无人机和自然环境条件间的关系。

根据所应用的NMES提示，飞行员在以下情况都会体验到触感提示：当受到压力，或受到推动阻力，或受到机翼控制被迫移动到某一位置，或受到振动，或由于外界力量的所造成的颠簸(例如：遭遇气流所发生的颠簸)。

此项发明中的人机交换界面有一套非常先进的多位传感系统，系统利用飞行员的生理机能来整合无人机内和周围环境中的信息，飞行员可以利用整合过的信息下，进行无人机飞行的操作。

图13为对特殊肌肉(二头肌)进行指定收缩测试，测试中应用了当直流电电压介于第一电极群和第二电极群时，TENS类发出的经皮电流信号。在校对模式中，可以找到可以引发指定肌肉反应的恰当电极群。在校对模式中，当使用者进行指定动作时，例如将手举到胸前(收缩二头肌)，这些相同的第一电极群和第二电极群可以用来检测所发生的电流活动。除此之外，造成目标肌肉反应的恰当电极群可以从校准数据中推算出来，因为人类手臂的基本生理机能是已知的。在此种情况下，校准模式为预先选择的电极模式提供了微调。预先选择的电极模式是基于人体生理机能的，而微调是基于校准模式期间为使用者检测到特殊电流的活动。应变仪线可以用于检测肌肉的活动，或者记忆金属片可以用来减小或应用压缩力，他们都是x/y网格上的导电途径，或者是以单独的组件形式存在的。

此项发明的触觉交换界面中，使用了传感反馈和算法来正确的控制电流刺激的特点。只要使用者主观上使用精确的肌肉运动控制，交换界面可以引发与使用者身体部位(例如手指)相同的肌肉收缩反应。

身体部位姿势的肌肉收缩和变化，可以在校准中用作度量，或者当应用的电流刺激对使用者身体部位造成无意识和非自主性运动时，得到相应的反馈。衣袖中可以装备用于测量肌肉形状或者身体姿势变化的传感器，或者作用压力于使用者身上，例如挤压或者振动。例如，记忆合金片(可以作为外部的保护或者与x-y导体进行交流)可以使用在电脑发出的电流信号的控制下，以压力和振动的形式来应用触觉提示。

神经肌肉电流刺激是以低频和相对较强的脉冲来产生的。脉冲，可以是双相的，通过刺激α运动神经来造成肌肉运动。电流刺激的强度越大，就会有越多的肌肉纤维被刺激，从而造成更强烈的肌肉收缩。收缩会有不同的速度，并且收缩时间的长度取决于所应用的电流信号的特点。通过控制电流信号的特点，可以实现等距和等压的肌肉收缩。等距肌肉收缩会导致肌肉的紧张，并不改变肌肉的长度，而等压肌肉收缩会使肌肉缩短。根据此项发明中的触觉交换界面，电脑控制着电流信号的特征并应用于如使用者神经系统中运动神经的部位，来造成预期的感应或肌肉运动。通过身体的神经系统来刺激运动神经的效果和通过电脑控制电流刺激来刺激神经的效果是完全一样的。

依照此项发明中的交换界面，具有有效信号特征的电脑控制的电流信号可以被应用于一个或多个皮肤上的触觉接收器。信号特征选择性的刺激不同接收范围(1-1000平方毫米)和频率范围(0.4–800赫兹)的接收器。例如，像环层小体的广范围接收器可以产生振动发痒感。

在一个教学方案示例中，当所产生的触觉提示根据实验者身体部位变化时，NMES会应用于实验者身上，演示者与演示实验中的实验要素和对象是相关的。在另一个更具体的实例中，例如控制飞行器和无人飞行器的刺激飞行训练，一个或者多个由电脑控制的触觉提示，通过有效的刺激使用者(如飞行学员)的敏感器官来刺激使用者大脑处理中心的多种进程，使用者根据实验演示者相应的姿势来学习。应用在使用者身上的触觉提示，根据实验者身体部位的变化而变化，演示者与演示实验中的实验要素和对象是相关的。例如，除了触觉提示，听觉和视觉提示也可以用于同步使用者的感官。触觉提示可以有效刺激使用者大脑处理中心的多种进程，使使用者可以学习如何，例如根据演示教学(驾驶真实飞机或无人局)演示者(真实飞行员)相应的姿势快速掌握特定身体部位的姿势(控制操纵杆的手部)。

图15为UVS。此项发明中的加速学习系统可以用来教授或者提升手眼协调的各类活动，其中包括视频和网络游戏以及军用无人机和类似的远程控制设备等等。

在军用无人机的应用中，理想的状态是在操作远程无人机时给操作人员足够的时间，目的是为了学习到远程无人机或者机器的精髓。例如，对于操作无人机的情况，通过提供给操作人员飞行信息刺激来避免真实驾驶无人机时资金和时间的消耗。操作人员在不驾驶真实无人机的情况下也可以获得更多真实的体验。此种情况，操作人员可以使用真实的无人机任务驾驶记录，通过此方法来接收在真实任务执行期间所复制到的无人机操作的触觉，音频和视频提示。真实的任务可以包括预设课程，操作人员可以在接收到触觉，音频和视频提示时可以做好预先的准备。例如，设定的可以包括倾斜飞行和专项操纵以及起飞和降落等一系列内容。

此项发明中的加速学习系统也可以在军事指令中进行特殊的应用。例如，随着军事科技的进步，对于远程遥控设备的使用要求也在不断提高，比如利用机器人和无人机来取代操作人员，士兵和其他战场上的军事人员。

机器人和无人机的使用已经逐渐成为其他类应用的手段，例如执法手段带来的优势。不仅如此，在民用娱乐和其他方面，未来也会越来越多的依靠远程控制设备。并且，远程遥控的探索，例如深海和外太空探索也会极大的依赖于机器人系统的远程感应/控制。

无人机可以安装传感器，真实心灵感应活动以及其他感应提示如阵风造成的振动或无人机机翼倾斜飞行，都可以被转换成触觉感应提示并应用于远程无人机操作的人员。

从无人机感应器上转化的感应提示可以被应用为听觉或视觉提示。因此，通过不同的感应器和感应提示，远程无人机的操作人员能够接收到无人机飞行中在不同方面的效果。由于不同的感应提示会刺激操作人员大脑中不同的部位，操作人员可以通过处理信息并进行更完美的操作。如果操作人员的感受十分简单和直接，例如，由于气流，强烈的振动感会刺激无人机机身。无人机检测到的机身振动，倾斜或者加速等可以被传输到机身内部的传感器中，然后这些感应会提供相应的感受刺激到远程无人机操作人员身上。应用于操作人员身体上的触觉刺激，例如视频和音频提示，可以刺激操作人员大脑中不同的位置，作为无人机演示的指示标准。通过持续性的组合感应刺激，操作人员可以接收到无人机飞行时的细节感应，这些细节包括外部环境因素风，高度和气温以及操作控制。例如，如果驾驶人员的操作会造成引擎停止运转，无人机上的倾斜感应会提供相应的信息提示，内容为无人机的机翼已受损，有可能会造成引擎停止运转。这种心电感应可以被转化为视频和音频的警告来提醒操作人员，必须改正操作方法来阻止引擎停止运转。

除了接收到视觉和听觉的警告外，根据此项发明的加速学习系统，这些感官提示除了能接收触觉提示和电流脉冲。通过应用于操作人员的身体各个部位，在高度体验和便捷的方式中可以形成一个强大的学习行为/技巧加固。远程控制操作飞行无人机是此项发明中加速学习系统的一个示范例。大多数的初级感官提示都可以被使用者接收到。这些初级感官提示中的每一个都取决于演示者的至少一个身体部位的姿势，当然这些姿势和演示过程中演示个体的因素有关。在此情况中，演示者可以作为真正的无人机飞行员，真实飞行员对于远程遥控无人机的反应和控制可以被记录下来并提供给感官提示的使用者(如飞行学员)。另外，人工智能可以用于决定视觉飞行员如何反应，例如在战斗中，起飞，降落或者恶劣天气条件，在这种情况中演示者是一个由电脑产生的虚拟演示者。不论是依靠真实演示者或者虚拟演示者，当使用者接收到信号时，大多数的初级触觉提示都能对使用者大脑初级处理中心进行有效的刺激。例如，在驾驶无人机时，真实或虚拟飞行员的手部，手指和脚部的姿势，取决于真实或虚拟飞行演示时操纵杆，按钮和其他远程控制的控制器。很多可以在视频播放设备上播放给使用者的视觉感应提示也可以被生成。例如，视觉感触提示可以取决于真实无人机上视频摄像机的信号，或者取决于电脑生成的视频图片。视觉感官提示给使用者提供了至少一个个体的姿势指示。例如，虚拟视觉指示可以是无人机对个体姿势变化的反应，也可以是根据控制，真实或虚拟演示者身体的位置变化。如本文其他地方所述，两个或多个图片可以同时播放给使用者，既可以是叠加的形式(一张在另一张的上面)又可以是平铺的形式。视觉感应提示可以有效的刺激使用者大脑中的视觉处理中心。视觉感应提示与初级感应提示是同步的，至少一处的身体部位的姿势会根据初级感应提示进行虚拟视觉同步，通过初级视觉提示，对大脑视觉处理中心的初级刺激，视觉感应提示同步的对视觉处理中心进行相应的刺激。初级处理中心和视觉处理中心的同步刺激对于教授使用者对于特殊事件的操作是十分有效的。也就是说，使用者接收到与真实或虚拟事件的感官提示，这些感官提示可以有效在使用者大脑中形成相应的记忆，因此使用者可以掌握特殊事件的操作技巧。

大量的二级感官提示都可以被使用者正常接收。每一个二级感官提示都取决于演示者的至少一个身体部位上的至少一个姿势，以及事件中的行为。行为过程取决于至少一处的身体姿势。换句话说，例如，这种情况下的行为可以是根据手握操纵杆的姿势来控制远程遥控无人机。二级感官提示对于刺激使用者至少一个脑部处理中心是有效的。二级感应提示与初级感应提示是同步的，至少一处的身体部位的姿势会根据二级感应提示进行虚拟视觉同步，视觉感应提示会同步的对视觉处理中心进行相应的刺激。初级处理中心，视觉处理中心和二级处理中心的同步刺激，对于教授使用者来掌握特殊事件是十分有效的。例如，触觉或电流的刺激可以作为二级感官提示使用。此种情况下，肌肉和控制肌肉的神经会受到真实或虚拟无人机飞行员的身体姿势的相应刺激。举例来说，在实战任务中，根据无人机提供的视频画面或者音频的指令，在受无人机保护的友军受到敌军攻击时，真实的飞行员要采取相应的武力措施。真实飞行员对于虚拟指示或命令的反应可以完全应用于飞行学员身上，使学员可以在练习训练中学习到如何采取正确的措施来保护友军。

视频播放设备可以由至少一副具有放大和虚拟功能的眼镜，电脑显示器，电视，智能手机显示屏以及个人信息显示设备所组成。例如，在眼镜的实验中，如谷歌眼镜可以用来记录真实飞行员在真实无人机飞行时的身体姿势，提供飞行员的观察视角以及显示出指示信息，如当他低头观察手部，抬头观察显示屏或者仪器，甚至是在特殊飞行的操作中，飞行员所观察的是哪个显示屏或者仪器的哪个位置。在学习期间，会向使用者以虚拟视觉提示的形式提供相同的视觉信息。控制头部活动的肌肉和神经甚至是控制眼部和注意力的肌肉，通过刺激，都可以同步视觉提示信息，从而配合不同的大脑处理中心来产生相应的肌肉记忆。

如本文所述，并且可以预见到本文的教学对技巧掌握的益处，事件可以为不同的活动或运动，包括控制至少一种运动相关类事物，乐器，武器，视频游戏的操纵，远程控制系统包括航天探测器，无人飞行器，水下探测器，和机器人。并且，至少一个初级和二级的多元感官提示可以通过演示的事件进行相应的远程控制，事件在与使用者至少一处相关的时间和地点中进行操作；其中有至少一个初级和二级的多元感官提示从听，看，闻，感觉和品尝中的至少一个方面来刺激大脑处理中心。

例如飞行控制，控制无人机可以超越传统操纵杆式的操作。例如，无人机的操作人员可以被一个感官剥夺浮箱来代替，通过检测使用者手臂张开的位置来完成无人机的操作。例如，有的人在驾驶汽车下坡的时候把手伸出窗外，通过控制来阻止手部的旋转，同样的，机翼控制表面可以使操作人员凭直觉远程控制无人机。不仅如此，对于娱乐，学习，治疗，军事以及其他功能的使用上，操作人员可以感受到高度仿真的体验。由于无人机操作人员是在感官剥夺浮想中，他或她的大脑会对感官提示有更明显的反应。因此，可以使用如宽屏，或者眼镜，显示器来提供视觉刺激。

图16表示一位使用者佩戴的系统可以接收声音/视觉/触觉的提示，也可以通过使用者自身接的电流信号来接收具有控制性的指令。使用者同时佩戴了一个类似于此文中提到的触觉衣袖和服装的帽子，用来映射和检测使用者大脑接收到的电流信号。全身触觉刺激和同步感官提示的组合应用对学习，娱乐或康复有很大的帮助。例如，实施例可以用于康复设备中，来引发每个手指的运动或者来引起腿部肌肉的非自主型运动。全身触觉交换界面可以根据不同的需求来做分割，应用电流信号的方法可以进行相应的改进或者在需要时采取变化。也就是说，例如在肌肉控制手指运动的情况中可以分别进行控制。

作为一个非限定性实验应用，多位感应提示可以同步被病人接收到，如中风患者。例如音频(音乐)，视频(播放键盘上的手部姿势)以及触觉(在弹奏不同的音符时手指会相应收到振动)都可以用来“教授”病人如何在钢琴键盘上弹奏一首简单的乐曲。通过提供同步的多位感官提示应用，目标是为了强化病人控制手部活动的大脑和神经功能。除此之外，或者选择性的来说，通过每个手指接收到的振动，对于控制每个手指神经的电流刺激也可以被检测到。依照这个实验，当应用触觉感官到单一目标手指时(如无名指)，而对于神经的刺激却使用更常规的方法(如同时刺激中指和无名指)。

另一个示范性应用是用于康复治疗，包括中风患者，其他脑部受损患者，缺陷患者的加速修复或者脑组成部分之间多项交流信号的重组。例如，如果大脑中的听觉处理部分受损或者有缺陷，那么可以通过视觉和感应提示以及听觉提示，来对中风患者大脑不同处理中心进行刺激。这种方法可以使大脑重新和音频处理的区域进行通信，因此可以帮助中风患者强化大脑对音频的反应。另一个示范性应用可以用于脊髓或神经受损病人的康复。在这种情况中，触觉刺激连同听觉和视觉的刺激或者感官提示，都能够使神经或者脊髓受损的病人逐渐的恢复知觉，神经通道的强化既可以产生新的肌肉记忆，也可以有助于修复受损相关的记忆通道。

初级感官提示可能是由可以给事件中使用者提供虚拟视觉指示的视觉感受提示组成的。视觉感受提示是由映射在事件中的至少一种颜色和亮度的影像所形成的视频数据组成的。触觉感受提示可以根据被映射的视频数据产生。在这种情况下，被映射的视频数据由微处理器转化，从而与电脑控制产生的一系列电流信号相一致。例如，天空中绽放的烟火所产生的视觉效果可以根据同步的触觉信号来传达到使用者身体的不同区域，观察到的亮度或者产生的感受是根据烟火绽放时的效果来决定的。

感官提示可以由电脑控制，使用算法计算出可以被使用者接收的信号，初级信号按照序列产生并且能有效刺激使用者至少一处的感官。

初级感官提示也可能是由向事件中使用者提供虚拟音频指示的音频感官提示组成。音频感官提示可以包括环绕立体声数据，多声道或者双声道数据。在此种情况中，被映射的声音数据被微处理器进行处理，从而与电脑控制产生的一系列电流信号相一致。例如，移动的火车鸣笛是所产生的多普勒频移可以通过同步触觉信号，并在不同的时间映射到使用者身体上来实现。体验感的强弱取决于在多普勒频移时间内音频的特点，鸣笛声变大时增大音高，而鸣笛声变小时减弱音高。

通过远程发射机可以接收到具有时间序列的初级感官提示数据。一些初级感官提示发送后会被使用者接收到。根据初级感官提示数据，一部分初级感官提示同步并被有序列的产生。这部分初级感官提示可以有效的刺激使用者至少一处的感官。触觉感官提示根据初级感官提示同步产生。

时间序列数据包含至少一个能在使用者远程位置上感受到的感官条件。远程发射器可以是远程遥控设备的一部分，例如无人机，机器人或者遥控汽车。

根据一个非限定性的示范性实验，一个人机交换界面包括导电片，通过使用者的皮肤来发射电流信号，并以此来刺激电流信号的接收器。信号发射器发射以电流信号的触觉提示通过导电片应用于使用者的皮肤上。触觉感官提示在使用者触摸和肌肉运动时都可被正常接收。

大量的电流信号包含至少一个电流特点，特点包括位置、时间、脉冲长度、频率和放大效果，这些特点造成使用者身上至少一种预设的感官和肌肉活动。电流信号接收器由肌肉，神经和感触接收器中至少一种组成。电流发射器也可能发射出可被使用者接收的初级感官提示。初级感官提示是按照时间序列发射出的，可以有效的刺激使用者至少一处感官。触觉提示也是按照时间序列发出的，并且是根据具有时间序列的初级感官同步提示。x和y导电网提供了从信号发射器到导电片上电流信号的电路通信。

图17表示的是人人交换界面，一个使用者体验的触觉，视觉和听觉效果被转移到了另一个使用者身上。使用者也同时佩戴了装有EEG发网的设备，配合图中的触觉服装来映射和检测使用者大脑中的电流信号。根据一项示范性实验，一位使用者身上的音听觉，视觉和触觉数据可以被采集并复制到另一个使用者身上。一位使用者可以配备全套感觉信息采集的设备，例如，在使用者眼镜附近使用全方位的视频摄像机以及在耳部附近使用双声道麦克风。使用者肌肉和神经的电流活动可以通过触觉服装来采集，服装上的导电片可以相应增强接收到的肌肉活动电流信号。收集到的序列数据(数据可能随着时间的变化而发生改变)，可以通过肌肉收缩来造成使用者手臂位置的变化。另一位使用者接收到所收集的数据并且可以体验到同样的音频和视频信息。根据前使用者的肌肉收缩活动所采集到的触觉数据，在发送到另一位使用者身上后，也会造成另一位使用者同样位置的手臂位置变化。

设想人人交换界面可以被用于刺激使用者和电脑虚拟替身之间的交流。也就是说，使用者和虚拟替身进行直接互动，而不是通过远程人为的操纵。电脑虚拟替身可以被使用者感受到的前提是，虚拟替身必须存在在本文中描述的以视频，音频和触觉系统所组成的虚拟“世界”。众所周知，气味可以激发出很强的关联记忆，特别是对于喜爱的气味。一项非限定性人人交换界面的应用可以用来复制距离较远的亲属。人工智能和亲属性格和体验相关的存储数据可以与感官提示一同使用，组成一个具有亲属外观和行为举止的虚拟环境供使用者感知。如果此项发明系统可以提供足够充足的体验感受(包括例如儿时家乡的味道)，那么可以相信，在未来通过电脑，可以使过世很久的祖父通过虚拟“访问”给使用者提供建议。

根据此项发明中的加速学习系统，通过使用如音频，视频和触觉感官提示可以达到增强现实的效果。这些感官提示都与事件和动作相关。序列时间数据中采集的数据使综合感官提示包括不同的观察角度，例如通过车载传感器远程遥控的车辆，或者通过另一个人的观察体验，再或者通过人工智能和电脑刺激。

根据一项非限定性的人机交换界面的实施例，触觉感官提示可以同视觉或听觉感官提示同时使用来创造新的娱乐效果。通过这种方式，一首歌或者一件视觉作品，例如一幅画或者一部电影，通过两种或多种感官，例如视觉、听觉、触摸、味觉和嗅觉，可以用来创造提供感官提示的形式，并被使用者感知。根据其他的此项发明中的人机交换界面的示例，触觉感官可被应用于身体的一个或多个区域，例如腿部、胯部、臂部、肋部、躯干、颈部、头部等。

例如，一首正在播放的音乐作品中的鼓点可以被应用于使用者的腿部，钢琴的演奏效果(可以记录下来作为钢琴演奏者的教学提示)可以作为触觉感官应用于使用者的指尖，同时，配合一些视觉效果(如颜色和亮度)来同步呈现音乐效果。

根据此项发明中的人机交换界面的一个示例，视觉提示可以为脑部受损或者由其他脑部损伤及学习功能障碍的患者提供康复治疗。在这种情况中，大脑中分别处理声音，触摸和视觉处理的功能区域可以被同时刺激和控制，通过对强健的脑部感官刺激处理中心的支持，使受损的脑部感官提示处理中心可以被强化或者修复。例如，右侧脑部受损的中风患者可能丧失对于左手手指的控制能力。在这种情况中，应用于左手手指的触觉感官提示向受损的脑部提供了触觉刺激，同时视觉和听觉提示也相应的对受损脑部进行强化和修复。

图18为此项发明中一个由人机交换界面所组成的触觉指套。触觉指套的结构功能和本文中的触觉衣袖及服装是相似的，都可以映射，检测和应用于使用者手指上的电流活动。图19为此项发明中一个由人机交换界面组成的圆形指槽。图20为此项发明中的具有敏感触觉和压力感应的圆形指槽。图21为指槽电路组成部分的结构图。图22为此项发明中的人机交换界面中，手部无线触觉信息转换器的组成部分。根据一项非限定性的实施例，转换器用于检测和向使用者手指传输电流信号。手控球包括手指槽，槽内可以放置手指和装有应用和接收电流信号以及其他触觉刺激(例如振动或者压力)的转换器。手控球的外壳包含转换器，加速计，微处理器，振动器，陀螺仪和传输器等零部件，使手控球能够作为人机交换界面来使用，例如在无线三维鼠标或者用于游戏，娱乐，军事，商务，无线控制和多种其他领域。

图23为声音/视觉/触觉信号的采集系统。图24为声音/视觉/触觉信号的应用系统。图23为一个根据此项发明中的人机交换界面所生成的用于采集(记录，传输)触觉，听觉和视觉信息的系统。为了能够在例如钢琴弹奏的非限定性发明应用的过程中记录听觉，触觉和视觉信息，指位感应手套可以与数码/秘钥检测琴键一同使用。麦克风可以用来记录钢琴弹奏的音符，使用双声道记录声音可以通过采集到的感应信息产生更准确的体验。当使用者(表演者)戴上触觉信号检测手套时，弹奏的琴键可以被检测出来。当琴键被按动时，麦克风也同时记录下了钢琴发出的声音。不仅如此，视觉信息记录仪，如视频摄像机或者装有摄像机的眼镜，都可以从表演者的视角来记录手部和手指在演奏时的姿势。在这个系统中，钢琴演奏者的体验是通过听觉，视觉和触觉三种感官提示角度来采集的。

图24为远程使用者(时间或空间)采集听觉，视觉及触觉信息应用系统图。通过同时对使用者听觉，视觉和触觉感官的刺激所实现的远程感应体验，可以用模仿或者增强真实事件的呈现效果，例如用钢琴弹奏一首乐曲。被采集或者人工生成的感官提示通过听觉信息传输器，触觉信息传输器以及视觉信息传输器传输给使用者。独立的传输器与相应的界面设备相连接并且激活该设备，例如耳机，手套和显示器(可组成如图17中的人人交换界面)。

此项发明中的人人交换界面可以用于学习，娱乐以及其他人类感知交流活动。例如，在触觉信息传输器中，可以应用蜂鸣振动器(如压电式或者动力驱动式的机械振动)或者电流信号传到使用者的手指，手臂肌肉和神经上，例如，正在上课的学生。在演示中，可以使用具有特殊装置的眼镜来观看视觉信息，信息是收集到或人工创造的教学或娱乐事件。在使用者看到真实画面的同时，特殊的VR护目镜或眼镜可以播放叠加画面，画中画，或者其他同步播放的视频信息。例如，在学习钢琴的时候，学生可能坐在钢琴旁边看着琴谱和琴键，以及自己手部和手指的姿势，同时也可以看到通过特殊结构眼镜所产生的视觉感官提示。不仅如此，此项发明中的人人交换界面也可以用于时间或位置上的远程指导和教学，学生可以感觉，听到和看到任何时间地点下相对应的感官提示。设计这个加速学习系统是为了使使用者可以产生相关的肌肉记忆(触觉信息)，听觉记忆(听觉信息)，以及视觉记忆(视觉播放信息)。

带有视频录像的眼镜如谷歌眼镜可以用于从演示者的角度记录视频。在教学模式下，可以使用带有耳机的视频眼镜来进行视频和音频的播放。佩戴装有蜂鸣器，振动器或者电流信号传导器的触觉手套，可以刺激使用者手指的感觉以及特定的肌肉和神经。LED指示也可以用于手指或者接近指尖的区域。例如，学生在仪器上接收到了与远程课程中同样的视觉提示，目的是为了创造与真实弹奏经验相同的学习视觉记忆。此项发明中的加速学习系统可以产生和强化与感官提示相关的记忆，不论是在真实钢琴前还是采取远程设备教学。并且，使用者能够强化感官触觉的相关记忆来完成表演，例如弹奏一首乐曲。根据此项发明中非限定性的示例应用，使用者在指尖佩戴触觉刺激器。触觉刺激器，例如小的蜂鸣器，这个机械装置可以直接或间接应用电流脉冲到使用者的肌肉或肌肉群，以此来造成与特定肌肉群相对应的手指感应和收缩，例如钢琴课期间需要按键的手指。再比如，根据发明中的示例，弹奏一首乐曲的关联记忆包括已产生的，并且可以重复使用的音频，视频和触觉(触觉或者其他类数据)提示，通过传统的音乐练习，这些提示可以逐渐的建立起对于乐器的相关记忆。

根据一项非限定性的发明示例的实施应用，为了更好的增强娱乐，远程遥控或教学的体验，脑部系统中释放的化学物质可以在使用者控制遥控汽车，或者在乐器课上学习演奏时被检测到。作为另一个例子，学生的脑部活动可以被常规的脑部扫描设备(例如在背景中介绍的设备)检测到，并且所应用的感官提示可以分别针对听觉，视觉和触觉感官提示处理的脑部活动，以此来强化和增大学习体验的效果。脑部活动(例如图17中的人人交换界面)也可以从分享数据中检测到。这里的数据主要指人体的生理机能可以用于增强使用者的体验感受，并且也可以用于优化此处提到的示例应用。此项发明中的示例，如人人交换界面和加速学习系统，都可以被应用到运动，学校教学，艺术表演，军事演练，视频游戏等活动中。和本文中描述的一样，从非限定的角度来说，实施例可以用于多种不同的领域，包括娱乐，军事，运动，视频游戏，远程机器，无人机和车辆控制，和其他乐器等等。

图25(a)为此项发明中的人机交换界面中,视觉提示系统显示出的人造真实无人机的透视图。机载摄影机传输的数据和机载加速计，GPS等，以及无人机上储存的图像数据，都是为了创造可以作为视觉感官提示接收的真实无人机飞行视角。如图所示，飞行员可以观察到在无人机旁飞行的视觉图像(例如无人机角度的信息)。除此之外，无人机及其四周的环境的信息也可以通过各个视角展示给飞行员。

图25(b)为远程设备，如无人机上安装的具有视频信息采集功能的360度摄像系统。

根据这个非限定性的实施例，此项发明中的人机交换界面(例如飞行员的位置)可以放置在离无人机相对较近的位置，并通过使用无线视觉传输器来接收无人机上远程传输器的时间序列数据。这种情况中，所收集的时间序列信息(例如音频，视频和触觉信号)从无人机传输到飞行员，飞行控制的信号从飞行员传输回无人机，由于无线视觉传输的速度，这些数据的传输都是实时的。除此之外，此项发明中人机交换界面(例如飞行员的位置)也可以放置于离无人机相对较远的位置，使用中转的无线传输来从无人机的远程接收器上接收时间序列信息，例如通过卫星连接。从无人机上所收集到的时间序列数据(例如音频，视频和触觉信号)和飞行员传输给无人机的飞行控制信号会由于中转无线传输而导致延时。

在飞行员的位置，大量的触觉感官提示可以被飞行员正常接收。由于电脑控制序列性电流

信号的产生，触觉感官提示可以被飞行员接收到。由于触碰，电流信号引起了飞行员的感知活动。这些接收到的触觉感官提示可以用作电脑控制的电流信号，并将信号映射到飞行员的全身，使身体的不同位置接收到不同的感官刺激。例如，飞行员的手部和手臂可以看作为人体示例的控制面，就像无人机的机翼。脚部和腿部可以看作为人体示例的推进部分，如无人机的引擎。在这个示例中，飞行员单脚或双脚的活动可以被检测到，并且可以被转化为飞行控制信号来控制发动机的速度(以此来控制无人机的速度)。从无人机上所接收的发动机速度时间序列数据可以被转化为同视觉数据同时播放的触觉感官提示，例如利用GPS来测定地面的相对行驶速度。因此，根据对于无人机相对速度的视觉确认，飞行员可以对无人机发动机速度(例如，感知的振动强度和发动机的转速是相关的)有一个直观的感受。根据此项发明中的人机交换界面，飞行员接收到的多位感官提示之间是相互关联的，并且信息可以同步指示无人机的飞行状况。

根据从远程控制无人机接收到的时间序列数据，触觉感官提示产生并同步的应用到飞行员身上。时间序列数据除了和触觉提示有关以外，时间序列初级数据也可以从远程传输器上接收到。这里的时间序列初级数据可以是，例如从无人机上相应的组件收集到的视频或音频数据。初级感官提示产生并可以被飞行员正常接收。初级感官提示是根据初级感官信息而同步产生的序列性数据。也就是说，例如，播放给飞行员的连续帧的视频，是复制了在一段时间内无人机摄像机上收集的视觉信息。初级感官提示可以有效的刺激使用者至少一处的感官，包括视觉，听觉和味觉(这个例子中为视觉)。触觉感官提示产生并根据大量的初级感官提示发生同步的变化。也就是说，触觉感官提示表示无人机的飞行状况(例如，控制面定位和气压等等)体验，与无人机上一个或多个摄像机收集到的视觉信息是同步的。时间序列数据和时间序列初级数据，它们其中的一个或两个都包含了至少一处可以被远程使用者感知的感官条件。远程传输器可以是远程遥控交通工具的组成部分，例如无人机，机器人或者遥控汽车。这样可以使飞行员在看到对无人机的飞行操作后，例如倾斜飞行时，直观的“感受”到无人机的压力。这种对于飞行员控制无人机的感官反馈，可以使飞行员对无人机飞行的体验非常真实。

360度摄像系统在无人机上采集视频信息。当飞行员佩戴装有头部追踪的虚拟现实设备时，例如头戴式显示器，摄像机的位置和数量可以有效的提供全方位视角。可以通过使用常规的软件和摄像机镜头配置来处理视频信息来源，从而使视频内容可以无损的或者接近无损的呈现给飞行员。当飞行员向上，下，左，右观察时，飞行员头部的运动可以被追踪并且会在虚拟现实设备上生成相应的3D视觉场景。如果有重量和资金的限制，摄像机的数量可以相应的减少，安装的位置也可以有选择性的放置在无人机上。例如，前视摄像机可以安装在无人机的前面，后视摄像机可以安装在后面。摄像机视角和图像数据的变焦可以通过软件的控制来实现，当飞行员体验视觉提示时，如同真实的观察无人机的各个部位(驾驶舱，机翼，翼尖等等)。不仅如此，采集的视频数据可以和电脑产生的图像相组合，使飞行员可以从无人机外部视角进行观察。例如，飞行员可以在远程操控无人机时从侧方或者后方进行观测(如图25(a)所示视角)。

虽然这个非限定性实施例描述了触觉感官提示与听觉和视觉感官提示的组合，这种感官提示的组合可以以任何形式被人体接收，包括嗅觉，味觉，听觉，视觉和触觉。

图26为一把配备有触觉信号和声音信号接收功能的椅子。人机交换界面可以应用于舒适的椅子上，可以使无人机飞行员完成例如时间较长的任务。触觉提示可以由多个内置于人性化设计结构的组件产生。例如，触觉感官提示可以被映射到椅子，床，服装或者供使用者佩戴的设备中。图26的按摩椅带有对应使用者身体不同部位的区域(所显示的灰色区域)，这些区域和使用者的皮肤有大面积的接触，并且使用者身体重量与导电片(例如电极)的接触更便于检测电流活动。除此之外，这些区域可以应用振动或者其他可感知的触觉提示(例如通过移动椅子布面下方或上方的组件)到使用者的身体部位。在x-y导电网和导电片发送电流信号到小的或指定区域的同时，这些椅子上的触觉感受可以用来提供相对大面积的感知活动(例如通过身体大部分区域)。x-y导电网和导电片可以通过电极扫描技术来应用电流信号，方法类似于操作有源矩阵显示设备。触觉信号可以用于产生可供使用者接收的感受。通过与电流刺激或者振动，可以造成和娱乐，学习，物理治疗等相关的相应感受体验。例如，在按摩椅的例子中，舒缓按摩的程度可以根据一首乐曲不同的频率映射到身体的不同位置上。感官提示也可以包括如味觉和嗅觉等其他方面的感觉。这种情况中，味觉或嗅觉可以为学习活动提供强化或减弱的作用。例如，在无人机操作学习判断友军和敌军的示例中，在视觉联系训练期间，可以增加通过嗅觉来判断友军和敌军来辅助操作人员，如果判断正确可以闻到好闻的气味，如果判断错误便会闻到不好的气味。通过增加辅助的感官提示来作为学习行为或反映的强化工具，大脑的其他处理中心会合并来处理感官学习体验。音乐中的不同频率也可映射为视觉刺激，并通过3DVR头部设备，以光的颜色形式呈现。光的颜色是根据人眼对于光的刺激的敏感程度来设定的。例如，颜色可以由LED光产生，并且与人眼视锥细胞的峰值波长相匹配。三种视锥细胞的峰值波长分别为564-580纳米，534-545纳米和420-440纳米。

图27为一个配备有视觉感应提示的网球球拍，通过电脑编程和利用增强现实的技术手段，使用者可以在球拍上看到虚拟的网球，具有增强现实功能的眼镜也应用了类似的技术。这是另一项人机交换界面的实施应用。在这个示例中，使用者某一身体部位接收到与使用者控制的视觉事件相关的触觉信息。身体部位可以是使用者的手臂或者肩膀，事件可以是例如网球的运动项目。这个示例中的演示对象是网球拍，演示对象的位置可以用相应的近距离传感器，运动检测仪，倾斜检测仪，镭射定位系统，以及其他类机械装置来进行三维空间的检测。此示例的演示相关部件可以是网球拍的手柄，当网球靠近并受到击打时，手柄和使用者手臂的位置可以被检测到。网球可以是真实的网球，或者由电脑生成的虚拟网球，使用者在感官提示数据采集过程中可以观察和做出相应反应，以此来进行演示教学。用于检测和记录(数据采集)身体部位姿势和演示对象/演示组件的机械设备和方法是用于采集感官提示的。在学生大脑不同处理中心中，这些感官提示用于教学事件，并且建立事件相关的记忆。在记录事件演示的检测过程中，以及之后在教学和娱乐刺激的过程中，身体部位可以是使用者身上的手指，脚趾，手部，脚部，腿部，肩部，头部，耳部以及眼部中的至少一处。这种加速学习系统的技术方法可以用于如创建虚拟运动视频游戏。类似的方法也可应用于其他类事件，例如控制远程操作系统，如操控无人飞行器、太空探测器、吉他弹奏、武器的组装、娱乐或者帮助中风或脑部受损患者进行脑部的恢复治疗，包括加速学习的认知性治疗，以及其他任何类使用者可以从中受益的事件，都可以通过记录的感官提示刺激不同的大脑处理中心。非限定性的示例也可通过武术，滑雪或潜水等全身活动来提供肌肉相关记忆，娱乐和康复治疗。

图27为一个配备有视觉感应提示的网球球拍，通过电脑编程和利用增强现实的技术手段，使用者可以在球拍上看到虚拟的网球，具有增强现实功能的眼镜也应用了类似的技术。打网球时用的手眼协调方法可以使用加速学习系统的示例来进行教学。在示例中，视觉感官提示可以是正在向使用者靠近的网球，以及准备接球时的头部运动。触觉感应提示可以是使用球拍击球时应用到手臂肌肉的电流脉冲。并且，脉冲不能用于头部运动肌肉的控制，肩膀和背部的移动，以及其他接球时的主要身体部位移动。

图28(a)为一只装有UVS的仿生鸟在打开翅膀的一瞬间。图28(b)为仿生鸟在向上挥动翅膀时UVS的状态。图28(c)为仿生鸟在滑翔时UVS的状态。仿生学可以用于建立高度反应的无人控制系统，也可以用于判断在什么位置使用何种感应器，以此来向无人机的控制人员提供触觉反馈。例如，在仿生鸟模型的无人机示例中，弯曲/旋转角度和压力感应都以真实鸟类身体的位置进行检测，这些都是鸟类用于控制飞行的标准。根据角度、弯曲、旋转和压力在结合点和UAV表面的变化，飞行员可以接收到相应的触觉信息。无人机可以采用仿生学技术制造，并安装压力和运动变化(例如弯曲，联动)感应装置。转换器/感应器的遥感技术可以向飞行员提供触觉感应反馈。

图29(a)为一只背部装有控制和交流线路的鸟。图29(b)为一只装有控制和交流线路的鸟，鸟的脑部肌肉信号已被阻断，通过电脑对肌肉的控制来操控鸟的飞行肌肉。图29(c)为鸟翼的骨骼和羽毛结构图，上面佩戴有可由电脑控制的传感系统。感应器可以安装在仿生鸟飞行条件的感应位置，例如羽毛的固定点(特别是那些用于感知和控制飞行的羽毛)。在这些固定点产生的电流活动可以被检测到，由于人工智能或者电脑控制的数据可以组成全方位的“线控飞行”，因此飞行员不需要了解数据中所有的细节。经过分析后的数据通过人机交换界面可以传输给飞行员有效的接收信息，使飞行员可以控制远程飞行的仿生鸟。

根据一项非限定性实施例，大多数的触觉感官提示都可以被使用者正常接收。大部分的感官提示都取决于一个事件中,演示者身体的至少一处可移动部位的特定条件。大多数触觉感官提示都可以根据特定条件来有效的刺激大脑的触觉处理中心。大多数视觉提示通过视频播放设备，都可以被使用者正常接收。视觉感官提示向使用者提供了虚拟视觉指示，这些是指示针对于演示个体上至少一处的可移动部位的。视觉感官提示可以有效的刺激使用者大脑中的视觉处理中心。视觉感官提示和触觉感官提示是同步的，所以位置是根据触觉感官提示相同步的虚拟视觉指示来定位的，并且视觉处理中心中的触觉刺激，是通过视觉感官提示和触觉感官提示同时刺激产生的。

触觉信息中心和视觉信息中心的同步刺激可以用于教授使用者对于特殊事件的演示。触觉信息中心和视觉信息中心的同步刺激也可以使操作者远程控制事件的演示。演示个体可以是人体，可移动目标可以是人体的身体部位。演示个体可以是动物，可移动目标可以是动物的身体部位。演示个体也可以是远程控制的移动物体，可移动目标也可以是由移动物体远程操控的机械部件。

可移动目标可以是手指，演示个体可以是人体，事件可以是演奏一首乐曲。可移动目标可以是控制面，演示个体可以是无人机，事件可以是驾驶无人机。可移动目标也可以是翅膀，演示个体可以是鸟，事件是鸟的飞行。

例如，不通过应用电脑产生的电流信号，而是通过选择性的干扰鸟的脑部所传出或导入的信号，可以像控制无人机一样控制鸟的飞行。鸟类的远程控制，包括机载摄像机和条件感应器(例如，用于检测鸟类翅膀旋转角度的旋转传输器)都可以用于向飞行员指示鸟类飞行的特点。飞行特点是根据复制鸟类的翅膀位置来造成飞行员手臂的非自主感应，遥感技术可以通过电脑处理器来控制，使飞行员可以只接收到有效的信息而不会受过多的细节所干扰(类似于现代战斗机的线控飞行技术)。鸟身体携带的控制和通讯线路包含一个GPS系统，系统中的自动返回功能可以使鸟安全的返回基地或者在飞行员的控制下自主的前往任务目标地点。

图30(a)为采集收据的流程图，数据包括感应活动中重复，传输和/或记录等一系列事件。图30(b)为产生数据的流程图，数据是从某一事件中一系列传感活动中采集的。图30(a)为采集收据的流程图，数据包括感应活动中重复，传输和/或记录的一系列事件。收集到的数据可以是来自真实世界中的真实事件，例如控制无人机的飞行或者人人互动，或者这些数据可以被电脑程序语言来定义，也或者是真实数据和虚拟数据的结合。在远程控制活动，娱乐体验和学习过程中，可以产生连续性的感官活动数据。图30(b)为产生数据的流程图，数据是从某一事件中一系列传感活动中采集的。收集到的数据可以是来自真实世界中的真实事件，例如被弹奏的钢琴琴键，或者这些数据可以被电脑程序语言定义，来产生连续性的感官活动数据。

图31(a)是一个带有导电凸块的结构透视图。图31(b)是一个前额中部的剖面图，图中展示了导电凸块选择性的检测肌肉和神经的信号。根据一项非限定性的实施例，使用者身上电流信号的应用和接收，可以通过信号电极上的导电突触来实现。导电突触使电流活动与皮肤之间进行直接的接触。通常来说，人们会使用一次性的凝胶电极来应用和接收电流活动，例如肌电图的应用中。然而，凝胶电极过于消耗时间而且不方便，特别是在使用者皮肤有毛发的情况下。根据一项非限定性的示例，利用导电突触可以针对使用者身上特定的肌肉和神经进行电流活动的应用和接收。为了保持电流与皮肤之间的交流通畅，使用压缩袖套来使导电突触和使用者皮肤之间的距离更近。类似于本文中描述的人机交换界面的导电片，导电突触可以通过信号发射器中相应的导电路径被独立访问(例如信号控制线路微处理器)。这样可以进行特定的目标生理特点定位，例如独立神经或者如肌肉部分的大面积电流刺激。大部分导电片或者导电突触通过使用者皮肤进行电流信号的应用是为了刺激电流信号接收器。电流信号接收器所产生的大部分触觉提示，都是以电流信号的形式来经过大量的导电片应用到使用者的皮肤上的。大部分的触觉感官提示都可以在使用者接触或者进行肌肉运动时被正常接收。大部分的电流信号都会包含位置、时间、脉冲长度、频率和增强效果中至少一项特点，来导致使用者身上至少一处的指定感受和肌肉运动。电流信号接收器由肌肉，神经和触觉接收器中至少一种组成。信号发射器所产生的大部分初级感官提示都可以正常被使用者接收，大部分初级感官提示都是按照时间顺序产生，并且可以有效的刺激使用者至少一处感官，大部分的触觉提示都是按照时间顺序产生的，而且与时间顺序中产生的大部分初级感官提示相同步。x-y导电网格可以使信号发射器和导电片之间的电流信号进行交流。

体觉系统是人体中一个复杂的感应系统。它是由许多不同的接收器组成，其中包括热感受器、光感受器、机械刺激感受器以及化学感受器。它还由很多不同的处理中心或感觉渠道组成，例如本体感受、机械刺激感受(触摸)、热度感受(温度)、以及伤害感受(疼痛)。感觉接收器遍布皮肤表面和上皮组织，如18号位置的骨骼肌、骨骼和关节、内部脏器，以及心血管系统。

根据发明的其中一方面内容，大部分触觉感官提示都可以正常被使用者12接收。由于电脑控制的序列产生的电流信号，使用者12接收到触觉感官提示。电流信号引起了使用者12至少一处身体部位的非自主性移动和知觉。根据电脑控制的连续产生的电流信号，非自主的身体部位移动，造成了至少一处的预设身体活动和身体部位的预设姿势。使用者12的感知具有预设的体觉感受，是由电脑控制连续产生的电流信号决定的。

触觉感官提示通过刺激使用者12可以造成生理感应，使用者身体由至少一种感受器组成，其中包括热感受器、光感受器、机械刺激感受器和化学感受器。这些感受器令使用者12感受到以下至少一种本体感受，机械刺激感受(触摸)、热度感受(温度)、以及伤害感受(疼痛)。

HHMI为人机互动和控制领域打开了新的道路，包括对加速学习，物理训练和治疗领域的影响。对于18号肌肉群定位的能力，以及应用同水平电流信号的能力，这些都证明了预设活动和肌肉运动可以通过不断改进来增强物理训练和修正物理运动。肌肉记忆几乎和所有的人类活动是相关的，这些记忆可以使用更快速的方法来学习，例如，乐器或者运动技巧。在军事应用中，快速肌肉记忆的建立可以增强士兵在基础和高级武器训练的效果。除此之外，新形式的安全限制可以使用于人类使用者12，防止他在接收人机交换界面的电流信号后，采取有可能会受伤或者非理想的动作反应。

医疗使用示例包括使用非入侵，非化学性的手段来消除帕金森疾病的非自主性震颤；中风损伤以及其他脑部损伤的康复治疗，通过同步应用电脑控制的触觉，听觉和视觉提示来修复受损的脑组织；以及，通过提供轻度压力感应来治疗自闭症，这些都是根据特定，移动和便捷的系统来提供的治疗方法。

如图32和33所示，一项非限定性的实施例中，使用者12身穿一个装有HHMI的袖套，电流活动的检测和应用是通过经使用者校准的导电网格或者电极14。图32通过无皮肤组织的使用者手臂16来展示肌肉群18和手臂16的相关位置。图33为穿有HHMI袖套的手臂16，电极14正在定位独立目标肌肉18或者肌肉群18。HHMI包括含有相对较小的信号接收传输器的x-y网格或者电极14，和一个相对较大的信号传输电极14来定位目标肌肉18或肌肉群18(例如图72)，或者如图33所示，电极14可能在尺寸和分配上是统一的。HHMI可以是舒适，易穿着，有极少活动限制的服装。

电流信号通过大量的电极14应用到使用者12身上。每个电极在电流与一个或多个使用者12生物组件的通信中都是可支配的。至少有一个电极是可独立访问，并选择处于接通状态或闭合状态。在接通状态时，电流信号通过电极可以到达至少一处使用者12的生物组件。在闭合状态下，电流信号不经过电极到达生物组件。每个电极都可被独立访问，在信号检测操作期间来检测生物组件的电流信号，在信号应用期间向生物组件释放电流信号。

HHMI可以通过袖套的形式，也就是服装的一部分，或者自带可穿戴电路，来映射电流活动(皮下肌肉18和神经)，并因此确定对于使用者12来说最佳的检测和应用电流信号的位置。神经肌肉电流刺激是以低频和相对较强的脉冲来产生的。脉冲，可以是双相的，通过刺激α运动神经来造成肌肉运动。电流刺激的强度越大，就会有越多的肌肉纤维被刺激，从而造成更强烈的肌肉收缩。收缩会有不同的速度，并且收缩时间的长度取决于所应用的电流信号的特点。通过控制电流信号的特点，可以实现等距和等压的肌肉收缩。等距肌肉收缩会导致肌肉的紧张，并不改变肌肉的长度，而等压肌肉收缩会使肌肉缩短。根据此项发明中的触觉交换界面，电脑控制着电流信号特征，并应用于如使用者神经系统的运动神经部位，来造成预设的感应或肌肉运动。通过身体的神经系统来刺激运动神经的效果，与通过电脑控制电流刺激来刺激神经的效果是完全一样的。

依照此项发明中的交换界面，具有有效信号特征的电脑控制的电流信号可以被应用于一个或多个皮肤上的触觉接收器。信号特征选择性的刺激不同接收范围(1-1000平方毫米)和频率范围(0.4–800赫兹)的接收器。例如，像环层小体的广范围接收器可以产生振动发痒感。小范围的接收器，如马克尔细胞也可以提供压力感应。

HHMI可以用于加速学习，脑部损伤恢复，军事和运动训练以及无人机/机器人远程控制和感应等不同领域。在一些结构设计中，HHMI包含一个又薄又灵活的袖套，非常便于病人穿戴。袖套装有很多小的电极14与皮肤表面接触，电极之间由矩阵连接且可被访问，例如，应用从主动和被动矩阵视频显示技术中借鉴的电流技术。轻巧，舒适的触觉袖套配有不同的电极尺寸和密度，可以对病人的特殊生理机能进行自动校准。触觉袖套提供了精密的电流活动检测(例如，来检测甚至是造成手臂细微运动的肌肉18和神经，这些运动导致了长期的帕金森震颤)和几乎同步的电流信号应用(来造成非自主的和准确的肌肉和神经脉冲，以此来阻止或消除非理想的手臂震颤)。应用的电流信号和所造成的肌肉收缩是作为按摩感受被病人接收到的。在这种情况下，HHMI提供了可穿戴的非植入，非化学性的电流设备，来有效的阻止由于中风，以外或者帕金森疾病所导致的震颤的发生。

在另一个人机交换界面的示例中，无人机(或机器人)通过HHMI以及AR或VR设备与操作人员形成人机交换，来呈现给飞行员或操作人员虚拟现实(远程遥控现实)的画面，使他们能感受到真实驾驶无人机时的感受，当驾驶真实世界的无人机时，有如同超人般飞行的感觉(视觉，声音，皮肤感觉)。

根据发明的另一方面内容，大部分的触觉感官提示都能够正常被使用者12接收。触觉感官提示能被使用者12接收是由于电脑所控制的序列产生的电流信号。电流信号引起了身体部位的非自主性运动，并且非自主运动可以造成至少一处的预设运动。另外，信号引起使用者12所产生的预设体觉感受也是由于电脑所控制的序列产生的电流信号。

图34为用于检测电流信号的电极等效电路的图解。在使用发明的HHMI的一项示例中，实施例包括电路，如图中所示的等效电路，可用于检测使用者12正在发生的非自主性震颤。电流信号取决于一个具有有效减轻非自主性震颤电流特点的微处理器。电流信号被应用于使用者12身上。电流信号可以通过大量的电极14应用于使用者12身上，其中每一个电极都是可任意支配的，例如，使用触觉袖套，服装或者这里所示的全身服装。每个电极都处于与一个或多个使用者12的生物组件的电流通信当中，例如使用者12的皮肤以及皮肤下的神经和肌肉18。另外，或除了与皮肤表面的接触之外，一个或多个电极14可以被任意使用于皮下的位置，例如，可用于应用或检测位于皮肤下部的肌肉18或神经上的电流信号。这些皮下的电极14可以永久的或者半永久的留在皮肤下，或者如使用针灸植入的方法，在使用结束后将电极取出。

至少一个电极可以被单独访问来选择它开通和闭合的状态。如电极等效电路开关20所示。在真实的电路中，开通/闭合的状态可以由电路开关组件控制，其中包括如传输器22、簧片开关20、继电器、光隔离器等组件。由已知电路组件和微处理器控制的组合设备可以被使用。开通状态下的电流信号可通过至少一个电极流向使用者12的生物组件，而闭合状态下的电流信号不会通过任何一个电极流向使用者12的任何生物组件。

图35为使用脉冲方波来描绘电脑发出的电流信号，可以选择性的通过电极的等效电路进行传输。电流信号(例如，触觉电流信号)根据不同的脉冲波会有不同的信号特点，尽管可以通过应用不同的电流信号来造成相同的预设运动状态，驱动力或感应等等。图36为电极等效电路通过预设的电极14来传输电流信号。装配的HHMI可以为双相的，多相的或者单项的，电极14可以单独进行访问来设置开通/闭合的状态，并使正极或负极电流经过每一个电极。这种方法给电流信号的应用提供了极大的灵活性。大量的电极14是单独或者以组群访问的，电极可以选择性的形成不同的电极组合来适应不同身体区域的形状，例如，与目标肌肉或者生物特点相匹配。每个应用信号的时长和频率根据每两个或多个信号间的特点而发生变化。应用的信号的复杂程度是根据不同的需求程度而变化的，并且在必要的情况下，所应用的位置也可以达到精确，以此来产生精准的非自主性运动控制，例如，乐器34号键的手指操作方法可以是完全非自主的，也可以是在电流刺激的辅助或者指导下完成。

电极可以被单独访问，在开通状态下使电流信号的应用可以选择性的成为正极或者负极电流。生物组件可以由使用者12身上的肌肉、神经、淋巴腺、脏器、皮肤、感官和其他生物系统中的至少一种组成。电极可以根据调整后的脉冲宽度来进行单独访问，使通过至少一处电极到达生物组件的电流信号中的有效电能，可以根据应用中的电流信号独立进行减弱，而不需要进行脉冲的宽度调整。肌肉和神经的反应将会依照整合后的应用脉冲电流信号进行。

大量电极14中的另一种电极也可以根据调整后的脉冲宽度来进行单独访问，使通过至少其他电极到达生物组件的电流信号中的有效电能，可以区别于通过第一次电极到达生物组件的电流信号中的有效电能。这样可以使不同区域的生物组件可以在同样电流信号的应用下，接收到不同的有效电能。大部分电极14号中的一部分可以群组的形式来组成针对生物组件目标区域的电极模式。

图37为一个包含有多个寻址电极14的电路，这些寻址电极可以用来传输或检测肌肉纤维和神经上的信号。传输器能够在控制器的控制下开闭触觉信号。控制器是由微处理器依次进行控制。控制器和微处理器可以进行整合或者分别作用。例如，微处理器可以是一个智能手机或者其他的可用电子设备，也可以是专用设备。控制器可以是一个小型整合电路设备，内设HHMI，电流层中包含可供任意使用的电极或者电极群14。在电脑控制产生的序列电流信号中，这些信号可以以触觉感官提示的形式被使用者12接收。电流信号所引起至少一种预设的非自主性身体部位移动，取决于电脑控制产生的序列电流信号，并且所造成的具有预设触觉感知的感受也取决于电脑控制产生的序列电流信号。

图31-41中所示为示例中驱动线路图解示意图。可以应用很多种不同的电路来产生图解中某些或所有的功能特性。如图所示，每个电极都可以被选择性的设定为开通或闭合的状态。HHMI中包含了大量的电极14，这些电极可以与使用者12的一个或多个生物组件任意进行电流通信，至少有一个独立寻址电极是处于开通或闭合的状态。在开通状态下，电极允许触觉电流信号流过生物组件，而在闭合状态下则不能。有至少一个电极可以被单独访问，在开通的状态下，触觉信号的电流方向可以通过正极或负极的形式经过至少一个电极。生物组件可以由使用者12身上的肌肉、神经、淋巴、脏器、皮肤、感官和其他生物系统中的至少一种组成。也就是说，生物组件是使用者身体中对于应用电流信号反应的一个系统。例如，在肌肉和神经系统的示例中，应用电流信号可以引起感知和非自主性运动中的其中任意一种或两种。感知和非自主性运动可以作为导向力被使用者12接收，例如，为了是使用者12的手部和手指达到弹奏钢琴和弦的特殊姿势，通过选定某一手指在敲击琴键时的感应，如图手指在按压琴键34号时的手势，来完成音乐和弦。

图38为另一个包含有多个寻址电极14的电路，这些寻址电极也是用来传输或检测肌肉纤维和神经上的信号。在这一实施例中，传输器22和其中一个电极相连接，使电流可以从某一方向经过，另一个传输器22可以使电流从另一方向经过。至少有一个电极可以被单独访问，当在开通状态下，应用电流信号中某一方向的电流可以为正极或负极。在医疗应用示例中，身体部位(例如，患有帕金森的臂/手部震颤)中非自主性震颤的发作是通过放大肌肉18和神经中的电流活动来检测到的。检测到的电流活动可以用来判定应制定的电流信号特点，之后将电流信号发送回肌肉18和神经中来减轻震颤运动。电流信号的检测和传输是通过与皮肤表面的接触完成的，设备是一个无线，不包含任何化学或者植入性危险过程的可穿戴电子设备。

图39为另一个样本电路的图解，电路中配置有脉宽调变驱动器，可以在直流电或交流电的触觉电流信号中来选择寻址电极14。光绝缘体可以用从高压直流触觉信号中分离出低压的直流控制线路。电路的组成方法和中国World Semi公司的集成驱动器WS2812的原理是相似的，用来驱动红绿蓝LED排列，使每一对电极和每一组选中的电极14(例如，图7中所示的电极A和电极1，或者电极群中任意两个或多个电极的组合)可以通过脉冲宽度的方式被激活并且选择性的应用触觉电流信号，这里的电路包括电极组和例如使用者12的皮肤，神经和肌肉18等生物组件。使用类似WS2812的驱动器可以给软件和电路设备提供帮助，如开源硬件Arduino，可完全适用于HHMI，用于加速开发和提供开源进步的潜能。电路也可包含一定的限制来确保电流信号的应用始终处于安全范围之内。另一种相似的样本驱动器WS2811，8比特脉宽调制驱动器控制三种LED(红绿蓝)频道(总共24比特)，并且提供潜在的集成电路，电路中的功能可以用于讲解本文中提到的电路发明理论的相关内容。样本驱动器的使用是以解释说明为目的，其他的独立电子元件和集成方法也可以被应用。和视觉暂留的原理一样，信号的检测和应用是靠肌肉活动/检测的样本代表，和引起精准非自主性肌肉脉冲的有效脉冲同时作用发生的。应用的信号可以根据要求来提高复杂程度，例如，一个可变的脉宽调制器可以将不断变化的信号接近同时的应用于不断变化的使用者身体部位和皮肤表面。

触觉感官提示通过刺激使用者12可以造成生理感应，使用者身体由至少一种感受器组成，其中包括热感受器、光感受器、机械刺激感受器和化学感受器。这感受器令使用者12感受到以下至少一种本体感受，机械刺激感受(触摸)、热度感受(温度)、以及伤害感受(疼痛)。触觉感官提示可以根据时间序列数据同步产生。根据接触方式，电流信号可以同时刺激使用者12身体部位的非自主性运动和感知体验。

图40为样本电路图解，电路通过多个独立的寻址电极14将电流信号传输到肌肉和神经纤维中。在此电路中，图39中的电路模式被应用于多个电极14中。电极14的数量是十分重要的，特别是在全身HHMI或HHMI汗衫中。驱动器和电路是用于控制大量电极14的，例如，已知电路是用于驱动无源或有源矩阵显示，以及多路转换器等，但必要时可进行调整来应用触觉电流信号。

图41为一个可重复的电路元件，其作用是在多个电极14号中，寻找相同或不同的电极来进行指定的寻址电极14中的信号传输，检测或者中断。除此之外，至少有一个电极可以被单独访问，在应用信号通过生物组件时，通过相应的电极来提供相应的强度和时长。例如，根据脉宽调制，电极14可以被单独访问，当应用电流信号中的有效电能穿过生物组件中的至少一个电极时，在不进行脉宽调整的情况下，可以独立减弱应用电流信号。使用这种驱动方式，根据特定电极14的脉冲，触觉电流信号可以具有复杂的电流特点以及变化的有效电能，来造成精准的运动和感知。相同的电极14可以用来传输由控制器或者微处理器产生的电流信号，并且检测肌动描记信号。使用微处理器控制电路是为了使触觉信号可以选择性的应用于电极14上，并且肌电数据可以选择性的从电极14中检测到。

图42为一个典型示例，描述了电路从多个电极14中检测到肌肉18和神经的电流活动。根据发明中的另一方面内容，电流活动可以从使用者12身体上的至少一处肌肉18和神经中接收到。电流信号取决于所接收到的电流活动的特征。电流信号产生并应用于使用者12身上，会造成与接收到的电流活动相对应的反应。

例如，在医疗应用示例中，接收到的电流信号可以是使用者12身体中的非自主性震颤。电流信号的特点取决于非自主性震颤，产生的电流信号将通过引起非自主性肌肉运动，来减轻非自主性震颤。电流信号可以针对性的通过引起非自主性肌肉运动来减轻非自主性震颤。电流信号也可以使用电极14选择性的应用到使用者12身上，通过造成肌肉运动来对抗非自主性震颤。电流信号也可以通过大量的导电片(电极14)应用于使用者，电流信号透过使用者12的皮肤来刺激电流信号接收器。所应用的电流信号包括很多针对使用者12不同部位的电流信号，通过本文中提到的电路结构，不同的电流信号具有至少一种变化特征，包括位置、时间、脉冲长度、频率和增强效果，以此来引起使用者12至少一种的预设感受和肌肉运动。因此所应用的电流信号可以被使用者12的电流信号接收器接收，接收器包括肌肉18，神经和触觉接收器中的其中一种，它们会造成非自主性运动以及肉体或运动方面的感知。

如本文中细节阐述的一样，除了触觉感官提示的应用使用了HHMI以外，大量的初级感官提示(例如视觉/听觉)也可以被使用者12正常接收。大部分初级感官提示是按照时间顺序产生的，并且可以有效的刺激使用者12至少一处感官。电流信号是由按照时间序列产生的大量触觉提示组成，这些触觉提示是根据按照时间序列产生的大量初级感官提示同步产生的。电流信号可以通过导电网应用到使用者12身上，导电网能够使电流信号和导电片之间进行电流通信。

HHMI有很多可被独立寻址的小型电极14，以群组的形式来匹配正确的病人身体位置和身材，精确的锁定电流信号和控制微小的活动，例如手指，手臂和手部的活动。如图所示，相同的电极14使用不同的寻址方法来应用电脑产生的信号，将电极14定位在手臂16的位置，电极通过驱动电路和软件来形成群组并检测区域内的肌肉18和神经。

根据一项实施例，HHMI可以装配为具有治疗效果的可穿戴电流设备，通过小型，移动微处理器，便携式通信设备，智能手机，平板电脑等设备来与使用者12进行信息交换。HHMI包括与使用者12皮肤接触的电极14，电极通过导电引线连接并且可被单独访问。根据实施例，可以使用相同的电极14来检测和应用来自/发向肌肉18和神经的电流信号。

例如，HHMI可以被装配为可穿戴的电子设备，在不用药不手术的情况下，可以减小帕金森震颤的影响。如本文中的详细描述，有很多其他的医疗使用方法也是通过穿戴这类电子设备来实现的，例如使用此项技术，通过对感官提示(用于修复受损的大脑)的同步控制来进行中风和脑部损伤的修复。

根据这个示范性使用方法，病人身穿舒适的服装，如全身内衣，从非自主性运动在身体部位(例如臂/手)开始运动时(也就是说，帕金森的震颤症状是由于非自主性的肌肉收缩/放松所造成的)就产生信息反馈回路。反馈是以电流信号的形式来引起相反作用的肌肉收缩/放松(或者打断了造成非自主性肌肉运动的神经信号)，使手臂16和手部的震颤得到稳定。病人身穿这种无线，舒适，和有触觉感应的袖套，感受到的反馈是与非自主性震颤脉冲同步的细微按摩动作。但是，用于阻止震颤运动的脉冲也是同步的，因此病理性的震颤活动可以被减轻。

通过选择合适的独立寻址电极14，电极14的组合形状会与肌肉18和神经的形状相匹配。HHMI包括注册说明，如一个纵向的接缝，IR反射器，或者其他标记，对于使用者12的肘部到腕部进行定向。由于校准的持续性人体生理机能，HHMI在一开始是关闭的状态，在校准处理之后，HHMI会根据使用者的情况，准确的映射电极14到造成震颤的肌肉18和神经中(活动检测)，以及到抑制震颤的肌肉18和神经中(信号应用)。

通过检测身体振动所产生的电流信号来判断震颤的发生，电流信号也用于检测造成非正常运动的非自主性收缩/弯曲肌肉18。当受到刺激时，抑制震颤肌肉18将会阻止不正常的运动。应用电流信号的力量和其他特征的目的是抑制震颤和尽量控制身体的稳定性或者至少减少震颤活动。

图43为用于手部/手指伸展的使用者12的前臂16和手部的肌肉18和骨骼。指屈肌24用于使手指向手掌移动，指伸肌26是用于使手指向远离手掌的方向移动。尺骨28是肘部前方的骨骼。在这个示例中，伸屈震颤导致了非自主性的手部颤动。图44为佩戴有此项发明中的HHMI的使用者12的前臂16和手部，电极14的显示没有保护，覆盖，柔性电子，绝缘体等等，因此可以更清楚的理解被独立访问的电极14的位置与使用者身体解剖学构造的相关性。在真实的构造中，HHMI是一个具有多层结构以及内置灵活性材料和电极的装置。图45解释了监测到的电流信号指示出了震颤发生时的扩展部分。作为与指伸肌26电流通信中最好的介质，独立访问电极14可以监测到指伸肌26的电流活动。图46表明目标肌肉组织18已被检测到并且接收到电流信号。可以通过核磁共振或者其他影像来获取放置电极的图像起始点，袖套可以标记若干标记点用于指示，例如肘部骨骼，或者在影像处理过程中在皮肤表面贴付非透明的圆片。一旦影像指示出肌肉18的位置，电极14的位置就可以从这里作为校准或代替校准的起始点。

作为示例，每一个被独立访问的电极14,都可以通过扫描来判断是否有电流活动在扫描区域发生。参比电极(电极14组群)Eref30可能位于肘部关节，这个位置的骨骼和皮肤的距离非常近，可以作为使用指伸肌26附近电极14检测电流信号的参考位置。从检测电极Edet32中检测到的电流信号，通过微处理器来判定电流活动是否是由自主或非自主的肌肉或神经活动造成的。例如，如果已知病人由于伸屈肌震颤导致了非自主性的手部抖动，微处理器可能会使用程序自动寻找持续性的抖动电流活动。如果检测到的电流信号证明了震颤运动的发作，那么用于减小震颤运动的肌肉18(这里包括伸屈肌24)就可以被应用,并且相应的阻隔电流信号也会产生。阻隔电流信号的时间和其他信号特点是由微处理器决定的，例如，从对照表的储存数据中进行推算,或者通过根据测量大部分人对于类似电流刺激的反应进行计算，如使用校准数据，检测活动，以及减小震颤效果最明显的电流信号。对应指伸屈肌24的独立访问电极14可以被判断出来，例如，通过在校准或调整过程中的储存映射。微处理器使用本文中描述的电路，或其他有效电路(例如，扫描或非扫描的复接电路)来控制抑制肌肉18震颤的反作用电流信号。电流信号的应用可以是复杂的，不同的信号波形式，有效信号强度，以及其他类似的特点都可以通过指伸屈肌24附近的应用电极33来应用于多个信号。紧急停止开关(没有显示)也可以提供在HHMI中，令使用者12可以轻松容易的切断电脑产生的电流信号。

HHMI使用感官反馈和算法来正确的控制电流刺激的特点，当非自主性肌肉收缩造成使用者12身体部位(例如手指)的运动时，如同使用者12自己使用准确的肌肉控制来完成自主性运动一样。本文中描述的电流信号的检测与应用示例，通过使用HHMI，电流信号可以被检测并应用于使用者12的其他生物系统中。生物系统可能包括肌肉系统、神经系统、淋巴系统、呼吸系统、循环系统、消化系统、以及其他与电流刺激相关的身体系统。

在某些应用中，例如加速学习或运动训练，在接收到传输器传来的具有时间序列的初级感官数据后，HHMI可以作为AR或VR系统中检测和应用触觉感官信息的组成部分。大部分的初级感官提示是根据初级感官数据产生的，并且可以正常的被使用者12接收。大部分初级感官提示可以有效的刺激使用者12至少一处感官。根据大量的初级感官提示，触觉感官提示可以同步产生。至少有一个初级感官数据和一个触觉感官数据，包括至少一个被使用者12远程感应到的感应条件。至少有一个初级感官数据和一个触觉感官数据包括至少一个预先记录的感应条件。感官条件可以以音频信号，视频信号或者至少一处身体部位、气味、躯体感觉、运动感觉、移动、压力、温度、时间长度、情绪、味道和阻力的形式被记录下来。

根据此项发明中的一方面内容，在特定情况下使用HHMI，轻薄，灵活，舒适的电极可以另使用者12的皮肤与电流进行直接接触。

HHMI可以作为可穿戴式的外部保护支持装备，为使用者提供可穿戴的电子设备。这件外部保护可以包含多层灵活的电路以及一个由大量电极14组成的电极层，电极中导电面的设计是为了与使用者12的生物系统进行电流接触，其中还要包括至少一层由电路层，电绝缘层，导电层和灵活面中至少一种组成的层面。

图47是一闭合截面图，是一个此项发明中的导电粘扣式HHMI中使用的电极示意图。图49是一个开放截面图，也是一个此项发明中的导电粘扣式HHMI中使用的电极示意图。电极包括大量的导电成分，导电粘扣可以作为或者可以组装成例如像Velcro一样的导电粘扣。

图48是一个闭合截面图，是一个此项发明中的导电杆式HHMI中使用的电极示意图。图50是一个开放截面图，也是一个此项发明中的导电杆式HHMI中使用的电极示意图。导杆可以通过扩张的金属片，镭射切割，或者冲压制造工艺来完成。电极可以由独立的导电杆组成，形成一个轻薄，灵活的悬挂空屑，并利用冲压技术固定在平面的一端。

图51为此项发明中的导电杆式HHMI中的一个独立寻址电极透视图。图52为用于此项发明中的HHMI中的独立寻址电极的导电杆透视图。图53为带有导电半球的HHMI中独立寻址电极的透视图。图54为HHMI中独立寻址电极上导电半球的截面图。电极14可以通过喷射铸造，冲压，铸造或者真空成型的方法来形成弹性塑料，金属或者塑料材质基片。如果不导电，可以将基片镀上或覆盖上一层导电材料。甚至在有毛发的情况下，有很多不同形状的电极都可以增强与使用者皮肤之间的电流连接。例如，大量的导电元素被集成安装用于使用者12皮肤与独立方位电极之间的有效直接接触。本文中提到的不同图形和尺寸只是独立电极14的示范形状和尺寸，目的是为了可以批量生产轻薄，灵活的可穿戴电子设备，也可以对使用者的皮肤进行舒适的大面积直接接触。

如图所示，例如在图24中，HHMI包括与操作人员皮肤表面接触的电极14与导线相连，如x-y导电网(尽管x-y导电网的布局只是一个示例)，包括从无源或有源矩阵视频播放技术中借鉴的寻址技术，以及包括多种已知电路。被访问的电极14成为本文中提到的，能应用或检测电流信号的活性电流成分，使HHMI能够提供精确的电流活动检测(用来检测即时在细微手臂运动中的肌肉18和神经)和电流信号应用(用来引起非自主性和准确的手臂运动)。

图55表示了通过应用经皮电流信号，使特殊肌肉被指定为收缩目标。在第一电极群和第二电极群之间，电流信号以直流电压的形式存在。如其他电路图所示，例如在校准模式期间，可以通过向电路中添加组件，来判定可以引起理想肌肉反应的适当电极群。在校准模式期间(在下面会做详细解释)，这些相同的第一电极群和第二电极群是用于检测使用者12在演示已知动作时的电流活动，例如将手举高到胸部的位置(收缩二头肌)。除此之外，可以引发理想肌肉反应的电极群是可以通过校准数据推断出来的，因为我们对人体手臂16的一般生理机能是非常了解的。在这种情况下，校准模式/调整模式可以对预先选择好的电极模式进行微调。预先选择好的电极模式取决于人体生理机能，而微调则取决于使用者12在校准模式期间检测到的特殊电流活动。应变仪或者类似的仪器可以用于检测肌肉活动，记忆金属片可以用于减少或应用压缩力，它可以作为到电极14的导电途径或者作为单独组件使用。

此项发明中的触觉界面使用了感官反馈和算法来正确控制电流刺激的特点。使用触觉界面所造成的肌肉收缩可以引起使用者12相同的身体部位(如手指)活动，如同使用者12通过自主控制来完成精确肌肉运动一样。

肌肉收缩和身体部位的变化可以用作校准期间的度量，也可以作为应用电流刺激并造成无意识和非自主身体部位移动时的反馈。袖套中可以包括传输器，用于测量肌肉或身体部位的变化，或者应用如挤压和振动的压力。例如，一个特殊形状的记忆合金(可以作为保护套或者作为与电极通信的主要导电体)或者压电材料或者机械振动器，都可以接收从电脑或微处理产生的电流信号的控制，或者以压力或振动的方式应用触觉提示。

HHMI是由很多层轻薄柔性的材料组成，例如导电拉伸纤维，柔性绝缘体，柔性电路板等等。材料的结构可以是机织，机纺，闭孔，开孔，薄膜或者其他适用的结构。

每一层，粘结层和HHMI的其他组成部件可以使用3D打印机来完成，或者利用卷绕生产技术包括层压，丝网印刷，喷墨打印，自动安装，蒸汽沉淀，和喷雾等等。

HHMI可以设计成袖子、手套、裤子、衬衫、全身服等样式，以及柔性贴合的设计，可以使电极14与使用者12皮肤之间进行直接接触。凝胶电极14的使用是有一些缺陷的。干燥的电极14通常是由硬度材料制成的。本文中描述的电极结构提供了轻薄，柔性的设计，特别适用于密集直接接触。不论在任何情况下，电极导电面和使用者12皮肤之间电流信号的转移都可以正常进行。

使用无人机飞行员，或者远程操作人员作为一个示例(本文中对这一示例有更多细节的描述)，如图25所示，由于人体的不同特点，在校准初期(第一步)使用者12被要求完成初级校准动作(第二步)。使用者12进行已知运动演示(第三步)，造成神经放电和肌肉收缩，例如利用手部作为控制面来完成的动作，如拍打或推动。在这个示例中，已知动作可以是利用手部形成飞机并且在躲避气流时进行腕部弯曲。第一次运动的电流信号被检测到(第四步)，并且身体中所产生的电流信号的特点(例如，当手部形成飞机和腕部发生弯曲时，神经和肌肉18会产生肌电图扫描信号)也被感应和储存(第五步)。除了身体产生的电流活动，其他生理机能的改变也能被检测到，例如由于肌肉收缩所造成的使用者手臂16的形变。这些生理机能的改变对于此项发明中人机交换界面的校准，和判断飞行员主观意识的电流信号都是非常有用的。电流和肌肉活动可以被检测并用于校准，控制意识，使用者12的条件等等，可以使用EKG,EMG和EEG来作为非限定性示例。

下一个校准动作是向使用者12发送指示(第六步)，使用者12进行动作演示(第七步)，电流活动被检测(第八步)并且电流活动的特点被储存(第九步)。如果校准过程没有完成(第九步)，那么另一个校准动作会发出新的指示(步骤回到第六步)。如果校准过程已完成(第九步)，那么校准活动所检测到电流信号活动的映射就会形成(第十一步)。通过这个过程，电流信号和电流信号源(肌肉18和神经)与已知活动之间已完成校准，根据每一步校准动作所产生的肌肉18和神经反应映射都已经被使用者12储存。

在自动模式中，校准数据是用于判断电脑所产生的电流活动的特点，电流活动造成飞行员无意识和非自主的身体运动。所产生的结果是飞行员感受到非自主性运动，犹如受到外界作用力一样。例如，飞行员的手可以通过校准设定为远程无人机的控制面，外部作用力可以被飞行员感受到，如同真实在飞机中躲避气流一样。

图57的流程图解释了通过使用者12的运动数据，利用算法来调整校准后的HHMI。示例算法是为了调整特殊的HHMI为特殊的使用者12使用。由于每个人身体的不同，在校准模式中，操作人员演示一项能导致神经放电和肌肉收缩的任务，例如使用手部来做控制面进行拍打或推动动作。在这个示例中，已知动作可以是利用手部形成飞机并，且在躲避气流时进行腕部弯曲。身体产生的电流活动特点(例如，当手部形成飞机和腕部发生弯曲时，神经和肌肉18会产生肌电图扫描信号，或者当使用者的腿向下踏自行车踏板时)被传感器(例如，本文中和示例中提到的电极14，如流程图65)接收。传感器用于校准每个检测到的电流信号位置，相对力量等等。为了调整校准后的HHMI，需要开始进行调整步骤(第一步)。身体的起始点，例如使用者12的手，是由使用者12有意识摆放的位置，或者通过对身体部位的检测，如使用陀螺仪，加速器，红外线检测仪(例如本文中提到的Leap Motion)，或者使用其他方法(第二步)来决定的。电流活动所导致的身体位置变化的检测标准，定义为由身体部位从开始位置移动到指定终点位置(第四步)。例如，使用者12的手部可以在手臂16放松的情况下进行自主性移动，手部可以直接触碰使用者12的肩膀。这个动作可以简单的被使用者12完成，并且在使用者12放下手时可以判定起始位置(第二步)，根据身体位置变化所产生的电流活动，来判断手部放在肩膀时的最终位置(第四步)。检测到的电流信号会与之前的映射电流信号相比较，例如，使用图25中的校准算法。检测到的电流活动与储存的映射通过比较来推断出预计的变化位置。储存映射之后会根据对比后的结果进行确认或者调整(第六步)。如果调整完成(第七步)，算法结束(第八步)。如果没有完成，那么将重新进行调整的第二个步骤。

图58为使用者手部肌肉18。人类的手部包括很多复杂的肌肉、骨骼、肌腱和皮肤组织结构。手部和前臂中有超过30种独立的肌肉18，高度精准的动作需要在它们的共同作用下完成。手部肌肉18提供了灵活性，精确控制和握力，使人们可以打字、书写、演奏乐器、握网球拍、扔掷球类等等。图59为此项发明中手套形式的HHMI。指尖是人体中最敏感的部位，它包含了上千个可以产生不同神经刺激的密集神经末梢，用于转化大小，形状和物体材质的信息。这些指尖神经末梢包含了不同类型的触觉受体器官，如触觉小体和梅克尔氏小盘。

如图所示，例如图72和以下描述的内容，高密度的小型电极14可以放置于HHMI手套指尖的神经接触部位。电流刺激可以进行特殊的应用来造成指尖接收器的反应，使质地、压力、热度、冷度、运动等多种感官都可以被使用者12感受到。

图60表示的是从独立寻址电极14到使用者12身上肌肉18的映射。通过锁定与前臂16上肌肉18对应工作的手部肌肉18，可以完成非常细微的运动。在减小震颤的示例中，这些运动可以保持震颤手部的稳定性。在加速学习应用的示例中，这些运动可以将手指移动到指定位置，或者推动或引导手指去往正确位置的方向，以此来完成弹奏钢琴和弦34的技巧学习。

特殊使用示例:

HHMI实施例的使用在本文中有相关的特殊应用。然而，这些特殊应用的目的是通过提供更多使用方法的示例来更清楚的了解HHMI，其中包括检测电流活动，运动和身体位置，非自主性运动或位置指导，虚拟感应，以及通过应用电流活动所造成的本体感受。

触觉人机交换界面(HHMI)的技术应用领域十分广泛，包括军事、民生、加速学习、医疗、娱乐、体育、游戏、家庭自动化、太空和深海探测、以及无人机和机器人的远程控制操作。HHMI也可以为距离较远的两个人提供拟真的交流模式，实时或者根据预先检测和记录下的数据体验另一人的操作方法。

军用贴身衣：

图61是内衣形式的HHMI，当中附有很多小而密集的电极14在腹腔神经丛，大而松散的电极14被放置在其他位置。腹腔神经丛是一个复杂的神经中枢和交感神经系统的辐射神经，位于胃部下方，通过监测这个区域或者横膈肌的肌肉18，可以监测到身体中的核心功能。交感神经系统的主要功能是刺激身体中的战斗或逃跑反应。根据军事的使用，士兵可以在战斗期间通过穿戴HHMI贴身衣增加感应层面。通常来说，士兵的视频和音频感应在高强度的战斗状态中是饱和的。HHMI贴身衣可以通过一种新的方法来向士兵传递信息，利用触觉信息为接收到的视觉和听觉信息做补充。触觉信息可以是集合地点的指示或者是战友的位置。感应器和传输器或者其他数据连接都可以用于传输士兵身体状况的细节，包括心率、血压、体温和其他重要的生命体征信息。

HHMI是由柔性，轻薄的多层材料构成。HHMI中的压缩层，被压缩成可以包裹物体的形状，例如应用在手臂16的袖套，或者当设计成汗衫时，可以应用在使用者12的背部，肩部，胃部和躯干部位。HHMI是一个可穿戴的电子设备，内部含有可以促进使用者12皮肤和电流之间，有效直接接触的独立寻址电极。

HHMI是一个轻便，无线，高分辨率，可穿戴的电流信号检测/应用电子设备，用于检测使用者的控制意图(例如，控制机器的飞行)和增强触觉提示的应用(例如，体验机器的飞行状况)。交换界面是舒适，易穿着的服装，令使用者在穿着时不受或者仅受很小的活动限制。

HHMI的结构是整体，舒适，但是相对贴身的服装，目的是为了使电极14可以直接与皮肤相接触。HHMI是用于通过皮肤应用电流刺激来提供触觉提示的。

例如，触觉提示可以是与感应参数相关的身体位置，参数包括弯曲、旋转、倾斜、投掷、偏航、温度、振动、以及其他UVS中可检测到的压力或机械组件的条件(机翼，机身，控制面等)。

感应参数可以是在飞行时机翼控制面的气压感应。感应参数从无人机传出(使用无线电或者视线光学)并产生电脑控制的NMES提示(电流刺激)，通过造成飞行员手部对压力的自动反应，来假设一个与无人机控制面直接相关的位置。

使手部移动的压力是由神经肌肉电刺激提示所产生的肌肉运动。飞行员所体验到的阻力或者压力是由于电脑控制的电流信号被应用到飞行员自身的感应/肌肉生理机能中。除了压力和阻力，振动，敲击甚至是摩擦等物理感应也可以通过皮下控制的电流信号刺激被接收。

肌肉活动是非自主和无意识的。在产生非自主性运动时，可能并没有任何机械作用力的刺激，接收到的感应是在应用电流信号的条件下产生的，然而应用电流信号以外也可以提供机械力的刺激。

震颤治疗和其他运动障碍：

例如HHMI，可以被制作成可穿戴式电子设备，用于非药理学，非植入治疗的医疗用途来治愈疾病或不适，例如帕金森(帕金森疾病)，严重的震颤，以及其他神经类的疾病。

根据示例中的某一方面内容，HHMI是用于减轻病人由于运动障碍所造成的物理和情感上的痛苦，例如但不仅限于帕金森患者的震颤。帕金森震颤是典型的不对称性震颤，在静止状态下发作，在自主运动状态时症状有所好转。此项发明中的HHMI机械装置，只有当需要自动应对帕金森震颤的变换特点时，才方便的应用反馈规律，电脑控制和电流信号。

作为一个示例，为了对抗非自主性震颤，微处理器可以通过编程来对震颤的发生状态，时长和特点的变化进行检测和反馈。示例电路图图解，流程框图和流程图都解释说明了此项发明系统中的组成部分，包括HHMI和其相应组件。为了达到特殊的使用效果，也可以添加其他的电路或者组件。例如，信号可以通过微处理器和相关电路来产生，或者微处理器可以控制一个可以产生多相或双相电流信号的外部信号发射器，电流信号可以至少造成指向预定动作的推动力，或者使身体部位完成指定动作。类似的信号发射器如TENS装置，在很多公司都可以购买的到，例如Amrex，BioMedical Life Systems，Prizm Medical等等。

一个关于HHMI的非限定性实验，将其安装为一个轻薄，灵活的袖套方便使用者12穿戴，袖套和微处理器之间的连接可以是直接的，或者是通过视线或无线电(例如蓝牙，WiFi等)的无线网络。HHMI可以被嵌入进一个轻便，舒适，可触的袖套中，其中的电极尺寸和密度可以自动校准使用者12的生理机能。

触觉袖套提供了精准的电流活动检测,来检测手臂运动中的肌肉18和神经。其他检测身体部位移动的方法还包括使用IR反射器，HHMI嵌入式或佩戴式发射器，以及CCD或者其他可以远程检测身体部位移动的设备。加速器，近距离传感器(霍尔效应，声呐等等)，陀螺仪和其他动作和位置检测器也可以用于身体部位移动的检测。例如，加速学习的示例，在弹奏钢琴的过程中，通过HHMI，可以检测到钢琴弹奏者细微的手部活动中的电流活动，以及由电脑处理的弹奏者手部的视频信号。这两个数据源可以用于判断乐器相对于演奏者的位置，也可以作为手指的手部运动指示标志，通过它们来选定HHMI并应用准确的电流信号到学生的身上。动作控制器，例如Leap Motion of San Francisco,CA公司的产品可以在不穿戴任何反射器或者发射器的情况下，用于即时检测钢琴演奏者手指和手部位置。类似的系统，为了展示本文中多种示例的效果，也可用于检测运动，位置和身体其他部位的姿势。MIDI键盘可以为演奏者手指按压的34号琴键提供数据记录。

在医疗示例的使用中，节律运动可以被检测到并且其特点可以被储存和分析，使震颤发作时所产生的振动和其他不正常的(或指定的)身体部位运动可以被检测到。在一项医疗应用的示例中，为了对抗检测到的震颤，HHMI袖套通过发出即时的电流信号，来造成非自主性的肌肉和神经刺激，用于对抗和减轻随时发生的不正常的手臂/手部震颤。

由于向震颤发射振动信号，这些电流信号所导致的肌肉收缩会通过节律和按摩的感受被使用者12接收。这种方法的优势是在不经药物和手术的情况下，及时的和无意识的减轻病人痛苦。与震颤的对抗只有当病人穿上可穿戴式电子设备时才会发生。

通常来说，帕金森综合征最显著的一个标志就是四肢的非自主性运动。由震颤所造成的障碍来自于病痛给病人带来的羞愧感和完全缺乏独立性。市面上有很多治疗震颤的药物，(例如，赞安诺，妥泰，加巴喷丁，普萘洛尔，托吡酯，扑米酮，麦苏林)它们中的大多数都含有副作用，有的可能很难被病人接受。手术的方法是通过一个高植入式的操作过程向大脑深部植入一个刺激装置，这个方案只有在震颤极端严重的情况在才会被使用。

HHMI的实施例可以与传统的治疗手段共同使用，可以减少在治疗震颤期间药物的用量和副作用，也可以避免或者至少推迟植入式脑部手术的需要。应用电流信号所造成的收缩和弯曲也可以缓解帕金森通常伴随的肌肉18的僵硬和疼痛，HHMI可以使用特殊的“拉伸按摩”模式，应用的电流信号通过产生有节律的按摩动作来收缩和放松使用者12的肌肉18。

除了能够减轻震颤，HHMI也可以对步伐障碍和失调提供无药物，无植入式的缓解。在这种情况中，HHMI可以被安装于紧身裤或者塑身服中供病人穿戴，从而能控制病人非自主性的腿部或其他身体部位的运动。

在治疗震颤的示例中，HHMI的目标是非自主性颤抖中的肌肉18和神经。HHMI可以被用于肌电图中作为一个简单而快速的方法来判定肌肉和神经的电流信号特点，例如演奏乐器的自主性运动，或者像震颤的非自主性运动。例如，为了方便诊断，HHMI可以用于计算震颤的频率和振幅。HHMI也可以用于检测由肌肉18和神经中产生的电流活动中的运动，并且应用电流刺激来指引手指放在指定的和弦位置，以此来对抗震颤活动。

根据肌肉18对应用电流信号的持续性和可预测性的反应，人体可以被看做是一个高度复杂但标准化的机器。尽管人类有着共同的解剖构造，但是最适宜的电极放置位置和应用的电流信号会根据不同的人有着不同的变化，甚至在同一人身上的不同使用方法也会不同。在一个高清晰度的HHMI实施例中，寻址电极14的数量增加，虽然平方厘米或更大的电极14被认为是最适用于肌肉18的大小，例如手臂16，但是电极可能只有平方毫米大小甚至更小，小的电极14对于检测和应用电流信号到手部和指尖的神经位置有更好的效果。

不仅如此，高密度的小电极簇可以放置在与人体解剖结构一致的肌肉18和神经上。HHMI可以包含不同大小，形状和需要的不同类电极，例如，用于应用神经肌肉电流刺激。

经皮电流神经刺激的使用已经被FDA通过，可用于减轻疼痛，并且近来越来越多的用于偏头痛的预防性治疗。也有很多其他的机械设备应用电流刺激来对抗震颤。然而，从来没有人提出或建议使用可穿戴式电子设备HHMI来进行肌肉和神经的精确检测活动，使用小型独立的寻址电极14，通过同等大小或者其他类型的电极14来应用复杂的电流信号，从而达到减轻帕金森震颤的治疗效果。而且在之前任何的尝试性使用中，也没有人提出过触觉人机交换界面可以提供与电脑控制的音频和视频提示同步的触觉提示，以此来增强，例如由帕金森震颤所造成的，失效的自主性控制肌肉的脑部连接。

美国专利6892098B2号，名为《用于治疗痉挛，震颤，肌无力，和其他运动障碍的神经刺激法》，发表于Shai等处，提出了通过向神经发射电流来治疗痉挛的方法，以此来阻隔一个或多个感应纤维之间的潜在联动运动。美国专利7228178B2号，题目为《用于震颤控制的表面刺激》，发表于Carroll等处，提出了非植入式的脑部电流刺激，通过对边缘神经系统皮肤表面的刺激来治疗运动障碍。美国专利申请20030149457A1，标题为《用于治疗运动障碍的应对式电流刺激》，发表于Tcheng等处，提出了使用嵌入式神经刺激系统来治疗运动障碍。专利合作条约申请PCT/US2014/012388号，题目为《用于震颤控制的设备及方法》，发表于Rosenbluth等处，提出了利用对边缘神经的电流刺激来治疗震颤。

HHMI为帕金森患者提供了减轻痛苦和通常严重的虚弱症状的方法。但是对于对抗由于帕金森造成的心理和身体退化，这仅仅是HHMI潜在使用方法的一个开始。根据HHMI的其他方面，治疗性处理强调了由帕金森和其他神经紊乱的认知性损伤。HHMI提供的可以与电脑控制的视频和音频提示同步的触觉提示，可以增强由帕金森震颤所造成的，失效的自主性肌肉控制的脑部连接。

触觉感官提示可以刺激使用者12的脑部处理中心，来形成一个对非自主性颤抖的习得反应，习得反应可以通过不断地巩固来减轻非自主性颤动。

对于人脑的可塑性现在还处于认识的阶段。这种HHMI的治疗使用方法除了可以增强神经通路之外，还可以提高病人对抗震颤的能力。这种对病人脑部的重组对于今后解决认知问题，包括痴呆和思维障碍；情感变化，例如压抑，恐惧，焦虑和沮丧等都是有效的。根据发明中的此方面内容，感官提示可以用于患有脑部损伤或者其他脑部缺陷以及学习障碍的患者的康复治疗。

加速学习乐器

如图62所示，HHMI可以直接或者间接的向学生，年轻或年长的大众，向全世界和下一代传播演示者细节的音乐技巧和激情。HHMI可以作为加速学习系统(ALS)的组成部分，通过电脑控制的感官刺激，使学生同步接收到多重感官，以此来更快的建立肌肉记忆和学习乐器所需要的认知方式。例如，音频提示(钢琴的旋律)是与视频提示(演奏者的手指和手部正确弹奏钢琴旋律的画面)和触觉提示(学生手指上的肌肉/神经对于演奏者肌肉/神经所产生的相对应的振动或电流刺激)共同作用的。ALS通过刺激脑部不同的感官处理中心，来增强和固定需要学习和掌握乐器的大脑/神经/肌肉18，学习过程可以随时终止，可以有乐器或者无乐器伴随，甚至是在参与其他活动时。

触觉感官提示通过HHMI的应用取决于手部位置数据和手指敲击数据，以及与手部和手指在敲击一个或多个琴键34时位置的关系。触觉感官提示可以包含一个有效的电流信号来造成非自主性的身体部位运动以及肉体和动觉上的感受，令使用者12的手部可以形成和弦手势，敲击琴键34的手指可以接收到触觉感官，此时使用者12关于手部姿势和敲击键盘的肌肉记忆已经形成。

演奏者特殊的细微差别和个人风格的细节也可以被捕捉到，之后会根据记录的信息，通过同步的感官提示发送给学生(或者是全体观众)。HHMI还可以捕捉到演奏家和音乐家之间的细微差别，根据完成时间和相应的音乐活动来判断艺术家特殊的风格。

根据发明中的另一方面内容，大多数的触觉感官提示都可以被使用者12正常接收。大多数触觉感官提示是根据至少一个移动个体，在演示事件中身体活动的特定条件来决定的。根据特定条件，大多数的触觉感官提示都可以有效的刺激使用者12的脑部触觉处理中心。大多数的视觉感官提示在视频播放设备上都可以正常的被使用者12接收。视觉感官提示可以为使用者12提供至少一个移动个体，在演示事件中身体活动的虚拟视觉指示。视觉感官提示可以有效的刺激使用者12的大脑视觉处理中心。视觉感官提示和触觉感官提示是同步作用的，通过位置的虚拟视觉指示和触觉感官提示同步，使视觉感官提示对视觉处理中心的刺激，可以与触觉感官提示对触觉处理中的刺激相同步。

触觉处理中心和视觉处理中心的同步刺激可以是特定事件的演示，应用于使用者12的教学当中。触觉处理中心和视觉处理中心的同步刺激，可以令使用者12远程控制演示事件中的演示个体。演示个体可以是人，移动个体可以是人身体的组成部分。演示个体也可以是动物，移动个体可以是动物身体的组成部分。演示个体还可以是远程控制的可移动物体，例如无人机或者机器人，移动个体可以是远程控制的可移动物体的机械部件，例如控制面或推进器。如图62所示，移动个体可以是一根手指，演示个体可以是一个人，事件可以是演奏一首乐曲。移动个体还可以是一个控制面，演示个体可以是无人机，事件可以是驾驶无人机。

图62为利用触觉信息和视觉信息系统来学习演奏钢琴的示例。在这个实验中，使用者12可以戴上一副可以产生至少一种触觉刺激电流信号的手套，通过应用电流信号，来刺激虚拟肉体系统感应或者身体感应发射器，例如振动器。例如当学习钢琴的时候，触觉刺激，真实环境，以及虚拟视觉指示(例如一个手部正在弹奏琴键34的视频)的叠加增强现实效果，都可以作为在钢琴前教学或者远程音乐教学时构建记忆的手段。

例如，弹奏乐曲的相关记忆，根据发明中的示例，将会以听觉，视觉和触觉(肌肉，触觉或者其他刺激)提示的形式来加强，这些触觉产生后，在传统音乐教学过程中，可以被不断地反复来逐步灌输相关记忆。因此，使用者12可以学习如何弹奏乐器，并且特殊的视觉，听觉和触觉记忆提示将会以“自动”的形式构成肌肉记忆。

根据一项实施例，使用者12(演示者或者学生)穿戴的触觉/视觉手套可以在教学期间为使用者12提供相应的触觉和视觉提示，例如，在记录和教学期间演奏一首乐曲。使用者12也可以佩戴耳机接收音频提示(或者，音频提示也可以通过扬声器或者其他音频刺激设备提供)。使用者12还可以佩戴一副视觉/听觉记录/播放的眼镜或者护目镜，例如谷歌眼镜，Oculus Rift，微软Hololens，以及Meta VR护目镜。

因此，下面的内容也会做出详细的解释，使用者12接收了不同的听觉，视觉和触觉提示，来指示在音乐课的一架钢琴上音符或琴键34正在被弹奏。例如，通过指尖上亮起LED灯来作为手指在钢琴琴键上弹奏的指示，使用者12可以接收到视觉提示。同时，手指上相应的皮肤神经和肌肉18也通过振动或者电流脉冲受到刺激，使学习乐曲的肌肉记忆在听觉和视觉的共同作用下建立起来。使用此项发明中的ALS，学生接收到刺激类感官提示，这些提示可能与在真实课程中练习乐器时的感官提示类似，也有可能与真实练习的感受不同。作为真实练习感受的一个示例，视觉感官提示可以从演示者的视角来展示键盘上的手部位置。图62解释了键盘的视觉角度可以作为视觉感官提示提供给学生，在这个示例中视觉角度和演示者的视角是一致的。在这个示例中，对于预先的视觉提示，可以通过头戴式摄像机38记录下来，也可以通过一副装有摄像机38并具有现实增强效果的眼镜来完成。触觉提示可能与真实练习时的感受不同，而视觉感官提示可以根据教学过程制造出来。在这个示例中，例如图像(例如正确弹奏和弦时键盘的组合方式，或者用于只是组成和弦的琴键34的对应音乐符号)，在教学期间，可以与音频感官提示和触觉感官提示同步演示给学生。除此之外，相同类型感官提示的不同版本也可以同时应用。在这个示例中，演示者手部的视角可以在学生视野的中央区域播放，而同时所产生的序列图像可以在学生视野的边缘部分播放。头部追踪也可以用于增强学生在远程课程中的体验感受，使学生自然的将注意力转移到虚拟或真实的键盘，手部和乐谱上。同时，相应的音频感官提示和触觉感官提示也会提供给学生。

另外，听觉感官提示和触觉感官提示也会根据不同的要求而产生变化。例如，大脑的左半球是控制身体的右侧，所以对应右手触觉感官提示的音频感官提示应当应用于学生的左耳，或者反之，情况取决于大脑的哪一部分需要受到刺激。这些产生的感官提示会被使用者12大脑不同的位置接收，目的是为了产生不同的脑部区域之间相应的处理过程和记忆。学生，正在接收恢复治疗的人，正在娱乐，或者正在体验带有同步感官提示的音乐的人，都可以受到同步应用触觉提示的影响。这种体验可以发生在教学期间使用或者远程控制乐器的情况下。

根据此项发明中加速学习系统的一项示例，为了增强学习体验，当学生在真实使用乐器学习乐曲演奏期间，脑部系统所产生的化学或电流信号是可以被检测到的。作为另一个示例，学生的脑部活动也可以通过大家熟知的脑部扫描技术(例如事件相关电位，ERP)来检测到，应用的感官提示可以针对不同的与听觉，视觉和触觉提示处理相关的脑部活动，用于巩固和加强学习体验。此项发明中的ALS也可以应用于其他活动，包括运动、校务工作、艺术表演、军事训练、视频游戏等等。

本文中描述的示例与在键盘上学习演奏乐曲有关。然而，此项发明中的加速学习系统并不仅限于键盘，或者学习音乐演奏的使用。本文中还提到，此项发明中加速学习系统的各个方面还可以应用于很多不同的领域，包括娱乐、军事、运动、视频游戏、远程控制机器人、无人机和车辆，以及乐器等等。

HHMI用于音乐的教学辅助可以作为中风和其他脑部损伤患者的有效治疗手段，通过使用同步的，电脑控制的触觉，听觉和视觉提示来修复损伤的脑部。

为了解释基本HHMI信号检测和应用部件，图63解释了位于指伸肌中间EMG感应器简单的信号检测和应用。TENS信号应用电极位于肌肉的一端。运动检测加速器位于手的背部。在真实的HHMI系统中，感应器和电极是有很多种的，根据特殊应用的需要，会选择最优的电极大小，数量，类型和形状。

运动训练

图64为运动训练使用中对自行车上的数据采集。微处理器控制着数据的接收，数据源包括GPS、麦克风36、相机38、陀螺仪、加速器、速度计等等。数据被记入数据记录器中并储存在内存中。图65为在训练期间，根据图64中收集到的数据对运动员进行同步感官提示。在训练期间，录入的数据从内存中导出，通过微处理器来产生大部分的初级感官提示。感官提示由微处理器发出并且被使用者12接收，例如，感官提示可以是一个球形视角的视频，使用头部追踪AR护眼镜时可以从全方位观察。大部分的初级触觉提示都是按照时间序列产生的，并且可以有效的刺激使用者12至少一处感官，例如视觉。大部分的触觉感官提示都可以被使用者12正常接收。根据电脑控制产生的时间序列电流信号，触觉感官提示可以被使用者12接收。例如，触觉感官提示可以通过HHMI应用并向使用者12的手臂16产生吹风的效果，风速是取决于虚拟自行车的速度。除此之外，触觉感官提示也可以是变化的阻力应用于正在做踩踏动作的使用者12，如同使用者12正在山上骑自行车的效果一样。这些被使用者12接收的电流信号都和触觉相关。触觉感官提示是根据按照时间序列产生的初级感官提示同步产生的。例如，随着自行车速度的加快，VR眼镜会给使用者12相应的指示，通过应用恰当的电脑控制的触觉信号，令使用者12的手臂16所感应到的风速也随之增加。图66为骑行者在骑行路途中的数据采样。图67为当自行车在相对于海平面特定的角度和高度时，独立的数据样本观察。采集的数据会传到微处理器中，例如，如图65所示，用来计算训练系统中一辆静止的自行车上由阻力器产生的阻力值。图68为采集信息样本示意图，图中表示出了骑行者在骑行过程中，在相对于海平面的某一高度和角度上所采集到的数据。阻力是可以根据数据计算出来的，数据包括例如自行车相对于地平线的角度(例如，在真实路径中路面的坡度)、使用者的体重、GPS数据、速度等等。有些数据可以在行驶过程中被直接采集或者通过微处理器计算/估算出来。作为一个示例，当骑自行车的人在静止的自行车上进行训练时，可以体验到环法自行车赛的虚拟感受。

图70为一个具有增强现实效果的虚拟感官提示桌子，从使用者12的角度看，球拍上会显示出一个由电脑程序控制的虚拟网球，这里使用了如现实增强眼镜的现实增强显示技术。在这个示例中，演示物体是一个网球拍，其位置可以通过相关设备来检测，包括近距离传感器、移动检测仪、倾斜检测器、镭射定位系统，和其他用于在三维空间中检测物体位置的机械设备。在这个示例中，演示的组成部分可以是网球拍的拍柄，当网球接近时和击打网球时，拍柄相对于使用者手臂的位置也是可以判定的。网球可以是真实的网球(如增强现实)，或者是由电脑产生的虚拟网球(如虚拟现实)，使用者在观看和反应时所记录的感官提示可以用于演示教学。示例中的机械组件和用于检测以及记录身体位置和演示物体/演示组件的方法，是用于记录感官提示的，这些感官提示可以用于教学事件和在人脑的不同处理中心建立起事件的相关记忆。在记录演示过程期间(例如，职业网球选手的身体部位)被检测到的，和之后在学习和娱乐过程中(例如，学习网球的学生的身体部位)被刺激的演示部位，可以是至少一处的手指、脚趾、手部、脚部、腿部、肩部、头部、耳部和眼部。这种应用此项发明中的加速学习系统的方法，可以用于例如研发虚拟运动的视频游戏当中。类似的方法也可以用于其他的事件中，如操控一个远程控制系统，例如驾驶一个无人飞行器、太空探测器、演奏吉他、组装武器、通过娱乐或者脑部复健来帮助中风患者或者有脑部损伤的病人重组脑部组织，其他认知性的治疗如增强学习能力，或者其他任何类使用者可以从中获益的事件，如通过记录感官提示来对脑部不同处理中心的刺激。

娱乐

图69为一个具有示范性娱乐应用效果的椅子。触觉感官提示可以被映射在椅子，床，服装或者其他可供使用者12使用的设备。例如“按摩”椅，上面包含针对不同身体位置的区域，可以分别应用如震动或压力的触觉数据。例如，在按摩椅的示例中，针对身体不同部位的震动和压力被映射到一首乐曲的不同频率当中，以此来产生舒适的按摩效果。音乐频率中不同的范围也可以以浅色光的形式映射为视觉刺激。例如，浅色光可以与人眼对于颜色的刺激相对应。因此，由LED灯产生的颜色可以与人眼视锥细胞的峰值波长相匹配。三种视锥细胞的峰值波长分别为564-580纳米，534-545纳米和420-440纳米。头部追踪护目镜，双声道耳机和触觉椅都可以在舒适的环境下提供远程现实的深度娱乐和学习体验。

图71为一位使用者深度沉浸的在虚拟现实体验中，图表表示检测和应用数据，也解释了同步感应提示手段对大脑信息处理中枢所产生的作用。

如图71所示，大脑中处理声音，感触和视觉的不同区域可以控制或者被刺激，使变弱的脑部感官，运动或认知处理中心，可以通过增强的脑部感应刺激处理来进行强化或重组。例如，脑部右侧损伤的中风患者有可能失去左手手指的运动功能。在这种情况中，应用到左手手指的触觉感官提示可以向受损的脑部提供触觉感应刺激，同时视觉和听觉提示也相应的强化受损脑部的学习和重组能力。

根据此项发明中的另一方面内容，大部分初级感官提示都可以被使用者12正常接收。大部分初级感官提示都是以时间序列的形式，产生并能有效的刺激使用者12。大部分的触觉感官提示也都可以被使用者12正常接收。被使用者12接收到的触觉感官提示取决于由电脑控制的时间序列性的电流信号。电流信号所引起的使用者12的感知是与触觉相关的。触觉感官提示是根据具有时间序列性的大部分初级感官提示同步产生的。

大部分初级感官提示可能是由视觉感官提示组成的，它们可以给使用者12提供事件的虚拟视觉指示。视觉提示包括映射到事件图像中至少一种颜色和亮度的视频数据；而触觉感官提示是根据映射的视频数据产生的。大部分初级感官提示也可能是由听觉感官提示组成的，它们可以给使用者12提供事件的虚拟听觉指示。音频感官提示可以包括映射到音响，多声道或者双声道的声音数据；而数据感官提示是根据映射的声音数据产生的。大部分的导电片都可以通过使用者12的皮肤应用电流信号来刺激电流信号接收器。

信号发射器可以用于产生大量的触觉提示，通过大量的导电片，以电流信号的形式应用到使用者12的皮肤上，而大量的触觉感官提示可以以预设感受或者肌肉活动的形式被使用者12接收。大量的电流信号可能包含至少一种特点，包括位置、时间、波长、频率和振幅反应，来造成使用者12至少一种预设感受和肌肉活动。电流信号接收器可以由肌肉18，神经和触觉接收器中的至少一种组成。信号发射器会相继产生能被使用者12正常接收的大量初级感官提示，这些提示是具有时间序列性的，并且能有效刺激使用者12的至少一处感官；而触觉感官提示是根据具有时间序列性的大部分初级感官提示同步产生的。

导电网可以为电流发射器和导电网之间的大量电流信号提供电流通信，而导电网可以作为独立寻址电极14的矩阵。

根据此项发明中的另一方面内容，设备是由至少一个处理器和至少一个包含电脑程序的内存组成的。内存和电脑程序被集成在至少一个处理器中，在使用人机交换界面时，设备可以检测到使用者12的身体部位活动。电流信号的设定是利用电流特点对独立的身体部位活动造成有效的指定动作，电流信号将被应用于物体上来造成指定动作。指定动作可以是，例如，学生手部的未来活动，其中手部是目标物体。

感官提示还包括其他类型，如味道和气味。在这里，味觉/嗅觉可以为学习活动提供正面或者负面的强化作用。例如，在无人机操作学习如何分辨敌军或友军的示例中，在练习训练期间，对于是否能让操作人员通过视线观察正确区分出敌军和友军，这个挑战可以通过提供味道来解决，当判断正确时设备会发出好的味道，而判断错误时会发出不好的味道。通过应用附属感官提示作为学习行为或反映的强化方式，使大脑中的另一个处理中心也加入到感官处理的学习体验当中。

根据此项发明中的另一方面内容，一个非永久的电脑可读储存介质可以储存电脑程序指令，当程序执行时来完成本文中描述的操作。

游戏

图72-75解释了使用此项发明中的HHMI和加速学习系统(ALS)来进行教学或者提高手眼的协调能力，用于控制如操纵杆，远程控制组件或者视频游戏控制器。例如，在游戏控制器的示例中，典型的触觉反馈不仅可以应用于此项发明中的加速学习系统所提供的触觉感官提示。例如，视频游戏中的振动也可用作学习期间的感官信息。在这个示例中，振动感受可以由安装在触觉手套的手掌或者手背的振动器来提供。根据此项发明中加速学习系统的一项示例，在学习或真实驾驶期间，无人机操作人员可以被放置于一个感官剥夺舱中。使用者12的神经末梢和肌肉18可以被振动器或者电流脉冲刺激。并且，在神经中游走的电流脉冲和相对于这些脉冲的肌肉运动可以被检测到并用于记录学习期间的演示效果，或者用于检测学生是否正确使用了学习技巧或行为，又或者对病人提供认知和物理治疗。

图72为一副装有HHMI的高密度，高分辨率的手套，在神经分部密集的使用者12手指顶端部位还配有微型的感应电极。HHMI可以由一个带有触觉感应指尖的手套组成。触觉指尖的设计方法和本文中提到的触觉袖套和服装类似，通过映射来检测和应用电流活动到使用者12的手指。

图73为在袖子上安装的HHMI，利用它作为设备改装器，或者在原厂设备与游戏手柄之间做信号交流。HHMI可以通过无线或者有线的连接，利用操纵台或者手部操纵器，例如X-box,PlayStation,Wii,任天堂,或者其他游戏平台进行通信。游戏控制器通常包括一个振动组件(有时叫做“振动装置”)。很多的游戏软件都利用振动装置来提供触觉反馈，例如，当手榴弹爆炸，火箭起飞，或者汽车发动机旋转时，来提供肉体上的振动感觉。根据此项发明中的这一内容，HHMI可以在游戏期间用于控制振动装置，或者为HHMI编写代码，使触觉提示可以应用于使用者12身上。微处理器也可以用于产生游戏软件代码相对应的特殊触觉提示。

图74为一个配有触觉板的虚拟现实控制器，可以让使用者12的指尖有电触感应。HHMI可以设计为一个具有触觉和压力感应指槽的手控球40。手控球40具有高分辨率的触觉和压力感应指槽。

图75是以手控球40为示例来检测数据的流程图，数据包括人体释放的压力，生物产生的电流信号，生物活性电流信号，以及由于虚拟现实控制器，或者人机交换界面中手部控制的无线触觉信息传输器所造成的位移和速度变化。根据一项非限定性的实施例，传输器是用于检测和应用电流信号到使用者12的指尖的。手部操纵的手控球40包括几个放置手指的指槽，并且依照传输器来应用和接收电量和其他触觉刺激(例如，振动或压力)。手控球40由一个外壳组成，其中包括传输器、加速器、微处理器、振动器、陀螺仪和发射器等等，使手控球40可以作为人机交换界面使用，例如无线三维鼠标或者供游戏、娱乐、军事、商业、远程控制等使用的无线操纵杆控制器。

如图76所示，电流的刺激可以使用各种电流信号的形式来刺激重力作用(例如，移动手部和手臂16来接球或者甚至球撞击到手部时所产生的振动)，或者另一个示例，作为低频可变强度脉冲，同步对抗检测到的震颤振动。电流信号触发了导致肌肉运动的阿尔法运动神经。电流刺激的强度越高，肌肉纤维就会越兴奋，导致的肌肉收缩也会越强烈。所发生的肌肉收缩根据不同的电流信号特点会产生不同的速度和时长，例如，根据需要来模仿球的运动力或者稳定震颤。

为了准确定位肌肉18和神经，信号检测和应用的位置要根据使用者12做相应的调整。HHMI可以准确检测身体中产生的相关电流信号的细微差别，使用微处理器的计算能力来处理这些检测信号，并判定和产生一个复杂的回应波形来直接有效的指示身体到指定的位置去，将与身体进行过虚拟接触的真实世界物体的触摸和运动感觉进行复制，或者对抗检测到的震颤。

此项发明中的手控球40配有高分辨率的触觉压力指槽，槽内的固态压力感应器可以处于开/关或者梯度渐变的状态。振动装置可以用于触发触觉感受，音频音轨也用于触发触觉感受，用于检测的游戏声音和视频(声音巨大的爆炸或者指示爆炸的某种颜色的强光)可以触发触觉感受，或者由使用者预设的声音(过滤)也可以用于触发触觉感受。

人/人虚拟交换界面

图75解释了此项发明中配有触觉，听觉和视觉信号的HHMI，人/人交换界面的实现取决于虚拟或增强现实，也取决于远程位置上的第二使用者12的动作。为了模仿突来的力量，例如接球，使用者12的触感细胞会被激活来模仿检测到的力，并且造成根据虚拟球重量，轨迹和速度的非自主性运动，因为虚拟球会被使用者12的手部感知(同时伴随的还有虚拟球的声音和视觉提示以及与皮肤之间的接触)。为了避免错误提示，肌肉运动中的信号可以由电极14决定，电极会在噪声极限值之外接收信号。

使用者1扔出一个虚拟球，根据物理定律，处理器根据球的虚拟重量，空气阻力，重力等等决定了它的轨迹。视觉和听觉提示取决于球的虚拟外观，判定的轨迹和其他变量如虚拟的风，使用者1和使用者2都可以从他们的视角看到和听到。

HHMI是用于应用触觉提示的，包括使用者1感受到的运动阻力(惯性)以及接球时使用者2手掌所感到的突然的冲击力。HHMI是用于为使用者创造体验的，如同他们在彼此之间扔掷虚拟球一样，甚至他们有可能是在物理距离较远的位置通过网络进行连接的。

机器人和无人机的远程控制的感应：

无人机在节能机载电脑和飞行控制系统的控制下，可以进行长时间和高速长距离的飞行，并且在起飞后不需要交流。此类的自主无人机甚至可以通过门窗进行控制。HHMI可以集成在内衣上并且配合VR或者AR组件使用，来产生与无人机飞行状况相连的电流应用感受，例如在我上一封邮件中提到的角度(例如倾斜)触觉指示器的变化。飞行员可以从无人机的视角，通过不同的角度来观看地表。电脑的推断可以将飞行员的视角转移到无人机外部，使飞行员可以看到无人机移动的位置和相对的地标事物。电脑或微处理器使用机载探测器传来的飞行状况数据来为飞行员产生触觉信号体验。触觉反馈提供给飞行员对于无人机方向和飞行状况的真实感受，如同飞行员就是无人机一样。例如，可以在娱乐中使用虚拟乘客来体验“兜风”。或者，在战争战斗情况下，具有自动特技飞行功能的无人机也可以利用远程飞行员来控制，以此来减轻飞行员对飞行控制的负担，使飞行员可以将更多的精力放在空中格斗操作。在地面机器人的示例中，自主机器人可以是远程操作人员的主动控制，可以集中注意力搜索失火建筑里的受害者。

图77为使用生理机能，来整合远程飞行机器的内部和环境条件，与用于控制飞行器的信息库的人机交换界面。除了无人机驾驶舱的视角(如果在真人操作的情况下)，一个人造观察无人机的视角也可以通过视觉提示系统显示(例如，虚拟现实护目镜)。数据来自摄像机38，加上机载的加速器，陀螺仪，GPS等的，以及所储存的无人机图像数据，都可以用于创造实时的无人机飞行视角来作为视觉感官提示。飞行员可以感受到无人机上的视觉图像犹如和无人机同时飞行一样(例如，无人机信息)。另外，无人机和其周边事物也可以从其他视觉角度展示给飞行员。相同的基础系统也可以用于例如，提供人/人虚拟交换界面和类似于人/机交换界面的人/器具(工具，器具等等)交换界面，前提条件是需要有另一个人或者物理器具(例如机器人手术)与使用者12进行交流。多源数据可以用于HHMI当中，包括机载的实时、过滤、分析、预录、电脑产生、接收、获得或创造的数据。例如，为了得到一个视频数据，球形视角摄像机38系统可以直接安装在远程控制的机器上来收集视频信息，如无人机。这些视频数据可以被储存和使用，例如，在游戏或者训练当中，或者也有可能用于无人机战斗任务或者机器人搜救操作的实时情况中。

根据这个非限定性的实施例，所采集的序列时间数据(例如，听觉，视觉和触觉信号)是从无人机传输到飞行员身上的，而飞行电流信号是由飞行员传给无人机的。

在飞行员的位置上，大部分的触觉感官提示都可以被飞行员正常接收。通过HHMI，触觉感官提示是以电脑控制的序列产生的电流形式被飞行员接收的。电流信号所造成的飞行员的感应是与触感有关的。这些接收到的触觉感官提示可以用作映射到身体中的电脑控制信号，使不同的身体部位接收到不同的感官刺激。例如飞行员的手部和手臂16可以作为人体示例的控制面，例如无人机的机翼。飞行员的脚部和腿部可以看做是人体示例的推进力部分，例如无人机的引擎。在这个示例中，飞行员一个或两个脚背弯曲可以被检测到并转化问为飞行电流信号，用来控制发动机速度(从而控制无人机的速度)。从无人机上接收到的发动机速度时间序列数据，可以转化为触觉感官提示，并且与判定地面相对速度的GPS视觉速度数据共同播放，使飞行员可以对无人机的发动机速度(例如，根据发动机不同的转速提供不同强度的震动感应)有一个直观的感受，也可以对无人机相对地面的速度得到视觉确认。根据此项发明中的人机交换界面，飞行员所接收到的多位感官提示之间是相互联系并同步产生的，用于指示远程无人机的飞行状况。

图77-80所示的是HHMI在控制无人机器，例如机器人或者无人机中的实施应用。图77为此项发明中的HHMI用于无人机的远程感应和控制。HHMI在人机交换界面中增加了新的特点。例如，HHMI使用了触觉感官反馈来产生相关的触觉提示，与远程机器人的内部/周围环境条件相关。HHMI还能够通过肌肉电流信号来检测操作人员身体部位的运动，以此来生成远程电流信号。这些新的特点都可以使操作人员感受到长时间后可能会形成问题的细微条件变化。当与其他虚拟现实技术共同使用时，HHMI最大可能的提供了远程真实体验和机器操作控制，操作人员如同在真实操作机器人一样，而不是在远程观察/控制。不论是机器人是实时，录像或虚拟的，不论是地面、水中、太空、大型、小型、微型、飞行中、或者其他移动或静止的机器，操作人员所感到，看到和听到的同步感官提示可以让他置于机器人当中。HHMI使用了使用者12的自然生理机能电流来与机器进行信息交换，近距离产生(例如使用者12)或者远程接收或者判定(例如机器人)信息，用于控制远程机器。

机器人系统的进步在很多领域都是快速和广泛的。除了在操纵杆和视频演示以外，还没有远程人机交换界面新的突破。这个行业一直致力于在机器人行业的快速跃进，虽然操纵杆/视频界面看起来已经产生了非常不错的效果。在未来，当前一代的人机交换界面与新一代的机器人和无人机系统进行功能匹配时，有可能会产生束缚和局限性。

电流信号通过皮肤应用于飞行员至少一个手臂16上，取决于飞行员手部和手臂16的预设位置。预设身体位置可以与感官参数相关，例如弯曲、旋转、倾斜、投掷、偏离、温度、振动和其他可检测的压力或者UVS上机械组件(机翼，机身，控制面等等)的状况条件。感官参数可以是操纵时机翼控制面所感受到的空气压力。感官参数由无人机(使用RF或者光学视线)发出，产生一个电脑控制的神经肌肉电刺激(NMES)提示(电流刺激)，造成飞行员在压力感觉下的自动反应，从而使身体位置和无人机控制面直接相关。移动手部的压力是由NMES提示引起的肌肉运动。飞行员感应到阻力或者压力是因为电脑控制的电流信号被应用到飞行员的感官/肌肉生理机能当中。除了压力和阻力，肉体的感官例如振动，敲击和甚至刮擦感，都可以在皮下控制的电流信号刺激下被感受到。肌肉的运动是非自主和无意识的。尽管可以，但是并没有使用机械外力进行刺激。例如说振动，可以通过电流信号或者机械振动器(振动装置)来实现，例如，触觉椅(如图69所示)或者HHMI袖套上具有一个或者多个电极14的传输器。在音乐和娱乐的示例中，例如，传输器可以在低音发出时产生振动，而在高音发出时，通过应用电流信号来产生轻微的刮擦声。例如低音节拍，可以在准确控制电流信号的情况下通过敲击感来被接收。

人类的手部对触觉刺激尤其的敏感。例如，移动手指关节的肌肉18位于手掌和前臂16。手指的肌肉又可以被细分为外部肌肉和内部肌肉18。外部肌肉18位长屈肌和伸肌。之所以称之为外部肌肉是因为腹肌位于前臂16。触觉感官的应用，例如触觉感官提示，可以应用于身体的各个部位，而此项发明中的加速学习系统则适用于大范围的应用，从远程控制操作到人机交换界面到教学娱乐再到康复治疗。通过标记敏感度来刺激身体部位(例如，指尖的敏感度非常高，触觉提示的应用可以根据学习或者娱乐增强效果来选择性使用。比如，手指和肌肉18控制着手指和与肌肉18交流的神经)可以接收到压力，振动，电流脉冲或者其他形式的刺激。

图78为一个可以操作无人机的HHMI服装，其中配有触觉，声音和视觉感应提示系统，身体位置和电流活动感应系统以及脑部活动感应系统。

应用在飞行员身上所产生的触觉感官提示，是根据从远程无人机上接收到的时间序列数据同步产生的。除了与触觉提示相关的序列数据，时间序列初级感应数据也可以从远程传输器上接收到。这里的时间序列初级感应数据，可以是从无人机的相关设备上采集到的视觉或听觉数据。大部分的初级感官提示都可以被飞行员正常接收。大部分的初级感官提示都是根据初级感应数据同步产生的。也就是说，例如，播放给飞行员的连续帧的视频是完全复制在一段时间内由无人机上摄像机38采集到的信息。大部分的初级感官提示都可以有效的刺激使用者12至少一处感官，包括视觉，听觉，嗅觉和味觉(在这个示例中刺激的是视觉)。触觉感官提示是根据大量的初级感官提示同步产生的。也就是说，由触觉感官提示代表的无人机感应到的飞行状况，与无人机上一个或多个摄像机38的视觉信息是同步的。时间序列数据或者与时间序列初级感应数据，会包含至少一项能被远程使用者12所感应到的条件。远程传输器可以是远程控制设备的一部分，例如无人机，机器人或者遥控汽车。当观看无人机的飞行操作时，例如倾斜转弯，飞行员可以直观的“感受”到无人机的受力。这样飞行员飞行控制的感官反馈，能够使飞行员对于无人机飞行有一个深刻和真实的感受。

为了虚拟或者增强现实的目的，飞行员可以通过佩戴具有头部追踪功能的设备，例如Oculus Rift来观看全景效果。当飞行员观看上、下、左、右四个方向时，飞行员头部的运动会被追踪下来，并且视觉景观会被转化为3D效果显示在虚拟现实的视频头部设备上。视野和摄像机38图像数据的焦距可以通过微处理器来控制，微处理器上运行的储存电脑程序指使飞行员可以体验到视觉提示，犹如在真实的无人机位置上一样(驾驶舱，尾部，机翼等等)。不仅如此，收集到的视频数据可以与电脑产生的图像合并，使飞行员可以从无人机外部的视角进行观测。例如，飞行员可以观看远程控制时的无人机，犹如在无人机旁边或后面飞行一样。

尽管这个非限定性实施例描述的是触觉感官提示与听觉或视觉感官提示的组合使用，但感官提示的的组合可以是任何可以被人类接收的感受，包括气味，味道，声音，视觉和触摸。

紧身衣形式的HHMI可以作为虚拟现实交换界面的一部分，这种方法可以使操作人员通过实时的头部和身体的移动来真实感应三维的视觉效果。高质量，双声道的音频通过降噪耳机来复制真实，实时的远程机器人声音环境。

HHMI可以安装为袖套、紧身裤、连身衣裤、工作服、夹克、裤子、帽子、手套或者其他可穿戴式电子设备。HHMI可以由多层材料组成，包括与使用者12皮肤接触的电极14，绝缘层，线层以及袖套保护层。这些不同的材料层，特别是外部保护层，例如轻薄，多向拉伸纤维。纤维可以是绝缘的，并且包含导电的线，片，图层或者油墨，用于导通检测到的应用电流信号。为了解释电极的尺寸和位置的概念，在一些图中的电极14是放置在袖套的外部的。在一项实施例中，一个由不透明莱卡材料制成的袖套，内部附有弹性导电纤维电极14，并且与使用者12的手臂16上的皮肤进行直接的电流接触。外部的纤维覆盖面或者其他材料层有效的促使了电极14与手臂16皮肤之间的直接电流接触。除此之外，带子，松紧带，粘扣或者其他材料都可以用于辅助电极14与使用者皮肤之间的直接接触。柔性和导电纤维，例如铜/聚酯纤维可以用于制作高导电，轻薄和柔性的导电片。这些必要的保护层会分离导电路径和电流系统，有可能会减弱来自或者发送至HHMI的信号。

图78为服装形式的HHMI，它可以作为虚拟现实交换界面的一部分，这种方法可以使操作人员通过实时的头部和身体的移动来真实感应三维的视觉效果。高质量，双声道的音频通过降噪耳机来复制真实，实时的远程机器人声音环境。

例如，触觉提示造成使用者对风的反应，例如在进行突发动作，或者在机械部件和控制面受到不均衡受力时，如在急速转弯的情况下相应使用的压力或者阻力。

因此，机器的受力感应被检测和传输，之后被转化为相应的电流信号。操作人员的身体接收器例如痛觉感受器、机械感受器、温度感受器、本体感受器和化学感受器，它们接收电脑控制的触觉提示，所应用的电流刺激可以复制自然感受，并通过皮肤，肌肉和骨骼被人体接收。

在教学场景的一个示例中，作为感官提示应用于使用者12的NMES，取决于演示者身体位置的变化，演示者的身体位置与演示时间中演示个体的演示因素有关。在一个更具体的示例中，例如正常控制或者无人控制飞行器的模拟飞行训练，一个或多个由电脑控制来刺激使用者12(例如飞行学员)感觉器官的感官提示，可以有效的刺激使用者12的多个脑部处理中心，使使用者12可以根据演示者相应的姿势学习如何放置身体的各个部位。应用于使用者12的感官提示取决于演示者至少一处身体部位，这些部位与演示事件中演示个体的演示因素有关。例如，除了触觉提示，听觉和视觉感官提示也可以被同步应用于使用者12的感官。感官提示可以有效的刺激使用者12不同的脑部处理中心，令使用者12可以根据指导者或者演示事件中(例如驾驶真实的飞机或者无人机)演示者(例如真实飞行员)相应的姿势，快速学习并完成指定身体部位(例如放在操纵杆的手)姿势。

对于飞机飞行安全最重要的事情就是确保飞行员时刻准确的了解飞机的方位。这个问题不仅对于正常驾驶的飞机飞行，特别是在飞行规则的限制下，并且对于无人飞机的操作也是十分重要的。在有人驾驶的情况下，即时是在有驾驶舱地平线辅助的情况下，飞行员也有可能分不清方向，他们经常会忽略驾驶舱的辅助而相信自己的身体和本体感受。

在无人的飞行驾驶中，因为飞行员缺少本体的输入信息，所以必须通过其他方法来接收所有关于飞行方位的信息。一般来说，这些可以通过地面控制中心接收的视觉和听觉辅助，其中任何一项的过渡使用，都会对飞行员的判断造成影响。

触觉反馈为飞行员判断飞行的真实情况提供了另一种方法，但是以往的经验是触觉交换界面都不能被很好的应用。如果可以将触觉刺激改进，使之和缓，准确的将“压力”刺激点应用到移动状态下(用来增强倒立或者倾斜的感觉)飞行员的身体中，那么对于提高飞行方位的准确性可以提供一个有效的提示机制。除此之外，多种其他的提示也可能通过类似的界面进行传输。

图79为HHMI的应用，通过对大面积肌肉群18进行电流刺激，向空中飞行器或无人机提供触觉提示。如文中所述，HHMI提供了一个具有触觉反馈的产品平台，这个平台可以整合在现在和将来的机器系统中。通过应用电流刺激(触觉提示)到飞行员的身上(例如，警告飞行员无人机正处于非正常的倾斜状况或者正在接近障碍物)，远程UAV传感器上的数据可以指示远程飞行的状况。无人机的感应器被映射在操作人员身上，使大部分背部，肩部和胯部的肌肉群18可以作为无人机飞行操作人员的指示器。类似的系统也可以供飞机飞行员、长途运输车司机和其他任何可以通过HHMI重要信息传输受益的人员使用。例如，飞行员可能在没有接收到提示的情况下，注意到使他偏离方向的细微的倾斜。长途运输司机在驾驶中睡着时可以被提示叫醒。

HHMI对于远程现实的实现也提供了可能，远程现实可以装配于现有和未来的产品中，不仅仅是无人飞行系统，机器人系统和本文中提及的其他各类应用。本文中提到的组成部分、结构、电路、设备、电脑程序、思路和算法以及相关的实施例都可以为HHMI提供适当的其他用法，有些内容在本文中已作出描述，其他内容会在HHMI具体特点实施中作出详细描述。

如图所示，此项发明中的人机交换界面包含了一个可以增强使用者12(例如飞行员，学生，运动爱好者，病人等等)体验感受的虚拟现实视觉系统，将实时的头部和身体运动转换为三维的可接收视觉图像。无人机上的摄像机系统通过摄像机38的不同角度来产生无缝的(在软件处理之后)视频影像。例如，如果飞行员坐在图69的椅子上，虚拟视觉影像会让飞行员觉得自己是坐在一个玻璃椅子上飞行，而不是在无人机上。

ALS的音频系统可以通过降噪耳机提供高音质，双声道的音频，用于复制远程UVS周围环境的真实，实时的声音，或者根据使用者12的主观情绪和性格提供白色噪音，舒缓或激进的音乐。此项发明中的人机交换界面主要是将飞行员从使之分散注意力的环境中隔离，但是隔离的程度可以在安全条件的控制下自由调整。电极14除了可以应用于皮肤表面以外，还可以通过刺穿皮肤的方式应用或检测电流信号。然而，刺穿皮肤对于人机交换界面的应用来说并不是必须的，因此可以使用非侵入式的凝胶电极14，碳纤维14等等。

除了在无人机飞行时提供全方位的视觉和听觉刺激，自动和其他触觉提示的应用使飞行员在感官上，深刻的“感受”到远程UVS的飞行状况。根据此项发明中人机交换界面所产生的UVS实施情况的远程体验感受，飞行员不会感觉到他们在驾驶UVS，在某种程度上讲，飞行员已经变成了UVS。

触觉服装形式的HHMI可以用于治疗自闭症，在特殊校准，移动和便捷的系统中，通过应用轻度压力感应来提供治疗效果。

图80为多个配有近距离传感器的无人机，用来探测其他无人机，地面以及其他潜在的撞击障碍物。这样VR形式的HHMI可以使世界各地的飞行员对无人机进行有效操作，并可以同时体验到并列飞行。飞行员可以通过具有头部追踪功能的VR眼镜和双声道音频感受到飞行时队友的位置，以此实现全方位的感受体验。诸如此类的系统也可以用于远程地区的搜索和救援，甚至用于偏远地区的志愿者服务工作。

在规定的路线中，无人机可以自动飞行并进行商务包裹的运输。之后，“挑选”一个能全完整操作飞行的VR飞行员，使包裹能够经过航向安全送达到客人的门口。人类只需要在需要的情况在进行无人机的驾驶，当多种紧急情况同时发生时，VR形式的HHMI的灵活性会具有极大的帮助。

近距离传感器所产生的数据可以使无人机进行编队飞行，例如，将包裹从仓库运输到指定街区。编队飞行可以通过操作人员对编队进行飞行的控制来实现，那么在正常飞行中，飞行员不需要花时间对每个无人机进行操作。无人机可以保持安全的飞行编队，是因为每架无人机都清楚近距离的信息细节并能做出相应的反应，就像鸟群或者鱼群可以进行看似不可能的同步独立行为。当接近目的地时，每一个无人机都能在人为的控制或监控下将包裹运送到指定地点。包裹送达后，无人机将再次编队出发并在远程信号操作人员的控制下安全的回到仓库中。

近距离信号也可以用于军事，游戏或者娱乐效果的无人机空中战斗操作。除了以近距离信号为触觉提示以外，其他的触觉提示也可以造成飞行员体验到突然运动所导致的强风，或者机械设备或控制面上不平衡压力，例如在突然的倾斜转弯操作时，相应的应用不同的压力和阻力。甚至当无人机的表面遇到阳光的照射而产生气温差别时，飞行员的背部也会相应的感受到温暖的感觉。虽然现在还不清楚在特定的环境条件下，什么程度的感受体验和细微差别才是最优的组合，但是此项发明中的人机交换界面的设计是意在产生高质分辨率的全身感受提示，这些提示是由多个电脑产生，增强并且实时同步应用的。

因此，例如无人机受力的感受，可以被检测，传输，然后转化成为相应的电流信号。飞行员身体的感应接收器例如伤害感受器、机械感受器和温度感受器、以及本体感受器和化学感受器，都可以用来接收由电脑控制的触觉提示所应用的电流刺激，来复制通过人体的皮肤，肌肉18和骨骼所接收到的自然感应。人体的神经系统操纵着电流脉冲，因此任何神经，神经末梢，肌肉或者接收器都会对电流刺激有反应。根据主观意识和肌肉运动，位置、时间、波长、频率等信号特点以及电流刺激的振幅都可以在电脑的控制下进行应用，用于向飞行员指示无人机内部和周边环境状况。

根据应用的NMES提示，飞行员体验到压力触觉提示，飞行员会感觉与阻力做反方向运动，或者感觉在外力的作用下移动到机翼控制面的相关位置，又或者感觉到在外力作用下(例如由于强风所造成的冲击)所发生的振动。

此项发明中的人机交换界面具有高级的多位传感系统，利用飞行员的生理机能来整合远程飞行的无人机内部和周边环境的信息，飞行员可以用整合后的信息库来控制无人机的飞行。

根据本文中的介绍和表述，此项发明中的HHMI添加了新的人机交换模式。触觉感官反馈用于提供与远程机器人内部和外部环境相关的触觉提示。并且，使用相同的基础结构，从肌肉电流信号中检测操作人员的身体活动，可以用来产生远程的电流信号。HHMI，当与适合的虚拟现实产品以及专用的硬件和软件组合时可以实现全身体验，使操作人员的大脑利用接收到的触觉，视觉和听觉提示来形成新形势的机器远程操作和远程呈现。

远程手术

HHMI可以用于向外科手术的机器人手术演示系统触觉反馈。图82为HHMI应用于机器人手术的布局结构。例如，在远程的外科手术中，机器人手术台可以用手术刀来切开病人的皮肤。在远程外科医生的控制下，机器人手术台可以进行手术操作。然而，使用传统的远程外科手术系统，外科医生只能在二维的视频屏幕上观看皮肤切割的过程，在切割皮肤的过程中，医生通常只能接受到一点或者接受不到任何机械力的相关反馈。外科医生感受不到在手术刀切割皮肤时所产生的阻力，以及在皮肤切开后一瞬间发生的阻力变化。这样有可能导致切口过深，特别是在需要精确手术操作的皮肤修复手术中，例如整形手术或者从神经，血管或者其他身体高敏感区域移除肿瘤。在使用HHMI所产生的触觉反馈和VR/AR远程现实体验中，皮肤修复只是从中受益的一项示例操作。

根据此项发明的这项内容，远程外科手术可以通过具有头部追踪功能的3D眼镜来观看手术操作，听到手术室内部的声音，以及感受到手术期间的机械力。

根据此项发明的这项内容，机器人外科手术操作中的力可以被检测到，例如在手术刀开始接触皮肤时的阻力，然后阻力随着皮肤被慢慢切开后逐渐减少直到最后完全消失。传输信号是根据检测到的力而产生的。这个示例中，检测到的力可以是手术刀与肌肉阻力对抗时的压力，也可以是在皮肤被切开后根据变化的阻力所产生的压力，而在非远程外科手术过程中，当手术刀的顶端接触到病人皮肤的瞬间，外科医生可以直接接收到压力触觉反馈。传输信号是通过操作设备与演示机器人外科手术过程的使用者12之间的物理通信来产生的。例如，操作设备可以是一个远程控制的持有手术刀的机器手臂。远程外科医生可以手持一个与手术刀重量和形状一致的触笔。触笔可以与具有粘度变化的材料相接处(例如电流变液)，在进行物理结构接触时，可以抵抗当手术刀顶端接触到皮肤的阻力。或者，在手术刀进行真实切割时，根据接收到的传输信号，触觉提示可以应用到远程外科医生身上。使用具有粘度变化的物理结构与HHMI触觉提示(例如，非自主性运动和肉体/动觉感受)应用向结合，可以给外科医生提供非常有价值的反馈，使远程的外科手术操作可以更安全和有效的进行。

拟真运动事件的观察和参与

如图75所示，两位在不同地理位置的运动员可以预想一个虚拟的运动事件，并且可以通过本文中提到的HHMI，AR和VR系统，如图83-85所示，利用远程现实来观察和参与运动项目。图83为橄榄球运动员穿的护肩，里面配备了具有数据感应功能的运动装置。图84为橄榄球运动员带的头盔，里面配备了具有数据感应功能的运动装置。运动员所带的护肩，头盔和其他部件，包括由HHMI组成的上衣或贴身衣，可以提供在比赛中检测到的数据。检测数据是从运动员的视觉角度采集的。图85为球场上运动员身上的感应数据，这些数据可以用作感官提示，使橄榄球迷获得虚拟体验的乐趣。感官(触觉)数据是通过加速器，压力和其他植入肩垫，设备和服装中的传输设备检测到的，随同由头盔所采集到的听觉和视觉数据，一并传输给佩戴有HHMI和VR/AR设备的远程球迷。

例如，球场上根据对方阻截队员的位置，带球队员的位置和控球力度可以被映射到球迷所穿的HHMI上，并且会感受到相应的肉体或者动觉感受。类似的，这些力量数据也可以映射到触觉椅上，球迷可以在观看比赛时，从带球队员的角度来观看并体验外部振动和压力。HHMI也可以安装于球迷所穿的球衫中。如果有多个球员佩戴有数据监测设备，例如视频，音频和触觉传输设备，那么球迷可以在比赛期间通过切换不同球员的视角来进行体验。

根据球场上从球员身上检测到的触觉和听觉数据，触觉椅所提供的听觉和触觉感官提示可以是双声道声音，振动和电流信号等等。触觉椅所提供的听觉和触觉感官提示可以对球场上球员的数据做出反馈，使球迷体验到的触觉感应，可以与球场上球员(使用植入的摄像机38和麦克风36，例如，球员佩戴的头盔)视角的3D头部追踪影像和双声道声音相同步。图86为配有数据感应设备的，供棒球运动员使用的头盔、手套、棒球和球棒。与前面提到的示例类似，触觉，视觉和听觉数据可以由手、头盔、球拍、球等物品上的传感器检测到，并传输给球迷以达到虚拟浸没的效果。触觉人机交换界面(HHMI)可以用于减轻由于帕金森疾病(PD)所导致的运动系统的功能减退。HHMI袖套提供了PD震颤中，肢体摆动活动中肌肉和神经的经皮电流活动检测，为了对抗检测到的震颤，HHMI袖套应用电流信号来造成非自主性运动单位脉冲，可以对抗非理想震颤。这种方法的优势是按需，即时和自动缓解，而不是经过药物和手术。

运动障碍的治疗

对于震颤药理性的治疗可能造成非理想的副作用。例如，左旋多巴是一种控制PD综合征的潜在药物。然而，自使用以来，左旋多巴经常会造成运动并发症，例如运动波动和运动障碍，对于病人，特别是年轻的病人来说，服用高剂量的左旋多巴是一个很艰难的决定。对于治疗震颤，尽管深入的脑部刺激疗法已经被证实是比药理性治疗更有效的方法，但是高度侵入的手术治疗过程也会具有极高的风险。

一个健康人的生理性震颤标准是频率介于8-12赫兹之间的低频体位性震颤。一个健康人在静止状态下发生生理性震颤是正常的，低频震颤的发生是由于机械四肢性质和有氧运动。规律性的程度是由四肢加速信号中(测量的移动数据)的近似熵来测量，并且肢体加速度和肌肉的输出力量(测量EMG数据)的一致性，对于定义生理和病理性震颤的特性具有极大的帮助。EMG的测量在震颤中可以作为运动单位同步的有效参考。已有研究表明，即使在变动负荷下受震颤影响下的四肢，在不考虑机械共振频率的条件下，由EMG测量出的主导PD震颤率显示出持续性的特征，并在EMG图谱中以峰值显示。

通过EMG和运功传感器，HHMI利用这种方法来诊断震颤肌肉收缩并应用于不同病人的生理机能，通过分析和检测病人前臂不同肌肉中若干电极的位置，可以自动检测到主导震颤肌肉。PD震颤可以分为静止性震颤和体位性震颤，体位性震颤在振幅，规律性和EMG一致性上增加了10赫兹。PD静止性震颤的模态频率是介于3到5赫兹之间，而体位性震颤频率是介于4到12赫兹之间。除了判定主导震颤肌肉，HHMI也可以分析EMG和运动数据，并且对所应用的缓解信号进行调整，使变化中的震颤频率和强度可以自动进行调节。

HHMI可以同传统的治疗方法同时使用，可以降低传统的用于治疗震颤的药量和药性，也可以消除或者至少延缓侵入性脑部手术的需要。

经皮电流神经刺激对于减轻疼痛的使用已经通过了FDA的检测，最近也曾用于偏头痛的治疗。根据一项示例，HHMI的检测部分使用了EMG系统，例如DelSys Trigno无线传感系统和采集与分析软件。检测到的EMG与运动数据的电脑分析是根据软件的输出内容，或者Trigno基站的虚拟输出内容完成的，之后会与在Arduino YUN微处理器上运行的HHMI专用软件进行整合。

对于信号的产生和应用，如图34-42所示的HHMI多位电路，在与微处理器的共同作用下产生出了一组可选择电极。多位电路对于应用信号的波形增加了可调节功能，为电路的反复使用提供了多样性，例如，脉冲调制、正/负极矩阵电极选择、AC、DC脉冲，以及高速晶体管转换。微处理器控制着多位电路的信号转换，使每一个独立寻址电极可以应用不同的TENS信号(或者无信号)。EMG检测电极也是通过多位电路的独立寻址电极。例如，通过高速转换多位电路，可以产生很高的样本和信号应用率，使大量的独立寻址电极可以选择性的检测和应用信号。

例如类型、号码、尺寸和形状等电极参数是会发生变化的。所检测和应用的信号的范围、时间、和样本率等等可以进行半自动和自动化调整，通过使用一个屏幕上的图像界面，来调整数字控制的电路元件和产生的信号特点。

设计的灵活性可以包括无线蓝牙连接的使用，在必要或者有需要的情况下，使无负荷的实时信号分析，在具有本地或云存储的条件下，变成一个更强大的桌面或者网络电脑。一个有效的芯片检测系统可以由例如神念科技公司(加州圣何塞)和他们公司的BMD101生物传感芯片安装完成。芯片传感器可以增强本地微弱信号，使其可以接近信号源，通过芯片模拟前端来使微弱信号可以更轻松的处理讯噪比。芯片中植入的数字处理器可以完成一些数字运算，以减轻微处理器的负担。

干燥电极，如图47-54中所示，可以用于检测和应用电流信号。相对于凝胶电极，干燥电极更方面，舒适，持久性也更长，因此更适用于可穿戴的电子设备中。干燥电极可以由同心分离的信号检测器/信号应用器构成，通过在传统的凝胶电极表面放置微型导电珠来形成混合干燥/凝胶电极。另一种电极的组合形式是橡胶绒毛结构，可以使用柔软的镀有银/氯化银的聚合绒毛。绒毛可以是轻薄柔软，在与平滑的皮肤表面直接接触时，最大限度的增加皮肤与绒毛之间的电流通信。作为HHMI袖套的一部分，有间距的绒毛结构可以增进皮肤表面的气流活动。银/氯化银电流接触可以增加用于EMG检测和TENS信号应用的离子传导功能。例如，如果想令绒毛导电，可以在其表面镀一层导电油墨，银首先被电镀在导电油墨上，然后利用氯化钾或者类似的盐类物质进行阳极处理，以此来形成银表面的氯化银层。

干燥电极与凝胶电极相比具有更高的接触阻抗性。例如，由于一个可用于经皮检测的EMG信号较弱，在电极(信号接收处)和第一次信号放大之间，可以使用短距离的或者法拉第笼形式的导电屏蔽。如果有过多的杂音或干扰介入，用于放大EMG信号，并使其接近数据源(皮肤表面)的活性电极元素将会被直接应用于干燥电极板中。对于干燥电极接触质量的实时阻抗监控，可以增强电极以及检测和应用信号中导电路径的按需调整能力。如果从干燥电极中检测到的信号含有过多的噪声或者杂音，并且不能被实时分析所应用，HHMI的软件和硬件可以利用已知的要素和技巧来获取震颤EMG信号检测，缓解信号检测和TENS信号应用之间的低延时。

运动障碍是慢性的，通常是伴有疼痛的，并且是削减控制运动能力的。患有运动障碍后很难-甚至不可能-完成生活中的日常。超过4千万美国人–接近七分之一的人口–正在遭受运动障碍的影响，其中包括震颤，帕金森疾病，图雷特综合征，肌张力障碍和痉挛。图87和88中所示的核心稳定的陀螺仪，与HHMI组合使用所制成的可穿戴电子设备，可以用于治疗平衡和步伐障碍症。在视觉，前庭系统和体觉系统的协同作用下，才能保持一个健康躯体的姿势和平衡。视觉主要用于轨迹规划和规避障碍。前庭系统可以感知到线性和角度加速度，而体觉系统中的多数感官是用于判断身体部位的位置，接触和定位的。

HHMI可以与增强现实(AR)和虚拟现实(VR)视觉和听觉系统共同使用的，以可穿戴电子设备的形式来进行认知治疗。利用云存储的优势以及人工智能(与网络连接的HHMI可以上传匿名并加密的成千上万的潜在病人的医疗数据)的大数据分析，HHMI也可以用于疾病趋势的探索和诊断。HHMI与近几年成熟的增强和虚拟现实系统的共同使用，提供了电脑控制的感官提示(触觉，听觉和视觉)应用，通过同时应用同步后的感官提示来“重新校准”或者“重新连接”脑部和神经系统。认知治疗可以利用神经的可塑性来重建受损的处理能力，受损处也是造成运动障碍身体综合征的原因。越来越多的证据表明学习一种新的技能，例如弹钢琴，是康复治疗最有效的方法。乐器的练习和演奏可以使肌肉运动与特殊的声音和视觉形式(音符)产生关联，并同时可以接收到连续性的多位反馈。当多通道整合区域(例如，大脑顶叶的顶内沟区域)被激活时，声音和肌肉区域(例如，大脑额叶的弓状束)之间的联系就会增强。虚拟认知体验可以由同步刺激的感官提示产生，这些提示会刺激脑部的触觉，听觉和视觉的处理中心。视觉感官提示的体验可以通过VR/AR头部装置被应用对象接收。音频感官提示会通过高质量的双声道耳机被接收。触觉感官提示则通过HHMI装置来应用。

虽然实施例可以适用于全部或者部分电脑产生的感官提示(与视频游戏相似)，但被记录的或者实时的感官信息可以从演示者身上直接获得，例如钢琴家与物理对象钢琴之间的交流。在这个例子中，HHMI和其他的硬件/软件部分可以用于检测钢琴家手部和手指的位置。头盔式视频摄像机，例如尼康Keymission 360，可以从钢琴家的视角记录钢琴的演奏过程，并且高质量的音频也会通过Freespace双声道麦克风被记录下来。利用EMG和HHMI的运动检测能力，以及可用的认知软件和硬件(例如Leap Motion)的共同使用，也可以获得了触觉，听觉和视觉感官信息。在这个示例中，现实中钢琴家的真实运动是用于决定感官提示的，这些提示会用于钢琴的教学当中。认知治疗过程可以是远程的或者在乐器旁完成。HHMI可以用于认知治疗，病人可以坐在钢琴前面，或者坐在舒适的椅子上。不论在哪种情况中，触觉，听觉和视觉提示的组合都会用于推进学习乐器的能力，并以此来重建受损的神经通信连接。

如图87和88所示，HHMI可以安装于一个陀螺仪坎肩上，当中含有一个与身穿坎肩的人的胸部连接的核心稳定陀螺仪。一篇文献中的探讨中解释说在保持平衡下健康个体的摇摆可以应用为倒立摆的模型。HHMI使用检测到的EMG信号来保持倒立摆动(例如平衡控制肌肉)，信号与被激活的肌肉群有相关的反应，在某种程度上(取决于旋转的质量和回旋速度)，躯干中心的摇摆会从陀螺仪中接收到相应的惯性阻力。HHMI检测到四肢，平衡控制肌肉以及躯干中心的EMG,运动和惯性数据。使用图87和88中所示的HHMI全身服装，通过可心稳定的陀螺仪坎肩，可以判定和无意识的激活测试对象的平衡控制肌肉(BCMs)。HHMI也可以在其他使用者中应用，用于认知治疗，加速学习，脑部/脊髓的康复，平衡修复和震颤缓解。

HHMI可以安装于一个介于人类操作人员和远程机器设备之间的界面中，通过穿戴HHMI应用对象的惯性变化可以检测出运动障碍姿势(MDM)。肌电图扫描可以检测到导致MDM的肌肉。检测到的信息在进行数据分析后会判定MDM对抗型肌肉和减轻MDM的信号。MDM缓解信号是用于刺激MDM对抗型肌肉。检测的目的是找出收受MDM影响的肌肉/神经运动单元，以及通过具有缓解功能的作用机制来造成MDM对抗型肌肉的收缩，以此来抑制MDM。

远程控制和感应

无人驾驶系统的技术进步对于很多应用来说都是迅捷和广泛的。在操纵杆和视频演示以外，还没有远程人机交换界面新的突破。虽然操纵杆/视频界面看起来已经产生了非常不错的效果，但这个行业一直致力于在机器人行业的快速跃进。在未来，当前一代的人机交换界面与新一代的机器人和无人机的系统进行功能匹配时，有可能会产生束缚和局限性。

触觉界面使用接触和运动来使人和电脑进行交流。信息交换可以通过身体的感受，也就是人体接收到电脑控制的触觉感官提示作为输入信息；以及运动的检测，也就是电脑接收到的人体运动作为输入信息。

UVS操作人员和他们所控制的UVS通常都不处在同一位置。这种远程性造成了很多人为因素问题。UAV的操作人员发现了很多交换界面的问题，例如物理结构的位置(距离太远)，不必要的复杂重复处理过程，以及显示数据很难读取等。

回顾过往的UVS技术，飞行显示设计的核心原理是来自于对于心理信息处理的理解。警报是人机交换界面中另一方面的内容，并且应当认真对待。警报的易读性是非常重要的。当有紧急情况发生时，视觉，听觉或者其他类型的警报信号必须要向操作人员提供，但是理想状态是对工作流程的干扰减小到最低。

很多传感信息已经可以提供给远程操作人员来传达无人驾驶飞机的状况。机载感应器和摄像机可以提供实时的视觉、动觉、前庭和听觉信息。多数的这些信息都是在远程操作人员的监控下，通过工具和设备传输的。即便使用最好的显示技术和图形用户界面，UVS的状态和环境也是很难掌握的。

利用传统的交换界面，远程操纵人员没有足够的多位传感提示，例如在有人驾驶的飞机中，没有足够的传感提示能够真正传达如方位、速度、冲撞和振动所产生的变化。在有人驾驶的飞机中所能提供的动觉提示，并不能提供给远程操作人员，并使其感受到周围环境的运动和引力作用。例如，UAV上的操作人员在特定情况发生时必须依赖视觉或听觉的警报提示，而有人驾驶飞机的飞行员则可以通过非视觉/听觉运动和触觉感应来检测到紧急情况。当遇到疾风而需要紧急倾斜转弯时，飞行员可以通过本体感受，以及肌肉骨骼系统和运动阻力相对于身体位置的内部感受进行体验。对于远程的操作人员来说，缺乏足够的感官提示可能会造成检测和诊断问题的失败，这两点对飞机安全的有效控制是至关重要的，并且还有可能增加任务的危险性。

多源理论指的是从不同的重要资源中提取不同的感官模式。长期以来，多位感官提示一直被建议提供给远程操作人员使用。并且，多位传感界面可以降低在特殊感官模式下对操作人员造成的过载，例如，视觉，可能对信息应接不暇。

四十年前，史蒂芬曼教授，被人们称作可穿戴计算机之父，预见到了一个电脑/人交换界面的新方法，他觉得交换设备一直都在那里随时供大家使用，因为它可以像衣服一样被穿起来。这一想法开启了一项被曼教授称之为人文智能的革新，视觉和声音感官提示创造了一个“知觉现实媒介”。这个中间的知觉系统可以包括由故意诱导所产生的共同感觉，对于一处感官或者认知路径的刺激，可以导致另一处感官和认知路径无意识，非自主性的感觉。

人文智能的理论认为穿戴个体与电脑及其相关的输入输出设备之间不是独立存在的，而是将电脑视为第二大脑，电脑的感应形式视为额外的感官，这种人造的共同感觉将会与穿戴个体的感受相合并。在这个背景下，可穿戴式计算机被定义为“第六感”。现在，由于摩尔定律的大部分应用和电子设备越来越微型化，以及其他科学技术，例如小巧，轻便，高分辨的显示，曼博士数十年来对人文智能和可穿戴式计算机的设想将像手机一样被普遍使用。

可以确信多位人机交换界面将会给所有远程无人控制系统的使用提供极大的推动作用。

提供深入浸没的人机交换界面技术已经存在，并且在不久的将来，在人造但非常敏感的真实感应中，操作人员将会“变成”无人控制交通工具。

HHMI将人文智能的“第六感”带到了无人驾驶系统的最前端，并将可穿戴式计算机，拟真触觉交换界面和增强/虚拟现实融合到了一起。

一直以来对可穿戴式电脑系统有一些设想，利用身体里的生物传感器作为一个多维的特征向量，用于划分重要和不重要的内容。在本文中所描述的HHMI/AR/VR系统的内容中，感应到的EMG和运动数据是作为微处理器的输入信息来提供的。当将与机载UV状况相关的音频，视频和触觉信息提供给操作人员时，数据进过分析后可以被用于远程UV的控制。

HHMI可以与增强现实(AR)和虚拟现实(VR)视觉和听觉系统共同使用，来产生一个能控制无人操作系统的可穿戴式电子设备。HHMI所提供的肌肉和神经的经皮电流活动检测，目的是使远程控制操作人员可以完成主观控制运动。为了对检测到的控制运动做出相应反应，控制信号被传输到远程无人控制的交通工具中。从无人交通工具传来的感官信息会按顺序被HHMI接收并作为电流信号应用，通过造成非自主性运动单元脉冲并刺激皮肤和本体感受，来对抗随时可能发生的非理想震颤。

HHMI创造的由电脑控制的人造感觉或知觉，在潜意识水平下复制了真实本体感受。这种人造的知觉通过增强和虚拟现实画面得以确认，通过产生极度强烈的浸没感来体验变化后的现实效果。本体感受通常是通过肌肉中感觉神经终端和身体中前庭结构中的输入信息获得的。HHMI通过刺激神经和肌肉来产生触觉感官体验，与远程外部环境和UV的感受状况是直接相关的。在一个增强现实的头部设备中，HHMI最大化的进行信息布局和优先处理，而这些数据信息在使用者的真实视角中(可以与真实世界进行交流，特别是在短距离的不安全状况下，提高访问速度，例如战场上的第一反应者)是叠加出现的。HHMI还可以与虚拟现实头部装置共同使用来创造完全浸没感，由电脑控制的互动可以放置在任何位置。利用HHMI双声道的特点，在虚拟空间的某一方向，声音可以用于集中飞行员的视觉注意力。HHMI的触觉和生物感应特点，可以使预设和本能运动来决定操作人员的远程控制意图，并且可以应用非自主性运动和感受刺激来向操作人员传输实时的飞行状态。

HHMI为人机交换界面增添了新的内容。HHMI利用触觉感官反馈创造了与远程UV内部/周围环境相关的触觉提示，从肌肉电流信号中检测到的操作人员的身体活动，可以直接产生远程控制信号。这些新的特点都可以警示操作人员长时间以后，可能会形成问题的细微条件变化。当与增强现实和虚拟现实技术合并使用时，HHMI使UV操作的体验的控制成为可能，操作人员如同是UV本身，而不是远程观察者/控制着。操作人员感到，看到和听到的同步感官提示将使他们变成UV的一部分。

增强现实和虚拟现实的头部设备，以及双声道耳机，可以配对与HHMI使用，来完成不同程度的改变现实的浸没效果，以及远程无人控制系统的操控，以此来创造一个有如飞行员身处远程控制系统设备中的感觉。事实上，改变现实效果可以在飞行员体验远程交通工具控制时完成，就像他处在交通工具之中的感受一样。飞机安全飞行的一个关键是确保飞行员可以时刻保持对飞机方位的确认。这个问题不仅对普通驾驶的飞机，特别是在仪表飞行规则的条件下，并且,对无人驾驶操作也是十分重要的。在有人驾驶的情况下，即时是在有驾驶舱地平线辅助的情况下，飞行员也有可能分不清方向，他们经常会忽略驾驶舱的辅助而相信自己身体和本体的感受。在无人的飞行驾驶中，因为飞行员缺少本体的输入信息，所以必须通过其他方法来接收所有关于飞行方位的信息。一般来说，这些通过地面控制中心的视觉和听觉辅助，其中任何一项–如果过渡使用-都会对飞行员的判断造成影响。

触觉反馈为飞行员判断飞行的真实情况提供了另一种方法，但是以往的经验是触觉交换界面都不能被很好的应用。如果可以将触觉刺激改进，使之和缓，准确的将“压力”刺激点应用到移动位置下(用来增强倒立或者倾斜的感觉)飞行员的身体中，那么对于提高飞行方位的准确性可以提供一个有效的提示机制。除此之外，多种其他的提示也可能通过类似的界面进行传输。

HHMI与近几年成熟的增强和虚拟现实系统的共同使用，提供了电脑控制的感官提示(触觉，听觉和视觉)应用，通过同时应用同步后的感官提示来“重新校准”或者“重新连接”脑部和神经系统。例如，HHMI可以与Oculus Rift虚拟现实头部设备或者Meta增强现实头部设备配对使用。

在教学模式中，HHMI VR/AR装置利用脑部的神经可塑性来建立肌肉和记忆方式，这对于进行远程控制的顶尖飞行员来说是“最好的练习”。HHMI VR/AR装置也可用于加速学习系统中，可以从顶尖飞行员的视角来进行对初级飞行员的教学。在飞行刺激模式中，在接收到连续性的多位反馈时，根据对无人交通工具的控制，HHMI可以用于增强运动、声音与视觉形式的关联性。当多通道整合区域(例如，大脑顶叶的顶内沟区域)被激活时，声音和肌肉区域(例如，大脑额叶的弓状束)之间的联系会增强。在这个模式中，HHMI是一个开发可穿戴式电子设备功能的工具，利用最先进的虚拟现实技术来创造极致的模拟飞行。

在模拟飞行模式中，HHMI与VR/AR创造了一个虚拟认知体验，当中同步应用的感官提示可以刺激应用对象脑部的触觉，听觉和视觉处理中心。应用对象会通过VR/AR头部设备看到视觉感官提示。音频感官提示将会通过高质量的双声道耳机传输。触觉感官提示则通过HHMI装置来应用。

虽然模拟飞行模式可以适用于全部或者部分电脑产生的感官提示(与视频游戏相似)，但被记录的或者实时的感官信息，可以在具有细微差别的真实飞行的演示者身上直接获得，例如专业的远程控制操作人员。在这个例子中，HHMI和其他硬件/软件部分是用于检测，例如，专业飞行员在无人驾驶系统中，控制界面上手部与手指的位置。

HHMI可以与人造的实时UAV视角共同显示在视觉提示系统中，例如增强或虚拟现实头部设备。从机载摄像机和机载加速器，GPS等设备上传出的数据，以及UVS所储存的图像数据，都可以用于创造人造UV飞行中的视角，并以视觉感官提示的形式被飞行员接收。UV及其周围的环境信息可以从不同的视角显示给飞行员。

由于触碰，由HHMI应用的电流信号引起了飞行员的感知活动。这些接收到的触觉感官提示可以用作电脑控制的电流信号，并将信号映射到飞行员的全身，使身体的不同位置接收到不同的感官刺激。例如，飞行员的手部和手臂可以看作为人体示例的控制面，就像无人机的机翼。脚部和腿部可以看做为人体示例的推进部分，如无人机的引擎。在这个示例中，飞行员单脚或双脚的活动可以被检测到，并且可以被转化为飞行控制信号来控制发动机的速度(以此来控制无人机的速度)。从无人机上所接收的发动机速度的时间序列数据，可以被转化为同视觉数据同时播放的触觉感官提示，例如利用GPS来测定地面的相对行驶速度。因此，根据对于无人机相对速度的视觉确认，飞行员可以对无人机发动机速度(例如，感知的振动强度和发动机的转速是相关的)有一个直观的感受。根据此项发明中的人机交换界面，飞行员接收到的多位感官提示之间是相互关联的，并且信息是同步指示远程UV的飞行状况的。

这样可以使飞行员在看到对无人机的飞行操作后，例如倾斜飞行时，直观的“感受”到无人机的压力。这种对于飞行员控制无人机的感官反馈可以使飞行员对UV飞行体验到非常真实的感受。

UV机载的360度摄像系统可以采集视频信息。当飞行员佩戴具有头部追踪虚拟或增强现实的头部设备时，摄像机放置的位置和数量可以为飞行员提供全方位的视角。图像数据的视角和焦距可以通过软件来控制，使飞行员可以体验到视觉提示，如同真实处在UV内部或外部的各个位置(驾驶舱，尾部，机翼等等)一样。

HHMI希望能够在产品平台中提供一种触觉反馈，可以和现有和未来的机器人系统进行整合。HHMI代表了一个在交换界面和实用机器人系统领域中的典范转移。

HHMI添加了新的人机交换模式。触觉感官反馈用于提供与远程机器人内部和外部环境相关的触觉提示。并且，使用相同的基础结构，从肌肉电流信号中检测到操作人员的身体活动，可以用来产生远程的电流信号。HHMI，当与适合的虚拟现实产品以及专用的硬件和软件组合时可以实现全身体验，使操作人员的大脑利用接收到的触觉、视觉和听觉提示来形成新形势的机器远程操作和远程呈现。

由电脑控制的，具有有效信号特征的电流信号，可以被应用于一个或多个皮肤上的触觉接收器。信号特征选择性的刺激不同接收范围(1-1000平方毫米)和频率范围(0.4–800赫兹)的接收器。例如，像环层小体的广范围接收器可以产生振动发痒感。小范围的接收器，如马克尔细胞也可以提供压力感应。通过HHMI所应用的电脑控制的电流活动，可以利用飞行条件数据来判定其特点，来造成预期的无意识和非自主性的操作人员身体部位的运动。操作人员感受到犹如在外力影响下造成的非自主性运动，例如，操作人员的手像抵御气流的飞行控制面一样。

全身服装形式的HHMI可以作为虚拟现实交换界面的一部分，这种方法可以使操作人员通过实时的头部和身体的移动来切实感应三维的视觉效果。高质量，双声道的音频通过降噪耳机来复制真实，实时的远程UV声音环境。

例如，其他的触觉提示也可以造成飞行员体验到如突发动作所导致的强风。机械设备或控制面上不平衡压力，如在突然的倾斜转弯操作时所应用的不同压力和阻力。

因此，UV感受到的力量经过检测和传输，会被转化成相应的电流信号。操作人员身体中的接收器例如，伤害感受器、机械感受器和温度感受器，以及本体感受器，它们接收电脑控制的触觉提示，所应用的电流刺激可以复制自然感官并通过皮肤、肌肉和骨骼被人体接收。

通过应用电流刺激(触觉提示)到飞行员的身上(例如，警告飞行员无人机正处于非正常的倾斜状况或者正在接近障碍物)，远程UAV传感器上的数据可以指示远程飞行的状况。UV的感应器被映射在操作人员身上，使大部分背部，肩部和胯部的肌肉群可以作为无人机飞行操作人员的指示器。

电流应用导致了与感应参数相关的目标身体姿势，参数包括弯曲、旋转、倾斜、投掷打哈欠、温度、振动以及其他可检测到的UVS机械部件(机翼，机身，控制版面等等)上的压力或条件等等。感应参数可以是在操作飞机时，机翼控制表面的空气压力。感应参数从UV上发射出来(使用无线电频率或者视觉瞄准线)，变成电脑控制的神经肌肉提示(电流刺激)。这些参数可以造成飞行员手部的自动反应，由此可以直接感应到UV控制面的位置。手部运动的压力是电流刺激肌肉运动所导致的结果。飞行员能够体验到阻力和压力是因为电脑控制的电流信号应用在了飞行员自身的感觉和肌肉的生理机能上。由于皮下组织控制的电流信号刺激，除了压力和阻力，振动，敲击甚至是刮擦等物理感觉也可以被感受到。肌肉的活动是非自主的和无意识的，没有使用任何机械力刺激。

HHMI的使用已经超过的UVS。HHMI为人机互动和控制领域打开了新的道路，包括对加速学习，物理训练和治疗领域的影响。对于肌肉群定位的能力，以及应用同水平电流信号的能力，这些都证明了，通过HHMI所造成的预设活动和肌肉运动，可以不断改进增强物理训练和修正物理运动。肌肉记忆几乎和所有的人类活动是相关的，这些记忆可以使用更快速的方法来学习，例如，乐器或者运动技巧。在军事应用中，快速肌肉记忆的建立可以增强士兵在基础和高级武器训练的效果。除此之外，新形式的安全限制可以使用于人类使用者，防止他在接收人机交换界面的电流信号后，采取有可能会受伤或者致命的交通事故。

Claims (77)

1.设备组成，

至少一个处理器，

以及至少一个包括电脑程序的内存，

内存和电脑程序集成于至少一个处理器中，使设备产生以下至少一种功能：

从远程传输器中接收具有时间序列的数据；

产生能够被使用者正常接收的大量触觉感官提示；被使用者接收的触觉感官提示是由电脑控制的序列产生的电流信号，电流信号所造成的使用者的感受是与触感相关的，并且触觉感官提示是根据时间序列数据同步产生的。

2.设备根据权利要求1，还可以从远程传输器中接收具有时间序列性的初级感官数据；以此产生大量的能被使用者正常接收的初级感官提示，大量的初级感官提示是根据初级感官数据同步产生的，大量的初级感官提示可以有效的刺激使用者至少一处感官；并且触觉感官提示是根据大量的初级感官提示同步产生的。

3.设备根据权利要求1，当中的时间序列数据包括使用者远程位置上至少一处感应条件。

4.设备根据权利要求1，当中的远程传输器是远程控制交通工具的一部分。

5.原理构成：

产生大量的能够被使用者正常接收的初级感官提示，大量的初级感官提示是按照时间序列产生的，并能有效的刺激使用者至少一处感官；产生大量的能够被使用者正常接收的触觉感官提示；被使用者接收到的触觉感官提示是由电脑控制的按照时间序列产生的电流信号，电流信号所造成的使用者的感受是与触感相关的，并且触觉感官提示是根据具有时间序列性的初级感官提示同步产生的。

6.原理根据权利要求5，大量的初级感官提示组成了视觉感官提示，用于向事件中的使用者提供虚拟视觉指示。

7.原理根据权利要求5，视觉感官提示包括视频数据，视频数据映射了事件中图像的至少一种颜色和亮度，触觉感官提示是根据映射后的视频数据产生的。

8.原理根据权利要求5，大量的初级感官提示组成了听觉感官提示，用于向事件中的使用者提供虚拟听觉指示。

9.原理根据权利要求5,听觉感官提示包括映射了立体声，多声道或者双声道的声音数据；听觉感官提示是根据映射后的声音数据产生的。

10.人机交换界面：包含了向使用者皮肤应用电流信号的大量导电片，用于刺激电流信号接收器；信号发射器用于产生大量的电流信号形式的触觉提示，通过大量的导电片应用到使用者的皮肤上，触觉提示可以通过接触或肌肉运动被使用者接收。

11.人机交换界面根据权利要求10；大量的电流信号具有以下至少一个特点，包括位置、时间、脉冲长度、频率和振幅，这些特点都可以有效的造成使用者身体至少一处的预设感官和肌肉运动。

12.人机交换界面根据权利要求10；电流信号接收器由肌肉，神经和触觉接收器中的至少一项组成。

13.人机交换界面根据权利要求10；信号发射器产生大量的可以被使用者正常接收的初级感官提示，大量的初级感官提示是按照时间序列产生的，并能有效的刺激使用者身体至少一处感官；大量的触觉提示是根据大量的时间序列性的初级感官提示按照时间顺序产生的。

14.人机交换界面根据权利要求10；组成x和y导电网格，用于大量电流信号从信号发射器到导电片间的电流通信。

15.原理构成：

产生大量的可以被使用者正常接收的触觉感官提示，大量的触觉感官提示是根据预设条件产生的，预设条件来自事件中演示个体上至少一个可移动部位，根据预设条件，大量的触觉感官提示可以有效的刺激使用者大脑的触觉处理中心；并且

产生大量的可以被使用者正常接收的视觉感官提示，大量的视觉感官提示是根据预设条件产生的，预设条件来自事件中演示个体上至少一个可移动部位，根据预设条件，大量的视觉感官提示可以有效的刺激使用者大脑的视觉处理中心，视觉感官提示会与触觉感官提示进行同步，使位置可以由虚拟视觉和触觉的同步指示，并且视觉处理中心接收的视觉感官提示刺激与触觉处理中心接收的触觉感官提示刺激也是同步的。

16.原理根据权利要求15；触觉处理中心和视觉处理中心的同步刺激可以用于使用者的演示教学。

17.原理根据权利要求15；触觉处理中心和视觉处理中心的同步刺激可以令使用者远程控制演示中的演示个体。

18.原理根据权利要求15；演示个体可以由人组成，而移动部位由人体的某一身体部位组成。

19.原理根据权利要求15；演示个体可以由动物组成，而移动部位由动物的某一身体部位组成。

20.原理根据权利要求15；演示个体可以由远程控制的移动物体组成，而移动部位由远程控制移动物体的一个机械部件组成。

21.原理根据权利要求15；移动部位可以是手指，演示个体是人，事件是演奏一首乐曲。

22.原理根据权利要求15；移动部位可以是控制面，演示个体是无人机，事件是驾驶无人机。

23.原理根据权利要求15；演示部位可以是翅膀，演示个体是鸟，事件是鸟的飞行。

24.原理构成：

从使用者至少一处肌肉和神经中接收电流活动；

根据接收到的电流活动判定一个控制信号的特点；

产生控制信号；

根据接收到的电流活动，应用控制信号到应用对象来造成反应。

25.原理根据权利要求24；接收到的电流信号是由于使用者非自主性震颤造成的；控制信号的特点是根据非自主性震颤造成非自主性肌肉活动，以此来和非自主性震颤对抗；控制信号是以电流信号的形式产生，可以产生非自主性肌肉活动来对抗非自主性震颤；将控制信号应用于使用者身体中造成肌肉活动，以此来对抗非自主性震颤。

26.原理根据权利要求24；控制信号通过大量的导电片进行应用，通过向使用者皮肤应用电流信号来刺激电流接收器。

27.原理根据权利要求26；所应用的控制信号由大量的电流信号组成，其中包含以下至少一种特点，位置、时间、脉冲长度、频率和和振幅，这些特点都可以有效的造成使用者身体至少一处的预设感官和肌肉运动。

28.原理根据权利要求24；应用的控制信号由电流信号接收器接收，接收器由肌肉，神经和触觉接收器中的至少一种组成。

29.原理根据权利要求24；组成产生能大量够被使用者正常接收的初级感官提示，大量的初级感官提示都是按照时间序列产生的，并且能有效的刺激使用者至少一处感官；控制信号由大量的触觉提示组成，触觉提示是根据大量具有时间序列性的初级感官提示同步产生的。

30.设备组成

至少一个处理器，

以及至少一个包括电脑程序的内存，

内存和电脑程序集成于至少一个处理器中，使设备能够至少具备权利要求25的原理。

31.当执行，演示操作权利要求25的原理时，利用一个非暂时性电脑可读内存作为媒介，来储存电脑程序指令。

32.人机交换界面原理构成：

利用人机交换界面检测使用者非自主性震颤的发生；

判定具有电流特点的电流信号，以此来有效的缓解非自主性震颤；并且

使用人机交换界面来应用电流信号。

33.权利要求32的原理中，人机交换界面包含大量的应用于使用者的电极和电流信号，每一个电极都是可支配的，并且可以与使用者的一个或多个生物组件进行电流通信，至少有一个电极可以被独立访问并选定为开通或闭合的状态，在开通状态下，电流信号经过至少一个电极到达使用者至少一个生物组件，而在闭合状态下，电流信号不经过任何电极到达使用者任何一个生物组件，至少有一个电极可以被单独访问，在信号检测操作期间，用于检测至少一个生物组件的电流活动，并且在信号应用操作期间，用于向至少一个生物组件应用电流信号。

34.权利要求33的原理中，至少有一个电极是可以被单独访问的，在开通状态下，应用电流信号的电流方向可以选择成为正极或负极。

35.权利要求33的原理中，至少一个生物组件是由以下至少一种部位组成：肌肉、神经、淋巴、器官、皮肤、感官和使用者其他生物系统。

36.权利要求33的原理中，至少一个电极可以根据脉冲宽度模式进行单独访问，使应用的电流信号中的有效电能流经生物组件的至少一个电极，因此可以在不调整脉冲宽度的情况下，根据所应用的电流信号来独立减少电能。

37.权利要求36的原理中，大量电极中的另一个电极也可以根据脉冲宽度模式来单独访问，使应用电流信号流经另一个电极到达生物组件的有效电能，区别于应用电流信号流经前一个电极到达生物组件的有效电能，因此，使不同区域的生物组件，可以接收到相同应用电流信号中的不同有效电能。

38.权利要求33的原理中，大量电极中的一部分被选中组成一种电极模式，与生物组件的目标区域相一致。

39.权利要求32的原理中，使用者接收到的电流信号是以触觉感官提示的形式应用的，是由电脑控制的序列产生的电流信号；根据电脑控制的序列产生的电流信号引起了至少一种含有预设运动的非自主性身体部位运动，以及至少一种含有预设触觉感受的感觉。

40.权利要求39的原理中，触觉感官提示刺激了使用者大脑的处理中心，以此来形成一个针对非自主性震颤的习得反应，通过一段时间的加强，习得反应可以用于缓解非自主性震颤。

41.设备组成

至少一个处理器，

以及至少一个包括电脑程序的内存，

内存和电脑程序集成于至少一个处理器中，使设备可以至少能够：

使用人机交换界面检测使用者非自主性震颤的发生；

判定电流信号的电流特点，以此来有效的缓解非自主性震颤；以及

使用人机交换界面将电流信号应用到使用者身上。

42.非暂时性电脑可读内存可以作为储存电脑程序指令的媒介，当执行指令时，所进行的操作可以：

使用人机交换界面检测使用者非自主性震颤的发生；

判定具有电流特点的电流信号，以此来有效的缓解非自主性震颤；以及

使用人机交换界面应用电流信号到使用者身上。

43.设备组成

至少一个处理器，

以及至少一个包括电脑程序的内存，

内存和电脑程序集成于至少一个处理器中，使设备可以至少能够：

产生大量能够被使用者正常接收的触觉感官提示；使用者接收到的触觉感官提示是由电脑控制的序列产生的电流信号，电流信号引起至少一种非自主性的身体部位运动，根据电脑产生的序列性电流信号，可以造成至少一种身体部位的预设动作和预设姿势的至少一种推动力，以及由使用者接收到的具有预设体觉感受的感应。

44.设备依据权利要求43，触觉感官提示刺激使用者的体觉系统，体觉系统由以下至少一个接收器组成：温度感受器、光感受器、机械感受器和化学感受器，以此来造成使用者体验到本体感受、机械感受、温度感受、和伤害感受中至少一种。

45.设备依据权利要求43，触觉感官提示根据实时的序列数据同步产生。

46.设备依据权利要求43，电流信号同时刺激非自主性身体运动和与触感相关的使用者感受。

47.设备依据权利要求43，可以组成一个可穿戴式的保护层来支撑设备，可以提供一个供使用者穿戴的电子设备。

48.设备依据权利要求47，可穿戴式保护层是由多层的柔性电路组成，包括一个由大量电极组成的电极层，其中一个导电面是用于和使用者的生物系统进行电流接触的，至少有一个额外层包含电路层、绝缘层、导电层、和柔性覆盖层中的至少一种。

49.设备依据权利要求48，生物系统包括肌肉系统、神经系统、淋巴系统、消化系统，和其他身体系统中的至少一个，这些系统都会对电流刺激发生反应。

50.设备依据权利要求43，执行，接收传输器具有时间序列性的初级感官提示；根据大量的初级感官数据，产生大量能够被使用者正常接收的触觉感官提示，大量的初级感官提示可以有效的刺激使用者至少一处感官；触觉感官提示是根据大量初级感官提示同步产生的。

51.设备依据权利要求50，至少有一个初级和触觉感官提示包含至少一个可以被远程使用者感应到的感官条件。

52.设备依据权利要求50，至少有一个初级和触觉感官提示包含至少一个预先记录的感官条件，

这些感官条件是作为一个音频信号，视频信号来记录的，数据代表了以下信息中的至少一

种：身体部位、肉体感受、动觉感受、运动、压力、温度、时间、情感、味道、和阻力。

53.原理组成：

产生大量能够被使用者正常接收的初级感官提示，大量的初级感官提示是按照时间序列产生的，并且能够有效的刺激使用者至少一处感官；

产生大量能够被使用者正常接收的触觉感官提示；被使用者接收到的触觉感官提示是由电脑控制的，并具有时间序列性的电流信号，电流信号引起的使用者的感受与触感有关，触觉感官提示是根据具有时间序列性的大量触觉感官提示同步产生的。

54.设备依据权利要求53，大量的初级感官提示是由视觉感官提示组成的，视觉感官提示用于向事件中的使用者提供虚拟视觉指示。

55.设备依据权利要求54，视觉感官提示包含视觉数据，视觉数据被映射到事件中图像的至少一种颜色和亮度，触觉感官提示是很具映射后的视频数据产生的。

56.设备依据权利要求53，大量初级感官提示是由音频感官提示组成，用于向事件中的使用者提供虚拟音频指示。

57.设备依据权利要求56，听觉感官提示包括映射了立体声，多声道或者双声道的声音数据；听觉感官提示是根据映射后的声音数据产生的。

58.人机交换界面：由大量导电片组成，用于通过皮肤向使用者应用电流信号，以此来刺激电流信号接收器；信号接收器产生大量的电流信号形式的触觉提示，这些提示通过大量的导电片被应用到使用者的皮肤上，大量的触觉感官提示可以被使用者正常接收，并在使用者身上形成预设感受或者肌肉运动。

59.人机交换界面依据权利要求58；大量的电流信号包括至少一个电流特点，其中包括地点、时间、脉冲长度、频率和振幅，可以造成使用者身上至少一种预设感应和肌肉运动。

60.人机交换界面依据权利要求58；电流信号接收器有肌肉，神经和触觉接收器中的至少一个组成。

61.人机交换界面依据权利要求58；信号接收器还可以产生大量的，可以被使用者正常接收的初级感官提示，大量的初级感官提示是按照时间序列产生的，并且能有效的刺激使用者至少一处感官；大量的触觉提示是按照时间序列顺序，根据具有时间序列性的大量初级感官提示同步产生的。

62.人机交换界面依据权利要求58；还可以由导电网组成，用于信号接收器到导电片之间大量导电信号的电流通信，导电片是以可独立访问的电极阵来运行的。

63.原理构成：

产生大量可以被使用者正常接收的触觉感官提示，大量的触觉感官提示是由演示事件中，演示个体的至少一个移动部位的限定条件来决定的，根据限定条件，大量的触觉感官提示可以有效的刺激使用者脑部的触觉处理中心；

并且

在视频播放设备上，产生大量可以被使用者正常接收的视觉感官提示，视觉感官提示可以向某一姿势使用者中，至少一个可移动部位和演示个体提供虚拟视觉指示，视觉感官提示可以有效的刺激使用者大脑的视觉处理中心，视觉感官提示和触觉感官提示是同步的，使虚拟视觉指示的姿势可以与触觉感官提示同步，并使视觉感官提示对视觉处理中心的刺激，与触觉感官提示对触觉处理中心的刺激是同步的。

64.原理根据权利要求63；触觉处理中心和视觉处理中心的同步刺激可以用于教授使用者演示特殊方式的事件。

65.原理根据权利要求63；触觉处理中心和视觉处理中心的同步刺激，令使用者可以远程控制演示事件的演示个体。

66.原理根据权利要求63；演示个体由人组成，而移动个体由人体的身体部位组成。

67.原理根据权利要求63；演示个体由动物组成，而移动个体由动物的身体部位组成。

68.原理根据权利要求63；演示个体由远程控制的移动物体组成，而移动个体由远程控制的移动物体上的机械组件组成。

69.原理根据权利要求63；移动个体可以是手指，演示个体是人，事件是演奏一首乐曲。

70.原理根据权利要求63；移动个体可以是控制面，演示个体是无人机，事件是操作无人机。

71.原理构成：

从使用者至少一处肌肉和神经中接收电流活动；

根据接收到的电流活动判定电流信号的特点；

产生电流信号；

根据接收到的电流活动，应用电流信号到应用对象来造成相应的反应。

72.原理根据权利要求71；接收到的电流信号是由使用者非自主性的震颤造成的；电流信号的特点是由非自主性震颤决定的，以此来引起可以与非自主性震颤相对抗的非自主性肌肉运动；

电流信号产生时所具有的特点，可以引起与非自主性震颤相对抗的非自主性肌肉运动；并且

应用在使用者身上的电流信号，是用于对抗非自主性震颤的肌肉运动的。

73.原理根据权利要求71；电流信号是通过大量的导电片应用的，通过皮肤应用的电流信号是用于刺激电流信号接收器的。

74.原理根据权利要求73；所应用的电流信号是由大量的带有信号特点的电流信号组成的，信号特点包括位置、时间、脉冲长度、频率和振幅，这些都能有效的刺激使用者至少一处预设感官和肌肉活动。

75.原理根据权利要求71；所应用的电流信号被使用者身体中的电流信号接收器所接收，接收器是由肌肉，神经和触觉接收器中的其中一项组成的。

76.原理根据权利要求71；可以产生大量可以被使用者正常接收的初级感官提示，大量的初级感官提示是按照时间序列产生的，并能有效刺激使用者至少一处的感官；电流信号由大量按照时间序列产生的触觉提示组成的，它们是根据大量具有时间序列性的初级感官提示同步产生的。

77.原理根据权利要求73；使用x和y导电网格来向使用者应用电流信号，目的是为了完成电流信号到导电片之间的电流通信。