CN112336590A

CN112336590A - 基于多传感信息的助力外骨骼运动意图与步态规划方法

Info

Publication number: CN112336590A
Application number: CN202011379078.0A
Authority: CN
Inventors: 陈靓; 于志远; 黄玉平; 朱晓; 陶云飞
Original assignee: Beijing Research Institute of Precise Mechatronic Controls
Current assignee: Beijing Research Institute of Precise Mechatronic Controls
Priority date: 2020-11-30
Filing date: 2020-11-30
Publication date: 2021-02-09

Abstract

本发明提供了一种基于多传感信息的助力外骨骼运动意图与步态规划方法，包括如下步骤：步骤1，获取人体腿部竖直方向的加速度信号、人体耗氧量数据，并采集腿部肌肉的表面肌电信号；步骤2，将加速度信号特征参量、耗氧量数据的特征参量、表面肌电信号特征参量作为训练模型的输入；步骤3：建立LSTM深度学习网络，得到表面肌电信号特征参量与步态规划、表面肌电信号特征参量与外骨骼助力等级、表面肌电信号特征参量与运动模态之间的对应关系，并以助力等级、运动模态和步态规划作为模型输出。本发明方法能够全面给出助力外骨骼控制系统需要的关键参数，不仅提升了实时意图的解算效率，又能实现快速准确的共享、决策和执行。

Description

基于多传感信息的助力外骨骼运动意图与步态规划方法

技术领域

本发明属于外骨骼机器人的人机协同控制技术领域，特别涉及一种基于多传感信息的助力外骨骼运动意图与步态规划方法，用于助力外骨骼机器人主动意图识别、助力效率等级划分和实时步态规划。

背景技术

随着科技的不断发展，助力外骨骼机器人在军民领域得到了空前的发展，外骨骼最显著的特点是与穿戴者全程实时交互，穿戴者与外骨骼本体有真实的物理接触，是一个人机融合系统。外骨骼机器人动作控制不仅需要具有高度的稳定性与鲁棒性，更需要具有“自然性”与“适应性”。“自然性”是指基于人类正常动作模式建立动作模型，使运动中的肌肉活动和人的主观感受都接近人类的动作模式。“适应性”则是指根据不同使用者的身体状况与习惯，对动作模型自动完成动作匹配与调整。

在助力外骨骼系统中，人负责环境感知和行为决策，给外骨骼提供运动指令，而外骨骼需要通过传感器推断人的运动意图，从而跟随人体运动，让人机融合系统能更好的协调工作，因此，核心是解决意图感知和协同控制问题。外骨骼控制器需要识别出人体运动意图以驱动外骨骼运动，运动信息通过传感器系统采集的运动数据获得，由于不同的传感器系统采集的运动数据不同，故而运动特征也不尽相同，所以运动意图感知的方法也有所不同。

然而，现有的运动意图识别方法存在以下问题：①针对单一运动传感器来源的人-机交互信息过于片面，无法有效表达出交互过程中的人机系统的运动意图、状态等信息的问题。②人体运动意图理解预测方面，现有方法由于采用单一运动传感器采集数据，多面向当前已发生运动状态判断，无法准确获得未来运动信息，因此无法补偿由于机械延时引起的误差。③在基于表面肌电信号应用方面，现有算法结构过于简单，无法完全提取肌电内含未来运动意图信息。④，利用人机系统交互过程中同一行为会产生多种信息，如表面肌电信号、关节角度信息等，对准确估计人机运动状态和康复者行为意图至关重要，然而助力外骨骼真正需要的人体运动意图识别应该包含哪些信息却没有具体的概念，目前只针对某一个特定的运动量，如关节角度信息等。因此，在诠释人体意图内涵时，既要考虑实时意图的解算效率又要兼顾在获得人机系统运动状态和人体运动意图后，然而如何实现快速准确的共享、决策和执行，相关研究较少。

发明内容

为了克服现有技术中的不足，本发明人进行了锐意研究，提供了一种基于多传感信息的助力外骨骼运动意图与步态规划方法，用于助力外骨骼机器人运动意图识别、效率等级划分和实时步态规划。本发明采集与肌肉疲劳度、人体运动信息直接相关的表面肌电信号(sEMG)，以及用于sEMG生物信号标定的耗氧量数据和惯性传感器(IMU)运动学信号，提取上述数据的特征参量共同形成运动模态多基元特征向量，将运动模态多基元特征向量作为LSTM深度学习算法模型的训练数据，建立sEMG信号与运动模态、步态规划以及助力等级之间的关系，根据此关系即可输出人体运动模态、步态规划和助力等级该对外骨骼控制最重要的三个参数，控制外骨骼机器人实现实时随动且提供助力，从而完成本发明。

本发明提供的技术方案如下：

基于多传感信息的助力外骨骼运动意图与步态规划方法，包括如下步骤：

步骤1，获取人体意图信息数据：获取人体腿部竖直方向的加速度信号、人体耗氧量数据，并采集腿部肌肉的表面肌电信号；

步骤2，生成运动模态多基元特征参量：以步态支撑态和摆动态在竖直方向加速度的变化规律，进行特征参量提取，获得加速度信号特征参量；建立耗氧量等级划分标准，基于耗氧量等级划分标准提取采集的耗氧量数据的特征参量；对腿部肌肉的表面肌电信号进行特征参量提取，获得表面肌电信号特征参量；以加速度信号特征参量、耗氧量数据的特征参量、以及表面肌电信号特征参量共同作为运动模态多基元特征参量，作为训练模型的输入；

步骤3：基于LSTM算法的运动模态模型生成：将运动模态多基元特征参量输入到训练模型，建立LSTM深度学习网络，得到表面肌电信号特征参量与步态规划、表面肌电信号特征参量与外骨骼助力等级、表面肌电信号特征参量与运动模态之间的对应关系，并以助力等级、运动模态和步态规划作为模型输出，其中步态规划包括支撑态和摆动态。

进一步地，步骤1中，通过安装在小腿腿部的惯性传感器获取人体腿部竖直方向的加速度信号。

进一步地，步骤1中，获取人体腿部竖直方向的加速度信号、人体耗氧量数据，并采集腿部肌肉的表面肌电信号时可以采集单腿数据或双腿数据，采集双腿各数据时，各腿数据单独处理。

进一步地，步骤2中，所述以步态支撑态和摆动态在竖直方向加速度的变化规律，进行特征参量提取中，判断支撑态和摆动态的起始点，将支撑态和摆动态赋值为两个不同的有理数，即获得加速度信号特征参量。

进一步地，步骤2中，选用半腱肌、股直肌、股外侧肌、腓骨长肌、股二头肌、胫骨前肌、腓肠肌、比目鱼肌八个通道中至少两个通道表面肌电信号的绝对值积分平均值iemg)、标准差rms、中值频率mf、平均频率mpf、基于小波系数最大值cwt作为表面肌电信号特征参量。

进一步地，步骤2中，选用股直肌的肌电信号积分值、标准差，腓肠肌的肌电信号平均频率、积分值，胫骨前肌的肌电信号小波系数最大值和中值频率作为表面肌电信号特征参量。

进一步地，步骤2中，采用移动分窗法分段提取表面肌电信号信号特征参量，采样频率为2000～4000Hz时，窗长度范围是500～1500个点，窗移量范围是10～50个点。

进一步地，步骤2中，对腿部肌肉的表面肌电信号进行特征参量提取前，采用小波滤波法对表面肌电信号进行滤波。

进一步地，步骤3中，外骨骼助力等级中不同等级对应不同的助力效率，助力效率以外骨骼的最大输出力矩的百分比表示。

根据本发明提供的一种基于多传感信息的助力外骨骼运动意图与步态规划方法，具有以下有益效果：

(1)本发明提出一种包含运动模态、助力等级、步态规划三个维度的人体运动意图方法，能够全面给出助力外骨骼控制系统需要的关键参数，不仅提升了实时意图的解算效率，又能实现快速准确的共享、决策和执行；

(2)本发明中基于表面肌电信号、惯性传感器、耗氧量测试设备获得的数据作为LSTM模型输入，用于模型训练，相较于传统方式中运动传感器来源的单一人-机交互信息作为输入，能够有效表达出交互过程中的人机系统的运动意图、状态等信息；

(3)本发明提出中基于表面肌电信号进行LSTM模型训练，表面肌电信号为生物电信号，超前运动信号30～150ms，以该信号进行人体运动意图估计，能够准确预测未来运动信息，补偿由于机械延时引起的时间误差。

附图说明

图1示出本发明中基于多传感信息的助力外骨骼运动意图与步态规划方法的流程图；

图2示出惯性传感器在小腿的粘贴位置及坐标方向；

图3示出一个步态周期内竖直方向加速度的变化；

图4示出行走时IMU步态特征结果；

图5示出上楼梯时IMU步态特征结果；

图6示出各肌肉sEMG信号滤波值与IMU步态特征参量；

图7示出表面肌电信号的优选特征参量；

图8示出基于LSTM算法的运动模态模型生成示意图；

图9中(a)示出步态规划结果，(b)示出预测值与真值的误差。

具体实施方式

下面通过对本发明进行详细说明，本发明的特点和优点将随着这些说明而变得更为清楚、明确。

本发明提供了一种基于多传感信息的助力外骨骼运动意图与步态规划方法，如图1所示，包括如下步骤：

步骤1，获取人体意图信息数据：获取人体腿部竖直方向的加速度信号、人体耗氧量数据，并采集腿部肌肉的表面肌电信号(sEMG)；

本发明以下肢膝关节助力外骨骼机器人为研究对象，通过采集双侧或单侧小腿处的惯性传感器(IMU)数据可以获取运动学参数。惯性传感器可以同时测量空间任意方向上的矢量变化，并将其分解成x、y、z三个方向上的分量变化。如图2所示，x轴为测试对象竖直方向，向上为正，y轴为前进方向，向前为正，z轴为运动左右方向，向左为正。

当人体保持直立静止状态时，惯性传感器坐标轴与标准坐标系重合，则x轴加速度等于重力加速度g，y轴方向和z轴方向的加速度等于0。当测试者运动时，惯性传感器的三轴输出值变化，其中，x轴方向数值表示人走路过程中因小腿运动产生的竖直方向加速度值，y轴方向数值表示前进方向的加速度值，z轴方向数值表示左右方向摆动产生的侧向加速度值，综合以上得出测试者的加速度数据。

惯性传感器优选安装在小腿腿部，人体在步行或上下楼等运动时，由于x方向的加速度幅值均大于y方向和z方向的加速度幅值，例如当人体自然行走时，小腿处在x方向上的加速度幅度为-1.7～3.3g，变化明显，因此选取x方向的加速度信号进行步态判别。

本发明中，采集单腿或双腿半腱肌(ST)、股直肌(VR)、股外侧肌(VL)、腓骨长肌(PL)、股二头肌(BM)、胫骨前肌(TA)、腓肠肌(GM)、比目鱼肌(SM)八个通道中至少两个通道实施表面肌电信号。

本发明中，采集双腿中各数据时，各腿数据单独处理。

步骤2，生成运动模态多基元特征参量：以步态支撑态和摆动态在竖直方向加速度的变化规律，进行特征参量提取，获得加速度信号特征参量；

建立耗氧量等级划分标准，基于耗氧量等级划分标准提取采集的耗氧量数据的特征参量；

对腿部肌肉的表面肌电信号进行特征参量提取，获得表面肌电信号特征参量；

以加速度信号特征参量、耗氧量数据的特征参量、以及表面肌电信号特征参量共同作为运动模态多基元特征参量，作为训练模型的输入。

本发明人研究采集的小腿IMU数据后发现，加速度信号的幅值变化大小与测试者行走速度直接相关，波形变化大代表行走速度快，相反地，波形变化小代表行走速度慢。与y轴和z轴方向的加速度相比，x轴方向的加速度信号特征最为明显且更稳定。此外，按照步态定义，一个步态周期为一侧脚跟着地开始到该侧脚跟再次着地为止所用的时间，一个完整的步态周期分为支撑相和摆动相两个阶段。以右腿为例，图3给出了一个以x轴方向的加速度信号为标度的完整步态周期，支撑相包括站立弯曲、站立伸展、预摆动，摆动相包括摆动弯曲和摆动伸展。支撑相的起始点为脚跟着地，摆动相的起始点为脚尖离地。

测试者以5km/h速度进行行走和上楼梯实验，采集到惯性传感器x轴的加速度分别如图4(a)和图5(a)所示，根据步态支撑态和摆动态x方向加速度的变化规律，进行特征参量提取，判断支撑态和摆动态的起始点，规定支撑态赋值为0，摆动态赋值为1(或其他两个不同的有理数)，得到图4(b)和图5(b)所示曲线。由于惯性传感器获得的加速度信息在实时控制时存在较大延时，因此，不能单独用惯性传感器进行步态相判别，本发明中将该特征值作为模型训练的输入，用于sEMG信号提取的步态特征的标定，进而配合sEMG信号特征实施步态相位判别。

本发明中，耗氧量指标可用于表征肌肉疲劳度，不同肌肉疲劳度对应不同等级的助力效率。通过评定，耗氧量大，则人体肌肉疲劳度高，所需的助力效率大。本发明中建立耗氧量等级划分标准，基于耗氧量等级划分标准提取采集的耗氧量数据的特征参量，将该特征参量作为模型训练的输入，用于sEMG信号提取的助力等级的标定，进而配合sEMG信号特征实施助力等级的判别。

由于sEMG信号具有很强的随机性，能有效表征肌肉活动类型的信息往往与干扰一起融合在所采集的肌电信号中，需要对有用信号进行提取、识别和利用。针对多通道采集的sEMG信号，在综合考虑实际应用效果和计算复杂程度的前提下，表面肌电信号特征包括基于绝对值积分平均值(iemg)及标准差(rms)的时域特征参数、基于中值频率(mf)及平均频率(mpf)的频域特征参数和基于小波系数最大值(cwt)的时频域特征参数。

本发明中，采用时、频域的移动分窗法(参数傅里叶变换的数据点数)分段提取sEMG信号特征参量，合适的通道、窗长度和窗移量直接决定了时间上能否满足预测的实时性和精度要求。小波滤波后sEMG信号滤波值与IMU步态特征参量如图6所示，从图6中可以看出，半腱肌、股二头肌与胫骨前肌同相，股直肌、股外侧肌与股内侧肌同相，腓骨长肌与腓肠肌同相，根据肌肉sEMG信号的强弱，优选对股直肌、胫骨前肌和腓肠肌三块肌肉的sEMG信号进行提取，获得sEMG信号特征参量。当肌电信号的采样频率为2000～4000Hz时，窗长度范围是500～1500个点，窗移量范围是10～50个点。更优选地，sEMG信号特征参量包括股直肌的肌电信号积分值、标准差，腓肠肌的肌电信号平均频率、积分值，胫骨前肌的肌电信号小波系数最大值和中值频率，这些特征参量的曲线周期性和平滑性优于其他特征参量，如图7所示。

步骤3：基于LSTM算法的运动模态模型生成：将运动模态多基元特征参量输入到训练模型，建立LSTM深度学习网络，得到sEMG信号特征参量与步态规划、sEMG信号特征参量与外骨骼助力等级、sEMG信号特征参量与运动模态之间的对应关系，并以助力等级、运动模态和步态规划作为模型输出，其中步态规划包括支撑态和摆动态。

长短时间记忆(LSTM)网络是一种深度学习模型，其结构具有良好的时间序列建模表达能力。采用LSTM深度网络进行建模，可以有效提取sEMG信号中具有时间相关性与空间相关性的序列信息，并使模型能够保留较强的泛化能力，以此满足外骨骼控制的需求。具体过程如图8所示，以运动模态多基元特征向量中的sEMG信号特征量为LSTM算法的输入，分别建立sEMG信号特征参量与步态规划、sEMG信号特征参量与外骨骼助力等级、sEMG信号特征参量与运动模态之间的对应关系，即输出为一个具有运动模态、步态特征和助力等级三个维度的意图解码数值，该值可以直接应用于外骨骼运动控制。

通过LSTM算法模型建立sEMG信号特征参量与外骨骼助力等级的对应关系，指导外骨骼为人体提供相应的辅助力矩，表1示出一种外骨骼助力等级的划分方式。外骨骼助力等级中不同等级对应不同的助力效率，助力效率与肌肉疲劳度相关，肌肉疲劳度通过耗氧量数据表征，在不同的肌肉疲劳度下应当给与相应的助力效率，否则助力效率小助力效果不明显，助力效率大对人体产生激进行为，引起人体不适。本发明中，助力效率以外骨骼的最大输出力矩的百分比表示。

表1下肢外骨骼的助力等级

本发明中，适用的运动模态包括但不限于上坡行走、下坡行走、上楼、下楼、平底行走等模态。

实施例

采用本发明提供的一种基于多传感信息的助力外骨骼运动意图与步态规划方法进行实际测试。在实验中，测试者在跑步机上以5km/h的速度以及10°的坡度行走，采集了4组实验数据，每组约1min，在4组数据中任选3组作为训练数据，另1组作为测试数据，进行助力等级、运动模态和步态规划预测。图9为选取股直肌的肌电信号积分值、标准差，腓肠肌的肌电信号平均频率、积分值，胫骨前肌的肌电信号小波系数最大值和中值频率特征值组合进行训练的结果，分别给出了该组合数据集的模型实测值和预测值的对比以及相应的误差值。模型预测出该运动模态为上坡行走，从图9可以看出预测值比实测值超前约50ms，能够弥补外骨骼控制系统中的机械及通信延时，使得外骨骼系统与人体无时差随动。

以上结合具体实施方式和范例性实例对本发明进行了详细说明，不过这些说明并不能理解为对本发明的限制。本领域技术人员理解，在不偏离本发明精神和范围的情况下，可以对本发明技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本发明的范围内。本发明的保护范围以所附权利要求为准。

本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

Claims

1.一种基于多传感信息的助力外骨骼运动意图与步态规划方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的方法，其特征在于，步骤1中，通过安装在小腿腿部的惯性传感器获取人体腿部竖直方向的加速度信号。

3.根据权利要求1所述的方法，其特征在于，步骤1中，获取人体腿部竖直方向的加速度信号、人体耗氧量数据，并采集腿部肌肉的表面肌电信号时可以采集单腿数据或双腿数据，采集双腿各数据时，各腿数据单独处理。

4.根据权利要求1所述的方法，其特征在于，步骤2中，所述以步态支撑态和摆动态在竖直方向加速度的变化规律，进行特征参量提取中，判断支撑态和摆动态的起始点，将支撑态和摆动态赋值为两个不同的有理数，即获得加速度信号特征参量。

5.根据权利要求1所述的方法，其特征在于，步骤2中，选用半腱肌、股直肌、股外侧肌、腓骨长肌、股二头肌、胫骨前肌、腓肠肌、比目鱼肌八个通道中至少两个通道表面肌电信号的绝对值积分平均值iemg、标准差rms、中值频率mf、平均频率mpf、基于小波系数最大值cwt作为表面肌电信号特征参量。

6.根据权利要求5所述的方法，其特征在于，步骤2中，选用股直肌的肌电信号积分值、标准差，腓肠肌的肌电信号平均频率、积分值，胫骨前肌的肌电信号小波系数最大值和中值频率作为表面肌电信号特征参量。

7.根据权利要求5所述的方法，其特征在于，步骤2中，采用移动分窗法分段提取表面肌电信号信号特征参量，采样频率为2000～4000Hz时，窗长度范围是500～1500个点，窗移量范围是10～50个点。

8.根据权利要求1所述的方法，其特征在于，步骤2中，对腿部肌肉的表面肌电信号进行特征参量提取前，采用小波滤波法对表面肌电信号进行滤波。

9.根据权利要求1所述的方法，其特征在于，步骤3中，外骨骼助力等级中不同等级对应不同的助力效率，助力效率以外骨骼的最大输出力矩的百分比表示。