CN104134060A - 基于肌电信号和运动传感器的手语翻译和显示发声系统 - Google Patents

Abstract

本发明涉及一种基于肌电信号和运动传感器的手语翻译和显示发声系统，包括手势识别子系统和语义的显示发声子系统。手势识别子系统包括：多轴运动传感器和多通道肌肉电流采集和分析模块，以双臂带型式佩戴在使用者左右手臂上，获得用户的原始表面肌电信号和手臂的运动信息；通过处理肌电和运动传感器数据实现手势区分。显示发声子系统包括：语义分析器，语音控制，喇叭，显示，存储，通讯等模块。本发明采用基于双臂肌电信号和运动传感器数据的模式识别技术，提升了手势识别正确率，并结合语义显示发声系统，实现常用手语到语音或文字的翻译，增强语言障碍者和普通人群直接交流的效率。

Description

基于肌电信号和运动传感器的手语翻译和显示发声系统

技术领域

本发明涉及一种常用手语到自然语言文字或语音的实时翻译系统，实现原理是基于用户左右手臂的多路表面肌肉电流信号和手臂的移动和转动姿态检测，进行手语动作的区分识别，并通过显示发声系统进行上下文语义的自动调整，最终以文字或语音的方式呈现出来。

背景技术

听障和语言障碍群体基数巨大，群体和外界交流的主要方式是手语，而受限于普通人群接受手语训练的机会很低，语言障碍群体和普通人群的交流非常困难。在为听障和语言障碍群体提供实时的手语识别和翻译方面，受限于手势识别的难度，当前市场上尚缺成熟的技术方案。

手语识别和翻译的基础是连续手势识别。基于机器视觉的手势识别方案是目前主要的技术方向，但因存在着背景光线、遮挡、移动性、系统功耗、识别率等多方面的限制因素，使其在手语的识别和实时翻译应用中存在较高难度。手势识别的另外方式是采用数据手套，其带有的关节弯曲角度检测、加速度等运动量检测技术原理使得手势的识别效果良好，但是其复杂的电子和机械结构，带来的成本过高，体积过大问题，再加上使用者在佩戴上手套后，影响了双手的其他操作，使其实用性大为降低。

通过查询公开文献，中国专利申请号为：201310101297.6的“新型的智能手语翻译与人机交互系统及其使用方法”提出了一种只通过手臂肌电信号进行手语检测的方案。此种方案通过佩戴在手臂上的设备，可以实时监测手臂的肌电信号，但依据其原理事实上只能检测手部的相对姿态，却不能检测手臂和手部在三维空间的运动姿态，而手语动作恰恰是这两种姿态缺一不可的紧密组合，所以此方法用于手语翻译的难度非常高，存在巨大的技术缺陷。

本发明采用佩戴在用户双臂，通过连续追踪多路手臂表面肌肉电流来检测手指、手掌和手腕姿态，并通过多轴运动传感器跟踪手臂的三维运动姿态，结合这两种传感器数据，实现手势特征参数连续提取，并通过分类器实现手势识别，实现手语到自然语言的翻译。本发明基于佩戴在使用者手臂的优势，不影响用户双手的其他操作，用户体验良好，采用的基于表面肌电信号和运动传感器的手势识别技术同时具有功耗低、移动性强、应用场合不受限、成本低、识别率高、适合推广等多种优势。系统配置的语义显示发声系统，具有语义上下文分析和纠错、预测功能，可以有效的增强语言障碍群体和普通人群的交流的效率。

发明内容

本发明提出的技术方案有效的改进和增强现有手语翻译技术或方案在实际应用中的不足，通过表面肌电技术追踪手臂主要肌肉的活动来检测手指、手掌和手腕姿态，通过多轴运动传感器检测和跟踪手臂的三维运动姿态，结合手势动作的这两点关键参数，实现精确的手势特征值提取，使得分类器对手势进行区分的结果更加精确。发明配置的语义显示和发声系统，具有上下文语义分析功能，例如纠错、预测等，使得手势到自然语言的翻译效果更佳。

本发明主要分为手势识别子系统和语义显示与发声子系统。手势识别子系统分割为主从设备佩戴在用户双臂，并有多路表面肌肉电流信号检测电极和用户手臂皮肤直接接触以提取双臂的肌电信号，同时通过多轴运动传感器进行双臂的运动姿态检测，两种数据对本发明的实现是缺一不可的。

本发明的手势识别子系统包含有线或无线连接的左右臂设备，每个设备具有多个通道的表面肌肉电流信号拾取电极、信号滤波、信号放大、模拟信号数字转换器、多轴运动传感器、无线通讯模块、数据和指令存储模块、数据和信号处理及控制模块、活动段检测程序、特征值提取程序、分类器程序、供电电路等软硬件结构。手势识别系统将协调运算由左右臂设备提取的肌电信号数据和运动传感器数据，并通过特征值提取程序提取各个手势的特征参数，然后经过分类器进行手势分类，生成基本语义信息，有线或无线方式送往语义显示发声子系统进行进一步处理。

本发明的语义显示发声子系统包含有通讯模块、处理器、存储模块、显示模块、扬声器发声模块、用户输入控制模块、供电模块等基本结构。此系统可用运行了配套的语义显示发声程序，并带通讯模块的智能手机、电脑等终端直接代替，出于成本控制，也可用专用的软硬件设计来实现。本系统将实时处理由手势识别子系统发送到本子系统的基本语义信息，经过上下文语义分析，进行例如纠错、预测、填空等多个环节的处理，实现更自然的语言映射，并根据需要进行文字显示，或者自然语音合成和播放。

本发明包含了训练模式和使用模式，通过对使用者进行训练，可以提高手语的识别率。在此训练步骤中，通过配套的训练程序，指导使用者学习完成系统提供的手语项目，并在训练过程中提取用户独特的手语特征值模板，并作为辅助模板被应用于使用模式中，以提高手语动作的识别。在使用模式下，系统以内嵌的识别模板为主，用户特征模板为辅，分辨用户所做的手语动作。

本发明和其他现有技术和设想相比，提出了一种全面的解决方案：一方面，佩戴在用户手臂上，可不影响用户日常双手的使用；第二，通过手臂表面肌肉电流信号精确识别双手手指、手掌、手腕的姿态；第三，采用多轴运动传感器数据来识别双臂在三维空间的运动姿态；结合第二点和第三点手语动作关键的两点参数，使得手语的特征值提取更加精确。语义显示与发声子系统既可以选用已有的智能手机或电脑等智能设备，运行语义分析显示发声软件，也可以采用专门的软硬件设计来降低成本，配合上下文分析，包括纠错和预测功能，使得自然语言的组合更加清晰。

 

附图说明

图1：手语翻译和显示发声系统结构框图。

图2：手语翻译和显示发声系统佩戴示意图。

图3：手势识别子系统示意图。

图4：语义显示与发声子系统示意图。

图5：训练和使用模式流程示意图。

 

具体实施方式

本发明的核心是将一种全新的基于使用者双臂表面肌肉电流信号和运动传感器数据的自然手势识别技术实现到手语的实时翻译中，并通过上下文语义分析，进行自然语言的优化组合，并以文字显示或语音播放的形式最终呈现手语含义。

本发明的具体技术实施为两个外形设计为可伸缩的臂环，佩戴在使用者的左右手臂，可进行手势识别，语义的显示发声子系统可集成在两个臂环的一个内，也可以是独立外置的设备，例如运行有配套软件的智能手机或电脑。在两个臂环内侧紧贴手臂皮肤处，按照前臂控制手指和手腕的主要肌肉位置特性放置多路表面肌肉电流传感器，传感器可能但不限于采用单差分或者双差分模式，拾取的信号通过相应的模拟信号滤波，信号放大，模拟信号数字化转换等电路，量化成信号处理器或者中央处理单元可处理的连续的数字信号流；除了肌电信号，双臂环内都配置有多轴运动传感器，例如三轴加速度传感器，三轴角速度传感器，三轴磁场传感器；左右手臂的臂环，可分为主从设备，从设备将原始肌电和运动传感器数据或经过初步处理后的数据，同步到主设备，并在主设备中进一步进行手势特征值提取，得到手语编号，之后将编号信息送往语义显示和发声设备进行进一步处理，并最后以文字或语音方式显现出来。

 

图1是本发明系统整体的结构框图。手语动作（101）由佩戴在左右手臂的手势识别系统（102）量化成多路肌电信号（102a），运动传感器数据（102b），肌电数据和运动传感器数据经手势识别算法进行手势活动段检测（102c），特征值提取（102d），分类器识别（102e）等一系列操作，得到手势编号（102f）。手势编号被送往语义显示与发声系统（103）做进一步处理，其中包含但不限于语义分析优化（103a）进行例如上下文预测和纠错等工作，语言语音控制（103b）进行语音合成，音量调节等处理，并最终由扬声器（103c）进行语音播放，或以文字显示（103d）模式呈现手语含义。

图2是本发明系统的手势识别臂环对（201， 202）佩戴在使用者左右手臂的位置表示，识别的手语通过语义显示发声系统（203）的显示模块（203a）以文字或图片模式呈现，或者以语音方式由喇叭（203b）播放。需要指出，语义显示发声系统（203）除了可以作为一个独立部件外，也可整合到臂环（201或202）中。

图3是本系统中手势识别子系统的结构框图。实施示例中，手势识别系统被划分为佩戴在左手臂的从设备（301a）和佩戴在右手臂的主设备（301b）。主从设备都包含有运动传感器模块（302）， 多通道表面肌肉电流信号拾取差分电极（303）， 对肌电信号进行预处理的信号滤波电路（304），信号放大电路（305），将模拟肌电信号进行数字化的ADC模块（306）， 包括电池等部件的供电模块（309），用于存放程序和数据的存储模块（310），用于反馈手势是否识别、可由发光LED或振动马达构成的反馈模块（311）；从设备（301a）的处理器（307a）可对左臂运动传感器数据和肌电信号进行预处理，也可以和主设备同步后，并行进行左手的手势识别，预处理后的数据或识别出的左手手势信息（312），通过通讯模块（308）送到右臂的主设备（301b）；主设备（301b）的处理器（307b）将右手臂的运动传感器数据（302）和经过滤波（304），信号放大（305），数字化（306）后的肌电信号（303），以及由从设备（301a）送来的数据（312）进行处理，并实现双手手语的识别；最终识别的手语（313）由通讯模块（308）发往语义的显示语音系统进行处理。

图4为本系统中语义显示发声子系统结构框图。示例中，子系统包含控制输入模块（401）用于用户指令输入，显示输出模块（402）用于显示系统信息和手语文字信息，处理器（403）用于系统控制、语义上下文优化等数据处理，通讯模块（404）用于接收由手势识别子系统导入的识别出的手语信息（313），语音驱动模块（405）可用于音量等控制，扬声器（406）用于播放手语对应的自然语音，存储模块（408）用于存放运行于处理器的手语语义分析控制程序以及用户数据，包含电池等电路的供电模块（407）用于为系统供电。

图5为本系统训练和使用模式流程框图。示例中，在训练模式下，在手语动作指示程序（503）指引下，用户的手语动作通过肌电信号数据（501）和运动传感器数据（502）实现量化，识别程序（504）结合手语特征模板（505）处理上述肌电数据（501）和运动传感器数据（502），提取特征值，并将合格的手语动作生成用户特征模板（506）。在使用模式下，用户的手语动作和训练模式一样，通过肌电信号数据（501）和运动传感器数据（502）实现量化，识别程序（504）结合手语特征模板（505），用户特征模板（506）对上述肌电数据（501）和运动传感器数据（502）进行处理，提取特征值并做手语区分，最后将合格的手语通过文字显示或者语音方式呈现出来（507）。

最后应说明的是，以上实施例仅用以说明本发明可能的技术实施方案而非限制。根据实际应用场景的差异，产品在外观表现，算法实施等会有差异，尽管参照较佳实施例对本发明进行了详细说明，本领域的技术人员应当理解，对本发明的技术方案进行修改或等同替换，并不能脱离本发明技术方案的精神和范围。

Claims (10)

1.一种基于肌肉电流信号和运动传感器的手语翻译和显示发声系统，其特征在于：有线或者无线方式相连的手势识别子系统和手势到语义的显示发声系统，手势识别子系统又分为主从设备，分别佩戴在使用者的双臂，有多通道非入侵式差分电极和使用者手臂表皮直接接触以接收原始表面肌肉电流信号，结合主从设备内各自的多轴运动传感器数据，实现对使用者的手语动作进行识别的目的，并翻译成基本语义发送到手势到语义的显示发声系统，进一步对基本语义进行上下文分析和组织后，播放对应的语音或者显示文字。

2.如权利要求1所示的基于肌肉电流信号和运动传感器的手语翻译和显示发声系统，其特征在于：手势识别子系统包括分别佩戴在用户左右手臂上的主从设备，配置但不局限于有和用户手臂皮肤直接接触的多通道表面肌肉电流信号采集电极、滤波和放大电路、模拟到数字信号转换电路、多轴运动传感器、运行活动段检测，特征值提取和分类器程序的信号处理及控制电路、数据和命令通讯模块、数据和程序存储电路、电池和电源管理等电路。

3.如权利要求2所示的手势识别子系统，其特征在于：所述表面肌肉电流信号采集电极可采用双差分或单差分电路实现，并在左右手臂上配置有多路电极以实现多路表面肌肉电流信号的实时监测，肌电信号通过信号处理和运算电路，提取双手手指、手掌、手腕的运动状态特征值。

4.如权利要求2，3所示的手势识别子系统，其特征在于：所述多轴运动传感器包括三轴加速度传感器，三轴角速度传感器，三轴磁场传感器，或其中两个或一个的组合，用于检测左右手臂在三维空间的移动和转动，以达到手臂姿态的检测，并结合权利要求3所示的提取出的双手手指、手掌、手腕的运动状态特征值，来实现手语的分类检测。

5.如权利要求2，3，4所示的手势识别子系统，其特征在于：两个外形为环形的设备，具有可伸缩的机械结构，可适应不同用户手臂的粗细，并紧贴在用户手臂上，以获得良好的表面肌肉电流信号。

6.如权利要求2，3，4，5所示的手势识别子系统，其特征在于：使用者可以在一定范围内调节设备在手臂上的佩戴位置和角度，通过系统自带的自适应算法，可实现稳定和一致的手势识别。

7.如权利要求2，3，4，5，6所示的手势识别子系统，其特征在于：手势识别子系统具有识别单手手语和双手手语的能力，以及将多个连续手语动作组合成语句的能力。

8.如权利要求1所示的基于肌肉电流信号和运动传感器的手语翻译和显示发声系统，其特征在于：手势到语义的显示发声子系统，配置但不局限于有信号处理和控制电路、语义分析程序、语音控制、扬声器、通讯模块、数据和程序存储电路、电池和电源管理电路、显示模块等。

9.如权利要求8所示的显示与发声子系统，其特征在于：除了可以和手势识别子系统组合在一起，或者是配套设计的独立的配件，也可为独立的带有通讯模块的智能手表、智能手机、平板电脑、计算机、智能电视等终端，通过和手势识别子系统配对，并运行实时的手语处理程序，进行语义翻译，显示文字或播放语音。

10.如权利要求1所示的基于肌肉电流信号和运动传感器的手语翻译和显示发声系统的使用方法，其特征在于：使用者在训练模式下，通过训练程序的指导，对系统所提供的可识别手语项目进行学习和培训，并在训练过程中生成使用者的手语特征参数识别模板；在使用模式下，上述生成的特征参数识别模板被用于辅助识别使用者的手语动作，以提高识别率。