CN103279734A - 新型的智能手语翻译与人机交互系统及其使用方法 - Google Patents

Abstract

本发明提供新型的智能手语翻译与人机交互系统，包括、手势识别系统和语义发声系统。手势识别系统与语言障碍者相连传输原始肌电信号，手势识别系统与语义发声系统相连传输基本语义信息，语义发声系统传输与手语语义一致的语音。手势识别系统包括、肌电信号采集器、无线收发器、滤波器、特征提取单元、分类器。语义发声系统包括、语义分析器、语音控制器、便携式扬声器。本发明采用基于肌电信号的模式识别技术，提升了手势识别精确度，并结合语音系统提高语言障碍者与健全人交流效率。本发明进行简易调节后能适合不同体型的语言障碍者佩戴使用。肌电信号采集装置和语义发声系统分别以腕带和腰带形式进行佩戴，不妨碍语言障碍者进行正常的生活自理。

Description

新型的智能手语翻译与人机交互系统及其使用方法

技术领域

本发明涉及翻译与人机交互系统，具体是基于肌电信号模式识别技术对语言障碍者的手语进行精确识别并实现在线发声的辅助系统。

背景技术

语言障碍者除了聋人和哑人，还包括其它原因造成的语言沟通有障碍的人群。以听障人为例，全中国大约有2075万听障人，包括弱听、重听、老化聋等。而手语是根据手势的变化模拟形象或者音节以构成的一定意思或词语，它是语言障碍人群互相交际和交流思想的一种手的语言，是语言障碍者的主要的交际工具。据统计，在美国等国家，市民的手语普及程度一般在5％；而在国内，如上海，会手语人数不超过1万人，普及率不到千分之一。因此，较低的手语普及率极大地阻碍了听障人和健全人的有效沟通。

基于手势识别技术的人机交互在不同领域都有应用。其中一种是通过计算机提供一种有效的、准确的机制将常用手语翻译成文本或语音，实现自然语言与手语这两个异种语言模式的交流，使得语言障碍者和健全人之间的交流变得更方便、快捷，使语言障碍者能很好地融入社会。目前为语言障碍者实现手语识别的主要技术是通过数据手套提取角度、角加速度等运动参数作为特征的模式识别技术，但是数据手套的佩戴限制了语言障碍者双手的其他操作，为正常生活带来不便。（例如，参考“一种基于数据手套动态手语识别方法”，中国专利公布号：CN102193633A）。另外，基于摄像技术的手势识别也有了一定的技术进展及实际应用，主要是通过提取图像信息进行识别匹配。但是其对拍摄场景，拍摄设备等具有较高要求，因而该项技术在应用普及方面还具有一定难度。（例如，参考“手势识别系统和方法”，中国专利公布号：CN102467657A）。

经对已有文献发现，目前手语识别大多基于上述两种技术，但在实际应用中缺乏可行性，对语言障碍者进行正常沟通交流的辅助能力仍有一定局限性。本发明不同之处在于采用肌电信号采集并提取特征信息，传感器佩戴于不需进行接触性操作的小臂。不仅避免数据手套给正常生活自理带来的不便，也消除了由环境因素对特征信息提取造成的干扰。同时配置的智能语义发声系统有效实现语言障碍者和健康人的沟通。

发明内容

本发明的目的在于改进上述现有技术中手语识别相关技术及应用的缺陷，提供了一种基于肌电信号模式识别技术的语音辅助系统及其使用方法。本发明通过肌电模式识别技术在提高手势识别精确度的同时，也实际使用更加自然，简单易用。同时配置的语义发声系统保证语言障碍者与健全人的实时有效沟通。

根据本发明的一个方面，提供一种新型的智能手语翻译与人机交互系统，包括相连的手势识别系统和语义发声系统，手势识别系统用于与使用者小臂相连以接收肌电信号，对使用者的手势进行精确识别判断，生成基本语义信息，语义发声系统用于对基本语义信息进行处理分析生成手语语义，并传送与手语语义对应的语音。

优选地，所述手势识别系统包括依次连接的肌电信号采集器、无线发射器、无线接收器、滤波器、特征提取单元、分类器，其中，肌电信号采集器用于与使用者小臂肌肉群相连以接收对应各手势的原始肌电信号，并通过无线发射器和无线接收器向滤波器传输原始肌电信号，滤波器和特征提取单元相连以传输消除噪声的肌电信号，特征提取单元和分类器相连以传输肌电信号的特征信息，分类器根据肌电信号的特征信息生成基本语义信息，并通过和语义发声系统相连以传输基本语义信息。

优选地，所述语义发声系统包括依次连接的语义分析器、语音控制器、放大器，便携式扬声器，其中，语义分析器与手势识别系统相连以接收基本语义信息，语义分析器和语音控制器相连以传输连续语义信息，语音控制器与放大器相连以传输包含语音信息的电脉冲，放大器与便携式扬声器相连以传输放大后的电脉冲，便携式扬声器产生与语义信息所对应手语语义一致的语音。

优选地，所述肌电信号采集器包括左臂肌电信号采集器和右臂肌电信号采集器。

根据本发明的另一个方面，针对各类手势与小臂肌肉群产生的肌电信号具有特定的对应关系，不同的手势由小臂各肌肉群收缩舒张实现，同时各肌肉群会产生相应具有不同特征的肌电信号，还提供权利要求1至4中任一项所述的新型的智能手语翻译与人机交互系统的使用方法，包括如下步骤：

步骤1：学习模式阶段，手势识别系统对各手势产生的肌电信号进行分析生成肌电信号模板；

步骤2：使用模式阶段，手势识别系统根据肌电信号模板对接收到的肌电信号进行识别匹配，判断使用者所做手势。

和现有技术相比，本发明的有益效果是：

（1）基于肌电信号模式识别技术对使用者的手势及表达有更为精准的判断。同时相比其他手势识别技术，基于肌电信号模式识别技术在信号检测、特征提取方面更加方便易用，不妨碍语言障碍者的正常生活自理。

（2）本发明所包括的语义发声系统能实时将手势表达的语义语音化，辅助语言障碍者和不懂手语的健全人进行有效交流，实现自然语言和手语语言的高效沟通。其中，语义分析器对基本语义信息的处理使便携式扬声器的发音更加连贯流畅，符合健全人的听说习惯。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为系统示意框图；

图2为系统佩戴示意图；

图3为手势识别系统示意图；

图4为语义发音系统示意图。

图中：

201为右臂肌电信号采集器和无线发射器；

202为左臂肌电信号采集器和无线发射器；

203为手势识别系统；

204为语义发声系统。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

实施例

本实施例用于语言障碍者做出手势语和手指语后由语义发声系统实时产生相应语音。如图1，在本实施例中，本发明提供的智能手语翻译与人机交互系统包括：手势识别系统和语义发声系统。其中：手势识别系统与使用者小臂相连接收肌电信号，对使用者的手势进行精确识别。手势识别系统和语义发声系统相连传输基本语义信息，语义发声系统对基本语义信息进行处理分析传送出手语语义对应的语音。

所述手势识别系统包括：肌电信号采集器、无线发射器、无线接收器、滤波器、特征提取单元、分类器。其中：肌电信号采集器与使用者小臂肌肉群相连接收对应各手势的肌电信号，无线发射器和肌电信号采集器相连传输原始肌电信号，无线接收器和滤波器相连传输原始肌电信号，滤波器和特征提取单元相连传输消除噪声的肌电信号，特征提取单元和分类器相连传输肌电信号的特征信息，分类器和语义发声系统相连传输基本语义信息。

在“学习模式”阶段，手势识别系统对原始肌电信号进行分析，生成不同手势对应的肌电信号模板。在“使用阶段”，手势识别系统对原始肌电信号进行在线分析，判断出对应手势。

所述语义发声系统包括：语义分析器、语音控制器、放大器、便携式扬声器。其中：语义分析器与手势识别系统相连传输基本语义信息，语义分析器和语音控制器相连传输连续语义信息，语音控制器与放大器相连传输包含语义信息的电脉冲，放大器与便携式扬声器相连传输放大的电脉冲，便携式扬声器产生与手语语义一致的语音。

本实施例所描述系统的工作工程包括以下步骤：

1）如图2所示，使用者佩戴手势识别系统和语义发声系统。两个肌电信号采集器分别佩戴于小臂中部，绑带内侧电极贴片和小臂肌肉群紧贴，用于接收肌电信号。语义发声系统佩戴于腰间，用于接收手势识别系统传输的基本语义信息和实现语义发声功能。

2）选择“学习模式”，对该辅助系统进行简易调节。手语分为手指语和手势语。调节过程中，由使用者依次做出表达汉语拼音字母的30个手势。肌电信号采集器记录30个汉字拼音所对应肌电信号。由使用者依次做出常用手势语的手势。肌电信号采集器记录各个手势所对应肌电信号。

3）肌电信号采集器与模式识别处理器相连传输原始肌电信号。模式识别处理器对原始肌电信号进行处理分析，生成对应各个手势的肌电信号模板，并做记录。

4）选择“使用模式”，使用者按表达意图做出任意已定义手指语。如使用者做出表达“a”、“b”的手势，肌电信号采集器接收到“a”、“b”对应的小臂肌电信号。手语识别系统对原始肌电信号进行处理，判断其对应肌电信号模板及手势表达语音，并向语音控制器传输“a”、“b”的基本语义信息。

5）语音分析器接收到“a”、“b”的基本语义信号后进行处理，由语音控制器向放大器发送包含“a”、“b”的语义信息的电脉冲，由便携式扬声器接收放大后的电脉冲产生出“a”、“b”的语音。一般手指语用于名词拼写，故直接输出拼音语音即可。

6）选择“使用模式”，使用者按表达意图做出任意已定义手势语。如使用者做出表达“一天”的手势，肌电信号采集器接收到“一天”对应的小臂肌电信号。手语识别系统对原始肌电信号进行处理，判断其对应肌电信号模板及手势表达语音，并向语音控制器传输“一天”的基本语义信息。

7）语音分析器接收到“一天“的基本语义信号后进行处理，由语音控制器向放大器发送包含“一天”的语义信息的电脉冲，由便携式扬声器接收放大后的电脉冲产生出“一天”的语音。

本实施例只需通过“学习模式”对该辅助语音系统进行简易调节，便可实现对多种手势的有效快速识别，并进行实时语义发音。即可实现以汉字拼音为基础的手指语发音，也可以实现更为常用的手势语发音，方便易用，实时有效。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (5)

1.一种新型的智能手语翻译与人机交互系统，其特征在于，包括相连的手势识别系统和语义发声系统，手势识别系统用于与使用者小臂相连以接收肌电信号，对使用者的手势进行精确识别判断，生成基本语义信息，语义发声系统用于对基本语义信息进行处理分析生成手语语义，并传送与手语语义对应的语音。

2.根据权利要求1所述的新型的智能手语翻译与人机交互系统，其特征在于，所述手势识别系统包括依次连接的肌电信号采集器、无线发射器、无线接收器、滤波器、特征提取单元、分类器，其中，肌电信号采集器用于与使用者小臂肌肉群相连以接收对应各手势的原始肌电信号，并通过无线发射器和无线接收器向滤波器传输原始肌电信号，滤波器和特征提取单元相连以传输消除噪声的肌电信号，特征提取单元和分类器相连以传输肌电信号的特征信息，分类器根据肌电信号的特征信息生成基本语义信息，并通过和语义发声系统相连以传输基本语义信息。

3.根据权利要求1所述的新型的智能手语翻译与人机交互系统，其特征在于，所述语义发声系统包括依次连接的语义分析器、语音控制器、放大器，便携式扬声器，其中，语义分析器与手势识别系统相连以接收基本语义信息，语义分析器和语音控制器相连以传输连续语义信息，语音控制器与放大器相连以传输包含语音信息的电脉冲，放大器与便携式扬声器相连以传输放大后的电脉冲，便携式扬声器产生与语义信息所对应手语语义一致的语音。

4.根据权利要求2所述的新型的智能手语翻译与人机交互系统，其特征在于，所述肌电信号采集器包括左臂肌电信号采集器和右臂肌电信号采集器。

5.一种权利要求1至4中任一项所述的新型的智能手语翻译与人机交互系统的使用方法，其特征在于，包括如下步骤：

步骤1：学习模式阶段，手势识别系统对各手势产生的肌电信号进行分析生成肌电信号模板；

步骤2：使用模式阶段，手势识别系统根据肌电信号模板对接收到的肌电信号进行识别匹配，判断使用者所做手势。

Images