[go: up one dir, main page]

CN111951826A - 一种语言测试装置、方法、介质和计算设备 - Google Patents

一种语言测试装置、方法、介质和计算设备 Download PDF

Info

Publication number
CN111951826A
CN111951826A CN201910405373.XA CN201910405373A CN111951826A CN 111951826 A CN111951826 A CN 111951826A CN 201910405373 A CN201910405373 A CN 201910405373A CN 111951826 A CN111951826 A CN 111951826A
Authority
CN
China
Prior art keywords
test
data
user
intonation
pronunciation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910405373.XA
Other languages
English (en)
Inventor
沈欣尧
罗佳雯
董秋思
陈晶晶
胡焕祥
邓芳菲
杜一帆
袁家宏
刘晨晨
张蕾
周笛
虞一男
谢志杰
翁沈顺
隋雨亭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Liulishuo Information Technology Co ltd
Original Assignee
Shanghai Liulishuo Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Liulishuo Information Technology Co ltd filed Critical Shanghai Liulishuo Information Technology Co ltd
Priority to CN201910405373.XA priority Critical patent/CN111951826A/zh
Publication of CN111951826A publication Critical patent/CN111951826A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/60Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明的实施方式提供了一种语言测试装置、方法、介质和计算设备。该语言测试装置包括:测试模块,被配置为输出根据用户学习数据确定的测试内容;采集用户根据测试内容反馈的测试数据并确定测试结果,其中测试数据包括面部数据和/或语音数据,测试结果用于指示用户在不同维度上的发音能力;展示模块,被配置为基于预设策略向用户展示所述测试结果。通过该装置可以基于用户反馈的测试数据从不同维度评估用户的发音能力,实现了对用户发音能力的准确、全面评估,有助于用户发音能力、朗读能力以及流利度的快速提升,提供良好的用户体验。

Description

一种语言测试装置、方法、介质和计算设备
技术领域
本发明的实施方式涉及软件领域,更具体地,本发明的实施方式涉及一种语言测试装置、方法、介质和计算设备。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
发音是语言学习中的重要能力之一。通常情况下,在学习各种语言时学习者都会通过朗读、测试等方式来提升自身的发音能力。然而,多数情况下学习者无法得知自身发音是否准确,虽然传统的人工授课方式下即便授课者能对学习者的发音能力做出评价,但受限于授课者的能力高低这些评价也不能全面、准确地反应出学习者的发音问题。
目前,现有语言学习软件或语言学习终端会添加发音测评功能以便告知用户发音是否准确。但现有发音测评功能所得到的发音测评结果不仅内容单一,通常多是对用户发音音准的评价结果,还不能兼顾于不同用户的基础水平,发音测评结果缺乏针对性,导致现有的发音测评功能并不能暴露多数用户在发音能力方面的薄弱环节,从而使得现有语言学习软件或语言学习终端难以为用户提供有针对性的强化训练,而用户也无法获知自身发音不准确的原因,进而造成用户发音能力、朗读能力和流利度难以提高。因此亟待涉及一种改进的语音测试方案,用以解决上述技术问题。
发明内容
由于目前语言学习软件或语言学习终端中的发音测评功能存在发音测评结果的内容单一、测评结果缺乏针对性等问题,这些问题导致发音测评并不能暴露多数用户在发音能力方面的薄弱环节,进而使得用户发音能力、朗读能力和流利度难以提高。因此非常需要一种改进的语音测试技术方案,以解决上述技术问题。
在本上下文中,本发明的实施方式期望提供一种语言测试装置、方法、介质和计算设备。
在本发明实施方式的第一方面中,提供了一种语言测试装置,包括:测试模块,被配置为输出根据用户学习数据确定的测试内容;采集用户根据测试内容反馈的测试数据并确定测试结果,其中测试数据包括面部数据和/或语音数据,测试结果用于指示用户发音能力;展示模块,被配置为基于预设策略向用户展示测试结果。
在本发明的一个实施例中,语言测试装置还包括练习模块,被配置为根据测试结果以预设的推送规则生成发音练习内容并向用户输出。
在本发明的一个实施例中,测试模块包括维度不同的多个评估单元。
在本发明的一个实施例中,测试模块包括如下评估单元之一或组合:
音准评估单元,被配置为从用户根据测试内容反馈的测试数据中提取音准测试数据并确定音准测试结果;
非音准元素评估单元,被配置为从用户根据测试内容反馈的测试数据中提取非音准元素测试数据并确定非音准元素测试结果,其中非音准元素至少包括音节、重音、节奏、语调、连读中的一个。
在本发明的一个实施例中,测试内容至少包括音标测试内容、单词测试内容、句子测试内容中的一个或多个。
在本发明的一个实施例中,语音数据包括音准特征数据;音准评估单元包括:
单词音准评估子单元,被配置为从用户根据单词测试内容反馈的单词测试数据中提取对应于测试音标的音准特征数据;通过发音知识图谱为该音准特征数据匹配对应的标准音标语料并确定音准测试结果。
在本发明的一个实施例中,语音数据包括音准特征数据;音准评估单元包括:
句子音准评估子单元,被配置为从用户根据句子测试内容反馈的句子测试数据中提取对应于测试音标的音准特征数据;通过发音知识图谱为该音准特征数据匹配对应的标准音标语料并确定音准测试结果。
在本发明的一个实施例中,非音准元素评估单元包括:
非音准元素评估子单元,被配置为从用户根据单词测试内容反馈的单词测试数据中提取单词发音数据,或者从用户根据句子测试内容反馈的句子测试数据中提取单词发音数据和句子发音数据;通过发音知识图谱为单词发音数据和/或句子发音数据匹配对应的评分规则并确定非音准元素测试结果。其中,单词发音数据至少包括音节特征数据、重音特征数据中的一个或组合,句子发音数据至少包括节奏特征数据、语调特征数据、连读特征数据中的一个或组合。
在本发明的一个实施例中,测试模块还包括测试内容输出单元,被配置为输出根据用户学习数据和发音知识图谱确定的测试内容。
在本发明的一个实施例中,展示模块包括:
发音能力展示单元,被配置为依据于发音知识图谱将测试结果匹配为不同维度的发音能力评估结果;通过发音能力图向用户推送不同维度的发音能力评估结果。
在本发明的一个实施例中,测试内容的形式包括文字、图像以及语音中的一个或多个。
在本发明的一个实施例中,测试数据的形式包括文字、选项、图像以及语音中的一个或多个。
在本发明的一个实施例中,图像为视频图像。
在本发明实施方式的第二方面中,还提供了一种语言测试方法,包括:输出根据用户学习数据确定的测试内容;采集用户根据测试内容反馈的测试数据并确定测试结果;基于预设策略向用户展示测试结果;其中,测试数据包括面部数据和/或语音数据,测试结果用于指示用户发音能力。
在本发明的一个实施例中,根据测试结果以预设的推送规则生成发音练习内容并向用户输出。
在本发明的一个实施例中,通过不同维度确定测试结果。
在本发明的一个实施例中,采集用户根据测试内容反馈的测试数据并确定测试结果,具体包括:从用户根据测试内容反馈的测试数据中提取音准测试数据并确定音准测试结果;和/或,从用户根据测试内容反馈的测试数据中提取非音准元素测试数据并确定非音准元素测试结果,其中非音准元素至少包括音节、重音、节奏、语调、连读中的一个。
在本发明的一个实施例中,测试内容至少包括音标测试内容、单词测试内容、句子测试内容中的一个或多个。
在本发明的一个实施例中,语音数据包括音准特征数据。从用户根据测试内容反馈的测试数据中提取音准测试数据并确定音准测试结果,具体包括:从用户根据单词测试内容反馈的单词测试数据中提取对应于测试音标的音准特征数据;通过发音知识图谱为该音准特征数据匹配对应的标准音标语料并确定音准测试结果。
在本发明的一个实施例中,语音数据包括音准特征数据。从用户根据测试内容反馈的测试数据中提取音准测试数据并确定音准测试结果,具体包括:从用户根据句子测试内容反馈的句子测试数据中提取对应于测试音标的音准特征数据;通过发音知识图谱为该音准特征数据匹配对应的标准音标语料并确定音准测试结果。
在本发明的一个实施例中,从用户根据测试内容反馈的测试数据中提取非音准元素测试数据并确定非音准元素测试结果,具体包括:从用户根据单词测试内容反馈的单词测试数据中提取单词发音数据,或者从用户根据句子测试内容反馈的句子测试数据中提取单词发音数据和句子发音数据;通过发音知识图谱为单词发音数据和/或句子发音数据分别匹配对应的评分规则并确定非音准元素测试结果。其中,单词发音数据至少包括音节特征数据、重音特征数据中的一个或组合,句子发音数据至少包括节奏特征数据、语调特征数据、连读特征数据中的一个或组合。
在本发明的一个实施例中,采集用户根据测试内容反馈的测试数据并确定测试结果,具体包括:输出根据用户学习数据和发音知识图谱确定的测试内容。
在本发明的一个实施例中,基于预设策略向用户展示测试结果,具体包括:依据于发音知识图谱将测试结果匹配为不同维度的发音能力评估结果;通过发音能力图向用户推送不同维度的发音能力评估结果。
在本发明的一个实施例中,测试内容的形式包括文字、图像以及语音中的一个或多个。
在本发明的一个实施例中,测试数据的形式包括文字、选项、图像以及语音中的一个或多个。
在本发明的一个实施例中,图像为视频图像。
在本发明实施方式的第三方面中,提供了一种介质,该介质存储有计算机可执行指令,计算机可执行指令用于使计算机执行第一方面中任一实施例的方法。
在本发明实施方式的第四方面中,提供了一种计算设备,包括处理单元、存储器以及输入/输出(In/Out,I/O)接口;存储器,用于存储处理单元执行的程序或指令;处理单元,用于根据存储器存储的程序或指令,执行第一方面中任一实施例的方法;I/O接口,用于在处理单元的控制下接收或发送数据。
本发明的实施方式提供的技术方案,能够基于用户反馈的测试数据从不同维度评估用户的发音能力,从而找出用户发音能力中的薄弱环节,实现了对用户发音能力的准确、全面评估,有助于为用户提供有针对性的发音能力训练,更有助于用户发音能力、朗读能力以及流利度的快速提升,提供良好的用户体验。
附图说明
通过参考附图阅读下文的详细描述,本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本发明的若干实施方式,其中:
图1示意性地示出了根据本发明实施例的一种语言测试场景的结构示意图;
图2示意性地示出了根据本发明实施例的一种语言测试装置的结构示意图;
图3示意性地示出了根据本发明实施例的一种语言测试场景的结构示意图;
图4A示意性地示出了根据本发明实施例的一种终端界面的结构示意图;
图4B示意性地示出了根据本发明实施例的另一种终端界面的结构示意图;
图5示意性地示出了根据本发明实施例的一种发音知识图谱的结构示意图;
图6A示意性地示出了根据本发明实施例的一种用于展示发音能力图的终端界面的结构示意图;
图6B示意性地示出了根据本发明实施例的另一种用于展示发音能力图的终端界面的结构示意图;
图6C示意性地示出了根据本发明实施例的一种用于展示单维度发音能力的终端界面的结构示意图;
图6D示意性地示出了根据本发明实施例的一种用于展示已掌握发音练习内容的终端界面的结构示意图;
图7示意性地示出了根据本发明实施例的一种语言测试方法的流程示意图;
图8示意性地示出了根据本发明实施例的一种介质的结构示意图;
图9示意性地示出了根据本发明实施例的一种计算设备的结构示意图;
在附图中,相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明,而并非以任何方式限制本发明的范围。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道,本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
根据本发明的实施方式,提出了一种语言测试装置、方法、介质和计算设备。
在本文中,需要理解的是,所涉及的几个概念的含义如下:
发音能力,即是指对于不同语言的发音准确度,可以用于衡量用户发音与标准语料之间的偏差程度。对于用户发音能力的评估可以从多维度出发,例如用户发音时的音准、音节、重音、节奏、语调、连读等。
测试内容是指语言测试时向用户提供的语料内容。需要说明的是,本发明实施例涉及的测试内容包括但不限于采用文字、图片、音频、视频等形式承载的语料素材。
推送,可以理解为将经过整理的数据信息以页面或其他形式转发给用户,以使用户能够直接接收定制数据信息的一种实现方式。需要说明的是,本发明实施例中并不限定推送的具体实施形式,例如测试内容或测试结果可以采用语音播放的方式推送给用户,也测试内容或测试结果可以采用页面的方式推送至用户的界面。
这几个概念的含义均用于示例而非限制,以及概念的任何命名都仅用于区分,而不具有任何限制含义。下面参考本发明的若干代表性实施方式,详细阐释本发明的原理和精神。此外,附图中的任何元素数量均用于示例而非限制,以及附图中的任何元素任何命名都仅用于区分,而不具有任何限制含义。
下面参考本发明的若干代表性实施方式,详细阐释本发明的原理和精神。
发明概述
本发明人发现,目前语言学习软件或语言学习工具中的发音测评功能存在发音测评结果的内容单一、测评结果缺乏针对性等问题,这些问题导致发音测评并不能暴露多数用户在发音能力方面的薄弱环节,进而使得用户发音能力、朗读能力和流利度难以提高。
为了克服现有技术存在的问题,本发明提出了一种语言测试装置、方法、介质和计算设备。该语言测试装置包括:测试模块,被配置为输出根据用户学习数据确定的测试内容;采集用户根据所述测试内容反馈的测试数据并确定测试结果,其中所述测试数据包括面部数据和/或语音数据,所述测试结果用于指示用户在不同维度上的发音能力;展示模块,被配置为基于预设策略向用户展示所述测试结果。
上述装置能够基于用户反馈的测试数据从不同维度评估用户的发音能力,从而找出用户发音能力中的薄弱环节,实现了对用户发音能力的准确、全面评估,有助于为用户提供有针对性的发音能力训练,更有助于用户发音能力、朗读能力以及流利度的快速提升,提供良好的用户体验。
在介绍了本发明的基本原理之后,下面具体介绍本发明的各种非限制性实施方式。
应用场景总览
本发明实施例可以应用于语言学习场景,其中语言包括但不限于英语、法语、德语、日语等外语,以及普通话、粤语、四川话等汉语分支。本发明实施例涉及的语言学习场景例如可以是语言学习软件或语言学习终端中的语言能力测试场景、跟读测评场景、发音纠正场景等场景,也可以是其他语言学习场景,本发明实施例中并不限定。
以图1示出的语言学习场景为例,图1中用户可以通过终端设备A进行语言学习,所述终端A可以在屏幕上显示向用户输出的视频或图片形式的测试内容,并且还可以通过扬声器等音频播放设备向用户输出语音形式的测试内容,在用户进行语言测试时,终端A更加可以通过话筒(音频采集设备)/摄像头(图像采集设备)采集用户发音时的语音/音频数据和视频/图像数据,辅助判断用户发音能力。可以理解的是,所述语言内容可以是终端A从服务器下载的,并且对终端A采集到的数据进行分析处理的也可以是服务器。以上应用场景仅为示例,实际的应用过程中,服务器可以存在多级,也即可以是接收服务器接收终端设备发送的视频。音频数据,并将接收到的视频/音频数据发送到处理服务器,处理服务器对接收到的视频数据根据本发明的语言测试方法进行处理,得到用于指示用户发音能力的测试结果,然后反馈至终端A以便用户进行针对性语言学习或语言训练。
本发明实施例适用多种语言学习系统,语言学习系统包括但不限于终端、承载于终端的语言学习软件或语言学习工具,所述终端包括但不限于以下电子设备:智能手机、平板电脑、MP4、MP3、PC、PDA、可穿戴设备和头戴显示设备。此外,本发明实施例适用的语言学习系统还可以是由单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量计算机或网络服务器构成的云,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中,所述计算机设备可单独运行来实现本发明,也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本发明。进一步的,所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。需要说明的是,所述用户设备、网络设备和网络等仅为举例,其他现有的或今后可能出现的计算机设备或网络如可适用于本发明,也应包含在本发明保护范围以内,并以引用方式包含于此。
示例性装置
下面结合应用场景,参考附图来描述根据本发明示例性实施方式的用于语言测试装置。需要注意的是,上述应用场景仅是为了便于理解本发明的精神和原理而示出,本发明的实施方式在此方面不受任何限制。相反,本发明的实施方式可以应用于适用的任何场景。
图2是本发明所述一种语言测试装置实施例的模块示意图。虽然本发明提供了如下述实施例或附图所示的方法操作步骤或装置结构,但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者部分合并后更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中,这些步骤的执行顺序或装置的模块结构不限于本发明实施例或附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置、服务器或终端产品应用时,可以按照实施例或者附图所示的方法或模块结构进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境、甚至包括分布式处理、服务器集群的实施环境)。
为了清楚起见,下述实施例以具体的一个学习者通过移动终端进行语言测试并对终端设备采集的数据进行处理并反馈的实施场景进行说明。所述的移动终端可以包括手机、平板电脑,或者其他有视频拍摄功能和数据通信功能的通用或专用设备。所述的移动终端和服务器可以部署有相应的应用模块,如移动终端安装的某个语言测试应用(Application,APP),以实现相应的数据处理。但是,本领域技术人员能够理解到,可以将本方案的实质精神应用到语言测试的其他实施场景中,如参照图3,移动终端采集测试数据后,采集到的测试数据发送至服务器进行处理,并通过所述移动终端将测试结果反馈给用户。
本发明实施例提供了一种语言测试装置,如图2所示,该语言测试装置包括:
测试模块201,被配置为输出根据用户学习数据确定的测试内容,以及采集用户根据测试内容反馈的测试数据并确定测试结果。
测试内容是指语言测试时向用户提供的语料内容。在语言测试过程中,可能需要用户根据界面显示的测试文案进行测试,也可能需要用户根据由播放设备输出的测试音频进行测试,实际上也可以是采用上述方式的组合或其他方式来实现语言测试过程。因而,可以理解的是,本发明实施例中测试内容的形式包括文字、图像以及语音中的之一或组合。可选的,图像为视频图像。
测试内容包括但不限于音标测试内容、单词测试内容、句子测试内容中的一个或多个。以测试内容为目标音标为例,音标测试内容即是将目标音标直接以音标符号的形式展示给用户的测试内容,例如展示于终端界面以供用户跟读的音标符号
Figure BDA0002061028670000101
“/b/”、“/s/”、
Figure BDA0002061028670000102
等。单词测试内容的展示形式即是以包含有目标音标的单词作为测试内容展示给用户的展示形式,例如目标音标为“/e/”,则在图4A所示的终端界面中向用户展示单词测试内容为单词“bed”。进一步的,在单词测试内容中可将目标音标所对应的字母以高亮形式标注。句子测试内容的展示形式即是以包含有目标音标的单词所在的句子作为测试内容展示给用户的展示形式,例如目标音标为“/e/”,则在图4B所示的终端界面中向用户展示句子测试内容为句子“TheweatheriswetinSeptember”,其中weather、wet、September中目标音标“/e/”所对应的字母均采用高亮标注。需要注意的是,本发明实施例中并不限定测试内容中目标音标所对应的字母数量为一个或多个,也不限定包含有目标音标的单词的数量为一个或多个,例如句子测试内容“TheweatheriswetinSeptember”中,目标音标“/e/”所对应的字母数量为4个,包含有目标音标“/e/”的单词数量为3个。
一种可能的实现方式中,测试模块201还包括测试内容输出单元,被配置为输出根据用户学习数据和发音知识图谱确定的所述测试内容。
用户学习数据用于反映用户当前的语言学习进度或用户当前的发音能力。若用户为初学者,则为用户推送用于全面测试发音能力的测试内容,例如涵盖发音知识图谱中不同难度的多个知识点的测试内容;在用户采用语言学习系统学习一段时间后,则采用发音知识图谱为用户学习数据中评价较低的知识点重新匹配测试内容。具体而言,测试模块201还包括:测试内容输出单元,被配置为输出用于学前测试的测试内容或者用于学后测试的测试内容。在用户进行学习之前,向用户推送学前测试内容,从而让用户在学习之前了解到自身发音能力的不足之处,而在用户学习之后,向用户推送学后测试内容,可以及时掌握此次学习的成果,从而通过学习前后的对比增加用户新戏,或及时调整学习计划,合理分配学习重点,以推进用户更高效进行语言学习。
发音知识图谱由音准类知识和非音准类知识组成,通过发音知识图谱可以为将发音能力进行多维度的科学化细分,从而有助于准确找出用户发音能力的薄弱环节,为用户提供更合理的测试内容以及语言学习计划。语言不同,对应的发音知识图谱也不同。以图5示出的英语发音知识图谱为例,音准类知识划分为47个音标,即由19个元音和24个辅音组成的43个音素,以及4个辅音丛,如下表1至表3所示。
表1元音(19个)
Figure BDA0002061028670000111
Figure BDA0002061028670000121
表2辅音丛(4个)
Figure BDA0002061028670000122
表3辅音(24个)
Figure BDA0002061028670000123
图5示出的英语发音知识图谱中,非音准类知识划分为音节、重音、节奏、语调、连读。其中,音节包括但不限于依据元音和辅音划分的音节结构,例如按先辅音后元音顺序构成的音节结构、按先元后辅音顺序构成的音节结构、单个元音构成的音节结构、以“辅音-元音-辅音”顺序构成的音节结构。重音包括但不限于单词重音,比如单词重音的不同难度可以依据于音节数量来划分。节奏可以分为弱读和缩略;进一步的,弱读部分可以分为单个弱读以及连续弱读,或者根据词性、单词的数量等因素对弱读部分进行进一步细分;缩略则是指对多个单词进行缩略的情况。语调分为意群内语调和意群间语调。连读可以基于连续结构进行分类,连读包括但不限于由辅音和元音的组合、元音和元音的组合,其中辅音和元音的组合例如可以是R的连读组合。需要说明的是,上文描述的发音知识图谱可以是树状图,也可以是表格,还可以是链表等其他形式,本发明实施例并不限定。
发音能力,即是指对于不同语言的发音准确度,可以用于衡量用户发音与标准语料之间的偏差程度。本发明实施例中,采用测试结果来指示用户在不同维度上的发音能力。对于用户发音能力的评估可以从多维度出发,例如用户发音时的音准、音节、重音、节奏、语调、连读等。
因而,在语言测试过程中,可能需要从多维度出发对用户反馈的测试数据进行采集,可以理解的是,所述测试数据包括但不限于面部数据和语音数据中的一种或组合;可选的,测试数据的形式包括文字、选项、图像以及语音中的一个或多个。面部数据是用于指示面部特征的数据,比如口型特征数据、唇形特征数据等。一种可能的实现方式中,从采集到的用户面部图像中提取出用户的口型对应的口型特征数据。语音数据包括但不限于音准数据和非音准元素数据。其中音准数据是用于表示语音数据中的音准信息,进一步的音准数据包括音准特征数据。非音准元素数据是用于表示语音数据中的非音准元素信息,其中非音准元素例如可以是音节、重音、节奏、语调、连读等。非音准元素数据包含单词发音数据,单词发音数据是指从对应于单词的发音语料中提取出的数据;单词发音数据例如可以是音节特征数据、重音特征数据、节奏特征数据、语调特征数据、连读特征数据。音节特征数据可以是从语音数据中提取的音节结构信息,例如用户测试音频中提取出的单词音节结构信息;重音特征数据可以是从语音数据中提取的重音信息,例如用户测试音频中提取出的单词重音信息。类似的,节奏特征数据、语调特征数据、连读特征数据等均可以是从语音数据中提取出的相关于非音准类知识点(即非音准元素)的信息数据,此处不再赘述。
本发明实施例中,测试模块201包括维度不同的多个评估单元。评估单元包括但不限于音准评估单元、非音准元素评估单元以及面部特征评估单元。
面部特征评估单元被配置为从用户根据测试内容反馈的测试数据中提取面部数据并确定面部测试结果。比如,面部数据为口型特征数据,则在一种可能的实现方式中,面部特征评估单元通过图像采集设备(例如摄像头、相机等)采集用户根据根据所述测试内容反馈的图像形式的测试数据,从图像形式的测试数据中提取口型特征数据,并基于口型特征数据匹配到用户发音口型对应的标准口型,从而确定用户发音口型与标准口型之间的偏差程度作为口型测试结果。除了口型特征数据之外,面部数据还包括其他形式,具体参见上文中对面部数据的描述,此处不再赘述。通过面部特征评估单元,可以从面部特征的维度来评估用户发音能力,从而有助于从面部特征的维度上发现用户发音能力中的薄弱环节,例如用户口型错误,这样更有利于为用户提供合理的测试结果和学习计划。
音准评估单元被配置为从用户根据所述测试内容反馈的所述测试数据中提取音准测试数据并确定音准测试结果。具体而言,通过收音设备(例如麦克风等)采集用户根据所述测试内容反馈的音频形式的测试数据,从音频形式的测试数据中提取音准测试数据,并基于音准测试数据确定用于指示用户发音音准与标准语料音准之间偏差程度的音准测试结果。通过音准评估单元,可以从音准的维度来评估用户发音能力,从而有助于从音准维度上发现用户发音能力中的薄弱环节。进一步的,本发明实施例为了更精确地发现用户发音能力的薄弱环节,为用户提供更合理的测试结果,具体的:
在本发明实施例的一种可能实现方式中,所述音准评估单元包括单词音准评估子单元,被配置为从用户根据所述单词测试内容反馈的单词测试数据中提取对应于测试音标的音准特征数据,通过发音知识图谱为该音准特征数据匹配对应的标准音标语料并确定音准测试结果。
或是,在另一种可能的实现方式中,所述音准评估单元还包括句子音准评估子单元,被配置为从用户根据所述句子测试内容反馈的句子测试数据中提取对应于测试音标的音准特征数据,通过发音知识图谱为该音准特征数据匹配对应的标准音标语料并确定音准测试结果。
非音准元素评估单元被配置为从用户根据所述测试内容反馈的所述测试数据中提取非音准元素测试数据并确定非音准元素测试结果,其中非音准元素至少包括音节、重音、节奏、语调、连读中的一个。可以理解的是,非音准元素与上文描述的非音准类知识点类似,相似之处参见上文,此处不再赘述。具体而言,也可以通过收音设备(例如麦克风等)采集用户根据所述测试内容反馈的音频形式的测试数据,从音频形式的测试数据中提取非音准元素测试数据,并非音准元素测试数据确定用于指示用户非音准元素与对应的标准语料之间偏差程度的非音准元素测试结果。通过非音准元素评估单元,可以从多个非音准维度来评估用户发音能力,从而有助于从多个非音准维度上发现用户发音能力中的薄弱环节。进一步的,本发明实施例为了更精确地发现用户发音能力的薄弱环节,为用户提供更合理的测试结果,具体的:
本发明实施例的一种可能的实现方式中,所述非音准元素评估单元包括非音准元素评估子单元,被配置为从用户根据所述单词测试内容反馈的单词测试数据中提取单词发音数据。另一种可能的实现方式中,非音准元素评估子单元被配置为从用户根据所述句子测试内容反馈的句子测试数据中提取单词发音数据和句子发音数据。还有一种可能的实现方式中,非音准元素评估子单元被配置为从用户根据所述单词测试内容反馈的单词测试数据中提取单词发音数据,并且从用户根据所述句子测试内容反馈的句子测试数据中提取单词发音数据和句子发音数据。此处单词发音数据至少包括音节特征数据、重音特征数据中的一个或组合,句子发音数据至少包括节奏特征数据、语调特征数据、连读特征数据中的一个或组合;详细描述可参见上文中单词发音数据的相关描述,此处不再赘述。
从而在后续步骤中,通过发音知识图谱为单词发音数据和句子发音数据匹配对应的评分规则并确定非音准元素测试结果。此处发音知识图谱可以是上文描述的发音知识图谱中的部分或全部;对照于发音知识图谱,评分策略可以是基于发音知识图谱中相关的知识点预先定制的。比如若从用户音频数据中提取的音节特征数据与标准语料中的音节特征之间的偏差值小于预设门限,则确定非音准元素测试结果为合格。或者,将从用户音频数据中提取的音节特征数据与标准语料中的音节特征之间的偏差值作为非音准元素测试结果。
为了向用户展示测试模块201确定的测试结果,本发明所述一种语言测试装置还包括展示模块202,被配置为基于预设策略向用户展示测试结果。
仍以上文描述的测试结果为例,音准测试结果和非音准测试结果可以单独推送给用户,也可以组合推送给用户,本发明实施例并不限定。具体的,本发明实施例的一种可能的实现方式中,展示模块202包括发音能力展示单元,被配置为依据于发音知识图谱将所述测试结果匹配为不同维度的发音能力评估结果,通过发音能力图向用户推送不同维度的发音能力评估结果。比如,发音能力展示单元可以将测试模块201确定的音准测试结果和非音准测试结果融合为发音能力图并展示于终端界面。本发明实施例中并不限定发音能力图的具体形式,下面将结合附图6A至6D举例说明几种可能的发音能力图:图6A示出的终端界面中了一种发音能力图,该发音能力图以横向排列的音准、音节/重音、连读、语调、节奏等多个维度对用户发音能力进行展示;进一步的,针对每一维度的发音能力可采用百分比进度条的形式对多个知识点的掌握情况进行评价。图6B示出的终端界面中展示了另一种发音能力图,该发音能力图将音准、音节/重音、连读、语调、节奏等多个维度发音能力表示为圆形图表的多个端点,从而实现了对用户多维度发音能力进行展示。进一步的,针对每一维度的发音能力可以采用图6C示出的终端界面中的树形结构进行展示。再进一步的,可以采用图6D示出的终端界面中的前置视窗展示已掌握的发音练习内容,即发音知识点。
为了从不同维度提升用户的发音能力,本发明所述一种语言测试装置还包括练习模块,被配置为根据测试结果以预设的推送规则生成发音练习内容并向用户输出。
本发明实施例并不限定发音练习内容的输出形式,例如音频内容、视频内容、文字内容、图片内容等。仍以上文描述的测试结果为例,一种可能的实现方式为,从用户的音准测试结果和非音准测试结果中分别选取低于阈值的测试结果对应维度的训练内容作为发音练习内容。另一种可能的实现方式为,从用户音准测试结果和非音准测试结果中选取偏差最大的测试结果对应维度的训练内容作为发音练习内容。还有一种可能的实现方式为,基于用户的音准测试结果、非音准测试结果以及发音知识图谱对应的所有发音练习课程,确定用户未掌握的发音练习课程作为发音练习内容。
本发明的实施方式提供的语言测试装置,能够基于用户反馈的测试数据从不同维度评估用户的发音能力,从而找出用户发音能力中的薄弱环节,实现了对用户发音能力的准确、全面评估,有助于为用户提供有针对性的发音能力训练,更有助于用户发音能力、朗读能力以及流利度的快速提升,提供良好的用户体验。
示例性方法
在介绍了本发明示例性实施方式的装置之后,接下来,介绍本发明提供了示例性实施的语言测试方法。本发明提供的语言测试装置可以实现图7对应的实施例提供的方法中任一项执行的方法。参见图7,该语言测试方法至少包括以下步骤:
S701、输出根据用户学习数据确定的测试内容;
S702、采集用户根据测试内容反馈的测试数据并确定测试结果;
S703、基于预设策略向用户展示测试结果;
其中,测试数据包括面部数据和/或语音数据,测试结果用于指示用户发音能力。
可选的,根据测试结果以预设的推送规则生成发音练习内容并向用户输出。
可选的,通过不同维度确定测试结果。
可选的,采集用户根据测试内容反馈的测试数据并确定测试结果,具体包括:从用户根据测试内容反馈的测试数据中提取音准测试数据并确定音准测试结果;和/或,从用户根据测试内容反馈的测试数据中提取非音准元素测试数据并确定非音准元素测试结果,其中非音准元素至少包括音节、重音、节奏、语调、连读中的一个。
可选的,测试内容至少包括音标测试内容、单词测试内容、句子测试内容中的一个或多个。
可选的,语音数据包括音准特征数据。从用户根据测试内容反馈的测试数据中提取音准测试数据并确定音准测试结果,具体包括:从用户根据单词测试内容反馈的单词测试数据中提取对应于测试音标的音准特征数据;通过发音知识图谱为该音准特征数据匹配对应的标准音标语料并确定音准测试结果。
可选的,语音数据包括音准特征数据。从用户根据测试内容反馈的测试数据中提取音准测试数据并确定音准测试结果,具体包括:从用户根据句子测试内容反馈的句子测试数据中提取对应于测试音标的音准特征数据;通过发音知识图谱为该音准特征数据匹配对应的标准音标语料并确定音准测试结果。
可选的,从用户根据测试内容反馈的测试数据中提取非音准元素测试数据并确定非音准元素测试结果,具体包括:从用户根据单词测试内容反馈的单词测试数据中提取单词发音数据,或者从用户根据句子测试内容反馈的句子测试数据中提取单词发音数据和句子发音数据,其中单词发音数据至少包括音节特征数据、重音特征数据中的一个或组合,句子发音数据至少包括节奏特征数据、语调特征数据、连读特征数据中的一个或组合;以及通过发音知识图谱为单词发音数据和/或句子发音数据匹配对应的评分规则并确定非音准元素测试结果。
可选的,采集用户根据测试内容反馈的测试数据并确定测试结果,具体包括:输出根据用户学习数据和发音知识图谱确定的测试内容。
可选的,基于预设策略向用户展示测试结果,具体包括:依据于发音知识图谱将测试结果匹配为不同维度的发音能力评估结果;通过发音能力图向用户推送不同维度的发音能力评估结果。
可选的,测试内容的形式包括文字、图像以及语音中的一个或多个。
可选的,测试数据的形式包括文字、选项、图像以及语音中的一个或多个。
可选的,图像为视频图像。
示例性介质
在介绍了本发明示例性实施方式的方法和装置之后,接下来,参考图8,本发明提供了一种示例性介质,该介质存储有计算机可执行指令,该计算机可执行指令可用于使所述计算机执行图7对应的本发明示例性实施方式中任一项所述的方法。
示例性计算设备
在介绍了本发明示例性实施方式的方法、介质和装置之后,接下来,参考图9,介绍本发明提供的一种示例性计算设备90,该计算设备90包括处理单元901、存储器902、总线903、外部设备904、I/O接口905以及网络适配器906,该存储器902包括随机存取存储器(randomaccess memory,RAM)9021、高速缓存存储器9022、只读存储器(Read-Only Memory,ROM)9023以及至少一片存储单元9024构成的存储单元阵列9025。其中该存储器902,用于存储处理单元901执行的程序或指令;该处理单元901,用于根据该存储器902存储的程序或指令,执行图7对应的本发明示例性实施方式中任一项所述的方法;该I/O接口905,用于在该处理单元901的控制下接收或发送数据。
应当注意,尽管在上文详细描述中提及了装置的若干单元/模块或子单元/模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之,上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
此外,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理,但是应该理解,本发明并不限于所公开的具体实施方式,对各方面的划分也不意味着这些方面中的特征不能组合以进行受益,这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (10)

1.一种语言测试装置,其特征在于,包括:
测试模块,被配置为输出根据用户学习数据确定的测试内容;采集用户根据所述测试内容反馈的测试数据并确定测试结果,其中所述测试数据包括面部数据和/或语音数据,所述测试结果用于指示用户在不同维度上的发音能力;
展示模块,被配置为基于预设策略向用户展示所述测试结果。
2.如权利要求1所述的装置,其特征在于,还包括练习模块,被配置为根据所述测试结果以预设的推送规则生成发音练习内容并向用户输出。
3.如权利要求1或2所述的装置,其特征在于,所述测试模块包括维度不同的多个评估单元。
4.如权利要求1至3任一所述的装置,其特征在于,所述测试模块包括如下评估单元之一或组合:
音准评估单元,被配置为从用户根据所述测试内容反馈的所述测试数据中提取音准测试数据并确定音准测试结果;
非音准元素评估单元,被配置为从用户根据所述测试内容反馈的所述测试数据中提取非音准元素测试数据并确定非音准元素测试结果,其中非音准元素至少包括音节、重音、节奏、语调、连读中的一个。
5.如权利要求4所述的装置,其特征在于,所述测试内容至少包括音标测试内容、单词测试内容、句子测试内容中的一个或多个。
6.如权利要求5所述的装置,其特征在于,所述语音数据包括音准特征数据;所述音准评估单元包括:
单词音准评估子单元,被配置为从用户根据所述单词测试内容反馈的单词测试数据中提取对应于测试音标的音准特征数据;通过发音知识图谱为该音准特征数据匹配对应的标准音标语料并确定音准测试结果。
7.如权利要求5或6所述的装置,其特征在于,所述语音数据包括音准特征数据;所述音准评估单元包括:
句子音准评估子单元,被配置为从用户根据所述句子测试内容反馈的句子测试数据中提取对应于测试音标的音准特征数据;通过发音知识图谱为该音准特征数据匹配对应的标准音标语料并确定音准测试结果。
8.一种语言测试方法,其特征在于,应用于如权利要求1至7所述的语言测试装置,包括:
输出根据用户学习数据确定的测试内容;
采集用户根据所述测试内容反馈的测试数据并确定测试结果;
基于预设策略向用户展示所述测试结果;
其中,所述测试数据包括面部数据和/或语音数据,所述测试结果用于指示用户在不同维度上的发音能力。
9.一种介质,存储有程序代码,所述程序代码当被处理器执行时,实现如权利要求8所述的方法。
10.一种计算设备,包括处理器和存储有程序代码的存储介质,所述程序代码当被处理器执行时,实现如权利要求8所述的方法。
CN201910405373.XA 2019-05-16 2019-05-16 一种语言测试装置、方法、介质和计算设备 Pending CN111951826A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910405373.XA CN111951826A (zh) 2019-05-16 2019-05-16 一种语言测试装置、方法、介质和计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910405373.XA CN111951826A (zh) 2019-05-16 2019-05-16 一种语言测试装置、方法、介质和计算设备

Publications (1)

Publication Number Publication Date
CN111951826A true CN111951826A (zh) 2020-11-17

Family

ID=73335463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910405373.XA Pending CN111951826A (zh) 2019-05-16 2019-05-16 一种语言测试装置、方法、介质和计算设备

Country Status (1)

Country Link
CN (1) CN111951826A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118072761A (zh) * 2024-01-31 2024-05-24 北京语言大学 一种大模型发音偏误检测及发音动作图像反馈方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4030211A (en) * 1976-02-10 1977-06-21 Mcginley Edward J Instructional system for teaching and testing word pronunciation and spelling
CN101740024A (zh) * 2008-11-19 2010-06-16 中国科学院自动化研究所 基于广义流利的口语流利度自动评估方法
CN105070118A (zh) * 2015-07-30 2015-11-18 广东小天才科技有限公司 一种针对语言类学习的纠正发音的方法及装置
CN107808674A (zh) * 2017-09-28 2018-03-16 上海流利说信息技术有限公司 一种测评语音的方法、介质、装置及电子设备
CN107945625A (zh) * 2017-11-20 2018-04-20 陕西学前师范学院 一种英语发音测试与评价系统
CN108122561A (zh) * 2017-12-19 2018-06-05 广东小天才科技有限公司 一种基于电子设备的口语语音测评方法及电子设备
CN109584906A (zh) * 2019-01-31 2019-04-05 成都良师益友科技有限公司 口语发音评测方法、装置、设备及存储设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4030211A (en) * 1976-02-10 1977-06-21 Mcginley Edward J Instructional system for teaching and testing word pronunciation and spelling
CN101740024A (zh) * 2008-11-19 2010-06-16 中国科学院自动化研究所 基于广义流利的口语流利度自动评估方法
CN105070118A (zh) * 2015-07-30 2015-11-18 广东小天才科技有限公司 一种针对语言类学习的纠正发音的方法及装置
CN107808674A (zh) * 2017-09-28 2018-03-16 上海流利说信息技术有限公司 一种测评语音的方法、介质、装置及电子设备
CN107945625A (zh) * 2017-11-20 2018-04-20 陕西学前师范学院 一种英语发音测试与评价系统
CN108122561A (zh) * 2017-12-19 2018-06-05 广东小天才科技有限公司 一种基于电子设备的口语语音测评方法及电子设备
CN109584906A (zh) * 2019-01-31 2019-04-05 成都良师益友科技有限公司 口语发音评测方法、装置、设备及存储设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118072761A (zh) * 2024-01-31 2024-05-24 北京语言大学 一种大模型发音偏误检测及发音动作图像反馈方法及装置

Similar Documents

Publication Publication Date Title
CN110706536B (zh) 一种语音答题方法及装置
CN110782921A (zh) 语音测评方法和装置、存储介质及电子装置
US20160055763A1 (en) Electronic apparatus, pronunciation learning support method, and program storage medium
CN109817244B (zh) 口语评测方法、装置、设备和存储介质
EP2966601A1 (en) Comprehension assistance system, comprehension assistance server, comprehension assistance method, and computer-readable recording medium
CN108431883B (zh) 语言学习系统以及语言学习程序
CN110853422A (zh) 一种沉浸式语言学习系统及其学习方法
CN111326177B (zh) 一种语音评测方法、电子设备及计算机可读存储介质
CN115101042B (zh) 一种文本处理方法、装置及设备
US20140120503A1 (en) Method, apparatus and system platform of dual language electronic book file generation
CN110148413A (zh) 语音评测方法及相关装置
CN111951826A (zh) 一种语言测试装置、方法、介质和计算设备
KR20140087956A (ko) 단어 및 문장과 이미지 데이터 그리고 원어민의 발음 데이터를 이용한 파닉스 학습장치 및 방법
CN112309429A (zh) 一种失爆检测方法、装置、设备及计算机可读存储介质
CN111681467B (zh) 一种词汇学习方法及电子设备、存储介质
KR20140075994A (ko) 의미단위 및 원어민의 발음 데이터를 이용한 언어교육 학습장치 및 방법
US11961413B2 (en) Method, system and non-transitory computer-readable recording medium for supporting listening
CN110428668B (zh) 一种数据提取方法、装置、计算机系统及可读存储介质
CN110288977B (zh) 一种数据处理方法、装置及电子设备
CN111694622A (zh) 一种跟读内容的展示方法、介质、装置和计算设备
Jo et al. Effective computer‐assisted pronunciation training based on phone‐sensitive word recommendation
JP7131518B2 (ja) 電子機器、発音学習方法、サーバ装置、発音学習処理システムおよびプログラム
KR20140073768A (ko) 의미단위 및 원어민의 발음 데이터를 이용한 언어교육 학습장치 및 방법
JP6538399B2 (ja) 音声処理装置、音声処理方法およびプログラム
CN113223559B (zh) 一种合成语音的评测方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination