CN102202570B - 语音清晰度评价系统、其方法 - Google Patents
语音清晰度评价系统、其方法 Download PDFInfo
- Publication number
- CN102202570B CN102202570B CN201080003119.4A CN201080003119A CN102202570B CN 102202570 B CN102202570 B CN 102202570B CN 201080003119 A CN201080003119 A CN 201080003119A CN 102202570 B CN102202570 B CN 102202570B
- Authority
- CN
- China
- Prior art keywords
- speech
- sound
- voice
- user
- intelligibility evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/38—Acoustic or auditory stimuli
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/12—Audiometering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/70—Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Psychiatry (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Acoustics & Sound (AREA)
- Biomedical Technology (AREA)
- Psychology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
在用于评价助听器的调试状况的、是否清晰地听取到语音的评价中,需要用户的回答输入,从而成为用户的负担。为此,本发明提供一种语音清晰度评价系统,具备:生物体信号测量部,其测量用户的脑波信号;呈现语音控制部,其参照保存有多个单音节的语音的语音数据库来决定要呈现的语音;声音输出部,其通过声音来呈现所述呈现语音控制部决定的语音;特征分量检测部,其根据由所述生物体信号测量部测量到的所述用户的脑波信号,判定以呈现所述声音的时刻为起点,在800ms±100ms中的事件关联电位的特征分量的有无;和语音清晰度评价部,其基于所述特征分量检测部的判定结果,判定所述用户是否听取到所述语音。
Description
技术领域
本发明涉及一种用于评价是否能听到语音的技术。更具体地说,本发明涉及一种评价“调试(fitting)”的程度的语音清晰度的评价系统,该“调试”是在助听器等中调整声音的每一频率的放大量,从而得到对各个用户而言为适当大小的声音。
背景技术
近年,随着社会的高龄化,老年性的重听者不断增加。另外,因长时间听大音量的音乐的机会增加等影响,音乐性的重听者不断增加。
另外,随着助听器的小型化·高性能化,用户对于佩戴助听器的抵触也越来越少。因此,以日常生活中的会话听取提高为目的,利用助听器的用户不断增加。
助听器是用于通过使用户难以听取的频率的声音放大来补充用户下降的听力的装置。用户用助听器所求的声音的放大量是根据每个用户的听力下降的程度而不同。为此,在开始助听器的利用前,首先配合每个用户的听力来调整声音的放大量的“调试”是必须的。
调试是以使助听器的每一频率的输出声压为MCL(most comfortable level:用户感到最适的声压等级)为目标来进行。在调试不适当的情况下,例如,因放大量不足而使声音听得不十分清楚,另外,在放大过度的情况下,有使用户感到很吵等问题。
调试一般是基于每个用户的听力图来进行的。“听力图”是评价纯音的听得见的结果,例如,针对多个频率(例如250Hz、500Hz、1000Hz、2000Hz、4000Hz)的声音,分别按照频率来绘制该用户能够听取的最小的声压等级(分贝值)的图。
为了进行调试,首先,需要创建每个用户的听力图。然后,基于用于根据创建的听力图来估计每个用户的MCL的函数的调试方式来进行。
然而,现状是,对于全部用户,仅根据听力图来决定使会话的听取清晰度提高的最适合的声音的放大量的调试的方法尚未确立。作为其理由,可列举诸如听力图与会话的听取能力不一一对应、重听者感觉到适当的大小的声压的范围窄、多种调试方法混杂在一起。
为此,为了评价调试的程度,需要语音清晰度评价。“语音清晰度评价”是实际上是否听取到语音的评价,为是否听取到单音节的语音的听取能力的评价。单音节的语音表示一个元音或者辅音与元音的组合(例如,日语“あ”/“だ”/“し”)。由于助听器佩戴的目的是对会话的听辨,故需要重视语音清晰度的评价结果。
现有技术的语音清晰度评价按以下的步骤来进行。首先,通过利用日本听觉医学会制定的57S式语表(50单音节)、或者67S式语表(20单音节)来逐个口头或CD重放以使用户来听。接下来,用发话或者记述等方法使用户回答在所呈现的语音中听取到哪一个语音。然后,评价者对照语表和回答来计算正确率。
但是,在上述评价方法中,由于用户需要发话或者记载来回答,故评价者需要用手的操作来进行用户的回答的正误判定。因此,这对用户而言、对评价者而言均是负担大且耗时的检查。
为此,例如,在专利文献1中,公开一种语音清晰度评价方法,其为了减轻评价者的负担,利用个人计算机(PC)来自动进行正误判定。具体而言,在专利文献1中,提案了这样一种方法:利用PC来对用户呈现单音节的声音,使用户用鼠标或者笔触来回答,并将回答作为PC的输入来受理,且自动地进行呈现的声音与回答输入之间的正误判定。通过用鼠标或者笔触来受理回答输入,将不需要评价者来解读·识别用户的回答(发话或者记述),从而实现评价者的工作量的大幅度削减。
另外,在例如专利文献2中,为了减轻用户的回答输入的负担,公开了一种在声音呈现后用文字来呈现符合的语音的选择候补的语音清晰度评价方法。在专利文献2中,通过将选择候补锁定在几个且使用户从几个文字中选择符合的语音,从而减少了用户找寻文字的工作量。此外,在专利文献2中,利用PC来受理回答输入,从而实现了评价者的负担的减轻。
专利文献1:JP特开平9-038069号公报
专利文献2:JP特开平6-114038号公报
然而,在专利文献1以及专利文献2记载的语音清晰度评价方法中,需要用户的回答输入。为此,回答输入的动作依然作为用户的负担而存在。特别对于不习惯PC操作的重听者以及高龄者,利用鼠标或者笔触的回答输入是不容易的。另外,还有这种可能性:因操作失误而误选择不同的单音节矩阵,结果没有正确地评价语音清晰度。
发明内容
本发明的目的在于,实现一种对用户而言不需要进行繁杂回答输入的语音清晰度评价系统。
本发明的语音清晰度评价系统,具备:生物体信号测量部,其测量用户的脑波信号;呈现语音控制部,其参照保存有多个单音节的语音的语音数据库来决定要呈现的语音;声音输出部,其通过声音来呈现所述呈现语音控制部决定的语音;特征分量检测部,其根据由所述生物体信号测量部测量到的所述用户的脑波信号,判定以呈现所述声音的时刻为起点,在800ms±100ms中的事件关联电位的特征分量的有无;和语音清晰度评价部,其基于所述特征分量检测部的判定结果,判定所述用户是否听取到所述语音。
本发明也可以构成为,在所述事件关联电位是利用国际10-20法中的电极位置Pz而取得且若所述事件关联电位中存在规定值以上的分量,则由所述特征分量检测部判定为在所述事件关联电位中存在特征分量的情况下时,当所述特征分量检测部判定为在所述事件关联电位中不存在所述特征分量时,所述语音清晰度评价部判定为所述用户已听取到所述语音,当所述特征分量检测部判定为在所述事件关联电位中存在所述特征分量时,所述语音清晰度评价部判定为所述用户未听取到所述语音。
本发明也可以构成为,在所述事件关联电位是利用国际10-20法中的电极位置Cz而取得,且若所述事件关联电位中存在规定值以下的分量,则由所述特征分量检测部判定为在所述事件关联电位中存在特征分量的情况下时,当所述特征分量检测部判定为在所述事件关联电位中不存在所述特征分量时,所述语音清晰度评价部判定为所述用户听取到所述语音, 当所述特征分量检测部判定为在所述事件关联电位中存在所述特征分量时,所述语音清晰度评价部判定为所述用户未听取到所述语音。本发明也可以构成为,所述语音数据库,将多个语音的每一个和声音、辅音信息以及与异听产生概率有关的组相关联地进行存储。
本发明也可以构成为,所述语音清晰度评价部,按每个语音、按每个辅音、或者、按每个所述与异听产生概率有关的组来评价语音清晰度。
本发明也可以构成为,所述语音数据库保存有以多种调试方式调整过频率增益的多个声音集,所述语音清晰度评价系统还具备调试方式切换部,其通过规则地或者随机地切换选择保存在所述语音数据库中的声音集,来选择所述多种调试方式中的一种。
本发明也可以构成为,在所述声音输出部通过声音呈现由所述调试方式切换部选择的声音集内的语音的情况下,所述语音清晰度评价部按照所述多种调试方式的每一种来比较是否听取到所述语音的判定结果,在判定为听取到所述语音的概率高的情况下,判定为是适合于所述用户的调试方法。
本发明的其他的语音清晰度评价系统,具备:呈现语音控制部,其参照保存有多个单音节的语音的语音数据库来决定要呈现的语音;声音输出部,其通过声音来呈现所述呈现语音控制部决定的语音;特征分量检测部,其根据由测量用户的脑波信号的生物体信号测量部测量到的所述用户的脑波信号,判定以呈现所述声音的时刻为起点,在800ms±100ms中的事件关联电位的特征分量的有无;和语音清晰度评价部,其基于所述特征分量检测部的判定结果,判定所述用户是否听取到所述语音。
本发明的语音清晰度评价方法,包括:测量用户的脑波信号的步骤;参照保存有多个单音节的语音的语音数据库来决定要呈现的语音的步骤;通过声音来呈现所决定的所述语音的步骤;根据所测量的所述用户的脑波信号,判定以呈现所述声音的时刻为起点,在800ms±100ms中的事件关联电位的特征分量的有无的步骤;和基于判定结果,判定所述用户是否听取到所述语音的步骤。
本发明的计算机程序是由计算机执行的计算机程序,所述计算机程序使以下步骤执行:接收所测量到的用户的脑波信号的步骤;参照保存有多 个单音节的语音的语音数据库来决定要呈现的语音的步骤;通过声音来呈现所决定的所述语音的步骤;根据所测量的所述用户的脑波信号,判定以呈现所述声音的时刻为起点,在800ms±100ms中的事件关联电位的特征分量的有无的步骤;和基于判定结果,判定所述用户是否听取到所述语音的步骤。
根据本发明,能够根据声音呈现后的用户的头部中心部的脑波的特征分量的有无,来定量且自动地评价用户是否听取到所呈现的语音。这样,对用户而言,将不需要繁琐的回答输入,能够实现对评价者而言对用户而言负担均少的听取结果的评价。
附图说明
图1是表示行动实验的实验步骤的概要的图。
图2是表示与3个条件对应的每一频率的增益调整量的图。
图3是表示1次试行(试验)的步骤的流程图。
图4是通过按钮按下的结果来表示分类的参加者的声音听辨的自信度、和按钮按下的正误的概率的图。
图5是表示国际10-20法的电极位置的图。
图6是表示脑波测量实验的实验步骤的概要的图。
图7是表示1次试行的步骤的流程图。
图8是基于听辨自信度来对于以声音呈现为起点的Pz中的事件关联电位进行总加法平均后的波形图。
图9是按每听辨自信度来表示以电极位置C3、Cz、C4中的声音呈现为起点的事件关联电位的从700ms到900ms的区间平均电位的图。
图10是表示由本申请发明者总结的、阳性分量的有无、听辨自信度以及听取容易度的对应关系的图。
图11是表示实施方式1的语音清晰度评价系统100的构成以及利用环境的图。
图12是表示实施方式的语音清晰度评价装置1的硬件构成的图。
图13是表示实施方式的语音清晰度评价系统100的功能模块的构成的图。
图14是表示语音DB71的例子的图。
图15是表示语音清晰度评价结果的例子的图。
图16是表示在语音清晰度评价系统100中所进行的处理的步骤的流程图。
图17是表示在为英语的情况下的语音清晰度评价结果的例子的图。
图18是表示与语音输出部11对应的耳机的外观的图。
图19是表示实施方式2的语音清晰度评价系统200的功能模块的构成的图。
图20是表示实施方式2的语音DB72的例子的图。
图21是表示作为从调试方式A到C的每一个中的语音清晰度评价结果的、按每个语音来评价语音清晰度的例子的图。
图22是表示调试方式的评价结果的例子的图。
图23是表示实施方式的语音清晰度系统200的处理步骤的流程图。
具体实施方式
以下,参照附图,说明本发明的语音清晰度评价系统的实施方式。
本发明的语音清晰度评价系统被用在利用脑波的语音清晰度的评价中。更具体地说,语音清晰度评价系统用于,用声音来呈现单音节的语音,并以用户的脑波信号的事件关联电位为指标,以使用户听辨声音的设定来对使以声音呈现为起点的、语音的听辨进行评价。此外,在本说明书中,“呈现声音”是指输出听觉刺激,例如,从扬声器输出声音。此外,扬声器的种类是任意的。可以是设置在地板或台架上的扬声器,还可以是耳机的扬声器。
本申请发明者们为了实现用户不需要进行回答输入的语音清晰度评价,实施以下两种实验。
本申请发明者们,首先,实施用于调查声音的听辨的自信度与异听产生概率之间的关系的行动实验。具体而言,用声音和文字(平假名)来依次呈现单音节的语音,使用户确认声音和文字是否相同,并使用户用按钮来回答声音听取的自信度。其结果是,本申请发明者们确认了以下事实:在声音的听辨自信度高的情况下,异听的产生概率降低到10% 以下,在听辨自信度低的情况下,异听的产生概率高。
接着,本申请发明者们用声音来呈现单音节的语音,并通过使用户浮现与声音对应的语音的设定,以声音呈现为起点来实施测量事件关联电位的实验。然后,基于在行动实验中预先取得的听辨自信度来对事件关联电位进行加法平均。其结果是,对于以声音刺激为起点的事件关联电位,在较之于声音听辨的自信度低的情况,在自信度高的情况下,发现在头部中心部周边,从潜时(latency)700ms到900ms,引起阳性分量。
“事件关联电位”是脑波的一部分,是与外或者内的事件在行时间上关联所生成的脑的一过渡的电位变动。在此,指的是与所呈现的声音相关联的电位变动。
另外,“潜时”表示以呈现声音刺激的时刻为起点,到出现阳性分量或者阴性分量的峰值为止的时间。
根据这些确认以及发现可以得出,通过以声音呈现为起点的事件关联电位的从潜时700ms到900ms的阳性分量的有无而能够判定的声音的听辨自信度,基于该听辨自信度而能够评价语音清晰度。在现有技术中,语音清晰度评价仅基于用户的回答是否正确来进行,但通过本方式,将实现一种语音清晰度评价,其不是基于实际上是否正确地听辨出声音,而是基于用户是否认为听辨出声音。
以下,对此作更详细的说明。首先,针对为了实现不需要用户回答输入的语音清晰度评价而由本申请发明者们实施的行动实验以及脑波测量实验进行说明。其后,将作为实施方式的、评价语音的听辨的语音清晰度评价装置的概要、以及包含语音清晰度评价装置的语音清晰度评价系统的构成以及动作进行说明。
1.行动实验
本申请发明者们,为了调查与声音的听辨有关的自信度与异听产生概率之间的关系,实施了行动实验。以下,参照图1至图3,说明实施的行动实验的实验设定以及实验结果。
实验参加者是具有正常听力的大学生·研究生6名。
图1表示行动实验的实验步骤的概要。
首先,在步骤A中呈现单音节的声音。刺激语音参照《助听器调试的考虑方法(補聴器フイツテイングの考え方)》(小寺一兴、诊断和治疗所、1999年、172页),从彼此听取错误多的ナ行/マ行的对(pair)、ラ行/ヤ行的对、カ行/タ行的对中进行了选择。对实验参加者示教使得一听到声音就浮现出对应的平假名。为了使在具有正常听力的参加者中,每一声音的听辨自信度分散,呈现对频率增益加工后的三条件的声音。(1)0dB条件:作为易听辨的声音,不进行频率增益的加工。(2)-25dB条件:将250Hz-16kHz的频率的增益逐渐调整(降低)到-25dB。(3)-50dB条件:将250Hz-16kHz的频率的增益逐渐调整(降低)到-50dB。图2表示在条件(1)~(3)的每一个下的每一频率的增益调整量。使高频的频率增益降低的理由是为了再现高龄者的重听的典型的类型。一般而言,高龄重听者难以听取高频的声音的情况多。通过高频的频率增益的降低,能够对健听者模拟与高龄重听者的听清难度同等的听清。
接下来,在步骤B中,使实验参加者按下键盘的空格键。添加步骤B是为了,通过用于进入到步骤C的按钮按下,从而在实验中以参加者的节奏呈现步骤C的文字刺激。该按钮也称作“下一步”按钮。
在步骤C中,在显示器中单文字呈现了平假名。分别以0.5的概率来呈现作为一致试行的与在步骤A中呈现的声音一致的文字,以及作为不一致试行的与声音不一致的平假名。不一致的平假名将一般认为听取错误多的ナ行和マ行、ラ行和ヤ行、カ行和タ行作为对,以元音相同来选择与声音不同的行的文字。例如,在步骤A中呈现平假名“な”的情况下,对于一致试行在步骤C中呈现“な”,对于不一致试行在步骤C中呈现“ま”。
步骤D是用于确认参加者对在步骤A中所呈现的声音与在步骤C中所呈现的文字究竟感觉有多不一致的按钮按下(从键盘的数字的1到5)。分别在感觉绝对一致的情况下按下5,在感觉大概一致的情况下按下4,在不明白的情况下按下3,在感觉大概不一致的情况下按下2,在感觉绝对不一致的情况下按下1。在该按钮按下中,按下5或者1的情况下,虽然作为结果,参加者在步骤C的阶段分出了正确答案和不正确答案(产生异听),但可以说在听到在步骤A的阶段所呈现的声音的时刻是对听辨 有自信的。同样,在按下2至4的情况下,可以说参加者对声音的听辨是没有自信的。
进行将从上述步骤A到步骤D重复108次的实验(108次试行)。
图3是表示1次试行的步骤的流程图。在该流程图中,为了说明方便,记载了装置的动作和实验参加者的动作两者。
步骤S11是对实验参加者呈现单音节的声音的步骤。声音是以随机顺序来呈现0dB条件、-25dB条件、-50dB条件的三条件(步骤A)。
步骤S12是参加者听到单音节的声音就浮现对应的平假名的步骤。此外,“平假名”是在日语中表示发音的文字(表音文字)。在后述的英语或中国语的情况下,诸如单音节的单词的字符串或发音记号相当于平假名。
步骤S13是参加者按下作为下一步按钮的空格键的步骤(步骤B)。
步骤S14是以步骤S13为起点,以50%的概率用文字将与声音一致或者不一致的平假名呈现到显示器中的步骤(步骤C)。
步骤S15是确认参加者在步骤S12中浮现的平假名与在步骤S14中所呈现的平假名是否一致的步骤。
步骤S16是参加者用1至5的数字键来回答在步骤S15中感觉一致/不一致程度的步骤(步骤D)。
以下,表示行动实验的实验结果。
图4是表示由按钮按下的结果而进行了分类的参加者的声音听辨的自信度、和按钮按下的正误的概率的图。听辨的自信度按照以下的方式分类。将按下5(绝对一致)或者1(绝对不一致)的情况设为听辨自信度“高”。自信度为“高”的概率在整体试行之中占60.4%(864次试行中的522次试行)。将按下4(大概一致)、3(不明白)、2(大概不一致)的情况设为听辨自信度“低”。自信度“低”的概率在整体试行之中占39.6%(864次试行中的342次试行)。按钮按下的正误由声音与文字的一致/不一致、和所按下的按钮来判定。将一致试行中按下5(绝对一致)或者4(大概一致)的情况、以及在不一致试行中按下1(绝对不一致)或者2(大概不一致)的情况设为正确,将除此以外的情况设为错误。
图4(a)是在听辨自信度高的试行中的按钮按下的正误结果。可知 在几乎全部的试行(92%)中选择了正确的按钮。这表示在听辨自信度高的情况下,正确地听辨出声音。根据该结果可以说,在听辨自信度高的情况下,能够评价为语音清晰度高。
图4(b)是在听辨自信度低的试行中的按钮按下的正误结果。可知按下错误的按钮的概率高(42%)。这表示在听辨自信度低的情况下,容易产生异听。根据该结果可以说,在听辨自信度低的情况下,能够评价为语音清晰度低。
此外,每个参加者的异听产生概率在听辨自信度高的情况下显著性差异(significance of difference)上高(p<.01)。
以上,对于能够实现基于用户对声音的听辨自信度的语音清晰度评价的可能性,其通过行动实验而变得明确。这样,若能够用按钮按下以外的方法来测定听辨自信度,则能够基于该指标来实现无回答输入的语音清晰度评价。本申请发明者们着眼于脑波的事件关联电位,实施脑波测量实验,调查是否存在反映听辨自信度对声音而不同的分量。以下,关于脑波测量实验进行说明。
2.脑波测量实验
本申请发明者们,为了调查声音的听辨自信度与声音呈现后的事件关联电位之间的关系,实施了脑波测量实验。以下,参照图5至图9,说明实施的脑波测量实验的实验设定以及实验结果。
实验参加者是与行动实验相同的大学生·研究生6名。
本申请发明者们,以右乳突(mastoid)为基准,利用设置在头皮上的Fz、Cz、Pz、C3、C4(国际10-20法)的位置处的电极来测定脑波并进行记录。“乳突”是头盖骨的乳状突起,位于耳后的耳根下部的头盖骨。图5是表示国际10-20法的电极位置的图。将抽样频率设为200Hz,将时间常数设为1秒。在离线下施加1-6Hz的数字带通滤波。作为针对声音呈现的事件关联电位,以声音呈现为起点,分离出-100ms至1000ms的波形。事件关联电位的加法平均基于上述行动实验的、全部条件(0dB·-25dB·-50dB)下的每一参加者每一语音的听辨自信度来进行。
图6表示脑波测量实验的实验步骤的概要。
在步骤X中呈现了单音节的声音。刺激语音与行动实验相同,参照 《助听器调试的考虑方法》(小寺一兴、诊断和治疗所、1999年、172页),从彼此听取错误多的ナ行/マ行的对、ラ行/ヤ行的对、カ行/タ行的对中进行了选择。对实验参加者示教使得一听到声音就浮现出对应的平假名。另外,为了使具有正常听力的参加者的、每一声音的听辨自信度分散,与行动实验相同,呈现对频率增益加工后的下述三条件的声音。
(1)0dB条件:作为易听辨的声音,不进行频率增益的加工。
(2)-25dB条件:将250Hz-16kHz的频率的增益逐渐调整(降低)到-25dB。
(3)-50dB条件:将250Hz-16kHz的频率的增益逐渐调整(降低)到-50dB。
进行将上述步骤重复108次的实验(108次试行)。
图7是表示1次试行的步骤的流程图。针对与图3相同的模块赋予相同的参照符号,并省略其说明。与图3的差异在于,没有从步骤S13到步骤S16,实验参加者不求明示的行动。
以下,表示脑波测量实验的实验结果。
图8是基于听辨自信度来对以声音呈现为起点的Pz中的事件关联电位进行总加法平均的波形。加法平均基于上述行动实验的、全部条件(0dB·-25dB·-50dB)下的每一参加者、每一语音的听辨自信度来进行。图8的横轴为时间且其单位为ms,纵轴为电位且其单位为μV。根据图8所示的刻度而明确的那样,图的下方向与正(阳性)对应,上方向与负(阴性)对应。对齐基线以使从-100ms到0ms的平均电位为0。
图8所示的实线是在行动实验中听辨自信度高的情况、虚线是听辨自信度低的情况下的电极位置Pz处的事件关联电位的加法平均波形。根据图8可知,与表示听辨自信度高的虚线相比,听辨自信度低的实线在潜时700ms至900ms出现了阳性分量。
每一参加者的700ms至900ms的区间平均电位在听辨自信度高的情况下为-0.47μV,在自信度低的情况下为0.13μV。对区间平均电位进行t测试得到的结果是:在听辨自信度低的情况下,区间平均电位的显著性差异大(p<.05)。
根据这些结果,本申请发明者们可以导出这样的结论:以声音呈现 为起点,潜时700ms至900ms的事件关联电位反映了听辨自信度,该电位作为听辨自信度的指标是可利用的。按0ms至1000ms中的全部抽样的每一个来实施测试得到的结果是:基于听辨自信度的不同的显著性差异持续30ms以上的时间带仅为730ms至770ms、以及840ms至915ms。
图9是按每一听辨自信度来表示电极位置C3、Cz、C4中的、以声音呈现为起点的事件关联电位的700ms至900ms的区间平均电位的图。在图9所示的实心圆线是听辨自信度高的情况、空心圆线是听辨自信度低的情况下的区间平均电位。在电极位置C3、Cz、C4的每一个上,进行自信度高的情况和低的情况下的区间平均电位的t测试得到的结果是:在任一部位均存在显著性差异(p<.05)。
根据图9可知,在电极位置Cz,在听辨自信度高的情况下,事件关联电位成为阳性,在低的情况下,事件关联电位成为阴性。若着眼于事件关联电位的极性,则可知在电极位置Pz测量时(图8)和在电极位置Cz测量时(图9),极性反转。由于对于一般的P300分量,在电极位置Cz和Pz,几乎没有极性反转的情况,故在听辨自信度低的情况下,在电极位置Pz所引起的阳性分量是与P300分量不同的分量的可能性高。若根据《新生理心理学2卷(新生理心理学2巻)》(宫田监修、北大路书房、1997)14页,则“P300分量”,一般而言,是在怪(oddball)课题中对目标刺激所引起的、潜时300ms附近的事件关联电位的阳性分量。
进一步地,根据图9可知,在电极位置C3、Cz、C4,作为听辨自信度高的情况下的区间平均电位的实心圆线、与作为听辨自信度低的情况下的区间平均电位的空心圆线,电位分布类型(大小关系)不同。多重比较的结果是,在电位分布类型中存在显著性的差(p<.05)。这样,可以说即使利用电极位置C3、Cz、C4处的电位分布类型,也能够判定听辨自信度。由于电极位置C3、Cz、C4是头戴式的耳机的头带与头部接触的部位,故在利用耳机进行语音清晰度评价的情况下,电极装载变得容易。
上述的电极位置Pz处的潜时700ms至900ms的阳性分量(图8)以及电极位置C3、C4、Cz处的潜时700ms至900ms的特征分量(图9)能够通过各种方法来识别。例如,能够利用在对潜时约700ms附近的峰 值振幅的大小进行阈值处理的方法、根据典型的上述分量的波形来创建模板并计算与该模块之间的相似程度的方法等。此外,阈值·模块可以利用预先保存的典型的用户的阈值·模块,也可以按个人来创建。
另外,在本次实验中,为了确认在以声音呈现为起点的事件关联电位中出现听辨自信度中特征的分量,对6人的参加者的数据按听辨自信度平均40次左右进行加法平均。然而,通过特征量提取的方法(例如,波形的微波(wavelet)变换)或识别方法(例如,支持向量机器学习)的步骤,用非加法或者数次左右的少数加法,也能够实现阳性分量的识别。
在本申请说明书中,为了定义事件关联电位的分量,将从某时刻起起算的规定时间经过后的时刻表现为例如“潜时700ms至900ms”。这指的是能够包含以700ms至900ms的特定的时刻为中心的范围。根据《以事件关联电位(ERP)手册-P300为中心(事象関連電位(ERP)マニユアル-P300を中心に)》(加我君孝等编辑、荻原出版新社、1995)的30页上记载的表1,一般而言,在事件关联电位的波形中根据个人不同,会产生30ms至50ms的差异(偏差)。因此,所谓“约Xms”或“Xms附近”的说法指的是以Xms为中心,在其前后(例如,300ms±30ms、700ms±50ms)能够存在30至50ms的幅度。
此外,上述的“30ms至50ms的幅度”是P300分量的一般的个人差异的例子,但上述潜时700ms至900ms的阳性分量与P300比较潜时更晚,故用户的个人差异表现得更大。因此,优选更宽的幅度,例如作为100ms左右的幅度来处理。
以上,通过行动实验以及脑波测量实验,本申请发明者们发现了(1)基于用户对声音的听辨自信度,能够进行语音清晰度评价的事实、(2)以声音呈现为起点的事件关联电位的潜时700ms至900ms的阳性分量反映了听辨自信度的事实。因此,通过将事件关联电位的阳性分量用作为指标来估计对声音的听辨自信度的方法,将能够实现不用回答输入的语音清晰度评价。图10表示本申请发明者们总结的、阳性分量的有无、与听辨自信度以及听取容易度的对应关系。该对应关系是以电极位置Pz的部位的阳性分量为例而创建的。
以下,说明本发明的实施方式的语音清晰度评价系统。语音清晰度评价系统用声音来依次呈现单音节的语音,并利用以声音呈现为起点的事件关联电位的潜时700ms至900ms的阳性分量的有无,来实现语音的听取评价。这是基于本申请发明者们的上述两个发现而首次实现的、不要用户回答输入的语音清晰度评价系统。
3.实施方式1
以下,说明利用反映听辨自信度的阳性分量的语音清晰度评价系统的第1实施方式。
首先,依次呈现声音,以声音呈现时刻的每一个为起点来测量事件关联电位,在声音的听辨自信度低的情况下,对所出现的潜时700ms至900ms的特征分量进行检测,并说明评价语音的听取的语音清晰度评价系统的概要。其后,说明包含语音清晰度评价装置的语音清晰度评价系统的构成以及动作。
在本实施方式中,将探测电极(也有称作测量极的情况)设置于头顶部的位置Pz,并将基准电极设置于左右任一方的乳突,来测量探测电极与基准电极之间的电位差即脑波。如上述脑波测量实验的结果所述那样,取代Pz,即使在电极位置Cz、C3、C4装载探测电极,也能够进行听辨自信度的判定。如上述脑波测量实验的结果所述那样,取代Pz,电极位置基准电极只要在耳周边即可,可以是耳朵,也可以是耳机或眼镜的接触耳塞的部分。
此外,事件关联电位的特征分量的等级或极性根据装载脑波测量用的电极的部位、或基准电极以及探测电极的设定方法而变化。但是,若基于以下的说明,则本领域技术人员能够根据当时的基准电极以及探测电极的设定的方法来进行适当的改变,检测事件关联电位的特征分量,并进行语音清晰度的评价。那样的改变例是本发明的范畴。
另外,在上述脑波测量实验的说明中,对实验中具有正常听力的参加者呈现使频率增益减小的3条件的声音,使与重听者听到的状况接近的状况再现。但是,在实施重听者的语音清晰度评价的情况下,不需要故意呈现难以听辨的语音。在本实施方式中,是以基于根据预先测定的重听者的听力图进行调试的方式,来呈现将每一频率的增益调整为最佳 的语音为前提。
3.1.语音清晰度评价系统的构成
图11表示本实施方式的语音清晰度评价系统100的构成以及利用环境。使该语音清晰度评价系统100与后述的实施方式1的系统构成对应来进行例示。
语音清晰度评价系统100具备语音清晰度评价装置1、声音输出部11、和生物体信号测量部50。生物体信号测量部50至少与两个电极即电极A以及电极B连接。电极A贴于用户5的乳突,电极B贴于用户5的头皮上的位置(即Pz)。
语音清晰度评价系统100用声音将单音节的语音呈现给用户5,并在以声音呈现时刻为起点进行计测的用户5的脑波(事件关联电位)中,判定潜时700ms至900ms的阳性分量的有无。在此,“潜时700ms至900ms”指的是包含700ms以及900ms边界的、潜时700ms以上900ms以下的范围。然后,基于呈现声音和阳性分量的有无,不要用户5进行回答输入,自动地实现语音清晰度评价。
用户5的脑波基于电极A与电极B之间的电位差,由生物体信号测量部50取得。生物体信号测量部50用无线或者有线将与电位差对应的信息发送到语音清晰度评价装置1。在图11中,表示了生物体信号测量部50用无线将该信息发送到语音清晰度评价装置1的例子。
语音清晰度评价装置1进行用于语音清晰度评价的声音的声压控制、或声音以及文字的呈现时机的控制,并经由声音输出部11(例如,扬声器)对用户5呈现声音。
图12表示本实施方式的语音清晰度评价装置1的硬件构成。语音清晰度评价装置1具有CPU30、存储器31、和音频控制器32。它们由总线34彼此连接,能够彼此进行数据的收发。
CPU30执行被存储在存储器31中的计算机程序35。在计算机程序35中记述有后述的流程图所示的处理步骤。语音清晰度评价装置1依照该计算机程序35,利用存储在相同存储器31中的语音数据库(DB)71,进行控制语音清晰度评价系统100的整体的处理。该处理在后面详述。
音频控制器32依照CPU30的命令,分别生成要呈现的声音,并将 生成的声音信号输出到声音输出部11。
此外,语音清晰度评价装置1可以作为在一个半导体电路中嵌入计算机程序的DSP等硬件来实现。这样的DSP能够在一个集成电路中全部实现上述的CPU30、存储器31、音频控制器32的功能。
上述的计算机程序35作为记录在CD-ROM等记录介质中的制品而流通到市场,或者,能够通过互联网等电气通信线路来传输。图12所示的具备硬件的设备(例如PC)通过读取该计算机程序35而能够作为本实施方式的语音清晰度评价装置1来发挥功能。此外,语音DB71可以不保存在存储器31中,而可以保存在例如与总线34连接的硬件(未图示)中。
图13表示本实施方式的语音清晰度评价系统100的功能模块的构成。语音清晰度评价系统100具有声音输出部11、生物体信号测量部50、和语音清晰度评价装置1。图13还表示了语音清晰度评价装置1的详细的功能模块。即,语音清晰度评价装置1具备阳性分量检测部60、呈现语音控制部70、语音DB71、和语音清晰度评价部80。此外,为了说明方便,表示了用户5的模块。
语音清晰度评价装置1的各功能模块(除了语音DB71)通过分别执行与图12关联说明的程序,作为整体对应了由CPU30、存储器31、音频控制器32在其时实现的功能。
语音DB71是用于进行语音清晰度评价的语音的数据库。图14表示语音DB71的例子。在图14所示的语音DB71中,通过呈现的声音文件、辅音标签、异听产生似然(异听的产生容易度)来关联对应经分组的数据。关于所保存的声音,使基于根据预先测定的重听者的听力图进行调试的方式,来调整每一频率的增益。所保存的语音的种类可以是在57S语表、67S语表中列举的语音。辅音标签在评价用户5对于哪一个辅音异听产生的概率高时进行利用。经分组的数据在评价用户5对于哪一个组异听产生的概率高时进行利用。将分组设定为诸如大分类、中分类、小分类。
大分类按照元音、无声辅音、有声辅音的分类,分别标记为0、1、2。中分类是无声辅音内、有声辅音内的分类。无声辅音内能够分类为サ行 (中分类:1)和タ·カ·ハ行(中分類:2),有声辅音内能够分类为ラ·ヤ·ワ行(中分类:1)和ナ·マ·ガ·ザ·ダ·バ行(中分类:2)。小分类能够分类为ナ·マ行(小分类:1)和ザ·ガ·ダ·バ行(小分类:2)。关于异听产生可能性,参照《助听器调试的考虑方法》(小寺一兴、诊断和治疗所、1999年、172页)。
再次参照图13。呈现语音控制部70参照语音DB71来决定呈现的语音。呈现语音控制部70可以例如以随机的顺序来选择·决定语音,还可以从语音清晰度评价部100接收未评价/再评价的语音的信息来进行决定。另外,呈现语音控制部70为了得到与对于哪个辅音、或者对于哪个语音组异听的产生概率高有关的信息,可以选择特定的辅音、或者语音组的声音。
呈现语音控制部70控制声音输出部11以使用声音将按这种方式决定的语音呈现给用户5。另外,配合声音呈现时刻,将触发以及呈现声音的内容发送到阳性分量检测部60。
声音输出部11再生由呈现语音控制部70指定的单音节的声音,并呈现给用户5。
生物体信号测量部50是用于测量用户5的生物体信号的脑波仪,测量作为生物体信号的脑波。设定用户5预先装载有脑波仪。脑波测量用的电极装载于例如头顶部的Pz。
阳性分量检测部60接收由生物体信号测量部50测量的用户5的脑波。然后,阳性分量检测部60以从呈现语音控制部70所接收的触发为起点,将规定区间(例如,-100ms至1000ms的区间)的事件关联电位从收到的脑波中分离出来。
其后,阳性分量检测部60根据从呈现语音控制部70接收到的呈现声音的内容,进行对分离出的事件关联电位的加法平均。阳性分量检测部60可以仅选择相同的语音来进行加法平均,也可以选择带相同辅音的语音来进行加法平均。另外,可以按组的大分类·中分类·小分类来进行。在仅用相同的语音来进行加法平均的情况下,能够进行每个语音的听辨评价,在用带有相同辅音来进行加法评价的情况下,能够进行对于哪一个辅音听辨的清晰度低的评价。另外,在对每个组进行加法平均的 情况下,能够进行例如在有声辅音和无声辅音中,对于无声辅音,听辨的清晰度低那样的、组的听辨评价。在此所说的大分类、中分类、小分类指的是刚才参照图14说明的分类。
通过这样计算加法平均来实现每个语音、每个辅音、每个组的听辨评价。在每个辅音、每个组的加法平均中,分别得到确保了一定程度加法次数的加法波形。接下来,阳性分量检测部60识别事件关联电位来判定潜时700ms至900ms的阳性分量的有无。
阳性分量检测部60通过以下的方法来识别阳性分量的有无。例如,阳性分量检测部60将潜时700ms至900ms的最大振幅或潜时700ms至900ms的区间平均电位与规定的阈值进行比较。然后,在区间平均电位比阈值大的情况下,识别为“有阳性分量”,在小的情况下,识别为“无阳性分量”。或者,阳性分量检测部60可以根据从潜时700ms至900ms的典型的阳性分量信号的波形而创建的规定的模板、与从潜时700ms至900ms的事件关联电位的波形之间的类似度(例如,相关函数)进行判定,并将判定为类似的情况识别为“有阳性分量”,将判定为“不类似”的情况识别为“无阳性分量”。规定的阈值或模板可以根据预先保存的一般用户的阳性分量的波形来计算·创建,还可以根据个人的阳性分量的波形来计算·创建。
此外,“阳性分量”一般指的是比0μV大的事件关联电位的电压分量。但是,在本申请说明书中,“阳性分量”不需要绝对是阳性(比0μV大)。在本申请说明书中,由于是为了识别听辨自信度高还是低而识别“阳性分量”的有无,故只要能够区别听辨自信度的显著性差异的高低,区间平均电位等在0μV以下也可以。例如,在图8中,在从约700ms到约800ms之间存在有显著性差异的区间。此时的事件关联电位的电压值约为0μV。充分假设即使在800ms±100ms的区间为大约0μV,也存在显著性差异的情况。由此,值得留意的是“阳性分量”不是必须在实际上为阳性。在本申请说明书中,将为了识别听辨自信度的高低而能够利用的事件关联电位的分量称作“特征分量”。或者,更广义地,还可以称作事件关联电位的“规定值以上的分量”。
语音清晰度评价部80从阳性分量检测部60接收每个语音的阳性分 量的有无的信息。语音清晰度评价部100基于接收到的信息来评价语音清晰度。
清晰度的评价依照诸如图10所示的规则、以及阳性分量的有无来进行。如图10所示,语音清晰度评价部80将无阳性分量且听辨自信度高的情况评价为“○”(=清晰度高),并将有阳性分量、且听辨自信度低的情况评价为“△”(=清晰度低)。
图15(a)~(c)表示语音清晰度评价结果的例子。图15(a)、(b)、(c)分别是根据每个语音、每个辅音、每个组的加法平均来评价每个语音、每个辅音、每个组的清晰度的例子。图15(c)中的分组是,大分类按照元音/无声辅音/有声辅音的分类而表示为0/1/2,中分类是无声辅音内/有声辅音内的各自的1/2,小分类在ナ·マ行/ザ·ガ·ダ·バ行的分类表示为1/2。能够以○/△来分别评价每个语音、每个辅音、每个组。这样,例如,像图15的语音“な”那样语音清晰度低的情况下,明确了是仅“な”的清晰度低、还是“ナ行”的清晰度低、还是“有声辅音”整体清晰度低。另外,例如,像如“や”那样,虽然“や”能够清晰地听辨,但“ヤ行”的清晰度低的情况下,能够检测潜在的清晰度的低。另外,例如,若按每个语音来计算已评价为例如语音清晰度高的○的概率,则可以将计算出的高清晰度概率设定为最终的语音清晰度评价。
3.2.语音清晰度评价系统的动作
接下来,参照图16来说明在图13的语音清晰度评价系统100中进行的整体的处理。图16是表示在语音清晰度评价系统100中所进行的处理的步骤的流程图。
在步骤S101中,呈现语音控制部70参照语音DB71来决定呈现的单音节的语音,并经由声音输出部11用声音将该语音呈现给用户5。然后,呈现语音控制部70对阳性分量检测部60发送呈现的声音的信息以及触发。呈现语音控制部70可以从语音DB71中随机地选择呈现的语音,也可以集中地选择特定的辅音或者组的语音。
在步骤S102中,阳性分量检测部60从呈现语音控制部70接收触发,并在由生物体信号测量部50测量的脑波之中,分离出例如将以触发为起点的从-100ms到1000ms的脑波,即事件关联电位。然后,求取-100ms 至0ms的平均电位,并校正所得到的事件关联电位的基线使得该平均电位成为0μV。
在步骤S103中,基于从呈现语音控制部70接收到的呈现语音的信息,阳性分量检测部60对在步骤S102中分离出的事件关联电位进行加法平均。加法平均在诸如每个语音、每个辅音、每个组中进行。到得到规定的加法次数,返回到步骤S101,并重复声音的呈现。“从步骤S103返回到步骤S101的步骤”表示了试行的重复。
在步骤S104中,阳性分量检测部60识别在步骤S103中进行加法平均的事件关联电位的波形,判定潜时700ms至900ms的阳性分量的有无。阳性分量的识别可以如上所述,通过与阈值的比较来进行,也可以通过与模板的比较来进行。
在步骤S105中,语音清晰度评价部100从阳性分量检测部60接收按每个语音、每个辅音、每个组在步骤S104中得到的阳性分量的有无的信息,进行语音清晰度评价,并积累评价结果。
语音清晰度评价的基准如图10所示,是阳性分量的有无。具体而言,语音清晰度评价部100将清晰度高的情况评价为“○”(=清晰度高),将清晰度低的情况评价为“△”。
通过这样的处理,能够通过以声音来呈现单音节的设定,利用以声音呈现为起点的事件关联电位的从潜时700ms至900ms的阳性分量来评价语音清晰度。
此外,通过用可携带尺寸以及重量来实现本实施方式的语音清晰度评价装置1,即使在用户利用助听器的声音环境下,也能够实现语音清晰度评价。
在本实施方式中,对假设为日语的语音清晰度评价进行了说明。但是,只要是单音节的语音,也可以是除了日语以外的语言,例如英语、中国语。在例如为英语的情况下,可以呈现如图17(a)所示那样的单音节的单词,进行每个单词的评价,还可以如图17(b)所示那样,按每个发音记号进行评价。另外,可以如图17(b)所示那样,基于异听产生概率,将单词分组,按每组来进行评价。
根据本实施方式的语音清晰度评价系统100,在不需要回答输入的前 提下,用户听到声音而浮现相对应的平假名,仅此就实现语音清晰度评价。这样,在例如助听器商店中的语音清晰度评价中,极大地减少了评价所需要的助听器用户的工作量。
此外,在图11中,虽然将声音输出部11设为扬声器,但声音输出部11也可以是耳机。图18表示与声音输出部11对应的耳机的外观。通过利用耳机,携带将变得简单,且能够在用户利用的环境下进行语音清晰度的评价。
进一步,如图18所示的耳机那样,可以与电极一起嵌入与生物体信号测量部50对应的脑波仪。在按照通过头顶部周边的方式设计的头带部,配置有与位置Pz或者Cz接触的电极Pz/Cz。而且,在配置有扬声器的耳垫,配置有参考(基准)电极以及接地电极。脑波仪(未图示)设置在诸如耳垫或头带部等耳机中。根据本实施方式,在耳机的佩戴的同时,通过电极Pz以及参考(基准)电极·接地电极与头部以及耳周边接触,能够开始脑波测量。
此外,根据图9,在利用电极Cz的情况下,Cz的极性与电极Pz的极性相反。即,若听辨自信度低,则成为阴性,若高则成为阳性。因此,只要将上述说明中的事件关联电位的阳性分量(或者规定值以上的分量)置换成事件关联电位的阴性分量(或者规定值以下的分量)即可。
4.实施方式2
在实施方式1的语音清晰度评价系统100中,通过调查从潜时700ms至900ms的特征分量的有无,来评价针对基于预先保存在语音DB71中的一种调试方式所调整的声音的语音清晰度。而且,该特征分量呈现声音,反映了对于声音呈现的听辨自信度。
还不能说基于调试理论的方式已充分确立,当前混杂着几种方式。而且,哪种调试方式最好对于每个用户而言也不同。因此,若取代基于一种调试方式进行调整的语音集,而利用基于多种调试方式进行调整的语音集来评价语音清晰度,则能够由各用户得到更加适合的结果。
为此,在本实施方式中说明了用于评价在多个调试参数中哪个调试参数适当并探索对每个用户而言最适合的调试方式的语音清晰度评价系统。
调试是通过根据听力图的形状或由主观报告求取的阈值、UCL(uncomfortable level:用户感觉不适的较大声压等级)、MCL的关系来进行每一频率的增益调整而实现。根据《助听器Q&A-为了更好的助听(補聴器Q & A-より良いフイツテイングのために)》(神崎仁他、金原出版、2001年)的79页,作为调试方式的种类,有诸如使各频率的插入增益为该频率的最小可听阈值的一半的半增益法、在此基础上考虑会话声音的频带和等级来稍微增强1000Hz至4000Hz的放大的Berger法、以半增益为基础将语音信息少且噪声分量多的250Hz和500Hz的增益分别减少10dB、5dB的POGO法、语言的长时间音响分析频率为了进入舒适等级而放大的NAL-R法。
在本实施方式的语音清晰度评价系统中,利用几种调试方式来进行变换以使实际的助听器实施保存在语音DB72中的声音数据。然后,将变换后的多种声音呈现给用户,并以声音呈现为起点,利用与听辨自信度关联而引起的特征分量,进行哪种调试方式最适合的评价。到多种声音的变换是通过按每一频率调整声音等级而实现的。例如,在利用半增益法作为调试方式的情况下,基于用户的听力图来调整每一频率的增益以使成为最小可听阈值的一半。
图19表示本实施方式的语音清晰度评价系统200的功能模块的构成。语音清晰度评价系统200具有声音输出部11、生物体信号测量部50、和语音清晰度评价装置2。针对与图13相同的模块赋予相同的参照符号,并省略其说明。此外,语音清晰度评价装置2的硬件构成与图12所示相同。通过执行规定与在实施方式1中说明的程序35(图12)不同的处理的程序,实现图19所示的本实施方式的语音清晰度评价装置2。将本实施方式的声音输出部11以及生物体信号测量部50设定为由图18所示的耳机类型来实现。
此外,在本实施方式中,为了针对基于由Cz、C3、C4测量的脑波的听辨自信度的识别方法进行记述,在诸如Cz、C3、C4处配置探测电极,并在左右一边的乳突中配置基准电极,以此为基础进行说明。但是,也可以如在实施方式1中说明的那样,在Pz处配置探测电极,在耳周边配置基准电极。
本实施方式的语音清晰度评价装置2与实施方式1的语音清晰度评价装置1的不同点在于,取代阳性分量检测部60而设置听辨自信度判定部61的点、取代语音DB71而设置语音DB72的点、以及取代语音清晰度评价部80而设置调试方式切换部90以及调试方式评价部91的点。
以下,说明听辨自信度判定部61、语音DB72、调试方式切换部90以及调试方式评价部91。
作为第1不同点的听辨自信度判定部61从配置在耳机的头带位置的电极取得脑波。然后,听辨自信度判定部61从该脑波中以声音呈现为起点分离出事件关联电位并进行加法平均,在听辨自信度低的情况下,检测所引起的特征分量,并判定听辨自信度。关于波形的分离方法、加法平均的方法与语音清晰度评价系统100中的阳性分量检测部60相同。
特征分量按照例如以下的方式进行检测。在测量电极为Cz的情况下,听辨自信度判定部61将从潜时700ms至900ms的区间平均电位与规定的阈值进行比较。然后,听辨自信度判定部61在区间平均电位比阈值大的情况下,识别为“无特征分量”,在小的情况下,识别为“有特征分量”。“规定的阈值”可以根据在预先保存的一般用户的听辨自信度低的情况下的特征分量的波形来计算,也可以根据个人的特征分量的波形来计算。
在此,说明特征分量的其他的检测方法的例子。在测量电极为C3、Cz、C4的情况下,听辨自信度判定部61可以利用图9所示的结果,计算利用各电极C3、Cz、C4的每一个所取得的事件关联电位的从潜时700ms至900ms的区间平均电位,并基于区间平均电位的大小关系来检测特征分量。例如,听辨自信度判定部61可以在C3、C4的区间平均电位比电极Cz电极大的情况下,判定为“有特征分量”,反之,在小的情况下,判定为“无特征分量”。通过这样基于多个电极中的区间平均电位的大小关系来进行判定,能够减少误检测。
作为与实施方式1的第2个不同点的语音DB72是用于进行最适合的调试方式的选定的语音数据库。图20表示语音DB72的例子。语音DB72与图14所示的语音DB71的不同在于,语音DB72保存有多个基于多种调试方式调整了用户的听力图的测定结果的声音集。声音集72a、 72b以及72c分别基于调试方式A、B以及C来进行调整。在各声音集中,按照调试方式对语音的频率增益进行调整。
对于图20所示的语音DB72的各自的调试方式的项目,与图14所示的语音DB71相同,是由呈现的声音文件、辅音标签、异听产生似然(异听的产生容易度)所进行分组的数据。所保存的语音的种类可以是在57S语表、67S语表中列举的语音。辅音标签在评价用户5对于哪一个辅音异听产生的概率高时进行利用。分组的数据在评价用户5对于哪一个组异听产生的概率高时进行利用。将分组与语音DB71同样地设定为诸如大分类、中分类、小分类。
此外,在图20中,仅针对日语进行了说明,但只要是单音节的语音,也可以利用除了日语以外的语言,例如英语、中国语。在例如为英语的情况下,针对在图17(a)中例示的单音节的单词,可以将基于多种调试方式进行调整的声音保存到数据库。
作为与第1实施方式的第3个不同点的调试方式切换部90,参照语音DB72,以规则的或者随机的顺序来选择调试方式,并以选择的调试方式来取得调整了各频率增益的语音的声音。如上述那样,作为调试方式,有半增益法、Berger法、POGO法、NAL-R法等。此外,“调试方式的选择”是与选择保存在语音DB72中的多个声音集的情况相同。所取得的声音集内的语音的声音经由声音输出部11呈现给用户5。
调试方式评价部91接收由听辨自信度判定部61给出的作为以声音呈现为起点的事件关联电位的振幅的、例如从潜时700ms至900ms的区间平均电位的信息、以及从调试方式切换部90呈现的声音的调试方式的信息。
然后,调试方式评价部91按每种调试方式来判定诸如在每个语音、每个辅音、语音组中的阳性分量的有无。
图21表示作为调试方式A至C的每一种的语音清晰度评价结果,例如按照每个语音来评价语音清晰度的例子。例如,将调试方式A设为半增益法,将调试方式B设为Berger法,将调试方式C设为POGO法。
接下来,调试方式评价部91按照每种调试方式来比较语音清晰度评价结果。“语音清晰度评价结果”是指,用户5是否听取到所呈现的语音, 换言之,是语音清晰度是否高的判定结果。例如,通过比较语音清晰度的评价结果为“○”(=清晰度高)的概率,能够进行调试方式最适合的排序。
图22表示调试方式的评价结果的例子。该评价结果基于图21的例子而计算出。在图22中表示了,基于语音清晰度高的语音的概率,将概率高的调试方式A作为对用户5最适合的调试方式而评价为“◎”,而将概率低的调试方式B作为不适合用户5的调试方式而评价为“×”。作为第2次评价结果的调试方式C表示为“△”。
此外,在上述处理(图22)中,虽然按照语音清晰度高的语音的概率将调试方式的评价决定为“◎”、“×”或者“△”,但这仅是一个例子。只要能够选择最适合的调试方式,其显示方法是任意的。另外,预先决定概率的阈值,在超过该阈值的情况下,可以视作均为适当的方式而通知给助听器用户。
接下来,参照图23的流程图,说明在语音清晰度评价系统200中所进行的整体的处理的步骤。
图23表示本实施方式的语音清晰度系统200的处理步骤。在图23中,针对进行与语音清晰度评价系统100的处理(图16)相同的处理步骤赋予相同的参照符号,并省略其说明。
本实施方式的语音清晰度评价系统200的处理与实施方式1的语音清晰度评价系统200的处理不同的点在于,以声音呈现为起点,在从700ms至900ms,省略了阳性分量的有无判定步骤S104以及语音清晰度判定部S105,并新追加了进行调试方式的评价的步骤S201至步骤S204。
在步骤S201中,调试方式切换部90参照语音DB72以及预先所测量的用户5的听力图,从由多种调试方式调整后的多个声音集中选择实施语音清晰度评价的声音集。
在步骤S202中,听辨自信度判定部61检测在听辨自信度低的情况下所引起的特征分量的有无,并基于检测结果来判定听辨自信度。
例如,在测量电极仅为中心部的Cz的情况下,将从潜时700ms至900ms的区间平均电位与规定的阈值进行比较,并在比阈值大的情况下,识别为“无特征分量”,在比阈值小的情况下,识别为“有特征分量”。 另外,在例如测量电极为C3、Cz、C4的情况下,对于C3、Cz、C4的每一个,计算从潜时700ms至900ms的区间平均电位,并基于各自的部位的区间平均电位的大小关系,在C3、C4的区间平均电位比Cz大的情况下,判定为“有特征分量”,反之,在小的情况下,判定为“无特征分量”。
在步骤S203中,调试方式评价部91基于从听辨自信度判定部61接收的听辨自信度的信息,按每种调试方式来计算自信度高的语音的概率。
在步骤S204中,调试方式评价部91基于在步骤S203中计算出的清晰语音的概率,将概率最大的调试方式作为最适合的调试方式通知给助听器用户。
通过这样的处理,按照调试方式的每一种类、且各调试方式的每个语音、每个辅音、每个语音组来测量清晰语音的概率,故能够通过概率的比较来发现对用户最适合的调试方式。这样,实现调试方式的评价。
此外,由于在本实施方式中的语音清晰度评价装置2能够携带,故即使在用户利用助听器的声音环境下,也能够实现语音清晰度评价。
根据本实施方式的语音清晰度评价系统200,对于助听器实际输出的语音,能够简单且自动地选定对每个用户最适合的调试方法。这样,由于不需要探索性的调试,故极大地缩短了调试需要的时间。
在上述的实施方式的说明中,将电极位置设定为例如国际10-20法中的Cz等。但是,对于各用户精确地特定与Cz的位置对应的头部的电极位置是困难的。因此,只要认为是电极Cz的位置(Cz周边位置)即可。关于电极位置Pz等也相同。
产业上的可利用性
根据本发明的语音清晰度评价装置以及嵌入了语音清晰度评价装置的语音清晰度评价系统,能够自动地进行语音清晰度的评价,故不仅对于像身体不自由的用户或幼儿那样不能通过按钮按下来回答的用户,而且对于所有人,助听器调试是能够利用的。
(附图符号说明)
5:用户
1、2:语音清晰度评价装置
11:声音输出部
50:生物体信号测量部
60:阳性分量检测部
61:听辨自信度判定部
70:呈现语音控制部
71:语音DB
72:语音DB
80:语音清晰度评价部
90:调试方式切换部
91:调试方式评价部
100、200:语音清晰度评价系统
Claims (9)
1.一种语音清晰度评价系统,具备:
生物体信号测量部,其测量用户的脑波信号;
呈现语音控制部,其参照保存有多个单音节的语音的语音数据库来决定要呈现的语音;
声音输出部,其通过声音来呈现所述呈现语音控制部决定的语音;
特征分量检测部,其根据由所述生物体信号测量部测量到的所述用户的脑波信号,判定以呈现所述声音的时刻为起点,在800ms±100ms中的事件关联电位的特征分量的有无;和
语音清晰度评价部,其基于所述特征分量检测部的判定结果,判定所述用户是否听取到所述语音。
2.根据权利要求1所述的语音清晰度评价系统,其中,
在所述事件关联电位是利用国际10-20法中的电极位置Pz而取得,且若所述事件关联电位中存在规定值以上的分量,则由所述特征分量检测部判定为在所述事件关联电位中存在特征分量的情况下时,
当所述特征分量检测部判定为在所述事件关联电位中不存在所述特征分量时,所述语音清晰度评价部判定为所述用户已听取到所述语音,
当所述特征分量检测部判定为在所述事件关联电位中存在所述特征分量时,所述语音清晰度评价部判定为所述用户未听取到所述语音。
3.根据权利要求1所述的语音清晰度评价系统,其中,
在所述事件关联电位是利用国际10-20法中的电极位置Cz而取得,且若所述事件关联电位中存在规定值以下的分量,则由所述特征分量检测部判定为在所述事件关联电位中存在特征分量的情况下时,
当所述特征分量检测部判定为在所述事件关联电位中不存在所述特征分量时,所述语音清晰度评价部判定为所述用户听取到所述语音,
当所述特征分量检测部判定为在所述事件关联电位中存在所述特征分量时,所述语音清晰度评价部判定为所述用户未听取到所述语音。
4.根据权利要求2或3所述的语音清晰度评价系统,其中,
所述语音数据库,将多个语音的每一个和声音、辅音信息以及与异听产生概率有关的组相关联地进行存储。
5.根据权利要求4所述的语音清晰度评价系统,其中,
所述语音清晰度评价部,按每个语音、按每个辅音或者按每个所述与异听产生概率有关的组来评价语音清晰度。
6.根据权利要求1所述的语音清晰度评价系统,其中,
所述语音数据库保存有以多种调试方式调整过频率增益的多个声音集,
所述语音清晰度评价系统还具备调试方式切换部,其通过规则地或者随机地切换选择保存在所述语音数据库中的声音集,来选择所述多种调试方式中的一种。
7.根据权利要求6所述的语音清晰度评价系统,其中,
在所述声音输出部通过声音呈现由所述调试方式切换部选择的声音集内的语音的情况下,
所述语音清晰度评价部按照所述多种调试方式的每一种来比较是否听取到所述语音的判定结果,在判定为听取到所述语音的概率高的情况下,判定为是适合于所述用户的调试方法。
8.一种语音清晰度评价系统,具备:
呈现语音控制部,其参照保存有多个单音节的语音的语音数据库来决定要呈现的语音;
声音输出部,其通过声音来呈现所述呈现语音控制部决定的语音;
特征分量检测部,其根据由测量用户的脑波信号的生物体信号测量部测量到的所述用户的脑波信号,判定以呈现所述声音的时刻为起点,在800ms±100ms中的事件关联电位的特征分量的有无;和
语音清晰度评价部,其基于所述特征分量检测部的判定结果,判定所述用户是否听取到所述语音。
9.一种语音清晰度评价方法,包括:
测量用户的脑波信号的步骤;
参照保存有多个单音节的语音的语音数据库来决定要呈现的语音的步骤;
通过声音来呈现所决定的所述语音的步骤;
根据所测量到的所述用户的脑波信号,判定以呈现所述声音的时刻为起点,在800ms±100ms中的事件关联电位的特征分量的有无的步骤;和
基于进行判定的所述步骤所判定得到的结果,判定所述用户是否听取到所述语音的步骤。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009159105 | 2009-07-03 | ||
JP2009-159105 | 2009-07-03 | ||
PCT/JP2010/004358 WO2011001693A1 (ja) | 2009-07-03 | 2010-07-02 | 語音明瞭度評価システム、その方法およびそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102202570A CN102202570A (zh) | 2011-09-28 |
CN102202570B true CN102202570B (zh) | 2014-04-16 |
Family
ID=43410779
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080003119.4A Active CN102202570B (zh) | 2009-07-03 | 2010-07-02 | 语音清晰度评价系统、其方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8655440B2 (zh) |
JP (1) | JP4690507B2 (zh) |
CN (1) | CN102202570B (zh) |
WO (1) | WO2011001693A1 (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012108128A1 (ja) | 2011-02-10 | 2012-08-16 | パナソニック株式会社 | 脳波記録装置、補聴器、脳波記録方法およびそのプログラム |
JP5717574B2 (ja) * | 2011-07-27 | 2015-05-13 | 京セラ株式会社 | 携帯電子機器 |
CN103135751A (zh) * | 2011-11-30 | 2013-06-05 | 北京德信互动网络技术有限公司 | 基于声控的智能电子设备和声控方法 |
CN103366759A (zh) * | 2012-03-29 | 2013-10-23 | 北京中传天籁数字技术有限公司 | 语音数据的测评方法和装置 |
CN103054586B (zh) * | 2012-12-17 | 2014-07-23 | 清华大学 | 一种基于汉语言语测听动态词表的汉语言语自动测听方法 |
CN103892828A (zh) * | 2012-12-26 | 2014-07-02 | 光宝电子(广州)有限公司 | 脑波感测装置 |
EP2959280B8 (en) * | 2013-02-19 | 2024-02-14 | The Regents of The University of California | Methods of decoding speech from the brain and systems for practicing the same |
JP2014176582A (ja) * | 2013-03-15 | 2014-09-25 | Nitto Denko Corp | 聴力検査装置、聴力検査方法および聴力検査用単語作成方法 |
WO2016091911A1 (en) * | 2014-12-08 | 2016-06-16 | Mybrain Technologies | Headset for bio-signals acquisition |
US20160157777A1 (en) | 2014-12-08 | 2016-06-09 | Mybrain Technologies | Headset for bio-signals acquisition |
US10037712B2 (en) * | 2015-01-30 | 2018-07-31 | Toyota Motor Engineering & Manufacturing North America, Inc. | Vision-assist devices and methods of detecting a classification of an object |
US11868354B2 (en) * | 2015-09-23 | 2024-01-09 | Motorola Solutions, Inc. | Apparatus, system, and method for responding to a user-initiated query with a context-based response |
US10372755B2 (en) | 2015-09-23 | 2019-08-06 | Motorola Solutions, Inc. | Apparatus, system, and method for responding to a user-initiated query with a context-based response |
EP3203472A1 (en) * | 2016-02-08 | 2017-08-09 | Oticon A/s | A monaural speech intelligibility predictor unit |
DE112016007250B4 (de) | 2016-09-21 | 2021-10-07 | Motorola Solutions, Inc. | Verfahren und System zum Optimieren von Spracherkennung und Informationssuche basierend auf Gesprächsgruppenaktivitäten |
US20240257812A1 (en) * | 2023-01-26 | 2024-08-01 | Meta Platforms Technologies, Llc | Personalized and curated transcription of auditory experiences to improve user engagement |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1805707A (zh) * | 2004-07-02 | 2006-07-19 | 松下电器产业株式会社 | 生体信号利用机器及其控制方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06114038A (ja) | 1992-10-05 | 1994-04-26 | Mitsui Petrochem Ind Ltd | 聴覚検査・訓練装置 |
JPH0739540A (ja) * | 1993-07-30 | 1995-02-10 | Sony Corp | 音声解析装置 |
JPH0938069A (ja) | 1995-08-02 | 1997-02-10 | Nippon Telegr & Teleph Corp <Ntt> | 語音聴力検査方法およびこの方法を実施する装置 |
DE60135741D1 (de) * | 2000-05-19 | 2008-10-23 | Baycrest Ct For Geriatric Care | Vorrichtung zur objektiven hörbewertung bei anwendung von auditiven stationären evozierten potentialen |
US7399282B2 (en) * | 2000-05-19 | 2008-07-15 | Baycrest Center For Geriatric Care | System and method for objective evaluation of hearing using auditory steady-state responses |
JP2002346213A (ja) * | 2001-05-30 | 2002-12-03 | Yamaha Corp | 聴力測定機能を持つゲーム装置およびゲームプログラム |
JP4114392B2 (ja) * | 2002-04-26 | 2008-07-09 | 松下電器産業株式会社 | 検査センター装置、端末装置、聴力補償方法、聴力補償方法プログラム記録媒体、聴力補償方法のプログラム |
US8165687B2 (en) * | 2008-02-26 | 2012-04-24 | Universidad Autonoma Metropolitana, Unidad Iztapalapa | Systems and methods for detecting and using an electrical cochlear response (“ECR”) in analyzing operation of a cochlear stimulation system |
-
2010
- 2010-07-02 JP JP2010545704A patent/JP4690507B2/ja active Active
- 2010-07-02 WO PCT/JP2010/004358 patent/WO2011001693A1/ja active Application Filing
- 2010-07-02 CN CN201080003119.4A patent/CN102202570B/zh active Active
-
2011
- 2011-03-01 US US13/037,479 patent/US8655440B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1805707A (zh) * | 2004-07-02 | 2006-07-19 | 松下电器产业株式会社 | 生体信号利用机器及其控制方法 |
Non-Patent Citations (3)
Title |
---|
JP特开2002-346213A 2002.12.03 |
JP特开2003-319497A 2003.11.07 |
JP特开平7-39540A 1995.02.10 |
Also Published As
Publication number | Publication date |
---|---|
WO2011001693A1 (ja) | 2011-01-06 |
JPWO2011001693A1 (ja) | 2012-12-13 |
CN102202570A (zh) | 2011-09-28 |
US20110152708A1 (en) | 2011-06-23 |
US8655440B2 (en) | 2014-02-18 |
JP4690507B2 (ja) | 2011-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102202570B (zh) | 语音清晰度评价系统、其方法 | |
JP4638558B2 (ja) | 語音明瞭度評価システム、その方法およびそのコンピュータプログラム | |
CN102265335B (zh) | 助听器的调整装置和方法 | |
JP5144835B2 (ja) | うるささ判定システム、装置、方法およびプログラム | |
CN102781321B (zh) | 听力判定系统及其方法 | |
US8849391B2 (en) | Speech sound intelligibility assessment system, and method and program therefor | |
JP5042398B1 (ja) | 脳波記録装置、補聴器、脳波記録方法およびそのプログラム | |
CN102781322B (zh) | 语音听取的评价系统、及方法 | |
WO2013001835A1 (ja) | 不快音圧決定システム、その方法およびそのプログラム、補聴器調整システムおよび不快音圧決定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |