CN102781322B - 语音听取的评价系统、及方法 - Google Patents
语音听取的评价系统、及方法 Download PDFInfo
- Publication number
- CN102781322B CN102781322B CN201180011703.9A CN201180011703A CN102781322B CN 102781322 B CN102781322 B CN 102781322B CN 201180011703 A CN201180011703 A CN 201180011703A CN 102781322 B CN102781322 B CN 102781322B
- Authority
- CN
- China
- Prior art keywords
- voice
- speech
- component
- user
- presented
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/38—Acoustic or auditory stimuli
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Psychiatry (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Acoustics & Sound (AREA)
- Medical Informatics (AREA)
- Psychology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明提供一种语音听取评价系统。在用于评价助听器的调试状况的助听器合适检查中,在不评价针对语音听取的舒适性的情况下,有时会选择语音清晰度高但听起来疲惫的助听处理,会成为用户的负担。本发明的语音听取评价系统具备:生物体信号计测部,其计测用户的脑波信号;呈现语音决定部,其参照保存多个单音节语音的语音数据库,来决定所呈现的单音节的语音;输出部,将所决定的语音作为听觉上的刺激依次向所述用户呈现;阳性分量判定部,其判定在以所述语音被呈现的时刻为起点600ms以上900ms以下的范围中包含的所述脑波信号的事件相关电位中是否出现了阳性分量,根据判定结果,输出所述用户是否努力听才听到所述语音的评价结果;阴性分量判定部,其判定在以所述语音被呈现的时刻为起点100ms以上300ms以下的范围中包含的所述脑波信号的事件相关电位中是否出现了阴性分量,根据判定结果,输出所述用户是否针对所述语音感觉到嘈杂的评价结果。
Description
技术领域
本发明涉及用于对用户能否舒适地听取语音进行评价的技术。更为具体而言,本发明涉及在助听器等中用于调整声音的每个频率的放大量、从而对于各个用户而言获得合适大小的声响的“调试(fitting)”的、评价语音听取时的舒适性程度的语音听取的舒适性评价系统。
背景技术
近年来,随着社会的老龄化,老年性的听力障碍者在增加。即便在年轻人当中,因长时间收听大音量音乐的机会在增加等的影响,声响性的听力障碍者正在增加。此外,随着助听器的小型化/高性能化,用户对于安装助听器的抵触也在减少。以此为背景,为了提高会话的听清楚能力,而在日常生活中配戴助听器的用户在增加。
助听器是针对构成用户难以听清的声响的各种频率之中、特定频率的信号的振幅进行放大由此来辅助用户已下降的听力的装置。用户对于助听器所谋求的声音的放大量,根据每个用户的听力下降程度而不同。因此,在开始利用助听器之前,首先需要“调试”,用来与每个用户的听力相匹配地调整声音的放大量。
进行调试的目标在于,使得助听器的每个频率的输出声压(作为声音而能感觉到的大气的压力变动)成为MCL(most comfortable level:用户舒适地感觉到的声压水平)。此时,在(1)放大量不足、或者(2)放大量过多的某一个的情况下,不能说调试是合适的。例如,这是因为在放大量不足时声音无法被听清楚、配戴助听器的目的无法实现。此外,在放大量过多时,尽管用户能够听清楚声音但是用户会感觉到嘈杂存在无法长时间使用的这一问题。因此,需要进行调试,使得不会出现上述(1)或者(2)的任意一种情况。
调试的最初步骤是测定听力敏度图(audiogram)。“听力敏度图”是评价 能够听取的纯声响的最小声压即阈值之后的结果。例如,“听力敏度图”是针对多个频率的声响的每个声响根据频率(例如250Hz、500Hz、1000Hz、2000Hz、4000Hz)对该用户能够听到的最小的声压水平(分贝值)进行绘图而得到的图。
接下来,基于用来根据听力敏度图的结果估计每个频率的放大量的函数即调试理论,决定每个频率的放大量。
但是,仅仅基于听力敏度图和调试理论的调整中,不知道是否实现了用于提高会话的听清楚清晰度的最佳调试。作为其原因,例如列举出听力敏度图与会话的听清楚能力并非一一对应、由于听力障碍者以合适的大小感觉到的声压的范围较窄因此调整很困难等等。
为此,配戴上通过上述方法进行了决定/调整后的助听器之后,要实施助听器合适检查(例如,参照非专利文献1)。助听器合适检查的必须检查项目中包括(1)语音清晰度曲线的测定、(2)环境噪音容许水平的测定的2种项目。
在语音清晰度曲线的测定中,在配戴助听器时和没有配戴助听器时(裸耳),以55dB SPL(Sound pressure level)、65dB SPL、75dB SPL以及85dB SPL的声压呈现单音节的语音声音,标示出各个声压水平各自的语音清晰度并进行比较。并且,如果与没有配戴时相比配戴时的清晰度有所提高则判断为合适。
该“语音清晰度”是指单音节的语音声音是否被听清楚的程度。语音清晰度反映了会话时的听清楚的程度。所谓“单音节的语音”表示一个元音、或者辅音和元音的组合(例如“ぁ”/“だ”/“し”)。
语音清晰度通过以下步骤来进行评价(例如非专利文献2)。首先,一个一个地再生由日本听觉医学会制定的67S式语言表(20语音)的声音,让用户来听。接下来,让用户通过发音或默写等的方法来回答将所呈现的语音作为哪个语音听到的。并且,对照评价者所呈现的语音和回答,计算全部20语音之中被正确听到的语音的比例即正确率。该正确率为语音清晰度。
对于语音清晰度的评价方法,以往公开了各种技术。例如,专利文献1中公开了利用个人计算机(PC)自动地进行正误判定的语音清晰度评价方 法。在专利文献1所提出的方法中,利用PC向用户呈现单音节的声音,让用户通过鼠标或者触摸笔(touch the pen to the display)进行回答,将回答作为PC的输入接受,自动地进行所呈现的声音和回答输入的正误判定。通过使用鼠标或者触摸笔来接收回答输入,不需要由评价者对用户的回答(发声或者默写)进行识别/解读,减少了评价者的劳动和时间。
此外,例如专利文献2中公开了在声音呈现之后以文字来呈现相应语音的候选的语音清晰度评价方法。在专利文献2中,将候选缩减至几个,从几个文字之中选择相应的语音可减少用户查找文字的劳动和时间。
另一方面,在环境噪音容许水平的测定中,同时呈现朗读声音和环境噪音并使其听取朗读声音的情况下,评价是否能够容许环境噪音(非专利文献2)。具体而言,以65dB SPL呈现朗读声音,以55dB SPL呈现环境噪音,使其报告与能否容许环境噪音相关的主观印象。作为主观印象,使其报告在噪声下听取朗读声音时能使用助听器、或者噪声下配戴助听器也很困难的哪一个。并且,将前者的情况判定为合适,将后者的情况判定为不合适。
【现有技术文献】
【专利文献】
【专利文献1】JP特开平9-038069号公报
【专利文献2】JP特开平6-114038号公报
【非专利文献】
【非专利文献1】细井裕司及其他人、「助听器合适检查的指针2008」、2008年
【非专利文献2】小寺一兴、「助听器调试的想法」、诊断与治疗社、1999年、166页
发明内容
-发明要解决的课题-
但是,在上述的助听器合适检查之中,语音清晰度曲线的测定过程中,仅基于语音清晰度来判定合适状态,而没有考虑语音听取是否舒适。因此,在语音听取时的舒适性较低的情况下,与没有配戴时相比在配戴助听器时 清晰度较高,则评价为是合适的助听处理。此外,在环境噪音容许水平的测定中,评价了能否容许环境噪音,而没有进行与语音听取其本身的舒适性相关的评价。在这些评价中,即便是由于语音听取的舒适性低因此听取过程中容易疲劳的助听处理,有时也判定为合适。舒适性较差对于日常配戴助听器的用户来说是很大的负担。
本发明的目的在于实现对与语音听取的舒适性相关的用户状态进行评价的语音听取的舒适性评价系统。
-用于解决课题的技术方案-
本发明的语音听取的评价系统具备:生物体信号计测部,其计测用户的脑波信号;呈现语音决定部,其参照保存多个单音节语音的语音数据库,来决定所呈现的单音节的语音;输出部,将所决定的语音作为听觉上的刺激依次向所述用户呈现;阳性分量判定部,其判定在以所述语音被呈现的时刻为起点600ms以上900ms以下的范围中包含的所述脑波信号的事件相关电位中是否出现了阳性分量,根据判定结果,输出所述用户是否努力听才听到所述语音的评价结果;阴性分量判定部,其判定在以所述语音被呈现的时刻为起点100ms以上300ms以下的范围中包含的所述脑波信号的事件相关电位中是否出现了阴性分量,根据判定结果,输出所述用户是否针对所述语音感觉到嘈杂的评价结果。
所述评价系统还可以具备事件相关电位处理部,该事件相关电位处理部对所述脑波信号的事件相关电位进行相加平均,在所述语音基于语音的种类以及呈现时的声压水平的至少一个而被分类时,所述事件相关电位处理部针对属于相同分类的语音被呈现时所获得的所述脑波信号的事件相关电位进行相加平均。
所述阳性分量判定部可以在以各语音被呈现的时刻为起点600ms以上900ms以下的范围中包含的所述脑波信号的事件相关电位的区间平均电位为预先确定的第1阈值以上时,判定为存在阳性分量,在所述区间平均电位小于所述第1阈值时,判定为不存在阳性分量。
所述阳性分量判定部可以在判定为存在所述阳性分量时,输出所述用户努力听才听到所述语音的这一评价结果,在判定为不存在所述阳性分量时,输出所述用户不努力听就听到所述语音的这一评价结果。
所述阴性分量判定部可以在以各语音被呈现的时刻为起点100ms以上300ms以下的范围中存在的阴性分量的峰值比预先确定的第2阈值还短时,判定为存在阴性分量,在所述阴性分量的峰值为所述第2阈值以上时,判定为不存在阴性分量。
所述阴性分量判定部可以在判定为存在所述阴性分量时,输出所述用户针对所述语音感觉到嘈杂的这一评价结果,在判定为不存在所述阴性分量时,输出所述用户针对所述语音没有感觉到嘈杂的这一评价结果。
所述语音数据库中多个语音各自与声音、辅音信息以及与听错发生概率相关的群组建立对应进行存储。
所述评价系统还可以具备结果蓄积数据库,该结果蓄积数据库蓄积所述阳性分量判定部以及所述阴性分量判定部的判定结果,所述结果蓄积数据库,针对至少一个声压水平,计算被所述阳性分量判定部判断为没有阳性分量的语音、辅音、或者与所述听错发生概率相关的群组的比例、以及被所述阴性分量判定部判定为没有阴性分量的语音、辅音、或者与所述听错发生概率相关的群组的比例,并利用计算结果来生成评价结果。
所述结果蓄积数据库中可以按每个语音、每个辅音、或者与所述听错发生概率相关的每个群组,蓄积了用于评价所述用户是否努力听才听到所述语音、以及所述用户是否针对所述语音感觉到嘈杂的信息。
所述结果蓄积数据库可以按每个语音、每个声压水平蓄积用于评价所述用户是否努力听才听到所述语音、以及所述用户是否针对所述语音感觉到嘈杂的信息。
所述呈现语音决定部可以决定呈现声音的声压水平。
所述评价系统还可以具备助听处理部,该助听处理部针对被所述呈现语音决定部决定并呈现的所述语音选择助听处理的种类,并基于所选择的助听处理对所述语音数据库中保存的语音数据进行加工。
所述评价系统还可以具备结果蓄积数据库,该结果蓄积数据库蓄积所述阳性分量判定部以及所述阴性分量判定部的判定结果,所述结果蓄积数据库中按每个语音、每个助听处理,蓄积了用于评价所述用户是否努力听才听到所述语音、以及所述用户是否针对所述语音感觉到嘈杂的信息。
本发明的语音听取的评价装置具备:呈现语音决定部,其参照保存多 个单音节的语音的语音数据库,来决定作为听觉上的刺激从输出部向用户依次呈现的单音节的语音;阳性分量判定部,其判定在由计测所述用户的脑波信号的生物体信号计测部所计测的脑波信号中,在以所述语音被呈现的时刻为起点600ms以上900ms以下的范围中包含的所述脑波信号的事件相关电位中是否出现了阳性分量;和阴性分量判定部,其判定在由计测所述用户的脑波信号的生物体信号计测部所计测的以所述语音被呈现的时刻为起点100ms以上300ms以下的范围中包含的所述脑波信号的事件相关电位中是否出现了阴性分量。
本发明的语音听取的评价方法包括如下步骤:计测用户的脑波信号;参照保存多个单音节的语音的语音数据库,来决定所呈现的单音节的语音;将所决定的语音作为听觉上的刺激向所述用户依次呈现;判定在以所述语音被呈现的时刻为起点600ms以上900ms以下的范围中包含的所述脑波信号的事件相关电位中是否出现了阳性分量;根据判定结果输出所述用户是否努力听才听到所述语音听取的评价结果;判定在以所述语音被呈现的时刻为起点100ms以上300ms以下的范围中包含的所述脑波信号的事件相关电位中是否出现了阴性分量;和根据判定结果输出所述用户是否针对所述语音感觉到嘈杂的评价结果。
本发明的计算机程序被语音清晰度评价系统中设置的计算机执行,所述计算机程序使所述语音清晰度评价系统中安装的计算机执行如下步骤:接收计测到的用户的脑波信号;参照保存多个单音节的语音的语音数据库,来决定所呈现的单音节的语音;将所决定的语音作为听觉上的刺激向所述用户依次呈现;判定在以所述语音被呈现的时刻为起点600ms以上900ms以下的范围中包含的所述脑波信号的事件相关电位中是否出现了阳性分量;根据判定结果输出所述用户是否努力听才听到所述语音的评价结果;判定在以所述语音被呈现的时刻为起点100ms以上300ms以下的范围中包含的所述脑波信号的事件相关电位中是否出现了阴性分量;和根据判定结果输出所述用户是否针对所述语音感觉到嘈杂的评价结果。
-发明的效果-
根据本发明,根据声音呈现后的用户脑波的潜伏时间约750ms的阳性分量和潜伏时间约200ms的阴性分量的有无,来判定针对语音听取付出了 多少努力(努力性)、针对语音感觉到多少嘈杂(嘈杂度),设定语音听取的舒适性。并且,除了表示语音被听清楚多少的清晰度的轴以外,还利用语音听取的舒适性的轴来实现助听处理的评价。通过将努力性/嘈杂度作为要素的舒适性评价,用户能够选择舒适性高(不需要努力听且感觉不到嘈杂度)、即便长时间配戴助听器也不容易疲惫的助听处理。
附图说明
图1是表示脑波计测实验的实验步骤的概要的图。
图2是表示1组步骤的流程图。
图3(a)是表示声音和变形的6个条件的分类的图,(b)是表示每个频率的增益调整量的图。
图4(a)是表示国际10-20法(10-20系统)的电极位置的图,(b)是表示本实验中安装电极的电极配置的图。
图5是表示与努力性相关的每个参加者的主观性评价的结果的图。
图6是表示与嘈杂度相关的每个参加者的主观性评价的结果的图。
图7(a)是按通过上述方法赋予标记的努力性高/努力性低来对头顶部(Pz)处的以声音呈现为起点的事件相关电位进行总相加平均之后的波形的图,(b)是每次采样的t检验的结果的p值的曲线图。
图8是表示根据赋予标记的“嘈杂”/“不嘈杂”的基准将头顶部(Pz)处以声音刺激为起点的事件相关电位区分开进行总相加平均之后的波形的图。
图9(a)是表示由本申请发明者总结出的阳性分量/阴性分量的有无与努力性/嘈杂度判定之间的对应关系的图,(b)是表示阳性分量以及阴性分量的有无与助听处理的评价之间的对应关系的图。
图10是表示本实施方式的舒适性评价系统100的构成以及利用环境的图。
图11是表示实施方式1的语音听取的舒适性评价装置1的硬件构成的图。
图12是表示实施方式1的舒适性评价系统100的功能模块的构成的图。
图13是表示将67S式语言表的20语音用作检查语音时的语音DB71 的例子的图。
图14是表示结果蓄积DB80中的数据蓄积的例子的图。
图15(a)~(c)是表示语音清晰度曲线的测定结果(现有的评价)、和现有的评价基础上的实施方式1的语音听取的舒适性评价结果的例子的图。
图16是表示在舒适性评价系统100中进行的处理的步骤的流程图。
图17是表示按每个单音节的单词评价努力性、嘈杂度的结果的一例的图。
图18是表示实施方式2的舒适性评价系统200的功能模块的构成的图。
图19(a)以及(b)是表示结果蓄积DB85中的数据蓄积的例子的图。
图20是表示实施方式2的语音清晰度系统200的处理步骤的流程图。
图21是示意地表示以某个声压水平呈现语音时的、现有技术的语音清晰度评价的结果和在此基础上加入了实施方式2的舒适性评价结果之后的结果的图。
图22是表示实施方式3的舒适性评价系统300的功能模块的构成的图。
图23是表示实施方式3的语音清晰度系统300的处理步骤的流程图。
具体实施方式
以下,参照附图说明本发明的语音听取的舒适性评价系统(以下记为“舒适性评价系统”。)的实施方式。
本发明的舒适性评价系统被用于作为语音听取时的用户状态、利用脑波评价用户以何种舒适度听到语音。更为具体而言,本系统中以声音呈现单音节的语音,通过让用户听清楚声音的设定,将以声音呈现为起点进行计测的用户脑波的事件相关电位作为指标,评价语音听取的舒适性。再者,在本说明书中,“事件相关电位”是脑波的一部分,是指在时间上与外在的或者内在的事件关联地产生的大脑的短暂性的电位变动。此外,“呈现声音”是指输出听觉刺激(也称为“声音刺激”。)、例如从扬声器输出声音。再者,扬声器的种类是任意的,既可以是设置在底板或座位上的扬声器,也可以是头戴式的扬声器。不过,为了正确地进行评价,扬声器需要以指定 的声压正确地进行输出。
本申请发明者提出了如下的想法,由(1)表示以多少努力听清楚了语音的“努力性”、(2)表示针对语音感觉到多少嘈杂的“嘈杂度”的2个指标来定义语音听取的舒适性。这是在对语音清晰度评价以及评价时的用户状态进行详细分析而首次获得的成果。以下进行具体说明。
在语音清晰度评价中,按每个语音声音使用○/×来评价是否被听清楚,求出被听清楚的语音的个数除以评价对象的语音数(67S式语言表是为20)之后结果。因此,语音听取时的用户状态没有反映在结果中。
但是,一般认为实际中存在能够舒适地听清楚的情况、和尽管能够听清楚但感觉不舒服的情况。语音清晰度评价是在助听器销售店中实施的短时间的评价。因此,评价中的用户会进行最大限度的努力以便要听清楚语音声音。由于用户是否感到嘈杂不是评价对象,因此如果不是无法忍受的嘈杂度则即便感觉到少许的嘈杂,用户也会忍受而完成评价项目。
但是,在日常生活中长时间配戴助听器的情况下,难以始终维持最大限度的努力来听取会话,长时间忍受嘈杂度对于用户而言是个负担。
鉴于这种状况,本申请发明者认为作为语音听取时的用户状态应该区分为不需要“努力”或者“针对嘈杂度的忍受”的情况、和需要“努力”或者“针对嘈杂度的忍受”的情况来进行评价。并且,确定为它们是语音听取时的舒适性的要素。与努力性以及嘈杂度相关的处理在大脑内分别是完全不同的处理,因此通过脑波的测定有可能对其区分来进行评价。
1.实验概要
本申请发明者以实现语音听取的舒适性评价的为目标,为了确定反映出努力性和嘈杂度的脑波特征分量而实施了以下实验。
以声音呈现单音节的语音,让用户浮想与声音对应的语音,通过该设定实施以声音呈现为起点来计测事件相关电位的脑波计测实验。在实验中,为了测定与针对语音听取的努力性/嘈杂度相关的主观性,使其进行与其相关的主观性报告。并且,基于与努力性/嘈杂度相关的主观性报告,分别对事件相关电位进行相加平均。
其结果,在以声音呈现为起点的事件相关电位中,发现了:(1)在针对声音听清楚的努力性高的情况下,与努力性低的情况相比在头顶部引起潜 伏时间约750ms的阳性分量;(2)与上述阳性分量独立地伴随着与声音相对嘈杂度的增加,潜伏时间约200ms的阴性分量(N1分量)的潜伏时间变短。所谓“潜伏时间”表示以声音刺激被呈现的时刻为起点直至阳性分量或者阴性分量出现峰值为止的时间。
根据这些发现,探索出(1)能够根据以声音呈现为起点的事件相关电位的潜伏时间约750ms的阳性分量有无来评价语音听取的努力性、(2)根据潜伏时间约200ms的阴性分量(N1分量)的潜伏时间来评价语音听取的嘈杂度。根据该方法,作为语音听取的用户状态,能够客观地且定量地评价是否在努力听/是否感觉到嘈杂。
以下,对其进行详细说明。首先,说明为了实现语音听取的舒适性评价而由本申请发明者实施的脑波计测实验。然后,说明作为实施方式的、对语音听取的舒适性进行评价的语音听取的舒适性评价装置的概要以及包含语音听取的舒适性评价装置的舒适性评价系统的构成以及动作。
2.脑波计测实验
在脑波计测实验中,研究在声音呈现后获取的关于努力性以及嘈杂度的主观性报告、与以声音为起点的事件相关电位之间的关系。以下,参照图1至图8,说明脑波计测实验的实验设定以及实验结果。
实验参加者是具有正常听力的大学生/研究生13名。
图1是脑波计测实验的实验步骤的概要。首先,在步骤A中呈现单音节的声音。所呈现的声音的详细内容在后面叙述。接下来,在步骤B中,让参加者听声音,并让其写出与所听到的声音对应的平假名。不改变呈现声音的条件,仅改变语音的种类。反复进行5次步骤A和B。然后,在步骤C中,让参加者进行针对步骤A中呈现的声音的、与努力性/嘈杂度等相关的主观性评价。主观性评价利用触摸面板通过视觉模拟评分法(100等级评价)来进行。将上述步骤A至步骤C作为1组反复进行12组(共计60次试验)。按每个组以随机的顺序改变呈现声音的声压和变形的条件。
图2是表示与1组对应的步骤的流程图。
在步骤S11中向实验参加者呈现单音节的声音。
在步骤S12中参加者听单音节的声音从而浮想对应的文字。
在步骤S13中,参加者写出与听到的声音对应的文字。
在步骤S14中,对呈现声音的次数进行计数。呈现次数为4次之前返回至S11。呈现次数为5次时进入S15,使呈现次数复位。
在步骤S15中,参加者针对步骤S11中听到的声音回答主观性。
作为刺激而呈现的语音声音,从听错较多的清辅音之中设定日本听觉医学会所制定67S式语言表的8个音(シ、ス、キ、ク、タ、テ、ト、ハ)。为了针对具有正常听力的参加者,操作作为舒适性要素的努力性、嘈杂度,使用调整了频率增益的语音声音。“频率增益”是指多个频带各自的增益(电路的增益、放大率)。
为了调整频率增益,设定了3种声压(大:Large、中:Middle、小:Small)×2种变形(无:Flat、有:Distorted)的共计6个条件。具体而言,如以下的(1)~(6)所示。在本说明书中,对于例如声压大/无变形,取Large和Flat的首字母,称为LF条件等。
(1)LF(Large Flat)条件:作为声压大且易于听清楚的声音,在所有的频带中将增益提高20dB。(2)LD(Large Distorted)条件:作为声压大但难以听清楚的声音,以MD条件为基础整体提高20dB。(3)MF(Middle Flat)条件:作为声压大且易于听清楚的声音,不进行频率增益的加工。(4)MD(Middle Distorted)条件:作为难以听清楚的声音,针对LF条件的声音将250Hz-16kHz的频率增益逐渐调整(降低)至-30dB。(5)SF(Small Flat)条件:作为声压小但易于听清楚的声音,在所有的频带中将增益降低20dB。(6)SD(Small Distorted)条件:作为声压小且难以听清楚的声音,以MD条件为基础整体降低20dB。
图3(a)表示声音和变形的6个条件的分类。此外,图3(b)表示每个频率的增益调整量。使高频带的频率增益降低,是为了模拟作为高龄听力衰弱的典型模型的高音渐倾型。从频率特性平坦的扬声器中呈现声音刺激。
脑波是以头皮上的Fz、Cz、Pz、C3、C4(国际10-20法)、左右太阳穴、右眼上下至右乳突为基准记录的。所谓“乳突”是耳朵背面的耳根下部的头盖骨的乳状突起。图4(a)表示国际10-20法(10-20系统)的电极位置,图4(b)表示本实验中安装电极的电极配置。采样频率设定为200Hz,时间常数设定为1秒。以离线方式实施0.05-6Hz的数字带通滤波。作为针对声音 呈现的事件相关电位,以声音被呈现的时刻为起点截取-200ms至1000ms的波形。在此,“-200毫秒”是指呈现声音的时刻的200毫秒前的时间带。
以下,说明主观性评价结果的分布和阈值的设定。
首先,表示主观性评价的结果。基于主观性评价结果,根据通过后述的方法所决定的每个参加者的阈值,赋予努力性/有无嘈杂度的标记。以下,将该主观性评价的标记作为语音听取时的用户状态。
图5是关于努力性的每个参加者的主观性评价的结果。图5中表示相对于全部试验的比例。图5中的实线是主观性评价结果的分布,虚线表示对主观性评价(努力性高/努力性低)进行分割的阈值。由于主观性评价的个人差异较大,因此阈值是基于每个人的评价结果(视觉模拟评分法的1~100)的顺序而决定的。具体而言,将个人的评价结果的顺序处于中央的值设定为阈值。其中,评价结果相同的作为相同的主观性评价进行处理。
图6是关于嘈杂度的每个参加者的主观性评价的结果。图6中表示相对于全部试验的比例。图6中的实线是主观性评价结果的分布,虚线表示对主观性评价价(“嘈杂”/“不嘈杂”)进行分割的阈值。与努力性同样,本申请发明者也基于每个人的评价结果(视觉模拟评分法的1~100)的顺序来决定阈值。具体而言,本申请发明者将个人的评价值的顺序中从评价值较大的一方起的三分之一设定为“嘈杂”,将此外的评价值设定为“不嘈杂”,由此来设定阈值。其中,评价结果相同的作为相同的主观性评价来处理。
接下来,说明关于努力性的实验结果。
以下,说明事件相关电位的结果。首先,说明针对根据主观性评价的结果赋予标记的、基于努力性高/努力性低进行相加平均之后的结果、基于接下来的「嘈杂」/「不嘈杂」的基准进行相加平均的结果。
图7(a)是针对头顶部(Pz)处的以声音呈现为起点的事件相关电位按通过上述方法赋予标记的努力性高/努力性低进行总的相加平均之后的波形。相加平均是基于上述计测实验的全部6个条件中的每一组的有关努力性的主观性评价来进行的。图7(a)的横轴为时间,单位是ms,纵轴为电位,单位为μV。根据图7(a)所示的刻度可知,曲线的下方对应于正(阳性),上方对应于负(阴性)。图7(a)所示的虚线为努力性低时的总的相加平均波形,实线为努力性高时的总的相加平均波形。
从图7(a)中可发现,与语音听取时的努力性低时(虚线)相比,在努力性高的情况下(实线),潜伏时间600-900ms的阳性分量的振幅较大。若观察每个主观性评价的600-900ms的区间平均电位,则在努力性低时为1.99μV,在努力性高时为2.73μV。对区间平均电位进行t检验的结果,以10%的水准存在显著性差异。图7(b)是每次采样的t检验的结果的p值。由图7(b)可知,以声音刺激为起点约600-900ms的时间带中的p值比其他时间带小。因此,可以说语音听取的努力性有可能反映在以声音呈现为起点潜伏时间约600-900ms的阳性电位。针对0ms至1000ms的全部采样的每个采样实施t检验的结果,因主观性评价不同引起的显著性差异持续了15ms以上的时间带为420-445ms、655-670ms、730-745ms、775-830ms(p<.05)。
图8是根据通过上述方法赋予标记的“嘈杂”/“不嘈杂”的基准对头顶部(Pz)处以声音刺激为起点的事件相关电位区分开进行总相加平均的波形。相加平均是基于上述计测实验的全部6个条件中的、每个组的有关嘈杂度的主观性评价来进行的。图8的横轴为时间,单位是ms,纵轴为电位,单位是μV。与图7(a)同样,根据图8中所示的刻度可知,曲线的下方对应于正(阳性),上方对应于负(阴性)。图8中所示的实线是“嘈杂”时的总相加平均波形,虚线是“不嘈杂”时的总相加平均波形。
根据图8可知,与“不嘈杂”时的虚线相比,在“嘈杂”时的实线中,在潜伏时间约200ms处引起的阴性分量(N1分量)的潜伏时间较短。每个参加者的N1分量的潜伏时间在“嘈杂”时为195ms,在“不嘈杂”时为240ms。对潜伏时间进行t检验之后的结果,确认了显著性差异(p<.05)。此外,每个参加者的潜伏时间200ms-300ms的区间平均电位在“嘈杂”时为0.14μV,在“不嘈杂”时为-1.38μV。对潜伏时间200ms-300ms的区间平均电位进行t检验,其结果“嘈杂”时的区间平均电位有意地变大(p<.05)。由此,以声音呈现为起点的N1分量的潜伏时间、以声音呈现为起点约200-300ms的阴性分量的平均电位反映了嘈杂度,能够用作语音听取时的嘈杂度指标。对0ms-1000ms中的全部采样的每一个实施t检验的结果,因主观性评价不同引起的显著性差异持续了15ms以上的时间带为50-70ms、155-175ms、225-290ms、920-935ms。
3.考察
以上,通过脑波计测实验,明确了分别反映作为语音听取的舒适性要素的努力性和嘈杂度的脑波分量的存在。具体而言,发现努力性被反映在潜伏时间约750ms处具有峰值的阳性电位,嘈杂度反映在潜伏时间约200ms处具有峰值的阴性电位。
关于阴性分量,以往存在如下报告,即:作为刺激呈现纯声响时,随着刺激声响的声压增加,N1分量(潜伏时间约100ms的阴性分量)的振幅增大(例如,Naatanen,R.,& Picton,T.W.(1987).The N1wave of the human electric and magnetic response to sound:a review and an analysis of the component structure.Psychophysiology,24,375-425.)。
但是,由于N1分量的振幅除了声压以外,还因刺激声响的上升沿、持续时间而变化,因此将上升沿、频率、功率随时间变化的“语音”用作刺激时的声压水平与阴性分量的关系性并不明确。此外,尚不知道反映声音刺激听取时的嘈杂度的主观性报告(“嘈杂”/“不嘈杂”)并在N1分量中存在差异。
由此,可以说通过本申请发明者所实施的脑波计测实验,首次明确了反映语音听取时的用户的有关嘈杂度的主观性(“嘈杂”/“不嘈杂”)从而潜伏时间约200ms的阴性分量的振幅增大这一事实。
对于上述头顶部(Pz)处的潜伏时间约750ms的阳性分量(图7)以及与嘈杂度有关的每个主观性评价的潜伏时间约200ms的阴性分量(图8),能够通过例如对相应区间的峰值振幅的大小进行阈值处理的方法、根据典型的上述分量的波形来制作模板并计算与该模板的相似度的方法等能够进行识别。再者,阈值/模板既可以利用预先保存的典型用户的数据来生成,也可以按每个人来生成。
此外,在本次的实验中,为了确认在以声音被呈现的时刻为起点的事件相关电位中出现了反映与听清楚自信度、嘈杂度相关的主观性的分量,对13人的参加者的数据进行了相加平均。但是,通过在特征量提取的方法(例如波形的小波变换)、识别方法(例如支持向量机学习support vector machine learning)方面下工夫,即便是不进行相加或者几次左右的少量相加 也能够识别阳性分量/阴性分量。
在本说明书中,为了定义事件相关电位的分量,将从某个时间点其经过规定时间之后的时刻表述为例如“潜伏时间约700ms”。这是指能够可包含以700ms这一特定时刻为中心的范围。根据“以事件相关电位(ERP)手册-P300为中心”(加我君孝编辑、筱原出版新社、1995)的30页所记载的表1,一般在事件相关电位的波形中每个人会出现30ms至50ms的差异(偏差)。因此,“约Xms”或“Xms附近”这种语言意味着以Xms为中心、其前后存在30至50ms的宽度(例如,300ms±30ms、700ms±50ms)。
再者,尽管上述的“30ms至50ms的宽度”是P300分量的一般性的个人差异的例子,但是上述潜伏时间约700ms的阳性分量与P300相比由于潜伏时间延迟,因此用户的个人差异会进一步变大。因此,优选处理更宽的宽度、例如在前后各100ms至150ms左右的宽度。这样,在本实施方式中,“潜伏时间约750ms”表示存在于潜伏时间600ms以上900ms以下的范围内的潜伏时间。
此外,对于“潜伏时间200ms附近”或“潜伏时间约200ms”而言,既可以针对潜伏时间200ms在前后各具有30至50ms的宽度,也可以具有比它宽一些的宽度、例如在其前后各具有50ms至100ms的宽度。
以上,通过本申请发明者实施的脑波计测实验,明确了在以声音被呈现的时刻为起点的事件相关电位中(1)潜伏时间约750ms的阳性分量反映语音听取的努力性、(2)潜伏时间约200ms的阴性分量反映嘈杂度。努力性和嘈杂度是在本申请发明者所确定的语音听取时应该评价的舒适性的2个要素。
此外,基于以针对声音刺激的事件相关电位为指标进行了评价的努力性和嘈杂度的结果,将其合并能够实现语音听取的舒适性评价。
图9(a)表示由本申请发明者总结出的阳性分量/阴性分量的有无与努力性/嘈杂度判定的对应关系。基于有无阳性分量,在没有阳性分量时(阳性分量的振幅小于阈值)判定为努力性低,在有阳性分量时(阳性分量的振幅大于阈值)判定为努力性高。此外,基于有无阴性分量,在没有阴性分量时(阴性分量的潜伏时间较长为阈值以上)判定为“不嘈杂”,在有阴性分量时(阴性分量的潜伏时间比阈值短),判定为“嘈杂”。
再者,一般情况下,“阳性分量”意味着大于0μV的电位。但是,在本申请说明书中,“阳性分量”并不需要绝对是阳性(比0μV大)。在本申请说明书中,为了识别听清楚自信度是高还是低,只要能够识别出“阳性分量”的有无,辨别听清楚自信度的有意的高低,则区间平均电位等也可以是0μV以下。
再者,一般情况下“阴性分量”意味着无论潜伏时间的长短都小于0μV的电位。但是,在本申请说明书中,为了识别是否感觉到“嘈杂”,将潜伏时间比规定的阈值还短的情况定义为“有阴性分量”,将潜伏时间比规定的阈值还长的情况定义为“没有阴性分量”。阈值的具体例在后面叙述。
此外,图9(b)表示阳性分量以及阴性分量的有无与助听处理的评价的对应关系。单元格(A)是阳性分量/阴性分量都存在的情况。在该情况下,评价为增益调整之后的频率并非最佳、或者每个频率的增益调整量过多。单元格(B)是存在阳性分量但不存在阴性分量的情况。在该情况下,评价为尽管通过努力能够听清楚需要努力去听不适合于日常配戴助听器的情况。单元格(C)是不存在阳性分量而存在阴性分量的情况。在该情况下,评价为尽管在语音听取中不需要努力但在整体上放大过度。单元格(D)是阳性分量/阴性分量都不存在的情况。在该情况下,评价为是用户能够舒适地听清楚语音的合适的助听处理。
这样,基于阳性分量和阴性分量的有无,来判定努力性、嘈杂度,并通过评价语音听取的舒适性,即便是相同的清晰度,也能够判定用户在语音听取时是否需要努力、是否感觉到“嘈杂”。因此,例如按照在结果符合单元格(B)时整体提高增益调整量,此外在结果符合单元格(C)时整体降低增益调整量的方式,实现用于提高语音听取的舒适性的具体的调试步骤。
以下,说明本发明的实施方式涉及的舒适性评价系统。舒适性评价系统利用声音依次呈现单音节的语音,并基于以声音被呈现的时刻为起点的事件相关电位的潜伏时间约750ms的阳性分量和潜伏时间约200ms的阴性分量的有无,判定语音听取的努力性和嘈杂度,实现舒适性评价。这是基于本申请发明者的发现而首次实现的。
4.实施方式1
以下,首先说明舒适性评价系统的概要。然后,说明包含语音听取的舒适性评价装置在内的舒适性评价系统的构成以及动作。
本实施方式的舒适性评价系统依次呈现声音,并分别以声音呈现时刻为起点来计测事件相关电位。并且,检测潜伏时间约750ms的阳性分量、潜伏时间约200ms的阴性分量,分别判定作为语音听取的舒适性要素的努力性、嘈杂度。
在本实施方式中,将探测电极设置在头顶部(Pz),将基准电极设置左右某一侧的乳突,计测作为探测电极与基准电极的电位差的脑波。再者,事件相关电位的特征分量的水平、极性有可能因安装脑波计测用电极的部位、基准电极以及探测电极的设定方式而变化。但是,基于以下的说明,本领域技术人员可根据此时的基准电极以及探测电极来进行合适的变更以检测事件相关电位的特征分量,并进行语音清晰度的评价。这种变形例也在本发明的范围内。
在上述脑波计测实验的说明中,在实验时针对具有正常听力的参加者改变频率增益的强弱,以再现与听力障碍者的听觉状况接近的状况。但是,在对听力障碍者实施评价的情况下不需要呈现难以听清楚的语音。本实施方式中的前提在于,根据预先测定的听力障碍者的听力敏度图呈现基于调试方法而对每个频率的增益进行了最佳调整之后的声音。
图10表示本实施方式的舒适性评价系统100的构成以及利用环境。该舒适性评价系统100是对应于后述的实施方式1的系统构成而例示的。再者,“舒适性评价系统”有时也被称为“语音听取的评价系统”。在接下来的实施方式2以及3中也同样。
舒适性评价系统100具备语音听取的舒适性评价装置1、声音输出部11、生物体信号计测部50。生物体信号计测部50至少与2个电极A以及B连接。电极A被贴附于用户5的乳突,电极B被贴附在用户5的头顶部(即Pz)的头皮上。
舒适性评价系统100以某个声压的声音向用户5呈现单音节的语音,并判定在以声音呈现时刻为起点所计测的用户5的脑波(事件相关电位)中有无潜伏时间约750ms的阳性分量以及有无潜伏时间约200ms的阴性分量。并且,基于呈现声音和该阳性分量/阴性分量的有无,分别判定在语音 听取时用户是否付出了努力/是否感觉到嘈杂。
用户5的脑波是基于电极A与电极B的电位差而由生物体信号计测部50获取的。生物体信号计测部50通过无线或者有线方式将与电位差对应的信息(脑波信号)发送至语音听取的舒适性评价装置1。图10中表示生物体信号计测部50通过无线方式将该信息发送至语音听取的舒适性评价装置1的例子。
语音听取的舒适性评价装置1控制用于语音听取的舒适性评价的声音的声压、呈现定时,经由声音输出部11(例如扬声器)向用户5呈现声音。
图11表示本实施方式的语音听取的舒适性评价装置1的硬件构成。语音听取的舒适性评价装置1具有CPU30、存储器31、音频控制器32。它们通过总线34彼此连接,相互之间可收发数据。
CPU30执行存储器31中保存的计算机程序35。计算机程序35中记述了后述的流程图所示的处理步骤。语音听取的舒适性评价装置1根据该计算机程序35,利用在相同的存储器31中保存的语音数据库(DB)71,进行控制舒适性评价系统100整体的处理。该处理在后面详细叙述。
音频控制器32依照CPU30的命令,分别生成应该呈现的声音,并将所生成的声音信号以指定的声压输出至声音输出部11。
再者,语音听取的舒适性评价装置1可以由在一个半导体电路中嵌入了计算机程序的DSP等硬件实现。这种的DSP能够在一个集成电路上全部实现上述的CPU30、存储器31、音频控制器32的功能。
上述的计算机程序35可记录在CD-ROM等记录介质中作为产品在市面上流通,或者通过网络等电子通信线路进行传输。具备图11所示的硬件的设备(例如PC)读入该计算机程序35,可作为本实施方式的语音听取的舒适性评价装置1发挥功能。再者,语音DB71也可以不保存在存储器31中,可以保存在例如与总线34连接的硬盘(未图示)中。
图12表示本实施方式的舒适性评价系统100的功能模块的构成。舒适性评价系统100具有声音输出部11、生物体信号计测部50、语音听取的舒适性评价装置1。图12还表示了语音听取的舒适性评价装置1的详细的功能模块。即,语音听取的舒适性评价装置1具备:事件相关电位处理部55、阳性分量判定部60、阴性分量判定部65、呈现语音决定部70、语 音DB71、结果蓄积DB80。再者,用户5的模块是为了方便说明而示出的。
语音听取的舒适性评价装置1的各功能模块(除了语音DB71以外)分别对应于通过执行与图11关联说明的程序从而由CPU30、存储器31、音频控制器32作为整体在各个时刻所实现的功能。
语音DB71是用于进行语音听取的舒适性评价的语音的数据库。图13表示将67S式语言表的20语音用作检查语音时的语音DB71的例子。在图13所示的语音DB71中,根据所呈现的声音文件、辅音标记、发生听错可能性(发生听错的难易度)而分组之后的数据建立对应。假定所保存的声音基于由预先测定的听力障碍者的听力敏度图组成的调试理论而完成了每个频率的增益调整(助听处理)。所保存的语音的种类除了67S式语言表的20语音以外,也可以使用57S式语言表的50音。辅音标记被用于评价用户5在哪个辅音处努力性或者嘈杂度较高。分组的数据被用于评价用户5在哪个组中努力性或者嘈杂度较高。分组设定为例如大分类、中分类、小分类。
大分类是按照元音、清辅音、浊辅音的分类分别记为0、1、2。中分类是清辅音内、浊辅音内的分类。清辅音内可分类为サ行(中分类:1)和タ·カ·ハ行(中分类:2),浊辅音内可分类为ラ·ャ·ワ行(中分类:1)和ナ·マ·ガ·ザ·ダ·バ行(中分类:2)。小分类能够按照ナ·マ行(小分类:1)和ザ·ガ·ダ·バ行(小分类:2)的方式进行分类。对于发生听错可能性,参照《助听器调试方法》(小寺一兴、诊断与治疗社、1999年、172頁)。
再次参照图12。呈现语音决定部70参照语音DB71,决定以哪个声压水平来呈现哪个语音。呈现语音可以按照例如随机的顺序来选择/决定。呈现语音的声压水平设定为对语音清晰度曲线测定的55dB SPL、65dBSPL、75dB SPL、85dB SPL的声音实施了助听处理后的声压水平。声压水平既可以从较小的声压水平依次变更至较大的声压水平,也可以与其相反。此外,还可以按照随机的顺序选择声压水平。
呈现语音决定部70与声音呈现时刻相应地将触发器输出至生物体信号计测部50,并将所呈现的声音内容发送至事件相关电位处理部55。
声音输出部11再生由呈现语音决定部70决定的单音节的声音,向用户5呈现。
生物体信号计测部50是计测用户5的生物体信号的脑波计,作为生物体信号来计测脑波。并且,以从呈现语音决定部70接收到的触发器为起点截取规定区间(例如-200ms至1000ms的区间)的脑波的事件相关电位,并将该波形数据(脑波数据)发送至事件相关电位处理部55。假定用户5预先被安装了脑波计。脑波计测用的电极被安装于例如头顶部的Pz。
事件相关电位处理部55从生物体信号计测部50接收事件相关电位,根据从呈现语音决定部70接收的呈现声音的内容来进行事件相关电位的相加平均运算。事件相关电位处理部55仅选择与例如相同语音的声音呈现相对的事件相关电位,按每个语音的种类进行事件相关电位的相加平均运算。在按相同的语音对事件相关电位进行相加平均的情况下,能够进行每个语音的舒适性评价。相加平均既可以选择具有相同辅音的语音来进行,也可以按图13所示的分组的大分类/中分类/小分类的每一类来进行。在以具有相同辅音的语音来进行相加平均的情况下,能够按每个辅音的种类来进行语音听取的努力性/嘈杂度的评价。此外,在按每个分组进行相加平均的情况下,能够按照例如在浊辅音和清辅音中对于清辅音而言努力性高的方式,进行分组中的听清楚评价。通过每个辅音、每个分组的相加平均,分别获得在某种程度上确保了相加次数的相加波形。此外,也可以与例如相同语音的种类无关地,选择与相同声压的声音呈现相对的事件相关电位来进行相加平均。在按相同的声压进行相加平均的情况下,能够进行每个声压的舒适性评价。
事件相关电位处理部55将按每个语音执行了规定次数的相加平均运算而获得的脑波数据,输出至阳性分量判定部60和阴性分量判定部65。在此,也可以按脑波数据的发送目的地而对事件相关电位进行各自的处理。例如,既可以根据发送目的地而变更执行相加平均运算的次数,也可以根据发送目的地切换截止频率不同的2种滤波处理对事件相关电位的波形实施滤波处理。根据图7及图8可知,与潜伏时间约750ms的阳性分量相比,潜伏时间约200ms阴性分量的频率不同,阴性分量频率更高。根据发送目的地而进行不同的滤波处理,由此能够获得信号/噪声比高的脑波数据。
阳性分量判定部60以及阴性分量判定部65从事件相关电位处理部55 接收脑波数据,进行后述的各个解析。
阳性分量判定部60基于从事件相关电位处理部55接收的脑波数据,判定有无潜伏时间约750ms的阳性分量。有无阳性分量的识别方法如下所示。
阳性分量判定部60将例如潜伏时间600ms至900ms的最大振幅、或者潜伏时间600ms至900ms的区间平均电位与规定的阈值进行比较。使用区间平均电位时的规定阈值作为一般用户的有无阳性分量的阈值,可以设定通过上述实验而获得的“努力性高”和“努力性低”的区间平均电位的中央值即2.36μV。并且,在区间平均电位大于阈值的情况下,阳性分量判定部60识别出“有阳性分量”,在小于阈值的情况下识别出“没有阳性分量”。
或者阳性分量判定部60也可以根据与基于潜伏时间约750ms的典型的阳性分量信号的波形所生成的规定模板之间的相似度(例如相关系数)来判定是否相相类似。并且,在可以说成相类似的情况下,阳性分量判定部60识别出“有阳性分量”,在不能说成相类似的情况下,识别为“没有阳性分量”。规定的模板可以根据预先获取的一般用户的阳性分量的波形来计算/生成。
阴性分量判定部65识别从事件相关电位处理部55接收的脑波数据的潜伏时间约200ms处有无阴性分量。例如,阴性分量判定部65将潜伏时间100ms至300ms的阴性电位的峰值的潜伏时间与规定的阈值进行比较。并且,在阴性电位的峰值潜伏时间比规定的阈值还短的情况下识别为“有阴性分量”,在峰值潜伏时间小于规定的阈值的情况下识别为“没有阴性分量”。
例如“规定的阈值”作为一般的用户的阴性分量有无的阈值,可以设定为通过上述实验获得的“嘈杂”和“不嘈杂”的阴性分量的潜伏时间的中央值即218ms。或者,阴性分量判定部65也可以根据与基于潜伏时间约200ms的典型的阴性分量信号的波形所生成的规定模板之间的相似度(例如相关系数),来判定是否相类似。并且,将可以说成相类似的情况识别为“有阴性分量”,将不相类似的情况识别为“没有阴性分量”。规定的阈值、模板可以根据预先获取的一般用户的阴性分量的波形来计算/生成。
结果蓄积DB80从呈现语音决定部70接收所呈现的声音的信息。此 外,结果蓄积DB80从阳性分量判定部60接收每个语音的有无阳性分量的信息,从阴性分量判定部65接收每个语音的有无阴性分量的信息。并且,例如按每个呈现声音的语音/每个声压水平,蓄积所接收到的努力性、嘈杂度的判定结果信息。
再者,在阳性分量判定部60判定为存在阳性分量时,可输出用户在努力地听语音的这一评价结果,而在判定为不存在阳性分量时,可输出用户不必努力即可听到所述语音的这一评价结果。
努力性的判定结果除了“有努力性”及“没有努力性”的2值判定以外,还可以包含与阳性分量的振幅或者区间平均电位对应的努力性的程度。此时,阳性分量判定部60具有与努力性程度对应的多个阈值或者模板。
例如,考虑阈值按照第三阈值、第四阈值的顺序变小的情况。在阳性分量的振幅值为第三阈值以上较大时,能够判定为努力性大。在阳性分量的振幅值为第四阈值以上且小于第三阈值时,能够判定为努力性适中。在阳性分量的振幅值小于第四阈值时能够判定为努力性小。此外,也可以将阳性分量的振幅值或者区间平均电位的值作为判定结果。
对于由阴性分量判定部65进行的嘈杂度的判定结果也是同样。
阴性分量判定部65可以在判定为存在阴性分量时,输出用户针对语音感觉到嘈杂的这一评价结果,在判定为不存在阴性分量时,输出用户针对语音没有感觉到嘈杂的这一评价结果。
并且,阴性分量判定部65除了“嘈杂”及“不嘈杂”的2值之外,也可以包含与阴性分量的潜伏时间对应的嘈杂度的程度。在该情况下,阴性分量判定部65与阳性分量判定部60同样地具有多个阈值或者模板。
图14是结果蓄积DB80中的数据蓄积的例子。图14中例示了按每个语音/每个声压水平分别蓄积努力性和嘈杂度的信息的情况。例如,图14中的“1”表示在阳性分量判定部60或者阴性分量判定部65中判定为存在阳性分量或者阴性分量的情况,“0”表示判定为不存在阳性分量或者阴性分量的情况。
作为基于努力性和嘈杂度的判定结果的舒适性的评价方法,例如可以按每个声压水平计算被判定为没有阳性分量的语音的比例、被判定为没有阴性分量的语音的比例,并对其平均化之后作为舒适性的评价结果。或者, 也可以针对至少一个声压水平,计算被判定为没有阳性分量的语音的比例、被判定为没有阴性分量的语音的比例,并利用这些计算结果来生成舒适性的评价结果。也可以代替语音的比例,而利用辅音或者与听错发生概率相关的分组的比例来求出舒适性的评价结果。
上述的评价舒适性的处理可由例如结果蓄积DB80进行。此时,结果蓄积DB80并不仅仅是记录介质。除了记录介质以外,还具备检索并提取该记录介质中蓄积的信息的功能等。这些功能由例如作为数据库服务器发挥功能的硬件或者软件(都没有图示)来实现。该数据库服务器只要进行上述算出处理即可。
图15(a)~(c)是语音清晰度曲线的测定结果(以往的评价)、以往的评价之外的基于本实施方式的语音听取的舒适性评价结果的例子。图15(a)是在配戴时仅评价呈现声音的每个声压水平的语音清晰度的例子。该例是通过现有的评价手法而获得评价结果。在该例中,在65dB SPL以上的声压水平中,评价为清晰度是80%以上。因此,与不配戴时(图15中未显示)相比语音清晰度得到提高的情况下,在助听器合适检查中判定为合适。
图15(b)以及(c)除了图15(a)所示的配戴时的语音清晰度曲线的测定结果以外还加入了基于本实施方式的努力性、嘈杂度判定的舒适性评价之后的评价结果的例子。语音清晰度曲线可通过进行发声、按键输入等的现有方法另行测定。
尽管图15(b)以及(c)中语音清晰度曲线相同,但是舒适性评价的结果差异很大。例如,图15(b)中舒适性整体较低,在55dB处特别低。这能够评价出如果努力听可听到但是整体的声压较低。此外,例如图15(c)中舒适性整体较高,但在大的声压水平处舒适性低。这能够评价出在65dB SPL附近的声压出是合适的助听处理,但是在85dB SPL和更大的声压水平出感觉到嘈杂度。这些根据努力性、嘈杂度的2要素而评价了语音听取的舒适性的结果是首次获得的评价。根据这种的评价能够给出具体的调试步骤,例如在图15(b)的情况下,整体提高增益调整量,在图15(c)的情况下增强非线性放大中的压缩。
再者,图15(b)以及(c)中进行表示了配戴时的舒适性,但对于不配戴时(裸耳)也可以评价舒适性,按照不配戴时和配戴时来比较舒适性。
接下来,参照图16说明图12的舒适性评价系统100中进行的处理步骤。
图16是表示舒适性评价系统100中进行的处理步骤的流程图。
在步骤S101中,呈现语音决定部70决定参照语音DB71所呈现的单音节的语音和声压水平。声音输出部11以所决定的声压水平向用户5呈现该语音。呈现语音决定部70向生物体信号计测部50发送触发器,向事件相关电位处理部55发送与所呈现的语音相关的声音信息。所呈现的语音既可以从DB71中随机选择,也可以集中选择特定的辅音或者分组的语音。呈现语音的声压水平设定为针对例如语音清晰度曲线测定的55dBSPL、65dB SPL、75dB SPL、85dB SPL的声音实施了助听处理之后的声压水平。声压水平的呈现顺序既可以从较小的声压水平依次变更至较大的声压水平,也可以与其相反。此外,也可以按照随机的顺序选择声压水平。
在步骤S102中,生物体信号计测部50从呈现语音决定部70接收触发器,在所计测的脑波之中截取以触发器为起点例如-200ms至1000ms的事件相关电位。并且,求出例如-200ms至0ms的平均电位,按照该平均电位为0μV的方式对所得到的事件相关电位进行基准线修正。
在步骤S103中,事件相关电位处理部55基于从呈现语音决定部70接收的呈现语音的信息按每个语音/每个声压水平对步骤S102中截取的事件相关电位进行相加平均。尽管在本实施方式中按每个语音/每个声压水平进行相加平均运算,但相加平均运算的对象并不限于每个语音。例如,既可以根据语音的种类(例如每个辅音、每个语音分组)进行,也可以按呈现的每个声压水平来进行。即,在各语音基于语音种类以及呈现时的声压水平的至少一个而被分类时,事件相关电位处理部55只要对属于相同分类的语音被呈现时所获得的脑波信号的事件相关电位进行相加平均即可。
在步骤S104中,事件相关电位处理部55判断针对步骤S101中所呈现的语音的事件相关电位的相加次数是否达到了规定的相加次数。在相加次数为规定次数以下时处理返回至步骤S101,反复呈现声音。在相加次数为规定次数以上时,处理进入步骤S105。相加次数例如为20次。再者,“20次”是计测事件相关电位的领域中采用较多的相加次数,但这仅仅是一例。
在步骤S105中,事件相关电位处理部55将进行了规定次数的相加平 均运算之后的脑波数据发送至阳性分量判定部60以及阴性分量判定部65。
在步骤S106中,阳性分量判定部60判断在脑波数据的潜伏时间约750ms处是否存在阳性分量。对于阳性分量的识别,如上述那样既可以通过与规定的阈值的比较来进行,也可以通过与模板的比较来进行。
在步骤S107中,阴性分量判定部65判断在脑波数据的潜伏时间约200ms处是否存在阴性分量。对于阴性分量的识别,如上述那样既可以通过与规定的阴性分量的潜伏时间的阈值比较来进行,也可以通过与模板的比较来进行。
在步骤S108中,结果蓄积DB80按步骤S101中所呈现的每个语音/每个声压水平,蓄积从阳性分量判定部60接收到的有无潜伏时间约750ms阳性分量的信息、从阴性分量判定部65接收到的有无潜伏时间约200ms的阴性分量的信息。
在步骤S109中,呈现语音决定部70判定在对语音听取的舒适性进行评价的预定的全部语音/声压水平中是否完成了刺激呈现。在尚未完成时处理返回至步骤S101,在已经完成时结束语音听取的舒适性评价。
基于在结果蓄积DB80中蓄积的将每个语音/每个声压水平的努力性/嘈杂度作为要素的舒适性评价结果,能够给出更为具体的调试步骤。例如,如图15(b)所示舒适性整体较低,而在55dB处特别低的情况下,可整体提高增益调整量。此外,如图15(c)所示尽管舒适性整体较高但在大的声压水平处较低时,只要增强非线性放大处的压缩即可。
在本实施方式中,设定以声音来呈现单音节语音,通过利用以声音被呈现的时刻为起点的事件相关电位的潜伏时间约750ms的阳性分量和潜伏时间约200ms的阴性分量的处理,来评价语音听取的舒适性。根据上述处理,能够在语音听取时实现与用户付出多少努力(努力性)/感觉到多少嘈杂度(嘈杂度)相关的判定。这意味着能够以不同于语音清晰度的语音听取的舒适性为轴,来评价助听处理的合适程度。由于能够以舒适性为轴来评价助听处理,因此能够实现舒适性高且听起来不同疲劳的助听处理。
再者,本实施方式中语音听取的舒适性评价装置1如图11所示通过采用了一般的硬件的能够小型化的结构来实现。按照能够移动的大小及重 量来构成舒适性评价装置1从而用户可携带,由此用户能够在利用助听器的声音环境中评价语音听取的舒适性。再者,图9中将声音输出部11设定为扬声器,但声音输出部11也可以是头戴式耳机。通过利用头戴式耳机,从而移动变得简单,用户能够在利用的环境中进行语音清晰度的评价。
本实施方式中是假定日语的语音清晰度评价来说明的。但是,只要是单音节的语音,则既可以是英语也可以是汉语。例如在英语的情况下,可以呈现单音节的单词,并进行每个单词的评价。图17表示按每个单音节的单词来评价努力性、嘈杂度的结果的一例。
根据本实施方式的舒适性评价系统100,仅仅通过用户听声音并浮想出相应的平假名,在语音听取时就可实现付出了多少努力(努力性)和感觉到多少嘈杂度(嘈杂度)的判定。由此,语音听取时的舒适性被定量化,能够实现以舒适性为轴的助听处理的评价,因此,能够通过舒适性高的助听处理实现听起来不容易疲劳的调试。
在本实施方式的说明中,生物体信号计测部50截取以来自呈现语音决定部70的触发器为起点预先确定的范围的事件相关电位,并进行基准线修正将电位波形的数据发送至事件相关电位处理部55。但是,该处理仅是一例。作为其他处理,例如生物体信号计测部50可以持续地计测脑波,并进行事件相关电位处理部55所需的事件相关电位的截取和基准线修正。根据该构成,呈现语音决定部70不需要向生物体信号计测部50发送触发器,只要向事件相关电位处理部55发送触发即可。
此外,在本实施方式中,舒适性评价的结果被蓄积在结果蓄积DB80中,但也可以不进行蓄积。例如在将结果蓄积DB80设置在舒适性评价装置1的外部时,只要阳性分量判定部60以及阴性分量判定部65仅输出各判定结果即可。各判定结果可用作与语音听取的舒适性相关的信息。
此外,说明了阳性分量判定部60以及阴性分量判定部65分别判定阳性分量及阴性分量的有无并输出其判定结果。但是,该构成仅是一例。例如也可以阳性分量判定部60在阳性分量存在时判断为努力性的指标大,阴性分量判定部65在阴性分量存在时判断为嘈杂度的指标大。或者,也可以输出在与判定结果相应的语音听取中需要努力/不需要努力的这一评价结果、感觉到嘈杂/没有感觉到嘈杂的这一评价结果,并将评价结果蓄积 在结果蓄积DB80中。对于输出判定结果或者评价结果的哪一个,可以针对阳性分量判定部60以及阴性分量判定部65分别独立地设定。
再者,判定结果既可以利用表示阳性/阴性分量是否出现的2值的数值进行输出,也可以利用表示阳性/阴性分量是否存在的数值以外的形式(例如文字信息)输出。此外,对于需要努力/不需要努力的、感觉到嘈杂/没有感觉到嘈杂的这种评价结果,既可以利用对其进行表示的2值的数值进行输出,也可以利用努力以及感觉到嘈杂的程度为3值以上的数值进行输出。或者,利用表示这些程度的数值以外的形式(例如文字信息)进行输出。
5.实施方式2
在实施方式1的舒适性评价系统100中,针对基于语音DB71中所保存的1种助听处理而预先调整之后的规定声音,根据潜伏时间约750ms的阳性分量和潜伏时间约200ms的阴性分量的有无来判定语音听取时的努力性和嘈杂度。
但是,近年来,随着信号处理的高精度化,正在开发实现例如辅音强调、指向性、噪声降低等功能的助听处理方法,仅根据针对一个助听处理的舒适性评价结果,难以搜索并确定最佳的助听处理。
因此,在本实施方式中,说明如下的舒适性评价系统,其设置对从助听器输出的呈现语音声音进行加工的助听处理部,并评价每个助听处理的舒适性。
图18表示本实施方式的舒适性评价系统200的功能模块的构成。舒适性评价系统200具有声音输出部11、生物体信号计测部50、语音听取的舒适性评价装置2。对于图12相同的模块赋予同一参照符号,并省略其说明。再者,语音听取的舒适性评价装置2的硬件构成如图11所示。通过执行规定了与实施方式1说明的程序35(图11)不同处理的程序,来实现图18所示的本实施方式的语音听取的舒适性评价装置2。
本实施方式的语音听取的舒适性评价装置2与实施方式1的语音听取的舒适性评价装置1最大的不同点在于,新设置了助听处理部90。再者,对于舒适性评价装置2的构成要素名,原则上使用与实施方式1相同的名称,但是在具有不同的动作及/或功能的情况下,利用不同的参照符号。例 如,在本实施方式中,由于实施实施方式1中没有进行的、每个多个助听处理的舒适性评价,因此代替实施方式1中的事件相关电位处理部55、呈现语音决定部70、语音DB71、结果蓄积DB80,在本实施方式中设置事件相关电位处理部56、呈现语音决定部75、语音DB72、结果蓄积DB85。
以下,说明语音DB72、呈现语音决定部75、助听处理部90、事件相关电位处理部56、结果蓄积DB85以及助听处理部90。
语音DB72与实施方式1的语音DB71同样,例如是用于进行图13所示的67S式语言表的20语音这种的语音听取的舒适性评价的语音数据库。与语音DB71的不同点在于,具有助听处理前的语音数据。
呈现语音决定部75与实施方式1的呈现语音控制部70同样,参照语音DB来决定语音的种类和声压水平。与呈现语音控制部70的差异在于,选择利用哪个助听处理对声音进行加工,并向助听处理部90一并发送呈现语音的声音数据。
助听处理部90基于从呈现语音决定部75接收到的与助听处理选择相关的指示、声音数据,利用所指示的助听处理方法对声音数据进行加工。助听处理中包括例如辅音强调、指向性、噪声降低等。在选择了辅音强调的助听处理时,例如实施与通常相比提高辅音频率的增益放大量的这种处理,并对声音数据进行加工。
事件相关电位处理部56与实施方式1的事件相关电位处理部55同样,根据从呈现语音控制部接收到的呈现声音的内容,进行从生物体信号计测部50接收到的事件相关电位的相加平均运算。与事件相关电位处理部55的差异在于,从呈现语音决定部75接收助听处理的信息,进行每个语音/每个声压水平/每个助听处理的相加平均运算。
结果蓄积DB85与实施方式1的结果蓄积DB80同样,例如按每个语音/每个声压水平蓄积从阳性分量判定部60接收到的有无潜伏时间约750ms阳性分量的信息、从阴性分量判定部65接收到的有无潜伏时间约200ms的阴性分量的信息。与结果蓄积DB80的差异在于,从呈现语音决定部75除了接收呈现刺激的语音/声压水平的信息以外,还接收助听处理的种类信息,按助听处理的每个种类来蓄积数据。
图19(a)以及(b)是结果蓄积DB85中的数据蓄积的例子。图19(a)以及 (b)中例示了按每个语音/每个声压水平/每个助听处理分别蓄积努力性和嘈杂度的判定结果的情况。例如图19(a)表示结果蓄积DB85中蓄积的按某个助听处理A的每个语音/每个声压水平的努力性和嘈杂度的判定结果。图19(b)表示结果蓄积DB85中蓄积的按某个助听处理B的每个语音/每个声压水平的努力性和嘈杂度的判定结果。图19(a)以及(b)中的“1”表示在阳性分量判定部60或者阴性分量判定部65中判定为存在阳性分量或者阴性分量的情况,“0”表示判定为没有阳性分量或者阴性分量的情况。
接下来,参照图20,说明舒适性评价系统200中进行的全部处理的步骤。
图20是表示本实施方式的语音清晰度系统200的处理步骤的流程图。图20中对于进行与舒适性评价系统100的处理(图16)相同处理的步骤赋予同一参照符号,并省略其说明。
本实施方式的舒适性评价系统200的处理与实施方式1的舒适性评价系统200的处理的不同点在于步骤S201、S202以及S203。在步骤S201中,呈现通过所指定的助听处理加工之后的单音节声音。在步骤S202中,按每个语音/每个声压水平/每个助听处理进行相加平均运算。在步骤S203中,按每个语音/每个声音/每个助听处理蓄积结果。对于此外的步骤,由于已经与图16关联地进行了说明,因此省略其说明。
以下,详细说明步骤S201~S203。
在步骤S201中,呈现语音决定部75决定参照语音DB72所呈现的声音的种类和声压水平,并获取其数据。再有,呈现语音决定部75决定助听处理,将与助听处理种类相关的信息和声音数据发送至助听处理部90。助听处理部90接收由呈现语音决定部75决定的关于助听处理种类的信息和声音数据,基于所指定的助听处理方法对声音数据进行加工。声音输出部11向用户5呈现被加工之后的声音数据。
在步骤S202中,事件相关电位处理部56从呈现语音决定部75接收呈现语音的种类、声压水平、助听处理的信息,例如按每个语音/每个声压水平/每个助听处理对由生物体信号计测部50计测的脑波的事件相关电位进行相加平均。
在步骤S203中,结果蓄积DB按从呈现语音决定部75接收到的有关 呈现语音的每个信息(语音的种类、声压水平、助听处理),蓄积由阳性分量判定部60判定出的有无潜伏时间约750ms的阳性分量、由阴性分量判定部65判定出的有无潜伏时间约200ms的阴性分量。结果蓄积的例子如图19(a)以及(b)所示。
通过这种的处理,例如能够按辅音强调、指向性、噪声降低等的每个助听处理来评价针对语音听取的舒适性。图21示意地表示以某个声压水平呈现语音时的、现有的语音清晰度评价的结果、在其基础上加入了本实施方式的舒适性评价结果时的结果。假定图21中所示的处理A为辅音强调的助听处理,处理B为指向性的助听处理,处理C和处理D为噪声降低的助听处理。各个图表是基于以下的假设的。
辅音强调(处理A):由于增加辅音频带的增益调整量,因此清晰度有所提高,但是因为声音本身的频率特性发生变化,所以舒适性下降。
指向性(处理B):由于尽管清晰度本身没有变化,但是声源不同的噪声被降低,因此舒适性有所提高。
噪声降低(处理C和处理D):由于声音信息与噪声一起被减少,因此清晰度下降,但是因为嘈杂度减少所以舒适性提高。现有技术中,仅基于语音清晰度评价的结果,仅仅评价每个助听处理的清晰度,因此例如处理C、处理D会被判定为合适度差。但是,通过加入舒适性的轴,能够更为恰当地评价这些助听处理的效果。
根据本实施方式的舒适性评价系统200,能够评价每个助听处理的舒适性。由此,能够实现与配戴助听器的目的、使用环境相匹配的助听处理的选择。
6.实施方式3
在实施方式1的舒适性评价系统100中,在阳性分量判定部60、阴性分量判定部65中,利用根据一般用户的阳性分量/阴性分量计算出的阈值、一般用户的阳性分量/阴性分量的模板分别判定阳性分量的有无和阴性分量的有无。
但是,由于事件相关电位的波形的个人差异较大,因此以其为基准的识别中,难以高精度地判定努力性/嘈杂度。
因此,在本实施方式中,在语音听取的舒适性评价之前,进行用于测定每个用户的潜伏时间约750ms的阳性分量和潜伏时间约200ms的阴性分量的特征的校准(calibration),基于每个人的分量特征来评价舒适性。
图22表示本实施方式的舒适性评价系统300的功能模块的构成。舒适性评价系统300具有:声音输出部11、生物体信号计测部50、语音听取的舒适性评价装置3。对于与图12相同的模块赋予同一参照符号,并省略其说明。再者,语音听取的舒适性评价装置3的硬件构成如图11所示。通过执行规定了与实施方式1说明的程序35(图11)不同的处理的程序,实现图18所示的本实施方式的语音听取的舒适性评价装置3。
本实施方式的语音听取的舒适性评价装置3与实施方式1的语音听取的舒适性评价装置1的最大不同点在于,新设置了校正/评价切换部95和个别阈值DB96。此外,由于基于每个用户的分量特征来判定阳性分量的有无,因此代替实施方式1的事件相关电位处理部55、阳性分量判定部60、阴性分量判定部65、呈现语音决定部70,而在本实施方式中设置阳性分量判定部61、阴性分量判定部66、事件相关电位处理部57以及呈现语音决定部77。
以下,说明校正/评价切换部95、个别阈值DB96、呈现语音控制部77、事件相关电位处理部57、阳性分量判定部61、阴性分量判定部65。
校正/评价切换部95切换用于确定每个用户的事件相关电位分量的特征的校正模式、进行舒适性评价的评价模式。并且,将表示当前模式的信息发送至呈现语音控制部77。再者,模式的切换也可以在用于确定用户脑波特征所需的规定次数的语音呈现结束的时间点实施。
呈现语音控制部77与呈现语音控制部70同样,参照语音DB71来决定语音的种类和呈现声音的声压水平。此外,从校正/评价切换部95接收校正模式/评价模式的信息,在校正模式的情况下,按照(1)用户不努力听就能听到但感觉到“嘈杂”的声压水平、(2)尽管需要努力听但感到“不嘈杂”的声压水平,经由声音输出部11向用户5呈现声音。声压水平也可以将例如用户的听力敏度图作为参考来决定。并且,向生物体信号计测部50发送触发器的信息,向事件相关电位处理部57发送声音信息和校正/评价的模式信息。
事件相关电位处理部57与事件相关电位处理部55同样,根据从呈现语音控制部接收到的呈现声音的内容,对从生物体信号计测部50接收到的事件相关电位进行相加平均运算。从呈现语音控制部77接收模式信息。在校正模式的情况下,例如与语音种类无关地按每个声压水平实施相加平均运算。并且,计算阳性分量判定部61和阴性分量判定部66中用于识别的特征量,并发送至个别阈值DB96。特征量中包括例如区间平均电位、最大振幅、波形本身。另一方面,在评价模式的情况下,通过与事件相关电位处理部55同样的方法实施相加平均运算。
个别阈值DB96保存从事件相关电位处理部57发送的用于识别的特征量。
阳性分量判定部61以及阴性分量判定部66从事件相关电位处理部57接收脑波数据,参照个别阈值DB96中保存的每个声压水平的特征量,分别判定努力性、嘈杂度。例如,在特征量为区间平均电位时,将每个声压水平的特征量的中间值作为阈值,通过与阳性分量判定部60/阴性分量判定部65同样的方法,检测阳性分量/阴性分量。
接下来,参照图23说明在舒适性评价系统300中进行的整体处理的步骤。
图23是表示本实施方式的语音清晰度系统300的处理步骤的流程图。图23中对于进行与舒适性评价系统100的处理(图16)相同处理的步骤赋予同一参照符号,并省略其说明。
本实施方式的舒适性评价系统300的处理与实施方式1的舒适性评价系统100的处理的不同点在于步骤S301~S308。除此以外的步骤已经与图16关联地进行了说明,故省略说明。
在步骤S301中,校正/评价切换部95基于用户的选择,将当前的模式设定为校正模式,并将校正模式的信息发送至呈现语音控制部77。
在步骤S302中,呈现语音控制部77参照语音DB71来决定语音的种类。并且,呈现语音控制部77针对单音节的声音呈现设定(1)用户不努力听就能听到但是会感觉到“嘈杂”的声压水平、或(2)需要努力听但感觉“不嘈杂”的声压水平。并且,经由声音输出部11向用户5呈现声音。
在步骤S303中,事件相关电位处理部57按每个声压水平对由生物体 信号计测部50计测的事件相关电位进行相加平均。
在步骤S304中,事件相关电位处理部57保存每个声压水平的特征量。更为具体而言,事件相关电位处理部57根据相加平均波形分别计算阳性分量判定部61以及阴性分量判定部66中用于识别的特征量。例如,在特征量为区间平均电位的情况下,计算规定区间的平均电位。并且,保存至个别阈值DB96。这样获得的平均值可以说表示了该用户固有的特征。
在步骤S305中,校正/评价切换部95在规定次数的声音呈现结束的阶段,从校正模式切换至评价模式,将评价模式的信息发送至呈现语音控制部77。
在步骤S306中基于每个用户的阳性分量的特征量判定有无阳性分量。具体而言,阳性分量判定部61参照个别阈值DB96读出用于判定有无阳性分量的阈值,利用该阈值,判定从事件相关电位处理部57接收的事件相关电位中有无潜伏时间约750ms的阳性分量。例如,在将区间平均电位作为特征量进行识别时,在潜伏时间约750ms的区间平均电位大于计算出的阈值的情况下判定为有阳性分量,在小于阈值的情况下判定为没有阳性分量。
在步骤S307中,基于每个用户的阴性分量的特征量来判定有无阴性分量。即,在步骤S307中,阴性分量判定部61参照个别阈值DB96读出用于判定有无阴性分量的阈值,利用该阈值,判定从事件相关电位处理部57接收的事件相关电位中有无潜伏时间约200ms的阴性分量。例如,在将潜伏时间作为特征量进行识别时,在潜伏时间约200ms的潜伏时间小于计算出的阈值的情况下判定为有阴性分量,在大于阈值的情况下判定为没有阴性分量。
通过这种处理,由于能够与每个用户的脑波特征相匹配地识别有无阳性分量/阴性分量,因此能够高精度地评价语音听取的舒适性。
根据本实施方式的舒适性评价系统300,能够与每个用户的脑波特征相匹配地高精度评价舒适性。由此,能够实现舒适性高且听起来不疲劳的助听处理。
再者,在本实施方式中,说明了对每个用户的阳性分量以及阴性分量的各特征量进行校正,但该处理仅是一例。作为每个用户的特征量,也可 以仅对阳性分量或者阴性分量的一方进行校正。
-工业可用性-
根据本发明的语音听取的舒适性评价装置以及组装了语音听取的舒适性评价装置的语音听取的清晰性评价系统,除了能否听清楚语音的清晰度以外,还基于语音听取时的脑波,能够进行语音听取的定量性的舒适性评价。由此,因为能够选择舒适性高且听起来不疲劳的助听处理,因此能够用于所有的助听器用户的调试中。
-符号说明-
1、2、3 语音听取的舒适性评价装置
5 用户
11 声音输出部
50 生物体信号计测部
55、56、57 事件相关电位处理部
60、61 阳性分量判定部
65、66 阴性分量判定部
70、75、77 呈现语音决定部
71、72 语音DB
80、85 结果蓄积DB
90 助听处理部
95 校正/评价切换部
96 个别阈值DB
100、200 语音听取的清晰度评价系统
Claims (11)
1.一种语音听取的评价系统,其具备:
生物体信号计测部,其计测用户的脑波信号;
呈现语音决定部,其参照保存多个单音节语音的语音数据库,来决定所呈现的单音节的语音;
输出部,将所决定的语音作为听觉上的刺激依次向所述用户呈现;
阳性分量判定部,其判定在以所述语音被呈现的时刻为起点600ms以上900ms以下的范围中包含的所述脑波信号的事件相关电位中是否出现了阳性分量,根据判定结果,输出所述用户是否努力听才听到所述语音的评价结果,其中所述阳性分量是具有比0μV大的电位的分量;
阴性分量判定部,其判定在以所述语音被呈现的时刻为起点100ms以上300ms以下的范围中包含的所述脑波信号的事件相关电位中是否出现了阴性分量,根据判定结果,输出所述用户是否针对所述语音感觉到嘈杂的评价结果,其中所述阴性分量是具有比0μV小的电位或比规定的阈值短的潜伏时间的分量,
在以各语音被呈现的时刻为起点600ms以上900ms以下的范围中包含的所述脑波信号的事件相关电位的区间平均电位为预先确定的第1阈值以上时,所述阳性分量判定部判定为存在阳性分量,在所述区间平均电位小于所述第1阈值时,所述阳性分量判定部判定为不存在阳性分量,所述阳性分量判定部在判定为存在所述阳性分量时,输出所述用户努力听才听到所述语音的这一评价结果,在判定为不存在所述阳性分量时,输出所述用户不努力听就听到所述语音的这一评价结果,
在以各语音被呈现的时刻为起点100ms以上300ms以下的范围中存在的阴性分量的峰值比预先确定的第2阈值还短时,所述阴性分量判定部判定为存在阴性分量,在所述阴性分量的峰值为所述第2阈值以上时,所述阴性分量判定部判定为不存在阴性分量,所述阴性分量判定部在判定为存在所述阴性分量时,输出所述用户针对所述语音感觉到嘈杂的这一评价结果,在判定为不存在所述阴性分量时,输出所述用户针对所述语音没有感觉到嘈杂的这一评价结果。
2.根据权利要求1所述的语音听取的评价系统,其中,
所述语音听取的评价系统还具备事件相关电位处理部,该事件相关电位处理部对所述脑波信号的事件相关电位进行相加平均,
在所述语音基于语音的种类以及呈现时的声压水平的至少一个而被分类时,所述事件相关电位处理部针对属于相同分类的语音被呈现时所获得的所述脑波信号的事件相关电位进行相加平均。
3.根据权利要求1所述的语音听取的评价系统,其中,
所述语音数据库中多个语音各自与声音、辅音信息以及与听错发生概率相关的群组建立对应关系后进行存储。
4.根据权利要求3所述的语音听取的评价系统,其中,
所述语音听取的评价系统还具备结果蓄积数据库,该结果蓄积数据库蓄积所述阳性分量判定部以及所述阴性分量判定部的判定结果,
所述结果蓄积数据库,针对至少一个声压水平,计算被所述阳性分量判定部判断为没有阳性分量的语音、辅音、或者与所述听错发生概率相关的群组的比例、以及被所述阴性分量判定部判定为没有阴性分量的语音、辅音、或者与所述听错发生概率相关的群组的比例,并利用计算结果来生成评价结果。
5.根据权利要求1所述的语音听取的评价系统,其中,
所述结果蓄积数据库中按每个语音、每个辅音、或者与所述听错发生概率相关的每个群组,蓄积了用于评价所述用户是否努力听才听到所述语音、以及所述用户是否针对所述语音感觉到嘈杂的信息。
6.根据权利要求5所述的语音听取的评价系统,其中,
所述结果蓄积数据库按每个语音、每个声压水平蓄积用于评价所述用户是否努力听才听到所述语音、以及所述用户是否针对所述语音感觉到嘈杂的信息。
7.根据权利要求1所述的语音听取的评价系统,其中,
所述呈现语音决定部决定呈现声音的声压水平。
8.根据权利要求1所述的语音听取的评价系统,其中,
所述语音听取的评价系统还具备助听处理部,该助听处理部针对被所述呈现语音决定部决定并呈现的所述语音选择助听处理的种类,并基于所选择的助听处理对所述语音数据库中保存的语音数据进行加工。
9.根据权利要求8所述的语音听取的评价系统,其中,
所述语音听取的评价系统还具备结果蓄积数据库,该结果蓄积数据库蓄积所述阳性分量判定部以及所述阴性分量判定部的判定结果,
所述结果蓄积数据库中按每个语音、每个助听处理,蓄积了用于评价所述用户是否努力听才听到所述语音、以及所述用户是否针对所述语音感觉到嘈杂的信息。
10.一种语音听取的评价装置,其具备:
呈现语音决定部,其参照保存多个单音节的语音的语音数据库,来决定作为听觉上的刺激从输出部向用户依次呈现的单音节的语音;
阳性分量判定部,其判定在由生物体信号计测部所计测的脑波信号中,在以所述语音被呈现的时刻为起点600ms以上900ms以下的范围中包含的所述脑波信号的事件相关电位中是否出现了阳性分量,其中该生物体信号计测部计测所述用户的脑波信号,根据判定结果,输出所述用户是否努力听才听到所述语音的评价结果,其中所述阳性分量是具有比0μV大的电位的分量;和
阴性分量判定部,其判定在由生物体信号计测部所计测的以所述语音被呈现的时刻为起点100ms以上300ms以下的范围中包含的所述脑波信号的事件相关电位中是否出现了阴性分量,其中该生物体信号计测部计测所述用户的脑波信号,根据判定结果,输出所述用户是否针对所述语音感觉到嘈杂的评价结果,其中所述阴性分量是具有比0μV小的电位或比规定的阈值短的潜伏时间的分量,
在以各语音被呈现的时刻为起点600ms以上900ms以下的范围中包含的所述脑波信号的事件相关电位的区间平均电位为预先确定的第1阈值以上时,所述阳性分量判定部判定为存在阳性分量,在所述区间平均电位小于所述第1阈值时,所述阳性分量判定部判定为不存在阳性分量,所述阳性分量判定部在判定为存在所述阳性分量时,输出所述用户努力听才听到所述语音的这一评价结果,在判定为不存在所述阳性分量时,输出所述用户不努力听就听到所述语音的这一评价结果,
在以各语音被呈现的时刻为起点100ms以上300ms以下的范围中存在的阴性分量的峰值比预先确定的第2阈值还短时,所述阴性分量判定部判定为存在阴性分量,在所述阴性分量的峰值为所述第2阈值以上时,所述阴性分量判定部判定为不存在阴性分量,所述阴性分量判定部在判定为存在所述阴性分量时,输出所述用户针对所述语音感觉到嘈杂的这一评价结果,在判定为不存在所述阴性分量时,输出所述用户针对所述语音没有感觉到嘈杂的这一评价结果。
11.一种语音听取的评价方法,其包括如下步骤:
计测用户的脑波信号;
参照保存多个单音节的语音的语音数据库,来决定所呈现的单音节的语音;
将所决定的语音作为听觉上的刺激向所述用户依次呈现;
判定在以所述语音被呈现的时刻为起点600ms以上900ms以下的范围中包含的所述脑波信号的事件相关电位中是否出现了阳性分量,其中所述阳性分量是具有比0μV大的电位的分量;
根据判定结果输出所述用户是否努力听才听到所述语音听取的评价结果;
判定在以所述语音被呈现的时刻为起点100ms以上300ms以下的范围中包含的所述脑波信号的事件相关电位中是否出现了阴性分量,其中所述阴性分量是具有比0μV小的电位或比规定的阈值短的潜伏时间的分量;和
根据判定结果输出所述用户是否针对所述语音感觉到嘈杂的评价结果,
在以各语音被呈现的时刻为起点600ms以上900ms以下的范围中包含的所述脑波信号的事件相关电位的区间平均电位为预先确定的第1阈值以上时,判定为存在阳性分量,在所述区间平均电位小于所述第1阈值时,判定为不存在阳性分量,在判定为存在所述阳性分量时,输出所述用户努力听才听到所述语音的这一评价结果,在判定为不存在所述阳性分量时,输出所述用户不努力听就听到所述语音的这一评价结果,
在以各语音被呈现的时刻为起点100ms以上300ms以下的范围中存在的阴性分量的峰值比预先确定的第2阈值还短时,判定为存在阴性分量,在所述阴性分量的峰值为所述第2阈值以上时,判定为不存在阴性分量,在判定为存在所述阴性分量时,输出所述用户针对所述语音感觉到嘈杂的这一评价结果,在判定为不存在所述阴性分量时,输出所述用户针对所述语音没有感觉到嘈杂的这一评价结果。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010134239 | 2010-06-11 | ||
JP2010-134239 | 2010-06-11 | ||
PCT/JP2011/003236 WO2011155196A1 (ja) | 2010-06-11 | 2011-06-08 | 語音聴取の評価システム、その方法およびそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102781322A CN102781322A (zh) | 2012-11-14 |
CN102781322B true CN102781322B (zh) | 2015-02-25 |
Family
ID=45097811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180011703.9A Active CN102781322B (zh) | 2010-06-11 | 2011-06-08 | 语音听取的评价系统、及方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9044157B2 (zh) |
JP (1) | JP5144836B2 (zh) |
CN (1) | CN102781322B (zh) |
WO (1) | WO2011155196A1 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
PT1896061T (pt) | 2005-06-27 | 2019-08-01 | Glaxosmithkline Biologicals Sa | Composição imunogénica |
CN103053179A (zh) * | 2010-11-24 | 2013-04-17 | 松下电器产业株式会社 | 嘈杂度判定系统、装置、方法以及程序 |
WO2014049979A1 (ja) * | 2012-09-27 | 2014-04-03 | パナソニック株式会社 | 不快音圧評価システム、不快音圧評価装置、不快音圧調整装置、不快音圧評価方法およびそのコンピュータプログラム |
CN103054586B (zh) * | 2012-12-17 | 2014-07-23 | 清华大学 | 一种基于汉语言语测听动态词表的汉语言语自动测听方法 |
US9807519B2 (en) * | 2013-08-09 | 2017-10-31 | The United States Of America As Represented By The Secretary Of Defense | Method and apparatus for analyzing and visualizing the performance of frequency lowering hearing aids |
JP6731654B2 (ja) * | 2016-03-25 | 2020-07-29 | パナソニックIpマネジメント株式会社 | 補聴器調整装置、補聴器調整方法及び補聴器調整プログラム |
US11690547B2 (en) | 2017-07-28 | 2023-07-04 | Osaka University | Discernment of comfort/discomfort |
JP6337362B1 (ja) * | 2017-11-02 | 2018-06-06 | パナソニックIpマネジメント株式会社 | 認知機能評価装置、及び、認知機能評価システム |
JP7043081B2 (ja) * | 2019-05-23 | 2022-03-29 | 恒雄 新田 | 音声想起認識装置、装着具、音声想起認識方法及びプログラム |
KR102774638B1 (ko) * | 2019-07-11 | 2025-02-27 | 현대자동차주식회사 | 오류 모니터링을 이용한 교통 감시 시스템 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6602202B2 (en) * | 2000-05-19 | 2003-08-05 | Baycrest Centre For Geriatric Care | System and methods for objective evaluation of hearing using auditory steady-state responses |
CN101365384A (zh) * | 2004-07-02 | 2009-02-11 | 麦科听力仪器公司 | 在谱域设计声音刺激以记录听性稳态反应(assr)的方法 |
CN101557753A (zh) * | 2006-10-13 | 2009-10-14 | 鲁特格斯州立大学 | 筛选和治疗表现为听觉处理缺陷的小婴儿的方法与系统 |
WO2010056947A1 (en) * | 2008-11-14 | 2010-05-20 | Neuronetrix Solutions, Llc | Electrode system |
CN102469961A (zh) * | 2010-01-28 | 2012-05-23 | 松下电器产业株式会社 | 语音清晰度评价系统、方法及其程序 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06114038A (ja) | 1992-10-05 | 1994-04-26 | Mitsui Petrochem Ind Ltd | 聴覚検査・訓練装置 |
JPH0938069A (ja) | 1995-08-02 | 1997-02-10 | Nippon Telegr & Teleph Corp <Ntt> | 語音聴力検査方法およびこの方法を実施する装置 |
US5755230A (en) | 1995-09-18 | 1998-05-26 | Cleveland Medical Devices Inc. | Wireless EEG system for effective auditory evoked response |
JP2004275619A (ja) | 2003-03-19 | 2004-10-07 | Kumamoto Technology & Industry Foundation | 画像刺激−脳波意思伝達方法、及びそれに用いるシステム |
CN100345086C (zh) | 2003-06-27 | 2007-10-24 | 松下电器产业株式会社 | 服务提供装置、期待破灭判断装置及期待破灭判断方法 |
EP2260760B1 (en) * | 2004-06-18 | 2014-08-27 | Neuronetrix Solutions, LLC | Evoked response testing method for neurological disorders |
WO2006122304A1 (en) * | 2005-05-11 | 2006-11-16 | Bio-Logic Systems Corp. | Neurophysiological central auditory processing evaluation system and method |
WO2007066440A1 (ja) * | 2005-12-08 | 2007-06-14 | Matsushita Electric Industrial Co., Ltd. | 情報処理システム、情報処理装置および方法 |
CN101636111B (zh) * | 2007-03-23 | 2012-06-27 | 唯听助听器公司 | 用于个体听力的客观测量的系统和方法 |
US8805489B1 (en) * | 2010-02-08 | 2014-08-12 | Einat OFEK | Personal meaning extraction |
-
2011
- 2011-06-08 JP JP2012519255A patent/JP5144836B2/ja active Active
- 2011-06-08 WO PCT/JP2011/003236 patent/WO2011155196A1/ja active Application Filing
- 2011-06-08 CN CN201180011703.9A patent/CN102781322B/zh active Active
-
2012
- 2012-07-30 US US13/561,336 patent/US9044157B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6602202B2 (en) * | 2000-05-19 | 2003-08-05 | Baycrest Centre For Geriatric Care | System and methods for objective evaluation of hearing using auditory steady-state responses |
CN101365384A (zh) * | 2004-07-02 | 2009-02-11 | 麦科听力仪器公司 | 在谱域设计声音刺激以记录听性稳态反应(assr)的方法 |
CN101557753A (zh) * | 2006-10-13 | 2009-10-14 | 鲁特格斯州立大学 | 筛选和治疗表现为听觉处理缺陷的小婴儿的方法与系统 |
WO2010056947A1 (en) * | 2008-11-14 | 2010-05-20 | Neuronetrix Solutions, Llc | Electrode system |
CN102469961A (zh) * | 2010-01-28 | 2012-05-23 | 松下电器产业株式会社 | 语音清晰度评价系统、方法及其程序 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2011155196A1 (ja) | 2013-08-01 |
WO2011155196A1 (ja) | 2011-12-15 |
CN102781322A (zh) | 2012-11-14 |
US9044157B2 (en) | 2015-06-02 |
JP5144836B2 (ja) | 2013-02-13 |
US20120288108A1 (en) | 2012-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102781322B (zh) | 语音听取的评价系统、及方法 | |
JP5144835B2 (ja) | うるささ判定システム、装置、方法およびプログラム | |
US8655440B2 (en) | System and method of speech sound intelligibility assessment, and program thereof | |
JP5002739B2 (ja) | 聴力判定システム、その方法およびそのプログラム | |
JP5042398B1 (ja) | 脳波記録装置、補聴器、脳波記録方法およびそのプログラム | |
CN102469961B (zh) | 语音清晰度评价系统和方法 | |
CN102265335B (zh) | 助听器的调整装置和方法 | |
US8655439B2 (en) | System and method of speech discriminability assessment, and computer program thereof | |
JP5215508B1 (ja) | 不快閾値推定システム、方法およびそのプログラム、補聴器調整システムおよび不快閾値推定処理回路 | |
CN103313654B (zh) | 不适声压推测系统、不适声压推测装置及不适声压推测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |