[go: up one dir, main page]

JP5042398B1 - 脳波記録装置、補聴器、脳波記録方法およびそのプログラム - Google Patents

脳波記録装置、補聴器、脳波記録方法およびそのプログラム Download PDF

Info

Publication number
JP5042398B1
JP5042398B1 JP2012519261A JP2012519261A JP5042398B1 JP 5042398 B1 JP5042398 B1 JP 5042398B1 JP 2012519261 A JP2012519261 A JP 2012519261A JP 2012519261 A JP2012519261 A JP 2012519261A JP 5042398 B1 JP5042398 B1 JP 5042398B1
Authority
JP
Japan
Prior art keywords
sound
electroencephalogram
data
value
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012519261A
Other languages
English (en)
Other versions
JPWO2012108128A1 (ja
Inventor
幸治 森川
順 小澤
信夫 足立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2012519261A priority Critical patent/JP5042398B1/ja
Application granted granted Critical
Publication of JP5042398B1 publication Critical patent/JP5042398B1/ja
Publication of JPWO2012108128A1 publication Critical patent/JPWO2012108128A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • A61B5/38Acoustic or auditory stimuli
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/12Audiometering
    • A61B5/121Audiometering evaluating hearing capacity
    • A61B5/125Audiometering evaluating hearing capacity objective methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/375Electroencephalography [EEG] using biofeedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/70Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0242Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • A61B2560/0247Operational features adapted to measure environmental factors, e.g. temperature, pollution for compensation or correction of the measured physiological value
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/39Aspects relating to automatic logging of sound environment parameters and the performance of the hearing aid during use, e.g. histogram logging, or of user selected programs or settings in the hearing aid, e.g. usage logging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/41Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43Signal processing in hearing aids to enhance the speech intelligibility

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Otolaryngology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Neurosurgery (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

補聴器店でのフィッティングに必要なデータ量のデータを収集するために、周囲環境音とそのときのユーザの聞こえに関する情報とを適切に記録する。
脳波記録装置は、外部の音の音データを生成する集音部と、ユーザの脳波の脳波データを生成する脳波計測部と、収集された音を音圧に関して予め定められた複数の区分に分類する分類部と、音が分類された区分において、データ蓄積回数が予め設定された目標値に達しているかどうかに基づいて脳波データを記録するか否かを判定する蓄積判定部と、脳波データを記録すると判定された場合に、脳波データおよび音データを関連づけて蓄積する蓄積部とを備えている。目標値は区分毎に設定され、想定される最小値の音が分類される第1区分の目標値を第1の値とし、最小値よりも大きい音圧の音が分類される第2区分の目標値を第2の値とするとき、蓄積判定部には、第1の値が第2の値以上になるよう、第1の値が設定されている。
【選択図】図3

Description

本発明は、補聴器の調整を行うために用いられるデータの記録技術に関する。より具体的には、本発明はユーザが日常の様々な音環境においてユーザが聞く音とともに、その音に対する聞こえ状態を反映する脳波データを記録する装置、方法およびそのプログラムに関する。
近年、社会の高齢化あるいは大音量の音楽を長時間聴く機会が増えたなどの影響により、老人性あるいは音響性の難聴者が増加している。また、補聴器の小型化・高性能化に伴い補聴器装用の敷居が低くなり、日常生活における会話の聞き取り向上を目的に補聴器を利用するユーザが増加している。
補聴器は、ユーザが聞きとりにくい音を構成する種々の周波数のうち、特定周波数の信号の振幅を増幅させることにより、ユーザの低下した聴力を補うための装置である。ユーザが補聴器に求める音の増幅量は、ユーザごとの聴力低下の度合い応じて、また周波数帯によって異なる。そのため補聴器の利用を開始する前には、まずユーザごとの聴力に合わせて周波数毎の音の増幅量を調整する「フィッティング」が必須である。
フィッティングは、補聴器の周波数ごとの出力音圧(音として知覚され得る、大気の圧力変動) をMCL(most comfortable level:ユーザが快適に感じる音圧)にすることを目指して行われる。
フィッティングの最初の手順では、オージオグラムが測定される。「オージオグラム」とは、補聴器店や病院でまず各周波数の純音に対する聞こえ評価結果、換言すれば聴取可能な純音の最小音圧である聴力閾値の評価結果である。たとえば、「オージオグラム」は、複数の周波数の音のそれぞれについて、そのユーザが聞き取ることが可能な最も小さい音圧(デシベル値)を周波数(たとえば250Hz、500Hz、1000Hz、2000Hz、4000Hz)に応じてプロットした図として得られる。
その後、オージオグラムから快適に聞こえる音圧レベルに増幅するための調整方法であるフィッティング手法に基づいて増幅量をする初期調整が行われる。さらに必要に応じて、補聴器店では単音節の音声をひとつずつ口頭や、CD等の音源を用いてユーザに呈示し、実際に語音が聞き取れたか否かの評価をする語音明瞭度評価が実施され、補聴器の微調整が行われる。このような評価と補聴器の調整の繰り返しによって、ユーザの聞こえに応じた特性を持った補聴器が提供される。
しかし、このように丁寧に調整を行っても必ずしも満足のいく補聴器の調整はできないという課題があった。それは補聴器の評価および調整は補聴器販売店において、販売店の専門家によって行われるからである。
補聴器のユーザが実際に補聴器を装用するのは日常の生活場面、たとえば、家庭内、テレビの視聴時、外出中である。最適な補聴器の調整値は状況ごとに異なることが考えられる。従来は日常生活で補聴器の調整に不満があった場合には、その場面を覚え、専門家に伝える必要がある。例えば、会話には問題はなかったがテレビを見ているときにはうるさかった、とか、補聴器店の専門家との会話は問題を感じなかったが、家族との会話ではまだ聞きづらい、などである。補聴器のユーザが補聴器販売店で専門家に不満を伝えると、その結果をもとに専門家が再調整を行っていた。
この調整の困難さは、ユーザは過去の聞こえにくかった体験を、記憶をたどりながらその場面と聞こえにくさの種類について説明し、専門家はユーザの報告からユーザがどのような音環境で、どのような聞きにくさを感じたかを推定した上で、補聴器の再調整を行う必要がある点にある。もともと聞こえの主観的表現はばらつきが大きく、さらに記憶に基づくという点でさらに調整が困難になっている。
この課題に対して日常生活場面での音環境や聞こえの状況を自動的に記録し、その記録データを専門家が補聴器店の店頭で、もしくは遠隔操作により取得して、データの内容を分析することで、補聴器のフィッティングのための情報に用いるアプローチが考えられる。
このアプローチに対する従来の関連技術としては、特許文献1では入力信号(周囲環境音)データのロギングを行うデータロガーを備え、パラメータの特性解析結果を記録する補聴器が開示されている。これによって、ユーザがどのような音環境で生活していたかを定量的に把握できる。
また、特許文献2では、初期フィッティング後の補聴器ユーザの複数のゲインパラメータセットからの選択履歴(補聴器の操作履歴)をモニタリングしてログに記録し、補聴器店の専門家がそのログから最終的な補聴器の設定値を決定するユーザ個別フィッティング方法が開示されている。補聴器が予め持っている複数のゲインパラメータのセットのうち、どれが最も良く使われるか、という履歴の情報から、ユーザの音環境や聞こえの状態を間接的に推定しようとするものである。
また、特許文献3では、ユーザが不快に感じた場合に保存ボタンを押すことで、そのときの周囲音を記録して、フィッティングの際に保存しておいた音を再生しながらフィッティングを行うことができる補聴器が開示されている。これによって補聴器店で聞き取りにくかった音などを再度ユーザに聞いてもらうことで、聞きにくかった場面の思い出しが可能になる。これらの技術はいずれも、日常生活場面の状況を記録して、より適切な補聴器フィッティングにつなげることを目指している。
特表2009−512376号公報 特表2010−525696号公報 特開2010−4432号公報
しかしながら前記従来の特許文献1、特許文献2に開示される構成では、いずれも日常生活場面での音情報や補聴器操作は記録できるものの、その時にユーザがそのときの周囲環境音に対してどう感じたかを記録する方法がなかった。また、特許文献3の技術では、不快な状況でのボタン押しによって、間接的にユーザの意思が記録されるものの、どのような聞こえ状況であったかは十分に記録されなかった。このような構成では、どの場合でも補聴器店でログデータを見ただけでは、ユーザがその時々にどのような聞こえだったかという最も必要な情報が直接記録できないという課題があった。
本発明は上記課題に鑑みてなされたものであり、その目的は、たとえば補聴器店でのフィッティングに必要なデータ量のデータを収集するために、周囲環境音とそのときのユーザの聞こえに関する情報とを記録することにある。
本発明による脳波記録装置は、外部の音を収集して音データを生成する集音部と、ユーザの脳波を計測して脳波データを生成する脳波計測部と、前記集音部で収集された音を、前記音の音圧に関して予め定められた複数の区分に分類する分類部と、前記音が分類された区分において、データ蓄積回数が予め設定された目標値に達しているかどうかに基づいて、前記脳波データを記録するか否かを判定する蓄積判定部と、前記蓄積判定部によって前記脳波データを記録すると判定された場合に、前記脳波データおよび前記音データを関連づけて蓄積する蓄積部とを備え、前記目標値は区分毎に設定され、前記複数の区分のうち、想定される最小値の音が分類される第1の区分の目標値を第1の値とし、前記最小値よりも大きい音圧値の音が分類される第2の区分の目標値を第2の値とするとき、前記蓄積判定部には、前記第1の値が前記第2の値以上になるよう、前記第1の値が設定されている。
前記蓄積判定部は、前記音が分類された区分におけるデータ蓄積回数が、予め設定された目標値より小さい場合に、前記脳波データを記録すると判定し、前記蓄積判定部は、前記音が分類された区分におけるデータ蓄積回数が、予め設定された目標値以上の場合に、前記脳波データを記録しないと判定してもよい。
前記蓄積判定部によって前記脳波データを記録すると判定された場合に、前記蓄積部は、前記音と、前記音が収集した時刻に計測した脳波とを関連付けて蓄積してもよい。
前記蓄積判定部は、前記蓄積部に蓄積された前記脳波および前記音を参照し、前記音が分類された区分におけるデータ蓄積回数が予め設定された目標値に達しているかどうかに基づいて、前記脳波データを記録するか否かを判定してもよい。
音圧値に応じて目的とする前記脳波の脳波成分が変化するときは、前記蓄積判定部は、前記音圧値の大きさに応じて前記目標値を変化させてもよい。
前記蓄積判定部は、音圧値が小さい音が分類される区分になるほど、前記目標値を大きくしてもよい。
前記蓄積判定部は、音圧値が大きい音が分類される区分になるほど、前記目標値を小さくしてもよい。
前記蓄積判定部は、音圧値が大きい音が分類される区分になるほど、線形的に前記目標値を小さくしてもよい。
前記蓄積判定部は、前記第1の区分を含む、隣接する2以上の区分の目標値を共通して前記第1の値として設定してもよい。
前記脳波記録装置は、前記蓄積部に蓄積されている脳波を解析して、前記ユーザが、前記音を聞き取っているか否かを判定する脳波解析部をさらに備え、前記蓄積判定部は、前記ユーザに聞き取られていないと前記脳波解析部が判定した音に対応する区分の前記目標値を大きくするように変化させてもよい。
前記脳波解析部は、前記蓄積部のデータから脳波の反応を分析して前記ユーザが不快に感じた不快閾値を推定し、さらに前記不快閾値に基づいて前記第1の値を変更してもよい。
前記分類部は、前記音の音圧及び前記音の周波数に関して予め定められた複数の区分に分類し、前記脳波解析部は、前記ユーザが聴取しにくい周波数を特定し、前記周波数に対応する区分のデータ蓄積量の目標値を大きくするように変更してもよい。
前記蓄積部は、前記音データの分類結果であるカテゴリの情報を蓄積し、前記カテゴリごとの前記脳波データの加算平均結果を蓄積してもよい。
前記脳波計測部は、少なくとも一方が耳の中に設置された参照電極と接地電極とを用いて前記脳波を計測してもよい。
本発明による他の脳波記録装置は、外部の音を収集する集音部と、ユーザの脳波を計測する脳波計測部と、前記集音部で収集された音を、音の音圧に基づいて予め定められた複数の区分に分類する分類部と、前記音が分類された区分におけるデータ蓄積回数が予め設定された目標値に達しているかどうかに基づいて、前記脳波計測部が計測した脳波を記録するか否かを判定する蓄積判定部と、前記蓄積判定部によって前記脳波を記録すると判定された場合に、前記区分毎に、前記脳波および前記音を関連づけて蓄積する蓄積部とを備え、前記目標値は、前記複数の区分毎に設定されており、かつ、前記区分に対応する音の音圧が小さいほど、前記区分の目標値が大きくなるように設定されている。
本発明による補聴器は、上述のいずれかの脳波記録装置と、前記蓄積部に蓄積されたデータから聴力評価を行う聴力評価部と、前記聴力評価部の出力結果によって処理を変更する補聴処理部と、補聴処理結果をユーザに音で提示する出力部とを備えている。
本発明による脳波記録方法は、外部の音を収集して音データを生成するステップと、ユーザの脳波を計測して脳波データを生成するステップと、前記集音部で収集された音を、前記音の音圧に関して予め定められた複数の区分に分類するステップと、前記音が分類された区分において、データ蓄積回数が予め設定された目標値に達しているかどうかに基づいて、前記脳波データを記録するか否かを判定するステップと、判定する前記ステップによって前記脳波データを記録すると判定された場合に、前記脳波データおよび前記音データを関連づけて蓄積するステップとを包含し、前記目標値は区分毎に設定され、前記複数の区分のうち、想定される最小値の音が分類される第1の区分の目標値を第1の値とし、前記最小値よりも大きい音圧値の音が分類される第2の区分の目標値を第2の値とするとき、蓄積する前記ステップの実行時には、前記第1の値が前記第2の値以上になるよう、前記第1の値が設定される。
本発明によるコンピュータプログラムは、脳波記録装置に設けられたコンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムは、前記脳波記録装置に実装されるコンピュータに対し、収集された外部の音の音データを生成するステップと、計測されたユーザの脳波データを取得するステップと、前記集音部で収集された音を、前記音の音圧に関して予め定められた複数の区分に分類するステップと、前記音が分類された区分において、データ蓄積回数が予め設定された目標値に達しているかどうかに基づいて、前記脳波データを記録するか否かを判定するステップと、判定する前記ステップによって前記脳波データを記録すると判定された場合に、前記脳波データおよび前記音データを関連づけて蓄積するステップとを包含し、前記目標値は区分毎に設定され、前記複数の区分のうち、想定される最小値の音が分類される第1の区分の目標値を第1の値とし、前記最小値よりも大きい音圧値の音が分類される第2の区分の目標値を第2の値とするとき、蓄積する前記ステップの実行時には、前記第1の値が前記第2の値以上になるよう、前記第1の値が設定される。
本発明の脳波記録装置等によれば、日常生活の周囲環境音と脳波データがセットで記録され、脳波による聴力評価等に用いる周囲環境音の属性ごとに必要な量だけの周囲環境音と脳波データが蓄積される。これにより、少ない記憶容量で補聴器店でのフィッティングに必要なデータを収集できる。
本願発明者らが実施した実験結果の一例を示す図である。 (a)〜(c)は本願発明者らが実施した実験結果の別の例を示す図である。 実施形態1による脳波記録装置100の構成を示す図である。 (a)は、脳波記録装置100の具体的な形態を例示する図であり、(b)は補聴器購入前の聴力評価を行う場合の使用例を示す図である。 国際10−20法(10−20 System)の電極位置を示す図である。 実施形態1による脳波記録装置100のハードウェア構成を示す図である。 実施形態1による脳波記録装置100の処理の手順の概要を示すフローチャートである。 分類部の処理の手順を示すフローチャートである。 (a)〜(c)は、音の分類例を示す図である。 蓄積判定部の処理の手順を示すフローチャートである。 脳波データの蓄積の事例を示す図である。 (a)〜(c)は、目標蓄積回数と音圧との関係を示す図である。 音データおよび脳波データが蓄積されるまでの処理の事例を示す図である。 補聴器店に設置されたPC200のハードウェア構成を示す図である。 蓄積結果から聴力評価が行われる処理の手順を示すフローチャートである。 蓄積結果の評価結果への変換の想定事例を示す図である。 実施形態2による脳波記録装置105の構成を示す図である。 実施形態2による脳波記録装置105の手順の概要を示すフローチャートである。 脳波解析部の処理の手順を示すフローチャートである。 脳波解析部7の処理に応じて判定基準を修正する処理の例を示す図である。 実施形態による補聴器110の構成を示す図である。 (a)は、脳波記録装置100と補聴器部101とが一体となった補聴器110の外観構成例を示す図であり、図20(b)は装着例を示す図である。
以下、添付の図面を参照しながら、本発明による脳波記録装置およびその方法と、そのような脳波記録装置を動作させるためのコンピュータプログラムの各実施形態を説明する。
本発明の実施形態においては、聴力評価を行う際、評価時に発せられた音を利用するだけでなく、その音の大きさや聞きやすさ等を反映した脳波反応を利用する。本発明による脳波記録装置の技術的特徴の一つは、そのような音のデータと脳波のデータを選択的に蓄積することにある。これによって、蓄積容量が十分でない場合にも聴力評価に必要なデータを収集でき、または、同じ蓄積容量であっても、聴力評価に必要なより多くのデータを収集できるという利点がある。
実施形態の説明に先立って、脳波データに基づく聴力評価方法の説明と、脳波データごとに必要なデータ量が異なる点に関して説明する。
本願発明者らは、上述した課題、すなわち、ユーザが周囲環境音に対してどう感じたか、また不快な状況においてどのような聞こえだったか、を記録できていなかったという課題を解決するため、まず、そのときの周囲環境音に対する脳波反応を記録するアプローチを着想した。音に対する脳波反応を分析すれば、ユーザが口頭にて聞こえの回答をすることなく、音の大きさに対する評価や、語音が聞き分けられたか等の評価を行うことが可能になる。この脳波データおよび音データを共に記録すれば、様々な音刺激に対するユーザのその時点の聞こえ状態を逐次収集できる。補聴器店の専門家はどのような音に対してどのような聞こえ状態であったかが把握できるため、その専門家はより簡易かつ正確にパラメータを設定できる。
ただし、このように周囲音のデータに加えて脳波データも常時記録すると記録されるデータの容量は倍増するため、蓄積可能容量や消費電力の観点からは好ましいとは言えない。実際に運用する場合には、それらの要素が原因となって長期にわたる運用がコスト的にみて困難になる状況が発生すると予想される。したがって、記録されるデータの容量を減らすための対策が必要となる。
追加的に脳波データを利用する場合の問題を認識した本願発明者らは、必要な音刺激に対する必要な量の脳波データを選別して記録しつつ、その際、音刺激を脳波評価に適した属性に分類することで、必要な量のみの周囲環境音と脳波データを蓄積できるようにデータ蓄積量の制御が可能であることを見出した。以下、具体的に説明する。
ユーザが音を聞いた際、音の大きさや聞きやすさ等を反映した脳波反応が誘発されることが知られている。このような脳波反応は、事象関連電位と呼ばれ、脳波の電位変化として定量的に観測することができる。より厳密には、「事象関連電位」とは、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。
例えば、音の大小に対しては、音の発生時刻を起点にして100ミリ秒前後に特徴的なN1成分と呼ばれる波形が出現することが知られている。ここで「N1成分」とは、音を聞いてから100ミリ秒前後に現れる陰性のピーク(極大値)を持つ電位波形成分のことをいう。ここで「陰性」とは、一般的には、事象関連電位が0μVよりも小さいことをいう。
なお、本願明細書においては、事象関連電位の成分を定義するためにある時点から起算した所定時間経過後の時刻を、たとえば「約100ms」、「100ms前後」、「100ms付近」などと表現している。これは、100msという特定の時刻を中心とした範囲を包含し得ることを意味している。「事象関連電位(ERP)マニュアル−P300を中心に」(加我君孝ほか編集、篠原出版新社、1995)の30頁に記載の表1によると、一般的に、事象関連電位の波形には、個人ごとに30msから50msの差異(ずれ)が生じる。したがって、「約Xms」や「Xms付近」という語は、Xmsを中心として30から50msの幅がその前後(例えば、100ms±30ms、100ms±50ms、200ms±50ms)に存在し得ることを意味している。
図1は、本願発明者らが実施した実験結果の一例を示す。図1の横軸は時間(単位はミリ秒)で縦軸は事象関連電位の波形(単位はμV)である。縦軸の上方向は負の値であり、下方向は正の値である。
図1によれば、N1成分が音の大きさ(音圧)によって変化していることが理解される。具体的には、大きな語音を聞いた場合(実線)にはそのN1振幅は大きく、小さな語音を聞いた場合(点線)にはそのN1振幅が小さいことがわかる。ユーザにとってどの大きさの音が大きかったか小さかったかは異なるので、この成分の大小を見ることで、そのユーザがどの音に対して大きいと思い、小さいと思ったかが判定できる。本実験では、大きな音の音圧レベルは60−65dB、小さい音の音圧レベルは40−45dBであった。
なお、図1では、陰性のピークは100ミリ秒前後というよりは、200ミリ秒前後に出現している。その理由は、本実験では語音(日本語の一文字に対応し、子音+母音の組からなる)を呈示した場合の反応を計測したからである。ビープ音等の純音を呈示した場合には、上述のように100ミリ秒前後に出現することが知られている。しかしながら、本実験において呈示した音声は語音であり、立ち上がりにある程度の長さを持っているため、語音N1成分もその分後ろにずれて200ミリ秒前後に見られていると考えられる。
なお、ここではN1成分の大きさと音圧の関係について述べているが、その他にも、音圧が小さくなるとN1成分のピークが出現する時間(N1潜時)が遅くなるという潜時の遅延の性質や、N1成分が見られた後、陽性のピークを持つP2成分も使用してN1−P2の振幅差を用いることも、音圧の大小を反映する指標になり得る。なお、「陽性」とは、一般的には、事象関連電位が0μVよりも大きいことをいう。
この判定を実施する場合には、脳波データはノイズの影響を受けて一度だけの計測では安定した波形が得られないことに留意する必要がある。それは脳波には背景脳波と呼ばれる定常的に発生している脳波成分や体動や目の動きに連動した電位変動など、音に対する脳波を評価したい場合にも様々な外乱成分が混入してしまうからである。このため計測された脳波成分を加算平均するという方法が用いられる。同じ音に対する脳波反応を複数回収集し、その脳波反応の平均を計算することで、音の大きさに対して特異的でない定常成分やノイズ成分は相互に打ち消しあい、必要な情報のみを取得できる。図1の波形もこのような加算平均によって得られたものであり、脳波の特性が示されている。
この加算回数に関してさらに説明する。図2(a)〜(c)は本願発明者らが実施した実験結果の別の例を示す。いずれも、N1成分とは異なる脳波成分による別の聞こえ特性の評価の事例である。図2(a)は被験者が明瞭に音を聞き取れたと思ったかどうかを反映する成分の事例である。音が明瞭であったか否かの明瞭度評価に関し、それぞれの脳波成分の間には約4μVの差があった。図2(b)は、被験者が音を正確に聞き取れたことにどれぐらい自信があるかを反映する成分の事例である。被験者が音を正確に聞き取れたということは、音を快適に聞くことができたとみなすことができる。そのような快適性の評価に関し、それぞれの脳波成分の間には約1μVの差があった。本明細書においては、図2(a)および図2(b)に示されるそれぞれの成分を、「明瞭度」および「快適性」と呼ぶ。
図2(c)は、評価を実施するために必要な加算回数を調査したデータである。横軸は加算回数、縦軸に識別率を表す。加算回数が増加するに従って識別率も増加することが読み取れる。例えば判別に必要な精度を80%とした場合には、図2(a)に示した明瞭度評価の成分は比較的少ない5回加算程度で必要精度に到達できるのに対し、快適性評価の成分は20回以上の加算が必要になる。これは、もともとの脳波成分が評価したい内容によって異なることに由来する。すなわち、明瞭度のほうは、明瞭であったかどうかに関して差分は約4μVと大きいのに対し、快適性のほうは、差分は約1μVと小さくなっている。この違いは、定常脳波成分やノイズに対する信号の大きさであるSN比の違いになって現れ、必要な加算回数も変化してくる。
同様に、図1に示したN1成分の場合でも、小さな音に対する反応の成分は小さく、大きな音に対する反応の成分は大きい。この観点から再び図1を見直す。図1では、大きな音は音圧レベルが60−65dB、小さい音は音圧レベルが40−45dBであった。この実験におけるN1成分は、100msから300msにおける陰性のピーク振幅によって表現され、音圧が大きい条件では−2.19μV、音圧が小さい条件では−1.41μVであった。サンプリングポイントごとの波形をt検定した結果、218msから238msおよび272msから332msの区間において有意差があった(p<.05)。このようにN1成分の大きさも音圧によって異なるため、必要な加算回数も異なってくる。特に最小可聴閾値(HTL: Hearing Threshold Level)付近の反応は特に小さいので、その音圧付近で、N1成分の反応を見るためには特に加算回数が多く必要になる。
以上のように、脳波データに対するノイズ混入に対応するために、加算平均が必要であることが分かった。そして、脳波記録装置において記録容量や消費電力の制限がある場合には、必要十分なデータのみを蓄積する必要があり、その必要十分なデータ量は、周囲環境音の大きさや、評価対象とする脳波成分の大きさによって調整される必要があることを示した。
以下、これらの特性に配慮した脳波記録装置の実施形態に図面を用いて説明する。
(実施形態1)
図3は、脳波記録装置100の構成を示す。脳波記録装置100は、環境音9に対するユーザ1の脳波の反応を記録する。
脳波記録装置100は、集音部2と、分類部3と、蓄積判定部4と、脳波計測部5と、蓄積部6とを備えている。
集音部2は、たとえば後述するようにマイクおよび音声入力回路を含む。集音部2は、環境音9を収集して、分類部3に出力する。集音部2は、例えば、収集された音をサンプリングおよび量子化することによってデジタル化し、音データとして出力する。音データは、例えばCD並みの音質であればリニアPCM方式でエンコードされた44.1KHz、16ビットのデータである。なお、エンコード方式、サンプリング周波数、量子化ビット数などは、評価内容に応じて変更すればよい。
また、脳波計測部5は、たとえば脳波計である。脳波計測部5は、ユーザ1の脳波を計測する。脳波計測部5は、得られた脳波信号を脳波データとして出力する。なお、脳波信号から脳波データを生成する具体的な方法は任意である。たとえば音と同様、脳波信号をサンプリングおよび量子化することによってデジタル化してもよい。
分類部3は、集音部2から出力された音データを、聴力評価をすべき音の属性に分類する。音の属性とは、音の大きさ(音圧)、又は音の周波数等を意味する。たとえば、ユーザ1が周囲のどれぐらいの音の大きさに対して聞こえているかどうか、言い換えれば脳波反応が見られるかどうかを評価することを目的とした例である。
蓄積判定部4は、環境音の属性に対応して、脳波データを蓄積すべきかどうかを判定する。蓄積判定部4が脳波データを蓄積すると判定した場合には、蓄積部6は、脳波計測部5から出力された脳波データと、判定に使用された音データとを蓄積する。
蓄積部6は、たとえばフラッシュメモリカードおよびその制御回路を含む記録機構である。
なお、本明細書においては、脳波計測部5は脳波記録装置100の構成要素であるとして説明するが、この構成は一例である。集音部2は、脳波記録装置100の必須の構成要素でなくてもよい。たとえば、脳波記録装置100の分類部3が収集した環境音9を受信できればよい。また、脳波計測部5は脳波記録装置100の必須の構成要素でなくてもよい。たとえば、脳波計測部5が一台の脳波計として実現される場合には、脳波記録装置100はその脳波計から脳波データを受信できればよい。
蓄積部6も同様に脳波記録装置100の必須の構成要素でなくてもよく、脳波記録装置100の外部に設けられ、脳波記録装置100と有線または無線で接続された別体の記憶装置(たとえばハードディスクドライブ、光ディスクが装填された光ディスクドライブ)であってもよい。さらに、蓄積部6は脳波記録装置100と直接接続されていてもよいし、ネットワークを介して接続されていてもよい。脳波記録装置100は、少なくとも分類部3と、蓄積判定部4とを備えていればよい。
図4(a)は、脳波記録装置100の具体的な形態を示す。図4(b)は、ユーザ1に装着された脳波記録装置100を示す。脳波記録装置100の使用方法としては、補聴器購入前等のユーザ1の聴力を評価するために装着する場合と、補聴器購入後の初期設定が終わった補聴器に対して、補聴器がどれぐらい最適に調整されているかを評価するために装着する場合の2通りが考えられる。図4(b)は、補聴器購入前の聴力評価を行う場合の脳波記録装置100の使用例である。図3で示した構成要素に対応する図4の構成要素には同じ参照符号を付している。
図4(b)に示すように、ユーザ1は、脳波記録装置100を頭部に装着する。本例ではヘッドセット型の脳波記録装置100を想定している。
脳波計測部5の一例は、脳波計測用電極5aと脳波信号増幅部(生体アンプ)5bを含む。脳波として頭部上の電位変化を測定するため、電極の形状は、頭部の所定の位置に接触可能であることが望ましい。聴力評価に適した所定の位置は、測定しようとする脳波成分によって変化する。
図5は、国際10−20法(10−20 System)の電極位置を示す。当該位置指定方法を用いれば、例えば、導出電極を頭頂部分のCz、C3、C4等の位置にすることにより、音に対する誘発反応を記録しやすいと考えられる。その他の電極については例えば、基準電極とA1、接地電極をA2等にすればよい。これにより、脳波を導出可能になる。上述の電極位置は、本実施形態において必要とされる脳波成分(たとえばN1成分)を測定する際に利用される。
脳波記録装置100は、電極部分5a以外にも、集音部2に相当するマイク2も備えている。ユーザが聞く音と可能な限り近い音を収録する必要があるため、耳に近い位置に設置されることが好ましい。また、左右の音に対する反応を個別に評価する場合には、右耳用と左耳用のマイクをそれぞれ設置することが好ましい。
脳波記録装置100に含まれる、分類部3、蓄積判定部4、脳波計測部5(生体アンプ部分5b)は、信号処理回路(電子回路)によって実現され、ヘッドセット型の筐体に収納される。これらの信号処理回路は、マイクや電極と電気的に接続されている(図示せず)。蓄積部6は、メモリカード等の記録媒体として実現される。補聴器店では、メモリカードの受け渡し、もしくは通信によってデータの授受が行われる。
図6は、本実施形態による脳波記録装置100のハードウェア構成を示す。脳波記録装置100は、脳波記録装置100の信号処理部112(分類部3、蓄積判定部4)を実現するCPU100a、RAM100b、ROM100dを有し、RAM100b内には処理のプログラム100cが格納されている。
外部との入出力関係のデバイスとしては、集音部2としてマイク2aおよび音声入力回路2bが設けられている。また、脳波計測部5に関しては、脳波計5b、電極5a1および電極5a2が設けられている。さらに蓄積部6としては記録媒体6aおよび記録回路6bが設けられている。
それぞれのデバイスは、バス111によって相互に接続され、データの授受が可能である。例えば、RAM100bに格納されたプログラム100cを実行したCPU100aは、集音部2から出力された音データを、音の属性に応じて分類し、また蓄積するかどうかを判定する。その後、CPU100aは、必要に応じて脳波計測部5から出力された脳波データとともに、集音部2から出力された音データを蓄積部6の記録媒体に記録する。
なお、補聴器の脳波記録装置100は、1チップのCPU、RAM、ROMで構成されてもよいし、半導体回路にコンピュータプログラムを組み込んだDSP等のハードウェアとして実現されてもよい。そのようなDSPは、1つの集積回路で上述のCPU、RAM、ROM、音声の入出力回路等の機能を全て実現できる。
また、上述のコンピュータプログラム100cは、CD−ROM等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送され得る。
次に、このような脳波記録装置における処理について図7〜図14を用いて詳細に説明する。
図7は、本実施形態による補聴器の脳波記録装置100の処理を組み合わせたときの手順の概要を示す。図7に示す処理の一部のステップについては、より詳細なフローチャートを参照しながら後に説明する。
図7は補聴器の脳波記録装置100の大まかな処理手順である。
まずステップS20において、集音部2は周囲環境音9を集める。周囲環境音9には、ユーザの耳に届く全ての音情報が含まれている。会話音声等も含まれる。
ステップS30において、分類部3は収集された音を分析し、複数の属性に分類する。属性とは例えば音の大きさ(音圧)等である。音圧は、収集された音データの大小から算出される。
ステップS40において、蓄積判定部4は、現在はデータを蓄積すべき状態かどうかを判定する。蓄積すべき状態とは、音に対して誘発される脳波のデータが必要な量に達していない状態を意味する。このステップS40で、蓄積すべきでないと判定された場合にはステップS20に戻り、蓄積すべきと判定された場合には、ステップS50に進む。
ステップS50において、脳波計測部5は脳波データを取得する。脳波計測部5は脳波を常時計測している。前のステップS40の処理により、脳波データの切り出し区間に関する情報が送られてくるために、脳波計測部5はその情報に基づき、切り出し区間分の事象関連電位を取得する。事象関連電位の取得区間は、環境音の発生時点から−100ミリ秒から600ミリ秒などが想定できる。−100ミリ秒から0ミリ秒の区間は、ベースライン補正に使用され、0ミリ秒から600ミリ秒は、事象関連電位の変化として評価に用いられる。この取得区間は、評価対象の脳波成分によって変動し、例えば100ミリ秒付近の音声を使うN1成分を中心に見る場合には、−100ミリ秒から300ミリ秒の区間を取得しても良い。
なお、脳波データの切り出し処理は脳波計測部5によって行われるとして説明しているが、これは一例である。実際には図6に示すCPU100aが行う。CPU100aは蓄積判定部4としても機能するため、蓄積判定部4が脳波データの切り出し処理を行う、と捉えてもよい。
ステップS60において、蓄積部6は、蓄積判定部4によって蓄積すべきと判定された音データと脳波データとを記録媒体に蓄積する。音データと脳波データとを関連付けて蓄積することで、補聴器店に持ち帰った場合に、どのような音に対してユーザがどのような聞こえ状態だったかを評価可能になる。
関連付けの方法として、たとえば音データと脳波データとを一組にまとめてテーブルに格納すればよい。または、データの取得時刻を示す時刻情報を音データおよび脳波データにそれぞれ付加し、当該時刻情報に基づいて音データと脳波データとをリンクさせてもよい。
次に、上記フローのうち、発明の内容と特に関連が深い、音属性の分類処理(ステップS30)、蓄積判定処理(ステップS40)、および、音との脳波データの蓄積処理(ステップS60)の詳細を、さらに個別のフローチャートと図面を参照しながら説明する。
図8は、分類部3の処理の詳細を示す図であり、図9はその処理の説明図である。分類部3は、周囲環境音から脳波データの蓄積に適した音のタイミングと分類結果とを出力する。周囲環境音として種々の音が考えられる。そのような周囲環境音の音区間の中から、脳波反応が明確に得られそうな音区間のみを検出する必要がある。脳波は、連続した聴覚刺激に対してはその音に対する誘発反応が重ね合わせて生じていると考えられるので、連続部分の脳波は分析が困難であると考えられる。このため、本願発明者らは基本的には無音区間から有音区間に変化するタイミングを、比較的分析がしやすい脳波データが得られるタイミングであると考えている。以下、図8のフローチャートに沿って、必要に応じて図9と対応付けながら説明する。
ステップS31において、分類部3は集音部2から音データを取得する。例えば分類部3が1秒ごとに集音部2からデータを受け取るとすれば、分類部3が取得するデータは、現時点の直近1秒間に発生した音のデータになる。
ステップS32において、分類部3は、分類対象区間の音データに基づいて、その区間が無音であるか否かを判定する。具体的には、明らかな可聴閾値以下の音しか含まれていない場合には無音であると言える。よって評価対象外として処理はステップS33に進む。一方、可聴レベルより大きい音が含まれる場合には無音ではないとして処理はステップS34に進む。
ステップS33において、分類部3は当該区間が無音であったと分類してステップS38に進む。
ステップS34において、分類部3は分類対象区間のデータがすべて有音であったかどうかを判定する。具体的には分類部3は、分類対象区間全体にわたって可聴閾値より大きい音が含まれていたか否かを判定する。そのような音が含まれていた場合には音の変化がなかったとして処理はステップS35に進み、そのような音が含まれていなかった場合には、途中で無音区間から有音区間に変化したとして、処理はステップS36に進む。
ステップS34における判定処理は以下の観点から設けられている。すべての時区間において有音であるという状況は、日常生活ではしばしば遭遇する。例えば、音楽が流れている場合には、常に音データが得られており、どの音に対して事象関連電位が発生しているかを特定できない。よって、事象関連電位を用いた聴力評価にとっては適した状況ではないと判断できる。他にも、定常的な騒音が発生している電車の中や、雑踏でも同様の課題があり、事象関連電位による評価は難しい。このような理由で、ステップS32の無音区間判定のみならず、全区間が有音であったかどうかの有音区間判定処理を含める必要がある。
一方、事象関連電位による評価に有効な状況を検討すると、無音状態が有音状態に遷移したときであれば、その音に反応して事象関連電位が誘発されると考えられる。そのため、無音区間から有音区間になった瞬間を検出する必要がある。
ステップS35において、今回の音データは常に有音であり、有効な脳波データを蓄積するタイミングはなかったと考えられるため、処理はステップS38に進む。
ステップS36において、分類部3はどのタイミングで無音区間から有音区間に変化したかを検出する。これは音データを順に調べてゆき、一定以上のデータ変動、より具体的には音レベルの増加、がある場合の時刻を特定する処理により実現できる。これによって、ユーザに音が提示された時刻が特定され、この時刻に対応した事象関連電位を取得することが可能になる。
ステップS37において、分類部3は、ステップS36で特定されたタイミングから、ユーザが聞いたであろう音の大きさ(音圧)を判定する。音圧は、例えばデシベル表記される。
図9(a)は、音の大きさによって音を分類したときの分類結果を示している。どの音に対してユーザの脳波の反応があるか否かを見ることで、どの音の大きさが聞こえるかの最小可聴閾値などが評価可能になる。例えば、音の大きさが20dBであればその音は20dBの分類項目に分類される。
分類方法は、音の大きさに限られない。たとえば、他には語音の種類や周波数ごとに音を分類してもよい。
図9(b)は語音の種類で分類したときの音の分類結果の例を示す。語音の種類で分類することにより、どの語音に対して聞こえたかの語音明瞭度評価が可能になる。また図9(c)は、外部音の周波数の種類で分類したときの音の分類結果の例を示す。この分類方法は、外部の音の周波数に応じて、その反応を記録する方法である。難聴者の中には、特定の周波数のみ聞こえが悪くなる場合がある。周波数ごとの反応を記録すると、そのような症状の判定に有効である。
図9(a)〜(c)の分類方法は、どれか一つを選択することが必須ではない。ある音が得られたとき、それぞれの方法で同時に分類を行っても良い。外部の音は、音圧以外にも周波数特性を有しており、さらに語音の情報を持っている場合があるからである。
また、複数の属性に基づいて音の分類を行っても良い。例えば、音圧と周波数の両方の属性に基づいて分類すると、ユーザの聞こえに関して周波数毎に聞こえにくい音圧を特定可能になり、周波数と音圧の組合せの中から特に収集すべきデータが明らかになる。補聴器の調整においては、最終的には周波数毎のゲイン(音の増幅の程度)を設定する必要があるので、周波数毎の各音圧に対する反応が組合せて記録されることも、補聴器の調整には有効な評価指標として使用可能である。
ステップS38において、分類部3は分類結果を決定して出力する。出力は、分類不能(音なし、音変化なし)、もしくは、音量に関する分類結果である。このうち、分類可能であった音量の分類結果を元に次の蓄積判定部4に情報が送られる。
このような処理によって、周囲環境音を常にモニタしている期間中に、脳波反応を蓄積するタイミングであるかどうかが判定される。
なお、このフローチャートは、音の大きさによって分類する事例で説明したが、図9(b)のような語音種類での分類も可能である。この場合には、ステップS37が「語音種類の判定」を行う処理となる。
または、図9(c)のような周波数での分類も可能である。この場合には、ステップS37が「周波数の判定」を行う処理となる。
次に、図7のステップS40に示される蓄積判定処理を詳細に説明する。蓄積回数判定処理は、蓄積判定部4によって行われる。
図10は蓄積判定部4の処理の手順を示す。また、図11A、図11Bおよび図12は、蓄積判定処理のデータ処理の例を示す。
蓄積判定部4は、各カテゴリ(属性)に設定された所定の目標蓄積回数を保持している。蓄積判定部4は、蓄積部6に蓄積されている各カテゴリのデータ回数を取得する。蓄積判定部4は、集音部2が新たに取得した音のカテゴリに対応するデータの回数が、所定の目標蓄積回数が達成しているか判定することで、蓄積の要否を判定する。これによって必要な量の脳波データを蓄積できる。
図11Aは、音の分類結果、目標蓄積回数、現在蓄積数の関係を示す。音の分類結果は、分類部3が分類した区分に対応する。目標蓄積回数は、蓄積判定部4が、予め記憶する音の属性毎の値に対応する。現在の蓄積数は、蓄積部6が蓄積しているデータの数に対応する。この関係を記述したテーブルファイルは蓄積判定部4に保持されている。「音の分類結果(カテゴリ)」とは例えば音の大きさであり、10dBごとに9つの区分に分けられている。そして、それぞれの区分に目標蓄積回数が設定されている。具体例を挙げると、0dBの音に対しては20回の脳波データの蓄積が必要で、80dBの音に対しては10回の脳波データの蓄積が必要であるなどと設定される。この数値は、脳波の特性(評価したい脳波成分の大きさ)および必要な評価精度によって決定される。例えば音に対するN1成分による評価を考えた場合、大きな音ではN1成分は十分大きいであろうことに鑑みて目標蓄積回数を「10回」程度に設定し、小さな音に対しては目標蓄積回数を「20回」程度に設定すればよい。さらに、ユーザの最少可聴閾値が20dBや30dB近傍が想定される場合には、当該近傍を精度良く判定するために、さらに蓄積回数を40回に増やしても良い。さらに現在の蓄積数も同じ行に表示されている。この回数が、ユーザが脳波記録装置100を装着してからどの程度蓄積されたかを示している。
図11B(a)〜(c)は、目標蓄積回数の設定例を示している。目標蓄積回数の設定は、蓄積判定部4によって行われる。
なお図11Bの「○」印は、図11Aの「音の分類結果」に示すような複数の区分の各々に対応する音圧値と、各音圧値に対応して定められる目標蓄積回数との関係を示している。なお図11Bには、音圧と目標蓄積回数の関係(プロファイル)をわかりやすく記載するために「○」印を結ぶ直線が示されている。実際に計測される音圧は、それぞれ対応する区分に振り分けられる。例えば、計測された音圧が、35dBから44dBの場合には40dBの区分として分類される。
図11B(a)は、音圧が大きくなるにつれて、必要な目標蓄積回数を線形的に低減させた設定例を示す。図1に関連して説明したとおり、音圧の大きさに応じて、その音によって誘発される事象関連電位のN1成分も変化し、必要な加算回数も異なってくる。よって、各音圧に対する蓄積回数をなるべく少なくした上で、N1振幅を同じ精度で分析したい場合には、このような設定が可能である。
図11B(b)は、すでにユーザのHTL(最小可聴閾値)がある程度想定できる場合の目標蓄積回数の設定例を示す。上述のように、HTLが想定される音圧では、N1成分の反応は特に小さくなる。その音圧付近でN1成分の反応を見るためには特に加算回数が多く必要になる。そこで、基本的な蓄積数は少ないがHTLが想定される部分だけ加算回数が多くなるよう設定されている。図11B(a)および(b)の目標蓄積回数の設定は、このような考えに立っている。
図11B(c)は、ユーザのHTLが不明で、HTLの値だけを精度良く求めたい場合の例である。HTLが想定される範囲だけの反応を集中的に取得できるような目標蓄積数の配分になっている。このように、判定したい内容に応じて目標蓄積回数の設定を行う必要がある。
まとめると、図11B(a)によれば、蓄積判定部4は、音圧値が小さい区分になるほど目標蓄積回数を多く設定し、音圧値が大きい区分になるほど、線形的に目標蓄積回数を小さく設定する。想定される最小値の音が分類される区分は最も目標蓄積回数が大きくなり、その区分とは異なる区分(当該最小値の音よりも大きい音が分類される別の区分)では、目標蓄積回数はより小さくなる。
一方、図11B(b)および(c)によれば、蓄積判定部4は、HTLであると想定される値または範囲内においては目標蓄積回数が最も多くなるよう設定する。隣接する2以上の区分について、目標蓄積回数を共通して設定してもよい。HTLであると想定される値または範囲を外れた音圧範囲においては、目標蓄積回数を大幅に減少させてもよい。
再び図10を参照する。図10のステップS41において、蓄積判定部4は、分類部3の出力結果を受け取って、分類結果の有無を判定する。音なしや音変化なしのように分類結果がない場合には、ステップS46に進み、分類結果がある場合には、ステップS42に進む。
ステップS42において、蓄積判定部4は、分類結果のカテゴリ情報を取得する。音の大きさで分類した場合には、カテゴリ情報とは現在の周囲環境音の大きさ(dB)のことである。図11Aでは、音の分類結果の列に示された情報に対応する。
ステップS43において、蓄積判定部4は、蓄積判定部4内に記憶されたテーブル(図11A)から、今回のカテゴリに対する蓄積目標量を取得する。例えば、カテゴリが20dBの場合には、蓄積判定部4はテーブルを参照して目標蓄積回数40回を取得する。
ステップS44において、蓄積判定部4は、内部に記憶されたテーブル(図11A)から、今回のカテゴリに対する現在蓄積数を取得する。例えば、図11Aの例で言えば、30dBの現在蓄積数20回を取得する。
ステップS45において、蓄積判定部4は、現在の蓄積数が目標値に対して十分かどうかを判定する。蓄積数が目標に達している場合には、処理はステップS46に進み、蓄積数が目標に達していない場合には、処理はステップS47に進む。図11Aの例で言えば、目標50回に対して現在は20回であるので、蓄積判定部4は、蓄積が必要であると判定する。
ステップS46において、蓄積判定部4は、蓄積不要と判定する。これ以上の蓄積は不要なので、当該カテゴリについてはデータが蓄積された旨のメッセージが音声等によって呈示されても良い。また、目標量が達成されたが、なるべく最新のユーザ反応を収集したい場合には、本ステップにおいて、蓄積判定部4は最も古いタイミングで蓄積されたデータを破棄して、新しいデータと置き換える処理を行うことも可能である。
また、全てのカテゴリの目標量が達成された場合には、機器側でその旨の情報呈示をすると、いつ情報収集が完了したかが伝達できる。情報蓄積完了の判定がユーザや店舗の専門家に伝達されることで、必要十分な時間のみ評価機器を装着すれば良くなる。
ステップS47において、蓄積判定部4は蓄積が必要と判定して、蓄積処理を行うよう動作する。具体的には、蓄積判定部4は、蓄積すべき音データの発生時刻を参照し、その発生時刻に対応した脳波データ(事象関連電位)を脳波計測部5から取得して、蓄積部6に蓄積し、図11Aのテーブルの現在蓄積数を更新する。
図12は、音データおよび脳波データの処理の流れを示す。集音部2で収録された音声11のデータは、分類部3にて分類され、起点1および現在の音の音量30dBが決定される。この分類部3の出力に基づき、蓄積判定部4は、テーブル13を参照しながら、目標蓄積回数50回と、現在蓄積数20回を比較し、この状況においては音データおよび脳波データを蓄積すべきと判定する。その結果、蓄積部6は、脳波計測部5から出力されている脳波12のデータのうち、蓄積判定部4からの指示によって脳波計測部5から出力された、起点1に対応した脳波(事象関連電位)15のデータを取得し、音データと脳波データとを関連づけて蓄積する。なお、データの長さは起点1に対して−100ミリ秒〜600ミリ秒である。
以上の処理によって、聴力の評価に必要な回数の脳波データが蓄積できる。
かかる構成によれば、脳波による聴力評価に必要な音の属性の分類と、分類ごとに設定された目標データ量との比較をすることにより、記録容量や消費電力の制限がある場合にも、必要十分な量のデータを蓄積できる。
上記の手順によって蓄積部6には、周囲環境音データと脳波データとが対になったデータが蓄積される。
次に、蓄積されたデータが補聴器店に持ち込まれて専門家にどのように役立てられるかを説明する。
図13Aは、補聴器店に設置されたPC200のハードウェア構成を示す。PC200は、CPU30と、メモリ31と、グラフィックコントローラ32と、通信コントローラ33とを有している。これらは互いにバス34で接続され、相互にデータの授受が可能である。
CPU30は、メモリ31に格納されているコンピュータプログラム35を実行する。PC200は、このコンピュータプログラム35にしたがって、以下に説明する処理を行う。このコンピュータプログラム35は、補聴器フィッティングソフトまたはその一部のソフトウェアモジュールである。補聴器フィッティングソフトは、補聴器の内部パラメータ値の参照と設定ができるソフトウェアで、どのように調整するかもフィッティングソフトの画面上で専門家によって操作される。本発明で蓄積されたデータの評価処理は、フィッティングソフトの拡張機能として実装可能で、評価結果を画面表示して専門家が確認したり、評価結果をフィッティングパラメータ設定に自動的に反映したりするなどの使われ方が想定される。
グラフィックコントローラ32はCPU30の命令に従って映像信号を生成し、モニタ(図示せず)に出力する。モニタはその映像信号を表示する。
また、通信コントローラ33は、メモリカード36がPC200のメモリカードスロット(図示せず)に装着されたときに、そのメモリカード36にデータを書き込み、または、そのメモリカード36からデータを読み出す。本実施形態においては、このメモリカード36は脳波記録装置100の蓄積部6の一部であったメモリカードであるとする。通信コントローラ33は、CPU30の命令に従って、そのメモリカード36に蓄積された音データおよび脳波データを読み出す。
なお、通信コントローラ33は、ハードディスクドライブや光ディスクドライブと接続される、USB等のインターフェースを制御する通信コントローラであってもよいし、ネットワークを介してデータを受け取るネットワークローラであってもよい。または、通信コントローラ33は脳波記録装置100と直接接続されることにより、蓄積部6の蓄積結果を参照してもよい。
なお、上記構成は、1つのプロセッサまたは回路として実現されてもよい。または、PC200に含まれるそれぞれが1つのプロセッサまたは回路として設けられてもよいし、それらのうちの2以上が1つのプロセッサまたは回路として設けられてもよい。
図13Bは、蓄積されたデータを聴力評価結果に変換する処理の手順を示すフローチャートである。また、図14は、蓄積結果(a)から補聴器店での聴力評価(b)への変換処理の例を示す。
図13BのステップS61において、PC200のCPU30は、通信コントローラ33を介して、メモリカード36からカテゴリ情報を取得する。カテゴリ情報とは、例えば周囲環境音の大きさで0dB〜100dBまで10dB刻みに与えられる。図14の分類結果21はその一例である。
ステップS62において、CPU30は、上記カテゴリに記録された脳波情報を取得する。例えば、図14にて30dBに対する蓄積数23は40回なので、脳波データ24から40本の事象関連電位波形が得られることになる。
ステップS63において、CPU30は、ステップS62で得られた脳波情報から加算平均波形を導出する。ひとつひとつの事象関連電位波形は、ノイズの影響を大きく受けているが、加算平均を行うことで、評価に必要な成分のみを抽出できる。
ステップS64において、CPU30は、ステップS63で得られた加算平均波形から注目成分の振幅を算出する。例えばN1成分の評価であれば100ミリ秒の周辺で陰性にピークを持つ波形の振幅を算出する。
ステップS65において、CPU30は、ステップS64で算出された振幅26およびその振幅に対応した評価結果を音量カテゴリごとに保存する。図14の想定事例において、例えば、20dBのカテゴリに対してはERPの平均振幅26は0μVである。これは反応が見られないということを意味する。そこで、CPU30は、音が聞こえていないと評価する。一方、30dBのカテゴリに関して、平均振幅26は1.2μVである。そこでCPU30は、わずかではあるが反応が見られると評価する。
ステップS66において、CPU30は、すべての対象カテゴリに対する評価が完了したか否かを判定する。また未判定のカテゴリがある場合には処理はステップS61に進み、全ての評価が完了した場合には処理は終了する。
このようなプロセスによって、各カテゴリに対応した、脳波による評価結果が生成される。この評価結果に基づいて、図14では、最少可聴閾値28の観点では、初めて事象関連電位の反応が見られる30dBであると評価可能であるし、それぞれの音の反応を見ることで、どのタイミングで平均振幅の増加がなくなるかを見ることで、うるさい音の大きさの評価も可能である。なお、「うるさい音」とは、ユーザにとって大き過ぎる音、たとえば、ユーザが不快に感じる程度に大きい音をいう。不快に感じる程度はユーザによって異なるため、「うるさい音」を一律に定義することは適切ではない。
なお、本実施形態において、上述の分類部で分類される属性は外部からの音の大きさであったが、その属性は語音の種類であっても良い。これによって、音の大きさに対する反応ではなく、語音に対する反応が調べられて、語音明瞭度評価が可能になる。語音に対する評価は、一音一音ごとの評価でなくても、図9のように子音グループごとにまとめても良い。音データの観点からは、子音が同じ場合には同じ音データの立ち上がりであり、この部分に対する事象関連電位を取得することは意義がある。例えば、補聴器における子音強調処理の強さを決定する場合には、子音グループごとの蓄積も重要である。
語音の属性判定は、語音認識や子音グループの認識等の信号処理によって実現される。これまで語音認識手法は様々な手法が提案され、一般的にも入手可能である。それらは、元の音声信号から周波数解析等によりいくつかの特徴量を抽出し、その特徴量を元に、事前に設定された判定方法によって語音の種類や子音の種類を判定する手法である。このような認識手法は本発明の構成に独立に追加することで実現可能である。
なお、本実施形態において、音信号と脳波信号を組にして逐次記憶する方法について説明した。さらに記憶容量に制限がある場合には、音信号を波形のまま蓄積せず、音信号の分類処理結果であるカテゴリ情報としてのみ保存し、脳波データも波形のまま蓄積せず、カテゴリごとの加算平均結果のみを保存しても良い。この場合、保存すべきデータ量は、各カテゴリに対して事象関連電位が一本ずつで良いことになる。
(実施形態2)
本実施形態では、実施形態1の構成に加えて、脳波の評価を自装置内で実施し、その結果に応じて蓄積判定の基準も修正する構成を有する脳波記録装置を説明する。
補聴器を必要とするユーザの聞こえ状態のばらつきは、健聴者に対して大きいことが知られており、当初設定した音の大きさに対する蓄積回数では、必要な部分のデータが十分に蓄積できない場合も発生しうる。このため、ある程度の脳波データが蓄積された時点で、簡易な評価を行い、その結果を用いて蓄積量を修正することで、様々な聞こえ状態のユーザに対応可能になる。この機能がない場合には、補聴器店で蓄積データを確認したときに、初めてデータ不足が確認され、再度データ蓄積量を調整して、追加のデータ収集が必要になる。
図15は、本実施形態における脳波記録装置105の構成を示す。図15に示す構成要素のうち、実施形態1の構成要素(図3)と同じ機能を有するものには同じ参照符号を付し、その説明は省略する。
本実施形態による脳波記録装置105が実施形態1による脳波記録装置100と相違する点は、脳波解析部7が追加された点である。以下、この脳波解析部7の詳細動作を中心に説明する。
図16は、本実施形態による脳波記録装置105の処理の手順を示すフローチャートである。既に図6と同じ参照符号が付与されているステップS20からステップS60は図6のフローチャートに示した処理と同様であり、その詳細な説明を省略する。
ステップS70において、脳波解析部7は、蓄積された脳波を分析し簡易な聞こえ評価を実施し、必要に応じて蓄積判定部4の判定基準を修正する。聞こえ評価とは、蓄積された脳波を分析し、ユーザが音を聞き取っているか否かを判定する処理である。また、判定基準の修正とは、具体的には目標蓄積回数の増減を行うことである。
この処理によって、脳波による聴力評価にとってより必要な部分のデータを効率よく収集できる。
次に、上記フローのうち、脳波解析部7については、個別のフローチャートと図面によりその処理の詳細を説明する。
図17は、脳波解析部の処理の詳細を示す。図18は脳波解析部7の処理に応じて判定基準を修正する処理の例を示す。以下、図17のフローチャートに沿って、必要に応じて図18と対応付けながら説明する。本実施形態による脳波解析部7は、新しくデータが追加された場合にのみ実行されるとする。
図17のステップS71において、脳波解析部7は、分類部3から分類結果であるカテゴリ情報を取得する。
ステップS72において、脳波解析部7は、カテゴリに対応した脳波情報を取得する。ここで「脳波情報」とは、カテゴリに対する目標蓄積回数、現在の蓄積回数、そして蓄積されている事象関連電位波形のことである。
ステップS73において、脳波解析部7は目標蓄積回数の調整を実施するかどうかを判定する。これは、脳波解析部7による調整を実施するには、ある程度の脳波データが蓄積部6に蓄積されていることが必要だからである。蓄積される脳波データが少なすぎる場合には、正しい評価ができない可能性が高くなる。なお「ある程度」とは、例えば、目標蓄積回数の半分以上の脳波データが蓄積されたか等を適用できる。
脳波解析部7は蓄積部6における脳波データの蓄積状態を判定する。調整を実施すると判定された場合にはステップS74に進み、調整を実施しないと判定された場合には脳波解析部7の処理を終了する。
ステップS74において、脳波解析部7は取得された脳波データのみを用いて加算平均波形を算出する。
ステップS75において、脳波解析部7は、ステップS75で算出された加算平均波形から注目成分の振幅を算出する。例えばN1成分の評価であれば100ミリ秒の周辺で陰性にピークを持つ波形の振幅を算出する。
ステップS76において、脳波解析部7は、ステップS75で算出した振幅の大きさが想定される振幅と同じかどうかを判定する。想定振幅とは、事前に想定される、標準的なユーザにおいて誘発される脳波振幅である。これによって各ユーザの聞こえに合わせて必要な脳波データの量を調整できる。振幅が想定より小さい場合にはステップS77に進み、想定と同じ程度の値であればステップS78に進み、想定より大きい場合にはステップS79に進む。
ステップS77は、事象関連電位の振幅が想定よりも小さいと判定された場合の処理なので、より正確な聴力評価を行うためには、今回のカテゴリにおける目標蓄積回数を増加させた後に処理を終了させる。たとえば、脳波解析部7が脳波成分を評価した結果、20dBが最小可聴閾値付近であると評価すると、目標回数を増加させ、その後処理を終了させる。
ステップS78は、事象関連電位の振幅が想定と同じ程度と判定された場合の処理なので、目標蓄積回数を変更することなく処理を終了させる。
ステップS79は、事象関連電位の振幅が想定よりも大きいと判定された場合の処理なので、より少ないデータ数でも十分な精度の聴力評価が実施できると判定し、今回のカテゴリにおける目標蓄積回数を減少させた後に処理を終了させる。
図18を用いて、この処理の一例として、ステップS76における判定結果に従ってS77に進んだ例を説明する。現在蓄積されているデータを用いて、例えば20dBの音圧に対するN1の振幅を算出した際、想定される波形よりも小さかった場合、20dBの音圧に対してN1成分の振幅がぎりぎり観察されるか(最小聴覚閾値)、それとも見られないか(閾値より小さい)、の判定が必要となる。よって、より蓄積回数を増やしノイズの影響を減らした上での判定が必要となる。このため、現在の20dBの区分における最初の目標蓄積回数は40回だったが、より正確な評価を実施するために、蓄積判定部4は目標蓄積回数を50回に調整している。音が小さい時には特に最小可聴閾値付近のデータであり、この部分のデータは特に注意深く収集される必要があるため、このような処理が必要になる。
また、ステップS76における判定結果に従ってステップS79に進んだ場合に、蓄積判定部4は標蓄積回数を小さくするよう調整してもよい。例えば30dBの音圧の区分に対するN1成分の振幅を算出した際に、想定される波形よりも大きかった場合には、30dBの音圧の区分においては、十分なN1成分の反応が見られる(最小聴覚閾値よりも明らかに上)ので、より少ないデータ数でも十分な精度の聴力評価ができると判定できる。よって、蓄積判定部4は最初の目標蓄積回数40回に対して30回に減らしても良い。この場合、それよりも小さな音圧が最小可聴閾値の可能性が高まるので、30dBでは回数を減らしても、例えば20dBや10dBではより正確な判定のために、目標蓄積回数を増やすことも考えられる(図示せず)。
なお、本実施形態では、脳波解析部7でユーザの聞こえを分析した結果、周囲音の大きさに対する目標値の変更を行った。さらに、ユーザの最少可聴閾値や、不快閾値等を推定し、その値に基づいて目標蓄積回数を変更してもよい。例えば、ユーザの最小可聴閾値の推定値が修正された場合には図11B(b)に示したように、最小可聴閾値の付近のみの目標蓄積回数を多く設定してもよい。
なお、ユーザが難聴者の場合には、特定の周波数が聞き取り難い場合もあるため、図9(c)に示したような周波数ごとのデータ蓄積を想定して、そのデータ蓄積量を修正しても良い。周波数の解析は、フーリエ変換等によって実現される。脳波解析の結果、特定の周波数のみの反応が弱い場合に、その周波数のデータ蓄積量を増やすことで、より正確な評価ができるようになり、様々なタイプの難聴者の補聴器調整において有効なデータを取得できる。
これらの処理によって、データの蓄積結果から補聴器店に持ち込む前に簡易な聴力評価がなされるので、どのカテゴリの周囲環境音データと脳波データを重点的に集めるべきかが判定可能になり、必要十分なデータが蓄積可能である。これによって、補聴器店で専門家にデータ収集不足を指摘されずにすみ、データ収集や補聴器店との往復の手間を削減できる。
なお、本実施形態では、データが効率的に蓄積できる事例について、説明したが、データが十分に蓄積された時点で、補聴器店と通信によりデータのやり取りができれば、遠隔でのフィッティングも可能になる。従来のユーザが補聴器店に行かなければならない理由としては、(1)聴力評価が店頭でしかできない、(2)補聴器調整が店頭でしかできない、というものがある。しかしながら、本実施形態のようにデータが効率的に蓄積できるようになれば、補聴器店は最初に補聴器をユーザに持って帰ってもらい、脳波記録装置105の評価結果を通信によって受け取り、その結果から専門家が適切な補聴器の設定値を決定後、通信によってユーザの手元の補聴器にダウンロードさせることも可能になる。これにより、遠隔での補聴器調整も可能になる。
(実施形態3)
本実施形態では、補聴器店で専門家によるフィッティングを行わず、データ記録機能と評価機能を補聴器本体に組み込むことで、補聴器内部で自動的に調整する形態を想定している。
図19は、本実施形態による補聴器110の構成を示す。補聴器110は、たとえば実施形態1による脳波記録装置100、及び、補聴器部101を有している。図19において、図3と同じ構成要素については同じ符号を用い、説明を省略する。本実施形態にかかる構成は、実施形態1の構成に、聴力評価部8と、補聴器部101とを加えて構成している。
聴力評価部8は、蓄積部6のデータを用いて聴力評価を実施する部分である。基本的には、図13Bや図14で説明した蓄積データの評価結果への変換の処理を実施し、専門家が実施している最終的な補聴器の調整パラメータの決定部分も担当する。これによって、専門家を介することなく、補聴器の調整が可能になる。
補聴器部101は一般的な補聴器の構成を示している。補聴器部101は、集音部101aにて環境音を取得し、補聴処理部101bにて環境音に対して補聴処理を加え、出力部101cにてユーザへ補聴処理後の音を提供する。ここで補聴処理部101bは外部から制御信号を受け付けるようになっており、聴力評価部8の調整後のパラメータを受け取って補聴器部101の補聴処理に反映させる。
このような処理によって、脳波記録装置100のデータがそのまま補聴器に接続できる。
図20(a)および(b)は、システムの使用シーンを例示する。図20(a)は、脳波記録装置100と補聴器部101とが一体となった補聴器110の外観構成例を示し、図20(b)は装着例を示す。ユーザは補聴器110を耳に装着している。図20の脳波記録装置100は補聴器101内部に埋め込まれ、集音部2は補聴器の集音部101aと共用される。また、脳波計測部5は、電極部5aと生体アンプ5bからなり、電極部は補聴器の外に設置され、補聴器を装着したときに、頭部に接触するようにできている。脳波計測は、頭部およびその周辺に装着された少なくとも2つの電極間の電位差を計測する。この事例では、補聴器本体とユーザの耳とが接触する部分に、電極が設置してある。耳周辺で計測できる脳波は、頭頂部で計測される脳波とは、波形や特徴が異なる場合もあると考えられるが、耳周辺で計測できる脳波を前提に、評価方法を構成すれば実施は可能である。
最近は、性能や使用感の向上のため両耳に補聴器を同時に装着する場合もあり、この場合には脳波計測は両耳の間の電位を計測でき、脳活動をより計測しやすくなる。
なお、電極位置として耳の中に設置することも有効である。特に耳の中は固定されやすく体動に対しても接触が維持されると考えられるので、接地電極や参照電極を置くのも有効である。
脳波記録装置100を補聴器部101に組み込むことで、自動的に評価結果を補聴器に反映でき、ユーザの聞こえが時間とともに変化していく場合においても、音データと脳波データが逐次更新されれば、補聴器の聞こえは常に最適に維持される。
本発明にかかる脳波記録装置は、周囲環境音を分類してその分類に適した脳波データを蓄積して、補聴器店での補聴器の調整に有用である。また健聴者に対しては、周囲環境音の評価にも使用可能である。例えば、テレビやステレオの音質評価、駅や公共施設でのユーザの感覚による音環境評価、工場等での騒音評価などの基礎データの収集にも応用できる。
1 ユーザ
2 集音部
3 分類部
4 蓄積判定部
5 脳波計測部
6 蓄積部
7 脳波解析部
8 聴力評価部
100 脳波記録装置
101 補聴器部

Claims (18)

  1. 外部の音を収集して音データを生成する集音部と、
    ユーザの脳波を計測して脳波データを生成する脳波計測部と、
    前記集音部で収集された音を、前記音の音圧に関して予め定められた複数の区分に分類する分類部と、
    前記音が分類された区分において、データ蓄積回数が予め設定された目標値に達しているかどうかに基づいて、前記脳波データを記録するか否かを判定する蓄積判定部と、
    前記蓄積判定部によって前記脳波データを記録すると判定された場合に、前記脳波データおよび前記音データを関連づけて蓄積する蓄積部と
    を備え、
    前記目標値は区分毎に設定され、前記複数の区分のうち、想定される最小値の音が分類される第1の区分の目標値を第1の値とし、前記最小値よりも大きい音圧値の音が分類される第2の区分の目標値を第2の値とするとき、前記蓄積判定部には、前記第1の値が前記第2の値以上になるよう、前記第1の値が設定されている、脳波記録装置。
  2. 前記蓄積判定部は、前記音が分類された区分におけるデータ蓄積回数が、予め設定された目標値より小さい場合に、前記脳波データを記録すると判定し、
    前記蓄積判定部は、前記音が分類された区分におけるデータ蓄積回数が、予め設定された目標値以上の場合に、前記脳波データを記録しないと判定する、請求項1に記載の脳波記録装置。
  3. 前記蓄積判定部によって前記脳波データを記録すると判定された場合に、前記蓄積部は、前記音と、前記音が収集した時刻に計測した脳波とを関連付けて蓄積する、請求項1に記載の脳波記録装置。
  4. 前記蓄積判定部は、前記蓄積部に蓄積された前記脳波および前記音を参照し、前記音が分類された区分におけるデータ蓄積回数が予め設定された目標値に達しているかどうかに基づいて、前記脳波データを記録するか否かを判定する、請求項1に記載の脳波記録装置。
  5. 音圧値に応じて目的とする前記脳波の脳波成分が変化するときは、前記蓄積判定部は、前記音圧値の大きさに応じて前記目標値を変化させる、請求項1に記載の脳波記録装置。
  6. 前記蓄積判定部は、音圧値が小さい音が分類される区分になるほど、前記目標値を大きくする、請求項5に記載の脳波記録装置。
  7. 前記蓄積判定部は、音圧値が大きい音が分類される区分になるほど、前記目標値を小さくする、請求項5に記載の脳波記録装置。
  8. 前記蓄積判定部は、音圧値が大きい音が分類される区分になるほど、線形的に前記目標値を小さくする、請求項5に記載の脳波記録装置。
  9. 前記蓄積判定部は、前記第1の区分を含む、隣接する2以上の区分の目標値を共通して前記第1の値として設定する、請求項5に記載の脳波記録装置。
  10. 前記蓄積部に蓄積されている脳波を解析して、前記ユーザが、前記音を聞き取っているか否かを判定する脳波解析部をさらに備え、
    前記蓄積判定部は、前記ユーザに聞き取られていないと前記脳波解析部が判定した音に対応する区分の前記目標値を大きくするように変化させる、請求項1に記載の脳波記録装置。
  11. 前記脳波解析部は、前記蓄積部のデータから脳波の反応を分析して前記ユーザが不快に感じた不快閾値を推定し、さらに前記不快閾値に基づいて前記第1の値を変更する、請求項10に記載の脳波記録装置。
  12. 前記分類部は、前記音の音圧及び前記音の周波数に関して予め定められた複数の区分に分類し、
    前記脳波解析部は、
    前記ユーザが聴取しにくい周波数を特定し、前記周波数に対応する区分のデータ蓄積量の目標値を大きくするように変更する、請求項10に記載の脳波記録装置。
  13. 前記蓄積部は、前記音データの分類結果であるカテゴリの情報を蓄積し、前記カテゴリごとの前記脳波データの加算平均結果を蓄積する、請求項1に記載の脳波記録装置。
  14. 前記脳波計測部は、少なくとも一方が耳の中に設置された参照電極と接地電極とを用いて前記脳波を計測する、請求項1に記載の脳波記録装置。
  15. 外部の音を収集する集音部と、
    ユーザの脳波を計測する脳波計測部と、
    前記集音部で収集された音を、音の音圧に基づいて予め定められた複数の区分に分類する分類部と、
    前記音が分類された区分におけるデータ蓄積回数が予め設定された目標値に達しているかどうかに基づいて、前記脳波計測部が計測した脳波を記録するか否かを判定する蓄積判定部と、
    前記蓄積判定部によって前記脳波を記録すると判定された場合に、前記区分毎に、前記脳波および前記音を関連づけて蓄積する蓄積部と
    を備え、
    前記目標値は、前記複数の区分毎に設定されており、かつ、前記区分に対応する音の音圧が小さいほど、前記区分の目標値が大きくなるように設定されている、脳波記録装置。
  16. 請求項1または請求項15に記載の脳波記録装置と、
    前記蓄積部に蓄積されたデータから聴力評価を行う聴力評価部と、
    前記聴力評価部の出力結果によって処理を変更する補聴処理部と、
    補聴処理結果をユーザに音で提示する出力部と
    を備えた、補聴器。
  17. 外部の音を収集して音データを生成するステップと、
    ユーザの脳波を計測して脳波データを生成するステップと、
    前記集音部で収集された音を、前記音の音圧に関して予め定められた複数の区分に分類するステップと、
    前記音が分類された区分において、データ蓄積回数が予め設定された目標値に達しているかどうかに基づいて、前記脳波データを記録するか否かを判定するステップと、
    判定する前記ステップによって前記脳波データを記録すると判定された場合に、前記脳波データおよび前記音データを関連づけて蓄積するステップと
    を包含し、
    前記目標値は区分毎に設定され、前記複数の区分のうち、想定される最小値の音が分類される第1の区分の目標値を第1の値とし、前記最小値よりも大きい音圧値の音が分類される第2の区分の目標値を第2の値とするとき、蓄積する前記ステップの実行時には、前記第1の値が前記第2の値以上になるよう、前記第1の値が設定される、脳波記録方法。
  18. 脳波記録装置に設けられたコンピュータによって実行されるコンピュータプログラムであって、
    前記コンピュータプログラムは、前記脳波記録装置に実装されるコンピュータに対し、
    収集された外部の音の音データを生成するステップと、
    計測されたユーザの脳波データを取得するステップと、
    前記集音部で収集された音を、前記音の音圧に関して予め定められた複数の区分に分類するステップと、
    前記音が分類された区分において、データ蓄積回数が予め設定された目標値に達しているかどうかに基づいて、前記脳波データを記録するか否かを判定するステップと、
    判定する前記ステップによって前記脳波データを記録すると判定された場合に、前記脳波データおよび前記音データを関連づけて蓄積するステップと
    を包含し、
    前記目標値は区分毎に設定され、前記複数の区分のうち、想定される最小値の音が分類される第1の区分の目標値を第1の値とし、前記最小値よりも大きい音圧値の音が分類される第2の区分の目標値を第2の値とするとき、蓄積する前記ステップの実行時には、前記第1の値が前記第2の値以上になるよう、前記第1の値が設定される、コンピュータプログラム。
JP2012519261A 2011-02-10 2012-01-19 脳波記録装置、補聴器、脳波記録方法およびそのプログラム Expired - Fee Related JP5042398B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012519261A JP5042398B1 (ja) 2011-02-10 2012-01-19 脳波記録装置、補聴器、脳波記録方法およびそのプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011026974 2011-02-10
JP2011026974 2011-02-10
JP2012519261A JP5042398B1 (ja) 2011-02-10 2012-01-19 脳波記録装置、補聴器、脳波記録方法およびそのプログラム
PCT/JP2012/000308 WO2012108128A1 (ja) 2011-02-10 2012-01-19 脳波記録装置、補聴器、脳波記録方法およびそのプログラム

Publications (2)

Publication Number Publication Date
JP5042398B1 true JP5042398B1 (ja) 2012-10-03
JPWO2012108128A1 JPWO2012108128A1 (ja) 2014-07-03

Family

ID=46638356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012519261A Expired - Fee Related JP5042398B1 (ja) 2011-02-10 2012-01-19 脳波記録装置、補聴器、脳波記録方法およびそのプログラム

Country Status (4)

Country Link
US (1) US9232904B2 (ja)
JP (1) JP5042398B1 (ja)
CN (1) CN103270779A (ja)
WO (1) WO2012108128A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5579352B1 (ja) 2012-09-27 2014-08-27 パナソニック株式会社 不快音圧評価システム、不快音圧評価装置、不快音圧調整装置、不快音圧評価方法およびそのコンピュータプログラム
US9814879B2 (en) 2013-05-13 2017-11-14 Cochlear Limited Method and system for use of hearing prosthesis for linguistic evaluation
WO2014205327A1 (en) * 2013-06-21 2014-12-24 The Trustees Of Dartmouth College Hearing-aid noise reduction circuitry with neural feedback to improve speech comprehension
CN103816007B (zh) * 2013-11-22 2016-04-06 刘志勇 一种基于脑电频域特征指标化算法的耳鸣治疗设备及方法
EP2950555A1 (en) * 2014-05-28 2015-12-02 Oticon A/s Automatic real-time hearing aid fitting based on auditory evoked potentials evoked by natural sound signals
CA3007675C (en) * 2014-12-08 2023-05-16 Mybrain Technologies Headset for bio-signals acquisition
JP6782554B2 (ja) * 2016-04-15 2020-11-11 日本電信電話株式会社 コンテンツ評価装置、コンテンツ評価方法、プログラム
DE102016209329B4 (de) * 2016-05-30 2017-12-21 Sivantos Pte. Ltd. Verfahren zur automatisierten Ermittlung von Parameterwerten für ein Hörhilfegerät
US10918325B2 (en) 2017-03-23 2021-02-16 Fuji Xerox Co., Ltd. Brain wave measuring device and brain wave measuring system
DE102017214163B3 (de) * 2017-08-14 2019-01-17 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgeräts und Hörgerät
CN107616792B (zh) * 2017-09-15 2020-01-03 中国科学技术大学 一种万级数量通道的脑神经信号采集处理电路
DK3499914T3 (en) * 2017-12-13 2020-12-14 Oticon As Høreapparatsystem
EP3582514B1 (en) * 2018-06-14 2023-01-11 Oticon A/s Sound processing apparatus
US20210196960A1 (en) * 2018-11-02 2021-07-01 Cochlear Limited Physiological measurement management utilizing prosthesis technology and/or other technology
KR102774638B1 (ko) * 2019-07-11 2025-02-27 현대자동차주식회사 오류 모니터링을 이용한 교통 감시 시스템
CN110324774A (zh) * 2019-07-18 2019-10-11 河海大学常州校区 基于脑电eeg的骨传导助听器自动增益控制系统
CN110366086A (zh) * 2019-07-18 2019-10-22 河海大学常州校区 基于脑电eeg的骨传导助听器自动增益控制方法
US11477583B2 (en) 2020-03-26 2022-10-18 Sonova Ag Stress and hearing device performance
CN114781461B (zh) * 2022-05-25 2022-11-22 北京理工大学 一种基于听觉脑机接口的目标探测方法与系统
CN115251909B (zh) * 2022-07-15 2024-04-30 山东大学 基于时空卷积神经网络的脑电信号评估听力的方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0243900A (ja) * 1988-03-30 1990-02-14 Diaphon Dev Ab 聴覚代行機器
JPH05115096A (ja) * 1991-05-25 1993-05-07 Rion Co Ltd 補聴器フイツテイング装置
WO2001087147A2 (en) * 2000-05-19 2001-11-22 Michael Sasha John System and method for objective evaluation of hearing using auditory steady-state responses
JP2003339760A (ja) * 2002-05-30 2003-12-02 Gn Resound As 聴覚人工器官にデータを記録する方法、聴覚人工器官、コンピュータプログラムおよびデータ担体
WO2007112737A1 (en) * 2006-03-31 2007-10-11 Widex A/S Method for the fitting of a hearing aid, a system for fitting a hearing aid and a hearing aid
WO2009068028A1 (en) * 2007-11-29 2009-06-04 Widex A/S Hearing aid and a method of managing a logging device
JP2009302980A (ja) * 2008-06-16 2009-12-24 Rion Co Ltd 補聴器の調整方法
WO2011001694A1 (ja) * 2009-07-03 2011-01-06 パナソニック株式会社 補聴器の調整装置、方法およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6327366B1 (en) * 1996-05-01 2001-12-04 Phonak Ag Method for the adjustment of a hearing device, apparatus to do it and a hearing device
US7399282B2 (en) 2000-05-19 2008-07-15 Baycrest Center For Geriatric Care System and method for objective evaluation of hearing using auditory steady-state responses
CA2341834C (en) * 2001-03-21 2010-10-26 Unitron Industries Ltd. Apparatus and method for adaptive signal characterization and noise reduction in hearing aids and other audio devices
US6862359B2 (en) * 2001-12-18 2005-03-01 Gn Resound A/S Hearing prosthesis with automatic classification of the listening environment
AU2005337523B2 (en) 2005-10-18 2009-09-10 Widex A/S Hearing aid comprising a data logger and method of operating the hearing aid
CN100453036C (zh) * 2007-02-13 2009-01-21 电子科技大学 一种音乐脑电分析方法
EP2160923B1 (en) 2007-06-13 2011-09-07 Widex A/S Method for user individualized fitting of a hearing aid
JP2010004432A (ja) 2008-06-23 2010-01-07 Panasonic Corp 補聴器及び補聴器ユニット
US9313585B2 (en) 2008-12-22 2016-04-12 Oticon A/S Method of operating a hearing instrument based on an estimation of present cognitive load of a user and a hearing aid system
JP4690507B2 (ja) 2009-07-03 2011-06-01 パナソニック株式会社 語音明瞭度評価システム、その方法およびそのプログラム
AU2010272769B2 (en) * 2009-07-13 2013-09-19 T&W Engineering A/S A hearing aid adapted for detecting brain waves and a method for adapting such a hearing aid

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0243900A (ja) * 1988-03-30 1990-02-14 Diaphon Dev Ab 聴覚代行機器
JPH05115096A (ja) * 1991-05-25 1993-05-07 Rion Co Ltd 補聴器フイツテイング装置
WO2001087147A2 (en) * 2000-05-19 2001-11-22 Michael Sasha John System and method for objective evaluation of hearing using auditory steady-state responses
JP2003339760A (ja) * 2002-05-30 2003-12-02 Gn Resound As 聴覚人工器官にデータを記録する方法、聴覚人工器官、コンピュータプログラムおよびデータ担体
WO2007112737A1 (en) * 2006-03-31 2007-10-11 Widex A/S Method for the fitting of a hearing aid, a system for fitting a hearing aid and a hearing aid
WO2009068028A1 (en) * 2007-11-29 2009-06-04 Widex A/S Hearing aid and a method of managing a logging device
JP2009302980A (ja) * 2008-06-16 2009-12-24 Rion Co Ltd 補聴器の調整方法
WO2011001694A1 (ja) * 2009-07-03 2011-01-06 パナソニック株式会社 補聴器の調整装置、方法およびプログラム

Also Published As

Publication number Publication date
US20130138012A1 (en) 2013-05-30
JPWO2012108128A1 (ja) 2014-07-03
US9232904B2 (en) 2016-01-12
WO2012108128A1 (ja) 2012-08-16
CN103270779A (zh) 2013-08-28

Similar Documents

Publication Publication Date Title
JP5042398B1 (ja) 脳波記録装置、補聴器、脳波記録方法およびそのプログラム
JP5215508B1 (ja) 不快閾値推定システム、方法およびそのプログラム、補聴器調整システムおよび不快閾値推定処理回路
JP5144835B2 (ja) うるささ判定システム、装置、方法およびプログラム
JP4861538B2 (ja) 脳波計測装置、電気的ノイズの推定方法、および、電気的ノイズの推定方法を実行するコンピュータプログラム
CN102265335B (zh) 助听器的调整装置和方法
JP5091366B2 (ja) 音圧評価システム、その方法およびそのプログラム
JP5215507B1 (ja) 不快音圧決定システム、その方法およびそのプログラム、補聴器調整システムおよび不快音圧決定装置
CN102781321B (zh) 听力判定系统及其方法
JP5144836B2 (ja) 語音聴取の評価システム、その方法およびそのプログラム
JP5406414B2 (ja) 不快音圧推定システム、不快音圧推定装置、不快音圧推定システムの作動方法およびそのコンピュータプログラム
CN102469961B (zh) 语音清晰度评价系统和方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120619

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120710

R150 Certificate of patent or registration of utility model

Ref document number: 5042398

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150720

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees