JP3564501B2

JP3564501B2 - 乳幼児の音声解析システム

Info

Publication number: JP3564501B2
Application number: JP2001083121A
Authority: JP
Inventors: 薫荒川
Original assignee: MEIJI UNIVERSITY LEGAL PERSON
Current assignee: MEIJI UNIVERSITY LEGAL PERSON
Priority date: 2001-03-22
Filing date: 2001-03-22
Publication date: 2004-09-15
Anticipated expiration: 2021-03-22
Also published as: JP2002278582A; US6496115B2; US20020135485A1

Description

【０００１】
【発明の属する技術分野】
この発明は、乳幼児の泣き声を解析して乳幼児の心理状態を推定し、それを表示する乳幼児の音声解析システムに関する。
【０００２】
【従来の技術】
乳幼児は言葉は持たないが、声を出すことにより何らかの心理状態を表現する。例えば機嫌が良ければ笑い、何か不快感があれば泣き声を出す。即ち、乳幼児は泣くことによって何らかの不都合を訴えようとし、何らかの不快感を感ずると泣く。母親や育児に携わる者は、その原因を理解し、不都合を解消しようとする。しかし、一般に、乳幼児の泣き声からその不快感の原因を推定することは困難な場合が多く、これがために育児担当者は育児ストレスを感じ易い。
【０００３】
【発明が解決しようとする課題】
この発明は、このような点に鑑みなされたもので、乳幼児の泣き声から乳幼児の啼泣原因を把握することを可能にする乳幼児の音声解析システムを提供することを目的とする。
【０００４】
【発明を解決するための手段】
この発明に係る音声解析システムは、乳幼児の音声信号を入力し、この音声信号を周波数解析して、前記音声信号の０Ｈｚ〜１０ＫＨｚ（より好ましくは０Ｈｚ〜２２．０５ＫＨｚ）の周波数範囲の周波数解析結果に基づく特徴量を算出する音声解析手段と、この音声解析部で算出された特徴量に基づいて乳幼児の啼泣原因を推定する啼泣原因推定手段と、この啼泣原因推定手段で推定された啼泣原因を表示する表示手段とを備えたことを特徴とする。
【０００５】
即ち、本発明者は、乳幼児を対象として、疼痛時（注射の直後）、空腹時（授乳前又は離乳食前）、及び眠いとき（食後寝付く前）における啼泣時の音声信号を採取して、その音声信号の周波数解析を行った。その結果、音声信号の波形、例えば周波数スペクトルに基づく特徴量が、疼痛時、空腹時及び眠いときでそれぞれ異なるパターンを示すことを確かめた。本発明は、この事実に基づくものである。
【０００６】
本発明によれば、乳幼児の啼泣時の音声信号を波形解析して、その波形解析結果に基づく特徴量から啼泣原因を推定し、その推定結果を表示するようにしているので、高い精度で乳幼児の啼泣原因を育児担当者に示すことができる。これにより、育児担当者の育児負担を軽減する育児支援が可能になる。
【０００７】
なお、ここで波形解析結果が周波数スペクトルであるとすると、周波数スペクトルに基づく特徴量とは、例えば乳幼児の音声信号から一呼吸分の音声信号を切り出し、この切り出された一呼吸分の音声信号の異なるＮ箇所（Ｎは任意の自然数）の小区間についてそれぞれ算出されたＮ個の周波数スペクトル、その各周波数帯域における分散値、前記周波数スペクトルに対するケプストラム及び前記周波数スペクトルの周期性のピークの箇所の少なくとも１つ使用することができる。
【０００８】
また、啼泣原因推定手段は、例えば音声信号の周波数スペクトルの各帯域の周期性の有無及び周期性のある周波数帯域に基づいて前記啼泣原因を推定するものである。より具体的には、例えば啼泣原因推定手段は、音声信号の周波数スペクトルが低周波帯から高周波帯まで連続的に周期性を有する場合、啼泣原因が「空腹」であると推定し、音声信号の周波数スペクトルが低い周波数帯で連続的に周期性を有する場合、啼泣原因が「眠い」であると推定し、音声信号の周波数スペクトルが周期性を有さず、又はその周期が時間的に変化する場合、啼泣原因が「痛い」であると推定する。
【０００９】
また、本発明に係る乳幼児の音声解析方法は、乳幼児の音声信号を入力し、この音声信号を周波数解析して、前記音声信号の０〜１０Ｈｚ（より好ましくは、０Ｈｚ〜２２．０５ＫＨｚ）の周波数解析結果に基づく特徴量を算出し、この算出された特徴量に基づいて乳幼児の啼泣原因を推定するようにしたことを特徴とする。
【００１０】
【発明の実施の形態】
以下、図面を参照して、この発明の好ましい実施の形態について説明する。
図１は、本発明の一実施例に係る乳幼児の音声解析システムの構成を示す機能ブロック図である。
このシステムは、乳幼児の泣き声を音声信号として取り込むマイク１と、このマイク１で取り込んだ音声信号を所定のサンプリング周波数でサンプリングしてアナログ／ディジタル変換するＡ／Ｄ変換器２と、このＡ／Ｄ変換器２でサンプリングされた音声信号を解析して周波数スペクトルに基づく特徴量を算出する音声解析部３と、この音声解析部３で求められた音声信号の特徴量に基づいて啼泣原因を推定する啼泣原因推定部４と、この啼泣原因推定部４での推定結果を表示する推定結果表示部５とを備えて構成されている。
【００１１】
なお、このシステムは、ソフトウェア、ハードウェア又はその両方により実現されるもので、システムの設置場所に応じて、種々の形態を取りうる。例えば、▲１▼マイク１を乳幼児の近傍に設置し、そこで音声を採取して、他の場所に置かれた音声解析部３、啼泣原因推定部４及び推定結果表示部５に有線又は無線で音声信号を送り、他の場所で解析、推定及び表示を行う形態、▲２▼全体が乳幼児の近傍に設置される形態、▲３▼音声信号の採取、解析及び推定を乳幼児の近傍で行い、推定結果を他の場所に設置された推定結果表示部５に推定結果を表示する形態等が考えられるが、特にこれらの形態には限られない。
【００１２】
次に、具体的解析・推定の手法として、周波数解析により、空腹、眠い、痛いという三種類の状態を分類する方式の例について説明する。
まず、乳幼児の泣き声をマイク１から取り込み、Ａ／Ｄ変換器２でディジタル化する。この際、サンプリング周波数は、１５ｋＨｚ以上の周波数成分を見るため、折り返し雑音が入らないように３０ｋＨｚ以上、好ましくは４０ｋＨｚ以上（例えば４４．１ｋＨｚ等）と高めに設定することが望ましい。
【００１３】
得られたディジタルデータを音声解析部３に供給する。音声解析部３は、啼泣原因推定部４と共に、パソコン、マイクロプロセッサ、ＤＳＰ等の信号処理装置によって実現することができ、その機能として一呼吸切出し部３１と周波数解析・特徴量算出部３２とを含む。まず、一呼吸分の音声信号が切り出される。即ち、図２に示すように、乳幼児の泣き声は乳幼児の呼吸と連動して断続的に発生し、一呼吸分の有音部と無音部とが繰り返される信号となるので、一呼吸分切り出し部３１は、ある程度の音圧レベルが連続する区間を一呼吸分の信号としてその区間毎に音声信号を切り出す。
【００１４】
次に、周波数解析・特徴量算出部３２は、図３に示すように、切り出された区間の音声信号からＮ箇所の小区間を所定の間隔で取り出して、これら小区間について、それぞれフーリエ変換を施して各小区間毎の周波数スペクトル（パワースペクトル）を求めると共に、その特徴量を算出する。なお、フーリエ変換方式としてはＦＦＴ（高速フーリエ変換）が一般的であるので、以下、これを使って説明するが、他の方式を用いても良いことはいうまでもない。
【００１５】
図４は、各時刻（Ｎ箇所）における周波数スペクトル（パワースペクトル）とこれを連続的に求めて、横軸に時間、縦軸に周波数をとって表示したサウンドスペクトグラムとを示す図である。
乳幼児の啼泣原因としては、空腹、眠い、痛い、寂しい、怖い、不快等が挙げられるが、このうち、空腹、眠い、痛い（注射などでひどく痛い場合）に関して泣き声のサウンドスペクトグラムを求めると、次のようになる。
【００１６】
（１）空腹時：一呼吸分の泣き声を切り出して、この切り出し区間内のＮ箇所の小区間に対してそれぞれ周波数スペクトルを求めると、得られるＮ個の周波数スペクトル（パワースペクトル）は、図４（ａ）のように、低い周波数（０ｋＨｚ）から高い周波数（約１０ｋＨｚ以上）まで周期的にピークが現れるほぼ同一の周期波形となる。従って、一呼吸分の泣き声に対し、サウンドスペクトグラムを求めると、横縞が低い周波数（０ｋＨｚ）から高い周波数（約１０ｋＨｚ以上）まで連続的に現れる。
【００１７】
（２）眠いとき：一呼吸分の泣き声を切り出して、この切り出し区間内のＮ箇所の小区間に対してそれぞれ周波数スペクトルを求めると、得られるＮ個の周波数スペクトル（パワースペクトル）は、図４（ｂ）のように、低い周波数帯（０〜６ｋＨｚくらい）でのみ周期的にピークが現れるほぼ同一の周期波形となる。従って、一呼吸分の泣き声のサウンドスペクトグラムでは、横縞が現れるが、これが低い周波数帯（０〜６ｋＨｚくらい）までしか現れない。
【００１８】
（３）疼痛時：一呼吸分の泣き声を切り出して、この切り出し区間内のＮ箇所の小区間に対してそれぞれ周波数スペクトルを求めると、得られるＮ個の周波数スペクトル（パワースペクトル）には、図４（ｃ）のように、周期波形は現れず、全体的に不規則な波形となる。従って、一呼吸分のサウンドスペクトグラムでは、低い周波数帯から高い周波数帯にかけて強い成分が現れるが、きれいな横縞ではなく、ランダムなパターンか、またはうねりのある縞状になる。うねりのある縞の場合は周期波形となるが、その周期が各箇所において大きく変化する。なお、この場合の泣き声は音で聞くと悲鳴音として聞こえる。
【００１９】
以上の点を踏まえ、周波数解析・特徴量算出部３２では、特徴量として、以下のようなものを算出する。
ａ）Ｎ箇所のＦＦＴで得られるＮ個のパワースペクトル値。
ｂ）Ｎ個のパワースペクトルの各周波数帯における分散値。
ｃ）各パワースペクトルについて各周波数帯域毎に求めたケプストラム。
ｄ）パワースペクトルで周期性が検出されたものに対する各ピークの箇所。
【００２０】
次に、啼泣原因推定部４では、音声解析部３で算出された特徴量から乳幼児の啼泣原因を推定する。即ち、痛い、空腹、眠いの三種類に対し、上述した特徴の差異を考慮したルールを作り、それに基づいて啼泣原因の推定を行う。例えば次のような方法が考えられる。まず、各一呼吸分の泣き声において、Ｎ箇所のパワースペクトルを求める。これについて以下のようなルールを適用する。
【００２１】
ａ）次のようなパワースペクトルがＭ０個以上（Ｎ≧Ｍ０）存在すれば、「痛い」と推定する。
高い周波数帯（ＡｋＨｚ以上）においてパワースペクトルの分散があるしきい値Ｔ０を越え、全周波数帯において周期性が検出されないか、または周期性が検出される場合には、ピークの箇所がスペクトル毎に大きくばらついている。Ｍ０はＮの６割程度、Ａは１５程度に設定する。
【００２２】
ｂ）次のいずれかの場合、「空腹」と推定する。
ｉ）１箇所でもＢｋＨｚ以上に周期性を検出した場合。
ｉｉ）ＣｋＨｚ以上に明確な周期性が検出され、且つＭ１個以上のパワースペクトルのＤ〜ＥｋＨｚにおいて周期性を検出。Ｃは１１、Ｄは６、Ｅは１０程度であり、Ｍ１はＮ／２程度である。
ｉｉｉ）Ｃ′ｋＨｚ以上に若干周期性が検出され、且つＤ′ｋＨｚの前後でパワースペクトルの分散がほぼ一定。Ｃ′は、ｉｉ）のＣとほぼ同値である。
【００２３】
ｃ）これら以外の場合、眠いと推定。
【００２４】
以上の処理において、周期性の検出は、次のように行う。指定された周波数帯域におけるケプストラムを求めると、周期性が存在する場合のケプストラムは図５（ａ）のようになるが、周期性が無いと図５（ｂ）のようになる。図５（ａ）の最初のピークＰの位置が周期に相当する。横軸においてＰが発生する位置は、だいたい予想がつくので、その範囲内で最大値を求め、その横軸の位置をＱとすると、Ｑの前後±δ（δはＱ／２程度）におけるケプストラムの最小値ｒとｒ′を求める。Ｐにおけるケプストラム値をｐとすると、ｐとｒ，ｒ′の差分｜ｐ−ｒ｜，｜ｐ−ｒ′｜が共にあるしきい値Ｔ１を越えれば周期性があると判定する。
【００２５】
なお、泣いている原因は１つとは限らず、複合的なものもある。例えば空腹で且つ眠い場合、サウンドスペクトルを見ると、部分的に高い周波数帯まで横縞が生じるが、部分的には低い周波数帯しか生じない。このような曖昧な場合を考慮し、先に述べたルールが満たされるパワースペクトルの個数や縞の鮮明度で、原因の可能性を中間的に出すことも可能である。例えば上述したルールｂ）のｉｉ）でＤ〜ＥｋＨｚに縞が検出されるパワースペクトルの個数がＭ１の８割であれば、「８０％の可能性で空腹」あるいは「多分空腹」等。又、周期性検出における｜ｐ−ｒ｜，｜ｐ−ｒ′｜の値がＴ１よりも僅かに小さい場合も、「周期性が無い」と断定するのではなく、「多分周期性がない」ので「多分眠い」等と出力する。
【００２６】
乳幼児の泣き声は呼吸と共に断続的に続き、以上の事柄は、各呼吸毎に泣き声を分けたものに対する解析であるが、実際には、一続きの泣き声の中で、推定結果が異なるものが判定ミスにより紛れ込む場合がある。このような場合には、その前後数個の推定結果を見て多いものを最終的な推定結果とすることが考えられる。例えば各呼吸毎の推定結果が続けて「空腹」、「空腹」、「眠い」、「空腹」となったら「空腹」とする。
【００２７】
そして、これらの推定結果は、推定結果表示部５において文字、画像、光、音声等で表示される。これにより、特に乳幼児から離れた位置で表示部５をモニタしている育児担当者に対して、その啼泣の事実及びその原因の両方を報知することができるので、極めて効果的な育児支援を行うことができる。
【００２８】
なお、以上の実施形態では、音声信号の波形解析として周波数解析を利用し、波形解析結果として周波数スペクトルを使用したが、他の時間軸上の波形解析による特徴量を利用することもできる。例えば乳幼児が空腹又は眠いときなど自然に泣いているときは、一泣き分の音声信号の包絡線は、滑らかな形状となるが、痛いときには、音声信号の包絡線が乱れた形状となるので、波形解析として音声信号の包絡線形状を解析し、この解析結果から特徴を捉えて啼泣原因を推定することもできる。
【００２９】
【発明の効果】
以上述べたようにこの発明によれば、乳幼児の啼泣時の音声信号を波形解析して、その波形解析結果に基づく特徴量から啼泣原因を推定し、その推定結果を表示するようにしているので、高い精度で乳幼児の啼泣原因を育児担当者に示すことができる。これにより、育児担当者の育児負担を軽減する育児支援が可能になるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る乳幼児の音声解析システムのブロック図である。
【図２】同システムに入力される乳幼児の啼泣時の音声信号及びその切り出し方法を示す波形図である。
【図３】同システムにおける連続するＦＦＴを説明するための図である。
【図４】同システムで観測される啼泣原因別のパワースペクトルとサウンドスペクトグラムを示すグラフである。
【図５】同システムで観測されるケプストラムを示すグラフである。
【符号の説明】１…マイク、２…Ａ／Ｄ変換器、３…音声解析部、４…啼泣原因推定部、５…推定結果表示部、３１…一呼吸分切出し部、３２…周波数解析・特徴量算出部。

Claims

乳幼児の音声信号を入力し、この音声信号を周波数解析して、前記音声信号の０Ｈｚ〜１０ＫＨｚの周波数範囲の周波数解析結果に基づく特徴量を算出する音声解析手段と、
この音声解析部で算出された特徴量に基づいて乳幼児の啼泣原因を推定する啼泣原因推定手段と、
この啼泣原因推定手段で推定された啼泣原因を表示する表示手段と
を備えたことを特徴とする乳幼児の音声解析システム。
乳幼児の音声信号を入力し、この音声信号を周波数解析して、前記音声信号の０Ｈｚ〜２２．０５ＫＨｚの周波数範囲の周波数解析結果に基づく特徴量を算出する音声解析手段と、
この音声解析部で算出された特徴量に基づいて乳幼児の啼泣原因を推定する啼泣原因推定手段と、
この啼泣原因推定手段で推定された啼泣原因を表示する表示手段と
を備えたことを特徴とする乳幼児の音声解析システム。
前記音声解析手段は、
前記乳幼児の音声信号から一呼吸分の音声信号を切り出す一呼吸分切り出し手段と、
前記切り出された一呼吸分の音声信号の異なるＮ箇所（Ｎは任意の自然数）の小区間についてそれぞれ周波数スペクトルを算出して、算出されたＮ箇所の周波数スペクトル、その各周波数帯域における分散値、前記周波数スペクトルに対するケプストラム及び前記周波数スペクトルの周期性のピークの箇所の少なくとも１つを特徴量として算出する周波数解析・特徴量算出手段と
を備えたものであることを特徴とする請求項１又は２記載の乳幼児の音声解析システム。
前記啼泣原因推定手段は、
前記音声信号の周波数スペクトルの各帯域の周期性の有無及び周期性のある周波数帯域に基づいて前記啼泣原因を推定するものであることを特徴とする請求項１〜３のいずれか１項記載の乳幼児の音声解析システム。
前記啼泣原因推定手段は、前記音声信号の周波数スペクトルが低周波帯から高周波帯まで連続的に周期性を有する場合、啼泣原因が「空腹」であると推定し、前記音声信号の周波数スペクトルが低い周波数帯で連続的に周期性を有する場合、啼泣原因が「眠い」であると推定し、前記音声信号の周波数スペクトルが周期性を有さず、又はその周期が時間的に変化する場合、啼泣原因が「痛い」であると推定するものであることを特徴とする請求項１〜４のいずれか１項記載の乳幼児の音声解析システム。
乳幼児の音声信号を入力し、この音声信号を周波数解析して、前記音声信号の０Ｈｚ〜１０ＫＨｚの周波数解析結果に基づく特徴量を算出し、この算出された特徴量に基づいて乳幼児の啼泣原因を推定するようにしたことを特徴とする乳幼児の音声解析方法。
乳幼児の音声信号を入力し、この音声信号を周波数解析して、前記音声信号の０Ｈｚ〜２２．０５ＫＨｚの周波数解析結果に基づく特徴量を算出し、この算出された特徴量に基づいて乳幼児の啼泣原因を推定するようにしたことを特徴とする乳幼児の音声解析方法。