JP2004325635A - 音声処理装置、音声処理方法、音声処理プログラム、および、プログラム記録媒体 - Google Patents

Abstract

【課題】誤認識となる要因を判定して利用者に通知する。
【解決手段】セグメント分割部１４は、特徴抽出部１３で抽出された入力音声の特徴量を、標準モデル格納部１８に格納された標準モデルとの比較によって音素毎のセグメントに分割する。要因分析部１５は、各セグメント毎の特徴量に基づいて複数の誤認識の要因に関する特徴量を求め、各要因の特徴量の標準モデルからのずれの度合いを算出し、最もずれの大きい要因を検出する。メッセージ作成部１６およびメッセージ提示部１７は、上記最もずれの大きい要因をメッセージによって使用者に提示する。こうして、利用者に、誤認識となる要因を、人間が直感的に理解し易い要因によって知らせることができ、利用者の不快感を減らすことができる。
【選択図】 図２

Description

【０００１】
【発明の属する技術分野】
この発明は、音声認識システム等に利用される音声処理装置，音声処理方法，音声処理プログラムおよびプログラム記録媒体に関する。
【０００２】
【従来の技術】
現在、音声認識システムの認識性能は、書き起こし文を読み上げた朗読音声であれば、不特定話者タスクであっても高い単語認識性能を有している。これは、多数話者データベースの利用が可能であり、殆どの話者の音響特性を学習できるためである。また、Ｍａｘｉｍｕｍ ａ ｐｏｓｔｅｒｉｏｒｉ（以下、ＭＡＰと略称する）やＭａｘｉｍｕｍ Ｌｉｋｅｌｉｈｏｏｄ Ｌｉｎｅａｒ Ｒｅｇｒｅｓｓｉｏｎ（以下、ＭＬＬＲと略称する）等の話者適応技術によって、少ない音声サンプルから話者の音響特性を学習することも可能である。
【０００３】
ここで、上記話者の音響特性とは、話者の発声器官の違い等、発声器官の物理特性の違いによって起こる音響特性のことである。例えば、声道長の違い等によって、音声のスペクトルが話者毎に異なる。尚、上述したＭＡＰやＭＬＬＲは、Ｓ．Ｙｏｕｎｇ他著“Ｔｈｅ ＨＴＫＢＯＯＫ”に詳しく述べられている。
【０００４】
しかしながら、自然に且つ自由に発声された音声（以下、自然音声と言う）に対する認識性能は不十分である（篠崎他、音講論、ｐｐ１７−１８、Ｍａｒ．２００２）。自然音声認識が難しい理由は、発話スタイルの要因が大きいといわれている（山本他、信学論ｐｐ２４３８−２４４７、Ｎｏｖ．２０００）。また、自然音声と朗読音とを使ってモデルを学習した場合でも、自然音声の認識率はかなり低下する。この原因は、総ての発話速度に対応したモデルを作成することが難しいことと、自然音声においては特に母音をはっきりと発音しない（なまける）傾向があるためであると考えられる。
【０００５】
前者の原因に対しては、発話速度毎に遷移パスを分離するマルチパス隠れマルコフモデル（以下、ＨＭＭと略称する）（李他、音講文， ｐｐ．８９−９０， Ｍａｒ．２００２）等が提案されている。しかしながら、計算コストに見合った認識精度は得られていない。また、後者の問題に対しては、自然音声を上記ＭＡＰやＭＬＬＲ等の話者適応技術によって音響モデルを学習することが考えられる。しかしながら、そうすると、逆に母音モデルの特徴空間が大きくなってしまい、結果として自然音声の認識率が向上しても、朗読音声の認識精度が悪くなり兼ねない。
【０００６】
ここで、上記発話スタイルとは、上記「話者の音響特性」のような発声器官の物理特性の違いではなく、話者の環境や文化等によって起こる音響特性のことである。例えば、方言，早口，ゆっくりしゃべる，はっきりと発音しない等である。
【０００７】
さらに、あらゆる騒音環境下において高性能な認識性能を保証することはできない。予め収録した騒音を学習音声に重畳した音声をモデル（マッチドモデル）化する方法によって良い認識性能が得られるが、全環境の騒音を収録するのは不可能である。そのために、騒音環境の場合も、上記話者適応の場合と同様に少数の騒音データから上記ＭＡＰやＭＬＬＲ等によって適応処理を行う方法がなされている。しかしながら、その場合であっても上記マッチドモデル化する方法と比較すると認識性能は劣る。また、利用者が手当たり次第に環境適応を行うと、音響モデルがどのようになるか予測がつかないために好ましくない。
【０００８】
利用者にとって、利用者自身の音声の音響特性は如何にもならないが、周りの騒音や発話スタイルに対しては対応が簡単である。例えば、騒音に対しては静かな場所に移動できるし、発話スタイルに対しては標準的な話し方をすればよい。したがって、誤認識の原因が、話者の音響特性によるものか発話スタイルによるものか騒音によるものかを判定して、判定結果を利用者に知らせることができれば、誤認識による不快感を少なくすることができることになる。また、発話スタイルへの適応を行わないことで、認識性能が向上しない無駄な適応処理を回避することができる。同様に、対応していない環境を通知してやることによって、無駄な環境適応処理を回避することができる。
【０００９】
しかしながら、多くの音声認識システムにおいては、利用者に誤認識理由すら通知してはいない。その理由は、誤認識の原因を一般の人が理解できるように説明するのが難しいためである。具体的には、上記ＨＭＭを用いた音声認識システムにおいては、入力音声の音韻性以外の情報を含んだ「Ｍｅｌ−ｆｒｅｑｕｅｎｃｙ ｃｅｐｓｔｒａｌ ｃｏｅｆｆｉｃｉｅｎｔｓ（以下、ＭＦＣＣと略称する）」等の特徴ベクトルと標準モデルとの確率統計距離を基準としたマッチングスコアの大小によって認識結果が判定されるので、誤認識の原因を音声学の知見に完全に（１対１の対応で）結び付けることができないからである。
【００１０】
入力音声と標準音声との物理的な距離尺度を基準とした認識システムにおいては、上述したような誤認識理由を教示する装置ではないが、標準的な発話を利用者に学習させる音声認識装置が提案されている（例えば、特許文献１参照）。
【００１１】
その他、上記誤認識理由通知を行うものとしては、以下のような音声認識方法及び装置がある（特許文献２参照）。この音声認識方法及び装置においては、音声が入力されると、音声認識タスクによって入力音声を分析し、予め登録されている音声データと比較して一致するものを検出する。その際に、認識結果が「ＮＧ」である場合には、ＮＧであった旨の表示と理由コードとを表示するようにしている。
【００１２】
また、従来の話者適応可能な音声認識システムにおいては、話者の音響特性と発話スタイルの違いが明確化されていないため、発話スタイルや周辺環境も話者の音響特性と同様に学習してしまうことになる。例えば、話者適応技術を用いて信頼性の高いサブワードだけに話者適応を行う音声認識装置及び自動音声認識装置がある（特許文献３参照）。この音声認識装置及び自動音声認識装置では、認識結果の尤度尺度が閾値以上になる信頼性の高いサブワードにのみモデル適応を行うことによって、適応による認識性能劣化を小さくするようにしている。
【００１３】
【特許文献１】
特開平０１‐２８５９９８号公報
【特許文献２】
特開２０００‐１１２４９７号公報
【特許文献３】
特開２０００‐１８１４８２号公報
【００１４】
【発明が解決しようとする課題】
しかしながら、上記従来の音声認識装置や音声認識方法においては、以下のような問題がある。
【００１５】
すなわち、先ず、上記特許文献１に開示された音声認識装置においては、上記のような発話スタイルと話者の音響特性とを区別することはできないし、周辺環境に適応することもできない。さらに、認識を行う認識モードと、指定単語の発話者による音節特徴パターンを作成して登録する登録モードとを有している。そして、上記登録モードでは、発声単語を指示すると共に、正しく認識されるための発声方法（つまり、誤認識され易い理由）を指示するようになっている。ところが、上記登録モードは認識モードと分離しているため、認識モードにおいて誤認識が発生した場合に誤認識の理由を発話者に通知することができず、任意文の音声入力時において誤り原因を知らせることができないという問題がある。
【００１６】
また、上記特許文献２に開示された音声認識方法及び装置においては、入力音声の認識に失敗した場合にその理由情報を通知するのであるが、その通知内容は精々「比較すべき音声登録データなし」や「入力音量過多」等の程度である。また、誤認識理由を取得する手段や方法が開示されておらず、複数の要因が重なり合って発生する誤認識の理由をどのように取得するのかは不明である。したがって、十分な誤認識理由を利用者に通知することができないという問題がある。
【００１７】
また、上記特許文献３に開示された音声認識装置及び自動音声認識装置においては、信頼尺度が閾値以上になるサブワードにモデル適応を行うのであるが、実際に信頼度の定義や信頼度の閾値を決めるのは非常に難しい。例えば、信頼度の閾値を低くし過ぎると適応による認識性能劣化は防げるのではあるが、適応を行う確率が低くなるために適応効果があまり得られない。したがって、そのようなトレードオフの関係を見極めるのは非常に難しいのである。
【００１８】
さらに、誤認識の原因が音響特性と発話スタイルと周辺環境との何れであるかを、区別することはできない。したがって、尤度尺度が閾値以上であって認識の信頼度が高い場合には、発話スタイルおよび周辺環境にも適応しようとすることになる。ところが、上述したように、発話スタイルは、自然音声を用いて学習した場合であっても認識率は劣化するものであるから同様に認識率の劣化を招き、結果的に無駄な計算をすることになる。また、誤認識した理由や信頼度が低い理由等を利用者に通知する理由取得・通知手段が存在しないために、利用者に不快感を与える可能性もある。
【００１９】
そこで、この発明の目的は、誤認識となる要因を判定して利用者に通知することが可能な音声処理装置，音声処理方法，音声処理プログラムおよびプログラム記録媒体を提供することにある。
【００２０】
【課題を解決するための手段】
上記目的を達成するため、この発明の音声処理装置は、入力された音声の特徴量と標準モデルとの比較を行うに際して、上記入力された音声の特徴量に基づいて複数の誤認識の要因に関する特徴量を求め，各要因毎に上記特徴量の上記標準モデルからのずれの度合いを算出する要因別ずれ算出手段と、上記算出されたずれの度合いが許容範囲を表す閾値内にあるか否かを判定すると共に，上記閾値内にある場合には，上記ずれの度合いを上記許容範囲内にあることを表す所定値に変換するずれ度合変換手段と、上記算出されたずれの度合いと上記変換されたずれの度合いとに基づいて最もずれの度合いが大きい要因を検出する要因検出手段と、上記検出された最もずれの大きい要因を誤認識となる要因として出力する誤認識要因出力手段を備えている。
【００２１】
上記構成によれば、入力音声波形の特徴量に基づいて、例えば人間が直感的に理解し易い誤認識の要因に関する特徴量が求められる。そして、上記特徴量と標準モデルとのずれの度合が最も大きな要因が誤認識となる原因として検出され、ユーザに対して出力される。こうして、利用者に、誤認識となる原因を知らせることによって、結果的に誤認識に至った場合における利用者の不快感が減少される。
【００２２】
また、１実施例の音声処理装置では、上記誤認識要因出力手段は、上記検出された最もずれの大きい要因が複数存在する場合には、誤認識要因を出力せずに、音声の入力を再度行うことを促すメッセージを出力するようになっている。
【００２３】
上記最もずれの大きい要因が複数存在する場合には、突発的な雑音が発生した場合に多い。この実施例によれば、このような場合には、再入力を促すことによって、突発的な雑音に対して頑健に上記要因の分析が行われる。
【００２４】
また、１実施例の音声処理装置では、上記誤認識要因出力手段による上記メッセージの出力に従って音声が再度入力された場合には、上記許容範囲を表す閾値を上記許容範囲が狭くなるように変更する閾値変更手段を備えている。
【００２５】
この実施例によれば、上記許容範囲を表す閾値が上記許容範囲を狭くするように変更されるため、ずれの度合いが強調されることになる。したがって、誤認識の要因分析結果がより得易くなり、何度も利用者に音声入力させる手間が不要になる。
【００２６】
また、１実施例の音声処理装置では、上記誤認識要因出力手段は、上記検出された最もずれの大きい要因が前回の音声入力時と同じ要因である場合は、２番目にずれが大きい要因を上記誤認識となる要因として出力するようになっている。
【００２７】
この実施例によれば、利用者に対して何度も同じ指示を出さないようにして、利用者の不快感が減らされる。
【００２８】
また、１実施例の音声処理装置では、上記標準モデルは確率関数で表されており、上記要因別ずれ算出手段は、上記誤認識の要因に関する特徴量としてパワー，話速，話者性および周辺環境雑音の特徴量を求め、各要因毎に、上記標準モデルを表す確率関数における当該要因の特徴量に基づく確率値を用いて、当該標準モデルとのずれの度合いを算出するようになっている。
【００２９】
この実施例によれば、入力音声波形の特徴量に基づいて、人間が直感的に理解し易い誤認識の要因に関する特徴量が求められる。さらに、上記ずれの度合いを累積確率値によって表すことによって、異なる要因間のずれの度合いを確率値で比較することが可能になる。したがって、ずれの度合いの値に特別な正規化を施すことなく、最もずれの大きな要因を検出することが可能になる。
【００３０】
また、この発明の音声処理方法は、入力された音声の特徴量と標準モデルとの比較を行うに際して、上記入力された音声の特徴量に基づいて複数の誤認識の要因に関する特徴量を求め，各要因毎に上記特徴量の上記標準モデルからのずれの度合いを算出し、上記算出されたずれの度合いが許容範囲を表す閾値内にあるか否かを判定すると共に，上記閾値内にある場合には，上記ずれの度合いを上記許容範囲内にあることを表す所定値に変換し、上記算出されたずれの度合いと上記変換されたずれの度合いとに基づいて最もずれの度合いが大きい要因を検出し、上記検出された最もずれの大きい要因を誤認識となる要因として出力する。
【００３１】
上記構成によれば、利用者に、誤認識となる原因を、例えば人間が直感的に理解し易い要因によって知らせることによって、結果的に誤認識に至った場合における利用者の不快感が減少される。
【００３２】
また、この発明の音声処理プログラムは、コンピュータを、この発明の音声処理装置における要因別ずれ算出手段，ずれ度合変換手段，要因検出手段および誤認識要因出力手段として機能させる。
【００３３】
上記構成によれば、利用者に、誤認識となる原因を、例えば人間が直感的に理解し易い要因によって知らせることによって、結果的に誤認識に至った場合における利用者の不快感が減少される。
【００３４】
また、この発明のプログラム記録媒体は、この発明の音声処理プログラムが記録されている。
【００３５】
上記構成によれば、コンピュータで読み出して実行することによって、利用者に、誤認識となる原因が、例えば人間が直感的に理解し易い要因によって提示される。こうして、結果的に誤認識に至った場合における利用者の不快感が減少される。
【００３６】
【発明の実施の形態】
以下、この発明を図示の実施の形態により詳細に説明する。図１は、本実施の形態の音声処理装置におけるハードウェア構成を示す図である。
【００３７】
図１において、１は数値演算・制御等の処理を行う中央演算処理装置であり、本実施の形態において説明する処理手順に従って演算・処理を行う。２はＲＡＭ（ランダム・アクセス・メモリ）やＲＯＭ（リード・オンリ・メモリ）等で構成される記憶装置であり、中央演算処理装置１によって実行される処理手順（音声処理プログラム）やその処理に必要な一時データが格納される。３はハードディスク等で構成される外部記憶装置であり、音声処理用の標準パターン（テンプレート）や標準モデル等が格納される。４はマイクロホンやキーボード等で構成される入力装置であり、ユーザが発声した音声やキー入力された文字列を入力する。５はディスプレイやスピーカ等で構成される出力装置であり、分析結果あるいはこの分析結果を処理することによって得られた情報を出力する。６はバスであり、中央演算処理装置１〜入力装置５の各種装置を相互に接続する。尚、本音声処理装置のハードウェア構成は、図１に示す構成に加えて、インターネット等の通信ネットワークと接続する通信Ｉ／Ｆを備えていても構わない。
【００３８】
但し、本実施の形態においては、音声処理装置および音声処理プログラムは独立しているが、他の装置の一部として組み込んだり、他のプログラムの一部として組み込むことも可能である。そして、その場合における入力は、上記他の装置やプログラムを介して間接的に行われることになる。
【００３９】
以下、上記ハードウェア構成を踏まえて、本実施の形態において実行される処理について説明する。
【００４０】
図２は、本実施の形態における音声処理装置の機能的構成を示すブロック図である。入力部１１から、利用者の音声とそのラベル（発話内容のテキスト表記）とが入力される。そして、入力された音声は、Ａ／Ｄ変換部１２においてデジタル化される。このとき上記入力されたテキストはそのままである。
【００４１】
デジタル化された信号は、特徴抽出部１３によって、ある時間区間（フレーム）毎にＭＦＣＣベクトルに変換される。尚、上記ＭＦＣＣを求める詳細な方法は、上述した「Ｓ．Ｙｏｕｎｇ他著“Ｔｈｅ ＨＴＫＢＯＯＫ”」を参考されたい。また、ＭＦＣＣは特徴分析方法の１つであって、Ｌｉｎｅａｒ ｐｒｅｄｉｃｔｉｏｎ ｆｉｌｔｅｒ ｃｏｅｆｆｉｃｉｅｎｔｓ（線形予測フィルタ係数）等を用いても同じことである。
【００４２】
尚、上記特徴抽出部１３は、上述したように、本音声処理装置および音声処理プログラムを他の装置やプログラムに容易に組み込むことが可能なように、外部装置から特徴抽出されたパラメータが直接入力されることが可能なようになっている。その場合には、外部装置から入力されるパラメータと後に述べる標準モデルとの特徴分析方法を同じにする必要がある。例えば、上記標準モデルのパターンがＭＦＣＣで表現されている場合には、入力パラメータの特徴量もＭＦＣＣ表現にする必要がある。このとき上記入力されたテキストはそのままである。
【００４３】
上記特徴抽出部１３によって抽出されたＭＦＣＣベクトル列は、セグメント分割部１４によって、標準モデル格納部１８に格納された標準モデルの集合を用いて音素毎のセグメントに分割される。この音素毎のセグメントへの分割は、以下のようにして行われる。
【００４４】
すなわち、上記標準モデルがＨＭＭである場合、ＨＭＭの状態ｉから状態ｊに遷移する確率をａ＿ｉｊとし、ＨＭＭの状態ｊにおいてフレームｔにおける特徴ベクトルＯｔを観測する確率をｂ＿ｊ（Ｏｔ）とすると、最終フレームＴにおいてＨＭＭの最終状態Ｎに至る対数尤度Ｌ＿Ｎ（Ｔ）は、 次式

に従って、ビタビアルゴリズムによって求められる。そして、Ｌ＿Ｎ（Ｔ）が求められた際の（つまり、最終フレームＴの最終状態Ｎに到達した際の）フレームに対する状態番号を総て記憶しておき、記憶した状態番号を特徴ベクトル（ＭＦＣＣベクトル）に割り当てることによって、特徴ベクトル列を音素単位に分割する。
【００４５】
尚、上述した本方法が難解だと思われる場合には、上述の「Ｓ．Ｙｏｕｎｇ他著“Ｔｈｅ ＨＴＫＢＯＯＫ”」を参考にして行っても差し支えない。
【００４６】
こうして、音素毎のセグメントに分割された特徴ベクトル列は、上記テキスト表記されたラベルが付加されて要因分析部１５に入力される。そして、要因分析部１５によって、誤認識となる要因が調べられる。メッセージ作成部１６は、要因分析部１５による分析結果に従って、利用者へ提示するメッセージの文字列を作成する。最後に、メッセージ提示部１７によって、上記作成された文字列に基づいて、出力装置５を構成する上記ディスプレイにメッセージを表示したり、内蔵するテキスト音声合成手段で合成音声に変換してスピーカから音声出力したりすることによって、利用者に通知される。
【００４７】
但し、本音声処理装置および音声処理プログラムが、他の装置や他のプログラムの一部として組み込まれている場合には、メッセージ提示部１７は、上記作成された文字列を上記他の装置に返すことになる。
【００４８】
すなわち、上記Ａ／Ｄ変換部１２，特徴抽出部１３，セグメント分割部１４，要因分析部１５およびメッセージ作成部１６とメッセージ提示部１７の一部とは上記中央演算処理装置１で構成され、入力部１１は上記入力装置４で構成され、メッセージ提示部１７の上記一部の残りは上記出力装置５で構成され、標準モデル格納部１８は上記外部記憶装置３で構成されるのである。また、中央演算処理装置１は、上述した各部１２〜１７による本実施の形態に係る処理動作の他に、演算・判断処理，計時処理および入出力処理等の各種の処理動作をも行うようになっている。
【００４９】
以下、上記要因分析部１５による誤認識要因の分析と、メッセージ作成部１６によるメッセージの作成とについて、詳細に説明する。図３および図４は、要因分析部１５およびメッセージ作成部１６によって実行される要因分析・メッセージ作成処理動作のフローチャートである。尚、ステップＳ２０およびステップＳ２２はメッセージ作成部１６による処理であり、その他のステップは要因分析部１５による処理である。
【００５０】
上記セグメント分割部１４によるセグメントへの分割が終了すると要因分析・メッセージ作成処理動作がスタートする。そして、先ず、ステップＳ１で、セグメント分割部１４からの入力があるか否かが判別される。そして、入力があればステップＳ２に進む。ステップＳ２で、セグメント分割部１４からの上記セグメント毎に分割されてラベルが付けられた特徴ベクトルが取り込まれる。ステップＳ３で、セグメント分割部１４からの連続した入力回数を計時・記憶しているカウンタの値に基づいて、初回の入力であるか否かが判別される。その結果、初回の入力であればステップＳ５に進み、そうでなければステップＳ４に進む。
【００５１】
ステップＳ４で、後に実行される上記特徴ベクトルと標準モデルとの離れの度合が許容範囲内であるかを判定する際に用いる閾値が、初回入力時に用いる標準閾値から入力回数に応じた閾値に変更される。ここで、上記閾値は、入力回数が増加するに従って標準閾値から段階的に減少するように設定されている。また、上記閾値は、上記特徴ベクトルと標準モデルとの「ずれ（離れ）の度合い」が許容範囲内である場合に上記ずれ度合を所定値にするためにも用いられ、ずれの要因毎に予め設定されて外部記憶装置３等に記憶されている。尚、上記閾値は、音声認識システムの認識性能に依存するので、予め認識率９５％以上の話者の発話から求めた特徴ベクトルに基づいて実験的に決めておく。
【００５２】
ステップＳ５で、発話入力前における非音声区間のセグメントと雑音モデルとの離れ度合が算出される。尚、上記雑音モデルは、予め収録された雑音から学習によって求められて、標準モデル格納部１８に格納されている。また、上記非音声区間のセグメント（特徴ベクトル列）と雑音モデルとの離れ度合は、上記雑音モデルが与えられた際に非音声区間の特徴ベクトル列を観測する対数尤度の累積確率値として求められる。
【００５３】
具体的には、上記雑音モデルをＭｎとし、雑音の特徴ベクトル列をＸとする。その場合、雑音モデルＭｎが与えられた際に入力特徴ベクトル列Ｘを観測する対数尤度をＬ（Ｘ｜Ｍｎ）とし、雑音特徴ベクトル列のフレーム数（継続長）をＴとすると、継続長Ｔで正規化した対数尤度ｘ（＝Ｌ（Ｘ｜Ｍｎ）／Ｔ）（以下、正規化対数尤度と言う）の累積確率値Ｓｎは、次式で表される。

ここで、Ｎｎ（ｘ；μｎ，σｎ）は、確率変数ｘについて平均値μｎと分散値σｎとを有する単一ガウス分布であり、学習データから予め推定しておく。また、式中の積分の範囲は、入力雑音の正規化対数尤度＜μｎである場合は、「ａ」が学習データ中の正規化対数尤度の最小値であり、「ｂ」が入力雑音の正規化対数尤度である。また、入力雑音の正規化対数尤度＞μｎである場合は、「ａ」が入力雑音の正規化対数尤度であり、「ｂ」が学習データ中の正規化対数尤度の最大値である。但し、確率密度関数を単一ガウス分布として表すのは計算量を削減するためであり、混合ガウス分布等を用いても差し支えない。
【００５４】
上記累積確率値Ｓｎは、その値が小さい程、入力雑音の正規化対数尤度が学習データの正規化対数尤度ｘの単一ガウス分布の平均μｎから離れていることを意味し、入力雑音の特徴が学習した雑音モデルから大きくずれていることを示す。
【００５５】
ステップＳ６で、上記算出された非音声区間のセグメント（入力雑音）と雑音モデルとの離れ度合（累積確率値Ｓｎ）は、上記ステップＳ４において設定された閾値あるいは上記標準閾値よりも小さいか否か、つまり、入力雑音の特徴が雑音モデルから大きくずれているか否かが判別される。その結果、大きくずれている場合は、ビタビアルゴリズムによって求められる最尤状態経路が信頼できないので、ステップＳ２０に進む。一方、ずれていない場合にはステップＳ７に進む。
【００５６】
ステップＳ７で、入力音声のパワーの標準分布からの離れ度合が算出される。この場合の離れ度合は、上記ステップＳ５の場合と同様に、特徴ベクトルのパワーの平均値の累積確率値として求められる。
【００５７】
具体的には、先ず、入力音声の特徴ベクトルのパワーが、ＨＭＭの各状態毎に平均化される。次に、音素のパワーの累積確率値Ｓｐが、次式によって表される各状態ｉｎの累積確率値の中央値で近似することによって求められる。

ここで、Ｎｐ＿ｉｎ（ｐ＿ｉｎ；μｐ＿ｉｎ，σｐ＿ｉｎ）は、ＨＭＭの状態ｉｎに割り当てられたパワーの平均値ｐ＿ｉｎである確率変数について平均値μｐ＿ｉｎと分散値σｐ＿ｉｎとを有する単一ガウス分布であり、学習データから予め推定しておく。また、式中の積分範囲は、入力音声における状態ｉｎに割り当てられたパワーの平均値＜μｐ＿ｉｎである場合には、「ａ」が学習データのパワーの最小値であり、「ｂ」が入力音声のパワーの平均値である。また、入力音声における状態ｉｎに割り当てられたパワーの平均値＞μｐ＿ｉｎである場合には、「ａ」が入力音声のパワーの平均値であり、「ｂ」が学習データのパワーの最大値である。但し、確率密度関数を単一ガウス分布として表すのは計算量を削減するためであり、例えば混合ガウス分布等を用いても差し支えない。
【００５８】
上述したように、各状態毎に確率過程を独立と見なして各状態の累積確率値の中央値で音素のパワーの累積確率値Ｓｐの近似を行うことによって、音素の各状態のパワーを確率変数とした結合確率密度関数Ｐｒｏｂ（ｉ１，ｉ２，…，ｉｎ）の複雑な推定や積分をすることが必要ないのである。
【００５９】
上記累積確率値Ｓｐは、その値が大きい程、標準的な発話スタイルに近いことを示している。また、積分の範囲から、標準的な発話スタイルよりもパワーが小さいのか（入力パワーの平均値＜μｐ＿ｉｎ）あるいは大きいのか（入力パワーの平均値＞μｐ＿ｉｎ）が判別可能となるのである。
【００６０】
ステップＳ８で、上記算出され入力音声のパワーと標準分布との離れ度合（累積確率値Ｓｐ）は、上記ステップＳ４において設定された閾値または上記標準閾値よりも大きい場合には、累積確率値Ｓｐの値は定数「１」に変換されて出力される。この処理によって、入力音声のパワーと標準モデルとのずれが小さい場合には、ずれの度合いを無視できるようになる。
【００６１】
ステップＳ９で、入力音声の話速の標準分布からの離れ度合が算出される。この場合の離れ度合は、上記ステップＳ５の場合と同様に、継続長の累積確率値として求められる。
【００６２】
具体的には、先ず、入力音素のセグメントに属する特徴ベクトルの総フレーム数から継続長Ｔが計算される。この継続長Ｔは、音素を発声するのに掛った時間であり、その逆数は話速を表す。次に、継続長の累積確率値ＳＴが次式によって求められる。

ここで、Ｐ（ｘ；λ）は、確率変数ｘについて平均値λを有するポアソン分布であり、学習データから予め推定しておく。また、式中の積分の範囲は、入力音声の音素の継続長Ｔ＜λである場合には、「ａ」が学習データの最小値であり、「ｂ」がＴである。また、入力音声の音素の継続長Ｔ＞λである場合には、「ａ」がＴであり、「ｂ」が学習データの最大値である。
【００６３】
上記累積確率値ＳＴは、その値が大きい程、継続長Ｔが標準分布に近いことを示す。また、積分の範囲から、標準的な発話スタイルより話速が速いのか（継続長Ｔ＜λ）あるいは遅いのか（継続長Ｔ＞λ）が判別可能となるのである。
【００６４】
ステップＳ１０で、上記算出された入力音声の話速と標準分布との離れ度合（累積確率値ＳＴ）は、上記ステップＳ４において設定された閾値または上記標準閾値よりも大きい場合は、累積確率値ＳＴの値は定数「１」に変換されて出力される。この処理によって、入力音声の話速と標準モデルとのずれが小さい場合には、ずれの度合いを無視できるようになる。
【００６５】
ステップＳ１１で、入力話者における音響特性（話者性）の標準分布からの離れ度合が算出される。この場合の離れ度合は、上記ステップＳ５の場合と同様に、標準モデルが与えられた際に入力特徴ベクトル列を観測する対数尤度の累積確率値として求められる。
【００６６】
具体的には、上記標準モデルをＭｓとし、入力特徴ベクトル列をＸとする。その場合、標準モデルＭｓが与えられた際に入力特徴ベクトル列Ｘを観測する対数尤度をＬ（Ｘ｜Ｍｓ）とし、入力特徴ベクトル列Ｘのフレーム数（継続長）をＴとすると、継続長Ｔで正規化した正規化対数尤度ｙ（＝Ｌ（Ｘ｜Ｍｓ）／Ｔ）の累積確率値Ｓｓは、次式で表される。

ここで、Ｎｓ（ｙ；μｓ，σｓ）は、確率変数ｙについて平均値μｓと分散値σｓとを有する単一ガウス分布であり、学習データから予め推定しておく。また、式中の積分値の範囲は、入力特徴ベクトルの正規化対数尤度＜μｓである場合は、「ａ」が学習データ中の正規化対数尤度の最小値であり、「ｂ」が入力特徴ベクトルの正規化対数尤度である。また、入力特徴ベクトルの正規化対数尤度＞μｓである場合には、「ａ」が入力特徴ベクトルの正規化対数尤度であり、「ｂ」が学習データ中の正規化対数尤度の最大値である。但し、確率密度関数を単一ガウス分布として表すのは計算量を削減するためであり、混合ガウス分布等を用いても構わない。
【００６７】
上記累積確率値Ｓｓは、その値が大きい程、入力話者の音響特性は標準話者の音響特性に近いことを示す。但し、上記発話スタイルである入力音声のパワーや話速度の場合と異なって、積分の範囲は意味をなさない。
【００６８】
ステップＳ１２で、上記算出された入力話者における音響特性と標準分布との離れ度合（累積確率値Ｓｓ）は、上記ステップＳ４において設定された閾値あるいは上記標準閾値よりも大きい場合には、累積確率値Ｓｓの値は定数「１」に変換されて出力される。この処理によって、入力話者の音響特性と標準モデルとのずれが小さい場合には、ずれの度合いを無視できるようになる。
【００６９】
ステップＳ１３で、上記ステップＳ８，ステップＳ１０およびステップＳ１２において設定された各累積確率値Ｓｐ，ＳＴ，Ｓｓを直接比較することによって、最も小さい値を有して標準モデルから一番離れている要因が、認識誤りの要因であると判定される。その際に、上記ステップＳ８，ステップＳ１０およびステップＳ１２において総ての要因の累積確率値が１に変換されている場合には、本ステップの処理は行われない。ステップＳ１４で、上記ステップＳ１３による判定結果に基づいて当該セグメントの分析メッセージが作成され、当該セグメントのラベル名および各要因の累積確率値Ｓｐ，ＳＴ，Ｓｓと対応付けられて、記憶装置２のＲＡＭ等に保存される。その場合における分析メッセージの作成は、図５の＜詳細情報＞に示すように、定型キーワードに、上記ステップＳ１３における判定結果を埋め込むことによって行われる。但し、判定結果がない場合には分析メッセージは作成されない。
【００７０】
ステップＳ１５で、全セグメントの入力が終了したか否かが判別される。その結果終了した場合にはステップＳ１６に進み、そうでなければ上記ステップＳ７に戻って次のセグメントの処理に移行する。
【００７１】
ステップＳ１６で、上記ステップＳ１４において記憶装置２のＲＡＭ等に保存された全セグメントの累積確率値Ｓｐ，ＳＴ，Ｓｓに基づいて、各々の要因ｉについて発話全体のスコアＳｉ＿ｔｏｔａｌ（同時確率）が次式によって求められる。

そして、こうして求められ発話全体のスコアＳｉ＿ｔｏｔａｌが最小値を呈する要因をバッファに保存しておく。
【００７２】
ステップＳ１７で、上記ステップＳ１６における発話全体のスコア算出の結果に基づいて、総ての要因が同スコアであるか否かが判別される。その結果、総ての要因が同スコアである場合にはステップＳ２１に進み、そうでない場合にはステップＳ１８に進む。ステップＳ１８で、上記ステップＳ１６において求められた要因と前の入力において求められた誤認識の要因とが同じか否かが判別される。その結果、同じ場合にはステップＳ１９に進み、異なる場合にはステップＳ２０に進む。但し、初回入力の場合には、総てのバッファが初期化されている本ステップにおける判別結果は偽（ＮＯ）となる。ステップＳ１９で、発話全体の誤認識の要因が次に（２番目に）小さいスコアの要因に変更される。こうすることによって、利用者に対して同じ要因が提示されることが防止される。
【００７３】
ステップＳ２０で、ユーザに対して誤認識の要因、つまり最小スコアを有する要因が、図５の上側半分に示すごとくメッセージの形式で提示される。その際に、必要に応じて、図５の＜詳細情報＞に示すごとく、上記ステップＳ１４において作成された分析メッセージも合せて提示される。但し、上記ステップＳ６から本ステップに分岐した場合には、誤り原因が雑音であることが提示される。そうした後、入力回数を０に初期化して、今回の入力音声に対する要因分析・メッセージ作成処理動作を終了する。
【００７４】
ステップＳ２１で、上記ステップＳ８，ステップＳ１０およびステップＳ１２において総ての要因における累積確率値の値が定数「１」に変換された場合等には総ての要因のスコアが同一になり、総ての要因が特に標準モデルからずれてはいないことになる。ところが、このようなことは、突発的な雑音が発生した場合に起きることが多い。そのために、本ステップでは、誤認識の要因が突発ノイズと推定される。ステップＳ２２で、ユーザに対して突発的な雑音があったか否かを確認し、もう一度入力を促すメッセージが提示される。そうした後、入力回数がインクリメントされて、上記ステップＳ１に戻って同じ音声の再入力待ちの状態となる。
【００７５】
このように、入力回数をカウントしておき、その入力回数に応じて上記標準閾値（つまり、標準的な範囲）を狭くすることによって、総ての要因のスコアが同一になることを防ぎ、連続して誤り原因が分らなくなることを防ぐのである。つまり、誤認識の要因に関して何らかの結果を出して、利用者に対する不快感を少なくすることができるのである。
【００７６】
上記構成を有して上述のごとく動作する音声処理装置は、例えば音声認識システムに組み込まれることによって、次のように利用される。すなわち、音声認識システムのシステム本体側の特徴抽出部から、入力音声の特徴ベクトル列とそのラベルが特徴抽出部１３に入力される。そして、セグメント分割部１４および要因分析部１５によって上述のようにして誤認識となる要因が分析され、メッセージ作成部１６によって上記誤認識となる要因を提示するためのメッセージが作成される。そうすると、このメッセージが、メッセージ提示部１７によって、システム本体側に返送されるのである。こうすることによって、上記システム本体側では、入力音声の認識に失敗した場合には、本音声処理装置側から返送されてきた当該誤認識音声に関する上記メッセージをシステム本体側の出力装置に表示するのである。さらに、上記誤認識となる要因が発話スタイルおよび周辺雑音である場合には、無駄な適応を避けることも可能になるのである。
【００７７】
こうすることによって、利用者は、誤認識や信頼度低下の原因をより具体的に知ることができ、その原因が発話スタイルに関するものであれば即座に対応することができる。さらに、誤認識や信頼度低下の原因が分らないことに起因する不快感を無くすことができるのである。
【００７８】
上述した本音声処理装置が組み込まれた音声認識システムの機能は、本音声処理プログラムを音声認識装置の音声認識プログラム中に組み込んでも達成することができる。勿論、本音声処理装置を音声認識装置とは独立して用い、音声認識装置の使用者に、本音声処理装置を用いることによって、音声認識時に起るであろう誤認識の要因を予め知らせることもできる。この場合には、音声認識装置の使用者が自分の発話スタイルに標準との差があることを予め知ることによって、後の音声認識を効率良く行うことができることになる。
【００７９】
以上のごとく、上記実施の形態においては、上記セグメント分割部１４によって、入力音声の特徴ベクトル列を標準モデルとの比較によって音素毎のセグメントに分割する。そして、要因分析部１５によって、各セグメント毎の特徴ベクトル列に基づいて複数の要因に関する特徴量を求め、各要因毎に特徴量と標準モデルとのずれの度合いを算出し、その算出されたずれの度合が許容範囲内に在るか否かを入力回数に応じて狭く設定される閾値に基づいて判定する。そして、許容範囲内に在る場合には、そのずれの度合を「１」に変換する。そうした後、上記各要因の判定結果から最もずれの大きい要因を検出する。そして、メッセージ提示部１７によって、上記検出結果に基づいて、最もずれの大きい要因を提示するようにしている。
【００８０】
したがって、音声波形の特徴ベクトルから例えば人間が直感的に理解し易い誤認識の要因を抽出して、最もずれの大きな要因を検出することによって、何が誤認識の原因となり得るかを推定することができる。したがって、利用者に、誤認識となる原因を知らせることができ、利用者の不快感を減らすことができるのである。
【００８１】
その際における上記誤認識の主な原因として、次の４項目
（Ａ）音声パワーの標準モデルからのずれ
（Ｂ）音声話速の標準モデルとのずれ
（Ｃ）話者の音響特性
（Ｄ）周辺雑音
を用いている。そのうちの要因（Ａ），（Ｂ）は上記発話スタイルである。したがって、本実施の形態によれば、誤認識となる原因を、話者の音響特性と発話スタイルと周辺雑音とに区別して利用者に知らせることができる。そのために、利用者は、誤認識となる要因が要因（Ａ），（Ｂ），（Ｄ）である場合には、音声認識時に的確に対応することが可能になる。
【００８２】
また、上記要因のうちの要因（Ａ）〜要因（Ｃ）と要因（Ｄ）との検出方法は少し異なっている。すなわち、利用者の発話区間内に埋もれた雑音の検出は非常に難しい。そのため、図６に示すように、利用者の発声前における無音区間によって周辺雑音の検出を行うのである。周辺雑音は略定常であると考えられ、このような検出方法でも問題はないと考えられる。
【００８３】
但し、利用者の発声区間内に、警笛や駅アナウンス等の突発ノイズが発生した場合には誤認識の要因となる。そして、このような突発ノイズは、要因（Ａ）〜要因（Ｃ）の総てのずれに同様に作用するため、突発ノイズを要因として特定することが困難である。そこで、本実施の形態においては、利用者の発話区間内において検出された要因（Ａ）〜要因（Ｃ）のずれが略同じである場合に、誤認識要因は突発的な雑音であると推定するのである。但し、その場合には、誤認識要因を提示せずに、メッセージ提示部１７によって再入力を促すメッセージを出力するようにしている。そして、音声の再入力があった場合には、上記閾値を更に小さく設定するようにしている。こうすることによって、突発的な雑音に対して頑健に誤り分析を行うことができ、ずれの度合いを強調することによって誤り分析結果が得易くなり、何度も利用者に発声させる手間が不要になるのである。
【００８４】
ところで、上記実施の形態における上記中央演算処理装置１による上記要因別ずれ算出手段，ずれ度合変換手段，要因検出手段および誤認識要因出力手段としての機能は、プログラム記録媒体に記録された音声処理プログラムによって実現される。上記実施の形態におけるプログラム記録媒体は、上記ＲＯＭでなるプログラムメディアである。または、上記外部補助記憶装置に装着されて読み出されるプログラムメディアであってもよい。尚、何れの場合においても、プログラムメディアから音声処理プログラムを読み出すプログラム読み出し手段は、上記プログラムメディアに直接アクセスして読み出す構成を有していてもよいし、上記ＲＡＭに設けられたプログラム記憶エリア（図示せず）にダウンロードし、上記プログラム記憶エリアにアクセスして読み出す構成を有していてもよい。尚、上記プログラムメディアから上記ＲＡＭのプログラム記憶エリアにダウンロードするためのダウンロードプログラムは、予め本体装置に格納されているものとする。
【００８５】
ここで、上記プログラムメディアとは、本体側と分離可能に構成され、磁気テープやカセットテープ等のテープ系、フロッピーディスク，ハードディスク等の磁気ディスクやＣＤ（コンパクトディスク）‐ＲＯＭ，ＭＯ（光磁気）ディスク，ＭＤ（ミニディスク），ＤＶＤ（ディジタル多用途ディスク）等の光ディスクのディスク系、ＩＣ（集積回路）カードや光カード等のカード系、マスクＲＯＭ，ＥＰＲＯＭ（紫外線消去型ＲＯＭ），ＥＥＰＲＯＭ（電気的消去型ＲＯＭ），フラッシュＲＯＭ等の半導体メモリ系を含めた、固定的にプログラムを坦持する媒体である。
【００８６】
また、上記実施の形態における音声処理置は、インターネット等の通信ネットワークと通信Ｉ／Ｆを介して接続可能な構成を有している場合には、上記プログラムメディアは、通信ネットワークからのダウンロード等によって流動的にプログラムを坦持する媒体であっても差し支えない。尚、その場合における上記通信ネットワークからダウンロードするためのダウンロードプログラムは、予め本体装置に格納されているものとする。あるいは、別の記録媒体からインストールされるものとする。
【００８７】
尚、上記記録媒体に記録されるものはプログラムのみに限定されるものではなく、データも記録することが可能である。
【００８８】
【発明の効果】
以上より明らかなように、この発明は、入力された音声の特徴量に基づいて複数の誤認識の要因に関する特徴量を求め、各要因毎に上記特徴量の上記標準モデルからのずれの度合いを算出し、最もずれの度合いが大きい要因を検出して誤認識となる要因として出力するので、利用者に、誤認識となる原因を、例えば人間が直感的に理解し易い要因によって知らせることができる。したがって、音声認識の際に誤認識に至った場合に、利用者は何故誤認識となったのかを明確に知ることができる。したがって、利用者が、誤認識となった原因が分らずに不快な気分になることを回避することができるのである。
【００８９】
さらに、上記誤認識の要因に関する特徴量としてパワー，話速，話者性および周辺環境雑音の特徴量を求めるようにすれば、誤認識となる原因を、話者の音響特性と発話スタイルと周辺雑音とに区別して利用者に知らせることができる。したがって、利用者は、誤認識となる要因がパワー，話速および周辺環境雑音である場合には、音声認識時に的確に対応することが可能になる。
【００９０】
また、音声認識装置とは独立した構成となっているため、状況によっては、音声認識装置と組み合せて音声認識システムを構成することによって、音声認識の効率と認識率とを高めることができる。
【図面の簡単な説明】
【図１】この発明の音声処理装置におけるハードウェア構成を示す図である。
【図２】図１に示す音声処理装置の機能的構成を示すブロック図である。
【図３】図２における要因分析部およびメッセージ作成部によって実行される要因分析・メッセージ作成処理動作のフローチャートである。
【図４】図３に続く要因分析・メッセージ作成処理動作のフローチャートである。
【図５】図２におけるメッセージ提示部によって提示されるメッセージの一例を示す図である。
【図６】図２におけるセグメント分割部への入力音声の一例を示す図である。
【符号の説明】
１…中央演算処理装置、
２…記憶装置、
３…外部記憶装置、
４…入力装置、
５…出力装置、
１１…入力部、
１２…Ａ／Ｄ変換部、
１３…特徴抽出部、
１４…セグメント分割部、
１５…要因分析部、
１６…メッセージ作成部、
１７…メッセージ提示部、
１８…標準モデル格納部。

Claims (8)

1. 入力された音声の特徴量と標準モデルとの比較を行う音声処理装置であって、
   上記入力された音声の特徴量に基づいて複数の誤認識の要因に関する特徴量を求め、各要因毎に上記特徴量の上記標準モデルからのずれの度合いを算出する要因別ずれ算出手段と、
   上記算出されたずれの度合いが許容範囲を表す閾値内にあるか否かを判定すると共に、上記閾値内にある場合には、上記ずれの度合いを上記許容範囲内にあることを表す所定値に変換するずれ度合変換手段と、
   上記算出されたずれの度合いと上記変換されたずれの度合いとに基づいて、最もずれの度合いが大きい要因を検出する要因検出手段と、
   上記検出された最もずれの大きい要因を誤認識となる要因として出力する誤認識要因出力手段
   を備えたことを特徴とする音声処理装置。
2. 請求項１に記載の音声処理装置において、
   上記誤認識要因出力手段は、上記検出された最もずれの大きい要因が複数存在する場合には、誤認識要因を出力せずに、音声の入力を再度行うことを促すメッセージを出力するようになっていることを特徴とする音声処理装置。
3. 請求項２に記載の音声処理装置において、
   上記誤認識要因出力手段による上記メッセージの出力に従って音声が再度入力された場合には、上記許容範囲を表す閾値を上記許容範囲が狭くなるように変更する閾値変更手段を備えたことを特徴とする音声処理装置。
4. 請求項１記載の音声処理装置において、
   上記検出された最もずれの大きい要因が前回の音声入力時と同じ要因であるか否かを判定する要因判定手段を備えて、
   上記誤認識要因出力手段は、上記検出された最もずれの大きい要因が前回の音声入力時と同じ要因である場合には、２番目にずれが大きい要因を上記誤認識となる要因として出力するようになっていることを特徴とする音声処理装置。
5. 請求項１記載の音声処理装置において、
   上記標準モデルは、確率関数で表されており、
   上記要因別ずれ算出手段は、上記誤認識の要因に関する特徴量としてパワー，話速，話者性および周辺環境雑音の特徴量を求め、各要因毎に、上記標準モデルを表す確率関数における当該要因の特徴量に基づく確率値を用いて、当該標準モデルとのずれの度合いを算出するようになっている
   ことを特徴とする音声処理装置。
6. 入力された音声の特徴量と標準モデルとの比較を行う音声処理方法であって、
   上記入力された音声の特徴量に基づいて複数の誤認識の要因に関する特徴量を求め、各要因毎に上記特徴量の上記標準モデルからのずれの度合いを算出し、
   上記算出されたずれの度合いが許容範囲を表す閾値内にあるか否かを判定すると共に、上記閾値内にある場合には、上記ずれの度合いを上記許容範囲内にあることを表す所定値に変換し、
   上記算出されたずれの度合いと上記変換されたずれの度合いとに基づいて、最もずれの度合いが大きい要因を検出し、
   上記検出された最もずれの大きい要因を誤認識となる要因として出力する
   ことを特徴とする音声処理方法。
7. コンピュータを、
   請求項１における要因別ずれ算出手段，ずれ度合変換手段，要因検出手段および誤認識要因出力手段
   として機能させることを特徴とする音声処理プログラム。
8. 請求項７に記載の音声処理プログラムが記録されたことを特徴とするコンピュータ読出し可能なプログラム記録媒体。

Images