JPH1185184A

JPH1185184A - 音声認識装置

Info

Publication number: JPH1185184A
Application number: JP9239528A
Authority: JP
Inventors: Hiroshi Yamamoto; 博史山本; Singer Harald; ハラルド・シンガー; Atsushi Nakamura; 篤中村; Foo Chan; チャン・フオー
Original assignee: ATR ONSEI HONYAKU TSUSHIN KENKYUSHO KK; ATR Interpreting Telecommunications Research Laboratories
Current assignee: ATR ONSEI HONYAKU TSUSHIN KENKYUSHO KK; ATR Interpreting Telecommunications Research Laboratories
Priority date: 1997-09-04
Filing date: 1997-09-04
Publication date: 1999-03-30

Abstract

(57)【要約】【課題】利用者に対して一定内容の発声を促す必要性
が無く、「教師なし」で話者適応化処理を実行しながら
連続的に音声認識することができる音声認識装置を提供
する。【解決手段】音声認識器４，６は、音響モデルと単語
単位の統計的言語モデルとを参照して、入力される発声
音声文の音声信号に基づいて発声音声文の単語列を連続
的に音声認識する。教師信号発生部２１は、各単語列に
対応した音素列を含む単語辞書を参照して、音声認識器
６から出力される単語列を音素列に変換する。オンライ
ン話者適応化制御部２２は、変換された音素列を教師信
号として用いて、音響モデルに対してオンライン話者適
応化処理を実行することにより、音響モデルを更新す
る。ここで、オンライン話者適応化制御部２２はクアジ
・ベイズ（Ｑｕａｓｉ−Ｂａｙｅｓ）近似に基づくオン
ライン話者適応化処理を実行し、統計的言語モデルは可
変長Ｎの単語のＮ−グラムを含む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、リアルタイムで話
者適応化処理を行うオンライン話者適応化制御手段を備
えた連続音声認識装置に関する。

【０００２】

【従来の技術】認識対象の音声をそのまま用いて逐次的
に話者適応を行なっていくオンライン話者適応処理は未
知の話者に対して発話量に応じて段階的に音響モデルの
高精度化を図ることができるため、音声認識システムの
構築という観点から実用的な手法として期待が高い。オ
ンライン話者適応処理としては、クアジ・ベイズ（Ｑｕ
ａｓｉ−Ｂａｙｅｓ）近似に基づくオンライン話者適応
化方法が、例えば、従来技術文献「Q.Huo et al.,“A s
tudy of on-line Quasi-Bayes adaptation for CDHMM-b
ases speech recognition",In Proceeding of the Inte
rnational Conference on Acoustics,Speech,and Signa
l Processing,pp.705-708,1996年5月」参照。）におい
て開示されている。この方法では、発話内容が既知であ
る「教師あり」の条件で構成され、すなわち教師信号を
手動で与えて動作させ、その有効性が確認されている。

【０００３】

【発明が解決しようとする課題】しかしながら、「教師
あり」の話者適応処理では利用者に対して一定内容の発
声を促す必要性が生じ、対話制御の複雑化や利用者への
負担増をまねくことになってしまう。本発明の目的は以
上の問題点を解決し、利用者に対して一定内容の発声を
促す必要性が無く、「教師なし」で話者適応化処理を実
行しながら連続的に音声認識することができる音声認識
装置を提供することにある。

【０００４】

【課題を解決するための手段】本発明に係る請求項１記
載の音声認識装置は、所定の音響モデルと、所定の単語
単位の統計的言語モデルとを参照して、入力される発声
音声文の音声信号に基づいて上記発声音声文の単語列を
連続的に音声認識する音声認識手段と、各単語列に対応
した音素列を含む単語辞書を参照して、上記音声認識手
段から出力される単語列を音素列に変換する変換手段
と、上記変換手段によって変換された音素列を教師信号
として用いて、上記音響モデルに対してオンライン話者
適応化処理を実行することにより、上記音響モデルを更
新する適応化手段とを備えたことを特徴とする。

【０００５】また、請求項２記載の音声認識装置は、請
求項１記載の音声認識装置において、上記適応化手段
は、クアジ・ベイズ（Ｑｕａｓｉ−Ｂａｙｅｓ）近似に
基づくオンライン話者適応化処理を実行することを特徴
とする。

【０００６】さらに、請求項３記載の音声認識装置は、
請求項１又は２記載の音声認識装置において、上記統計
的言語モデルは、可変長Ｎの単語のＮ−グラムを含むこ
とを特徴とする。

【０００７】

【発明の実施の形態】以下、図面を参照して本発明に係
る実施形態について説明する。

【０００８】図１に本発明に係る一実施形態の連続音声
認識装置のブロック図を示す。本実施形態の連続音声認
識装置は、公知のワン−パス・ビタビ復号化法を用い
て、入力される発声音声文の音声信号の特徴パラメータ
に基づいて上記発声音声文の単語仮説を検出し尤度を計
算して出力する単語照合部４を備えた連続音声認識装置
において、（ａ）単語照合部４からバッファメモリ５を
介して出力される、終了時刻が等しく開始時刻が異なる
同一の単語の単語仮説に対して、可変長Ｎの単語のＮ−
ｇｒａｍである単語単位の可変長Ｎ−ｇｒａｍを含む統
計的言語モデル１３を参照して、当該単語の先頭音素環
境毎に、発声開始時刻から当該単語の終了時刻に至る計
算された総尤度のうちの最も高い尤度を有する１つの単
語仮説で代表させるように単語仮説の絞り込みを行う単
語仮説絞込部６と、（ｂ）単語仮説絞込部６から出力さ
れる音声認識結果の単語列を、単語辞書１２を参照し
て、音素列に変換する教師信号発生部２１と、（ｃ）教
師信号発生部２１から出力される音素列を教師信号とし
て用いて、公知のクアジ・ベイズ近似に基づくオンライ
ン話者適応化方法を用いて、音響モデルである音素隠れ
マルコフモデル（以下、音素ＨＭＭという。）１１を更
新するオンライン話者適応化制御部２２とを備えたこと
を特徴とする。

【０００９】「教師なし」話者適応処理においては「教
師あり」における発話内容に相当する情報である教師信
号を話者適応前の音響モデルを用いた認識結果を元に内
部的に生成させている。このため、話者適応の効果は生
成された教師信号の精度（認識率）に大きく依存するこ
とになる。教師信号として日本語の音節規則のみを言語
的制約として与えた連続音声認識器（いわゆる、音素タ
イプライタ）の認識結果を用いた場合の「教師なし」ク
アジ・ベイズオン近似に基づくライン話者適応処理（以
下、比較例という。）においては教師信号の精度が不十
分なため、認識性能がほとんど向上しなかった。従っ
て、より強い言語的制約を用い、少なくとも音素タイプ
ライタを上回る性能を持つ認識器の認識結果を教師信号
として用いなければ「教師なし」クアジ・ベイズ近似に
基づくオンライン話者適応による認識性能の向上は見込
めないことが予想され、本発明者は、単語単位の統計的
言語モデルである可変長Ｎ−ｇｒａｍ（例えば、特開平
０９−１３４１９２号公報において開示され、詳細後述
する。）を言語的制約として与えた（認識対象の語彙、
ドメインが既知ということが前提となる。）連続音声認
識器の認識結果を教師信号として用いる「教師なし」ク
アジ・ベイズに基づくオンライン話者適応処理を実行し
ながら連続音声認識することを発明した。これにより、
詳細後述するように、可変長Ｎ−ｇｒａｍを用いること
により、高精度な教師信号を生成することができ「教師
なし」の条件でも適応効果を得ることができる。

【００１０】本実施形態で用いる統計的言語モデル１３
は、学習用テキストデータに基づいて言語モデル生成部
により生成されたものであって、統計的言語モデル１３
は、品詞クラス間のバイグラム（Ｎ＝２）を基本とした
ものであるが、単独で信頼できる単語は品詞クラスより
分離させ、単独のクラスとして取り扱い、さらに、予測
精度を向上させるため、頻出単語列に関してはそれらの
単語を結合して一つのクラスとして取り扱い、長い単語
連鎖の表現を可能にさせ、こうして、生成されたモデル
は、品詞バイグラムと可変長単語Ｎ−グラムとの特徴を
併せ持つ統計的言語モデルとなり、遷移確率の精度と信
頼性とのバランスをとられたものであることを特徴とす
る。

【００１１】まず、本実施形態において用いる可変長Ｎ
−グラムの概念について以下に説明する。Ｎ−グラム
は、（Ｎ−１）重のマルコフモデルであり、これは、過
去（Ｎ−１）回の状態遷移を記憶するように単純（１
重）マルコフモデルの各状態が分離されたものと解釈さ
れる。例として、図３にバイグラムをマルコフモデルと
して図式化した状態遷移図を示し、図４にトライグラム
をマルコフモデルとして図式化した状態遷移図を示す。

【００１２】図３においては、状態ｓ₁においてシンボ
ルａを出力されたとき状態ｓ₁のままであるが、状態ｓ₁
でシンボルｂを出力した状態ｓ₂に遷移する。状態ｓ₂で
シンボルｂを出力したときは状態ｓ₂のままであるが、
状態ｓ₂でシンボルａを出力したとき状態ｓ₁に戻る。図
４のトライグラムは、バイグラムの状態ｓ₁を状態ｓ₁₁
と状態ｓ₁₂とに分離しかつ、状態ｓ₂を状態ｓ₂₁と状態
ｓ₂₂とに分離したものと考えられる。さらに、全ての状
態の分離を進めることにより、より高次のＮ−グラムと
なる。

【００１３】図５に示す可変長Ｎ−グラムは、単純マル
コフモデルの状態を部分的に分離させたものである。す
なわち、図３のバイグラムにおいて、状態ｓ₂から、シ
ンボルａが出力される際に、続けてシンボルｂを出力す
る場合（これをａｂと表わし、シンボルａｂを出力する
という。）、続けてｂ以外のシンボルを出力する場合
（これをａ（／ｂ）と表し、シンボルａ（／ｂ）を出力
するという。ここで、／は否定の意味を表しバー（上
線）である。）とに分け、前者の場合、状態ｓ₁から状
態ｓ₁₂に遷移させる一方、後者の場合、状態ｓ₂から状
態ｓ₁₁に遷移させる。すなわち、前者の場合において、
状態ｓ₁から状態ｓ₁₂へと分離させ、シンボルａを出力
する残りの遷移（ａ（／ｂ））を状態ｓ₁₁に残したもの
である。なお、このモデルにおいて、状態ｓ₁₁でシンボ
ルａｂを出力したとき状態ｓ₁₂に遷移する一方、状態ｓ
₁₁でシンボルａ（／ｂ）を出力したとき状態ｓ₁₁のまま
である。また、状態ｓ₁₂でシンボルａｂを出力したとき
状態ｓ₁₂のままである一方、状態ｓ₁₂でシンボルａ（／
ｂ）を出力したとき状態ｓ₁₁に遷移する。

【００１４】このモデルは、複数の連続したシンボルを
新しいシンボルとみなすことで、単純マルコフモデルの
構造のまま、長い連鎖を表すことができるという特徴が
ある。同様の状態分離を繰り返すことで、局所的にさら
に長い連鎖を表すことができる。これが可変長Ｎ−グラ
ムである。すなわち、シンボルを単語とみなした言語モ
デルとしての可変長単語Ｎ−グラムは、単語列（１単語
も含む）間のバイグラムと表される。

【００１５】次いで、可変長Ｎ−グラムの動作について
説明する。本実施形態で用いる統計的言語モデル２２
は、品詞クラスと単語との可変長Ｎ−グラムであり、次
の３種類のクラス間のバイグラムとして表現する。（１）品詞クラス（以下、第１のクラスという。）、
（２）品詞クラスから分離した単語のクラス（以下、第
２のクラスという。）、及び、（３）連接単語が結合し
てできたクラス（以下、第３のクラスという。）。

【００１６】上記第１のクラスに属する単語は、主とし
て出現頻度の小さいもので、単語単独で取り扱うよりも
遷移確率の信頼性が高められる。また、第２のクラスに
属する単語は、主として出現頻度が高いもので、単独で
取り扱っても十分な信頼性があり、さらに、連接単語が
結合して上記第３のクラスに分類されることにより、可
変長Ｎ−グラムとして動作し、次単語の予測精度が高め
られる。ただし、本実施形態において、連接する品詞ク
ラスと品詞クラス、および、品詞クラスと単語の結合は
考えない。複数Ｌ個の単語からなる文の生成確率Ｐ（ｗ
₁ ^L）は、次式で与えられる。

【００１７】

【数１】

【００１８】ここで、ｗｓ_tは文章を上記のクラスに分
類した時の、ｔ番目の単語列（単独の単語も含める）を
意味する。従って、Ｐ（ｗｓ_t｜ｃ_t）は、ｔ番目のクラ
スがわかったときに単語列ｗｓ_tが出現する確率であ
り、Ｐ（ｃ_t｜ｃ_t-1）は１つ前の（ｔ−１）番目のクラ
スから当該ｔ番目のクラスの単語が出現する確率であ
る。また、文章のＫは単語列の個数を表し、Ｋ≦Ｌであ
る。従って、数１のΠはｔ＝１からＫまでの積である。
ここで、例として、次の７単語からなる発声音声文の文
章を考える。

【００１９】

【数２】「わたくし−村山−と−言−い−ま−す」

【００２０】この文章の生成確率Ｐ（ｗ₁ ^L）は、数１を
用いて、次の式で与えられる。

【数３】Ｐ（ｗ₁ ^L）＝Ｐ（わたくし｜｛わたくし｝）・
Ｐ（｛わたくし｝）・Ｐ（村山｜＜固有名詞＞）・（＜固有名詞＞｜｛わた
くし｝）・Ｐ（と｜｛と｝）・Ｐ（｛と｝｜＜固有名詞＞）・Ｐ（言います｜［言います］）・Ｐ（［言います］｜
｛と｝）

【００２１】ただし、＜＞，｛｝，［］はそれぞれ、第
１のクラス、第２のクラス、第３のクラスに属している
ことを表す。ただし、各単語および単語列は次のように
属している。（１）「村山」は名詞なので、第１のクラスに属する。（２）「わたくし」、「と」は名詞と助詞との組み合わ
せであり、第２のクラスに属する。（３）「言います」は動詞と、動詞の接尾辞と、助動詞
と、助動詞の接尾辞との組み合わせであり、第３のクラ
スに属する。ここで、第２と第３のクラスにおいて、単語とクラスの
出現頻度は等しいので、Ｐ（わたくし｜｛わたくし｝）
＝１、Ｐ（と｜｛と｝）＝１、Ｐ（言います｜［言いま
す］）＝１であり、従って、上記数３は次の式のように
なる。

【００２２】

【数４】Ｐ（ｗ₁ ^L）＝Ｐ（わたくし）・Ｐ（村山｜＜固有名詞＞）・Ｐ（＜固有名詞＞｜わた
くし）・Ｐ（と｜＜固有名詞＞）・Ｐ（言います｜と）

【００２３】図１において、単語照合部４に接続され、
例えばハードディスクメモリに格納される音素ＨＭＭ１
１は、各状態を含んで表され、各状態はそれぞれ以下の
情報を有する。（ａ）状態番号（ｂ）受理可能なコンテキストクラス（ｃ）先行状態、及び後続状態のリスト（ｄ）出力確率密度分布のパラメータ（ｅ）自己遷移確率及び後続状態への遷移確率なお、本実施形態において用いる音素ＨＭＭ１１は、各
分布がどの話者に由来するかを特定する必要があるた
め、所定の話者混合ＨＭＭを変換して生成する。ここ
で、出力確率密度関数は３４次元の対角共分散行列をも
つ混合ガウス分布である。

【００２４】また、単語照合部４に接続され、例えばハ
ードディスクに格納される単語辞書１２は、音素ＨＭＭ
１１の各単語毎に音素シンボルで表した読みを示すシン
ボル列又は音素列を格納する。

【００２５】図１において、話者の発声音声はマイクロ
ホン１に入力されて音声信号に変換された後、特徴抽出
部２に入力される。特徴抽出部２は、入力された音声信
号をＡ／Ｄ変換した後、例えばＬＰＣ分析を実行し、対
数パワー、１６次ケプストラム係数、Δ対数パワー及び
１６次Δケプストラム係数を含む３４次元の特徴パラメ
ータを抽出する。抽出された特徴パラメータの時系列は
バッファメモリ３を介して単語照合部４に入力される。

【００２６】単語照合部４は、ワン−パス・ビタビ復号
化法を用いて、バッファメモリ３を介して入力される特
徴パラメータのデータに基づいて、音素ＨＭＭ１１と単
語辞書１２とを用いて単語仮説を検出し尤度を計算して
出力する。ここで、単語照合部４は、各時刻の各ＨＭＭ
の状態毎に、単語内の尤度と発声開始からの尤度を計算
する。尤度は、単語の識別番号、単語の開始時刻、先行
単語の違い毎に個別にもつ。また、計算処理量の削減の
ために、音素ＨＭＭ１１及び単語辞書１２とに基づいて
計算される総尤度のうちの低い尤度のグリッド仮説を削
減する。単語照合部４は、その結果の単語仮説と尤度の
情報を発声開始時刻からの時間情報（具体的には、例え
ばフレーム番号）とともにバッファメモリ５を介して単
語仮説絞込部６に出力する。

【００２７】単語仮説絞込部６は、単語照合部４からバ
ッファメモリ５を介して出力される単語仮説に基づい
て、統計的言語モデル１３を参照して、終了時刻が等し
く開始時刻が異なる同一の単語の単語仮説に対して、当
該単語の先頭音素環境毎に、発声開始時刻から当該単語
の終了時刻に至る計算された総尤度のうちの最も高い尤
度を有する１つの単語仮説で代表させるように単語仮説
の絞り込みを行った後、絞り込み後のすべての単語仮説
の単語列のうち、最大の総尤度を有する仮説の単語列を
認識結果として出力する。出力される単語列は、教師信
号を発生するために教師信号発生部２１に入力される。
本実施形態においては、好ましくは、処理すべき当該単
語の先頭音素環境とは、当該単語より先行する単語仮説
の最終音素と、当該単語の単語仮説の最初の２つの音素
とを含む３つの音素並びをいう。

【００２８】例えば、図２に示すように、（ｉ−１）番
目の単語Ｗ_i-1の次に、音素列ａ₁，ａ₂，…，ａ_nからな
るｉ番目の単語Ｗ_iがくるときに、単語Ｗ_i-1の単語仮説
として６つの仮説Ｗａ，Ｗｂ，Ｗｃ，Ｗｄ，Ｗｅ，Ｗｆ
が存在している。ここで、前者３つの単語仮説Ｗａ，Ｗ
ｂ，Ｗｃの最終音素は／ｘ／であるとし、後者３つの単
語仮説Ｗｄ，Ｗｅ，Ｗｆの最終音素は／ｙ／であるとす
る。終了時刻ｔ_eと先頭音素環境が等しい仮説（図２で
は先頭音素環境が“ｘ／ａ₁／ａ₂”である上から３つの
単語仮説）のうち総尤度が最も高い仮説（例えば、図２
において１番上の仮説）以外を削除する。なお、上から
４番めの仮説は先頭音素環境が違うため、すなわち、先
行する単語仮説の最終音素がｘではなくｙであるので、
上から４番めの仮説を削除しない。すなわち、先行する
単語仮説の最終音素毎に１つのみ仮説を残す。図２の例
では、最終音素／ｘ／に対して１つの仮説を残し、最終
音素／ｙ／に対して１つの仮説を残す。

【００２９】一方、教師信号発生部２１は、単語仮説絞
込部６から出力される音声認識結果の単語列を、単語辞
書１２を参照して、音素列に変換してオンライン話者適
応化制御部２２に出力する。これに応答して、オンライ
ン話者適応化制御部２２は、教師信号発生部２１から出
力される音素列を教師信号として用いて、公知のクアジ
・ベイズ近似に基づくオンライン話者適応化方法を用い
て、話者音声の発声毎に、音響モデルである音素ＨＭＭ
１１を更新してオンライン話者適応化処理を実行する。
具体的には、対象となる音素ＨＭＭ１１のパラメータの
推定に対してその個々のパラメータの確率密度関数の近
似を行う。近似の分布の基準は分布の最頻値が同じにな
ることであり、その値は公知のＥＭ（Estimation-Maxim
ization）アルゴリズムに基づく繰り返し計算によって
推定される。この際に前の学習データによる影響を効果
的に無くしていくことにより、話者の変化等の環境の変
化に高速に追従していくことが可能である。このときに
学習データによる影響はハイパーパラメータと呼ばれる
パラメータ化された形式で記憶されており、新しい発話
データと共に話者適応に用いられながら逐次更新されて
いく。

【００３０】以上の実施形態においては、当該単語の先
頭音素環境とは、当該単語より先行する単語仮説の最終
音素と、当該単語の単語仮説の最初の２つの音素とを含
む３つの音素並びとして定義されているが、本発明はこ
れに限らず、先行する単語仮説の最終音素と、最終音素
と連続する先行する単語仮説の少なくとも１つの音素と
を含む先行単語仮説の音素列と、当該単語の単語仮説の
最初の音素を含む音素列とを含む音素並びとしてもよ
い。

【００３１】以上の実施形態において、特徴抽出部２
と、単語照合部４と、単語仮説絞込部６と、教師信号発
生部２１と、オンライン話者適応化制御部２２とは、例
えば、デジタル電子計算機で構成され、バッファメモリ
３，５は例えばハードデイスクメモリで構成され、音素
ＨＭＭ１１と単語辞書１２と統計的言語モデル１３と
は、例えばハードデイスクメモリなどの記憶装置に記憶
される。

【００３２】以上実施形態においては、単語照合部４と
単語仮説絞込部６とを用いて音声認識を行っているが、
本発明はこれに限らず、例えば、音素ＨＭＭ１１を参照
する音素照合部と、例えばＯｎｅＰａｓｓＤＰアル
ゴリズムを用いて統計的言語モデル１３を参照して単語
の音声認識を行う音声認識部とで構成してもよい。

【００３３】以上の実施形態において、オンライン話者
適応化制御部２２は、教師信号発生部２１から出力され
る音素列を教師信号として用いて、公知のクアジ・ベイ
ズ近似に基づくオンライン話者適応化方法を用いて、音
響モデルである音素ＨＭＭ１１を更新しているが、本発
明はこれに限らず、別のオンライン話者適応化方法を用
いてもよい。

【００３４】

【実施例】本発明者は、図１の連続音声認識装置の実験
を以下のごとく行った。話者適応は一発声ごとに行なわ
れ、適応が行なわれた音響モデルは次の発声において教
師信号の生成とそれを用いた話者適応の適応元のモデル
として用いられる。本来、オンライン話者適応処理は、
認識対象の音声をそのまま適応データとして用いるが、
本発明の実験では各発声ごとの適応結果に対して同一の
条件でその効果を比較するために、適応データとは別に
認識対象音声（テストデータ）を用意した。ここで、教
師信号の生成は５名の話者に対して以下の条件で行なっ
た。

【００３５】

【表１】音響分析 ───────────────────────────── 標本化：１２ｋＨｚフレーム間隔：１０ｍｓｅｃハミング窓：２０ｍｓｅｃ特徴量：ｌｏｇパワー＋１６次ＬＰＣケプストラム＋Δｌｏｇパワー＋１６次ΔＬＰＣケプストラム ─────────────────────────────

【表２】音響モデル ─────────────────────────────────── 不特定話者ＨＭｎｅｔ６００状態５混合＋１状態１０混合無音モデル ───────────────────────────────────

【表３】言語モデル ──────────────────────────── ６３７０単語、可変長Ｎ−ｇｒａｍ（分離クラス数５００） ────────────────────────────

【００３６】各話者ごとの適応データを表４に示す。ま
た初期モデルである不特定話者モデルを用いた場合の音
素誤り率、すなわち教師信号の精度は表５に示す通りで
ある。

【００３７】

【表４】適応に用いたデータ ──────────────────────────── 話者名会話数発声数発声時間 ──────────────────────────── ＦＹＯＭＡ１１２８２４１５．４８秒ＦＹＵＹＯ９２４５３８３．３１秒ＦＨＩＴＡ１５５０８６９９．４７秒ＦＴＯＡＳ６２１５３１７．９２秒ＭＭＡＴＡ２４６７８．２０秒 ────────────────────────────

【表５】

【００３８】言語制約として音素タイプライタを用いた
比較例の場合に比較して、本実施形態の方法を用いた音
声認識装置においては、教師信号の精度が大きく向上し
ていることがわかる。なお実際の教師信号は逐次適応の
進んだ音響モデルを用いて生成されるため、教師信号の
精度はさらに向上している。例えば、話者ＦＹＯＭＡで
１０．６％から８．６％に向上している。

【００３９】図１に示す音声認識装置で教師信号を生成
して話者適応を行なった。一発声ごとのオンライン話者
適応が全発声について終了した時点でのテストデータに
対する音素誤り率（比較例では、音素タイプライタを使
用した。）を表６に示す。図６にはテストデータＴＡＳ
１２００８について適応データを一発声ずつ増やした時
の音素誤り率の変化を示す。

【００４０】

【表６】話者適応後の音素誤認識率 ─────────────────────────────────── テストデータ話者音素誤認識率（％） ────────────────── 実施形態教師あり適応なし ─────────────────────────────────── ＴＡＳ１２００８．ＡＦＹＯＭＡ１９．３３１７．０９２４．２３ＴＡＳ１２０１０．ＡＦＹＯＭＡ１４．５５１３．０９２２．１８ＴＡＳ１３００５．ＢＦＹＵＹＯ１５．４９１６．２０２１．８３ＴＡＳ１３００９．ＢＦＹＵＹＯ１６．１１１４．９９２６．０２ＴＡＳ２２００１．ＢＦＨＩＴＡ１７．９９１５．３５２７．０１ＴＡＳ２３００２．ＡＦＨＩＴＡ１６．１９１４．５２３２．５９ＴＡＳ３２００２．ＡＦＹＯＡＳ１６．７５１３．６６２１．６５ＴＡＳ３３００１．ＢＦＹＯＡＳ１２．９５９．７６１９．５３ＴＡＳ３３０１１．ＢＭＭＡＴＡ１７．８３１７．０４２９．８６ ─────────────────────────────────── 平均１７．４６１５．７４２５．０８ ───────────────────────────────────

【００４１】表６において、「教師あり」は手動で教師
信号を与えた場合であり、「適応なし」は話者適応をし
ない音素ＨＭＭを用いた場合である。表６及び図６から
明らかなように、本実施形態の「教師なし」オンライン
適応でも「教師あり」には及ばないもの、明らかに認識
性能の向上し適応に必要な発声量に関しても「教師あ
り」の場合と大きな差がないことが確認された。

【００４２】以上説明したように、本実施形態によれ
ば、単語単位の統計的言語モデルを言語的制約として用
いた連続音声認識器によって教師信号を得て、「教師な
し」クアジ・ベイズ近似を用いたオンライン話者適応処
理を実行することにより、教師信号を自動的に発生する
ことができ、不特定話者の発声音声に対して、事前準備
なしで、従来技術に比較してきわめて高い音声認識率を
得ることができる。本実施形態では、当該装置を使用す
ればするほど、音響モデルを適応化することができるの
で、音声認識性能を大幅に向上させることができる。ま
た、可変長Ｎ−ｇｒａｍを含む音響モデルを用いること
により、高精度な教師信号を生成することができ「教師
なし」の条件でも大きな話者適応効果を得ることができ
る。

【００４３】

【発明の効果】以上詳述したように本発明によれば、所
定の音響モデルと、所定の単語単位の統計的言語モデル
とを参照して、入力される発声音声文の音声信号に基づ
いて上記発声音声文の単語列を連続的に音声認識する音
声認識手段と、各単語列に対応した音素列を含む単語辞
書を参照して、上記音声認識手段から出力される単語列
を音素列に変換する変換手段と、上記変換手段によって
変換された音素列を教師信号として用いて、上記音響モ
デルに対してオンライン話者適応化処理を実行すること
により、上記音響モデルを更新する適応化手段とを備え
る。ここで、上記適応化手段は、好ましくは、クアジ・
ベイズ（Ｑｕａｓｉ−Ｂａｙｅｓ）近似に基づくオンラ
イン話者適応化処理を実行し、上記統計的言語モデル
は、好ましくは、可変長Ｎの単語のＮ−グラムを含む。

【００４４】従って、単語単位の統計的言語モデルを言
語的制約として用いた音声認識手段によって教師信号を
得てオンライン話者適応処理を実行することにより、教
師信号を自動的に発生することができ、不特定話者の発
声音声に対して、事前準備なしで、従来技術に比較して
きわめて高い音声認識率を得ることができる。本発明で
は、当該装置を使用すればするほど、音響モデルを適応
化することができるので、音声認識性能を大幅に向上さ
せることができる。また、単語の可変長Ｎ−ｇｒａｍを
含む音響モデルを用いることにより、高精度な教師信号
を生成することができ「教師なし」の条件でも大きな話
者適応効果を得ることができる。

【図面の簡単な説明】

【図１】本発明に係る一実施形態である連続音声認識
装置のブロック図である。

【図２】図１の連続音声認識装置における単語仮説絞
込部６の処理を示すタイミングチャートである。

【図３】バイグラムの統計的言語モデルを示す状態遷
移図である。

【図４】トライグラムの統計的言語モデルを示す状態
遷移図である。

【図５】図１の連続音声認識装置において用いる可変
長Ｎ−グラムの下のモデルを示す状態遷移図である。

【図６】図１の連続音声認識装置の実験結果であっ
て、適応データ量に対する音素認識誤り率を示すグラフ
である。

【符号の説明】

１…マイクロホン、２…特徴抽出部、３，５…バッファメモリ、４…単語照合部、６…単語仮説絞込部、１１…音素ＨＭＭ、１２…単語辞書、１３…言語モデル生成部、２１…教師信号発生部、２２…オンライン話者適応化制御部。

フロントページの続き (72)発明者ハラルド・シンガー京都府相楽郡精華町大字乾谷小字三平谷５番地株式会社エイ・ティ・アール音声翻訳通信研究所内 (72)発明者中村篤京都府相楽郡精華町大字乾谷小字三平谷５番地株式会社エイ・ティ・アール音声翻訳通信研究所内 (72)発明者チャン・フオー京都府相楽郡精華町大字乾谷小字三平谷５番地株式会社エイ・ティ・アール音声翻訳通信研究所内

Claims

【特許請求の範囲】

【請求項１】所定の音響モデルと、所定の単語単位の
統計的言語モデルとを参照して、入力される発声音声文
の音声信号に基づいて上記発声音声文の単語列を連続的
に音声認識する音声認識手段と、各単語列に対応した音素列を含む単語辞書を参照して、
上記音声認識手段から出力される単語列を音素列に変換
する変換手段と、上記変換手段によって変換された音素列を教師信号とし
て用いて、上記音響モデルに対してオンライン話者適応
化処理を実行することにより、上記音響モデルを更新す
る適応化手段とを備えたことを特徴とする音声認識装
置。
【請求項２】請求項１記載の音声認識装置において、上記適応化手段は、クアジ・ベイズ（Ｑｕａｓｉ−Ｂａ
ｙｅｓ）近似に基づくオンライン話者適応化処理を実行
することを特徴とする音声認識装置。
【請求項３】請求項１又は２記載の音声認識装置にお
いて、上記統計的言語モデルは、可変長Ｎの単語のＮ−グラム
を含むことを特徴とする音声認識装置。