JP2000356997A

JP2000356997A - 統計的言語モデル生成装置及び音声認識装置

Info

Publication number: JP2000356997A
Application number: JP11168188A
Authority: JP
Inventors: Hiroshi Yamamoto; 博史山本; Yoshinori Kosaka; 芳典匂坂
Original assignee: ATR Interpreting Telecommunications Research Laboratories
Current assignee: ATR Interpreting Telecommunications Research Laboratories
Priority date: 1999-06-15
Filing date: 1999-06-15
Publication date: 2000-12-26

Abstract

(57)【要約】【課題】少なくとも予測精度、信頼性及び頑健さにお
いて優れた性能を有する統計的言語モデルを生成する。【解決手段】学習用テキストデータに基づいて、単語
列の後に処理対象の単語が生起する第１の頻度確率を計
算して前向きの単語Ｎ−ｇｒａｍを生成する。次いで、
学習用テキストデータと品詞クラス情報データとに基づ
いて、単語の品詞クラス及び当該単語の後に接続される
単語列の後に、処理対象の単語が生起する頻度確率を計
算することにより前向きの品詞クラス−単語Ｎ−ｇｒａ
ｍを生成する。前向きの品詞クラス−単語Ｎ−ｇｒａｍ
を事前知識として用い、前向きの単語Ｎ−ｇｒａｍを事
後知識として用いて最大事後確率推定法により第１と第
２の頻度確率を補間してなる前向きの遷移確率を計算
し、正規化処理と平滑化処理を行い前向きのＮ−ｇｒａ
ｍの統計的言語モデルを生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、学習用テキストデ
ータに基づいて統計的言語モデルを生成する統計的言語
モデル生成装置、及び上記統計的言語モデルを用いて、
入力される発声音声文の音声信号を音声認識する音声認
識装置に関する。

【０００２】

【従来の技術】近年、連続音声認識装置において、その
性能を高めるために言語モデルを用いる方法が研究され
ている。これは、言語モデルを用いて、次単語を予測し
探索空間を削減することにより、認識率の向上及び計算
時間の削減の効果を狙ったものである。最近盛んに用い
られている言語モデルとしてＮ−グラム（Ｎ−ｇｒａ
ｍ）がある。これは、大規模なテキストデータを学習
し、直前のＮ−１個の単語から次の単語への遷移確率を
統計的に与えるものである。複数Ｌ個の単語列ｗ₁ ^L＝ｗ
₁，ｗ₂，…，ｗ_Lの生成確率Ｐ（ｗ₁ ^L）は次式で表され
る。

【０００３】

【数１】

【０００４】ここで、ｗ_tは単語列ｗ₁ ^Lのうちｔ番目の
１つの単語を表し、ｗ_i ^jはｉ番目からｊ番目の単語列を
表わす。上記数１において、確率Ｐ（ｗ_t｜
ｗ_t+1-N ^t-1）は、Ｎ個の単語からなる単語列ｗ_t+1-N ^t-1
が発声された後に単語ｗ_tが発声される確率であり、以
下同様に、確率Ｐ（Ａ｜Ｂ）は単語又は単語列Ｂが発声
された後に単語Ａが発声される確率を意味する。また、
数１における「Π」はｔ＝１からＬまでの確率Ｐ（ｗ_t
｜ｗ_t+1-N ^t-1）の積を意味し、以下同様である。

【０００５】大語彙連続音声認識において上述の単語Ｎ
−ｇｒａｍなどのＮ−ｇｒａｍの統計的言語モデルが広
く用いられているが、以下の４点を十分に満たしている
必要がある。（１）次単語予測の精度（２）スパースデータ（学習量が少ないデータ）に対す
る信頼性（３）コンパクトなモデルサイズ（４）タスク（又はドメイン、音声認識処理すべき場面
などのジョブをいう。）のずれに対する頑健さ

【０００６】

【発明が解決しようとする課題】上述の単語Ｎ−ｇｒａ
ｍは「次単語予測の精度」に関しては優れた性能を持っ
ているが、「スパースデータに対する信頼性」、「タス
クのずれに対する頑健さ」の点では不満が残る。一方、
品詞クラスの情報に基づく品詞クラスＮ−ｇｒａｍ（以
下、品詞クラスＮ−ｇｒａｍという。）は「次単語予測
の精度」に関しては単語Ｎ−ｇｒａｍにかなり劣るもの
の、他の３点に関してはすぐれている。また、クラスＮ
−ｇｒａｍとして、自動的にクラスタリングすることに
よりクラス分類を行う方法（例えば、従来技術文献１
「政瀧浩和ほか，”最大事後確率推定によるＮ−ｇｒａ
ｍ言語モデルのタスク適応”，電子情報通信学会論文
誌，Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ，ｐｐ．２５１９−２５
２５，１９９８年１１月」参照。）により得られた統計
的言語モデル（以下、自動クラス２−ｇｒａｍとい
う。）も提案されており、「次単語予測の精度」、「ス
パースデータに対する信頼性」、「コンパクトなモデル
サイズ」いずれにおいても良い性能を示すが、クラス分
類自体がタスクに依存したものとなってしまうため、
「タスクのずれに対する頑健さ」という点では劣る。こ
れらのモデルの４つの要求に対する充足度を表１にまと
めて示す。

【０００７】

【表１】各種の言語モデル基本性能の比較 ―――――――――――――――――――――――――――――――――― 予測精度信頼性モテ゛ルサイス゛頑健さ ―――――――――――――――――――――――――――――――――― 単語２−ｇｒａｍ ◎ × × × ―――――――――――――――――――――――――――――――――― 品詞クラス２−ｇｒａｍ × ◎ ◎ ◎ ―――――――――――――――――――――――――――――――――― 自動クラス２−ｇｒａｍ ◎ ◎ ◎ × ――――――――――――――――――――――――――――――――――

【０００８】本発明の第１の目的は上述の問題点を解決
し、モデルサイズを小型化できないが、予測精度、信頼
性及び頑健さにおいて優れた性能を有する統計的言語モ
デルを生成することができる統計的言語モデル生成装置
及びそれを用いた音声認識装置を提供することにある。

【０００９】また、本発明の第２の目的は上述の問題点
を解決し、予測精度、信頼性、モデルサイズ及び頑健さ
において優れた性能を有する統計的言語モデルを生成す
ることができる統計的言語モデル生成装置及びそれを用
いた音声認識装置を提供することにある。

【００１０】

【課題を解決するための手段】本発明に係る請求項１記
載の統計的言語モデル生成装置は、所定の話者の発声音
声文を書き下した学習用テキストデータに基づいて、複
数の単語からなる単語列の後に処理対象の単語が生起す
る第１の頻度確率を計算することにより前向きの単語Ｎ
−ｇｒａｍの統計的言語モデルを生成する第１の生成手
段と、上記学習用テキストデータと、品詞クラス情報を
含む品詞クラス情報データとに基づいて、第１の単語の
品詞クラス及び上記第１の単語の後に接続される複数の
単語からなる単語列の後に、処理対象の単語が生起する
第２の頻度確率を計算することにより前向きの品詞クラ
ス−単語Ｎ−ｇｒａｍの統計的言語モデルを生成する第
２の生成手段と、上記第２の生成手段によって生成され
た前向きの品詞クラス−単語Ｎ−ｇｒａｍの統計的言語
モデルを事前知識として用い、上記第１の生成手段によ
って生成された前向きの単語Ｎ−ｇｒａｍの統計的言語
モデルを事後知識として用いて最大事後確率推定法によ
り、第１の頻度確率と第２の頻度確率との間を補間して
なる前向きの遷移確率を計算する第１の計算手段と、上
記第１の計算手段によって計算された前向きの遷移確率
に対して、所定の正規化処理と平滑化処理を実行するこ
とにより前向きのＮ−ｇｒａｍの統計的言語モデルを生
成する第１の処理手段とを備えたことを特徴とする。

【００１１】また、請求項２記載の統計的言語モデル生
成装置は、請求項１記載の統計的言語モデル生成装置に
おいて、上記学習用テキストデータに基づいて、処理対
象の単語から前に接続する複数の単語からなる単語列が
生起する第３の頻度確率を計算することにより後向きの
単語Ｎ−ｇｒａｍの統計的言語モデルを生成する第３の
生成手段と、上記学習用テキストデータと、上記品詞ク
ラス情報データとに基づいて、処理対象の単語の品詞ク
ラスから前に接続する複数の単語からなる単語列が生起
する第４の頻度確率を計算することにより後向きの品詞
クラス−単語Ｎ−ｇｒａｍの統計的言語モデルを生成す
る第４の生成手段と、上記第４の生成手段によって生成
された後向きの品詞クラス−単語Ｎ−ｇｒａｍの統計的
言語モデルを事前知識として用い、上記第３の生成手段
によって生成された後向きの単語Ｎ−ｇｒａｍの統計的
言語モデルを事後知識として用いて最大事後確率推定法
により、第３の頻度確率と第４の頻度確率との間を補間
してなる後向きの遷移確率を計算する第２の計算手段
と、上記第２の計算手段によって計算された後向きの遷
移確率に基づいて、所定の正規化処理と平滑化処理を実
行することにより後向きの単語Ｎ−ｇｒａｍの統計的言
語モデルを生成する第２の処理手段とをさらに備えたこ
とを特徴とする。

【００１２】本発明に係る請求項３記載の統計的言語モ
デル生成装置は、複数の単語からなる単語列の後に処理
対象の単語が生起する第１の頻度確率と、第１の単語の
品詞クラス及び上記第１の単語の後に接続される複数の
単語からなる単語列の後に、処理対象の単語が生起する
第２の頻度確率とを補間してなる前向きの遷移確率を含
む前向きのＮ−ｇｒａｍの統計的言語モデルの遷移確率
に基づいて、処理対象単語よりも前に接続される各単語
列に対して特徴量として上記前向きのＮ−ｇｒａｍの統
計的言語モデルの遷移確率を割り当てて、各クラスの特
徴量のばらつきが小さくならないようにクラスタリング
して、クラスタリング後のクラス分類情報を生成する第
１のクラスタリング手段と、処理対象の単語から前に接
続する複数の単語からなる単語列が生起する第３の頻度
確率と、処理対象の単語の品詞クラスから前に接続する
複数の単語からなる単語列が生起する第４の頻度確率と
を補間してなる後向きの遷移確率を含む後向きのＮ−ｇ
ｒａｍの統計的言語モデルの遷移確率に基づいて、各処
理単語に対して特徴量として上記後向きのＮ−ｇｒａｍ
の統計的言語モデルの遷移確率を割り当てて、各クラス
の特徴量のばらつきが小さくならないようにクラスタリ
ングして、クラスタリング後のクラス分類情報を生成す
る第２のクラスタリング手段と、所定の話者の発声音声
文を書き下した学習用テキストデータに基づいて、上記
第１のクラスタリング手段及び第２のクラスタリング手
段によって生成されたクラス分類情報を処理対象とし
て、処理対象の単語よりも前の単語列のクラスから、処
理対象の単語のクラスへの頻度確率を計算することによ
り融合Ｎ−ｇｒａｍの統計的言語モデルを生成する第５
の生成手段とを備えたことを特徴とする。

【００１３】また、請求項４記載の統計的言語モデル生
成装置は、請求項３記載の統計的言語モデル生成装置に
おいて、上記補間してなる前向きの遷移確率は、上記第
１の処理手段によって生成された前向きのＮ−ｇｒａｍ
の統計的言語モデルの遷移確率であり、上記補間してな
る後向きの遷移確率は、上記第２の処理手段によって生
成された後向きのＮ−ｇｒａｍの統計的言語モデルの遷
移確率であり、上記第５の生成手段において用いる学習
用テキストデータは、上記第１乃至第４の生成手段にお
いて用いる学習用テキストデータであることを特徴とす
る。

【００１４】さらに、本発明に係る請求項５記載の音声
認識装置は、入力される発声音声文の音声信号に基づい
て、所定の統計的言語モデルを用いて音声認識する音声
認識手段を備えた音声認識装置において、上記音声認識
手段は、請求項１に記載の第１の処理手段によって生成
された前向きＮ−ｇｒａｍの統計的言語モデルを用い
て、請求項２に記載の第２の処理手段によって生成され
た後向きＮ−ｇｒａｍの統計的言語モデルを用いて、も
しくは、請求項３又は４記載の第５の生成手段によって
生成された融合Ｎ−ｇｒａｍの統計的言語モデルを用い
て、音声認識することを特徴とする。

【００１５】

【発明の実施の形態】以下、図面を参照して本発明に係
る実施形態について説明する。

【００１６】図１は、本発明に係る一実施形態である連
続音声認識装置のブロック図である。この実施形態の連
続音声認識装置は、図４の第１の言語モデル生成処理を
実行することにより前向きＮ−ｇｒａｍである統計的言
語モデル及び後向きＮ−ｇｒａｍである統計的言語モデ
ルを生成する言語モデル生成部２０（第１の実施形態）
と、上記生成された２つの統計的言語モデルに基づいて
図７の言語モデル生成処理を実行することにより上記２
つの統計的言語モデルを融合した融合Ｎ−ｇｒａｍであ
る統計的言語モデルを生成する言語モデル生成部３０
（第２の実施形態）とを備えたことを特徴としている。
ここで、スイッチＳＷを接点ａ側に切り換えて統計的言
語モデルメモリ２１内の前向きＮ−ｇｒａｍを用いて単
語仮説絞込部６が単語仮説絞込処理を行う実施形態を第
１の実施形態という一方、スイッチＳＷを接点ｂ側に切
り換えて統計的言語モデルメモリ３１内の後向きＮ−ｇ
ｒａｍを用いて単語仮説絞込部６が単語仮説絞込処理を
行う実施形態を第２の実施形態という。

【００１７】本実施形態では、単語Ｎ−ｇｒａｍ、品詞
クラスＮ−ｇｒａｍ、自動クラスＮ−ｇｒａｍの欠点を
補い合うことにより、４つの要求を同時に満たす新しい
Ｎ−ｇｒａｍモデルを生成する方法を開示する。まず、
第１の実施形態では、まず、単語Ｎ−ｇｒａｍに対し
て、公知の最大事後確率推定法（以下、ＭＡＰ推定法と
いう。）により品詞クラスの情報を付加することで、
「次単語予測の精度」を保ちながらも、「スパースデー
タに対する信頼性」、「タスクのずれに対する頑健さ」
を付加した統計的言語モデルを作成する。続いて、この
統計的言語モデルにより得られる単語間の遷移確率を単
語の特徴量とみなし、これに基づいて、自動的にクラス
タリングしてクラス分類を行うことによりさらに「コン
パクトなモデルサイズ」を加え、先に挙げた４つの要求
の同時に満たす融合Ｎ−ｇｒａｍである統計的言語モデ
ルを生成する。

【００１８】まず、品詞クラス情報と単語情報の連続的
な補間処理について説明する。単語Ｎ−ｇｒａｍにおけ
る問題点である「スパースデータに対する信頼性」と
「タスクのずれに対する頑健さ」を品詞クラス情報を用
いて補うことを考える。単語Ｎ−ｇｒａｍにおける信頼
性は推定に用いる直前のＮ−１個の単語列の出現頻度に
依存する。そこで、出現回数の少ない単語列に関しては
品詞クラスの情報で補うようにすれば精度を落とすこと
なく、信頼性の向上が期待でき、同時に品詞クラスＮ−
ｇｒａｍの持つタスクのずれに対する頑健さを加えるこ
とができると考えられる。この方法の実現手段として
は、以下の方法が考えられる。（ａ）単語列の出現回数によるしきい値によって単語Ｎ
−ｇｒａｍと品詞クラスＮ−ｇｒａｍを切り換える方
法、（ｂ）両者の線形結合を用いる方法、及び（ｃ）バ
ックオフ平滑化に用いる方法など。

【００１９】発明者の意見として、図３に示すように、
品詞クラスＮ−ｇｒａｍと、単語Ｎ−ｇｒａｍとの間を
直前の単語列の出現頻度に応じて、直前の単語列を用い
た確率推定値と、直前の品詞クラス列を用いた確率推定
値を連続的に補間する方がより精度と信頼性を期待でき
る。そこで、この目的のために品詞クラス及び単語列か
ら単語へのＮ−ｇｒａｍ（以下、品詞クラス−単語Ｎ−
ｇｒａｍという。）を考える。単語列（ｗ₁，ｗ₂，…，
ｗ_n-1，ｗ_n）について処理するときに、品詞クラス−単
語Ｎ−ｇｒａｍは品詞クラス及び単語列（ｃ₁，ｗ₂，
…，ｗ_n-1）から単語ｗ_nへの遷移確率を考えるものあ
り、その値は次式であらわされる。ここで、ｃ₁は単語
ｗ₁の品詞クラスである。

【００２０】

【数２】ｐ（ｗ_n｜ｃ₁，ｗ₂，…，ｗ_n-1）

【００２１】そして、この品詞クラス−単語Ｎ−ｇｒａ
ｍを事前知識とし、単語Ｎ−ｇｒａｍを事後知識とする
公知のＭＡＰ推定法を用いることにする。ＭＡＰ推定法
を用いる場合、事後事象である単語Ｎ−ｇｒａｍの値が
どのような分布に従うかを予め知っておく必要がある。
そして、この分布、すなわち事前分布が次式のベータ分
布に従うものと仮定する。

【００２２】

【数３】｛１／Ｂ（α，β）｝×ｐ⁽ ^α ^-1)（１−ｐ）⁽ ^β ^-1)

【００２３】ベータ分布を用いる理由はパラメータα及
びβを変化させることにより、一様分布を含む様々な分
布形状を表すことができるためである。単語列（ｗ₁，
ｗ₂，…，ｗ_i）の観測回数をＣ（ｗ₁，ｗ₂，…，ｗ_i）
とする時、ＭＡＰ推定法によるＭＡＰ推定処理後の単語
列（ｗ₁，ｗ₂，…，ｗ_n-1）から単語ｗ_nへの前向きの遷
移確率ｐ_MAP（ｗ_n｜ｗ₁，ｗ₂，…，ｗ_n-1）は次式のよ
うになる。

【００２４】

【数４】ｐ_MAP（ｗ_n｜ｗ₁，ｗ₂，…，ｗ_n-1）＝｛Ｃ
（ｗ₁，ｗ₂，…，ｗ_n-1）＋α−１｝／｛Ｃ（ｗ₁，
ｗ₂，…，ｗ_n-1，ｗ_n）＋α＋β−２｝

【００２５】ベータ分布においてはその平均μと分散β
は次式となることが知られている。

【００２６】

【数５】μ＝α／（α＋β）

【数６】σ²＝αβ／｛（α＋β）²（α＋β＋１）｝

【００２７】しかしながら、これらの値を最尤推定によ
って求めることは困難である。まず、観測回数Ｃ
（ｗ₁，ｗ₂，…，ｗ_n-1）及び観測回数Ｃ（ｗ₁，ｗ₂，
…，ｗ_n）がともに０の時、すなわち事後知識が与えら
れないときの確率推定値は、上記数４に次式の数７を代
入することにより、数８を得る。

【００２８】

【数７】Ｃ（ｗ₁，ｗ₂，…，ｗ_n-1）＝Ｃ（ｗ₁，ｗ₂，
…，ｗ_n）＝０

【数８】ｐ_MAP（ｗ_n｜ｗ₁，ｗ₂，…，ｗ_n-1）＝（α−
１）／（α＋β−２）

【００２９】また、事後知識が与えられない時は事前知
識を用いるのが妥当であることから上記数８の値は事前
知識による値と等しいとし、次式を得る。

【００３０】

【数９】（α−１）／（α＋β−２）＝ｐ（ｗ_n｜ｃ₁，
ｗ₂，…，ｗ_n-1）

【００３１】ここで、確率ｐ（ｗ_n｜ｃ₁，ｗ₂，…，ｗ
_n-1）は単語Ｎ−ｇｒａｍの確率ｐ（ｗ_n｜ｗ_i，ｗ₂，
…，ｗ_n-1）（ただしｗ_i∈ｃ_i）の重み付き平均μ_hとし
て求められる。ここで、パラメータα及びβに関して解
が求めやすいように上記数５の事前分布の平均μと、上
記数８及び数９における重み付き平均μ_hとの関係にお
いて次式の数１０及び数１１であることを上記数６に形
式的にあてはめ、次式の数１２を仮定する。

【００３２】

【数１０】α→α−１

【数１１】α＋β→α＋β−２

【数１２】｛（α−１）（β−１）｝／｛（α＋β−
２）²（α＋β−１）｝＝σ_h ²

【００３３】ここで、σ_h ²は単語Ｎ−ｇｒａｍの重み付
き分散である。上記数８、数９、数１２により、パラメ
ータα及びβは次式に従って求めることができる。

【００３４】

【数１３】α−１＝｛μ_h ²／（１−μ_h）｝σ_h ²−μ_h

【数１４】 α＋β−２＝［｛μ_h（１−μ_h）｝／σ_h ²］−１

【００３５】なお、重み付き平均μ_h及び重み付き分散
σ_h ²は次式で定義されて計算することができる。

【００３６】

【数１５】

【数１６】

【００３７】上述された方法で計算されたパラメータα
及びβに基づいて上記数４を用いて、各単語列毎にＭＡ
Ｐ推定後の前向きの確率を求める。

【００３８】次いで、後向きの遷移確率について説明す
る。ＭＡＰ推定法によるＭＡＰ推定処理後の単語ｗ_nか
ら単語列（ｗ_n-1，ｗ_n-2，…，ｗ₂，ｗ₁）への後向きの
遷移確率ｐ_MAP（ｗ_n-1，ｗ_n-2，…，ｗ₂，ｗ₁｜ｗ_n）は
次式のようになる。

【００３９】

【数１７】ｐ_MAP（ｗ_n-1，ｗ_n-2，…，ｗ₂，ｗ₁｜ｗ_n）
＝｛Ｃ（ｗ_n，ｗ_n-1，…，ｗ₂，ｗ₁）＋α−１｝／｛Ｃ
（ｗ_n）＋α＋β−２｝

【００４０】ここで、事後知識が与えられないときの確
率推定値は、上記数１７に次式の数１８を代入すること
により、数１９を得る。

【００４１】

【数１８】Ｃ（ｗ_n，ｗ_n-1，…，ｗ₂，ｗ₁）＝Ｃ（ｗ_n）＝０

【数１９】ｐ_MAP（ｗ_n-1，…，ｗ₂，ｗ₁｜ｗ_n）＝（α
−１）／（α＋β−２）

【００４２】また、事後知識が与えられない時は事前知
識を用いるのが妥当であることから上記数１９の値は事
前知識による値と等しいとし、次式を得る。

【００４３】

【数２０】（α−１）／（α＋β−２）＝ｐ（ｗ_n-1，
…，ｗ₂，ｗ₁｜ｃ_n）

【００４４】また、パラメータα及びβは上記の数１３
及び数１４を用いて計算でき、ここで、重み付き平均μ
_h及び重み付き分散σ_h ²は次式で定義されて計算するこ
とができる。

【００４５】

【数２１】

【数２２】

【００４６】上述された方法で計算されたパラメータα
及びβに基づいて上記数１７を用いて、各単語列毎にＭ
ＡＰ推定後の後向きの確率を求める。

【００４７】このようにして得られたＭＡＰ推定後のＮ
−ｇｒａｍの値は単語Ｎ−ｇｒａｍの観測回数が多い単
語列ではより単語Ｎ−ｇｒａｍの値に近く、少ない単語
列では品詞クラス−単語２−ｇｒａｍの値に近いため、
「次単語の予測精度」、「スパースデータに対する信頼
性」、「タスクのずれに対する頑健さ」の三つを兼ね備
えたモデルになっていると考えられる。

【００４８】次いで、正規化処理と平滑化処理について
説明する。ＭＡＰ推定後の確率は個々の単語列ごとに独
立に計算されるため、各先行単語列ごとの遷移確率の和
が１となる保証がない。このため、これが１となるよう
に補正を行う必要がある。また、ＭＡＰ推定後のＮ−ｇ
ｒａｍにおいても事前知識すら与えられない単語列に対
しては確率値を割り当てることができないため、平滑化
により何らかの確率値を割り振る必要がある。平滑化の
方法としては、好ましくは、次の２つの方法のいずれか
を用いる。（１）ＭＡＰ推定による平滑化処理（２）バックオフ平滑化処理

【００４９】まず、ＭＡＰ推定による平滑化処理につい
て説明する。ＭＡＰ推定における事前知識である確率ｐ
（ｗ_n｜ｃ₁，ｗ₂，…，ｗ_n-1）に対して、さらに１次元
下（すなわち、履歴の１つ短い）の確率ｐ（ｗ_n｜ｗ₂，
…，ｗ_n-1）を事前知識とするＭＡＰ推定を行うこと
で、事前知識すら与えられていない場合でも確率値を割
り当てができる（例えば、従来技術文献２「川端豪ほ
か，”二項事後分布に基づくＮ−ｇｒａｍ言語モデルの
Ｂａｃｋ−ｏｆｆ平滑化”，電子情報通信学会技術報
告，ＳＰ９３−９５，ｐｐ．１−６，１９９５年１２
月」参照。）。さらに、確率ｐ（ｗ_n｜ｗ₂，…，
ｗ_n-1）は確率ｐ（ｗ_n｜ｃ₂，…，ｗ_n-1）で、確率ｐ
（ｗ_n｜ｃ₂，…，ｗ_n-1）は確率ｐ（ｗ_n｜ｗ₃，…，ｗ
_n-1）でという具合に逐次的にＭＡＰ推定を繰り返すこ
とにより、最終的には単語１−ｇｒａｍ（又は０−ｇｒ
ａｍ）を事前知識とするＭＡＰ推定が行われるため、す
べての単語列に対して確率値を割り当てることができ
る。なお、この場合、上記数９における重み付き平均μ
_hの値としてはＭＡＰ推定後の確率推定値ｐ_MAP（ｗ_n｜
ｃ₁，ｗ₂，…，ｗ_n _-1）を用いることになる。また、正
規化後の確率値は各先行単語列に対して、次単語への遷
移確率の総和が１となるように次式に従って正規化され
る。ここで、Ｖは語彙数を表すものとする。

【００５０】

【数２３】

【００５１】次いで、バックオフ平滑化処理について説
明する。平滑化の方法として公知のバックオフ平滑化法
（例えば、従来技術文献３「S. M. Katz,”Estimation
of Probabilities from Sparse Data for the Language
Model Component of a Speech Recognitizer”,IEEE T
ransaction on Acoustics, Speech and Signal Process
ing, pp.400-401, 1987」参照。）を用いた場合は、未
学習である列に割り振られる確率値の総和は、事前知識
として用いるモデルにおいてに公知のバックオフ平滑化
法により未学習である列に割り振られる確率値の総和と
等しくする。すなわち、ＭＡＰ推定後のバックオフ係数
ｂ（ｗ₁，ｗ₂，…，ｗ_n-1）は、事前知識におけるバッ
クオフ係数ｂ（ｃ₁，ｗ₂，…，ｗ_n-1）と等しいものと
する。その後、後続単語への遷移確率の和が１となるよ
うにディスカウント係数を求める。最終的に、バックオ
フ平滑化処理を施したＭＡＰ推定後の遷移確率は次式で
与えられることになる。

【００５２】（１）Ｃ（ｗ₁，ｗ₂，…，ｗ_n）＞０のと
き、すなわち事後知識が与えられた場合

【００５３】

【数２４】ｐ_MAP（ｗ_n｜ｗ₁，ｗ₂，…，ｗ_n-1）＝ｄ
（ｗ₂，…，ｗ_n-1，ｗ_n）×｛Ｃ（ｗ₁，ｗ₂，…，
ｗ_n-1，ｗ_n）＋α−１｝／｛Ｃ（ｗ₁，ｗ₂，…，
ｗ_n-1）＋α＋β−２｝

【００５４】（２）Ｃ（ｃ₁，ｗ₂，…，ｗ_n）＞Ｃｕｔ
（ｎ）のとき、すなわち事後知識が与えられない場合

【００５５】

【数２５】ｐ_MAP（ｗ_n｜ｗ₁，ｗ₂，…，ｗ_n-1）＝ｄ
（ｗ₂，…，ｗ_n-1，ｗ_n）×（α−１）／｛Ｃ（ｗ₁，ｗ
₂，…，ｗ_n-1）＋α＋β−２｝

【００５６】（３）Ｃ（ｃ₁，ｗ₂，…，ｗ_n）≦Ｃｕｔ
（ｎ）のとき、すなわち事前知識すら信頼性がない場合

【００５７】

【数２６】ｐ_MAP（ｗ_n｜ｗ₁，ｗ₂，…，ｗ_n-1）＝ｂ
（ｗ₁，ｗ₂，…，ｗ_n-1）×ｐ_MAP（ｗ_n｜ｗ₂，…，ｗ
_n-1）

【００５８】ここで、Ｃｕｔ（ｎ）はＮ−ｇｒａｍの次
数ｎにおけるカットオフ係数であり、ｄ（ｗ₂，…，ｗ
_n-1，ｗ_n）はディスカウント係数であり、ｂ（ｗ₁，
ｗ₂，…，ｗ_n-1）はバックオフ係数である。

【００５９】なお、後向きの確率の場合においても、同
様の式を用いて平滑化処理を行うことができる。ここ
で、上記数２０における重み付き平均μの値としては、
ＭＡＰ推定後の値ｐ_MAP（ｗ_n-1，…，ｗ₂，ｗ₁｜ｃ_n）
を用いる。また、後向きのＭＡＰ推定においては、後向
きの品詞クラス−単語Ｎ−ｇｒａｍの統計的言語モデル
を事前知識として用い、後向きの単語Ｎ−ｇｒａｍの統
計的言語モデルを事後知識として用いる。

【００６０】次いで、第２の実施形態における品詞クラ
ス情報と自動クラス分類の併用の方法について説明す
る。第１の実施形態の言語モデル生成部２０により得ら
れた前向きＮ−ｇｒａｍ及び後向きＮ−ｇｒａｍである
２つの統計的言語モデルに対して、自動的にクラスタリ
ング（自動クラス分類）することにより、モデルサイズ
の縮小をはかる。自動クラスＮ−ｇｒａｍがタスクのず
れに対して頑健か否かは、自動クラス分類を行う際、各
単語に割り当てられる特徴量がタスクのずれに対して頑
健かどうかで決まると考えられる。通常の自動クラス分
類においては単語の特徴量として単語Ｎ−ｇｒａｍの値
を用いるが、この特徴量はタスクのずれに対する頑健さ
を欠くため、得られる自動クラスＮ−ｇｒａｍもまたタ
スクのずれに対する頑健さに欠けるものとなると考えら
れる。上述の第１の実施形態の言語モデル生成部２０に
より得られたＭＡＰ推定後のＮ−ｇｒａｍの統計的言語
モデルはタスクのずれに対する頑健さを持つため、この
値を単語の特徴量として用いることによってタスクのず
れに対して頑健な自動クラスが得られることが期待さ
れ、このクラスを用いたクラスＮ−ｇｒａｍにより、第
１の実施形態の言語モデル生成部２０により得られた統
計的言語モデルに対してさらに「コンパクトなモデルサ
イズ」を付け加えることが期待できる。

【００６１】次いで、先行単語列のクラス分類について
説明する。ある単語列（ｗ₁，ｗ₂，…，ｗ_n-1）を考え
た場合、この単語列（ｗ₁，ｗ₂，…，ｗ_n-1）から他の
単語ｗ _nへの遷移確率は次式で与えられる。

【数２７】ｐ_MAP（ｗ_n｜ｗ₁，ｗ₂，…，ｗ_n-1）

【００６２】このとき、遷移先の単語として語彙セット
中のすべての単語Ｖ個を考え、これらの遷移確率列を長
さＶのベクトルと考えることができる。このベクトルは
単語列（ｗ₁，ｗ₂，…，ｗ_n-1）の次単語に対する接続
属性を表していると考えることができるため、このベク
トルに基づき、単語列をクラス分類する。ここで、自動
クラス分類の方法としては次の手順を用いる。

【００６３】＜ステップＳＳ１＞１単語列に対して１ク
ラスとする。＜ステップＳＳ２＞個々の単語列のクラスＸに対して特
徴量Ｖ（Ｘ）を割り当てる。ここで、特徴量Ｖ（Ｘ）は
クラスＸから次の単語への遷移確率を要素とするベクト
ルである。＜ステップＳＳ３＞マージするために必要なマージコス
ト（Ｕ_new−Ｕ_old）が最小となるような（すなわち、マ
ージ後のベクトルの分散が小さくならないような）クラ
スのペアを選び、統合して１つのクラスとする。ここ
で、Ｕ_newはマージ後のクラス内のベクトルのバラツキ
又は分散であり、Ｕ_oldはマージ前のクラス内のベクト
ルのバラツキ又は分散であり、それぞれ次式のように計
算できる。

【００６４】

【数２８】

【数２９】

【００６５】ここで、Ｃ_newはマージ後のクラスであ
り、Ｃ_oldはマージ前のクラスを表し、Ｄ（Ｖｃ，Ｖ
ｗ）はベクトルＶｃとＶｗとのユークリッド距離の自乗
を表す。＜ステップＳＳ４＞上記ステップＳＳ２及びＳＳ３の手
順を予め定められたクラス数になるまで繰り返すことに
より、クラスタリング処理を行う。

【００６６】次いで、後続単語のクラス分類について説
明する。単語列（ｗ₁，ｗ₂，…，ｗ _n-1）から他の単語
ｗ_nへの遷移確率は単語列（ｗ₁，ｗ₂，…，ｗ_n-1）がス
パースな場合（十分な学習量が無い場合）でもＭＡＰ推
定により信頼性のある値を割り当てることができた。し
かしながら、後続単語ｗ_nがスパースな場合の信頼性の
問題は解決されていない。そこで、ある単語ｗ_nに先ん
じて単語列（ｗ₁，ｗ₂，…，ｗ_n-1）が出現する確率ｐ
（ｗ₁，ｗ₂，…，ｗ_n-1｜ｗ_n）を単語ｗ_nの属する品詞
クラスに先んじて単語列（ｗ₁，ｗ₂，…，ｗ_n-1）が出
現する確率ｐ（ｗ₁，ｗ₂，…，ｗ_n-1｜ｃ_n）を事前知識
とするＭＡＰ推定で補間することを考える。ＭＡＰ推定
の手順自体は上述した方法を用いる。これにより得られ
たＭＡＰ推定後の確率ｐ_MAP（ｗ₁，ｗ₂，…，ｗ_n-1｜ｗ
_n）を要素とするベクトルは上述したのと同様に、単語
ｗ_nの先行単語列（ｗ₁，ｗ₂，…，ｗ_n-1）に対する信頼
性のある接続属性を表している。このベクトルに基づい
て後続単語もクラス分類する。このようにして得られた
先行単語列のクラスと後続単語のクラス（ともに処理対
象の単語を基準として）は共に単語情報とともに品詞情
報をも考慮したクラスとなっており、これらのクラスか
ら生成されるクラスＮ−ｇｒａｍを、単語Ｎ−ｇｒａｍ
と品詞クラスＮ−ｇｒａｍとを融合した融合Ｎ−ｇｒａ
ｍと呼んでいる。

【００６７】さらに、品詞によるクラスについて補足説
明する。クラスＮ−ｇｒａｍにおけるクラスの指標とし
ては品詞クラス情報がよく用いられる。そこで、本発明
者は、まず、品詞クラス情報に基づくクラス分類を行っ
たクラスｂｉｇｒａｍと単語ｂｉｇｒａｍの性能比較を
行った。学習セットはのべ単語数４５９，３８３単語、
異なり単語数７，２２１単語であり、クラスは品詞クラ
ス情報（本実施形態では、品詞クラス情報データメモリ
１４に格納される。）に基づく１５８クラスを用いた。
実験結果はのべ単語数６，８２６のテストセットにおい
て、クラスｂｉｇｒａｍがパープレキシティ３１．５３
であったのに対して、単語ｂｉｇｒａｍでは１８．５１
であり、両者の間にはかなりの差があることがわかる。
この原因はクラス分類に用いた品詞情報は単語の性質全
体を表わすものであるため、Ｎ−ｇｒａｍにおいて重要
な単語の接続性を純粋にあらわしているとは言い難いた
めと考えられる。

【００６８】この状況に鑑みて本発明者は、以下に示す
多重クラスＮ−ｇｒａｍである融合Ｎ−ｇｒａｍを発明
した。ここで、品詞情報によるクラス分類を行う場合
と、単語の接続性のみに着目してクラス分類を行う場合
の違いに関して考える。例として全節で用いた品詞分類
の１つである動詞活用語尾のうち次の３つを対象として
みる。（ａ）「き：語尾、五段カ行、連用形」（ｂ）「し：語尾、五段サ行、連用形」（ｃ）「く：語尾、五段カ行、終止形」これらは異なった品詞を持つために（ここでは、３つの
品詞にクラス分類される）、品詞情報によるクラス分類
では各々別のクラスとされる。この場合どのような単語
が前にくるか後にくるか、各々３通りの接続を考えるこ
とになる。しかしながら、これらに対してどのような単
語が前にくるかだけを考えた場合、「き」と「く」は同
じと考えることができ、どのような単語が後にくるかだ
けを考えた場合、「き」と「し」は同じと考えることが
できる。従って、どのような単語が前にくるか、後にく
るかという性質を個別に考え、それぞれに対して別々に
クラスを割り当てれば各々２通りの接続を考えればよい
ことになり、通常のクラス分類よりも効率的なクラス分
類を行うことができる。

【００６９】本実施形態では、前者である前にある単語
の後向きの接続性（ｆｒｏｍの接続性）に関するクラス
をｔｏクラス（後向きのクラス）と呼び、後者である後
続する単語の前向きの接続性（ｔｏの接続性）をｆｒｏ
ｍクラス（前向きのクラス）と呼ぶことにし、個々の単
語はｔｏクラス、ｆｒｏｍクラスの２つのクラス属性
（品詞属性）を持つと考えることにする。これによれ
ば、上記の３つの単語はｔｏクラスでは（ａ）「き、く：語尾、五段カ行」（ｂ）「し：語尾、五段サ行」の２つのクラスで表現でき、ｆｒｏｍクラスでは（ａ）「き、し：語尾、五段、連用形」（ｂ）「く：語尾、五段、終止形」の２つのクラスで表現できる。この考え方はＮ≧３の場
合に対してもそのまま拡張可能で、この場合、個々の単
語はＮ個のクラス属性を持つことになる。このクラス属
性のことを多重クラスと呼び、これを用いたＮ−ｇｒａ
ｍを多重クラスＮ−ｇｒａｍと呼ぶ。Ｎ＝２としたとき
の多重クラスｂｉｇｒａｍの出現確率は次式で表わされ
る。

【００７０】

【数３０】Ｐ（Ｗｎ｜Ｗｎ−１）≒Ｐ（Ｃｔ（Ｗｎ）｜
Ｃｆ（Ｗｎ−１））×Ｐ（Ｗｎ｜Ｃｔ（Ｗｎ））

【００７１】ここで、Ｃｔは、処理対象の単語が属する
ｔｏクラスを表わし、Ｃｆはｆｒｏｍクラスを表わすも
のとする。このときのパラメータ数はクラスＮ−ｇｒａ
ｍが、クラス数の自乗＋単語数となるのに対して、ｔｏ
クラス数×ｆｒｏｍクラス数＋単語数となる。

【００７２】さらに、言語モデル生成部２０及び３０に
よって実行される統計的言語モデル生成処理について図
４乃至図１０のフローチャートを参照して説明する。

【００７３】図４は、図１の言語モデル生成部２０によ
って実行される第１の言語モデル生成処理を示すフロー
チャートである。図４において、まず、ステップＳ１に
おいて前向き言語モデル生成処理（図５）を実行した
後、ステップＳ２において後向き言語モデル生成処理
（図６）を実行して、当該第１の言語モデル生成処理を
終了する。

【００７４】図５は、図４のサブルーチンである前向き
言語モデル生成処理を示すフローチャートである。図５
において、まず、ステップＳ１１において学習用テキス
トデータメモリ１３内に格納され、発声音声文を書き下
したコーパスである学習用テキストデータに基づいて、
前向きの単語Ｎ−ｇｒａｍの統計的言語モデルを生成し
た後、ステップＳ１２において学習用テキストデータメ
モリ１３内の学習用テキストデータと、品詞クラス情報
データメモリ１４内の品詞クラス情報データとに基づい
て、前向きの品詞クラス−単語Ｎ−ｇｒａｍの統計的言
語モデルを生成する。次いで、ステップＳ１３において
品詞クラスと単語列との各対に対して、数１３乃至数１
６を用いてＭＡＰ推定法のためのパラメータα及びβを
計算し、ステップＳ１４において各単語列に対して、計
算されたパラメータα及びβに基づいて数４を用いてＭ
ＡＰ推定後の前向きの遷移確率を計算する。さらに、ス
テップＳ１５において計算された前向きの遷移確率に対
して、正規化処理と平滑化処理を実行することにより前
向き言語モデルを生成して、統計的言語モデルメモリ２
１に格納して、元のメインルーチンに戻る。

【００７５】図６は、図４のサブルーチンである後向き
言語モデル生成処理を示すフローチャートである。図６
において、まず、ステップＳ２１において学習用テキス
トデータメモリ１３内の学習用テキストデータに基づい
て後向きの単語Ｎ−ｇｒａｍを生成した後、ステップＳ
２２において学習用テキストデータメモリ１３内の学習
用テキストデータと、品詞クラス情報データメモリ１４
内の品詞クラス情報データとに基づいて、後向きの品詞
クラス−単語Ｎ−ｇｒａｍを生成する。次いで、ステッ
プＳ２３において品詞クラスと単語列との各対に対し
て、数１３、数１４、数２１及び数２２を用いてＭＡＰ
推定法のためのパラメータα及びβを計算し、ステップ
Ｓ２４において各単語列に対して、計算されたパラメー
タα及びβに基づいて数１７を用いてＭＡＰ推定後の後
向きの遷移確率を計算する。さらに、ステップＳ２５に
おいて計算された後向きの遷移確率に対して正規化処理
と平滑化処理を実行することにより、後向き言語モデル
を生成して、統計的言語モデルメモリ２２に格納して、
元のメインルーチンに戻る。

【００７６】図７は、図１の言語モデル生成部３０によ
って実行される第２の言語モデル生成処理を示すフロー
チャートである。図７において、まず、ステップＳ３１
において前向き言語モデルのクラスタリング処理（図
８）を実行し、ステップＳ３２において後向き言語モデ
ルのクラスタリング処理（図９）を実行し、ステップＳ
３３において融合言語モデル生成処理（図１０）を実行
して当該第２の言語モデル生成処理を終了する。

【００７７】図８は、図７のサブルーチンである前向き
言語モデルのクラスタリング処理（ステップＳ３１）を
示すフローチャートである。図８において、まず、ステ
ップＳ４１において統計的言語モデルメモリ２１内の前
向き言語モデルの遷移確率に基づいて、処理対象単語よ
りも前に接続される各単語列に対して特徴量として上記
遷移確率を割り当てて、ここで、１単語列に対して１つ
のクラスとする。次いで、ステップＳ４２において各ク
ラスの対をマージしてマージコストが最小となるクラス
の対を選択し、１つのクラスに統合し、ステップＳ４３
において所定のクラス数しきい値（例えば、２００又は
５００）になったか否かが判断される。ここで、ＮＯの
ときはステップＳ４２に戻る一方、ＹＥＳのときはステ
ップＳ４４に進み、クラスタリング後の処理対象単語に
先行する単語列のクラス分類情報を一時メモリに格納し
て元のメインルーチンに戻る。

【００７８】図９は、図７のサブルーチンである後向き
言語モデルのクラスタリング処理（ステップＳ３２）を
示すフローチャートである。図９において、ステップＳ
５１において統計的言語モデルメモリ２２内の後向き言
語モデルの遷移確率に基づいて、各処理対象単語に対し
て特徴量として上記遷移確率を割り当て、ここで、１単
語列に対して１つのクラスとする。次いで、ステップＳ
５２において各クラスの対をマージしてマージコストが
最小となるクラスの対を選択し、１つのクラスに統合
し、ステップＳ５３において所定のクラス数しきい値に
なったか否かが判断される。ここで、ＮＯのときはステ
ップＳ５２に戻る一方、ＹＥＳのときはステップＳ５４
に進み、クラスタリング後の処理対象単語のクラス分類
情報を一時メモリに格納して元のメインルーチンに戻
る。

【００７９】図１０は、図７のサブルーチンである融合
言語モデル生成処理を示すフローチャートである。図１
０において、まず、ステップＳ６１において、一時メモ
リにそれぞれ格納されたクラスタリング後の処理対象単
語に先行する単語列のクラス分類情報と、クラスタリン
グ後の処理対象単語のクラス分類情報とを処理対象とす
る。次いで、ステップＳ６２において、学習用テキスト
データメモリ１３内の学習用テキストデータに基づい
て、上記２つのクラス分類情報の各クラスを用いて、処
理対象単語に先行する単語列のクラスから処理対象単語
のクラスへの頻度確率を計算することにより、単語Ｎ−
ｇｒａｍと、品詞クラスＮ−ｇｒａｍとを融合させた融
合Ｎ−ｇｒａｍの統計的言語モデルを生成して統計的言
語モデルメモリ３１に格納して元のメインルーチンに戻
る。

【００８０】次いで、図１に示す連続音声認識装置の構
成及び動作について説明する。図１において、単語照合
部４に接続された音素隠れマルコフモデル（以下、隠れ
マルコフモデルをＨＭＭという。）メモリ１１内の音素
ＨＭＭは、各状態を含んで表され、各状態はそれぞれ以
下の情報を有する。（ａ）状態番号、（ｂ）受理可能なコンテキストクラ
ス、（ｃ）先行状態、及び後続状態のリスト、（ｄ）出
力確率密度分布のパラメータ、及び（ｅ）自己遷移確率
及び後続状態への遷移確率。なお、本実施形態において
用いる音素ＨＭＭは、各分布がどの話者に由来するかを
特定する必要があるため、所定の話者混合ＨＭＭを変換
して生成する。ここで、出力確率密度関数は３４次元の
対角共分散行列をもつ混合ガウス分布である。また、単
語照合部４に接続された単語辞書メモリ１２内の単語辞
書は、音素ＨＭＭメモリ１１内の音素ＨＭＭの各単語毎
にシンボルで表した読みを示すシンボル列を格納する。

【００８１】図１において、話者の発声音声はマイクロ
ホン１に入力されて音声信号に変換された後、特徴抽出
部２に入力される。特徴抽出部２は、入力された音声信
号をＡ／Ｄ変換した後、例えばＬＰＣ分析を実行し、対
数パワー、１６次ケプストラム係数、Δ対数パワー及び
１６次Δケプストラム係数を含む３４次元の特徴パラメ
ータを抽出する。抽出された特徴パラメータの時系列は
バッファメモリ３を介して単語照合部４に入力される。

【００８２】単語照合部４は、ワン−パス・ビタビ復号
化法を用いて、バッファメモリ３を介して入力される特
徴パラメータのデータに基づいて、音素ＨＭＭメモリ１
１内の音素ＨＭＭと単語辞書メモリ１２内の単語辞書と
を用いて単語仮説を検出し尤度を計算して出力する。こ
こで、単語照合部４は、各時刻の各ＨＭＭの状態毎に、
単語内の尤度と発声開始からの尤度を計算する。尤度
は、単語の識別番号、単語の開始時刻、先行単語の違い
毎に個別にもつ。また、計算処理量の削減のために、上
記音素ＨＭＭ及び単語辞書とに基づいて計算される総尤
度のうちの低い尤度のグリッド仮説を削減する。単語照
合部４は、その結果の単語仮説と尤度の情報を発声開始
時刻からの時間情報（具体的には、例えばフレーム番
号）とともにバッファメモリ５を介して単語仮説絞込部
６に出力する。

【００８３】ここで、スイッチＳＷをａ側に切り換えた
とき、統計的言語モデルメモリ２１が単語仮説絞込部６
に接続されて単語仮説絞込部６は、言語モデル生成部２
０により生成された統計的言語モデルメモリ２１内の前
向きＮ−ｇｒａｍである統計的言語モデルを参照して単
語仮説絞込処理を行う一方、スイッチＳＷをｂ側に切り
換えたとき、統計的言語モデルメモリ３１が単語仮説絞
込部６に接続されて単語仮説絞込部６は、言語モデル生
成部３０により生成された統計的言語モデルメモリ３１
内の融合Ｎ−ｇｒａｍである統計的言語モデルを参照し
て単語仮説絞込処理を行う。

【００８４】単語仮説絞込部６は、単語照合部４からバ
ッファメモリ５を介して出力される単語仮説に基づい
て、統計的言語モデルメモリ２１又は３１内の統計的言
語モデルを参照して、終了時刻が等しく開始時刻が異な
る同一の単語の単語仮説に対して、当該単語の先頭音素
環境毎に、発声開始時刻から当該単語の終了時刻に至る
計算された総尤度のうちの最も高い尤度を有する１つの
単語仮説で代表させるように単語仮説の絞り込みを行っ
た後、絞り込み後のすべての単語仮説の単語列のうち、
最大の総尤度を有する仮説の単語列を認識結果として出
力する。なお、タスク適応化された統計的言語モデル
は、各タスク毎に１つの統計的言語モデルを備え、単語
仮説絞込部６は、音声認識しようとするタスクに対応す
る統計的言語モデルを選択的に参照する。本実施形態に
おいては、好ましくは、処理すべき当該単語の先頭音素
環境とは、当該単語より先行する単語仮説の最終音素
と、当該単語の単語仮説の最初の２つの音素とを含む３
つの音素並びをいう。

【００８５】例えば、図２に示すように、（ｉ−１）番
目の単語Ｗ_i-1の次に、音素列ａ₁，ａ₂，…，ａ_nからな
るｉ番目の単語Ｗ_iがくるときに、単語Ｗ_i-1の単語仮説
として６つの仮説Ｗａ，Ｗｂ，Ｗｃ，Ｗｄ，Ｗｅ，Ｗｆ
が存在している。ここで、前者３つの単語仮説Ｗａ，Ｗ
ｂ，Ｗｃの最終音素は／ｘ／であるとし、後者３つの単
語仮説Ｗｄ，Ｗｅ，Ｗｆの最終音素は／ｙ／であるとす
る。終了時刻ｔ_eと先頭音素環境が等しい仮説（図２で
は先頭音素環境が“ｘ／ａ₁／ａ₂”である上から３つの
単語仮説）のうち総尤度が最も高い仮説（例えば、図２
において１番上の仮説）以外を削除する。なお、上から
４番めの仮説は先頭音素環境が違うため、すなわち、先
行する単語仮説の最終音素がｘではなくｙであるので、
上から４番めの仮説を削除しない。すなわち、先行する
単語仮説の最終音素毎に１つのみ仮説を残す。図２の例
では、最終音素／ｘ／に対して１つの仮説を残し、最終
音素／ｙ／に対して１つの仮説を残す。

【００８６】以上の実施形態においては、当該単語の先
頭音素環境とは、当該単語より先行する単語仮説の最終
音素と、当該単語の単語仮説の最初の２つの音素とを含
む３つの音素並びとして定義されているが、本発明はこ
れに限らず、先行する単語仮説の最終音素と、最終音素
と連続する先行する単語仮説の少なくとも１つの音素と
を含む先行単語仮説の音素列と、当該単語の単語仮説の
最初の音素を含む音素列とを含む音素並びとしてもよ
い。

【００８７】以上の実施形態において、特徴抽出部２
と、単語照合部４と、単語仮説絞込部６と、言語モデル
生成部２０，３０とは、例えば、デジタル電子計算機な
どのコンピュータで構成され、バッファメモリ３，５
と、音素ＨＭＭメモリ１１と、単語辞書メモリ１２と、
学習用テキストデータメモリ１３と、品詞クラス情報デ
ータメモリ１４と、統計的言語モデルメモリ２１，２
２，３１とは、例えばハードディスクメモリなどの記憶
装置で構成される。

【００８８】以上実施形態においては、単語照合部４と
単語仮説絞込部６とを用いて音声認識を行っているが、
本発明はこれに限らず、例えば、音素ＨＭＭ１１を参照
する音素照合部と、例えばＯｎｅＰａｓｓＤＰアル
ゴリズムを用いて統計的言語モデルを参照して単語の音
声認識を行う音声認識部とで構成してもよい。

【００８９】以上の実施形態においては、単語仮説絞込
部６において用いる統計的言語モデルとして、前向きの
Ｎ−ｇｒａｍ又は融合Ｎ−ｇｒａｍを用いているが、統
計的言語モデルメモリ２２内の後向きのＮ−ｇｒａｍを
用いてもよいし、前向きのＮ−ｇｒａｍと後向きのＮ−
ｇｒａｍの各遷移確率の平均値を有するＮ−ｇｒａｍの
統計的言語モデルを生成して、これを単語仮説絞込部６
で用いてもよい。

【００９０】

【実施例】＜第１の実施形態の実験とその結果＞本発明
者は、ＭＡＰ推定による品詞情報と単語情報の連続補間
の有効性を確認するために評価実験を行った。実験にお
けるＮ−ｇｒａｍの次元は２−ｇｒａｍを用い、平滑化
はカットオフ係数０のバックオフを用いた。比較対象は
事後知識である単語２−ｇｒａｍ、事前知識である品詞
クラス−単語２−ｇｒａｍ、及びそれらの線形結合モデ
ルとした。学習用テキストデータ及び品詞クラス情報デ
ータである学習セットは総単語数約２６万語、異なり単
語数約４千語からなる日本語の対話文で、品詞情報は８
８個のカテゴリに分類されている。また、評価セットは
学習セットと同一タスクの１６会話２１７８単語の評価
セットＡと学習セットとは異なるタスクの２４会話３６
５５単語の評価セットＢの２種類を用いた。本発明者に
よる実験結果である、各モデルにおける評価セットＡ、
Ｂにおけるパープレキシティを表２に示す。

【００９１】

【表２】各モデルの評価セットにおける性能（パープレキシティ） ―――――――――――――――――――――――――――――――――― テストセットＡテストセットＢ（同一のタスク）（異なるタスク） ―――――――――――――――――――――――――――――――――― 単語２−ｇｒａｍ１４．３９５３．０６ ―――――――――――――――――――――――――――――――――― 品詞クラス−単語２−ｇｒａｍ２２．００５８．７４ ―――――――――――――――――――――――――――――――――― 線形結合された２−ｇｒａｍ１４．００４５．６９ ―――――――――――――――――――――――――――――――――― ＭＡＰ推定された２−ｇｒａｍ１３．３３４３．７６（第１の実施形態） ――――――――――――――――――――――――――――――――――

【００９２】表２から明らかなように、ＭＡＰ推定後の
モデルは両方の評価セットに対して、最もパープレキシ
ティが低く、特に評価セットＢに対して著しい。このこ
とからＭＡＰ推定を用いて品詞情報と単語情報を連続的
に補間したモデルでは、単語２−ｇｒａｍの持つ次単語
予測精度を保ったまま、「タスクのずれに対する頑健
さ」が加わっており、その効果は線形結合モデルよりも
大きいことがわかる。

【００９３】＜第２の実施形態の実験とその結果＞第１
の実施形態の言語モデル生成部２０により得られたＭＡ
Ｐ推定と自動クラス分類の併用による品詞Ｎ−ｇｒａｍ
と、単語Ｎ−ｇｒａｍの融合Ｎ−ｇｒａｍモデル（第２
の実施形態）に対する評価実験を行った。評価の条件
は、第１の実施形態の条件と同じであり、比較対象は単
語２−ｇｒａｍ及び自動クラス分類のみを行ったクラス
２−ｇｒａｍとした。また、クラス数はそれぞれに対し
て、５００及び２００クラスのものを用いた。各モデル
に対する評価セットＡ、Ｂのパープレキシティとクラス
数の関係を図１１に示す。評価セットＡ、Ｂ双方におい
て一定のクラス数まではクラス数の減少とともにパープ
レキシティも減少しており、品詞情報を含んだ特徴量を
用いたクラス分類の効果が現われている。特に異なるタ
スクである評価セットＢにおいてパープレキシティの減
少が著しく、タスクのずれに対する頑健さとして品詞情
報が効果的に働いていることを示している。また、クラ
ス２００及び５００の場合のパープレキシティの値を表
３に示す。

【００９４】

【表３】融合２−ｇｒａｍのパープレキシティ評価 ―――――――――――――――――――――――――――――――――― クラス数テストセットＡテストセットＢ（同一のタスク）（異なるタスク） ―――――――――――――――――――――――――――――――――― 単語２−ｇｒａｍ１４．３９５３．０６ ―――――――――――――――――――――――――――――――――― 自動的にクラスタリング５００１５．１２５９．１０された２−ｇｒａｍ ――――――――――――――――――――――― ２００１６．６２５８．０１ ―――――――――――――――――――――――――――――――――― 融合２−ｇｒａｍ５００１３．９５４５．３２（第２の実施形態） ――――――――――――――――――――――― ２００１５．４４４６．５１ ――――――――――――――――――――――――――――――――――

【００９５】表３から明らかなように、融合２−ｇｒａ
ｍは自動クラス分類によるクラス２−ｇｒａｍ、単語２
−ｇｒａｍ双方に対して低いパープレキシティを示して
いる。特に、評価セットＢに対しては単語２−ｇｒａｍ
に対して、１５％パープレキシティが低下しており、タ
スクのずれに対する頑健さを示している。また、このと
きの論理パラメータサイズは単語２−ｇｒａｍの２％未
満であり、エントリ数においても１／２であり。従来技
術の項で述べた４つの要求を同時に満たしていることが
わかる。

【００９６】次いで、第２の実施形態の融合２−ｇｒａ
ｍの連続単語認識における評価を行った。実験条件は、
上述の条件と同様であり、その評価結果を示す。

【００９７】

【表４】融合２−ｇｒａｍ（第２の実施形態）の単語誤認識率の評価 ―――――――――――――――――――――――――――――――――― テストセットＡテストセットＢ（同一のタスク）（異なるタスク） ―――――――――――――――――――――――――――――――――― 単語２−ｇｒａｍ１４．３４％３２．７６％ ―――――――――――――――――――――――――――――――――― 融合２−ｇｒａｍ１２．３７％２３．０７％（２００クラス） ―――――――――――――――――――――――――――――――――― 融合２−ｇｒａｍ１２．０２％２３．５１％（５００クラス） ――――――――――――――――――――――――――――――――――

【００９８】表４から明らかなように、融合２−ｇｒａ
ｍの単語誤認識率はパープレキシティ同様評価セット
Ａ、Ｂ共単語２−ｇｒａｍより低い値を示している。ま
たその低下率はパープレキシティが同一タスクで３％で
あったのに対し１６％と大きく、さらに、異なるタスク
では２８％と著しい。このことから融合２−ｇｒａｍは
連続単語認識おいても同一タスク、異なるタスク共に非
常に有効であることがわかる。

【００９９】以上説明したように、本実施形態によれ
ば、単語Ｎ−ｇｒａｍに対してスパースデータに対する
信頼性とタスクのずれに対する頑健さを与える手法とし
て、品詞クラスＮ−ｇｒａｍを事前知識とした最大事後
確率推定を用いる方法を提案した。本手法を用いること
により、出現回数の少ない単語ペアに対しても品詞クラ
スＮ−ｇｒａｍの値に基づく信頼性のある値を与えるこ
とができる。また、同時にタスクのずれに対して頑健で
あるという品詞クラスＮ−ｇｒａｍの性質も引き継ぐこ
とができる。

【０１００】さらに、このモデルの単語間の遷移確率を
単語の特徴量とみなし、これに基づいて自動クラス分類
を行うことにより、性能を落とすことなくパラメータサ
イズを縮小することができる。このモデルは単語Ｎ−ｇ
ｒａｍの２％の論理パラメータ数、５０％のエントリ数
で、同一タスクでは３％、異なるタスクでは１５％パー
プレキシティが低く、さらに連続単語認識においては単
語誤認識率がそれぞれ１６％及び２８％だけ低い。この
ことから単語Ｎ−ｇｒａｍの次単語予測精度を保ったま
ま、スパースデータ対する信頼性、タスクのずれに対す
る頑健さを加えたうえ、モデルサイズも縮小できること
が実験により確認された。

【０１０１】従って、以上詳述したように、第１の実施
形態の言語モデル生成部２０により生成された前向きＮ
−ｇｒａｍである統計的言語モデルは、モデルサイズを
小型化できないが、予測精度、信頼性及び頑健さにおい
て優れた性能を有する。また、この統計的言語モデルを
用いて音声認識することにより、従来例に比較して改善
された音声認識率で音声認識できる。

【０１０２】また、第２の実施形態の言語モデル生成部
３０により生成された融合Ｎ−ｇｒａｍである統計的言
語モデルは、予測精度、信頼性、モデルサイズ及び頑健
さにおいて優れた性能を有する。また、この統計的言語
モデルを用いて音声認識することにより、従来例に比較
して改善された音声認識率で音声認識できる。

【０１０３】

【発明の効果】以上詳述したように本発明に係る請求項
１記載の統計的言語モデル生成装置によれば、所定の話
者の発声音声文を書き下した学習用テキストデータに基
づいて、複数の単語からなる単語列の後に処理対象の単
語が生起する第１の頻度確率を計算することにより前向
きの単語Ｎ−ｇｒａｍの統計的言語モデルを生成する第
１の生成手段と、上記学習用テキストデータと、品詞ク
ラス情報を含む品詞クラス情報データとに基づいて、第
１の単語の品詞クラス及び上記第１の単語の後に接続さ
れる複数の単語からなる単語列の後に、処理対象の単語
が生起する第２の頻度確率を計算することにより前向き
の品詞クラス−単語Ｎ−ｇｒａｍの統計的言語モデルを
生成する第２の生成手段と、上記第２の生成手段によっ
て生成された前向きの品詞クラス−単語Ｎ−ｇｒａｍの
統計的言語モデルを事前知識として用い、上記第１の生
成手段によって生成された前向きの単語Ｎ−ｇｒａｍの
統計的言語モデルを事後知識として用いて最大事後確率
推定法により、第１の頻度確率と第２の頻度確率との間
を補間してなる前向きの遷移確率を計算する第１の計算
手段と、上記第１の計算手段によって計算された前向き
の遷移確率に対して、所定の正規化処理と平滑化処理を
実行することにより前向きのＮ−ｇｒａｍの統計的言語
モデルを生成する第１の処理手段とを備える。従って、
上記生成された生成された前向きＮ−ｇｒａｍである統
計的言語モデルは、モデルサイズを小型化できないが、
予測精度、信頼性及び頑健さにおいて優れた性能を有す
る。また、この統計的言語モデルを用いて音声認識する
ことにより、従来例に比較して改善された音声認識率で
音声認識できる。

【０１０４】また、請求項２記載の統計的言語モデル生
成装置によれば、請求項１記載の統計的言語モデル生成
装置において、上記学習用テキストデータに基づいて、
処理対象の単語から前に接続する複数の単語からなる単
語列が生起する第３の頻度確率を計算することにより後
向きの単語Ｎ−ｇｒａｍの統計的言語モデルを生成する
第３の生成手段と、上記学習用テキストデータと、上記
品詞クラス情報データとに基づいて、処理対象の単語の
品詞クラスから前に接続する複数の単語からなる単語列
が生起する第４の頻度確率を計算することにより後向き
の品詞クラス−単語Ｎ−ｇｒａｍの統計的言語モデルを
生成する第４の生成手段と、上記第４の生成手段によっ
て生成された後向きの品詞クラス−単語Ｎ−ｇｒａｍの
統計的言語モデルを事前知識として用い、上記第３の生
成手段によって生成された後向きの単語Ｎ−ｇｒａｍの
統計的言語モデルを事後知識として用いて最大事後確率
推定法により、第３の頻度確率と第４の頻度確率との間
を補間してなる後向きの遷移確率を計算する第２の計算
手段と、上記第２の計算手段によって計算された後向き
の遷移確率に基づいて、所定の正規化処理と平滑化処理
を実行することにより後向きの単語Ｎ−ｇｒａｍの統計
的言語モデルを生成する第２の処理手段とをさらに備え
る。従って、上記生成された生成された後向きＮ−ｇｒ
ａｍである統計的言語モデルは、モデルサイズを小型化
できないが、予測精度、信頼性及び頑健さにおいて優れ
た性能を有する。また、この統計的言語モデルを用いて
音声認識することにより、従来例に比較して改善された
音声認識率で音声認識できる。

【０１０５】本発明に係る請求項３記載の統計的言語モ
デル生成装置によれば、複数の単語からなる単語列の後
に処理対象の単語が生起する第１の頻度確率と、第１の
単語の品詞クラス及び上記第１の単語の後に接続される
複数の単語からなる単語列の後に、処理対象の単語が生
起する第２の頻度確率とを補間してなる前向きの遷移確
率を含む前向きのＮ−ｇｒａｍの統計的言語モデルの遷
移確率に基づいて、処理対象単語よりも前に接続される
各単語列に対して特徴量として上記前向きのＮ−ｇｒａ
ｍの統計的言語モデルの遷移確率を割り当てて、各クラ
スの特徴量のばらつきが小さくならないようにクラスタ
リングして、クラスタリング後のクラス分類情報を生成
する第１のクラスタリング手段と、処理対象の単語から
前に接続する複数の単語からなる単語列が生起する第３
の頻度確率と、処理対象の単語の品詞クラスから前に接
続する複数の単語からなる単語列が生起する第４の頻度
確率とを補間してなる後向きの遷移確率を含む後向きの
Ｎ−ｇｒａｍの統計的言語モデルの遷移確率に基づい
て、各処理単語に対して特徴量として上記後向きのＮ−
ｇｒａｍの統計的言語モデルの遷移確率を割り当てて、
各クラスの特徴量のばらつきが小さくならないようにク
ラスタリングして、クラスタリング後のクラス分類情報
を生成する第２のクラスタリング手段と、所定の話者の
発声音声文を書き下した学習用テキストデータに基づい
て、上記第１のクラスタリング手段及び第２のクラスタ
リング手段によって生成されたクラス分類情報を処理対
象として、処理対象の単語よりも前の単語列のクラスか
ら、処理対象の単語のクラスへの頻度確率を計算するこ
とにより融合Ｎ−ｇｒａｍの統計的言語モデルを生成す
る第５の生成手段とを備える。ここで、好ましくは、上
記補間してなる前向きの遷移確率は、上記第１の処理手
段によって生成された前向きのＮ−ｇｒａｍの統計的言
語モデルの遷移確率であり、上記補間してなる後向きの
遷移確率は、上記第２の処理手段によって生成された後
向きのＮ−ｇｒａｍの統計的言語モデルの遷移確率であ
り、上記第５の生成手段において用いる学習用テキスト
データは、上記第１乃至第４の生成手段において用いる
学習用テキストデータである。従って、上記生成された
生成された融合Ｎ−ｇｒａｍである統計的言語モデル
は、モデルサイズ、予測精度、信頼性及び頑健さにおい
て優れた性能を有する。また、この統計的言語モデルを
用いて音声認識することにより、従来例に比較して改善
された音声認識率で音声認識できる。

【０１０６】さらに、本発明に係る請求項５記載の音声
認識装置によれば、入力される発声音声文の音声信号に
基づいて、所定の統計的言語モデルを用いて音声認識す
る音声認識手段を備えた音声認識装置において、上記音
声認識手段は、請求項１に記載の第１の処理手段によっ
て生成された前向きＮ−ｇｒａｍの統計的言語モデルを
用いて、請求項２に記載の第２の処理手段によって生成
された後向きＮ−ｇｒａｍの統計的言語モデルを用い
て、もしくは、請求項３又は４記載の第５の生成手段に
よって生成された融合Ｎ−ｇｒａｍの統計的言語モデル
を用いて、音声認識する。従って、上記統計的言語モデ
ルを用いて音声認識することにより、従来例に比較して
改善された音声認識率で音声認識できる。

【図面の簡単な説明】

【図１】本発明に係る一実施形態である連続音声認識
装置のブロック図である。

【図２】図１の連続音声認識装置における単語仮説絞
込部６の処理を示すタイミングチャートである。

【図３】図１の言語モデル生成部２０によって実行さ
れる確率推定値の補間処理を示すグラフである。

【図４】図１の言語モデル生成部２０によって実行さ
れる第１の言語モデル生成処理を示すフローチャートで
ある。

【図５】図４のサブルーチンである前向き言語モデル
生成処理を示すフローチャートである。

【図６】図４のサブルーチンである後向き言語モデル
生成処理を示すフローチャートである。

【図７】図１の言語モデル生成部３０によって実行さ
れる第２の言語モデル生成処理を示すフローチャートで
ある。

【図８】図７のサブルーチンである前向き言語モデル
のクラスタリング処理を示すフローチャートである。

【図９】図７のサブルーチンである後向き言語モデル
のクラスタリング処理を示すフローチャートである。

【図１０】図７のサブルーチンである融合言語モデル
生成処理を示すフローチャートである。

【図１１】図１の言語モデル生成部３０によって生成
された融合２−ｇｒａｍの言語モデル（第２の実施形
態）及び単語２−ｇｒａｍ（従来例）に対する実験結果
であって、クラス数とパープレキシティの関係を示すグ
ラフである。

【符号の説明】

１…マイクロホン、２…特徴抽出部、３，５…バッファメモリ、４…単語照合部、６…単語仮説絞込部、１１…音素ＨＭＭメモリ、１２…単語辞書メモリ、１３…学習用テキストデータメモリ、１４…品詞クラス情報データメモリ、２０，３０…言語モデル生成部、２１，２２，３１…統計的言語モデルメモリ、ＳＷ…スイッチ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者匂坂芳典京都府相楽郡精華町大字乾谷小字三平谷５番地株式会社エイ・ティ・アール音声翻訳通信研究所内Ｆターム(参考） 5B091 AA15 CB12 CC01 CC16 EA01 5D015 HH23

Claims

【特許請求の範囲】

【請求項１】所定の話者の発声音声文を書き下した学
習用テキストデータに基づいて、複数の単語からなる単
語列の後に処理対象の単語が生起する第１の頻度確率を
計算することにより前向きの単語Ｎ−ｇｒａｍの統計的
言語モデルを生成する第１の生成手段と、上記学習用テキストデータと、品詞クラス情報を含む品
詞クラス情報データとに基づいて、第１の単語の品詞ク
ラス及び上記第１の単語の後に接続される複数の単語か
らなる単語列の後に、処理対象の単語が生起する第２の
頻度確率を計算することにより前向きの品詞クラス−単
語Ｎ−ｇｒａｍの統計的言語モデルを生成する第２の生
成手段と、上記第２の生成手段によって生成された前向きの品詞ク
ラス−単語Ｎ−ｇｒａｍの統計的言語モデルを事前知識
として用い、上記第１の生成手段によって生成された前
向きの単語Ｎ−ｇｒａｍの統計的言語モデルを事後知識
として用いて最大事後確率推定法により、第１の頻度確
率と第２の頻度確率との間を補間してなる前向きの遷移
確率を計算する第１の計算手段と、上記第１の計算手段によって計算された前向きの遷移確
率に対して、所定の正規化処理と平滑化処理を実行する
ことにより前向きのＮ−ｇｒａｍの統計的言語モデルを
生成する第１の処理手段とを備えたことを特徴とする統
計的言語モデル生成装置。
【請求項２】請求項１記載の統計的言語モデル生成装
置において、上記学習用テキストデータに基づいて、処理対象の単語
から前に接続する複数の単語からなる単語列が生起する
第３の頻度確率を計算することにより後向きの単語Ｎ−
ｇｒａｍの統計的言語モデルを生成する第３の生成手段
と、上記学習用テキストデータと、上記品詞クラス情報デー
タとに基づいて、処理対象の単語の品詞クラスから前に
接続する複数の単語からなる単語列が生起する第４の頻
度確率を計算することにより後向きの品詞クラス−単語
Ｎ−ｇｒａｍの統計的言語モデルを生成する第４の生成
手段と、上記第４の生成手段によって生成された後向きの品詞ク
ラス−単語Ｎ−ｇｒａｍの統計的言語モデルを事前知識
として用い、上記第３の生成手段によって生成された後
向きの単語Ｎ−ｇｒａｍの統計的言語モデルを事後知識
として用いて最大事後確率推定法により、第３の頻度確
率と第４の頻度確率との間を補間してなる後向きの遷移
確率を計算する第２の計算手段と、上記第２の計算手段によって計算された後向きの遷移確
率に基づいて、所定の正規化処理と平滑化処理を実行す
ることにより後向きの単語Ｎ−ｇｒａｍの統計的言語モ
デルを生成する第２の処理手段とをさらに備えたことを
特徴とする統計的言語モデル生成装置。
【請求項３】複数の単語からなる単語列の後に処理対
象の単語が生起する第１の頻度確率と、第１の単語の品
詞クラス及び上記第１の単語の後に接続される複数の単
語からなる単語列の後に、処理対象の単語が生起する第
２の頻度確率とを補間してなる前向きの遷移確率を含む
前向きのＮ−ｇｒａｍの統計的言語モデルの遷移確率に
基づいて、処理対象単語よりも前に接続される各単語列
に対して特徴量として上記前向きのＮ−ｇｒａｍの統計
的言語モデルの遷移確率を割り当てて、各クラスの特徴
量のばらつきが小さくならないようにクラスタリングし
て、クラスタリング後のクラス分類情報を生成する第１
のクラスタリング手段と、処理対象の単語から前に接続する複数の単語からなる単
語列が生起する第３の頻度確率と、処理対象の単語の品
詞クラスから前に接続する複数の単語からなる単語列が
生起する第４の頻度確率とを補間してなる後向きの遷移
確率を含む後向きのＮ−ｇｒａｍの統計的言語モデルの
遷移確率に基づいて、各処理単語に対して特徴量として
上記後向きのＮ−ｇｒａｍの統計的言語モデルの遷移確
率を割り当てて、各クラスの特徴量のばらつきが小さく
ならないようにクラスタリングして、クラスタリング後
のクラス分類情報を生成する第２のクラスタリング手段
と、所定の話者の発声音声文を書き下した学習用テキストデ
ータに基づいて、上記第１のクラスタリング手段及び第
２のクラスタリング手段によって生成されたクラス分類
情報を処理対象として、処理対象の単語よりも前の単語
列のクラスから、処理対象の単語のクラスへの頻度確率
を計算することにより融合Ｎ−ｇｒａｍの統計的言語モ
デルを生成する第５の生成手段とを備えたことを特徴と
する統計的言語モデル生成装置。
【請求項４】請求項３記載の統計的言語モデル生成装
置において、上記補間してなる前向きの遷移確率は、上記第１の処理
手段によって生成された前向きのＮ−ｇｒａｍの統計的
言語モデルの遷移確率であり、上記補間してなる後向きの遷移確率は、上記第２の処理
手段によって生成された後向きのＮ−ｇｒａｍの統計的
言語モデルの遷移確率であり、上記第５の生成手段において用いる学習用テキストデー
タは、上記第１乃至第４の生成手段において用いる学習
用テキストデータであることを特徴とする統計的言語モ
デル生成装置。
【請求項５】入力される発声音声文の音声信号に基づ
いて、所定の統計的言語モデルを用いて音声認識する音
声認識手段を備えた音声認識装置において、上記音声認識手段は、請求項１に記載の第１の処理手段
によって生成された前向きＮ−ｇｒａｍの統計的言語モ
デルを用いて、請求項２に記載の第２の処理手段によっ
て生成された後向きＮ−ｇｒａｍの統計的言語モデルを
用いて、もしくは、請求項３又は４記載の第５の生成手
段によって生成された融合Ｎ−ｇｒａｍの統計的言語モ
デルを用いて、音声認識することを特徴とする音声認識
装置。