JP3836607B2

JP3836607B2 - 音声認識のための統計的言語モデル作成装置

Info

Publication number: JP3836607B2
Application number: JP24874098A
Authority: JP
Inventors: 彰夫小林; 亨今井; 彰男安藤
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 1998-09-02
Filing date: 1998-09-02
Publication date: 2006-10-25
Anticipated expiration: 2018-09-02
Also published as: JP2000075892A

Description

【０００１】
【発明の属する技術分野】
本発明は音声認識のための統計的言語モデルを作成するための装置に関する。
【０００２】
【従来の技術】
従来、この種の音声認識性能向上を目的とした方法は以下のようなものが提案されている。
【０００３】
（ａ）キャッシュモデルによる方法(R.Kuhn,R.De Mori"A Cache-Based Natural Language Model for Speech Recognition," IEEE Trans. PAMI, vol.12, no.6, 1990, pp.570−583)
この方法は大量の原稿から学習されたｎ−ｇｒａｍと最近の音声認識結果における単語の出現確率を線形補間等で結合することによって音声認識性能を向上させる。
【０００４】
（ｂ）ＭＡＰ（事後確率最大化）推定による方法（赤松，中川，“新聞記事のトライグラムによるモデル化と適応化，”言語処理学会第３会年次大会報告，ｐｐ．１１８〜１２１）
この方法は、あるタスクのｎ−ｇｒａｍを、タスクに依存した小量の原稿から得られるｎ−ｇｒａｍと、タスクに依存しない大量の原稿から得られるｎ−ｇｒａｍを線形補間で結合することにより言語モデルの統計的な精度を高め、認識性能を向上させる。語彙は、小量の原稿中のすべての単語と、大量の原稿の一部の単語をあわせて構成する。
【０００５】
【発明が解決しようとする課題】
従来の方法（ａ）では、過去の音声認識結果を利用するため、複数の単語で構成される語彙に登録されていない単語については考慮されない。ニュースのように、人名・地名・組織名といった新しい単語が極めて出現しやすいタスクにおいては、新しい単語を語彙に含めた言語モデルを用いなければ認識率の向上は見込めない。
【０００６】
また（ｂ）の方法では、小量の原稿に含まれるすべての単語を語彙に登録するため、語彙サイズ（登録単語の数）の制限ができない。語彙サイズが大きくなれば音声認識に要する時間も増大するため、ニュース音声の字幕化といった、リアルタイム性が求められるタスクでは、語彙サイズを一定にするなど、適切な語彙構成のための手法が必要となる。
【０００７】
本発明の目的は、上述の点に鑑みて、語彙の単語数を増やすことなく、語彙の単語を新しいものに更新し、以って音声認識の精度を向上させることのできる音声認識のための統計的言語モデル作成装置を提供することにある。
【０００８】
【課題を解決するための手段】
このような目的を達成するために、請求項１においては、大量のテキスト集合についての言語モデルを作成することにより前記大量のテキストのｎ−ｇｒａｍの第１の確率重みを決定する第１手段と、
新規に語彙に登録する単語を含む小量のテキスト集合についての言語モデルを作成することにより前記小量のテキストのｎ−ｇｒａｍの第２の確率重みを決定する第２手段と、
前記第１の確率重みおよび第２の確率重みおよび前記大量のテキスト集合および前記小量のテキスト集合の総単語数によって、前記第１の確率重みおよび第２の確率重みをテキスト重みに変換する第３手段と、
当該得られたテキスト重みを使用して前記大量のテキスト集合および小量のテキスト集合についてのそれぞれのテキスト集合における単語の頻度を更新する第４手段と、
当該更新された小量のテキスト集合の単語の頻度および、前記大量のテキスト集合の単語の頻度を足し合わせる第５手段と、
当該足し合わされた単語の頻度に基づき、あらかじめ定められた登録単語数におさまるよう語彙を更新し、新しい言語モデルを作成する第６手段と
を具え、前記テキスト重みが収束されるまで前記第１手段から前記第６手段までの処理を繰り返すことを特徴とする。
【０００９】
請求項２の発明においては請求項１に記載の音声認識のための統計的言語モデル作成装置において、前記第１の確率重みおよび前記第２の確率重みのそれぞれは評価データのエントロピーが最小となる値を与えるよう決定されることを特徴とする。
【００１０】
請求項３の発明においては、請求項１に記載の音声認識のための統計的言語モデル作成装置において、前記小量のテキスト集合はニュース原稿についてのテキストの集合であることを特徴とする。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００１７】
１．はじめに
ニュース番組では、一つの話題が数日間にわたって続くことが多い。また、人名など新しい単語が発生する一方、まったく使われなくなる単語もある。このことから、ニュース音声と直前のニュース原稿との間には、高い相関があると考えられる。本願発明者らはこれまでに、長期間のニュース原稿に最新の原稿を足しあわせた言語モデルの適応化を行い、パープレキシティ削減効果を確認した［小林，今井，安藤，“ニュース音声認識用言語モデルの学習期間の検討”，信学技報，ＳＰ−９７−４８，ｐｐ．２９−２６（１９９７）］。本実施形態では、この最適な足しあわせ重みを自動的に決定する方法と、語彙の決定方法について検討する。
【００１８】
２．ヒューリスティックな言語モデルの適応化
長期間の原稿データに加える直前原稿データの足しあわせ回数（テキスト重みｗ）を自動的に決める前に、まず重みｗをヒューリスティックに決定し、ｂｉｇｒａｍモデルによるテストセットパープレキシティの変化を調べた。ただし、語彙については足しあわされた原稿での形態素頻度に基づき、サイズを２０ｋで制限した。長期間の原稿データは、ある放送局のニュース原稿データベースの１９９１年４月〜１９９６年６月３日の５年分を用いた。形態素解析にはＪＵＭＡＮを、言語モデル作成にはＳＬＭＴｏｏｌＫｉｔを利用した。モデルのｂａｃｋｏｆｆスムージングはＧｏｏｄ−Ｔｕｒｉｎｇの推定を用い、Ｃｕｔ−ｏｆｆ値は１とした。
【００１９】
重み付けに用いた直前原稿は、表２に示す１日〜３０日の４通りのデータとした。
【００２０】
テストセット（評価データ）はＮＨＫニュースデータベースより選び（表３）、補正パープレキシティ［J.Uebara,"Analysing a simple language model-some general conclusion for language models for speech recognition", Computer Speech and Language, vol.8, No.2, pp.153-176(1994)］を用いて評価した。
【００２１】
【表１】

【００２２】
【表２】

【００２３】
【表３】

【００２４】
結果を、長期間の原稿データのみから作成した言語モデル（ベースラインモデル）と比較して図１に示す。
【００２５】
すべての直前原稿データでパープレキシティは減少したが、テキスト重みｗが大きすぎると逆に増加した。また、直前原稿データの期間が短いほど、パープレキシティは小さな値となった。パープレキシティの最小値は、１日分の原稿による重みづけで３５０回付近とした時に、７３．９となった。このとき、ベースラインモデルのパープレキシティ（＝８３．２）に対する削減率は１１．２％であった。
【００２６】
３．ＥＭアルゴリズムによる言語モデルの適応化
ヒューリスティックな方法でテキスト重みを探索することは、言語モデルを何度も再構築するため非効率であり、パープレキシティ最小値を与えるテキスト重みの値の判定も困難である。そこで、テキスト重みｗを自動的に決定することを試みた（以下、自動手法）。長期間の原稿と直前原稿からそれぞれ言語モデルを作成し、これらを線形補間により足しあわせると、適応モデルにおける形態素ｚ，ｙの連鎖確率Ｐは、
【００２７】
【数１】
P(y|z)＝λP₀(y|z)+(1- λ)P₁(y|z)
となる。長期間の原稿データの集合Ｓ₀ 、直前原稿データの集合Ｓ₁ に対し、それぞれの集合の語彙をＶ₀ ，Ｖ₁ とする。このとき、Ｐ₀ ，Ｐ₁ は各モデルでのｚ，ｙのｂｉｇｒａｍ確率値である。モデルへの重み（以下、確率重み）λはＥＭアルゴリズムより求めることができる。テキスト重みｗは、λより次のように求められる［M.Federico,"Baysian Estimation Methods for N-gram Language Model Adaptation",Proc.ICSLP-96,pp.240-243(1996)]。
【００２８】
【数２】

【００２９】
ｍ₀ ，ｍ₁ はそれぞれのテキスト集合の大きさ（総形態素数）とする。
【００３０】
自動手法では先に語彙を決め、確率値からテキスト重みを決定する。しかしヒューリスティックな手法では、先にテキスト重みを与えて語彙を決めるので、最新のニュース原稿に現れやすい形態素を考慮した語彙を作成できる。そこで自動手法では、以下のような語彙の決定方法を試みる。最初に、各テキスト集合の語彙から、初期集合としてＶ⁽⁰⁾ ＝Ｖ₀ ∪Ｖ₁ を決める。ただし、Ｖ₀ ，Ｖ₁ ともサイズの上限を２０ｋとする。ＥＭアルゴリズムにより確率重みλを求めた後、テキスト重みｗで直前原稿を足しあわせ、形態素頻度からサイズ２０ｋの語彙Ｖ⁽¹⁾ を決め直す。新しい語彙Ｖ⁽¹⁾ で確率値Ｐ₀ ，Ｐ₁ を計算するとともに、重みｗを再決定する。語彙Ｖ^(j) の更新と重み計算の操作を、重みｗが一定の値に収束するまで繰り返す。
【００３１】
このようにして求めたテキスト重みｗと、ｗから作成した適応モデルのパープレキシティの関係を、直前原稿の期間ごとに図１（×印）に示す。このときのテキスト重みｗの値を表４に記す。３０日分を除くと、ヒューリスティック手法の最小値に近い値をとり、ほぼ同等のパープレキシティが得られた。直前原稿が３０日分の場合、原稿データのサイズが大きく、テキスト重みのわずかな増減で、多数の形態素が入れ替わるため、最小値にずれがあると考えられる。
【００３２】
また、テストセット中の未知語の数は、ベースラインモデルの１００から適応モデルの９６へ減少し、未知語削減率は４．０％となった。
【００３３】
４．認識実験
自動手法により求めたテキスト重みのうち、パープレキシティ最小となった１日分のテキスト重み（＝２９７）から適応モデルを作成し、認識実験を行った。
【００３４】
音響モデルの学習には計５６名の女性話者を用いた。音響分析はフィルタバンク分析により、３９次元の特徴パラメータ（１２次元のメルケプストラム係数とパワー、およびそれぞれのΔ，ΔΔ係数）を得た。
【００３５】
【表４】

【００３６】
音響モデルはトライフォンとし、tree-based clustering による状態共有化を行った。ＨＭＭはモデル数１５１８、総状態数２３６２となった。また、ガウス分布の混合数は１２とした。
【００３７】
実験結果を単語正解精度として図２に示す。ベースラインモデルに比べ、ｔｏｐ−ｃｈｏｉｃｅで０．６％、１５０−ｂｅｓｔで、１．０％認識率が向上した。これはヒューリスティックな手法とほぼ同等の結果である。
【００３８】
以上、述べた内容は学会発表を考慮に入れているので、非常に高度な技術レベルとなっている。
【００３９】
以下に、具体的な実施形態を述べる。
【００４０】
本実施形態は言語モデルにｂｉｇｒａｍを用いた例である（ｂｉｇｒａｍを含むｎ−ｇｒａｍモデルについては例えば、「確率モデルによる音声認識」，中川聖一，電子情報通信学会，ｐｐ．１０９参照）。
【００４１】
図３に音声認識のための統計的言語モデル作成装置のシステム構成を示す。図１において、最新のニュース原稿である小量ニュース原稿１と、あらかじめハードディスク等に蓄積された大量ニュース原稿２を入力データとする。データは単語間にスペースを挟んだ、テキストファイルとして与えられる（フロッピーディスクあるいは通信により入力）。小量ニュース原稿１と大量ニュース原稿２は、言語モデル計算部３（コンピュータにより実現）において利用され、言語モデル４をたとえば、ハードディスク等に出力する。言語モデル４は音声認識装置５で利用される。
【００４２】
言語モデル計算部３は、図４に示す手順に従って、最新のニュース原稿および大量のニュース原稿から言語モデルを作成する。
【００４３】
まずステップＳ１１によって、大量のニュース原稿（テキスト集合Ｇ₀ ）および、最新の小量ニュース原稿（テキスト集合Ｇ₁ ）から初期語彙を決定する。語彙は後述の手順に従い、初期語彙から逐次更新されるものである。一般に、言語モデルにおける語彙は、学習データ中の単語の出現頻度の高い順に従って、あらかじめ定められた登録語数に納まるように決定される。
【００４４】
しかし、最新のニュース原稿中の新しい（大量のニュース原稿中に存在しない）単語は出現頻度が低いため、単純に頻度に従う方法では語彙に登録されない。一方で、このような新しい単語はニュースにおける話題の持続性といった観点から、最新のニュースでは最も出現が期待されると考えられる。
【００４５】
初期語彙ではこのような低頻度の単語が登録されるよう、以下のようにして語彙を定める。
【００４６】
それぞれのテキスト集合から、大量のニュース原稿の語彙Ｖ₀ 、最新ニュース原稿の語彙Ｖ₁ を、単語の出現頻度に従ってそれぞれ語彙サイズＶ_max を超えない大きさとなるよう、頻度の高い単語からたとえばソーティング（並べかえ）という情報処理を使用して順に決定する。テキスト集合に共通の初期語彙Ｖは和集合Ｖ₀ ∪Ｖ₁ とする。こうすることで、語彙サイズの上限は越えるものの、頻度の低い新しい単語を語彙に登録することができる。
【００４７】
ステップＳ１２によって、語彙Ｖをもとにそれぞれのテキスト集合から言語モデルＬＭ₀ ，ＬＭ₁ を作成する。
【００４８】
ステップＳ１３によって、確率重みλを求める。各言語モデルのｂｉｇｒａｍＰ₀ ，Ｐ₁ を用い、最新ニュース原稿によって重み付けされた言語モデルのｂｉｇｒａｍを線形補間により表すと、
【００４９】
【数３】
P(y_n|y_n-1)= λP₀(y_n|y_n-1)+(1- λ)P₁(y_n|y_n-1)
y_n,y_n-1 ∈Ｖ
となる（線形補間については例えば、「音声言語処理」，北，中村，永田，森北出版，ｐｐ．２９参照）。ｙ_n ，ｙ_n-1 は語彙単語である。重み付けされた言語モデルの単語ｙ_n ，ｙ_n-1 に対するｂｉｇｒａｍが大きければ、音声認識時にそれらの組合せが出現しやすくなる。言い換えれば、評価データのｂｉｇｒａｍの積
【００５０】
【数４】

【００５１】
が最大となるよう、あるいは評価データのエントロピー
【００５２】
【数５】

【００５３】
が最小となるよう、λの値を決定すればよい（エントロピーについては例えば、「確率モデルによる音声認識」，中川聖一，電子情報通信学会，ｐｐ．１１１参照）。ただし、Ｎは評価テキスト中の総単語数とし、評価データの単語列ｙ＝ｙ₁ ｙ₂ …ｙ_N で表されるものとする。λは期待値最大化アルゴリズム（ＥＭアルゴリズム）を用い、繰り返し計算により求める。すなわち、
【００５４】
【数６】

【００５５】
として、λ′をλで更新しながら、評価テキストに対するエントロピーがある値に収束するまで繰り返す（ＥＭアルゴリズムについては例えば、「音声言語処理」，北，中村，永田，森北出版，ｐｐ．３１参照）。
【００５６】
この手続きにより、言語モデルの確率重みλを自動的に得ることができる。ただし、確率重みのままでは、単語の出現頻度を再計算し、語彙を更新することができないため、以降の手順を行う。
【００５７】
ステップＳ１４により、テキスト重みｗを求める。テキスト重みｗは単語頻度の再計算のために必要な値である。ｍ₀ ，ｍ₁ をテキスト集合Ｇ₀ ，Ｇ₁ の総単語数とすると、長期間のニュース原稿に加える最新ニュース原稿の足しあわせ回数（テキスト重み）ｗはステップＳ１３により得られた確率重みλから、以下のように求められる。
【００５８】
【数７】

【００５９】
この手続きは、言語モデルでの確率重みをテキスト集合での重みに正規化する手続きである。
【００６０】
ステップＳ１５によって、小量のニュース原稿をステップＳ１４のテキスト重みｗで重み付けして大量のニュース原稿に足しあわせ、語彙を更新する。ある単語の、Ｇ₀ での出現頻度ｆ₀ 、Ｇ₁ での出現頻度ｆ₁ とすると、重み付けによって新たに得られる出現頻度ｆは、
ｆ＝ｆ₀ ＋ｗｆ₁
となり、頻度ｆの大きい順にＶ_max を超えないよう、語彙Ｖを更新する。この手続きにより、登録語数を制限するとともに、出現頻度の低い最新ニュース原稿中の単語の頻度が重み付けられて高まるため、語彙に登録することができる。
【００６１】
ステップＳ１６によって、更新された新しい語彙Ｖで言語モデルを作成する。
【００６２】
ステップＳ１７によって、テキスト重みｗが一定の値に収束したか判断し、収束しなければステップＳ１２〜１６の手順を繰り返す。テキスト重みｗが収束していれば、単語の頻度は一定のままであるから、語彙は固定されることとなる。結果として、ステップＳ１６で作成した言語モデルを出力として得る。
【００６３】
【発明の効果】
以上、説明したように、本発明によれば、以下の効果を期待できる。
【００６４】
（ａ）最新ニュース原稿の中に現れる新しい単語または出現が期待される単語が語彙に登録されるため、認識性能が向上する。
【００６５】
（ｂ）語彙のサイズが一定以上に増えないため、認識時間が増加しない。
【００６６】
（ｃ）最新ニュースを政治、経済など、カテゴリ別に分け、モデルを複数個用意し、それぞれに適応した言語モデルを作成できる。
【図面の簡単な説明】
【図１】本発明実施形態での評価実験内容を示す説明図である。
【図２】本発明実施形態での評価実験内容を示す説明図である。
【図３】本発明実施形態のシステム構成を示すブロック図である。
【図４】本発明実施形態の処理手順を示すフローチャートである。
【符号の説明】
１小量ニュース原稿
２大量ニュース原稿
３言語モデル計算部
４言語モデル
５音声認識装置

Claims

大量のテキスト集合についての言語モデルを作成することにより前記大量のテキストのｎ−ｇｒａｍの第１の確率重みを決定する第１手段と、
新規に語彙に登録する単語を含む小量のテキスト集合についての言語モデルを作成することにより前記小量のテキストのｎ−ｇｒａｍの第２の確率重みを決定する第２手段と、
前記第１の確率重みおよび第２の確率重みおよび前記大量のテキスト集合および前記小量のテキスト集合の総単語数によって、前記第１の確率重みおよび第２の確率重みをテキスト重みに変換する第３手段と、
当該得られたテキスト重みを使用して前記大量のテキスト集合および小量のテキスト集合についてのそれぞれのテキスト集合における単語の頻度を更新する第４手段と、
当該更新された小量のテキスト集合の単語の頻度および、前記大量のテキスト集合の単語の頻度を足し合わせる第５手段と、
当該足し合わされた単語の頻度に基づき、あらかじめ定められた登録単語数におさまるよう語彙を更新し、新しい言語モデルを作成する第６手段と
を具え、前記テキスト重みが収束されるまで前記第１手段から前記第６手段までの処理を繰り返すことを特徴とする音声認識のための統計的言語モデル作成装置。
請求項１に記載の音声認識のための統計的言語モデル作成装置において、前記第１の確率重みおよび前記第２の確率重みのそれぞれは評価データのエントロピーが最小となる値を与えるよう決定されることを特徴とする音声認識のための統計的言語モデル作成装置。
請求項１に記載の音声認識のための統計的言語モデル作成装置において、前記小量のテキスト集合はニュース原稿についてのテキストの集合であることを特徴とする音声認識のための統計的言語モデル作成装置。