JP2001255889A

JP2001255889A - 音声認識装置および音声認識方法、並びに記録媒体

Info

Publication number: JP2001255889A
Application number: JP2000069698A
Authority: JP
Inventors: Lucke Helmut; ルッケヘルムート; Katsuki Minamino; 活樹南野; Koji Asano; 康治浅野; Hiroaki Ogawa; 浩明小川
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-03-14
Filing date: 2000-03-14
Publication date: 2001-09-21
Anticipated expiration: 2020-03-14
Also published as: CN1320902A; US7249017B2; US20010053974A1; EP1134727A2; EP1134727A3; CN1199148C; US20040167779A1; JP4543294B2

Abstract

(57)【要約】【課題】未知語に起因する音声認識精度の劣化を防止
する。【解決手段】辞書データベース６は、音声認識の対象
とする単語の他、未知語を構成する音素や音素列であっ
て、未知語を、その品詞ごとに分類するための接尾語が
登録された単語辞書を記憶している。マッチング部４
は、そのような単語辞書に基づき、音響モデルデータベ
ース５の音響モデルを接続し、その接続した音響モデル
に基づき、特徴抽出部３が出力する特徴量の系列を用い
てスコアを計算する。そして、マッチング部４は、その
スコアに基づいて、音声認識結果とする単語の系列を選
択する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声認識装置およ
び音声認識方法、並びに記録媒体に関し、特に、例え
ば、発話中に未知語が含まれる場合の音声認識精度の劣
化を低減することができるようにする音声認識装置およ
び音声認識方法、並びに記録媒体に関する。

【０００２】

【従来の技術】図１は、従来の、連続音声認識を行う音
声認識装置の一例の構成を示している。

【０００３】ユーザが発した音声は、マイク（マイクロ
フォン）１に入力され、マイク１では、その入力音声
が、電気信号としての音声信号に変換される。この音声
信号は、ＡＤ(Analog Digital)変換部２に供給される。
ＡＤ変換部２では、マイク１からのアナログ信号である
音声信号がサンプリング、量子化され、ディジタル信号
である音声データに変換される。この音声データは、特
徴抽出部３に供給される。

【０００４】特徴抽出部３は、ＡＤ変換部２からの音声
データについて、適当なフレームごとに、フーリエ変換
やフィルタリング等の音響処理を施し、これにより、例
えば、ＭＦＣＣ(Mel Frequency Cepstrum Coefficient)
等の特徴量を抽出し、マッチング部４に供給する。な
お、特徴抽出部３では、その他、例えば、スペクトル
や、線形予測係数、ケプストラム係数、線スペクトル対
等の特徴量を抽出することが可能である。

【０００５】マッチング部４は、特徴抽出部３からの特
徴量を用いて、音響モデルデータベース５、辞書データ
ベース６、および文法データベース７を必要に応じて参
照しながら、マイク１に入力された音声（入力音声）
を、例えば、連続分布ＨＭＭ法等に基づいて音声認識す
る。

【０００６】即ち、音響モデルデータベース５は、音声
認識する音声の言語における個々の音素や音節などの音
響的な特徴を表す音響モデルを記憶している。ここで
は、連続分布ＨＭＭ法に基づいて音声認識を行うので、
音響モデルとしては、例えば、ＨＭＭ(Hidden Markov M
odel)が用いられる。辞書データベース６は、音声認識
対象とする各単語（語彙）について、その発音に関する
情報（音韻情報）が記述された単語辞書を記憶してい
る。文法データベース７は、辞書データベース６の単語
辞書に登録されている各単語が、どのように連鎖する
（つながる）かを記述した文法規則（言語モデル）を記
憶している。ここで、文法規則としては、例えば、文脈
自由文法（ＣＦＧ）や、統計的な単語連鎖確率（Ｎ−ｇ
ｒａｍ）などに基づく規則を用いることができる。

【０００７】マッチング部４は、辞書データベース６の
単語辞書を参照することにより、音響モデルデータベー
ス５に記憶されている音響モデルを接続することで、単
語の音響モデル（単語モデル）を構成する。さらに、マ
ッチング部４は、幾つかの単語モデルを、文法データベ
ース７に記憶された文法規則を参照することにより接続
し、そのようにして接続された単語モデルを用いて、特
徴量に基づき、連続分布ＨＭＭ法によって、マイク１に
入力された音声を認識する。即ち、マッチング部４は、
特徴抽出部３が出力する時系列の特徴量が観測されるス
コア（尤度）が最も高い単語モデルの系列を検出し、そ
の単語モデルの系列に対応する単語列を、音声の認識結
果として出力する。

【０００８】即ち、マッチング部４は、接続された単語
モデルに対応する単語列について、各特徴量の出現確率
を累積し、その累積値をスコアとして、そのスコアを最
も高くする単語列を、音声認識結果として出力する。

【０００９】スコア計算は、一般に、音響モデルデータ
ベース５に記憶された音響モデルによって与えられる音
響的なスコア（以下、適宜、音響スコアという）と、文
法データベース７に記憶された文法規則によって与えら
れる言語的なスコア（以下、適宜、言語スコアという）
とを総合評価することで行われる。

【００１０】即ち、音響スコアは、例えば、ＨＭＭ法に
よる場合には、単語モデルを構成する音響モデルから、
特徴抽出部３が出力する特徴量の系列が観測される確率
（出現する確率）に基づいて、単語ごとに計算される。
また、言語スコアは、例えば、バイグラムによる場合に
は、注目している単語と、その単語の直前の単語とが連
鎖（連接）する確率に基づいて求められる。そして、各
単語についての音響スコアと言語スコアとを総合評価し
て得られる最終的なスコア（以下、適宜、最終スコアと
いう）に基づいて、音声認識結果が確定される。

【００１１】具体的には、あるＮ個の単語からなる単語
列におけるｋ番目の単語をｗ_kとして、その単語ｗ_kの音
響スコアをＡ（ｗ_k）と、言語スコアをＬ（ｗ_k）と、そ
れぞれ表すとき、その単語列の最終スコアＳは、例え
ば、次式にしたがって計算される。

【００１２】Ｓ＝Σ（Ａ（ｗ_k）＋Ｃ_k×Ｌ（ｗ_k））・・・（１）但し、Σは、ｋを１からＮに変えてのサメーションをと
ることを表す。また、Ｃ _kは、単語ｗ_kの言語スコアＬ
（ｗ_k）にかける重みを表す。

【００１３】マッチング部４では、例えば、式（１）に
示す最終スコアを最も大きくするＮと、単語列ｗ₁，
ｗ₂，・・・，ｗ_Nを求めるマッチング処理が行われ、そ
の単語列ｗ₁，ｗ₂，・・・，ｗ_Nが、音声認識結果とし
て出力される。

【００１４】以上のような処理が行われることにより、
図１の音声認識装置では、例えば、ユーザが、「ニュー
ヨークに行きたいです」と発話した場合には、「ニュー
ヨーク」、「に」、「行きたい」、「です」といった各
単語に、音響スコアおよび言語スコアが与えられ、それ
らを総合評価して得られる最終スコアが最も大きいと、
単語列「ニューヨーク」、「に」、「行きたい」、「で
す」が、音声認識結果として出力される。

【００１５】ところで、音響スコアの計算を、辞書デー
タベース６の単語辞書に登録されているすべての単語に
ついて独立に行うと、その計算量が大きくなることか
ら、複数の単語についての音響スコアの計算の一部を共
通化（共有化）する方法がある。即ち、単語辞書の単語
のうち、その先頭の音韻が同一のものについて、その先
頭の音韻から、同一になっている音韻までは、音響モデ
ルを共通に用い、それ以後の音韻には、音響モデルを個
々に用いることにより、全体として１つの木構造のネッ
トワークを構成し、これを用いて、音響スコアを求める
方法がある。

【００１６】この場合、単語辞書は、例えば、図２に示
すように、ルートノードを始点として、そのルートノー
ドから、音声認識対象とする各単語の先頭からの音韻に
対応するブランチを順次接続していくことで得られる木
構造の単語のネットワーク（単語ネットワーク）で構成
される。

【００１７】単語ネットワークを構成する際、その先頭
の音韻が同一の単語については、上述のように、その先
頭の音韻から、同一になっている音韻までに対応するブ
ランチは、共通に用いられる。即ち、図２において、各
ブランチに付したスラッシュ(/)で囲むアルファベット
は、音韻を表しており、四角形で囲んである部分は、単
語を表しているが、例えば、単語"I","ice","icy","up"
については、その先頭の音韻/A/が同一であるから、そ
の音韻/A/に対応するブランチが１つに共通化されてい
る。また、単語"I","ice","icy"については、その２番
目の音韻/I/も同一であるから、先頭の音韻/A/だけでな
く、２番目の音韻/I/に対応するブランチも１つに共通
化されている。さらに、単語"ice","icy"については、
その３番目の音韻/S/も同一であるから、先頭の音韻/A/
と２番目の音韻/I/だけでなく、３番目の音韻/S/に対応
するブランチも１つに共通化されている。

【００１８】また、単語"be","beat"については、その
先頭の音韻/B/と２番目の音韻/I/が同一であるから、先
頭の音韻/B/と２番目の音韻/I/に対応するブランチが１
つに共通化されている。

【００１９】図２の単語ネットワークを構成する単語辞
書を用いる場合には、マッチング部４は、単語ネットワ
ークのルートノードから延びるブランチの系列に対応す
る音韻の音響モデルを、音響モデルデータベース５から
読み出して接続し、その接続した音響モデルに基づき、
特徴抽出部３からの特徴量の系列を用いて、音響スコア
を計算する。

【００２０】従って、単語"I","ice","icy","up"の音響
スコアは、その先頭の音韻/A/については、兼用で計算
される。また、単語"I","ice","icy"の音響スコアは、
その先頭から２番目までの音韻/A/,/I/については、兼
用で計算される。さらに、単語"ice","icy"の音響スコ
アは、その先頭からその３番目までの音韻/A/,/I/,/S/
については、兼用で計算される。そして、単語"up"の残
りの音韻（２番目の音韻）/P/、および単語"icy"の残り
の音韻（４番目の音韻）/I/については、単独で、音響
スコアが計算される。

【００２１】また、単語"be","beat"の音響スコアは、
その先頭から２番目までの音韻/B/，/I/については、兼
用で計算される。そして、単語"beat"の残りの音韻（３
番目の音韻）/T/については、単独で、音響スコアが計
算される。

【００２２】従って、単語ネットワークを構成する単語
辞書を用いることにより、音響スコアの計算量を大幅に
低減することができる。

【００２３】マッチング部４において、上述のように、
単語ネットワークのルートノードから延びるブランチの
系列（以下、適宜、パスという）に沿って接続された音
響モデルに基づき、特徴量の系列を用いて、音響スコア
を計算していくと、最終的には、単語ネットワークの最
後のノード（図２において、ルートノードから、ブラン
チに沿って、右方向に移動していった場合の最後のブラ
ンチの終端）に到達する。即ち、例えば、音響モデルと
して、ＨＭＭを用いる場合には、パスを構成するブラン
チの系列に沿って接続されたＨＭＭに基づき、特徴量の
系列を用いて音響スコアを計算していくと、その接続さ
れたＨＭＭの最後の状態において、音響スコアが、ある
程度大きくなる時刻（以下、適宜、極大時刻という）が
ある。

【００２４】この場合、マッチング部４では、音響スコ
アの計算に用いた先頭の特徴量の時刻から、極大時刻ま
でが、パスに対応する単語が発話された音声区間である
と仮定され、その単語は、音声認識結果としての単語列
を構成する単語の候補とされる。そして、その単語の候
補の後に接続する単語の候補の音響スコアの計算が、単
語ネットワークのルートノードから延びるブランチの系
列（パス）に沿って接続された音響モデルに基づき、極
大時刻以後の特徴量の系列を用いて、再び行われる。

【００２５】マッチング部４において、以上の処理が繰
り返されることにより、多数の音声認識結果の候補とし
ての単語列が得られることとなるが、マッチング部４
は、そのような多数の単語列の候補のうち、音響スコア
が小さいものを破棄することにより、即ち、音響的な枝
刈りを行うことにより、音響スコアが所定の閾値以上の
単語列、つまり、音声認識結果として、ある程度、音響
的に確からしい単語列だけを選択して（残して）、処理
を続行していく。

【００２６】さらに、マッチング部４は、上述のように
して、音響スコアを計算しながら、音声認識結果として
の単語列の候補を生成していく過程において、文法デー
タベース７に登録された、例えばＮ−ｇｒａｍ等の文法
規則に基づき、音声認識結果としての単語列の候補を構
成する単語の言語スコアを計算する。そして、マッチン
グ部４は、その言語スコアが小さい単語を破棄すること
により、即ち、言語的な枝刈りを行うことにより、言語
スコアが所定の閾値以上の単語列、つまり、音声認識結
果として、ある程度、言語的に確からしい単語列だけを
選択して、処理を続行していく。

【００２７】以上のように、マッチング部４は、単語の
音響スコアおよび言語スコアを計算し、その音響スコア
および言語スコアに基づいて、音響的および言語的な枝
刈りを行うことで、音声認識結果として確からしい１以
上の単語列を選択する。そして、その選択された単語列
の後に接続する単語の音響スコアおよび言語スコアを計
算していくことを繰り返すことで、最終的には、音声認
識結果の候補として、ある程度確からしい１以上の単語
列を得る。そして、マッチング部４は、そのような単語
列の中から、例えば、式（１）で示される最終スコアが
最も大きいものを、音声認識結果として確定する。

【００２８】

【発明が解決しようとする課題】ところで、音声認識装
置においては、例えば、装置の演算速度や、メモリ容量
等に起因して、音声認識の対象として、辞書データベー
ス６の単語辞書に登録する単語の数が制限される。

【００２９】そして、音声認識の対象とする単語が制限
されると、対象とされなかった単語（以下、適宜、未知
語という）が、ユーザによって発話された場合には、各
種の問題が生じる。

【００３０】即ち、マッチング部４では、未知語が発話
された場合であっても、その未知語の音声の特徴量を用
いて、単語辞書に登録された各単語の音響スコアが計算
され、その音響スコアがある程度大きい単語が、未知語
の音声認識結果の候補として、誤って選択される。

【００３１】このように、未知語が発話された場合に
は、その未知語の部分において誤りを生じるが、さら
に、この誤りは、他の部分の誤りを引き起こす原因にも
なる。

【００３２】即ち、例えば、上述のように、ユーザが、
「ニューヨークに行きたいです」と発話した場合におい
て、「ニューヨーク」が未知語であるときには、その
「ニューヨーク」の部分において、誤った単語が選択さ
れるため、未知語である「ニューヨーク」と、その後に
続く「に」との単語の境界を、正確に決定することが困
難となる。その結果、単語の境界に誤りが生じ、その誤
りが、他の部分の音響スコアの計算に影響を与える。

【００３３】具体的には、上述のようにして、「ニュー
ヨーク」ではない、誤った単語が選択された後に、その
誤った単語の音響スコアの計算に用いられた特徴量の系
列の終点を始点とする特徴量の系列を用いて、次の単語
の音響スコアが計算される。従って、音響スコアの計算
は、例えば、音声「ニューヨーク」の終わりの部分の特
徴量を用いて行われたり、「ニューヨーク」の次の音声
「に」の最初の部分の特徴量を用いずに行われたりす
る。その結果、音声認識結果として正しい単語「に」の
音響スコアが、他の単語に比較して小さくなることがあ
る。

【００３４】さらに、この場合、音声認識結果として誤
った単語の音響スコアが、それほど大きくならなくて
も、その単語の言語スコアが大きくなり、その結果、音
響スコアと言語スコアとを総合評価したスコアが、音声
認識結果として正しい単語「に」の音響スコアと言語ス
コアとを総合評価したスコア（以下、適宜、単語スコア
という）よりも大きくなることがある。

【００３５】以上のように、未知語の音声認識を誤るこ
とにより、未知語に近い位置の単語の音声認識も誤るこ
とになる。

【００３６】音声認識装置において音声認識の対象とす
る単語としては、一般に、例えば、新聞や小説等におい
て出現頻度の高いものが選定されることが多いが、出現
頻度の低い単語が、ユーザによって発話されないという
保証はない。従って、未知語については、何らかの対処
をとる必要がある。

【００３７】未知語の対処方法としては、例えば、音声
認識の対象となっていない単語である未知語を、その単
語を構成する音素や、幾つかの音素でなる音素列といっ
た断片にし、この断片を、擬似的に単語（いわゆるサブ
ワード）として、音声認識の対象とする方法がある。

【００３８】単語を構成する音素や音素列の種類は、そ
れほど多くはないから、そのような音素や音素列を、擬
似的な単語として、音声認識の対象としても、計算量や
メモリ容量に、それほど大きな影響は与えない。そし
て、この場合、未知語は、擬似的な単語（以下、適宜、
疑似単語という）の系列として認識され、その結果、見
かけ上は、未知語は０になることになる。

【００３９】なお、この場合、未知語のみならず、単語
辞書に登録されている単語が発話されても、擬似単語の
系列として認識され得ることとなるが、発話された単語
が、単語辞書に登録されている単語、または疑似単語の
系列としての未知語のうちのいずれに認識されるかは、
それぞれについて計算されるスコアに基づいて決定され
ることになる。

【００４０】しかしながら、疑似単語を用いる場合に
は、未知語は、疑似単語である音素や音素列の系列とし
て認識されるから、未知語は、その属性を利用して処理
することができない。即ち、未知語については、例え
ば、その属性としての品詞が分からないから、文法規則
を適用することができず、これに起因して、音声認識精
度が劣化する。

【００４１】また、音声認識装置によっては、辞書デー
タベース６に、複数の言語それぞれについて、その言語
の単語辞書を記憶させておき、その単語辞書を、例え
ば、ユーザの操作に応じて切り替えて、複数の言語の音
声認識を可能とするものがある。この場合、いま使用さ
れている単語辞書の言語以外の言語の単語は、未知語と
なるが、その未知語の属性としての言語が分かれば、そ
の言語の単語辞書に自動的に切り替えることができ、さ
らに、この場合、その未知語であった単語を正確に認識
することが可能となる。

【００４２】具体的には、例えば、辞書データベース６
に、英語とフランス語の単語辞書が記憶されている場合
において、そのうちの英語の単語辞書が使用されている
ときに、未知語がフランス語の単語であることが分かれ
ば、発話者がフランス人に変わったとして、単語辞書
を、英語のものからフランス語のものに切り替えて、精
度の良い音声認識が可能となる。

【００４３】本発明は、このような状況に鑑みてなされ
たものであり、未知語の属性を得ることができるように
することにより、音声認識精度を向上させることができ
るようにするものである。

【００４４】

【課題を解決するための手段】本発明の音声認識装置
は、未知語を構成する要素であって、未知語を、その属
性ごとに分類するための未知語構成要素と、音声認識の
対象とする単語とが登録された辞書に基づき、特徴量を
用いてスコアを計算する計算手段と、スコアに基づい
て、音声認識結果とする単語の系列を選択する選択手段
とを備えることを特徴とする。

【００４５】辞書には、未知語を、その品詞ごとに分類
するための未知語構成要素を登録しておくことができ
る。

【００４６】辞書には、接尾語を、未知語構成要素とし
て登録しておくことができる。

【００４７】辞書には、接尾語とともに、未知語を構成
する音韻を登録しておくことができる。

【００４８】辞書には、未知語を、その言語ごとに分類
するための未知語構成要素を登録しておくことができ
る。

【００４９】本発明の音声認識装置には、辞書をさらに
設けることができる。

【００５０】本発明の音声認識方法は、未知語を構成す
る要素であって、未知語を、その属性ごとに分類するた
めの未知語構成要素と、音声認識の対象とする単語とが
登録された辞書に基づき、特徴量を用いてスコアを計算
する計算ステップと、スコアに基づいて、音声認識結果
とする単語の系列を選択する選択ステップとを備えるこ
とを特徴とする。

【００５１】本発明の記録媒体は、未知語を構成する要
素であって、未知語を、その属性ごとに分類するための
未知語構成要素と、音声認識の対象とする単語とが登録
された辞書に基づき、特徴量を用いてスコアを計算する
計算ステップと、スコアに基づいて、音声認識結果とす
る単語の系列を選択する選択ステップとを備えるプログ
ラムが記録されていることを特徴とする。

【００５２】本発明の音声認識装置および音声認識方
法、並びに記録媒体においては、未知語を構成する要素
であって、未知語を、その属性ごとに分類するための未
知語構成要素と、音声認識の対象とする単語とが登録さ
れた辞書に基づき、特徴量を用いてスコアが計算され、
そのスコアに基づいて、音声認識結果とする単語の系列
が選択される。

【００５３】

【発明の実施の形態】図３は、本発明を適用した音声認
識装置の一実施の形態の構成例を示している。なお、図
中、図１における場合と対応する部分については、同一
の符号を付してあり、以下では、その説明は、適宜省略
する。即ち、図３の音声認識装置は、図１の音声認識装
置と、基本的に同様に構成されている。

【００５４】但し、図３の音声認識装置の辞書データベ
ース６には、図１の辞書データベース６に記憶された、
音声認識の対象とする単語が登録された単語辞書（以
下、適宜、標準辞書という）の他に、未知語を構成する
要素であって、未知語を、その属性ごとに分類するため
の未知語構成要素が登録された未知語辞書も記憶されて
いる。即ち、図３の実施の形態において、辞書データベ
ース６に記憶された単語辞書は、標準辞書と未知語辞書
とから構成されている。

【００５５】そして、図３の辞書データベース６の単語
辞書においても、図１の辞書データベース６の単語辞書
と同様に、単語ネットワークが構成されている。

【００５６】即ち、図３の辞書データベース６の単語辞
書においては、例えば、図４に示すように、前述の図２
における場合と同様の単語ネットワークが構成され、こ
れが、標準辞書とされている。さらに、図３の辞書デー
タベース６の単語辞書においては、ルートノードに、未
知語を構成する音素や音素列である疑似単語の音韻が対
応付けられた１以上のブランチである汎用ブランチが接
続され、さらに、その汎用ブランチに、未知語を、その
属性ごとに分類するための音韻（列）が対応付けられた
１以上のブランチである属性ブランチが接続されること
で、未知語に対処するための単語ネットワークが構成さ
れ、これが、未知語辞書とされている。

【００５７】即ち、図４の実施の形態において、未知語
辞書は、ルートノードに、汎用ブランチと属性ブランチ
が順次接続されて構成されている。さらに、汎用ブラン
チには、ループとなるブランチ（以下、適宜、ループブ
ランチという）が接続されている。汎用ブランチは、各
種の音素や音素列である疑似単語の音韻が対応付けられ
た１以上のブランチで構成されるから、汎用ブランチを
通り、ループブランチを経由して、再び、汎用ブランチ
を通ることを繰り返すことにより、すべての単語（標準
辞書に登録されている単語、および未知語の両方を含
む）は、疑似単語の系列として認識可能である。

【００５８】但し、発話された単語が、標準辞書に登録
されている単語、または疑似単語の系列としての未知語
のうちのいずれに認識されるかは、それぞれについて計
算されるスコアに基づいて決定される。

【００５９】汎用ブランチには、ループブランチの他、
上述したように、属性ブランチが接続されている。属性
ブランチは、例えば、未知語を、その品詞ごとに分類す
るための接尾語の音韻（列）が対応付けられた１以上の
ブランチで構成されている。即ち、いま、音声認識の対
象とする言語を、例えば、英語とすると、属性ブランチ
は、例えば、一般には英語の名詞の接尾語である"tion"
や"ing"の音韻が対応付けられたブランチ、一般には英
語の動詞の接尾語である"ed"の音韻が対応付けられたブ
ランチ、一般には英語の形容詞の接尾語である"ive"の
音韻が対応付けられたブランチ等で構成されている。

【００６０】図３のマッチング部４では、図１のマッチ
ング部４と同様に、図４に示した単語辞書を構成する単
語ネットワークのルートノードから延びるブランチの系
列（パス）に沿って、音響モデルデータベース５に記憶
された音響モデルが接続され、その接続された音響モデ
ルに基づき、特徴量の系列を用いて、音響スコアが計算
される。これにより、最終的には、単語ネットワークの
最後のノードに到達し、音響スコアが得られるが、即
ち、例えば、音響モデルとして、ＨＭＭを用いる場合に
は、パスを構成するブランチの系列に沿って接続された
ＨＭＭに基づき、特徴量の系列を用いて音響スコアが計
算され、これにより、その接続されたＨＭＭの最後の状
態において、ある時刻（極大時刻）で、音響スコアが、
ある程度大きくなるが、その音響スコアが、その計算に
用いたパスに対応する単語の音響スコアとされる。

【００６１】この場合、音響スコアの計算に用いられた
特徴量の系列が、標準辞書に登録された単語の音声のも
のであれば、基本的には、標準辞書を構成する単語ネッ
トワークのいずれかの単語に対応するパスに沿って計算
された音響スコアが大きくなる。

【００６２】一方、音響スコアの計算に用いられた特徴
量の系列が、標準辞書に登録されていない単語、即ち、
未知語の音声のものであれば、未知語辞書を構成する単
語ネットワークのいずれかのパスに沿って計算された音
響スコアが大きくなる。

【００６３】即ち、未知語の接尾語を除いた語幹（また
は語根、基体、基底部）については、汎用ブランチを通
り、ループブランチを経由して、再び、汎用ブランチを
通ることを必要に応じて繰り返すことにより、ある程度
大きな音響スコアが得られる。そして、未知語の接尾語
については、その接尾語の音韻が対応付けられた属性ブ
ランチを通ることにより、やはり、ある程度大きな音響
スコアが得られる。従って、未知語については、汎用ブ
ランチを所定回数通り、その後、所定の属性ブランチを
通るパスに沿って計算される音響スコアが、他のパスに
沿って計算される音響スコアよりも大きくなる。

【００６４】そして、未知語の音響スコアが大きくなる
ときに用いたパスを構成する属性ブランチによって、そ
の未知語の品詞が得られることになる。即ち、そのパス
を構成する属性ブランチが、"tion"や"ing"の音韻が対
応付けられたものであれば、未知語の品詞は、名詞であ
ると推定することができる。さらに、その属性ブランチ
が、"ed"の音韻が対応付けられたものであれば、動詞で
あると、また、"ive"の音韻が対応付けられたものであ
れば、形容詞であると、それぞれ推定することができ
る。

【００６５】次に、図５のフローチャートを参照して、
図３の音声認識装置による連続音声認識処理について説
明する。

【００６６】ユーザが発話を行うと、その発話としての
音声は、マイク１およびＡＤ変換部２を介することによ
り、ディジタルの音声データとされ、特徴抽出部３に供
給される。特徴抽出部３は、ステップＳ１において、そ
こに供給される音声データから、音声の特徴量を、フレ
ームごとに順次抽出し、マッチング部４に供給する。

【００６７】マッチング部４は、図示せぬバッファを内
蔵しており、特徴抽出部３から供給される特徴量を一時
記憶する。そして、マッチング部４は、ステップＳ２に
おいて、バッファに記憶した、必要な特徴量の系列を用
いて、スコアの計算を行う。

【００６８】即ち、マッチング部４では、図４に示した
単語辞書を構成する単語ネットワークのルートノードか
ら延びるブランチの系列（パス）に沿って、音響モデル
データベース５に記憶された音響モデルが接続され、そ
の接続された音響モデルに基づき、特徴量の系列を用い
て、音響スコアが計算される。これにより、最終的に
は、単語ネットワークの最後のノードに到達し、音響ス
コアが得られる。

【００６９】具体的には、例えば、音響モデルとして、
ＨＭＭを用いる場合には、マッチング部４では、パスを
構成するブランチの系列に沿って接続されたＨＭＭに基
づき、特徴量の系列を用いて音響スコアが計算されてい
く。この計算の過程で、接続されたＨＭＭの最後の状態
における音響スコアが、ある程度大きくなる時刻（極大
時刻）があるが、その極大時刻における音響スコアが、
その計算に用いたパスに対応する単語（本実施の形態で
は、標準辞書に登録された単語の他、未知語も含まれ
る）の音響スコアとされる。

【００７０】さらに、マッチング部４では、音響スコア
の計算に用いた先頭の特徴量の時刻から、極大時刻まで
が、パスに対応する単語が発話された音声区間であると
仮定され、その単語は、音声認識結果としての単語列を
構成する単語の候補とされる。そして、その単語の候補
の後に接続する単語の候補の音響スコアの計算が、単語
ネットワークのルートノードから延びるブランチの系列
（パス）に沿って接続されたＨＭＭに基づき、極大時刻
以後の特徴量の系列を用いて、再び行われる。

【００７１】マッチング部４において、以上の処理が繰
り返されることにより、多数の音声認識結果の候補とし
ての１以上の単語列が得られることとなるが、マッチン
グ部４は、そのような多数の単語列の候補のうち、音響
スコアが小さいものを破棄して、音響的な枝刈りを行う
ことにより、音響スコアが所定の閾値以上の単語列、つ
まり、音声認識結果として、ある程度、音響的に確から
しい単語列だけを選択して、スコアの計算を続行してい
く。

【００７２】さらに、マッチング部４は、上述のように
して、音響スコアを計算しながら、音声認識結果として
の単語列の候補を生成していく過程において、文法デー
タベース７に登録された文法規則である、例えば、バイ
グラム（直前の単語との関係を考慮した単語の生起確
率）やトライグラム（直前の単語およびそのさらに１つ
前の単語との関係を考慮した単語の生起確率）等に基づ
き、音声認識結果の候補としての単語列を構成する単語
の言語スコアを計算する。そして、マッチング部４は、
その言語スコアが小さい単語を破棄して、言語的な枝刈
りを行うことにより、言語スコアが所定の閾値以上の単
語列、つまり、音声認識結果の候補として、ある程度、
言語的に確からしい単語列だけを選択して、処理を続行
していく。

【００７３】ここで、音声認識結果の候補としての単語
列が、未知語を含む場合、その未知語については、その
音響スコアを計算するときに用いたパスを構成する属性
ブランチによって、その未知語の品詞が得られる。従っ
て、未知語については、そのようにして得られた品詞に
基づいて、文法規則（言語モデル）を適用することによ
り、精度の良い言語スコアを得ることができる。

【００７４】以上のように、マッチング部４は、単語の
音響スコアおよび言語スコアを計算し、その音響スコア
および言語スコアに基づいて、音響的および言語的な枝
刈りを行うことで、音声認識結果の候補として確からし
い単語列を選択し、その単語列の後に接続する単語の音
響スコアおよび言語スコアを計算していくことを繰り返
すことで、最終的には、音声区間（但し、音声区間は、
何らかの手法によって検出するものとする）の全体に亘
って、音声認識結果の候補となる１以上の単語列を得
る。

【００７５】そして、ステップＳ３に進み、マッチング
部４は、その１以上の単語列それぞれについて、例え
ば、前述の式（１）によって与えられる最終スコアを計
算する。さらに、マッチング部４は、最終スコアが最も
大きい単語列を選択し、その単語列を、最終的な音声認
識結果として確定、出力して、処理を終了する。

【００７６】なお、特徴抽出部３による特徴量の抽出
と、マッチング部４によるスコア計算とは、並列して行
われる。

【００７７】また、マッチング部４では、音響的な枝刈
りは、音声認識結果の候補となる単語列についてだけで
なく、図４の単語ネットワークのパスについても行われ
る。即ち、マッチング部４は、パスに沿った音響スコア
の計算を行っている過程において、ある程度大きな音響
スコアを得ることができない見込みがたったときには、
その時点で、そのパスに沿った音響スコアの計算を打ち
切る。これにより、計算量が低減され、迅速な処理が可
能となる。

【００７８】以上のように、ルートノードに、未知語を
構成する音素や音素列である疑似単語の音韻が対応付け
られた汎用ブランチを接続し、さらに、その汎用ブラン
チに、未知語を、その品詞ごとに分類するための音韻
（列）が対応付けられた属性ブランチを接続することに
より、未知語に対処するための単語ネットワークを構成
し、これを用いて、音響スコアを計算するようにしたの
で、未知語の品詞を推定し、その品詞に基づいて、未知
語の言語スコアを精度良く計算することが可能となる。
その結果、未知語について、正確な言語スコアが求めら
れないことによる音声認識精度の劣化を防止し、さらに
は、その改善を図ることが可能となる。

【００７９】なお、図４の実施の形態では、未知語の品
詞を、その接尾語によって推定するようにしたが、その
他、例えば、未知語の属性として、その意味内容を、そ
の接頭語等によって推定し、言語スコアを適用すること
も可能である。

【００８０】さらに、未知語の属性として、例えば、そ
の言語を推定することも可能である。

【００８１】即ち、未知語の言語を推定する場合、図３
の辞書データベース６の単語辞書においては、例えば、
図６に示すような単語ネットワークが構成される。

【００８２】図６においても、図４における場合と同様
に、単語辞書は、標準辞書と未知語辞書とから構成され
ている。

【００８３】但し、図６では、ルートノードに、未知語
の言語の音素や音素列である疑似単語の音韻が対応付け
られた１以上のブランチである属性ブランチが接続され
ことで、未知語に対処するための単語ネットワークが構
成され、これが、未知語辞書とされている。

【００８４】即ち、図６の実施の形態では、音声認識装
置による音声認識の対象の言語が、基本的には、例え
ば、英語であるとして、その英語の単語によって、標準
辞書が構成されている。

【００８５】そして、英語以外の言語Ｌ１とＬ２（例え
ば、フランス語とドイツ語など）それぞれについて、未
知語辞書が構成されている。ここで、以下、適宜、言語
Ｌ１またはＬ２についての未知語辞書を、それぞれ、Ｌ
１語辞書またはＬ２語辞書という。

【００８６】Ｌ１語辞書は、ルートノードに、言語Ｌ１
の音素や音素列である疑似単語の音韻が対応付けられた
１以上の属性ブランチが接続され、さらに、その属性ブ
ランチに、ループブランチが接続されることで構成され
ている。Ｌ２語辞書も、ルートノードに、言語Ｌ２の音
素や音素列である疑似単語の音韻が対応付けられた１以
上の属性ブランチが接続され、さらに、その属性ブラン
チに、ループブランチが接続されることで構成されてい
る。

【００８７】従って、図６では、言語Ｌ１とＬ２の属性
ブランチは、それぞれの言語の各種の音素や音素列であ
る疑似単語の音韻が対応付けられた１以上のブランチで
構成されるから、属性ブランチを通り、ループブランチ
を経由して、再び、属性ブランチを通ることを繰り返す
ことにより、言語Ｌ１とＬ２それぞれの単語は、疑似単
語の系列として認識可能である。

【００８８】但し、この場合、図３の音響モデルデータ
ベース５には、英語の音響モデルの他、言語Ｌ１とＬ２
それぞれの各種の音素や音素列の音響モデルも記憶され
ていることが必要である。

【００８９】図６に示した単語ネットワークを構成する
単語辞書を用いる場合には、マッチング部４では、図４
の単語辞書を用いる場合と同様に、図６の単語辞書を構
成する単語ネットワークのルートノードから延びるブラ
ンチの系列（パス）に沿って、音響モデルデータベース
５に記憶された音響モデルが接続され、その接続された
音響モデルに基づき、特徴量の系列を用いて、音響スコ
アが計算される。これにより、最終的には、単語ネット
ワークの最後のノードに到達し、音響スコアが得られる
が、即ち、例えば、音響モデルとして、ＨＭＭを用いる
場合には、パスを構成するブランチの系列に沿って接続
されたＨＭＭに基づき、特徴量の系列を用いて音響スコ
アが計算され、これにより、その接続されたＨＭＭの最
後の状態において、ある時刻（極大時刻）で、音響スコ
アが、ある程度大きくなるが、その音響スコアが、その
計算に用いたパスに対応する単語の音響スコアとされ
る。

【００９０】この場合、音響スコアの計算に用いられた
特徴量の系列が、標準辞書に登録された英語の単語の音
声のものであれば、基本的には、標準辞書を構成する単
語ネットワークのいずれかの単語に対応するパスに沿っ
て計算された音響スコアが大きくなる。

【００９１】一方、音響スコアの計算に用いられた特徴
量の系列が、標準辞書に登録されていない単語、即ち、
未知語としての言語Ｌ１やＬ２の単語の音声のものであ
れば、未知語辞書（ここでは、Ｌ１語辞書またはＬ２語
辞書）を構成する単語ネットワークのいずれかのパスに
沿って計算された音響スコアが大きくなる。

【００９２】即ち、未知語としての言語Ｌ１またはＬ２
の単語の音声については、それぞれ、言語Ｌ１またはＬ
２の属性ブランチを通り、ループブランチを経由して、
再び、言語Ｌ１またはＬ２の属性ブランチを通ることを
必要に応じて繰り返すことにより、他のパスに沿って計
算される音響スコアよりも、大きな音響スコアが得られ
る。

【００９３】そして、未知語の音響スコアが大きくなる
ときに用いたパスを構成する属性ブランチによって、そ
の未知語の言語が得られることになる。即ち、そのパス
を構成する属性ブランチが、言語Ｌ１またはＬ２の属性
ブランチであれば、未知語の言語は、言語Ｌ１またはＬ
２の単語であると、それぞれ推定することができる。

【００９４】従って、この場合、例えば、辞書データベ
ース６に、図６に示したような単語辞書に加えて、言語
Ｌ１とＬ２それぞれについて、図６の標準辞書と同様に
構成される単語辞書を記憶しておけば、未知語の言語
が、言語Ｌ１またはＬ２であると推定された後に、使用
する単語辞書を、その推定された言語の単語辞書に切り
替えて、スコアの計算をやり直すことにより、その推定
された言語による発話を、精度良く音声認識することが
可能となる。

【００９５】なお、上述の場合には、未知語の言語とし
て、２つの言語の推定を行うようにしたが、１つの言語
だけや、３以上の言語の推定を行うようにすることも可
能である。

【００９６】次に、上述した一連の処理は、ハードウェ
アにより行うこともできるし、ソフトウェアにより行う
こともできる。一連の処理をソフトウェアによって行う
場合には、そのソフトウェアを構成するプログラムが、
汎用のコンピュータ等にインストールされる。

【００９７】そこで、図７は、上述した一連の処理を実
行するプログラムがインストールされるコンピュータの
一実施の形態の構成例を示している。

【００９８】プログラムは、コンピュータに内蔵されて
いる記録媒体としてのハードディスク１０５やＲＯＭ１
０３に予め記録しておくことができる。

【００９９】あるいはまた、プログラムは、フロッピー
（登録商標）ディスク、CD-ROM(Compact Disc Read Onl
y Memory)，MO(Magneto optical)ディスク，DVD(Digita
l Versatile Disc)、磁気ディスク、半導体メモリなど
のリムーバブル記録媒体１１１に、一時的あるいは永続
的に格納（記録）しておくことができる。このようなリ
ムーバブル記録媒体１１１は、いわゆるパッケージソフ
トウエアとして提供することができる。

【０１００】なお、プログラムは、上述したようなリム
ーバブル記録媒体１１１からコンピュータにインストー
ルする他、ダウンロードサイトから、ディジタル衛星放
送用の人工衛星を介して、コンピュータに無線で転送し
たり、LAN(Local Area Network)、インターネットとい
ったネットワークを介して、コンピュータに有線で転送
し、コンピュータでは、そのようにして転送されてくる
プログラムを、通信部１０８で受信し、内蔵するハード
ディスク１０５にインストールすることができる。

【０１０１】コンピュータは、CPU(Central Processing
Unit)１０２を内蔵している。CPU１０２には、バス１
０１を介して、入出力インタフェース１１０が接続され
ており、CPU１０２は、入出力インタフェース１１０を
介して、ユーザによって、キーボードや、マウス、マイ
ク等で構成される入力部１０７が操作等されることによ
り指令が入力されると、それにしたがって、ROM(Read O
nly Memory)１０３に格納されているプログラムを実行
する。あるいは、また、CPU１０２は、ハードディスク
１０５に格納されているプログラム、衛星若しくはネッ
トワークから転送され、通信部１０８で受信されてハー
ドディスク１０５にインストールされたプログラム、ま
たはドライブ１０９に装着されたリムーバブル記録媒体
１１１から読み出されてハードディスク１０５にインス
トールされたプログラムを、RAM(Random Access Memor
y)１０４にロードして実行する。これにより、CPU１０
２は、上述したフローチャートにしたがった処理、ある
いは上述したブロック図の構成により行われる処理を行
う。そして、CPU１０２は、その処理結果を、必要に応
じて、例えば、入出力インタフェース１１０を介して、
LCD(Liquid CryStal Display)やスピーカ等で構成され
る出力部１０６から出力、あるいは、通信部１０８から
送信、さらには、ハードディスク１０５に記録等させ
る。

【０１０２】ここで、本明細書において、コンピュータ
に各種の処理を行わせるためのプログラムを記述する処
理ステップは、必ずしもフローチャートとして記載され
た順序に沿って時系列に処理する必要はなく、並列的あ
るいは個別に実行される処理（例えば、並列処理あるい
はオブジェクトによる処理）も含むものである。

【０１０３】また、プログラムは、１のコンピュータに
より処理されるものであっても良いし、複数のコンピュ
ータによって分散処理されるものであっても良い。さら
に、プログラムは、遠方のコンピュータに転送されて実
行されるものであっても良い。

【０１０４】なお、本実施の形態では、音響モデルとし
て、ＨＭＭを用いることとしたが、音響モデルとして
は、その他、例えば、ニューラルネットワークに基づく
モデル等を用いることも可能である。

【０１０５】また、本実施の形態では、マッチング部４
で用いる単語辞書に、未知語を構成する要素であって、
未知語を、その属性ごとに分類するための未知語構成要
素が登録された未知語辞書を含めるようにしたが、未知
語辞書は、その他、例えば、マッチング部４でスコア計
算の対象とする１以上の単語を予備的に選択する、いわ
ゆる予備選択を行う音声認識装置において、その予備選
択に用いる単語辞書に含めるようにすることも可能であ
る。

【０１０６】さらに、本実施の形態では、単語の先頭の
音韻が同一のものについて、その先頭の音韻から、同一
になっている音韻までは、音響モデルを共通に用い、そ
れ以後の音韻には、音響モデルを個々に用いることによ
り、全体として１つの木構造の単語ネットワークを構成
し、これに基づいて、音響スコアを計算するようにした
が、単語の音響スコアの計算は、各単語について、個別
に、音響モデルを接続し、単語ごとに独立に行うことも
可能である。

【０１０７】また、図４の実施の形態では、汎用ブラン
チに、ループブランチを接続し、未知語の語幹につい
て、汎用ブランチを通り、ループブランチを経由して、
再び、汎用ブランチを通ることを必要に応じて繰り返す
ことにより、その音響スコアを計算することとしたが、
未知語の語幹については、その他、例えば、ループブラ
ンチを用いずに、汎用ブランチを必要な数だけシリーズ
に接続して、その音響スコアを、ビタビ法によって計算
することが可能である。図６のループブランチが接続さ
れた属性ブランチについても、同様である。

【０１０８】さらに、本実施の形態では、英語を、音声
認識の対象としたが、本発明は、英語以外の言語を対象
に音声認識を行う場合にも適用可能である。

【０１０９】

【発明の効果】本発明の音声認識装置および音声認識方
法、並びに記録媒体によれば、未知語を構成する要素で
あって、未知語を、その属性ごとに分類するための未知
語構成要素と、音声認識の対象とする単語とが登録され
た辞書に基づき、特徴量を用いてスコアが計算され、そ
のスコアに基づいて、音声認識結果とする単語の系列が
選択される。従って、未知語の、例えば、品詞等の属性
を推定することが可能となり、その結果、未知語に起因
する音声認識精度の劣化を防止することが可能となる。

【図面の簡単な説明】

【図１】従来の音声認識装置の一例の構成を示すブロッ
ク図である。

【図２】図１の辞書データベース６に記憶された単語辞
書の構成例を示す図である。

【図３】本発明を適用した音声認識装置の一実施の形態
の構成例を示すブロック図である。

【図４】図３の辞書データベース６に記憶された単語辞
書の構成例を示す図である。

【図５】図３の音声認識装置の処理を説明するためのフ
ローチャートである。

【図６】図３の辞書データベース６に記憶された単語辞
書の他の構成例を示す図である。

【図７】本発明を適用したコンピュータの一実施の形態
の構成例を示すブロック図である。

【符号の説明】

１マイク，２ＡＤ変換部，３特徴抽出部，
４マッチング部，５音響モデルデータベース，６
辞書データベース，７文法データベース，１０
１バス，１０２ CPU，１０３ ROM，１０４
RAM，１０５ハードディスク，１０６出力部，
１０７入力部，１０８通信部，１０９ドラ
イブ，１１０入出力インタフェース，１１１リ
ムーバブル記録媒体

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ１０Ｌ 3/00 ５３７Ｈ (72)発明者浅野康治東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者小川浩明東京都品川区北品川６丁目７番35号ソニー株式会社内Ｆターム(参考） 5D015 AA01 BB01 BB02 HH11 HH15 9A001 EE05 GZ03 HH17 HZ06 JZ01

Claims

【特許請求の範囲】

【請求項１】入力された音声に対して、その音声認識
結果の尤度を表すスコアを計算し、そのスコアに基づい
て、前記音声を連続音声認識する音声認識装置であっ
て、前記音声から、その特徴量を抽出する抽出手段と、未知語を構成する要素であって、未知語を、その属性ご
とに分類するための未知語構成要素と、音声認識の対象
とする単語とが登録された辞書に基づき、前記特徴量を
用いて前記スコアを計算する計算手段と、前記スコアに基づいて、音声認識結果とする前記単語の
系列を選択する選択手段とを備えることを特徴とする音
声認識装置。
【請求項２】前記辞書には、未知語を、その品詞ごと
に分類するための未知語構成要素が登録されていること
を特徴とする請求項１に記載の音声認識装置。
【請求項３】前記辞書には、接尾語が、前記未知語構
成要素として登録されていることを特徴とする請求項２
に記載の音声認識装置。
【請求項４】前記辞書には、前記接尾語とともに、未
知語を構成する音韻が登録されていることを特徴とする
請求項３に記載の音声認識装置。
【請求項５】前記辞書には、未知語を、その言語ごと
に分類するための未知語構成要素が登録されていること
を特徴とする請求項１に記載の音声認識装置。
【請求項６】前記辞書をさらに備えることを特徴とす
る請求項１に記載の音声認識装置。
【請求項７】入力された音声に対して、その音声認識
結果の尤度を表すスコアを計算し、そのスコアに基づい
て、前記音声を連続音声認識する音声認識方法であっ
て、前記音声から、その特徴量を抽出する抽出ステップと、未知語を構成する要素であって、未知語を、その属性ご
とに分類するための未知語構成要素と、音声認識の対象
とする単語とが登録された辞書に基づき、前記特徴量を
用いて前記スコアを計算する計算ステップと、前記スコアに基づいて、音声認識結果とする前記単語の
系列を選択する選択ステップとを備えることを特徴とす
る音声認識方法。
【請求項８】入力された音声に対して、その音声認識
結果の尤度を表すスコアを計算し、そのスコアに基づい
て、前記音声を連続音声認識する音声認識処理を、コン
ピュータに行わせるプログラムが記録されている記録媒
体であって、前記音声から、その特徴量を抽出する抽出
ステップと、未知語を構成する要素であって、未知語を、その属性ご
とに分類するための未知語構成要素と、音声認識の対象
とする単語とが登録された辞書に基づき、前記特徴量を
用いて前記スコアを計算する計算ステップと、前記スコアに基づいて、音声認識結果とする前記単語の
系列を選択する選択ステップとを備えるプログラムが記
録されていることを特徴とする記録媒体。