JP2002156995A

JP2002156995A - 音声処理システム

Info

Publication number: JP2002156995A
Application number: JP2001341085A
Authority: JP
Inventors: Jason Peter Andrew Charlesworth; ピーターアンドリューチャールズワースジェイソン; Jacob Rajan Jebb; ジェイコブラジャンジェブ
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2000-11-07
Filing date: 2001-11-06
Publication date: 2002-05-31
Also published as: EP1205908A3; US7337116B2; US20020120447A1; GB0027178D0; DE60126722D1; EP1205908A2; DE60126722T2; EP1205908B1

Abstract

(57)【要約】【課題】ユーザが単語モデルを音声認識システムに加
えることを可能にするシステムを提供すること。【解決手段】登録しようとする新たな単語に対応する
音声をユーザが入力し、その単語を表す音素列の代表シ
ーケンスを例えば動的計画法を用いて生成する。この音
素の代表シーケンスは、その後で音声認識システムで使
用するために、その単語のスペルと共に単語−音素辞書
に記憶される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、単語（word）辞書
またはコマンド辞書に加えることができ、音声認識など
の音声処理関連の応用例で使用することができる単語ま
たはコマンドに対する音素モデル（phoneme model）ま
たは擬音韻モデル（phoneme like model）の決定に関す
る。具体的には、本発明は、入力単語の発音を表し、か
つそのシーケンスを音声処理の応用例で使用することが
できる標準音素列および非標準音素列の生成に関する。

【０００２】

【従来の技術】音声認識システムの使用は、認識処理を
実行するために利用可能な処理能力が向上したために、
ますます一般的になっている。音声認識システムは一般
に、小語彙システムおよび大語彙システムに分類するこ
とができる。小語彙システムでは、音声認識エンジンは
通常、システムに既知の単語（word）を表す音響パター
ンと、認識すべき入力音声とを比較する。大語彙システ
ムの場合、システムに既知の各単語についての単語モデ
ルを記憶することは実際的ではない。そのかわりに、標
準パターンは所与の言語の音素または音韻（phoneme）
を通常表す。このようにして、入力音声が音素パターン
と比較され、入力音声を表す音素列が生成される。そし
て、単語デコーダにより、単語−音素辞書を用いて音素
列内の単語が識別される。

【０００３】

【発明が解決しようとする課題】大語彙音声認識システ
ムにおける問題は、ユーザが単語辞書にない単語を発声
した場合に誤認識が生じ、音声認識システムが、実際に
発声された、その語彙にない単語に最も近い発音の単語
を出力してしまうことである。この問題は、ユーザが語
彙にない単語についての新たな単語モデルを加えること
が可能にするメカニズムを提供することによって解決す
ることができる。このことは現在、語彙にない単語を表
す音響パターンを生成することによってほぼ達成されて
いる。

【０００４】しかし、このことにより、音声認識システ
ムが、入力音声と、２つの異なるタイプのモデル（すな
わち、音素モデルおよび単語モデル）とを突き合わせる
ことが必要となり、そのために認識処理速度が遅くな
る。あるシステムでは、語彙にない単語に対し、認識要
求に応えるために、ユーザが音声綴りを単語辞書に加え
ることを可能としている。しかし、このことによりユー
ザは、登録しようとする新たな単語についての各音素を
明示的に入力することが必要となり、これは、音声認識
システムの知識が乏しく、単語を構成する音素について
もよく知らないユーザを考えると実際的ではない。別の
技法は、音声認識システムを用いて新たな単語を音素列
に復号化し、復号化した音素列を正しいものとして扱
う。しかし、今日の最良のシステムでも８０％未満の認
識精度しかないので、この方法でもある程度の誤差が入
り込み、それによって最終的にはシステムの認識率が低
下する。

【０００５】したがって、本発明の目的は、例えば音声
認識システムで用いられる単語辞書またはコマンド辞書
に加えるべき新たな単語を表す音素列または擬音韻系列
を生成する代替技法を提供することである。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に、例えば本発明による装置の一例は、音声認識システ
ムの辞書に加えるべき新たな単語を表すサブワードシー
ケンスを生成する装置であって、前記新たな単語に対応
する第１および第２の音声部分を表す信号を受信する第
１の受信手段と、受信した前記第１および第２の音声部
分と、あらかじめ記憶したサブワードモデルとを比較
し、前記第１および第２の音声部分のそれぞれを表す第
１および第２のサブワードシーケンスを生成する音声認
識手段と、前記第１のサブワードシーケンスと前記第２
のサブワードシーケンスとをマッチングし、サブワード
単位のマッチングペアを形成するマッチング手段と、前
記マッチング手段によって決定された前記マッチングペ
アに応じて、前記新たな単語の前記音声部分を表す代表
シーケンスを決定する決定手段と、を備えることを特徴
とする。

【０００７】

【発明の実施の形態】次に、添付の図面を参照しなが
ら、本発明の実施形態を詳細に説明する。

【０００８】＜実施形態１＞本発明の実施形態は、専用
ハードウェア回路を用いて実現することができるが、こ
れから説明する実施形態は、パーソナルコンピュータと
協働して動作するコンピュータソフトウェアまたはコン
ピュータプログラムで実現される。代替の実施形態で
は、このソフトウェアは、ワークステーション、複写
機、ファクシミリ装置、携帯情報端末（ＰＤＡ）、また
はウェブブラウザなどと協働して動作することが可能で
ある。

【０００９】図１に、本発明の実施形態を実現するよう
にプログラムされるパーソナルコンピュータ（ＰＣ）１
を示す。

【００１０】キーボード３、ポインティング・デバイス
５、マイクロフォン７、および電話線９は、インタフェ
ース１１を介してＰＣ１に接続される。キーボード３お
よびポインティング・デバイス５により、ユーザがシス
テムを制御することが可能となる。マイクロフォン７
は、ユーザの音響音声信号をそれに対応する電気的信号
に変換し、これを処理のためにＰＣ１に供給する。内蔵
モデムおよび音声受信回路（図示せず）は、電話線９に
接続することができ、その結果ＰＣ１は、例えばリモー
ト・コンピュータまたはリモート・ユーザと通信するこ
とができる。

【００１１】本発明に従ってＰＣ１を動作させるプログ
ラム命令は、ＰＣ１と共に使用するために、例えば磁気
ディスク１３などの記憶装置上から、または例えば内蔵
モデムおよび電話ユニット９を介し、インターネットを
介してリモート・コンピュータからソフトウェアをダウ
ンロードすることによって供給することができる。

【００１２】次に、ＰＣ１内に実装される音声認識シス
テム１４の処理を、図２を参照しながら詳細に説明す
る。

【００１３】マイクロフォン７からのユーザの入力音声
を表す電気的信号は、入力音声信号をパラメータ・フレ
ームのシーケンスに変換する前処理部１５に印加され
る。各パラメータ・フレームは、入力音声信号に対応す
る時間フレームを表す。次に、前処理部１５によって出
力されるパラメータ・フレームのシーケンスは、音声認
識エンジン１７に供給され、そこでパラメータ・フレー
ムの入力シーケンスが音素モデル１９と比較されること
によって音声が認識され、入力発話を表すサブワード単
位のシーケンスとしての音素列が生成される。音声認識
システム１４の処理の通常モードの間、この音素列は、
スイッチ２０を介して単語デコーダ２１に入力され、単
語デコーダ２１は、音素列を単語−音素辞書２３中に記
憶される音素列と比較することによって、生成された音
素列内の単語を識別する。次に、単語デコーダ２１によ
って出力された単語２５は、ＰＣ１上で稼働するソフト
ウェア・アプリケーションを制御するため、またはＰＣ
１上で稼働する単語処理プログラム中のテキストとして
挿入するためにＰＣ１で使用される。

【００１４】単語−音素辞書２３に単語を加えることが
できるようにするために、音声認識システム１４は、認
識処理のトレーニング・モードも有する。これは、ユー
ザがキーボード３またはポインティング・デバイス５を
用いてユーザインタフェース２７を介して適切なコマン
ドを適用することで起動する。トレーニング・モードに
入るためのこの要求は、スイッチ２０に音声認識エンジ
ン１７の出力を単語モデル生成ユニット３１の入力に接
続させる制御ユニット２９に渡される。

【００１５】それに応じて制御ユニット２９は、ユーザ
インターフェース２７を介してプロンプトを出力しユー
ザの入力待ち状態として、加えるべき単語に対応する音
声を入力させる。入力されたこれらの音声はそれぞれ、
前処理部１５および音声認識エンジン１７によって処理
され、新たな単語に対応する音声のそれぞれを表す複数
の音素列を生成する。これらの音素列は、単語モデル生
成ユニット３１に入力される。単語モデル生成ユニット
３１は、すべてのトレーニングエグエグザンプルとして
誤認識される最尤音素列から区別できるように処理し、
この音素列は、ユーザによって入力された単語のスペル
と関連付けられて単語−音素辞書２３に記憶される。ユ
ーザが辞書２３への単語の追加を終了した後、制御ユニ
ット２９は、音声認識エンジンの出力をスイッチ２０を
介して単語デコーダ２１に接続し戻すことによって、音
声認識システム１４の処理を通常モードに戻す。

【００１６】（単語トレーニング）図３は、上記の単語
モデル生成ユニット３１の構成をより詳細に示す図であ
る。

【００１７】図示するように、ユーザによって発話入力
された新たな単語に対応する音声部分ごとに、音声認識
エンジン１７から出力された各音素列を受信するメモリ
４１を備える。ユーザがトレーニングエグザンプルの入
力を終えた後（これは、ユーザインターフェース２７を
介してユーザから受信した入力から決定される）、この
メモリ４１に格納される音素列は、動的計画法（DP; Dy
namic Programming）整合ユニット（ＤＰマッチングユ
ニット）４３に印加される。

【００１８】本実施形態では、ＤＰマッチングユニット
４３は、音素列を比較し、それらの間の最良の整合（マ
ッチング）を決定するために動的計画法による整合（Ｄ
Ｐマッチング）技法を使用する。本実施形態では、ＤＰ
マッチングユニット４３は、すべての音素列の比較およ
びマッチングを同時に実行する。次いで入力系列の間の
特定されたマッチングは、音素列決定ユニット４５に入
力され、音素列決定ユニット４５は、このマッチングを
用いて、入力音素列と最もマッチする音素列を決定す
る。

【００１９】当業者なら理解するであろうが、新たな単
語に対応する入力音声を表す各音素列は、すべての音素
の入力系列と最もマッチするこの未知の音素列に対し
て、挿入および削除を行うことが可能である。

【００２０】このことを図４に示す。図４は、新たな単
語に対応する入力音声の第１の音声部分を表す第１の音
素列（d¹ _i, d¹ _i+1, d¹ _i+2 ...と符号を付けている）
と、その新たな単語に対応する入力音声の第２の音声部
分を表す第２の音素列（d² _j, d ² _j+1, d² _j+2 ...と符号
を付けている）と、２つの入力シーケンスに最もマッチ
するテキストの音素の標準シーケンスを表す音素列
（p_n, p_n+1, p_n+2 ...と符号を付けている）との間の可
能なマッチングを示す。

【００２１】図４に示すように、ＤＰマッチングユニッ
ト４３により、音素の標準シーケンスに対して、第１の
音素列および第２の音素列のどちらでも音素の挿入（挿
入された音素d¹ _i+3およびd² _j+1で表す）が可能とならな
ければならず、第１の音素列および第２の音素列からの
音素の削除（音素d¹ _i+1およびd² _j+2で表し、これらはど
ちらも、音素の標準シーケンスにおける２つの音素と共
にマッチングされる）も可能とならなければならない。

【００２２】（ＤＰマッチングの概要）音声処理の技術
分野の技術者は理解するように、動的計画法は、特徴量
シーケンス（本実施形態における特徴量は音素であると
する。）間の最適な整合を見つけるために使用される。
新たな単語に対応する入力音声の２つの音声部分がある
単純な場合（つまり、２つの音素列だけが整合される場
合）において、ＤＰマッチングユニット４３により、第
１のシーケンスからの音素列（第１の音声部分を表す）
と、第２のシーケンスからの音素列（第２の音素列を表
す）との間の可能なマッチングをそれぞれ表す複数の動
的計画法経路（ＤＰパス）を同時に伝播させることによ
って、最適なマッチングが計算される。すべての経路
は、音素の２つの入力シーケンスの先頭である開始ヌル
・ノードで開始し、それらの経路が音素の２つのシーケ
ンスの終了である終了ヌル・ノードに達するまで伝播す
る。

【００２３】図５および図６に、実行されるマッチング
と、この経路伝播の略図を示す。具体的には、図５は、
第１の音声部分を表す第１の音素列に対して提供される
水平軸と、第２の音声部分を表す第２の音素列に対して
提供される垂直軸とを有する直交座標プロットを示して
いる。開始ヌル・ノードφ_ｓは左上のコーナで提供さ
れ、終了ヌル・ノードφ_ｅは右下のコーナで提供されて
いる。

【００２４】図６に示すように、第１の音素列は水平軸
に沿って提供され、第２の音素列は垂直軸下方に提供さ
れる。図６は、第１の音素列の音素と第２の音素列の音
素との間の可能なマッチング（または復号化）をそれぞ
れ表すいくつかの格子点も示す。例えば、格子点２１
は、第１の音素列の音素d¹ ₃と第２の音素列の音素d² ₁と
の間の可能なマッチングを表す。図６は、第１の音素列
と第２の音素列の間の３つの可能なマッチングを表し、
開始ヌル・ノードφ_ｓで開始し、かつ格子点を介して終
了ヌル・ノードφ_ｅまで伝播する３つのＤＰパスｍ１、
ｍ２、およびｍ３も示す。

【００２５】第１の音素列および第２の音素列の間の最
良マッチングを決定するために、ＤＰマッチングユニッ
ト４３は、伝播させるＤＰパスごとにスコアを保持す
る。そのスコアは、経路に沿ってマッチングされる音素
の全体の類似性に依存する。加えて、マッチングされる
音素列の削除および挿入の数を制限するために、動的計
画法による各ＤＰパスの伝播に対してある制約が課され
る（ＤＰ制約）。

【００２６】図７に、本実施形態で用いられるＤＰ制約
を示す。具体的には、ＤＰパスが第１の音素列の音素d¹
_iと第２の音素列の音素d² _jの間のマッチングを表す格子
点(i, j)で終了する場合、そのＤＰパスは、格子点(i+
1, j)、(i+2, j)、(i+3, j)、(i, j+1)、(i+1, j+1)、
(i+2,j+1)、(i,j+2)、(i+1,j+2)、そして(i,j+3)に伝播
し得る。したがって、これらの伝播により、実際に発声
された音素のテキストに対応する音素の未知の標準シー
ケンスに対して、第１の音素列および第２の音素列中の
音素の挿入および削除が可能となる。

【００２７】前述と同様に、ＤＰマッチングユニット７
８は、ＤＰパスごとにスコアを保持する。そのスコアは
経路に沿ってマッチングされる音素の類似性に依存す
る。したがって、点(i, j)で終了する経路が、これら他
の点まで伝播するとき、動的計画法プロセスにより、そ
うすることのそれぞれの「コスト」が、点(i, j)で終了
する経路についての累積スコアに加えられ、その点に関
連するスコア（SCORE(i,j)）中に記憶される。本実施形
態では、このコストは、任意の挿入される音素に対する
挿入確率、任意の削除に対する削除確率、および第１の
音素列からの音素と第２の音素列からの音素の間の新た
なマッチングに対する復号化確率を含む。具体的には、
挿入があるとき、累積スコアに所与の音素を挿入する確
率を乗じる。削除があるとき、累積スコアに音素を削除
する確率を乗じる。復号化があるとき、累積スコアに２
つの音素を復号化する確率を乗じる。

【００２８】これらの確率計算を可能とするために、シ
ステムは、すべての可能な音素の結合に対する確率をメ
モリ４７中に記憶する。本実施形態では、第１の音素列
または第２の音素列からの音素の削除は、復号化と同様
に扱われる。これは、単に削除を別の音素として扱うこ
とによって達成される。したがって、システムに既知の
４３個の音素がある場合、システムは、可能な音素の復
号化および削除ごとに１８９２（＝４３×４４）個の復
号化／削除確率を記憶することになる。

【００２９】このことを図８に示す。図８は、音素/ax/
に対して記憶される可能な音素の復号化を示し、削除音
素（φ）を可能性のうちの１つとして含む。当業者は理
解するであろうが、所与の音素に対するすべての復号化
確率の合計は、他の確率がないので、１にならなければ
ならない。これらの復号化／削除確率に加えて、可能な
音素の挿入ごとに４３個の挿入確率（（PI( )）もメモ
リ４７中に記憶される。後で説明するように、これらの
確率はあらかじめトレーニング・データから決定され
る。

【００３０】本実施形態では、第２の音素列からの音素
（d² _j）を第１の音素列からの音素（d¹ _i）として復号化
する確率として計算するために、システムは、すべての
可能な音素ｐにわたって、無条件に発生する音素ｐの確
率によって重み付けされた、音素ｐを第１の音素列の音
素d¹ _iとして復号化する確率と、第２の音素列の音素d² _j
として復号化する確率とを合計する。すなわち、

【００３１】

【００３２】上式で、N_pはシステムに既知の音素の合計
数であり、P(d¹ _i｜p_r）は、音素p_rを第１の音素列の音
素d¹ _iとして復号化する確率であり、p(d² _j｜p_r)は、音
素p_rを第２の音素列の音素d² _jとして復号化する確率で
あり、P(p_r)は無条件に発生する音素p_rの確率である。

【００３３】次いで、スコア伝播について説明するため
に、以下の例を検討する。具体的には、格子点(i, j)か
ら格子点(i+2,j+1)に伝播するとき、第１の音素列から
の音素d¹ _i+1が第２の音素列に対して挿入され、第１の
音素列からの音素d¹ _i+2と、第２の音素列からの音素d²
_j+1の間に復号化がある。したがって、点(i+2,j+1)に伝
播するスコアは以下のように与えられる。

【００３４】

【００３５】当業者は理解するであろうが、この経路伝
播の間、いくつかの経路は、同じ格子点で遭遇すること
になる。最良の経路が伝播されるために、各格子点でス
コア間の比較が行われ、最良のスコアを有する経路が続
行し、他の経路は廃棄される。経路が遭遇し、経路が廃
棄される場合に２つの入力音素列の間の最良マッチング
を決定することができるために、廃棄されなかった経路
がそこから伝播した格子点を指すバックポインタが記憶
される。このようにして、ＤＰマッチングユニット７８
が終了ヌル・ノードまで経路を伝播し、全体の最良のス
コアを有する経路が決定された後、後戻りルーチンを使
用して２つの入力音素列中の音素の最良マッチングを特
定することができる。次いで音素列決定ユニット７９に
よりこのマッチングが使用され、入力音素列を最も良く
表す音素のシーケンスが決定される。本実施形態でこの
ことが達成されることについては、後ほど説明する。

【００３６】（ＤＰマッチングの詳細な説明）次に、
（新たな単語の２つの音声部分についての）２つの音素
列がマッチングされるときの、ＤＰマッチングユニット
４３の処理について詳細に説明する。まず、すべてのノ
ードに関連するスコアが適切な初期値にセットされる。
次いでＤＰマッチングユニット４３は、開始ヌル・ノー
ド（φ_ｓ）から、上述したＤＰ制約によって定義される
すべての可能な開始点に経路を伝播させる。次に、開始
した経路に対するＤＰスコアは、開始ヌル・ノードから
それぞれの開始点へ通過することに対する遷移スコアに
等しくセットされる。次いでこのようにして開始した経
路は、第１の音素列および第２の音素列によって定義さ
れる格子点の配列を介して、それらの経路が終了ヌル・
ノードφ_ｅに達するまで伝播する。これを行うために、
ＤＰマッチングユニット７８は、ラスタ状技法で格子点
の配列を列ごとに処理する。

【００３７】このラスタ処理の制御に使用される制御ア
ルゴリズムを図９に示す。

【００３８】図に示すように、ステップｓ１４９では、
システムは第１の音素列ループポインタｉおよび第２の
音素列ループポインタｊを０に初期化する。次に、ステ
ップｓ１５１では、システムは、第１の音素列ループポ
インタｉと第１の音素列中の音素の数（Nseq1）とを比
較する。当初の第１の音素列ループポインタｉは０にセ
ットされ、したがって処理はステップｓ１５３に進み、
そこで類似の比較が、第２の音素列ループポインタｊに
ついて第２の音素列（Nseq2）中の音素の合計数に対し
て行われる。当初のループポインタｊも０にセットさ
れ、したがって処理はステップｓ１５５に進み、そこで
システムは、上記したＤＰ制約を用いて、格子点(i, j)
で終了する経路を伝播させる。システムがステップｓ１
５５で経路を伝播させる方式については後述する。

【００３９】ステップｓ１５５の後、ループポインタｊ
はステップｓ１５７でインクリメントされ、処理はステ
ップｓ１５３に戻る。この処理が第２の音素列中のすべ
ての音素にわたってループした（それによって格子点の
現在の列を処理した）後、処理はステップｓ１５９に進
み、そこでループポインタｊが０にリセットされ、ルー
プポインタｉがインクリメントされる。次いで処理はス
テップｓ１５１に戻り、そこで格子点の次の列に対して
類似の手順が実行される。格子点の最後の列を処理した
後、処理はステップｓ１６１に進み、そこでループポイ
ンタｉが０にリセットされ、処理は終了する。

【００４０】（伝播）図９に示したステップｓ１５５で
は、システムは、上述したＤＰ制約を用いて、格子点
(i, j)で終了する経路を伝播させる。図１０は、この伝
播ステップの実行に係る処理ステップを示すフローチャ
ートである。

【００４１】図に示すように、ステップｓ２１１では、
システムは２つの変数mxiおよびmxjの値をセットし、第
１の音素列ループポインタi2および第２の音素列ループ
ポインタj2を初期化する。ループポインタi2およびj2
は、点(i, j)で終了する経路がそこに伝播することがで
きるすべての格子点にわたってループするように提供さ
れ、変数mxiおよびmxjは、i2およびj2がＤＰ制約によっ
て許可される値だけしか取ることができないことを保証
するために使用される。

【００４２】具体的には、mxiは、第１の音素列中の音
素の数以下である場合にはｉとmxhops（ＤＰ制約によっ
て許可された「ホップ（hops）」の最大数よりも１つ以
上大きい値を有する定数であり、経路はせいぜいシーケ
ンスに沿って３音素だけ離れた音素までしかジャンプす
ることができないので、本実施形態では値４にセットさ
れる）との和に等しくセットされ、そうでない場合は、
第１の音素列中の音素の数（Nseq1）にセットされる。
同様に、mxjは、第２の音素列中の音素の数以下である
場合にはｊとmxhopsの和にセットされ、そうでない場合
は、第２の音素列中の音素の数（Nseq2）にセットされ
る。最後にステップｓ２１１では、システムは、第１の
音素列ループポインタi2が第１の音素列ループポインタ
ｉの現在値に等しくなるように初期化し、第２の音素列
ループポインタj2が第２の音素列ループポインタｊの現
在値に等しくなるように初期化する。

【００４３】次いで処理はステップｓ２１９に進み、そ
こでシステムは、第１の音素列ループポインタi2と変数
mxiとを比較する。ステップｓ２１１では、ループポイ
ンタi2はｉにセットされ、mxiはi+4に等しくなるように
セットされるので、処理はステップｓ２２１に進み、そ
こで類似の比較が第２の音素列ループポインタj2に対し
て行われる。次いで処理はステップｓ２２３に進み、当
初i2がｉに等しく、j2がｊに等しいので、同じ格子点
(i, j)に経路がとどまらないことがこのステップｓ２２
３により保証される。したがって、処理はステップｓ２
２５に進み、そこで問合わせ音素ループポインタj2が１
だけインクリメントされる。

【００４４】次いで処理はステップｓ２２１に戻り、そ
こでj2の増分された値がmxjと比較される。j2がmxjより
も小さい場合、処理はステップｓ２２３に戻り、次いで
ステップｓ２２７に進む。ステップｓ２２７は、両方の
音素列に沿った過大なホップを防止するように動作可能
である。このことはステップｓ２２７により、i2+j2が
ｉ+ｊ+mxhopsよりも小さい場合にだけ経路が伝播するこ
とを保証することによって行われる。これにより、図７
に示す点の三角形の組だけを処理することが保証され
る。この条件を満足する場合、処理はステップｓ２２９
に進み、そこでシステムは、格子点(i, j)から格子点
（i2，j2）への遷移スコア（TRANSCORE）を計算する。
本実施形態では、遷移スコアおよび累積スコアは確率ベ
ースであり、この確率を掛け合わせることによって結合
される。しかし本実施形態では、乗算演算の必要をなく
し、かつ高浮動小数点精度の使用を回避するために、こ
のシステムでは遷移スコアおよび累積スコアに対する対
数確率を使用する。したがって、ステップｓ２３１で
は、システムは、この遷移スコアを点(i, j)について記
憶される累積スコアに加え、これを一時ストアTEMPSCOR
Eにコピーする。

【００４５】前述と同様に、本実施形態では、２つ以上
のＤＰパスが同じ格子点で遭遇する場合、経路のそれぞ
れに関連する累積スコアが比較され、最良の経路（すな
わち、最良のスコアを有する経路）以外のすべてが廃棄
される。したがってステップｓ２３３では、システム
は、TEMPSCOREと、点（i2, j2）について既に記憶して
いる累積スコアとを比較し、最大のスコアをscore（i2,
j2）中に記憶し、適切なバックポインタを記憶してど
の経路がより大きいスコアを有したかを識別する。次い
で処理はステップｓ２２５に戻り、そこでループポイン
タj2が１だけインクリメントされ、処理はステップｓ２
２１に戻る。第２の音素列ループポインタj2が値mxjに
達した後、処理はステップｓ２３５に進み、そこでルー
プポインタj2が初期値ｊにリセットされ、第１の音素列
ループポインタi2が１だけインクリメントされる。次い
で処理はステップｓ２１９に戻り、そこで処理は図７に
示す点の次の列に対して再び開始される。経路が点(i,
j)から図７に示す他のすべての点に伝播した後、処理は
終了する。

【００４６】（遷移スコア）ステップｓ２２９では、あ
る点(i, j)から別の点（i2, j2）への遷移スコアが計算
される。これには、遷移の開始点および終点に対する適
切な挿入確率、削除確率、および復号化確率を計算する
ことが含まれる。次に、本実施形態でこれを達成する方
式を図１１および１２を参照しながら説明する。

【００４７】図１１は、格子点(i, j)から格子点（i2,
j2）に伝播する経路に対する遷移スコアの計算に係る一
般的な処理ステップを示すフローチャートである。

【００４８】ステップｓ２９１では、システムは、挿入
される音素を挿入することに対するスコア（前述の確率
PI( )の対数）を、点(i, j)と点（i2, j2）の間に挿入
される第１の音素列ごとに計算し、これを適切なストア
INSERTSCOREに加える。次いで処理はステップｓ２９３
に進み、そこでシステムは、点(i, j)から点（i2, j2）
の間に挿入される第２の音素列ごとに類似の計算を実行
し、これをINSERTSCOREに加える。前述と同様に、計算
されるスコアは対数ベースの確率であり、したがってIN
SERTSCORE中のスコアの追加は、対応する挿入確率の乗
算に対応する。次いで処理はステップｓ２９５に進み、
そこでシステムは、点(i, j)から点（i2, j2）に伝播す
る際の任意の削除および／または任意の復号化に対する
スコアを（上記の式（１）に従って）計算し、これらの
スコアを適切なストアDELSCOREに加え、記憶する。次い
で処理はステップｓ２９７に進み、そこでシステムは、
INSERTSCOREとDELSCOREを加え、その結果をTRANSCOREに
コピーする。

【００４９】次に、点(i, j)から点（i2, j2）に伝播す
る際の削除スコアおよび／または復号化スコアを決定す
るためのステップｓ２９５に係る処理を、図１２を参照
しながら詳細に説明する。

【００５０】図に示すように、ステップｓ３２５では当
初、システムは、第１の音素列ループポインタi2が第１
の音素列ループポインタｉに等しいかどうかを判定す
る。それらが等しい場合、処理はステップｓ３２７に進
み、そこで音素ループポインタｒが１に初期設定され
る。音素ポインタｒは、前述の式（１）の計算の間、シ
ステムに既知の可能な各音素にわたってループするため
に使用される。

【００５１】次いで処理はステップｓ３２９に進み、そ
こでシステムは、音素ポインタｒと、システムに既知の
音素の数Nphonemes（本実施形態では４３に等しい）と
を比較する。当初ｒはステップｓ３２７で１にセットさ
れ、したがって処理はステップｓ３３１に進み、そこで
システムは、音素p_rが生じる対数確率（すなわちlogP(p
_r)）を決定し、これを一時スコアTEMPDELSCOREにコピー
する。第１の音素列ループポインタi2が注目音素ｉに等
しい場合、システムは、点(i, j)から点(i,j+1)、(i, j
+2)、または(i, j+3)のうちの１つで終了する経路を伝
播している。したがって、第１の音素列にない第２の音
素列の音素がある。その結果、ステップｓ３３３で、第
１の音素列から音素p_rが削除される対数確率（すなわち
log Ｐ(φ｜p_r)）が、システムによりTEMPDELSCOREに加
えられる。

【００５２】次いで処理はステップｓ３３５に進み、そ
こでシステムは、音素p_rを第２の音素列d² _j２として復
号化する対数確率（すなわちlog Ｐ(d² _j2｜p_r)）を、TE
MPDELSCOREに加える。次いで処理はｓ３３７に進み、そ
こでTEMPDELSCOREとDELSCOREの「対数加算」が実行さ
れ、その結果がDELSCORE中に記憶される。

【００５３】本実施形態では、（前述の式（１）によ
る）復号化確率の計算は確率の総和および乗算を含み、
かつ対数確率を用いているので、この「対数加算」オペ
レーションは、TEMPDELSCOEおよびDELSCOREを対数確率
から確率に効果的に変換して戻し、それらを加え、次い
でそれらを対数確率に再変換して戻す。この「対数加
算」は、音声処理の技術分野で周知の技法であり、例え
ばLee,Kai-Fu著“Automatic Speech Recognition. The
development of the (Sphinx) system”, Kluwer Acade
mic Publishers, pp28-29, (1989) に記載されている。

【００５４】ステップｓ３３７の後、処理はステップｓ
３３９に進み、そこで音素ループポインタｒが１だけイ
ンクリメントされ、次いで処理はステップｓ３２９に戻
り、そこで類似の処理がシステムに既知の次の音素に対
して実行される。この計算がシステムに既知の４３個の
音素のそれぞれに対して実行された後、処理は終了す
る。

【００５５】ステップｓ３２５で、システムがi2がｉに
等しくないと判定した場合、処理はステップｓ３４１に
進み、そこでシステムは、第２の音素列ループポインタ
j2が第２の音素列ループポインタｊに等しいかを判定す
る。それらが等しい場合、処理はステップｓ３４３に進
み、そこで音素ループポインタｒが１に初期化される。

【００５６】次いで処理はステップｓ３４５に進み、そ
こで音素ループポインタｒがシステムに既知の音素の総
数（Nphonemes）と比較される。当初ｒはステップｓ３
４３で１にセットされ、したがって処理はステップｓ３
４７に進み、そこで音素p_rが発生する対数確率が決定さ
れ、一時ストアTEMPDELSTOREにコピーされる。次いで処
理はステップｓ３４９に進み、そこでシステムは、音素
p_rが第１の音素列d¹ _i2として復号化される対数確率を決
定し、これをTEMPDELSCOREに加える。第２の音素列ルー
プポインタj2がループポインタｊに等しい場合、システ
ムは、点(i, j)から点(i+1, j)、(i+2, j)、または(i+
3, j)のうちの１つで終了する経路を伝播している。し
たがって、第２の音素列にない第１の音素列の音素があ
る。その結果ステップｓ３５１で、システムは、第２の
音素列から音素p_rが削除される対数確率を決定し、これ
をTEMPDELSCOREに加える。

【００５７】次いで処理はステップｓ３５３に進み、そ
こでシステムは、TEMPDELSCOREとDELSCOREの対数加算を
実行し、その結果をDELSCORE中に記憶する。次に、音素
ループポインタｒがステップｓ３５５で１だけ増分さ
れ、処理はステップｓ３４５に戻る。システムに既知の
すべての音素に対して処理ステップｓ３４７〜ｓ３５３
を実行した後、処理は終了する。

【００５８】ステップｓ３４１で、システムが第２の音
素列ループポインタj2がループポインタｊに等しくない
と判定した場合、処理はｓ３５７に進み、そこで音素ル
ープポインタが１に初期化される。次いで処理はステッ
プｓ３５９に進み、そこで音素カウンタｒがシステムに
既知の音素の数（Nphonemes）と比較される。当初ｒは
ステップｓ３５７で１にセットされ、したがって処理は
ステップｓ３６１に進み、そこで音素p_rが発生する対数
確率が決定され、これが一時ストアTEMPDELSTOREにコピ
ーされる。ループポインタj2がループポインタｊに等し
くない場合、システムは、点(i, j)から点(i+1, j+1)、
(i+1, j+2)、または(i+2, j+1)のうちの１つで終了する
経路を伝播している。したがって、削除はなく、挿入と
復号化のみがある。したがって、処理はステップｓ３６
３に進み、そこで音素p_rを第１の音素列d¹ _i2として復号
化する対数確率がTEMPDELSCOREに加えられる。

【００５９】次いで処理はステップｓ３６５に進み、そ
こで音素p_rを第２の音素列d² _j2として復号化する対数確
率が決定され、TEMPDELSCOREに加えられる。次いでステ
ップｓ３６７で、システムは、TEMPDELSCOREとDELSCORE
の対数加算を実行し、その結果をDELSCORE中に記憶す
る。次いで音素カウンタｒはステップｓ３６９で１だけ
インクリメントされ、処理はステップｓ３５９に戻る。
システムに既知のすべての音素に対して処理ステップｓ
３６１〜ｓ３６７を実行した後、処理は終了する。

【００６０】（後戻りおよび音素列生成）前述と同様
に、ＤＰパスが終了ヌル・ノードφ_ｅに伝播した後、最
良の累積スコアを有する経路が識別され、ＤＰマッチン
グユニット４３が、バックポインタを介して後戻り（ba
cktracking）する。そのバックポインタは、音素の２つ
の入力シーケンスの間の最良マッチングを特定するため
に、経路に対してステップｓ２３３で記憶される。本実
施形態では、音素列決定ユニット４５は、メモリ８１中
に記憶されている上述した復号化確率を用いて、最良マ
ッチングの音素のマッチングペア(d¹ _m、d² _n)ごとに、

【００６１】P(d¹ _m｜p)P(d² _n｜p)P(p) （３）

【００６２】を最大にする未知の音素ｐを決定する。こ
の音素ｐは、音素のマッチングペアを最良に表すように
取られた音素である。音素ｐを識別することにより、マ
ッチングペアごとに、２つの入力音素列を最良に表す標
準音素のシーケンスが決定ユニット４５によって識別さ
れる。本実施形態では、次いでこの標準シーケンスが決
定ユニット４５によって出力され、ユーザによって入力
された新たな単語のテキストと共に単語−音素辞書２３
中に記憶される。

【００６３】＜実施形態２＞上述の実施形態１では、Ｄ
Ｐマッチングユニット４３が２つの音素列のマッチング
を行う方式と、音素列決定ユニット４５がこの最良マッ
チングが与えられた２つの入力シーケンスを最良に表す
音素のシーケンスを得る方式を説明した。当業者は理解
するであろうが、新たな単語をトレーニングするとき、
ユーザは、２つ以上の音声部分を入力することができ
る。したがって、ＤＰマッチングユニット４３は、どん
な数の入力音素列もマッチングできることが好ましく、
決定ユニット４５は、それらの間の最良マッチングが与
えられるどんな数の入力音素列も最良に表す音素列も導
出できることが好ましい。次に、ＤＰマッチングユニッ
ト４３が３つの入力音素列を共にマッチングを行う方式
と、決定ユニット４５がこの３つの入力音素列を最良に
表す音素列を決定する方法とを説明する。

【００６４】図１３は、３つの音素列それぞれが各次元
に対応する３次元座標プロットを示す図である。この場
合において、３次元格子点はＤＰマッチングユニット４
３によって処理される。ＤＰマッチングユニット４３
は、図１３に示すプロットの格子点の３次元ネットワー
クを介する経路のそれぞれを伝播し、スコア化するため
に、同じ遷移スコアおよび同じ音素確率と、類似のＤＰ
制約とを使用する。

【００６５】次に、図１４〜１７を参照しながら、この
場合にＤＰマッチングユニット４３によって実施される
３次元ＤＰマッチングについて詳細に説明する。当業者
は図１４〜１７と図９〜１２を比較することによって理
解するであろうが、処理される３次元ＤＰマッチング処
理は、余分の音素列を考慮に入れるためのいくつかの別
の制御ループの追加を除き、本質的に入力音素列が２つ
だけあるときの２次元ＤＰマッチング処理と同じであ
る。

【００６６】最初の場合と同様に、すべてのノードに関
連するスコアが初期化され、次いでＤＰマッチングユニ
ット４３は、開始ヌル・ノードφ_ｅからＤＰ制約によっ
て定義される開始点のそれぞれに、ＤＰパスを伝播させ
る。次いでＤＰマッチングユニット４３は、これらの開
始点から終了ヌル・ノードφ_ｅへのこれらの経路を、検
索空間中の点をラスタ状に処理することによって伝播さ
せる。

【００６７】このラスタ処理を制御するために使用され
る制御アルゴリズムを図１４に示す。図１４と図９の比
較からわかるように、この制御アルゴリズムは、マッチ
ングすべき音素列が２つだけあるときに使用される制御
アルゴリズムと同じ一般形式を有する。これらの差は、
伝播ステップｓ４１９がより複雑になり、第３音素列に
よって引き起こされる追加の格子点を処理するために必
要な照会ブロックｓ４２１、ブロックｓ４２３、および
ブロックｓ４２５が提供されることだけである。図１７
に示す制御アルゴリズムがどのように動作するかをより
良く理解するために、前述の図１２の説明を参照された
い。

【００６８】図１５は、図１０に示す伝播ステップｓ４
１９に関係する処理ステップを示すフローチャートであ
る。図１０に前述の２次元の場合についての対応するフ
ローチャートを示す。図１５と図１０の比較からわかる
ように、２つのフローチャートの主な差は、第３音素列
による追加の格子点を処理するのに必要な追加の変数
（mxkおよびk2）および追加の処理ブロック（ｓ４５
１、ｓ４５３、ｓ４５５、ｓ４５７）である。図１５に
示すフローチャートに関係する処理ステップをより良く
理解するために、図１０の説明を参照されたい。

【００６９】図１６は、図１５の処理ステップの間にＤ
Ｐパスが点(i, j, k)から点(i2, j2, k2)に伝播すると
きの遷移スコアの計算に係る処理ステップを示すフロー
チャートである。図１１に前述の２次元の場合について
の対応するフローチャートを示す。図１６と図１１の比
較からわかるように、２つのフローチャートの主な差
は、第３音素列で挿入される音素についての挿入確率を
計算するための追加の処理ステップｓ４６１である。し
たがって、図１６に示すフローチャートに関係する処理
ステップをより良く理解するために、図１１の説明を参
照されたい。

【００７０】次に、点(i, j, k)から点(i2, j2, k2)に
伝播する際の削除および／または復号化スコアを決定す
るための、図１６のステップｓ４６３に関係する処理ス
テップを、図１７を参照しながらより詳細に説明する。

【００７１】まずシステムは、３つの音素列のうちのい
ずれかから何らかの音素の削除があったかを、i2、j2、
およびk2をそれぞれｉ、ｊ、およびｋと比較することに
よって（ステップｓ５２５〜ｓ５３７で）判定する。図
１７ａ〜１７ｄに示すように、８つの可能な状況に対し
て適切な復号化確率および削除確率を決定するように動
作する８つの主な分岐がある。各状況で実行される処理
は非常に類似しているので、それらの状況のうちの１つ
だけを説明する。

【００７２】具体的には、ステップｓ５２５、ｓ５２
７、およびｓ５３１で、システムが（i2＝ｉであるの
で）第１の音素列から削除があり、（j2≠ｊおよびk2≠
ｋであるので）他の２つの音素列から削除がなかったと
判定した場合、処理はｓ５４１に進み、そこで音素ルー
プポインタｒが１に初期化される。音素ループポインタ
ｒは、前述の式（１）に類似の式の計算の間、システム
に既知の可能な各音素にわたってループするために使用
される。

【００７３】次いで処理はステップｓ５４３に進み、そ
こでシステムは、音素ポインタｒとシステムに既知の音
素の数Nphonemes（本実施形態では４３に等しい）とを
比較する。当初のｒはステップｓ５４１で１にセットさ
れる。したがって処理はステップｓ５４５に進み、そこ
でシステムは、音素p_rが生じる対数確率を決定し、これ
を一時スコアTEMPDELSCOREにコピーする。

【００７４】次に、処理はステップｓ５４７に進み、そ
こでシステムは、第１の音素列中の音素p_rが削除される
対数確率を決定し、これをTEMPDELSCOREに加える。次い
で処理はステップｓ５４９に進み、そこでシステムは、
音素p_rが第２の音素列d² _j２として復号化される対数確
率を決定し、これをTEMPDELSCOREに加える。次いで処理
はステップｓ５５１に進み、そこでシステムは、音素p_r
が第３音素列d³ _k2として復号化される対数確率を決定
し、これをTEMPDELSCOREに加える。

【００７５】次に、処理はステップｓ５５３に進み、そ
こでシステムは、TEMPDELSCOREとDELSCOREの対数加算を
実行し、その結果をDELSCORE中に記憶する。次いで処理
はステップｓ５５５に進み、そこで音素ループポインタ
ｒが１だけインクリメントされる。次いで処理はステッ
プｓ５４３に戻り、そこでシステムに既知の次の音素に
対して類似の処理が実行される。システムに既知の４３
個の音素それぞれに対してこの計算を実行した後、処理
は終了する。

【００７６】図１７で実行される処理ステップと図１２
で実行されるステップとの比較からわかるように、復号
化および削除のためのＤＰマッチングアルゴリズム内で
計算される項は、式（１）と類似するが、第３音素列に
ついての追加の確率項を有する。具体的には、その追加
の確率項は以下の形式を有する。

【００７７】

【００７８】２次元の場合と同様に、ＤＰパスが終了ヌ
ル・ノードφ_ｅを通って伝播した後、ＤＰマッチングユ
ニット７８は、最良のスコアを有する経路を識別し、こ
の経路に対して記憶されたバックポインタを使用してこ
の最良の経路に沿う３つ組のマッチング音素（すなわ
ち、３つのシーケンスでのマッチング音素）を識別す
る。本実施形態では、音素列決定ユニット７９は、３つ
の入力音素列を最良に表す音素の標準シーケンスを生成
するために、これらの３つ組のマッチング音素(d¹ _m、d²
_n、d³ _o)ごとに、

【００７９】 P(d¹ _m｜p)P(d² _n｜p)P(d³ _o｜p)P(p) （５）

【００８０】を最大にする音素ｐを決定する。

【００８１】ＤＰマッチングユニット４３が音素の２つ
または３つのシーケンスのマッチングを行う方式を上記
で説明した。３つの音素列の場合に対して実証したよう
に、それ以上の音素列の追加は、単に、追加の音素列を
反映するための、制御アルゴリズム中へのいくつかのル
ープの追加しか必要としない。したがって当業者は理解
するであろうが、ＤＰマッチングユニット４３は、入力
されたシーケンスの数を識別し、次いで適切な制御変数
を各入力シーケンスに対して提供することを保証するこ
とによって、どんな数の入力音素列の間の最良マッチン
グも特定することができる。次いで決定ユニット４５
は、これらのマッチング結果を用いて入力音素列を最良
に表す音素のシーケンスを識別することができる。

【００８２】＜実施形態３＞音声認識システムで使用さ
れる単語−音素辞書にユーザが単語モデルを追加するこ
とが可能となるシステムを上記で説明した。入力された
新たな単語は、その新たな単語の音声部分と最も良く一
致するシーケンスすなわち音素と共に辞書に記憶され
る。

【００８３】当業者は理解するであろうが、多くの単語
は異なる発音を有する。この場合、ユーザは、異なる発
音を異なる単語モデルとして入力することができる。あ
るいは、１つの単語に対して、異なる発音を表す音素列
の格子を生成し、記憶することもできる。

【００８４】以下、新たな単語の異なる発音を表す音素
列を生成することのできる方式と、そのような音素列の
格子を生成することのできる方法とを示す第３の実施形
態を説明する。この第３実施形態では、前述の単語トレ
ーニングの方法が使用され、単語の多数の例示的音声復
号化から取得された単語に対する単一仮定音素列がまず
生成される。次いでこの仮定バージョンが使用されて、
単語のすべての復号化が、仮定形へのその類似性に従っ
てスコアリングされる。さらに、類似のスコアを有する
バージョンがクラスタ化される。複数のクラスタが現れ
る場合、各クラスタについての仮定表示が決定され、元
の復号化は新たな仮定表示に対して再スコアリングされ
再クラスタ化される。次いでこのプロセスは、ある収束
基準が達成されるまで反復される。以下では、図１８〜
２０を参照しながらこのプロセスをより詳細に説明す
る。

【００８５】図１８は、本実施形態の単語モデル生成ユ
ニット３１の構成を示すブロック図である。

【００８６】図に示すように、単語生成ユニット３１
は、実施形態１の単語生成ユニットと同様である。具体
的には、単語生成ユニット３１は、ユーザによって入力
された新たな単語に対応する入力音声部分ごとに音声認
識エンジン１７から出力された各音素列（Dⁱ）を受信す
るメモリ４１を含む。ユーザがトレーニングエグザンプ
ルの入力を終了した後、メモリ４１中に記憶される音素
列は、音素列間の最良マッチングを前述の方式で決定す
るＤＰマッチングユニット４３に印加される。

【００８７】次いで音素列決定ユニット４５は、入力音
素列に最良に一致する音素列を（やはり前述の方式で）
決定する。次いでこの最良の音素列（D^best）および元
の入力音素列（Dⁱ）が分析ユニット６１に渡され、分析
ユニット６１は、最良の音素列と入力シーケンスのそれ
ぞれとを比較し、入力シーケンスのそれぞれがどの程度
最良のシーケンスに対応するかを判定する。入力シーケ
ンスが最良のシーケンスと同じ長さである場合、本実施
形態では、分析ユニットはこのことを次式に従い行う。

【００８８】

【００８９】上式で、dⁱ _jおよびd^best _jは、それぞれ現
在入力シーケンスからの対応する音素と、代表シーケン
スである。他方、入力シーケンスが最良のシーケンスと
同じ長さでない場合、本実施形態では、分析ユニット
は、前述の動的計画法など技法を用いて２つのシーケン
スを比較する。

【００９０】次いで分析ユニット６１は、クラスタ化ア
ルゴリズムを用いてこれらの確率のそれぞれを解析し、
これらの確率スコア内で異なるクラスタを見つけること
ができるかを識別する。これは、入力シーケンスが入力
単語に対して異なる発音を含むことを示す。

【００９１】このことを図１９を参照して説明する。図
１９は、前述の方式で決定された確率スコアをｘ軸上に
プロットし、そのスコアを有するトレーニング・シーケ
ンスの数をｙ軸上にプロットしている（当業者は理解す
るであろうが、実際には、多くのスコアが正確に同じに
なる可能性が低いので、このプロットはヒストグラムで
ある）。このプロットの２つのピーク７１および７３
は、トレーニング単語の２つの異なる発音があることを
示す。分析ユニット６１がクラスタ化アルゴリズムを実
行した後は、分析ユニット６１は、入力音素列（Dⁱ）の
それぞれを、異なるクラスタのうちの１つに割り当て
る。次いで分析ユニット６１は、各クラスタの入力音素
列をＤＰマッチングユニット４３に出力して戻し、ＤＰ
マッチングユニット４３は、各クラスタ中の入力音素列
を別々に処理し、その結果音素列決定ユニット４５は、
クラスタごとに代表音素列を決定することができる。

【００９２】本実施形態では、ＤＰマッチングユニット
４３があるクラスタの音素列を処理するとき、他のクラ
スタの音素列はメモリ４７中に記憶される。クラスタご
との代表シーケンスが決定された後、次いで分析ユニッ
ト６１は、入力音素列のそれぞれをクラスタ代表シーケ
ンスのすべてと比較し、次いで入力音素列を再クラスタ
化する。次いでこの全プロセスは、適切な収束基準が達
成されるまで反復される。

【００９３】そして、このプロセスを用いて識別される
クラスタごとの代表シーケンスを、単語のスペル関連付
けて単語−音素辞書２３中に記憶することができる。し
かし、図１８に示すように、本実施形態では、クラスタ
表示は音素列結合ユニット６３に入力され、音素列結合
ユニット６３は、代表音素列を結合し、標準順方向／逆
方向打切り（satndard forward/backward truncation）
手法を用いて音素格子を生成する。

【００９４】このことを図２０および２１に示す。具体
的には、図２０は、シーケンスＡ−Ｂ−Ｃ−ＤおよびＡ
−Ｅ−Ｃ−Ｄによって表される音素の２つのシーケンス
７５および７７を示し、図２１は、順方向／逆方向打切
り手法を用いて、図２０に示す２つのシーケンスを結合
することによって得られた音素格子７９を示している。
音素結合ユニット６３によって出力される音素格子７９
は、単語のスペルと共に単語−音素辞書２３中に記憶さ
れる。

【００９５】当業者は理解するであろうが、格子中の異
なる発音をこのようにして記憶することにより、音素列
に対して必要な単語−音素辞書中の記憶容量が低減され
る。

【００９６】（トレーニング）前述の実施形態では、Ｄ
Ｐマッチングユニット７８は、音素マッチング処理でＤ
Ｐパスをスコア化するために１８９２個の復号化／削除
確率および４３個の挿入確率を使用した。本実施形態で
は、これらの確率はトレーニング・セッションの間にあ
らかじめ決定され、メモリ４７中に記憶される。具体的
には、このトレーニング・セッションの間に、音声認識
システムが使用され、２つの方式で音声の音素復号化が
提供される。この第１の方式では、音声認識システムは
音声および発話された実際の単語の両方を備える。した
がって音声認識システムは、この情報を使用して、発話
された単語の標準音素列を生成し、音声の理想的な復号
化を得ることができる。次いで音声認識システムは同じ
音声を復号化するために使用されるが、今回は発話され
た実際の単語の知識なしに復号化する（以下、自由復号
化（free decoding）と呼ぶ）。自由復号化から生成さ
れた音素列は、標準音素列とは以下のように異なる。

【００９７】（i）自由復号化は間違いを犯す可能性が
あり、標準シーケンス中に存在しない音素を復号化中に
挿入したり、あるいは標準シーケンス中に存在する復号
化中の音素を省略する可能性がある。（ii）ある音素が別の音素と混同される可能性がある。（iii）音声認識システムが音声を完全に復号化した場
合でも、会話の発音と標準発音の間の差のために、自由
復号化は標準復号化とは異なる可能性がある。例えば会
話の音声では単語“and”（その標準形は/ae/ /n/ /d/
および/ax/ /n/ /d/）は、よく/ax/ /n/、さらには/n/
に減じられる。

【００９８】したがって、多数の発話がその標準形およ
び自由復号化形に復号化される場合、（前述の動的計画
法に類似の）動的計画法を使用してその２つのマッチン
グを行うことができる。これにより、音素が標準的には
ｐであるべきであったときに、ｄと復号化された発話の
カウントが提供される。これらのトレーニング結果よ
り、上記の復号化確率、削除確率、および挿入確率は、
以下のようにして近似することができる。

【００９９】音素ｄが挿入である確率は、次式によって
与えられる。

【０１００】

【０１０１】上式で、I_dは自動音声認識システムが音素
ｄを挿入した回数であり、n₀ ^dは標準シーケンスに対し
て挿入される復号化音素の合計数である。

【０１０２】音素ｐを音素ｄとして復号化する確率は、
次式によって与えられる。

【０１０３】

【０１０４】上式で、 C_dpは、ｐとすべきであったとき
に自動音声認識システムがｄを復号化した回数であり、
n_pは、ｐとすべきであったときに自動音声認識システム
が任意の音素を復号化した（削除を含む）回数である。

【０１０５】音素ｐを復号化すべきであったときに何も
復号化しなかった（すなわち削除した）確率は、次式に
よって与えられる。

【０１０６】

【０１０７】上式で、O_pは、自動音声認識システムがｐ
とすべきであったときに何も復号化しなかった回数であ
り、n_pは上記と同様である。

【０１０８】＜その他の実施形態＞なお、上述の説明全
体にわたって用語「音素（phoneme）」を使用したが、
その言語的な意味に限定されるものではなく、標準の音
声認識システムで通常識別され使用されるさまざまなサ
ブワード単位をも含む。具体的には、用語「音素」また
は「音韻」は、単音（phone）、音節（syllable）、ま
たは日本語かな表記等のいかなるサブワード単位もカバ
ーする。同様に、用語「単語（word）」もその言語的な
意味に限定されるものではなく、例えば形態素等の単位
を含むものである。

【０１０９】当業者は理解するであろうが、音素列のＤ
Ｐマッチングの上記の説明は、例示的なものとして与え
たに過ぎず、さまざまな修正形態を作成することができ
る。例えば、格子点を通って経路を伝播させるためにラ
スタ・スキャニング技法を利用したが、格子点を通って
経路を漸進的に伝播させる他の技法を利用することもで
きる。加えて、当業者は理解するであろうが、上述のＤ
Ｐ制約以外のＤＰ制約を使用してマッチング・プロセス
を制御することもできる。

【０１１０】上記の実施形態では、ＤＰマッチングユニ
ットが、上記の式（１）を使用して遷移ごとの復号化ス
コアを計算した。式（１）に従ってシステムに既知のす
べての可能な音素にわたって和をとるかわりに、総和内
の確率項を最大にする未知の音素ｐを識別し、この最大
確率項を入力シーケンス中の対応する音素を復号化する
確率として使用するようにＤＰマッチングユニットを配
置することもできる。そのような実施形態では、ＤＰマ
ッチングユニットは、適切なバックポインタを用いて、
この確率が最大となった音素の表示も記憶することが好
ましく、その結果、入力音素列の間の最良マッチングを
決定した後、入力シーケンスを最良に表す音素列は、単
にこの記憶したデータから音素列決定ユニットによって
決定することができる。

【０１１１】上記の実施形態では、挿入確率、削除確
率、および復号化確率は、確率の最尤推定を用いて音声
認識システムの統計から計算された。当業者は理解する
であろうが、最大エントロピー技法などの他の技法を使
用してこれらの確率を推定することもできる。適切な最
大エントロピー技法の詳細は、John Skilling著“Maxim
um Entropy and Bayesian Methods”, Kluwer Academic
publishers, pp45-52から得られ、この内容は引用によ
り本明細書に含まれる。

【０１１２】上記の実施形態では、ＤＰアルゴリズムを
使用して、音声認識エンジンで出力された音素列のマッ
チングを行った。当業者は理解するであろうが、どんな
マッチング手法も使用することができる。例えば、すべ
ての可能なマッチングを考慮する単純な技法を使用する
ことができる。しかし、動的計画法は、標準の処理ハー
ドウェアを用いて実装することが容易であるので、好ま
しい。加えて、上記の実施形態では、ＤＰマッチングユ
ニットが音素の入力シーケンス間の「最良の」マッチン
グを決定したが、このことはある応用例では絶対に必要
であるわけではない。例えば２番目、３番目、または４
番目に良好なマッチングを代わりに使用することもでき
る。

【０１１３】上記の実施形態では、ＤＰマッチングユニ
ットは、音素の複数の入力シーケンスの間の最良マッチ
ングを特定するために、それらを同時にマッチングする
ように動作可能であった。代替実施形態では、同時に入
力音素の２つのシーケンスを比較するようにＤＰマッチ
ングユニットを配置することができる。この場合、例え
ば、第３入力音素列は、音素の初めの２つのシーケンス
を最良に表す音素のシーケンスとマッチングされること
になる。

【０１１４】上記の実施形態では、ＤＰアルゴリズムの
間、式（１）が音素のマッチングペアごとに計算され
た。式（１）の計算において、第１の音素列および第２
の音素列がシステムに既知の音素のそれぞれと比較され
た。当業者は理解するであろうが、所与の第１の音素列
と第２の音素列の対に対して、式（１）で与えられる確
率のうちの多くは、０に等しいか、または０に非常に近
い。したがって代替実施形態では、マッチング音素を、
トレーニング・データからあらかじめ決定される、既知
の音素すべてのサブセットのみと比較することができ
る。そのような実施形態を実装するために、マッチング
すべき入力音素を使用して、式（１）（またはその多重
入力シーケンス均等物）を用いてそれらの入力音素と比
較する必要のある音素を識別するルックアップテーブル
をアドレス指定することができる。

【０１１５】上記の実施形態では、ユーザは、新たな単
語に対応する入力音声部分と共にいくつかの新たな入力
単語の音声部分を入力する。代替実施形態では、新たな
単語の音声部分を入力するのではなく、手書きによって
入力することができ、その後で適切な手書き認識ソフト
ウェアを用いてテキストに変換することができる。

【０１１６】上記の実施形態では、音声認識システムで
使用するために新たな単語モデルが生成された。具体的
には、上で与えた例では、新たな単語モデルが単語のテ
キストバージョンと共に記憶され、その結果テキストを
単語処理アプリケーションで使用することができる。し
かし、冒頭で述べたように、単語モデルは、対応するテ
キストを生成する際に使用するためにではなく、制御コ
マンドとして使用することが可能である。この場合、新
たな単語モデルに対応するテキストを記憶するのではな
く、対応する制御処理またはコマンドが入力となり、記
憶される。

【０１１７】以上、いくつかの実施形態および修正形態
を説明した。この他にも多くの実施形態および修正形態
があることは当業者には明らかであろう。

【図面の簡単な説明】

【図１】本発明の実施形態を実現するためにプログラム
することのできるコンピュータを示す図である。

【図２】実施形態における音声認識システムを示す図で
ある。

【図３】実施形態における単語モデル生成ユニットの構
成を示すブロック図である。

【図４】実施形態における新たな単語に対応する２つの
音声部分を表す第１および第２の音素列と、第１および
第２の音素列を最良に表す第３の音素列とを示し、第３
の音素列に対して第１および第２の音素列からの音素の
挿入／削除の可能性を示す図である。

【図５】開始ヌル・ノードおよび終了ヌル・ノードと共
に、新たな単語に対応する２つの音声部分についての音
素列によって作成された探索空間を示す図である。

【図６】水平軸を新たな単語のある音声部分に対応する
音素、垂直軸を別の音声部分に対応する音素として、そ
れぞれが第１および第２の音声部分の音素との間の可能
な一致に対応する格子点を示す２次元プロットである。

【図７】実施形態における単語モデル生成ユニットの部
分を形成するＤＰマッチングユニットで利用されるＤＰ
制約を示す図である。

【図８】実施形態におけるＤＰマッチング処理の間に、
音素に対するスコアリングで使用される削除確率および
復号化確率を示す図である。

【図９】実施形態におけるＤＰマッチングユニットで実
行される処理ステップを示すフローチャートである。

【図１０】開始ヌル・ノードから終了ヌル・ノードへの
ＤＰパスを伝播させるために使用される処理ステップを
示すフローチャートである。

【図１１】ＤＰマッチング処理における遷移スコアの決
定に係る処理ステップを示すフローチャートである。

【図１２】第１および第２の音素列の削除および復号化
に係るスコアを計算する際に使用される処理ステップを
示すフローチャートである。

【図１３】新たな単語の３つの音声部分に対して生成さ
れた３つの音素列によって作成される検索空間を示す略
図である。

【図１４】ヌル開始ノードからヌル終了ノードへのＤＰ
パスを伝播させるために使用される処理ステップを示す
フローチャートである。

【図１５】ＤＰパスを伝播する際に使用される処理ステ
ップを示すフローチャートである。

【図１６】ＤＰパスを伝播させるための遷移スコアの決
定に係る処理ステップを示すフローチャートである。

【図１７ａ】ＤＰマッチング処理における音素の削除お
よび復号化についてのスコアを計算する際に使用される
処理ステップの第１部分を示すフローチャートである。

【図１７ｂ】ＤＰマッチング処理中における音素の削除
および復号化についてのスコアを計算する際に使用され
る処理ステップの第２部分を示すフローチャートであ
る。

【図１７ｃ】ＤＰマッチング処理中における音素の削除
および復号化についてのスコアを計算する際に使用され
る処理ステップの第３部分を示すフローチャートであ
る。

【図１７ｄ】ＤＰマッチング処理中における音素の削除
および復号化についてのスコアを計算する際に使用され
る処理ステップの第４部分を示すフローチャートであ
る。

【図１８】実施形態における音声認識システムで使用さ
れ得る音素モデル生成ユニットの主構成要素を示す概略
ブロック図である。

【図１９】確率スコアが入力単語の異なる発音とともに
変動する方式を示すプロットである。

【図２０】２つの音素列を示す図である。

【図２１】２つの音素列を結合して形成される音素格子
を示す図である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者ジェブジェイコブラジャンイギリス国アールジー12 ２エックスエイチ，バークシャー，ブラックネル, ロンドンロード，ザブラカンズキヤノンリサーチセンターヨーロッパリミテッド内Ｆターム(参考） 5D015 GG03 GG04 HH05 HH07

Claims

【特許請求の範囲】

【請求項１】音声認識システムの辞書に加えるべき新
たな単語を表すサブワードシーケンスを生成する装置で
あって、前記新たな単語に対応する第１および第２の音声部分を
表す信号を受信する第１の受信手段と、受信した前記第１および第２の音声部分と、あらかじめ
記憶したサブワードモデルとを比較し、前記第１および
第２の音声部分のそれぞれを表す第１および第２のサブ
ワードシーケンスを生成する音声認識手段と、前記第１のサブワードシーケンスと前記第２のサブワー
ドシーケンスとをマッチングし、サブワード単位のマッ
チングペアを形成するマッチング手段と、前記マッチング手段によって決定された前記マッチング
ペアに応じて、前記新たな単語の前記音声部分を表す代
表シーケンスを決定する決定手段と、を備えることを特
徴とする装置。
【請求項２】前記決定手段は、各マッチングペアに対して、当該マッチングペアにおけ
る前記第１および第２のサブワードシーケンスに混同す
るほどに類似するサブワードを求めることで前記代表シ
ーケンスを決定することを特徴とする請求項１に記載の
装置。
【請求項３】前記決定手段が、各マッチングペアごとに、当該マッチングペアにおける
前記第１のサブワードシーケンスと所定のサブワードの
セットから取り出される複数のサブワードの各々とを比
較し、前記第１のサブワードシーケンスと前記セットの
各サブワードとの間のそれぞれの類似性を表す複数の比
較スコアを供給する第１の比較手段と、各マッチングペアごとに、当該マッチングペアにおける
前記第２のサブワードシーケンスと前記セットからの前
記複数のサブワードの各々とを比較し、前記第２のサブ
ワードシーケンスと、前記セットの各サブワードとの間
のそれぞれの類似度を表す複数の比較スコアを供給する
第２の比較手段と、前記マッチングペアにおける前記第１および第２のサブ
ワードシーケンスと、前記セットからの同一のサブワー
ドとを比較したときに得られる比較スコアを結合し、複
数の結合比較スコアを生成する結合手段と、各マッチングペアごとに、当該マッチングペアについて
の前記結合手段で生成された前記結合比較スコアを比較
する第３の比較手段と、各マッチングペアごとに、当該マッチングペアについて
の前記第３の比較手段による比較結果出力に応じて、当
該マッチングペアにおける前記サブワードを表すサブワ
ードを決定する手段と、を備えることを特徴とする請求項１または２に記載の装
置。
【請求項４】前記第１および第２の比較手段はそれぞ
れ、前記第１および第２のサブワードシーケンスと、前
記セットにおけるサブワードとを比較することを特徴と
する請求項３に記載の装置。
【請求項５】前記第１および第２の比較手段は、前記
セットから取り出されたサブワードと前記マッチングペ
アにおけるサブワードとの類似度を示す比較スコアを供
給することを特徴とする請求項３または４に記載の装
置。
【請求項６】前記結合手段は、前記類似度を乗算する
ために、比較スコアを結合することを特徴とする請求項
５に記載の装置。
【請求項７】前記セットにおけるサブワードのそれぞ
れが前記代表シーケンスにおいて発生する所定の確率を
有し、前記結合手段は、前記結合比較スコアを生成するために
使用された前記セットのサブワードについてのそれぞれ
の発生確率に応じて、前記結合比較スコアのそれぞれを
評価することを特徴とする請求項６に記載の装置。
【請求項８】第１および第２のサブワードシーケンス
のマッチングペアをそれぞれ、d¹ _iおよびd² _jとし、前記第１の比較手段によって出力された前記比較スコア
であって、サブワードセットp_rと第１のサブワードシー
ケンスd¹ _iとの類似度を表すものを、P(d¹ _i｜p_r)とし、前記第２の比較手段によって出力された比較スコアであ
って、サブワードセットp_rと第２のサブワードシーケン
スd² _jとの類似度を表すものを、P(d² _j｜p_r)とし、ま
た、サブワードシーケンス内で発生するサブワードセットp_r
の確率を表す重みを、P(p_r)とするとき、前記結合手段は、 P(d¹ _i｜p_r)P(d² _j｜p_r)P(p_r) を計算することによって前記比較スコアを結合すること
を特徴とする請求項７に記載の装置。
【請求項９】前記第３の比較手段は、最大の前記結合
比較スコアを与えるサブワードセットを識別し、前記決定手段は、前記マッチングペア内のサブワードを
表す前記サブワードを、前記最大の結合比較スコアを供
給するサブワードであると決定することを特徴とする請
求項８に記載の装置。
【請求項１０】前記比較スコアは対数確率を表し、前記結合手段は、それぞれの比較スコアを加えることに
よって前記確率を増加させることを特徴とする請求項６
ないし９のいずれかに記載の装置。
【請求項１１】前記第１および第２のサブワードシー
ケンスにおける各サブワードは前記セットに属し、前記第１および第２の比較手段は、前記セットにおける
サブワードを互いに関係付ける所定のデータを用いて、
前記比較スコアを供給することを特徴とする請求項３な
いし１０のいずれかに記載の装置。
【請求項１２】前記所定のデータは、前記セットにお
けるサブワードごとに、そのサブワードと前記セットに
おける他のサブワードのそれぞれとの類似度を含むこと
を特徴とする請求項１１に記載の装置。
【請求項１３】前記マッチング手段は、動的計画法を
用いて前記第１および第２のサブワードシーケンスをマ
ッチングするＤＰマッチング手段を含むことを特徴とす
る請求項１ないし１２のいずれかに記載の装置。
【請求項１４】前記ＤＰマッチング手段が、前記第１
および第２のシーケンスの間の最適なマッチングを決定
することを特徴とする請求項１３に記載の装置。
【請求項１５】前記サブワードはそれぞれ、音素を表
すことを特徴とする請求項１ないし１４のいずれかに記
載の装置。
【請求項１６】前記受信手段は、前記新たな単語に対
応する第３の音声部分を表す信号を受信し、前記認識手段は、前記第３の音声部分と前記サブワード
モデルとを比較し、前記第３の音声部分を表す第３のサ
ブワードシーケンスを生成し、前記マッチング手段は、前記第１、第２、および第３の
サブワードシーケンスを同時にマッチングして、前記各
音声部分からのサブワードを含む、サブワード単位のマ
ッチンググループを生成し、前記決定手段は、前記マッチンググループに応じて前記
代表シーケンスを決定する、ことを特徴とする請求項１ないし１５のいずれかに記載
の装置。
【請求項１７】前記受信手段は、前記新たな単語に対
応する第３の音声部分を表す信号を受信し、前記認識手段は、前記第３の音声部分と前記サブワード
モデルとを比較し、前記第３の音声部分を表す第３のサ
ブワードシーケンスを生成し、前記マッチング手段は、同時に２つのサブワードシーケ
ンスをマッチングする、ことを特徴とする請求項１ないし１５のいずれかに記載
の装置。
【請求項１８】前記第１の受信手段は、前記新たな単
語に対応する複数の音声部分を表す信号を受信し、前記音声認識手段は、受信した前記音声部分と前記サブ
ワードモデルとを比較し、前記複数の音声部分のそれぞ
れについてのサブワードシーケンスを生成し、前記マッチング手段は、前記複数のサブワードシーケン
スのサブワードをマッチングし、前記各サブワードシー
ケンスからのサブワードを含む、サブワード単位のマッ
チンググループを形成し、前記決定手段は、前記音声部分を表すサブワードシーケ
ンスを決定し、当該装置は、更に、（i）各サブワードシーケンスと前記代表シーケンスと
を比較し、それらの間の類似性を表すスコアを決定する
スコアリング手段と、（ii）前記スコアリング手段によって出力される前記ス
コアを処理して、前記音声部分の１つまたは複数の異な
る発音を示す前記スコアにおけるクラスタを識別するク
ラスタリング手段と、を含み、前記決定手段は、各クラスタ内の前記音声部分を表すサ
ブワードシーケンスを決定することを特徴とする請求項
１ないし１７のいずれかに記載の装置。
【請求項１９】前記スコアリング手段、前記クラスタ
リング手段、および前記決定手段が、所定の収束基準を
満たすまで反復的に動作することを特徴とする請求項１
８に記載の装置。
【請求項２０】更に、前記クラスタのそれぞれについての前記サブワードシー
ケンスを、サブワード単位格子内に組み込むための手段
を備えることを特徴とする請求項１８または１９に記載
の装置。
【請求項２１】生成された前記サブワードシーケンス
は、前記音声認識システムのコマンド辞書に加えるべき
新たなコマンドを表すことを特徴とする請求項１ないし
２０のいずれかに記載の装置。
【請求項２２】生成された前記サブワードシーケンス
は、新たな単語に対応する入力テキストと共に音声認識
システムの単語辞書に加えるべきその新たな単語を表す
ことを特徴とする請求項１ないし２０のいずれかに記載
の装置。
【請求項２３】音声認識システムの辞書に加えるべき
新たな単語を表すサブワードシーケンスを生成する装置
であって、前記新たな単語に対応する複数の音声部分を表す信号を
受信する受信手段と、受信した前記音声部分とあらかじめ記憶したサブワード
モデルとを比較し、複数の前記音声部分を表すサブワー
ドシーケンスを生成する音声認識手段と、各音声部分のサブワードを、他の音声部分のサブワード
とマッチングし、各音声部分からのサブワードを含む、
サブワードのマッチンググループを形成するマッチング
手段と、前記マッチング手段によって決定される前記マッチング
グループに応じて、前記新たな単語の音声部分を表すサ
ブワードシーケンスを決定する決定手段と、を備えることを特徴とする装置。
【請求項２４】新たな単語およびその新たな単語のサ
ブワード表示を、音声認識システムの単語辞書に加える
ための装置であって、前記新たな単語の第１の音声部分を表す第１のサブワー
ドシーケンスを受信し、前記新たな単語の第２の音声部
分を表す第２のサブワードシーケンスを受信する受信手
段と、前記第１のサブワードシーケンスを、前記第２のサブワ
ードシーケンスとマッチングし、サブワード単位のマッ
チングペアを形成するマッチング手段と、前記マッチング手段によって決定された前記マッチング
ペアに応じて、前記新たな単語の音声部分を表す代表シ
ーケンスを決定する決定手段と、前記新たな単語および前記代表シーケンスを前記単語辞
書に加える手段と、を備えることを特徴とする装置。
【請求項２５】認識すべき音声信号を受信する受信手
段と、サブワードモデルを記憶する記憶手段と、受信した前記音声信号と前記サブワードモデルとを比較
し、前記音声信号を表す１つまたは複数のサブワードシ
ーケンスを生成する比較手段と、サブワードシーケンスを単語に関係付ける単語辞書と、前記単語辞書を用いて前記比較手段によって生成された
１つまたは複数の前記サブワードシーケンスを処理し、
前記音声信号に対応する１つまたは複数の単語を生成す
る単語デコーダと、前記新たな単語およびそのサブワード表示を前記単語辞
書に加える追加手段と、前記比較手段の出力を、前記単語デコーダまたは前記追
加手段のいずれかに制御可能に接続する接続手段と、を備える音声認識システムであって、前記追加手段は、前記比較手段によって出力された前記新たな単語に対応
する第１の音声部分を表す第１のサブワードシーケンス
を受信し、前記比較手段によって出力された前記新たな
単語に対応する第２の音声部分を表す第２のサブワード
シーケンスを受信する手段と、前記第１のサブワードシーケンスを前記第２のサブワー
ドシーケンスとマッチングし、サブワード単位のマッチ
ングペアを形成するマッチング手段と、前記マッチング手段によって形成された前記マッチング
ペアに応じて、前記新たな単語の音声部分を表す代表シ
ーケンスを決定する決定手段と、前記新たな単語に対応する入力テキストを受信する手段
と、前記入力テキストと前記代表シーケンスとを前記単語辞
書に加える手段と、を備えることを特徴とするシステム。
【請求項２６】認識すべき音声信号を受信する受信手
段と、サブワードモデルを記憶する記憶手段と、受信した前記音声信号と前記サブワードモデルとを比較
し、前記音声信号を表す１つまたは複数のサブワードシ
ーケンスを生成する比較手段と、前記サブワードシーケンスをコマンドに関係付けるコマ
ンド辞書と、前記コマンド辞書を用いて前記比較手段によって出力さ
れた１つまたは複数の前記サブワードシーケンスを処理
し、前記音声信号に対応する１つまたは複数のコマンド
を生成するコマンド・デコーダと、新たなコマンドおよびそのサブワード表示を前記コマン
ド辞書に加える追加手段と、前記比較手段の出力を、前記コマンド・デコーダまたは
前記追加手段に制御可能に接続する接続手段と、を備える音声認識システムであって、前記追加装置は、前記比較手段によって出力された前記新たなコマンドに
対応する第１の音声部分を表す第１のサブワードシーケ
ンスを受信し、前記比較手段によって出力された前記新
たなコマンドに対応する第２の音声部分を表す第２のサ
ブワードシーケンスを受信する手段と、前記第１のサブワードシーケンスを前記第２のサブワー
ドシーケンスとマッチングし、サブワード単位のマッチ
ングペアを形成する手段と、前記マッチング手段によって形成された前記マッチング
ペアに応じて、前記新たなコマンドの音声部分を表す代
表シーケンスを決定する決定手段と、前記代表シーケンスを、対応する前記新たなコマンドと
共に前記コマンド辞書に加える手段と、を備えることを特徴とするシステム。
【請求項２７】音声認識システムの辞書に加えるべき
新たな単語を表すサブワードシーケンスを生成する方法
であって、前記新たな単語に対応する第１の音声部分および第２の
音声部分を表す信号を受信する第１の受信ステップと、受信した前記第１および第２の音声部分と、あらかじめ
記憶したサブワードモデルとを比較し、前記第１の音声
部分を表す第１のサブワードシーケンスと、前記第２の
音声部分を表す第２のサブワードシーケンスとを生成す
る比較ステップと、前記第１のサブワードシーケンスと、前記第２のシーケ
ンスのサブワード単位とをマッチングし、サブワード単
位のマッチングペアを形成するマッチングステップと、前記マッチングステップによって決定された前記マッチ
ングペアに応じて、前記新たな単語の音声部分を表す代
表シーケンスを決定する決定ステップと、を含むことを特徴とする方法。
【請求項２８】前記決定ステップは、各マッチングペアに対して、当該マッチングペアにおけ
る前記第１および第２のサブワードに混同するほどに類
似するサブワードを求めることで前記代表シーケンスを
決定することを特徴とする請求項２７に記載の方法。
【請求項２９】前記決定ステップは、各マッチングペアごとに、当該マッチングペアにおける
前記第１のサブワードシーケンスと、所定のサブワード
のセットから取り出された複数のサブワードのそれぞれ
とを比較し、前記第１のサブワードシーケンスと前記セ
ットのそれぞれのサブワードとの間の類似度を表す、対
応する複数の比較スコアを供給する第１の比較ステップ
と、各マッチングペアごとに、当該マッチングペアにおける
前記第２のサブワードシーケンスと、前記セットからの
複数の前記サブワードのそれぞれとを比較し、前記第２
のサブワードシーケンスと、前記セットのそれぞれのサ
ブワードとの間の類似度を表す、対応する複数の比較ス
コアを供給する第２の比較ステップと、前記マッチングペアにおける前記第１および第２のサブ
ワードシーケンスと、前記セットからの同一のサブワー
ドとを比較したときに得られる比較スコアを結合し、複
数の結合比較スコアを生成する結合ステップと、各マッチングペアごとに、当該マッチングペアについて
の前記結合ステップで生成された前記結合比較スコアを
比較する第３の比較ステップと、各マッチングペアごとに、当該マッチングペアについて
の前記第３の比較ステップによる比較結果出力に応じ
て、前記マッチングペアにおけるサブワードを表すサブ
ワードを決定するステップと、を含むことを特徴とする請求項２７または２８に記載の
方法。
【請求項３０】前記第１および第２の比較ステップ
は、前記第１および第２のサブワードシーケンスと、前
記セットにおけるサブワードとをそれぞれ比較すること
を特徴とする請求項２９に記載の方法。
【請求項３１】前記第１および第２の比較ステップ
は、前記セットから取り出された対応するサブワード
と、前記マッチングペアにおけるサブワードとの類似度
を示す比較スコアを供給することを特徴とする請求項２
９または３０に記載の方法。
【請求項３２】前記結合ステップは、前記セットから
取り出された対応するサブワードとを前記マッチングペ
アにおけるサブワードとの類似度を乗算するために、前
記比較スコアを結合することを特徴とする請求項３１に
記載の方法。
【請求項３３】前記セットにおける前記サブワードの
それぞれが、前記代表シーケンスにおいて発生する所定
の確率を有し、前記結合ステップは、前記結合比較スコアを生成するた
めに使用された前記セットのサブワードについてのそれ
ぞれの発生確率に応じて、前記結合比較スコアのそれぞ
れを評価することを特徴とする請求項３２に記載の方
法。
【請求項３４】第１および第２のサブワードシーケン
スのマッチングペアをそれぞれ、d¹ _iおよびd² _jとし、前記第１の比較ステップによって出力された前記比較ス
コアであって、サブワードセットp_rと第１のサブワード
シーケンスd¹ _iとの類似度を表すものを、P(d¹ _i｜p_r)と
し、前記第２の比較ステップによって出力された比較スコア
であって、サブワードセットp_rと第２のサブワードシー
ケンスd² _jとの類似度を表すものを、P(d² _j｜p_r)とし、
また、サブワードシーケンス内で発生するサブワードセットp_r
の確率を表す重みを、P(p_r)とするとき、前記結合ステップは、 P(d¹ _i｜p_r)P(d² _j｜p_r)P(p_r) を計算することによって前記比較スコアを結合すること
を特徴とする請求項３３に記載の方法。
【請求項３５】前記第３の比較ステップは、最大の前
記結合比較スコアを与えるサブワードセットを識別し、前記決定ステップは、前記マッチングペアにおけるサブ
ワードを表す前記サブワードを、前記最大の結合比較ス
コアを供給するサブワードであると決定することを特徴
とする請求項３４に記載の方法。
【請求項３６】前記比較スコアは対数確率を表し、前
記結合ステップは、それぞれの前記比較スコアを加える
ことによって前記確率を増加させることを特徴とする請
求項３２ないし３５のいずれかに記載の方法。
【請求項３７】前記第１および第２のシーケンスにお
けるサブワードのそれぞれが、前記セットに属し、前記第１および第２の比較ステップは、前記セットにお
けるサブワードを互いに関係付ける所定のデータを用い
て、前記比較スコアを供給することを特徴とする請求項
２９ないし３６のいずれかに記載の方法。
【請求項３８】前記所定のデータは、前記セットにお
けるサブワードごとに、そのサブワードと前記サブワー
ドセットにおける他のサブワードのそれぞれとの類似度
を含むことを特徴とする請求項３７に記載の方法。
【請求項３９】前記マッチングステップは、動的計画
法を用いて前記第１および第２のシーケンスをマッチン
グすることを特徴とする請求項２７ないし３８のいずれ
かに記載の方法。
【請求項４０】前記動的計画法は、前記第１のシーケ
ンスと前記第２のシーケンスとの間の最適なマッチング
を決定することを特徴とする請求項３９に記載の方法。
【請求項４１】前記サブワードのそれぞれは音素を表
すことを特徴とする請求項２７ないし４０のいずれかに
記載の方法。
【請求項４２】前記受信ステップは、前記新たな単語
に対応する第３の音声部分を表す信号を受信し、前記比較ステップは、前記第３音声部分と前記サブワー
ドモデルとを比較し、前記第３の音声部分を表す第３シ
ーケンスを生成し、前記マッチングステップは、前記第１、第２、および第
３のサブワードシーケンスを同時にマッチングして、前
記各音声部分からのサブワードを含む、サブワード単位
のマッチンググループを生成し、前記決定ステップは、前記マッチンググループに応じて
前記代表シーケンスを決定する、ことを特徴とする請求項２７ないし４１のいずれかに記
載の方法。
【請求項４３】前記受信ステップは、前記新たな単語
に対応する第３の音声部分を表す信号を受信し、前記比較ステップは、前記第３の音声部分と前記サブワ
ードモデルとを比較し、前記第３の音声部分を表す第３
のサブワードシーケンスを生成し、前記マッチングステップは、同時に２つのサブワードシ
ーケンスをマッチングする、ことを特徴とする請求項２７ないし４１のいずれかに記
載の方法。
【請求項４４】前記第１の受信ステップは、前記新た
な単語に対応する複数の音声部分を表す信号を受信し、前記比較ステップは、受信した音声部分と前記サブワー
ドモデルとを比較し、前記複数の音声部分のそれぞれに
ついてのサブワードシーケンスを生成し、前記マッチングステップは、複数のサブワードシーケン
スのサブワードをマッチングし、前記各サブワードシー
ケンスからのサブワードを含む、サブワード単位のマッ
チンググループを形成し、前記決定ステップは、前記音声部分を表すサブワードシ
ーケンスを決定し、当該方法は、更に、（i）各サブワードシーケンスと前記代表シーケンスと
を比較し、それらの間の類似性を表すスコアを決定する
スコアリングステップと、（ii）前記スコアリングステップによって出力される前
記スコアを処理して、前記音声部分の１つまたは複数の
異なる発音を示す前記スコアにおけるクラスタを識別す
るクラスタリングステップと、を含み、前記決定ステップは、各クラスタ内の前記音声部分を表
すサブワードシーケンスを決定することを特徴とする請
求項２７ないし４３のいずれかに記載の方法。
【請求項４５】前記スコアリングステップ、前記クラ
スタリングステップ、および前記決定ステップが、所定
の収束基準を満たすまで反復的に動作することを特徴と
する請求項４４に記載の方法。
【請求項４６】更に、前記クラスタのそれぞれについての前記サブワードシー
ケンスを、サブワード単位格子内に組み込むステップを
有することを特徴とする請求項４４または４５に記載の
方法。
【請求項４７】生成された前記サブワードシーケンス
は、音声認識システムの単語辞書に加えるべき新たな単
語を表すことを特徴とする請求項２７ないし４６のいず
れかに記載の方法。
【請求項４８】生成された前記サブワードシーケンス
は、新たな単語に対応する入力テキストと共に音声認識
システムのコマンド辞書に加えるべきその新たな単語を
表す請求項２７ないし４６のいずれかに記載の方法。
【請求項４９】音声認識システムの辞書に加えるべき
新たな単語を表すサブワードシーケンスを生成する方法
であって、前記新たな単語に対応する複数の音声部分を表す信号を
受信する受信ステップと、受信した音声部分とあらかじめ記憶したサブワードモデ
ルとを比較し、複数の前記音声部分を表すサブワードシ
ーケンスを生成する比較ステップと、各音声部分のサブワードを、他の音声部分のサブワード
とマッチングし、各音声部分からのサブワードを含む、
サブワードのマッチンググループを形成するマッチング
ステップと、前記マッチングステップによって決定される前記マッチ
ンググループに応じて、前記新たな単語の音声部分を表
すサブワードシーケンスを決定する決定ステップと、を含むことを特徴とする方法。
【請求項５０】新たな単語および新たな単語のサブワ
ード表示を、音声認識システムの単語辞書に加える方法
であって、前記新たな単語の第１の音声部分を表す第１のサブワー
ドシーケンスを受信し、前記新たな単語の第２の音声部
分を表す第２のシーケンスを受信する受信ステップと、前記第１のサブワードシーケンスを、前記第２のサブワ
ードシーケンスとマッチングし、サブワード単位のマッ
チングペアを形成するマッチングステップと、前記マッチングステップによって決定された前記マッチ
ングペアに応じて、前記新たな単語の音声部分を表す代
表シーケンスを決定する決定ステップと、前記新たな単語および前記代表シーケンスを前記単語辞
書に加えるステップと、を含むことを特徴とする方法。
【請求項５１】認識すべき音声信号を受信する受信ス
テップと、サブワードモデルを記憶する記憶ステップと、受信した前記音声信号と前記サブワードモデルとを比較
し、前記音声信号を表す１つまたは複数のサブワードシ
ーケンスを生成する比較ステップと、サブワードシーケンスを単語に関係付ける単語辞書を記
憶するステップと、前記単語辞書を用いて前記比較ステップによって生成さ
れた１つまたは複数の前記サブワードシーケンスを処理
し、前記音声信号に対応する１つまたは複数の単語を生
成する単語生成ステップと、前記新たな単語およびそのサブワード表示を前記単語辞
書に加える追加ステップと、前記比較ステップの出力を、前記単語生成ステップまた
は前記追加ステップに制御可能に供給する供給ステップ
と、を有する音声認識方法であって、前記追加ステップは、前記比較ステップによって出力された前記新たな単語に
対応する第１の音声部分を表す第１のサブワードシーケ
ンスを受信し、前記比較ステップによって出力された前
記新たな単語に対応する第２の音声部分を表す第２のサ
ブワードシーケンスを受信するステップと、前記第１のサブワードシーケンスを前記第２のサブワー
ドシーケンスとマッチングし、サブワード単位のマッチ
ングペアを形成するマッチングステップと、前記マッチングステップによって形成された前記マッチ
ングペアに応じて、前記新たな単語の音声部分を表す代
表シーケンスを決定する決定ステップと、前記新たな単語に対応する入力テキストを受信するステ
ップと、前記入力テキストと前記代表シーケンスとを前記単語辞
書に加えるステップと、を含むことを特徴とする方法。
【請求項５２】認識すべき音声信号を受信する受信ス
テップと、受信した前記音声信号とあらかじめ記憶したサブワード
モデルとを比較し、前記音声信号を表す１つまたは複数
のサブワードシーケンスを生成する比較ステップと、前記サブワードシーケンスをコマンドに関係付けて記憶
したコマンド辞書を用いて、前記比較ステップによって
出力された１つまたは複数の前記サブワードシーケンス
を処理し、前記音声信号に対応する１つまたは複数のコ
マンドを生成するコマンド生成ステップと、新たなコマンドおよびそのサブワード表示を前記コマン
ド辞書に加える追加ステップと、前記比較ステップの出力を、前記コマンド生成ステップ
または前記追加ステップに制御可能に供給する供給ステ
ップと、を含む音声認識方法であって、前記追加ステップは、前記比較ステップによって出力された前記新たなコマン
ドに対応する第１の音声部分を表す第１のサブワードシ
ーケンスを受信し、前記比較ステップによって出力され
た前記新たなコマンドに対応する第２の音声部分を表す
第２のサブワードシーケンスを受信するステップと、前記第１のサブワードシーケンスを前記第２のサブワー
ドシーケンスとマッチングし、サブワード単位のマッチ
ングペアを形成するステップと、前記マッチングステップによって形成された前記マッチ
ングペアに応じて、前記新たな単語の音声部分を表す代
表シーケンスを決定する決定ステップと、前記代表シーケンスを、対応する前記新たなコマンドと
共に前記コマンド辞書に加えるステップと、を含むことを特徴とする方法。
【請求項５３】請求項２７ないし５２のいずれかの方
法を実装する目的でプロセッサを制御するためのプロセ
ッサ実装可能命令を記憶する記憶媒体。
【請求項５４】請求項２７ないし５２のいずれかの方
法を実装する目的でプロセッサを制御するためのプロセ
ッサ実装可能命令。