JP3860613B2

JP3860613B2 - 音声信号中の発声単語列の認識方法及び装置

Info

Publication number: JP3860613B2
Application number: JP24487592A
Authority: JP
Inventors: ヘーブ−ウムバッハラインホルド; ネイヘルマン
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 1991-09-14
Filing date: 1992-09-14
Publication date: 2006-12-20
Anticipated expiration: 2021-12-20
Also published as: DE59209646D1; EP0533260A3; EP0533260A2; DE4130631A1; EP0533260B1; JPH05197395A; US5995930A

Description

【０００１】
【産業上の利用分野】
本発明は、音声信号中の単語列を認識する方法に関するものであり、この方法は：
反復的な瞬時に前記音声信号をサンプリングして、一連のテスト信号を発生するステップと；
これらのテスト信号と種々の基準信号列との整合（マッチング）及びこの整合の得点付けを行い、これらの基準信号列は一組の基準信号列から選択し、各基準信号列が語彙の単語を表現し、
そして、完結した単語毎に、単語得点及び総合得点から成る単語結果を導出するステップを具えて、この総合得点は、前記単語得点及び言語モデル値から導出し、この言語モデル値は、前記完結した単語と均一長の完結した先行単語列（ストリング）との組合せに割り当て、そして、前記単語結果は、この単語列の最終単語へのインデックスも含み；
前記方法がさらに、以降のテスト信号に対して順次、前記整合及び得点付けを進めて、前記総合得点の最小値にもとづいて、前記音声信号を認識するステップを具えている。
【０００２】
【従来の技術】
こうした方法は、ドイツ国特許ＤＥ−ＰＳ−３２１５８６８号より既知である。これは、非線形時間適応を伴う単一段の方法であり、複数単語内でのダイナミックプログラミング（動的計画法）及び最適な単語遷移の特定によって達成される。単語の終端（語尾）に達する毎に、語彙全体にわたる探索を続ける。このため探索空間が非常に大きくなり、１００００単語あるいはそれ以上の語彙についての膨大な計算時間を必要となり、このため認識が低速になる。
【０００３】
【発明が解決しようとする課題】
また、上記を改善した方法は、ドイツ国特許公開第ＤＥ−ＯＳ−３７１０５０７号より既知である。この方法では、すべての仮説をしきい値との通常の比較によって、探索空間を絶えず縮小していく。認識の信頼性向上は、例えば統計確率形式の、構文の相互関係を考慮に入れた言語モデルの使用によって達成することができる。上記比較に含める単語に、各単語の終端において新たに言語モデル値を加算して、この言語モデル値は、バイグラム言語モデルの場合には、始まったばかりの新たな単語と先行単語との組合せ、あるいはｎ−グラム言語モデルの場合には、始まったばかりの新たな単語とｎ−１個の先行単語との組合せに依存する。それにもかかわらず、平均的に語彙が大きければ、探索空間は語彙の大きさにほとんど直接依存して大きくなり、このため膨大な計算時間が必要になる。
【０００４】
本発明の目的は、認識の信頼性を明らかに損なうことなしに、より高速に動作する、冒頭段落に記載した種類の方法を提供することにある。
【０００５】
【課題を解決するための手段】
本発明によれば、この目的は、以下のことによって達成される：
前記語彙を、ルート（根）を有するツリー（木）の形に編成して、
ここで、このツリーのどのブランチ（枝）も、複数の基準信号を有し、そしてあらゆるブランチを音声要素に割り当てて、
語彙の各単語を、特定ブランチの接合点または端に割り当てて、
同時に完結した複数の単語毎に、前記ルートから始めて進めた得点付けの結果を、当該単語へのインデックスと共に別個に記憶しつつ、
これらの複数単語中に同一単語があれば、最小の前記総合得点を有するもののみを保持する。
【０００６】
本発明は、語彙をツリー構造として編成することに基づくものである。語彙は、発音辞書とも称することができ、これは単語毎の発音を、発声音の列、あるいは音素列のように単語を分割した列として提供するものである。特にヨーロッパ言語の発音辞書は、非常に限られた数の音素のみで表現することができ、例えばドイツ語ではほぼ５０音素である。多くの単語が同じ音素列で始まるので、発音辞書をツリーとして記憶すれば、各単語の音声表記を含む直接的な発音表よりも簡潔になり、この直接的な発音表は線形辞書と見ることができる。ツリー構造内の各ブランチは、例えば１つの音素に相当し、そして接合点またはブランチ端の少なくとも一部は単語の終端に相当する。そして、ツリーのルート（根）から、このような接合点またはブランチ端までの音素の列が、単語の音声表記を構成する。
【０００７】
時間的に同期して横方向に探索する上述した方法は、各テスト信号を複数の基準信号と比較するステップを有し、従って、複数の部分仮説を準並列的に考慮しつつ継続するステップを有する。この方法を、ツリーの形に編成した音声表記に適用すれば、探索空間を明らかに低減し、従って、探索動作あるいは計算時間の明らかな低減を達成することができる。同じ語頭を有する単語を組み合わせることによって、単語のみをより簡潔に表現することは、探索空間をより小さくすることに直接結び付く。他の本質的な点は、すべての部分仮説を連続的にしきい値と比較して、このしきい値を超えれば部分仮説を終了するので、単語の最初２つの音素を先頭と考えれば、各単語の終端後に新たに始まる部分仮説の先頭を探索する探索動作の９５％以上が解消されることである。従って、例えば１２０００単語の既知の線形辞書では、毎回２４０００の音素を処理しなければならないのに対し、本発明による語彙のツリー構造によれば、第１ブランチとして、即ちツリーの第１レベルには３０音素のみが存在し、これに加えて第２レベルには約３５０の音素のみが存在する。
【０００８】
ツリー構造では、統計ｎ−グラム言語モデルを用いる際に、ｎ≧２で既にツリーのコピーを作成すべきこと、即ち、バイグラム言語モデルに対して既にツリーのコピーを作成すべきことは、欠点であると考えられる。このことの理由は、ツリーのルートでは単語のアイデンティティ（正体）は未知であり、従って、言語モデルの評価は、単語の終端まで行うことができず、各部分仮説の先頭では行うことができないことにある。このことの結果は、語彙の大きさと共に探索空間が潜在的に増加する、ということである。実際には、しきい値との比較、及び、不都合な部分仮説を終了させることにより、少数のコピーが必要であるに過ぎないことが示されている。また、本願と同一優先日の特願平４−２４４８７４に記載の方法で、単語の終端で言語モデル評価を行うことも可能であり、この特許出願は参考文献として本明細書に含める。この方法は、最適な単語限界の特定近似値を用いるが、これにより生じる誤差は明らかな影響を与えない。この方法を使用する際には、バイグラム言語モデルの場合には、単語の終端毎に探索ツリーのコピーを作成する必要はない。
【０００９】
しかし、探索空間が潜在的に大きくなるので、全体の認識手順は慎重に編成する必要がある。こうするために、あらゆる時点で有効なツリーおよびブランチを、本発明による特定方法でリストに配列する必要があり、これにより、探索動作および記憶空間の要求は、潜在的な探索空間の大きさとは本質的に無関係になる。
【００１０】
本願と同一優先日の特願平４−２４４８７３に記載のように、音素レベルのルックアヘッドを実行すれば、探索空間のさらなる限定が可能になり、この特許出願は参考文献として本明細書に含める。このルックアヘッドの使用については、以下でより詳細に説明する。
【００１１】
本発明によるリストの配列では、第１リストの各ラインに探索リストの表示を含めることが有効であり、これにより、探索リストの各リスト位置がツリーに属して、これらのリスト位置がコヒーレント領域を形成する、ということを簡単な方法で達成できる。さらに、補助リストの使用が有効であり、この補助リストには、第１リストのライン毎に、ツリーのアイデンティティ（正体）、即ち、ツリーの始まりの単語が存在し、各単語は、この単語に付随する第１リスト中のラインの表示を伴う。従って、これにより、実質的な探索動作なしに、この単語から始まるツリーが既に始まっているか否か、そして、このツリーがまだ有効であるか否かを確かめることができる。語彙ツリーのすべてのブランチが順番に番号付けされているものと仮定すれば、ブランチリスト中の各リスト位置が、有効なブランチについてはこのブランチの表示、例えばブランチ番号を含むことが好適である。この目的のためにも、補助リストの使用が有効であり、この補助リストは、ブランチ番号毎に、ブランチリストのどのリスト位置で、このブランチが有効であることについての表示を含む。
【００１２】
ドイツ国特許ＤＥ−ＯＳ３７１１３４２号に記載のように音素を配列して、音素内の連続的な基準値が、少なくともセグメント毎に等しければ、探索リストは、個々の基準値毎に、リスト位置を１つだけ有すればよい。しかし、列の先頭についての得点及び表示は、各リスト位置に、状況毎に別個に含めなければならない。
【００１３】
【実施例】
以下、本発明の実施例について図面を参照しながら詳細説明する。
語彙をツリーの形に編成する方法を説明するために、図１に、非常に少数の異なる音素をツリーとして編成したものに基づく簡略化した図を示し、このツリーは、接合点Ｎ0、Ｎ1、Ｎ2 ... 及びこれらの相互接続部、即ちブランチ１、２、３を具えている。各相互接続部は特定の音素を表わす。特定の音素は２つ以上の相互接続部に割り当てることができる。最初の接合点Ｎ0をルート（根）と考える。実際には、このルートから始まる音素数がずっと多い。接合点Ｎ0から始まる２つの音素１及び２が存在し、従って、本実施例で想定する語彙のすべての単語が、これらの音素から始まり、即ち、第１グループの単語が音素１を先頭に有し、残りの第２グループの単語が音素２を先頭に有する。音素１の終端である接合点Ｎ1から始まる、さらに２つの音素３及び４が存在し、即ち、前記第１グループのすべての単語において、音素１に音素３または音素４のいずれかが続く。音素２の終端である接合点Ｎ2から始まる３つの音素５、６及び７が存在し、即ち、前記第２グループの単語において、音素２には、音素５、音素６または音素７のいずれかが続き得る。さらに、３つの音素８、９及び１０が接合点Ｎ3から始まり、即ち、このブランチに属する単語グループは、音素３に後続して、音素８、音素９または音素１０のいずれかが存在する。なお、音素１〜１０の一部は、音響的に互いに同一であり得る。即ち、これらの音素は同じ参照番号で表わすが、これらの音素は語彙ツリー内の異なる位置に存在するので、認識処理では、これらの音素を別個に処理しなければならない。
【００１４】
ここでは、こうした語彙のツリー構造を、認識に利用可能な形で記憶しなければならない。このことは、例えば、図１ｂに示すリストの形で行うことができる。本実施例では、ツリー構造内の個々の音素は、ツリー内の位置に応じて連続的に番号付けされているものとする。従って、各音素番号にメモリフィールドを割り当てて、このメモリフィールドは図１ｂの各行として示し、行内の最初の位置には音素番号を示し、次の２つの位置には、最初の位置の音素に続き得る音素の最小及び最大の番号を示す。第１メモリフィールドには、音素１に対し音素３及び４が存在する。次の位置には、基準値Ｒ_a1、Ｒ_a2、等を記憶し、この記憶は、基準値を直接記憶するか、あるいはこれらの基準値を記憶し、そして認識処理中に生じる値を記憶する他のメモリまたはメモリ領域のアドレスの形で記憶する方法で行う。
【００１５】
音素２に割り当てた２番目のメモリフィールドでは、この音素２に続く音素の最小番号５及び最大番号７をそれぞれ２番目及び３番目の位置に記憶して、ここでも、基準値Ｒ_b1、Ｒ_b2、等がこれに続くか、あるいはこれらの基準値用の他のメモリの、これらの基準値に対応するメモリ位置がこれに続く。
【００１６】
音素３に割り当てた第３フィールドでも、音素３に後続する音素の最小及び最大の番号を、それぞれ第２及び第３位置に示し、そして単語番号Ｗ1を最後の位置に示し、この単語は、音素１及び３の列を示すことによって、接合点Ｎ3で終わる。接合点Ｎ1及びＮ2では、単語がまだ終わっていないものとする、というのは、自然言語には実際には、単一音素のみから成る単語が発生しないからである。従って、最初２つのメモリフィールドの右端位置には、これらの接合点に関連する単語がないことを示す情報が存在し、例えば、これらの位置には値０が存在する。
【００１７】
同様に、音素４についての４行目には、２番目及び３番目の位置を、この音素に続く音素の番号用に確保し、ここでは簡単のため、これらの位置には値を入れておらず、そして、単語Ｗ2が接合点Ｎ4に関連するものとすれば、この単語は音素１及び４の列から成る。なお、図１ａによる実際の語彙ツリーでは、さらなるレベル（図示せず）に多数のブランチ接合点が発生し、これらの接合点には、単語を割り当てることも割り当てないこともあり得る。
【００１８】
認識処理では基本的に、３つの機能を区別することができ、これは線形辞書を用いる既知の認識処理と同様である。これら機能のうちの１つは制御であり、これは他の２つの機能の実行、中間結果の処理、及び音声信号の終端における結果の出力を制御する。第２の機能は音響的再結合に関するものであり、これは、条件または基準値の列のうち最も確からしい（有力な）ものを特定し、従って１つの単語内で最も確からしい（有力な）部分仮説を特定する。第３段階は、言語モデルの再結合（言語モデルとの付き合わせ）に関するものであり、これにより、最も確からしい（有力な）相互接続を特定する。この段階では、言語モデル値も考慮に入れる。しかし、音素を表わすブランチから成るツリーとして構成した語彙を用いるので、ここではブランチのつながり方も、音響的再結合中に特定する。新たなツリーの構成、あるいは既存のツリー構造の始点の再有効化は、言語モデルの再結合中に実行し、即ち、各々の場合に、ブランチの始点が語彙ツリーの第１レベルにあることは暗黙の了解である。従って、いずれの場合にも、探索プロセスの継続中には新たなブランチが、異なる条件及び仮定で含まれる。
【００１９】
図２に、探索及び認識処理のスケジュールを詳細に示す。音響的な音声信号からマイクロフォンを通して取得した連続音声信号を、時間的に離散した走査値１８の列の形で予備処理２０に供給して、走査値１８には時間インデックスｉ−２、ｉ−１、ｉ、ｉ＋１を与えて、予備処理２０ではテスト信号の列を特定して、各テスト信号が、音声信号を区分した各部分を特徴付ける。これらのテスト信号を、ユニット２２内の関連するメモリ２４からの基準信号と比較して、この比較結果を得点として出力に供給する。
【００２０】
これらの得点はブロック２６において、ダイナミックプログラミング（動的計画法）による動的な時間適応に使用し、これにより新たな得点を形成する。これらの得点はブロック２８に供給して、ここでしきい値と比較して、得点がしきい値を超える部分仮説は継続を中止する。さらに、ブロック２８では、どの部分仮説が音素の終端に達したか否かを特定して、達している場合には、図１ｂに示すリストを参照して、継続すべき音素を特定する。これに加えて、達した音素の終端が同時に単語の終端を表わすか否かをテストする。単語の終端である場合には、関連する単語をこれに付随するデータと共に単語終端リスト３０に書き込む。このリストは、言語モデルの再結合の段階への移行を表わす。終わっていない部分仮説のデータはブロック３２に供給し、これらのデータは即ち、これらの部分仮説の始点、及びその後の音素へのつながりについての得点及び表示である。これにより、新たなツリー及びその第１音素が始まり、即ち、言語モデルの再結合に応じた新たな部分仮説が始まる。またこれにより、関連する得点、及び部分仮説の始点に関する表示が、ブロック２８によって供給されるデータと共にブロック２６に再び供給されて、次のテスト信号及びこのテスト信号から導出した得点を処理することができる。
【００２１】
今度は、単語終端リスト３０の内容をブロック３４に供給して、言語モデルの再結合を行う。こうするために、まず各単語の得点に、関連する言語モデル値を加算する。同じ単語が２回以上発生する場合には、得点と言語モデル値を合計することによって求めた評価結果が最良である単語のみを継続させて、同じ単語が２回以上発生することは、異なる先行単語列（あるいは言語モデルに従う単語の組合せ）から始まる場合のみにあり得る。これらの単語は、一方では制御段３６に転送して、結果リストに記憶して、他方では、これらの単語を用いてブロック３２を制御して、上述したように、新たなツリー、従って新たな部分仮説を始める。
【００２２】
処理中にはいくつかのリストを使用し、図３には、これらのうち最も重要なものを示し、相互関係の表示、及び個々のリスト位置のより正確な配置と共に示す。まず最初に、第１リストあるいはツリーリスト４０が存在し、このリストは探索ツリー毎に、即ち同じ所から始まる部分仮説の集まり毎に、リスト位置ＬＴを有する。リスト位置の最初の部分には、関連するツリーの識別子Ｔが存在し、このツリーは、バイグラム言語モデルを用いる際の先行単語を直接示すことができる。各リスト位置の２番目の部分には、ブランチリスト４１のリスト位置に関する表示ＮＬＫが存在し、そして３番目の部分には、探索リスト４２中のリスト位置に関する表示ＮＬＪが存在する。
【００２３】
ブランチリスト４１の各リスト位置は、有効なブランチ即ち音素に関連し、このブランチでは、この瞬時に探索処理が有効であり（効力を及ぼし）、このブランチの番号Ｋは、メモリ位置の最初の部分に与えられている。このメモリ位置の２番目及び３番目の部分は、それぞれ表示ＢＬＪ、ＥＬＪを含み、これらの表示はそれぞれ、探索リスト４２中のリスト位置のコヒーレント領域の最初及び最後のリスト位置に関連する。このコヒーレント領域は、ブランチＫ内の有効な基準値用に確保し、その最初の部分は、音素Ｋ内の基準値の通し番号Ｊを含み、その２番目の部分は、それ以前の比較中に達した得点Ｓ、あるいは、あるブランチからの再出発時に与えられた得点Ｓを含み、さらに３番目の部分は、基準値列の先頭に関する表示Ｂを含み、この基準値列はいくつかの音素にまたがり得る。
【００２４】
全体の処理の開始時に、即ち、音声信号が始まる前に、まず、認識すべき単語連鎖の先頭を表わすリスト位置を、ツリーリスト４０に書き込むが、この位置には先行する単語を割り当てることができない。語彙ツリーの第１ブランチ、即ち、第１レベルを、このツリーについてのブランチリスト４１に入れて、この第１ブランチに対応する基準値を、探索リスト４２に入れる。
【００２５】
連続するテスト信号毎に、基準値との比較により決まる得点を、探索リスト４２のリスト位置にある関連する得点に加算して、新たな得点を求めて、これにより、毎回新たな最小得点が得られる。ツリーリスト４０のすべての有効なリスト位置を連続的にアドレス指定して、個々の基準値をアドレス指定し、これらの基準値に対して、差分値（基準値との差）及び新たな得点が求められ、なお、この処理では、探索処理中には複数の探索ツリーが有効になる。ブランチリスト４１の関連するリスト位置は、ツリーリストのリスト位置毎に連続的にアドレス指定して、このアドレス指定は必ず、始点のリスト位置から、あるいは前のツリーの最終リスト位置から開始する。結果として、ツリーリスト４０の各リスト位置には、このリスト位置に対応する、ブランチリスト４１の最後のリスト位置のみが表示される。従って、ブランチリストの各リスト位置は、関連する基準値を呼び出す。この呼び出し中には、探索リスト４２のすべてのリスト位置において最小得点が同時に決まり、これらの最小得点からしきい値を求める。
【００２６】
ツリーリスト４０のすべての有効なリスト位置、従ってブランチリスト４１のすべての有効なリスト位置も、このように処理して、こうしたアドレス指定処理を繰り返せば、これにより、探索リスト４２中の差分を総計したものを再度、しきい値と比較することができる。得点がしきい値を超える基準値に対応するリスト位置は消去する。このことは、探索リスト４２中の消去しないメモリ位置を、コヒーレント領域が再び生成されるようにシフトバックするという最も簡単な方法で行うことができる。場合によっては変更されているリスト位置は、ブランチリスト４１の関連するリスト位置の２番目及び３番目の部分に入れる。
【００２７】
この期間中に、探索リスト４２中の最終の基準値が有効であり消去されておらず、かつ語彙中のある単語が、その瞬時に処理したブランチリスト４１中のリスト位置に関連する音素の終端の属する場合には、この単語を単語終端リストに記憶して、単語終端リストの関連するリスト位置の最初の部分に示されているツリーのアイデンティティ（正体）と、探索リスト中の最終の基準値に関連するリスト位置の２番目及び３番目の部分に含まれる得点及び表示も共に記憶する。最後に、有効な基準値が存在するか否か、即ち、探索リスト４２中のリスト位置のうちブランチリスト４１中に関連するリスト位置をまだ有するものが消去されていないか否かをテストして、消去されていない場合には、このリスト位置の内容をブランチリスト４１中に書き戻して、これにより、常時コヒーレント領域を維持する。
【００２８】
最後に、探索リスト４２中の２つの最終の基準値の一方が、ブランチリスト４１中の前記書き戻しを行ったリスト位置に対して有効であるか否かをテストして、有効である場合には、語彙リストによって、どの音素が、ブランチリスト４１中の前記リスト位置に表示された音素に続き得るかを確認して、ブランチリスト４１及び探索リスト４２中に、これらの音素に対応するリスト位置を用意する。また、この瞬時には、本願と同一優先日の特願平４−２４４８７３号に記載のルックアヘッドを実行することができる。この場合には、ブランチリスト４１及び探索リスト４２中には、ルックアヘッドが十分好ましい得点を生み出すような音素あるいは基準位置用のリスト位置のみ用意する。
【００２９】
ブランチリスト４１中の１つのリスト位置をこのように完全に処理すれば、ブランチリスト４１中の次のリスト位置を呼び出すことができ、このリスト位置について、関連する基準値の得点を再びしきい値と比較する。
【００３０】
ブランチリスト４１中の複数リスト位置が形成するコヒーレント領域の最終リスト位置であって、ツリーリスト４０の瞬時的なリスト位置が、この最終リスト位置の表示を含むものを処理すると、ツリーリスト４０のこのリスト位置に対応するリスト位置が、ブランチリスト４１中にまだ残っているか否かをテストする。残存する場合には、ツリーリスト４０中の関連するリスト位置に再び書き戻しを行って、残存しない場合には、ツリーをもはやツリーリスト４０に含めないことによって、ツリーを自動的に消去する。
【００３１】
これに続いて、単語終端リストに対して、使用する言語モデルに依存する言語モデル値を、各単語と共に記憶している得点に加算する処理を施す。ここで、単語終端リスト中に、異なる先行単語から始まる同一単語が存在する場合には、最小の総合得点を有する単語以外のすべての単語を消去する。ここで残りの単語は結果リストに記憶し、記憶しているこれらの単語は、音声信号の終端で、仮説全体が最良であることの検証に利用可能である。これに加えて、必要ならば、ツリーリスト４０中に、これらの単語用に新たなリスト位置を用意することができる。こうするために、まず、ツリーリスト４０中の同じアイデンティティ（正体）を有するリスト位置、即ち、最初の部分に同一内容を有するリスト位置が既に存在するか否かをテストする。このテストをより迅速に行うために、ツリーリスト４０中にリスト位置を入力するか、あるいは書き戻す毎に、リスト位置を補助リストに書き込み、この補助リストは、ツリーのアイデンティティ（正体）毎に、ツリーリスト４０中のリスト位置を含む。結果として、特定のアイデンティティ（正体）を有するツリーが既に存在するか否か、そして存在する場合にはどこに存在するかのテストを、非常に迅速に行うことができる。
【００３２】
単語終端リストの関連する単語に対する有効なツリーが、ツリーリスト４０中に存在しなければ、ツリーリスト４０中に、これらの単語用のリスト位置を新たに用意して、ツリーリスト４０中に既に存在する語彙ツリー毎に、語彙ツリーの第１レベルの音素が既に存在していない限り、単語終端リストに従って、あるいは新たな音素として、ブランチリスト４１中の新たなリスト位置にこれらの音素を与えて、そして、探索リスト４２中には、第１レベルの音素の基準値用の対応するリスト位置を設けて、対応するデータを入力する。この時点でも、ルックアヘッドを考慮することができ、ここでは、ブランチリスト４１中の、十分好適な得点を獲得した音素に対するリスト位置のみに入力を行う。
【００３３】
ここで、次のテスト信号を処理することができる。最後のテスト信号を処理した後に、結果リストを走査して、この走査は、単語終端リスト中の単語のうち最良の評価結果を有するものから始めて、走査した結果の単語列を、出力即ち認識結果として提供する。
【００３４】
上述した方法は特に、バイグラム言語モデルの使用に関係する。ユニグラム言語モデルを使用する場合には、テスト信号で終わる単語毎に別個に探索ツリーを作成する必要はなく、このため、ツリーリスト、従ってブランチリストも必要なくなるが、逆に、探索空間は明らかに縮小することができる。
【００３５】
図４に、音声認識装置の簡略化したブロック図を示す。本実施例では、マイクロフォン１１０を通して得られた音声信号を装置１１２で前処理して、この前処理では特に、連続的な音声信号を区分した各部分について、スペクトル成分をデジタル化して、これにより、音声信号の各部分を表わす値の全体がテスト信号を形成する。ライン１１３に存在するこれらのテスト信号は認識装置１２０に供給する。認識装置１２０は、メモリ１１６に含まれる基準信号を用いて種々の仮説を構成する。最後に、認識装置１２０は、認識した単語列を、出力装置１２２、例えばディスプレイまたはプリンタに供給する。
【００３６】
実際の認識用の認識装置１２０は、ドイツ国特許ＤＥ−ＯＳ−３７１０５０７号に従って構成することができる。探索中には、即ち、連続的なテスト信号の処理中には、この場合にはテスト信号及び基準信号から成る探索空間内で、複数の仮説を作り上げて、しきい値を超える好ましくない得点を有する仮説の継続を中止して、単語の終端となり得る所に達した際にいつも、さらに新たな単語に入る複数の仮説への分岐を開始して、これらの新たな単語は、言語モデルにもとづいて決定する。上記探索空間の使用については一般に、H. Ney他による論文"A data driven organization of the dynamic programming beam search for continuous speech recognition"；1987年、 IEEE、 No. CH 2396-0/87/0000/0633に記載されている。
【００３７】
探索中には、結果メモリ１１４に中間結果を書き込む。本実施例では、中間結果とは、探索中に終了する（単語の終端に達した）すべての単語のことであり、単語に関連する得点または得点へのインデックス、及び関連する先行単語へのインデックスを伴う。探索の継続は、１つ以上の最小得点の選択にもとづいて行う。探索の継続中に終了する連続単語に対するさらなる得点は、それ以前の得点を用いて決めることができ、これらの得点は、結果メモリ１１４から読み出して、装置１２０に供給することになる。この理由で、結果メモリ１１４と装置１２０との間の接続１１５は双方向である。前記さらなる得点は、終了した単語そのものの得点、及び結果メモリ１１４から読み出した得点から決まり、メモリ１１８からの、終了した単語とその直前の単語連鎖との組み合せに対する言語モデル値と共に増加する。この単語連鎖は、１単語（バイグラム）、２単語（トリグラム）等から成る。音声信号の終端において、装置１２０が、結果メモリからの最小の総合得点に基づいて、最高確率を有する単語列を特定する。
【図面の簡単な説明】
【図１ａ】語彙のツリー構成を図式に示す図である。
【図１ｂ】認識に使用するリスト構造を示す図であり、語彙の構成をツリーとして表わす。
【図２】認識処理のフローチャートである。
【図３】本発明による方法で使用する最重要なリストの、構成及び相互関係を示す図である。
【図４】本発明による装置のブロック図である。
【符号の説明】
１〜１０ブランチ（音素）
Ｎ0〜Ｎ4 接合点
１８走査値
２０予備処理
２２ユニット
２４メモリ
２６ブロック（動的時間適応）
２８ブロック（しきい値と比較）
３０単語終端リスト
３２ブロック
３４ブロック（言語モデル再結合）
３６制御段
４０ツリーリスト
４１ブランチリスト
４２探索リスト
１１０マイクロフォン
１１２前処理装置
１１３ライン
１１４結果メモリ
１１５接続
１１６メモリ
１１８メモリ
１２０認識装置
１２２出力装置

Claims

音声信号中の単語列を認識する方法であって、
当該単語列の認識方法は、
反復的な瞬時に前記音声信号をサンプリングして、一連のテスト信号を発生するステップと；
各々が、複数の基準信号を有すると共に１つの音素を表わす種々の基準信号列を用意するステップと、
前記テスト信号に対して、前記基準信号列が有する複数の基準信号の各々との相違度を計算する整合及び前記相違度を表わす得点を与える得点付けを、前記テスト信号単位で前記種々の基準信号列の各々について行うステップと、
１つの基準信号列について前記整合及び得点付けが完了したときに単語が完成したか否かを判定するステップと、
単語が完成する毎に、今回完成した単語について前記得点を合計した単語得点を求め、今回完成した単語と先に完成している単語列中の所定数の単語との組合せに対して割り当てられる言語モデル値を求め、今回完成した単語及び先に完成している単語列について前記単語得点及び前記言語モデル値を累計した総合得点を求めるステップと、
当該テスト信号に後続するテスト信号に対して、整合及び得点付けを行う前記ステップ、単語が完成したか否かを判定する前記ステップ、及び単語が完成する毎に単語得点、言語モデル値、及び総合得点を求める前記ステップを続行し、完成した複数の単語列の中から最小の前記総合得点を与える単語列を選択することに基づいて前記音声信号中の単語列を認識するステップとを具え、
さらに、
語彙をルート及び複数のツリーブランチを有する語彙ツリーとして構成し、ここで、１つのツリーブランチが１つの音素に割り当てられ、且つ、１つの単語が前記語彙ツリーの特定のツリーブランチ接合点または特定のツリーブランチ端に割り当てられ、
前記テスト信号単位の前記整合及び得点付けは、前記語彙ツリーに基づき、前記ルートから等距離にあるすべてのツリーブランチについて同時に行い、各ツリーブランチについて前記整合及び得点付けが完了したときに単語が完成したか否かを判定し、
完成した単語の各々について、別個に、前記ルートから始めて進めた前記整合及び得点付けの結果を当該単語の記憶場所を表わすインデックスと一緒に記憶し、
前記ルートから等距離にあるすべてのツリーブランチについて行った前記整合及び得点付けにおいて完成した複数の単語の中に、同一の単語がある場合には、最小の前記総合得点を与える単語をのみを保持する単語列の認識方法。
前記記憶するステップは、可変数のラインを有する第１リストを中間的に記憶することによって実行し、前記ラインの各々が、第１メモリの新たな部分のアドレスを表わすインデックス、及び前記完成した単語の記憶場所を表わすインデックスを含むことを特徴とする請求項１に記載の方法。
前記第１メモリの前記新たな部分の各々が複数のメモリ位置を具え、該メモリ位置の各々が、前記語彙ツリー内の前記基準信号の記憶場所を表わすインデックス及びそれぞれの得点の記憶場所を表わすインデックスを含むことを特徴とする請求項２に記載の方法。
前記テスト信号の各々に対する、前記基準信号との前記整合及び得点付けを行って新たに得られた得点を、前記第１メモリ中の所定割り当て部分のすべてのメモリ位置に記憶し、最小得点を特定した後に、すべての前記得点を、前記最小得点から導出した第１しきい値と比較して、前記第１しきい値を超える得点を有する前記メモリ位置をすべて消去することを特徴とする請求項１〜３のいずれかに記載の方法。
前記第１リスト中にある、前記第１メモリの前記新たな部分のアドレスを表わすインデックスの各々は、ブランチリスト中の複数のメモリ位置のアドレスを表わすインデックスを含み、
前記メモリ位置の各々が、探索リスト中の複数のメモリ位置のアドレスを表わすインデックスを含み、
前記探索リスト中の各メモリ位置が、次のテスト信号との前記整合及び得点付けに使用すべき少なくとも１つの基準信号の記憶場所を表わすインデックスと、
前記先に完成している単語列の最終単語及び当該最終単語の単語得点の記憶場所を表わすインデックスとを含み、
前記探索リスト中の各メモリ位置が、前記第１リスト及び前記ブランチリストのみを経由してアドレス指定されることを特徴とする請求項２〜４のいずれかに記載の方法。
前記テスト信号毎に前記整合及び得点付けを実行した後に、前記探索リストのすべてのメモリ位置を読み出して、前記メモリ位置の各々に対応するそれぞれの得点を前記第１しきい値と比較して、前記探索リスト中のメモリ位置のうち、当該メモリ位置に対応する得点が前記第１しきい値を超えないメモリ位置のみに、前記読み出した値を書き戻して、
前記ブランチリストのメモリ位置のうち、前記探索リスト中の前記書き戻しを行っていないメモリ位置のみのアドレスを表わすインデックスを有するメモリ位置をすべて消去する
ことを特徴とする請求項５に記載の方法。
前記探索リスト中のメモリ位置のうち、単語に割り当てられた基準信号列の最終基準信号の記憶場所を表わすインデックスを有するメモリ位置に前記書き戻しを行う毎に、当該単語の記憶場所を表わすインデックスを、当該単語に先行する少なくとも１つの先行単語の記憶場所を表わすインデックス、及び当該単語に対応する単語得点の記憶場所を表わすインデックスと一緒に、単語終端リスト中の新たなメモリ位置に書き込み、前記単語得点の各々に言語モデル値を加算して前記総合得点を得て、前記単語終端リスト中に同じ単語の記憶場所を表わすインデックスが存在する場合には、最小の前記総合得点を有する単語以外のすべての単語の記憶場所を表わすインデックスを前記単語終端リストから消去して、前記単語終端リストの消去されていないメモリ位置の内容を、第２メモリの新たなメモリ位置に転送することを特徴とする請求項６に記載の方法。
前記探索リスト中の前記書き戻しを行ったメモリ位置のうち、前記語彙ツリーの１番目のツリーブランチの最終基準信号の記憶場所を表わすインデックスを有するメモリ位置毎に、前記ブランチリスト中の新たなメモリ位置に、前記探索リスト中の複数の新たなメモリ位置のアドレスを表わすインデックスを書き込み、前記探索リスト中の前記新たなメモリ位置の各々が、前記１番目のツリーブランチに続くツリーブランチの基準信号の記憶場所を表わすインデックスを含み、
前記単語終端リスト中のメモリ位置のうち、その内容を前記第２メモリに転送したメモリ位置に対応する単語毎に、前記第１リスト中の新たなメモリ位置に、前記ブランチリスト中の複数の新たなメモリ位置のアドレスを表わすインデックスを書き込み、
前記ブランチリスト中の前記新たなメモリ位置の各々が、前記探索リスト中の複数の新たなメモリ位置のアドレスを表わすインデックスを含み、
前記探索リスト中の前記新たなメモリ位置の各々が、前記語彙ツリーの１番目のツリーブランチの基準信号の記憶場所を表わすインデックスを含むことを特徴とする請求項６または７に記載の方法。
請求項１〜８のいずれかに記載の方法を実現する、音声信号中の単語列を認識する装置において、
反復的な瞬時に前記音声信号をサンプリングして、一連のテスト信号を発生するサンプリング手段と；
ルート及び複数のブランチを有する語彙ツリーであって、１つのツリーブランチが、複数の基準信号で構成される基準信号列を有すると共に１つの音素に割り当てられ、且つ、１つの単語が前記語彙ツリーの特定のブランチ接合点または特定のブランチ端に割り当てられた語彙ツリーを記憶するツリー記憶手段と；
特定の語彙単語及びこの語彙単語に先行する所定単語数の先行単語列に一意的に割り当てられた言語モデル値を複数記憶するモデル記憶手段と；
前記サンプリング手段、前記ツリー記憶手段、及び前記モデル記憶手段によって信号供給され、前記テスト信号に対して、前記基準信号列を構成する複数の基準信号の各々との相違度を計算する整合及び前記相違度を表わす得点を与える得点付けを、前記語彙ツリーに基づいて前記テスト信号単位で行い、且つ前記ルートから等距離のすべてのツリーブランチについて同時に行い、１つの前記基準信号列との前記整合及び得点付けが完了したときに単語が完成したか否かを判定し、単語が完成する毎に、今回完成した単語について前記得点を合計した単語得点を求め、今回完成した単語と先に完成している単語列中の所定数の単語との組合せに対して割り当てられる言語モデル値を求め、今回完成した単語及び先に完成している単語列について前記単語得点及び前記言語モデル値を累計した総合得点を求める整合兼得点付け手段と；
前記整合兼得点付け手段によって信号供給され、複数の非同一単語の同時読み出しに応答して、前記非同一単語毎に、別個に、前記ツリーの前記ルートから始めて進めた前記整合及び得点付けの結果を、前記整合兼得点付け手段からバッファに伝送する伝送手段と；
前記整合兼得点付け手段及び前記バッファによって信号供給され、関連する前記総合得点が許容範囲内であるか許容範囲外であるかにもとづいて、前記基準信号列との前記整合及び得点付けを選択的に継続または継続中止する決定手段と；
前記整合兼得点付け手段によって信号供給され、同時に得られた前記総合得点のうち最小のものに基づいて、前記音声信号中の単語列を認識する認識決定手段と
を具えていることを特徴とする単語列の認識装置。