JPH10105189A - シーケンス取出し方法及びその装置 - Google Patents

Abstract

(57)【要約】 【課題】 話される表現に一致する可能性が減少する複
数の相違するワードシーケンスの発生により、スコアの
和を著しく増大させる。 【解決手段】 最初のワードグラフの情報を用いて認識
を行うとともに、最適なワードシーケンスを、一つのブ
ランチのみを有するツリーとして個別に記憶する。この
ワードシーケンスのワード境界は、このツリーにノード
を形成する。このツリーのノードのみを２番目に適切な
ワードシーケンスに対して考慮するので、計算は著しく
簡単になる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、自然な音声で話さ
れる表現を表す音声信号から少なくとも一つのワードシ
ーケンスを取り出し、その表現の個別のワードがそれに
挿入された音声間隔とともに話されるシーケンス取出し
方法に関するものである。語彙のみが与えられ、その結
果、この語彙のワードのみを取り出すことができる。取
り出されたワードのシーケンスは、話されるワードのシ
ーケンスに正確に一致する必要がある。したがって、こ
のような方法は、音声認識法とも称される。また、本発
明は、少なくとも一つのワードのシーケンスを取り出す
方法に関するものである。

【０００２】

【従来の技術】特開平6-295198号公報から既知のこの種
の方法において、個別のワードは、基準信号との比較に
よって取り出され、このようなワードを結合して、ワー
ドグラフを形成する。基準値との完全な一致は実際には
ほとんど生じないので、複数の同様な音のワードが取り
出され、同時に又は時間的なオーバラップとともに、ワ
ードの各々は、基準値の一致の程度に応じて各スコアに
割り当てられる。スコアの最小の和が生じる連続的なワ
ードのシーケンスは、最も可能性の高い話されたワード
シーケンスとして出力される。

【０００３】

【発明が解決しようとする課題】しかしながら、最適で
ない発音が原因で、実際に話されたワードシーケンスが
ワードグラフの好適ではない和を有するので、シーケン
スの出力が実際に話されたワードシーケンスでない場合
が生じる。それにもかかわらず、このような実際に話し
たワードシーケンスを出力するおそれがあるので、原理
的には、音声信号に一致する可能性が段階的に低くなる
音声信号から複数のワードシーケンスが取り出されるこ
とが知られている。例えば、オペレータは、この場合、
その複数のワードシーケンスから実際に話されたワード
シーケンスを選択することができる。音声信号が一致す
る可能性が減少する相違するワードシーケンスの出力に
対する別の用途は、ワードシーケンスの出力が自動的な
データベースの問い合わせに用いられる対話システムに
関する。この場合、最も可能性の高いものとして認識さ
れたワードシーケンスにより、感知することができない
すなわち解釈することができないデータベースの問い合
わせとなるおそれがあり、それに対して、より可能性の
低いワードシーケンスが有用なデータベースの問い合わ
せとなるおそれがある。したがって、このようなワード
シーケンスが実際に話されるシーケンスに最も一致する
と仮定されるおそれがある。

【０００４】しかしながら、音声信号に対する一致の可
能性が相違する複数のワードシーケンスが発生すること
は、一般に計算の観点から非常に複雑である。1991年に
トロントで刊行されたThe Proceedings ICASSP-91 の70
1 〜704 頁は、複数の文章の仮定を見つける方法を記載
しており、この場合、種々の文章の仮定を後に追跡する
ことができるステップは複雑となる。

【０００５】本発明の目的は、ワードグラフに基づき、
話される表現に一致する可能性が減少する複数の相違す
るワードシーケンスの発生により、スコアの和を簡単な
手段を用いて著しく増大させることができる方法及び装
置を提供することである。

【０００６】

【課題を解決するための手段】この目的を、主に音声信
号に最も音響的に一致することを示すワードシーケンス
を基礎として用いる本発明によって達成される。本発明
は、音声信号の音響的な一致が減少するワードシーケン
スがこれら音響的に類似したワードシーケンスの一部を
含む必要があるという概念に基づくものである。したが
って、後に第１ワードシーケンスとも称されるこのワー
ドシーケンスが基礎として用いられる。この第１ワード
シーケンスを、本来一つのブランチのみを有するととも
に個別のワード間の境界を表す複数のノードを含むツリ
ーの形態で個別に記憶する。このツリーの各ノードは、
別の複数のノードを含むワードグラフのノードに一致す
る。次に大きなスコアの和を有する別のワードシーケン
スを見つけるために、ツリーの各ノードに対して、ワー
ドグラフの一致するノードを検索し、開始までのワード
グラフを通過する最適経路セグメント、すなわちスコア
の最小の和を有する経路セグメントも検索する。この和
は、エンドノードまでのツリーの残りのワードのスコア
だけ増分され、このように増分されたスコアの最小の和
を有する経路セグメントは、ツリーの残りのワードシー
ケンスとともに、スコアの次に大きい和を有するワード
シーケンスを提供する。決定すべき別のワードシーケン
スの各々に対してブランチがツリーに既に存在し、より
正確に言えば、サブシーケンスの最後のワードを除去す
る必要があるので、ツリーはワードのこのサブシーケン
スによって拡張される。ツリーが、ワードグラフに比べ
て少ない数のノードを具えるので、別のワードシーケン
スを、簡単な算術手段を用いて決定する必要がある。

【０００７】好適には、ワードグラフを有する経路に沿
ったワードシーケンスのスコアの和の計算は、ｎ≧１の
所定のワードの可能性を表す言語モデル値も考慮する。
ｎ＝１に対して、これらは、個別のワードの可能性のユ
ニグラム(Unigram) 言語モデル値となる。しかしなが
ら、バイグラム(Bigram)言語モデルの言語モデル値のｎ
＝２に対して、より良好な結果が既に得られている。こ
れにより、ワードシーケンスが音声信号に音響的に比較
的強く一致することを示しても、感知できないワードシ
ーケンスが出力されるおそれが減少する。

【０００８】計算量を以下のようにして更に減少させる
ことができる。第１及び別のワードシーケンスの各々の
決定後、グラフの開始を各ツリーノードに対して検索す
るまでワードグラフの最適経路セグメントが存在し、関
連のスコアの和が形成され及びツリーの残りのワードシ
ーケンスのスコアによって増分される場合、この増分さ
れたスコアの和が、関連のツリーノードで記憶される。
経路セグメント及びツリーのワードシーケンスの残りか
らなる別のワードシーケンスを決定する場合、この新た
な経路セグメントの個別のエッジがワードグラフにマー
クされて、この経路セグメントは別のワードシーケンス
の決定の際にもはや考慮されないようにする。他の全て
のツリーノードに対して記憶された値は、同一のままで
あり、次のワードシーケンスの決定の際に再び計算され
る必要がない。経路セグメントのノードのマーキングの
代わりに、関連のツリーノードに対して、ワードグラフ
の残りの全ての経路セグメントから最適経路を決定する
とともに、ツリーノードに対応するスコアを記憶させる
ことができ、その結果、次のワードシーケンスは、全て
のツリーノードに記憶されたスコアの和のうちの最小の
ものから直接続く。

【０００９】このように決定された複数のワードシーケ
ンスが、実際に話したワードシーケンスを含む可能性
を、決定後により複雑な言語モデルを用いてこれらワー
ドシーケンスを更に評価することにより更に増大させる
ことができる。この結果、個別のワードシーケンスに対
して新たなスコアとなり、その結果ワードシーケンスの
オーダは変化しうる。例えば、２番目に適切なワードシ
ーケンスは追加の評価の値に４番目に適切なワードシー
ケンスとなり、それに対して、追加の評価の前に３番目
に適切なワードシーケンスは、例えば２番目に適切なワ
ードシーケンスとなる。その後、ワードシーケンスを出
力することができ、場合によってはワードシーケンス
を、修正したオーダで更に処理することもできる。

【００１０】

【発明の実施の形態】図１に図示したワードグラフは、
明瞭のために行方向に示した複数のノードＮ０〜Ｎ１０
を具える。ノードＮ０〜Ｎ１０は、エッジＫ１〜Ｋ１７
によって付されたワード間の境界を表す。ワードの境界
は、相違する瞬時ｔ０〜ｔ８で生じる。このグラフを、
音声信号を基準信号と比較することによって形成し、基
準信号の相違するシーケンスを、相違するワードに関連
させる。ワードが音声信号のセグメントに十分類似して
いることを示す場合、このワードをワードグラフに加え
る。実際には、このようなワードグラフは、連続する他
のワードを有する複数の別のノードも具えるが、これら
他のワードを明瞭のために省略する。図３に図示したツ
リーのノードに対応するノードのみを示す。

【００１１】ノードＮ０は、音声信号の開始、例えば、
話を開始するためにユーザに対してシステムが行う要求
を表す。先ず、ノードＮ０では沈黙がある。その理由
は、ユーザは話を瞬時に開始しないからである。

【００１２】しばしば雑音が音声信号に重ね合わされる
ので、瞬時ｔ１では、エッジＫ３によって表される沈黙
がノードＮ１で終了し、エッジＫ６で始まるワードの開
始を認識する。他の仮説によれば、エッジＫ２で表され
た沈黙は、ノードＮ２の瞬時ｔ２で終了したものと考え
られ、エッジＫ４及びＫ５を付した二つのあり得るワー
ドの開始を認識する。関連のセグメントの音声信号に対
する個々のワードの類似に依存して、これら個々のワー
ドがスコアに割り当てられるが、そのスコアを図１に示
さない。最後に、第３の仮説により、エッジＫ１によっ
て示した沈黙は、ノードＮ３の瞬時ｔ３でのみ終了した
と仮定され、ノードＫ７及びＫ８を付した二つの適切な
ワードの開始が認識される。図１に示す全体のワードグ
ラフをこのようにして形成する。

【００１３】あり得る次の沈黙を示さない場合、音声信
号の終了がノードＮ１０に到達すると、図１に示さない
が実際には存在するノード及びエッジを通過する経路で
あっても、ワードグラフを通過する全てのあり得る経路
に続き、これら経路沿いのワードに関連するスコアが加
えられる。好適には、言語モデル値、特にバイグラム言
語モデルの言語モデル値をこの際に考慮する。これによ
り、音声信号又は音声信号の対応するセグメントに対す
る適切な音響的な類似をワード文章が有する場合、実際
には通常の文章に生じないワード文があり得るワード文
として出力されるおそれが減少する。最後に、全ての適
切な経路はノードＮ１０で終了し、スコアの最適合計を
有する経路が第１のワードシーケンスとして出力され
る。

【００１４】同時に、この第１のワードシーケンスを、
図２に示したツリーとして個別に記憶し、そのツリー
は、最初は単一ブランチのみからなる。このツリーは、
図１のワードグラフのエッジＫ１，Ｋ８，Ｋ１０及びＫ
１２に対応するワードＫ’１，Ｋ’８，Ｋ’１０及び
Ｋ’１２を含む。ワード間のワード境界に、ノードＴ０
〜Ｔ４を配置し、この場合これらノードにエンドノード
Ｔ０から番号を付し、これらノードは図１のワードグラ
フのノードＮ１０，Ｎ７，Ｎ５及びＮ３に対応する。図
２は、２番目に適切なワードシーケンスに対するあり得
る候補を見つける方法も示し、したがってその候補は、
最適のワードシーケンスの和よりも大きいがワードグラ
フの他のあり得る全てのワードシーケンスの和より小さ
いスコアの和を有する。２番目に適切なワードシーケン
スはサブシーケンスのみを含むことができ、そのサブシ
ーケンスは、任意の場合ツリーのノードのうちの一つで
終了する必要がある。本例では、ノードＴ２に対して、
それを、ワードグラフのエッジＫ９に対応するワード
Ｋ’９で終了するサブシーケンスのみとすることができ
る。ノードＴ１に対して、一つのみのワードシーケンス
が適切であり、そのシーケンスは、二つのエッジＫ１０
及びＫ１１のみがワードグラフのノードＮ７に集まるの
で、ワードＫ’１１で終了する。しかしながら、エッジ
Ｋ１０は、最適ワードシーケンスによって既に用いられ
ている。三つの相違するワードシーケンスが可能である
のは、２番目に適切なワードシーケンスに対してもあり
得るノードを構成するエンドノードに対してのみであ
り、それは、ワードＫ’１５，Ｋ’１６及びＫ’１７で
終了する。全てのあり得るワードシーケンスのうちのい
ずれが２番目に適切なワードシーケンスであるかを、あ
り得るサブシーケンスの各々に対して配置されたワード
のスコアの和を形成するとともに、既に存在するツリー
の残りのワードのスコアをこの和に加算することによっ
て、決定する。複数のあり得るサブシーケンスが２番目
に適切なワードシーケンスとしてツリーのノードで終了
することができる限り、スコアの最小の和を有するこの
ような複数の適切なサブシーケンスの間からのサブシー
ケンスを、２番目に適切なワードシーケンスに対してあ
り得る候補とすることができる。各ツリーノードで、す
なわち本例ではツリーノードＴ２，Ｔ１及びＴ０で、ス
コアの関連の増分した和を記憶する。他のステップの
間、記憶された値を比較し、最小値は、２番目に適切な
ワードシーケンスが最適ワードシーケンスで終了するノ
ードを表す。

【００１５】図３は、四つの最適ワードシーケンスに対
する一例を示す。オーダを、個別のブランチの左端の番
号で表す。図２で既に示したように、最適ワードシーケ
ンスは、ワードＫ’１，Ｋ’８，Ｋ’１０及びＫ’１２
を含む。２番目に適切なワードシーケンスは、エンドノ
ードＴ０でのみ最適ワードシーケンスを終了し、ワード
Ｋ’１，Ｋ’８，Ｋ’１０，Ｋ’１３及びＫ’１５を含
む。このワードシーケンスは、追加的にノードＴ５〜Ｔ
９を含む。３番目に適切なワードシーケンスは、ノード
Ｔ２で最適ワードシーケンスを終了し、ワードＫ’２，
Ｋ’４，Ｋ’９，Ｋ’１０及びＫ’１２を含む。これに
より、追加のノードＴ１０〜Ｔ１２が生じる。４番目に
適切なワードシーケンスは、本例では、２番目に適切な
ワードシーケンスのノードＴ７で終了し、ワードＫ’
３，Ｋ’６，Ｋ’９，Ｋ’１０，Ｋ’１３及びＫ’１５
を含む。

【００１６】概して、エッジＫ１，Ｋ２及びＫ３に関連
する沈黙は、ワードのように思われる。その理由は、こ
の方法を実現するに当たり、沈黙も、できるだけ簡単に
処理されるために形式上ワードとして取り扱われるから
である。

【００１７】例えば、ワードグラフのエッジＫ１０に対
応するワードＫ’１０も、最適及び２番目に適切なワー
ドシーケンスで発生する。これら二つのワードシーケン
スがエンドノードＴ０のみで出くわすので、２番目に適
切なワードシーケンスから、ラストワードとしてワード
Ｋ’１２を含むシーケンスが除外され、すなわちエッジ
Ｋ１２を含む全てのサブシーケンスは、ワードグラフで
ブロックされる。

【００１８】図４は、上記方法を実施する装置の一例を
線図的に示す。ここで、マイクロホン１０によって拾わ
れる音声は、装置１２で繰り返しサンプリングされ、サ
ンプリングされた音声信号を特徴づける検査信号は、サ
ンプルから取り出される。これら検査信号は認識装置１
４に供給され、その検査信号が、メモリ１６からの複数
の基準信号と比較される。これら基準信号は、複数のシ
ーケンスを形成し、その各々を、語彙のワードと関連さ
せる。したがって、認識装置１４は、音声信号の音響認
識を行い、認識する間、複数の仮定が形成され、十分な
可能性で音声信号に一致して形成したワードが出力され
る。このような可能性の目安は、ワードに関連するスコ
アの出力に含まれる。

【００１９】ワード出力は、ノード及びエッジとともに
ワードグラフを形成する。エッジはワードに対応し、ノ
ードを、少なくとも一つのワードエンド及び少なくとも
一つの別のワードの開始の瞬時に関連させる。種々の経
路は、このワードグラフによって実現可能となり、ワー
ドの和のスコアができるだけ小さい経路を検索し、全て
の実現可能な経路のうちの最小の和のスコアを有する経
路から開始する。

【００２０】この経路上で決定されたワードチェーンに
対して、それが音声信号に一致する音響的な可能性が最
も高いが、例えば不明瞭な発音のために、実際には僅か
に高いスコアを有する他のワードチェーンが、音声信号
を発する人が言いたいことを表すおそれがある。グラフ
中のワードシーケンスを決定する間に言語モデルを用い
ることにより、エラーのおそれを減少させることができ
るが、完全に除去することはできない。このようなエラ
ーは、例えばデータベースに対してアクセスを行う必要
がある質問をユーザが話す情報システムの場合、非常に
煩わしい。あり得る最適スコアを有するワードシーケン
スは不一致すなわち矛盾を含む。すなわち、そのワード
シーケンスは、対応するデータがデータベースに存在し
ないために実行することができないデータベースアクセ
スとなる。したがって、所定の要件を満足するワードシ
ーケンスを見つけるまで、順次やや劣るスコアを有する
複数のワードシーケンスを、形成されたワードグラフか
ら適切に取り出す。

【００２１】この動作を、ワードグラフを受け取る処理
装置２０で実行する。この装置は、先ず、ワードが最適
な和のスコアを有するグラフの経路を決定する。このワ
ードチェーンは、メモリ２４に記憶される。次のやや劣
るスコアを有する次のワードチェーンを決定するに当た
り、ワードグラフの始めから開始するワードグラフを介
したワードのサブシーケンスを考慮し、それは、最適な
全体に亘るスコアを有するワードシーケンスが見つけら
れる経路と共通の少なくとも一つのサブノードを有す
る。このために、好適には、この経路のノードから開始
し、そこまで延在するサブシーケンスを後方に追跡す
る。その結果、全ワードグラフを別のワードシーケンス
の各々に対して検索する必要がある場合、別のワードシ
ーケンスの各々を取り出すには演算動作がほとんど要求
されない。

【００２２】メモリ２４にまだ存在しない別のワードシ
ーケンスの各々のサブシーケンスは、メモリ２４に記憶
される。したがって、共通のワードグラフの少なくとも
一つの終了点を有するワードシーケンスのツリー構造が
メモリ２４に形成される。サブシーケンスを、メモリ２
４に存在するノードから後方に追跡すべき場合、メモリ
２４に既に存在するサブシーケンスは当然除去される。
このために、各ノードの開始から、このノードの方向で
メモリ２４に既に存在する各ワードを除去するだけで十
分である。

【００２３】次のやや劣るスコアを有するワードシーケ
ンスを決定するに当たり、最適スコアを有するシーケン
スを決定する場合のように、一般に、処理装置２０に結
合したメモリ２６に記憶された言語モデルを考慮する。

【００２４】例えば、データベース２２に対するデータ
ベースの問い合わせの情報を、このように決定したワー
ドシーケンスから発生させる。種々のワードシーケンス
を、最初に決定し、データベースの問い合わせに対して
連続的に用いることができる。すなわち、最適なワード
シーケンスのみを決定し、それを、矛盾がなく適切な情
報アイテムをデータベースの問い合わせに対して形成す
ることができるか否か検査する。できない場合は、やや
劣るスコアを有する次のワードシーケンスを形成する場
合のみである。

【００２５】最後に、処理装置２０は、データベースの
問い合わせに起因する答えを出力装置２８に供給するこ
とができる。しかしながら、関連するシステムが情報シ
ステムではなく、例えば音声信号を書込み文章に変換す
る口述システムの場合、処理装置２０によって決定され
るワードシーケンスは、出力装置２８に直接供給され
る。この装置を、例えば表示スクリーンとし、ユーザは
この際、表示スクリーン上に生じた検査が音声信号に一
致するか否か検査し、そうでない場合、信号が、例えば
キーボードを介して処理装置２０に供給されて、次のワ
ードシーケンスを決定し又は出力する。

【図面の簡単な説明】

【図１】ワードグラフの一例の一部を示す。

【図２】最適ワードシーケンスの決定後のツリーを示
す。

【図３】四つのワードシーケンスの決定後のツリーの拡
張を示す。

【図４】本発明による装置のブロック図を示す。

【符号の説明】

１０ マイクロホン １２ 装置 １４ 認識装置 １６，２４，２６ メモリ ２０ 処理装置 ２２ データベース ２８ 出力装置 Ｋ１，Ｋ２，．．．，Ｋ１７，Ｋ’１，Ｋ’２，．．．
Ｋ’１７ エッジ Ｎ１，Ｎ２，．．．，Ｎ１０，Ｋ’１，Ｔ０，Ｔ
１，．．．，Ｔ１５ ノード ｔ１，．．．ｔ８ 瞬時

フロントページの続き (72)発明者 フランク シーデ ドイツ連邦共和国 52066 アーヘン ヘ イスベルクシュトラーセ ８ (72)発明者 ヴォルカー スタインビス ドイツ連邦共和国 52070 アーヘン ス トリーヴェルヴェーク 75

Claims (4)

【特許請求の範囲】
1. 【請求項１】 音声信号から予め決定された語彙のワー
   ドの少なくとも一つのシーケンスを取り出すシーケンス
   取出し方法であって、 ａ） 前記音声信号から検査信号を取り出すステップ
   と、 ｂ） 前記検査信号を基準信号と比較し、相違するワー
   ドを、前記基準信号の相違するシーケンスに関連させる
   ステップと、 ｃ） 前記比較により、スコアを有するワードを決定す
   るとともに、ワード境界としてのノード及びエッジとし
   てのワードを含むワードグラフを形成するステップと、 ｄ） 前記ワードのシーケンスとしてスコアの最小和を
   有するワードグラフを通過する第１経路に前記ワードを
   出力するステップとを含むシーケンス取出し方法におい
   て、 ｅ） 次に大きいスコアの和を有する他のワードのシー
   ケンスを出力するために、ワード境界のツリーノード及
   び一つのエンドノードを有するツリーに基づいて、前記
   第１経路のワードのシーケンスを個別に記憶するステッ
   プと、 ｆ） 各ツリーノード及び対応するグラフノードに延在
   するワードグラフの経路セグメントに対して、ワードグ
   ラフの開始から配置したワードのスコアの全体に亘る和
   を形成し、このようにしてそれまで決定したワードのシ
   ーケンスを有する経路セグメントを、それから除去する
   ステップと、 ｇ） 前記グラフノードがツリーノードに対応するとと
   もにグラフノードから前記ツリーの最終ノードまでの間
   に、ワードグラフの経路セグメント上のワードのスコア
   の和が最小であるワードのシーケンスを出力し、既に記
   憶されているツリーを、この経路セグメントのワードの
   シーケンスによって拡張するステップと、 ｈ） 上記ステップｆ）及びｇ）を繰り返し実行するス
   テップとを更に含むことを特徴とするシーケンス取出し
   方法。
2. 【請求項２】 前記スコアの各和に対して、ｎ≧１の所
   定のワードのシーケンスの可能性を表す追加の言語モデ
   ル値を、追加的に考慮することを特徴とする請求項１記
   載のシーケンス取出し方法。
3. 【請求項３】 各ツリーノードに対して、前記グラフモ
   ードがこのツリーモードに対応するとともにこのツリー
   ノードから前記ツリーの最終ノードまで、前記ワードグ
   ラフの最適経路セグメントのワードのスコアの和を記憶
   し、全てのノードの最小和に関連するワードのシーケン
   スを別のシーケンスとして出力し、前記ワードの出力を
   有する経路セグメントに関連して、スコアの関連の和を
   有するツリーノードをマークし、次の別のシーケンスの
   決定に対して、前記スコアの和を、マークしたツリーノ
   ードに対してのみ決定し及び記憶することを特徴とする
   請求項１又は２記載のシーケンス取出し方法。
4. 【請求項４】 予め決定した語彙のワードの少なくとも
   一つのシーケンスを音声信号から取り出すシーケンス取
   出し装置であって、ワードグラフを取り出すとともにス
   コアの最小和を有する少なくとも一つのワードシーケン
   スを出力する認識装置と、ツリーの形態の各出力ワード
   シーケンスを記憶するために処理装置に結合したメモリ
   とを含み、新たな出力ワードの各々から、既に記憶した
   ワードシーケンスと異なる部分のみを記憶し、前記処理
   装置が、第１のワードシーケンスの出力の後に、前記ワ
   ードグラフから、既に記憶したワードシーケンスと共通
   の少なくとも一つのワード境界を有するワードシーケン
   スのみを取り出し、前記ワードグラフの始めから開始す
   るワードのサブシーケンスを除去し、そのサブシーケン
   スの少なくとも最後のワードが、前記メモリに記憶した
   サブシーケンスに対応するようにしたことを特徴とする
   シーケンス取出し装置。