JP2006048058A - 多言語による名称の音声認識のための方法とシステム - Google Patents

Abstract

【課題】言語モード間の手動切り替えを必要とせずに多言語による名称の音声認識方法を提供する。
【解決手段】多言語による名称の音声認識のための方法とシステム１００は、混合文字／音変換器１０５において複数の言語特定文字／音変換器を使用する。一実施態様による方法は、文字からなる複数の名称を表すテキストを電子装置に記憶させるステップを含んでいる。次いで、前記名称のそれぞれに対する少なくとも一つの言語を特定し、各名称を順序だった一連の発音ユニットに変換し、この発音ユニットを公開語彙辞書１１０に記憶させる。次に、発話された言葉を前記電子装置に関連付けられたマイクロフォン１２０で受信し、この言葉を特徴抽出器１２５において特徴ベクトルに変換する。次いで、この特徴ベクトルを、ＡＳＲ（自動音声認識）エンジン１３０において、少なくとも一つの名称の順序だった一連の発音ユニットと照合する。
【選択図】図１

Description

本発明は一般に音声認識プロセスに関する。本発明は特にパーソナル電子装置を使用した多言語による名称の音声認識に有用であるが、必ずしもそれに限定されるものではない。

移動電話、携帯情報端末（ＰＤＡ）、および小型無線呼出し装置などのパーソナル電子装置は、工業化された世界の至る所で普及してきた。何百万人というユーザーが現在、電子情報への素早く簡単なアクセスと通信のためにそのような装置に頼っている。それらの装置の軽量・小型化は一般に、それらを例えばポケットや財布に入れて簡単に持ち運べるようにすることによって、その便利さを増している。しかしながら、それらの装置の小型化の不都合な点は、キーパッドおよびボタンなどの装置上の触覚インターフェースがしばしば極めて小さく扱い難いことである。

そこで、音声認識は多くのパーソナル電子装置にとって貴重な機能である。例えば、音声認識機能によって、車のドライバは、道路から目を離すことなくパーソナル電子装置に簡単な命令を出すことができる。また、音声による命令は、簡単に、しかも、小さなキーパッド上で指示を入力するのに必要な時間よりもしばしば速く実行することができるため、音声認識は、例えばＰＤＡ内のアドレス帳エントリにアクセスする際の利便性を向上することができる。

従って、音声認識システムは、コンピュータプログラムを実行し、データベースにアクセスするための好評な手段である。しかしながら、パーソナル電子装置の小型化は、組み込まれる音声認識システムの性能を制限することもある。効果的な音声認識はしばしば、比較的大きなデータベースとかなりの処理速度を必要とするが、小型電子装置のメモリ容量と処理能力は一般に制限がある。これらの制限を克服するために、パーソナル電子装置の音声認識システムは普通、限定された特定の状況だけのためにカスタマイズされる。例えば、そのようなシステムはしばしば、以下に更に詳細に説明するように、話者に依存しており、特定の話者のみの音声パターンを解釈するようになっている。また、そのようなシステムはしばしば、言語に依存しており、限定された語彙だけのために設計される。これらの設計上の妥協により、システムは、特定目的のためには、パーソナル電子装置の限定されたリソースを用いて、かなり良好に機能することができる。

音声認識システムは一般に、入力言葉をデータベースに記憶されている音響モデルと照合することによって機能する。一致した音響モデルをその後、辞書データベース内のエントリと照合し、単語および文の認識を完了する。音響モデルはしばしば、隠れマルコフモデル（Hidden Markov Models: ＨＭＭ）からなっている。ＨＭＭは、平均ベクトルと分散ベクトルを含む統計記述であり、単語と音素などの音声ユニットを記述する。次いで、ＨＭＭパターン照合を使って、音声認識データベース内の音響モデルが発話により入力された言葉と一致するかどうかを判定する。ＨＭＭは一般に、ガウス混合と呼ばれるいくつかの複合ガウス確立分布関数（ＰＤＦ）からなる確立関数に基づいている。音声パターン照合はそれ故、ガウス混合と入力音声言葉を照合するプロセスである。従って、ＨＭＭパターン照合音響モデルの利用可能な高度化は、性能とメモリおよび処理リソースとの間の必要な妥協を行うときに、音声認識システムの設計者が考えなければならない重要な変動要因である。

音声認識システムにおける他の妥協は、多数のユーザーの音声を認識するためのシステ
ムの能力に関係している。従って、音声認識システムは更に、話者に依存しないシステムか話者に依存するシステムのいずれかとして分類される。話者に依存しないシステムは、任意の言語のどの話者の音声をも認識するように設計されているが、話者に依存するシステムはただ一人の話者の音声を認識するように教育される。話者に依存しないシステムは普通、複数のトレーニング話者から得られたＨＭＭを含む音響データベースを含んでいる。トレーニング話者の音声から得られるＨＭＭは、より大きな話者グループに見られる音声パターンを代表することが意図されるガウス混合パラメータである。そのようなシステムは一般に、話者に依存するシステムよりも正確ではない。これは、いろいろな音声属性に対応するために音声モデルにおいて妥協しなければならないためと、話者に依存しないシステムが、そのシステムを使用するどの特定の話者の特有の音声属性にも適合しないためである。

話者に依存するシステムは、個々の話者の特定の音声パターンを認識するように調整される。通常、話者は、トレーニングルーチンの間、話者に依存するシステムの中にいろいろな音声パターンを含むスクリプトを読み込む。次いで、トレーニング音声がそのスクリプトに合わせられ、そのため、システムを話者の特有の音声属性に調整することができ、従って、システムは、音声認識の間、話者の音声をより正確に認識するようになる。しかしながら、話者に依存するシステムはしばしば、多くの人々が音声認識システムを使用する必要がある状況においては望ましくない。例えば、移動電話に組み込まれた音声認識システムによってユーザーは、命令を話し、その命令が電話によって認識されることによって、装置を動作させることができる。しかしながら、移動電話の主ユーザーは、多くの友人、同僚、または家族も電話の音声認識機能を使用できることを望むことがある。電話のそのような第２ユーザーはほんの短期間だけ音声認識機能を必要とするかも知れないため、第２ユーザーは、音声認識機能を使う前に、まず自分の音声を電話に認識させる必要があることは不便である。

最後に、音声認識音響モデルは通常、単一言語専用に設計されている。従って、多言語音声を認識できる音声認識システムは、多数の音響モデルを必要とし、このこともシステムのメモリ要求と高度化を増大させる。

最近、二言語による音声認識装置がパーソナル電子装置用に開発されている。従って、例えば、移動電話のバイリンガルユーザーは、英語と標準中国語といった二言語のうちのいずれかを使って、電話に記憶されたアドレス帳から名称を呼び出すことができる。これらの装置に使用される別々の言語に特定的な音響モデルおよび語彙データベースのために、ユーザーは一般に、音声認識機能を使う前に、まず電話の言語モードを一つの特定の言語に切り換えなければならない。しかしながら、特定の言語を予め選択しなければならないのは、例えば、アドレス帳が、多様に混在した二言語の名称または他の連絡情報を含む場合に不便である。また、特定の言語を予め選択しなければならないために、システムは、音声認識を用いて、多言語が混在した２つの部分からなる名称、例えば、名が英語で姓が標準中国語の名称を特定することができない。

従って、言語モード間の手動切り換えを必要とせずに多言語の名称を認識することができ、パーソナル電子装置の制限されたリソースを効果的に使用する、話者に依存していない音声認識のための改善された方法とシステムに対する必要性が存在する。

そこで、本発明は、一態様によれば、改善された多言語の名称の音声認識方法であって、文字からなる複数の名称を表すテキストを電子装置に記憶させるステップと、前記名称
のそれぞれに対して少なくとも一つの言語を特定するステップと、複数の、言語に特定的な文字／音変換器（以下「言語特定文字／音変換器」とする）を用いて、各名称を順序だった一連の発音ユニットに変換するステップと、前記電子装置に関連付けられたマイクロフォンで発話された言葉を受信するステップと、前記言葉を特徴ベクトルに変換するステップと、前記特徴ベクトルを少なくとも一つの名称の前記順序だった一連の発音ユニットと照合するステップとを備えた方法である。

前記多言語は標準中国語を含み、前記名称のそれぞれに対して少なくとも一つの言語を特定するステップは、前記名称が中国語アルファベットの文字から構成されているかローマ字アルファベットの文字から構成されているかを判定するステップと、ローマ字アルファベットの名称が中国語ぴん音であるかを判定するステップからなることが好ましい。

前記多言語は西洋言語と中国語で構成されることが好ましい。
前記複数の言語特定文字／音変換器は、中国語文字／音変換器と西洋言語文字／音変換器で構成されることが好ましい。

前記中国語文字／音変換器は前後関係に依存しており、前記西洋言語文字／音変換器は前後関係に依存していないことが好ましい。
前記特徴ベクトルを少なくとも一つの名称の順序だった一連の発音ユニットと照合するステップは、自動音声認識エンジンにおいて前記特徴ベクトルと前記順序だった一連の発音ユニットとガウス混合パラメータとを比較することによって前記特徴ベクトルをデコードするステップからなることが好ましい。

前記自動音声認識エンジンはビーム検索ビタービ（Viterbi ）アルゴリズムを使用することが好ましい。
前記名称は前記電子装置に記憶されている連絡リストの構成要素からなっていることが好ましい。

別の態様によれば、本発明は、多言語による名称の音声認識方法であって、電子装置に関連付けられたマイクロフォンで発話された言葉を受信するステップと、前記言葉を特徴ベクトルに変換するステップと、前記特徴ベクトルを、少なくとも一つの名称であって文字の表現として前記電子装置に記憶されている名称の順序だった一連の発音ユニットと照合するステップを備える。前記名称の少なくとも一つの言語は前記文字から特定されており、前記名称は次いで、複数の言語特定文字／音変換器を用いて前記順序だった一連の発音ユニットに変換されている。

更に別の態様によれば、本発明は、多言語による名称の音声認識のためのシステムであって、マイクロプロセッサと、前記マイクロプロセッサに動作可能に接続された少なくとも一つのメモリと、前記マイクロプロセッサに動作可能に接続されたマイクロフォンを備える。前記マイクロプロセッサは、前記メモリに記憶されているコードを実行して、発話された言葉を前記マイクロフォンで受信し、前記言葉を特徴ベクトルに変換し、前記特徴ベクトルを、少なくとも一つの名称であって文字の表現として前記メモリに記憶されている名称の順序だった一連の発音ユニットと照合するように動作する。前記名称の少なくとも一つの言語は前記文字から特定されており、前記名称は次いで、前記マイクロプロセッサに動作可能に接続された複数の言語特定文字／音変換器を用いて前記順序だった一連の発音ユニットに変換されている。

前記名称は前記システムに記憶されている連絡リストの構成要素からなっていることが好ましい。
前記システムは移動電話か携帯情報端末のいずれかに動作可能に接続されることが好ま
しい。

特許請求の範囲を含む本仕様書においては、用語「備えた」、「含む」、「からなる」、または同様な用語は、非排他的包含を意味するものであるため、多くの要素からなる方法または装置は、それらの要素だけを含むものではなく、記載されていない他の要素を容易に含むことができる。

本発明を容易に理解し、実施するために、好ましい実施態様について添付図面を参照して説明する。添付図面において同一参照番号は同一要素を示す。
図１は、本発明の一実施態様による、多言語による名称の音声認識のためのシステム１００の機能的構成要素を示す概略図である。このシステム１００は以下のように動作する。文字／音変換器１０５は、名称のテキストを順序だった一連の発音ユニットに変換する。この名称は、通常、移動電話や携帯情報端末（ＰＤＡ）などのパーソナル電子装置上に、個々の文字の表記として記憶されている多くの名称の一つである。例えば、これらの名称は電子装置のアドレス帳または連絡リストの一部として記憶されていてもよい。文字／音変換器１０５は最初に、システム１００に入力された名称に対し、少なくとも一つの言語を特定する。次いで、この名称を、公開語彙辞書１１０に記憶される順序だった一連の発音ユニットに変換する。システム１００はまた、混合言語隠れマルコフモデル（ＨＭＭ）セット１１５を含んでいる。ＨＭＭセット１１５は、少なくとも二つの言語の選択音声パターンを表すガウス混合パラメータを含んでいる。

複数の名称とそれに関連する順序だった一連の発音ユニットが公開語彙辞書１１０に入力された後、システム１００は、それらの名称のいずれかがマイクロフォン１２０などの入力部に発話されると、その名称の発話された表現を認識することができる。マイクロフォン１２０は、音声作動装置（ＶＡＤ）に動作可能に接続することができる。次に、特徴抽出器１２５が、この技術で良く知られた従来の音声認識技術に従って、発話された名称の特徴ベクトルを抽出する。特徴ベクトルは次いで、特徴ベクトルとガウス混合パラメータを比較する自動音声認識（ＡＳＲ）エンジン１３０によってデコードされる。ＡＳＲエンジン１３０は更に、動的文法ネットワーク１３５によって支援される。このネットワーク１３５は、公開語彙辞書１１０で構築され、音声認識プロセスの間、発音モデルの検索を誘導する。最後に、公開語彙辞書からの一致名称がシステム１００から出力される。次いで、この一致した名称を電子装置が使用して、例えば連絡リストから個人の電話番号または他の連絡情報を検索することができる。

したがって、本発明は多言語が混在した単語や名称の音声認識が必要な用途おいて有用である。例えば、中国においては、話者に依存しない中国語（例えば、標準中国語または広東語）および英語のＡＳＲ可能な携帯電話が現れている。しかしながら、これらの先行技術システムは一般に、一時に単一言語モデルでのみ動作することができる。例えば、ユーザーが、英語名称を用いてアドレス帳内の情報を検索するためにＡＳＲ機能を使おうとすると、ユーザーはまず、ＡＳＲ機能を英語に設定しなければならない。次いで、同じユーザーが、標準中国語名称を用いてアドレス帳内の情報を検索しようとすると、そのユーザーは、標準中国語名称を検索可能となる前に、まずＡＳＲ機能を標準中国語に設定しなければならない。しかしながら、中国における多くの移動電話ユーザーは、電話アドレス帳に、名称の第１部分が英語で、名称の第２部分が標準中国語であるバイリンガルの二つの部分からなる名称を有していることが見受けられる。従って、先行技術のＡＳＲシステムはそのようなバイリンガルの二部名称の発話された表現を自動的に認識することができない。一方、本発明は、そのようなバイリンガルの二部名称を認識することができ、ユーザーが手動でＡＳＲを一方の言語から他方の言語に切り換える必要がない。

図２は、二つの異なる言語のいろいろな名称と、それに関する順序だった一連の発音ユニットからなる発音とを示す表である。例えば、第１の名称、すなわち、

は標準中国語（漢字）のみからなりであり、その後に、個々の中国語音素２０５を含む順序だった一連の発音ユニットで構成されたその発音が続いている。次の名称「John Stone」は英語のみからなり、その後に、個々の英語音素２１０を含むその発音が続いている。第３の名称、すなわち、

は、標準中国語（漢字）の性、すなわち、

と英語の名「Jacky 」とを含んでいるのでバイリンガルの二部名称である。それにもかかわらず、本発明の方法とシステムは、英語音素２１０と中国語音素２０５の双方を含むその名称の発音をも定義することができる。ユーザーが手動で言語を切り換える必要なく、バイリンガルの二部名称のそのような発音構文解析を可能にする本発明の特徴を以下に説明する。

図３は、図１において導入された混合文字／音変換器１０５の働きと構成要素を示す概略図である。一例として、図３に示す混合文字／音変換器１０５は、英語または標準中国語のいずれかで表記された文字を変換するように動作する。まず、混合文字／音変換器１０５は、装置に記憶されている表記された名称の少なくとも一部を定義するために使用されるアルファベットを識別するアルファベット識別器３０５を含んでいる。名称の記憶部分が漢字３１０で構成されている場合には、その漢字３１０は、言語限定標準中国語文字／音変換器３１５に直接入力される。しかしながら、名称の記憶部分が英文字３２０で構成されている場合には、その名称は中国語ぴん音か英語のいずれかで表記されている可能性がある。従って名称のその部分はぴん音識別器３２５によって更に分類される。ぴん音識別器３２５は、（声調を除く）ぴん音で表されたすべての中国語の名称を基本的に識別する４０８音節のぴん音辞書を使用している。英文字３２０が中国語ぴん音である場合、英文字３２０は標準中国語文字／音変換器３１５に入力される。しかしながら、英文字３２０が英単語である場合には、英文字３２０は言語限定英語文字／音変換器３３０に入力される。標準中国語文字／音変換器３１５と英語文字／音変換器３３０は共に、名称を固有の順序だった一連の言語限定発音ユニットに変換するように動作可能である。種々の他の言語の文字を変換する他の文字／音変換器１０５も本開示によって可能であることは当業者にとって明らかである。従って、本発明の文字／音変換器１０５は、バイリンガルの二部名称を単一の順序だった一連の発音ユニットに構文解析することができる。

ユーザーが手動でシステム１００の言語モデルを切り換える必要なしに本発明が機能するようにするために、混合言語ＨＭＭセット１１５は、二つの言語のそれぞれに対して一つの、少なくとも二つの音響モデルセットを含んでいる。例えば、英語と標準中国語の双
方を認識する本発明の上記実施態様によれば、ＨＭＭセット１１５は、二つの単一言語音響モデルセット、即ち、前後関係に依存する標準中国語モデルと、前後関係に依存しない英語モデルとを組み合わせている。ここで、前後関係とは、任意の発音ユニットのすぐ右と左またはそのいずれかに隣接する発音ユニットを指す。中国語においては、これらのユニットは、以下により詳しく説明するように、「声母(initial) 」と「韻母(final) 」と呼ばれる。三音モデルは、左隣接発音ユニットと右隣接発音ユニットの双方を考慮した発音モデルである。二つの発音ユニットが、同じアイデンティティを有するが異なる左または右の前後関係を有する場合には、それらは異なる三音と考えられる。

中国語を英語などの西洋語と区別する一つの特徴は、漢字がすべて、子音／母音（Ｃ／Ｖ）構造プラス声調を有する単一音節であるということである。従って、音節認識はたいていの中国語音声認識システムの構成の基本である。中国語には全部で１２５４音節（４０８無調音節）があり、それらは２２個の「声母」（即ち、音節における母音の前の子音）と３８個の「韻母」（即ち、音節における母音の後の子音）のさまざまな組み合わせから得られる。声母の中には２１個の真声母と一つのいわゆる「ゼロ声母」がある。本発明の好ましい実施態様によれば、ゼロ声母は真声母として扱われる。限定されたトレーニングデータのみが入手可能であるという状況を考慮すれば、中国語音声に関して、音節内の同時調音効果は音節間の同時調音効果よりも著しく大きいということが一般に見られる。このことは中国語の単音節構造が原因である。また、音節内では、声母の音響特性は韻母に高度に依存しているが、韻母の特性は声母にほとんど依存しない。例えば、音節「ta」内の声母「t 」は、別の音節「tu」内の同じ声母とは非常に異なって発音されるが、音節「ta」内の韻母「a 」は、「cha 」内の「a 」とほとんど同様に発音される。それ故、中国語音声認識における合理的なアプローチは、音節間の同時調音効果と音節内の先行声母に対する韻母の依存性の双方は無視できると仮定して、声母をそれに続く韻母の開始音素と右前後関係依存性があるものとし、韻母を前後関係依存性がないものとすることである。従って、本発明の好ましい実施態様は、１１７個の声母と３８個の韻母を含む１５５個の副音節を使用する。各音節はその場合一対の副音節に分解される。本発明の好ましい実施態様の中国語音響モデルにおいて使用されるそのような音節分解の例を表１に示す。

ＨＭＭセット１１５における英語音響モデルのサイズを縮小し、従って、システム１００全体の複雑さと計算上の要求を減らすために、本発明の好ましい中国語／英語の実施態様は前後関係に依存しない英語音響モデルを使用する。また、４０個の単音を基本英語モデル化ユニットとして使用する。そのような単音の一つの資料はカーネギーメロン大学（Carnegie Mellon University（CMU ））発音辞書である。ＣＭＵ発音辞書は、約１２７，０００の英単語をそれに対応する発音と共に含んでいる。ＣＭＵ発音辞書はまた、英語の３９個の個別音素を定義している。上記辞書の代わりに、他の辞書を使用してもよい。

順序だった一連の発音ユニットと特徴ベクトルを照合するＡＳＲエンジン１３０の動作
方法をより詳しく説明する。エンジン１３０は、ビタービ（Viterbi ）型ビーム検索アルゴリズムを使って、システム１００によって受け取られた発話された言葉の一連の特徴ベクトルを解析する。エンジン１３０の目的は、文法ネットワーク３５によって導かれて、状態シーケンスの対応ガウスパラメータ（ガウス混合）が入力発話された言葉と最も良く一致する順序だった一連の発音ユニットを見つけることである。ビタービ（Viterbi ）検索は、時刻ｔを時刻ｔ＋１に進む前に完全に処理する時刻同期検索アルゴリズムである。時刻ｔに対して、各状態は時刻ｔ−１におけるすべての状態から（すべての入力パスの合計を使ってというよりも）ベストスコアによって更新される。検索の最後に、最も可能性の高い状態シーケンスを、これらのバックトラッキングポインタをたどることよって、回復することができる。効果的な効率化技術のおかげで、検索空間全体または格子全体を探索する必要はない。代わりに、最も有望な検索状態空間だけを探索する必要がある。次いで、総合ＨＭＭセットがシステム１００のために作られる。このセットは、公開語彙辞書が更新される各時点の後にオンラインで生成される動的文法の最終要素の音響モデルに関連している。上記アルゴリズムに関する更なる詳細は、Jelinek, Frederickによる「音声認識のための統計的方法（Statistical Methods for Speech Recognition）」（MTT Press 1999 ISBN 0-262-10066-5 ）において見ることができる。

本発明の更なる説明のために、図４は、標準中国語／英語公開語彙辞書１１０を含む本発明の一実施態様による、記憶したテキストを発音ユニットに変換するための典型的な方法４００を要約した一般化フローチャートである。この方法４００はまずステップ４００で、文字からなる複数の名称を表すテキストを電子装置に記憶させる。ステップ４１０において、個々の名称が中国語アルファベットの文字からなるのかローマ字アルファベットの文字からなるのかを判定する。その名称を構成する文字が漢字である場合には、ステップ４１５において、その名称の言語は標準中国語であると特定する。しかしながら、その文字がローマ字アルファベットである場合には、その名称の言語は、その文字が中国語ぴん音である可能性があるので、まだ判定されない。よって、ステップ４２０において、ぴん音（声調を除く）で表されたすべての中国語名称を基本的に特定する４０８音節のぴん音辞書を用いて、その文字が中国語ぴん音であるかどうかを判定する。その文字がぴん音であると判定された場合には、方法４００は再びステップ４１５に進んで、その名称の言語が標準中国語であると特定する。そうでない場合には、ステップ４２５において、その名称の言語は英語であると特定する。

その言語が標準中国語であるとステップ４１５において特定された場合には、方法４００は引き続きステップ４３０において、標準中国語文字／音変換器３１５を用いて、その名称を順序だった一連の発音ユニットに変換する。しかしながら、ステップ４２５において言語が英語であると特定された場合には、方法４００は続いてステップ４３５において、英語文字／音変換器３３０を用いて、その名称を順序だった一連の発音ユニットに変換する。次いで、順序だった一連の発音ユニットを公開語彙辞書１１０に記憶させる。

いま、図５は、本発明の好ましい実施態様による、発話された言葉を公開語彙辞書１１０に記憶された名称と照合する方法５００を示す一般化フローチャートである。方法５００はまずステップ５０５において、発話された言葉を電子装置のマイクロフォン１２０で受信する。この装置は多言語による名称の音声認識のためのシステム１００を含んでいる。ステップ５１０において、その言葉を特徴ベクトルに変換する。次いで、ステップ５１５において、上記方法に従って、その言葉の特徴ベクトルを、公開語彙辞書１１０に記憶されている少なくとも一つの名称の順序だった一連の発音ユニットと照合する。

図６は、本発明の音声認識システム１００を実行することができるパーソナル電子装置の一例を示す概略図である。この例は、本発明の一実施態様による多言語による名称の音声認識のためのシステム１００を含む無線電話６００の形態の無線通信装置を含んでいる
。電話６００は、プロセッサ６０３と通信するように接続された無線周波数通信ユニット６０２を備えている。無線電話６００はまた、プロセッサ６０３と通信するように接続されたキーパッド６０６と表示スクリーン６０５を備えている。当業者にとって明らかなように、スクリーン６０５はタッチスクリーンとすることができるので、キーパッド６０６はオプションとすることができる。

プロセッサ６０３は、無線電話６００によって送信または受信することができる音声または他の信号をエンコードおよびデコードするためのエンコーダ／デコーダ６１１とそれに関するデータ記憶用コード読み取り専用メモリ（ＲＯＭ）６１２を含んでいる。プロセッサ６０３はまた、共通データアドレスバス６１７によってエンコーダ／デコーダ６１１に接続されたマイクロプロセッサ６１３と、文字読み取り専用メモリ（ＲＯＭ）６１４と、ランダムアクセスメモリ（ＲＡＭ）６０４と、プログラム可能スタティックメモリ６１６と、ＳＩＭインターフェース６１８を含んでいる。プログラム可能スタティックメモリ６１６と、ＳＩＭインターフェース６１８に動作可能に接続されたＳＩＭ（しばしばＳＩＭカードと呼ばれる）とはそれぞれ、とりわけ、選択された入力テキストメッセージと、電話番号用番号フィールドおよび名称フィールド内の番号の一つと関連付けられた識別子のための名称フィールドからなる電話番号データベースＴＮＤ（またはアドレス／電話帳）とを記憶することができる。例えば、電話番号データベースＴＮＤ内の一つのエントリは、（番号フィールド内に入力された）91999111111 と、名称フィールド内のそれに関連する識別子「Steven C! at work 」とすることができる。ＳＩＭカードとスタティックメモリ６１６は、無線電話６００のパスワード保護機能へのアクセスを可能にするためのパスワードを記憶することもできる。本発明の構成要素、例えば、文字／音変換器１０５、公開語彙辞書１１０、混合言語ＨＭＭセット１１５、特徴抽出器１２５、ＡＳＲエンジン１３０、動的文法ネットワーク１３５などはすべて、コード読み取り専用メモリ（ＲＯＭ）６１２、文字読み取り専用メモリ（ＲＯＭ）６１４、ランダムアクセスメモリ（ＲＡＭ）６０４、スタティックメモリ６１６、およびＳＩＭカードの一つまたはそれ以上に、部分的または全体的に格納することができる。マイクロプロセッサ６１３は、キーパッド６０６と、スクリーン６０５と、警報スピーカ、バイブレータモータ、および関連ドライバを一般的に含む警報機６１５への接続のためのポートを有している。また、マイクロプロセッサ６１３は、マイクロフォン１２０と通信スピーカ６４０への接続のためのポートを有している。文字読み取り専用メモリ６１４は、通信ユニット６０２によって受信されるテキストメッセージをデコードまたはエンコードするためのコードを記憶している。この実施態様においては、文字読み取り専用メモリ６１４はまた、マイクロプロセッサ６１３のためのオペレーティングコード（ＯＣ）と無線電話６００に関する機能を実行するためのコードを記憶している。

無線周波数通信ユニット６０２は、共通アンテナ６０７を有する組み合わせ送受信機である。通信ユニット６０２は、無線周波数増幅器６０９を介してアンテナ６０７に接続されたトランシーバ６０８を有している。トランシーバ６０８はまた、通信ユニット６０２をプロセッサ６０３に接続する組み合わせ変調器／復調器６１０に接続されている。

英語と標準中国語のための本発明の一実施態様の性能例を以下に示す。テストデータベースは、「cancel」と「castle」などのまぎらわしい似通った発音の単語を含み、５０個の語彙からなる発話された言葉の特徴ベクトルで構成されている。データベースは、約２００人の話者からの９４９４個の標準中国語の言葉と、２５人の話者からの６８２７個の英語の言葉を含んでいる。これらの言葉は、実世界環境を確立しようとして、オフィス、車、ショッピングモール、街路などの６つの異なる移動環境において録音された。テストの結果は表２に要約されている。単一言語結果は、単一言語音声認識専用システムを用いた認識精度を示している。混合言語結果は、本発明の混合言語音声認識システム１００を用いた認識精度を含んでいる。

従って、本発明は、ユーザーがシステム１００の言語モードを手動で切り換える必要のない、多言語の発話された名称を認識することができる改善された音声認識システム１００である。従って、それは、例えば、ユーザーが多言語による名称を含む電子アドレス帳を持つことができる多言語環境において有用である。ユーザーが言語モードを切り換える必要がないので、システム１００は第１言語のファーストネームと第２言語のセカンドネームとで構成された複合名称さえも認識することができる。また、システム１００のメモリと処理要求は、前後関係に依存する構成要素と前後関係に依存しない構成要素を含む組み合わせ音響モデルの使用によって節約することができる。従って、システム１００を、制限されたメモリと処理リソースを有する移動電話やＰＤＡなどのパーソナル電子装置上で動作させることができる。

上記詳細な説明は、好ましい典型的な実施態様だけを提供するものであって、本発明の範囲、適用可能性、または構成を制限するものではない。むしろ、この好ましい実施態様の詳細な説明は、当業者に、本発明の好ましい典型的な実施態様を実施するのを可能にする説明を提供する。特許請求の範囲に述べられたような本発明の精神と範囲から逸脱することなしに、要素とステップの機能と配置において種々の変更を行うことができることは明らかである。

本発明の一実施態様による、多言語による名称の音声認識のためのシステムの機能的構成要素を示す概略図。 本発明の実施態様による、二つの異なる言語のいろいろな名称と、それに関する順序だった一連の発音ユニットからなる発音とを示す表。 本発明の実施態様による文字／音変換器の働きと構成要素を示す概略図。 標準中国語／英語公開語彙辞書を含む本発明の実施態様による、記憶テキストを発音ユニットに変換するための方法を要約した一般化フローチャート。 本発明の実施態様による、発話された言葉を公開語彙辞書に記憶された名称と照合する方法を示す一般化フローチャート。 本発明の実施態様による、音声認識システムを実行することができる無線電話の形態のパーソナル電子装置を示す概略図。

Claims (8)

1. 多言語による名称の音声認識方法であって、
   文字からなる複数の名称を表すテキストを電子装置に記憶させるステップと、
   前記名称のそれぞれに対して少なくとも一つの言語を特定するステップと、
   各名称を、複数の言語特定文字／音変換器を用いて、順序だった一連の発音ユニットに変換するステップと、
   前記電子装置に関連付けられたマイクロフォンで、発話された言葉を受信するステップと、
   前記言葉を特徴ベクトルに変換するステップと、
   前記特徴ベクトルを少なくとも一つの名称の順序だった一連の発音ユニットと照合するステップとを備えることを特徴とする方法。
2. 前記特徴ベクトルを少なくとも一つの名称の順序だった一連の発音ユニットと照合するステップは、自動音声認識エンジンにおいて、前記特徴ベクトルと前記順序だった一連の発音ユニットとガウス混合パラメータとを比較することによって、前記特徴ベクトルをデコードするステップからなることを特徴とする請求項１に記載の方法。
3. 前記自動音声認識エンジンはビーム検索ビタービ（Viterbi ）アルゴリズムを使用することを特徴とする請求項２に記載の方法。
4. 前記名称は前記電子装置に記憶されている連絡リストの構成要素からなることを特徴とする請求項１に記載の方法。
5. 多言語による名称の音声認識方法であって、
   電子装置に関連付けられたマイクロフォンで発話された言葉を受信するステップと、
   前記言葉を特徴ベクトルに変換するステップと、
   前記特徴ベクトルを、表現として前記電子装置に記憶されている少なくとも一つの名称の順序だった一連の発音ユニットと照合するステップを備え、
   前記名称の少なくとも一つの言語は前記文字から特定されており、その後、前記名称は複数の言語特定文字／音変換器を用いて前記順序だった一連の発音ユニットに変換されていることを特徴とする方法。
6. 多言語による名称の音声認識のためのシステムであって、
   マイクロプロセッサと、
   前記マイクロプロセッサに動作可能に接続された少なくとも一つのメモリと、
   前記マイクロプロセッサに動作可能に接続されたマイクロフォンを備え、
   前記マイクロプロセッサは、前記メモリに記憶されているコードを実行して、発話された言葉を前記マイクロフォンで受信し、前記言葉を特徴ベクトルに変換し、前記特徴ベクトルを、少なくとも一つの名称であって文字の表現として前記メモリに記憶されている名称の順序だった一連の発音ユニットと照合するように動作し、前記名称の少なくとも一つの言語は前記文字から特定されており、前記名称は次いで、前記マイクロプロセッサに動作可能に接続された複数の言語特定文字／音変換器を用いて前記順序だった一連の発音ユニットに変換されていることを特徴とするシステム。
7. 前記マイクロプロセッサに動作可能に接続された自動音声認識エンジンにおいて前記特徴ベクトルと前記順序だった一連の発音ユニットとガウス混合パラメータを比較することによって、前記特徴ベクトルを少なくとも一つの名称の順序だった一連の発音ユニットと照合することを特徴とする請求項６に記載のシステム。
8. 前記名称は前記電子装置に記憶されている連絡リストの構成要素からなることを特徴とする請求項６に記載のシステム。

Images