JP6916264B2 - 切断アテンションに基づくリアルタイム音声認識方法、装置、機器及びコンピュータ読み取り可能な記憶媒体 - Google Patents

Description

技術の分野

本開示の実施例は、概して音声認識技術の分野に関し、より具体的には、切断アテンション（ＴＲＵＮＣＡＴＥＤ ＡＴＴＥＮＴＩＯＮ）に基づくリアルタイム音声認識方法、装置、機器及びコンピュータ読み取り可能な記憶媒体に関する。

音声認識とは、音声信号をコンピュータによって対応するテキストに変換するプロセスを指し、人と機械とのインタラクションを実現する主要なアプローチの一つである。近年、ディープラーニング技術が音声認識分野で広く利用されていることに伴い、音声認識の精度が大幅に向上した。また、スマートデバイスの普及により、音声を使用して認識を行う場面が既に非常に豊富になっている。例えば、音声認識技術は既に、音声入力、音声ダイヤル、車載ナビゲーションなどの様々な場面で広く利用されている。音声認識技術は、自然言語処理及び音声合成などの技術との組み合わせにより、スマートスピーカー、会議同時通訳、スマートカスタマーサービスアシスタントなどの、より複雑な応用を生成することができる。音声認識の精度は、音声関連製品のユーザの使用体験に直接影響するため、音声認識の使用場面が豊富になるとともに、音声認識の精度がより高く要求される。

リアルタイム音声認識とは、受信された連続音声に対して、音声の各セグメントを認識することで認識結果をリアルタイムに取得し、すべての音声入力が完了した後に認識を開始する必要がないプロセスを指す。大規模な語彙のオンライン連続音声認識において、システム性能に影響する重要な要素は、システムの認識精度と応答速度である。例えば、ユーザが発話しながら認識結果をリアルタイムで現れることを視認したい場面では、音声認識システムは、高い認識率を保ちながら、迅速に音声信号をデコードし、認識結果を出力する。ユーザの音声入力が完了した後に認識を開始する場合には、ユーザの使用体験に深刻な影響を及ぼすので、音声インタラクションがスムーズにならない。

本開示の例示的な実施例によれば、切断アテンションに基づくリアルタイム音声認識方法、装置、機器及びコンピュータ読み取り可能な記憶媒体を提供する。

本開示の第１の態様では、切断アテンションに基づくリアルタイム音声認識方法を提供する。当該方法は、入力された音声信号に基づいて、音声信号の特徴シーケンスを切断するための切断情報を取得するステップと、切断情報に基づいて、特徴シーケンスを複数のサブシーケンスに切断するステップと、複数のサブシーケンスのうちのサブシーケンスに対して、アテンションメカニズムによってリアルタイムの認識結果を取得するステップと、を含む。

本開示の第２の態様では、切断アテンションに基づくリアルタイム音声認識の装置を提供する。当該装置は、入力された音声信号に基づいて、音声信号の特徴シーケンスを切断するための切断情報を取得するよう構成される切断情報取得モジュールと、切断情報に基づいて、特徴シーケンスを複数のサブシーケンスに切断するよう構成される特徴シーケンス切断モジュールと、複数のサブシーケンスのうちのサブシーケンスに対して、アテンションメカニズムによってリアルタイムの認識結果を取得するよう構成される認識結果取得モジュールと、を含む。

本開示の第３の態様では、電子機器を提供し、一つ又は複数のプロセッサ及び記憶装置を含み、記憶装置は、一つ又は複数のプログラムを記憶する。一つ又は複数のプログラムが一つ又は複数のプロセッサによって実行される場合に、電子機器が本開示の実施例に係る方法又はプロセスを実現する。

本開示の第４の態様では、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体を提供し、当該プログラムがプロセッサによって実行される場合に、本開示の実施例に係る方法又はプロセスが実現される。

なお、発明の概要に説明された内容は、本開示の実施例の肝心な又は重要な特徴を限定することを意図しておらず、本開示の範囲を限定することも意図していない。本開示の他の特徴は、以下の説明により容易に理解され得る。

本開示の各実施例の前述及び／又は付加的な特徴及び利点は、図面を参照した以下の詳細な説明により明らかになる。図面では、同一又は類似の符号は、同一又は類似の要素を表す。
従来の音声認識プロセスの概略図を示す。 本開示の実施例に係る例示的なリアルタイム音声認識シーンの概略図を示す。 本開示の実施例に係る切断アテンションに基づくリアルタイム音声認識方法のフローチャートを示す。 本開示の実施例に係る切断アテンションに基づくリアルタイム音声認識プロセスの概略図を示す。 本開示の実施例に係るコネクショニスト時系列分類（ＣＴＣ）スパイク情報に基づく多層注意力モデリング（ＳＭＬＴＡ）モデルの例示的なアーキテクチャの概略図を示す。 本開示の実施例に係るＣＴＣスパイク情報に基づくＳＭＬＴＡモデルの例示的な動作原理図を示す。 本開示の実施例に係る切断アテンションに基づくリアルタイム音声認識装置のブロック図を示す。 本開示の複数の実施例を実施することができる電子機器のブロック図を示す。

以下に、図面を参照しながら本開示の実施例をさらに詳しく説明する。図面には、本開示の一部の実施例を示したが、本開示は、種々な形式により実現することができ、ここで説明された実施例に限定されるものであると理解されてはならない。逆に、これらの実施例を提供する目的は、本開示が完全に理解されることである。なお、本開示の図面及び実施例は、単なる例示であり、本開示の保護範囲を限定するものと理解されてはならない。

本開示の実施例の説明において、「含む」との用語及びその類似語は、開放的に含まれ、即ち「含むがこれらに限定されない」と理解すべきである。「基づく」は、「少なくとも部分に基づく」と理解すべきである。「一実施例」又は「当該実施例」は、「少なくとも一つの実施例」と理解すべきである。「第１」、「第２」等は、異なる又は同一の対象を指してもよい。以下の記載において、その他の明確及び暗黙的な定義も含み得る。

従来の音声認識システムは、主に、音響モデル、言語モデル、及びデコーダの三つの部分を含み、図１に示すように、従来の音声認識プロセス１００の概略図を示す。収集された音声信号１１０を取得した後、まず、ブロック１２０で音声信号１１０に対して信号処理と特徴の抽出を行い、音響モデル１３２が処理するために入力された音声信号１１０から特徴を抽出することを含む。さらに、環境ノイズ又は他の要因が特徴に与える影響を低減するための、いくつかの信号処理技術を含む。

図１を参照すると、特徴を抽出した後、抽出された特徴をデコーダ１３０に入力し、デコーダ１３０によって処理された認識結果１４０を出力する。デコーダ１３０は、音響モデル１３２と言語モデル１３４に基づいて最大確率で出力される音声信号の単語シーケンスを検索し、音響モデル１３２は、音声を音節に変換し、言語モデル１３４は、音節をテキストに変換する。音響モデル１３２は、音響、音声学、環境特性、及び話者の性別とアクセントなどの情報を利用して、音声信号をモデリングする。例えば、音響モデル１３２は、隠れマルコフモデル（ＨＭＭ：Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）を使用してモデリングし、ある状態シーケンスに対する音声の特徴ベクトルシーケンスの事後確率を表すことができる。言語モデル１３４は、言語をモデリングする。通常、統計的なＮ元文法（Ｎ〜Ｇｒａｍ）を使用して、前後にＮ個文字が出現する確率を統計する。図１に示すように、音響モデル１３２は、音声データベース１３３に基づいてトレーニング及び／又は動作することができ、言語モデル１３４は、テキストデータベース１３５に基づいてトレーニング及び／又は動作することができる。

一般的には、モデルの複雑度と計算量を減らすために、通常、音響モデル１３２と言語モデル１３４は、二つの独立したモデルとしてそれぞれトレーニング及び最適化を行う。図１に示すように、音声認識システムの構築は、特徴の抽出、音響モデルトレーニング、言語モデルトレーニング、及びデコーダ最適化などの複数のモジュールを共に結合する必要がある。特に、音響モデルトレーニングは、通常、専門的な音響知識を持つ者が開発及び最適化を行う必要があるため、音声認識システムの複雑さ及び人件費が増加する。

ニューラルネットワーク技術の継続的な発展に伴い、音響モデルの各モジュールは徐々にニューラルネットワークによって代替され、音響モデルの複雑度を簡略化したので、モデルの開発とデバッグの難易度を低下させるだけでなく、音声認識システムの性能を著しく向上させることができる。例えば、ディープニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）＋ＨＭＭの音響モデルが出現する。その後、当該構造に基づいて、音響モデルは、さらに、ディープコンボリューショナルニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ゲート付き回帰型ユニット（ＧＲＵ：Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ）、及び長・短期記憶ネットワーク（ＬＳＴＭ：Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ）などのネットワーク構造を導入してＤＮＮモデルに代わることで、ニューラルネットワークモデルのモデリング精度を著しく向上させる。

コネクショニスト時系列分類（ＣＴＣ：Ｃｏｎｎｅｃｔｉｏｎｉｓｔ Ｔｅｍｐｏｒａｌ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）モデルは、大規模語彙の音声認識に用いられるエンドツーエンド（ｅｎｄ〜ｔｏ〜ｅｎｄ）のモデルであり、ＤＮＮ＋ＨＭＭを混合する音響モデル構造は、完全に統一されたニューラルネットワーク構造によって代替され、音響モデルの構造とトレーニングの難しさを大幅に簡略化して、音声認識システムの精度をさらに向上させる。

しかしながら、本出願の発明者は、ＣＴＣモデルには以下のような欠点があることを認識している。（１）ＣＴＣモデルはエンドツーエンドモデルに属するが、ＣＴＣモデルは、依然として出力シーケンス分布が一定の条件を満たす独立的な仮定を要求する。このような独立的な仮定は、ＣＴＣモデルが音響モデルをトレーニングする間に、言語モデルの情報を有効に使用してモデリングすることができず、入力された音声信号に一定の環境ノイズが存在するか又は信号強度が低い場合には、音声認識システムは、音響情報に依存するだけでは、入力されたオーディオ特徴に対して効果的に区別することが難しく、認識性能が低下しやすい。（２）ＣＴＣモデルは、一定の割合で挿入エラーと削除エラーが発生しやすく、デコード時には言語モデルの重みを適切に設計することによってこのようなエラーをある程度緩和することができるが、ＣＴＣモデルのようなモデリング能力不足の問題を根本的に解決することができない。

アテンション（ａｔｔｅｎｔｉｏｎ）モデルは、エンコーダ〜デコーダモデルに対する拡張であり、長いシーケンスで予測する効果を向上させることができる。まず、ＧＲＵ又はＬＳＴＭモデルを使用して入力されたオーディオ特徴をエンコードして暗黙的な特徴を取得し、次に、アテンションモデル介してこれらの暗黙的な特徴の異なる部分に対して対応する重みを割り当て、最後に、デコーダは、モデリング粒度の違いに基づいて、対応するテキストを出力する。このような音響と言語モデルの結合モデリングの方式は、音声認識システムの複雑度をさらに簡素化することができる。

しかしながら、本出願の発明者は、アテンションモデルには依然に以下のような欠点があることを認識している。（１）従来のアテンションモデルは、リアルタイム音声認識を実現できず、オンライン音声インタラクション製品サービスでは、音声は、一つ一つのセグメントがユーザ機器からサーバにアップロードされ、各セグメントが来た時に、現在のセグメントのデコードが可能であることが要求される。これにより、デコード時間は、転送プロセスと並列して行うことができる。この時、ユーザが話し終わった後の認識結果の待ち時間は最後の一つのパケットのデコード時間であり、このプロセスはストリーミングデコード（「リアルタイム認識」とも呼ばれる）と呼ばれる。従来のアテンションモデルでは、すべての音声信号が入力完了した後にのみ、認識システムがデコードを開始することができ、ユーザの待ち時間は、音声全体のデコード時間である。このように、全文のアテンションメカニズムに基づくモデルは、音声インタラクションシステムにおいて、ユーザの長い待ち時間を引き起こし、リアルタイムの音声インタラクションを行うことができず、音声インタラクション系の工業製品で実際に使用することができない。（２）従来のアテンションモデルは長文に対するモデリング効果が悪く、認識精度が低く、全文に基づくアテンションモデルは、全文情報でアテンションモデリングを行う必要がある。音声認識の文情報は、音声フレームの長さの観点から見ると、最長数千フレームに達するので、アテンションモデリングの本質は、モデリングユニットに対する冗長な特徴の除去と最も重要な本質的な特徴の選択である。候補である特徴の範囲が大きすぎる場合（例えば、従来のアテンションモデルは、数千フレームの範囲でアテンションモデリングを行う必要がある）、同時にディープラーニングの収束は、標準の凸最適化ではなく、最終的にアテンションの学習プロセスが現在のモデリングユニットを真に説明できる核心の特質フレームに収束することが困難になるため、アテンションモデルのモデリング能力が低下し、長文のモデリング効果がよくないという欠陥がある。

入力特徴をヒューリスティックな固定長にしたがって切り分けるなどの、アテンションモデルに対する改善策が既に存在している。しかしながら、このような固定長の切り分けは、入力されたオーディオ特徴シーケンス自体を考慮しておらず、有効な特徴シーケンスが容易に除外されてしまい、音声認識のような発話速度と一時停止が連続的に変化する場合には、適応することが困難になる。したがって、このような改善策は、一部のリアルタイム音声認識には実現することができるが、音声認識の正確性を犠牲にするため、従来のアテンションモデルの全文モデリングよりも認識精度が低下する。つまり、従来の音声認識技術は、リアルタイムで音声認識できないか、または認識の精度が低いため、正確なリアルタイム音声認識を実現することができない。

上記の従来技術に存在する一つ又は複数の問題を解決するために、本開示の実施例は、切断アテンションに基づくリアルタイム音声認識の方案を提供し、切断情報を使用してアテンションモデル学習を指導するアイデアを提供する。本開示の実施例は、従来のアテンションモデルに、音声信号に基づいて決定された切断情報を導入することによって、アテンションモデルが各切断に対してそれぞれアテンションモデリングを行うことを指導することができるので、連続音声認識を実現することだけでなく、高精度を確保することもできる。また、選択可能に、切断情報は、ＣＴＣ処理によって取得された音声信号のスパイク情報であってもよい。また、選択可能に、本開示のいくつかの実施例により提供されるＣＴＣとアテンションダブルヘッド構造は、リアルタイム音声認識プロセスの計算量が小さくすることができ、本開示のいくつかの実施例により提供されるマルチレベルのアテンション構造は、音声認識の精度をさらに向上させることができる。以下、図２〜８を参照して本開示のいくつかの実施例を詳細に説明する。

図２は、本開示の実施例に係るリアルタイム音声認識シーン２００の概略図を示す。シーン２００は、本開示の実施例によって実現可能な一つの例示的なシーンに過ぎず、本開示の保護範囲を限定するものではないことを理解されたい。

図２に示すように、シーン２００では、ユーザ２１０は、ユーザ機器２２０に対して発話し、ユーザ２１０によって生成された音声２１５（すなわち音声）がユーザ機器２２０によって収集される。例えば、ユーザ機器２２０の音声収集機器（マイクなど）によって音声２１５を収集する。ユーザ機器２２０は、スマートフォン、タブレットコンピュータ、デスクトップコンピュータ、ノートブックコンピュータ、スマートウェアラブルデバイス（スマートウォッチ、スマートメガネなど）、ナビゲーションデバイス、マルチメディアプレーヤーデバイス、教育機器、ゲームデバイス、スマートスピーカーなどの音声信号を収集可能な任意の電子機器を含むが、これらに限定されない。

ユーザ機器２２０は、音声２１５を収集するプロセスにおいて、ネットワーク２２５を介して音声２１５を分割してサーバ２３０に送信することができる。サーバ２３０は、本開示の実施例に係る音声認識のための切断アテンションモデル２３３（本開示のいくつかの実施例では、切断アテンションモデル２３３は、ＣＴＣスパイク情報に基づくストリーミングマルチレベルの切断アテンション（ＳＭＬＴＡ）モデルでも良い）を含むことができる。ネットワーク２２５は、任意の有線ネットワークでも良いし、無線ネットワークでも良いし、又は有線ネットワークと無線ネットワークの組み合わせても良い。切断アテンションモデル２３３は、トレーニングデータ２３５によってトレーニングされた、リアルタイムで正確な音声認識を実現することができ、認識が完了した後、ネットワーク２２５を介して認識結果をユーザ機器２２０に送信することができる。

ユーザ機器２２０は、ディスプレイ２２３を介して認識結果をリアルタイムに表示することができる。本開示の実施例では、音声をリアルタイムに認識することができ、音声２１５を連続的に生成することによって、ディスプレイ２２３に表示される認識結果も動的に変化して、ユーザが認識された結果をリアルタイムに取得することができ、ユーザ体験を向上させることができる。いくつかの実施例では、ユーザ機器２２０は、ディスプレイ２２３を含まなくてもよいし、逆に、ユーザ機器２２０は、そのオーディオ出力機器（例えばスピーカ）を介して認識結果を出力してもよい。他のいくつかの実施例では、サーバ２３０は、音声の認識結果をユーザ機器２２０に送信することなく、認識結果に基づいてさらなる動作を直接実行する。

図２の環境２００には、切断アテンションモデル２３３がユーザ機器２２０の遠位端のサーバ２３０側に配置されることが示されているが、切断アテンションモデル２３３は、ユーザ機器２２０のローカルに配置されてもよいことを理解されたい。あるいは、切断アテンションモデル２３３の一部をユーザ機器２２０のローカルに配置し、他の部分をサーバ２３０側に配置し、又は切断アテンションモデル２３３を複数のサーバに分散的に配置することができる。本開示の実施例は、切断アテンションモデル２３３の配置方式及び位置について限定しない。

図３は、本開示の実施例に係る切断アテンションに基づくリアルタイム音声認識方法３００のフローチャートを示す。方法３００は、上記の図２に説明されたサーバ２３０、又はユーザ機器２２０、又はそれらの組み合わせによって実行されてもよいことを理解されたい。方法３００を明確かつ容易に説明するために、ここでは、図４の切断アテンションに基づくリアルタイム音声認識のプロセス４００を参照しつつ、方法３００を説明する。

ブロック３０２において、入力された音声信号に基づいて、音声信号の特徴シーケンスを切断するための切断情報を取得する。例えば、特徴シーケンスは、音声信号をエンコードすることによって取得される。例えば、図４に示すように、ユーザからの音声信号４１０を収集した後、エンコーダ４２０は、収集された音声信号４１０を暗黙的な特徴シーケンス４３０にエンコードし、暗黙的な特徴シーケンス４３０に基づいて切断情報４３５を決定する。したがって、本開示の実施例は、入力された音声信号の特徴に基づいて計算された切断情報を使用して、後続的な切断が音声認識の精度を影響しないようにすることで、音声信号のリアルタイム認識を実現し、音声認識の精度を確保することができる。

いくつかの実施例では、切断情報は、特徴シーケンスに対してコネクショニスト時系列分類（ＣＴＣ）処理を行うことによって音声信号に関するスパイク情報を取得することができる。ＣＴＣ処理では、スパイクのシーケンスを出力することができ、スパイクの間は、空白（ｂｌａｎｋ）で区切ることができる。一つのスパイクは、一つの音節（ｓｙｌｌａｂｌｅ）、又は高周波音素の組み合わせなどの１クループの音素（ｐｈｏｎｅ）として表示することができる。以下の部分は、ＣＴＣスパイク情報を使用して切断情報を提供する一例として説明するが、現在知られている、又は将来開発される、入力された音声信号を提供可能な切断情報の任意の他のモデル及び／又はアルゴリズムは、本開示の実施例と組み合わせて使用できることも理解されたい。

ブロック３０４において、切断情報に基づいて、特徴シーケンスを複数のサブシーケンスに切断する。例えば、図４に示すように、アテンションに基づくデコーダ４４０は、切断情報４３５に基づいて暗黙的な特徴シーケンス４３０を各暗黙的な特徴サブシーケンスに切断することができ、暗黙的な特徴シーケンスは、音声信号の特徴を表示するベクトルであってもよい。例えば、暗黙的な特徴シーケンスは、直接観測して取得することができないが、観測可能な変数によって決定された特徴ベクトルを指すことができる。従来技術における固定長を使用する切断方式とは異なり、本開示の実施例は、音声信号に基づいて決定された切断情報を使用して特徴切断を行うことにより、有効な特徴部分が除外されることを回避することができ、高精度を確保することができる。

ブロック３０６において、複数のサブシーケンスのうちの各サブシーケンスに対して、アテンションメカニズムによってリアルタイムの認識結果を取得する。例えば、音声２１５のデコーダ４４０は、切断によって生成された各暗黙的な特徴サブシーケンスに対して、アテンションモデルを使用して認識結果４５０を取得する。アテンションモデルは、重み付け特徴の選択が可能であり、暗黙的な特徴の異なる部分に対して対応する重みを割り当てる。現在知られている、又は将来開発されるアテンションメカニズムに基づく任意のモデル及び／又はアルゴリズムは、本開示の実施例と組み合わせて使用することができる。したがって、本開示の実施例は、音声信号に基づいて決定された切断情報を従来のアテンションモデルに導入することによって、アテンションモデルが各切断に対してそれぞれアテンションモデリングを行うことを指導することができ、連続音声認識を実現できるのみならず、高精度を確保することもできる。

いくつかの実施例では、暗黙的な特徴シーケンスが複数のサブシーケンスに打ち切られた後、複数のサブシーケンスのうちの第１のサブシーケンスに対してアテンションモデルの第１のアテンションモデリングを実行し、複数のサブシーケンスのうちの第２のサブシーケンスに対してアテンションモデルの第２のアテンションモデリングを実行することができ、第１のアテンションモデリングは第２のアテンションモデリングと異なる。つまり、本開示の実施例は、部分的に打ち切られるアテンションモデルのアテンションモデリングを行うことができる。

図５は、本開示の実施例に係るＣＴＣスパイク情報に基づくＳＭＬＴＡモデルのアーキテクチャ５００の概略図を示す。図５に示すように、アーキテクチャ５００は、主に、入力された音声信号５１０を暗黙的な特徴シーケンス５３０（すなわち暗黙的な特徴シーケンスｈ）にエンコードするよう構成される共有デコーダ５２０と、暗黙的な特徴シーケンス５３０に基づいてスパイク情報５６０を決定するよう構成されるＣＴＣモジュール５４０と、暗黙的な特徴シーケンス５３０とスパイク情報５６０に基づいてリアルタイムの認識結果５７０を取得するよう構成されるアテンションデコーダ５５０との三つの部分を含む。図５に示されるアーキテクチャ５００において、共有エンコーダ５２０は、ＣＴＣモジュール５４０とアテンションデコーダ５５０で共有され、ＣＴＣモジュール５４０とアテンションデコーダ５５０の二つのヘッドの「ダブルヘッド構造」を形成する。アーキテクチャ５５０における主な計算量は、共有エンコーダ５２０とアテンションデコーダ５５０に集中するため、従来のアテンションモデルと比較して、本開示の実施例に係るアーキテクチャ５５０では、モデルアーキテクチャ全体の計算量はほとんど増加しないが（増加はあるが、増加の割合は特に小さく、無視可能である）、ＣＴＣ出力（すなわちスパイク情報５６０）とアテンション出力（すなわち認識結果５７０）を同時に提供することができ、本開示の実施例のアーキテクチャ５００の大規模な工業展開の問題をうまく解決することができる。逆に、従来の方式では、二つのモデルを製品に組み合わせて使用しようとすると、オンラインの計算量が倍に増加するので、コストがかかりすぎ、大規模に工業的使用することができない。

図５に示すように、共有エンコーダ５２０は、一つの巻積層（Ｃｏｎｖ）、Ｎ個のＬＳＴＭと、バッチ正規化（ＢＮ）層とを含み、Ｎは正の整数（例えば５など）であってもよく、ＬＳＴＭは単方向のＬＳＴＭであってもよい。所与の入力音声信号に対して、共有エンコーダ５２０は、まず、音声信号をエンコードし、対応する暗黙的な特徴シーケンス５３０を取得する。いくつかの実施例では、音声信号５１０は、共有エンコーダ５２０に入力される前に、モデル入力ｘとしてあらかじめ特徴抽出処理してもよい。共有エンコーダ５２０の内部階層構造が図５に示されているが、他の構造のエンコーダは、本開示の実施例と組み合わせて使用できることを理解されたい。

ＣＴＣモジュール５４０は、一つの線形変換（Ｌｉｎｅａｒ）層と、一つの正規化（Ｓｏｆｔｍａｘ）層とを含み、ＣＴＣトレーニング基準を使用して入力された暗黙的な特徴シーケンス５３０のスパイクの記述情報を取得することによって、スパイク情報５６０を含むＣＴＣ出力を生成し、スパイク情報５６０を使用して暗黙的な特徴シーケンス５３０を複数のサブシーケンスに切断するために、スパイク情報５６０をアテンションデコーダ５５０に渡す。

引き続き図５を参照すると、アテンションデコーダ５５０は、一つのアテンションモデル層、Ｍ個のＬＳＴＭ層及び正規化（ＬＮ）層、一つのＳｏｆｔｍａｘ層とを含み、Ｍは正整数（例えば２など）であってもよく、ＬＳＴＭは単方向のＬＳＴＭであってもよい。アテンションデコーダ５５０は、受信された暗黙的な特徴シーケンス５３０とスパイク情報５６０とに基づいて、暗黙的な特徴シーケンス５３０を一つ一つの連続したサブシーケンスに切断することができる。アテンションデコーダ５５０は、打ち切られたサブシーケンスをアテンションメカニズムによってスクリーニングし、最終的に対応する出力確率分布を取得する。共有エンコーダ５２０とデコーダ５５０は単方向ＬＳＴＭを基本のネットワーク構造として使用する。このように暗黙的な特徴シーケンスをサブシーケンスに切断する方式は、暗黙的な特徴の履歴情報のみに依存するため、音声認識システムは、全体のオーディオ信号をすべて入力した後に、デコードを開始することなく、オーディオ信号が入力されると同時にリアルタイムでデコードし、リアルタイムで音声認識を実現する。図５にアテンションデコーダ５５０の内部階層構造が示されているが、他の構造のアテンションデコーダも本開示の実施例と組み合わせて使用してもよい。

図５に示すコンパクトなＣＴＣとアテンションを一体とするＳＴＭＬＡモデルでは、ＣＴＣモジュール５４０のヘッドとアテンションデコーダ５５０のヘッドと同時に有し、トレーニング時にはダブルヘッドとともにトレーニングする。ＣＴＣモジュール５４０のヘッドは、ＣＴＣ損失関数でトレーニングし、アテンションデコーダ５５０のヘッドは、クロスエントロピー損失関数でトレーニングする。二つの損失関数は、線形差の重みで接続され、二つの損失関数は、それぞれに対応する重みを有する。このようなモデルによるオンラインでの計算量は一つのモデルとほぼ同じであるが、ＣＴＣとアテンションの二つの情報を同時に提供することにより、大規模な工業展開が可能である。

ＣＴＣモジュールにより出力されるスパイク情報は、一定の挿入エラーと削除エラーが存在する。このようなエラーは、切断して取得された暗黙的な特徴シーケンスのサブシーケンスの境界が不正確となりやすく、音声認識システムの認識性能に影響する。ＣＴＣモジュールの挿入エラーと削除エラーにより引き起こされたばらつきを緩和するため、本開示の実施例では、マルチレベルのアテンション構造に基づいて打ち切られたサブシーケンスを段階的にスクリーニングする方法をさらに提供し、アテンションデコーダのＬＳＴＭモデルによって最後の確率分布を出力する。例えば、図６は、本開示の実施例に係る２レベルのアテンション構造に基づくＳＭＬＴＡモデルの動作原理図６００を示す。

図６に示すように、ＣＴＣのスパイク情報６１０を使用して、暗黙的な特徴シーケンス６２０を複数の特徴サブシーケンスに切断することができる。ｔｒｕｎｃは打ち切られた基本単位であり、一つのｔｒｕｎｃは、暗黙的な特徴シーケンス６２０のうちの、一つのスパイクに対応する特徴部分を表示することができる。いくつかの実施例では、各スパイク（一つの音節又は高周波音素の組み合わせを表示することができる）について、当該スパイクに隣接する所定の数のスパイクに対応する特徴サブシーケンスを一つの切断として選択することができる。所定の数のスパイクは、当該スパイクの前の第１の数のスパイクと、当該スパイクの後の第２の数のスパイクとを含む。サブシーケンスは、これらのスパイクに対応する特徴部分であってもよい。通常、あるスパイクが時系列に前後に十分なスパイクが存在する場合、第１の数と第２の数の合計は所定の数と等しい。もちろん、当該スパイクの前に第１の数のスパイクが存在しない場合、当該スパイクの前のすべてのスパイクを選択し、当該スパイクの後に第２の数のスパイクが存在しない場合、当該スパイクの後のすべてのスパイクを選択することとしてもよい。

矢印６３０に示されるように、２レベルのアテンションモデリングを実行する。例えば、第ｉのスパイクについて、暗黙的な特徴シーケンス６２０における重畳する複数のサブシーケンス（例えば、図６の例では、三つのサブシーケンスは、それぞれｔｒｕｎｃ１からｔｒｕｎｃ２、ｔｒｕｎｃ１からｔｒｕｎｃ３、及びｔｒｕｎｃ１〜ｔｒｕｎｃ４である）に基づいて、第１レベルのアテンションメカニズムによって（例えば図６のａｔｔｅｎｔｉｏｎ１）複数の異なる特徴ベクトルをそれぞれ決定する（図６の例では、それぞれのｃ_i,１、ｃ_i,２、ｃ_i,３は、これらの特徴ベクトルは、それぞれ対応するアテンションベクトルα_ｉ，１、α_ｉ，２、α_ｉ，３を有する）。次に、決定された複数の特徴ベクトルに基づいて（すなわちｃ_i,１、ｃ_i,２、ｃ_i,３）、第２レベルのアテンションメカニズムによって（例えば図６のａｔｔｅｎｔｉｏｎ２）文脈特徴ベクトルをさらにスクリーニングして決定する（ｃ_iは、対応するアテンションベクトルβ_ｉを有する）。三つの特徴ベクトルｃ_i,１、ｃ_i,２、ｃ_i,３を生成することが図６に示されているが、他の数の特徴ベクトルも可能であり、精度とデコードのハード遅延時間に依存するものであることを理解されたい。本開示の実施例は、ベクトルの数に限定されない。

引き続き図６を参照すると、デコーダを実行するデコードプロセスでは、矢印６４０に示されるように、文脈特徴ベクトルc_ｉをデコーダ（例えばRＮＮ、ＬＳＴＭ又はＧＲＵなど）入力にして認識結果y_ｉを出力し、図６のs_ｉは出力状態を表示し、ｈ_ｉは暗黙的な状態を表示する。このような方式により、２レベルのアテンション構造によってＣＴＣの挿入問題と削除問題を効果的に解決し、ＳＭＬＴＡモデルの音声認識の性能を著しく向上させることができる。

本開示の実施例によれば、ＣＴＣスパイク情報を使用してアテンションモデルに切断情報を提供するモデリング方法は、従来のアテンションモデルの長文でのモデリング精度が良くないという問題を解決するだけでなく、工業界において初めて、アテンションモデリング技術がリアルタイム音声認識のためのストリーミングデコードの要求を満たすことができ、世界規模での工業界における、ストリーミング音声サービスのための最初の高精度のアテンションモデルが実現される。現在、最も良いとされるＣＴＣモデルに基づく音声認識システムと比較して、本開示のいくつかの実施例により提供されるＣＴＣスパイク情報に基づくＳＭＬＴＡモデルの認識エラー率は１５％以上低下する。

したがって、本開示のいくつかの実施例によれば、切断に基づくエンドツーエンドのリアルタイム音声認識方法を提供する。文脈に関係ない音節を基本の音響モデリングユニットとして、ＣＴＣとアテンションを結合してモデリングする方式によって、まず、ＣＴＣのスパイク情報を使用して暗黙的な特徴シーケンスによって打ち切られた位置情報を取得する。次に、アテンションモデリング技術を導入してエンドツーエンド音声認識方法を実現する。当該方法は、特定の位置に切断情報を導入することによって、従来のアテンション全文モデリング方法ではリアルタイムにデコードができないという欠陥を回避することができる。また、アテンションのエンドツーエンドのモデリングによって、モデル精度をより高くすることができ、音声認識の製品性能を大幅に向上させることができる。このような切断に基づくエンドツーエンド音声認識モデリング方法は、大規模な語彙のリアルタイム連続音声認識のための構造革新を、エンドツーエンドモデリング技術により初めて実現した。

また、本開示のいくつかの実施例は、ＣＴＣスパイク情報に基づくストリーミングマルチレベルの切断アテンション（ＳＭＬＴＡ）モデルをさらに提供する。当該モデルは、文脈に関係ない音節又は高周波音素の組み合わせを基本の音響モデリングユニットとして、ＣＴＣとアテンションモデルの結合モデリング技術によって、例えば数万時間のトレーニングデータの条件の下で、ＣＴＣモデルを超えて顕著な音声認識性能を取得する。従来のアテンションモデルでは、文全体のすべてのエンコードされた暗黙的な特徴を取得した後に各モデリングユニットのアテンションモデルのモデリングを行う必要があるのに対し、本開示の実施例では、ＣＴＣモデルの出力結果（スパイク情報とも呼ばれる）を利用して、連続エンコードされた暗黙的な特徴シーケンスを各暗黙的な特徴サブシーケンスに切断することを革新的に提供している。各モデリングユニットのアテンションモデルのモデリングは、一つの独立した暗黙的な特徴サブシーケンス上でのみ独立に行われる。このようなモデルでは、文全体の長さの範囲内でエンコードの暗黙的な特徴に対してアテンションモデリングを行う必要がなく、アテンションモデリングプロセスは、一つ一つの小さな特徴サブシーケンス上で行われるように制限される。これにより、従来のアテンションモデルが広範囲内でアテンションモデリングを行うと、精度が良くないという問題を克服することができる。同時に、ＣＴＣモデルのモデルによって出力されたスパイク情報は、左から右へと順次ストリーミングして展開されるため、上記のサブシーケンスも左から右へと順次ストリーミングして展開されることによって、最終的に、本開示のＳＭＬＴＡモデルも左から右へとストリーミングすることができる。

したがって、従来の音声認識技術又はモデルと比較して、本開示の実施例は以下の利点を有する。

従来のＣＴＣモデルと比較して、本開示の実施例は、ＣＴＣとアテンション結合トレーニングの方法を介して、音響モデルと言語モデルの結合モデリングを効果的に行うことができるので、従来のＣＴＣモデルが音響モデルのみをモデリングする場合の不足を克服し、複雑な環境における音声認識システムのロバスト性を向上させる。また、ＣＴＣモデルには挿入の問題と削除の問題があるため、ＣＴＣモデルがアテンションモデルに提供する情報にも誤りがある可能性がある。したがって、本開示のいくつかの実施例では、２レベルのアテンション構造によってＣＴＣモデルの不足を効果的に解決し、音声認識の性能を著しく向上させることができる。

従来のアテンションモデルと比較して、本開示のいくつかの実施例では、音声信号の切断情報を利用して打ち切られたアテンションモデルを行うことを使用して、従来のアテンションモデルによって構築された音声認識システムがリアルタイムにデコードできないという問題を回避することができ、システム応答速度に対するユーザのニーズを満たすことができる。また、従来のアテンションモデルの長文認識精度が低いことと比較して、本開示の実施例では、切断情報を使用して、各モデリングユニットのアテンションモデリングプロセスを各特徴サブシーケンスに集中してモデリングするので、アテンションモデルのモデリング精度を向上させ、広範囲でのアテンションモデルのモデリング精度が良くないという問題を解決することができる。

固定長の切り分けをサポートする従来のアテンションモデルと比較して、本開示の実施例では、切断情報によって取得された特徴サブシーケンスは、固定長の切り分けよりもより正確に、必要な特徴サブシーケンスを取得することができる。また、本開示のいくつかの実施例では、２レベルのアテンションによって特徴サブシーケンスの重畳を実現しており、より効果的に特徴をスクリーニングすることによって、モデリング精度が全文のアテンション方法を超える性能を取得することができる。

また、本開示のいくつかの実施例により提供されるコンパクトなＣＴＣとアテンションを一体とする切断アテンションモデルでは、ＣＴＣのヘッドとアテンションのヘッドを同時に有しており、トレーニング時にもダブルヘッドとともにトレーニングしている。ＣＴＣのヘッドは、ＣＴＣの損失関数でトレーニングし、アテンションのヘッドは、クロスエントロピー損失関数でトレーニングし、二つの損失関数は、線形差の重みで接続している。このようなモデルのオンラインの計算量は、一つのモデルとほぼ同じであるので、余分なコンピューティングコストが増加することを回避することができ、大規模な工業展開のニーズを満たすことができる。

図７は、本開示の実施例に係る切断アテンションに基づくリアルタイム音声認識の装置７００のブロック図を示す。図７に示すように、装置７００は、切断情報取得モジュール７１０と、特徴シーケンス切断モジュール７２０と、認識結果取得モジュール７３０とを含む。切断情報取得モジュール７１０は、入力された音声信号に基づいて、音声信号の特徴シーケンスを切断するための切断情報を取得するよう構成される。特徴シーケンス切断モジュール７２０は、切断情報に基づいて、特徴シーケンスを複数のサブシーケンスに切断するよう構成される。認識結果取得モジュール７３０は、複数のサブシーケンスのうちのサブシーケンスに対して、アテンションメカニズムによってリアルタイムの認識結果を取得するよう構成される。

いくつかの実施例では、切断情報取得モジュール７１０は、特徴シーケンスに対してコネクショニスト時系列分類（ＣＴＣ）処理を行うことによって音声信号に関するスパイク情報を取得するよう構成されるスパイク情報取得モジュールと、取得されたスパイク情報に基づいて、切断情報を決定するよう構成される切断情報決定モジュールと、を含む。

いくつかの実施例では、認識結果取得モジュール７３０は、複数のサブシーケンスのうちの第１のサブシーケンスに対してアテンションモデルの第１のアテンションモデリングを実行するよう構成される第１のアテンションモデリング装置であって、アテンションモデルは重み付け特徴の選択が可能である第１のアテンションモデリング装置と、複数のサブシーケンスのうちの第２のサブシーケンスに対してアテンションモデルの第２のアテンションモデリングを実行するよう構成される第２のアテンションモデリング装置であって、第１のアテンションモデリングは第２のアテンションモデリングと異なる第２のアテンションモデリング装置と、を含む。

いくつかの実施例では、装置７００は、音声信号を特徴シーケンスにエンコードするよう構成される共有エンコーダと、特徴シーケンスに基づいてスパイク情報を取得するよう構成されるコネクショニスト時系列分類（ＣＴＣ）モジュールと、特徴シーケンスとスパイク情報とに基づいてリアルタイムの認識結果を取得するよう構成されるアテンションデコーダと、を含み、共有エンコーダは、ＣＴＣモジュールとアテンションデコーダで共有され、切断情報取得モジュール７１０は、ＣＴＣモジュールに含まれ、特徴シーケンス切断モジュール７２０と認識結果取得モジュール７３０とは、アテンションデコーダに含まれる。

いくつかの実施例では、装置７００は、ＣＴＣモジュールをトレーニングするための第１の損失関数を決定するよう構成される第１の損失関数決定モジュールと、アテンションデコーダをトレーニングするための第２の損失関数を決定するよう構成される第２の損失関数決定モジュールと、第１の損失関数と第２の損失関数を使用してＣＴＣモジュールとアテンションデコーダとを共にトレーニングするよう構成されるトレーニングモジュールと、をさらに含む。

いくつかの実施例では、特徴シーケンス切断モジュール７２０は、スパイク情報における各スパイクに対して、特徴シーケンスにおける各スパイクに隣接する所定の数のスパイクに対応するサブシーケンスを選択するよう構成されるサブシーケンス選択モジュールを含み、所定の数のスパイクは、各スパイクの前の第１の数のスパイクと各スパイクの後の第２の数のスパイクとを含む。

いくつかの実施例では、認識結果取得モジュール７３０は、特徴シーケンス内の重畳する複数のサブシーケンスに基づいて、第１レベルのアテンションメカニズムによって複数の特徴ベクトルをそれぞれ決定するよう構成される複数の特徴ベクトル決定モジュールと、決定された複数の特徴ベクトルに基づいて、第２レベルのアテンションメカニズムによって文脈特徴ベクトルを決定するよう構成される文脈特徴ベクトル決定モジュールと、決定された文脈特徴ベクトルに基づいて、リアルタイムの認識結果を決定するよう構成される認識結果決定モジュールと、を含む。

いくつかの実施例では、特徴シーケンスは暗黙的な特徴シーケンスであり、各スパイクは一つの音節又は１クループの音素を示す。

図７に示す切断情報取得モジュール７１０と、特徴シーケンス切断モジュール７２０と、認識結果取得モジュール７３０は、一つ又は複数の電子機器に含まれることができることを理解されたい。さらに、図７に示すモジュールは、本開示の実施例を参照する方法、又はプロセスにおけるステップ、又は動作を実行することができることを理解されたい。

図８は、本開示の実施を実現できる例示的な機器８００の概略ブロック図を示す。機器８００は、本開示により説明される切断アテンションに基づくリアルタイム音声認識の装置７００、又はユーザ機器２２０、又はサーバ２３０を実現するために用いられる。図示されるように、機器８００は、リードオンリーメモリ（ＲＯＭ）８０２に記憶されたコンピュータプログラム命令、又は記憶ユニット８０８からランダムアクセスメモリ（ＲＡＭ）８０３にローディングされたコンピュータプログラム命令に基づいて、各種の適切な動作と処理を実行できる中央処理装置（ＣＰＵ）８０１を含む。ＲＡＭ８０３には、機器８００の操作に必要な各種のプログラム及びデータをさらに記憶することができる。ＣＰＵ８０１と、ＲＯＭ８０２と、ＲＡＭ８０３とは、バス８０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インタフェース８０５もバス８０４に接続されている。

機器８００におけるの複数のコンポーネントはＩ／Ｏインタフェース８０５に接続され、前記複数のコンポーネントは、キーボードやマウス等の入力ユニット８０６と、種々なディスプレイやスピーカ等の出力ユニット８０７と、磁気ディスクや光学ディスク等の記憶ユニット８０８と、ネットワークカード、モデム、無線通信トランシーバー等の通信ユニット８０９と、を含む。通信ユニット８０９は、機器８００がインターネットのようなコンピュータネット及び／又は種々なキャリアネットワークを介してその他の機器と情報／データを交換することを許可する。

処理ユニット８０１は、前述した各方法及びプロセス、例えば方法３００を実行する。例えば、いくつかの実施例では、方法は、記憶ユニット８０８のような機械読み取り可能な媒体に有形的に含まれるコンピュータソフトウエアプログラムとして実現することができる。一部の実施例では、コンピュータプログラムの一部又は全ては、ＲＯＭ８０２及び／又は通信ユニット８０９を介して、機器８００にロード及び／又はインストールすることができる。コンピュータプログラムがＲＡＭ８０３にロードされてＣＰＵ８０１により実行される場合に、前述した方法の一つ又は複数のステップを実行することができる。追加的に、他の実施例では、ＣＰＵ８０１は、他の任意の適当な方式（例えば、ファームウェアを借りる等）により方法を実行するよう構成される。

本明細書では、前述した機能は、少なくとも部分的に一つ又は複数のハードウェアロジックコンポーネントによって実行することができる。例えば、非限定的に使用可能なハードウェアロジックコンポーネントとしては、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、ロードプログラマブルロジックデバイス（ＣＰＬＤ）等が挙げられる。

本開示の方法を実施するためのプログラムコードは、一つ又は複数のプログラミング言語の任意の組み合わせにより作成することができる。これらのプログラムコードは、汎用コンピュータ、専門コンピュータ又はその他のプログラミングデータ処理装置のプロセッサ又はコントローラに提供されることにより、プログラムコードがプロセッサ又はコントローラによって実行される場合に、フローチャート及び／又はブロック図に規定された機能／操作を実行することができる。プログラムコードは、完全にマシンで実行されてもよく、部分的にマシンで実行されてもよく、独立したソフトパッケージとして部分的にマシンで実行されるとともに、部分的にリモートマシンで実行されてもよく、又は完全にリモートマシン又はサーバで実行されてもよい。

本開示の説明において、機械読み取り可能な媒体は、有形な媒体であってもよく、命令実行システム、装置又は機器によって、又は命令実行システム、装置又は機器と合わせて使用されるプログラムを含み、又は記憶する。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子、磁気、光学、電磁、赤外線、又は半導体システム、装置、又はデバイス、又は前述した内容の任意の適切な組み合わせを含むことができるがこれらに限定されない。機械読み取り可能な記憶媒体のさらなる具体例として、１つ又は複数の配線に基づいた電気的接続、ポータブルコンピュータディスクカートリッジ、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、光学記憶装置、磁気記憶装置、又は前述した内容の任意の組み合わせを含んでもよい。

また、特定の順番で各動作又はステップを説明したが、このような動作又はステップを、示される特定の順番又は順次で実行することが求められ、又は図示した動作又はステップの全てを実行して所望の結果を取得することが求められることを理解されたい。一定の環境において、複数のタスク及び並列処理が有利である可能性がある。同様に、以上の説明には、若干の具体的な実現詳細が含まれるが、それが本開示の範囲を限定するものと理解されてはならない。個別の実施例に説明された一部の特徴は、一つの実施形態で組み合わせて実現することができる。逆に、一つの実施形態に説明された種々な特徴は、個別又は任意の適切なサブ組み合わせの方式で複数の実施形態で実現することができる。

構成の特徴及び／又は方法の論理動作を特定した言語により、本開示の実施例を説明したが、特許請求の範囲に限定される主題は、上記の特定の特徴又は動作に限定されない。上記の特定の特徴と動作は、特許請求の範囲を実現する例に過ぎない。

Claims (16)

1. 切断アテンションに基づくリアルタイム音声認識方法であって、
   入力された音声信号に基づいて、前記音声信号の特徴シーケンスを切断するための切断情報を取得するステップと、
   前記切断情報に基づいて、前記特徴シーケンスを複数のサブシーケンスに切断するステップと、
   前記複数のサブシーケンスのうちのサブシーケンスに対して、アテンションメカニズムによってリアルタイムの認識結果を取得するステップと、を含み、
   音声信号の特徴シーケンスを切断するための切断情報を取得するステップは、
   前記特徴シーケンスに対してコネクショニスト時系列分類（ＣＴＣ）処理を行うことによって前記音声信号に関するスパイク情報を取得するステップと、
   取得された前記スパイク情報に基づいて、前記切断情報を決定するステップと、を含むことを特徴とする、切断アテンションに基づくリアルタイム音声認識方法。
2. アテンションメカニズムによってリアルタイムの認識結果を取得するステップは、
   前記複数のサブシーケンスのうちの第１のサブシーケンスに対してアテンションモデルの第１のアテンションモデリングを実行するステップであって、前記アテンションモデルは重み付け特徴の選択が可能であるステップと、
   前記複数のサブシーケンスのうちの第２のサブシーケンスに対して前記アテンションモデルの第２のアテンションモデリングを実行するステップであって、前記第１のアテンションモデリングは前記第２のアテンションモデリングと異なるステップと、を含むことを特徴とする、請求項１に記載の切断アテンションに基づくリアルタイム音声認識方法。
3. 前記方法は、
   共有エンコーダによって前記音声信号を前記特徴シーケンスにエンコードし、
   コネクショニスト時系列分類（ＣＴＣ）モジュールによって前記特徴シーケンスに基づいて前記スパイク情報を取得し、
   アテンションデコーダによって前記特徴シーケンスと前記スパイク情報とに基づいて前記リアルタイムの認識結果を取得し、前記共有エンコーダは、前記コネクショニスト時系列分類（ＣＴＣ）モジュールと前記アテンションデコーダで共有されることを特徴とする、請求項１に記載の切断アテンションに基づくリアルタイム音声認識方法。
4. 前記方法は、
   前記コネクショニスト時系列分類（ＣＴＣ）モジュールをトレーニングするための第１の損失関数を決定するステップと、
   前記アテンションデコーダをトレーニングするための第２の損失関数を決定するステップと、
   前記第１の損失関数と前記第２の損失関数を使用して前記コネクショニスト時系列分類（ＣＴＣ）モジュールと前記アテンションデコーダとを共にトレーニングするステップと、をさらに含むことを特徴とする、請求項３に記載の切断アテンションに基づくリアルタイム音声認識方法。
5. 前記特徴シーケンスを複数のサブシーケンスに切断するステップは、
   前記スパイク情報における各スパイクに対して、前記特徴シーケンスにおける各スパイクに隣接する所定の数のスパイクに対応するサブシーケンスを選択するステップを含み、前記所定の数のスパイクは、各スパイクの前の第１の数のスパイクと各スパイクの後の第２の数のスパイクとを含むことを特徴とする、請求項１に記載の切断アテンションに基づくリアルタイム音声認識方法。
6. アテンションメカニズムによってリアルタイムの認識結果を取得するステップは、
   前記特徴シーケンス内の重畳する複数のサブシーケンスに基づいて、第１レベルのアテンションメカニズムによって複数の特徴ベクトルをそれぞれ決定するステップと、
   決定された前記複数の特徴ベクトルに基づいて、第２レベルのアテンションメカニズムによって文脈特徴ベクトルを決定するステップと、
   決定された前記文脈特徴ベクトルに基づいて、前記リアルタイムの認識結果を決定するステップと、を含むことを特徴とする、請求項５に記載の切断アテンションに基づくリアルタイム音声認識方法。
7. 前記特徴シーケンスは暗黙的な特徴シーケンスであり、各スパイクは一つの音節又は１クループの音素を示すことを特徴とする、請求項５に記載の切断アテンションに基づくリアルタイム音声認識方法。
8. 切断アテンションに基づくリアルタイム音声認識装置であって、
   入力された音声信号に基づいて、前記音声信号の特徴シーケンスを切断するための切断情報を取得するよう構成される切断情報取得モジュールと、
   前記切断情報に基づいて、前記特徴シーケンスを複数のサブシーケンスに切断するよう構成される特徴シーケンス切断モジュールと、
   前記複数のサブシーケンスのうちのサブシーケンスに対して、アテンションメカニズムによってリアルタイムの認識結果を取得するよう構成される認識結果取得モジュールと、を含み、
   前記切断情報取得モジュールは、
   前記特徴シーケンスに対してコネクショニスト時系列分類（ＣＴＣ）処理を行うことによって前記音声信号に関するスパイク情報を取得するよう構成されるスパイク情報取得モジュールと、
   取得された前記スパイク情報に基づいて、前記切断情報を決定するよう構成される切断情報決定モジュールと、を含むことを特徴とする、切断アテンションに基づくリアルタイム音声認識装置。
9. 前記認識結果取得モジュールは、
   前記複数のサブシーケンスのうちの第１のサブシーケンスに対してアテンションモデルの第１のアテンションモデリングを実行するよう構成される第１のアテンションモデリング装置であって、前記アテンションモデルは重み付け特徴の選択が可能である第１のアテンションモデリング装置と、
   前記複数のサブシーケンスのうちの第２のサブシーケンスに対して前記アテンションモデルの第２のアテンションモデリングを実行するよう構成される第２のアテンションモデリング装置であって、前記第１のアテンションモデリングは前記第２のアテンションモデリングと異なる第２のアテンションモデリング装置と、を含むことを特徴とする、請求項８に記載の切断アテンションに基づくリアルタイム音声認識装置。
10. 前記装置は、
    前記音声信号を前記特徴シーケンスにエンコードするよう構成される共有エンコーダと、
    前記特徴シーケンスに基づいて前記スパイク情報を取得するよう構成されるコネクショニスト時系列分類（ＣＴＣ）モジュールと、
    前記特徴シーケンスと前記スパイク情報とに基づいて前記リアルタイムの認識結果を取得するよう構成されるアテンションデコーダと、を含み、
    前記共有エンコーダは、前記コネクショニスト時系列分類（ＣＴＣ）モジュールと前記アテンションデコーダで共有され、
    前記切断情報取得モジュールは、前記コネクショニスト時系列分類（ＣＴＣ）モジュールに含まれ、前記特徴シーケンス切断モジュールと前記認識結果取得モジュールは、前記アテンションデコーダに含まれることを特徴とする、請求項８に記載の切断アテンションに基づくリアルタイム音声認識装置。
11. 前記装置は、
    前記コネクショニスト時系列分類（ＣＴＣ）モジュールをトレーニングするための第１の損失関数を決定するよう構成される第１の損失関数決定モジュールと、
    前記アテンションデコーダをトレーニングするための第２の損失関数を決定するよう構成される第２の損失関数決定モジュールと、
    前記第１の損失関数と前記第２の損失関数を使用して前記コネクショニスト時系列分類（ＣＴＣ）モジュールと前記アテンションデコーダとを共にトレーニングするよう構成されるトレーニングモジュールと、をさらに含むことを特徴とする、請求項１０に記載の切断アテンションに基づくリアルタイム音声認識装置。
12. 前記特徴シーケンス切断モジュールは、
    前記スパイク情報における各スパイクに対して、前記特徴シーケンスにおける各スパイクに隣接する所定の数のスパイクに対応するサブシーケンスを選択するよう構成されるサブシーケンス選択モジュールを含み、前記所定の数のスパイクは、各スパイクの前の第１の数のスパイクと各スパイクの後の第２の数のスパイクとを含むことを特徴とする、請求項８に記載の切断アテンションに基づくリアルタイム音声認識装置。
13. 前記認識結果取得モジュールは、
    前記特徴シーケンス内の重畳する複数のサブシーケンスに基づいて、第１レベルのアテンションメカニズムによって複数の特徴ベクトルをそれぞれ決定するよう構成される複数の特徴ベクトル決定モジュールと、
    決定された前記複数の特徴ベクトルに基づいて、第２レベルのアテンションメカニズムによって文脈特徴ベクトルを決定するよう構成される文脈特徴ベクトル決定モジュールと、
    決定された前記文脈特徴ベクトルに基づいて、前記リアルタイムの認識結果を決定するよう構成される認識結果決定モジュールと、を含むことを特徴とする、請求項１２に記載の切断アテンションに基づくリアルタイム音声認識装置。
14. 前記特徴シーケンスは暗黙的な特徴シーケンスであり、各スパイクは一つの音節又は１クループの音素を示すことを特徴とする、請求項１２に記載の切断アテンションに基づくリアルタイム音声認識装置。
15. 電子機器であって、
    一つ又は複数のプロセッサと、
    一つ又は複数のプログラムを記憶するための記憶装置と、を含み、
    前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサにより実行される場合に、前記電子機器が請求項１から７のいずれかに記載の方法を実現することを特徴とする、電子機器。
16. コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
    前記プログラムがプロセッサにより実行される場合に、請求項１から７のいずれかに記載の方法が実現されることを特徴とする、コンピュータ読み取り可能な記憶媒体。

Images