JP4297349B2

JP4297349B2 - 音声認識システム

Info

Publication number: JP4297349B2
Application number: JP2004098760A
Authority: JP
Inventors: 顕吾藤田; 正樹内藤
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2004-03-30
Filing date: 2004-03-30
Publication date: 2009-07-15
Anticipated expiration: 2024-03-30
Also published as: JP2005284018A

Description

本発明は音声認識システムに関し、特に発声途中で音声認識結果候補を逐次出力できる音声認識システムに関する。

従来の音声認識システムの一例（従来法１）を図３を参照して説明する。音声入力部１は、ユーザの音声である音声信号を入力し音声検出部２へ送る。次に、音声検出部２は、音声入力部１より得られる音声信号を、音声区間の始端から順次図４に示すようにフレーム長Ｔ毎にΔＴずつずらして切り出し、それぞれを音響分析部３へ送る。また、音声区間の終端を検出した時刻に、認識結果候補決定部６へ終端検出信号を送る。音響分析部３は、フレーム毎に切り出された音声信号から音声信号の特徴を表す音響パラメータを抽出し、照合部４へ送る。照合部４は、音素の特徴を表すモデルを連結して得た認識語彙標準パタン５と、第１フレームから現時刻までの音響パラメータとを照合し、認識語彙を構成する音素列の尤度を計算する。なお、各時刻の尤度は１時刻前までの照合結果を基にViterbiアルゴリズムを用い計算することが可能である。このことは、例えば、中川聖一著「確率モデルによる音声認識」に記されている。認識結果候補決定部６は、前記音声検出部２からの終端検出信号を受け取った時刻において尤度の高い音素列仮説を認識結果候補として出力する。

次に、従来システムの他の例（従来法２）を、図５を参照して説明する。図中の図３と同一または同等物には、同じ符号が付されている。この従来例は、音声入力部１、音声検出部２、音響分析部３、照合部４の機能は図３と同じである。図３の従来例と異なるのは、照合部４から各時刻で尤度の高い音素列を認識結果候補として出力するようにしている点である。

前記従来システムに係る技術を記載した文献として、例えば下記の特許文献１，２等がある。
特開２００３−２５５９７２号公報特開２００３−３４５３８６号公報１９８８年７月１日、コロナ社発光、中川聖一著「確率モデルによる音声認識」

前記従来法１，２には、次のような課題があった。すなわち、従来法１では、発声が終了するまで認識結果候補を得ることができず、認識結果に基づき情報を提示するまでに時間を要する。

従来法２では、照合途中の各時刻に尤度の高い音素列を認識結果候補とするため、照合開始から間もない音素も認識結果候補に含まれる恐れがあり、そのような音素を含む類似した音素列が認識結果候補として多く出力される恐れがある。

例えば、第１フレームからある時刻までの音響パラメータを照合した結果、得られる尤度の高い音素列の例を図６に示す。実際に発声した音素列が「o/NN/s/e/i」である場合でも、図６のように発声した音素列の一部分である「o/NN/s/e」、あるいは辞書登録単語上発声した音素列に続く音素が加わっている「o/NN/s/e/i/n」、「o/NN/s/e/i/g」、「o/NN/s/e/i/s」といった発声した音素列に類似した音素列が尤度の高い音素列として挙がる場合が多く見られる。

本発明は、前記した従来技術の課題に鑑みてなされたものであり、その目的は、発声途中で、精度の良い認識結果候補を得ることができる音声認識システムを提供することにある。

前記した目的を達成するために、本発明は、発声途中で音声認識結果候補を逐次出力できる音声認識システムにおいて、音声信号をフレーム長Ｔ毎にΔＴずつずらして切り出す音声検出部と、該音声検出部から得られた切り出し音声信号から音声信号の特徴を表す音響パラメータを抽出する音響分析部と、発声開始から発声途中までの音響パラメータから、音素列の尤度を計算する照合部と、該照合部から得られる音素列の照合結果を基に、発声途中で認識結果候補を決定する認識結果候補決定手段とを具備し、前記照合部は、前記音響分析部から抽出された第１フレームから現時刻までの音響パラメータを、認識語彙のもつ音素の並びに従い音素の特徴を表すモデルによる連結を構成した認識語彙標準パタンと照合し、認識結果音素列候補と第１の尤度を出力する第１照合部と、前記第１フレームから現時刻までの音響パラメータを、日本語全般をモデル化するようなバックグランドパタンと照合し、第２の尤度を出力する第２照合部とからなり、前記認識結果候補決定手段は、
前記照合部から得られた音素列の第１、第２の尤度の差を取り、該差を音声認識処理の実行区間で除することにより得られた値である正規化スコアを演算し、該正規化スコアが予め定めた閾値より高い音素列と該音素列の前記第１の尤度ｍ _ｉを出力する正規化スコア計算部と、前記閾値より高い音素列の尤度ｍ _ｉを指数化して第１の事後確率を求め、該第１の事後確率を基に発声開始から発声途中までの入力音声に含まれる音素列の第２の事後確率を求め、該第２の事後確率が予め定められた基準値以上の音素列を認識結果候補と決定する認識結果候補決定部とからなる点に特徴がある。

請求項１，２の発明によれば、発声途中に、精度の良い認識結果候補を得ることが可能であり、情報の提示までの時間を短縮することができる。

また、正規化スコアと事後確率を用いて詳細に認識結果候補の選定を行うことができるので、不要な認識結果候補の出力を低減することが可能になる。

以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の構成を示すブロック図である。図１において、図３と同一または同等物には、同じ符号が付されている。

図において、音声入力部１は、ユーザからの音声信号を入力し音声検出部２へ送る。音声検出部２は、音声入力部１より得られる音声信号を、順次図４に示すようにフレーム長Ｔ（時間）毎にΔＴ（時間）ずつずらして切り出し、それぞれを音響分析部３へ送る。音響分析部３は、フレーム毎に切り出された音声信号から音声信号の特徴を表す音響パラメータを抽出し、第１照合部４および第２照合部７へ送る。

第１照合部４は、音素の特徴を表すモデルを連結して得た認識語彙標準パタン５と第１フレームから現時刻までの音響パラメータを照合し、認識結果音素列候補とその尤度ｍ_Kを認識結果候補決定手段１０に送る。第２照合部７は、日本語全般をモデル化するようなバックグランドパタン８と第１フレームから現時刻までの音響パラメータを照合し、尤度ｍ_Bを認識結果候補決定手段１０に送る。

該認識結果候補決定手段１０は、第１照合部４から得られた音素列のうち尤度の高い音素列を選択し、各音素列の尤度を基に発声開始から発声途中までの入力音声の音素列である可能性の高い音素列のみを認識結果候補と決定する働きをするものであり、一具体例として、正規化スコア計算部１１と認識結果候補決定部１２とから構成することができる。

正規化スコア計算部１１では、第１照合部４で得られる尤度ｍ_K及び第２照合部７で得られる尤度ｍ_Bより、下記に示す式により正規化スコアＳを計算する。そして、該スコアが予め定めた閾値より高い音素列仮説（以下、N-best音素列と呼ぶ）と各音素列の尤度ｍ _ｉ（＝前記閾値より高い尤度ｍ _ｋ）を認識結果候補決定部１２へ送る。

Ｓ＝（ｍ_K−ｍ_B）／（ｔ_Ｐ−ｔ_Ｓ）

ここに、ｔ_Ｓは第１フレームの開始時刻、ｔ_Ｐは現時刻を示す。すなわち、ｔ_Ｐ−ｔ_Ｓは照合に用いた区間の長さである。なお、該正規化スコアＳについては、本出願人による特許出願である特願平２００３−０４８６０８号に詳細に説明されている。

次に、認識結果候補決定部１２は、N-best音素列と各音素の尤度を用いて、以下に示す方法で各音素列に対する事後確率を算出する。

(1)N-best音素列の尤度ｍ_ｉ(１≦ｉ≦Ｎ)を指数化し、ｉ番目の尤度ｍ_ｉの事後確率（第１の事後確率）ｐ_ｉを下式から求める。

(2)次に、ある音素列ｘがｉ番目の候補に含まれるときδ_ｘ，ｉ＝１、含まれないときδ_ｘ，ｉ＝０とすると、入力音声に音素列ｘが含まれている事後確率（第２の事後確率）ｐ_ｘは、次式で計算される。

その後、認識結果候補決定部１２は、音素列中の事後確率の最大値からのある範囲θに含まれる音素列を認識結果候補と決定する。

図２には、「音声」、「音声認識」、「音声合成」、「音声操作」といった単語を含む認識辞書を用いた認識を行い、時刻ｔまでの入力音声「おんせい」と認識語彙標準パタンを照合した際に得られる音素列の例を示した。ここでは正規化スコアの高い５つの音素列が挙がり、それぞれの音素列の尤度から事後確率ｐ_ｉ（ｉ＝１，２，・・・，５）が算出されたとする。

本来時刻ｔまでの音声「おんせい」に対応する音素列は「o/NN/s/e/i」（ｐ_１＝０．２２）であるが、その他にも、音素列「o/NN/s/e/i」の一部分をなす「o/NN/s/e」（ｐ_５＝０．１８）、あるいは、認識辞書上で「o/NN/s/e/i」に続く「音声認識」、「音声合成」、「音声操作」という単語内の音素が加わった音素列「o/NN/s/e/i/n」（ｐ_２＝０．２１）、「o/NN/s/e/i/g」（ｐ_３＝０．２０）、「o/NN/s/e/i/s」（ｐ_４＝０．１９）も正規化スコアの高い音素列として挙がっている。

このとき上記事後確率ｐ_ｘの定義より、音素列「o/NN/s/e」の事後確率ｐ_o/NN/s/e＝１．０となる。また、同様に音素列「o/NN/s/e/i」の事後確率ｐ_o/NN/s/e/i＝０．８２と算出される。また、「o/NN/s/e/i/n」、「o/NN/s/e/i/g」、「o/NN/s/e/i/s」など類似した音素列が候補中に存在する場合、事後確率はそれぞれ、ｐ_o/NN/s/e/i/n＝０．２１、ｐ_o/NN/s/e/i/g＝０．２０、ｐ_o/NN/s/e/i/s＝０．１９と低い値をとると予想される。

ここで、前記候補選択の基準として、例えばθ＝０．５０を使用すると、事後確率の高い音素列「o/NN/s/e」及び「o/NN/s/e/i」が認識結果候補として出力され、「o/NN/s/e/i/n」、「o/NN/s/e/i/g」、「o/NN/s/e/i/s」などは認識結果候補から除外される。

このように、本実施形態によれば、発声途中で、精度の良い認識結果候補を出力できるようになる。

本発明の一実施形態の構成を示すブロック図である。発声した音素列が「o/NN/s/e/i」である場合の正規化スコアの高い音素列の例を示す説明図である。従来の音声認識システムの一例の構成を示すブロック図である。音声区間検出と特徴パラメータ抽出の説明図である。従来の音声認識システムの他の例の構成を示すブロック図である。図５の音声認識システムにより出力される認識結果候補の説明図である。

符号の説明

１・・・音声入力部、２・・・音声検出部、３・・・音響分析部、４・・・第１照合部、５・・・認識語彙標準パタン、７・・・第２照合部、８・・・バックグランドパタン、１０・・・認識結果候補決定手段、１１・・・正規化スコア計算部、１２・・・認識結果候補決定部。

Claims

発声途中で音声認識結果候補を逐次出力できる音声認識システムにおいて、
音声信号をフレーム長Ｔ毎にΔＴずつずらして切り出す音声検出部と、
該音声検出部から得られた切り出し音声信号から音声信号の特徴を表す音響パラメータを抽出する音響分析部と、
発声開始から発声途中までの音響パラメータから、音素列の尤度を計算する照合部と、
該照合部から得られる音素列の照合結果を基に、発声途中で認識結果候補を決定する認識結果候補決定手段とを具備し、
前記照合部は、前記音響分析部から抽出された第１フレームから現時刻までの音響パラメータを、認識語彙のもつ音素の並びに従い音素の特徴を表すモデルによる連結を構成した認識語彙標準パタンと照合し、認識結果音素列候補と第１の尤度を出力する第１照合部と、前記第１フレームから現時刻までの音響パラメータを、日本語全般をモデル化するようなバックグランドパタンと照合し、第２の尤度を出力する第２照合部とからなり、
前記認識結果候補決定手段は、
前記照合部から得られた音素列の第１、第２の尤度の差を取り、該差を音声認識処理の実行区間で除することにより得られた値である正規化スコアを演算し、該正規化スコアが予め定めた閾値より高い音素列と該音素列の前記第１の尤度ｍ _ｉを出力する正規化スコア計算部と、
前記閾値より高い音素列の尤度ｍ _ｉを指数化して第１の事後確率を求め、該第１の事後確率を基に発声開始から発声途中までの入力音声に含まれる音素列の第２の事後確率を求め、該第２の事後確率が予め定められた基準値以上の音素列を認識結果候補と決定する認識結果候補決定部とからなる音声認識システム。
請求項１に記載の音声認識システムにおいて、
前記認識結果候補決定部は、前記閾値より高い音素列の尤度ｍ_ｉ(１≦ｉ≦Ｎ)を指数化し、ｉ番目の尤度ｍ_ｉの第１の事後確率ｐ_ｉを下記の(1)式から求め、前記発声開始から発声途中までの入力音声に含まれる音素列ｘの第２の事後確率ｐ_ｘを、該音素列ｘがｉ番目の候補に含まれるときδ_ｘ，ｉ＝１、含まれないときδ_ｘ，ｉ＝０として、下記の(2)式で計算することを特徴とする音声認識システム。