JP5558284B2 - 音声認識システム、音声認識方法、および音声認識プログラム - Google Patents

Description

本発明は、通信端末、音声認識方法、および音声認識プログラムに関するものである。

音声認識処理を行うに当たっては、クライアント端末内で行う場合と、サーバ側で行う場合がある。クライアント端末内で行う場合は、当該端末がユーザ専用のものである場合が多いことから、端末内のユーザ固有の情報として、ユーザ辞書、ユーザの過去の入力音声や通話音声、音響トレーニングの実績などを利用して、言語モデルや音響モデルの個人カスタマイズが容易である。したがって、ユーザ適応の音声認識が可能となる反面、メモリ量や演算リソースが限られ、語彙数や仮説探索の範囲が制約されるといったデメリットがある。

一方で、サーバ側で行う場合は、端末内音声認識と比較してメモリ量や演算リソースを豊富に利用でき、大語彙且つ高精度の音声認識が可能といったメリットがある。しかし、サーバは多数のユーザに共有されるものであるため、ユーザ各々の言語モデルまたは音響モデルを学習したり、アクセスに応じて即時且つ高速にユーザ各々にカスタマイズされた言語モデルまたは音響モデルを読み込むにはコストが高くかかる。したがって、サーバ側の音声認識では言語モデルまたは音響モデルのユーザごとのカスタマイズが困難というデメリットがある。

そこで、両者の長所を兼ね備え、大語彙且つ高精度の音声認識処理と、言語モデルまたは音響モデルのユーザごとのカスタマイズを両立する音声認識処理を実現することが課題とされており、特許文献１は当該課題を解決するための一つの試みを示している。特許文献１では、サーバは認識結果における単語境界の時間情報を端末に返し、端末では当該時間情報を参照し且つ自らが有する辞書を用いて再認識を行う。特に、未知語や固有名詞と判定された語のみを再認識の対象とすることにより、認識精度の向上を目指している。

特開２０１０−８５５３６号公報

しかし、このような特許文献１の技術では、サーバ側の認識で単語境界が正しく認識されていないと、端末側は正しくない時間情報を参照することとなり、端末での再認識後も正しい認識結果が得られないおそれがある。また、サーバ側で認識対象の語が語彙外の語である場合は、未知語や固有名詞の判定を正しくできない場合があり、端末で再認識を行った後も正しい認識結果が得られない場合がある。

そこで、本発明は上記に鑑みてなされたもので、大語彙且つ高精度の音声認識処理と、言語モデルまたは音響モデルのユーザごとのカスタマイズを両立する音声認識処理を実現することが可能な通信端末、音声認識方法、および音声認識プログラムを提供することを目的とする。

上記課題を解決するために、本発明の通信端末は、音声信号を入力する音声入力手段と、音声認識処理を行うための言語モデルまたは音響モデルであってユーザに適応されたものを格納する格納手段と、前記言語モデルまたは前記音響モデルを用いて前記音声信号に対して第１の音声認識処理を行う音声認識処理手段と、前記音声認識処理手段の認識処理結果を構成する語彙を抽出する語彙抽出手段と、前記語彙抽出手段が抽出した当該語彙を認識辞書として用いて前記音声信号に対して第２の音声認識処理を行うサーバに、前記音声信号とともに前記語彙を表す情報を送信する送信手段と、を備える。

また、本発明の音声認識方法は、格納手段に、音声認識処理を行うための言語モデルまたは音響モデルであってユーザに適応されたものが格納されており、音声入力手段が、音声信号を入力する音声入力ステップと、音声認識処理手段が、前記言語モデルまたは前記音響モデルを用いて前記音声信号に対して第１の音声認識処理を行う音声認識処理ステップと、語彙抽出手段が、前記音声認識処理手段の認識処理結果を構成する語彙を抽出する語彙抽出ステップと、送信手段が、前記語彙抽出手段が抽出した当該語彙を認識辞書として用いて前記音声信号に対して第２の音声認識処理を行うサーバに、前記音声信号とともに前記語彙を表す情報を送信する送信ステップと、を備える。

また、本発明の音声認識プログラムは、格納手段に、音声認識処理を行うための言語モデルまたは音響モデルであってユーザに適応されたものが格納されており、音声信号を入力する音声入力モジュールと、前記言語モデルまたは前記音響モデルを用いて前記音声信号に対して第１の音声認識処理を行う音声認識処理モジュールと、前記音声認識処理モジュールの認識処理結果を構成する語彙を抽出する語彙抽出モジュールと、前記語彙抽出モジュールが抽出した当該語彙を認識辞書として用いて前記音声信号に対して第２の音声認識処理を行うサーバに、前記音声信号とともに前記語彙を表す情報を送信する送信モジュールと、を備える。

このような本発明の通信端末、音声認識方法、および音声認識プログラムによれば、通信端末の音声認識処理手段による第１の音声認識処理の結果を構成する語彙を、第２の音声認識処理を行うサーバに送信する。通信端末の音声認識処理手段は、ユーザに適応された言語モデルまたは音響モデルを用いるため、ユーザにカスタマイズされた音声認識処理が可能である。この音声認識処理の結果を構成する語彙がサーバに送信され認識辞書として用いられるため、サーバでは、認識辞書を拡張した上で、大語彙且つ高精度の音声認識処理を行うことが可能となる。したがって、第２の音声認識処理における未知語を減少させながらも、大語彙且つ高精度の音声認識処理と、言語モデルまたは音響モデルのユーザごとのカスタマイズを両立する音声認識処理を実現することが可能となる。

また、本発明において、前記言語モデルは、当該通信端末内に存在するユーザデータ、または前記ユーザの利用履歴から得られ前記ユーザに依存する言語データに基づくユーザ辞書を含んでいても良い。

この発明によれば、通信端末の言語モデルをユーザにカスタマイズされた言語モデルとすることができる。ユーザ辞書には、例えばユーザの知り合いの人名等が含まれることができる。

また、本発明において、前記音響モデルは、前記ユーザの過去の入力音声もしくは通話音声、または音響トレーニングの実績を利用して、前記ユーザに適応されても良い。

この発明によれば、通信端末の音響モデルをユーザにあわせてカスタマイズするための具体的な方法が提供される。

また、本発明の通信端末において、前記サーバとは、ネットワーク上に接続されていても良い。

この発明によれば、通信端末側は、ユーザ辞書全体ではなく、第１の音声認識処理の結果を構成する語彙のみをサーバに送信するため、通信端末とサーバがネットワーク上に接続されている場合に、情報伝送のコストが少なくて済むというメリットがある。また、送信すべきデータの量が少ないことから、全体の処理時間が短くなり、音声認識処理が終わるまでの遅延時間が短くて済むというメリットがある。

また、本発明において、前記語彙抽出手段は、前記語彙のうち、前記ユーザデータまたは前記ユーザ辞書に存在するもののみを抽出しても良い。

この発明によれば、通信端末のユーザデータまたはユーザ辞書に存在する語彙をサーバの認識辞書にて確実に拡張させることができる。また、語彙抽出手段が抽出すべき語彙を減らすことができ、通信端末からサーバへ送信すべきデータ量を更に少なくすることができる。

また、本発明において、前記送信手段は、前記語彙が前記ユーザ辞書に存在するものか否かを示す情報を前記サーバに更に送信しても良い。

この発明によれば、当該情報を参照することにより、通信端末のユーザデータまたはユーザ辞書に存在する語彙を確実に特定でき、当該語彙をサーバの認識辞書にて確実に拡張させることができる。

本発明によれば、第２の音声認識処理における未知語を減少させながらも、大語彙且つ高精度の音声認識処理と、言語モデルまたは音響モデルのユーザごとのカスタマイズを両立する音声認識処理を実現することが可能な通信端末、音声認識方法、および音声認識プログラムを提供することができる。

音声認識システム１の構成概要図である。 クライアント端末１００およびサーバ２００のハードウェア構成図である。 音声認識システム１で行われる動作を示すシーケンス図である。 クライアント端末１００による第１の音声認識処理の結果の一例を示す図である。

以下、添付図面を参照して本発明にかかる通信端末、音声認識方法、および音声認識プログラムの好適な実施形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。以下の説明における「音声認識処理」とは、話者の話す音声言語を解析し、話している内容を文字データとして取り出す処理のことである。

（音声認識システム１の全体構成）
まず、本発明の実施形態に係る音声認識システム１の構成について、図１を参照しながら説明する。図１は、音声認識システム１の構成概要図である。図１に示すように、音声認識システム１は、クライアント端末１００（特許請求の範囲における「通信端末」に相当）およびサーバ２００から構成され、クライアント端末１００とサーバ２００とはネットワーク３００上に接続されている。図１ではクライアント端末１００を代表して１台のみを示しているが、サーバ２００に複数のクライアント端末１００が通信可能である。クライアント端末１００は第１の音声認識処理を行い、サーバ２００は第２の音声認識処理を行う。第２の音声認識処理の結果が音声認識処理の最終的な結果となる。

（クライアント端末１００の構成）
クライアント端末１００について詳細に説明する。クライアント端末１００は例えば携帯電話機やスマートフォンであって、図２はクライアント端末１００のハードウェア構成図である。図２に示すように、クライアント端末１００は、物理的には、ＣＰＵ１１、主記憶装置であるＲＯＭ１２及びＲＡＭ１３、操作ボタンやマイクなどの入力デバイス１４、ＬＣＤや有機ＥＬディスプレイなどの出力デバイス１５、サーバ２００との間でデータの送受信を行う通信モジュール１６、メモリディバイス等の補助記憶装置１７を備えて構成される。後述するクライアント端末１００の各機能は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３等のハードウェア上に所定のソフトウェアを読み込ませることにより、ＣＰＵ１１の制御の元で入力デバイス１４、出力デバイス１５、通信モジュール１６を動作させると共に、主記憶装置１２，１３や補助記憶装置１７におけるデータの読み出し及び書き込みを行うことで実現される。

図１に戻り、クライアント端末１００は、機能的には、音声入力部１１０（特許請求の範囲における「音声入力手段」に相当）、端末側格納部１２０（特許請求の範囲における「格納手段」に相当）、端末側音声認識部１３０（特許請求の範囲における「音声認識処理手段」に相当）、語彙抽出部１４０（特許請求の範囲における「語彙抽出手段」に相当）、および送信部１５０（特許請求の範囲における「送信手段」に相当）を備えて構成される。

音声入力部１１０は、ユーザからの音声信号を入力するものであって、例えば図２に示した入力デバイス１４により構成されることができる。音声入力部１１０は、マイクから入力した音声信号をＡ−Ｄ変換し、音声データを生成する。音声入力部１１０は、さらに、生成した音声データを圧縮符号に変換して符号化データを生成しても良く、音声データから特徴量データを抽出しても良い。以下では、符号化データおよび特徴量データを含めて音声データという。音声入力部１１０は、生成した音声データを端末側音声認識部１３０および送信部１５０に出力する。

端末側格納部１２０は、端末側音声認識部１３０が音声認識処理を行うための言語モデルまたは音響モデルであって、ユーザに適応されたものを格納するものである。本実施形態におけるクライアント端末１００はユーザ専用のものであるか、または限定されたユーザのみが使用可能な通信端末である場合が多い。したがって、この場合には言語モデルや音響モデルの個人カスタマイズが容易である。端末側格納部１２０に格納された端末側言語モデルは、クライアント端末１００内に存在するユーザデータ、またはユーザの利用履歴から得られ且つユーザに依存する言語データに基づくユーザ辞書を含むことにより、クライアント端末１００のユーザにカスタマイズされることができる。また、端末側格納部１２０に格納された端末側音響モデルは、ユーザの過去の入力音声もしくは通話音声、または音響トレーニングの実績を利用して、ユーザに適応されることにより、カスタマイズされることができる。このような端末側格納部１２０は、例えば図２に示した補助記憶装置１７により構成されることができる。

端末側音声認識部１３０は、例えば図２に示したＣＰＵ１１等により構成され、端末側格納部１２０に格納された言語モデルまたは音響モデルを用いて、音声入力部１１０より入力した音声データに対して第１の音声認識処理を行うものである。第１の音声認識処理はクライアント端末１００側での音声認識処理であることから、メモリ量や演算リソースを豊富に利用した大語彙且つ高精度の音声認識処理ではないけれども、ユーザにカスタマイズされた言語モデルまたは音響モデルを用いたユーザに適応された音声認識処理である。なお、端末側音声認識部１３０による音声認識処理そのものは、例えば言語モデルとしてユニグラム（ｕｎｉｇｒａｍ）またはバイグラム（ｂｉｇｒａｍ）を用い、音響モデルとして隠れマルコフモデル（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）を用いるなど、周知の技術であるため、ここでは詳細な説明を省略する。端末側音声認識部１３０における音声認識は、入力音声全体に対する連続音声認識または、孤立単語認識であってもよく、また音声の一部に対する音声認識やワードスポッティングであってもよい。端末側音声認識部１３０は、第１の音声認識処理を行った結果を語彙抽出部１４０に出力する。

語彙抽出部１４０は、端末側音声認識部１３０より第１の音声認識処理の結果を入力され、当該結果を構成する語彙（表記と読みの対）を抽出するものである。語彙抽出部１４０は、例えば図２に示したＣＰＵ１１等により構成されることができる。語彙抽出部１４０は、第１の音声認識処理の結果を構成する語彙全てを抽出しても良く、当該語彙のうち、ユーザデータまたはユーザ辞書に存在するもののみを抽出するようにしても良い。または、語彙抽出部１４０は、抽出した語彙がユーザデータまたはユーザ辞書に存在するものである場合には、その旨を示す情報（以下、「指示信号」という）を生成する処理とともに、語彙抽出処理を行っても良い。語彙抽出部１４０は、指示信号があれば当該指示信号とともに、抽出した語彙を表す情報（以下、「語彙情報」という）を送信部１５０に出力する。

送信部１５０は、音声入力部１１０より入力した音声データとともに、語彙抽出部１４０より入力した語彙情報、および指示信号があれば当該指示信号をサーバ２００に送信するものである。送信部１５０は、例えば図２に示した通信モジュール１６により構成されることができる。

（サーバ２００の構成）
続いて、サーバ２００について説明する。図２はサーバ２００のハードウェア構成図である。図２に示すように、サーバ２００は、物理的には、ＣＰＵ２１、ＲＯＭ２２及びＲＡＭ２３等の主記憶装置、キーボード及びマウス等の入力デバイス２４、ディスプレイ等の出力デバイス２５、クライアント端末１００との間でデータの送受信を行うためのネットワークカード等の通信モジュール２６、ハードディスク等の補助記憶装置２７などを含む通常のコンピュータシステムとして構成される。後述するサーバ２００の各機能は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ２１の制御の元で入力デバイス２４、出力デバイス２５、通信モジュール２６を動作させると共に、主記憶装置２２，２３や補助記憶装置２７におけるデータの読み出し及び書き込みを行うことで実現される。

図１に戻り、サーバ２００は、機能的には、受信部２１０、サーバ側格納部２２０、認識辞書拡張部２３０、サーバ側音声認識部２４０、および認識結果送信部２５０を備えて構成される。

受信部２１０は、クライアント端末１００の送信部１５０より、音声データ、語彙情報、および指示信号があれば当該指示信号を受信するものである。受信部２１０は、受信した音声データをサーバ側音声認識部２４０に出力し、受信した語彙情報および指示信号を認識辞書拡張部２３０に出力する。

サーバ側格納部２２０は、サーバ側音声認識部２４０が音声認識処理を行うための言語モデルまたは音響モデルを格納するものである。本実施形態におけるサーバ２００は多数のユーザに共有されるものである場合が多いので、サーバ側で言語モデルや音響モデルの個人カスタマイズを行うことは容易ではないが、サーバ側格納部２２０は大語彙且つ高精度の音声認識処理に適合した言語モデルまたは音響モデルを格納することができる。

認識辞書拡張部２３０は、受信部２１０より、語彙情報、および指示信号があれば当該指示信号を入力し、当該入力した諸情報に基づき、サーバ側格納部２２０に格納されたサーバ側言語モデルの認識辞書を拡張するものである。「サーバ側言語モデルの認識辞書を拡張する」とは、受信部２１０より入力した語彙情報で表される語彙がサーバ側言語モデルにおいて未知語である場合に、当該未知語をサーバ側言語モデルの認識辞書に既知語として登録することにより、当該語彙をそれ以上未知語でないようにすることをいう。このような認識辞書の拡張により、サーバ側音声認識部２４０がサーバ側言語モデルを用いて音声認識処理を行う際の未知語を減少させることができる。

サーバ側音声認識部２４０は、サーバ側格納部２２０に格納された言語モデルまたは音響モデルを用いて、受信部２１０より入力した音声データに対して第２の音声認識処理を行うものである。第２の音声認識処理はサーバ２００側での音声認識処理であることから、メモリ量や演算リソースを豊富に利用した大語彙且つ高精度の音声認識処理が可能である。更に、第２の音声認識処理は、認識辞書拡張部２３０により認識辞書が拡張された後の言語モデルを用いて行われる。このため、未知語が減少された上での音声認識処理が可能となり、認識結果の精度が向上する。なお、サーバ側音声認識部２４０による音声認識処理そのものは、例えば言語モデルとしてトライグラム（ｔｒｉｇｒａｍ）を用い、音響モデルとして隠れマルコフモデルを用いるなど、周知の技術であるため、ここでは詳細な説明を省略する。サーバ側音声認識部２４０は、第２の音声認識処理を行った結果を認識結果送信部２５０に出力する。

認識結果送信部２５０は、サーバ側音声認識部２４０より第２の音声認識処理を行った結果を入力され、当該結果をクライアント端末１００に送信するものである。なお、クライアント端末１００は第２の音声認識処理の結果を受信する手段（例えば図２の通信モジュール１６で構成可能）、および当該結果をユーザに表示する手段（例えば図２の出力デバイス１５で構成可能）を備えても良い。

（音声認識システム１の動作）
続いて、音声認識システム１により行われる動作について、図３を参照しながら説明する。図３は、音声認識システム１で行われる動作を示すシーケンス図である。

（ステップＳ１、特許請求の範囲における「音声入力ステップ」に相当）
最初に、クライアント端末１００の音声入力部１１０がユーザからの音声信号を入力し、Ａ−Ｄ変換等を行った後に、音声データを端末側音声認識部１３０および送信部１５０に出力する。

（ステップＳ２、特許請求の範囲における「音声認識処理ステップ」に相当）
次に、端末側音声認識部１３０が、端末側格納部１２０に格納された言語モデルまたは音響モデルを用いて、ステップＳ１にて音声入力部１１０より入力した音声データに対して第１の音声認識処理を行う。図４は、第１の音声認識処理の結果の一例を示す。図４では認識結果をＮ−ｂｅｓｔで示しているが、これに限らず、ｃｏｎｆｕｓｉｏｎ ｎｅｔｗｏｒｋであっても良く、単語ｌａｔｔｉｃｅであっても良い。端末側音声認識部１３０は、図４に示したような第１の音声認識処理の結果を語彙抽出部１４０に出力する。

（ステップＳ３、特許請求の範囲における「語彙抽出ステップ」に相当）
次に、語彙抽出部１４０が、ステップＳ２の第１の音声認識処理の結果を端末側音声認識部１３０より入力され、当該結果を構成する語彙を抽出する。図４の例のような認識結果が入力された場合に、語彙抽出部１４０は下記に示す語彙を抽出し、当該抽出した語彙を表す語彙情報を送信部１５０に出力する（語彙抽出部１４０の語彙抽出パターン１）。
「今日／キョウ」、「は／ワ」、「横浜／ヨコハマ」、「高浜／タカハマ」、「横島／ヨコシマ」、「へ／エ」、「に／ニ」、「行った／イッタ」、「会った／アッタ」

ここで、語彙抽出部１４０が、図４に示す認識結果における語彙のうち、ユーザデータまたはユーザ辞書に存在するもののみを抽出するようにしても良い。例えば、図４の例において、「横島／ヨコシマ」のみがクライアント端末１００のユーザデータまたはユーザ辞書に存在する語彙であって、その他の「今日／キョウ」、「は／ワ」等はユーザデータまたはユーザ辞書に存在しない語彙であるとする。この場合に、語彙抽出部１４０は「横島／ヨコシマ」のみを抽出し、当該抽出した語彙「横島／ヨコシマ」を表す語彙情報を送信部１５０に出力する（語彙抽出部１４０の語彙抽出パターン２）。

更に、語彙抽出部１４０が、抽出した語彙がユーザデータまたはユーザ辞書に存在するものである場合には、その旨を示す情報（指示信号）を生成する処理とともに、上記語彙抽出パターン１のような語彙抽出処理を行っても良い。例えば、図４の例において、語彙抽出部１４０が「今日／キョウ」、「は／ワ」等の認識結果にある全ての語彙を抽出するとともに、語彙「横島／ヨコシマ」はユーザデータまたはユーザ辞書に存在する語彙である旨を示す指示信号を生成する。そして、語彙抽出部１４０は、当該指示信号とともに、抽出した語彙を表す語彙情報を送信部１５０に出力する（語彙抽出部１４０の語彙抽出パターン３）。

（ステップＳ４、特許請求の範囲における「送信ステップ」に相当）
次に、送信部１５０が、ステップＳ１にて音声入力部１１０より入力した音声データとともに、ステップＳ３にて語彙抽出部１４０より入力した語彙情報、および指示信号があれば当該指示信号をサーバ２００に送信する。

（ステップＳ５）
次に、サーバ２００の受信部２１０が、クライアント端末１００の送信部１５０より、音声データ、語彙情報、および指示信号があれば当該指示信号を受信する。受信部２１０は、受信した音声データをサーバ側音声認識部２４０に出力し、受信した語彙情報および指示信号を認識辞書拡張部２３０に出力する。

（ステップＳ６）
次に、認識辞書拡張部２３０が、受信部２１０より、語彙情報、および指示信号があれば当該指示信号を入力し、当該入力した諸情報に基づき、サーバ側格納部２２０に格納されたサーバ側言語モデルの認識辞書を拡張する。

上記の語彙抽出パターン１のように、語彙抽出部１４０が抽出した語彙を全て表す語彙情報を入力した場合に、認識辞書拡張部２３０は、当該入力された語彙情報で表される語彙と、自サーバが保有している認識辞書に登録されている語彙とを比較し、語彙情報で表される語彙のうち自サーバの認識辞書に登録されていないもののみを既知語として新たに登録するようにしても良い。図４の例において、比較の結果、例えば「横浜／ヨコハマ」および「高浜／タカハマ」の二つの語彙がサーバの認識辞書に登録されていないことが判明された場合に、認識辞書拡張部２３０は当該語彙「横浜／ヨコハマ」および「高浜／タカハマ」を自サーバの認識辞書に既知語として新たに登録する（認識辞書拡張部２３０の辞書拡張パターン１）。

または、上記の語彙抽出パターン２のように、入力された語彙情報で表される語彙が全てクライアント端末１００のユーザデータまたはユーザ辞書に存在するものであることが保障される場合には、認識辞書拡張部２３０は入力された語彙情報で表される語彙全てを既知語として認識辞書に登録するようにしても良い。このような場合は、例えば図４の例において、クライアント端末１００の語彙抽出部１４０がユーザデータまたはユーザ辞書に存在する語彙のみを抽出することを、例えばクライアント端末１００とサーバ２００間で所定の情報を予め交換しておくことにより、サーバ２００が事前に知っている場合である。このような場合に、例えば、「横島／ヨコシマ」のみが語彙抽出部１４０により抽出され、「横島／ヨコシマ」のみを表す語彙情報が認識辞書拡張部２３０に入力され、認識辞書拡張部２３０は語彙「横島／ヨコシマ」を既知語として自サーバの認識辞書に登録する。なお、仮に語彙「横島／ヨコシマ」がサーバ側言語モデルの認識辞書に既に登録されている既知語である場合には、認識辞書拡張部２３０は語彙「横島／ヨコシマ」を登録しなくても良い（認識辞書拡張部２３０の辞書拡張パターン２）。

更に、上記の語彙抽出パターン３のように指示信号がある場合には、認識辞書拡張部２３０は、当該指示信号を参照することにより、当該語彙がクライアント端末１００のユーザデータまたはユーザ辞書に存在するものであることが判明された場合のみに、当該語彙を既知語として認識辞書に登録するようにしても良い。例えば、上記図４の例において、「横島／ヨコシマ」がユーザデータまたはユーザ辞書に存在する語彙である旨を示す指示信号が入力された場合に、認識辞書拡張部２３０は語彙「横島／ヨコシマ」を既知語として自サーバの認識辞書に登録する。なお、仮に語彙「横島／ヨコシマ」がサーバ側言語モデルの認識辞書に既に登録されている既知語である場合には、認識辞書拡張部２３０は語彙「横島／ヨコシマ」を登録しなくても良い（認識辞書拡張部２３０の辞書拡張パターン３）。

（ステップＳ７）
次に、サーバ側音声認識部２４０が、サーバ側格納部２２０に格納された言語モデルまたは音響モデルを用いて、ステップＳ５にて受信部２１０より入力した音声データに対して第２の音声認識処理を行う。第２の音声認識処理は、認識辞書拡張部２３０により認識辞書が拡張された後の言語モデルを用いて行われる。サーバ側音声認識部２４０は、第２の音声認識処理を行った結果を認識結果送信部２５０に出力する。

（ステップＳ８）
次に、認識結果送信部２５０が、サーバ側音声認識部２４０より第２の音声認識処理を行った結果を入力され、当該結果をクライアント端末１００に送信する。

（ステップＳ９）
次に、クライアント端末１００側で第２の音声認識処理の結果を受信し、当該結果をユーザに表示する。

以上の説明においては、本発明の実施態様として、クライアント端末１００およびサーバ２００を備える音声認識システム１を例示したが、これに限られるものではなく、クライアント端末１００およびサーバ２００における各機能を実行するためのモジュールを備えたプログラムとして構成してもよい。すなわち、クライアント端末１００に相当するものとして、格納手段に、音声認識処理を行うための言語モデルまたは音響モデルであってユーザに適応されたものが格納されており、音声入力部１１０に相当する音声入力モジュール、端末側音声認識部１３０に相当する音声認識処理モジュール、語彙抽出部１４０に相当する語彙抽出モジュール、および送信部１５０に相当する送信モジュールを備えたプログラムを構成する。また、同様に、サーバ２００の各構成要素に相当する各モジュールを備えたプログラムを構成する。そして、携帯端末、スマートフォン、サーバ等に当該プログラムを読み込ませることにより、上述のクライアント端末１００およびサーバ２００を備える音声認識システム１と同等の機能を実現することができる。このようなプログラムは記録媒体に記録されることができる。記録媒体とは、コンピュータのハードウェア資源に備えられている読み取り装置に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読み取り装置にプログラムの記述内容を伝達できるものである。かかる記録媒体としては、例えば、磁気ディスク、光ディスク、ＣＤ−ＲＯＭ、コンピュータに内蔵されるメモリなどが該当する。

（本実施形態の作用及び効果）
続いて、本実施形態にかかる音声認識システム１の作用及び効果について説明する。本実施形態の音声認識システム１によれば、クライアント端末１００の端末側音声認識部１３０による第１の音声認識処理の結果を構成する語彙を、第２の音声認識処理を行うサーバ２００に送信する。クライアント端末１００の端末側音声認識部１３０は、ユーザに適応された言語モデルまたは音響モデルを用いるため、ユーザにカスタマイズされた音声認識処理が可能である。この音声認識処理の結果を構成する語彙がサーバ２００に送信され認識辞書として用いられるため、サーバ２００では、認識辞書を拡張した上で、大語彙且つ高精度の音声認識処理を行うことが可能となる。したがって、第２の音声認識処理における未知語を減少させながらも、大語彙且つ高精度の音声認識処理と、言語モデルまたは音響モデルのユーザごとのカスタマイズを両立する音声認識処理を実現することが可能となる。

また、本実施形態によれば、クライアント端末１００の言語モデルに、当該クライアント端末１００内に存在するユーザデータ、またはユーザの利用履歴から得られユーザに依存する言語データに基づくユーザ辞書を含ませることにより、クライアント端末１００の言語モデルをユーザにカスタマイズされた言語モデルとすることができる。ユーザ辞書には、例えばユーザの知り合いの人名等が含まれることができる。

また、本実施形態によれば、ユーザの過去の入力音声もしくは通話音声、または音響トレーニングの実績を利用するといった、クライアント端末１００の音響モデルをユーザにあわせてカスタマイズするための具体的な方法が提供される。

また、本実施形態によれば、クライアント端末１００側は、ユーザ辞書全体ではなく、第１の音声認識処理の結果を構成する語彙のみをサーバ２００に送信するため、クライアント端末１００とサーバ２００がネットワーク上に接続されている本実施形態のような場合に、情報伝送のコストが少なくて済むというメリットがある。また、送信すべきデータの量が少ないことから、全体の処理時間が短くなり、音声認識処理が終わるまでの遅延時間が短くて済むというメリットがある。

また、本実施形態によれば、特に語彙抽出パターン２および辞書拡張パターン２においては、クライアント端末１００のユーザデータまたはユーザ辞書に存在する語彙をサーバ２００の認識辞書にて確実に拡張させることができる。また、語彙抽出部１４０が抽出すべき語彙を減らすことができ、クライアント端末１００からサーバ２００へ送信すべきデータ量を更に少なくすることができる。

また、本実施形態によれば、特に語彙抽出パターン３および辞書拡張パターン３においては、指示信号を参照することにより、クライアント端末１００のユーザデータまたはユーザ辞書に存在する語彙を確実に特定でき、当該語彙をサーバ２００の認識辞書にて確実に拡張させることができる。

１…音声認識システム、１００…クライアント端末、１１０…音声入力部、１２０…端末側格納部、１３０…端末側音声認識部、１４０…語彙抽出部、１５０…送信部、２００…サーバ、２１０…受信部、２２０…サーバ側格納部、２３０…認識辞書拡張部、２４０…サーバ側音声認識部、２５０…認識結果送信部、３００…ネットワーク。

Claims (7)

1. 通信端末とサーバとが通信することによって音声認識処理を行う音声認識システムであって、
   前記通信端末は、
   音声信号を入力する音声入力手段と、
   音声認識処理を行うための言語モデルまたは音響モデルであってユーザに適応されたものを格納する格納手段と、
   前記言語モデルまたは前記音響モデルを用いて前記音声信号に対して第１の音声認識処理を行う音声認識処理手段と、
   前記音声認識処理手段の認識処理結果を構成する語彙を抽出するとともに、抽出した前記語彙が前記言語モデルに存在するものであるか否かを示す情報である指示信号を生成する語彙抽出手段と、
   前記音声信号とともに前記語彙を表す情報である語彙情報、および前記指示信号を前記サーバに送信する送信手段と、を備え、
   前記サーバは、
   音声認識処理を行うための言語モデルであって、前記格納手段に格納された言語モデルよりも大語彙且つ高精度の音声認識処理に適合した言語モデルであるサーバ側言語モデルを格納するサーバ側格納手段と、
   前記語彙情報、および前記指示信号に基づき、前記サーバ側言語モデルにおける未知語を既知語として登録する認識辞書拡張手段と、
   前記サーバ側言語モデルを用いて前記音声信号に対して第２の音声認識処理を行うサーバ側音声認識処理手段と、
   を備える音声認識システム。
2. 前記格納手段が格納する前記言語モデルは、当該通信端末内に存在するユーザデータ、または前記ユーザの利用履歴から得られ前記ユーザに依存する言語データに基づくユーザ辞書を含む、
   ことを特徴とする請求項１に記載の音声認識システム。
3. 前記格納手段が格納する前記音響モデルは、前記ユーザの過去の入力音声もしくは通話音声、または音響トレーニングの実績を利用して、前記ユーザに適応された、
   ことを特徴とする請求項１または２に記載の音声認識システム。
4. 前記サーバとは、ネットワーク上に接続されている、
   ことを特徴とする請求項１〜３の何れか１項に記載の音声認識システム。
5. 前記語彙抽出手段は、前記語彙のうち、前記ユーザデータまたは前記ユーザ辞書に存在するもののみを抽出する、
   ことを特徴とする請求項２に記載の音声認識システム。
6. 通信端末とサーバとが通信することによって音声認識処理を行う音声認識方法であって、
   前記通信端末の格納手段に、音声認識処理を行うための言語モデルまたは音響モデルであってユーザに適応されたものが格納されており、
   前記通信端末の音声入力手段が、音声信号を入力する音声入力ステップと、
   前記通信端末の音声認識処理手段が、前記言語モデルまたは前記音響モデルを用いて前記音声信号に対して第１の音声認識処理を行う音声認識処理ステップと、
   前記通信端末の語彙抽出手段が、前記音声認識処理手段の認識処理結果を構成する語彙を抽出するとともに、抽出した前記語彙が前記言語モデルに存在するものであるか否かを示す情報である指示信号を生成する語彙抽出ステップと、
   前記通信端末の送信手段が、前記音声信号とともに前記語彙を表す情報である語彙情報、および前記指示信号を前記サーバに送信する送信ステップと、を備え、
   前記サーバのサーバ格納手段に、音声認識処理を行うための言語モデルであって、前記格納手段に格納された言語モデルよりも大語彙且つ高精度の音声認識処理に適合した言語モデルであるサーバ側言語モデルが格納されており、
   前記サーバの認識辞書拡張手段が、前記語彙情報、および前記指示信号に基づき、前記サーバ側言語モデルにおける未知語を既知語として登録する認識辞書拡張ステップと、
   前記サーバのサーバ側音声認識処理手段が、前記サーバ側言語モデルを用いて前記音声信号に対して第２の音声認識処理を行うサーバ側音声認識処理ステップと、
   を備える音声認識方法。
7. 通信端末とサーバとが通信することによって行われる音声認識処理の音声認識プログラムであって、
   音声信号を入力する音声入力モジュールと、
   前記通信端末に格納された、音声認識処理を行うための言語モデルまたは音響モデルであってユーザに適応されたものを用いて前記音声信号に対して第１の音声認識処理を行う音声認識処理モジュールと、
   前記音声認識処理モジュールの認識処理結果を構成する語彙を抽出するとともに、抽出した前記語彙が前記言語モデルに存在するものであるか否かを示す情報である指示信号を生成する語彙抽出モジュールと、
   前記音声信号とともに前記語彙を表す情報である語彙情報、および前記指示信号を前記サーバに送信する送信モジュールと、
   前記語彙情報、および前記指示信号に基づき、音声認識処理を行うための言語モデルであって前記通信端末に格納された言語モデルよりも大語彙且つ高精度の音声認識処理に適合した言語モデルであるサーバ側言語モデルにおける未知語を既知語として登録する認識辞書拡張モジュールと、
   前記サーバ側言語モデルを用いて前記音声信号に対して第２の音声認識処理を行うサーバ側音声認識処理モジュールと、
   を備える音声認識プログラム。

Images