JP5327838B2 - 音声入力分散処理方法及び音声入力分散処理システム - Google Patents

Description

本発明は、音声入力の分散処理方法及び音声入力の分散処理システムに関するものである。

音声認識を使用した端末において、イベント実行を実現するためには、あらかじめ決まった内容のキーワードを順序通りに入力する必要があった。例えば音声入力を用いた部材管理用ソフトの場合、以下のような仕組みになっていた。

（１）端末から「区分？」と聞かれたら、ユーザーが「入庫」と答え音声入力する。

（２）すると「入庫」と端末が復唱したのちに「部材？」と次の指示を出すので、ユーザーは「金型１」と答え音声入力する。

（３）端末は「金型１」と復唱すると「数量？」と次の指示を出す。・・・
このように、あらかじめ決まった内容のキーワードを順序通りに入力する必要があった。

シンクライアント端末とサーバー装置とを備えたシンクライアントシステムにおいて、シンクライアント端末において、入力音声の音声認識処理とその処理による音声認識結果の解析処理を行うと、処理能力が追い付かず、処理遅延や誤認識が発生した。

シンクライアント端末は、ＣＰＵ負荷の軽減のためにキーワード等の短い単語の音声入力しか受け付けず、目的の処理を達するまで順番通りに複数回入力処理を実施する必要があり、利便性に欠けるものであった。

特許文献１（特開２００２−０１４６９０号公報）はその要約に、携帯端末からの音声をインターネットサーバーで受信し音声認識することを開示している。

特許文献２（特開２００４−１６０６５３号公報）はその要約に、ホームロボットはユーザの音声命令をＡ／Ｄ変換してホームサーバに転送し、ホームサーバでその音声命令を解析し、それに対する応答を音声として生成してホームロボットに転送することで、ホームロボットはホームサーバから転送された音声をスピーカーを介して再生するホームロボット制御システムを開示している。

特許文献３（特開２００２‐１０１３１５号公報）は、その要約及び図６に音声認識機能を有し、テレビの遠隔操作を行うリモコン手段を開示している。

特許文献４（特開２００５−２４９８２９号公報）は、［００２０］段落に、クライアントで音声認識を行う場合に、「情報検索を行う場合には、「ｘｘ地区の地図情報を取得」と音声入力したとき、“ｘｘ地区＋地図情報”（テキスト形式）を検索キーとしてサーバーに送信し、サーバーは受信した検索キーでｘｘ地区の地図情報を検出してクライアントに送信する」ことを開示している。

特開２００２−０１４６９０号公報 特開２００４−１６０６５３号公報 特開２００２−１０１３１５号公報 特開２００５−２４９８２９号公報

本発明の課題は、端末の負荷の軽減を達成すると共に簡単な処理にて音声認識を達成することができる音声入力分散処理方法及び音声入力分散処理システムを提供することにある。

本発明の第１の態様によれば、
端末とサーバー装置とで音声入力を分散処理する方法であって、
前記端末は、
音声入力の音声認識を行い、テキスト化された音声認識結果を得、
テキスト化された音声認識結果を、該テキスト化された音声認識結果に要求識別子が付与された要求コマンドに変換し、
該要求コマンドを前記サーバー装置に送信し、
前記サーバー装置は、
前記要求コマンドを受信すると、前記テキスト化された音声認識結果の解析を行い、解析結果を得、
解析結果を、該解析結果に通知識別子が付与された通知コマンドに変換し、
該通知コマンドを前記端末に送信することを特徴する音声入力分散処理方法が得られる。

本発明の第２の態様によれば、
端末とサーバー装置とを備え、
前記端末は、
音声入力の音声認識を行い、テキスト化された音声認識結果を得る手段と、
テキスト化された音声認識結果を、該テキスト化された音声認識結果に要求識別子が付与された要求コマンドに変換する手段と、
該要求コマンドを前記サーバー装置に送信する手段とを有し、
前記サーバー装置は、
前記要求コマンドを受信すると、前記テキスト化された音声認識結果の解析を行い、解析結果を得る手段と、
解析結果を、該解析結果に通知識別子が付与された通知コマンドに変換する手段と、
該通知コマンドを前記端末に送信する手段とを有することを特徴する音声入力分散処理システムが得られる。

本発明に従えば、端末の負荷の軽減を達成すると共に簡単な処理にて音声認識を達成することができる。

上記特許文献１（特開２００２−０１４６９０号公報）及び特許文献２（特開２００４‐１６０６５３号公報）は、音声入力の音声認識を端末において行い、音声認識結果の解析をサーバー装置において行うことを開示していない。

上記特許文献３（特開２００２−１０１３１５号公報）は、テレビの遠隔操作を行うリモコン手段を開示しており、音声認識結果の解析を行うサーバー装置を開示していない。

特許文献４（特開２００５−２４９８２９号公報）は、上述のように、「ｘｘ地区の地図情報を取得」と音声入力したとき、クライアントで音声認識結果（テキスト）の内容を解析し、その解析結果“ｘｘ地区＋地図情報”（テキスト形式）を検索キーとしてサーバーに送信しており、本発明における解析をサーバー装置で行う手法とは異なる。

更に、引用文献１、引用文献２、引用文献３、及び引用文献４のいずれも、端末が「テキスト化された音声認識結果を、該テキスト化された音声認識結果に要求識別子が付与された要求コマンドに変換し、該要求コマンドを前記サーバー装置に送信する」こと、及びサーバー装置が「解析結果を、該解析結果に通知識別子が付与された通知コマンドに変換し、該通知コマンドを前記端末に送信する」ことを開示していない。

次に本発明の実施の形態について図面を参照して説明する。

以下に述べる本発明の実施形態では、音声認識はサーバー装置に任さないで、音声認識を端末において行う。端末とサーバー装置間の接続に問題が生じた場合（例えば、端末とサーバー装置間を接続する回線に問題が生じた場合）、端末側で音声認識を行っておけば、テキスト化された音声認識結果を含む要求コマンドを再送することで対応が可能となる。しかし、サーバー装置側で音声認識を行っていると、再度音声の入力が必要となってしまう。

図１を参照すると、本発明の一実施形態による音声入力分散処理システムが示されている。

本実施形態における特徴をまず説明する。

端末１００において、音声入力部１０１は、ユーザーから入力された音声を受け取り、音声認識プログラム部１０２は音声認識を行い、音声認識結果をテキスト化する。

端末制御プログラム部１０３は、テキスト化された音声認識結果を要求コマンド３００へ変換し、ネットワークを介してサーバー装置２００へ送信する。

自然言語解析プログラム部２０１は、送信された要求コマンド３００の内容の解析を行う。

解析結果を通知コマンド４００へ変換し、端末１００へ送信する。

端末制御プログラム部１０３は通知コマンド４００を受け取り、該当のイベントを端末出力部１０５に実行させる。

このように、本実施形態では、話者から入力された音声を端末で認識し、その音声認識結果を要求コマンドに変換してサーバー装置へ通知し、サーバー装置では要求コマンドの自然言語解析を行い、解析結果を通知コマンドに変換して端末へ送信する。

次に本実施形態における構成を詳細に説明する。

図１において、端末１００は、音声入力部１０１、音声認識プログラム部１０２、端末制御プログラム部１０３、音声認識辞書部１０４、端末出力部１０５を有するクライアント端末である。

音声入力部１０１は、話者の発した音声に対してＡ／Ｄ(analog-to-digital)変換を行い、音声認識プログラム部１０２に伝送する機能を有する。

音声認識プログラム部１０２は、音声認識辞書部１０４を参照して、音声入力部１０１から受け取った音声を認識し、認識結果をテキスト化して出力する機能を有する。

音声認識辞書部１０４は、認識結果として出力される単語、及び文章をあらかじめ登録しておく。

端末制御プログラム部１０３は、認識結果を要求コマンド３００へ変換し、サーバー装置２００へ送信する機能を有する。

また、端末制御プログラム部１０３は、通知コマンド４００を受け取り、実行すべきイベント内容を端末出力部１０５へ伝送する機能を有する。

端末出力部１０５は、端末制御プログラム部１０３から受け取ったイベントを実行する機能を有する。

サーバー装置２００は、自然言語解析プログラム部２０１、自然言語解析辞書部２０２を有する装置である。

自然言語解析プログラム部２０１は、自然言語解析辞書部２０２を参照して、端末１００から通知された要求コマンド３００を解析し、通知コマンド４００へ変換する機能を有する。

自然言語解析辞書部２０２は、要求コマンド３００に含まれる文字列データ又は単語データの解析結果に対応する応答データをあらかじめ登録しておく。

要求コマンド３００は、ネットワークを介して端末１００からサーバー装置２００に伝送される。

通知コマンド４００は、ネットワークを介してサーバー装置２００から端末１００に伝送される。

次に、本実施形態の動作について詳細に説明する。

図１に加えて図２をも参照して、端末１００において、音声入力部１０１は、話者からの音声の入力を受けると、音声のＡ／Ｄ変換を行い、音声認識プログラム部１０２へ伝送する。

音声認識プログラム部１０２は、入力された音声が音声認識辞書部１０４に登録されている単語及び文章のうち、どれに最もマッチするか解析を行い、認識結果をテキスト化して端末制御プログラム部１０３へ伝送する。

また、音声認識プログラム部１０２から端末制御プログラム部１０３へ音声認識結果通知が送信される。

端末制御プログラム部１０３は、受信した音声認識結果を要求コマンド３００へ変換する。

図３に示すように、要求コマンド３００は、要求コマンドであることを示す要求識別子３１０と文字列３２０とから形成される。文字列３２０はテキスト化された音声認識結果を表す。なお、図３及び以降の同様な図において、データ長などの情報要素の記述は省略した。

図１及び図２において、端末制御プログラム部１０３は、ネットワークを介して要求コマンド３００をサーバー装置２００の自然言語解析プログラム部２０１へ伝送する。

また、端末制御プログラム部１０３から自然言語解析プログラム部２０１へ音声認識結果解析要求が送信され、端末制御プログラム部１０３ではタイマーが設定される。

自然言語解析プログラム部２０１は要求コマンド３００を受信すると、端末制御プログラム部１０３へ承認応答を送信し、端末制御プログラム部１０３は承認応答を受信すると、タイマーを解除する。

自然言語解析プログラム部２０１では、要求コマンド３００から自然言語解析辞書部２０２を参照して解析を行い、解析結果を通知コマンド４００へ変換する。

図４に示すように、通知コマンド４００は、通知コマンドであることを示す通知識別子４１０と解析結果を含む通知４２０とから形成される。通知識別子４１０は、どの要求コマンド３００に対する応答なのか判別できる値を割り振り、通知４２０は、図５に示すような構成になっており、通知種別と解析結果を表す通知内容とから構成される。

図６に示すように、通知種別は、あらかじめ状態遷移、Ｉ／Ｏ制御、情報提供、例外発生等にグループ分けされており、解析結果から対応する通知種別を判定する。

図１及び図２において、自然言語解析プログラム部２０１は、ネットワークを介して通知コマンド４００を端末１００の端末制御プログラム部１０３へ伝送する。

また、自然言語解析プログラム部２０１から端末制御プログラム部１０３へ音声認識結果解析結果通知が送信される。

端末制御プログラム部１０３は通知コマンド４００の通知内容を端末出力部１０５に伝送し、端末出力部１０５にイベントを実行させる。

次に、本実施形態の効果について詳細に説明する。

本実施形態によれば、処理能力に制限のある端末において、端末に音声認識機能を実装し、音声認識結果の解析をサーバー装置で行うことにより、端末の負荷の軽減、処理遅延や誤認識の抑制を実現することが出来る。また、自然言語のような複雑な内容の入力に対し、自然言語解析を施すことで、高度な制御が可能になる。

例えば、端末を座席に設置したセルフオーダー端末として用いた場合、お客様の音声入力によりメニューの検索、追加注文、途中会計等の様々な操作がスムーズになる。

他の例としては、端末を物流センターにおける業務端末として用いた場合、入荷予定、出荷予定の確認、プリンタへのラベル印刷の指示まで音声による操作が可能となり、作業効率が向上する。

さらに、端末をガソリンスタンドのセルフＰＯＳ(Point Of Sales)端末として用いた場合、複雑な音声入力（操作や質問など）の内容を解析し、ユーザーにわかりやすいサービスを提供することができる。

ここで、実際の話者の端末への音声入力の具体例とその場合にサーバー装置から送信される通知コマンド４００（の通知種別及び通知内容）の具体例を説明する。

例えば、話者が「ご飯食べる部屋を明るくして！」という音声を入力した場合、通知種別はＩ／Ｏ制御になり、通知内容には「“ご飯食べる部屋”＝“ダイニング”の照明をＯＮにする」という内容となる。即ち、通知種別がＩ／Ｏ制御であり、通知内容が「“ご飯食べる部屋”＝“ダイニング”の照明をＯＮにする」である通知コマンド４００が得られる。

次に上記実施形態の変形例１〜７を説明する。

変形例１
図１において、端末１００は、要求コマンド３００において、音声認識結果を表す文字列を単語に分割し、単語の数と単語とをサーバー装置２００へ送信する。

図７に示すように、要求コマンド３００は、要求識別子３１０、単語数３１１、単語３２１〜３２Ｎとで構成される。このように、要求コマンド３００は、文字列を構成する単語の数３１１と単語３２１〜３２Ｎとを、文字列として有する。

例えば、話者が「ご飯食べる部屋を明るくして！」という音声を入力した場合、要求識別子３１０には「１」、単語数３１１には「３」、単語３２１には「ご飯食べる部屋」、単語３２２には「明るく」、単語３２３には「して」が登録された要求コマンド３００に変換される。

変形例２
図１において、サーバー装置２００は、通知コマンド４００において、解析結果に複数の通知が含まれていた場合、複数の通知を１つの通知コマンド４００にまとめて端末へ送信する。

図８に示すように通知コマンド４００は、通知識別子４１０、通知数４１１、通知４２１〜４２Ｎとで構成される。このように、通知コマンド４００は、解析結果を構成する複数の通知の数４１１と複数の通知４２１〜４２Ｎとを有する。

通知４２１〜４２Ｎは、図５の通知４２０中の通知種別及び通知内容及び図６の通知種別と及び通知内容と同様の構成となっている。

例えば、話者が「ご飯食べる部屋を明るくして、暖房もつけて！」という音声を入力した場合、通知数４１１には「２」、通知４２１には「ご飯食べる部屋を明るくする。」、通知４２１には「ご飯食べる部屋の暖房をつける。」という内容の通知内容が登録された通知コマンド４００に変換される。

変形例３
図１において、端末１００とサーバー装置２００との間のネットワークの瞬断が発生した場合、図９に示すように端末で対応する。

図９は、本例の動作をシーケンス図で表したものであり、これを参照して本例の動作について詳細に説明する。

端末制御プログラム部１０３が要求コマンド３００及び音声認識結果解析要求を送信すると、タイマーが設定される。

要求コマンド３００を送信中に端末１００とサーバー装置２００間のネットワークの瞬断が発生した場合、自然言語解析プログラム部２０１から承認応答が返ってこないため、一定時間が経過するとタイマーがタイムアウトとなる。

すると端末制御プログラム部１０３はネットワークのエラーが発生したと判断して端末１００のディスプレイへ通信エラーを表示し、音声認識プログラム部１０２へ音声認識処理中断通知を送信する。

音声認識プログラム部１０２は音声認識処理中断通知を受信すると、音声入力部１０１から音声が入力されたとしても音声認識処理を実施しない。これにより、端末１００のＣＰＵ負荷の軽減を可能とする。

また、端末制御プログラム部１０３は要求コマンド３００の再送信を行い、タイマーが設定される。

自然言語解析プログラム部２０１から承認応答が返ってきた場合、タイマーを解除し、ネットワークが復旧したと判断して端末１００のディスプレイへ表示されている通信エラーを解除し、音声認識プログラム部１０２へ音声認識処理再開通知を送信する。

音声認識プログラム部１０２は音声認識処理再開通知を受信すると、音声入力部１０１から入力された音声の音声認識処理を再開する。

変形例４
図１において、自然言語解析辞書部２０２更新時に、自動的に音声認識辞書部１０４が更新される。

図１０を参照して本例の動作について詳細に説明する。

サーバー装置２００の自然言語解析辞書部２０２が更新されると、自然言語解析プログラム部２０１で自然言語解析辞書部２０２の更新に伴う音声認識辞書部１０４の修正、及び更新部分を抽出し、差分ファイル２０４を作成する。

差分ファイル２０４は、自然言語解析プログラム部２０１から端末１００の端末制御プログラム部１０３に送信される。

端末制御プログラム部１０３は差分ファイル２０４を使って、音声認識辞書部１０４を更新する。

変形例５
図１１を参照して変形例５を説明する。

図１１において、解析結果に含まれる通知コマンドの送信先が要求コマンドを送信した端末と異なっていた場合、解析結果に含まれる送信先である別の端末に通知コマンドを送信する。

同一ネットワーク上に端末Ａ１００と端末Ｂ５００が接続されていて、例えば、飲食店の店員が使うオーダー端末Ａ１００に話者が「ご注文を繰り返します。ハンバーグセットとアイスコーヒーでよろしいですね？」と音声入力すると、キッチンプリンタ（端末Ｂ５００）へ通知コマンド４００が送信され、注文内容をプリントすることができる。

図１２は、本例の動作をシーケンス図で表したものであり、図１１及び図１２を参照して本例の動作について詳細に説明する。

端末Ａ１００から送信された要求コマンド３００の解析結果に、通知コマンド４００の送信先を示す内容が含まれていた場合、サーバー装置２００にて通知コマンド送信先判断を行い、解析結果に含まれる送信先である端末Ｂ５００に通知コマンド４００を送信する。

また、サーバー装置２００は、要求コマンド３００の送信元である端末Ａ１００に通知コマンド送信先通知を送信する。

端末Ｂ５００は、端末制御プログラム部５０３及び端末出力部５０５を有する装置でよい。

例えば、飲食店の店員が使うオーダー端末（端末Ａ１００）において、音声による複雑な音声入力（オーダー、取り消し、変更等）によりキッチンプリンタ（端末Ｂ１００）への出力を制御することができる。

変形例６
図１３を参照して変形例６を説明する。

図１３に示すように端末Ａ１００、端末Ｂ５００共に同様の構成とし、相互に他方の端末を制御できる。

話者Ａ保有の端末Ａ１００から話者Ｂ保有の端末Ｂ５００を制御する場合、端末Ａ１００からサーバー装置２００へ要求コマンド３００を送信する。

要求コマンド３００を解析後、サーバー装置２００から端末Ｂ５００へ通知コマンド４００を送信する。

同様に、話者Ｂ保有の端末Ｂ５００から話者Ａ保有の端末Ａ１００を制御する場合、端末Ｂ５００からサーバー装置２００へ要求コマンド３００´を送信する。

要求コマンド３００´を解析後、サーバー装置２００から端末Ａ１００へ通知コマンド４００´を送信する。

本例を応用することで、複数の端末の制御が可能となる。

例えば、通信型ゲーム端末Ａ（端末Ａ１００）において、ゲーム開始前の設定を複雑な内容の音声入力で行い、同様の設定を通信型ゲーム端末Ｂ（端末Ｂ５００）に適応することが可能となる。

変形例７
上記変形例６において、３つ以上の端末で相互に他の端末を制御してもよい。

例えば、複数の警備員やスタッフ等が広範囲を管理しなければならないイベント会場等で、緊急の連絡事項や情報提供等を端末のディスプレイへの表示をどの端末からでも操作することが可能となる。

更に、操作対象は全ての端末、又はある一定の権限を保有する端末等、様々なシーケンスに合わせて操作することが可能となる。

また、警備員の巡視業務端末で全ての防災・防犯装置を音声で確認、および制御することが可能となる。

以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態及び実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

本発明の一実施形態による音声入力分散処理システムを示す図である。 図１に示した音声入力分散処理システムの動作を説明するためのシーケンス図である。 図１に示した音声入力分散処理システムにおいて用いられる要求コマンド３００を示す図である。 図１に示した音声入力分散処理システムにおいて用いられる通知コマンド４００を示す図である。 図４に示した通知コマンド４００中の通知４２０を示す図である。 図５に示した通知４２０中の通知種別を説明するための図である。 上記実施形態の変形例１を説明するための図であり、変形例１において使用される要求コマンド３００を示す図である。 上記実施形態の変形例２を説明するための図であり、変形例２において使用される通知コマンド４００を示す図である。 上記実施形態の変形例３を説明するための図であり、変形例３の動作を説明するためのシーケンス図である。 上記実施形態の変形例４を説明するための図１と同様な図である。 上記実施形態の変形例５を説明するための図１と同様な図である。 上記変形例５の動作を説明するためのシーケンス図である。 上記変形例６を説明するための図１と同様な図である。

符号の説明

１００ 端末
１０１ 音声入力部
１０２ 音声認識プログラム部
１０３ 端末制御プログラム部
１０４ 音声認識辞書部
１０５ 端末出力部
２００ サーバー装置
２０１ 自然言語解析プログラム部
２０２ 自然言語解析辞書部
３００ 要求コマンド
４００ 通知コマンド

Claims (8)

1. 端末とサーバー装置とで音声入力を分散処理する方法であって、
   前記端末は、
   音声入力の音声認識を行い、テキスト化された音声認識結果を得、
   テキスト化された音声認識結果を、該テキスト化された音声認識結果に要求識別子が付与された要求コマンドに変換し、
   該要求コマンドを前記サーバー装置に送信し、
   前記サーバー装置は、
   前記要求コマンドを受信すると、前記テキスト化された音声認識結果の解析を行い、解析結果を得、
   解析結果を、該解析結果に通知識別子が付与された通知コマンドに変換し、
   該通知コマンドを前記端末に送信するものであり、
   前記要求コマンドは、該要求コマンドであることを示す要求識別子と、前記テキスト化された音声認識結果を表す文字列とを有するものであり、
   前記通知コマンドは、該通知コマンドであることを示しどの要求コマンドに対する応答であるかを示す通知識別子と、前記解析結果を含む通知とを有するものであり、
   前記通知は、前記解析結果を表す通知内容と該通知内容の種別を表す通知種別とを有するものであることを特徴する音声入力分散処理方法。
2. 前記要求コマンドは、前記文字列を構成する単語の数と単語とを、前記文字列として有するものであることを特徴する請求項１に記載の音声入力分散処理方法。
3. 前記通知コマンドは、該通知コマンドであることを示しどの要求コマンドに対する応答であるかを示す通知識別子と、前記解析結果を構成する複数の通知の数と複数の通知とを有するものであることを特徴する請求項１に記載の音声入力分散処理方法。
4. 前記サーバー装置は、
   前記解析結果に含まれる通知コマンド送信先が前記端末とは異なる別の端末である場合、前記解析結果に含まれる送信先である別の端末に前記通知コマンドを送信することを特徴とする請求項１に記載の音声入力分散処理方法。
5. 端末とサーバー装置とを備え、
   前記端末は、
   音声入力の音声認識を行い、テキスト化された音声認識結果を得る手段と、
   テキスト化された音声認識結果を、該テキスト化された音声認識結果に要求識別子が付与された要求コマンドに変換する手段と、
   該要求コマンドを前記サーバー装置に送信する手段とを有し、
   前記サーバー装置は、
   前記要求コマンドを受信すると、前記テキスト化された音声認識結果の解析を行い、解析結果を得る手段と、
   解析結果を、該解析結果に通知識別子が付与された通知コマンドに変換する手段と、
   該通知コマンドを前記端末に送信する手段とを有し、
   前記要求コマンドは、該要求コマンドであることを示す要求識別子と、前記テキスト化された音声認識結果を表す文字列とを有するものであり、
   前記通知コマンドは、該通知コマンドであることを示しどの要求コマンドに対する応答であるかを示す通知識別子と、前記解析結果を含む通知とを有するものであり、
   前記通知は、前記解析結果を表す通知内容と該通知内容の種別を表す通知種別とを有するものであることを特徴する音声入力分散処理システム。
6. 前記要求コマンドは、前記文字列を構成する単語の数と単語とを、前記文字列として有するものであることを特徴する請求項５に記載の音声入力分散処理システム。
7. 前記通知コマンドは、該通知コマンドであることを示しどの要求コマンドに対する応答であるかを示す通知識別子と、前記解析結果を構成する複数の通知の数と複数の通知とを有するものであることを特徴する請求項５に記載の音声入力分散処理システム。
8. 前記サーバー装置は、
   前記解析結果に含まれる通知コマンド送信先が前記端末とは異なる別の端末である場合、前記解析結果に含まれる送信先である別の端末に前記通知コマンドを送信することを特徴とする請求項５に記載の音声入力分散処理システム。

Images