JP6669162B2 - 情報処理装置、制御方法、およびプログラム - Google Patents

Description

本開示は、情報処理装置、制御方法、およびプログラムに関する。

従来から、ユーザの発話に対して音声認識・意味解析を行い、音声により応答する技術の開発が行われている。特に昨今の音声認識アルゴリズムの進歩とコンピュータ技術の発展により、音声認識処理を実用的な時間で行うことが可能となり、音声を用いたＵＩ（ユーザインタフェース）がスマートフォンやタブレット端末等において普及してきている。

例えばスマートフォンやタブレット端末等に搭載された音声ＵＩのアプリケーションでは、ユーザの音声による質問に対して音声で応答したり、ユーザの音声による指示に対して対応する処理を実行したりすることが可能となる。

例えば下記特許文献１では、単一ユーザとの音声対話において、システム側の応答の途中（すなわち音声出力中）にユーザが発話割込みを行った場合に、システム側で応答内容の重要度を考慮して応答の継続または一時停止を行う音声対話制御方法が開示されている。

また、下記特許文献２では、複数人のユーザが音声対話を行っている際に、現在誰の声が出力されているかをユーザが認識しやすい音声対話装置が開示されている。

特開２００４−３２５８４８号公報 特開２００９−２６１０１０号公報

しかしながら、音声ＵＩは音声出力により応答を行うという特性上、システムとユーザの１対１による利用が想定され、複数ユーザが利用する環境下での対話は考慮されていなかった。したがって、例えば家庭や公共スペースでの利用を想定する場合、１人のユーザがシステムを占有してしまう状況が発生しやすい。

また、上記特許文献１に記載の技術は、単一ユーザとの音声対話における応答システムであって、複数ユーザへの同時応答は困難であった。また、上記特許文献２に記載の技術は、複数ユーザによるシステム利用に関するものであるが、ユーザの発話に対して自動的に音声で応答する音声ＵＩにおける複数ユーザの利用は想定されていない。

そこで、本開示では、複数ユーザ発話時に各ユーザに適切な応答出力を行うことで音声認識システムの利便性を向上することが可能な情報処理装置、制御方法、およびプログラムを提案する。

本開示によれば、複数ユーザからの発話に対して応答を生成する応答生成部と、前記複数ユーザの発話順に応じた優先度に基づいて各ユーザへの応答出力方法を決定する決定部と、前記決定された応答出力方法で前記生成された応答を出力するよう制御する出力制御部と、を備える、情報処理装置を提案する。

本開示によれば、複数ユーザからの発話に対して応答を生成することと、前記複数ユーザの発話順に応じた優先度に基づいて各ユーザへの応答出力方法を決定することと、前記決定された応答出力方法で前記生成された応答を出力するよう出力制御部により制御することと、を含む制御方法を提案する。

本開示によれば、コンピュータを、複数ユーザからの発話に対して応答を生成する応答生成部と、前記複数ユーザの発話順に応じた優先度に基づいて各ユーザへの応答出力方法を決定する決定部と、前記決定された応答出力方法で前記生成された応答を出力するよう制御する出力制御部と、として機能させるためのプログラムを提案する。

以上説明したように本開示によれば、複数ユーザ発話時に各ユーザに適切な応答出力を行うことで音声認識システムの利便性を向上することが可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態による音声認識システムの概要を説明するための図である。 本実施形態による情報処理装置の構成の一例を示す図である。 本実施形態による音声認識システムの動作処理を示すフローチャートである。 本実施形態の複数人同時発話に対する音声および表示による応答出力例について説明する図である。 本実施形態によるサブディスプレイを用いた待機ユーザの通知について説明する図である。 本実施形態によるサブディスプレイを用いた待機ユーザの通知について説明する図である。 非ターゲットユーザへの応答をアイコンで示して表示領域を節約する例について説明する図である。 本実施形態による指向性を用いた音声による同時応答について説明する図である。 本実施形態によるエラー表示の一例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による音声認識システムの概要
２．構成
３．動作処理
４．応答出力例
４−１．音声および表示による応答
４−２．指向性を用いた同時応答
４−３．外部装置との連携による応答
４−４．発話者の状態に応じた応答
４−５．発話内容に応じた応答
４−６．エラー応答
５．まとめ

＜＜１．本開示の一実施形態による音声認識システムの概要＞＞
本開示の一実施形態による音声認識システムは、ユーザの発話に対して音声認識・意味解析を行い、音声により応答を行う基本機能を有する。以下、図１を参照して本開示の一実施形態による音声認識システムの概要について説明する。

図１は、本開示の一実施形態による音声認識システムの概要を説明するための図である。図１に示す情報処理装置１は、ユーザの発話に対して音声認識・意味解析を行い、ユーザへの応答を音声により出力することが可能な音声ＵＩエージェント機能を有する。情報処理装置１の外観は特に限定しないが、例えば図１に示すような円柱形状であってもよく、部屋の床やテーブルの上等に設置される。また、情報処理装置１には、ＬＥＤ（Light Emitting Diode）等の発光素子により形成された発光部１８が側面の水平方向中央領域を囲むよう帯状に設けられている。情報処理装置１は、発光部１８の全体を光らせたり、一部を光らせたりすることで、ユーザに対して情報処理装置１の状態を知らせることが可能である。例えば情報処理装置１は、ユーザと対話している際は発光部１８においてユーザの方向すなわち発話者方向を一部光らせることで、図１に示すようにユーザに視線を向けているように見せることができる。また、情報処理装置１は、応答生成中やデータ検索中は発光部１８で光が側面上を回っているように制御することで、処理中であることをユーザに知らせることができる。

ここで、従来、音声ＵＩは音声出力により応答を行うという特性上、システムとユーザの１対１による利用が想定され、複数ユーザが利用する環境下での対話は考慮されていなかった。したがって、例えば家庭や公共スペースでの利用を想定する場合、１人のユーザがシステムを占有してしまう状況が発生しやすい。

そこで、本開示による一実施形態による音声認識システムでは、複数ユーザ発話時に各ユーザに適切な応答出力を行うことで音声認識システムの利便性を向上することを可能とする。

具体的には、情報処理装置１は、例えば図１に示すように壁２０に画像を投影して表示する機能を有し、音声による応答出力の他、表示による応答出力が可能である。これにより、情報処理装置１は、音声による応答出力中に他のユーザから発話があった際に、「ちょっと待ってね」等の待機を促す画像を表示出力することで、応答出力中における他のユーザからの発話を無視したり応答を中断したりすることなく、柔軟に対応することができる。

具体的には、例えば図１に示すように、ユーザＡＡからの発話３０「明日は晴れるかな？」に対し、情報処理装置１は、応答３１「明日は晴れるようですよ」を音声出力すると共に、晴れマークの応答画像２１ｂを壁２０に表示する。ここで、応答３１の音声出力の途中でユーザＢＢからの発話３２「コンサートいつだっけ？」が認識されると、情報処理装置１は、ユーザＢＢに順番待ちを促す応答画像２１ａ「ちょっと待ってね」を表示出力する。また、この際、情報処理装置１は、認識したユーザＢＢの発話内容をテキスト化した発話内容画像２１ｃ「コンサートいつだっけ？」を壁２０に投影してもよい。これによりユーザＢＢは、自身の発話が情報処理装置１に正しく認識されたことを把握することができる。

そして、情報処理装置１は、ユーザＡＡへの音声による応答出力が終了した後、待機させていたユーザＢＢに対して音声による応答出力を行う。このように、本実施形態による音声認識システムでは、例えば発話順に応じて音声応答出力の占有を遷移させることで、複数ユーザによるシステムの同時利用を実現することができる。

以上、本開示による音声認識システムの概要について説明した。なお情報処理装置１の形状は図１に示す円柱形状に限定されず、例えば立方体、球体、多面体等であってもよい。続いて、本開示の一実施形態による音声認識システムを実現する情報処理装置１の基本構成および動作処理について順次説明する。

＜＜２．基本構成＞＞
図２は、本実施形態による情報処理装置１の構成の一例を示す図である。図２に示すように、情報処理装置１は、制御部１０、通信部１１、マイクロホン１２、スピーカ１３、カメラ１４、測距センサ１５、投影部１６、記憶部１７、および発光部１８を有する。

（制御部１０）
制御部１０は、情報処理装置１の各構成を制御する。制御部１０は、ＣＰＵ（Central
Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、および不揮発性メモリを備えたマイクロコンピュータにより実現される。また、本実施形態による制御部１０は、図２に示すように、音声認識部１０ａ、意味解析部１０ｂ、応答生成部１０ｃ、ターゲット決定部１０ｄ、応答出力方法決定部１０ｅ、および出力制御部１０ｆとしても機能する。

音声認識部１０ａは、情報処理装置１のマイクロホン１２により収音されたユーザの音声を認識し、文字列への変換を行い、発話テキストを取得する。また、音声認識部１０ａは、音声の特徴に基づいて声を出している人を識別したり、音声の発生源すなわち発話者の方向を推定したりすることも可能である。

意味解析部１０ｂは、音声認識部１０ａにより取得された発話テキストに対して自然言語処理等を用いて意味解析を行う。意味解析の結果は、応答生成部１０ｃに出力される。

応答生成部１０ｃは、意味解析結果に基づいて、ユーザの発話に対する応答を生成する。例えば応答生成部１０ｃは、ユーザの発話が「明日の天気」を求めるものである場合、ネットワーク上の天気予報サーバから「明日の天気」に関する情報を取得し、応答を生成する。

ターゲット決定部１０ｄは、音声認識部１０ａにより複数ユーザからの発話が認識された場合、所定の条件に基づいて各ユーザの優先度を決定し、最も優先度が高い１のユーザをターゲットユーザ、他の１以上のユーザを非ターゲットユーザに決定する。複数ユーザからの発話を認識した場合とは、第１のユーザの発話途中に第２のユーザの発話が認識された場合、または第１のユーザの発話に対する音声応答出力中に第２のユーザの発話が認識された場合を想定する。また、所定の条件に基づく各ユーザの優先度は、例えば発話順に基づく優先度であってもよい。具体的には、ターゲット決定部１０ｄは、対話中の第１のユーザと異なる第２のユーザからの発話を認識した場合、先に対話を開始した第１のユーザの優先度を、次に対話を開始した第２のユーザの優先度よりも高くする。

また、ターゲット決定部１０ｄは、明示的な割込み処理があった場合、優先度を再決定して、割り込んだ非ターゲットユーザをターゲットユーザに変更してもよい。明示的な割込み処理は、例えば音声による所定のコマンド発話、ジェスチャーによる所定の動作、センシングデータに基づく所定のユーザ状況等が想定される。かかる割込み処理の詳細については後述する。

応答出力方法決定部１０ｅは、複数ユーザの優先度に基づいて各ユーザへの応答出力方法を決定する。例えば応答出力方法決定部１０ｅは、ターゲット決定部１０ｄによりターゲットユーザに決定されたか否かに応じて、音声応答出力／表示応答出力を決定する。具体的には、応答出力方法決定部１０ｅは、例えばターゲットユーザには音声応答出力を占有させ、非ターゲットユーザには表示応答出力を割り当てるよう、ターゲットユーザと非ターゲットユーザに異なる応答出力方法を割り当てる。また、応答出力方法決定部１０ｅは、ターゲットユーザに表示による応答出力が割り当てられている場合でも、表示領域の一部を非ターゲットユーザに割り当てることが可能である。

出力制御部１０ｆは、応答出力方法決定部１０ｅで決定された応答出力方法に従って、応答生成部１０ｃにより生成された応答を出力するよう制御する。本実施形態による具体的な応答出力例については後述する。

（通信部１１）
通信部１１は、外部装置とデータの送受信を行う。例えば通信部１１は、ネットワーク上の所定サーバと接続し、応答生成部１０ｃによる応答生成に必要な情報を受信する。また、通信部１１は、周辺の機器と連携し、出力制御部１０ｆの制御に従って対象機器に応答データを送信する。

（マイクロホン１２）
マイクロホン１２は、周辺の音声を収音し、音声信号として制御部１０に出力する機能を有する。また、マイクロホン１２は、アレイマイクロホンにより実現されていてもよい。

（スピーカ１３）
スピーカ１３は、出力制御部１０ｆの制御に従って音声信号を音声に変換して出力する機能を有する。

（カメラ１４）
カメラ１４は、情報処理装置１に設けられた撮像レンズにより周辺を撮像し、撮像画像を制御部１０に出力する機能を有する。また、カメラ１４は、３６０度カメラまたは広角カメラ等により実現されてもよい。

（測距センサ１５）
測距センサ１５は、情報処理装置１とユーザやユーザの周辺に居る人物との距離を測定する機能を有する。測距センサ１５は、例えば光センサ（発光・受光タイミングの位相差情報に基づいて対象物までの距離を測定するセンサ）により実現される。

（投影部１６）
投影部１６は、表示装置の一例であって、壁やスクリーンに画像を（拡大して）投影することで表示する機能を有する。

（記憶部１７）
記憶部１７は、情報処理装置１の各構成が機能するためのプログラムを格納する。また、記憶部１７は、ターゲット決定部１０ｄが複数ユーザの優先度を算出する際に用いる各種パラメータや、応答出力方法決定部１０ｅが優先度（または優先度に基づいて決定されたターゲット／非ターゲット）に応じて出力方法を決定する際に用いる各種アルゴリズムを格納する。また、記憶部１７は、ユーザの登録情報を格納する。ユーザの登録情報には、個人識別用情報（音声の特徴量、顔画像、人画像（身体画像を含む）の特徴量、氏名、識別番号等）、年齢、性別、趣味・嗜好、属性（主婦、会社員、学生等）、およびユーザが所有する通信端末に関する情報等が含まれる。

（発光部１８）
発光部１８は、ＬＥＤ等の発光素子により実現され、全灯、一部点灯、点滅、または点灯位置の制御等が可能である。例えば発光部１８は、制御部１０の制御にしたがって音声認識部１０ａにより認識された発話者の方向を一部点灯することで、発話者の方向に視線を向けているように見せることができる。

以上、本実施形態による情報処理装置１の構成について具体的に説明した。なお、図２に示す構成は一例であって、本実施形態はこれに限定されない。例えば、情報処理装置１は、周辺環境に関する情報を取得するために、ＩＲ（infrared：赤外線）カメラ、深度カメラ、ステレオカメラ、または人感センサ等をさらに備えていてもよい。また、情報処理装置１に設けられるマイクロホン１２、スピーカ１３、カメラ１４、および発光部１８等の設置位置は特に限定しない。また、本実施形態による制御部１０の各機能は、通信部１１を介して接続されるクラウド上にあってもよい。

＜＜３．動作処理＞＞
次に、本実施形態による音声認識システムの動作処理について図３を参照して具体的に説明する。

図３は、本実施形態による音声認識システムの動作処理を示すフローチャートである。図３に示すように、まずステップＳ１０３において、情報処理装置１の制御部１０は、ユーザからの発話があるか否かを判断する。具体的には、制御部１０は、マイクロホン１２で収音した音声信号に対して音声認識部１０ａによる音声認識、および意味解析部１０ｂによる意味解析を行い、システムに対するユーザの発話であるか否かを判断する。

次いで、ステップＳ１０６において、制御部１０は、複数ユーザの発話があるか否かを判断する。具体的には、制御部１０は、音声認識部１０ａによるユーザ（発話者）識別に基づいて、２以上のユーザからの発話があるか否かを判断することが可能である。

次に、複数ユーザの発話でない場合（すなわち単数ユーザの発話である場合）（Ｓ１０６／Ｎｏ）、制御部１０の応答出力方法決定部１０ｅは、音声応答出力方法に決定し（Ｓ１１２）、出力制御部１０ｆは、応答生成部１０ｃにより生成された応答を音声出力する（Ｓ１１５）。

一方、複数ユーザの発話があった場合（Ｓ１０６／Ｙｅｓ）、ステップＳ１０９において、制御部１０のターゲット決定部１０ｄは、各ユーザの優先度に基づいてターゲットユーザおよび非ターゲットユーザを決定する。例えばターゲット決定部１０ｄは、先に発話を行った第１のユーザの優先度を高くしてターゲットユーザに決定し、後から発話を行った第２のユーザの優先度は第１のユーザの優先度よりも低くして非ターゲットユーザに決定する。

次いで、ステップＳ１１２において、応答出力方法決定部１０ｅは、ターゲット決定部１０ｄにより決定されたターゲット／非ターゲットに応じて、応答出力方法を決定する。例えば、ターゲットユーザは音声による応答出力方法に決定し（すなわちターゲットユーザに音声応答出力方法を占有させる）、非ターゲットユーザは表示による応答出力方法に決定する。

続いて、ステップＳ１１５において、出力制御部１０ｆは、応答生成部１０ｃが意味解析部１０ｂによる発話の意味解析結果に対して生成した各ユーザの発話に対する応答を、応答出力方法決定部１０ｅにより決定された出力方法でそれぞれ出力するよう制御する。これにより、例えば第１のユーザの発話に対する応答を音声出力している途中で第２のユーザの発話があった場合、第１のユーザはターゲットユーザに決定され音声出力方法を占有できるため、出力制御部１０ｆは当該応答を中断せずに継続することができる。また、途中で発話を行った第２のユーザは非ターゲットユーザに決定されて表示出力方法が割り当てられるため、出力制御部１０ｆは、第１のユーザへの音声応答出力に並行して、第２のユーザに対して表示応答出力を行うことができる。具体的には、出力制御部１０ｆは、第２のユーザに対しては応答の順番を待つよう指示する旨を表示応答出力し、第１のユーザへの音声応答終了後に、第２のユーザへの音声応答出力を行う。第１のユーザへの音声応答が終了した場合、第２のユーザの優先度が上がり、ターゲットユーザに変更されて音声応答出力が占有できるためである。若しくは、第１のユーザへの音声応答が終了した時点で待ちユーザが一人の場合、一対一のシステム利用となるため、応答出力方法決定部１０ｅは単数のユーザに音声応答出力を占有させるよう制御する。

このように、本実施形態による音声ＵＩシステムでは、複数ユーザの発話に対して柔軟に対応し、音声ＵＩシステムの利便性を向上させることができる。なお本実施形態による複数ユーザに対する具体的な応答出力例については後述する。

最後に、ステップＳ１１８において、応答中に明示的な割込み処理があった場合（Ｓ１１８／Ｙｅｓ）、制御部１０は、ターゲット決定部１０ｄにより複数ユーザのターゲット・非ターゲットを変更する（Ｓ１０９）。具体的には、ターゲット決定部１０ｄは、割込みユーザの優先度を現在のターゲットユーザよりも上げて、割込みユーザをターゲットユーザに決定し、現在のターゲットユーザを非ターゲットユーザに変更する。そして、制御部１０は、当該変更に応じて再度決定された応答出力方法に切り替えて応答する制御を行う（Ｓ１１２、Ｓ１１５）。明示的な割込み処理とは、例えば次に説明するような音声、ジェスチャー等による処理が挙げられる。

例えば音声での割り込み処理では、「ＳＳ（システム名）、天気教えて」というようにシステム名を発話した場合、「割込み、天気教えて」というように割込み用の所定コマンドを発話した場合、または「天気教えて、急いで！」というようにユーザが急いでいることや重要な用件であることを示す用語を発話した場合、割込みユーザの優先度が上げられる。また、そのユーザの普段の声（または一般的な声の大きさ）よりも大きな声で発話したり、早口で発話したりした場合にも、明示的な割込み処理と判断され、割込みユーザの優先度が上げられるようにしてもよい。

また、ジェスチャーでの割込み処理として、例えば手を上げる等の所定の動作と共に発話を行った場合に割込みユーザの優先度が上げられるようにしてもよい。

また、リモートコントローラやＨＷ（ハードウェア）ボタンを用いた割込み処理として、情報処理装置１を操作するリモートコントローラや情報処理装置１に設けられた物理的なボタン等に割込み処理機能が付与されていてもよい。

また、環境センシングの内容に応じた割込み処理として、例えばカメラ１４や測距センサ１５等により検知された内容に基づいて、明示的な割込み処理が判断されてもよい。一例としては、ユーザが急いでいる様子（急いで情報処理装置１に近付いてきた等）がセンシングされた場合や、ユーザが現在のターゲットユーザよりも情報処理装置１に近付いて発話した場合等に、明示的な割込み処理と判断され、優先度が上げられる。また、対象ユーザのスケジュール情報を所定のサーバ等から取得し、割込みユーザにこの後すぐに予定がある場合、明示的な割込み処理と判断し、優先度が上げられるようにしてもよい。

以上、明示的な割込み処理について説明したが、本実施形態は上述した割込み処理の他、対象ユーザの属性に応じた割込み処理を行うことも可能である。すなわち、情報処理装置１が発話者を識別できる場合、ユーザ毎に静的または動的な優先度が割り当てる。具体的には、例えばユーザＡＡが「息子」であって、ユーザＢＢが「母親」と登録され、「母親」の優先度を「息子」よりも高くすると設定されている場合、ユーザＡＡとの対話中にユーザＢＢが発話して割り込んだ際、ユーザＢＢの優先度をユーザＡＡよりも上げるよう制御される。これによりユーザＡＡへの応答は音声出力から表示出力に切り替わる。

＜＜４．応答出力例＞＞
続いて、本実施形態による複数ユーザに対する応答出力の一例について、図４〜図８を参照して具体的に説明する。

＜４−１．音声および表示による応答＞
図４は、本実施形態の複数人同時発話に対する音声および表示による応答出力例について説明する図である。図４左に示すように、情報処理装置１は、ユーザＡＡからの発話３０に対して応答３１を音声出力している際に、ユーザＢＢからの発話３２を認識した場合、先に対話を開始したユーザＡＡをターゲットユーザに決定し、応答３１の音声出力を継続する。一方、情報処理装置１は、後から発話したユーザＢＢを非ターゲットユーザに決定し、ユーザＢＢに対しては待機を促す応答画像２１ａを表示出力する。

そして、ユーザＡＡへの音声応答出力が終了した後、図４右に示すように、情報処理装置１は、待機させていたユーザＢＢに対して音声による応答３３「お待たせしました。来週の金曜ですね」を出力する。また、情報処理装置１は、必要であれば応答画像２１ｄを壁２０に投影して表示出力を併せて行うことも可能である。また、情報処理装置１は、音声応答出力の占有をユーザＢＢに遷移させたことを明示するために、図４右に示すように、情報処理装置１の発光部１８においてユーザＢＢの方向を一部点灯させるよう制御することでユーザＢＢに視線を向けているように見せてもよい。

このように、本実施形態による音声認識システムでは、ユーザの発話順に応じて音声応答出力の占有を遷移させることで、複数ユーザによるシステムの同時利用を実現することができる。なお非ターゲットユーザへの待機指示は、図４に示すような応答画像２１ａの投影に限定されない。以下、変形例についていくつか説明する。

（変形例１）
例えばターゲットユーザにより表示応答出力も占有されている場合、情報処理装置１は、情報処理装置１に設けられているサブディスプレイや発光部１８を用いて非ターゲットユーザに対して待機指示を出力することが可能である。

また、情報処理装置１は、サブディスプレイや発光部１８の表示エリアや表示機能が限られている場合、アイコンや光の色情報を用いて待機指示を出力してもよい。以下、図５Ａ、および図５Ｂを参照してサブディスプレイを用いた待機ユーザの通知について説明する。

例えば図５Ａに示すように、側面上にサブディスプレイ１９が設けられた情報処理装置１ｘにおいて、出力制御部１０ｆは、現在の応答待ちの非ターゲットユーザをキューのような表示で可視化してもよい。図５Ａに示す例では、現在２人が応答待ちであることが直感的に把握できる。

また、図５Ｂに示すように、側面上にサブディスプレイ１９が設けられた情報処理装置１ｘにおいて、出力制御部１０ｆは、現在の応答待ちの非ターゲットユーザをキューのような表示で可視化する際に、併せてユーザのＩＤや名前を明示し、また、登録されている対象ユーザの色で表示してもよい。図５Ｂに示す例では、現在誰が応答待ちであるかが直感的に把握できる。

（変形例２）
また、情報処理装置１は、複数ユーザに対するそれぞれの応答に一定の表示領域が必要である場合、表示領域が足りなくなるため、優先度の低い方への応答（すなわち非ターゲットユーザへの応答）を、アイコンやテキストにして表示し、表示領域を節約する。図６は、非ターゲットユーザへの応答をアイコンで示して表示領域を節約する例について説明する図である。図６に示すように、ユーザＡＡからの発話３４「カレンダー見せて」を認識した情報処理装置１は、応答３５「カレンダーですね」を出力し、壁２０には対応するカレンダー画像２２ａを投影する。

ここで、カレンダー画像２２ａは情報量が多いため、表示領域２００が広く使用される。したがって、途中からユーザＢＢの発話３６「メール来ているかしら？」を認識した場合、図４左に示すような応答画像２１ａおよび発話内容画像２１ｃを表示するスペースが確保できないため、情報処理装置１は、図６に示すようにメールのアイコン画像２２ｂを表示する。これによりユーザＢＢは、自分の発話が正しく認識され、応答待ちの状態であることを直感的に把握することができる。

以上、本実施形態による非ターゲットユーザへの待機通知に関する応用例について説明した。なお上述した変形例１および変形例２が組み合わせて用いられてもよい。

＜４−２．指向性を用いた同時応答＞
次に、情報処理装置１は、スピーカ１３が、波面合成のように特定位置のみに音場を生成することができる指向性を持つものである場合、複数ユーザに対して同時に音声応答出力することも可能である。図７は、指向性を用いた音声による同時応答について説明する図である。

情報処理装置１はカメラ１４やマイクロホン１２によりセンシングされた内容を用いて各発話者の位置を認識し、図７に示すように、ユーザＡＡに対する応答３７と、ユーザＢＢに対する応答３８とを各ユーザの位置に向けて音声出力し、同時応答を行う。この際、情報処理装置１は、表示領域を分割して複数ユーザにそれぞれ表示エリアを割り当て、ユーザＡＡに対する応答画像２３ａとユーザＢＢに対する応答画像２３ｂを表示してもよい。また、情報処理装置１は、ターゲットユーザに対応する表示領域を非ターゲットユーザに対応する表示領域より大きくしてもよい。

このように、本実施形態による音声認識システムでは、指向性を用いて複数ユーザへの音声による同時応答を可能とし、複数ユーザによるシステムの同時利用を実現することができる。

＜４−３．外部装置との連携による応答＞
また、情報処理装置１は、外部装置と連携し、非ターゲットユーザに対する応答を外部装置から行うよう制御することも可能である。例えばターゲットユーザにより音声および表示応答出力が占有されている場合、情報処理装置１は、非ターゲットユーザが所有する携帯通信端末、ウェアラブル端末、付近や非ターゲットユーザの自室にあるＴＶ、または他の場所にある他の音声ＵＩシステム等から非ターゲットユーザに対する応答を出力するよう制御する。この際、情報処理装置１は、情報処理装置１に設けられているサブディスプレイに外部装置から応答出力を行う旨を表示してもよいし、携帯通信端末やウェアラブル端末から「こちらから応答します」等の音声を出力させたりして応答端末を非ターゲットユーザに通知してもよい。

このように、本実施形態による音声認識システムでは、外部装置と連携して複数ユーザへの同時応答を可能とし、複数ユーザによるシステムの同時利用を実現することができる。

＜４−４．発話者の状態に応じた応答＞
また、本実施形態による情報処理装置１は、発話者の状態に応じて応答出力方法を決定することも可能である。例えばユーザが情報処理装置１の近くにはおらず、少し離れた所から大声で発話した場合、情報処理装置１からの音声出力や表示出力がユーザまで伝わらない可能性がある。そのため、情報処理装置１は、ユーザが所有する携帯通信端末やウェアラブル装置等、外部装置との連携による応答出力方法に決定してもよい。また、応答内容を情報処理装置１内に一時的に記憶させ、ユーザが情報処理装置１の音声出力や表示出力の有効範囲内に移動した場合に、応答内容を出力するようにしてもよい。

これにより、例えば先に発話を行ったターゲットユーザが情報処理装置１から離れた場所に居る場合に情報処理装置１の音声出力や表示出力が占有されることを回避し、音声出力や表示出力は近くに居る非ターゲットユーザに割り当てることができる。

＜４−５．発話内容に応じた応答＞
また、本実施形態による情報処理装置１は、応答内容に応じて応答出力方法を決定することも可能である。例えば応答がカレンダー表示といったように情報量が多いものである場合、情報処理装置１は、当該応答には表示出力方法を優先的に割り当てて、音声出力方法は他のユーザが利用可能としてもよい。また、簡単な確認事項（ユーザの発話「山手線遅れてないよね？」に対して、情報処理装置１の応答が「はい」のみ）の場合、音声出力だけで完結し、画像表示は不要であるため、情報処理装置１は、表示出力方法は他のユーザが利用可能としてもよい。また、ユーザの発話が「カレンダー見せて」といったように表示に対する指示だけである場合、情報処理装置１は、音声出力方法は他のユーザが利用可能としてもよい。

このように、ユーザの発話内容に応じて必要な応答出力方法を優先的に割り当て、他の応答出力方法は他のユーザが利用可能な状態とすることで、ターゲットユーザが表示出力と音声出力の全てを占有することを回避し、複数ユーザによるシステムの同時利用を実現することができる。

＜４−６．エラー応答＞
また、本実施形態による情報処理装置１は、許容する同時発話者数を超えた場合、エラー表示を行ってもよい。以下、図８を参照して一例を説明する。

図８は、本実施形態によるエラー表示の一例を示す図である。図８に示すように、まずユーザＡＡからの発話４０を認識した情報処理装置１が、応答４１を音声出力すると共に、応答画像２４ｂを投影する。かかる応答中に、ユーザＢＢからの発話４２「コンサートいつだっけ？」、ユーザＣＣからの発話４３「テレビ番組表を見せて！」、ユーザＤＤからの発話４４「今日のニュースは？」が発せられ、情報処理装置１の許容する同時発話者数（例えば２名）を超えた場合、図８に示すようにエラー画像２４ａが投影される。

エラー画像２４ａは、例えば「一人ずつお願いね！」というように、エラー回避のための対策をユーザに促す内容を含むものであってもよい。これにより、ユーザＢＢ、ユーザＣＣ、ユーザＤＤは、一人ずつ発話を行えばエラー状態が解消されることが分かる。

なおエラー原因が表示領域の制限問題である場合、情報処理装置１は、各非ターゲットユーザに紐づくデバイス等に応答内容を転送してもよい。

＜＜５．まとめ＞＞
上述したように、本開示の実施形態による音声認識システムでは、例えば発話順に応じて音声応答出力の占有を遷移させることで、複数ユーザによるシステムの同時利用を実現し、音声認識システムの利便性を向上することが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上述した情報処理装置１に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置１の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成も取ることができる。
（１）
複数ユーザからの発話に対して応答を生成する応答生成部と、
前記複数ユーザの発話順に応じた優先度に基づいて各ユーザへの応答出力方法を決定する決定部と、
前記決定された応答出力方法で前記生成された応答を出力するよう制御する出力制御部と、
を備える、情報処理装置。
（２）
前記決定部は、対話中のユーザと異なるユーザからの発話を認識した場合、先に対話を開始したユーザの優先度を、次に対話を開始したユーザの優先度よりも高くする、前記（１）に記載の情報処理装置。
（３）
前記決定部は、最も優先度が高い１のユーザをターゲットユーザ、他の１以上のユーザを非ターゲットユーザに決定する、前記（２）に記載の情報処理装置。
（４）
前記決定部は、音声による応答出力方法を前記ターゲットユーザに占有させ、前記非ターゲットユーザには表示による応答出力方法を割り当てる、前記（３）に記載の情報処理装置。
（５）
前記応答生成部は、前記非ターゲットユーザに対して、待機を促す応答を生成し、
前記出力制御部は、前記非ターゲットユーザに対して待機を促す応答の画像を表示するよう制御する、前記（４）に記載の情報処理装置。
（６）
前記応答生成部は、前記非ターゲットユーザに対して、前記非ターゲットユーザの発話の音声認識結果を示す応答を生成し、
前記出力制御部は、前記非ターゲットユーザの発話の音声認識結果を示す応答の画像を表示するよう制御する、前記（５）に記載の情報処理装置。
（７）
前記出力制御部は、応答待ちの非ターゲットユーザを明示するよう制御する、前記（４）〜（６）のいずれか１項に記載の情報処理装置。
（８）
前記決定部は、前記ターゲットユーザとの対話が終了した後、ターゲットユーザに占有させていた音声応答出力方法を非ターゲットユーザに遷移させる、前記（４）〜（７）のいずれか１項に記載の情報処理装置。
（９）
前記表示による応答出力は、投影による表示である、前記（４）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記決定部は、前記ターゲットユーザが表示による出力方法と音声による出力方法を占有している場合、前記非ターゲットユーザには、外部装置との連携による応答の出力方法を割り当てる、前記（３）に記載の情報処理装置。
（１１）
前記決定部は、前記ターゲットユーザへの応答内容に応じて決定された応答出力方法と異なる応答出力方法を前記非ターゲットユーザに決定する、前記（３）に記載の情報処理装置。
（１２）
前記決定部は、前記ターゲットユーザへの応答出力方法が表示を占有するものである場合、非ターゲットユーザには音声による出力方法を割り当てる、前記（１１）に記載の情報処理装置。
（１３）
前記決定部は、前記ターゲットユーザの状態に応じて応答の出力方法を決定する、前記（３）に記載の情報処理装置。
（１４）
前記決定部は、前記ターゲットユーザが前記情報処理装置１から所定値以上離れた場所に居る場合、外部装置との連携による応答の出力方法を割り当てる、前記（１３）に記載の情報処理装置。
（１５）
前記決定部は、明示的な割込み処理に応じて優先度を変更する、前記（２）〜（１４）のいずれか１項に記載の情報処理装置。
（１６）
前記決定部は、指向性を有する音声出力部からの応答出力方法を複数ユーザに対して割り当てる、前記（１）に記載の情報処理装置。
（１７）
前記出力制御部は、音声認識結果に基づいて許容する発話者数を超えた場合、エラー通知を行うよう制御する、前記（１）〜（１６）のいずれか１項に記載の情報処理装置。
（１８）
複数ユーザからの発話に対して応答を生成することと、
前記複数ユーザの発話順に応じた優先度に基づいて各ユーザへの応答出力方法を決定することと、
前記決定された応答出力方法で前記生成された応答を出力するよう出力制御部により制御することと、
を含む制御方法。
（１９）
コンピュータを、
複数ユーザからの発話に対して応答を生成する応答生成部と、
前記複数ユーザの発話順に応じた優先度に基づいて各ユーザへの応答出力方法を決定する決定部と、
前記決定された応答出力方法で前記生成された応答を出力するよう制御する出力制御部と、
として機能させるためのプログラム。

１ 情報処理装置
１０ 制御部
１０ａ 音声認識部
１０ｂ 意味解析部
１０ｃ 応答生成部
１０ｄ ターゲット決定部
１０ｅ 応答出力方法決定部
１０ｆ 出力制御部
１１ 通信部
１２ マイクロホン
１３ スピーカ
１４ カメラ
１５ 測距センサ
１６ 投影部
１７ 記憶部
１８ 発光部
１９ サブディスプレイ
２０ 壁

Claims (19)

1. 複数ユーザからの発話に対して応答を生成する応答生成部と、
   前記複数ユーザの発話順に応じた優先度に基づいて各ユーザへの応答出力方法を決定する決定部と、
   前記決定された応答出力方法で前記生成された応答を出力するよう制御する出力制御部と、
   を備え、
   前記応答生成部は、一のユーザの発話に対する回答を示す応答と、他のユーザに対する回答出力待ちを促す応答を生成する、情報処理装置。
2. 前記決定部は、一のユーザに専有させる応答出力方法と、当該応答出力方法以外で他のユーザに共有させる応答出力方法とを決定し、
   前記出力制御部は、前記決定した各応答出力方法で各ユーザの発話に対する応答をそれぞれ出力するよう制御する、請求項１に記載の情報処理装置。
3. 前記出力制御部は、一のユーザの発話に対する回答を示す応答と、回答出力待ちユーザの音声認識結果に関連するアプリケーションアイコンを出力するよう制御する、請求項１または２に記載の情報処理装置。
4. 前記出力制御部は、一のユーザの発話に対する応答と、他のユーザの音声認識結果を出力するよう制御する、請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記情報処理装置は、
   複数ユーザからの発話に対してそれぞれ音声認識を行う音声認識部をさらに備え、
   前記応答生成部は、前記複数ユーザの発話順に応じた優先度に基づいて、一のユーザの発話に対する回答を示す応答と、他のユーザに対する回答出力待ちを促す応答と、を生成し、
   前記出力制御部は、一のユーザの発話に対する応答終了後、待機させていた他のユーザの発話に対する回答を示す応答を出力するよう制御する、請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記決定部は、最も優先度が高い１のユーザをターゲットユーザ、他の１以上のユーザを非ターゲットユーザに決定する、請求項５に記載の情報処理装置。
7. 前記決定部は、音声による応答出力方法を前記ターゲットユーザに占有させ、前記非ターゲットユーザには表示による応答出力方法を割り当てる、請求項６に記載の情報処理装置。
8. 前記応答生成部は、前記非ターゲットユーザに対して、待機を促す応答を生成し、
   前記出力制御部は、前記非ターゲットユーザに対して待機を促す応答の画像を表示するよう制御する、請求項７に記載の情報処理装置。
9. 前記応答生成部は、前記非ターゲットユーザに対して、前記非ターゲットユーザの発話の音声認識結果を示す応答を生成し、
   前記出力制御部は、前記非ターゲットユーザの発話の音声認識結果を示す応答の画像を表示するよう制御する、請求項８に記載の情報処理装置。
10. 前記出力制御部は、応答待ちの非ターゲットユーザを明示するよう制御する、請求項７から９のいずれか１項に記載の情報処理装置。
11. 前記決定部は、前記ターゲットユーザとの対話が終了した後、ターゲットユーザに占有させていた音声応答出力方法を非ターゲットユーザに遷移させる、請求項７から１０のいずれか１項に記載の情報処理装置。
12. 前記表示による応答出力は、投影による表示である、請求項７から１１のいずれか１項に記載の情報処理装置。
13. 前記決定部は、前記ターゲットユーザが表示による出力方法と音声による出力方法を占有している場合、前記非ターゲットユーザには、外部装置との連携による応答の出力方法を割り当てる、請求項６に記載の情報処理装置。
14. 前記決定部は、前記ターゲットユーザへの応答内容に応じて決定された応答出力方法と異なる応答出力方法を前記非ターゲットユーザに決定する、請求項６に記載の情報処理装置。
15. 前記決定部は、前記ターゲットユーザへの応答出力方法が表示を占有するものである場合、非ターゲットユーザには音声による出力方法を割り当てる、請求項１４に記載の情報処理装置。
16. 前記決定部は、前記ターゲットユーザが前記情報処理装置から所定値以上離れた場所に居る場合、外部装置との連携による応答の出力方法を割り当てる、請求項６に記載の情報処理装置。
17. 前記決定部は、指向性を有する音声出力部からの応答出力方法を複数ユーザに対して割り当てる、請求項６に記載の情報処理装置。
18. プロセッサが、
    複数ユーザからの発話に対して、一のユーザの発話に対する回答を示す応答と、他のユーザに対する回答出力待ちを促す応答を生成することと、
    前記複数ユーザの発話順に応じた優先度に基づいて各ユーザへの応答出力方法を決定することと、
    前記決定された応答出力方法で前記生成された応答を出力するよう出力制御部により制御することと、
    を含む、制御方法。
19. コンピュータを、
    複数ユーザからの発話に対して応答を生成する応答生成部と、
    前記複数ユーザの発話順に応じた優先度に基づいて各ユーザへの応答出力方法を決定する決定部と、
    前記決定された応答出力方法で前記生成された応答を出力するよう制御する出力制御部と、
    として機能させ、
    前記応答生成部は、一のユーザの発話に対する回答を示す応答と、他のユーザに対する回答出力待ちを促す応答を生成する、プログラム。

Images