JP2014191272A - Interactive program, server, and method for reflecting user operation on interactive scenario - Google Patents
Interactive program, server, and method for reflecting user operation on interactive scenario Download PDFInfo
- Publication number
- JP2014191272A JP2014191272A JP2013068523A JP2013068523A JP2014191272A JP 2014191272 A JP2014191272 A JP 2014191272A JP 2013068523 A JP2013068523 A JP 2013068523A JP 2013068523 A JP2013068523 A JP 2013068523A JP 2014191272 A JP2014191272 A JP 2014191272A
- Authority
- JP
- Japan
- Prior art keywords
- dialog
- scenario
- dialogue
- user
- interactive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims description 12
- 230000004044 response Effects 0.000 claims abstract description 80
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 230000003993 interaction Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000003203 everyday effect Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000002354 daily effect Effects 0.000 description 2
- 230000002250 progressing effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
【課題】対話シナリオの進行の中で、既存のアプリケーションに対するユーザの操作を、ユーザの回答として認識することができる対話プログラム等を提供する。
【解決手段】ユーザへ明示すべき文を対応付けた複数の対話ノードを蓄積し、一部の対話ノードには、ユーザ操作を要するアプリケーションへ指示する対話コマンド要求が対応付けられている対話シナリオ蓄積手段と、対話シナリオ蓄積手段を用いて、対話ノードを遷移しながらシナリオを進行する対話シナリオ進行手段と、対話シナリオ進行手段によって、対話コマンド要求が対応付けられた対話ノードが実行された際、当該対話コマンド要求を発行する対話コマンド要求発行手段と、対話コマンド要求を指示された当該アプリケーションから、ユーザ操作内容を表す対話コマンド応答を受け付ける対話コマンド応答受付手段とを有する。
【選択図】図４Provided is a dialogue program or the like that can recognize a user's operation on an existing application as a user's answer during the progress of a dialogue scenario.
A dialog scenario storage in which a plurality of dialog nodes associated with a sentence to be clearly shown to a user are stored, and a dialog command request instructing an application requiring a user operation is associated with some dialog nodes. When the dialogue node associated with the dialogue command request is executed by the dialogue scenario progression means, the dialogue scenario progression means for proceeding the scenario while transitioning the dialogue node using the dialogue scenario storage means, Interactive command request issuing means for issuing an interactive command request, and interactive command response receiving means for receiving an interactive command response representing the contents of a user operation from the application instructed for the interactive command request.
[Selection] Figure 4
Description
本発明は、対話シナリオを用いてユーザと対話する対話システムの技術に関する。 The present invention relates to a technology of a dialogue system that interacts with a user using a dialogue scenario.
人間に対して自然な対話を実現した対話システムが、スマートフォンやタブレット端末で普及しつつある。特に、コンピュータグラフィックスのキャラクタが、音声で会話する対話エージェントとして機能する技術がある（例えば特許文献１参照）。近年、ユーザから見て、対話エージェントに対する抵抗感も無くなってきており、自然な会話を楽しむことができる。端末は、ユーザとエージェントとの間の会話を通じて、ユーザに特別な意識を持たせることなく、ユーザの状況、趣味趣向、又は感情のようなユーザ情報を取得することができる。これらユーザ情報は、ユーザプロファイルとして、様々なアプリケーションによって利用することができる。 A dialogue system that realizes natural dialogue with humans is becoming popular on smartphones and tablet terminals. In particular, there is a technique in which a computer graphics character functions as an interactive agent that communicates by voice (see, for example, Patent Document 1). In recent years, there has been no sense of resistance to dialogue agents from the viewpoint of users, and natural conversation can be enjoyed. The terminal can acquire user information such as the user's situation, hobbies, and feelings without giving the user special awareness through the conversation between the user and the agent. Such user information can be used as a user profile by various applications.
ユーザは、対話システムを搭載したスマートフォンに対して、質問を語りかけることができる。スマートフォンは、ユーザの声を認識し、意味解析によってその質問の意図を理解し、回答すると共に、最適なサービス機能（例えばメール、スケジューラ、アラーム等）を自動的に起動することもできる（例えば非特許文献１参照）。その回答文は、エージェントから音声合成された声で発せられるものであってもよいし、ディスプレイに表示されるものであってもよい。このように、対話シナリオの中で、新規なサービス機能を起動するために、ランチャ機能が用いられる。ランチャ機能は、エージェントを用いる対話システムを大幅に修正することなく、対話の新規機能として簡易に追加することができる。 A user can speak a question to a smartphone equipped with an interactive system. The smartphone recognizes the voice of the user, understands the intention of the question through semantic analysis, answers it, and can automatically activate an optimal service function (for example, mail, scheduler, alarm, etc.) Patent Document 1). The answer sentence may be uttered by a voice synthesized by an agent or may be displayed on a display. Thus, the launcher function is used to activate a new service function in the dialogue scenario. The launcher function can be easily added as a new dialog function without significantly modifying the dialog system using the agent.
図１は、従来技術における対話システムの機能構成図である。 FIG. 1 is a functional configuration diagram of a dialogue system in the prior art.
図１（ａ）によれば、例えばスマートフォンのような単体装置に搭載されたコンピュータを機能させるプログラム（アプリケーション）であって、対話シナリオ進行部と、対話インタラクション部と、キャラクタ表示制御部とを一体的に含んでいる（例えば特許文献１参照）。対話シナリオ進行部は、多数の対話ノードのツリーを予め記憶しており、ユーザからの返答に応じて辿ることによって、ユーザとの間の対話を進めていく。対話インタラクション部は、対話ノードの文をスピーカから音声合成によって発声する。また、マイクによってユーザからの声を取得し、音声認識及び意味解析を実行し、その回答文を対話シナリオ進行部へ出力する。キャラクタ表示制御部は、キャラクタエージェントをディスプレイに表示し、対話ノードに基づく会話によってそのエージェントの動きを制御する。 According to FIG. 1 (a), for example, a program (application) for causing a computer mounted on a single device such as a smartphone to function, and a dialogue scenario progression unit, a dialogue interaction unit, and a character display control unit are integrated. (For example, refer to Patent Document 1). The dialogue scenario progression unit stores a tree of a large number of dialogue nodes in advance, and advances the dialogue with the user by tracing according to the response from the user. The dialog interaction unit utters the text of the dialog node from the speaker by voice synthesis. In addition, the voice from the user is acquired by the microphone, voice recognition and semantic analysis are executed, and the answer sentence is output to the dialogue scenario progression unit. The character display control unit displays the character agent on the display and controls the movement of the agent by conversation based on the dialogue node.
図１（ｂ）によれば、対話サーバと端末とがネットワークを介して接続されたシステムである。対話サーバは、対話シナリオ進行部と対話インタラクション部とを有し、端末は、対話クライアント部とキャラクタ表示制御部とを有する。端末の対話クライアント部は、対話サーバの対話インタラクション部に対して、端末側のスピーカ及びマイクのようなデバイスのインタフェースとして機能する。 According to FIG. 1B, the dialogue server and the terminal are connected via a network. The dialogue server has a dialogue scenario progression unit and a dialogue interaction unit, and the terminal has a dialogue client unit and a character display control unit. The dialog client unit of the terminal functions as an interface of a device such as a speaker and a microphone on the terminal side with respect to the dialog interaction unit of the dialog server.
特許文献１に記載された技術によれば、図１（ａ）のように全ての機能モジュールが一体的なアプリケーションとして構成されている。そのために、例えばアラーム機能のような既存の設定機能を、対話シナリオに追加することが難しい。 According to the technique described in Patent Document 1, all functional modules are configured as an integrated application as shown in FIG. Therefore, it is difficult to add an existing setting function such as an alarm function to the interactive scenario.
また、非特許文献１に記載された技術によれば、ランチャ機能によって対話シナリオとサービス機能の起動とを関連付けている。しかしながら、ランチャ機能によって起動したサービス機能と、対話シナリオとの間で、統一感のある対話を実現することは難しい。即ち、対話シナリオ自体は、起動されたサービス機能に関して、ユーザとの間で何ら対話することはない。 Further, according to the technique described in Non-Patent Document 1, the dialog scenario and the activation of the service function are associated by the launcher function. However, it is difficult to realize a unified dialogue between the service function activated by the launcher function and the dialogue scenario. That is, the dialogue scenario itself does not have any dialogue with the user regarding the activated service function.
具体的には、対話の中で、ランチャ機能によって例えば既存のアラーム設定機能（アプリケーション）が起動されたとしても、その後、ユーザは、従来通り、アラーム設定アプリケーションに対してしか操作することができない。そのアラーム設定に関する操作が不明となり、エージェントの対話入力に切り替えても、対話シナリオは、アラーム設定に対する操作過程を認識していない。結果的に、ユーザは、アラーム設定機能に対して手動（例えばタッチパネルを用いて）入力操作をするか、エージェントに対して音声入力するか、のいずれか一方の操作しかすることができない。 Specifically, even if, for example, an existing alarm setting function (application) is activated by the launcher function in the dialog, the user can only operate on the alarm setting application as usual. Even if the operation related to the alarm setting becomes unknown and the operation is switched to the agent's dialogue input, the dialogue scenario does not recognize the operation process for the alarm setting. As a result, the user can perform either one of manual input operation (for example, using a touch panel) for the alarm setting function or voice input to the agent.
本発明は、対話シナリオの進行の中で、既存のアプリケーションに対するユーザの操作を、ユーザの回答として認識することができる対話プログラム、装置、サーバ及び方法を提供することを目的とする。 An object of the present invention is to provide an interactive program, apparatus, server, and method capable of recognizing a user's operation on an existing application as a user's answer during the progress of an interactive scenario.
本発明によれば、ユーザと対話的にシナリオを進行するようにコンピュータを機能させる対話プログラムであって、
ユーザへ明示すべき文を対応付けた複数の対話ノードを蓄積し、一部の対話ノードには、ユーザ操作を要するアプリケーションへ指示する対話コマンド要求が対応付けられている対話シナリオ蓄積手段と、
対話シナリオ蓄積手段を用いて、対話ノードを遷移しながらシナリオを進行する対話シナリオ進行手段と、
対話シナリオ進行手段によって、対話コマンド要求が対応付けられた対話ノードが実行された際、当該対話コマンド要求を発行する対話コマンド要求発行手段と、
対話コマンド要求を指示された当該アプリケーションから、ユーザ操作内容を表す対話コマンド応答を受け付ける対話コマンド応答受付手段と
してコンピュータを機能させ、
対話シナリオ進行手段は、ユーザによって回答された文、又は、対話コマンド応答のユーザ操作内容、に基づいて対話シナリオを進行する
ようにコンピュータを機能させることを特徴とする。
According to the present invention, there is provided an interactive program for causing a computer to function to advance a scenario interactively with a user,
A plurality of dialog nodes associated with a statement to be clearly indicated to a user, and a dialog scenario storing unit in which a dialog command request instructing an application requiring a user operation is associated with some dialog nodes;
Dialog scenario advancing means for advancing a scenario while transitioning dialog nodes using a dialogue scenario storage means;
A dialog command request issuing means for issuing a dialog command request when the dialog node associated with the dialog command request is executed by the dialog scenario advancing means;
Causing the computer to function as an interactive command response accepting means for accepting an interactive command response representing the contents of the user operation from the application instructed by the interactive command request;
The dialogue scenario advancing means makes the computer function to advance the dialogue scenario based on a sentence answered by the user or a user operation content of the dialogue command response.
本発明の対話プログラムにおける他の実施形態によれば、
対話コマンド応答受付手段におけるユーザ操作内容は、ユーザによって現に操作された操作情報、又は、センサによって取得された周辺状態情報であるようにコンピュータを機能させることも好ましい。
According to another embodiment of the dialogue program of the present invention,
It is also preferable to cause the computer to function so that the user operation content in the interactive command response receiving means is operation information actually operated by the user or peripheral state information acquired by the sensor.
本発明の対話プログラムにおける他の実施形態によれば、
対話コマンド要求発行手段は、対話シナリオ進行手段によって、実行された対話ノードに対応付けられた文を含む対話コマンド要求を発行し、
対話コマンド応答受付手段は、ユーザによって回答された文を含む対話コマンド応答を受け付ける
ようにコンピュータを更に機能させることも好ましい。
According to another embodiment of the dialogue program of the present invention,
The dialog command request issuing means issues a dialog command request including a sentence associated with the executed dialog node by the dialog scenario advancing means,
It is preferable that the interactive command response accepting unit further causes the computer to function so as to accept an interactive command response including a sentence answered by the user.
本発明によれば、前述した対話プログラムと通信するユーザプログラムであって、
キャラクタエージェントをディスプレイに表示すると共に、対話シナリオ進行手段によって進行中の対話ノードに対応付けられた文を明示し、ユーザから取得した文を対話シナリオ進行手段へ通知するエージェント手段と、
対話コマンド要求に応じたアプリケーションへ指示し、ユーザ操作内容を表す対応コマンド応答を対話コマンド応答受付手段へ通知するアプリケーション制御手段と
してコンピュータを機能させることを特徴とする。
According to the present invention, a user program that communicates with the above-described dialog program,
Agent means for displaying a character agent on a display, clearly indicating a sentence associated with a dialog node in progress by the dialog scenario progress means, and notifying the dialog scenario progress means of a sentence acquired from a user;
The computer is caused to function as application control means for instructing an application in response to the interactive command request and notifying the interactive command response accepting means of a corresponding command response representing the user operation content.
本発明のユーザプログラムにおける他の実施形態によれば、
エージェント手段は、対話コマンド要求によって受信した文をユーザに音声で認識させるべく音声合成機能と、ユーザから取得した音声を認識するべく音声認識機能及び意味解析機能とを有することも好ましい。
According to another embodiment of the user program of the present invention,
The agent means preferably also has a speech synthesis function for allowing the user to recognize the sentence received by the interactive command request by speech, and a speech recognition function and a semantic analysis function for recognizing the speech acquired from the user.
本発明のユーザプログラムにおける他の実施形態によれば、
キャラクタエージェントと、対話コマンド要求に基づくアプリケーションとは、ディスプレイに画面分割によって表示されるようにコンピュータを機能させることも好ましい。
According to another embodiment of the user program of the present invention,
It is also preferable that the character agent and the application based on the interactive command request make the computer function so as to be displayed on the display by dividing the screen.
本発明によれば、ユーザ操作に基づく端末と通信し、該端末を通じてユーザと対話的にシナリオを進行する装置であって、
端末へ送信すべき文を対応付けた複数の対話ノードを蓄積し、一部の対話ノードには、ユーザ操作を要するアプリケーションへ指示する対話コマンド要求が対応付けられている対話シナリオ蓄積手段と、
対話シナリオ蓄積手段を用いて、対話ノードを遷移しながらシナリオを進行する対話シナリオ進行手段と、
対話シナリオ進行手段によって、対話コマンド要求が対応付けられた対話ノードが実行された際、当該対話コマンド要求を端末へ送信する対話コマンド要求発行手段と、
対話コマンド要求を指示された当該アプリケーションから、ユーザ操作内容を表す対話コマンド応答を受信する対話コマンド応答受付手段と、
キャラクタエージェントをディスプレイに表示すると共に、対話シナリオ進行手段によって進行中の対話ノードに対応付けられた文を明示し、ユーザから取得した文を対話シナリオ進行手段へ通知するエージェント手段と、
対話コマンド応答手段から発行された対話コマンド要求に応じたアプリケーションへ指示し、ユーザ操作内容を表す対応コマンド応答を対話コマンド応答受付手段へ通知するアプリケーション制御手段と
を有し、
対話シナリオ進行手段は、端末から受信した、ユーザによって回答された文、又は、対話コマンド応答のユーザ操作内容に基づいて、対話シナリオを進行する
ことを特徴とする。
According to the present invention, an apparatus for communicating with a terminal based on a user operation and interactively progressing a scenario with the user through the terminal,
A plurality of dialog nodes associated with a sentence to be transmitted to a terminal, and a dialog scenario storing unit in which a dialog command request instructing an application requiring a user operation is associated with some dialog nodes;
Dialog scenario advancing means for advancing a scenario while transitioning dialog nodes using a dialogue scenario storage means;
A dialog command request issuing means for transmitting the dialog command request to the terminal when the dialog node associated with the dialog command request is executed by the dialog scenario advancing means;
An interactive command response receiving means for receiving an interactive command response representing the user operation content from the application instructed to execute the interactive command;
Agent means for displaying a character agent on a display, clearly indicating a sentence associated with a dialog node in progress by the dialog scenario progress means, and notifying the dialog scenario progress means of a sentence acquired from a user;
Application control means for instructing the application in response to the interactive command request issued from the interactive command response means and notifying the interactive command response accepting means of a corresponding command response representing the user operation content;
The dialogue scenario advancing means is characterized by advancing the dialogue scenario based on the sentence received by the user and received from the terminal or the user operation content of the dialogue command response.
本発明によれば、ユーザ操作に基づく端末と通信し、該端末を通じてユーザと対話的にシナリオを進行する対話サーバであって、
端末へ送信すべき文を対応付けた複数の対話ノードを蓄積し、一部の対話ノードには、ユーザ操作を要するアプリケーションへ指示する対話コマンド要求が対応付けられている対話シナリオ蓄積手段と、
対話シナリオ蓄積手段を用いて、対話ノードを遷移しながらシナリオを進行する対話シナリオ進行手段と、
対話シナリオ進行手段によって、対話コマンド要求が対応付けられた対話ノードが実行された際、当該対話コマンド要求を端末へ送信する対話コマンド要求発行手段と、
対話コマンド要求を指示された当該アプリケーションから、ユーザ操作内容を表す対話コマンド応答を受信する対話コマンド応答受付手段と
を有し、
対話シナリオ進行手段は、端末から受信した、ユーザによって回答された文、又は、対話コマンド応答のユーザ操作内容に基づいて、対話シナリオを進行する
ことを特徴とする。
According to the present invention, there is provided a dialogue server that communicates with a terminal based on a user operation and interactively proceeds with a scenario through the terminal.
A plurality of dialog nodes associated with a sentence to be transmitted to a terminal, and a dialog scenario storing unit in which a dialog command request instructing an application requiring a user operation is associated with some dialog nodes;
Dialog scenario advancing means for advancing a scenario while transitioning dialog nodes using a dialogue scenario storage means;
A dialog command request issuing means for transmitting the dialog command request to the terminal when the dialog node associated with the dialog command request is executed by the dialog scenario advancing means;
A dialogue command response receiving means for receiving a dialogue command response representing the contents of the user operation from the application instructed by the dialogue command request;
The dialogue scenario advancing means is characterized by advancing the dialogue scenario based on the sentence received by the user and received from the terminal or the user operation content of the dialogue command response.
本発明によれば、ユーザ操作に基づく端末と、該端末を通じてユーザと対話的にシナリオを進行する対話サーバとを有するシステムにおける対話方法であって、
対話サーバは、端末へ送信すべき文を対応付けた複数の対話ノードを蓄積し、一部の対話ノードには、ユーザ操作を要するアプリケーションへ指示する対話コマンド要求が対応付けられている対話シナリオ蓄積部を有し、
対話サーバは、
対話シナリオ蓄積部を用いて、対話ノードを遷移しながらシナリオを進行する中で、
対話コマンド要求が対応付けられた対話ノードが実行された際、当該対話コマンド要求を端末へ送信する第１のステップと、
対話コマンド要求を指示された当該アプリケーションから、ユーザ操作内容を表す対話コマンド応答を受信する第２のステップと、
端末から受信した、ユーザによって回答された文、又は、対話コマンド応答のユーザ操作内容に基づいて、対話シナリオを進行する第３のステップと
を有することを特徴とする。
According to the present invention, there is provided a dialogue method in a system having a terminal based on a user operation and a dialogue server that interactively proceeds with a scenario through the terminal.
The dialog server stores a plurality of dialog nodes associated with sentences to be transmitted to the terminal, and a dialog scenario storage in which a dialog command request instructing an application requiring a user operation is associated with some dialog nodes Part
The conversation server
While proceeding with a scenario while transitioning dialogue nodes using the dialogue scenario storage unit,
A first step of transmitting the dialogue command request to the terminal when the dialogue node associated with the dialogue command request is executed;
A second step of receiving a dialog command response representing the user operation content from the application instructed to request the dialog command;
And a third step of proceeding with a dialogue scenario based on a sentence received from the terminal and answered by the user or based on a user operation content of the dialogue command response.
本発明の対話方法における他の実施形態によれば、
第１のステップについて、端末は、
キャラクタエージェントをディスプレイに表示すると共に、対話シナリオ進行手段によって進行中の対話ノードに対応付けられた文を明示し、ユーザから取得した文を対話サーバへ通知し、
対話コマンド要求に応じたアプリケーションへ指示し、ユーザ操作内容を表す対応コマンド応答を対話コマンド応答受付手段へ通知する
ことも好ましい。
According to another embodiment of the interaction method of the present invention,
For the first step, the terminal
In addition to displaying the character agent on the display, the statement associated with the dialog node in progress by the dialog scenario advancing means is specified, and the statement acquired from the user is notified to the dialog server,
It is also preferable to instruct the application in response to the interactive command request and notify the interactive command response accepting means of a corresponding command response representing the user operation content.
本発明の対話プログラム、装置、サーバ及び方法によれば、対話シナリオの進行の中で、既存のアプリケーションに対するユーザの操作を、ユーザの回答として認識することができる。 According to the interactive program, apparatus, server, and method of the present invention, a user's operation on an existing application can be recognized as a user's answer during the progress of the interactive scenario.
以下、本発明の実施の形態について、図面を用いて詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図２は、本発明の装置における機能構成図である。
図３は、本発明のシステムにおける機能構成図である。
FIG. 2 is a functional configuration diagram of the apparatus of the present invention.
FIG. 3 is a functional configuration diagram in the system of the present invention.
図２及び図３によれば、スマートフォンのような装置は、ハードウェアとして、ユーザに対する「音声出力」用のスピーカと、ユーザからの「音声入力」用のマイクと、ユーザに対する文やキャラクタの「ユーザ表示」用のディスプレイとを有する。特に、ディスプレイがタッチパネルディスプレイでである場合、ユーザの指先による「ユーザ操作」用としても機能する。タッチパネルディスプレイによるユーザ操作としては、予め表示されたボタンに対する指の接触押下や、ソフトウェアキーに対する操作であってもよい。勿論、ユーザ操作用として、物理的なキーボードやテンキーを備えたものであってもよい。尚、スマートフォンの場合、加速度センサのようなセンサを搭載したものも多い。 According to FIGS. 2 and 3, a device such as a smartphone, as hardware, a “voice output” speaker for a user, a “voice input” microphone from the user, and a sentence or character “ And a display for “user display”. In particular, when the display is a touch panel display, it also functions for “user operation” by the user's fingertip. The user operation using the touch panel display may be a finger press on a previously displayed button or an operation on a software key. Of course, for a user operation, a physical keyboard or a numeric keypad may be provided. Many smartphones are equipped with sensors such as acceleration sensors.
また、図２及び図３によれば、ソフトウェア的に、対話プログラムと、ユーザプログラムと、既存のアプリケーションとを有する。ここで、図２によれば、これら機能モジュールが、スマートフォンのような単体装置に搭載されたコンピュータで一体的に機能させるプログラムを実行することによって実現されている。また、図３によれば、対話プログラムは、サーバに搭載されたコンピュータで実行され、ユーザプログラム及びアプリケーションは、端末に搭載されたコンピュータで実行されている。サーバと端末とがネットワークを介して接続されたシステムによって、図２と同様の対話システムを実現している。 Further, according to FIG. 2 and FIG. 3, it has an interactive program, a user program, and an existing application in terms of software. Here, according to FIG. 2, these functional modules are realized by executing a program that causes the computer to function integrally with a single device such as a smartphone. Further, according to FIG. 3, the interactive program is executed by a computer mounted on the server, and the user program and the application are executed by a computer mounted on the terminal. A dialog system similar to that shown in FIG. 2 is realized by a system in which a server and a terminal are connected via a network.
対話プログラムは、ユーザと対話的にシナリオを進行するものであって、バックグランド（例えばサーバ側）で実行される。一方で、ユーザプログラムは、ユーザとのインタフェースになるものであって、フロントグランド（例えば端末側）で実行される。ユーザプログラムは、キャラクタのエージェントの表示を制御すると共に、マイクやスピーカによってユーザとの間の会話のインタフェースとなる。また、ユーザプログラムは、対話プログラムから受信した対話コマンド要求に含まれる文（質問文）を音声信号に変換し、その音声信号をスピーカへ出力する。また、マイクによって取得された音声信号を文（回答文）に変換し、その文を対話コマンド応答に含めて、対話プログラムへ送信する。 The interactive program advances the scenario interactively with the user, and is executed in the background (for example, the server side). On the other hand, the user program serves as an interface with the user and is executed on the front ground (for example, the terminal side). The user program controls the display of the agent of the character, and serves as a conversation interface with the user through a microphone and a speaker. Further, the user program converts a sentence (question sentence) included in the dialogue command request received from the dialogue program into an audio signal, and outputs the audio signal to the speaker. The voice signal acquired by the microphone is converted into a sentence (answer sentence), and the sentence is included in the dialogue command response and transmitted to the dialogue program.
＜対話プログラム＞
対話プログラムは、ユーザと対話的にシナリオを進行するようにコンピュータを機能させる。対話プログラムは、対話シナリオ蓄積部１０と、対話シナリオ進行部１１と、対話コマンド要求発行部１２と、対話コマンド応答受付部１３とを有する。
<Dialogue program>
The interactive program causes the computer to function to advance the scenario interactively with the user. The dialogue program includes a dialogue
［対話シナリオ蓄積部１０］
対話シナリオ蓄積部１０は、ユーザへ明示すべき文を対応付けた複数の対話ノードを蓄積する。そして、一部の対話ノードには、ユーザ操作を要するアプリケーションへ指示する対話コマンド要求が対応付けられている。対話シナリオとは、質問文を含む対話ノードを、ユーザからの回答文に応じてツリー状に構成したものである。また、対話シナリオとは、例えば、ユーザの入力に対する応答パターンを記述するＦＳＴ(Finite State Transducer)ファイルを扱うスクリプトファイルであってもよい。
[Dialogue scenario storage unit 10]
The dialogue
本発明によれば、対話ノードに含まれる対話コマンド要求には、アプリケーションを起動するコマンドだけでなく、例えばアラーム設定用のアプリケーションについて以下のようなコマンドも含まれる。
アラーム時間の設定：ALARM_SETTIME_START
リピートの設定 ：ALARM_SETREPEAT_START
アラーム音の設定 ：ALARM_SETREPEAT_START
また、対話ノードには、キャラクタのエージェントの表示を制御するコマンドも含まれる。
According to the present invention, the dialog command request included in the dialog node includes not only a command for starting an application but also the following command for an alarm setting application, for example.
Alarm time setting: ALARM_SETTIME_START
Repeat setting: ALARM_SETREPEAT_START
Alarm sound setting: ALARM_SETREPEAT_START
The dialogue node also includes a command for controlling the display of the character agent.
［対話シナリオ進行部１１］
対話シナリオ進行部１１は、対話シナリオ蓄積部１０を用いて、対話ノードを遷移しながらシナリオを進行する。ここで、対話シナリオ進行部１１は、ユーザによって回答された文、又は、対話コマンド応答のユーザ操作内容、に基づいて対話シナリオを進行する。
[Dialogue scenario progression unit 11]
The dialogue
［対話コマンド要求発行部１２］
対話コマンド要求発行部１２は、対話シナリオ進行部１１によって、対話コマンド要求が対応付けられた対話ノードが実行された際、当該対話コマンド要求を発行する。対話コマンド要求は、対話ノードに対応付けられた以下のコマンドを含む。
・ユーザ操作を要するアプリケーションへ指示するコマンド
・ユーザに対する文（例えば質問文）を含むコマンド
[Interactive Command Request Issuing Unit 12]
The dialogue command
-Commands for instructing applications that require user operations-Commands that include sentences for users (for example, questions)
［対話コマンド応答受付部１３］
対話コマンド応答受付部１３は、対話コマンド要求を指示された当該アプリケーションから、ユーザ操作内容を表す対話コマンド応答を受け付ける。前述と同様に、対話コマンド応答は、対話ノードに対応付けられた以下のコマンドを含む。
・アプリケーションに対するユーザ操作の内容を含むコマンド
・ユーザからの文（例えば回答文）を含むコマンド
対話コマンド応答受付部１３におけるユーザ操作内容は、ユーザによって現に操作された操作情報に限られず、センサによって取得された周辺状態情報であってもよい。
[Interactive Command Response Accepting Unit 13]
The dialogue command
-Commands including the contents of user operations on the application-Commands including sentences from the user (for example, answer sentences) The user operation contents in the interactive command
本発明の対話プログラムは、ユーザプログラムに対して全て、「対話コマンド」として要求し且つ応答を受け付ける。これによって、対話プログラムは、ユーザプログラムに対して、音声やタッチパネルディスプレイによってユーザと会話する「文」だけでなく、アプリケーションに対する「ユーザ操作」も含めて、「対話コマンドのみの記述フォーマットで統一する」ことができる。例えばユーザプログラムが、例えば音声会話にしか対応していない場合、ユーザ操作に基づく対話コマンド要求は無視され、文に基づく対話コマンド要求のみが進行する。このように、対話プログラム自体は、ユーザプログラムに搭載された機能を認識することなく、対話コマンドのみで、対話シナリオを進行させることができる。 The dialog program of the present invention requests and accepts a response as a “dialog command” for all user programs. As a result, the dialogue program “unify in a description format with only dialogue commands” including “user operations” for applications as well as “sentences” for conversation with the user by voice or touch panel display. be able to. For example, when the user program supports only a voice conversation, for example, an interactive command request based on a user operation is ignored, and only an interactive command request based on a sentence proceeds. In this way, the dialogue program itself can advance the dialogue scenario with only the dialogue command without recognizing the function installed in the user program.
＜ユーザプログラム＞
ユーザプログラムは、ユーザとのインタフェースになるものであって、キャラクタのエージェントの表示を制御すると共に、マイクやスピーカによってユーザとの間の会話のインタフェースとなる。
<User program>
The user program serves as an interface with the user, controls the display of the character agent, and serves as an interface for conversation with the user through a microphone or speaker.
［エージェント部２１］
エージェント部２１は、キャラクタエージェントをディスプレイに表示すると共に、進行中の対話ノードに対応付けられた文を明示し、ユーザから取得した文を対話プログラム（対話シナリオ進行部１１）へ通知する。ユーザへ明示すべく文（質問文）は、キャラクタの動きや吹き出しによって表示されてもよいし、音声によってスピーカから発せられるものであってもよい。また、ユーザからの文（回答文）は、タッチパネルによるテキスト入力であってもいし、ユーザの声をマイクで取得するものであってもよい。
[Agent part 21]
The
［アプリケーション制御部２２］
アプリケーション制御部２２は、対話コマンド要求に応じたアプリケーションへ指示し、ユーザ操作内容を表す対応コマンド応答を、対話プログラム（対話コマンド応答受付部）へ通知する。アプリケーション制御部２２は、アプリケーションとのやりとりだけでなく、ＧＰＳ(Global Positioning System)センサ、加速度センサ、バッテリー残量計測などのセンサを制御することもできる。
[Application control unit 22]
The
ここで、エージェント部２１におけるキャラクタと、アプリケーション制御部２２におけるサービス機能アプリケーションとは、ディスプレイの画面を分割して表示される。ここで、ユーザ操作に応じて、キャラクタのみの画面にして、サービス機能アプリケーションの機能を一時的に隠すこともできる。同様に、サービス機能アプリケーションのみの画面にして、エージェントの機能を一時的に隠すこともできる。
Here, the character in the
図４は、本発明における音声対話とユーザ操作とが連携して進行する対話シナリオを表す説明図である。 FIG. 4 is an explanatory diagram showing a dialogue scenario in which voice dialogue and user operation in the present invention proceed in cooperation.
図４によれば、アラーム設定の対話ノードの進行が表されている。アラーム設定には、以下のような３つの対話ノードが構成されている。
（ａ）時間設定 ：質問文「何時に設定しますか？」
（ｂ）リピート設定：質問文「リピートしますか？」
（ｃ）音設定 ：質問文「アラーム音は何にしますか？」
これら全ての対話ノードが実行された後、アラーム設定の終了となる。
FIG. 4 shows the progress of the dialog node for alarm setting. In the alarm setting, the following three interactive nodes are configured.
(A) Time setting: Question “What time do you set?”
(B) Repeat setting: Question “Do you want to repeat?”
(C) Sound setting: Question “What is the alarm sound?”
After all these dialog nodes are executed, the alarm setting is completed.
図４によれば、以下のようにシナリオが進行している。
（Ｓ１） システム ：声「何のご用でしょうか？」
ユーザ ：声「アラーム時間を設定したい」
−−−［アラーム設定］−−−
（Ｓ２） システム ：声「何時に設定しますか？」
ユーザ ：声「１２時」
（システム）※誤って「２２時」と認識して表示する
（Ｓ３） システム ：声「リピートしますか？」
（Ｓ３１）（ユーザ）：※操作によって「１２時」に設定する
（Ｓ３２）（ユーザ）：※操作によって「毎日」に設定する
（Ｓ４） システム ：声「アラーム音は何にしますか？」
ユーザ ：声「今までと同じ」
According to FIG. 4, the scenario proceeds as follows.
(S1) System: Voice “What do you use?”
User: Voice “I want to set the alarm time”
−−− [Alarm setting] −−−
(S2) System: Voice “What time do you set?”
User: Voice “12:00”
(System) * "22:00" is recognized and displayed by mistake (S3) System: Voice "Do you want to repeat?"
(S31) (User): * Set to "12:00" by operation (S32) (User): * Set to "Daily" by operation (S4) System: Voice "What is the alarm sound?"
User: Voice “Same as before”
図５は、図４のＳ１における端末の表示画面である。 FIG. 5 is a display screen of the terminal in S1 of FIG.
対話シナリオ進行部１１は、対話コマンド要求発行部１２へ、質問文「何のご用でしょうか？」を出力する。対話コマンド要求発行部１２は、その質問文を含む対話コマンド要求を、エージェント部２１へ送信する。エージェント部２１は、その質問文をスピーカから発声する。
（Ｓ１） システム：声「何のご用でしょうか？」
ユーザ ：声「アラーム時間を設定したい」
The dialogue
(S1) System: Voice “What do you use?”
User: Voice “I want to set the alarm time”
これに対し、ユーザが、声で「アラーム時間を設定したい」と発声したとする。この声は、マイクによって取得され、エージェント部２１へ出力される。エージェント部２１は、その音声情報を、音声認識及び意味解析によって文（回答文）に変換する。ここで、エージェント部２１は、アラーム設定アプリケーションの起動と理解し、コマンド［UNDERSTAND_EVENT_START -> |setalarmtime|］を含む対話コマンド応答を、対話コマンド応答受付部１３へ送信する。
On the other hand, it is assumed that the user utters “I want to set an alarm time” by voice. This voice is acquired by the microphone and output to the
図６は、図４のＳ２における端末の表示画面である。 FIG. 6 is a display screen of the terminal in S2 of FIG.
次に、対話シナリオ進行部１１は、対話コマンド要求発行部１２へ、アラーム設定アプリケーションの起動を表すコマンド［ALARM_SETTIME_START］を出力する。対話コマンド要求発行部１２は、そのコマンドを含む対話コマンド要求を、アプリケーション制御部２２へ送信する。これによって、アプリケーション制御部２２は、アラーム設定アプリケーションを起動する。
Next, the dialogue
図６によれば、ディスプレイの上半分にはアラーム設定アプリケーションが表示され、下半分にはエージェントが表示されている。尚、ユーザ操作に応じて、アラーム設定アプリケーションのみ、又は、エージェントのみの表示への切り替えることもできる。 According to FIG. 6, the alarm setting application is displayed on the upper half of the display, and the agent is displayed on the lower half. It should be noted that the display can be switched to only the alarm setting application or only the agent according to the user operation.
対話シナリオ進行部１１は、対話状態遷移を更新し、次の対話ノードには、設定時間を尋ねる文（質問文）に基づくコマンドが含まれているとする。対話シナリオ進行部１１は、そのコマンドを対話コマンド要求発行部１２へ出力し、対話コマンド要求発行部１２は、そのコマンドを含む対話コマンド要求を、ユーザプログラム２へ送信する。ユーザプログラム２は、その対話コマンド要求のコマンドに対応する質問文「何時に設定しますか？」を、音声合成によって音声信号に変換する。そして、エージェント部２１が、その質問文をスピーカから発声する。
（Ｓ２） システム：声「何時に設定しますか？」
ユーザ ：声「１２時」
It is assumed that the dialogue
(S2) System: Voice “What time do you set?”
User: Voice “12:00”
これに対し、ユーザが、声で「１２時」と発声したとする。この声は、マイクによって取得され、エージェント部２１へ出力される。ここで、エージェント部２１は、その音声情報を、音声認識及び意味解析によって、誤って「２２時」と認識したとする。
（システム）※誤って「２２時」と認識して表示する
そして、エージェント部２１は、コマンド［ALARM_SETTIME_START->|22:00|］を、対話プログラム１の対話コマンド応答受付部１３へ送信する。対話コマンド応答受付部１３は、対話シナリオ進行部１１へ、コマンド［ALARM_SETTIME_START->|22:00|］を出力する。対話シナリオ進行部１１は、ユーザがアラームを「２２時」に設定したと判断する。
On the other hand, it is assumed that the user utters “12 o'clock” by voice. This voice is acquired by the microphone and output to the
(System) * “22:00” is erroneously recognized and displayed. Then, the
これに対し、対話プログラム１の対話シナリオ進行部１１は、コマンド［ALARM_SETTIME_START->|22:00|］を対話コマンド要求発行部１２へ出力し、対話コマンド要求発行部１２は、そのコマンドを含む対話コマンド要求を、ユーザプログラム２のアプリケーション制御部２２へ送信する。これによって、アプリケーション制御部２２は、アプリケーションに対して「２２時」を設定する。この設定は、ディスプレイに表示されたアプリケーションにも明示される。
On the other hand, the dialogue
図７は、図４のＳ３における端末の表示画面である。 FIG. 7 is a display screen of the terminal in S3 of FIG.
対話シナリオ進行部１１は、対話状態遷移を更新し、次の対話ノードには、アラームの繰り返しを尋ねる文（質問文）に基づくコマンドが含まれているとする。対話シナリオ進行部１１は、対話コマンド要求発行部１２へ、質問文「リピートしますか？」に基づくコマンドを出力し、対話コマンド要求発行部１２は、そのコマンドを含む対話コマンド要求を、ユーザプログラム２のエージェント部２１へ送信する。エージェント部２１は、その対話コマンド要求のコマンドに対応する質問文を、音声合成によってスピーカから発声する。
（Ｓ３） システム ：声「リピートしますか？」
It is assumed that the dialogue
(S3) System: Voice “Do you want to repeat?”
しかしながら、ユーザは、ディスプレイに表示されたアラーム設定「２２時」を見て、音声認識で誤ったことを知る。そこで、ユーザは、タッチパネルディスプレイに対する「ユーザ操作」によって、「１２時」に変更したとする。
（Ｓ３１）（ユーザ）：※操作によって「１２時」に設定する
この操作を検知したアプリケーション制御部２２は、対話コマンド応答受付部１３へ、コマンド［ALARM_SETTIME_START->|12:00|］を含む対話コマンド応答を送信する。対話コマンド応答受付部１３は、そのコマンドを対話シナリオ進行部１１へ出力する。対話シナリオ進行部１１は、ユーザがアラームを「１２時」に設定したと判断し、次の対話ノードへ進行する。
However, the user sees the alarm setting “22:00” displayed on the display and knows that the voice recognition is incorrect. Therefore, it is assumed that the user has changed to “12:00” by “user operation” on the touch panel display.
(S31) (User): * Set to “12 o'clock by operation” The
このように、本発明によれば、音声認識に失敗した場合であっても、アプリケーションい対するユーザ操作（例えばタッチ操作）に切り替えたとしても、対話シナリオを進行させることができる。 As described above, according to the present invention, even when voice recognition fails, even when switching to a user operation (for example, a touch operation) for an application, the conversation scenario can be advanced.
更に、ユーザは、タッチパネルディスプレイに対する「ユーザ操作」によって、「毎日」に変更したとする。
（Ｓ３２）（ユーザ）：※操作によって「毎日」に設定する
この操作を検知したアプリケーション制御部２２は、対話プログラム１の対話コマンド応答受付部１３へ、コマンド［ALARM_SETREPEAT_START | everyday］を送信する。対話コマンド応答受付部１３は、そのコマンドを対話シナリオ進行部１１へ出力する。対話シナリオ進行部１１は、ユーザがアラームの繰り返しを「毎日」に設定したと判断し、次の対話ノードへ進行する。
Furthermore, it is assumed that the user changes to “every day” by “user operation” on the touch panel display.
(S32) (User): * Set to “daily” by operation The
図８は、図４のＳ４における端末の表示画面である。 FIG. 8 is a display screen of the terminal in S4 of FIG.
対話シナリオ進行部１１は、対話状態遷移を更新し、次の対話ノードには、アラーム音を尋ねる文（質問文）に基づくコマンドが含まれているとする。対話シナリオ進行部１１は、対話コマンド要求発行部１２へ、質問文「アラーム音は何にしますか？」に基づくコマンドを出力し、対話コマンド要求発行部１２は、そのコマンドを含む対話コマンド要求を、ユーザプログラム２のエージェント部２１へ送信する。エージェント部２１は、その対話コマンド要求のコマンドに対応する質問文を、音声合成によってスピーカから発声する。
（Ｓ４） システム：声「アラーム音は何にしますか？」
ユーザ： 声「今までと同じ」
It is assumed that the dialogue
(S4) System: Voice “What will the alarm sound be?”
User: Voice “Same as before”
これに対し、ユーザが、声で「今までと同じ」と発声したとする。この声は、マイクによって取得され、エージェント部２１へ出力される。エージェント部２１は、音声認識及び意味解析によって回答文を認識し、その回答文に基づくコマンド［UNDERSTAND_ALARM_MUSIC | crruntsetting］を含む対話コマンド応答を、対話コマンド応答受付部１３へ送信する。ここで、対話コマンド応答受付部１３は、対話コマンド応答に含まれるコマンドを、対話シナリオ進行部１１へ通知する。対話シナリオ進行部１１は、ユーザがアラーム音を「今までと同じ」に設定したと判断し、次の対話ノードへ進行する。
On the other hand, it is assumed that the user utters “same as before” by voice. This voice is acquired by the microphone and output to the
以上、詳細に説明したように、本発明の対話プログラム、装置、サーバ及び方法によれば、対話シナリオの進行の中で、既存のアプリケーションに対するユーザの操作を、ユーザの回答として認識することができる。即ち、アプリケーションに対するユーザの操作であっても、音声対話のシナリオを進行させることができる。 As described above in detail, according to the interactive program, apparatus, server, and method of the present invention, the user's operation on the existing application can be recognized as the user's answer during the progress of the interactive scenario. . That is, even a user operation on an application can proceed with a voice conversation scenario.
尚、本発明は、ユーザ操作に基づく端末のディスプレイに「キャラクタエージェント」を表示し、ユーザとエージェントとが音声による対話を進める、音声対話システムに適する。勿論、本発明は、音声対話に限定されるものではなく、テキスト対話であってもよい。 The present invention is suitable for a voice dialogue system in which a “character agent” is displayed on a display of a terminal based on a user operation, and a dialogue between the user and the agent advances by voice. Of course, the present invention is not limited to a voice dialogue, but may be a text dialogue.
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。 Various changes, modifications, and omissions of the above-described various embodiments of the present invention can be easily made by those skilled in the art. The above description is merely an example, and is not intended to be restrictive. The invention is limited only as defined in the following claims and the equivalents thereto.
１ 対話プログラム
１０ 対話シナリオ蓄積部
１１ 対話シナリオ進行部
１２ 対話コマンド要求発行部
１３ 対話コマンド応答受付部
２ ユーザプログラム
２１ エージェント部
２２ アプリケーション制御部
DESCRIPTION OF SYMBOLS 1
Claims (10)
ユーザへ明示すべき文を対応付けた複数の対話ノードを蓄積し、一部の対話ノードには、ユーザ操作を要するアプリケーションへ指示する対話コマンド要求が対応付けられている対話シナリオ蓄積手段と、
前記対話シナリオ蓄積手段を用いて、対話ノードを遷移しながらシナリオを進行する対話シナリオ進行手段と、
前記対話シナリオ進行手段によって、対話コマンド要求が対応付けられた対話ノードが実行された際、当該対話コマンド要求を発行する対話コマンド要求発行手段と、
前記対話コマンド要求を指示された当該アプリケーションから、ユーザ操作内容を表す対話コマンド応答を受け付ける対話コマンド応答受付手段と
してコンピュータを機能させ、
前記対話シナリオ進行手段は、ユーザによって回答された文、又は、前記対話コマンド応答のユーザ操作内容、に基づいて前記対話シナリオを進行する
ようにコンピュータを機能させることを特徴とする対話プログラム。 An interactive program that causes a computer to function to proceed with a scenario interactively with a user,
A plurality of dialog nodes associated with a statement to be clearly indicated to a user, and a dialog scenario storing unit in which a dialog command request instructing an application requiring a user operation is associated with some dialog nodes;
Dialog scenario advancing means for advancing a scenario while transitioning dialog nodes using the dialog scenario storage means;
A dialog command request issuing means for issuing a dialog command request when the dialog node associated with the dialog command request is executed by the dialog scenario advancing means;
Causing the computer to function as an interactive command response accepting unit for accepting an interactive command response representing the user operation content from the application instructed by the interactive command request;
The dialogue scenario proceeding unit causes the computer to function to advance the dialogue scenario based on a sentence answered by a user or a user operation content of the dialogue command response.
前記対話コマンド応答受付手段は、ユーザによって回答された文を含む対話コマンド応答を受け付ける
ようにコンピュータを更に機能させることを特徴とする請求項１又は２に記載の対話プログラム。 The dialog command request issuing means issues a dialog command request including a sentence associated with the dialog node executed by the dialog scenario advancing means,
The interactive program according to claim 1 or 2, wherein the interactive command response accepting unit further causes the computer to function to accept an interactive command response including a sentence answered by the user.
キャラクタエージェントをディスプレイに表示すると共に、前記対話シナリオ進行手段によって進行中の対話ノードに対応付けられた文を明示し、ユーザから取得した文を前記対話シナリオ進行手段へ通知するエージェント手段と、
前記対話コマンド要求に応じたアプリケーションへ指示し、ユーザ操作内容を表す対応コマンド応答を前記対話コマンド応答受付手段へ通知するアプリケーション制御手段と
してコンピュータを機能させることを特徴とするユーザプログラム。 A user program for communicating with the dialogue program according to any one of claims 1 to 3,
Agent means for displaying a character agent on a display, clearly indicating a sentence associated with a dialog node in progress by the dialog scenario progress means, and notifying the dialog scenario progress means of a sentence acquired from a user;
A user program for instructing an application in response to the interactive command request and causing the computer to function as an application control means for notifying the interactive command response accepting means of a corresponding command response representing a user operation content.
前記端末へ送信すべき文を対応付けた複数の対話ノードを蓄積し、一部の対話ノードには、ユーザ操作を要するアプリケーションへ指示する対話コマンド要求が対応付けられている対話シナリオ蓄積手段と、
前記対話シナリオ蓄積手段を用いて、対話ノードを遷移しながらシナリオを進行する対話シナリオ進行手段と、
前記対話シナリオ進行手段によって、対話コマンド要求が対応付けられた対話ノードが実行された際、当該対話コマンド要求を前記端末へ送信する対話コマンド要求発行手段と、
前記対話コマンド要求を指示された当該アプリケーションから、ユーザ操作内容を表す対話コマンド応答を受信する対話コマンド応答受付手段と、
キャラクタエージェントをディスプレイに表示すると共に、前記対話シナリオ進行手段によって進行中の対話ノードに対応付けられた文を明示し、ユーザから取得した文を前記対話シナリオ進行手段へ通知するエージェント手段と、
前記対話コマンド応答手段から発行された前記対話コマンド要求に応じたアプリケーションへ指示し、ユーザ操作内容を表す対応コマンド応答を前記対話コマンド応答受付手段へ通知するアプリケーション制御手段と
を有し、
前記対話シナリオ進行手段は、前記端末から受信した、ユーザによって回答された文、又は、前記対話コマンド応答のユーザ操作内容に基づいて、前記対話シナリオを進行する
ことを特徴とする装置。 A device that communicates with a terminal based on a user operation and interactively proceeds with a scenario through the terminal,
A plurality of dialog nodes associated with a sentence to be transmitted to the terminal, and a dialog scenario storage unit in which a dialog command request instructing an application requiring a user operation is associated with some dialog nodes;
Dialog scenario advancing means for advancing a scenario while transitioning dialog nodes using the dialog scenario storage means;
A dialog command request issuing means for transmitting the dialog command request to the terminal when the dialog node associated with the dialog command request is executed by the dialog scenario advancing means;
Dialog command response accepting means for receiving a dialog command response representing the user operation content from the application instructed by the dialog command request;
Agent means for displaying a character agent on a display, clearly indicating a sentence associated with a dialog node in progress by the dialog scenario progress means, and notifying the dialog scenario progress means of a sentence acquired from a user;
Application control means for instructing the application in response to the interactive command request issued from the interactive command response means, and notifying the interactive command response accepting means of a corresponding command response representing the user operation content;
The dialog scenario advancing means advances the dialog scenario based on a sentence received by the user and received from the terminal or based on a user operation content of the dialog command response.
前記端末へ送信すべき文を対応付けた複数の対話ノードを蓄積し、一部の対話ノードには、ユーザ操作を要するアプリケーションへ指示する対話コマンド要求が対応付けられている対話シナリオ蓄積手段と、
前記対話シナリオ蓄積手段を用いて、対話ノードを遷移しながらシナリオを進行する対話シナリオ進行手段と、
前記対話シナリオ進行手段によって、対話コマンド要求が対応付けられた対話ノードが実行された際、当該対話コマンド要求を前記端末へ送信する対話コマンド要求発行手段と、
前記対話コマンド要求を指示された当該アプリケーションから、ユーザ操作内容を表す対話コマンド応答を受信する対話コマンド応答受付手段と
を有し、
前記対話シナリオ進行手段は、前記端末から受信した、ユーザによって回答された文、又は、前記対話コマンド応答のユーザ操作内容に基づいて、前記対話シナリオを進行する
ことを特徴とする対話サーバ。 A dialog server that communicates with a terminal based on a user operation and interactively proceeds with a scenario through the terminal.
A plurality of dialog nodes associated with a sentence to be transmitted to the terminal, and a dialog scenario storage unit in which a dialog command request instructing an application requiring a user operation is associated with some dialog nodes;
Dialog scenario advancing means for advancing a scenario while transitioning dialog nodes using the dialog scenario storage means;
A dialog command request issuing means for transmitting the dialog command request to the terminal when the dialog node associated with the dialog command request is executed by the dialog scenario advancing means;
Dialog command response accepting means for receiving a dialog command response representing the user operation content from the application instructed to perform the dialog command request;
The dialogue server, wherein the dialogue scenario progression means advances the dialogue scenario based on a sentence received from the terminal and answered by a user or a user operation content of the dialogue command response.
前記対話サーバは、前記端末へ送信すべき文を対応付けた複数の対話ノードを蓄積し、一部の対話ノードには、ユーザ操作を要するアプリケーションへ指示する対話コマンド要求が対応付けられている対話シナリオ蓄積部を有し、
前記対話サーバは、
前記対話シナリオ蓄積部を用いて、対話ノードを遷移しながらシナリオを進行する中で、
対話コマンド要求が対応付けられた対話ノードが実行された際、当該対話コマンド要求を前記端末へ送信する第１のステップと、
前記対話コマンド要求を指示された当該アプリケーションから、ユーザ操作内容を表す対話コマンド応答を受信する第２のステップと、
前記端末から受信した、ユーザによって回答された文、又は、前記対話コマンド応答のユーザ操作内容に基づいて、前記対話シナリオを進行する第３のステップと
を有することを特徴とする対話方法。 A dialogue method in a system having a terminal based on a user operation and a dialogue server that interactively progresses a scenario with the user through the terminal,
The dialogue server stores a plurality of dialogue nodes associated with sentences to be transmitted to the terminal, and some dialogue nodes are associated with dialogue command requests for instructing an application that requires user operation. Has a scenario storage unit,
The dialogue server
While proceeding with a scenario while transitioning dialog nodes using the dialog scenario storage unit,
A first step of transmitting the dialogue command request to the terminal when the dialogue node associated with the dialogue command request is executed;
A second step of receiving an interactive command response representing the contents of the user operation from the application instructed by the interactive command request;
And a third step of proceeding with the dialogue scenario based on a sentence received from the terminal and answered by a user or a user operation content of the dialogue command response.
キャラクタエージェントをディスプレイに表示すると共に、前記対話シナリオ進行手段によって進行中の対話ノードに対応付けられた文を明示し、ユーザから取得した文を前記対話サーバへ通知し、
前記対話コマンド要求に応じたアプリケーションへ指示し、ユーザ操作内容を表す対応コマンド応答を前記対話コマンド応答受付手段へ通知する
ことを特徴とする請求項９に記載の対話方法。 For the first step, the terminal
Displaying the character agent on the display, specifying the sentence associated with the dialog node in progress by the dialog scenario advancing means, and notifying the dialog server of the sentence acquired from the user;
The interactive method according to claim 9, wherein the interactive command is instructed to an application in response to the interactive command request, and a corresponding command response representing a user operation content is notified to the interactive command response receiving unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013068523A JP6115941B2 (en) | 2013-03-28 | 2013-03-28 | Dialog program, server and method for reflecting user operation in dialog scenario |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013068523A JP6115941B2 (en) | 2013-03-28 | 2013-03-28 | Dialog program, server and method for reflecting user operation in dialog scenario |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014191272A true JP2014191272A (en) | 2014-10-06 |
| JP6115941B2 JP6115941B2 (en) | 2017-04-19 |
Family
ID=51837540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013068523A Active JP6115941B2 (en) | 2013-03-28 | 2013-03-28 | Dialog program, server and method for reflecting user operation in dialog scenario |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6115941B2 (en) |
Cited By (67)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180084582A (en) * | 2017-01-16 | 2018-07-25 | 주식회사 케이티 | Public device and method for providing service in response to voice command, and public device for providing moving character in response to voice command |
| US10311877B2 (en) | 2016-07-04 | 2019-06-04 | Kt Corporation | Performing tasks and returning audio and visual answers based on voice command |
| US10650816B2 (en) | 2017-01-16 | 2020-05-12 | Kt Corporation | Performing tasks and returning audio and visual feedbacks based on voice command |
| JP2020077364A (en) * | 2017-01-09 | 2020-05-21 | アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． | Application integration with digital assistant |
| US10726836B2 (en) | 2016-08-12 | 2020-07-28 | Kt Corporation | Providing audio and video feedback with character based on voice command |
| JP2020526812A (en) * | 2017-07-03 | 2020-08-31 | グーグル エルエルシー | Get response information from multiple corpora |
| US10978090B2 (en) | 2013-02-07 | 2021-04-13 | Apple Inc. | Voice trigger for a digital assistant |
| US10984798B2 (en) | 2018-06-01 | 2021-04-20 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
| US11009970B2 (en) | 2018-06-01 | 2021-05-18 | Apple Inc. | Attention aware virtual assistant dismissal |
| US11037565B2 (en) | 2016-06-10 | 2021-06-15 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US11070949B2 (en) | 2015-05-27 | 2021-07-20 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display |
| US11087759B2 (en) | 2015-03-08 | 2021-08-10 | Apple Inc. | Virtual assistant activation |
| US11120372B2 (en) | 2011-06-03 | 2021-09-14 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
| US11126400B2 (en) | 2015-09-08 | 2021-09-21 | Apple Inc. | Zero latency digital assistant |
| US11133008B2 (en) | 2014-05-30 | 2021-09-28 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US11152002B2 (en) | 2016-06-11 | 2021-10-19 | Apple Inc. | Application integration with a digital assistant |
| US11169616B2 (en) | 2018-05-07 | 2021-11-09 | Apple Inc. | Raise to speak |
| US11237797B2 (en) | 2019-05-31 | 2022-02-01 | Apple Inc. | User activity shortcut suggestions |
| US11257504B2 (en) | 2014-05-30 | 2022-02-22 | Apple Inc. | Intelligent assistant for home automation |
| US11321116B2 (en) | 2012-05-15 | 2022-05-03 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
| US11348582B2 (en) | 2008-10-02 | 2022-05-31 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| US11380310B2 (en) | 2017-05-12 | 2022-07-05 | Apple Inc. | Low-latency intelligent automated assistant |
| US11388291B2 (en) | 2013-03-14 | 2022-07-12 | Apple Inc. | System and method for processing voicemail |
| US11405466B2 (en) | 2017-05-12 | 2022-08-02 | Apple Inc. | Synchronization and task delegation of a digital assistant |
| US11423886B2 (en) | 2010-01-18 | 2022-08-23 | Apple Inc. | Task flow identification based on user intent |
| US11431642B2 (en) | 2018-06-01 | 2022-08-30 | Apple Inc. | Variable latency device coordination |
| US11467802B2 (en) | 2017-05-11 | 2022-10-11 | Apple Inc. | Maintaining privacy of personal information |
| US11500672B2 (en) | 2015-09-08 | 2022-11-15 | Apple Inc. | Distributed personal assistant |
| US11516537B2 (en) | 2014-06-30 | 2022-11-29 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US11526368B2 (en) | 2015-11-06 | 2022-12-13 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US11532306B2 (en) | 2017-05-16 | 2022-12-20 | Apple Inc. | Detecting a trigger of a digital assistant |
| US11580990B2 (en) | 2017-05-12 | 2023-02-14 | Apple Inc. | User-specific acoustic models |
| US11599331B2 (en) | 2017-05-11 | 2023-03-07 | Apple Inc. | Maintaining privacy of personal information |
| US11657813B2 (en) | 2019-05-31 | 2023-05-23 | Apple Inc. | Voice identification in digital assistant systems |
| US11670289B2 (en) | 2014-05-30 | 2023-06-06 | Apple Inc. | Multi-command single utterance input method |
| US11671920B2 (en) | 2007-04-03 | 2023-06-06 | Apple Inc. | Method and system for operating a multifunction portable electronic device using voice-activation |
| US11675829B2 (en) | 2017-05-16 | 2023-06-13 | Apple Inc. | Intelligent automated assistant for media exploration |
| US11675491B2 (en) | 2019-05-06 | 2023-06-13 | Apple Inc. | User configurable task triggers |
| US11696060B2 (en) | 2020-07-21 | 2023-07-04 | Apple Inc. | User identification using headphones |
| US11705130B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | Spoken notifications |
| US11710482B2 (en) | 2018-03-26 | 2023-07-25 | Apple Inc. | Natural assistant interaction |
| US11727219B2 (en) | 2013-06-09 | 2023-08-15 | Apple Inc. | System and method for inferring user intent from speech inputs |
| US11765209B2 (en) | 2020-05-11 | 2023-09-19 | Apple Inc. | Digital assistant hardware abstraction |
| US11783815B2 (en) | 2019-03-18 | 2023-10-10 | Apple Inc. | Multimodality in digital assistant systems |
| US11790914B2 (en) | 2019-06-01 | 2023-10-17 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
| US11798547B2 (en) | 2013-03-15 | 2023-10-24 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
| US11809483B2 (en) | 2015-09-08 | 2023-11-07 | Apple Inc. | Intelligent automated assistant for media search and playback |
| US11809783B2 (en) | 2016-06-11 | 2023-11-07 | Apple Inc. | Intelligent device arbitration and control |
| US11838734B2 (en) | 2020-07-20 | 2023-12-05 | Apple Inc. | Multi-device audio adjustment coordination |
| US11853536B2 (en) | 2015-09-08 | 2023-12-26 | Apple Inc. | Intelligent automated assistant in a media environment |
| US11853647B2 (en) | 2015-12-23 | 2023-12-26 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US11854539B2 (en) | 2018-05-07 | 2023-12-26 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
| US11886805B2 (en) | 2015-11-09 | 2024-01-30 | Apple Inc. | Unconventional virtual assistant interactions |
| US11888791B2 (en) | 2019-05-21 | 2024-01-30 | Apple Inc. | Providing message response suggestions |
| US11893992B2 (en) | 2018-09-28 | 2024-02-06 | Apple Inc. | Multi-modal inputs for voice commands |
| US11914848B2 (en) | 2020-05-11 | 2024-02-27 | Apple Inc. | Providing relevant data items based on context |
| US11947873B2 (en) | 2015-06-29 | 2024-04-02 | Apple Inc. | Virtual assistant for media playback |
| US12001933B2 (en) | 2015-05-15 | 2024-06-04 | Apple Inc. | Virtual assistant in a communication session |
| US12010262B2 (en) | 2013-08-06 | 2024-06-11 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
| US12014118B2 (en) | 2017-05-15 | 2024-06-18 | Apple Inc. | Multi-modal interfaces having selection disambiguation and text modification capability |
| US12051413B2 (en) | 2015-09-30 | 2024-07-30 | Apple Inc. | Intelligent device identification |
| US12067985B2 (en) | 2018-06-01 | 2024-08-20 | Apple Inc. | Virtual assistant operations in multi-device environments |
| US12073147B2 (en) | 2013-06-09 | 2024-08-27 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
| US12087308B2 (en) | 2010-01-18 | 2024-09-10 | Apple Inc. | Intelligent automated assistant |
| US12197817B2 (en) | 2016-06-11 | 2025-01-14 | Apple Inc. | Intelligent device arbitration and control |
| US12223282B2 (en) | 2016-06-09 | 2025-02-11 | Apple Inc. | Intelligent automated assistant in a home environment |
| US12254887B2 (en) | 2017-05-16 | 2025-03-18 | Apple Inc. | Far-field extension of digital assistant services for providing a notification of an event to a user |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0991112A (en) * | 1995-07-19 | 1997-04-04 | Toshiba Corp | Multimodal interactive device and interactive method |
| JP2001056694A (en) * | 1999-08-19 | 2001-02-27 | Denso Corp | Interactive user interface device |
| JP2001296943A (en) * | 2000-04-14 | 2001-10-26 | Denso Corp | Interactive user interface device |
| JP2003005786A (en) * | 2001-06-18 | 2003-01-08 | Oki Electric Ind Co Ltd | Voice conversation interface apparatus |
| JP2003316385A (en) * | 2002-04-24 | 2003-11-07 | Hitachi Ltd | Voice interaction system and voice interaction method |
| JP2006099424A (en) * | 2004-09-29 | 2006-04-13 | Hitachi Ltd | Voice information service system and voice information service terminal |
| JP2006349954A (en) * | 2005-06-15 | 2006-12-28 | Fujitsu Ltd | Dialog system |
| WO2007138741A1 (en) * | 2006-05-26 | 2007-12-06 | Nec Corporation | Voice input system, interactive robot, voice input method, and voice input program |
| US20120316871A1 (en) * | 2011-06-13 | 2012-12-13 | Detlef Koll | Speech Recognition Using Loosely Coupled Components |
-
2013
- 2013-03-28 JP JP2013068523A patent/JP6115941B2/en active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0991112A (en) * | 1995-07-19 | 1997-04-04 | Toshiba Corp | Multimodal interactive device and interactive method |
| JP2001056694A (en) * | 1999-08-19 | 2001-02-27 | Denso Corp | Interactive user interface device |
| JP2001296943A (en) * | 2000-04-14 | 2001-10-26 | Denso Corp | Interactive user interface device |
| JP2003005786A (en) * | 2001-06-18 | 2003-01-08 | Oki Electric Ind Co Ltd | Voice conversation interface apparatus |
| JP2003316385A (en) * | 2002-04-24 | 2003-11-07 | Hitachi Ltd | Voice interaction system and voice interaction method |
| JP2006099424A (en) * | 2004-09-29 | 2006-04-13 | Hitachi Ltd | Voice information service system and voice information service terminal |
| JP2006349954A (en) * | 2005-06-15 | 2006-12-28 | Fujitsu Ltd | Dialog system |
| WO2007138741A1 (en) * | 2006-05-26 | 2007-12-06 | Nec Corporation | Voice input system, interactive robot, voice input method, and voice input program |
| US20120316871A1 (en) * | 2011-06-13 | 2012-12-13 | Detlef Koll | Speech Recognition Using Loosely Coupled Components |
| JP2014519627A (en) * | 2011-06-13 | 2014-08-14 | エムモーダル アイピー エルエルシー | Speech recognition using loosely coupled components |
Cited By (115)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11979836B2 (en) | 2007-04-03 | 2024-05-07 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| US11671920B2 (en) | 2007-04-03 | 2023-06-06 | Apple Inc. | Method and system for operating a multifunction portable electronic device using voice-activation |
| US11348582B2 (en) | 2008-10-02 | 2022-05-31 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| US11900936B2 (en) | 2008-10-02 | 2024-02-13 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| US12087308B2 (en) | 2010-01-18 | 2024-09-10 | Apple Inc. | Intelligent automated assistant |
| US11423886B2 (en) | 2010-01-18 | 2022-08-23 | Apple Inc. | Task flow identification based on user intent |
| US12165635B2 (en) | 2010-01-18 | 2024-12-10 | Apple Inc. | Intelligent automated assistant |
| US11120372B2 (en) | 2011-06-03 | 2021-09-14 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
| US11321116B2 (en) | 2012-05-15 | 2022-05-03 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
| US10978090B2 (en) | 2013-02-07 | 2021-04-13 | Apple Inc. | Voice trigger for a digital assistant |
| US11862186B2 (en) | 2013-02-07 | 2024-01-02 | Apple Inc. | Voice trigger for a digital assistant |
| US11636869B2 (en) | 2013-02-07 | 2023-04-25 | Apple Inc. | Voice trigger for a digital assistant |
| US11557310B2 (en) | 2013-02-07 | 2023-01-17 | Apple Inc. | Voice trigger for a digital assistant |
| US12009007B2 (en) | 2013-02-07 | 2024-06-11 | Apple Inc. | Voice trigger for a digital assistant |
| US11388291B2 (en) | 2013-03-14 | 2022-07-12 | Apple Inc. | System and method for processing voicemail |
| US11798547B2 (en) | 2013-03-15 | 2023-10-24 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
| US11727219B2 (en) | 2013-06-09 | 2023-08-15 | Apple Inc. | System and method for inferring user intent from speech inputs |
| US12073147B2 (en) | 2013-06-09 | 2024-08-27 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
| US12010262B2 (en) | 2013-08-06 | 2024-06-11 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
| US12067990B2 (en) | 2014-05-30 | 2024-08-20 | Apple Inc. | Intelligent assistant for home automation |
| US12118999B2 (en) | 2014-05-30 | 2024-10-15 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US11257504B2 (en) | 2014-05-30 | 2022-02-22 | Apple Inc. | Intelligent assistant for home automation |
| US11670289B2 (en) | 2014-05-30 | 2023-06-06 | Apple Inc. | Multi-command single utterance input method |
| US11133008B2 (en) | 2014-05-30 | 2021-09-28 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US11810562B2 (en) | 2014-05-30 | 2023-11-07 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US11699448B2 (en) | 2014-05-30 | 2023-07-11 | Apple Inc. | Intelligent assistant for home automation |
| US12200297B2 (en) | 2014-06-30 | 2025-01-14 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US11516537B2 (en) | 2014-06-30 | 2022-11-29 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US11838579B2 (en) | 2014-06-30 | 2023-12-05 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US11087759B2 (en) | 2015-03-08 | 2021-08-10 | Apple Inc. | Virtual assistant activation |
| US11842734B2 (en) | 2015-03-08 | 2023-12-12 | Apple Inc. | Virtual assistant activation |
| US12236952B2 (en) | 2015-03-08 | 2025-02-25 | Apple Inc. | Virtual assistant activation |
| US12154016B2 (en) | 2015-05-15 | 2024-11-26 | Apple Inc. | Virtual assistant in a communication session |
| US12001933B2 (en) | 2015-05-15 | 2024-06-04 | Apple Inc. | Virtual assistant in a communication session |
| US11070949B2 (en) | 2015-05-27 | 2021-07-20 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display |
| US11947873B2 (en) | 2015-06-29 | 2024-04-02 | Apple Inc. | Virtual assistant for media playback |
| US11809483B2 (en) | 2015-09-08 | 2023-11-07 | Apple Inc. | Intelligent automated assistant for media search and playback |
| US12204932B2 (en) | 2015-09-08 | 2025-01-21 | Apple Inc. | Distributed personal assistant |
| US11550542B2 (en) | 2015-09-08 | 2023-01-10 | Apple Inc. | Zero latency digital assistant |
| US11126400B2 (en) | 2015-09-08 | 2021-09-21 | Apple Inc. | Zero latency digital assistant |
| US11853536B2 (en) | 2015-09-08 | 2023-12-26 | Apple Inc. | Intelligent automated assistant in a media environment |
| US11954405B2 (en) | 2015-09-08 | 2024-04-09 | Apple Inc. | Zero latency digital assistant |
| US11500672B2 (en) | 2015-09-08 | 2022-11-15 | Apple Inc. | Distributed personal assistant |
| US12051413B2 (en) | 2015-09-30 | 2024-07-30 | Apple Inc. | Intelligent device identification |
| US11526368B2 (en) | 2015-11-06 | 2022-12-13 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US11809886B2 (en) | 2015-11-06 | 2023-11-07 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US11886805B2 (en) | 2015-11-09 | 2024-01-30 | Apple Inc. | Unconventional virtual assistant interactions |
| US11853647B2 (en) | 2015-12-23 | 2023-12-26 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US12223282B2 (en) | 2016-06-09 | 2025-02-11 | Apple Inc. | Intelligent automated assistant in a home environment |
| US12175977B2 (en) | 2016-06-10 | 2024-12-24 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US11657820B2 (en) | 2016-06-10 | 2023-05-23 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US11037565B2 (en) | 2016-06-10 | 2021-06-15 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US11749275B2 (en) | 2016-06-11 | 2023-09-05 | Apple Inc. | Application integration with a digital assistant |
| US11809783B2 (en) | 2016-06-11 | 2023-11-07 | Apple Inc. | Intelligent device arbitration and control |
| US12197817B2 (en) | 2016-06-11 | 2025-01-14 | Apple Inc. | Intelligent device arbitration and control |
| US11152002B2 (en) | 2016-06-11 | 2021-10-19 | Apple Inc. | Application integration with a digital assistant |
| US10311877B2 (en) | 2016-07-04 | 2019-06-04 | Kt Corporation | Performing tasks and returning audio and visual answers based on voice command |
| US10726836B2 (en) | 2016-08-12 | 2020-07-28 | Kt Corporation | Providing audio and video feedback with character based on voice command |
| JP7146709B2 (en) | 2017-01-09 | 2022-10-04 | アップル インコーポレイテッド | Application integration with digital assistants |
| US12260234B2 (en) | 2017-01-09 | 2025-03-25 | Apple Inc. | Application integration with a digital assistant |
| JP2020077364A (en) * | 2017-01-09 | 2020-05-21 | アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． | Application integration with digital assistant |
| US11656884B2 (en) | 2017-01-09 | 2023-05-23 | Apple Inc. | Application integration with a digital assistant |
| US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
| KR101889278B1 (en) * | 2017-01-16 | 2018-08-21 | 주식회사 케이티 | Public device and method for providing service in response to voice command, and public device for providing moving character in response to voice command |
| KR20180084582A (en) * | 2017-01-16 | 2018-07-25 | 주식회사 케이티 | Public device and method for providing service in response to voice command, and public device for providing moving character in response to voice command |
| US10650816B2 (en) | 2017-01-16 | 2020-05-12 | Kt Corporation | Performing tasks and returning audio and visual feedbacks based on voice command |
| US11599331B2 (en) | 2017-05-11 | 2023-03-07 | Apple Inc. | Maintaining privacy of personal information |
| US11467802B2 (en) | 2017-05-11 | 2022-10-11 | Apple Inc. | Maintaining privacy of personal information |
| US11538469B2 (en) | 2017-05-12 | 2022-12-27 | Apple Inc. | Low-latency intelligent automated assistant |
| US11380310B2 (en) | 2017-05-12 | 2022-07-05 | Apple Inc. | Low-latency intelligent automated assistant |
| US11580990B2 (en) | 2017-05-12 | 2023-02-14 | Apple Inc. | User-specific acoustic models |
| US11405466B2 (en) | 2017-05-12 | 2022-08-02 | Apple Inc. | Synchronization and task delegation of a digital assistant |
| US11837237B2 (en) | 2017-05-12 | 2023-12-05 | Apple Inc. | User-specific acoustic models |
| US11862151B2 (en) | 2017-05-12 | 2024-01-02 | Apple Inc. | Low-latency intelligent automated assistant |
| US12014118B2 (en) | 2017-05-15 | 2024-06-18 | Apple Inc. | Multi-modal interfaces having selection disambiguation and text modification capability |
| US11532306B2 (en) | 2017-05-16 | 2022-12-20 | Apple Inc. | Detecting a trigger of a digital assistant |
| US12026197B2 (en) | 2017-05-16 | 2024-07-02 | Apple Inc. | Intelligent automated assistant for media exploration |
| US11675829B2 (en) | 2017-05-16 | 2023-06-13 | Apple Inc. | Intelligent automated assistant for media exploration |
| US12254887B2 (en) | 2017-05-16 | 2025-03-18 | Apple Inc. | Far-field extension of digital assistant services for providing a notification of an event to a user |
| JP2020526812A (en) * | 2017-07-03 | 2020-08-31 | グーグル エルエルシー | Get response information from multiple corpora |
| US11017037B2 (en) | 2017-07-03 | 2021-05-25 | Google Llc | Obtaining responsive information from multiple corpora |
| US12211502B2 (en) | 2018-03-26 | 2025-01-28 | Apple Inc. | Natural assistant interaction |
| US11710482B2 (en) | 2018-03-26 | 2023-07-25 | Apple Inc. | Natural assistant interaction |
| US11854539B2 (en) | 2018-05-07 | 2023-12-26 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
| US11169616B2 (en) | 2018-05-07 | 2021-11-09 | Apple Inc. | Raise to speak |
| US11907436B2 (en) | 2018-05-07 | 2024-02-20 | Apple Inc. | Raise to speak |
| US11900923B2 (en) | 2018-05-07 | 2024-02-13 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
| US11487364B2 (en) | 2018-05-07 | 2022-11-01 | Apple Inc. | Raise to speak |
| US11431642B2 (en) | 2018-06-01 | 2022-08-30 | Apple Inc. | Variable latency device coordination |
| US11360577B2 (en) | 2018-06-01 | 2022-06-14 | Apple Inc. | Attention aware virtual assistant dismissal |
| US12061752B2 (en) | 2018-06-01 | 2024-08-13 | Apple Inc. | Attention aware virtual assistant dismissal |
| US12067985B2 (en) | 2018-06-01 | 2024-08-20 | Apple Inc. | Virtual assistant operations in multi-device environments |
| US11630525B2 (en) | 2018-06-01 | 2023-04-18 | Apple Inc. | Attention aware virtual assistant dismissal |
| US10984798B2 (en) | 2018-06-01 | 2021-04-20 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
| US12080287B2 (en) | 2018-06-01 | 2024-09-03 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
| US11009970B2 (en) | 2018-06-01 | 2021-05-18 | Apple Inc. | Attention aware virtual assistant dismissal |
| US11893992B2 (en) | 2018-09-28 | 2024-02-06 | Apple Inc. | Multi-modal inputs for voice commands |
| US12136419B2 (en) | 2019-03-18 | 2024-11-05 | Apple Inc. | Multimodality in digital assistant systems |
| US11783815B2 (en) | 2019-03-18 | 2023-10-10 | Apple Inc. | Multimodality in digital assistant systems |
| US11675491B2 (en) | 2019-05-06 | 2023-06-13 | Apple Inc. | User configurable task triggers |
| US12216894B2 (en) | 2019-05-06 | 2025-02-04 | Apple Inc. | User configurable task triggers |
| US12154571B2 (en) | 2019-05-06 | 2024-11-26 | Apple Inc. | Spoken notifications |
| US11705130B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | Spoken notifications |
| US11888791B2 (en) | 2019-05-21 | 2024-01-30 | Apple Inc. | Providing message response suggestions |
| US11657813B2 (en) | 2019-05-31 | 2023-05-23 | Apple Inc. | Voice identification in digital assistant systems |
| US11237797B2 (en) | 2019-05-31 | 2022-02-01 | Apple Inc. | User activity shortcut suggestions |
| US11790914B2 (en) | 2019-06-01 | 2023-10-17 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
| US11914848B2 (en) | 2020-05-11 | 2024-02-27 | Apple Inc. | Providing relevant data items based on context |
| US12197712B2 (en) | 2020-05-11 | 2025-01-14 | Apple Inc. | Providing relevant data items based on context |
| US11924254B2 (en) | 2020-05-11 | 2024-03-05 | Apple Inc. | Digital assistant hardware abstraction |
| US11765209B2 (en) | 2020-05-11 | 2023-09-19 | Apple Inc. | Digital assistant hardware abstraction |
| US11838734B2 (en) | 2020-07-20 | 2023-12-05 | Apple Inc. | Multi-device audio adjustment coordination |
| US12219314B2 (en) | 2020-07-21 | 2025-02-04 | Apple Inc. | User identification using headphones |
| US11750962B2 (en) | 2020-07-21 | 2023-09-05 | Apple Inc. | User identification using headphones |
| US11696060B2 (en) | 2020-07-21 | 2023-07-04 | Apple Inc. | User identification using headphones |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6115941B2 (en) | 2017-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6115941B2 (en) | Dialog program, server and method for reflecting user operation in dialog scenario | |
| US12249316B1 (en) | Speech recognition services | |
| KR101237622B1 (en) | Methods and apparatus for implementing distributed multi-modal applications | |
| US9613623B2 (en) | User interface method and device comprising repeated output of an audible signal and a visual display and vibration for user notification | |
| US10152965B2 (en) | Learning personalized entity pronunciations | |
| EP2973543B1 (en) | Providing content on multiple devices | |
| US9842584B1 (en) | Providing content on multiple devices | |
| US9218052B2 (en) | Framework for voice controlling applications | |
| CN104488027B (en) | sound processing system | |
| US9361282B2 (en) | Method and device for user interface | |
| US11749276B2 (en) | Voice assistant-enabled web application or web page | |
| US9087520B1 (en) | Altering audio based on non-speech commands | |
| US20150039316A1 (en) | Systems and methods for managing dialog context in speech systems | |
| JP2012237997A (en) | Speech recognition system and method based on word-level conversion candidate generation | |
| JP2014106523A (en) | Voice input corresponding device and voice input corresponding program | |
| JP2011059676A (en) | Method and system for activating multiple functions based on utterance input | |
| WO2019176670A1 (en) | Information processing device, information processing method, and program | |
| CN103428339A (en) | Method for controlling mobile phone to be operated through voice input | |
| CN112823047B (en) | Systems and devices for controlling network applications | |
| KR102063389B1 (en) | Character display device based the artificial intelligent and the display method thereof | |
| KR102092058B1 (en) | Method and apparatus for providing interface | |
| JP7530688B1 (en) | Program, computer, system and information processing method | |
| JP2015038525A (en) | Voice recognition device and voice recognition method | |
| CN119473457A (en) | Electronic product unpacking setting guiding system, method and terminal based on artificial intelligence | |
| JP2020140040A (en) | Voice recognition device, voice recognition system, and voice recognition method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150804 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160930 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161128 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170315 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170315 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6115941 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |