CN106463110A - 信息处理设备、信息处理方法和程序 - Google Patents

Abstract

[问题]提供了一种允许用户直观地识别对应于语音输出的附加信息的信息处理设备、信息处理方法和程序。[解决方案]信息处理设备设置有控制附加信息的输出的控制器，该附加信息与给定功能相关，并且不同于与给定功能相关且在包括与给定功能相关的所述语句的一系列语句中找到的语句的语音输出，附加信息的输出的所述控制是基于与定时相关的定时信息而执行的，在该定时处，进行与给定功能相关的语句的语音输出。

Description

信息处理设备、信息处理方法和程序

技术领域

本公开内容涉及信息处理设备、信息处理方法和程序。

背景技术

近年来，开发了将文本信息转换成语音的语音合成技术，将用户所说的内容识别为文本信息的语音识别技术，以及识别由语句表示的内容的自然语言处理技术。因此，基于语音输入的交互式用户界面(UI)已经获得广泛使用，其应用了上述各种技术，以允许用户通过语音交互操作各种家用电器(如电视接收器)以及信息设备(如个人计算机)。

具有对如下机制的研究：将通过输出语音示出信息与通过不同输出方法而不是语音输出示出信息(例如，示出如图像和动画的显示信息)结合，以允许基于语音输入的交互式用户界面的用户更直观地识别信息。

现有技术文献

专利文献

专利文献1：JP 2005-165438A

发明内容

技术问题

同时，随着如今可以使用越来越多种类的多功能家电和信息设备(其本质上也被称作“信息处理设备”)，信息处理设备将所有更多的信息提供给用户。因此，信息处理设备频繁地将信息段作为一组信息示出给用户。

然而，当信息段作为一组信息被示出时，被作为语音输出的每个信息段与通过其它输出方法(例如，显示诸如图像和动画的信息)输出的每个信息段之间的关系不一定被清楚地示出，这在某些情况下阻止了直观的操作。

然后，本公开内容提出了可以允许用户直观地识别对应于语音输出的其它信息的信息处理设备、信息处理方法和程序。

解决问题的方案

根据本公开的内容，提供了一种信息处理设备，包括：控制部，被配置为基于关于进行一组表达中的涉及功能的表达的语音输出的定时的定时信息，控制不同于涉及预定功能的语音输出的其它信息的输出，一组表达包括涉及功能的表达。

此外，根据本公开内容，提供了一种信息处理方法，包括通过处理器控制基于关于进行一组表达中的涉及功能的表达的语音输出的定时的定时信息，控制不同于涉及预定功能的语音输出的其它信息的输出，一组表达包括涉及功能的表达。

此外，根据本公开内容，提供一种用于使计算机执行如下步骤的程序：基于关于进行一组表达中的涉及功能的表达的语音输出的定时的定时信息，控制不同于涉及预定功能的语音输出的其它信息的输出，一组表达包括涉及功能的表达。

发明的有益效果

根据上述本公开的内容，可以允许用户直观地识别对应于语音输出的其它信息。

需注意的是，上述效果并不一定是限制性的。使用或者代替上述效果，可以实现在本说明书中描述的任何一个效果或者从本说明书可以获取的其它效果。

附图说明

[图1]是用于说明根据本公开内容的实施方式的信息处理设备的概述的示例性示图。

[图2]是用于说明根据实施方式的信息处理设备的示意性操作的示例的示例性示图。

[图3]是用于说明根据实施方式的信息处理设备显示信息的方法的示例的示例性示图。

[图4]是示出根据实施方式的信息处理设备的功能结构的框图。

[图5]是用于说明根据输入信息响应的内容的示例的示例性示图。

[图6]是用于说明响应信息的示例的示例性示图。

[图7]是示出根据实施方式的信息处理设备的一组操作的示例的流程图。

[图8]是示出根据实施方式的信息处理设备的响应处理的流程的示例的流程图。

[图9]是用于说明根据示例1的信息处理设备显示信息的方法的示例的示例性示图。

[图10]是用于说明根据示例1的响应信息的示例的示例性示图。

[图11]是用于说明根据示例2的信息处理设备显示信息的方法的示例的示例性示图。

[图12]是用于说明根据示例2的响应信息的示例的示例性示图。

[图13]是示出了可以由响应信息来定义的控制信息的示例的示图。

[图14]是用于说明根据示例3的信息处理设备的操作的示例的示例性示图。

[图15]是用于说明根据示例3的响应信息的示例的示例性示图。

[图16]是用于说明根据示例3的信息处理设备的操作的示例的示例性示图。

[图17]是用于说明根据示例3的响应信息的示例的示例性示图。

[图18]是用于说明根据示例4的信息处理设备的示例的示图。

[图19]是用于说明根据示例4的信息处理设备的另一示例的示图。

[图20]是用于说明根据示例5的信息处理设备的示例的示图。

[图21]是说明根据实施方式的信息处理设备的硬件配置的示例的示图。

具体实施方式

在下文中，将参考附图对本公开内容的优选实施方式进行详细描述。在本说明书和附图中，具有基本相同功能和结构的结构元件被标以相同的参考标号，并且这些结构元件的重复说明被省略。

现将以下面的顺序进行说明：

1.概述

2.功能配置

3.处理

4.示例

4.1示例1：示出显示信息的方法的示例

4.2示例2：示出显示信息的方法的示例

4.3示例3：根据处理内容来控制示出的信息的示例

4.4示例4：对多个用户示出信息的方法的示例

4.5例5：在被用户中断时示出信息的方法的示例

5.硬件配置

6.结论

<1.概述>

根据本实施方式的信息处理设备10包括所谓的交互式用户界面，其基于语音输入，并允许用户Ua通过与信息处理设备10的语音交互来操作信息处理设备10。将参考图1对根据本公开内容的实施方式的信息处理设备的概述进行说明。图1是用于说明根据本实施方式的信息处理设备的概述的示例性示图。

如在图1中所示，信息处理设备10包括诸如麦克风的声音采集设备(未示出)，并被配置为能够采集由用户Ua通过声音采集设备所说的语音信息作为语音输入c10。此外，该信息处理设备10包括诸如扬声器的音频输出设备，并被配置为能够通过音频输出设备将语音信息c11示出给用户Ua。在图1中所示的示例中，信息处理设备10被配置为可安装在墙壁等上，并像所谓的投影机使用墙壁作为投影面以在墙壁上投射显示信息v11(诸如图像或图标)，从而将显示信息v11显示在墙壁上。

基于这种配置，信息处理设备10被配置为可由用户Ua操作，用户Ua说出表示对信息处理设备10请求的内容。具体地，信息处理设备10获取用户Ua所说的内容作为语音输入c10，并通过输出语音信息c11和显示信息v11而对由语音输入c10的内容所表示的用户Ua的请求进行响应。

例如，在图1中所示的示例中，用户Ua说：“伦敦现在几点了？”以要求信息处理设备10“示出伦敦的时间”作为请求。然后信息处理设备10采集用户Ua所说的声音，作为语音输入c10，并基于语音识别技术分析语音输入c10，由此将语音输入c10转换成文本信息。信息处理设备10基于自然语言处理技术(例如词法分析、语法分析和语义分析)，分析语音输入c10所转换的文本信息，从而识别由文本信息表示的语义内容(换言之，由语音输入c10表示的语义内容)。

信息处理设备10基于由该语音输入c10表示的语义内容来执行相应的应用程序(即，功能)。例如，在图1中所示的示例中，信息处理设备10执行“时钟”的应用程序，用于获取在指定区域中的时间。

信息处理设备10输出指示应用程序的执行结果的语音信息c11作为对用户Ua的语音输入c10的响应，并示出了指示与语音信息c11的输出一致的执行结果的显示信息v11(诸如图标或图像)。例如，在图1中所示的示例中，信息处理设备10基于“时钟”的应用程序的执行结果输出“现在是下午5点”的语音信息c11，作为对“伦敦现在几点了？”的语音输入c10的响应。

然后，信息处理设备10显示与“现在是下午5点”的语音信息c11的输出一致的可识别地示出“现在是下午5点”的时钟的显示信息v11(诸如图标)，以便在投影平面上淡入显示信息v11。

以这种方式，根据本实施方式的信息处理设备10输出对用户的请求(作为语音输出c10示出)的响应作为语音信息c11，并显示该显示信息v11，从而在视觉上将响应内容示出给用户Ua。与仅输出语音信息c11相比，这使用户Ua更直观地识别信息处理设备10的响应内容。

同时，在图1中所示的示例中，信息处理设备10仅将指示“现在是下午5点”的单段信息示出给用户Ua。因此，用户Ua可以直观地识别到这里输出的语音信息c11和显示信息v11对应于“下午5点”的信息。

但是，信息处理设备10不一定只将单段的信息示出给用户Ua，而是在某些情况下示出包括不同信息段的一组信息作为语音信息和显示信息。例如，图2是用于说明根据本实施方式的信息处理设备的概述的示例性示图，并示出其中信息处理设备10将包括多个信息段的一组信息示出给用户Ua作为语音信息和显示信息的示例。

在图2中所示的示例中，用户Ua对信息处理设备10说：“你能做什么？”，从而请求信息处理设备10“示出信息处理设备10的功能(可执行的应用程序)的列表”。响应于这一点，信息处理设备10输出“可以显示时钟、天气预报、家庭日历”的语音信息c21，并显示分别指示与语音信息c21的输出一致的“时钟”、“天气预报”以及“家庭日历”的显示信息v11、显示信息v13和显示信息v15。因此，如在图2中所示，语音信息c21包括指示“时钟”的功能的表达c211，指示“天气预报”的功能的表达c213，指示“家庭日历”的功能的表达c215，以及指示辅助短语“可以显示”的表达c217。

例如，即使显示信息v11、显示信息v13和显示信息v15被简单地输出作为与表达组c211至c217一致的一组信息(即语音信息c21)，但是用户Ua将不一定能够识别表达c211至c217与显示信息v11、显示信息v13和显示信息v15之间的关系。

作为具体的示例，假设当信息处理设备10输出表达c211至c217作为一组语音信息c21时，信息处理设备10与语音信息c21的输出一致地同时给用户Ua示出显示信息v11、显示信息v13和显示信息v15。然后，用户Ua可以直观地识别该组语音信息c21和该组显示信息v11、显示信息v13和显示信息v15彼此对应。

然而，为了将表达c211、c213和c215分别关联到显示信息v11、显示信息v13和显示信息v15，用户Ua必须经历理解由显示信息v11、显示信息v13和显示信息v15所指示的含义的思考过程，并将显示信息v11、显示信息v13和显示信息v15分别关联到已作为语音输出的表达c211、c213和c215。

即使以这种方式简单地输出显示信息v11、显示信息v13和显示信息v15作为与表达c211、c213和c217(即语音信息c21)一致的一组信息，但是显示信息的方法使用户Ua在一些情况下不能直观地操作该信息处理设备10。

然后，根据本实施方式的信息处理设备10与表达组c211到c217中的对应于各功能的表达c211、c213和c215的语音输出同步地控制与各功能相关的显示信息v11、显示信息v13和显示信息v15的输出。

作为具体示例，信息处理设备10显示指示“时钟”的功能的显示信息v11，以便与表达组c211到c217中的指示“时钟“的功能的表达c211的语音输出同步在投影平面中淡入显示信息v11。

然后信息处理设备10显示指示“天气预报”的功能的显示信息v13，以便与指示“天气预报“的功能的表达c213的语音输出同步地在投影平面中淡入显示信息v13。类似地，信息处理设备10显示指示“家庭日历”的功能的显示信息v15，以便与指示“家庭日历“的功能的表达c213的语音输出同步地在投影平面中淡入显示信息v15。

参考图3按照时间顺序将在此对信息处理设备10输出关于对应于各功能的表达c211到c215的每个的语音信息，以及与各功能相关的显示信息v11、显示信息v13和显示信息v15的处理流程进行说明。图3是用于描述根据本实施方式的信息处理设备10示出信息的方法的示例的示例性示图。

例如，在由参考符号t11表示的定时处信息处理设备10开始输出指示“时钟”的功能的表达c211作为语音，并在投影平面上淡入指示“时钟”的功能的显示信息v11。然后，在定时t11之后信息处理设备10控制显示信息v11的输出，以在预设的时间段(如300[ms])完成淡入该显示信息v11。因此，在图3中，从定时t11到定时t12的时间段对应于信息处理设备10开始淡入该显示信息v11并完成淡入该显示信息v11的时间段。换句话说，到定时t12，在投影平面上已经示出了显示信息v11。

接着，在由参考符号t13表示的定时处信息处理设备10开始输出指示“天气预报”的功能的表达c213作为语音，并在投影平面上淡入指示“天气预报”的功能的显示信息v13。然后，在定时t13之后信息处理设备10控制显示信息v13的输出，以在预设的时间段(如300[ms])完成淡入该显示信息v13。因此，在图3中，从定时t13到定时t14的时间段对应于信息处理设备10开始淡入该显示信息v13并完成淡入该显示信息v13的时间段。换句话说，到定时t14，在投影平面上已经示出了显示信息v11和显示信息v13。

类似地，在由参考符号t15表示的定时处信息处理设备10开始输出指示“家庭日历”的功能的表达c215作为语音，并在投影平面上淡入指示“家庭日历”的功能的显示信息v15。然后，在定时t15之后信息处理设备10控制显示信息v15的输出，以在预设的时间段(如300[ms])完成淡入该显示信息v15。因此，在图3中，从定时t15到定时t16的时间段对应于信息处理设备10开始淡入该显示信息v15并完成淡入该显示信息v15的时间段。换句话说，到定时t16，在投影平面上已经示出了显示信息v11、显示信息v13以及显示信息v15。

然后，在定时t17，信息处理设备10开始输出该信息处理设备10还没有完成输出作为语音的剩余的表达(换句话说，指示辅助短语“可以示出”的表达c217)作为语音，在该定时息处理设备10结束输出该组显示信息v11、显示信息v13以及显示信息v15。然后，信息处理设备10终止对用户Ua所说的“你能做什么？”的语音输入的一组响应。

虽然以上描述了其中信息处理设备10(像投影仪)将显示信息投射在投影平面上，以在投影平面上显示该信息显示，但是用于显示该显示信息的组件不一定限于上述组件。

例如，作为用于将显示信息进行显示的组件，可以应用液晶显示器(LCD)设备、有机发光二极管(OLED)显示器等。像在图1中的投影平面的区域(在其上信息处理设备10显示信息)将被简称为“显示平面”。如果液晶显示器、有机EL显示设备等被用作将显示信息进行显示的组件，则该显示器的显示面板对应于“显示平面”。

以这种方式，信息处理设备10与对应于功能的表达的语音输出同步地控制与各功能相关的显示信息的输出，从而使用户直观地识别对应于作为语音输出的功能的显示信息。然后将对根据本实施方式的信息处理设备10进行详细说明。

<2.功能配置>

首先，将参考图4对根据本实施方式的信息处理设备10的功能配置的示例进行说明。图4是示出根据本实施方式的信息处理设备10的功能配置的框图。

如在图4中所示，根据本实施方式的信息处理设备10包括输入信息分析部101、响应信息产生部103、处理执行部105、字典信息存储部109、响应控制部111、语音合成部115，以及显示控制部117。另外，信息处理设备10与声音采集部41、音频输出部51以及显示部53协同操作。此外，信息处理设备10可以包括声音采集部41、音频输出部51以及显示部53的一部分或者全部。在上面已经描述了并包括在信息处理设备10内的每个元件可以由包括在信息处理设备10内的硬件电路来实现。

声音采集部41可以包括能够采集音频信息的声音的设备，如麦克风。声音采集部41采集由用户Ua所说的语音信息的声音作为语音输入，并且连续地将所采集的语音输入的声音输出到输入信息分析部101。

输入信息分析部101获取用户Ua的语音输入，用户Ua的声音被连续地从声音采集部41输出并由声音采集部41进行采集。输入信息分析部101基于语音识别技术分析所获取的语音输入，从而将语音输入转换为文本信息。

输入信息分析部101对语音输入所转换成的文本信息进行词汇分析和语法分析，从而使文本信息形成其中包括在文本信息中的每个字词以及各字词之间的关系(如修改关系)被可识别地示出的数据(如语法树)。

然后输入信息分析部101将其中通过词汇分析和语法分析形成文本信息的数据(这也将被称为“基于输入信息的结构化数据”)输出到响应信息生成部103。然后，输入信息分析部101可以基于句法分析的结果，将基于输入信息的结构化数据以预定单位(例如，对于包括在文本信息中的每个句子)输出到响应信息生成部103。

响应信息生成部103，从输入信息分析部101获取基于输入信息的结构化数据。响应信息生成部103对所获取的结构化数据进行语义分析，从而分析结构化数据所基于的语音输入的语义内容。然后，响应信息生成部103基于分析结果确定用户Ua的请求内容。例如，建议预先将用于响应信息生成部103的字典数据存储在字典信息存储部109内，以对结构化数据进行语义分析。

字典信息存储部109预先存储用于响应信息生成部103的字典数据以对结构化数据进行语义分析。

字典信息存储部109进一步存储用于响应信息生成部103的管理数据d10，以识别对基于输入信息的请求内容的响应的内容(这也将被称为“响应内容”)。此外，如果为了响应请求内容而需要执行预定功能(应用程序)，则管理数据d10可以预先将预定功能与请求内容相关联。

例如，图5是用于说明根据输入信息的响应内容的示例的示例性示图，并且示出存储在字典信息存储部109内的管理数据d10的示例。如在图5中示出的，管理数据d10具有与输入信息d11相关的请求内容d13、相应功能d15，以及响应内容d17。

在图5中，输入信息d11表示由用户Ua的语音输入指示的内容的示例。请求内容d13表示由输入信息d11指示的用户Ua的请求内容。相应的功能d15表示执行对请求内容d13的响应所需要的功能。当不需要执行请求内容d13的预定功能时，没有记录相应功能d15的信息。响应内容d17表示响应于请求内容d13的内容。在图5所示的示例中，响应内容d17被定义为文本信息。

作为具体示例，“你可以做什么？”的输入信息d11对应于指示“检查功能”的请求内容d13。因此，指示“检查功能”的请求内容d13与用于示出功能列表的“可以显示时钟、天气预报、家庭日历”的响应内容d17相关。由于当对指示“检查功能”的请求内容d13进行响应时没有必要执行在图5中所示的示例中的预定功能，因此相应功能d15未被关联。毋庸置疑，当由信息处理设备10可执行的功能是固定的时，获取可执行的功能列表的功能(即获取应用程序列表的功能)可以被记录，用于与指示“检查功能”的请求内容d13相关联的相应功能d15。

作为另一示例，“○○现在几点了？”的输入信息d11对应于指示“检查时间”的请求内容d13，并且请求内容d13与作为相应功能d15的“时钟”的功能相关。指示“检查时间”的请求内容d13与用于报告经检查的时间的“现在是××点钟”的响应内容d17相关。由响应内容d17指示的信息的一部分可以通过将由相应功能d15指示的功能的执行结果嵌入其中的方式进行变化。

同样，“在ΔΔ天气怎样？”的输入信息d11对应于指示“检查天气预报”的请求内容d13，并且请求内容d13与指示“天气预报”的功能的相应功能d15以及“现在是晴天/雨天/阴天”的响应内容d17相关联。“ΔΔ的计划是什么？”的输入信息d11对应于指示“检查日程表”的请求内容d13，并且请求内容d13与指示“家庭日历”的功能的相应功能d15以及“在××点ΔΔ将会做......”的响应内容d17相关联。“在××点ΔΔ将会做......”的输入信息d11对应于指示“记录日程表”的请求内容d13，并且请求内容d13与指示“家庭日历”的功能的相应功能d15以及“已经记录该计划”的响应内容d17相关联。

建议基于用户Ua与信息处理设备10之间可能的对话模式预先生成管理信息d10，并将所生成的管理信息d10存储在字典信息存储部109中。信息处理设备10可以从用户Ua与信息处理设备10之间的过去的对话学习，并基于学习结果，添加或更新存储在字典信息存储部109内的管理信息d10的内容。

基于这种配置，响应信息生成部103将基于对结构化数据的语义分析的结果所确定的用户Ua的请求内容与管理数据d10进行比较，从而获得与请求内容相关联的相应功能d15和响应内容d17。

然后，响应信息生成部103使处理执行部105执行与所识别的请求内容相关联的相应功能d15，并且从处理执行部105获取相应功能d15的处理结果。

处理执行部105是用于执行信息处理设备10的多种功能(应用程序)的组件。处理执行部105执行由响应信息生成部103指定的功能，并将功能的执行结果报告给响应信息生成部103(其是请求者)。

响应信息生成部103将从处理执行部105报告的相应功能d15的处理结果嵌入所获取的响应内容d17，从而将该响应内容d17确定为用户Ua的请求内容d13的响应内容d20。当相应功能d15不与所识别的请求内容相关联时，响应信息生成部103确定所获取的响应内容d17作为用户Ua的请求内容d13的响应内容d20。

一旦响应信息生成部103确定用户Ua的请求内容的响应内容d20时，响应信息生成部103将用于控制与响应内容d20的语音输出一起示出的其它信息的输出的控制信息嵌入响应内容d20，从而生成响应信息d30。例如，如在图2和图3中所示的，在本说明书中，控制与响应内容d20的语音输出一起示出的其它信息的输出的示例包括控制显示与各功能对应的显示信息v11、显示信息v13以及显示信息v15，从而在显示平面上淡入该显示信息v11、显示信息v13以及显示信息v15。

将参考图6对响应信息d30的具体示例进行描述，其中，语音输出和显示信息作为示例彼此一致，以对用户Ua所说的“你能做什么？”(如在图2和图3中所示)进行响应。图6是用于描述响应信息d30的示例的示例性示图。

在图6中，参考符号d20表示由响应信息生成部103识别的针对通过基于由用户Ua所说的“你可以做什么？”的输入信息所指示的请求内容的响应内容的示例。同时，参考符号d30表示通过将控制信息嵌入响应内容d20而获取的响应信息的示例，以示出与通过如在图3中所示的响应内容d20所指示的“可以显示时钟、天气预报、家庭日历”的语音输出一致的显示信息v11、显示信息v13以及显示信息v15。

在响应信息d30中分别表示为“时钟”、“天气预报”、“家庭日历”以及“可以显示”的表达d31、d33、d35、和d37表示用作响应并被输出作为语音的信息，换言之，在响应内容d20内的相应表达。

参考符号d32，d34，和d36是用于控制示出显示信息v11、显示信息v13以及显示信息v15的控制信息的示例。例如，控制信息d32表示用于通过如在图2和图3中所示的在300[ms]内在显示平面上淡入该显示信息v11并且结束该淡入的方式，控制指示“时钟”的显示信息v11的显示的控制信息的示例。

具体地，“anim_fadein”的标记符对应于用于以将显示信息淡入到显示平面上的方式来显示在“item(项)”属性中指定的显示信息的控制信息。此外，在图6所示的示例中，将显示信息进行显示以便淡入的时间段被指定为“anim_fadein”标记符的“duration(持续时间)”属性。

具体地，控制信息d32指示：与通过在“item”属性中指定的“clock_icon”所指示的“时钟”功能对应的显示信息v11被显示，以便在“duration”属性中所指定的时间段内(换句话说，“300[ms]”)淡入。类似地，控制信息d34指示：与通过“weather_icon”所指示的“天气预报”功能对应的显示信息v13被显示，从而在“300[ms]”内淡入。控制信息d36指示：与通过“calendar_icon”所指示的“家庭日历”功能对应的显示信息v15被显示，从而在“300[ms]”内淡入。

换言之，响应信息生成部103在响应内容d20中紧接指示“时钟”功能的表达d31之后插入将用于显示对应于“时钟”功能的显示信息v11的控制信息d32，从而将控制信息d32与表达d31相关联。同样，响应信息生成部103紧接指示“天气预报”功能的表达d33之后插入用于显示对应于“天气预报”功能的显示信息v13的控制信息d34，从而将表达d33与控制信息d34相关联。响应信息生成部103紧接指示“家庭日历”功能的表达d35之后插入用于显示对应于“家庭日历”功能的显示信息v15的控制信息d36，从而将表达d35与控制信息d36相关联。

响应信息生成部103不一定是将控制信息d32、控制信息d34以及控制信息d36嵌入响应内容d20。作为具体示例，控制信息d32、控制信息d34以及控制信息d36可以作为模板被预先嵌入管理信息d10(见图5)的响应内容d17。

响应信息生成部103也可以在确定响应内容d20时通过将相应功能d15的执行结果嵌入响应内容17，来根据相应功能d15的执行结果嵌入相应的控制信息。

例如，当请求内容d13表示“检查天气预报”时，响应信息生成部103使处理执行部105执行与请求内容d13相关联的“天气预报”功能作为相应功能d15。然后响应信息生成部103从处理执行部105获取指示天气的信息作为“天气预报”功能的执行结果。

作为具体示例，当响应信息生成部103获取指示“晴天”的信息作为“天气预报”功能的执行结果时，响应信息生成部10确定“今天是晴天”的响应内容d20。然后，响应信息生成部103将用于显示指示“晴天”的显示信息的控制信息与响应内容d20中的“晴天”的表达相关联。作为另一示例，当响应信息生成部103获取指示“下雨”的信息作为“天气预报”功能的执行结果时，响应信息生成部103将用于显示指示“下雨”的显示信息的控制信息与“现在下雨”的响应内容d20中的“下雨”的表达相关联。

作为在图6中所示的示例，描述了其中控制信息被插入响应内容d20作为具有空元素(即具有附加到其端部的“/”标记符，这也将被称为“完成标记符”)的标记符，且控制信息由此与响应内容d20中的表达相关联。同时，如果控制信息被定义为标记符信息，则控制信息不一定限于完成标记符。作为具体示例，可以用开始标记符(不包括“/”的标记符)和结束标记符(具有附加到其顶部的标记符“/”)定义控制信息。在这种情况下，指示控制信息的开始标记符和结束标记符通过表达是控制信息的元素的方式，包括响应内容d20内的表达。

如果可以将控制信息与响应内容d20内的表达相关联地嵌入响应内容d20，则控制信息并不一定必须是标记符信息。例如，预定的字母被用作所谓的分割符，并且可以通过可识别地提取响应信息d20和控制信息的内容的方式来将控制信息嵌入响应信息d20。

如上所述，响应信息生成部103生成用于响应于所确定的请求内容的响应信息d30，并将所生成的响应信息d30输出给响应控制部111。

响应控制部111从响应信息生成部103获取响应信息d30，并且基于所获取的响应信息d30控制从信息处理设备10对用户Ua(其是请求者)进行响应的操作。然后，下面用示例描述了基于响应信息d30进行响应的详细操作，其中，如在图2和图3中所示的，信息处理设备10通过与示出显示信息一致地输入语音来响应于来自用户Ua的输入信息。在用于从响应信息生成部103获取响应信息d30的响应控制部111中的组件对应于“获取部”的示例。

响应控制部111连续地从头部读取所获取的响应信息d30的内容，并根据读取信息的类型控制语音合成部115或显示控制部117的操作，这将在以下进行描述。具体地，当所读取的信息指示响应内容时，响应控制部111控制语音合成部115的操作以输出信息作为语音。同时，如果所读取的信息是控制信息，则响应控制部111基于控制信息来控制该显示控制部117的操作，以控制与语音输出一起示出的显示信息的输出。

将在这里用其中在图6中所示的响应信息d30是处理目标的示例来更详细地描述响应控制部111的操作。

首先，响应控制部111读取响应信息d30的内容，直到检测到控制信息(标记符信息)。当响应控制部111从头部(如在图6中所示的示例中)读取响应信息d30的内容时，响应控制部111首先读取“时钟”的表达d31，并且然后检测紧接表达d31之后插入的控制信息d32。

然后，响应控制部111将所读取的“时钟”的表达d31输出给语音合成部115，并使语音合成部115输出对应于表达d31的语音信息。响应控制部111还基于所检测到的控制信息d32的内容，通过在“300ms”内淡入显示信息v11的方式使显示控制部117输出由“clock_icon”表示的显示信息v11。

接着，响应控制部111读取“天气预报”的表达d33，并检测紧接表达d33之后插入的控制信息d34。

在这种情况下，响应控制部111将所读取的“天气预报”的表达d33输出至语音合成部115，并且使语音合成部115输出对应于该表达d33的语音信息。响应控制部111还基于所检测到的控制信息d34的内容，通过在“300ms”内淡入显示信息v13的方式使显示控制部117输出由“weather_icon”表示的显示信息v13。

同样，响应控制部111读取“家庭日历”的表达，并检测紧接表达d35之后被插入的控制信息d36。

然后，响应控制部111将所读取的“家庭日历”的表达d35输出至语音合成部115，并且使语音合成部115输出对应于该表达d35的语音信息。响应控制部111还基于所检测到的控制信息d34的内容，通过在“300ms”内淡入显示信息v15的方式使显示控制部117输出由“calender_icon”表示的显示信息v15。

最后，响应控制部111读取“可以显示”的表达d37，并在读取表达d37之后检测响应信息d30的终止。

在这种情况下，响应控制部111将所读取的“可以显示”的表达d37输出至语音合成部115，并且使语音合成部115输出对应于该表达d37的语音信息。响应控制部111基于响应信息d30的终止的检测，终止基于响应信息d30的顺序控制。

基于上述控制，响应控制部111基于图2和图3所述的如下方式控制输入：指示相应功能的显示信息与“时钟”、“天气预报”以及“家庭日历”的语音输出同步地示出。

下面将分别描述语音合成部115、显示控制部117、音频输出部51，以及显示部53。

语音合成部115从响应控制部111获取指示被示出为输出给用户Ua的语音的响应内容的信息(例如文本信息)。语音合成部115从所获取的指示响应内容的的信息(例如，基于语音合成技术)创建表明响应内容的语音信号。此外，从所获取的指示响应内容的信息生成语音信号的语音合成部115的源音频信号被预先存储在语音合成部115能够参考音频信号的位置。

然后，语音合成部115基于通过响应控制部111执行的控制，在由响应控制部111指定的定时处，使音频输出部51输出所生成的语音信号作为语音。音频输出部51可以被配置作为用于输出音频信号和语音信号的输出设备，诸如所谓的扬声器。

此外，显示控制部117基于通过响应控制部111执行的控制，使显示部53在由响应控制部111指定的定时处，并且通过由响应控制部111指定的显示方式来显示该显示信息。此外，指示由响应控制部111指定的定时的信息(换句话说，用于基于该定时执行控制的信息)对应于“定时信息”的示例。

例如，假设响应控制部111基于在图6中所示的控制信息d32指示显示控制部117示出显示信息。在这种情况下，显示控制部117使显示部53在由响应控制部111所指定的定时处，通过在“300ms”内淡入显示信息v11的方式显示由“clock_icon”表示的显示信息v11。

显示部53是输出设备的示例，并且可以被配置为通过在显示平面(例如，像所谓的投影仪)上投影视频来将视频示出给用户的设备。作为另一示例，显示部53可以是显示设备，诸如液晶显示器(LCD)设备和有机发光二极管(OLED)显示设备。此外，显示部53可以是所谓的头戴式显示器(HMD)，其被佩戴在用户头部周围并保持显示平面在用户的眼睛前方。作为另一示例，显示部53也可以是用于车辆的车载显示器，诸如所谓的平视显示器(HUD)，其通过将视频投影在挡风玻璃上来将信息示出给用户。

到目前为止，参考图4到图6描述了根据本实施方式的信息处理设备10的功能配置的示例。在图4中所示的信息处理设备10的功能配置仅仅是示例。只要如上所述的每个组件都是可操作的，那么各组件可以被设置在任何位置。

作为具体示例，信息处理设备10可以包括声音收集部41、音频输出部51，以及显示部53的一部分或全部。毋庸置疑，信息处理设备10、声音采集部41、音频输出部51以及显示部53之间的信息的传输路径没有特别限制。作为具体示例，信息处理设备10可以被配置为网络上的服务器(例如云服务器)。在这种情况下，被配置作为服务器的信息处理设备10控制经由网络(诸如互联网)从包括音频输出部51和显示部53的设备输出的语音信息和显示信息。作为控制语音信息的输出的组件(诸如对应于语音合成部115的组件)以及控制显示信息的输出的组件(诸如对应于显示控制部117的组件)是与彼此协调操作的，这些组件可以被设置在单独的壳体上。作为另一示例，包括在信息处理设备10中的至少一部分组件可以被设置在不同于信息处理设备10的外部设备上。

以上描述了其中与指示语音输入的响应内容的语音输出一致地示出显示信息的示例。然而，只要与对应于各功能的语音输出同步地示出与对应于包括在响应内容内的各功能的表达的语音输出不同的其它信息，则其它信息不特别限定类型和数目。

作为具体示例，信息处理设备10不仅可以与指示功能的表达的语音输出同步地示出指示各功能的显示信息，还可以示出指示功能的音频信息(诸如音效)。

作为另一示例，诸如发光二极管(LED)的发光部可以与对应于各功能的表达的语音输出同步地发出光。在这种情况下，信息处理设备10与对应于功能的的表达的语音输出同步地，使发光部的发光次数与根据各功能或者在根据各功能的发光模式的发布次数一样多。

只要与对应于各功能的表达的语音输出同步示出的信息与语音输出同步示出，则与语音输出一起示出的信息不限于视觉信息，如显示信息或听觉信息(诸如语音信息和音频信息)，而可以是刺激触觉、嗅觉，或味觉的信息。作为具体示例，信息处理设备10可与对应于各功能的表达的语音输出同步通过振动安装在由用户所持的控制器等中的致动器来示出触摸信息。在这种情况下，信息处理设备10与对应于功能的表达的语音输出同步在振动模式下根据各功能振动致动器。

信息处理设备10还可以通过例如输出相应的显示信息和音频信息，与语音输出同步组合示出一些类型的信息。当信息处理设备10与语音输出同步控制相应显示信息的输出时，信息处理设备10可以控制其它显示信息的输出，从而更加强调显示信息的输出。作为具体示例，假设信息处理设备10示出显示信息作为动画，显示信息被显示在显示平面上，同时信息处理设备10等待来自用户的语音输入。在这种情况下，当信息处理设备10显示对应于语音输出的显示信息作为动画时，信息处理设备10可停止其它信息的动画，以便更加强调响应于来自用户的语音输入的显示信息。

<3.处理>

下面，将参考图7描述根据本实施方式的信息处理设备10的一组操作。图7是示出根据本实施方式的信息处理设备10的一组操作的示例的流程图。

(步骤S11)

输入信息分析部101获取用户Ua的语音输入，该用户的声音已经连续从声音采集部41输出并被声音采集部41采集。输入信息分析部101基于语音识别技术分析所获取的语音输入，从而将语音输入转换为文本信息。

输入信息分析部101对语音输入转换成的文本信息进行词汇分析和语法分析，从而将文本信息结构化为其中可识别地示出包括在文本信息的每个字词以及多个字词之间的关系(如修改关系)的数据(如语法树)。

然后，输入信息分析部101基于其中文本信息通过词汇分析和语法分析被结构化的输入信息，将结构化的数据输出给响应信息生成部103。然后，输入信息分析部101可以基于语法分析的结果将基于输入信息而结构化的数据输出给结构化部中的响应信息生成部103(例如，用于包括在文本信息中的每个句子)。

(步骤S13)

响应信息生成部103从输入信息分析部101获取基于输入信息的结构化的数据。响应信息生成部103对所获取的结构化的数据进行语义分析，从而分析结构化的数据所基于的语音输入的语义内容。然后，响应信息生成部103基于分析的结果识别用户Ua的请求内容。

然后，响应信息生成部103将基于对结构化的数据语义分析的结果所识别的用户Ua的请求内容与存储在字典信息存储部109中的管理数据d10进行比较。响应信息生成部103由此获取与所识别的用户Ua的请求内容相关联的相应功能d15和响应内容d17。

响应信息生成部103使处理执行部105执行与所确定的请求内容相关联的相应功能d15，并且从处理执行部105获取相应功能d15的处理结果。

响应信息生成部103将从处理执行部105报告的相应功能d15的处理结果嵌入所获取的响应内容d17，从而将相应功能d15确定为用户Ua的请求内容d13的响应内容d20。当相应功能d15不与所识别的请求内容相关联时，响应信息生成部103将所获取的响应内容d17确定为用户Ua的请求内容d13的响应内容d20。

作为具体示例，响应信息生成部103针对由基于如在图6中所示的用户Ua所说的“你可以做什么？”的输入信息所指示的请求内容，确定“可以示出时钟、天气预报、家庭日历”的响应内容d20。

(步骤S15)

下面，响应信息生成部103将用于控制与所识别的响应内容d20的语音输出一起示出的其它信息的输出的控制信息嵌入与响应内容20内的相应表达相关的响应内容d20中，从而生成响应信息d30。

例如，在图6中所示的示例中，响应信息生成部103在响应内容d20中紧接“时钟”的表达d31之后插入用于显示对应于“时钟”功能的显示信息v11的控制信息d32，从而将表达d31与控制信息d32关联。同样，响应信息生成部103紧接“天气预报”的表达d33之后插入用于显示对应于“天气预报”功能的显示信息v13的控制信息d34，从而将表达d33与控制信息d34关联。响应信息生成部103紧接“家庭日历”的表达d35之后插入用于显示对应于“家庭日历”功能的显示信息v15的控制信息d36，从而将表达d35与控制信息d36关联。

如上所述，响应信息生成部103生成用于响应于所识别的请求内容的响应信息d30，并将所生成的响应信息d30输出到响应控制部111。

(步骤S20)

响应控制部111从响应信息生成部103获取响应信息d30，并基于所获取的响应信息d30控制从信息处理设备10对作为请求者的用户Ua进行响应的操作。参考图8，下面随后描述了基于由响应控制部111所执行的控制(在图7的步骤S20中所说明的)的响应处理的流程的示例。图8是示出根据本实施方式的信息处理设备10的响应处理的流程的示例的流程图。

(步骤S201和S203)

响应控制部111连续地从头部读取所获取的响应信息d30的内容，并且根据所读取的信息的类型控制语音合成部115或显示控制部117的操作，这将在下面描述。具体地，响应控制部111读取响应信息d30的内容，直到检测到控制信息(标记符信息)。

(步骤S203)

响应控制部111将所读取的信息(表达)输出到语音合成部115直到检测到控制信息(步骤S203，否)为止，作为指示示出给用户Ua作为语音输出的响应内容的信息。

(步骤S205)

语音合成部115从响应控制部111获取指示响应内容(被示出为对用户Ua的语音而输出)的信息(例如文本信息)。语音合成部115从所获取的指示响应内容的的信息(例如，基于语音合成技术)创建表明响应内容的语音信号。

然后，语音合成部115基于由响应控制部111执行的控制，在由响应控制部111所指定的定时处使音频输出部51输出所生成的语音信号。

(步骤S203和S207)

一旦响应控制部111检测到控制信息(步骤S203，是)，响应控制部111检查该控制信息是否是具有空元素的完成标记符(步骤S207)。

(步骤S207和S213)

如果检测到的控制信息是完成标记符(步骤S207，是)，则响应控制部111基于控制信息的类型(如标记符信息的类型)以及指定为属性信息的内容来确定用作控制目标的显示信息以及用于示出显示信息的控制内容。

作为具体示例，响应控制部111基于控制信息的类型来确定显示信息的显示模式(如其中通过淡入显示该显示信息的模式)。响应控制部111还基于属性信息来确定用作显示目标的显示信息(如指示“时钟”功能的显示信息v11)以及显示模式的详细的控制内容(通过淡入显示该显示信息的时间段)

然后，响应控制部111根据基于所检测到的控制信息以及用于示出该显示信息的控制内容所识别的显示信息，来控制显示控制部117的操作，从而控制与语音输出一起示出的显示信息的输出。

(步骤S207和S209)

与此相反，如果检测到的控制信息不是结束标记符(步骤S207，否)，则响应控制部111检查控制信息是否是开始标记符(步骤S209)。

(步骤S211)

如果检测到的控制信息是开始标记符，则响应控制部111检测嵌入在开始标记符之后并对应于该开始标记符的结束标记符。然后，除了控制信息的类型和被指定为属性信息的内容的类型，响应控制部111还根据由开始标记符和结束标记符所包括的元素(指示被示出为语音输出的响应内容的表达)的长度，确定用作控制目标的显示信息以及用于示出该显示信息的控制内容。

作为具体示例，响应控制部111可根据由开始标记符和结束标记符所包括的表达的长度来确定控制显示信息的显示的时间段。例如，这种配置允许响应控制部111通过与其中“时钟”的表达作为语音被输出的时间段同步地淡入对应于“时钟”功能的显示信息v11的方式来执行控制。在下面作为示例将对这种模式进行讨论。

然后，响应控制部111根据基于所检测到的控制信息识别的显示信息以及用于示出该显示信息的控制内容，来控制显示控制部117的操作，从而控制与语音输出一起示出的显示信息的输出。

如果所检测到的控制信息不是开始标记符，换句话说，所检测到的控制信息是结束标记符(步骤S209，否)，则响应控制部111不必处理作为控制目标的控制信息。这是因为当响应控制部111在检测到结束标记符之前检测到对应于结束标记符的开始标记符时，响应控制部111控制相应的显示信息的输出。

(步骤S215)

响应控制部111继续上述的处理，直到检测到响应信息d30的终止(步骤S215，否)。响应控制部111基于响应信息d30的终止的检测，终止基于响应信息d30的顺序控制(步骤S215，是)。

以上参考图7和图8描述了根据本实施方式的信息处理设备10的顺序处理的流程的示例。

<4.示例>

接着，将对根据本实施方式的信息处理设备10的示例进行说明。

[4.1.示例1：示出显示信息的方法的示例]

首先，将与响应信息的示例一起描述与语音输出一致地示出显示信息的方法的示例作为示例1。

例如，图9是用于描述根据示例1的信息处理设备10显示信息的方法的示例的示例性示图。在参考图3所讨论的示例中，信息处理设备10不仅明确指定了将要作为语音被输出的表达的内容的显示模式的时间段，而且控制了相应显示信息的显示模式。与此相反，根据图9中所示的变形例1的信息处理设备10与其中对应于功能的表达作为语音被输出的时间段同步地控制对应于功能的的显示信息的显示模式。

类似于在图3中所示的示例，在图9中所示的示例说明了信息处理设备10基于“可以显示时钟、天气预报、家庭日历”的语音输出对用户Ua所说的“你能做什么？”的语音输入进行响应。

如在图9中所示，根据示例1的信息处理设备10在由参考符号t21所表示的定时处开始输出指示“时钟”功能的表达c211作为语音，并且在显示平面上淡入指示该“时钟”功能的显示信息v11。然后，信息处理设备10在信息处理设备10完成指示“时钟”功能的表达c211的语音输出的定时t22处同步完成在显示平面上淡入显示信息v11。换言之，根据本实施方式的信息处理设备10通过与其中指示“时钟”功能的表达c211作为语音被输出的时间段同步地在显示平面上淡入显示信息v11的方式控制指示“时钟”功能的显示信息的显示。

接着，信息处理设备10在由参考符号t23所表示的定时处开始输出指示“天气预报”的功能的表达c213作为语音，并且在显示平面上淡入指示“天气预报”的功能的显示信息v13。然后，信息处理设备10在信息处理设备10完成指示“天气预报”功能的表达c213的语音输出的定时t24处同步地完成在显示平面上淡入显示信息v13。换言之，根据本实施方式的信息处理设备10通过与其中指示“天气预报”功能的表达c213作为语音输出的时间段同步地在显示平面上淡入显示信息v13的方式控制指示“天气预报”功能的显示信息的显示。

同样，信息处理设备10在由参考符号t25所表示的定时处开始输出指示“家庭日历”的功能的表达c215作为语音，并且在显示平面上淡入指示“家庭日历”的功能的显示信息v15。然后，信息处理设备10在信息处理设备10完成指示“家庭日历”功能的表达c215的语音输出的定时t26处同步地完成在显示平面上淡入显示信息v15。换言之，根据本实施方式的信息处理设备10控制指示“家庭日历”功能的显示信息v15的显示，以便与其中指示“家庭日历”的功能的表达c215作为语音被输出的时间段同步地在显示平面上淡入显示信息v15。

然后，信息处理设备10在定时t17处输出指示“可以显示”的辅助短语的表达c217作为语音，在该定时处，信息处理设备10完成指示“家庭日历”的功能的表达c215的语音输出，以及指示“家庭日历”的功能的显示信息v15的输出。然后，根据示例1的信息处理设备10终止对用户Ua所说的“你能做什么？”的语音输入的一组响应。

接着，将参考图10描述根据示例1的信息处理设备10的响应信息与在图9中所示的对应于功能的表达作为语音被输出的时间段同步地控制对应于各功能的显示信息的输出的示例、以及基于响应信息的操作的示例。图10是描述根据示例1的响应信息的示例，并且描述在图9中所示的示例中的响应信息的示例性示图。

在图10中，参考符号d40表示其中为“可以显示时钟、天气预报、家庭日历”的响应内容d20嵌入用于示出显示信息v11、显示信息v13以及显示信息v15的控制信息的响应信息的示例。

在响应信息d30中分别表示为“时钟”、“天气预报”、“家庭日历”的表达d42、d44、d46、和d47表示用于作为响应并作为语音被输出的信息，换言之，在响应内容d20中的相应的表达。

参考符号d411、d413、d431、d433、d451和d453是用于控制示出显示信息v11、显示信息v13以及显示信息v15的控制信息的示例。此外，控制信息d411、控制信息d431，以及控制信息d451各自对应于被配置作为开始标记符的控制信息。同时，控制信息d413、控制信息d433，以及控制信息d453分别指示被配置作为开始标记符的控制信息d411、控制信息d431，以及控制信息d453的结束标记。

例如，控制信息d411和控制信息d413各自表示通过与指示“时钟”的表达d42作为语音被输出的时间段同步地在显示平面内淡入显示信息v11的方式控制指示“时钟”的显示信息v11的显示的控制信息的示例。换言之，在图10中所示的示例中，插入控制信息d411和控制信息d413以涵盖(enclose)指示“时钟”的表达允许控制信息d411和控制信息d413指示表达d42作为语音被输出的时间段。

同样，控制信息d431和控制信息d433各自表示通过与指示“天气预报”的表达d44作为语音被输出的时间段同步地在显示平面内淡入显示信息v13的方式控制指示“天气预报”的显示信息v13的显示的控制信息的示例。控制信息d451和控制信息d453各自表示通过与指示“家庭日历”的表达d45作为语音被输出的时间段同步在显示平面内淡入显示信息v15的方式控制指示“家庭日历”的显示信息v15的显示的控制信息的示例。

接着，将描述由响应控制部111基于图10中所示的响应信息d40执行响应处理的示例。

类似于上述实施方式，响应控制部111连续地读取从头部所获取的响应信息d40的内容，并且根据所读取的信息的类型控制语音合成部115或者显示控制部117的操作。

例如，当响应控制部111检测到被配置为开始标记符的控制信息d411时，响应控制部111搜索对应于控制信息d411的结束标记符，换句话说，控制信息d413。然后，响应控制部111基于表达的长度，计算用于控制由“clock_icon”所表示的显示信息v11的显示的时间段，换句话说，由控制封信息d411(开始标记符)和控制信息d413(结束标记符)所涵盖的指示“时钟”的表达d42。

另外，基于实验等预先计算由开始标记符和结束标记符所包括的表达的长度与用于控制显示信息的显示的时间段的长度之间的关系，以生成控制数据，并且所生成的控制数据被存储在响应控制部111可以读取控制数据的位置。这使响应控制部111基于控制数据计算根据由开始标记符和结束标记符包括的表达的长度的时间段。

响应控制部111通过在屏幕上淡入显示信息v11的方式，基于控制信息d411的内容以及基于该控制信息d411和控制信息d413所计算的时间段，使显示控制部117输出显示信息v11。在控制信息d411之后，响应控制部111读取指示“时钟”的表达d42，将表达d42输出到语音合成部115，并且使语音合成部115输出对应于该表达d41的语音信息。

这种配置使响应控制部111通过与指示“时钟”的表达d42作为语音被输出的时间段同步地在屏幕上淡入显示信息v11的方式，控制指示“时钟”的显示信息v11的显示。

同样，基于控制信息d431和控制信息d433，以及控制信息d451和控制信息d453来执行上述控制。换句话说，响应控制部111通过与指示“天气预报”的表达d44作为语音被输出的时间段同步地在屏幕上淡入显示信息v13的方式，基于控制信息d431和控制信息d433，控制指示“天气预报”的显示信息v13的显示。同样，响应控制部111通过与指示“家庭日历”的表达d46作为语音被输出的时间段同步地在屏幕上淡入显示信息v15的方式，基于控制信息d451和控制信息d453，控制指示“家庭日历”的显示信息v15的显示。

如上参考图9和图10所述的，根据示例1的信息处理设备10可以与对应于功能的表达作为语音被输出的时间段同步地控制对应于功能的显示信息的显示模式。

[4.2.示例2：示出显示信息的方法的示例]

在上述实施方式和示例中，已经描述了其中信息处理设备10与对应于功能的表达的语音输出同步地控制显示模式，以便在显示平面上淡入对应于各功能的显示信息。同时，如果与语音输出同步控制其它信息(如显示信息)的输出，则用于输出其它信息的模式并不一定限于在上述实施方式和示例中所示出的方法。

然后，下面参考图11和图12描述与语音输出一致地示出显示信息的方法的另一示例作为示例2。图11是用于描述根据示例2的信息处理设备10显示信息的方法的示例的示例性示图。图12是用于描述根据示例2的响应信息的示例的示例性示图，并示出了在图11中所示的示例中的响应信息。

类似于在图3和图9所示的示例，在图11中所示的示例说明了信息处理设备10基于“可以示出时钟、天气预报、家庭日历”的语音输出而对用户Ua所说的“你能做什么？”的语音输入进行响应。同时，在图11中所示的示例与在图3和图9中所示的示例的不同在于，在图11所示的示例中预先显示分别对应于“时钟”、“天气预报”和“家庭日历”的显示信息v11、显示信息v13，以及显示信息v15。

如在图11中所示的，根据示例2的信息处理设备10在由参考符号t31表示的定时处开始指示“时钟”的功能的表达c211的语音输出，并且与语音输出的开始同步地开始执行显示控制(这也将被称为“变大”)，以变大显示信息v11。然后，在定时t11之后，信息处理设备10控制显示信息v11的输出，以便在预设的时间段(如300[ms])完成显示信息v11的变大。

此外，在图11中，从定时t31到定时t32的时间段对应于其中信息处理设备10开始变大显示信息v11并且随后完成显示信息v11的变大的时间段。换句话说，截止到定时t12显示信息v11已经被变大。所变大的显示信息v11也将被称为“显示信息v11'”，以将所变大的显示信息v11与还没有被变大的显示信息v11进行区分。

接着，信息处理设备10在由参考符号t33表示的定时处开始指示“天气预报”的功能的表达c213的语音输出。然后，信息处理设备10与语音输出的开始同步地开始变大显示信息v13，并执行显示控制，以将显示信息v11'缩小(这也将被称为“收缩”)到在变大之前的大小。在定时t33之后，信息处理设备10通过在预设的时间段(如300[ms])使信息处理设备10完成显示信息v13的变大以及显示信息v11'的缩小的方式来控制显示信息v13和显示信息v11'的输出。

此外，在图11中，从定时t33到定时t34的时间段对应于其中信息处理设备10开始变大显示信息v13并且缩小显示信息v11'并且随后完成显示信息v13的变大以及显示信息v11'的缩小的时间段。换句话说，截止到定时t14，显示信息v13已经被变大，并且显示信息v11'已经被缩小到变大之前的大小(即，显示信息v11已被显示)。所变大的显示信息v13也将被称为“显示信息v13'”，以将所变大的显示信息v13与还没有被变大的显示信息v13进行区分。

接着，信息处理设备10在由参考符号t35表示的定时处开始指示“家庭日历”的功能的表达c215的语音输出。然后，信息处理设备10与语音输出的开始同步地开始变大显示信息v15并缩小显示信息v13'。在定时t35之后，信息处理设备10通过在预设的时间段(如300[ms])使信息处理设备10完成显示信息v15的变大以及显示信息v13'的缩小的方式来控制显示信息v15和显示信息v13'的输出。

此外，在图11中，从定时t35到定时t36的时间段对应于其中信息处理设备10开始变大显示信息v15并且缩小显示信息v13'且随后完成显示信息v15的变大以及显示信息v13'的缩小的时间段。换句话说，截止到定时t16，显示信息v15已经被变大，并且显示信息v13'已经被缩小到变大之前的大小(即，显示信息v13已被显示)。所变大的显示信息v15也将被称为“显示信息v15'”，以将所变大的显示信息v15与还没有被变大的显示信息v15进行区分。

然后，信息处理设备10在信息处理设备10完成输出一组显示信息v11、显示信息v13以及显示信息v15的定时t17处输出剩余的表达作为语音，换言之，信息处理设备10还没有作为语音完成输出的指示“可以显示”的辅助短语的表达c217。然后，信息处理设备10终止对用户Ua所说的“你能做什么？”的语音输入的一组响应。

接着，将参考图2描述用于根据示例2的信息处理设备10与对应于在图11中所示的功能的表达被作为语音输出的时间段同步地控制对应于各功能的显示信息的输出的响应信息的示例，以及基于响应信息的操作的示例。

在图10中，参考符号d50表示其中为“可以显示时钟、天气预报、家庭日历”的响应内容d20嵌入用于示出显示信息v11、显示信息v13，以及显示信息v15的控制信息的响应信息的示例。

在响应信息d50中分别表示为“时钟”、“天气预报”、“家庭日历”和“可以显示”的表达d51、d53、d55，以及d57表示用作响应并作为语音被输出的信息，换言之，在响应内容d20中的相应表达。

参考符号d52、d541、d542、d561和d562是用于控制示出显示信息v11、显示信息v13，以及显示信息v15的控制信息的示例。

例如，由控制信息d52、控制信息d541，以及控制信息d561表示的“anim_expand”标记符分别对应于用于变大在“item”属性中指定的显示信息的控制信息。此外，在图12中所示的示例中，变大显示信息的时间段被指定为用于“anim_expand”标记符的“duration”属性。

由控制信息d542和控制信息d562表示的“anim_shrink”标记符分别对应于用于缩小在“item”属性中指定的显示信息的控制信息。此外，在图12中所示的示例中，缩小显示信息的时间段被指定为用于“anim_shrink”标记符的“duration”属性。

接着，将基于在图12中所示的响应信息d50描述由响应控制部111执行的响应处理的示例。

类似于上述实施方式，响应控制部111连续地从头部读取所获取的响应信息d40的内容，并根据所读取的信息的类型控制语音合成部115或显示控制部117的操作。

在图12所示的示例中，响应控制部111首先读取“时钟”的表达d51，并检测紧接在表达d51之后被插入的控制信息d52。

然后，响应控制部111将所读取的“时钟”的表达d51输出到语音合成部115，并且使语音合成部115输出对应于该表达d51的语音信息。响应控制部111使显示控制部117基于所检测到的控制信息d52的内容，通过在“300ms”内变大显示信息v11的方式控制由“clock_icon”所表示的显示信息v11的输出。

接着，响应控制部111读取“天气预报”的表达d53，并检测紧接在表达d33之后被插入的控制信息d541和控制信息d542。

在这种情况下，响应控制部111将所读取的“天气预报”的表达d53输出到语音合成部115，并且使语音合成部115输出对应于该表达d53的语音信息。响应控制部111使显示控制部117基于所检测到的控制信息d541的内容，通过在“300ms”内缩小显示信息v11的方式控制由“clock_icon”所表示的显示信息v11的输出。在这种情况下，基于控制信息d52所变大的显示信息v11(即显示信息v11')在“300ms”内被缩小到变大之前的大小。响应控制部111使显示控制部117基于所检测到的控制信息d542的内容，通过在“300ms”内变大显示信息v13的方式控制由“weather_icon”所表示的显示信息v13的输出。

类似地，响应控制部111读取“家庭日历”的表达，并检测紧接在表达d55之后被插入的控制信息d561和控制信息d562。

然后，在这种情况下，响应控制部111将所读取的“家庭日历”的表达d55输出到语音合成部115，并使语音合成部115输出对应于该表达d55的语音信息。响应控制部111使显示控制部117基于所检测到的控制信息d561的内容，通过在“300ms”内缩小显示信息v13的方式控制由“weather_icon”所表示的显示信息v11的输出。在这种情况下，基于控制信息d542所变大的显示信息v13(即显示信息v13')在“300ms”内被缩小到变大之前的大小。响应控制部111使显示控制部117基于所检测到的控制信息d562的内容，通过在“300ms”内变大显示信息v15的方式控制由“calender_icon”所表示的显示信息v15的输出。

最后，响应控制部111读取“可以显示”的表达d57，并在读取表达d57之后检测到响应信息d50的终止。

在这种情况下，响应控制部111将所读取的“可以显示”的表达d57输出到语音合成部115，并且使语音合成部115输出对应于表达d57语音信息。响应控制部111基于响应信息d50的终止的检测来终止基于响应信息d50的顺序控制。

如上面参考图11和图12所述的，如作为示例2所描述的信息处理设备10可以通过与对应于功能的表达的语音输出同步变大显示信息的方式来控制对应于功能的显示信息的显示模式。

以上仅示出了示例。只要与语音输出同步控制不同于对应于在响应内容的各功能的表达的语音输出的其它信息的输出，则用于输出其它信息的模式不限于如上所讨论的。此外，如果与语音输出同步将不同于语音输出的其它信息示出给用户，则其它信息不限于任何类型。

例如，图13是示出可以由响应信息定义的控制信息的示例的示图。在图13中所示的示例说明了用于与语音输出同步控制“作为动画显示该显示信息”，“闪烁或接通LED”以及“使用音频输出(例如，音效)得到声音反馈”的控制信息。

作为具体的示例，用于作为动画显示该显示信息的控制的示例包括：“使得显示信息可见/不可见”，“淡入/淡出显示信息”，“变大/缩小显示信息”，“闪烁显示信息”、“移动显示信息”，以及“滚动显示信息”。此外，可以指定“时间”、“次数”等作为用于执行各种控制的参数。

用于闪烁或接通LED的控制的示例包括“接通/断开LED”，“淡入/淡出LED”，以及“闪烁LED”。此外，可以指定“颜色”、“时间”、“次数”等作为用于执行各种控制的参数。

使用音频输出得到声音反馈的控制的示例包括“播放音频输出”，“停止音频输出”，“淡入/淡出音频输出”，以及“设置音频输出的音量”。此外，可以指定“声音(输出对象)”、“时间”、“次数”等作为用于执行各种控制的参数。

毋庸置疑，如上所述，例如，不仅可以控制如在图13中所示的所谓的可视信息和听觉信息，而且还可以控制刺激触觉、嗅觉，或者味觉的信息。除了显示动画，对视觉信息(如显示信息)的控制还可以包括改变(切换)显示信息的显示模式(如颜色和形状)。

[4.3.示例3：根据处理内容控制显示信息的示例]

参考图14到图17，作为示例3，下面描述了基于来自用户的语音输出，根据处理内容控制与语音信息同步输出的的语音信息和其它信息(诸如显示信息)的输出。

例如，图14示出信息处理设备10从用户Ua接收“明天下午5点我将要去看牙医”的语音输入c30，基于该语音输入c30在“家庭日历”功能中记录该计划，并对用户Ua进行响应。

然后，信息处理设备10基于语音输入c30的分析结果将“家庭日历”功能确定为相应的功能，并在显示平面上显示“家庭日历”功能的屏幕v31。

信息处理设备10输出“已经记录该计划”的语音信息c31，并且在屏幕v31的相应位置处与语音信息c31的输出同步地示出指示在“下午5点”“牙医”的计划的显示信息v311。然后，信息处理设备10可以通过将显示信息v311显示为动画而给用户Ua示出该新计划已经被显示出来。

在图14中所示的示例中，可以看出的是可以在基于语音信息c31和显示信息v311的响应后通过将“还可以记录姓名”的语音信息c33输出给用户Ua，将信息添加到所记录的计划中。在这种情况下，信息处理设备10可以与语音信息c33的输出同步地控制对应于处理内容的显示信息v33的显示模式，换言之，由语音信息c33示出给用户Ua的“记录姓名”。

作为具体示例，信息处理设备10可以与语音信息c33的输出同步地通过将显示信息v33闪烁多达预定次数来控制用于记录姓名的显示信息v33的显示，由此将所显示的处理内容和显示信息之间的关系示出给用户。

参考图15，将描述用于信息处理设备10进行如图14所示的响应的响应信息的示例。图15是用于描述根据示例3的响应信息d60的示例的示例性示图。

如在图15中所示，用于控制显示信息v311和显示信息v33的输出的控制信息d62和控制信息d65被嵌入至用于“已经记录该计划”的响应内容以及“还可以记录姓名”的响应内容的响应信息d60。

在响应信息d60中分别由“该计划”、“已经记录”、“姓名”以及“还可以记录”表示的表达d61、d63、d64以及d66表示用作响应并作为语音被输出的信息，换言之，在响应内容中的相应的表达。

控制信息d62是用于通过在对应于在“time”属性中指定的时间的位置处淡入该计划的方式，显示在“家庭日历”(被指定为在“item”属性中的“schedule(日程表)”)的显示屏幕v31上的“title”属性中指定的计划的控制信息。此外，在图15中所示的示例中，控制信息d62指定淡入在“title”中指定的计划的时间段作为“duration”属性。

控制信息d65是用于显示该显示信息v33的控制信息，其通过使显示信息v33闪烁多达在“repeat”属性中指定的次数的方式，在“item”属性中将姓名记录为“name_form”。

将不会对基于相应信息d60的响应处理的内容进行详细描述，因为其类似于上述实施方式和示例中的响应处理的内容。

当信息处理设备10给用户示出可以另外输入信息(如在图15中所示)时，该信息处理设备10可以在不终止所执行的“家庭日历”功能的情况下，继续用于“家庭日历”功能的处理。

接下来，参考图16，将描述当用户Ua响应于在图15中所示的“还可以记录姓名”的响应时而进行新的语音输入时执行的操作的示例。图16是用于描述根据示例3的信息处理设备10的操作的示例的示例性示图。在图16中所示的示例示出了信息处理设备10在接收“还可以记录姓名”的响应时，接收由用户Ua所说的“记录Junki作为姓名”的语音输入c34。

然后，信息处理设备10可以缩小范围以在分析所获取的语音输入c34时通过考虑被执行的功能的状态确定响应内容。作为具体示例，在图16中所示的示例中，信息处理设备10可以识别所获取的语音输入c34作为输入信息用于被执行的“家庭日历”功能，并且确定对应的响应内容。

一旦该信息处理设备10获取语音输入c24，信息处理设备10分析该语音输入。信息处理设备10由此识别到待记录作为“姓名”的内容是“Junki”，并且将“Junki”与预先记录的“牙医”的计划关联。

信息处理设备10输出“已经记录该姓名”的语音信息c35，并与语音信息c35的输出同步地示出输入“Junki”的姓名的显示信息v35用于在图15中所示的显示信息v33。然后，信息处理设备10可以通过显示该显示信息v35给用户Ua示出已经记录了由用户Ua指定的“Junki”的姓名，从而在显示信息v33中淡入姓名“Junki”。

参考图17，将描述用于信息处理设备10进行如图16中所示的响应的响应信息的示例。图17是用于描述根据示例3的响应信息d70的示例的示例性示图。

如在图17中所示，用于控制显示信息v35的输出的控制信息d72被嵌入响应信息d70用于“已经记录姓名”的响应内容。

在响应信息d70中分别由“该姓名”和“已经记录”所表示的表达d71和d73指示用作响应并作为语音输出的信息，换言之，在响应内容中的相应的表达。

控制信息d72是通过显示在“name”属性中指定的姓名“Junki”从而在“item”属性中指定为“name_form”的显示信息v33中淡入的方式来显示该显示信息v35的控制信息。此外，在图17中所示的示例中，控制信息d72指定淡入在“name”中指定的姓名的时间段作为“duration”属性。

将不会对基于相应信息d70的响应处理的内容进行详细描述，因为其类似于上述实施方式和示例中的响应处理的内容。

如参考图14到图17的示例3所描述的，信息处理设备10可以基于来自用户语音输入，与根据处理内容的语音信息的输出同步地控制语音信息和其它信息(诸如显示信息)的输出。

[4.4.例4：将信息显示给多个用户的方法的示例]

作为示例4，下面描述了用于信息处理设备10响应于来自各用户的语音输入而对多个用户进行响应的配置和操作的示例。

例如，图18是用于说明根据示例4的信息处理设备10的示例的示图。在图18中所示的示例中，信息处理设备10包括多个音频输出部51a和51作为用于输出语音信息的音频输出部51。当信息处理设备10响应于来自用户的语音输入而进行语音输出时，该信息处理设备10经由多个音频输出部51a和51b中的被定位成更靠近作为语音输入的说话者的用户的一个进行语音输出。然后，信息处理设备10在用户附近与语音输出一致地显示显示信息。

例如，在图18中所示的示例中，信息处理设备10响应于由用户Ua所说的“现在伦敦几点了？”的语音输入c40a，从被定位成靠近用户Ua的音频输出部51a输出“现在是下午5点”的语音信息c41a。此外，信息处理设备10随后与语音信息c41a的输出同步地控制对应于“时钟”功能的显示信息v41的显示，以便在显示平面内对应于靠近用户Ua的区域的位置处淡入显示信息v41。

同时，信息处理设备10响应于由用户Ub所说的“明天天气怎么样？”的语音输入c40b，从被定位成靠近用户Ub的音频输出部51b输出“将要下雨”的语音信息c41b。此外，信息处理设备10随后与语音信息c41b的输出同步地控制对应于“天气预报”功能的显示信息v43的显示，以便在显示平面内对应于靠近用户Ub的区域的位置处淡入显示信息v43。

在这种情况下，例如，信息处理设备10基于“伦敦现在几点了”的语音输入c40a所来自的方向，估计说出语音输入c40的来源，换句话说，用户Ua的位置。此外，信息处理设备10分析“伦敦现在几点了”的语音输入c40a，并基于分析结果生成用于响应语音输入c40的响应信息。然后，信息处理设备10将用户Ua的位置的估计结果与所生成的响应信息相关联。

当信息处理设备10基于所生成的响应信息对用户Ua的语音输入c40a进行响应时，信息处理设备10基于与响应信息相关联的用户Ua的位置的估计结果来确定语音信息和显示信息输出至的目的地。具体地，信息处理设备10基于用户Ua的位置的估计结果确定音频输出部51a(其输出用于对语音输入c40a进行响应的“现在是下午5点”的语音信息c41a)。基于用户Ua的位置的估计结果，信息处理设备10进一步确定在用户Ua相对于信息处理设备10出现的方向上的显示平面内的区域，作为显示对应于“时钟”功能的显示信息v41的位置。

此外，当信息处理设备10对用户Ub所说的“明天天气怎么样”的语音输入c40b进行相应时，该信息处理设备10以相同的方式基于估计结果估计用户Ub的位置并控制语音信息c41b和显示信息v43的输出。

图19是用于描述根据示例1的信息处理设备10的另一示例的示图。在图19中所示的示例中，信息处理设备10确定作为语音输入的说话者的用户，并根据所识别的用户控制语音信息和显示信息输出的输出模式作为对语音输入的响应。

例如，在图19中所示的示例中，当信息处理设备10基于语音输出进行响应时，信息处理设备10根据对其进行响应的用户改变说出语音输出的方式、语音输出的音调、语音输出的嗓音等。作为具体示例，信息处理设备10针对成人用户Ua和Ub，以及儿童用户Uc改变说话的方式。

信息处理设备10可以包括在待输出作为语音的响应内容内的能够让所识别的用户记住的信息(诸如姓名)。作为具体示例，在图19中所示的示例中，信息处理设备10生成包括用户Uc的姓名的响应内容，像“现在是早饭时间，Yuta”作为对用户Uc的响应，并且输出指示响应内容的语音信息c55c。

信息处理设备10还可以在输出显示信息时根据报告给其的用户来改变显示信息的显示模式。例如，在图19中所示的示例中，信息处理设备10根据报告给其的用户切换方向，以在显示平面上淡入显示信息。

具体地，信息处理设备10与语音信息c51a的输出同步控制显示信息v51a的输出，以便在显示平面上从右至左淡入显示信息v51a作为对用户Ua的响应。信息处理设备10与语音信息c53b的输出同步控制显示信息v53b的输出，以便在显示平面上从左至右淡入显示信息v53b作为对用户Ub的响应。类似地，信息处理设备10与语音信息c55c的输出同步控制显示信息v55c的输出，以便在显示平面上从下至上淡入显示信息v55c作为对用户Uc的响应。

在这种情况下，基于所谓的扬声器识别技术从来自每个用户的语音输入提取诸如声纹的特征，并将所提取的特征与预先存储的每个用户的特征进行比较，从而确定该用户。然后信息处理设备10基于语音输入的分析结果生成响应信息，并将基于语音输入所确定的用户的信息与所生成的响应信息关联。

当信息处理设备10基于所生成的响应信息执行响应处理时，信息处理设备10基于与响应信息相关联的用户的信息识别对其进行响应的用户，并且控制根据所识别的用户控制语音信息和显示信息的输出模式。

如上面示例4所述的，当信息处理设备10对多个用户进行响应时，该信息处理设备10可以基于各用户的位置以及各用户的确定结果，与语音信息同步控制响应于语音输入的待输出的语音信息的输出模式以及待输出的其它信息。

[4.5.例5：当用户中断时显示信息的方法的示例]

参考图20，作为示例5，下面描述了当信息处理设备10正在响应来自用户的语音输入时，用户中断并进行新的语音输入时信息处理设备10显示信息的方法的示例。图20是用于描述根据示例5的信息处理设备10的示例的示图。

假设在图20中所示的示例中，信息处理设备10首次从用户Ua接收“明天有任何计划吗？”的语音输入c60。然后，信息处理设备10输出指示在早上日程表中的计划的“在明早7点，…”的语音信息c61作为对语音输入c60的响应，并且与语音信息c61的输出同步在显示平面上淡入显示信息v61。

假设当信息处理设备10正在输出语音信息c61和显示信息v61时，用户Ua进行“噢，请告诉我下午的计划”的语音输入c62以请求信息处理设备10显示下午日程表中的计划。

接收了该语音输入c62后，信息处理设备10取消该信息处理设备10正在进行的语音信息c61以及显示信息v61的输出。然后，信息处理设备10控制显示信息v61的输出，从而从显示平面将在显示平面淡入的显示信息v61淡出。信息处理设备10通过这种显示控制将信息处理设备10已经取消的语音信息c61和显示信息v61的输出示出给用户Ua。

信息处理设备10重新输出指示在下午日程表中的计划的“是的，您将在下午1:30点有一个会议”的语音信息c63，并且与语音信息c63的输出同步在显示平面上淡入显示信息v63。

如果信息处理设备10取消了该信息处理设备10正在进行的信息输出，并重新显示信息，那么该信息处理设备10可以控制新的信息的输出，从而指示了新的信息被示出。作为具体示例，信息处理设备10可以在与显示信息v61的位置相同的位置处，或者在与显示信息v61的位置不同的位置处显示被重新显示的显示信息v63。

如果信息处理设备10在取消时重新输出语音信息，那么信息处理设备10可以用与在取消前所使用的语句不同的语句输出新的语音信息。作为具体示例，在图20所示的示例中，信息处理设备10改变了介词短语使用的方式，从而强调在语音输入c62中的“下午”的表达。信息处理设备10可以进一步包括响应内容中的诸如“是的”以及“我明白了”的表达，以表明已经接收了新的语音输入。

毋庸置疑，当信息处理设备10正在进行响应时，该信息处理设备10可以通过监测接收语音输入的定时以及用于语音输入的响应处理的处理序列来识别用户中断并进行新的语音输入。

如上面作为示例5所述的，如果用户在信息处理设备10正在对来自用户的语音输入进行响应时中断并进行新的语音输入，则该信息处理设备10可以向用户显示该信息处理设备10一直进行的响应被取消了。如果信息处理设备10由于响应的取消而进行新的响应，则信息处理设备10可进一步以与取消前所使用的显示模式不同的显示模式，与语音信息同步显示作为响应的待输出的语音信息，以及待输出的其它信息(诸如显示信息)。<5.硬件配置>

接着，将参考图21对根据本公开内容的各实施方式信息处理设备10的硬件配置的示例进行详细描述。图21示出了根据本公开内容的实施方式的信息处理设备10的硬件配置的示例。

如在图21中所示的，根据本实施方式的信息处理设备10包括处理器901、存储器903、储存器905、扬声器911、通信设备913，以及总线915。信息处理设备10还可以包括操作设备907和显示设备909。

例如，处理器901可以是中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)，片上系统(SoC)，并且执行信息处理设备10的各种处理。例如，处理器901可以由用于执行各种操作的电子电路组成。可以由处理器901来实现以上所讨论的输入信息分析部101、响应信息生成部103、处理执行部105、响应控制部111、语音合成部115，以及显示控制部117。

存储器903包括随机存取存储器(RAM)和只读存储器(ROM)，并且存储待由处理器901执行的程序和数据。储存器905可以包括存储介质，例如半导体存储器和硬盘。例如，上面所讨论的字典信息存储部109可以被配置为存储器903和储存器905的至少一个，或它们的组合。

操作设备907具有产生用于允许用户执行期望操作的输入信号的功能。例如，操作设备907可以由输入部(诸如按钮和开关)和输入控制电路组成，该输入部允许用户输入信息，该输入控制电路用于基于来自用户的输入生成输入信号并将输入信号提供给处理器901。

显示设备909是输出设备的示例，并且可以是如液晶显示器(LCD)的显示器和有机发光二极管(OLED)显示器。在这种情况下，显示设备909可以通过显示屏幕通知用户预定的信息。可以由显示设备909来实现上面所讨论的显示部53。

扬声器911是用于输出音频信号和语音信号的输出设备的示例。可以通过扬声器911来实现上面所讨论的音频输出部51。

通信设备913是包括在信息处理设备10中的通信装置，并且经由网络与外部设备进行通信。通信设备913是有线或无线的通信接口。如果通信设备913被配置为无线通信接口，那么该通信设备913可以包括通信天线、射频(RF)电路、基带处理器等。

在通信设备913具有对从外部设备接收的信号执行多个信号处理的功能，并且并且可以将从所接收到的模拟信号产生的数字信号提供给处理器901。

总线913将处理器901、存储器903、储存器905、操作设备907、显示设备909、扬声器91以及通信设备913连接至彼此。总线915可以包括多种类型的总线。

还可以制造程序，用于使内置在计算机中的硬件(例如处理器、内存器，以及存储器)执行对应于信息处理设备10的组件的功能。也有可能提供在其上记录程序的计算机可读存储介质。

<6.结论>

如上所述，根据本实施方式的信息处理设备10包括所谓的交互式界面，其允许信息处理设备10基于语音输出和不同于语音输出的其它信息(诸如显示信息)，通过相应于由用户进行的语音输入与用户进行交互。基于这种配置，根据本实施方式的信息处理设备10与对应于功能的表达的语音输出同步控制与每个功能相关的其它信息的输出。这允许用户直观地识别对应于功能输出的其它信息作为语音。

以上描述了其中信息处理设备10与对应于功能的表达的语音输出同步控制涉及各功能的其它信息的输出，但是语音输出不一定完全与其它信息的输出同步。例如，用户操作信息处理设备10的一些环境，或者使用信息处理设备10的一些方式可以延迟语音输出和相对于另一个输出的其它输出的一个，只要输出之间的关系可以被识别。在这种情况下，信息处理设备10可以根据待输出作为语音或者其它类型的信息的信息的长度控制延迟量(输出定时)。

以上描述了其中由用户用于输入信息所说的的语音输入的示例，其被用于使用户将信息输入给信息处理设备10的输入方法，但是使用户将信息输入给信息处理设备10的输入方法不一定限于语音输入。

例如，信息处理设备10可以经由输入设备(例如键盘、鼠标，或触摸面板)获取用户输入。作为具体的示例，信息处理设备10可以接收由用户进行的操作(如移动光标)，并通过键操作和鼠标操作，以及敲击触摸板来确定选择的目标，并从在显示部上显示的显示信息识别由用户所选择的显示信息。

作为另一示例，信息处理单元10可以提供用于用户通过手势输入来输入信息的界面。作为具体示例，信息处理设备10可以基于通过成像部捕捉到的用户的图像来识别用户的操作(手势)，以及根据所识别的操作，基于手势输入由用户选择的识别信息(如在显示部上显示的显示信息)。

上面已经参照附图描述了本公开内容的优选实施方式，但是本公开内容不限于上述示例。本领域的技术人员可以在所附权利要求的范围内发现各种替换和修改，并且应当理解的是，它们本质上将会在本公开内容的技术范围内。

此外，在本说明书中描述的效果仅是说明性或例示性的效果，并且不是限制性的。即，使用上述效果或者出现上述效果时，根据本公开内容的技术基于本说明书的描述可以实现对本领域技术人员清楚的其它效果。

此外，本技术可以被如下配置。

(1)一种信息处理设备，包括：

控制部，被配置为基于关于进行一组表达中的有关功能的表达的语音输出的定时的定时信息，控制与有关预定功能的语音输出不同的其它信息的输出，所述一组表达包括有关功能的表达。

(2)根据(1)所述的信息处理设备，其中，

其它信息是在显示部上显示的显示信息。

(3)根据(2)所述的信息处理设备，其中，

控制部控制所述一组表达的语音输出。

(4)根据(3)所述的信息处理设备，其中，

控制部基于由语音合成部执行的语音合成处理来控制一组表达的语音输出。

(5)根据(4)所述的信息处理设备，其中，

语音合成处理是基于用户的语音输入所执行的处理。

(6)根据(5)所述的信息处理设备，其中，

根据通过用户的语音输入所表示的语义内容来生成一组表达。

(7)根据(4)到(6)中任何一项所述的信息处理设备，其中，

控制部与有关功能的表达的语音输出同步地控制有关功能的显示信息的输出。

(8)根据(7)所述的信息处理设备，其中，

控制部与有关功能的表达的语音输出同步地改变有关功能的显示信息。

(9)根据(7)所述的信息处理设备，其中，

控制部与有关功能的表达的语音输出同步地控制使得有关功能的显示信息可见以及不可见。

(10)根据(7)所述的信息处理设备，其中，

控制部与有关功能的表达的语音输出同步地控制有关功能的音频信息的输出。

(11)根据(7)所述的信息处理设备，其中，

控制部根据功能与有关功能的表达的语音输出同步地利用发光的次数或者发光模式来控制发光部的发光。

(12)根据(1)到(11)中任何一项所述的信息处理设备，其中，

一组表达包括表示根据功能的处理内容的表达，

控制部与一组表达中的表示处理内容的表达的语音输出同步地控制与根据处理的内容的语音输出不同的其它信息的输出。

(13)根据(7)到(11)中任何一项所述的信息处理设备，其中，

控制部与有关功能的表达作为语音被输出的定时同步地控制有关功能的其它信息的输出。

(14)根据(7)到(11)中任何一项所述的信息处理设备，其中，

控制部与有关功能的表达作为语音被输出的时间段同步地控制有关功能的其它信息的输出。

(15)根据(1)到(14)中任何一项所述的信息处理设备，其中，

控制部基于与有关功能的表达相关的控制信息，控制有关功能的其它信息的输出。

(16)根据(15)所述的信息处理设备，其中，

控制部使用控制信息作为与表示有关功能的表达的文本信息相关的标记符信息，并且控制部基于被嵌入在表示一组表达的文本信息中的控制信息，控制有关功能的其它信息的输出。

(17)根据(2)到(11)中任何一项所述的信息处理设备，其中，

显示信息是由用户执行的选择操作的选择目标。

(18)一种信息处理方法，包括以下步骤：

通过处理器控制基于关于进行一组表达中的有关功能的表达的语音输出的定时的定时信息，控制与有关预定功能的语音输出不同的其它信息的输出，一组表达包括有关功能的表达。

(19)一种用于使计算机执行以下操作的程序：

基于关于进行一组表达中的有关功能的表达的语音输出的定时的定时信息，控制与有关预定功能的语音输出不同的其它信息的输出，一组表达包括有关功能的表达。

符号说明

10 信息处理设备

101 输入信息分析部

103 响应信息生成部

105 处理执行部

109 字典信息存储部

111 响应控制部

115 语音合成部

117 显示控制部

41 声音采集部

51 音频输出部

53 显示部。

Claims (19)

1.一种信息处理设备，包括：

控制部，被配置为基于关于进行一组表达中的有关功能的表达的语音输出的定时的定时信息，控制与有关预定功能的语音输出不同的其它信息的输出，所述一组表达包括有关所述功能的表达。

2.根据权利要求1所述的信息处理设备，其中，

所述其它信息是在显示部上显示的显示信息。

3.根据权利要求2所述的信息处理设备，其中，

所述控制部控制所述一组表达的语音输出。

4.根据权利要求3所述的信息处理设备，其中，

所述控制部基于由语音合成部执行的语音合成处理来控制所述一组表达的语音输出。

5.根据权利要求4所述的信息处理设备，其中，

所述语音合成处理是基于用户的语音输入所执行的处理。

6.根据权利要求5所述的信息处理设备，其中，

根据通过所述用户的所述语音输入所表示的语义内容来生成所述一组表达。

7.根据权利要求4所述的信息处理设备，其中，

所述控制部与有关所述功能的表达的语音输出同步地控制有关所述功能的所述显示信息的输出。

8.根据权利要求7所述的信息处理设备，其中，

所述控制部与有关所述功能的表达的语音输出同步地改变有关所述功能的所述显示信息。

9.根据权利要求7所述的信息处理设备，其中，

所述控制部与有关所述功能的表达的语音输出同步地进行控制以使有关所述功能的所述显示信息可见以及不可见。

10.根据权利要求7所述的信息处理设备，其中，

所述控制部与有关所述功能的表达的语音输出同步地控制有关所述功能的音频信息的输出。

11.根据权利要求7所述的信息处理设备，其中，

所述控制部根据所述功能与有关所述功能的表达的语音输出同步地利用发光次数或者发光图案来控制发光部的发光。

12.根据权利要求1所述的信息处理设备，其中，

所述一组表达包括表示根据所述功能的处理内容的表达，

所述控制部与所述一组表达中的表示所述处理内容的表达的语音输出同步地控制与根据所述处理内容的语音输出不同的所述其它信息的输出。

13.根据权利要求7所述的信息处理设备，其中，

所述控制部与有关所述功能的表达作为语音被输出的定时同步地控制有关所述功能的所述其它信息的输出。

14.根据权利要求7所述的信息处理设备，其中，

所述控制部与有关所述功能的表达作为语音被输出的时间段同步地控制有关所述功能的所述其它信息的输出。

15.根据权利要求1所述的信息处理设备，其中，

所述控制部基于与有关所述功能的表达相关的控制信息，控制有关所述功能的所述其它信息的输出。

16.根据权利要求15所述的信息处理设备，其中，

所述控制部使用所述控制信息作为与表示有关所述功能的表达的文本信息相关的标记符信息，并且所述控制部基于被嵌入在表示所述一组表达的文本信息中的所述控制信息控制有关所述功能的所述其它信息的输出。

17.根据权利要求2所述的信息处理设备，其中，

所述显示信息是由用户执行的选择操作的选择目标。

18.一种信息处理方法，包括以下步骤：

通过所述处理器基于关于进行一组表达中的有关功能的表达的语音输出的定时的定时信息，控制与有关预定功能的语音输出不同的其它信息的输出，所述一组表达包括有关所述功能的表达。

19.一种用于使计算机执行以下操作的程序：

基于关于进行一组表达中的有关功能的表达的语音输出的定时的定时信息，控制与有关预定功能的语音输出不同的其它信息的输出，所述一组表达包括有关所述功能的表达。