CN110136705B - 一种人机交互的方法和电子设备 - Google Patents

Abstract

本申请提供了一种人机交互的方法和电子设备，涉及人工智能领域，具体涉及自然语言处理领域。该方法包括：电子设备获取用户输入的第一语句；该电子设备解析该第一语句，得到第一信息，该第一信息用于指示用户的意图，该第一信息对应一个或者多个第二信息，该一个或者多个第二信息为用于实现该用户的意图的信息；当该一个或者多个第二信息中至少一个第二信息存在缺失时，该电子设备从人机交互应用所记忆过的内容中查找缺失的该至少一个第二信息；该电子设备根据该第一信息和该一个或者多个第二信息，执行与该用户的意图相关的操作。本申请实施例的人机交互的方法，有助于提高人机交互的效率。

Description

一种人机交互的方法和电子设备

技术领域

本申请涉及电子设备领域，并且更具体地，涉及一种人机交互的方法和电子设备。

背景技术

语音助手目前广泛应用于手机、平板电脑、智能音箱等等电子设备中，为用户提供了智能化的语音交互方式。

现有的语音助手仅实现了记忆功能，在需要实现用户意图的场景下，可能还需要与用户之间进行频繁的交互，人机交互的效率比较低，导致用户体验较差。

发明内容

本申请提供一种人机交互的方法和电子设备，以期提高人机交互的效率。

第一方面，提供了一种人机交互的方法，该方法应用于电子设备，该方法包括：所述电子设备(具体可以是所述电子设备中的人机交互应用)获取用户输入的第一语句；该人机交互应用(具体可以是所述电子设备中的所述人机交互应用)解析该第一语句，得到第一信息，该第一信息用于指示用户的意图，该第一信息对应一个或者多个第二信息，该一个或者多个第二信息为用于实现该用户的意图的信息；当该一个或者多个第二信息中至少一个第二信息存在缺失时，该电子设备(具体可以是所述电子设备中的所述人机交互应用)从该人机交互应用所记忆过的内容中查找缺失的该至少一个第二信息；该电子设备(具体可以是所述电子设备中的所述人机交互应用)根据该第一信息和该一个或者多个第二信息，执行与该用户的意图相关的操作。

本申请实施例的人机交互的方法，当人机交互应用在执行用户的意图时发现存在信息缺失，则可以从人机交互应用所记忆过的内容(也可以称之为所存储的内容)中查找缺失的信息，避免了人机交互应用频繁与用户之间进行交互，有助于提升人机交互的效率，从而有助于提高用户体验。

本申请实施例中，人机交互应用在查找缺失的信息时，可以从人机交互应用所记忆过的内容中查找，查找的地方包括了记忆过的内容。示例性的，用户之前和人机交互应用的交互过程中输入了一些信息，人机交互应用可以对这些信息进行保存。

人机交互应用查找的地方也可以为其他应用中保存的内容。示例性的，人机交互应用从电子设备的记事本应用查找缺失的信息。

在一些可能的实现方式中，人机交互应用在确定用户的意图后，可以实时分析记事本中保存的信息，确定记事本中保存的信息中是否存在该至少一个第二信息，在从记事本中保存的信息中找到该至少一个第二信息后，执行与该用户的意图相关的操作。

在一些可能的实现方式中，当电子设备检测到用户在记事本中输入相关的信息后，电子设备可以预先分析记事本中的信息，并将分析出的信息保存在记事本应用对应的存储空间中，或者，保存在人机交互应用对应的存储空间中，或者，也可以保存在其他存储空间(例如，云侧或者服务器中)。

应理解，上述其他应用仅仅是以记事本为例进行说明，也可以是短信应用、聊天应用等等应用。查找缺失的至少一个数据时，可以实时分析其他应用中的内容；也可以是预先分析其他应用中的内容，并将预先分析后得到的信息保存在相应的存储空间中。

结合第一方面，在第一方面的某些可能的实现方式中，该电子设备(具体可以是所述电子设备中的所述人机交互应用)获取用户输入的第一语句之前，该方法还包括：该电子设备(具体可以是所述电子设备中的所述人机交互应用)获取用户输入的第二语句；该电子设备(具体可以是所述电子设备中的所述人机交互应用)解析该第二语句，得到该至少一个第二信息；该电子设备(具体可以是所述电子设备中的所述人机交互应用)保存该至少一个第二信息。

本申请实施例的人机交互的方法，人机交互应用可以在与用户的交互过程中自动保存一些信息，这样当在获取用户的意图时，可以从这些保存的信息中查找缺失的信息，从而可以避免人机交互应用频繁与用户进行交互，提高了人机交互的效率，从而提升了用户体验。

在一些可能的实现方式中，该人机交互应用将该至少一个第二信息保存在人机交互应用记忆的内容中。

在一些可能的实现方式中，该人机交互应用保存该至少一个第二信息之前，该方法还包括：该人机交互应用确定需要保存的信息的类型；其中，该人机交互应用保存该至少一个第二信息，包括：在该至少一个第二信息中每个信息的类型满足所述需要保存的信息的类型的情况下，该人机交互应用保存该至少一个第二信息。

结合第一方面，在第一方面的某些可能的实现方式中，该第二语句中包括用户发起的记忆指令。

结合第一方面，在第一方面的某些可能的实现方式中，该第一信息对应多个第二信息，该多个第二信息中至少两个第二信息存在缺失，该电子设备(具体可以是所述电子设备中的所述人机交互应用)从该人机交互应用所记忆过的内容中查找缺失的该至少一个第二信息，包括：该电子设备(具体可以是所述电子设备中的所述人机交互应用)从该人机交互应用所记忆过的内容中查找到缺失的该至少两个第二信息中的部分信息；其中，该方法还包括：该电子设备(具体可以是所述电子设备中的所述人机交互应用)生成对话，该对话用于提醒用户输入该至少两个第二信息中的另一部分信息；该电子设备(具体可以是所述电子设备中的所述人机交互应用)向用户发送该对话信息；该电子设备(具体可以是所述电子设备中的所述人机交互应用)获取用户输入的第三语句；该电子设备(具体可以是所述电子设备中的所述人机交互应用)解析该第三语句，该第三语句包括该至少两个信息中的另一部分信息。

当人机交互应用在从所记忆过的内容中只查找到缺失的该至少两个第二信息中的部分信息时，这是人机交互应用可以向用户询问缺失的该至少两个第二信息中的另一部分信息，从而获得实现用户的意图的一个或者多个第二信息。

结合第一方面，在第一方面的某些可能的实现方式中，该方法还包括：该人机交互应用保存该至少两个信息中的另一部分信息。

本申请实施例的人机交互的方法，人机交互应用可以在与用户的交互过程中自动保存一些信息，这样当下一次完成用户的某个意图时，如果可以用到这些信息，就可以避免人机交互应用频繁与用户进行交互，提高了人机交互的效率，从而提升了用户体验。

结合第一方面，在第一方面的某些可能的实现方式中，该根据该第一信息和该一个或者多个第二信息，执行与该用户的意图相关的操作，包括：该电子设备(具体可以是所述电子设备中的所述人机交互应用)根据该第一信息、查找到的缺失的该至少一个第二信息以及该一个或者多个第二信息中除该至少一个第二信息以外的信息，生成指令；该电子设备(具体可以是所述电子设备中的所述人机交互应用)根据该指令，执行与该指令相关的操作。

本申请实施例中，该第二语句可以只包括该第一信息，那么人机交互应用需要从所记忆过的内容中去查找该一个或者多个第二信息，人机交互应用有可能从所记忆过的内容中将该一个或者多个第二信息都查找到了，此时，人机交互应用可以直接生成指令；人机交互应用还有可能只查找到一个或者多个第二信息中的部分信息，那么人机交互应用需要向用户发起询问从而获得一个或者多个第二信息中的另一部分信息，进而生成指令。

或者，该第一语句中包括了第一信息以及用于实现用户的意图的一个或者多个第二信息中的部分信息，此时人机交互应用可以从所记忆的内容中查找一个或者多个信息中的另一部分信息。人机交互应用有可能从所记忆过的内容中将另一部分信息都查找到了，此时，人机交互应用可以直接生成指令；人机交互应用还有可能只查找到另一部分信息中的部分信息，还有部分信息需要向用户询问后获得，进而生成指令

结合第一方面，在第一方面的某些可能的实现方式中，在该生成指令之前，包括：该电子设备(具体可以是所述电子设备中的所述人机交互应用)将该一个或者多个第二信息填充到与该第一信息对应的槽位中。

本申请实施例中，人机交互应用在生成指令之前，可以将该一个或者多个第二信息填充到第一信息对应的槽位中。

第二方面，提供了一种人机交互的方法，该方法应用于电子设备，该方法包括：该电子设备(具体可以是所述电子设备中的所述人机交互应用)检测到用户输入的第一语句，该第一语句中包括至少一个第一信息；响应于该用户输入的第一语句，显示或者播报第一对话信息，该第一对话信息为对该第一语句的应答；响应于用户输入的第一语句，该电子设备(具体可以是所述电子设备中的所述人机交互应用)存储该至少一个第一信息；电子设备(具体可以是所述电子设备中的所述人机交互应用)检测到用户输入的第二语句，该第二语句中包括第二信息且不包括该至少一个第一信息，该第二信息用于指示用户的意图，该至少一个第一信息为用于实现该用户的意图的信息中的至少部分信息；响应于该用户输入的第二语句，电子设备(具体可以是所述电子设备中的所述人机交互应用)至少根据该第二信息和该至少一个第一信息执行与该用户的意图相关的操作。

在一些可能的实现方式中，该人机交互应用至少根据该第二信息和该至少一个第一信息执行与该用户的意图相关的操作，包括：该人机交互应用至少根据该第二信息和该至少一个第一信息，生成指令；该人机交互应用根据该指令，执行与该指令相关的操作。

在一些可能的实现方式中，该电子设备将该至少一个第一信息保存在人机交互应用记忆的内容中。

在一些可能的实现方式中，执行与该用户的意图相关的操作之前，该方法还包括：从人机交互应用所记忆过的内容中查找该至少一个第一信息。

结合第二方面，在第二方面的某些可能的实现方式中，该至少一个第一信息为用于实现该用户的意图的信息中的部分信息，且该第二语句中不包括用于实现该用户的意图的信息中的另一部分信息，该响应于用户输入的第二语句，该电子设备(具体可以是所述电子设备中的所述人机交互应用)至少根据所述第二信息和所述至少一个第一信息执行与该用户的意图相关的操作，包括：该电子设备(具体可以是所述电子设备中的所述人机交互应用)显示或者播报第二对话信息，该第二对话信息用于提醒用户输入第三信息，该第三信息为用于实现该用户的意图的信息中的另一部分信息；该电子设备(具体可以是所述电子设备中的所述人机交互应用)检测到用户输入的第三语句，该第三语句中包括该第三信息；响应于该用户输入的第三语句，该电子设备(具体可以是所述电子设备中的所述人机交互应用)根据该第三信息、该第二信息和该至少一个第一信息执行与该用户的意图相关的操作。

在一些可能的实现方式中，该人机交互应用根据该第三信息、该第二信息和该至少一个第一信息执行与该用户的意图相关的操作，包括：该人机交互应用根据该第三信息、该第二信息和该至少一个第一信息，生成指令；该人机交互应用根据该指令，执行与该指令相关的操作。

在一些可能的实现方式中，该电子设备将该另一部分信息保存在该人机交互应用所记忆的内容中。

第三方面，本技术方案提供了一种人机交互的装置，该装置包含在电子设备中，该装置具有实现上述方面及上述方面的可能实现方式中电子设备行为的功能。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如，显示模块或单元、检测模块或单元等。

第四方面，本技术方案提供了一种电子设备，包括：一个或多个处理器；存储器；多个应用程序；以及一个或多个计算机程序。其中，一个或多个计算机程序被存储在存储器中，一个或多个计算机程序包括指令。当指令被电子设备执行时，使得电子设备执行上述任一方面任一项可能的实现中的人机交互的方法。

第五方面，本技术方案提供了一种电子设备，包括一个或多个处理器和一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合，一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，使得电子设备执行上述任一方面任一项可能的实现中的人机交互的方法。

第六方面，本技术方案提供了一种计算机存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述任一方面任一项可能的实现中的人机交互的方法。

第七方面，本技术方案提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述任一方面任一项可能的设计中的人机交互的方法。

附图说明

图1是本申请实施例提供的一种电子设备的硬件结构示意图。

图2是本申请实施例提供的一种电子设备的软件结构示意图。

图3是本申请实施例提供的一组显示界面示意图。

图4是本申请实施例提供的另一组显示界面示意图。

图5是本申请实施例提供的另一组显示界面示意图。

图6是本申请实施例提供的另一组显示界面示意图。

图7是本申请实施例提供的人机交互过程中记忆获取的流程的示意性流程图。

图8是本申请实施例提供的人机交互过程中记忆写入的流程的示意性流程图。

图9是本申请实施例提供的人机交互的方法的示意性流程图。

图10是本申请实施例提供的人机交互的方法的另一示意性流程图。

图11是本申请实施例提供的电子设备的示意性框图。

图12是本申请实施例提供的电子设备的另一示意性框图。

具体实施方式

以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请以下各实施例中，“至少一个”、“一个或多个”是指一个、两个或两个以上。术语“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

以下介绍了本申请实施例提供的电子设备、用于这样的电子设备的用户界面、和用于使用这样的电子设备的实施例。在一些实施例中，电子设备可以是还包含其它功能诸如个人数字助理和/或音乐播放器功能的便携式电子设备，诸如手机、平板电脑、具备无线通讯功能的可穿戴电子设备(如智能手表)等。便携式电子设备的示例性实施例包括但不限于搭载

或者其它操作系统的便携式电子设备。上述便携式电子设备也可以是其它便携式电子设备，诸如膝上型计算机(Laptop)等。还应当理解的是，在其他一些实施例中，上述电子设备也可以不是便携式电子设备，而是台式计算机。

示例性的，图1示出了电子设备100的结构示意图。电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的部件，也可以集成在一个或多个处理器中。在一些实施例中，电子设备101也可以包括一个或多个处理器110。其中，控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。在其他一些实施例中，处理器110中还可以设置存储器，用于存储指令和数据。示例性地，处理器110中的存储器可以为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。这样就避免了重复存取，减少了处理器110的等待时间，因而提高了电子设备101处理数据或执行指令的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路间(inter-integrated circuit，I2C)接口，集成电路间音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，SIM卡接口，和/或USB接口等。其中，USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备101充电，也可以用于电子设备101与外围设备之间传输数据。该USB接口130也可以用于连接耳机，通过耳机播放音频。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或多个显示屏194。

电子设备100的显示屏194可以是一种柔性屏，目前，柔性屏以其独特的特性和巨大的潜力而备受关注。柔性屏相对于传统屏幕而言，具有柔韧性强和可弯曲的特点，可以给用户提供基于可弯折特性的新交互方式，可以满足用户对于电子设备的更多需求。对于配置有可折叠显示屏的电子设备而言，电子设备上的可折叠显示屏可以随时在折叠形态下的小屏和展开形态下大屏之间切换。因此，用户在配置有可折叠显示屏的电子设备上使用分屏功能，也越来越频繁。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或多个摄像头193。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储一个或多个计算机程序，该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令，从而使得电子设备101执行本申请一些实施例中所提供的灭屏显示的方法，以及各种应用以及数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统；该存储程序区还可以存储一个或多个应用(比如图库、联系人等)等。存储数据区可存储电子设备101使用过程中所创建的数据(比如照片，联系人等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如一个或多个磁盘存储部件，闪存部件，通用闪存存储器(universal flash storage，UFS)等。在一些实施例中，处理器110可以通过运行存储在内部存储器121的指令，和/或存储在设置于处理器110中的存储器的指令，来使得电子设备101执行本申请实施例中所提供的灭屏显示的方法，以及其他应用及数据处理。电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

其中，压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，X，Y和Z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。

加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。

指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器180J用于检测温度。在一些实施例中，电子设备100利用温度传感器180J检测的温度，执行温度处理策略。例如，当温度传感器180J上报的温度超过阈值，电子设备100执行降低位于温度传感器180J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备100对电池142加热，以避免低温导致电子设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。

触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

图2是本申请实施例的电子设备100的软件结构框图。分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。应用程序层可以包括一系列应用程序包。

如图2所示，应用程序包可以包括人机交互应用，图库，日历，通话，地图，导航等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(media libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

应用程序包中的人机交互应用可以是系统级应用。人机交互应用也可称为人机交互机器人、人机对话机器人或聊天机器人(ChatBOT)等，语音助手应用是人机交互应用的一种，语音助手应用也可以称为语音助手应用或智慧助手应用等。人机交互应用目前广泛应用于手机、平板电脑、智能音箱等多类电子设备，为用户提供了智能化的语音交互方式。人机对话机器人是人机交互的核心。

人机对话的全流程可以通过语音识别(automatic speech recognition，ASR)模块、语义理解(natural language understanding，NLU)模块、对话控制(dialogue statetracking，DST)模块、对话管理(dialogue manager，DM)模块、对话生成(natural languagegeneration，NLG)模块和语音播报(text to speech，TTS)模块等实现，其中，各个模块的作用如下：

(1)ASR模块

ASR模块的主要作用是将用户的语音识别为文字内容。

如图2所示的应用程序层的人机交互应用中，最左侧代表的是一段语音，通过ASR模块进行处理，将一段语音变成对应的文字。由于近年来机器学习能力的发展，大幅提升了ASR语音识别模块的识别准确率，这才让人与机器的语音交互成为可能，因此ASR是语音交互真正意义上的起点。虽然ASR模块可以获知用户在说什么，但其无法理解用户的意思，对语义的理解会交由NLU模块来处理。

(2)NLU模块

NLU模块的主要作用是理解用户的意图(intent)，进行槽位(slot)解析。

示例性的，用户表达：帮我订一张明天上午10点从北京去上海的机票。

从这句话中，NLU模块可以解析得出表1所示的内容。

表1

上述示例中提到了2个概念，分别是意图和槽位，下面对这两个概念进行详细解释。

意图

意图可以理解成是一个分类器，确定用户表达的这句话是哪个类型，进而由这个类型对应的程序做专门的解析。在一种实现方式中，“这个类型对应的程序”可以是机器人(Bot)，比如用户说：“给我放一首快乐的歌吧”，NLU模块判断用户的意图分类是音乐，因此召唤出音乐机器人(Bot)给用户推荐一首歌播放，用户听着觉得不对的时候，说：“换一首”，还是这个音乐机器人继续为用户服务，直到用户表达别的问题，意图已经不是音乐的时候，再切换成别的机器人为用户服务。

槽位

当用户意图被确定之后，NLU模块就需要进一步理解对话中的内容，为简便起见，可以选择最核心的部分进行理解，其他可以忽略，那些最重要的部分可以称之为槽位(Slot)。

在“订机票”这个例子中定义了三个核心槽位，分别是“起飞时间”，“起始地”和“目的地”。如果要全面考虑用户订机票需要输入的内容，我们肯定能想到更多，比如旅客人数、航空公司、起飞机场、降落机场等，对于语音交互的设计者来说，设计的起点就是定义槽位。

(3)DST模块和DM模块

DST模块主要的作用是进行槽位检验与合并，DM模块的主要作用是做顺序填槽澄清、消歧。

示例性的，用户表达的是“帮我订一张明天从北京去上海的机票”，此时NLU模块可以确定用户的意图为“订机票”，该意图相关的槽位信息为“起飞时间”，“起始地”和“目的地”。而用户的表达的语句中只有“起始地”和“目的地”这两个槽位信息，那么此时DST模块“起飞时间”这一槽位信息缺失，DST模块可以将缺失的槽位信息发送给DM模块，并由DM模块控制NLG模块生成向用户询问缺失的槽位信息的对话。

示例性的，用户：我想订机票；

BOT：请问目的地是哪里？

用户：上海；

BOT：请问您想订什么时间起飞的航班？

…

当用户将“订机票”这一意图中所有的槽位信息都补充完整后，DM模块可以先对各个槽位信息进行按照预设的顺序进行跳槽。示例性的，填槽的顺序可以依次为“起飞时间”，“起始地”和“目的地”，其中分别对应的槽位信息为“上午10点”、“北京”和“上海”。

在填槽完成后，DM模块可以控制命令执行模块去执行“订机票”这一操作。示例性的，命令执行模块可以打开订机票App，并显示上午10点(或者，上午10点左右)从北京到上海的航班信息。

应理解，在不同的对话系统中，对话管理器各模块的叫法与设计都不尽相同，这里可以统一认为DST模块与DM模块是一个整体，来进行对话状态控制和管理的。举例来说，如果用户表达了“订机票”的需求，但是什么信息都没说清楚，我们就需要对话系统询问用户必须获知的槽位信息。

(4)对话生成NLG模块

NLG模块的主要作用是生成对话。

示例性的，当DM模块确定“起飞时间”这一槽位信息缺失时，可以控制NLG模块生成对应的对话为“请问你想订什么时间起飞的航班？”。

示例性的，当命令执行模块在完成“订机票”这一操作后，可以告知DM模块该操作已经完成，此时DM模块可以控制NLG模块生成对应的对话为“明天上午10点从北京到上海的飞机已经订好了…”。

(5)TTS模块

TTS模块的主要作用是向用户播报对话。

TTS是语音合成播报技术，主要目标是处理好播报的“音韵”问题，这需要对符号、多音字，句型等等信息做判断、统一考虑，处理播报中的字音读法。另一方面，为适应不同人群喜好，也要关注“音色”。总的来说就是处理好“音韵”和“音色”。

为了提升TTS播报质量，会邀请真人录制标准的模板部分，这样整个对话系统听起来会更加自然。

人机交互系统关注的核心是对用户语义的理解(如NLU)，主要致力于解决以下几个问题：

意图识别：理解用户表达的意图，确定需求类型；

槽位解析：理解用户表达中关键信息，确定需求细节；

实现对话：设计对话逻辑，满足用户所需，让人机交互简单顺畅。

现有的人机交互应用仅实现了记忆功能和背诵功能，当根据用户意图生成执行指令时无法利用已有记忆信息。

示例性的，人机交互应用可以从用户对话中提取和记录某些用户关键信息，或者通过用户主动发起的记忆指令来记录信息。

BOT：“我该怎么称呼你呢？”；

用户：“叫我Catherine就行”；

BOT：“我记住了，很高兴认识你Catherine”。

示例性的，用户：“记住我的车停在地下停车场3层B306”；

BOT：“我记住了”。

当用户向人机交互应用询问某项记忆的信息时，人机交互应用可以做出回答，例如：

用户：“我的车停在哪里？”；

BOT：“您的车停在地下停车场3层B306”。

示例性的，人机交互应用已经记忆了用户家庭地址，当用户下次打开人机交互应用询问用户的家庭地址时，电子设备可以将用户的家庭地址告诉用户；但当用户说“导航回家”时，人机交互应用仍然需要询问用户“请问您家在哪里？”。

应理解，本申请实施例中的人机交互应用也可以理解为是人机交互机器人、人机对话机器人、语音助手应用等等。

本申请实施例中，可以通过利用人机交互系统的记忆功能提高人机交互的效率，人机交互应用可以根据已有记忆内容自动生成指令，无需再次向用户询问和澄清与用户意图相关的信息，有助于避免电子设备和用户之间频繁交互，从而提升人机交互效率。

图3示出了本申请实施例提供的一组GUI。

参见图3中的(a)所示的GUI，该GUI为手机的桌面。该GUI包括多个应用图标，该多个应用图标中包括语音助手图标301。当手机检测到用户点击桌面上的语音助手图标301的操作后，可以启动语音助手应用，显示如图3中的(b)所示的GUI。

参见图3中的(b)所示的GUI，该GUI为语音助手的交互界面。当手机检测到用户点击控件302的操作后，手机可以检测用户的语音信息。

参见图3中的(c)所示的GUI，该GUI为语音助手的另一交互界面。当手机检测到用户语音表述为“导航回家后”，手机可以将该语音信息转化为文字信息。

参见图3中的(d)所示的GUI，该GUI为地图App的界面。当手机检测到用户的语音信息后，可以自动获取用户的家的地址，自动打开地图App并自动导航到家的具体位置。示例性的，用户当前的位置为“丈八五路43号”，用户的家庭住址为“凯旋城”。

应理解，手机自动获取用户的家的地址之前，可以保存家的地址。

示例性的，用户之前与人机交互应用的对话中保存了家的地址。

示例性的，用户可以调用地图App中保存的家的地址。向地图App对应的服务器请求家的地址。

示例性的，手机可以通过聊天App中的聊天记录、短信息应用中短信息的内容中的关键词获取家的地址。

示例性的，手机可以通过向云侧设备发送查询家的地址的请求，从云侧保存的用户信息中获取家的地址。一个实施例中，手机还可以通过文字提醒，或者语音播报的方式提醒用户“已为您生成导航回家路线，目的地是凯旋城”。

一个实施例中，手机在自动获取用户的家的地址之后，可以提醒文字或者语音提醒用户“家的地址是否为××××××？”。当手机检测到用户确认该家的地址后，自动打开地图App并自动导航到家的具体位置。

一个实施例中，当手机检测到用户的语音信息后，可以自动获取家的具体位置。在获取到家的具体位置之后，可以自动生成指令，并根据该指令执行导航到家的具体位置的操作。

一个实施例中，手机之前保存有家的具体位置，当用户的表述为“导航回家”时，手机可以先获取手机之前保存的家的具体位置。

一个实施例中，用户也可以不用打开语音助手应用，直接发出语音唤醒语音助手。示例性的，用户可以打开地图App后，发出语音提示“小艺小艺”，手机检测到用户发出的语音提示后，开启与用户的交互。语音助手可以发出语音“我在呢，请问有什么可以帮助您的？”。当手机检测到用户语音表述为“导航回家”后，地图App可以显示从手机当前的位置到家的地址的导航路线。

图4示出了本申请实施例提供的另一组GUI。

参见图4中的(a)所示的GUI，该GUI为语音助手的另一交互界面。当手机检测到用户通过语音表述“我家的地址是凯旋城”，当手机检测到用户的语音信息后，可以将该语音信息转化为文字信息显示在该语音助手的交互界面上。

应理解，该通过语音信息转发为文字信息的过程可以是上述ASR模块完成。

还应理解，用户可以通过文字或者语音形式表述“我家的地址是凯旋城”这一信息。如果用户通过语音形式表述，则BOT需要通过ASR模块将语音信息转发为文字信息；如果通过文字形式表述，则不需要通过ASR模块将语音信息转发为文字信息。

参见图4中的(b)所示的GUI，该GUI为语音助手的另一交互界面。当手机确定用户的表述为“我家的地址是凯旋城”，可以将家的地址保存在手机中，并通过NLG模块生成对话“好的，我记住了”，通过TTS模块以语音的形式播报该对话。

应理解，手机也可以通过文字的形式提醒用户“好的，我记住了”。当手机使用文字的形式时，NLG模块生成的对话可以直接通过文字的形式展示给用户；而当通过语音播报的形式时，NLG模块生成的对话需要通过TTS模块播报给用户。

本申请实施例中，手机可以从与用户的对话过程中获取需要记忆的信息，示例性的，可以通过以下两种对话场景：

场景1：一般人机对话场景，需要记忆的信息可以由人机交互应用判断。

示例性的，手机可以预先配置需要记忆的信息的类型，例如手机号码、身份证号码、家庭地址、公司地址等等。当人机交互应用和用户的对话过程中，用户的表述中出现这些信息时，手机可以对这些信息进行记录。

场景2：用户主动发起记忆指令。

示例性的，当用户的表述为“请记一下我家的地址是凯旋城”，手机通过用户表述中的“请记一下”，可以确定用户主动发起记忆指令，此时手机可以记录家的地址信息。

参见图4中的(c)所示的GUI，该GUI为语音助手的另一交互界面。在手机保存了用户的地址之后的某一时刻，手机再一次检测到用户打开了语音助手应用，当手机检测到用户通过语音或者文字的形式表述“导航回家”。

参见图4中的(d)所示的GUI，该GUI为地图App的界面。手机可以通过NLU模块确定用户的意图以及与该意图相关的槽位信息，例如，手机通过用户表述的“导航回家”确定用户的意图是“导航”，与该意图相关的槽位信息为“目的地”。DST模块可以确定该意图对应的槽位信息无缺失，在该意图以及该意图相关的槽位信息确认完整后，手机可以自动打开地图App，并自动生成从用户当前位置到用户的家的导航路线。

一个实施例中，DST模块确定该意图和该意图相关的槽位信息确认完整后，向DM模块发送该意图和该意图相关的槽位信息。DM模块对该意图和该意图相关的槽位信息进行结合后，自动生成“导航”的指令，并将该指令发送给命令执行模块。命令执行模块可以自动打开地图App，并显示从用户的当前位置到家的导航路线。同时，NLG模块生成对话“已为您生成导航回家路线，目的地是凯旋城”，通过文字的形式提醒用户，或者，通过TTS模块向用户播报该对话。

应理解，上述实施例中，当手机确定用户的意图是“导航”时，该意图相关的槽位信息可以只有“目的地”；也可以是，该意图相关的槽位信息可以包括“出发地”和“目的地”。当该意图对应的槽位信息只有“目的地”时，手机可以默认自动获取当前手机的位置，例如通过定位确定当前手机的位置，并将默认自动获取到的当前手机的位置作为“出发地”。通过默认获取得到的当前手机的位置以及手机保存的家的地址，显示从当前手机的位置到家的地址的导航路线。

当该意图对应的槽位信息包括“出发地”和“目的地”时，由于用户的表述中只包括了与该意图相关的一个槽位信息(即“目的地”信息)，而缺失了“出发地”这一槽位信息，那么DST模块可以将这一缺失信息发送给DM模块，由DM模块控制NLG模块生成响应的对话。示例性的，NLG模块生成的对话为“请问您是从哪里出发？”，TTS模块可以将该对话以语音的形式播报给用户。当手机检测到用户的表述为“我的出发地是公司”，NLG模块可以确定另一个槽位信息“出发地”为用户的公司，若手机之前保存有用户的公司地址，则DST模块可以确定该意图相关的槽位信息已经齐全，并告知DM模块。DM模块可以通知命令执行模块生成导航指令，从而手机可以自动打开地图App，并显示从用户的公司到用户的家中的导航路线。

一个实施例中，与用户的意图“导航”相关的槽位信息可以包括“出发地”、“目的地”和“交通方式”，其中，可以默认读取当前手机的位置从而获得“出发地”这一槽位信息；“交通方式”可以默认选择驾车或者向用户询问澄清等方式获得；通过查找手机本地保存的用户的家的地址，或者，从地图App中查找用户的家的地址等方式从而获得“目的地”这一槽位信息。

以上通过图4介绍了本申请实施例的一组GUI，其中，图4中的(a)所示的GUI可以为记忆内容获取过程，该记忆获取过程可以包括：

(1)用户发起人机对话，与人机交互应用交互；

(2)人机交互应用提取对话中需要记忆的用户相关信息，如用户的手机号码、身份证号码、家庭地址、公司地址等等；

(3)人机交互应用记录该用户相关的信息。

图4中的(d)所示的GUI可以为记忆内容获取的过程，该记忆内容获取的过程可以包括：

(1)用户发起人机对话，与人机交互应用交互；

(2)人机交互应用识别出用户意图，然后在已记忆的内容中进行搜索；

(3)人机交互应用发现已记忆的内容中存在与用户意图相关的用户信息，则从记忆中提取该信息；

(4)人机交互应用执行与该意图相关的操作。

一个实施例中，人机交互应用执行与该意图相关的操作，包括:

人机交互应用将该用户的信息与用户意图结合生成指令，例如由人机交互应用将该信息发送给该用户意图对应的接口并生成指令；

人机交互应用根据该指令，执行与该指令相关的操作。

应理解，在记忆获取的过程中，如果该意图相关的用户信息包括多个，而人机交互应用在已记忆的内容中只保存了部分，则人机交互应用需要通过向用户获取其他没有记忆的内容，例如向用户再次询问澄清。

图5示出了本申请实施例提供的另一组GUI。

参见图5中的(a)所示的GUI，该GUI为语音助手的另一交互界面。当手机检测到用户点击控件401的操作后，用户通过语音表述“我的手机号码为187××××”，当手机检测到用户的语音信息后，可以将该语音信息转化为文字信息显示在该语音助手的交互界面上。

参见图5中的(b)所示的GUI，该GUI为语音助手的另一交互界面。当手机确定用户的表述为“我的手机号码为187××××”，可以将用户的手机号码保存在手机中，并通过NLG模块生成对话“好的，我记住了”，以及通过TTS模块以语音的形式播报该对话。

参见图5中的(c)所示的GUI，该GUI为语音助手的另一交互界面。在手机保存了用户的手机号码之后的某一时刻，手机再一次检测到用户打开了语音助手应用，并检测到用户通过语音或者文字的形式表述“把我的手机号码通过聊天App发给小明”。

参见图5中的(d)所示的GUI，该GUI为聊天App的界面。手机可以通过NLU模块确定用户的意图以及与该意图相关的槽位信息，例如，手机通过用户表述的“把我的手机号码用聊天App发给小明”确定用户的意图是“发送手机号码”，与该意图相关的槽位信息为“手机号码”，“发送方式”以及“发送对象”。DST模块可以确定该意图对应的槽位信息“发送方式”和“发送对象”无缺失，而通过已记忆的内容可以获取到“手机号码”这一槽位信息。在该意图和该意图相关的槽位信息确认完整后，手机可以自动打开该聊天App，找到“发送对象”小明，并自动将用户的手机号码发送给小明。

一个实施例中，DST模块确定该意图和该意图相关的槽位信息确认完整后，向DM模块发送该意图和该意图相关的槽位信息。DM模块对该意图和该意图相关的槽位信息进行结合后，自动生成“发送手机号码”的指令，并将该指令发送给命令执行模块。命令执行模块自动打开聊天App，从聊天App中的通讯录中找到“发送对象”小明，并自动将用户的手机号码发送给小明。

一个实施例中，NLG模块还可以生成对话“已经将手机号码发送给小明”，通过文字的形式提醒用户，或者，通过TTS模块向用户播报该对话。

图6示出了本申请实施例提供的另一组GUI。

参见图6中的(a)所示，该GUI为语音助手的另一交互界面。当手机检测到用户通过语音表述“我家的地址是软件大道6号”，当手机检测到用户的语音信息后，可以将该语音信息转化为文字信息显示在该语音助手的交互界面上。手机也可以通过文字显示“好的，我记住了”或者，通过语音播报“好的，我记住了”。

参见图6中的(b)所示，该GUI为语音助手的另一交互界面。用户可能在一段时间后搬家，此时手机检测到用户通过语音表述“我家的地址是凯旋城”，当手机检测到用户的语音信息后，可以将该语音信息转化为文字信息显示在该语音助手的交互界面上。手机也可以通过文字显示“好的，我记住了”或者，通过语音播报“好的，我记住了”。

参见图6中的(c)所示，该GUI为语音助手的另一交互界面。手机再一次检测到用户打开了语音助手应用，并手机检测到用户通过语音或者文字的形式表述“导航回家”。此时由于手机之前保存了两个家的信息(“凯旋城”和“软件大道6号”)，那么手机可以显示提醒窗口601，该提醒窗口中包括文字信息“为您检索到两个家的地址，请您选择”，当手机检测到用户点击控件602的操作后，或者，当手机检测到用户语音表述为“我家的地址是凯旋城”后，显示如图6中的(d)所示的GUI。

参见图6中的(d)所示的GUI，该GUI为地图App的界面。手机可以自动打开地图App，并自动生成从用户当前位置到凯旋城的导航路线。

一个实施例中，当手机检测到用户点击控件603的操作后，可以确定“凯旋城”和“软件大道6号”这两个家的地址都不是“目的地”，此时手机可以通过文字提醒用户“请问您的家在哪里？”，或者通过语音播放“请问您的家在哪里？”。在获取到用户的文字输入或者语音输入家的地址后，手机可以自动打开地图App，并自动生成从用户当前位置到家的位置的导航路线。

以上通过图3至图5示出了本申请实施例的几组GUI，其中分别介绍了人机交互应用在人机交互的过程中可以利用以已保存或者已记忆的内容，无需再次向用户询问和澄清意图相关的信息，提升人机交互的效率。上述图3至图5仅仅是示意性的，表2示出了用户相关信息的记忆指令和使用记忆内容的场景的其他举例。

表2用户相关信息的记忆指令和使用记忆内容的智能场景举例

本申请实施例提供的人机交互的方法，人机交互应用人可以利用已保存的内容或者已有记忆内容自动生成指令，无需再次向用户询问和澄清意图相关的信息，从而有助于提升人机交互效率。

上述图3至图6所示的几组GUI中，都是通过人机交互应用(或者，语音助手)和用户的交互过程中先记忆用户的信息，并将这些信息保存下来。在下一次完成用户的某个意图时，如果该意图对应的用户信息存在缺失，那么人机交互应用可以从已经记忆过的内容中查找缺失的信息。本申请实施例中，并不限于从人机交互应用(或者，语音助手)和用户的交互过程中保存信息，也可以通过其他方式查找缺失的用户信息。

示例性的，用户收到之前订购的航班信息(例如，通过短信或者其他应用收到)。当手机检测到用户表述“导航去机场”时，人机交互应用可以自动从短信或者其他应用里去查找。如果可以查找到对应的机场的信息，则可以自动打开地图App，并显示从当前位置到机场的导航路线。当人机交互应用只找到航班信息中出发地的城市信息(假设该城市包括多个机场)时，可以提示用户从该城市中的多个机场中选择。

示例性的，用户在记事本应用中记录了张三的家庭住址为“科技路8号”。当手机检测到用户表述“导航去张三家”时，人机交互应用可以从自动从记事本应用中保存的信息中查找。如果可以找到“张三的家庭住址”这一信息，在可以自动打开地图App，并显示从当前位置到张三家的导航路线。

一个实施例中，人机交互应用在确定用户的意图后，可以实时分析其他应用中保存的信息，确定其他应用中保存的信息中是否存在缺失的用户信息，在从其他应用中保存的信息中找到缺失的用户信息后，执行与该用户的意图相关的操作。

一个实施例中，当电子设备检测到其他应用相关的信息(例如，短信应用接收到短信息，记事本应用中接收到用户输入的信息)后，电子设备可以预先分析其他应用相关的信息，并将分析出的信息保存在其他应用对应的存储空间中，或者，保存在人机交互应用对应的存储空间中，或者，也可以保存在其他存储空间(例如，云侧或者服务器中)。

以上介绍了本申请实施例提供的人机交互的几组GUI，下面介绍本申请实施例中人机交互应用利用已保存的内容或者已有记忆内容自动生成指令的内部实现过程。

图7示出了本申请实施例提供的人机交互过程中记忆获取的流程700的示意性流程图，如图7所示，该流程700包括：

S710，检测到用户发起人机对话。

示例性的，电子设备检测到用户在电子设备的桌面点击人机交互应用(例如，语音助手)的图标后，打开该人机交互应用，显示该人机交互应用的界面。具体的，当电子设备检测到用户在电子设备的桌面点击人机交互应用的图标后，应用程序层的人机交互应用会向框架层的系统服务模块发送该人机交互应用对应的标号(例如，进程识别号(processidentifier，PID))和该人机交互应用对应的进程名称，系统服务模块可以通过该标号和进程名称确定是哪个App启动了。例如，电子设备通过确定该人机交互应用的进程识别号和进程名称确定该人机交互应用启动了，从而确定用户发起人机对话。

本申请实施例的技术方案可以应用于语音交互方式的人机对话中，也可以应用于文字交互的人机对话中，还可以应用于混合交互的方式的人机对话中，例如一方使用语音另一方使用文字。

S720，如果是语音交互的人机对话中，则需要ASR模块将用户语音转化为文字内容。

应理解，如果是文字交互的人机对话中，则无需该步骤。

S730，NLU模块进行语义识别，输出第一信息以及和与该第一信息相关的一个或者多个第二信息。

示例性的，该第一信息可以用于指示用户的意图，该第二信息可以用于指示与该用户的意图相关的用户信息。示例性的，该第二信息可以为上述槽位信息。

示例性的，对话文本可以输入到NLU模块进行语义识别，NLU模块可以输出第一信息和与该第一信息相关的一个或者多个第二信息。

表3举例示出了几种对话文本、第一信息和第二信息的对应关系。

表3对话文本、第一信息和第二信息的对应关系

S740，对话系统获取到第一信息以及与该第一信息相关的一个或者多个第二信息后，确定是否有第二信息缺失。

S741，如果不存在第二信息的缺失，则可以直接通过该第一信息以及与该第一信息先关的一个或者多个第二信息，生成指令，并发送给命令执行模块执行该指令。

S742，如果存在第二信息缺失，则向记忆管理模块发送检索请求，该检索请求用于请求检索尚缺失的第二信息。

应理解，该对话系统可以包括DST模块、DM模块、NLG模块和TTS模块。

示例性的，用户的表述为“请把我的手机号码通过微信发给小明”，对话系统可以确定该第一信息为“发送手机号码”，该一个或者多个第二信息为“发送方式”、“发送对象”以及“用户的手机号码”，其中，对话系统可以通过用户的表述确定“发送方式”为“微信”，“发送对象”为“小明”，“用户的手机号码”缺失。对话系统可以向记忆管理模块检索尚缺失的用户信息。例如，对话系统可以向记忆管理模块发送检索请求，该检索请求用于请求检索“用户的手机号码”这一用户信息。

S743，记忆管理模块检索记忆数据库中的记忆项，检索缺失的用户信息。

表4示出了一种记忆数据库中保存的记忆项的信息。

表4记忆数据库中保存的记忆项

记忆项ID	记忆项的名称	记忆项的内容
			1	用户的姓名	李四
2	用户的家庭住址	凯旋城
			3	用户的公司地址	丈八五路43号
4	用户的手机号码	187××××
			5	张三的昵称	彪哥
6	张三的手机号码	182××××
			7	张三的家庭住址	西部大道20号
…	…	…

示例性的，记忆管理模块在接收到检索请求后，可以确定该检索请求用于请求检索记忆数据库中的“用户的手机号码”这一用户信息，记忆管理模块通过查找记忆数据库可以获得“用户的手机号码”这一用户信息。

S744，记忆管理模块向记忆对话系统发送检索请求响应，该检索请求响应中包括查询到的用户相关信息。

示例性的，记忆管理模块了可以将“用户的手机号码”对应的记忆项的内容发送给对话系统。

S750，对话系统获取到记忆管理模块发送的已保存的记忆项内容后，对话系统再一次确定是否存在第二信息缺失。

应理解，S750为可选的步骤，例如，S742中对话系统需要记忆管理模块检索2个缺失的信息，而S744中只携带了一个缺失的信息，那么对话系统可以直接向用户询问另一个缺失的信息。

S751，如果还存在第二信息缺失，则可以再次向用户询问澄清。

若对话系统确定第二信息还存在缺失，则NLG模块可以生成响应的对话，以向用户询问缺失的第二信息，并通过文字的形式提醒用户，或者，通过TTS模块将该对话播报给用户。

S752，ASR模块将用户的语音信息转化为文字内容。

S753，NLU模块对该文字内容进行解析，获得缺失的第二信息；

S754，对话系统获取NLU模块发送的缺失的第二信息，从而得到完整的第一信息以及与该第一信息相关的第二信息。

用户在看到文字提醒，或者，用户在听到人机交互应用的询问语音后，可以对人机交互应用询问的第二信息进行回答。当人机交互应用检测到用户通过语音回答后，ASR模块可以将对应的语音信息转发为文字内容，并将该文字内容发送给NLU模块；NLU模块可以对该文字内容进行解析，以获得缺失的第二信息，并将该第二信息发送给对话系统。

示例性的，用户的表述为“请把我的手机号码和身份证号码发给小明”，对话系统可以确定该第一信息为“发送手机号码”，该一个或者多个第二信息为“发送方式”、“用户的身份证号码”以及“用户的手机号码”，其中，对话系统可以通过用户的表述确定“发送对象”为“小明”，“用户的身份证号码”和“用户的手机号码”缺失。对话系统可以向记忆管理模块检索尚缺失的用户信息。例如，对话系统可以向记忆管理模块发送检索请求，该检索请求用于请求检索“用户的身份证号码”和“用户的手机号码”这两个用户信息。但是记忆数据库中只保存了“用户的手机号码”这一用户信息，而没有保存“用户的身份证号码”这一用户信息。对话系统在接收到记忆管理模块返回的“用户的手机号码”这一用户信息后，可以确定还欠缺“用户的身份证号码”这一用户信息。

对话系统可以控制NLG模块生成对话“请问您的身份证号码是多少？”，并通过文字的形式提醒用户该对话，或者通过TTS模块向用户播报该对话。当用户表述了“我的身份证号码为123××××××”时，NLU模块可以确定该缺失的用户信息为“123××××××”。

示例性的，当对话系统确定还欠缺“用户的身份证号码”这一用户信息时，对话系统可以控制NLG模块生成对话“请问您的手机号码和身份证号码是多少？”，并通过文字的形式提醒用户该对话，或者通过TTS模块向用户播报该对话。此时由于还有欠缺的用户信息，则对话系统必须向用户询问该信息，询问时可以连带着其他用户信息(例如，记忆数据库中保存的“用户的手机号码”)一起向用户发起询问，这样也可以保证用户信息的准确性。

S755，如果不存在第二信息缺失，则对话系统生成指令，并将该指令发送给命令执行模块。

S760，命令执行模块根据该指令，执行该第一信息相关的操作。

在对话系统获得完整的该第一信息和与该第一信息相关的第二信息后，对话系统可以生成相应的指令，并将该指令发送给命令执行模块，命令执行模块可以根据该指令，执行与该第一信息相关的操作。

示例性的，该对话系统生成指令，该指令可以包括三部分：①打开微信；②在微信的通讯录汇总找到“发送对象”小明；③向小明发送用户的手机号码和身份证号码。命令执行模块在接收到该指令后，自动微信，通过微信的通讯录找到联系人小明，并在于小明的聊天界面上将用户的手机号码和身份证号码发送给小明。

一个实施例中，对话系统在通过正常方式(例如再次向用户澄清)获取还缺失的用户信息后，可以将该信息发送给记忆管理模块，由该记忆管理将该信息增加在记忆数据库中。

表5示出了另一种记忆数据库中保存的记忆项的信息。

表5记忆数据库中保存的记忆项

记忆项ID	记忆项的名称	记忆项的内容
			1	用户的姓名	李四
2	用户的家庭住址	凯旋城
			3	用户的公司地址	丈八五路43号
4	用户的手机号码	187××××
			5	用户的身份证号码	123××××××
6	张三的昵称	彪哥
			7	张三的手机号码	182××××
8	张三的家庭住址	西部大道20号
			…	…	…

对话系统将收集到的用户信息输入到记忆管理模块，记忆管理模块识别出需要记忆的用户相关信息，存入记忆数据库中。示例性的，相比于表4，记忆数据库中增加了用户的身份证号码这一用户信息。

本申请实施例提供的人机交互的方法，人机交互应用可以利用已保存的内容或者已有记忆内容自动生成指令，无需再次向用户询问和澄清意图相关的信息，从而有助于提升人机交互效率。

图8示出了本申请实施例提供的人机交互过程中记忆写入的流程800的示意性流程图，如图8所示，该流程800包括：

S810，检测到用户发起人机对话。

应理解，S810可以参考上述S710的过程，为了简洁，在此不再赘述。

S820，如果是语音交互的人机对话中，则需要ASR模块将用户语音转化为文字内容。

S830，NLU模块进行语义识别，输出一个或者多个第二信息，或者，输出第一信息以及和与该第一信息相关的一个或者多个第二信息。

示例性的，用户可以在对话过程中的表述中不带有意图。此时NLU模块可以只输出第二信息时，该第二信息可以是用户信息。

示例性的，用户的表述为“请记一下我家的地址是凯旋城”。NLU模块可以确定用户的家庭住址为凯旋城。

示例性的，用户的表述为“张三的手机号码为182××××”。NLU模块可以确定张三的手机号码为182××××。

示例性的，用户可以在对话过程中的表述中带有意图。此时NLU模块可以输出第一信息以及和该第一信息相关的一个或者多个第二信息时，该第一信息用于指示用户的意图，该第二信息可以是与该用户的意图相关的用户信息。

示例性的，用户的表述为“请将我的手机号码微信发给小明”。NLU模块可以确定用户的意图为“发送手机号码”，与该意图相关的用户信息为“用户的手机号码”。此时如果“用户的手机号码”这一信息需要澄清，则对话系统可以控制NLG模块生成响应的对话，例如，NLG模块生成对话“请问您的手机号码是多少？”，该对话可以通过文字的形式呈现给用户，或者通过TTS模块播报给用户。当用户通过语音的方式表述“我的手机号码为187××××”时，ASR模块可以将该语音信息转发为文字信息并发送给NLU模块。NLU模块可以确定“用户的手机号码”这一用户信息。

S840，若NLG模块输出的是第一信息以及一个或者多个第二信息，则对话系统可以确定是否还有第二信息缺失。

S841，若还有第二信息缺失，则对话系统可以向用户继续询问澄清。

S842，若用户通过语音表述，则ASR模块将语音信息转化为文字内容.

S843，ASR模块将文字内容发送给NLU模块；NLU模块对文字内容进行语义识别后获得缺失的第二信息。

S844，NLU模块将缺失的第二信息发送给对话系统，对话系统获得完整的第一信息以及与该第一信息相关的第二信息。

S850，对话管理模块将收集到的第二信息输入到记忆管理模块。

S860，记忆管理模块识别出需要记忆的第二信息，存入记忆数据库中。

应理解，S844后对话系统还可以生成相应的指令，并将该指令发送给命令执行模块(图8中未示出)。

本申请实施例提供的人机交互的方法，人机交互应用提前保存一些用户信息，有助于之后利用已保存的用户信息自动生成指令，无需再次向用户询问或者澄清相关用户信息，从而有助于提升人机交互效率。

结合上述实施例及相关附图，本申请实施例提供了一种人机交互的方法，该方法可以在如图1、图2所示的电子设备(例如手机、平板电脑等)中实现。如图9所示，该方法可以包括以下步骤：

S910，人机交互应用获取用户输入的第一语句。

示例性的，参见图3中的(c)所示，人机交互应用(语音助手)获取用户输入的第一语句“导航回家”。

示例性的，用户可以通过文字输入的方式与人机交互应用进行交互，例如，人机交互应用可以检测到用户通过键盘输入“导航回家”。

示例性的，用户可以通过语音的方式与人机交互应用进行交互，例如，人机交互应用可以检测到用户语音输入“导航回家”。

示例性的，参见图5中的(c)所示，人机交互应用(语音助手)获取用户输入的第一语句“把我的手机号码通过聊天App发给小明”。

S920，该人机交互应用解析该第一语句，得到第一信息，该第一信息用于指示用户的意图，该第一信息对应一个或者多个第二信息，该一个或者多个第二信息为用于实现该用户的意图的信息。

示例性的，人机交互应用(语音助手)获取用户输入的第一语句“导航回家”后，可以确定用户的意图为“导航”，用于实现“导航”这一意图需要“家的地址”这一信息；或者，需要“出发地”和“家的地址”这两个信息，“出发地”这一信息可以默认获取。

示例性的，人机交互应用(语音助手)获取用户输入的第一语句“把我的手机号码通过聊天App发给小明”后，可以确定用户的意图为“发送手机号码”，用于实现“发送手机号码”这一意图需要“发送对象”、“发送方式”以及“用户的手机号码”这三个信息。

S930，当该一个或者多个第二信息中至少一个第二信息存在缺失时，该人机交互应用从该人机交互应用所记忆过的内容中查找缺失的该至少一个第二信息。

示例性的，人机交互应用(语音助手)获取用户输入的第一语句“导航回家”后，确定“家的地址”这一信息缺失，该人机交互应用可以从之前所记忆过的内容中查找“家的地址”这一信息。

示例性的，如图4中的(b)所示，人机交互应用和用户之前在交互过程保存了“家的地址”这一信息为“凯旋城”。

示例性的，人机交互应用(语音助手)获取用户输入的第一语句“把我的手机号码通过聊天App发给小明”后，确定“用户的手机号码”这一信息缺失，该人机交互应用可以从之前所记忆过的内容中查找“用户的手机号码”这一信息。

示例性的，如图5中的(b)所示，人机交互应用和用户之前在交互过程保存了“用户的手机号码”这一信息为“187××××”。

S940，该人机交互应用根据该第一信息和该一个或者多个第二信息，执行与该用户的意图相关的操作。

示例性的，如图3中的(d)和图4中的(d)所示，人机交互应用可以自动执行打开地图App这一操作并自动显示从当前位置到凯旋城的导航路线。

示例性的，如图5中的(d)所示，人机交互应用可以自动执行打开聊天App这一操作并自动执行将用户的手机号码发送给小明的操作。

在一些可能的实现方式中，该人机交互应用获取用户输入的第一语句之前，该方法还包括：

该人机交互应用获取用户输入的第二语句；

该人机交互应用解析该第二语句，得到该至少一个第二信息；

该人机交互应用保存该至少一个第二信息。

示例性的，如图4中的(b)所示，人机交互应用获取用户通过文字或者语音输入的“我家的地址是凯旋城”这一语句，人机交互应用可以解析该语句，得到一个用户信息，即“家的地址”为“凯旋城”。该人机交互应用可以将这一用户信息保存在记忆数据库中。

示例性的，如图5中的(b)所示，人机交互应用获取用户通过文字或者语音输入的“我的手机号码为187××××”这一语句，人机交互应用可以解析该语句，得到一个用户信息，即“用户的手机号码”为“187××××”。该人机交互应用可以将这一用户信息保存在记忆数据库中。

在一些可能的实现方式中，该第二语句包括用户发起的记忆指令。

示例性的，如图4中的(b)所示，该第二语句也可以为“请记一下我家的地址是凯旋城”。

示例性的，如图5中的(b)所示，该第二语句页可以为“请记一下我的手机号码为187××××”。

本申请实施例中，人机交互应用可以在接收到用户发起的记忆指令后对用户信息进行记忆；也可以是人机交互应用人预先配置需要记忆的用户信息的类型，当第二语句中的用户信息，满足需要记忆的用户信息的类型时，人机交互应用对该用户信息进行记忆。

在一些可能的实现方式中，该第一信息对应多个第二信息，该多个第二信息中至少两个第二信息存在缺失，该人机交互应用从该人机交互应用所记忆过的内容中查找缺失的该至少一个第二信息，包括：

该人机交互应用从该人机交互应用所记忆过的内容中查找到缺失的该至少两个第二信息中的部分信息；

其中，该方法还包括：

该人机交互应用生成对话，该对话用于提醒用户输入该至少两个第二信息中的另一部分信息；

该人机交互应用向用户发送该对话信息；

该人机交互应用获取用户输入的第三语句；

该人机交互应用解析该第三语句，该第三语句包括该至少两个信息中的另一部分信息。

示例性的，用户的表述为“请把我的手机号码和身份证号码发给小明”，人机交互应用人可以确定该第一信息为“发送手机号码”，该一个或者多个第二信息为“发送方式”、“用户的身份证号码”以及“用户的手机号码”，其中，人机交互应用可以通过用户的表述确定“发送对象”为“小明”，“用户的身份证号码”和“用户的手机号码”缺失。人机交互应用可以从所记忆过的内容中检索尚缺失的用户信息。例如，人机交互应用可以从记忆数据库中检索“用户的身份证号码”和“用户的手机号码”这两个用户信息。但是记忆数据库中只保存了“用户的手机号码”这一用户信息，而没有保存“用户的身份证号码”这一用户信息。人机交互应用在检索完成后，可以确定还欠缺“用户的身份证号码”这一用户信息。

人机交互应用生成对话“请问您的身份证号码是多少？”，并通过文字的形式提醒用户该对话，或者通过语音播报该对话。当用户表述了“我的身份证号码为123××××××”时，人机交互应用可以确定该缺失的用户信息为“123××××××”。

在一些可能的实现方式中，该方法还包括：

该人机交互应用保存该至少两个信息中的另一部分信息。

示例性的，人机交互应用可以将“用户的身份证号码”为“123××××××”保存在记忆数据库中。

本申请实施例还提供了一种人机交互的方法，该方法可以在如图1、图2所示的电子设备(例如手机、平板电脑等)中实现。如图10所示，该方法可以包括以下步骤：

S1010，检测到用户输入的第一语句，该第一语句中包括至少一个第一信息。

示例性的，如图4中的(b)所示，人机交互应用获取用户通过文字或者语音输入的“我家的地址是凯旋城”这一语句，该语句中包括“家的地址”为“凯旋城”这一信息。

示例性的，如图5中的(b)所示，人机交互应用获取用户通过文字或者语音输入的“我的手机号码为187××××”这一语句，该语句中包括“用户的手机号码”为“187××××”这一信息。

S1020，响应于该用户输入的第一语句，显示或者播报第一对话信息，该第一对话信息为对该第一语句的应答。

示例性的，如图4中的(b)所示，人机交互应用获取用户通过文字或者语音输入的“我家的地址是凯旋城”这一语句后，可以生成对话信息“好的，我记住了”。通过文字提醒或者通过语音播报给用户。

示例性的，如图5中的(b)所示，人机交互应用获取用户通过文字或者语音输入的“我的手机号码为187××××”这一语句后，可以生成对话信息“好的，我记住了”。通过文字提醒或者通过语音播报给用户。

S1030，响应于用户输入该第一语句，人机交互应用存储该至少一个第一信息。

示例性的，如图4中的(b)所示，该人机交互应用将“家的地址”为“凯旋城”这一信息存储在记忆数据库中。

示例性的，如图5中的(b)所示，该人机交互应用将“用户的手机号码”为“187××××”这一信息存储在记忆数据库中。

应理解，S1030和S1020之间并没有实际的先后顺序。

S1040，检测到用户输入的第二语句，该第二语句中包括第二信息且不包括该至少一个第一信息，该第二信息用于指示用户的意图，该至少一个第一信息为用于实现该用户的意图的信息中的至少部分信息。

示例性的，人机交互应用(语音助手)获取用户输入的“导航回家”这一语句后，确定第一信息为“导航”，用于实现“导航”这一用户意图的信息包括“家的地址”。但是这一信息并没有包含在“导航回家”这一语句中。

示例性的，人机交互应用(语音助手)获取用户输入的第一语句“把我的手机号码通过聊天App发给小明”后，确定第一信息为“发送手机号码”，用于实现“发送手机号码”这一用户意图的信息包括“发送对象”、“发送方式”以及“用户的手机号码”这三个信息。但是这三个信息中“用户的手机号码”这一信息并没有包含在“把我的手机号码通过聊天App发给小明”这一语句中。

S1050，响应于该用户输入的第二语句，至少根据该第二信息和该至少一个第一信息执行与该用户的意图相关的操作。

示例性的，由于人机交互应用之前记忆过“家的地址”为“凯旋城”，人机交互应用可以自动执行打开地图App这一操作并自动显示从当前位置到凯旋城的导航路线。

示例性的，如图5中的(d)所示，由于人机交互应用之前记忆过“用户的手机号码”为“187××××”，人机交互应用可以自动执行打开聊天App这一操作并自动执行将用户的手机号码发送给小明的操作。

可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本实施例可以根据上述方法示例对电子设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是，本实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图11示出了上述实施例中涉及的电子设备1100的一种可能的组成示意图，如图11所示，该电子设备1100可以包括：获取单元1101、解析单元1102、查找单元1103和执行单元1104。

其中，获取单元1101可以用于支持电子设备1100执行上述步骤910等，和/或用于本文所描述的技术的其他过程。示例性的，图2中的ASR模块可以用于实现获取单元1101的功能。

解析单元1102可以用于支持电子设备1100执行上述步骤920等，和/或用于本文所描述的技术的其他过程。示例性的，图2中的NLU模块可以用于实现解析单元1102的功能。

查找单元1103可以用于支持电子设备1100执行上述步骤930等，和/或用于本文所描述的技术的其他过程。示例性的，图2中的DST模块和DM模块可以用于实现查找单元1103的功能。

执行单元1104可以用于支持电子设备1100执行上述步骤940等，和/或用于本文所描述的技术的其他过程。示例性的，图2中的Action模块可以用于实现执行单元1104的功能。

图12示出了上述实施例中涉及的电子设备1200的一种可能的组成示意图，如图12所示，该电子设备1200可以包括：检测单元1201、显示和播报单元1202、存储单元1203和执行单元1204。

其中，检测单元1201可以用于支持电子设备1200执行上述步骤1010、步骤1040等，和/或用于本文所描述的技术的其他过程。

显示和播报单元1202可以用于支持电子设备1200执行上述步骤1020等，和/或用于本文所描述的技术的其他过程。

存储单元1203可以用于支持电子设备1200执行上述步骤1030等，和/或用于本文所描述的技术的其他过程。

执行单元1204可以用于支持电子设备1200执行上述步骤1050等，和/或用于本文所描述的技术的其他过程。

需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

本实施例提供的电子设备，用于执行上述人机交互的方法，因此可以达到与上述实现方法相同的效果。

在采用集成的单元的情况下，电子设备可以包括处理模块、存储模块和通信模块。其中，处理模块可以用于对电子设备的动作进行控制管理，例如，可以用于支持电子设备执行上述各个单元执行的步骤。存储模块可以用于支持电子设备执行存储程序代码和数据等。通信模块，可以用于支持电子设备与其他设备的通信。

其中，处理模块可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理(digital signal processing，DSP)和微处理器的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片、Wi-Fi芯片等与其他电子设备交互的设备。

在一个实施例中，当处理模块为处理器，存储模块为存储器时，本实施例所涉及的电子设备可以为具有图1所示结构的设备。

本实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的人机交互的方法。

本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的人机交互的方法。

另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的人机交互的方法。

其中，本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种人机交互的方法，所述方法应用于电子设备，其特征在于，所述方法包括：

所述电子设备获取用户输入的第一语句，所述第一语句为用于指示导航回家的语句；

响应于所述用户输入的第一语句，所述电子设备执行：

解析所述第一语句，确定用户导航的意图，且所述导航意图对应的地址信息包括所述用户的家；

当所述用户的家的具体位置在所述第一语句的内容中缺失时，自动从保存的内容中查找缺失的所述用户的家的具体位置；并且

根据所述导航意图和所述查找到的所述用户的家的具体位置，自动打开地图应用，并在所述地图应用中自动导航到所述用户的家的具体位置；

若所述导航意图对应多个地址信息，且所述多个地址信息中至少两个地址信息存在缺失，所述方法还包括：

所述电子设备生成对话，所述对话用于提醒用户输入所述至少两个地址信息中的第二地址；

所述电子设备向用户发送所述对话信息；

所述电子设备获取用户输入的第三语句；

所述电子设备人解析所述第三语句，所述第三语句包括所述至少两个信息中的第二地址。

2.根据权利要求1所述的方法，其特征在于，所述电子设备获取用户输入的第一语句之前，所述方法还包括：

所述电子设备获取用户输入的第二语句；

所述电子设备解析所述第二语句，得到所述用户的家的地址；

所述电子设备保存所述用户的家的地址。

3.根据权利要求2所述的方法，其特征在于，所述第二语句中包括用户发起的记忆指令。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述电子设备保存所述第二地址。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据所述导航意图和所述查找到的所述用户的家的具体位置，自动打开地图应用，并在所述地图应用中自动导航到所述用户的家的具体位置，包括：

根据所述导航意图、所述查找到的所述用户的家的具体位置和第二地址，自动打开地图应用，生成指令；

所述电子设备根据所述指令，自动打开地图应用，并在所述地图应用中自动由所述第二地址导航到所述用户的家的具体位置。

6.根据权利要求5所述的方法，其特征在于，在所述生成指令之前，包括：

所述电子设备将所述用户的家的具体位置和所述第二地址填充到与所述导航意图对应的槽位中。

7.一种电子设备，其特征在于，包括：

一个或多个处理器；

一个或多个存储器；

所述一个或多个存储器存储有与人机交互应用相对应的一个或多个计算机程序，所述一个或多个计算机程序包括指令，当所述指令被所述一个或多个处理器执行时，使得所述电子设备执行以下步骤：

获取用户输入的第一语句，所述第一语句为用于指示导航回家的语句；

响应于所述用户输入的第一语句，执行：

解析所述第一语句，确定用户导航的意图，且所述导航意图对应的地址信息包括所述用户的家；

当所述用户的家的具体位置在所述第一语句的内容中存在缺失时，自动从保存的内容中查找缺失的所述用户的家的具体位置；并且

根据所述导航意图和所述查找到的所述用户的家的具体位置，自动打开地图应用，并在所述地图应用中自动导航到所述用户的家的具体位置；

若所述导航意图对应多个地址信息，且所述多个地址信息中至少两个地址信息存在缺失，所述电子设备还执行如下步骤：

生成对话，所述对话用于提醒用户输入所述至少两个地址信息中的第二地址；

向用户发送所述对话信息；

获取并解析用户输入的第三语句，所述第三语句包括所述至少两个信息中的第二地址。

8.根据权利要求7所述的电子设备，其特征在于，当所述指令被所述一个或多个处理器执行时，使得所述电子设备还执行以下步骤：

获取用户输入的第二语句；

解析所述第二语句，得到所述用户的家的地址；

保存所述用户的家的地址。

9.根据权利要求8所述的电子设备，其特征在于，所述第二语句中包括用户发起的记忆指令。

10.根据权利要求7所述的电子设备，其特征在于，当所述指令被所述一个或多个处理器执行时，使得所述电子设备还执行以下步骤：

保存所述第二地址。

11.根据权利要求7至10中任一项所述的电子设备，其特征在于，当所述指令被所述一个或多个处理器执行时，使得所述电子设备执行根据所述导航意图和所述查找到的所述用户的家的具体位置，自动打开地图应用，并在所述地图应用中自动导航到所述用户的家的具体位置的步骤包括：

根据所述导航意图、所述查找到的所述用户的家的具体位置和第二地址，自动打开地图应用，生成指令；

根据所述指令，自动打开地图应用，并在所述地图应用中自动由所述第二地址导航到所述用户的家的具体位置。

12.根据权利要求11所述的电子设备，其特征在于，当所述指令被所述一个或多个处理器执行时，使得所述电子设备还执行以下步骤：

在生成所述指令之前，将所述用户的家的具体位置和所述第二地址填充到与所述导航意图对应的槽位中。

13.一种计算机存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1至6中任一项所述的人机交互的方法。

14.一种计算机设备，包括计算机程序，当所述计算机程序在所述计算机设备上运行时，使得所述计算机设备执行如权利要求1至6中任一项所述的人机交互的方法。

Images