CN110209264B - 一种行为数据处理系统及方法 - Google Patents

Abstract

本申请提供了一种行为数据处理系统及方法，其中，该方法包括：智能人偶和虚拟现实VR设备；其中：所述智能人偶，用于通过内置的传感器检测用户对所述智能人偶做出的交互特征信息，并将所述交互特征信息发送给所述VR设备；所述VR设备，用于接收所述交互特征信息；基于所述交互特征信息以及预存的交互判定数据库，确定用户交互行为；基于所述用户的交互行为，输出对应的语音信息和/或图像信息。上述方法中智能人偶和VR显示装置之间可以交互处理用户的行为数据，对用户的行为数据的识别准确性较高，进而提高用户模拟社交体验。

Description

一种行为数据处理系统及方法

技术领域

本申请涉及混合现实技术领域，具体而言，涉及一种行为数据处理的系统及方法。

背景技术

当今社会人们的工作压力逐渐增加，陪伴老人、孩子以及个人社交时间也相应减少，同时虚拟现实(Virtual Reality，VR)、混合现实(Mixed Reality，MR)等技术大力发展，模拟社交越来越成为目前人们所需求的功能。

当前模拟社交过程中，对于用户的交互行为判准单一，判别要素简单，判别精度较低，容易对用户行为进行错判和误判，造成了较多的错误交互，用户体验感差。难以达到用户对于模拟社交的高度拟人化的互动要求。

发明内容

有鉴于此，本申请实施例的目的在于提供一种行为数据处理系统及方法，能够通过多种要素协同判定用户的交互目的，达到减少错判、误判的情况，提高用户模拟社交体验。

第一方面，本申请实施例提供了一种行为数据处理系统，包括：智能人偶和虚拟现实VR设备；其中：

所述智能人偶，用于通过内置的传感器检测用户对所述智能人偶做出的交互特征信息，并将所述交互特征信息发送给所述VR设备；

所述VR设备，用于接收所述交互特征信息；基于所述交互特征信息以及预存的交互判定数据库，确定用户交互行为；基于所述用户的交互行为，输出对应的语音信息和/或图像信息。

一种可能的实施方式中，所述内置的传感器包括以下传感器中的至少一种：

压力传感器；温度传感器；湿度传感器；

所述智能人偶，用于采用下述步骤得到所述交互特征信息：

接收内置的压力传感器上传的压力数据；和/或，接收内置的温度传感器上传的温度数据；和/或，接收内置的湿设备度传感器上传的湿度数据。

一种可能的实施方式中，所述交互特征信息还包括用户对所述智能人偶做出交互动作时的交互位置信息；

所述智能人偶，还用于采用下述步骤得到所述交互位置信息：

确定上传所述交互特征信息的传感器的标识，基于确定的传感器的标识，确定每个被触发的传感器的位置信息；

根据确定的每个被触发的传感器的位置信息，确定用户对所述智能人偶做出交互动作时的交互位置信息。

一种可能的实施方式中，所述交互判定数据库中存储有预设行为方式对应的交互特征信息；

所述VR设备，用于采用下述方式确定所述用户的交互行为：

将接收的所述交互特征信息与所述交互判定数据库中存储的交互特征信息进行匹配，确定所述交互判定数据库中匹配程度最高的目标交互特征信息；

将所述目标交互特征信息对应的预设行为方式确定为所述用户的交互行为。

一种可能的实施方式中，所述VR设备，用于采用下述方式确定输出的语音信息和/或图像信息：

基于预先存储的预设用户交互行为与预设输出信息之间的映射关系，确定与所述用户的交互行为对应的预设输出信息，所述预设输出信息包括语音信息和/或图像信息。

一种可能的实施方式中，所述VR设备，还用于：

捕捉用户的待识别语音；

将所述用户的待识别语音与预存的语音判定数据库中储存的语音进行匹配，确定所述语音判定数据库中匹配程度最高的目标语音；

将所述目标语音确定为用户交互语音；

基于预先储存的预设用户交互语音与预设输出信息之间的映射关系，确定与所述用户交互语音对应的预设输出信息，所述预设输出信息包括语音信息和/或图像信息。

一种可能的实施方式中，所述VR设备，还用于：

捕捉用户的待识别肢体动作信息；

当检测到用户的肢体与智能人偶相接触时，将所述用户的待识别的肢体动作信息与预存的肢体动作判定数据库中储存的肢体动作特征信息相匹配，确定所述肢体动作判定数据库中匹配程度最高的目标肢体动作；所述待识别的用户肢体动作信息为接触前预设时间段内的用户肢体轨迹信息和肢体运动速度信息；

将所述目标肢体动作确定为用户交互肢体动作；

基于预先储存的预设用户交互肢体动作与预设输出信息之间的映射关系，确定与所述用户交互肢体动作对应的预设输出信息，所述预设输出信息包括语音信息和/或图像信息。

一种可能的实施方式中，所述智能人偶，还用于：

向所述VR设备发送所述智能人偶当前的终端状态信息；

所述VR设备，还用于：

接收所述智能人偶当前的终端状态信息；

基于所述终端状态信息和预设的智能人偶虚拟外形信息，生成所述智能人偶的虚拟形象。

第二方面，本申请实施例还提供一种行为数据处理方法，该方法包括：

通过内置的传感器检测用户对智能人偶做出的交互特征信息；

将所述交互特征信息发送给VR设备，以使所述VR设备能够基于所述交互特征信息以及预存的交互判定数据库，确定用户交互行为；基于所述用户的交互行为，输出对应的语音信息和/或图像信息。

一种可能的实施方式中，所述通过内置的传感器检测用户对智能人偶做出的交互特征信息，包括：

接收内置的压力传感器上传的压力数据；和/或，接收内置的温度传感器上传的温度数据；和/或，接收内置的湿设备度传感器上传的湿度数据。

一种可能的实施方式中，所述交互特征信息还包括用户对所述智能人偶做出交互动作时的交互位置信息：

所述通过内置的传感器检测用户对智能人偶做出的交互特征信息，还包括：

确定上传所述交互特征信息的传感器的标识，基于确定的传感器的标识，确定每个被触发的传感器的位置信息；

根据确定的每个被触发的传感器的位置信息，确定用户对所述智能人偶做出交互动作时的交互位置信息。

第三方面，本申请实施例还提供一种行为数据处理方法，该方法包括：

接收智能人偶发送的交互特征信息；

基于所述交互特征信息以及预存的交互判定数据库，确定用户的交互行为；

基于所述用户的交互行为，输出对应的语音信息和/或图像信息。

第四方面，本申请实施例还提供一种行为数据处理装置，包括：

检测模块，用于通过内置的传感器检测用户对所述行为数据处理装置做出的交互特征信息；

发送模块，用于将所述交互特征信息发送给所述VR设备。

一种可能的实施方式中，所述检测模块，还用于：接收内置的压力传感器上传的压力数据；和/或，接收内置的温度传感器上传的温度数据；和/或，接收内置的湿设备度传感器上传的湿度数据。

一种可能的实施方式中，所述检测模块还用于：确定上传所述交互特征信息的传感器的标识，基于确定的传感器的标识，确定每个被触发的传感器的位置信息。

一种可能的实施方式中，所述发送模块还用于：发送用户对所述行为数据处理装置做出交互动动作时的交互位置信息，其中，所述交互位置信息是所述检测模块基于被触发的传感器的位置信息确定的。

第五方面，本申请实施例还提供另一种行为数据处理装置，该装置包括：

接收模块，用于接收所属智能人偶发送的交互特征信息；

对比模块，用于基于所述交互特征信息以及预存的交互判定数据库，确定用户的交互行为；

输出模块，用于基于所述用户的交互行为，输出对应的语音信息和/或图像信息。

第六方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第二方面或第二方面的任何一种可能的实施方式中的行为数据处理方法，或者执行上述第三方面或第三方面中任一种可能的实施方式中的行为数据处理方法的步骤。

第七方面，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第二方面或第二方面的任何一种可能的实施方式中的行为数据处理方法，或者执行上述第三方面或第三方面中任一种可能的实施方式中的行为数据处理方法的步骤。

本申请实施例提供一种行为数据处理系统及方法，可以通过智能人偶的内置传感器捕捉用户与智能人偶发生交互动作时的交互特征信息，基于捕捉到的交互特征信息，确定用户的交互行为，最后基于用户的交互行为，确定对应的语音和/或图像信息，由VR设备将对应的语音、图像信息输出给用户，以便实现用户和智能人偶之间的模拟交互过程。

通过上述系统，在和智能人偶进行交互时，可以根据用户的不同交互动作、语音等多种要素单独或共同判定用户的行为，准确确定出用户的交互目的，进而给出对应的语音和/或图像信息作为回应，提高了模拟社交的拟人化程度，加强了用户的沉浸式体验。且现有技术中进行的模拟社交，基本是基于单一的固定指令和判断要素，交互结果也较为固定、死板、错判、误判率高。通过上述系统，能够对用户多种交互动作进行判定，提高了判定的准确性。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的一种行为数据处理系统的结构框架；

图2示出了本申请实施例所提供的一种行为数据处理方法的流程图；

图3示出了本申请实施例所提供的另一种行为数据处理方法的流程图；

图4示出了本申请实施例所提供的一种行为数据处理装置的示意图；

图5示出了本申请实施例所提供的另一种行为数据处理装置的示意图；

图6示出了本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前，在以陪伴机器人、智能人偶实现的模拟社交中，主要的行为数据处理模式包括：按键控制、固定语音控制、固定动作命令控制等。上述行为数据处理系统在进行行为数据处理时，基于单一要素判断用户行为目的，根据固定的判断做出回应。

然而，在模拟社交中，用户的交互行为类型众多，在一些情况下，用户的交互行为同时包括语音、动作等多种判定要素。此时仅用单一要素对用户行为进行判定，会出现对用户交互目的的错判、误判情况，做出错误应对，导致用户体验下降，无法满足用户的要求。

基于此，本申请实施例提供了一种行为数据处理系统及方法。行为数据处理系统在检测到用户与智能人偶发生交互时，通过智能人偶内置传感器捕捉交互行为的交互特征信息，通过麦克风捕捉交互语音，通过摄像头或体感控制器捕捉用户肢体动作信息，基于多个要素协同判定用户的交互目的。与现有技术相比，本申请判定精度更高，错判误判率降低，并且，通过VR设备输出对应的语音和/或图像信息临场感更强，更能够给用户带来沉浸式体验，满足用户对模拟社交的要求。

下面将结合本申请中附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

实施例一

本申请实施例提供了一种行为数据的处理系统，该系统可以应用于基于VR技术的陪伴型智能人偶系统中，用于处理用户的动作行为数据，输出对应的语音和/或图像信息。如图1所示是为本申请实施例一提供的行为数据处理系统100，包括：智能人偶101以及VR设备102，智能人偶101与VR设备102之间的通信方式包括但不限于：超宽带(Ultra wideband，UWB)、射频识别(Radio Frequency Identification，RFID)、蓝牙(Blue tooth)等，当然也可以采用其它通信方式。其中：

所述智能人偶101，用于通过内置的传感器检测用户对所述智能人偶做出的交互特征信息，并将所述交互特征信息发送给所述VR设备102；

这里，智能人偶101可以是用任意材料制作的内含电子设备的人形、半人形、玩偶形人偶。基于内部传感器捕捉用户在交互过程中的交互特征信息，并发送给所述VR设备102，以实现对用户交互行为的判定。

上述交互特征信息包括传感器的运行状态信息和触发数据。因此，智能人偶101实时获取自身每个内置传感器的运行状况信息和触发数据。

上述内置传感器包括压力传感器、温度传感器、湿度传感器中的至少一种。不同传感器的触发数据包括：

压力传感器的触发启动时间，触发压力大小和触发持续时间；温度传感器的触发启动时间、触发温度高低和触发持续时间；湿度传感器的触发启动时间、触发湿度大小和触发持续时间。

上述传感器的运行状况信息包括，一次交互动作中被触发的传感器个数和被触发的传感器的位置信息。这里，被触发的传感器的位置信息是通过上传触发数据的传感器标识确定的。

上述被触发的传感器的位置信息可以通过以下实施方式获得：

在一种可能的实施方式中，智能人偶可以通过解析接收到的被触发传感器的触发数据得到被触发的传感器标识特征。例如：通过提取包含触发数据的数据帧的头部报文，得到发送数据帧装置的标识特征，依据上述标识特征判断被触发的传感器所在的智能人偶101区域的位置信息。

上述标识特征包括：传感器的类型和传感器的唯一编号。

在一种可能的实施方式中，所述智能人偶中包含有储存传感器标识特征及其所在区域的映射表，在确定被触发传感器的标识标识特征后，可以依据映射表确定被触发传感器所在的位置信息。

如提取出的标识的特征为压力传感器001号，则可以根据映射表确定压力传感器001号安装于智能人偶的面部区域，确定被触发的传感器的位置信息为面部区域。

所述智能人偶101在确定交互特征信息后，向所述VR设备102发送交互特征信息。

所述VR设备102，用于接收所述交互特征信息；基于所述交互特征信息以及预存的交互判定数据库，确定用户交互行为；基于所述用户的交互行为，输出对应的语音信息和/或图像信息。其中，图像信息例如包括影像或动画等，本申请对此并不限定。

所述VR设备102可以为VR头显设备，至少包括信息接收装置、内置处理器、储存装置以及视频音频输出设备；也可以为置入手机的VR设备，在置入手机的VR设备中，手机作为信息接收装置、处理器和视频、音频输出设备。

具体的，所述VR设备102，用于采用下列方式确定用户交互行为信息：

在接收到智能人偶101发送的交互特征信息之后，可以将所述交互特征信息与提取的预先储存的交互判定数据库中的交互特征信息进行匹配。

本实施例中，预先储存的交互判定数据库包括预先设定的交互行为集和与所述预先设定的交互行为集一一对应的交互特征信息集。

具体的，所述交互行为集可以包含社交中的交互动作的动作样本集。其中社交中的交互动作可以理解为是社交中会出现的肢体接触。出现上述肢体接触的原因可能是基于不同社会关系包括且不限于恋人之间的爱抚、亲吻，朋友之间的拥抱和握手等。交互特征信息集中的交互特征信息为上述不同交互动作对应的传感器的运行状况信息和触发数据。

本申请实施例中，在接收到所述智能人偶101发送的交互特征信息之后，调取预先存储的交互判定数据库中的交互特征信息集。将所述智能人偶发送的交互特征信息与交互特征信息集中的交互特征信息进行一一匹配，确定相似度最高的交互特征信息为目标交互特征信息。

根据交互特征信息集与交互行为集的对应关系，将所述目标交互特征信息对应的交互行为集里的预设交互行为确定为所述用户进行的交互行为。

再根据预设的用户交互行为与预设输出信息之间的映射关系，输出与所述用户的交互行为对应的语音和/或图像信息。

本申请的一些实施例中，确定用户交互行为时还可以基于人工智能技术进行预测，例如采用机器学习的方式，利用训练样本集合训练得到用于预测用户交互行为的预测模型，然后可以将接收的交互特征信息输入至训练得到的预测模块中进行预测，输出预测得到的用户交互行为。具体的预测模型例如可以采用卷积神经网络模型等，本申请对此并不限定。

一种可能的实施方式中，当确定用户的交互行为为抚摸头部时，可以通过VR设备102输出眨眼、脸红的图像信息。其中，图像信息可以由自带输出设备的内置屏幕输出，也可以由连接VR眼镜的手机输出。

所述VR设备102，还可以用于处理用户的语音行为数据，输出对应的语音、图像信息。

所述VR设备102用于捕捉用户的待识别语音；将所述用户的待识别语音与预存的语音判定数据库中储存的语音进行匹配，确定所述语音判定数据库中匹配程度最高的目标语音；将所述目标语音确定为用户交互语音；基于预先储存的预设用户交互语音与预设输出信息之间的映射关系，确定与所述用户交互语音对应的预设输出信息，所述预设输出信息包括语音信息和/或图像信息。

所述VR设备102通过麦克风捕捉用户的待识别语音信息，在捕捉到所述待识别语音信息之后，调取预先存储的语音判定数据库中储存的语音信息进行匹配。

本实施例中，预先储存的语音判定数据库包括预先设定的交互语音集和与所述预先设定的交互语音集一一对应的交互语音特征集。

具体的，所述交互语音集可以包含社交中的交互语音的对话样本集。交互语音特征包括声调、语种和语义信息。

本可能的实施方式所描述的匹配待识别语音与语音判定数据库，确定用户交互语音的过程和前一可能的实施方式中描述的匹配交互特征信息与交互判定数据库确定用户交互行为的过程类似，这里进行不在赘述。

所述VR设备102，还可以处理用户的肢体动作行为数据，输出对应的语音、图像信息。

所述VR设备102用于捕捉用户的肢体动作信息；当检测到用户的肢体和智能人偶101相接触时，将所述用户的肢体动作信息与预存的肢体动作判定数据库中储存的肢体动作特征信息进行匹配，确定所述肢体动作判定数据库中匹配程度最高的目标肢体动作；将所述目标肢体动作确定为用户的交互肢体动作；基于预先储存的预设用户交互肢体动作与预设输出信息之间的映射关系，确定与所述用户交互语音对应的预设输出信息，所述预设输出信息包括语音信息和/或图像信息。

所述VR设备102通过摄像头或体感控制器捕捉用户的肢体动作，在检测到用户的肢体与所述智能人偶101相接触的时候，确定接触前预设时间段内的用户肢体轨迹信息和肢体运动速度信息和接触位置信息为待识别的肢体动作信息。在具体的实施例中，在检测到用户的肢体与所述智能人偶101相接触前为0.5秒或1秒内的肢体运动轨迹信息和肢体速度信息以及肢体与智能人偶101相接触的位置信息为待识别肢体动作信息。

在确定所述待识别肢体动作信息之后，调取预先存储的肢体动作判定数据库中预先设定的肢体动作特征信息进行匹配。

本实施例中，预先储存的肢体动作判定数据库包括预先设定的交互肢体动作集和与所述预先设定的交互肢体动作集一一对应的肢体动作特征信息集。

具体的，肢体动作特征信息包括肢体运动轨迹信息、肢体运动速度信息和肢体与所述智能人偶101相接触的位置信息。

本实施例所描述的匹配待识别肢体动作与肢体动作判定数据库的，确定用户交互肢体动作的过程和前一可能的实施方式中描述的匹配交互特征信息与交互判定数据库确定用户交互行为的过程类似，这里进行不在赘述。

一种可能的实施方式中，在用户与智能人偶进行交互之前，首先要在VR设备中输出当前智能人偶的虚拟形象，具体包括：

智能人偶发送当前的终端状态信息给VR设备，该当前终端状态信息包括智能人偶位置信息、智能人偶速度信息和智能人偶的惯性方向信息；VR设备接收智能人偶发送的终端状态信息，并基于预设的智能人偶虚拟外形信息，生成所述智能人偶的虚拟形象。

所述终端状态信息可以通过在所述智能人偶的身体和关节部分安装电子设备得到。所述电子设备包括定位器、陀螺仪和加速度计中的一种或多种。

采用上述方式，基于交互语音、肢体动作和传感器触发数据多种不同要素单独或共同判定用户的交互动作，在处理用户行为数据时，能够有效的对不同交互行为作出区分，以做出正确的拟人的回应。避免因判断要素过少导致对用户交互行为的误判断，且引入VR技术，让输出的语音和/或图像信息具有更高的拟人性，与现有技术中的模拟社交相比，本申请提供的上述方案可以有效提高模拟社交的沉浸式体验，满足用户需求。

实施例二

参照图2所示，本申请实施例还提供一种行为数据处理方法，该方法为上述行为数据处理系统中的智能人偶来执行，包括如下步骤：

步骤S201、通过内置的传感器检测用户对所述智能人偶做出的交互特征信息。

步骤S202、将所述交互特征信息发送给所述VR设备，以使所述VR设备能够基于所述交互特征信息以及预存的交互判定数据库，确定用户交互行为；基于所述用户的交互行为，输出对应的语音信息和/或图像信息。

一种可能的实施方式中，所述通过内置的传感器检测用户对智能人偶做出的交互特征信息，包括：

接收内置的压力传感器上传的压力数据；和/或，接收内置的温度传感器上传的温度数据；和/或，接收内置的湿设备度传感器上传的湿度数据。

一种可能的实施方式中，所述交互特征信息还包括：用户对所述智能人偶做出交互动作时的交互位置信息；

具体实施中，所述通过内置的传感器检测用户对智能人偶做出的交互特征信息，具体包括：

确定上传所述交互特征信息的传感器的标识，基于确定的传感器的标识，确定每个被触发的传感器的位置信息；

根据确定的每个被触发的传感器的位置信息，确定用户对所述智能人偶做出交互动作时的交互位置信息。

关于上述行为数据处理方法的具体执行流程可参照行为数据处理系统中有关智能人偶设备的相关描述，这里不再展开说明。

实施例三

参照图3所示，本申请实施例还提供一种行为数据处理方法，该方法为上述行为数据处理系统中的VR设备来执行，包括如下步骤：

步骤S301、接收智能人偶发送的交互特征信息；

步骤S302、基于所述交互特征信息以及预存的交互判定数据库，确定用户的交互行为；

步骤S303、基于所述用户的交互行为，输出对应的语音信息和/或图像信息。

关于上述行为数据处理方法的具体执行流程可参照行为数据处理系统中有关VR设备的相关描述，这里不再展开说明。

实施例四

参照图4所示，本申请实施例还提供一种行为数据处理装置400，该装置包括：

检测模块401，用于通过内置的传感器检测用户对所述行为数据处理装置400做出的交互特征信息；

发送模块402，用于将所述交互特征信息发送给所述VR设备，以使所述VR设备能够基于所述交互特征信息以及预存的交互判定数据库，确定用户交互行为；基于所述用户的交互行为，输出对应的语音信息和/或图像信息。

一种可能的实施方式中，所述检测模块401，在通过内置的传感器检测用户对行为数据处理装置400做出的交互特征信息时，具体用于：

接收内置的压力传感器上传的压力数据；和/或，接收内置的温度传感器上传的温度数据；和/或，接收内置的湿设备度传感器上传的湿度数据。

一种可能的实施方式中，所述检测模块401，在通过内置的传感器检测用户对行为数据处理装置做出的交互特征信息时，还用于确定：用户对所述行为数据处理装置400做出交互动作时的交互位置信息：

所述通过内置的传感器检测用户对所述行为处理装置400做出的交互特征信息，还包括：

确定上传所述交互特征信息的传感器的标识，基于确定的传感器的标识，确定每个被触发的传感器的位置信息。

根据确定的每个被触发的传感器的位置信息，确定用户对所述行为数据处理装置做出交互动作时的交互位置信息。

实施例五

参照图5所示，本申请实施例还提供一种行为数据处理装置500，该装置包括：

接收模块501，用于接收所属智能人偶发送的交互特征信息；

对比模块502，用于基于所述交互特征信息以及预存的交互判定数据库，确定用户的交互行为；

输出模块503，用于基于所述用户的交互行为，输出对应的语音信息和/或图像信息。

实施例六

图6示出了本申请实施例所提供的一种电子设备600，包括处理器601，存储器602，总线603，所述处理器601和存储器602通过总线603连接；处理器601用于执行存储器602中存储的可执行模块，例如计算机程序。

其中，存储器602可能包含高速随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

总线603可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component Interconnect，PCI)总线或扩充工业标准总结结构(Extended Industry Standard Architecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器602用于存储程序，所述处理器603在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的行为数据处理方法可以应用于处理器601中，或者由处理器601实现。

处理器601可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器601中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器601可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器602，处理器601读取存储器602中的信息，结合其硬件完成上述实施例二的行为数据处理方法中的步骤，或执行上述实施例三的行为数据处理方法的步骤。

本申请实施例所提供的行为数据处理方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的行为数据处理方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种行为数据处理系统，其特征在于，包括：智能人偶和虚拟现实VR设备；其中：

所述智能人偶，用于通过内置的传感器检测用户对所述智能人偶做出的交互特征信息，并将所述交互特征信息发送给所述VR设备；其中，所述交互特征信息包括传感器的运行状态信息和触发数据；所述运行状态信息包括，一次交互动作中被触发的传感器个数和被触发的传感器的位置信息；

所述VR设备，用于接收所述交互特征信息；基于所述交互特征信息以及预存的交互判定数据库，确定用户交互行为；基于所述用户的交互行为，输出对应的语音信息和/或图像信息；

所述VR设备，还用于：

捕捉用户的待识别肢体动作信息；

当检测到用户的肢体与智能人偶相接触时，将所述用户的待识别的肢体动作信息与预存的肢体动作判定数据库中储存的肢体动作特征信息相匹配，确定所述肢体动作判定数据库中匹配程度最高的目标肢体动作；所述待识别的用户肢体动作信息为接触前预设时间段内的用户肢体轨迹信息和肢体运动速度信息以及肢体与所述智能人偶相接触的位置信息；

将所述目标肢体动作确定为用户交互肢体动作；

基于预先储存的预设用户交互肢体动作与预设输出信息之间的映射关系，确定与所述用户交互肢体动作对应的预设输出信息，所述预设输出信息包括语音信息和/或图像信息。

2.根据权利要求1所述的行为数据处理系统，其特征在于，所述内置的传感器包括以下传感器中的至少一种：

压力传感器；温度传感器；湿度传感器；

所述智能人偶，用于采用下述步骤得到所述交互特征信息：

接收内置的压力传感器上传的压力数据；和/或，接收内置的温度传感器上传的温度数据；和/或，接收内置的湿度传感器上传的湿度数据。

3.根据权利要求2所述的行为数据处理系统，其特征在于，所述交互特征信息还包括用户对所述智能人偶做出交互动作时的交互位置信息；

所述智能人偶，还用于采用下述步骤得到所述交互位置信息：

确定上传所述交互特征信息的传感器的标识，基于确定的传感器的标识，确定每个被触发的传感器的位置信息；

根据确定的每个被触发的传感器的位置信息，确定用户对所述智能人偶做出交互动作时的交互位置信息。

4.根据权利要求1所述的行为数据处理系统，其特征在于，所述交互判定数据库中存储有预设行为方式对应的交互特征信息；

所述VR设备，用于采用下述方式确定所述用户的交互行为：

将接收的所述交互特征信息与所述交互判定数据库中存储的交互特征信息进行匹配，确定所述交互判定数据库中匹配程度最高的目标交互特征信息；

将所述目标交互特征信息对应的预设行为方式确定为所述用户的交互行为。

5.根据权利要求1所述的行为数据处理系统，其特征在于，所述VR设备，用于采用下述方式确定输出的语音信息和/或图像信息：

基于预先存储的预设用户交互行为与预设输出信息之间的映射关系，确定与所述用户的交互行为对应的预设输出信息，所述预设输出信息包括语音信息和/或图像信息。

6.根据权利要求1所述的行为数据处理系统，其特征在于，所述VR设备，还用于：

捕捉用户的待识别语音；

将所述用户的待识别语音与预存的语音判定数据库中储存的语音进行匹配，确定所述语音判定数据库中匹配程度最高的目标语音；

将所述目标语音确定为用户交互语音；

基于预先储存的预设用户交互语音与预设输出信息之间的映射关系，确定与所述用户交互语音对应的预设输出信息，所述预设输出信息包括语音信息和/或图像信息。

7.根据权利要求1所述的行为数据处理系统，其特征在于，所述智能人偶，还用于：

向所述VR设备发送所述智能人偶当前的终端状态信息；其中，所述终端状态信息包括智能人偶位置信息、智能人偶速度信息和智能人偶的惯性方向信息；

所述VR设备，还用于：

接收所述智能人偶当前的终端状态信息；

基于所述终端状态信息和预设的智能人偶虚拟外形信息，生成所述智能人偶的虚拟形象。

8.一种行为数据处理方法，其特征在于，所述方法包括：

通过内置的传感器检测用户对智能人偶做出的交互特征信息；其中，所述交互特征信息包括传感器的运行状态信息和触发数据；所述运行状态信息包括，一次交互动作中被触发的传感器个数和被触发的传感器的位置信息；

将所述交互特征信息发送给虚拟现实VR设备，以使所述VR设备能够基于所述交互特征信息以及预存的交互判定数据库，确定用户交互行为；基于所述用户的交互行为，输出对应的语音信息和/或图像信息；

所述VR设备还捕捉用户的待识别肢体动作信息；当检测到用户的肢体与智能人偶相接触时，将所述用户的待识别的肢体动作信息与预存的肢体动作判定数据库中储存的肢体动作特征信息相匹配，确定所述肢体动作判定数据库中匹配程度最高的目标肢体动作；所述待识别的用户肢体动作信息为接触前预设时间段内的用户肢体轨迹信息和肢体运动速度信息以及肢体与所述智能人偶相接触的位置信息；将所述目标肢体动作确定为用户交互肢体动作；基于预先储存的预设用户交互肢体动作与预设输出信息之间的映射关系，确定与所述用户交互肢体动作对应的预设输出信息，所述预设输出信息包括语音信息和/或图像信息。

9.根据权利要求8所述的行为数据处理方法，其特征在于，所述通过内置的传感器检测用户对智能人偶做出的交互特征信息，包括：

接收内置的压力传感器上传的压力数据；和/或，接收内置的温度传感器上传的温度数据；和/或，接收内置的湿度传感器上传的湿度数据。

10.根据权利要求9所述的行为数据处理方法，其特征在于，所述交互特征信息还包括用户对所述智能人偶做出交互动作时的交互位置信息：

所述通过内置的传感器检测用户对智能人偶做出的交互特征信息，还包括：

确定上传所述交互特征信息的传感器的标识，基于确定的传感器的标识，确定每个被触发的传感器的位置信息；

根据确定的每个被触发的传感器的位置信息，确定用户对所述智能人偶做出交互动作时的交互位置信息。

11.一种行为数据处理方法，其特征在于，所述方法包括：

接收智能人偶发送的交互特征信息；其中，所述交互特征信息包括传感器的运行状态信息和触发数据；所述运行状态信息包括，一次交互动作中被触发的传感器个数和被触发的传感器的位置信息；

基于所述交互特征信息以及预存的交互判定数据库，确定用户的交互行为；

基于所述用户的交互行为，输出对应的语音信息和/或图像信息；

捕捉用户的待识别肢体动作信息；当检测到用户的肢体与智能人偶相接触时，将所述用户的待识别的肢体动作信息与预存的肢体动作判定数据库中储存的肢体动作特征信息相匹配，确定所述肢体动作判定数据库中匹配程度最高的目标肢体动作；所述待识别的用户肢体动作信息为接触前预设时间段内的用户肢体轨迹信息和肢体运动速度信息以及肢体与所述智能人偶相接触的位置信息；将所述目标肢体动作确定为用户交互肢体动作；基于预先储存的预设用户交互肢体动作与预设输出信息之间的映射关系，确定与所述用户交互肢体动作对应的预设输出信息，所述预设输出信息包括语音信息和/或图像信息。

Images