CN108733215A - 一种拟人化虚拟助手注视方向控制方法 - Google Patents

Abstract

本发明公开了一种拟人化虚拟助手注视方向控制方法，该控制方法通过人脸识别确定虚拟助手注视目标集；根据人脸识别图像尺寸、说话人声源方位，确定多目标情况下面向不同应用场景的虚拟助手注视目标；利用虚拟助手当前注视方向与注视目标之间的方位夹角控制虚拟助手身体、头部或眼睛进行转动，达到控制拟人化虚拟助手注视方向的目的。本发明从人们日常面对面语言交流的心理、认知需求出发，将人脸识别与声源定位技术相结合，实现虚拟助手注视方向控制，适用于拟人化虚拟助手参与的单人咨询或多人会议等应用场景，对增强客服机器人在语音应答过程中的亲和力、提高用户体验具有促进作用。

Description

一种拟人化虚拟助手注视方向控制方法

技术领域

本发明涉及人机交互技术领域，尤其涉及一种拟人化虚拟助手注视方向控制方法。

背景技术

随着社会发展，客服机器人开始进入各行各业，提供业务咨询服务。与传统人工5*8小时业务咨询服务模式相比，客服机器人可以提供7*24小时全天候服务，服务质量和服务效率都有显著提高。

目前，客服机器人主要表现为：

(1)语音助手：具有语音应答功能。然而，用户在业务咨询过程中只闻其声、未见其人，缺乏亲近感，适用于日常聊天或简单业务咨询；

(2)拟人化虚拟助手：除语音应答功能外，还具有微笑、眨眼、唇动等简单面部表情特征。但是，拟人化虚拟助手的注视方向往往固定不变，不符合人们日常面对面语言交流的认知习惯，用户体验不好。

心理学研究表明，眼睛注视方向包含直观且丰富的认知线索，是传递非语言信息的一种重要方式。通过观察他人的眼睛注视方向，可以捕捉他人当下的注意焦点，对人们日常交流具有重要意义。因此，本发明从人们日常面对面语言交流的心理、认知需求出发，提供了一种拟人化虚拟助手注视方向控制方法，对增强客服机器人在语音应答过程中的亲和力、提高用户体验具有促进作用。

因此，现有技术需要进一步改进和完善。

发明内容

本发明的目的在于克服现有技术的不足，提供一种能够提高用户体验的拟人化虚拟助手注视方向控制方法。

本发明从人们日常面对面语言交流的心理、认知需求出发，将人脸识别与声源定位技术相结合，实现虚拟助手注视方向控制，适用于拟人化虚拟助手参与的单人咨询或多人会议等应用场景，对增强客服机器人在语音应答过程中的亲和力、提高用户体验具有促进作用。

本发明的目的通过下述技术方案实现：

一种拟人化虚拟助手注视方向控制方法，所述注视方向由水平注视方向和竖直注视方向构成，通过虚拟助手的眼睛、头部和身体转动实现；所述眼睛转动是指虚拟助手眼睛在水平方向的转动，所述头部转动是指虚拟助手头部在水平和竖直两个方向的转动，所述身体转动是指虚拟助手躯干在水平方向的转动，该控制方法具体包括如下步骤：

步骤S1：通过人脸识别确定虚拟助手注视目标集；

步骤S2：确定注视目标；

进一步的，所述步骤S2还包括如下步骤：

步骤S21：当步骤S1中所述目标集有唯一目标时，将该目标作为虚拟助手注视目标；

步骤S22：当步骤S1中所述目标集有多个目标时，根据人脸识别图像尺寸、说话人音源方位，确定多目标情况下虚拟助手注视目标；所述人脸识别图像尺寸，是指人脸识别框内的像素个数。

更进一步的，所述步骤S22还包括如下步骤：

步骤S221：当未检测到用户语音信号时，比较人脸识别图像尺寸，将图像尺寸最大的人脸作为虚拟助手注视目标；

步骤S222：当检测到用户语音信号时，根据语音信号的音源方位，确定多目标情况下虚拟助手注视目标。

步骤S3：利用虚拟助手当前注视方向与注视目标之间的方位关系控制拟人化虚拟助手注视方向。

进一步的，所述步骤S3还包括如下步骤：

步骤S31：当虚拟助手当前注视方向与注视目标的水平方向夹角α小于眼睛转动上限β时，控制虚拟助手眼睛向注视目标方向水平转动α；

步骤S32：当虚拟助手当前注视方向与注视目标的水平方向夹角α大于眼睛转动上限β、小于头部转动上限γ时，控制虚拟助手眼睛向注视目标方向水平转动β、头部向注视目标方向水平转动α-β；

步骤S33：当虚拟助手当前注视方向与注视目标的水平方向夹角α大于头部转动上限γ时，控制虚拟助手眼睛向注视目标方向水平转动β、头部向注视目标方向水平转动γ-β、身体向注视目标方向水平转动α-γ；

步骤S34：当虚拟助手当前注视方向与注视目标的竖直方向夹角为θ时，控制虚拟助手头部向注视目标方向竖直转动θ。

本发明的工作过程和原理是：本发明提供了一种拟人化虚拟助手注视方向控制方法，通过人脸识别确定虚拟助手注视目标集；根据人脸识别图像尺寸、说话人声源方位，确定多目标情况下面向不同应用场景的虚拟助手注视目标；利用虚拟助手当前注视方向与注视目标之间的方位夹角控制虚拟助手身体、头部或眼睛进行转动，达到控制拟人化虚拟助手注视方向的目的。本发明从人们日常面对面语言交流的心理、认知需求出发，将人脸识别与声源定位技术相结合，实现虚拟助手注视方向控制，适用于拟人化虚拟助手参与的单人咨询或多人会议等应用场景，对增强客服机器人在语音应答过程中的亲和力、提高用户体验具有促进作用。

与现有技术相比，本发明还具有以下优点：

(1)本发明所提供的拟人化虚拟助手注视方向控制方法采用人脸识别与声源定位技术相结合的方式，实现虚拟助手注视方向控制，能显著提高客服机器人的亲和力及用户体验。

(2)本发明所提供的拟人化虚拟助手注视方向控制方法利用图像识别、声源定位并结合语音交流、心理咨询的方式，对用户进行多方位多体感的服务，从而获得较高的用户评价。

附图说明

图1是本发明所提供的拟人化虚拟助手注视方向控制方法的流程图。

图2是本发明所提供的拟人化虚拟助手眼睛、头部、身体转动轴示意图。

图3是本发明所提供的具有拟人化虚拟助手的语音咨询设备示意图。

图4是本发明所提供的用户排队咨询场景下虚拟助手注视目标确定示意图。

图5是本发明所提供的多人会议场景下虚拟助手注视目标确定示意图。

图6是本发明所提供的拟人化虚拟助手眼睛、头部水平方向转动范围示意图。

图7是本发明所提供的拟人化虚拟助手眼睛转动示意图。

图8是本发明所提供的拟人化虚拟助手眼睛、头部协同转动示意图。

图9是本发明所提供的拟人化虚拟助手眼睛、头部、身体协同转动示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明作进一步说明。

实施例1：

如图1所示，本实施例公开了一种拟人化虚拟助手注视方向控制方法100，包括通过人脸识别确定虚拟助手注视目标集101；根据人脸识别图像尺寸、说话人声源方位，确定多目标情况下面向不同应用场景的虚拟助手注视目标102；利用虚拟助手当前注视方向与注视目标之间的方位关系控制拟人化虚拟助手注视方向103等步骤。

所述注视方向，由水平注视方向和竖直注视方向构成，通过虚拟助手的眼睛、头部和身体转动实现。如图2所示，所述眼睛转动是指虚拟助手两只眼睛分别以A2、A3为轴在水平方向的转动，所述头部转动是指虚拟助手头部分别以A1、A4为轴在水平和竖直两个方向的转动，所述身体转动是指虚拟助手躯干以A1为轴在水平方向的转动。

图3所示是一种具有拟人化虚拟助手的语音咨询设备300示意图。拟人化虚拟助手302可以通过显示器301呈现在用户眼前，通过摄像头303进行人脸识别，确定拟人化虚拟助手302的注视目标集，如：图4中的401、402、403或图5中的501、502、503、504。

本发明实施例对人脸识别方法不做限定，优选的，可以是基于RGB图像的二维人脸识别和基于深度图像的三维人脸识别方法中的一种或几种。

当根据人脸识别确定的注视目标集中有唯一目标时，将该目标作为虚拟助手注视目标。当根据人脸识别确定的注视目标集中有多个目标时，在未检测到用户语音信号的情况下，比较人脸识别图像尺寸，将图像尺寸最大的人脸作为虚拟助手注视目标；在检测到用户语音信号的情况下，根据语音信号的音源方位，确定虚拟助手注视目标。

所述人脸识别图像尺寸，是指人脸识别框(401、402、403、501、502、503、504)内的像素个数。

本发明实施例对用户语音信号检测方法不做限定，优选的，可以是各种语音识别方法的一种或几种。

本发明实施例对音源方位计算方法不做限定，优选的，可以是基于麦克风阵列304的音源识别方法。

如图4所示，在用户排队咨询应用场景400中，排在后面的用户由于距离语音咨询设备300中的拟人化虚拟助手302相对较远，人脸识别图像尺寸相对较小(402、403)或不可识别(404)，语音信号相对较弱或不可识别，语音咨询设备300中的拟人化虚拟助手302将站在最前方的用户401作为注视对象。

如图5所示，在多人会议应用场景500中，语音咨询设备300中摄像头303可以有效识别所有参与人的人脸501、502、503、504，语音咨询设备300中麦克风阵列304也可以有效检测到所有参与人的语音信号。语音咨询设备300中的拟人化虚拟助手302首先将人脸识别图像尺寸最大的502作为注视对象，然后再根据检测到的语音信号的音源方位调整注视方向。

最后，利用虚拟助手当前注视方向与注视目标之间的方位关系控制拟人化虚拟助手302的注视方向。

如图6所示，虚拟助手眼睛、头部的水平转动上限分别为β、γ，且满足β﹤γ。

如图7所示，当虚拟助手当前注视方向与注视目标的水平方向夹角α小于眼睛转动上限β时，控制虚拟助手眼睛以A2、A3为轴，向注视目标方向水平转动α。

如图8所示，当虚拟助手当前注视方向与注视目标的水平方向夹角α大于眼睛转动上限β、小于头部转动上限γ时，控制虚拟助手眼睛以A2、A3为轴，向注视目标方向水平转动β；头部以A1为轴，向注视目标方向水平转动α-β。

如图9所示，当虚拟助手当前注视方向与注视目标的水平方向夹角α大于头部转动上限γ时，控制虚拟助手眼睛以A2、A3为轴，向注视目标方向水平转动β；头部以A1为轴，向注视目标方向水平转动γ-β；身体以A1为轴，向注视目标方向水平转动α-γ。

当虚拟助手当前注视方向与注视目标的竖直方向夹角为θ时，控制虚拟助手头部以A4为轴向注视目标方向转动θ。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种拟人化虚拟助手注视方向控制方法，其特征在于，所述注视方向由水平注视方向和竖直注视方向构成，通过虚拟助手的眼睛、头部和身体转动实现；所述眼睛转动是指虚拟助手眼睛在水平方向的转动，所述头部转动是指虚拟助手头部在水平和竖直两个方向的转动，所述身体转动是指虚拟助手躯干在水平方向的转动，该控制方法包括如下步骤：

步骤S1：通过人脸识别确定虚拟助手注视目标集；

步骤S2：确定注视目标；

步骤S3：利用虚拟助手当前注视方向与注视目标之间的方位关系控制拟人化虚拟助手注视方向。

2.根据权利要求1所述的拟人化虚拟助手注视方向控制方法，其特征在于，所述步骤S2还包括如下步骤：

步骤S21：当步骤S1中所述目标集有唯一目标时，将该目标作为虚拟助手注视目标；

步骤S22：当步骤S1中所述目标集有多个目标时，根据人脸识别图像尺寸、说话人音源方位，确定多目标情况下虚拟助手注视目标；所述人脸识别图像尺寸，是指人脸识别框内的像素个数。

3.根据权利要求1所述的拟人化虚拟助手注视方向控制方法，其特征在于，所述步骤S22还包括如下步骤：

步骤S221：当未检测到用户语音信号时，比较人脸识别图像尺寸，将图像尺寸最大的人脸作为虚拟助手注视目标；

步骤S222：当检测到用户语音信号时，根据语音信号的音源方位，确定多目标情况下虚拟助手注视目标。

4.根据权利要求1所述的拟人化虚拟助手注视方向控制方法，其特征在于，所述步骤S3还包括如下步骤：

步骤S31：当虚拟助手当前注视方向与注视目标的水平方向夹角α小于眼睛转动上限β时，控制虚拟助手眼睛向注视目标方向水平转动α；

步骤S32：当虚拟助手当前注视方向与注视目标的水平方向夹角α大于眼睛转动上限β、小于头部转动上限γ时，控制虚拟助手眼睛向注视目标方向水平转动β、头部向注视目标方向水平转动α-β；

步骤S33：当虚拟助手当前注视方向与注视目标的水平方向夹角α大于头部转动上限γ时，控制虚拟助手眼睛向注视目标方向水平转动β、头部向注视目标方向水平转动γ-β、身体向注视目标方向水平转动α-γ；

步骤S34：当虚拟助手当前注视方向与注视目标的竖直方向夹角为θ时，控制虚拟助手头部向注视目标方向竖直转动θ。