CN119304908B - 基于智能陪伴机器人的人脸表情识别方法 - Google Patents

Abstract

本发明公开了基于智能陪伴机器人的人脸表情识别方法，涉及智能识别技术领域，本发明通过分析情感矛盾度Qmd，能够识别出面具式表情（即与真实情感不一致的表情），有效避免了情感误判问题，尤其在面对复杂或伪装情绪时，机器人能够辨别出情感的真实状态，并根据这一信息调整其反馈强度，确保陪伴对象的情感需求能够被准确感知并得到恰当响应。动态反馈调整机制：通过构建反馈响应强度值Fqdz，并根据情感矛盾度动态调整反馈强度，本发明能够针对不同情境下的情感状态，精确调整机器人的互动强度。通过结合初始设置及历史数据，本发明使得智能陪伴机器人能够根据长期的互动反馈优化自身的行为模式。

Description

基于智能陪伴机器人的人脸表情识别方法

技术领域

本发明涉及智能识别技术领域，具体为基于智能陪伴机器人的人脸表情识别方法。

背景技术

智能陪伴机器人属于人工智能（AI）和人机交互（HCI）领域的一个重要应用，旨在为用户提供情感支持和互动。随着人工智能技术的进步，智能陪伴机器人已经逐渐走进了人们的日常生活，应用于家庭陪伴、老年人护理、心理治疗等多个场景。这类机器人通常配备了图像采集仪、语音采集设备等感知模块，通过多模态数据的采集和分析，能够实时了解用户的情感状态，并提供相应的反馈。然而，在人脸表情识别方面，面部表情与情感之间的关系并非总是直接的，面部表情与情感之间并不总是成正比。表情识别技术常常面临情感误判的问题，尤其是当情感的表情呈现出相似的特征时。

在当前的智能陪伴机器人应用中，面部表情与情感标签之间的关联性仍然较为薄弱，表情识别技术往往依赖静态的面部图像或视频流，且多数模型是通过一些常见的情感类别进行分类（如高兴、悲伤、愤怒、惊讶等）。然而，这些情感类别在实际应用中往往呈现出重叠和模糊性，单纯依靠面部表情进行情感识别，还难以处理由于“面具式表情”造成的情感伪装（如因社会压力或个人意愿而刻意展现某种表情）。因此，现有技术忽略了对情感背后真实含义的捕捉，这对陪伴机器人来说可能会导致不适当的反应或难以满足用户的实际情感需求。

面部表情和情感之间的误判，特别是面具式表情的干扰，往往是因为情感矛盾度较大时，机器人难以及时识别或调整反馈强度，从而做出不适当的反应。例如，当陪伴对象试图用面具式表情隐藏其真实情感时，机器人如果依赖常规的面部表情识别模型进行情感判断，可能会错误地理解为愉快的情绪，从而在本应减少互动强度的情境下，提供过度的反馈，这种情感误判不仅会破坏机器人与陪伴对象之间的信任和情感连接，还可能造成陪伴对象的情感被忽视或误解，降低了陪伴机器人情感支持的有效性。

发明内容

针对现有技术的不足，本发明提供了基于智能陪伴机器人的人脸表情识别方法，解决了上述背景技术中的问题。

为实现以上目的，本发明通过以下技术方案予以实现：基于智能陪伴机器人的人脸表情识别方法，包括以下步骤，

S1：利用智能陪伴机器人的图像采集仪和语音采集设备，实时监测陪伴对象的面部图像、肢体行为图像及语音数据，经特征提取后，分别生成面部特征向量、肢体特征向量及语音特征向量，构建向量集合；

S2：基于FER-2013数据集，并结合S1中获取的面部特征向量，构建表情识别模型，以识别并分类出陪伴对象的面部表情及对应的情感标签，通过将向量集合内的相关向量均进行向量对齐，并将经向量对齐后的向量集合进行情感空间映射，以获取处理后的向量集合；

S3：根据处理后的向量集合，分析陪伴对象的面部表情与所对应的情感标签之间的矛盾程度，以计算获取情感矛盾度Qmd，基于情感矛盾度Qmd数值，识别当前陪伴对象的面部表情是否属于面具式表情；

S4：若属于面具式表情，则结合初始设置及历史数据，分析智能陪伴机器人当前面对陪伴对象的面具式表情所需的反馈强度，以构建反馈响应强度值Fqdz，基于反馈响应强度值Fqdz，动态调整智能陪伴机器人的反馈程度。

优选的，S1具体步骤包括有：

S11：通过智能陪伴机器人内预设的图像采集仪实时收集陪伴对象的面部和肢体的视频数据，并从视频数据中提取连续的面部图像和肢体行为图像，并语音采集设备实时监测陪伴对象的语音数据，面部图像用于捕捉陪伴对象的面部表情，肢体图像用于捕捉姿态、动作等身体语言，语音数据用于分析语调、语速、语气等信息，从而提取情感特征；其中，图像采集仪包括摄像头，语音采集设备包括麦克风；

S12：利用Haar级联分类器，识别出面部图像内的面部区域，通过OpenPose工具，提取肢体行为图像内关节点的3D坐标，并将语音数据通过卡尔曼滤波去除背景噪音；

S13：在S12的基础上，利用面部标志点检测技术，对面部图像内面部区域中的关键点坐标及关键坐标变化进行提取，以获取面部特征向量，所述面部特征向量的表达形式为：；并基于提取的肢体行为图像内关节点的3D坐标，结合关节点位置的相对关系，生成肢体特征向量，所述肢体特征向量的表达形式为：；并将经背景噪音去除后的语音数据进行特征提取，以获取语音特征向量，所述语音特征向量的表达形式为：；

所述向量集合包括面部特征向量、肢体特征向量及语音特征向量。

优选的，S2具体步骤包括有：

S21：利用深度学习技术，并基于FER-2013数据集中存储的表情样本及情感标签，构建并训练表情识别模型，通过训练后的表情识别模型，对S1中获取的面部特征向量进行面部表情分类，以识别出当前陪伴对象的面部表情，并通过FER-2013数据集中存储的表情样本及情感标签，将当前陪伴对象的面部表情映射到相应的情感类别，以确定当前陪伴对象的面部表情所对应的情感标签。

优选的，S2具体步骤还包括有：

S22：通过归一化技术，将向量集合内的相关向量均进行向量对齐，向量集合内的相关向量具有相同的尺度和方向；

S23：使用情感空间映射算法将向量对齐后的面部特征向量、肢体特征向量及语音特征向量均映射到同一情感空间坐标系中，形成处理后的向量集合，其中，处理后的向量集合包括处理后的面部特征向量、处理后的肢体特征向量及处理后的语音特征向量，处理后的面部特征向量的表达形式为：；处理后的肢体特征向量的表达形式为：；处理后的语音特征向量的表达形式为：。

优选的，S3具体步骤包括有：

S31：根据处理后的面部特征向量及处理后的语音特征向量，分析当前陪伴对象的面部表情和语音状态之间的差异程度，获取面部表情和语音特征之间的差异度Myc，具体按照以下公式获取面部表情和语音情感信息之间的差异度Myc：

；

式中，为处理后的面部特征向量的模长，为处理后的语音特征向量的模长，为处理后的面部特征向量及处理后的语音特征向量的点积；

S32：根据处理后的面部特征向量及处理后的肢体特征向量，分析当前陪伴对象的面部表情和体态状态之间的差异程度，获取面部表情和体态特征之间的差异度Mtc，具体按照以下公式获取面部表情和体态特征之间的差异度Mtc：

；

式中，表示为处理后的肢体特征向量的模长。

优选的，S3具体步骤还包括有：

S33：根据处理后的向量集合，并结合S31及S32内容，分析陪伴对象的面部表情与所对应的情感标签之间的矛盾程度，以计算获取情感矛盾度Qmd，所述情感矛盾度Qmd具体按照以下公式获取：

；

式中，及分别表示为面部表情和语音情感信息之间的差异度Myc及面部表情和体态特征之间的差异度Mtc的权重值，其中，0＜＜1，0＜＜1，及具体数值由用户根据情况进行设定。

优选的，S3具体步骤还包括有：

S34：预先设定差异阈值K，通过将所述差异阈值K与所述情感矛盾度Qmd进行比对分析，以识别当前陪伴对象的面部表情是否属于面具式表情，具体识别内容如下：

若所述情感矛盾度Qmd≤所述异阈值K时，此时将识别当前陪伴对象的面部表情属于面具式表情，并向外触发反馈调整指令；

若所述情感矛盾度Qmd＞所述异阈值K时，此时将识别当前陪伴对象的面部表情暂不属于面具式表情，并暂不向外触发反馈调整指令。

优选的，S4具体步骤包括有：

S41：当接收到反馈调整指令之后，则结合初始设置及历史数据，分析智能陪伴机器人当前面对陪伴对象的面具式表情所需的反馈强度，以构建反馈响应强度值Fqdz，其中，初始设置包括初始设定的反馈响应强度值，历史数据包括历史时段内各个监测时间点处的情感矛盾度，经统计学求均值算法，以获取历史时段内的平均情感矛盾度；所述反馈响应强度值Fqdz具体通过以下公式获取：

；

式中，表示为初始设定的反馈响应强度值，表示为反馈调节系数，表示为情感矛盾度。

优选的，S4具体步骤还包括有：

S42：所述反馈调节系数反映调节系统对情感误判的响应敏感度，具体按照以下公式获取：

；

式中，表示指示函数，表示历史时段内的平均情感矛盾度。

优选的，S4具体步骤还包括有：

S43：基于S42中的反馈调节系数，以获取的反馈响应强度值Fqdz，并结合当前陪伴对象的面部表情所对应的情感标签，动态调整智能陪伴机器人的反馈程度。

本发明提供了基于智能陪伴机器人的人脸表情识别方法，具备以下有益效果：

情感识别与反馈：通过实时监测陪伴对象的面部表情、肢体行为及语音数据，并结合FER-2013数据集训练的表情识别模型，本发明能够准确地识别陪伴对象的面部表情及其对应的情感标签，通过多模态数据的综合分析，能够有效弥补单一面部表情识别方法的不足，提升情感识别的准确性，确保智能陪伴机器人能根据陪伴对象的情感状态做出适当反馈。处理面具式表情问题：本发明通过分析情感矛盾度Qmd，能够识别出面具式表情（即与真实情感不一致的表情），有效避免了情感误判问题，尤其在面对复杂或伪装情绪时，机器人能够辨别出情感的真实状态，并根据这一信息调整其反馈强度，确保陪伴对象的情感需求能够被准确感知并得到恰当响应。动态反馈调整机制：通过构建反馈响应强度值Fqdz，并根据情感矛盾度动态调整反馈强度，本发明能够针对不同情境下的情感状态，精确调整机器人的互动强度。例如，在面具式表情的情况下，机器人能够适度降低反馈强度，避免过度回应带来的情感冲突，从而提升陪伴互动的自然性与舒适度。通过结合初始设置及历史数据，本发明使得智能陪伴机器人能够根据长期的互动反馈优化自身的行为模式，逐步提高情感响应的适应性与个性化程度。通过综合分析面部表情、肢体语言与语音信息，机器人能够更好地理解和适应陪伴对象的情感状态，提供更具情感共鸣的互动体验，进而提升陪伴体验的质量，增加陪伴对象的情感投入与依赖感。综上所述，本发明不仅有效解决了现有技术中面部表情误判的问题，还通过引入情感矛盾度分析和动态反馈调整机制，进一步优化了智能陪伴机器人的互动行为，使其能够更加精准、个性化地适应陪伴对象的情感需求，从而大幅提升了陪伴机器人的情感响应能力和人机互动的自然性。

多模态情感特征分析的精确性提升：通过综合分析面部表情、语音和肢体行为等多种情感特征，能够准确评估陪伴对象的情感状态。具体来说，S31步骤通过计算面部表情和语音特征之间的差异度Myc，能够揭示当前陪伴对象在面部表情与语音表述之间可能存在的情感矛盾或不一致性，该差异度的计算，能够帮助机器人识别出情感表现上的潜在不协调，从而避免错误的情感解读和不恰当的反应，提升陪伴机器人的互动质量。多维度情感判断与情感协调：S32步骤通过计算面部表情与肢体特征之间的差异度Mtc，进一步补充了情感分析的维度，能够综合考虑陪伴对象的情感状态是否在视觉表现（面部）和行为表现（肢体）之间保持一致。通过这一分析，机器人能够识别出是否存在情感表达上的不一致或冲突，从而更准确地理解陪伴对象的真实情感状态，这种多维度的情感判断方式，能够显著提高情感识别的准确度和机器人的反应灵敏度。情感矛盾识别与机器人反馈优化：通过对面部表情、语音和肢体行为的差异度分析，本发明能够有效地识别面具式表情或情感矛盾，避免情感误判。通过计算面部与语音的差异度Myc和面部与肢体的差异度Mtc，智能陪伴机器人能够在面对矛盾的情感表现时，调整其反馈响应程度，使得其反馈更加精准和自然，从而提升陪伴对象的情感体验。

情感矛盾度分析与面具式表情识别：通过S33步骤中对面部表情、语音和肢体特征之间差异度的综合分析，能够准确计算出情感矛盾度Qmd，这一计算基于多个特征（如面部表情和语音、面部表情和肢体行为的差异度），从而更全面地捕捉陪伴对象情感表达中的不一致性或潜在矛盾。相比于单一的情感分析，综合多个特征的矛盾度分析可以更精确地识别情感状态，尤其对于面具式表情的检测，能够有效避免表情与情感标签之间的误判，提升机器人的情感理解能力。动态的反馈调整机制：通过S34步骤中的差异阈值K和情感矛盾度Qmd的比对分析，智能陪伴机器人能够实时判断陪伴对象的情感状态是否符合预期，这一机制能够确保机器人在面对情感矛盾或假装的情感时，调整其反馈策略，避免给陪伴对象带来不真实或不适宜的情感回应，提升人机交互的舒适度与自然性。

当前情感标签与面具式表情的关系被清晰识别后，反馈响应强度将根据实际情感矛盾度和反馈调节系数进行灵活调节，这种动态反馈调整不仅使机器人能够更好地理解和响应陪伴对象的情感需求，还能够在不同的情感场景中提供更加自然、符合情感需求的反馈。

附图说明

图1为本发明基于智能陪伴机器人的人脸表情识别方法流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：请参阅图1，本发明提供基于智能陪伴机器人的人脸表情识别方法，包括以下步骤：

S1：利用智能陪伴机器人的图像采集仪和语音采集设备，实时监测陪伴对象的面部图像、肢体行为图像及语音数据，经特征提取后，分别生成面部特征向量、肢体特征向量及语音特征向量，构建向量集合；

S2：基于FER-2013数据集，并结合S1中获取的面部特征向量，构建表情识别模型，以识别并分类出陪伴对象的面部表情及对应的情感标签，通过将向量集合内的相关向量均进行向量对齐，并将经向量对齐后的向量集合进行情感空间映射，以获取处理后的向量集合；

S3：根据处理后的向量集合，分析陪伴对象的面部表情与所对应的情感标签之间的矛盾程度，以计算获取情感矛盾度Qmd，基于情感矛盾度Qmd数值，识别当前陪伴对象的面部表情是否属于面具式表情；

S4：若属于面具式表情，则结合初始设置及历史数据，分析智能陪伴机器人当前面对陪伴对象的面具式表情所需的反馈强度，以构建反馈响应强度值Fqdz，基于反馈响应强度值Fqdz，动态调整智能陪伴机器人的反馈程度。

本实施例中，提高面部表情识别的准确性：通过结合FER-2013数据集和实时采集的面部特征向量，本发明在面部表情识别模型中引入了情感空间映射和向量对齐的步骤，该步骤通过对面部、肢体和语音特征向量的综合分析，有效减少了传统面部表情识别模型的局限性，提升了机器人对复杂情感表达的识别能力。精准识别面具式表情：本发明通过计算面部表情与情感标签之间的矛盾度Qmd，能够准确识别出陪伴对象是否呈现面具式表情（即情感与表情不符的情况），这一特性使得机器人能够在面对用户的情感伪装时，避免误判并提供更加精准的反馈，进而提升用户的情感体验。动态调整反馈强度：根据面具式表情的识别结果和情感矛盾度的数值，智能陪伴机器人能够根据历史数据和当前情感状态，动态调整其反馈响应强度Fqdz，这一自适应调整机制能够保证机器人在与陪伴对象互动时，反馈程度始终符合用户的真实情感需求，避免情感反馈过度或不足，从而有效提升用户的情感共鸣感和互动质量。增强机器人情感支持的有效性：通过将面部表情、肢体语言和语音数据相结合，智能陪伴机器人能够全面了解陪伴对象的情感状态，从而提供更加个性化和精确的情感支持。这种多模态的情感识别方法不仅提升了机器人的情感理解能力，也改善了陪伴机器人在人机互动中的应变能力，尤其是针对用户情感波动和情感伪装的复杂情境。综上所述，该方法能够有效提升智能陪伴机器人的情感识别和反馈能力，增强人机互动的自然性与灵活性，进而提高陪伴机器人在实际应用中的服务质量和用户体验。

实施例2：请参照图1，具体的：S1具体步骤包括有：

S11：通过智能陪伴机器人内预设的图像采集仪实时收集陪伴对象的面部和肢体的视频数据，并从视频数据中提取连续的面部图像和肢体行为图像，并语音采集设备实时监测陪伴对象的语音数据，面部图像用于捕捉陪伴对象的面部表情，肢体图像用于捕捉姿态、动作等身体语言，语音数据用于分析语调、语速、语气等信息，从而提取情感特征；其中，图像采集仪包括摄像头，语音采集设备包括麦克风；

S12：利用Haar级联分类器，识别出面部图像内的面部区域，通过OpenPose工具，提取肢体行为图像内关节点的3D坐标，并将语音数据通过卡尔曼滤波去除背景噪音；

S13：在S12的基础上，利用面部标志点检测技术，对面部图像内面部区域中的关键点坐标（如眼睛、鼻子、嘴巴的位置）及关键坐标变化进行提取，以获取面部特征向量，所述面部特征向量的表达形式为：；并基于提取的肢体行为图像内关节点的3D坐标，结合关节点位置的相对关系，生成肢体特征向量，所述肢体特征向量的表达形式为：；并将经背景噪音去除后的语音数据进行特征提取，以获取语音特征向量，所述语音特征向量的表达形式为：；

所述向量集合包括面部特征向量、肢体特征向量及语音特征向量；

对于上述的关节点位置的相对关系：在生成肢体特征向量时，相对关系指的是人体各个关节之间的空间位置和运动状态，这些相对关系可以用于描述和理解肢体动作，相对关系具体可以从以下几个角度进行分析：

1、关节之间的空间距离：例如，肩膀和肘部之间的距离，膝盖和脚踝之间的距离等。这些相对距离可以用于反映肢体的运动幅度或姿势的变化，可以通过欧几里得距离进行计算；

2、关节角度：关节之间的角度也是肢体动作的重要特征，例如膝盖、肘部、肩膀等关节的角度，例如，计算肘部和肩膀的夹角，可以通过向量的点积公式来实现；

3、关节之间的运动轨迹：关节之间的相对位置变化也反映了人体的运动，例如，手臂或腿部的运动轨迹可以反映出更复杂的动作。计算方法：通过计算一段时间内关键点的连续位置，可以绘制关节的运动轨迹；

4、相对速度与加速度：在时间维度上，可以分析关节之间相对运动的速度和加速度。例如，手部的运动速度或膝盖的加速度；

通过从输入图像中提取出人体的关键点坐标，然后，根据这些坐标可以计算出关节之间的相对关系，例如空间距离、角度、速度以及加速度等，这些相对关系构成了肢体特征向量，可以进一步用于分析和识别肢体动作、行为模式等。

S2具体步骤包括有：

S21：利用深度学习技术，并基于FER-2013数据集中存储的表情样本及情感标签，构建并训练表情识别模型，通过训练后的表情识别模型，对S1中获取的面部特征向量进行面部表情分类，以识别出当前陪伴对象的面部表情，并通过FER-2013数据集中存储的表情样本及情感标签，将当前陪伴对象的面部表情映射到相应的情感类别（如快乐、愤怒、惊讶等），以确定当前陪伴对象的面部表情所对应的情感标签。

S2具体步骤还包括有：

S22：通过归一化技术，将向量集合内的相关向量均进行向量对齐，向量集合内的相关向量具有相同的尺度和方向；

S23：使用情感空间映射算法（例如，基于自监督学习的情感表示方法，或者使用情感空间的标定）将向量对齐后的面部特征向量、肢体特征向量及语音特征向量均映射到同一情感空间坐标系中，形成处理后的向量集合，其中，处理后的向量集合包括处理后的面部特征向量、处理后的肢体特征向量及处理后的语音特征向量，处理后的面部特征向量的表达形式为：；处理后的肢体特征向量的表达形式为：；处理后的语音特征向量的表达形式为：。

本实施例中，多模态数据的高效情感识别：通过智能陪伴机器人内的图像采集仪和语音采集设备，能够实时获取陪伴对象的面部、肢体及语音数据，分别提取面部特征向量、肢体特征向量和语音特征向量，这种多模态数据的结合可以全面地分析陪伴对象的情感状态，避免单一数据源可能带来的情感理解偏差。面部图像用于捕捉表情，肢体图像用于识别身体语言，语音数据则帮助分析语气、语调等情感特征，从而更准确地识别陪伴对象的情感。精确的面部表情识别与情感分类：通过深度学习技术，基于FER-2013数据集中的表情样本和情感标签训练表情识别模型，能够高效识别陪伴对象的面部表情，并根据FER-2013数据集中的情感标签准确地将面部表情映射到相应的情感类别（如快乐、愤怒、惊讶等），这一过程的自动化和精确化为智能陪伴机器人提供了更好的情感理解能力，从而使机器人能够根据面部表情及时调整互动策略。向量对齐提升识别一致性：通过归一化技术对向量集合内的面部、肢体和语音特征向量进行向量对齐，将这些特征向量转化为相同尺度和方向的统一标准，这一过程确保了多模态特征之间的一致性，使得机器人在处理复杂情感数据时能够更高效、准确地进行综合分析，通过这种对齐方式，不同特征之间的权重差异被消除，提升了情感分类的准确性。情感空间映射提升综合情感识别能力：通过情感空间映射算法（如基于自监督学习的情感表示方法或情感空间标定），将面部、肢体及语音特征向量映射到同一情感空间坐标系中，这一操作使得各类特征能够在同一个情感维度下得到统一处理，从而提高了情感理解的深度和维度，通过这种映射，智能陪伴机器人能够结合多种情感线索，实现更为精准的情感识别，并基于此作出更为恰当的反馈和应对。个性化和精准的情感反馈：经过处理后的面部特征向量、肢体特征向量和语音特征向量能够共同作用于情感空间的识别与反馈机制，确保机器人能够精准地识别和理解陪伴对象的情感状态，进一步实现个性化、智能化的情感回应。例如，在识别到悲伤或愤怒等负面情绪时，机器人能够根据历史数据和反馈强度进行相应调整，保证互动过程的和谐与舒适。综上所述，本发明通过结合图像、语音和肢体特征的多模态数据分析，采用深度学习和情感空间映射算法，不仅提高了智能陪伴机器人在人脸表情识别和情感分类方面的准确性和一致性，还优化了情感反馈机制，使得机器人能够基于陪伴对象的情感状态进行更为精准、自然的互动，从而极大提升了陪伴体验的质量和用户的情感满足感。

实施例3：请参照图1，具体的：S3具体步骤包括有：

S31：根据处理后的面部特征向量及处理后的语音特征向量，分析当前陪伴对象的面部表情和语音状态之间的差异程度，获取面部表情和语音特征之间的差异度Myc，具体按照以下公式获取面部表情和语音情感信息之间的差异度Myc：

；

式中，为处理后的面部特征向量的模长，为处理后的语音特征向量的模长，为处理后的面部特征向量及处理后的语音特征向量的点积，表示两个向量的内积；本公式用于衡量两个向量的角度，即两个向量是否指向相似的情感方向；

S32：根据处理后的面部特征向量及处理后的肢体特征向量，分析当前陪伴对象的面部表情和体态状态之间的差异程度，获取面部表情和体态特征之间的差异度Mtc，具体按照以下公式获取面部表情和体态特征之间的差异度Mtc：

；

式中，表示为处理后的肢体特征向量的模长，本公式用于衡量两个向量的角度，即两个向量是否指向相似的情感方向。

本实施例中，精确的情感差异度分析：通过对面部特征向量与语音特征向量的差异度分析，智能陪伴机器人能够精准评估陪伴对象面部表情和语音状态之间的情感一致性。差异度Myc的计算能够揭示面部表情与语音信息之间的潜在冲突或不一致，进一步优化机器人在情感表达上的反应。例如，当面部表情和语音表达的情感存在差异时，机器人能够识别出这一矛盾，避免因情感误判而做出不合适的反馈。多模态情感同步识别：面部表情和语音信息属于两种不同的情感表达方式，面部表情和语音信息可能存在一定的差异。通过计算差异度Myc，机器人能够有效分析面部表情与语音信息之间的关系，进而判断陪伴对象是否处于矛盾的情感状态，这一技术可以帮助机器人更好地理解陪伴对象的真实情感，提供更加自然、精准的情感反应。例如，如果面部表情和语音表露出的情感方向一致，机器人可以给予更加积极的反馈；若存在不一致，机器人能够识别到这种情感差异，从而调整反应策略。体态与面部表情的情感一致性检测：通过对面部特征向量与肢体特征向量的差异度分析，智能陪伴机器人不仅能够评估面部表情的情感状态，还能够通过肢体行为（如姿势和动作）对情感状态进行进一步验证。差异度Mtc的计算可以衡量面部表情和体态之间的情感一致性，这种分析帮助机器人判断陪伴对象是否在表现面具式表情，或是否存在因情感矛盾引起的非真实表情，这种情感一致性检测能够有效避免机器人误解陪伴对象的真实情感，提升其情感识别的准确度。

实施例4：请参照图1，具体的：S3具体步骤还包括有：

S33：根据处理后的向量集合，并结合S31及S32内容，分析陪伴对象的面部表情与所对应的情感标签之间的矛盾程度，以计算获取情感矛盾度Qmd，所述情感矛盾度Qmd具体按照以下公式获取：

；

式中，及分别表示为面部表情和语音情感信息之间的差异度Myc及面部表情和体态特征之间的差异度Mtc的权重值，其中，0＜＜1，0＜＜1，及具体数值由用户根据情况进行设定。

S3具体步骤还包括有：

S34：预先设定差异阈值K，通过将所述差异阈值K与所述情感矛盾度Qmd进行比对分析，以识别当前陪伴对象的面部表情是否属于面具式表情，具体识别内容如下：

若所述情感矛盾度Qmd≤所述异阈值K时，此时将识别当前陪伴对象的面部表情属于面具式表情，并向外触发反馈调整指令；

若所述情感矛盾度Qmd＞所述异阈值K时，此时将识别当前陪伴对象的面部表情暂不属于面具式表情，并暂不向外触发反馈调整指令。

本实施例中，精确的情感矛盾度计算：通过S33步骤，结合面部表情与语音情感信息Myc和面部表情与肢体特征Mtc之间的差异度，本发明能够量化情感矛盾度Qmd。此情感矛盾度的计算，能够深入分析陪伴对象的情感表现是否一致，从而有效识别出潜在的情感不协调或矛盾，这种多维度的情感分析，使得智能陪伴机器人能够准确捕捉到情感冲突，从而为后续的反馈调整提供了更加可靠的数据依据。动态反馈调整的灵活性与精准度：情感矛盾度Qmd的引入，使得机器人能够在面对复杂的情感状态时，更加灵活和精准地进行反馈调节。S34步骤通过设定情感矛盾度的阈值K来判定当前是否存在面具式表情（即表面情感与真实情感不一致）；这种机制使得机器人在交互中能够精确区分不同情感状态的表达，避免过度或不足的情感回应。减少情感误判和提升人机交互体验：通过情感矛盾度Qmd的分析，机器人能够判断是否存在情感伪装或面具式表情，避免因情感误判而做出不合适的回应。比如，当陪伴对象因外部原因展现出与内心情感不符的表情时（如装作高兴、掩饰愤怒），机器人能够识别并做出适当的反应调整，从而避免给陪伴对象带来不必要的困扰或不适感。

实施例5：请参照图1，具体的：S4具体步骤包括有：

S41：当接收到反馈调整指令之后，则结合初始设置及历史数据，分析智能陪伴机器人当前面对陪伴对象的面具式表情所需的反馈强度，以构建反馈响应强度值Fqdz，其中，初始设置包括初始设定的反馈响应强度值，历史数据包括历史时段内各个监测时间点处的情感矛盾度，经统计学求均值算法，以获取历史时段内的平均情感矛盾度；所述反馈响应强度值Fqdz具体通过以下公式获取：

；

式中，表示为初始设定的反馈响应强度值，表示为反馈调节系数，表示为情感矛盾度。

S4具体步骤还包括有：

S42：所述反馈调节系数反映调节系统对情感误判的响应敏感度，具体按照以下公式获取：

；

式中，表示指示函数，若时，则条件为真，输出1，若时，则条件为假，输出0；表示历史时段内的平均情感矛盾度。

S4具体步骤还包括有：

S43：基于S42中的反馈调节系数，以获取的反馈响应强度值Fqdz，并结合当前陪伴对象的面部表情所对应的情感标签，动态调整智能陪伴机器人的反馈程度。

本实施例中，精确的反馈响应强度调整：通过S41步骤中基于初始设定和历史数据的分析，智能陪伴机器人能够计算出合适的反馈响应强度值Fqdz，这一强度值不仅结合了初始设定的反馈响应水平，还引入了历史时段的情感矛盾度平均值，使得机器人能够基于历史情感表现做出更为精确的调整，确保反馈与当前情感矛盾度的高度匹配，这种动态调整机制避免了固定反馈强度可能导致的情感失衡问题，从而提高了交互的灵活性和适应性。优化情感误判响应的敏感度：通过S42步骤中的反馈调节系数计算，智能陪伴机器人能够根据情感误判的响应敏感度进行细粒度调整。反馈调节系数通过历史情感矛盾度的分析，能够自动调整对情感矛盾的响应强度，使机器人在处理面具式表情时，能够更灵敏地识别并做出相应调整。这样，机器人能够根据具体情感状态做出更加个性化的反馈，避免了由于过度或不足的反馈引起的情感失衡。提升情感反馈的自然性和舒适度：结合S43步骤中基于反馈调节系数的动态反馈调整，机器人能够根据陪伴对象当前的面部表情和所对应的情感标签，实时调整其反馈力度，这一动态调整机制确保了机器人在面对不同情感状态时，能够提供更为合适、自然的情感回应，从而提升人机互动的舒适度与亲和力。减少面具式表情引发的不自然回应：通过反馈响应强度值Fqdz的动态调整，机器人能够精准控制其回应强度，避免由于不合适的反馈强度引起情感误判或不自然的反应。例如，面对面具式表情时，机器人可以通过调整回应的强度，确保交互更加真实、自然，有效避免表情与情感之间的失真。综上所述，本发明通过动态反馈调整机制，结合历史数据和当前情感状态，能够有效解决面具式表情和情感误判的问题，提升了智能陪伴机器人的情感理解能力，优化了人机交互的情感反馈精度与自然性，确保机器人能够提供更为合适和舒适的互动体验，推动智能陪伴机器人在人类情感交流中的应用。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.基于智能陪伴机器人的人脸表情识别方法，其特征在于：包括以下步骤：

S1：利用智能陪伴机器人的图像采集仪和语音采集设备，实时监测陪伴对象的面部图像、肢体行为图像及语音数据，经特征提取后，分别生成面部特征向量、肢体特征向量及语音特征向量，构建向量集合；

S2：基于FER-2013数据集，并结合S1中获取的面部特征向量，构建表情识别模型，以识别并分类出陪伴对象的面部表情及对应的情感标签，通过将向量集合内的相关向量均进行向量对齐，并将经向量对齐后的向量集合进行情感空间映射，以获取处理后的向量集合；

S3：根据处理后的向量集合，分析陪伴对象的面部表情与所对应的情感标签之间的矛盾程度，以计算获取情感矛盾度Qmd，基于情感矛盾度Qmd数值，识别当前陪伴对象的面部表情是否属于面具式表情；

S4：若属于面具式表情，则结合初始设置及历史数据，分析智能陪伴机器人当前面对陪伴对象的面具式表情所需的反馈强度，以构建反馈响应强度值Fqdz，基于反馈响应强度值Fqdz，动态调整智能陪伴机器人的反馈程度。

2.根据权利要求1所述的基于智能陪伴机器人的人脸表情识别方法，其特征在于：S1具体步骤包括有：

S11：通过智能陪伴机器人内预设的图像采集仪实时收集陪伴对象的面部和肢体的视频数据，并从视频数据中提取连续的面部图像和肢体行为图像，并通过语音采集设备实时监测陪伴对象的语音数据，其中，图像采集仪包括摄像头，语音采集设备包括麦克风；

S12：利用Haar级联分类器，识别出面部图像内的面部区域，通过OpenPose工具，提取肢体行为图像内关节点的3D坐标，并将语音数据通过卡尔曼滤波去除背景噪音；

S13：在S12的基础上，利用面部标志点检测技术，对面部图像内面部区域中的关键点坐标及关键坐标变化进行提取，以获取面部特征向量，所述面部特征向量的表达形式为：；并基于提取的肢体行为图像内关节点的3D坐标，结合关节点位置的相对关系，生成肢体特征向量，所述肢体特征向量的表达形式为：；并将经背景噪音去除后的语音数据进行特征提取，以获取语音特征向量，所述语音特征向量的表达形式为：；

所述向量集合包括面部特征向量、肢体特征向量及语音特征向量。

3.根据权利要求2所述的基于智能陪伴机器人的人脸表情识别方法，其特征在于：S2具体步骤包括有：

S21：利用深度学习技术，并基于FER-2013数据集中存储的表情样本及情感标签，构建并训练表情识别模型，通过训练后的表情识别模型，对S1中获取的面部特征向量进行面部表情分类，以识别出当前陪伴对象的面部表情，并通过FER-2013数据集中存储的表情样本及情感标签，将当前陪伴对象的面部表情映射到相应的情感类别，以确定当前陪伴对象的面部表情所对应的情感标签。

4.根据权利要求3所述的基于智能陪伴机器人的人脸表情识别方法，其特征在于：S2具体步骤还包括有：

S22：通过归一化技术，将向量集合内的相关向量均进行向量对齐，向量集合内的相关向量具有相同的尺度和方向；

S23：使用情感空间映射算法将向量对齐后的面部特征向量、肢体特征向量及语音特征向量均映射到同一情感空间坐标系中，形成处理后的向量集合，其中，处理后的向量集合包括处理后的面部特征向量、处理后的肢体特征向量及处理后的语音特征向量，处理后的面部特征向量的表达形式为：；处理后的肢体特征向量的表达形式为：；处理后的语音特征向量的表达形式为：。

5.根据权利要求4所述的基于智能陪伴机器人的人脸表情识别方法，其特征在于：S3具体步骤包括有：

S31：根据处理后的面部特征向量及处理后的语音特征向量，分析当前陪伴对象的面部表情和语音状态之间的差异程度，获取面部表情和语音特征之间的差异度Myc，具体按照以下公式获取面部表情和语音情感信息之间的差异度Myc：

；

式中，为处理后的面部特征向量的模长，为处理后的语音特征向量的模长，为处理后的面部特征向量及处理后的语音特征向量的点积；

S32：根据处理后的面部特征向量及处理后的肢体特征向量，分析当前陪伴对象的面部表情和体态状态之间的差异程度，获取面部表情和体态特征之间的差异度Mtc，具体按照以下公式获取面部表情和体态特征之间的差异度Mtc：

；

式中，表示为处理后的肢体特征向量的模长。

6.根据权利要求5所述的基于智能陪伴机器人的人脸表情识别方法，其特征在于：S3具体步骤还包括有：

S33：根据处理后的向量集合，并结合S31及S32内容，分析陪伴对象的面部表情与所对应的情感标签之间的矛盾程度，以计算获取情感矛盾度Qmd，所述情感矛盾度Qmd具体按照以下公式获取：

；

式中，及分别表示为面部表情和语音情感信息之间的差异度Myc及面部表情和体态特征之间的差异度Mtc的权重值，其中，0＜＜1，0＜＜1，及具体数值由用户根据情况进行设定。

7.根据权利要求1所述的基于智能陪伴机器人的人脸表情识别方法，其特征在于：S3具体步骤还包括有：

S34：预先设定差异阈值K，通过将所述差异阈值K与所述情感矛盾度Qmd进行比对分析，以识别当前陪伴对象的面部表情是否属于面具式表情，具体识别内容如下：

若所述情感矛盾度Qmd≤所述异阈值K时，此时将识别当前陪伴对象的面部表情属于面具式表情，并向外触发反馈调整指令；

若所述情感矛盾度Qmd＞所述异阈值K时，此时将识别当前陪伴对象的面部表情暂不属于面具式表情，并暂不向外触发反馈调整指令。

8.根据权利要求7所述的基于智能陪伴机器人的人脸表情识别方法，其特征在于：S4具体步骤包括有：

S41：当接收到反馈调整指令之后，则结合初始设置及历史数据，分析智能陪伴机器人当前面对陪伴对象的面具式表情所需的反馈强度，以构建反馈响应强度值Fqdz，其中，初始设置包括初始设定的反馈响应强度值，历史数据包括历史时段内各个监测时间点处的情感矛盾度，经统计学求均值算法，以获取历史时段内的平均情感矛盾度；所述反馈响应强度值Fqdz具体通过以下公式获取：

；

式中，表示为初始设定的反馈响应强度值，表示为反馈调节系数，表示为情感矛盾度。

9.根据权利要求8所述的基于智能陪伴机器人的人脸表情识别方法，其特征在于：S4具体步骤还包括有：

S42：反馈调节系数反映调节系统对情感误判的响应敏感度，具体按照以下公式获取：

；

式中，表示指示函数，表示历史时段内的平均情感矛盾度。

10.根据权利要求1所述的基于智能陪伴机器人的人脸表情识别方法，其特征在于：S4具体步骤还包括有：

S43：基于S42中的反馈调节系数，以获取的反馈响应强度值Fqdz，并结合当前陪伴对象的面部表情所对应的情感标签，动态调整智能陪伴机器人的反馈程度。