CN110414404A - 基于即时通讯的图像数据处理方法、装置以及存储介质 - Google Patents

Abstract

本申请实施例提供了一种基于即时通讯的图像数据处理方法、装置以及计算机可读存储介质，该方法包括：响应在即时通讯应用的会话页面中的表情图像触发操作，获取与表情图像触发操作相关联的操作对象；若操作对象为图像数据，则提取图像数据中的目标对象特征，从对象特征库中获取与目标对象特征相关联的图像集合；响应针对图像集合的第一选择触发操作，从图像集合中选择用于在会话页面进行展示的目标表情图像。采用本申请实施例，可以提高图像数据处理效率。

Description

基于即时通讯的图像数据处理方法、装置以及存储介质

技术领域

本申请涉及互联网技术领域，尤其涉及一种基于即时通讯的图像数据处理方法、装置以及存储介质。

背景技术

随着图像技术的不断发展和各种社交娱乐软件的涌现，越来越多的用户使用即时通讯应用进行聊天，表情图片作为一种表达用户情绪的方式，在即时通讯应用聊天场景中已经成为用户的一项日常需求。

目前的即时通讯应用聊天场景中，用户可以从收藏的所有表情图片中查找能够表达自身情绪的表情图片，并将选择的表情图片发送给关联用户，以实现与关联用户之间的互动。然而，当用户收藏的表情图片数量较多时，用户需要花费大量的时间来查找符合当前聊天情境的表情图片，进而导致表情图片分享效率低下。

发明内容

本申请实施例提供一种基于即时通讯的图像数据处理方法、装置以及存储介质，可以提高图像数据处理效率。

本申请实施例一方面提供了一种基于即时通讯的图像数据处理方法，包括：

响应在即时通讯应用的会话页面中的表情图像触发操作，获取与所述表情图像触发操作相关联的操作对象；

若所述操作对象为图像数据，则提取所述图像数据中的目标对象特征，从对象特征库中获取与所述目标对象特征相关联的图像集合；

响应针对所述图像集合的第一选择触发操作，从所述图像集合中选择用于在所述会话页面进行展示的目标表情图像。

其中，

所述若所述操作对象为图像数据，则提取所述图像数据中的目标对象特征，从对象特征库中获取与所述目标对象特征相关联的图像集合，包括：

若所述操作对象为图像数据，则对所述图像数据所包含的目标对象进行定位，提取所述目标对象的目标对象特征；

确定所述目标对象特征与对象特征库所包含的多个对象特征之间的相似度，将具有最大相似度的对象特征所属的关联用户簇确定为所述目标对象特征对应的目标用户簇；

将所述目标用户簇所包含的表情图像确定为与所述目标对象特征相关联的图像集合。

其中，所述方法还包括：

若所述操作对象为分类标签，则从所述会话页面跳转至表情分类页面，并在所述表情分类页面上展示所述对象特征库中的多个关联用户簇；

响应针对所述表情分类页面的簇触发操作，将所述对象特征库中所触发的关联用户簇所包含的表情图像确定为图像集合。

其中，所述方法还包括：

若所述操作对象为符号信息，则从所述对象特征库中查找与所述符号信息相关联的关联用户簇，在所述会话页面中显示与所述符号信息相关联的关联用户簇；

响应针对与所述符号信息相关联的关联用户簇的第二选择触发操作，将所选择的关联用户簇所包含的表情图像确定为图像集合。

其中，所述方法还包括：

若所述操作对象为关键词，则提取所述关键词的语义信息，从所述对象特征库中查找与所述语义信息相匹配的待选表情图像；

获取所述会话页面中群组中的用户信息，将属于所述用户信息对应的关联用户簇的待选表情图像确定为图像集合。

其中，所述响应针对所述图像集合的第一选择触发操作，从所述图像集合中选择用于在所述会话页面进行展示的目标表情图像，包括：

响应针对所述图像集合的第一选择触发操作，获取待转换表情图像，提取所述待转换表情图像对应的内容特征；

获取与目标变换文本相匹配的表情特征，基于所述内容特征与所述表情特征，生成用于在所述会话页面进行展示的目标表情图像。

其中，所述响应针对所述图像集合的第一选择触发操作，获取待转换表情图像，提取所述待转换表情图像对应的内容特征，包括：

响应针对所述图像集合的第一选择触发操作，获取待转换表情图像，将所述待转换表情图像输入至编码器；

基于所述编码器，对所述待转换表情图像进行编码，获取所述待转换表情图像对应的内容特征。

其中，所述获取与目标变换文本相匹配的表情特征，基于所述内容特征与所述表情特征，生成用于在所述会话页面进行展示的目标表情图像，包括：

响应针对所述待转换表情图像的文本选择操作，获取所述待转换表情图像对应的目标变换文本；

从表情特征库中获取与所述目标变换文本相匹配的表情特征；所述表情特征库用于记录变换文本与表情特征之间的对应关系；

将所述表情特征与所述内容特征输入至解码器，基于所述解码器，将所述表情特征与所述内容特征进行融合，生成用于在所述会话页面进行展示的目标表情图像。

其中，所述方法还包括：

获取视频数据，从所述视频数据中获取包含对象的图像数据集；所述图像数据集包括多个图像数据，每个图像数据均是指所述视频数据中包含所述对象的至少一帧图像；

从所述图像数据集中选择目标图像数据，为所述目标图像数据添加描述文本，将添加所述描述文本的目标图像数据确定为表情图像并存储至所述对象特征库。

其中，所述方法还包括：

获取目标用户的历史消息图像，对所述历史消息图像进行人脸检测；

将存在人脸的历史消息图像确定为表情图像，并将所述表情图像添加至表情图像库；

提取所述表情图像库中所包含的表情图像对应的人脸特征，对所述人脸特征进行聚类，得到所述对象特征库；所述对象特征库包括多个人脸特征所对应的表情图像。

其中，所述对所述人脸特征进行聚类，得到所述对象特征库，包括：

获取所述目标用户的关联用户的关联用户头像；

若所述关联用户头像中包含人脸，则从包含人脸的关联用户头像中提取头像特征；

根据所述头像特征与所述人脸特征之间的相似度，确定与所述头像特征相关联的表情图像，得到多个关联用户簇，将所述多个关联用户簇确定为对象特征库；每个关联用户簇包括一个关联用户头像对应的至少一个表情图像。

本申请实施例一方面提供了一种基于即时通讯的图像数据处理装置，包括：

获取模块，用于响应在即时通讯应用的会话页面中的表情图像触发操作，获取与所述表情图像触发操作相关联的操作对象；

提取模块，用于若所述操作对象为图像数据，则提取所述图像数据中的目标对象特征，从对象特征库中获取与所述目标对象特征相关联的图像集合；

选择模块，用于响应针对所述图像集合的第一选择触发操作，从所述图像集合中选择用于在所述会话页面进行展示的目标表情图像。

其中，所述提取模块包括：

定位单元，用于若所述操作对象为图像数据，则对所述图像数据所包含的目标对象进行定位，提取所述目标对象的目标对象特征；

相似度确定单元，用于确定所述目标对象特征与对象特征库所包含的多个对象特征之间的相似度，将具有最大相似度的对象特征所属的关联用户簇确定为所述目标对象特征对应的目标用户簇；

图像集合确定单元，用于将所述目标用户簇所包含的表情图像确定为与所述目标对象特征相关联的图像集合。

其中，所述装置还包括：

跳转模块，用于若所述操作对象为分类标签，则从所述会话页面跳转至表情分类页面，并在所述表情分类页面上展示所述对象特征库中的多个关联用户簇；

第一图像集合确定模块，用于响应针对所述表情分类页面的簇触发操作，将所述对象特征库中所触发的关联用户簇所包含的表情图像确定为图像集合。

其中，所述装置还包括：

第一查找模块，用于若所述操作对象为符号信息，则从所述对象特征库中查找与所述符号信息相关联的关联用户簇，在所述会话页面中显示与所述符号信息相关联的关联用户簇；

第二图像集合确定模块，用于响应针对与所述符号信息相关联的关联用户簇的第二选择触发操作，将所选择的关联用户簇所包含的表情图像确定为图像集合。

其中，所述装置还包括：

第二查找模块，用于若所述操作对象为关键词，则提取所述关键词的语义信息，从所述对象特征库中查找与所述语义信息相匹配的待选表情图像；

第三图像集合确定单元，用于获取所述会话页面中群组中的用户信息，将属于所述用户信息对应的关联用户簇的待选表情图像确定为图像集合。

其中，所述选择模块包括：

内容特征提取单元，用于响应针对所述图像集合的第一选择触发操作，获取待转换表情图像，提取所述待转换表情图像对应的内容特征；

特征融合单元，用于获取与目标变换文本相匹配的表情特征，基于所述内容特征与所述表情特征，生成用于在所述会话页面进行展示的目标表情图像。

其中，所述内容特征提取单元包括：

输入子单元，用于响应针对所述图像集合的第一选择触发操作，获取待转换表情图像，将所述待转换表情图像输入至编码器；

编码子单元，用于基于所述编码器，对所述待转换表情图像进行编码，获取所述待转换表情图像对应的内容特征。

其中，所述特征融合单元包括：

变换文本获取子单元，用于响应针对所述待转换表情图像的文本选择操作，获取所述待转换表情图像对应的目标变换文本；

表情特征获取子单元，用于从表情特征库中获取与所述目标变换文本相匹配的表情特征；所述表情特征库用于记录变换文本与表情特征之间的对应关系；

表情图像生成子单元，用于将所述表情特征与所述内容特征输入至解码器，基于所述解码器，将所述表情特征与所述内容特征进行融合，生成用于在所述会话页面进行展示的目标表情图像。

其中，所述装置还包括：

视频数据获取模块，用于获取视频数据，从所述视频数据中获取包含对象的图像数据集；所述图像数据集包括多个图像数据，每个图像数据均是指所述视频数据中包含所述对象的至少一帧图像；

描述文本添加模块，用于从所述图像数据集中选择目标图像数据，为所述目标图像数据添加描述文本，将添加所述描述文本的目标图像数据确定为表情图像并存储至所述对象特征库。

其中，所述装置还包括：

人脸检测模块，用于获取目标用户的历史消息图像，对所述历史消息图像进行人脸检测；

表情图像添加模块，用于将存在人脸的历史消息图像确定为表情图像，并将所述表情图像添加至表情图像库；

聚类模块，用于提取所述表情图像库中所包含的表情图像对应的人脸特征，对所述人脸特征进行聚类，得到所述对象特征库；所述对象特征库包括多个人脸特征所对应的表情图像。

其中，所述聚类模块包括：

用户头像获取单元，用于获取所述目标用户的关联用户的关联用户头像；

头像特征提取单元，用于若所述关联用户头像中包含人脸，则从包含人脸的关联用户头像中提取头像特征；

对象特征库确定单元，用于根据所述头像特征与所述人脸特征之间的相似度，确定与所述头像特征相关联的表情图像，得到多个关联用户簇，将所述多个关联用户簇确定为对象特征库；每个关联用户簇包括一个关联用户头像对应的至少一个表情图像。

本申请实施例一方面提供了一种基于即时通讯的图像数据处理装置，包括：处理器和存储器；

所述处理器和存储器相连，其中，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以执行如本申请实施例中一方面中的方法。

本申请实施例一方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如本申请实施例中一方面中的方法。

本申请实施例通过响应在即时通讯应用的会话页面中的表情图像触发操作，获取与表情图像触发操作相关联的操作对象，当操作对象为图像数据时，可以从图像数据中提取目标对象特征，从对象特征库中获取与目标对象特征相关联的所有表情图像，并将上述相关联的所有表情图像确定为图像集合，进而可以从图像集合中选择用于在会话页面进行展示的目标表情图像。可见，在即时通讯应用中，用户可以对会话页面显示的图像数据进行操作，通过提取该图像数据的目标对象特征，可以获取与该图像数据相关联的图像集合，进而可以从图像集合中快速选择用户想要进行展示的目标表情图像，从而可以提高图像数据处理效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种网络架构图；

图2a和图2b是本申请实施例提供的一种基于即时通讯的图像数据处理方法的场景示意图；

图3是本申请实施例提供的一种基于即时通讯的图像数据处理方法的流程示意图；

图4是本申请实施例提供的一种确定对象特征库的示意图；

图5a和图5b是本申请实施例提供的一种基于即时通讯的表情查找界面示意图；

图6是本申请实施例提供的另一种基于即时通讯的图像数据处理方法的流程示意图；

图7a-图7d是本申请实施例提供的一种基于即时通讯的图像数据处理方法的界面示意图；

图8是本申请实施例提供的一种目标表情图像生成方法的示意图；

图9是本申请实施例提供的一种获取表情特征库的示意图；

图10a和图10b是本申请实施例提供的另一种基于即时通讯的图像数据处理方法的界面示意图；

图11是本申请实施例提供的一种基于即时通讯的图像数据处理方法的时序图；

图12a和图12b是本申请实施例提供的另一种基于即时通讯的图像数据处理方法的界面示意图；

图13是本申请实施例提供的一种基于即时通讯的图像数据处理装置的结构示意图；

图14是本申请实施例提供的另一种基于即时通讯的图像数据处理装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参见图1，是本申请实施例提供的一种网络架构图。该网络架构可以包括服务器200以及多个终端设备(如图1所示，具体包括终端设备100a、终端设备100b以及终端设备100c)，服务器200可以通过网络与每个终端设备进行数据传输，每个终端设备均可以安装即时通讯应用(如QQ、微信等)，服务器200可以为该即时通讯应用对应的后台服务器，因此，每个终端设备均可以通过该即时通讯应用对应的客户端与服务器200进行数据传输，如每个终端设备均可以通过服务器200与其他终端进行即时聊天，或者每个终端设备均可以将数据传输给服务器200，以使服务器200对传输的数据进行处理后返回给该终端设备。

以终端设备100a为例，在即时通讯应用的会话页面中，终端设备100a可以响应用户的表情图像触发操作，获取与表情图像触发操作相关联的图像数据(若用户所操作的操作对象为图像数据)，并提取该图像数据中的目标对象特征，并从预先确定的对象特征库中获取与目标对象特征相关联的图像集合，进而可以基于用户针对会话页面中图像集合的选择操作，从该图像集合中选择用于在会话页面中进行展示的目标表情图像。其中，对象特征库可以是指终端设备100a采集该用户在历史聊天信息中发送或者接收的所有表情图像并发送至服务器200，服务器200对上述接收到的表情图像进行特征提取并分类得到的，服务器200在完成上述表情图像的分类过程后，可以将得到的针对该用户的对象特征库返回给终端设备100a，以便终端设备100a可以该对象特征库中获取与目标对象相关联的图像集合。

当然，若用户终端100a集成了图像特征提取及分类功能，也可以直接由终端设备100a得到用户对应的对象特征库，响应表情图像触发操作，从对象特征库中获取目标表情图像。下述均以终端设备100a如何确定目标表情图像为例进行具体说明。其中，终端设备100a、终端设备100b以及终端设备100c等可以包括手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(mobile internet device，MID)、可穿戴设备(例如智能手表、智能手环等)等。

请参见图2a-图2b，是本申请实施例提供的一种基于即时通讯的图像数据处理方法的场景示意图。如图2a所示，用户可以从终端设备100a中打开即时通讯应用(如QQ、微信等)，点击即时通讯应用中的任意联系人或者群组(可以理解为将有相同爱好或者特征的人群集合到一起可以聊天和交流的平台)对应的会话页面10a，用户可以在会话页面10a中点击好友或者群组中其余用户发送的图像数据10b，以快速获取满足需求的表情图像。在用户点击图像数据10b后，终端设备100a可以响应该用户在会话页面10a中的图像表情触发操作，获取操作对象(即图像数据10b)，并进入该图像数据10b的显示页面，在该显示页面中可以对该图像数据10b进行展示，且该显示页面中还可以为用户提供人脸查找入口10c，以便用户可以基于该人脸查找入口10c对该用户所保存的全部表情图像进行快速查找。

在用户点击该人脸查找入口10c后，终端设备100a可以对该图像数据10b进行人脸定位，以提取该图像数据10b中的人脸特征，如对该图像数据10b中的人脸图像进行眉毛、眼睛、嘴巴、鼻子等五官的定位，对该图像数据10b中所包含的人脸图像进行识别，在对象特征库中查找与上述人脸特征相匹配的表情图像，即从对象特征库中查找出与图像数据10b相似的表情图片，如图像10e、图像10f等，在终端设备100a的区域10d中可以显示从对象特征库中查找到的表情图像。

如图2b所示，在对象特征库中完成查找后，可以获取与图像数据10d相关联的图像集合，即在对象特征库中查找的与图像数据10d相关联的全部表情图像，如图像集合可以包括：图像10e、图像10f、图像10g以及图像10h。用户可以从图像集合中选择至少一个图像(如图像10f和图像10g)，终端设备100a在检测到用户的选择行为操作后，可以在区域10d中显示“编辑”按钮和“发送”按钮，并在“发送”按钮中显示该用户所选择的表情图像数量。用户可以选择“编辑”按钮，对所选择的表情图像进行编辑(如添加文字、制作动态表情等)；用户也可以选择“发送”按钮，将所选择的表情图像作为目标表情图像发送至会话页面10a中，以使联系人或者群组中的其余用户可以查看该用户发送的目标表情图像。

请参见图3，是本申请实施例提供的一种基于即时通讯的图像数据处理方法的流程示意图。如图3所示，该方法可以包括：

步骤S101，响应在即时通讯应用的会话页面中的表情图像触发操作，获取与所述表情图像触发操作相关联的操作对象；

具体的，终端设备(对应于上述图2a所对应实施例中的终端设备100a)响应在即时通讯应用的会话页面(对应于上述图2a所对应实施例中的会话页面10a)中的表情图像触发操作，获取与该表情图像触发操作相关联的操作对象。其中，操作对象可以为会话页面中群组中的用户发送的图像数据(对应于上述图2a所对应实施例中的图像数据10b)，或者为目标用户(即上述终端设备对应的用户)的关联联系人对应的分类标签，或者为关于表情的符号信息，或者为目标用户的关联联系人对应的关键字等。当然，若会话页面为该目标用户与某关联用户的会话页面，则图像数据可以为该关联用户或者目标用户已经发送的表情图像。

步骤S102，若所述操作对象为图像数据，则提取所述图像数据中的目标对象特征，从对象特征库中获取与所述目标对象特征相关联的图像集合；

具体的，若操作对象为图像数据，则终端设备可以对该图像数据中所包含的目标对象进行定位，提取该图像数据中目标对象所对应的目标对象特征，并确定目标对象特征与对象特征库中所包含的多个对象特征之间的相似度，将具有最大相似度的对象特征所属的关联用户簇确定为目标对象特征对应的目标用户簇，进而可以将目标用户簇中的所有表情图像确定为与目标对象特征相关联的图像集合，图像集合中包括至少一个表情图像。其中，若图像数据为人脸图像，则目标对象可以是指该图像数据中的人脸，例如，图像数据为小A的人脸图像，则目标对象为小A的人脸，目标对象特征是指小A的人脸特征(如小A的五官特征等)，对象特征库中可以包括多个人脸特征，以及多个人脸特征分别对应的人脸图像。当然，图像数据也可以为其余图像数据，如小狗脸部图像、小猫脸部图像等，当图像数据为小狗脸部图像时，对象特征库可以包括多种类型小狗所对应的脸部特征，以及多种类型小狗分别对应的脸部图像；当图像数据为小猫脸部图像时，对象特征库可以包括多种类型小猫所对应的脸部特征，以及多种类型小猫分别对应的脸部图像。

下面以人脸图像为例，对对象特征库的获取过程进行具体描述。

终端设备可以采集目标用户在即时通讯应用中的历史接收图像和历史发送图像(可以将历史接收图像和历史发送图像统称为历史消息图像)，并对历史消息图像进行人脸检测，从历史消息图像中筛选出存在人脸的图像，并将存在人脸的历史消息图像确定为表情图像，添加到目标用户对应的表情图像库中。提取表情图像库中所包含的表情图像对应的人脸特征，并对人脸特征进行聚类，将同一个人的表情图像聚类到同一类，得到该目标用户对应的对象特征库，也可以称为人脸特征库。请一并参见图4，是本申请实施例提供的一种确定对象特征库的示意图。如图4所示，在即时通讯应用中，终端设备可以获取目标用户的所有聊天记录，如聊天记录1，聊天记录2，...，聊天记录N，从所有聊天记录中过滤视频或者图片表情，即从所有聊天记录中筛选出存在人脸的视频或者图片表情，并将筛选出来的视频或图片构成目标用户对应的表情图像库20a，通过提取表情图像库20a中所有视频或图片表情中所包含的人脸特征，并对人脸特征进行聚类。换言之，采用聚类算法(如k-均值聚类算法等)对人脸特征进行聚类，将相似的人脸特征聚类到同一个簇，即相似的人脸特征对应的视频或表情图片聚类为同一个簇，也可以称为关联用户簇，最终可以将表情图像库20a中的所有视频或表情图片划分为多个关联用户簇，上述多个关联用户簇可以构成人脸特征库20b。其中，每个用户均对应一个人脸特征库，不同用户对应的人脸特征库可以有相同的关联用户簇，也可以有不相同的关联用户簇，如用户A和用户B具有共同的好友，则用户A对应的人脸特征库与用户B对应的人脸特征库中可以存在相同的关联用户簇。人脸特征库可以预先由终端设备进行聚类形成，在应用过程中，终端设备可以直接从人脸特征库20b中查找表情图像。当然通过终端设备采集的聊天记录可以对目标用户对应的人脸特征库进行实时更新。

在对人脸特征进行聚类的过程中，可以获取该目标用户的关联用户的关联用户头像，即该目标用户的好友头像，并将关联用户头像作为聚类的辅助信息，即检测关联用户头像中是否存在人脸，若存在人脸，则从关联用户头像中提取头像特征，计算上述人脸特征与头像特征之间的相似度，将相似度大于设定阈值的人脸特征对应的表情图像确定为与该关联用户头像相关联的表情图像，将其聚类为一个簇，并将该簇命名为该关联用户头像对应的用户昵称，也可以称为该簇对应的簇标签，因此可以得到多个与关联用户头像相匹配的关联用户簇；若检测到关联用户头像中不包含人脸(如头像为风景图片)，则直接计算表情图像对应的人脸特征之间的相似度，将相似度较大的表情图像聚类为同一个簇，由于终端设备无法将该簇与关联用户头像进行匹配，因此终端设备无法为该簇进行命名(即设置簇标签)，或者仅以默认排序的方式为该簇进行命名，此时目标用户可以通过查看簇中所包含的表情图像，输入与该簇中表情图像相匹配的用户昵称，为该簇设置簇标签。可见，对象特征库中可以包括终端设备进行聚类后的多个关联用户簇，每个关联用户簇包括一个关联用户头像对应的至少一个表情图像。

例如，在即时通讯应用中，目标用户共有3个好友(即3个关联用户)，分别为小A，小B，以及小C，终端设备在获取到目标用户对应的表情图像库后，可以提取出表情图像库中每一张表情图像对应的人脸特征；终端设备通过对上述3个好友的头像进行人脸检测，检测到小A和小B所对应的头像中包含人脸，小C所对应的头像中不包含人脸，则终端设备可以提取小A所对应头像中的头像特征1，并计算上述人脸特征与头像特征1之间的相似度，将相似度大于阈值(如0.6等)的人脸特征所属的表情图像确定为与小A相关联的关联用户簇1，并将“小A”设置为该关联用户簇1的簇标签；终端设备提取小B所对应头像中的头像特征2，并计算上述人脸特征与头像特征2之间的相似度，将相似度大于阈值的人脸特征所属的表情图像确定为与小B相关联的关联用户簇2，并将“小B”设置为该关联用户簇2的簇标签；终端设备通过计算人脸特征之间的相似度，得到了关联用户簇3，由于终端设备无法将关联用户簇3与目标用户的好友进行匹配，因此关联用户3对应的簇标签为空白或者默认为“1”，若目标用户在查看了关联用户簇3中所包含的表情图像后，发现关联用户簇3中的表情图像为小C对应的人脸图像，目标用户可以为关联用户簇3手动设置簇标签：“小C”。

操作对象为图像数据时，终端设备在即时通讯应用中确定图像集合的过程可以参见上述图2a所对应实施例，这里不再进行赘述。可选的，终端设备还可以为目标用户提供表情图像触发操作的快捷操作入口，请一并参见图5a-图5b，是本申请实施例提供的一种基于即时通讯的表情查找界面示意图。如图5a所示，在会话页面10a中，目标用户可以通过长按图像数据10b，从对象特征库中快速查找与图像数据10b相似的表情图像。当目标用户长按图像数据10b时，终端设备100a可以响应目标用户的长按操作，在会话页面10a中弹出针对图像数据10b的菜单栏20c，该菜单栏20c中可以包括存表情、找表情、转发、回复、删除等功能选项。当目标用户点击菜单栏20c中的找表情功能选项时，终端设备100a可以响应目标用户的表情图像触发快捷操作，直接从会话页面10a跳转至表情图像查找页面，以从对象特征库中查找与图像数据10b相关联的图像集合。其中，长按可以理解为目标用户在按压图像数据10b时，终端设备100a检测到按压时间超过设定的时间阈值。

可选的，如图5b所示，目标用户还可以通过重按会话页面10a中的图像数据10b，从对象特征库中快速查找与图像数据10b相似的表情图像。当目标用户重按图像数据10b时，终端设备可以响应目标用户的表情图像触发快捷操作，直接从会话页面10a跳转至表情图像查找页面，以从对象特征库中查找与图像数据10b相关联的图像集合。其中，重按可以理解为目标用户在会话页面10a中按压图像数据10b时，终端设备100a中的压力传感器检测到终端屏幕受到的压力值大于预定阈值。

步骤S103，响应针对所述图像集合的第一选择触发操作，从所述图像集合中选择用于在所述会话页面进行展示的目标表情图像。

具体的，从对象特征库中获取到与目标对象特征相匹配的图像集合后，可以在终端设备的终端界面中显示该图像集合中的所有表情图像，目标用户可以从图像集合中选择表情图像作为即将发送的表情图像。在目标用户从图像集合中选择了表情图像后，终端设备响应针对图像集合的第一选择触发操作，将目标用户所选择的表情图像确定为用于在会话页面进行展示的目标表情图像，目标用户从图像集合中选择的目标表情图像可以为一个，也可以为多个，当目标用户选择的目标表情图像为多个时，终端设备可以获取目标用户选择的多个目标表情图像，并将选择的每一个目标表情图像作为一条消息发送至会话页面。也可以对所选择的目标表情图像进行进一步地编辑，进而将编辑后的目标表情图像发送至会话页面。

本申请实施例通过响应在即时通讯应用的会话页面中的表情图像触发操作，获取与表情图像触发操作相关联的操作对象，当操作对象为图像数据时，可以从图像数据中提取目标对象特征，从对象特征库中获取与目标对象特征相关联的所有表情图像，并将上述相关联的所有表情图像确定为图像集合，进而可以从图像集合中选择用于在会话页面进行展示的目标表情图像。可见，在即时通讯应用中，用户可以对会话页面中显示的图像数据进行操作，通过提取该图像数据的目标对象特征，可以获取与该图像数据相关联的图像集合，进而可以从图像集合中快速选择用户想要进行展示的目标表情图像，从而可以提高图像数据处理效率。

请参见图6，是本申请实施例提供的另一种基于即时通讯的图像数据处理方法的流程示意图。如图6所示，该方法可以包括：

步骤S201，响应在即时通讯应用的会话页面中的表情图像触发操作，获取与所述表情图像触发操作相关联的操作对象；

其中，步骤S201的具体实现过程可以参见上述图3所对应实施例中的步骤S101，这里不再进行赘述。

步骤S202，若所述操作对象为分类标签，则从所述会话页面跳转至表情分类页面，并在所述表情分类页面上展示所述对象特征库中的多个关联用户簇；

步骤S203，响应针对所述表情分类页面的簇触发操作，将所述对象特征库中所触发的关联用户簇所包含的表情图像确定为图像集合；

具体的，若操作对象为分类标签，则终端设备可以获取与目标用户相关联的关联用户表情图像的分类标签，并从会话页面跳转至表情分类页面，在表情分类页面中展示对象特征库中的多个关联用户簇。用户可以从展示的多个关联用户簇中选择任意关联用户簇，以使终端设备响应目标用户针对表情分类页面的簇触发操作，将目标用户所选择的关联用户簇中所包含的表情图像确定为图像集合。请一并参见图7a，是本申请实施例提供的一种基于即时通讯的图像数据处理方法的界面示意图。如图7a所示，在即时通讯应用的会话页面30a中，目标用户可以点击表情图标30b，以触发终端设备100a在会话页面30a中显示表情面板30c，通过选择表情面板30c中表情图像收藏图标，可以在表情面板30c中显示人脸表情入口30d，当目标用户点击人脸表情入口30d后，终端设备100a可以响应目标用户的点击操作，从会话页面30a跳转至表情分类页面30e，并拉取该目标用户对应的对象特征库，在表情分类页面30e中可以显示目标用户所对应的对象特征库中的多个关联用户簇。其中，上述多个关联用户簇可以包括目标用户的好友中头像为人脸图像且具有表情图像的关联用户簇(如关联用户“小白”、关联用户“小A”、关联用户“小B”以及关联用户“小C”分别对应的关联用户簇)，以及具有表情图像但无法匹配到好友的关联用户簇(如数字“1”和数据“2”所对应的关联用户簇，数字“1”和数字“2”可以是终端设备100a在得到关联用户簇时默认的簇标签)，目标用户可以在区域30f中为数字“1”所对应的关联用户簇重新设置簇标签，使得簇标签与关联用户簇中的表情图像相匹配，如数字“1”所对应的关联用户簇为好友“小D”的表情图像，则可以将“小D”替换数字“1”，同样，目标用户可以对数字“2”所对应的关联用户簇重新设置簇标签。

针对表情分类页面30e中显示的多个关联用户簇，目标用户可以从多个关联用户簇中选择任一关联用户簇(如“小白”对应的关联用户簇)，进而终端设备100a可以响应目标用户针对表情分类页面30e的簇触发操作(即簇选择操作)，将目标用户所选择的关联用户簇所包含的表情图像确定为图像集合，并在表情分类页面30e中显示图像集合中的所有表情图像，如在目标用户选择“小白”对应的关联用户簇后，可以在表情分类页面30e中显示“小白”对应的关联用户簇中的所有表情图像，分别为图像30g、图像30h、图像30i以及图像30j。进而目标用户可以从图像集合中选择满足需求的表情图像(如图像30i)，通过“编辑”按钮触发终端设备100a对图像30i进行编辑，或者通过“发送”按钮触发终端设备100a将图像30i发送至会话页面30a。

可选的，在操作对象为图像数据的场景下，若目标用户对从对象特征库中识别的表情图像结果不满意，则目标用户可以点击表情图像结果展示页面上的人脸表情入口，触发终端设备从表情图像结果展示页面跳转至表情分类页面，并在表情分类页面中显示对象特征库中的多个关联用户簇。如上述图2a所对应的实施例中，当目标用户点击区域10d中的人脸表情入口10i时，终端设备100a可以响应目标用户针对人脸表情入口10i的点击操作，跳转至表情分类页面(如图7a所示的表情分类页面30e)，在表情分类页面中可以显示目标用户所对应的对象特征库中的多个关联用户簇，以便于目标用户从多个关联用户簇中选择图像集合。

若操作对象为符号信息，终端设备可以从对象特征库中查找与符号信息相关联的关联用户簇，并在会话页面中显示与符号信息相关联的关联用户簇，终端设备可以响应针对与符号信息相关联的关联用户簇的第二选择操作，将选择的关联用户簇所包含的表情图像确定为图像集合。请一并参见图7b，是本申请实施例提供的一种基于即时通讯的图像数据处理方法的界面示意图。如图7b所示，在即时通讯应用的会话页面40a中，目标用户可以通过点击输入框40b，在会话页面40a中弹出输入键盘40c；目标用户点击输入键盘40c中的符号功能按键，通过输入键盘40c中的符号信息在输入框40b中输入表情特定符号(如“笑脸”表情符号)，触发终端设备100a在对象特征库中查找与输入框40b中的符号信息相关联的关联用户簇，并在会话页面40a的区域40d中显示与符号信息相关联的关联用户簇。目标用户可以从与符号信息相关联的关联用户簇中选择一个关联用户簇所包含的表情图像作为图像集合，如目标用户可以选择“小白”对应的关联用户簇，并在目标用户选择了“小白”对应的关联用户簇后，终端设备100a可以将“小白”对应的关联用户簇所包含的表情图像确定为图像集合，并在展示页面40e中显示“小白”对应的关联用户簇所包含的所有表情图像，以便目标用户从图像集合中选择满足需求的表情图像。

其中，符号信息可以是指具有特定语义信息的表情符号(如“伤心”表情符号)，则与符号信息相关联的关联用户簇可以是指包含“伤心”表情图像的关联用户簇。可选的，符号信息也可以泛指所有表情符号，无论输入的符号信息为“伤心”表情符号，还是“笑脸”表情符号，只要在输入框中输入表情符号，就可以触发终端设备在会话页面中显示关联用户簇，此时与符号信息相关联的关联用户簇可以是指对象特征库中所包含的所有关联用户簇。

若操作信息为关键词，则终端设备可以提取该关键词的语义信息，并从对象特征库中查找与关键词语义信息相匹配的待选表情图像，获取会话页面中群组中的用户信息，将属于群组用户信息对应的关联用户簇中的待选表情图像确定为图像集合。请一并参见图7c和图7d，是本申请实施例提供的一种基于即时通讯的图像数据处理方法的界面示意图。如图7c所示，在即时通讯应用的会话页面50a中，目标用户可以通过点击输入框50b，在会话页面50a中弹出输入键盘50c；目标用户通过输入键盘50c在输入框50b中输入关键词(如“欢迎”)，则终端设备100a可以获取关键词“欢迎”的语义信息，并在对象特征库中查找与“欢迎”相匹配的待选表情图像。终端设备100a可以获取会话页面50a中群组的用户信息，判断待选表情图像是否属于群组中用户信息对应的关联用户簇，将属于群组中用户信息对应的关联用户簇的待选表情图像确定为图像集合，例如，会话页面50a中的群组中包括用户“小A”、用户“小B”以及用户“小C”，从对象特征库中查找到的待选表情图像中存在用户“小D”的表情图像，则将用户“小D”的表情图像从待选表情图像中删除，将用户“小A”、用户“小B”以及用户“小C”所对应的待选表情图像确定为图像集合。当然，图像集合中还可以包括网络中与关键词相匹配的热门表情图像，并在会话页面50a的区域50d中显示图像集合中的表情图像。

如图7d所示，关键词还可以为目标用户的关联用户名称(也可以称为好友昵称)，目标用户通过输入键盘60c在会话页面60a的输入框60b中输入该目标用户的关联用户名称，如“小白”，则终端设备100a可以从对象特征库中查找出关键词“小白”对应的关联用户簇，并将“小白”对应的关联用户簇所包含的表情图像确定为图像集合，可以在会话页面60a的区域60d中显示“小白”对应的关联用户簇所包含的表情图像。

步骤S204，响应针对所述图像集合的第一选择触发操作，获取待转换表情图像，提取所述待转换表情图像对应的内容特征；

具体的，若目标用户从图像集合中选择出表情图像后，还想要对选择出的表情图像进行编辑，得到新的表情图像，则终端设备可以响应目标用户针对图像集合的第一选择触发操作，将目标用户选择的表情图像确定为待转换表情图像。终端设备将待转换表情图像输入编码器中，基于该编码器可以获取待转换表情图像对应的内容特征。该编码器可以由多个卷积层构成，多个卷积层可以用于对待转换表情图像进行下采样，提取待转换表情图像中的对象细节以及纹理相关的特征信息征，即提取待转换表情图像中的内容特征。

步骤S205，获取与目标变换文本相匹配的表情特征，基于所述内容特征与所述表情特征，生成用于在所述会话页面进行展示的目标表情图像。

具体的，终端设备获取目标用户为待转换表情图像选择的目标变换文本，并从表情特征库中获取与目标变换文本相匹配的表情特征，将表情特征和待转换表情图像的内容特征输入解码器中，基于该解码器，将表情特征和内容特征进行融合，生成用于在会话页面进行展示的目标表情图像。请一并参见图8，是本申请实施例提供的一种目标表情图像生成方法的示意图。如图8所示，表情输入70a可以表示为从图像集合中选择的待选表情图像，将待选表情图像输入至编码器70b中，可以通过编码器70b提取待选表情图像中的内容特征70c，并从表情特征库中获取目标用户所选择的目标变换文本对应的表情特征70d(可以理解为含有表情相关的五官特征信息)。终端设备将内容特征70c与表情特征70d作为解码器70e的输入，对内容特征70c与表情特征70d进行融合，得到表情输出70f，也可以称为目标表情图像，进而可以将该目标表情图像发送至会话页面中进行展示。因此通过编码解码技术，可以将待选表情图像转换为满足目标用户需求的目标表情图像。

其中，表情特征库可以记录变换文本与表情特征之间的对应关系，并保存有多个变换文本所对应的表情特征。请一并参见图9，是本申请实施例提供的一种获取表情图像库的示意图。如图9所示，终端设备可以采集现有的热门词句(也可以称为变换文本)以及热门词句所对应的表情图像或视频，即每个热门词句均有对应的表情，每个表情通过图像或视频来体现，如热门词句1对应表情1，热门词句2对应表情2，…，热门词句N对应表情N等。终端设备可以将热门词句对应的表情图像或视频输入到编码器80a中，基于编码器80a，可以提取出热门词句对应的表情图像或视频中的人脸特征80b和表情特征80c，终端设备将表情特征80c与对应的热门词句进行保存，可以得到热门词句对应的表情特征库80d。例如，通过编码器80a可以从热门词句1对应的表情图像或视频中，提取出表情1的特征信息，表情特征库80d中可以存储热门词句1、表情1的特征信息以及热门词句1与表情1的特征信息之间的对应关系。换言之，通过编码器80a可以将热门词句与表情图像或视频之间的对应关系转换成热门词句与表情特征之间的对应关系。其中，编码器80a与上述图8所对应实施例中的编码器70e为同样的编码器，也可以为不同的编码器，这里不做限定。

可以理解的是，在表情特征库中，可以是一个热门词句对应一种表情特征，也可以是多个热门词句对应同一种表情特征，如多个热门词句之间的语义信息相似时，该多个热门词句可以对应同一种表情特征。

请一并参见图10a和图10b，是本申请实施例提供的另一种基于即时通讯的图像数据处理方法的界面示意图。目标用户可以对图像集合中选择的表情图像进行编辑，以生成新的表情图片，新的表情图片的生成过程的界面示意图如图10a所示，以操作对象为图像数据为例，在对象特征库中完成表情图像的查找后，可以在终端设备100a中的区域90a中显示图像集合，即显示在对象特征库中查找到的表情图像结果，分别为图像90b、图像90c、图像90c以及图像90e。目标用户可以从图像集合中选择图像90b作为待选表情图像，在目标用户选择了图像90b后，可以通过选择区域90a中的“编辑”按钮，以触发终端设备100a进入表情图像编辑页面。在表情图像编辑页面中，可以显示该图像90b以及多个变换文本(如“我是元气少女”、“吓死我了鸭”、“元气满满的一天”、“搞事情哦”、“来尬舞啊～”、“我是小骄傲”等，在表情图像编辑页面中显示的多个变换文本可以为网络上的热门词句)。在表情图像编辑页面中，可以为目标用户提供表情类型功能选项，通过选择不同的表情类型功能选项，可以实现不同的表情图像展示效果，其中，表情类型功能选项可以包括动态表情90f和静态表情90g。

若目标用户选择动态表情90f，则终端设备100a可以响应该目标用户的表情类型选择操作，在表情图像编辑页面中显示动态表情90f所对应的变换文本，每个变换文本均有对应的表情特征和动画效果。当目标用户选择“我是元气少女”作为图像90b的目标变换文本时，终端设备100a可以从表情特征库中获取目标变换文本“我是元气少女”所对应的表情特征和动画效果，并提取图像90b的人脸内容特征，将“我是元气少女”所对应的表情特征与图像90b的人脸内容特征进行融合，并将目标变换文本“我是元气少女”添加到图像90b中，可以得到目标表情图像90h，此时的目标表情图像90h为动态表情。换言之，目标表情图像90h在展示过程中，可以展示与“我是元气少女”相匹配的动画效果，且可以播放“我是元气少女”对应的语音。

为增加目标表情图像90h展示效果的趣味性，目标用户可以从即时通讯应用为用户提供的多种变声类型中选择一种变声类型，对目标变换文本“我是元气少女”进行变声处理，变声类型可以包括萝莉音、大叔音、正太音以及各种卡通人物形象的声音等，目标用户可以选择任意一种声音类型作为“我是元气少女”的变形声音，如可以将“我是元气少女”变声为萝莉音，则目标表情图像90h在展示过程中，能够以萝莉音播报“我是元气少女”。在确定了目标表情图像90h的变声处理后，目标用户可以对目标表情图像90h的动画效果进行预览，若不满意，则可以取消该次表情编辑处理，或者重新选择变换文本对图像90b进行变换；若满意，则可以在表情图像编辑页面中点击“发送”按钮，触发终端设备100a将目标表情图像90h发送至会话页面90i中，以使群组中的用户可以查看该目标表情图像90h。

若目标用户选择静态表情90g，则终端设备100a可以响应该目标用户的表情类型选择操作，在表情图像编辑页面中显示静态表情90g所对应的变换文本，每个变换文本均有对应的表情特征，如变换文本“哈哈哈哈哈哈哈哈”对应的表情特征可以为大笑的表情特征等，表情图像编辑页面中显示的变换文本均为表情特征库中所存储的热门词句。如图10b所示，当目标用户选择“信我得永生”作为图像90b对应的目标变换文本时，终端设备100a可以从表情特征库中获取与目标变换文本“信我得永生”所对应的表情特征，将“信我得永生”所对应的表情特征和图像90b的人脸内容特征进行融合，并将目标变换文本“信我得永生”添加到图像90b中，得到目标表情图像90k，此时的目标表情图像90k为静态表情，目标表情图像90k所对应的表情为“信我得永生”所对应的表情。可以理解的是，选择动态表情90f时在表情图像编辑页面中显示的目标变换文本与选择静态表情90g时显示的目标变换文本相比，动态表情90f显示的目标变换文本均对应有表情特征和动画效果，且可以进行语音播报；而静态表情90g显示的目标变换文本仅对应有表情特征。当然对于动态表情90f显示的目标变换文本和静态表情90g显示的目标变换文本，可以是相同的，也可以是不同的，这里不做限定。

当然，目标用户也可以通过点击区域90i，为图像90b手动添加目标变换文本，如目标用户为图像90b手动添加的目标变换文本为“我是小骄傲”，终端设备100a可以从表情特征库中进行查找，若表情特征库中存在目标变换文本“我是小骄傲”，则从表情特征库中获取目标变换文本“我是小骄傲”对应的表情特征，并将“我是小骄傲”对应的表情特征与图像90b对应的人脸内容特征进行融合，得到目标表情图像90k；若表情特征库中不存在目标变换文本“我是小骄傲”，则终端设备通过计算目标变换文本“我是小骄傲”与表情特征库中所包含的热门词句之间的相似度，将具有最大相似度的热门词句所对应的表情特征作为目标变换文本“我是小骄傲”的表情特征，进而得到目标表情图像90k。

在确定了目标表情图像90k后，若目标用户不满意，则可以取消该次表情编辑处理，或者重新选择变换文本对图像90b进行变换；若满意，则可以在表情图像编辑页面中点击“发送”按钮，触发终端设备100a将目标表情图像90k发送至会话页面90i中，以使群组中的用户可以查看该目标表情图像90k。

请一并参见图11，是本申请实施例提供的一种基于即时通讯的图像数据处理方法的时序图。如图11所示，以操作对象为人脸图像数据为例，对基于即时通讯的图像数据处理方法进行具体说明，该方法可以基于表情选择界面(可以理解为显示上述图像集合的展示页面)、人脸特征库(也可以称为对象特征库)、编码器、词句选择界面(对应于上述图10a和图10b所对应实施例中的表情图像编辑页面)、表情特征库以及解码器来实现。

S301，长按人脸图像；

具体的，在即时通讯应用的会话页面中，用户可以长按会话页面中的人脸图像，触发终端设备在会话页面中弹出表情管理菜单栏(对应于上述图5a所对应实施例中的菜单栏20c)，当用户点击表情管理菜单栏中的“找表情”功能按钮时，终端设备可以从会话页面跳转至表情选择界面，并获取该人脸图像。当然，用户也可以通过重按会话页面中的人脸图像，触发终端设备从会话页面跳转至表情选择界面；用户还可以通过点击人脸图像，进入该人脸图像，并对该人脸图像进行定位。

S302，人脸特征库检索；

具体的，终端设备可以提取上述人脸图像中的人脸特征，并在人脸特征库中进行人脸特征检索，即计算该人脸特征与人脸特征库中所包含的多种人脸特征之间的相似度，根据相似度从人脸特征库中查找与该人脸特征相似的人脸表情图像。人脸特征库中包括多种人脸特征以及多种人脸特征分别对应的关联用户簇，因此在人脸对象库中进行人脸特征搜索的过程中，终端设备可以计算该人脸特征与多种人脸特征的相似度，将相似度最高的人脸特征所属的关联用户簇所包含的所有表情图像，确定为与该人脸特征相似的人脸表情图像。

S303，返回相似的人脸表情；

具体的，在人脸特征库中完成人脸特征检索过程后，人脸特征库可以将与上述人脸特征相似的人脸表情图像所属的关联用户簇确定为该人脸图像的目标用户簇，并将目标用户簇中的所有人脸表情图像返回至表情选择界面。

S304，选中待变化的表情；

具体的，用户可以在表情选择界面中，从人脸特征库返回的所有人脸表情图像中选中需要进行表情变化的表情图像，可以称为待选表情图像，在用户选择了待选表情图像后，终端设备可以获取该待选表情图像，并将该待选表情图像输入编码器中。

S305，编码器编码出内容特征；

具体的，编码器可以对输入的待选表情图像进行编码，提取出待选表情图像中的内容特征，并返回到表情选择界面。若编码器由多个卷积层构成，则编码过程为：通过编码器中的卷积层对输入的待选表情图像进行卷积运算(前一个卷积层的输出可以作为后一个卷积层的输入)，对待选表情图像进行特征提取，得到待选表情图像对应的特征图，即待选表情图像对应的内容特征。

S306，选中词句；

具体的，用户可以从词句选择界面所展示的词句(可以称为变换文本)中选择目标变化词句(可以称为目标变换文本)。如词句选择界面上显示了“我是元气少女”、“吓死我了鸭”、“元气满满的一天”、“搞事情哦”等词句，则用户可以根据需求从显示的多个词句中选择一个词句作为目标变化词句(如“搞事情哦”)。用户也可以从网络上选择一个热门词句作为目标变化词句，并进行手动输入，以使终端设备可以获取该目标变化词句。

S307，检索表情特征；

具体的，当用户确定了目标变化词句后，终端设备可以获取该目标变化词句，并在表情特征库中查找与目标变化词句相匹配的表情特征。终端设备可以对表情特征库中所存储的热门词句进行一次完整的遍历，若表情特征库中存储有目标变化词句，则可以根据热门词句与表情特征之间的对应关系，确定与该目标变化词句相关联的表情特征；若表情特征库中没有存储该目标变化词句，则通过计算该目标变化词句与表情特征库存储的热门词句之间的语义相似度，将语义相似度最高的热门词句确定为与该目标变化词句相关联的表情特征。

S308，返回词句对应的表情特征；

具体的，表情特征库可以将与目标变化词句相匹配的表情特征返回表情选择界面。

S309，传输选中人脸的内容特征和选中词句的表情特征；

具体的，将待选表情图像中的内容特征与目标变化词句对应的表情特征传输至解码器，即将待选表情图像中的内容特征与目标变化词句对应的表情特征作为解码器的输入。

S310，解码器合成并返回新的表情。

具体的，解码器可以将待选表情图像中的内容特征与目标变化词句对应的表情特征进行融合，得到新的表情图像，可以称为目标表情图像，并将新的表情图像返回至表情选择界面。

可选的，终端设备还可以从视频数据中获取目标表情图像，请一并参见图12a和图12b，是本申请实施例提供的另一种基于即时通讯的图像数据处理方法的界面示意图。终端设备可以获取视频数据，并从视频数据中获取包含人脸的图像数据集；该图像数据集包括多个图像数据，每个图像数据均是指视频数据中包含人脸的至少一帧图像，即每个图像数据可以为静态图像，也可以为动态图像，且每个图像数据均是从视频数据中截取的部分数据；从图像数据集中选择目标图像数据，并可以为目标图像数据添加描述文本，将添加描述文本的目标图像数据确定为表情图像，终端设备可以将该表情图像存储至对象特征库中，也可以将该表情图像发送至会话页面，以便于会话页面中群组中的用户查看该表情图像。如图12a所示，终端设备100a可以获取视频数据11a，并在终端界面中显示该视频数据11a的发布者信息(如发布者的名称及头像信息等)、发布时间、点赞数、评论数以及浏览量等信息。当目标用户点击终端界面中的人脸查找入口11b时，终端设备100a可以响应该目标用户针对人脸查找入口11b的点击操作，对该视频数据11a的每一帧图像进行人脸识别，将视频数据11a中包含人脸的一帧图像或者连续多帧图像截取下来，并在区域11c中对截取出来的图像数据进行显示，上述截取下来的一帧或多帧图像可以称为从视频数据11a中获取到的表情图像。当识别完成后，终端设备100a可以按照识别出的人物进行展示，即包含相同人脸的图像数据在同一个区域进行显示，例如，终端设备100a从视频图像数据11a中共识别出2个人物，分别为男生1和女生1，则在区域11c中可以按照男生1和女生1对截取的图像进行展示，如图像11d、图像11f以及图像11i为男生1对应的图像数据，图像11e、图像11g以及图像11h为女生1对应的图像数据。其中，从视频数据11a中截取下来的连续多帧图像可以理解为从视频数据11a中截取下来的包含人脸的一小段视频，如视频数据11a中包含人脸且时长为两秒的某一段视频等。

目标用户可以从截取的图像数据中选择图像11f作为待选图像数据，并点击“编辑”按钮，触发终端设备100a跳转至图像编辑页面。若目标用户选择的图像11f为多帧图像，也可以称为动态图像，则目标用户可以从图像编辑页面中为图像11f添加描述文本，生成新的表情图像；若目标用户选择的图像11f为单帧图像，也可以称为静态图像，则目标用户可以从图像编辑页面中为图像11f添加描述文本，也可以为图像11f选择目标变换文本，对图像11f进行表情变换，表情变换的具体过程可以参见上述图10b所对应实施例的描述，这里不再进行赘述。

下面以图像11f为动态图像为例进行说明，如图12b所示，在终端设备100a响应目标用户的点击操作跳转至表情图像编辑页面后，表情图像编辑页面中可以显示多个描述文本，如“信我得永生”、“天生我材必有用”等。当目标用户选择描述文本后，终端设备100a可以将目标用户所选择的描述文本添加到图像11f中，生成新的表情图像。当然，目标用户也可以点击图像表情编辑页面中的区域11j，手动输入描述文本，终端设备100a可以将目标用户手动输入的描述文本添加到图像11f中，生成新的表情图像。目标用户可以选择将新生成的表情图像(如表情图像11m)发送至会话页面11k中。在即时通讯应用中，用户在观看或者查看视频数据的过程中，可以实时检测人脸，并直接截取某一段人脸动态，以动态图像形式进行展示，并将展示的动态人脸图像作为表情图像，可以直接发送或者编辑，即用户在即时通讯应用中可以直接制作表情图像，无需在第三方平台上进行制作，可以增加表情图像处理的效率。

本申请实施例通过响应在即时通讯应用的会话页面中的表情图像触发操作，获取与表情图像触发操作相关联的操作对象，并从对象特征库中获取与操作对象相关联的所有表情图像，并将上述相关联的所有表情图像确定为图像集合，进而可以从图像集合中选择用于在会话页面进行展示的目标表情图像。可见，在即时通讯应用中，可以为用户提供人脸识别匹配、关联用户表情分类、表情符号匹配以及关键词匹配等多种方式查找表情图像，使得用户可以快速查找到想要进行展示的表情图像，进而可以提高图像数据处理效率；且用户在即时通讯应用中可以对查找到的表情图像进行编辑，进而可以丰富表情图像的类型。

请参见图13，是本申请实施例提供的一种基于即时通讯的图像数据处理装置的结构示意图。如图13所示，该基于即时通讯的图像数据处理装置1可以包括：获取模块11，提取模块12，选择模块13；

获取模块11，用于响应在即时通讯应用的会话页面中的表情图像触发操作，获取与所述表情图像触发操作相关联的操作对象；

提取模块12，用于若所述操作对象为图像数据，则提取所述图像数据中的目标对象特征，从对象特征库中获取与所述目标对象特征相关联的图像集合；

选择模块13，用于响应针对所述图像集合的第一选择触发操作，从所述图像集合中选择用于在所述会话页面进行展示的目标表情图像。

其中，获取模块11，提取模块12，选择模块13的具体功能实现方式可以参见上述图3所对应实施例中的步骤S101-步骤S103，这里不再进行赘述。

请一并参见图13，该基于即时通讯的图像数据处理装置1还可以包括：跳转模块14，第一图像集合确定模块15，第一查找模块16，第二图像集合确定模块17，第二查找模块18，第三图像集合确定模块19，视频数据获取模块20，描述文本添加模块21，人脸检测模块22，表情图像添加模块23，聚类模块24；

跳转模块14，用于若所述操作对象为分类标签，则从所述会话页面跳转至表情分类页面，并在所述表情分类页面上展示所述对象特征库中的多个关联用户簇；

第一图像集合确定模块15，用于响应针对所述表情分类页面的簇触发操作，将所述对象特征库中所触发的关联用户簇所包含的表情图像确定为图像集合；

第一查找模块16，用于若所述操作对象为符号信息，则从所述对象特征库中查找与所述符号信息相关联的关联用户簇，在所述会话页面中显示与所述符号信息相关联的关联用户簇；

第二图像集合确定模块17，用于响应针对与所述符号信息相关联的关联用户簇的第二选择触发操作，将所选择的关联用户簇所包含的表情图像确定为图像集合；

第二查找模块18，用于若所述操作对象为关键词，则提取所述关键词的语义信息，从所述对象特征库中查找与所述语义信息相匹配的待选表情图像；

第三图像集合确定单元19，用于获取所述会话页面中群组中的用户信息，将属于所述用户信息对应的关联用户簇的待选表情图像确定为图像集合；

视频数据获取模块20，用于获取视频数据，从所述视频数据中获取包含对象的图像数据集；所述图像数据集包括多个图像数据，每个图像数据均是指所述视频数据中包含所述对象的至少一帧图像；

描述文本添加模块21，用于从所述图像数据集中选择目标图像数据，为所述目标图像数据添加描述文本，将添加所述描述文本的目标图像数据确定为表情图像并存储至所述对象特征库；

人脸检测模块22，用于获取目标用户的历史消息图像，对所述历史消息图像进行人脸检测；

表情图像添加模块23，用于将存在人脸的历史消息图像确定为表情图像，并将所述表情图像添加至表情图像库；

聚类模块24，用于提取所述表情图像库中所包含的表情图像对应的人脸特征，对所述人脸特征进行聚类，得到所述对象特征库；所述对象特征库包括多个人脸特征所对应的表情图像。

其中，跳转模块14，第一图像集合确定模块15，第一查找模块16，第二图像集合确定模块17，第二查找模块18，第三图像集合确定模块19的具体功能实现方式可以参见上述图6所对应实施例中的步骤S203，视频数据获取模块20，描述文本添加模块21的具体功能实现方式可以参见上述图12a和图12b所对应实施例中的描述，人脸检测模块22，表情图像添加模块23，聚类模块24的具体功能实现方式可以参见上述图3所对应实施例中的步骤S102，这里不再进行赘述。其中，当跳转模块14，第一图像集合确定模块15在执行相应操作时，第一查找模块16，第二图像集合确定模块17，第二查找模块18，第三图像集合确定模块19均暂停执行操作；当第一查找模块16，第二图像集合确定模块17在执行相应操作时，跳转模块14，第一图像集合确定模块15，第二查找模块18，第三图像集合确定模块19均暂停执行操作；当第二查找模块18，第三图像集合确定模块19在执行相应操作时，跳转模块14，第一图像集合确定模块15，第一查找模块16，第二图像集合确定模块17均暂停执行操作。其中，第一图像集合确定模块15、第二图像集合确定模块17以及第三图像集合确定模块19可以合并为同一个图像集合确定模块；第一查找模块16和第二查找模块18可以合并为同一个查找模块。

请一并参见图13，提取模块12可以包括：定位单元121，相似度确定单元122，图像集合确定单元123；

定位单元121，用于若所述操作对象为图像数据，则对所述图像数据所包含的目标对象进行定位，提取所述目标对象的目标对象特征；

相似度确定单元122，用于确定所述目标对象特征与对象特征库所包含的多个对象特征之间的相似度，将具有最大相似度的对象特征所属的关联用户簇确定为所述目标对象特征对应的目标用户簇；

图像集合确定单元123，用于将所述目标用户簇所包含的表情图像确定为与所述目标对象特征相关联的图像集合。

其中，定位单元121，相似度确定单元122，图像集合确定单元123的功能实现方式可以通过对图像数据中所包含的目标对象进行定位，提取该图像数据中目标对象所对应的目标对象特征，并确定目标对象特征与对象特征库中所包含的多个对象特征之间的相似度，将具有最大相似度的对象特征所属的关联用户簇确定为目标对象特征对应的目标用户簇，进而可以将目标用户簇中的所有表情图像确定为与目标对象特征相关联的图像集合，图像集合中可以包括一个或多个表情图像。

需要说明的是，当定位单元121，相似度确定单元122，图像集合确定单元123在执行相应操作时，上述跳转模块14，第一图像集合确定模块15，第一查找模块16，第二图像集合确定模块17，第二查找模块18，第三图像集合确定模块19均暂停执行操作。换言之，定位单元121，相似度确定单元122，图像集合确定单元123的实现过程即为图像集合确定的过程。

请一并参见图13，选择模块13可以包括：内容特征提取单元131，特征融合单元132；

内容特征提取单元131，用于响应针对所述图像集合的第一选择触发操作，获取待转换表情图像，提取所述待转换表情图像对应的内容特征；

特征融合单元132，用于获取与目标变换文本相匹配的表情特征，基于所述内容特征与所述表情特征，生成用于在所述会话页面进行展示的目标表情图像。

其中，内容特征提取单元131，特征融合单元132的具体功能实现方式可以参见上述图6所对应实施例中的步骤S204-步骤S205，这里不再进行赘述。

请一并参见图13，聚类模块24可以包括：用户头像获取单元241，头像特征提取单元242，对象特征库确定单元243；

用户头像获取单元241，用于获取所述目标用户的关联用户的关联用户头像；

头像特征提取单元242，用于若所述关联用户头像中包含人脸，则从包含人脸的关联用户头像中提取头像特征；

对象特征库确定单元243，用于根据所述头像特征与所述人脸特征之间的相似度，确定与所述头像特征相关联的表情图像，得到多个关联用户簇，将所述多个关联用户簇确定为对象特征库；每个关联用户簇包括一个关联用户头像对应的至少一个表情图像。

其中，用户头像获取单元241，头像特征提取单元242，对象特征库确定单元243的具体功能实现方式可以参见上述图3所对应实施例中的步骤S102，这里不再进行赘述。

请一并参见图13，内容特征提取单元131可以包括：输入子单元1311，编码子单元1312；

输入子单元1311，用于响应针对所述图像集合的第一选择触发操作，获取待转换表情图像，将所述待转换表情图像输入至编码器；

编码子单元1312，用于基于所述编码器，对所述待转换表情图像进行编码，获取所述待转换表情图像对应的内容特征。

其中，输入子单元1311，编码子单元1312的具体功能实现方式可以参见上述图6所对应实施例中的步骤S204，这里不再进行赘述。

请一并参见图13，特征融合单元132可以包括：变换文本获取子单元1321，表情特征获取子单元1322，表情图像生成子单元1323；

变换文本获取子单元1321，用于响应针对所述待转换表情图像的文本选择操作，获取所述待转换表情图像对应的目标变换文本；

表情特征获取子单元1322，用于从表情特征库中获取与所述目标变换文本相匹配的表情特征；所述表情特征库用于记录变换文本与表情特征之间的对应关系；

表情图像生成子单元1323，用于将所述表情特征与所述内容特征输入至解码器，基于所述解码器，将所述表情特征与所述内容特征进行融合，生成用于在所述会话页面进行展示的目标表情图像。

其中，变换文本获取子单元1321，表情特征获取子单元1322，表情图像生成子单元1323的具体功能实现方式可以参见上述图6所对应实施例中的步骤S205，这里不再进行赘述。

本申请实施例通过响应在即时通讯应用的会话页面中的表情图像触发操作，获取与表情图像触发操作相关联的操作对象，并从对象特征库中获取与操作对象相关联的所有表情图像，并将上述相关联的所有表情图像确定为图像集合，进而可以从图像集合中选择用于在会话页面进行展示的目标表情图像。可见，在即时通讯应用中，可以为用户提供人脸识别匹配、关联用户表情分类、表情符号匹配以及关键词匹配等多种方式查找表情图像，使得用户可以快速查找到想要进行展示的表情图像，进而可以提高图像数据处理效率；且用户在即时通讯应用中可以对查找到的表情图像进行编辑，进而可以丰富表情图像的类型。

请参见图14，是本申请实施例提供的另一种基于即时通讯的图像数据处理装置的结构示意图。如图14所示，该基于即时通讯的图像数据处理装置1000可以包括：处理器1001，网络接口1004和存储器1005，此外，上述基于即时通讯的图像数据处理装置1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1004可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图14所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。

在如图14所示的基于即时通讯的图像数据处理装置1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：

响应在即时通讯应用的会话页面中的表情图像触发操作，获取与所述表情图像触发操作相关联的操作对象；

若所述操作对象为图像数据，则提取所述图像数据中的目标对象特征，从对象特征库中获取与所述目标对象特征相关联的图像集合；

响应针对所述图像集合的第一选择触发操作，从所述图像集合中选择用于在所述会话页面进行展示的目标表情图像。

应当理解，本申请实施例中所描述的基于即时通讯的图像数据处理装置1000可执行前文图3、图6任一个所对应实施例中对所述基于即时通讯的图像数据处理方法的描述，也可执行前文图13所对应实施例中对所述基于即时通讯的图像数据处理装置1的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。

此外，这里需要指出的是：本申请实施例还提供了一种计算机可读存储介质，且所述计算机可读存储介质中存储有前文提及的基于即时通讯的图像数据处理装置1所执行的计算机程序，且所述计算机程序包括程序指令，当所述处理器执行所述程序指令时，能够执行前文图3、图6任一个所对应实施例中对所述基于即时通讯的图像数据处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储存储器(Read-Only Memory，ROM)或随机存储存储器(Random AccessMemory，RAM)等。

以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (15)

1.一种基于即时通讯的图像数据处理方法，其特征在于，包括：

响应在即时通讯应用的会话页面中的表情图像触发操作，获取与所述表情图像触发操作相关联的操作对象；

若所述操作对象为图像数据，则提取所述图像数据中的目标对象特征，从对象特征库中获取与所述目标对象特征相关联的图像集合；

响应针对所述图像集合的第一选择触发操作，从所述图像集合中选择用于在所述会话页面进行展示的目标表情图像。

2.根据权利要求1所述的方法，其特征在于，所述若所述操作对象为图像数据，则提取所述图像数据中的目标对象特征，从对象特征库中获取与所述目标对象特征相关联的图像集合，包括：

若所述操作对象为图像数据，则对所述图像数据所包含的目标对象进行定位，提取所述目标对象的目标对象特征；

确定所述目标对象特征与对象特征库所包含的多个对象特征之间的相似度，将具有最大相似度的对象特征所属的关联用户簇确定为所述目标对象特征对应的目标用户簇；

将所述目标用户簇所包含的表情图像确定为与所述目标对象特征相关联的图像集合。

3.根据权利要求1所述的方法，其特征在于，还包括：

若所述操作对象为分类标签，则从所述会话页面跳转至表情分类页面，并在所述表情分类页面上展示所述对象特征库中的多个关联用户簇；

响应针对所述表情分类页面的簇触发操作，将所述对象特征库中所触发的关联用户簇所包含的表情图像确定为图像集合。

4.根据权利要求1所述的方法，其特征在于，还包括：

若所述操作对象为符号信息，则从所述对象特征库中查找与所述符号信息相关联的关联用户簇，在所述会话页面中显示与所述符号信息相关联的关联用户簇；

响应针对与所述符号信息相关联的关联用户簇的第二选择触发操作，将所选择的关联用户簇所包含的表情图像确定为图像集合。

5.根据权利要求1所述的方法，其特征在于，还包括：

若所述操作对象为关键词，则提取所述关键词的语义信息，从所述对象特征库中查找与所述语义信息相匹配的待选表情图像；

获取所述会话页面中群组中的用户信息，将属于所述用户信息对应的关联用户簇的待选表情图像确定为图像集合。

6.根据权利要求1所述的方法，其特征在于，所述响应针对所述图像集合的第一选择触发操作，从所述图像集合中选择用于在所述会话页面进行展示的目标表情图像，包括：

响应针对所述图像集合的第一选择触发操作，获取待转换表情图像，提取所述待转换表情图像对应的内容特征；

获取与目标变换文本相匹配的表情特征，基于所述内容特征与所述表情特征，生成用于在所述会话页面进行展示的目标表情图像。

7.根据权利要求6所述的方法，其特征在于，所述响应针对所述图像集合的第一选择触发操作，获取待转换表情图像，提取所述待转换表情图像对应的内容特征，包括：

响应针对所述图像集合的第一选择触发操作，获取待转换表情图像，将所述待转换表情图像输入至编码器；

基于所述编码器，对所述待转换表情图像进行编码，获取所述待转换表情图像对应的内容特征。

8.根据权利要求6所述的方法，其特征在于，所述获取与目标变换文本相匹配的表情特征，基于所述内容特征与所述表情特征，生成用于在所述会话页面进行展示的目标表情图像，包括：

响应针对所述待转换表情图像的文本选择操作，获取所述待转换表情图像对应的目标变换文本；

从表情特征库中获取与所述目标变换文本相匹配的表情特征；所述表情特征库用于记录变换文本与表情特征之间的对应关系；

将所述表情特征与所述内容特征输入至解码器，基于所述解码器，将所述表情特征与所述内容特征进行融合，生成用于在所述会话页面进行展示的目标表情图像。

9.根据权利要求1所述的方法，其特征在于，还包括：

获取视频数据，从所述视频数据中获取包含对象的图像数据集；所述图像数据集包括多个图像数据，每个图像数据均是指所述视频数据中包含所述对象的至少一帧图像；

从所述图像数据集中选择目标图像数据，为所述目标图像数据添加描述文本，将添加所述描述文本的目标图像数据确定为表情图像并存储至所述对象特征库。

10.根据权利要求1所述方法，其特征在于，还包括：

获取目标用户的历史消息图像，对所述历史消息图像进行人脸检测；

将存在人脸的历史消息图像确定为表情图像，并将所述表情图像添加至表情图像库；

提取所述表情图像库中所包含的表情图像对应的人脸特征，对所述人脸特征进行聚类，得到所述对象特征库；所述对象特征库包括多个人脸特征所对应的表情图像。

11.根据权利要求10所述的方法，其特征在于，所述对所述人脸特征进行聚类，得到所述对象特征库，包括：

获取所述目标用户的关联用户的关联用户头像；

若所述关联用户头像中包含人脸，则从包含人脸的关联用户头像中提取头像特征；

根据所述头像特征与所述人脸特征之间的相似度，确定与所述头像特征相关联的表情图像，得到多个关联用户簇，将所述多个关联用户簇确定为对象特征库；每个关联用户簇包括一个关联用户头像对应的至少一个表情图像。

12.一种基于即时通讯的图像数据处理装置，其特征在于，包括：

获取模块，用于响应在即时通讯应用的会话页面中的表情图像触发操作，获取与所述表情图像触发操作相关联的操作对象；

提取模块，用于若所述操作对象为图像数据，则提取所述图像数据中的目标对象特征，从对象特征库中获取与所述目标对象特征相关联的图像集合；

选择模块，用于响应针对所述图像集合的第一选择触发操作，从所述图像集合中选择用于在所述会话页面进行展示的目标表情图像。

13.根据权利要求12所述的装置，其特征在于，所述提取模块包括：

定位单元，用于若所述操作对象为图像数据，则对所述图像数据所包含的目标对象进行定位，提取所述目标对象的目标对象特征；

相似度确定单元，用于确定所述目标对象特征与对象特征库所包含的多个对象特征之间的相似度，将具有最大相似度的对象特征所属的关联用户簇确定为所述目标对象特征对应的目标用户簇；

图像集合确定单元，用于将所述目标用户簇所包含的表情图像确定为与所述目标对象特征相关联的图像集合。

14.一种基于即时通讯的图像数据处理装置，其特征在于，包括：处理器和存储器；

所述处理器和存储器相连，其中，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以执行如权利要求1-11任一项所述的方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1-11任一项所述的方法。