CN112967364A - 一种图像处理方法、装置及设备 - Google Patents

Abstract

本发明提供一种图像处理方法、装置及设备，涉及通信技术领域。该方法包括：获取第一图像；确定所述第一图像中第一目标项的属性信息和第一关键点的位置信息；其中，所述第一目标项为人脸面部特征项，所述第一关键点为所述第一目标项对应的关键点；根据所述第一目标项的属性信息，使用与所述第一目标项对应的第一形状融合模型BS对初始人脸3D模型进行调整，得到候选人脸3D模型；根据所述第一关键点的位置信息，使用与所述第一关键点对应的第二BS对所述候选人脸3D模型进行调整，得到目标人脸3D模型。本发明的方案，用以实现对虚拟角色面部更高保真度的自动捏脸。

Description

一种图像处理方法、装置及设备

技术领域

本发明涉及通信技术领域，特别是指一种图像处理方法、装置及设备。

背景技术

近年来，随着相关技术的发展，3D人脸重建在许多领域得到了广泛的应用。其中，卡通化已经成为3D人脸重建的一个新的应用方向。比如，角色扮演类游戏，会提供给玩家捏脸系统，可以按照自己的喜好创建虚拟角色。

目前，依靠3D人脸重建技术，玩家上传单张照片就可以初步获得心仪的虚拟角色，后续只需简单调整，即可快速进入游戏，减少了角色创建对面部细节全部手动精细调节的操作复杂性。

其中，处理方式关键在于对脸部模型节点进行骨骼绑定，然后根据骨骼动画系数驱动骨骼变形进行捏脸，但是，骨骼动画系数可能与人脸照对应的骨骼动画系数不符，没法捏出高保真度的卡通人脸。

发明内容

本发明的目的是提供一种图像处理方法、装置及设备，以实现对虚拟角色面部更高保真度的自动捏脸。

为达到上述目的，本发明的实施例提供一种图像处理方法，由用户设备执行，包括：

获取第一图像；

确定所述第一图像中第一目标项的属性信息和第一关键点的位置信息；其中，所述第一目标项为人脸面部特征项，所述第一关键点为所述第一目标项对应的关键点；

根据所述第一目标项的属性信息，使用与所述第一目标项对应的第一形状融合模型BS对初始人脸3D模型进行调整，得到候选人脸3D模型；

根据所述第一关键点的位置信息，使用与所述第一关键点对应的第二BS对所述候选人脸3D模型进行调整，得到目标人脸3D模型。

可选地，所述根据所述第一目标项的属性信息，使用与所述第一目标项对应的第一形状融合模型BS对初始人脸3D模型进行调整，得到候选人脸3D模型，包括：

根据所述第一目标项的属性信息以及第一BS关联的第二目标项的属性信息，确定所述第一BS对应的第一调整系数；

根据所述第一调整系数，使用所述第一BS对初始人脸3D模型进行调整，得到候选人脸3D模型。

可选地，所述根据所述第一关键点的位置信息，使用与所述第一关键点对应的第二BS对候选人脸3D模型进行调整，得到目标人脸3D模型，包括：

根据所述第一关键点的位置信息，对所述第一关键点以及所述候选人脸3D模型中第二关键点的距离进行最小化处理，确定所述第二BS对应的第二调整系数；其中，所述第二关键点为所述第一关键点对应在所述候选人脸3D模型上的关键点；

根据所述第二调整系数，使用所述第二BS对候选人脸3D模型进行调整，得到目标人脸3D模型。

可选地，所述根据所述第一关键点的位置信息，对所述第一关键点以及所述候选人脸3D模型中第二关键点的距离进行最小化处理，确定所述第二BS对应的第二调整系数，包括：

计算

最小时，当前第二BS对应的第二调整系数，其中，M为投影矩阵，k为关键点索引，n为关键点个数，F^k＝F₀ ^k+a·F_DS ^k，F₀ ^k为候选人脸3D模型中面部第k个关键点的位置信息，a为当前第二BS对应的第二调整系数，F_DS ^k为当前第二BS对应所述第k个关键点的位置信息，S^k为所述第一图像中第k个关键点的位置信息。

可选地，所述根据所述第一关键点的位置信息，对所述第一关键点以及所述候选人脸3D模型中第二关键点的距离进行最小化处理，确定所述第二BS对应的第二调整系数之前，还包括：

在所述第一目标项为特定目标项的情况下，基于所述第一目标项的第一区域或者所述第二目标项的第二区域，调整所述第一关键点以及所述第二关键点的位置信息。

可选地，所述方法还包括：

在根据所述第一目标项的属性信息，使用与所述第一目标项对应的第一形状融合模型BS对初始人脸3D模型进行调整之前，

若所述第一图像中检测到面部表情信息，则根据所述面部表情信息，对所述初始人脸3D模型的面部表情进行调整；

若所述第一图像中检测到头部转动角度信息，根据所述头部转动角度信息，则对所述初始人脸3D模型的头部转动角度进行调整。

为达到上述目的，本发明的实施例提供一种图像处理装置，包括：

获取模块，用于获取第一图像；

确定模块，用于确定所述第一图像中第一目标项的属性信息和第一关键点的位置信息；其中，所述第一目标项为人脸面部特征项，所述第一关键点为所述第一目标项对应的关键点；

第一处理模块，用于根据所述第一目标项的属性信息，使用与所述第一目标项对应的第一形状融合模型BS对初始人脸3D模型进行调整，得到候选人脸3D模型；

第二处理模块，用于根据所述第一关键点的位置信息，使用与所述第一关键点对应的第二BS对所述候选人脸3D模型进行调整，得到目标人脸3D模型。

可选地，所述第一处理模块包括：

第一处理子模块，用于根据所述第一目标项的属性信息以及第一BS关联的第二目标项的属性信息，确定所述第一BS对应的第一调整系数；

第二处理子模块，用于根据所述第一调整系数，使用所述第一BS对初始人脸3D模型进行调整，得到候选人脸3D模型。

可选地，所述第二处理模块包括：

第三处理子模块，用于根据所述第一关键点的位置信息，对所述第一关键点以及所述候选人脸3D模型中第二关键点的距离进行最小化处理，确定所述第二BS对应的第二调整系数；其中，所述第二关键点为所述第一关键点对应在所述候选人脸3D模型上的关键点；

第四处理子模块，用于根据所述第二调整系数，使用所述第二BS对候选人脸3D模型进行调整，得到目标人脸3D模型。

可选地，所述第三处理子模块还用于：

计算

最小时，当前第二BS对应的第二调整系数，其中，M为投影矩阵，k为关键点索引，n为关键点个数，F^k＝F₀ ^k+a·F_DS ^k，F₀ ^k为候选人脸3D模型中面部第k个关键点的位置信息，a为当前第二BS对应的第二调整系数，F_DS ^k为当前第二BS对应所述第k个关键点的位置信息，S^k为所述第一图像中第k个关键点的位置信息。

可选地，所述第二处理模块还包括：

预处理子模块，用于在所述第一目标项为特定目标项的情况下，基于所述第一目标项的第一区域或者所述第二目标项的第二区域，调整所述第一关键点以及所述第二关键点的位置信息。

可选地，所述装置还包括：

第三处理模块，用于在根据所述第一目标项的属性信息，使用与所述第一目标项对应的第一形状融合模型BS对初始人脸3D模型进行调整之前，

若所述第一图像中检测到面部表情信息，则根据所述面部表情信息，对所述初始人脸3D模型的面部表情进行调整；

若所述第一图像中检测到头部转动角度信息，根据所述头部转动角度信息，则对所述初始人脸3D模型的头部转动角度进行调整。

为达到上述目的，本发明的实施例提供一种用户设备，包括处理器，所述处理器用于：

获取第一图像；

确定所述第一图像中第一目标项的属性信息和第一关键点的位置信息；其中，所述第一目标项为人脸面部特征项，所述第一关键点为所述第一目标项对应的关键点；

根据所述第一目标项的属性信息，使用与所述第一目标项对应的第一形状融合模型BS对初始人脸3D模型进行调整，得到候选人脸3D模型；

根据所述第一关键点的位置信息，使用与所述第一关键点对应的第二BS对所述候选人脸3D模型进行调整，得到目标人脸3D模型。

可选地，所述处理器还用于：

根据所述第一目标项的属性信息以及第一BS关联的第二目标项的属性信息，确定所述第一BS对应的第一调整系数；

根据所述第一调整系数，使用所述第一BS对初始人脸3D模型进行调整，得到候选人脸3D模型。

可选地，所述处理器还用于：

根据所述第一关键点的位置信息，对所述第一关键点以及所述候选人脸3D模型中第二关键点的距离进行最小化处理，确定所述第二BS对应的第二调整系数；其中，所述第二关键点为所述第一关键点对应在所述候选人脸3D模型上的关键点；

根据所述第二调整系数，使用所述第二BS对候选人脸3D模型进行调整，得到目标人脸3D模型。

可选地，所述处理器还用于：

计算

最小时，当前第二BS对应的第二调整系数，其中，M为投影矩阵，k为关键点索引，n为关键点个数，F^k＝F₀ ^k+a·F_DS ^k，F₀ ^k为候选人脸3D模型中面部第k个关键点的位置信息，a为当前第二BS对应的第二调整系数，F_DS ^k为当前第二BS对应所述第k个关键点的位置信息，S^k为所述第一图像中第k个关键点的位置信息。

可选地，所述处理器还用于：

在所述第一目标项为特定目标项的情况下，基于所述第一目标项的第一区域或者所述第二目标项的第二区域，调整所述第一关键点以及所述第二关键点的位置信息。

可选地，所述处理器还用于：

在根据所述第一目标项的属性信息，使用与所述第一目标项对应的第一形状融合模型BS对初始人脸3D模型进行调整之前，

若所述第一图像中检测到面部表情信息，则根据所述面部表情信息，对所述初始人脸3D模型的面部表情进行调整；

若所述第一图像中检测到头部转动角度信息，根据所述头部转动角度信息，则对所述初始人脸3D模型的头部转动角度进行调整。

为达到上述目的，本发明的实施例提供一种用户设备，包括收发器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令；所述处理器执行所述程序或指令时实现如上所述的图像处理方法。

为达到上述目的，本发明的实施例提供一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上所述的图像处理方法中的步骤。

本发明的上述技术方案的有益效果如下：

本发明实施例的方法，在获取到第一图像后，能够基于该第一图像确定第一目标项(人脸面部特征项)的属性信息和第一关键点(第一目标项对应的关键点)的位置信息，继而，根据该第一目标项的属性信息，使用第一目标项对应的第一BS对初始人脸3D模型进行调整，先获得候选人脸3D模型，然后，再根据第一关键点的位置信息，使用与该第一关键点对应的第二BS对已获得的候选人脸3D模型进行调整，得到目标人脸3D模型。这样，初始人脸3D模型通过二次调整后所得的目标人脸3D模型，与第一图像具有更高的拟合精度。

附图说明

图1为本发明实施例的图像处理方法的流程图；

图2为本发明实施例的图像处理装置的结构图；

图3为本发明实施例的用户设备的结构图；

图4为本发明另一实施例的用户设备的结构图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。

在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

另外，本文中术语“系统”和“网络”在本文中常可互换使用。

在本申请所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。

如图1所示，本发明实施例的一种图像处理方法，由用户设备执行，包括：

步骤101，获取第一图像；

步骤102，确定所述第一图像中第一目标项的属性信息和第一关键点的位置信息；其中，所述第一目标项为人脸面部特征项，所述第一关键点为所述第一目标项对应的关键点；

步骤103，根据所述第一目标项的属性信息，使用与所述第一目标项对应的第一形状融合模型BS对初始人脸3D模型进行调整，得到候选人脸3D模型；

步骤104，根据所述第一关键点的位置信息，使用与所述第一关键点对应的第二BS对所述候选人脸3D模型进行调整，得到目标人脸3D模型。

本发明实施例的方法，按照上述步骤101-104，在获取到第一图像后，能够基于该第一图像确定第一目标项(人脸面部特征项)的属性信息和第一关键点(第一目标项对应的关键点)的位置信息，继而，根据该第一目标项的属性信息，使用第一目标项对应的第一BS对初始人脸3D模型进行调整，先获得候选人脸3D模型，然后，再根据第一关键点的位置信息，使用与该第一关键点对应的第二BS对已获得的候选人脸3D模型进行调整，得到目标人脸3D模型。这样，初始人脸3D模型通过二次调整后所得的目标人脸3D模型，与第一图像具有更高的拟合精度。

其中，步骤101中获取的第一图像可以是用户主动上传的。如此，本发明实施例的方法应用于用户上传照片构建卡通角色的场景，能够考虑初始人脸3D模型中人脸长宽比、眼睛大小、眼间距、鼻子、嘴巴通常与真实人脸长宽比不一致，没法直接将卡通人脸脸型关键点直接拟合到照片人脸脸型关键点中，将基于用户上传的图像，先基于属性信息对应的BS初次调整后，再基于关键点对应的BS调整，通过二次调整提高深度拟合精度。

需要说明的是，该实施例中，预先建立有一组形状融合模型(BS)，可以由美术师构建，也可以机器自动生成。该组BS又分为两类，一类为基于人脸面部特征项的不同属性信息建立的不同BS，另一类为基于人脸面部特征项的关键点建立的不同BS。

其中，人脸面部特征项包括脸型、眼睛、鼻子、嘴巴等特征项，故步骤102中确定的第一目标项的属性信息对应的可以是脸型属性信息、眼睛属性信息、鼻子属性信息和嘴巴属性信息中的至少一项。相应的，基于人脸面部特征项的不同属性信息建立的BS包括脸型BS、眼睛BS、鼻子BS和嘴巴BS。这里，脸型BS可用于进行脸型调整，具体包括可用于调整脸型长度、下颌骨宽度、颧骨高度、下巴宽度、脸型胖瘦等BS；眼睛BS可用于进行眼睛调整，具体包括可用于调整眼窝深度、眼间距、眼睛长度、眼睛宽度、眼角高低、眼角里外等BS；鼻子BS可用于进行鼻子调整，具体包括可用于调整鼻梁高度、鼻梁宽度、鼻头朝向、鼻头宽度、鼻翼宽度等BS；嘴巴BS可用于进行嘴巴调整，具体包括可用于调整嘴巴前后、唇珠形状、唇线形状、嘴角高低、嘴唇厚薄等BS。而基于人脸面部特征项的关键点建立的BS包括脸型关键点BS、眼睛关键点BS、鼻子关键点BS和嘴巴关键点BS。脸型关键点BS可用于进行脸型调整；眼睛关键点BS可用于进行眼睛调整；鼻子关键点BS可用于进行鼻子调整；嘴巴关键点BS可用于进行嘴巴调整。

由上述内容可知，对于一个目标项，基于其属性信息或关键点都可能对应有多个BS。故，调整人脸3D模型时使用BS，将会结合每个BS的调整系数来完成。其中，调整系数的取值范围为0～1，0表示不调整，1表示最大程度调整。

可选地，步骤103包括：

根据所述第一目标项的属性信息以及第一BS关联的第二目标项的属性信息，确定所述第一BS对应的第一调整系数；

根据所述第一调整系数，使用所述第一BS对初始人脸3D模型进行调整，得到候选人脸3D模型。

这里，第二目标项和第一目标项为同一目标项，但第二目标项的属性信息与第一BS关联。第一BS是基于人脸面部特征项的不同属性信息建立的不同BS。通过上述步骤，结合第一目标项的属性信息以及第二目标项的属性信息，能够确定第一BS对应的第一调整系数。当然，对于第一BS包括多个BS，第一调整系数相应的包括多个，与该多个BS一一对应。之后，根据所确定的第一调整系数，使用第一BS对初始人脸3D模型进行调整。

以卡通人脸拟合为例，当第一目标项为脸型，若基于第一图像确定的脸型属性信息为长脸、高颧骨，对应的第一BS则包括脸型长度BS、颧骨高度BS。颧骨高度BS调整可用于弥补照片人脸脸型关键点深度信息缺乏带来的误差。当然，脸型长度BS进一步可包括脸型变长BS和脸型变短BS等关联多种不同脸型长度的BS；同样的，颧骨高度BS进一步可包括颧骨变高BS和颧骨变低BS等关联多种不同颧骨高度的BS。如此，脸型变长BS、颧骨变高BS的调整系数将确定为1，优先应用于人脸3D模型中。而脸型变短BS、颧骨变低BS的调整系数将确定为0或者其它值。故依据脸型属性信息，首先对初始人脸3D模型应用第一BS进行调整，得到候选人脸3D模型，变形后的卡通人脸长宽比一般与真实人脸长宽比较为一致。

当第一目标项为眼睛，若基于第一图像确定的眼睛属性信息为深眼窝、大眼间距，对应的第一BS则包括眼窝深度BS、眼间距BS。眼窝深度BS调整可用于弥补照片人脸眼睛关键点深度信息缺乏带来的误差；眼间距BS的调整可让之后的眼睛调整聚焦于单眼调整，保证调整后的眼睛具有对称性。当然，眼窝深度BS进一步可包括深眼窝BS等关联多种不同眼窝深度的BS；同样的，眼间距BS进一步可包括眼间距变长BS等关联多种不同眼间距长度的BS。如此，深眼窝BS、眼间距变长BS的调整系数将确定为1，优先应用于人脸3D模型中。故依据眼睛属性信息，首先对初始人脸3D模型应用第一BS进行调整，得到眼睛变形的候选人脸3D模型。

当第一目标项为鼻子，若基于第一图像确定的鼻子属性信息为高鼻梁、厚鼻头，对应的第一BS则包括鼻梁高度BS、鼻头厚度BS。鼻梁高度BS、鼻头厚度BS调整可用于弥补照片人脸鼻子关键点深度信息缺乏带来的误差。当然，鼻梁高度BS进一步可包括鼻梁变高BS等关联多种不同鼻梁高度的BS；同样的，鼻头厚度BS进一步可包括鼻头变厚BS等关联多种不同鼻头厚度的BS。如此，鼻梁变高BS、鼻头厚度BS的调整系数将确定为1，优先应用于人脸3D模型中。故依据鼻子属性信息，首先对初始人脸3D模型应用第一BS进行调整，得到鼻子变形的候选人脸3D模型。

当第一目标项为嘴巴，若基于第一图像确定的嘴巴属性信息为嘴唇向前、具有唇珠，对应的第一BS则包括嘴巴前后BS、唇珠BS。嘴巴前后BS、唇珠BS调整可用于调整可用于弥补照片人脸嘴巴关键点深度信息缺乏带来的误差，以及唇珠处关键点个数过少带来的拟合误差。当然，嘴巴前后BS进一步可包括嘴巴向前BS等关联多种不同嘴巴前后的BS。如此，嘴巴向前BS、唇珠BS的调整系数将确定为1，优先应用于人脸3D模型中。故依据嘴巴属性信息，首先对初始人脸3D模型应用第一BS进行调整，得到嘴巴变形的候选人脸3D模型。

在得到候选人脸3D模型之后，可选地，步骤104包括：

根据所述第一关键点的位置信息，对所述第一关键点以及所述候选人脸3D模型中第二关键点的距离进行最小化处理，确定所述第二BS对应的第二调整系数；其中，所述第二关键点为所述第一关键点对应在所述候选人脸3D模型上的关键点；

根据所述第二调整系数，使用所述第二BS对候选人脸3D模型进行调整，得到目标人脸3D模型。

该实施例中，不同的人脸面部特征项对应的关键点是预先设置的，例如人脸面部特征项为眼睛时，设置的Q个关键点包括眼角一个、眼尾一个、上眼睑多个、下眼睑多个关键点。第二BS是基于人脸面部特征项的关键点建立的不同BS，当然，也可以是第一目标项的相关BS中除第一BS之外的其它BS。通过上述步骤，先根据第一关键点的位置信息，对第一关键点以及候选人脸3D模型中第二关键点(第一关键点对应在候选人脸3D模型上的关键点)的距离进行最小化处理，能够确定第二BS对应的第二调整系数。当然，对于第二BS包括多个BS，第二调整系数相应的包括多个，与该多个BS一一对应。之后，根据所确定的第二调整系数，使用第二BS对候选人脸3D模型进行调整。

其中，所述根据所述第一关键点的位置信息，对所述第一关键点以及所述候选人脸3D模型中第二关键点的距离进行最小化处理，确定所述第二BS对应的第二调整系数，包括：

计算

最小时，当前第二BS对应的第二调整系数，其中，M为投影矩阵，k为关键点索引，n为关键点个数，F^k＝F₀ ^k+a·F_DS ^k，F₀ ^k为候选人脸3D模型中面部第k个关键点的位置信息，a为当前第二BS对应的第二调整系数，F_DS ^k为当前第二BS对应所述第k个关键点的位置信息，S^k为所述第一图像中第k个关键点的位置信息。

即对于第二BS中的每个BS，分别采用捏脸能量方程

求得方程成立时当前第二BS对应的第二调整系数。

如第一目标项为脸型，当前第二BS为脸型BS，通过最小化卡通人脸脸型关键点与照片人脸脸型关键点的距离，即

中代入脸型对应的关键点的位置信息，得到当前第二BS对应的第二调整系数。之后，将该当前第二BS应用于卡通人脸中，可得到具有高保真度的卡通人脸型。

如第一目标项为眼睛，当前第二BS为眼睛BS，通过最小化卡通人脸眼睛关键点与照片人脸眼睛关键点的距离，即

中代入眼睛对应的关键点的位置信息，得到当前第二BS对应的第二调整系数。之后，将该当前第二BS应用于卡通人脸中，可得到具有高保真度的卡通人眼睛。

如第一目标项为鼻子，当前第二BS为鼻子BS，通过最小化卡通人脸鼻子关键点与照片人脸鼻子关键点的距离，即

中代入鼻子对应的关键点的位置信息，得到当前第二BS对应的第二调整系数。之后，将该当前第二BS应用于卡通人脸中，可得到具有高保真度的卡通人鼻子。

如第一目标项为嘴巴，当前第二BS为嘴巴BS，通过最小化卡通人脸嘴巴关键点与照片人脸嘴巴关键点的距离，即

中代入嘴巴对应的关键点的位置信息，得到当前第二BS对应的第二调整系数。之后，将该当前第二BS应用于卡通人脸中，可得到具有高保真度的卡通人嘴巴。

另外，可选地，所述根据所述第一关键点的位置信息，对所述第一关键点以及所述候选人脸3D模型中第二关键点的距离进行最小化处理，确定所述第二BS对应的第二调整系数之前，还包括：

在所述第一目标项为特定目标项的情况下，基于所述第一目标项的第一区域或者所述第二目标项的第二区域，调整所述第一关键点以及所述第二关键点的位置信息。

这样，对于人脸3D模型设置中，特定目标项具有特性化设置的情况，可通过上述步骤，以第一目标项的第一区域和第二目标项的第二区域中的任一者为基础来调整关键点的位置，来保证保留对特定目标项的特性化设置。

具体的，第一区域或第二区域是其对应目标项的矩形区域，则关键点的位置信息的调整是将关键点同时缩放在该矩形区域。优选地，可将该矩形区域的两个方向上的缩放因子应用于所有的目标项调整BS中。

例如，由于通常的卡通人脸3D模型(初始人脸3D模型)设置卡通人眼睛相比与真实人眼睛具有较大的卡通特性(如大眼睛)，因此，可将卡通人脸眼睛关键点和照片人脸眼睛关键点同时缩放到同一个矩形区域(该矩形区域为照片的眼睛区域或卡通人脸3D模型的眼睛区域)，并将相应的x和y向缩放因子应用于所有的眼睛调整BS中。这样可保证拟合后的卡通人脸依旧具有大眼睛的特征。

此外，该实施例中，还包括：

在根据所述第一目标项的属性信息，使用与所述第一目标项对应的第一形状融合模型BS对初始人脸3D模型进行调整之前，

若所述第一图像中检测到面部表情信息，则根据所述面部表情信息，对所述初始人脸3D模型的面部表情进行调整；

若所述第一图像中检测到头部转动角度信息，根据所述头部转动角度信息，则对所述初始人脸3D模型的头部转动角度进行调整。

这样，对于第一图像中检测到面部表情信息和头部转动角度信息中至少一者的情况，会在使用BS对该初始人脸3D模型调整前，先由检测到的面部表情信息和头部转动角度信息中至少一者，对初始人脸3D模型的面部表情和/或头部转动角度进行调整，使得初始人脸3D模型与第一图像的面部表情以及头部转动角度一致。当然，之后使用BS对该初始人脸3D模型的调整，该初始人脸3D模型是具有与第一图像一致的面部表情以及头部转动角度的。

综上，本发明实施例的方法，在获取到第一图像后，能够基于该第一图像确定第一目标项(人脸面部特征项)的属性信息和第一关键点(第一目标项对应的关键点)的位置信息，继而，根据该第一目标项的属性信息，使用第一目标项对应的第一BS对初始人脸3D模型进行调整，先获得候选人脸3D模型，然后，再根据第一关键点的位置信息，使用与该第一关键点对应的第二BS对已获得的候选人脸3D模型进行调整，得到目标人脸3D模型。这样，初始人脸3D模型通过二次调整后所得的目标人脸3D模型，与第一图像具有更高的拟合精度。

如图2所示，本发明实施例的一种图像处理装置，包括：

获取模块210，用于获取第一图像；

确定模块220，用于确定所述第一图像中第一目标项的属性信息和第一关键点的位置信息；其中，所述第一目标项为人脸面部特征项，所述第一关键点为所述第一目标项对应的关键点；

第一处理模块230，用于根据所述第一目标项的属性信息，使用与所述第一目标项对应的第一形状融合模型BS对初始人脸3D模型进行调整，得到候选人脸3D模型；

第二处理模块240，用于根据所述第一关键点的位置信息，使用与所述第一关键点对应的第二BS对所述候选人脸3D模型进行调整，得到目标人脸3D模型。

可选地，所述第一处理模块包括：

第一处理子模块，用于根据所述第一目标项的属性信息以及第一BS关联的第二目标项的属性信息，确定所述第一BS对应的第一调整系数；

第二处理子模块，用于根据所述第一调整系数，使用所述第一BS对初始人脸3D模型进行调整，得到候选人脸3D模型。

可选地，所述第二处理模块包括：

第三处理子模块，用于根据所述第一关键点的位置信息，对所述第一关键点以及所述候选人脸3D模型中第二关键点的距离进行最小化处理，确定所述第二BS对应的第二调整系数；其中，所述第二关键点为所述第一关键点对应在所述候选人脸3D模型上的关键点；

第四处理子模块，用于根据所述第二调整系数，使用所述第二BS对候选人脸3D模型进行调整，得到目标人脸3D模型。

可选地，所述第三处理子模块还用于：

计算

最小时，当前第二BS对应的第二调整系数，其中，M为投影矩阵，k为关键点索引，n为关键点个数，F^k＝F₀ ^k+a·F_DS ^k，F₀ ^k为候选人脸3D模型中面部第k个关键点的位置信息，a为当前第二BS对应的第二调整系数，F_DS ^k为当前第二BS对应所述第k个关键点的位置信息，S^k为所述第一图像中第k个关键点的位置信息。

可选地，所述第二处理模块还包括：

预处理子模块，用于在所述第一目标项为特定目标项的情况下，基于所述第一目标项的第一区域或者所述第二目标项的第二区域，调整所述第一关键点以及所述第二关键点的位置信息。

可选地，所述装置还包括：

第三处理模块，用于在根据所述第一目标项的属性信息，使用与所述第一目标项对应的第一形状融合模型BS对初始人脸3D模型进行调整之前，

若所述第一图像中检测到面部表情信息，则根据所述面部表情信息，对所述初始人脸3D模型的面部表情进行调整；

若所述第一图像中检测到头部转动角度信息，根据所述头部转动角度信息，则对所述初始人脸3D模型的头部转动角度进行调整。

该装置，在获取到第一图像后，能够基于该第一图像确定第一目标项(人脸面部特征项)的属性信息和第一关键点(第一目标项对应的关键点)的位置信息，继而，根据该第一目标项的属性信息，使用第一目标项对应的第一BS对初始人脸3D模型进行调整，先获得候选人脸3D模型，然后，再根据第一关键点的位置信息，使用与该第一关键点对应的第二BS对已获得的候选人脸3D模型进行调整，得到目标人脸3D模型。这样，初始人脸3D模型通过二次调整后所得的目标人脸3D模型，与第一图像具有更高的拟合精度。

需要说明的是，该装置是应用了上述图像处理方法的装置，上述图像处理方法的实施例的实现方式适用于该装置，也能达到相同的技术效果。

如图3所示，本发明实施例的一种用户设备300，包括处理器310，所述处理器310用于：

获取第一图像；

确定所述第一图像中第一目标项的属性信息和第一关键点的位置信息；其中，所述第一目标项为人脸面部特征项，所述第一关键点为所述第一目标项对应的关键点；

根据所述第一目标项的属性信息，使用与所述第一目标项对应的第一形状融合模型BS对初始人脸3D模型进行调整，得到候选人脸3D模型；

根据所述第一关键点的位置信息，使用与所述第一关键点对应的第二BS对所述候选人脸3D模型进行调整，得到目标人脸3D模型。

可选地，所述处理器还用于：

根据所述第一目标项的属性信息以及第一BS关联的第二目标项的属性信息，确定所述第一BS对应的第一调整系数；

根据所述第一调整系数，使用所述第一BS对初始人脸3D模型进行调整，得到候选人脸3D模型。

可选地，所述处理器还用于：

根据所述第一关键点的位置信息，对所述第一关键点以及所述候选人脸3D模型中第二关键点的距离进行最小化处理，确定所述第二BS对应的第二调整系数；其中，所述第二关键点为所述第一关键点对应在所述候选人脸3D模型上的关键点；

根据所述第二调整系数，使用所述第二BS对候选人脸3D模型进行调整，得到目标人脸3D模型。

可选地，所述处理器还用于：

计算

最小时，当前第二BS对应的第二调整系数，其中，M为投影矩阵，k为关键点索引，n为关键点个数，F^k＝F₀ ^k+a·F_DS ^k，F₀ ^k为候选人脸3D模型中面部第k个关键点的位置信息，a为当前第二BS对应的第二调整系数，F_DS ^k为当前第二BS对应所述第k个关键点的位置信息，S^k为所述第一图像中第k个关键点的位置信息。

可选地，所述处理器还用于：

在所述第一目标项为特定目标项的情况下，基于所述第一目标项的第一区域或者所述第二目标项的第二区域，调整所述第一关键点以及所述第二关键点的位置信息。

可选地，所述处理器还用于：

在根据所述第一目标项的属性信息，使用与所述第一目标项对应的第一形状融合模型BS对初始人脸3D模型进行调整之前，

若所述第一图像中检测到面部表情信息，则根据所述面部表情信息，对所述初始人脸3D模型的面部表情进行调整；

若所述第一图像中检测到头部转动角度信息，根据所述头部转动角度信息，则对所述初始人脸3D模型的头部转动角度进行调整。

该实施例的用户设备，在获取到第一图像后，能够基于该第一图像确定第一目标项(人脸面部特征项)的属性信息和第一关键点(第一目标项对应的关键点)的位置信息，继而，根据该第一目标项的属性信息，使用第一目标项对应的第一BS对初始人脸3D模型进行调整，先获得候选人脸3D模型，然后，再根据第一关键点的位置信息，使用与该第一关键点对应的第二BS对已获得的候选人脸3D模型进行调整，得到目标人脸3D模型。这样，初始人脸3D模型通过二次调整后所得的目标人脸3D模型，与第一图像具有更高的拟合精度。

本发明另一实施例的一种用户设备，如图4所示，包括收发器410、处理器400、存储器420及存储在所述存储器420上并可在所述处理器400上运行的程序或指令；所述处理器400执行所述程序或指令时实现上述图像处理方法。

所述收发器410，用于在处理器400的控制下接收和发送数据。

其中，在图4中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器400代表的一个或多个处理器和存储器420代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发器410可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。针对不同的用户设备，用户接口430还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。

处理器400负责管理总线架构和通常的处理，存储器420可以存储处理器400在执行操作时所使用的数据。

本发明实施例的一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上所述的图像处理方法中的步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的用户设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

进一步需要说明的是，此说明书中所描述的用户设备包括但不限于智能手机、平板电脑等，且所描述的许多功能部件都被称为模块，以便更加特别地强调其实现方式的独立性。

本发明实施例中，模块可以用软件实现，以便由各种类型的处理器执行。举例来说，一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块，举例来说，其可以被构建为对象、过程或函数。尽管如此，所标识模块的可执行代码无需物理地位于一起，而是可以包括存储在不同位里上的不同的指令，当这些指令逻辑上结合在一起时，其构成模块并且实现该模块的规定目的。

实际上，可执行代码模块可以是单条指令或者是许多条指令，并且甚至可以分布在多个不同的代码段上，分布在不同程序当中，以及跨越多个存储器设备分布。同样地，操作数据可以在模块内被识别，并且可以依照任何适当的形式实现并且被组织在任何适当类型的数据结构内。所述操作数据可以作为单个数据集被收集，或者可以分布在不同位置上(包括在不同存储设备上)，并且至少部分地可以仅作为电子信号存在于系统或网络上。

在模块可以利用软件实现时，考虑到现有硬件工艺的水平，所以可以以软件实现的模块，在不考虑成本的情况下，本领域技术人员都可以搭建对应的硬件电路来实现对应的功能，所述硬件电路包括常规的超大规模集成(VLSI)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。

上述范例性实施例是参考该些附图来描述的，许多不同的形式和实施例是可行而不偏离本发明精神及教示，因此，本发明不应被建构成为在此所提出范例性实施例的限制。更确切地说，这些范例性实施例被提供以使得本发明会是完善又完整，且会将本发明范围传达给那些熟知此项技术的人士。在该些图式中，组件尺寸及相对尺寸也许基于清晰起见而被夸大。在此所使用的术语只是基于描述特定范例性实施例目的，并无意成为限制用。如在此所使用地，除非该内文清楚地另有所指，否则该单数形式“一”、“一个”和“该”是意欲将该些多个形式也纳入。会进一步了解到该些术语“包含”及/或“包括”在使用于本说明书时，表示所述特征、整数、步骤、操作、构件及/或组件的存在，但不排除一或更多其它特征、整数、步骤、操作、构件、组件及/或其族群的存在或增加。除非另有所示，陈述时，一值范围包含该范围的上下限及其间的任何子范围。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种图像处理方法，其特征在于，由用户设备执行，包括：

获取第一图像；

确定所述第一图像中第一目标项的属性信息和第一关键点的位置信息；其中，所述第一目标项为人脸面部特征项，所述第一关键点为所述第一目标项对应的关键点；

根据所述第一目标项的属性信息，使用与所述第一目标项对应的第一形状融合模型BS对初始人脸3D模型进行调整，得到候选人脸3D模型；

根据所述第一关键点的位置信息，使用与所述第一关键点对应的第二BS对所述候选人脸3D模型进行调整，得到目标人脸3D模型。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一目标项的属性信息，使用与所述第一目标项对应的第一形状融合模型BS对初始人脸3D模型进行调整，得到候选人脸3D模型，包括：

根据所述第一目标项的属性信息以及第一BS关联的第二目标项的属性信息，确定所述第一BS对应的第一调整系数；

根据所述第一调整系数，使用所述第一BS对初始人脸3D模型进行调整，得到候选人脸3D模型。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一关键点的位置信息，使用与所述第一关键点对应的第二BS对候选人脸3D模型进行调整，得到目标人脸3D模型，包括：

根据所述第一关键点的位置信息，对所述第一关键点以及所述候选人脸3D模型中第二关键点的距离进行最小化处理，确定所述第二BS对应的第二调整系数；其中，所述第二关键点为所述第一关键点对应在所述候选人脸3D模型上的关键点；

根据所述第二调整系数，使用所述第二BS对候选人脸3D模型进行调整，得到目标人脸3D模型。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一关键点的位置信息，对所述第一关键点以及所述候选人脸3D模型中第二关键点的距离进行最小化处理，确定所述第二BS对应的第二调整系数，包括：

计算

最小时，当前第二BS对应的第二调整系数，其中，M为投影矩阵，k为关键点索引，n为关键点个数，F^k＝F₀ ^k+a·F_DS ^k，F₀ ^k为候选人脸3D模型中面部第k个关键点的位置信息，a为当前第二BS对应的第二调整系数，F_DS ^k为当前第二BS对应所述第k个关键点的位置信息，S^k为所述第一图像中第k个关键点的位置信息。

5.根据权利要求3所述的方法，其特征在于，所述根据所述第一关键点的位置信息，对所述第一关键点以及所述候选人脸3D模型中第二关键点的距离进行最小化处理，确定所述第二BS对应的第二调整系数之前，还包括：

在所述第一目标项为特定目标项的情况下，基于所述第一目标项的第一区域或者所述第二目标项的第二区域，调整所述第一关键点以及所述第二关键点的位置信息。

6.根据权利要求1所述的方法，其特征在于，还包括：

在根据所述第一目标项的属性信息，使用与所述第一目标项对应的第一形状融合模型BS对初始人脸3D模型进行调整之前，

若所述第一图像中检测到面部表情信息，则根据所述面部表情信息，对所述初始人脸3D模型的面部表情进行调整；

若所述第一图像中检测到头部转动角度信息，根据所述头部转动角度信息，则对所述初始人脸3D模型的头部转动角度进行调整。

7.一种图像处理装置，其特征在于，包括：

获取模块，用于获取第一图像；

确定模块，用于确定所述第一图像中第一目标项的属性信息和第一关键点的位置信息；其中，所述第一目标项为人脸面部特征项，所述第一关键点为所述第一目标项对应的关键点；

第一处理模块，用于根据所述第一目标项的属性信息，使用与所述第一目标项对应的第一形状融合模型BS对初始人脸3D模型进行调整，得到候选人脸3D模型；

第二处理模块，用于根据所述第一关键点的位置信息，使用与所述第一关键点对应的第二BS对所述候选人脸3D模型进行调整，得到目标人脸3D模型。

8.根据权利要求7所述的装置，其特征在于，所述第一处理模块包括：

第一处理子模块，用于根据所述第一目标项的属性信息以及第一BS关联的第二目标项的属性信息，确定所述第一BS对应的第一调整系数；

第二处理子模块，用于根据所述第一调整系数，使用所述第一BS对初始人脸3D模型进行调整，得到候选人脸3D模型。

9.根据权利要求7所述的装置，其特征在于，所述第二处理模块包括：

第三处理子模块，用于根据所述第一关键点的位置信息，对所述第一关键点以及所述候选人脸3D模型中第二关键点的距离进行最小化处理，确定所述第二BS对应的第二调整系数；其中，所述第二关键点为所述第一关键点对应在所述候选人脸3D模型上的关键点；

第四处理子模块，用于根据所述第二调整系数，使用所述第二BS对候选人脸3D模型进行调整，得到目标人脸3D模型。

10.根据权利要求9所述的装置，其特征在于，所述第三处理子模块还用于：

计算

最小时，当前第二BS对应的第二调整系数，其中，M为投影矩阵，k为关键点索引，n为关键点个数，F^k＝F₀ ^k+a·F_DS ^k，F₀ ^k为候选人脸3D模型中面部第k个关键点的位置信息，a为当前第二BS对应的第二调整系数，F_DS ^k为当前第二BS对应所述第k个关键点的位置信息，S^k为所述第一图像中第k个关键点的位置信息。

11.根据权利要求9所述的装置，其特征在于，所述第二处理模块还包括：

预处理子模块，用于在所述第一目标项为特定目标项的情况下，基于所述第一目标项的第一区域或者所述第二目标项的第二区域，调整所述第一关键点以及所述第二关键点的位置信息。

12.根据权利要求7所述的装置，其特征在于，还包括：

第三处理模块，用于在根据所述第一目标项的属性信息，使用与所述第一目标项对应的第一形状融合模型BS对初始人脸3D模型进行调整之前，

若所述第一图像中检测到面部表情信息，则根据所述面部表情信息，对所述初始人脸3D模型的面部表情进行调整；

若所述第一图像中检测到头部转动角度信息，根据所述头部转动角度信息，则对所述初始人脸3D模型的头部转动角度进行调整。

13.一种用户设备，其特征在于，包括处理器，所述处理器用于：

获取第一图像；

确定所述第一图像中第一目标项的属性信息和第一关键点的位置信息；其中，所述第一目标项为人脸面部特征项，所述第一关键点为所述第一目标项对应的关键点；

根据所述第一目标项的属性信息，使用与所述第一目标项对应的第一形状融合模型BS对初始人脸3D模型进行调整，得到候选人脸3D模型；

根据所述第一关键点的位置信息，使用与所述第一关键点对应的第二BS对所述候选人脸3D模型进行调整，得到目标人脸3D模型。

14.一种用户设备，包括：收发器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令；其特征在于，所述处理器执行所述程序或指令时实现如权利要求1-6任一项所述的图像处理方法。

15.一种可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被处理器执行时实现如权利要求1-6任一项所述的图像处理方法中的步骤。

Images