CN114529640B - 一种运动画面生成方法、装置、计算机设备和存储介质 - Google Patents
一种运动画面生成方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN114529640B CN114529640B CN202210147933.8A CN202210147933A CN114529640B CN 114529640 B CN114529640 B CN 114529640B CN 202210147933 A CN202210147933 A CN 202210147933A CN 114529640 B CN114529640 B CN 114529640B
- Authority
- CN
- China
- Prior art keywords
- face model
- initial
- target
- model
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开提供了一种运动画面生成方法、装置、计算机设备和存储介质，其中，该方法包括：获取预先绘制的目标人脸模型；从基础人脸库中选择与目标人脸模型匹配的至少一个基础人脸模型，并基于至少一个基础人脸模型分别对应的骨骼参数和蒙皮矩阵，确定初始人脸模型；基于初始人脸模型和目标人脸模型，迭代调整初始人脸模型的骨骼参数，得到使得初始人脸模型与目标人脸模型之间的误差最小时的基准骨骼参数；基准骨骼参数用于制作生成目标人脸模型运动时的各帧画面。
Description
技术领域
本公开涉及计算机领域技术领域，具体而言，涉及一种运动画面生成方法、装置、计算机设备和存储介质。
背景技术
捏脸软件通常是指建立脸部骨骼并在脸部骨骼上添加蒙皮之后，用户通过调整骨骼参数来改变人脸模型。动画角色中人脸模型的制作通常是具有美学和图形学的工作人员利用三维软件绘制的，若需要改变动画角色的表情，生成平滑运动的各帧表情画面，也即表情自然转化的情况，则需要若干组骨骼参数。
由于利用三维软件绘制的人脸模型的骨骼参数未知，因此，不能利用捏脸软件得到相应的骨骼参数。若手动调整人脸模型的顶点(如骨骼之间关联的点的位置)，由于人脸模型存在较多顶点，则手动调整人脸模型的顶点得到平滑运动的各帧表情画面所需要的工作量较大，成本较高。
发明内容
本公开实施例至少提供一种运动画面生成方法、装置、计算机设备和存储介质。
第一方面，本公开实施例提供了一种运动画面生成方法，包括：
获取预先绘制的目标人脸模型；
从基础人脸库中选择与所述目标人脸模型匹配的至少一个基础人脸模型，并基于所述至少一个基础人脸模型分别对应的骨骼参数和蒙皮矩阵，确定初始人脸模型；
基于所述初始人脸模型和所述目标人脸模型，迭代调整所述初始人脸模型的骨骼参数，得到使得所述初始人脸模型与所述目标人脸模型之间的误差最小时的基准骨骼参数；
所述基准骨骼参数用于制作生成所述目标人脸模型运动时的各帧画面。
一种可选的实施方式中，所述从基础人脸库中选择与所述目标人脸模型匹配的至少一个基础人脸模型，包括：
从所述基础人脸库中选择与所述目标人脸模型的脸型类别匹配的多个候选人脸模型；
基于所述多个候选人脸模型与所述目标人脸模型分别对应的目标点位置信息，计算每个所述候选人脸模型与所述目标人脸模型之间的误差信息；
从所述多个候选人脸模型中选择出对应的所述误差信息满足预设条件的所述至少一个基础人脸模型。
一种可选的实施方式中，所述目标点包括面部关键点和模型顶点；
所述基于所述多个候选人脸模型与所述目标人脸模型分别对应的目标点位置信息，计算每个所述候选人脸模型与所述目标人脸模型之间的误差信息，包括：
基于所述多个候选人脸模型与所述目标人脸模型分别对应的多个面部关键点的位置信息和多个模型顶点的位置信息，分别计算每个所述候选人脸模型与所述目标人脸模型之间的第一累计位置误差，将所述第一累计位置误差作为所述候选人脸模型与所述目标人脸模型之间的误差信息。
一种可选的实施方式中，所述至少一个基础人脸模型为多个，基于多个基础人脸模型分别对应的骨骼参数和蒙皮矩阵，确定初始人脸模型，包括：
基于各个所述基础人脸模型的骨骼参数分别对应的第一权重信息，对各个所述基础人脸模型的骨骼参数进行加权求和，得到所述初始人脸模型的初始骨骼参数；以及，基于各个所述基础人脸模型的蒙皮矩阵分别对应的第二权重信息，对各个所述基础人脸模型的蒙皮矩阵进行加权求和，得到所述初始人脸模型的初始蒙皮矩阵；
基于所述初始骨骼参数和所述初始蒙皮矩阵，确定所述初始人脸模型。
一种可选的实施方式中，所述基于所述初始人脸模型和所述目标人脸模型，迭代调整所述初始人脸模型的骨骼参数，得到使得所述初始人脸模型与所述目标人脸模型之间的误差最小时的基准骨骼参数，包括：
基于所述初始人脸模型和所述目标人脸模型分别对应的多个模型顶点的位置信息，确定所述初始人脸模型与所述目标人脸模型之间的第二累计位置误差；
若所述第二累计位置误差不满足迭代截止条件，则更新所述初始人脸模型的骨骼参数，基于更新后的骨骼参数更新所述初始人脸模型，并针对更新后的所述初始人脸模型重复上述确定所述第二累计位置误差的步骤，直到确定的第二累计位置误差满足迭代截止条件为止，将最终更新后的骨骼参数作为所述基准骨骼参数。
一种可选的实施方式中，还包括：
将满足迭代截止条件时，最新更新的所述初始人脸模型存入所述基准人脸库。
一种可选的实施方式中，所述方法还包括：
基于所述基准骨骼参数，和目标画面帧对应的所述目标人脸模型达到预设姿态时的目标骨骼参数，生成从所述基准骨骼参数对应的初始画面帧到所述目标画面帧之间的多个中间画面帧分别对应的多组过渡骨骼参数；
基于所述基准骨骼参数和所述多组过渡骨骼参数，生成所述目标人脸模型达到所述预设姿态时对应的各帧画面。
第二方面，本公开实施例还提供一种运动画面生成装置，包括：
获取模块，用于获取预先绘制的目标人脸模型；
第一确定模块，用于从基础人脸库中选择与所述目标人脸模型匹配的至少一个基础人脸模型，并基于所述至少一个基础人脸模型分别对应的骨骼参数和蒙皮矩阵，确定初始人脸模型；
第二确定模块，用于基于所述初始人脸模型和所述目标人脸模型，迭代调整所述初始人脸模型的骨骼参数，得到使得所述初始人脸模型与所述目标人脸模型之间的误差最小时的基准骨骼参数；
所述基准骨骼参数用于制作生成所述目标人脸模型运动时的各帧画面。
一种可选的实施方式中，所述第一确定模块，具体用于从所述基础人脸库中选择与所述目标人脸模型的脸型类别匹配的多个候选人脸模型；
基于所述多个候选人脸模型与所述目标人脸模型分别对应的目标点位置信息，计算每个所述候选人脸模型与所述目标人脸模型之间的误差信息；
从所述多个候选人脸模型中选择出对应的所述误差信息满足预设条件的所述至少一个基础人脸模型。
一种可选的实施方式中，所述目标点包括面部关键点和模型顶点；
所述第一确定模块，具体用于基于所述多个候选人脸模型与所述目标人脸模型分别对应的多个面部关键点的位置信息和多个模型顶点的位置信息，分别计算每个所述候选人脸模型与所述目标人脸模型之间的第一累计位置误差，将所述第一累计位置误差作为所述候选人脸模型与所述目标人脸模型之间的误差信息。
一种可选的实施方式中，所述第一确定模块，具体用于基于各个所述基础人脸模型的骨骼参数分别对应的第一权重信息，对各个所述基础人脸模型的骨骼参数进行加权求和，得到所述初始人脸模型的初始骨骼参数；以及，基于各个所述基础人脸模型的蒙皮矩阵分别对应的第二权重信息，对各个所述基础人脸模型的蒙皮矩阵进行加权求和，得到所述初始人脸模型的初始蒙皮矩阵；
基于所述初始骨骼参数和所述初始蒙皮矩阵，确定所述初始人脸模型。
一种可选的实施方式中，所述第二确定模块，具体用于基于所述初始人脸模型和所述目标人脸模型分别对应的多个模型顶点的位置信息，确定所述初始人脸模型与所述目标人脸模型之间的第二累计位置误差；
若所述第二累计位置误差不满足迭代截止条件，则更新所述初始人脸模型的骨骼参数，基于更新后的骨骼参数更新所述初始人脸模型，并针对更新后的所述初始人脸模型重复上述确定所述第二累计位置误差的步骤，直到确定的第二累计位置误差满足迭代截止条件为止，将最终更新后的骨骼参数作为所述基准骨骼参数。
一种可选的实施方式中，所述装置还包括存储模块，用于将满足迭代截止条件时，最新更新的所述初始人脸模型存入所述基准人脸库。
一种可选的实施方式中，所述装置还包括生成模块，用于基于所述基准骨骼参数，和目标画面帧对应的所述目标人脸模型达到预设姿态时的目标骨骼参数，生成从所述基准骨骼参数对应的初始画面帧到所述目标画面帧之间的多个中间画面帧分别对应的多组过渡骨骼参数；
基于所述基准骨骼参数和所述多组过渡骨骼参数，生成所述目标人脸模型达到所述预设姿态时对应的各帧画面。
第三方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的运动画面生成方法的步骤。
第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的运动画面生成方法的步骤。
关于上述运动画面生成装置、计算机设备和存储介质的效果描述参见上述运动画面生成方法的说明，这里不再赘述。
本公开实施例提供的运动画面生成方法、装置、计算机设备和存储介质，通过获取预先绘制的目标人脸模型；从基础人脸库中选择与目标人脸模型匹配的至少一个基础人脸模型，并基于至少一个基础人脸模型分别对应的骨骼参数和蒙皮矩阵，确定初始人脸模型；基于初始人脸模型和目标人脸模型，迭代调整初始人脸模型的骨骼参数，得到使得初始人脸模型与目标人脸模型之间的误差最小时的基准骨骼参数；基准骨骼参数用于制作生成目标人脸模型运动时的各帧画面。
也即，本公开实施例基于基础人脸库，能够初步获取到与目标人脸模型较为相似的至少一个基础人脸模型；之后，根据至少一个基础人脸模型分别对应的骨骼参数和蒙皮矩阵，可以确定一个初始人脸模型；利用该初始人脸模型的蒙皮矩阵，迭代调整初始人脸模型的骨骼参数，能够得到初始人脸模型与目标人脸模型之间的误差最小时的基准骨骼参数；在之后制作目标人脸模型运动时的各帧画面的过程中，可以使用该组基准骨骼参数来生成目标人脸模型运动时对应的各帧画面，也即实现人脸模型的表情动作，从而提高各帧画面的制作效率。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种运动画面生成方法的流程图；
图2示出了本公开实施例所提供的候选人脸模型与目标人脸模型对应的面部关键点的对比示意图；
图3示出了本公开实施例所提供的候选人脸模型与目标人脸模型对应的模型顶点的对比示意图；
图4示出了本公开实施例所提供的骨骼参数反解算的流程示意图；
图5示出了本公开实施例所提供的候选人脸模型、预先绘制的目标人脸模型、以及基于基准骨骼参数生成的目标人脸模型的对比展示示意图；
图6示出了本公开实施例所提供的目标人脸模型达到预设姿态时对应的各帧画面的展示示意图；
图7示出了本公开实施例所提供的一种运动画面生成装置的示意图；
图8示出了本公开实施例所提供的一种计算机设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
另外，本公开实施例中的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。
在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
经研究发现，动画角色中人脸模型的制作通常是具有美学和图形学的工作人员利用三维软件绘制的，若需要改变动画角色的表情，生成平滑运动的各帧表情画面，也即表情自然转化的情况，则需要若干组骨骼参数。目前，可以通过手动调整人脸模型的顶点(如骨骼之间关联的点的位置)，改变利用三维软件绘制的人脸模型，但是，由于人脸模型存在较多顶点，手动调整人脸模型的顶点得到平滑运动的各帧表情画面所需要的工作量较大，成本较高。
基于上述研究，本公开提供了一种运动画面生成方法，基于基础人脸库，能够初步获取到与目标人脸模型较为相似的至少一个基础人脸模型；之后，根据至少一个基础人脸模型分别对应的骨骼参数和蒙皮矩阵，可以确定一个初始人脸模型；利用该初始人脸模型的蒙皮矩阵，迭代调整初始人脸模型的骨骼参数，能够得到初始人脸模型与目标人脸模型之间的误差最小时的基准骨骼参数；在之后制作目标人脸模型运动时的各帧画面的过程中，可以使用该组基准骨骼参数来生成目标人脸模型运动时对应的各帧画面，也即实现人脸模型的表情动作，从而提高各帧画面的制作效率。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种运动画面生成方法进行详细介绍，本公开实施例所提供的运动画面生成方法的执行主体一般为具有一定计算能力的计算机设备。在一些可能的实现方式中，该运动画面生成方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面以执行主体为计算机设备为例对本公开实施例提供的运动画面生成方法加以说明。
参见图1所示，为本公开实施例提供的一种运动画面生成方法的流程图，所述方法包括步骤S101～S103，其中：
S101：获取预先绘制的目标人脸模型。
本步骤中，目标人脸模型可以是利用三维软件绘制出的三维人脸模型，比如动画角色人物、游戏角色人物等。或者，也可以是利用三维扫描技术扫描真人获得的。
S102：从基础人脸库中选择与目标人脸模型匹配的至少一个基础人脸模型，并基于至少一个基础人脸模型分别对应的骨骼参数和蒙皮矩阵，确定初始人脸模型。
基础人脸库中可以包含有多种人脸模型，不同人脸模型可以是基于捏脸软件，根据人物属性批量制作得到的。
这里，每个人脸模型分别对应有各自的骨骼参数和蒙皮矩阵，且每个人脸模型均有其固定的蒙皮矩阵。基于骨骼参数和蒙皮矩阵可以确定静态的人脸模型，若要驱动人脸模型运动，则需要多组该人脸模型的骨骼参数，也即人脸模型运动的位置是由骨骼参数和蒙皮矩阵决定的。一组骨骼参数可以由对应的人脸模型的多个骨骼的位置坐标(即3D位置坐标)组成，这里，骨骼的位置坐标可以包括能够表征骨骼特征的多个位置点(比如骨骼关节点)的坐标，此外，骨骼参数还可以包括骨骼长度等参数。蒙皮矩阵包括基于该人脸模型的多个骨骼的位置坐标进行蒙皮运算时的权重值，也即蒙皮权重，取值范围为0～1。这里，每个模型顶点可以绑定多根骨骼，蒙皮权重相当于每根骨骼对于该模型顶点位置的作用权重，也即该模型顶点的位置相当于将与其绑定的各根骨骼的对应位置点的位置进行加权求和。
针对从基础人脸库中选择与目标人脸模型匹配的至少一个基础人脸模型，可以参见下述多种选择(A1～A2)方式：
A1、以目标人脸模型为目标，可以从基础人脸库中选择与目标人脸模型的脸部特征相近的人脸模型，作为与目标人脸模型匹配的基础人脸模型。
其中，脸部特征可以包括脸型特征和五官特征等。
A1-1、可以以脸型特征为例，可以利用脸型分类器确定目标人脸模型的脸型类别；之后，可以从基础人脸库中选择与目标人脸模型的脸型类别匹配的多个基础人脸模型。这里，脸型类别例如包括方脸、三角形、椭圆形、心形和圆形等类别。
A1-2、还可以以五官特征为例，在绘制得到目标人脸模型后，可以利用五官分类器，确定目标人脸模型的五官类别，例如，眼睛特征可以包括圆眼、三角眼等类别；鼻子特征可以包括高鼻梁、矮鼻梁、圆鼻头、三角鼻头等类别；嘴巴特征可以包括标准唇、嘟嘟唇、小圆唇等类别。之后，可以从基础人脸库中选择与目标人脸模型的五官类别匹配的多个基础人脸模型。
A2、首先，可以从基础人脸库中选择与目标人脸模型的脸型类别匹配的多个候选人脸模型；之后，再基于多个候选人脸模型与目标人脸模型分别对应的目标点位置信息，计算每个候选人脸模型与目标人脸模型之间的误差信息；从多个候选人脸模型中选择出对应的误差信息满足预设条件的至少一个基础人脸模型。
这里，按照脸型类别选择出候选人脸模型的过程可以参见上述A1-1中按照脸型类别选择人脸模型的过程。
示例性的，利用脸型分类器，确定基础人脸库中的人脸模型的脸型类别，之后，与目标人脸模型的脸型类别进行对比，确定与目标人脸模型的脸型类别匹配的人脸模型，即为候选人脸模型。
目标点可以包括面部关键点和/或模型顶点。
利用深度神经网络可以对面部五官进行关键点定位，例如，利用人脸特征点检测facial landmark算法对面部五官进行关键点定位，确定面部关键点对应的位置坐标。面部关键点对应的位置坐标为二维坐标。
面部关键点可以包括眼睛关键点，例如瞳孔、左眼角、右眼角等关键点；鼻子关键点，例如鼻尖、鼻翼、鼻根等关键点；嘴巴关键点，例如，口角、上唇中心、下唇中心等关键点。
在确定了人脸模型的情况下，即可获得该人脸模型在三维空间中的3D位置坐标。模型顶点可以包括头部中与各骨骼相互绑定的点，例如，骨骼之间的连接点等；和/或，自定义的头部3D坐标点，例如，头部表面自定义的位置点。
A2-1、若目标点仅包括面部关键点，则基于多个候选人脸模型与目标人脸模型分别对应的多个面部关键点的位置信息，计算每个候选人脸模型与目标人脸模型之间的误差信息；从多个候选人脸模型中选择出对应的误差信息满足预设条件的至少一个基础人脸模型。
面部关键点的位置信息可以包括面部关键点的二维位置坐标。
具体实施时，以一个候选人脸模型为例，分别计算候选人脸模型与目标人脸模型对应的各个面部关键点对应的二维位置坐标之间的距离误差，并累计各个面部关键点对应的二维位置坐标之间的距离误差，得到第一距离误差之和L1，将第一距离误差之和L1作为候选人脸模型与目标人脸模型之间的误差信息；若第一距离误差之和L1小于或等于第一预设误差阈值，则可以将该候选人脸模型作为基础人脸模型。
第一距离误差之和L1的计算公式：其中，i表示第i个面部关键点，i1表示候选人脸模型中的第i个面部关键点的位置坐标，i2表示目标人脸模型中的第i个面部关键点的位置坐标，n表示面部关键点的个数，||表示取绝对值。
示例性的，参见图2所示，其为候选人脸模型与目标人脸模型对应的面部关键点的对比示意图。其中，图a表示候选人脸模型的示意图，图b表示目标人脸模型的示意图。第一距离误差之和＝|a1-a2|+|b1-b2|+|c1-c2|+|d1-d2|+|e1-e2|。
A2-2、若目标点仅包括模型顶点，则基于多个候选人脸模型与目标人脸模型分别对应的模型顶点的位置信息，计算每个候选人脸模型与目标人脸模型之间的误差信息；从多个候选人脸模型中选择出对应的误差信息满足预设条件的至少一个基础人脸模型。
模型顶点的位置信息可也包括模型顶点的三维位置坐标。
具体实施时，以一个候选人脸模型为例，分别计算候选人脸模型与目标人脸模型对应的各个模型顶点对应的三维位置坐标之间的距离误差，并累计各个模型顶点对应的三维位置坐标之间的距离误差，得到第二距离误差之和L2，将第二距离误差之和L2作为候选人脸模型与目标人脸模型之间的误差信息；若第二距离误差之和L2小于或等于第二预设误差阈值，则可以将该候选人脸模型作为基础人脸模型。
第二距离误差之和L2的计算公式：其中，j表示第j个模型顶点，j1表示候选人脸模型中的第j个模型顶点的三维位置坐标，j2表示目标人脸模型中的第j个模型顶点的三维位置坐标，m表示模型顶点的个数，||表示取绝对值。
示例性的，参见图3所示，其为候选人脸模型与目标人脸模型对应的模型顶点的对比示意图。其中，图c表示候选人脸模型的示意图，图d表示目标人脸模型的示意图。图中黑点表示模型顶点，实际应用场景中，人脸模型中的模型顶点有几百～几万不等，图中仅示出了人脸模型正面的几种模型顶点，还有大部分模型顶点并未示出。
A2-3、若目标点包括面部关键点和模型顶点，则基于多个候选人脸模型与目标人脸模型分别对应的多个面部关键点的位置信息和多个模型顶点的位置信息，分别计算每个候选人脸模型与目标人脸模型之间的第一累计位置误差，将第一累计位置误差作为候选人脸模型与目标人脸模型之间的误差信息。
第一累计位置误差包括上述的第一距离误差之和L1，和第二距离误差之和L2。
在第一距离误差之和L1，和第二距离误差之和L2分别满足预设条件的情况下，也即，在第一距离误差之和L1小于或等于第一预设误差阈值，以及，第二距离误差之和L2小于或等于第二预设误差阈值的情况下，可以将对应满足预设条件的候选人脸模型作为基准人脸模型。
A2-3中计算第一累计位置误差(包含第一距离误差之和L1第二距离误差之和L2)的方式可以参见上述A2-1和A2-2，重复部分在此不再赘述。
针对S102中的基于至少一个基础人脸模型分别对应的骨骼参数和蒙皮矩阵，确定初始人脸模型。在一些实施例中，若基于一个基础人脸模型对应的骨骼参数和蒙皮矩阵，确定的初始人脸模型即为该基础人脸模型。
在另一些实施例中，若上述至少一个基础人脸模型为多个，则基于多个基础人脸模型分别对应的骨骼参数和蒙皮矩阵，确定初始人脸模型，包括如下步骤：
步骤一、基于各个基础人脸模型的骨骼参数分别对应的第一权重信息，对各个基础人脸模型的骨骼参数进行加权求和，得到初始人脸模型的初始骨骼参数；以及，基于各个基础人脸模型的蒙皮矩阵分别对应的第二权重信息，对各个基础人脸模型的蒙皮矩阵进行加权求和，得到初始人脸模型的初始蒙皮矩阵。
初始人脸模型的初始骨骼参数W′的计算公式可以为：其中，Wk表示第k个基础人脸模型的骨骼参数，k∈[1，R]；R表示基础人脸模型的个数；θ表示第一权重信息指示的权重值，取值范围为0～1，可以根据经验自定义权重值，本公开实施例不进行具体限定；θk表示第k个基础人脸模型的骨骼参数的权重值。
示例性的，可以直接对多个基础人脸模型的骨骼参数进行加权平均求和，确定初始人脸模型的初始骨骼参数，也即，
初始人脸模型的初始骨骼参数G′的计算公式可以为：其中，Gk表示第k个基础人脸模型的蒙皮矩阵，γ表示第二权重信息指示的权重值，取值范围为0～1，可以根据经验自定义权重值，本公开实施例不进行具体限定；γk表示第k个基础人脸模型的蒙皮矩阵的权重值。
示例性的，可以直接对多个基础人脸模型的蒙皮矩阵进行加权平均求和，确定初始人脸模型的初始蒙皮矩阵，也即，
步骤二、基于初始骨骼参数和初始蒙皮矩阵，确定初始人脸模型。
利用蒙皮矩阵中每个骨骼对应的权重值，对对应骨骼的初始骨骼参数进行加权处理，确定初始人脸模型。
S103：基于初始人脸模型和目标人脸模型，迭代调整初始人脸模型的骨骼参数，得到使得初始人脸模型与目标人脸模型之间的误差最小时的基准骨骼参数；基准骨骼参数用于制作生成目标人脸模型运动时的各帧画面。
本公开实施例在得到基准骨骼参数之后，基于该基准骨骼参数可以制作生成多种形式的运动画面，比如目标人脸模型的运动视频、运动动画、体现连续动作的多帧图片等。
可以将初始人脸模型和目标人脸模型输入到骨骼参数反解算模型，该骨骼参数反解算模型基于梯度下降方法反解算骨骼参数，并迭代调整初始人脸模型的骨骼参数，直到得到适合目标人脸模型的基准骨骼参数，也即基于模型输出的骨骼参数确定的新的人脸模型与目标人脸模型之间的误差最小，将本次输出的骨骼参数作为基准骨骼参数。
这里，骨骼参数反解算模型可以为基于优化器Adam的算法模型。
具体实施时，基于初始人脸模型述目标人脸模型分别对应的多个模型顶点的位置信息，确定初始人脸模型与目标人脸模型之间的第二累计位置误差；若第二累计位置误差不满足迭代截止条件，则更新初始人脸模型的骨骼参数，基于更新后的骨骼参数更新初始人脸模型，并针对更新后的初始人脸模型重复上述确定第二累计位置误差的步骤，直到确定的第二累计位置误差满足迭代截止条件为止，将最终更新后的骨骼参数作为基准骨骼参数。
第二累计位置误差L3的计算公式：其中，s表示第s个模型顶点，s1表示初始人脸模型中的第s个模型顶点的三维位置坐标，s2表示目标人脸模型中的第s个模型顶点的三维位置坐标，Q表示模型顶点的个数，||表示取绝对值。
若第二累计位置误差L3大于第三预设误差阈值的情况下，则确定第二累计位置误差不满足迭代截止条件，此时可以更新初始人脸模型的骨骼参数为基于梯度下降方法反解算出的骨骼参数，基于反解算出的骨骼参数和初始蒙皮矩阵确定更新后的初始人脸模型。针对更新后的初始人脸模型，按照第二累计位置误差L3的计算公式，计算更新后的初始人脸模型与目标人脸模型之间的累计位置误差，进一步判断是否满足迭代截止条件，如此迭代，直到更新的初始人脸模型与目标人脸模型之间的累计位置误差满足迭代截止条件为止，也即累计位置误差小于或等于第三预设误差阈值。将满足迭代截止条件对应的更新后的骨骼参数作为基准骨骼参数。
参见图4所示，其为骨骼参数反解算的流程示意图。
为了丰富基础人脸库中的人脸模型，在满足迭代截止条件时，还可以将最新更新的初始人脸模型存入基础人脸库。
这里，迭代截止条件可以参见上述的判断第二累计位置误差是否小于或等于第三预设误差阈值，针对第三预计误差阈值的具体数据可以基于经验设定，本公开实施例不进行具体限定。
参见图5所示，其为候选人脸模型、预先绘制的目标人脸模型、以及基于基准骨骼参数生成的目标人脸模型的对比展示示意图。其中，图e表示候选人脸模型，图f表示预先绘制的目标人脸模型，图g表示基准骨骼参数生成的目标人脸模型。这里，图g示出的目标人脸模型可以是利用初始蒙皮矩阵中每个骨骼对应的权重值，对对应骨骼的基准骨骼参数进行加权处理，确定出的人脸模型。
承接S103，在一些实施例中，在确定目标人脸模型的基准骨骼参数之后，还可以基于基准骨骼参数，和目标画面帧对应的目标人脸模型达到预设姿态时的目标骨骼参数，生成从基准骨骼参数对应的初始画面帧到目标画面帧之间的多个中间画面帧分别对应的多组过渡骨骼参数；之后，基于基准骨骼参数和多组过渡骨骼参数，生成目标人脸模型达到预设姿态时对应的各帧画面。
这里，目标画面帧可以是预先设置的目标人脸模型达到预设姿态时，目标骨骼参数对应的画面帧。预设姿态可以包括预先设置的期望目标人脸模型达到的表情(例如微笑、惊讶、恐惧等)、动作(例如眨眼、说话、点头等)。目标骨骼参数例如可以是用户利用捏脸软件调整目标人脸模型为预设姿态时的目标人脸模型的骨骼参数。
具体实施时，可以在基准骨骼参数和目标骨骼参数之间自动插入多组过渡骨骼参数，基于多组过渡骨骼参。也即，可以利用初始蒙皮矩阵中每个骨骼对应的权重值，对对应骨骼的过渡骨骼参数进行加权处理，确定中间画面帧中的目标人脸模型。
初始画面帧中的目标人脸模型可以是由基准骨骼参数和初始蒙皮矩阵确定的。目标画面帧对应的目标人脸模型可以是由目标骨骼参数和初始蒙皮矩阵确定的。
参见图6所示，其为目标人脸模型达到预设姿态时对应的各帧画面的展示示意图。由初始画面帧61、中间画面帧62和目标画面帧63组成目标人脸模型达到预设姿态时的各帧画面，例如可以包括目标人脸模型对应的3D角色生成的表情动画，或者，目标人脸模型对应的3D角色生成的游戏视频。
上述S101～S103基于基础人脸库，能够初步获取到与目标人脸模型较为相似的至少一个基础人脸模型；之后，根据至少一个基础人脸模型分别对应的骨骼参数和蒙皮矩阵，可以确定一个初始人脸模型；利用该初始人脸模型的蒙皮矩阵，迭代调整初始人脸模型的骨骼参数，能够得到初始人脸模型与目标人脸模型之间的误差最小时的基准骨骼参数；在之后制作目标人脸模型运动时的各帧画面的过程中，可以使用该组基准骨骼参数来生成目标人脸模型运动时的各帧画面，也即实现人脸模型的表情动作，从而提高各帧画面的制作效率。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与运动画面生成方法对应的运动画面生成装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述运动画面生成方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图7所示，为本公开实施例提供的一种运动画面生成装置的示意图，所述装置包括：获取模块701、第一确定模块702和第二确定模块703；其中，
获取模块701，用于获取预先绘制的目标人脸模型；
第一确定模块702，用于从基础人脸库中选择与所述目标人脸模型匹配的至少一个基础人脸模型，并基于所述至少一个基础人脸模型分别对应的骨骼参数和蒙皮矩阵，确定初始人脸模型；
第二确定模块703，用于基于所述初始人脸模型和所述目标人脸模型，迭代调整所述初始人脸模型的骨骼参数，得到使得所述初始人脸模型与所述目标人脸模型之间的误差最小时的基准骨骼参数；
所述基准骨骼参数用于制作生成所述目标人脸模型运动时的各帧画面。
一种可选的实施方式中，所述第一确定模块702，具体用于从所述基础人脸库中选择与所述目标人脸模型的脸型类别匹配的多个候选人脸模型；
基于所述多个候选人脸模型与所述目标人脸模型分别对应的目标点位置信息，计算每个所述候选人脸模型与所述目标人脸模型之间的误差信息；
从所述多个候选人脸模型中选择出对应的所述误差信息满足预设条件的所述至少一个基础人脸模型。
一种可选的实施方式中，所述目标点包括面部关键点和模型顶点；
所述第一确定模块702，具体用于基于所述多个候选人脸模型与所述目标人脸模型分别对应的多个面部关键点的位置信息和多个模型顶点的位置信息，分别计算每个所述候选人脸模型与所述目标人脸模型之间的第一累计位置误差，将所述第一累计位置误差作为所述候选人脸模型与所述目标人脸模型之间的误差信息。
一种可选的实施方式中，所述第一确定模块702，具体用于基于各个所述基础人脸模型的骨骼参数分别对应的第一权重信息，对各个所述基础人脸模型的骨骼参数进行加权求和，得到所述初始人脸模型的初始骨骼参数；以及，基于各个所述基础人脸模型的蒙皮矩阵分别对应的第二权重信息，对各个所述基础人脸模型的蒙皮矩阵进行加权求和，得到所述初始人脸模型的初始蒙皮矩阵；
基于所述初始骨骼参数和所述初始蒙皮矩阵，确定所述初始人脸模型。
一种可选的实施方式中，所述第二确定模块703，具体用于基于所述初始人脸模型和所述目标人脸模型分别对应的多个模型顶点的位置信息，确定所述初始人脸模型与所述目标人脸模型之间的第二累计位置误差；
若所述第二累计位置误差不满足迭代截止条件，则更新所述初始人脸模型的骨骼参数，基于更新后的骨骼参数更新所述初始人脸模型，并针对更新后的所述初始人脸模型重复上述确定所述第二累计位置误差的步骤，直到确定的第二累计位置误差满足迭代截止条件为止，将最终更新后的骨骼参数作为所述基准骨骼参数。
一种可选的实施方式中，所述装置还包括存储模块704，用于将满足迭代截止条件时，最新更新的所述初始人脸模型存入所述基准人脸库。
一种可选的实施方式中，所述装置还包括生成模块705，用于基于所述基准骨骼参数，和目标画面帧对应的所述目标人脸模型达到预设姿态时的目标骨骼参数，生成从所述基准骨骼参数对应的初始画面帧到所述目标画面帧之间的多个中间画面帧分别对应的多组过渡骨骼参数；
基于所述基准骨骼参数和所述多组过渡骨骼参数，生成所述目标人脸模型达到所述预设姿态时对应的各帧画面。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一技术构思，本申请实施例还提供了一种计算机设备。参照图8所示，为本申请实施例提供的计算机设备的结构示意图，包括：
处理器81、存储器82和总线83。其中，存储器82存储有处理器81可执行的机器可读指令，处理器81用于执行存储器82中存储的机器可读指令，所述机器可读指令被处理器81执行时，处理器81执行下述步骤：S101：获取预先绘制的目标人脸模型；S102：从基础人脸库中选择与目标人脸模型匹配的至少一个基础人脸模型，并基于至少一个基础人脸模型分别对应的骨骼参数和蒙皮矩阵，确定初始人脸模型；S103：基于初始人脸模型和目标人脸模型，迭代调整初始人脸模型的骨骼参数，得到使得初始人脸模型与目标人脸模型之间的误差最小时的基准骨骼参数；基准骨骼参数用于制作生成目标人脸模型运动时的各帧画面。
上述存储器82包括内存821和外部存储器822；这里的内存821也称内存储器，用于暂时存放处理器81中的运算数据，以及与硬盘等外部存储器822交换的数据，处理器81通过内存821与外部存储器822进行数据交换，当计算机设备运行时，处理器81与存储器82之间通过总线83通信，使得处理器81在执行上述方法实施例中所提及的执行指令。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的运动画面生成方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现上述的运动画面生成方法的步骤。其中，计算机程序产品可以是任何能实现上述运动画面生成方法的产品，该计算机程序产品中对现有技术做出贡献的部分或全部方案可以以软件产品(例如软件开发包(Software Development Kit，SDK))的形式体现，该软件产品可以被存储在一个存储介质中，通过包含的计算机指令使得相关设备或处理器执行上述运动画面生成方法的部分或全部步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
Claims (8)
1.一种运动画面生成方法，其特征在于，包括：
获取预先绘制的目标人脸模型；所述目标人脸模型为三维人脸模型；
从基础人脸库中选择与所述目标人脸模型的脸型类别匹配的多个候选人脸模型；基于所述多个候选人脸模型与所述目标人脸模型分别对应的多个面部关键点的位置信息和/或多个模型顶点的位置信息，分别计算每个所述候选人脸模型与所述目标人脸模型之间的第一累计位置误差，将所述第一累计位置误差作为所述候选人脸模型与所述目标人脸模型之间的误差信息；从所述多个候选人脸模型中选择出对应的所述误差信息满足预设条件的至少一个基础人脸模型，并基于所述至少一个基础人脸模型分别对应的骨骼参数和蒙皮矩阵，确定初始人脸模型；
基于所述初始人脸模型和所述目标人脸模型，迭代调整所述初始人脸模型的骨骼参数，得到使得所述初始人脸模型与所述目标人脸模型之间的误差最小时的基准骨骼参数；
所述基准骨骼参数用于制作生成所述目标人脸模型运动时的各帧画面。
2.根据权利要求1所述的方法，其特征在于，所述至少一个基础人脸模型为多个，基于多个基础人脸模型分别对应的骨骼参数和蒙皮矩阵，确定初始人脸模型，包括：
基于各个所述基础人脸模型的骨骼参数分别对应的第一权重信息，对各个所述基础人脸模型的骨骼参数进行加权求和，得到所述初始人脸模型的初始骨骼参数；以及，基于各个所述基础人脸模型的蒙皮矩阵分别对应的第二权重信息，对各个所述基础人脸模型的蒙皮矩阵进行加权求和，得到所述初始人脸模型的初始蒙皮矩阵；
基于所述初始骨骼参数和所述初始蒙皮矩阵，确定所述初始人脸模型。
3.根据权利要求1所述的方法，其特征在于，所述基于所述初始人脸模型和所述目标人脸模型，迭代调整所述初始人脸模型的骨骼参数，得到使得所述初始人脸模型与所述目标人脸模型之间的误差最小时的基准骨骼参数，包括：
基于所述初始人脸模型和所述目标人脸模型分别对应的多个模型顶点的位置信息，确定所述初始人脸模型与所述目标人脸模型之间的第二累计位置误差；
若所述第二累计位置误差不满足迭代截止条件，则更新所述初始人脸模型的骨骼参数，基于更新后的骨骼参数更新所述初始人脸模型，并针对更新后的所述初始人脸模型重复上述确定所述第二累计位置误差的步骤，直到确定的第二累计位置误差满足迭代截止条件为止，将最终更新后的骨骼参数作为所述基准骨骼参数。
4.根据权利要求3所述的方法，其特征在于，还包括：
将满足迭代截止条件时，最新更新的所述初始人脸模型存入所述基础人脸库。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述基准骨骼参数，和目标画面帧对应的所述目标人脸模型达到预设姿态时的目标骨骼参数，生成从所述基准骨骼参数对应的初始画面帧到所述目标画面帧之间的多个中间画面帧分别对应的多组过渡骨骼参数；
基于所述基准骨骼参数和所述多组过渡骨骼参数，生成所述目标人脸模型达到所述预设姿态时对应的各帧画面。
6.一种运动画面生成装置，其特征在于，包括：
获取模块，用于获取预先绘制的目标人脸模型；所述目标人脸模型为三维人脸模型；
第一确定模块，用于从基础人脸库中选择与所述目标人脸模型的脸型类别匹配的多个候选人脸模型；基于所述多个候选人脸模型与所述目标人脸模型分别对应的多个面部关键点的位置信息和/或多个模型顶点的位置信息，分别计算每个所述候选人脸模型与所述目标人脸模型之间的第一累计位置误差，将所述第一累计位置误差作为所述候选人脸模型与所述目标人脸模型之间的误差信息；从所述多个候选人脸模型中选择出对应的所述误差信息满足预设条件的至少一个基础人脸模型，并基于所述至少一个基础人脸模型分别对应的骨骼参数和蒙皮矩阵，确定初始人脸模型；
第二确定模块，用于基于所述初始人脸模型和所述目标人脸模型，迭代调整所述初始人脸模型的骨骼参数，得到使得所述初始人脸模型与所述目标人脸模型之间的误差最小时的基准骨骼参数；
所述基准骨骼参数用于制作生成所述目标人脸模型运动时的各帧画面。
7.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至5任一项所述的运动画面生成方法的步骤。
8.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至5任一项所述的运动画面生成方法的步骤。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210147933.8A CN114529640B (zh) | 2022-02-17 | 2022-02-17 | 一种运动画面生成方法、装置、计算机设备和存储介质 |
| US18/832,904 US20250148679A1 (en) | 2022-02-17 | 2023-02-14 | Motion picture generation method and apparatus, and computer device, and storage medium |
| PCT/CN2023/075885 WO2023155775A1 (zh) | 2022-02-17 | 2023-02-14 | 一种运动画面生成方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210147933.8A CN114529640B (zh) | 2022-02-17 | 2022-02-17 | 一种运动画面生成方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114529640A CN114529640A (zh) | 2022-05-24 |
| CN114529640B true CN114529640B (zh) | 2024-01-26 |
Family
ID=81623647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210147933.8A Active CN114529640B (zh) | 2022-02-17 | 2022-02-17 | 一种运动画面生成方法、装置、计算机设备和存储介质 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20250148679A1 (zh) |
| CN (1) | CN114529640B (zh) |
| WO (1) | WO2023155775A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114529640B (zh) * | 2022-02-17 | 2024-01-26 | 北京字跳网络技术有限公司 | 一种运动画面生成方法、装置、计算机设备和存储介质 |
| CN117788720B (zh) * | 2024-02-26 | 2024-05-17 | 山东齐鲁壹点传媒有限公司 | 一种生成用户人脸模型的方法、存储介质及终端 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160088223A (ko) * | 2015-01-15 | 2016-07-25 | 삼성전자주식회사 | 얼굴 영상의 자세를 보정하는 방법 및 장치 |
| CN110517340A (zh) * | 2019-08-30 | 2019-11-29 | 腾讯科技（深圳）有限公司 | 一种基于人工智能的脸部模型确定方法和装置 |
| CN110675475A (zh) * | 2019-08-19 | 2020-01-10 | 腾讯科技（深圳）有限公司 | 一种人脸模型生成方法、装置、设备及存储介质 |
| CN112419485A (zh) * | 2020-11-25 | 2021-02-26 | 北京市商汤科技开发有限公司 | 一种人脸重建方法、装置、计算机设备及存储介质 |
| CN112419454A (zh) * | 2020-11-25 | 2021-02-26 | 北京市商汤科技开发有限公司 | 一种人脸重建方法、装置、计算机设备及存储介质 |
| CN112906494A (zh) * | 2021-01-27 | 2021-06-04 | 浙江大学 | 一种面部捕捉方法、装置、电子设备及存储介质 |
| CN113255457A (zh) * | 2021-04-28 | 2021-08-13 | 上海交通大学 | 基于人脸表情识别的动画角色面部表情生成方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109395390B (zh) * | 2018-10-26 | 2021-12-21 | 网易（杭州）网络有限公司 | 游戏角色脸部模型的处理方法、装置、处理器及终端 |
| CN113744384B (zh) * | 2020-05-29 | 2023-11-28 | 北京达佳互联信息技术有限公司 | 三维人脸重建方法、装置、电子设备及存储介质 |
| CN112001989B (zh) * | 2020-07-28 | 2022-08-05 | 完美世界(北京)软件科技发展有限公司 | 虚拟对象的控制方法及装置、存储介质、电子装置 |
| CN114529640B (zh) * | 2022-02-17 | 2024-01-26 | 北京字跳网络技术有限公司 | 一种运动画面生成方法、装置、计算机设备和存储介质 |
-
2022
- 2022-02-17 CN CN202210147933.8A patent/CN114529640B/zh active Active
-
2023
- 2023-02-14 US US18/832,904 patent/US20250148679A1/en active Pending
- 2023-02-14 WO PCT/CN2023/075885 patent/WO2023155775A1/zh active Application Filing
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160088223A (ko) * | 2015-01-15 | 2016-07-25 | 삼성전자주식회사 | 얼굴 영상의 자세를 보정하는 방법 및 장치 |
| CN105844276A (zh) * | 2015-01-15 | 2016-08-10 | 北京三星通信技术研究有限公司 | 人脸姿态校正方法和装置 |
| CN110675475A (zh) * | 2019-08-19 | 2020-01-10 | 腾讯科技（深圳）有限公司 | 一种人脸模型生成方法、装置、设备及存储介质 |
| CN110517340A (zh) * | 2019-08-30 | 2019-11-29 | 腾讯科技（深圳）有限公司 | 一种基于人工智能的脸部模型确定方法和装置 |
| CN112419485A (zh) * | 2020-11-25 | 2021-02-26 | 北京市商汤科技开发有限公司 | 一种人脸重建方法、装置、计算机设备及存储介质 |
| CN112419454A (zh) * | 2020-11-25 | 2021-02-26 | 北京市商汤科技开发有限公司 | 一种人脸重建方法、装置、计算机设备及存储介质 |
| CN112906494A (zh) * | 2021-01-27 | 2021-06-04 | 浙江大学 | 一种面部捕捉方法、装置、电子设备及存储介质 |
| CN113255457A (zh) * | 2021-04-28 | 2021-08-13 | 上海交通大学 | 基于人脸表情识别的动画角色面部表情生成方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| Facial_expression_control_of_3-dimensional_face_model_using_facial_feature_extraction;Abraham Ranardo Sumarsono;《Processing of the 2011 International Conference on Electrical Engineering and informatics》;第1-5页 * |
| 人脸动画关键点最优化算法;祝铭阳;孙怀江;;计算机辅助设计与图形学学报(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114529640A (zh) | 2022-05-24 |
| WO2023155775A1 (zh) | 2023-08-24 |
| US20250148679A1 (en) | 2025-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7648704B2 (ja) | 仮想アバタをアニメーション化するための骨格システム | |
| US12210666B2 (en) | Animating virtual avatar facial movements | |
| Bailey et al. | Fast and deep deformation approximations | |
| US10540817B2 (en) | System and method for creating a full head 3D morphable model | |
| US20210027515A1 (en) | Expression animation generation method and apparatus, storage medium, and electronic apparatus | |
| US9314692B2 (en) | Method of creating avatar from user submitted image | |
| US20220068007A1 (en) | 3d asset generation from 2d images | |
| KR100720309B1 (ko) | 자동 3차원 모델링 시스템 및 방법 | |
| US8379036B2 (en) | Mesh transfer | |
| CN111383308A (zh) | 生成动画表情的方法和电子设备 | |
| CN108229269A (zh) | 人脸检测方法、装置和电子设备 | |
| CN114529640B (zh) | 一种运动画面生成方法、装置、计算机设备和存储介质 | |
| JP2022505746A (ja) | デジタルキャラクタブレンディング及び生成のシステム及び方法 | |
| CN115023742A (zh) | 具有详细褶皱的面部网格变形 | |
| Orvalho et al. | Transferring the rig and animations from a character to different face models | |
| CA2690826C (en) | Automatic 3d modeling system and method | |
| KR102737091B1 (ko) | 변형가능한 3d 움직임 모델을 생성하는 방법 및 시스템 | |
| Huang et al. | NURBS curve controlled modelling for facial animation | |
| WO2023130819A1 (zh) | 图像处理方法、装置、设备、存储介质及计算机程序 | |
| CN116228976A (zh) | 眼镜虚拟试戴方法、设备及计算机可读存储介质 | |
| US10878610B1 (en) | Generating an animation feature from line deformations | |
| US11941739B1 (en) | Object deformation network system and method | |
| US12293466B2 (en) | Systems and methods for generating a model database with blendshape representation | |
| US12277662B2 (en) | Object alignment techniques for animation | |
| US20230394734A1 (en) | Generating Machine-Learned Inverse Rig Models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |