CN111311714A - 一种三维动画的姿态预测方法和系统 - Google Patents

Abstract

本申请提供了一种三维动画的姿态预测方法和系统。所述方法包括：获取目标角色在一帧或多帧已有图像中的姿态信息；将所述姿态信息输入训练好的姿态预测模型，确定后继帧图像中所述目标角色的预测姿态信息；所述姿态信息包括骨骼旋转角度信息以及步态运动信息。

Description

一种三维动画的姿态预测方法和系统

技术领域

本申请涉及计算机动画领域，特别涉及一种三维动画的姿态预测方法和系统。

背景技术

目前，三维动画中虚拟角色的动作姿态数据通常基于以下3种方式获得：(1)在动画制作软件中，动画师通过逐帧调节虚拟角色的骨骼相关参数，对其动作姿态进行修正，此种方法很大程度上依赖动画师的专业程度且效率较低；(2)通过动作捕捉设备采集人体的骨骼运动数据，利用动画制作软件对采集的数据进行处理以生成虚拟角色的动作姿态数据，然后动画师对生成的动作姿态进行修正，此种方法中动作捕捉设备的配置和使用成本较高，且生成的动作姿态需要经过人工修正；(3)动画师制作一个步伐周期的动作姿态，通过不断循环这个步伐周期的动作姿态得到连续的动画，此种方法制作出的动画中虚拟角色的动作姿态不够自然且角色姿态单一。因此，希望提供一种三维动画的姿态预测方法和系统，可以利用图神经网络模型自动生成虚拟角色的动作姿态数据。

发明内容

本申请的一个方面提供一种三维动画的姿态预测方法。所述方法包括：获取目标角色在一帧或多帧已有图像中的姿态信息；将所述姿态信息输入训练好的姿态预测模型，确定后继帧图像中所述目标角色的预测姿态信息；所述姿态信息包括骨骼旋转角度信息以及步态运动信息。

本申请的另一个方面提供一种三维动画的姿态预测系统。所述系统包括：获取模块，用于获取目标角色在一帧或多帧已有图像中的姿态信息；姿态确定模块，用于将所述姿态信息输入训练好的姿态预测模型，确定后继帧图像中所述目标角色的预测姿态信息；所述姿态信息包括骨骼旋转角度信息以及步态运动信息。

本申请的另一方面提供一种三维动画的姿态预测装置。所述装置包括至少一个存储介质以及至少一个处理器；所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令，以实现如前所述的三维动画的姿态预测方法。

本申请的另一方面提供一种计算机可读存储介质。所述存储介质存储有计算机指令，当所述计算机指令被处理器执行时，实现如前所述的三维动画的姿态预测方法。

附图说明

本申请将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本申请一些实施例所示的三维动画的姿态预测方法的示例性流程图；

图2是根据本申请一些实施例所示的三维动画的姿态预测系统的模块图；

图3根据本申请一些实施例所示的训练姿态预测模型的方法的示例性流程图；

图4是根据本申请一些实施例所示的对预测姿态信息进行修正的方法的示例性流程图；

图5是根据本申请一些实施例所示的人体骨骼关节的结构示意图；

图6是根据本申请一些实施例所示的步态运动循环的示意图；

图7a和图7b是根据本申请一些实施例所示的预设运动路径的示意图。

具体实施方式

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

虽然本申请对根据本申请的实施例的系统中的某些模块或单元做出了各种引用，然而，任何数量的不同模块或单元可以被使用并运行在客户端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

通过以下对附图的描述，本申请的这些和其他的特征、特点以及相关结构元件的功能和操作方法，以及部件组合和制造经济性，可以变得更加显而易见，这些附图都构成本申请说明书的一部分。然而，应当理解的是，附图仅仅是为了说明和描述的目的，并不旨在限制本申请的范围。应当理解的是，附图并不是按比例绘制的。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

图1是根据本申请一些实施例所示的三维动画的姿态预测方法的示例性流程图。在一些实施例中，所述流程100中的一个或以上步骤可以在图2所示的系统200中实现。例如，流程100可以以程序或指令的形式存储在存储设备和/或存储器中，所述程序或指令在被调用和/或执行时，可以实现流程100。在一些实施例中，指令可以以电流或电信号的形式传输。

步骤110，获取目标角色在一帧或多帧已有图像中的姿态信息，所述姿态信息包括骨骼旋转角度信息以及步态运动信息。具体的，步骤110可以由获取模块210执行。

在一些实施例中，获取模块210可以获取目标角色运动的视频数据，所述视频数据包括目标角色运动的姿态信息。所述视频数据包括一帧或多帧图像数据。在一些实施例中，获取模块210可以将所述视频数据分解为一帧或多帧图像，然后对所述一帧或多帧图像进行预处理，以获得目标角色在一帧或多帧图像中的姿态信息，所述姿态信息可以包括骨骼旋转角度信息以及步态运动信息。所述预处理可以包括：对于每一帧图像，计算出目标角色在该帧图像中的角色朝向，以及对目标角色的步态运动标注状态值，从而获得目标角色的步态运动信息。其中，所述角色朝向可以基于左肩关节和右肩关节的位置计算得到；所述步态运动的状态值的取值范围为[0,1)。在一些实施例中，所述对目标角色的步态运动标注状态值可以通过机器算法(例如，foot cantact)实现，也可以通过人工标注实现。示例性的，参见图6，图6是根据本申请一些实施例所示的步态运动循环的示意图。步态运动为两脚的周期性循环动作，一组周期性的步态运动包括左脚着地右脚触地至右脚着地左脚触地再至左脚着地右脚触地的过程，一组周期性的步态运动的状态值的取值范围为[0,1)，当对一组周期性的步态运动标注状态值时，可以将帧图像中目标角色步态运动为左脚着地右脚触地时的状态值标注为0，将帧图像中目标角色步态运动为右脚着地左脚触地时的状态值标注为0.5，然后利用插值的方式，对帧图像中目标角色步态运动为其他状态时的状态值进行标注，以得到一组周期性的步态运动的所有运动状态时的状态值。例如，左脚着地右脚抬起时的状态值可以标为0.05，左脚着地右脚离地时的状态值可以标为0.23，右脚着地左脚抬起时的状态值可以标为0.55，右脚着地左脚离地时的状态值可以标为0.75。在一些实施例中，可以基于踝关节和趾关节的角度变化以及位置坐标等确定内插值。

在一些实施例中，所述骨骼旋转角度信息可以使用局部四元数表示，四元数可以表征骨骼的旋转角度以及该旋转角度对应的旋转轴。示例性的，设有四元数

其中，(x,y,z)为旋转轴，θ为旋转角度。通过计算子级骨骼关节点(例如，肘关节)相对于父级骨骼关节点(例如，肩关节)坐标系的旋转角度，得到子级骨骼关节点的旋转量，该旋转量即为子级骨骼关节点的骨骼旋转角度信息。本技术领域人员可以理解，每个关节点(除根关节外)处可以建立局部坐标系，局部坐标系的原点为关节点。

在一些实施例中，获取模块210可以获取预设运动路径信息，并基于预设运动路径信息、目标角色的角色朝向信息以及目标角色的位置信息，确定所述运动路径信息。所述预设运动路径信息可以为预先设定的或用户(例如，动画师)提前绘制好的，所述路径可以是直线、曲线或其任意组合。通过随机采样在运动平面上生成路径点，然后将路径点连接起来生成预设运动路径信息，目标角色将按照预设运动路径信息进行移动。具体的，获取模块210可以获取目标角色的预设运动路径信息(例如，100m)，以该目标角色当前位置为中点，选择距离该中点前后预设长度(例如，60cm)的范围为一个路径窗口(例如，120cm)，该路径窗口作为运动路径信息，用于输入训练好的姿态预测模型，其中所述运动路径为所述预设运动路径中的一小段，所述目标角色面朝方向为前。

步骤120，将所述姿态信息输入训练好的姿态预测模型，确定后继帧图像中所述目标角色的预测姿态信息。具体的，步骤120可以由姿态确定模块230执行。

在一些实施例中，所述姿态预测模型的输入还包括运动路径信息。在一些实施例中，姿态确定模块230可以将运动路径信息以及目标角色在一帧或多帧已有图像中的姿态信息输入训练好的姿态预测模型，输出后继帧图像中所述目标角色的角色朝向信息、位移信息、骨骼旋转角度信息和步态运动信息等预测姿态信息。在一些实施例中，可以基于所述运动路径信息和后继帧图像中所述目标角色的预测姿态信息，获取后继帧图像中所述目标角色的预测位置信息。示例性的，以输入模型的当前帧图像中目标角色的位置为基准，根据模型输出的后继帧图像中所述目标角色的角色朝向信息和位移信息，可以确定输出的后继帧图像中目标角色的预测位置信息。在一些实施例中，姿态确定模块230可以根据模型输出的后继帧图像中目标角色的角色朝向信息、位移信息以及预设运动路径信息，确定新的运动路径信息，并将所述新的运动路径信息以及后继帧图像的骨骼旋转角度信息和步态运动信息输入训练好的姿态预测模型，输出再后继帧图像中所述目标角色的角色朝向信息、位移信息、骨骼旋转角度信息和步态运动信息等预测姿态信息，模型按照此流程循环迭代进行，直至输出的再后继帧图像中目标角色的位置位于预设运动路径的终点预设范围内为止。其中，每次输入模型的运动路径长度相同，且目标角色的位置须位于运动路径长度的中点处。例如，在预设运动路径上，选择目标角色当前位置前后60厘米的路径窗口为预测使用的运动路径信息。

在一些实施例中，所述目标角色的角色朝向可以基于所述训练好的姿态预测模型的输出获得。例如，模型输出后继帧图像中目标角色的角色朝向信息。在一些实施例中，所述目标角色的角色朝向也可以基于所述目标角色的姿态信息计算出。例如，可以基于目标角色的左右肩关节的位置计算出角色朝向。

在一些实施例中，所述训练好的姿态预测模型可以由模型训练模块220通过以下方式训练获得：获取多组样本图像，每组样本图像包括一帧或多帧输入图像以及与所述输入图像邻接的包括实际姿态信息的后继帧图像，然后将所述一帧或多帧输入图像的姿态信息输入至初始姿态预测模型，得到输出结果，基于所述输出结果与所述图像邻接的包括实际姿态信息的后继帧图像构造损失函数，通过最小化所述损失函数，来更新所述初始姿态预测模型的至少一个参数。有关对姿态预测模型进行训练的方法的更多细节可以参见图3及相关描述，在此不再赘述。在一些实施例中，所述训练好的姿态预测模型可以包括两个或多个子网络的架构，所述子网络具有相同的多层网络结构，各个子网络同一层的输出结果按照子网络的权重合并后，成为整个网络在这一层的输出结果。所述子网络的权重通过步态运动的状态值函数确定。在一些实施例中，所述训练好的姿态预测模型为图神经网络模型，所述图神经网络模型的节点对应所述目标角色的关节点、步态运动信息以及运动路径信息，边对应所述关节点之间的连接关系。优选的，所述图神经网络模型可以为图卷积神经网络模型。有关图神经网络模型的更多细节可以参见图5及相关描述，在此不再赘述。

在一些实施例中，修正模块240可以利用反向动力学，对所述后继帧图像中所述目标角色的预测姿态信息进行修正，以获得修正后的姿态信息，然后判断所述后继帧图像是否为最后一帧图像，如果响应于所述后继帧图像不为最后一帧图像，则将所述后继帧图像修正后的姿态信息输入所述训练好的姿态预测模型，用于参与生成再后继帧图像的预测姿态信息，如果响应于所述后继帧图像为最后一帧图像，结束执行生成再后继帧图像中所述目标角色的预测姿态信息的操作。有关对后继帧图像中目标角色的预测姿态信息进行修正的方法的更多细节可以参见图4及相关描述，在此不再赘述。

应当注意的是，上述有关流程100的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程100进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。

图2是根据本申请一些实施例所示的三维动画的姿态预测系统的模块图。该三维动画的姿态预测系统200可以包括获取模块210、模型训练模块220、姿态确定模块230以及修正模块240。这些模块可以是处理设备的至少一部分的硬件电路。这些模块也可以作为应用程序或由处理设备读取或执行的指令实现。此外，这些模块可以是硬件电路和应用/指令的任何组合。例如，当处理设备执行应用程序/指令时，这些模块可以是处理设备的一部分。

获取模块210可以用于获取图像数据。在一些实施例中，获取模块210可以获取目标角色在一帧或多帧已有图像中的姿态信息。具体的，获取模块210可以获取目标角色运动的视频数据，并将所述视频数据分解为至少一张图片，然后对所述至少一张图片进行预处理，以获得目标角色在一帧或多帧图像中的姿态信息，其中，所述至少一张图片中的每张图片对应视频数据的一帧图像，所述姿态信息包括骨骼旋转角度信息以及步态运动信息。在一些实施例中，获取模块210可以获取目标角色的运动路径信息，所述目标角色沿着该运动路径进行移动。在一些实施例中，获取模块210可以基于预设运动路径信息、目标角色的角色朝向信息以及目标角色的位置信息，确定所述运动路径信息。有关获取图像数据的方法的更多细节可以参见图1及相关描述，在此不再赘述。

模型训练模块220可以用于训练姿态预测模型。所述姿态预测模型可以用来确定后继帧图像中所述目标角色的预测姿态信息。在一些实施例中，所述姿态预测模型可以是图神经网络模型(Graph Neural Network，GNN)，所述图神经网络模型的节点对应所述目标角色的关节点、步态运动信息以及运动路径信息，边对应所述关节点之间的连接关系。优选地，所述图神经网络模型可以为图卷积神经网络模型。有关图神经网络模型的更多细节可以参见图5及相关描述，在此不再赘述。

在一些实施例中，模型训练模块220可以获取多组样本图像，每组样本图像包括一帧或多帧输入图像以及与所述输入图像邻接的包括实际姿态信息的后继帧图像，然后将所述一帧或多帧输入图像的姿态信息输入至初始姿态预测模型，得到输出结果，并基于所述输出结果与所述图像邻接的包括实际姿态信息的后继帧图像构造损失函数，通过最小化所述损失函数，来更新所述初始姿态预测模型的至少一个参数。有关对姿态预测模型进行训练的方法的更多细节可以参见图3及相关描述，在此不再赘述。

姿态确定模块230可以用于确定目标角色的预测姿态信息。在一些实施例中，姿态确定模块230可以将所述姿态信息输入训练好的姿态预测模型，确定后继帧图像中所述目标角色的预测姿态信息。具体的，姿态确定模块230可以将运动路径信息以及目标角色在一帧或多帧已有图像中的姿态信息输入训练好的姿态预测模型，输出后继帧图像中所述目标角色的角色朝向信息、位移信息、骨骼旋转角信息和步态运动信息。在一些实施例中，姿态确定模块230可以基于所述运动路径信息和后继帧图像中所述目标角色的预测姿态信息，获得后继帧图像中所述目标角色的预测位置信息。在一些实施例中，姿态确定模块230可以基于所述训练好的姿态预测模型的输出获得目标角色的角色朝向，或者可以基于所述目标角色的姿态信息计算出目标角色的角色朝向。有关确定目标角色的预测姿态信息的方法的更多细节可以参见图1及相关描述，在此不再赘述。

修正模块240可以用于对目标角色的预测姿态信息进行修正。在一些实施例中，修正模块240可以利用反向动力学，对所述后继帧图像中所述目标角色的预测姿态信息进行修正，以获得修正后的姿态信息，然后判断所述后继帧图像是否为最后一帧图像，如果响应于所述后继帧图像不为最后一帧图像，则将所述后继帧图像修正后的姿态信息输入所述训练好的姿态预测模型，用于参与生成再后继帧图像的预测姿态信息，如果响应于所述后继帧图像为最后一帧图像，结束执行生成再后继帧图像中所述目标角色的预测姿态信息的操作。有关对后继帧图像中目标角色的预测姿态信息进行修正的方法的更多细节可以参见图4及相关描述，在此不再赘述。

应当理解，图2所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本申请的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。

需要注意的是，上述关于三维动画的姿态预测系统200的描述仅出于说明性目的而提供，并不旨在限制本申请的范围。可以理解，对于本领域的技术人员来说，可以根据本申请的描述，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，图2中披露的获取模块210、模型训练模块220、姿态确定模块230以及修正模块240可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。例如，姿态确定模块230以及修正模块240可以是两个模块，也可以是一个模块同时具有确定后继帧图像中目标角色的预测姿态信息和对所述预测姿态信息进行修正的功能。例如，各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本申请的保护范围之内。

图3根据本申请一些实施例所示的训练姿态预测模型的方法的示例性流程图。在一些实施例中，流程300可以通过处理逻辑来执行，该处理逻辑可以包括硬件(例如，电路、专用逻辑、可编程逻辑、微代码等)、软件(运行在处理设备上以执行硬件模拟的指令)等或其任意组合。图3所示的训练姿态预测模型的流程300中的一个或多个操作可以通过图2所示的模型训练模块220实现。

步骤310，获取多组样本图像，每组样本图像包括一帧或多帧输入图像以及与所述输入图像邻接的包括实际姿态信息的后继帧图像。

在一些实施例中，模型训练模块220可以获得运动对象(例如，人)的骨骼运动数据，通过对所述骨骼运动数据进行预处理，得到训练样本图像。运动对象的骨骼运动数据可以通过下述方式获得：通过动作捕捉设备获取运动对象沿预定路线(例如，直线、曲线)运动(例如，行走、跑步)的视频数据，将视频数据分解为一帧或多帧图像数据，所述每一帧图像数据包括运动对象的姿态信息。所述预处理可以包括：对于每一帧图像，计算出目标角色在该帧图像中的角色朝向，以及对目标角色的步态运动标注状态值，从而获得目标角色的步态运动信息。在一些实施例中，训练样本中的图像以图像组形式存在，每组样本图像包括一帧或多帧输入图像以及与所述输入图像邻接的后继帧图像，该后继帧图像包括运动对象的实际姿态信息，将后继帧图像包括的运动对象的实际姿态信息作为正确标准(GroudTruth)。例如，待输入初始姿态预测模型的输入图像为第3帧，则后继帧图像为第4帧。又例如，待输入初始姿态预测模型的输入图像为第6帧和第7帧，则后继帧图像为第8帧。在一些实施例中，所述实际姿态信息可以包括所述运动对象的角色朝向信息、位移信息、骨骼旋转角信息和步伐状态值等。所述角色朝向可以指角色的面部朝向，也是下一时刻位置变化的方向，所述角色朝向可以通过运动对象左右肩关节的位置计算出。所述位移信息可以表示后继帧图像中运动对象的位置相对于上一帧图像中运动对象位置的位移，根据位移信息可以计算出后继帧图像中运动对象的位置坐标。所述骨骼旋转角信息可以用四元数表示，通过计算子级骨骼关节点(例如，肘关节)相对于父级骨骼关节点(例如，肩关节)坐标系的旋转角度，得到子级骨骼关节点的旋转量，该旋转量即为子级骨骼关节点的骨骼旋转角度信息。所述步态运动信息可以是首尾姿势相同的一个步伐周期内各个状态的标注值，该标注值的范围可以为[0，1)。例如，右脚触地时的状态值标注为0，右脚着地左脚触地时的状态值标注为0.5，剩余帧的状态值用插值方法自动生成。

步骤320，将所述一帧或多帧输入图像的姿态信息输入至初始姿态预测模型，得到输出结果。

在一些实施例中，初始姿态预测模型可以是图神经网络模型。优选的，所述图神经网络模型可以为图卷积神经网络模型。在一些实施例中，模型训练模块220可以将所述一帧或多帧输入图像的姿态信息以及运动路径信息输入至初始姿态预测模型，输出后继帧图像中运动对象的预测姿态信息。所述姿态信息可以包括骨骼旋转角度信息以及步态运动信息，所述预测姿态信息可以包括角色朝向信息、位移信息、骨骼旋转角信息和步态运动信息等。

步骤330，基于所述输出结果与所述图像邻接的包括实际姿态信息的后继帧图像构造损失函数。

在一些实施例中，可以基于后继帧图像中运动对象的预测姿态信息和后继帧图像中运动对象的实际姿态信息确定损失函数。所述损失函数可以表示后继帧图像中运动对象的预测姿态信息与实际姿态信息(Groud Truth)之间的误差，以及可以用于确定减小误差的方向。所述损失函数越小，表示后继帧图像中运动对象的预测姿态信息与实际姿态信息越相似；所述损失函数越大，表示后继帧图像中运动对象的预测姿态信息与实际姿态信息的差异越大。在一些实施例中，可按照需要采用不同的损失函数。例如，损失函数可以是基于所述姿态信息的均方差函数。

步骤340，通过最小化所述损失函数，来更新所述初始姿态预测模型的至少一个参数。

在一些实施例中，可以基于损失函数，使用随机梯度下降法逐步迭代更新初始姿态预测模型的网络参数，以得到训练好的姿态预测模型。具体的，通过随机梯度下降法进行反向传播以对模型的网络参数进行迭代优化，直至使模型的损失函数达到最小值。示例性的，在每轮迭代训练过程中，以组为输入单位，依次将训练样本集中的输入图像的姿态信息以及运动路径信息输入至初始姿态预测模型进行模型训练，并在训练过程中采用随机梯度下降法调整网络参数，如果模型输出结果与对应的正确标准(Groud Truth)之间的误差满足预设要求，即模型的损失函数的最小值满足预设阈值，获得更新后的模型参数，然后用更新后的模型参数替代初始姿态预测模型的初始网络参数，最终获得训练好的姿态预测模型。

应当注意的是，上述有关流程300的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程300进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。

图4是根据本申请一些实施例所示的对预测姿态信息进行修正的方法的示例性流程图。在一些实施例中，所述对预测姿态信息进行修正的方法400中的一个或以上步骤可以在修正模块240中实现。

步骤410，利用反向动力学，对所述后继帧图像中所述目标角色的预测姿态信息进行修正，获得修正后的姿态信息。

在一些实施例中，修正模块240可以利用反向动力学(Inverse Kinematics，简称IK)对后继帧图像中目标角色的预测姿态信息进行修正，以使目标角色动作协调。所述反向动力学是一种通过先确定末端骨骼的位置，然后反向推导出其所在骨骼链上的父级骨骼的位置和旋转角度的方法。在一些实施例中，修正模块240可以根据后继帧图像中目标角色的目标动作，获取末端骨骼的目标位置，确定末端骨骼的当前预测位置与所述目标位置的差值，并根据骨骼(末端骨骼、父级骨骼)的长度以及骨骼连接的父级关节的旋转角度约束，通过反向动力学迭代调整末端骨骼及其父级骨骼的位置和旋转角度，直至所述差值在预设阈值内，即使得所述后继帧图像中目标角色的末端骨骼的修正后位置逼近目标位置。例如，利用训练好的姿态预测模型，可以输出后继帧图像中所述目标角色的角色朝向信息、位移信息、骨骼旋转角度信息和步态运动信息等预测姿态信息，根据输出的步态运动信息可以获得目标角色的步态运动状态值，当步态运动状态值为0(表示左脚着地)或0.5(表示右脚着地)时，可以根据该后继帧中目标角色的步态运动状态值对目标角色的预测姿态信息进行修正。示例性的，当后继帧图像中目标角色的步态运动状态值为0.5时，表示在该后继帧中目标角色的目标动作应该为右脚着地，首先基于模型输出的后继帧图像中目标角色的预测姿态信息确定其右脚是否为着地状态，如果右脚不为着地状态，修正模块240可以利用反向动力学对预测姿态信息进行修正，具体的，右脚为末端骨骼，可以从末端骨骼(右脚)出发，计算右脚与其父级骨骼小腿形成的夹角并且旋转，然后计算小腿与其父骨骼大腿形成的夹角并且旋转，如果旋转后末端骨骼未到达目标位置，则重复上述过程进行迭代循环，直至大腿骨骼与末端骨骼脚的连线无限逼近大腿骨骼与目标位置的连线为止。

步骤420，判断所述后继帧图像是否为最后一帧图像。

在一些实施例中，修正模块240可以根据后继帧图像中目标角色的预测位置信息判断该后继帧是否为最后一帧图像。具体的，如果后继帧图像中目标角色的预测位置与预设运动路径的终点的距离小于预设长度(例如，60cm)，则该后继帧为最后一帧；如果后继帧图像中目标角色的预测位置与预设运动路径的终点的距离大于预设长度(例如，60cm)，也就是以该目标角色的预测位置为中点，仍可以选择距离该中点前后预设长度(例如，60cm)的路径窗口为运动路径信息(例如，120cm)，并且输入训练好的姿态预测模型，则该后继帧不是最后一帧。示例性的，参考图7a预设运动路径的示意图，其中，AB为用户(例如，动画师)提前绘制好的一段预设运动路径，A点为预设运动路径的起点，B点为预设运动路径的终点，M点为后继帧图像中目标角色的预测位置，首先需要判断M点到预设运动路径终点B点的距离s1是否大于预设长度，如果s1小于预设长度，则表示该后继帧为最后一帧；如果s1大于预设长度，则该后继帧不是最后一帧，在该情况下可以参考图7b预设运动路径的示意图，可以M点为中点，取M点前后预设长度的范围(例如，60cm)为一个路径窗口，即CD段(例如，120cm)为一个路径窗口，将CD段作为运动路径信息，用于输入训练好的姿态预测模型，以预测再后继帧图像中目标角色的预测姿态信息。

步骤430，响应于所述后继帧图像不为最后一帧图像，将所述后继帧图像修正后的姿态信息输入所述训练好的姿态预测模型，用于参与生成再后继帧图像的预测姿态信息。

在一些实施例中，如果所述后继帧图像不为最后一帧图像，修正模块240可以将运动路径信息和后继帧图像修正后的姿态信息输入所述训练好的姿态预测模型，用于参与生成再后继帧图像中目标角色的角色朝向信息、位移信息、骨骼旋转角信息和步态运动信息等预测姿态信息。所述运动路径信息可以基于预设运动路径信息、后继帧图像中目标角色的角色朝向信息以及目标角色的位置信息确定。所述后继帧图像修正后的姿态信息包括修正后的骨骼旋转角度信息以及修正后的步态运动信息。在一些实施例中，如果再后继帧图像仍然不是最后一帧图像，则重复上述过程。

步骤440，响应于所述后继帧图像为最后一帧图像，结束执行生成再后继帧图像中所述目标角色的预测姿态信息的操作。

在一些实施例中，如果所述后继帧图像为最后一帧图像，修正模块240可以结束执行生成再后继帧图像中所述目标角色的预测姿态信息的操作，无需将运动路径信息和后继帧图像修正后的姿态信息输入训练好的姿态预测模型。

应当注意的是，上述有关流程400的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程400进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。

图5是根据本申请一些实施例所示的人体骨骼关节的结构示意图。如图5所示，该图主要示出了对人体姿态有代表性的关节点，人体骨骼关节点可以包括但不限于头部、颈关节、肩关节、肘关节、腕关节、胯关节、膝关节、踝关节、腰关节等。图5的人体骨骼关节点示意图包括多个关节节点以及节点间的连接边。关节节点具有各自对应的节点编号，包括节点11、节点21、节点22、节点23、节点31、节点32、节点33、节点34、节点35、节点41、节点42、节点43、节点44、节点51和节点52。节点间的连接边具有各自对应的边编号，可以用该连接边连接的两个节点编号组合表示，例如节点11和节点21之间的连接边可以用11-21表示。本申请结合人体骨骼关节点的示意图对利用图神经网络模型预测目标角色的姿态进行说明。

获取一帧或多帧已有图像中目标角色的关节节点的表征向量和边的表征向量、步态运动的表征向量以及运动路径的表征向量。在一些实施例中，关节节点的表征向量、边的表征向量以及运动路径的表征向量可以分别表示为矩阵的形式。所述关节节点的表征向量对应人体关节节点的特征，该特征可以包括但不限于关节位置坐标、关节类型、骨骼(关节)旋转角度等。所述边的表征向量对应人体关节节点之间的连接关系特征。例如，参考图5人体骨骼关节的结构示意图，该结构示意图包括15个节点，头部节点35与颈部节点21相连，颈部节点21分别与左肩节点32和右肩节点31相连，右肩节点31与右肘关节41相连，右肘关节41与右腕关节51相连，左肩节点32与左肘关节42相连，左肘关节42与左腕关节52相连，腰关节11分别与颈部节点21、左胯关节23和右胯关节22相连，左胯关节23与左膝关节34相连，左膝关节34与左踝关节44相连，右胯关节22与右膝关节33相连，右膝关节33与右踝关节43相连。所述步态运动的表征向量对应目标角色的步伐运动状态，例如左脚着地、右脚着地、左脚抬起等。所述运动路径的表征向量对应目标角色的移动足迹特征。

将一帧或多帧已有图像中目标角色的关节节点的表征向量和边的表征向量、步态运动的表征向量以及运动路径的表征向量输入训练好的姿态预测模型，得到后继帧图像中所述目标角色的预测姿态信息。在一些实施例中，训练好的姿态预测模型为图神经网络模型。优选的，所述图神经网络模型可以为图卷积神经网络模型。图卷积神经网络模型的输入为图，其由节点和边组成，节点可以表示一个对象/个体，边可以表示节点之间的连接关系。在所述图卷积神经网络模型中，模型节点可以分为实节点和虚拟节点，将关节节点的表征向量作为图卷积神经网络模型的实节点嵌入，将步态运动的表征向量作为图卷积神经网络模型的虚节点嵌入，将运动路径的表征向量作为图卷积神经网络模型的虚节点嵌入，以及将边的表征向量作为图卷积神经网络模型的边嵌入。在一些实施例中，可以根据模型输出的后继帧图像中目标角色的步态运动信息，确定目标角色步态运动的表征向量，该步态运动的表征向量可以用于输入模型，以获得再后继帧图像中目标角色的预测姿态信息。在一些实施例中，可以根据后继帧图像中目标角色的预测位置信息和运动路径信息，确定与该预测位置点(例如，H点)距离最近的路径点(例如，N点)，所述路径点N位于运动路径上，然后以路径点N为坐标原点，该后继帧图像中目标角色的面朝方向为正方向建立坐标系，并且以路径点N为中点，取路径点N前后预设长度的范围(例如，60cm)为一个路径窗口，将该路径窗口包含的路径点在该坐标系下的坐标作为路径表征向量，该路径表征向量用于输入训练好的姿态预测模型，以预测再后继帧图像中目标角色的预测姿态信息。

本申请实施例可能带来的有益效果包括但不限于：(1)利用图神经网络模型，可以自动地生成目标角色的动作姿态数据；(2)利用反向运动学方法自动调整生成的动作姿态数据，使得目标角色的动作姿态更协调；(3)利用图神经网络模型生成虚拟角色的动作姿态数据时，考虑了运动路径、步态运动等影响因素，使得目标角色的动作姿态更自然真实。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、VisualBasic、Fortran2003、Perl、COBOL2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的处理设备或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本申请引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本申请作为参考。与本申请内容不一致或产生冲突的申请历史文件除外，对本申请权利要求最广范围有限制的文件(当前或之后附加于本申请中的)也除外。需要说明的是，如果本申请附属材料中的描述、定义、和/或术语的使用与本申请所述内容有不一致或冲突的地方，以本申请的描述、定义和/或术语的使用为准。

最后，应当理解的是，本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此，作为示例而非限制，本申请实施例的替代配置可视为与本申请的教导一致。相应地，本申请的实施例不仅限于本申请明确介绍和描述的实施例。

Claims (18)

1.一种三维动画的姿态预测方法，其特征在于，所述方法包括：

获取目标角色在一帧或多帧已有图像中的姿态信息；

将所述姿态信息输入训练好的姿态预测模型，确定后继帧图像中所述目标角色的预测姿态信息；

所述姿态信息包括骨骼旋转角度信息以及步态运动信息。

2.根据权利要求1所述的三维动画的姿态预测方法，其特征在于，所述训练好的姿态预测模型为图神经网络模型，所述图神经网络模型的节点对应所述目标角色的关节点、步态运动信息以及运动路径信息，边对应所述关节点之间的连接关系。

3.根据权利要求2所述的三维动画的姿态预测方法，其特征在于，所述图神经网络模型为图卷积神经网络模型。

4.根据权利要求1所述的三维动画的姿态预测方法，其特征在于，所述训练好的姿态预测模型通过以下方式训练获得：

获取多组样本图像，每组样本图像包括一帧或多帧输入图像以及与所述输入图像邻接的包括实际姿态信息的后继帧图像；

将所述一帧或多帧输入图像的姿态信息输入至初始姿态预测模型，得到输出结果；

基于所述输出结果与所述图像邻接的包括实际姿态信息的后继帧图像构造损失函数；

通过最小化所述损失函数，来更新所述初始姿态预测模型的至少一个参数。

5.根据权利要求1所述的三维动画的姿态预测方法，其特征在于，所述方法还包括：

利用反向动力学，对所述后继帧图像中所述目标角色的预测姿态信息进行修正，获得修正后的姿态信息；

判断所述后继帧图像是否为最后一帧图像；

响应于所述后继帧图像不为最后一帧图像，将所述后继帧图像修正后的姿态信息输入所述训练好的姿态预测模型，用于参与生成再后继帧图像的预测姿态信息；

响应于所述后继帧图像为最后一帧图像，结束执行生成再后继帧图像中所述目标角色的预测姿态信息的操作。

6.根据权利要求1所述的三维动画的姿态预测方法，其特征在于，所述姿态预测模型的输入还包括运动路径信息。

7.根据权利要求6所述的三维动画的姿态预测方法，其特征在于，基于所述运动路径信息和后继帧图像中所述目标角色的预测姿态信息，获取后继帧图像中所述目标角色的预测位置信息。

8.根据权利要求6所述的三维动画的姿态预测方法，其特征在于，基于预设运动路径信息、目标角色的角色朝向信息以及目标角色的位置信息，确定所述运动路径信息；

所述目标角色的角色朝向通过下列方法之一获得：

基于所述训练好的姿态预测模型输出；或者，

基于所述目标角色的姿态信息计算出。

9.一种三维动画的姿态预测系统，其特征在于，所述系统包括：

获取模块，用于获取目标角色在一帧或多帧已有图像中的姿态信息；

姿态确定模块，用于将所述姿态信息输入训练好的姿态预测模型，确定后继帧图像中所述目标角色的预测姿态信息；

所述姿态信息包括骨骼旋转角度信息以及步态运动信息。

10.根据权利要求9所述的三维动画的姿态预测系统，其特征在于，所述训练好的姿态预测模型为图神经网络模型，所述图神经网络模型的节点对应所述目标角色的关节点以及运动路径信息，边对应所述关节点之间的连接关系。

11.根据权利要求10所述的三维动画的姿态预测系统，其特征在于，所述图神经网络模型为图卷积神经网络模型。

12.根据权利要求9所述的三维动画的姿态预测系统，其特征在于，所述系统还包括模型训练模块，所述模型训练模块用于：

获取多组样本图像，每组样本图像包括一帧或多帧输入图像以及与所述输入图像邻接的包括实际姿态信息的后继帧图像；

将所述一帧或多帧输入图像的姿态信息输入至初始姿态预测模型，得到输出结果；

基于所述输出结果与所述图像邻接的包括实际姿态信息的后继帧图像构造损失函数；

通过最小化所述损失函数，来更新所述初始姿态预测模型的至少一个参数。

13.根据权利要求9所述的三维动画的姿态预测系统，其特征在于，所述系统还包括修正模块，所述修正模块用于：

利用反向动力学，对所述后继帧图像中所述目标角色的预测姿态信息进行修正，获得修正后的姿态信息；

判断所述后继帧图像是否为最后一帧图像；

响应于所述后继帧图像不为最后一帧图像，将所述后继帧图像修正后的姿态信息输入所述训练好的姿态预测模型，用于参与生成再后继帧图像的预测姿态信息；

响应于所述后继帧图像为最后一帧图像，结束执行生成再后继帧图像中所述目标角色的预测姿态信息的操作。

14.根据权利要求9所述的三维动画的姿态预测系统，其特征在于，所述姿态预测模型的输入还包括运动路径信息。

15.根据权利要求14所述的三维动画的姿态预测系统，其特征在于，基于所述运动路径信息和后继帧图像中所述目标角色的预测姿态信息，获取后继帧图像中所述目标角色的预测位置信息。

16.根据权利要求14所述的三维动画的姿态预测系统，其特征在于，基于预设运动路径信息、目标角色的角色朝向信息以及目标角色的位置信息，确定所述运动路径信息；

所述目标角色的角色朝向通过下列方法之一获得：

基于所述训练好的姿态预测模型输出；或者，

基于所述目标角色的姿态信息计算出。

17.一种三维动画的姿态预测装置，其特征在于，所述装置包括至少一个存储介质及至少一个处理器；

所述至少一个存储介质用于存储计算机指令；

所述至少一个处理器用于执行所述计算机指令，以实现如权利要求1～8中任一项所述的三维动画的姿态预测方法。

18.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机指令，当所述计算机指令被处理器执行时，实现如权利要求1～8中任一项所述的三维动画的姿态预测方法。

Images