CN114202027B - 执行配置信息的生成方法、模型训练方法和装置 - Google Patents

Abstract

本公开提供了一种执行配置信息的生成方法、模型训练方法、装置、设备以及存储介质，涉及人工智能技术领域，尤其涉及图像处理、深度学习等技术领域。具体实现方案为：针对用于训练模型的进程，设置进程的拓扑结构；以及根据拓扑结构，对用于训练模型的张量和算子执行标记操作，得到执行配置信息，其中，执行配置信息包括：张量的切分信息、张量与进程之间的对应关系和算子的变量的切分信息。

Description

执行配置信息的生成方法、模型训练方法和装置

技术领域

本公开涉及人工智能技术领域，尤其涉及图像处理、深度学习等技术领域。

背景技术

近年来，随着国内外科技公司的不断推动，深度学习模型规模持续快速增长，超大规模模型训练已经成为最重要的核心竞争力之一。为了支持超大规模模型训练，各种并行策略和关键技术被相继提出，常用的分布式训练策略和技术包括数据并行、基于张量切分的模型并行和流水线并行等，以及基于这些策略和技术的组合策略。然而，在实际应用中，要求算法工程师对底层技术实现原理和硬件架构有深入地了解，才能高效、正确地使用这些组合技术，提高了这些技术的应用门槛。另外，多种深度学习训练硬件平台不断涌现，多种硬件平台协同的异构训练成为一种趋势。深度学习训练需要能够灵活地支持异构训练平台。

发明内容

本公开提供了一种执行配置信息的生成方法、模型训练方法、装置、设备以及存储介质。

根据本公开的一方面，提供了一种执行配置信息的生成方法，包括：针对用于训练模型的进程，设置所述进程的拓扑结构；以及根据所述拓扑结构，对用于所述训练模型的张量和算子执行标记操作，得到执行配置信息，其中，所述执行配置信息包括：所述张量的切分信息、所述张量与所述进程之间的对应关系和所述算子的变量的切分信息。

根据本公开的另一方面，提供了一种模型训练方法，包括：根据执行配置信息，将训练模型的操作分配给多个节点执行，其中，所述执行配置信息是根据本公开实施例所述的方法确定的。

根据本公开的另一方面，提供了一种执行配置信息的生成装置，包括：设置模块，用于针对用于训练模型的进程，设置所述进程的拓扑结构；以及标记模块，用于根据所述拓扑结构，对用于所述训练模型的张量和算子执行标记操作，得到执行配置信息，其中，所述执行配置信息包括：所述张量的切分信息、所述张量与所述进程之间的对应关系和所述算子的变量的切分信息。

根据本公开的另一方面，提供了一种模型训练装置，包括：执行模块，用于根据执行配置信息，指示多个节点执行训练模型的操作，其中，所述执行配置信息是根据本公开实施例所述的方法确定的。

本公开的另一个方面提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例所示的方法。

根据本公开实施例的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开实施例所示的方法。

根据本公开实施例的另一方面，提供了一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现本公开实施例所示方法的步骤。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示意性示出了根据本公开的实施例的执行配置信息的生成方法的流程图；

图2示意性示出了根据本公开的实施例的进程拓扑接口的示意图；

图3示意性示出了根据本公开的实施例的张量切分接口的示意图；

图4示意性示出了根据本公开的实施例的进程匹配接口的示意图；

图5示意性示出了根据本公开的实施例的算子切分接口的示意图；

图6示意性示出了根据本公开的实施例的节点转移接口的示意图；

图7示意性示出了根据本公开的实施例的流水线设置接口的示意图；

图8示意性示出了根据本公开的实施例的模型训练方法的流程图；

图9示意性示出了根据本公开的实施例的计算图的示意图；

图10示意性示出了根据本公开实施例的执行配置信息的生成装置的框图；

图11示意性示出了根据本公开实施例的模型训练装置的框图；以及

图12示意性示出了可以用来实施本公开的实施例的示例电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本公开的技术方案中，所涉及的张量、算子等数据的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。以下将结合图1对本公开提供的执行配置信息的生成方法和装置的应用场景进行描述。

图1示意性示出了根据本公开的实施例的执行配置信息的生成方法的流程图。

如图1所示，该执行配置信息的生成方法100包括在操作S110，针对用于训练模型的进程，设置进程的拓扑结构。

根据本公开的实施例，模型例如可以为深度学习模型。用于训练模型的进程可以为一个或多个。可以理解的是，在用于训练模型的进程有多个时的情况下，可以分别为每个进程设置拓扑结构。

然后，在操作S120，根据拓扑结构，对用于训练模型的张量(Tensor)和算子执行标记操作，得到执行配置信息。

根据本公开的实施例，执行配置信息例如可以包括：张量的切分信息、张量与进程之间的对应关系和算子的变量的切分信息根据本公开的实施例，标记操作可以用于对张量和算子的属性进行标记。其中，张量的属性例如可以包括张量的切分信息、张量与进程之间的对应关系等，算子的属性例如可以包括算子的输入变量和/或输出变量的切分信息等。

根据本公开的实施例，用于训练模型的张量可以为一个或多个，算子可以为一个或多个。可以理解的是，在用于训练模型的张量或算子有多个的情况下，可以分别为每个张量或每个算子执行标记操作。

相关技术对异构训练平台的支持较差，难以应用于更加复杂的场景，如CPU和GPU协同训练的异构参数服务器模式。根据本公开的实施例的执行配置信息的生成方法，可以对张量和算子分别进行标记，从而能够满足复杂场景的需求，可以支持如CPU和GPU协同训练的异构训练平台，可以支持sharding和offload等策略，兼容现有的分布式并行策略。

根据本公开的实施例，可以预先设置进程拓扑接口，用于设置每个进程的拓扑结构。

例如，例如，图2示意性示出了根据本公开的实施例的进程拓扑接口的示意图。

如图2所示，进程拓扑接口可以为Process Mesh(mesh，parent/None)。ProcessMesh的输入参数可以包括mesh，以及parent或None，没有返回值。其中，mesh表示进程组的逻辑拓扑结构(以下简称拓扑结构)。需要说明的是，mesh是逻辑拓扑，与具体的设备拓扑无关。mesh例如可以采用列表的形式。parent表示进程组的父ProcessMesh实例。None表示无父ProcessMesh实例。

基于此，可以将进程以及与进程对应的拓扑结构数据，输入进程拓扑接口，以设置每个进程的拓扑结构。

示例性地，ProcessMesh的结构可以如表1所示。表1中包括6个元素，分别对应6个进程，进程ID分别为2、4、3、1、0和5。该6个元素分成2行，每行包括3个元素。因此该ProcessMesh的mesh参数的shape属性可以为[2，3]，用于表示进程的拓扑结构。表1中每个元素的值可以用于表示对应的进程ID，例如mesh[0][0]表示表1中首行首个元素所代表的逻辑进程，即进程2。

2	4	3
			1	0	5

表1

根据本公开的实施，对于同样数量的进程，可以通过ProcessMesh表示为不同的拓扑结构。例如，对于32个进程，可以表示为以下不同的拓扑结构：mesh.shape＝[2，2，8]和mesh.shape＝[4，2，4]。示例性地，本实施例中，假设第一维表示数据并行[dp]，第二维表示流水线并行[pp]，第三维表示模型并行[mp]。

其中，mesh.shape＝[2，2，8]可以表示2路数据并行，2路流水线并行和8路模型并行；mesh.shape＝[4，2，4]可以表示4路数据并行，2路流水线并行和4路模型并行。

本实施例中，每个进程可以对应一个节点。根据本公开的实施例，节点例如可以为服务器。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(Virtual Private Server，或简称VPS)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

根据本公开的实施例，可以预先设置张量切分接口，用于设置张量的切分信息。

例如，图3示意性示出了根据本公开的实施例的张量切分接口的示意图。

如图3所示，张量切分接口可以为shard_tensor(x，mesh，dims_mapping)。shard_tensor的输入参数可以包括x、mesh和dims_mapping，返回值可以为标注后的张量x’。其中，x为待标记的张量，mesh表示进程的拓扑结构，dims_mapping表示张量维度和拓扑结构之间的对应关系。dims_mapping可以用于标记如下信息：x的第i维沿着mesh的第dims_mapping[i]维切分。其中i为正整数。示例性地，若dims_mapping[i]的值为-1，则可以表示x的第i维不切分。

基于此，可以将张量、与张量对应的进程的拓扑结构数据以及张量的维度和拓扑结构数据的维度之间的对应关系，输入张量切分接口，以设置张量的切分信息。

根据本公开的实施例，可以预先设置进程匹配接口，用于设置张量与进程之间的对应关系。

例如，图4示意性示出了根据本公开的实施例的进程匹配接口的示意图。

如图4所示，进程匹配接口可以为set_shard_mask(x，mask)。set_shard_mask的输入参数可以包括x和mask，返回值可以为标注后的张量x’。其中，x为待标记的张量，mask表示张量与进程之间的对应信息，该对应信息可以用于表示张量在各进程中是否存在。示例性地，mask可以包括与进程一一对应的元素。每个元素的值可以包括0和1，其中，0可以表示不存在，1可以表示存在。示例性地，本实施例中，mask的shape属性可以和x对应的mesh结构的shape属性相同。例如，假设x的mesh结构如表2所示，mask结构的shape属性如表3所示。mesh中的进程2在mask中对应位置上的值为1，则表示x存在于进程2中。mesh中的进程4在mask中对应位置上的值为0，则表示x不存在于进程4中。同理可以得到x存在于进程2、3和0中，不存在于进程4、1和5中。

2	4	3
			1	0	5

表2

1	0	1
			0	1	0

表3

基于此，可以将张量以及张量与进程之间的对应信息，输入进程匹配接口，以设置张量与进程之间的对应关系。

根据本公开的实施例，由于进程与节点一一对应，因此通过进程匹配接口设置张量与进程之间的对应关系，可以实现分布式策略。例如，模型存在四个参数P1、P2、P3、P4和两个节点D1、D2。通过进程匹配接口设置张量与进程之间的对应关系，可以使分配关系变为参数P1、P3存在于节点D1，而P2、P4存在于节点D2上，从而可以减少每个节点上存储的参数量。

根据本公开的实施例，可以预先设置算子切分接口，用于设置算子的变量的切分信息。

例如，图5示意性示出了根据本公开的实施例的算子切分接口的示意图。

如图5所示，算子切分接口可以为shard_op(op_fn，mesh，dims_mapping_dict，**kwargs)。shard_op的输入参数可以包括op_fn、mesh、dims_mapping_dict和**kwargs，返回值可以为算子的输出变量Tensor。其中，op_fn表示与算子对应的创建接口(例如callable)。mesh表示与算子对应的进程的拓扑结构数据，即该算子需要标识的进程的拓扑结构。dims_mapping_dict表示算子的变量到切分信息的对应关系。dims_mapping_dict可以包括一个或多个键值对。每个键值对中的键名表示该算子的输入变量名或输出变量名，键值表示对应变量的切分信息。

基于此，可以将与算子对应的创建接口、与算子对应的进程的拓扑结构数据，以及算子的变量与切分信息的对应关系，输入算子切分接口，以设置算子的变量的切分信息。

根据本公开的另一实施例，执行配置信息还可以包括张量的存放节点信息。可以预先设置存放节点转移接口，用于设置每个张量的存放节点信息。

例如，图6示意性示出了根据本公开的实施例的节点转移接口的示意图。

如图6所示，节点转移接口可以为set_offload_device(x，device)。set_offload_device的输入参数可以包括x和device，返回值可以为标注后的张量x’。其中，x为待标记的张量，device为存放该张量的目标节点。

基于此，可以将张量和对应存放节点的节点标识，输入存放节点转移接口，以设置张量的存放节点信息。通过设置张量的存放节点信息，可以使张量转移至目标节点中，由目标节点来存放。

作为一个可选的实施例，可以将张量存放在存储节点中，在计算节点需要使用该张量时，可以通过节点转移接口将该张量从对应的存储节点转移至该计算节点。从而可以实现张量存储和计算的分离。

根据本公开的另一实施例，还可以预先设置流水线设置接口，用于为标记操作和/或模型训练操作设置执行节点。

例如，图7示意性示出了根据本公开的实施例的流水线设置接口的示意图。

如图7所示，流水线设置接口可以为set_pipeline_stage(stage)。set_pipeline_stage的输入参数可以包括stage，返回值可以为None。其中，stage可以表示目标节点的标识。

通过将目标节点的标识输入流水线设置接口，可以将后续操作的执行节点设置为目标节点，从而由目标节点执行后续操作。

根据本公开的实施例，通过流水线设置接口可以将训练操作分给多个节点执行。

根据本公开的实施例，通过上述接口来进行标记操作，可以简化复杂场景下分布式训练程序的开发过程。

以下将结合图8对本公开提供的模型训练方法进行描述。

图8示意性示出了根据本公开的实施例的模型训练方法的流程图。

如图8所示，该模型训练方法800包括在操作S810，根据执行配置信息，指示多个节点执行训练模型的操作。

根据本公开的实施例，执行配置信息例如可以根据上文所示的方法确定。

相关技术中，复杂场景下分布式训练程序的开发难度较高，另外对异构训练平台的支持较差。

根据本公开实施例的模型训练方法，可以支持各类应用场景对复杂并行策略的需求，兼容各种的分布式并行策略，并简化复杂场景下分布式训练程序的开发过程。

下面参考图9，结合具体实施例对上文所示的模型训练方法做进一步说明。本领域技术人员可以理解，以下示例实施例仅用于理解本公开，本公开并不局限于此。

根据本公开的实施例，可以以计算图(Graph)的方式表示模型训练过程中需要执行的操作。操作中所要执行的算子和该算子的输入和输出数据可以表示为计算图中的节点，算子和该算子的输入和输出数据之间的依赖关系可以表示为计算图中的边。另外，节点可以设置有属性，比如数据的大小等。

图9示意性示出了根据本公开的实施例的计算图的示意图。

在图9中示出了运算Out＝X+Y的计算图。其中，算子为加法算子(add)，张量X、Y为算子的输入数据，张量Out为输出数据。X、Y和Out均设置有额外的shape属性，用于表示相应张量的大小。

本实施例中，可以使用上文所示的接口，对张量X、Y和Out和加法算子的属性进行标记。然后，需要根据标记的属性修改计算图。

例如，可以利用shard_tensor接口分别标记张量的切分信息。假设张量X的shape信息为[2，4]，mesh的shape信息(即mesh.shape)为[2，1，4]，dims_mapping的值为[0，-1]。dims_mapping的第一维值是0，则表示X的第一维(值为2)按照mesh的第一维(值为2)进行切分，X的第一维(值为2)，即将X的第一维2切分为2份，每份的维度值为1。dims_mapping的第二维值是-1，则表示X的第二维不切分。基于此，可以修改计算图中X的shape信息为[1，4]。

例如，可以利用set_shard_mask接口设置张量在进程上的存在关系：存在或者不存在。当张量存在于某个进程时，则在该进程对应的计算图上添加broadcast(广播)操作，将该张量广播到同一通信组的所有其它进程。当张量不存在与某个进程时，则修改该计算图，增加broadcast操作，表示同一通信组内接收该张量。

例如，可以利用shard_op设置算子的输入、输出数据的切分信息dims_mapping。然后根据输入、输出的dims_mapping修改计算图。

例如，可以利用set_offload_device：根据标识的信息修改计算图中Tensor的device信息。进行在执行计算图计算过程中，如果遇到Tensor的device和实际执行的device不同时，需要将数据拷贝到执行device，在使用完成后再拷贝回Tensor标记的device。

例如，可以利用set_pipeline_stage设置目标节点的标识。当进程所属的stage和标记的stage不同时，从计算图中删掉与进程对应的张量和算子。

执行完上述操作后，每个进程上都得到该进程最终会执行的计算图，因此，可以根据该计算图进行模型训练。

根据本公开实施例的方法，可以支持各类应用场景对复杂并行策略的需求，兼容各种的分布式并行策略，并简化复杂场景下分布式训练程序的开发过程。

图10示意性示出了根据本公开实施例的执行配置信息的生成装置的框图。

如图10所示，执行配置信息的生成装置1000包括设置模块1010和标记模块1020。

设置模块1010，用于针对用于训练模型的进程，设置所述进程的拓扑结构。

标记模块1020，用于根据所述拓扑结构，对用于所述训练模型的张量和算子执行标记操作，得到执行配置信息，其中，所述执行配置信息包括：所述张量的切分信息、所述张量与所述进程之间的对应关系和所述算子的变量的切分信息。

图11示意性示出了根据本公开实施例的模型训练装置的框图。

如图11所示，模型训练装置1100包括执行模块1110，用于根据执行配置信息，指示多个节点执行训练模型的操作，其中，所述执行配置信息是根据本公开实施例所述的方法确定的。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图12示意性示出了可以用来实施本公开的实施例的示例电子设备1200的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图12所示，设备1200包括计算单元1201，其可以根据存储在只读存储器(ROM)1202中的计算机程序或者从存储单元1208加载到随机访问存储器(RAM)1203中的计算机程序，来执行各种适当的动作和处理。在RAM 1203中，还可存储设备1200操作所需的各种程序和数据。计算单元1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O)接口1205也连接至总线1204。

设备1200中的多个部件连接至I/O接口1205，包括：输入单元1206，例如键盘、鼠标等；输出单元1207，例如各种类型的显示器、扬声器等；存储单元1208，例如磁盘、光盘等；以及通信单元1209，例如网卡、调制解调器、无线通信收发机等。通信单元1209允许设备1200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1201的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1201执行上文所描述的各个方法和处理，例如执行配置信息的生成和模型训练方法。例如，在一些实施例中，执行配置信息的生成和模型训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1208。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1202和/或通信单元1209而被载入和/或安装到设备1200上。当计算机程序加载到RAM 1203并由计算单元1201执行时，可以执行上文描述的执行配置信息的生成和模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1201可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行执行配置信息的生成和模型训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (9)

1.一种模型训练方法，包括：

针对用于训练模型的进程，根据所述进程以及与所述进程对应的拓扑结构数据，设置所述进程的拓扑结构；

根据张量、与所述张量对应的进程的拓扑结构数据以及所述张量的维度和所述拓扑结构数据的维度之间的对应关系，设置所述张量的切分信息；

根据所述张量以及所述张量与所述进程之间的对应信息，设置所述张量与所述进程之间的对应关系；

将与算子对应的创建接口、与所述算子对应的进程的拓扑结构数据，以及所述算子的变量与切分信息的对应关系，输入算子切分接口，以设置所述算子的变量的切分信息，其中，所述算子切分接口的输入参数包括与算子对应的创建接口、与算子对应的进程的拓扑结构数据和算子的变量到切分信息的对应关系，所述算子切分接口的返回值包括算子的输出变量；

根据所述张量的切分信息、所述张量与所述进程之间的对应关系和所述算子的变量的切分信息，将训练模型的操作分配给多个节点执行，其中，所述方法还包括：

在执行训练模型的操作的过程中，将所述张量和对应存放节点的节点标识，输入存放节点转移接口，以将该张量从对应的存储节点转移至计算节点。

2.根据权利要求1所述的方法，其中，所述根据所述进程以及与所述进程对应的拓扑结构数据，设置所述进程的拓扑结构，包括：

将所述进程以及与所述进程对应的拓扑结构数据，输入进程拓扑接口，以设置每个进程的拓扑结构。

3.根据权利要求1所述的方法，其中，所述根据所述张量、与所述张量对应的进程的拓扑结构数据以及所述张量的维度和所述拓扑结构数据的维度之间的对应关系，设置所述张量的切分信息，包括：

将所述张量、与所述张量对应的进程的拓扑结构数据以及所述张量的维度和所述拓扑结构数据的维度之间的对应关系，输入张量切分接口，以设置所述张量的切分信息。

4.根据权利要求1所述的方法，其中，所述根据所述张量以及所述张量与所述进程之间的对应信息，设置所述张量与所述进程之间的对应关系，包括：

将所述张量以及所述张量与所述进程之间的对应信息，输入进程匹配接口，以设置所述张量与所述进程之间的对应关系。

5.根据权利要求1-4中任一项所述的方法，还包括：

利用流水线设置接口为所述操作设置执行节点。

6.一种模型训练装置，包括：

设置模块，用于针对用于训练模型的进程，根据所述进程以及与所述进程对应的拓扑结构数据，设置所述进程的拓扑结构；

标记模块，用于根据张量、与所述张量对应的进程的拓扑结构数据以及所述张量的维度和所述拓扑结构数据的维度之间的对应关系，设置所述张量的切分信息；根据所述张量以及所述张量与所述进程之间的对应信息，设置所述张量与所述进程之间的对应关系；将与算子对应的创建接口、与所述算子对应的进程的拓扑结构数据，以及所述算子的变量与切分信息的对应关系，输入算子切分接口，以设置所述算子的变量的切分信息，其中，所述算子切分接口的输入参数包括与算子对应的创建接口、与算子对应的进程的拓扑结构数据和算子的变量到切分信息的对应关系，所述算子切分接口的返回值包括算子的输出变量；根据所述张量的切分信息、所述张量与所述进程之间的对应关系和所述算子的变量的切分信息，将训练模型的操作分配给多个节点执行；以及

执行模块，用于根据所述张量的切分信息、所述张量与所述进程之间的对应关系和所述算子的变量的切分信息，将训练模型的操作分配给多个节点执行；在执行训练模型的操作的过程中，将所述张量和对应存放节点的节点标识，输入存放节点转移接口，以将该张量从对应的存储节点转移至计算节点。

7.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。

8.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的方法。

9.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-5中任一项所述方法的步骤。

Images