[go: up one dir, main page]

CN110321107A - 数据处理模块的生成方法和服务器 - Google Patents

数据处理模块的生成方法和服务器 Download PDF

Info

Publication number
CN110321107A
CN110321107A CN201810293377.9A CN201810293377A CN110321107A CN 110321107 A CN110321107 A CN 110321107A CN 201810293377 A CN201810293377 A CN 201810293377A CN 110321107 A CN110321107 A CN 110321107A
Authority
CN
China
Prior art keywords
task
node
task node
type
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810293377.9A
Other languages
English (en)
Inventor
范雷雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Youku Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Youku Network Technology Beijing Co Ltd filed Critical Youku Network Technology Beijing Co Ltd
Priority to CN201810293377.9A priority Critical patent/CN110321107A/zh
Publication of CN110321107A publication Critical patent/CN110321107A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/20Software design
    • G06F8/22Procedural

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提供了一种数据处理模块的生成方法和服务器,其中,该方法包括:获取任务执行序列图,所述任务执行序列图用于表征任务流中各任务节点之间的执行顺序、任务节点的任务类型;解析任务执行序列图,以获取任务流中的任务节点的任务类型标识、任务节点的位置坐标;根据任务节点的任务类型标识、任务节点的位置坐标,调用并组合任务节点的处理逻辑,以生成用于进行数据处理的数据处理模块。相较于现有方法,通过利用表征任务流信息的任务执行序列图确定任务节点的任务类型标识、任务节点的位置坐标;再以上述数据作为依据调用相应的处理逻辑进行组合以生成数据处理模块,从而解决了现有方法中存在的实施效率低下、浪费资源、容易出现误差的问题。

Description

数据处理模块的生成方法和服务器
技术领域
本申请属于互联网技术领域,尤其涉及一种数据处理模块的生成方法和服务器。
背景技术
随着互联网技术的发展,人们对数据处理的要求越来越高、越来越多样化。如何快速地解读并确定用户的个性化要求、如何高效地生成针对不同用户不同要求的数据处理模块以便完成对应的数据处理,越来越受到人们的重视。
目前,许多用户(例如小型的网站或者个人)会选择借助相对较为专业的数据处理平台所提供的资源和技术,来完成自己所要求的数据处理业务。例如,某小型视频网站C站为了对本站内的视频进行视频处理,会将自己的处理需求发送至专业的视频处理平台A平台。A平台后台的技术人员对网站C所输入的需求进行分析后,编写可以实现网站C的需求的程序代码,从而形成可以专门满足网站C的视频处理需求的视频处理模块。
然而,上述这种处理方式需要后台的技术人员先分析用户的需求,确定相应的任务流;再根据任务流通过人工编码生成相应的数据处理模块。由于上述方式在实现的过程中不能脱离技术人员的参与,导致现有方法具体实施时需要占用大量的人力资源,且实施速率低下。又由于现有方法需要大量依赖人工操作,导致实施时也容易出现人为误差。
针对上述问题,目前尚未提出有效的解决方案。
发明内容
本申请目的在于提供一种数据处理模块的生成方法和服务器,以解决现有方法存在的实施效率低下、浪费人力资源、容易出现误差的问题,达到高效、准确、自动生成数据处理模块的目的。
为实现上述目的,本申请实施方式提供了一种数据处理模块的生成方法,包括:
获取任务执行序列图,其中,所述任务执行序列图用于表征任务流中各任务节点之间的执行顺序、任务节点的任务类型;
解析所述任务执行序列图,以获取所述任务流中的任务节点的任务类型标识、任务节点的位置坐标;
根据所述任务节点的任务类型标识、所述任务节点的位置坐标,调用并组合任务节点的处理逻辑,以生成用于进行数据处理的数据处理模块。
为实现上述目的,本申请实施方式还提供了一种视频数据处理模块的生成方法,包括:获取任务流表征数据,其中,所述任务流表征数据用于表征任务流中各任务节点之间的执行顺序、任务节点的任务类型;根据所述任务流表征数据,确定所述任务流中的任务节点的任务类型标识、任务节点的位置坐标;根据所述任务节点的任务类型标识、所述任务节点的位置坐标,调用并组合任务节点的处理逻辑,以生成用于进行数据处理的数据处理模块。
为实现上述目的,本申请实施方式还提供了一种服务器,包括:网络通信接口、存储器和处理器,其中:所述网络通信接口,用于获取任务执行序列图,其中,所述任务执行序列图用于表征任务流中各任务节点之间的执行顺序、任务节点的任务类型;所述处理器,用于解析所述任务执行序列图,以获取所述任务流中的任务节点的任务类型标识、任务节点的位置坐标;根据所述任务节点的任务类型标识、所述任务节点的位置坐标,调用并组合任务节点的处理逻辑,以生成用于进行数据处理的数据处理模块;所述存储器,用于存储所述任务节点的处理逻辑。
为实现上述目的,本申请实施方式还提供了一种计算机可读存储介质,其上存储有计算机指令,所述指令被执行时实现:获取任务执行序列图,其中,所述任务执行序列图用于表征任务流中各任务节点之间的执行顺序、任务节点的任务类型;解析所述任务执行序列图,以获取所述任务流中的任务节点的任务类型标识、任务节点的位置坐标;根据所述任务节点的任务类型标识、所述任务节点的位置坐标,调用并组合任务节点的处理逻辑,以生成用于进行数据处理的数据处理模块。
由上可见,本申请所提供的数据处理模块的生成方法和服务器,避免了现有方法在实施过程中对人的依赖,而是通过利用表征任务流信息的任务执行序列图先确定出机器可自行识别、判断的任务节点的任务类型标识、任务节点的位置坐标;再通过机器以上述数据作为识别、判断依据自行调用相应的处理逻辑进行组合,以生成所需要的数据处理模块,从而解决了现有方法中存在的实施效率低下、浪费人力资源、容易出现误差的问题,达到可以高效、准确、自动地生成数据处理模块的目的。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请提供的数据处理模块的生成方法的一种实施例的处理流程示意图;
图2是本申请提供的数据处理模块的生成方法中的任务执行序列图的示意图;
图3是本申请提供的数据处理模块的生成方法中对当前任务节点的处理逻辑进行处理的过程示意图;
图4是在一个场景实施例中应用本申请提供的数据处理模块的生成方法的一个示意图;
图5是在一个场景实施例中应用本申请提供的数据处理模块的生成法对某个具体任务流进行分析处理的示意图;
图6是本申请提供的数据处理模块的生成方法的一种通过机器实现的示意图;
图7是本申请提供的数据处理模块的生成方法的另一种实施例的处理流程示意图;
图8是本申请提供的服务器的一种实施例的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
考虑到现有的数据处理模块的生成方法往往不能直接依靠机器(例如,计算机)自动完成,大多还需要依赖人的参与。具体的,现有方法在实现时需要后台的技术人员先分析用户的需求,以确定相应的任务流;再根据任务流通过人工编码等方式生成相应的数据处理模块。由于一个数据处理模块往往会包含有多个不同类型的数据处理任务,而不同的数据处理任务在执行上相互存在较为复杂的关联性。如何准确地判断某一任务执行之后下一个连接什么样任务作为后续任务,在什么样的情况下连接另一个任务作为后续任务,以及如何连接相应的后续任务等,在现有方法中无法单独依靠机器完成。因此,现有方法在实施过程中需要大量依赖人力资源。尤其是在用户需求相对复杂的情况下,任务之间的连接组合关系更为复杂、多变,这时现有方法对人力的资源的占用、对实施效率的影响更为明显。针对产生上述问题的根本原因,本申请考虑可以从机器识别、判断的机理出发,利用能够表征任务流的任务执行序列图作为初始数据,根据任务执行序列图确定出任务节点的类型标识、任务节点的位置坐标,再将任务节点的位置坐标作为机器识别、判断的依据,使得机器可以根据上述数据自动生成相应的数据处理模块,从而可以避免对人力资源的占用,解决了现有方法中存在的浪费资源、实施效率低下的问题。此外,还由于减少了人工操作,减少了误差,提高了生成数据处理模块的准确度。最终达到高效、准确、自动地生成数据处理模块的目的。
基于上述考虑,本申请实施方式提供了一种数据处理模块的生成方法,所述数据处理模块的生成方法具体可以应用于数据处理平台的服务器一侧,以使得数据处理平台的服务器能够高效、准确、自动生成满足用户要求的数据处理模块。请参阅图1的相关内容,所述方法具体实施时可以包括以下步骤。
S11:获取任务执行序列图,其中,所述任务执行序列图用于表征任务流中各任务节点之间的执行顺序、任务节点的任务类型。
在本实施方式中,上述任务流具体可以理解为是一种满足用户要求的数据处理流程。通常根据用户的要求,往往需要对待处理的数据进行多种任务组合的数据处理,在具体处理过程中,上述任务流可以包含有数据处理流程中各个任务节点的执行顺序,以及各个任务节点的任务类型。
在本实施方式中,需要说明的是上述所使用的任务执行序列图只是能够表征任务流的数据中的一种。具体实施时也可以利用其他能够表征任务流的任务流表征数据作为初始数据进行获取。相应的,后续可以根据所获取的任务流表征数据生成数据处理的数据处理模块。例如,可以根据具体情况和需求,选择使用能表征任务流中各任务节点之间的执行顺序、任务节点的任务类型等信息的二维数组或预设字符作为任务流表征数据进行后续的数据处理模块的生成。在本实施方式中,以任务流表征数据中的任务执行序列图为例,具体说明如何利用任务执行序列图生成数据处理模块的。利用其他类型的任务流表征数据生成数据处理模块的过程可以参阅利用任务执行序列图生成数据处理模块的具体实施过程。
在本实施方式中,上述任务节点之间的执行顺序具体可以用于表示各个任务节点所对应的处理任务在整个任务流中所处位置关系,例如任务节点之间纵向上的先后关系和/或横向上的并列关系。例如,在同一链路中,第三任务节点与第四任务节点之间的执行顺序可以是:第三任务节点的位置在先,第四任务节点的位置在后。这样可以确定在进行数据处理时要先执行第三任务节点所对应的任务,在进行完第三任务节点的任务后,才可以进行第四任务节点所对应的任务。也可以理解为第三任务节点的任务执行顺序为第三批次的任务,第四任务节点的任务为执行顺序第四批次的任务,在执行完所有第三批次的任务后,才会开始执行第四批次中的任务。其中,上述链路具体可以理解为多个任务节点纵向连接形成的任务链。又例如,第四任务节点与第五任务节点可以分别是位于相互并行的两条的不同链路上的任务节点,在任务流中这两个任务节点位置的纵向上先后关系相同,例如都处于同一个任务批次,但这两个任务节点之间还存在并列关系,这样可以确定第四任务节点所对应的任务和第五任务节点所对应的任务是可以在两条不同的链路中同时进行,即第四任务节点所处的链路与第五任务节点所处的链路是两条并行链路。其中,上述并行的两条链路中各条链路中的任务节点在所处的链路中沿纵向又以串行的方式连接,两条链路之间相互存在并列的关系,即在进行数据处理时,上述两条并行链路是同等级别的,且对其中一条并行链路的执行不会对另一条并行链路产生影响。相应的,由于第五任务节点和第四任务节点的位置关系是并列关系,即是分别位于不同的并行链路上任务节点,因此第四任务节点和第五任务节点相互之间没有直接的关联性,即第四任务节点和第五任务节点之间也不会产生相互影响,在具体执行时,也可以根据具体情况,按照相应策略安排其中一个任务节点的任务先执行,另一个任务节点的任务后执行。对此可以根据具体情况灵活设定。
在本实施方式中,任务流中的每一个任务节点都对应一种具体的任务类型,以表征在该任务节点所处的执行步骤中需要执行该任务类型的处理任务。例如,第一任务节点的任务类型为A,则表示在第一任务节点处进行A类型的任务处理。其中,所述任务类型可以根据待处理的数据类型的变化而变化。例如,如果待处理的数据是视频数据,则上述任务类型可以是与视频数据相关的数据处理类型,具体可以包括:视频下载、视频切割、视频合并、视频遮标、视频中的转场点分析、视频中的人物分析、添加视频水印、添加视频包框等等。如果待处理的数据是文字数据,则上述任务类型可以是与文字数据相关的数据处理类型,具体可以包括:句法结构分析、词性确定、语义关联等等。当然,上述所列举的多种任务类型只是为了更好地说明本申请实施方式。不应当构成对本申请实施方式的不当限定。
在本实施方式中,上述任务执行序列图具体可以是一种通过二维数组结构构成的结构图。具体可以参阅图2所列举的三种类型的任务执行序列图。为了能够满足用户越来越复杂、越来越多样化的定制要求,上述任务执行序列图具体可以采用二维数组结构进行表示,这样通过上述任务执行序列图不但地表征出任务节点位置之间的纵向上执行的先后关系(即任务节点之间的串行执行顺序),还能准确地反应出任务节点位置之间的横向上的并列关系(即任务节点之间的并行执行顺序)。其中,上述任务节点位置之间的横向上的并列关系具体可以是指不同任务节点所处的链路是否是并行链路,或者是否单独的一条单行链路,而现有的结构图大多是采用简单的一维数组结构构成的,利用现有的结构图往往只能描述出任务节点位置纵向上执行的先后关系,却无法完整地描述出横向上的并列关系。本实施方式所使用任务执行序列图可以利用纵向位置坐标(纵坐标)、横向位置坐标(横坐标)两个参数分别表征各个任务节点的位置纵向上执行的先后关系和横向上的并列关系。即可以理解为:上述任务执行序列图可以通过利用二维数组完整地表征出任务节点的位置坐标的横坐标和纵坐标,其中,所述纵坐标具体可以用于表征所述任务节点纵向上的执行顺序特征,所述横坐标具体可以用于表征所述任务节点所在的链路的横向上的并行特征。
具体实施时,可以利用任务节点的横坐标确定任务节点所在的链路是否是并行链路,或者单行链路。具体可以任务节点的横坐标与单行指示参数作比较。如果任务节点的横坐标与单行指示参数的数值相等,则可以确定该任务节点所处的链路不存在其他链路与其并行,即任务节点所处的链路为单行链路。其中,上述单行指示参数的数据具体可以设为0。当然,上述所列举的单行指示参数的数值只是一种示意性说明。具体实施时,也可以将单行指示参数设置为其他合适的数值,对此本申请不作限定。以单行指示参数为0的情况为例,如果某个任务节点的横坐标等于0,则可以判断没有其他链路与该任务节点所处的链路并行,即没有其他任务节点与该任务节点存在并列关系,该任务节点所处的链路为单行链路。当然,在构建获取任务执行序列图时,对于符合上述情况的单行链路中的任务节点除了可以预先把横坐标的数值设为单行指示参数外,也可以直接将其横坐标置空,以表征该任务节点所处的链路为单行链路,不是并行链路。对此本申请不作限定。相对的,如果任务节点的横坐标不等于0,则可以判断存在其他链路与该任务节点所处的链路并行,即可能存在其他任务节点与该任务节点存在并列关系,该任务节点所处的链路为并行链路。此外,任务节点的横坐标还可以用于在多条并行链路中区分该任务节点所在的并行链路。例如,某个任务节点的横坐标为1,则可以判断存在其他链路与该任务节点所在链路并行,该任务节点所在链路为并行链路,且该任务节点所处的链路是多条并行链路中编号为1的并行链路(例如,可以是指多条相互并行的链路中从左往右第一条并行链路)。类似的,另一任务节点的横坐标为5,则可以判断该任务节点所在的链路是多条并行链路中编号为5的并行链路。这样通过上述任务节点的横坐标不但能够准确地描述出任务节点之间的并列关系(或称任务节点之间的并行执行顺序),即所述任务节点所在的链路的横向上的并行特征,以确定出任务节点所在链路是否是单行链路。
除利用任务节点的横坐标表征所述任务节点所在的链路的横向上的并行特征外,在上述任务执行序列图中,还可以利用任务节点的纵坐标表征在数据处理流程中沿链路纵向上的先后顺序,即所述任务节点纵向上的执行顺序特征。举例说明,参阅图2中的第二类型任务执行序列图,该结构图中编号为1的任务节点的位置坐标具体可以表示为(,1),其中,该任务节点的横坐标为空,纵坐标为1。通过该任务接单的横坐标的数值可以判断不存在其他链路与该任务节点所处的链路并行,即该任务节点所在的链路是单行链路;通过该任务节点的纵坐标的数值可以判断该任务节点的任务在纵向上执行顺序是1,即是第一个执行的,或者称该任务节点的任务是属于第一批次的任务。又例如,在第二类型任务执行序列图中从左至右数第二个编号为4的任务节点的位置坐标具体可以表示为(2,4)。根据该任务节点的位置坐标分析,可知由于该任务节点的横坐标不为0,即不等于单行指示参数,因此可以判断存在其他链路与该任务节点所在的链路并行,即该任务节点所在的链路为并行链路;且又由于该任务节点的横坐标的数值具体为2,可以进一步判断该任务节点所在的链路为多条相互并行的并行链路中编号为2的并行链路。同时,由于该任务节点的纵坐标为4,可以判断该任务节点的任务纵向上执行顺序是4,即在整个任务流中该任务节点的任务属于第四批次的任务,具体的,可以理解为在依次处理完纵坐标为1、2、3的所有任务节点的任务后才会开始处理该任务节点的任务。
在本实施方式中,需要强调的是上述任务执行序列图由于能够完整、准确地表述出任务流具体过程、细节,因此可以形象地理解为是一种具体的施工图纸,该图纸包含有施工所需要的施工材料(例如任务节点的任务类型),以及使用施工材料的具体规则(例如任务节点之间的执行顺序)。这样具体施工时,可以不需要设计师(例如数据处理平台后台的技术人员),可以完全依靠计算机处理,避免现有方法实施时对大量的精力、资源、时间的占用。而是可以将图纸直接交给机器,由机器通过简单的搬运组装(例如调用已经预设好的分离的处理逻辑和连接程序)自动进行施工(例如通过连接相应的处理逻辑自动建立出满足用户要求的数据处理模块)。从而可以达到有效避免重复性的操作,提高实施效率,减少数据处理平台的工作量,减少人为误差的效果。
在本实施方式中,上述任务执行序列图具体可以按照以下方式获取:采集用户输入的指示信息,其中,所述用户输入的指示信息携带有用户设定的数据处理流程(即用户设定的任务流);解析所述指示信息,以获取用户设定的数据处理流程;再根据所述用户设定的数据处理流程生成相应的任务执行序列图。其中,上述采集用户输入的指示信息具体可以包括:采集用户在指定的定义模板中填入的数据;和/或,采集用户在指定的界面中针对图标的操作数据,所述图标指向对应任务类型的处理逻辑等。对于如何采集用户输入的指示信息,本申请不作限定。
S12:解析所述任务执行序列图,以获取所述任务流中的任务节点的任务类型标识、任务节点的位置坐标。
在本实施方式中,具体的,可以通过解析上述任务执行序列图分别获取任务流中各个任务节点的任务类型标识、任务节点的位置坐标。其中,需要说明的是,上述任务执行序列图为一种由二维数组结构构成的结构图。上述二维数据结构不但能携带有任务节点的位置坐标,还能同时携带有任务节点的任务类型标识。上述任务节点的任务标识具体可以用特定的字符串表示。其中,上述任务节点的任务类型标识与一个任务类型对应。举例说明,编号为4的任务节点对应的任务类型为剪切视频,相应在任务执行序列图里关于该任务节点的二维数组结构中不但存储有该任务节点的横坐标、纵坐标,还存储有该任务节点的任务标识:“jianqie”。具体实施时,可以通过对任务执行序列图的解析分别得到该任务节点的位置坐标(例如(2,4))和任务类型标识(例如jianqie),以便后续使用。
在本实施方式中,需要说明的是,上述解析任务执行序列图的方式与构建任务执行序列图相对应。具体实施时,可以根据构建任务执行序列图的方式选择相应的方式对任务执行序列图进行解析。对此,本申请不作限定。
S13:根据所述任务节点的任务类型标识、所述任务节点的位置坐标,调用并组合任务节点的处理逻辑,以生成用于进行数据处理的数据处理模块。
在本实施方式中,上述处理逻辑具体可以理解为是一种能够实现某种具体类型的处理任务的程序结构体。其中,上述每一个处理逻辑分别与一种任务类型相对应,通过一个处理逻辑可以实现与之对应的任务类型的数据处理。此外,需要强调的是上述处理逻辑具体可以是预先准备好并保存于数据处理平台的后台(例如,存储在数据处理平台的服务器中)可供随时调用运行的程序结构体。并且,上述处理逻辑相互之间相互独立,互不影响,可以根据需要单独被服务器调用以便后续进行组合、运行。这样在具体实施时,机器可以将多种任务类型的处理逻辑预先准备成独立的程序结构体,以便在组合满足不同要求的数据处理模块时,可以直接调用已经准备好的程序结构体,而不需要再重新编制实现对应任务的程序,继而可以重复使用之前已有的程序结构体,从而可以减少对资源、人力的浪费,提高实施效率。
在本实施方式中,上述数据处理模块具体可以理解为是一种能够满足用户要求,按照用户设定的数据处理流程或任务流对待处理的数据按顺序进行多种任务处理的执行单元。上述数据处理模块进一步还可以理解为多种任务处理逻辑的组合。
在本实施方式中,上述数据处理模块具体可以用于对下数据中的至少一种进行相应的数据处理:图片数据、语音数据、视频数据、运算数据、文字数据等等。当然,需要说明的是上述所列举的数据类型只是为了更好的说明本申请实施方式。具体实施时,也可以将本申请提供的数据处理模块的生成方法拓展延用到针对其他类型数据的处理中。例如,还可以将该数据处理模块的生成方法进行推广,以生成用于进行身份数据验证的身份数据处理模块。
在本实施方式中,在解析获得任务流中各个任务节点的任务类型标识、任务节点的位置坐标后,可以按照预设的识别、判断规则,由机器,例如计算机等智能设备,自行调用并组合各个任务节点对应的处理逻辑,以高效、自动生成用于进行数据处理的数据处理模块。具体实施时,可以先根据所述任务节点的任务类型标识、所述任务节点的位置坐标,调用任务节点的处理逻辑;再根据所述任务节点的任务类型标识、所述任务节点的位置坐标,组合任务节点的处理逻辑,以生成满足用户要求的数据处理模块。
在本实施方式中,还需要强调的是,上述任务节点的任务类型标识、任务节点的位置坐标都是机器可直接识别、分析的数据。继而后续实施时,机器可以直接识别、分析上述数据,自行确定相应的任务流中任务类型以及多种任务的执行顺序,进而能够不需要人工参与,自动完成相应数据处理模块的构建。
在本实施方式中,上述根据所述任务节点的任务类型标识、所述任务节点的位置坐标,调用任务节点的处理逻辑,具体实施时,可以包括以下内容:根据所述任务节点的任务类型标识,从预设的处理逻辑库中调用所述任务节点的处理逻辑,其中,所述预设的处理逻辑库中存储有多个处理逻辑,且一个处理逻辑与一种任务类型标识对应。
在本实施方式中,上述处理逻辑具体可以存储在处理逻辑库中,上述处理逻辑库具体存储在数据处理平台一侧。例如,可以存储于数据处理平台的服务器内的存储器中,也可以存储在与服务器相连的存储设备中。以便服务器可以根据任务类型标识快速地调用相应的处理逻辑。对于上述处理逻辑具体的存储位置,可以根据具体情况灵活设置,对此,本申请不作限定。
在本实施方式中,上述根据所述任务节点的任务类型标识、所述任务节点的位置坐标,组合任务节点的处理逻辑,具体实施时,可以包括以下内容:根据所述任务节点的位置坐标,连接所述任务节点的处理逻辑,以生成所述数据处理模块。
在本实施方式中,具体实施时,可以分别分析各个任务节点的位置坐标,以确定各个任务节点的处理逻辑在任务流中与其他任务节点的处理逻辑的连接关系,进而可以依次完成各个任务节点的处理逻辑的相应连接,完成任务节点的处理逻辑的组合,得到最终的数据处理模块。
下面以当前的任务节点的处理逻辑为例,说明具体如何完成各个任务节点的处理逻辑的相应连接。对于其他任务节点的处理逻辑的连接可以参阅以下针对当前任务节点的处理逻辑。具体可以参阅图3所示。
具体实施时,机器可以先对当前任务节点的位置坐标进行识别检测,具体实施时,可以包括以下内容。
在本实施方式中,可以先检测当前任务节点的处理逻辑是否是单行链中的处理逻辑;在确定当前任务接单的处理逻辑位于单行链中后,确定当前节点在该单行链中是否还存在后续的任务节点的处理逻辑,如果存在后续的任务节点的处理逻辑,将后续的任务节点的处理逻辑与当前任务节点的处理逻辑相连。具体实施,可以包括以下步骤:
S1:检测当前任务节点的横坐标是否等于单行指示参数。
S2:在所述当前任务节点的横坐标等于所述单行指示参数的情况下,确定所述当前任务节点的处理逻辑位于单行链路中。
S3:检测所述任务流中是否存在第一类型节点,其中,所述第一类型节点的纵坐标减去所述当前任务节点的纵坐标的差值等于预设阈值。
S4:在确定所述任务流中存在所述第一类型节点的情况下,确定所述当前任务节点所处的单行链路还存在后续的任务节点,并将所述第一类型节点的处理逻辑与所述当前任务节点的处理逻辑相连。
在本实施方式中,上述单行指示参数的数值可以设为0。相应的,上述检测当前任务节点的横坐标是否等于单行指示参数,可以包括:将当前任务节点的横坐标与0作比较。如果当前任务节点的横坐标等于0,则可以判断当前的任务节点的处理逻辑位于单行链路中。当然,需要说明的是,上述所列举的单行指示参数只是一种示意性说明。具体实施时,还可以根据具体情况和要求,使用其他数值作为上述单行指示参数。对此,本申请不作限定。
此外,根据建立任务执行序列图的方式不同,在检测当前任务节点的处理逻辑是否是位于单行链路的过程中,还可以结合任务执行序列图的方式,例如设置任务节点的横坐标的具体规则,采用其他合适的方式对当前任务节点是否是位于单行链路中进行检测。例如,如果在建立任务执行序列图时,采用的规则是将处于单行链路中的任务节点的横坐标置空。这时,检测当前任务接单的处理逻辑是否位于单行链路中,可以包括:检测当前任务节点的横坐标是否为空;在确定所述当前任务节点的横坐标为空的情况下,可以判断当前任务节点的处理逻辑位于所述单行链路中。
在本实施方式中,在确定当前任务节点位于单行链后还可以进一步确定当前任务节点的处理逻辑是否是该条单行链路中最后一个处理逻辑,即该条单行链路是否已组合完成。具体的,可以任务流中剩下的任务节点中进行检测,以确定在该条单行链路中当前任务节点之后是否还存在其他后续的任务节点。具体实施时,可以检测所述任务流中是否存在第一类型节点,其中,所述第一类型节点的纵坐标减去所述当前任务节点的纵坐标的差值等于预设阈值。其中,上述第一类型节点可以表示当前任务节点的后续的任务节点。上述预设阈值具体可以设为1。当然,需要说明的是,上述所列举的预设阈值只是一种示意性说明,具体实施时,也可以根据具体情况和要求使用其他数值作为上述预设阈值。对此,本申请不作限定。
举例说明,如果当前任务节点X的位置坐标为(0,3),由于当前任务节点的横坐标等于0(即等于单行指示参数),可以确定X处于单行链路中;再在剩余的任务节点中检测是否存在满足纵坐标减去X的纵坐标值为1(即预设阈值)的第一类型节点,作为X的后续的任务节点。例如,检测到一个任务节点Y的位置坐标为(0,4),由于Y的纵坐标与X的纵坐标的差值为1,可以确定Y为X的后续的任务节点,并将Y的处理逻辑与X的处理逻辑相连。
在本实施方式中,还需要说明的是,当前任务节点为单行链中的节点,但当前任务节点的后续的任务节点可以是单行链中的节点,例如Y(0,4),也可以是并行链路中的节点。又例如,对于X可能在剩余的任务节点中只检测出节点Z(1,4),但Z的横坐标并不为0,即Z是并行链路的任务节点,这时可以确定Z即是X所在的单行链路中的节点,也是Z所在的并行链路的节点,进一步可以判断,Z是上述单行链路和并行链路的交界点。可以理解为Z是X所在的单行链路的结束节点,同时又是Z所在的并行链路的起始节点,这时机器可以按照同样的方式将Z的处理逻辑与X的处理逻辑相连。
在本实施方式中,在检测所述任务流中是否存在第一类型节点后,所述方法还包括:在确定所述任务流中不存在所述第一类型节点的情况下,可以判断在当前任务节点之后没有后续的节点,即当前任务节点所在的单行链路结束,进而可以确定该数据处理模块组合完成,即已经生成了满足用户要求的数据处理模块,可以停止后续的检测、连接。
在本实施方式中,在将所述第一类型节点的处理逻辑与所述当前任务节点的处理逻辑相连后,所述方法还具体实施还可以包括以下内容:检测所述第一类型节点的横坐标是否等于所述单行指示参数;在所述第一类型节点的横坐标不等于所述单行指示参数的情况下,以所述第一类型节点的处理逻辑为起始节点生成多条待连接的并行链路。
通过上述操作可以确定与当前任务节点的处理逻辑相连的后续的任务节点是否是交界点,即是否是当前任务节点所在的单行链路的结束点,又同时是该任务节点所在的并行链路的起始点。在确定该节点是交界点后,例如点Z,可以进行一步确定Z为后续包含有多条并行链的并行区的起始点,并以节点的处理逻辑为起始节点生成多条待连接的并行链路,以便机器后续可以把相应的任务节点处理逻辑连接到上述并行链路中。
在本实施方式中,上述多条并行链路至少包括两条并行链路。当然,具体实施时上述多条并行链路中的条数也可以是大于2的其他数值,例如3条、4条等。对此,本申请不作限定。
在本实施方式中,上述同一并行区中的多条并行链路的条数具体可以根据所述第一类型节点的处理逻辑和/或针对所述第一类型节点的数据处理参数确定。通常可以根据第一类型节点的处理逻辑得到的数据结果的数量确定多条并行链路的条数。其中,上述第一类型节点的处理逻辑得到的数据结果的数量可以是用户事先设定的记载在针对第一类型节点的数据处理参数中的数据,例如,用户事先在点Z设定剪切段数为3,以限定在点Z处剪切处理逻辑对视频进行剪切时得到三段视频数据,即得到3个数据结果,进而可以确定由点Z作为起始节点的生成的并行链路的条数为3。此外,还可以根据第一类型节点的处理逻辑本身的任务类型确定第一类型节点的处理逻辑得到的数据结果的数量。例如,点Z的处理逻辑所对应的任务类型是镜像化待处理数据,即只会得到原数据和镜像化的数据两个数据结果,这时可以确定由点Z作为起始节点的生成的并行链路的条数为2。
在本实施方式中,当确定当前任务节点的处理逻辑不是位于单行链路时,具体实施时,可以按照以下方式进行后续的检测判断,以确定当前任务节点是否并行链路中的节点,以及当前任务节点的后续的任务节点。
S1:在所述当前任务节点的横坐标不等于所述单行指示参数的情况下,确定所述当前任务节点的处理逻辑位于并行链路中。
S2:检测所述任务流中是否存在第二类型节点,其中,所述第二类型节点的纵坐标减去所述当前任务节点的纵坐标的差等于预设阈值,所述第二类型节点的横坐标等于所述当前任务节点的横坐标。
S3:在确定所述任务流中存在所述第二类型节点的情况下,确定所述当前任务节点所处的并行链路还存在后续的任务节点,并将所述第二类型节点的处理逻辑与所述当前任务节点的处理逻辑相连。
在本实施方式中,上述第二类型节点具体可以用于表征位于并行链路中的当前任务节点的后续的任务节点。类似于确定位于单行链路中的当前任务节点的后续的任务节点,可以检测剩余的任务节点中是否存在纵坐标值与当前任务节点的纵坐标值的差值为预设阈值(例如1),且坐标值与当前任务节点的横坐标相同的任务节点,即第二类型节点。第二类型节点与当前任务节点是位于多条并行链路中的同一条并行链路内,因此可以将第二类型节点的处理逻辑与当前任务节点的处理逻辑相连。
举例说明,例如当前任务节点P的位置坐标为(3,5),即可以判断P为编号为3的并行链路中,且在纵向上的执行顺序为第5批次。进而可以检测剩下的任务节点中是否有符合第二类型节点特征的点。例如检测到任务节点U,其位置坐标为(3,6)。由于U的横坐标与P的横坐标相同,因此点U和点P位于同一条编号为3的并行链路中。又由于U的纵坐标减去P的纵坐标的差值为1(即预设阈值),可以确定U是在同一并行链路中的P的后续的任务节点,进而可以将U的处理逻辑与位于编号为3的并行链路中的P的处理逻辑相连。
在本实施方式中需要说明的是,如果当前任务节点是并行区的起始节点,例如任务节点V(1,4),由于该任务节点是多条并行链路1号并行链路、2号并行链路、3号并行链路共同的起始点。因此,即使2号并行链路中任务节点R的位置坐标为(2,5),即与点V的横坐标不相等,但由于点V是包括2号并行链路在内的并行区的起始节点,在处理时机器会判定点V和点R也位于同一并行链路,即2号链路上,并将点R的处理逻辑与点V的处理逻辑相连。
在本实施方式中,需要说明的是,如果检测到纵坐标与当前任务节点的纵坐标的差值为预设阈值,但横坐标与当前任务节点的横坐标不同的待确定任务节点时,可以进行进一步判断:检测待确定任务节点的横坐标是否等于单行指示参数;在确定待确定任务节点的横坐标等于单行指示参数情况下(例如点O(0,6)),可以确定待确定点是当前任务节点所在的多条并行链路的收拢节点,也可以理解为待确定的任务节点是多条并行链路中各条并行链路的结束,继而可以将待确定节点的处理逻辑与当前任务节点的处理逻辑相连。在确定待确定任务节点的横坐标等于单行指示参数,又与当前任务节点的横坐标不同的情况下(例如点T(2,6)),可以确定该任务节点是位于同当前任务节点所在的并行链路并行的不同链路上的下一个执行顺序批次的任务节点,这时机器不会将该节点的处理逻辑与当前任务节点的处理逻辑相连。
在本实施方式中,连接完并行链路中当前任务节点的后续的任务节点的处理逻辑后,可以进一步按照以下方式分别判断各个并行链路是否连接完毕,如果所有的并行链路都连接完毕,可以将并行区中的多条并行链路分别与收拢节点的处理逻辑相连,以关闭并行区。具体的是,可以包括以下内容:
S1:在确定所述任务流中不存在所述第二类型节点的情况下,确定所述当前任务节点所处的并行链路不存在后续的任务节点。
S2:在确定所述当前任务节点所处的并行链路不存在后续的任务节点的情况下,确定所述多条并行链路中除所述当前任务节点所处的并行链路以外的其他并行链路是否存在后续的任务节点。
S3:在确定所述多条并行链路中除所述当前任务节点所处的并行链路以外的其他并行链路不存在后续的任务节点的情况下,检测所述任务流中是否存在第三类型节点,其中,所述第三类型节点的横坐标等于所述单行指示参数,所述第三类型节点的纵坐标减去所述多条并行链路中的多个任务节点中纵坐标的最大值的差等于所述预设阈值。
S4:将所述第三类型节点的处理逻辑分别与所述多条并行链路中的各条并行链路中的纵坐标最大的任务节点的处理逻辑相连。
在本实施方式中,上述第三类型节点具体可以用于表示用以结束并行区中各条并行链路的收拢节点。具体实施时,可以检测剩余的任务节点中是否存在横坐标等于单行指示参数,且纵坐标与多条链路中任务节点中纵坐标最大值的差等于预设阈值的节点作为收拢节点。
举例说明,某一并行区中存在3条并行链路,其中,1号并行链路中纵向上依次包括以下任务节点:A(1,3),B(1,4),C(1,5);2号并行链路中纵向上依次包括以下任务节点:W(2,3),T(2,4);3号并行链路中纵向上依次包括以下任务节点R(3,3)。这时上述多条并行链中的任务节点中纵坐标的最大值为5,这时检测到点F的位置坐标为(0,6),由于F的横坐标等于0(即单行指示参数),且纵坐标满足减去多条并行链中的任务节点中纵坐标的最大值(5)的差为1(预设阈值),可以确定F是该并行区的多条并行链的收拢节点,即F分别是1号并行链、2号并行链、3号并行链的结束节点,可以将F的处理逻辑与上述多条并行链分别相连,以关闭并行区。
按照上述方式,可以使得机器自动地而不需要人工参与地依次对每一个任务节点进行识别检测,依次完成每一个任务接单的处理逻辑的相应连接,通过连接进行组合,得到最终满足用户要求的数据处理模块。
由上可见,本申请所提供的数据处理模块的生成方法,避免了现有方法在实施过程中对人的依赖,而是通过利用表征任务流信息的任务执行序列图先确定出机器可以识别、判断的任务节点的任务类型标识、任务节点的位置坐标;再通过机器以上述数据作为识别、判断依据自行调用相应的处理逻辑进行组合,以生成所需要的数据处理模块,从而解决了现有方法中存在的实施效率低下、浪费人力资源、容易出现误差的问题,达到可以高效、准确、自动地生成数据处理模块的目的。
在一个具体应用场景中,可以参阅图4,用户A希望借助数据处理平台提供用于实现多种预设任务的数据处理模块,数据处理平台的服务器接收到用户A发送的指示信息。其中上述指示信息中携带有用户设定的任务流或者设定的数据处理流程。服务器根据上述指示信息获取任务执行序列图,其中,所述任务执行序列图用于表征任务流中各任务节点之间的执行顺序、任务节点的任务类型。进一步服务器对任务执行序列图进行解析,以获取任务流中各个任务节点的任务类型标识、各个任务节点的位置坐标。进服务器可以根据所确定的可以识别、判断的任务节点的任务类型标识从数据处理平台的预设的处理逻辑库中调用所述任务节点的处理逻辑,其中,所述预设的处理逻辑库中存储有多个处理逻辑,且一个处理逻辑与一种任务类型标识对应。其中,上述处理逻辑库具体可以是设置于数据处理平台的外设存储设备中,该存储设备可以通过无线的方式与数据处理平台的服务器相连,这样服务器可以根据需要随时调用任务节点的处理逻辑。可以参阅图5所示,服务器根据编号为3的任务节点的任务类型标识“B”,确定任务节点的数据处理任务是B类型的任务,进而可以调用处理逻辑库中用于实现B类型任务的处理逻辑B。同时,服务器还可以根据所述任务节点的位置坐标,以此为依据依次对任务流中的各个任务节点进行检测、分析,分别依次连接所述任务节点的处理逻辑,以生成所述数据处理模块。将1号任务节点作为当前任务节点,先检测编号为1的任务节点(以下简称1号节点)的位置坐标为(0,1),由于该任务节点的横坐标等于单行指示参数0,可以确定1号节点位于单行链中。在检测剩下的任务节点中是否存在纵坐标减去1号节点的纵坐标的差为1(即预设阈值)的节点。通过检测搜索,发现编号为2的任务节点(简称2号节点)的位置坐标(0,2)满足上述条件,将2号节点确定为1号节点的第一类型节点,即1号节点的后续的任务节点,将2号节点的处理逻辑与1号节点的处理逻辑相连,完成关于1号节点的连接。再以2号节点为当前任务节点,按照相同的方式找到编号为3的任务节点作为2号节点的后续的任务节点,并将3号节点的处理逻辑与2号节点的处理逻辑相连。又由于3号节点的位置坐标为(1,3),横坐标不等于单行指示参数,可知3号节点是单行链与并行区之间的分界点。即3号节点即是1号节点、2号节点所在单行链路的结束节点,又是并行区中多条并行链路的起始节点。又根据针对3号节点的任务类型的数据处理参数,可知在3号节点经3号节点的任务处理后会产生两个结果数据。因此,计算机以3号节点为并行区并行链路的起始节点,从3号节点处建立两条待连接的并行链路。再以3号节点为当前任务节点,检测到存在两个节点即编号为4.1的任务节点、编号为4.2的任务节点的纵坐标减去3号节点的纵坐标的差值为1。其中,4.1号节点的位置坐标可以表示为(1,4),4.2号节点的位置坐标可以表示为(2,4)。由于4.1号节点的横坐标与3号节点的横坐标相等,显然可以确定4.1号节点为与3号节点在同一并行链路(即1号并行任务链)中的后续的任务节点。又考虑到3号节点为并行区的起始节点,在当前任务节点为并行区的起始节点的情况下,4.2号节点的横坐标虽然和3号节点的不同,但依然可以确定4.2号节点与3号节点位于同一并行链路(即2号并行链路)。从而可以将1号并行链路中的4.1号节点的处理逻辑与3号节点的处理逻辑相连,将2号并行链路中4.2号节点的处理逻辑与3号节点的处理逻辑相连。接着可以先以4.1号任务节点为当前任务节点,在剩余的任务节点中检测搜索4.1号节点的第二类型节点,即横坐标与4.1号节点的横坐标相同,纵坐标减去4.1号节点的纵坐标为1的节点。通过检测位置坐标可以确定位置坐标为(1,5)的5.1号节点为4.1号节点同一并行链路中的后续的任务节点,进而可以将5.1号节点的处理逻辑与4.1号节点的处理逻辑相连。按照同样的方式,可以确定出4.2号节点的第二类型节点5.2号节点,并将5.2号节点的处理逻辑与4.2号节点的处理逻辑相连。再以5.2号节点为当前任务节点,检测是否还存在与5.2号节点位于同一并行链路中的后续的任务节点(即5.2号节点的第二类型节点),在确定不存在上述第二类型节点时可以判断1号并行链路将进入收拢。同样,按照相同的方式可以确定2号并行链路也将进入收拢。进而可以根据5.1号节点和/或5.2号节点检测剩余的任务节点中是否存在第三类型节点,其中,所述第三类型节点的横坐标等于所述单行指示参数,所述第三类型节点的纵坐标减去所述多条并行链路中的多个任务节点中纵坐标的最大值的差等于所述预设阈值1。通过检测发现编号为6的节点位置坐标为(0,6)满足上述要求,是1号并行链路和2号并行链路的收拢点,因此,可以将6号节点的处理逻辑分别与5.1号节点的处理逻辑、5.2号节点的处理逻辑相连。再以6号节点作为当前任务节点,检测是否还有6号节点的第一类型节点、第二类型节点,当确定既没有6号节点的第一类型节点,又没有6号节点的第二类型节点的情况下,确定6号节点之后没有后续的任务节点。这样按照上述方式,不需要借助人工参与即可以快速、准确地生成能实现多种不同任务的,较为复杂的数据处理模块。
在一个实施方式中,所述任务节点的位置坐标具体可以包括横坐标和纵坐标,其中,所述纵坐标用于表征所述任务节点纵向上的执行顺序特征,所述横坐标用于表征所述任务节点所在的链路的横向上的并行特征。这样通过上述任务节点的位置坐标可以更加精细地描绘出任务节点在任务流中的具体执行位置。此外,采用横坐标和纵坐标来表征任务节点的处理逻辑的执行顺序,更加便于机器的识别、读取、判断,有助于只依靠机器实现处理逻辑的组合。
在一个实施方式中,上述根据所述任务节点的任务类型标识、所述任务节点的位置坐标,组合任务节点的处理逻辑,具体实施时,可以包括:根据所述任务节点的位置坐标,连接所述任务节点的处理逻辑,以生成所述数据处理模块。由于解析出了机器可识别判断的位置坐标,进而可以使得机器能够利用上述任务节点的位置坐标作为依据自动实现相应任务节点的处理逻辑的连接,从而组合得到所要求的数据处理模块。
在一个实施方式中,根据所述任务节点的位置坐标,连接所述任务节点的处理逻辑,以生成所述数据处理模块,具体实施时,可以包括以下内容:检测当前任务节点的横坐标是否等于单行指示参数(例如,0);在所述当前任务节点的横坐标等于所述单行指示参数的情况下,确定所述当前任务节点的处理逻辑位于单行链路中;检测所述任务流中是否存在第一类型节点,其中,所述第一类型节点的纵坐标减去所述当前任务节点的纵坐标的差值等于预设阈值(例如,1);在确定所述任务流中存在所述第一类型节点的情况下,确定所述当前任务节点所处的单行链路还存在后续的任务节点(第一类型节点即为当前任务节点的后续的任务节点),并将所述第一类型节点的处理逻辑与所述当前任务节点的处理逻辑相连。这样可以完成关于当前任务节点的连接。在本实施方式中,如果检测在当前任务节点所处的单行链中不存在上述第一类型节点时,可以判断在单行链中当前任务节点已经没有后续的任务节点了,继而可以确定当前任务节点为单行链的结束节点,又由于没有后续的任务节点可以确定已完成了所有连接,即以生成了所要求的数据处理模块。
在本实施方式中,上述单行指示参数的数值可以设为0。相应的,上述检测当前任务节点的横坐标是否等于单行指示参数,可以包括:将当前任务节点的横坐标与0作比较。如果当前任务节点的横坐标等于0,则可以判断当前的任务节点的处理逻辑位于单行链路中。当然,需要说明的是,上述所列举的单行指示参数只是一种示意性说明。具体实施时,还可以根据具体情况和要求,使用其他数值作为上述单行指示参数。对此,本申请不作限定。
此外,根据建立任务执行序列图的方式不同,在检测当前任务节点的处理逻辑是否是位于单行链路的过程中,还可以结合任务执行序列图的方式,例如设置任务节点的横坐标的具体规则,采用其他合适的方式对当前任务节点是否是位于单行链路中进行检测。例如,如果在建立任务执行序列图时,采用的规则是将处于单行链路中的任务节点的横坐标置空。这时,检测当前任务接单的处理逻辑是否位于单行链路中,可以包括:检测当前任务节点的横坐标是否为空;在确定所述当前任务节点的横坐标为空的情况下,可以判断当前任务节点的处理逻辑位于所述单行链路中。
在一个实施方式中,在将所述第一类型节点的处理逻辑与所述当前任务节点的处理逻辑相连后,所述方法具体实施时还可以包括以下内容:检测所述第一类型节点的横坐标是否等于所述单行指示参数;在所述第一类型节点的横坐标不等于所述单行指示参数的情况下,以所述第一类型节点的处理逻辑为起始节点生成多条待连接的并行链路。其中,所述多条并行链路的条数根据所述第一类型节点的处理逻辑和/或针对所述第一类型节点的数据处理参数确定等。这时,可以确定该任务节点为单行链和并行链的交界点。即该节点即是上一条单行链的结束节点,又是后续多条并行链中各条并行链的起始节点。
在一个实施方式中,在检测当前任务节点的横坐标是否等于单行指示参数后,所述方法具体实施时,还可以包括以下内容:在所述当前任务节点的横坐标不等于所述单行指示参数的情况下,确定所述当前任务节点的处理逻辑位于并行链路中;检测所述任务流中是否存在第二类型节点,其中,所述第二类型节点的纵坐标减去所述当前任务节点的纵坐标的差等于预设阈值,所述第二类型节点的横坐标等于所述当前任务节点的横坐标;在确定所述任务流中存在所述第二类型节点的情况下,确定所述当前任务节点所处的并行链路还存在后续的任务节点(第二类型节点即为当前任务节点的后续的任务节点),并将所述第二类型节点的处理逻辑与所述当前任务节点的处理逻辑相连。
在一个实施方式中,在检测所述任务流中是否存在第二类型节点后,所述方法具体实施时还可以包括以下内容:在确定所述任务流中不存在所述第二类型节点的情况下,确定所述当前任务节点所处的并行链路不存在后续的任务节点;在确定所述当前任务节点所处的并行链路不存在后续的任务节点的情况下,确定所述多条并行链路中除所述当前任务节点所处的并行链路以外的其他并行链路是否存在后续的任务节点;在确定所述多条并行链路中除所述当前任务节点所处的并行链路以外的其他并行链路不存在后续的任务节点的情况下,检测所述任务流中是否存在第三类型节点(即收拢点),其中,所述第三类型节点的横坐标等于所述单行指示参数,所述第三类型节点的纵坐标减去所述多条并行链路中的多个任务节点中纵坐标的最大值的差等于所述预设阈值;将所述第三类型节点的处理逻辑分别与所述多条并行链路中的各条并行链路中的纵坐标最大的任务节点的处理逻辑相连。
在一个实施方式中,根据所述任务节点的任务类型标识、所述任务节点的位置坐标,调用任务节点的处理逻辑,具体实施时,可以包括以下内容:根据所述任务节点的任务类型标识,从预设的处理逻辑库中调用所述任务节点的处理逻辑,其中,所述预设的处理逻辑库中存储有多个处理逻辑,且一个处理逻辑与一种任务类型标识对应。在本市实施方式中,上述任务类型标识具体可以是特定的字符串,其中,该字符串可以用于指示某一处理逻辑,即可以和某一处理逻辑存在一一对应的关系。这样可以通过任务类型标识从处理逻辑库找到相应的处理逻辑以进行调用。
在本实施方式中,上述处理逻辑具体可以理解为是一种能够实现某种具体类型的处理任务的程序结构体。其中,上述每一个处理逻辑分别与一种任务类型相对应,通过一个处理逻辑可以实现与之对应的任务类型的厨具处理。此外,需要强调的是上述处理逻辑具体可以是预先准备好并保存于数据处理平台的后台(例如,存储在数据处理平台的服务器中)可供随时调用运行的程序结构体。并且,上述处理逻辑相互之间相互独立,互不影响,可以根据需要单独被服务器调用以便后续进行组合、运行。这样在具体实施时,机器可以将多种任务类型的处理逻辑预先准备成独立的程序结构体,以便在组合满足不同要求的数据处理模块时,可以直接调用已经准备好的程序结构体,而不需要再重新编制实现对应任务的程序,继而可以重复使用之前已有的程序结构体,从而可以减少对资源、人力的浪费,提高实施效率。
在一个实施方式中,上述数据处理模块具体可以用于对下数据中的至少一种进行相应的数据处理:图片数据、语音数据、视频数据、运算数据、文字数据等等。当然,需要说明的是上述所列举的数据类型只是为了更好的说明本申请实施方式。具体实施时,也可以将本申请提供的数据处理模块的生成方法拓展延用到针对其他类型数据的处理中。例如,还可以将该数据处理模块的生成方法进行推广,以生成用于进行身份数据验证的身份数据处理模块。
在本实施方式中,上述数据处理模块具体可以理解为是一种能够满足用户要求,按照用户设定的数据处理流程或任务流对待处理的数据按顺序进行多种任务处理的执行单元。上述数据处理模块进一步还可以理解为多种任务处理逻辑的组合。
在一个实施方式中,上述任务执行序列图具体可以按照以下方式获取:采集用户输入的指示信息,其中,所述用户输入的指示信息携带有用户设定的数据处理流程(即用户设定的任务流);解析所述指示信息,以获取用户设定的数据处理流程;再根据所述用户设定的数据处理流程生成相应的任务执行序列图。其中,上述采集用户输入的指示信息具体可以包括:采集用户在指定的定义模板中填入的数据;和/或,采集用户在指定的界面中针对图标的操作数据,所述图标指向对应任务类型的处理逻辑等。对于如何采集用户输入的指示信息,本申请不作限定。
在一个实施方式中,在建立了上述数据处理模块后,数据处理平台的服务器可以将该数据处理模块的用户接口提供给用户使用,以便用户可以自己通过用户接口使用数据处理模块完成相应的数据处理;也可以是数据处理平台的服务器自行运行所建立的数据处理模块对用户提供的待处理数据进行数据处理,将数据处理后的结果反馈给用户。
在一个实施方式中,在机器在具体进行根据所述任务节点的任务类型标识、所述任务节点的位置坐标,调用并组合任务节点的处理逻辑,以生成用于进行数据处理的数据处理模块时,可以通过控制机器内的控制单元(master)和执行单元(worker)协助完成具体的组合连接。可以参阅图6,并结合图3所示内容,具体的,控制单元可以根据由任务执行序列图解析出来的任务节点的类型标识、任务节点的位置坐标确定各个任务节点逻辑的调用连接顺序,再按顺序对某个任务节点的将相应的调用连接任务交给执行单元具体执行。而执行单元每完成一个任务节点的处理逻辑的连接后会向控制单元返回一个执行结果,例如连接成功或者连接失败,再由执行单元结合执行单元返回的执行结果和剩余未处理的任务节点的类型标识、位置坐标,分配新的任务节点的连接工作给执行单元。从而依次完成了所有任务节点的处理逻辑的连接,最后组合得到了满足要求的数据处理模块。
由上可见,本申请所提供的数据处理模块的生成方法,避免了现有方法在实施过程中对人的依赖,而是通过利用表征任务流信息的任务执行序列图先确定出机器可以识别、判断的任务节点的任务类型标识、任务节点的位置坐标;再通过机器以上述数据作为识别、判断依据自行调用相应的处理逻辑进行组合,以生成所需要的数据处理模块,从而解决了现有方法中存在的实施效率低下、浪费人力资源、容易出现误差的问题,达到可以高效、准确、自动地生成数据处理模块的目的。
本申请实施方式还提供了一种视频数据处理模块的生成方法,参阅图7,该方法具体实施时,可以包括以下内容:
S71:获取任务流表征数据,其中,所述任务流表征数据用于表征任务流中各任务节点之间的执行顺序、任务节点的任务类型。
S72:根据所述任务流表征数据,确定所述任务流中的任务节点的任务类型标识、任务节点的位置坐标。
S73:根据所述任务节点的任务类型标识、所述任务节点的位置坐标,调用并组合任务节点的处理逻辑,以生成用于进行数据处理的数据处理模块。
在一个实施方式中,所述任务流表征数据具体可以包括以下所列数据中的至少之一:二维数组、图表数据、预设字符串等。当然,需要说明的是,上述所列举的任务流表征数据只是为了更好地说明本申请实施方式。不应当构成对本申请实施方式的不当限定。具体实施时,也可以根据具体情况,引入其他合适的类型数据作为上述任务流表征数据。对此,本申请不作限定。
在一个实施方式中,考虑到二维数组本身就是写有位置坐标、任务类型标识的字符串,因此,区别其他数据,在所述任务流表征数据为二维数组的情况下,在获取任务流表征数据后,所述方法具体实施时,按照以下方式不需要再进行解析,直接从所述二维数组中提取所述任务流中的任务节点的任务类型标识、任务节点的位置坐标,以便后续实施时,可以根据所述任务节点的任务类型标识、所述任务节点的位置坐标,调用并组合任务节点的处理逻辑,以生成用于进行数据处理的数据处理模块。从而可以避免了对任务流表征数据的解析,进一步提高了实施效率。
在一个实施方式中,上述任务流表征数据具体可以按照以下方式获取:采集用户输入的指示信息,其中,所述用户输入的指示信息携带有用户设定的任务流;解析所述指示信息,以获取用户设定的任务流;再根据所述用户设定的任务流生成相应的任务流表征数据。其中,上述采集用户输入的指示信息具体可以包括:采集用户在指定的定义模板中填入的数据;和/或,采集用户在指定的界面中针对图标的操作数据,所述图标指向对应任务类型的处理逻辑等。对于如何采集用户输入的指示信息,本申请不作限定。
由上可见,本申请所提供的数据处理模块的生成方法,避免了现有方法在实施过程中对人的依赖,而是通过利用表征任务流信息的任务流表征数据先确定出机器可以识别、判断的任务节点的任务类型标识、任务节点的位置坐标;再通过机器以上述数据作为识别、判断依据自行调用相应的处理逻辑进行组合,以生成所需要的数据处理模块,从而解决了现有方法中存在的实施效率低下、浪费人力资源、容易出现误差的问题,达到可以高效、准确、自动地生成数据处理模块的目的;还通过直接利用二维数组作为上述任务流表征数据,避免了对任务流表征数据的解析,从而可以直接提取出任务节点的任务类型标识、任务节点的位置坐标,进一步提高了实施效率。
本申请上述所提供的数据处理模块的生成方法实施例可以在服务器、客户端或者类似的运算装置中执行。
以运行在服务器上为例,参阅图8,是应用申请实施例提出的数据处理模块的生成方法的服务器的硬件结构框图。如图8所示,服务器可以包括一个或多个(图中仅示出一个)处理器802(处理器802可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器803、以及用于通信功能的网络通信接口801。本领域普通技术人员可以理解,图8所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,服务器还可包括比图8中所示更多或者更少的组件,或者具有与图8所示不同的配置。
其中,存储器803可用于存储应用软件的软件程序以及模块,如本发明实施例中的数据展示方法对应的程序指令/模块,处理器802通过运行存储在存储器803内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的应用程序的数据展示方法。存储器803可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器803可进一步包括相对于处理器802远程设置的存储器,这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
网络通信接口801用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器的通信供应商提供的无线网络。在一个实例中,网络通信接口801包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,网络通信接口801可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
具体实施时,上述所述网络通信接口801、处理器802、存储器803通过内部线缆相连以进行具体的数据交互。所述网络通信接口801,具体可以用于获取任务执行序列图,其中,所述任务执行序列图用于表征任务流中各任务节点之间的执行顺序、任务节点的任务类型;所述处理器802,具体可以用于解析所述任务执行序列图,以获取所述任务流中的任务节点的任务类型标识、任务节点的位置坐标;根据所述任务节点的任务类型标识、所述任务节点的位置坐标,调用并组合任务节点的处理逻辑,以生成用于进行数据处理的数据处理模块;所述存储器803,具体可以用于存储所述任务节点的处理逻辑。
本说申请实施方式中还提供了一种基于数据处理模块的生成方法的计算机存储介质,所述计算机存储介质存储有计算机程序指令,在所述计算机程序指令被执行时实现:获取任务执行序列图,其中,所述任务执行序列图用于表征任务流中各任务节点之间的执行顺序、任务节点的任务类型;解析所述任务执行序列图,以获取所述任务流中的任务节点的任务类型标识、任务节点的位置坐标;根据所述任务节点的任务类型标识、所述任务节点的位置坐标,调用并组合任务节点的处理逻辑,以生成用于进行数据处理的数据处理模块。
在本实施方式中,上述存储介质包括但不限于随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(Hard DiskDrive,HDD)或者存储卡(Memory Card)。所述存储器可以用于存储计算机程序指令。网络通信单元可以是依照通信协议规定的标准设置的,用于进行网络连接通信的接口。
在本实施方式中,该计算机存储介质存储的程序指令具体实现的功能和效果,可以与其它实施方式对照解释,在此不再赘述。
虽然本申请提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或客户端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
上述实施例阐明的装置或模块,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。为了描述的方便,描述以上装置时以功能分为各种模块分别描述。在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现。当然,也可以将实现某功能的模块由多个子模块或子单元组合实现。
本申请中所述的方法、装置或模块可以以计算机可读程序代码方式实现控制器按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本申请所述装置中的部分模块可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的硬件的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,也可以通过数据迁移的实施过程中体现出来。该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,移动终端,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例采用递进的方式描述,各个实施例之间相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。本申请的全部或者部分可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、移动通信终端、多处理器系统、基于微处理器的系统、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
虽然通过实施例描绘了本申请,本领域普通技术人员知道,本申请有许多变形和变化而不脱离本申请的精神,希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。

Claims (15)

1.一种数据处理模块的生成方法,其特征在于,包括:
获取任务执行序列图,其中,所述任务执行序列图用于表征任务流中各任务节点之间的执行顺序、任务节点的任务类型;
解析所述任务执行序列图,以获取所述任务流中的任务节点的任务类型标识、任务节点的位置坐标;
根据所述任务节点的任务类型标识、所述任务节点的位置坐标,调用并组合任务节点的处理逻辑,以生成用于进行数据处理的数据处理模块。
2.根据权利要求1所述的方法,其特征在于,所述任务节点的位置坐标包括横坐标和纵坐标,其中,所述纵坐标用于表征所述任务节点纵向上的执行顺序特征,所述横坐标用于表征所述任务节点所在的链路的横向上的并行特征。
3.根据权利要求2所述的方法,其特征在于,根据所述任务节点的任务类型标识、所述任务节点的位置坐标,组合任务节点的处理逻辑,包括:
根据所述任务节点的位置坐标,连接所述任务节点的处理逻辑,以生成所述数据处理模块。
4.根据权利要求3所述的方法,其特征在于,根据所述任务节点的位置坐标,连接所述任务节点的处理逻辑,以生成所述数据处理模块,包括:
检测当前任务节点的横坐标是否等于单行指示参数;
在所述当前任务节点的横坐标等于所述单行指示参数的情况下,确定所述当前任务节点的处理逻辑位于单行链路中;
检测所述任务流中是否存在第一类型节点,其中,所述第一类型节点的纵坐标减去所述当前任务节点的纵坐标的差值等于预设阈值;
在确定所述任务流中存在所述第一类型节点的情况下,确定所述当前任务节点所处的单行链路还存在后续的任务节点,并将所述第一类型节点的处理逻辑与所述当前任务节点的处理逻辑相连。
5.根据权利要求4所述的方法,其特征在于,在将所述第一类型节点的处理逻辑与所述当前任务节点的处理逻辑相连后,所述方法还包括:
检测所述第一类型节点的横坐标是否等于所述单行指示参数;
在所述第一类型节点的横坐标不等于所述单行指示参数的情况下,以所述第一类型节点的处理逻辑为起始节点生成多条待连接的并行链路。
6.根据权利要求5所述的方法,其特征在于,所述多条并行链路的条数根据所述第一类型节点的处理逻辑和/或针对所述第一类型节点的数据处理参数确定。
7.根据权利要求4所述的方法,其特征在于,在检测当前任务节点的横坐标是否等于单行指示参数后,所述方法还包括:
在所述当前任务节点的横坐标不等于所述单行指示参数的情况下,确定所述当前任务节点的处理逻辑位于并行链路中;
检测所述任务流中是否存在第二类型节点,其中,所述第二类型节点的纵坐标减去所述当前任务节点的纵坐标的差等于预设阈值,所述第二类型节点的横坐标等于所述当前任务节点的横坐标;
在确定所述任务流中存在所述第二类型节点的情况下,确定所述当前任务节点所处的并行链路还存在后续的任务节点,并将所述第二类型节点的处理逻辑与所述当前任务节点的处理逻辑相连。
8.根据权利要求7所述的方法,其特征在于,在检测所述任务流中是否存在第二类型节点后,所述方法还包括:
在确定所述任务流中不存在所述第二类型节点的情况下,确定所述当前任务节点所处的并行链路不存在后续的任务节点;
在确定所述当前任务节点所处的并行链路不存在后续的任务节点的情况下,确定多条并行链路中除所述当前任务节点所处的并行链路以外的其他并行链路是否存在后续的任务节点;
在确定所述多条并行链路中除所述当前任务节点所处的并行链路以外的其他并行链路不存在后续的任务节点的情况下,检测所述任务流中是否存在第三类型节点,其中,所述第三类型节点的横坐标等于所述单行指示参数,所述第三类型节点的纵坐标减去所述多条并行链路中的多个任务节点中纵坐标的最大值的差等于所述预设阈值;
将所述第三类型节点的处理逻辑分别与所述多条并行链路中的各条并行链路中的纵坐标最大的任务节点的处理逻辑相连。
9.根据权利要求1所述的方法,其特征在于,根据所述任务节点的任务类型标识、所述任务节点的位置坐标,调用任务节点的处理逻辑,包括:
根据所述任务节点的任务类型标识,从预设的处理逻辑库中调用所述任务节点的处理逻辑,其中,所述预设的处理逻辑库中存储有多个处理逻辑,且一个处理逻辑与一种任务类型标识对应。
10.根据权利要求1所述的方法,其特征在于,所述数据处理模块用于对下数据中的至少一种进行数据处理:图片数据、语音数据、视频数据、运算数据、文字数据。
11.一种数据处理模块的生成方法,其特征在于,包括:
获取任务流表征数据,其中,所述任务流表征数据用于表征任务流中各任务节点之间的执行顺序、任务节点的任务类型;
根据所述任务流表征数据,确定所述任务流中的任务节点的任务类型标识、任务节点的位置坐标;
根据所述任务节点的任务类型标识、所述任务节点的位置坐标,调用并组合任务节点的处理逻辑,以生成用于进行数据处理的数据处理模块。
12.根据权利要求11所述的方法,其特征在于,所述任务流表征数据包括以下至少之一:二维数组、图表数据、预设字符串。
13.根据权利要求12所述的方法,其特征在于,在所述任务流表征数据为二维数组的情况下,在获取任务流表征数据后,所述方法包括:
从所述二维数组中提取所述任务流中的任务节点的任务类型标识、任务节点的位置坐标;
根据所述任务节点的任务类型标识、所述任务节点的位置坐标,调用并组合任务节点的处理逻辑,以生成用于进行数据处理的数据处理模块。
14.一种服务器,其特征在于,包括:网络通信接口、存储器和处理器,其中:
所述网络通信接口,用于获取任务执行序列图,其中,所述任务执行序列图用于表征任务流中各任务节点之间的执行顺序、任务节点的任务类型;
所述处理器,用于解析所述任务执行序列图,以获取所述任务流中的任务节点的任务类型标识、任务节点的位置坐标;根据所述任务节点的任务类型标识、所述任务节点的位置坐标,调用并组合任务节点的处理逻辑,以生成用于进行数据处理的数据处理模块;
所述存储器,用于存储所述任务节点的处理逻辑。
15.一种计算机可读存储介质,其特征在于,其上存储有计算机指令,所述指令被执行时实现权利要求1至10中任一项所述方法的步骤。
CN201810293377.9A 2018-03-30 2018-03-30 数据处理模块的生成方法和服务器 Pending CN110321107A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810293377.9A CN110321107A (zh) 2018-03-30 2018-03-30 数据处理模块的生成方法和服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810293377.9A CN110321107A (zh) 2018-03-30 2018-03-30 数据处理模块的生成方法和服务器

Publications (1)

Publication Number Publication Date
CN110321107A true CN110321107A (zh) 2019-10-11

Family

ID=68112323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810293377.9A Pending CN110321107A (zh) 2018-03-30 2018-03-30 数据处理模块的生成方法和服务器

Country Status (1)

Country Link
CN (1) CN110321107A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110767212A (zh) * 2019-10-24 2020-02-07 百度在线网络技术(北京)有限公司 一种语音处理方法、装置和电子设备
CN110928578A (zh) * 2019-12-05 2020-03-27 潍柴动力股份有限公司 一种数据处理方法、装置及系统
CN113360258A (zh) * 2021-05-28 2021-09-07 北京百度网讯科技有限公司 数据处理方法、装置、电子设备及存储介质
CN114584802A (zh) * 2020-11-30 2022-06-03 腾讯科技(深圳)有限公司 多媒体处理方法、装置、介质以及电子设备
CN116156216A (zh) * 2022-12-14 2023-05-23 未来电视有限公司 视频处理方法、装置、电子设备及存储介质
CN117170690A (zh) * 2023-11-02 2023-12-05 湖南三湘银行股份有限公司 一种分布式构件管理系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103019691A (zh) * 2012-11-20 2013-04-03 北京思特奇信息技术股份有限公司 一种etl作业关系图的转化方法及其实现系统
WO2014022968A1 (zh) * 2012-08-07 2014-02-13 华为技术有限公司 媒体业务处理方法及媒体业务系统
CN103679401A (zh) * 2013-12-31 2014-03-26 浙江中控研究院有限公司 一种流程控制方法、服务器、客户端及系统
CN104461702A (zh) * 2013-09-16 2015-03-25 腾讯科技(深圳)有限公司 业务处理方法及装置
US20150200867A1 (en) * 2014-01-15 2015-07-16 Cisco Technology, Inc. Task scheduling using virtual clusters
CN105243521A (zh) * 2015-11-20 2016-01-13 华润电力投资有限公司河南分公司 一种工作流管理方法及系统
CN105868190A (zh) * 2015-01-19 2016-08-17 中国移动通信集团河北有限公司 一种在etl中优化任务处理的方法及系统
CN106897809A (zh) * 2015-12-17 2017-06-27 北京奇虎科技有限公司 工作流程创建方法、工作流设计器和工作流系统
CN106897806A (zh) * 2015-12-17 2017-06-27 北京奇虎科技有限公司 工作流程创建方法和系统、业务系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014022968A1 (zh) * 2012-08-07 2014-02-13 华为技术有限公司 媒体业务处理方法及媒体业务系统
CN103019691A (zh) * 2012-11-20 2013-04-03 北京思特奇信息技术股份有限公司 一种etl作业关系图的转化方法及其实现系统
CN104461702A (zh) * 2013-09-16 2015-03-25 腾讯科技(深圳)有限公司 业务处理方法及装置
CN103679401A (zh) * 2013-12-31 2014-03-26 浙江中控研究院有限公司 一种流程控制方法、服务器、客户端及系统
US20150200867A1 (en) * 2014-01-15 2015-07-16 Cisco Technology, Inc. Task scheduling using virtual clusters
CN105868190A (zh) * 2015-01-19 2016-08-17 中国移动通信集团河北有限公司 一种在etl中优化任务处理的方法及系统
CN105243521A (zh) * 2015-11-20 2016-01-13 华润电力投资有限公司河南分公司 一种工作流管理方法及系统
CN106897809A (zh) * 2015-12-17 2017-06-27 北京奇虎科技有限公司 工作流程创建方法、工作流设计器和工作流系统
CN106897806A (zh) * 2015-12-17 2017-06-27 北京奇虎科技有限公司 工作流程创建方法和系统、业务系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110767212A (zh) * 2019-10-24 2020-02-07 百度在线网络技术(北京)有限公司 一种语音处理方法、装置和电子设备
CN110767212B (zh) * 2019-10-24 2022-04-26 百度在线网络技术(北京)有限公司 一种语音处理方法、装置和电子设备
CN110928578A (zh) * 2019-12-05 2020-03-27 潍柴动力股份有限公司 一种数据处理方法、装置及系统
CN114584802A (zh) * 2020-11-30 2022-06-03 腾讯科技(深圳)有限公司 多媒体处理方法、装置、介质以及电子设备
CN114584802B (zh) * 2020-11-30 2024-03-08 腾讯科技(深圳)有限公司 多媒体处理方法、装置、介质以及电子设备
CN113360258A (zh) * 2021-05-28 2021-09-07 北京百度网讯科技有限公司 数据处理方法、装置、电子设备及存储介质
CN113360258B (zh) * 2021-05-28 2024-07-09 北京百度网讯科技有限公司 数据处理方法、装置、电子设备及存储介质
CN116156216A (zh) * 2022-12-14 2023-05-23 未来电视有限公司 视频处理方法、装置、电子设备及存储介质
CN116156216B (zh) * 2022-12-14 2024-12-20 未来电视有限公司 视频处理方法、装置、电子设备及存储介质
CN117170690A (zh) * 2023-11-02 2023-12-05 湖南三湘银行股份有限公司 一种分布式构件管理系统
CN117170690B (zh) * 2023-11-02 2024-03-22 湖南三湘银行股份有限公司 一种分布式构件管理系统

Similar Documents

Publication Publication Date Title
CN110321107A (zh) 数据处理模块的生成方法和服务器
CN110321119A (zh) 数据处理模块的生成方法、服务器和客户端
CN104750737B (zh) 一种相册管理方法及装置
CN106528613B (zh) 智能问答方法及装置
CN109165249A (zh) 数据处理模型构建方法、装置、服务器和用户端
EP3001333A1 (en) Object search method and apparatus
CN103914492A (zh) 查询词融合方法、商品信息发布方法和搜索方法及系统
CN108898174A (zh) 一种场景数据采集方法、场景数据采集装置及电子设备
CN106022568A (zh) 一种工作流的处理方法和装置
CN104463420B (zh) Ota网站的订单处理系统及方法
CN108984369A (zh) 卡顿预测方法、装置及移动终端
CN106227751A (zh) 一种存储文件的扫描方法和扫描设备
CN111161804A (zh) 一种用于物种基因组学数据库的查询方法及系统
CN112381087A (zh) 结合rpa和ai的图像识别方法、装置、计算机设备和介质
CN111008008A (zh) 一种基于微服务架构的应用开发方法及系统
CN111191503A (zh) 一种行人属性识别方法、装置、存储介质及终端
CN112286879B (zh) 基于元数据的数据资产构建方法及装置
CN107293295A (zh) 一种执行自然语言命令所对应的任务的方法、设备和系统
CN110020102A (zh) 对象推荐方法、装置、存储介质、处理器和系统
CN111881171A (zh) 一种基于数据分析的图纸识别推荐方法及系统
CN116894566A (zh) 基于多任务的文本标注方法及装置
CN106997363A (zh) 一种数据处理方法和设备
KR102189841B1 (ko) 컨텐츠 서비스 방법 및 이러한 방법을 수행하는 장치
CN101655850B (zh) 知识提取过程生成设备和知识提取过程调整设备及其方法
CN106021316A (zh) 核心专利判断系统及其判断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200518

Address after: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Alibaba (China) Co.,Ltd.

Address before: 100080 Beijing Haidian District city Haidian street A Sinosteel International Plaza No. 8 block 5 layer A, C

Applicant before: Youku network technology (Beijing) Co., Ltd

TA01 Transfer of patent application right