[go: up one dir, main page]

CN114357299A - 一种数据处理方法和装置 - Google Patents

一种数据处理方法和装置 Download PDF

Info

Publication number
CN114357299A
CN114357299A CN202111668643.XA CN202111668643A CN114357299A CN 114357299 A CN114357299 A CN 114357299A CN 202111668643 A CN202111668643 A CN 202111668643A CN 114357299 A CN114357299 A CN 114357299A
Authority
CN
China
Prior art keywords
processing
data
image
plug
ins
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111668643.XA
Other languages
English (en)
Inventor
李斌
李业华
徐志坚
谢睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Quwan Network Technology Co Ltd
Original Assignee
Guangzhou Quwan Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Quwan Network Technology Co Ltd filed Critical Guangzhou Quwan Network Technology Co Ltd
Priority to CN202111668643.XA priority Critical patent/CN114357299A/zh
Publication of CN114357299A publication Critical patent/CN114357299A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Stored Programmes (AREA)

Abstract

本发明实施例提供了一种数据处理方法和装置,包括:获取待处理的画像数据;确定用于处理所述待处理的画像数据的多个处理插件,以及所述多个处理插件之间的处理顺序;根据所述处理顺序连接所述多个处理插件以得到画像处理文件;根据所述画像处理文件对待处理的画像数据进行画像处理,以得到结果数据。通过将画像处理功能抽象为一系列的处理插件的方式,便于按照需要扩展不同的画像处理插件,当画像系统需要进行处理参数变更,甚至进行处理类型的变更时,直接修改画像处理文件即可,无需修改系统代码,可以做到灵活配置。与基于Flink实现的这种通用型流式处理方案相比,本发明专门针对画像处理和存储设计,能够做到高性能和高资源利用率。

Description

一种数据处理方法和装置
技术领域
本发明涉及计算机应用技术领域,特别是涉及一种数据处理方法和一种数据处理装置。
背景技术
推荐工程是一套用户个性化数据生成系统,即根据用户的个性化行为和数据,对返回给用户的数据进行优先级排序,优先返回用户最感兴趣的数据,从而提高用户对服务的满意度,提升用户黏性。推荐工程中,对用户进行“千人千面”的个性化服务的基础,在于对用户行为数据的采集、处理和存储。画像系统就是推荐基础中的最重要的模块。如图1所示,推荐工程中,召回、过滤、排序、重排等步骤都需要依赖画像系统提供的用户数据。
现有技术中,通常基于Flink和大数据存储套件实现画像处理和存取的方案,但是,基于Flink和大数据套件搭建的画像系统的缺点如下:
1.二次开发和管理困难。由于Flink和大数据套件方案是通用的流式处理方案,并不是专门针对画像系统设计,因此需要进行大量的二次开发才能够用于实现画面处理,包括功能开发和管理功能的开发等等。
2.性能低。基于Flink的画像处理模型需要大量的TableJoin等高消耗的操作,导致这种方案性能相对较低,需要更多的计算和存储资源。
发明内容
鉴于上述画面系统存在二次开发和管理困难且性能较低的问题,提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据处理方法和相应的一种数据处理装置。
本发明实施例公开了一种数据处理方法,包括:
获取待处理的画像数据;
确定用于处理所述待处理的画像数据的多个处理插件,以及所述多个处理插件之间的处理顺序;
根据所述处理顺序连接所述多个处理插件以得到画像处理文件;
根据所述画像处理文件对待处理的画像数据进行画像处理,以得到结果数据。
可选地,所述根据所述处理顺序连接所述多个处理插件以得到画像处理文件,包括:
基于IDL交互式数据语言,根据所述处理顺序连接所述多个处理插件以得到画像处理文件。
可选地,所述确定用于处理所述待处理的画像数据的多个处理插件,包括:
确定所述待处理的画像数据对应的数据类型;
根据所述数据类型,确定用于处理所述待处理的画像数据的多个处理插件。
可选地,所述画像处理文件中包含多条处理链。
可选地,所述根据所述画像处理文件对待处理的画像数据进行画像处理,以得到结果数据,包括:
分别采用所述多条处理链,对待处理的画像数据进行画像处理,以得到结果数据。
可选地,所述方法还包括:
根据所述画像处理文件显示一画像管理界面,所述画像管理界面中包含连接完成的所述多条处理链。
可选地,所述多个处理插件具有一一对应的画像处理功能。
本发明实施例还公开了一种数据处理装置,包括:
画像数据获取模块,用于获取待处理的画像数据;
处理插件确定模块,用于确定用于处理所述待处理的画像数据的多个处理插件,以及所述多个处理插件之间的处理顺序;
画像处理文件生成模块,用于根据所述处理顺序连接所述多个处理插件以得到画像处理文件;
画像处理模块,用于根据所述画像处理文件对待处理的画像数据进行画像处理,以得到结果数据。
可选地,所述画像处理文件生成模块,包括:
插件连接子模块,用于基于IDL交互式数据语言,根据所述处理顺序连接所述多个处理插件以得到画像处理文件。
可选地,所述处理插件确定模块,包括:
数据类型确定子模块,用于确定所述待处理的画像数据对应的数据类型;
处理插件确定子模块,用于根据所述数据类型,确定用于处理所述待处理的画像数据的多个处理插件。
可选地,所述画像处理文件中包含多条处理链。
可选地,所述画像处理模块,包括:
画像处理子模块,用于分别采用所述多条处理链,对待处理的画像数据进行画像处理,以得到结果数据。
可选地,所述装置还包括:
画像管理界面显示模块,用于根据所述画像处理文件显示一画像管理界面,所述画像管理界面中包含连接完成的所述多条处理链。
可选地,所述多个处理插件具有一一对应的画像处理功能。
本发明实施例还公开了一种电子设备,包括:
处理器和存储介质,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器执行所述机器可读指令,以执行如本发明实施例任一项所述的数据处理方法。
本发明实施例还公开了一种计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如本发明实施例任一项所述的数据处理方法。
本发明实施例包括以下优点:
在本发明实施例提供的一种数据处理方法中,通过获取待处理的画像数据;确定用于处理所述待处理的画像数据的多个处理插件,以及所述多个处理插件之间的处理顺序;根据所述处理顺序连接所述多个处理插件以得到画像处理文件;根据所述画像处理文件对待处理的画像数据进行画像处理,以得到结果数据。通过将画像处理功能抽象为一系列的处理插件的方式,便于按照需要扩展不同的画像处理插件,当画像系统需要进行处理参数变更,甚至进行处理类型的变更时,直接修改画像处理文件即可,无需修改系统代码,可以做到灵活配置。与基于Flink实现的这种通用型流式处理方案相比,本发明专门针对画像处理和存储设计,对不同数据类型的画像采用不同的数据结构和存储器进行处理和存储,做到高性能和高资源利用率。
附图说明
为了更清楚地说明本发明的技术方案,下面将对本发明的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是一种推荐工程的结构框图;
图2是本发明实施例提供的一种数据处理方法的步骤流程图;
图3是本发明实施例提供的一种确定处理插件的过程的步骤流程图;
图4是本发明实施例提供的一种连接完成的处理链的示意图;
图5是本发明实施例提供的一种数据处理装置的结构框图;
图6是本发明的一种电子设备的结构框图;
图7是本发明的一种计算机可读存储介质的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
相关技术中,基于Flink和大数据套件搭建的画像系统存在二次开发和管理困难且性能低的问题。为了解决该问题,在本发明实施例中提供了一种基于IDL(InteractiveData Language,交互式数据语言),提出一套画像链式处理的描述和实现框架,利用链式结构的灵活性去解决花样繁多的画像处理操作,具体通过获取待处理的画像数据;确定用于处理所述待处理的画像数据的多个处理插件,以及所述多个处理插件之间的处理顺序;根据所述处理顺序连接所述多个处理插件以得到画像处理文件;根据所述画像处理文件对待处理的画像数据进行画像处理,以得到结果数据。本发明实施例中提供的画像处理系统存在以下优点:
1.容易扩展。依照约定的接口,即可扩展不同的画像处理插件。接口既可以运行在本地,也可以远端运行,各个接口之间通过直接网络进行协议交互。
2.灵活配置。当画像系统需要进行处理参数变更,甚至进行处理类型的变更时,直接修改画像IDL即可,无需修改系统代码,可以做到灵活配置。
3.性能高。与Flink这种通用型流式处理方案相比,本发明专门针对画像处理和存储设计,对不同数据类型的画像采用不同的数据结构和存储器进行处理和存储,做到高性能和高资源利用率。
参照图2,示出了本发明实施例提供的一种画像数据处理方法实施例的步骤流程图,具体可以包括如下步骤:
步骤S201,获取待处理的画像数据;
其中,待处理的画像数据指需要进行分析的用户数据,主要涉及与用户的行为习惯相关的一些用户数据,在一些场景中,需要对用户的行为习惯进行分析,以对用户进行精准推荐,例如,基于在电商业务中选人、选货、选场等场景,商家或品牌方往往需要获取画像数据进行画像处理。
在具体实现中,待处理的画像数据可以通过平台的后台对用户的操作记录收集得到,也可以通过线上或线下开展调查的方式收集得到等,本发明实施例对此不作限制。
步骤S202,确定用于处理所述待处理的画像数据的多个处理插件,以及所述多个处理插件之间的处理顺序;
在本发明实施例中,每个处理插件具有一一对应的画像处理功能,例如,建立索引,压缩,归一化,超时处理,后处理等画像处理功能,这些画像处理功能被抽象成一系列的处理插件。
需要说明的是,本发明的每个处理插件可以基于不同的框架进行开发得到,例如,处理插件可以是C-S架构,将一个“瘦”的C端放置在画像处理系统中,同时将消耗大量计算资源的“胖”S端以多实例的方式单独运行,从而做到处理能力的无限支持,例如,索引插件就可以看成是一种C-S架构的插件。
在本发明实施例中,首先确定分析待处理的画像数据所需要的多个处理插件,以及确定多个处理插件之间的处理顺序,以在后续步骤中,按照处理插件之间的处理顺序,依次采用这些处理插件对待处理的画像数据进行画像处理和存储。
步骤S203,根据所述处理顺序连接所述多个处理插件以得到画像处理文件;
在本发明实施例中,可以根据多个处理插件之间的处理顺序,连接这些处理插件以得到画像处理文件,其中,在连接处理插件时,可以将这些处理插件连接为多条处理链,每条处理链可以对待处理的画像数据进行独立的画像处理和存储。由于画像处理文件中各个处理模块之间的依赖关系清晰,处理插件的接口简单,可以非常方便地进行功能开发和管理。
在具体实现中,每个处理插件都是可复用和可配置的不同处理程序。同时,每个插件有不同的输入参数设定。当画像系统需要进行处理参数变更,甚至进行处理类型的变更时,直接修改画像处理文件即可,无需修改画像系统的代码,可以做到灵活配置。
步骤S204,根据所述画像处理文件对待处理的画像数据进行画像处理,以得到结果数据。
在本发明实施例中,通过根据画像处理文件,利用画像处理文件中所描述的处理插件对待处理的画像数据进行画像处理,以得到结果数据。需要说明的是,在画像处理文件中描述的处理插件可以具有各种不同的存储器,在对待处理的画像数据进行画像处理得到结果数据之后,还可以通过处理插件中的存储器存储生成的结果数据,使得可以对不同数据类型的画像采用不同的数据结构和存储器进行处理和存储,做到高性能和高资源利用率。
在本发明的一种优选实施例中,所述根据所述处理顺序连接所述多个处理插件以得到画像处理文件,包括:
基于IDL交互式数据语言,根据所述处理顺序连接所述多个处理插件以得到画像处理文件。
其中,IDL是一种数据分析和图像化应用程序及编程语言,是可视化语言,集开放性、高维分析能力、科学计算能力、实用性和可视化分析为一体,它可以在多种硬件平台上运行,可以方便地与C、C++连接,还支持数据库的ODBC(Open Database Connectivity,开放数据库连接)接口标准。IDL语言内置的数学库函数可以大大地减少图象处理算法开发的工作量,用IDL语言写的程序可以不加修改地在其他可以运行IDL的平台上运行,这样开发出来的系统自然地具有可移植性。
在本发明实施例中,基于IDL交互式数据语言,根据处理顺序连接所述多个处理插件以得到画像处理文件。当画像系统需要进行处理参数变更,甚至进行处理类型的变更时,直接基于IDL修改画像处理文件即可,无需修改系统代码,可以做到灵活配置。
在本发明的一种优选实施例中,如图3所示,所述步骤S202包括步骤S301-S302:其中,步骤S301,确定所述待处理的画像数据对应的数据类型;步骤S302,根据所述数据类型,确定用于处理所述待处理的画像数据的多个处理插件。
在本发明实施例中,对于待处理的画像数据,可以由用户定义待处理的画像数据对应的数据类型,从而可以根据待处理的画像数据对应的数据类型,确定用于处理待处理的画像数据的多个处理插件。此外,若是用户没有定义待处理的画像数据对应的数据类型,则确定待处理的画像数据对应的数据类型为默认的数据类型,并根据根据默认的数据类型,确定用于处理待处理的画像数据的多个处理插件。
由于用于处理待处理的画像数据的处理插件根据待处理的画像数据的数据类型进行确定,因此,本发明的画像系统能够根据不同类型的画像数据特点采用不同的数据结构进行画像处理和存储。
在本发明的一种优选实施例中,所述画像处理文件中包含多条处理链。
具体的,每条待处理的画像数据可配置多条处理链进行画像处理,即,可以基于IDL将多条处理链连接为多条处理链,从而每条处理链可以实现不同得方面对待处理的画像数据进行画像处理,增强画像处理结果的精度。
作为一种示例,画像处理文件如下:
message P1{
option(write.plugin)="A1";
option(write.plugin)="A2|index";
option(write.plugin)="A3|async";
option(write.plugin)="B1|A1";
option(read.plugin)="C1";}
上述的画像IDL(即画像处理文件)中定义了画像P1有字段f1,f2等,同时,画像P1具有3条处理链,其中,包含2条写入处理链和1条读取处理链,画像处理过程的示意图如图4所示。图4中,第一条是用于写入的处理链A,处理链A包含插件1、插件2和插件3以及存储器,其中,处理链A中的插件2是一个建立索引的插件,可以设定索引的key=index;处理链A中的插件3是一个后处理插件,后处理插件也是一个异步处理插件。第二条是用于写入的链B,处理链B包含插件1和存储器。第三条是用于读取的处理链C,处理链C中包含插件1、插件2和存储器,其中,处理链C中插件2的数据可以回调到插件1中。
需要说明的是,上述的画像处理文件仅为一种示例,在具体实现中,可以按照处理数据的需要,设置画像处理文件中所包含的处理插件以及通过这些处理插件可以连接得到不同的处理链,本发明实施例对此不作限制。
在本发明实施例中,采用多个处理插件配置得到画像系统,支持不同类型的存储器,如redis,pika和dgraph,可以按照存储数据得需求选择不同得存储器来存储画像处理得到得结果数据。同时,还支持使用索引技术加快数据定位,使用缓存技术加快数据访问。
在本发明的一种优选实施例中,所述根据所述画像处理文件对待处理的画像数据进行画像处理,以得到结果数据,包括:
分别采用所述多条处理链,对待处理的画像数据进行画像处理,以得到结果数据。
在本发明实施例中,可以分别采用画像处理文件中的多条处理链,对待处理的画像数据进行画像处理,以得到结果数据。例如,上述示例中的2条写入处理链和1条读取处理链,可以分别采用这2条写入处理链和1条读取处理链,对待处理的画像数据进行画像处理以得到结果数据。
在本发明的一种优选实施例中,所述方法还包括:
显示一画像管理界面,所述画像管理界面中包含连接完成的所述多条处理链。
在本发明实施例中,还可以显示一画像管理界面,画像管理界面中包含连接完成的多条处理链。从而用户可以直观地对当前每个待处理的画像数据会进行画像处理和存储类型,进行展示和数据监控,便于画像处理文件进行灵活配置。
在本发明实施例中,通过获取待处理的画像数据;确定用于处理所述待处理的画像数据的多个处理插件,以及所述多个处理插件之间的处理顺序;根据所述处理顺序连接所述多个处理插件以得到画像处理文件;根据所述画像处理文件对待处理的画像数据进行画像处理,以得到结果数据。通过将画像处理功能抽象为一系列的处理插件的方式,便于按照需要扩展不同的画像处理插件,当画像系统需要进行处理参数变更,甚至进行处理类型的变更时,直接修改画像处理文件即可,无需修改系统代码,可以做到灵活配置。与基于Flink实现的这种通用型流式处理方案相比,本发明专门针对画像处理和存储设计,对不同数据类型的画像采用不同的数据结构和存储器进行处理和存储,做到高性能和高资源利用率。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图5,示出了本发明实施例提供的一种数据处理装置的结构框图,具体可以包括如下模块:
画像数据获取模块501,用于获取待处理的画像数据;
处理插件确定模块502,用于确定用于处理所述待处理的画像数据的多个处理插件,以及所述多个处理插件之间的处理顺序;
画像处理文件生成模块503,用于根据所述处理顺序连接所述多个处理插件以得到画像处理文件;
画像处理模块504,用于根据所述画像处理文件对待处理的画像数据进行画像处理,以得到结果数据。
在本发明的一种优选实施例中,所述画像处理文件生成模块503,包括:
插件连接子模块,用于基于IDL交互式数据语言,根据所述处理顺序连接所述多个处理插件以得到画像处理文件。
在本发明的一种优选实施例中,所述处理插件确定模块502,包括:
数据类型确定子模块,用于确定所述待处理的画像数据对应的数据类型;
处理插件确定子模块,用于根据所述数据类型,确定用于处理所述待处理的画像数据的多个处理插件。
在本发明的一种优选实施例中,所述画像处理文件中包含多条处理链。
在本发明的一种优选实施例中,所述画像处理模块504,包括:
画像处理子模块,用于分别采用所述多条处理链,对待处理的画像数据进行画像处理,以得到结果数据。
在本发明的一种优选实施例中,所述装置还包括:
画像管理界面显示模块,用于根据所述画像处理文件显示一画像管理界面,所述画像管理界面中包含连接完成的所述多条处理链。
在本发明的一种优选实施例中,所述多个处理插件具有一一对应的画像处理功能。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本发明实施例还提供了一种电子设备,如图6所示,包括:
处理器601和存储介质602,所述存储介质602存储有所述处理器601可执行的机器可读指令,当电子设备运行时,所述处理器601执行所述机器可读指令,以执行如本发明实施例任一项所述的数据处理方法,包括:
获取待处理的画像数据;
确定用于处理所述待处理的画像数据的多个处理插件,以及所述多个处理插件之间的处理顺序;
根据所述处理顺序连接所述多个处理插件以得到画像处理文件;
根据所述画像处理文件对待处理的画像数据进行画像处理,以得到结果数据。
可选地,所述根据所述处理顺序连接所述多个处理插件以得到画像处理文件,包括:
基于IDL交互式数据语言,根据所述处理顺序连接所述多个处理插件以得到画像处理文件。
可选地,所述确定用于处理所述待处理的画像数据的多个处理插件,包括:
确定所述待处理的画像数据对应的数据类型;
根据所述数据类型,确定用于处理所述待处理的画像数据的多个处理插件。
可选地,所述画像处理文件中包含多条处理链。
可选地,所述根据所述画像处理文件对待处理的画像数据进行画像处理,以得到结果数据,包括:
分别采用所述多条处理链,对待处理的画像数据进行画像处理,以得到结果数据。
可选地,所述方法还包括:
根据所述画像处理文件显示一画像管理界面,所述画像管理界面中包含连接完成的所述多条处理链。
可选地,所述多个处理插件具有一一对应的画像处理功能。
本发明实施例还提供了一种计算机可读存储介质,如图7所示,所述存储介质上存储有计算机程序701,所述计算机程序701被处理器运行时执行如本发明实施例任一项所述的数据处理方法。具体实现方式和技术效果类似,这里不再赘述。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种数据处理方法和一种数据处理装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数据处理方法,其特征在于,包括:
获取待处理的画像数据;
确定用于处理所述待处理的画像数据的多个处理插件,以及所述多个处理插件之间的处理顺序;
根据所述处理顺序连接所述多个处理插件以得到画像处理文件;
根据所述画像处理文件对待处理的画像数据进行画像处理,以得到结果数据。
2.根据权利要求1所述的数据处理方法,其特征在于,所述根据所述处理顺序连接所述多个处理插件以得到画像处理文件,包括:
基于IDL交互式数据语言,根据所述处理顺序连接所述多个处理插件以得到画像处理文件。
3.根据权利要求1所述的数据处理方法,其特征在于,所述确定用于处理所述待处理的画像数据的多个处理插件,包括:
确定所述待处理的画像数据对应的数据类型;
根据所述数据类型,确定用于处理所述待处理的画像数据的多个处理插件。
4.根据权利要求1所述的数据处理方法,其特征在于,所述画像处理文件中包含多条处理链。
5.根据权利要求4所述的数据处理方法,其特征在于,所述根据所述画像处理文件对待处理的画像数据进行画像处理,以得到结果数据,包括:
分别采用所述多条处理链,对待处理的画像数据进行画像处理,以得到结果数据。
6.根据权利要求4所述的数据处理方法,其特征在于,所述方法还包括:
根据所述画像处理文件显示一画像管理界面,所述画像管理界面中包含连接完成的所述多条处理链。
7.根据权利要求1所述的数据处理方法,其特征在于,所述多个处理插件具有一一对应的画像处理功能。
8.一种数据处理装置,其特征在于,包括:
画像数据获取模块,用于获取待处理的画像数据;
处理插件确定模块,用于确定用于处理所述待处理的画像数据的多个处理插件,以及所述多个处理插件之间的处理顺序;
画像处理文件生成模块,用于根据所述处理顺序连接所述多个处理插件以得到画像处理文件;
画像处理模块,用于根据所述画像处理文件对待处理的画像数据进行画像处理,以得到结果数据。
9.一种电子设备,其特征在于,包括:
处理器和存储介质,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器执行所述机器可读指令,以执行如权利要求1-7任一项所述的数据处理方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1-7任一项所述的数据处理方法。
CN202111668643.XA 2021-12-31 2021-12-31 一种数据处理方法和装置 Pending CN114357299A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111668643.XA CN114357299A (zh) 2021-12-31 2021-12-31 一种数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111668643.XA CN114357299A (zh) 2021-12-31 2021-12-31 一种数据处理方法和装置

Publications (1)

Publication Number Publication Date
CN114357299A true CN114357299A (zh) 2022-04-15

Family

ID=81105458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111668643.XA Pending CN114357299A (zh) 2021-12-31 2021-12-31 一种数据处理方法和装置

Country Status (1)

Country Link
CN (1) CN114357299A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174342A (zh) * 2022-06-15 2022-10-11 阿里巴巴(中国)有限公司 网关的插件管理方法、装置及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102646056A (zh) * 2012-03-01 2012-08-22 宁波电业局 基于电网gis平台的应用的功能扩展方法及装置
CN105205183A (zh) * 2015-10-29 2015-12-30 哈尔滨工业大学 一种基于xml的dds分布式系统自动构建方法
CN110321236A (zh) * 2019-07-11 2019-10-11 哈尔滨工业大学 一种基于OpenDDS的远程方法调用实现方法
CN110569083A (zh) * 2019-08-07 2019-12-13 上海联影智能医疗科技有限公司 图像分割处理方法、装置、计算机设备和存储介质
CN110825453A (zh) * 2019-10-25 2020-02-21 中盈优创资讯科技有限公司 基于大数据平台的数据处理方法及装置
CN111562945A (zh) * 2020-04-01 2020-08-21 杭州博雅鸿图视频技术有限公司 一种多媒体处理方法、装置、设备及存储介质
CN112799734A (zh) * 2021-01-07 2021-05-14 广州虎牙科技有限公司 一种流程管理方法、图像处理方法及其对应的平台和装置
WO2021097503A1 (de) * 2019-11-22 2021-05-27 SCHALLER, Gerald Verfahren zum starten und installieren eins plug-ins für verschiedene oberflächen auf einem computer, handy, tablett und smart tv

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102646056A (zh) * 2012-03-01 2012-08-22 宁波电业局 基于电网gis平台的应用的功能扩展方法及装置
CN105205183A (zh) * 2015-10-29 2015-12-30 哈尔滨工业大学 一种基于xml的dds分布式系统自动构建方法
CN110321236A (zh) * 2019-07-11 2019-10-11 哈尔滨工业大学 一种基于OpenDDS的远程方法调用实现方法
CN110569083A (zh) * 2019-08-07 2019-12-13 上海联影智能医疗科技有限公司 图像分割处理方法、装置、计算机设备和存储介质
CN110825453A (zh) * 2019-10-25 2020-02-21 中盈优创资讯科技有限公司 基于大数据平台的数据处理方法及装置
WO2021097503A1 (de) * 2019-11-22 2021-05-27 SCHALLER, Gerald Verfahren zum starten und installieren eins plug-ins für verschiedene oberflächen auf einem computer, handy, tablett und smart tv
CN111562945A (zh) * 2020-04-01 2020-08-21 杭州博雅鸿图视频技术有限公司 一种多媒体处理方法、装置、设备及存储介质
CN112799734A (zh) * 2021-01-07 2021-05-14 广州虎牙科技有限公司 一种流程管理方法、图像处理方法及其对应的平台和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174342A (zh) * 2022-06-15 2022-10-11 阿里巴巴(中国)有限公司 网关的插件管理方法、装置及设备
CN115174342B (zh) * 2022-06-15 2024-03-08 阿里巴巴(中国)有限公司 网关的插件管理方法、装置及设备

Similar Documents

Publication Publication Date Title
US9454467B2 (en) Method and apparatus for mining test coverage data
US10467070B2 (en) Processing cloud services and intelligence cloud services integration
CN113110833A (zh) 机器学习模型可视化建模方法、装置、设备及存储介质
CN111444158B (zh) 长短期用户画像生成方法、装置、设备及可读存储介质
CN111818123A (zh) 网络前端远程回放方法、装置、设备及存储介质
CN108958857A (zh) 一种界面生成方法及装置
CN111290951B (zh) 测试方法、终端、服务器、系统及存储介质
CN104823158A (zh) 用于简化的知识工程的方法与系统
CN106843912B (zh) 页面信息获取方法及装置
CN111222571A (zh) 图像特效的处理方法、装置、电子设备及存储介质
CN114490375A (zh) 应用程序的性能测试方法、装置、设备及存储介质
WO2019015133A1 (zh) 一种输入法的词库管理方法及装置
CN108536467A (zh) 代码的定位处理方法、装置、终端设备及存储介质
CN107368407B (zh) 信息处理方法和装置
US20180336122A1 (en) Generating application flow entities
JP2009157442A (ja) データ検索装置および方法
CN114357299A (zh) 一种数据处理方法和装置
Ledur et al. A high-level dsl for geospatial visualizations with multi-core parallelism support
CN114238048B (zh) 一种Web前端性能自动化测试方法及系统
CN115033436A (zh) 页面测试方法及装置、电子设备、存储介质
JP2012163997A (ja) 障害解析支援システム、障害解析支援方法、および障害解析支援プログラム
Zamith Innovation in content analysis: freezing the flow of liquid news
CN112306870A (zh) 一种基于直播app的数据处理方法和装置
CN113268418A (zh) 一种测试方法、装置、计算机设备及存储介质
CN110188886B (zh) 对机器学习过程的数据处理步骤进行可视化的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination