CN115883678B - 一种数据处理系统、方法、装置、设备及介质 - Google Patents
一种数据处理系统、方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN115883678B CN115883678B CN202310214847.9A CN202310214847A CN115883678B CN 115883678 B CN115883678 B CN 115883678B CN 202310214847 A CN202310214847 A CN 202310214847A CN 115883678 B CN115883678 B CN 115883678B
- Authority
- CN
- China
- Prior art keywords
- data
- application
- robot
- format
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Manipulator (AREA)
- Stored Programmes (AREA)
Abstract
本申请公开了一种数据处理系统、方法、装置、设备及介质,应用于通信技术领域,具体为:数据接收系统接收到机器人基于第一通信协议发送的第一数据格式的机器人作业数据时,将机器人作业数据清洗成统一数据格式后通过数据存储系统存储至目标数据库;数据应用系统接收到数据应用客户端基于第二通信协议发送的第二数据格式的应用需求数据时,通过数据存储系统从目标数据库中获取与应用需求数据相匹配的目标机器人作业数据,并将目标机器人作业数据转换成第二数据格式后基于第二通信协议发送至数据应用客户端,从而建立了机器人作业数据的流入、处理、存储、流出的规范流程和统一机制,进而有效解决了数据冗杂、兼容性差和使用难等问题。
Description
技术领域
本申请涉及通信技术领域,尤其涉及一种数据处理系统、方法、装置、设备及介质。
背景技术
目前,智能自动化已经渗入日常生活、工业生产的方方面面,机器人已经在很多场合代替人工从事一些繁重的工作,例如带电作业机器人等工业机器人、扫地机器人等家用机器人,从而给日常生活、工业生产等方方面面带来了极大便利,提高了日常生活和工业生产的品质和效率。
机器人在作业过程中的机器人作业数据对机器人研发、优化等有着举足轻重的作用,现有技术中,机器人在作业过程中通常会将机器人作业数据以消息数据形式发送至数据处理系统进行存储以供各类数据应用系统使用,然而,随着大量消息数据的产生,各类消息数据格式不一,从而导致消息数据存在使用难等问题。
发明内容
本申请提供了一种数据处理系统、方法、装置、设备及介质,具体的,本申请提供的技术方案如下:
一方面,本申请提供了一种数据处理系统,包括数据应用系统、数据存储系统和数据接收系统;数据存储系统分别与数据接收系统和数据应用系统通信连接;
数据接收系统,用于接收机器人基于第一通信协议发送的第一数据格式的机器人作业数据,基于数据清洗规则对第一数据格式的机器人作业数据进行清洗得到统一数据格式的机器人作业数据后,将统一数据格式的机器人作业数据发送至数据存储系统;
数据存储系统,用于接收数据接收系统发送的统一数据格式的机器人作业数据,并将统一数据格式的机器人作业数据写入目标数据库;以及接收数据应用系统发送的应用需求数据,从目标数据库保存的统一数据格式的机器人作业数据中获取与应用需求数据相匹配的统一数据格式的目标机器人作业数据,并将统一数据格式的目标机器人作业数据返回至数据应用系统;
数据应用系统,用于接收数据应用客户端基于第二通信协议发送的第二数据格式的应用需求数据,并将应用需求数据发送至数据存储系统;以及接收数据存储系统基于应用需求数据返回的统一数据格式的目标机器人作业数据,将统一数据格式的目标机器人作业数据转换成第二数据格式的目标机器人作业数据后,基于第二通信协议将第二数据格式的目标机器人作业数据发送至数据应用客户端。
另一方面,本申请提供了一种数据处理方法,包括:
接收到机器人基于第一通信协议发送的第一数据格式的机器人作业数据时,基于数据清洗规则对第一数据格式的机器人作业数据进行清洗得到统一数据格式的机器人作业数据,并将统一数据格式的机器人作业数据写入目标数据库;
接收到数据应用客户端基于第二通信协议发送的第二数据格式的应用需求数据时,从目标数据库保存的统一数据格式的机器人作业数据中获取与应用需求数据相匹配的统一数据格式的目标机器人作业数据;
将统一数据格式的目标机器人作业数据转换成第二数据格式的目标机器人作业数据后,基于第二通信协议将第二数据格式的目标机器人作业数据发送至数据应用客户端。
另一方面,本申请还提供了一种数据处理装置,包括:
数据接收单元,用于接收到机器人基于第一通信协议发送的第一数据格式的机器人作业数据时,基于数据清洗规则对第一数据格式的机器人作业数据进行清洗得到统一数据格式的机器人作业数据,并将统一数据格式的机器人作业数据写入目标数据库;
数据应用单元,用于接收到数据应用客户端基于第二通信协议发送的第二数据格式的应用需求数据时,从目标数据库保存的统一数据格式的机器人作业数据中获取与应用需求数据相匹配的统一数据格式的目标机器人作业数据;
数据返回单元,用于将统一数据格式的目标机器人作业数据转换成第二数据格式的目标机器人作业数据后,基于第二通信协议将第二数据格式的目标机器人作业数据发送至数据应用客户端。
另一方面,本申请还提供了一种电子设备,包括存储器、处理器和存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述数据处理方法。
另一方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机指令,该计算机指令被处理器执行时实现上述数据处理方法。
本申请的有益效果如下:
本申请通过在接收到机器人基于第一通信协议发送的第一数据格式的机器人作业数据时,基于数据清洗规则将第一数据格式的机器人作业数据清洗成统一数据格式的机器人作业数据后保存至目标数据库,并在接收到数据应用客户端基于第二通信协议发送的第二数据格式的应用需求数据时,从目标数据库中获取与应用需求数据相匹配的统一数据格式的目标机器人作业数据后转换成第二数据格式的目标机器人作业数据返回至数据应用客户端,建立了机器人作业数据的流入、处理、存储、流出的规范流程和统一机制,从而有效解决了数据冗杂、兼容性差和使用难等问题。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地可以从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例中数据处理系统的一组成架构示意图;
图2为本申请实施例中数据处理系统的另一组成架构示意图;
图3为本申请实施例中数据处理方法的一概况流程示意图;
图4为本申请实施例中数据处理方法的另一概况流程示意图;
图5为本申请实施例中数据处理方法的又一概况流程示意图;
图6为本申请实施例中数据处理装置的功能结构示意图;
图7为本申请实施例中电子设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及有益效果更加清楚明白,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,并不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为便于本领域技术人员更好地理解本申请,下面先对本申请涉及的技术用语进行简单介绍。
数据中台,是指通过数据技术,收集、计算、存储、加工大量数据,同时统一标准和规范后形成标准数据进行存储,从而作为大数据生产层为数据应用系统提供高效的数据应用等服务。
数据清洗,是指发现并纠正数据中可识别的错误,包括但不限于检查数据一致性、处理无效值和缺失值等。
消息队列,是指基于队列的消息传递技术,在网络环境中为数据应用系统和数据接收系统提供同步或异步、可靠的消息传输的支撑性软件系统。
需要说明的是,本申请中提及的“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样的用语在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,本申请中提及的“和/或”,描述的是关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
在介绍了本申请涉及的技术用语后,接下来,对本申请提供的技术方案进行详细说明。
本申请实施例提供了一种数据处理系统,参阅图1所示,本申请实施例提供的数据处理系统100至少包括数据应用系统101、数据存储系统102和数据接收系统103;数据存储系统102分别与数据接收系统103和数据应用系统101通信连接;
数据接收系统103,用于接收机器人基于第一通信协议发送的第一数据格式的机器人作业数据,基于数据清洗规则对第一数据格式的机器人作业数据进行清洗得到统一数据格式的机器人作业数据后,将统一数据格式的机器人作业数据发送至数据存储系统102;其中,第一通信协议为TCP(Transmission Control Protocol,传输控制协议)和MQ(Message Queue,消息队列)中的任意一种;
数据存储系统102,用于接收数据接收系统103发送的统一数据格式的机器人作业数据,并将统一数据格式的机器人作业数据写入目标数据库;以及接收数据应用系统101发送的应用需求数据,从目标数据库保存的统一数据格式的机器人作业数据中获取与应用需求数据相匹配的统一数据格式的目标机器人作业数据,并将统一数据格式的目标机器人作业数据返回至数据应用系统101;
数据应用系统101,用于接收数据应用客户端基于第二通信协议发送的第二数据格式的应用需求数据,并将应用需求数据发送至数据存储系统102;以及接收数据存储系统102基于应用需求数据返回的统一数据格式的目标机器人作业数据,将统一数据格式的目标机器人作业数据转换成第二数据格式的目标机器人作业数据后,基于第二通信协议将第二数据格式的目标机器人作业数据发送至数据应用客户端;其中,第二通信协议为TCP和MQ中的任意一种。
在一种可能的实施方式中,本申请实施例提供的数据处理系统100还包括数据管理系统104;数据管理系统104分别与机器人和数据应用客户端通信连接;
数据管理系统104,用于为机器人配置数据推送权限和数据推送密钥以及为数据应用客户端配置数据应用权限和数据应用密钥。
在一种可能的实施方式中,数据管理系统104与数据接收系统103通信连接;
数据管理系统104,用于接收机器人发送的推送服务授权请求,基于机器人的设备标识,对机器人进行合法认证,确定机器人的合法认证通过时,为机器人生成第一推送密钥和第二推送密钥以及表征具有数据推送权限的推送权限标识,将第一推送密钥和推送权限标识发送至机器人,并将第二推送密钥发送至数据接收系统103;
数据接收系统103,用于接收数据管理系统104发送的机器人的第二推送密钥并保存,以及接收到机器人基于第一通信协议发送的携带推送权限标识且经第一推送密钥加密的加密机器人作业数据时,基于推送权限标识,确定机器人具有数据推送权限后,基于机器人的第二推送密钥,对加密机器人作业数据进行解密得到第一数据格式的机器人作业数据,并基于数据清洗规则对第一数据格式的机器人作业数据进行清洗得到统一数据格式的机器人作业数据后,将统一数据格式的机器人作业数据发送至数据存储系统102。
在一种可能的实施方式中,数据管理系统104与数据应用系统101通信连接;
数据管理系统104,用于接收数据应用客户端发送的应用服务授权请求,基于数据应用客户端的客户端标识,对数据应用客户端进行合法认证,确定数据应用客户端的合法认证通过时,为数据应用客户端生成第一应用密钥和第二应用密钥以及表征具有数据应用权限的应用权限标识,将第一应用密钥和应用权限标识发送至数据应用客户端,并将第二应用密钥发送至数据应用系统101;
数据应用系统101,用于接收数据管理系统104发送的数据应用客户端的第二应用密钥并保存,以及接收到数据应用客户端基于第二通信协议发送的携带应用权限标识且经第一应用密钥加密的加密应用需求数据时,基于应用权限标识,确定数据应用客户端具有数据应用权限后,基于数据应用客户端的第二应用密钥,对加密应用需求数据进行解密得到应用需求数据,并将应用需求数据发送至数据存储系统102;以及接收数据存储系统102基于应用需求数据返回的目标机器人作业数据,将目标机器人作业数据转换成第二数据格式后基于第二通信协议发送至数据应用客户端。
本申请实施例中,参阅图2所示,数据处理系统100可以是一个数据中台,该数据中台通过MQ(例如kafka、rabbitmq、mqtt等)和/或TCP等通信协议收发机器人作业数据,并通过异常数据清洗服务对接收到的机器人作业数据进行标准化处理后流入mongo数据库等目标数据库进行存储,以及通过数据管理、服务授权、网关等服务对数据应用客户端等提供数据应用。具体的,该数据中台由四大部分组成,即数据接收系统、数据存储系统、数据管理系统和数据应用系统,其中:
数据接收系统管理机器人数据推送的整个对接过程,通过规范的MQ和/或TCP对接机器人作业数据,并通过规范的数据清洗规则清洗机器人作业数据,要求推送的机器人作业数据严格按照MQ和/或TCP等数据规范,且机器人需通过服务授权获取数据推送权限,只有获得数据推送权限才可以推送机器人作业数据,并进一步对机器人作业数据进行清洗过滤。
数据存储系统将数据接收系统清洗后的机器人作业数据存储在mongo数据库等目标数据库中,将数据管理系统配置的权限数据、密钥数据等业务数据存储在mysql数据库等目标数据库中。
数据管理系统提供网关服务、调用管理服务、数据源管理服务和授权服务等;其中,网关服务对外提供数据查询接口,数据查询需要通过授权服务进行权限认证;调用管理服务针对数据查询接口调用作日志记录、人员权限配置等,可使用数据类型权限配置等;数据源管理服务对于各个数据源进行配置管理;授权服务对数据推送、数据应用等进行授权控制,包括接口调用、消息队列使用授权等。
数据应用系统负责机器人作业数据的流出、对外使用,通过权限服务授权,可以使用TCP接口服务也可以MQ监听服务进行相应类型数据的应用支撑。
基于本申请实施例提供的上述数据处理系统100,本申请实施例提供了一种数据处理方法,参阅图3所示,本申请实施例提供的数据处理方法的概况流程如下:
步骤301:接收到机器人基于第一通信协议发送的第一数据格式的机器人作业数据时,基于数据清洗规则对第一数据格式的机器人作业数据进行清洗得到统一数据格式的机器人作业数据,并将统一数据格式的机器人作业数据写入目标数据库。
实际应用中,第一通信协议为TCP和MQ(例如kafka、rabbitmq、mqtt等)中的任意一种,即机器人与数据接收系统103之间可以通过TCP和MQ中的任意一种通信协议进行数据传输,在具体实施时,机器人在向数据接收系统103推送机器人作业数据之前,可以通过数据管理系统104获取数据推送权限和数据推送密钥,具体的,机器人可以向数据管理系统104发送推送服务授权请求,数据管理系统104接收到机器人发送的推送服务授权请求时,基于机器人的设备标识,对机器人进行合法认证,确定机器人的合法认证通过时,为机器人生成第一推送密钥和第二推送密钥以及表征具有数据推送权限的推送权限标识,将第一推送密钥和推送权限标识发送至机器人,并将第二推送密钥发送至数据接收系统103进行保存,至此完成了机器人的数据推送权限和数据推送密钥的配置,值得说的是,第一推送密钥和第二推送密钥可以是对称密钥也可以是非对称密钥,推送权限标识可以是标志位也可以是令牌等。
相应的,数据接收系统103接收到机器人基于第一通信协议发送的携带推送权限标识且经第一推送密钥加密的加密机器人作业数据时,可以先基于推送权限标识,对机器人进行权限认证,确定机器人具有数据推送权限后,再基于机器人的第二推送密钥,对加密机器人作业数据进行解密从而得到第一数据格式的机器人作业数据,并进一步基于数据清洗规则对第一数据格式的机器人作业数据进行清洗从而得到统一数据格式的机器人作业数据后,将统一数据格式的机器人作业数据发送至数据存储系统102,以通过数据存储系统102将统一数据格式的机器人作业数据写入mongo数据库等目标数据库。
步骤302:接收到数据应用客户端基于第二通信协议发送的第二数据格式的应用需求数据时,从目标数据库保存的统一数据格式的机器人作业数据中应用与应用需求数据相匹配的统一数据格式的目标机器人作业数据。
实际应用中,第二通信协议为TCP和MQ(例如kafka、rabbitmq、mqtt等)中的任意一种,即数据应用客户端与数据应用系统101之间可以通过TCP和MQ中的任意一种通信协议进行数据传输,在具体实施时,数据应用客户端在向数据应用系统101查询机器人作业数据之前,可以通过数据管理系统104获取数据应用权限和数据应用密钥。具体的,数据应用客户端可以向数据管理系统104发送应用服务授权请求,数据管理系统104接收到数据应用客户端发送的应用服务授权请求时,基于数据应用客户端的客户端标识,对数据应用客户端进行合法认证,确定数据应用客户端的合法认证通过时,为数据应用客户端生成第一应用密钥和第二应用密钥以及表征具有数据应用权限的应用权限标识,将第一应用密钥和应用权限标识发送至数据应用客户端,并将第二应用密钥发送至数据应用系统101进行保存,至此完成了数据应用客户端的数据应用权限和数据应用密钥的配置,值得说的是,第一应用密钥和第二应用密钥可以是对称密钥也可以是非对称密钥,应用权限标识可以是标志位也可以是令牌等。
相应的,数据应用系统101接收到数据应用客户端基于第二通信协议发送的携带应用权限标识且经第一应用密钥加密的加密应用需求数据时,可以基于应用权限标识,对数据应用客户端进行权限认证,确定数据应用客户端具有数据应用权限后,基于数据应用客户端的第二应用密钥,对加密应用需求数据进行解密得到应用需求数据,并将应用需求数据发送至数据存储系统102,以使数据存储系统102从目标数据库保存的统一数据格式的机器人作业数据中获取与应用需求数据相匹配的统一数据格式的目标机器人作业数据后返回至数据应用系统101。
步骤303:将统一数据格式的目标机器人作业数据转换成第二数据格式的目标机器人作业数据后,基于第二通信协议将第二数据格式的目标机器人作业数据发送至数据应用客户端。
实际应用中,数据存储系统102接收到数据存储系统102基于应用需求数据返回的目标机器人作业数据后,可以将目标机器人作业数据转换成第二数据格式后基于第二通信协议发送至数据应用客户端。
本申请实施例中,机器人作业数据推送首先需要获取授权,授权通过获得数据推送权限后,可以通过封装的数据推送组件推送包含有机器人作业数据的消息数据,机器人作业数据经过清洗后存储到mongo数据库等目标数据库中,机器人作业数据应用同样需要通过授权,授权通过获得数据应用权限后,可以通过网关服务获取机器人作业数据,或者可以申请数据推送,申请通过后可以将机器人作业数据推送到指定队列中。具体的,参阅图4所示,机器人作业数据推送过程包括:机器人初次推送机器人作业数据时,需要提交推送服务授权请求,数据管理系统104对机器人合法验证通过后为机器人配置数据推送权限和数据推送密钥等,机器人需要登录消息组件管理平台获取数据推送权限和数据推送密钥等,从而通过消息推送组件推送经数据推送密钥加密的机器人作业数据,数据接收系统103校验机器人是否具有数据推送权限,校验通过后进行解密及数据清洗,并将清洗后的机器人作业数据通过数据存储系统102存储到目标数据库中。相应的,参阅图5所示,机器人作业数据应用过程包括:数据应用客户端初次应用机器人作业数据时,需要提交应用服务授权请求,数据管理系统104对数据应用客户端合法验证通过后,为数据应用客户端配置数据应用权限和数据应用密钥等,数据应用客户端需要登录消息组件管理平台获取数据应用权限和数据应用密钥等,从而通过调度管理组件发送经数据应用密钥加密的应用需求数据,数据应用系统101校验数据应用客户端是否具有数据应用权限,校验通过后进行解密及数据查询,并将查询到的与应用需求数据相匹配的目标机器人作业数据返回至数据应用客户端,数据应用客户端通过网关接口调用或者队列监听获取到目标机器人作业数据。至此形成了机器人作业数据的流入、处理、存储、流出的规范流程和统一机制,从而有效解决了数据冗杂、兼容性差和使用难等问题。
基于上述实施例,本申请实施例提供了一种数据处理装置,参阅图6所示,本申请实施例提供的数据处理装置600至少包括:
数据接收单元601,用于接收到机器人基于第一通信协议发送的第一数据格式的机器人作业数据时,基于数据清洗规则对第一数据格式的机器人作业数据进行清洗得到统一数据格式的机器人作业数据,并将统一数据格式的机器人作业数据写入目标数据库;
数据应用单元602,用于接收到数据应用客户端基于第二通信协议发送的第二数据格式的应用需求数据时,从目标数据库保存的统一数据格式的机器人作业数据中获取与应用需求数据相匹配的统一数据格式的目标机器人作业数据;
数据返回单元603,用于将统一数据格式的目标机器人作业数据转换成第二数据格式的目标机器人作业数据后,基于第二通信协议将第二数据格式的目标机器人作业数据发送至数据应用客户端。
在一种可能的实施方式中,本申请实施例提供的数据处理装置600还包括:
第一授权单元604,用于接收到机器人发送的推送服务授权请求时,基于机器人的设备标识,对机器人进行合法认证;确定机器人的合法认证通过时,为机器人生成第一推送密钥和第二推送密钥以及表征具有数据推送权限的推送权限标识,并将第一推送密钥和推送权限标识发送至机器人;
相应的,接收到机器人基于第一通信协议发送的第一数据格式的机器人作业数据时,数据接收单元601具体用于:
接收到机器人基于第一通信协议发送的携带推送权限标识且经第一推送密钥加密的加密机器人作业数据时,基于推送权限标识,确定机器人具有数据推送权限后,基于机器人的第二推送密钥,对加密机器人作业数据进行解密得到第一数据格式的机器人作业数据。
在一种可能的实施方式中,本申请实施例提供的数据处理装置600还包括:
第二授权单元605,用于接收到数据应用客户端发送的应用服务授权请求时,基于数据应用客户端的客户端标识,对数据应用客户端进行合法认证;确定数据应用客户端的合法认证通过时,为数据应用客户端生成第一应用密钥和第二应用密钥以及表征具有数据应用权限的应用权限标识,并将第一应用密钥和应用权限标识发送至数据应用客户端;
相应的,接收到数据应用客户端基于第二通信协议发送的第二数据格式的应用需求数据时,数据应用单元602具体用于:
接收到数据应用客户端基于第二通信协议发送的携带应用权限标识且经第一应用密钥加密的加密应用需求数据时,基于应用权限标识,确定数据应用客户端具有数据应用权限后,基于数据应用客户端的第二应用密钥,对加密应用需求数据进行解密得到第二数据格式的应用需求数据。
需要说明的是,本申请实施例提供的数据处理装置600解决技术问题的原理与本申请实施例提供的数据处理方法相似,因此,本申请实施例提供的数据处理装置600的实施可以参见本申请实施例提供的数据处理方法的实施,重复之处不再赘述。
在介绍了本申请实施例提供的数据处理系统、方法和装置之后,接下来,对本申请实施例提供的电子设备进行简单介绍。
参阅图7所示,本申请实施例提供的电子设备700至少包括处理器701、存储器702和存储在存储器702上并可在处理器701上运行的计算机程序,处理器701执行计算机程序时实现本申请实施例提供的数据处理方法。
本申请实施例提供的电子设备700还可以包括连接不同组件(包括处理器701和存储器702)的总线703。其中,总线703表示几类总线结构中的一种或多种,包括存储器总线、外围总线、局域总线等。
存储器702可以包括易失性存储器形式的可读介质,例如RAM(Random AccessMemory,随机存储器)7021和/或高速缓存存储器7022,还可以进一步包括ROM(Read OnlyMemory,只读存储器)7023。存储器702还可以包括具有一组(至少一个)程序模块7024的程序工具7025,程序模块7024包括但不限于:操作子系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
电子设备700也可以与一个或多个外部设备704(例如键盘、遥控器等)通信,还可以与一个或者多个使得用户能与电子设备700交互的设备通信(例如手机、电脑等),和/或,与使得电子设备700与一个或多个其它电子设备700进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过I/O(Input /Output,输入/输出)接口705进行。并且,电子设备700还可以通过网络适配器706与一个或者多个网络(例如LAN(Local AreaNetwork,局域网),WAN(Wide Area Network,广域网)和/或公共网络,例如因特网)通信。如图7所示,网络适配器706通过总线703与电子设备700的其它模块通信。应当理解,尽管图7中未示出,可以结合电子设备700使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(Redundant Arrays of IndependentDisks,磁盘阵列)子系统、磁带驱动器以及数据备份存储子系统等。
需要说明的是,图7所示的电子设备700仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
此外,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机指令,该计算机指令被处理器执行时实现本申请实施例提供的数据处理方法。具体地,该计算机指令可以内置或安装在电子设备中,这样,电子设备就可以通过执行内置或安装的计算机指令实现本申请实施例提供的数据处理方法。
另外,本申请实施例提供的数据处理方法还可以实现为一种程序产品,该程序产品包括程序代码,当该程序代码在处理器上运行时实现本申请实施例提供的数据处理方法。
本申请实施例提供的程序产品可以采用一个或多个可读介质的任意组合,其中,可读介质可以是可读信号介质或者可读存储介质,而可读存储介质可以是但不限于是电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合,具体地,可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、RAM、ROM、EPROM(Erasable Programmable Read Only Memory,可擦式可编程只读存储器)、光纤、CD-ROM(Compact Disc Read-Only Memory,便携式紧凑盘只读存储器)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请实施例提供的程序产品可以采用CD-ROM并包括程序代码,还可以在电子设备上运行。然而,本申请实施例提供的程序产品不限于此,在本申请实施例中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
应当注意,尽管在上文详细描述中提及了装置的若干单元或子单元,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之,上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外,尽管在附图中以特定顺序描述了本申请方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样,倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (9)
1.一种数据处理系统,其特征在于,包括数据应用系统、数据存储系统和数据接收系统;所述数据存储系统分别与所述数据接收系统和所述数据应用系统通信连接;
所述数据接收系统,用于接收机器人基于第一通信协议发送的第一数据格式的机器人作业数据,基于数据清洗规则对所述第一数据格式的机器人作业数据进行清洗得到统一数据格式的机器人作业数据后,将所述统一数据格式的机器人作业数据发送至所述数据存储系统;
所述数据存储系统,用于接收所述数据接收系统发送的所述统一数据格式的机器人作业数据,并将所述统一数据格式的机器人作业数据写入目标数据库;以及接收所述数据应用系统发送的应用需求数据,从所述目标数据库保存的统一数据格式的机器人作业数据中获取与所述应用需求数据相匹配的统一数据格式的目标机器人作业数据,并将所述统一数据格式的目标机器人作业数据返回至所述数据应用系统;
所述数据应用系统,用于接收数据应用客户端基于第二通信协议发送的第二数据格式的应用需求数据,并将所述应用需求数据发送至所述数据存储系统;以及接收所述数据存储系统基于所述应用需求数据返回的所述统一数据格式的目标机器人作业数据,将所述统一数据格式的目标机器人作业数据转换成所述第二数据格式的目标机器人作业数据后,基于所述第二通信协议将所述第二数据格式的目标机器人作业数据发送至所述数据应用客户端;
其中,所述数据处理系统还包括数据管理系统;所述数据管理系统分别与所述机器人和所述数据应用客户端通信连接;
所述数据管理系统,用于为所述机器人配置数据推送权限和数据推送密钥以及为所述数据应用客户端配置数据应用权限和数据应用密钥。
2.如权利要求1所述的数据处理系统,其特征在于,所述数据管理系统与所述数据接收系统通信连接;
所述数据管理系统,用于接收所述机器人发送的推送服务授权请求,基于所述机器人的设备标识,对所述机器人进行合法认证,确定所述机器人的合法认证通过时,为所述机器人生成第一推送密钥和第二推送密钥以及表征具有数据推送权限的推送权限标识,将所述第一推送密钥和所述推送权限标识发送至所述机器人,并将所述第二推送密钥发送至所述数据接收系统;
所述数据接收系统,用于接收所述数据管理系统发送的所述机器人的所述第二推送密钥并保存,以及接收到所述机器人基于所述第一通信协议发送的携带所述推送权限标识且经所述第一推送密钥加密的加密机器人作业数据时,基于所述推送权限标识,确定所述机器人具有数据推送权限后,基于所述机器人的所述第二推送密钥,对所述加密机器人作业数据进行解密得到第一数据格式的机器人作业数据,并基于数据清洗规则对所述第一数据格式的机器人作业数据进行清洗得到统一数据格式的机器人作业数据后,将所述统一数据格式的机器人作业数据发送至所述数据存储系统。
3.如权利要求1所述的数据处理系统,其特征在于,所述数据管理系统与所述数据应用系统通信连接;
所述数据管理系统,用于接收所述数据应用客户端发送的应用服务授权请求,基于所述数据应用客户端的客户端标识,对所述数据应用客户端进行合法认证,确定所述数据应用客户端的合法认证通过时,为所述数据应用客户端生成第一应用密钥和第二应用密钥以及表征具有数据应用权限的应用权限标识,将所述第一应用密钥和所述应用权限标识发送至所述数据应用客户端,并将所述第二应用密钥发送至所述数据应用系统;
所述数据应用系统,用于接收所述数据管理系统发送的所述数据应用客户端的所述第二应用密钥并保存,以及接收到所述数据应用客户端基于所述第二通信协议发送的携带所述应用权限标识且经所述第一应用密钥加密的加密应用需求数据时,基于所述应用权限标识,确定所述数据应用客户端具有数据应用权限后,基于所述数据应用客户端的所述第二应用密钥,对所述加密应用需求数据进行解密得到应用需求数据,并将所述应用需求数据发送至所述数据存储系统;以及接收所述数据存储系统基于所述应用需求数据返回的所述目标机器人作业数据,将所述目标机器人作业数据转换成所述第二数据格式后基于所述第二通信协议发送至所述数据应用客户端。
4.一种数据处理方法,其特征在于,包括:
接收到机器人基于第一通信协议发送的第一数据格式的机器人作业数据时,基于数据清洗规则对所述第一数据格式的机器人作业数据进行清洗得到统一数据格式的机器人作业数据,并将所述统一数据格式的机器人作业数据写入目标数据库;
接收到数据应用客户端基于第二通信协议发送的第二数据格式的应用需求数据时,从所述目标数据库保存的统一数据格式的机器人作业数据中获取与所述应用需求数据相匹配的统一数据格式的目标机器人作业数据;
将所述统一数据格式的目标机器人作业数据转换成所述第二数据格式的目标机器人作业数据后,基于所述第二通信协议将所述第二数据格式的目标机器人作业数据发送至所述数据应用客户端;
其中,所述数据处理方法还包括:
为所述机器人配置数据推送权限和数据推送密钥以及为所述数据应用客户端配置数据应用权限和数据应用密钥。
5.如权利要求4所述的数据处理方法,其特征在于,还包括:
接收到所述机器人发送的推送服务授权请求时,基于所述机器人的设备标识,对所述机器人进行合法认证;
确定所述机器人的合法认证通过时,为所述机器人生成第一推送密钥和第二推送密钥以及表征具有数据推送权限的推送权限标识,并将所述第一推送密钥和所述推送权限标识发送至所述机器人;
相应的,接收到机器人基于第一通信协议发送的第一数据格式的机器人作业数据,包括:
接收到所述机器人基于所述第一通信协议发送的携带所述推送权限标识且经所述第一推送密钥加密的加密机器人作业数据时,基于所述推送权限标识,确定所述机器人具有数据推送权限后,基于所述机器人的所述第二推送密钥,对所述加密机器人作业数据进行解密得到所述第一数据格式的机器人作业数据。
6.如权利要求4所述的数据处理方法,其特征在于,还包括:
接收到所述数据应用客户端发送的应用服务授权请求时,基于所述数据应用客户端的客户端标识,对所述数据应用客户端进行合法认证;
确定所述数据应用客户端的合法认证通过时,为所述数据应用客户端生成第一应用密钥和第二应用密钥以及表征具有数据应用权限的应用权限标识,并将所述第一应用密钥和所述应用权限标识发送至所述数据应用客户端;
相应的,接收到数据应用客户端基于第二通信协议发送的第二数据格式的应用需求数据,包括:
接收到所述数据应用客户端基于所述第二通信协议发送的携带所述应用权限标识且经所述第一应用密钥加密的加密应用需求数据时,基于所述应用权限标识,确定所述数据应用客户端具有数据应用权限后,基于所述数据应用客户端的所述第二应用密钥,对所述加密应用需求数据进行解密得到所述第二数据格式的应用需求数据。
7.一种数据处理装置,其特征在于,包括:
数据接收单元,用于接收到机器人基于第一通信协议发送的第一数据格式的机器人作业数据时,基于数据清洗规则对所述第一数据格式的机器人作业数据进行清洗得到统一数据格式的机器人作业数据,并将所述统一数据格式的机器人作业数据写入目标数据库;
数据应用单元,用于接收到数据应用客户端基于第二通信协议发送的第二数据格式的应用需求数据时,从所述目标数据库保存的统一数据格式的机器人作业数据中获取与所述应用需求数据相匹配的统一数据格式的目标机器人作业数据;
数据返回单元,用于将所述统一数据格式的目标机器人作业数据转换成所述第二数据格式的目标机器人作业数据后,基于所述第二通信协议将所述第二数据格式的目标机器人作业数据发送至所述数据应用客户端;
其中,所述数据处理装置还包括:
第一授权单元,用于为所述机器人配置数据推送权限和数据推送密钥;
第二授权单元,用于为所述数据应用客户端配置数据应用权限和数据应用密钥。
8.一种电子设备,其特征在于,包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求4-6任一项所述的数据处理方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令被处理器执行时实现如权利要求4-6任一项所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310214847.9A CN115883678B (zh) | 2023-03-08 | 2023-03-08 | 一种数据处理系统、方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310214847.9A CN115883678B (zh) | 2023-03-08 | 2023-03-08 | 一种数据处理系统、方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115883678A CN115883678A (zh) | 2023-03-31 |
CN115883678B true CN115883678B (zh) | 2023-06-16 |
Family
ID=85762039
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310214847.9A Active CN115883678B (zh) | 2023-03-08 | 2023-03-08 | 一种数据处理系统、方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115883678B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2211309A1 (en) * | 2001-01-12 | 2010-07-28 | Nippon Telegraph and Telephone Corporation | Authentication token and authentication system |
CN110730066A (zh) * | 2019-08-30 | 2020-01-24 | 深圳壹账通智能科技有限公司 | 数据的网络加密、解密方法和装置、存储介质、电子装置 |
CN112597250A (zh) * | 2020-12-29 | 2021-04-02 | 广西交控智维科技发展有限公司 | 基于DataX数据同步的轨道交通数据中台实现方法 |
CN112995022A (zh) * | 2021-02-23 | 2021-06-18 | 中工互联(北京)智能科技有限公司 | 工业物联网网关 |
CN113162942A (zh) * | 2021-04-27 | 2021-07-23 | 深圳市伊起来科技有限公司 | 一种自适应协议的转发方法 |
CN113992646A (zh) * | 2021-12-29 | 2022-01-28 | 天津市津科拓达科技有限责任公司 | 一种物联网设备协议整合方法和系统 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107656704A (zh) * | 2017-09-28 | 2018-02-02 | 郑州云海信息技术有限公司 | 多协议数据共享存储方法、装置、设备及计算机存储介质 |
CN109547474A (zh) * | 2018-12-21 | 2019-03-29 | 深圳市创梦天地科技有限公司 | 一种数据传输方法及装置 |
CN111212097A (zh) * | 2020-04-21 | 2020-05-29 | 炬星科技(深圳)有限公司 | 机器人访问服务器的方法、设备及存储介质 |
CN113542301B (zh) * | 2021-07-30 | 2023-06-02 | 深圳追一科技有限公司 | 交互方法方法、装置、电子设备及存储介质 |
CN114036216A (zh) * | 2021-10-29 | 2022-02-11 | 中国联合网络通信集团有限公司 | 一种数据处理方法、装置和存储介质 |
CN114679446B (zh) * | 2022-03-28 | 2024-06-11 | 阿里云计算有限公司 | 数据处理方法、系统和数据处理设备 |
CN115237987A (zh) * | 2022-06-30 | 2022-10-25 | 国汽大有时空科技(安庆)有限公司 | 车辆多源异构数据的接入和处理方法、模块及系统 |
-
2023
- 2023-03-08 CN CN202310214847.9A patent/CN115883678B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2211309A1 (en) * | 2001-01-12 | 2010-07-28 | Nippon Telegraph and Telephone Corporation | Authentication token and authentication system |
CN110730066A (zh) * | 2019-08-30 | 2020-01-24 | 深圳壹账通智能科技有限公司 | 数据的网络加密、解密方法和装置、存储介质、电子装置 |
CN112597250A (zh) * | 2020-12-29 | 2021-04-02 | 广西交控智维科技发展有限公司 | 基于DataX数据同步的轨道交通数据中台实现方法 |
CN112995022A (zh) * | 2021-02-23 | 2021-06-18 | 中工互联(北京)智能科技有限公司 | 工业物联网网关 |
CN113162942A (zh) * | 2021-04-27 | 2021-07-23 | 深圳市伊起来科技有限公司 | 一种自适应协议的转发方法 |
CN113992646A (zh) * | 2021-12-29 | 2022-01-28 | 天津市津科拓达科技有限责任公司 | 一种物联网设备协议整合方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115883678A (zh) | 2023-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8805596B2 (en) | Remote wind turbine reset system and method | |
CN102938770B (zh) | 一种实现多协议消息统一接口的方法及相关装置、系统 | |
CN102097859A (zh) | 电网调度智能化及指令信息化工作平台 | |
TW515953B (en) | Method and apparatus for proprietary data collection and distribution | |
KR101453671B1 (ko) | 전력계통 감시 및 제어 시스템을 위한 통합 인터페이스 시스템 | |
CN115967175B (zh) | 一种面向储能电站边缘端数据采集控制装置及方法 | |
CN115883678B (zh) | 一种数据处理系统、方法、装置、设备及介质 | |
CN106330567A (zh) | 一种服务器集群的服务器管理控制方法及系统 | |
CN117527873B (zh) | 基于工业互联网的任务处理方法及系统 | |
CN117743183A (zh) | 业务流程测试方法、装置、电子设备及存储介质 | |
CN118175214A (zh) | 一种数据协议转换器 | |
CN117910787A (zh) | 一种基于camunda工作流引擎的多租户的工作流系统 | |
CN1973282A (zh) | 用于管理针对集群配置的改变的系统和方法 | |
CN114285876B (zh) | 一种工业制造的应用互联架构 | |
CN110290119B (zh) | 一种json报文加密方法、解密方法及装置 | |
CN113179319A (zh) | 一种整合核电站关键设备监测数据的系统 | |
CN116192853B (zh) | 一种多集群管理的方法 | |
CN112948860B (zh) | 数据处理方法、相关节点及介质 | |
KR100415719B1 (ko) | Tmn 에이전트 또는 snmp 에이전트 겸용 교환기간인터페이스 장치 및 그 방법 | |
CN111031132A (zh) | 一种基于标准通信协议的工业互联网体系架构及其实现方法 | |
CN114860814A (zh) | 征信查询处理系统、方法、征信查询系统、设备及介质 | |
KR100573060B1 (ko) | 전용회선 관리시스템간 회선정보 일치방법 | |
CN115904392A (zh) | 一种可视化代码生成方法、装置及设备 | |
Li et al. | An OSGi-Based Adaptation Access of Machine Tools in the Cloud Manufacturing Environment | |
CN117177305A (zh) | 共享网元的协作管理方法、系统、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |