CN117201145A - 数据处理方法、装置、设备及存储介质 - Google Patents
数据处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117201145A CN117201145A CN202311204049.4A CN202311204049A CN117201145A CN 117201145 A CN117201145 A CN 117201145A CN 202311204049 A CN202311204049 A CN 202311204049A CN 117201145 A CN117201145 A CN 117201145A
- Authority
- CN
- China
- Prior art keywords
- data
- message
- field
- classification
- security
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 164
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000000586 desensitisation Methods 0.000 claims description 63
- 238000011217 control strategy Methods 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 5
- 238000007726 management method Methods 0.000 description 37
- 238000004891 communication Methods 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 3
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 3
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Storage Device Security (AREA)
Abstract
本申请属于数据安全领域,具体涉及一种数据处理方法、装置、设备及存储介质。该方法包括:获取待处理消息的消息结构体和数据安全描述结构体,数据安全描述结构体用于描述消息结构体中至少一个字段的内存布局和待处理消息的消息类型,待处理消息是在消息中间件中采集的消息;基于消息类型,确定至少一个字段中每个字段对应的数据的分类分级信息;基于每个字段对应的数据的分类分级信息和至少一个字段的内存布局,对至少一个字段中每个字段对应的数据进行数据安全处理。本申请可以保证车端数据脱离车端前的数据合规性和安全性。
Description
技术领域
本申请涉及数据安全领域,尤其涉及一种数据处理方法、装置、设备及存储介质。
背景技术
智能网联汽车在自动驾驶(Auto Driving,简称AD)技术和/或辅助驾驶(AdvancedDriving Assistance System,简称ADAS)技术的实现中,需要依赖车端大量数据的输入,车内控制域的计算平台,也即运行智能车控操作系统,需要对这些数据进行实时处理,以实现智能驾驶汽车中各个功能模块之间的高速通信。其中,通信的模式一般包括两种:第一种为消息模式,即订阅发布(subscribe/publish)模式,某些节点可以发布消息,其他的节点订阅并接收消息,然后对消息进行处理;第二种为服务模式(server/client),其中客户端节点向服务器节点发送请求消息,服务器节点面向请求消息反馈回应消息给客户端节点。这样的通信框架通常称为通信/消息中间件,业内常用的通信/消息中间件有自适应平台(Autosar Adaptive Platfrom,简称Autosar AP)通信(COMmunications,简称COM)模块和数据分发服务(Data Distribution Service,简称DDS)。
为了实现对智能网联汽车的管理和监控等需求,智能车控操作系统会采集一些通信/消息中间件中的消息(用于承载车端数据),然后上传到汽车主机厂云端服务器或者车对外界的信息交换(vehicle to X,简称V2X)设备。而考虑到网络安全与数据安全,以及个人隐私信息的保护,需要对传输的车端数据进行脱敏处理。
相关技术中,在对车端数据进行脱敏处理时,通常是在该车端数据脱离车端并上传至云端的过程中进行加密处理;或者,是在车端数据上传至云端后,在云端存储时进行加密处理。但仍存在车端数据不合规的问题。
发明内容
本申请提供一种数据处理方法、装置、设备及存储介质,可以保证车端数据的合规性。
第一方面,本申请提供一种数据处理方法,包括:获取待处理消息的消息结构体和数据安全描述结构体,数据安全描述结构体用于描述消息结构体中至少一个字段的内存布局和待处理消息的消息类型,待处理消息是在消息中间件中采集的消息;基于消息类型,确定至少一个字段中每个字段对应的数据的分类分级信息;基于每个字段对应的数据的分类分级信息和至少一个字段的内存布局,对至少一个字段中每个字段对应的数据进行数据安全处理。
在一种可能的实施方式中,基于消息类型,确定至少一个字段中每个字段对应的数据的分类分级信息,包括:基于消息类型,调用分类分级接口,以得到消息类型对应的分类分级信息,分类分级接口用于提供与消息类型对应的分类分级信息。
在一种可能的实施方式中,还包括:读取消息配置文件中的分类分级信息;将读取到的分类分级信息写入数据安全描述结构体的结构体变量中;根据结构体变量,生成分类分级数据库,分类分级数据库中包括结构体变量;生成用于访问分类分级数据库的分类分级接口。
在一种可能的实施方式中,基于每个字段对应的数据的分类分级信息和至少一个字段的内存布局,对至少一个字段中每个字段对应的数据进行数据安全处理,包括:基于安全策略规则,确定与分类分级信息对应的数据安全处理动作,安全策略规则用于指示分类分级信息对应的数据安全处理动作;根据至少一个字段的内存布局,按照数据安全处理动作,对至少一个字段中每个字段对应的数据进行数据安全处理。
在一种可能的实施方式中,基于安全策略规则,确定与分类分级信息对应的数据安全处理动作,包括:基于分类分级信息,调用管控策略接口,以得到分类分级信息对应的数据安全处理动作,管控策略接口用于提供安全策略规则。
在一种可能的实施方式中,还包括:读取消息配置文件中的安全策略规则;将读取到的安全策略规则写入预先分配的内存中,并根据消息类型,在内存中将读取到的安全策略规则与数据安全描述结构体进行关联处理,生成管控策略数据库,管控策略数据库中包括安全策略规则,以及安全策略规则与数据安全描述结构体的关联关系;生成用于访问管控策略数据库的管控策略接口。
在一种可能的实施方式中,数据安全处理动作包括脱敏处理,根据至少一个字段的内存布局,按照数据安全处理动作,对至少一个字段中每个字段对应的数据进行数据安全处理,包括:调用数据脱敏处理接口,获取目标数据脱敏算法,数据脱敏处理接口用于提供数据脱敏算法;根据至少一个字段的内存布局,采用目标数据脱敏算法对至少一个字段中每个字段对应的数据执行脱敏处理。
在一种可能的实施方式中,还包括:响应于检测到安全策略规则的更新请求,采用空中下载技术对安全策略规则进行更新。
在一种可能的实施方式中,获取待处理消息的消息结构体和数据安全描述结构体,包括:读取消息描述文件,消息描述文件用于定义待处理消息;根据消息描述文件,生成待处理消息的消息结构体和数据安全描述结构体。
第二方面,本申请提供一种数据处理装置,包括:获取模块,用于获取待处理消息的消息结构体和数据安全描述结构体,数据安全描述结构体用于描述消息结构体中至少一个字段的内存布局和待处理消息的消息类型,待处理消息是在消息中间件中采集的消息;确定模块,用于基于消息类型,确定至少一个字段中每个字段对应的数据的分类分级信息;处理模块,用于基于每个字段对应的数据的分类分级信息和至少一个字段的内存布局,对至少一个字段中每个字段对应的数据进行数据安全处理。
第三方面,本申请提供一种电子设备,包括:处理器,以及与处理器连接的存储器;存储器存储计算机执行指令;处理器执行存储器存储的计算机执行指令,以实现第一方面的数据处理方法。
第四方面,本申请提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被执行时用于实现第一方面的数据处理方法。
第五方面,本申请实施例提供一种计算机程序产品,包括计算机程序,计算机程序被执行时实现第一方面的数据处理方法。
本申请提供的数据处理方法、装置、设备及存储介质,可以对待处理消息中的某个字段确定是否需要进行数据安全处理,从而无需对整个待处理消息进行统一的数据安全处理。在需要对待处理消息中的某个字段进行数据安全处理时,可以根据待处理消息的消息类型确定至少一个字段中每个字段对应的数据的分类分级信息,然后根据至少一个字段的内存布局以及分类分级信息,对至少一个字段中每个字段对应的数据进行数据安全处理,从而可以实现在数据脱离车端前就完成数据安全处理,保证了出车前的数据的安全性和合规性,也实现了更具有针对性的数据安全处理。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的数据处理方法的应用场景示意图;
图2为本申请实施例提供的数据处理方法的流程图;
图3为本申请实施例提供的数据处理装置实的结构示意图;
图4为本申请实施例提供的一种电子设备的结构示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
首先对本申请所涉及的名词进行解释:
结构体:由一批数据组合而成的结构型数据。
数据脱敏:对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护。
背景技术中提供的相关技术中,至少存在以下技术问题:
智能网联汽车在AD/ADAS的技术实现中,需要依赖大量的车端数据的输入,这些车端数据包括:新型传感器(比如,摄像头、激光雷达、毫米波雷达等等)的传感器数据,和外部输入源的数据(比如,高清地图、路测设备的感知数据等,这些外部输入源也可以当作另外一种传感器,称为外部传感器)。车内控制域的计算平台,也即运行智能车控操作系统,需要对这些车端数据进行实时处理,以实现智能驾驶汽车中各个功能模块之间的高速通信。通信的模式一般包括两种,一种是消息模式,即订阅发布(subscribe/publish)模式,某些节点可以发布消息,其他的节点订阅并接收消息,然后对接受到的消息进行处理;另一种是服务模式(server/client),其中,客户端节点向服务器节点发送请求消息,服务器节点回应消息给客户端节点。这样的通信框架通常称为通信/消息中间件,业内常用的中间件有Autosar AP的COM通信模块和DDS。
为了实现对智能网联汽车的管理和监控等需求,智能车控操作系统会采集一些车端消息中间件中的消息,然后上传到汽车主机厂云端服务器,或者V2X设备。而另一方面考虑到网络安全与数据安全,以及个人隐私信息的保护,需要对传输的车端进行脱敏处理。
一种相关技术中,在对传输的车端进行脱敏处理时,通常是车端数据在脱离车端上传云端的过程中,会对数据传输通道进行加密,以实现对相关车端数据的保护。比如:如果上传车端数据使用http的post或者post方法的情况,采用https用来传输车端数据;或者,采用消息队列遥测传输协议(Message Queuing Telemetry Transport,简称MQQT)上传车端数据,或,采用基于安全传输层安全套接字协议(Secure Sockets Layer,简称SSL)和/或继任者传输层安全(Transport Layer Security,简称TLS)上传车端数据。但这两种方式本质上都是对消息通道的传输层采用安全加密。
另一种相关技术中,在对传输的车端进行脱敏处理时,通常是在车端数据上传云端之后,采用云端存储的数据脱敏方案,在云端对上传的数据进行加密存储和数据脱敏处理。
发明人在研究中发现,上述两种相关技术中,要么仅解决了数据传输过程中的隐私保护,要么仅解决了在云服务器上对上传的数据进行脱敏处理。但是都没有解决车端数据从采集时开始的全生命周期的数据安全处理。若有车端数据在出车端前就需要达到数据合规要求,则这两种相关技术都难以实现,而在实践中,为了保证这种车端数据满足合规要求,通常采用车端数据不出车的方法,从而导致在需要合规数据时数据缺失的问题。
针对相关技术中的问题,本申请提出一种数据处理方法,在获取待处理消息之后,根据待处理消息的消息结构体中存储的待处理消息的至少一个字段,以及待处理消息的数据安全描述结构体描述的至少一个字段的内存布局和待处理消息的消息类型,确定是否需要对待处理消息中的某个字段对应的数据进行数据安全处理,在需要对待处理消息中的某个字段进行数据安全处理时,可以根据待处理消息的消息类型确定至少一个字段中每个字段对应的数据的分类分级信息,然后根据至少一个字段的内存布局以及分类分级信息,对至少一个字段中每个字段对应的数据进行数据安全处理,从而可以实现在数据脱离车端前就完成数据安全处理,保证了出车前的数据的安全性和合规性。此外,也实现了更具有针对性的数据安全处理,节约了数据处理的资源。
在一种实施例中,可以在一种应用场景中应用该数据处理方法。图1为本申请实施例提供的数据处理方法的应用场景示意图,如图1所示,在车端软件的编译构建过程中,可以通过消息描述文件存储消息,消息用于承载车端数据,每一类型的消息可以由不同的车部件产生,读取消息描述文件可以生成消息的消息结构体和数据安全描述结构体,消息结构体用于存储消息中包括的各个字段,数据安全描述结构体用于描述消息结构体中各字段的内存布局和消息的消息类型,一种类型的消息对应一个消息结构体和一个数据安全描述结构体。
在上述场景中,还预先配置有消息配置文件,该消息配置文件中包括有各种分类分级信息和每种分类分级信息对应的安全策略规则。在车端软件运行过程中,可以通过数据安全配置管理模块将消息中各个字段对应的分类分级信息写入该消息类型对应的数据安全描述结构体的结构体变量中,然后将多种类型的消息对应的多个数据安全描述结构体的结构体变量组成分类分级数据库;数据安全配置管理模块可以将消息配置文件中的安全策略规则写入预先分配的内存中,然后根据消息类型将内存中的安全策略规则与数据安全描述结构体关联起来,组成管控策略数据库。分类分级数据库提供用于访问的分类分级接口,管控策略数据库提供用于访问的管控策略接口。
在上述场景中,根据消息类型可以调用分类分级接口访问分类分级数据库,以获取消息中各个字段的分类分级信息,然后根据消息类型通过调用管控策略接口访问管控策略数据库,得到与分类分级信息对应的安全策略规则,这样就可以确定安全策略规则指示的与分类分级信息对应的数据安全处理动作,从而实现对消息中的字段对应的车端数据进行数据安全处理,保证了出车前的车端数据的安全性。
在上述场景中,数据安全处理动作包括脱敏处理,可以通过数据脱敏处理接口获取对应的数据脱敏算法,实现对消息中的字段对应的车端数据进行脱敏处理。数据上传模块可以获取脱敏处理后的车端数据,将其发送给云端服务器,从而实现在车端数据离开车端前就进行了数据脱敏处理,保证了出车前的车端数据的合规性。
结合上述场景,下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
本申请提供一种数据处理方法,可以应用于智能网联汽车的服务器和/或云服务器,图2为本申请实施例提供的数据处理方法的流程图,如图2所示,该方法包括以下步骤:
S201:获取待处理消息的消息结构体和数据安全描述结构体。
在该步骤中,数据安全描述结构体用于描述消息结构体中至少一个字段的内存布局和待处理消息的消息类型,待处理消息是在消息中间件中采集的消息。待处理消息的消息结构体和数据安全描述结构体是在数据采集阶段获取到的。
具体地,消息结构体可以用于存储待处理消息,消息结构体中可以包括消息结构体的名称,待处理消息中包括的至少一个字段,以及每个字段的字段类型。其中,消息结构体的名称可以与消息类型名称相同。
具体地,数据安全描述结构体可以用于描述消息结构体中至少一个字段的内存布局和待处理消息的消息类型,数据安全描述结构体中可以包括待处理消息的消息类型名称,待处理消息中包括的各字段名称,各字段类型和字段的内存布局(也即各字段中的数据在内存中相对于待处理消息起始地址的地址偏移量),以及各字段中数据的长度。
可选地,待处理消息可以用于承载数据,该数据可以为智能网联汽车数据,可以包括车辆的新型传感器(比如摄像头、激光雷达、毫米波雷达等)的传感器数据,以及外部输入的数据(比如高清地图、路测设备的感知数据等)。
可选地,消息结构体可以为C struct数据结构。
S202:基于消息类型,确定至少一个字段中每个字段对应的数据的分类分级信息。
在该步骤中,待处理消息承载的智能网联汽车数据需要进行分类分级管理,不同数据的分类分级信息可以不同,因此,消息结构体中的每个字段对应的数据可以对应有不同的分类分级信息。
S203:基于每个字段对应的数据的分类分级信息和至少一个字段的内存布局,对至少一个字段中每个字段对应的数据进行数据安全处理。
在该步骤中,不同分类分级信息的数据需要进行不同处理。可以根据至少一个字段的内存布局,也即至少一个字段在内存中相对于待处理消息起始地址的地址偏移量,确定至少一个字段的位置后,获取到至少一个字段,然后按照分类分级信息,对至少一个字段对应的数据进行数据安全处理。
本实施例提供的数据处理方法,可以对待处理消息中的某个字段确定是否需要进行数据安全处理,从而无需对整个待处理消息进行统一的数据安全处理。在需要对待处理消息中的某个字段进行数据安全处理时,可以根据待处理消息的消息类型确定至少一个字段中每个字段对应的数据的分类分级信息,然后根据至少一个字段的内存布局以及分类分级信息,对至少一个字段中每个字段对应的数据进行数据安全处理,从而可以实现在数据脱离车端前就完成数据安全处理,保证了出车前的数据的安全性和合规性,也实现了更具有针对性的数据安全处理。
在一种实施例中,还包括:读取消息配置文件中的分类分级信息;将读取到的分类分级信息写入数据安全描述结构体的结构体变量中;根据结构体变量,生成分类分级数据库,分类分级数据库中包括结构体变量;生成用于访问分类分级数据库的分类分级接口。
在该实施例中,智能网联汽车数据需要进行分类分级管理,不同数据的分类分级信息不同,不同分类分级信息对应的数据需要进行不同的数据安全处理,因此,消息结构体中的每个字段对应的数据的分类分级信息可以不同。
具体地,可以预先设置消息配置文件,该消息配置文件中包括所有的分类分级信息。在对待处理消息的至少一个字段对应的数据进行数据安全处理之前,需要先确定至少一个字段对应的数据的分类分级信息。因此,可以在消息配置文件中读取分类分级信息,然后将读取到的分类分级信息写入待处理消息对应的数据安全描述结构体的结构体变量中。所有不同类型的待处理消息对应的数据安全描述结构体的结构体变量,可以组成分类分级数据库,并生成用于访问该分类分级数据库的分类分级接口,通过该分类分级接口,就可以获取到待处理消息的至少一个字段对应的数据的分类分级信息。
在上述实施例中,通过分类分级数据库的分类分级接口,可以确定待处理消息的至少一个字段对应的数据的分类分级信息,从而对待处理消息的至少一个字段对应的数据进行数据安全处理,以保证出车端前的数据的安全性和合规性。
在一种实施例中,根据基于消息类型,确定至少一个字段中每个字段对应的数据的分类分级信息,包括:基于消息类型,调用分类分级接口,以得到消息类型对应的分类分级信息,分类分级接口用于提供与消息类型对应的分类分级信息。
在该实施例中,不同消息类型对应的分类分级信息不同,因此,可以调用分类分级数据库的分类分级接口,获取分类分级数据库中与待处理消息的消息类型对应的分类分级信息,也就确定了待处理消息的至少一个字段对应的数据的分类分级信息。从而可以对待处理消息的至少一个字段对应的数据进行数据安全处理,以保证出车端前的数据的安全性和合规性。
在一种实施例中,基于每个字段对应的数据的分类分级信息和至少一个字段的内存布局,对至少一个字段中每个字段对应的数据进行数据安全处理,包括:基于安全策略规则,确定与分类分级信息对应的数据安全处理动作,安全策略规则用于指示分类分级信息对应的数据安全处理动作;根据至少一个字段的内存布局,按照数据安全处理动作,对至少一个字段中每个字段对应的数据进行数据安全处理。
在该实施例中,不同分类分级信息对应有不同的数据安全处理动作。可以根据至少一个字段的内存布局,也即至少一个字段在内存中相对于待处理消息起始地址的地址偏移量,确定至少一个字段的位置后,获取到至少一个字段,然后在获取到分类分级信息之后,按照安全策略规则指示的分类分级信息对应的数据安全处理动作,对至少一个字段对应的数据执行对应的数据安全处理动作,以实现对至少一个字段对应的数据进行数据安全处理,从而保证出车端前的数据的安全性和合规性。
在一种实施例中,基于安全策略规则,确定与分类分级信息对应的数据安全处理动作,包括:基于分类分级信息,调用管控策略接口,以得到分类分级信息对应的数据安全处理动作,管控策略接口用于提供安全策略规则。
在该方案中,管控策略接口可以用于提供安全策略规则,因此,可以根据分类分级信息,调用管控策略接口,从而获取到与分类分级信息对应的安全策略规则,以便于根据安全策略规则的指示,确定分类分级信息对应的数据安全处理动作,以实现对至少一个字段对应的数据进行数据安全处理,从而保证出车端前的数据的安全性和合规性。
在一种实施例中,还包括:读取消息配置文件中的安全策略规则;将读取到的安全策略规则写入预先分配的内存中,并根据消息类型,在内存中将读取到的安全策略规则与数据安全描述结构体进行关联处理,生成管控策略数据库,管控策略数据库中包括安全策略规则,以及安全策略规则与数据安全描述结构体的关联关系;生成用于访问管控策略数据库的管控策略接口。
在该方案中,消息配置文件中除可以包括所有的分类分级信息之外,还可以包括与分类分级信息对应的安全策略规则。可以读取消息配置文件中的安全策略规则,然后将读取到的安全策略规则写入预先分配的内存中,并在内存中将读取到的安全策略规则与数据安全描述结构体进行关联处理,从而生成管控策略数据库。该内存可以为程序内存。
具体地,由于一个数据安全描述结构体对应一个类型的待处理消息,管控策略数据库中包括多个管控策略规则,因此,可以根据消息类型将安全策略规则与数据安全描述结构体进行关联处理,这样就可以将安全策略规则与待处理消息对应起来,从而实现对待处理消息中的至少一个字段对应的数据进行数据安全处理,保证出车端前的数据的安全性和合规性。
在一种实施例中,数据安全处理动作包括脱敏处理,根据至少一个字段的内存布局,按照数据安全处理动作,对至少一个字段中每个字段对应的数据进行数据安全处理,包括:调用数据脱敏处理接口,获取目标数据脱敏算法,数据脱敏处理接口用于提供数据脱敏算法;根据至少一个字段的内存布局,采用目标数据脱敏算法对至少一个字段中每个字段对应的数据执行脱敏处理。
在该方案中,可以预先确定用于对数据进行脱敏处理的多种数据脱敏算法。在数据安全处理动作为对数据进行脱敏处理时,可以通过构建的数据脱敏处理接口,获取多种数据脱敏算法中的目标数据脱敏算法。然后可以根据至少一个字段的内存布局,也即至少一个字段在内存中相对于待处理消息起始地址的地址偏移量,确定至少一个字段的位置后,获取到至少一个字段,并采用目标数据脱敏算法对至少一个字段对应的数据进行数据脱敏处理,从而保证数据出车端前的合规性和安全性。
可选地,数据脱敏处理接口提供的多种数据脱敏算法可以根据需求进行增加、删除、修改等。
在一种可选的实施方式中,数据安全处理动作除了可以包括脱敏处理外,还可以包括不脱敏处理和/或不出车处理。可以对至少一个字段中,一部分字段对应的数据执行脱敏处理,一部分数据执行不脱敏处理,其他数据执行不出车处理。
其中,若数据安全处理动作为不脱敏处理,则认为字段中的数据不涉及敏感信息,因此,可以直接进行出车;若数据安全处理动作为脱敏处理,则认为字段中的数据涉及敏感信息,因此,需要对字段中的数据进行脱敏处理,例如,将这些数据采用符号“******”替换;若数据安全处理动作为不出车处理,则认为字段中的数据的安全性很高,因此,不允许这些数据出车。
在一种实施例中,还包括:响应于检测到安全策略规则的更新请求,采用空中下载技术对安全策略规则进行更新。
在该实施例中,对于安全策略规则,在相关国家和地区的相关法律法规和标准修改时,或者用户的数据安全处理需求变化时,可以通过空中下载技术(Over-The-Airtechnology,简称OTA)对安全策略规则进行更新升级,以便于可以满足用户需求或相关国家和地区的相关法律法规和标准的规定,保证数据出车端前的合规性和安全性。
在一种实施例中,获取待处理消息的消息结构体和数据安全描述结构体,包括:读取消息描述文件,消息描述文件用于定义待处理消息;根据消息描述文件,生成待处理消息的消息结构体和数据安全描述结构体。
在该方案中,在通信/消息中间件中,对于节点之间传递的消息格式的定义通常采用汽车开放系统架构(AUTomotive Open System Architecture,简称Autosar)定义的可扩展标记语言架构(XML Schema Definition,简称XSD)进行约束的可扩展标记语言(Extensible Markup Language,简称XML),也即ARXML文件,来对消息进行定义,描述消息的类型,字段的名称、类型等。实践中,消息定义后,在构建AD/ADAS系统软件时,通过工具按照ARXML生成消息类型的代码头文件,比如使用C struct结构来声明消息类型,并保存为头文件(.h文件)。程序代码中引用(include)这些消息类型的头文件,使用相关的struct定义各个消息类型的实例(变量),用来在内存中,存储消息中间件的各个节点间传递的消息。
具体地,ARXML文件,也即消息描述文件,其用于定义待处理消息,包括定义待处理消息的消息类型,待处理消息中包括的字段,以及每个字段的字段类型。比如,待处理消息的消息类型为msg类型,该待处理消息中包括2个字段,分别为,a字段和b字段,其中,a字段的类型为my_uint16_t,b字段的类型为my_uint32_t。
具体地,通过读取ARXML文件,针对其中所有声明的消息(多个类型的消息),在生成消息结构体的同时,还生成数据安全描述结构体。例如,针对待处理消息,消息结构体可以包括结构体名称和字段信息,其中,结构体名称可以为msg,字段信息可以为:字段a,类型为my_uint16_t,字段b,类型为my_uint32_t;数据安全描述结构体可以包括消息类型名称,字段名称、字段类型、字段的地址偏移量和字段中数据的长度,其中,消息类型名称可以为msg,字段名称可以为a和b,针对字段a,字段类型可以为number,地址偏移可以为0,长度可以为16bit,针对字段b,字段类型可以为number,地址偏移可以为16,长度可以为32bit。
举例而言,消息类型为msg的待处理消息,其分类分级信息可以包括,针对字段a,分类信息为地理位置,分级信息为S0,针对字段b,分类信息可以为地理位置,分级信息可以为S2,字段a和字段b,由于其分类分级信息不同,安全策略规则指示的执行动作也会有所不同。可选地,安全策略规则可以为,分类信息为地理位置,且分级信息为S2及以上的字段,其中的数据的数据安全处理动作为脱敏处理,脱敏方法可以为随机替换,分类信息为地理位置,且分级信息为S2以下的字段,其中的数据的数据安全处理动作为不脱敏处理。
可选地,消息结构体和数据安全描述结构体可以存储在预先分配的内存中。生成消息结构体和数据安全描述结构体之后,车端的软件代码在实现时,就可以引用消息结构体和数据安全描述结构体的头文件,定义相关的变量,从而实现对数据进行数据安全处理的业务逻辑,保证数据出车端前的合规性和安全性。
在一种实施例中,分类分级接口、管控策略接口和数据脱敏处理接口,也可以对外提供,例如,数据上传模块在向云端服务器上传数据之前,可以调用分类分级接口获取待处理消息中各个字段对应的数据的分类分级信息,然后调用管控策略接口获取分类分级信息对应的安全策略规则,确定对各字段对应的数据的数据安全处理动作,若数据安全处理动作为脱敏处理,则调用数据脱敏处理接口获取数据脱敏算法,对各字段对应的数据进行相关的脱敏处理,然后将脱敏处理后的数据上传到云端服务器,这样也可以保证数据出车端前的合规性和安全性。
可选地,若待处理消息未配置分类分级信息或者未配置安全策略规则,则不进行数据脱敏处理,可直接出车。
可选地,数据上传模块可以将分类分级信息和数据一并发送给车外系统(比如,云端服务器或者V2X设备),用于实现数据分类分级的监测和审计回溯。
可选地,由于数据在出车前就实现了数据合规性和安全性,因此,在上传到云服务器或V2X设备的过程中,以及上传到云服务器或V2X设备之后,数据也是合规和安全的,并且,云服务器可以在接收到上传的数据之后,对数据进行二次数据安全处理,以进一步保证数据的全生命周期的合规性和安全性。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
本实施例提供的数据处理方法,针对ARXML文件所有声明的消息格式的待处理消息,在生成消息结构体的同时,生成数据安全描述结构体,该数据安全描述结构体可以对消息结构体中存储的待处理消息的各个字段进行描述。通过各字段的分类分级信息和安全策略规则,可以确定对待处理消息的各个字段中的数据进行数据安全处理,并且,还设有数据脱敏处理接口,可以调用数据脱敏处理接口获取数据脱敏算法,实现对数据进行脱敏处理。由于在数据采集阶段就确定了数据的分类分级信息,因此,数据在传输出车前,就可以实现数据的数据安全处理,保证了数据出车端前的合规。以及数据出车端后的合规,也即,保证了数据全生命周期的合规性和安全性。此外,也实现了更具有针对性的数据安全处理,节约了数据处理的资源。
本申请实施例还提供一种数据处理装置。图3为本申请实施例提供的数据处理装置实的结构示意图,如图3所示,该数据处理装置300包括:
获取模块301,用于获取待处理消息的消息结构体和数据安全描述结构体,数据安全描述结构体用于描述消息结构体中至少一个字段的内存布局和待处理消息的消息类型,待处理消息是在消息中间件中采集的消息;
确定模块302,用于基于消息类型,确定至少一个字段中每个字段对应的数据的分类分级信息;
处理模块303,用于基于每个字段对应的数据的分类分级信息和至少一个字段的内存布局,对至少一个字段中每个字段对应的数据进行数据安全处理。
可选的,确定模块302在基于消息类型,确定至少一个字段中每个字段对应的数据的分类分级信息时,具体用于:基于消息类型,调用分类分级接口,以得到消息类型对应的分类分级信息,分类分级接口用于提供与消息类型对应的分类分级信息。
可选的,数据处理装置300还包括生成模块(未示出),该生成模块具体用于:读取消息配置文件中的分类分级信息;将读取到的分类分级信息写入数据安全描述结构体的结构体变量中;根据结构体变量,生成分类分级数据库,分类分级数据库中包括结构体变量;生成用于访问分类分级数据库的分类分级接口。
可选的,处理模块303在基于每个字段对应的数据的分类分级信息和至少一个字段的内存布局,对至少一个字段中每个字段对应的数据进行数据安全处理时,具体用于:基于安全策略规则,确定与分类分级信息对应的数据安全处理动作,安全策略规则用于指示分类分级信息对应的数据安全处理动作;据至少一个字段的内存布局,按照数据安全处理动作,对至少一个字段中每个字段对应的数据进行数据安全处理。
可选的,处理模块303在基于安全策略规则,确定与分类分级信息对应的数据安全处理动作时,具体用于:基于分类分级信息,调用管控策略接口,以得到分类分级信息对应的数据安全处理动作,管控策略接口用于提供安全策略规则。
可选的,生成模块还具体用于:读取消息配置文件中的安全策略规则;将读取到的安全策略规则写入预先分配的内存中,并根据消息类型,在内存中将读取到的安全策略规则与数据安全描述结构体进行关联处理,生成管控策略数据库,管控策略数据库中包括安全策略规则,以及安全策略规则与数据安全描述结构体的关联关系;生成用于访问管控策略数据库的管控策略接口。
可选的,数据安全处理动作包括脱敏处理,处理模块303在根据至少一个字段的内存布局,按照数据安全处理动作,对至少一个字段中每个字段对应的数据进行数据安全处理时,具体用于:调用数据脱敏处理接口,获取目标数据脱敏算法,数据脱敏处理接口用于提供数据脱敏算法;根据至少一个字段的内存布局,采用目标数据脱敏算法对至少一个字段中每个字段对应的数据执行脱敏处理。
可选的,数据处理装置300还包括更新模块(未示出),该更新模块具体用于:响应于检测到安全策略规则的更新请求,采用空中下载技术对安全策略规则进行更新。
可选的,获取模块301在获取待处理消息的消息结构体和数据安全描述结构体时,具体用于:读取消息描述文件,消息描述文件用于定义待处理消息;根据消息描述文件,生成待处理消息的消息结构体和数据安全描述结构体。
本实施例提供的数据处理装置,用于执行前述方法实施例中的数据处理方法的技术方案,其实现原理和技术效果类似,在此不再赘述。
本申请实施例还提供一种电子设备,该电子设备可以为前述的智能网联汽车的服务器或云服务器。图4为本申请实施例提供的一种电子设备的结构示意图,如图4所示,电子设备400包括处理组件401,其进一步包括一个或多个处理器,以及由存储器402所代表的存储器资源,用于存储可由处理组件401的执行的指令,例如应用程序。存储器402中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件401被配置为执行指令,以执行上述任一方法实施例。
电子设备400还可以包括一个电源组件403被配置为执行电子设备400的电源管理,一个有线或无线网络接口404被配置为将电子设备400连接到网络,和一个输入输出接口405,该输入输出接口405也可以称为I/O接口405。电子设备400可以操作基于存储在存储器402的操作系统,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
处理器可以是一种集成电路芯片,具有信号的处理能力。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称:CPU)、网络处理器(NetworkProcessor,简称:NP)等。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(Static Random-Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM),可编程只读存储器(Programmable read-only memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘等。
电源组件403可以包括电源管理系统,一个或多个电源,及其他与为电子设备400生成、管理和分配电力相关联的组件。
在示例性实施例中,电子设备400可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal Processor Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field programmable gate array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述数据处理方法。
本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被执行时用于实现前述方法实施例中提供的数据处理方法的技术方案。
本申请实施例还提供一种计算机程序产品,包括计算机程序,计算机程序被执行时用于实现前述方法实施例中提供的数据处理方法的技术方案。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由本申请的权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (12)
1.一种数据处理方法,其特征在于,包括:
获取待处理消息的消息结构体和数据安全描述结构体,所述数据安全描述结构体用于描述所述消息结构体中至少一个字段的内存布局和所述待处理消息的消息类型,所述待处理消息是在消息中间件中采集的消息;
基于所述消息类型,确定所述至少一个字段中每个字段对应的数据的分类分级信息;
基于所述每个字段对应的数据的分类分级信息和所述至少一个字段的内存布局,对所述至少一个字段中每个字段对应的数据进行数据安全处理。
2.根据权利要求1所述的数据处理方法,其特征在于,所述基于所述消息类型,确定所述至少一个字段中每个字段对应的数据的分类分级信息,包括:
基于所述消息类型,调用分类分级接口,以得到所述消息类型对应的所述分类分级信息,所述分类分级接口用于提供与消息类型对应的分类分级信息。
3.根据权利要求2所述的数据处理方法,其特征在于,还包括:
读取消息配置文件中的分类分级信息;
将读取到的分类分级信息写入数据安全描述结构体的结构体变量中;
根据所述结构体变量,生成分类分级数据库,所述分类分级数据库中包括所述结构体变量;
生成用于访问所述分类分级数据库的分类分级接口。
4.根据权利要求1至3中任一项所述的数据处理方法,其特征在于,所述基于所述每个字段对应的数据的分类分级信息和所述至少一个字段的内存布局,对所述至少一个字段中每个字段对应的数据进行数据安全处理,包括:
基于安全策略规则,确定与所述分类分级信息对应的数据安全处理动作,所述安全策略规则用于指示分类分级信息对应的数据安全处理动作;
根据所述至少一个字段的内存布局,按照所述数据安全处理动作,对所述至少一个字段中每个字段对应的数据进行数据安全处理。
5.根据权利要求4所述的数据处理方法,其特征在于,所述基于安全策略规则,确定与所述分类分级信息对应的数据安全处理动作,包括:
基于所述分类分级信息,调用管控策略接口,以得到所述分类分级信息对应的数据安全处理动作,所述管控策略接口用于提供所述安全策略规则。
6.根据权利要求5所述的数据处理方法,其特征在于,还包括:
读取消息配置文件中的安全策略规则;
将读取到的安全策略规则写入预先分配的内存中,并根据消息类型,在所述内存中将读取到的安全策略规则与数据安全描述结构体进行关联处理,生成管控策略数据库,所述管控策略数据库中包括所述安全策略规则,以及所述安全策略规则与所述数据安全描述结构体的关联关系;
生成用于访问所述管控策略数据库的管控策略接口。
7.根据权利要求4所述的数据处理方法,其特征在于,所述数据安全处理动作包括脱敏处理,所述根据所述至少一个字段的内存布局,按照所述数据安全处理动作,对所述至少一个字段中每个字段对应的数据进行数据安全处理,包括:
调用数据脱敏处理接口,获取目标数据脱敏算法,所述数据脱敏处理接口用于提供数据脱敏算法;
根据所述至少一个字段的内存布局,采用所述目标数据脱敏算法对所述至少一个字段中每个字段对应的数据执行脱敏处理。
8.根据权利要求4所述的数据处理方法,其特征在于,还包括:
响应于检测到安全策略规则的更新请求,采用空中下载技术对安全策略规则进行更新。
9.根据权利要求1至3中任一项所述的数据处理方法,其特征在于,所述获取待处理消息的消息结构体和数据安全描述结构体,包括:
读取消息描述文件,所述消息描述文件用于定义所述待处理消息;
根据所述消息描述文件,生成所述待处理消息的消息结构体和数据安全描述结构体。
10.一种数据处理装置,其特征在于,包括:
获取模块,用于获取待处理消息的消息结构体和数据安全描述结构体,所述数据安全描述结构体用于描述所述消息结构体中至少一个字段的内存布局和所述待处理消息的消息类型,所述待处理消息是在消息中间件中采集的消息;
确定模块,用于基于所述消息类型,确定所述至少一个字段中每个字段对应的数据的分类分级信息;
处理模块,用于基于所述每个字段对应的数据的分类分级信息和所述至少一个字段的内存布局,对所述至少一个字段中每个字段对应的数据进行数据安全处理。
11.一种电子设备,其特征在于,包括:处理器,以及与所述处理器连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1至9中任一项所述的数据处理方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被执行时用于实现如权利要求1至9中任一项所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311204049.4A CN117201145A (zh) | 2023-09-18 | 2023-09-18 | 数据处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311204049.4A CN117201145A (zh) | 2023-09-18 | 2023-09-18 | 数据处理方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117201145A true CN117201145A (zh) | 2023-12-08 |
Family
ID=88986753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311204049.4A Pending CN117201145A (zh) | 2023-09-18 | 2023-09-18 | 数据处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117201145A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6519655B1 (en) * | 1997-07-22 | 2003-02-11 | Sextant Avionique | Message preprocessing operations indicated by an associated descriptor read and descriptors belonging to a category of preprocessing descriptors and a category of instruction descriptors |
CN111356981A (zh) * | 2017-12-19 | 2020-06-30 | 国际商业机器公司 | 一种用于公共主机平台的数据清理系统 |
CN111832043A (zh) * | 2020-06-23 | 2020-10-27 | 平安科技(深圳)有限公司 | 数据加密处理方法、装置、计算机设备和存储介质 |
CN116662626A (zh) * | 2023-05-31 | 2023-08-29 | 国汽智控(重庆)科技有限公司 | 汽车数据处理方法、装置、电子设备及存储介质 |
-
2023
- 2023-09-18 CN CN202311204049.4A patent/CN117201145A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6519655B1 (en) * | 1997-07-22 | 2003-02-11 | Sextant Avionique | Message preprocessing operations indicated by an associated descriptor read and descriptors belonging to a category of preprocessing descriptors and a category of instruction descriptors |
CN111356981A (zh) * | 2017-12-19 | 2020-06-30 | 国际商业机器公司 | 一种用于公共主机平台的数据清理系统 |
CN111832043A (zh) * | 2020-06-23 | 2020-10-27 | 平安科技(深圳)有限公司 | 数据加密处理方法、装置、计算机设备和存储介质 |
CN116662626A (zh) * | 2023-05-31 | 2023-08-29 | 国汽智控(重庆)科技有限公司 | 汽车数据处理方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11888858B2 (en) | Calculus for trust in edge computing and named function networks | |
US11223631B2 (en) | Secure compliance protocols | |
US20200334924A1 (en) | Method and system for creating driver telematic signatures | |
CN110334126B (zh) | 基于Spring MVC的定时任务处理方法、装置和计算机设备 | |
US9639715B2 (en) | Protecting user identifiable information in the transfer of telemetry data | |
CN110677810B (zh) | 用于生成地理围栏的方法和装置 | |
CN108306844A (zh) | 通过应用编程接口的远程通信和远程编程 | |
CN114327710B (zh) | 一种函数管理方法、管理装置、终端设备及可读存储介质 | |
US20180039558A1 (en) | Fleet-Wide Monitoring System for Vehicles | |
CN111831365A (zh) | 接口路由转发方法、系统、计算机设备及可读存储介质 | |
CN113285960B (zh) | 一种服务数据共享云平台的数据加密方法及系统 | |
EP4427164A1 (en) | System, apparatus and methods of privacy protection | |
WO2025140747A1 (zh) | 一种终端部署信息管理方法、装置、电子设备及存储介质 | |
CN117201145A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN111310145B (zh) | 用户权限验证方法、装置以及电子设备 | |
US10330484B2 (en) | Correlating a route with a network operation | |
CN110020166B (zh) | 一种数据分析方法及相关设备 | |
CN111639059A (zh) | 日志信息的存储及定位方法、电子设备及存储介质 | |
US20220327629A1 (en) | Method and system for creating real-time driver telematic signatures | |
CN113901153B (zh) | 数据处理方法及相关设备 | |
CN112491994A (zh) | 车联网终端的识别方法及通信装置 | |
CN113271320A (zh) | 一种终端认证方法、装置、系统、介质及设备 | |
CN114124533B (zh) | 数据拦截方法、装置、电子设备和计算机可读介质 | |
CN113836428A (zh) | 业务推送方法、装置、计算机设备和存储介质 | |
CN113435948A (zh) | 一种电商平台数据监测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |