[go: up one dir, main page]

CN116432224A - 多源业务数据流下的分布式数据脱敏方法 - Google Patents

多源业务数据流下的分布式数据脱敏方法 Download PDF

Info

Publication number
CN116432224A
CN116432224A CN202310356526.2A CN202310356526A CN116432224A CN 116432224 A CN116432224 A CN 116432224A CN 202310356526 A CN202310356526 A CN 202310356526A CN 116432224 A CN116432224 A CN 116432224A
Authority
CN
China
Prior art keywords
data
node
desensitization
state
node state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202310356526.2A
Other languages
English (en)
Inventor
刘建利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Bingdinglai Electronic Technology Co ltd
Original Assignee
Shaanxi Bingdinglai Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Bingdinglai Electronic Technology Co ltd filed Critical Shaanxi Bingdinglai Electronic Technology Co ltd
Priority to CN202310356526.2A priority Critical patent/CN116432224A/zh
Publication of CN116432224A publication Critical patent/CN116432224A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请涉及一种多源业务数据流下的分布式数据脱敏方法，能够将生产链上各个父级节点的节点状态数据进行脱敏处理，通过DMS脱敏系统对上报的节点状态数据进行脱敏处理，将下发给下级即子级节点的生产数据进行脱敏加工，实现链上数据的安全流转，对链上多源生产数据进行及时的敏感信息发现和处理，避免敏感信息流转在链上流转，避免产生生产连上的数据高度泄漏风险，父级节点数据逐级脱敏，下游子级节点不会接触到上级的敏感数据，达到链上生态安全的商业信息绿色流转。

Description

多源业务数据流下的分布式数据脱敏方法
技术领域
本公开涉及数据处理技术领域，尤其涉及一种多源业务数据流下的分布式数据脱敏方法、装置和电子设备。
背景技术
数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下，在不违反系统规则条件下，对真实数据进行改造并提供测试使用，如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。
在现有生产链的市场中，各个环节的生产数据为市场主体的商业秘密数据，市场主体对生产数据尤为看重和保护，避免其生产、加工数据等商业秘密被外漏，造成商业损失。
在生产供应链的上下游，用户皆具有需要保密、有必要进行脱敏处理的多源生产数据，而用户不具备能力对整个或者大部分的多源生产数据进行及时发现和处理，因此会造成生产等用户主体的商业数据被泄密出去，流入市场后造成生产利润的损失。
因此，对于用户无法提供较大的数据能力和精力等来维护自己的商业数据的状况，亟需为生产用户提供一种可以从链上实现数据脱敏处理的方案，帮助用户实现数据安全、绿色流通。
发明内容
为了解决上述问题，本申请提出一种多源业务数据流下的分布式数据脱敏方法、装置和电子设备。
本申请一方面，提出一种多源业务数据流下的分布式数据脱敏方法，包括如下步骤：
实时采集并获取生产链上父级节点的节点状态数据；
将本轮次父级节点的节点状态数据打包为数据流状态包，并将所述数据流状态包上传至后台服务器；
在所述后台服务器中对所述数据流状态包进行解析，并对解析数据进行分类，得到各个数据类型的节点状态数据；
对各个数据类型的节点状态数据进行分析、筛选处理，将符合预设脱敏条件的所述节点状态数据上报至DMS脱敏系统进行脱敏处理，处理后发送至对应的父级节点。
作为本申请的一可选实施方案，可选地，实时采集并获取生产链上父级节点的节点状态数据，包括：
预设采样频率以及确定在生产链上进行采样的父级节点；
根据采样频率，有序采集生产链上各个父级节点的节点状态数据，并对各个父级节点的节点状态数据进行节点编号；
按照所述采样频率，对编号后的各个父级节点的节点状态数据进行有序上报。
作为本申请的一可选实施方案，可选地，将本轮次父级节点的节点状态数据打包为数据流状态包，并将所述数据流状态包上传至后台服务器，包括：
接收本轮次所上报的各个父级节点的节点状态数据；
按照预设的数据打包格式，对本轮次各个父级节点的节点状态数据进行打包，得到对应的数据流状态包并缓存至后台服务器的Oricle数据库中；
基于后台所配置的第一时钟机制，将所述数据流状态包定时发送至后台服务器的数据应用层。
作为本申请的一可选实施方案，可选地，在所述后台服务器中对所述数据流状态包进行解析，并对解析数据进行分类，得到各个数据类型的节点状态数据，包括：
所述后台服务器的数据应用层接收所述数据流状态包，并转发至数据解析平台；
对所述数据流状态包进行解析，得到各个父级节点的状态解析数据；
按照数据类型，对各个父级节点的状态解析数据进行分类，得到各个数据类型下的各个父级节点的节点状态数据。
作为本申请的一可选实施方案，可选地，在对各个数据类型的节点状态数据进行分析、筛选处理之前，还包括：
按照预设的数据敏感等级，对符合所述数据敏感等级的数据类型下所对应的节点状态数据进行预处理；
将数据敏感等级小于预设敏感值的所述节点状态数据，通过后台原路返回至对应的父级节点。
作为本申请的一可选实施方案，可选地，在将符合预设脱敏条件的所述节点状态数据上报至DMS脱敏系统进行脱敏处理之前，还包括：
预置DMS脱敏系统并设定所述DMS脱敏系统的脱敏参数；
将所述DMS脱敏系统部署在所述后台服务器上，并配置对应的脱敏数据库。
作为本申请的一可选实施方案，可选地，对各个数据类型的节点状态数据进行分析、筛选处理，将符合预设脱敏条件的所述节点状态数据上报至DMS脱敏系统进行脱敏处理，处理后发送至对应的父级节点，包括：
根据预设的数据敏感等级，对各个数据类型下的各个父级节点的节点状态数据按照预设脱敏条件进行分析和筛选，得到数据敏感等级不低于预设敏感值的所述节点状态数据；
将符合预设脱敏条件的所述节点状态数据上报至DMS脱敏系统，基于所述DMS脱敏系统的脱敏规则和脱敏处理参数进行脱敏处理，得到各个父级节点的节点状态脱敏数据；
按照节点编号，将所述节点状态脱敏数据返回至各个父级节点，所述父级节点基于所述节点状态脱敏数据生成对应的下级生产数据，并发送至对应的子级节点。
作为本申请的一可选实施方案，可选地，在将所述节点状态脱敏数据返回至各个父级节点之时，还包括：
基于后台所配置的第二时钟机制，将所述节点状态脱敏数据定时通过后台原路返回至与各个所述节点状态脱敏数据相对应的父级节点。
本申请另一方面，提出一种实现所述多源业务数据流下的分布式数据脱敏方法的装置，包括：
节点状态采集模块，用于实时采集并获取生产链上父级节点的节点状态数据；
网关模块，用于将本轮次父级节点的节点状态数据打包为数据流状态包，并将所述数据流状态包上传至后台服务器；
应用解析模块，用于在所述后台服务器中对所述数据流状态包进行解析，并对解析数据进行分类，得到各个数据类型的节点状态数据；
脱敏处理模块，用于对各个数据类型的节点状态数据进行分析、筛选处理，将符合预设脱敏条件的所述节点状态数据上报至DMS脱敏系统进行脱敏处理，处理后发送至对应的父级节点。
本申请另一方面，还提出一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现所述的一种多源业务数据流下的分布式数据脱敏方法。
本发明的技术效果：
本申请通过实时采集并获取生产链上父级节点的节点状态数据；将本轮次父级节点的节点状态数据打包为数据流状态包，并将所述数据流状态包上传至后台服务器；在所述后台服务器中对所述数据流状态包进行解析，并对解析数据进行分类，得到各个数据类型的节点状态数据；对各个数据类型的节点状态数据进行分析、筛选处理，将符合预设脱敏条件的所述节点状态数据上报至DMS脱敏系统进行脱敏处理，处理后发送至对应的父级节点。能够将生产链上各个父级节点的节点状态数据进行脱敏处理，通过DMS脱敏系统对上报的节点状态数据进行脱敏处理，将下发给下级即子级节点的生产数据进行脱敏加工，实现链上数据的安全流转，对链上多源生产数据进行及时的敏感信息发现和处理，避免敏感信息流转在链上流转，避免产生生产连上的数据高度泄漏风险，父级节点数据逐级脱敏，下游子级节点不会接触到上级的敏感数据，达到链上生态安全的商业信息绿色流转。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出为本发明的实施流程示意图；
图2示出为本发明链上各个节点状态数据的报文系统示意图；
图3示出为本发明缓存数据的脱敏处理流程示意图；
图4示出为本发明装置的应用结构示意图；
图5示出为本发明电子设备的应用示意图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
本申请能够将生产链上各个父级节点的节点状态数据进行脱敏处理，通过DMS脱敏系统对上报的节点状态数据进行脱敏处理，将下发给下级即子级节点的生产数据进行脱敏加工，实现链上数据的安全流转，对链上多源生产数据进行及时的敏感信息发现和处理，避免敏感信息流转在链上流转，避免产生生产连上的数据高度泄漏风险，父级节点数据逐级脱敏，下游子级节点不会接触到上级的敏感数据，达到链上生态安全的商业信息绿色流转。
实施例1
如图1所示，本申请一方面，提出一种多源业务数据流下的分布式数据脱敏方法，包括如下步骤：
S1、实时采集并获取生产链上父级节点的节点状态数据；
S2、将本轮次父级节点的节点状态数据打包为数据流状态包，并将所述数据流状态包上传至后台服务器；
S3、在所述后台服务器中对所述数据流状态包进行解析，并对解析数据进行分类，得到各个数据类型的节点状态数据；
S4、对各个数据类型的节点状态数据进行分析、筛选处理，将符合预设脱敏条件的所述节点状态数据上报至DMS脱敏系统进行脱敏处理，处理后发送至对应的父级节点。
生产链上分为上下游应用节点，比如在先的节点作为父级节点，在父级节点下游的节点作为子级节点。各个节点的生产数据在发送至下个节点（子级节点）之前，皆需要先上报各自节点的状态数据到生产管理后台进行脱敏检测和脱敏处理。
本实施例，采用了部署在后台的DMS脱敏系统进行脱敏数据的分析和筛选，按照预设脱敏条件对上报的节点数据进行识别和脱敏处理，处理后发送至对应的父级节点。这样，当前节点下发链上各个子级节点的信息中，不会包含父级节点的敏感数据。
DMS脱敏系统提供了丰富的内置脱敏算法和灵活的、流程化的策略和方案管理能力，支持对多种数据源进行脱敏处理，帮助企业在不改变业务流程的前提下快速部署实施，有效的降低脱敏的复杂度和风险，控制脱敏成本。
通过数据脱敏，可以有效防止企业内部对隐私数据的滥用，防止隐私数据在未经脱敏的情况下从企业流出。满足企业既要保护隐私数据，同时又保持监管合规，满足企业合规性。
本实施例，DMS脱敏系统，可以采用第三方的应用系统，用户只需要根据生产链的节点属性等进行脱敏参数配置即可。
除了链上末端的节点（不分总线和支线），其他节点都可以通过节点所配置的终端实时上报自己的状态参数，即实时的节点状态数据。当某个节点需要向下发送数据时，皆需要响应本申请的脱敏处理条件，即在向下发送数据时，当前父级节点需要首先向后台上报节点状态数据，进行数据脱敏识别和处理。确认无敏感数据，再下发子级节点。
本实施例，需要上报并进行脱敏识别和处理的父级节点，可以由管理员在后台进行确定，通过后台向对应父级节点的终端设备发送对应的脱敏指示信息，父级节点收到脱敏指示信息后，在后台建立当前终端的脱敏标签，向后台表明本终端需要执行脱敏识别任务。这样便于后台对链上脱敏节点进行管理。
如图2所示，为各个节点上报数据的示意图。本实施例链上节点向下转发信息的节点，称为父级节点；接收上级节点下发数据的节点，为下级节点。因此，不仅仅如图2所示的直线生产链，可能还会存在交叉节点。本实施例以直线型的业务供应链为例。
作为本申请的一可选实施方案，可选地，实时采集并获取生产链上父级节点的节点状态数据，包括：
预设采样频率以及确定在生产链上进行采样的父级节点；
根据采样频率，有序采集生产链上各个父级节点的节点状态数据，并对各个父级节点的节点状态数据进行节点编号；
按照所述采样频率，对编号后的各个父级节点的节点状态数据进行有序上报。
链上节点每隔一定时间，进行采样上报信息。本实施例，由后台对确定需要进行采样、脱敏识别的父级节点进行确定和设定采样频率。确定的父级节点按照采样频率进行报文。报文时，各个父级节点的节点状态数据进行节点编号，可以将父级节点终端的编号或者设备识别码标记在对应的节点状态数据包上，便于一一识别。采样后有序进行各个父级节点的报文，比如按照链上数据流的方向。
作为本申请的一可选实施方案，可选地，将本轮次父级节点的节点状态数据打包为数据流状态包，并将所述数据流状态包上传至后台服务器，包括：
接收本轮次所上报的各个父级节点的节点状态数据；
按照预设的数据打包格式，对本轮次各个父级节点的节点状态数据进行打包，得到对应的数据流状态包并缓存至后台服务器的Oricle数据库中；
基于后台所配置的第一时钟机制，将所述数据流状态包定时发送至后台服务器的数据应用层。
后台对各个父级节点上报的节点状态数据，进行缓存，避免占用数据内存。本实施例，在后台上的Oricle数据库缓存上报的节点状态数据。
其中，在上报后台之前，各个节点报文的数据将按照统一的数据打包格式，基于同一个数据打包机制进行数据打包处理，得到对应节点的数据流状态包，再将数据流状态包上报并缓存至后台服务器的Oricle数据库中。缓存后，同样具有各个节点终端设备的标识。
后台所配置的第一时钟机制，即将Oricle数据库中的缓存数据定时发送至后台的数据应用层进行应用处理的报文时间规则，按照约定的报文时间进行发送，将各个数据流状态包定时发送至后台服务器的数据应用层，进行数据包解析和脱敏识别。能够按时进行节点采样和脱敏，避免拖延节点的等待时间。
作为本申请的一可选实施方案，可选地，在所述后台服务器中对所述数据流状态包进行解析，并对解析数据进行分类，得到各个数据类型的节点状态数据，包括：
所述后台服务器的数据应用层接收所述数据流状态包，并转发至数据解析平台；
对所述数据流状态包进行解析，得到各个父级节点的状态解析数据；
按照数据类型，对各个父级节点的状态解析数据进行分类，得到各个数据类型下的各个父级节点的节点状态数据。
如图3所示，后台服务器的数据应用层中，部署有文件解析软件，可以对接收的数据流状态包进行解析，得到各个父级节点的状态解析数据。状态解析数据，将按照数据类型比如供应数据、加工数据等进行分类，得到各个数据类型下的各个父级节点的节点状态数据。通过数据类型分类，便于参照统一的数据类型的脱敏条件进行脱敏预处理。
作为本申请的一可选实施方案，可选地，在对各个数据类型的节点状态数据进行分析、筛选处理之前，还包括：
按照预设的数据敏感等级，对符合所述数据敏感等级的数据类型下所对应的节点状态数据进行预处理；
将数据敏感等级小于预设敏感值的所述节点状态数据，通过后台原路返回至对应的父级节点。
在进入DMS脱敏系统之前，首先进行一次脱敏预处理，通过计算各个数据类型下所对应的所有节点状态数据的敏感等级等，来将不敏感的数据少选出来并返回，用于链上节点信息流转，过于敏感的数据则进行标记或者扣留，通知对应的父级节点，注意保密。数据的数据敏感等级，可以由后台由用户预先设定敏感等级计算规则进行确定，或者后台管理员根据节点用户的反馈进行确定，当数据敏感等级小于预设敏感值时，则认定其为不需要保密的数据，可以链上流转。超过预设敏感值的所述节点状态数据，等待节点用户反馈，后台再进行确定是否返回原节点。
作为本申请的一可选实施方案，可选地，在将符合预设脱敏条件的所述节点状态数据上报至DMS脱敏系统进行脱敏处理之前，还包括：
预置DMS脱敏系统并设定所述DMS脱敏系统的脱敏参数；
将所述DMS脱敏系统部署在所述后台服务器上，并配置对应的脱敏数据库。
DMS脱敏系统的后台部署和工作参数设定，本实施例不做限定，后台可以设定脱敏等级，用于严格筛选需要脱敏处理的节点数据。
脱敏预处理后的数据，将由DMS脱敏系统进行脱敏识别和处理。前期预处理，仅仅是将敏感度小的数据筛选一遍，降低DMS脱敏系统的工作压力。
作为本申请的一可选实施方案，可选地，对各个数据类型的节点状态数据进行分析、筛选处理，将符合预设脱敏条件的所述节点状态数据上报至DMS脱敏系统进行脱敏处理，处理后发送至对应的父级节点，包括：
根据预设的数据敏感等级，对各个数据类型下的各个父级节点的节点状态数据按照预设脱敏条件进行分析和筛选，得到数据敏感等级不低于预设敏感值的所述节点状态数据；
将符合预设脱敏条件的所述节点状态数据上报至DMS脱敏系统，基于所述DMS脱敏系统的脱敏规则和脱敏处理参数进行脱敏处理，得到各个父级节点的节点状态脱敏数据；
按照节点编号，将所述节点状态脱敏数据返回至各个父级节点，所述父级节点基于所述节点状态脱敏数据生成对应的下级生产数据，并发送至对应的子级节点。
DMS脱敏系统提供了丰富的内置脱敏算法和灵活的、流程化的策略和方案管理能力，支持对多种数据源进行脱敏处理，帮助企业在不改变业务流程的前提下快速部署实施，有效的降低脱敏的复杂度和风险，控制脱敏成本。
脱敏预处理后的剩余数据，输入DMS脱敏系统，通过DMS脱敏系统的脱敏规则和脱敏参数进行识别和筛选。后台可以在DMS脱敏系统设定对应的脱敏条件，包括脱敏规则和脱敏处理参数，以此对上报的节点状态数据进行分析和筛选。
DMS脱敏系统的脱敏处理过程，本实施例不做描述。
上报至DMS脱敏系统的数据，为数据敏感等级不低于预设敏感值的所述节点状态数据，也即是高度敏感的数据，将经过经过DMS脱敏系统脱敏处理，将高度敏感的数据扣留、释放低敏感的数据，由DMS脱敏系统释放的各个父级节点的节点状态脱敏数据，将通过原路返回至各个父级节点。这样，各个父级节点得到了脱敏的节点状态数据即节点状态脱敏数据，可以按照链上业务流的方向下发至对应的子级节点。
DMS脱敏系统脱敏后的数据，同样会具备对应父级节点的编号等标识信息，便于后台识别节点终端，进行信息反馈。
作为本申请的一可选实施方案，可选地，在将所述节点状态脱敏数据返回至各个父级节点之时，还包括：
基于后台所配置的第二时钟机制，将所述节点状态脱敏数据定时通过后台原路返回至与各个所述节点状态脱敏数据相对应的父级节点。
本处同样在脱敏之后，也配置有对应的定时反馈时间机制，将脱敏后的节点状态脱敏数据，定时返回至各个父级节点，避免脱敏导致数据延迟过久。
需要说明的是，尽管以DMS脱敏系统作为示例介绍了如上脱敏处理，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据实际应用场景灵活设定脱敏平台，只要可以按照上述技术实现本申请的技术功能即可。
显然，本领域的技术人员应该明白，实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各控制的实施例的流程。本领域技术人员可以理解，实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各控制的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体（Read-OnlyMemory，ROM）、随机存储记忆体（RandomAccessMemory，RAM）、快闪存储器（FlashMemory）、硬盘（HardDiskDrive，缩写：HDD）或固态硬盘（Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
实施例2
基于实施例1的实施原理，本申请另一方面，提出一种实现所述多源业务数据流下的分布式数据脱敏方法的装置，包括：
节点状态采集模块，用于实时采集并获取生产链上父级节点的节点状态数据；
网关模块，用于将本轮次父级节点的节点状态数据打包为数据流状态包，并将所述数据流状态包上传至后台服务器；
应用解析模块，用于在所述后台服务器中对所述数据流状态包进行解析，并对解析数据进行分类，得到各个数据类型的节点状态数据；
脱敏处理模块，用于对各个数据类型的节点状态数据进行分析、筛选处理，将符合预设脱敏条件的所述节点状态数据上报至DMS脱敏系统进行脱敏处理，处理后发送至对应的父级节点。
上述各个模块的功能和交互具体参见实施例1所述。
上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
实施例3
如图5所示，更进一步地，本申请另一方面，还提出一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现所述的一种多源业务数据流下的分布式数据脱敏方法。
本公开实施例来电子设备包括处理器以及用于存储处理器可执行指令的存储器。其中，处理器被配置为执行可执行指令时实现前面任一所述的一种多源业务数据流下的分布式数据脱敏方法。
此处，应当指出的是，处理器的个数可以为一个或多个。同时，在本公开实施例的电子设备中，还可以包括输入装置和输出装置。其中，处理器、存储器、输入装置和输出装置之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。
存储器作为一计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本公开实施例的一种多源业务数据流下的分布式数据脱敏方法所对应的程序或模块。处理器通过运行存储在存储器中的软件程序或模块，从而执行电子设备的各种功能应用及数据处理。
输入装置可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置可以包括显示屏等显示设备。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种多源业务数据流下的分布式数据脱敏方法，其特征在于，包括如下步骤：
实时采集并获取生产链上父级节点的节点状态数据；
将本轮次父级节点的节点状态数据打包为数据流状态包，并将所述数据流状态包上传至后台服务器；
在所述后台服务器中对所述数据流状态包进行解析，并对解析数据进行分类，得到各个数据类型的节点状态数据；
对各个数据类型的节点状态数据进行分析、筛选处理，将符合预设脱敏条件的所述节点状态数据上报至DMS脱敏系统进行脱敏处理，处理后发送至对应的父级节点。
2.根据权利要求1所述的多源业务数据流下的分布式数据脱敏方法，其特征在于，实时采集并获取生产链上父级节点的节点状态数据，包括：
预设采样频率以及确定在生产链上进行采样的父级节点；
根据采样频率，有序采集生产链上各个父级节点的节点状态数据，并对各个父级节点的节点状态数据进行节点编号；
按照所述采样频率，对编号后的各个父级节点的节点状态数据进行有序上报。
3.根据权利要求2所述的多源业务数据流下的分布式数据脱敏方法，其特征在于，将本轮次父级节点的节点状态数据打包为数据流状态包，并将所述数据流状态包上传至后台服务器，包括：
接收本轮次所上报的各个父级节点的节点状态数据；
按照预设的数据打包格式，对本轮次各个父级节点的节点状态数据进行打包，得到对应的数据流状态包并缓存至后台服务器的Oricle数据库中；
基于后台所配置的第一时钟机制，将所述数据流状态包定时发送至后台服务器的数据应用层。
4.根据权利要求3所述的多源业务数据流下的分布式数据脱敏方法，其特征在于，在所述后台服务器中对所述数据流状态包进行解析，并对解析数据进行分类，得到各个数据类型的节点状态数据，包括：
所述后台服务器的数据应用层接收所述数据流状态包，并转发至数据解析平台；
对所述数据流状态包进行解析，得到各个父级节点的状态解析数据；
按照数据类型，对各个父级节点的状态解析数据进行分类，得到各个数据类型下的各个父级节点的节点状态数据。
5.根据权利要求4所述的多源业务数据流下的分布式数据脱敏方法，其特征在于，在对各个数据类型的节点状态数据进行分析、筛选处理之前，还包括：
按照预设的数据敏感等级，对符合所述数据敏感等级的数据类型下所对应的节点状态数据进行预处理；
将数据敏感等级小于预设敏感值的所述节点状态数据，通过后台原路返回至对应的父级节点。
6.根据权利要求4所述的多源业务数据流下的分布式数据脱敏方法，其特征在于，在将符合预设脱敏条件的所述节点状态数据上报至DMS脱敏系统进行脱敏处理之前，还包括：
预置DMS脱敏系统并设定所述DMS脱敏系统的脱敏参数；
将所述DMS脱敏系统部署在所述后台服务器上，并配置对应的脱敏数据库。
7.根据权利要求4所述的多源业务数据流下的分布式数据脱敏方法，其特征在于，对各个数据类型的节点状态数据进行分析、筛选处理，将符合预设脱敏条件的所述节点状态数据上报至DMS脱敏系统进行脱敏处理，处理后发送至对应的父级节点，包括：
根据预设的数据敏感等级，对各个数据类型下的各个父级节点的节点状态数据按照预设脱敏条件进行分析和筛选，得到数据敏感等级不低于预设敏感值的所述节点状态数据；
将符合预设脱敏条件的所述节点状态数据上报至DMS脱敏系统，基于所述DMS脱敏系统的脱敏规则和脱敏处理参数进行脱敏处理，得到各个父级节点的节点状态脱敏数据；
按照节点编号，将所述节点状态脱敏数据返回至各个父级节点，所述父级节点基于所述节点状态脱敏数据生成对应的下级生产数据，并发送至对应的子级节点。
8.根据权利要求7所述的多源业务数据流下的分布式数据脱敏方法，其特征在于，在将所述节点状态脱敏数据返回至各个父级节点之时，还包括：
基于后台所配置的第二时钟机制，将所述节点状态脱敏数据定时通过后台原路返回至与各个所述节点状态脱敏数据相对应的父级节点。
9.一种实现权利要求1-8中任一项所述多源业务数据流下的分布式数据脱敏方法的装置，其特征在于，包括：
节点状态采集模块，用于实时采集并获取生产链上父级节点的节点状态数据；
网关模块，用于将本轮次父级节点的节点状态数据打包为数据流状态包，并将所述数据流状态包上传至后台服务器；
应用解析模块，用于在所述后台服务器中对所述数据流状态包进行解析，并对解析数据进行分类，得到各个数据类型的节点状态数据；
脱敏处理模块，用于对各个数据类型的节点状态数据进行分析、筛选处理，将符合预设脱敏条件的所述节点状态数据上报至DMS脱敏系统进行脱敏处理，处理后发送至对应的父级节点。
10.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现权利要求1-8中任一项所述的多源业务数据流下的分布式数据脱敏方法。
CN202310356526.2A 2023-04-06 2023-04-06 多源业务数据流下的分布式数据脱敏方法 Withdrawn CN116432224A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310356526.2A CN116432224A (zh) 2023-04-06 2023-04-06 多源业务数据流下的分布式数据脱敏方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310356526.2A CN116432224A (zh) 2023-04-06 2023-04-06 多源业务数据流下的分布式数据脱敏方法

Publications (1)

Publication Number Publication Date
CN116432224A true CN116432224A (zh) 2023-07-14

Family

ID=87090203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310356526.2A Withdrawn CN116432224A (zh) 2023-04-06 2023-04-06 多源业务数据流下的分布式数据脱敏方法

Country Status (1)

Country Link
CN (1) CN116432224A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119691803A (zh) * 2024-12-04 2025-03-25 北京航空航天大学 一种基于任务分解的车辆图像与视频脱敏方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119691803A (zh) * 2024-12-04 2025-03-25 北京航空航天大学 一种基于任务分解的车辆图像与视频脱敏方法
CN119691803B (zh) * 2024-12-04 2025-11-04 北京航空航天大学 一种基于任务分解的车辆图像与视频脱敏方法

Similar Documents

Publication Publication Date Title
CN111752799B (zh) 一种业务链路跟踪方法、装置、设备及储存介质
EP3072260B1 (en) Methods, systems, and computer readable media for a network function virtualization information concentrator
CN112688822B (zh) 基于多点协同的边缘计算故障或安全威胁监测系统与方法
CN108256118B (zh) 数据处理方法、装置、系统、计算设备以及存储介质
CN113159145B (zh) 一种特征工程编排方法及装置
CN112311617A (zh) 一种配置化数据监控告警方法及系统
CN113347164A (zh) 基于区块链的分布式共识系统及方法、设备、存储介质
CN110198246B (zh) 一种流量监控的方法及系统
CN107329853A (zh) 数据库集群的备份方法、备份系统及电子设备
US10554701B1 (en) Real-time call tracing in a service-oriented system
CN104283643A (zh) 报文限速方法和装置
CN116432224A (zh) 多源业务数据流下的分布式数据脱敏方法
CN117544656B (zh) 一种基于微服务框架的通信指挥管理方法及系统
Wang et al. An autonomous deployment mechanism for AI security services
Qian et al. Characterization of 3g data-plane traffic and application towards centralized control and management for software defined networking
CN112948822A (zh) 一种应用于智慧教育系统的大数据审计场景分析方法和系统
CN114553962B (zh) 一种基于消息队列的移动设备数据处理方法及系统
CN110351273B (zh) 一种网络追踪长链条攻击的方法、装置和系统
CN116599834B (zh) 一种基于区块链的预警决策方法、系统、设备及存储介质
CN116962143B (zh) 网络故障检测方法、装置、计算机设备和存储介质
CN103812681A (zh) Ems和lmt接入网元的处理方法和通信系统
CN112560089A (zh) 接口服务的敏感信息预警装置及方法
CN112688818A (zh) 数据发送方法、装置、电子设备及可读存储介质
CN117639222A (zh) 智能用电设备的电信息监控方法及系统
CN115643558B (zh) 数据处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20230714