CN116090880A - 一种基于大数据cdp系统的数据指标体系建模方法及系统 - Google Patents

Abstract

本发明提供了一种基于大数据CDP系统的数据指标体系建模方法及系统，方法包括：步骤S1：获取原始业务数据，并通过GDM进行数据建模以及数据分层；步骤S2：通过CDP可视化数据流，为指标体系的业务数据域进行数据仓库建设；步骤S3：面向对应数据域的数据仓库，进行指标体系搭建。采用了上述技术方案后，可以确保指标可回溯，管理以及复用，保证指标体系易于维护；有效避免指标的重复创建，从而确保了指标口径统一；可以随时追踪业务的发展趋势，从而快速诊断业务问题以及发现业务优势。

Description

一种基于大数据CDP系统的数据指标体系建模方法及系统

技术领域

本发明涉及大数据营销技术领域，尤其涉及基于大数据CDP的数据指标体系建模方法。

背景技术

基于大数据的CDP是集成了企业全渠道的客户数据，构建与其上的指标体系，可以围绕着企业的客户，建立各种用户画像和以客户为维度的渠道画像，跟踪用户的生命周期，并且联动MA系统，最终赋能业务的平台。

而我们在企业里面建设基于CDP平台的指标体系，会遇到如下一些问题和挑战：

1.指标既是目标，是指引业务方向的依据。没有指标就不知道每个渠道的什么类型客户数据，需要进入到CDP，以及需要业务系统提前收集哪些客户数据。业务人员就会陷在找指标和找维度的数据泥潭中。

2.企业内各个业务部门的度量指标不统一，且会重复的建立指标，从而导致指标泛滥，无法衡量企业业务发展以及及时发现业务问题。

3.随着企业业务的发展，会出现各种报表需求，不同的报表可能是为了评估同一内容。

4.指标空洞、指标没有重点、没有思路，构建完成后也只是一组数据，各有用处，合起来却起不到作用。

5.没有指标体系，各种指标数据以及报表，需要极高的开发和运营成本。基于需求的变更，业务团队的技术人员将需要重新去更改设计和开发埋点，数据团队的技术人员则需要重新采集、清洗、存储数据。整个周期很长，且已有的功能都不能很好的沉淀和复用。企业很难快速洞察业务趋势，跟上企业创新要求。

而出现以上这些问题的根本原因是：

1.企业没有建立指标体系，和与之对应的数据指标体系；

2.数据指标没有体系化，指标的度量不一致；

3.没有一个完善的系统平台，去不断沉淀这些数据指标体系，从而沉淀出一个用户维度的数据仓库。

发明内容

为了克服上述技术缺陷，本发明的第一个目的在于提供一种基于大数据CDP(customer data platform，客户数据平台)系统的数据指标体系建模方法，其包括：

步骤S1：获取原始业务数据，并通过GDM(General Data Model，通用数据建模系统)进行数据建模以及数据分层；

步骤S2：通过CDP可视化数据流，为指标体系的业务数据域进行数据仓库建设；

步骤S3：面向对应数据域的数据仓库，进行指标体系搭建。

进一步地，在步骤S1中，ODS层对从业务系统获取的原始数据进行加工，DW层对ODS层加工之后的数据进行筛选和整合，从而形成存储有若干不同维度的DW数据模型表的数据仓库；在步骤S2中，基于步骤S1的DW数据模型表，通过进行CDP可视化数据流的数据加工处理，为指标体系对应的业务数据域进行数据仓库建设，输出一张指定数据域的宽表模型；在步骤S3中，建立基于该宽表模型的指标数据域和指标体系，其中，指标数据域作为容器，在该容器上承建该数据域上的指标体系。

进一步地，指标数据域是指以企业角度面向一个业务过程的数据域抽象集合，其中包含对应的维度和事实表，其作为指标的容器存在，相同业务域的指标都统一到同一个指标数据域中；其中，指标分为原子指标、派生指标以及复合指标；原子指标是指不能再进一步拆解的指标，直接计算出来的指标；派生指标等于原子指标+时间周期+修饰词；复合指标是由原子指标经运算后得到的复合型指标。

进一步地，数据指标体系中的数据代表的是可量化，数据指标体系中的指标代表的是业务维度描述+技术维度描述的结果，数据指标体系中的体系代表的是其中的逻辑。

进一步地，数据指标体系是基于业务指标体系或者不基于业务指标体系转换而得到的，其中，业务指标体系是通过北极星指标的人货场模型，OSM(Obejective，Strategy，Measurement)+UJM(User Journey Map)模型或者OSM+AARRR(Acquisition、Activation、Retention、Revenue、Referral)海盗模型进行逐级指标的拆解而形成的一套业务指标体系，业务指标细分为如下三个层级：(1)一级指标，公司战略层面指标：用于衡量公司整体目标达成情况的指标；(2)二级指标，业务策略层面指标：为达成一级指标的目标，公司会对目标拆解到业务线或事业群，并有针对性做出一系列运营策略，该指标通常反映的是策略结果，属于支持性指标，同时也是业务线或事业群的核心指标；(3)三级指标，业务执行层面指标：对二级指标的拆解，用于定位二级指标的问题。

本申请的第二个目的在于提供一种基于大数据CDP系统的数据指标体系建模系统，其包括：

指标拆分和计算模块，所述指标拆分和计算模块用于获取原始业务数据，并通过GDM进行数据建模以及数据分层；

可视化模块，所述可视化模块用于通过CDP可视化数据流，为指标体系的业务数据域进行数据仓库建设；

指标体系建设模块，指标体系建设模块用于面向对应数据域的数据仓库，进行指标体系搭建。

采用了上述技术方案后，与现有技术相比，具有以下有益效果：

1.通过CDP的GDM和可视化数据流进行营销领域的建模，可以降低业务方建模的门槛。

2.通过CDP指标体系搭建数据指标体系，可以确保指标可回溯，管理以及复用，保证指标体系易于维护。

3.通过CDP搭建指标体系，可以有效避免指标的重复创建，从而确保了指标口径统一。

4.通过CDP搭建指标体系，可以大大缩短业务指标的提出到交付的周期和路径。

5.通过CDP搭建了指标体系后，可以随时追踪业务的发展趋势，从而快速诊断业务问题以及发现业务优势。

附图说明

图1为CDP系统总体架构图；

图2为指导本申请的基于CDP系统进行数据指标体系建设的体系架构图；

图3为通过北极星指标进行逐级指标的拆解而形成了一套业务指标体系示例；

图4为通过GDM进行数据建模以及数据分层的原理示意图；

图5为本申请的DW数据模型表示例；

图6为对DW数据模型表中的数据进行可视化数据流的数据流转示意图；

图7为一实施例中的宽表模型的示例；

图8为将指标数据域作为容器承建该数据域上的指标体系的结构模型示例；

图9为指标体系血缘图示例；

图10为基于业务指标体系构建出的CDP中的数据指标体系示例。

具体实施方式

以下结合附图与具体实施例进一步阐述本发明的优点。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。

本实施例提供一套构建在CDP系统之上的数据指标体系建模系统，来承载这套数据指标体系。并且通过业务部门建设指标体系的同时，在该系统平台自然沉淀出企业客户数据的数据仓库。

本申请中用来实现数据指标体系建模方法的建模系统主要包括指标拆分和计算模块、可视化模块以及指标体系建设模块。

指标拆分和计算模块用于获取原始业务数据，并通过GDM进行数据建模以及数据分层；

可视化模块用于通过CDP可视化数据流，为指标体系的业务数据域进行数据仓库建设；

指标体系建设模块用于面向对应数据域的数据仓库，进行指标体系搭建。具体地，主要用于指标体系元数据的建设和治理，以及用于指标体系定义的数据输出以及最终生成轻度汇总的数仓数据。

CDP系统总体架构如图1所示。其中，1.大数据区：主要是大数据的存储和计算层；2.业务层，主要包含CDP建模，数据接入，OneID,体内外数据ETL，数据应用以及任务调度等；3.客户档案和数据模型系统：我们通过数据模型系统进行业务数据建模，并且设计OneID模型，最终构建全渠道的黄金客户档案。CDP系统是构建在"大数据区"之上，CDP系统通过"大数据适配层"模块，操作"大数据区"。然后指标体系是以CDP系统为基础。当确定业务指标体系以后，我们也就确定了需要采集的数据，以及数据最终在CDP系统中如何存储。我们优先通过"数据模型系统"模块，建立目标数据模型，然后把操作型的业务系统数据通过"数据接入"模块，把数据存储在CDP系统的landing层。接着通过体内可视化数据流，也就是体内的"ETL工具"模块，把数据清洗到模型DW层。在这清洗的过程中，会生成CDP系统的客户档案，也就是"客户档案"模块。当完成指标体系建设以及指标输出后，可以指标体系自己消费，也可以通过"数据赋能"模块，把数据供给第三方系统消费，比如第三方的BI系统等。

通过图2中的体系架构作为数据指标体系建设的指导，在图2中，(1)业务板块：根据企业的业务属性划分出几个相对独立的业务板块，业务板块之间的指标或业务重叠性较小。(2)规范定义：结合行业的数据仓库建设以及企业自身的数据特点，可以设计出一套数据规范命名体系，规范定义就是指标体系，将会被用在模型设计中。(3)模型设计：以维度建模理论为基础，基于模型建模总线架构，构建一致性的维度和事实。同时，在落地表模型时，结合企业自身业务特点，设计出一套表和指标规范命名体系。

本实施例中的基于CDP系统进行数据指标体系的建设大致分为下述步骤S1-步骤S3：

步骤S1：获取原始业务数据，并通过GDM进行数据建模以及数据分层。

首先通过业务指标体系，确定业务过程范围，然后确定数据模型。接着通过GDM进行数据建模，示例地，数据建模包括以下几个步骤：

1.新建数据模式

选择某一个“数据范式”，来构建一个“数据模式”，数据模式中包含字段类型，大小，范围等约束，这是一个逻辑描述，其中没有具体的表信息。

2.新建贴源层数据表

选择已经建好的“数据模式”或者已经建好的模型层数据表，并选择数据表的存储模式，分区大小等相关的表存储信息，在个阶段，数据表的定义中会包含对数据模式的引用和存储信息的记录。

3.新建模型层数据表

选择已经建好的“数据模式”，并选择数据表的存储模式，分区大小等相关的表存储信息，在个阶段，数据表的定义中会包含对数据模式的引用和存储信息的记录。

4.新建统一客户视图数据表

选择已经建好的“数据模式”或者已经建好的模型层数据表，在个阶段，数据表的定义中会包含对数据模式的引用和存储信息的记录。

5.配置统一客户身份规则

当配置多个子档案表的字段到主档案的同一个字段时，就会发生数据冲突，解决这种冲突就需要用到合并策略。

6.新建服务层数据表

选择已经建好的“数据模式”，创建服务层数据表，在个阶段，数据表的定义中会包含对数据模式的引用和存储信息的记录。

本申请中的数据指标体系分为三部分，分别是“数据”、“指标”以及“体系”，“数据”代表的是可量化，“指标”代表的是业务维度描述+技术维度描述的结果，“体系”代表的是其中的逻辑。

本实施例中的数据指标体系是基于业务指标体系转换而得到的。业务指标体系建设一般先是由企业业务部门至上而下发起，示例地，业务指标体系是业务部门通过北极星指标的人货场模型，OSM Obejective，Strategy，Measurement)+UJM(User Journey Map)模型或者OSM+AARRR(Acquisition、Activation、Retention、Revenue、Referral)海盗模型进行逐级指标的拆解而形成的一套业务指标体系。业务指标细分为如下三个层级：(1)一级指标，公司战略层面指标：用于衡量公司整体目标达成情况的指标；(2)二级指标，业务策略层面指标：为达成一级指标的目标，公司会对目标拆解到业务线或事业群，并有针对性做出一系列运营策略，该指标通常反映的是策略结果，属于支持性指标，同时也是业务线或事业群的核心指标；(3)三级指标，业务执行层面指标：对二级指标的拆解，用于定位二级指标的问题。

示例地，下面以在线电商平台的指标体系搭建过程来举例：

第一步，确定核心目标。

主要目标分为2级，交易额和各品类。

交易额中包括了各商品的交易总和。

每个品类的交易额都是由品类流量、下单转化率，这样就构成各个品类每个渠道的交易额，由一个个渠道的加总就成了各品类交易额。

所以这是一个从大到小的拆解过程，当确认完后开始要梳理流程。

第二步，梳理活动流程。

用户需要登录电商平台，浏览商品，对感兴趣的商品加购物车或者发起下单，最终进行交易。

第三步，确认动作指标。

用户登录，商品浏览，加购物车，下单支付。图3所示为通过北极星指标进行逐级指标的拆解而形成了一套业务指标体系。其中涉及的DW表有子订单明细表、行为事件表、客户维表，区域维表，物流维表，渠道维表等等。

有了这样一套指标体系以后，随着业务的发展，我们需要随时进行指标体系的追踪，趋势探查，指标迭代以及指标体系的评价。这时候就需要把业务指标体系转换成我们的数据指标体系，否则就会出现背景技术中提到的各种指标问题。

如图4所示，在步骤S1中，ODS层对从业务系统获取的原始数据进行加工，DW层对ODS层加工之后的数据进行筛选和整合，从而形成存储有若干不同维度的DW数据模型表的数据仓库。具体地，ODS(Operational Data Store，操作型数据存储)层，存放从业务系统获取的最原始的数据，是其他DW层数据的源数据，一种常被用作数据仓库临时区域的数据库。该层数据做了简单的加工，如脱敏，校验。DW(Data Warehouse，数据仓库)层，记录是经过去重，加工之后的数据，数据仓库是一个很大的数据存储集合，出于企业的分析性报告和决策支持目的而创建，对多样的业务数据进行筛选与整合。又可以细分为DWD和DWS层，分别是数据仓库明细层和数据仓库汇总层。该层中包含事件表、订单表、客户表和商品表等等。

步骤S2：通过CDP可视化数据流，为指标体系的业务数据域进行数据仓库建设。

在步骤S2中，基于步骤S1的DW数据模型表，通过进行CDP可视化数据流的数据加工处理，为指标体系对应的业务数据域进行数据仓库建设，输出一张指定数据域的宽表模型。我们以交易域的业务流程为例，其中涉及到交易事实表(事实表以子订单为粒度)，父订单、买家、买家标签、卖家、商品和物流区域维度表。具体如图5所示，基于如上的DW数据模型表，我们通过可视化数据流，对他们进行加工，输出一张易于业务处理的指定数据域的宽表。从而保证了数据的可追溯，可管理、避免重复和一致性。数据的具体流转类似如图6所示。经过如上的可视化数据流的数据处理，最终得到如图7所示这样一张宽表模型。

步骤S3：面向对应数据域的数据仓库，进行指标体系搭建。

通过以上两步骤，已经为特定的业务流程抽象和物化了专有数据域的一张宽表，接下去需要在第三步中确保指标体系可复用，不重复以及体系化。有了第二步输出的模型宽表，我们可以建立基于该宽表的数据域和指标体系。类似如图8所示这样一个结构模型，其中指标数据域作为容器，在该基础上，承建该数据域上的指标体系。

指标数据域是指以企业角度面向一个业务过程的数据域抽象集合，其中包含对应的维度和事实表，还包含主档案、事实表和身份列等GDM中的范式Pattern。其作为指标的容器存在，相同业务域的指标都统一到同一个指标数据域中。指标数据域与指标之间的关系：两者是一对多关系。指标：基于事实表的度量。指标细分为原子指标、派生指标以及复合指标。原子指标是指不能再进一步拆解的指标，直接计算出来的指标。派生指标等于原子指标+时间周期+修饰词。复合指标是由原子指标经四则运算后得到的复合型指标，如客单价、购买转化率。数据域作为指标体系的根节点，原子指标作为叶子节点，通过派生指标和复合指标形成一个指标树形结构。也就是利用指标间的血缘关系，构成一个如图9所示的指标体系血缘图。从而确保指标不会重复创建。

示例地，基于图3的业务指标体系构建出CDP中的数据指标体系如图10所示。

应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。

Claims (6)

1.一种基于大数据CDP系统的数据指标体系建模方法，其特征在于，包括：

步骤S1：获取原始业务数据，并通过GDM进行数据建模以及数据分层；

步骤S2：通过CDP可视化数据流，为指标体系的业务数据域进行数据仓库建设；

步骤S3：面向对应数据域的数据仓库，进行指标体系搭建。

2.如权利要求1所述的基于大数据CDP系统的数据指标体系建模方法，其特征在于，在步骤S1中，ODS层对从业务系统获取的原始数据进行加工，DW层对ODS层加工之后的数据进行筛选和整合，从而形成存储有若干不同维度的DW数据模型表的数据仓库；在步骤S2中，基于步骤S1的DW数据模型表，通过进行CDP可视化数据流的数据加工处理，为指标体系对应的业务数据域进行数据仓库建设，输出一张指定数据域的宽表模型；在步骤S3中，建立基于该宽表模型的指标数据域和指标体系，其中，指标数据域作为容器，在该容器上承建该数据域上的指标体系。

3.如权利要求2所述的基于大数据CDP系统的数据指标体系建模方法，其特征在于，指标数据域是指以企业角度面向一个业务过程的数据域抽象集合，其中包含对应的维度和事实表，其作为指标的容器存在，相同业务域的指标都统一到同一个指标数据域中；

其中，指标分为原子指标、派生指标以及复合指标；原子指标是指不能再进一步拆解的指标，直接计算出来的指标；派生指标等于原子指标+时间周期+修饰词；复合指标是由原子指标经运算后得到的复合型指标。

4.如权利要求1-3任一项所述的基于大数据CDP系统的数据指标体系建模方法，其特征在于，数据指标体系中的数据代表的是可量化，数据指标体系中的指标代表的是业务维度描述+技术维度描述的结果，数据指标体系中的体系代表的是其中的逻辑。

5.如权利要求4所述的基于大数据CDP系统的数据指标体系建模方法，其特征在于，数据指标体系是基于业务指标体系或者不基于业务指标体系转换而得到的，其中，业务指标体系是通过北极星指标的人货场模型，OSM+UJM模型或者OSM+AARRR海盗模型进行逐级指标的拆解而形成的一套业务指标体系，业务指标细分为如下三个层级：(1)一级指标，公司战略层面指标：用于衡量公司整体目标达成情况的指标；(2)二级指标，业务策略层面指标：为达成一级指标的目标，公司会对目标拆解到业务线或事业群，并有针对性做出一系列运营策略，该指标通常反映的是策略结果，属于支持性指标，同时也是业务线或事业群的核心指标；(3)三级指标，业务执行层面指标：对二级指标的拆解，用于定位二级指标的问题。

6.一种基于大数据CDP系统的数据指标体系建模系统，其特征在于，包括：

指标拆分和计算模块，所述指标拆分和计算模块用于获取原始业务数据，并通过GDM进行数据建模以及数据分层；

可视化模块，所述可视化模块用于通过CDP可视化数据流，为指标体系的业务数据域进行数据仓库建设；

指标体系建设模块，所述指标体系建设模块用于面向对应数据域的数据仓库，进行指标体系搭建。

Images