最具影响力的数字化技术在线社区

168大数据

 找回密码
 立即注册

QQ登录

只需一步,快速开始

1 2 3 4 5
打印 上一主题 下一主题
开启左侧

我所理解的【数据中台】建设方法论

[复制链接]
跳转到指定楼层
楼主
发表于 2019-11-13 19:30:18 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式

马上注册,结交更多数据大咖,获取更多知识干货,轻松玩转大数据

您需要 登录 才可以下载或查看,没有帐号?立即注册

x

自从阿里数据中台概念后到现在,关于数据中台的见解和说法各家争鸣,当很多人认为数据中台还只是概念的时候,其实很多企业已经做好了数据中台的地基甚至是已经开始投入企业的商战中;


最近一段时间也看了一些数据中台方面资料、文章、以及和不少做数据中台建设的厂家做了交流,算是对数据中台的概念了有了初步的认知,以及对怎么建数据中台有了不出的概念,要说多深入也是没有了,所以只是简单记录下自己多数据中台建设方法论的理解,也算是对自己的理解做个系统化梳理和加深认知;(备注:以下主要以零售行业范例)



第一步:需求是什么?
     记得刚开始和一些做数据中台建设的平台接触交流的时候,对方经常会问一句:你们想分析什么?一开始不是很理解,以为建中台不就是根据阿里那一套把数据整理起来不就好了,或者就像对数据中台的比喻叫“炮台”,我就想建个“炮台”,其实“炮台”还分作用呢,比如是远程的、进程的、进攻型的、防御型的、、等等;


对于一个零售型企业来说,一般需要分析的模块有:研发、采购、生产、物流、市场、销售、门店、经销商、消费者、、等等,从分析模块出发就可以划分出数据域的建设;



第二步:划分数据域

数据域定义:指面向业务分析,将业务过程或者维度进行抽象的集合。其中, 业务过程可以概为一个个不可拆分的行为事件, 在业务过程之下, 可以定义指标;维度是指度的环境,如买家下单事件,买家是维度。为保障整个体系的生命力, 数据域是需要抽象提炼,并且长期维护和更新的, 但不轻易变动。在划分数据域时, 既能涵盖当前所有的业务需求,又能在新业务进入时无影响地被包含进已有的数据域中和扩展新的数据域;
    有了第一步的基础,就可以进行数据域的划分,从以上需求出发,比如需要分析销售,可以划分交易域,采购、生产、物流等同属于供应模块,可以划分为供应域等;主要还是常规的根据业务板块进行数据域的划分是最直接的方式;综合以上可以划分的数据域有:会员域、产品域、门店域、交易域、供应域等;如下图示例:(备注:这里的产品、门店、会员不同于维度表)


第三步:明确业务过程

业务过程的定义:指企业的业务活动事件,如下单、支付、退款都是业务过程。请注意,业务过程是一个不可拆分的行为亨,件, 通俗地讲,业务过程就是企业活动中的事件;业务过程也可以理解为业务动作,比如在交易域中,为了完成交易,会分解为多少动作(或者步骤)去完成,这样细分的目的是全链路可视化业务域名的过程、提高和发现业务域的效率和价值,从每个动作中确定具体的业务指标,用于监控、分析业务过程;比如常见的交易域过程如下:
示例阿里划分数据域和业务过程:


第四步:构建一致性维度及指标(原子指标、派生指标)

先理解定义:

    维度:维度是度量的环境,用来反映业务的一类属性, 这类属性的集合构成一个维度,维度也可以称为实体对象。维度属于一个数据域,如地理维度(其中包括国家、地区、省以及城市等级别的内容)、时间维度(其中包括年、季、月、周、日等级别的内容);

  原子指标:原子指标和度量含义相同,基于某一业务事件件行为下的度量,是业务定义中不可再拆分的指标,具有明确业务含义的名词,如支付金额;
    派生指标:派生指标=一个原子指标+多个修饰词(可选)+时间周期。可以理解为对原子指标业务统计范围的圈定。如原子指标:支付金额,最近l 天海外买家支付金额则为派生指标(最近l 天为时间周期, 海外为修饰词, 买家作为维度,而不作为修饰词);
关系示例如下:
------------------------------------------------------------------


这个过程需要反复探究,明确业务的分析导向和业务规则,之所以拆分这么彻底,就是要消除歧义,很多企业经常会出现同一个指标在不同部门计算出来的结果就有差异;基于以上规则输出相关时间周期、修饰词等清单;同时需要出具指标管理工具,用户指标发布、管理、解释说明等;


第五步:模型设计(逻辑数据实体)

这个阶段主要是数据建模,分为明细模型和汇总模型,其中明细模型包含①需要构建一致性维表(DIM)、②构建一致性事实表(DWD);汇总模型包含:①构建公用汇总模型(DWS);②构建应用汇总模型(ADS),这个是OneData的核心功能;



第六步:数据开发&运维部署


前期业绩逻辑、指标清单等后开始进入最后的数据集成,数据业务逻辑处理开发阶段,接着肯定就是运维部署:上线调度、任务监控运维等;
最后:数据中台已经不是概念,如果企业有资源和需求背景,可以尝试建设,未来企业的竞争很大一部分在企业组织效率的提升上;简单的看法和理解,欢迎指正!
参考来源:
大数据之路--阿里巴巴大数据实践;
②公开资料整理;

来源:数据D江湖
楼主热帖
分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏 转播转播 分享分享 分享淘帖 赞 踩

168大数据 - 论坛版权1.本主题所有言论和图片纯属网友个人见解,与本站立场无关
2.本站所有主题由网友自行投稿发布。若为首发或独家,该帖子作者与168大数据享有帖子相关版权。
3.其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者和168大数据的同意,并添加本文出处。
4.本站所收集的部分公开资料来源于网络,转载目的在于传递价值及用于交流学习,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。
5.任何通过此网页连接而得到的资讯、产品及服务,本站概不负责,亦不负任何法律责任。
6.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源,若标注有误或遗漏而侵犯到任何版权问题,请尽快告知,本站将及时删除。
7.168大数据管理员和版主有权不事先通知发贴者而删除本文。

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

关于我们|小黑屋|Archiver|168大数据 ( 京ICP备14035423号|申请友情链接

GMT+8, 2024-4-27 03:20

Powered by BI168大数据社区

© 2012-2014 168大数据

快速回复 返回顶部 返回列表