全球预见者分享平台、领先的数据科学社区媒体和职业发展平台

168大数据

 找回密码
 立即注册

QQ登录

只需一步,快速开始

1 2 3 4 5
开启左侧

[中台建设] 数据中台建设规范

[复制链接]
发表于 2019-5-15 16:55:11 | 显示全部楼层 |阅读模式
一、文章概述

数据数据建设的生命周期中,有必要做出一套关于建表、字段、总线矩阵的规范。数据表和和字段的总原则是采用英文缩写加下划线的方式来命名。


二、中台表命名规范


2.1 数据主题域

数据主题域主要是为了方便我们主题的划分,同时有必要对主题进行统一维护、命名、编码等。

在数据主题域中定义业务过程,需要系统化维护,保证同一业务范围的业务过程在数据中台中只创建一次。

数据域
缩写
业务过程

2.2 数据表类型
表类型
中文名
英文名
英文缩写
事实表
事务性事实表
transaction
trans
事实表
周期快照事实表
periodic
perid
事实表
累计快照事实表
accumulating
accum
维度表
审计类型维度表
audit
audit
维度表
分析类维度表
analyse
anly


2.3 应用说明
采用简单的英文单词简写描述表的用途

2.4 更新频率
MM/H/D/W/M 【分钟/小时/天/周/月】

2.5 更新方式
I/A 【增量/全量】


2.6 事实表命名规范
1 数据明细层(DWD)事实表命名规范
dwd_{主题域}_{应用说明}_[事实表类型_]_{更新频率+更新方式}

2 一致性数据汇总层(DWS)事实表命名规范
dws_{主题域}_{应用名称}_[事实表类型_]_{更新频率+更新方式}

3 个性化数据汇总层(AWS)事实表命名规范
ads_{主题域}_{应用名称}_{业务方}_[事实表类型_]_{更新频率+更新方式}

2.7 维度表命名规范
1 公共一致性维度表
dim_pub_{维度定义}_{维度层级数}_{更新频率+更新方式}

2 应用型维度表
dim_{业务方编码}_{维度定义}_{维度层级数}_{更新频率+更新方式}

3 审计维度表
dim_{audit}_{维度定义}_{维度层级数}_{更新频率+更新方式}

2.8 字段命名规范
字段前缀(1)
行为名称
行为英文名称(2)
英文缩写(3)
样例
修饰语_
维度键
dimension key
key
样例:(1)_(2)_key,必须保证key后缀
系统统一编码识别符
system
sys
(1)_(2)_sys
业务修饰语_统计对象_
数量
count
cnt
(1)_(2)_cnt
次数
times
times

金额
amount
amt

PV
page view
pv

UV
unique visitor
uv

业务修饰语_
成功
success
succ

完成
finish
finish

支付
pay
pay

地址
address
addr

订单
order
ord

渠道
channel
chl

日期
date
date

时间
time
time

系统自动编码
identify
id

操作流水号
number
no

业务编码
code
code

名称
name
name






数据仓库总线矩阵规范


维度总线矩阵

维度建模的数据总线矩阵,提炼出公共一致性维度。无论是主事实表,还是隶属于主事实表的子事实表都统一在总线矩阵中体现出来,这样我们能够准确提炼真正的公共一致性维度。

业务过程
原子粒度
度量
公共维度
日期
房源
地域
店面
经纪人
其他维度
提交支付订单
每个购买订单一行
每个购买订单数量和价格

商品库存
清单每项一行
每个库存的数量



店面库存
清单每项一行
每个店面房屋的数量


















业务过程









机会/利益型矩阵

可以利用同一个业务过程勾画出不同的矩阵,但需要用维度列替换业务功能。例如,销售计划、市场、店面操作以及金融等。按照不同的功能的需要,包含不同的矩阵元素表明哪些业务过程对哪些业务功能有需求。在以过程为中心的行被确定为项目时,也可以用于识别需要哪些组参与更详细的需求、维度建模和BI的应用需求。

业务过程
利益相关方
销售计划
市场
店面操作
后期保障
财务
其他维度
提交支付订单

商品库存



店面库存














业务过程







维度事实表样例

创建事实表和维度表要遵循一定的规范,维度表通常是一个大宽表,包括尽可能多的维度描述信息,维度表和事实表的key值,都需要添加_key的后缀,这样方便查找维度信息。事实表和微博表都需要描述清楚自己的来源信息。具体可以参考下面的样例。



需求优先级

不可能一次迭代就能完成所有需求,因此有必要和团队的负责人、业务方协商优先级。可以考虑按照“潜在的业务价值”和“需求可行性”两个方面综合考虑优先级。

640.webp.jpg

作者:清和 来源:大数据漫路求索

楼主热帖
168大数据(www.bi168.cn)是国内首家系统性关注大数据科学与人工智能的社区媒体!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

关于我们|小黑屋|Archiver|168大数据 ( 京ICP备14035423号|申请友情链接

GMT+8, 2019-5-23 15:35 , Processed in 0.111063 second(s), 21 queries , Xcache On.

Powered by BI168社区

© 2012-2014 海鸥科技

快速回复 返回顶部 返回列表