数据仓库分层设计

发表于 2020-3-2 18:14:25

马上注册，结交更多数据大咖，获取更多知识干货，轻松玩转大数据

您需要登录才可以下载或查看，没有帐号？立即注册

x

数据仓库架构设计

数据仓库架构图
名词介绍
分层介绍

在去年由于公司业务需要，设计了仓库，太详细的可能设计公司一些隐私，所以在这里简单介绍一下，读者如果有什么疑问的话，可以私信咨询我。

数据仓库架构图

这里是我经过思考，使用processon画的图

名词介绍

|缩写 | 全名| 中文解释 | 作用 |

| DWS | data warehouse service | 数据仓库服务层 |主题层 |

| DIM | Dictionary Data Layer | 字典成 | 渠道，黑白名单 |

| APP | | 应用层 | 直接导出，展示 |

分层介绍

1、 ODS层介绍
作用：数据接口层,主要作用是接入每天的数据，然后进入DWS层进行主题分类。命名规范：ODS_表名字（建议表明跟文件名字一样）最长30个字符。保留策略：目前保留所有原系统的数据，在将来会按照实际需要更小的缩小ODS层数据的保留策略。
2、DWS层介绍作用：主题层，根据业务种类划分，减少数据的冗余，并对数据能够更好的管理。
3、TMP层介绍
作用：临时表层，层与层之间数据的清洗、转化会产生很多中间临时表，我们会在这一层做统一的管理。命名规范： TMP_表名字_日期
4、DIM层介绍
作用：公共数据层命名规范：DIM_表名字保留策略：该层数据的保留策略按照源系统不同的提供方式来灵活变更，例如源系统每天提供一份新数据，我们可以用全删全插的加载策略，无需保留历史。
5、APP层介绍
作用：该层主要作为数据展示层使用，按照业务需求进行计算等到的结果放入APP层，该层也会使用DWS的主题来对数据进行分类管理，该层数据最终会使用工具（sqoop或者其他）导出到MYSQL展示使用。保留策略：该层数据的保留策略跟DWS相同。命名规范：APP_主题名_表名
6、MYSQL相关建议
作用：该层只要导出hive 的分析完的数据到MYSQL中进行展示。命名规范：REP（reprot）_主题名_表名保留策略：由于MYSQL是事务性数据库，单表记录在1000万以上的时候性能就明显的下降，建议MYSQL数据库中存放一年、两年更或者半年的数据（按需保留），将一年之前的数据再导入Hive中BAK层进行备份，如果将来有需要的话，直接使用HIVE SQL进行数据分析。其他事项：暂无
来源:https://zhuanlan.zhihu.com/p/61284240

帐号		自动登录	找回密码
密码			立即注册

数据仓库分层设计

马上注册，结交更多数据大咖，获取更多知识干货，轻松玩转大数据

站长推荐 /1