TD建模系列（二）-FS-LDM设计要点

发表于 2020-2-7 18:20:57

马上注册，结交更多数据大咖，获取更多知识干货，轻松玩转大数据

您需要登录才可以下载或查看，没有帐号？立即注册

x

TD-FDM设计要点
1.TD十大主题当事人主题个人或机构
产品主题任何市场化的产品或服务，包括这些产品的条款和条件
协议主题金融机构和客户之间为某种产品或金融服务而设置的一种约定
内部机构主题金融机构的分支机构及业务单元
事件主题一种资金或非资金的活动，可能需要也可能不需要银行与客户的直接接触
地理区域主题地理区域，物理或电子地址
营销活动主题为增加客户、保留客户、拓展业务而进行的策略、规划或促销事件
渠道主题银行同客户交互或接触的各种渠道
财务主题内部财务状况
资产主题当事人拥有的资产主题反映业务分析主题所需的某一方面信息、是对业务数据需求的高度概括，如客户信息、产品信息、协议信息等。这些围绕XX银行业务分析主题自然汇集在一起的数据称之为主题。
详细解释：

当事人PARTY：一个人或者一组人，指金融机构所服务的任意对象和感兴趣进行分析的各种对象。

如：个人或公司客户、潜在客户、代理机构、雇员、分行、部门等。一个当事人（Party）可以同时是这当中的许多角色。它们之间存在许多关系，如银行机构与客户（管理机构、开户机构等），内部机构之间（上下级等），企业之间（集团客户、担保人等），企业与个人（雇佣、担保等），个人之间（父子、夫妻、联络人等），这些在模型中都可以体现。
产品PRODUCT：是银行及其关联的当事人提供给市场、能单独销售并满足客户的某种需求，可以从中赚取各种实际或潜在收入的有形商品或无形服务。
协议AGREEMENT：是金融机构与客户之间针对某种特定产品或服务而签定的契约关系，表明金融机构与客户之间针对某种产品或服务的条款和条件达成了协议，所开立的协议包括存款帐户、卡帐户、贷款合同和贷款帐户等。
当事人资产PARTY ASSET:描述银行所关注的客户拥有资产的有关信息
内部机构INTERNAL ORGANIZATION：作为一种特殊的当事人，内部机构可以是金融机构的内部组织机构，也可能是任何一个法人机构的内部组织.
渠道CHANNEL：描述当各种事件发生时，当事双方（主要是指客户和银行）进行交互和接触的手段及方法，作为接触点，客户与银行通过它进行各种接触，包括购买产品、使用服务并交流信息。
事件EVENT：主要描述了银行与客户之间的交易活动，它记录了详细的行为和交易数据。
地理位置LOCATION：描述金融机构希望关注或考察的各种地理区域和地址信息.

如国家、省份、城市、县、乡等。LOCATION主题包含“具体地址”，“地区”，“地理位置”等不同层次的信息。
营销活动CAMPAIGN：为扩大市场份额、争取和维系新老客户、树立银行形象，银行常常通过开展营销活动来达到目的。一个完整的营销主题应包括营销策略的制定、营销活动的实施、营销活动的反馈和评估。
财务FINANCE：该主题直接与银行的总账系统相对应，描述银行的科目组成、科目帐务、余额变动以及和预算管理有关的内容，能适应不同银行的不同科目组织体系。

主题业务定位、数据准入原则、模型分类原则、ID生成规则、历史处理原则、数据整合原则是一个主题设计的完整组成内容
主题不仅仅是在数据模型分布设计上进行业务区别，同时，在对数据的入仓建模分析的过程中，不同主题的准入原则、模型分类原则、ID生成规则、历史处理原则、数据整合原则也可能存在不同
1.2 主题模型概要设计六个步骤数据准入原则：确定源系统数据入各主题主实体原则、范围
数据分类原则：确定各主题主实体的分类标准及分类方法、根据分类标准建立主实体的数据分类
ID生成规则：制定各编号的生成规则
数据整合原则：对分布在各源系统的主数据的归并：当事人、机构、产品等
历史数据处理：确定各主题需保存历史的信息
例外处理原则：对特殊情况的处理原则
分主题说明这六项原则所涉及的内容为主题模型设计说明书的核心内容。
2.新老核心融合思路在结构上，考虑新核心表结构
数据上，对于老核心表，迁移规则简单的，转换成新核心规则数据入主题模型；复杂的，保持原样入主题模型
客户号、账号保持不变，等新核心上线时，再对客户号和账号按迁移程序规则做统一转换
按照迁移程序产品科目对照关系，迁移规则确定的产品，在主题模型实现账户级产品编号；迁移规则不确定的产品，暂不实现产品编号
3.数据标准在数据仓库落地（如何与数据标准对标，根据自己理解修改调整）

主题对标：数据仓库主题划分与数据标准的主题划分进行对标，对数据仓库多于数据标准的，基于数据仓库的主题设计规范扩展，包括一二级主题（二级主题对应TD描述中的分类对标）
码值对标：数据仓库的码值与标准码值循序渐进对标，分四种情况（后面具体说）
字段（信息项）对标：数据标准定义了字段的业务描述（中文名称、业务含义），数据仓库的字段的业务含义与数据标准一致的，基于数据标准的定义在模型中落地；对于数据仓库还未涉及但有前瞻性意义的，可以在逻辑模型中落地，不在物理模型中落地。

3.1 码值对标基本思路

仓库码值与标准码值可以一对一对应的，且数据粒度无损失的，完全遵照标准的代码规范落地。
源系统取值范围超出标准，经与数据标准制定方反馈推进标准修订，待标准修订后再落地。
仓库码值与标准码值不能一一匹配且会出现数据粒度损失的，仓库对源系统代码进行整合后加入数仓的码值规范。
数仓自身定义的超出数据标准现有代码范围的，与标准制定方就逐个码值进行沟通讨论，如能形成事实标准，将形成事实标准后在仓库落地并对外发布

3.2 数据标准在数仓落地需要的协助3.2.1 数据管控部门的指导

数据标准权威解读：需数据管控部门就相关主题定义、主题分类原则、信息项组织等相关问题更为细致的解释
代码映射指导：对于业务系统代码和标准代码无法一一映射、或业务系统代码和标准代码业务口径不一致时，EDW需要请数据管控部门从业务角度给出映射规则的指导
信息项差异分析：需要数据管控部门从业务信息角度，帮助主题模型组成员就业务系统现有数据与标准信息项在业务定义以及信息覆盖程度上的差异进行对比分析
建立持续标准化的变更机制：业务系统中标准化工作可能是一个漫长的过程，相关标准化内容将在数据管控部门的指导下持续更新。业务系统中的数据标准化变更将影响EDW进行相应的变更，因此EDW需要与数据管控部门共同协商并建立从“标准指导——源系统变更——EDW变更”的后续持续标准化的联动变更机制

3.2.2 业务系统的配合

建立通知机制：就数据标准在业务系统的执行情况，建立面向EDW的定期知会机制，使得EDW即时了解数据上游的标准执行情况并可以联动调整相应标准成果在EDW中的落地处理，例如数据转换加工规则等
提供非标数据向标准数据加工的初始化转换规则：EDW将参考业务系统数据加工规则并结合自身模型建设情况，选取适当的存量数据初始化策略

4 典型情况处理方式4.1 源数据存在物理删除情况如何处理状态类数据存在物理删除情况，一般需要在模型结构上增加“记录状态”字段，同时在进行历史处理时，判断识别出来物理删除的数据，对其原有拉链进行关闭，并插入一条新链，并将记录状态字段的记录值记录为物理删除的识别码。
在TD模型中，标识状态的历史表是单独的模型。
4.2 源系统预留字段信息入仓原则源系统很多表结构都会有预留字段，对这类字段需要判断其是否已启用，如启用需明确其业务含义后方可以设计到模型中。

作者：八幡大老师
链接：https://www.jianshu.com/p/42b011e69c6a
来源：简书

帐号		自动登录	找回密码
密码			立即注册

TD建模系列（二）-FS-LDM设计要点

马上注册，结交更多数据大咖，获取更多知识干货，轻松玩转大数据

站长推荐 /1