数据平台类项目成功管控的10个要素

大数据平台构建“风起云涌”！

在我眼里看待，仍然可以套用原来我们讲的数据的“存、管、用”三个领域的概念来抽象总结。

• 存：就是指数据整合汇聚（包括交换）
• 管：就是指数据资产管理（包括政务的数据资源目录）
• 用：就是指数据的分析、挖掘探索、服务、应用开发、运营
  
  

写这篇文章看似“老生常谈”，但是最近在接触几个大数据项目的过程中，发现随着数据业务的快速崛起，很多做数据类项目的管控人员原来并不是数据领域内的从业人员。所以我觉得还是有必要把我理解的数据类项目工程管控的核心要写一写，供大家参考。

另外，当前的大数据平台建设出之前的项目出现一些更加复杂的特征，主要体现在：

• 第一方面，在体验数字化战略的驱动下，对基础数据治理的规范性要求越来越高；
• 第二方面，基于数据支撑战略决策和深度治理的需求越来越强烈，复杂度也在提升；
• 第三方面，涉及到的业务范围越来越复杂，导致数据范围越来越大。
• 第四方面，涉及到了多法人实体之间的数据汇聚与整合,如集团化项目和政府大数据平台项目等。
  
  

因此对数据项目建设成功的把控越来越关键。即便如此，我们去做数据平台项目的时候，为了保证项目的成功还是有一些共性管控要素和规律可以探寻的。以下我罗列我自己理解的10个重点要素：

第一：“存管用”关联性考虑：

要坚持数据的存管用三者的关联性考虑。例如数据存（整合，汇聚）必须考虑“用”的场景；管控治理的落地实施和跟数据加工过程密切关联；而管控过程中的标准定义和原始业务定义以及数据使用过程中的业务逻辑强关联，所以这三者必须协同考虑，不能独立设计。

第二：坚持数据的业务驱动：

因为没有业务就不可能产生数据，数据本身如果缺失了它代表的业务含义的深度调研，就不可能做成一个成功的数据项目。所以我们坚持在数据的基础调研过程中必须结合业务，坚持加大数据调研在整个数据平台项目建设过程中的基础性和调研力度和准确性完整性。

第三：必须考虑数据架构：

数据必须分层分区存储，每个区都有自身的定位和需要解决的场景命题，因此我们必须重点考虑数据架构。厘清数据架构的分层分区；每个区域的定位；基于这个定位上下面数据应该采取的模型和存储策略。数据架构决定了数据的存储合理性，同时也决定数据的加工策略和流向。

第四: 需要考虑的统一技术组件策略：

重点考虑的数据加工相关的技术组件，包括有数据采集交换体系、数据的可视化加工体系（手工编码不是不可以）、全域的统一作业调度机制、统一的数据管控平台组件。这几类平台是贯穿于整个平台的全流程的作业处理、控制和管控的核心组件 ，而且要考虑这些组件之间的协同。

第五，工具组件重要，但是实施方法更加重要：

所有数据领域的工具，无论厂商成熟产品套件还是开源的，只起到一个核心支撑的作用，在项目里面的成功实施是借助于实施的工程方法来保障的，所以我们不要过度的强调工具。在实施方法中界定清楚工具可以完全支撑的场景、需要二次开发和适配才能支持的场景、需要人工干预和处理的特殊场景，以及异常的保障机制。

第六：考虑源系统的变更的捕获和管控：

业务系统的变更，对数据平台类的影响如何去解决？这种变更可以体现为数据结构变更和数据结构不变的情况下的数据内容业务含义变更（如公用代码增加码值定义）。因此我们必须设计如何能够识别变更和数据平台全流程加工过程中管控变更的机制。在这个领域，未必一定按照自动化的方式去触发执行（不太现实），可以按照手工的方式执行，但一定要有相应的管控方法，制度和流程以及工具支撑。

第七：模型的规范：

这里说的模型不仅仅指基础层的整合模型，是指数据架构每个区域的模型规范和模型设计原则，以及如何保障模型设计能够参考模型规范和设计原则去执行的设计和评审机制。我们一定要认知模型的重要性，它是最终影响数据质量效果和系统性能的核心原因。

第八: 加强数据中台的理念应用：

这里的中台不是指技术中台，而是指数据加工的共享服务。在数据的业务价值发掘的过程中，一定要关注业务共性加工逻辑的提炼，支持去开发数据中台产品，为业务部门提供数据支撑服务，才能保障数据的价值最大化。而且中台提炼是保障数据加工团队不被业务快速发展带乱，保持有限人员编制能够有效支持业务的核心策略。

第九：分析团队”从一而终”的持续培养:

数据分析团队的培养是伴随着数据平台的建设逐步不断增强的过程。企业里面要把数据分析人员企业的核心骨干和未来的核心竞争力去组件团队和培养，这个已经是所有企业在数字化背景下的必然选择。

第十：所有的持续运营依赖于设计规范的执行：

所有的数据类平台不是一次性建设就不改变的，而一定是一个持续性的迭代建设过程。后续持续开发和运营的人员如果需要继承并且修订前人的成果，必须依赖每个参与项目的人员，在每个工作环节对设计理念的贯彻和对设计规范的执行。否则数据类项目不具备传承性，就不具备生命力。

这十个要素仅仅是个人的经验和观点，希望大家批判借鉴。

来源：小星星的随笔