大数据云平台的产品化之路

作者：林华兵

来源：建信金科大数据

  前言秉承“融四海技术，链百业数据”理念，2019年11月12日，建信金融科技率先推出面向公众服务的大数据云平台，实现建设银行大数据从服务行内到服务行外的突破。建行大数据云平台，既对建行大数据能力进行全面的升级，也为行外大数据应用创新开辟了新渠道。

大数据云的建设背景

BACKGROUND

2017年，工信部《大数据产业发展规划（2016-2020年）》中要求推进大数据与云计算服务模式融合，促进海量数据、大规模分布式技术和智能数据分析等公共云技术服务发展。

简单地说，大数据云是大数据计算和分布式技术相结合的产物。事实上，大数据云并不是一个新东西，而是随着互联网、数据库和移动网络技术的发展，早已在各大厂商和机构中生根发芽的一种高性能、可动态伸缩的数据存储和计算服务。

受宏观政策、技术升级、数据应用普及等因素影响，2018年中国大数据产业整体规模超过4000亿，预计2021年将超过8000亿。随着算力的增强，大数据支撑的应用场景也更加丰富，从金融、电信大数据，到政务、交通、医疗大数据等，一应俱全，持续促进传统产业转型升级，激发经济增长活力，助力数字经济建设。

数据来源，赛迪顾问：2019中国大数据产业发展白皮书

国内大数据云发展的现状

CURRENT SITUATION

从市场来看，各互联网巨头都已经或正在将大数据云服务作为公有云的重点服务推出，比如阿里云、金山云、道客云，以及亚马逊的AWS等，且基本实现公有云、私有云服务的一体化。而另一端，小微企业虽然有大数据应用需求，但是缺乏大数据建设的能力，比如小微企业融资市场，融资难，难在风控；风控之难，难在数据。缺乏数据以及缺乏高效的数据处理能力成为阻碍小微融资发展的明显瓶颈。

各大运营商和各大金融机构的大数据云建设，大致可以追溯到hadoop相对成熟的时点，也就是2010年左右。这些大型企业的大数据云以私有化服务为主，这与运营商、金融机构的监管属性密不可分；在监管以及经营范围约束的要求下，持牌金融机构与运营商首先建设以满足内部需求的大数据风控、营销为主体业务。只有当大数据云计算在内部应用成熟了以后，结合金融科技的整体规划，才有大型国有企业对外进行科技输出的需要。

中国人民银行日前发布了《金融科技（FinTech）发展规划（2019—2021年）》（以下简称《规划》），《规划》指出，当前金融数据的“孤岛”问题，已成为制约金融服务的“最后一公里”。于是《规划》明确提出，打通金融业数据融合应用通道，打破不同金融业态的数据壁垒，化解信息孤岛，制定数据融合应用标准规范，发挥金融大数据的集聚和增值作用等。也就是从《规划》的高度给出了大数据融合应用的指引。

大数据云平台的产品化思路

PRODUCTIZATION THINKING

以技术驱动金融创新

建设银行的三大战略，其中之一是“金融科技”。金融服务逐步会形成全面覆盖，无处不在、无微不至。而金融科技作为其中的一个触手，可以实现拓宽金融服务面、拉近客户与银行的距离，促进客户需求落地的功能。建行的大数据云平台，本质上是一种金融科技创新，是将建行“新一代”建设的成果进一步升级与拓展、服务于集团内外的中小型同业客户，达到反哺母行、赋能社会发展的目标。

建行大数据云平台的另一个目标，是希望破解金融数据的“孤岛”问题。目前以技术为卖点的大数据云产品，主要聚焦在高效和稳定的数据服务层面；而具有金融背景的建行大数据云平台，还希望能在一定程度上打通金融业数据融合应用通道，打破不同金融业态的数据壁垒，化解信息孤岛，制定数据融合标准规范，发挥金融大数据的集聚和增值作用的任务。

云原生理念与开源技术融合
与银行业普遍使用成熟的商业化产品不同，建行建设大数据云平台完全以产品化的形式开展，将应用层与物理层隔离、组件之间相互隔离、开放可扩展、自服务、可计量等作为产品目标，以“一套代码多套部署”作为产品化程度的检查标准，要求一个版本同时支撑行内外的多类数据开发场景。在存储以及开发套件技术层面，使用主流的国产化产品、开源技术取代商业化产品，实现去IOE目标。在服务接口层，通过定义标准化的接口协议，可以支持内部的IPaaS功能扩展、以及外部的APaaS用户接口、数据服务的扩展。

跨界融合，共建生态在建设大数据云平台之前，行内已经积累了较丰富的数据线建设经验。就数据量而言，建行的存量数据达到数十PB的量级；而作业量也达到了每日数十万作业的调度量级；在数据处理的准确性和时效性方面，完全满足金融监管的要求。

单就场景而言，大型银行的数据处理复杂度和时效性要求已远超一般的规模以上公司的数据复杂度，技术沉淀也较为扎实。但是，做项目和做产品是两码事，项目实现的是定制化的需求，产品满足的是普适性需求；项目强调的是功能、非功能需求，产品更加强调交付、服务、用户体验。

行内在项目化方面经验充沛，而在新进的产品化领域经验不足，尤其是产品的包装与实施、产品的交付与运营方面我们并没有经验。因此在建设大数据云平台时，除了在组织机构层面增设专门的产品、销售团队，还积极地与国内的大型互联网公司合作，借鉴其在公有云大数据平台建设的经验和产品化思路，彼此取长补短，希望打造出具备业内一流水平的大数据云平台产品。事实上，即将推出的大数据云平台也具有鲜明的建行大数据与和互联网大数据融合的烙印。在建设的过程中，合作公司确实也从产品的整体布局、模块的分层解耦、运营运维、应用解决方案等产品化角度注入了成熟的设计理念，并投入大量开发资源，助力产品顺利交付。

大数据云平台的产品化转型

PRODUCTIZATION TRANSITION

大数据云平台产品化建设的过程也是团队从项目化向产品化转型的过程。为了建设具有国内领先水平的大数据云平台，团队着力推进几项工作：

• 需求调研：好的产品从好的需求开始。由于建行先前并没有大数据平台产品化建设的经验，在平台建设启动前，团队主动走访国内知名的互联网服务提供商，包括阿里巴巴、腾讯、百度、金山云等，学习他们在云平台产品建设、大数据运营等方面的先进经验，结合行内的数据线使用情况，提炼通用的大数据云平台需求，形成需求成果。

  
  

• 产品设计：产品化设计比以往的项目化设计提出了更高的要求，除了要继承行内在大数据平台建设方面的架构和经验，还要突出产品化设计所需的功能的独立性、环境的适应性，以及强调用户体验等。针对每一个主要功能组件，都成立专业化设计团队和产品团队，牵头开展功能性设计，并且从技术架构、功能流程上与合作公司深入对接，反复推敲，形成逾1000项功能点，确保大数据云平台在功能上可以兼顾行内外差异化的需求。在设计形式上，也采用互联网公司的UI/UE/UX主导的交互式设计方法，使得产品在体验设计上可以不断迭代、尽量贴近最终交付的产品形态。

  
  

• 原型验证：为确保最终交付的大数据云产品功能可用、接口独立、体验良好，在正式发布前，在内部进行多轮原型验证，检查功能和接口的完整性，包括MVP验证测试，数据应用产品对接测试、用户体验测试等。

  
  

• 产品包装与服务：一是通过功能上的独立性设计，支持根据应用场景灵活组装产品的交付形态，实现开箱即用；二是根据商业化产品的输出需求，提供对应的产品手册、使用培训、技术支持，结合合作厂商的资源，进行部分金融场景的解决方案包装；三是通过微信等互联网渠道开展技术交流，并准备适时开展一些线下交流沙龙等。

  
  

• 宣传策划：大数据云平台是建信金科首批面向市场推出的重点产品。作为产品推广的重要手段，公司投入专门的资源、借力合作公司经验，进行多渠道的产品宣传投放，包括微信、视频、海报等。

  
  

  
  

平台1.0版本的建设，累计完成6个批次的功能释放，完成产品从无到有的搭建，平台团队也逐步实现了从项目化开发到产品化开发的转型。

金融背景下的建行大数据云平台

UNDER FINANCE

作为大数据云服务提供商的“后来者”，建行的大数据云平台充分学习借鉴了大型互联网公司的同类产品，并在产品的设计阶段融入一些建行现有的大数据建设理念。

不同于业内主流的大数据云平台产品，多数定位于企业级数据开发服务提供方，主张提供丰富的产品线供用户选择和使用。建行的大数据云平台，更多以金融视角的应用场景为出发点，主张按项目组织资源，支持按机构的资源多层设计、元数据驱动的应用建设、用户层面适配多种接入协议等。这一系列设计旨在能够适应公有云和私有云的多种大数据应用场景，并可以灵活地适配上下游的多种IaaS产品和PaaS服务，做到一套平台同时服务于行内外、可以兼容不同的子产品和用户认证方式的标准化产品体系。 在该产品体系中，大数据云平台的底层数据库产品可部分替换，中间开发套件可扩展，上层服务可组装，提供给用户的是相对稳定的服务层。

通过建行的大数据云平台，可以支撑数据的复杂加工、展现，以及数据全生命周期管理，既提供一站式开箱即用的数据分析环境，也提供服务接口供第三方应用进行数据应用生态的集成。从功能上看，大数据云平台实现了包括数据采集、数据开发与集成、流数据计算、数据分析与挖掘、数据可视化、数据服务、数据管理、智能调度在内的核心功能，以及包括运营运维、数据安全在内的配套功能。技术方面对齐业内主流的大数据云，管理方面则继承了建行长期在数据线上积累的经验。

建行大数据云平台的优势在于：

• 金融级的数据架构底座，继承了建行“新一代”的数据线建设成果。
• 将在行内历经多年复杂场景考验的数据处理方法，与互联网公司成熟的公有云技术相结合，提供满足多种类应用需求的复杂数据处理能力。
  

另一方面，也要看到，建行的大数据云平台作为建信金科首批对外输出的产品，在产品的形态、包装、用户的体验方面可能与成熟的大数据云产品存在差距。在产品投放的前期，以集团内优势客户的场景试运行为主，在应用场景中不断迭代和优化产品。

此外，通过大数据云平台的建设和推广，也将在产品的输出、运营等方面反哺母行的大数据应用和技术，为后续同类产品的推出积累经验。

建行大数据云平台的最终目标，正如建设银行行长刘桂平所说的，“我们要以科技为针，数据为线，刺绣出一幅幅银行与客户、服务与消费、线上与线下一体化金融生态画卷。”希望能借助大数据云平台，打破藩篱，拥抱彼此，跨界融合，共建生态，与用户共同开启全新的大数据时代。