全球预见者分享平台、领先的数据科学社区媒体和职业发展平台

168大数据

 找回密码
 立即注册

QQ登录

只需一步,快速开始

1 2 3 4 5
开启左侧

[专家感悟] 艰难的旅程,你的数据中台到底能为一线提供多少火力?

[复制链接]
发表于 2019-3-4 14:11:31 | 显示全部楼层 |阅读模式
作者:傅一平 来源:与数据同行

很多人在谈数据中台,笔者在多篇公众号文章中也涉及过,那些文章都在强调数据中台是什么,怎么建设数据中台,比如下面的是阿里的数据中台全景图:

1.webp.jpg

这是袋鼠云的数据中台架构图:

2.webp.jpg

虽然笔者在多篇文章中也谈了数据中台的建设心得,但从来不认为已经获得了成功,阿里的数据中台算是成功的典范吗?笔者不知道,但我们总会有个疑问,这都是别人家的中台,自己应该如何落地呢?这个始终是大家最关心的问题。

数据中台很重要,但千万不要依样画葫芦照着外面的架构图去一项项的实施建设,你真要照着阿里的方式做,基本就把自己的资源耗光了,其实除了计算引擎和资源动态分配,10多年前BI时代这些技术就有了,大数据时代只是乘着东风将这些概念(或者新包装了一个概念)普及到了更多的人,让更多的客户认识到数据的价值,这是在吃时代的红利,但并意味着成功的概率会更高。

数据中台夹在数据和应用之间,说得好听一点是推进能力平台化、业务应用化、运营智慧化,让前线业务更加灵动、敏捷,为一线作战提供精确制导、炮火支援,说得难听点就是前期要付出更多的不确定性成本,包括中台建设成本、流程优化成本、IT文化重塑成本、用户培育成本、持续运营成本、还有其他一系列的管理成本等等。

以前阿里还提过中台的一个核心挑战就是考核,中台赋能你不能直接考核IT部门收入吧,也不能简单的考核IT的一般指标,服务调用和使用指标又不够分量。

数据中台还最怕做成花架子,招式似乎很多,但关键时刻人家一击重拳就把你打到了!

比如你好不容易建了融合模型,人家就是不用,非要从底层走,你的仓库模型就打了水漂。

比如你好不容易搞了一套治理套件,但元数据真的有人用吗?现实的问题往往是开发人员没必要用,业务人员不会用。

又比如数据开发套件,你当然可以支持诸如HIVE,GBASE等数据库,但Oracle也得支持吧,而ORACLE的原有PL/DEV开发客户端体验很好啊,该怎么去改变一线开发人员的习惯呢?

画蓝图不难,照着抄就可以了,反正就是针对这些内容的重新分层和组装,你有你的理解,我有我的理解,但实际落地完全是两码事。

笔者不建议去规划什么数据中台的蓝图,不要去追捧别人家的数据中台,不要仓促的去购买商用的数据中台套件,没有什么最佳路径是可依赖的,始终要根据你这个企业所处的阶段、一线对于数据的真实需求做出合理的判断和选择。

数据中台可以建设的东西太多了,因此不要贪多,一次就做一个大事情,甚至一年只做一个,做了后看效果,然后慢慢演化,而一旦做了一个,就要保证让它持续发挥价值,买个软件简单,有能力运营好才见真功夫。

当然光说道理不过瘾,就举个自身的案例吧,谈谈怎么有策略的去推进一个数据中台的演化,笔者再次强调,我们的数据中台远未成功,对于业务的赋能远未达到预期,留下更多的是教训,但你可以从中一窥端倪。

如果从2015年算起,我们的数据中台建设其实已经持续了四年:

(1)2015年,是大数据平台建设的元年,就做了一个事情,把基础平台建立起来,解决三域数据整合问题和标准化问题,当初花了3个月时间梳理完整个企业的数据字典,数据资产(基础模型和融合模型)的掌控从合作伙伴手里回到了自身团队,这是中台的底蕴,这一年公司付出了巨大的代价去构建大数据集群。

但有了数据没人用不成,毕竟大数据平台原生开发的门槛太高了,很自然的想到了2016年要干什么。

(2)2016年,是大数据开放的元年,团队全力推进DACP(数据开发平台)建设,启动了千人计划,体系化的进行培训,策划了一系列建模大赛,吸引企业内更多的人来使用这些新增的数据,当时每天想得就是如何推销自己的新数据,诸如位置,上网解析等等,运营的初期如果仅仅是新瓶装旧酒是很难的。

现在回过头来看,对于DACP体验的忽视让当初的推广成本过高,我们还是缺些产品思维,总想着靠宣传、线下培训等方式去解决问题,这种推广模式往往事倍功半。

但即使吸引了很多用户来使用你的平台,光有数据没好用的模型也不行,因此下一步的工作重点就是全力打造业务模型,开发新一代的标签体系。

(3)2017年,是大数据模型建设的元年,依托于大赛和自主创新,涌现出了一批优秀的业务模型,天盾反欺诈模型也是这个时候出现的,在位置精度,知识库等方面也获得了一些突破。

但酒香也怕巷子深,你会发现好不容易做的模型往往无法直达一线,各种机制流程横在那里,模型迭代的成本还是太高了。

因此,数据中台如何跟前端业务高效协同成了当时乃至现在最大的挑战,毕竟渠道,营销等资源不掌握在自己手里。

(4)2018年,是大数据运营转型的元年,随着公司需要从“坐商”向”行商”转型,团队开始考虑需要基于新的数据产品来实现营销模式的突破,希望用数据产品来更有效率的连接数据中台和前端渠道,用市场经济的手段去解决管理人员,模型人员,执行人员的协同问题,不解决这些问题,数据中台对一线的赋能将受到极大的抑制。

而数据产品的运营对于团队提出了全新的挑战,一方面要克服传统营销流程、机制、安全等方面的问题,另一方面需要大幅提升数据产品的体验,增加更多的赋能手段,从而让走动式营销变得更有效率。

(5)2019年,数据中台将进一步向实时化,场景化演进,设想是依托数据产品打造场景编排能力,比如需要实现针对校园开学季、外来务工返工,社区摆摊,综合体/社区/集会引流、双网拨打提醒等100个典型细分场景的精准营销快速支撑,这些能力将全部沉淀在数据中台。

可以看到,每年我们都需要制定数据团队的业务目标,数据中台的建设始终是跟着这个目标走的,数据中台不能为了建设而建设,它是业务驱动下IT能力的有意识沉淀,各个阶段也不是完全分割的,相互之间总有交叠,但大目标是相对清晰的。

因此,每个企业的数据中台建设路径也不可能是相同的,比如在数据开发平台没有推广开之前,你说要依托大数据在业务上做大规模的一线赋能也是不现实的,点的突破说明不了什么问题。

事情也不是做的越多越好,有时候我们真的无暇顾及元数据、数据质量管理的进一步提升,只能碰到问题解决问题,因为彻底解决问题往往付出的代价太大,资源的限制也不允许我们去建很多政治正确的平台,比如笔者就一直想做类似阿里的在彼岸(回归测试)这种平台。

更为重要的是,数据中台中的每个“存量”都需要持续性的投入,比如位置模型,大家真的用起来了就没有结束的说法,否则你做的就是一个垃圾的东西,比如基于位置的网格模型三天两头要改。

未来数据中台的运营压力会越来越大,比如以前校园营销都是市场的事,现在也成了数据团队的一项重点工作,但这是好事,说明企业真的愿意用更为精细化的手段来解决一线生产性问题。

双11对于阿里的意义重大,以前作为旁观者,我们会赞叹其IT系统海量的流量承载能力,惊诧于其炫目的双11实时数字大屏,但我们现在要考虑的不能仅仅是提供几个指标,而是自己的数据中台在市场的关键战役中能否发挥出更多的作用?你有多大的参与感?

希望我的分享于你有启示。


楼主热帖
168大数据(www.bi168.cn)是国内首家系统性关注大数据科学与人工智能的社区媒体!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

关于我们|小黑屋|Archiver|168大数据 ( 京ICP备14035423号|申请友情链接

GMT+8, 2019-5-21 05:26 , Processed in 0.095664 second(s), 21 queries , Xcache On.

Powered by BI168社区

© 2012-2014 海鸥科技

快速回复 返回顶部 返回列表