六年一轮回：大数据改变的，不仅仅是我的专业！

发表于 2019-9-16 12:08:53

马上注册，结交更多数据大咖，获取更多知识干货，轻松玩转大数据

您需要登录才可以下载或查看，没有帐号？立即注册

x

本帖最后由 168主编于 2019-9-16 12:10 编辑

作者：傅一平

来源：与数据同行

原创文章即将300篇，今天乘着中秋就写一篇自己近六年的大数据工作体会吧，建议你一定要看一看。
“很多人30岁就死了，80岁才埋葬。”
李笑来说六年就是一世，刚读的时候没有感觉，等到自己转型做大数据的第六个年头，却觉得有些道理，可以这么理解这句话，当你习惯于靠惯性工作或生活的时候，那的确只有一世，但如果你总是在改变，那每一天都可以是一世。
最近马云辞任阿里主席，提到“希望换个江湖，后会有期”，其实也在说这个事，只有变化才有意义，不折腾活着没意思。
但变化不是你想有就有的，很少有人能像马云那样，能基于拥有的资源去创造变化，大多数时候逼你做出改变的都来自于外部压力，好比笔者从传统的BI转型做大数据，主要是时代发展和公司转型的要求，自己没有能力跳出既有的框框去做一些新的东西。
今天就来谈谈转型大数据工作后，自己做出了哪些改变，专业的变化是必须的，但我觉得专业之外的东西更为重要，希望我的经历和思考于你有启示。
1、环境
笔者自进入公司就一直做取数报表工作，后来做一些专题分析、数据仓库、营销管理、标签库等的项目，大概有10年时间，虽然涵盖的面比较广，但除了对于运营商数据的理解、报表取数方面有所擅长，其他都没到专家的水平，可以聊聊，但没啥广度和深度。
为什么？
因为传统BI这个领域有点特殊，虽然也有所谓的需求沟通，但从专业的角度讲，你只要对于后端的数据结构和常规的指标口径理解的比较清楚，基本上就能胜任了，比如如果没有人提点你，你大概不会理解业务流程对于做数据的重要意义。
我以前反复的提过，IT部门是企业的后端，而做传统BI的是IT部门的后端，也就是后端的后端，现在定位有没变化不好说，但在我那个时候就是这样，导致的后果是看问题的视野会比较窄，既不知道发展的方向，也不知道数据如何运营，让数据创造出更多的价值乃至变现更是没影的事。
但那时到集团写经分规范，我们却还经常自嘲：“经分的春天何时才能到来啊？”，多少有点怀才不遇的感觉，其实完全不是那么一回事，但领导不会满意你只做报表取数，这是做数据颠扑不磨的真理。
有一个事情印象特别深刻，记得团队做了一个四网协同的BI分析专题，领导说策划下如何推广，然后我就写了个公文要求一线使用就算完事了，结局大家都懂的。
为什么会这样？
因为自己的格局问题，完全不知道一线是怎么回事，不知道运营为何物？
不知道自己不知道是很可怕的事。
那么怎么脱离这个困境？
说哪天突然开窍了基本是天方夜谭，屁股大多时候决定了脑袋，除非有特殊的事情发生。
特殊的事情果然发生了，2013年大数据的春风刮到了运营商，因为运营商管道拥有海量的数据，大家觉得其在客户资产、财务资产、通讯资产之外，还拥有信息资产这个金矿，在这个领域可以有所作为。
当时自己写过一个PPT，来说明运营商数据资产的价值，大家来看一看其中的一页。

正如孙子兵法所说，“天时地利人和”对于启动做一个事情是非常关键的，很多人换了一个环境突然发生了巨大的变化，大多是环境使然吧。
但新的环境能给予你一些以前没有的资源和机会，如果我还能充分发挥主观能动性，那的确可以做出更多的改变，这叫顺势而为。
有人说你们做大数据做的不错啊，其实跟我的能力没啥关系。
2、使命
读书20年，当时的梦想就是考上大学，读上博士，但如果放长到30年，40年，其实很多时候会觉得梦想或使命是非常虚的，大家一听汪峰提这个问题就发笑，可能人家的经历你不懂，但汪峰应该是认真的。
触发我思考未来的，是环境的变化，数据上，原来以为的成品油很快发现最多是原油，商务上，要赚取一块钱都是那么艰难，产品上，完全是一穷二白，以为可用的标签库其实也不行，突然发现我们这些数据对于社会来讲没有多少价值，辜负了大数据这个名头。
同时接触到更多的人和事后，发现自己在很多方面是达不到那个层次的，年龄的增长让我明白自己不再像年轻人一样有无限的可能。
总是会从年少轻狂回归到理性的现实，很多事情都能想得开，但看到跳广场舞的大妈，想着也没啥爱好（其实啥都不会），就会纠结这个问题：这不是我退休后想要的生活。
然后就是去寻找答案，自己运气很好，从《得到》里找到了一个，即创造贡献感：个人在未来应该拥有一些差异化的价值，这样自己的付出才更有意义。
这也算是对马斯洛需求层次理论的自我诠释，虽然没法跟比尔盖茨、马云比贡献，但贡献感上没有鄙视链。
但我的差异化价值在哪里？
显然现在没有，退休了以后总不可能去跟人家讲报表取数吧，而大数据既然是趋势，而转型又给了我实践的机会，也许再花20多年时间，我可以拥有对别人更有价值的东西。
这个东西不会由于你退休而变得失去价值，甚至可以通过写作记录下来。我们这个社会那么多聪明人，那么多好的经验，那么多灵光一现，如果不即时记录下来那就太可惜了，很多名人都会出书，也是基于这个道理吧。
这个使命驱动我开了这个微信公众号：与数据同行，没有坚持一说，就是觉得要去做，你会发现我写得关于数据的东西更侧重管理和思想，而不是硬技术，就是觉得诸如程序语言诸如此类的东西更新迭代的速度有点快。
3、专业
有了使命感，专业学习的驱动力问题就解决了，但对于传统BI转型做大数据的人来讲，专业上的挑战却是巨大的，而对于做技术管理的人来讲，学习的内涵就更广泛了。
首先，是关于大数据方向的研究。
2013年转型大数据后，自己在业务上啥都不清楚，就是摸着石头过河，那个时候每天干的活，就是思考方向，撰写PPT，以下是我规划的目录和一个目录里的内容，大家不要见笑。

记得有次去参加新加坡一个技术交流会议，在那边2个礼拜，基本上就写了2个礼拜的PPT（前面已经写了一个月了），回来后BOSS看了第一页PPT就直接被打回了，就这么跌跌撞撞写了一年多。
收获就是通过大量的资料搜集和梳理，还是能摸到一些门道，在大数据整合和变现上找到了一些出口，PPT虽然有时候不太地道，但的确是一种很好的思考和说服工具，前期还专门写了个关于PPT的文章：《PPT，考验你的格局、能力和思维的方式，你得学会驾驭它！》，这是自己的血和泪总结出来的。
如果自己不转型做大数据，光看书要获得一些大数据的专业见解其实很难，必须在那个实际场景里，你才会获得更多的洞见。
有时候你会觉得自己很厉害，做出了不少贡献，那是因为你首先很幸运的在这样的一个企业平台上，但并不表示你比别人更努力或更有天赋。
其次，是大数据相关技术的理解。
其实自己以前的专业是偏重传统的数据管理，对于数据采集/建模/应用（报表取数等等）/元数据/数据质量有较好的理解，有次公司老大要求去汇报大数据技术，真让我写的时候发现完全不行，诸如hadoop/MPP/流处理/CAP/Shared-Nothing架构/newsql/nosql等等大数据技术平台的原理，我真的是一知半解。
后来有了大师（我们的大数据架构师）的协助才搞定。老板是理工科出生，技术和方向都问的很细，这个时候，你才发现自己几斤几量，真是弱爆了。
大家都知道，将一个非常技术化的东西用业务化的语言表达出来是很困难的，但作为一个技术管理者，你得要有这个功力。
虽然后来我们的大数据平台建立了起来，甚至在当时处于行业的领先地位，自己还写了一些大数据平台架构类的文章，比如《为什么选择这样的大数据平台架构？》、《一个业务化的大数据PaaS平台启示录》等等，但对于平台技术的理解还是很浅的。
传统BI换个马甲说成大数据其实没用，就好比我以前经历的尴尬一样，你得有真功夫、新功夫，我还特意写了一些文章，比如《大数据，为什么不是传统BI的简单升级？》、《传统的数据从业者，并不会从大数据中获得多少红利》来说明这个道理。
最后，是关于大数据运营的突破。
笔者不止一次的提到，大数据平台建完才是大数据运营的真正起点，从前端来讲，要在数据产品上进行创新突破获得收入，比如我们的神灯产品体系，这在以前是难以想象的；从中台来讲，要打造业务化、开放化、服务化的数据中台来为前端赋能，对于这个笔者有大量的实践和思考，写得文章也很多了；从后端来讲，要做好大数据的资产管理，确保“书同文，车同轨”，诸如此类等等。
4、认知
有个词叫做元认知，就是能够审视自己的认知是否正确，我特别提两个点：关于专业能力和做人谦卑的认识，它们改变了我很多看法，虽然有时做不到，事后我也大概知道自己的问题在哪里。
其中涉及的大脑决策机制、生物学原理、神经学原理、心理学原理、杏仁核、前额叶、海马体、丹尼尔·卡尼曼等等我也很清楚，但知行合一的确很难，这是一个自我修行的过程。
第一个是关于专业能力的认识。
《原则》、《好好学习》这些书再加上自己的实践验证，都让我确信自己以前在认知上的一些问题，还曾经写过一篇文章《数据挖掘师，要从一个人活成一支队伍》专门讲这个体会：
“我们所谓的专业，比如市场营销、法律、政治、历史、文学、IT，抑或其中的数据挖掘师，其实只是人为制造的分类标签罢了，但是，这个世界并不是按照你划分的标签在各个专业之内单独运行的。一个市场营销的问题，背后往往涉及法律、政治、历史和文化的因素，可是我们所谓的专业，并不管这些：你学好4P（产品、价格、渠道、促销）、市场细分等概念，就可以毕业了，这种认识，会极大地阻碍我们学习真正应该学的知识。”
究其原因就是我们对于专业理解上的一个误区，比如对于通识能力的漠视，导致高分低能这种职场上的问题比比皆是，奈飞文化有一句话很经典：“我们只招成年人！”
最近2年，自己每年在《得到》上花的学习时长超过800小时，就是觉得《得到》给了我一个学习通识知识的指南，由于长时间盯着手机屏幕，眼镜度数飙升200度，直到有一天到电影院看不清楚字幕才察觉到，开会也总是希望坐前面的位置，因为已经看不清投影上的文字了。
第二个是关于做人谦卑的认识。
“谦卑”在英文世界被越拔越高，已经到了精英人士最值得拥有的美德中排名第一的位置。谦卑是承认自己的认识和能力是有限的，承认自己会犯错误，所以保持开放的头脑，能听得进去别人的意见，能随时调整方向。
真正的谦卑不是故作姿态，其实是理性的思考的必然，你会注意到地球在宇宙中、生命在自然界、人在生物界、你在人群中，都不特殊。
你当然很重要，但是别人也重要。有这样的谦卑态度，人的情绪就会特别稳定，就不会进退失据。据说通过回忆自己在高中时候的尴尬时刻 —并且意识到每个人都有这样的时刻 —然后一笑了之，能培养这种谦卑意识。
在几年前，我在别人眼里肯定是个爱争论、好面子的对象，其实争论本身没有问题，但很多争论是由于极高的自尊、浅薄的认识所致，而这些对于解决问题没有帮助，经常发现自己就成了自己最不喜欢的那种人。
每每看到很多领导儒雅、处事不惊的样子，我是很佩服的，因为只有在平静中才能接收到更多的信息，特别是对于大数据，你首先要承认自己的无知才能吸纳更多。
但人的本性好顽固，我给你讲个自己最近的事情，小区实施垃圾分类了，妻提醒我以后早上吃完苹果的核要留在桌上，不要扔进垃圾袋，但我还是习惯性的连续扔了三次，直到妻的暴怒和自我的反省才逐步改进。现在习惯完全改变了，说明虽然大脑很顽固，但还是具有可朔性，只要你重复反省的次数足够多。
自己一方面在实践中去领会，比如沟通中尽量换位思考，现在气急了会自己缓一下，另一方面就是不停的去读《得到》的专栏《精英日课》，因为里面讲谦卑的内容很多，还有就是买很多的管理类、心理类书籍来看。
第三个是关于思考习惯的认识。
决策支持是搞数据的人经常提得名词，但理性决策的前提就是能够深度思考，权衡利弊，但拥有思考习惯的人并不是很多。回忆自己以前做报表取数，就好比拉磨的驴子一样不停重复，但鲜有思考。
而做大数据创新完全不一样，前面没有路，只能自己趟出来，思考能力绝对是最重要的。
无论是选择将“位置+内容”作为数据中台能力的突破点，还是“百万标签”、“行业知识库”、“精准定位”等模型的研发，或是“千人计划”、“搭台唱戏”、“建模大赛”等运营活动，亦或“合弄制”、“OKR”、“日报”等管理提升举措，都是深度思考的结果，在特定的场景下，大多时候没人能告诉你怎么做。
最近我们有一个新的主管上任，他最大的进步就是比以前更会思考了，有一天他就跟我讲，现在自己不开车了，就坐班车，坐班车有一个好处，就是可以有系统的思考时间，我觉得非常好。
另外一位我佩服的同事的就是给他安排的工作总能超出预期，比我想得更深，信息量更多，非深度思考者不可能做到。
笔者写作的一个原因就是希望能养成一种强制性的思考习惯，因为在写作中对于一个问题的认识会更深入，更能触类旁通，对我来讲，进入心流不是事。
一定程度上讲，我如果一个事情办不好，主要原因是自己的能力不够（经验也是能力），智力有限，而不是没有时间或者分心。
5、管理
最后，再谈谈管理，作为一名技术管理者，专业能力再强，如果不懂管理，也就是个光杆司令，我需要通过管理激发团队成员的善意，否则就没法进步。
如果你有机会去做一些大数据的创新性工作，团队还不大，那么最近几年我在管理上的一些实践可以供你参考，但对于大多数靠流程驱动就能完美运作的公司来讲，我的经验就毫无价值了。
第一个是考核的问题。
我写过一篇OKR的文章《一个数据管理者的自我修养（一）：从KPI、OKR到信息赋能》，大家可以看看，我的一个很大体会就是：
“对于创新业务来讲，没人能定明确的指标，只能定目标，预计完成的指标只是个参考，否则大家以后都kpi导向，这样就坏事了。okr完成的比例在70%左右倒说明当时定的不错，我更看重的是过程中体现的创新和发展，比如是不是比以前有进步，每周跟踪指标是为了有个监控和抓手，发现问题可以及时调整。”
“比如收入，如果是按部就班的实现，很难得到最佳，因为要么是指标定的不合理，要么就是运气，如果你的某个创新导致了收入提升，即使完不成既定的指标，都可能获得更多认可，比如告警及时率，这个月高了你得告诉我原因，到底是你的努力还是正常波动，但别拿偶然当业绩。”
第二个是组织的问题。
我尝试的是合弄制，合弄制是从《得到》了解到的，然后看了阿里也是这么搞的，的确是一种创新性的组织形态。比如以前的一支数据团队人数不少，干的事情多而杂，虽然有分工，但有能力的人往往沉在下面，没有试错的机会，这会扼杀创新，也不利于人员成长。
做大数据这两年也越来越意识到人才的重要性，传统企业搞大数据有优势也有劣势，但大多人员离职不是薪资问题，而是发展空间问题，我怎么让团队成员有获得感，甚至因人设岗，人尽其才呢？
这是每个传统企业搞创新需要重点思考的问题。
很多东西得靠设计，合弄制是一种。因此这两年适当打破了科室的界限，成立了9个小团队，让其各自在一个专业领域去攻坚，这不仅仅是要解决一个业务问题，也要解决人员发展的问题。比如从产品组和数据组抽人成立位置洞察组，独立的进行位置类模型和产品的研发。
到目前为止，我认为这种组织方式适应了业务发展的需要，有不少人脱颖而出，虽然谈不上有什么成绩，但这种组织设计相对以往更能激发员工的动力和协作力。
第三个是沟通的问题。
自己写过一篇文章《为什么开放、透明的环境对于大数据团队是如此重要？》，谈了创新型团队扁平化管理的重要性。
互联网公司值得我们学习的，不仅仅是技术，透明化、扁平化绝对是重要的一条。Google在《重新定义团队》提了很多了，对冲基金公司桥水创始人瑞·达利欧在《原则》一书中提到了“极度求真和极度透明”，李开复在微软亚洲研究院提倡的“白板文化”激荡和迸发了多少创意，也许只有经历过才能知道开放透明的价值。
无论是我强制要求成员写日报、每周的OKR跟踪、还是组织技术研讨会，分享会都在尝试解决这个问题，希望能达成“五指成拳，力出一孔”的效果，因为没了数据灵魂的产品不会有差异化竞争力，没了运营的数据和产品就会成为一堆摆设，而这都需要多方专业的人紧密的协同。
做大数据的第六年马上就要过去了，我也将迎来下一个轮回，相信很多人跟我一样，在转型做大数据中会面临着很多变化，希望大家都能找到解决办法，与大家共勉！

帐号		自动登录	找回密码
密码			立即注册

[人物] 六年一轮回：大数据改变的，不仅仅是我的专业！

马上注册，结交更多数据大咖，获取更多知识干货，轻松玩转大数据

站长推荐 /1