京东分享：企业大数据的新认识与应用

前言

笔者2005年开始接触大数据相关工作，那个时候还没有大数据的概念，甚至商业智能（BI）、商业分析（BA）的概念还没有，那个时候偶尔能听到有人在做数据仓库相关工作。05年开始跟导师一起做项目，研究的课题就是“反垃圾邮件”，主要运用文本挖掘技术实现垃圾邮件的智能识别，算是入了大数据的门儿，后来参加工作也都是在做BI、大数据相关工作，10余年间不能说有多少成功经验，至少还是有不少失败经验可以分享。如下：

和我们息息相关的大数据

大数据和我们每个人日常生活已经非常紧密地联系在一起了。

随便举个场景的例子，比如说，早上醒来的时候我通过智能手表的数据，发现昨晚的睡眠质量并不是太好，早上洗脸刷牙吃过早饭，步行1000多步来到六道口地铁刷卡坐地铁，两站3块钱到达奥林匹克公园，在地铁上我通过京东手机客户端发现一双我之前浏览过的Nike篮球鞋降价了，京东将这条商品信息主动推送过来，我立马下单购买，节省了100多块钱，并且我把这条信息通过微信分享到了朋友圈。

在这个过程中，我个人生产了睡眠数据、步行距离数据、地铁刷卡消费数据、地铁起点终点地理数据、京东购物数据、微信朋友圈数据，所以作为大数据生产者我一下子生产了这么多数据。而作为大数据消费者，在我以后浏览京东商城或app的时候，系统可能会向我推荐改善睡眠智能的枕头、篮球鞋或与篮球鞋相关的其他商品，而我朋友圈的朋友看到我的分享信息后，他们也可能因为我的分享而去购买。

而我们生产的这些数据，企业尤其是互联网公司拿到后，通过数学统计和挖掘的算法将其进行聚类、拆分和预测得到更多相关数据，通过这些数据对我们每个人进行标签化的描述。如性别，婚姻状况，兴趣爱好，收入情况，是否喜欢运动，促销敏感度等等，这样就得到了我们每个人的很多属性，如人口基本属性、购买能力、行为特征、社交网络、心理特征、兴趣爱好等等。

企业掌握了这些数据之后，他们如何来利用这些数据呢？是通过这些数据来做营销，如精准营销，广告的精准投放，商品的精准推荐？还是通过这些数据精细化企业内部运营管理？又或是通过这些数据改善生产工艺流程、指导产品的二次研发？那就看企业大数据修行的层次了。大数据应用的好，可以真正提升到战略高度，用的不好，大数据也就是锦上添花，可有可无的东西。

按照数据挖掘的聚类思维，企业数据可以分为内部数据和外部数据，内部数据又可以简单分为财务数据和供应链数据（大供应链概念）。当然不同行业的企业经营内容差别很多，如金融行业，涉及到投资、融资、现金管理等财务方面可能多一些，涉及到供应链很少，而生产制造或流通服务行业，涉及供应链的数据就会多一些。

财务数据主要是以财务报表，尤其是财务发布的三大报表为主，资产负债表、利润表以及现金流量表。之后是总帐，总帐里面记账会涉及到科目、科目不够用我们也会设置辅助核算，还有大多企业每年都会做预算，预算大多也是围绕财务指标制定的，或者是以财务预算为主倒推业务预算。当然财务管理中其中一大块还有资金管理。

供应链的数据种类就会更多一些，从供应链上游的供应商到下游的消费者，包括采购，仓储，物流，生产，销售，售后等数据。当然每个环节我们还是可以再进一步去细化。

另外，相信没有一家是自己关起来门来做生产，做营销的，都要积极地去参考外部数据，这其中就包括国家政策、经济环境、股市行情、竞争对手、主要原材料价格等。

大数据整体架构

大多数企业应该实施了BI系统或报表自动化系统，如果这些系统是由乙方单位负责规划建设，他们在规划或者实施过程中制定的系统方案架构图无非就是分三个层次顶多四个层次。

从下往上说，第一个层次元数据层或者数据源层，就是我们业务应用系统的数据，财务，供应链，人力资源，预算等等。

第二层次叫做大数据存储层，就是把下面每个层次的数据源采集到一个数据仓库里面去，之后就到了第三个层次，分析模型层，基于数据仓库构建分析模型，有的方案甚至将分析模型层直接省略掉，直接到了最后一个层次数据展示层，将分析模型中的数据展示出来。根据笔者多年从业经验，这样的组织形式顶多称之为BI系统，还不能称之为大数据系统。

京东大数据并不是一个单独的系统或产品，京东大数据应用已经融入到每个业务应用系统当中了。我们的大数据采集平台在不影响系统或产品效率以及客户体验的前提自动将所有数据定时、实时采集到hadoop平台上，以大数据平台为核心，将经过加工、处理、分析和挖掘后的结果分发后各个业务系统以及数据产品中，如商城、采销、数据罗盘、领航等。下图仅供参考：

企业大数据应用层次

不是每家企业都是京东，也不是每家企业都是互联网公司，不是每家企业的业务都必须需要大数据的支撑。在满足自己业务需求的前提下，企业是不是也能玩一玩小数据应用呢？答案是肯定的，大数据应用也是可以分层次的，每个层次满足企业对数据不同层次的需要。大致分为5个层次，每个层次是逐级递进的关系。

1.业务监测

这是大数据应用的初级阶段，即传统的DW/BI阶段。在这个阶段，企业部署商业智能(BI)解决方案，其实就是一套自动化报表系统，用以监测现有业务的运行状况。

业务监测，有时也被称为业务绩效管理(Business Performance Management)，指企业使用基本的分析手段，来预警业务运行低于或高于预期的情况，并自动发送相关警示信息给相应业务和管理人员。企业业务和管理人员可以根据之前制定的预警规则，提前掌握业务经营情况，实现提前预警，帮助他们有针对性、有预见性的采取一些措施和手段，来防范于未然。

这个阶段最关键有两个要点，一个是预警规则的设计，经常采用的方法包括参照方法(同期比较、同类营销活动比较、同业标杆比较)或指标方法(品牌开发、客户满意度、产品绩效、财务分析)，指标分析法就是选择合理的指标，当然这里合理指标的选择说起来容易，其实做起来也要费一番脑筋的，给大家举个我之前碰到的例子，当时是给一个做离散制造的企业做方案设计，他们在库存管理方面绩效考核一个非常重要的指标就是存货周转率或存货周转天数，这本来是一个非常正常也是经常使用的指标，但是这家单位的库存管理存在假出库、假入库的情况，这种情况就造成了存货周转率这个绩效指标看起来非常好看，后来我们经过考虑改用动销比，存销比作为指标，将库存指标和销售指标联合起来组合使用，就避免了假出库、假入库的情况。举这个例子的目的，就是想说明我们在做业务监控的时候，指标选择很重要，既要准确、公正地反映出该块业务运营情况，同时还要避免人为造假的情况。

2.业务洞察

业务洞察意味着系统不只是提供数据报表，而是“智能”报表或“智能”仪表盘，需要根据历史数据进一步预测、挖掘出我们通过前面多维分析还不知道的一些数据了。

比如说，笔者以前在给杭州某家连锁酒店做项目的时候，我们需要根据该酒店在全国范围内投资过酒店的经营情况数据来做些更好玩的东西出来，如我们需要根据之前投资过的酒店的装修投入情况，不同档次当前出租率，酒店餐饮部门的上座率和翻台率，营业收入，成本费用以及当地城市竞争对手酒店情况来预测新投资一家酒店的投资回报率和投资回收期。另外，还有就是财务分析中经常会用到的杜邦分析，简单说下杜邦分析，杜邦分析就是从财务的角度对整个企业财务绩效情况进行综合分析的一个模型，他基本原理就是顶端是ROE，针对ROE我们可以分解为ROA×权益乘数，ROA又可以分为销售净利率×资产周转率，之后再次分解，最后成一个全是财务指标的树形结构。由于这些财务指标都是通过财务报表项目，会计科目和辅助核算计算出来的，所以他们之间存在着非常紧急的逻辑关系，这样的话，我们可以计算一些技术手段实现模拟预测，如做下一年预算或规划的时候，想让某些财务指标达到什么水平，我们事先将其进行调整，和他相关的指标也会联动，比如将净利润提高1%，销售收入、营销成本、管理费用等其他指标就需要达到什么程度?这样可以帮我们做到事先预测，更好地做规划和预算。

当然这个阶段可以做预测的还有很多，比如零售行业，大多品类的销售是有销售周期的，基于销售周期我们可以对销售进行预测。也可以根据历史用户对不同营销方式的响应程度、营销费用、营销商品以及营销效果之间的关系，较为准确的锁定目标人群进行有针对性的营销，提高营销效率，降低营销成本。

3.业务优化

业务优化对于绝大多数企业来说还是很具备吸引力的，这也是很多企业日思夜想的目标。其实在这个阶段我们可以一步步来，一点点来做，至少企业是有能力将分析技术嵌入到业务运营之中。这里举个我们之前给传统企业做过一个案例，像大多数企业一样， 这家企业也有ERP系统，在采购环节，我们可以将供应绩效模型引入进来，当然这个供应商绩效模型可能要考虑的因素会比较多，如供货质量、供货效率，次品率，售后服务等等很多因素，采购人员在进行采购的时候可以根据供应商绩效模型自主选择合适的供应商，这是一个例子，另外还可以将主要原材料的市场价格进行实时接入到采购界面，让采购管理人员可以自己掌握采购周期，合理安排采购计划。

在零售行业我们都知道，商品和商品之间，用户和用户之间，用户和商品之间是存在着很强的关联关系，就像大伙常说啤酒和尿布的例子，巧克力和避孕套的例子。这里可以大家稍微说下，大多电商是怎么做的，我们通过这些商品在被购买的记录中找出每两个商品之间的关联关系，这种关联关系并不是对等的，比如说购买了手机的用户一般也会同时购买手机壳，而买手机壳的人不一定也买手机，这就说明手机和手机壳之间是有关系的，而且是强关系。手机壳和手机之间关系是弱关系，这里关系的强弱我们用系数来说明。所以商品和商品之间的这种关系，我们就形成一个商品模型。基于这个商品模型，我们就可以更好向用户推荐他浏览过、购买过、收藏过、评论过的商品了。说完商品，我们再说用户，用户通过类似的浏览行为，搜索行为，评论行为以及购买行为，我们可以找到用户和用户之间的关系。基于用户之间的行为关系，我们可以向用户推荐其他和他相关度很强的用户购买或感兴趣的一些商品。这也就是好多互联网公司做广告推荐，商品推荐，促销信息推荐等常用的做法。

4.数据盈利

数据盈利也就是我们经常谈到数据变现，数据盈利的一种方式就是数据产品化。目前有很多数据服务类公司，可以采集到移动端游戏， app使用情况，用户行为等数据，通过他们数据挖掘和分析的技术，再通过产品或服务的行为进行输出即可实现变现的目的。另外，手机厂商，如小米、华为等，他们都拥有几亿的活跃用户，掌握一手用户在手机的行为数据，甚至包括支付数据。能变现的方面就有很多了，限制他们的就是他们的想法了。另外也越来越多的传统厂商将产品数据化了，如汽车+大数据 变成了特斯拉，家居+大数据变成了智能家居，当然这里能举的例子还有很多。

5.业务重塑

业务重塑应该是大数据成熟度模型的最高阶段。在这个阶段，某些企业希望利用对客户使用方式、产品效能行为及总体市场趋势的分析，将商业模式转换到新市场的新服务，例如：京东的新开展的业务，京东金融、京东智能。此外，我们可以发挥一下想象力，BAT有哪些业务是以主营业务数据为基础开拓出来的，是不是能想到很多？

中国乃至世界真正拥有大数据的企业不多，我们是幸运的，拥有电商全价值链的大数据，如何挖掘这座金矿？限制我们的只有我们自己的想法。