周卫林_支付宝大数据技术实践及应用

注：本PPT来源于2013年11月第三届Oracle技术嘉年华，由支付宝DW/BI高级架构师周卫林 贡献。我们预计目前支付宝的大数据技术已经上升到了一个新的台阶，但是我们仍然想把这个PPT分享出来，让大家了解一下，一个风靡全球的支付系统背后到底使用了什么样的大数据技术，以及支付宝大数据技术的实践，给新入场的朋友们作为参考。

正文如下：

支付宝之所以备受大家的喜爱，更重要的是支付宝的安全机制和使用便捷性。但是，业界并不仅仅有支付宝一家支付产品，如今微信也已经推出了微支付。周卫林表示，支付宝的安全性机制要比微信高，比如大家在一个会场开会，通过后台的数据分析，基于这个位置的交易被认为是熟人之间的交易，不需要特别的验证，背后有强大的技术支撑。比如，在小区中，基于小区的地理位置信息，人与人之间的交易认为是家人之间的交易。

目前，支付宝平台每年的数据的增长量超过以往所有年份数据累加之和还要多。

不同的业务阶段，导致不同的数据诉求，业务模式在最开始的时候负责度比较高，随着业务的增长对于创新的要求比较高。

数据诉求分析当前业务阶段的特点：

1、“能一眼看得见的山头不多了”，面临创新压力；2、“生孩子容易，养孩子难”，如何做好精细化运营。

当前数据诉求的特点：

1、主要用户不再是管理层(需求固定)，而是一线同学(需求不固定)；2、实现手段，不能仅是报表(T+1天)，数据需要对接生产系统(T+1秒)。

当前的主要矛盾：无法快速响应日常需求

1、数据分析师/ETL工程师满足不了日益旺盛的数据需求，成为资源瓶颈；

2、精细化运营带来数据粒度下降，业务发展带来数据指数增长，传统方案无法应对；

3、缺乏数据化运营的业务支撑平台。

传统BI产品存在的几个问题：

1、对大数据支持不够：亿级数据的Ad-hoc，玩不了;

2、有学习成本：比较专业，分析师也需要培训才能较好使用;

3、License贵：依据账号数收费，无法大面积开放;

4、需要二次开发：无法直接给一线人员使用，一般要二次封装，而且基本无技术支持。

思路：人人都会用的大数据分析工具

工具让数据的使用更简单，人人会使用数据，才是数据化运营的基础。数据逻辑如果不通过可视化的效果很难展现出来支付宝结合用户的使用习惯，自己开发一套工具，通过工具解决瓶颈的问题。如何让工具让数据使用更简单。站在内部角度看到工具的迫切需求，主要是因为数据越来越多，传统的工具支撑需求有很大的难度。

HiGo特性介绍

演示环境说明：

• 数据量：18亿条记录，60个字段，占用空间1.4T
• 机器量：3台，96G内存，2T SATA磁盘，6核*2 CPU
• 分40个shard，每个shard
• 4600万条记录
  

任意条件的统计汇总：求浙江和广东省 4钻店铺和5钻店铺的店铺数，申请贷款金额总和和申请贷款的笔数总和”

任意条件的多维度分组统计：从一年的贷款数据中，看淘宝和天猫每一天申请贷款总金额、申请贷款的笔数

任意条件的多维度分组统计，含count distinct：从一年的贷款数据中，看淘宝和天猫每一天申请贷款的用户数

Case when：从一年的贷款数据中，看淘宝和天猫每一天申请金额在100W以上的大额贷款的总额，以及所有贷款总额(包括小额)

下面是详细的PPT介绍： 链接: http://pan.baidu.com/s/1o6DS6ca 密码:

游客，如果您要查看本帖隐藏内容请回复

方便的话请提供密码

表示没看过-----------------------

营销研发部 零售平台-产品组负责人

今天，涛姐跟大家谈的是一款创新产品——智能补货工作台。
说起供应链，其中很重要的一个环节就是补货，当库存的商品减少时，是否要进行补货，补多少才能不断货不压库存，保证库存和供应链的健康，是供应链上一个长时间存在的问题，原始的方法，多是人工根据经验判断，如促销时补多一些……
然而，随着公司规模增长，人工的方法也遇到一个个的难题。
[size=1em]单人管理商品过多，耗时长，难兼顾
据调查数据显示，目前京东需要管理500个SKU（商品）以上的采销占比58%以上，需要管理1000个以上SKU的采销超过27%。
我们按补货量计算他们的工作量：以1000个SKU为例：1000*7仓=7000个颗粒度。
调查还显示：8个小时以上的采销占比45%以上，其中16个小时以上近14%，3天以上时间用来的采销占比38%以上。
这意味采销们大量的时间和精力，用在了补货上。
然而他们需要管理的SKU数，随着公司规模扩大，正在逐渐的增多，那么问题来了。。。
你们有哪些功能呢？
采销这个补货是自己补吗？补错了怎么办？遇到大促需要多补怎么办？采销涛姐放心，我们在下补货单前，是需要你再次确定和修改的，等你根据实际情况修改后，就可以一键下单了~哇哦，这么好，那我怎么用呢采销涛姐
pbs.ls.jd.com，你也可以咚咚联系夏文宇和高恩重，有问题找他们就好，现在采销们，用过的都说好哦~
- 本文出自BI168大数据社区，更多精彩请点击 原文地址：http://www.bi168.cn/>>http://www.bi168.cn/thread-8080-1-1.html

非常价值的分享@！~~~~~ 支付宝平台的技术