周卫林谈支付宝大数据技术实践及应用

第三届Oracle技术嘉年华再度来袭!作为国内顶尖级别的Oracle数据库技术盛会，现场邀请到Jonathan Lewis，Tim Gorman等Oracle数据库领域国际级专家，特别为中国的数据库爱好者带来他们多年的总结与经验分享。另外，来自Linkedin、Salesforce、京东、1号店、百度、360、淘宝、阿里巴巴、支付宝、移动、联通等公司的核心数据库专家、架构师为各位朋友带来国内最新的数据库领域应用及最佳实践分享。

▲支付宝DW/BI高级架构师周卫林

　　支付宝作为现在最受关注的金融产品之一，在余额宝业务推进以来，更是备受关注。提到大数据，很多技术人都对这个平台背后运维的技术以及大数据的发展和应用颇感兴趣。现场，支付宝DW/BI高级架构师周卫林给我们分享了支付宝大数据技术实践及应用。

　　支付宝之所以备受大家的喜爱，更重要的是支付宝的安全机制和使用便捷性。但是，业界并不仅仅有支付宝一家支付产品，如今微信也已经推出了微支付。周卫林表示，支付宝的安全性机制要比微信高，比如大家在一个会场开会，通过后台的数据分析，基于这个位置的交易被认为是熟人之间的交易，不需要特别的验证，背后有强大的技术支撑。比如，在小区中，基于小区的地理位置信息，人与人之间的交易认为是家人之间的交易。

　　目前，支付宝平台每年的数据的增长量超过以往所有年份数据累加之和还要多。

　　不同的业务阶段，导致不同的数据诉求，业务模式在最开始的时候负责度比较高，随着业务的增长对于创新的要求比较高。

▲支付宝不同的业务阶段，导致不同的数据诉

　　数据诉求分析

　　当前业务阶段的特点：

　　1、“能一眼看得见的山头不多了”，面临创新压力；2、“生孩子容易，养孩子难”，如何做好精细化运营。

　　当前数据诉求的特点：

　　1、主要用户不再是管理层(需求固定)，而是一线同学(需求不固定)；2、实现手段，不能仅是报表(T+1天)，数据需要对接生产系统(T+1秒)。

　　当前的主要矛盾：无法快速响应日常需求

　　1、数据分析师/ETL工程师满足不了日益旺盛的数据需求，成为资源瓶颈；2、精细化运营带来数据粒度下降，业务发展带来数据指数增长，传统方案无法应对；3、缺乏数据化运营的业务支撑平台。

　　传统BI产品存在的几个问题：

　　1、对大数据支持不够：亿级数据的Ad-hoc，玩不了;2、有学习成本：比较专业，分析师也需要培训才能较好使用;3、License贵：依据账号数收费，无法大面积开放;4、需要二次开发：无法直接给一线人员使用，一般要二次封装，而且基本无技术支持。

　　思路：人人都会用的大数据分析工具

　　工具让数据的使用更简单，人人会使用数据，才是数据化运营的基础。数据逻辑如果不通过可视化的效果很难展现出来支付宝结合用户的使用习惯，自己开发一套工具，通过工具解决瓶颈的问题。如何让工具让数据使用更简单。站在内部角度看到工具的迫切需求，主要是因为数据越来越多，传统的工具支撑需求有很大的难度。

▲支付宝大数据消费的产品解决方案

　　HiGo特性介绍

　　演示环境说明：

　　数据量：18亿条记录，60个字段，占用空间1.4T

　　机器量：3台，96G内存，2T SATA磁盘，6核*2 CPU

　　分40个shard，每个shard

　　4600万条记录

　　任意条件的统计汇总：求浙江和广东省 4钻店铺和5钻店铺的店铺数，申请贷款金额总和和申请贷款的笔数总和”

　　任意条件的多维度分组统计：从一年的贷款数据中，看淘宝和天猫每一天申请贷款总金额、申请贷款的笔数

　　任意条件的多维度分组统计，含count distinct：从一年的贷款数据中，看淘宝和天猫每一天申请贷款的用户数

　　Case when：从一年的贷款数据中，看淘宝和天猫每一天申请金额在100W以上的大额贷款的总额，以及所有贷款总额(包括小额)

▲HiGo整体架构