阿里巴巴资深技术专家林伟：阿里大规模数据计算与处理平台

阿里巴巴资深技术专家林伟：阿里大规模数据计算与处理平台
演讲视频：

PDF讲义：https://yqfile.alicdn.com/7d97a3df955d53a911396d1565a8f141.pdf

演讲简介：

11对阿里云大数据平台的技术挑战主要体现在两方面。实时数据处理技术方面，包括日志数据和交易数据的实时采集、分发、计算，最终在媒体直播大屏上实时渲染和展示，整个链路的稳定性保障压力是巨大的。今年双11，阿里云实时大数据系统完成了三项世界级的挑战：1.低延时，从零点第一笔交易发生，到媒体大屏上显示出统计结果，整个处理过程仅延时仅几秒钟；2.高性能、高吞吐，最高处理速度达到千万条/秒，流计算的整体性能比去年提升了N倍；3.高可用，全天服务不降级、无故障，扛下了高峰期所有的流量。而在超大规模的离线数据处理方面，双11期间，阿里云MaxCompute抗下了单天数据处理峰值上百PB，以及百万级的调度作业，这对于作业调度、计算性能、系统稳定性等都是极大的考验。