2014eBay上海大数据峰会10月25日召开

1414192420885.jpg (89.39 KB, 下载次数: 142)

下载附件  保存到相册

2014-10-25 21:57 上传

　　2014年10月25日，由ebay、CSDN共同举办的“大数据峰会”将在上海豫园万丽酒店举办。届时我们将联手数位来自国外的顶尖数据专家，为大家奉上一场大数据的技术盛宴。无论您是关注机器学习、数据仓库、hadoop，还是系统架构领域；无论您是数据工程师还是系统架构师；无论您来自电商、游戏等互联网行业，还是金融、医疗等传统行业——在这里，我们相信您一定能找到您想听的议题、找到您想结识的朋友，学习您想了解的技术。

16:10腾讯T4技术专家、数据平台部精准推荐中心总监李勇，以“腾讯大数据平台与推荐应用架构”作为峰会的结尾。腾讯的月活跃用户8.3亿，微信月活跃用户4.4亿，QQ空间月活跃用户6.5亿，游戏月活跃用户过亿。如今腾讯的数据分析已经能做到始终“不落地”，即全部的实时处理。腾讯大数据平台有如下核心模块：TDW、TRC、TDBank、TPR和Gaia。简单来说，TDW用来做批量的离线计算，TRC负责做流式的实时计算，TPR负责精准推荐，TDBank则作为统一的数据采集入口，而底层的Gaia则负责整个集群的资源调度和管理。李勇还特别强调了数据平台体系化是应用基础，数据应用商业化是价值导向。 [详情]

15:30eBay资深架构师蒋旭，分享了eBay刚刚开源的技术Kylin——基于Hadoop的大规模联机分析引擎。随着eBay大量数据都迁移到Hadoop上，如何读取数据？如何达到百亿数量级的数据，秒级时间内就能收到数据分析结果？而Hive又太慢了，eBay开发了Kylin来完成这个任务。现在已经有很多SQL-on-Hadoop技术了，为什么还要重复造车轮？蒋旭分析了现有系统的问题，多数选择ROLAP的模式，数据集一大，latancy特别长。eBay选择了MOLAP和ROLAP的混合模式，并坚持尽量使用Hadoop已有功能的原则，Kylin支持ANSI-SQL的query。 [详情]

14:20EV Analysis Corporation首席数据科学家Ying Li，分享了数据科学的实践。Ying Li首先介绍了数据科学的定义和自己多年积累的实践原则：Question，用问题指引工作；Unknowns，知道你的盲点；Explore，从不同角度看数据；Scrupulous vs. Speed, Science vs. Scrappiness；Truth，数据和现实的关联。认为数据科学的一个重要性质是可重复性，而评价数据科学家的一个重要指标则是其代表作。

13:30下午，eBay全球平台架构资深架构师Sami Ben-romdhane，首先带来演讲“Hadoop平台监控、预警及自动化”，eBay的Hadoop平台团队，包括9位中国工程师和11位美国工程师，Eagle完全由中国的团队开发。eBay的Hadoop节点从2007年的几个，发展到2014年的10000个，Hadoop集群的管理成为难点，Eagle应运而生。Eagle的应用场景包括监控M/R作业，作业性能的分析，服务器异常检测，管理SLA作业，监控节点审计日志，监控HDFS镜像，监控进程GC日志等。Eagle的主要组件包括Eagle Data Feeder，Eagle Logstash Integration，Eagle Data Storage，Eagle Query Service，Eagle Anomaly Detection，Sami分别对其做了详细介绍。

11:00Druid创始人Eric Tschetter接下来发表演讲“Druid之旅，大数据实时分析数据存储框架”，Eric以一个Demo开场介绍了Druid。Druid是一个开源的、实时处理数据库，主要用于数据量较大、多维度数据的场景，满足不宕机的数据分析需求，在Druid之前，他们尝试过RDBMS（加载速度过慢）、NoSQL存储（随着维度的增加，效率降低），由于各种缺陷开始了Druid的开发。Druid将历史数据和实时数据分开，Realtime Nodes、Historical Nodes，还有Broker Nodes，再将两者进行合并处理。接下来Eric详细介绍了Druid的数据存储形式和处理方式。

10:00国立台湾大学卓越教授林智仁，作为作为机器学习的研究者，带来了分享“大规模分布式机器学习”。分布式机器学习还在很初期的阶段，其带来的最大挑战是：以前在一台机器上的算法、工具等都已经基本失效，要考虑算法、系统和应用等各个方面，但也有人说大量的数据中能够更容易挖掘出有效数据。从技术角度来说，分布式机器学习的优点有：1.可实现并行数据加载，提高加载效率；2.容错机制。分布式机器学习的缺点有：深度分析变得复杂。而如果真的要采用分布式机器学习，则要考虑数据的计算时间，加载时间和同步时间，而在过去的机器学习中，我们只会考虑计算时间。最后，林智仁介绍了几个分布式机器学习的算法及其应用场景，比如Logistic Regression问题的分布式实现，Google的Sibyl系统，林智仁还以用户的CTR预测应用场景进行了说明。

9:10eBay全球数据架构副总裁Debashis Saha发表了演讲“大数据基础架构的未来”。如今有五分之一的美元是花费在网上，eBay已经不仅仅是一家连接买家和卖家的电子商务公司。eBay目前有1.28亿的活跃用户，Paypal有1.43亿活跃账户，200PB以上的数据。几年前，Hadoop的出现为这些大数据的处理提供了可能。Debashis首先介绍了eBay如何在Hadoop的基础上，扩展平台和工具，来适应大数据商业的需求，在eBay的生态系统中，分为三层：Infrastructure，platform和services。接下来，Debashis介绍了eBay在深度数据分析和快速、实时分析方面所做的工作。

9:05eBay总经理，eBay China Center of Excellence田卫女士做了开场致辞，在感谢各位来宾的同时，对1500位报名但由于场地限制，未能来参会的同学表示了歉意。大数据以迅雷不及掩耳之势，迅速的扩展到我们的金融、娱乐、工作和生活中来。她以自己打桥牌的经历为例，说明了一个“小数据”的例子。打桥牌，不仅牌要打得好，还要运气好，失误少。田卫把大数据技术融入到桥牌的失误中来，积累了大量的数据，不久久参加了第14届世界桥牌竞标赛。作为一个菜鸟在短时间内能够进入世界级比赛，足以说明数据分析的魅力。未来，eBay会开源几个大数据平台工具，将顶尖的大数据技术分享给世界。

9:00eBay上海大数据峰会正式开始，CSDN&《程序员》总编刘江主持了本次大会。