最具影响力的数字化技术在线社区

168大数据

 找回密码
 立即注册

QQ登录

只需一步,快速开始

1 2 3 4 5
打印 上一主题 下一主题
开启左侧

[Presto] 菜鸟也能玩转大数据:Airbnb开源Presto数据库SQL工具

[复制链接]
跳转到指定楼层
楼主
发表于 2015-3-10 13:00:50 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式

马上注册,结交更多数据大咖,获取更多知识干货,轻松玩转大数据

您需要 登录 才可以下载或查看,没有帐号?立即注册

x

旅游房屋短租网站Airbnb近日开源了一款SQL工具——Airpal,使普通员工也能够用hadoop系统分析大数据

Airpal是Airbnb一年前就已经开发并使用的Presto数据查询工具,通过Airpal的设计宗旨是降低数据查询门槛,通过可视化界面等使不同部门的业务人员也能轻松写出数据查询请求,预览、分享并复用查询任务。

在Airpal问世之前,互联网公司普遍使用Hive分析Hadoop系统中的数据,但是在Airbnb只有不到15个人能够为Hive编写复杂的SQL查询请求,因为Hive基于Hadoop最常见的批处理引擎——MapReduce,而且运行速度很慢。

据Airbnb的产品经理James Mayfield介绍,超过三分之一的Airbnb员工已经使用过Airpal,SQL的学习曲线坡度被极大降低。

过去,Airbnb的员工如果想分析用户进行预订房间或重置密码等活动时系统自动发送的电子邮件的有效性,需要通过数据科学家使用Hive(Facebook 2008年开源的一款类似SQL的Hadoop数据仓库框架),整个流程冗长缓慢,如今通过Airpal,Airbnb的员工可以自行查询并在数分钟内就获得结果。

Airpal的用户界面

关于Presto:

Airpal的开发基于Facebook的Presto SQL引擎,而Presto是Facebook开发的可在PB级数据上更快执行交互SQL查询的技术,Presto没有使用MapReduce引擎,所有处理都在内存中完成,因此能够获得比Hive至少一个数量级的处理速度。2013年底,Facebook将Presto开源,此举让Presto迅速流行,包括AirBnb和Dropbox等明星创业公司都开始采用Presto。

via:ctocio



楼主热帖
分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏 转播转播 分享分享 分享淘帖 赞 踩

168大数据 - 论坛版权1.本主题所有言论和图片纯属网友个人见解,与本站立场无关
2.本站所有主题由网友自行投稿发布。若为首发或独家,该帖子作者与168大数据享有帖子相关版权。
3.其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者和168大数据的同意,并添加本文出处。
4.本站所收集的部分公开资料来源于网络,转载目的在于传递价值及用于交流学习,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。
5.任何通过此网页连接而得到的资讯、产品及服务,本站概不负责,亦不负任何法律责任。
6.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源,若标注有误或遗漏而侵犯到任何版权问题,请尽快告知,本站将及时删除。
7.168大数据管理员和版主有权不事先通知发贴者而删除本文。

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

关于我们|小黑屋|Archiver|168大数据 ( 京ICP备14035423号|申请友情链接

GMT+8, 2024-5-3 02:53

Powered by BI168大数据社区

© 2012-2014 168大数据

快速回复 返回顶部 返回列表