Facebook、亚马逊等巨头是如何建造自己的数据库的？

在Keen IO，我们认为会运用事件数据的公司才具有竞争优势，世界领先的科技公司证明了这一点。但是我们仍然对Facebook、Amazon、Airbnb、Pinterest和Netflix数据团队所做的事情感到惊讶。他们为软件和企业从数据中获取信息而制定了新标准。

由于他们的产品用户量极大，所以这些团队必须不断地定义规模分析的方法。他们已经在数据架构中投入了数百万美元，并且在大多数公司中，数据团队的规模超过了整个工程部门的规模。

我们建立了Keen IO，是为了以让大多数软件工程团队无需从头架设所有内容，就可以利用最新的大型事件数据技术。但是，如果您对如何成为巨头公司感到好奇，那么请从最好的公司中收集一些架构。

Netflix

Netflix拥有9300万用户，没有交互缺陷。正如他们的工程团队在Netflix数据管道的演变中描述的那样，他们每天大约捕获5000亿个事件，每天大约有1.3 PB的数据传输。在高峰时段，他们每秒将记录800万次事件。他们雇用了100多个数据工程师或分析师。

以下是上述文章中数据架构的简化视图，其中显示：开源系统Apache Kafka，搜索服务器Elastic Search，亚马逊云存储服务AWS S3，进行大数据处理的Apache Spark，运行框架Apache hadoop和大数据分析服务EMR作为主要组件。

Facebook

拥有超过10亿的活跃用户，Facebook有世界上最大的数据仓库之一，存储超过300PB。该数据被用于广泛的应用：从传统的批处理到图形分析，机器学习和实时交互式分析。

为了进行大规模的交互式查询，Facebook的工程师发明了Presto，一种针对点对点分析进行优化的定制分布式的SQL查询引擎。每天有1000多名Facebook员工使用Presto，通过Hive、HBase和Scribe的可插拔后端数据存储，每天执行查询次数超过30000次。

体系结构

后端数据存储

Airbnb

Airbnb支持超过1亿用户浏览200多万的房屋列表。他们智能地向这些用户提供新的旅行建议的能力，这对他们的成长有很大影响。

Airbnb的数据科学经理Elena Grewal在去年的会议“建立一个世界级的分析团队”上提到，他们已经将Airbnb的数据团队扩展到拥有30多名工程师的规模。这是每人每年500万的投资。

在博客《数据基础架构》一文中，AirbnbEng建筑师James Mayfield、Krishna Puttaswamy、Swaroop Jagadish和Kevin Longdescribe描述了构建数据结构的基本要素以及如何为关键任务数据提供更高的可靠性。他们严重依赖Hive和Apache Spark，并使用了Facebook的Presto。

AIRBNB的数据基础结构

Pinterest

Pinterest每月有超过1亿的用户浏览超过100亿的网页浏览量。截至2015年，他们将数据团队扩展到拥有250多名工程师的规模。他们的基础设施依赖于开源系统Apache Kafka，数据处理框架Storm，系统基础架构Hadoop，开源数据库HBase和GPU渲染器Redshift。

数据管道结构图

Pinterest团队不仅需要追踪大量客户相关的数据。像其他社交平台一样，他们还需要向广告商提供详细的分析。黄彤波在《Behind the Pins: Building Analytics at Pinterest》一文中写道：为了满足这一需求，他们改进了自己的分析堆栈。以下是Pinterest团队如何使用Apache Kafka，AWS S3和HBase的示意图：

Pinterest商业数据分析结构图

Twitter / Crashlytics

每天实时处理50亿次会议。Ed Solovey介绍了Crashlytics Answers团队构建的一些架构，用于处理数十亿的日常移动设备事件。

信息流接收

存储

批处理计算

加速计算

总览

Keen IO的数据架构

正如我之前提到的，我们构建了Keen数据接口（API），以便任何开发人员都可以使用世界一流的数据架构，而无需拥有一个庞大的团队构建一大堆基础架构。成千上万的工程团队使用Keen的API来捕获、分析、流式传输和嵌入事件数据，包括实时和批处理应用程序。

虽然使用Keen的开发人员在发送事件或运行查询时不需要知道幕后发生的情况，但下面是处理其请求的体系结构：

Keen IO 信息处理结构图

在输入方面，负载均衡器处理数十亿个传入的帖子请求。事件流来自于应用程序，网站，连接设备，服务器，计费系统等等。事件需要验证、排序和可选择地丰富额外的元数据，如IP-地理查询。这一切都发生在几秒钟内。

一旦安全地存储在Apache Cassandra中，事件数据就可以通过REST API进行查询。我们的架构（通过Apache Storm，DynamoDB，Redis和AWS lambda等技术）支持从原始传入数据实时数据探索，到应用程序和面向客户报告的缓存查询的各种查询需求。Keen每天查询数万个事件属性，并为成千上万的客户构建报告，自动化和数据挖掘界面。

感谢！

感谢团结一致的数据工程界，不断发明新的数据技术、开源，并分享他们的知识。如果没有这么多工程队伍的基础工作，没有与我们天天一起合作的人，我们的团队也不可能有今天。欢迎各方的意见和反馈。

特别感谢文章中提到的的作者和建筑师：Netflix的Steven Wu，Facebook Presto、AirbnbEng和Pinterest的工程师Martin Traverso，以及Crashlytics Answers的Ed Solovey。

感谢编辑Terry Horner，Dan Kador，Manu Mahajan和Ryan Spraetz的帮助。

翻译来自：虫洞翻翻   译者ID：王炜   编辑：郝鹏程

本文来自翻译：blog.keen.io

来自：36kr