【干货】如何搭建基于Hadoop的大数据平台

随着大数据的风生水起，以hadoop家族为代表的软件逐步占据了大数据处理的广阔地盘，Hadoop也从小众领域变成了大数据开发的标准。在Hadoop原有技术基础之上，Hadoop家族产品日益庞大，你了解哪些hadoop家族产品？快来看看它们的主要成员吧。

一、基于Hadoop 的生态圈

• HDFS
  
  
  

用于解决海量数据存储问题。

• MapReduce
  
  

为海量数据提供计算框架。

• Common
  
  

提供基础支撑功能，是Hadoop体系底层模块，为Hadoop各子项目提供各种工具，如：配置文件和日志操作等。

• Hive
  
  

hive有一套映射工具，可以把SQL查询转换成MapReduce中的job来运行，使你从繁琐的 MapReduce程序中解脱出来，用更简单更直观的语言去写程序。但它的缺点是速度较慢。

• HBase
  
  

既然Hive的速度较慢，那么有没有较快的数据库呢？那就是HBase，HBase查询的速度很快。

• Sqoop
  
  
  

如果数据存在MySQL，Oracle等数据库，怎么导入到HDFS中？Sqoop提供了关系型数据库与HDFS间的相互转换。

• Flume
  
  

服务器这么多，如果其中一台有点问题，或者哪个服务出现问题，如何知道哪里出问题了？Flume提供了一个高可靠的日志采集系统。

• Mahout
  
  

Mahout是一个分布式机器学习算法的集合，Mahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项挖掘，能帮助开发人员更快捷地创建智能应用程序。

• Pig
  
  

Pig是在MapReduce上构建的一种高级查询语言，把一些运算编译进MapReduce模型的Map和Reduce中，并且用户可以定义自己的功能。

• Zookeeper
  
  

解决分布式环境下的数据管理问题：统一命名、状态同步、集群管理、配置维护等。

• Ambari
  
  

安装、管理和监控Hadoop集群的Web界面工具。

• Chukwa
  
  

分布式数据收集和分析工具集，用于显示、监控、分析大型分布式系统的运行数据。

• HCatalog
  
  

提供共享数据模板和数据类型的机制，并对数据表进行抽象便于进行数据整合。

以上是对Hadoop家族的主要成员的介绍，了解这些成员的作用后，对Hadoop整体能干什么就有了初步的认识,那接下来就尝试着搭建基于hadoop的大数据架构吧。

二、基于hadoop的大数据框架

• 数据集成层
  
  

集成各类数据源，包括私有应用数据、数据库数据、系统产生的日志数据等，这些数据具有来源广、数据量大、类型多等特点；

• 数据存储与计算层
  
  

提供分布式、可扩展的海量数据存储、管理与处理能力；

• 数据分析层
  
  

为分析人员提供高级分析与挖掘工具，提升效率；

• 平台管理层
  
  

确保整个数据平台平稳、安全运行，包括配置管理、运行监控、日志管理、故障管理、性能优化、安全管理等功能。

（原文转自：京东大数据专家，欢迎大家关注）