马上注册,结交更多数据大咖,获取更多知识干货,轻松玩转大数据
您需要 登录 才可以下载或查看,没有帐号?立即注册
x
HAWQ是hadoop原生SQL查询引擎,结合了MPP数据库的关键技术优势和Hadoop的可扩展性和便捷性。HAWQ从HDFS本地读取数据并将数据写入HDFS。 HAWQ提供业界领先的性能和线性可伸缩性。它为用户提供了自信和成功地与petabyte range数据集交互的工具。HAWQ为用户提供了一个完整的、符合标准的SQL接口。更具体地说,HAWQ有以下特点: - 本地或云部署
- 健壮的ANSI SQL遵从:SQL-92, SQL-99, SQL-2003, OLAP扩展
- 极高的性能——比其他Hadoop SQL引擎快很多倍
- 世界级的并行优化器
- 完整的事务处理能力和一致性保证:ACID
- 基于高速UDP的互连的动态数据流引擎
- 弹性执行引擎基于按需虚拟段和数据局部性
- 支持多级分区和基于列表/范围的分区表。
- 多重压缩方法支持:snappy, gzip
- 多语言用户定义函数支持ython, Perl, Java, C/C++, R
- 基于MADLib的高级机器学习和数据挖掘功能
- 动态节点扩展:以秒为单位
- 最先进的三级资源管理:集成YARN分层资源队列。
- 轻松访问所有HDFS数据和外部系统数据(例如,HBase)
- 原生Hadoop:从存储(HDFS)、资源管理(YARN)到部署(Ambari)。
- 身份验证和粒度授权:Kerberos、SSL和基于角色的访问
- HDFS和YARN的高级C/ c++访问库:libhdfs3和libYARN
- 对大多数第三方工具的支持:Tableau, SAS等。
- 标准接口:JDBC/ODBC
HAWQ将复杂的查询分解为小任务,并将它们分发给MPP查询处理单元执行。 HAWQ并行度的基本单位是段实例。一个并行查询处理系统由服务器上的多个工作段实例形成。优化过的查询提交给HAWQ,被分解为更小的组件,并被分派到一起工作的段实例,并生成单个结果集。所有关联操作(如表扫描、连接、聚合和排序)同时在各段并行执行。来自动态管道中上游组件的数据通过可伸缩用户数据报协议(UDP)连接并传输到下游组件。 基于Hadoop分布式存储,HAWQ不存在单点故障,支持全自动在线恢复。系统状态在持续监控,因此如果一个段失败,将自动从集群中删除。在此过程中,系统能继续客户查询服务,必要时可以重新添加回系统。
|