最具影响力的数字化技术在线社区

168主编 发表于 2019-9-4 18:15:03

Greenplum 6.0正式发布!8大特性重塑开源大数据生态




Greenplum 6 在9月4日于北京举办的2019 Greenplum用户大会上全球首发。Greenplum企业版用户可以从Pivotal官方网站(https://network.pivotal.io)下载最新的Greenplum 6.0版本。开源Greenplum用户登录Greenplum的GitHub repo页面,会看到页面上的(6.0.0)的tag,用户可以自行构建开源Greenplum版本。
https://mmbiz.qpic.cn/mmbiz_jpg/xq1Bf3uUkCicP3dHEhMuQR8BcxeNp27O8ETHKS8sHXVz15ZtDaWFFw4koFOLC3icbKMYDxd07hMK1WJRHOK72MeQ/640?wx_fmt=jpegPivotal公司Greenplum产品总监Ivan Novick在北京宣布Greenplum 6.0发布
Greenplum 新版本在功能和性能上都实现大幅度的提升,大量测试自动运行保证产品质量,可以更好的帮助客户在公有云或私有云中进行出色的集成数据分析,使客户得以快速构建现代的、基于云的AI(人工智能)应用。

现在让我们来看看 Greenplum 6.0都带来了哪些重要特性:
内核升级
Greenplum 6.0的内核升级到PostgreSQL 9.4.20,与Greenplum 5.x的内核(PostgreSQL 8.3)相比,内核版本提升了6个大的版本,集成了来自于PostgreSQL社区的约14000次代码提交,大量PostgreSQL新特性被移植到Greenplum 6.0中,包括:

[*]JSONB
[*]安全性、权限管理增强
[*]Lateral语法(部分支持)
[*] Range数据类型
[*]GIN索引、SP-GiST索引
[*]并行Vacuum
[*]FDW外部表
[*]逻辑解码
[*]CTE (Common Table Expression)
[*]等等
HTAP(OLAP + OLTP)性能大幅提升
Greenplum 6.0 引入了新的全局死锁检查机制,新的机制会动态的收集和分析锁的信息来检查和解除全局死锁。基于此,HEAP表的更新修改操作可以只借助细粒度行级锁完成,支持大并发的更改删除查询,从而提高整个系统的并发度和吞吐量。Greenplum 6.0 还对事务锁进行了优化,减少了开始事务和结束事务时的锁竞争。对分区表的插入操作的优化,减少了对其他分区的干扰。结合PostgreSQL合并带来的其他锁优化(例如fastpath),Greenplum 6.0的并发性得到显著改进,OLTP型和混合负载业务尤其受益。 支持复制表
复制表(Replicated Table)是Greenplum 6.0支持的一个新的表类型。与普通表不同,复制表会在每个segment节点保存一份全量数据,这样当一个复制表和其他表关联时,将完全不需要segment节点间的数据移动,快速本地完成查询。
在线扩容和一致性哈希
在Greenplum6.0之前,扩容节点需要短暂停机并将哈希表改为随机表,在6.0中,这两个约束都被消除,集群可以持续在线扩容。一致性哈希的引入,可以极大减少节点间的数据移动,降低扩容期间网络IO和整个系统的负载。
磁盘配额
磁盘额度(Disk Quota)支持在数据库的User和Schema级别设置磁盘额度,可以极大的提高对磁盘管理的能力和灵活性。本特性将包括在 GA 版本中。
支持Zstardard压缩算法
Greenplum 6.0添加了对Zstandard压缩算法的支持,压缩比和性能更突出,CPU使用率大幅降低。
灵活数据分布
允许用户自定义operator class,并在创建表时给分布列指定operator class, 借助这些功能扩展,用户可以灵活的控制数据分布。
基于流复制的全新高可用机制
Greenplum 6.0 重新设计了高可用机制,新机制不再使用传统的基于文件IO的 filerep 技术,而是采用了 PostgreSQL 内建的日志流复制技术。这不仅大大提高了 Greenplum 的高可用能力,降低了和 PostgreSQL 代码的分歧程度,提高了代码的可维护性,更是为期待的重量级特性铺平了道路,譬如CDC和DR。
Greenplum 数据库相关产品如备份恢复、机器学习算法库 MADLib、文本分析产品GPText(闭源)、监控管理平台GPCC(闭源)、Greenplum-Kafka 连接器(闭源)、Hadoop 连接器PXF、Greenplum forKubernetes (闭源)等也有大量新特性更新。​
页: [1]
查看完整版本: Greenplum 6.0正式发布!8大特性重塑开源大数据生态