最具影响力的数字化技术在线社区

168大数据

 找回密码
 立即注册

QQ登录

只需一步,快速开始

1 2 3 4 5
打印 上一主题 下一主题
开启左侧

[Kylin] Kyligence 如何帮助企业建设数据中台

[复制链接]
跳转到指定楼层
楼主
发表于 2020-4-4 18:20:35 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式

马上注册,结交更多数据大咖,获取更多知识干货,轻松玩转大数据

您需要 登录 才可以下载或查看,没有帐号?立即注册

x



盘点  2019 年技术圈的热词,一定会提到“数据中台”。Kyligence 的 CTO 李杨曾在媒体采访中提到,中台并不是一个技术平台,也没有标准架构,中台负责提供 3 方面的内容:
  • 共享的数据服务(Data-as-a-Service)
  • 集中治理数据资产(Governance)
  • 用数据改造业务(Data changes business)
今天,就共享的数据服务,我们来聊一聊如何将 Kyligence 应用在中台的数据服务中。
数据服务是数据中台的重要建设部分
数据服务是数据中台的重要建设内容,在阿里的中台策略中,OneService 的能力包括利用主题逻辑表屏蔽复杂物理表的主题式数据服务、一般查询+ OLAP 分析+在线服务的统一且多样化数据服务和屏蔽多种异构数据源的跨源数据服务三个方向。在各企业的数据中台建设中,这一思想得到了普遍认同,而这些能力需要集成各类技术组件的功能,并在统一规范和统一安全策略下才能形成。
阿里数据中台思想如何将 Kyligence 应用于数据中台
基于 Apache Kylin 发展而来的高性能大数据工具,Kyligence 被很多企业集成到数据中台,支持主题式数据服务、跨源数据服务和多样化数据服务。
1)主题式数据服务
Kyligence 致力于成为新一代的智能数据仓库,满足企业在大规模数据量上实现高效分析应用的需求。在 OLAP 思想中,基于事实表和维度表的星型模型本身就是针对业务主题的数据封装,Kyligence 每一个 Model 都对应一个业务主题,并通过 API 提供诸如业务模型(model)、维度、指标等方面的信息,支持应用开发,如某银行的业务指标订阅应用中,应用通过调用Kyligence的模型API(GET http://host:port/kylin/api/models、GET http://host:port/kylin/api/cubes)获取模型信息形成业务主题清单和分析主题清单,调用  Cube 信息 API 给予指标和维度清单供业务用户进行指标分析订阅,通过查询API提供数据查询服务。

2)跨源数据服务
区别于开源版本,商业版 Kylin 除了可以查询聚合后的数据(Kyligence 存储或 HBase)和导入到 Kyligence 存储的明细数据外,增加了智能路由和查询下压的功能,可以作为统一的查询服务入口,能够智能识别查询内容,并将查询路由到不同的数据源,如 Kyligence 存储、hadoop、MPP(如 GreenPlum)和其他关系型数据库(如 MySQL、Oracle 等),并将查询结果数据返回到前端,实现数据透明访问。需要指出的是,Kyligence 在将查询路由下压到 Hadoop 上时可以配置 SparkSQL/Impala/Hive 作为查询引擎以适应不同的查询环境。

3)统一但多样化的数据服务
Kyligence 提供了除提供 ODBC/JDBC 数据接口外,也提供 MDX 和 Rest API 查询接口,可以支持多样化的数据访问方式,支持各类 BI 工具和数据分析应用。如 DashBoard、业务报表等,Kyligence 提供 MDX 接口,可直接支持 PowerBI、SmartBI 中的 OLAP 分析,实现业务人员自助业务分析。

4)Kyligence 支持数据服务的安全管控
数据中台在提供数据服务时,需要同时进行数据资源的访问和利用的安全管控,Kyligence 本身具有完整的数据安全管理功能,如单元格级的数据权限,无论是访问 Kyligence 聚合后的数据,还是在查询下压时,都会基于权限提供数据服务。同时 Kyligence 提供了完善的安全管理 API,(点击这里 获取 Kyligence API 信息), 可方便集成到数据中台的安全管理体系中。

5)应用案例
Kyligence 对数据服务能力的支持,在很多企业得到了应用,如某大型券商的数据资产平台(数据中台)中,直接利用 Kyligence 作为统一数据服务接口,提供多样化的数据服务,支持各类业务应用。
在某金融企业,数据中台融合了多类型的数据源,在数据组织、管理、封装的基础上,利用 Kyligence 提供融合数据服务,实现统一查询入口和 SQL 方言,灵活控制数据访问权限,以及跨数据平台的数据查询。有效的实现了数据融合,赋能了更多分析场景,同时大幅缩短了业务上线时间,也降低了数据安全控制成本,另外 Kyligence 的可扩展架构也能够应对激增的业务分析需求。

基于 Apache Kylin 发展而来的 Kyligence,不光是大数据分析的神器,其企业级特性体现在诸多方面,而在数据服务方面的能力,在互联网、金融、制造、零售行业企业的数据中台建设中得到了广泛应用,帮助企业提高了数据中台的建设效率,增强了数据中台的功能。

关于作者
李明江,Kyligence 资深行业专家,在制造、金融和政企行业有近 20 年数据领域经验,曾经参与多个大型数据平台建设,对于企业数字化转型有深刻理解和丰富经验。


楼主热帖
分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏 转播转播 分享分享 分享淘帖 赞 踩

168大数据 - 论坛版权1.本主题所有言论和图片纯属网友个人见解,与本站立场无关
2.本站所有主题由网友自行投稿发布。若为首发或独家,该帖子作者与168大数据享有帖子相关版权。
3.其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者和168大数据的同意,并添加本文出处。
4.本站所收集的部分公开资料来源于网络,转载目的在于传递价值及用于交流学习,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。
5.任何通过此网页连接而得到的资讯、产品及服务,本站概不负责,亦不负任何法律责任。
6.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源,若标注有误或遗漏而侵犯到任何版权问题,请尽快告知,本站将及时删除。
7.168大数据管理员和版主有权不事先通知发贴者而删除本文。

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

关于我们|小黑屋|Archiver|168大数据 ( 京ICP备14035423号|申请友情链接

GMT+8, 2024-4-26 20:13

Powered by BI168大数据社区

© 2012-2014 168大数据

快速回复 返回顶部 返回列表