助力企业完成架构升级，快速实现分析系统平滑迁移

作者：刘天祥

在大数据浪潮到来之际，企业为了对海量数据进行全面、快速、有效地智能分析，挖掘并释放出其中的价值，纷纷进行搭建大数据分析平台的尝试。但是很多企业还是采用基于传统数据库的分析平台架构，导致无法快速地对业务需求进行响应，甚至有的分析应用系统处于近乎瘫痪的状态。通常，基于传统数据库的数据分析架构存在以下痛点和挑战：

1) 面对新业务的拓展，预计未来数据量会以惊人速度增长，现有数据平台将无法支撑。
2) 现有方案后台离线计算处理操作复杂，步骤繁多，耗时费力，人工维护成本过高。
3) 在大数据量前提下分析性能受到极大影响，报表查询耗时在分钟级别，甚至无法打开使用，造成瘫痪状态。
4) 平台扩展性差，原有数据仓库的性能遇到严重瓶颈，可扩展性极低，受制于国外厂商，成本高昂。
5) 大量IT资源被浪费在重复性的工作中，增加IT工作人员的压力及难度，同时也投入了很高的运维成本。
6) 无法对业务需求提供及时响应，阻碍业务开展及创新。

随着hadoop成为大数据平台的事实标准，部分企业开始谋求转变，纷纷基于Hadoop打造企业级的分布式大数据平台，很好地解决了海量数据的存储、管理及离线计算处理等问题。然而，Hadoop上的交互式分析面临着以下问题：

1) 查询性能慢，在海量数据的分析场景中，响应时间不理想。
2) 并发支持弱，查询性能慢，限制了系统的整体吞吐量，每次查询要耗费大量计算资源。
3) 技术门槛高，数据访问依赖编程实现，数据分析人员无法直接分析数据，且引擎众多，学习成本高。
4) 迁移成本高，传统的OLAP项目迁移至Hadoop平台，需要找到合适的组件和工具，快速进行数据建模，且能与已有的分析应用工具无缝对接。

由Kyligence提供的大数据智能分析解决方案，能够完美地响应企业的需求。

1. 替换旧有方案，顺利升级架构

本节将以传统数据库和Tableau前端展现的架构为例，介绍Kyligence的升级替换方案。在旧有的案例中，企业首先会将业务系统中的海量数据抽取至传统数据仓库中，在后台进行转换、逻辑运算等处理操作；前端分析工具Tableau通过建立与数仓的数据连接，对处理过后的数据进行分析展现。

图 1 经典的传统数仓架构

Kyligence Enterprise是以Apache Kylin为核心的企业级智能大数据分析平台，提升大数据分析能力的利器，构建业务人员和平台内数据之间的桥梁，新的架构和数据分析模式使得数据分析变得极为高效，使能了业务自主化分析能力。

新的大数据平台架构为Hadoop + Kyligence Enterprise + Tableau。以前存放到传统RDBMS中的各系统数据，通过集中处理之后统一存入到Hadoop平台；并在Kyligence Enterprise中依据不同的业务创建不同主题的数据集市和立方体，然后将业模型发布给业务分析人员。Kyligence Enterprise智能分析平台通过数据集市，将生硬的、技术化的表和字段等转换为业务人员能够理解的业务指标和分析维度，使得业务分析人员能够轻松通过前端BI工具如Tableau等对相关数据集市进行自助分析，通过可视化的拖拽方式制定分析思路，依赖于Kyligence Enterprise在超大规模数据集上的高速SQL查询能力，可以快速生成分析结果，进一步优化分析思路和业务决策。

图 2 Kyligence产品架构

大数据分析平台架构的顺利升级，顺应了大数据平台架构的演变趋势，符合未来的发展需要。

2. 数据建模智能化，开发效率惊人

作为新一代的大数据智能分析平台，Kyligence Enterprise利用了最新的人工智能技术，能够加速对业务场景所包含的逻辑计算的智能认知，完成快速建模操作，减少人工手动操作的开发成本，自动搭建大数据分析应用与底层数据平台的桥梁。

通过Kyligence ODBC Driver，Tableau对接Kyligence数据源。基于统一的查询入口，Kyligence自动采集Tableau查询历史。查询历史代表了分析场景的模式和频次，被选中的关键查询模式将在Kyligence中完成语法检测和验证，并被用于后续的模型自动生成：

a. 筛选性能影响关键的查询模式：

图 3 用户选择可以基于BI查询历史来进行查询加速

b. 快速自动建模：
提交后，自动生成最优的数据模型，减少了冗余拖沓的手工操作。

图 4 基于查询自动生成最优的数据模型

c. 自动推荐维度与度量，智能搭建数据立方体：

相比从前的手工建模方法，新一代的Kyligence Enterprise智能引擎能够自动地分析业务处理逻辑，并推荐维度和度量，极大提升了开发效率。

图 5 基于查询历史自动建模生成维度及维度优化组合

图 6 基于查询历史自动建模生成查询所需的度量

Kyligence Enterprise智能建模功能改进了开发流程，减少了冗余的重复操作，工作人员可以高效地进行开发，极大地释放了生产力。从实施层面来说，一个人只要2天就完成了将近100张报表的迁移开发工作，工作效率有十倍以上的提升。

同时，相比较于其他方案，Kyligence Enterprise智能建模提供方便易用的向导式操作界面，无需通过手动编码来完成建模操作，功能简便而丰富，降低了相关人员的学习门槛，减少了开发成本，极大地缩短系统上线周期。

3. 分析应用无缝对接，平滑迁移

由于前期已经投入巨大的资源进行前端Tableau分析报表的开发，客户希望能够保留现有Tableau端的资产，不做改动，无缝对接底层的数据分析驱动平台，完成平滑迁移。从项目整体工程的角度来说，在实施过程中，应用层无需更改分析应用报表就可以无缝迁移，避免重复开发，大大减少了成本。同时，该迁移操作不影响业务人员的已有使用习惯，为已熟悉分析操作的业务人员带来一致的用户体验。

1) 仅需两步，替换数据源，快速平滑迁移
Kyligence Enterprise在建立数据源与切换数据连接过程中，只需两步便可快速地完成迁移，全面覆盖所有的业务分析应用，减少重复投入，保护现有投资：
a. 通过Kyligence ODBC Driver在Tableau建立Kyligence数据连接（示例）：

图 7 Tableau建模页面

b. 替换报表中使用的数据源为Kyligence Enterprise数据源，快速完成所有报表的无缝迁移：

图 8 使用Tableau替换数据源

2) 无缝集成，一键模型同步，原生TDS文件

作为Tableau的技术合作伙伴，Kyligence的大数据智能分析平台Kyligence Enterprise进行了大量与Tableau的相关认证工作，Tableau中的包含自有函数的语句等都已经可以在Kyligence Enterprise中完成解析并运行，免除了客户对两者集成性和兼容性的困扰。

为了更好地实现模型层的互通，Kylgience支持将数据立方体（Cube）模型一键导出为Tableau 数据源定义文件TDS（Tableau Data Source）。Tableau直接打开TDS文件，Cube中定义的维度，度量，层级结构，表关联关系都会自动同步到Tableau中，方便Tableau用户无缝对接Kyligence Enterprise的大数据模型，减少重复性建模工作。

图 9 Kyligence一键导出TDS文件

4. Kyligence具备超高性能优势，表现稳定

Kyligence Enterprise是一个海量数据下的多维分析解决方案，凭借预计算、智能优化等多项先进技术，其对大规模的数据汇总统计可达到亚秒级响应。同时，针对不同维度数量的Cube，其查询性能能够保持稳定，充分提升大数据分析平台的查询性能和交互式查询的体验。

在某客户百亿级别的自助分析场景中，将原有平台迁移至Kyligence的方案后，通过Tableau自带的性能记录功能，我们能够很明显地看到Kyligence Enterprise的性能表现情况及其强大的性能优势，对比旧有方案分钟级甚至小时级别的响应表现，有数十倍以上的性能提升，且整体表现稳定：

图 10 Tableau的性能记录功能记录下的Kyligence Enterprise强大的查询性能

查询性能的极致提升能为客户带来更好的用户体验，为业务发展和创新提供帮助。

Kyligence及Kyligence Enterprise简介

Kyligence是由Apache Kylin（中国首个Apache 顶级开源项目）核心团队创建的,专注于大数据分析领域创新的数据科技公司，提供基于Apache Kylin的下一代企业级数据仓库及商务智能大数据分析平台和解决方案。Apache Kylin是Hadoop生态的重要成员,是首个完全由中国团队贡献和主导的Apache软件基金会顶级开源项目。开源三年来，Apache Kylin已经被国内外超过1000家公司所使用，包括eBay，Expedia，百度，网易，京东，美团，唯品会等国内外大型互联网公司，以及众多来自电信、金融、制造等传统行业的领先企业，包括陆金所、太平洋保险、国泰君安、华泰证券、华为、联想、OPPO、中国电信、中国移动、中国联通等。Kylin技术被广泛应用于大数据分析平台、OLAP多维分析、数据服务平台、自助查询平台、客户画像、在线报表等多种大数据分析场景中。

Kyligence大数据智能分析平台（以下简称Kyligence Enterprise）是基于Apache Kylin的企业级软件产品，在超大数据集上提供亚秒级分析的能力，同时为业务用户、分析师及工程师提供简便、快捷的大数据分析服务，拥有超高性能、免编程开发，多协议支持、非侵入式部署等突出优点，并且Kyligence Enterprise在企业用户所关注的应用场景丰富、实施效率、安全可控、存储效率、性能优化、自助式敏捷BI、系统监控等方面进行了全方位的完善和创新，是目前业界领先的大数据智能分析平台解决方案。

来源：https://kyligence.io/zh/2018/07/ ... analytical-systems/