快速入门：在 Microsoft Azure Marketplace 部署 Kyligence Enterprise

第一章：开启 Kyligence Enterprise 探索

本章节将介绍如何将 Kyligence Enterprise 部署到新的 HDInsight 集群并使用 Kyligence Enterprise 玩转样例 Cube，重点介绍一些常见任务。实际上，您可以创建新群集或使用现有群集。本节以创建新群集为例。建议使用 IE 或 Google Chrome 浏览器进行以下操作，某些网页可能无法在其他浏览器中正常显示。

1.登录 Kyligence Enterprise

1) 将 Kyligence Enterprise 部署到新的 HDInsight 集群

在 Azure Marketplace 中，搜索并选择 Kyligence Enterprise 以获取其产品详情。点击 Kyligence Enterprise 详情页左下角的创建以创建 HDInsight 集群。

a. 填写基本页面所有必填信息，以配置集群的基本设置，然后点击确定。

b. 在集群配置页面设置集群的参数。请选择 hadoop 作为集群类型。填写完后，点击确定进入下一步。

c. 在集群部署配置页面设置您的存储账号和容器名称，并点击确定。

d. 进入摘要页面，确定您的设置无误后，点击确定以开始创建集群。集群的创建可能需要二十分钟或更长时间。

2) 进入 Kyligence Enterprise 的网页界面

在 Azure 门户的仪表板中，在所有订阅中点击您创建的新群集的名称。如果找不到，请点击刷新重新加载订阅。

在控制台左侧，点击设置下的 Applications。然后，在应用程序列表中点击 Kyligence 的名称以查看应用详情。

在 Properties 边栏选项卡上，点击第一个 WEBPAGE，该 URL 将引导您跳转到 Kyligence Enterprise 的网页界面。

3) 申请试用许可证

打开 Kyligence Enterprise 的网页时，将弹出一个更新许可证的窗口。点击窗口左下角的申请许可证，以申请 Kyligence Enterprise 的试用许可证。

提交您的企业邮箱、公司名称和用户名称。为您提供的为期两个月的试用许可证将立即生效。

4) 登录 Kyligence Enterprise

使用 Kyligence Enterprise 管理员账号的默认用户名“ADMIN”和默认密码“KYLIN”进行登录。

初次登录后，系统会提示您修改密码。请记住新密码，以便将来登录。

2. 玩转样例 Cube

1) 构建样例 Cube

在左侧导航栏中，点击建模 -> learn_kylin -> Cube。然后，您将在 learn_kylin 项目中看到名为 kylin_sales_cube 的样例 Cube。Kyligence Enterprise 安装时会自动创建一个样例 Cube 以及它所需要的 Hive 表。

初始时，该 Cube 处于 DISABLED 状态。点击 ··· -> 构建以在查询之前构建它。

选择结束时间如 2014-01-01，然后点击提交。随后 Kyligence Enterprise 会开始构建工作。

您可以通过点击左侧导航栏中的监控来监控构建进度。构建可能需要30分钟左右，这取决于您的群集配置。当进度达到 100％ 时，Cube 状态将更改为 READY。

2) 查询样例 Cube

点击左侧导航栏中的分析，输入以下 SQL 来查询 Cube：

select part_dt, sum(price) as total_sold, count(distinct seller_id) as sellers from kylin_sales group by part_dt order by part_dt;

（左右拖拽，查看完整内容）

Kyligence Enterprise 能够很快返回查询结果。

第二章：与 BI 工具集成

Kyligence Enterprise 兼容大多数领先的 BI 软件，如 Tableau、Excel、Power BI、MicroStrategy、Qlik 和 cognos；并且支持 Qlik 和Power BI 的直连方式。本章节将介绍使用 Kyligence 自研的 Kyligence ODBC 驱动将 Kyligence Enterprise 与 Tableau 连接。

1. 安装 Kyligence ODBC 驱动

目前，Kyligence ODBC 驱动程序有 Windows 64位/32位和 Linux 64 位（Beta）版本。本节以 Windows 为例，介绍如何安装 Kyligence ODBC 驱动：在下载中心下载并安装 Kyligence ODBC 驱动（ Windows 版本）。

2. 与 Tableau Desktop 集成

一旦您在安装 Tableau Desktop 的环境中安装了 Kyligence ODBC 驱动，就可以按照以下步骤在 Tableau Desktop 中分析来自 Kyligence Enterprise 的数据。

如果您想使用其他 BI 工具来连接 Kyligence Enterprise，您可以跳过本节，阅读后文查看“阅读更多”。

1)  从 Kyligence Enterprise 导出 TDS 文件

在左侧导航栏中，点击建模 -> Cube，在 learn_kylin 项目中选择一个 READY 的 Cube。点击 ··· 中的导出 TDS，下载 TDS 文件。

2）分析样例Cube

若要使用 Tableau Desktop 分析样例 Cube，你需要在已安装 Tableau 的环境中双击 TDS 文件。

a)点击以下对话框中的编辑连接以更改连接设置。

b)更改连接属性中的服务器，端口，用户名和密码，然后点击登录：

o     服务器：Kyligence Enterprise 的服务器地址（服务器 URL 需包括 https://）

o     端口：443（HTTPS的默认端口为 443，HTTP 的默认端口为 80）

o     用户名：登录 Kyligence Enterprise 的用户名

o     密码：登录 Kyligence Enterprise 的密码

现在，你可以开始用 Tableau 尽情分析样例 Cube 了。

阅读更多 ① 在 Kyligence Enterprise 上使用您的数据创建 Cube

1.  将数据导入至 Kyligence Enterprise

Kyligence Enterprise 支持 Apache Hive、Apache Kafka 和 Azure SQL Data Warehouse 做数据源。Hive 用于批量数据处理，Kafka 用作流数据处理。本节将介绍如何将 Hive 表格作为数据源。

1) 通过 Azure Blob Store 将文件描述为 Hive 表格

HDInsight 支持使用 Azure Blob Store 以及 Azure Data Lake 作为 Hadoop 的存储，您可以通过它们轻松管理和处理云上的海量数据，兼顾高可靠、高可用以及低成本。

a) 要将数据上载到 Azure Blob Store，您需要先安装 Azure CLI。以下是使用命令行将文件上载到 Azure Blob Store 的示例：

export AZURE_STORAGE_ACCOUNT=<your storage account>export AZURE_STORAGE_ACCESS_KEY=<your storage account access key> # list all files in containerazure storage blob list <container># upload a file to containerazure storage blob upload <path of a local file> <container> <name in container>

b)尽管 Azure Blob Store 不是真正的文件系统，但它支持以“/”作为文件名中的分隔符，从而模拟文件目录树的结构。以下示例用命令行将本地文件“airline_2015_01.csv”上载到容器“mycontainer”，并使用“airline/2015/airline_2015_01.csv”作为远程路径：

azure storage blob upload airline_2015_01.csv mycontainer airline/2015/airline_2015_01.csv

c) 当文件上传到 Azure Blob Store 后，您可以使用 HiveQL 语句来创建 Hive 表格。您可以在 HDInsight Ambari 的 Hive View 中，或者通过 SSH 到某个节点后使用 Hive 命令行来执行 HiveQL 语句。以下是一个用 Azure Blob Store 的 CSV 文件来创建 Hive（带分区）表的样例语句：

hive> CREATE EXTERNAL TABLE airline_data (Year int,Quarter int,Month int,DayofMonth int,DayOfWeek int,FlightDate date,…)PARTITIONED BY (Part_year STRING)ROW FORMAT SERDE ‘org.apache.hadoop.hive.serde2.OpenCSVSerde’WITH SERDEPROPERTIES (“separatorChar” = “,”)LOCATION ‘wasb://@.blob.core.windows.net/airline’TBLPROPERTIES(‘serialization.null.format’=”,’skip.header.line.count’=’1’);

2)  将 Hive 表格导入 Kyligence Enterprise

登录 Kyligence Enterprise，在建模 -> 数据源页，选择 Hive 作为数据源，将 Hive 表信息导入到 Kyligence Enterprise：

导入 Hive 表信息只会同步表的元信息，例如列名、数据类型等，并不会拷贝数据，因此这一步通常非常快。

2. 创建模型和 Cube

数据模型是创建 Cube 的基础，它可以为多个 Cube 重用。

1)  定义数据模型

a) 在建模页，点击 +Model，输入模型名，然后将模型需要用到的表，拖拽到画布上。

b)在每个 table 上，可以点击设置按钮，然后将其标记为事实表 (Fact Table) 或查找表 (Lookup Table)。事实表会以蓝色高亮显示。随后您可以将两张表的外键和主键以拖拽的方式链接起来。Kyligence Enterprise 会自动检测每个列的数据类型以推断其是维度或度量，或者两者都不是；维度、度量分别以“D”和“M”的前缀标记，“-”表示两者都不是。如果自动检测的与实际情况不符，您可以点击前缀切换。

c)点击保存来保存您的模型。保存模型的时候，Kyligence Enterprise 会自动触发一个异步任务来对模型进行采样和分析。您可以在监控页面追踪此任务的进度。这些采样统计信息会帮助 Kyligence Enterprise 来理解模型，并帮助您更好地创建 Cube。

2) 构建Cube

Cube 是一种多维空间的数据结构，包含维度和度量。Kyligence Enterprise 支持在一个 Cube 中包含数十个维度和上百个度量。Kyligence Enterprise 不仅支持普通度量（如 SUM、COUNT、MAX、MIN、DISTINCT COUNT 等），还支持高级度量，如 Top-N、Percentile，以及基于 Bitmap 的精确去重计数器等。点击 +Cube，Kyligence Enterprise 会启动一个向导带领您一步步完成 Cube 创建。

3) 将数据构建进 Cube

Cube 创建好以后，需要将数据加载构建进 Cube。在 Cube 页，点击 ··· -> 构建。如果数据模型是分区的，那么您需要指定一个需加载的源数据的时间范围；如果不是分区的，所有数据都会被加载进 Cube。

您可以在监控页面监控构建任务的进度。Cube 构建可能会花费数分钟到数小时来完成，取决于数据规模、模型复杂度、集群规模等多种因素。您可以点击某个具体任务以查看任务每一步的具体信息。如果某个步骤是 MR 任务，Kyligence Enterprise 会显示出任务在 YARN 资源管理器上的链接地址。当构建完成后，Cube 状态会自动更新为 READY，意味着您可以开始查询。

② 将 Kyligence Enterprise 与 Power BI Desktop 集成

先决条件

请确保您已安装了 Kyligence ODBC 驱动。目前，Kyligence ODBC 驱动程序有 Windows 64位/32位和 Linux 64位（Beta）版本。以 Windows 下的安装为例，请在下载中心下载并安装 Kyligence ODBC 驱动（ Windows 版本）。

1.  安装 Kyligence Data Connector for Power BI 插件

a) 在 Kyligence Account 页面下载 Kyligence Data Connector for Power BI 插件。

b) 将 DirectQuery 插件文件（.mez 文件）复制到 Power BI 安装目录 C:\Users\(user_name)\Documents\Microsoft Power BI Desktop\Custom Connectors 文件夹中。如果没有该路径，请手动创建相应文件夹。

c) 点击 Power BI Desktop 界面左上角的 File，打开选项和设置下的选项。

d)在预览功能中勾选自定义数据连接器，点击确定：

e)重启 Power BI Desktop。可能会弹出一条错误警告，描述出于安全性的考虑，无法加载连接器。您可以修改扩展插件安全设置，依次选择 File -> 选项和设置 -> 选项 -> 安全性，在数据扩展插件下，从两个安全级别中选择（不推荐）允许任何扩展加载以避免错误警告，然后再次重启 Power BI。

2. 将 Power BI Desktop 与 Kyligence Enterprise 连接

a)点击 Power BI Desktop 界面左上角的获取数据 -> 更多，在数据库类别下选择 Kyligence Enterprise 进行连接。

b)在弹窗中输入所需的 Kyligence Enterprise 服务器信息。请选择 DirectQuery 作为数据连接方式。

注：当您的 Kyligence Enterprise 部署在 Azure 时，需要在填写 Server 时包含 https://，同时在 Port 处填入 443。

c)      输入您登录Kyligence Enterprise所用的账号和密码进行身份验证。

d)  连接成功后，Power BI 会列出项目中所有的表，您可以根据需要选择要连接的表。

e) 对需要连接的表进行建模。

f) 回到报表页面，开始可视化分析。

来源：https://kyligence.io/zh/2018/09/21/azure-mkpl-quickstart/