168大数据

标题: 永洪科技：大数据小数据，一天实现可视化分析 [打印本页]

作者: 乔帮主 时间: 2014-11-16 20:42
标题: 永洪科技：大数据小数据，一天实现可视化分析

关于大数据的资讯铺天盖地而来，让大家看得眼花缭乱。虽然资讯很精彩，我们也看到了大数据背后的价值，但很多企业不知道如何下手。

本着务实的态度，利用较低的成本，通过对大数据进行高速捕获和实时的分析，以获取核心业务和战略决策所需的关键信息，从而提升企业经营管理和战略决策水平，最终创造巨大的商业价值，也许是对大数据价值的最好诠释。

在对大数据进行分析的过程中，传统数据挖掘/BI的做法是，IT人员事先根据分析需求来进行建模，做二次表或打Cube，提前汇总好数据，业务人员在前端查看分析结果报表。

这种做法很成熟，持续了很多年，但是也存在着一些问题：

1.\t业务人员查看的报表相对静态，分析的维度和度量的计算方式已在建模时预先设定好，不能更改，比如定好了是求和或求平均数，想改成求方差必须回去修改模型；

2.\t分析需求变更时，业务人员不能直接调整报表，需要IT人员重新建模或修改已有分析模型，耗时较长，响应速度较久；

3.\t有些企业的数据量很小，也需要按照此流程和架构来进行大费周折的数据分析。

造成这些的问题的本质原因是，过去的技术架构针对海量数据的计算能力不足，需通过建模、二次表、Cube提前进行数据运算汇总。

解决方案——敏捷BI

随着技术的发展和演进，BI领域已经迎来了新一代敏捷BI的革新。采用敏捷BI的数据分析优点包括：

 分析报告不能只能看而不能动。数据展现是起点，而不是终点。看到了数据，要能交互式分析，要能深入向下挖掘，要能发现问题，要能找到答案，还要能采取行动。和数据交互的过程要足够快，如果用户每次点击需要等三五分钟才出结果，就无法进行交互分析。敏捷BI基于大数据的处理技术，对TB-PB级的数据可实现秒级响应；
 分析报告应能让非IT部门的同事直接在分析平台上做出来。不能把所有的分析报告需求都提交到IT部门，这样会严重增加IT部门的工作负担。敏捷BI实施和操作简单，业务人员可直接使用；
 分析报告需求经常需要数据层的改动，需要IT部门去改进数据层和业务层，传统BI平台需要一两个月去梳理模型。敏捷BI无需事先建模，可在分析过程中灵活调整分析维度和报表展现，需求变更可以在一天之内响应，提升企业的洞察力决策力。

敏捷BI的原理

与传统BI的重量建模、统一视图不同，敏捷BI采取轻量建模、N个视图的方法，不建二次表和Cube，数据连进来直接可以进行分析，并且业务人员可以实时调整分析的维度和度量的计算方式，极大增加灵活性，真正做到和数据对话。

想必大家会有一个疑问，既然有这么便捷的方式，为何传统BI不采用这种架构呢？正如上文所说，传统的技术架构没有引入现在的大数据技术，面对海量数据无法在用户点击的几秒内就展现结果，因此必须通过建模提前把数据汇总好，才能保证分析报表展现时的速度。实现敏捷BI的大前提是采用新架构处理数据的性能有了几十倍提升，涉及的技术包括分布式计算、内存计算、列存储、库内计算等。

因此，敏捷BI可以通过更低的成本、更短的上线周期，快速让企业洞察到数据的含义和价值。

案例——一天实现数据可视化分析

我们来看一个真实案例。

某互联网媒体/研究机构面临以下问题：

该机构是国内最大的互联网媒体/研究机构，70%以上的海外上市企业引用其研究分析报告。同时向客户提供定制化咨询报告的服务，分为提供线下报告和提供软件两种服务类型；
客户的定制化需求多变，若生成报告需3-4周交付周期，若提供软件需半年交付周期。由于人工成本高，迭代周期太长，不敢承接太多报告需求的项目，每年只能做少数的定制化项目；
因此，该机构希望借助BI工具提升业务效率和收入空间。

总结一下该机构的需求：

项目的需求举例：根据时间维度，网站汇总，进行用户的来源地区、来路域名和页面访问次数，停留时间，有效访问次数、跳出率、回访者、新访问者、回访次数、回访相隔天数等相关数据的统计。要能够动态添加条件，通过对用户行为监测获得的数据进行分析，更加详细、清楚地了解用户的行为习惯；
每天数据量几千万条，且不同网站客户的分析需求是各自不同的，灵活变化的多维度分析需求对分析性能提出了更高的挑战，传统的数据库以及Hadoop架构已经无法满足高性能的即时分析需求；
国外的产品，如IBM、SAP、Oracle等，价格较为昂贵，在几百万量级，难以承受；
国内的产品大多是上一代BI，需事先建模再进行分析，难以应对灵活的多维度分析变化需求，且针对大数据量的处理能力不能满足要求。

最终该机构采用了敏捷BI技术，将三个月的细节数据（约50亿条）导入永洪科技的敏捷BI系统，直接定制报告的分析展现。这一举措为客户带来了巨大的收益：

 业务效率提升：采用敏捷BI工具后，对比原先基于Excel和SQL编程的分析方法，线下报告交付周期从3-4周缩短至小于1周，软件交付从半年缩短至一个月；
 项目来源增加：原先不敢承接需求未完全确定的项目，因担心需求变化导致没有能力交付。采用敏捷BI工具后，可在几天内快速搭建原型向客户展示，任意需求变更可在一周内调整完毕。通过这种快速原型试错的方式，有了能力承接此类项目；
 收入空间加大：由于业务效率的极大提升，有能力承接更多的项目，收入空间有了几倍的增长；
 客户满意度提升：能够快速响应客户的需求和变化，超出客户预期，大幅提升了客户满意度和客户留存率。

不仅如此，该机构后续还进行了创新模式的转型：

基于敏捷BI工具，该机构构建了新型的SaaS平台，进一步提升用户体验，为客户提供直观可交互的分析展现报告；
 通过SaaS的账号销售模式带来稳定的长期可持续收入，改变了原先基于一个个独立项目的营收模式；
 该机构的价值描述从媒体/咨询服务公司向提供大数据服务的互联网应用提供商转变，大幅提升资本市场价值；
 旗下子机构迅速跟进敏捷BI工具的使用和新模式的改变。

该机构为客户快速定制的可视化分析报告示例如下：

这是一场新的变革，大数据时代，涌现无数的数据掘金者，也需要有人来提供好铲子。

欢迎光临 168大数据 (http://www.bi168.cn/)