168大数据

标题: CIO:如何创建一个大数据平台 [打印本页]
作者: 168主编    时间: 2015-12-3 21:41
标题: CIO:如何创建一个大数据平台
本帖最后由 168主编 于 2015-12-3 21:46 编辑

创建大数据平台，是个系统性的工程，并不像简简单单开发一款APP一样，你要深度的了解当前的环境以后的发展。大数据，曾几何时似乎很少出现,组织多半会选择以增量方式实现大数据解决方案。不是每个分析和报告需求都需要大数据解决方案。如果对于对大型数据集或来自多个数据源的临时报告执行并行处理的项目，那么可能没有必要使用大数据解决方案。随着大数据技术的到来，组织会问自己：“大数据是否是我的业务问题的正确解决方案，或者它是否为我提供了业务机会？”大数据中是否隐藏着业务机会？

http://player.56.com/v_MTMxMjIyMjQz.swf

以下是我从 CIO 那里听到的一些典型问题：

为了回答这些问题，本文提出了一种依据下图中所示的维度来评估大数据解决方案的可行性的结构化方法。

图 1. 评估大数据解决方案的可行性时要考虑的维度

来自可通过分析数据获得的洞察的业务价值针对新数据来源和数据使用方式的治理考虑因素拥有相关技能和赞助商的承诺的人员捕获的数据量各种各样的数据源、数据类型和数据格式生成数据的速度，需要对它执行操作的速度，或者它更改的速度数据的真实性，或者数据的不确定性和可信赖性

对于每个维度，我们都给出了一些关键问题。依据业务上下文，为每个维度分配一个权重和优先级。评估会因业务案例和组织的不同而有所不同。

您可以考虑在与相关的业务和 IT 利益相关者召开的一系列研讨会中探讨这些问题。
业务价值：可通过大数据技术获取何种洞察？
许多组织想知道，他们在寻找的业务洞察能否通过大数据解决方案解决。没有权威的指南能够用来定义可从大数据获取的洞察。具体场景需要由组织识别，而且这些场景在不断演变。在确定和识别在实现后会给企业带来重大价值的业务用例和场景的过程中，数据科学家起着至关重要的作用。数据科学家必须能够理解关键绩效指标，对数据应用统计算法和复杂算法来获得一个用例列表。用例因行业和业务不同而有所不同。研究市场竞争对手的行动、发挥作用的市场力量，以及客户在寻找什么，会很有帮助。下表给出了来自各行各业的用例示例。

表 1. 来自各行各业的示例用例
行业
示例用例
电子商务和在线零售
电子零售商（比如 eBay）在不断创建针对性产品来提高客户终生价值 (CLV)；提供一致的跨渠道客户体验；从销售、营销和其他来源收获客户线索；并持续优化后端流程。

  • 推荐引擎：通过基于对交叉销售的预测分析来推荐补充性产品，增加平均订单大小。
  • 跨渠道分析：销售属性、平均订单价值和终生价值（例如多少店内购买活动源自特定的推荐、广告或促销）。
  • 事件分析：那一系列步骤（黄金路线）得到了想要的结果（例如产品购买或注册）？
  • “恰当时机的恰当产品” 和 “下一款最佳产品”：结合部署预测模型和推荐引擎，得到自动化的下一款最佳产品和跨多个交互渠道的经调整的交互。

零售和专注于客户

  • 推销和市场篮分析
  • 营销活动管理和客户忠诚度计划
  • 供应链管理和分析
  • 基于事件和行为的目标
  • 市场和用户细分
  • 预测分析：在将产品放在货架上之前，零售商希望预测可能对购买者至关重要的一些因素

金融服务

  • 合规性和监管报告
  • 风险分析和管理
  • 欺诈检测和安全分析
  • CRM 和客户忠诚度计划
  • 信用风险、评分和分析
  • 高速套利交易
  • 交易监管
  • 异常交易模式分析

欺诈检测
欺 诈管理可预测给定交易或客户帐户遇到欺诈的可能性，帮助提高客户带来的利润。解决方案将会实时分析交易，生成立即行动建议，这对阻止第三方欺诈、第一方欺 诈和帐户特权的蓄意滥用至关重要。解决方案通常设计用于跨多个行业检测和阻止各种各样的欺诈和风险类型，这些类型包括：

  • 信用卡和借记卡欺诈
  • 存款帐户欺诈
  • 技术欺诈和坏账
  • 医疗欺诈
  • 医疗补助计划和医疗保险欺诈
  • 财产和灾害保险欺诈
  • 工伤赔偿欺诈
  • 保险欺诈

Web 和数字媒体
我们目前处理的许多数据是增多的社交媒体和数字营销的直接后果。客户生成一连串可挖掘并投入使用的 “数据废气”。

  • 大规模单击流分析
  • 广告投放、分析、预测和优化
  • 滥用和单击欺诈预防
  • 社交图分析和概要细分
  • 营销活动管理和忠诚度计划

公共领域

  • 欺诈检测
  • 威胁检查
  • 网络安全
  • 合规性和监管分析
  • 能耗和碳排放管理

健康和生命科学

  • 健康保险欺诈检测
  • 营销活动和销售计划优化
  • 品牌管理
  • 患者护理质量和程序分析
  • 医疗设备和药物供应链管理
  • 药品发现和开发分析

电信
  • 收入保障和价格优化
  • 客户流失预防
  • 营销活动管理和客户忠诚度
  • 呼叫详细记录 (CDR) 分析
  • 网络性能和优化
  • 移动用户位置分析

公用事业
公用事业公司运行大型、昂贵、复杂的系统来发电。每个电网包含监视电压、电流、频率和其他重要操作特征的复杂传感器。效率意味着密切关注从传感器传来的所有数据。
公用事业公司现在正利用 Hadoop 集群来分析分析发电（供应）和电力消耗（需求）数据。
智慧仪表的采用导致前所未有的数据流汹涌而来。大多数公用事业公司都未做好充分准备在开启仪表后分析该数据。
媒体
在有线行业，大型有线运营商（比如 Time Warner、Comcast 和 Cox Communications）每天都可以使用大数据来分析机顶盒数据。可以利用此数据来调整广告或促销活动。
杂项
  • Mashup：移动用户位置和精度目标
  • 机器生成的数据在线约会：一个领先的在线约会服务使用复杂的分析来度量各个成员之间的兼容性，以便建议匹配的商品
  • 在线游戏
  • 飞机和汽车的预测性维护

潜在的客户正在社交网络和评论站点上生成大量新数据。在企业内，随着客户切换到在线渠道来执行业务和与公司交互，交易数据和 Web 日志与日俱增。
确定数据的优先级
首先为企业内存在的数据创建一个清单。识别内部系统和应用程序中存在的数据以及从第三方传入的数据。如果业务问题可使用现有数据解决，那么有可能不需要使用来自外部来源的数据。请考虑构建一个大数据解决方案的成本，并权衡它与带给业务部门的新洞察的价值。 在有关现有客户的归档数据的上下文中分析此新数据时，业务人员将获得对新业务机会的洞察。

主要满足以下条件，大数据可提供可行的解决方案：

评估通过大数据解决方案获取的业务价值时，请考虑您当前的环境是否可扩展并权衡此投资的成本。

我当前的环境能否扩展？
询问以下问题，确定您能否扩充现有的数据仓库平台？

如果任何这些问题的答案是 “是”，那么您就可以探索扩充现有数据仓库环境的方式。
扩展我当前的环境的成本是多少？
扩展现有数据仓库平台或 IT 环境与实现大数据解决方案的成本和可行性取决于：

它还依赖于将从新数据来源收集的数据量、业务用例的复杂性、处理的分析复杂性，以及获取数据和拥有恰当技能集的人员的成本。现有的资源池能否开发新的大数据技能，或者是否可从外部雇佣拥有稀缺技能的人员？请注意，大数据举措会对其他正在实施的项目产生影响。从新的来源获取数据具有很高的成本。您首先应当识别系统和应用程序内部存在的数据，以及目前收到的第三方数据，这一点很重要。如果业务问题可以使用现有数据解决，那么有可能不需要使用来自外部来源的数据。

在生成新工具和应用程序之前，请评估组织的应用程序组合。例如，一个普通的 Hadoop 平台可能无法满足您的需求，您可能必须购买专业的工具。或者相对而言，Hadoop 的商业版本对当前用例而言可能很昂贵，但可能需要用作长期投资来支持一个战略性的大数据平台。考虑大数据工具和技术需要的基础架构、硬件、软件和维护的成本。

对数据的治理和控制：对现有的 IT 治理有何影响？
在决定是否实现一个大数据平台时，组织可能会查看新数据源和新的数据元素类型，而这些信息当前的所有权尚未明确定义。一些行业制度会约束组织获取和使用的数据。例如，在医疗行业，通过访问患者数据来从中获取洞察是否合法？类似的规则约束着所有行业。除了 IT 治理问题之外，组织的业务流程可能也需要重新定义和修改，让组织能够获取、存储和访问外部数据。

请在您的情况的上下文中考虑以下治理相关问题：

我能否增量地实现大数据解决方案？
大数据解决方案可以采用增量方式实现。明确地定义业务问题的范围，并以可度量的方式设置预期的业务收入提升，这样做会很有帮助。对于基础业务案例，请仔细列出问题的范围和解决方案带来的预期收益。如果该范围太小，业务收益将无法实现，如果范围太大，获得资金和在恰当的期限内完成项目就会很有挑战性。在项目的第一次迭代中定义核心功能，以便能够轻松地赢得利益相关者的信任。
人员：是否已有恰当的技能并调整了合适的人员？
需要特定的技能来理解和分析需求，并维护大数据解决方案。这些技能包括行业知识、领域专长，以及有关大数据工具和技术的技术知识。拥有建模、统计、分析和数学方面的专业经验的数据科学家，是任何大数据举措成功的关键。
在实施一个新的大数据项目之前，确保已安排了合适的人员：
是否拥有可用于获取洞察的现有数据？
所有组织都拥有大量未用于获取业务洞察的数据。这些数据包括日志文件、错误文件和来自应用程序的操作数据。不要忽略此数据，它是宝贵信息的潜在来源。

1数据复杂性是否在增长？
查找数据复杂性增长的线索，尤其是在数据量、种类、速度和真实性方面。

2数据量是否已增长？
如果满足以下条件，您可能希望考虑大数据解决方案：

3数据种类是否已增多？
如果满足以下条件，各种各样的数据可能都需要大数据解决方案：

4数据的速度是否已增长或改变？
考虑您的数据是否：

5您的数据是否值得信赖？
如果满足以下条件，那么请考虑使用大数据解决方案：

如果数据的量、种类、速度或真实性具有合理的复杂性，那么有可能会适合地采用大数据解决方案。对于更复杂的数据，需要评估与实现大数据解决方案关联的任何风险。对于不太复杂的数据，则应该评估传统的解决方案。

是否所有大数据都存在大数据问题？
不是所有大数据情形都需要大数据解决方案。请在市场中寻找线索。竞争对手在做什么？哪些市场力量在发挥作用？客户想要什么？使用本文中的问题，帮助确定大数据解决方案是否适合于您的业务情形和您需要的业务洞察。如果认为是时候实施大数据项目了，请阅读下一篇文章，其中会介绍如何定义一个逻辑架构，而且将会确定您的大数据解决方案需要的关键组件。






欢迎光临 168大数据 (http://www.bi168.cn/) Powered by Discuz! X3.2