IDC最新发布: 大数据行业2017年五大趋势

IDC预测，到2020年大数据和分析技术市场，将从今年的1301亿美元增加至2030亿美元。明年预计会看到更主流的公司采用大数据和物联网，大中型企业保守和怀疑的企业组织会开始一头扎入其中。以下是明年将塑造大数据行业的五大趋势：

1、 深度学习

　　深度学习是一套基于神经网络的机器学习技术，它仍在发展之中，不过在解决业务问题方面显示出大有潜力。它让计算机能够从大量非结构化数据和二进制数据中找出感兴趣的内容，并且推导出关系，而不需要特定的模型或编程指令。

　　这些算法的源动力主要来自人工智能领域，人工智能的总体目标是模拟人类大脑观察、分析、学习和做决定的能力，尤其是处理极其复杂的问题。深度学习方法的一个关键概念就是数据的分布式表示，因而可以对输入数据的抽象特征实现大量的组合，从而可以紧凑表示每个样本，最终获得更丰富的泛化。

　　深度学习主要用于从大量未标记/未监督的数据当中学习，因而对于从大数据中提取有意义的表示和模式颇具吸引力。比如说，它可以用来识别许多不同类型的数据，比如视频中的形状、颜色和对象，或者甚至是图像中的猫，就像谷歌研制的一个神经网络在2012年所做的那样。

　　因此，企业可能会看到更多的注意力投向半监督式或未监督式训练算法来处理进入的大量数据。

2、物联网(IoT)

　　物联网和大数据是同一枚硬币的两面;数十亿与互联网连接的“物件”将生产大量数据。然而，这本身不会引发另一场工业革命，不会改变日常的数字化生活，也不会提供拯救地球的预警系统。来自设备外部的数据才是企业让自己与众不同的方面。结合上下文来捕获和分析这种类型的数据为公司带来了新的发展前途。

　　研究表明，相比计划维修，预测性维护最多可省下12%的成本，因而使维护成本降低30%，将设备故障造成的停运时间缩短70%。对于制造工厂或运输公司来说，从数据驱动的决策获得这些结果，意味着在改进运营和节省成本方面大有机会。

3、 内存中分析

　　不像常规的商业智能(BI)软件对存储在服务器硬盘上的数据运行查询，内存中技术查询的是载入到内存中的信息，这可以通过减少或甚至消除磁盘输入/输出瓶颈来显著提升分析性能。就大数据而言，正是由于TB级系统和大规模并行处理，让内存中分析技术更令人关注。

　　在现阶段，大数据分析的核心其实是发现数据。要是没有毫秒级延迟，面对数百万次/数十亿次的迭代，运行迭代以查找数据点之间的关联就不会成为现实。在内存中处理的速度比磁盘上处理要快三个数量级。

　　2014年，Gartner创造了HTAP(混合事务/分析处理)这个术语，描述这样一种新技术：让事务和分析可以在同一个内存中数据库中处理。它让应用程序领导人通过更强的情境意识和改进的业务敏捷性来进行创新，然而这需要彻底改变原有架构，还需要相应的技术和技能，才能使用内存中计算技术作为赋能者(enabler)。

　　许多公司已经在充分利用混合事务/分析处理(HTAP);比如说，零售商能够迅速识别在过去一小时内最畅销的时尚商品，并立即为该商品定制优惠促销活动。

　　但是HTAP方面炒作得很厉害，许多公司一直在过度使用它。如果用户需要在一天内多次以同一方式查看同一数据，数据又没有什么显著的变化，那么使用内存中技术是浪费钱。虽然你可以使用HTAP更快地执行分析，但所有事务必须驻留在同一个数据库中。问题是，今天的大多数分析工作是把来自许多不同系统的事务集中起来。

4、云计算

　　混合云和公共云服务越来越受欢迎。大数据成功的关键是在弹性基础设施上运行(hadoop)平台。

　　我们会看到数据存储和分析趋于融合，带来新的更智能的存储系统，它们将经过优化，用于存储、管理和排序庞大的PB级数据集。展望未来，我们可以预计会看到基于云的大数据生态系统在整个继续迎来发展，不仅仅局限于“早期采用者”。

　　许多公司想要让自己可以扩展的平台，通过大力投资于最终僵化的数据中心是不可能做到这点的。比如说，人类基因组计划一开始是个GB级项目，但是很快达到了TB级和PB级。一些领先的企业已经开始以双模(bi-modal)方式来拆分工作负载，在云端运行一些数据工作负载。许多人预计，随着这种解决方案在采用周期上深入发展，这个潮流会加快发展。

　　现在大家很重视API，以一种可重用的方式来发掘数据和功能，许多公司期望在云端和数据中心运行其API。本地API提供了一种无缝的方式来发掘传统系统，并将它们与云应用程序连接起来，这对于希望实现云优先战略的公司来说至关重要。

　　更多的公司会在云端运行API，提供弹性，以便更好地应对需求高峰，并建立高效的连接，从而让它们能够比竞争对手更迅速地适应和创新。

5、 Apache Spark

　　Apache Spark在点亮大数据。流行的Apache Spark项目提供了Spark Streaming技术，通过主要采用一种在内存中微批量处理的方法，近实时地处理数据流。它已从Hadoop生态系统的一部分，变成许多企业青睐的一种大数据平台。

　　Spark现在是最庞大的大数据开源项目，相比Hadoop它提供了显著加快的数据处理速度;因此，对于程序员来说极其自然、极加精确、极其方便。它为并行执行提供了一种高效的通用框架。

　　Spark Streaming是Spark的主要部分，被用来借助处理器核心，流式传输大块的数据，为此将大数据分割成更小的数据包，然后对其进行转换，因而加快弹性分布式数据集(RDD)的创建。这在当下非常有用，如今数据分析通常需要一组协同运行的机器的资源。

　　然而值得一提的是，Spark旨在改进而不是替换Hadoop架构。为了从大数据获得更大的价值，许多公司考虑结合使用Hadoop和Spark，以获得更好的分析和存储功能。

　　越来越复杂的大数据需求意味着，创新的压力仍然会很高。许多公司会开始明白，客户的成功离不开数据方面的工作。不利用数据分析的公司会开始歇业，而成功的企业认识到发展的关键是数据精炼和预测分析。

扩展阅读

　　近日，国外一家机构也发布了《Top 10 Trends in Big Data》关于大数据的十大发展趋势的：

• 内存技术
  

• 机器学习
  

• 开放源码
• 预测分析
  

• 智能app
  

• 智能安保
  

• 物联网
  

• 边缘计算
  

• 高薪职业
  

• 自助服务
  

　　佛瑞斯特研究公司（Forrester）的研究人员发现，2016年，近40％的公司正在实施和扩展大数据技术应用，另有30％的公司计划在未来12个月内采用大数据技术。2016年NewVantage Partners的大数据管理调查发现，62.5％的公司现在至少有一个大数据项目投入生产，只有5.4％的公司没有大数据应用计划，或者是没有正在进行的大数据项目。

　　研究人员称，会有越来越多的公司加速采用大数据技术。互联网数据中心（IDC）预测，到2020年大数据和分析技术市场，将从今年的1301亿美元增加至2030亿美元。“公司对数据可用性要求的提高，新一代技术的出现与发展，以及数据驱动决策带来的文化转变，都继续刺激着市场对大数据和分析技术服务的需求”， IDC副总裁Dan Vesset表示。 “2015年该市场全球收入为1,220亿美元，预计到2016年，这一数字将增长11.3％，并预计在2020年以11.7％的复合年增长率（CAGR）继续增长。”