周鸿祎：大数据是未来科技的灵魂

大数据概念最火的时间是2011年到2014年，后来它的风头被人工智能和虚拟现实盖过。那么，2016年之后，大数据还算不算个“东西”呢?我觉得有必要谈一下。

大数据已经不太可能成为曾经那个世人瞩目的炒作题材了，凡是火了一段时间之后仍然能够引起大众兴趣的产品或服务，通常都可以被大家接触和感知到，像移动应用、可穿戴智能设备、社交网络等。大数据更像是管道设施，虽然重要，但无法被大家看到。大数据的核心是企业技术：数据收集、存储、分析等，这些都是在后端发生的，只有技术人员可以看见。

大数据概念的盛行，主要是受到了一些主流互联网公司的推动，比如谷歌和脸书，他们自己本身就是大数据技术的重度用户，同时也在推动这项技术发展。后来随着开源运动的迅速发展，促使大数据领域的新技术共享到更广的范围，这为互联网大公司的工程师离职去做大数据相关的创业提供了有利条件。

随着一些崭露头角的“独角兽”公司，以及更多胸怀大志、运营良好的中等规模的公司也开始面临大数据技术需求，由于它们自身不具备大数据的基础设施，所以自然就成为大数据企业的第一批客户。大数据行业初期的成功引发了更多的创业活动，也带来了资本的进入，大数据因此顺势而起。

这样发展了一段时间之后，大数据领域也随之出现了更加棘手的问题，就是让跨国公司级别的企业采用大数据技术。为什么说它棘手呢?因为这些公司基本上不是“数字原生”的公司，它们也不具备有利条件。这些公司现有的技术基础设施都是成熟的，在传统的模式下不会犯错，但它们未必是功能完备的。

我们知道，一个规模庞大企业的管理人员都具备前瞻性，他们都认为对自己企业遗留的基础设施进行现代化改造越早越好，但出于谨慎，他们不会一夜间就把自己的关键环节弃而远之。大企业之所以会如此谨慎，有两方面原因：一是大数据公司普遍为初创企业，大企业对由年轻的公司来处理自己的基础设施难免感到不放心;二是大企业对于安全的担忧，大多数企业都会拒绝把数据迁移到云端。

从大数据行业的内部来看，大数据的成功不是由实现技术的某一方面而实现的，它需要把技术、人和流程糅合到一起，收集数据、存储数据、清洗数据、查询数据、分析数据和对数据进行可视化等工作是有分工的。有的由机器来完成，有的需要人来做，但是整体是要无缝集成起来的，也就是说，以数据为中心，公司整体以数据为驱动。

对于大数据的发展，我把它分为下面5个阶段。

1. 部署阶段

2011~2013年，互联网公司开始实验大数据技术，推出了若干的hadoop试点计划或者尝试一些试点方案，由此出现了诸如“数据科学家”和“首席数据官”等此前并不存在的职位。他们做了很多努力，但是依然没有出现足够多的、可以展示的成果。此时，更多的公司对大数据技术持观望态度，它们寄望于某个大型供应商可以提供一个一站式解决方案，比如IBM，但这种情况并没有出现。

2. 生态体系正在成熟

当一部分大数据企业完成了融资，企业规模得到了扩大时，更重要的是它们从早期的失败中获得了宝贵的经验，已经可以提供成熟、经受过考验的产品。其中的佼佼者已经成功上市，比如2015年上市的Hortonworks，没上市的也已经获得上亿美元融资，在资金方面看起来不会显得那么单薄，比如Cloudera。

随着大数据领域的创业持续进行，公司的数量与日俱增。行业的基本趋势也慢慢发生了变化，大数据业务的中心从基础设施(开发者和工程师)转移到了数据分析(数据科学家和分析师)，甚至在应用方面也已经初露端倪。

3. 大数据基础设施持续创新

尽管大数据的重心已经转移，但是基础设施领域的创新仍然富有活力。2015年，Apache Spark大热，这个利用了内存处理的开源框架受到了IBM、Cloudera等企业的拥护。

Apache Spark 的出现解决了一些导致Hadoop采用放缓的关键问题：Apache Spark数据分析更快，更容易编程，并且跟机器学习能够很好地搭配。

在数据库领域内，也出现了很多新兴玩家，出现了很多令人兴奋的技术进步，比如图形数据库的成熟、专门数据库的出现，比如统计时序数据库InfluxDB。此外，数据仓库也在不断演变。

4. 大数据分析与人工智能结合

大数据分析越来越关注利用人工智能来帮助分析大规模的数据。其实，有很大一部分人工智能在某种程度上来说是大数据的产物，深度学习概念在10年前提出，而其背后的算法在几十年前就诞生了，但它真正发挥出最大的潜能还是在应用到大数据之后。人工智能与大数据之间的关系非常紧密，它们似乎就是天生的一对搭档。

5. 大数据应用的加速发展

在大数据核心基础设施的挑战一一得到解决之后，大数据应用必将以飞快的速度构建起来。在企业内部，已经有足够多的工具来帮助跨多个核心职能的企业用户，比如销售和营销的大数据应用通过处理大规模的内外部数据就可以分析出哪些客户会购买、续约或者流失，并且这些分析结果都将是实时得出的。

这些大数据应用依托在最新的大数据技术基础上开发，客户无须部署底层大数据技术，即可利用大数据，而底层的技术已经是打包的，这是未来的一个趋势。另外，人工智能在应用层也将得到广泛应用，比如在安全领域用来对付黑客。

然而，随着大数据的深度发展，这个词可能会变得越来越冷，不是因为它过时或者不重要了，而是因为它将成为未来科技的血液，在我们看不到的地方发挥作用。对于技术层面的东西，这或许就是最好的命运归宿。

来源：老周开讲