大数据将助企业更好实现商业价值

人物名片 　　郑龙，中兴飞流信息科技有限公司CTO。日本会津大学博士毕业，在日本期间作为日本学术振兴会特别研究员(JSPS Research Fellow)开展多核—众核并行与分布式异构计算研究；博士后师从数据流技术权威高光荣教授在美国特拉华大学进行数据流大数据技术的研究，曾任美国ET International（ETI）公司产品架构师，后任教于上海交通大学计算机系。

  大数据将帮助企业更好地实现商业价值，以及通过改善商业智能来帮助企业改变组织流程和客户体验。

  2016年，各行各业的大数据应用开始从空洞的理论变为具体实践。因此，很多专家认为2016年才是真正意义上的大数据元年。那么，2017年大数据发展趋势主要集中在哪些方面？为此，本报记者近日采访了中兴飞流信息科技公司CTO郑龙。

  大数据时代数据处理有三个特点

  记者：大数据时代，如何从海量数据中分析得到需要的数据，是很多公司的努力方向。在您看来，大数据时代数据处理的特点是什么？

  郑龙：总体来说大数据时代数据处理的特点包括三个方面：一是海量实时流数据需要高吞吐、低延时处理能力。实时事件、交易、交互数量每秒以百万计，由此产生的数据兼具海量与实时的特性，自然会给大数据处理系统造成巨大的压力，需要具备强大的并行计算能力，需要同时满足高吞吐、低延时的特点。可见实时处理是大数据发展的重大趋势。

  二是基于Lambda架构的动态流批混合处理能力。目前市场上流行的流式处理系统有Spark Streaming和Storm。但还是存在计算延时仍然无法保障以及资源调度低效等缺点。Lambda架构整合离线计算和实时计算，融合不可变性（Immunability），是一个能满足实时大数据系统关键特性（如高容错、低延时和可扩展等）的架构。基于Lambda架构的统一流批混合处理平台，可以动态感知批处理或流处理的优先级，使得资源高效调度成为可能。

  三是面向高度数据智能需求的大数据处理能力。当下业务场景除了对实时性要求越来越严格，业务场景的复杂程度也越来越高，数据分析、决策支持将成为大数据的重要应用。如今结合智能计算的大数据分析逐渐成为热点，包括大数据与神经计算、深度学习、语义计算以及人工智能其他相关技术结合，成为大数据分析领域的热点。

  未来大数据将从三个方面快速发展

  记者：未来大数据的发展方向是什么？

  郑龙：大数据将帮助企业更好地实现商业价值，以及通过智能化手段来帮助企业改变组织流程和客户体验。未来大数据的发展方向包括以下几个方面——

  一是机器学习将在图像识别、预测分析等领域实现商业化。Gartner研究报告称，机器学习是2017年十大战略技术趋势之一。当今最先进的机器学习和人工智能系统正在超越传统的基于规则的算法，创建出能够理解、学习、预测、适应，甚至可以自主操作的系统。随着大数据分析能力的不断提高，很多企业开始投资机器学习。

  二是高吞吐、低延时的实时数据处理技术广泛运用。典型的实时数据将产生于临床实验与医疗设备、疫情预警、保险欺诈检测、电信运营商DPI分析及位置定位业务、智能电网的生产及勘探设备、交通行业路线拥堵及车辆追踪等领域。鉴于这样的流数据的分布广，影响大，所以，对于全行业大数据应用都是非常重要的组成。

  业务需求驱动高吞吐、低延时的流数据处理技术应运而生，离线计算和实时计算需要在统一框架中予以动态调配完美融合，而幸运的是，这样的技术已经浮出水面，商业模式也已呼之欲出。

  三是物联网与大数据的结合愈加紧密。数十亿与互联网连接的“物件”将生产大量数据。企业日益期望从这些数据中获得价值，通过发展大数据技术以便与物联网数据衔接起来。Forrester报告预计，可提供物联网洞察能力分析的第三方供应商在2017年将翻一番。

  Yita是基于数据流的大数据计算引擎

  记者：在您看来，什么是数据流？

  郑龙：为了提高计算机的并行处理能力，人们一直致力于研发高度并行的计算模型，在这样的计算模型中，不仅要考虑数据控制类型，更要考虑驱动方式。

  数据流跟控制流的区别可以简单理解为市场经济和计划经济的区别，控制流处理过程中会预先设定好每一步该干什么，然而在数据处理的实际过程中，如果有动态的变化，就没有办法处理和调整，有点类似于计划经济。相反，数据流更加像市场经济，它只规定了市场经济的准则，只要有资金、有技术、有人就开始执行。在实际处理过程中，只要有数据、计算资源、CPU就可以让任务启动起来。这样就减少了计算中的控制同步等待，从而实时性更强。

  记者：正是看到了数据流模型在大数据处理方面的优势，中兴飞流推出了基于数据流模型的Yita大数据计算引擎。您能谈谈Yita大数据计算引擎的具体情况吗？

  郑龙：目前数据流思想在中国的落地正是Yita计算引擎。这个从运算机理上进行创新的计算框架，不仅面对海量高压数据场景处理更加游刃有余，而且使用Lambda架构动态感知处理方式的优先级，可以进行流批混合计算，同时有机结合了机器学习能力、图计算能力和深度学习能力，最终实现了以Yita计算引擎为核心的大数据平台的智能化。

  中国大数据企业需在核心技术上下功夫

  记者：目前在大数据领域，我国企业需要在哪些方面下功夫？

  郑龙：目前我们可以很明显看到，在系统软件领域没有一款产品是纯自主研发的。从技术角度来说这是一个很严重的问题。

  中国企业要拿出核心竞争力，在大数据技术发展中占据一席之地，就如通讯业从3G向4G、5G的发展进程中，中国企业不再被牵着鼻子走，而是开始发出自己的声音，引领技术的发展，这是我国企业在技术层面需要重视的事情。

  记者：作为大数据技术公司，中兴飞流着眼点在什么领域？

  郑龙：作为专业从事创新大数据核心技术研发和服务的高科技软件企业，中兴飞流提供具有核心自主知识产权的大数据技术及解决方案。核心产品是以数据流思想为理论基础的Yita计算引擎，基于该计算引擎的JDH大数据平台，辅以丰富的算法库，构建了融合hadoop生态的、面向海量实时和流批混合计算的行业大数据整体解决方案。主要面向电信运营商领域、金融领域和交通、公安等政府领域，持续创造和提供具有竞争力的产品和应用，实现“数据智慧，极速共享”。

本文来源数据观，记者：金毛毛，编辑：Fynlch（王培），转载务必注明来源及作者信息