腾讯蒋杰：实时计算，腾讯用他来干嘛？

注：本文来自腾讯数据平台部负责人蒋杰在2014虎嗅夏季F&M节上的演讲，虎嗅进行了整理、编辑。


非常感谢虎嗅给我这样的机会。我今天主要讲实时计算的框架和发展，还有应有的场景，还有在腾讯这样的企业是如何应用的。

为什么要做实时计算？

无论是华大基因，还是很多硬件的创业者，他们讲述的话题有所不同，但是各自的话题又都离不开数据。21世纪就是本数据书，如何更好的利用和发现数据，这需要有实时计算的体系。

腾讯实时计算的平台是根据腾讯的效果广告的发展而来的。我们的效果广告为什么要实时计算？因为当你的数据量级在几百亿的时候，它要基于消息队列的模式实现消息队列的延续的过程。在腾讯整个业务的发展过程中，实时计算能为我们解决很多问题。

所以海量数据跟实时的结合是对腾讯实时计算的挑战，而10毫秒快速反应则是我们努力的方向。

比如你一个用户绑定了Q—zone，根据这个用户在腾讯里面的关系链，他的关系加起来是几亿的模型，加上用户量有8亿，8亿用户之间的关系，还有你的点击行为，包括用户的浏览行为，根据行为的过程我们会做一些广告的投放，精准投放的模式，这就需要有海量数据跟实时的结合。因为只有10毫秒，你才能做这样的体系，并且量基本是每天接近300亿。

实时计算的应用场景有哪些？

对于实时计算来说，它的应用场景有很多。

在社交领域它可以实时感知你的好友动向，大家都知道玩什么东西，这已经在很多社交领域有了很多应用。还有电商，淘宝、京东等大型电商的橱窗广告都是用这种模式做了。在游戏行业，特别是预测用户游戏的感受，当你多次失败的时候如何预测流失风险，还有游戏玩到一定程度的时候，你想过关用什么道具，帮你推荐相关的道具这也是一个应用。营销就不用说了，根据实时的地理位置信息，还有商家的信息。

基于这样的平台，我们每天已经支持了1万亿的实时消息接入，大概是2.6万亿实时计算，我们每次写入的存储大概在5千万亿，基于这样我们覆盖了很多业务，也应用到所有的领域。

怎么做实时计算？

很多人说你是怎么做的？我们还是跟传统架构的延伸革命，我们把所有的资源，采用普通的互联网架构，用我们的硬件资源和技术管理起来。

这里面主要是三个模块。

一个模块是做实时采集。

全球200个top点的数据实时采集过来，延迟要达到1秒钟之内，还要做加密，压缩，节省网络流量。在上面要做很多计算引擎，做一些动态的自学习算法模式。

还有一个是做存储模式。

有些消息是要保留的，必须要把它存下来。这个模式有一套技术框架，基于这样的技术框架，我们的应用领域可以覆盖很多。广告是一个，微信的监控也是一个。比如在一个小国家，他用微信非常慢，如果出现了故障，我们可以比运营商还早发现，并且提供报警。

最后一个是基于实时分析与精准推荐。

对互联网来说，计费通常是一次性行为。如果你交电费或者电话费，这次不成功，你下次还会交，因为你需要付费来维持服务。但对于游戏来说，我要打一个关卡，这并不是一个必然的事件。如果游戏过程中我需要付费，但付费不了，那下一次就不会付费了。所以，类似游戏这样的业务对我们整个计算和实时功能要求非常高。

因此。我们用实时分析的模式解决实时的问题。每一个标签的行为，包括耗时都可以被统计进来。同时，我们将实时计算用于精准推荐，精准推荐是实时计算最好的一个应用点，也是一个能够让企业真正有价值的地方。这样我们才能够将用户的体验做到极致。