基于Docker的京东大数据实时计算平台

JRC用户需求多样复杂，用户要求的资源配置也大小不一，系统更新部署步骤繁琐，人工操作亦有极大的安全风险，与此同时，用户的资源需求也越来越多，大集群支持、资源节省亦是我们应该重点关注的问题。

本文就来介绍一种我们京东为了解决上述问题而研发的基于docker的实时计算平台。

现状以及问题

storm集群结构

storm拓扑结构

storm瓶颈

从storm架构图可以看出，storm整个集群对zookeeper的依赖非常大，无论是拓扑配置、分配信息、心跳、错误信息，均存储在zookeeper中，而nimbus每次分配、更新任务，均需要从zookeeper中获取这些信息，因此nimbus的压力非常大，特别是当单集群worker使用量超过5000时，每次分配、更新任务所耗的时间经常需要几分钟，其中特别是worker心跳对zookeeper所造成的压力影响最甚。

众所周知，京东业务广泛，对实时计算的需求也很大，对应所要求的集群规模也不可能小，因此京东对于上述这些问题也必须做出改变以适应自身业务的发展，其中最大的改变即是对拓扑应用结构的改变，增设了TopologyMaster角色，把metrics、心跳、背压等信息均由TopologyMaster处理，大大减轻了nimbus及zookeeper压力，当然啦，还有很多很多很不错的改动，但这不是本文的重点，就不在此累赘了。改变后的拓扑结构为

为响应京东集群资源上云号召，京东实时计算平台虽然解决了大集群、资源隔离等用户或集群所面临的重要问题，但若直接把整个storm照搬上弹性云平台虚拟机使用，则无法满足资源隔离需求，届时，集群用户任务之间的相互影响很可能带来各种不可预见的问题，因此我们必需对storm底层进行一次完整的改造。

技术架构实现

如图所示，我们将Storm的Nimbus功能进行拆分，将拓扑的主要管理职能交给TopologyMaster，改造后的storm在我们内部称之为Mars，意寓发现新大陆。

Mars主要有以下几个特性。

1二级调度

改造后的Nimbus只需管理TopologyMaster的调度，其它如UI访问、命令下发、拓扑更新、分配、背压、metrics、心跳等，均由TopologyMaster负责处理，真正实现了完整意义上的二级调度。

2资源隔离

改造后每个docker实例下只有一个supervisor，并且每个supervisor里只用一个worker，通过每个docker一个worker来进行worker级别的资源隔离。此外，我们引入了组的概念，不用用户申请的资源也可以统一放到一个组上，一个任务只能运行在一个组内，并通过产品化来引入权限管理，以此保证不同用户申请的资源不会被他人占用。

3全高可用（High Availability）

基础进程HA

我们在每个docker实例里内置一个管理进程mars admin，并配置crontab每分钟检测mars admin进程状态，保证mars admin发生异常后自动重启。Mars admin管理着supervisor进程、进行日志服务的doctor进程、抓取日志的bee进程，这些进程的启停与更新由mars admin来执行，保障每个docker实例里的基础进程的HA。

Nimbus HA

我们通过Zookeeper来实现Active-Standby模式的nimbus ha，由于改造后nimbus的工作内容很少，因此单机执行完全足够满足需求。

TopologyMaster HA

TopologyMaster会定期与Nimbus进行心跳交互，若Nimbus检测到TM心跳超时，则会重新调起一个新的TM，新的TM会将自身信息写入Zookeeper中，其它Container与Supervisor将通过Zookeeper来识别到新的TM，从而保障TM的HA。

Container/Worker HA

Container会定期与TM进行交互，若TM检测到Container心跳超时，则会重新从资源池里调起一个新的Container接管原来失效Container的任务，并把新的任务分配写入Zookeeper中，以便其它Container识别新的Container的位置，从而保障Container的HA。

4自动部署

由于一个docker一个worker，而一个docker实例可以理解为一个虚拟机，用户资源申请具有随机性、配置个性化等特点，因此对我们配置管理上必需具有自适应性。对此我们通过提供一个特殊镜像，通过产品化把JRC与云平台资源申请打通，并把资源配置、包部署等功能产品化，以达到自动部署的目的。

总结

基于docker的实时计算平台是京东自行研发的全新的、自动化的实时计算平台，它基于storm理念，通过重新设计整个底层架构及运行逻辑，并添加背压、压缩、限速、监控、日志等辅助功能，经过产品化并与弹性云平台打通，达到了用户申请即可用、配置个性化、大规模集群的要求，操作高效且自动化。