京东大数据平台的技术创新

当前，业界对大数据处理的技术方案几乎已经形成一套通用的技术架构。然而，结合不同的行业及不同的实际业务需求，大数据平台建设所用核心技术依然需要付出一定的研发投入来实现定向的技术突破与应用。京东大数据平台搭建过程中，遵从“大处着眼，小处着手”的原则，在通用的开源技术架构基础上进行定制开发和产品化，从技术和产品两个层面实现微创新和突破性创新，打造坚实的平台基础。

技术微创新主要体现在平台的基础架构上，通过对hadoop分布式技术的深入学习，紧密结合京东业务实践，在本地化部署过程中实现多项创新：

1.支持多租户间队列资源动态调配；

2.开发自定义的HDFS存储格式，及加密/解密和验证框架；

3.开发Thirdnamenode，实现灾备及异常操作监控；

4.针对HDFS，开发一套基于用户，群组，角色的细粒度的权限控制管理系统；

5.针对Hadoop量身打造啄木鸟监控和优化平台；

产品层面的突破性创新主要体现在大数据管理应用，包括：

1.自主研发面向复杂业务模型的海量数据生产调度管理平台；

2.自主研发打通广告点击与页面浏览的日志分析平台，同时也支持实时反作弊和用户模型研究；

3.免推送至关系型数据库直接基于文件系统生成报表的前端展现平台；

4.综合多种开源技术全新打造的流式计算平台；

5.自主算法的数据挖掘平台；

6.融合多产品功能的移动应用；

在基础架构方面，京东大数据平台是基于云计算的动态弹性平台，采用了Hadoop分布式计算技术，可做到快速的横向扩展。平台计算技术的实现分为离线计算模块与实时计算模块，基于海量数据查询的计算正由离线逐步过渡到即时查询，数据洞察的能力更加及时有效。

在软件架构方面，基于Hadoop自主开发的大数据平台，已为京东提供了高性能、高保障、高可用的通用服务，为京东数据科学家、数据分析师、数据挖掘工程师等提供了强有力的支撑，通过友好的交互设计和功能定制大幅降低了数据的消费门槛，让数据应用更简单、高效。

在业务模型方面，京东作为电商行业的领先者，拥有从流量、仓储、采购、销售、配送，售后、商品等全链路的超优质结构化电商数据。在业务模型的设计与开发方面，将传统业务主题模型进行了全方面的优化与创新，让电商主题模型更加清晰，开发更加高效。主题模型目前已经经受住了复杂的京东业务，尤其是在京东业务系统频繁变更的今天，更是发挥着越来越重要的作用。

在人员配备与人才培养方面，京东复杂的业务对京东数据工程师要求更高，甚至苛刻。京东目前拥有多名数据科学家和近百名高级数据开发工程师。并通过“大数据平台认证”项目，从分布式开发技术、HSQL优化、产品使用、业务模型四个方面进行专项技能培训，保证了在技术与产品迅猛改进的同时，为京东培养了更多的非数据序列的员工，通过智能数据分析平台，协助业务人员更有效地解决实际业务问题。目前大数据认证项目，已经为京东输出了数百名合格的数据工程师和数据分析师。

Via：京东大数据