苏宁物流实时大数据的探索与实践

苏宁物流天眼系统介绍

物流天眼系统是苏宁易购集团面向物流及售后领域的实时数据监控、多维度数据分析和大数据服务的可视化平台。

主要业务场景：

1.订单的全链路实时跟踪监控，监控了物流作业的20多个系统140多中场景，顾客从易购下单，到商品仓库出货到中转运输，到最后的快递点配送销单以及商品的售后服务，所有环节的异常都在天眼系统的掌控之中

2.仓储作业：监控商品的拣选包装完成进度；箱包推荐算法的实施降低了包装成本

3.包裹分拨监控：分拨包裹在库，发件及时率，发车及时率，入站及时率

4.车辆线路的实时监控。对车辆运输计划进行编排与动态调整

实时技术架构演进

该架构定位是为了解决传统BI的问题，LOS订单系统、DWMS仓库系统、TMS运输系统、LDCS调拨系统数据经过复杂的etl数据处理，存储到数据仓库中。该架构简单易懂，但是随着数据量的提升、性能需求的提高、实时性的等问题导致系统无法正常使用。

随着大数据hadoop、Spark等计算框架的在实时性、扩展性方面的优势，逐步替换存储过程。数据存储也引入了分布式数据库postgresql，hbase，elaticseach等。Hbase主要存储接收源系统的数据，postgresql结合elaticseach为处理好的数据存储地，为上层报表提供数据服务。

为应对数据采集与传输的瓶颈，我们有引入了kafka、flume解决数据传输的问题，提供一下缓冲，防止计算框架一次处理过多数据

改技术架构相比1.0，只是在技术组件上进行的替换，仍然是批处理方式，对实时性支持稍微欠缺。

架构3.0,采用Spark streaming流式计算，解耦，细分各个业务处理逻辑，保证系统的稳定性。

数据存储方案

明细下载

并发下载量1万+

全国分拨中心和10万+快递点全覆盖

最大下载数据量百万+

实时下载时长控制在30秒内

下载需求量大，直接从postgreSQL出，会造成大量链接以及IO开销,所以对明细下载应该另辟蹊径。

经验分享