全球预见者分享平台、领先的数据科学社区媒体和职业发展平台

168大数据

 找回密码
 立即注册

QQ登录

只需一步,快速开始

1 2 3 4 5
开启左侧

苏宁物流实时大数据的探索与实践

[复制链接]
发表于 2018-12-28 11:49:19 | 显示全部楼层 |阅读模式

苏宁物流天眼系统介绍


物流天眼系统是苏宁易购集团面向物流及售后领域的实时数据监控、多维度数据分析和大数据服务的可视化平台。

主要业务场景:

1.订单的全链路实时跟踪监控,监控了物流作业的20多个系统140多中场景,顾客从易购下单,到商品仓库出货到中转运输,到最后的快递点配送销单以及商品的售后服务,所有环节的异常都在天眼系统的掌控之中

2.仓储作业:监控商品的拣选包装完成进度;箱包推荐算法的实施降低了包装成本

3.包裹分拨监控:分拨包裹在库,发件及时率,发车及时率,入站及时率

4.车辆线路的实时监控。对车辆运输计划进行编排与动态调整

实时技术架构演进


该架构定位是为了解决传统BI的问题,LOS订单系统、DWMS仓库系统、TMS运输系统、LDCS调拨系统数据经过复杂的etl数据处理,存储到数据仓库中。该架构简单易懂,但是随着数据量的提升、性能需求的提高、实时性的等问题导致系统无法正常使用。



随着大数据hadoopSpark等计算框架的在实时性、扩展性方面的优势,逐步替换存储过程。数据存储也引入了分布式数据库postgresql,hbase,elaticseach等。Hbase主要存储接收源系统的数据,postgresql结合elaticseach为处理好的数据存储地,为上层报表提供数据服务。

为应对数据采集与传输的瓶颈,我们有引入了kafka、flume解决数据传输的问题,提供一下缓冲,防止计算框架一次处理过多数据

改技术架构相比1.0,只是在技术组件上进行的替换,仍然是批处理方式,对实时性支持稍微欠缺。


架构3.0,采用Spark streaming流式计算,解耦,细分各个业务处理逻辑,保证系统的稳定性。

数据存储方案








明细下载

并发下载量1万+

全国分拨中心和10万+快递点全覆盖

最大下载数据量百万+

实时下载时长控制在30秒内

下载需求量大,直接从postgreSQL出,会造成大量链接以及IO开销,所以对明细下载应该另辟蹊径。



经验分享






楼主热帖
168大数据(www.bi168.cn)是国内首家系统性关注大数据科学与人工智能的社区媒体!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

关于我们|小黑屋|Archiver|168大数据 ( 京ICP备14035423号|申请友情链接

GMT+8, 2019-3-23 09:23 , Processed in 0.068307 second(s), 17 queries , Xcache On.

Powered by BI168社区

© 2012-2014 海鸥科技

快速回复 返回顶部 返回列表