深度学习在阿里菜鸟网络物流领域的应用

胡浩源 / 阿里巴巴菜鸟网络高级算法专家

阿里巴巴菜鸟网络高级算法专家，研究深度强化学习在仓配供应链中的应用，融合⼤规模并行分布式计算、遗传算法、超启发式框架，以及传统运筹优化算法，解决诸如车辆路径规划、切箱等问题； 曾任职阿里天猫推荐算法团队，完成的“会场个性化”和“我的双十一”作为最早的双十一个性化产品，在2015年完成20亿成交额，团队获得CEO特别贡献奖。

胡浩源老师也是 2017全球机器学习技术大会 讲师之一，将在6月29-30日，与来自 Google, Facebook, Microsoft, Tesla, Uber, Netflix, Snapchat, 腾讯, 阿里.....…40 多位国内外一线机器学习领域技术专家做出精彩的分享！

【文末福利】↓

直播采访回顾

1. 深度学习的应用非常广泛，我们 2017全球机器学习技术大会 听众中有很多从事不同行业的朋友，可否给大家介绍一下深度学习是如何应用于菜鸟网络的物流业务中的？特别是具体的场景，以及解决的问题？

菜鸟网络目前做的很多都是跟物流相关的事情，包括仓配、供应链、网络规划等，这一点可能和很多技术广告或者搜索推荐的比较大的一个区别是：菜鸟目前大范围面临的是一个运筹优化问题。运筹优化问题，传统上来讲的一个解决方案是混合指数规划或者一些启发式的一些方案。

在菜鸟网络的一些具体场景中，我们进行了一些尝试，其中非常经典的就是切箱问题，它指的是给定一系列大小的候选箱子，当包含很多商品的一个订单来的时候，如何选择放的次序朝向位置，使用的箱子数量最少，表面积最小，从而降低成本。

这一块从传统上来讲，如果是运筹优化领域出身，就会明白有很多启发式的策略可以解决这个问题。我们现在尝试的就是用深度学习的结构来表达其状态本身，后面再带上强化学习的方式把这个启发式的策略学出来，甚至还能学得更好。

另外在菜鸟物流中，比较大的一个领域是车辆路径规划。快递员也好，干线或者支线的运力资源也好，都需要去服务一定的客户群体，那么在这种情况下，怎么合理地安排车辆的路线以及有哪一部分车去服务特定的用户群能够达到车的数量的减少或者距离的减少，这两方面的结果可以为整个中国的物流体系降低成本。

那这就是一个非常经典的带时间窗的一个车辆路径规划问题。然后传统上来讲都是用一些混合整数规划的一些方式，或者是一些元启发式、超启发式，或者并行的方式去解决这个问题，这也是我们现在在研究的内容。

• 怎么给原始的 VRP 问题做 Embedding ；
• 其次怎么选择比较合适的一个网络结构把它表达出来；
• 计算梯度的环节，我们怎么去选择合理的强化学习策略，让整个优化方向朝我们希望的方向走。
  
  

在优化问题里面比较特殊的一点就是监督学习的一套可能不太适用， 是因为大部分都是NP-Hard 问题， 作为 target 的 Optimal 的解很难取得。

然后菜鸟还在一些供应链上的，例如像销量预测。比如说像一些具体配送站点的一些单量预测上用上了一些深度学习的预测的一些技术。这些技术，目前的尝试都在逐步接近，甚至超过了传统的一些启发式的结果，帮助我们取得了非常好的一些业务效果。

2.  在您平时的工作中，主要使用哪些深度学习框架（诸如 TensorFlow、 Caffe、Torch、MXNet...）？是否能简单评价一下它们？

由于我们要考虑到公司整个的一个选型，所以主要用的是 TensorFlow 和 Caffe。选择 TensorFlow 的好处就是它的开发背景比较好，然后另外它的各方面的兼容性和那个开发效率比较高。公司用 Caffe 的人也是比较多的，但是开发插件需要 C++，所以可能难度会高一点。

深度学习的框架在选型上我没有太多的纠结， 因为目前看起来都满足我们的需求，只是因为我们需要很多情况下去更改它的底层的源代码，这种情况下，我们目前是选择 TensorFlow 作为我们深度学习的框架。

3. 成长成为一名优秀的机器学习工程师，需要那些训练，胡老师有哪些成长经验可以分享？

我认为分几个方面，第一，出身背景还是比较重要的。因为我知道现在很多算法从业人员，可能他主要的资源或者经历是花费在如何调用一些算法包去解决业务问题上，所以就出现很多特征工程师或者调参工程师。 其实很多情况下，对计算广告或者搜索推荐而言，从业务领域知识出发的特征的思考，甚至有些情况下会比模型更重要一点。另外很多调参黑科技或者 trick 才是一个公司比较重要的组成部分。 但是如果想继续提升的话，特别是非科班出身的同学，我建议关于机器学习最基础的原理、来源、它要解决的一些问题，还是需要去了解一下。

我个人是在做了几年机器学习之后，开始做结合运筹优化和机器学习的领域。后来发现，很多自己之前觉得比较理解的事情，再与运筹优化的一些问题合在一起之后，会有一个更深刻的理解。特别是现在的深度强化学习，以前的机器学习是去学一个函数或者一个函数集。但有了深度学习之后，它学习的是表达本身，比如说有些  embeding 的方式 ，可能特征也学出来了。虽然效果比不上长时间调的经验特征，但是跟平均水平比也差不多。 在这种情况下，去深入的了解一些深度学习和强化学习的原理，会起到很好的效果。大家都知道，深度学习的强化学习里面有 很多trick。包 括网络结构，为什么是这个样子，什么样的网络结构适合解决什么样的问题。

所以我的建议是，如果是科班出身的同学，理论基础比较好的，有条件在公司拿能够实际应用的项目练练手，因为这样你也会很有成就感，看到自己做的事情真的产生了价值，产生了利润或者为公司节约了成本。 一些非科班出身的同学，但实战经验非常丰富的，那是不是考虑抽一定的时间去把一些比较基础的知识短板补上。

我觉得最有效的就是跟一些你觉得非常强的人在一起，去向他们学习和交流，这个成长速度比自己单纯看书或者看视频要高得多，就像你找一些水平非常高，能跟你一起去组队打比赛，对自己提高是非常有好处的。 现在阿里集团提供了一个平台，大概所有人都会有一些大数据方面的竞赛，也欢迎大家参与。 特别是有些情况下，公司内部或者外部进行效果PK的时候，大家可能都比较聪明，特征也都想的差不多，这个时候来自于原来理论基础上的一些差异就会慢慢涌现出来。

4. 您同时也是本次 2017全球机器学习技术大会 演讲嘉宾之一，可否给大家提前透露一下您本次大会的演讲内容？

这一次演讲主要是围绕着菜鸟网络的业务展开，包括我们现在正在做的，深度强化学习怎么用在几个比较传统的运筹优化领域。

目前我们正在尝试利用一个 RNN 的网络结构去表达问题本身，背后用一些强化学习的方式 去求解梯度，看能不能把我们之前的一些启发式的策略给学习出来。 这里面还包含了关于如何去选择网络结构？如何把一个问题进行一定程度上的转化，能够把它一边订到一个可解的网络结构，以及在很多运筹优化领域如何去取舍监督学习和强化学习上的一些思考。

还有我们目前作为菜鸟物流正在做的一些仓内机 器人，他作为典型的多智能体调度，是传统人工智能的来源，也是一个非常有意思的一个研究领域。除了和运筹优化问题相关的结合之外，还包括就是深度学习作为一种监督学习本身 ，在我们一些销量或者单量上的一些预测，跟传统的监督学习相比的优劣和它可能适用的场景的一些分析。 最后也会概览性地介绍一下菜鸟网络目前正在从事的事情以及人工智能部未来的一些规划。

互动交流问答

（精选部分问题）

@rene：修路或者其他导致路线中断，或者交通拥堵情况产生的话，路线优化能做到可以实时学习优化么?有哪些核心技术问题？如何解决?

这属于 dynamic VRP问题， 我们是利用流式计算的方式实时求解的，目前遇到比较大的问题是性能和效果的平衡的问题， 我们在探索利用分布式并行化求解的过程。

@C.Y. : 有没有什么场景不适合深度学习，或者什么场景更适合深度学习，目前看更多的是在非结构化的分析识别上应用。

这个问题非常好， 目前除了传统的结构化数据例如图像和语音的领域，其余领域都在探索阶段。

Q: 强化学习目标是指网络吗？规划问题怎么表示？

现在在规划问题里面有两个问题是可以表达的，就像切箱问题和 TSP 问题，因为它可以去表达成一个序列。 它在 Reinforcement Learning 也很好表 达，对于TSP而言就是线路的一个长度；对于切箱问题而言，就是箱子的表面积。切箱问题和TSP问题，输入以商品大小和点的坐标表达，reward 用 长度和面积表达。