从单体智能到群体统筹，优化算法正在推动人工智能新浪潮

摘要： 谁掌握了核心算法，谁就能在未来一波又一波的人工智能浪潮中掌握主动权。

作者：吴宁川  来自：钛媒体

过去两年出现了人工智能的热潮，特别是以深度学习算法为代表人工智能在中国市场出现了井喷现象。根据麦肯锡统计，2016年全球科技巨头在人工智能上投入了 200亿到300亿美元，VC/PE投融资达60亿到90亿美元。在中国，根据钛媒体TMTbase全球创投数据库的数据统计，目前共收录中国人工智能企业398家、共发生571起投资事件，投资总额高达571亿人民币。

就在AlphaGo先后挑战世界和中国围棋高手后，关于人工智能的热炒更有甚嚣尘上的趋势，也有行业专家发出人工智能泡沫的警告。然而，人工智能泡沫现象却有一个意想不到的效果。2017年6月24日，在由钛媒体与大数据运筹优化公司杉数科技联合举办的“钛媒体AI大师圆桌会”中，来自美国与中国的顶级优化算法专家均表示，人工智能热带动了优化算法的繁荣。

斯坦福大学李国鼎工程讲座教授、华人运筹学领袖、杉数科技首席科学顾问叶荫宇表示，机器学习算法强化了单体机器的智能，但在机器人群体协同工作时则需要“通盘考虑、统筹优化”的优化算法。正因为云计算、大数据与人工智能的井喷，才出现了超大规模的大数据，而这正是优化算法繁荣的基础，优化算法的发展也将反过来推动人工智能进入新阶段。

算法战争与战争算法

斯坦福大学李国鼎工程讲座教授、华人运筹学领袖、杉数科技首席科学顾问叶荫宇

2017年4月26日，美国防部在一份备忘录中对“战争算法”进行了描述，提出了“算法战”概念，更为重要的是组建了“算法战跨功能团队”，该团队将通过编写人工智能、机器学习等代码来改变作战方式，比如利用人工智能对无人机采集的海量视频数据进行分析以获得丰富的战争情报。

而早在二战的时候，还没有大数据甚至也没有计算机，在获取数据的途径、数量和速度都很有限的前提下，发源了对后来全球社会经济有广泛影响的“战争算法”：运筹学。叶荫宇介绍说，运筹学是一种研究优化的学问，就是对于所有的实际生活中出现的问题，不是简单是找一个可行的方案，而且是一定要找到最优的方案。用现代的话说，就是要把事情做到极致。

生活在1707年到1783年的著名瑞典数学家莱昂哈德·欧拉就曾说过：这个世界上的任何事情或事物都有最大值或最小值。在二战中，盟军使用数学模型解决各种作战的最优化问题，包括雷达部署问题、运输船队的护航问题、反潜深水炸弹投掷问题、太平洋岛屿军事物资存储问题、项目管理问题等等，这些问题的解决保障了最后的胜利。

二战结束后，人们将运筹学广泛应用到企业和政府之中，包括生产、服务、金融等行业。由于运筹学源于解决现实世界中的决策问题，因而后来涌现了大量运筹学算法，运筹学各重要分支得到快速发展，包括线性规划、非线性规划、整数规划、组合规划、图论、网络流、决策分析、排队论、可靠性数学理论、库存论、博弈论、搜索论等。

现代运筹学利用统计学、数学模型和算法等方法，为复杂问题寻找在满足约束的条件下能够最大化/最小化某一目标的最优决策，典型的应用就是解决复杂巨系统的优化决策问题。复杂巨系统指的是规模巨大、构成要素复杂、包含众多子系统的系统，如电力系统、城市交通网、数字通信网、柔性制造系统、水资源系统、社会经济系统等。

复杂巨系统性能的优化将产生巨大的经济效益或社会效益，而其中运筹学的应用就能起到重要作用。比如工厂生产、货物库存、销售中心和消费区域等管理等，不能对各个环节孤立地进行研究和管理，必须把这些环节连接起来，以获得全局优化的运行管理。

能够解决复杂巨系统的优化问题，才是以运筹学为代表的最优化算法的最大价值，甚至对于一个国家来说具有着战略意义。从商业价值这个角度来说，大数据是从0到1、人工智能是从1到2、统计和运筹优化算法是从2到N。掌握了以运筹学为代表的优化算法，才能真正赢得未来的算法战争。

大数据时代下的商业决策

美国纽约大学助理教授陈溪

叶荫宇曾获得美国运筹与管理学会冯诺依曼理论奖（运筹管理学界最高奖），也是迄今为止华人唯一获奖者，2014年美国应用数学学会优化大奖（每三年评一人）、2012年国际数学规划大会Tseng Lectureship奖（每三年评一人），曾主持和参与美国波音、FICO、运通、美国卫生部、美国科学基金、美国能源部以及美国空军科研部门等多个科研项目。

1982年叶荫宇赴美深造，当时人工智能经历了一小波高潮后，由于没有大数据等现代技术的支撑，理论研究与商业应用都处于停滞状态，但运筹学则在各行各业方兴未艾，从市场营销、生产计划、库存管理、物流运输、财政会计到人事管理、设备维修、工程最优化、计算机与通信系统以及城市管理等都有广泛的应用。

随着计算机技术高速发展，要解决的问题规模不断增大，运筹学的应用范围也取得革命性的突破。大量算法、软件产生，大数据时代给运筹学进一步带来了生机——如何将大数据转化为最优决策成为运筹学重点的课题。美国纽约大学助理教授、博士后师从机器学习之父Michael I Jordan（蚂蚁金服智囊团主席）的陈溪也认为，大数据的出现推动了机器学习、大规模统计推断与运筹学算法三大领域齐头并进，由此形成了大数据驱动下的商业决策。

叶荫宇介绍了大数据驱动下的商业决策的三个阶段：基于数据收集与管理的描述型（Descriptive）决策，数据成为大数据时代商业决策的基础和公司发展的“原燃料”，通常由计算机和信息科学技术完成；基于规律性分析的预测型（Predictive）决策，从大数据中提取信息，获得事物背后的规律，通常由统计和机器学习技术完成；但仅仅对数据的管理与规律性分析并不能释放数据的巨大价值，必须真正提升决策质量、从海量数据中发掘出规律，才能让大数据产生实质性价值，这就是基于决策建模与求解的处方型（Prescriptive）决策。

运筹学将实际中决策问题转化为数学模型，用高效的优化算法求解，运用系统科学和优化算法获得最佳决策及战略，并实现决策的自动化、流程化、规范化。在美国和欧洲，已经实现了运筹学算法的软件化与工具化。例如，在投资组合优化及相关决策领域，就有Barra、Axioma、ITG、Mosek等知名软件，其中Mosek大规模数据优化软件是欧洲第一大优化软件，叶荫宇教授同时担任该公司科技顾问委员会主席、创始人也是在叶荫宇的指导下对优化算法有了深入了解，并创立了该公司，目前华尔街进行风险控制的软件求解器有很多都使用Mosek软件。

叶荫宇认为，高频交易的竞赛就是算法速度的竞赛。如果一家软件的模型求解速度需要10秒钟，而其它家软件的速度为0.04秒，那么谁掌握了0.04秒求解软件的源代码谁就有核心竞争力，而从10秒到0.04秒就是算法的力量。

前不久的美联航事件，是典型的不确定环境中库存管理决策问题。航空公司机票超售是因为总有5%到10%的乘客因为各种原因不登机，而航空公司在不确定的条件下到底要超售多少张机票以弥补损失，当出现超售后有人不愿意下机的情况下，该如何鼓励乘客改乘下一班飞机，这都是运筹优化算法的范围。在不确定和测不准的随机或复杂环境下的困难决策，也是人工智能和机器学习算法的薄弱之处。

数据驱动商业场景中的决策优化

美国明尼苏达大学助理教授、杉数科技CTO王子卓

Mosek公司成立于1997年，迄今已经有20年的历史。而国内近年来在人工智能的产业化和商业化方面取得了一些进展，但优化算法是整个人工智能推进中不可缺失的一环，在国内却处于相对弱势情况。此外，即便是机器学习和深度学习的底层算法开源求解器，在国内也尚未见到。

2016年中，几位来自斯坦福运筹学领域的教授和博士，从斯坦福校徽的“杉”和大数据的“数”取名，创立了杉数科技，开始致力于在中国推广运筹学的商业应用以及开发机器学习和深度学习的底层求解算法。杉数科技目前已经有了京东等大企业客户，2016年7月获得了来自真格基金和北极光创投的210万美元天使轮融资。

美国明尼苏达大学助理教授、杉数科技CTO王子卓，曾获美国运筹管理学会收益管理分会2015年最佳实际应用奖提名，参与过美国运通、华为、IBM、希捷等项目，其中为IBM定制的定价策略系统获美国两项专利，为IBM创造过巨额的利润。

王子卓介绍了互联网时代由大数据驱动的定价策略，他认为好的定价策略是企业的“生命线”，特别是互联网商业模式下的实时定价更决定了酒店、零售、航空、租车等行业和企业的生死存亡以及能否获得更大的发展。

那么电商等实时企业如何更好的获得“生命线”，如何制定自己的定价策略？首先这就需要了解消费者的构成、偏好以及消费行为等大数据，其次在获得了消费者或消费者群体大数据的前提下，做出价格、时间、地点等销售决策。所以数据驱动的定价策略就是在正确的时间和正确的地点，以正确的价格为正确的客户提供正确的产品与服务。

现在，杉数科技智能决策提供一套基于数据的完整定价解决方案，包括目标场景、底层模型、优化策略、高效算法、信息回收、模型迭代等环节。其中，在构造和选择底层模型的时候，由于消费者在面临多个选择、不同价格、不同质量等信息时会改变购买行为，虽然有时候会出现不理性行为但依然可以从大数据分析中得出规律，随后通过非线性、离散、高维与动态算法等建立定价决策模型，再设计独特高效算法得到精确最优解/高质量近似解，采用并行计算架构就可以同时对大规模多SKU 问题有效求解，最终实现在线获得最优解、满足实时性要求。当然，价格计算不是一劳永逸，市场在变化、环境在变化、价格也在变化，动态调价已经成为很多行业的趋势，也就是在线学习消费者购买行为后不断更新算法模型。

杉数科技创始团队自2016年以来，利用自己在定价方面的独特积累和技术，已经为国内多个行业的龙头企业，包括电商、物流、出行等，提供了收益管理方向的精确量化软件开发和咨询服务，合同额达到了近2000万。

陈溪进一步介绍了在线学习与在线决策的联动影响与决策算法。在线学习与在线决策联动，有两个基本的选择：一是通过最少的尝试以获得对象的最大化信息（Exploration，勘探）；二是在已获得信息的基础上做出最佳决策以最大化收益（Exploitation，收获）。一个经典的例子就是多臂老虎机问题（Multi-Armed Bandit Problem，MAB）：不同老虎机的收益都是随机的，有的随机收益低、有的随机收益高、有的能出现高额随机收益，那么如何通过最少次数的尝试尽量多地获得每台老虎机的收益水平，从而优化拉老虎机的策略？2014年，王子卓、叶荫宇等人的一篇学术论文讨论了用于单一产品收益最大化管理的MAB算法。

多臂老虎机MAB算法有着广泛的商业用途，比如电商可以把该算法用于某个产品消费群体的认知和开发。陈溪在2016年参与的一篇“电商个性化收益管理的统计学习算法”中就探讨了杉数科技为唯品会开发的算法。当时在美国，某电商每个月甚至每两个礼拜，就定期给女性顾客寄一个内有5件衣服的盒子，顾客可以选择一件付款再把剩下的退回，如果5件衣服都不喜欢就会象征性收取邮费。以此来探知女性消费者的消费行为数据，并用于相关算法的开发。

陈溪强调，由于现实中的商业环境极为复杂，因此需要机器学习、统计分析和运筹优化的共同作用，才能做出最优化的商业决策。

清华大学交叉信息研究院助理教授、杉数科学家李建

清华大学交叉信息研究院助理教授、杉数科学家李建介绍了基于时空大数据的机器学习算法，所谓时空大数据中是生产生活中带有时间轴的地理大数据。李建表示，随着社会发展、企业运营、工业生产朝着精细化运作的方向发展，对于生产中一些关键性时空属性的预测和控制就显得越发重要。

时空大数据有着广泛的应用，例如：对于交通路况的预测，可以帮助交通部门调整和优化交通指挥和布局；对于给定路径的出行时间预测，可以帮助人们更好的规划行程；对于在线租车来说，准确预测未来一段时间内的订单量和区域分布，可以帮助公司更好的进行车辆调度，从而提高车辆共享效率; 对于物流公司而言，对各网点收发货量的良好预测，可以帮助公司提前进行运力、人力等资源的调度，从而提高物流效率，增加收益；无人驾驶对周围障碍物运动位置的预判，可以帮助驾驶系统提前规划调整路径，从而提高安全驾驶系数。

时空数据在各行各业中海量产生，对于这些数据的合理挖掘与利用可以帮助生产者乃至整个社会提高生产效率。

人工智能新浪潮：结合优化算法的快速智能决策

佐治亚理工学院终身教授蓝光辉

机器学习和人工智能是大数据时代科技发展的产物，近几年有了突破性的发展，代表性成果包括图像识别、语音识别、自然语言处理等，应用场景包括自动驾驶、智能诊断、无人机等。然而，机器学习和人工智能所基于的主流深度神经网络学习算法，还需要与优化算法结合，才能适应现实商业世界中超大规模、快速实时响应等需求。

来自佐治亚理工学院的终身教授蓝光辉，其主要研究领域为随机优化和非线性规划的理论、算法和应用，包括随机梯度下降和加速随机梯度下降等于用于解决随机凸和非凸优化问题。蓝光辉也是国际上机器学习和深度学习算法方向顶级专家，华人年轻一代优化算法的领军人物之一。

所谓凸优化/非凸优化是国际上一套已经研究很完备的优化算法理论体系和求解算法，如果把某个优化问题转化为凸优化/非凸优化问题，就能快速给出最优解。简单理解，凸优化就是指某个问题可以找到局部最大值或最小值，而非凸优化就是指某个问题虽然没有局部最大值或最小值，但依然有几个局部优化点。换句话说，非凸优化就是可以找个几个局部优化的解决方案以供决策，可用于投资组合交易、航线管控、生产排班、资源调配、信号传输等领域。

例如在2017年6月21日到24日的北京汛期最强暴雨天气中，根据航旅纵横统计，从21日0:00-23日12:00，全国延误航班架次11805架，取消航班架次3052架。在这种情况下，航空公司和铁路公司能否实时的根据受影响航班、天气、人流等数据，及时优化调整航班与铁路车次，就成为了影响整个社会经济运行的重要因素。这不仅仅是智能学习和预测，还需要超大规模、快速实时响应，才能够解决实际的问题。

蓝光辉介绍，自2015年以来，大规模凸优化及非凸优化算法取得了很大的进展，已经能够处理超过一百万甚至达上亿变量的超大规模数据集。把凸优化及非凸优化算法用于机器学习算法的优化，就能大幅加速机器学习算法的速度。杉数科技的科学家们也一直在开发自己的机器学习与深度学习算法求解器。同时也帮助上海财经大学协同开发国产的最优化求解器的开源软件，推进我国开源社区在优化算法方面的进展。

H2O与TensorFlow是两大界顶级机器学习求解器，其中H2O是发布最早、影响力最大的机器学习开源软件之一，已经服务于三百多家金融、互联网企业，被全世界70000多名数据科学家和8000多家单位所使用。而TensorFlow是谷歌开发并力推的深度学习计算引擎，也可作为通用的机器学习求解器，是Github排名第一的世界顶级开源项目，在语音识别、图像识别、机器翻译等各人工智能领域有着广泛的应用。

蓝光辉介绍说，杉数科技的优化求解器软件在9个公开数据集上与TensorFlow和H2O两种求解器进行了对比测试。其中，在针对分类模型的数据集上，杉数科技求解器的求解速度在所有数据集上均大幅高于TensorFlow，提升速度为10倍~70倍不等；而在计算速度大幅领先的情况下，杉数科技求解器预测效果仍略好于TensorFlow。针对回归模型的数据集上，在3个公开数据集上的对比测试来看，在不影响求解精确度的情况下，通过选择合适的超参数使得杉数科技求解器软件的求解速度仍快于TensorFlow数倍，而预测效果则大致相当。

与H2O比较来看，针对分类模型数据集，在预测精度大致相同的情况下，杉数科技在几乎所有数据集上求解速度都大幅度领先于领先于H2O；而在回归模型数据集上对比，通过选择合适的超参数，杉数科技的求解器求解速度略慢于H2O，但预测精度能远高于H2O。

也就是说，在新一波人工智能浪潮中，中国的科学家们已经掌握了并不落后，甚至领先国外的核心算法及软件工具，把优化算法代码与中国企业的商业流程无缝结合起来，真正掌握从单体智能到群体协同智慧的“软实力”。

“核心算法是一个国家的软实力。只要互联网不死、数据与信息不死，算法就永远存在。掌握了核心算法，一个国家才能在未来一波又一波人工智能浪潮中掌握主动权。”叶荫宇强调说。