168大数据

标题: Softbank领投9300万美元B轮,AI"无穷动"初创公司Petuum背后的故事 [打印本页]

作者: 168主编    时间: 2017-10-18 09:58
标题: Softbank领投9300万美元B轮,AI"无穷动"初创公司Petuum背后的故事
据CNBC和TechCrunch等多家媒体报道,专注于开发机器学习基础架构平台的AI初创公司Petuum Inc. 获得9300万美元的 B 轮投资,由软银旗下的投资公司领投。Petuum 的融资总额已达1亿8百万美元,成为获投资额度最⾼的AI初创公司之一。
“无穷动”一词源于帕格尼尼小提琴曲《无穷动》,全曲有2212个音,演奏时间却仅有三分钟,急速优美就如魔法一般。“无穷动”和AI初创公司Petuum之间有什么关系呢?我们来看看Petuum创始人邢波博士和这家AI"无穷动"初创公司背后的故事。
=====
2010年,卡内基梅隆大学(Carnegie Mellon University)计算机系终身教授Eric Xing邢波博士决定休年假(Sabbatical leave),到Facebook担任访问教授。他想以此为契机,换一个角度看自己的世界,重新审视他所从事的人工智能的研究开发工作。
在Facebook, 邢波博士首次近距离看到科技巨头如何在公司内部和他们的产品中采用人工智能(AI)和机器学习(ML)技术。尽管工业界看上去对于AI的大规模应用是雄心勃勃,但他很清晰地看到了一个问题– 因为AI技术的前沿性,它的广泛应用面临着重重障碍。
邢波博士认识到,对于AI和机器学习技术商业化的需求巨大。与其各公司自己开发具体的AI解决方案,不如打造一个可以标准化,可定制和自由选择的AI技术基础架构。这个架构将允许大规模开发和推广,从而大大降低AI技术的应用成本。之前科技巨头可以得天独厚地拥有人工智能技术和人才,而有了这个可定制的AI平台架构后,任何规模和行业的公司都可以轻松开发AI应用。
为了打造这样一个跨部门,甚至跨行业的AI应用平台,邢波博士需要找到一种将单个计算机上运行的程序规模化、提高几个数量级的方法。这种方法需要让普通的程序员也可以轻松使用复杂的AI程序。他需要弄清楚如何使众多计算机完美合作 – 就像交响乐中的所有乐器一样,一起来演奏一首完整的乐曲。
解决方案之一是并行计算,让软件程序在许多计算机上同时运行,而不是在一个昂贵的特殊工作站上运行。然而,对于这种大规模的并行计算, 如果采用传统的方式,会导致效率低下,结果不一致稳定,因为计算机花费更多的时间在彼此协调上,而不是在构建解决方案上。邢波博士认为这些计算机就像乐队一样,需要一个指挥和乐谱,来告诉他们什么时候需要协调,如何保持一致。
这类通用型的解决方案,很难在现有的任何一家科技公司找到,因为它们的重点不在于研发,而在于推出一次性的具体应用。因此邢波博士把这个问题带回了学术界,回到CMU,和他的学生们以及同事们一起,设立单独的课题,并尝试新的并行和调度理论,来攻克AI和ML技术商业应用规模化的问题。
邢波博士和团队试图寻求一种让计算机同步的方法 – 那么到底应该是定期、同步还是异步地交换信息呢?现有的方法都不能解决这个问题,因此邢波博士带领团队继续在程序和概念上寻求创新。
经过一年多的摸索,邢波博士和团队提出了一个重大的概念性飞跃:AI程序与传统的确定性程序(如数据库程序)不同,因此应该采用不同的结构。传统的程序是交易和执行性的,按照一系列的步骤推进,而AI程序应该像人们解决数学问题一样,通过迭代和学习,并在必要时修正误差,并采取前所未有的演变来获得答案。这种偏离传统计算理论的方法,使邢波博士和他的团队创立了同步计算的新理论 - 同步并行(SSP)参数服务器。
SSP参数服务器将允许计算机通过实现有界异步技术进行协调。将多台计算机的虚拟记忆整合到服务器上之后,同步窗口将被限制,也限制了工作机与主机之间的数据交换。相比并行化计算机之间的同步交换,这将使处理速度显著提高。相比异步交换,它能有效避免错误。
这个模型系统像一个完美指挥的交响乐队一样,各台计算机在不和谐或不协调之前能够自动形成统一。这一理念将邢波博士团队开发的AI模型框架与他对音乐的热爱紧紧地联系在了一起,从而提出了一系列概念性的飞跃。
邢波博士的团队将他们的同步模型之一称为“结构化异步动态调度程序”,通常缩写为“strads”。而“strads”也是由Stradivarius家族最好的弦乐器制造大师制作的小提琴的缩写。邢波博士立即想到了他最喜爱的Niccolò Paganini的小提琴作品和约翰·施特劳斯二世的交响曲,两者都是永恒的Perpetuum Mobile无穷动作品,其特点是连续的,重复的音符流,快速和谐地浮出水面。产生的音乐靠近演奏发挥的极限,但同时由于指挥大师的编排而显得简单而干净。
这正是邢波博士关于计算机如何同步实现大规模AI应用的愿景 — 通过perpetuum mobile无穷动,使用参数服务器来指挥各计算机,并告诉他们什么时候进行协调,从而使得AI程序可以同时运行在无数的计算机上,不断学习,迭代和与其服务器交换信息。
随着这项AI系统技术在企业应用层面的突破,邢波博士带领的CMU研究人员和学生团队成为了一个有使命的公司:构建一个大规模AI应用的基础性架构和平台。通过提高计算效率和易用性,同时降低成本,消除AI应用的障碍,让每个行业和公司都可以轻松地应用AI技术。
准备好向前迈进了,邢波博士决定从CMU再次休长假,来充分探索他和团队的这些新发现。为此,他决定采用一个完美体现他的技术思想的音乐术语,来描述他们要打造的无穷动协同界面,命名他的新公司为Petuum。
- 原文来自Medium






欢迎光临 168大数据 (http://www.bi168.cn/) Powered by Discuz! X3.2