《麻省理工科技评论》独家起底OpenAI:理想主义被盈利压力碾碎

尽管成立只有短短四年时间,OpenAI 已经成为世界领先的 AI 研究实验室之一,在 AI 研究领域与谷歌人工智能实验室、DeepMind、微软研究院、艾伦人工智能研究所相媲美。

而且,因其由埃隆 · 马斯克,以及投资家萨姆 · 阿尔特曼、天使投资人彼得 · 泰尔等传奇人物共同创立,OpenAI 无疑还是硅谷大亨们的宠儿。

所有这些都赋予了 OpenAI 非凡的使命,它的目标是要成为第一个创造出通用人工智能(Artificial General Intelligence,简称 AGI)的研究机构,让机器具备人类的学习和推理能力。该实验室的目的,是要确保这项技术被安全地开发出来,并造福全世界。

OpenAI 想成为 AGI 领域的领头羊,为此,它精心打造了自己的形象。在这个由财富公司占主导的科技领域,它以一个非营利组织的形象出现,其首次声明就表示,它将以这样的身份“为所有人带去价值而非股东”,它的章程宣称 OpenAI 的“主要信托责任是针对全人类的。”OpenAI 还表示,安全实现 AGI 是第一要义,如有其他研究组织能很快实现,它也会放下竞争并与其合作。曾经,这套说辞对投资者和媒体十分受用。

但是最近一年来,OpenAI 却饱受批评,先是发布最强 “通用”NLP 模型 GPT-2 而不开源;研发战略缺乏变化和多样性,单纯依赖大量的计算资源投入迭代产品;再就是接受微软 10 亿美元投资,从而转为“有限盈利” 企业……

《麻省理工科技评论》独家起底OpenAI:理想主义被盈利压力碾碎

图|OpenAI 悬挂在办公室的公司徽标(来源:CHRISTIE HEMM KLOK)

值得一提的是,目前已不再参与 OpenAI 事务的马斯克,在本报道推出后,发推文称,“OpenAI 应该更加开放”,“所有开发高级 AI 的组织都应受到监管。”

《麻省理工科技评论》独家起底OpenAI:理想主义被盈利压力碾碎

图|一间名为 “Infinite Jest” 的会议室,意为“无尽的玩笑”(来源:CHRISTIE HEMM KLOK)

OpenAI 于 2015 年 12 月 11 日亮相世界。它并不是第一个宣称要创建 AGI 的组织,DeepMind 在 5 年前就已经提出这一目标,并于 2014 年被谷歌收购。但 OpenAI 似乎有所不同。

首先,它的标签令人震惊:马斯克、阿尔特曼和贝宝的联合创始人彼得 · 泰尔等私人投资者最初为这个项目联合注资 10 亿美元。

大佬云集的投资者名单引发了媒体疯狂报道,初始员工的名单同样亮眼:曾为支付公司 Stripe 负责技术业务的格雷格 • 布罗克曼将出任首席技术官;曾师从人工智能先驱杰弗里 · 辛顿的伊尔亚 · 苏茨克维将担任研究主管,还有七名刚从顶尖大学毕业或从其他公司挖过来的研究员将组成核心技术团队。

其次, OpenAI 以非营利组织身份发表了一则声明:“重要的是要有一个领先的研究机构,它可以优先考虑好的结果,而不是自己的私利。”“我们将大力鼓励研究人员发表他们的研究成果,无论是论文、博客文章还是代码,我们的专利(如果有的话)将与全世界共享。”

尽管 OpenAI 没有明确表达批判的说法,但言外之意很明显:DeepMind 等其他实验室由于受商业利益的约束不能服务全人类。在这些机构向人类关上大门的时候,OpenAI 将会是敞开的。

在一个越来越私有化、专注于短期财务收益的研究领域,OpenAI 提供了一种新的方式来推动在 AI 技术最大问题上取得进展。“这是一个希望的灯塔。”机器学习专家 Chip Huyen 说,他密切关注着 OpenAI 实验室的发展历程。

早期加入 OpenAI 的人还记得当初的活力,兴奋和目标感。当时的团队通过紧密的关系网组建——而管理上则保持宽松随意。每个人都相信在这样一个开放的、扁平的组织结构中,任何人都可以提出自己的想法并展开讨论。

马斯克在建立一个集体神话上扮演了重要角色。皮耶特 · 阿布比尔是加州大学伯克利分校的一名教授,在 OpenAI 建立起的最初两年,他和他的几位学生一起在那共事,他回忆说:“我第一次感受到他的这种才能是在一次讲话中,他说,‘我知道 AGI 也许很遥远,但如果不是这样呢?如果在未来 5 到 10 年内发生的几率有 1% 或 0.1%,那会怎么样?我们不是应该仔细考虑一下吗?’他的话引起了我的共鸣。”

但是这种轻松随意的想法也导致了后来某些方向上的模糊。2016 年 5 月,阿尔特曼和布罗克曼接待了时任谷歌研究员的达里奥 · 阿莫迪,后者告诉他们,没人明白他们在做什么,据《纽约客》当时发表的一篇报道称,尚不清楚 OpenAI 团队是否意识到这一点。布罗克曼对此表示:“我们现在的目标…… 是做当下最好的事情。”这仍然是模糊的答案。

尽管如此,阿莫迪还是在几个月后加入了 OpenAI 团队。

OpenAI 变了

到了 2017 年 3 月,也就是公司成立 15 个月后,领导层意识到是时候更加专注了。

于是布罗克曼和其他几个核心成员开始起草一份内部文件,为 AGI 铺平道路。但这个过程很快暴露出一个致命缺陷:当研究小组研究这一领域的趋势时,他们意识到在财务上保持非营利组织属性是站不住脚的。该领域内其他组织用于取得突破性成果的计算资源大概每 3.4 个月翻一番。布罗克曼表示,“为了保持相关性”,他们显然需要足够的资本来匹配或超过这种指数级增长。

这就需要一种新的组织模式,既能迅速聚拢资金,又能以某种方式忠于自己宣扬的使命。

2018 年 2 月,马斯克宣布,由于在公司发展方向上存在分歧,他将离开 OpenAI。一个月后,阿尔特曼辞去创业加速器(Y Combinator)的总裁一职,成为 OpenAI 的 CEO。

2018 年 4 月,在公众和大多数员工不知情的情况下,OpenAI 发布了新的章程,文件重新阐明了该实验室的核心价值,但巧妙地改变了语言方式,以反映新的现实问题。除了承诺 “避免使用危害人类或过度集中力量的人工智能或自动识别技术” 外,它还强调了对资源的需求。章程中提到:“我们预计需要调拨大量资源来完成我们的使命,但我们将始终努力采取行动,尽量减少员工和利益相关者之间可能损害广泛利益的矛盾冲突。”

《麻省理工科技评论》独家起底OpenAI:理想主义被盈利压力碾碎

图 | 从左到右依次为:丹妮拉 · 阿莫迪,杰克 · 克拉克,达里奥 · 阿莫迪,杰夫 · 吴(技术人员),格雷格 · 布罗克曼,亚历克 · 拉德福德(技术语言团队负责人),克里斯汀 · 佩恩(技术人员),伊尔亚 · 苏茨克维和克里斯 · 伯纳(基础架构负责人)(图片来自:CHRISTIE HEMM KLOK)

此举也让许多员工感到不安,他们表达了类似的担忧。为了平息内部混乱,领导层起草了一份常见问题解答,作为一系列受到高度保护的过渡文件的一部分。有一个问题是:“OpenAI 可信吗?”答案开头是“可信”,后面跟了一段解释。

《OpenAI 章程》是该公司的核心所在,它是所有实验室研究的指向标。

该章程对 OpenAI 进行了全方位讲解,布罗克曼会在午饭时当圣经一般背诵一遍。有一次背诵时,他突然说,“我不是只在开会之前把它拿出来草草看几眼。我花了很多时间一遍又一遍重复这些内容,直到我对它了如指掌。”

如何在开发更高级的 AI 功能的同时,确保人类生活的意义呢?“我们认为,AI 的作用应该是帮助所有人实现经济自由,并帮助他们寻找前所未有的新机遇。”

如何才能实现 AGI 的公平分配?“我们的发展目标就是实现 AI 的实用性。但所有内容均取决于章程的规定。”

如何在确保安全的前提下实现 AGI 的优先发展?“我认为一定存在两全其美的办法,不过我们需要先了解章程中的内容。”

《麻省理工科技评论》独家起底OpenAI:理想主义被盈利压力碾碎

图 | Jack Clark,杰克 • 克拉克,政策总监(来源:Christie Hemm Klok)

去年 5 月,OpenAI 改变了之前的说法,并宣布了 “阶段式发布” 计划。接下来几个月,OpenAI 推出的 GPT-2 模型功能越来越强大。

在此期间,OpenAI 还与数个研究组织合作研究 GPT-2 算法滥用存在的潜在威胁,并制定了相应对策。最终,OpenAI 在 11 月发布了 GPT-2 的完整代码,并表示“目前还没有证据表明 GPT-2 会被用作他途。”

虽然人们一直指责 OpenAI 将 GPT-2 作为宣传噱头,但 OpenAI 予以否认。相反,它认为这是一次深思熟虑的实验,经过一系列的内部探讨和辩论才达成共识。

政策团队在后续 6 个月发布的博客内容中提到了这一点,这些观点都是大家开会一致决定的,当时我也在场。

“我认为章程绝对是我们取得成功的关键所在,”政策研究科学家 Miles Brundage 在谈到谷歌文档时表示。

不过 OpenAI 在宣传 GPT-2 时遵循了以前的模式,这也使广大 AI 社区普遍感到担忧。多年来,人们一直认为 OpenAI 在发布研究成果时存在炒作嫌疑。评论家也不止一次地指责 OpenAI 发布的研究成果有些夸大其词。

基于这些原因,这个领域的许多人都倾向于与 OpenAI 保持一定的距离。

《麻省理工科技评论》独家起底OpenAI:理想主义被盈利压力碾碎

图 | Ilya Sutskever,伊尔亚 • 苏茨克维,联合创始人和首席科学家(来源:Christie Hemm Klok)

大多数研究人员介于这两个极端之间,但 OpenAI 一直以来都几乎完全处于第一个技术理论中。它的大多数突破都是来源于将大量的计算资源投入到其他实验室。

布罗克曼和 Sutskever 否认这是他们唯一的策略,但实验室严密保护的研究表明并非如此。一个名为 “前瞻”(Foresight) 的团队进行了一些实验,以测试他们能在多大程度上推动人工智能能力的发展,方法是训练现有的算法,使用越来越多的数据和计算能力。对于领导层来说,这些实验的结果证实了他们的直觉,即实验室的全投入、计算驱动的策略是最好的方法。

在大约六个月的时间里,这些结果都没有向公众公布,因为 OpenAI 将这些内容视为自己的主要竞争优势。员工和实习生被明确告知不要透露这些信息,而离开的员工则签署了保密协议。

直到今年 1 月,这个团队才不动声色地在人工智能研究的一个主要开源数据库上发表了一篇论文。那些经历过保密工作的人不知道该如何应对这种变化。值得注意的是,另一篇来自不同研究人员的类似结果的论文已于一个月前发表。

《麻省理工科技评论》独家起底OpenAI:理想主义被盈利压力碾碎

图 | Dario Amodei,达里奥 • 阿莫德,研究主任(来源:Christie Hemm Klok)

达里奥 • 阿莫德解释说,战略的第二部分集中在如何使这种不断发展的人工智能系统保证安全。这包括确保它们反映了人类的价值观,能够解释其决策背后的逻辑,能够在不伤害他人的情况下学习。

每一个致力于安全目标的团队都试图开发出可以在项目成熟时跨项目应用的方法。例如,可解释性团队开发的技术可以用于揭示 GPT-2 句子结构或机器人动作背后的逻辑。

达里奥 • 阿莫德承认,这部分策略有点随意,较少建立在该领域的既定理论上,更多是建立在直觉上。他表示:“到某个时候我们将建造 AGI,到那时,我希望这些系统在世界上的运行是让人满意的。”“任何我目前感觉不太好的事情,我都会专门为之创建并招募一个团队。”

在宣传和保密之间,达里奥 • 阿莫德说这话的时候看起来还是很真诚的。失败的可能性似乎使他不安。

“我们处在一个尴尬的境地:我们不知道 AGI 长什么样,”他说。“我们不知道什么时候会实现。”然后,他小心翼翼地补充道:“任何一个人的心智都是有限的。我发现最好的办法是聘请其他安全研究人员,他们通常会有不同的视野。我想要那种变化和多样性,因为那是你捕捉一切的唯一方式。”

商业化压力加剧

问题是,OpenAI 实际上几乎没有什么“变化和多样性”。

实验室的一位发言人说,在 120 多名员工中,25% 是女性和非二元性别者。她说,执行团队中有两名女性,领导团队中有 30% 是女性,不过她没有明确指出团队中的个人信息。比如布罗克曼和阿尔特曼在内的四名高管都是白人。我在领英等网站上找到了 112 名员工,其中绝大多数是白人或亚裔。

《麻省理工科技评论》独家起底OpenAI:理想主义被盈利压力碾碎

(图源:Christie Hemm Klok)

罗格斯大学的布里特 • 帕里斯回应称:“他们正试图利用成熟的技术手段让 AI 解决社会问题。但看起来他们没能真正理解什么是社会所需要的。他们只是觉得把目标定位在这里有利可图。”

布罗克曼表示认同,OpenAI 要实现其使命,技术和社会专业知识都是必不可少的。但他不同意从一开始就兼顾这两方面。他说:“要如何将伦理道德和其他观念引入其中?什么时候把这些加入 AI 中,怎么加进去?有一种策略是,从一开始就尽可能地把你需要的东西都塞进去,但我认为这种方法成功几率很低。”

他说,我们首先要弄清楚的是 AGI 到底应该是什么样子。只有了解了这个,才能够“确保我们会理解它带来的后果”。

去年夏天,在 OpenAI 转向利润上限模式和微软注资 10 亿美元后的几周,公司领导层向员工保证,这些变化不会在功能上改变 OpenAI 的研究方式。微软与实验室的价值观非常一致,并且都认为任何商业化的研究都是遥遥无期的;解决基本问题仍然是 OpenAI 工作的核心。

这些保证在一段时间内似乎是有效的,项目继续和往常一样进行。许多员工甚至不知道微软向他们做出了什么承诺。

但近几个月来,商业化压力开始加剧,能赚钱的研究听起来不再那么遥不可及了。Altman 私下与员工分享他的 2020 年实验室愿景时,传达的信息很明确:OpenAI 需要赚钱来做研究,而不是用研究来赚钱。

领导层表示,这是一种艰难但必要的权衡,因为 OpenAI 缺乏富有的慈善捐赠者,他们不得不做出这种权衡。相比之下,非营利组织 AI2 正雄心勃勃地推进人工智能基础研究,(至少在可预见的未来里)它的资金来源是已故亿万富翁保罗 • 艾伦留下的自筹资金。

然而事实上,OpenAI 面临这种权衡,不仅仅是因为它没有太多资金支持,还因为它的战略选择,它试图第一个碰触到 AGI 领域。这种压力迫使它做出的决定越来越偏离初衷。它急于通过大肆宣传来吸引资金和人才维持自己的研究,以期保持住领域优势,并追求一个计算量很大的战略。这不是因为它是通往 AGI 的唯一途径,而是因为它看起来是最快的途径。

不过 OpenAI 仍然是人才和前沿研究的基地,它不乏真诚地为人类利益而努力工作的员工。换句话说,它仍然拥有最重要的元素,仍然有机会来改变现状。

前远程学者罗德斯表示,“在我看来,OpenAI 确实存在一些问题,”她迟疑地开始说,“其中一些可能来自它所面临的环境;而有些来自它倾向于吸引的那类人,有些则来自它忽略的那类人。”

“但对我个人来讲,他们是在做一些正确的事,”她说,“我能感觉到那里的人非常认真努力。”

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注