“有效利他主义”如何分裂硅谷并助长了OpenAI的崩溃 - 华尔街日报
Robert McMillan and Deepa Seetharaman
在过去几年中，被称为有效利他主义的社会运动已经在硅谷的人工智能公司中分裂了员工和高管，使信徒与非信徒对立。
在人工智能公司内部的爆炸事件显示了它的影响力，而首席执行官Sam Altman的胜利回归揭示了其硬性限制，为这种具有分裂性质的哲学画上了一个令人痛苦的句号。
就在有效利他主义最杰出的支持者Sam Bankman-Fried被判诈骗几周后，OpenAI的崩溃给这一运动又造成了打击。该运动相信，精心设计的人工智能系统，注入了正确的人类价值观，将会带来一个黄金时代——而不这样做可能会产生末日后果。
OpenAI一年前发布了ChatGPT，在一定程度上是基于有效利他主义原则形成的，这种广泛的社会和道德哲学影响着硅谷及其他地方的人工智能研究社区。一些追随者住在私人集体住宅，他们可以在那里集思广益，进行哲学辩论，并放松地玩一种称为Bughouse的四人国际象棋变种。这一运动包括致力于动物权利和气候变化的人，他们从理性主义哲学家、数学家和未来预测者那里汲取思想。
数以亿计的科技巨头捐款的支持下，有效利他主义者相信，对人工智能的头等冲刺可能会摧毁人类。他们更倾向于在人工智能发展中选择安全而非速度。这一运动包括帮助塑造生成式人工智能繁荣的人，他们封闭且多方面，但都相信在世界上做好事，即使这意味着赚很多钱并将其捐赠给有价值的受益者。
上周五被董事会解雇的阿尔特曼与该公司首席科学家和董事会成员伊利亚·苏茨克维尔在与人熟悉的争端中，就人工智能安全问题发生了冲突，这与有效利他主义的关注相一致**。**
与苏茨克维尔一起投票的是董事会成员塔莎·麦考利，一位科技高管，也是有效利他主义慈善机构Effective Ventures的董事会成员，以及海伦·托纳，乔治城大学安全与新兴技术中心的高管，该中心得到了致力于有效利他主义事业的慈善机构的支持。据知情人士称，他们三人组成了罢免阿尔特曼所需的四票中的三票。董事会表示他未能“始终坦率地表达意见”。
该公司宣布，阿尔特曼将重返担任首席执行官，而苏茨克维尔、麦考利和托纳将被替换。支持人工智能发展放缓并被招募为临时首席执行官的科技高管埃米特·谢尔离职了。
阿尔特曼的解雇引发了一场公司的反抗，威胁OpenAI的未来。大约770名员工中有超过700人呼吁阿尔特曼回归，并威胁要跳槽到微软，OpenAI的最大投资者。苏茨克维尔周一表示他后悔自己的投票。
“OpenAI董事会成员的‘有效利他主义’宗教及其错误应用可能已经阻碍了世界走向人工智能的巨大利益的道路，”风险投资家、OpenAI投资者Vinod Khosla在《The Information》的一篇观点文章中写道。
Altman今年春天在全球巡回演讲，警告称人工智能可能会造成严重危害。他还称有效利他主义是一个“非常有缺陷的运动”，展现出“非常奇怪的新兴行为”。
有效利他主义社区已经花费了大量资金推广人工智能构成存在威胁的观念。但正是ChatGPT的发布引起了人们对人工智能进展之迅速的广泛关注，这是来自OpenAI从事人工智能安全工作的德克萨斯大学奥斯汀分校的计算机科学家Scott Aaronson说的。他说，这个聊天机器人出人意料的能力让之前对这些担忧不以为然的人感到担忧。
这一运动已经在科技行业的科学家、投资者和高管中蔓延开来，他们正竞相创建能够模仿并最终超越人类能力的人工智能系统。人工智能可以带来全球繁荣，但首先必须防止其造成灾难，这是该运动中的人士的观点。
谷歌和其他公司正试图成为首家推出能够匹敌人脑的人工智能系统的公司。他们大多将人工智能视为推动工作和经济获得巨大利润的工具。
该运动备受关注的支持者包括Facebook联合创始人Dustin Moskovitz和Skype亿万富翁创始人Jaan Tallinn，他们已承诺向有效利他主义研究捐赠数十亿美元。在他的倒台之前，Bankman-Fried也承诺捐赠数十亿美元。Elon Musk称有效利他主义的联合创始人William MacAskill的著作“与我的哲学观点非常吻合”。
有效利他主义者中存在紧迫的恐惧，认为人工智能将摧毁人类，“这种恐惧使他们无法接受来自文化外部的批评，”普林斯顿大学研究领导人Shazeda Ahmed说道。她领导了一支研究该运动的普林斯顿大学团队。“这对于任何试图解决任何棘手问题的社区来说都不是好事。”
OpenAI的动荡暴露了硅谷幕后的竞争，一方是相信市场的人，另一方是相信伦理、理性、数学和精密机器应该引领未来的有效利他主义者。
对该运动的描述基于对50多名高管、研究人员、投资者、现任和前任有效利他主义者的采访，以及来自有效利他主义社区的公开演讲、学术论文和其他已发表资料。
剪辑工作
去年的一个秋日，成千上万个OpenAI标志形状的纸夹送到了该公司位于旧金山的办公室。似乎没有人知道它们来自哪里，但每个人都知道它们意味着什么。
这个恶作剧是由跨城竞争对手Anthropic的一名员工完成的，Anthropic本身是由对人工智能安全问题产生分歧而产生的。
OpenAI的首席研究科学家达里奥·阿莫代在2021年初离开了公司，他和几名公司高管一起加入了Anthropic，这是一家对有效利他主义友好的人工智能研究公司。
Bankman-Fried一直是Anthropic最大的投资者之一，并支持该公司的使命，该使命更看重人工智能的安全而不是增长和利润。
去年12月，在旧金山加利福尼亚科学学院的OpenAI假日派对上，苏茨克维尔在距离博物馆装满斑马、羚羊和狮子标本的不远处向数百名员工和他们的客人发表了讲话。
“我们的目标是制造一个热爱人类的AGI，”该公司的首席科学家苏茨克维尔说。
“感受AGI，”他说。“跟我重复。感受AGI。”
有效利他主义者表示，他们可以构建更安全的人工智能系统，因为他们愿意投资于他们所称的对齐：确保员工能够控制他们创造的技术，并确保它符合一套人类价值观。到目前为止，还没有人工智能公司说出这些价值观应该是什么。
OpenAI最近表示，将在未来四年中将其计算资源的五分之一用于公司所称的“超对齐”工作，由Sutskever领导的努力。知情人士称，该团队一直在构建，其中包括一个AI衍生的“科学家”，可以对AI系统进行研究。
尽管OpenAI正在构建自动化工具来捕捉滥用行为，但据知情人士称，该公司并没有雇佣许多调查人员进行这项工作。这些人称，该公司也没有多少员工监控其开发者平台，该平台被超过两百万的研究人员、公司和其他开发者使用。
该公司最近雇佣了一名人员来考虑OpenAI技术在2024年选举中的作用。专家们警告称，AI生成的图像可能会误导选民。
“我们是一家以价值观驱动的公司，致力于构建安全、有益的AGI，而有效利他主义并不是我们的价值观之一，”OpenAI在本文发表后表示。“我们有团队致力于研究短期风险，比如网络安全、经济影响以及将系统与人类价值观对齐。”
长期以来一直聘用与该运动一致的人的DeepMind联合创始人Demis Hassabis负责合并后的部门。
Google Brain的员工表示，他们在很大程度上忽视了有效利他主义，而是探索人工智能的实际用途以及人工智能工具的潜在滥用，据知情人士称。
一位前员工将DeepMind的合并比作是一场强迫婚姻，“让许多人对Brain感到不安”。
P(厄运)
21岁的AI安全研究员Arjun Panickssery与其他有效利他主义者一起住在Andromeda House，这是一座位于加州伯克利大学校园附近几个街区的五卧三层住宅。
他们举办晚餐，有时会要求访客透露他们的P(厄运)——对人工智能灾难发生几率的估计。
Open Philanthropy的前首席执行官霍尔登·卡诺夫斯基曾与两位OpenAI高管同住，据Open Philanthropy的网站称。自2015年以来，Open Philanthropy这家支持有效利他主义事业的非营利组织已经向与人工智能相关的事业捐赠了3.27亿美元，其中包括向OpenAI捐赠了3000万美元，该组织的网站显示。
当卡诺夫斯基与现任Anthropic总裁丹妮拉·阿莫代订婚时，他们与阿莫代的兄弟达里奥（现任Anthropic首席执行官）是室友。
2017年8月，卡诺夫斯基和丹妮拉·阿莫代在一个有效利他主义主题的仪式上结婚。婚礼上鼓励客人捐款给卡诺夫斯基的有效利他主义慈善机构GiveWell推荐的事业，并在婚礼前阅读德国哲学家尤尔根·哈贝马斯的457页著作。
“这是理解我们婚礼的必要背景”，这对夫妇在活动网站上写道。
有效利他主义运动可以追溯到大约20年前，当时一群牛津大学哲学家和他们认定的“超级努力做好事的人”正在寻找一个市场推广术语来推广他们的功利主义慈善事业。
信徒们相信要最大化他们利用时间所做的善事。他们可以赚取尽可能多的钱，然后将其中大部分捐赠给政府和传统非营利组织忽视或未解决的问题。他们专注于能够产生最大影响或帮助最多人的想法，以每花费一美元帮助最多的人。
Bankman-Fried，本月被定罪的人，表示他只是为了积累财富，然后大部分捐出去。
有效利他主义者此后建立了在线社区网络，他们在这里交流工作建议，讨论哲学问题并提出预测。附属的非营利组织和学生团体组织了关注使用理性、经济学和数学解决世界最大问题的本地聚会和会议。
这些在世界各地举办的聚会和活动通常不对外开放。最近在纽约举办的有效利他主义会议的组织者拒绝了《华尔街日报》记者的参加请求，称在一封电子邮件中称“对入场有很高的门槛”。
该电子邮件建议记者“多花些时间与有效利他主义社区互动会有所裨益”。
Caitlin Ostroff为本文做出了贡献。
写信给罗伯特·麦克米兰，邮箱地址为 [email protected]，以及迪帕·西塔拉曼，邮箱地址为 [email protected]
发表于2023年11月24日的印刷版上，标题为“哲学如何分裂了硅谷”。