马克·扎克伯格早在人工智能领域就有所涉猎现在Meta正在努力赶上- 华尔街日报
Karen Hao, Salvador Rodriguez and Deepa Seetharaman
Meta 正在做一些马克·扎克伯格不喜欢的事情:追赶。
十年前,这家公司的创始人兼CEO看到了人工智能的前景,并投入了大量资金进行推动。他聘请了早期的人工智能先驱之一Yann LeCun来领导这项工作。现在,就在OpenAI的ChatGPT进入消费市场几个月后,Meta在同样的技术领域落后了。
Meta现在正在争分夺秒地重新调整其资源,以生成可用的人工智能产品和功能,包括自己的聊天机器人,在花费多年时间优先考虑学术发现并自由共享它们的同时,努力实现其商业潜力。
这是一个艰巨的任务,因为Meta的许多顶级人工智能员工已经离职,而且在扎克伯格所称的“效率年”中,公司自己也进行了一系列裁员。根据《华尔街日报》的分析,过去一年中有大约三分之一与大型语言模型相关的发表人工智能研究的Meta员工已经离职。
扎克伯格本人和其他高管已经更多地掌控了公司的人工智能战略。他们创建了一个新的生成式人工智能小组,直接向首席产品官克里斯·考克斯汇报,克里斯·考克斯是Meta任职时间最长、最受信任的高管之一。该小组正在训练生成式人工智能模型——产生内容,如文本、图像或音频——旨在被“我们每一个产品中的每一个”所融入,扎克伯格说。他一直吹捧Meta的旗舰人工智能语言模型,名为LLaMA,其代码泄露后,催生了一些自制工具,有朝一日可能会与谷歌和OpenAI试图销售的产品竞争。
这篇文章基于对十多名现任和前任Meta员工的采访,对LinkedIn和社交媒体档案以及初创公司新闻公告的审查。
扎克伯格和其他高管称AI是Meta发展的第三支柱,认为它对公司的长期增长和影响力至关重要,与全球连接性以及虚拟和增强现实并列。在AI方面落后可能会使Meta显得守旧和缓慢,而不是那个创造了“快速行动,打破陈规”的口号,并在硅谷创新步伐的敏捷、积极的新秀。
五月份,白宫没有邀请Meta参加AI领袖峰会,该峰会被宣传为“AI创新前沿公司的会议”。
Meta以前在出现落后的时刻曾经有过急转弯,比如将Facebook从桌面广告业务转变为移动优先广告业务,或者在2016年在Instagram上推出了它的Stories功能,以吸引人们远离Snapchat,后者在十年前就推出了类似的功能。
Meta面临其他战略、政治和财务挑战。Meta AI部门长期以来对原创研究的重点使得生成式AI(如ChatGPT这样能产生人类化文本和媒体的系统)的工作缺乏动力。高管在设计运行这类AI程序所需的硬件时出现失误,现在正在努力纠正。多年来对公司处理用户数据和侵犯人权的审查使一些高管犹豫不决,对推出面向消费者的新AI产品持谨慎态度。
Meta于2013年开始投资于人工智能。扎克伯格和当时的首席技术官迈克·施罗普弗亲自寻求招募AI领域的顶尖人才来领导一个新的研究部门,推动技术的发展。他们在纽约大学教授LeCun身上找到了合适的人选,他在该领域的突破性工作享有盛誉。
Yann LeCun已经领导Meta的人工智能研究部门十年,并一直保持着学术方法来推动人工智能方面的突破,专注于发表和分享研究成果。照片: Nathan Laine/彭博新闻LeCun深耕学术界和基础研究,在塑造反映他优先事项的企业文化方面发挥了重要作用:优先聘用科学家而不是工程师,并强调学术产出,如研究论文,而不是产品开发,针对公司的最终用户。知情人士表示,这一策略使Meta的基础人工智能研究实验室多年来备受顶尖人才青睐,但挑战了公司商业化其进展的能力。
这也鼓励了一种分散的、自下而上的研究方向和资源分配方式。据知情人士称,研究人员推动着自己的议程,追求不同方向的独立项目,而不是朝着一个统一的公司范围的战略发展。Meta将硬件分配到每个项目的小型池中:一些研究人员得到了比他们需要的更多的计算机芯片,他们会将它们用于不必要的任务,以避免放弃它们,一些人表示。
与此同时,Meta在为人工智能开发所需的最强大的计算机芯片方面进展缓慢。即使公司收购了更多这些芯片,也没有一个良好的系统将它们交到工程师和研究人员手中。一些人称,有时成千上万件令人垂涎和昂贵的硬件闲置不用。
Meta正在彻底改造其数据中心,这可能导致了拥堵。截至五月,Meta的最新用于人工智能项目的超级计算机拥有1.6万个这样的芯片,公司的一篇博客文章称。
随着大型语言模型在2020年展现出越来越令人印象深刻的能力,Meta的人工智能研究部门内部的紧张局势加剧,一些熟悉情况的人称,一些人敦促公司认真投资于行业的新方向,而包括LeCun在内的一些人则认为这样的模型只是缺乏科学价值的时尚。LeCun对大型语言模型的强烈反对(他认为它们并不能让人工智能更接近人类水平的智能),在内部和公开场合都使持有相反观点的研究人员难以获得支持和所需的大量资源来进行这类项目,一些人称。
一些Meta的研究人员仍然在资源较少的情况下前进,他们使用大约1000个芯片在2022年制作了一个名为OPT或Open Pretrained Transformer的大型语言模型,使用大约2000个芯片在2023年制作了Meta的旗舰模型LLaMA。相比之下,行业标准是5000到10000个芯片。Meta最初允许一小部分外部研究人员访问LLaMA,然后它在网上泄露,引发了一波创新,高管们将其视为Meta分享其人工智能技术的一个典范。
自去年以来,Meta已经失去了许多参与这些和其他关键生成式人工智能项目的研究人员,其中许多人都提到了疲劳过度或对Meta跟不上竞争对手的信心不足。根据他们的LinkedIn个人资料和知情人士的说法,LLaMA研究论文上列出的14位作者中有6位已经离开或宣布将离开。OPT论文上列出的19位合著者中也有8位已经离开。
在去年11月OpenAI发布ChatGPT之后,离职情况加剧。一些人被人工智能初创公司的热潮所吸引,这导致了硅谷公司的人员变动,包括谷歌在内。根据专业社交网络The Wall Street Journal的消息,截至3月,在LinkedIn上提到GPT的工作岗位数量同比增长了79%。
Meta发言人表示,公司一直在继续招聘并引进新的人工智能人才。
在ChatGPT推出后,扎克伯格和考克斯与首席技术官安德鲁·博斯沃思一起监督公司所有的人工智能相关工作。这三位高管现在每周都花费数小时参与人工智能会议并批准人工智能项目。
新的生成式人工智能团队专注于构建可用的产品和工具,而不是进行科学研究。据知情人士透露,该团队收到了超过2000份内部申请,并迅速吸引了来自不同团队的数百人。硬件资源已经从人工智能研究部门转移过来,用于训练新的生成式人工智能模型。
在三月份,扎克伯格表示“推进人工智能并将其融入我们的每一个产品”是公司最大的投资。在五月的Meta年度股东大会上,扎克伯格表示公司还希望将这项技术扩展到元宇宙。
Meta总部位于加利福尼亚州门洛帕克。图片: David Paul Morris/Bloomberg News在本月早些时候与员工举行的一次内部大会上,扎克伯格宣布公司目前正在开发一些生成式人工智能产品,Meta发言人表示。这些举措包括Messenger和WhatsApp的AI代理,用户可以从文本提示生成AI表情并在聊天中分享,以及一项照片生成功能,允许Instagram用户使用文本提示修改自己的照片,然后在Instagram故事中分享。
扎克伯格还分享了一些面向员工的内部生成式人工智能工具,包括一个名为Metamate的生产力助手,该助手可以从内部来源获取信息以执行员工的请求。Meta发言人表示,Metamate最近已经作为试点项目推广给了一大批员工。
“在过去的一年里,我们看到了一些真正令人难以置信的生成式人工智能的突破—质的突破,”扎克伯格在内部大会上说。
Meta仍然面临着广泛的挑战。据知情人士透露,公司在经历了七年的政府和媒体对其用户隐私做法的严格审查后,对风险的容忍度越来越低,这在如何以及何时推出人工智能产品方面引发了摩擦。
过去,Meta在开发和发布大型语言模型时不得不考虑其公共声誉,因为这些模型可能会产生不正确的答案或冒犯性言论。
几年前,人工智能研究人员正在开发一个代号为“玩具宝宝机器人”的聊天机器人,该机器人基于早期版本的大型语言模型系统,据知情人士透露。团队对其性能印象深刻,但他们得出结论,当公司在2016年总统选举期间因允许虚假信息在其平台上蓬勃发展而面临激烈批评时,不值得推出这个项目**,**一位知情人士表示。
当Meta在2022年8月发布其BlenderBot 3聊天机器人时,公众的关注也表现出来。在发布一周内,BlenderBot 3因发表虚假言论、冒犯性言论和种族主义言论而受到谴责。该系统还称扎克伯格为“令人毛骨悚然和操纵性强的人。”
Meta发言人表示,该项目在研究结束前仍然持续了一年多时间,公司在整个生命周期中保持了开放和透明的态度。他补充说,Meta发布并推进了许多其他项目,这些项目表明了公司愿意承担风险。
但这种情况在2022年11月再次出现,当公司发布了以科学为重点的大型语言模型Galactica时。该系统在发布后的三天内被Meta关闭,因为它因不正确和带有偏见的答案而受到科学家的批评。
两周后,OpenAI发布了ChatGPT。
写信给Karen Hao,邮箱地址:[email protected],Salvador Rodriguez,邮箱地址:[email protected],和Deepa Seetharaman,邮箱地址:[email protected]
发表于2023年6月17日的印刷版上,标题为“扎克伯格加强对人工智能工作的控制”。