我们如何控制人工智能 - 华尔街日报

今天的大型语言模型，即构成人工智能基础的计算机程序，是令人印象深刻的人类成就。在它们出色的语言能力和广泛的知识背后，需要大量的数据、资金和时间。许多模型的开发成本超过1亿美元，并需要人类和机器数月的测试和改进。它们通过迭代过程进行数百万次的改进，评估系统接近“正确答案”的程度，并在每次尝试中改进模型。

目前仍然困难的是编码人类价值观。这目前需要额外的步骤，即通过人类反馈进行强化学习，程序员利用自己的回应来训练模型以提供帮助和准确性。同时，所谓的“红队”会刺激程序，以发现可能的有害输出。人类调整和防护措施的结合旨在确保人工智能与人类价值观和整体安全的一致性。到目前为止，这似乎运作得相当不错。

但随着模型变得更加复杂，这种方法可能会显得不够。一些模型开始表现出博学多才的行为：它们似乎知道的不仅仅是训练数据中的内容，还能够联系跨领域、语言和地理的概念。在某个时刻，它们将能够基于公开可得的知识，例如，提出新型网络攻击或生物攻击的配方。

关于如何控制这些风险，目前还没有达成一致意见。媒体报道了关于OpenAI在11月的紧张局势的各种解释，包括当时董事会决定解雇CEO Sam Altman的背后是商业激励与董事会非营利使命核心的安全顾虑之间的冲突。像调整公司的ChatGPT程序以适应不同客户和应用的潜在商业产品可能非常有利可图，但这样的定制也可能破坏ChatGPT的一些基本保障。随着模型变得更加智能和功能更强大，围绕人工智能风险的紧张局势只会变得更加突出。我们需要采用新的人工智能安全方法，以跟踪核心模型本身的复杂性和创新速度。

OpenAI CEO Sam Altman离职后，与其他科技领袖一起出席了美国参议院人工智能洞察论坛，讨论人工智能及其治理，时间为9月13日。照片： Graeme Sloan/美联社虽然大多数人认为当今的程序通常是安全的，可以进行使用和分发，但我们目前的安全测试能否跟上人工智能快速发展的步伐呢？目前，该行业对于要进行测试的明显问题有很好的把握，包括个人伤害和偏见的例子。目前，测试模型是否包含危险知识也相对直接。要进行测试的难度在于所谓的“能力超前”——这不仅意味着模型当前的知识，还包括它可能自行生成的知识。

红队迄今已显示出一些预测模型能力的希望，但即将到来的技术可能会打破我们目前在人工智能安全方面的方法。首先，“递归自我改进”是一种功能，允许人工智能系统收集数据并获得自身的反馈，并将其合并以更新自身的参数，从而使模型能够自行训练。这可能导致，比如说，一种能够从零开始构建复杂系统应用（例如简单的搜索引擎或新游戏）的人工智能。但是，递归自我改进可能带来的潜在新能力的全部范围尚不为人所知。

另一个例子是“多智能体系统”，多个独立的人工智能系统能够相互协调以构建新的东西。仅仅两家不同公司的人工智能模型合作将是我们需要密切关注的一个里程碑。所谓的“组合创新”，即系统被合并以构建新东西，将构成威胁，因为组合数量将迅速超过人类监督的能力。

除非关闭从事这项工作的计算机，否则监控这些技术可能会非常困难。当前的监管方法是基于单个模型的大小和训练工作量，并且是基于通过越来越严格的测试，但随着系统变得更加强大和潜在地难以捉摸，这些技术将会崩溃。AI监管方法需要不断发展，以识别和管理新的新兴能力以及这些能力的扩展。

拜登总统在副总统卡玛拉·哈里斯的陪同下签署了关于监管人工智能的行政命令，该命令采取了一种灵活的方法，但缺乏法律的完全权力，日期为10月30日。照片： 埃文·沃奇/美联社欧洲迄今为止尝试了最雄心勃勃的监管制度，通过其AI法案规定透明度要求，并根据模型的风险级别施加不同程度的监管。它甚至考虑了像ChatGPT这样的通用模型，这些模型具有广泛的可能应用，并且可能以不可预测的方式使用。但是AI法案已经落后于创新的前沿，因为开源AI模型——这些模型在很大程度上不受法律约束——在范围和数量上不断扩大。拜登总统最近关于AI的行政命令采取了更广泛和更灵活的方法，为政府机构提供了指导，并概述了监管目标，尽管没有AI法案那样的法律权力。例如，该命令赋予国家标准与技术研究所基本责任，以定义AI系统的安全标准和评估协议，但不要求美国的AI系统“通过测试”。此外，拜登的命令和欧洲的AI法案都缺乏迅速适应AI格局的内在机制，而这个格局将继续迅速而频繁地变化。

我最近参加了由兰德公司和卡内基国际和平基金会在帕洛阿尔托组织的聚会，人工智能领域的关键技术领导者聚集在一起讨论一个想法：解决这些问题的最佳方式是创建一批新的测试公司，这些公司将受到激励来相互创新，简言之，一个强大的测试经济体。为了检查最强大的人工智能系统，它们的测试者也必须是强大的人工智能系统，经过精心训练和改进，以在识别世界上最先进模型的安全问题和问题领域方面表现出色。为了值得信赖又灵活，这些测试公司应该由政府监管机构进行检查和认证，但在私人市场中开发和资助，可能会得到慈善组织的支持。（我共同创立的慈善机构Schmidt Sciences和我已经帮助资助了一些早期的人工智能安全研究。）这个领域发展太快，风险太高，无法完全依赖典型的政府流程和时间表。

对人工智能快速增长的能力的恐惧已经引发了一系列抗议活动，活动人士试图减缓其发展，包括这次在伦敦的抗议活动，日期为10月21日。照片：美联社政府监管机构要求超过一定能力水平的人工智能模型必须由政府认证的私人测试公司（从初创公司到大学实验室到非营利研究机构）进行评估，模型构建者要为此付费以满足安全要求。测试公司将竞争资金和人才，旨在以与它们正在检查的模型同样的惊人速度扩展其能力。随着人工智能模型的不断增加，对测试的增长需求将创造一个足够大的市场。测试公司可以专门从事在不同的安全制度下认证提交的模型，比如自我扩散的能力，创建新的生物或网络武器，或操纵或欺骗它们的人类创造者。这样一个测试创新的竞争市场将具有类似于我们目前用于创建新模型的动态，我们已经看到在短时间内爆炸性的进展。如果没有这样一个市场和它带来的竞争激励，政府、研究实验室和志愿者将被迫使用滞后于人工智能研究前沿几代的工具来保证人类历史上创建的最强大系统的安全。

AI的潜在威胁已经引发了大量讨论。先进的人工智能系统可能最终与人类的价值观和利益不一致，能够故意或者（通常情况下）尽管努力使其安全，但仍然能够造成混乱和灾难。随着它们的进步，我们今天面临的威胁只会随着新系统学会自我改进、合作并潜在地抵制人类监督而不断扩大。

尽管风险是真实存在的，但并非不可避免。如果我们能够建立一个灵活、复杂、独立的测试公司生态系统，不断发展和改进他们的技能来评估AI测试，我们就能够帮助实现一个未来，让社会从人工智能工具的无比力量中受益，同时保持对破坏性结果的有意义的保障。

埃里克·施密特（Eric Schmidt）是谷歌的前首席执行官和执行主席，也是慈善机构施密特科学（Schmidt Sciences）的联合创始人，该机构资助科学和技术研究。