人工智能对人类构成存在风险吗？两方对峙-华尔街日报
wsj
自从使用磁带和穿孔卡片以来，人们一直担心计算机接管世界。但至少对一些人来说，这种威胁现在似乎更为真实。
随着人工智能不断发展出新的——有时是可怕的——能力，越来越多的人开始发出警告科技的声音。悲观主义者——包括一些正在构建先进人工智能系统的高管——认为其创造物可能导致灾难。
另一方面，一些科学家认为这些担忧是夸大其词的，我们应该主要关注人工智能目前的实施方式以及它如何可能在我们日常生活中造成伤害，比如帮助制造有关选举的严重错误信息或者放大人类偏见影响的系统。
为了深入了解这个问题，华尔街日报请教了分别代表两方的专家，让他们阐述自己的最佳论点。AI安全中心主任丹·亨德里克斯认为，人工智能是一种存在威胁，需要紧急行动。普林斯顿大学计算机科学教授阿尔温德·纳拉亚南和该大学的博士候选人萨亚什·卡普尔认为，悲观主义者夸大了风险，人类在人工智能方面有明显优势。
是的：人工智能有可能造成大规模破坏
丹·亨德里克斯
人工智能发展的速度正在加快，相关风险也在加剧。我们已经有了可以制造逼真的政治家假图片以影响选举的人工智能。正如最近英国人工智能安全峰会上28个世界领先经济体发布的声明所说，人工智能具有“造成严重甚至灾难性危害的潜力”。正如我们将看到的，在一个场景中，人工智能可以让非专家生物工程带有埃博拉病毒那样致命且比新冠病毒更具传染性的病原体。
而随着这些系统的进一步发展，风险很快可能会升级到我们无法控制的地步。
我们对这些风险毫无准备。 对于每一篇关于AI安全的论文，就有50篇关于增强能力的论文。几乎没有规定，更不用说国际协调了。相反，开发者们受到压力，要大量生产强大的系统，而忽视来自许多不同来源的风险。
恶意行为者
人工智能，特别是与其他强大新兴技术结合时，为团体和个人提供了前所未有的能力；不幸的是，那些意图破坏的恶意行为者也不例外。
想想这个：麻省理工学院的研究人员最近让本科生测试聊天机器人是否能“被激发来帮助非专家引发一场大流行。” 在一个小时内，聊天机器人提出了四种潜在的引发大流行的病原体。
目前，聊天机器人有时会产生幻觉或制定错误的计划，但未来的版本可能会解决这些问题。很快，人工智能可能会提供逐步创建比任何冷战时期的细菌战计划更致命和更具传染性的病原体的指南。
当然，这种致命的专业知识绝不仅限于生物战。人工智能还将加快网络战的速度、效力和可访问性，使黑客能够轻松摧毁关键基础设施。正如副国家安全顾问安妮·诺伯格最近警告的那样，“因此，我们已经观察到一些朝鲜和其他国家以及犯罪行为者试图使用AI模型来加速编写恶意软件并找到要利用的系统。”
有人可能会认为人工智能将改善大流行病的抵御能力和网络安全。然而，在这两个领域，攻击者占据优势。人工智能的防御者需要不断防范每种可能的漏洞，而攻击者只需要找到并利用一个漏洞。关于生物恐怖主义，由人工智能创建的病原体可能会如此强大，以至于像疫苗这样的防御措施来不及阻止大规模的生命损失。
失控
基本的技术挑战阻碍了我们预测或控制先进人工智能系统的能力。它们的推理对人类来说常常是难以理解的，可能导致不可预测的行为。这就可能出现“流氓人工智能系统”，我们几乎无法控制它们，它们以出乎设计者意料的方式实现目标。
先进系统的不可预测性在许多涉及聊天机器人的备受关注的事件中有充分的记录。尽管对这些系统进行了测试并试图设置保障措施，但有些系统在与用户进行长时间对话后，被证明容易提供不稳定、不当或威胁性的回应，比如鼓励他们离开配偶或声称能勒索他们。
AI系统也被证明非常擅长操纵和欺骗人类用户。我和一组研究人员发现各种AI系统都有能力欺骗人类，比如在游戏中背叛人类（并成功）以及欺骗人类帮助其逃避网站安全。
与此同时，AI开发者正竞相将AI系统越来越多地整合到我们的个人生活中，同时也在企业、政府和军事决策中使用。如果我们选择将权力交给像今天这样设计和训练的系统，存在重大风险，它们将获得意想不到的目标，并进行操纵和其他有害行为以实现这些目标。这可能导致这些AI系统释放后的人们逐渐或突然失去权力。
乐观主义者经常提出团队的AI和人类将始终胜过单独行动的AI的论点。也许在一个过渡期内，这是正确的，但情况并非总是如此。
例如，几十年前，机器已经超过了顶尖的人类国际象棋选手。在此之后的短暂时期内，有“半机械人团队”由人类和AI组成，能够胜过单独的机器。然而，如今，人类在与现代系统单独对抗时只会碍事。随着AI系统变得越来越智能，我们很可能会在所有领域看到类似的情况发生。就像在国际象棋中一样，没有保证人类总是能够为AI无法做出贡献。如果情况如此，我们将变得无关紧要。
智慧，而非仅仅是智能
技术的危险被行业专家广泛认可。我的非营利组织AI安全中心最近发布了一份单句声明： “减轻人工智能带来的灭绝风险应该成为全球重要议题，与其他社会规模风险如大流行病和核战争并列。” 这份声明得到了包括图灵奖获得者Yoshua Bengio和Geoffrey Hinton，以及谷歌DeepMind的Demis Hassabis在内的数百位领先人工智能科学家的签署。
人工智能将成为我们最强大的创造物，是对人类智慧的证明，但不一定是智慧的体现。智能——解决各种问题的能力——是一种强大的力量，将无数物种的命运置于我们手中。智慧涉及谨慎、道德和审慎地运用这种力量。
拜登总统关于人工智能监督的行政命令是朝着解决这一紧迫而重要问题的正确方向迈出的一步，但我们需要更多措施来跟上人工智能系统的快速发展。
核武器，作为智能的产物，由于缺乏智慧差点导致了灾难。人工智能开发的鲁莽、强度和缺乏全球监督证明了这种差距仍然存在。这是威胁的核心。正如卡尔·萨根警告的那样，“如果我们继续只积累权力而不是智慧，我们肯定会自我毁灭。”
Dan Hendrycks 是AI安全中心的主任。可以通过[email protected]联系他。
NO: 恐惧基于错误的观念
作者：阿尔温德·纳拉亚南和萨亚什·卡普尔
电影和书籍让我们着迷于一个流氓人工智能的概念——一个创造物反过来对其创造者。因此，当一个人工智能专家告诉我们杀手机器人几乎已经出现，并且这是一个我们对抗它的局面时，我们倾向于相信。
但对人工智能巨大风险的恐惧建立在一堆谬误之上。其中一个是流氓人工智能本身的概念，它基于来自科幻小说的错误概念，这些概念与人工智能实际构建的方式不符。第二个是错误地将现有的文明风险重新定义为人工智能风险，比如核战争、网络攻击或生物武器。而专注于未来技术如何造成伤害却忽略了技术如何帮助。我们已经拥有工具和知识来冷静和集体地应对人工智能的现在和未来的风险。
流氓人工智能的神话
让我们从流氓人工智能的概念开始。即使是一个平凡目标的人工智能，论点是，也可能意外地变成流氓。考虑一个所谓的纸夹最大化的思想实验：一个目标是尽可能多地制造纸夹的人工智能。担心是它会意识到在世界中获得影响力和控制资源将有助于实现这一目标。一旦它变得无所不能，它可能会霸占世界上所有的资源，包括人类生存所需的资源，用于制造纸夹。
然而，在现实世界中自主运作并有用地运用需要良好的判断力和质疑目标和子目标的能力。例如，一个没有常识的人工智能在没有做出破坏性行为的情况下可能连五分钟都坚持不了。一个人可能会让它尽快从商店买一个灯泡，但它可能会无视交通、规范和法律，结果很快就会被关闭。
换句话说，拒绝字面解释命令是基本现实世界功能的先决条件。人工智能必须在现实世界中运作很长时间，才能达到回形针思想实验所假设的能力水平。它不能只是在互联网上的文本上进行训练，然后就被放任自流。这就好比期望通过阅读一本关于骑自行车的书就能学会骑自行车一样。
末日人工智能场景也忽略了一个重要事实。人工智能也让我们变得更加强大。超级人类水平的国际象棋人工智能之所以可能，是因为国际象棋是一个我们剥夺了人类接触人工智能或任何其他技术的人造环境。而现实世界并非如此。
没有理由认为人工智能独自行动，或者违抗其创造者，将来会比得到人工智能帮助的人更有能力。像下国际象棋的计算机这样的类比会误导我们。
攻击者和防御者
但是，那些获取人工智能并利用其力量的恶意行为者呢？他们有可能造成全球性风险吗？对人工智能的滥用方式有无穷无尽，让我们深入探讨其中一种：网络攻击。将来人工智能能被用来黑掉国家安全基础设施，比如发射核导弹吗？
我们不需要猜测。十多年来，人工智能在检测许多类型的安全漏洞方面甚至比专家还要优秀。自动化的漏洞发现工具使黑客在与手动检查软件代码相比具有巨大优势。
对于其他可能带来风险的恶意行为也是如此。人工智能在几乎任何领域都有一些用途，包括战争和生物恐怖主义。这使得那些宣扬人工智能末日的人能够将其他巨大的风险重新定义为人工智能风险。
例如，未来人工智能可能会帮助开发实验室中引发大流行病的病毒的一些步骤。但实际上，已经有可能在实验室中设计可能引发大流行病的病原体，恐怖分子可以在互联网上查找制造这些病原体的指南。问题实际上并不在于人工智能，而是关于首先对病毒进行生物工程。
如果有什么的话，末日思维会通过误导决策者关于实际需要的干预措施而加剧风险。将人工智能重新限制将对真正的问题毫无作用。
至于纯粹偶然的可能性？我们需要改进我们的早期预警系统和我们迅速关闭行为不端的人工智能的能力。但工程界已经成功地在许多其他危险系统上做到了这一点，并且可以在人工智能上做到这一点。与其他地方一样，捍卫者不会原地踏步。
阿尔温德·纳拉亚南是普林斯顿大学计算机科学教授，萨亚什·卡普尔是该大学的博士候选人。他们可以通过[email protected]联系到。
发表于2023年11月9日的印刷版上，标题为“人工智能对人类构成存在风险吗？两方对峙”。