AI末日情景在硅谷日益受到关注 - 彭博社

有争议的AI理论家Eliezer Yudkowsky坐在行业最极端评论者的边缘，认为发展先进人工智能将导致人类物种的灭绝。

“我认为我们还没有准备好，我认为我们不知道我们在做什么，我认为我们都会死去，” Yudkowsky在本周的 《彭博原创系列》 AI IRL节目中说。

在过去的二十年里，Yudkowsky一直在宣传他的理论，即敌对的人工智能可能引发一场大规模的灭绝事件。当许多AI行业的人对这一评估表示无所谓或扬起眉毛时，他成立了机器智能研究所，并与Peter Thiel等人合作，共同创作了书面作品，与Nick Bostrom等未来学家合作。

说他对世界末日的一些设想不受欢迎是一个严重的低估；它们与世界将在2012年末的预言相媲美。这一预测基于对古代文本的可疑解释，以及缺乏支持性证据。

尽管Yudkowsky的观点是严厉的，但对AI潜在危害的担忧已在AI社区的最高层获得了认可，包括一些领先人工智能公司的首席执行官，如OpenAI、Anthropic和 Alphabet Inc.的DeepMind。甚至在过去的八个月里，生成式AI的迅速崛起已经引发了 对AI系统进行监管的呼吁和暂停先进AI系统的训练。

在五月份，Sam Altman、Demis Hassabis和Dario Amodei与数百名其他领导者和研究人员一起签署了一份简短声明，由非营利性的AI安全中心发布，称“减轻AI带来的灭绝风险应该成为全球重要议题，与其他社会规模风险（如大流行病和核战争）并列”。微软联合创始人比尔·盖茨是签署者之一，Yudkowsky也是。

一些怀疑论者认为，AI还没有足够先进，无法证明它会毁灭人类，而专注于世界末日场景只会分散注意力，而不是关注算法偏见、种族主义以及猖獗的虚假信息传播所带来的风险。

“这种谈论是危险的，因为它已经成为讨论的主导部分，” AI初创公司Hugging Face的研究科学家Sasha Luccioni在一次采访中说道。“那些火上浇油的公司正在利用这一点来逃避责任。如果我们谈论的是存在风险，我们就没有在关注责任。这是一个助长恐慌的回音室，真正的风险是它导致专注于灭绝场景的监管，而不是解决具体的、当下的危害。”

观看：AI是下一个Y2K吗？

这也是一个历史趋势的延续，即转型技术引发对健康和人类风险的恐惧、不确定性和怀疑。在2000年之前，社会对所谓的千年虫产生了昂贵的集体恐慌。实际上，Y2K狂热是一种善意的准备，激励全球各地的系统管理员检查问题，以防万一。

最近，第五代移动网络的普及引起了一些人的愤怒，他们认为通信、智能建筑和联网车辆的好处承诺远远被来自5G塔的电磁辐射引起的未经证实的健康风险所压倒。

但即使Yudkowsky的一些盟友并不完全相信他对人工智能末日的定期预测，他们认为他的动机是利他的，尽管他言过其实，但还是值得倾听。