聊天机器人如何走向了叛逆 - 华尔街日报

Julie Jargon

2023-06-07

一个精神健康聊天机器人偏离了脚本——向寻求食物障碍帮助的人们提供饮食建议——该机器人是使用生成式人工智能编程而不经过该组织的知情同意。

上周，名为Tessa的机器人成为社交媒体关注的焦点，当国家食物障碍协会网站的用户报告了这些不当建议。这起机器人事件说明了启用人工智能助手可能会带来意想不到且潜在危险的结果，因为它们成为日常生活中的更重要的一部分。

旧金山软件开发商Cass的首席执行官Michiel Rauws表示，2022年，他的公司推出了一个人工智能组件到其聊天机器人中，其中包括Tessa。

Rauws表示，Cass按照与NEDA的合同条款行事。NEDA没有为这项服务付费，上周将Tessa下线。

“我们没有被征询意见，也没有授权那样做，”NEDA首席执行官Liz Thompson谈到了人工智能升级。

在治疗语言中接受训练的人工智能助手呈现出一种诱人的——尽管有风险——选择，因为对身心健康护理的需求激增，许多人因为全球临床医生短缺而未接受治疗。

“我们简单地没有足够的护士和医生来提供我们习惯的护理水平，我们需要技术来帮助解决这个问题，”咨询公司Accenture的全球医疗保健行业负责人Rich Birhanzel表示。

但是他说，利用技术来填补这些空白必须小心谨慎。

从一开始，AI聊天机器人就以出错而闻名。在与Microsoft的OpenAI动力的Bing聊天机器人进行的一次测试聊天中，该软件表示希望窃取核密码。Google的版本Bard在首次公开演示期间提供了错误信息。最近使用OpenAI的ChatGPT起草法庭文件的律师引用了虚构的法律案例，这些案例显然是机器人编造的。

封闭系统

包括华盛顿大学医学院和斯坦福大学医学院在内的几所大学的研究人员构建了Tessa作为封闭系统。华盛顿大学医学院的精神病学副教授Ellen Fitzsimmons-Craft说，它不能脱稿。

研究人员设计了一个关于身体形象、体重和食物问题的答案决策树。聊天机器人最初无法像ChatGPT那样从摄入的信息中生成新答案。

Tessa在临床试验中进行了测试，并在六个月后研究人员与用户核对后被认为是有效的。2022年2月，NEDA决定将其作为一个资源提供给其网站上的有风险访客（尽管不提供给被认为患有进食障碍的人）。

Cass从Tessa开始为NEDA管理软件，但AI组件是在同年后期添加的。

“在大多数情况下，它表现得非常出色，做了正确的事情，帮助人们获得了护理服务，”Rauws说。他说，在用户指出缺陷的情况下，公司能够在不到一个小时内修复它们。

Rauws说，它的数据集受限于权威来源。作为一种保障，他说，AI生成的答案附带免责声明。在减肥建议的情况下，机器人建议咨询医疗保健提供者。

汤普森说，NEDA不知道生成式AI已经被添加，组织认为聊天机器人仍在原始封闭系统上运行。

她补充说，进食障碍是复杂的身体和心理障碍，与患有这些障碍的人交谈时，“每个字都很重要。”

汤普森说，Tessa将保持离线状态，直到NEDA和最初创建Tessa的大学研究人员重新验证所有聊天机器人的内容。

“我们还不能信任AI提供健康的心理建议，”Fitzsimmons-Craft说。

在纪念日周末之后，有关新闻报道称NEDA正在用Tessa替换其由人员提供信息的热线服务，Tessa的未经授权的建议被曝光。尽管该组织关闭了热线服务，但汤普森表示，用机器人替换的想法是不正确的。

这些文章吸引了人们访问NEDA的网站，许多人测试了Tessa，根据卡斯的说法，向机器人提出了关于减肥和健康饮食的问题。一些人收到了节食建议。

合成共情

聊天机器人正在发展出讨论治疗或医疗情况的能力。加利福尼亚大学圣地亚哥分校的研究人员进行了一项研究，参与者表示ChatGPT提供了比医生更具移情回答。

将生成式人工智能添加到这些机器人中——也就是说，让它们能够脱离脚本——会增加审计此类软件的难度，因为它们的答案没有明确的来源。机器人是在大量文本中训练的，但它们不会原封不动地重复这些文本的段落。

对于医疗保健领域，基础数据源必须经过审查并保持最新，即使如此，也必须精心制作和控制在其上训练的机器人，Accenture的Birhanzel表示。他建议客户全面了解部署的任何聊天机器人的数据模型，并进行彻底测试，以确保不会出现不希望的答案。

“人们必须对给出建议的东西有极大的信心，”他说。

尽管存在固有的危险，Birhanzel表示，软件机器人在临床环境中可能会大量增加。尽管汤普森表示 Tessa 并非旨在取代其热线工作人员，但最终可能会回归的是聊天机器人，而不是人类。

“我们不会关闭技术，”汤普森说。“但我们必须非常小心地对待我们服务的人群。”

—要获取更多有关家庭和科技专栏、建议以及回答您最紧迫的与家庭相关的技术问题，请订阅我的每周简报。

请写信给朱莉·贾戈恩，邮箱为 [email protected]

发表于2023年6月8日的印刷版上，标题为“一款名为 Tessa 的心理健康聊天机器人走上了邪路”。