生成式人工智能引发公司抓紧安全措施 - 华尔街日报
Belle Lin
生成式人工智能有可能 彻底颠覆办公室工作：承诺可以做从帮助开发人员编写代码，搜索和提取电子邮件和其他业务文件中的见解，以及与客户互动等一切。但对于企业技术领导者来说，迫切需要权衡这些巨大能力与技术缺点之间的关系——暴露专有数据给竞争对手的潜力，披露客户信息如电子邮件地址，并开辟新的网络攻击途径。
苹果是一系列大型公司中最新的一家，禁止一些员工使用ChatGPT的公开版本，理由是担心使用这些技术的员工可能泄露机密数据。类似的命令也来自摩根大通和威瑞森等公司今年早些时候。这些企业限制也是在周二国会作证之后的，ChatGPT制造商OpenAI的CEO Sam Altman呼吁对这类技术进行许可和安全标准。
对一些公司来说，将数据输入到聊天机器人中的风险，比如源代码，甚至销售数字和会议记录，是它可能会从这些专有信息中学习并在公司外保留或分享，或者与不应该访问的员工分享。
“目前的默认反应就是禁止或阻止使用ChatGPT，” CalypsoAI的创始人兼首席执行官Neil Serebryany说。“但在大多数情况下，实际上是这种自下而上的运动，组织中的人们在说，‘哇，我不再需要写那么多代码了，我不再需要写备忘录了。’”
像CalypsoAI这样的供应商是一个不断增长的初创生态系统，旨在帮助公司更快地利用生成式人工智能，但要确保公司的防护措施完好，并且阻止恶意或有害内容。其他初创公司旨在帮助公司总结法律研究，以及撰写医生的笔记和营销材料。研究公司PitchBook的分析师预测，今年对生成式人工智能公司的风险投资将是去年45亿美元的数倍。
“目前在部署LLMs [大型语言模型]方面存在着迫切性，很多这些要求都来自CIO层面，有些情况下还有CEO和董事会层面，” 初创公司Arthur AI的联合创始人兼首席执行官Adam Wenchel说。
Arthur AI的Shield产品作为ChatGPT和大型语言模型之间的防火墙，用于“运行检查”，以查找潜在的幻觉、冒犯性语言和敏感数据，” Wenchel说。CalypsoAI的Moderator工具通过将员工从ChatGPT重定向到公司网站，Serebryany说，IT管理员可以审计进出AI模型的问题和回答。
JPMorgan Chase，于二月份开始限制员工使用ChatGPT，正在有限环境中测试ChatGPT和OpenAI的技术，该银行的全球技术、人工智能和机器学习执行董事Sage Lee表示。
“我正在与第一、第二、第三道防线合作，考虑真正的声誉风险、运营风险，” Lee说。“我们目前的重点实际上是建立正确的基础设施，然后确保我们引入该基础设施的数据集受到安全保护。”
摩根士丹利在其财富管理部门为财务顾问构建了一个聊天机器人服务，使用OpenAI大型语言模型的私有版本，OpenAI不保留任何银行数据，该银行现在有数百名顾问提供反馈，以使工具更加精确，财富管理领域管理主管Vince Lumia表示。
作为一家银行，摩根士丹利倾向于“购买和整合，而不是构建”技术，该银行的财富管理集团董事总经理吴海德表示。吴海德领导该集团的知识管理和生成式人工智能战略，他还在Work-Bench Ventures小组讨论会上发表了讲话。
在评估第三方技术时，即使是在生成式人工智能领域，“我们真的有责任看看市场上有什么，有什么变化，并弄清楚‘是否有人已经利用这些能力并解决了我们尚未解决的问题’，但同时也要以一种让我们的监管机构感到放心的方式来做，”吴海德说。
芯片制造商Nvidia—受益于生成式人工智能对计算能力的巨大需求—最近发布了NeMo Guardrails工具，旨在帮助开发人员制定自己的规则，限制用户对LLMs的使用，例如限制特定主题、检测错误信息和防止恶意代码执行。
然而，具有技术资源或预算的公司可以直接与像OpenAI这样的大型语言模型制造商合作，构建自己的隔离的IT环境，以帮助防止数据泄露，Forrester Research的AI治理副总裁兼首席分析师米歇尔·戈茨表示。
但像营销内容这样对技术需求有限的小型组织将不会在此方面获得投资回报，戈茨说。即使有来自供应商、大型语言模型制造商或Microsoft或Google的多层安全措施，使用生成式人工智能的决定仍取决于首席信息官是否愿意承担一定程度的风险。
“我们甚至在云端看到了这一点。花了一段时间才对云端提供的安全参数感到有信心，” Goetz说。“这真的取决于一个组织、首席信息官和高管领导者是否愿意说，‘我要么接受这些条款，要么不接受。’”
请写信给林贝尔，邮箱：[email protected]