OpenAI的视频工具Sora在选举前笼罩着太多神秘色彩-彭博社

Parmy Olson

秘密。

来源：彭博社

这是政治问题吗？

摄影师：Bing Guan/彭博社

每一次OpenAI的新公告都会引发一定程度的敬畏和恐惧。就在上周四晚些时候，ChatGPT的开发者发布了它的最新新玩意，一个名为 Sora的文本到视频模型，可以创建长达一分钟的高质量视频。社交媒体上涌现出大量令人惊叹的人工智能视频片段，而库存视频制作人、电影制作人、演员和一些初创企业创始人可能在担心他们的生计。

AI视频生成已经存在了一年多，但Sora的示例，包括一段高清视频，展示了狗狗在雪地里摇晃毛发和一位瞌睡的女士被她的猫叫醒，看起来比以往的努力更加真实。故障更难以发现，人类看起来更像人类。

像往常一样，OpenAI不会谈论用于训练Sora的所有重要因素，即使它将其发布给一系列人进行测试，然后再公开发布。它的做法应该是相反的。OpenAI需要更多地公开有关用于训练Sora的数据，并更加保密有关工具本身的信息，考虑到它对行业和潜在选举的颠覆能力。

OpenAI首席执行官Sam Altman 表示，Sora的红队测试将于周四开始，这也是这个工具宣布并与测试用户共享的日子。红队测试是指专家们假装成想要黑客攻击或滥用AI模型的坏人，来测试其安全性。目标是确保在现实世界中不会发生类似的情况。当我问OpenAI需要多长时间来对Sora进行这些测试时，一位女发言人表示没有固定的时间。“我们会花时间评估潜在的危害或风险关键领域，”她补充道。

该公司在发布最新的语言模型GPT-4之前花了大约六个月进行测试。如果对Sora进行相同时间的检查，那意味着它可能会在8月份向公众开放，比美国大选提前三个月。OpenAI应认真考虑等到选民投票后再发布它。

深度伪造对选举的影响已经有了充分的记录，而政客的克隆声音可能是这一新一代生成式AI工具中最隐匿和难以追踪的用途。但伪造的视频也可能造成混乱和混乱。“想象一下，对手使用这个工具展示在恶劣天气中排队等候的人群，以说服人们当天不值得外出投票，”安全研究人员、SocialProof Security的首席执行官Rachel Tobac在X上表示。

OpenAI使用安全过滤器来防止其模型对任何涉及极端暴力、性内容或仇恨图像的提示做出回应，但是在这些系统投入使用之前，它们被滥用并用于宣传的情况是无法预知的。而Sora的推出将产生比其他视频生成工具更大的影响，这要归功于ChatGPT的普及性，每周有超过1 亿人在使用它。OpenAI以与其图像生成工具DALL-E 2相同的方式将其整合到ChatGPT中，很可能也会对Sora采取同样的做法，立即将视频生成能力交到数百万人手中。

与此同时，OpenAI对用于创建Sora的信息来源保持着令人沮丧的保密态度。当我询问该公司用于训练模型的数据集时，一位女发言人表示训练数据来自“我们已经获得许可的内容和公开可用的内容”。她没有进一步详细说明。

当Meta Platforms Inc.在2022年发布了文本到视频模型时，发布了使用了1070万个Shutterstock视频和330万个YouTube视频进行训练。披露这些信息对于外部研究人员检查偏见以及创作者了解自己的作品是否被滥用至关重要。一些游戏和人工智能专家暗示Sora可能是在计算机游戏的基础物理引擎上进行训练的，但没有人确切知道，因为OpenAI不会公开这些信息，就像它对其他强大的人工智能模型一样。

Altman发布ChatGPT时引发了一场竞赛，这加剧了OpenAI的保密工作，因为它试图领先于谷歌和Meta等领先的人工智能竞争对手。Altman增加用于训练OpenAI模型的计算能力的做法也取得了成功。该公司为Sora展示的技术论文表明，随着“训练计算”增加，其人工智能视频变得越来越逼真。技术论文。难怪Altman一直在努力制造更多的人工智能芯片，并寻求数万亿美元的资金。他明确的目标绝不仅仅是创造超越我们自身能力的人工智能，他相信，为了实现这一目标，公众需要通过自己尝试更具变革性的技术来适应。这就是OpenAI的“开放”部分，但在这一点上，他可能会更加封闭。

令人担忧的是，甚至连Altman自己都不知道这些工具一旦发布将会产生何种影响。

更多来自彭博观点：

想要更多彭博观点吗？ OPIN <GO> 。或者订阅 我们的每日新闻简报 。

Meta Platforms Inc.已经决定，在至少60个国家进行选举的一年中，将“政治”内容设置到其40亿用户的网络中。该公司明确表示，这已经不再值得麻烦。

除此之外，阅读其公告，宣布不会“主动放大”来自用户不关注的账户的政治内容进入其信息流？执行官亚当·莫塞里解释说，除非用户在设置中切换，否则他们将被屏蔽这类内容。他没有明确指出什么样的内容可以被视为政治内容。这可能是不可能的。（这个问题与过滤明显的错误信息是完全不同的问题。）