假人工智能泰勒·斯威夫特、乔·拜登，社交媒体上的死去孩子 - 彭博社

一个AI视频生成网站。使用人工智能制作的误导性音频和视觉并不新鲜，但最近人工智能技术的进步使它们更容易创建，更难检测。

摄影师：I-Hwa Cheng/AFP/Getty Images

由人工智能生成的Deepfakes本月在社交媒体上大量传播，声称一系列知名人士成为受害者，并在美国即将到来的选举周期前提升了操纵媒体的风险成为公众关注的话题。

歌手泰勒·斯威夫特的色情图片、美国总统乔·拜登的伪造电话、以及死去的儿童和青少年详细描述自己死亡的视频都在社交媒体上走红，但它们一个都不是真实的。

使用人工智能制作的误导性音频和视觉并不新鲜，但最近人工智能技术的进步使它们更容易创建，更难检测。2024年才过几周，大量备受关注的事件加剧了立法者和普通公民对这项技术的担忧。

“我们对虚假图像的传播报道感到担忧，”白宫新闻秘书Karine Jean-Pierre周五表示。“我们将尽力解决这个问题。”

与此同时，社交网络上人工智能生成的虚假内容的传播为平台审查的能力提供了一次压力测试。周三，在埃隆·马斯克所有的前身为Twitter的X网站上，泰勒·斯威夫特的明显由人工智能生成的Deepfakes图片吸引了数千万次观看。

尽管像X这样的网站有规定禁止分享合成、篡改的内容，但描绘斯威夫特的帖子花了数小时才被删除。其中一个帖子在大约17小时内仍然存在，并且有超过4500万次的浏览，根据Verge的报道，这表明这些图像在采取行动之前就可能会在网络上迅速传播。

打击行动

公司和监管机构有责任阻止“变态的顾客旅程”中的淫秽篡改内容，AI专家和研究员Henry Ajder表示Henry Ajder，他曾就针对深度伪造色情内容的立法向政府提供建议。我们需要“确定不同利益相关者，无论是搜索引擎、工具提供商还是社交媒体平台，如何更好地在从某人构想到实际创建和分享内容的过程中制造摩擦。”

斯威夫特的事件引发了她众多粉丝和其他X用户的愤怒，导致“保护泰勒·斯威夫特”这一短语在社交平台上成为热门话题。这并不是这位歌手第一次遭受她的形象被用于明显的AI篡改，尽管这是公众愤怒达到这一水平的第一次。

根据彭博社的一项审查，截至2023年底，排名前十的深度伪造网站上有大约1000个与“泰勒·斯威夫特”有关的视频。互联网用户将她的脸部植入色情表演者的身体上，或者向付费客户提供使用AI技术“裸化”受害者的能力。

根据2023年彭博社的一份报告，许多这些视频可以通过快速的谷歌搜索获得。谷歌一直是深度伪造网站的主要流量来源。尽管谷歌提供了一个表单，让受害者请求删除深度伪造内容，但许多人抱怨这个过程类似于打地鼠游戏。在去年彭博社的报告发布时，谷歌的一位发言人表示，这家Alphabet公司设计其搜索排名系统，以避免向人们展示他们不想看到的意外有害或明确的内容。

阅读更多： 谷歌和微软正在加速AI深度伪造色情

几乎有500个涉及斯威夫特的视频被托管在顶级深度伪造网站Mrdeepfakes.com上。根据Similarweb的数据，该网站在12月份收到了1230万次访问。

针对女性

“这个案例令人震惊，毫无疑问对斯威夫特来说极其痛苦，但对一些人来说并不是那么具有突破性，” Ajder说道。“现在创建这种内容的便利程度令人不安，影响着世界各地的妇女和女孩，无论她们身处何地或社会地位如何。”

截至周五下午，X平台上仍然存在斯威夫特的明显AI生成图像。该平台的发言人将彭博社引向公司现有的声明，其中表示非自愿裸露违反了其政策，该平台正在积极努力删除此类图像。

流行的AI图像制作者Midjourney的用户已经利用了至少一张斯威夫特的伪造图像来提出书面提示，这些提示可以用于使用AI制作更加明显的图片，根据彭博社审查的Midjourney Discord频道中的请求。Midjourney具有一个功能，人们可以将现有图像上传到其Discord聊天频道 - 在那里，提示被输入以告诉技术要创建什么 - 它将生成可以用于通过Midjourney或其他类似服务制作另一张相似图片的文本。

该功能的输出在一个公共频道上，供Midjourney Discord服务器的1800多万成员中的任何人查看，为他们提供了调整AI生成的色情图像的技巧和窍门。周五下午，该服务器上有将近200万活跃用户。

Midjourney 和 Discord 没有回应评论请求。

激增的数字

在人工智能蓬勃发展的同时，根据独立分析师Genevieve Oh的研究，自2020年以来，色情深度伪造视频的数量已经增加了九倍以上。去年年底，提供这类内容的前10个网站共托管了114,000个视频，其中斯威夫特已经成为一个常见的目标。

“无论是人工智能还是真实的，它都会伤害人们，”数字取证专家Heather Mahalik Barnhart说道，她为网络安全协会（SANS Institute）开发课程。对于斯威夫特的图片，“即使是假的，想象一下她的父母看到那些图片的心情——你知道，当你看到某些东西时，你无法让它消失。”

就在斯威夫特的图片引发轩然大波的几天前，拜登的深度伪造音频消息在新罕布什尔州总统初选之前传播开来。全球虚假信息专家表示，这通电话自动拨号听起来像是拜登告诉选民跳过初选，是他们迄今听到的最令人担忧的深度伪造音频。

已经有人担心深度伪造的音频或视频可能在即将到来的选举中发挥作用，这得益于社交媒体上信息传播的速度。这条虚假的拜登消息直接拨打到人们的电话中，这为专家提供了更少的手段来审查这通电话。

“新罕布什尔州初选让我们第一次尝到了我们必须应对的情况，”专攻深度伪造和数字媒体取证的布法罗大学教授Siwei Lyu说道。

阅读更多： 深度伪造拜登音频引起美国选举前的专家警报

难以检测

即使在社交媒体上，目前也没有可靠的检测能力，这导致了一个令人沮丧的绕圈子的过程，这个过程依赖于有人发现一段内容并对其产生足够的怀疑，以至于去确认来源。对于像斯威夫特或拜登这样的知名公众人物来说，这可能是一个更有可能发生的情景。即使公司识别并删除了这些视频，它们传播得如此之快，以至于通常损害已经造成。

一段深度伪造的视频，展示了以色列10月7日恐怖袭击的受害者沙妮·洛克，自三个多月前发布以来，在字节跳动有限公司的TikTok应用上已经累积了超过750万次的观看次数，即使在彭博社在去年12月的一篇关于该平台努力监管AI生成的死者视频的报道中，特别指出了这个视频。即使这些视频被公司识别并删除，它们传播得如此之快，以至于通常损害已经造成。

这个视频分享应用已经禁止了私人公民或儿童的AI生成内容，并表示“令人恐怖”或“令人不安”的视频也是不允许的。甚至在本周，死去的儿童的深度伪造视频仍在用户的动态中出现，并积累了数千次的观看次数。TikTok删除了彭博社发送的评论视频。截至上周五，仍然有数十个视频和账户专门发布这种令人不安的虚假内容。

阅读更多： TikTok努力删除哈马斯受害者的深度伪造视频

TikTok表示正在投资于检测技术，并致力于教育用户AI生成内容的危险。其他社交网络也表达了类似的看法。

“如果你不能首先检测到某事，你就无法对其做出回应，也无法做出反应，更不用说对其进行监管了，”Facebook和Instagram母公司Meta Platforms Inc.的公共事务总裁尼克·克莱格在瑞士达沃斯世界经济论坛上说。本月早些时候。

少数法律

目前美国联邦法律中没有禁止深度伪造视频的法律，包括那些具有色情性质的视频。一些州已经实施了关于深度伪造色情视频的法律，但在全国范围内的执行是不一致的，这使得受害者难以追究制作者的责任。

白宫新闻秘书让-皮埃尔（Jean-Pierre）表示，政府正在与人工智能公司合作，采取单方面的努力，为生成的图像加水印，以便更容易识别其为伪造品。拜登还任命了一个特别工作组来解决在线骚扰和滥用问题，而美国司法部则设立了一个热线，供那些受到基于图像的性虐待的受害者使用。

国会已经开始讨论立法措施，以保护名人和艺术家的声音免受在某些情况下使用人工智能的侵害。这些讨论中没有涉及任何保护私人公民的内容。

斯威夫特对这个问题没有发表公开评论，包括她是否会采取法律行动。如果她选择这样做，她可能有能力应对这种挑战，这是见证组织执行主任萨姆·格雷戈里所说的，该组织利用道德技术来揭露人权侵犯。

“在缺乏联邦立法的情况下，像斯威夫特这样有能力和意愿尽一切可能手段来发起诉讼以表明立场的原告，即使成功的可能性很低或者是长期的，也是下一步行动，”格雷戈里说。

阅读更多： 了解深度伪造和泰勒·斯威夫特的图片：快速了解