Deepfake检测是人工智能技术中并未蓬勃发展的一个领域 - 彭博社

人工智能现在已经非常强大，可以欺骗人们相信教皇方济各穿着一件白色蓬松的巴黎世家外套的图片是真实的，但可靠识别伪造图像的数字工具正在努力跟上内容生成的速度。

只需询问墨尔本郊外迪肯大学信息技术学院的研究人员。根据斯坦福大学2023年人工智能指数，他们的算法在识别去年一组所谓的深度伪造的名人图像方面表现最佳。

Midjourney AI生成的一张假冒教皇方济各的图片，左边是真实的教皇方济各的照片。来源：Midjourney；法新社/盖蒂图片社“这是一个相当不错的表现，”迪肯大学网络安全与信任中心的教授Chang-Tsun Li说，他开发的算法在78%的时间内证明是正确的。“但这项技术仍然在发展中。” Li表示，这种方法需要进一步改进才能投入商业使用。

深度伪造技术已经存在并引起关注多年。2019年，前众议院议长南希·佩洛西在一个篡改视频中似乎口齿不清，在社交媒体上广泛传播。不到一个月后，Meta Platforms Inc.首席执行官马克·扎克伯格在一个被篡改的视频中被看到，使人误以为他说了他没有说的话，此前Facebook拒绝删除佩洛西视频。

虽然教皇在羽绒服中的形象是相对无害的操纵，但随着技术的进步，从选举操纵到性行为，深度伪造的潜力造成严重破坏已经增长。去年，一段乌克兰总统弗拉基米尔·泽连斯基的假视频要求他的士兵向俄罗斯投降，可能会产生严重后果。

大型科技公司以及一波初创公司已经投入数百亿美元用于生成式人工智能，以在从搜索引擎到视频游戏等各个领域中占据主导地位。然而，用于查找操纵内容的技术的全球市场相对较小。根据研究公司HSRC的数据，全球深度伪造检测市场在2020年价值38.6亿美元，并预计将在2026年以42%的复合年增长率扩大。

专家们一致认为，对于AI生成的关注过多，而对于检测的关注不足，非营利组织“AI伙伴关系”AI和媒体诚信项目负责人克莱尔·莱博维奇表示。

尽管围绕这项技术的热潮主要由OpenAI的ChatGPT等应用程序主导，但从特斯拉首席执行官埃隆·马斯克到谷歌母公司Alphabet首席执行官桑达尔·皮查伊等高管已经警告过走得太快的风险。

检测工具准备好用来对抗生成式AI程序产生的逼真变造图像浪潮还需要一段时间，比如像Midjourney制作的教皇图像，以及OpenAI的DALL-E。问题的一部分是开发准确检测的成本过高，而且几乎没有法律或财务激励来这样做。

“我每天都在与安全领导人交谈，”弗雷斯特研究公司的分析师杰夫·波拉德说。“他们担心生成式AI。但当涉及到识别深度伪造时，他们不会在预算上花费。他们有太多其他问题要解决。”

然而，一些初创公司，如总部位于荷兰的Sensity AI和总部位于爱沙尼亚的Sentinel正在开发深度伪造检测技术，许多大型科技公司也在这方面进行工作。英特尔公司于去年11月推出了其FakeCatcher产品，作为其负责任AI工作的一部分。该技术通过评估视频像素中的血流等人类特征来寻找真实线索，并且据该公司称，可以以96%的准确率检测伪造视频。

“现在进行深度伪造检测的动机不是金钱；而是帮助减少在线虚假信息，”英特尔高级研究科学家Ilke Demir说。

2023年筹集资金最多的深度伪造检测初创公司

来源：PitchBook

到目前为止，深度伪造检测初创公司主要为希望减少欺诈的政府和企业提供服务，而不是面向消费者。Reality Defender，一家得到Y-Combinator支持的初创公司，根据其执行的扫描数量收取费用。这些成本从数万美元到数百万美元不等，以覆盖昂贵的图形处理芯片和云计算能力。

像Facebook和Twitter这样的平台并不受法律要求在其平台上检测和警示深度伪造内容，这让消费者一筹莫展，Reality Defender的CEO Ben Colman说。“唯一采取行动的组织是像银行这样与金融欺诈有直接联系的组织。”

随着深度伪造变得更加复杂并影响更多人，情况可能会改变。人工智能已经使复制某人的声音变得更容易，欺诈活动也在增加。犯罪分子正在利用这些工具欺骗受害者汇款或批准财务转账。而一首名为“心系袖口”的病毒传播歌曲声称使用德雷克和周末的人工智能版本来创建一个可接受的副本，已经在音乐行业引起了法律和创意上的担忧。

检测伪造图像和视频的当前方法涉及通过训练计算机从示例中学习并在原始作品上嵌入水印和相机指纹来比较内容中的视觉特征。但是，深度伪造技术的迅速传播需要更强大的算法和计算资源，戴肯大学的另一位教授陆学权表示。

没有一种商业化并被广泛采用的工具来区分虚假在线内容和真实内容，这为不良行为者提供了充足的机会。

“我看到的情况与我在反病毒行业早期看到的情况非常相似，”Ballistic Ventures的主席兼常务合伙人Ted Schlein说，他投资于深度伪造检测，并曾在早期投资于反病毒软件。随着黑客行为变得更加复杂和破坏性，反病毒软件得到了发展，并最终变得足够便宜，以至于消费者可以在他们的个人电脑上下载。“我们正处于深度伪造的起步阶段，”目前主要用于娱乐目的。“现在你开始看到一些恶意案例，”Schlein说。

但即使价格便宜，消费者也可能不愿意为这种技术付费，F5 Inc.的前人工智能负责人Shuman Ghosemajumder说，F5 Inc.是一家安全和防欺诈公司。

“消费者不想自己做任何额外的工作，”他说。“他们希望尽可能自动地得到保护。”