Instagram的算法向关注儿童的成年人推送有毒视频混合物-华尔街日报
Jeff Horwitz and Katherine Blunt
Instagram的Reels视频服务旨在向用户展示系统认为会对他们感兴趣的短视频流，如体育、时尚或幽默等主题。
Meta Platforms 旗下的社交应用程序也会根据其算法决定可能对儿童有淫秽兴趣的用户做同样的事情，华尔街日报的测试显示。
华尔街日报试图确定Instagram的Reels算法会向专门关注年轻体操运动员、啦啦队员和其他青少年和青少年影响者的测试账户推荐什么内容。
Instagram的系统向这些测试账户推送了大量淫秽内容，包括儿童的挑逗性镜头以及明显性感的成人视频，还有一些美国最大品牌的广告。
在观察到这些年轻人账户的数千名关注者中经常包括大量成年男性，并且许多关注这些儿童的账户也表现出对与儿童和成年人相关的性内容的兴趣后，华尔街日报设置了测试账户。华尔街日报还测试了在其账户关注了其中一些用户后算法会推荐什么内容，结果是更加令人不安的内容夹杂着广告。
在Instagram推荐的视频流中，一则约会应用Bumble的广告出现在一个人抚摸真人大小乳胶娃娃的视频和一个年轻女孩数字遮挡脸部的视频中间。另一则是必胜客的广告出现在一个男人躺在床上，手臂搂着标题称为10岁女孩的人的视频之后。
加拿大儿童保护中心，一个儿童保护组织，分别对其自身进行了类似的测试，并取得了类似的结果。
Meta表示，《华尔街日报》的测试产生了一种人为的体验，这并不代表数十亿用户所看到的内容。该公司拒绝就为何算法会编译出展示儿童、性和广告的各个视频流的问题发表评论，但一位发言人表示，该公司在10月份推出了新的品牌安全工具，让广告商能够更好地控制其广告出现的位置，并且Instagram每个月要删除或减少四百万个涉嫌违反其标准的视频的显著性。
《华尔街日报》在六月份报道称，Meta运行的算法连接了对恋童癖内容感兴趣的大量用户。Meta的发言人表示，在《华尔街日报》文章发布后，他们成立了一个特别小组，扩展了用于检测可疑行为的自动系统，每个月关闭了数万个此类账户。该公司还参与了一个新的行业联盟，共享潜在儿童剥削的迹象。
在《华尔街日报》的测试中，广告出现在不当内容旁边的公司包括迪士尼、沃尔玛、在线约会公司Match Group、销售勃起功能障碍药物的Hims以及《华尔街日报》本身。大多数知名零售商要求他们的广告不要出现在性或露骨内容旁边。
“我们的系统在减少有害内容方面非常有效，我们已经投入数十亿美元用于安全、保护和品牌适用性解决方案，”Meta副总裁萨曼莎·斯特森（Samantha Stetson）表示。她负责与广告行业的关系。她说Instagram上不当内容的普遍性很低，公司在减少这些内容方面投入了大量资金。
在描述Meta对其投诉的不满意回应后，Match于10月开始取消了一些应用程序（如Tinder）的Meta广告。此后，它已停止在任何Meta平台上推广Reels广告，并停止在Meta的任何平台上推广其主要品牌。“我们不想支付Meta向捕食者营销我们的品牌，也不想在这些内容附近放置我们的广告，”Match女发言人贾斯汀·萨科（Justine Sacco）表示。
Bumble发言人罗比·麦凯（Robbie McKay）表示，“我们绝不会故意在不当内容旁边做广告”，公司正在暂停在Meta平台上的广告。
迪士尼品牌管理副总裁查理·凯恩（Charlie Cain）表示，公司已经对社交媒体上可接受的广告内容设定了严格限制，并敦促Meta和其他平台改进品牌安全功能。一位公司女发言人表示，自从《华尔街日报》向迪士尼提出发现后，公司一直在最高层面与Meta解决这个问题。
沃尔玛拒绝置评，必胜客未回应置评请求。
Hims表示将向Meta施压，阻止这种广告投放，并认为Meta承诺解决问题令人鼓舞。
《华尔街日报》表示，对其广告出现在一段明显成人性行为视频旁感到震惊，并将要求Meta采取行动。
Meta推出Reels以与北京字节跳动旗下的视频分享平台TikTok竞争。这两款产品都通过在用户发布的视频中插入广告来赚钱。两家公司的算法都会向用户展示它们计算出最有可能让用户保持参与的视频，这是基于用户过去的观看行为。
《华尔街日报》记者在新购设备上以成年人身份建立了Instagram测试账户，并关注了体操运动员、啦啦队员和其他年轻的网络红人。测试显示，仅关注年轻女孩就会导致Instagram开始向用户推送宣传成人性内容的账户发布的视频，这些视频会与沃尔玛等主要消费品牌的广告一起出现，比如在一段女性暴露下体的视频后播放的沃尔玛广告。
当测试账户随后关注了一些关注这些年轻人账户的用户时，推荐内容变得更加令人不安。该平台推送了一些成人色情和性感化儿童的内容，比如一段穿着衣服的女孩抚摸自己的躯体的视频，以及一段孩子模仿性行为的视频。
算法推荐系统专家表示，《华尔街日报》的测试显示，尽管体操运动可能看起来是一个无害的话题，但Meta的行为跟踪已经辨别出一些关注青少年女孩的Instagram用户会想要观看性感化儿童的视频，并将这样的内容推送给他们。
“利基内容提供的信号比一般兴趣内容更强烈，”加州大学伯克利分校人类兼容人工智能中心的高级科学家乔纳森·斯特雷说。
他们表示，防止系统向对此感兴趣的用户推送有害内容需要对推荐算法进行重大改变，这些算法也推动着普通用户的参与度。《华尔街日报》审查的公司文件显示，公司的安全人员普遍被禁止对可能会减少日活跃用户数量的平台进行更改。
测试账户显示，广告经常被添加到有问题的Reels流中。鼓励用户在假期去迪士尼乐园的广告与一个成年人模拟与父亲发生性关系的视频以及一个穿着性感内衣并嘴角滴血的年轻女性的视频并列。在一个描述显然处于痛苦状态的女性的性情景以及一个链接到所谓“完整视频”的视频之后，Hims的广告很快出现。
即使在2020年推出Reels之前，Meta的员工就已经意识到该产品存在安全问题，据前员工称。
问题的一部分在于自动执行系统在解析视频内容方面比文本或静态图像更困难。另一个困难来自Reels的工作方式：与Instagram和Facebook的其他部分经常展示用户朋友分享的内容不同，Reels推广的是来自他们不关注的来源的视频。
在Reels推出之前不久进行的分析中，Meta的安全人员标记了该产品会将儿童视频和不当内容串联在一起的风险，据两名前员工称。Meta的前青少年政策负责人Vaishnavi J描述了安全审查的建议：“要么我们加强我们的内容检测能力，要么我们不推荐任何未成年人的内容”，即任何儿童视频。
当时，TikTok正在迅速增长，吸引了Instagram的年轻用户和针对他们的广告商的注意。据J称，Meta当时没有采纳安全分析的任何建议。
Meta的数字广告买家联络人Stetson反驳说，Meta在产品推出之前并没有忽视儿童安全问题。“我们在广泛发布之前对Reels进行了将近一年的测试，配备了一套强大的安全控制和措施，”她说。
视频分享平台吸引社交媒体公司的原因在于视频往往比文本或静态照片能更长时间地吸引用户注意，这使其对广告商更具吸引力。
社交媒体平台和数字广告机构经常将不当的广告投放描述为不幸的错误。但《华尔街日报》和加拿大儿童保护中心运行的测试账户表明，Meta的平台似乎针对一些对性感兴趣的用户进行了数字营销。
在《华尔街日报》的测试账户中经常出现的广告包括“约会”应用程序和展示成人裸体的直播平台，提供“快乐结局”的按摩院，以及为网络性爱而设计的人工智能聊天机器人。Meta的规定应该禁止这类广告。
《华尔街日报》在八月份通知了Meta有关其测试结果。自那时以来，《华尔街日报》和加拿大儿童保护中心的测试显示，该平台继续推送一系列视频，其中包括年幼儿童、成人内容以及明显是在其他地方举办的儿童色情材料的宣传。
截至十一月中旬，该中心表示Instagram仍在稳定地推荐其描述为“成年人和儿童进行性感姿势”的内容。
在《华尔街日报》开始联系广告商询问广告位置后，这些公司提出了问题，Meta告诉他们正在调查此事，并将支付品牌安全审计服务的费用，以确定公司广告出现在其认为不可接受的内容旁边的频率。
Meta尚未提供解决问题的时间表，也没有解释将来如何限制推广涉及儿童不当内容的问题。
《华尔街日报》的测试账户发现，这个问题甚至影响了与Meta相关的品牌。该公司的WhatsApp加密聊天服务和Meta的Ray-Ban Stories眼镜的广告出现在成人色情内容旁边。由前Meta首席运营官谢丽尔·桑德伯格运营的青少年赋权非营利组织Lean In Girls的广告直接出现在一个经常穿着校服出现的成人色情内容创作者的推广之前。桑德伯格拒绝置评。
加拿大儿童保护中心通过自己的测试得出结论，Instagram经常播放着衣着儿童的视频和图片，这些儿童也出现在国家失踪和被性虐待儿童中心的数字数据库中，这些图像和视频被确认为儿童性虐待材料。该组织表示，儿童虐待者经常使用这些女孩的图像在暗网论坛上宣传非法内容出售。
加拿大中心的执行主任利安娜·麦克唐纳表示，内容的性质——在一般情况下不展示裸体的儿童性感化——反映了社交媒体如何改变了在线儿童性虐待。该组织对Meta的算法能否招募在线儿童性虐待社区的新成员提出了担忧，这些社区中私人论坛中的非法内容链接不断增加。
“一次又一次，我们看到推荐算法驱使用户发现并沉迷于这些在线儿童色情社区，”麦克唐纳说，称这些主流公司的广告资助了这一过程，令人不安。
罗比·韦兰对本文有贡献。
请写信给杰夫·霍维茨，邮箱为[email protected]，以及凯瑟琳·布伦特，邮箱为[email protected]
本文发表于2023年11月28日的印刷版，标题为“Instagram提供有毒视频混合”。