《华尔街日报》:揭穿坏科学家的辟谣者团队
Nidhi Subbaraman
一位屡获殊荣的哈佛商学院教授和研究人员花了多年时间探索人们撒谎和作弊的原因。一组行为科学家检查了她的几篇学术论文后得出结论,她自己的研究结果是基于伪造数据得出的。
对于这三位科学家来说,这是一次例行的揭露行为—Joe Simmons、Leif Nelson和Uri Simonsohn因揭露建立在错误或欺诈数据基础上的已发表研究而在学术界获得了声誉。他们利用线索、数据分析和直觉来揭露欺诈行为。在过去的十年里,他们得出了自己的结论:数字不会撒谎,但人会。
“一旦你看到许多不同论文中的模式,就会变成一种千万分之一的机会,即存在某种良性解释,” 西蒙斯说道,他是宾夕法尼亚大学沃顿商学院的教授,也是这个三人组中的一员,他们在名为Data Colada的博客上报告他们的工作。
西蒙斯和他的两位同事是世界各地不同领域的越来越多的科学家中的一员,他们兼职作为数据侦探,筛查学术期刊上发表的研究,寻找欺诈证据。
根据《撤稿观察》网站的数据,2022年撤稿的有缺陷的论文至少有5500篇,而2002年只有119篇。该跳跃主要反映了Data Colada科学家和许多其他学术志愿者的调查工作,该网站的联合创始人伊万·奥兰斯基博士表示。他们的发现导致了令人尴尬的撤稿、职业生涯的颠覆和报复性诉讼。
神经科学家马克·特西埃-拉维尼上个月辞去了斯坦福大学校长的职务,此前他的发表研究中存在多年来的数据批评。在科学家们剖析发表研究的网站PubPeer上的帖子引发了《斯坦福每日》的关注。随后大学展开了调查,他参与撰写的三项研究被撤回。
马克·特西埃-拉维尼于八月辞去了斯坦福大学校长职务。照片: 温尼·温特迈尔摄于《华尔街日报》斯坦福得出结论,尽管特西埃-拉维尼本人没有参与科研不端行为或知晓他人的不端行为,但他“未果断和坦率地纠正科学记录中的错误”。特西埃-拉维尼仍然留任教职,拒绝置评。
寻找误导性研究不仅仅是学术问题。有缺陷的社会科学研究可能导致企业对消费者行为做出错误决策,或者政府制定错误规定和政策。错误的医学研究可能对患者造成伤害。各个领域的研究人员可能会在试图推进后来证明是欺诈性发现的过程中浪费数年时间和数百万美元的资助。
数据侦探希望他们的工作能保持科学诚实,这是在公众对科学的信任正在减弱的时候。发表论文的压力——这可能会带来工作、资助、演讲机会和在企业咨询委员会的席位——推动研究人员追求独特和有趣的发现,有时以牺牲真相为代价,Simmons 和其他人表示。
“慢慢、好好、仔细地做科学——如果你以这种方式做科学,那就意味着你发表的论文会更少,这让我疯狂,” Simmons 说。“显然,如果你伪造数据,你可以让任何事情都奏效。”
本月,《自然》杂志提醒读者有关一篇关于发现室温超导体的文章引发了质疑——如果属实,这是一个深远的科学发现。 检查这项工作的物理学家表示数据不符。领导这项研究的罗切斯特大学物理学家 Ranga Dias 没有回应置评请求,但他为自己的工作进行了辩护。他共同撰写的另一篇论文在八月被撤回,调查表明一些测量数据可能已被捏造或伪造。Dias 的早前一篇论文在去年被撤回。大学正在密切关注他的更多工作。
审查发表研究中可疑数据的专家将每一篇错误论文的撤稿或更正视为科学诚信和透明度的胜利。“如果你想拆掉一堵墙,你得一块一块地拆,”澳大利亚莫纳什大学的医生和研究员本·莫尔说。他调查产科和妇科的临床试验。他的警报促使期刊撤回了大约100篇论文,另有约70篇正在调查中。
在调查其他科学家工作的人中包括伊丽莎白·比克,一位专门擅长发现分子生物学实验中操纵照片的前微生物学家,以及詹妮弗·拜恩,悉尼大学的癌症研究员,她帮助开发了用于筛查论文中有错误DNA序列的软件,这些错误序列表明实验不可能成功。
“如果把侦探排除在外,”奥兰斯基说,“很难想象大多数这些撤稿会发生。”
加州大学伯克利分校的莱夫·尼尔森(左)和乔·西蒙斯。照片: 伊恩·贝茨/《华尔街日报》### 偶然的培训
Data Colada的起源可以追溯到1999年的普林斯顿大学。西蒙斯和尼尔森是同学,他们一起在一个名叫Gibson 5000的乐队和一个名叫Psychoplasmatics的垒球队中活动。2007年,尼尔森和西蒙索恩在加州大学圣地亚哥分校的商学院担任教职时相识。
这三个人成为了朋友,并且在2011年发表了他们的第一篇联合论文,“假阳性心理学。”其中包括一个讽刺性实验,使用被接受的研究方法来证明听了披头士乐队的歌曲“当我六十四岁时”会变年轻。他们想展示研究标准如何容纳荒谬的发现。“他们因此而成为了传奇人物,”多伦多斯卡伯勒大学的心理学家Yoel Inbar说。这项研究成为了《心理科学》杂志中被引用次数最多的论文。
当这三人在2013年创建了Data Colada,它成为了一个讨论统计工具和数据分析的利弊的网站。“整个目标是吸引一些读者,不让自己难堪,”Simmons说。他说随着时间的推移,“我们无意中训练自己去发现欺诈行为。”
他们合著了一篇2014年发表的文章,创造了现在常见的学术术语“p-数据挑选”,用来描述挑选数据或分析以使不显著的结果看起来具有统计学可信度。他们的早期工作促成了研究方法的转变,包括分享数据的做法,以便其他科学家可以尝试复制已发表的工作。
“他们三个人在开发新的方法来审查研究的可信度方面做得非常出色,”位于弗吉尼亚州夏洛茨维尔的非营利组织开放科学中心的执行主任Brian Nosek说,该组织倡导可靠的研究。
尼尔森在加州大学伯克利分校哈斯商学院任教,他被合作伙伴描述为一个能够放眼全局,摆脱细枝末节,看到广阔视角的人。
西蒙索恩是技术高手,精通晦涩的统计技术。“这简直就是超能力,”尼尔森说。西蒙索恩是第一个学会如何发现数据集中的欺诈迹象的人。
西蒙索恩说,他们一起工作,“感觉就像有三个核心处理器并行工作的计算机。”
这两位先生首先用肉眼观察数据,看看它们在研究背景下是否合理。西蒙索恩在博客上检查的第一个研究显然存在数据错误。参与者被要求按0到10的比例评价一次经历,然而数据集中出现了负数。西蒙索恩在博客上检查的第一个研究。
西蒙索恩在西班牙巴塞罗那的Esade商学院。 照片: 华尔街日报的Edu Bayer另一个警示信号是不太可能的声明,比如一项研究声称一名运动员可以在半秒内完成100码短跑。这类发现总是会受到第二次审视。“你立刻就知道,不可能,”西蒙索恩说,他在西班牙巴塞罗那的Esade商学院任教。另一个显著迹象是小数据集中的完美数据。现实世界的数据是混乱的,随机的。
这些迹象中的任何一个都可能引发对论文基础数据的审查。“这只是无意的错误吗?是p-值调整吗?”西蒙斯说。“我们从不急于说是欺诈。”
为了跟上他们的博客和其他事业,这三个人几乎每天都在群聊中发短信,每周大约一次在Zoom上会面,并且不断地发邮件。
在西班牙山区与家人度假时,Simonsohn的手机在八月响了起来。Simmons和Nelson宣布他们因诽谤而被一起2500万美元的诉讼。
“我完全惊呆了,感到恐惧,”Nelson说。
‘她通常是对的’
学术期刊中存在的错误数据大多未被发现,因为这些出版物依赖志愿专家来确保发表作品的质量,而不是检测欺诈行为。期刊没有专业知识或人员来检查数据中的错误或故意操纵,Science系列期刊的主编Holden Thorp说。
Thorp说他与Bik和其他揭穿者交谈,指出大学和其他期刊编辑也应该这样做。“没有人喜欢听她说话,”他说。“但她通常是对的。”
他说,数据侦察员已经促使期刊更加关注纠正记录。大多数期刊已经雇佣了人员来审查关于错误数据的指控。出版《自然》和其他大约3000份期刊的Springer Nature公司的研究诚信总监Chris Graf说,他接手时的研究人员团队已经增加到20人,是2021年的两倍。
《撤稿观察》与研究机构Crossref一起记录了过去一个世纪中大约5万篇被否定的论文,估计截至2022年,每1万篇发表的研究中就有大约8篇被撤稿。
Bik和其他人表示,期刊可能需要数月甚至数年的时间来解决对可疑研究的投诉。她说,2014年和2015年Bik向40家期刊举报了近800篇存在误导性图片的论文,但仅有三分之一在五年后得到了更正或撤稿。
这项工作并非没有风险。法国传染病专家迪迪埃·拉乌特在Bik指出他共同撰写的数十篇论文中存在错误后,威胁要起诉她,其中包括一篇吹捧羟氯喹治疗新冠肺炎的论文。拉乌特表示他对自己的研究坚守立场。
伊丽莎白·Bik在加利福尼亚的家中。照片: Clara Mokri for The Wall Street Journal### 诚实的工作
Simonsohn在2021年得到了有关哈佛商学院教授弗朗西斯卡·吉诺发表的论文中使用的数据的线报。她备受尊敬的研究探讨了道德问题:为什么有些人撒谎?什么奖励驱使其他人作弊?什么因素影响道德行为?
这三位科学家检查了四项研究的基础数据,并指出了一些条目出现的不规律性。数据集中的数字看起来已经被手动更改。2021年12月,他们将自己的发现发送给了哈佛,随后哈佛进行了自己的调查。
哈佛大学根据她对哈佛、尼尔森、西蒙斯和西蒙索恩的诉讼得出结论,认为吉诺“负有‘研究不端’的责任”。哈佛商学院要求发表了这四篇论文的期刊撤回这些论文,称她的研究结果无效。
今年六月,这三人在Data Colada上发布了他们对吉诺研究的结论。他们称,这四篇论文中的数据已经被篡改。当他们恢复了他们假设是正确信息的其中一篇研究后,结果并不支持该研究的发现。帖子引发了社会科学界的骚动。
吉诺目前被停职,学校已经开始撤销她的终身教职资格。在她的诉讼中,吉诺称哈佛的调查存在缺陷,并且对她存在性别歧视。商学院发言人拒绝置评。诉讼还声称Data Colada博客的帖子错误地指控她犯有欺诈行为。这三位科学家表示他们坚持他们发布的发现。
吉诺通过她的律师否认了不当行为。她正在寻求至少2500万美元的赔偿。“我们坚决反对任何使用‘欺诈’一词的暗示,”吉诺的律师安德鲁·米尔滕伯格说。吉诺拒绝置评。
米尔滕伯格表示,吉诺正在准备对Data Colada的结论进行反驳。
今年八月,一群13位科学家组织了一场筹款活动,一个月内筹集了超过30万美元,以帮助支付Data Colada的法律费用。
“这些人正在发出一个非常昂贵的信号,”西蒙斯说。“他们正在用实际的美元来表达‘是的,科学批评很重要’。”
写信给Nidhi Subbaraman,邮箱地址为[email protected]
出现在2023年9月25日的印刷版上,标题为“揭穿坏科学家”。