新智元报道
编辑:alan
AI 崛起,真假难辨。研究发表了,参考文献却撤稿了。到底是故意还是不小心?
在今年一月份,IEEE 发表的会议论文集中,有一篇通过检查眼睛来判断人类疾病方法的论文。
这篇文章引用的 30 篇参考文献中,已经有 18 篇被撤回。
作者和编辑都没有注意到这个问题,但是被最近的检测工具给曝了出来。
上面是 Nature 整理的一份列表,开篇提到的论文排在第二位,参考文献被撤稿占比 60%,而榜首甚至达到了 65%。
另外,撤稿这件事本身,也在过去几十年中「稳步发展」,去年的撤稿量直接飙升到近 14000 篇,而 2009 年之前每年还不到 1000 篇。
真是 AI 崛起了,学术产业也「崛起」了。
Nature 甚至用了个「Chain retraction」作为评论文章的标题,——学术界也有自己的链式求导法则。
这次用来检测问题论文的工具名为 Feet of Clay Detector,来自于法国图卢兹大学的计算机科学家 Guillaume Cabanac 创建的一个项目。
Feet of Clay 源于圣经中的一个类比,指的是雕像或建筑物表面雄伟,却用的是脆弱的粘土地基。
对于把这些问题文章拎出来公开处刑,Cabanac 表示:「我们并不是指责任何人做错事。我们只是观察到,一些参考文献已被撤回,这意味着该论文可能不可靠。」
——我不是在针对谁,我是说在座的各位都......都应该意识到参考文献被撤稿对论文的影响。
当然了,这么多的撤稿里面,肯定也有一部分是正常撤稿的,而且光是感叹和批判也解决不了任何问题。
我们真正应该讨论的是,在当今的时代背景下,如何减少这些学术错误的产生和传播。
不同的观点
除了在自己的网站上发布 Feet of Clay 探测到的结果,Cabanac 还在论文评论网站 PubPeer 和社交媒体上,明确标记了 1700 多篇涉及参考文献撤回的文章。
对此,一些作者表示感谢提醒,而另一些人则认为此乃诽谤,发表后的撤稿不会影响他们的论文。
从结果来看,一些高比例引用被撤回参考文献的论文的作者,是有学术欺诈前科的,本身自己的许多论文也都被撤稿了。
其中包括工程研究员 Ali Nazari,他于 2019 年被澳大利亚墨尔本斯威本科技大学(Swinburne University of Technology)开除,原因是学校对其进行了不当行为调查。
另一项被标记的研究来自德黑兰伊斯兰阿扎德大学(Islamic Azad University)的物理学家 Ahmad Salar Elahi,他的几十篇论文已经被撤回,许多是因为过度自引和伪造同行评审。
另外也有「不予置评」的作者,《肿瘤学前沿》2023 年发表的一篇关于 RNA 和妇科癌症的评论论文,有 20 篇参考文献在文章提交之前已被撤回。
不过论文的作者之一,伊朗马什哈德医科大学(Mashhad University of Medical Sciences)的药剂师 Maryam Mahjoubin-Tehran 表示,她的团队并不知道撤稿的情况,也不打算更新或撤回该论文,而出版商 Frontiers 表示正在调查。
工具变革
发文章和被引用就是学术界的货币,在利益之下,整个造假流程可以形成闭环。
研究人员、出版商、机构和资助者都必须采取行动维护科学记录的完整性。
传统途径
发现有问题论文的科学家,一般可以通过传统途径联系该论文所在期刊的编辑团队,但找谁来解决这个问题就比较困难了。
此外,这个过程通常不是匿名的,出于自身立场,一些研究人员可能不愿意或无法参与。
而且期刊的速度是出了名的慢,过程中需要期刊工作人员调解各方之间的对话。
受到批评的论文作者通常不愿意参与这种讨论,有时还涉及额外的数据和审稿人。所以大多数调查可能需要几个月甚至几年的时间才能公布结果。
其他途径
当然非传统途径也是有的,例如在 PubPeer 平台上发表评论。
截至 8 月 20 日,PubPeer 上已收到 191463 篇文章的评论——几乎所有都是批评。
但出版商通常不看这个,而受到批评的论文作者也没有义务做出回应。
2021 年 2 月,Guillaume Cabanac 推出了 Problematic Paper Screener(PPS),用来追踪论文中存在的问题。
下面举一个有趣的例子来了解 PPS 其中的一项功能。
近来,由于 AI 介入等原因,论文中开始大量出现一些非正常人类表述,这里被称为「折磨短语」(tortured phrases)。
比如人工智能(Artificial intelligence)可以被表述成 Counterfeit consciousness(伪造意识),或者人造脑力(Man-made brainpower);
肾衰竭(Kidney failure)被写成肾脏失望(Kidney disappointment);
DNA 修复(DNA repair):DNA fix;DNA 损伤(DNA damage):DNA harm;
而免疫系统(Immune system)直接成了坚不可摧的框架(Invulnerable framework)。
——就还......挺学术的,最起码查重肯定是过了。
这些「折磨短语」首先需要人类读者识别出来,然后作为「指纹」添加到数据平台 Dimensions 的索引,截至目前,已核对了这样的指纹 5800 个。
截至 8 月 20 日,问题论文筛选器已标记了超过 16,000 篇论文(包含不少于 5 个这种短语),其中只有 18% 已被撤回。
为了便于持续检查和持续清理文献,Cabanac 还为 PPS 设计了另外两个工具。
其中之一是无效检测器,跟踪已被撤回或删除的论文。
检测器从各个出版商、Crossref 数据库(包括 Retraction Watch 数据库)和生物医学数据库 PubMed 收集数据,目前大约有 62000 篇被撤回或者删除的文章仍然被引用,总饮用量超过 836000 次。
另外一个就是我们开篇提到的 Feet of Clay Detector,用来快速发现那些在参考文献列表中引用了无效论文的文章。
整治乱象
通常来说,论文作者在引用参考文献时,应该检查是否有任何发表后的批评或撤回,在做不到的情况下就需要工具的监督和提醒。
2016 年,英国牛津大学的研究人员开发了一个名为 RetractoBot 的工具,当作者之前引用的一项研究被撤回时,该工具会自动通过电子邮件通知作者。
RetractoBot 已经监控了 20,000 篇被撤回的论文,以及大约 400,000 篇 2000 年之后发表的引用它们的论文。
另外,在当前情况下,不纠正或撤回错误论文几乎不会产生什么后果,而监督它们也没有什么回报。
Cabanac 认为应该对此实行问责制。大学和资助者必须优先考虑良好、扎实的科学成果,而非那些绩效指标(发表论文数、影响因子等)。
而对于出版商来说,撤稿的这部分收入应该捐出去。比如伦敦物理研究所旗下的 IOP Publishing,将撤回文章的收入捐赠给了 Research4Life ,用于为低收入和中等收入国家的机构提供在线访问学术文献的机会。
参考资料: