解决大规模出版操纵问题：
Hindawi的历程及对学术出版的启示
第1部分：引言
由可信赖的学术出版商进行公开且及时的信息传播，这一点可以说从未如此重要。新冠肺炎疫情表明了快速和公开传播研究成果的价值所在（Tavernier，2020年）。开放获取出版的兴起则意味着对获取研究成果的限制正在日益消除。与此同时，人工智能（AI）等新兴技术有望推动科学发现的快速增长（《经济学人》，2023年）、消除撰写论文的语言障碍，并加快利用学术记录提出全新假设的步伐（Extance，2018年）。
然而，除了上述前景，学术出版行业还面临一场日益加深的危机，一些因素推动了进步同时也带来了日益加剧的威胁（Liverpool，2023年）。在我们这个时代，研究人员面临着越来越大的外部压力，需通过发表论文来实现职业发展。与此同时，通过生成式人工智能来编造论文也已不费吹灰之力。这些因素使期刊成为“论文工厂”和其他不当行为对出版流程实施持续且系统性操纵的目标。过去几年里，面临这些空前挑战的出版商不胜枚举（Else和van Noorden，2021年；van Noorden，2023年）。
尽管Hindawi并非唯一受此影响的出版商，但过去18个月内，其一直处于大规模出版操纵的风口浪尖，我们在持续不断地努力应对中。关于不良行为者如何渗入出版系统，Hindawi与Wiley吸取了诸多教训，我们也已采取全新手段来大规模清理学术记录并抵御进一步攻击。我们认为，与业内同行分享我们的经验非常重要，有助于开发一种解决大规模系统性操纵的合作方法。
我们将在本文中阐述什么是“论文工厂”、我们认为“论文工厂”是如何运作的，以及通常与之相关的其他不道德行为。这些行为正在扭曲学术环境，危害公众对科学研究的信任，包括不道德的作者署名、利用人工智能编造稿件和篡改图像，以及操纵同行评审。我们将探讨这些因素所造成的重大影响和破坏，以及Hindawi已经采取并将继续采取的措施，即“设计一种新的、有助于我们（或其他出版商）加快并合理应对这个大规模撤稿时期的撤稿流程”（Flynn，2023年）。
最后，我们向学术出版生态系统中所有利益相关方发出呼吁，建议通过共同合作解决期刊安全和科研诚信问题。我们分享了对科研诚信造成广泛和蓄意破坏的相关挑战的应对方法，希望能与其他各方共同完善这一流程，进一步确保出版系统在未来更难被操纵。
第2部分：一个全行业问题
出版界存在“持续的不道德行为”，是“整个学术出版业以及依赖学术记录诚信的所有各方面临的重大且长期的挑战”（Ferguson，2022年）。这种行为可能包括因缺乏培训而导致的不当研究与出版行为，以及“不端行为、欺诈行为或犯罪行为”等（Kolstoe，2023年；UKRIO，2023年）。无论是由于研究人员感受到发表压力（Oransky和Marcus，2023年），还是通过假论文工厂”的大规模运作（Else和van Noorden，2021年；van Noorden，2023年），出版流程都已受到损害，出版不端行为也普遍存在。
不道德的作者署名行为
学术文化中“发表或灭亡”的机制助长了不道德行为，因为研究人员感受到巨大压力，必须撰写并发表大量论文才能推动职业发展（Camacho, 2021年）。近年来，作者署名不当行为的激增令人担忧，这对学术工作的诚信构成了严重威胁。这类不道德行为包括代笔、荣誉署名和有偿署名。尽管这并不新鲜，但此类现象变得越来越普遍。
一些研究人员发表论文的数量惊人，某些作者一年内可署名发表数百篇论文。这包括似乎不属于其通常专业领域的论文，以及与不相干的共同作者共同发表的论文（Ansede，2023年）。另一方面，作者署名身份也在被售卖。尽管很难确认涉及的具体公司，但已经发现了有出售共同署名权的广告存在（例如：Abalkina，2021年；Kincaid，2023年）。
这些欺骗手段不仅有损学术出版物的可信度，还破坏了透明度和问责制原则，而正是这两项原则使学术研究值得信赖，对创新和知识进步至关重要。
将人工智能用于编造稿件和篡改图像
人工智能将成为学术研究领域具有巨大变革力量的工具，有助于推动创新。但在不良分子手里则会成为从事不道德行为的帮凶，导致欺骗性的“原创”研究的产生。人工智能工具可用于捏造数据、篡改图像，甚至设计出成果看似合理，实则不然的完整研究（Naddaf，2023年）。这对科学研究的可信度构成了重大威胁，因为研究人员和出版商可能难以辨别真实内容与被篡改的内容。
人工智能可快速编造研究并逃避标准检查的检测，从而“为保障研究的可靠性和准确性带来了挑战，包括剽窃、图像篡改和‘论文工厂’现象的潜在增多”（Zhou，2023年）。检测大语言模型的合成输出是一项全社会的挑战，目前还没有可靠的方法。随着ChatGPT等语言模型日趋复杂，剽窃行为很可能变得无法检测，人工智能-人类写作将成为创作过程中的正常操作（Eaton，2023年）。然而，人类仍将对学术成果的可信度负责。这样一个“后抄袭时代”的挑战在于如何创建并传授伦理框架，以确保适当的署名，并使研究人员、出版商、赞助者、机构和其他各方对学术工作的诚信度负责（Eaton，2023年）。
“论文工厂”
出版伦理委员会（COPE）最近将“论文工厂”定义为“为了通过发表文章获取经济利益而操纵出版流程的个人、团体或组织”（COPE理事会，2023a）。至少早在2010年，就有公司被发现向研究人员出售论文或经安排绕过同行评审（Else和van Noorden，2021年）。而过去两年里，系统性操纵现象激增，“论文工厂”现在几乎已成为一种“具备工业规模的欺诈行为”（Nunes和Bishop，2023年）。
“论文工厂”以捏造或荒谬的结果污染学术文献。出版商或学术界一旦发现这类论文，就会需要出版商撤稿，以便更正出版记录。一旦“论文工厂”渗入某本期刊，就会造成严重后果，包括该期刊在研究人员当中失去信誉度和可信度，以及该期刊在学术索引中被剔除。
为特刊征集提案的期刊可能成为“论文工厂”特别青睐的目标，因为期刊会招募“客座编辑”担任临时编辑。客座编辑可为特刊提交主题提案，帮助征集论文，监督并参与同行评审。“论文工厂”的策略包括操纵客座编辑、作者甚至审稿人的身份（伪装成真实的研究人员）和/或编造内容（伪装成正当的论文）。
“论文工厂”通常借助以下部分或所有步骤渗入期刊的特刊：
1. 创建、操纵或盗用研究人员的身份，使其担任特刊的客座编辑，或付钱给有意成为客座编辑的真实研究人员。后者可能包括不具备特刊相关领域专业知识的研究人员，依靠这些研究人员的有效身份和学术隶属关系来掩盖虚假陈述。
2. 提交一个与目标期刊范围相关的特刊提案。此类提案的范围通常比较广泛，以便“论文工厂”提交主题广泛的稿件。
3. 为特刊制作在非专业人士看来正当的论文。
4. 在正文和参考文献列表中植入不适当或不必要的引文，以增加自引用量或对其他研究人员的引用量。
5. 创建、操纵或盗用作者和审稿人的身份，或影响真实研究人员的参与。
6. 将由假冒作者撰写的伪造论文提交给特刊，或向愿意为“加速”发表途径付费的作者征集真实论文。
7. 由假冒或共谋的审稿人就相关论文发表审稿意见。这些论文看似合理，但与许多论文一样，被发现是复制的、不相关或不可靠的。
8. 与此同时，还可能向客户出售共同署名权。
9. 通过假冒或共谋的客座编辑接受论文，并向共同作者收费。
如上所述，我们注意到故意添加不适当引文是“论文工厂”的一个惯常特征。此外，“引用圈”现象（即研究人员群体共同提高彼此论文的引用率（Bik，2022年）也是一种大规模出版操纵形式，但在此不作进一步探讨。
同行评审操纵
同行评审是学术出版的基石，旨在确保学术研究的质量与可信度。然而，“同行评审过程显示出紧张的迹象。熟练的审稿人日益短缺，同行评审圈、假论文、受操纵结果等有组织的欺诈形式，以及新兴人工智能工具和大语言模型带来的新挑战，都对这一流程的可信度构成了威胁”（COPE论坛，2023年）。
同行评审操纵和同行评审圈的形成愈演愈烈。就操纵而言，不诚实的研究人员有可能采取各种欺骗性做法，例如提交有关推荐审稿人的虚假联系信息、提供虚假的电子邮件地址，甚至以不同身份评审自己提交的论文（Lechner和Evans，2020年；COPE理事会，2021年）。
同行评审圈的形成加剧了维护公正的同行评审的挑战，因为其打造了愿意为彼此提交的稿件提供好评的人际网络。这种相互勾结的行为，破坏了同行评审本应坚持的客观性和公正性。同行评审圈往往暗中运作，其成员有策略地提交并评审彼此的稿件，以确保在没有真实评审的情况下被接受（Ferguson等人，2014年）。
许多出版商都会借助多个第三方平台获取审稿人推荐人选并验证审稿人（和编辑）的身份。我们在对Hindawi的调查中发现了一些问题，即同行评审圈和“论文工厂”的参与者被深度安插进了各种行业数据库以及用于选择和验证审稿人的信息基础设施中。
第3部分：在Hindawi发生了什么
特刊能够促使期刊更好地推动新兴领域或跨学科课题的发展。特刊还能为来自不同学科和世界各地的研究人员提供机会，发表对他们来说重要的研究成果。
截至2022年10月，Hindawi的特刊项目主要吸引自愿担任客座编辑的研究人员，并由他们提出特刊提案。这一项目通过一系列检查评估客座编辑的专业知识，并帮助验证他们的身份。这既包括人工检查，也包括使用第三方工具和系统进行的检查，后者是大多数大型学术出版商采取的方法。尽管在出版流程的多个步骤都设置了若干下游检查措施，但这一流程在某种程度上依赖于几十年来在出版业建立起来的信任基础，即假设担任编辑和审稿人的学者能以严谨、公正、合乎科研伦理的方式行事，并遵守Hindawi就研究人员承担这两项职责所规定的相关准则。
尽管设置了各项检查措施，Hindawi科研诚信团队的工作人员仍然发现了一些可疑模式。鉴于向该团队上报的问题越来越多，加上内部同行评审系统提供了新的分析能力，进行了一项初步调查，结果表明在多份Hindawi特刊中发现了可疑活动，并将调查结果上报给了公司高级管理层。差不多与此同时，科学界，尤其是关注科研诚信的独立研究人员，也开始注意到存在大规模系统性操纵的迹象。
Hindawi科研诚信部门的工作人员于2022年9月开展了一次更加细致的调查，并于2022年10月宣布初步撤稿511篇论文（Kincaid，2022年）。在此之前，Hindawi和Wiley向出版行业发出警报，宣布我们发现了大规模的“论文工厂”活动，提醒其他出版商和行业利益相关方留意出现在其期刊和系统中的不良行为者。
这些初步调查以及独立研究人员的发现，表明“论文工厂”对Hindawi特刊的渗入规模已超出最初的估计，显然需要对成千上万份稿件进行调查。因此，Hindawi于2022年10月14日暂停出版所有特刊内容。我们明白，我们既要确保现有工作流程的正常进行，又要对我们出版过的受破坏论文进行清理。因此，我们做出了两个关键决定：
首要决定是重新评估尚未出版的每一份特刊稿件，以防止更多受破坏论文的出版。随后，具备合适资质的编辑人员和在我方员工监督下的外部委托机构对所有特刊稿件进行了全面评估，包括使用一份全面清单，其中列明了“论文工厂”产出论文稿件特征。与此同时，我们对编辑、作者和审稿人的现有检查进行了彻底的审查和加强。
暂停特刊项目至关重要，它可以阻止出版更多受破坏的学术内容，确保我们对未来出版质量的信心。这一决定对业务产生了重大财务影响，这是公开记录的事实（Butcher，2023年）。
第二个重大决定是调查在Hindawi特刊上已经发表的上万篇论文。这项任务规模巨大，需要制定一项新的规程，以能够检测操纵模式并快速批量撤稿论文。这种方法需要为支持如此大规模的调查过程投入大量资源，详见下文。
我们对Hindawi特刊进行调查时发现的问题涉及“论文工厂”的多种活动迹象，包括与论文本身、论文的引文、同行评审流程的参与者相关的各种问题和模式。
后果
“论文工厂”渗入Hindawi系统直至发表论文的后果非常严重。最严重的问题是污染学术文献，以及损害期刊、出版商和研究本身的可信度。同样令人极为担忧的是，其对于在受影响期刊（这些期刊的声誉目前已经受损）上发表过真实论文的无辜作者们也造成了损害。
我们还意识到，对我们的期刊出版进行操纵和滥用的人士，在涉足我们的项目之前，大都在其他地方建立过出版记录和个人资料。本着与其他出版商分享我们早期发现的理念和原则，我们深感有责任确保追踪、识别在我们的期刊中激增的操纵和滥用行为，从而对其他同行有所帮助。
因此，我们开展了针对大规模系统性操纵的复杂且资源密集的调查，进行着极为细致和复杂的撤稿数千篇论文的工作，同时平衡着对作者的公平性与及时清理学术记录的紧迫性。
大规模撤稿：全新方法
如上所述，在确认Hindawi特刊项目受到大规模影响后，Hindawi采取了一种新的调查和撤稿方法，毕竟问题已极为严重，且迫切需要尽快更正科学记录。
通常情况下，当单篇或成组论文涉嫌不当行为时，期刊编辑会与科研诚信团队和出版商进行协商，共同负责调查和撤稿事宜。然而，处理大规模操纵行为时，必须分析不同特刊和期刊的操纵模式（Bishop，2023年）。只有出版社才有资源和途径获取相关数据，可以同时跨越多篇论文和多本期刊进行大规模调查，并根据我们在多本期刊中的发现的情况采取行动。
因此，今年1月到3月期间，我们为大规模科研诚信调查制定了一项新规程，旨在同时检测多篇文章的操纵模式。这种方法的关键在于组建一个专门的多功能团队，其中包括科研诚信、出版业务和数据分析方面的专家。
此外，还须采取一种以证据为基础的方法，以尽可能紧密遵循COPE用于指导作者调查及潜在撤稿的原则。 Hindawi 对其采用的方法一直向 COPE 保持着公开 ，COPE还于近期就如何应对“论文工厂”发布了具体指南（COPE理事会，2023b）。
以证据为基础的方法
我们采用这种新的批量撤稿论文的方法，包括以下一个或多个操纵迹象：
1. 论文与期刊范围不符。
2. 所报告的研究描述前后存在差异。
3. 数据可用性与所描述的研究存在差异。
4. 不适当引用。
5. 论文中包含不连贯、无意义和/或不相关内容。
6. 同行评审被破坏或被操纵。
鉴于上述依据，决定撤稿的理由是出版流程遭到破坏且我们无法再为论文的可靠性提供保证。我们在撤稿通知中有意限定了被调查内容的具体细节，部分原因是必须限制与不良行为者分享信息。此外，为了迅速处理并与数千名作者进行沟通，撤稿通知须使用标准化措辞。
调查工作流程结合了由具备合适资质且训练有素的人员进行的检查，以及对内部系统数据以及科研诚信独立专家提供的公开共享数据进行的分析。为了以合理速度进行处理，我们将工作分配给具有博士学位的外部委托机构员工。每篇论文至少由两人评估，如有争议，还会进行第三次评估。由具有专业知识的内部员工对外部委托机构进行培训，检查一致性和准确性，并在必要时进行补充调查。我们自主开发了专门用于此项工作的软件应用程序以收集回复。与此同时，我们还使用计算工具挖掘关于捏造内容、抄袭同行评审报告以及可疑同行评审周期的更多辅助证据。我们还以科研诚信独立调查员所做的宝贵工作为基础，对Smut Clyde发布于PubPeer的清单中的评论进行了收集、评估和分类。
定制开发的软件应用程序可引导调查人员完成问卷，并将同一篇论文交由不同团队评估，从而有助于确保一致性。所有评估结果都会影响论文的得分，Hindawi会根据总分最终确定是否应当撤稿该论文。总分设有阈值，任何达到这些阈值的论文都会被撤稿。
收集证据的同时，我们还系统性地查明特定的不良行为者，即负责处理若干被撤稿论文的客座编辑。在此之后，我们向数百名客座编辑发出制裁通知书，告知他们今后不得在我们的期刊上担任编辑类职务，也不得在我们的期刊上发表论文。
我们正在采取哪些行动？
截至目前，经过我们的大规模调查，数千篇论文已经从Hindawi特刊上被撤稿。我们将继续调查并在适当情况下发布撤稿通知。某些情况下，我们怀疑某些特刊上的其他论文也可能存在问题。如果调查尚未覆盖到这些论文，或者尚无具体迹象表明个别论文存在问题，我们会在整个特刊层面发布“关注通告”，提醒读者在解读特刊上的所有论文（无论是否被撤稿）时额外注意。
Hindawi和整个Wiley的同行评审流程都在不断强化，包括加强管理、专家人员配备、制定新的工作流程等，以及正在开发和完善、旨在显著改进稿件筛选的人工智能工具。我们对所有特刊提案和客座编辑实施更加严格的检查，以便在允许这些研究人员继续领导特刊之前查明其编辑身份、研究经验、出版历史，及其以往是否存在不道德出版行为。根据调查结果，我们在出版流程的多个步骤中引入了新的检查措施，包括对同行评审实施更加严格的审查。
第4部分：结论和行动呼吁
需要一种合作方法
Hindawi和其他几家出版商在去年吸取了惨痛教训。我们致力于采取行动，以维护所有人的利益，应对那些为谋求个人利益而破坏科研诚信的人所带来的日益严重而复杂的威胁。
出版商和其他利益相关方（包括资助机构、学术机构和索引数据库）必须继续合作，共享有关“论文工厂”和其他不良行为者的活动情报，相互更新自己的调查和撤稿方法，并分享应对规模化出版不端行为的新流程。例如，STM诚信中心同时担当以下角色：“知识交流中心：出版商可在此分享如何更好地维护科学中科研诚信的经验教训；政策和法律框架智库；以及一个不断发展的信息基础设施和工具的资源库”（STM，2023年），由此力求实现上述这种合作。各方创立的信息基础设施，以及为支持确定优先级而建立的知识共享社区，是将这种合作付诸实践的重要环节。
我们正在United2Act倡议的引领下开展一项重要工作。该倡议的初始理念来自COPE和STM协会创办的一个论坛。该论坛将各利益相关方汇集在一起，以确定重点领域和优先事项。我们将与这个广大群体积极合作，制定共享战略，以减轻系统化操纵的影响。无论身为期刊编辑、出版商，还是关注科研诚信的研究人员，我们都要继续大声疾呼，分享我们在行业群体中所学到的知识，这一点至关重要。今年10月举办的“出版诚信周”就是COPE为行业群体的参与提供的一个绝佳平台。
整个研究出版领域的标准化，对于确立统一的维护科研诚信的方法同样至关重要。美国国家信息标准组织（NISO）正在牵头开展工作，旨在围绕发表后修订、发表和统一元数据制定最佳实践。这项工作自10月起向公众征求意见（NISO，2023年）。
Hindawi的经验教训让我们日益意识到，不仅我们自己的工作流程容易受到操纵，我们所依赖的第三方服务以及为学术交流提供更广泛的服务和指标的下游平台也容易受到操纵。例如，与许多其他出版商一样，我们会借助值得信赖的第三方供应商获取审稿人推荐人选。这些平台通常根据个人完成的评审次数对审稿人的表现和可靠性进行排名。如果这些平台被使用虚假或多重身份的不良行为者渗入，此类不良行为者可以反过来同时渗入大量出版社的审稿人数据库。此外，提供作者身份信息或依靠引用和文献挖掘来评估研究人员的下游服务，也将受到影响。尽管最近对“隐蔽引用（sneaked references）”（Lonni，2023年；Chawla，2023年）以及“被劫持”期刊对文献数据库的影响进行的分析，指出这会导致隐性损害（Abalkina，2023年），但截至目前，关于大规模操纵对学术信息基础设施的影响很少有公开发表的证据。鉴于多家出版商都面临的规模化操纵（van Noorden，2023年），其连锁效应很可能对研究人员评估和知识发现产生更广泛的影响。我们迫切需要共同承担责任，采取集体行动。
总结起来，我们希望本文信息能清晰传达：出版商需要共同合作，与学术出版生态系统中所有利益相关方一起，投入大量资源来确保我们期刊和出版内容的可靠性。从Hindawi的经历中，我们学到了很多，并在此提出我们对其他出版商和利益相关方的建议：
• 我们需要支持建立一个基于信任的研究出版生态系统的理念，采用一种“信任但需验证”的体系，该系统中参与者拥有独立验证的安全身份，将账户与真实个人身份相关联。
• 出版商应继续（并加快）进行负责任的数据和技术共享，取得类似于金融业在打击欺诈方面的成就。这种共享（包括出版商之间的共享以及与其他相关利益方的共享）对于打击不良行动者的势头和维护学术文献的质量至关重要。
• 出版商应持续审核其编委会成员和任何客座编辑的筛查程序，同时认真考虑其赋予客座编辑的职责。
• 出版商应通过更新论文的元数据，确保撤稿通知与原论文建立链接，并尽快公开使其可被读者和机器发现。理想情况下，此举应通过像Crossref这样的由群体运行的集中式元数据服务来完成，以便下游服务供应商也能确保其平台、服务和记录的更新（另见NISO，2023年）。
• 我们需要制定最佳实践，以确定在调查期间何时对可能来自“论文工厂”的论文集添加注释或标记。这样可以在出版商着手调查，和通知学术群体我们已关注到这个问题之间保持平衡。本着同样的精神，我们需要继续为高效的调查和结果投入资源。
• 出版商以及出版商在数据和身份验证方面所依赖的第三方需认识到这一环境中的固有挑战（包括人工智能的快速发展），并相应提升自身能力。
• 所有利益相关方都要鼓励开放研究实践，使人们不只关注最终发表的文章。这样既能提高研究过程的透明度，又能减轻对科研诚信的担忧。
尽管Hindawi和Wiley在长期和短期已采取了诸多切实可行的行动，但仍有许多工作要做。本白皮书所涉及的问题是多方面的，涉及整个学术出版生态系统。我们希望通过这些分享，提供一个有用的视角和行动建议，以解决影响我们行业未来健康发展，尤其是影响全社会对学术研究的信任这一至关重要的问题。
作者与致谢
Louisa Flintoft，Wiley高级出版总监
Catriona Maccallum，Wiley未来学术研究总监
Mike Streeter，Wiley科研诚信战略与政策总监
Dave Flanagan，Wiley数据科学高级总监
Liz Ferguson，Wiley研究出版高级副总裁
特别鸣谢
Naomi Blumsom
Charlotte Crouch
Ben Dickinson
Emily Horne
Joyce Griffith
Adam Price-Evans
除了来自同行的支持，我们还要感谢学术界的奉献，尤其要感谢科研诚信独立专家们。他们为维护学术记录贡献了自己的时间和专业知识。其中部分专家使用了笔名，如Smut Clyde、Parashorea Tomentella、Rhipidura Albiventris和Huanzi Zhang。部分专家则使用了本名，如Anna Abalkina、Elisabeth Bik、Dorothy Bishop和Nick Wise。他们孜孜不倦地工作，针对Hindawi乃至整个行业的系统性操纵行为敲响了警钟。他们的奉献是确保全球研究真实性和完整性的重要防线。我们还要感谢两位科研诚信独立顾问Jigisha Patel博士和Margaret Rahmati博士提供建议和专业知识，她们在新的大规模撤稿规程的制定阶段为我们提供了帮助。
参考文献
• Abalkina, A. (2021). Guest Post - Unethical Practices in Research and Publishing: Evidence from Russia. [blog] The Scholarly Kitchen. 4 February. 2023. Available at: https://scholarlykitchen. sspnet.org/2021/02/04/guest-post-unethical-practices-in-research-and-publishing-evidence- from-russia/[Accessed 22 Nov. 2023].
• Abalkina, A. (2023). Challenges posed by hijacked journals in Scopus. Journal of the Association for Information Science and Technology, pp. 1-28. https://doi.org/10.1002/asi.24855
• Ansede, M. (2023). A researcher who publishes a study every two days reveals the darker side of science. [online] EL PAÍS English. Available at: https://english.elpais.com/science-tech/2023-06- 04/a-researcher-who-publishes-a-study-every-two-days-reveals-the-darker-side-of-science. html [Accessed 13 Nov. 2023].
• Association for Psychological Science – APS (2023). Industrialized Cheating in Academic Publishing: How to Fight ‘Paper Mills’. [online] Available at: https://www.psychologicalscience. org/news/utc-apr-23-industrialized-publications-cheating.html [Accessed 16 Nov. 2023].
• Bik, E. (2022) ‘Citation Statistics and Citation Rings’. Science Integrity Digest [blog], 24 March 2022. Available at: https://scienceintegritydigest.com/2022/03/23/citation-statistics-and- citation-rings/ [Accessed 30 Nov. 2023]
• Bishop, D.V.M. (2023) ‘Red Flags for Paper Mills Need to Go Beyond the Level of Individual Articles: A Case Study of Hindawi Special Issues.’ PsyArXiv, 6 Feb. 2023. https://osf.io/preprints/ psyarxiv/6mbgv
• Butcher, J. (2023) Journalology #21: Rebellion! [Online]. Available at: https://journalology. ck.page/posts/journalology-21-rebellion [Accessed 4 Dec. 2023]
• Camacho, G. (2021). Overview of corruption in academic research. [online] CMI Anti Corruption Resource Centre. Available at: https://www.u4.no/publications/overview-of-corruption-in- academic-research.pdf [Accessed 17 Nov. 2023].
• Chawla, D.S. (2023) ‘How Thousands of Invisible Citations Sneak into Papers and Make for
Fake Metrics’. Retraction Watch [blog], 9 October 2023. Available at: https://retractionwatch. com/2023/10/09/how-thousands-of-invisible-citations-sneak-into-papers-and-make-for-fake- metrics/ [Accessed 30. Nov 2023].
• Clyde, S. (2022). Cyclotron Branch, Before the Fall. [online]. For Better Science. Available at: https://forbetterscience.com/2022/09/05/cyclotron-branch-before-the-fall/ [Accessed 21 Nov. 2023].
• COPE Council (2021). How to Recognise Potential Manipulation of the Peer Review Process. COPE: Committee on Publication Ethics [online]. Available at: https://publicationethics.org/resources/flowcharts/how-recognise-potential-manipulation-peer-review-process [Accessed 30 Nov. 2023].
• COPE Council (2023a): Committee on Publication Ethics. Systematic manipulation of the publication process. [online] Available at: https://publicationethics.org/node/39471 [Accessed 21 Nov. 2023].
• COPE Council (2023b): Committee on Publication Ethics. Addressing concerns about systematic manipulation of the publication process. [online] Available at: https://publicationethics.org/ resources/flowcharts/multi-article-paper-mill [Accessed 17 Nov. 2023].
• COPE Forum (2023): Committee on Publication Ethics. (n.d.). Peer review models. [online] Available at: https://publicationethics.org/resources/forum-discussion-topics/peer-review- models [Accessed 22 Nov. 2023].
• Eaton, S.E. (2023) ‘Postplagiarism: transdisciplinary ethics and integrity in the age of artificial intelligence and neurotechnology’. Int J Educ Integr 19, 23. 12 October 2023. https://edintegrity.biomedcentral.com/articles/10.1007/s40979-023-00144-1
• Economist (2023) How Artificial Intelligence Can Revolutionise Science. [online] Available at: https://www.economist.com/leaders/2023/09/14/how-artificial-intelligence-can- revolutionise-science [Accessed 30 Nov. 2023].
• Else, H. and Van Noorden, R. (2021). ‘The Fight against Fake-Paper Factories That Churn out Sham Science’. Nature 591, no. 7851, pp. 516–19, 25 March 2021. https://www.nature.com/ articles/d41586-021-00733-5.
• Extance, A. (2018) ‘How AI Technology Can Tame the Scientific Literature’. Nature, 10 September 2018. https://doi.org/10.1038/d41586-018-06617-5.
• Ferguson, L. (2022). ’Advancing Research Integrity Collaboratively and with Vigour’. [blog] 28 September 2022. Hindawi. Available at: https://www.hindawi.com/post/advancing-research- integrity-collaboratively-and-vigour/ [Accessed 17 Nov. 2023].
• Ferguson, C., et. al (2014). ‘Publishing: The peer-review scam’. Nature 515, pp. 480–482, 2014. https://doi.org/10.1038/515480a
• Flynn, J. (2023). ’Guest Post - Addressing Paper Mills and a Way Forward for Journal Security’. [blog] 4 April 2023. The Scholarly Kitchen. Available at: https://scholarlykitchen.sspnet. org/2023/04/04/guest-post-addressing-paper-mills-and-a-way-forward-for-journal- security/#comments [Accessed 15 Nov. 2023].
• Kincaid, E. (2022). ‘Exclusive: Hindawi and Wiley to Retract over 500 Papers Linked to Peer Review Rings’. [blog] 28 September 2022. Retraction Watch. Available at: https:// retractionwatch.com/2022/09/28/exclusive-hindawi-and-wiley-to-retract-over-500-papers- linked-to-peer-review-rings/ [Accessed 30 Nov. 2023].
• Kincaid, E. (2023). ‘After a Sleuth Reveals a Paper with Authorships Advertised for Sale, It’s Retracted’. [blog] 13 March 2023. Retraction Watch. Available at: https://retractionwatch. com/2023/03/13/after-a-sleuth-reveals-a-paper-with-authorships-advertised-for-sale-its- retracted/ [Accessed 30 Nov. 2023].
• Kolstoe, S. (2023). Defining the Spectrum of Questionable Research Practices (QRPs), UKRIO , April 2023. https://doi.org/10.37672/UKRIO.2023.02.QRPs
• Lechner, I. and Evans. N. (2020). ‘Fake Peer-Reviewing’. [blog] The Embassy of Good Science (blog), 28 October 2020. Available at: https://embassy.science/wiki/Theme:Fb1a2e2a-aa2a- 4eb4-ac9c-c9567c2b401b [Accessed 30 Nov. 2023].
• Liverpool, L. (2023). ‘AI Intensifies Fight against “Paper Mills” That Churn out Fake Research’. Nature, May 2023. https://doi.org/10.1038/d41586-023-01780-w
• Lonni, B., et. al (2023). ‘Sneaked References: Cooked Reference Metadata Inflate Citation Counts’. arXiv, 3 October 2023. https://doi.org/10.48550/arXiv.2310.02192
• Naddaf, M. (2023). ChatGPT generates fake data set to support scientific hypothesis. [online] Nature. Available at: ChatGPT generates fake data set to support scientific hypothesis (nature. com) [Accessed 27 Nov. 2023].
• NISO (2023). CREC (Communication of Retractions, Removals, and Expressions of Concern) Working Group. [online] NISO. Available at: https://www.niso.org/standards-committees/crec [Accessed 30 Nov. 2023].
• Nunes, L. and Bishop, D. (2023). ‘Industrialized Cheating in Academic Publishing: How to Fight “Paper Mills”’. [podcast transcript] Association for Psychological Science - APS. 30 April 2023. Available at: https://www.psychologicalscience.org/news/utc-apr-23-industrialized- publications-cheating.html [Accessed 29 Nov. 2023].
• Oransky, I. and Marcus, A. (2023). There’s Far More Scientific Fraud than Anyone Wants to
Admit. [opinion] The Guardian. 9 August 2023. Available at: https://www.theguardian.com/ commentisfree/2023/aug/09/scientific-misconduct-retraction-watch [Accessed 29 Nov. 2023].
• STM. (n.d.). STM Integrity Hub. [online] Available at: https://www.stm-assoc.org/stm-integrity- hub/ [Accessed 15 Nov. 2023].
• Tavernier, W. (2020). COVID-19 Demonstrates the Value of Open Access. [online] CRLN. Available at: https://crln.acrl.org/index.php/crlnews/article/view/24414/32251 [Accessed 29 Nov 2023].
• Tomentella, P. (2023). ‘Hindawi Garbage Sorting System, Based on Citations’. [blog] For Better Science, 3 January 2023. Available at: https://forbetterscience.com/2023/01/03/hindawi- garbage-sorting-system-based-on-citations/ [Accessed 29 Nov. 2023].
• UKRIO (2023). Questionable Research Practices - UK Research Integrity Office. [online] Available at: https://ukrio.org/ukrio-resources/questionable-research-practices/ [Accessed 28 Nov. 2023].
• Van Noorden, R. (2023). ‘How big is science’s fake-paper problem?’ Nature. 6 Nov. 2023. https:// doi.org/10.1038/d41586-023-03464-x
• Zhou, H. (2023). ‘Approaching Artificial Intelligence and Open Research in Sync: Opportunities and Challenges’. [blog] The Scholarly Kitchen. 14 November 2023. Available at: https:// scholarlykitchen.sspnet.org/2023/11/14/approaching-artificial-intelligence-and-open- research-in-sync-opportunities-and-challenges/ [Accessed 29 Nov. 2023].