ChatGPT的横空出世不仅成为整个社会的持续热点，也对学术出版行业产生巨大震动。学术期刊管理者们也反应迅速，部分期刊制定了相应政策。主要有两类，一类是《自然》为代表的允许参与但不认可AI署名的姑息策略，另一类是《科学》为代表的绝对禁止的策略。但是无论那种策略，都面临一个痛点是对这种AI文本的识别技术。虽然有许多识别系统，但都无法实现100%的目的，而学术界拥抱AI的热情并不会因为杂志政策而下降，相信许多学者已经开始使用这种工具为自己服务，许多文章内容来自AI已经成为不可避免的现实。

我一直相信，随着AI技术的进步，写作能力超过大部分学者，超过目前大部分已经出版文献，且过去的编造劣迹逐渐纠正或消除后，这种技术可能会取代人类的写作。就好比今天的许多机械代替人工搬运，收割机代替人工采集农作物一样。 

As scientists explore AI-written text, journals hammer out policies | Science | AAAS

“这是自十一月以来我们一直在谈论的一切，”国际光学和光子学协会SPIE的出版总监Patrick Franzen（弗兰岑）说。他指的是ChatGPT，这是当时推出的人工智能（AI）驱动的聊天机器人。ChatGPT 可以根据提示衍生出流畅且看似消息灵通的报告、论文和科学手稿。由于担心这些内容的道德性和准确性，弗兰岑和其他管理人员正在争先恐后地保护学术文献减少由AI撰写的潜在手稿泛滥带来的风险。

一些出版商尚未制定政策。大多数那些避免彻底禁止人工智能生成文本的人，但要求作者披露对AI工具的使用，SPIE可能会这样做。因为缺乏执法工具，目前编辑和同行评审员别无选择。到目前为止，没有一款软件能在始终检测出合成文本。

当ChatGPT供公众免费使用时，科学家们蜂拥而至。ChatGPT的创建者，总部位于美国的OpenAI公司，此后限制了订阅者的访问。许多人说，ChatGPT创造了前所未有的、不可思议的文本，充满看似事实的细节。ChatGPT 及其类似产品是被称为大型语言模型的人工智能算法，在从互联网中提取的大量文本样本上进行训练。该软件识别单词之间的模式和关系，从而允许模型生成对问题和提示的相关响应。

某些情况下，AI生成的文本与人们所写的文本无法区分。例如，根据 2022 年 12 月的预印本， 机器撰写的ChatGPT 生成的一批医学期刊摘要，研究人员阅读后其中1/3无法识别出。预计开发人员将创建更强大的版本，包括专门针对科学文献训练的版本，这一前景在学术出版业引发了冲击波。

科学家们报告说，他们正在尝试ChatGPT来探索它的功能，一些人将ChatGPT列为手稿的共同作者。出版专家担心，这种有限的使用可能会演变成包含大量人工智能书面文本的手稿。

期刊编辑主要关心的一个问题是内容准确性。计算机科学家发现，如果软件没有接触到足够训练数据来产生正确的响应，它通常会捏造一个答案。2022 月，Meta 关闭了其科学家专用大型语言模型 Galactica 的公共接口，就在它推出几天后，用户在生成的文本中发现了无数的事实错误。20 年对 Sparrow 进行的一项预印本研究发现，由谷歌子公司聊天机器人 Sparrow 发现，其回复中有多达 20% 包含错误。人工智能文本也可能偏向于训练算法的内容中包含的既定科学思想和假设。期刊编辑还担心学术道德问题，部分使用文本生成器的作者有时会利用AI进行作弊，其他人称之为“aigiarism”（人工智能作弊）的违规行为。

许多期刊的新政策要求作者披露文本生成工具的使用，并禁止将ChatGPT等大型语言模型列为合著者，以强调人类作者对确保文本准确性的责任。《自然》和所有施普林格·自然期刊、JAMA网络以及就出版建议团体，如出版伦理委员会和世界医学编辑协会，都是这种情况。但至少有一家出版商采取了更强硬的立场：《科学》系列期刊上个月宣布全面禁止生成文本。期刊将来可能会放松政策，这取决于科学界决定文本生成器的可接受使用，主编Holden Thorp说。“放松我们的标准比收紧标准要容易得多。

一些出版官员仍在制定政策细节，例如他们何时可能要求期刊工作人员、编辑或审稿人检查作者披露的生成文本或事实核查，但这些额外任务通常会增加已经很繁重的志愿者工作量。泰勒与弗朗西斯出版集团的编辑们有时会要求作者说明他们手稿的哪些部分是由计算机撰写的，出版道德与诚信总监萨宾娜·阿拉姆说。她说，如果研究人员遵循适当的方法来决定包括哪些论文，那么搜索要包含在系统综述中的论文可能是一种合法的用途，而将其剪切并粘贴到观点或观点文章中“是不行的，因为它不是你的观点。她说，随着出版业获得更多处理此类手稿的经验，这项政策可能会发生变化。“我们认为这是一种阶段性方法。现在还属于很早阶段。”

期刊管理人员还表示，他们希望使用更多技术来监控新技术：可以标记合成文本的自动检测器。但这并不容易，scite.ai 的高级研究科学家Domenic Rosati说，该公司开发软件来协助科学出版商。“我们已经过了那个时代，特别是在科学领域，能够显而易见判断AI写作来源的时代已经过去。”

目前的探测器还有很多不足之处。OpenAI上个月推出了其“分类器”，该分类器将提交的文本按从“可能”由计算机写入到“非常不可能”的等级进行分类。分类器使用来自五家不同公司的34种算法的人类书写和计算机生成的文本配对样本进行训练，包括OpenAI本身。但OpenAI承认有几个限制。该工具仍在开发中，只有26%的时间正确应用了“可能”标签。人们可以通过编辑计算机生成的文本来愚弄它。而且它可能无法始终如一地识别未包含在训练数据中的主题的合成文本。计算机科学家表示，这些限制通常也适用于其他探测器。

更好的解决方案可能即将到来。OpenAI 在 2022 年 97 月表示，它正在研究为生成的文本“加水印”的方法。它将对其模型进行编程，以指示顺序插入单词，拼写和标点符号，以创建搜索引擎可检测到的密码。上个月，斯坦福大学的一个团队发表了一个描述DetectGPT的预印本，与其他探测器不同，它不需要训练。此算法通过创建多个随机变体并查询文本生成器来对它喜欢的版本进行排名来检查文本。该团队研究的生成器（由OpenAI开发，类似于ChatGPT）更喜欢原始文本与修改版本的程度对于人类编写的文本和AI生成的文本始终不同，从而使DetectGPT能够预测样本来自特定机器的可能性。但是，在期刊编辑可以完全依靠其结果来决定手稿之前，DetectGPT需要更多的开发，例如，领导斯坦福大学团队的博士生Eric Mitchell说。销售广泛使用的抄袭检测器的TurnItIn公司上周表示，计划最早在四月份推出合成文本检测器。TurnItIn表示，该工具经过学术写作训练，可以识别ChatGPT生成的100%的文本，误报率仅为1%。

Rosati说，另一个计算挑战是评估机器人生成文本的事实准确性及其摘要的质量。例如，他的公司正在开发一种自动检查器，该检查器将搜索现有的科学文献，以确定手稿中的特定引用是否实际上呈现了手稿声称的发现。罗萨蒂说，该工具可以发现机器制造的参考资料以及人类提供的不相关或不正确的参考资料。

一些编辑认为ChatGPT类的出现既有希望，也有危险。程序员正在开发和改进创建假说、编写计算机代码和分析数据的软件，例如，使研究人员的工作更加高效和富有成效。“我可以看到有理由担心的情况，但我也看到了这些类型的工具的巨大机会，”《自然》主编Magdalena Skipper说。“与每种工具一样，我们必须了解其局限性。...它要求我们密切关注这些工具是如何开发的，如何使用它们，以及在什么背景下使用它们。

转载本文请联系原作者获取授权，同时请注明本文来自孙学军科学网博客。

链接地址：https://wap.sciencenet.cn/blog-41174-1377585.html?mobile=1

收藏

分享