editage的个人博客分享 http://blog.sciencenet.cn/u/editage

博文

在同行评审中使用AI技术?

已有 815 次阅读 2020-10-27 18:04 |个人分类:科研影响力和研究质量|系统分类:论文交流| 科研, 学术, 论文, 润色, 发表

image.png

乍眼一看,AI和同行评审,这两者之间似乎没有任何共同点。作为研究人员,你肯定希望自己的论文能尽快得到评审意见。但审稿人也是人,目前还没有哪种机器能快速读完一篇论文,然后立即判断论文是否值得发表。2020同行评审周开幕的主题是“信任同行评审”,也许你很想知道我们为什么要讨论AI和同行评审?  

首先,需要先澄清一下我们讨论的AI类型。AI是一个被广泛使用的术语,它涵盖了许多不同的过程,有些过程非常复杂,有些过程又很简单。例如,在无人驾驶的汽车中,我们显然需要使用精密复杂且能承担关键任务的AI,因为流程中的任何一个小错误都可能引发大灾难。但是,自动驾驶汽车其实也应用了大量的简单流程,包括一些很常见的成熟技术。例如,有种技术可以让汽车在发现附近有停车场时立即通知司机,但事实上,这种技术也并不是什么新发明,早在1999年,就已经有公司推出了首个智能停车辅助系统。智能停车是个技术活,需要多个流程配合完成,其中最简单的流程是通过摄像头估算距离。当然,要最终实现停车功能,系统还需要完成许多这样的离散任务。   

现在,我们再来看看同行评审。收到投稿后,出版商必须先完成一些非常单调乏味的工作。至于像论文新颖性和创新性评估这样的关键任务,它们仍需要由人来完成。根据Wiley数据库在2016年进行的一项同行评审调查,过去五年中,接受审稿邀请的比例下降了5%。在这种形势下,我们有必要对现有的审稿流程进行一些改进。否则,在未来几年里,你会发现愿意审稿的人越来越少,而需要发表的论文却越来越多。那么,有什么办法能让AI助我们一臂之力呢?   

根据爱思唯尔在2018年发布的一份报告,同行评审过程中,有三项任务可以实现自动化:   

  1. 根据专业资质和研究方向,为稿件匹配合适的备选审稿人  

  1. 删除有潜在利益冲突的备选审稿人  

  1. 判断备选审稿人愿意接受审稿请求的可能性    

首先是确定审稿人。对人类而言,这可不是一件简单的工作!不管是在哪个学术领域,出版商永远都是缺人的。员工再多,也不可能了解所有研究领域,不可能为每个领域都找到适合的审稿专家。而且,一个人的受教育水平越高,他在某个领域的专业程度也会更高,所以即使出版商只聘请有博士学位的编辑,他们的知识体系也只能覆盖特定的研究领域,在数量巨大的投稿面前,不过是沧海一粟。换言之,雇佣更多的专家并不是解决问题的好办法。    

在实践中,人类编辑上手很快。他们会先查看论文的名称和标题,然后确定有哪些作者曾在同一领域发过论文。但是,这个过程会比较慢,而且具有相当的随机性,不能确保所选择的审稿人就一定拥有相应的专业知识。在2014年进行的一项调查中(调查主题是:“为什么同行评审人会拒绝审稿?”),研究人员发现同行评审人拒绝了14%的审稿邀请,因为他们觉得会有其他人更适合该领域论文的评审。以上结果表明:人工筛选其实并不是非常精确。  

为了克服这一问题,UNSILO使用了基于语料库的概念提取工具。它的概念引擎可以从一篇论文中提取数百个概念(“概念”是指能将每篇文章与语料库中的其他文章区分开来的关键词组),然后根据这些文章与该论文的相关性进行排序。如果该文章属于生物医学领域,那么接下来,UNSILO会根据所确定的概念,对PubMed语料库中的2900万篇文章和摘要进行匹配。找到匹配的文章后,系统会确定这些文章的作者,按相关度进行排序,再将前20位作者发给编辑部审核。   

 至于利益冲突,这就更简单了。虽然有几种不同的利益冲突 (COI) 类型,但每次进行COI检查时,系统只会判断论文作者和推荐的审稿人是否来自同一单位。如果来自同一单位,该审稿人将失去审稿资格。人工检查可能只需要几分钟,但在一个每天都有3000篇新论文发表的世界里,哪怕每篇文章只节省几秒钟,也将极大地提高工作效率。  

最后,机器会做一些计算工作,并将结果发给人类编辑评估。例如,你也许想知道一位备选审稿人发过多少篇论文,因为如果数量太少,审稿人可能会经验不足;如果已经发了好几百篇,那审稿人很可能会因为资历太老而拒绝审稿。在这种情况下,人类可以对机器进行相应的设置,让机器帮助我们获得符合正确标准的结果。 

最关键的一点是,机器并不会代替审稿人做出最后的选择。机器只是根据上面列出的各种条件提交一些匹配到的名称。换言之,机器只负责一些相对简单的检查工作,最后的决断还是由人类完成,毕竟这才是人类最擅长的事。机器还不能独立进行同行评审(至少目前是这样),但它们可以像停车辅助工具一样,帮助人类更快、更准确地做出判断。   

UNSILO简介  

UNSILO Peer Reviewer Finder是一款用于学术期刊编辑出版流程的AI工具(类似的工具,开科思还有很多)。UNSILO可以进行一系列技术检查,并提供推荐引擎(用于内容发现)和主题自动采集创建器。UNSILO还为施普林格•自然集团的Nano数据库(世界上最大的纳米研究数据库)提供技术支持,负责相关内容的持续更新。  

迈克尔·阿普舍尔 

迈克尔•阿普舍尔是开科思旗下丹麦机器学习公司UNSILO的销售和业务发展总监。他具有丰富的出版经验,参与过词典、家居指南和实用手册等图书的编辑工作。他曾与人共同创立Helicon出版公司,该公司主营参考文献的出版和发行,由微软投资,最终在AIM成功上市。在数字创作和交付领域,他曾与布卢姆斯伯里出版社、英国工程技术学会(IET)、国际应用生物科学中心(CABI)和剑桥大学出版社等多家出版机构有过合作,并为英国联合信息系统委员会(简称JISC,一家在英国高等教育领域提供数字解决方案的协会)管理过多个项目。他写过很多文章,也出过很多书(比如由爱思唯尔在2009年出版的《内容许可》)。此外,他还定期为一个数字出版专栏供稿。


 预存特惠】开始啦~

意得辑预存计划全新升级!最高享20%稿费,或2000元京东购物卡
√ 6000-9999元——返5%至账户 或 得200元京东卡
√ 10000-14999元——返7%至账户 或 得500元京东卡
√ 15000-24999元——返10%至账户 或 得800元京东卡
√ 25000-49999元——返15%至账户 或 得1500元京东卡
√ 50000元以上——返20%至账户 或 得2000元京东卡
更可与字数折扣、PLUS会员特权叠加!
点击查看活动
点击咨询客服



http://wap.sciencenet.cn/blog-769813-1255994.html

上一篇:h指数比影响因子(IF)好吗?
下一篇:不止作者会被拒,编辑也会被审稿人拒绝

0

该博文允许注册用户评论 请点击登录 评论 (1 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2020-12-2 16:11

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部