小柯机器人

科学家开发出评估研究影响力的新方法
2021-05-20 15:56

美国麻省理工学院James W. Weis等研究人员开发出评估研究影响力的新方法。相关论文于2021年5月17日在线发表在《自然—生物技术》杂志上。

研究人员报道了DELPHI(通过学习预测高影响力来进行动态预警),该框架通过从科学文献中自动学习跨时间计算出的特征之间的高维关系,为“有影响力的”研究提供预警信号。研究人员对该框架进行原型设计,并根据1980年至2019年的时间结构化发布图(其来自42种与生物技术相关的期刊)得出了其性能和缩放属性,包括超过780万个单独节点、2.01亿个关系和38亿个计算指标。

研究人员通过盲法回顾研究正确识别1980年至2014年中19/20个重要的生物技术来证明该框架的性能,并提供DELPHI预测的2018年以来50篇研究论文,这些论文将在未来时间重定的节点中心度中占前5%。研究人员建议将DELPHI作为一种工具来帮助构建多样化、影响优化的基金参考。

据介绍,科学生态系统依赖于基于引文的度量标准,这些度量标准仅提供了不完善、不一致且易于操纵的研究质量度量。

附:英文原文

Title: Learning on knowledge graph dynamics provides an early warning of impactful research

Author: James W. Weis, Joseph M. Jacobson

Issue&Volume: 2021-05-17

Abstract: The scientific ecosystem relies on citation-based metrics that provide only imperfect, inconsistent and easily manipulated measures of research quality. Here we describe DELPHI (Dynamic Early-warning by Learning to Predict High Impact), a framework that provides an early-warning signal for ‘impactful’ research by autonomously learning high-dimensional relationships among features calculated across time from the scientific literature. We prototype this framework and deduce its performance and scaling properties on time-structured publication graphs from 1980 to 2019 drawn from 42 biotechnology-related journals, including over 7.8 million individual nodes, 201 million relationships and 3.8 billion calculated metrics. We demonstrate the framework’s performance by correctly identifying 19/20 seminal biotechnologies from 1980 to 2014 via a blinded retrospective study and provide 50 research papers from 2018 that DELPHI predicts will be in the top 5% of time-rescaled node centrality in the future. We propose DELPHI as a tool to aid in the construction of diversified, impact-optimized funding portfolios.

DOI: 10.1038/s41587-021-00907-6

Source: https://www.nature.com/articles/s41587-021-00907-6

Nature Biotechnology:《自然—生物技术》,创刊于1996年。隶属于施普林格·自然出版集团,最新IF:68.164
官方网址:https://www.nature.com/nbt/
投稿链接:https://mts-nbt.nature.com/cgi-bin/main.plex


本期文章:《自然—生物技术》:Online/在线发表

分享到:

0