期刊影响因子（Journal Impact Factors）是目前最常用的衡量期刊质量的指标。尽管它应用广泛，但也存在一些争议。批评之一是，期刊的引用表现主要反映了学术影响力，而无法体现期刊质量的其他关键维度，如社会影响、研究严谨性和原创性等。

已有初步证据表明，ChatGPT可以按照英国卓越研究框架（REF）专家评估指南对期刊文章的质量做出合理准确的估计（Thelwall & Yaghi, 2024）。

那么，是否可以为期刊设计一种基于所有质量维度的自动化评估指标，借助大语言模型来评估期刊的整体质量呢？

JDIS最新的文章介绍了期刊质量因子（Journal Quality Factors, JQFs），该因子定义为基于给定年份内期刊文章的平均质量评分，质量评分由ChatGPT依据REF标准，根据文章的题目和摘要进行评定。文章以Scopus数据库中的1300本较大规模单学科期刊为数据来源，比较了JQFs与这些期刊的引用率、国家期刊排名分数（参考波兰、芬兰和挪威的期刊排名）。

结论显示，在样本期刊所涉及的25个广泛领域中，JQFs与24个领域的期刊排名呈正相关且相关性很强，表明ChatGPT在评估期刊质量方面具有广泛的科学适用性。作者也分析了JQFs与国家期刊排名分数出入较大的期刊，发现摘要的风格可能会影响评估结果，例如是否提及研究的社会背景。

文章指出，在一些引用表现无法作为强有力质量指标的领域，例如数学，JQFs将有特别的应用价值。

图1. 波兰、芬兰和挪威期刊排名与期刊质量因子（JQFs）或期刊引用率（JCRs）之间的中位数相关性（不包括多学科和决策科学领域）。每个领域最多包含100本单学科期刊，每本期刊随机抽取100篇文章。误差线表示95%置信区间。

图2. 波兰、芬兰和挪威期刊排名与期刊质量因子（JQFs）之间的相关性（不包括多学科和决策科学领域）。每个领域最多包含100本单学科期刊（具体数量标注在柱状图旁），每本期刊随机抽取100篇文章。

图4. 期刊质量因子（JQFs）与期刊引用率（JCRs）之间的相关性（不包括多学科和决策科学领域）。每个领域最多包含100本单学科期刊，每本期刊随机抽取100篇文章。柱状图上的数字代表该领域的期刊数量。误差线表示95%置信区间。

Online First

Journal Quality Factors from ChatGPT: More meaningful than Impact Factors? 

Mike Thelwall^1†, Kayvan Kousha²

¹Information School, University of Sheffield, UK²Wolverhampton Business School, University of Wolverhampton, UK

DOI: 10.2478/jdis-2025-0016 

CSTR: 32295.14.jdis-2025-0016

识别阅读全文

转载本文请联系原作者获取授权，同时请注明本文来自孟平科学网博客。

链接地址：https://wap.sciencenet.cn/blog-3422014-1469738.html?mobile=1

收藏

分享