精选
AI与科学评价
刘庆生
（中国地质大学，武汉）
曾记晴博主对我的博文《“专业，客观，公正，公平”是科学评价的生命》给出长篇评论，并专门撰写博文《AI在科学评价中的应用——兼答刘庆生教授，2025年6月17日》讨论这个话题。这种就某一话题展开的讨论，不管观点如何，对于活跃科学网博客版具有积极意义，所以，我很敬佩曾记晴博主。AI是否具有“客观公正公平”的科学评价能力和水平可能是一个见仁见智的话题。显然，我的认识和水平有限，尤其对于AI这个新鲜生事物，作为一个老者有点落伍。好在我很谦逊，好奇心涛声依旧，虚心学习，为此，我将这个话题发给几位80后，90后在学术圈里的学生。这些在海内外学习工作的学生学术思维活跃，思想前卫，爱学习，学问做的也不错。当然，他们的认识也只是一孔之见，只能作为参考。不过我至今依然坚持我的基本认知：AI只能作为科学评价的辅助手段，不能成为科学评价的主流。真正的科学评价还只有依靠科学同行认真地去审读评价对象提供的代表性成果，尤其是学术论文，并运用各自的知识积累与认知给出他们的评价，然而，采取最简单的“少数服从多数”的评判准则确定评价结果。这也是目前我们似乎还没有听说用AI技术可以取代同行评价的缘由，相反，较多的学者认为完全采用AI实施科学评价不靠谱。两个在美国大学任教学生的意见如下：
孙博士微信：所有大模型都是学习网上的信息。它能给出的评价就是综合了网上已有的一些介绍和评价。我不认为它可以做出独立的评价。如果网上关于某个教授的公开信息有说公平公正的，那么大模型是可以做出公平公正的评价的，但这种评价不是独立的。反之，如果网上针对某个人的信息大部分是失真的，那么大模型很可能也跟着失真。我认为关键词是独立性。你可以做个小实验，你可以在网上故意发布一个关于你的超级正面的评价，然后在用大模型的时候，开启网络搜索功能，你看看有没有影响。然后把那篇撤掉，故意发布一个关于你的非常负面的评价，你再用大模型试一试，看看它会不会受影响。理论上，如果有人放出大量关于某个人的正面信息，那么大模型一定会受到影响的，反之亦然。大模型本身没有道德概念，它对于是非好坏的判断完全来自人类的文字，人类定义是非和对错，大模型只是学习人类的定义。
另一位杨博士微信：刘老师您好。我同意您的看法。至少目前的AI用于评价还不合适，尤其需要比较公正而详细的评价时。用来总结一个人的主要研究方向还是很靠谱的。评价默认貌似偏向正面。但是可以人工交互引导。当然，这样就不是单纯的AI评价了。毕竟AI也是训练出来的。
为了检验AI科学评价的效果，我用某一个AI模型评价我熟悉的几位学者水平，结果让我大跌眼镜，基本不靠谱。我还让这个AI模型评价我的一篇学术论文，评价结果显然不能令我满意，结果主要陈述了我论文中的基本内容。尤其没有指出我论文中主要成果与国际同行比较的情况，特色与对领域内科学发展的意义。所以，我认为，至少在当下，我们不必大事夸大AI的作用。正如上述杨同学的意见，利用AI总结一个人的研究方向还是很靠谱的。我平常主要利用AI搜集一些资料，通过学习深入思考得出一点自己的认识，供大家讨论。
看到一篇题目为《为什么有人不屑“全球前2%顶尖科学家榜单”？》文章，文章阐述了科学评价的复杂性。文章说：“科研评价这事特别复杂，涉及很多方面。高被引论文只能说明成果受关注，但创新性和实际价值还得另说。科研成果对社会经济的推动、转化为生产力等情况，同样是衡量科研成就的关键。比如医学领域，有些成果成功转化为临床治疗手段，救了无数人，但在论文引用上可能体现不出它有多厉害；工程技术领域，关键技术突破可能带来产业变革，但成果不是传统学术论文形式，在榜单评价里就容易被忽略。”显然，AI要面临如此复杂的科技评价恐怕力不从心。然而，我认为，我们还是要用发展眼光看待AI技术的应用前景，也许在若干年后，经过我们科技人员的努力，AI在科学评价领域会做出当下我们意想不到的结果。我们稍安勿躁。
2025年6月18日策划，2025年7月7日提交科学网
转载本文请联系原作者获取授权，同时请注明本文来自刘庆生科学网博客。
链接地址：https://wap.sciencenet.cn/blog-673617-1492649.html?mobile=1
收藏
