武夷山分享 http://blog.sciencenet.cn/u/Wuyishan 中国科学技术发展战略研究院研究员;南京大学信息管理系博导

博文

论文评审意见汇总(13)

已有 795 次阅读 2021-5-15 07:20 |个人分类:科学计量学研究|系统分类:观点评述

论文评审意见汇总(13

武夷山

 

第一则

20140828

本文进行了有益的探索,值得鼓励。可改进之处:

1.      标题是“基于加权……”,但模型1并未加权,即标题不能准确反映内容,可调整。

2.      作者考察了不同评价结果与普赖斯奖得主囊括情况的对比,这个思路还是不错的。但是,建议再做一下单纯被引用情况(加权或不加权)与普赖斯奖得主囊括情况的对比,若此时的囊括情况更好,是否说明增加了扩散度这个指标反而是败笔呢?

3.      作者假定:扩散度高,说明论文水平高。其实不一定。有时候,是因为论文水平高而被广泛引用;有时候,论文选题是跨学科选题,则很可能多学科的人都来引用,但此文自身水平未见得有多高(只有与同类的其他跨学科论文比,才能见分晓)。这一点,至少希望作者讨论一下。

4.      为什么分为引用100次、60次、30次、10次以上?这种划分法没有任何依据,太随意。

 

第二则

20140905

 

1.      这篇文章的本质是增添了社会影响指标,至于学术影响与社会影响的权重怎么分配?用什么方式定权重?其实不太重要,首先要论证为什么有必要增加社会影响权重?谁需要这样的新指标?大学科研处需要吗?职称晋升委员会的评议专家们需要吗?这才是讨论的关键,但本文恰恰在这里比较弱。

2.      F1000的评议中(那已经属于专家评议了),人们发现:性医学、性生理学方面的论文,有很多F1000专家愿意去阅读与评议打分,因为对这样的文章有兴趣。可以想象,在社交媒体中,这类文章会被转发、讨论得更多,但能说这样的文章就比植物分类学文章更有意义吗?其实,这样的热转、热议恰恰会扭曲应有的评议结果。

3.      即使作者的新指标及其权重分配是合理的,下面的问题是:凭什么新的评价结果就比原来的结果更优化呢?还是得有个比较标准,迄今主要是认专家评议结果。如果专家认为现在评出的前10SCOPUS高被引前10更合理,也可以认为本方法成功了。但是,专家只能判断学术影响,加上社会影响后,专家就评不了了,出现了内在的矛盾。这个矛盾怎么解决?

4.      计算主成分时已经用了SCOPUS被引,后来又计算综合得分与传统指标(又采用SCOPUS)的相关性,显然不合理,它们当然强相关。除非采用其他的传统评价指标来做。

 

总之,希望着重论证两个问题:

1.      凭什么说,加上社会影响指标后的评价就更好?

    有人也许认为,学术影响评价与社会影响评价是两码事,不要搅到一起。性主题的论文之社会影响肯定较大,但别让这个影响干扰了对它的学术影响评价。

2.      凭什么说,新的评价结果更合理?总要找到所谓的Gold Standard(无论是同行评议还是其他被公认的标准)来衡量一下。

 

 




https://wap.sciencenet.cn/blog-1557-1286607.html

上一篇:“手机之父”讲手机的故事
下一篇:关于基础研究的英语名言

5 杨正瓴 范振英 宁利中 马鸣 徐明昆

该博文允许注册用户评论 请点击登录 评论 (1 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2021-6-21 18:38

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部