论文评审意见汇总（13）

武夷山

第一则

20140828

本文进行了有益的探索，值得鼓励。可改进之处：

1.      标题是“基于加权……”，但模型1并未加权，即标题不能准确反映内容，可调整。

2.      作者考察了不同评价结果与普赖斯奖得主囊括情况的对比，这个思路还是不错的。但是，建议再做一下单纯被引用情况（加权或不加权）与普赖斯奖得主囊括情况的对比，若此时的囊括情况更好，是否说明增加了扩散度这个指标反而是败笔呢？

3.      作者假定：扩散度高，说明论文水平高。其实不一定。有时候，是因为论文水平高而被广泛引用；有时候，论文选题是跨学科选题，则很可能多学科的人都来引用，但此文自身水平未见得有多高（只有与同类的其他跨学科论文比，才能见分晓）。这一点，至少希望作者讨论一下。

4.      为什么分为引用100次、60次、30次、10次以上？这种划分法没有任何依据，太随意。

第二则

20140905

1.      这篇文章的本质是增添了社会影响指标，至于学术影响与社会影响的权重怎么分配？用什么方式定权重？其实不太重要，首先要论证为什么有必要增加社会影响权重？谁需要这样的新指标？大学科研处需要吗？职称晋升委员会的评议专家们需要吗？这才是讨论的关键，但本文恰恰在这里比较弱。

2.      在F1000的评议中（那已经属于专家评议了），人们发现：性医学、性生理学方面的论文，有很多F1000专家愿意去阅读与评议打分，因为对这样的文章有兴趣。可以想象，在社交媒体中，这类文章会被转发、讨论得更多，但能说这样的文章就比植物分类学文章更有意义吗？其实，这样的热转、热议恰恰会扭曲应有的评议结果。

3.      即使作者的新指标及其权重分配是合理的，下面的问题是：凭什么新的评价结果就比原来的结果更优化呢？还是得有个比较标准，迄今主要是认专家评议结果。如果专家认为现在评出的前10比SCOPUS高被引前10更合理，也可以认为本方法成功了。但是，专家只能判断学术影响，加上社会影响后，专家就评不了了，出现了内在的矛盾。这个矛盾怎么解决？

4.      计算主成分时已经用了SCOPUS被引，后来又计算综合得分与传统指标（又采用SCOPUS）的相关性，显然不合理，它们当然强相关。除非采用其他的传统评价指标来做。

总之，希望着重论证两个问题：

1.      凭什么说，加上社会影响指标后的评价就更好？

    有人也许认为，学术影响评价与社会影响评价是两码事，不要搅到一起。性主题的论文之社会影响肯定较大，但别让这个影响干扰了对它的学术影响评价。

2.      凭什么说，新的评价结果更合理？总要找到所谓的Gold Standard（无论是同行评议还是其他被公认的标准）来衡量一下。