“爱思唯尔宣言”中关于评价指标的12条原则

武夷山

爱思唯尔公司今年曾就定量指标在科研评价中的作用发表看法，可简称为爱思唯尔宣言，详情见：Elsevier (2014) “Response to HEFCE’s call for evidence: independent review of the role of metrics in research assessment”,  http://www.elsevier.com/__data/assets/pdf_file/0015/210813/Elsevier-response-HEFCE-review-role-of-metrics.pdf。

宣言中谈了关于评价指标的12条原则，见下文。我在每一句英文后面的话不是translation，只是interpretation，大概诠释其意思。后面的解读是我的进一步解释，或是把原来弯弯绕的含义给说白了，但解读得不一定对。我觉得，这12条是值得搞定量评价的人思考的。

1. A set of multiple metrics distributed across the entire research workflow is needed.需要一套贯穿于整个科研工作流的多种指标。（博主解读：投入、产出、过程等都得有相应的评价指标。）

2. Metrics must be available to be selected for all relevant peers.指标应能供所有相关同行选择使用。（解读：而不应该是：我设计了这套指标，你就得用这套指标。）

3. The generation and use of metrics should be automated and scalable. 指标之生成与应用应该是自动化的，可调节的。（解读：手工统计数据总归不是出路。）

4. Quantitative information provided by metrics must be complemented by qualitative evidence to ensure the most complete and accurate input to answer a question.指标所提供的定量信息必须辅之以定性判断证据，以确保提供最完整、最准确的资料。

5. The combination of multiple metrics gives the most reliable quantitative input.多种指标的结合能提供最可靠的量化信息。（解读：单个指标再好，也解决不了我们面临的评价问题。）

6. Disciplinary and other characteristics that affect metrics, but that do not indicate different levels of performance, must be taken into account.必须考虑到，学科特征及其他一些特征会影响指标值，但这些特征并不说明科研绩效有差异。（解读：评价一定要分学科、分领域进行，同类相比。比如生命科学研究人员的很多指标（被引次数、h指数、刊物的影响因子，等等）都比其他学科要厉害，但不等于说生命科学的科研绩效就有多高。）

7. Metrics should be carefully selected to ensure that they are appropriate to the question being asked.要针对有待回答的问题，谨慎地选择指标。（解读：不能不管遇到什么情况，都用同一套指标去应付。）

8. We cannot prevent the inappropriate or irresponsible use of metrics, but we can encourage responsible use by being transparent, and intolerant of “gaming”.我们无法防止有人不适当地、不负责任地滥用指标，但我们可以通过透明化、通过对不正当“小动作”的零容忍来鼓励负责任的指标应用方式。（解读：小动作的种类太多了！比如，有的期刊不是通过吸引高水平论文来改善其相关指标，而是做小动作，例如，迫使作者多引用本刊的论文，想以此提高影响因子。我们还见过国内某高校号召本校人员写文章时引用本校主办的期刊（以提高刊物的他引次数），谁引用了就可以领“奖金”。）

9. Those in the research community who apply metrics in their day-to-day work, and who are themselves evaluated through their use, should ideally define the set of metrics to be used. It is highly desirable that this same community, or those empowered by the community on their behalf, maintains the metric definitions.理想情况下，在日常工作中应用评价指标的人（博主：如科研处）和被评价的人应该共同确定该采用哪些指标。（解读：不能偷懒，把指标设定工作交给第三方。我们所常面临这样的窘境：我们提供各种指标是供用户选择性使用的，但仍有太多的单位自己不肯动脑筋，喜欢采用“现成的”指标。而这样的评价引起被评价者不满时，他们说“这是中信所设计的指标”。）

10. There should be no methodological black boxes. 不应有什么方法论黑盒子。（解读：评价者是怎么评的，用了什么指标，各是什么权重，数据怎么采集的，都不应该藏着掖着。）

11. Metric methodologies should be independent of the data sources and tools needed to generate them, and also independent of the business and access models through which the underlying data are made available. 评价方法应独立于数据源和采集数据的工具，独立于处理数据的商业模型。（解读：如果不采用某商家的数据源和工具就做不了评价，那就是评价方法有问题。不能规定只能采用谁的数据来做评价。爱思唯尔的意思更可能是：别只用SCI啊，用Scopus也可以啊。但这番道理确实是对的。）

12. Aggregated or composite metrics should be avoided. 应避免采用复合指标。（解读：这一条我不太同意，要看情况而定。）

参考文献

http://www.researchtrends.com/issue-39-december-2014/standardizing-research-metrics-and-indicators/