博文
警告： 科学评价不能过度依赖引文数据
|
三大国际数学机构联合发布《引文统计》报告，严重警告： 科学评价不能过度依赖引文数据
北京6月11日讯 6月11日，国际数学联盟、国际工业与应用数学委员会和国际数理统计学会联合发表《引文统计》报告，对当前科学界盛行的用引文数据评价研究质量的做法提出严重警告。报告指出：“研究太重要，不能只用一种粗糙的工具来衡量它的价值。”
报告中说：“以引文为基础的统计数据，如影响因子等，常被用于科学研究的评价之中，但这是衡量研究质量的最好方法吗？”
报告认为，以引文数据来评估研究质量的做法在世界各地的科学界日趋风行，但事实上，对数据的这种应用有相当多的问题。数学家们在这份报告中说：科学评价中不能过度依赖影响因子和H指数等引文统计数据，“这种做法被广泛应用，因为大家相信它们的准确性、客观性和简单性，但这些信任是没有根据的”。
应国际数学联盟、国际工业与应用数学委员会和国际数理统计学会的联合委托，由以色列特克尼奥恩技术学院的罗伯特·阿德勒（Robert Adler）、美国数学学会的约翰·尤文（John Ewing）和澳大利亚墨尔本大学的彼特·泰勒（Peter Taylor）组成，尤文任主席的一个研究量化评估委员会完成了这份长达26页的报告。
《引文统计》报告有三个重要发现：第一，在被不恰当地使用时，统计数据是相当不准确的；当统计数据被误解或误用时，科学家们会被误导。第二，引文数据的客观性是一种幻觉，因为引文的意义没有被很好地理解，某种引文的意思可能距离“影响力”十万八千里。第三，用单一数据来评价质量实在是一种太简单的做法，导致对研究这样复杂事物的一种浅薄理解，本质上，数字并不比良好的判断更好。
报告建议在研究的评价过程中明智地使用引文统计数据，并指出了几种常见的错误。比如，依据引文统计来评价研究成果，就意味着用引用次数来给期刊、论文、人、项目和学科排序。给期刊排序往往根据“影响因子”。影响因子是指期刊近两年的平均被引用率，而这个平均被引用率只反映了引文在论文中分布的小部分情况，是很粗略的统计。此外，用被引用率作为评价期刊好坏的标准还会引起很多误解。仅用引文的统计来判断就好比仅用体重来评判一个人是否健康一样，是很不全面的。
报告指出，对单个的科学家来说，用引文的统计记录来评判，更加困难。最典型的例子是H指数及它的各种变型，通过这一评价指数及其变量来统计复杂的引用情况是不太可能的。虽然通过这一指数获取了小部分有关科学家引文的分布情况，但同时也错失了对研究成果进行正确评价的关键信息。
报告建议，评价方法必须切合实际，引文统计数据只能成为评价中的一部分。他们警告：对研究质量而言，引文数据只能提供有限和不完整的观点，“研究太重要，不能只用一种粗糙的工具来衡量它的价值”。（记者王丹红）
来源：科学时报 发布时间：2008年6月12日
https://wap.sciencenet.cn/blog-38547-28907.html
上一篇：创业有四难——访上海大学研究生创业团队
下一篇：斯坦福大学教职员帮助中心：给教职员“家”的感觉
北京6月11日讯 6月11日，国际数学联盟、国际工业与应用数学委员会和国际数理统计学会联合发表《引文统计》报告，对当前科学界盛行的用引文数据评价研究质量的做法提出严重警告。报告指出：“研究太重要，不能只用一种粗糙的工具来衡量它的价值。”
报告中说：“以引文为基础的统计数据，如影响因子等，常被用于科学研究的评价之中，但这是衡量研究质量的最好方法吗？”
报告认为，以引文数据来评估研究质量的做法在世界各地的科学界日趋风行，但事实上，对数据的这种应用有相当多的问题。数学家们在这份报告中说：科学评价中不能过度依赖影响因子和H指数等引文统计数据，“这种做法被广泛应用，因为大家相信它们的准确性、客观性和简单性，但这些信任是没有根据的”。
应国际数学联盟、国际工业与应用数学委员会和国际数理统计学会的联合委托，由以色列特克尼奥恩技术学院的罗伯特·阿德勒（Robert Adler）、美国数学学会的约翰·尤文（John Ewing）和澳大利亚墨尔本大学的彼特·泰勒（Peter Taylor）组成，尤文任主席的一个研究量化评估委员会完成了这份长达26页的报告。
《引文统计》报告有三个重要发现：第一，在被不恰当地使用时，统计数据是相当不准确的；当统计数据被误解或误用时，科学家们会被误导。第二，引文数据的客观性是一种幻觉，因为引文的意义没有被很好地理解，某种引文的意思可能距离“影响力”十万八千里。第三，用单一数据来评价质量实在是一种太简单的做法，导致对研究这样复杂事物的一种浅薄理解，本质上，数字并不比良好的判断更好。
报告建议在研究的评价过程中明智地使用引文统计数据，并指出了几种常见的错误。比如，依据引文统计来评价研究成果，就意味着用引用次数来给期刊、论文、人、项目和学科排序。给期刊排序往往根据“影响因子”。影响因子是指期刊近两年的平均被引用率，而这个平均被引用率只反映了引文在论文中分布的小部分情况，是很粗略的统计。此外，用被引用率作为评价期刊好坏的标准还会引起很多误解。仅用引文的统计来判断就好比仅用体重来评判一个人是否健康一样，是很不全面的。
报告指出，对单个的科学家来说，用引文的统计记录来评判，更加困难。最典型的例子是H指数及它的各种变型，通过这一评价指数及其变量来统计复杂的引用情况是不太可能的。虽然通过这一指数获取了小部分有关科学家引文的分布情况，但同时也错失了对研究成果进行正确评价的关键信息。
报告建议，评价方法必须切合实际，引文统计数据只能成为评价中的一部分。他们警告：对研究质量而言，引文数据只能提供有限和不完整的观点，“研究太重要，不能只用一种粗糙的工具来衡量它的价值”。（记者王丹红）
来源：科学时报 发布时间：2008年6月12日
https://wap.sciencenet.cn/blog-38547-28907.html
上一篇：创业有四难——访上海大学研究生创业团队
下一篇：斯坦福大学教职员帮助中心：给教职员“家”的感觉
扫一扫，分享此博文