科学家们的工作通常使用由一家名为ISI的公司编辑的引用统计数据来评估。但是，如何使用这些数据以及这些数据的可靠性如何呢？《自然》杂志社的编辑对引用数据的分析方法以及相关的产业进行了调查。
     编者按：2002年2月14日出版的英国《自然》杂志发表了专题特稿和讨论文章，对科学引文统计，特别是ISI的SCI统计和使用中存在的一系列问题进行了调查。文章指出了ISI统计数据中的方法所造成的内在差错，以及在使用中出现的种种问题。文章认为，使用ISI的期刊影响因子等指标来衡量科研质量是“穷人省钱的评价方法”。文章还说明了ISI早期的“浪漫时代”和公司现今的商业化操作方式间的重要差别。文章特别指出ISI的商业策略是完全合法的，ISI对使用中出现的问题不负任何法律责任，但是，ISI的商业策略以及使用引用分析本身是否对科学事业总体有益，是一个更大的和无法回答的问题。文章指出，只要引用分析还被用于科学界的评估，这场争论就一定会继续下去。
     荷兰莱顿大学科学技术研究中心的Henk E. Moed在同期《自然》杂志也发表了题为“关于影响因子的讨论：ISI的用处和局限性”的文章，?渲兄赋隽嗽谑褂梦南准屏垦?臣蒲芯恐校?芯空吆褪褂谜弑匦胍??宄??8个关键问题。中国国家自然科学基金委员会杂志部的祖广安等也参与了这场讨论，他们在该期《自然》上的文章特别指出了ISI非英语科学期刊统计中存在的严重误差，以及对非英语国家、特别是中国的科学期刊所造成的严重问题。
     SCI在中国科学界已是家喻户晓，本报在过去两年时间曾以专栏形式进行专门讨论。SCI在科学评价中的作用问题也是国际学术界普遍关注的问题。我们在此将《自然》杂志上有关SCI问题的最新讨论全面介绍给大家参考。
     谎言通常有三种：谎言、彻头彻尾的谎言和统计数据。许多科学家们发现他们的研究工作通常是通过其论文被引用的频率来衡量的，他们一定认同本文开头这种观点。由非专业人士做引用分析，理解起来相对迟钝。更严重的是，该领域的专家们已发现，这些粗糙的引用数据中常常都含有错误。
     科学信息研究所(ISI)是位于美国费城的一家公司。从事科学论文引用分析的工作人员一般需要依赖于ISI收集的数据。在过去40年的时间里，ISI收集了学术出版物的引用名单，整理了以前发表论文的引用情况。这些数据被应用到信息检索上，让研究人员能快速搜索文献，确定单个的科学家在某一特别课题上的工作。
     因为政府部门、基金管理机构和促进委员会发现他们难以找到可靠的研究质量评价标准，于是，他们通常就使用ISI的引用数据来帮助他们实施评估工作。他们的观点是重要的论文应该更多地被引用。作为一般的规则，这看来是合理的假设。但是，盲目地使用这一规则而不考虑原始数据的质量和限制性，那么，你所得出的结论可能就非常不合理。
     荷兰莱顿大学科学和技术研究中心主任Anthony van Raan说：“你必须非常小心，因为这关系到科学家们的声誉。用于信息检索的数据库不是100％地适合用于评价。”
     ISI一直都在表明引用分析数据的局限性。但是，对那些负责评价科学家工作的人们来说，这些数据的诱惑力被证明是不可抗拒的。ISI的创始人Eugene Garfield从20世纪90年代初开始出售这些数据，正是对这种需求的反应。现在，ISI被加拿大多伦多的汤姆逊公司拥有，这家公司制作软件包，用于帮助用户检索ISI的数据库。去年该公司发布一个名为“重要的科学指标”（Essential Science Indicators）的软件，据称可用于评估“未来的雇员、合作者、评审人和同行”。
     与此同时，ISI对使用其数据的独立的文献计量学研究人员采取了更为严厉的态度。面对汤姆逊公司越来越严重的一意孤行的商业姿态，一些机构说他们现在面临数据价格上涨和使用限制的问题，迫使他们彻底退出引用数据的分析。
     许多文献计量研究都在关心这种变化趋势，他们说独立的小组有助于为引用数据的质量提供保证。其他一些人则警告说ISI所制作的产品非常容易被误用。一位文献计量学家质问道：“他们(ISI)通过在使用指南的附加条例中来说明这些问题，以在法律上保护自己，可是谁会阅读这些内容呢？这让我们感到心灰意冷。”
     靠不住的指标
     (本报点评：科学计量指标化，具有其内在的社会需求。可靠的指标，而不是方便的指标最为重要。有谁关心美国人用什么指标？）
     当引用统计数据被误用时会出现什么情况？许多专家提到了ISI的期刊影响因子。期刊影响因子是期刊质量的一个评价指标，指每一种期刊所收录的论文平均被引用情况的数据。出版商急于抓住这些数据，利用好的影响因子来促销他们的产品，而图书管理人员则发现在决定订阅哪些期刊时，这些数据是一个方便的指导工具。
     但是，期刊影响因子的使用过了头，人们甚至用它们来评价单个研究机构、部分(系)和科学家的工作。最值得注意的是，对各学科研究人员的工作评价都采取直接计算引用率的方法。这些数据可能来自ISI的数据库，但是历史经验证明，要让ISI或独立的机构来实施引用分析是一件费时、昂贵的工作。于是，作为一个便宜又方便的选择办法，许多评估机构开始寻找科学家的发表记录，并采用他们发表论文的期刊的影响因子来评价论文的质量，而期刊的影响因子是很容易获得的数据。van Raan说：“这是穷人的（省钱的）引用统计分析方法。（It's poor man's citation analysis）”比如，德国的大学经常性使用科学家们发表论文的期刊的影响因子来帮助他们决定系的基金分配。意大利癌症研究协会要求基金的申请者提供他们发表论文的期刊的影响因子一览表。在世界各地，各种委员会使用期刊的影响因子来决定研究人员的提升或任命已成为一种流行玻

 (待续)
    (科学时报记者 王丹红/编译)