一、前  言

    在自然科学技术的发现、发明等创新活动中，基础研究占有独特地位。历史经验表明，基础研究获得的某些重大突破性成就，往往会导致人类社会划时代的进步；以应用需求为牵引的基础研究也是公认的探讨、解决社会和经济方面重大难题的有效途径之一，是促进科技本身发展的一个重要动力。因此，基础研究的发展水平和实力是衡量一个国家科学技术创新能力和综合竞争能力的一个重要标志。

    自改革开放以来，我国的基础研究工作被定位为国家科技发展体系的3个层次之一，受到党和政府的高度重视。我国的基础研究，坚持以精干的力量在科学前沿开拓创新；坚持结合国情解决发展中遇到的重大科学问题；坚持有所为、有所不为的原则持续稳定地发展。在此基础上,我国基础研究己取得了令人瞩目的成就。在长期大量的实践中，积累了丰富的成功经验，但也遇到了广为关注、需要研究的一些问题。近年来，有关研究成果绩效评价问题的讨论相当广泛。其中，对SCI数据在评价中所应起的作用问题的讨论尤为热烈，成为推动基础研究工作发展进步所必须面对的一个重要问题。

    科技部高度重视我国科技界对科研工作绩效评价中应用SCI引发的讨论，认为这是我国科技创新呈现欣欣向荣、学术思想活跃、学术民主气氛浓烈的一种体现。提高科研绩效评价的合理性，有效地构建促进科学探索、高技术发展、科技攻关以及与经济结合的导向机制与激励机制，已成为亟待解决的一个重要问题。为此，科技部领导要求以从基础研究的绩效评价问题着手，作为推动基础研究发展的重大共性问题之一，组织力量调查研究，在深入分析和认真讨论的基础上，提出对策建议。

    2001年5月30日，《国家重点基础研究发展规划》基础研究共性重大问题战略研究组在北京成立，并召开了第一次会议。根据科技部指示,该战略研究组的工作从调查研究入手，认真听取各方面的意见，围绕基础研究绩效评价问题开展调查分析研究。

    课题组经研究明确了本课题调研的基础研究涉及的范围界定在下列3个方面：

    (1) 以探索自然规律为目的的基础研究；

    (2) 以应用需求目标为导向的基础研究；

    (3) 具有公益性质的数据观测和积累的基础研究。

    课题的研究目标是，以分析SCI引入到基础研究绩效评价后的基本认识及其使用方法、实践经验、出现的问题为重点，探讨其合理内核，分析其已经和可能造成的负面影响。在听取多方不同意见，认真分析研究其利弊得失，做出尽可能全面系统的考量之后提出对策建议，为政府制定政策提供依据。

    有关基础研究绩效评价问题的研究，国内外己进行了很多富有成效的工作。为开展调研分析,战略研究组邀请了中国科技信息研究所、中科院文献情报中心、国家自然科学基金委员会等单位的有关专家介绍了当前国际、国内在基础研究绩效评价方面的一些方法和使用情况；邀请中科院、清华大学等单位有关同志交流了在基础研究绩效评价实践中的经验和遇到的问题；就有关问题与海外学者如聂华桐教授等进行了探讨求教；邀请了《科学时报》的主编和专栏记者就国内外科学家对基础研究绩效评价的一些观点进行了交流座谈；邀请科技部基础研究司有关同志介绍以往对绩效评价所做的分析工作；为广泛听取科技人员和管理者的意见，除面谈等直接听取意见外，设计并发出调查问卷3 100份。为及时反映调研活动情况，共编写情况通报18期。在此基础上，战略研究组就我国基础研究绩效评价中的一些问题，尤其是引入SCI数据后引起的一些争议进行了研究、分析和讨论。

    二、对基础研究及其绩效评价的基本认识

    基础研究是长期潜心钻研的高级思维活动，并从而导致有所发现、有所发明、有所创新，在对其绩效评价问题进行分析研究时，本研究组以下列5点作为共识基础：

    (1) 基础研究的直接学术产出形式主要是科学论文，对于有应用目标的基础研究，如973计划研究项目，还包含解决重大科学问题的其它贡献;

    (2) 在基础研究绩效评价中应该注重学术成果的原创性和领先性;

    (3) 以论文为主要形式的基础研究学术成果应该为全人类所共享,基础研究应该与国际同行交流,所以基础研究成果绩效的评价应具有国际可比性;

    (4) 基础研究的绩效评价对象分为：个人、项目、单位、国家,评价方法因被评对象不同而异;

    (5) 推动基础研究发展的导向机制与激励机制是多方面的，绩效评价仅是多种导向机制的重要支撑条件之一。

    对基础研究及其绩效评价的理解与认识，将随着新的实践而逐渐加深，从而使评价工作更趋公正与合理。

    三、同行评议是基础研究绩效评价的主要方法

    1. 同行评议的来历

    300多年前，西欧的科学技术研究很活跃，不断有重大的发现和发明问世，受到社会各界的高度重视和很高评价。由于当时对发明、发现的创新者没有公认的认可办法，当时的一些杰出人物，包括牛顿，都对报道自己的发现有所疑虑，因为担心别人会宣布拥有优先权。伦敦皇家学会秘书亨利•奥登伯格针对这类情况，提出了解决促使新发现公开，同时保证其作者荣誉的办法，还开创了将投标文章送给能够判断其质量的专家审查的作法。这些评审方法的创新导致了科学技术杂志和同行评议的诞生。迄今，同行评议是世界各国进行基础研究绩效评价应用最广泛并占主导地位的评价方法。

    2. 同行评议方法的优点

    同行评议是用于评价科技工作的一种方法。在基础研究中，这种方法主要用于对优先领域、科学命题和学术带头人的选择；对研究计划、研究机构、工作程序的科学性和合理性的判断，对其结果可靠性的确认；对有限资源（诸如杂志版面、研究资助经费、公认性和特殊荣誉等）配置合理性的评估。因此，同行评议方法不仅用于基础研究绩效评价，还被用于规划、计划、立项、执行、验收等基础研究管理过程各环节的评价。

    同行评议方法用于基础研究绩效评价的优点主要表现在：

    (1) 知识创新需要同行知音者的评价。基础研究是挑战未知，是高级思维活动。科学研究重在其成果的水平和质量，科研成果的质量具有很强的专业性、深刻性、隐含性、超前性。只有相同或相近领域的同行才能对其做出确切的判断，只有同行的评议意见和结论才能服众。

    (2) 同行评议是依靠科学家进行民主管理的方法。同行评议是某一领域的专家采用同一种评价标准，共同对涉及相关领域的一项事物活动及其成果进行评价的活动，其评议结果对有关部门进行决策有重要参考价值。所以，从科学政策角度看，同行评议是决策民主化的一种手段。或者说，采用同行评议有助于决策民主化。

    (3) 同行评议便于把竞争机制引入基础研究。同行评议方法是依据公开、公平、公正和择需（求）、择重（要）、择优（秀）的原则，采取同一种标准，对评价对象进行评议选择。这样既可以从比较中发现优秀的学术成果和人才等，又可以依据标准激励竞争。  

    (4) 同行评议具有可操作性。同行评议中的“同行”实际上是同属某个科学共同体。同行们在根据标准对某一事物活动结果进行评价的过程中，实际上已将标准具体化为该科学共同体的一种范式。正是因为同行专家采用大致相同的范式评价同一事物活动及其成果，所以评议中能求大同存小异，评价过程简便可行，评价结果易于得到公认。

    (5) 同行评议可使知识生产要素得到优化配置。由于同行评议体现了决策的科学化、民主化、程序化，又引入了竞争机制。因此，同行评议有利于促进科学目标与科学决策的科学化；有利于科学共同体价值导向的优化；有利于科学共同体自组织行为的规范化，从而推进知识生产要素的优化配置。

    (6) 经同行评议通过的基础研究产出，标志着获得社会的认同。科学真缔通常只有同一科学共同体所理解和把握。同行评议结果通常具有一定的权威性，不仅为学术界所接受，也易于为决策管理部门所采用，因而也得到社会有关各方面的认同。

    同行评议在实践中经过不断的改进，提高了其公开、公平、公正性，以及水平、效率和权威性。目前在国际、国内的科学系统中得到了广泛应用，在科研计划立项、资源分配、成果鉴定、论文发表和科学奖励等方面起着十分重要的作用。长期以来的实践表明，同行评议在基础研究绩效评价中的应用基本上是满意的，但同行评议依然存在着一些局限性和需要进一步研究解决的问题。

    3. 同行评议中存在的一些问题
 
    同行评议也和任何绩效评价方式一样，尚存在一些有待解决的问题：

    (1) 同行评议容易淹没非共识性学术创新思想,有可能使学术思想特别超前的研究工作难以获得认同;

    (2) 同行评议有时难免出现论资排辈的倾向,不利于年轻人才的脱颖而出;

    (3) 同行评议可能因学派或利益关系、部门关系、学科关系而削弱评议结果的客观公正性;

    (4) 同行评议难以避免某些不正之风的影响,在实际操作中存在“拉关系”、“走后门”、“主观臆断”、“二流评一流”、“剽窃创意”等现象，玷污了同行评价的圣洁形象;

    (5) 基础研究同行评议中的“同行”界定有时难以把握，对于交叉学科、跨学科、宏观性、战略性等方面的研究内容及其成果，同行的选择是一个难点;

    (6) 同行评议往往是参与评议的同行依靠自己定性的判断为主，如果不辅以定量的评价指标，容易产生由于认识上的局限性和判断上的复杂性而带来的偏差。

    20世纪下半叶，科技创新活动的规模日益扩大，新发现、新发明不断涌现，同行评议成为繁忙的社会活动，原本偶尔发生的不正之风现象也随之增多。其间同行评议方法曾遭遇过3次较大的颠覆性事件：70年代，美国国会科学与公共政策委员会对同行评议进行调查事件；80年代初，美国国会委托审计署的调查事件；以及90年代初，英国前国务大臣委托前ABRC的调查事件。这些调查的结果证实，同行评议确有不足。但是，就创新活动而言，由于没有更好的评价方式可取代同行评议，所以同行评议仍是广泛应用的绩效评价方式。为了弥补同行评议自身的不足，提高其效用和公平、公正性,并保持其在学术界的崇高信誉,人们不断引入一些定量的方法和数据，作为供参考的量化指标，以提高同行评议判断的准确性和客观公正性。

[1] [2] 下一页

    四、基础研究绩效评价中常用的量化指标

    为弥补同行评议的不足，通常在基础研究绩效评价中引入必要的量化指标。国内外比较经常采用的一些量化指标如下：

    (1) 学术期刊上发表的论文数，论文被引用情况，论文发表的期刊档次水平;

    (2) 各种科学奖励获奖等级、排序和次数，例如国家自然科学奖、技术发明奖以及国际上的重要奖项等；

    (3) 各种国际学术组织（包括学术期刊）中任职情况，例如在各种著名的、公认的、基础学科的学术组织和学术期刊中担任主要职务等;

    (4) 重要国际学术会议上被特邀作大会报告的情况；

    (5) 在学科进展的国际评述中被引用并在国际学术界产生一定影响的成果。 

    五、SCI应用于基础研究绩效评价
 
    基础研究主要的学术成果产出是论文。论文的质量和数量与其它几项可量化的参考指标相比，在绩效评价中可比性好、涉及面广，更为学术界所关注。但是，如何采集具有国际可比性、真实合理的论文质量与数量参数，也是一个相当复杂的难题。对于论文质量和数量参数的统计，世界上有许多部门积极进行了探索。其中，美国费城的一个非官方科技信息研究所ISI(Institute for Scientific Information) 采用文献计量学原理收集和统计的数据，即Science Citation Index，中文译为“科学引文索引”，简称为SCI。因在现有的同类参数中，SCI数据的覆盖面、参数信息量、可比性及客观性等较为突出，作为辅助同行评议的一个量化指标，SCI在基础研究绩效评价中显示出一定的优越性，逐步成为常被选用的数据源。但同时在使用过程中也出现了一些问题，引发了争论。为此，我们对SCI在使用中的情况和存在的一些问题进行了调查分析。

    1. SCI是科学计量学和文献计量学研究领域进行定量分析的工具

    SCI收录全世界出版的数、理、化、农、林、医、生命科学、天文、地理、环境、材料、工程技术等自然科学各学科的核心期刊约3 500种。ISI通过严格的选刊标准和评估程序为SCI挑选刊源，而且每年根据刊物的影响度进行动态调整，力求使收录的文献能覆盖世界最重要和最有影响力的研究成果。SCI是目前国际上覆盖学科最全、易于检索的大型文献数据库。作为一种检索工具，SCI中设置了独特的“引文索引”（Citation Index），即通过先期文献被当前文献的引用，来说明文献之间的相关性及先期文献对当前文献的影响力。基于以上特点，SCI不仅在文献检索领域内被广泛应用，而且被科技界借用为基础研究绩效评价中的一项辅助性的定量指标，或直接作为评价依据。

     ISI的Science Watch杂志经常发表各种排序数据,例如根据不同学科每篇论文的平均被引次数给大学或科学家排序。这种排序受到了科技界的关注，Science杂志不时转载这样的排序。美国国家科学基金会每两年一次发表的《科学与工程指标》报告中，都引用基于SCI的数据。

    2. SCI统计数据可以作为同行评议中重要的辅助定量指标

    目前，国际上在不同层次的科研绩效评价中比较广泛地采用了SCI的数据。如欧洲和美国在对群体（大学和大学中的院系或研究组）作科技能力分析时，常用SCI的数据作为一项参考指标。

    在基础研究绩效评价中，常用的与SCI有关的定量统计数据包括:被收录论文数、学术期刊的影响因子和论文被引用的频次。

    基础研究的主要直接学术产出形式是科学论文。发表的论文及被SCI收录的论文的质量和数量从一个方面体现了研究机构与个人在基础研究方面的实力。ISI为保持SCI收录期刊的水平，每年组织专家对2 000多种待选期刊进行评价，其中约10％进入收录系统。据万方数据统计表明: 世界著名大学发表的论文被SCI收录的数量也多居于前列。

    ISI每年出版的《期刊引用报告》（Journal Citation Reports，简称JCR）对包括SCI收录的3 500种期刊在内的4 700种期刊之间的引用和被引用数据进行统计，并定义了影响因子（impact factor，简称IF）。一种期刊的影响因子，是指该刊前两年发表的文献在当年平均被引用的次数。刊物的影响因子越高，表明该刊物的影响越大，在同类型刊物中学术水平越高。就一篇论文而言，被引频次与作者科研成果的影响力成正相关，被引频次高意味着作者研究的科学问题是许多科学家所关注的。当然，需要强调的是，上述指标用于绩效评价时，不宜在不同学科、不同领域之间进行比较使用。而在相同学科内，SCI指标有一定国际可比性，有利于鼓励科学家参与国际科学研究的竞争。

    3. 国际上和我国台湾地区采用SCI进行科研绩效评价的一些情况

    (1) 英国是开展科研绩效定量评价最早的国家之一，政府为全国153个大学和研究所购买了SCI网络版，作为绩效评估的参考。在高教系统中开展各种层次的科研评估活动时，要求每个大学的科研人员提供最近4年内发表的、最能反映学术水平的4篇论文供评估。报送的绝大部分论文发表于SCI源期刊上。评估结果将影响到被评估机构今后获得的经费数额。

    (2) 韩国在1999年制订了“21世纪智业韩国计划”（Brain Korea 21 Initiative）。这项计划为期7年，拟花费11.7亿美元。该计划目标之一是：从1999―2005年， SCI论文数从10 000篇增加到20 000篇，位次从世界17位提升到世界第10位。

    (3) 美国国家科学基金会每两年一次发表的《科学与工程指标》报告中，都引用基于SCI的数据，例如世界各国历年在主要学科领域发表的论文数。美国科学院1999年在《美国免疫学研究的国际对比》报告中，使用了ISI提供的数据。美国许多大学在对科研人员进行绩效考核时，要求发表的文章都应刊登在核心刊物上，这些核心刊物都是SCI收录刊物中水平较高的刊物。

    (4) 台湾科学技术主管部门在20世纪80年代中期制订实施了一些针对工作于学术机构（大学、研究所、教学医院等）的研究人员个人的奖励措施，分为杰出奖、甲等优良奖、乙等优良奖3类。SCI论文数是评奖时的重要参考指标之一。自从采取这种措施以来到90年代中后期，台湾SCI论文数增长了7倍。台湾大学医学院建立了一套针对个人研究绩效的评估体系，以SCI为基础，对科研人员发表的每篇SCI论文从论文类型、影响因子、作者排序三个角度进行评判，计算分数。累计至少500分才能当教授。聘为教授后，仍将被继续评估。

    4. 合理运用SCI数据，对研究机构的基础研究水平有促进作用

    战略研究组与清华大学等高校中从事科研管理的同志进行了交流,他们认为:在科学发展的一定阶段，在一些科研教育单位中，对发表SCI论文采取恰当的激励措施，可以对基础研究产生促进作用。这些单位的经验表明：(1)对发表SCI论文的科研人员择优奖励一定数额的科研经费，使他们安心持续从事自己感兴趣的课题研究，有利于对基础研究中原始创新命题的扶持，减缓了为申请课题经费穷于应付汇报的忙乱现象，有利于科研人员潜心科研，克服浮躁情绪;(2)善用SCI的数据作评价指标，鼓励发表SCI论文，有利于促进观念更新，增强国际竞争意识，提高研究课题的前沿性和创新性；(3)恰当地鼓励发表SCI论文有利于与国际同行在同一平台上进行学术交流；(4)适当地鼓励发表SCI论文,有利于提高青年科技人员的研究能力与论文写作能力。

    六、SCI在我国的应用中反映出的一些问题

    SCI在我国的基础研究绩效评价中得到比较多的应用。中国科技信息所每年发布一次我国论文在SCI中收录的情况，为科学研究绩效评价提供了一些可供参考的数据，这些数据也包含大学、科研院所的论文数量排列次序。合理运用这些数据，可为科研绩效评价提供一些依据。但是SCI的统计数据在中国基础研究评价的使用过程中也暴露出一些问题：

    (1) 一些单位盲目追求被收录论文数，造成了视SCI为科研绩效评价中唯一指标的印象;

    (2) 仅适宜于在同一学科内进行比较的SCI影响因子被不适当地用于跨学科比较，引起了混淆；

    (3) 对在SCI收录期刊上发表的论文进行机械的、简单化的奖励,助长了“短平快”行为和浮躁作风，不利于潜心研究，使科学的献身精神受到冲击;

    (4) 盲目追求国际研究热点,使一些急需的、应当受到重视的研究受到影响;
 
    (5) 我国的学术期刊在SCI统计范围内因语言等问题，被收录及引用的机会少，影响了我国学术期刊的发展。

    上述问题在我国科技界产生了一些消极影响,引起了争论,许多科学家在媒体上发表了自己的不同意见。《科学时报》曾专题刊登了科学家的有关文章,引起了科技界的关注，产生了较大影响。因此，有必要围绕这些问题进行深入研究并提出对策。

    七、对我国基础研究绩效评价的一些初步建议

    综合上述情况，我们在调查研究并与有关各方进行多次交流对话的基础上，作了认真讨论分析考量，在权衡了各种评估方法的利弊得失后，提出下述建议：

    (1) 在基础研究绩效评价中，应该将定性方法和定量方法结合起来。在注重同行评议定性评价重要性的同时，要注意定量评价的作用。注意克服同行评议的一些缺点，逐步完善定量评价的方法。在基础研究中，原始性创新的内涵和形式极为丰富，因此绩效评价在遵循评价的一般原则的前提下，应允许多种评价方法的存在。不同研究水平、不同目标定位的研究机构可根据自己单位的具体情况采取不同的绩效评价方式和激励政策，并在实践中检验和改进。

    (2) 论文的质量和数量及其它因素作为反映基础研究学术水平的参数仍然需要重视，要设置、采用多种指标作为供参考的参数。建议把现行的每年一次公布当年SCI统计排序的方法改为以滚动方式公布前3年或5年的统计数据，由具有资质的中介评价机构以非官方的方式发布（官方人员要回避）。发布影响因子、使用论文被引用次数时注意它们只在同学科内有可比性。改变单纯以SCI论文数量排序的做法，公布科研院所和大学的各种形式的成果，以使公布的结果更加科学全面。

    (3) 在鼓励提高国内期刊水平的同时,根据各单位的研究基础和水平，鼓励有条件的单位向高水平的学术刊物投稿，积极参与国际竞争。

    (4) 为了更好地促进我国科技的发展和提高我国学术期刊的水平,应该鼓励提高我国科技期刊进入SCI收录系统的数量。考虑到中国目前的科技水平、学术期刊水平以及语言问题,应对如何提高我国期刊在国际上的竞争力进行战略性的思考,采取一些有效的措施。可否考虑以我国被SCI收录的59种期刊为起点建立中国的SCI体系，采取一些方式鼓励在国内期刊发表文章，从而提升我国学术期刊的水平。

    (5) 政府要制定相应的政策，对真正具有原创性思想的、难度大、研究周期长的基础研究，在绩效评价中给予特殊考虑。

    (6) 任何绩效评价方法都有其局限性。在注重绩效评价方法运用的同时，要注意学风建设，倡导科学道德。注意研究各类评价方法可能带来的负面影响和科技领域的一些不良学风问题。在提倡树立良好科学道德的同时，制定相应的行政措施和规定。

    (7) 任何一项对策措施都有其时效性。在规范政策措施时，要注意基础研究评价体系的滞后性、连续性和长期性。同时，在建立评价体系时要注意主客观因素的统一和平衡。应加强对绩效评价体系长期的战略性跟踪分析研究，以适应科学技术高速迅猛发展而出现的新形势、新问题，及时提出新的对策建议。 

上一页 [1] [2]