融合专家判断与客观数据的学科评估
浙江大学发展委员会主席、中国科学院院士、国家自然科学基金委员会原主任
《第五轮学科评估工作方案》(以下简称《工作方案》)指导思想在于:深入贯彻中共中央、国务院《深化新时代教育评价改革总体方案》精神,遵循教育规律,扭转不科学的评价导向,加快建立中国特色、世界水平的教育评价体系。笔者针对该工作方案,有下述四点感触。
一、重传承,但彰显创新的评价体系
《工作方案》构架了一个重传承,但彰显创新的评价体系。具体说来,可梳理出五项传承与五项创新。
五项传承:一是评估的组织方不变,仍为教育部学位与研究生教育发展中心;二是学科评估的逻辑框架不变,仍以一级学科整体水平评估为基本定位;三是学科评估的核心指标不变,仍以“质量、成效、特色、贡献”为价值导向;四是学科评估的评价方式不变,仍以定量与定性评价相结合为基本方法;五是评估结果的发布形式不变,仍按照分档的粗粒化发布方式。五项传承得益于既往业绩,包括:历次评价的成功,使得学科评估的权威性、重要性和声誉依赖度日增;与院士评审、自然科学奖评审、基金委人才项目评审一起,构成了我国科教界的重要评审标杆;专业化评估队伍的形成,该队伍行事低调、作风扎实、数据清洗认真;具有中国特色的评估文化形成,以融合性评价、依托广泛共识、操作性强、平抑舆情出色而闻名。
五项创新:一是在客观数据展示上采取结构性证据链,充分运用“融合评价”,建立专家“元评价”制度。二是在学术贡献划分上提出归属度原则。既避免“一稿多投”,又避免“学科壁垒”;鼓励学科交叉融合和学科生态优化,确保跨学科成果合理使用;教师成果按署名单位认定、不随人走,抑制人才无序流动。三是在指标权重上遵循重质量的原则,评价科研水平不唯论文和奖项,评价学术论文聚焦标志性学术成果,采用“计量评价与专家评价相结合”“中国期刊与国外期刊相结合”的“代表作评价”方法。四是在评估结果呈现上采取多元化优化分档,多元呈现评估结果,发布总体结果与提供单项评估结果相结合。五是注意到不同学科的体量特征。考虑门槛高度与临界质量的辩证关系,探讨如何在高门槛学科避免由于学科点数量太少而造成的高端零和博弈陷阱,以及如何避免在连片学科中由于区别度较弱而产生的选择性堆积行为。
二、重公正,但涵养特色的包容范式
学科评估的核心在于保障评估指标体系下各个学科的平等性。我们要注重公正,但也要注意形成包容性范式,可以涵养不同的学科特色。在评估时应注意不能磨平各个学科的特色,而是做到“主体等同对待,特色有别陈述”。坚决不能搞“横向到边、纵向到底”的一刀切逻辑。要对不同类型的学科采取不同的分类评价范式。要强化分类特色评价,按一级学科分别设置指标体系,充分体现办学定位与学科优势。
为做到这一点,评估体系的设计要采取包容范式,体现在:一是有充分数据支持的专家评审;二是专家充分酝酿规则下的数据注入,充分运用基于定量数据和客观证据的专家融合评价方法,坚持代表性成果专家评价与高水平成果定量评价相结合;三是留出特色发挥空间,采取规定字数下的自选风格的描述语言;四是多维度评价,注重多元评价,采取多维方法。工作方案中强化了“代表作”和“典型案例”评价,设置开放性留白,充分体现办学定位与特色贡献。
三、重证据,但适度柔化的指标设置
目前,“五唯”已经成为科教界广为讨伐的现象。但反“五唯”并不是反“指标”,更不是反“证据”。反“五唯”的核心在于反“唯”,反对那种“一俊遮百丑”或“一丑掩百俊”的做法,反对一刀切的评价方法。数据是需要的,但断章取义地抽取数据是不对的。ESI引用数不能作为评价所有学科的唯一标准。
对教师队伍的评价也是一样。在当前版的工作方案中,不设人才“帽子”指标,采用“队伍总体结构与代表性教师相结合”的方法评价教师队伍质量,重视青年教师队伍情况。评价教师不唯学历和职称,避免了以往片面以学术头衔评价学术水平的做法。
四、重专家,但切断利益的同行评议
公平性是评审的计量基础,专业性是评审的权威体现。它们在所有的评审中是至关重要的。对成果的评价来说,其下一层指标是颠覆性、适用面和影响力。对评估程序来讲,其下一层指标是客观性、逻辑性、能动性与灵活性。同行评议是各国通用的主观评价手段,其评价的基础是学术价值观的共识性。一个好的同行评议既要注重专业性,还应考虑其公正性。我们应该尊重专家,但需要化解在同行评议中可能出现的非对称利益。对此《工作方案》提出了有益的举措。
在中国,干扰同行评价的四个公正性障碍是:学术关系网、利益冲突、群体博弈、专家选取的权威性。前三个障碍与专家之间、专家与评审对象之间的利益链有关。解决方案有两个,一是切断利益链,二是形成利益均等,这些都可以消除同行评议中的非对称利益。