不同评价角色对人文社科成果评价的认识差异

2018/9/14 18:26:01      点击:

不同评价角色对人文社科成果评价的认识差异

 杨红艳 中国人民大学评价研究中心 

在学术评价活动中,被评审者、评审者、评价活动组织者和评价研究者分别扮演着不同的角色。研究不同评价角色对人文社科评价存在问题和管控措施的认识差异,对于更全面、客观、准确地认识和改进学术评价存在的问题,具有重要意义。

本文首先通过文献调查方法和专家讨论法,系统梳理出中国人文社科学术成果评价存在的32个重要问题和42项关键管控措施。再围绕这些问题和措施面向不同评价角色开展问题严重程度和措施必要程度的问卷调查,探讨了不同评价角色对于中国人文社科学术成果评价存在的问题和相应管控措施的认识,是否存在显著差异、以及存在怎样的差异。

一、不同评价角色对评价存在问题严重程度的认识差异



图1中的横轴表示32个评价存在的问题,纵轴表示受访者对问题严重程度看法的得分均值。可选分数为-5~5分。正负表示问题是否存在,分数越高表示问题越严重。

结合图1和表1可得出:

1)大多数情况下,被评价者认为的问题严重程度显著高于评审者;

2)大多数情况下,被评价者认为的问题严重程度显著高于评价组织者;

3)大多数情况下,评价研究者认为的问题严重程度显著高于评审者;

4)大多数情况下,评价研究者认为的问题严重程度显著高于评价组织者;

5)被评价者和评价研究者对多数评价存在问题严重程度的看法,差异不显著;

6)评审者和评价组织者两类角色的看法对一部分评价存在问题严重程度的看法差异不显著。

二、不同评价角色对评价管控措施必要程度的认识差异



图2中的横轴表示42项评价管控措施,纵轴表示受访者对措施必要程度看法的得分均值。可选分数为-5~5分。正负表示措施是否有必要,分数越高表示措施必要程度越高。

根据图2,四类评价角色对中国人文社科学术评价管控措施必要程度的认识差异不明显。将四类评价角色对措施必要程度两两比较的方差分析结果汇总如表2所示。

如表2所示,在6组对比中,两两比较的评价角色对绝大多数或全部42项评价管控措施必要程度的认识,无显著差异;仅对于个别措施,不同评价角色的认识差异显著。总体上,对于这些存在显著差异的个别措施,四类评价角色认为的措施必要程度从大到小依次为:评价研究者、被评价者、评审者和评价组织者。

三、研究发现及重要启示



将研究分析结果汇总如表3所示:

研究发现及其重要启示概括如下:

第一,在大多数情况下,不同评价角色对相同评价问题严重程度的认识,存在显著差异,即被评价者或评价研究者所认为的问题严重程度,通常显著高于评价组织者或评审者。这可能由于:来自成果作者(被评审者)的意见,很可能过高地估计了问题的严重性,来自评价组织者和评审者的意见则有可能是过于忽略评价的弊端和不足,评价研究者的研究也许考虑不周全甚至脱离评价实际。

为此,我们要全面、客观、多角度地认识不同评价角色对评价活动的认识分歧,对于不同评价角色立场和利益冲突较为明显的问题和措施,在分析评价发展规律和制定评价管理政策时,应区分不同评价角色的认识并做出平衡。评价研究更不可以“想当然”,而应充分立足评价实践。

第二,在大多数情况下,不同评价角色认为的相同评价管控措施必要程度无显著差异。这说明,人文社会科学领域对改进学术成果评价的愿望和改进思路具有较大共识。对于评价管理者和政策制定者,无须过于关注评价活动的弊端和不足,更为重要的是要加紧步伐落实有效的管控措施,进而改进学术生态环境。


——摘编自:杨红艳,不同评价角色对人文社科成果评价的认识差异,《甘肃社会科学》 2016年01期