Conception of Implementing Meta-evaluation of Rural Teachers'Policies: Objectives and Strategies

政策科学起源于20世纪五六十年代的美国，我国在引入政策科学后总体上仍处在“引入”阶段。后设评价是政策科学的一个有机构成，在西方已有几十年的研究历史。但在我国，乡村教师政策后设评价作为乡村教师政策研究的组成部分，却一直被忽略，至今尚无研究者涉足。

关于乡村教师政策后设评价的内涵解读，需要对与之紧密相关的三个概念进行准确把握。

首先，什么是后设评价？后设评价，在操作顺序上位于评估活动的最末端，本质上也是一种评估活动。美国教育研究协会和评估协会前任主席斯克里文教授将后设评价界定为一种针对评估系统或评估设计的评价活动^[1]。据此可知，后设评价的对象正是评估本身。后设评价也因此常被译为“后设评估”，但它与传统的评估有着显著不同。为了能够更好地区别二者，本文专门选用“后设评价”这一表述。

其次，什么是乡村教师政策？乡村教师政策是开发乡村教师人力资源的重要手段，旨在建设一支数量足、质量高的乡村教师队伍，处理好对乡村教师的高要求和给乡村教师以优厚待遇的关系^[2]144。从政策内容上划分，乡村教师政策主要包括乡村教师待遇政策和乡村教师管理政策^[3]。“教育质量政策、教育体制政策、教育经费政策、教师(人事)政策是一个国家教育、改革与发展所必需的基本的教育政策。”^[4]

再次，什么是乡村教师政策评估？一般来说，政策评估是指确定政策的“好与坏、善与恶，利大于弊、或弊大于利”^[5]。乡村教师政策评估就是对有关乡村教师政策的效用与价值进行确定。它要求按照一定的标准，采取科学的办法对乡村教师政策活动的各个环节进行事实判断和价值判断，及时反馈评估信息，从而找出最佳的决策依据^[2]23。乡村教师政策评估作为一项专业的评估活动，“理应确保其评估的严谨性，以保证评估活动的品质”^[6]535。基于以上三个概念的认识，运用“属加种差”的定义手段，可以将“乡村教师政策后设评价”的内涵界定为：按照一定的标准，对乡村教师政策评估进行事实判断、价值判断，及时反馈信息，据以引导政策评估的评价活动。

关于乡村教师政策后设评价的意义解读，实质是在回答“后设评价在整个乡村教育生态中居于什么应然性的位置”这一关键问题。目前，乡村教师政策制定与执行的主体是各级教育行政部门。由于教育行政部门不以营利为目的，先天性缺乏内在发展动力。同时教育行政部门在教育资源配置方面具有相对的垄断性，自我改进与发展的外部动力也不足。因此，只有通过有效的外部评估，才能保证教育行政部门获得提升绩效和服务质量的足够动力。政策评估是教育行政部门推进教育事业发展的重要动力来源和主要管理工具。在我国，乡村教师政策经历了从“隐性”(嵌于农村教育政策、教师政策)到“显性”(专门制定乡村教师政策)的过程，受重视程度逐步提高，乡村教师政策评估也随之兴起。然而，我国的政策评估起步较晚，存在评估主体单一、重价值轻事实、缺乏科学性等诸多问题^[7]。由此将难以诊断政策执行效果，无法及时、有效地促进政策的调整和改进。如：2006年，中央出台“特岗计划”的乡村教师政策。随后2011年6-9月，中国-联合国儿童基金会“特岗计划”政策研究项目办公室组织团队对其进行了全国范围内的政策评估调研。但2010-2013年，仅3年时间全国乡村教师数量锐减142.5万，流失率高达30%^[8]。公(免)费师范生、国培计划等乡村教师政策评估问题也层出不穷^[9]。为此，十分有必要探讨乡村教师政策评估的成效问题。政府应通过科学的手段来确保政策评估的严谨与公正，及时调整乡村教师政策，避免政策资源的浪费和人力物力的无效投入。乡村教师政策后设评价正是检视乡村教师政策评估质量的工具，能够提供改进政策评估的方向。而政策评估则是调整乡村教师政策的关键。乡村教师政策直接影响乡村教师的切身利益，关系着乡村教育的成败。简言之，从后设评价的逻辑起点出发，能够形成“后设评价→政策评估→教育政策→教育质量”的倒逼机制。实施乡村教师政策后设评价将有助于乡村教育质量的提升。乡村教师政策后设评价既是完善乡村教师政策评估的“指挥棒”，也是推动乡村教育发展的重要“支点”，其后设评价的功能决定了它在乡村教育生态中应处于顶层设计的重要位置。

乡村教师政策后设评价由国外研究借鉴而来。在国外，该政策评估工具注重独立第三方评估和定量为主的分析技术。要适应中国的社会土壤，乡村教师政策后设评价就必须立足中国现实，设立具有中国特色的目标靶向。

后设评价的作用在于辨别评估活动的优劣。完善的乡村教师政策评估应具备两点特征：一是能够厘清评估的价值问题。社会行动与社会价值之间存在紧密联系，因此乡村教师政策评估的价值必须符合党和国家意志，为社会所公允。假设评估者将主观臆断的价值标准等同于社会公认的价值观并运用于政策评估，将很难保证数据采集的无损性，这样的评估将被认为是“伪评估”^[10]。二是注重技术层面的分析。运用科学有效的评估技术判定政策目标与政策实施效果之间的对应关系，是西方发达国家常用的评估手段。一般认为，通过科学的评估技术能够较为客观地检验政策的真实效果。据此，乡村教师政策后设评价的目标之一，是要引导乡村教师政策评估实现价值判断和技术分析相结合的效果。具体而言，后设评价要评估乡村教师政策评估者的基本目的和用以评估的价值观，检查评估指标的价值取向是否符合习近平总书记关于乡村发展与教育发展的指示精神、是否着眼于乡村振兴大局、是否有利于发展教育以阻断贫困代际传递，等等。后设评价还要对乡村教师政策评估技术作出评估，检验评估技术是否运用定量的分析技术、是否进行科学抽样，检测数据统计的信度、效度如何，等等，以保证评估活动获得全面、有效的数据。

乡村教师政策后设评价的根本目标是要推动乡村教育质量的提升。在实现这一根本目标的过程中，后设评价面临多方利益的交叉、交汇，甚至是冲突现象。具体表现为：第一，党和国家推进基础教育改革的整体利益诉求。当前，党和国家在基础教育领域亟待解决的，是如何化解城乡教育公平问题。要实现城乡教育公平，需要推进基础教育供给侧改革，将教育资源特别是教育人力资源供给切实向乡村地区倾斜。第二，地方政府取得政绩的区域利益诉求。乡村教育投入，是一个投入大、周期长、低产出的过程。地方政府官员基于“理性经济人”的立场，往往倾向于将更多的资源投向当地的重点学校，轻视乡村教育的建设与发展。第三，乡村教师自我发展的个体利益诉求。乡村教师为谋求自身的专业发展，渴望获得更多的培训、进修、科研机会，需要政府为其提供政策支持。第四，乡村儿童获得优质教育的利益诉求。这就要求乡村教师应具备良好的教学能力，运用教学策略和教学智慧，为学生提供优质的教育服务。以上诉求反映了乡村教育生态中利益相关者的真实愿望。政策科学发展进程中的“第四代评估”^[11]，重视利益相关者的内心感受，致力于多元观点之间协商一致，以期达到阶段性的共识。因此，乡村教师政策后设评价作为政策科学发展的先进产物，它的目标之一，就是要在后设评价活动中整合上述多方利益诉求，使各方达成共识，顺利推动后设评价的开展。在具体操作中，有效的办法是由多方主体共同组建后设评价小组，对具体事项进行协商。

根据国外后设评价理论的相关观点，同时结合我国政策评估的实际情况，本文提出乡村教师政策后设评价基本操作模式和指标体系建构的实施策略。

乡村教师政策后设评价的基本操作模式可分为六个步骤。第一，确认后设评价的利益相关者。乡村教师政策后设评价的利益相关者主要是后设评价委托人和后设评价报告的使用者。显然，后设评价的委托人是教育行政部门。后设评价报告的使用者包括教育行政部门、乡村学校、乡村教师及学生家庭。第二，建立后设评价小组。后设评价小组成员要能够代表利益相关者的利益诉求，同时还要具备专业的评估能力。乡村教师政策后设评价小组可由教育局分管行政的副局长、乡村学校校长代表、具备相关专业知识的乡村教师代表和家长代表构成。第三，确定后设评价议题。乡村教师政策后设评价的议题是指诊断现行乡村教师政策评估的效用性、可行性、适当性和精确性，并提供改进评估的可靠依据。第四，确立后设评价标准。后设评价是一项专业的评价活动，必须采用科学的评价指标作为评价标准。一般来说，乡村教师政策后设评价指标体系有两个来源，一是通过科学的调研与前测程序自主建立评价指标体系；二是选取已有的权威评价指标体系，但需要进行适应性调整。第五，收集后设评价信息。对照后设评价指标，由后设评价小组成员背靠背对乡村教师政策评估的全过程进行事实分析，得出有关评估的效用性、可行性、适当性和精确性的程度判断，继而提供改进评估的后设评价信息。第六，撰写后设评价报告。将后设评价信息交由后设评价小组集体讨论，提出乡村教师政策评估存在的问题，并给出改进评估的具体办法。同时将上述内容汇总，形成规范的后设评价报告。后设评价报告可供乡村教师政策后设评价的利益相关者阅读，并提供阅读后意见的反馈渠道。

后设评价指标体系建构在乡村教师政策后设评价过程中至关重要，指标的选取直接决定后设评价的整体功效。

乡村教师政策评估活动是乡村教师政策后设评价的落脚点。在建构后设评价指标体系中，根据相关理论与实践经验，可将乡村教师政策评估活动划分为政策评估规划、政策评估技术和政策评估执行三个部分，分别对其进行评价。其一，政策评估规划主要包含科学性指标和实践性指标：科学性指标注重评判政策评估规划是否有明显的科学导向，同时要考察政策评估指标的价值取向是否正确；实践性指标则注重评判政策评估规划对可能出现的问题和现实困难的把控能力。其二，政策评估技术包含功能性指标和操作性指标：功能性指标注重评价政策评估技术特别是量化分析技术，能否从精准和有效两个方面实现评估目标；操作性指标则注重评价政策评估人员对评估技术的把握程度。其三，政策评估执行包含执行度和满意度两个指标：执行度指标考察政策评估的执行结果，对照评估规划，考察其完成度如何，执行效率如何；满意度指标则是对政策评估利益相关者的评价意见进行收集与分析。

在确立针对政策评估活动的具体评价指标后，鉴于“后设”特殊的思维认知特点，本研究进一步对后设评价各级指标的权重进行设置与分配，以期能够在较大程度上保证后设评价指标体系的完备性。在上述指标确立的基础上，运用层次分析法，根据专家打分结果构造判断矩阵，借助数理分析软件计算各指标权重，最后得出乡村教师政策后设评价各级指标权重的具体分配情况，如表 1所示。

在乡村教师政策后设评价指标体系中，后设评价对象主要涉及政策评估方案和评估人员。为此，本研究参照北美教育评估标准联合委员会发布的《方案评估标准》与《人员评估标准》，分别对乡村教师政策评估方案和评估人员进行后设评价(如表 2、表 3所示)。这两套评估标准在美国教育评估界被广泛采用，具有较高的权威性和可信度。

后设评价是一种专业性活动，必须运用评估领域的专业标准去判断评估活动本身。北美教育评估标准联合委员会发布的《方案评估标准》和《人员评估标准》，曾被夏威夷州教育董事会采用，用于评估和加强教育绩效系统。但这两套标准仅能作为参考，在具体的运用过程中需要对具体标准进行改进和调整。如美国海军陆战队将《人员评估标准》运用在评估和改进该军种人员评价系统中，对其进行了调整^[6]542。相应地，乡村教师政策后设评价的方案评估和人员评估标准的设定，也要进行适应性调整。

在选取乡村教师政策后设评价的方案评估和人员评估指标后，要进一步对指标的达标程度进行准确判别。判别方法如表 4所示。

综观乡村教师政策后设评价这样一种全新的政策工具，它源于政策评估活动，在运用后设评价的思维方法后，兼具政策评估功效，又有倒逼乡村教育质量提升的作用，使得乡村教师政策评估活动更加完备。其重要价值表明乡村教师政策后设评价不应该被忽视，而应置于乡村教育生态顶层设计的重要位置。从实践操作层面上看，后设评价理论由西方政策研究成果借鉴而来，要能够适应中国土壤并在中国的乡村教育场域中发挥作用，就需要乡村教师政策后设评价确立具有中国特色的目标靶向。一方面充分体现政策评估价值取向，坚持中国特色社会主义方向，并注重技术层面的分析，客观地检验政策实施的真实效果；另一方面整合后设评价过程中涉及到的利益相关者的多方利益诉求，力促其达成共识，顺利推动后设评价活动的开展。在乡村教师政策后设评价的实施过程中，要结合实施者现实条件，遵循六个步骤的乡村教师政策后设评价基本操作模式。其中，要重点把握乡村教师政策后设评价指标体系的建构。根据指标来源的不同，实施者既可以遴选指标，赋值指标权重，自主建立指标体系；也可以选用已有的较为权威的指标体系，并进行适当调整后使用。还有值得指出的一点是，后设评价不仅对乡村教师政策评估有着重要意义，其对于社会科学领域的其他研究也颇具价值。后设评价思维处于人类思维的“元认知”位置，当学者采用某种社会学方法进行研究时，应当充分评估方法本身的信度，这时就需要运用后设评价思维。