Quality Monitoring and Evaluation of Vocational Education: Experience and Enlightenment from Britain, America, Germany and Australia

价值理念是职业教育质量监测评估体系建设的方向性问题，具体外化为职业教育质量观和职业教育质量监测评估的目标取向。在英国，职业教育质量监测评估主要采用督导式评估。根据教育标准办公室(Office for Standards in Education, Ofsted)职业教育质量监测评估标准，“坚持支持和促进改善的原则，通过评估职业教育在满足学习者需求方面的效用和效率，进一步加快改进继续教育与技能质量”^[5]。美国职业教育质量监测评估理念先后经历了“投入导向—结果导向—标准导向”三次转向^[6]。如今，为配合川普政府主导的“复兴大政”，美国各州的职业教育改革，尤其是质量导向正积极向技能本位、学生本位和社会本位靠拢^[7]。德国“双元制”的职业教育体系决定了其职业教育质量观深受企业质量观的影响，在经历ISO9000质量标准体系之后，德国企业和职业教育质量观从“专家导向”转为“顾客导向”，从“结果优化”转为“过程优化”，从“外部质量保障”转为“内部质量保障”^[7]，在为经济社会发展服务的传统目标取向下，更加注重学生综合素质尤其是技能的发展提高。在澳大利亚，受国内经济社会局势影响，职业教育质量监测评估确立了多元化、全民化的宏观目标，澳大利亚质量培训框架(Australian Quality Training Framework, AQTF)的理想就在于“给所有公民提供工作世界所需要的技能，增强劳动力市场的流动性，实现职业教育与培训的结果平等，实现公共职业教育与培训价值的最大化”^[8]。

从英、美、德、澳四国的实践经验来看，职业教育质量监测评估体系的价值理念呈现出鲜明的层次性和关联性。层次性是指职业教育质量监测的价值理念受职业教育目标、社会经济发展的影响，呈现出逐级递升的层次性特征，按照范围从小到大表征为倒梯形结构。如图 1所示，第一层次为促进学生学习的短期性目标，最典型的就是英国职业教育质量监测评估；第二层次为发展学习者(被培训者)技能的中期性目标，例如澳大利亚全民技能提升(skill for all Australians)计划中的评估；第三层次为促进经济社会发展的终极性目标，通过内部质量监测评估，提升学生质量，进而实现职业教育的社会功能。关联性主要表征为两个方面，一是三个层次的发展目标次第关联，层层递进；二是所有的监测评估理念都不同程度地受到各国职业教育制度体系、经济社会发展现状的制约。

因此，我国在建设现代职业教育体系的过程中，职业教育质量监测评估体系建设在目标理念上，首先要兼顾国家经济社会发展的现实情况，以大力培养国家经济社会所需要的技能型人才为宏观目标，制定我国职业教育质量监测评估的战略目标。其次，遵照职业教育发展的基本规律，以人才培养为核心，从职业能力、职业素养、职业道德等方面综合考察职业教育人才培养的结果质量，提高职业教育的人力资本供给。最后，在借鉴国际经验的基础上，坚持社会主义的教育方针，始终确保职业教育质量沿着正确的政治方向前进，全面引领和促进中国职业教育质量监测评估公平而卓越的变革发展。

职业教育质量监测评估的组织架构是关于评价主体及其资格的重要问题，而“谁来评”往往决定着职业教育质量监测评估的公信力。除了被评估的职业院校和培训机构之外，英、美、德、澳各国职业教育质量监测评估的组织架构主要由官方机构、半官方机构和第三方评估机构组成，评估主体多元参与，民主协同，共同致力于提高质量监测评估的公信力。四国职业教育质量监测评估的组织结构大致如表 1所示：

英国职教质量监测评估主体包括Ofsted、行业技能委员会(Section Skill Council, SSC)、拨款机构(Funding Agency, FA)、职业与继续教育院校(Further Education College, FEC)等相关部门^[10]。美国职业教育质量监测评估以联邦政府为宏观指导、以州政府为核心、以地方为基础。目前，教育规划评估和政策发展办公室(Office of education planning, evaluation and policy development, OPEPD)实施全国生涯与技术教育质量评估(National Assessment of Career and Technical Education, NACTE)^[11]。在各州，政府和高校共同作为评估主体，还有技能标准委员会(Skill Standards Commission, SSC)、利益相关者委员会(Stakeholders Committee, SC)、工商界协会(Industry and Business Associations, I&BA)、生涯与技术教育协会(The Association for Career and Technical Education, ACTE)等。同时，国家认证的第三方机构，如职业学校和技术院校认证委员会(Accreditation Council for Career and Technical colleges, ACCSC)、继续教育与培训认证协会(Association for further education and training certification, ACCET)等也参与评估^[12]。德国职业教育质量监测评估机构采用“双重的认证体制”，第一重认证是德国职业教育与培训机构的认证，德国职业院校必须获得评估机构的认证才能申请并获得资助；第二重认证是评估机构的认证，所有德国职业教育评估机构必须获得联邦劳动局的认证方才可以对职业院校进行评估。在评估的执行上，德国联邦经济与劳动部、教育与研究部、行业协会、企业家代表、职业院校等共同组成国家认证委员会(Accreditation Council)，具体负责为评估和认证设计方案^[13]。而联邦劳工机构认可的评估机构或专门评估中心则负责具体的“验证”或“认证”工作。澳大利亚的职业教育质量监测评估主体较为多元，大学、联邦政府、州及领地政府、社会专业机构、质量评估机构各有分工，各司其职，相互协作，形成了一个高效的职业教育质量监测评估体系。目前，主要由国家质量委员会(National Quality Council, NQC)、澳大利亚技能质量署(Australia skills quality department, ASQD)、行业培训咨询(服务)委员会(National Industry Training Service Committee, NIST)以及各州注册/课程认证机构(Registering/Course Accrediting Bodies, R/CAB)等开展外部评估^[14]。

事实上，英、美、德、澳职业教育质量监测评估的组织架构十分复杂，而且各具特色，还在不断变化。只不过这些变化都是在解决两个核心问题：一是职业教育质量监测评估主体多方民主参与的问题，二是提高职业教育质量监测评估公信力的问题。这两个问题在本质上是一个问题的两个方面，因为民主参与是为了保障评估的公信力。从四国职业教育质量监测评估的组织架构来看，我国职业教育质量监测评估的组织架构需要从以下三方面去改革：一是多方面吸引利益相关者参与职业教育质量监测评估，确保参与面的“广度”；二是切实保证多元力量的民主参与和高效协同，保证职业教育质量监测评估参与过程的“深度”；三是大力发展第三方职业教育质量监测评估，确保职业教育质量监测评估结果的“信度”。

英、美、德、澳四国职业教育质量监测评估都不约而同地采用多重评估模式，而且不同的评估模式又有不同的操作流程与特色。具体来说，英国主要实施Ofsted主导下的职业教育质量督导评估，主要是外部督导式评估。美国在联邦教育体制下实施多样化的职业教育质量监测评估，主要实行基于第三方的质量认证和基于政府的质量问责。德国职业教育质量监测评估深受企业质量观的影响，因而内部评估和外部评估相得益彰。澳大利亚职业教育质量监测评估力求全民技能化，其“唯一的学生标识符”(unique student identifier)颇具特色。如表 2所示，英、美、德、澳四国职业教育质量监测评估的部分模式、操作流程如下：

如表 2所示，英、美、德、澳四国职业教育质量监测评估方式与流程相当复杂，随着模式的不同而不断变化。英国职业教育质量监测评估在Ofsted主导下，经历了“选择评估对象—评估前的准备—预评估—督导评估的确认—评估实施—评估报告撰写、修改与公布”六个阶段。期间，皇家督学(Her Majesty's Inspector)、Ofsted、提名人、核心督导人员和学科督导人员以及职业教育学院(FEC)共同参与，同时督导负责人向督导服务机构参与评估报告的起草、修订与公布。美国职业教育质量认证制度则分为“申请认证资格—自我评估—现场考察—认证决策—周期性复评”五个环节。期间，NACTE与各州的技能标准委员会、利益相关者委员会、I & BA、ACTE、ACCSC、ACCET等分层次参与并完成质量评估。德国外部职业教育质量监测评估则以学校现场巡查为分界线，在巡查前要事先召开筹备会议，然后进行8周左右的数据收集与材料准备，2周左右的评估设计。3天学校现场巡查之后，则需要1周形成初步报告，3周形成最终报告，最后大约需要3个月时间达成行动协议。澳大利亚“唯一的学生标识符”(unique student identifier)则根据学生自身技能掌握和学习进度，从注册评估到最终的评估档案流程虽然简单，但是时间花费则因人而异。

评估方式选择与评估流程设计是关系到职业教育质量监测评估成败的最核心环节。通过对英、美、德、澳职业教育质量监测评估模式与流程的比较可以发现，程序设计的公正性、操作流程的层次性以及评估方式的多元互补性是四国职业教育质量监测评估成功的关键。因此，纵览四国职业教育质量监测评估模式与流程，我国未来的职业教育质量监测评估需要做到：一是不断丰富职业教育质量监测评估的方式，通过外部评估、内部评估以及多种其他方式相结合的办法，全面监测中国职业教育质量；二是修缮中国职业教育质量监测评估的程序与过程，借鉴国外经验，在评估设计、评估过程和评估报告方面加强程序规范；三是基于评估程序的规范，分层推进中国职业教育质量监测评估，各相关单位严格执行程序规范，确保评估过程的公正和评估结论的可信度。

过程监控和全面质量是英、美、德、澳四国职业教育质量监测评估指标体系的最大亮点。然而，由于质量观的不一致，各国职业教育质量监测指标体系也就千差万别。目前最典型的职业教育质量观有三种：一是职业教育产出观，从职业教育输出的角度评价职业教育质量；二是职业教育要素投入观，从质量生成过程去评价职业教育质量；三是职业教育的服务质量观，以顾客满意度去衡量职业教育质量。与此三种质量观相对应，也就有了三种不同的职业教育质量监测评估指标体系。然而，在实践中很多国家往往会整合多种质量观，形成不同的质量监测评估体系。如表 3所示，英、美、德、澳的职业教育质量在指标体系就各具特色。

英国职业教育质量评估执行全国统一标准，以Ofsted开发的继续教育与技能培训通用督导评估框架(Common Inspection Framework for further education and skills)为准线^[15]，并辅以国家职业资格证书系统(National vocational qualification, NVQ)和通用国家职业资格证书系统(General national vocational Qualification, GNVQ)^[16]。在具体评估中，突出核心技能，评估职业教育的全面质量，关注总体效能(Overall effectiveness)、学生学习(Student learning)、教学评估的效能(Teaching & evaluation effectiveness)和领导管理效能(Leadership management effectiveness)。美国联邦政府则督促各州从职业教育领域到劳动力市场、从职业教育投入到职业教育产出、从职业教育组织机构到各要素的参与程度对生涯和技术教育实施综合性的质量监测^[17]。在实践中，形成了中等职业教育质量标准体系(The secondary vocational education quality standard system)、中等后职业教育质量标准体系(The post secondary vocational education quality standard system)以及各个州的附加标准体系(State's additional standard system)。综合地从学习、技能、资格证书、完成率、就业率等监测评估质量水平。德国职业教育质量指标体系涵盖了宏观、中观及微观三个层级，并且输入、过程、输出与长效质量四个节点构成的标准系统^[18]。在过程维度，形成了过程质量标准，主要有学校管理、学习与工作条件、教育与培训过程、质量开发和合作等。在结果维度形成了绩效质量标准，主要有学生取得的成就、学生的行动能力、教师、学生及利益相关方的满意度等来衡量教育目标、培训目标和素质提高目标等。澳大利亚从背景、参与、资源、产出和结果等方面对职业教育质量进行监测，从6个维度构建了53个评估职业教育发展质量的指标^[19]。同时，也形成了澳大利亚质量培训框架(Australian Quality Training Framework，AQTF)、培训包(Training Packages，TP)和澳大利亚资格框架(Australian Qualifications Framework，AQF)体系去监测职业教育质量^[20]。

比较发现，英、美、德、澳四国职业教育质量监测评估指标体系都注重全过程的监控，从投入、过程、产出等方面系统地实施质量监测，并且出台了相当完善的质量评估标准体系，加上各种质量框架和资格框架，测度职业教育发展的全面质量。因此，我国职业教育质量监测评估在指标体系的建构上，应该做到以下三点：一是在监测系统的设计上，要坚持全面质量观，从职业教育“输入—过程—产出”的全过程实施系统监测；二是基于职业教育全过程的监测，制定职业教育质量监测评估的标准体系，把过程质量、结果质量，办学投入与办学效益区分开，避免低效率导向的职业教育质量监测评估；三是逐步建立中国职业教育资格框架和质量框架，并逐步与国际接轨，实施职业教育质量的科学监测评估。

职业教育质量监测评估的方法与工具关系到监测评估过程的数据收集、数据处理与数据分析，在很大程度上影响着职业教育质量监测评估的结论。在“互联网+”的时代，教育质量监测评估必须和信息技术相结合。基于信息技术创新的职业教育质量监测评估方法与工具创新，尤其是监测数据的收集、加工、分析处理以及数据公开技术对于职业教育发展至关重要。目前，英、美、德、澳四国职业教育质量监测评估一方面因地制宜的使用传统的教育评估方法与工具，另一方面正大力引入信息技术革命和数据革命促进职业教育学生发展^[21]，推动职业技术教育质量监测评估的变革发展。从传统工具和信息技术工具划分，英、美、德、澳四国职业教育质量监测评估的方法与工具见表 4。

如表 4所示，英国职业教育学生评价、国家职业资格证书评价和教学质量评价都有着自身不同的评估方法和工具。其中，教学质量评价采用的主要方法有：与学习者群体进行讨论、检查学习材料、学习者现场演示、案例研究、影子评估员(shadowing assessors)、在职培训评估、工作场所学习者职责与技能展示和其他相关方法。美国职业教育质量监测评估的方法和工具也分为综合性评估方法和教学质量评估方法，其中，综合性评估方法主要有测验(testing)、调查(survey)、绩效评估(performance assessment)、基于结果的评估(outcome-based assessment)、基于能力的评估(competence-based assessment)、真实性评估(authentic assessment)、档案袋评估(portfolio assessment)、在线评估(online assessment)等。同时，在质量问责方面，还建有“评估数据库”、“测试题库”和“评估收集库”等质量问责工具。德国职业教育质量监测评估方法同样深受企业标准的影响，综合性的评估方法主要有ISO9001、质量评估与改进应用(Qualität durch Evaluation und Entwicklung, Q2E)、欧洲质量管理基准(European Foundation for Quality Management, EFQM)和学校项目(School program)等^[22]。同时也还会用到问卷调查、文本分析、访谈法、结构化观察、系统的自我反思等方法。澳大利亚的职业教育质量监测评估方法侧重于服务质量评价，所用到的方法有用户/企业满意度调查、学生自陈问卷调查、专家德尔菲法等，同时还有学生测验、课堂观察、问卷和访谈等。此外，澳大利亚充分利用网络测评技术，开发了“我的技能”网络评估系统、“唯一的学生标识符”(unique student identifier)系统等。

从国际来看，各国职业教育质量监测评估采用的主要方法是调查法，包括学校调查、教师调查、学生满意度调查等。但是基于对调查法局限性的反思，各国开始采用多元方法对职业教育质量进行监测评估，如问卷调查、测验、访谈、结构化观察、文本分析、档案袋评估等^[23]。事实上，伴随着职业教育系统自身的革命和互联网技术的影响，单一的评估方法已经不能满足当前各国职业教育质量监测评估的需要。因此，中国职业教育质量监测评估必须因地制宜，综合创新，采用多种评估方法与工具去实施有效评估。一方面要不断整合和创新传统的教育评价方法，充分发挥传统教育评估方法的作用，因地制宜地使用这些方法；另一方面，需要引入信息技术，借助计算机、互联网的超级运算功能和数据收集与加工能力，不断完善职业教育质量监测的数据库和信息技术手段，实现大数据、云计算支持的监测评估^[24]。此外，要在传统方法的基础上不断创新，建构适合我国国情的质量发布系统，科学有效地向社会公众反馈职业教育质量发展的实情，基于良好的大众参与和公共治理，提升我国职业教育质量。