田野 吉利
摘要：职业能力测评工具的客观性、可靠性、正确性和公平性，对于测评结果的客观性、系统性和科学性具有决定性的意义。同时，在不同文化背景下，对同一测评工具和指标的有效性检验，往往成为职业能力测评国际比较研究的重要基础。KOMET项目通过北京与德国黑森州的对比研究发现，中德两组评分员对“经济性”“企业生产流程和工作过程导向”与“社会接受度”三个能力指标赋予的权重较为接近。与之相反，双方对“环保性”“创造性”“使用价值导向”等能力指标的权重未达成一致性意见。大多数能力指标的变异系数表明，中德教师对职业教育指导思想和教学目标的理解存在一定差异。
关键词：KOMET;职业能力测评;指标权重;差异化分析
中图分类号：G715 文献标识码：A 文章编号：1672-5727（2021）01-0090-07
现代职业教育是以就业为导向和以人为本的教育，它至少应满足两个方面的要求：一是职业资格获取，二是学生的职业成长和个性发展。因此，职业教育的目的是实现人的全面发展。与普通教育相比，职业教育只不过采用了不同的“内容载体”。普通教育的载体是科学文化知识，职业教育的载体不仅包括操作技能，还包括来自职业实践中的“综合性职业行动”。
职业教育促进人的全面发展，这意味着职业院校的核心任务是发展学习者的综合职业能力。综合职业能力是人们在真实的工作情境中整体化地解决综合性问题的能力，是从事一个（或若干相近）职业所必需的本领，是在职业工作、社会活动和私人生活中科学的思维、对个人和社会负责任行事的热情和能力。综合职业能力是科学的工作方法和学习方法的基础，也是人的综合素养的体现[1]。
一、KOMET项目与测评工具
职业能力测评作为衡量职业教育水平的重要指标之一，受到国内外职业教育研究者的广泛关注。近年来，北京教育科学研究院职教所、北京师范大学职成教所与德国不来梅大学技术与教育研究所联合在北京市职业院校实施了职业能力测评和国际比较研究KOMET（KOMET为德语缩写，英语全称为Competence Development and Assessment in TVET，简称又作COMET）。研究中用职业能力测评和职业道德问卷调查相结合的方式，对北京市7所中高职院校831名电工类专业学生以及38名教师进行了职业能力测评和调查研究，旨在探索建立职业能力模型和实施测评的具体方案。KOMET测评工具的开发与选择在很大程度上取决于调查目标和调查的依据。主要包括：开放式测试题、背景问卷、测评动机问卷（学生填写）、学生测评动机问卷（教师填写）、能力标准权重分配的问卷（评分员填写）、基本认知能力测评（智商测试KFT的“图形分析”部分）等测评工具[2]。
运用测评工具时，人们常常会追问四个维度的标准，即客观性、可靠性、正确性和公平性。而对这些标准的诠释和把握，往往对于测评结果的客观性、系统性和科学性具有决定性的意义。
（一）客观性
客观性是指测评结果不会因测评使用者的不同而发生改变。测评的客观性可以划分为实施客观性、评价客观性和解释客观性。在KOMET项目中，测评客观性是通过测评模型来保障的。实施的客观性，即测评结果不受研究者或领导者的影响。评价的客观性，即给答题结果打分时的独立性，可以通过使用统一的打分表、经特殊培训的评分员和匿名打分来确保。在KOMET项目中，评分员先根据39项评分点对学生答题结果进行评价，接着通过标准程序分别换算成八项能力指标、三个能力级别和职业能力（总分值）的分数。
（二）可靠性
可靠性是指以多高的准确度测量被测属性。测评学习成绩时，一般会根据测试题目难度和选择性对其调整，以保证测试题目的难度保持在中值0.5上，即每道测试题目应该确保50%以上的被测者能顺利解决。当难度值达到0.5时，选择度也能达到最高值。标准化测试题的形式完全不适用于职业能力的测评，因为通过这种方式达到的精确度会影响测试题在内容上的准确性。KOMET项目面临的挑战不仅要使用实践导向的开放性测试题，还必须兼顾答题结果评价的高准确度。
（三）正确性
正确性是指测试题能较准确地反映要测评的内容。测试题内容的有效性是由其内容是否反映职业特征或职业“实践共同体”的职业特征，以及是否反映其工作实践所决定的。世界技能大赛（IWS）的成功经验表明，国际比较性能力诊断与测评可以采用“职业有效性（职业效度）”方案。尽管各个参赛国对职业描述采用的形式和结构不一样，但各国专家均认为应该对职业工作与职业任务进行简短的描述，并在此基础上选择竞赛项目和考试题。世界技能大赛每两年会对职业描述进行一次修订，其评价（打分）程序还能从定量的角度对不同职业及其相应的项目进行国际性比较研究[3]。
KOMET项目在开发与选取测试题上也证实了世界技能大赛的经验，即各国同一职业的专家一般都能在测试题的内容效度上达成一致意见，尤其是对于来自工作实践的、复杂的开放性测试题的内容效度。所以，当为某一特定人群（比如电子运行工）专门开发出一套测试题时，可以由专业教学专家进一步判定，这些测试题是否也适用于可比性的职业。
（四）公平性
按公平性标准要求，测试题应该能够反映出被测者的学习经历与经验。KOMET实施的初衷是对教育体系与教学形式进行评价，或了解学习领域方案的实施情况。此外，实施这些测评还旨在审核教学大纲开发和职业教育实施的现状，而考察学生个人的成绩并不属于KOMET测评的重点范畴。在这种情况下，KOMET测评的公平性指的是，职业教育实践能够接纳其能力模型以及以能力模型為基础的理论框架。KOMET项目的能力模型及其测评方法（包括测试题目在内）都是由科研团队和教师团队共同开发与制作的。假如要在国际比较中运用这一测评方法，参加测评的所有成员都必须对这一能力模型和测试方法进行再认识。如果教师还打算将测评结果反馈给其学生，也须先说明其调查的目的。
二、中德职业能力测评指标权重的比较分析
（一）关于能力指标的调查
评分结束后，中德两国评分员（教师）都回答了下列问题：“您觉得这八个能力标准对评价职业能力的意义分别有多大？”这项调查的结果还会引出下列问题：“北京职业院校的教师是偏向于从职业的角度理解知识与能力的传授，还是从学校（学科）教育的角度？这两个理解角度所占的比例为多大？”通过承担评分员工作，教师们对KOMET八个能力标准/指标的定义都比较熟悉了。八项能力指标的权重之和为100%，同时赋予每个指标的权重都是相同的，即每个指标的权重为12.5%。中德评分员分别对这八项能力指标所占权重进行了评价，两组评分员的评价结果见表1所示。其中两组评分员给八个能力指标中的四个指标赋予了几乎相同的权重值，而对于“功能性”这个指标，中方评分员认为它对职业能力的重要性占26.2%，德方给出的权重是27.5%，这说明中德两方均对这个指标的重要性做出了很高的定位，甚至觉得它比其他能力指标重要2～3倍。
这说明专业理论导向的传统职业教育在教育教学活动中更侧重于传授专业的工具性能力。同时，中德两国评分员对“经济性（11.5%/10.7%）”“企业生产流程和工作过程导向（10.2%/8.5%）”与“社会接受度（7.1%/8.6%）”这三个指标的权重也分别给出了比较接近的值。与之相反，双方对其余能力指标的权重未达成一致性意见。尽管两国评分员对这四个能力指标的权重均有不同的赋值，但他们在各个指标权重的分配上也具有较高的相似度。
上述数据不仅可以用来比较中德两国评分员对每个能力指标所赋的平均权重值，还可以调查某一评分组不同评分员之间的评分结果的一致性程度。如果从中德所有评分员所赋权重值的离散程度来分析这项调查结果，则发现这些结果会表现出明显的异质性。无论是德国还是中国的教师团队，其变异系数基本上都在0.3～0.5之间，位于这个区间的值就相关专业文献看来是比较均质的，即两国团队内不同教师之间的评价结果的一致性程度均较高。在这项调查中，中德教师一致认为，假如德国持续实施学习领域方案十年以上，同时中国为实现“行动导向教学”连续多年开展相关师资培训项目，那么两国对于“高品质职业教育”的观点会更一致，因为对于这一观点中德双方评价结果的变异系数很低。从积极的角度来看，这个较低的变异系数意味着职业院校教师的思想与行动已经开始转变。这一推断也同样适用于中德两国作为评分员而加入到项目的教师们。
（二）指标权重的差异化
本文重点从两个方面分析KOMET评价的八个能力指标，即比较中德两组评分员所赋的权重值（组与组之间的平均权重值比较）和在中德两个评分组内不同评分员之间评分结果的一致性程度（各组组内成员评价结果的一致性程度），下列字母P表示“北京”，字母D表示“德国”。
1.展示/直观性（15.9%[P]/13.1%[D]）
本次测评中“记录工作结果的展示/直观性”指标的内涵包括：对委托方来说，解决方案的表述是否容易理解。对专业人员来说，是否恰当地描述了解决方案;是否直观形象地说明了任务的解决方案（如用图表/用图画）;解决方案的层次结构是否分明;描述解决方案的条理是否清晰;解决方案是否与专业规范或技术标准相符合（在理论、实践、制图、数学和语言方面）。
关于这个能力指标权重的评价，我国评分员给出的权重值比德国评分员高，而且也超过了平均权重值12.5%。这可能与中国的文化传统相关，中国文化较为注重事物的外在形态，即其表达形式。也就是说，那些可以让受众直接观察到的事物在中国文化中会得到更高的关注度。
此外，中德雙方的评分组在这个能力指标权重值上的变异系数都比较大，分别为0.41（P）和0.43（D）。由于被调查者（中德教师）对这个指标很熟悉，他们自然会根据自己日常教学的经验，以及显性与隐性教学目标来评价它在KOMET八个能力指标中的权重，因此也就导致了大家在评价这项指标权重时，意见分歧较大。这也反映出两国职业教育标准中对展示性能力的指标尚缺乏明确规定。
2.功能性（26.2%[P]/27.5%[D]）
KOMET测评中“功能性”指标主要指：解决方案是否满足功能性要求，是否达到“技术先进水平”，是否可以实施，是否（从职业活动的角度）说明了理由，表述的解决方案是否正确。德国评分员认为“功能性”指标的权重值应该分布在15%～50%，但有个别评分员却认为这一指标达不到八个指标的平均权重值。而大多数评分员却认为“功能性”是说明一个解决方案好坏的重大特征。
德国评分组在这项指标上的变异系数是0.35，这是其评价所有指标的最小变异系数;而我国评分员在这项指标上的变异系数则为0.32，也是其评价所有指标的最小变异系数之一。这两个评分组在这一指标权重评价结果上的一致性程度比其他指标都高。这充分反映了“功能性”作为职业能力的基础性指标具有更广泛的通用性，受不同国家（区域）工业文化以及行业产业发展水平等影响因素较小。
3.使用价值导向/持续性（11.4%[P]/16.3%[D]）
德国学习领域方案的一个核心教学观是职业教育的教学内容应该体现“使用价值”。这一指标强调在职业行动、行动过程、工作过程和工作任务上始终要以用户为导向，因为用户的利益代表了工作成果或产品的持续性。使用价值导向指标也指特定工作情境下解决方案使用价值的高低。如一个具有较高使用价值的解决方案，除了能满足用户的直接使用要求和减少使用中的故障外，还要考虑后期保养和维修的便利性。解决方案有多强的持久性、有多大的扩展可能性，同样也是重要判断依据[4]。如果忽视了教学内容的使用价值，那么职业教育就丢失了它的一个核心目标。因此这一指标在能力标准中应该占据一个特殊的比重。对此，德国评分员给出的比重平均值为16.3%，甚至有超过三分之一的德国评分员对这一指标给出了20%～30%的比重。与之相反，我国评分员对任务解决方案的使用价值仅给出了11.4%的权重。我国评分员对于“使用价值”这一指标不仅赋予了较低的权重值，同时在这项指标权重的评价结果的变异系数V仅为0.29。而德国评分员虽给出了相对较高的权重，但变异系数V为0.37，表明意见也存在较大波动。
总体上而言，这或许与两国目前在工业和生产文化上的差异有关。德国企业中分工更加强调职业的整体性以及员工独立自主完成工作的能力，这种能力要求无论是生产环节，还是售后环节始终把客户需求放在首位。因此，德国职业教育与培训很早引入ISO9001作为质量保障体系，其中“以客户为中心”是其中的七大质量管理原则之首[5]。此外，德国工业进军4.0时代，其显著特点是以最新的数字技术、大数据和全新生产方法来最大程度满足客户多样而灵活的要求，这都使得德国评分员在职业能力评价上对使用价值导向和客户需求导向的认可度更高。
4.环保性（10.3%[P]/8.0%[D]）
我国评分员对“环保性”这一指标赋予的权重居然比德国评分员高，前者的赋值为10.3%，后者为8.0%。中德两组评分员在这一指标上的变异系数分别为0.44和0.43，这说明我国教师在评价这一指标的权重时，其意见的分布情况与德国教师差不多。事实上，“生态”这一主题对于所有国家的所有类型学校都具有重大教育意义。目前我国环保问题已经涉及了众多方面，比如说空气污染、洪涝频发、土地荒漠化面积扩大、耕地减少等。当前中德两国的教育体系都面临着一个挑战，那就是如何将公众普遍的环保意识转变为各自领域的环保能力。尽管德国人都普遍遵守职业工作中与环保相关的法律法规和标准，但是在KOMET项目中，“环保性”这一指标内涵更加具体和多元，它不仅仅是指一般的环保意识，对生产过程及其结果所提出的职业特定要求与专业特定要求都列入环保性这一指标。同时，还要考虑到，解决方案中多大程度上使用了对环境无害的材料，以及在完成工作任务时工作设计多大程度上符合环保性的要求。此外，节约能源和废物的回收与再利用在解决方案中也必须考虑到。可以推断，对于环保性指标，中国评分员更倾向于从环保意识角度把握指标内涵并分配权重，而德国评分员更多从指标内涵的微观角度来考量指标，这也是我国评分员给予权重更高的原因。
5.创造性（8.3%[P]/6.4%[D]）
创造性不仅应该体现在研究活动中，还应该是职业教育的一个重要的教育目标，但是在职业教育实践中经常被忽略。近年来，“创造性”在经济政策和教育政策讨论中得到了极大的关注。人们在教育领域中普遍批判的是传统的、讲授式教学模式，因为这种教学模式为学生主观能动性和创造性发展提供的空间很小。要形成一种自主发展的文化，通过教育来培养国民创造性是一项十分关键的措施。
虽然测评中“创造性”并不是针对整个学习领域教学模式的评价，而主要是考查学生的解决方案是否具有创新性。尽管如此，中德两国的评分组对“创造性”这一指标均给出了最低的权重值。由此可见，关于引进行动导向教学模式，职业教育界讨论的焦点仅停留在“有目标的理性行动模式”上，职业教育还应该在此基础上促进富有创造的行动。国际著名的工程学家霍华德·罗森布鲁克（Howard Rosenbrock）在分析工程工作时总结称“工程学更像艺术，而不是学术”。因此，培养和促进创造性必须以特殊学习形式为前提条件，除了要向学生提供足够的、有目的的理性空间，还要为学生提供富有创造的行动模式。
中德两组评分员在这一指标上的变异系数分别为0.42和0.75，这说明德国教师在评价这一指标的权重时意见分歧很大。德国一方，有32%的评分员认为创造性这一指标的权重应该在0～4%之间，而44%的评分员则认为创造性这一指标的权重应该在5%～9%之间，而认为这一指标权重应该在10%～14%、15%～19%、20%～24%的评分员分别占12%、8%和4%。这也说明创造性的内涵和培养路徑在两国职业教育中仍需要进一步探索和研究。
6.经济性（10.7%[P]/11.5%[D]）
指标“经济性”是指实施解决方案的成本因素。如时间与人员配置是否满足实施方案的要求，如何权衡企业投入与收益之间的关系，以及是否考虑到后续成本的问题。中德两组评分员对此分配的权重比分别为10.7%和11.5%，权重值在中德两国评分组内没有太大波动，而且两个组的权重平均值也比较接近。我国评分员对这一指标权重值的评价结果一致性较高，其变异系数V仅为0.24。与之相反，德国评分员的评价结果差异性较大，其变异系数V为0.42，其中40%的德方评分员认为经济性这一指标的权重应该在10%～14%之间，而认为在15%～19%、20%～24%的评分员分别占24%和12%。也就是说，有76%的德方评分员赋予了10%～14%及以上的权重。可见这种差异性的背后恰恰是德国教师对“经济性”指标重要性的高度认同。事实上，德国职业教育通过实施项目教学，培养综合职业能力，学生或团队在项目设计时需要自行查阅资料，对项目原材料和其他资源进行成本核算，并做出预算报告。以此把成本意识和质量意识有效渗透到教学之中，通过细节培育学生的“工匠精神”。虽然中方评分员对这一指标重要性认识较为统一，但在实际教育教学过程中，在学生综合职业能力培养上，还需要进一步落到实处，做到实效。
7.企业生产流程和工作过程导向（8.5%[P]/10.2%[D]）
“企业生产流程和工作过程导向”这一指标是两国职业教育课程改革中的一个关键概念。尽管学习领域方案存在各式各样的描述，但是这一指标始终占据着特殊的位置。德国各州文教部长联席会议（KMK）发布的《学习领域式框架教学计划开发手册》实现了课程开发的根本性视角转变，即学科系统化课程开发向工作导向课程开发转变。新开发的学习领域课程方案的指导思想：一是教育学生具有从经济、社会和生态的负责的角度建构工作世界的能力;二是教育是发展独立的自我意识和自我负责的个性的前提条件;三是教育的目标和内容既依赖于同时又独立于劳动与技术的关系[6]。“企业生产流程和工作过程导向”这一关键概念是这一根本性转变的主要标志，该指标涉及到企业等级结构（从企业内部的垂直结构角度）中的上下游环节以及生产链（从企业内部的水平结构角度）中的上下游环节。尤其是在程序控制的工作系统的条件下，这一指标对于以企业网络和企业间组织的生产过程来说具有十分特殊的意义。以企业流程为导向的解决方案会考虑到与上下游过程之间的衔接，还考虑到跨自己职业工作界限的共同合作。
值得注意的是，德国评分员对这一指标权重值的评价结果略低于8个评分指标的平均值，即略低于12.5%。虽然这一指标已成为一部分教师的教学理念，但通过进一步分析这一指标权重值的分布情况，我们注意到有两部分教师的权重评价结果比较特殊。一部分教师对这一指标权重的评价明显偏低，而另一部分教师则明显偏高。特别是，我国教师对这一指标权重赋予值为8.5%，低于德方4个百分点，且评价意见相对统一，其变异系数V为0.38，而德国的变异系数V为0.41。这可以解释为，我国教师对企业生产流程和工作过程导向教学模式价值的认可，尚未取得很明显的进步。
一般认为，职业教育与培训的理念与工业文化和企业管理密切相关。从技能密度、分工精细度和企业组织扁平度来看，德国企业摆脱泰勒制管理走向精细化管理的特征更明显，这一发展过程被学者们称为“从职能/职务导向转变为过程导向的企业工作组织”，因此，德国企业更加强调工作完成的整体性，并对专业人员提出相应的要求。相对比之下，我国更倾向于采取精细化分工和定岗熟练操作的模式，无形之中切割了技能水平要求[7]。
8.社会接受度（8.6%[P]/7.1%[D]）
这一指标主要涉及到人性化的工作设计与组织、健康保护以及其他超越工作本身的社会方面（例如委托方、客户和社会的不同利益），同时也要考虑到工作安全、事故保险以及解决方案对社会环境可能造成的影响等。中德两个评分组不约而同地为这一指标给出了相对较低的权重值。这表明能力指标“社会接受度”的意义尚未对职业院校教师的教学活动产生明显的影响，尽管这一指标在分析和描述技术与工作创新时具有重大意义。同时，中德两个评分组出现的相对较高的变异系数（中国评分组为0.41，德国为0.49）表明，无论是中国教师还是德国教师，他们对这一指标对教学活动产生的价值均未达成比较统一的认识。
三、结论和启示
对KOMET评分员的调查，其目的在于从实证的角度分析能力测评的结果，因为数据在某种程度上反映了教师的教学活动方式。学生（学徒）显现出的能力特征在一定程度上透射着职业教育的培养过程，而职业教育过程的特征又是由教师个体的职业能力模式所刻画的。这项调查的结果表明，中德两国职业院校教师对“经济性”“企业生产流程和工作过程导向”与“社会接受度”三项能力指标赋予的权重较为接近。与之相反，双方对“环保性”“创造性”“使用价值导向”等能力指标的权重未达成一致性意见。同时，大多数能力指标的变异系数表明，两国职业院校教师对职业教育指导思想和目标的理解存在一定差异。应进一步探讨学生的职业能力差异是否归因于教师的偏好，以及教学过程中传授能力的方式与方法。KOMET基于能力模型的综合职业能力测评或许是改善职业教育人才培养质量的有益出发点，可为专业建设、人才培养和教师培训提供有益借鉴，为教学改革和行政决策提供参考。
（一）进一步建设国际化、开放性的职业教育专业教学标准
专业教学标准是开展专业教学的基础性文件， 也是指导学校组织实施教学、加强专业建设、开展质量评价的基本依据。KOMET作为国际性大规模的职业能力测评工具相继在北京、四川、重庆等地试点实施，其前提是KOMET能力模型是根据学习领域课程的理念来评估教与学的模型。近年来，我国在职教课程改革和专业教学标准建设中，广泛借鉴以综合能力培养为目标、以行动导向教学理念为指导、以典型工作任务分析为开发路径的德国学习领域课程模式，这是中德实施职业能力测评和比较研究的基础条件。因此，开发具有国际水准、中国特色的职业教育专业教学标准，是进一步提升职业教育质量和吸引力的有益尝试，对推动职业教育改革创新具有重要积极意义[8]。
2016年以来，北京市借鉴德国“能力模型+课程大纲+方法大纲”的胡格教学模式、澳大利亚TAFE教学模式的经验和做法，率先进行国际化专业教学标准的试点和实施。既在方法层面学习国际先进职业教育思想构建下的职业标准、教学标准、评价标准及其开发技术，又在实施层面吸收行业企业深度参与，激发一线教师和研究者根据我国经济社会和教育发展水平、区域特点、劳动力市场资源配置情况、新业态新技术发展趋势，兼顾现实需要及教育人才培育的前瞻性，构建完整、系统的职业专业教学标准体系，为职业教育课程教学和人才培养模式改革提供标尺和准则，体现国际化、开放性的基本要求。
（二）进一步推动科学化、导向性的综合职业能力评价改革
在專业教学标准培养目标设置中，要将经济社会发展需求与人的发展需求有机结合，以综合职业能力培养为核心目标。KOMET通过能力模型建构和开放性测试任务的实施，对学生的职业能力、职业承诺和职业认同感发展情况进行综合评价，不仅检查个体的专业能力、社会能力和内在技能（隐性技能），也对职业院校体系结构治理、课程发展、教学过程的组织和实施方法、教师能力作出诊断，从而为构建技术技能型人才培养质量保障体系提供保障。未来应该坚持以职业规律和教育规律为基础，注重对学生的专业能力和非专业能力的综合考评，探索将人文素养、科学素养、职业素养与职业技能培养高度融合的新型职业教育模式，培养独立、负责任、能够在团队条件下高效率解决问题的高端技术技能人才，建构具有中国特色的职业能力培养和评价体系。
近年来，北京市教委、北京教科院根据首都经济社会发展、产业转型升级及学生可持续发展需要，在全面加强产教融合、校企合作背景下，调整职业教育人才培养目标、课程体系、课程标准、教学进度、教学方法，根据国际先进教育模式的评价理念和方法，研发和编制学生综合能力测评方案，推动以职业能力标准为导向的评价改革。每学期对学生进行阶段性测评，根据测评结果形成学生的职业行动过程数据分析报告和综合职业能力数据分析报告，分析学生各个非专业能力及专业能力的现状、存在问题及改进建议和措施，最后综合考虑三年期间学生的全部评测结果为学生评定成绩。其根本目的在于提高教育质量、提升职业教育的国际竞争力。
