杨琨++颜石
摘 要：选用目前比较通用的难度、区分度和信度进行试卷分析，并对单选题干扰项进行分析。结果表明，考试成绩总体分布比较合理。试卷四个题型难度比较适中，平均难度为0.55。试卷中大部分区分度在良好以上，能够很好比较高分段和低分段考生对知识掌握的程度，并且对各类型题目的成绩和总成绩具有统计学差异。该次考试信度系数为0.67，表明该次考试成绩可靠性较高，考分能够较真实反映考生对天气预报业务理论知识和业务规范的掌握情况。
关键词：难度 区分度 信度 试卷分析
中图分类号：G64 文献标识码：A 文章编号：1674-098X（2016）11（a）-0120-04
从2006年开始，全国气象行业职业技能竞赛已常态化，气象行业天气预报职业技能竞赛从2007年起每两年举办一次。各省（自治区、直辖市）气象主管部门也纷纷将定期组织开展辖区内气象行业天气预报职业技能竞赛作为一项重点工作[1]。这种常态化的竞赛活动，一方面培养锻炼了天气预报员业务素质和基本技能，提高了天气预报业务水平，提升了气象预报预测能力，营造了人才成长与发展的良好氛围，树立学理论、长技能的正气；但另一方面，在筹备本省业务技能比赛的过程中各类试卷的编制工作量大，试题的水平参差不齐。因此，如何高效、公平地分析评价试卷质量，提高考试的质量也就成为了当前各级气象业务管理部门特别关注的课题。
1 资料与方法
1.1 资料来源
选择参加第五届湖南省气象行业天气预报职业技能竞赛理论知识与业务规范考试的全体选手的试卷，共54份进行分析。
1.2 试卷概况
该次考试为闭卷考试，满分为85分。考试按照以往竞赛惯例有填空题、单选题、多选题、简答题等四种题型，共71道题。
1.3 阅卷方式
根据预先确定的标准答案和评卷标准，采用流水作业的方式进行阅卷，试卷中考生姓名、单位均作密封处理。
1.4 研究方法
选用难度、区分度和信度[2-3]进行试卷分析，并对单选题干扰项进行分析。
1.4.1 难度
难度是指反映试题难易程度的重要指标，即参加考试的全体考生在该题的平均得分率，用难度系数P表示。各小题的难度是以考生在该题的得分来衡量的一个相对量度（见表1）。
1.4.2 区分度
区分度是反映试题对高水平考生和低水平考生区分能力的一个指标。一般是选取成绩优秀的考生和成绩比较低的考生进行对比，分别计算各类型题目的成绩和总成绩，再进行统计分析，以比较不同水平考生的在各类型题目的成绩和总成绩是否有统计学差异，从而判断该试题是否有区分度。
1.4.3 信度
信度是试卷客观性及考试结果准确性的一种反映。目前最常用的信度计算方法是克龙巴赫（Cronbach）系数法[7]，计算公式为：，式中，为信度系统；k为试题数；S2为试题总得分的方差；Si2为第i道题得分的方差。
1.4.4 单选题干扰性指标分析
对于单选题，一般是由题干和若干可选答案共同组成，而可选答案中只有一个是正确答案；其余的称为干扰性答案。如果一个试题的某个干扰性答案不被或很少被考生选择，则表明这个干扰性答案不具备干扰性作用，需要改换或修改它，以完善试题。如果所有干扰性答案都被选过，且被选的频数大体相等则表明该干扰性答案干扰性强，试题质量高[8]。
2 结果与分析
2.1 试卷成绩分布
第五届湖南省气象行业天气预报职业技能竞赛理论知识与业务规范试卷各题型分值情况见表2。
理论知识与业务规范考试是气象行业天气预报职业技能竞赛所设置的一个单项中的一部分。该次考试试卷满分为85分，最高分69.5分，最低分22.5分，平均成绩47.1分，中位数为48.75分，全距为47分。人均失分率是用各题的人均失分数除以该题的满分数计算得来。由表1可看到，简答题的失分率最高，达到35.04%，单选题失分率最低，为13.51%，四种类型题的失分率相差较大。
第五届湖南省气象行业天气预报职业技能竞赛理论知识与业务规范考试成绩分段统计见表2，成绩分布直方图见图1。从表3和图1可以看出，考试成绩总体分布比较合理。
2.2 试题难度
在计算试题的难度时，单选题、多选题以客观题方式计算，填空题、简答题以主观题进行计算。试题的难度系数和各题的实际难度成反比，即难度系数越小，试题越难，如P<0.3，该题属于难题；难度系数越大，试题就越简单，如果0.90≤P<1，则表明该题属于易题。
各题的考试结果归类见表4。统计得出，在填空题共30题，其中第12题答对的几率很高，因为这题考查的知识点比较简单，不足以考查考生对理论知识的掌握程度，下次考试出题应该尽量不采用。第5、16、19、29题是难题，答对的人数分别是10、20、6、4人，大多数考生对这四题考查的知识点掌握得不好。另外，稍易题有4道，适中题有19道，稍难题有2道。
单选题共24题，其中第20题是答对的几率很高，这题考查的是西风指数的定义，是比较基础的试题，考生都掌握得很好。第10、18、22题是难题，答对人数分别是8、7、3人，大多数考生对这部分内容掌握得不好。另外，稍易题有3道，适中题有15道，稍难题有2道。
多选题12题，其中第2、9、10题是难题，答对人数分别是12、14、13人。第2题考查的是可见光云图识别的知识点，说明考生对于这知识点掌握不好。第9、10题考查的是强对流天气分析与预报的知识点，说明考生对强对流天气技术方面的知识掌握得不好。另外，稍易题有1道，适中题有8道。
简答题共5題，其中，适中题有4道，稍难题有1道。问答题的总体难度比较合适。
该试卷的四个题型的难度计算见表5。从表5中可以看到，试卷的四个题型的难度比较适中，平均难度为0.55。
2.3 试题区分度分析
试题区分度是判断试题质量的重要指标，主要用于表明试题区分考生水平的程度。区分度通常用D表示，D的取值范围在-1～+1之间，值越大区分度越好。美国测验专家艾贝尔提出的鉴别指数：0.40以上为优良，0.30～0.39为合格，0.20～0.29为尚可，但需修改，0.19以下为差，应该淘汰[9]。
对客观性试题而言[10]，其试题区分度的计算公式为，其中PH、PL分别为高、低分段考生的难度系数。高分段和低分段的分段方法为：将全体考生按照总分从高到低排序，取总分最高的27%考生定为高分段考生，取总分最低的27%考生定为低分段考生，小数部分四舍五入。然后分别计算高分段考答对某题百分比和低分段考生答对某题的百分比，再将两者相减即可得到区分度。
对主观性试题而言[10]，某试题区分度的计算公式为：其中，AH为高分段考生考试的平均分；为低分段考生考试的平均分；T为试题的满分。各题的区分度分布情况见表6，各类题型的区分度见表7。
从表6和表7可以看出，单选题和多选题的区分度一般，这可能是由于考生在作答把握不大的客观题时会随意猜测，造成区分度差别不大。单选题的7个小题区分度小于0.2，其中难题3个，稍易题2个，说明由于难题难度太大，高分段考生得分率不高，而稍易题又比较简单，低分段考生得分率高，造成这两类题区分度差。第9题难度适中，但区分度为0，说明此题质量不好，应淘汰。多选题的4个小题区分度小于0.2，其中难题1个，难度适中题3个，说明考生在完成多选题时会随意猜测。
从四种题型来看，简答题的区分度大于0.4，评价为优，填空题的区分度在0.30～0.39，归类为良好；单选题和多选题的区分度在0.20～0.29，评价为一般，试卷整体的区分度为0.31，总评价为良好。由此得出试卷中大部分区分度在良好以上，能够很好判断出高分段和低分段考生对考查的知识点掌握的程度，同时说明对各类型题目的成绩和总成績差异有统计学意义。
在进行试卷分析时，综合分析试题的难度和区分度，可避免仅依据难度或区分度来评价试题质量的片面性和局限性。参照文献[5-6]，综合应用P值和D值来评价试题质量。其中，P≥0.4，D≥0.2定义为优秀题，即难度较易，且能将中低水平的考区分开来；P<0.4，D≥0.2为良好题，即难度大，能够将优秀考生区分开来；P≥0.4，D<0.2为一般题，即难度较易，不同水平的考生都能回答；P<0.4，D<0.2为差题，即难度大，但不能区分不同水平的考生。通过综合分析每道试题的难度和区分度，评价为优秀的试题分值为60.5分，占全试卷比例为71.18%，评价为差的试题分值为8分，占全试卷比例为0.94%，说明该试卷试题具有较高的质量。
2.4 试卷信度
试卷信度主要用于反映试卷客观性及考试结果可信度，试卷的信度越大，说明考分越能真实反映考生的实际水平，信度接近零时，说明考分不可信，有很大的偶然性。一般认为[11-12]，克龙巴赫α系数<0.3，不可信；0.3≤α<0.4，勉强可信；0.4≤α<0.5，可信；0.5≤α<0.9，很可信；α≥0.9，十分可信。通过统计分析，该次考试信度系数为0.67，表明该次考试成绩可靠性较高，考分能够较真实反映考生的天气预报业务理论知识和业务规范水平。
2.5 单选题干扰性指标分析
对单选题干扰项被选情况进行统计分析，发现共有9个小题出现了干扰性选项未被选择过的情况，其中第5题有两个干扰项未被选择过，说明这些选项未起到干扰作用，应进行修改。
总体分析表明，试卷能够准确反映考生对天气预报业务理论知识和业务规范掌握水平，试卷分析研究中发现的问题将为以后的天气预报业务理论知识和业务规范学习及考试命题提供重要的参考依据。
3 结语
考试成绩是衡量考生对知识学习掌握情况的一个质量指标，通过对考试成绩和试卷进行分析，获得反馈信息，可以发现命题及组卷中的问题，对于评价规范命题和针对性的学习等都具有现实指导意义。今后可通过继续进行各次考试的试卷分析，获得试题质量信息来对题目进行修改和取舍，不断改进和完善已经建立的试题集，更好地发挥考试对理论知识学习过程的调控，保证学习质量稳定。
参考文献
[1]余勇.解放思想，科学发展，努力开创广东气象工作新书面[J].广东气象，2008，30（1）：1-3.
[2]许志光，金仁铉.试卷质量分析的数理统计方法[J].吉林师范大学学报：自然科学版，2003（2）：50-51.
[3]马江山，梁莉芳.用数理统计方法进行试卷分析[J].上饶师范学院学报，2002，22（6）：10-13.
[4]张云松.综合评价试卷质量分析方法[J].数理统计与管理，2009（28）：133-134.
[5]孙宝志，金魁和.教学与评价实用技术[M].沈阳：辽宁科学技术出版社，1992.
[6]张旭东，贾书花，李凯，等.组织学与胚胎学课程期末考试试卷分析与评价[J].医学教育探索，2009，8（9）：1166-1169.
[7]刘新平，刘存侠.教育统计与测评导论[M].北京：科学出版社，2003.
[8]李秀昌，孙健，周喆，等.可自动实现试卷分析和试题分析的EXCEL表[J].科技创新导报，2012，28：51.
[9]黄光杨.教育测量与评价[M].上海：华东师范出版社，2007.
[10]左秀凤，刘隽，杨莉.生物化学检验试卷分析与质量评价[J].河南职工医学院学报，2012，24（3）：359-362.
[11]崔慧林，王澎，张岩波，等.组织学与胚胎学考试有效性分析[J].医学教育，2011，13（8）：699-702.
[12]项军平.运用Excel进行英语试题项目分析和信度分析[J].民族论坛，2007（8）：52-53.
