高质量试卷命制的原则、方法与评判标准

四季读书网 2 0
高质量试卷命制的原则、方法与评判标准

基于难度、信度、效度、区分度四维度的系统论述

导 言

凡欲观教之效,必先正考之器。试卷者,教学评价之衡鉴也,其命制之精粗,直接关涉教学诊断之真伪、学生发展之定位。自古兴贤育才,未有不以考校为纲者。《礼记·学记》云:「比年入学,中年考校」,诚以考校为学政之大端。然考非难,考而善为难。现代教育测量学历百年之积淀,将试卷质量凝练为难度、信度、效度、区分度四维标准,复佐以双向细目表与系统命题流程,使试卷命制由经验走向科学、由直觉走向数据。本文依教育测量学经典理论,参酌国家课程与考试评价改革之要求,系统阐述高质量试卷命制的原则、方法与评判标准,期于一线教师命题实践有所裨益。

第一章 试卷命制的基本原则

命卷如琢玉,必先立其本。高质量试卷命制,须遵循六项基本原则,方能立基稳固、成器有度。

一、科学性原则

试题内容必须准确无误,表述严谨而无歧义,答案唯一或采分点明确。不出偏题、怪题,不设文字陷阱,不引似是而非之论。科学性是试卷的底线,失之则全卷皆失。

二、目标性原则

以课程标准与考试说明为纲,明确考查目标,使每道试题皆有清晰的测量指向,做到「考有所据,题有所属」。凡试题必先问:此题测何知、考何能、为何设此一问?

三、全面性原则

知识与能力覆盖面宜广,主干突出、重心明确。既重基础又重能力,既考记忆理解又考分析创造,避免以偏概全、以点代面,尤须防止「考非所教」或「考超所学」。

四、适切性原则

难度、题量与学情匹配,符合学生认知发展阶段,不超前、不超纲,使多数学生「跳一跳,够得着」。过易则虚浮无益,过难则挫伤士气,俱非善卷。

五、规范性原则

题型结构规范、分值设定合理、试卷排版统一、指导语清晰,答案与评分标准齐备。试卷之形制亦为教育之载体,规整者方显庄重。

六、导向性原则

坚持立德树人,发挥考试对教学的正面引导。情境素材积极健康,引导学生关注时代、关注社会、关注科技,使考试成为育人之课堂。

第二章 试卷质量的四维度标准

现代教育测量学评价一份试卷,通常悬四维度之尺:难度、信度、效度、区分度。四者各司其职,相济为用,为试卷品质的判定提供了可测、可核、可比的技术指标。

2.1 难度:试题的深浅之度

难度指试题的难易程度,以难度系数P表示。P值越大,试题越易;P值越小,试题越难。

客观题以通过率计:P = R / N,其中R为答对人数,N为总人数。主观题以得分率计:P = X / Xmax,其中X为该题平均分,Xmax为满分。

评判标准:全卷平均难度以0.50—0.60为宜;单题难度以0.30—0.70为理想区间,低于0.30者过难,高于0.70者过易。整卷难度配比,一般取易:中:难 = 352,或取343,使多数学生得中上,少数拔尖者得以彰显。

客观题存在猜对之可能,须作猜测校正,校正公式为:Pc = (kP − 1) / (k − 1),其中k为选项数目。例如四选一选择题实测P = 0.45,校正后为 (4 × 0.45 − 1) / 3 ≈ 0.27,可见猜测因素不可不察。

尤须留意:难度是相对指标,随考生群体水平而变化,同一试题在不同群体中的难度各不相同。故预设难度必须立足真实学情,不可凭空虚断。

2.2 信度:测验的稳定之度

信度指测验结果的一致性、稳定性与可靠性,即考试能否真实、稳定地反映考生水平,而不受偶然因素干扰。

信度依其考查侧面可分为:重测信度,考查跨时间之稳定;复本信度,考查平行卷之等价;分半信度,将试卷按题号奇偶分半计相关,再以斯皮尔曼布朗公式校正;内部一致性信度,常用库德理查逊公式(KR20)与克隆巴赫α系数;评分者信度,考查不同评卷人所评结果的一致程度。

克隆巴赫α系数的计算公式为:α = k / (k − 1) × (1 − Σσi² / σt²),其中k为题数,σi²为各题方差,σt²为总分方差。

评判标准:大规模高利害考试,信度一般要求在0.90以上,0.80为最低可接受水平,低于0.80者通常不予采用;课堂测验可酌情放宽至0.70左右,然低于0.70即难以采信。提高信度之途有三:适当增加同质题量,提高试题区分度,统一施测与评分程序以减少随机误差。

2.3 效度:测验的切合之度

效度指测验实际测出其所声称要测量的特质的程度,是衡量一份试卷是否真正达成考试目的的根本尺度。效度之于测验,犹准星之于火铳,虽百发而失的,则与不发何异。

效度之类型有三:其一,内容效度,指试题内容对所测内容范围取样的代表程度,多由双向细目表与学科专家评审加以保障;其二,结构效度,指测验分数能否印证预期的理论结构;其三,效标关联效度,指测验分数与外部效标之关系,含同时效度与预测效度。

信度与效度之关系须明辨:信度是效度的必要而非充分条件。测得准,未必测得对;测得稳,方有测得对之可能。故评判试卷,当先问效度而后问信度,效度之失,纵信度再高亦属徒然。

2.4 区分度:测验的甄别之度

区分度指试题甄别学生水平差异的能力。鉴别指数法最常用:将考生按总分排序,各取高分组与低分组(一般各取27%),分别计算两组通过率PHPL,其差即为鉴别指数:D = PH − PLD值越大,说明此题越能拉开水平差距。

另有相关法:以点二列相关(二分计分题)或积差相关(连续计分题),求试题得分与总分之相关系数,通常要求相关系数在0.30以上。

鉴别指数之评判标准如下表:

鉴别指数D

评判

处理建议

0.40以上

优良

保留使用

0.30—0.39

良好

修改后使用

0.20—0.29

尚可

须加修改

0.19以下

删除或淘汰

区分度与难度密切关联:难度愈接近0.50,试题潜在区分度愈大;若全体皆对或全体皆错,则此题于甄别无半分价值。命题者当于二者之间求其平衡。

第三章 双向细目表:命题的施工蓝图

双向细目表以知识内容为纵轴、能力层级为横轴,在纵横交叉处标明题量、分值、题型与预估难度,是命题的系统规划书,亦为整卷命制的纲领性文件。它使命题「从经验判断走向数据化、结构化设计」,被公认为保障内容效度、提升命题科学性的核心工具。

能力层级依据布卢姆教育目标分类学(安德森修订版),自低而高分记忆、理解、应用、分析、评价、创造六层;命题实践中常将评价与创造合并为综合(创新)层级,形成五层之简化框架。知识维度则依学科逻辑划分为若干模块,并细化为具体知识点。

双向细目表之作用有三:其一,保证内容效度,使试题与课程标准严格对应;其二,保障知识、能力分布之均衡与代表性;其三,为难度预估、组卷取舍与考后质量评估提供依据。

编制步骤

第一步,确定知识维度。依据课程标准,将考查内容分解为若干主要模块,再细化至具体知识点,梳理教材核心内容,标注高频考点与学科大概念。

第二步,确定能力维度。参照布卢姆分类,结合学科特点设定清晰的能力层级。

第三步,分配权重。依模块重要性与教学时长分配分值比例,核心知识模块占比宜高(一般不低于40%);能力层级呈金字塔分布,识记、理解类试题宜控制在60%以内,高阶能力考查须有切实保障。

第四步,设计具体条目。在知识模块与能力层级的交叉点,规划试题的题型、数量与分值,标注预估难度。

第五步,审核调整。对照课程标准与学情整体校验,核查知识覆盖是否遗漏、能力层级是否切合认知发展、权重是否与教学时长匹配,并组织学科组集体审议后方可定稿。

兹以高一数学「集合与函数」单元测试为例,示其梗概:

知识模块

记忆

理解

应用

分析

综合

合计

预估难度

集合及其运算

2

4

6

12

函数的概念

2

4

6

2

14

函数的基本性质

4

6

6

4

20

指数与对数函数

2

4

8

4

18

函数与方程

2

4

4

4

14

中难

综合与创新

2

10

10

22

合计

6

18

32

26

18

100

注:表中记忆、理解合计占比24%,不逾60%之限;分析、综合合计占比44%,高阶能力考查足量,且分值随难度梯度递增,主干「函数的基本性质」「指数与对数函数」「综合与创新」合计占60%,重点突出。

细目表初稿完成后,须经学科专家与一线教师联合审核,重点检查知识点覆盖是否遗漏、能力层级是否切合学生认知、模块权重是否与教学时长匹配。一经审议定稿,整卷框架不得随意变更。

第四章 高质量试卷命制的完整操作流程

命题如建楼,须依图施工、按序推进。循九步闭环而行,则卷之质量可期:

第一步,明确性质目的。判定考试性质——课堂检测、阶段测验、毕业考试抑或选拔考试,确定常模参照或标准参照之取向,据此定位难度水平与题型结构。

第二步,研读课标考点。梳理教材核心内容,标注高频考点与学科大概念,确保80%以上试题指向课程标准要求的关键能力与必备知识,约20%用于创新素养之拓展考查。

第三步,编制双向细目表。先绘就蓝图,审定总分、题型、分值、难度预设与区分度目标,经学科组审议通过后作为命制总纲,非经同意不得擅改。

第四步,组建团队分工命制。以教研组为单位,明确主命题人、审题人与协调人之职责;可采双人独立命题、一题多备之质控机制,优中选优、冗余储备,确保原创与多样。

第五步,审查修改筛选。逐题审查是否对标课程标准与细目表,有无超前超纲,表述是否严谨无歧义,答案是否唯一。高考命题之经验表明,凡与既有公开资料相似度过高之题,当果断更换,以杜押题复刻之弊。

第六步,试答与估时。由审题人或未参试之教师完整试答一遍,检验试题之科学严密程度,估测答题时长与整卷难度,据以调整题量与梯度。

第七步,制定评分标准。主观题宜分步给分或采意给分,开放性试题附答案示例;评卷前统一培训,控制评分者误差,保障评分之公平公正。

第八步,试测与校准。条件允许时选取样本试测,实测各题难度与区分度,将整卷难度调至预定区间。以高考命题为鉴,数学平均分之误差通常要求控制在3分以内,足见校准之严。

第九步,考后数据分析。考试结束后及时收集成绩数据,计算各题难度、区分度与整卷信度、效度,撰写质量分析报告,为下一轮命题积累实证依据,形成「命题实测分析改进」之良性循环。

第五章 整卷评判标准

评判一份试卷,宜循其序:先问效度,考的是否对路;次问信度,测得是否稳定;再观难度与区分度,甄别是否得力。四者相济,方为善卷。

维度

核心指标

理想标准

未达标之处理

效度

与课标及细目表契合度

内容取样充分,能力指向明确

重审细目表,删改偏离之题

信度

克隆巴赫α、分半信度

高利害考试≥0.90,一般≥0.80

增题量、提区分度、统一评卷

难度

整卷平均难度P

0.50—0.60,单题0.30—0.70

调整题量与梯度配比

区分度

鉴别指数D

多数试题D≥0.30

修改或删除低区分度之题

注:信度、难度、区分度指标均须以实测数据为准,效度之判须综合内容审查与统计分析,四者之核验互为印证,不宜偏废。

结 语

《礼记·学记》云:「玉不琢,不成器;人不学,不知道。」试卷亦然,不经精心命制,无以成衡鉴之器。高质量试卷命制,贵在依循科学标准,妙在通权达变:四维标准如纲,双向细目表如目,九步流程如纲举目张之法。望一线教师以课程标准为宗,以教育测量学为据,以学情生情为镜,使所命之卷「深浅得宜、宽严有度、考之可信、衡之有效」,则教学之改进、人才之甄拔,皆可由此而兴。

参考文献

[1] 戴海崎,张锋,陈雪枫心理与教育测量(第3版)[M]. 广州:暨南大学出版社,2011.

[2] Cohen R J, Swerdlik M E. Psychological Testing and Assessment: An Introduction to Tests and Measurement (8th ed.)[M]. New York: McGraw-Hill, 2010.

[3] 中华人民共和国教育部普通高中数学课程标准(2017年版2020年修订)[S]. 北京:人民教育出版社,2020.

[4] 教育部考试中心中国高考评价体系[M]. 北京:人民教育出版社,2019.

[5] 安德森 L W,克拉斯沃尔 D R 布卢姆教育目标分类学(修订版)[M]. 蒋小平,张琴美,罗晶晶,译北京:外语教学与研究出版社,2009.

[6] 张厚粲,徐建平现代心理与教育统计学[M]. 北京:北京师范大学出版社,2009.

[7] 王孝玲教育测量[M]. 上海:华东师范大学出版社,2005.

[8] 辛涛教育测量与评价[M]. 北京:北京师范大学出版社,2010.

[9] 罗纳德·科恩,马克·斯维尔德里克心理测验与评估(第8版)[M]. 北京:人民邮电出版社,2013.

[10] 漆书青现代测量理论在考试中的应用[M]. 武汉:华中师范大学出版社,2003.

[11] 郭力平教育测量与评价——方法与案例[M]. 上海:华东师范大学出版社,2015.

[12] 顾明远教育大辞典[M]. 上海:上海教育出版社,1998.

[13] 陈玉琨教育评价学[M]. 北京:人民教育出版社,1999.

[14] 周卫勇走向发展性课程评价[M]. 北京:北京大学出版社,2002.

抱歉,评论功能暂时关闭!