(3.3)
在S-P表中,异质反应模式的异质程度,实际上是根据全体学生的反应倾向,即S-P表中所有的“1”和“0”的分布状况来确定的。当大部分学生的答对和答错的模式相同或相似时,S-P表中S曲线左侧和P曲线上侧的“0”,以及S曲线右侧和P曲线下侧的“1”就少,S曲线与P曲线之间的偏离也小。然而,异质反应模式的“0”、“1”分布,一般与整体分布状况明显不同。
例如表1中序号为30和31的学生,尽管这两人的测验分数都是5分,但他们的反应模式却大不相同。将这两个学生的反应模式与P曲线(项目的答对率分布)进行对照,就可以看出,序号为30的学生答对的是团体中大部分学生都答对了的项目,而答错的都是答对率低,难度大的项目。这种项目反应模式意味着序号为30学生的学习情况较为正常。然而,序号为31的学生答对的多是团体中多数学生答错了的、难度大的项目,而对大部分学生答对了的项目却总是答错。这种项目反应模式是异质的,它意味着序号为31的学生学习欠稳定。
一般认为,C.S=0为完全正常,C.S<0.5无需注意,C.S>0.5需引起注意,而C.S>0.75且正答率<0.85需引起特别注意。再以表1中序号为29的学生为例,由公式(3.3)得其注意指数为C.S=0.89,正答率0.55,需引起特别注意。
由于学生注意指数所反映的是学生个体与整体应答倾向之间的偏离程度,因此,学生是否被警告,不是取决于他个人成绩的好坏,而是取决于他的正答题目是否与大多数人正答题目相一致。[6]例如表1中序号为1的学生与序号为33的学生其成绩相差很大,但他们注意指数都为0,均不需警告。但表1中序号为15的学生,他的成绩并不差,但他的注意指数为0.83,且正答率小于0.85,需引起特别注意。而序号为30的学生成绩并不好,但他的注意指数仅为0.29,反而不需警告。因此从这个意义上说,注意指数对于学习成绩中等偏上的学生是一种督促,促使其知识掌握得更全面、更牢固,还需要指出的是,学生注意指数是一个可以大于1的数。 2. 问题注意指数:
(3.4)
[6]
樊丽俭,冯振宇,《科学评价考试成绩 努力提高教学质量》,交通高教研究2001年第4期。
观察S-P表,根据P曲线我们可以发现,有些问题的难度偏大(如表1第七题),团体中只有个别学生能正确回答。另外还有这样一类题目,其答对率与其他试题大致相同,但团体中许多成绩居于上位的学生却做错了。对于这种问题,在S-P表的上方可以看到许多“0”。造成这种项目得分排列模式的原因通常有测验内容异质以及描述和说明不清楚等,它们极易导致学生看错题、理解错误,作出错误的回答,使得测验分数不能正确地反映学生的学业水平。
以表1中第六大题为例,由公式(3.4)得C.P=0,该题无需引起注意,说明该题的难度、区分度良好。
在分析学习到达度测验以及操练、练习等形成性测验的数据时,为了能对每一个学生的学习作出正确诊断,重点要把握的是“大部分学生都答对了的问题是哪些?”和“多数学生答错的问题是哪些?”。对大部分学生都答对了的问题,需要把注意力集中在对答错了该问题的少数学生的异质反应模式的分析上;而对于多数学生答错了的问题,应该重点检查问题本身以及与之相关的学习内容、教学方法是否适当,即进行题目的反应模式分析。可见,在S-P表分析法中,学生与问题的反应模式分析应该结合起来进行,也只有这样,才能对学生的学习情况和测验项目的质量做出正确地分析。
四、对案例分析结果的进一步思考
一般来说,如果教学内容和教学方法不恰当,学生的学习不充分、理解不深入,学生的学习积极性较差,测验内容与教学内容不一致,或出题方法不佳,那么两曲线之间的偏离程度就比较大。
例如,在学习到达度测验或操练、练习题的S-P表中,如果S曲线与P曲线偏离过大,就说明其中可能存在问题。当偏离异常时,应当从以下方面进行形成性评价。
? 教学指导不充分;
? 学习目标和内容与到达度测验的内容不一致;
? 测验项目的安排顺序以及各项目的前后关系的配置欠妥,项目的内容、表达方式和要求 不恰当;
? 教学与测验之间的时间间隔太长; ? 练习不够,学生的学习没有得到巩固;
? 在居于中位和上位的学生中,学习成绩不稳定者居多; ? 学生的学习积极性不高;
? 评分标准不一致,评分点不明确; ? 误判或计分错误。
检查以上种种因素,就可能找出异常偏离的原因。
当S曲线与P曲线过于接近时,可从以下几方面找原因:
? 学生的学习所达到的水平在整体上都很低; ? 学习到达度测验对学生团体来说太难; ? 团体中两极分化现象严重; ? 测验项目区分度低;
S曲线与P曲线非常接近可能表示多种情况,因此,我们在考虑两条曲线接近程度的同时,还要研究S曲线与P曲线的形状,只有将两者综合起来考虑,才能找到一场的真正原因。
研究反思及展望
针对教育工作者不同层面的需求,将试卷分析分为:宏观分析,运用传统考试统计方法(经典考试统计方法)分析学生集体水平,把分析结果提供给教育管理者;微观分析,弥补传统统计方法的不足,分析学生的异质反应模式,将分析结果提供个学科教师和学生个人,促进教学相长。
对于任课教师来说,试卷分析本身就是教学工作的一部分,它是改进教学,提高教学质量的环节。因此,任课教师作试卷分析,着重应对学生考试成绩作统计描述,并对实体的质量及其失分的主要原因进行分析。对于实施教考分离的命题、组卷人员来讲,作试卷分析的目的,主要为今后的进一步提高命题组水平与试题质量积累经验,为建立与完善题库奠定基础。因此,主要应分析与试卷、试题质量有关的项目。作为教学管理部门除了组织、指导、督促上述两类人员做好有关项目的试卷分析外,通过试卷分析主要为掌握本校各专业、各班级、各课程的教学动态,从中发现教学与考试中存在的问题和评价过程中存在的倾向性问题,总结经验,提出对策,为今后指导教学、教学评价及教务等方面的工作提供依据。因此,在任课教师或命题组卷人员做好试卷分析的基础上,教学管理部门或教学研究部门,还可以对全校各专业、各班级、各课程的考试成绩特征与分布状况、合格率或达标率等作动态分析与质量监控,并检查有关评卷、印卷等方面的工作质量。