李廉、张万红:高校课程考试成绩正态分布辨析

2021-04-07 14:27 中国考试 评论

原文刊载于《中国考试》2021年第4期第86—93页。


作者

李廉,中国矿业大学外文学院讲师,公共管理学院在读博士生;
张万红,中国矿业大学校长助理,教授。


摘要

目前我国高校在教学管理中普遍存在对学生课程考试成绩呈正态分布的要求。以高校英语阅读课程为例,在掌握学习的理论框架下,通过理论推理和考试数据分析发现,学校课程考试成绩呈明显偏态分布。把学习作为一个系统,对考试要素与其他要素之间的信息交互进行分析发现,正态分布下的考试要素信息呈现熵最大趋势,给整个学习系统提供混乱信息,课程难以形成负反馈调节机制,教学目标、学习目标和学习达成结果之间的匹配度被削弱,在教学决策和学习决策上均表现出信息熵增加,造成系统信息无序化。建议高校取消对课程考试的正态分布要求,分析具体课程的掌握达成分布规律,使用更准确的分布描述考试成绩。


关键词

教育评价改革;课程考试;正态分布;学习系统;掌握学习

图片


正文


0

引言


《教育部关于进一步深化本科教学改革全面提高教学质量的若干意见》要求高等院校建立完善的教学评价管理体系[1]。在目前的高等教育体系下,课程考试成绩是教学评价的重要信息来源,对课程考试成绩的管理是改善教学和教学评价的重要环节之一。长期以来,教育者认为正态分布是自然界和社会中最常见、应用最广的一种分布,人的智力水平也服从正态分布[2]。按照数理统计的基本原理,考试成绩分布状况在直观上表现为“中间多,两头少,左右对称”的特点,因此被测对象的能力指标和测验结果可近似用正态分布来描述。利用样本特征对总体的某些特征(如均值或方差)进行推理判断是教育研究中较为常见的方法。目前,很多高校把学生成绩呈正态分布作为对教师的要求,有些高校甚至把成绩是否正态分布作为评判试卷质量的标准。
  

课程考试成绩是否应该呈正态分布,在学界存在不同观点:诸多教育测量和评价类教材、学术论著将正态分布作为检验教育和测试质量的标准之一[3-4],有的专家则指出正态分布不能代表学习的目标和质量规律[5-7]。以上2种观点主要是基于人的智力水平和教育目标分类进行推理分析,尚缺乏对成绩正态分布意义的解释和验证,对成绩正态化与其他学习要素之间的系统性研究亦不多见。
  

本研究对M大学的英语教学和课程考试(主要指期末考试和单元测试)成绩进行案例研究,以及对我国119所高校的大学英语教师进行调研,探讨大学英语课程考试成绩是否应该正态分布,并对课程考试在复杂自适应学习系统中的信息交互进行分析,探究对课程考试的正态分布期望如何影响课程目标、教学和学习行为等要素。


1

理论基础


正态分布(normal distribution)是一种连续型随机变量的概率分布,呈两头低、中间高的左右对称形态,其中间概率最大,由中间往两边的概率逐渐减少,且两边概率均衡。正态分布是概率论中最重要的一种分布,也是自然界最常见的一种分布,其理论基础是中心极限定理。随机变量近似服从正态分布的条件为:若有独立同分布的样本,且分布方差存在,则当样本数大时,样本的平均或和的分布渐进趋于正态分布。课程考试成绩反映的是学生课程水平在试题和考试环境中的表现,学生课程基础、学习增值结果、试题内容和考试环境等影响考试成绩的因素均可视为随机变量,因此教育者普遍认为课程考试成绩应符合正态分布。
  

考试是学习过程中的重要环节,考试及其分数的应用目标是服务和改善学习。对考试分数处理方式的检验,需要建立在明确学习概念和过程的基础上。美国教育学家和心理学家布鲁姆提出掌握学习(mastery learning)的教学理念,他认为只要给予足够的时间和适当的教学,几乎所有学生对几乎所有的学习内容都可以达到掌握的程度(通常要求完成80%~90%的评价项目)[8]。掌握学习强调教学要面向全体学生,教学的目的是要了解学生是否已经掌握所学内容。在布鲁姆的掌握学习理论下,考试内容要基于学习内容,评分方式和结果要能反映学生对特定内容是否掌握[9]。布鲁姆的掌握学习理论主要依据教育目的和学习者认知规律对正态分布提出质疑,并没有验证推翻它,也没有指出课程考试成绩应服从什么分布。
  

一般系统科学方法兴起于20世纪60年代末,被引入教育领域后逐渐成为教育评价领域不容忽视的重要理论。系统科学在哲学思想和研究范式上为科学方法论带来革命性变化,引导人们从实体中心转向系统中心,从线性转向非线性[10-11]。从系统科学观出发,学习被视为一个多要素、多层次构成的复杂系统,系统中各因素相互交换信息、相互作用。在交互过程中,系统产生的信息再回馈到系统中,纠正其运行并使之趋于稳定,这种信息反馈被称为负反馈(negative feedback)。近年来,逐渐有学者把学习当作复杂的自适应系统,研究学习系统的要素和过程[12]。在这些学习系统模型中,个人环境、教学、社会环境和考试是4大要素,各要素之间存在单向或双向的信息交互,通过负反馈促进学习是整个系统运转的中心任务。其中,个人环境主要指学习者的认知过程,教学包括课堂教学与课程大纲,社会环境指学习者在课堂之外对课程大纲内容的学习过程[12],考试作为主要的数据枢纽,承担着数据接收和输出的重要功能[13]。考试结果与认知、课堂教学、课程大纲等具体要素间信息交互的因果关系和信息量是可以追踪的,在这个过程中,信息量和信息熵是2个重要概念。
  

系统科学认为信息是人们对事物了解的不确定性的消除或减少[14],用对数函数定义信息量为hx)=-ln px),其中,hx)为信息量,px)为事件x发生的概率函数。信息量公式显示,一个事件发生的概率越小,信息量越大,信息量为概率的减函数。系统中众多事件的信息量不同,它们的综合状态就是系统的状态,通过信息量期望的方式衡量,即信息熵。信息熵表示一个事物的非确定性,如果某事物的非确定性越高,信息熵就越高。熵是描述系统无序性的参数,计算公式为


图片

其中,xi表示一种特征,HX)在每个pxi)=1/N为最大,N为信息个数。在概率为1/N时,信息是最不确定的,故HX)越大,信息越不确定。


在布鲁姆的教育目标分类学框架下,追踪考试与教学、学习和课程设置等要素之间的信息交换量,可以检验各要素的对应程度;描述信息熵的变化,可以检验学习系统的整体演化状态是趋于有序还是无序,是否需要通过干扰削弱系统的无序性。


2

研究设计


基于掌握学习和学习系统的思想,本研究把课程考试的成绩作为系统信息交互的观测起点,提出研究问题:1)在掌握学习的目标下,课程考试成绩是否服从正态分布?2)在课程考试成绩正态分布期望下,成绩与课堂教学、教学目标、学习行为、考试内容等系统要素之间存在何种信息交互?针对第1)个研究问题,通过掌握学习理论框架对考试结果进行分析和预测,并通过跟踪观测的课程考试数据对分析结论进行验证。描述课程考试成绩的分布情况之后,利用系统分析的方法研究第2)个问题:在学习系统内分析成绩正态分布(或被人为预设为正态分布)后系统内各要素的信息交换情况,通过试卷内容分析、分数对比和问卷调查进一步明确系统要素间的关系和信息量。为研究信息交互的路径,本研究对Neil Jones的学习系统模型进行修改,使之体现本研究案例课程系统中课程、教学和学习认知之间的信息交换路径。


选取M大学2018级4个班共224名学生大学一年级的“英语阅读”课程考试、教学和学习信息进行掌握学习案例研究,这些学生都接受了英语入学水平测试。在具体教学过程中:教学期限设置为4个学期;课程大纲以布鲁姆的教育目标分类学修订版[15]为基础,把阅读能力分解为30个子技能,每个学期分配7~8个阅读技能,平均4个课时学习并练习一个阅读技能;授课教师按照单元目标教学,平均每单元时间分配为讲授及研讨2课时,练习及讲解2课时,每个单元模块讲授后设置一次单元测试,依次标记为T1~T8;单元测试内容与授课内容对应,主要题型为选择题、填空题和简答题,测试时长60分钟,满分100分,单元测试低于80分的学生每2周进行一次集体矫正复习,之后教师重新出卷测试;期末考试内容包含本学期所有的单元技能,测试时长100分钟,满分100分。

本研究还通过实地调研和在线问卷对国内119所高校大学英语课程的成绩分布要求及385名高校教学人员的态度进行调研。

把224名学生在教学前接受的英语水平测试中的阅读分数输入MATLAB2017a软件进行正态分布拟合,发现学生在英语水平测试上的表现接近标准正态分布。

把单元测试T1~T8的成绩分别输入MATLAB2017a进行正态分布拟合,结果显示均不符合正态分布。以单元测试T3的成绩为例,其分布呈长尾J形,见图1。

图片


对期末考试考生成绩按照5分区间进行统计,绘制直方图,见图2。结果显示:分布曲线依然呈长尾J形分布,与单元测试成绩分布相比,期末考试成绩分布的尾部(低分组)较长,呈负偏态分布。


图片


由上述分析可知,在掌握学习的理论框架下,无论是单元测试还是期末考试,考试成绩均呈长尾J形分布,而非正态分布。


以掌握学习理论对上述结果进行分析:首先,课程考试在目标分类的基础上,以标准参照考核为主。在考试和教学目标一致的条件下,考试成绩应呈明显的负偏态分布或长尾J形分布,而非正态分布,以示大多数学生都较好地掌握了学习内容[16]。如果曲线呈正态分布,则可认为教学不成功。其次,课程考试成绩的正态分布期望不符合概率统计原理。依据中心极限定理,形成正态分布期望的要素包括独立分布的样本和样本数足够大,但在考试成绩的概率函数中,考生数量并不是样本数,试题数量才是样本数。英语阅读测试试题一般不足30个,语言测试中对同质试题的数量要求一般为5个,如降维或合并同质试题,则一份试卷的异质试题在数量上远不能满足正态分布的大样本要求。同时,并无证据表明,影响学生分数的各要素(英语基础水平、学习增值、试题难易度等)互为独立变量。试题难易度可能与考生水平有关,学习增值程度可能与基础水平有关,它们之间可能存在相互影响,更符合累加或指数的变量关系,而非独立关系。


3

课程考试成绩正态分布辨析


从上述分析和数据验证可知,不应对课程考试分数有正态分布期望;但在实际教学和教学管理中,对课程考试成绩有明确要求或期望很常见。调查问卷显示:119所受访高校对大学英语课程考试成绩都有正态分布的要求或期望,其中59%的高校在系部或学校文件中对成绩正态分布有明确要求,13%的高校要求教师在成绩分析中反馈正态分布情况;385名受访英语教师中,53%的教师不赞同成绩正态分布的要求,但94%的教师认为命题或阅卷工作会受正态分布要求的影响。


如前所述,学习系统的个人环境、教学、社会环境及考试4大要素在实际教学过程中表现为认知过程、课堂教学、课程大纲、考试等具体形式,考试除分数外还包括考试开发与验证等内容。学习系统中各个具体要素相互交换信息:课程大纲为课堂教学和认知过程提供内容信息,同时为考试开发提供提供内容和目标信息;课堂教学为课程大纲提供内容反馈,同时为认知过程提供内容信息;认知过程为课堂教学提供内容反馈,同时直接影响考试分数信息;考试分数向认知过程提供结果反馈,向课堂教学提供教学反馈信息,同时向课程大纲反馈全体学习者的目标达成情况,考试分数还直接为考试验证提供数据。学习系统的具体要素及其信息交互关系见图3。


图片


考试分数与考试开发、考试验证、课程大纲、认知过程、课堂教学等要素均存在直接信息交换;然而,在学习系统趋于平衡状态的过程中,考试分数要素不包括正态分布信息,当学习系统的外部环境(如教学管理政策等)对分数信息单元施加正态化期望时,会干扰考试要素并形成新信息,进而与学习系统和系统内其他要素产生新的交换过程。依据系统科学思想,学习系统中考试要素的信息扰动会通过系统结构被放大,进而推动整个系统从固有的平衡迁移到一个新的平衡态。因此,有必要研究“考试成绩正态化”语境下学习系统各要素如何趋向新的平衡态。


3.1 学习系统的整体信息变化

考试作为学习系统的要素之一,为教学、学习等其他要素提供的交换信息形式主要是分数记录。根据系统信息概念,可以通过考试分数记录的信息特点追踪信息量和信息熵变化,进而描述系统的演化状态。在前述熵的公式中,使熵取极大值δHX)=0,同时给定分布的期望值(学生水平)与方差(学生间差异),通过拉格朗日变化即可得到正态分布公式

图片

这说明,在学生期望水平和学生间差异给定的情况下,正态分布的信息熵最大,是信息最混乱、最无序的分布。因此,在信息交换过程中,正态化的成绩分布给系统其他要素提供的有效信息最少,对学习系统的负反馈产生直接影响。
  

通过对系统的变量分析可以解释这种正态分布的“熵最大”现象。成绩分布正态化的原理是众多变量各自分布的综合叠加,如学生英语水平、学习增值、试题构念效度、试题难度等。无论这些分布是否正态分布,最终综合叠加结果呈正态化。分数的正态分布期望实际是把诸多相关变量在自然状态下叠加,否认某一种变量可能占显性优势,同时否认人为干预可以有目的地改变自然叠加结果;因此它提供的信息实际上是趋于自然状态的无序信息,信息量最小。这有悖于建构主义的掌握学习理念。这种正态分布的成绩信息不能反映教学的显性优势,亦难以通过回归分析或因子分析反映学习过程的回归关系、学习因素权重和因素之间关系等重要信息,不能满足学习和教学过程的需要。


3.2 学习系统诸要素的信息变化

在系统中,考试要素与教学、课程和认知等要素相互协同。收到正态化成绩分布信息反馈后,系统整体信息量呈现最小化影响,各相关要素作出相应的决策和信息变化。

  

1)考试开发方面。提前对考试分数设定分布期望,会违背测评开发逻辑。在开发课程考试时,教什么、考什么的目标通过课程大纲实现;但期末考试的命题人员往往同时也是教学环节的教师,在成绩正态分布的期望下,命题教师可能会对考试内容进行人为控制,以更加“安全”地实现正态分布,进而导致考试设计偏离检验学生掌握情况,追求区分和均匀分布[17-18]。这样的考试设计有悖于“初步规划→设计→构念→记录→解释→决策”的测评开发逻辑,也干扰课程考试的使用论证[19]
  

2)考试与教学方面。教学活动主要包括教学内容、策略和动机。从学习系统模型和形成性评价概念[20-21]可知,教学与考试之间主要有2种信息交互:一是教学活动影响考试内容,二是考试分数信息为教学活动的调整提供决策依据。在布鲁姆教育目标分类框架下,与课程大纲匹配的考试应以标准参照为主,以课程大纲中的知识类别为主要依据设计考试构念和试题。如果学生在课程考试中能全部完成,则表明学生达到教学目标的要求[22-23]。在正态分布的驱动下,教师可能会降低期末考试内容与课程大纲的匹配度,使课程考试偏向水平测试[24],进而导致考试结果不能充分反映学生的掌握情况,对教学和学习提供的反馈信息量最小化。因此,对课程考试的期望不应拒绝低区分度,反而应该努力实现该目标。
  

对M大学2018级学生第一学期的期末考试英语阅读成绩和他们的全国大学英语四级考试(CET-4)的阅读成绩进行因子分析,并对降维结果赋予构念描述,结果显示期末考试阅读题与CET-4阅读题考查的微技能均为8种,期末考试与水平测试同质化显著;对其进行相关分析发现,相关系数为0.87,达到高相关。2017级学生期末考试成绩与CET-4成绩的相关分析结果亦相同。由此说明期末考试成绩反映的是学生的英语阅读水平,而非本学期课程学习目标达成结果。考试目标和教学目标不一致,不仅削弱、干扰反馈信息,影响教学反馈机制的形成,而且会对教学动机产生抑制作用。前述调查问卷结果也显示,53%的受访教师认为正态化成绩分布不利于教师改善教学动机。
  

3)考试与课程方面。课程在学习系统中主要以课程大纲的形式参与信息交互。信息熵最大化导致课程不能充分接收系统反馈信息,无法完成信息控制的闭环;在正态分布的期望下,课程的期末考试呈水平化、常模化趋势,使得反馈信息与课程大纲内容不同质,无法提供改善依据。在调研的高校中,大学英语课程大纲的调整主要受制于教学管理政策,暂未搜集到其与考试分数分布的直接关系,这在一定程度上表明考试分数不能为课程提供有效信息。对教师的问卷调查也反映这一倾向:91%的受访者认为课程内容和难度应依据课程考试结果进行动态调整,但仅有12%的受访者认为本校修订课程大纲时以课程期末考试为主要参考依据,87%的受访者认为课程大纲调整时主要参考了公共考试(如大学英语四、六级考试)数据。
  

4)考试与学习认知方面。由学习系统模型可知:学习认知与考试之间存在双向信息交换,学习结果直接输出为考试成绩的主要部分;考试结果反馈到认知过程,影响学生的学习内容和认知策略,包括侧重于哪些语言技能、学习内容难度的选择、是否需要对之前的学习策略进行修正和学习动机4个方面,直接影响学习者的决策[21]。基于前述论证,正态化的分数分布使认知因素综合化,否认独立的认知因素优势,更多反映了自然状态的学习策略,因而不能有效地反映学习增值,为下一阶段的学习策略和内容提供相对静止的决策依据,不利于考试后效激发学习动机。


4

结论与建议


本研究在掌握学习理论框架下,以高校英语阅读课程为例,针对课程考试成绩的正态分布倾向验证课程考试的分布规律。当考试和教学目标趋于一致时,课程考试成绩呈明显的长尾J形分布,而非正态分布。当对课程考试分数信息施加正态化的要求或期望时,对学习系统中的评价要素产生信息干扰,继而影响系统中的认知、教学、课程等要素。
  

对整个学习系统来说,正态化的成绩给系统和系统要素提供的有效信息最少、最混乱,削弱学习系统的负反馈。对学习系统具体要素的影响主要有4点:1)命题教师为实现考试结果正态分布,可能违背试题开发和论证逻辑,降低期末考试内容与课程大纲的匹配度,使期末考试偏向水平测试,导致考试结果不能反映学生的掌握情况,对教学和学习提供的反馈信息量最小化;2)考试目标和教学目标不一致,不仅削弱、扰乱教学反馈信息,影响教学反馈机制的形成,而且对教师的教学动机产生抑制作用;3)正态化的成绩信息熵最大化导致课程不能有效接收反馈信息,无法完成信息控制的闭环,不利于课程大纲进行调整、更新;4)正态化期望向学习认知过程提供模糊的反馈信息量和学习增值信息,给学习策略和学习内容提供静止的决策依据,这种信息交换的结果是学生的学习动机被削弱,学生缺乏调整学习内容和学习策略的依据,期末考试的促学功能被明显削弱,进而导致“裸考”现象。
  

基于上述分析,建议在高校课程考试中降低或取消对成绩正态分布的要求,以“期末考试+单元测试”的形式实施课程考试,依据课程大纲和学生掌握特点,分析具体课程的考试成绩分布情况,模拟出更准确描述课程的掌握学习曲线;此外,在掌握学习理论框架下,保证课程大纲与考试之间的匹配程度,保证考试与学习系统中其他要素之间准确、真实的信息交换,进而可以保障考试、课程和教学各要素更好地发挥促学功能。


参考文献

图片
图片
图片
图片


登录高考直通车APP
查看完整试题答案
好的
查看完整试题
特别声明:
1. 本站注明稿件来源为其他媒体的文/图等稿件均为转载稿,本站转载出于非商业性的教育和科研之目的,并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题,请作者在两周内速来电或来函联系,本站根据实际情况会进行下架处理。
2. 任何媒体、网站或个人未经本网协议授权不得转载、链接、转贴或以其他方式复制发表,违者本站将依法追究责任。
举报理由选择
确定
高考直通车官网

哇哦!快加入高考直通车APP,发现更多精彩内容,与学霸一起交流学习吧!