上海在 PISA2012 中再次夺魁,引起了全世界的广泛关注.不仅国际社会上褒贬不一、不乏质疑之声,就连国内也充满了各种激烈讨论[1][2].实际上,对于教育研究者来说,PISA2012 的测试结果虽然重要,但更为重要的其背后所隐藏的教育现象和教育事实.在各种纷争之下,如何冷静下来,用好 PISA的数据来分析自己的教育问题,才是上海代表中国参加 PISA 的真正意义所在.
通过 CNKI 以 PISA 为篇名关键词进行搜索,可以发现自 2003 年第一篇介绍德国 PISA 的文献以来[3],有关 PISA 的研究已经越来越多.但是,大部分文献都属于介绍性质,要么对 PISA 的测试理解进行剖析,要么利用官方报告的数据进行简单的描述统计和对比,真正使用 PISA 原始数据采用量化研究方法进行深入研究的文献还不算丰富.在这方面,香港作为我国最早的 PISA 参与地区,有着更为专业的力量和丰硕的成果.香港中文大学何瑞珠教授就是其中的代表[4],其成果已经被部分地介绍到国内[5].
2013年底 ,OECD官方网站正式公布了PISA2012 年的测试结果和原始数据,又一次为我们解读上海教育之成功提供了机会.本文将借鉴何瑞珠等人的研究经验,利用上海 PISA2012 样本,深入探讨影响不同能力分位上的学生素养的关键因素.
一、概念界定和技术要点
(一)能力分位
分位数(quantile),是统计学上的一个概念,是指将一个随机变量的概率分布范围分为几个等份的数值点.它表示当一组数被按升序排列时,处在某一位置上的数值.常见的分位数有中位数和四分位数.
在 SPSS 等统计软件中,可以利用描述统计中的相关指令对不同分位上的数值进行计算.同样道理,所谓能力分位,就是指将学生能力(成绩)按升序排列时,在某一位置处的学生能力值(成绩值).这一统计指标可以对学生能力层次进行更好的区分.表 1 中就给出了上海 PISA2012 的能力分位结果.
在 PISA 官方报告中,也有类似的做法,即"能力等级"(proficiency level),并有严格而固定的划分标准.以阅读素养为例,PISA 一共划分了从高到低8 个等级:6 级 (698 以上)、5 级 (626~698)、4 级(553~626)、3 级(480~553)、2 级(407~480)、1a 级(335~407)、1b 级(262~335)、1b 级以下(262 以下).PISA 官方的能力等级强调教育测量学上的可靠性和稳定性,也保证了不同年份的数据是纵向可比的.
但是,利用该变量来研究影响不同能力层次学生的影响因素就会导致一些计量问题,最显而易见的是在 OLS 回归中,样本量必须缩小到相同能力等级的学生身上,而无法利用全样本进行估计.对此,分位以及分位回归技术能帮助我们更为有效地利用全样本是数据探索不同能力层次上的学生素养[7].
(二)技术要点
PISA 是高度开放的,从问卷设计、样题,到最后的数据都可以在其官方网站上下载.但同时 PISA 也有一定门槛的,作为全球最权威的学业水平测试,PISA 不仅提出了许多先进的测试理念,更是将最为稳健的教育测量学方法进行深入运用,开发了像 Conquest 这样的专业软件来处理数据.在利用 PISA 数据进行量化分析的时候,有两点最为容易被忽略,一是权重问题,另一个是 PV 值(plausible value,似真值)问题.
关于权重问题,PISA 数据是对一个国家或地区15 岁人口进行抽样产生的.PISA 官方技术报告指出,由于以下三个原因的存在,使得在使用 PISA 数据进行任何计算的时候都有加权的必要:一是学生或者学校并不一定按照相同的概率被选入样本;二是不同类型学校的参与率不一样,不同特征学生的回答率也不一样;三是出于汇总报告的原因,有些层的样本会被过度取样[8].对于一般统计量(非其标准误) 的计算,必须注意加权问题,这一点通过使用PISA 原始数据中的最终权重变量(W_FSTUWT)即可解决3.①所谓 PV 值,则是现代教育测量学中的理论,其直观解释是指一个学生可能拥有的能力范围的代表值.在现代测量理论中,直接给出一个学生能力的估计值被认为是不可靠的,取而代之的是给出一个学生能力的概率分布情况.在 PISA2012 原始数据中,为阅读、数学、科学各提供了 5 个 PV 值.一般来说,对于最终(final)估计,必须同时使用这 5 个PV 值;而对于临时的探索性(provisional exploratory)估计,使用 1 个 PV 值也可以得到较为可靠的结果,在大样本(6400 以上)时更是如此[9].
二、样本与变量
上海 PISA2012 共在 155 所学校抽取了 5177名学生,其中包含 49 个外国人和 498 名留级生(同时具有两种属性的 18 人).考虑到外国人和留级生会影响到样本分布,从而影响分位回归的估计效果,本文将这些个案排除,最后保留 4572 个本地未留级学生样本.
在本文中,主要使用以下变量作为学生能力分位的解释变量,包括女生、社会经济文化地位等个体层面的变量,以及师生关系和班级规模等学校层面的变量.从表 2 中的描述统计结果来看,样本中女生稍多(53%),ESCS 偏低(均值-0.28),班级规模适中(均值 36.33),师生关系较好(均值 0.66).语数外各科的周课时均值都在 240 分钟到 260 分钟左右,以每节课 40 分钟计,也即每周 6~7 节课,负担适中.
三、OLS 回归结果
在实证研究中,OLS 估计已经成为基准,它虽然只能样本均值进行解释,却是进行深入分析的基础.
这里采用 SPSS 软件对以下模型进行估计:
其中 pisa 表示各科成绩、A 表示截距、girl 表示女生、escs 表示家庭社会经济文化地位(也即家庭条件)、size 表示班级规模、relation 表示师生关系、time表示相应科目的周课时.
从表 3 中模型 1、3、5 的结果可知,对于平均水平的学生来说,性别、家庭条件、班级规模、师生关系、课时等因素都具有非常显着的影响,但是不同科目的影响程度和方向并不一样.从性别上来说,阅读是女生的强项,平均比男生高出 18.37 分;而数学则是男生的强项,平均比女生高出 13.66 分;在科学上,男生优于女生,但是统计上不显着.从家庭条件上来说,贫富差距对三科都有正向影响,即家庭条件越优越,学生的学习成绩越高.对于数学来说尤其如此,escs 相差一个单位,数学素养相差 31.87 分,是所有因素中影响程度最大的.从班级规模上来说,班级规模稍大一些对三门成绩都有正向影响,但是对数学影响最大(1.87),对阅读(1.47)和科学(1.38)稍小.
从师生关系来看,良好的师生关系对三门都有非常大的正向影响,仅次于家庭条件.但是师生关系对数学的影响最大(18.73),对阅读(15.97)和科学(10.42)稍小.最后,各科课时对于相应科目的成绩也有显着正向影响.平均来说,每周多学 10 分钟,可以使阅读提高 1.1 分、数学提高 1.2 分、科学提高 1.4 分.
四、分位回归---一个探索性尝试
OLS 回归分析主要关注的是整体样本的平均水平,但不能用来刻画不同能力分位上的学生成绩的影响因素,这里就需要用到分位回归技术.与 OLS所使用的最小二乘估计有本质区别的是,分位回归不是在估算最小残差,而是在最小化绝对距离差[9].
正是由于这一点,使得通行的 PISA 算法难以实现,因此,此处仅使用 1 个 PV 值进行探索性分析.这里采用 STATA 软件对以下模型进行估计:
实际上,上式与 OLS 回归的差别仅在于脚标 q,它表示 PISA2012 的能力分位,后面的 等则表示相应分位上的回归系数.具体的回归结果见表 4.
为了节约篇幅,这里呈现 10 分位、50 分位和 90分位的结果.不难发现,绝大部分解释变量在所有的分位回归中都高度显着(0.01 水平以上),但是与OLS 估计结果不同的是,各解释变量对于不同能力分位的影响相差较大,有些甚至完全相反.
从模型 1、2、3 中可以看出,性别对阅读的影响在 10 分位上系数最大(25.01),而在 90 分位上系数最小(12.48),这说明在低能力分位上,女生比男生更具优势,而到高分位上,这种差距缩小至一半.家庭条件对阅读成绩一直保持最高的影响水平,而且在各分位上变化不大.班级规模在 90 分位上影响最大(2.00),这说明班级规模的扩大对高能力分位的学生更有利.师生关系的提高则对低能力分位学生更有利,在 10 分位处为 21.66.阅读学习时间在 90分位处已经不再显着,这说明对于高能力分位的学生来说,延长课时并无意义.
从模型 4、5、6 中可以看出,性别对数学的影响在 10 分位上系数为正(0.86),与 50 分位和 90 分位的情况截然相反,这说明对于低能力分位的学生来说,女生反而更占优势,虽然在统计上并不显着.家庭条件对于阅读成绩的影响仍然最大.但是在高能力分位(90 分位)上已经明显变小(25.82).与阅读情况类似的是,班级规模扩大对于高能力分位的学生更有利.不过,师生关系上却与之相反,虽然都具有正向显着效应,但对高能力分位的学生更有利.此外,数学学习时间在 90 分位处也不再显着,同样说明对于高能力分位的学生来说,延长课时意义不大.
模型 7、8、9 给出了科学成绩的结果.性别对于科学的影响较阅读和数学都小,但与数学类似的是,在 10 分位上,女生比男生高 2.81 分,虽然并不显着.家庭条件依然是影响程度最高的因素,在三个分位上都在 20 左右.对于科学来说,扩大班级规模的作用在 10 分位处已经很小,但在 50 分位和 90 分位处依然有正向影响.师生关系也是影响科学成绩的重要因素,在 10 分位处的影响较大(12.33),在 90分位较小(7.43).与阅读和数学有所不同的是,科学课时对于三个能力分位上的学生来说都比较重要,这可能是由于科学更强调实践性,需要动手操作去解决问题.
为了对各解释变量在不同能力分位上的影响程度进行学科之间的比较,本文将每隔 5 个分位的回归系数呈现在下图 1-5 中.图 1 显示出性别效应在三科不同能力分位上的差别.阅读上女生占绝对优势,但随着能力分位的提高,这种优势逐渐缩小.数学和科学上,男生占绝对优势,但在低能力分位处(5分位和 10 分位),男女生差别较小.总体来说,男女生在科学上的差异最小.这也是 PISA 官方报告中多次提及的,科学是性别差异最容易弥合的学科[10].图 2 显示出 ESCS 在三科不同能力分位上的差别.
总体来看,家庭条件对数学影响最大,特别是在低能力分位处(55 分位以下),对于高能力分位处(75 分位以上),家庭条件的影响大幅下降.家庭条件对于阅读和科学的影响也随着能力分位的提高而呈现出逐渐下降的趋势.图 3 显示出班级规模的影响效应,随着能力分位的提高,班级规模的效应一直在波动上升,特别阅读和数学来说最为明显,而科学则在75 分位以上出现了下降.图 4 显示师生关系的影响效应,在中低能力分位上(50 分位以下),师生关系的影响较大,这在数学上表现的最为明显,在高能力分位处(60 分位以上),师生关系对于三科的影响都有所下降.图 5 显示各科课时的影响效应,与其他因素所不同的是,三科的课时影响效应随着能力分位的提高直线下降,而且甚至在 75 分位以后,数学和科学课时的增加都对学生成绩造成负影响,只有阅读还保持着微弱的正向效应.由此可见,对于高能力分位学生来说,延长课时反而是对他们造成了束缚.
五、小结与启示
大数据时代的到来,对教育事业发展和教育科研提出了更高的挑战,也提供了更多的机会.面对海量数据,如何通过适当的手段展开分析去获取对教育改革与发展有效的信息,成为每一个教育工作者义不容辞的责任.PISA 测试不仅提供了高质量的跨国数据,更发布了一系列有影响力的报告[11],值得我们学习.实际上,只有利用量化方法对 PISA 数据进行更为深入的发掘,才能为教育政策和决策提供坚固的基石.通过前面对于 2012 年阅读、数学、科学素养的深入分析,有以下两点值得上海在今后的教育改革中加以注意.
第一,重视对影响学生成绩的关键因素进行分析,通过适当干预来改善学生学习效果.本文选取了性别、ESCS、班级规模、师生关系、各科课时五个变量,在上海 PISA2012 数据的支持下,肯定了其对上海学生具有正向影响,其中 ESCS 和师生关系最为重要.上海市政府可以通过改善弱势群体家庭学生的学习条件和提高师生融洽程度来进一步提高教育质量.同时,也需要正视男女生在阅读和数学两科上的差距,通过各种手段减少偏科现象.此外,维持班级适度规模和适当调控各科课时也是改善学生成绩的不错选择.
第二,在坚持基础教育均衡发展的前提下,关注不同能力分位学生的学习状况.分位回归的结果表明,性别等五个因素在不同能力分位上的作用不一.因此,为了满足学生的多样化需求、有针对性地提高不同能力分位学生的学习成绩,有必要采用差异化教学或者分班教学的方式.比如对于高能力分位的学生来说,适度提高班级规模能够起到加强竞争的作用,有利于他们的发展.此外,适当减少高能力分位学生的各科课时,能够更有利于他们自主发展兴趣、开拓视野.
参考文献:
[1]王湖滨.上海 PISA 2012 结果的外媒反映述评[J].上海教育科研,2014,(02):36~39+9.
[2]程介明.上海的 PISA 测试全球第一到底说明了什么[J].探索与争鸣,2014,(01):74~77.
[3]董琦. 德国 PISA 测试结果及其引发的反思 [J]. 德国研究,2003,(01):55~59+80.
[4]Esther Sui Chu Ho. Multilevel Analysis of the PISA Data:Insights for Policy and Practice[M]. Hong Kong: Hong Kong Institute ofEducational Research, 2013.
[5]何瑞珠.从国际视域论析教育素质与平等:PISA 的启示[M].北京:教育科学出版社,2011.
[6]胡咏梅 唐一鹏.高中生科学素养的性别差异---基于无条件分位回归的经验研究[J].北京大学教育评论,2013,(04):110~127.
[7]OECD. PISA Data Analysis Manual SPSS R SECOND EDITION[M]. Paris: OECD,2009.
[8]OECD. Programme for International Student Assessment PISA2000 Technical Report[M]. Paris,2002.
[9]Roger Koenker and Gilbert Bassett, Jr. (January, 1978).Regression Quantiles. Econometrica, 46(1):33-50.
[10]OECD. PISA 2009 Results: What Students Know and Can Do-Student Performance in Reading, Mathematics and Science ,Volume I:Analysis[M]. Paris: OECD, 2000.
[11]OECD. PISA 2012 Results: What Students Know and Can do :Student Performance in Mathematics, Reading and Science (Volume I)[M]. Paris: OECD, 2013.