第三节 量表结果的参照体系及应用
一、分数的合成
(一)分测验分数的合成
1.百分等级常模
分测验分数的合成,可以直接将受测者在每个项目上的原始得分相加,即每个项目拥有等权重,然后将原始得分参考相应群体的百分等级常模,从而了解自己在整个群体中的位置。百分等级常模详见表6-11。
表6-11 分城乡分测验的百分等级常模
百分等级常模表示的是在一个常模团体中,分数低于该分数的人数占总数的百分比。如信息获取8分,百分等级为5,表明在城市幼儿园教师中,分数低于8分的人只有5%,这给幼儿园教师自评提供了很好的参照标准。但为了避免对细小的差异进行过分的解释,我们采用等级判断。判断的标准为:百分等级<5,表明专业能力水平处于低下,等级为E;5~24之间,表明专业能力水平处于中下,等级为D;25~74之间,表明专业能力水平处于中等,等级为C;75~94之间,表明专业能力水平处于中上,等级为B;95以上,表明专业能力水平处于优秀,等级为A。
2.标准参照评分
由于每个分测验的项目数不同,因此其合成分数的权重不相等,如果只比较其所处位置的高低,我们直接换算成百分等级即可,但百分等级是常模,即个体分数的解释是参照其他人进行的,这是一种相对评价,容易出现“高个子中选矮个子,矮个子中选高个子”的现象,因此绝对评价是促进幼儿园教师专业能力发展非常重要的评价方式。
考虑到选择项是从“完全不符合”至“完全符合”的1~5级评分,而“完全不符合”表明幼儿园教师完全不具备该项能力,因此应该赋值为0,从而变成0~4级评分,这样可以将起评点定为0,以符合人们的习惯。同时,为了让所有分测验的评分单位相等,我们将所有分测验的原始分数均除以其项目数,从而使得所有分测验的分数均分布在0~4之间;但考虑到0~4级评价的单位太大,比较时不够精细,我们再将其扩大10倍,则分数会分布在0~40分之间。这样由于单位变小,较小的差距可以引起较大的分数变动,因而容易引起幼儿园教师的关注。
(二)分量表分数的合成
1.百分等级常模
由于合成各分测验原始分数的项目数不同,如果将原始分数直接合成相应的分量表分数,则项目数多的分测验拥有更大的权重,这对于评价幼儿园教师专业能力水平是不恰当的。我们认为,一名理想的教师各方面能力都能平衡发展,因为能力不具有代偿性,如果一名幼儿园教师拥有很强的一般教学能力,但其教学机智却很差,那么她是不能成为一名优秀的幼儿园教师的。同样,在保育能力中,维护幼儿安全的能力与活动能力也不能相互补偿。另外,考虑到量表主要用于测评教师的专业能力,而不是作出评价,因此,我们认为各分测验应该拥有相等的权重。基于上述考虑,分量表的原始分数是将各分测验转换成0~40的标准分后合并而成的,然后再转换成百分等级常模(结果见表6-11)。
2.标准参照评分
由于组成不同分量表分数的分测验个数是不同的,因而各分量表由其所含的分测验标准分合成的分数仍然不具有相同的计量体系,这样也就无法将各分量表的分数直接进行比较。为了让各分量表具有相同的计量体系,我们参照分测验标准分的计量体系,将分量表的原始分再转换成0~40分的标准分制。
分量表的标准分由两步获得:
第一步,得出分量表的原始分,即x分量表=∑Z分测验。Z分测验表示分测验的标准分。
第二步,将分量表的原始分除以分量表所含分测验的个数,即Z分量表=X分量表÷K分测验。K表示分量表所含分测验的个数。
(三)总分的合成
总分的合成也采用百分等级与标准参照分,转换的方法与分量表一致,即先计算出总分的原始分——各分量表标准分之和,然后一方面将原始分转换成百分等级,得到百分等级的参考常模(结果见表6-10),另一方面将原始分数除以分量表的个数,得到0~40分的标准分。
二、分数的呈现与解释
(一)常模分数的呈现与解释
常模分数的呈现可以采用剖面图直观表示。解释结果时先解释受测者在总分与分量表上的表现,然后解释在分测验上的表现。下面我们通过一个真实的案例来显示常模分数解释的过程与方法。该案例来自海口市一家拥有10名教师、隶属于企业的幼儿园。受测教师年龄47岁,教龄30年,初中学历,职后未进行过任何培训与学历提升。测验结果详见下述内容。
1.总分与分量表百分等级分数的呈现与解释
我们先将个体总分与分量表上的原始分换算成百分等级。如该幼儿园教师的总分为115分,教学能力、保育能力、沟通能力、评价能力与其他能力五个分量表上的原始分分别为75分、112分、66分、48分、48分,则总分的百分等级为5以下;各分量表中,除教学能力在5~20之间,其他四项指标均在5以下。我们可以将该教师的专业能力做成剖面图,如图6-1所示。
图6-1 幼儿园教师专业能力的总分与分量表百分等级剖面图
通过剖面图可以直观地看出该名幼儿园教师专业能力从整体上看在全省城市幼儿园教师中处于低下水平。各专业能力中,只有教学能力处于中下水平,其他均处于低下水平,说明其专业水平亟待加强。
2.分测验百分等级分数的呈现与解释
分测验百分等级分数的呈现与解释程序与标准均同分量表一致,即先将分测验上的原始分数转换成百分等级,然后再做剖面图。如该教师在分测验上的得分依次是30分、21分、12分、16分、16分、17分、22分、23分、19分、17分、11分、9分、25分、16分、19分、17分。转换成百分等级后,百分等级在5以下的分测验分别是维护幼儿安全、生活照顾能力、活动能力、信息表达;5~24的分测验分别是一般教学能力、教学机智、促进幼儿发展、环境创设、沟通方式、信息获取、评价方法、评价内容与结果应用、心理弹性;25~50的分测验是教学调控能力、专业发展能力。这时我们就可以做剖面图,如图6-2所示。
通过图6-2,我们可以直观地看出,该教师的一般教学技能与教学机智均处于中下水平,而教学调控水平处于中等水平。教师的心理弹性处于中下水平,专业发展能力接近中等水平,其评价能力也接近中下水平,沟通方式与寻求相关信息的能力处于中下水平,清楚明白地表达信息的能力相对较低。相对来说,最差的是保育能力,如维护幼儿安全、生活照顾能力与活动能力均处于低下水平。
注:由于分测验量太大,因此以符号代替,符号的意义与表6-11完全一致。
图6-2 幼儿园教师专业能力的分测验百分等级剖面图
再综合该教师的背景信息进行分析得知,该教师年龄47岁,教龄30年,只有初中学历,且没有任何职后培训的经历。其所在幼儿园专职教师人数10名,是城市中较差的幼儿园。相对来说,这种小型幼儿园对教学工作会更重视,因此教师的教学水平相对要高一些。而教师的专业发展能力虽然接近中等水平,但因其所受教育太少,加之职后培训的机会欠缺,故使得其专业能力难以提高。
(二)标准分数的呈现与结果解释
我们仍然以上述教师为例,分别算出其总分、分量表与分测验上的标准分,然后再画出剖面图。如果该教师选择“基本符合”,表明其在该项能力上基本达标,算合格;如果选择“完全达到”,则表明其为优秀。根据这一标准,可以算出总分、分量表与分测验的标准分均要达到30分才算合格。我们设置26~30分为合格,31~35分为良,35分以上为优秀,21~25分为临界合格,11~20分为差,0~10分为极差。
为了能直观地看到教师相对于这一标准的能力分布图,我们依然采用剖面图的方法,分别做出总分与分量表的剖面图、分测验的剖面图。
1.总分与分量表标准分的呈现与解释
我们先按标准分计算方法算出其总分与分量表的标准分,总分的标准分为23分,教学能力、保育能力、沟通能力、评价能力与其他能力五个分量表的标准分依次为25分、20分、22分、24分和24分。那么其剖面图如图6-3所示:
图6-3 幼儿园教师专业能力的总分与分量表标准分剖面图
通过图6-3我们可以清晰地看出该教师的专业能力整体上处于临界合格教师水平。在分量表中,除保育能力处于差的水平外,其他均处于临界合格教师水平。表明该教师各方面能力均需要进行培训,而目前急需保育能力方面的培训。
标准分的结果与常模结果有一定的差异,常模结果是除教学能力外,其他均处于低下水平。原因在于两者比较的参照系统不一致。标准分是与一定的标准进行比较,是绝对的标准,与其他人的能力无关。因此,该教师与一定的标准相比,除保育能力外,均处于临界合格教师水平。这与其背景相关,毕竟她工作了30年,如果能力太差,是无法持续工作这么长时间的。而常模比较处于低下水平,这是相对于城市其他幼儿园教师来说的。由于比较的都是在职教师,应该都具有一定的专业能力才能胜任工作,因此相较于其他教师,处于临界合格水平的教师在职后教师中所占的比例应该很小。从这些分析可以看出,对于评价教师个体的专业能力来说,采用标准分比常模分要好,但常模分可以提供幼儿园教师专业能力的总体信息,有助于教师认清自己所处的位置,从而产生危机感。
2.分测验标准分的呈现与解释
分测验标准分的呈现与解释同分量表一致,都是先计算出标准分,再做剖面图。上述教师的分测验标准分依次是23分、32分、20分、22分、22分、24分、21分、23分、22分、24分、20分、26分、22分、28分和24分。根据数据我们可以做出剖面图6-4。
图6-4 幼儿园教师专业能力分测验标准分剖面图
通过剖面图可知,该教师的教学调控能力达到了良好水平,她掌握的评价方法与心理弹性均达到了合格教师的水平,但教学机智、信息获取能力处于差的水平,而其他能力则处于临界合格的水平。这与常模参照的结果不同,在常模参照中专业发展能力是优于心理弹性的,原因在于幼儿园教师的心理弹性水平均较高,而其专业发展能力均较差。因此,该教师虽然在进行绝对比较时其心理弹性是优于专业发展能力的,但相对于其他教师来说,她的心理弹性仍然要差一些,而专业发展能力相对于其他教师来说要好一些。这也再次验证了相对评价会存在“高个子中选矮个子,矮个子中选高个子”的缺陷。同时,这也提醒我们,幼儿园教师与家长的沟通可能更多的是单向沟通,即幼儿园教师在向家长发出信息与寻找发出信息的途径方面做得比较好,而向家长寻求有关的信息较少,这显然不利于家校合作,对幼儿的评价也不全面。
三、分数解释与报告的注意点
将测验用于个体时,对分数如何进行深入客观的解释,如何将测验结果与解释报告给当事人,都是正确应用测验时应该非常重视的问题。
(一)分数解释的注意点
1.百分等级解释时的注意点
百分等级是指个体在团体中的相对位置,因此在进行解释时要考虑到常模团体的组成。本研究中的所有幼儿园教师均来自于海南省,因此对于其他省份来说,常模不具有代表性。即便对于海南省来说,常模分数的解释也要非常谨慎。原因主要在于以下两点:一是抽取样本时虽然已尽量在全省范围内抽取,农村幼儿园的抽取也尽可能地考虑到了地域的分布,但由于现有幼儿园教师总体资料本身的欠缺,使得抽样时难以获得相关的分层依据,因此,在抽取样本市县时更多的是参考该市县经济、教育的总体水平来确定。这样做是否合理仍有待于进一步研究。二是即使常模团体具有充分的代表性,但是由于目前学前教育不发达,常模团体本身处于低水平阶段,因此,一个高的百分等级可能并不能说明其具有高标准的专业能力。
为了谨慎起见,我们在解释分数时并不能对微小的百分等级差异进行过度的解释,而是根据一定的分区进行解释,如95以上为优秀、75~94为良好、25~74为中等、5~24为中下、5以下为低下五个标准。
另外,在使用常模时,一定要选择恰当的常模。由于现在学前教育发展极不均衡,城市学前教育的水平显著高于农村,因此对于农村幼儿园教师的评价应选用农村常模。城市幼儿园教师的构成相对比较复杂,幼儿园之间各方面条件差距也较大。为了保证常模的代表性,城市幼儿园的常模团体中包括了很多小型幼儿园,专职教师人数在10人及以下的幼儿园占22.3%,11~20人的幼儿园占26.8%。如果对所有城市幼儿园教师均简单地以城市常模来比较,会使条件良好的幼儿园教师处于高水平的位置,这对于教师的专业发展来说是不利的,因为高的百分等级可能会削弱教师的危机感。为了解决这一问题,我们还提供了示范性幼儿园(包括省级与市级幼儿园)的常模,对于来自示范性幼儿园或水平较高、条件较好的私立幼儿园的教师,也可参考示范性幼儿园教师的常模进行比较。
2.标准分解释时的注意点
这里的标准分并不是心理统计学中所说的标准分数,而是指相对于固定的标准,如5分表示“完全达到”所计算出来的分数,相当于心理测量学中的目标参照测验。统计学中的标准分数是指某一原始分数以平均数为参照点,以标准差为单位,其在平均数上下的相对位置。这是我们在解释标准分时要注意的第一点。
第二点要注意的是幼儿园教师专业能力量表的表面效度高,受测者回答问题时可能并不是根据自身的水平,而是根据社会期望的要求来进行选择。这时测量出来的能力可能并不是其自身的能力,而是其认为应该达到的能力。另一种与之相反的反应定势为谨慎定势,即个体可能会觉得应该谨慎,只有自己每次都能做到时,才会选择“完全符合”,否则怕其他人说自己骄傲。对于这两类教师,一是用指导语进行控制,告诉对方“完全达到”是指在工作中绝大部分时间能做到,如90%以上都能做到;而“大部分做到”是指75%以上均能做到的。二是我们可以加入龚耀先老师修订的“艾森克人格问卷”中的效度量表,根据其标准对教师分数解释提供参考意见。
另外需要注意的是,在解释分数时要注意参考其他的相关资料。测验分数本身并不能解释教师的整体专业能力水平,而且也不是了解教师专业能力水平的唯一途径。为了客观准确地了解教师的专业能力水平,我们可以结合三方面的资料进行分析:一是受测者在受测时的情绪状态、动机与合作态度、健康状况等,这样我们才能正确判断测验结果是否真正反映了教师的真实水平,测验结果是否可靠。二是受测者的背景资料,如受测教师的文化背景、教育经验、教龄、日常工作表现、所在幼儿园的背景与条件。由于不同幼儿园所侧重的能力不同,教师的专业能力也会出现与此相匹配的现象;而且幼儿园的条件会影响教师专业能力的发挥,受测者的教育经验与文化背景会影响其对项目的理解,这样也会影响结果的可靠性。三是他人的评价结果等,如与受测者配班的教师、其所在幼儿园的园长等对受测者进行的专业能力评价结果(可以采用本书第五章介绍的幼儿园教师专业能力评价工具),受测者日常的工作表现,幼儿及其家长的意见等,这些资料可以让我们更客观、更深入地解释受测者的测验结果。
3.不要对分数的细小差异做过度解释
由于测验会受到随机误差的影响,所以测验分数并不是固定的一个点,而是一段区间,而且由于不同分测验与分量表的信度不同,所以其分数也难以直接进行比较。对受测者细小的差异,如几个百分等级进行比较,应该根据等级划分进行解释,详细的等级标准建议采用本书在本节“分数的呈现与解释”中所采用的等级标准。
4.对测验结果的原因解释应慎重
任何测验结果均是对教师目前专业能力水平的测量,但影响其当前水平的因素很多,如幼儿园的客观条件、家长的要求、受测者本人的受教育情况和人格特征、测验情境等。在解释过度低分或异常分数时,要仔细找出分数反常的原因,而不要单纯地以分数武断地下结论。
(二)分数报告的注意点
报告测验分数的目的是让受测者理解测验分数的意义,据此指导其日后的学习与工作。因此,我们需要注意以下几点:
1.报告的语言通俗易懂,确保受测者理解测验结果
心理测量与专业能力都是专业术语,而这些术语对于没有学习该门学科的人来说很难理解,因此在报告分数时应采用通俗易懂的语言,使受测者能够理解其意义。如告知受测者其信息表达的能力时,应告知的是其在将自己所想要表达的信息与内容传给他人时的情况,包括传递的信息是否恰当,是否愿意与人沟通等。这样,受测者才能更好地理解其含义,也才能指导其改进。
2.告诉受测者分数解释的参照标准
测验的结果有两种参照体系,即标准分与百分等级分数。如果在采用百分等级分数,我们应该告诉受测者什么是百分等级,用来比较或计算百分等级的参照团体是什么样的,是如何组成的。如果是标准分,应告诉受测者采用标准分的意义,这样才能使受测者更好地理解其测验分数。
另外,还应告诉受测者分数并不是一个点,由于会受到测验本身及受测者的影响,因此分数只是对其能力一个比较恰当的估计。不过,这种估计确实可以在一定程度上体现其能力,因而可以避免受测者对分数的怀疑。
3.对低分的解释应非常谨慎
当教师在测验上得低分或分数不理想时,容易产生自卑或自我防御的心理。因此,在对低分者进行解释时态度应诚恳,并且要避免做直截了当的解释。如本章所举例的那位教师,其年龄已达47岁,解释时就不能直接说:“您除教学能力外,其他能力在城市幼儿园教师中处于低下水平。”因为这样会让该教师非常自卑与难受,甚至有可能使其抵制该测验结果。较为理想的解释应为:“您在测验中的得分低了点,这可能与您受的教育及职后培训较少有关系。但是您的专业发展能力不错,像您这种情况,通过积极的学习与职后培训,也会有很不错的职业表现。”
4.提供相关咨询与建议
报告分数时不仅要注意避免伤害受测者,而且也要为受测者提供日后的改进建议。施测的目的不是评价,而是改进与提高。因此,在解释结果时,应该根据测验的结果提供相关的建议。如对上述教师,我们可以建议其阅读相关的书籍,介绍其观摩其他幼儿园的公开课,参加相关的培训等。
除了针对分数提供改进的建议,还应理解受测者的感受。如果发现受测者有误解、自卑或其他不良影响,应及时给予引导,以消除不良影响。
5.注意对分数的保密
受测者的分数不应该让无关人员知道,否则可能会给受测者造成不良的影响。即使是园内测评,园长也只能知道教师的等级,而不能知道其具体的分数。其他教师、幼儿及幼儿家长更不应该知道测评分数。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。