测量模型对量尺形成及分层描述的影响分析

TIMSS数学测评和PISA数学测评的结果可以说是建立在IRT统计模型上的统计推断。到2012年为止，TIMSS数学测评在整体数学学业成就、四个内容维度、三个认知维度上共建立了八个量尺。而PISA数学测评在数学素养、四个内容维度、三个过程维度上建立了相应的八个量尺。

在量尺数量惊人相同的背后，我们看到，TIMSS数学测评建立了整体数学学业成就上的基准，以及不同基准上学生在内容及认知上的实际反映分析，PISA数学测评则在八个量尺上都建立了精熟度层次，并进行了相应的学生分析。两者的目的是一样的，就是将连续性的量尺分割成不同分数段，对不同分数段上的学生群体特征进行描述，便于不同国家间在不同群体上再次进行分析比较，有利于获取对本国数学教育有用的信息，特别是对高分数段学生的相关特征进行分析，有助于对学生数学教学的调整及政策的修正。

存在的差异在于，TIMSS数学测评所得的基准，通过人群在量尺上由高到低的排列，根据不同的比例要求来获取基准点，而且使用量尺锚固的方法获取相关学生在内容领域或认知层面的表现特征。从实际操作过程来看，存在以下几个问题。其一，对试题和学生群体的依赖性问题。这个不同基准上学生的实际表现，反映的是每个基准底端学生在局部试题上的表现，同时力求体现的是不同基准之间的差异性。由于该标准建立在学生群体对试题回答正确的比例上，使得试题的选择直接依赖于学生群体。这种试题选择虽然有助于凸显当年参加测评的学生在数学不同基准上的差异性，但是若进行历次测评结果基准比较，这种选择试题的不确定性所带来的有效性，在统计意义上易招来质疑。其二，不同基准之间的包含性问题。由于基准的体现由高到低，理论上基准表现之间应该具有包含性和层级性。不同基准之间学生表现的包含性和层级性如何在基准表现中得以体现？结合认知层面，基准的表现与试题所对应的内容有直接联系，那么如何体现相应的认知领域？特别是，问题解决策略的选择或使用如何体现？在上述问题的解决过程中及获取的现有资料中，没有看到对TIMSS数学测评进一步的说明。

TIMSS数学测评基准的处理，体现出诸多值得疑虑的地方。PISA数学测评在精熟度分层上的处理，则体现出很强的整体设计意识。PISA数学测评的精熟度分析，采用了ACER利用试题刻度技术和俗称为“描述性精熟度”的报告机制，形成“学习指标”的方法，并对相应的量尺进行解释分析。对不同精熟度层次上分界点（类似TIMSS数学测评的基准点）的确定，以及对不同层次上学生在内容领域或认知过程领域不同维度上表现的确定，充分体现了基于IRT理论而确立的试题回答正确概率与试题难度、学生潜质（对于PISA数学测评而言，指内容的不同维度和认知过程的不同维度）三者之间的关系。同时，将表示学生不同维度量尺的数值与试题的难度放在同一个量尺上，整体性分析不同精熟度层次上的学生表现，避免了TIMSS数学测评基准表现描述中的局限性，体现出心理测量统计模型与认知过程模型的整合。

TIMSS数学测评与PISA数学测评的结果，除了获取上述数学学业成就、数学素养和不同维度上的指标外，还有一个重要的工作，就是对这些指标的影响因素进行探讨分析。TIMSS数学测评根据课程模型，对三类不同的课程所对应的情境，探索学生个体、教师及课堂教学、学校三个层面的相关指标，利用IPO模型建立起相应的学习结果影响模型。类似PISA数学测评，在TIMSS数学测评相关IPO模型的基础上，构建CIPP模式，建立数学学业结果与相关影响因素之间的关系，也关注学生个体、教师及课堂教学、学校甚至国际层面等相关因素。由于TIMSS数学测评将课程作为学业结果的主要影响因素，其主要关注点集中在教师及课堂教学上，而PISA数学测评还关注了学生所处的社会经济地位等社会因素。

至此，本章已在测评系统层面，分别在认知、观察和解释三个维度上，将TIMSS数学测评和PISA数学测评进行了横向比较分析。现将比较结果以表格的形式呈现，如表5-10所示。

表5-10　TIMSS和PISA数学测评在分析维度上的异同

（续表）

表5-10罗列了TIMSS数学测评系统和PISA数学测评系统从认知维度到结果解释维度上的表现，两个测评从明显差异逐步走向相同或类似（如果有差异，也仅仅是技术运用问题，如在分层划分的处理方面等）。在观察维度上，测评蓝图、题型使用及编码处理都围绕测评目标而展开，同时将编码与结果解释维度直接联系起来。测评结果解释维度中，最后量尺的形成与目标分析框架相对应，直接形成三个维度相互影响、相互制约的机制，体现出测评系统内部一致性的要求。