我国基层公务员素质模型问卷的信度和效度检验

信度（reliability）表征的是测验结果的稳定性、一致性与可靠性，信度的高低通常以内部一致性来表示。一般来说，信度是以信度系数作为表征量，通常它是同一被试样本所得到的两组资料的相关系数；理论上它等于一组测验分数中真分数方差与实测分数方差的比值，因此信度系数越高则表示测验结果越稳定与可靠。信度并不受系统误差的影响，而是受随机误差影响。因为系统误差对测量值的影响是相同的，因而不会带来不一致性；而随机误差会导致测量值的不一致性，因此随机误差愈大，信度愈小。

信度检验常用的方法主要包括重测信度、复本信度、内部一致性信度和评价者间一致性检验等。本书中采用的是内部一致性信度检验。内部一致性信度反映的是测验内部题项之间的关系，检验各个题项测量的内容或特质是否相同也就是题项的同质性，该指标主要表征的是所有测验题项的得分一致性程度。由于本调查研究问卷采用的是多重记分法，因此可以用Cronbach'α系数来估计问卷的一致性，该系数作为目前评价内部一致性的常用的方法而广泛应用于大多数的信度分析中。理论上Cronbach'α系数法是利用各题项得分的方差、协方差矩阵或相关系数矩阵来计算同质性，并得出唯一的信度系数。若计算出的Cronbach'α系数愈高，则代表其测验的内容愈趋于一致。一般说来，信度系数在0.60为信度检验的下限，0.70以上则满足合心理测量学的要求。

本书对知识模块含8个素质要素、能力模块含24个素质要素以及个性特质模块含10个素质要素分别进行信度计算，然后再对总调查表进行信度检验，最后再分别做Guttman折半信度分析，计算出的Cronbach'α系数与Guttman Split-Half系数见表6-6，从信度系数表可以看出，本次调查研究各题项与所属模块之间的相关系数值均大于0.77，说明各衡量维度的内部一致性水准及同质性较好，表明问卷的测量结果是可靠的。

表6-6　调查问卷的信度系数表

通俗地说，效度（validity）就是指测量的有效性，即能测量到的测验结果对所要测量目标的体现程度。理论上效度可定义为与测量目的有关的分数的方差占总方差的比率。根据定义，效度应该是连续性的，效度只有程度上高低的差别，不会是“有”或“无”的变量。因此，在评价效度时不应采用“有效”或“无效”，而应用效度较高或较低来表示。较高的效度是表明测验良好的最重要的特性，因此信度是选择和评鉴测验的重要依据。

信度和效度的主要差别在于他们所考虑的误差来源不同。信度考虑的是来自随机误差的影响；而效度的误差则考虑系统误差的影响。一般说来，高信度并不一定意味着高效度，但是高效度一定是以高信度为前提的。可见，效度的作用比信度的作用相对更为重要。如果一个测验效度较低，不管它的信度有多高，这项测验都将可能没有应用价值。

效度研究要解决以下两个基本问题：一是调查问卷测验的是什么，即所测题项的性质是什么，二是问卷对所测量的题项能测量到什么程度。效度通常可分为内容效度、准则效度和结构效度三种类型。其中，准则效度又可称为预测效度或效标效度。由于调查问卷效度分析中，往往难以选择一个合适的准则或效标，使得该方法的应用受限。因此本书对我国基层公务员素质模型问卷的表面效度（或内容效度）与结构效度（或构念效度）进行了检验。（1）内容效度分析。内容效度也可称作表面效度或逻辑效度，它表征的是问卷的题项实际测到所要测量内容的程度。本研究表面效度检验采用了逻辑分析法与统计分析法相结合的方法。本书素质要素项选取均借鉴了国内外学者的大量研究成果、传承了我国公务员素质建设的宝贵历史经验，同时也充分考虑分析了当前世情国情对公务员素质的新要求。为了保证研究的完整性，本调查问卷还设计了开放式问题，以弥补理论素质模型设计中可能存在的遗漏。另外，问卷中题项的措辞也经过了多次的修改，尽量避免容易引起歧义的问题。问卷形成后由相关领域的大学教授与有多年实践经验的公务员对其内容进行了多次评估与修订，因此，本书的架构及问卷题项具备较高的表面效度和内容效度。（2）结构效度分析。结构效度也可称作构想效度、构念效度或建构效度，它表征的是测量结果所体现出来的某种结构与测值之间的对应程度。鉴于本研究的主要目的在于建立我国基层公务员素质模型，因而适宜采用因子分析法来检验结构效度。因子分析的结果中可用于评价结构效度的主要有累积贡献率。累积贡献率反映了公因子对量表或问卷的累积有效程度，是评价问卷结构效度的重要指标。本书采用SPSS13.0对问卷进行了因子分析，详见本节第三部分内容。分析结果表明，我国基层公务员素质模型由8个维度组成，其总方差解释量达65.768％。因此，本研究调查表的结构效度是良好的。