研究设计的内容与标准

研究设计（research design）是一个全局性的问题，其内容涉及方方面面。为此，研究者应在从事专题研究之前进行通盘考量，按照一定的程序对所要进行的工作制定出详细的计划与安排。具体而言，严谨的研究设计可以告诉我们观察与分析的方向；建议所需要的样本量，并指明各变量的种类；指导我们根据各变量的测量类别或层次来选择适当的统计方法；最后，研究设计还告诉我们如何根据分析结果作出各种可能的结论。总而言之，研究设计是将研究情境与资源进行有效的安排，使研究者以经济的方式，按照研究目的获取准确的资料，并作出正确的分析，以解决探索中特定的问题。

研究的信度和效度正是用来评价研究和研究结果是否客观有效的科学性标准。研究中的每一个步骤都会影响研究的信度、效度，包括被试、主试、研究情境、研究设计等多种因素。因而对研究信度、效度的考虑要贯穿于研究设计各个环节的始终，否则将被评定为不合乎科学或不合乎逻辑。

一、研究设计的基本内容

在心理与教育科学研究中，尽管具体研究方法多种多样，但无论哪一种方法都涉及选择和操纵变量、形成研究设计假设、选取研究对象、确定研究程序等一系列问题。

一般来说，一项良好的研究设计主要包括以下几个方面的内容：

（一）明确研究目的和选择研究对象

从事一项研究工作，首先必须有个清楚的目的，如此研究才有方向。同时目的能否达到和如何达到也是至关重要的。关于这一点，研究者在阅读分析前人研究时，要特别注意从已有资料中寻找空间。研究目的确定之后，根据研究的性质与研究问题的意义价值，可以明了研究对象的特征，如此就能大致确定研究对象的范围。在选择研究对象时，除要考虑研究的目的之外，还要考虑研究结果的概括性程度。在界定了研究对象的总体后，还应根据统计学的要求，估算样本的大小。在确定样本大小时，既要保证样本的代表性和推论的准确性，又要考虑研究进行的主客观条件，即可行性因素。并在此基础上，决定样本取样的具体方法。

（二）选择研究类型和收集数据的方法

在心理与教育科学研究中，研究类型多种多样。根据研究时间的延续性可以分为纵向研究与横断研究；根据研究对象的多少可以分为个案研究与群体研究等。这些不同的研究类型各有优缺点，分别适用于不同的研究课题。研究人员应该根据自己的主客观条件和研究课题的要求，选用适当的研究类型。比如研究课题需要在短时间内收集大量数据，则宜采取横断研究和多被试的群体研究。

确定研究类型之后，就要考虑选择收集数据的方法。在心理与教育科学研究中，可采用的收集数据的方法很多，包括访谈法、问卷法、观察法、测验法、实验室实验法、现场实验法等。研究者应根据研究的目的、被试的特点、研究的主客观条件、各种方法的优缺点与适用性，选择最合适的方法。同一研究课题往往可以用多种方法收集数据，而每种方法又各有其优缺点。因此，在目前的心理与教育科学研究中，提倡多种方法的综合运用。

（三）确定研究变量的抽象定义和操作定义

任何一个研究课题，都涉及一个变量或多个变量与另一个变量或多个变量的关系。因此，在选定了研究类型和收集数据的方法之后，应根据研究目的，进一步明确研究课题所要研究的变量有哪些，需要控制的无关变量又有哪些，并在此基础上，确定研究变量的抽象定义（即变量的内涵和外延）。然后，用可感知、可度量的具体事物、现象等可观测的指标为研究变量下操作定义，从而使研究变量变得具体、可操作、能控制及检验，便于探讨变量间的关系。

（四）选择研究材料和测量工具

确定了研究变量的抽象定义和操作定义之后，研究设计工作就进入到选择研究材料与测量工具的阶段。一方面，研究者要根据研究的需要，收集和选用现有的实验仪器、测量工具等；另一方面，还要根据课题的特殊要求，制作有关的实验材料或编制有关的测量工具。无论是选用还是编制研究材料和测量工具，都要考虑研究的目的、被试的特点、研究的主客观条件，以保证研究所用材料和测量工具的科学性。

（五）确定研究程序与控制研究误差

研究程序是研究进行的具体步骤，用以说明研究资料如何收集的程序，它可以保证研究有条不紊地顺利进行。制定研究程序主要包括以下几个方面的工作：（1）确定测查研究变量的方法和研究实施的步骤；（2）确定研究材料的组织与呈现方式；（3）确定控制研究误差的方法。由于心理与教育科学研究的复杂性与特殊性，研究误差的控制就显得更为必要。有关的具体技术与方法，将在本章第五节进行详细的介绍。

（六）考虑研究结果的统计分析

在研究设计时还要考虑如何对收集到的研究数据、资料进行分类整理，用何种统计方法进行分析，并据此修改、完善有关收集数据的方法与内容的计划（详见第十六、十七章）。

二、研究设计的评价标准

研究的信度、效度是研究设计中需要考虑的重要问题，也是评价研究设计科学性的主要标准。

研究的信度（reliability）指研究方法、程序、结果的可重复性，分为内在信度和外在信度。内在信度（internal reliability）是指在同样的条件下，资料的收集、分析和解释的一致性，反映的是不同资料收集者或评价者在同一条件下收集、分析和解释资料之间的一致性程度。在一个缺乏内在信度的研究中，资料的收集者或评价者是影响其结果的重要函数变量，而不是实际发生事件的函数，即不同的研究者会使研究结果迥异，从而使研究缺乏可靠性。外在信度（external reliability）指不同的研究者能否在相同或相似的背景下重复研究以及研究结果的一致性。正式的心理与教育科学研究报告要求列出详细的研究方法、步骤、材料，其重要目的之一就是使外在信度能够得到检验。对于研究工具而言，常用的研究信度指标主要有重测信度和分半信度（内部一致性信度）。这些信度指标的收集与估算请参见有关书籍。

研究的效度（validity）指研究揭示心理与教育规律的真实程度。它直接反映研究目的的实现程度，因而是评价研究及其结论的最根本的标准之一。常见的研究效度有构想效度、统计效度、内部效度和外部效度四类。

（1）构想效度（或构念效度）（construct validity）：指研究理论构思的合理性及其转换为操作性定义的恰当程度。理论构思的清晰性和逻辑性、具体研究假设与理论构思的一致性、变量抽象定义的清晰性、变量操作定义及其观测指标的合理性与可行性、对无关变量的控制性，都会对构想效度产生影响。

（2）统计效度（statistic validity）：其目的在于检验研究结果的分析程序与方法的有效性，主要用于误差、变异来源、统计方法的适合性等问题的判定。统计方法的适合性和统计检验力数据质量等对统计结论效度有着根本性的影响。

（3）内部效度（或内在效度）（internal validity）：指研究的自变量和因变量之间关系的确切程度。

（4）外部效度（或外延效度）（external validity）：指研究结果能够被推广到样本总体和其他条件中的程度。

由于内部效度和外部效度分别对研究结论的准确解释性和普遍性进行研究，因而具有特别重要的意义。基于此，我们在后面还将专门对研究的内部效度和外部效度进行探讨。

研究的信度与效度之间有着紧密的联系，信度高是效度高的必要非充分条件。以射击靶环为例，假设有A、B、C三支枪，对准靶面中心固定位置各射9枪，所得结果如图5-1。

A枪弹着点十分分散，表明其准确性和一致性都不好；B枪弹着点虽然比较集中，但偏离靶心，说明一致性好，准确性差；C枪弹着点全部集中在靶心，说明一致性和准确性都好。以弹着点的一致性来表示研究的信度，以其准确性来表示研究的效度，我们可以得出三条结论：信度低，效度必然也低；信度高，效度不一定高；效度高，信度一定高。

图5-1　准确性和一致性的关系

（采自郑日昌，1987）

三、研究的内部效度

研究的内部效度是考察一个研究的结果是否真实可靠的重要标志之一。内部效度解决的问题是，能否从研究所收集的数据中得出研究的结论，即研究变量之间的关系是否确定。提高内部效度就是保证因变量的变化是由特定的自变量所引起的。

研究的内部效度要求研究变量之间的关系明确，使无关因素对研究所探讨的问题的影响最小。因此，我们必须了解在心理与教育科学研究中，有哪些因素会干扰研究的内部效度，或者说，我们在实验设计时应重点考虑哪些因素可能会对研究结果产生影响。

在心理与教育科学研究中，通常下列因素可能会影响研究的内部效度：

1.成熟因素　在研究期间，被试的身心功能会随着时间的推移而发生系统的变化，如儿童的智力会随年龄增长而变化。因此，就那些实验周期长的实验处理或干预实验来说，对被试前后测的效果可能与受到成熟因素影响产生的效果相混淆，从而降低研究的内部效度。解决这一问题的主要方法是设立控制组进行比较。

2.偶然事件　在研究进行期间未预料到的各种大小事件甚多，如被试的情绪波动等，均会影响被试的行为表现，混淆研究处理的效果，降低研究的内部效度。

3.被试选择差异　对被试分组时，并未采用随机挑选或随机分配的方式，使被试在研究的初始状态就存在差异，从而影响对变量关系的判定，降低内部效度。如研究的教学实验班是由智力偏高的学生组成的，而控制班是智力水平普通的学生，这种初始状态的差异会直接影响研究结果。

4.被试缺失的影响　在研究过程中，由于各种原因，被试可能中途退出研究，这将影响研究的内部效度。这种情况在纵向研究中非常普遍。一般可以通过增加被试量来解决这一问题。

5.前测的影响　对于有前后测的研究来说，前测经验可能会提高被试的后测成绩，即练习效应。如在一些智力测验中，被试可能会通过学习熟悉某些题目，从而提高成绩。

6.实验程序和测量手段的影响　研究过程中，由于实验的程序（如前后测的程序）或者研究中采用的工具（如测验的版本）不一致，可能抵消、降低或夸大实验处理的效果，使研究的内部效度受到影响。

7.多因素的交互作用　在研究过程中，由于研究程序或实验安排方面的原因，会造成变量的不同水平间以及变量水平与研究程序或实验安排间的交互作用，降低研究的内部效度。比如研究者欲了解中学生学习动机的发展，但是由于没有考虑性别的影响，就有可能造成年龄与性别之间的交互作用，影响研究结果。

8.统计回归效度　在进行重复测量时，初测时位于两端的高分者和低分者，复测时成绩会出现向平均值移动的现象，这种自然倾向被称为统计回归效度（statisticalreg ression validity）。如果在研究中所选取的被试是分数极端者，就可能会产生此效度，从而降低研究的内部效度。

以上介绍了影响研究内部效度的八种因素。在具体的研究中，影响内部效度的因素种类、数量、作用大小可能不同，研究者需根据具体情况加以分析、识别，并采取相应的措施予以控制和消除。

四、研究的外部效度

研究的外部效度又可以分为总体效度和生态效度。

总体效度（population validity）是指研究结果能够适用于被试所来自的总体的程度。为了确保总体效度，就必须从总体中随机选取样本，使样本对总体具有代表性。

生态效度（ecological validity）是指研究结果能够概括化和适用于其他研究条件及情景的程度和能力。若要使研究结果能够适用于其他条件和情景，就必须考虑如何使进行某一特定研究的条件与情景对其他条件、情景有一定的代表性。

影响研究的外部效度的因素通常有以下几种：

1.研究样本的代表性如果研究样本的代表性差，且与总体差异过大，样本不能代表总体，那么，研究的总体效度必然会受到影响。比如在调查中学生的吸烟问题时，由于所选学校的教育质量过差，就可能会错误估计问题的严重程度。

2.实验者效度研究者在研究过程中，可能会通过自己的言语、情绪及行为，把研究的目的、结果的期望等传递给被试，导致被试做出虚假反应从而影响研究结果的概括性或适用性。这方面比较典型的例子是罗森塔尔效应（注5-1）。

注5-1：罗森塔尔效应（Rosenthal effect），又称自验预言（self-fulfilling prophecy），指在有目的的情境中，个人对自己（或别人对自己）的预期常在自己以后的行为结果中应验。

3.测量工具的可靠性如果在研究中选用的测量工具的信度与效度低，或在研究中机械地借用他人的工具而未经修订，都会影响研究的外部效度。

4.研究情景过于人为化，与实际情景差异大如果把实验室研究的结果用于真实的实际情景，其适用性可能会受到影响。

5.被试与实验处理的交互作用被试的各种特征（如年龄、性别、动机等）会使实验处理的效果具有某种特定的意义，从而使研究结果的普遍性受到影响。比如在图形识别测验中，可能由于一些被试对于某些图片产生恐惧感，从而会影响总体的测验成绩。

要提高研究的外部效度，在研究设计时就应考虑上述因素。做好样本的选取工作是非常重要的一步。此外，在确定研究课题、形成研究假设时，也应考虑研究结果的概括性问题，不可任意扩大研究的外延。

一般来讲，研究的内部效度与外部效度的关系主要表现为前者是后者的必要非充分条件。一些现场实验研究（注5-2）将两者较好地结合起来。但有时也会出现相互冲突的情况，如某些严格的实验研究虽然内部效度很高，但外部效度却因之而下降。因此，研究者应根据研究的具体目的作适当的权衡与选择。

注5-2：现场实验研究（field experimental study）：是一种在实际生活情境下进行研究的方法，允许实验者在有限的程度上控制某些条件和变量来观察操作者的行为变化。

通过对研究信度和效度及其影响因素的探讨可以发现，影响研究结果可靠性的因素不仅存在于研究设计之中，而且还存在于实施研究设计的实际过程之中；不仅存在于被试、主试和研究环境之中，同时还存在于研究的各个具体环节之中。因而要制订一个好的研究设计，就必须结合研究的实施过程，全面、严谨地考虑研究设计中诸环节及每个环节各方面有可能影响研究信度、效度的因素，并加以排除或控制。