实验法的效度及优缺点

三、实验法的效度及优缺点

在实验法中，同样存在信度和效度的问题。实验法的信度主要体现在对概念的明确的操作化定义、测量工具和精确程度的要求上，与其他调查方法相比，较容易实现较高的信度。首先，有些实验是可以重复的，这个过程可以检验其信度；其次，有些实验可以通过对多组测量的比较来了解信度。相对而言，实验的效度是人们关心的焦点问题。

（一）实验法的效度

实验法的目的是推断变量间的因果关系，并使实验结果具有普遍性。但这两个目的往往很难同时达到。要精确测量自变量的影响就要严格控制实验情景和外部变量，但这会使实验的环境缺乏代表性；而如果把实验放在真实的自然环境中进行以便提高实验的代表性，又很难控制其他外部因素的影响。实验法面临的这个矛盾主要体现在实验的内部效度和外部效度上。

1.内部效度

内部效度也叫内在效度，是指实验结果正确反映实验本身的能力，即因变量的变化完全由自变量引起，而排除了其他一切外部变量。在实验中，如果不能严格控制外部变量，使它们对因变量产生影响，就会降低实验的内部效度。

提高内部效度的方法是采用严格的实验设计并严格控制实验的条件。但无论如何，实验中总会存在影响内部效度的因素。

（1）实验对象的选择性偏差。如果用来比较的两个组之间本身就存在差异，就引入了实验对象的选择性偏差。通过随机化分组，则可以减少这个偏差。但对于大部分的现场实验，这一点很难做到。

（2）时间因素。在历时较长的实验中，可能随着时间的变化，出现了影响因变量的新因素，例如突发事件等。前测和控制组的设置可以帮助研究人员确定这些因素是否存在，并从实验结果中排除它们的影响。

（3）测量。前测本身会对实验对象产生影响，致使在后面的测量中容易出现不真实的信息，尤其是对于能力、态度等的测量中。所罗门四组实验设计可以帮助研究者发现这种测量效应的存在。

（4）实验对象的中途退出。如果实验要经历一段较长的时间，有的研究对象不一定能坚持完成实验而退出，退出实验的人和没有退出的人本身可能存在差异。这样就降低了实验组和控制组的可比性。所以，一般对实验结果进行报告时，都需要报告参加前测和后测的人数。

（5）处理的扩散和污染。处理的扩散是指不同组的研究对象相互交流，控制组从实验组成员那里了解到实验处理的内容，这样导致控制组成员在某种程度上也受到了实验处理，从而影响了控制的效果。因此，在实验中应该采取措施避免或禁止各组成员的交流。

（6）实验组与控制组的竞争。如果控制组的成员意识到他们正受到不平等的待遇，而且他们的表现将用来与实验组成员进行比较，就有可能产生心理压力，努力较小，会产生失常的表现而影响实验的效果。

（7）研究目的的暴露。从研究人员的角度，他们如果知道哪些是实验组、哪些是控制组，有意无意之间的表现很容易让研究对象觉察到研究的目的；有时实验处理本身也会让研究对象意识到研究目的。这时，研究对象就可能朝着迎合研究目的的方向报告他们的情况。

为了减少不平等待遇对控制组的影响以及研究人员对实验组的影响，尽可能采用双盲实验，即研究对象以及直接与研究对象接触的人都不知道谁在实验组、谁在控制组，实验处理也对控制组实施，只不过是一种假的处理。

2.外部效度

外部效度也叫外在效度，是指实验的结果推广到实验以外的能力，也就是说实验结果能否应用于现实世界，这是一项实验关键的问题。如果一项实验结果从实验内部讲是有效的，但在现实生活中毫无用处，这样的实验结果就不能推广，这项实验的价值也受到影响。影响外部效度的主要因素如下：

（1）实验情景的人工化。对于实验室来说，实验的环境与现实生活相差非常大，不存在过多的外部变量，变量间的关系也远远不如真实情况那样复杂，因此，实验结果很难对实验室以外的现象做普遍性的概括。

（2）实验样本缺乏代表性。由于大部分实验是选取自愿的实验对象，或即使采用随机抽样也由于拒绝合作难以达到随机的效果。因此，实验样本很难代表所要研究的总体，导致实验结果的适用范围受到限制。

客观地说，内部有效性和外部有效性很难达到绝对一致，大部分的实验都面临着内部效度和外部效度的相互矛盾，若提高内部效度则有可能降低外部效度，若提高外部效度则有可能降低内部效度。设计一项实验，需要反复权衡二者之间的取舍。一般来说，实验室实验的内部效度较高，外部效度较低；现场实验则相反。

（二）实验法的优缺点

实验法和其他研究方法相比，在研究媒介现象方面具有显著的优点，同时也有一定的缺点。为了便于说明，我们对实验室实验和现场实验分别进行讨论。

1.实验室实验的优点

（1）能够确立因果关系。实验法的最显著优点是能够构建因果关系，这是其他任何调查研究方法所不能达到的。虽然它不能够证明因果关系的存在，但它提供了确立因果关系的最佳证据。在实验中，研究者可以控制其他外部变量，使自变量的作用独立出来；同时，实验采用前测→实验处理→后测的次序，控制了自变量和因变量出现的时间顺序；由于这些措施，可以比较有把握把因变量的改变归因于实验刺激，即自变量的影响。

（2）控制能力强。可以说，控制是实验室实验的基本特征。研究者可以设计出独立、不受常规活动影响的实验情境，控制实验环境和实验对象的分组，控制自变量和因变量的数量和类型以及施加实验刺激的方法，这些措施对于资料分析和假设检验具有重要的意义，可以有效地提高实验的内在效度，发现变量之间的真正关系。

（3）费用较低。同其他调查研究方法相比，实验法的费用常常较低。这主要是因为一项实验的规模比较小，实验的时间比较集中。较少的对象、较小的规模、较短的时间决定了实验的费用不会太多。但实验的规模小不代表不能够达到较好的效果。例如，对广告效果的研究，小规模的实验显然比调查法更有效，但费用要节省得多。

（4）易于重复。重复一项研究对于获得可靠的结论来说有着十分重要的意义。把一项实验的过程详细地记录下来，以方便其他人重复验证实验的结论。许多经典的实验经常被重复进行。有时重复实验改变了实验的情境，以确认研究结论并不只局限在特定的环境中，而是具有一定的普遍性。

2.实验室实验的缺点

（1）实验场景的人为性。实验室实验的最大问题是实验环境的人为性。实验室实验之所以能够确立自变量与因变量之间的因果关系，关键在于它通过各种设计，把其他因素的影响控制在最小限度以内，以突出实验刺激对因变量的影响，因此实验都是在受控的环境之中进行的。对实验环境的控制程度较高，同时也就意味着离现实越远，所得到的研究结果越难以推广到真实世界中。

对于复杂的媒介现象，是不可能脱离真正的现实而存在的，研究者关注的主要目标是外部效度。从这个角度，许多研究者较多地进行现场实验来克服实验环境人为性的缺点。只不过现场实验又出现了难以控制的缺点。

（2）样本的缺陷。除了实验场景的人为性之外，影响实验外部效度的还有实验样本的代表性不足问题。参加实验的人与现实世界中的人们往往有较大不同；由于方法的限制，样本的规模常常又是很小的。因此，实验室实验往往只用来了解人们在受到某种刺激之后的心理变化。

（3）实验本身的影响。由于置身于实验的环境之中，实验对象的表现往往不自然；同时，实验人员的言行无意间也会给实验对象一种压力或暗示，导致某些实验对象会有意迎合实验者的期望。这些因素降低了实验的内部效度。

（4）伦理道德方面的限制。由于很多实验的对象都是人，如果实验处理会对他们本身产生长期的负面影响，这种实验就不能进行。例如，不能为了研究电视中的暴力情节对儿童的影响而选取一定的样本让他们长期观看有暴力情节的电视。另外，很多实验在选择和接触研究对象时，往往需要隐瞒真实的研究目的而导致欺骗，这在道德上也存在较大的争议，而如果一开始就告诉他们真正的研究目的，又会使研究结果失去科学性。

3.现场实验的优点

现场实验的最大优点是具有外部效度。由于研究的场景与自然环境十分类似，研究对象通常会表现出真实的行为，而不受实验状况的影响。例如，在实验室实验中让两组研究对象分别看电视广告片A和B，并比较他们对广告商品的购买可能，决定哪一个广告更好。而实际上，一旦把广告真正播出，在众多广告的冲击下，观众很可能根本不去注意这则广告；而在实验室条件下，受试者都被迫看了广告。同时，在实验室中让受试者表达购买产品的可能性毕竟和真正的购买行为不同，一旦真的把该产品置于竞争的产品之中，购买决策往往会发生变化。

实验室实验的这些缺点可以被现场实验克服。例如，对于同样的研究，可以把这两则广告分别在两个相似的城市播出，然后比较每个城市该产品销售量的不同，就可确定哪个广告的效果更好。这样的实验结果是在现实的条件下得出的，因此可以推广到更广泛的现实中去。

此外，很多现场实验可以在研究对象不知情的情况下进行，研究对象没有意识到正在实验，就会作出真实的表现。

同时，有的现场实验可以在很小的花费下完成，因为它不需要特殊的设备和工具。但有的大规模的研究或特殊课题的研究，也会有较大的花费。

最后，现场实验在复杂的现实生活中展开，可以研究多种现象之间复杂的相互关系，也可以长时期持续同一个实验。有的研究只能通过现场实验完成。

4.现场实验的缺点

（1）现场实验虽然具有较高的外部效度，但由于难以控制外部变量，内部效度较低。有时研究者很难把握研究的结论是否成立。

（2）伦理道德方面的考虑在现场实验中也经常面临到，例如要研究媒介接触对人的现代化程度的影响，就不可能设置一个控制组让他们为了研究而长期不接触媒介。

（3）在实验的执行过程中，现场实验常遇到许多的阻碍。例如，研究对象的不合作，或者在进行实地实验之前，要花费很多时间与研究对象接触和沟通，等等，使得一项实验往往需要较长的时间才能完成。

【注释】

[1]Roger Wimmer ＆Joseph Dominick著，李天任、蓝莘译：《大众媒体研究》（Mass Media Research-An Introduction），台湾亚太图书出版社1995年版，第218页。

[2]柯惠新、刘红鹰编著：《民意调查实务》，中国经济出版社1996年版，第115页。