提问方式对调查结果的可能影响

第三节　提问方式对调查结果的可能影响

在问卷调查中，问卷的设计可以说是最重要的一个环节。本文无意讨论如何设计高质量的问卷，仅针对具体问答题的某些提问方式，探讨其对调查方式的可能影响。我们关心的是，提问方式的不同是否会引进系统的误差或偏差？在什么情况下可能引进偏差？什么情况下可能对结果无显著的影响？虽然不少研究者都曾经在自己的具体课题中进行过探讨，例如，20世纪70年代的一个调查发现^[8]，对于美国人来说，了解有关人工“流产”的一些态度问题时，如果采用比较委婉的“终止妊娠”的说法，会得到显著不同的调查结果。但是进行系统研究的却非常少见。主要的原因之一是这种研究很难涵盖各种可能的情况，比较实际的做法是，研究者在可能的条件下，就具体的问题进行检验，以积累不同的提问方式在各种情况下的可能影响。本研究也只是“搭车”考察了在针对北京奥运申办的有关问题中，在非常有限情况下提问方式的可能影响。

具体的做法是，用数量和分布大致相同的A、B两种问卷，分别比较三种不同类型的提问方式：“读出”答案与“不读出”答案、按照“从肯定到否定”的方向和“从否定到肯定”的方向提示答案；采用比较“委婉的”语气和比较“直接的”语气陈述某些说法，来考察各种情况下调查结果的差异，并检验其差异在统计上是否显著。

为了探讨提问方式的可能影响，同样需要排除其他可能的干扰因素。为此首先检验：对应于A、B两种问卷的样本分布是否基本相同？使用三种调查方式的样本分布是否也基本相同？表7—3—1至表7—3—5给出了对应的交互分析表和对应于卡方的概率值。检验的结果表明，除了职业分布之外，不能拒绝“对应于A、B两种问卷的样本分布相同”的原假设。也就是说，A样本和B样本在性别、年龄、文化程度、收入以及所采用的调查方式的分布之间没有发现显著的差异。因此在以下分析提问方式对于调查结果的可能影响时，只需兼顾考虑职业这一可能的混杂因素，而不必再考虑性别、年龄、文化程度、收入以及调查方式等因素。

表7—3—1：A、B两种问卷的调查方式和性别分布（％）

表7—3—2：A、B两种问卷的年龄分布（％）

表7—3—3：A、B两种问卷的文化程度分布（％）

表7—3—4：A、B两种问卷的收入分布（％）

表7—3—5：A、B两种问卷的职业分布（％）

一、是否提示问答题的答案对调查结果的可能影响

为了研究是否提示问答题的答案对调查结果的可能影响，在两个关于奥运申办的知识问答题中，A、B卷分别采用“读出”答案和“不读出”答案的方式进行提问。

第一个问答题是：

A.您知道2004年奥运会将在哪个城市举办吗？（读出）

1—东京4—蒙特利尔

2—雅典5—渥太华

3—巴黎6—不知道（自愿说出）

B.您知道2004年奥运会将在哪个城市举办吗？（不读出）

1—东京4—蒙特利尔

2—雅典5—渥太华

3—巴黎6—不知道（自愿说出）

使用B卷的调查员不能读出问答题的答案，即按照开放题来处理；问卷中给出了答案，目的只是为了方便调查员的记录以及后期的录入。在“读出”答案的情况下，有57.4％的被访者给出了正确的答案；在“不读出”答案的情况下，有54.6％的被访者给出了正确的答案，虽然稍小于前者，但是其差异在统计上并不显著（表7—3—6）。

第二个问答题是：

A.您知道北京奥申委的主席是谁？（不读出）

1—贾庆林　　　4—刘启明

2—伍绍祖　　　5—刘　琪

3—张百发　　　6—不知道（自愿说出）

B.您知道北京奥申委的主席是谁？（读出）

1—贾庆林　　　4—刘启明

2—伍绍祖　　　5—刘　琪

3—张百发　　　6—不知道（自愿说出）

使用A卷的调查员不能读出问答题的答案，即按照开放题来处理；问卷中给出了答案，目的只是为了方便调查员的记录以及后期的录入。在“读出”答案的情况下，有41.4％的被访者给出了正确的答案；在“不读出”答案的情况下，只有33.6％的被访者给出了正确的答案，比前者少7.8％，经检验其差异在统计上是很显著的（表7—3—6）。表7—3—6：在“读出”和“不读出”选择答案的情况下，能够正确地回答北京申奥的有关知识问答题的比例

比较这两个问答题可以看到，被访者对于第一个问答题相对比较熟悉，即使没有提示，也有半数以上给出了正确的答案，而对第二个问答题的内容似乎就不那么熟悉，即使给了提示，也只有四成左右给出了正确的答案。对于比较熟悉的问答题，“读出”答案和“不读出”答案的提问方式对于调查的结果似乎没有什么显著的影响，但是对于不那么熟悉的问题，这类提问方式对调查的结果则可能造成显著的影响。

二、答案选项的顺序对调查结果的可能影响

为了研究问答题中答案选项的顺序对调查结果的可能影响，在两个关于奥运申办的态度问答题中，A、B卷分别采用不同的顺序来安排5级量表中的5个选项，即分别采用“从否定到肯定”的顺序和“从肯定到否定”的顺序进行提问。

第一个问答题是：

A.您是否支持北京申办2008年奥运会？（读出）

1—很支持　　2—比较支持　　3—无所谓　　4—不太支持　　5—不支持

B.您是否支持北京申办2008年奥运会？（读出）

1—不支持　　2—不太支持　　3—无所谓　　4—比较支持　　5—很支持

第二个问答题是：

A.您对2008年奥运会申办成功有信心吗？（读出）

1—没信心　　2—不太有信心　　3—一般　　4—比较有信心5—非常有信心

B.您对2008年奥运会申办成功有信心吗？（读出）

1—非常有信心　　2—比较有信心　　3—一般　　4—不太有信心　　5—没信心

使用A卷的调查员，对于第一个问答题，采用从否定到肯定的顺序方向来读出5个选项；对于第二个问答题，则采用从肯定到否定的顺序方向来读出5个选项。而使用B卷的调查员，读出两个问答题答案的顺序方向则正好相反。为了统计上的简化，将两个肯定的选项合并，将两个否定的选项也合并。结果表明，对于第一个问答题，两种顺序提问给出的肯定回答（“很支持”＋“比较支持”）的比例几乎是相同的（93.6％和93.5％）；对于第二个问答题，在两种顺序提问的情况下，给出肯定回答（“比较有信心”＋“非常有信心”）的比例分别是80.0％和83.3％，虽然看起来按照“从否定到肯定”方向提问，给出肯定回答的比例似乎稍低一些，但是如果将检验水平定为0.05，那么这个差异在统计上还是不显著的（表7—3—7）。也就是说，对于这两个问答题，给出肯定回答的比例与提问采取的态度顺序没有显著的相关关系。

表7—3—7：按“从否定到肯定”的方向以及“从肯定到否定”的方向，对申奥的有关问题持肯定态度的比例

不过，在这两个问答题中，如果只是比较最为极端的肯定回答，即“很支持”和“非常有信心”的回答，那么可以看到，按照“从否定到肯定”的方向提问，极端肯定回答的比例（71.8％和44.8％）都稍低于“从肯定到否定”的方向提问的结果（76.9％和46.5％），其中表示“很支持”的回答比例的差异是统计上显著的。

所以对于答案选项顺序的确定，还是要持慎重的态度，按照“从否定到肯定”的方向提问，得到极端肯定回答的比例，在某些情况下可能会低于按照“从肯定到否定”方向的提问。换句话说，在某些情况下，选项的顺序有可能会在一定的程度上起到“诱导”的作用。我们看到，主要是在极端态度的回答上可能会产生诱导。因此，合并肯定回答和否定回答的项目，避免直接比较极端的态度项目，可能是消除这种“诱导”作用的可行方法之一。

三、措辞的委婉程度对调查结果的可能影响

为了研究问答题中措辞的委婉程度对调查结果的可能影响，在一个询问关于对奥运申办可能发生的不利结果的态度问答题中，A、B卷分别采用不同的陈述方式，来了解被访者的态度，即分别采用比较“委婉的陈述”和比较“直接的陈述”的两种方式进行提问。

这个问答题的两种提问方式分别是：

A.如果2008年奥运会申办没能成功，您是否同意继续申办？（读出）

1—非常同意　　2—同意　　3—无所谓　　4—不大同意　　5—非常不同意

B.如果2008年奥运会申办又一次失败，您是否同意继续申办？（读出）

1—非常同意　　2—同意　　3—无所谓　　4—不大同意　　5—非常不同意

使用A卷的调查员，采用比较委婉的陈述“如果申办没能成功”来提问；而使用B卷的调查员，则采用比较直接的陈述“如果申办又一次失败”来提问。为了统计上的简化，仍将两个肯定的选项合并，将两个否定的选项也合并。结果表明，对于这个问答题，委婉程度不同的两种提问方式给出的肯定回答（“非常同意”＋“同意”）的比例分别是82.3％和80.5％，虽然看起来按照“委婉陈述”方式提问，给出肯定回答的比例似乎稍高一些（高出1.8个百分点），但是经过检验表明，这个差异在统计上还是不显著的（表7—3—8）。如果只比较“非常同意”的极端的态度（32.5％和29.9％），差异稍大一些（相差2.6个百分点），但是也仍未达到统计上显著的程度。也就是说，对于这个问答题，给出肯定回答的比例与提问措辞采取的陈述方式的委婉程度没有显著的相关关系。

表7—3—8：对可能的不利结果采用“委婉陈述”和“直接陈述”时，对是否同意继续申办持肯定态度的比例

当然，这个结论只是针对这个问答题，或者最多也不过是针对类似的态度问答题，上述结论才可能是正确的。这类问答题的特点是，大部分被访者（八成以上）对所涉及的话题都持一种比较一致的（肯定或否定）的态度。但是，对于肯定和否定的态度相对接近的态度问答题，提问措辞的委婉程度可能就会起到重要的作用，造成结果的显著的差异，例如前面所提到的关于美国人对于人工流产问题的态度调查中，措辞的陈述方式就导致了结果的显著差异^[9]。由于客观研究条件的限制，我们没能在这次研究中，对不同类型的态度问答题，采用委婉程度不同的提问措辞方式进行测试，从而得到更为全面的结论，是一种极大的遗憾。

四、讨论

不同的提问方式会产生不同的调查结果，这似乎是毋庸置疑的事情。但是，提问方式可能造成的影响到底有多大？在什么情况下这种影响是微不足道的？在什么情况下，这种影响必须引起高度注意？等等这类问题，在国内并没有进行过系统的研究。仅凭主观猜测和自以为是“理所当然”的判断，结论其实未必可靠。

当然，系统的实证研究目前是不太可能实现的。本研究也是借助于“北京奥运申办媒介传播效果研究”的调查项目，在问卷的设计中有意识地分成了A、B卷，来研究不同的提问方式可能造成的影响。具体来说，考察了三种类型的提问方式，即，是否提示问题答案、不同的选项顺序、不同的措辞，以探索在此项调查中，这三种不同的提问方式对调查结果是否会产生显著的影响。通过上述的分析，可以归纳出以下几点初步认识：

1.A、B卷所对应的样本分布基本上没有显著的差异，因此，相关题项调查结果上的差异，原则上可以认为是由于所设计的提示方式不同而造成的。

2.“是否提示问答题的答案”对调查结果的可能影响与问答题的内容有关。对于被访者比较熟悉的问答题，“读出”答案和“不读出”答案的提问方式对于调查的结果没有什么显著的影响；但是对于不那么熟悉的问题，“读出”和“不读出”答案对调查的结果则可能造成显著的影响。

3.“不同的选项顺序”与给出肯定回答的比例之间可能没有显著的相关关系。不过，如果只是比较最为极端的肯定回答，则差异在有些情况下是统计上显著的。也就是说，在某些情况下，提问的顺序有可能会在极端态度的回答上产生诱导。因此，合并肯定回答和否定回答的项目，避免直接比较极端的态度项目，可能是消除这种“诱导”作用的可行方法之一。

4.“不同的措辞”的影响在本研究中虽然没有被检测到，但是基于所设计问答题的内容的局限性，以及参考国外其他研究的结果，可以初步这样猜测：如果被访者对所涉及的话题都持一种比较一致的态度，那么提问措辞的委婉程度可能就与给出肯定回答的比例没有什么相关关系；否则，提问措辞的委婉程度可能就会造成结果的显著差异。

5.在这项研究中发现的上述三个初步结论或猜测，可以作为今后进一步研究的基本假设。也就是说，在今后的研究中，针对各种不同的情况下的调查内容和对象，有意识地对这三个假设进行反复的检验，将有望获得更为可靠的令人信服的结论。