问卷选项设计的差异研究

第三节　问卷选项设计的差异研究

问卷设计是一门技术,更是一门艺术。一方面,问卷设计的方法日渐规范和完善,国内外相关成果颇丰,小到一两百字的设计技巧,大到数万字的理论专著,都在不断展开讨论和研究;而另一方面,问卷设计似乎永远没有完美的标准存在,虽然现有的原则和方法大多融合了传播学、统计学、符号学、心理学等诸多领域的专业知识和成果,但面对多变的被访者、丰富的研究主题、创新的调查方式,问卷设计需要不断地积累和创新,特别是在实践中需要进一步地探索和总结。

在《媒介与奥运(北京奥申篇)》的研究中,研究者曾针对问卷设计中的提问方式、选项顺序和陈述语气对调查结果的影响展开过实证研究,获得了有益的启示,主要的发现包括:

•“是否提示问题的选项”对调查结果的可能影响与问题的内容有关。

•“不同的选项顺序”与给出肯定回答的比例之间可能没有显著的相关关系。

•“不同的措辞”对调查结果的影响在研究中没有发现。

本次的北京奥运会传播效果研究中,研究者利用难得的研究机会,再次针对问卷设计中提问方式和选项顺序的设计问题开展实证研究,以期对已有研究结论做验证和补充,同时结合此次研究中所使用的新的调查方式———网络调查,探讨网络调查中问卷选项设计对结果的可能影响问题。由于经费和条件有限,问题数量需要控制,因此关于问卷陈述语气问题没有纳入此次研究的范围之中,待今后相关研究做进一步的补充。

研究设计延续了A、B卷方式,即针对同样目的的问题采用不同的选项设计方式,设置了数量和分布大致相同的A、B两种问卷,通过对比A、B问卷调查结果的差异来了解选项设计对结果的影响,并检验其差异在统计上是否显著。

具体关注的问题有(即A、B卷的差异点):

•“有提示”或“无提示”选项是否对调查结果有影响?

•“从肯定到否定”或“从否定到肯定”的选项顺序是否对调查结果有影响?

•“固定顺序”或“随机顺序”的选项顺序是否对调查结果有影响?

此次研究采用了电话调查和网络调查两种方式,同时在两种方式的调查中分别设计了AB问卷。电话调查借助声音媒介,而网络调查则依赖被访者的视觉。鉴于两者在问卷设计和调查执行方面存在着较大差别,下面将分别讨论电话调查和网络调查两种方式中选项设计差异对结果的可能影响。

一、电话调查中问卷选项设计对调查结果的可能影响

电话调查的问卷需要简洁精炼、通俗易懂,提问要用最少的语言传达清晰的意义,且用词应符合日常口语交流的习惯。由于访问员与被访者仅仅依靠声音交流,无法借助常规面访中的选项卡片等工具,因此对于问题选项的处理需要特别谨慎,包括选项的有无、选项的多少、选项读出的顺序等。

第二次调查共完成了1011份有效的电话调查问卷,其中A问卷501份(49.6%),B问卷510份(50.4%)。通过独立性检验(卡方检验)发现,A、B卷样本分布基本相同,A卷样本和B卷样本在年龄、职业、个人收入、教育程度的分布是基本相同的;在性别方面,若设定比较宽松的检验水平=10%,也可以认为两者的分布没有出现显著差异,具体见表8．3．1至8．3．5。因此,考虑到A、B卷样本在调查执行上的分散性,且排除了样本在性别、年龄、职业、个人收入、教育程度方面的差异,我们认为如果A、B卷的结果存在差异,则可能是受到来自不同问卷设计的影响。

表8．3．1　电话调查A、B两种问卷样本的性别分布(第二次调查)

表8．3．2　电话调查A、B两种问卷样本的职业分布(第二次调查)

表8．3．3　电话调查A、B两种问卷样本的年龄分布(第二次调查)

表8．3．4　电话调查A、B两种问卷样本的个人收入分布(第二次调查)

表8．3．5　电话调查A、B两种问卷样本的教育程度分布(第二次调查)

(一)“有提示”或“无提示”选项对电话调查结果的可能影响

电话调查中访问员完全通过声音媒介与被访者交流,虽然语言是人类最常使用的信息交流方式,但利用电话与陌生人进行语言沟通仍然不是一件易事,加之调查往往局限于特定主题,更容易使被访者注意力分散,产生不配合甚至抗拒情绪。面对高拒访率,访问员往往期待轻松的话题、简单的题目、容易的回答,因为这样的调查更容易被顺利地执行;而同时由于畏惧于有冗长选项的问题,往往是还没有读完选项,被访者已经忘记了题目是什么。在这种完全无法借助视觉辅助的调查中,是否需要同面访一样提供备选项供选择,值得讨论和研究。当然,另一方面,提供备选项能更明确地搜集到相关信息、降低数据处理中的出错机会、减少编码工作量等等,对调查工作本身也有益处。

电话调查中,我们设计了五道与奥运有关的题目,每道题目都同时采用A、B卷两种方式提问:A卷,由访问员读出选项供被访者选择;B卷,不读出选项,完全由被访者开放回答,由访问员做出记录。具体有关A、B卷设计如下表所示。

表8．3．6　电话调查A、B卷“有提示”和“无提示”设计(第二次调查)

根据以往的研究结论,对于被访者比较熟悉的话题,“有提示”选项和“无提示”选项的提问方式对于调查结果没有显著影响;但对于不那么熟悉的问题,“有提示”选项和“无提示”选项对调查结果则可能造成显著影响^[8]。我们假设这样的结论依然存在,即“有提示”选项和“无提示”选项会对调查结果有影响,且与被访者对答案的熟悉程度有关。

对于此次研究的五个问题,普通被访者对其熟悉程度应该存在不同。8月8日是北京奥运会开幕的日期,国家宣布公休一天,投入巨大人力、物力的神秘开幕式也将在这一天揭开面纱,举国关注必然使这个话题的熟悉程度最高。此外,金牌排名和金牌数一贯是中国人对体育赛事的关注重点。而对比这些话题,普通被访者对CCTV5的更名以及奥运会闭幕时间的熟悉程度则较低,一是因为这与普通老百姓的生活关系不大,二是媒体就这些问题展开的宣传相对较少。

通过对A、B卷数据的对比分析(详见表8．3．7),我们发现,无论是A卷还是B卷,五个问题的正确率排列与我们估计的被访者熟悉程度基本一致,越是被访者熟悉的话题其正确率越高。如开幕时间的回答正确率达到了98.0%(读出)和96.9%(不读出),而CCTV5更名的正确率只有一半或更少。在是否提示选项对调查结果影响的问题上,对于正确率较高(熟悉程度高)的两个问题“开幕时间”和“中国金牌排名”,A、B卷结果没有呈现出显著差异,即无论是“有提示”选项或“无提示”选项被访者的回答都相同。而对于“中国金牌数”、“闭幕时间”和“CCTV5更名”这三个被访者回答正确率相对较低的问题,A、B卷结果呈现出显著差异,即“有提示”选项的正确率要明显高于“无提示”选项的正确率。

由此可以推断,对于被访者不是非常熟悉的话题,“有提示”选项在一定程度上起到了“提醒”的作用,有助于被访者回答问题,同时提高了回答的正确率,当然也会对调查的结果产生影响。因此,在电话调查受众不太熟悉的主题或问题时,应该根据调查的目的,谨慎地使用“有提示”选项的方式,以避免对结果的干扰。尤其是在“知名度”方面的电话调查中,应明确说明调查问题是“有提示”的还是“无提示”的,因为“有提示”选项的调查方式带来的知名度可能存在“虚高”的现象。

表8．3．7　“有提示”或“无提示”选项的A、B卷样本的对比数据(第二次电话调查)

(二)“从肯定到否定”或“从否定到肯定”选项顺序对电话调查结果的可能影响

了解被访者对事物或事件的态度是调查研究中的一个重要的项目,问卷设计往往使用多级量表(如最常用的李克特量表)供被访者选择或评分,以区分态度的不同层次。在调查访问中,针对此类问题一般会首先由访问员提示选项的划分方式,然后再由被访者做出选择,比如,“对于刚才的描述,您是非常同意、比较同意、比较不同意,还是非常不同意?”。这当中,访问员的提示先后顺序是否可能影响到调查结果,是我们的关注重点。为此,我们在电话调查中设置了一道对奥运会态度的问题,选项为五级,A、B卷采用两种不同的读出顺序:A卷访问员读出选项的顺序为“从肯定到否定”,B卷访问员读出选项的顺序为“从否定到肯定”。具体题目如表8．3．8所示。

表8．3．8　“从肯定到否定”和“从否定到肯定”的A、B卷设计(第二次电话调查)

我们假设被访者可能会受到提示顺序的影响,特别是在电话访问中,由于首因效应,访问员首先读出的选项可能会对被访者产生影响,获得他们更多的支持,从而产生态度上的差异。根据以往的研究结果,并没有发现强有力的实证结论,只是“在某些情况下,提问的顺序有可能会在极端态度的回答上产生诱导”^[9]。

通过对第二次电话调查数据的分析(详见表8．3．9),A、B卷并没有显现出显著差异,即被访者虽然可能受到了不同选项顺序的提示,但态度并没有因此出现差异,对于北京奥运会的举办表示出极大的肯定。就此我们可以推断,同以往的研究结果一致^[10],提示顺序“从肯定到否定”或“从否定到肯定”对调查结果没有影响(认为“成功”的合计均为99．0%),被访者可以避开访问员提示顺序的干扰来表达自己的态度。

但同时,需要特别注意的一点是,奥运话题对于中国人有着非同寻常的意义,加之奥运前后媒体的大量正面宣传报道,更坚定了中国人对于北京奥运的正面情感,所以也可以推断被访者在此问题上可能不易受到影响,从而会影响到我们的实证结论。建议以后相关的探讨可以选择更为中立的话题,或正反两种话题同时出现,以弱化主题本身带来的偏差。

表8．3．9　“从肯定到否定”和“从否定到肯定”的A、B卷对比数据(第二次电话调查)

(三)“固定顺序”或“随机顺序”的选项顺序对电话调查结果的可能影响

调查问题如果有较多的备选项,且没有较为清晰的次序关系,在问卷设计中该如何排列?问题看似很好回答———使用随机顺序排列,这已成为调查研究行业问卷设计中的一个惯例,电子化的问卷可以使选项做到自动随机循环,而纸质问卷中的循环画勾也能在一定程度上起到随机顺序排列的作用。但是否一定要随机循环,否则真的会对调查结果产生影响吗?我们想要确定,随机循环增加的编程工作和访问员负担,是否真的会对调查研究有实质性的帮助?

带着这样的疑问,我们在问卷中采用了“固定顺序”和“随机顺序”的选项设计,检验其对调查结果的影响。假设“固定顺序”和“随机顺序”选项排列会对调查结果产生影响,随机顺序可能使回答更为分散,在一定程度上避免了固定选项顺序使被访者在选择上产生的首因效应(即,假设第一印象对决策的影响更大,引申为首先接触的选项可能更容易被被访者所选择)。

我们在问卷中设置了一道有关奥运报道的问题,题目和选项均相同,不同的是A、B卷的两种选项读出顺序:A卷中访问员按照选项编号顺序读出,B卷中访问员按照随机顺序读出选项。具体题目如表8．3．10。

表8．3．10　选项呈现的A、B卷差异(第二次调查)

由于此题为多选题,电话访问时间有限,要求访问员只记录被访者的前三个选择。数据对比分析时,首先汇总各个选项被提及的总频数,然后对比A、B卷的不同选项顺序是否会对调查结果产生影响(数据详见表8．3．11)。分析结果发现,不同的选项顺序的确对调查结果产生了影响,A、B卷差异显著,即被访者回答不同顺序选项的问题所得到的调查结果不同。虽然提及次数的卡方检验差异显著,且从提及占比上看,部分证实了我们事先假设的随机顺序能使选择结果更分散的结论,但在选项多少排序上的差异并不明显。A卷选项按提及次数排列依次为:3、1、2、4、6、7、5,而B卷选项按提及次数排列依次为3、1、4、2、6、5、7。而且,针对固定顺序的A卷,提及最多的选项并不是首先提及的第1项,而是与B卷一致的第3项,即没有发现首因效应。由此可见,“固定顺序”或“随机顺序”的选项顺序会对调查结果产生一定的影响;但影响有限,被访者也并未受到固定读出顺序选项干扰而出现选择上的首因效应(表8．3．11)。

表8．3．11　“固定顺序”或“随机顺序”选项的A、B卷对比数据(第二次电话调查)

注:针对提及次数的独立性检验(卡方),卡方=30.035,P=0.000,差异显著

二、网络调查中问卷选项设计对调查结果的可能影响

网络调查问卷的设计需要与网页技术相结合,核心目标是在符合网页浏览要求的基础上,借助网页设计的多种表达手段来清晰明确地传达意义。同时,由于网络调查时没有访问员的督促作用,被访者容易受到干扰而转移注意力甚至中途终止填答,所以问卷设计中更需要特别关注被访者填答时的体验,提高填答过程中被访者的关注度及配合程度。这当中,对选项的处理显得尤其重要,与电话调查一样,本研究将重点关注网络调查中问卷选项的有无、出现顺序等对调查结果的影响。

第二次调查共完成了1771份网络调查问卷,其中A问卷868份(49.0%),B问卷903份(51.0%)。通过独立性检验(卡方检验)发现,A、B卷样本分布基本相同,A卷样本和B卷样本在性别、年龄、个人收入、教育程度的分布是基本相同的;在职业方面,若设定比较宽松的检验水平=10%,也可以认为两者的分布没有出现显著差异,具体见表8．3．12至8．3．16。因此,考虑到A、B卷样本在调查执行上的分散性,且排除了样本在性别、年龄、职业、个人收入、教育程度方面的差异,我们认为如果A、B卷的结果存在差异,则可能是来自不同问卷设计的影响。

表8．3．12　网络调查A、B两种问卷样本的性别分布(第二次调查)

表8．3．13　网络调查A、B两种问卷样本的职业分布(第二次调查)

表8．3．14　网络调查A、B两种问卷样本的年龄分布(第二次调查)

表8．3．15　网络调查A、B两种问卷样本的个人收入分布(第二次调查)

表8．3．16　网络调查A、B两种问卷样本的教育程度分布(第二次调查)

(一)“有提示”或“无提示”选项对网络调查结果的可能影响

网络调查完全依赖被访者与问卷之间的视觉沟通,类似于传统的自填问卷,但由于结合了网页多媒体技术,相比传统纸质自填问题更丰富、更灵活。在这种情况下,值得关注的是,问卷页面中出现的选项是否也同电话调查一样能起到“提醒”的作用?同时,网络浏览中更多地使用鼠标是否会使被访者填答网页问卷时更习惯于“点”和“选”,而不是转移到键盘上去输入,所以在网络调查中无提示(即没有选项)的开放性问题是否就会更容易被遗漏和放弃,甚至影响到整份问卷的完成?

在网络调查中,我们同样使用了五道与奥运有关的题目来测试“提示”与否对调查结果的影响,每道题目也同样采用A、B卷两种方式呈现:A卷,问题下方出现选项供被访者选择;B卷,不出现选项,完全由被访者开放填答(键盘输入)(表8．3．17)。

表8．3．17　网络调查A、B卷有选项的设计(第二次调查)

通过对A、B卷数据的对比分析(详见表8．3．18),我们发现,在没有选项提示的问卷(B卷)中,被访者对五个奥运问题的认知率与我们假设的熟悉程度基本一致,即开幕时间和金牌排名的正确回答率高,闭幕时间和CCTV5频道更名的正确回答率低;而在有提示的问卷(A卷)中,金牌排名和金牌数的正确率出现了较大的下降,也使得A、B问卷在这两个问题的结果上产生了显著差异,这一结果推翻了我们在电话调查中多次验证的结论:话题熟悉程度关系到“提示”与否对调查结果的影响。对此,我们大胆地猜测,网络调查中有提示的选项可能在一定程度上起到了“干扰”而非“提醒”的作用,从而造成了这两个问题正确率在有选项提示的情况下反而更低的状况。首先,这两题均为数字问题,有选项提示时有多个数字出现,更具迷惑性;其次,网络调查的选项提示会同时出现在屏幕上,不同于电话调查的依次出现,干扰性更强;再者,当无选项提示时,被访者为了寻求正确答案,很可能借助网络搜索引擎的便利条件,进行网络搜索,从而反而提高了回答的正确率。因此在网络调查中,有选项提示可能会对调查结果产生影响,特别是出现“干扰”现象,降低问题回答的正确率。但这一发现有待今后研究的更深入的反复验证。

表8．3．18　“有提示”或“无提示”选项的A、B卷样本的对比数据(第二次网络调查)

(二)“从肯定到否定”或“从否定到肯定”选项顺序对网络调查结果可能的影响

网络调查有别于电话调查,选项顺序的差异不是由访问员读出次序造成的,而是由页面显示位置的差异造成,由于一般的阅读习惯为从左到右、从上到下,因此对网络调查中选项的顺序先后做出规定,即左侧的先于右侧,上侧的先于下侧。同样针对奥运会态度的问题,网络调查A、B问卷采取了两种不同的位置顺序:A卷,选项从上到下显示顺序为“从肯定到否定”;B卷,选项从上到下显示顺序为“从否定到肯定”(表8．3．19)。

表8．3．19　“从肯定到否定”和“从否定到肯定”的A、B卷设计(第二次网络调查)

A、B卷数据对比分析显示(详见表8．3．20),网络调查中“从肯定到否定”和“从否定到肯定”两种选项排列方式能够影响到调查结果,且数据差异显著。“从否定到肯定”的选项排列使态度更趋向正向的“肯定”,即获得了更高的对“北京奥运成功”的肯定回答,而“从肯定到否定”则使态度趋向中庸。分析结果与我们的预先假设(首先出现的选项会对被访者产生影响,而易获得更多的支持)有出入,这也许与文化教育程度高的年轻人对“从肯定到否定”这一顺序表述容易产生逆反心理有关,但若要获得较有说服力的合理解释,还有待进一步的实证研究来验证。

表8．3．20　“从肯定到否定”和“从否定到肯定”的A、B卷样本的对比数据(第二次网络调查)

(三)“固定顺序”或“随机顺序”的选项顺序对调查结果可能的影响

本次研究同样关注了网络调查中“固定顺序”或“随机顺序”的选项排列对结果的影响。这里的顺序也是由选项在网页呈现中的不同视觉位置而产生的,基本原则为左侧的先于右侧,上侧的先于下侧。“固定顺序”指选项在网页中的视觉先后位置固定不变,“随机顺序”指选项的视觉位置由计算机系统控制而随机排列,即每次打开该问题页面时所见到的选项排列顺序都可能不同。与电话调查部分设置的问题相同,一道有关奥运报道的问题采用A、B卷两种排列顺序:A卷,选项在问题下方由上至下排列顺序固定;B卷,选项排列顺序由计算机系统随机控制,具体题目如表8．3．21。

表8．3．21　选项呈现的A、B卷差异(第二次网络调查)

网络调查统计了多选题中所有选项的提及情况,通过对选项进行0/1变量转换设置,计算每一个选项的选择比率并对比A、B卷的差异(详见数据表8．3．22)。我们发现,网络调查中不同的选项顺序排列对调查结果产生了影响,且差异显著。但同电话调查一样,被访者的选择在选项多少排序上的差异并不明显,A卷选项按提及次数排列依次为:1、3、4、2、6、5、7,而B卷选项按提及次数排列依次为3、1、4、2、6、5、7,经配对样本T检验,A卷选项1和3之间以及B卷选项1和3之间的差异显著(双尾P值分别为0．001,0．004),由此判断选项排列顺序对被访者选择有一定的影响,但影响的程度有限。同时,针对固定顺序的A卷,提及最多的选项为首先提及的第1项,可能是由于固定排列带来的首因效应,我们事先的假设得到验证,但由于差距不大,有待进一步研究来检验。

表8．3．22　“固定顺序”或“随机顺序”的选项顺序的AB卷样本的对比数据(第二次网络调查)

注:针对提及次数的独立性检验(卡方),卡方=19.955,P=0.003,差异显著

三、问卷设计研究的一些讨论

我们对于问卷设计带给调查结果的可能影响关注已久。本次第三系列《媒介与奥运(北京奥运篇)》的研究中,我们特别增加了相关研究设计来探讨问卷选项的差异对调查结果的可能影响,结合以往第一系列《媒介与奥运(北京奥申篇)》的研究结论开展进一步的实证研究,一方面是对已有发现的再验证和完善,另一方面可以结合新的关注点进行补充。

借助A、B卷方式的研究设计,问卷调查获得的数据有效地排除了人口统计变量(性别、年龄、职业、个人收入、教育程度)分布上的差异,使问卷设计带来的可能影响能在A、B卷数据对比中得以凸现。

通过分析电话调查和网络调查两种渠道获得的数据,我们在重点关注的几个问卷选项设计方面有了一些发现。总的来看,选项设计在一定程度上会影响调查结果,但影响不是绝对的,其发生可能取决于多方面因素。具体的发现有:

第一,“有提示”选项和“无提示”选项对调查结果有影响,且与被访者对答案的熟悉程度有关。电话调查中,对于被访者不是非常熟悉的话题,“有提示”选项在一定程度上起到了“提醒”的作用,提高了回答的正确率。而在网络调查中,“有提示”选项的存在则有可能成为被访者回答的干扰,反而减低了回答的正确率,亦或是由于“无提示”选项促使网络被访者进行更加积极的思考并主动寻找答案,从而使得“无提示”选项的正确率反而高于“有提示”的选项设计。

第二,电话调查中,没有发现提问顺序“从肯定到否定”或“从否定到肯定”对调查结果产生影响;而在网络调查中,不同的选项顺序则对结果产生了影响,但影响方向及程度的规律还有待进一步的研究证实。此外,研究话题的选择可能会对态度选项的结果产生影响,建议今后的相关探讨可以选择更为中立的话题,或正反两种话题同时出现,以弱化主题本身带来的偏差。

第三,无论是电话调查还是网络调查,相对于“固定顺序”,使用“随机顺序”的选项排列方式会对调查结果产生一定影响,但程度有限。

第四,在网络调查中,“固定顺序”的选项中产生了首因效应,而在电话调查中则没有发现。

上述发现和初步结论虽然拥有本次调查数据的支持,但在普遍代表性方面尚存在问题。从以上四点发现来看,两种调查方式差异的关键在于:电话调查问卷的题项依靠人工读出;网络调查问卷的题项依靠页面显示。在“听选项”与“看选项”的认知与理解方面,人群中或许存在着偏差。如今国内外很多的研究方法研究都在关注这方面的探索,“眼球转动测试”等方法不仅应用于货品铺陈及购买欲望的调动测试,而且不同国家人群的网页焦点浏览习惯差异、脑电波变化等内容,都进入了定量研究的范围。

基于先进的设备,研究者可以针对被访者在听觉和视觉认知理解上的差异,设计出更为合理有效的电话调查和网络调查问卷,以缩减误差。