(一)预测试的目的。
在预测试中,我们从访谈所针对的群体中抽取部分受访者对数据采集工具进行测试,以预测数据采集工具在实际数据采集过程中的表现。预测试的目的是确定:
● 所问的问题是否适合用于获取所需的信息;
● 各问题的内容或者主题是否与受访者相关,受访者是否掌握了回答问题所需的知识;
● 访谈所用的措词及程序是否能确保获得有效、可靠的结果。
Cannell 等人的研究(1989)表明调查问题容易出现以下几种问题:
● 因句子结构复杂、绕口或者词语发音较难而导致提问困难;
● 因所用词汇较难、句子结构复杂或者所需信息及其格式不明确而导致问题难以理解;
● 各受访者对问题中的术语或者概念存在不同的理解,或者受访者对此类术语或者概念的理解不同于访谈设计者的原意,从而导致问题中的术语或者概念缺乏共识;
● 受访者没有相关信息,要做出回答需做出一定的努力,从而形成答题困难。
(二)预测试程序。
预测试的次数通常取决于调查的规模和可能影响调查结果的
— 26 —
条件范围。对于受访者人数在几千人左右的结构化访谈,一般需进行 25 — 75 次预测试。有时当样本数不到 500 人时,可以只进行十几次或者更少的预测试,但条件是所进行的预测试能涵盖数据采集条件的整个范围。你应与设计数据采集工具的衡量专家讨论预测试的具体次数。结构化访谈的预测试程序在很大程度上是对实际数据采集过程的模拟。
应尽可能对结构化访谈所涉及的各种程序进行测试,包括选择和接触受访者。预测试在某种程度上应按实际访谈过程中所用的模式进行,也就是说面对面访谈的预测试应与受访者面对面地进行,而电话访谈的预测试则应通过电话进行。但是,面对面访谈在某种程度上也应进行电话和邮件调查。计算机辅助电话访谈的受访者一般不超过 300 人,所以只需进行十几次预测试。这些预测试应以面对面和电话交流的方式进行。
(三)由谁来进行预测试。
预测试应由以下两类工作人员代表审计署进行:
● 参加该工作的评估员,因为他/她最了解与数据采集工具和评估背景相关的问题;
● 设计数据采集工具的衡量专家,因为他/她需要评估访谈过程,包括数据采集工具的表现,并提出改进建议。
在第一次和第二次(可能)预测试时,衡量专家作为访谈员提问,评估员进行观察。接下来的预测试由评估员提问,衡量专家作为观察员参加预测试。
— 27 —
(四)选择和接触预测试受访者。
预测试受访者从最终研究所针对的群体中抽取(并不一定随机抽取)。如果研究群体是同类群体(如福利受助人),那么预测试对象不必仔细平衡各种属性特征。
但是对于异类群体(如纳税人或者美国公民),则应尽量对各类对象都进行预测试,包括高收入和低收入的人,老年人和年轻人,高学历和低学历的人,以及女人和男人。数据采集工具最好能在异类群体的各种小群体中各抽几个人进行预测试。
通过电话联系或者直接面对面接触预测试受访者,进行预测试安排。尽可能按实际数据采集过程将使用的程序执行。自我介绍,简要说明审计署的性质及其所做的工作,解释本研究的性质,说明他们参与本研究的重要性。如果是面对面进行的预测试,则安排一个对受访者来说方便且不易分心的场所进行预测试。如果是电话预测试,则安排一个对受访者来说方便的时间进行预测试。
(五)进行预测试。
预测试的前面几步跟实际数据采集程序一样。先向受访者提供必要的背景信息(即使在安排预测试时已经介绍过)。由于访谈是一个互动的过程,所以受访者在回答问题的同时还可能提供很多其他反馈信息。与数据采集工具或者程序相关的问题可能会立即出现,你可现场进行处理,然后继续。如果某条说明、某个词语或者概念无法理解,那么访谈通常无法继续下去。
但是,总的来说最好能在不偏离主题的情况下顺利完成整个
— 28 —
访谈。
这样,你可以检查访谈流程,估计完成访谈所需的总时间。 在预测试过程中,访谈员的任务包括:
● 进行正常的介绍和提问,整个流程不要出现过多中断; ● 当受访者不能或者不愿意回答问题时,提供必要的解释或者试着换一种说法,并进行记录;
● 将受访者的回答记录在数据采集工具上,以便测试记录程序和速记技能;
● 记录访谈过程中出现的表明数据采集工具或者程序存在问题的情况;
● 完成访谈时进行简要总结,了解受访者对访谈的看法,但不发表评论。
对于第二点,访谈员在进行解释或者换说法时应特别谨慎,因这时可能产生访谈员的偏向性。访谈问卷在编写时尽量避免产生偏向性。在脱离预定文本后,你可能没有足够的时间以适当的方式重新表述一个问题,你的措词可能会不经意地偏向于你对该问题的看法。
电话访谈的预测试可能更容易进行,可提供更多信息。访谈员应告知受访者有衡量专家旁听,以改进数据采集工具。可使用扬声器,使更多组员能参加旁听,做笔记,记录回答,但不打断访谈流程。在经受访者同意后,可对访谈过程进行录音,以便进行更详细的分析。
— 29 —
在此类安排下,电话访谈预测试可能会比面对面预测试顺利得多。但是,如前所述,我们必须进行一些面对面访谈。
(六)确认问题。
在进行一次预测试后,评估员和衡量专家将回顾访谈过程,确认访谈员在提问时或者受访者在回答时出现的问题。如果预测试暴露出解释不清或者其他问题(下面将进行讨论),那么你必须修改访谈设计,再重新进行测试,直到问题得到解决为止。在不成熟的条件下提前结束预测试可能导致数据不准确。常见的问题包括:
● 访谈员在读问题时对问题略作改动;
● 访谈员在读问题时对问题进行了重要改动,或者没有读完整个问题;
● 通过回答打断问题;
● 很难回答,表现为受访者紧张,对不同问题的回答自相矛盾,回想或者改变前面的回答,或者需考虑很长时间才能做出回答;
● 受访者要求说明、解释或者重复问题; ● 受访者提供带限定的回答;
● 受访者提供不适当的回答,包括提供所列选项以外的答案或者访谈员已知的答案;
● 受访者表示“不知道”; ● 受访者拒绝回答。
这些问题分为两类:1)与数据采集工具设计或者管理相关的问题;2)与受访者缺乏相关知识或者不原意回答相关的问题。第
— 30 —