也应与测量不同特质或构想等理论上有关的变量有低的相关。前者称为会聚效度(convergent validity) , 后者称为区别效度(discriminate validity)。Campbell和Fiske(1959)发明了一种叫多特质—多方法矩阵的方法,以
[10]
具体检验聚合效度和区分效度。 3.3.1 结构效度的检验指标及取值
评价某调查问卷的结构效度可分为两步: 首先是提出结构假设, 然后对结构假设进行验证。
结构效度反映的是变量间的关系,结构效度的检验指标有累计方差贡献率、共同度和因子负荷三大指标。 以下三个标准可以用来判断问卷的结构效度:
(1)公共因子应与问卷设计时的结构假设的组成领域相符, 且公共因子的累积方差贡献率至少40%以上;
(2)每个条目都应在其中一个公共因子上有较高负荷值(大于0.4) , 而对其他公共因子的负荷值则较低。如果一个条目在所有的因子上负荷值均较低, 说明其反映的意义不明确, 应予以改变或删除;
(3)公因子方差均应大于0.4, 该指标表示每个条目的40% 以上的方差都可以用公共因子解释。 3.3.2 因子分析
评价结构效度常用的统计方法是因子分析, 在进行分析以前, 必须先进行因子分析适合性的评估, 以确定所获得的资料是否适合进行因子分析。一般采用KMO(Kaiser Meyer Olkin) 检验来进行适合性分析, KMO 越大, 则所有变量之间的简单相关系数平方和远大于偏相关系数平方和, 因此越适合于作因子分析。Kaiser(1974) 指出当KMO 值小于0.5 时不适合进行因子分析, 而KMO 值大于0.9 时, 则非常适合进行因子分析。
因子分析分为探索性因子分析和验证性因子分析 3.3.2.1 探索性因子分析
探索性因子分析的目的是以一组更少的公共因子来代表和解释更多的观测数据。简而言之,探索性因子分析就是找出观测数据的特质,找出影响变量的更本质的共性因子,因而适合结构效度的研究。
[18]
1、探索性因子分析步骤:
a. 收集观测变量
b. 获得协方差阵(或相似系数矩阵) 。
[11]
c. 确定因子个数。常用的三个标准为Kaiser 标准、是碎石检验法(Scree Test Criterion)和平行分析(Parallel Analysis)。SPSS 中,缺省的提取因子方法就是Kaiser 法,但实际这一标准仅仅适用于主成分分析法[12][13]
。Fabrigar 等人提出,特征值≥1. 0 的标准通常会导致提取过多的因子。当因子提取过多时,因子的重要
[14],
性就值得怀疑了。而碎石检验准则的主观性太强并且,在有些情况下,因子的特征值并没有临界点,因为因子特征值是以一种线性的方式逐渐下降的,所以这种情况是可能存在的,例如双重负荷现象,因此,这种方法
[15]
并没有太强的使用价值。一般推荐使用Reise 等人的平行分析方法来确定因子的数目。这种标准比起碎石检验标准来说,减少了研究者主观因素的影响,结果也更客观、真实、有效。
d. 提取因子。因子的提取方法也有多种,主要有主成分分析法、主轴因子法、不加权最小平方法、极大似然法等,其中主成分分析法和主轴因子法最为常用。如果因子分析的目的是用最少的因子最大程度解释原始数据的方差,则应用主成分分析法;若因子分析的主要目的是确定数据结构,则适合用主轴因子法。实
[16]
际上,虽然研究者大多认为主成分分析法和主轴因子法的结果差别不大,但是Widman (1993)提出,主轴因子法使用复相关系数的平方作为公共方差的初始估计值,通过不断重复,最后得到确定的公共方差的值,所以,这一过程比起主成分分析法,因子负载就更准确。因此,他建议研究者最好使用主轴因子法而不是主成分分析法。但实际研究中,研究者大量使用的是主成分分析法,导致这一结果的最直接可能就是SPSS 软件的缺省设置即为主成分分析法。
e. 因子旋转。一般来讲因子旋转有以下几种:方差最大旋转、四次方最大旋转、平方最大旋转与四次
方最大结合旋转、斜交旋转等,通常采用方差最大旋转。虽然正交旋转能容易地解释和表示因子分析的结果,但由于其规定因子间不相关,因此正交旋转的结果往往并不符合实际。建议在探索性因子分析中使用斜交旋
[17]
转法它既能很容易地解释因子,同时也确保了因子间的简单结构,更重要的是,允许因子间的相关也更符合现实。
f. 解释因子结构 g. 因子得分
[19]
2、探索性因子分析局限性:
a. 因为我们是通过比较提取的公因子与设想因子的吻合度来确定问卷的结构效度,在探索性因素分析中,公因子从相关矩阵中被提取出来,应保留多少个公因子就显得非常关键,而目前探索性因素分析在保留公因子数的标准上还没有一致的结论。
b. 观测量只能属于一个公因子,如果一个观测量与两个或两个以上的公因子有关,因素分析就无法处理。
c. 探索性因素分析假设观测变量与观测变量之间的误差是不相关的,但事实上,许多观测变量之间的误差来源是相同的。
d. 根据探索性因素分析的基本理论,公因子之间的相关应该较小才能认为所编问卷是一个较好的问卷,即问卷应有较小的会聚效应,但究竟公因子间的相关应该小到何种程度才合适,一直是一个困扰测验学术的问题。
3.3.2.2 验证性因子分析
也有叫证实性因子分析,或者肯证性因子分析,它测试的是一个因子与想对应的测度项之间的关系是否符合研究者所设计的理论关系。它通常通过结构方程模型实现。
1、验证性因子分析步骤
a. 定义因子模型。包括选择因子个数和定义因子载荷。 b. 收集观测值
c. 获得相关系数矩阵
d. 根据数据拟合模型。在方法上,LISREL8.3 中提供了 7 种方法来估计模型的参数,分别是工具变量估计(Instrumental Variables, IV)、非加权最小二乘法(Unweighted Least Squares, ULS)、广义最小二乘法、极大似然法(Maximum Likelihood, ML)、加权最小二乘法(Weighted Least Squares, WLS)、对角加权最小二乘法(Diagonally Weighted Least Squares, DWLS)、两步最小二乘法(Two-Stage Least Squares, TSLS)。在这 7 种估计方法中,比较常用的是 ML,很多研究表明 ML 对样本与峰态的变化上比较不敏感,在此几种估计方法中 ML 的估计比较稳定且较精确。GLS 估计需要好的理论界定模型,在理论与经验的良好的配合下,GLS 可以允许小样本的估计。WLS 对观测变量分布的偏度和峰度要求不严,多元正态分布的假设可以放松,但是也需要好的界定模型,并且在大样本下才能表现好的估计。若变量数目特别大时,用
[20]
WLS 法对权重矩阵进行储存和求逆,会耗费很多时间,占用大量内存,这时可用 DWLS 法.
[21]
e. 评价模型是否恰当。文献中正式发表的、有名字的指数有40多种,Marsh 等将拟合指数分为三大类: 绝对指数(absolute index 或stand-alone index)、相对指数(relative index) 和简约指数(parsimony
[19]
index),其中几种比较常用的指数和取值范围如下表所示:
表4-1 拟合指数 χ2/df DK
取值范围 绝对指数 < 3.00 — 拟合指数 NFI NNFI 7
取值范围 相对指数 > 0.90 > 0.90 Mc PDF SRMR RMSEA GFI AGFI > 0.90 — < 0.08 < 0.10 > 0.90 > 0.90 CFI IFI RFI 简约指数 PNFI PGFI > 0.90 — — — — 结构方程模型在具体专业中的应用研究日益增多, 但关于其方法学的研究为数并不多,对PubMed 和CNKI、万方、维普数据库进行文献查阅, 仅发现Steiger、Hu、Marsh、Bentler、温忠麟等人对拟合指数的性能进行了研究, 通过综合对比分析, 得出了他们所建议使用的拟合指数的主要性能。见表2。 表4-2 拟合指数 NNFI RMSEA CFI RNI Mc SRMR 建议使用的第一作者 Marsh、Bentler、温忠麟等 Steiger、Hu、温忠麟等 Bentler、温忠麟等 Marsh等 Bentler、温忠麟等 Hu等 主要性能 能够惩罚复杂模型,但具有样本波动性 受样本含量的影响较小,对参数较少的误设模型敏感 基于真模型的小样本资料标准差较小 在数据模拟方面的效果比较好 基本上不受样本含量的影响,对误设模型敏感 对于采用ML和GLS进行参数估计的结构方程模型效果比较好 f. 修正模型。模型修正的统计检验方法有3种,似然比检验即 LR(Likelihood Ratio)检验;拉格朗日乘数检验即 LM(Lagrangian Multiplier)检验;华得检验即 W(Wald)检验。这3个检验方法都可以快速得找到可以释放或者固定的参数,3种检验水平基本上是等效的,但是一般来说,以 LM 的统计量最为严格,因为同样的样本量,LM的值最小,LM 检验拒绝假设的话,其他检验方法也都是拒绝的。
[22]
2、验证性因子分析的优点
验证性因子分析(CFA)是检验测量工具效度的有效的、常用的方法之一。但是国内的研究中很少使用该种方法进行统计,但是结构方程模型具有探索性因素分析法无法比拟的优点:
(1)其考虑到了观测变量的测量误差,并且将测量误差从变量的变异量中分离出来,使得因子负荷具有较高的精确度。
(2)可根据理论假设,预先设定题目放入哪一个因子中,或哪几个因子中,也就是说,一个题目可以同时分属于不同因子,而在探索性因素分析中,一个变量只能分派到一个因子中。
(3)没有关于因子间中低相关的限制,因此可根据理论假设,自由设定某些因子之间具有或不具有相关。
(4)可同时估计因子结构和因子关系。因此,采用结构方程模型对问卷结构效度进行分析,具有更高的准确性和自由度,这种方法更满足现实的应用条件。 3.3.2.3 探索性因子分析与验证性因子分析间的区别和联系
(1)验证性因子分析与探索性因子分析是研究过程的两个阶段,不能截然分开,探索性因子分析与验证性因子分析都能够寻找观测变量之间的相关结构,并通过一组潜在变量来表示?先使用探索性因子分析可以探索样本数据中存在的潜变量及指标与潜变量之间关系,之后再用验证性的模型加以验证,在某些研究中,探索性因子分析的结果为验证性因子分析建立假设提供了重要的基础和保证;
(2)探索性因子分析中的因子和变量间的相关结构,是计算出来的;验证性因子分析是事先构建的; (3)验证性因子分析需要专业知识理论来构造理论模型,而探索性因子分析则不需要;
[8]
(4)目的不同,探索性因子分析的目的是为了探索来自于数据的因子数以及因子负荷的模型,而验证性因子分析的目的主要是验证,验证理论模型与事实上的样本数据的吻合程度。
总 结
要想得到可信的结论,必须对调查问卷结果进行分析,其中信度分析和效度分析是最重要的两个。由于效度系数受信度系数的限制, 最高只能达到信度系数的平方根, 所以仅靠效度系数绝对值的大小是难下结论的。但如果信度系数已知, 则可以比较已获得效度与可能获得的最大效度间的差距。还可以将效度系数解释为: 问卷测量与随机判断相比, 能减少多少判断或预测误差。误差减少率等于效度系数的平方。信度是效度的必要条件但不是充分条件:信度低,效度必低;信度高,未必效度高;另一方面,效度是信度的充分条件但不是必要条件:效度高,信度必高;效度低,未必信度低。
9