效度检验
定义:
效度检验是指测量结果中具有跨样本或跨情景的有效性。在结构方程模式中,一个理想模型在不同样本上重复出现的程度不同。
基本程序:
(1)将样本切割为两个样本,利用多样本模型分析;
(2)针对同一个假设模型进行估计,一个样本成为测定样本,另一个样本成为消毒样本。 (3)先将一个被检验的SEM模型在测定样本上进行估计后,重复再效度样本上进行检验,检验时,参数的数值应套入先前在测定样本上所使用的模型设定或参数估计数,进行模型检验。
方法: (注:该部分内容基本是直接引用,当中有其他文献的内容穿插。在使用时请适当修改。) (1)内容效度:内容效度也称表面效度或逻辑效度,是指测量目标与测量内容之间的适合性与相符性。例如 , 以考查学习成绩为目的的测验来说 ,\所欲测量的内容 \是指教学大纲所规定的全部教材 ;\起预期反应 \是指学生学习这些教材所产生的行为变化 , 如对教材的记忆、理解和应用。一个测量要具备较好的内容效度必须满足两个条件:一是确定好内容范围,并使测量的全部项目均在此范围内。二是测量项目应是已界定的内容范围的代表性样本。换句话说,就是选出的项目能包含所测的内容范围的主要方面,并且使各部分项目所占比例适当。
估计内容效度的方法 : A 、由专家进行逻辑分析 : 即请有关专家对测验题目与原来的内容范围是否符合进行分析 , 作出判断 , 看测验题目是否较好地代表了原来的内容。 B 、统计分析 : 克伦巴赫 (Cronbach) 认为内容效度可以进行数量估计 , 方法是从同一教学内容总体中抽取两套测题 , 分别对同一组被试进行测验 , 两种测验的相关系数可用来估计内容效度。若相关系数大 , 则内容效度高 ; 若相关系数小 , 则两个测验中至少有一个内容效度低。
另外 , 有经验的任课教师对本学科测验的内容效度有较好的判断。当然 , 若能与有关专家配合会更好些。
(2)效标效度:效标效度又称准则效度、实证效度、统计效度、预测效度或标准关联效度,是指用不同的几种测量方式或不同的指标对同一变量进行测量,并将其中的一种方式作为准
则(效标),用其他的方式或指标与这个准则作比较,如果其他方式或指标也有效,那么这个测量即具备效标效度。 估计效标效度的主要方法是 : A 、相关法 : 即求某测验分数与效标测量间的相关 , 所得结果即效标系数。当测验分数与效标测量分数都是连续变量时 , 用积差相关公式求相关系数。
当测验分数是连续变量 , 而效标测量分数是二分变量时 , 可用二列相关公式计算效度系数。 B 、区分法 : 即看原先测验的分数是否可以区分由效标测量所化分的团体。例如 , 某工厂通过测验录用了一批工人 , 过一段时间后 , 根据工作成绩将其分为称职和不称职两种 , 然后回过头来检查他们的测验分数 , 运用 t 检验看看两组在测验上的平均分数是否有显著差异。若有显著差异 , 说明测验是有效的 ; 若差异不显著 , 说明测验是无效的。 C 、功利率 : 为了测定测验的功效 , 人们还可对使用测验所化掉的费用与得到的利益进行比较 , 看其利弊大小 , 这种效度指标叫功利率。
(3)构想效度:构想效度也称结构效度、建构效度或理论效度,是指测量工具反映概念和命题的内部结构的程度。它一般是通过测量结果与理论假设相比较来检验的。如果用某一测量工具对某一命题(概念)测量的结果与该命题变量之间在理论上的关系相一致,那么这一测量就具有构想效度。确定构想效度的基本步骤是,首先从某一理论出发,提出关于特质的假设,然后设计和编制测量并进行施测,最后对测量的结果采用相关分析或因素分析等方法进行分析,验证与理论假设的相符程度。一般说 , 学科测验主要看内容效度 , 心理测验主要看结构效度。 判断内容效度更容易一些 , 有教学大纲作依据 ; 判断结构效度更难一些 , 因为理论结构和心理特质不易把握。 确定结构效度的方法 :
A 、对测验题目进行分析 : 主要是分析测验的内容 , 被试对题目所作的反应 , 测验题目的同质性以及分测验之间的关系来判断测验的构想效度。
B 、计算与同类权威测验的相关 : 某一个新测验如果与同类的大家公认有效的已有测验之间 , 在测验结果上相关很高 , 说明这两个测验测的是相同特质 , 即新测验也有较高的结构效度 , 如后编的智力测验常与斯坦福─比纳智力量表进行比较。 C 、因素分析 : 通过因素分析找到影响测验分数的共同因素 , 在测验分数的总变异中来自有关因素的比例 , 可以作为构想效度的指标。
(1)宽松效度取向:效度样本仅需维持与测定模型相同的因素结构设定,参数无需进行任何等同设定。
(2)温和效度取向:效度样本的不忿参数必须套用测定样本的参数数据,也就是说效度模型中的不忿参数必须设定为样本间等。一般惯用的等同参数是因素负荷量。
(3)严谨效度取向:两个样本之间具有完全相同的模型设定,同时参数的数值也完全相等。
不同内容和形式:
效度样本来源 相同母体 不同母体 模型稳定性(Model stability) 效度延展性(Validity extensio模型数目 单一模型 n) 多重模型 模型选择性(Model selection) 效度类化性(Validity generalization) ——【邱皓政,《结构方程模型方法论》,北京师范大学 心理学院2005年心理计量春季讲座】
效度指标:包括内容效度、标准关联效度和结构效度。
(1)内容效度一般是通过专家评议打分。
(2)标准关联效度以一个公认有效的量表作为标准,检验新量表与标准量表测量结果的相关性,以两种量表测定得分的相关系数表示标准效度。 (3)结构效度主要用证实性因子分析(CFA)评价。
参考文献:
陈宽裕,《结构方程模型》-1996年11月
杜春雪,《结构方程模型理论的建立与应用》,大众科学·科学研究与实践,2008年第18期 李健宁,《结构方程模型导论》,安徽大学出版社
武洁琼,李建宁,《基于因果关系的教育研究方法思考》,苏州科技学院学报 2003(2) 孙晓军 周宗奎.《探索性因子分析及其在应用中存在的主要问题》.心理科学.2005年06期 杨 丹《探索性因子分析与验证性因子分析比较研究》
吴志明 张厚粲,《评价中心的构想效度和结构模型》,《心理学报》2001年4期 邱皓政,《结构方程模型方法论》,北京师范大学 心理学院2005年心理计量春季讲座