效度
案例：测验能否说明想要说明的问题？测验是否有价值？ 效度是对测验分数进行推论的证据。
这些证据分成三种类型：结构相关的证据；效标相关的证据；内容相关的证据 最近的标准：效度是一个整合的概念。
效度的分类：
表面效度（face validity）
测验看起来是有效的。
表面效度就是你所要关注的内容。如果项目表面上看起来是和测验的目的是相关的，我们就说这个测验有表面效度。
表面效度的意义
鉴定方式：观察测项，逻辑推理，无需统计证实
内容效度
例子：教育测验中的内容效度；内容效度与其它类效度之间的区别：不明显/只需要逻辑推理，无需统计证实。 鉴定方式：专家判断。
结构低估：测验未能包括重要的结构成分
无关结构方差：测验分数被那些与所测结构无关的因素所影响。
效标效度（criterion validity）
效标效度证据（criterion validity evidence）：测验与特定的效标相一致的情况。
6
效标——测验所真正感兴趣的 效标效度包括：
预测效度：测验的预测功能。Predictive validity evidence
同时效度：测验与同时进行的效标之间的效度关系。Concurrent validity evidence 招聘测验
公平录用机会标准：用于测验候选人的任务与现实的工作表现必须有关 另一种同时效度证据：职业兴趣测验
将参加测验的个体的兴趣形式和各种职业领域中成功的个体的兴趣形式相匹配。 效度系数（validity coefficient）：测验和效标之间的相关 效度系数>0.3，显著水平α<0.5
效度系数的平方：测验分数能够解释效标的百分比。
构想效度证据
?大多数社会和心理特征缺乏明确的效标。
?构想（construct），又称“构念”，我们在心理上所建构的某种内容。
–不是看得见、摸得着的。 –是主观的
?例如：智力、爱情、好奇心、心理健康 ?又如：工作满意度、组织承诺、领导风格
?构想效度证据（construct validity evidence）
–搜集——测验的意义
?会聚证据（convergent evidence）
–与效标效度的异同 –变量的构成成分之间的相关；测项之间的相关
?区分证据（discriminant evidence）或区分效度（divergent vabidity） –独特性：
?该测验与其它无关的测验具有低相关，或是测验其他测验所未能测量的内容。 ?独特的结构
?Cronbach：所有的效度在一定意义上都是构想效度。 ?标准参照测验
7
信度与效度的关系
?信度是效度的必要非充分条件 ?效度无法说明信度
?信度与效度可以共同解释预测变量的变异。
第三讲：编写和评价测验题目
测验编制程序
?测验编制程序在一定程度上因测验目的而异
–成就测验 –智力测验 –特殊能力倾向测验 –人格问卷
筛选测验——能力倾向测验
?筛选一项特定工作的应聘者
?1、任务分析：详细分析工作所包含的活动 ?2、制定任务分析细目表：关键事件 ?3、按一般测验编制操作
题目形式 题目编写的指导方针
?1、双选项形式（dichotomous format）
–正误判断测验(true/false examination)
–优点:简单明了,容易施测,评分便捷,必须明确指出对错.–缺点:记忆资料;猜测;因此需要较大题量–对人格测验而言
?2、多选项形式（polytomous/polychotomous format）
–多重选择测验
–干扰项（distractors）:不正确的选项
?增加干扰项可以提高信度?3-4个最为合适
?例子:警官资格考试
–计分:
?对猜测进行校正的公式 ?其中:R表示正确回答的题目数
8
?3、利克特形式（Likert Format）
–要求被试表明他对一个特定态度问题的赞成程度 –5点、6点和7点；Likert Scale
–适用范围：人格量表、态度量表、因素分析
?4、分类形式（category format）（评分形式）
–类似于LIKERT形式，但提供了更多选项。 –如：10点量表
?对于给定的一组目标进行评估时，评定者一般倾向于在10个等级上平均地分配这些目标。 ?如果清晰定义量表的两个端点并经常提醒评定者注意端点的定义就可以避免这种倾向。
?5、检核表和Q分类
–形容词检核表（adjective chechlist） ?适用于人格测量
?要求被试从两个形容词中选择认可某一个 –Q分类（Q-sort） ?适用于描述自我或评定他人 ?要求被试把一些陈述分为9类
9
项目分析
?1、题目难度（item difficulty）:
–在一个特定题目上做出正确回答的人数 –最佳难度水平： ?（猜测概率+1）/2
–大多数测验题目中应该有多种难度水平：0.3-07
?2、项目区分度（item discriminability）
–在特定题目上表现良好的人是否在整个测验上也同样表现良好。 –估计方法：
?1、极端分组法（extreme group method）：
–通过比较那些在测验上表现很好的被试与表现不好的被试在题目通过率上的差异来估计区
分度。 –第一步，找出前1/3与后1/3 –第二步，算出各组每题答对的比例。
–辨别力指数（di, discrimination index）（右上图）
?2、点二列相关法（point biserial method） –计算题目成绩和整个测验成绩之间的相关。
10