信度问题再认识

论文摘要

语言测试的信度是评价语言测试质量的主要指标之一,信度的高低说明了测试结果在多大程度上反映了考生真实的语言能力。测量学的三大理论:经典测量理论(CTT)、概化理论(GT)、项目反应理论(IRT)中都包含了信度问题。本文在前人研究的基础上,借鉴国际和国内测量学界对信度问题的最新研究成果,概括了经典测量理论、概化理论、项目反应理论三大测量理论中关于信度的理论,梳理和归纳了信度问题的理论框架,介绍和讨论了关于信度估计的新热点问题,澄清了一些关于信度的误解,回答了一些广泛存在的疑问。本文指出,信度是测验结果的属性,样本不同则信度改变,它只有大小的问题,并非绝对的有或无。我们在解释合成分数、差异分数时,需要报告合成分数、差异分数的信度数据。测验分数的信度与评分员信度有别,评分员之间的评分一致性并不能说明考生测验分数也具有较高的信度。HSK作为一种标准参照性考试,我们在给出其信度报告时,不应只报告基于常模参照性考试的信度指标,建议同时报告基于标准参照性考试的信度指标,互相参照。

论文目录

• 摘要
• Abstract
• 1. 问题的提出
• 2. 文献综述
• 2.1 经典测量理论
• 2.1.1 信度的概念
• 2.1.1.1 真分数
• 2.1.1.2 两类误差
• 2.1.1.3 CTT的三个假设
• 2.1.1.4 平行测验
• 2.1.1.5 从三个角度定义信度
• 2.1.1.6 信度指数和信度系数
• 2.1.1.7 测量的标准误
• 2.1.2 再测信度
• 2.1.3 复本信度
• 2.1.4 内部一致性信度
• 2.1.4.1 斯皮尔曼分半法和分半信度
• 2.1.4.2 同质性信度
• 2.1.4.2.1 “0或1”记分测验
• 2.1.4.2.2 非“0或1”记分测验
• 2.1.4.2.3 β系数
• 2.1.4.2.4 γ系数
• 2.1.4.2.5 ζ系数
• 2.1.4.2.6 ρ系数
• 2.1.5 合成分数的信度估计
• 2.1.5.1 斯皮尔曼-布朗“预言”公式
• 2.1.5.2 分类的α系数
• 2.1.5.3 一组合成分数的信度
• 2.1.5.4 使用结构方程模型作信度估计
• 2.1.5.4.1 结构方程模型的基本思想
• 2.1.5.4.2 结构方程模型信度分析与经典信度理论的差异
• 2.1.5.4.3 结构方程模型中的信度分析
• 2.1.5.5 Bootstrap法
• 2.1.6 差异分数的信度估计
• 2.1.7 评分员信度
• 2.1.7.1 积差相关/等级相关估计法
• 2.1.7.2 α系数估计法
• 2.1.7.3 肯德尔和谐系数
• 2.1.7.4 一致性百分比和Kappa值估计法
• 2.1.8 特殊问题
• 2.1.8.1 真分数的点估计
• 2.1.8.2 真分数的区间估计
• 2.1.8.3 信度和统计效力的关系
• 2.1.9 经典测量理论信度观存在的问题
• 2.2 概化理论
• 2.2.1 概化理论的优越性
• 2.2.2 概化理论分析问题的基本过程
• 2.2.3 单侧面交叉p×i设计
• 2.2.4 单侧面嵌套r:p设计
• 2.2.5 多侧面的G研究和D研究
• 2.2.6 多元概化理论
• 2.3 项目反应理论
• 2.3.1 基本假设
• 2.3.2 项目反应模型
• 2.3.2.1 Rasch模型
• 2.3.2.2 Logistic模型
• 2.3.3 项目信息函数和测验信息函数
• 2.4 标准参照解释的信度估计
• 2.4.1 Livingston系数
• 2.4.2 Brennan和Kane的可靠性指数
• 2.4.3 Swaminathan方法
• 2.4.4 Huyhn方法
• 2.4.5 Subkoviak方法
• 3. 讨论与结论
• 3.1 讨论
• 3.2 结论
• 参考文献