语言测试构念效度研究 ——以2005年TEM8客观试题跨群体构念一致分析为例

论文摘要

2005年的英语专业八级考试是根据2004年新的八级考试大纲设计和施测的第一次考试，考试的性质、构念领域、任务要求、分数权重等都发生了较大变化。作为全国唯一的测量英语专业学生高年级英语水平的大规模考试，这些变化对个人、团体和社会将产生重大影响。测试界认为，越是高风险考试，越要对考试的技术和应用方面进行评价，对考试的效度验证要求越高。因此，运用先进的效度理念、分析技术和行业规范对我国的八级考试进行研究，不仅有理论价值，也具有现实意义。在对测验的评价中，效度是最重要的考虑因素。然而，在过去近一个世纪以来，效度的概念从多类效度发展到统一构念效度。与效度概念发展相联系，效度验证的范式和方法也产生了变化。因此，全面和准确地理解效度，具有十分重要具有理论意义。而掌握效度验证的科学方法具有运用价值。 本研究的目的有二：一是对统一效度概念从本体论、认识论、方法论视角进行较全面的评述，旨在为八级考试效度验证提供一个理论和方法框架；二是在统一效度概念下，对八级考试的客观试题从实证的角度进行效度验证。验证的问题包括四个：八级考试客观试题的测量学属性如何?客观题目实际测量的维度与考试设计的理念是否一致?客观试题分数的意义在不同的群体中是否具有类似的解释?新增加的人文知识分测验在是否存在考试偏差? 针对两个目的，采用两种研究方法。对构念效度的理论和方法讨论采用文献综述方式；针对八级考试客观题目的效度验证是用定量的方式提供解释依据。 构念一致性问题是本研究中关于分数解释的切入点，解决的是测验所测量的构念在不同背景的考生的意义是否具有可比性问题。当一个测验在一个组别(群体)中所测量的假设特质(或者心理构念)与另一组别相同，或者当一个测验在测量相同的特质而测量的准确程度相似时，构念具有可比性。构念一致属于分数结构和效度概化问题。它与考试偏差分析一起，为分数的可解释性和考试公正提供依据。 本研究的对象是446所大学参加2005年TEM 8考试的96696名考生。分析的数据是由上海外国语大学四、八级考试中心提供的全体考生在客观题目上的原始反应数据以及已经对反应进行判断过的数据。针对不同的研究问题，使用了不同的统计分析手段：描述统计用于基本数据探索；相关方法分析题目同质性、题目区分度、聚合和区别效度、构念一致性检验；因子和谐系数用于检验不同群体因子负荷之间的相似程度；单因素方差分析进行跨群体均值比较；因子分析用于因子维度探索和验证；标准

论文目录

• 致谢
• 摘要
• Abstract
• 缩略词汇
• 表格目录
• 图目录
• 公式目录
• 目录
• 第1章 引论
• 1.1.研究背景
• 1.1.1.教育与测量改革的新视野
• 1.1.2.英语专业八级考试
• 1.1.3.构念效度
• 1.1.4.考试公正与效度
• 1.1.5.项目差异功能与效度
• 1.1.6.研究的必要性
• 1.2.问题的阐释
• 1.2.1 研究的目的
• 1.2.2 研究的问题
• 1.3.论文的结构
• 1.4.研究背景的总结
• 第2章 文献述评
• 2.1.构念效度的本体论阐释
• 2.1.1.构念
• 2.1.2.效度
• 2.1.2.1.效度的种类
• 2.1.2.2.效度概念发展史
• 2.1.2.3.统一效度概念的本质
• 2.2.构念效度的文献回顾
• 2.2.1 构念效度产生的背景
• 2.2.2 构念效度发展概况
• 2.2.3 统一构念效度的本质和中心地位
• 2.2.4 构念效度威胁来源
• 2.2.5 构念效度验证的证据来源
• 2.2.6 构念效度验证的方面
• 2.2.7 统一效度概念下效度与信度的关系
• 2.2.8 语言测试评价标准的演变
• 2.2.9 构念效度验证的程序
• 2.3.构念效度验证的数据分析方法述评
• 2.3.1.内容关联效度统计分析方法
• 2.3.2.构念解释中的相关研究
• 2.3.2.1.二元相关与信度研究
• 2.3.2.2.二元相关与效度验证
• 2.3.2.3.因子分析与效度验证
• 2.3.2.4.结构方程模型与效度验证
• 2.3.3.跨群体构念一致分析方法
• 2.3.4.项目功能差异分析方法
• 2.4.八级考试的效度依据
• 2.4.1.理论依据
• 2.4.2.考试规范
• 2.4.3.实证依据
• 2.4.3.1.来自考试中心的效度研究依据
• 2.4.3.2.来自非考试中心的有关八级考试研究的依据
• 2.5.文献评述的总结
• 第3章 研究设计和分析过程
• 3.1.研究概述
• 3.2.研究设计
• 3.3.研究的问题
• 3.4.研究方法
• 3.4.1.研究的样本
• 3.4.2.研究的数据
• 3.4.3.数据分析过程
• 3.5 研究方法的总结
• 第4章 研究发现
• 4.1.测验分数的描述统计结果
• 4.2.题目的难度和区分度
• 4.2.1.题目的难度
• 4.2.2.题目的区分度
• 4.3.分测验的信度
• 4.4.聚合效度与区分效度
• 4.4.1.全部考生在各个分测验之间的相关
• 4.4.2.不同群体考生在客观题分测验之间的相关
• 4.5.因子维度的探索
• 4.5.1.分测验客观题目的探索性因子分析
• 4.5.1.1.因子分析的准备
• 4.5.1.2.分测验的因子维度探索
• 4.5.2.全部客观题目因子维度探索
• 4.6.跨群体构念一致性检验
• 4.6.1.题目难度一致性检验
• 4.6.2.题目区分度一致性检验
• 4.6.3.题目内部信度一致性检验
• 4.6.4.分测验因子结构一致性检验
• 4.6.5.全部客观题目因子结构一致性检验
• 4.7.人文知识分测验的项目差异功能分析
• 4.8.发现的总结
• 第5章 研究的结论、意义和建议
• 5.1.总结和结论
• 5.2.研究的价值
• 5.3.研究的不足
• 5.4.关于进一步研究的建议
• 附录1 2005年TEM8人文知识题
• 附录2 人文知识分测验总分水平的频度
• 附录3 主轴法6因子方案全部客观题目旋转后因子负荷
• 附录4 主轴法3因子方案全部客观题目旋转后因子负荷
• 参考文献