现代测验多面Rasch技术在学科能力测评中的应用

论文摘要

学科能力评估在学校教育中扮演着重要的角色,既是对学生上一阶段学习状况的检查,也是推动后续学习的一大动力。目前在我国的高校中主要采取闭卷考试及开放考试的形式评估学生的学科能力水平。闭卷考试能考察学生对知识点的记忆,命题、评分都简单易行,但很难考察学生的对知识整体的理解,难于测察学生高层次的能力,而且学生容易死记硬背；开放式考试虽能考察学生高层次的问题解决能力,但由于没有标准答案,评分较难,若只有一位老师评分的话,评分的主观性很难克服,影响评分的精确性。本研究采用PowerPoint评估及概念图两种表现性评价方法对学生学科能力进行测评,表现性评估方法能激发学生的积极性、主动性和创造性,激励学生自主地运用所学知识分析问题、解决问题,将学生推到学习的主体地位。研究一是在应用心理学专业大三年级学生的《多元统计方法分析》课程中采用PowerPoint评估法,评分采用学生自评和互评,以期学生能在比较中发现自身的优势及有待提高的方面,促使学生进行批判性思维,也令学生对评估结果更加信服。研究二是在教育硕士的《教育与心理统计》课程中采用概念图法进行测评,概念图法被证实是一很好的评估方法,它不仅能评估目标测试中所能测到的知识,而且还能评估学生对知识间关系及整体的理解；在结果的呈现上,概念图法不仅仅有量化的形式,而且可以对概念图进行质的分析。两项研究的评分标准都采用自编的五点量尺。对这两项表现性评价本文采用多评分者进行评分,这样克服一人给分的主观性,对评分结果用多面Rasch模型进行分析多面Rasch模型是处理多评分者评分的最佳统计方法,它能提供本研究的信效度信息；它以原始得分作为学生能力指标的不科学性,获得更为真实的学生能力估计值；多面Rasch模型分析还提供关于评分者、学生能力、评分标准、评分量尺及评分者与各侧面交互作用的详细信息,为改进测验提供参考。本文主要得出以下研究结论：(1)多面Rasch模型对学生的能力估计是使用潜在特质值,而非原始得分,潜在特质值是剔除了各种误差后获得的,更能代表学生的真实能力水平。(2)多面Rasch模型对学科能力进行评估,不仅能考察评分者之间的严厉度差异,还能分析评分者自身的内部一致性程度,评分者跨受测者、跨评分标准的一致性程度,及评分者与受测者、评分者与评分标准的交互作用,从而能够分析评分者偏差的具体模式,为改进测验提供信息。(3)多面Rasch模型还能对评分标准及评分量尺进行分析,提供评分标准难度信息及评分量尺使用情况报告,根据这些信息可了解评分标准及评分量尺的设置合理性及如何对其进行改进。(4)学生互评PPT的方法是合适的评估学生能力的方法,能激发学生的学习兴趣,增加师生、生生互动,能评估学生高层次的能力。(5)多评分者(专家)评估概念图法是很好的评估学生学科能力水平的方法,多面Rasch模型分析显示,评分者较好地行使了评分职能,评分标准及评分量尺的设置也是合理的。

论文目录

• 摘要
• ABSTRACT
• 目录
• 前言
• 第一章 研究综述
• 1.1 表现性评价
• 1.1.1 表现性评价的概念及特征
• 1.1.2 表现性评价的种类
• 1.1.3 表现性评价的优缺点
• 1.2 概念图在学科能力测评中的应用
• 1.2.1 概念图的定义
• 1.2.2 应用概念图的理论依据
• 1.2.3 概念图在教学中的应用
• 1.2.4 概念图作为评估工具
• 1.2.5 概念图用于评估中的不足
• 1.3 多面Rasch模型概述
• 1.3.1 古典测验理论的限制
• 1.3.2 Rasch模型
• 1.3.3 多面Rasch模型
• 1.4 问题提出以及研究总思路
• 1.4.1 问题的提出
• 1.4.2 研究总体思路
• 1.5 研究意义
• 第二章 多面Rasch模型在评估多元心理统计课程中的应用
• 2.1 研究目的、研究假设和数据分析
• 2.1.1 研究目的
• 2.1.2 研究假设
• 2.1.3 数据分析
• 2.2 研究工具与被试
• 2.2.1 研究工具
• 2.2.2 被试
• 2.3 研究操作流程
• 2.4 研究结果
• 2.4.1 对评估者、学生和问题的概述
• 2.4.2 学生表现分析
• 2.4.3 评分者质量分析
• 2.4.4 评分标准的难度分析
• 2.4.5 评分量尺的分析
• 2.4.6 整体拟合性分析
• 2.4.7 评分者与学生之间的交互作用
• 2.4.8 评分者与评分标准的偏差分析
• 2.5 讨论
• 第三章 多面Rasch模型在概念图评估教育与心理统计课程中的应用
• 3.1 研究目的、研究假设和数据分析
• 3.1.1 研究目的
• 3.1.2 研究假设
• 3.1.3 数据分析
• 3.2 研究工具与被试
• 3.2.1 研究工具
• 3.2.2 研究被试
• 3.3 研究操作流程
• 3.4 研究结果
• 3.4.1 学生能力、评分者和评分标准的概述
• 3.4.2 学生能力的分析
• 3.4.3 评分者严厉度分析
• 3.4.4 评分标准的分析
• 3.4.5 评分量尺的分析
• 3.4.6 整体拟合性分析
• 3.4.7 评分者与学生的偏差/交互作用分析
• 3.4.8 评分者与评分标准的偏差/交互作用分析
• 3.5 讨论
• 第四章 总讨论
• 4.1 多面Rasch模型在学科能力评估中的作用
• 4.2 PPT呈现法在学科能力评估中的应用
• 4.3 概念图在学科能力评估中的应用
• 4.4 研究局限与展望
• 第五章 结论
• 参考文献
• 附录
• 致谢
• 攻读学位期间取得的研究成果