成段短文改错对高/低歧义容忍度考生的试题偏颇性研究

论文摘要

试题偏颇性有损于语言测试的效度和公平性。在我国的大规模高风险外语测试中,考生众多,考生个人特征差异大,避免试题偏颇性尤其重要。为避免试题偏颇性,测试专家已进行了大量研究。但是,很少有研究者探究成段短文改错试题对不同歧义容忍度考生的偏颇性。本研究通过探究考生歧义容忍度对短文改错考试表现的影响,探测试题偏颇性的来源,旨在给测试研发者提供关于试题偏颇性来源的详细信息,以便在以后的测试中避免试题偏颇性。为实现研究目标,本文设有以下研究问题:不同歧义容忍度考生的短文改错考试表现是否存在显著性差异?不同歧义容忍度考生采取什么样的考试策略?短文改错中易导致偏颇性的试题有何特征?研究方法及实验方案如下:1)考察歧义容忍度与考生完成短文改错任务时考试表现的关系,识别具有项目功能差异的试题。研究方案:根据高考英语分数选取能力水平相当的大一学生30名。首先对所有受试进行歧义容忍度测试,依据歧义容忍度测试得分结果将其分为高、中、低三组。然后让所有受试完成同一份成段改错试题。用方差分析、t检验对作答进行分析,识别具有项目功能差异的试题。2)考察不同歧义容忍度考生完成短文改错任务时采取的认知策略。研究方法:笔头自陈报告。3)调查有关专家和教师对试题偏颇性的看法、偏颇性可能来源及对偏颇性试题的处理方法。研究方法:专家判断法。经过数据收集和分析,所得结果如下:不同歧义容忍度考生在作答短文改错的一些试题时存在显著性差异。考试表现差异可能由不同歧义容忍度考生采取的不同考试策略所致。基于本研究的结果,可以得出结论:太高或太低的歧义容忍度都不利于考生在短文改错中的表现。鉴于不利于低歧义容忍度考生的项目功能差异多于不利于高歧义容忍度考生的项目功能差异,设计短文改错试题时,应着重注意试题对低歧义容忍度考生的偏颇性。但是,由于本研究规模较小,所得结论不可任意推广。要在未来测试中避免试题偏颇性,还需进一步研究。

论文目录

• Abstract
• 中文摘要
• Table of Contents
• List of Tables
• Chapter Ⅰ Introduction
• 1.1 Overview
• 1.2 Significance of the problem and rationale for the Study
• 1.3 Purposes of the present study
• 1.4 Outline of the present study
• Chapter Ⅱ Literature Review
• 2.1 Overview
• 2.2 Ambiguity tolerance and relevant concepts
• 2.2.1 Cognitive styles
• 2.2.2 What is ambiguity tolerance?
• 2.2.3 The characteristics of ambiguity tolerance and its implications in language learning and testing
• 2.3 Review of literature on test bias
• 2.3.1 Item bias
• 2.3.2 Application of the DIF analysis in detecting bias
• 2.3.3 Methodological implication of using DIF analysis in bias detection
• Chapter Ⅲ Method
• 3.1 Overview
• 3.2 Theoretical framework
• 3.3 Research questions
• 3.4 Variables in the present study
• 3.5 Participants
• 3.5.1 Test-takers
• 3.5.2 Expert judges
• 3.6 Instruments
• 3.6.1 SLTAS —— The adopted instrument for measuring AT in this study
• 3.6.2 A proofreading test paper
• 3.7 Procedure
• 3.7.1 Data collection
• 3.7.1.1 Data collection from the SLTAS
• 3.7.1.2 Data collection from the proofreading test and the written protocol
• 3.7.1.3 Data collection from expert judgment
• 3.7.2 Data analysis
• 3.7.2.1 Statistical analyses of the SLTAS and the proofreading test
• 3.7.2.2 Analysis of the data from written protocol
• 3.7.2.3 Analyses of the data from expert judgment
• Chapter Ⅳ Results and Discussion
• 4.1 Overview
• 4.2 Results of the statistical DIF detection procedure
• 4.2.1 Descriptive statistics for the scores on the SLATS and the proofreading test
• 4.2.2 Results analysis of the statistical DIF detection procedure
• 4.3 Results analysis of the students' written report data and expert judgments
• 4.3.1 Students' written protocol data
• 4.3.2 Result analysis of data from expert judgment
• 4.4 Discussion about clues for possible DIF sources
• 4.4.1 Possible DIF sources to the disadvantage of LAT students
• 4.4.2 Possible DIF sources to the disadvantage of HAT students
• 4.5 Overall conclusions about possible item bias
• Chapter Ⅴ Summary
• 5.1 Overview
• 5.2 Implications
• 5.3 Limitations
• 5.4 Recommendations
• Bibliography
• Appendix
• 发表文章目录
• Acknowledgements
• 个人简况及联系方式