A Study on Quality of CET Multiple-choice Items-Item Response Theory Approach

论文摘要

语言测试伴随语言教学而出现,两者有着密不可分的关系。英语语言测试是用于评价学生英语水平和教学效果的重要手段。其评价是否准确、客观、符合实际取决于测试的质量。目前常用的测试质量评估手段经典测验理论具有明显的缺陷,其计算结果会随受试样本的变化而改变。起源于二十世纪三十年代的项目反应理论这种测验理论具有受试能力参数与项目参数相互独立的优越性,但却因其数学计算的复杂性而令很多应用语言学研究者对它的使用只能望洋兴叹。客观性多项选择题是大学英语测试的主要题型,其质量直接影响测试质量,因此有必要进行全面质量评估。本研究采用项目反应理论,以一份大学第二学期期末英语测试的客观性多项选择题为研究对象,对其质量进行了综合评估并深入分析了导致低质量项目的因素。研究者在受试学生中随机抽取两个样本,样本一包含207 名受试,用于综合分析,样本二包含文理专业受试各两百名,用于检验项目偏差。质量评估的主要方法是对项目特征曲线、项目信息函数、测验信息函数、项目预测效度的分析和对项目偏差的检测。其中,项目信息函数和测验信息函数分别是单个项目和整体测试的信度指标。研究结果表明该测试部分客观性多项选择题质量不高,测试信度较低。虽然测试具有较好的表面和内容效度,但其预测效度很差。测试中没有偏差项目,因此受试的专业背景不会影响其对试题的反应情况。导致低质量项目的因素有两类:选择题设计违反命题的基本原则;造成听力和阅读理解试题低质的特定因素。前者包括题项有不止一个答案,选项难度、结构不一致,包含无用选项等。后者包括对话中对一个观点提供的语境过多或不充分,阅读理解中设计干扰项时对读者的心理反应做了不恰当的预测,在阅读理解中考常识等。本研究是将项目反应理论应用于语言测试质量评估的一次尝试,充分利用了项目反应理论的优越性。研究表明由于经典测验理论的计算简单性和项目反应理论的估计精确性,在测试质量评估中可以将两者结合使用。研究也给予英语语言测试客观性多项选择题的编写一定启示。

论文目录

• Chapter 1 Introduction
• 1.1 Background of the Research
• 1.2 Objective & Significance
• 1.3 Research Questions
• 1.4 Organization of Chapters
• Chapter 2 Literature Review
• 2.1 Test Theories
• 2.1.1 Classical Test Theory
• 2.1.2 Genneralizability Theory
• 2.1.3 Item Response Theory
• 2.2 Test Evaluation Criteria
• 2.2.1 Validity
• 2.2.2 Reliability
• 2.2.3 Discriminability
• 2.2.4 Difficulty
• 2.2.5 Backwash Effects
• 2.2.6 General Principles of Writing Multiple-choice Items
• Chapter 3 Research Design
• 3.1 Test Paper Selection and Sampling
• 3.2 Data Collection
• 3.2.1 Numerical Data Collection
• 3.2.2 Retest and Interview
• 3.3 Data Analysis Procedures
• 3.3.1 Instruments for Analysis
• 3.3.2 Data Transformation
• 3.3.3 Parameter Estimation
• 3.3.4 Plotting and Graph Classification
• Chapter 4 Results of Data Analysis
• 4.1 Ability Parameters
• 4.2 ICC Analysis
• 4.2.1 Disciminability
• 4.2.2 Difficulty Level
• 4.2.3 Guessing Factors
• 4.3 IIF Analysis
• 4.4 TIF Analysis
• 4.5 Validity Analysis
• 4.6 Biased Item Analysis
• 4.7 Report of the Percentage of Choices for Each Item
• 4.8 General Evaluation on the Test Quality
• 4.8.1 The Relationship among the Quality Indexes
• 4.8.2 Test Quality Evaluation
• 4.9 Summary
• Chapter 5 Discussions on the Poor Quality Items
• 5.1 Principles for Item-writing
• 5.2 Items in Listening Comprehension Test
• 5.3 Items in Reading Comprehension Test
• 5.3.1 Analysis of the Reading Materials
• 5.3.2 Analysis of the Items
• 5.4 Items in Vocabulary and Structure Test
• 5.4.1 Percentage of the Items from the Content of the Textbook
• 5.4.2 Factors Leading to Poor Quality Items
• 5.5 Items in Cloze Test
• 5.5.1 Language Ability Being Tested
• 5.5.2 Factors Leading to Poor Quality Items
• 5.6 Summary
• Chapter 6 Conclusion
• 6.1 Findings
• 6.2 Limitations & Suggestions
• Bibliography
• Appendixes
• Appendix I Sample Test Paper
• Appendix II Programs for Parameter Estimation
• 个人简历
• 发表论文