多项选择题和简答题的题目效度对比研究

论文摘要

随着测试理论的发展以及测试方法的更新,语言测试的试题类型也更加多样化。目前我国大学英语考试倾向于采用多项选择题。多项选择题虽然有实施起来方便经济、评分客观、信度高、便于统计和分析等优点,但也有不少致命的缺点,如设计难度大、答题过程不同于真实的语言能力运用过程,猜测性大等。另一方面,随着近年雅思考试的盛行以及托福和四、六级题型的改革,简答题则是另外一种日益受到关注的测试题型。究竟选择题能否有效的测试出考生真实的语言能力水平?多项选择题的效度是否低于简答题?鉴于以上考虑,本文旨在运用效标关联理论对两种题型的题目效度进行了实验对比研究,为英语测试试卷的设计和评价提供一些启示。本研究的受试对象是湖南大学2005级行政管理专业2个班60名同学,分为两个实验组。研究采用了两套试卷,一套以简答题为主(Paper 1),一套以多项选择题为主(Paper 2)。这两套试卷中对应小题内容相同,但题型不同。Paper 1是来自于加拿大里贾纳大学ESL测试008号卷原卷。Paper 2是由湖南大学大学英语部老师与测试学专家把008号卷中简答题设计为相应的多项选择题。两个实验组,两套试卷,组织两次考试,实验程序遵循Bachman“counterbalance”测试设计模式。本研究运用统计软件SPSS13.0,分别对考生两次考试成绩样本进行T检验和相关分析,从难度、区分度、内部一致信度和相关系数等方面分析哪次考试更能测出考生的真实水平。此外,作为一种效度研究,本研究把实验对象同年6月份的大学英语四级考试成绩作为一个外在效标,与实验对象该两次考试成绩进行效标关联效度分析。研究结果表明,简答题的难度大于多项选择题,而区分度和内部一致性都优于多项选择题。此外,效标关联效度分析显示,简答题的题目效度高于多项选择题,相对而言能更好的测出考生的实际语言运用能力,有效的测出考生的真实语言水平。

论文目录

• 摘要
• Abstract
• CHAPTER 1 INTRODUCTION
• 1.1 BACKGROUND OF THE STUDY
• 1.2 OBJECTIVE OF THIS STUDY
• 1.3 SIGNIFICANCE OF THE STUDY
• 1.4 ORGANIZATION OF THE THESIS
• CHAPTER 2 LITERATURE REVIEW
• 2.1 THE APPROACHES TO LANGUAGE TESTING
• 2.2 UNDERSTANDING OF THE TWO TEST FORMATS
• 2.2.1 Multiple Choice Questions （MCQ）
• 2.2.2 Short Answer Questions （SAQ）
• 2.3 A BRIEF REVIEW OF PREVIOUS STUDIES
• 2.3.1 The Studies on Multiple Choice Questions
• 2.3.2 The Studies on Short Answer Questions
• 2.3.3 The Studies on Both MCQ& SAQ
• 2.4 CHAPTER SUMMARY
• CHAPTER 3 THEORETICAL BASES
• 3.1 THEORETICAL FRAMEWORKS OF LANGUAGE COMPETENCE
• 3.1.1 Canale and Swain: Communicative Competence Model
• 3.1.2 Bachman: Communicative Language Ability Model
• 3.2 THE ISSUE OF VALIDITY
• 3.2.1 The Types of Validity
• 3.2.2 Criterion-related Validity
• 3.3 PEARSON PRODUCT-MOMENT CORRELATION COEFFICIENT
• 3.4 CRONBACH ALPHA INTERNAL CONSISTENCY
• 3.5 CHAPTER SUMMARY
• CHAPTER 4 RESEARCH METHODS AND DESIGN
• 4.1 RESEARCH QUESTIONS
• 4.2 RESEARCH THEORY AND TOOLS
• 4.3 METHODOLOGY
• 4.3.1 The Subjects
• 4.3.2 The Testing Materials
• 4.3.3 The Procedures
• 4.3.4 The Criterion Measure
• 4.4 CHAPTER SUMMARY
• CHAPTER 5 DATA ANALYSIS AND RESULTS
• 5.1 THE TRANSFORMATION FROM RAW SCORE TO Z-SCORE
• 5.2 THE T-TEST AND THE SIGNIFICANT LEVEL OF DIFFERENCE
• 5.2.1 The T-test about the Total Scores
• 5.2.2 The Paired-item Significant Difference Analysis
• 5.3 THE COMPARATIVE ITEM DIFFICULTY AND DISCRIMINATION ANALYSIS
• 5.3.1 The Item Difficulty
• 5.3.2 The Item Discrimination
• 5.4 INTERNAL CONSISTENCY ANALYSIS
• 5.5 THE CORRELATIONS WITHIN THE PAIRED ITEMS
• 5.6 THE CRITERION-RELATED ANALYSIS
• 5.7 CHAPTER SUMMARY
• CONCLUSION
• 1.SUMMARY OF MAJOR FINDINGS
• 2.LIMITATIONS OF THE STUDY
• 3.RECOMMENDATIONS FOR FURTHER RESEARCH
• REFERENCES
• APPENDIX A 攻读学位期间所发表的学术论文目录
• APPENDIX B1 PAPER 1
• APPENDIX B2 PAPER 2
• APPENDIX C 详细中文摘要
• ACKNOWLEDGMENTS