计算机化的大学英语分级考试效度分析

论文摘要

为适应建立国际性研究型大学及社会发展的需要,实行分级教学改革以提高教学质量,湖南大学大学英语分级考试项目组开发了“湖南大学计算机化的大学英语分级考试”（CCEPT）。为确保考试的质量,本研究针对新开发的考试进行了较全面的效度分析,为以后的CCEPT建设提出了一些改进的建议。本研究以现代语言测试理论为指导,检验CCEPT能否有效地反映学生的英语语言能力。综合1985年美国“教育与心理测量标准”提出的内容、效标和构念效度3种效度类型,本研究的效度框架具体集中在构念效度、内容效度和表面效度三方面。通过对考生答题情况、考生成绩、考试试卷以及考生问卷调查结果等分析,检验CCEPT的效度。所有研究的数据都使用统计软件SPSS分析。通过对试题难度和区分度的计算以及试卷内容对考试大纲所规定内容的覆盖度分析,判断CCEPT的内容效度;通过相关分析和因子分析,判断CCEPT构念效度;通过对考生的问卷调查,判断CCEPT的表面效度。分析结果表明CCEPT在构念效度、内容效度和表面效度表现出合理性,但还有许多地方有待改进。阅读理解和写作的相关系数只有+0.169,这很大程度上是由于写作部分的评分效度较低。用主成分分析法进行因子分析,说明试题共考察了“听、写能力”和“阅读能力”,但是作为一个交际语言能力测试,只有总分达050以上的考生才能进行口语测试,这将对考生产生不良的后效。整体来说,考试的内容效度也较理想。听力部分的难度系数是0.464,接近理想值0.5。但是听力部分的题目大多是涉及细节内容而不是语义功能,与考试大纲的要求不太符合。阅读部分题目对大纲规定的各项微技能考查分配合理;该部分的难度系数是0.569,最低为0.465,最高为0.708,但是Part D的难度偏高。该部分的区分度为0.27,接近理想值0.3。作文部分题材接近学生生活,但该部分的评分信度较低。对考生的问卷调查涉及到了考生计算机熟悉程度调查、对考试整体印象调查、考试公平性调查、考试可能产生的后效调查、试题所考察技能的情况调查等,结果表明大多数考生认同这次考试。本文也提出了一些建议:CCEPT应该扩大试题库以确保试题的质量和试卷的稳定性,尽量降低测试模式的影响。CCEPT也应进一步提高其信度,尤其是写作部分的阅卷信度,加强对评分员的评分培训。本文的研究成果有助于完善计算机化英语分级测试,对其他学科的分级测试也有一定的指导作用。

论文目录

• 摘要
• Abstract
• Chapter One Introduction
• 1.1 Research Background
• 1.2 Purpose and Significance of the Study
• 1.3 Research Questions
• 1.4 Overview of the Thesis
• Chapter Two Theory and Literature Review
• 2.1 Theoretical Basis of Language Testing
• 2.1.1 Communicative Language Testing
• 2.1.2 Placement Language Testing
• 2.2 Testing Validity
• 2.2.1 Evidences of Validity
• 2.2.2 Threats to Validity
• 2.3 Empirical Validity Studies
• 2.3.1 Foreign Empirical Studies
• 2.3.2 Domestic Empirical Studies
• 2.3.3 Comment on Previous Studies
• Chapter Three Research Design and Methodology
• 3.1 Research Subjects
• 3.2 Research Instruments
• 3.2.1 Questionnaires
• 3.2.2 Testing Specifications
• 3.2.3 Test Papers and Keys
• 3.3 Data Collection
• 3.4 Data Analysis
• Chapter Four Validation of the Computer-based College English Placement Test of Hunan University （CCEPT）
• 4.1 Brief Introduction of CCEPT
• 4.1.1 Feature and Structure of CCEPT
• 4.1.2 CCEPT Specifications
• 4.1.3 Rating Scale and Score Report System
• 4.2 Validation Study of CCEPT
• 4.2.1 Construct Validity
• 4.2.1.1 Correlation Study
• 4.2.1.2 Factor Analysis
• 4.2.2 Content Validity
• 4.2.2.1 Content Validity of Listening Comprehension
• 4.2.2.2 Content Validity of Reading Comprehension
• 4.2.2.3 Content Validity of Writing
• 4.2.2.3.1 Analysis of the Topics
• 4.2.2.3.2 Rater Reliability
• 4.2.3 Face Validity
• Conclusion
• References
• Acknowledgements
• Appendix A 攻读学位期间所发表的学术论文目录
• Appendix B Questionnaire for Students
• Appendix C1 Descriptive Statistics of LT Items （Total）
• Appendix C2 Descriptive Statistics of RT Items （Total）
• Appendix C3 WT Band Distribution
• Appendix D 详细中文摘要