2008-2009年三省高考英语试卷效度研究

论文摘要

我国的高考是大规模、高风险考试。高考英语科是全国高考的重要组成部分,也是中国最大的常模参照的标准化英语能力测试。从2004年开始,继北京、上海自主命题后,各省陆续实施高中新课程改革,并进一步实行高考分省命题。截至2007年,全国共18个省市进行自主命题,高考英语科考试试卷已达19份之多,包括2份全国卷和17份分省命题卷(海南、宁夏共一套试卷)。分省命题后试卷的质量及各省市每年试题的一致性一直受到社会的广泛关注,也成为各界尤其是教育界的重点研究对象。但对于高考英语效度的研究不外乎内容效度,题目分析等定性分析,偶有定量研究出现,如试题的难度,区分度。各考试院考虑到高考的特殊性,考生数据一直作为机密保存,也极少有相关高考的数据分析对外公布,造成了高考考试效度研究极大的不足。本研究基于2008年国家社科课题“全国高考分省命题的英语分数等值模型研究”所收集的高考数据,从中挑选了代表高中英语教学高、中、低水平的三个省份,抽取2008、2009年的6份试卷,并收集到了参加该三省两年高考的考生考试作答的详细数据资料,结合定性和定量分析方法,对数据进行纵向和横向的对比分析。得出以下结论：1.试卷的信度方面,采用Cronbach的内部一致性系数分析,三省两年的试卷均有较好的内部一致性,信度比较高。2.试卷的构念效度方面,采取了相关分析和因子分析两种方法进行考察,发现试卷各部分题目的相关性比较高,而且只有一个主要因子可以解释试卷大部分的方差。按照《考试大纲》及《高中英语课程标准》要求,高考英语科考试应强调英语的综合应用能力,因此可以说6份高考试卷有比较好的构念效度。3.在内容效度方面,将6份试卷与《考试大纲》及《高中英语课程标准》进行了对比,发现试卷考点覆盖面比较广,总体的内容效度比较好。4.题目质量方面,分别对6份试卷试题进行了难度和区分度分析,结果发现除了高水平省份之外,其他两省的试卷两年的难度并不稳定,出现了一年偏难,一年偏易的情况。一些题目的过难和过易也造成了试题的区分度不够理想。本文对有问题的多项选择题进行分析后,总结了出题不理想的主要原因。本研究希望能弥补高考英语科效度研究领域的不足,并对今后的高考英语科命题工作以启示。然而,鉴于本研究仅仅涉及到三个省市两年的数据,研究结论难免以偏概全。从某种意义上来说,为确保高考英语的科学性和一致性,今后还有待做大量的研究工作,以提高高考命题水平和促进中国基础英语教学的发展。

论文目录

• 摘要
• Abstract
• Chapter 1 Introduction
• 1.1 General Research Background
• 1.2 Organization of the Thesis
• Chapter 2 Development of Language Testing
• 2.1 Definition of Language Testing
• 2.2 Approaches to Language Testing
• 2.3 Applications of Measurement Theory to Language Testing
• Chapter 3 Development of National Matriculation English Test
• 3.1 Introduction of NMET
• 3.2 Specification of NMET
• 3.3 Previous Validation Study of NMET
• 3.4 Introduction of Present Validation Study of NMET
• 3.4.1 Research Questions
• 3.4.2 Research Subjects
• 3.4.3 Instrument for Analysis
• Chapter 4 Reliability of the Six NMET Papers
• 4.1 Definition of Reliability
• 4.2 Reliability Analysis of the Six NMET Papers
• 4.2.1 Reliability of NMET Papers in Province A
• 4.2.2 Reliability of NMET Papers in Province B
• 4.2.3 Reliability of NMET Papers in Province C
• 4.2.4 Conclusions
• Chapter 5 Validity Analysis of the Six NMET Papers
• 5.1 Definition of validity
• 5.2 Types of Validity
• 5.2.1 Construct validity
• 5.2.2 Content validity
• 5.3 Construct Validity Analysis of the Six NMET Papers
• 5.3.1 Construct Validity of NMET Papers in Province A
• 5.3.2 Construct Validity of NMET Papers in Province B
• 5.3.3 Construct Validity of NMET Papers in Province C
• 5.3.4 Conclusions
• 5.4 Content Validity Analysis of the Six NMET Papers
• 5.4.1 Listening Comprehension
• 5.4.2 Grammar and Vocabulary
• 5.4.3 Cloze
• 5.4.4 Reading Comprehension
• 5.4.5 Writing
• 5.4.6 Other Item Formats
• 5.4.7 Conclusions
• Chapter 6 Item Analysis
• 6.1 Item difficulty
• 6.2 Item discrimination
• 6.3 Discussions on the Poor Quality Items
• 6.3.1 Problematic Items in Each Component
• 6.3.2 Principles of Writing Multiple-choice Questions
• 6.3.3 Factors Leading to Problematic Items
• Conclusion
• References
• Appendix A Published Papers During the Study of M.A. Degree
• Appendix B 详细中文摘要
• Acknowledgements