平行试卷真的平行吗？ ——对2007年广东省英语高考计算机化口语考试的一次检验

论文摘要

由于参加英语高考口语考试的考生人数过多,2007年的英语高考口语考试采用了A至F六套平行试卷,以防止先考的考生泄露试题,从而保证考试的公平性。但是,采用平行卷的一个潜在问题是平行卷的难度可能不一,从而达不到预定目标。本研究用多层面Rasch模型(MFRM)对随机抽样的B、C两套试卷从信度、效度两个方面来进行检验,研究平行试卷是否真的平行。来自广州市执信中学的44名高三学生参加了本次实验。在实验之前,研究者采用2004年样题对他们进行培训,使其熟悉题型。实验之后,所有考生接受关于口语试卷内容的问卷调查,以获取更多定性结果来解释定量数据。实验结果表明,广东2007年英语高考口语考试的B卷和C卷,无论在试卷整体层面上还是在分项各个试题的层面上都是不平行的,C卷的难度比B卷大。随后的定性分析表明:在第一部分“朗读”中,C卷的生词、长句、以及总体单词量都较B卷更多,朗读速度也比B卷要快,这是导致难度加大的主要原因所在;在第二部分“角色扮演”和第三部分“口头作文”中,导致难度不一致的因素在于考生对访谈或者电影片段的话题的熟悉程度,另外细节/信息量对于试题的平行度也产生影响。作者还发现对于考生来说,第三部分当中并不是细节/信息量越充足就越利于学生发挥,取得高分。相反,考生会因为时间的限制和画面转换过快而无法更好的组织语言,紧扣主题,而导致心理紧张,从而影响正常发挥。上述研究结果为以后口语考试命题提供反馈信息。同时,本次研究采用的多层面Rasch模型(MFRM)将学生能力、评分员严厉度和试卷/试题难度作为影响分数的三个层面同时进行分析,与以往研究采用的因子分析和相关分析相比更加全面、简便、快捷。这也为其他致力于试卷平行度的研究者提供借鉴。

论文目录

• ACKNOWLEDGEMENT
• ABSTRACT
• 摘要
• CONTENTS
• LIST OF TABLES
• LIST OF FIGURES
• LIST OF APPENDICES
• LIST OF ABBREVIATIONS
• CHAPTER ONE Introduction
• CHAPTER TWO Literature Review
• 2.1 Characteristics of Speaking Tests
• 2.2 Task Difficulty
• 2.3 Reliability and Validity
• 2.3.1 Reliability
• 2.3.2 Validity and Content Comparability
• 2.4 MFRM
• CHAPTER THREE The NMET-COT
• 3.1 The NMET Battery
• 3.2 The Development of Oral Test
• 3.3 The COT of 2007
• 3.4 The Rating System of the NMET-COT
• CHAPTER FOUR Research Questions and Methodology
• 4.1 Research Questions
• 4.2 Significance of the Study
• 4.3 Methodology
• 4.3.1 Participants of the Study
• 4.3.2 Instruments
• 4.3.3 Research Procedures
• 4.3.4 Data Analyses
• CHAPTER FIVE Results and Discussions
• 5.1 Results and Discussions of Quantitative Analyses
• 5.1.1 MFRM at the Form Level
• 5.1.2 MFRM at Individual Task Level
• 5.1.3 Discussion
• 5.2 Results and Discussions of Qualitative Analyses
• 5.2.1 Task A: Reading Aloud
• 5.2.2 Task B: Role Play
• 5.2.3 Task C: Oral Composition
• CHAPTER SIX Conclusion
• 6.1 Limitations
• 6.2 Conclusion
• 6.3 Implications
• REFERENCES
• APPENDICES