以“回忆法”检验高考完型填空的结构效度

论文摘要

效度研究是语言测试研究中的一个永恒话题,在众多效度类型的研究中,人们尤为关注结构效度,因为结构效度就是考试的原则理论的效度,这是所有效度之本。长期以来,国内外众多语言测试学家对完型填空的结构效度进行了研究。完形填空是我国高考长期以来所采用的题型之一,它易实施,易控制难度等优点使它一直是最流行的题型之一,完形填空题是对考生英语综合运用能力的考查,其效度问题多年来一直是人们研究的热点问题。在高考完型填空的答题过程中,考生需要在充分理解并运用上下文信息和辨析四个选项的基础上选出正确答案。想要了解考生在答案的过程中是否真正理解并运用了上下文信息或是否真正辨析了四个选项需要对考生真实答题心理过程进行研究,然而,很少有研究涉及到使用“回忆性口头报告”的方法研究中国这个最重要的考试之一高考完型填空的结构效度。而这正是本文的研究重点。本文在前人研究的基础上,提出了以下问题:1)受试者的真实答题心理过程是否与预期答题过程相一致或在多大程度上相一致?2)受试者使用频率最高的是哪个层次的上下文信息?受试者使用了哪些与阅读技能无关的受试策略?使用策略答对题目的几率怎样?3)高水平组比低水平组更多更有效的使用上下文信息吗?差异是否显著?本文通过对2007年高考英语试卷全国卷(Ⅰ)完型填空试题受试者答题心理过程的分析来探讨其结构效度。山西大同一中30名高三年级学生参加了本次实验,这30名学生是从4个普通班共245名学生中随机选出,依据“回忆性口头报告”的试验步骤要求,培训,录音并获取试验数据后,通过Excel,SPSS14.0统计软件进行数据分析,经过可靠度验证,得出以下结论:1)通过试验数据分析,受试者实际答题过程与预期答题过程基本上相一致,从而推论出高考2007英语完型填空题在上下文信息理解,运用和词汇辨析两个方面具有较高的结构效度,且两方面重要性比重大致相当。2)受试者在答题过程中使用频率最高的上下文信息层次为句子层次和语篇层次,这与预期答题过程相一致。然而,句子层次和语篇层次信息使用的比率与预期操作有所误差。试验表明,在答题过程中,与阅读技能无关的策略不能替代阅读理解技能,且随意猜测答对题目的几率非常小。3)SPSS独立样本T检验表明,高水平组和低水平组在各个层次的上下文信息使用和词汇辨析中均存在显著差异。受试高水平组的表现显著高于受试低水平组。依据研究结果,本文在完型填空设计,英语教学和英语学习几个方面提出建议。本文中,虽然使用“回忆性口头报告”研究高考完型填空结构效度产生了比较满意的结果,但由于采集样本数据地区单一,样本数量少等客观原因的局限,尚不能对高考完型填空的结构效度做出结论。笔者认为有必要做进一步研究,使用“内省法”中的其它检验方法,在更多地区采用更大数量的样本进行研究。

论文目录

• 摘要
• Abstract
• CONTENTS
• Chapter Ⅰ Introduction
• 1.1 Research Background
• 1.2 Significance of this paper
• 1.3 Research Questions
• 1.4 Organization of this paper
• Chapter Ⅱ Literature Review
• 2.1 Cloze Test
• 2.1.1 Basic facets of Cloze Test
• 2.1.2 Development of Cloze Test
• 2.1.3 The Theoretical Basis of Cloze
• 2.2 Validity
• 2.2.1 Reliability and Validity
• 2.2.2 Types of validity
• 2.2.3 Definition of Construct Validity
• 2.2.4 Construct validation
• 2.3 Retrospective Report
• 2.3.1 Definition of Introspection
• 2.3.2 Types of Introspection
• 2.3.3 The pros and cons on Introspection Approach
• 2.3.4 The application of Introspection
• 2.3.5 Retrospective Report method in this paper
• 2.4 National Matriculation English Test（NMET）
• 2.4.1 Introduction of NMET Cloze Test
• 2.4.2 The construct validity of NMET Cloze test
• 2.5 Related Research
• 2.5.1 Foreign Researches
• 2.5.2 Domestic Researches
• 2.6 Summary
• Chapter Ⅲ Research Methodology
• 3.1 Research Design
• 3.2 The Subjects
• 3.3 Sample Materials
• 3.4 Research Procedures
• 3.5 Summary
• Chapter Ⅳ Result and Discussion
• 4.1 Test scores and Test-taking time
• 4.2 The categories of context information
• 4.3 The expected Operations
• 4.4 The experiment performances of the subjects and analysis
• 4.4.1 The operation list of the subjects' performances
• 4.4.2 The data statistics of experimental performances
• 4.4.3 The analysis on the option construction
• 4.4.4 Summary
• 4.5 The context information employment at different levels
• 4.5.1 The expected context information employment at different levels
• 4.5.2 The experimental context information employment at different levels
• 4.5.3 The comparison between expected and experimental information employment at different levels
• 4.6 Context information employment in each item
• 4.6.1 The analysis of clausal level
• 4.6.2 The analysis of sentence level
• 4.6.3 The analysis of textual level
• 4.6.4 The analysis of test-wise strategies
• 4.7 Summary
• Chapter V Conclusion
• 5.1 Major Findings
• 5.2 Implications
• 5.3 Limitations of the study
• 5.4 Suggestions for the future studies
• References
• Appendix Ⅰ The NMET doze test of 2007
• Appendix Ⅱ The Chinese version of Introspection method training material
• Appendix Ⅲ The independent samples T test
• Acknowledgements