英语专业四级阅读任务难度探究 ——基于任务特征的分析

论文摘要

英语专业四级考试（Test for English Majors--Grade 4,缩写为TEM-4）是目前中国唯一的一项专为英语语言文学专业学生基础阶段设计实行的大规模标准参照性教学检查考试。它根据《高等学校英语专业英语教学大纲》的要求,由全国外语专业指导委员会下属英语专业教学分指导委员会负责组织命题,外语专业教学指导委员会办公室负责实施。TEM-4的目的在于推动高校英语专业教学大纲在基础阶段的贯彻与执行,对英语专业学生的各项基本技能和英语实际运用能力进行客观和准确的测量,从而为提高我国英语教学的质量而服务。测试的基本目的之一是为进行决策而收集必要的信息。任何一项测试,要想做到权威、公正、客观,必须如实测量其拟测验的内容,这样,合理的考试任务难度就是出题者把握试卷水平以及考试使用者对考试分数进行合理解释的一个至关重要的前提,对于考试设计者,受试者和使用者都具有重要意义。TEM-4也不例外。然而,目前对于考试任务难度的研究却并不多见。本研究试图以TEM-4的阅读理解部分为切入点,从阅读任务特征的角度,对于影响TEM-4阅读理解任务难度的因素进行剖析,以期能更好地认识TEM-4阅读任务的实质,对其形成客观公正的理解。本研究的主要目的有两个:一是确定可能对TEM-4阅读理解任务难度水平产生影响的主要任务特征有哪些;二是明确这些系统变化的任务特征的共同构念和测量属性,以及对任务难度的具体影响程度有多大,从而明确在多大程度上可以由这些任务特征去预测任务难度。本研究以2005年和2006年的共8篇阅读理解文章及其40道题目作为研究材料。以外语专业教学指导委员会办公室提供的参加上述两年TEM-4考试的约300,000名考生的阅读成绩为对象。此外,本研究还设计了一个包括143个变量的评价工具,分别从命题内容（包括主题、体裁、词汇等）、组织特征（包括修辞方法、语法、修辞结构、连贯、照应等）、语用特征（言语行为和语言功能、语域等）、长度以及其他与语言相关的特征（文章、段落、句子等的长度,句子类型、指代、否定等）诸多方面分别对文章、关键句和题目三个层面进行分析。每个层面中具体变量各有不同。按照不同的评判方法,本研究又将这143个变量分为三类:计数型,计算型和评分型。前两类由研究者自己完成,评分类变量由10位专家依据专门设计的评分量表完成。之后对于所获得的原始数据采用多种手段进行处理。描述性分析用于基本数据探索,信度分析用于检验评分一致,变量标准化处理为研究提供统一比较的基准,相关分析用于确定对阅读理解任务难度影响较大的个体变量,探索性因子分析用于因子纬度探索,验证性因子分析用来确定阅读任务特征模型,多重线性回归用于确定对任务难度的预测比例。研究结果显示,在个体变量的层面上,共有22个任务特征变量可以对任务难度产生较为显著的影响,可分别归类为:语法复杂程度、信息抽象程度、词汇、新信息、修辞结构复杂程度、语域、推理类型、长度、关键句显著性、题目内容专业程度、否定等11类。而且属于文章层面的变量对于任务难度的影响要大于关键句层面和题目层面的变量,这一发现也将丰富我们对于任务难度预测变量的正确认识,改变长久以来认为阅读理解中题目因素是决定任务难度的主要原因的观点。对于这些变量的进一步构念研究显示,整合后突显的公用因子共三个,分别为文章复杂性因子,文章长度因子和关键句显著性因子。最后的回归分析结果确定TEM-4阅读理解任务难度中约有31.2%可以用上述因子来解释,证明了一定程度上任务特征对于任务难度的可解释性。结论部分指出了本研究在理论上、方法上、以及语言测试的具体实践上的一些启示,并且指出了研究所存在的问题及今后研究的方向。

论文目录

• Acknowledgements
• Abstract
• 摘要
• List of Acronyms
• List of Tables and Figures
• Chapter One Introduction
• 1.1 Research background
• 1.2 Ratinale for the study
• 1.3 Purpose of the study
• 1.4 Research questions
• 1.5 Significance of the study
• 1.6 Layout of the dissertation
• 1.7 Chapter sunmmary
• Chapter Two Literatare Review
• 2.1 The nature of reading
• 2.2 Models of the reading process
• 2.2.1 Bottom-up model
• 2.2.2 Top-model
• 2.2.3 Interactive model
• 2.2.4 Schema theory
• 2.2.5 Bruer's cognitive model of reading process
• 2.3 Different modes of reading
• 2.4 Factors affectinig comprehension
• 2.4.1 Reader attributes
• 2.4.2 Skill factors
• 2.4.3 Text characteristics
• 2.4.4 Method effects
• 2.5 Reading tasks
• 2.5.1 Definitions of task
• 2.5.1.1 Language learning task
• 2.5.1.2 Language using task
• 2.5.1.3 Language assessment task
• 2.5.1.4 Deónition of reading task in this dissertation
• 2.5.2.Task difficultuy dimensions
• 2.5.2.1 Robinsons' model of task complexity
• 2.5.2.2 Skehan's model of task difficulty
• 2.5.2.3 An operational linguistic model of task difficulty
• 2.5.2.4 'Sources of variation' from Bachman's perspective
• 2.5.3 Exploration into multiple-choice reading task difficulty
• 2.5.3.1 Readability studies
• 2.5.3.2 Other approaches
• 2.5.3.3 Interpretation of reading task difflculty in this research
• 2.6 Chapter summary
• Chaptet Three Resenrch Methodology
• 3.1 A proposed framewom for TEM-4 reading task difficulty analysis
• 3.1.1 Introduction to the framcwork
• 3.1.2 Profile of new framcwork
• 3.1.3 Definitions and explanations of key terms
• 3.2 Research questions
• 3.3 Research instruments
• 3.3.1 Rating instnmaent
• 3.3.2 Research materials
• 3.4 Participants
• 3.4.1 Instrument raters
• 3.4.2 Test takers
• 3.5 Data collection
• 3.5.1 Rated variables
• 3.5.2 Counted variables
• 3.5.3 Mathematically calculated variables
• 3.5.4 Data preparation and management
• 3.6 Data analysis procedures
• 3.6.1 Reliability of ratings
• 3.6.2 Descriptive statistical analysis
• 3.6.3 Pair-wisecorrelation
• 3.6.4 Exploratory factor analyses（EFA）
• 3.6.5 Confirmatory Factor Analyses（CFA）
• 3.6.6 Multiple Regression（MR）
• 3.7 Chapter summary
• Chapter Four Results and Discnssios
• 4.1 Reliability of ratings
• 4.2 Descriptive statistics of reading test in TEM-4 05 and 06
• 4.3 Standardization of the 85 variables
• 4.4 Pair-wise correlation
• 4.5 Exploratory factor analyses
• 4.6 Confirmatory Factor analyses
• 4.7 Multiple regression
• 4.8 Chapter summary
• Chapter Five Conclusions
• 5.1 Summary of findings
• 5.2 Theoretical implications
• 5.3 Methodological implications
• 5.4 Implications for language testing practice
• 5.5 Limitations of tbe study
• 5.6 Suggestions for further research
• 5.7 Chapter summary
• References
• Appendix A Rating instrument for TEM-4 reading characteristics
• Appendix B T score descriptive statistics for task characteristic variables
• Appendix C Pair-wise correlations between item difficulty and reading task characteristic variables
• Appendix D Reading comprehension section of the 2005 TEM-4
• Appendix E Reading comprehension section of the 2006 TEM-4