大学英语课堂环境下读写结合写作测试效度研究

论文摘要

有语言教学的地方就有语言测试,有效的语言测试不仅可以测量教学效果和学生成就,也应该对相关教学起到正面的反拨作用。写作能力是一项十分重要的语言输出能力,国内外的各种语言测试都十分重视写作能力的测试,并设置重要的比例。观察国外写作测试研究,作者发现有影响力的托福考试和美国高校中的学术英语考试正大规模地采用综合写作测试的形式,其成功经验对国内高校的写作测试具有一定的启示作用。本研究有两个目的:一是对写作相关理论进行全面的回顾和综述,旨在提出一个应用于国内大学英语课堂的综合写作测试任务设计框架。框架理论基础研究包括写作本质和写作过程的探讨,写作能力的构念和可测量的写作能力的维度的分析,写作任务的类型和相应的优缺点,也包括对大学英语教学要求和大学英语考试大纲的重新解读和对巴赫曼和帕尔马的真实性和互动性概念的重新认知;框架的设计包括对课堂测试本质的分析和测试规范的描述。二是通过实验验证所提出的框架的可操作性及其信度和效度。实验试图解决的问题包括框架操作过程中可能出现的问题,框架应用于不同水平的学生时的信度和效度,框架进行大规模应用时的信度和效度等,同时也对学生在读写结合写作任务和独立写作任务中的作文语料进行对比分析,试图发现他们在两种任务中的表现差异,第二个目的主要通过实验收集数据并采用定量分析的方法来提供解释依据。从本质上讲,写作是语言行为,也是社会文化行为,更是认知行为。写出来的语言和说出来的话相比有正式、准确和复杂等特点;作为社会文化行为,写作是一种交际手段,其表现形式受文化规约的限制;写作过程不仅是个体表达思想的过程,更是思想在大脑内进行认知努力和认知加工的过程,这个过程是非线性的循环过程,有经验的作者运用知识转述模式,而没有经验的新手则采用知识直诉模式,写作过程是作者个体与写作环境进行互动的结果,受工作记忆,动机或情感,认知过程和长期记忆的影响。海姆斯（1972）、卡纳尔和斯温（1980）和巴赫曼（1990）把语言知识分为语言的知识、语篇知识和社会语言知识,后来巴赫曼和帕尔马（1996）又引入策略能力来解释交际语言能力;在前人理论研究的基础上,作者把写作能力概括为语言的知识、语篇知识和策略能力。写作能力是多元的,其维度可通过语言的复杂性、准确性和流利性来测量（斯基汉,1998;埃利斯,2008）。根据前人的研究,作者总结出十个可测量的写作能力的维度,包括语言的复杂性（词长、类符/形符比、T单位词比、分句/T单位比、从属分句/分句比）,准确性（无错误T单位比率、无错误分句比率）和流利性（词数、T单位数、分句数）,可用于实验研究中的语料分析。回顾国内外成功的大规模考试,写作任务可大致分为独立写作和综合写作,综合写作又分为听读写综合和读写综合,作者举例分析了每种类型的优缺点,并提出尝试在大学英语课堂环境下实施读写结合写作测试的设想（相比于听读写综合任务,读写综合任务的设计对普通教师更具可操作性,因此其研究结果可能更有推广性）。本文提出读写结合写作测试任务的设计框架,旨在为大学英语教师在课堂范围内的写作命题提出理论性的指导和参考。大学英语《教学要求》和大学英语《考试大纲》对该框架具有指导性作用,《教学要求》把大学阶段的英语教学分为三个层次,即一般要求、较高要求和更高要求,并对每个层次的写作能力做了相应的描述,四六级考试大纲也对写作的题目、题材、字数、评分要求和时间做了说明。巴赫曼和帕尔马的真实性和互动性理论充分地解释了读写结合写作任务接近真实的学术领域和职业领域的真实写作任务的本质。就真实性而言,写作任务应模仿现实生活或学术交际中的任务,采纳真实语料作为输入材料;就互动性而论,写作任务应涉及学生已知的或提供的话题知识,与其兴趣、语言能力和策略能力的良好互动会带来学生在测试任务中的最优化表现。框架的设计包括对课堂测试本质的分析和测试规范的描述。课堂测试属于成就考试,是对教学效果的检验;同时也是标准参照考试,应测量学生对教学目标的掌握情况。综合评分法应用广泛且使用快捷,分析性评分法能够提供详细的诊断信息但耗时费力。结合韦格尔（2007）对写作测试任务的维度的总结以及巴赫曼和帕尔马对测试任务输入材料的特点的描述,作者提出适用于大学英语课堂的读写结合写作测试框架并设计了相关测试任务（包括评分标准）。实证研究的目的是验证该框架在应用时的可操作性及其信度和效度。本文的实验研究包括两个阶段。第一阶段是小范围的效度研究,旨在发现该框架在应用时可能存在的问题以及信度和效度。东北大学的30名非英语专业本科一年级学生参加了本次研究,研究工具是一项读写结合写作测试任务和问卷调查。参加测试的学生的作文由2位有经验的教师打细评分,另外1位有经验的教师打粗评分,细评分的平均分是主要研究数据。这些学生同期参加的大学英语四级考试成绩（包括总成绩和写作成绩）和他们的英语课堂写作成绩用作标准关联效标。效度验证主要包括信度检验、平均分检验和相关检验,得出结论如下。首先,该框架的信度系数为0.704,符合写作测试标准。其次,部分-整体相关系数为0.779-0.859,部分-部分相关系数是0.473-0.639,显示可接受的构念效度。此外,细评分的平均分与四级考试写作成绩和英语课堂写作成绩的相关系数分别为0.723和0.712,表明理想的效标关联效度。同时,问卷结果显示参加该研究的教师和学生总体对该框架持肯定态度,普遍认为能够合理地测试中国大学生的英语写作能力。因此,读写结合写作测试在大学英语课堂应用中显示了符合理论要求的信度和效度且有较强的实用性。第二阶段的研究涉及该框架的大规模应用效果和与传统的独立写作测试的对比研究。90名非英语专业的学生参加了本次研究,他们分层抽样于一年级学生,二年级学生和研究生一年级学生,每个年级各30人。研究工具是读写结合写作任务和独立写作任务以及问卷调查。实验分两个步骤进行:第一步,参加独立写作测试,第二步,一个月后,参加读写结合写作测试,题目与独立写作测试相同。参加测试的学生的2份作文同时由2位有经验的教师打细评分,1位有经验的教师打粗评分,细评分的平均分做主要研究数据。同样采用信度检验、平均分检验和相关检验并得出以下结论。首先,当该框架应用于不同水平的学生时,显示合理的信度系数（0.718,0.753和0.701）,部分-整体相关系数（一年级为0.736-0.764,二年级为0.841-0.906,研究生为0.778-0.873）十分理想,部分-部分相关系数（一年级是0.278-0.560,二年级是0.535-0.817,研究生是0.467-0.677）跨度较大,但多数可接受。其次,当该框架进行大规模应用时,信度系数（0.713）,部分-整体相关系数（0.790-0.843）,部分-部分相关系数（0.445-0.676）总体符合理论要求（一部分部分-部分相关系数除外）。因此,该框架既适用于测试不同水平的学生,也适用于大规模地应用在课堂上的写作能力测试。此外,本文也对学生在读写结合写作任务和独立写作任务中的作文进行了对比分析（90人,180篇）,试图发现他们在两种任务中的表现差异。一方面,从内容、结构、语言准确性和语言复杂性几个方面进行了分数上的对比,另一方面,从语言的复杂性和流利性等方面进行了语料对比,对比的样本包括分层对比和整体对比。对比研究发现:其一,分层和整体均在读写结合任务中倾向于获得更高的分数（包括总分和四个分项小分）;其二,分层和整体均在读写结合任务中倾向于用更长的单词、造更长的句子（二年级学生除外）、更多地运用复合句和复杂句,更高比例地使用被动语态和动词名词化现象尤为突出（大约2倍）,同时也显示出更高的流利性（从词数、句数和复合句及复杂句的数量看）,但分层和整体均显示出更低的词符/形符比,说明在两种写作任务中学生表现的词汇量是相似的。对比分析结果与问卷调查的结果基本一致,学生普遍认为阅读材料对作文有一定的帮助,一年级学生反映帮助体现在作文的内容、结构和语言各个方面,而高年级学生认为帮助可能更多地表现在作文的内容和结构上。总之,本论文基于理论综述的基础提出读写结合写作测试任务的设计框架并通过实证研究验证了该框架的信度和效度,期望这个尝试对大学英语课堂测试和大学英语学期考试中写作任务的设计有一定的启示和参考作用,并对大学英语教学产生正面的反拨作用。

论文目录

• Acknowledgements
• Abstract
• 摘要
• List of Abbreviations
• List of Figures
• List of Tables
• Chapter 1 Introduction
• 1.1 Background of the study
• 1.2 Purposes of the study
• 1.3 Questions of the study
• 1.4 Layout of the dissertation
• 1.5 Summary
• Chapter 2 Literature Review
• 2.1 Nature of writing
• 2.1.1 Writing as a linguistic activity
• 2.1.2 Writing as a social-cultural activity
• 2.1.2.1 Social aspects of writing
• 2.1.2.2 Cultural aspects of writing
• 2.1.3 Writing as a cognitive activity
• 2.1.3.1 The Hayes-Flower writing model
• 2.1.3.2 The Bereiter-Scardamalia writing models
• 2.1.3.3 The Hayes writing model
• 2.2 Fundamentals of writing ability
• 2.2.1 Components of writing ability
• 2.2.2 Dimensions of writing ability
• 2.2.2.1 Construct of CAF
• 2.2.2.2 Measurement of CAF
• 2.3 Classification of writing assessment tasks
• 2.3.1 Independent writing tasks
• 2.3.2 Integrated writing tasks
• 2.3.2.1 The reading-writing integrated task
• 2.3.2.2 The reading-listening-writing integrated task
• 2.3.3 Using reading-writing integrated assessment for the present study
• 2.4 Summary
• Chapter 3 Empirical and Theoretical Exploration
• 3.1 Empirical exploration
• 3.1.1 Description of Curriculum Requirements
• 3.1.2 Writing components of CET4 and CET6
• 3.2 Theoretical exploration
• 3.2.1 Authentic assessment
• 3.2.1.1 Birth and development of authenticity
• 3.2.1.2 Traits of authentic assessment
• 3.2.2 Interactive assessment
• 3.2.2.1 Birth and development of interactivenss
• 3.2.2.2 Traits of interactive assessment
• 3.2.3 Significance of authentic and interactive assessment to RWIA
• 3.3 Summary
• Chapter 4 Test Specification and Framework Construction
• 4.1 Essence of classroom writing assessment
• 4.1.1 Achievement test
• 4.1.2 Criterion-reference test
• 4.1.3 Implications for RWIA
• 4.2 Scoring methods for writing
• 4.2.1 Holistic scoring
• 4.2.2 Analytic scoring
• 4.2.3 Implications for RWIA
• 4.3 Framework of RWIA tasks
• 4.3.1 Specification of RWIA tasks
• 4.3.1.1 Task dimensions
• 4.3.1.2 Features of input
• 4.3.2 Suggested framework for RWIA tasks
• 4.4 Designing sample RWIA tasks
• 4.5 Summary
• Chapter 5 The Pilot Validation Study
• 5.1 Research purpose
• 5.2 Research subjects and task
• 5.3 Research operation
• 5.3.1 Testing procedure
• 5.3.2 Scoring procedure
• 5.3.3 Collection of data
• 5.4 Data analysis
• 5.4.1 Questionnaire analysis
• 5.4.1.1 Candidates’perspective
• 5.4.1.2 Teachers’perspective
• 5.4.2 Reliability and validity of RWIA
• 5.4.2.1 Descriptive statistics and reliability
• 5.4.2.2 Analyses of construct validity
• 5.4.2.3 Analyses of criterion-related validity
• 5.5 Discussion
• 5.6 Summary
• Chapter 6 The Field Validation Study
• 6.1 Research purpose
• 6.2 Research subjects and task
• 6.3 Research operation
• 6.3.1 Testing procedure
• 6.3.2 Scoring procedure
• 6.3.2.1 Rater training
• 6.3.2.2 Analytic scoring and holistic scoring
• 6.4 Data collection and analysis
• 6.4.1 Study of reliability and validity
• 6.4.1.1 Study on three levels of candidates
• 6.4.1.1.1 Descriptive statistics and reliability
• 6.4.1.1.2 Analyses of construct validity
• 6.4.1.1.3 Analyses of external validity
• 6.4.1.2 Study on 90 candidates
• 6.4.1.2.1 Descriptive statistics and reliability
• 6.4.1.2.2 Analyses of construct validity
• 6.4.1.2.3 Analyses of external validity
• 6.4.1.3 Candidates’perception on RWIA
• 6.4.2 Comparative study of essay products in two tasks
• 6.4.2.1 Comparative study of analytic measurement
• 6.4.2.2 Comparative study of discourse analysis
• 6.5 Discussion
• 6.6 Summary
• Chapter 7 Conclusions and Recommendations
• 7.1 Research findings
• 7.2 Research implications
• 7.2.1 Design of RWIA as a model
• 7.2.2 Implications of RWIA for writing instruction
• 7.3 Research significance
• 7.4 Research limitations
• 7.4.1 Problems of RWIA itself
• 7.4.2 Problems with this study
• 7.5 Further research
• 7.6 Summary
• Bibliography
• Appendix 1 Empirical Basis
• Appendix 1.1 The Regents writing test in Georgia State University
• Appendix 1.1 A Sample Test
• Appendix 1.1 B Essay scoring rubrics
• Appendix 1.2 Task 1 in TOEFL （iBT）
• Appendix 1.3 Requirements of writing ability of non-English majors (Chinese versi
• Appendix 1.4 Requirements for the writing components in CET4 and CET 6 （Chinese version）
• Appendix 2 Experiments
• Appendix 2.1 Sample task A
• Appendix 2.2 Sample task B
• Appendix 2.3 The Independent Writing Assessment Task
• Appendix 2.4 The Reading-Writing Integrated Assessment Task
• Appendix 2.5 Scoring Rubrics – the Field Study
• Appendix 3 Questionnaire
• Appendix 3.1 Candidate’s Questionnaire – the Pilot Study
• Appendix 3.2 Rater’s Questionnaire – the Pilot Study
• Appendix 3.3 Candidate’s Questionnaire – the Field Study
• Appendix 4 Data of the Validation Study
• Appendix 4.1 Candidates’raw scores in CET4 and writing exercises in English class –the pilot study
• Appendix 4.2 Candidates’raw scores of analytic rating and those of sub-categories –the pilot study
• Appendix 4.3 Candidates’ raw scores of holistic rating and analytic rating – the pilot study
• Appendix 4.4 Raw scores of raters’ratings in the Independent Writing Task–the field study
• Appendix 4.5 Raw scores of raters’ratings in the Reading-Writing Integrated Assessment Task –the field study
• Appendix 4.6 Candidates’raw scores in the English Term Examination, CET4 or CET 6 –the field study
• Appendix 4.7 Raw statistics of discourse analyses