英语写作中评分员不一致性的研究

论文摘要

写作测试是语言能力测试的一个范畴。写作以其高效度著称,能同时测试语言的各个层次、各个因素,能同时测试语言运用的准确性和得体性。写作作为语言学习的一项基本能力,被广泛应用于各类型的英语考试中。在注重考试效度的今天,写作项目的有否,已经成为衡量某一考试的基本标准之一。 在写作测试中,考生、考试任务和写作评分员构成了写作的三个环节。对于写作评分,在评分的信度上存在着很大的争议。写作测试属于主观性测试,不可避免地受到评分员的主观因素的影响,即评分员自身和评分员之间的不一致性。评分员自身在不同情况下进行评分会有差异,会受到天气、身体状况、评阅时间等的影响。评分员之间的不一致性主要有三个方面:对评分标准的不同理解和把握,掌握宽严的不同程度,和对与评分标准无关因素的不同反应（Bachman,1990:208-212）。本文将评分员自身的差异性控制到最小,旨在研究新评分员在给作文评分时所表现出的不一致性,即:评分标准掌握是否一致,和对评分标准以外因素的把握。对于写作的实证研究,国外已经开展了近半个世纪,而国内这方面的研究相对起步较晚,研究较少,而且多数集中于写作教学,对英语写作测试的研究甚少。 本研究的研究对象是具有相同教学和学历背景的六名年轻教师作为新评分员,同时请到两名教龄较长的大学教师,她们曾参加过大学四级统一阅卷的作文评分。他们在同一时间内先对二十份抽样出来的作文进行评分,然后进行口头报告。与研究内容有关的口头报告随后被转写。 本文采用配对T检验、相关分析和方差分析等统计方法来研究评分员之间的差异。通过对六位新评分员与两位有经验的评分员对20份作文的评分研究,作者发现:1)在新评分员与有经验的评分员所给的分数间存在显著性差异。2)新评分员之间也存在显著差异,且其评分与有经验评分员相比,信度较低。3)就评分员在评分中如何与评分标准相结合而言,在四项基本指标:切题、表达清楚、通顺、语言错误中,新评分员在切题、通顺方面取得较高的一致性,差异较小,而在意思清楚和语言错误方面存在较大分歧。此外,评分标准中所没有涉及到的因素如内容深度、文章长度等也在很大程度上影响作文的分数。 新评分员在评阅作文时所表现的不一致性对当前英语教学与写作考试具有一定意义,尤其是青年教师在参与阅卷前应更好的学习评分标准,控制好评分的主要因

论文目录

• Acknowledgements
• English Abstract
• Chinese Abstract
• English Contents
• Chinese Contents
• List of Tables
• Chapter I Introduction
• 1.1 Research background
• 1.2 Purpose of the study
• 1.3 Significance of the study
• 1.4 Major concepts
• 1.5 Outline of the paper
• Chapter II Literature Review of Relevant Studies
• 2.1 Overview of second language writing
• 2.1.1 Understanding of writing ability
• 2.1.2 Two main approaches in testing writing
• 2.1.2.1 Indirect writing
• 2.1.2.2 Direct writing
• 2.2 Scoring methods used in testing writing
• 2.2.1 Holistic method
• 2.2.2 Analytic method
• 2.2.3 Trait-based method
• 2.3 Inter-rater Inconsistency
• 2.3.1 Inter-rater consistency and inconsistency in scoring writing
• 2.3.2 Inter-rater inconsistency in scoring writing
• 2.3.2.1 Rater inconsistency on writing construct
• 2.3.2.2 Rater inconsistency on background differences
• 2.3.3 Rater training
• Chapter III Methodology
• 3.1 Overview of the present study
• 3.2 Research questions and hypotheses
• 3.3 Data collection
• 3.3.1 Subjects
• 3.3.2 Materials
• 3.3.3 Rating scale
• 3.3.4 Procedures
• 3.3.5 Protocol collection
• 3.4 Reliability and Validity of the study
• 3.4.1 Reliability
• 3.4.2 Validity
• 3.5 Summary
• Chapter IV Results and Discussion
• 4.1 Statistical analysis and results
• 4.1.1 Descriptive statistics of test scores
• 4.1.2 Paired t-test of test scores
• 4.1.3 Correlation Analysis
• 4.1.4 ANOVA analysis
• 4.2 Protocol analysis
• 4.2.1 Descriptive statistics of the information
• 4.2.2 Inconsistency within the rating scale
• 4.2.2.1 Relevance to the topic
• 4.2.2.2 Clarity of meaning
• 4.2.2.3 Coherence
• 4.2.2.4 Mechanic errors
• 4.2.3 Varieties of elements beyond the rating scale
• 4.3 Ratings with two scoring methods
• 4.4 Summary
• Chapter V Conclusion
• 5.1 Conclusion of the present study
• 5.2 Implications of the present study
• 5.3 Limitations of the present study
• Appendix
• Bibliography
• 个人基本情况:
• 发表论文情况:
• 承诺书