中外评分员英语写作评分中评分表现的对比研究

论文摘要

在英语写作测试中，有关中外评分员的一致性和有效性研究在国内外引起了相关学者的思考。评分员评分时的表现在很大程度上影响了写作测试的公平及其有效性。本研究采用基于项目反应理论的多面Rasch模型，对八名中外评分员对447名中国英语学习者的评分表现做了详细的对比分析旨在发现他们存在的差异。本文从FACETS主层面，即评分员和受试者，首先分析评分员整体评分是否存在差异，紧接着从评分严厉度、评分员信度即内部一致性及其他们之间的一致性对比分析，然后根据偏差分析探讨两组评分员对不同能力值的受试者评分是否一致。通过分析，本研究发现八个评分员之间评分严厉度、评分一致性都存在显著差异，而他们的内部一致性除了一个英语为母语的评分员外都比较好。从中外两组评分员的对比分析来看，在总体评分上,中国评分员没有英语母语评分员严厉；而中国评分员的内部一致性及其他们之间的一致性要稍高于英语母语的评分员；两组评分员对不同能力水平的受试者也表现出了不同的偏差，对极高极低能力值的英语学习者，两组评分员没有任何偏差表现，一致性很高，而对于能力值在1.00到1.99之间的受试者，英语母语评分员更为宽松。虽然中国评分员比英语母语评分员宽松，但并不能就此得出中国评分员就不合适，或他们的评分不准确。因为他们的信度值要明显高于英语为母语的评分员，且对不同能力的受试者也表现出了较强的一致性。本研究结果对写作测试和英语写作教学都有着重要的意义，且对FACETS软件在中外评分员对比分析中的应用也是一个新的尝试。

论文目录

• 摘要
• Abstract
• Contents
• List of Tables
• List of Figures
• List of Abbreviations
• Chapter 1 Introduction
• 1.1 Research Background
• 1.2 Orientation and Key Research Questions
• 1.3 Rational of the Present Study
• 1.4 Organization of the Thesis
• Chapter 2 Literature Review
• 2.1 Performance of NE and NNE Raters in English Writing Evaluation
• 2.2 Theoretical Background
• 2.2.1 Item Response Theory and Multi-facet Rasch Measurement
• 2.2.2 The Application of MFRM in Performance Evaluation
• 2.3 Summary
• Chapter 3 Research Methodology
• 3.1 Participants
• 3.2 Instruments
• 3.2.1 ESL Writing
• 3.2.2 The Rating Scale
• 3.2.3 Computer Equipment
• 3.3 Rating Procedure
• 3.4 Data Analysis
• 3.4.1 Quantitative Data Analysis
• 3.4.2 Qualitative Data Analysis
• Chapter 4 Data Analysis
• 4.1 Rater and Examinee Measurement Analysis
• 4.1.1 General Analysis
• 4.1.2 Rater and Examinee Measurement Analysis
• 4.2 Bias Analysis for Rater-Examinee
• 4.3 Summary
• Chapter 5 Discussion
• 5.1 Basic Differences on Raters
• 5.2 Severity
• 5.3 Rater Consistency
• 5.4 Rater Bias
• 5.5 Summary
• Conclusion
• References
• Appendix A Questionnaire for Raters
• Appendix B Rating Scale
• Appendix C 详细中文摘要
• Acknowledgements