简短问答题计算机辅助评分系统的设计与应用

论文摘要

本论文“简短问答题计算机辅助评分系统的设计及应用”的研究目的是通过设计一套计算机辅助英语简答题评分系统,尽量减少人为因素在评分中的影响,在保持较高评分信度的同时节省大量的人力资源。本研究把英语简短问答题定义为要求学生用一个或者几个词（不超过十个）来回答一个问题或者把一个陈述补充完整的测试题型。这种题型作为主观题的一种,对于教学产生了良好的反拨效应,但其评分工作量很大,而且易带有阅卷员的主观成分,评分信度不高,因此作者认为这是它不能在大规模英语测试中得以广泛应用的原因之一。本研究的重心是利用单向贴近度（single similar degree）和有效词比例（valid word ratio）两个指标来设计出一套英语简答题计算机辅助评分系统（ a computer-assisted marking system）。此研究综合运用应用语言学,计算机和数学理论,这种研究方法目前在语言学研究领域尚不多见。该研究成果具有较高的实用价值,不仅有利于促进英语简短问答题在测试领域更广泛的使用,对于英语主观题的电脑自动评分研究也具有重要意义。该系统的四次应用是对220份英语简短问答题试卷进行评分。论文作者通过分析每次应用结果,找出可能导致评分错误的原因,从而改进该系统。因此,四次应用过程即是对该系统逐步改进的过程。本研究的主要结论如下:第一,单向贴近度和有效词比例两项指标对于衡量学生回答内容与参考答案之间的相似性起到相当大的作用。通过这两项指标对简答题评分,可以达到85.40%的准确率。第二,仅利用单向贴近度和有效词比例两项指标对于学生回答内容的语义方面的评分准确度不是很高;关键词比例（key word ratio）是影响学生回答内容语义正确的重要因素。因为经过对系统的改进,即引入关键词比例之后,该系统可以达到91.07%的准确率。比仅仅依靠单向贴近度和有效词比例两个指标来评分的准确率高出5.67%。第三,尽管该系统只达到91.07%评分准确率,并未高于人工评分的准确率,目前尚不能应用于大规模的测试评分,但是作者通过这项尝试性的研究发现了一些影响该系统准确率的因素,这将会对未来的计算机辅助评分系统的研究提供一些参考和借鉴。

论文目录

• 中文摘要
• ABSTRACT
• LIST OF ABBREVIATIONS
• LIST OF FIGURES AND TABLES
• Chapter One Introduction
• 1.1 Short Answer Questions （SAQ）
• 1.2 Research questions
• 1.3 Stages of the study
• 1.4 Significance of the study
• 1.5 Structure of the thesis
• Chapter Two Literature Review
• 2.1 Theoretical background
• 2.1.1 Two essential test qualities: reliability and validity
• 2.1.2 Scoring
• 2.2 Empirical Studies of Computer-assisted marking on subjective tests
• 2.2.1 Studies abroad
• 2.2.2 Studies at home
• 2.3 Summary
• Chapter Three Theoretical Foundation for System Designing
• 3.1 Theoretical rational
• 3.2 Key definitions
• 3.2.1 Word defining
• 3.2.2 Fuzzy set theory
• 3.2.3 Single similar degree
• 3.2.4 Valid word ratio
• 3.3 Summary
• Chapter Four Application of the System
• 4.1 Introduction to the system
• 4.2 Users’ manual for the system
• 4.2.1 Directions to the software
• 4.2.2 Directions to the database
• 4.3 Application of the system
• 4.3.1 The first application
• 4.3.2 The second application
• 4.3.3 The third application
• 4.3.4 The fourth application
• 4.4 Summary
• Chapter Five Conclusions
• 5.1 Summary of Major findings
• 5.2 Implications of the study
• 5.3 Limitations and further studies
• Acknowledgements
• References
• Appendix