考试抄袭识别的心理测量学研究

论文摘要

考试抄袭是最难识别的作弊方式。抄袭统计量(ACS)和人员拟合统计量(PFS)是识别抄袭的两类主要统计方法。ACS是根据被怀疑抄袭者与被抄袭者实际得分模式相似的概率来识别抄袭者。PFS则把一个观察的项目得分模式与一定的测量模型相对比,来检验被试得分模式是否与测量模型预测的模式相吻合。其中,PFS由于在识别异常得分模式时存在一些干扰因素,所以对结果的解释存在多样性,应用较少。ACS是专门用于识别抄袭的统计方法,以往研究表明其识别率更高。目前ACS统计量在美国的SAT和一些资格认证考试中已经得到广泛应用。研究采用Monte Carlo模拟数据方法生成模拟数据。考察了测验长度、样本量、抄袭比率、被抄袭者能力水平对抄袭统计量K*、K1、K2、S1、S2与人员拟合统计量lz的识别率、经验I型错误率的影响。模拟研究结果表明,K系列指数和S1统计量能把I型错误率控制在理论水平之下,S2和lz的I型错误率浮动比较大,ω能很好的把I型错误率控制在理论水平;随着测验长度和抄袭比率的增加,各统计量的识别率都逐渐提高;lz和ω的识别率不受样本量影响,其余各指数都随样本量的增加而有不同程度的提高;在抄袭比率低时,S的能力水平不影响各统计量的识别率,但在抄袭比率高时,识别率会有所提高;在各种条件下,K系列指数的识别率要低于其它统计量,其中K2好于K~*和K1,S2和ω统计量的识别率比较高;人员拟合统计量lz的识别率低于S1的识别率,但大于K2,只有个别条件下小于K2。

论文目录

• 摘要
• Abstract
• 第一部分 文献综述及问题提出
• 1.1 引言
• 1.2 抄袭统计量（ACS）的基本原理
• 1.3 抄袭统计量（ACS）的发展
• 1.3.1 早期的经验方法
• 1.3.2 以概率模型为基础的抄袭统计量
• 1.3.3 信息整合的抄袭统计量
• 1.4 主要的抄袭统计量及其性能
• 1.4.1 以匹配错误回答数目为基础的抄袭统计量
• 1.4.1.1 K系列指数
• 1.4.1.2 S1指数
• 1.4.2 以匹配正确回答和匹配错误回答数目为基础的抄袭统计量
• 2统计量'>1.4.2.1 g₂统计量
• 1.4.2.2 ω统计量
• 1.4.2.3 S2指数
• 1.4.3 转换二项式基础上的统计检验
• 1.4.4 Kappa抄袭统计量
• 1.4.5 神经网络技术
• 1.4.6 人员拟合统计量
• 1.5 关于各抄袭统计量性能的实验研究
• 1.5.1 模拟研究
• 1.5.2 真实数据的研究
• 1.6 抄袭统计量性能的综合比较
• 1.7 现有统计量的不足及研究趋势
• 1.7.1 现有统计量的不足之处
• 1.7.1.1 任何一个抄袭统计量不是在所有的条件下都有效
• 1.7.1.2 研究结论不系统，不能概括所有研究条件
• 1.7.1.3 依赖于对被试的现场观察
• 1.7.1.4 缺少真实数据的研究
• 1.7.1.5 模型假设存在不完备之处
• 1.7.2 将来的研究趋势
• 1.7.2.1 开发出能对抄袭这种异常得分模式进行识别的专用PFS统计量
• 1.7.2.2 多级记分测验的抄袭行为有待研究
• 1.7.2.3 充分利用答题信息，改进假设模型
• 1.7.2.4 加强现场研究
• 1.7.2.5 神经网络技术研究
• 1.8 研究目的
• 第二部分 实证研究
• 2.1 研究假设
• 2.2 研究设计
• 2.3 研究方法
• 2.4 研究结果
• 2.4.1 s能力水平为第90百分等级时各统计量的识别率
• 2.4.1.1 样本量为100，项目数为40时的识别率
• 2.4.1.2 样本量为100，项目数为80时的识别率
• 2.4.1.3 样本量为500，项目数为40时的识别率
• 2.4.1.4 样本量为500，项目数为80时的识别率
• 2.4.2 回归模型的有效性检验
• 2.4.2.1 线性回归模型和二次方回归模型的有效性检验
• 2.4.2.2 对数线性回归模型的有效性检验
• 2.4.3 各抄袭统计量的经验I型错误率
• 2.4.3.1 样本量为100，项目数为40时的经验I型错误率
• 2.4.3.2 样本量为100，项目数为80时的经验I型错误率
• 2.4.3.3 样本量为500，项目数为40时的经验I型错误率
• 2.4.3.4 样本量为500，项目数为80时的经验I型错误率
• 2.4.4 S能力水平为第60百分等级时各统计量的识别率
• 2.5 讨论
• 2.5.1 各统计量的识别率
• 2.5.1.1 经验I型错误率
• 2.5.1.2 参数估计的准确性
• 2.5.1.3 是否包含匹配的正确回答
• 2.5.2 ACS与PFS有效性的对比
• 2.5.3 本研究的不足
• 2.6 结论
• 参考文献
• 致谢