观测数据的异常值统计检验方法研究

论文摘要

异常数据的出现会极大程度地降低数据的质量,使得相应数据分析结果发生显著变异,导致人们对问题做出不准确的判断。本文研究利用统计思想和方法来检验观测样本中出现的异常数据。针对在生存分析及可靠性理论中占重要地位的指数、正态、Weibull分布以及极值分布、对数正态分布的异常数据检验方法进行了深入地分析讨论,然后在总结各方法特点的基础上,着重对其中研究较少的对数正态分布的双参数异常数据的检验方法进行探讨和研究。主要工作如下:1、在跳跃度的基础上,利用次序统计量提出了在对数正态分布场合下更加直观合理的波动率概念,并以此为准则来确定可疑异常数据,以进一步确定样本中的正常数据集,为下一步检测奠定基础。2、在波动率概念基础上确定正常数据集后,提出了每次向左或向右添加一个相邻数据,构造合适的检验统计量或者枢轴量来检验这个添加的数据是否为异常的检验新方法。3、构造了两个检验所用统计量,并证明了它们都是枢轴量,为检验新方法奠定了理论基础。4、利用MATLAB软件进行一系列数值模拟实验得到了两个枢轴量进行异常数据检验时的临界表。文章还对检验方法进行了相应数值模拟比较。数值模拟结果表明采用新方法对双参数对数正态分布异常观测数据进行检验是有效可行的,可以避免检验的屏蔽效应,具有优良的检验效能。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 引言
• 1.2 现有检验局限性及其评判标准
• 1.3 本文主要工作
• 第二章 异常数据及其统计检验方法综述
• 2.1 异常数据关键问题
• 2.1.1 异常数据的定义
• 2.1.2 异常数据分析的重要性
• 2.1.3 统计检验方法衡量标准
• 2.2 常用的异常数据统计检验方法
• 2.2.1 正态分布场合异常数据检验
• 2.2.2 指数分布场合异常数据检验
• 2.2.3 Weibull分布场合异常数据检验方法
• 2.2.4 极值分布场合异常数据检验方法
• 2.2.5 双参数对数正态分布场合异常数据检验方法
• 2.3 小结
• 第三章 双参数对数正态分布异常数据检验方法
• 3.1 引言
• 3.2 几个关键概念准备
• 3.2.1 对数正态分布参数的BLUE
• 3.2.2 枢轴量
• 3.2.3 跳跃度
• 3.2.4 波动率
• 3.3 异常数据检验步骤
• 3.4 小结
• 第四章 实例及模拟研究
• 4.1 引言
• 4.2 实例
• 4.3 数值模拟比较
• 4.3.1 新方法模拟结果
• 4.3.2 异常检验方法比较
• 4.4 小结
• 第五章 总结
• 5.1 本文工作
• 5.2 主要创新点
• 5.3 下一步的工作
• 参考文献
• 附录
• 致谢
• 攻读硕士学位期间主要的研究成果