分类器性能评价研究

论文摘要

数据挖掘是研究从大量数据中用非平凡的方法发现有用知识的理论与方法.分类作为数据挖掘的一个重要课题,在统计学、机器学习、神经网络和专家系统中得到了广泛的研究.分类器性能评价作为分类过程的一个重要环节,对于选择适当的分类器进行分类有非常重要的指导作用.本文首先介绍了数据挖掘及分类的相关概念及基本技术,随后对分类器性能评价的通用标准以及评价方式作出详尽的总结归纳,然后对Weka环境下的分类器性能评价的实现,以及评价的各项指标的数学意义作出分析.最后,本文就分类器性能评价标准中的误差一项,结合限制性贝叶斯分类器的特质,提出一种基于限制性贝叶斯分类器的误差分解方法.这种方法在0-1损失函数的偏差方差分解方法基础上,将限制性贝叶斯的预测概率引入到其误差分解过程中.这种方法下,分类器的误差被分解为偏差和方差两部分,偏差反映的是学习算法的平均预测与真实值之间的偏离程度,方差反映的是学习算法在不同数据集上的预测波动.为了说明该算法的作用,本文对三种限制性贝叶斯分类算法在9个UCI数据集进行了实验,实验结果表明TAN分类器的性能最优.在本文的误差分解方法下,可清楚看到三种限制性贝叶斯分类器的误差结构,以及TAN最优的重要原因.

论文目录

• 致谢
• 中文摘要
• ABSTRACT
• 1 引言
• 1.1 论文背景
• 1.1.1 数据挖掘
• 1.1.2 数据挖掘中的分类技术
• 1.2 本文主要工作
• 2 分类器及其评价
• 2.1 分类与分类器
• 2.2 分类器性能评价
• 2.2.1 分类器性能评价的作用
• 2.2.2 分类器性能评价的问题
• 2.3 分类器性能度量标准
• 2.3.1 分类器的准确率
• 2.3.2 ROC曲线及AUC
• 2.3.3 反馈率—精确率曲线
• 2.3.4 成本敏感评价
• 2.3.5 MDL原理与信息损失函数
• 2.4 分类器性能评价方式
• 2.4.1 留置法
• 2.4.2 随机子抽样
• 2.4.3 K-折交叉验证
• 2.4.4 留一法
• 2.4.5 引导法
• 2.4.6 置信度试验
• 2.4.7 t检验
• 3 Weka环境下的分类器评价分析
• 3.1 Weka简介
• 3.2 Weka分类器评价的静态结构
• 3.2.1 evaluation包的分解
• 3.2.2 分类器评价主类Evaluation
• 3.3 Evaluation运行方式
• 3.3.1 在训练集上进行交叉验证
• 3.3.2 独立的训练集合与测试集合
• 3.3.3 对给定的分类器进行评价
• 3.4 Evaluation的运行参数
• 3.4.1 与建立分类器相关的参数
• 3.4.2 与运行方式相关的参数
• 3.4.3 分类器在测试集之上的评价指标
• 3.5 Weka分类器评价指标的数学意义与程序
• 3.5.1 Kappa统计量
• 3.5.2 相关系数
• 3.5.3 数值预测评价指标
• 3.5.4 K&B信息量
• 3.5.5 类复杂度统计量
• 3.5.6 各类的信息检索统计
• 4 基于限制性贝叶斯分类器的误差分解
• 4.1 误差的偏差—方差分解
• 4.2 基于0-1损失函数的偏差—方差分解
• 4.2.1 标记定义
• 4.2.2 0-1损失函数偏差加方差
• 4.3 限制性贝叶斯分类器
• 4.3.1 朴素贝叶斯分类器
• 4.3.2 TAN算法分类器
• 4.3.3 SuperParent算法分类器
• 4.4 一种基于限制性贝叶斯分类器的误差分解方法
• 4.5 实验方法
• 4.6 实验及结果分析
• 5 总结
• 参考文献
• 作者简历
• 学位论文数据集