面向PU问题的文本分类的研究与实现

论文摘要

本文研究的是面向PU 问题的文本分类,这种文本分类的特点是训练集合由类别标识的正例样本集合和类别未标识的样本集合组成。与传统的文本分类相比,PU 问题最大的特点是训练集合中不需要标识反例样本。由于样本类别的标识通常是由手工完成,需要耗费大量的时间和精力。而面向PU 问题的文本分类,因为其训练集合中不需要标识的反例,有效缓解了人工标识训练样本类别的劳动量。本论文研究并实现了面向PU 问题的文本分类器。采用二步分类框架,首先从未标识集合中抽取可信反例集合,采取本文所改进的1-DNF算法,和原算法（1-DNF）相比,大大提高了获取可信反例的数量,并且提高了下一步中迭代算法的收敛速度;然后迭代使用SVM 算法,构造一个分类器的集合。对于最终分类器的选取,本文也不同于以往面向PU问题的文本分类器的构造,不是仅仅选取分类器集合中的某一个,而是综合考虑所有分类器,对其进行加权投票产生最终的分类器。通过实验证明,本文构造的分类器在分类性能（评估参数-指标）上较PEBL算法提高了大约1.734 个百分点。F1

论文目录

• 第一章 绪论
• 1.1 研究背景
• 1.2 项目简介
• 1.3 PU问题的研究意义
• 1.4 本论文的主要工作
• 1.5 论文的组织安排
• 第二章 文本分类概述
• 2.1 文本分类的定义
• 2.2 面向PU问题的文本分类
• 2.3 相关工作
• 2.4 文本分类的概要流程
• 第三章 文本分类的关键技术
• 3.1 文本表示
• 3.1.1 空间向量模型
• 3.1.2 权重表示
• 3.2 特征抽取
• 3.2.1 文档频率阈值DF
• 3.2.2 信息获取IG
• 3.2.3 互信息MI
• 3.2.4 χ2 统计CHI
• 3.2.5 词条权TS
• 3.3 分类模型
• 3.3.1 K-最近邻算法
• 3.3.2 Rocchio算法
• 3.3.3 朴素贝叶斯方法
• 3.3.4 决策树方法
• 3.3.5 支持向量机
• 3.4 性能评估
• 第四章 面向PU问题文本分类的理论基础
• 4.1 解决PU问题的方法
• 4.2 两步构造分类器框架
• 4.2.1 寻找可信反例集合
• 4.2.2 构造分类器
• 4.3 本论文所实现分类器的理论基础
• 4.3.1 改进1-DNF算法
• 4.3.2 投票产生最终分类器
• 第五章 分类器的实现及实验分析
• 5.1 系统框架
• 5.2 具体实现
• 5.3 LIBSVM介绍
• 5.4 实验数据及性能评估方法
• 5.5 实验结果及分析
• 第六章 结论及工作展望
• 参考文献
• 附录
• 摘要
• ABSTRACT
• 致谢
• 导师及作者简介