关联文本分类关键技术研究

论文摘要

信息存储技术和通信技术的飞速发展使得越来越多的文字信息开始以计算机可读的形式存在,并且其数量每天都在增加和更新。对大量电子文档进行有效的过滤并进行自动分类组织,将有助于文档的检索和分析。关联分类作为基于规则分类方法的一种扩展,已经引起了众多研究者的兴趣,但其在文本领域的应用仍未得到充分的重视。为了使关联分类更好地适合文本分类的需要,对关联文本分类中存在的主要问题进行了深入细致的分析,提出了相应的解决策略,取得了比现有文本分类系统更好的精度和效率。围绕关联文本分类的关键技术完成了以下工作:比较和分析了不同支持度阈值对关联分类系统性能的影响。证明了在文本分类中,较低的支持度设置可以提供更大的词典和对数据更全面的描述,因而有利于分类性能的提高,但这同时也会导致规则数目的急剧膨胀和噪声比例的上升,规则抽取工作将变得更加低效和困难。在深入探讨影响规则抽取速度因素的基础上,针对规则抽取中的规则评估和规则筛选,分别提出了两种优化技术。在评估阶段,提出一种“数据缓存”和“倒转匹配”相结合的优化技术,避免了对原始数据集的多次遍历及对每个文档求子集操作所带来的巨大开销;在筛选阶段,提出一种“垂直修剪”的优化技术,代替目前常用的完全方式的“一般-特殊”序裁剪,该方法在保证区分性能的同时可明显减少计算时间。系统研究了关联分类环境下的特征选择问题。分析了在关联分类中按传统的预处理方式选择特征所导致的问题,阐述了在关联分类环境下设计新的特征选择方法的必要性。通过证明支持度、置信度与特征选择常用度量之间存在的转换关系,提出一种将特征选择集成到规则评估阶段的新方法,从而解决了预选特征不能保证成为频繁项的难题,同时总结对比了各种特征选择的常用度量在关联分类中的性能表现。在此基础上,提出了一个结合特征选择和规则选择的快速规则抽取算法FARE。提出一种新的关联区分算法ACA,该算法引入了一种“接受者决定”思想,以便当多条存在“一般-特殊”序的规则匹配同一测试文档时,由测试文档本身自适应地选择其最佳匹配规则,以取得准确率和召回率之间的合理平衡。ACA还引入规范因子和置信区间的概念,以消除因分类器之间规则数量和质量差异而导致的区分性能下降。此外,ACA提出利用类别特征词形成虚拟规则以对部分无法匹配的测试文档进行区分。对比实验表明利用ACA区分算法可以取得比其它区分算法更高的精度。对不同关联模式在文本分类中的应用进行了深入的探索。提出了一种基于句子级别约束的2-阶段规则选择方法,同时对句子级别分类方法的优缺点进行了深入分析:利用句子级别约束可加快规则选择的速度,在某些应用中表现出良好的区分性能,但另一方面,规则过少、难以匹配等问题限制了其进一步的推广使用。因循这一研究思路,进一步提出在文档级别利用超级关联组合替代频繁项进行分类的方法,并从候选规则数目、训练时间和区分性能等多个角度比较了两种模式对分类系统的影响,得出了超级关联组合比频繁项更适合作为候选模式的重要结论。与其它著名文本分类算法如SVM的对比还表明,以超级关联组合作为候选模式,结合快速规则抽取算法FARE和关联区分算法ACA,可以取得媲美或超过SVM的区分效果,且其时间开销远远小于SVM。在深入分析中文语言学特性对关联文本分类的影响的基础上,提出利用prefix-hash-tree完成中文文档向事务数据的转换,并提出利用词汇类频率量化划分和过滤中文词汇,以有效缩减事务数据库规模,提高训练和区分算法的效率以及区分的精度。以此为基础开发的自动文本分类工具已成功应用于多个电子政务项目。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 研究背景
• 1.2 国内外概况
• 1.3 本文的工作
• 2 关联文本分类模型及评估
• 2.1 引言
• 2.2 关联分类中的基本概念
• 2.3 本文所用到的关联文本分类模型
• 2.4 关联文本分类的重点研究对象
• 2.5 分类任务的评测
• 2.6 小结
• 3 规则抽取算法的研究
• 3.1 引言
• 3.2 最小支持度阈值对规则抽取的影响分析
• 3.3 规则评估过程的优化处理
• 3.4 规则裁剪过程中所使用的加速技术研究
• 3.5 顺序覆盖的思想
• 3.6 规则抽取方法的比较和分析
• 3.7 实验结果及分析
• 3.8 小结
• 4 关联分类模式下的特征选择
• 4.1 引言
• 4.2 特征选择度量的分析
• 4.3 特征选择与关联分类的集成
• 4.4 快速规则抽取算法FARE
• 4.5 实验评测
• 4.6 小节
• 5 区分算法的研究
• 5.1 引言
• 5.2 影响区分性能的关键问题及相应对策
• 5.3 区分过程中的加速技术
• 5.4 关联区分算法ACA
• 5.5 基于频繁项的文本分类算法ATC-FI
• 5.6 实验评测
• 5.7 小节
• 6 关联文本分类方法扩展
• 6.1 引言
• 6.2 基于句子级别的关联文本分类研究
• 6.3 基于超级关联组合的文本分类研究
• 6.4 小结
• 7 关联文本分类在中文领域的应用
• 7.1 引言
• 7.2 利用PREFIX-HASH-TREE 实现从中文文本到事务数据的转换
• 7.3 中文词汇的划分及过滤
• 7.4 中文文本分类器构造算法ATCC
• 7.5 中文文本分类区分算法
• 7.6 小节
• 8 全文总结与研究展望
• 8.1 本文主要创新与贡献
• 8.2 研究展望
• 致谢
• 参考文献
• 附录1 攻读博士学位期间发表论文的目录
• 附录2 作者近年来参加的重要科研项目