面向领域的文本分类与挖掘关键技术研究

论文摘要

大量文本以电子形式存在,人们需要对大量的文本信息资源进行有效的组织和管理,因此文本分类引起人们的高度重视。近年来,关于文本分类技术的研究取得了很大进展,并被应用于众多领域。本文深入研究了文本分类与挖掘中的一些关键技术,同时在对政府公文分类、文本观点极性分析以及专利挖掘任务进行深入分析的基础上,将文本分类与挖掘技术应用到上述领域,提出了相应的解决方案,并通过大量实验证明了这些方案的有效性。主要工作包括:（1）特征独立性假设在文本处理领域被普遍应用,它虽然能大大简化文本计算,但与实际情况不符。本文首次将独立分量分析技术应用到文本处理领域,进行面向文本分类的独立特征抽取,并对其中遇到的由于数据稀疏和维数过高造成的收敛速度慢,稳定性差的问题进行了解决;将独立分量分析技术与传统的特征选取方法相结合,在通用数据集上进行了文本分类实验,实验结果验证了这种技术的优越性。（2）政府公文均带有主题词,而主题词携带了大量的类别信息。如何利用这些信息帮助文本分类?首先本文针对主题词不足的问题,根据Bootstrapping学习框架构建了一个主题词相关词的自动获取模型—KWB模型,用于对政府公文主题词集合的扩展;然后运用随机关键词产生技术,将公文文本表示成主题词空间的条件概率,这样也同时实现了文本特征空间的降维;将KWB模型与随机关键词产生技术相结合进行了公文文本分类实验,结果证明该方法能充分利用主题词的类别信息,提高分类性能。（3）针对主观句子判别正确率不高的问题,应用文本分类技术,提出了三类训练、两类判别的分类框架。并在公开语料MPQA上进行了实验,结果证明在语料中间接主观句子极少的情况下,该框架也能有效提高主观句子判别的准确率。针对训练语料不足以及对实体多方面的观点极性分析的需要,提出了一种基于弱指导学习的分析技术,实现句子级的实体方面特征识别和实体多方面观点的极性分析。实验证明该方法取得了较好的准确率。（4）通过深入分析NTCIR-7中专利挖掘任务的训练数据及任务难点,提出kNN分类框架是完成此任务的很好选择;针对训练数据分布极端不均衡的问题,提出在Ranking决策时加惩罚因子的方法解决该问题;研究了多种相似度计算方法,并在此基础上提出、改进了多种Ranking决策方法:如带有大类惩罚因子的Weak方法、NVote方法等。为了提高系统性能,应用机器学习中的Log-linear和Rank-SVM模型提出了基于系统融合的结果链表二次调序方法。该方法使系统性能得到了很大提升,在NTCIR-7的评测中取得了第一名的好成绩。总之,本文面向一些特殊领域,对文本分类中的特征抽取、分类器组合、小样本问题以及样本不均衡等关键技术进行了深入的理论分析和大量的实验验证,提出了一系列的解决方案,并以实验结果证明了这些方案的有效性。这些算法和模型对今后研究文本分类以及其它文本处理问题将有很大的参考价值和借鉴作用。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景
• 1.2 文本分类定义
• 1.3 文本分类的历史
• 1.4 文本分类的研究现状
• 1.4.1 特征选择与抽取
• 1.4.2 分类器组合
• 1.4.3 小样本问题
• 1.4.4 层次文本分类
• 1.4.5 样本不均衡问题
• 1.5 本文的主要研究内容与组织结构
• 第2章 文本分类方法概述
• 2.1 文本表示的表示与计算
• 2.1.1 文本表示的向量空间模型
• 2.1.2 文本特征项
• 2.1.3 文本特征的权重计算
• 2.2 分类器
• 2.2.1 kNN分类器
• 2.2.2 朴素贝叶斯分类器
• 2.2.3 最大熵分类器
• 2.2.4 SVM分类器
• 2.3 文本分类评价体系
• 第3章 文本的独立特征抽取方法
• 3.1 问题的提出
• 3.2 独立性定义
• 3.3 独立分量分析原理
• 3.3.1 ICA的前提假设
• 3.3.2 ICA的定义
• 3.4 ICA问题求解
• 3.4.1 独立分量分析的目标函数
• 3.4.2 FastICA算法
• 3.5 基于ICA技术的文本分类实验
• 3.5.1 传统的特征选取方法
• 3.5.2 ICA与传统特征选择方法相结合的文本分类算法
• 3.5.3 实验语料
• 3.5.4 评价指标
• 3.5.5 实验
• 3.6 小结
• 第4章 面向政府公文的文本分类技术
• 4.1 问题的提出
• 4.1.1 公文主题词
• 4.1.2 语料
• 4.2 政府公文主题词的扩充
• 4.2.1 Bootstrapping方法
• 4.2.2 政府公文主题词空间扩展
• 4.2.3 公文主题词扩展实验
• 4.3 文本特征空间转换技术
• 4.3.1 随机关键词产生技术模型
• 4.3.2 条件概率的计算
• 4.3.3 SKG模型在文本分类中的应用
• 4.4 基于KWB模型与SKG模型相结合的公文分类
• 4.4.1 基于KWB模型与SKG模型相结合的公文分类
• 4.4.2 政府公文分类实验
• 4.5 小结
• 第5章 基于弱指导学习的实体特征识别和极性分析技术
• 5.1 问题的提出
• 5.2 文本句子的主客观分析
• 5.2.1 两类训练、两类判别框架
• 5.2.2 三类训练、两类判别框架
• 5.2.3 实验
• 5.3 基于弱指导学习的实体特征识别和极性分析
• 5.3.1 实体特征的识别
• 5.3.2 关于实体特征观点的极性分析
• 5.3.3 实验
• 5.4 小结
• 第6章 面向专利挖掘的文本分类技术
• 6.1 问题的提出
• 6.2 相关背景
• 6.3 任务描述及任务分析
• 6.3.1 任务基本描述
• 6.3.2 任务使用数据
• 6.3.3 任务评价方式
• 6.3.4 任务的难点分析
• 6.3.5 实验数据与实验评价
• 6.4 基于kNN模型的非专利文档IPC类别标记技术
• 6.4.1 文本相似度计算
• 6.4.2 Ranking调序算法
• 6.5 基于系统融合的Re-Ranking技术
• 6.5.1 系统融合方法
• 6.5.2 NTCIR-7最终评测结果
• 6.6 小结
• 第7章 总结
• 7.1 本文的主要贡献与结论
• 7.2 进一步的工作
• 参考文献
• 致谢
• 攻博期间发表的论文
• 攻博期间参与的项目
• 作者简介