文本信息处理的若干关键技术研究

论文摘要

随着信息时代的到来和Internet的日益普及，文本信息迅速膨胀。Internet上有数十亿的网页，成千上万TB的数据。而且，每天有数十万的网页更新，数百万的新的网页加入，使得Internet上的信息丰富而又复杂。如何有效地组织和管理这些信息，并快速、准确、全面地从中找到用户所需要的信息是当前信息科学领域面临的一大挑战。文本是最基本、最常见的信息载体。本文以文本信息检索模型为基准，对文本信息处理的几个关键技术包括文本分类、文本聚类和近似查询处理等进行研究。文本分类和文本聚类是对数据进行组织和管理的核心技术。近似查询处理需要快速查询到所需信息，这是解决大规模数据集的一个重要技术。以下是本文的主要研究内容：(1)文本信息处理的技术基础。包括文档表示模型、切词、特征选择、文本分类和文本聚类。本文简单介绍了集合模型、代数模型、概率模型和概念模型等四种文档表示模型；分析了中文切词的主要问题和主要方法；具体介绍了文档特征及其选择算法；详细介绍了文本分类和文本聚类，并重点概括了一些重要的文本分类和文本聚类算法。(2)基于混淆矩阵的层次结构构造。在信息化时代，文档的海量化和复杂化使得对文档进行层次分类成为必要。本文根据描述平面分类器的错误情况的混淆矩阵，提出了两种层次结构构造法。一种是层次聚类法，另一种是混淆类别法。层次聚类法采用合并策略，即：初始时将每个样本看作一类，然后根据它们的相似性或距离逐渐合并，直到形成一个大类为止。混淆类别法根据各类别间容易混淆的概率大于某个阈值t形成混淆类别，从而构造层次结构。对这两种算法均给出了详细的算法。最后通过相关实验对这两种层次结构构造方法进行比较。实验结果表明混淆类别法策略优于层次聚类法。主要是因为层次聚类法认为父类下一层的子类间的混淆关系是对称的，而实际文本并没有体现这一点。(3)文档流派分类研究。文档流派描述的是文档的风格，而不是文档的内容。文档的流派和文档的主题是正交的。也就是说，相同主题的文档可以有不同的流派，相同流派的文档可以描述不同的主题。流派分类在信息检索、信息过滤、反动信息的拦截和网上舆情调查等方面发挥了越来越重要的作用。为了对文档的正反面进行分类，本文提出了基于特征情感色彩的文档流派分类方法(情感分类)。对于情感分类来说，它和基于主题的分类在分类方法上并没有本质区别。可以认为，基于文档的正反面情感分类就是一个普通的二类分类问题。所以，情感特征的选择和情感倾向判定就尤为重要。因此，本文主要研究情感特征词的选择、情感倾向判定和情感倾向权值计算，并研究了几种典型的方法。最后，在国家自然科学基金(60173027)的支助下，开发了一个情感原型系统，并将情感分类方法同传统文本分类方法和基于语义模式的方法进行比较。结果表明：情感分类方法较差，基于语义模式的方法最好，传统文本分类方法居中。但是情感分类方法不需要人工标注训练样本，不需要针对每个主题构建一个独立的分类器，所以这种方法有较强的通用性，而且分类速度也要快很多。(4)基于小波变换的近似查询处理。传统的决策支持系统(DSS)在数据查询时希望查询系统能够根据提交的查询提供一个准确的结果，反应时间很长，这是一种典型的“黑盒”模式。但在现今的DSS、在线分析处理(OLAP)、在线聚集等领域，往往不需要一个精准的结果，而对系统的反应速度有很高的要求。这时近似查询就应运而生。小波已经证明了在层次分解(压缩)领域的高效率。小波变换通过将GB／TB级的数据压缩为MB级的数据从而达到近似查询的高速反应要求。本文通过这种压缩机制，在前人提出的选择(Select)、投影(Project)和连接(Join)算法的基础上，提出了合并(Union)、差(Difference)和更新(Update)等操作算法。这些操作都是在小波大纲级上进行的。小波大纲是对源数据的压缩。最后给出了有关实验。实验结果表明，在union和difference操作中，使用小波变换的方法优于任意样本(random sampling)法。并且，当数据的更新不是很大时，对小波系数进行update算法的性能几乎和最优小波系数法相当。

论文目录

• 目录
• 图表目录
• 摘要
• Abstract
• 第一章 绪论
• 1.1 立论背景
• 1.2 文本分类（Text Categorization）介绍
• 1.2.1 问题描述
• 1.2.2 文本分类的特点
• 1.2.3 研究文本分类的意义
• 1.2.4 文本分类的研究现状
• 1.3 文本聚类（Text Clustering）介绍
• 1.3.1 聚类和文本聚类
• 1.3.2 聚类方法划分
• 1.3.3 聚类的研究意义
• 1.3.4 文本聚类的研究现状
• 1.4 本文的工作
• 1.4.1 研究内容
• 1.4.2 本文的组织结构
• 第二章 文本信息处理相关技术介绍
• 2.1 文本信息处理的技术基础
• 2.1.1 文档表示模型
• 2.1.2 切词
• 2.1.2.1 中文切词的问题
• 2.1.2.2 中文切词的主要方法
• 2.1.3 文档特征及其选择算法
• 2.1.3.1 文档特征
• 2.1.3.2 文档特征选择算法
• 2.2 文本分类的方法及性能评估
• 2.2.1 文本分类的主要方法
• 2.2.1.1 基于统计的方法
• 2.2.1.2 基于机器学习的方法
• 2.2.1.3 基于神经网络的算法
• 2.2.2 分类性能评估
• 2.2.2.1 评估方法
• 2.2.2.2 评估指标
• 2.3 文本聚类度量和算法
• 2.3.1 距离与相似性度量
• 2.3.1.1 样本距离度量
• 2.3.1.2 样本相似性度量
• 2.3.1.3 类间距离度量
• 2.3.2 文本聚类算法
• 2.3.2.1 划分法
• 2.3.2.2 层次法
• 2.3.2.3 基于密度法
• 2.3.2.4 基于网格法
• 2.3.2.5 基于模型法
• 2.4 本章总结
• 第三章 基于混淆矩阵的层次结构构造方法比较
• 3.1 引言
• 3.2 混淆矩阵
• 3.3 层次结构的构建
• 3.3.1、使用层次聚类法构建文档类别层次结构
• 3.3.1.1 个体样本之间的距离度量
• 3.3.1.2 类与类之间的距离度量
• 3.3.1.3 聚类过程和算法
• 3.3.2 使用混淆类别法构建文档类别层次结构
• 3.4 层次分类
• 3.5 实验结果分析
• 3.6 本章总结
• 第四章 基于情感色彩的文档流派分类研究
• 4.1 引言
• 4.1.1 流派和流派分类
• 4.1.2 研究文档流派分类的意义
• 4.1.3 当前研究进展
• 4.1.4 本章的研究内容和结构
• 4.2 特征词的情感倾向判定
• 4.2.1 连词判定法
• 4.2.2 PMI
• 4.2.3 LSA
• 4.2.4 词网（WordNet）中的语义距离
• 4.2.5 人工确定情感特征及其情感倾向权值
• 4.3 情感分类过程
• 4.4 实验
• 4.5 本章总结
• 第五章 基于小波变换的近似查询处理
• 5.1 引言
• 5.2 小波变换和近似查询
• 5.2.1 一维Haar小波变换
• 5.2.2 多维Haar小波变换
• 5.2.3 近似查询
• 5.3 小波域上的查询处理
• 5.3.1 小波域上的合并（Union）
• 5.3.2 小波域上的差（difference）
• 5.4 小波域上的更新（Update）
• 5.5 实验结果和分析
• 5.6 本章总结
• 第六章 总结与展望
• 6.1 本文研究成果
• 6.2 进一步的工作
• 参考文献
• 攻读博士学位期间参与的科研项目及主要成果
• 致谢