文本挖掘预处理相关基础技术分析与应用研究

论文摘要

本论文将在对比分析并发现现有文本挖掘技术存在不足的基础上,提出改进文本预处理精度的算法。文中涉及的主要技术包括文本收集、文本预处理、处理后的文本的中文分词、预抽取训练样本及使用KNN方法进行文本训练和文本分类等。通过对系统功能的分析,本研究把系统分成了文本预处理、中文分词、文本特征向量的提取、文本特征向量的训练和分类等四部分。在文本特征向量的提取、文本特征向量的训练和分类部分中,作者研究了一种基于词的文档频率(DF)和信息增益相融合的的方法,这种方法不仅相对简单,有层次感,而且在保证分类器性能的基础上,可以允许我们适当地选择训练样本,减少支持向量,从而提高KNN的训练和分类速度。接着介绍了KNN的基本理论以及目前KNN方法在文本分类中的应用情况,以及如何使用KNN,利用获得的文本特征向量及其权重来生成输入文档,进行文本训练和分类的过程。本课题实现了文本收集、文本预处理和中文分词等文本挖掘的关键技术,并在研究的基础上提出了一套特征抽取及文本挖掘的方案,为后续的研究奠定了基础。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 本论文的研究背景
• 1.1.1 社会所拥有的信息急增
• 1.1.2 信息化社会以信息流为核心来带动
• 1.2 本论文选题的意义
• 1.3 本论文选题的研究基础
• 1.3.1 研究现状
• 1.3.2 面临的问题
• 1.4 本论文选题的研究方向
• 第二章 文本挖掘的定义和相关概念介绍
• 2.1 文本挖掘
• 2.2 文本信息抽取（Text Information Extraction）
• 2.3 文本分类
• 2.4 文本自动聚类
• 2.4.1 层次凝聚聚类
• 2.4.2 K均值聚类法
• 2.5 文本数据压缩（Text Data Compression）
• 2.6 文本数据处理（Text Data Processing）
• 2.7 分类技术使用的算法
• 2.7.1 基于词的分类技术
• 2.7.2 基于字的归类技术
• 2.7.3 基于对象的归类技术
• 2.8 精细化营销
• 第三章 改进的全二分最大匹配分词算法
• 3.1 自动分词算法介绍
• 3.2 分词技术的难点
• 3.3 当前重要的基于词典分词算法
• 3.4 几种分词算法的比较
• 3.5 改进的全二分最大匹配快速分词算法
• 3.5.1 汉字编码体系
• 3.5.2 汉语词的特点
• 3.5.3 分词词典
• 3.5.4 词条查找算法
• 3.6 中文分词器设计
• 3.7 中文分词器实现
• 3.8 中文分词器分词结果分析
• 3.9 本章小结
• 第四章 文本挖掘预处理的相关研究
• 4.1 向量空间模型
• 4.1.1 向量空间模型描述
• 4.1.2 向量空间模型存在问题
• 4.1.3 加权的VSM算法改进
• 4.2 文本特征向量建立过程
• 4.2.1 文本特征项的选择
• 4.2.2 使用互信息量进行特征项抽取
• 4.2.3 使用DF和互信息的混和预处理方式
• 4.2.4 试验结果以及分析
• 4.2.5 文本特征向量的权重
• 4.3 本章小结
• 第五章 文本挖掘的相关算法
• 5.1 有监督学习和无监督学习
• 5.2 文本挖掘算法的实现
• 5.2.1 文本分类的过程
• 5.2.2 文本训练过程
• 5.3 文本挖掘算法KNN
• 5.3.1 K个最近邻居（K-Nearest-N eighbor）
• 5.3.2 基本概念
• 5.3.3 算法
• 5.3.4 实现
• 5.3.5 文本挖掘算法SVM
• 5.3.6 SVM简介
• 5.3.7 SMO及其改进算法简介
• 5.3.8 语义SVM
• 5.3.9 算法框架
• 5.4 文本挖掘朴素贝叶斯
• 5.4.1 朴素贝叶斯简介
• 5.4.2 信息几何和Fisher
• 5.4.3 两种特殊先验分布的讨论
• 5.5 文本分类权值
• 5.6 分类的评估指标
• 5.7 分类阈值的确定
• 第六章 文本挖掘应用的系统结构框架研究
• 6.1 系统结构框架
• 6.2 系统设计
• 6.3 软件环境
• 第七章 文本挖掘的应用设计与实践
• 7.1 文本挖掘在中医学中的应用
• 7.1.1 主题标引的机器学习方法
• 7.1.2 基于SVM的副题词抽取及组配
• 7.2 文本挖掘系统在中国移动客户需求挖掘中的应用
• 7.2.1 文本数据所蕴含的客户需求
• 7.2.2 移动客户需求挖掘系统应用框架
• 7.2.3 应用成果及展望
• 第八章 总结
• 8.1 本文的主要工作
• 8.2 未来的工作展望
• 参考文献
• 致谢
• 攻读学位期间发表论文