面向航运领域的文本分类系统

论文摘要

目前世界上许多国家已开始着手数字文献的整理与永久保存工作,研究和探讨数字文献的开放获取与共享、知识库的领域专业化和图书馆的数字化等数字资源建设问题。在我国航运信息文献库的建设和维护过程中,同样面临航运专业文献尤其是网络文献人工分类的精度低、时效性差和代价高等严重问题,必须借助自动分类技术加以解决。本文在描述文本自动分类常用技术方法的基础上,通过深入研究文本分类技术及相关算法,包括分词、特征提取、训练、性能评估等几个主要部分内容,针对航运领域的文献特点,开展了面向航运领域文本分类系统的需求分析和总体设计。构建了用于对航运领域专业文献进行文本分类所使用的语料库以及必要的航运专业文献的分类体系,并完成了对语料库中文本的预处理工作。进而,在系统中采用五种文本分类方法,实现了对航运领域专业文献大规模真实文本的文本自动分类工作,并进行了实验验证和结果分析。分类中实现的算法包括最邻近、朴素贝叶斯、支持向量机、决策树和类中心分类五种常用的文本分类方法。通过列举大量的实验数据,分析出了各分类器在不同类别样本上分类能力的差异性。建立面向航运领域的中英文文本分类系统,能够极大地推动我国航运信息资源建设进程,带动相关领域信息资源建设的迅速发展,具有重要社会意义和科学研究价值。通过实验分别对以上算法进行了评测和比较,得到了相关参数的经验值,实验数据可用于航运领域文献的信息检索、信息过滤、图书馆文献分类等研究中。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 研究背景
• 1.2 国内外研究现状
• 1.3 本文的主要工作
• 1.4 本文组织结构
• 第2章 中文文本分类相关技术
• 2.1 中文分词技术
• 2.1.1 分词基本方法介绍
• 2.1.2 影响分词效果的因素
• 2.1.3 中文分词
• 2.2 文本表示
• 2.3 特征选择方法
• 2.3.1 各种流行算法
• 2.3.2 各种方法的综合评价
• 2.4 文本分类算法研究
• 2.4.1 朴素贝叶斯分类
• 2.4.2 支持向量机
• 2.4.3 K最邻近算法
• 2.4.4 类中心分类法
• 2.4.5 决策树
• 2.5 本章小结
• 第3章 系统分析设计与语料库建立
• 3.1 需求分析
• 3.2 系统结构设计
• 3.2.1 文本分类系统架构设计
• 3.2.2 文本分类系统功能设计
• 3.2.3 系统界面设计
• 3.3 语料库的建立
• 3.4 本章小结
• 第4章 文本分类系统实现
• 4.1 数据预处理
• 4.1.1 数据预处理流程
• 4.1.2 格式转换
• 4.1.3 分词及停用词过滤
• 4.1.4 特征选择
• 4.1.5 文本向量化表示
• 4.2 基于单分类器的文本分类算法实现
• 4.2.1 主要算法的实现步骤
• 4.2.2 性能评估标准
• 4.3 系统实验
• 4.4 本章小结
• 第5章 总结与展望
• 5.1 总结
• 5.2 展望
• 参考文献
• 致谢