统计和规则相结合的新闻网页分类系统的设计与实现

论文摘要

文本分类是一项具有很高实用价值的信息组织和管理的关键技术,它可以对网络上的文本内容进行有效的组织与管理。常见的网页分类方法有文本相似度法、K-最近邻法、朴素贝叶斯法（Na?ve-Bayes,NB）、决策树、支持向量机等。网页分类算法采用向量空间模型进行表示文本特征向量,然后利用某种相似度计算方法计算网页所属的类别。本文对新闻网页自动分类技术进行了研究,在对文本分类技术的理论进行研究的基础上,分析了文本分类的实现过程,对其中的特征选取算法进行了详细的介绍,给出了文本分类的评价指标。介绍了新闻网页的结构和特点,分析了不规范的新闻网页的特点,并提出了使用开源工具Tidy进行规范新闻网页的方法。利用统计词频和人工参与的方法来抽取类别特征词集,采用开源的NekoHTML工具把新闻网页解析成DOM树,然后进行新闻网页正文的抽取工作,使用Java语言中的正则表达式功能进行新闻网页标题和超链接的抽取,使用计算词语的CHI值的方法进行新闻网页的特征选取,利用语义知识数据库HowNet进行词语之间语义距离的计算,提出了一种统计和规则相结合的新闻网页分类系统的模型。本文利用Java语言对新闻网页分类系统的各个环节作了简单的实现与测试,主要环节包括:类别特征词的抽取、新闻网页信息的抽取、语义距离的计算以及分类辅助规则的设计。类别特征词的抽取是利用统计和人工参与的方法来抽取的;新闻网页中正文信息的抽取利用的是开源的NekoHTML工具把新闻网页源代码解析成一个DOM树,去掉新闻网页中无用的节点STYLE、SCRIPT,标题和超链接的抽取是利用Java中正则表达式对新闻网页源代码来进行的;语义距离的计算采用的是中科院刘群的计算方法,使用Java语言实现的该算法,具体运行界面见第五章;分类辅助规则是人为地根据新闻网页类别中出现的专业术语来界定的;最后介绍了基于规则和统计的新闻网页分类系统的实现流程。实验结果表明:基于规则和统计的新闻网页分类算法是可行的,基本可以满足实际的新闻网页分类要求。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 研究意义
• 1.2.1 信息检索
• 1.2.2 信息过滤
• 1.2.3 词义消歧
• 1.3 研究现状
• 1.3.1 国外研究现状
• 1.3.2 国内研究现状
• 1.4 研究内容与论文组织
• 第二章 文本分类的相关理论研究
• 2.1 文本分类的问题描述
• 2.1.1 文本分类的定义
• 2.1.2 文本分类的模型
• 2.2 中文自动分词技术
• 2.2.1 自动分词算法
• 2.2.2 中文分词面临的困难
• 2.3 文本分类的实现过程
• 2.3.1 文本预处理
• 2.3.2 文本的表示
• 2.3.3 特征的选取
• 2.4 文本分类的算法
• 2.4.1 基于统计的方法
• 2.4.2 基于规则的方法
• 2.5 文本分类的评价指标
• 2.5.1 评价方法
• 2.5.2 评价标准
• 2.6 本章小结
• 第三章 系统的概要设计
• 3.1 系统总体设计
• 3.2 新闻网页结构特点分析
• 3.2.1 新闻网页的结构
• 3.2.2 新闻网页的特点
• 3.2.3 标签不规范情况的分析
• 3.3 系统需求描述
• 3.3.1 功能性需求
• 3.3.2 非功能性需求
• 3.4 功能模块的概要设计
• 3.4.1 类别特征词抽取模块
• 3.4.2 标签不规范网页处理
• 3.4.3 新闻网页的内容抽取
• 3.4.4 新闻网页的特征词集
• 3.4.5 语义距离的计算方法
• 3.5 本章小结
• 第四章 系统的详细设计
• 4.1 类别特征词的抽取
• 4.2 新闻网页信息抽取
• 4.2.1 正文信息的抽取
• 4.2.2 标题的抽取
• 4.2.3 超链接的抽取
• 4.3 语义距离类图设计
• 4.4 分类辅助规则设计
• 4.5 网页分类模块设计
• 4.6 本章小结
• 第五章 系统的实现
• 5.1 类别特征词的实现
• 5.2 网页信息抽取实现
• 5.2.1 正文信息的抽取
• 5.2.2 标题的抽取
• 5.2.3 超链接的抽取
• 5.3 语义距离算法实现
• 5.4 分类辅助规则实现
• 5.5 网页分类模块实现
• 5.6 本章小结
• 第六章 系统的测试
• 6.1 实验的环境
• 6.2 系统的运行
• 6.3 实验结果与分析
• 第七章 总结与展望
• 7.1 主要工作
• 7.2 主要创新点
• 7.3 进一步工作的方向
• 参考文献
• 致谢