基于词语共现的BBS垃圾信息过滤模型

论文摘要

随着Internet技术的快速发展,各种网络应用服务越来越多,BBS系统(Bulletin Board Systems)为广大网络用户开辟了自由发表言论的空间,含有大量信息资源。开发出有效的BBS搜索引擎,有助于人们获得更多的知识和信息。在海量BBS信息中,存在大量人为加入的“垃圾信息”,比如大多数用户不关心的广告帖,虽然可以通过制定规则加以过滤或者人工加以排除,但是垃圾信息的人为性和随意性以及人工操作的开销过大,BBS系统难以保证所有信息都是规范的、有意义的。在通用搜索引擎中收录的BBS信息中,BBS中的垃圾信息对搜索结果产生了干扰。为解决上述问题,本文提出了一种基于词语共现向量空间的信息过滤模型,通过计算文本中题目与正文特征项之间的相关度进行文本过滤。课题的研究工作主要包括:(1)分析和总结了BBS信息的特点,在国内外信息过滤相关技术研究的基础上,在BBS搜索引擎框架中引入信息过滤技术。(2)提出了基于词语共现向量空间模型计算文本中标题与正文特征向量之间相关度的方法。(3)通过实验,对基于词语共现向量空间模型与基于知网的语义相似度模型进行了比较。在相同的训练集和测试集上,本文采用的模型对文本相关度的计算结果优于未进行语义分析的、基于知网的语义相似度计算的结果,而在进行语义分析的情况下,基于知网的语义相似度计算结果稍优于本文的模型。本文采用的模型具有系统开销小并具有自学习性能的优点,该模型可用于信息检索、信息过滤、自然语言处理等研究工作,具有广阔的应用前景。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景
• 1.2 研究目的和意义
• 1.3 国内外相关技术研究
• 1.3.1 国外相关研究
• 1.3.2 国内相关研究
• 1.4 本文主要研究内容和组织
• 第2章 信息过滤相关技术的概述
• 2.1 信息过滤的基本原理
• 2.1.1 信息过滤的概念
• 2.1.2 信息检索的概念
• 2.1.3 信息过滤与信息检索区别和联系
• 2.2 信息过滤的主要数学模型
• 2.2.1 布尔模型
• 2.2.2 向量空间模型
• 2.2.3 概率模型
• 2.4 信息过滤中的机器学习方法
• 2.5 本章小结
• 第3章 基于词语共现的文本相关度计算模型
• 3.1 词共现和向量空间模型原理
• 3.1.1 词共现原理
• 3.1.2 向量空间模型原理
• 3.3 文本特征提取方法
• 3.4 词共现向量空间的搭建
• 3.5 文本中题目与正文特征向量相关度的计算方法
• 3.6 基于文本相关度的分类方法
• 3.7 基于词语共现向量空间的相关度反馈
• 3.8 本章小结
• 第4章 实验和结果分析
• 4.1 实验环境及实验流程
• 4.1.1 实验环境
• 4.1.2 实验流程
• 4.2 基于Hownet 的语义相似度计算的实验
• 4.2.1 基于知网的词语相似度计算介绍
• 4.2.2 基于知网的语句相似度计算方法
• 4.3 实验过程及结果分析
• 4.4 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间发表的学术论文
• 致谢