基于本体模板的中文网络信息过滤系统原型的研究与实现

论文摘要

文本过滤是从动态的文档流中,检索出符合用户需求文本的一种技术。过滤技术在网络信息处理方面的应用早已备受关注,尤其是针对内容的信息收集和安全处理具有重要的意义。随着文本过滤技术在电子邮件、消息订阅、信息安全等领域的应用变得越加广泛,用户对过滤的要求也越来越高。在过滤的需求上,用户更加关注于对信息内容的语义信息乃至观点信息的过滤,对于传统的基于统计与机器学习的过滤技术来说,已不能满足于对此类信息的过滤要求。近年来,针对语义信息过滤的研究已成为信息处理领域的热点问题,本文则将本体的概念引入到文本过滤当中来,利用本体实现对中文文本语义信息的过滤。在如今的互联网上,web页面仍然是信息的主要载体,对网络信息的监控也主要是针对web页面中的文本信息,本文中所构造的的过滤系统原型同样是针对web页面内容的分析过滤。本文所构造的网络信息过滤系统主要可分为两个子系统:网络数据包捕获与重组子系统和基于本体模板的信息过滤子系统。在系统的结构上,本文设计了支持多种体系结构的过滤系统原型,以满足不同的情况下的过滤需求。在数据包捕获与重组子系统中,本文利用网络数据包的监听原理,捕获流经主机网卡的数据包,分析TCP/IP各层协议的数据报文,重组web页面的数据包,将其还原成web页面。在基于本体模板的信息过滤子系统中,本文以本体的形式来描述用户的需求模板,利用本体中的概念关系模型来体现概念间的语义关联关系,并设计了两种计算文本特征向量与本体模板语义相似度的算法,并根据实验结果对这两种算法进行了改进。实验结果显示,以本体为模板的过滤系统在对语义信息的过滤上取得了较好的效果。

论文目录

• 摘要
• ABSTRACT
• 第一章 引言
• 1.1 概述
• 1.2 文本过滤的现状及发展
• 1.3 本体在信息处理中的应用
• 1.4 本文的主要工作
• 1.5 本文结构
• 第二章 文本过滤技术及其性能评价
• 2.1 文本过滤任务的描述
• 2.2 文本过滤的常用技术
• 2.2.1 向量空间模型
• 2.2.2 特征选取
• 2.2.3 潜在语义索引
• 2.2.4 KNN 算法在过滤中应用
• 2.2.5 Rocchio 算法在过滤中的应用
• 2.2.6 Boosting 算法在过滤中的应用
• 2.2.7 支持向量机在过滤中的应用
• 2.3 语义信息在信息过滤中的应用
• 2.3.1 基于合作模式的过滤
• 2.3.2 基于概念扩充的过滤
• 2.3.3 基于词汇链的过滤
• 2.3.4 基于语义框架模型的过滤
• 2.4 文本过滤系统的性能评价
• 2.4.1 准确率、召回率和平均精度（Average Set Precision）
• 2.4.2 Utility
• 2.4.3 F 值
• 2.4.4 平均非差值准确率（Average Uninterpolated Precision）
• 2.4.5 其他评测方法
• 2.5 小结
• 第三章 系统设计
• 3.1 系统体系结构
• 3.1.1 无数据存储
• 3.1.2 有数据存储
• 3.2 数据包捕获与重组子系统模型
• 3.2.1 底层模块
• 3.2.2 中间层模块
• 3.2.3 上层模块
• 3.3 文本过滤子系统模型
• 3.3.1 模板模块
• 3.3.2 文本分析模块
• 3.3.3 过滤模块
• 3.4 小结
• 第四章 数据包的捕获与重组
• 4.1 数据包捕获
• 4.1.1 捕获原理
• 4.1.2 网络协议
• 4.1.3 捕获实现
• 4.2 数据包重组
• 4.2.1 HTTP 简述
• 4.2.2 web 页面数据包的重组
• 4.3 小结
• 第五章 构造基于本体的用户需求模型
• 5.1 文本过滤中的需求模板
• 5.2 以往需求模型中的不足
• 5.3 本体模板的构造
• 5.4 本体模板的描述
• 5.5 小结
• 第六章 基于本体的信息过滤模型
• 6.1 基于本体的过滤模型
• 6.2 实例关联矩阵的构造
• 6.3 语义相似度计算
• 6.3.1 算法1
• 6.3.2 算法2
• 6.4 页面分析与权重计算
• 6.5 小结
• 第七章 过滤实验结果及其分析
• 7.1 测试语料与测试方法
• 7.2 结果分析和优化
• 7.2.1 漏检
• 7.2.2 错检
• 7.3 小结
• 结束语
• 致谢
• 参考文献
• 作者在学期间取得的学术成果
• 附录“伊拉克重建”本体模板的OWL 描述