电信级智能网络信息过滤引擎的研究和应用

论文摘要

针对目前网络上存在的大量不良信息传播的状况,本文提出并实现了一种在电信主干光纤通讯电缆上进行过滤网络信息的引擎。网络信息过滤引擎通过构造相关分类知识库,利用智能信息处理技术(自然语言处理),在理解网页内容(而不是仅仅匹配关键词)、获取文本意义的基础上,对网页进行自动分类,利用分类结果,可以截获网络敏感信息,并采取相应的控制、过滤措施。为了在高速网络环境中过滤网络信息,还设计实现了高性能的数据包捕获和应用层协议分析的功能。整个过滤引擎涉及了自然语言处理技术(主要是分词理论和文本分类技术)、高速网络处理技术(协议分析和零拷贝技术)等关键技术。本文针对电信级智能网络信息过滤引擎的研究设计实现过程中遇到的问题和解决办法等方面来讨论相关技术和理论的研究和应用。 本文完成的主要工作如下: (1) 通过引入自然语言理解理论,提出基于URL分类知识库的URL智能分类库。凭借URL智能分类库,把耗时的实时网络内容的分析过滤转化为URL的分类预处理,使高速网络环境下的网络信息监控成为可能。 (2) 零拷贝技术的引入突破了传统数据包捕获技术慢的瓶颈,提升的性能不仅为千兆网络信息过滤打好基础,还使得低配置的硬件设备也有可能被用于高速网络环境的处理,节省了进行网络信息过滤的费用。 (3) 应用层协议分析功能的设计。该功能模块对网络信息进行应用层级的语意理解,从而实现基于应用层的内容过滤,而不只是对网络数据包进行简单的特征匹配来决定过滤与否。

论文目录

• 第一章 绪论
• 1.1 问题的提出
• 1.2 网络信息过滤系统的现状
• 1.3 本文研究的内容和目的
• 第二章 自然语言理解研究
• 2.1 自然语言理解
• 2.1.1 自然语言理解的定义
• 2.1.2 自然语言理解实现的困难
• 2.1.3 国外关于自然语言理解的研究
• 2.1.4 汉语的特点及国内关于自然语言理解的研究
• 2.2 汉语自动分词算法分类
• 2.3 基于词典的最佳前驱词算法的自然分词技术
• 2.3.1 词库结构和分词算法
• 2.3.2 汉语分词规则的设计
• 2.3.3 词性标注
• 2.4 自然语言理解在网络信息监控中的应用
• 第三章 网络内容过滤技术研究
• 3.1 网络内容过滤技术分类
• 3.2 Spider技术
• 3.3 网址库智能分类技术
• 3.3.1 分类知识库
• 3.3.3 URL自动分类过程
• 第四章 电信级千兆网络处理技术研究
• 4.1 传统网络处理技术及其局限
• 4.2 数据包捕获技术
• 4.2.1 数据包捕获方式介绍
• 4.2.2 数据包捕获技术分类
• 4.2.3 数据捕获技术的特点和要求
• 4.3 零拷贝技术
• 4.3.1 零拷贝思想
• 4.3.2 零拷贝技术实现中的关键问题
• 4.4 协议分析
• 4.4.1 协议分析的目的
• 4.4.3 协议分析实现方式分类
• 4.4.4 协议分析的难点及解决办法
• 第五章 电信级智能网络信息过滤引擎的设计和实现
• 5.1 电信级智能网络信息过滤系统需求分析
• 5.2 架构设计
• 5.2.1 电信网络拓扑结构
• 5.2.2 网络信息过滤系统位置及内部拓扑结构
• 5.2.3 网络信息监控过滤引擎设计
• 5.3 网络信息监控过滤引擎核心模块设计
• 5.3.1 数据采集
• 5.3.2 应用层协议分析
• 5.3.3 Url分类库建立和维护
• 5.4 系统实现
• 第六章 电信级智能网络信息过滤引擎在电信部门的应用
• 6.1 绿色上网项目
• 6.1.1 绿色上网项目背景
• 6.1.2 什么是绿色上网业务
• 6.2 电信级智能网络信息过滤系统在绿色上网项目上的应用
• 第七章 结论
• 7.1 本文主要工作
• 7.2 本系统的不足之处
• 7.3 进一步工作
• 参考文献
• 致谢