智能化网络信息筛选系统研究

论文摘要

网络不良信息小到影响到个人的工作、学习与生活,大到危害到国家信息安全甚至主权安全。针对危害到政治、经济、军事、文化等领域的不良信息、敏感信息,本文通过融合先进计算机技术的智能化网络信息筛选系统的研究,在技术上为信息安全的保证提供一些思路、建议[0]。系统主要针对www协议进行研究。系统在整体架构上,实现了针对网络不良信息的智能化网络信息筛选系统原型,研究了系统构成所需要的各种技术:本文首先定义待筛选主机为筛选客户端,筛选代理运行在筛选客户端上。根据从服务器端接受的不断更新的关键字列表,收集、分析筛选客户端上的信息。将符合关键字信息的网址、ip地址、生成时间等加密后提交到筛选服务器端。服务器端存储上述提交,按需发出报警。筛选代理借鉴智能代理理论,由spider、信息存储、预处理器、词法分析器、客户端代理更新程序组成;筛选代理通过合法手段强制安装、运行在筛选客户端上。筛选服务器由关键字服务器、筛选结果接收器、存储、报警器和更新中心组成。筛选代理运用经改进的Spider技术收集筛选客户端上的信息。根据筛选关键字,基于语义单元表示树剪枝的词法分析原理,关键字Si=Wi,1Wi,2…Wi,n（其中n为关键字Si的长度）变换为扩展形式S*i=W*i,1V1W*i,2V2…W*i,n-1Vn-1W*i,n(其中W*i,k∈U(Wi,k)变换集,k=1,…,n;Vj∈V变换集的闭包,j=1,2,…,n-1)之后,以往从文本中简单屏蔽关键字Si的操作就被扩展到屏蔽符合S*i这一模式的任何字符串。依照将语义单元表示库转换为语义单元表示树的方法,同样可以将S*i= W*i,1V1W*i,2V2…W*i,n-1Vn-1W*i,n转换为树形表示。以句子为单位,依次取出待过滤的文本信息;对每一句,依次取出其中每一个字符;对每一个字符,比对其是否存在于U变换库中,若存在,可以得到对应的关键字符Wi,j;取以Wi,j为实量开始的关键字表示树,使用快速剪枝算法,根据Wi,j对已经取出的所有关键字表示树进行剪枝。如果最终存在没有被剪掉的关键字表示树,说明该句中含有需要过滤的关键字。对于筛选结果的存储,系统采用LVS集群技术。这是因为:LVS整个系统很容易被扩展,无需重新设置整个系统,无需中断服务,扩展系统的操作对最终用户是透明的;满足智能化网络信息筛选系统服务器端的储存要求。LVS有三种类型:VS/NAT,VS/TUN和VS/DR。在100M、正常网络服务环境下,假设每个连接的平均数据量为10Kbytes,测得VS/NAT每秒处理的连接数为1139.2Connections/Second,VS/DR或VS/TUN调度器的最大吞吐率为25,000Connections/Second。本文解决了信息收集、词法分析、结果存储这三个关键的技术问题,实现了系统的原形,经过测试智能化网络信息筛选系统能够达到减少人工劳动量、提高筛选准确率和效率的目的。

论文目录

• 中文摘要
• 英文摘要
• 1 绪论
• 1.1 问题的提出及研究意义
• 1.1.1 问题的提出
• 1.1.2 研究意义
• 1.2 国内外研究现状
• 1.2.1 传统搜索引擎技术
• 1.2.2 目前搜索引擎技术的改进
• 1.2.3 信息过滤技术
• 1.3 本文研究的目的和研究内容
• 1.3.1 研究课题的目的
• 1.3.2 智能化网络信息筛选系统的功能和特点
• 1.3.3 本文的研究内容和安排
• 1.3.4 本文的贡献
• 2 智能化网络信息筛选系统的体系结构
• 2.1 C/S 体系架构
• 2.2 筛选代理
• 2.2.1 智能代理技术简介
• 2.2.2 筛选代理的运作方式
• 2.2.3 spider
• 2.2.4 信息存储、预处理器
• 2.2.5 词法分析器
• 2.2.6 客户端代理更新程序--updater
• 2.2.7 筛选代理分发方式
• 2.3 筛选服务器
• 2.3.1 关键字服务器
• 2.3.2 筛选结果接收器
• 2.3.3 存储、报警器
• 2.3.4 更新中心
• 2.4 小结
• 3 Spider 信息技术
• 3.1 Spider 简介
• 3.2 Spider 检索策略
• 3.3 网络蜘蛛分析
• 3.3.1 网络蜘蛛的流程
• 3.3.2 用于提高蜘蛛程序性能的技术
• 3.3.3 蜘蛛的评价
• 3.3.4 网络陷阱的预防
• 3.3.5 蜘蛛的构造方法
• 3.4 页面的解析
• 3.4.1 HTML 语法的分析
• 3.4.2 网页中信息资源提取
• 3.5 网站与网络蜘蛛
• 3.6 更新周期
• 3.7 网络蜘蛛的设计与实现环境
• 3.7.1 系统运行环境
• 3.7.2 软件开发环境
• 3.8 spider
• 3.8.1 JAVAI/O 输入输出流
• 3.8.2 Java 套接字编程实现HTTP 请求
• 3.8.3 多线程编程
• 3.8.4 数据库连接技术
• 3.9 系统的实现和结果的评价
• 3.9.1 系统的实现
• 3.9.2 获取网络信息
• 3.9.3 提取Url
• 3.9.4 网络蜘蛛系统的整体结构
• 3.9.5 结果的分析和评价
• 3.10 小结
• 4 词法分析技术
• 4.1 非法网络信息的内容和特征
• 4.2 网络监测方法的原理
• 4.3 语义语言及语义单元表示树集
• 4.4 算法设计及分析
• 4.5 测试
• 4.6 小结
• 5 筛选结果存储技术
• 5.1 系统存储需求分析
• 5.2 计算机集群技术简介
• 5.2.1 为什么需要集群
• 5.2.2 集群系统的分类
• 5.3 LVS 集群技术
• 5.3.1 可伸缩网络服务的定义
• 5.3.2 LVS 集群的通用结构
• 5.3.3 按地域LVS 体系结构
• 5.3.4 IP 负载均衡技术
• 5.4 LVS 配置实例
• 5.4.1 环境简介
• 5.4.2 实现VS/NAT
• 5.4.3 实现VS/DR
• 5.5 小结与性能测试
• 6 总结与测试
• 6.1 智能化网络信息筛选系统效率主要构成因素
• 6.2 系统测试
• 6.2.1 筛选代理测试
• 6.2.2 筛选服务器集群测试
• 致谢
• 参考文献