基于互联网分布式节点的数据流分析系统的设计与实现

论文摘要

随着互联网的日益发展,网络的信息交流变得越来越便捷。大量的信息在通过互联网传播的同时,也存在着很大的负面效应,比如各种暴力、迷信、反动、色情等非法信息的传播,和内部网络中机密信息的泄露。针对这些现象,互联网数据流的分析就显得十分重要。但随着越来越多新网络应用程序的使用,其通信的协议也越来越复杂,使用了各种各样的数据压缩和数据加密算法。为了适应当前和未来的发展趋势,基于TCP/IP协议和简单的关键字过滤的传统过滤技术已经不能有效地解决这些问题。在这种需求下,本文研究并设计了基于互联网分布式节点的数据流分析系统。该系统在基于传统数据包捕获技术的基础上,根据常用的应用层网络协议的连接特点和数据格式,实现对常见的网络协议数据流进行分析。该系统的主要特点是:1)分布式的系统架构。可以由多台分布在各地的计算机作为分析节点同时工作,使得系统能够同时对多个网络环境进行数据流分析。2)双模式的数据获取模式。既可以由硬件,也可以由软件进行网络数据包的捕获,使得系统可以适应不同的网络环境。3)高性能、可伸缩的数据流分析内核。不同网络协议以动态连接库的形式被统一调用,使得协议的扩充变得更为容易和灵活。

论文目录

• 摘要
• ABSTRACT
• 第一章 引言
• 1.1 课题研究意义
• 1.2 国内外研究现状
• 1.3 本人在论文中的工作
• 1.4 本文内容安排
• 第二章 协议分析
• 2.1 互联网数据流定义
• 2.2 网络监听
• 2.2.1 网络监听方式
• 2.2.2 数据包捕获技术
• 2.2.2.1 数据包捕获原理
• 2.2.2.2 流行数据包捕获技术介绍
• 2.2.2.3 LIBPCAP 与WINPCAP
• 2.3 协议分析的方法
• 2.3.1 网络分析工具
• 2.3.2 SNIFFER PRO 简介
• 2.4 常用通信协议分析
• 2.4.1 电子邮件协议分析
• 2.4.1.1 电子邮件报文格式
• 2.4.1.2 SMTP 协议
• 2.4.1.3 POP3 协议
• 2.4.2 FTP 协议分析
• 2.4.3 MSN 协议分析
• 2.4.4 QQ 协议分析
• 2.4.5 HTTP 协议分析
• 2.5 小结
• 第三章 系统总体设计
• 3.1 系统功能和设计目标
• 3.1.1 系统功能
• 3.1.2 设计目标
• 3.2 系统框架设计
• 3.2.1 分布式的系统架构
• 3.2.2 双模式的数据获取
• 3.3 软件体系结构设计
• 3.4 小结
• 第四章 分析内核
• 4.1 数据流获取部分的设计
• 4.1.1 确立模块
• 4.1.2 模块间调用关系
• 4.1.3 各模块具体设计
• 4.1.3.1 数据包接收缓冲区管理模块
• 4.1.3.2 KERNEL 核心模块
• 4.2 协议分析部分的设计
• 4.2.1 确立模块
• 4.2.2 模块间调用关系
• 4.2.3 各模块具体描述
• 4.2.3.1 电子邮件分析模块
• 4.2.3.2 FTP 分析模块
• 4.2.3.3 MSN 分析模块
• 4.2.3.4 QQ 分析模块
• 4.2.3.5 HTTP 分析模块
• 4.3 小结
• 第五章 节点间的协同
• 5.1 网络通信模块的设计
• 5.1.1 I/O 完成端口
• 5.1.2 IOCP 的使用方法
• 5.1.2.1 创建完成端口对象
• 5.1.2.2 I/O 服务线程和完成端口
• 5.1.2.3 完成端口和重叠I/O
• 5.1.3 工作流程
• 5.1.3.1 服务器启动
• 5.1.3.2 监听线程
• 5.1.3.3 I/O 处理线程
• 5.2 时钟同步的设计
• 5.2.1 网络时钟同步协议的比较
• 5.2.2 网络时间协议NTP
• 5.2.3 模块设计思想
• 5.2.4 工作流程
• 5.2.5 模块测试
• 5.2.6 性能分析
• 5.3 小结
• 第六章 其他关键模块的设计
• 6.1 配置文件管理模块
• 6.1.1 模块功能
• 6.1.2 设计思想
• 6.1.3 工作流程
• 6.1.4 主要数据结构
• 6.1.5 接口分析
• 6.1.6 相关讨论
• 6.2 过滤规则管理模块
• 6.2.1 模块功能
• 6.2.2 设计思想
• 6.2.3 主要数据结构
• 6.2.4 接口分析
• 6.2.5 IP 地址命中检测算法
• 6.2.5.1 初始化
• 6.2.5.2 查询IP 地址
• 6.2.5.3 删除IP 地址
• 6.2.5.4 相关讨论
• 6.3 小结
• 第七章 整合与测试
• 7.1 测试环境
• 7.1.1 系统环境
• 7.1.2 网络环境
• 7.2 测试
• 7.2.1 功能实现
• 7.2.2 性能实现
• 7.3 小结
• 第八章 总结
• 8.1 系统特点
• 8.2 进一步的工作
• 8.3 结束语
• 致谢
• 参考文献
• 附录