大流量高速网络环境下用户行为分析研究

论文摘要

随着计算机网络的发展,网络的应用范围越来越广,随之而来的是网络中各种病毒、木马等爆发频率的加快,更加不幸的是各种网络攻击机制和网络攻击工具操作使用时越来越趋向于傻瓜化,这都使计算机网络在安全性上面临严重的威胁。同时网络带宽和网络中流量迅猛增加,网络用户增长速度加快,因此如何在网络用户不断增加的情况下实现网络中海量数据的有效存储和处理以及发现网络数据中存在的网络攻击并做出有效的判断和处理成为网络安全研究的重点。传统的入侵检测系统采用被动防御技术,对网络中的异常数据以及入侵检测进行检测。但随着网络带宽的增加,网络中单位时间内通过的数据包数越来越多,这使得入侵检测系统在进行数据采集和分析时存在检测速度不高、误报率和漏报率高等问题。针对当前入侵检测技术存在的缺陷和不足,本文分析了大流量数据捕获、聚类以及异常检测的原理,在此基础上进行了深入的研究。本文所作的主要工作有:①在进行数据采集时,搭建高速流量采集环境,使用freebsd和tcpdump相结合,并对freebsd系统进行网卡模式修改。经过测试发现,搭建的环境在对重庆大学网络出口流量进行数据捕获时,数据丢包率在可以接受的范围内。搭建的数据捕获系统同时还具有数据分析功能,对于捕获的数据包能够进行实时的解析。②在分析研究现有的入侵检测系统和数据挖掘技术的基础上,本文提出了基于IP流量聚类的数据捕获与入侵检测系统Cluster Package CAP(CPCAP)。③针对入侵检测系统进行异常捕获时误报率、漏报率高以及CP算法不能对大量数据进行处理的问题,本文在CPCAP系统中采用基于IP流量聚类k均值CP算法(KCP)对网络异常数据进行检测,改进后的算法在时间复杂度以及在对入侵检测数据分析的正确性上优于CP算法。同时在发现异常数据后,能够根据改进的KCP算法确定攻击源和目的主机。④实现CPCAP系统在重庆大学校园网的部署,部署后的系统能够实现对异常数据和网络攻击进行有效检测。最后,对本文的所作的研究工作进行了总结和展望。本文设计的系统和改进的算法在对网络异常检测上虽具有一定的优势,但是仍存在一些尚未解决的问题,如如何实现主动的网络故障和性能测量等,因此进一步的工作是继续进行相关的研究和分析。

论文目录

• 中文摘要
• 英文摘要
• 1 绪论
• 1.1 国内外现状
• 1.2 学术和使用意义
• 1.3 研究目的、内容、技术路线
• 1.3.1 研究目的
• 1.3.2 研究内容
• 1.3.3 技术路线
• 1.3.4 本文的组织结构
• 1.4 本章小结
• 2 相关知识概述
• 2.1 网络病毒概述
• 2.1.1 网络病毒的定义及分类
• 2.1.2 网络病毒的检测技术和方法
• 2.2 网络异常检测
• 2.2.1 网络异常概述
• 2.2.2 网络异常检测
• 2.2.3 网络异常检测方法
• 2.3 数据挖掘基本原理
• 2.3.1 数据挖掘概述
• 2.3.2 数据挖掘的分类和方法
• 2.3.3 数据挖掘系统与模型
• 2.4 数据流量采集
• 2.4.1 采集点的选择
• 2.4.2 流量捕获方法
• 2.4.3 数据流量采集存在的问题
• 2.5 本章小结
• 3 网络用户行为分析协作架构
• 3.1 用户行为分析
• 3.1.1 网络用户行为分析的概念和分类
• 3.1.2 网络用户行为分析的分类和方法
• 3.1.3 网络用户行为分析的过程
• 3.1.4 网络用户行为分析的意义和本文的研究工作
• 3.2 入侵检测系统概述
• 3.2.1 入侵检测系统介绍
• 3.2.2 入侵检测系统体系结构
• 3.2.3 目前主要的入侵检测系统
• 3.2.4 传统的入侵检测系统存在的问题
• 3.3 网络用户行为分析协作架构
• 3.3.1 设计思想
• 3.3.2 CPCAP 协作架构
• 3.3.3 协作架构中的数据采集和处理技术
• 3.4 本章小结
• 4 用户行为分析系统中的聚类算法研究
• 4.1 聚类方法概述
• 4.2 CP 算法概述
• 4.3 基于IP流量聚类的k 均值（KCP）的算法研究
• 4.3.1 K-means算法概述
• 4.3.2 KCP 算法的设计思想及流程
• 4.3.3 KCP 算法的性能分析
• 4.4 本章小结
• 5 CPCAP系统的实现与应用
• 5.1 CPCAP应用环境
• 5.1.1 硬件需求
• 5.1.2 软件需求
• 5.2 相关软件的安装与配置
• 5.2.1 freebsd的安装与配置
• 5.2.2 tcpdump 的安装与配置
• 5.3 CPCAP核心模块
• 5.4 应用结果
• 5.4.1 tcpdump 丢包率测试
• 5.4.2 IP流聚类应用结果
• 5.4.3 系统在重庆大学校园网的部署实施
• 5.5 本章小结
• 6 结束语
• 6.1 本文总结
• 6.2 总结与下一步工作
• 致谢
• 参考文献
• 附录
• A. 作者在攻读学位期间已录用的论文目录
• B. 作者在校期间参加的项目