基于数据挖掘的Tomcat访问日志分析系统的研究与实现

论文摘要

现在中国互联网接入人数已位居世界首位,中国网站数量呈爆发式增长,网站拓扑结构和网络安全问题日益突出,因此网络日志分析已成为网站服务器管理者解决上述问题的决策依据。Tomcat是目前比较流行的一种WEB服务器,对其网络日志的分析逐渐成为了研究热点。Tomcat访问日志分析作为一种决策支持手段,应用于网络日志分析的过程中仍面临诸多挑战。本文在总结前人研究成果的基础上,从网站实时监控模式和用户访问行为分析两个方面展开了创新性研究：制定出了从Tomcat访问日志的分布式采集到统一存储再到最后日志数据整合分析的一整套解决方案,并基于此开发了一个Tomcat访问日志分析系统,而且将基于分类规则的数据挖掘技术融入到Tomcat访问日志分析中；同时对经典Apriori-All串行序列模式挖掘算法进行了改进,进而提出了一个用户访问行为挖掘的并行算法。本文采用原型法开发了一个基于分类规则的Tomcat访问日志分析系统,即采用分布式C/S架构对部署在不同地理位置的Tomcat服务器进行统一的实时监控,不仅提高了效率而且降低了管理成本。在入侵监控和预警的问题上,本系统采用分类规则技术得到入侵规则,然后通过一个工作线程不间断扫描访问日志进行实时匹配报警,这样做到了有问题早解决。在用户访问行为分析方面,本文将提出一个基于网格的前向投影Apriori-all串行算法（简称GFPA）;并且在基于数据并行的序列模式挖掘算法（简称DPSP）的基础上提出了一种基于多处理机调度的并行序列模式挖掘算法（简称MDPSP）来进行用户访问行为模式挖掘。对三种典型的用户访问行为挖掘算法进行比较分析表明,基于MDPSP的用户访问行为挖掘算法的执行效率和加速比都比较高,而且达到了均衡负载的效果。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 选题背景与意义
• 1.2 Tomcat服务器访问日志
• 1.2.1 Tomcat服务器访问日志概述
• 1.2.2 Tomcat服务器访问日志的配置
• 1.3 Tomcat访问日志分析的研究现状与存在的问题
• 1.3.1 网站运行状态监控
• 1.3.2 用户访问行为分析
• 1.4 论文的主要内容
• 第二章 数据挖掘
• 2.1 数据挖掘基本概念
• 2.2 数据挖掘技术的研究现状
• 2.3 基于规则的数据挖掘算法
• 2.4 并行序列模式挖掘
• 2.4.1 序列模式挖掘
• 2.4.2 并行理论
• 2.4.3 基于数据并行模式的序列模式挖掘算法DPSP
• 2.5 本章小结
• 第三章 基于分类规则的Tomcat访问日志分析系统
• 3.1 系统架构
• 3.2 数据字典
• 3.3 Tomcat访问日志采集系统
• 3.3.1 采集子系统功能结构
• 3.3.2 采集子系统功能介绍
• 3.4 Tomcat访问日志接收系统
• 3.4.1 接收子系统功能结构
• 3.4.2 接收子系统功能介绍
• 3.5 Tomcat访问日志分析系统
• 3.5.1 分析子系统功能结构
• 3.5.2 分析子系统功能介绍
• 3.6 本章小结
• 第四章 基于Tomcat访问日志的用户访问行为挖掘相关算法研究
• 4.1 用户访问行为挖掘算法
• 4.1.1 基于Apriori-All的用户访问行为挖掘算法
• 4.1.2 基于DPSP的用户访问行为挖掘算法
• 4.1.3 算法的比较与分析
• 4.2 基于网格的前向投影Apriori-All算法GFPA
• 4.2.1 GFPA算法介绍
• 4.2.2 GFPA算法示例
• 4.2.3 GFPA算法的性能分析
• 4.3 基于多处理机调度的并行序列模式挖掘算法MDPSP
• 4.3.1 多处理机调度技术简介
• 4.3.2 MDPSP算法思想
• 4.3.3 MDPSP算法详解
• 4.3.4 MDPSP算法时间复杂性分析
• 4.3.5 MDPSP算法和DPSP算法的比较分析
• 4.4 本章小结
• 第五章 总结与展望
• 5.1 总结
• 5.2 未来研究工作展望
• 参考文献
• 攻读硕士学位期间发表的论文和参加的项目
• 致谢