基于挖掘算法的日志分析系统设计与实现

论文摘要

本文根据软件工程的开发指导思想,从软件需求分析、系统概要与详细设计、系统编码、软件测试和项目过程管理等几个方面,设计并实施了基于挖掘算法的日志分析系统——TAT(Trace Analysis tools)。该论文主要解决了下列问题,通过合理设计系统的体系架构,实现系统功能的可升级性与可扩充性;构建合理的数据结构,提高日志格式的转化及处理效率;分析、优化与实施关联规则算法;采用恰当的设计模式,实现内存空间的高效利用,同时提高系统的运行效率和性能;将统计、分析之后的结果用直观的各种报表与图形显示,同时加强人机交互操作功能。TAT日志分析系统已经在IBM中国开发中心、DB2 for z/OS OSC小组的程序开发中得到应用。通过使用该系统,数据库管理员可以及时优化数据库的参数配置,提高数据库的操作访问性能;开发与测试人员可以发现“运行缓慢”或“异常高发”的程序模块,修改程序的处理逻辑。

论文目录

• 致谢
• 中文摘要
• ABSTRACT
• 1 绪论
• 1.1 引言
• 1.2 日志分析工具现状
• 1.3 日志的特点
• 1.4 对日志分析和管理的重要性
• 1.5 数据库日志分析的意义
• 1.6 设计日志分析系统的意义和目标
• 1.7 选题背景、来源
• 1.8 论文的内容和组织
• 1.9 本章小结
• 2 软件工程及相关概念、技术综述
• 2.1 软件工程概论
• 2.1.1 软件工程的定义
• 2.1.2 软件生命周期模型
• 2.2 日志的概念、特点及对其管理的重要性
• 2.2.1 日志的概念
• 2.2.2 DB2日志的介绍
• 2.2.3 DB2日志的特点
• 2.3 J2EE平台
• 2.3.1 J2EE核心技术
• 2.3.2 J2EE技术的核心优势
• 2.4 Struts Web应用框架
• 2.4.1 框架的组成
• 2.4.2 Struts开发流程
• 2.5 Spring技术框架
• 2.5.1 使用Spring的主要的优点——“解耦”和“脱离容器”
• 2.5.2 Spring技术优势的具体体现
• 2.5.3 Spring框架的特性
• 2.6 数据挖掘技术
• 2.6.1 数据挖掘的概念与分类
• 2.6.2 关联规则详述
• 2.7 Java与XML技术
• 2.7.1 Java语言的特性
• 2.7.2 XML技术、特点
• 2.8 本章小节
• 3 TAT系统需求分析
• 3.1 系统概述
• 3.2 设计TAT系统的意义
• 3.3 系统设计的基本目标
• 3.4 日志分析系统的功能需求
• 3.4.1 系统的核心分析、统计功能
• 3.4.2 系统的其它非核心功能
• 3.5 TAT日志分析系统的基本工作模式
• 3.6 TAT系统中，角色的分析与说明
• 3.7 TAT系统开发的软件环境
• 3.8 TAT系统运行的硬件环境
• 3.9 本章小结
• 4 TAT系统的设计与实现
• 4.1 概述
• 4.2 系统的总体架构图
• 4.2.1 功能结构图
• 4.2.2 层次结构图
• 4.2.3 分层的优点
• 4.2.4 组织结构图
• 4.3 系统的工作流程
• 4.4 数据库表结构的设计
• 4.5 日志接收
• 4.6 日志处理
• 4.6.1 日志文件获取
• 4.6.2 日志信息预处理
• 4.6.3 分析处理日志文件的方法
• 4.6.4 日志格式的说明
• 4.6.5 数据结构的设计
• 4.7 日志解析的工作流程
• 4.8 日志挖掘算法的实现
• 4.8.1 布尔类型数据库
• 4.8.2 “T扫描数据库技术”的定义
• 4.8.3 改进关联规则——Apriori算法后的实现方法
• 4.8.4 算法过程的模拟
• 4.9 日志解析模块的实现
• 4.10 图形、报表生成引擎
• 4.10.1 统计数据生成
• 4.10.2 图形、报表生成模块
• 4.10.3 图形交互中的日志定位算法
• 4.11 系统调度模块
• 4.12 Web应用模块
• 4.13 本章小结
• 5 系统测试与性能优化
• 5.1 概述
• 5.2 系统测试环境
• 5.3 系统主要性能指标
• 5.4 测试结果
• 5.5 优化策略概述
• 5.6 优化策略的具体实现
• 5.7 数据预处理和数据在数据库中的存储
• 5.8 数据分表存储的策略
• 5.9 使用SQL语句优化策略提高系统性能
• 5.9.1 优化SQL语句的目的
• 5.9.2 在TAT日志分析中的SQL优化策略
• 5.10 数据结构、设计模式以及解析技术的应用
• 5.10.1 日志存储的数据结构
• 5.10.2 设计模式的运用
• 5.10.3 解析XML技术的选取
• 5.11 本章小结
• 6 TAT系统的开发过程管理与总结
• 6.1 概述
• 6.2 项目开发过程管理
• 6.3 TAT日志分析系统开发与管理的体会
• 6.4 论文总结
• 6.5 本章小结
• 参考文献
• 学位论文数据集