基于Tomcat日志挖掘的个性化系统原型设计和实现

基于Tomcat日志挖掘的个性化系统原型设计和实现

论文摘要

近年来,国内有大量的基于J2EE技术的网站系统投入运营,但是大部分的网站系统在设计和开发的过程中没有考虑用户可能因为网站信息资源过多而找不到信息的问题,同时也造成了例如像Tomcat等Web服务器所记录的日志信息没有得到充分利用的“资源浪费”问题。为了能够整合和解决这些问题,本文研究了Web使用挖掘理论,以Tomcat服务器的Web日志记录做为研究对象,对Web使用挖掘过程进行系统性分析和研究,在网站系统的设计和开发阶段引入Web日志挖掘技术为用户提供个性化服务,以达到提高用户获取信息质量的目的。本文主要是围绕个性化系统原型的设计与实现工作展开的,取得以下的研究成果:1)在总结国内外关于Web日志挖掘的研究现状的基础上,探讨了Web日志挖掘的数据预处理的相关问题,对Web日志数据预处理的过程:数据清理、用户识别、会话识别、路径补全和帧页面过滤等五个部分进行了深入的研究和论述。在数据预处理的实现上设计了适合本文所设计系统的具体方案,并且对用户识别和路径补全的方法进行了适当的改进,简化预处理的难度,以提高编码实现的可行性。2)在Web日志预处理的基础上,设计了一套基于Tomcat日志挖掘的个性化系统的设计方案。方案分为总体设计和详细设计。总体设计对个性化系统的构架进行了部署和规划,按照实际功能将系统分划为在线和离线两个部分。离线部分做为系统的核心,根据数据在系统中各个任务阶段的功能和形态又将其划分成了数据准备模块、数据挖掘模块和可视化模块。数据准备模块主要完成数据的收集和预处理任务;数据挖掘模块主要完成用户模型算法和挖掘模型算法的存储、数据挖掘和挖掘结果存储等任务;可视化模块主要完成对用户进行个性化的数据匹配和结果展示等任务。详细设计对这三个模块的具体实现方案做出了详尽的论述,给出了本文具体实施系统原型的细节和方法。3)按照本文设计的设计方案,利用Java程序设计语言编写代码,对日志预处理方法和挖掘算法进行了实现,并对实验日志数据进行了实验和分析,然后采用JSP动态页面技术和AJAX技术迅速部署和实现了一套Web新闻信息管理系统,最后根据本文设计的个性化系统原型的实施方案,将日志挖掘的代码和成果无缝集成到该系统中,完成了本文个性化原型的实现任务,证明了本文设计方案的可行性和有效性。

论文目录

  • 摘要
  • Abstract
  • 第1章 绪论
  • 1.1 本文研究的背景和意义
  • 1.2 国内外研究和应用现状分析
  • 1.3 本文研究和设计的内容
  • 第2章 基于Meb使用挖掘的个性化理论
  • 2.1 个性化的概念
  • 2.2 用户模型的概念
  • 2.3 Web挖掘的定义和概念
  • 2.4 基于Web使用挖掘的个性化服务
  • 2.5 Web日志挖掘的难点
  • 2.5.1 Web信息取得的困难化
  • 2.5.2 异构数据库环境
  • 2.5.3 Web日志挖掘的其他问题
  • 2.6 本章小结
  • 第3章 Web日志挖掘技术
  • 3.1 Web日志数据的准备阶段
  • 3.1.1 数据收集
  • 3.1.2 日志数据预处理
  • 3.2 Web日志的数据挖掘阶段
  • 3.2.1 用户模型的概述
  • 3.2.2 用户模型信息的获取方式
  • 3.2.3 用户模型的表示方法
  • 3.2.4 挖掘算法和模式发现
  • 3.3 本章小结
  • 第4章 个性化系统原型的设计
  • 4.1 系统原型的设计原则
  • 4.1.1 设计参考指标
  • 4.1.2 设计功能要求
  • 4.2 总体构架设计
  • 4.2.1 在线部分设计
  • 4.2.2 离线部分设计
  • 4.3 系统核心部分的模块化设计
  • 4.3.1 数据准备模块的设计
  • 4.3.2 数据挖掘模块的设计
  • 4.3.3 可视化模块的设计
  • 4.4 系统原型核心模块详细设计方案
  • 4.4.1 数据准备模块的详细设计
  • 4.4.1.1 数据清理
  • 4.4.1.2 用户识别和会话识别
  • 4.4.1.3 帧页面过滤和路径补全
  • 4.4.2 数据挖掘模块的算法模型设计
  • 4.4.2.1 用户频繁访问页面的推荐模型
  • 4.4.2.2 用户访问页面的兴趣模型
  • 4.4.2.3 基于相似度的用户模型推荐算法
  • 4.4.3 可视化模块的详细设计
  • 第5章 个性化系统原型的实现
  • 5.1 开发硬件和软件环境
  • 5.2 日志预处理实验
  • 5.3 日志数据EDA (Exploratory Data Analysis)分析
  • 5.4 个性化系统原型实现
  • 第6章 结论及将来的工作
  • 参考文献
  • 致谢
  • 攻读学位期间发表的学术论文
  • 相关论文文献

    标签:;  ;  ;  

    基于Tomcat日志挖掘的个性化系统原型设计和实现
    下载Doc文档

    猜你喜欢