WEB使用挖掘系统数据预处理子系统的设计

论文摘要

伴随着互联网在中国的高速发展,中国的网络经济在不断成长,网络经济在国民经济中的占比逐年增加,并吸引大量的风险投资不断注入到互联网企业,推动新的互联网企业不断产生与壮大,进一步加剧了互联网企业之间的竞争,特别是同业互联网公司之间的竞争进一步加大,如何提升公司的竞争力,如何吸引更多的用户,并使用户成为公司的客户,对公司的营运与营销提出考验,从而以客户为中心的精细化营销与数据库营销提上日程。获取用户行数据是做精细化营销与数据库营销的基础,从而带来本文的重点,数据预处理系统的设计与实现;数据预处理是数据处理的前提,也是后续模式发现和模式分析的基础,数据预处理所获取的源数据质量直接关系到最终挖掘结果的质量。对一个残缺的数据源进行再精确的挖掘都是毫无意义甚至是有害的。只有确保用户使用数据的准确、完整、及时和有效,后续的一切工作才有意义可言。因此,本文的重点就是以如何构建web挖掘之数据预处理子系统的设计。本文在概述了数据挖掘和数据仓库等有关知识的基础上,介绍了Web挖掘的基本概念,分类和发展现状;在web使用挖掘系统的总体设计的基础上就web挖掘系统数据预处理子系统的设计与实现为重点进行论述;其中就构建系统的每一个环节用户行为数据采集、数据ETL处理与点击流数据仓库提出自己的设计理念与实现方法。本文的创新在于:1)提出一套完整的web挖掘系统数据预处理系统的设计方案;2)设计与实现了一套全新的数据采集方案;3)设计与实现了一套完整的数据ETL处理方案;4)设计了点击流数据仓库的实事与维度分层方案以及点击流数据仓库元数据的设计;

论文目录

• 摘要
• ABSTRACT
• 第一章 引言
• 1.1 课题背景与课题任务
• 1.2 数据挖掘概述
• 1.2.1 数据挖掘的概念
• 1.2.2 数据挖掘的过程
• 1.2.3 数据挖掘的功能
• 1.2.4 数据挖掘常用的技术
• 1.3 数据仓库与数据挖掘
• 1.3.1 数据仓库概念及特点
• 1.3.2 数据仓库数据模型设计
• 1.3.3 数据仓库与数据挖掘
• 1.4 WEB挖掘与数据挖掘
• 1.4.1 WEB挖掘概述
• 1.4.2 WEB挖掘分类及国内外现状与发展
• 1.5 项目中任务以及论文结构
• 1.5.1 我在项目中的任务
• 1.5.2 论文结构
• 第二章 WEB使用挖掘系统总体设计
• 2.1 WEB使用挖掘分类
• 2.2 WEB使用挖掘过程模型
• 2.3 系统功能模块介绍
• 2.3.1 数据采集
• 2.3.2 ETL处理
• 2.3.3 模式发现
• 2.3.4 模式分析
• 2.3.5 部署应用
• 第三章 数据预处理子系统的设计
• 3.1 数据预处理面临的难度和挑战
• 3.2 数据预处理相关名词
• 3.3 数据预处理服务器部署设计
• 3.4 数据预处理过程设计
• 第四章 数据采集设计
• 4.1 数据采集分类
• 4.1.1 基于WEB服务器日志的数据采集
• 4.1.2 基于浏览器交互数据的客户端采集
• 4.2 TDC数据采集总体设计
• 4.2.1 TDC数据采集过程
• 4.2.2 TDC数据采集设计要点
• 4.3 COOKIES ID服务器设计
• 4.4 TDC接收服务器设计
• 4.4.1 接收服务器TDC设计
• 4.4.2 接收服务器TDC数据处理过程
• 4.5 新业务TDC部署设计
• 4.5.1 新业务TDC部署过程
• 4.5.2 使WEB站点适合点击流
• 4.5.3 嵌入JS代码
• 4.5.4 JS文件分发
• 4.5.5 TDC配置
• 第五章 点击流数据仓库设计
• 5.1 维度建模的一些基本术语
• 5.2 点击流数据仓库的设计方法
• 5.3 点击流数据仓库粒度模型设计
• 5.4 点击流数据仓库元模型设计
• 5.5 点击流数据仓库表设计
• 5.5.1 点击流仓库维表
• 5.5.2 点击流数据仓库事实表
• 第六章 ETL处理过程设计
• 6.1 ETL总体设计
• 6.2 统一调度与监控
• 6.2.1 ETL调度ER图
• 6.2.2 ETL过程调度配置表
• 6.2.3 ETL调度处理过程
• 第七章 总结与展望
• 7.1 论文工作总结
• 7.2 问题和展望
• 参考文献
• 致谢
• 附录1:客户端嵌入的标准JS代码